Fala galera do mundo dos dados! A missão de hoje é um rápido tutorial para carregar os dados CSV no BigQuery. Isso mesmo, carregar dados no BigQuery a partir de um arquivo CSV. Faremos no console do Google Cloud Platform (GCP) de forma rápida e prática.
Quando precisamos armazenar dados em nuvem, podemos utilizar esta solução do Google. É um banco de dados do tipo data warehouse totalmente gerenciado pelo Google e sem servidor. Permite análises escalonáveis em petabytes de dados. É uma plataforma como serviço que oferece suporte a consultas usando o ANSI SQL (padrão da liguagem SQL).
E quais dados utilizaremos para para exemplificar? Mais uma base de dados Delivery Center: Food & Goods orders in Brazil do Kaggle. Não conhece o Kaggle?Confere essa a Introdução a Competições de Ciência de Dados no Kaggle que te apresento. Os arquivos CSVs estão listados na imagem abaixo:
Feita as devidas apresentações partiu importar os dados CSV para o BigQuery.
Agora vamos levar os dados do arquivo CSV para o BigQuery. Primeiramente, faremos a criação de um novo conjunto de dados para armazenar todas as tabelas de maneira organizada.
Acessando o BigQuery no console no Google Cloud, podemos criar o conjunto de dados de duas formas, via interface gráfica ou por SQL. Confere a imagem abaixo.
Na sequência, após a criação do conjunto de dados, que é tratado como schema pelo BigQuery, temos a atualização na imagem abaixo..
Com a base de dados criada, faremos seguimos para a importação.
Para importar os dados vamos acessar o conjunto de dados criados na etapa anterior. Agora, começamos um passo a passo para realizar a transferência de dados, no primeiro momento só selecionamos a opção Criar tabela conforme a imagem abaixo.
Em seguida, faremos a seleção da opção Fazer upload, conforme imagem na sequência.
Agora faremos a escolha do arquivo csv.
A imagem a seguir mostra como ficam as opções de seleção da origem dos dados.
No destino, temos duas informações importantes: o projeto e o conjunto de dados que serão carregados os dados. É preciso também informar o nome da tabela destino.
O esquema pode ser detectado automaticamente, conforme a opção selecionada na imagem abaixo.
Agora é selecionar a opção Criar tabela e aguardar os dados serem carregados. Ao final da carga, a tabela já aparece abaixo do conjunto de dados, confere a imagem abaixo.
Para fazer um cheque final, vamos visualizar os dados na tabela para conferir a carga.
Para visualizar os dados, podemos partir para as consultas SQL, ou selecionar a tabela conforme imagem a seguir.
Em seguida, temos a aba de visualizar. Então podemos exibir os dados conforme imagem abaixo.
Agora que carregamos uma tabela podemos fazer o mesmo com as demais. Após realizar todos os passos que vimos anteriormente de forma detalhada, teremos toda a estrutura dos arquivos csv e os dados disponíveis para diversão.
Pronto!!! Aqui importamos para o BigQuery um arquivo CSV. Agora é só diversão, dados carregados. Em caso de alguma tabela incorreta, deletar e refazer todos os passos para carregar novamente.
E então, este é um passo a passo de como importar CSV no BigQuery. Portanto, fica ligado nas próximas dicas do Dados ao Cubo. Então, fica ligado aqui nas novidades com a nossa Newsletter. Um abraço e até a próxima!!!
Se você curtiu o conteúdo, aqui no Dados ao Cubo tem muito mais. Então, deixo algumas sugestões de conteúdos que você pode encontrar. Sempre falando sobre o mundo dos dados!
Então, finalizo com um convite para você ser Parceiro de Publicação Dados ao Cubo e escrever o próximo artigo, compartilhando conhecimento para toda a comunidade de dados.
Apaixonado por dados e tecnologia ❤️ , criando soluções com dados 📊 📈 , desde 2015, sempre buscando tornar os processos orientados! Com formação em Engenharia da Computação 💾 , MBA Gestão da Informação e Business Intelligence e Especialização em Data Science.
Também atuo como professor na área de dados. Nas horas vagas crio modelos de Machine Learning 🤖 com Python em desafios do Kaggle e escrevo no Dados ao Cubo sobre o mundo dos dados 🎲 !
Compartilhando conhecimentos sempre 🚀
Fala Galera do mundo dos dados, hora de manipular dados no MongoDB com Python. Dessa…
Fala Galera do mundo dos dados, hora de manipular dados no Cassandra com Python. Dessa…
Fala galera do mundo dos dados, hoje é dia de aprender a função Select do Spark.…
Fala galera do mundo dos dados, hoje é dia de transformar consultas SQL em visualizações…
Fala galera do mundo dos dados, dando continuidade às consultas de banco de dados com…
Fala galera do mundo dos dados, hora de conhecer os bancos de dados NoSQL com…