Fala galera do mundo dos dados! A missão de hoje é um rápido tutorial para carregar os dados CSV no BigQuery. Isso mesmo, carregar dados no BigQuery a partir de um arquivo CSV. Faremos no console do Google Cloud Platform (GCP) de forma rápida e prática.
O que é o BigQuery?
Quando precisamos armazenar dados em nuvem, podemos utilizar esta solução do Google. É um banco de dados do tipo data warehouse totalmente gerenciado pelo Google e sem servidor. Permite análises escalonáveis em petabytes de dados. É uma plataforma como serviço que oferece suporte a consultas usando o ANSI SQL (padrão da liguagem SQL).
Dados CSV
E quais dados utilizaremos para para exemplificar? Mais uma base de dados Delivery Center: Food & Goods orders in Brazil do Kaggle. Não conhece o Kaggle?Confere essa a Introdução a Competições de Ciência de Dados no Kaggle que te apresento. Os arquivos CSVs estão listados na imagem abaixo:
Feita as devidas apresentações partiu importar os dados CSV para o BigQuery.
Arquivo CSV no BigQuery
Agora vamos levar os dados do arquivo CSV para o BigQuery. Primeiramente, faremos a criação de um novo conjunto de dados para armazenar todas as tabelas de maneira organizada.
Criar um Conjunto de Dados no BigQuery
Acessando o BigQuery no console no Google Cloud, podemos criar o conjunto de dados de duas formas, via interface gráfica ou por SQL. Confere a imagem abaixo.
Na sequência, após a criação do conjunto de dados, que é tratado como schema pelo BigQuery, temos a atualização na imagem abaixo..
Com a base de dados criada, faremos seguimos para a importação.
Importar Dados CSV no BigQuery
Para importar os dados vamos acessar o conjunto de dados criados na etapa anterior. Agora, começamos um passo a passo para realizar a transferência de dados, no primeiro momento só selecionamos a opção Criar tabela conforme a imagem abaixo.
Em seguida, faremos a seleção da opção Fazer upload, conforme imagem na sequência.
Agora faremos a escolha do arquivo csv.
A imagem a seguir mostra como ficam as opções de seleção da origem dos dados.
No destino, temos duas informações importantes: o projeto e o conjunto de dados que serão carregados os dados. É preciso também informar o nome da tabela destino.
O esquema pode ser detectado automaticamente, conforme a opção selecionada na imagem abaixo.
Agora é selecionar a opção Criar tabela e aguardar os dados serem carregados. Ao final da carga, a tabela já aparece abaixo do conjunto de dados, confere a imagem abaixo.
Para fazer um cheque final, vamos visualizar os dados na tabela para conferir a carga.
Visualizar Dados CSV no BigQuery
Para visualizar os dados, podemos partir para as consultas SQL, ou selecionar a tabela conforme imagem a seguir.
Em seguida, temos a aba de visualizar. Então podemos exibir os dados conforme imagem abaixo.
Agora que carregamos uma tabela podemos fazer o mesmo com as demais. Após realizar todos os passos que vimos anteriormente de forma detalhada, teremos toda a estrutura dos arquivos csv e os dados disponíveis para diversão.
Importar CSV no BigQuery ao Cubo
Pronto!!! Aqui importamos para o BigQuery um arquivo CSV. Agora é só diversão, dados carregados. Em caso de alguma tabela incorreta, deletar e refazer todos os passos para carregar novamente.
E então, este é um passo a passo de como importar CSV no BigQuery. Portanto, fica ligado nas próximas dicas do Dados ao Cubo. Então, fica ligado aqui nas novidades com a nossa Newsletter. Um abraço e até a próxima!!!
Conteúdos ao Cubo
Se você curtiu o conteúdo, aqui no Dados ao Cubo tem muito mais. Então, deixo algumas sugestões de conteúdos que você pode encontrar. Sempre falando sobre o mundo dos dados!
- Time de Dados na Prática
- Etapas para Análise de Dados
- Tipos de Análise de Dados
- Dicas para Visualização de Dados
- Análise de Dados com Airbyte e Metabase
- Importar CSV no PostgreSQL com o DBeaver
- Loops em Python
- Condicionais em Python
Então, finalizo com um convite para você ser Parceiro de Publicação Dados ao Cubo e escrever o próximo artigo, compartilhando conhecimento para toda a comunidade de dados.
Apaixonado por dados e tecnologia ❤️ , criando soluções com dados 📊 📈 , desde 2015, sempre buscando tornar os processos orientados! Com formação em Engenharia da Computação 💾 , MBA Gestão da Informação e Business Intelligence e Especialização em Data Science.
Também atuo como professor na área de dados. Nas horas vagas crio modelos de Machine Learning 🤖 com Python em desafios do Kaggle e escrevo no Dados ao Cubo sobre o mundo dos dados 🎲 !
Compartilhando conhecimentos sempre 🚀