Importar CSV no BigQuery

Fala galera do mundo dos dados! A missão de hoje é um rápido tutorial para carregar os dados CSV no BigQuery. Faremos no console do Google Cloud Platform (GCP) de forma rápida e prática.

O que é o BigQuery?

Quando precisamos armazenar dados em nuvem, podemos utilizar esta solução do Google. É um banco de dados do tipo data warehouse totalmente gerenciado pelo Google e sem servidor. Permite análises escalonáveis ​​em petabytes de dados. É uma plataforma como serviço que oferece suporte a consultas usando o ANSI SQL (padrão da liguagem SQL).

Dados CSV

E quais dados utilizaremos para para exemplificar? Mais uma base de dados Delivery Center: Food & Goods orders in Brazil do Kaggle. Não conhece o Kaggle?Confere essa a Introdução a Competições de Ciência de Dados no Kaggle que te apresento. Os arquivos CSVs estão listados na imagem abaixo:

Feita as devidas apresentações partiu levar os dados CSV para o BigQuery.

Arquivo CSV no BigQuery

Agora vamos levar os dados do arquivo CSV para o BigQuery. Primeiramente, faremos a criação de um novo conjunto de dados para armazenar todas as tabelas de maneira organizada.

Criar um Conjunto de Dados no BigQuery

Acessando o BigQuery no console no Google Cloud, podemos criar o conjunto de dados de duas formas, via interface gráfica ou por SQL. Confere a imagem abaixo.

Na sequência, após a criação do conjunto de dados, que é tratado como schema pelo BigQuery, temos a atualização na imagem abaixo..

Com a base de dados criada, faremos seguimos para a importação. 

Importar Dados CSV no BigQuery

Para importar os dados vamos acessar o conjunto de dados criados na etapa anterior. Agora, começamos um passo a passo para realizar a transferência de dados, no primeiro momento só selecionamos a opção Criar tabela conforme a imagem abaixo.

Em seguida, faremos a seleção da opção Fazer upload, conforme imagem na sequência. 

Agora faremos a escolha do arquivo csv.

A imagem a seguir mostra como ficam as opções de seleção da origem dos dados. 

No destino, temos duas informações importantes: o projeto e o conjunto de dados que serão carregados os dados. É preciso também informar o nome da tabela destino.

O esquema pode ser detectado automaticamente, conforme a opção selecionada na imagem abaixo. 

Agora é selecionar a opção Criar tabela e aguardar os dados serem carregados. Ao final da carga, a tabela já aparece abaixo do conjunto de dados, confere a imagem abaixo. 

Para fazer um cheque final, vamos visualizar os dados na tabela para conferir a carga. 

Visualizar Dados CSV no BigQuery

Para visualizar os dados, podemos partir para as consultas SQL, ou selecionar a tabela conforme imagem a seguir.

Em seguida, temos a aba de visualizar. Então podemos exibir os dados conforme imagem abaixo.

Agora que carregamos uma tabela podemos fazer o mesmo com as demais. Após realizar todos os passos que vimos anteriormente de forma detalhada, teremos toda a estrutura dos arquivos csv e os dados disponíveis para diversão. 

Dados CSV no BigQuery ao Cubo

Pronto!!! Agora é só diversão, dados carregados. Em caso de alguma tabela incorreta, deletar e refazer todos os passos para carregar novamente.

E então, este é um passo a passo de como importar dados CSV no BigQuery. Portanto, fica ligado nas próximas dicas do Dados ao Cubo. Então, fica ligado aqui nas novidades com a nossa Newsletter. Um abraço e até a próxima!!!

Conteúdos ao Cubo

Se você curtiu o conteúdo, aqui no Dados ao Cubo tem muito mais. Então, deixo algumas sugestões de conteúdos que você pode encontrar. Sempre falando sobre o mundo dos dados!

• Time de Dados na Prática
• Etapas para Análise de Dados
• Tipos de Análise de Dados
• Dicas para Visualização de Dados
• Análise de Dados com Airbyte e Metabase
• Importar CSV no PostgreSQL com o DBeaver
• Loops em Python
• Condicionais em Python

Finalizo com um convite para você ser Parceiro de Publicação Dados ao Cubo e escrever o próximo artigo, compartilhando conhecimento para toda a comunidade de dados.