Importar CSV no PostgreSQL com o DBeaver

Fala galera do mundo dos dados! A missão de hoje é um rápido tutorial para carregar os dados CSV no PostgreSQL com o DBeaver. Faremos com o auxílio da ferramenta de forma rápida e prática.

Ambas as ferramentas foram utilizadas na montagem de um Ambiente de Desenvolvimento para Business Intelligence aqui no Dados ao Cubo, vale muito a pena conferir!!!

O que é o PostgreSQL?

Quando precisamos armazenar dados relacionais, podemos utilizar este banco de dados relacional open source. O PostgreSQL está entre os 4 bancos de dados mais utilizados no mundo.

E para administrar o PostgreSQL selecionamos o DBeaver.

O que é o DBeaver?

Para administração do banco de dados, selecionamos também uma ferramenta open source. A versatilidade de trabalhar com a maioria dos bancos de dados relacionais faz com que esta ferramenta seja bastante utilizada pela comunidade.

Agora podemos trabalhar com o DBeaver e o PostgreSQL juntos.

Dados CSV

E quais dados utilizaremos para para exemplificar? A base de dados Brazilian E-Commerce Public Dataset by Olist do Kaggle. Não conhece o Kaggle? Confere essa a Introdução a Competições de Ciência de Dados no Kaggle que te apresento. Os arquivos CSVs estão listados na imagem abaixo:

Feita as devidas apresentações partiu levar os dados para o PostgreSQL com o DBeaver

Arquivo CSV no PostgreSQL com o DBeaver

Agora vamos levar os dados do arquivo csv para o PostgreSQL com o DBeaver. Primeiramente, faremos a criação de uma nova base de dados para armazenar todas as tabelas de maneira organizada. Na sequência faremos a conexão com essa com essa base criada anteriormente e em seguida faremos a importação de todos os arquivos csv para o banco de dados criado.

Criar uma base de dados no PostgreSQL com o DBeaver

Acessando a uma base do PostgreSQL, podemos facilmente criar uma nova base de dados, confere a imagem abaixo.

Na sequência, só precisamos dar um novo nome para esse banco de dados. Chamaremos de olist, devido aos dados que vamos trabalhar!

Com a base de dados criadas, faremos uma nova conexão com a mesma. 

Conectar a base de dados do PostgreSQL com o DBeaver

Acessando o menu banco de dados do DBeaver é possível criar uma nova conexão. Em seguida escolhemos uma Nova Conexão, e passamos a configuração conforme a imagem abaixo.

Conexão da base de dados do PostgreSQL configurada com o DBeaver, só falta a importação dos dados.

Importar Dados CSV no PostgreSQL com o DBeaver

Para importar os dados abriremos a nova conexão no navegador de banco de dados navegando até as tabelas no banco de dados olist, em seguida com botão direito do mouse e escolher a opção Importar Dados. Confere a imagem abaixo. 

Agora, começamos um passo a passo para realizar a transferência de dados, no primeiro momento só selecionamos o botão avançar conforme a imagem abaixo .

Selecionar o Arquivo CSV

Em seguida, faremos a seleção do arquivo csv que vamos carregar no PostgreSQL. 

Como arquivo selecionado, precisamos ficar atento a algumas configurações importantes para que os dados sejam carregados corretamente. Observe na imagem abaixo todos os pontos destacados, pois os mesmos são bem importantes para que os dados sejam carregados corretamente. 

1. Source – Nome do arquivo csv
2. Encodificando – Encoding dos dados do arquivo csv
3. Delimitador de coluna – Delimitador utilizado para separar as colunas no csv
4. Formato Date/time – Formato das colunas do tipo data

Configurações feitas é só avançar!

Configurar o Arquivo CSV

Aqui é hora de verificar se todas as colunas e os tipos de dados estão todos corretos. Caso seja necessário realizar alguma alteração no nome das colunas ou o tipo do dado é só clicar no botão Configure. 

Na imagem abaixo as opções de configuração dos nomes das colunas e tipo de dados a serem criados no PostgreSQL. 

Carregar o Arquivo CSV

Nesta penúltima tela são as configurações das cargas dos dados, vamos deixar tudo padrão por enquanto e clicar no botão avançar. 

Confere na imagem abaixo o último passo, é só uma tela de confirmação com toda a configuração feita nos passos anteriores, basta clicar no botão Continuar. 

Então, só aguardar a carga finalizar!

Verificar a Carga no PostgreSQL

Então o PostgreSQL com o DBeaver agora vão se entender, a tabela será criada com as colunas do arquivo csv e os dados serão carregados na tabela. Confere na imagem abaixo o esquema criado no banco de dados, a tabela e suas colunas respectivas. 

Sendo assim, para fazer um cheque final, realizar um select na tabela para conferir a carga dos dados. Portanto, observe na imagem abaixo o comando SQL e a exibição das primeiras linhas. 

Agora que carregamos uma tabela podemos fazer o mesmo com as demais.

Importar Vários Arquivos CSV

No momento da seleção do arquivo csv, podemos selecionar vários arquivos de uma só vez. Lembrando que podemos fazer uma a uma, cada arquivo csv por vez, ou todas de uma só vez conforme na imagem abaixo.

Após realizar todos os passos que vimos anteriormente de forma detalhada, teremos toda a estrutura dos arquivos csv e os dados disponíveis no banco para diversão. 

Pronto!!! Agora é só diversão, dados carregados, conferir se todas as tabelas estão carregadas corretamente. Em caso de alguma tabela incorreta, deletar e refazer todos os passos para carregar novamente.

CSV no PostgreSQL com o DBeaver ao Cubo

Portanto, vimos uma passo a passo de como importar CSV no DBearver, aqui fizemos o import para o PostgreSQL. Mas é possível fazer o import de CSV no DBeaver para vários outros bancos. Assim espero ter ajudado na sua jornada com os dados no DBeaver. Um abraço e até a próxima.

Conteúdos ao Cubo

Se você curtiu o conteúdo, lá no Dados ao Cubo tem muito mais. Então, deixo algumas sugestões de conteúdos que você pode encontrar por lá, sempre falando sobre o mundo dos dados.

• Boas Práticas de Visualização de Dados Parte I
• Boas Práticas de Visualização de Dados Parte II
• Machine Learning com ML.Net no Jupyter Notebook
• Análise Exploratória com ML.Net e Jupyter Notebook no Ubuntu
• ML.Net – Modelos em Produção com WebApi e Docker
• AutoML (Automated Machine Learning) com ML.Net
• Extraindo Dados do Twitter com Python
• Pipeline de Dados Airbyte com GA4 e Snowflake

Então, finalizo com um convite para você ser Parceiro de Publicação Dados ao Cubo, escrever o próximo artigo e ter divulgação para toda a comunidade de dados no LinkedIn.