Análise de Dados com Airbyte e Metabase

Fala galera do mundo dos dados! A novidade de hoje é um projeto de análise de dados com Airbyte e Metabase. Além dessas duas principais ferramentas também utilizaremos o Google Analytics como fonte de dados, o  PostgreSQL e o Snowflake para armazenamento dos dados. Esta é uma solução moderna, prática e bastante funcional. 

Primeiramente, vou apresentar como será dividido todo esse projeto. Então a cada evolução da construção desse fluxo de dados teremos um novo conteúdo explicando de forma prática. Dessa forma, iniciamos conhecendo cada etapa desse projeto. 

Para subir as principais aplicações do projeto utilizaremos o Docker como uma ferramenta para abstrair o ambiente de desenvolvimento. Sendo assim, caso não tenha instalado o Docker, pode fazer o download na página oficial da ferramenta. 

Então, sem mais delongas vamos iniciar as etapas do projeto com Deploy do Airbyte e do Metabase. 

Deploy do Airbyte com Docker

Nesta etapa, iremos mostrar como realizar o deploy do Airbyte utilizando o docker assim conseguimos ter um ambiente de desenvolvimento de forma bem prática. Confere o próximo deploy!

Deploy do Metabase com Docker

Seguindo o mesmo pensamento da etapa anterior, iremos realizar também o deploy do Metabase utilizando o Docker, cabe ressaltar que a utilização do Docker para instalação de ferramentas torna o processo mais prático. Ferramentas instaladas, podemos construir o pipeline de dados.

Pipeline de Dados Airbyte com PostgreSQL

Com o ambiente de desenvolvimento configurado, chegou a hora de construir o pipeline de dados. Aqui é onde faremos a configuração da origem dos dados até o destino. Neste caso iremos consumir dados do Google Analytics, também conhecido como GA, e com auxílio do Airbyte faremos a gravação dos dados no PostgreSQL. Com os dados salvos, o próximo passo é visualizar.

Visualizar Dados do PostgreSQL no Metabase

Agora que temos os dados persistidos no PostgreSQL, podemos criar algumas visualizações para analisar os dados. Para tal tarefa iremos conectar o Metabase no banco de dados PostgreSQL e faremos a construção de um dashboard para análise dos dados. E assim concluímos o primeiro pipeline de dados, mas vamos ver um pipeline muito mais moderno na sequência. 

Pipeline de Dados Airbyte com GA4 e Snowflake

Também faremos a construção de um outro pipeline de dados, desta vez iremos consumir dados do GA4, que é evolução do Google Analytics Universal e faremos a persistência dos dados do Snowflake, que é uma ferramenta para construção de data warehouse na Cloud. Novo pipeline construído, partiu visualizar esses dados.

Visualizar Dados do Snowflake no Metabase

E para fechar, construiremos mais algumas visualizações de dados, desta vez com os dados salvos no Snowflake. dessa forma poderemos analisar os dados do GA4 no Metabase. 

Portanto, esse é o projeto de análise de dados com Airbyte e Metabase que construiremos nas próximas semanas, então fica ligado aqui no Dados ao Cubo, que a cada semana iremos publicar uma nova etapa!

Espero que tenham curtido o conteúdo, não deixem de mandar aquele feedback para nós e se gostaram compartilhem com a comunidade de dados. Um grande abraço e até a próxima.

Conteúdos ao Cubo

Se você curtiu o conteúdo, lá no Dados ao Cubo tem muito mais. Então, deixo algumas sugestões de conteúdos que você pode encontrar por lá, sempre falando sobre o mundo dos dados.

• Conectar Banco de Dados MySQL com Python
• Processamento de Linguagem Natural com TensorFlow
• Utilizando Python no Portal Brasileiro de Dados Abertos Parte I
• Introdução a Competições de Ciência de Dados no Kaggle
• Modelagem de Dados para Business Intelligence
• Análise de Dados: Detecção de Fraude de Cartão de Crédito
• Análise de Imagens com OpenCV
• Geração de Relatórios em PDF com Python

Finalizo com um convite para você ser Parceiro de Publicação Dados ao Cubo, escrever o próximo artigo e ter divulgação para toda a comunidade de dados no LinkedIn.