Business Intelligence

Ambiente de Desenvolvimento para Business Intelligence

Dando continuidade ao Business Intelligence – Do Problema Ao Dashboard. Nossa missão nessa segunda etapa é montar um ambiente de desenvolvimento para projetos de Business Intelligence. Se não sabe do que estou falando confere o artigo (Introdução ao Business Intelligence – Do Problema ao Dashboard).

Portanto, ao final deste artigo vamos ter conhecido algumas das ferramentas utilizadas no processo de BI e porque elas são necessárias. O Dados ao Cubo selecionou algumas dessas ferramentas para que possamos aprofundar os conhecimentos. Dessa forma veremos a aplicação prática das ferramentas selecionadas.

IMPORTANTE!!! Não existe ferramenta perfeita, todas tem pontos positivos e negativos. Portanto, existe a ferramenta que resolve o seu problema.

Então, navegaremos por ferramentas de bancos de dados, ETL, dataviz e algumas auxiliares que nos auxiliarão no processo. Sem mais delongas, vamos conhecer algumas ferramentas de banco de dados.

1. Ferramentas de Banco de Dados

Os bancos de dados são um conjunto de arquivos reunidos com relações entre si ou não. Essa relação vai definir se são bancos relacionais ou não relacionais. Sendo assim, a forma de relacionamento significa como os arquivos são armazenados e que tipo de arquivos são esses. 

Então, o que veremos aqui no Dados ao Cubo, são os bancos de dados relacionais (os conceitos serão vistos na etapa quatro). Abaixo temos alguns exemplos.

Os bancos PostgreSQL e MySQL são ferramentas open sources, e podem ser utilizadas sem custos. Já os bancos SQL Server e Oracle Database são ferramentas proprietárias, e possuem custos. A quantidade de bancos de dados é bem grande, é preciso identificar a que melhor atende às suas necessidades.

No mundo do BI, os bancos de dados são de extrema importância, deles proveem a maior parte da origem dos dados (CRM, ERP e outros sistemas de informações). Serão também o destino dos dados modelados no Data Warehouse (DW) após a etapa de ETL. Já que falamos em ETL vamos conhecer algumas ferramentas e sua aplicabilidade no BI.

2. Ferramentas de ETL

As ferramentas de ETL (Extract, Transform e Load), também conhecidas como ferramentas de integração de dados, atuam em três atividades básicas. Fazem o papel de extrair os dados da origem (banco de dados, planilhas, arquivos de texto entre outros). Transformam os dados de acordo com a necessidade e especificações (por exemplo, no banco de dados está salvo sexo como M e F e quero que seja apresentado no dashboard como Masculino e Feminino). E por fim, carregam os dados no destino (por exemplo, data warehouse). Abaixo vemos alguns exemplos.

As duas ferramentas, Pentaho e Talend, são suítes com soluções em dados. Ambas possuem soluções de ETL o Pentaho (PDI – Pentaho Data Integration) e o Talend (Talend Open Studio for Data Integration). São ferramentas que possuem a versão open source e a versão enterprise (caso esteja procurando uma versão mais robusta e completa). 

Para o BI, estas ferramentas vão fazer exatamente o que elas se propuseram. Extrair, transformar e carregar, ficando assim no meio de campo entre a origem dos dados e os dados modelados. Após a etapa de carga do ETL, os dados modelados, ficam prontos para serem consumidos pelas ferramentas de dataviz. Vamos conhecer um pouco delas.

3. Ferramentas de DataViz

Chegou a hora de exibir os dados, é o que as ferramentas de dataviz fazem de melhor. Com várias opções de gráficos é possível criar dashboards incríveis. Mas de nada adianta tanta beleza se as visualizações não gerarem resultados, não agregarem valor ao negócio. Abaixo vemos alguns exemplos.

As três ferramentas, Qlik Sense, Tableau e Power BI, são soluções proprietárias. É preciso comprar licenças para utilizá-las, mas o Qlik Sense e Tableau é possível obter uma licença de teste grátis e o Power BI tem a versão desktop que é grátis para download.

Inserindo-as no mundo do BI, estamos falando do resultado final da solução. É a cereja do bolo, onde o usuário consome as informações geradas pela solução de BI.

Agora que já vimos a ferramenta da origem dos dados, a ferramenta que faz a extração, transformação e carga e a ferramenta que o usuário visualiza os dados, fica a pergunta. Precisamos de mais alguma ferramenta no ambiente de desenvolvimento para Business Intelligence? A resposta é, toda ajuda é sempre bem-vinda. Então, vamos conhecer algumas ferramentas que podem auxiliar no desenvolvimento de soluções de BI.

4. Ferramentas Auxiliares

Algumas ferramentas podem facilitar a vida do desenvolvedor. Essa ajuda que é sempre bem-vinda, pode ser qualquer solução que auxilie no processo de alguma forma. Abaixo temos alguns exemplos.

Vamos começar apresentando o famoso Excel, ele pode auxiliar desde a carga de algum dado que não está no banco de dados, até a conferência de alguma informação. As suas vantagens são a facilidade de manipular os dados e o fato de ser amplamente conhecido.

Temos também aqui o DBeaver, com ele é possível administrar diversos bancos de dados relacionais. A grande vantagem dessa ferramenta é que, ao mudar de banco de dados (por exemplo, migrar a base de postgreSQL para MySQL), não é preciso mudar a ferramenta que administra o banco.

Por fim o SQL Power Architect, ferramenta para modelagem de dados. Com ele é possível fazer a modelagem de forma visual e ainda aplicar as alterações direto no banco.

Então, com todas essas ferramentas devidamente apresentadas, selecionamos algumas para montar o Ambiente de Desenvolvimento para Business Intelligence ao Cubo.

5. Ambiente de Desenvolvimento para Business Intelligence do Cubo ao Cubo

Vamos ver as ferramentas selecionadas, incluindo as versões que vamos utilizar e os links para downloads. LEMBRANDO!!! Não existe ferramenta perfeita, existe a ferramenta que resolve o seu problema.

5.1. PostgreSQL

Para o nosso banco de dados vamos utilizar a ferramenta open source, PostgreSQL. Dessa forma, abaixo as informações de versão, link para download e um print do banco em execução através da ferramenta pgAdmin 4 (acompanha na instalação do banco de dados).

Para instalação em ambiente Windows (ambiente que vamos utilizar nas práticas, não tem nada a ver com preferência de SO), segue o mesmo padrão já conhecido next, next e finalizar.

5.2. Pentaho

Como ferramenta de ETL, selecionamos o Pentaho Data Integration. Assim, temos abaixo detalhes da ferramenta.

Podemos ver na imagem acima o PDI em execução. Na sua instalação tem alguns detalhes para comentar. Na verdade, não é preciso instalar, apenas descompactar o arquivo baixado e executar o Spoon.bat no diretório data-integration. Temos dois detalhes importantes, na versão do PDI 9.1, não é preciso configurar a variável de ambiente PENTAHO_JAVA_HOME, desde que o caminho do java esteja mapeado na variável Path. O outro detalhe PENTAHO_DI_JAVA_OPTIONS que define a quantidade de memória para execução da aplicação, e deve ser compatível com a configuração da sua máquina. Sendo assim, qualquer dúvida na instalação confere esse passo a passo Como instalar o Pentaho Data Integration (PDI) no Windows.

5.3. Power BI

Vamos visualizar os nossos dados e criar nossos dashboards com a ajuda do Power BI Desktop. Veja os detalhes para instalação.

A imagem acima é da aplicação em execução, para instalar o padrão Windows de sempre já conhecido next, next e finalizar.

5.4. DBeaver

Para administrar o nosso banco de dados, vamos utilizar o DBeaver sua versão open source. Apesar do PostgreSQL ter uma ferramenta própria para administração, vamos utilizar o DBeaver por ser mais leve e adaptável a outros bancos de dados. Vamos ver os detalhes.

Nada de diferente na sua instalação, padrão de sempre next, next e finalizar, os detalhes de conexão com banco e como fazer as consultas só aguardar a etapa quatro (Linguagem SQL e os Bancos de Dados Relacionais).

5.5. SQL Power Architect

Para finalizar nossas ferramentas, o SQL Power Architect, que vamos utilizar para modelar nossos bancos de dados. Ajudar a ver a modelagem de uma forma visual. Se liga nos detalhes da instalação.

Fica tranquilo que é no padrão next, next e finalizar, então só correr para o abraço.

Ambiente de Desenvolvimento para Business Intelligence ao Cubo

Agora que finalizamos a instalação dessas ferramentas, estamos com o ambiente de desenvolvimento pronto para iniciar o nosso BI. Dessa forma, precisamos fazer as definições para o projeto de business intelligence do Dados ao Cubo.

Então, segura a emoção que falta pouco para começar a meter a mão na massa e ver a coisa acontecer na prática. Assim, vamos poder aplicar todos esses conceitos que estamos vendo até agora. Um forte abraço e até a próxima.

Conteúdos ao Cubo

Por fim, deixo algumas sugestões de conteúdos que você pode encontrar no Dados ao Cubo, sempre falando sobre o mundo dos dados.

Portanto, finalizo com um convite para você ser Parceiro de Publicação Dados ao Cubo e escrever o próximo artigo, compartilhando conhecimento para toda a comunidade de dados. Não esqueça de assinar a nossa Newsletter para ficar por dentro de todas as novidades. 

Gostou? Compartilhe!

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *