Introdução ao Business Intelligence – Do Problema ao Dashboard

Com o objetivo de estar sempre contribuindo para a área de dados e compartilhando conhecimentos, o Dados ao Cubo tem o prazer de apresentar a nova série de artigos batizada de Business Intelligence – Do Problema ao Dashboard. Como o próprio nome deixa claro, vamos começar com um problema até a geração de valores, com soluções de dashboards.

Sendo assim, queremos levar a todos uma introdução completa de projetos de Business Intelligence (BI). Calma aí que já te explico o que é esse tal de BI. Então, ao final, teremos caminhado juntos, entre teoria e prática, nas etapas fundamentais para projetos de BI.

Primeiramente vamos entender alguns conceitos base, que serão fundamentais para nossos estudos.

1. O que é Business Intelligence?

Mas afinal o que vem a ser esse tal de Business Intelligence (BI)? Muita gente ainda confunde o BI com as ferramentas que dão suporte a ele. Então, para começar com pé direito, BI é processo e não ferramenta! Sendo assim, é um processo, para gerar valor e dar suporte a decisão do negócio, através de técnicas de coleta, organização e análise de dados. Mas as ferramentas de BI são muito importantes e úteis para dar celeridade, integridade e confiabilidade as informações.

Essa inteligência de negócio (tradução do termo BI) gerada pelas técnicas/ferramentas utilizadas podem ter respostas essenciais para muitos tipos de negócios. É muito importante para o sucesso de projetos de BI três pilares: os dados, a cultura e as pessoas.

Os dados são elementares para os projetos de BI, sem dados não há projeto. A cultura pode definir o futuro ou fracasso de projetos de BI, se não há uma mudança cultural para ter uma comunicação fluida, um time cooperativo e aberto a mudanças (pois elas vão acontecer) certamente pode ser um problema para o projeto. E por fim, as pessoas, sem pessoas não fazemos tecnologia, e sem tecnologia não temos projeto de BI.

Já que estamos falando de gente, vamos entender quem são as pessoas de BI.

2. O Profissional de Business Intelligence

Falando da área de dados, temos diversas funções. Analista de Dados, Analista de Negócio, Engenheiro de Dados, daria um artigo inteiro para falar de todas elas. Então vamos focar no Analista de Business Intelligence.

O que faz? As atividades dos profissionais de BI estão relacionadas basicamente a dados. Por exemplo, Organização e tratamento de informação, organizar para tirar valor das mais diversas fontes de dados. Um outro exemplo seria a Coleta e análise de dados, essa seria uma parte mais técnica, com entendimento e modelagem de bancos de dados. Para finalizar as Análises diagnóstica e descritiva, para responder perguntas como “O que aconteceu?” ou “Por que aconteceu?” de acordo com a análise dos dados.

Essas não são as únicas coisas que fazem os analistas de BI, mas já dá para ter uma noção do caminho. Sendo assim podemos listar algumas habilidades do perfil desejado.

Qual é o perfil? O perfil analítico é o mais comum. É importante ter uma boa lógica de programação, vai usar muito para modelar e analisar os dados. Saber banco de dados e a linguagem SQL vai ajudar muito e já vai estar à frente de muita gente. Ter no repertório ferramentas de ETL é super importante, e as ferramentas de visualização de dados são a cereja do bolo.

Portanto, esse é o profissional atuante no BI, agora precisamos saber em qual meio ele está inserido.

3. Arquitetura do Business Intelligence

Podemos dividir a arquitetura de BI em quatro partes, são elas: Fontes de Dados, Processamento, Data Warehouse e Visualização dos Dados. Essa estrutura está representada na figura abaixo, vamos entender melhor cada componente.

As fontes de Dados podem ser as mais diversas possíveis, arquivos de texto, planilhas, banco de dados entre outros. Após os dados serem coletados é feito o processamento, como o processo de ETL (Extract, transform e load), ou seja, extração, transformação e carga. Em seguida, os dados processados são armazenados no Data Warehouse (DW), o nosso armazém de dados. Dessa forma, eles podem ser consumidos na visualização de dados, em aplicações OLAP (Online Analytical Processing) ou Data Mining. Guarda essas palavrinhas, quando for explicar a modelagem de dados vamos entrar em detalhes.

Aí me vem uma pergunta, e como essa engrenagem funciona? Quais são as etapas para que essa arquitetura de BI funcione? Precisamos detalhar as etapas desse processo.

4. Etapas do Processo de Business Intelligence

Para que os projetos de BI tenham sucesso, precisamos seguir algumas etapas. Essas etapas estão dispostas abaixo em uma ordem lógica a ser seguida, mas pode ser necessário voltar a etapas anteriores para ajustes. Vejamos:

• Entender do problema: Entender a real necessidade do cliente é fundamental. Uma solução de Business Intelligence antes de mais nada deve gerar valor ao cliente, resolvendo problemas de negócios. A não definição correta do problema pode levar o projeto ao fracasso.
• Mapear as fontes de dados: Baseado na definição do problema serão identificados os dados necessários para solução. A partir dessa identificação é feito o mapeamento das fontes de dados disponíveis do cliente. Sem os dados necessários chegamos ao fim do projeto mesmo antes de iniciar.
• Modelar os dados: Agora com as origens dos dados identificadas é preciso modelar a estrutura do BI. A modelagem dos dados identifica as tabelas fatos e dimensões necessárias e as suas estruturas.
• Aplicar ETL: Com o mapeamento da origem e a modelagem do destino de dados, é preciso construir a estrutura de ETL. Levando os dados da origem ao destino e realizando as transformações necessárias no processamento.
• Construir os Dashboards: Com a estrutura do Data Warehouse construída e carregada, podemos conectar as ferramentas de visualização de dados. Assim podemos projetar os painéis que vão irão resolver os problemas do cliente, ou pelo menos parte deles.
• Validar os Dados: Com toda a estrutura do BI pronta é preciso validar as informações. Então o dono dos dados precisa homologar o que foi construído. Uma validação dos dados gerados e uma validação dos dashboards desenvolvidos.
• Melhorias e Correções: Essa é uma etapa que pode ser contínua e apesar de estar no fim do processo, pode ocorrer em todas as etapas anteriores. Aqui pode entrar tanto ajustes do que foi desenvolvido, quanto melhorias não previstas no levantamento inicial do projeto.

Assim, vamos passar por todas essas etapas no Projeto de Business Intelligence do Dados ao Cubo, vamos entender como vai ser esse guia para projetos de BI.

5. Projeto de Business Intelligence do Dados ao Cubo

Agora que já vimos a introdução ao BI, vamos entender como vai ser o Projeto de Business Intelligence do Dados ao Cubo.

Iniciamos a primeira etapa com essa introdução conceitual, para começar a esquentar. A segunda etapa é preparar um ambiente de desenvolvimento para BI, precisamos saber o que precisamos, de preferência ferramentas open source.

Com o ambiente todo configurado vamos para a terceira etapa, uma das mais importantes. Vamos realizar as definições do projeto, se não sabemos aonde queremos chegar não vamos a lugar nenhum. Definições realizadas, quarta etapa vamos conhecer nosso banco de dados e fazer uma breve introdução à linguagem SQL.

Tudo certo até aqui? Podemos ir para a quinta etapa? Então, vamos modelar o nosso Data Warehouse (DW), quando chegar lá te explico em detalhes o que é, por hora é o nosso armazém de dados do BI.

Já conhecemos nossas fontes de dados, modelamos o armazém de destino. Sexta etapa, fazer o ETL (Extract, transform, load). Todos os dados carregados podemos começar a sétima etapa, criar os painéis (os famosos dashboards). O Dados ao Cubo vai acabar o projeto nessa etapa, mas na vida real é aí que começa a valer, quando entra em produção. Então, deixa essa história cabeluda para um outro momento. 

Introdução ao Business Intelligence ao Cubo

Espero que estejam todos bem e que eu não tenha escrito nenhuma besteira. Quero o Dados ao Cubo levando conhecimento a muitas pessoas. Manda o feedback do que está achando!!! Até a preparação do ambiente de desenvolvimento.

Conteúdos ao Cubo

Por fim, deixo algumas sugestões de conteúdos que você pode encontrar no Dados ao Cubo, sempre falando sobre o mundo dos dados.

• Velocidade da Internet com a Biblioteca SpeedTest Python
• Reconhecimento de Voz com a Biblioteca SpeechRecognition Python
• Análise Exploratória de Dados com Python Parte I
• Análise Exploratória de Dados com Python Parte II
• Processamento de Linguagem Natural com TensorFlow
• Trabalhar com Arquivo de Texto em Python
• Análise de Dados com Seaborn Python
• Deploy do Airbyte com Docker

Finalizo com um convite para você ser Parceiro de Publicação Dados ao Cubo e escrever o próximo artigo, compartilhando conhecimento para toda a comunidade de dados. Não esqueça de assinar a nossa Newsletter para ficar por dentro de todas as novidades.