Compreendendo Agile BI – Parte I

Fala galera que acompanha o Dados ao Cubo! Já estavam com saudade de um conteúdo novo? Então, sem mais delongas vamos ver esse tema que tem evoluído bastante, o Agile BI. Primeiramente, sabemos que sempre podemos melhorar qualquer processo, buscando reduzir prazos, diminuir custos ou a forma de entrega. Podemos conseguir isso com metodologias ágeis, que ganham cada vez mais espaço em áreas como Business Intelligence (BI). 

Atualmente o processo de construção de uma solução de BI vem crescendo nas empresas. Mas devido a sua metodologia, ainda é visto como algo de custo e prazos elevados o que torna seu retorno algo distante de se alcançar. Para Ralph Hughes (2012) soluções de BI combinam perfeitamente com as metodologias ágeis, gerando resultados excelentes, alcançando os objetivos de forma eficiente e eficaz, além de diminuição dos custos e em menores prazos, melhorando as antigas práticas e trazendo novos conceitos. Dito isso, vamos juntos entender os principais pontos do uso das metodologias ágeis e como estas metodologias podem auxiliar desde o processo de concepção até o encerramento de um projeto de BI.

Vamos abordar o tema de Agile BI em dois artigos. Primeiro compreendendo o que é Agile BI e as principais metodologias ágeis. Depois construindo juntos um processo de BI aplicando princípios ágeis. Nesse primeiro artigo aprofundamos nosso conhecimento em Scrum e Kanban, observando suas melhores práticas, bem como o modelo tradicional aplicado atualmente na maioria de projetos, identificando todos os pontos que podem ser evoluídos.

O que é Agile BI?

O Agile Business Intelligence é a evolução do modelo tradicional do processo de Business Intelligence. Usando as melhores práticas de gerenciamento de processos ágeis para agregar mais valor aos projetos. 

Com a aplicação de técnicas ágeis, é possível atingir o objetivo com mais eficiência e eficácia, além de redução de custos e prazos. Para evidenciar as qualidades do Agile BI vamos detalhar um modelo de aplicação na construção e gerenciamento do BI.

Metodologias Ágeis e BI

Com a evolução do desenvolvimento de software e o surgimento de novas tecnologias a todo momento, quem não evolui na mesma velocidade acaba ficando pelo caminho. O fato das soluções de BI estarem cada dia mais em evidência, faz com que mais empresas busquem o auxílio dessas soluções, trazendo respostas para o seu negócio.

O desafio do mundo moderno é encontrar respostas, tendências, soluções dentro do ciberespaço de informações. Seja ela dentro da própria empresa ou fora dela e de forma acelerada. Diante desse cenário surge a tendência do “Agile BI” ou “BI Ágil”, que tem por objetivo implantar soluções de BI de maneira rápida e precisa. No passado esse processo sempre foi demorado e muitas vezes levado ao fracasso devido a não atender os prazos e orçamento. O Agile BI tem como ponto de partida o Manifesto Ágil ©2001, descrito conforme (BECK et al., 2001a):

[…] Através deste trabalho, passamos a valorizar:
Indivíduos e interações mais que processos e ferramentas
Software em funcionamento mais que documentação abrangente
Colaboração com o cliente mais que negociação de contratos
Responder a mudanças mais que seguir um plano
Ou seja, mesmo havendo valor nos itens à direita, valorizamos mais os itens à esquerda.

O manifesto ágil serve de parâmetro para qualquer aplicação de metodologia ágil, não sendo diferente para o BI. Sendo assim, com o auxílio de frameworks criados a partir do manifesto ágil, como Scrum, Kanban, ambas ferramentas de gerenciamento de processos. Com o conceito desses frameworks o Agile BI segue em evolução para entregar valor mais rápido e com melhor qualidade para os clientes, é o que veremos a seguir.

Frameworks com metodologia Ágil 

Scrum

A origem da palavra Scrum está relacionada a uma jogada ou formação do Rugby, onde oito jogadores de cada time devem se encaixar para formar uma muralha. O Scrum em gerenciamento de projetos é um framework de metodologia ágil para gestão e planejamento de projetos de softwares criado em 1993.

A estrutura do framework Scrum consiste nas definições de papéis para identificação da responsabilidade de cada um. Divisões dos times para que tenham tamanho suficiente para ser multifuncionais e auto organizados. Fracionar o tempo suficiente para ter interações e entregas otimizadas, executando retrospectivas para otimizar os processos. Com isso, o processo é detalhado e facilita a sua aplicação, elenco a definição de cada processo neste framework.

Processos do Scrum

A definição de papéis é uma forma de estruturação para facilitar, organizar e todos os envolvidos estarem cientes das responsabilidades de cada um, abaixo representado pela Figura 1.

Com isso, definimos os participantes de projetos que envolvem o Scrum como:

• Product Owner – O Product Owner como o próprio nome já diz, ele é o dono do produto, ele é o responsável pelo gerenciamento do Backlog do Produto (atividades em espera), quando se refere às prioridades das atividades, o Product Owner quem as define e somente ele pode alterar essas prioridades.
• Time – O Time é responsável por realizar as entregas do Backlog do Produto a cada Sprint. Os membros devem ser interdisciplinares, todos devem trabalhar na criação de incrementos para facilitar as entregas de todo o Time. Os Times são auto organizáveis, eles descobrem por si só a melhor forma de chegar ao objetivo com eficiência e eficácia, transformando as atividades do Backlog em incrementos entregáveis. 
• ScrumMaster – O ScrumMaster é o maestro do Time Scrum, porém ele não é o gestor, pois o Time Scrum é auto organizável, o papel dele é fazer com que todos estejam de acordo com os valores Scrum, às práticas e às regras. O ScrumMaster trabalha com o Time Scrum o autogerenciamento e interdisciplinaridade.

Todos os papéis citados acima vão estar envolvidos de alguma forma no processo do Scrum, cada participante vai estar presente em uma ou mais etapas, etapas essas conhecidas como eventos.

Eventos

Uma forma para padronizar e organizar os processos do Scrum é a divisão do mesmo em eventos, que tem a finalidade de deixar claro cada etapa do processo, definindo um fluxo de trabalho para a equipe, exemplificado na Figura 2:

Baseado em Sutherland (2014) temos o Product Backlog que é a definição do que vai ser realizado no projeto, detalhando todas as atividades a serem desenvolvidas, exemplificadas em histórias, então o Product Backlog é dividido em frações exequíveis, que são os Sprints Backlog, histórias selecionadas pelo Time possíveis de serem entregues e para realizar na próxima Sprint.

Sprint é a execução das histórias pelo time Scrum, tem duração de uma a duas semanas no máximo um mês, desenvolvendo o Backlog do produto até a definição de pronto, durante as Sprints são realizadas reuniões diárias sempre no mesmo horário, com duração máxima de 15 minutos, normalmente realizada com todos de pé, para responder três perguntas “1-O que você fez ontem para ajudar o time? 2-O que você vai fazer hoje para ajudar o time? 3-Tem alguma coisa atrapalhando o desenvolvimento do time?”, essas reuniões são conhecidas como Daily Scrum.

Então, ao final de cada Sprint é realizado uma revisão do que foi feito na Sprint e verificado o status de “Pronto” e que pode ser apresentado ao cliente. Essa revisão é conhecida como Sprint Review, também é realizado uma retrospectiva da Sprint para verificar o que pode ser feito melhor, o que foi feito errado, onde o time pode evoluir, evolução do produto, identificar o que precisa corrigir. Esse fluxo de trabalho se repete até a conclusão do projeto e entrega final do Product Backlog.

Metodologia

A metodologia do Scrum pode ser combinada com outros frameworks, com o objetivo de aperfeiçoar ainda mais o processo, citada por Hughes (2012) a junção do Scrum com o Kanban conhecido popularmente com ScrumBan, reuni o melhor de cada método, vamos conhecer um pouco melhor o Kanban.

Kanban

O Kanban é outro framework com metodologia ágil, segundo Bernardo (2014) a palavra Kanban é de origem japonesa e tem seu significado literal “cartão” ou “sinalização”. O Kanban como método de gerenciamento de processos teve origem na indústria pela Toyota por volta de 1940, para facilitar o seu processo de fabricação, em 2006 o Kanban teve o seu primeiro contato com o desenvolvimento de software, desde então tem se tornado uma das ferramentas de metodologia ágil utilizada para gerenciar os processos de desenvolvimento de software.

Com o Kanban é possível realizar um controle visual e prático das tarefas e o progresso de cada uma, dessa forma se tem um gerenciamento do processo de uma forma simples e compartilhada com todos os interessados ao mesmo tempo.

O Kanban possui apenas cinco prescrições, são elas: Visualizar o fluxo de trabalho (workflow); Limitar a quantidade de trabalho em andamento (WIP – Work in Progress); Gerenciar e medir o fluxo; Tornar as políticas do processo explícitas; Usar modelos para reconhecer oportunidades de melhoria.

Kanban na Prática

A principal ferramenta do Kanban é o Quadro Kanban com ele é possível visualizar o andamento do projeto por todos a qualquer momento, principalmente o Time, para saber o que cada membro está realizando e a evolução das atividades. Abaixo representado da Figura 3 um exemplo simples:

Segundo Hughes (2012), o uso do Kanban no BI, pode gerar ainda mais valor se somado ao Scrum. Um exemplo é a utilização do limite de trabalho por etapa a fim de evitar retrabalho e identificar dificuldades no processo. A eliminação de alguns eventos do Scrum citados anteriormente também pode ser adotada, no caso de necessidade para melhoria do processo. Sendo assim, essa melhoria contínua é primordial para o Kanban.

Analisando as práticas dos frameworks Scrum e Kanban ou ScrumBan é possível perceber como podem auxiliar no processo de modelagem e construção de um Data Warehouse (DW). Dessa forma, para que se torne um processo mais flexível e menos complexo. Assim, precisamos entender melhor como a metodologia ágil auxilia no desenvolvimento do DW. 

A seguir, veremos como incluir essas metodologias em projetos de BI. Mas essa discussão fica para o próximo artigo Agile BI na Prática, se cuidem e até breve. 

Referências

• HUGHES, Ralph. Agile Data Warehousing Project Management. 1. ed. EUA:  Elsevier Print ON, 2012. 400p.
• Beck, K.; Beedle, M.; Bennekum, A.; Cockburn, A.; Cunningham, W.; Fowler, M.; Grenning, J.; Highsmith, J.; Hunt, A.; Jeffries, R.; Kern, J.; Marick, B.; Martin, R.; Mellor, S.; Schwaber, K.; Sutherland, J.; Thomas, D. Manifesto para o desenvolvimento ágil de software
• BERNARDO, Kleber. Cultura Ágil. Kanban: Do início ao fim!
• MINDMASTER, D. V. Scrum: A Metodologia Ágil Explicada de forma Definitiva

Conteúdos ao Cubo

Por fim, deixo algumas sugestões de conteúdos que você pode encontrar no Dados ao Cubo, sempre falando sobre o mundo dos dados.

• Ingestão de Dados via API com Python
• Processamento Paralelo com Python
• Manipulando Dados em PostgreSQL com Python
• Velocidade da Internet com a Biblioteca SpeedTest Python
• Pipeline dos Projetos de Ciência de Dados
• Criando Modelos de Machine Learning com Pipeline do Scikit-Learn
• Análise de Dados com Scikit Learn Python
• Visualizar Dados do Snowflake no Metabase

Portanto, finalizo com um convite para você ser Parceiro de Publicação Dados ao Cubo! Escreva o próximo artigo, compartilhando conhecimento para toda a comunidade de dados. Não esqueça de assinar a nossa Newsletter para ficar por dentro de todas as novidades.