O ambiente do DW

Devido às diferenças existentes entre os dados primitivos e os dados derivados como vimos em OLTP & OLAP, outros aspectos por consequencia necessitam de nova abordagem segundo Inmon.

OS NÍVEIS DE DADOS
Estas diferenças acabam por gerar 4 (quatro) níveis de dados na organização, como segue:

• Operacional ==> Contém os dados primitivos que atende às transações OLTP, refletindo o valor atual dos registros;
• Atômico / Data Warehouse ==> Contém dados primitivos que não são atualizados e alguns dados derivados, não existe a sobreposição de valores, mantendo um histórico dos registros através da utilização de um elemento tempo associado a chave de cada registro;
• Departamental ==> Contém apenas dados derivados e agrupados por departamento, tem-se uma base de dados para o Marketing, outro para o RH, outro para o Financeiro e assim por diante. Também existe neste nível o elemento tempo associado a chave de cada registro.
• Individual ==> Contém dados que serão utilizados nas análises heurísticas, normalmente são dados temporários de pequenas proporçoes e utilizados pelos Sitemas de Informações Executivas (EIS).

CICLO DE VIDA DO DESENVOLVIMENTO DE SISTEMAS
As diferenças entre os sistemas tradicionais e um DW não termina na forma de armazenar / modelar os dados, o desenvolvimento de sistemas para um ambiente de DW é praticamente o oposto ao tradicional SDLC (Systems Development Life Cycle), conforme abaixo:

SDLC Clássico	SDLC de um DW
Ciclo de vida baseado em requisitos	Ciclo de vida baseado em dados
Levantamento de necessidades	Implementar o warehouse
Análise	Integrar os dados
Projeto	Procurar distorções
Programação	Programas para os dados
Teste	Projetar sistemas SAD
Integração	Analisar os resultados
Implementação	Entender necessidades

UTILIZAÇÃO DO HARDWARE
Em um sistema OLTP o consumo do hardware mantém um certo padrão / média de utilização durante o tempo. É possível planejar o crescimento / upgrade do sistema.

É possível prever os picos de utilização por conta da sazonalidade, por exemplo, no natal o sistema das operadoras de cartão de crédito têm um pico de utilização.

Em contrapartida um sistema DW / SAD terá picos de utilização do hardware apenas quando houver solicitações de ETL e / ou consultas OLAP dos usuários e logo em seguida o hardware voltará a ficar ocioso.

Neste cenário consegue-se prever o ritmo de crescimento da base de dados, porém o consumo de CPU / memória RAM e espaço para dados temporários já fica mais complicado.

Ou seja, a configuração / ajuste fino do hardware que vai atender às demandas dos sistemas legados (OLTP) é totalmente diferente das necessidades / especificações dos sistemas que irão atender às demandas dos sistemas DW / OLAP.

CONCLUSÃO
Só estes três argumentos já justificam porque deve-se ter um ambiente separado para os sistemas DW / OLAP.

Na sequência vamos iniciar os estudos sobre modelagem multidimensional.

Qualquer dúvida, sugestão, crítica ou elogio registre abaixo. Abraços e até a próxima.

OLTP & OLAP

OLTP (Online Transaction Processing ou Processamento de Transações em Tempo Real) caracteriza-se por um grande número de transações (INSERT, UPDATE e DELETE) envolvendo uma pequena quantidade de dados em um ambiente multi-acesso, mantendo a integridade referencial.

No planejamento do banco de dados busca-se reduzir o tamanho e a redundância dos dados e normalmente se aplica a 3FN (terceira Forma Normal) na modelagem, são os dados primitivos ou dados operacionais segundo W. H. Inmon.

OLAP (Online Analytical Processing ou Processamento Analítico em Tempo Real) caracteriza-se por poucas transações (INSERT e SELECT) envolvendo um volume muito grande de dados.

Na busca por eficiência das consultas, os dados armazenados no DW ou DM´s, normalmente são desnormalizados e utilizam esquemas multi dimensionais, são os dados derivados ou dados SAD segunda W. H. Inmon.

Fonte: http://datawarehouse4u.info/OLTP-vs-OLAP.html

Juntamente com o OLAP surgiram novos termos como DOLAP, ROLAP, MOLAP, HOLAP, slice and dice, pivot table, drill down/up que ampliaremos posteriormente.

A tabela abaixo extraída do livro "Como construir o Data Warehouse" de W. H. Inmon apresenta algumas diferenças conceituais entre os dados primitivos e os dados derivados, vejamos:

DADOS PRIMITIVOS ou DADOS OPERACIONAIS	DADOS DERIVADOS ou DADOS SAD
Baseados em aplicações	Baseados em assuntos ou negócios
Detalhados	Resumidos ou refinados
Exatos em relação ao momento do acesso	Representam valores de momentos já decorridos ou instantâneos
Atendem à comunidade funcional	Atendem à comunidade gerencial
Podem ser atualizados	Não são atualizados
São processados repetitivamente	Processados de forma heurística
Requisitos de processamento conhecidos com antecedência	Requisitos de processamento não são conhecidos com antecedência
Compatíveis com o SDLC	Ciclo de vida completamente diferente
Performance é fundamental	Performance atenuada
Acessados uma unidade por vez	Acessados um conjunto por vez
Voltados para transações	Voltados para análises
O controle de atualizações é atribuição de quem tem a posse	O controle de atualizações não é problema
Alta disponibilidade	Disponibilidade atenuada
Gerenciados em sua totalidade	Gerenciados por subconjuntos
Não contemplam a redundância	A redundância não pode ser ignorada
Estrutura fixa; conteúdos variáveis	Estrutura flexível
Pequena quantidade de dados usada em um processo	Grande quantidade de dados usada em um processo
Atendem às necessidades cotidianas	Atendem às necessidades gerenciais
Alta probabilidade de acesso	Baixa ou modesta probabilidade de acesso

Por enquanto é só, até o próximo assunto.

Persistindo alguma dúvida, curiosidade ou querendo dar uma sugestão, crítica ou elogio envie seu comentário.

DataWarehouse (DW) & Data Mart (DM)

Um DW (Data Warehouse ou Armazém de Dados) é uma coleção de dados orientada por assunto, integrada, variante no tempo e não volátil que tem por objetivo dar suporte aos processos de tomada de decisão.

É um repositório central que armazena dados de várias fontes, transformando-os em um modelo comum, multidimensional, para a realização de consultas e análises mais eficientes.

A diferença entre um DW e um DM basicamente consiste no volume de dados, abrangência e foco. Enquanto o DW foca na organização como um todo os DM´s focam em um determinado departamento ou conjunto especifíco de usuário, por exemplo.

A construção deste armazém pode acontecer de duas formas, cada abordagem têm seus prós e contras. As circunstâncias e particularidades de cada projeto é que determinarão qual utilizar.

Na abordagem Top-Down primeiro se monta o DW (corporativo) para num segundo momento criar os DM (departamentais).

Fonte:http://www.dataprix.net/pt-pt/24-data-mart 

Ou utilizar a abordagem Bottom-UP onde primeiro é criado os DM´s para em seguida montar o DW da organização.

Fonte:http://www.dataprix.net/pt-pt/24-data-mart 

BI (Business Intelligence)

O termo Business Intelligence ou Inteligência Empresarial foi utilizado pela primeira vez na década de 80 pelo Gartner Group, porém o conceito remonta desde a antiguidade onde, por exemplo, se observavam a posição dos astros, os períodos de sol / chuva e as marés para a tomada de decisões.


Com o desenvolvimento dos sistemas computacionais ao longo das últimas décadas, observa-se também o desenvolvimento do BI, impulsionado pela permanente necessidade das organizações de manterem a competitividade.


Atualmente, pode-se sintetizar BI como um conjunto de ferramentas, conceitos e metodologias que se utiliza da tecnologia da informação (TI) para coletar dados, analisá-los e transformá-los em informação. Com isso, os sistemas de BI concedem às organizações conhecimento sobre seus negócios, contribuindo para que os gestores optem pela decisão mais acertada.

http://revistas.utfpr.edu.br/pb/index.php/CAP/article/viewFile/933/544

Os componentes de uma estrutura de BI são basicamente:

• Dados operacionais;
• É a matéria prima do BI, são os dados originados das aplicações utilizadas no dia-a-dia da organização, por exemplo o ERP.
• ODS (Operacional Data Store);
• Armazena os dados operacionais de forma consolidada, porém não possuem características dimensionais (como o DW e DM).
• Ferramentas de ETL (Extração, Transformação e Carga);
• Veremos com mais detalhes posteriormente.
• Data Warehouse (DW) e Data Marts (DM);
• Veja postagem.
• Data Mining (Mineração de Dados);
• Veremos com mais detalhes posteriormente.
• Visualização dos resultados;
• Ferramentas que permitem ao usuário final visualizar de forma amigável as informações para auxiliar na tomada das decisões.

Este é um breve resumo sobre BI, persistindo alguma dúvida ou necessitando de maiores esclarecimentos, registre seu comentário e vamos aprender juntos.

Fonte:

ANTONELLI, Ricardo A. Conhecendo o Business Intelligence (BI) - Uma Ferramenta de Auxílio à Tomada de Decisão. Revista TECAP. v. 3, n. 3, 2009. Disponível em: http://revistas.utfpr.edu.br/pb/index.php/CAP/article/viewFile/933/544 acesso em: 14 de mar. 2012.

SAD - Sistemas de Apoio à Decisão

A definição do termo SAD (Sistema de Apoio à Decisão) ainda provoca divergência entre vários autores, mas sinteticamente pode-se definir como: "Conjunto de ferramentas que visa auxiliar os gestores na tomada de decisões".

Um SAD se diferencia de outros sistemas existentes nas organizações basicamente por:

- Manipular grandes volumes de dados;

- Obter dados de fontes diferentes (internas e externas);

- Flexibilidade de relatórios gerenciais;

- Execução de rotinas de otimização e heurística;

- Execução de análises de simulação;

- Suporte para diversos níveis na tomada de decisão;

Com a utilização de um SAD as organizações tem melhores condições de, por exemplo:

- Decidir sobre fazer ou não uma promoção, de qual produto e quando;

- Projetar o risco ou o sucesso do investimento em determinado empreendimento ou do lançamento de um produto;

- Decidir se deve contratar ou não novos funcionários no próximo mês;

Ou seja, com este sistema os gestores têm condições de tomar decisões não apenas na intuição.

Fonte:
FALSARELLA, Orandi M.; CHAVES, Eduardo O. C. Sistemas de Informação e Sistemas de Apoio à Decisão. Disponivel em: http://www.chaves.com.br/TEXTSELF/COMPUT/sad.htm Acesso em: 13 de mar. 2012.
BORTOLIN, Sérgio A. M. Sistema de Apoio à Decisão. Disponível em: http://www.al.urcamp.tche.br/infocamp/edicoes/nov05/Apoio%20a%20Decisao.pdf Acesso em: 13 de mar. 2012.

PRIMAK, Fabio Vinicius. Decisões com B.I. Business Intelligence. Brasil. 1a edição. Ciência Moderna. 2008. 168 p. ISBN 8573937149.

Quebra cabeça

Em resumo um DW (datawarehouse) pode ser definido como um banco de dados especializado, que integra e gerencia o fluxo de informações a partir de bancos de dados corporativos e fonte de dados externas à organização.

Por trás de uma solução de DW  existe uma série de ferramentas / tecnologias /  conceitos (peças) que precisam ser combinadas para atingir um objetivo específico. E para não sair do padrão temos a tradicional sopa de letrinhas: SAD, OLAP, OLTP, ETL, ODS além de alguns termos como Data Mart, Data Mining, Metadados, etc...

Gradativamente estes tópicos serão abordados com maior profundidade para que possamos construir a nossa base de conhecimentos.

Fontes:

MARTINS, C. E. W.; SILVA, E. L. da.; MUSSI, E. A. S. Implantação de um ODS no Banco do Brasil visando um DATA WAREHOUSE - Estudo de Caso. 1999. 51 f. Tese (MBA em Tecnologia) - Escola Politécnica, Universidade de São Paulo, Brasília. 1999.

HARRISON, Thomas H. Intranet Data Warehouse. São Paulo, Berkeley, 1998. 362 p.

Tudo é uma questão de tempo...

Este período de início de atividades em uma nova função / setor, para trabalhar em algo novo, me faz lembrar de situações semelhantes já vividas, do friozinho na barriga, da expectativa com relação ao aprendizado, daquela pergunta que não quer sair da cabeça nestes momentos (será que vou conseguir dar conta?), dentre outros sentimentos e sensações. 

Bom, a vantagem de ter alguns km rodados, é que, junto com os sentimentos acima (inevitáveis neste momento) recordamos também dos momentos seguintes, onde conseguimos através de muito estudo, determinação, comprometimento e paciência, gradativamente amadurer o conhecimento necessário para a execução das tarefas e com isto conquistar a auto-confiança e a confiança dos colegas de trabalho.

É um período de grande aprendizado... É um período onde teremos que trabalhar / desenvolver várias das nossas inteligências... É um período...

Por isso escrevo estas linhas, para não me esquecer que tudo é uma questão de tempo e lembrar aos colegas e amigos que porventura estejam na mesma situação, que tudo é uma questão de tempo.

Abraços, e sinta-se a vontade para postar o seu comentário.

Superando os concorrentes

"No ambiente comercial moderno, a informação é um dos bens mais valiosos que uma empresa pode usar para sobreviver às batalhas competitivas e defender sua posição no mercado. O capital intelectual alcançou um status igual - se não superior - ao do capital financeiro."

"As empresas proeminentes superam a concorrência sendo mais rápidas e eficientes, ajustando velozmente planos de ação competitiva e desafiando continuamente os rivais. O objetivo é identificar oportunidades mais rápido, planejar ações geniais, executar com maior presteza e efetuar redirecionamentos antes da concorrência."

"Um datawarehouse contém informações como avaliações de desempenho operacional e inteligência competitiva que facilitam a tomada de decisões. Um datawarehouse, no entanto, armazena simplesmente dados brutos nas linhas e colunas de um banco de dados."

"Um datawarehouse armazena os dados 'brutos' como 'fatos' individuais. Diferentemente de um SGBD, um datawarehouse armazena fatos para cada período de tempo, criando um histórico do desempenho." 

Fonte: HARRISON, Thomas H. Intranet Data Warehouse. São Paulo, Berkeley, 1998. 362 p.

Resumidamente um DW (Datawarehouse) sintetiza as informações das aplicações utilizadas no dia-a-dia (no âmbito operacional), criando uma massa de dados que possibilite às organizações a tomada de decisões estratégicas. Ou seja, com um bom projeto de DW as organizações terão maiores chances de manter a competitividade.


Concorda?

Start - Novas experiências...

Após um período de treinamentos / cursos, para digamos "nivelar" o conhecimento dos participantes do programa de ingresso na DITEC do BB, iniciamos agora a etapa de aprendizado junto à equipe de trabalho (vida real).

Estarei na equipe que trabalha com DW (Datawarehouse), BI (Business Intelligence) e CRM (Customer Relationship Management) portanto estes serão primordialmente os assuntos tratados neste espaço.

Fiquem a vontade para registrar seus comentários, levantar dúvidas / questionamentos, dar sugestões, emitir criticas enfim participar.

Abraços a todos,