O ambiente do DW

Devido às diferenças existentes entre os dados primitivos e os dados derivados como vimos em OLTP & OLAP, outros aspectos por consequencia necessitam de nova abordagem segundo Inmon.

OS NÍVEIS DE DADOS
Estas diferenças acabam por gerar 4 (quatro) níveis de dados na organização, como segue:

• Operacional ==> Contém os dados primitivos que atende às transações OLTP, refletindo o valor atual dos registros;
• Atômico / Data Warehouse ==> Contém dados primitivos que não são atualizados e alguns dados derivados, não existe a sobreposição de valores, mantendo um histórico dos registros através da utilização de um elemento tempo associado a chave de cada registro;
• Departamental ==> Contém apenas dados derivados e agrupados por departamento, tem-se uma base de dados para o Marketing, outro para o RH, outro para o Financeiro e assim por diante. Também existe neste nível o elemento tempo associado a chave de cada registro.
• Individual ==> Contém dados que serão utilizados nas análises heurísticas, normalmente são dados temporários de pequenas proporçoes e utilizados pelos Sitemas de Informações Executivas (EIS).

CICLO DE VIDA DO DESENVOLVIMENTO DE SISTEMAS
As diferenças entre os sistemas tradicionais e um DW não termina na forma de armazenar / modelar os dados, o desenvolvimento de sistemas para um ambiente de DW é praticamente o oposto ao tradicional SDLC (Systems Development Life Cycle), conforme abaixo:

SDLC Clássico	SDLC de um DW
Ciclo de vida baseado em requisitos	Ciclo de vida baseado em dados
Levantamento de necessidades	Implementar o warehouse
Análise	Integrar os dados
Projeto	Procurar distorções
Programação	Programas para os dados
Teste	Projetar sistemas SAD
Integração	Analisar os resultados
Implementação	Entender necessidades

UTILIZAÇÃO DO HARDWARE
Em um sistema OLTP o consumo do hardware mantém um certo padrão / média de utilização durante o tempo. É possível planejar o crescimento / upgrade do sistema.

É possível prever os picos de utilização por conta da sazonalidade, por exemplo, no natal o sistema das operadoras de cartão de crédito têm um pico de utilização.

Em contrapartida um sistema DW / SAD terá picos de utilização do hardware apenas quando houver solicitações de ETL e / ou consultas OLAP dos usuários e logo em seguida o hardware voltará a ficar ocioso.

Neste cenário consegue-se prever o ritmo de crescimento da base de dados, porém o consumo de CPU / memória RAM e espaço para dados temporários já fica mais complicado.

Ou seja, a configuração / ajuste fino do hardware que vai atender às demandas dos sistemas legados (OLTP) é totalmente diferente das necessidades / especificações dos sistemas que irão atender às demandas dos sistemas DW / OLAP.

CONCLUSÃO
Só estes três argumentos já justificam porque deve-se ter um ambiente separado para os sistemas DW / OLAP.

Na sequência vamos iniciar os estudos sobre modelagem multidimensional.

Qualquer dúvida, sugestão, crítica ou elogio registre abaixo. Abraços e até a próxima.

DataWarehouse (DW) & Data Mart (DM)

Um DW (Data Warehouse ou Armazém de Dados) é uma coleção de dados orientada por assunto, integrada, variante no tempo e não volátil que tem por objetivo dar suporte aos processos de tomada de decisão.

É um repositório central que armazena dados de várias fontes, transformando-os em um modelo comum, multidimensional, para a realização de consultas e análises mais eficientes.

A diferença entre um DW e um DM basicamente consiste no volume de dados, abrangência e foco. Enquanto o DW foca na organização como um todo os DM´s focam em um determinado departamento ou conjunto especifíco de usuário, por exemplo.

A construção deste armazém pode acontecer de duas formas, cada abordagem têm seus prós e contras. As circunstâncias e particularidades de cada projeto é que determinarão qual utilizar.

Na abordagem Top-Down primeiro se monta o DW (corporativo) para num segundo momento criar os DM (departamentais).

Fonte:http://www.dataprix.net/pt-pt/24-data-mart 

Ou utilizar a abordagem Bottom-UP onde primeiro é criado os DM´s para em seguida montar o DW da organização.

Fonte:http://www.dataprix.net/pt-pt/24-data-mart 

Superando os concorrentes

"No ambiente comercial moderno, a informação é um dos bens mais valiosos que uma empresa pode usar para sobreviver às batalhas competitivas e defender sua posição no mercado. O capital intelectual alcançou um status igual - se não superior - ao do capital financeiro."

"As empresas proeminentes superam a concorrência sendo mais rápidas e eficientes, ajustando velozmente planos de ação competitiva e desafiando continuamente os rivais. O objetivo é identificar oportunidades mais rápido, planejar ações geniais, executar com maior presteza e efetuar redirecionamentos antes da concorrência."

"Um datawarehouse contém informações como avaliações de desempenho operacional e inteligência competitiva que facilitam a tomada de decisões. Um datawarehouse, no entanto, armazena simplesmente dados brutos nas linhas e colunas de um banco de dados."

"Um datawarehouse armazena os dados 'brutos' como 'fatos' individuais. Diferentemente de um SGBD, um datawarehouse armazena fatos para cada período de tempo, criando um histórico do desempenho." 

Fonte: HARRISON, Thomas H. Intranet Data Warehouse. São Paulo, Berkeley, 1998. 362 p.

Resumidamente um DW (Datawarehouse) sintetiza as informações das aplicações utilizadas no dia-a-dia (no âmbito operacional), criando uma massa de dados que possibilite às organizações a tomada de decisões estratégicas. Ou seja, com um bom projeto de DW as organizações terão maiores chances de manter a competitividade.


Concorda?