quarta-feira, 28 de março de 2012

O ambiente do DW

Devido às diferenças existentes entre os dados primitivos e os dados derivados como vimos em OLTP & OLAP, outros aspectos por consequencia necessitam de nova abordagem segundo Inmon.

OS NÍVEIS DE DADOS
Estas diferenças acabam por gerar 4 (quatro) níveis de dados na organização, como segue:
  • Operacional ==> Contém os dados primitivos que atende às transações OLTP, refletindo o valor atual dos registros;
  • Atômico / Data Warehouse ==> Contém dados primitivos que não são atualizados e alguns dados derivados, não existe a sobreposição de valores, mantendo um histórico dos registros através da utilização de um elemento tempo associado a chave de cada registro;
  • Departamental ==> Contém apenas dados derivados e agrupados por departamento, tem-se uma base de dados para o Marketing, outro para o RH, outro para o Financeiro e assim por diante. Também existe neste nível o elemento tempo associado a chave de cada registro.
  • Individual ==> Contém dados que serão utilizados nas análises heurísticas, normalmente são dados temporários de pequenas proporçoes e utilizados pelos Sitemas de Informações Executivas (EIS).

CICLO DE VIDA DO DESENVOLVIMENTO DE SISTEMAS
As diferenças entre os sistemas tradicionais e um DW não termina na forma de armazenar / modelar os dados, o desenvolvimento de sistemas para um ambiente de DW é praticamente o oposto ao tradicional SDLC (Systems Development Life Cycle), conforme abaixo:

SDLC Clássico
SDLC de um DW
  • Ciclo de vida baseado em requisitos
  • Ciclo de vida baseado em dados
  • Levantamento de necessidades
  • Implementar o warehouse
  • Análise
  • Integrar os dados
  • Projeto
  • Procurar distorções
  • Programação
  • Programas para os dados
  • Teste
  • Projetar sistemas SAD
  • Integração
  • Analisar os resultados
  • Implementação
  • Entender necessidades


UTILIZAÇÃO DO HARDWARE
Em um sistema OLTP o consumo do hardware mantém um certo padrão / média de utilização durante o tempo. É possível planejar o crescimento / upgrade do sistema.

É possível prever os picos de utilização por conta da sazonalidade, por exemplo, no natal o sistema das operadoras de cartão de crédito têm um pico de utilização.

Em contrapartida um sistema DW / SAD terá picos de utilização do hardware apenas quando houver solicitações de ETL e / ou consultas OLAP dos usuários e logo em seguida o hardware voltará a ficar ocioso.

Neste cenário consegue-se prever o ritmo de crescimento da base de dados, porém o consumo de CPU / memória RAM e espaço para dados temporários já fica mais complicado.

Ou seja, a configuração / ajuste fino do hardware que vai atender às demandas dos sistemas legados (OLTP) é totalmente diferente das necessidades / especificações dos sistemas que irão atender às demandas dos sistemas DW / OLAP.

CONCLUSÃO
Só estes três argumentos já justificam porque deve-se ter um ambiente separado para os sistemas DW / OLAP.

Na sequência vamos iniciar os estudos sobre modelagem multidimensional.

Qualquer dúvida, sugestão, crítica ou elogio registre abaixo. Abraços e até a próxima.

Um comentário:

  1. Interessante a tabela sobre o Life Cycle do DW e sua analogia ao de desenvolvimento de sistemas.

    Abs,
    Gabriel Marques.

    ResponderExcluir