Organizando dados e informações
Autor: Alexandre Dehon de Almeida Lima | Publicado: 2008-11-21T09:19:00-02:00

O fracasso das empresas é não entender o estado dos dados, nem saber o que fazer com eles, o excesso de dados e a falta de informação suficiente. Computadores espalhados por diversos setores dificultam ainda mais entender o significado, pois a quantidade de dados é maior. Para solucionar estes problemas empresas buscam sistemas de informação com suporte a banco de dados a fim de organizar os dados tirando melhor proveito deles alcançando suas metas, pois oferecem aos gerentes e aos tomadores de decisão a informação correta no momento que necessita. Ainda a outros objetivos, como reduzir custos, aumentar lucros, rastrear atividades, manter históricos buscar novos negócios, enfim é o sucesso para a organização atualmente, pois permite que ela permaneça competitiva devido à facilidade de acesso aos dados. BANCO DE DADOS é um conjunto de dados organizados para atender a necessidade dos usuários. São acessados por um DBMS (Sistema de gerenciamento de banco de dados), que é um grupo de programas que fornece uma interface entre o banco e o usuário ou entre o banco e outros aplicativos. O banco o DBMS e programas aplicativos, formam um ANBIENTE DE BANCO DE DADOS.     Atividades corporativas como pagar funcionários, controlar estoque, tomada de decisão etc. tem sucesso quando possuem dados corretos processados, organizado de modo representativo e estruturado.Um dado é organizado em uma Hierarquia crescente:1) Bit: um dígito binário é o menor pedaço de dados usado por computadores.2) Bytes: é um conjunto de 8 bits3) Caractere: é um byte, por exemplo, letras, números, símbolos especiais.4) Campo: combinações de caracteres, descrevem o aspecto corporativo Ex: um empregado, ou atividade Ex: venda5) Registro: é um conjunto de campos relacionados Ex: nome do empregado, endereço...6) Arquivo: conjunto de registros Ex: todos os arquivos de empregados da empresaEntão 8 bits forma 1 byte que combinados formam caracteres, combinando estes formam campos que combinados formam um registro, combinados para formar um arquivo que enfim são combinados para formar um banco de dados7) Banco de dados: suporta os seis níveis da hierarquia e o relacionamento entre eles.Em um banco de dados existem: Entidades classe ou objeto para qual o dado é coletado armazenado e mantido Ex: clientes Atributos são características de uma entidade Ex: nome, endereço, telefone. Item de dado valor especifico de um atributo, é encontrado nos campos de um registro que descreve uma entidade Ex: 3342-3692 Chave campo ou conjunto de campos de um registro, usadas para identificá-los, elas podem ser primarias que são únicas para organizar manipular e acessar registros ou estrangeiras para fazer referencias entre as tabelas. Chaves primarias podem ser compostas para auxiliar na busca de informações, por exemplo se não sei o código de um cliente posso procurá-lo pelo CPF basta ter definido ele também como parte da chave primaria.        Empresas são sistemas que necessitam de mudança constante de dados, por isso tem que optar por uma forma de gerenciamento: 1°Enfoque Tradicional: o gerenciamento de dados é feito em arquivos separados, criados e armazenados conforme cada aplicação. Ex para cada controle que a empresa faz há um arquivo diferente, sendo que podem armazenar os mesmos dados. A duplicidade de dados em arquivos separados é chamada redundância de dados, pode gerar problemas Ex: atualização, um funcionário pode trocar o telefone e ele ser alterado em apenas um dos arquivos. Este fenômeno dificulta a integridade de dados, que só vai existir quando dados repetidos forem eliminados. Ex: manter o endereço de cliente em um só arquivo diminui a possibilidade de ele estar registrado com diferentes endereços.Nestes sistemas de banco, programas e dados existem para cada aplicação especifica, ou seja não são compatíveis Ex: Sistema de faturamento, campo CEP de 5 dígitos, SI processamento de pedidos CEP 9 dígitos, será difícil igualar os campos.2° Enfoque em Banco de Dados é um meio de gerenciar os dados de forma mais eficiente a fim de solucionar os problemas do enfoque tradicional. Dados são compartilhados por varias aplicações, todos os dados são armazenados no mesmo local, por isso o espaço ocupado é menor, reduzem a redundância, aumentam a integridade tornando as empresas mais flexíveis facilitando o acesso aos dados com respostas corretas devido todos os setores acessarem os mesmos dados. Neste enfoque é necessário o uso do DBMS, combinando hardware e software.Devido suas vantagens está sendo usado pela maioria das empresas. Dados armazenados em um banco são as entradas em um sistema , podem ser utilizados na criação de relatórios, suporte a decisão, análise de estatísticas etc., sendo os mesmos dados usados por diferentes sistemas representam vantagem competitiva, auxiliando no planejamento e organização. Uma organização pode utilizar vários bancos de dados, formando um banco de dados corporativo, englobando toda a organização, contribuindo para alcançar suas metas.        Devido às diversas transações que ocorrem no dia-dia em uma organização, é necessário manter os dados organizados para serem mais bem utilizados e armazenados, permitindo acesso rápido e fácil modificação, refletindo os processos corporativos, por isso ao construir um banco de dados deve-se considerar o conteúdo dos dados que vão ser coletados, quem irá acessá-los , quando e como, isso exige dois tipos de projeto: Projeto Lógico é o modelo, como estruturar e organizar os dados para atender as necessidades de informação da organização.São identificados relacionamentos entre os diferentes itens de dados agrupando-os . Os usuários devem participar deste desenvolvimento pois é eles que vão trabalhar com entradas e saídas fornecidas pelos banco de dados ao SI assegurando a identificação das necessidades e seu atendimento. Projeto Físico inicia logo após o lógico são ajustados a desempenho ex: unidade de armazenamento, tempo de resposta... E o custo.O profissional responsável por ele deve conhecer o DBMS para poder programar o banco. Nestes projetos existe a redundância planejada de dados , onde atributos são repetidos em mais de uma entidade para melhorar a desempenho do sistema a fim de agilizar as consultas pelo usuário e a emissão de relatórios. Para demonstrar o relacionamento entre os dados, os profissionais utilizam um Modelo de Dados um mapa, um diagrama de entidades e relacionamentos. A modelagem de dados ocorre sobre o entendimento de um problema corporativo iniciando por dados gerais, nível estratégico, áreas funcionais e departamentos são analisados extraindo-se dados que possibilitem a elaboração de um modelo que atenda as necessidades da organização, solucionando seus problemas. Para auxiliar os projetistas na modelagem foram desenvolvidos esquemas, o mais usado é o modelo ER, um diagrama Entidade-relacionamento que usa símbolos gráficos para mostrar a organização (entidades) e o relacionamento entre os dados (losangos) que realmente são conectados logicamente facilitando o acesso dos usuários por meio dos aplicativos e programas.  Podem mostrar vários relacionamentos EX: (1:1), (n:n) (1:n)-uma encomenda pode ter vários itens.  Asseguram que os relacionamentos entre as entidades no banco sejam estruturados logicamente para melhor atender as necessidades dos usuários. Podem ser usados como documentos de referencia se acaso um dia necessitar de mudanças na estrutura do banco, facilitando as alterações.   O modelo de banco de dados pode ser: Hierárquico: dados seguem uma estrutura hierárquica semelhante a uma arvore, organizados de cima para baixo.  Mais usado quando ocorrem relacionamento 1:n , um Pai para muitos filhos Ex: Um projeto envolve 2 departamentos e estes envolvem 2 tipos de empregados para cada 1. O dado só pode ser acessado logicamente por um único caminho, percorrendo gerações apropriadas na estrutura ate obter o elemento desejado. Rede: usa relacionamentos proprietário-menbro, onde um membro pode ter muitos proprietários que são ligados por linhas Ex: Projeto 1 e Projeto 2 como proprietários, Projeto1 formado por membros A e B (departamentos), Projeto2 por B e C, então projetos possuem dois departamentos sendo que o b pode ser acessado tanto pelo 1 quanto pelo 2, significa então que tem mais de um caminho de acesso. Estes dois tipos de projeto têm a mesma deficiência: depois de estabelecidos os relacionamentos é difícil modificar ou criar novos. Relacional: é o mais utilizado pois descreve os dados num formato padrão, onde todos os elementos que farão parte do banco são colocados em tabelas de 2 dimensões chamadas Relações (arquivos na realidade), estas tabelas organizam os dados em linhas que são os dados da entidade e colunas que são os atributos , assumem valores determinados, chamados Domínio o valor que poderá ser armazenado em cada uma das colunas Ex: atributo sexo (masculino/feminino).  Depois de inseridos os dados, podem ser manipulados e acessados pelo usuário de forma simplificada para realizar consultas e analises. Existem 3 tipos de manipulação: Seleção- é a eliminação de linhas não necessárias para uma consulta.Projeção é a eliminação de colunas não necessárias para uma consulta . Unificação é a junção de duas ou mais tabelas em uma consulta. Quando os mesmos dados e itens de dados precisam ser utilizados em tabelas diferentes, elas são vinculadas para melhorar o desempenho do banco e facilitar consultas. Dados valiosos são aqueles que são precisos, completos, econômicos, flexíveis, confiáveis, relevantes, simples, pontuais, verificáveis, acessíveis e seguros , por isso é necessário o processo de limpeza de dados, para correção de erros mantendo-os íntegros, Ex: um dado pode estar diferente por erro de digitação. Os modelos lógicos possuem vantagens e desvantagens, sendo o relacional o mais utilizado hoje:Hierárquico: Vantagem->-eficiência: tempo de manipulação é menor, pois relacionamentos são menos complexos (cada filho possui somente um pai) Desvantagem ->-não é flexível na organização dos dados. -difícil modificar pode apresentar dificuldades na instalação.RedeVantagem->-maior flexibilidade na organização dos dados Desvantagem ->--complexidade dos relacionamentos dificulta o desenvolvimento e usoRelacional Vantagem->--fácil de usar e controlar por ser flexível e organizar dados em tabelas-capacidade de vincular tabelas evita a redefinição de relacionamentos; -Pode ser usado em PCs e mainframes-utilizado nas grandes bases de dados corporativas Ex: marketing, contabilidade  Desvantagem ->---Alto custo    Os DBMS asseguram a criação e implementação de um banco de dados correto para dar suporte às atividades e metas do negocio. são classificados pelo tipo de modelo de dados que dão suporte Ex: Access da Microsoft (modelo relacional para PCs), DB2 da IBM, Oracle, Sysbase e o Informix (relacionais para mainframes). Não importa o modelo todos os DBMS tem funções em comum: A) Fornecer uma Visão ao Usuário. Devido o DBMS ser responsável pelo acesso ao banco o primeiro passo na instalação é informar um esquema , que são os caminhos de acesso lógico e físico e seus relacionamentos. Um esquema pode ser parte do banco ou um arquivo separado. A visão é a parte do banco que poderá ser acessada pelo usuário, representada pela interface do DBMS.Para criar diferentes visões são desenvolvidos suebesquemas, arquivos que descrevem um subconjunto de banco de dados identificando os usuários que podem modificar registros melhorando aspectos de segurança.  Esquema descreve todo o banco, subesquema apenas alguns registros Ex: clientes da região Sul.Vários subesquemas podem ser desenvolvidos para diferentes usuários, gerentes e aplicativos.  o usuário através de um programa acessa um subesquema que acessa um esquema.B) Criar e Modificar o BD: esquemas e subsquemas são inseridos no BD através da DDL linguagem de definição de dados, um conjunto de instruções e comandos usados para definir e descrever dados e seus relacionamentos, descreve os caminhos de acesso lógico. Na criação de um BD é necessário um dicionário de dados que é a descrição detalhada de todos os campos da estrutura de dados. Contém nome, apelido para descrever o item de dado, a faixa de valores o tipo de dado, a quantidade para armazenamento, pessoas responsáveis pela atualização e acesso e uma lista de relatórios. Dicionários fornecem, definição padrão dos termos dos elementos de dados para auxiliar a programação identificando quais elementos já estão no banco e como se relacionam, não é necessário saber onde estão armazenados fisicamente pois o dbms localiza-os, analistas usam o dicionário para saber quais os programas contem os mesmos elementos, se for necessário alterar ou apagar um elemento de dados o dicionário sinaliza os programas que os utilizam.Dicionários tem uma serie de vantagens: reduzem a redundância dos dados, aumentam a confiabilidade,é mais difícil um dado ser destruído ou perdido pois pessoas desautorizadas não conseguem acessar, o desenvolvimento de um programa é mais rápido pois dados são nomeados automaticamente, a modificação dos dados é mais fácil pois não precisa saber onde estão armazenados, basta modificar que o dbms atualiza. C) Armazenar e Recuperar Dados: quando um usuário quer recuperar dados, utiliza 1 programa que solicita dados ao dbms e esse segue um caminho lógico de acesso, que através de softwares básicos acessa um dispositivo de armazenamento HD, fita, CD, disquete...através de um caminho físico de acesso. Podem ocorrer problemas quando 2 ou mais pessoas tentam acessar o mesmo registro no mesmo BD, não conseguindo acessar ou modificando e o bd não atualizar, para solucionar estes deve se utilizar controle de concorrência que trava os programas de acesso quando um registro já esta sendo acessado por outro ou sofrendo atualizações. Hoje os usuários realizam atualizações e acessos aos BD inclusive pela Internet. D) Manipular Dados e Gerar Relatórios : depois de instalado o dbms o sistema pode ser acessado por vários empregados através de comandos específicos em diferentes linguagens de programação Ex: COBOL, SQL linguagem estruturada de consulta desenvolvida nos anos 70 como padrão. Comandos para manipular dados de um bd fazem parte da DML linguagem de manipulação de dados que é fornecida junto com o dbms permitindo acesso, modificação, consulta e geração de relatórios. Programas consultam subesquemas, esquemas e o dbms para acessar dados armazenados num dispositivo físico. SQL mais usada hoje pois pode ser embutida em outras linguagens, também por ter simplificado e padronizado procedimentos de manipulação recuperação e armazenamento. Depois de realizar estes processos é possível obter saídas através de documentos e relatórios no vídeo ou impressos, selecionando-se registros, formatados cabeçalhos.  As empresas utilizam estes para atingir suas metas pois apresentam informações úteis selecionadas e resumidas Ex: pedidos, relação de clientes mensais.   A ultima geração de dbms permite que usuários finais construam suas próprias bases de dados integrando-as com processadores de texto, planilhas eletrônicas e outras ferramentas para resolver problemas do dia-dia, pessoais ou empresariais, é possível criar tabelas personalizadas, modificar aplicações prontas, já trazem modelos definidos, tem recursos de ajuda ao usuário e integração com a Web. Ex: BD para profissionais DB2(IBM), Oracle    São as empresas que determinam o tipo de dado a ser coletado e o banco utilizado, o analista auxilia na escolha do SGBD analisando necessidades e características do BD que são: Tamanho: determina o espaço requerido em disco, depende da quantidade de tabelas.Deve existir a possibilidade de acesso simultâneo a vários usuários para se ter eficiência na empresa eles devem ser escalados para manter bom desempenho no banco. Performance refere-se a velocidade de atualização e consulta aos registros, capacidade de memória para executar o dbms. Integração deve ter capacidade de se integrar com outros bancos e aplicações para importar e exportar dados.Recursos deve ter recursos de segurança como controle de acesso, variedade de ferramentas, fácil utilização, disponibilizar manuais para auxiliar o usuário quanto ao funcionamento, assistentes de modelos pré-definidos . Fornecedor deve-se optar pelos bens falados no mercado, que ofereçam suporte e melhor custo financeiro. Custos: analisar custo inicial do pacote e de operação mensal, aluguel, manutenções, software, hardware, geralmente os para mainframes custam mais que os para PCs.    Tipos de dados e informações que os gerentes precisam mudam de acordo com os processos corporativos. O numero de alternativas no uso de bd e dbms ajudam empresas a atingir metas através de:-Banco de Dados Distribuídos: unidades de processamento são colocadas em diferentes locais, vinculando-se por equipamentos de telecomunicação, onde o dado real pode estar espalhado por varias bases menores. Não é necessário saber onde o dado esta armazenado, basta solicitar ao dbms. Vantagens: mais flexibilidade e eficiência no uso e organização do bd, permite que usuários diferentes acessem locais diferentes. Desafios:manter segurança de dados,integração, precisão, pontualidade e adaptação aos padrões, difícil controlar o acesso. O acesso é mais lento devido as linhas de telecomunicação. Para resolver este problema algumas empresas criam bd replicados onde mantém somente os dados mais utilizados, no começo do dia a unidade que tem o bd principal envia uma copia dos dados para outras localidades e estas no fim do dia retornam os dados modificados.- OLTP: são sistemas de transação on-line para dar suporte as atividades diárias, utilizados para coletar dados operacionais , vendas e financeiros. Projetados para colocar rapidamente de forma confiável e eficiente as informações no banco, não são adequados para analise, pois é difícil ajustar a performance para rápida recuperação devido a mudança constante dos dados armazenados. O banco contem transações exigidas para operar o negocio, erros, entradas duplicadas, dificultam o trabalho das pessoas que precisariam de dados estáveis, não é possível realizar uma analise correta pois dados históricos ficam perdidos, pode se dizer que os dados destes bancos são ricos, mas pobres de informação pois não atendem as necessidades dos tomadores de decisões.-Data Warehouse,: é a evolução dos sistemas de suporte a decisão (DSS), surgiram com o aprimoramento das tecnologias de rede, modelo relacional projetado para dar suporte a tomada de decisão gerencial, disponibiliza um banco especifico que gerencia o fluxo de informações dos atuais bancos corporativos e de fontes externas podendo ser acessado por toda empresa, contendo centenas de GB de dados.Geralmente mantém histórico de dados de 5 a 10 anos , utilizam ferramentas de limpeza removendo inconsistências e dados desnecessários , integra dados num único bd para auxiliar gerentes.Para permanecer atualizado necessita de atualizações regulares que devem ser rápidas e eficientes. A vantagem é que dados são relacionados de formas diferentes, mas é de difícil implementação. –Data Marts: são subconjuntos de data warehouse , utilizados em negócios de pequeno e médio porte e para departamentos de grandes companhias, criados para áreas especificas ou seja não tem um único bd. Ex:analise on-line de vendas. úteis para grupos menores que precisam de dados mais detalhados, contendo dezenas de GB, então o hardware pode ser mais simples economizando-se. Qualquer software de bd pode ser utilizado para montá-lo mas existe fornecedores que tem os apropriados e com melhor preço. colocam informações diretamente nas mãos dos tomadores de decisão.- Data Mining também suporte a decisão, utilizado mais para previsões futuras e respostas a perguntas ainda não formuladas, auxiliando na descoberta de erros em bancos grandes inclusive aqueles para Internet, utiliza ferramentas de consulta e analise embutida que gera automaticamente hipóteses sobre padrões e anomalias identificadas no dado.O objetivo é propor estratégias de negocio para aumentar a competitividade elevar lucros e transformar processos corporativos Ex: marketing utilizada para manter fidelidade de clientes, podendo oferecer inclusive pela internet produtos específicos.-OLAP : processamento analítico on-line, analise multidimensional, usada para armazenar e distribuir informações dos data Warehouse permitindo que usuários explorem dados corporativos com varias perspectivas, representando a empresa e seus processos através de recursos gráficos, suportam analise com velocidade alta e relacionamentos complexos, pois a estrutura é otimizada, evita processamento SQL e utilização de índices. A atualização pode demorar muito tempo por isso empresas as realizam somente nos finais de semana, para tentar agilizar, fornecedores estão usando particionamento e cálculos em tempo de execução. Os dados das diversas dimensões são chamados de medidas e são agregados, utilizadas pelos gerentes para tomar decisões, o valor dos dados depende das decisões que eles auxiliam. Olas e data mining podem ser utilizados dentro de um data Warehoues para aumentar a competitividade entre as empresas pois oferece informações mais nítidas em relação ao mercado. Analise top-down utilizada pelo data warehouse e OLAP, partem do dado consolidado em direção ao primitivo. Analise bottom up usada pelo data mining parte do dado primitivo para o consolidado. OLAP exige criatividade e interação pra encontrar informações no banco, mostrando ao usuário o que realmente acontece em seu negocio. O data mining o apóia informando porque está acontecendo, servem principalmente para identificar fraudes.Para auxiliar na integração de bancos de dados, a maioria das empresas utilizam conectividade aberta de banco de dados (ODBC) um padrão utilizado para transferência de arquivos entre diferentes bancos, garantindo que o software desenvolvido possa ser usado por qualquer banco compartilhando dados em diferentes formatos e por diferentes usuários que se conectam ao mesmo banco, aprimoram aplicativos que usam pequenas base de dados para que passem a usar as que rodam em Workstations, a desvantagem é que são menos eficientes dos que os projetados para um banco especifico. Outro padrão utilizado é o (ORDBMS) sistema de gerenciamento de banco de dados relacionando a objetos ou sistema universal de banco de dados, possibilitam manipular áudio, vídeo e dados gráficos, não podem ser armazenados em tabelas.  o objetivo deste sistema é reunir a capacidade de um banco de dados relacional adicionando novos tipos de dados (áudio, vídeo imagens, texto não estruturado, dados espaciais, temporais) e operações que exigem recursos especiais para acesso. dados são armazenados como objetos que contem instruções necessárias para realizar o processo de transação.  Uma empresa pode melhorar seu processo de analise e busca de informações inclusive realizar estas através de um site web conectado há um Banco. A capacidade de anexar dados de fontes externas variam de fornecedor para fornecedor inclusive oferecendo utilitários que contem instruções especiais. Este tipo de DBMS é utilizado principalmente para aplicações web que exigem cada vez mais suporte a objetos para vincular componentes gráficos e mídias nos bancos, as empresas estão mudando a forma de analise de informações para recursos gráficos. Tem como desvantagem a necessidade de aumentar a capacidade dos dispositivos de armazenamento secundário e a demora e dificuldade na realização de consultas. Alternativas para melhorar estes problemas estão sendo desenvolvidas: Hipertexto: dados alfanuméricos são buscado e armazenados de modo não estruturado em blocos chamados nós podem ser vinculados segundo a especificação dos usuários não seguindo um modelo Hipermídia é uma extensão do hipertexto, permite empresários manipular dados no formato multimídia , dados alfanuméricos, imagens , sons e vídeos, utilizado principalmente pela área de marketing, nós são vinculados através de teias para definir relacionamentos que são estabelecidos pelo próprio usuário.Tecnologia de dados geoespaciais envolve padrão ordbms para armazenar e acessar dados de acordo com o local que descrevem permitindo consulta e analise geoespaciais Ex: sistema de monitoramento de satélites da Nasa com estações em terra. Os dados fornecidos por estes sistemas servem para prevenir riscos naturais que possam ocorrer, encontrar recursos ex:petróleo, modificações de moedas etc...    Enfim é impossível falar de tecnologia sem falar em banco de dados que hoje são o sucesso para manter a competitividade entre as organizações pois além dos padrões existentes, podem ser construídos de acordo com a necessidade de cada uma a fim de agilizar seus processos transformando os dados brutos em informações úteis de forma organizada e segura inclusive com capacidade de atualização pela Internet auxiliando principalmente na tomada de decisões.