Software Big Data livre para os Impacientes
Autor: Samoraes &amp; Tecnologia | Publicado: 2015-05-20T19:21:00-07:00

Há muita empolgação com relação ao Big Data e muita confusão também. Este artigo fornecerá uma definição funcional de Big Data e dará uma série de exemplos para que você tenha uma compreensão em primeira mão de alguns dos recursos do Hadoop, a tecnologia líder de software livre no domínio de Big Data. Especificamente, vamos nos concentrar nas seguintes questões.
O que é Big Data, Hadoop, Sqoop, Hive e Pig, e por que há tanta empolgação nesse espaço?
Como o Hadoop se relaciona ao IBM DB2 e ao Informix? Essas tecnologias podem ser usadas juntas?
Como posso começar a usar Big Data? Há exemplos simples que funcionam em um único PC?
Para os superimpacientes, se já for possível definir Hadoop e quiser trabalhar direto com as amostras de código, faça o seguinte.
Dispare sua instância do Informix ou DB2.
Faça o download da imagem VMWare do website da Cloudera e aumente a configuração de RAM da máquina virtual para 1,5 GB.
Vá até a seção que contém as amostras de código.
Há uma instância MySQL integrada à imagem VMWare. Se você estiver fazendo os exercícios sem conectividade com a rede, use os exemplos de MySQL.
Para todos os outros, continuem a leitura...
O que é Big Data?
Big Data é grande em quantidade, é capturado a uma taxa rápida e pode ser estruturado ou não estruturado, ou alguma combinação das opções acima. Esses fatores tornam o Big Data difícil de capturar, minar e gerenciar usando métodos tradicionais. Há tanta empolgação nesse espaço que poderia haver um debate extra apenas sobre a definição de big data.
O uso da tecnologia Big Data não é restrita a volumes grandes. Os exemplos neste artigo usam pequenas amostras para ilustrar os recursos da tecnologia. Desde o ano 2012, clusters grandes estão na faixa de 100 petabytes.
Big Data pode ser estruturado e não estruturado. Bancos de dados relacionais tradicionais, como Informix e DB2, fornecem soluções comprovadas para dados estruturados. Por meio da extensibilidade, eles também gerenciam dados não estruturados. A tecnologia Hadoop traz técnicas de programação novas e mais acessíveis para trabalhar em armazenamento de dados massivos com dados estruturados e não estruturados.
Voltar para parte superior
Por que toda essa empolgação?
Há muitos fatores que colaboram para a empolgação em torno do Big Data, incluindo o seguinte.
Unindo computação e armazenamento em um hardware acessível: o resultado é uma velocidade impressionante por um custo baixo.
Preço e desempenho: a tecnologia Hadoop big data fornece economias consideráveis (pense em um fator de aproximadamente 10) com aprimoramentos significativos de desempenho (novamente, pense em um fator de 10). Sua experiência poderá variar. Se a tecnologia existente pode ser ultrapassada de forma tão contundente, vale a pena examinar se o Hadoop pode complementar ou substituir os aspectos de sua arquitetura atual.
Escalabilidade linear: toda tecnologia paralela fala sobre incrementações. O Hadoop apresenta escalabilidade genuína e desde o último release está expandindo o limite no número de nós para mais de 4.000.
Acesso total a dados não estruturados: um armazenamento de dados altamente escalável com um bom modelo de programação paralelo, MapReduce, foi um desafio para o setor durante algum tempo. O modelo de programação do Hadoop não soluciona todos os problemas, mas é uma solução sólida para muitas tarefas.

Fonte:http://www.ibm.com/developerworks/br/data/library/techarticle/dm-1209hadoopbigdata/