Ola Pessoal,A ideia desses posts e de aproveitar o meu estudo ainda beeeem inicial sobre o assunto e poder compartilhar com todos. Hoje vou abordar de maneira bem resumida os Mecanismos e Estrutura do Hadoop. Toda e qualquer sugestao e bem vinda.O processo se inicia com o(s) arquivo(s) de entrada (txt e etc...). Esse(s) aquivo(s) fica(m) dentro do HDFS. De modo que sao dividos em blocos e processados nas maquinasO MapReduce divide as 'N' particoes em pedacos de 64 MB. Esse tamanho pode ser configurado pelo usuario (block size).Cluster - Master - controla as Slaves - distribuindo tarefas - verificando falhas das Slaves - escolher workers(slaves) inativos para realizarem processos - Slave (Worker) - A primeira funcao utilizada e a Map (Feita pelo programador). O programa fica geralmente no arquivo .jar(caso seja programado em java) - Todo resultado da funcao Map e armazenado em buffer. O tamanho do buffer tambem e configuravel, assim como as particoes citadas acima. - Quando o buffer esta cheio, os dados sao escritos/armazenados em disco - O resultado da funcao Map e enviada ao Master - Os dados sao ordenados e agrupados - O Reduce comeca a interacao sobre os dados - Quando tanto a funcao de map quanto a de reduce terminam, elas notificam o no master dizendo que o trabalho foi finalizado - Com isso o master coloca o resultado final em arquivo. Tambem ficando no(s) arquivo(s) de saida no HDFS * Lembrando que a paralelizacao e de responsabilidade do Framework. O programador deve criar as funcoes Map e Reduce- O arquivo de programacao no hadoop fica no master e e copiado para os Slaves.Espero que tenham gostado. Em um proximo post vou abordar os arquivos de configuracao e tentar entrar um pouco mais no assunto.Muito obrigado Tem coisas repentinas que se apresentam aos sentidos desavisados so pra mudar a intencao,a direcao,a emocao...Sentia um embrulho no estomago, uma estranha irritacao,suspiros melancolicos... Seria o medo de voar?Seriam os pensamentos barulhentos e ansiosos planando com as termicas de saudade?Nao sei...O fato e que... quando estava saindo do banheiro feminino um homem entrou por engano... inesperado...comicoEm um segundo minha tensao foi atravessada por uma cosquinha engracada...uma timida vontade de rir. A atitude do cidadao ao entrar confiante e sua expressao desconcertada ao ser barrado...por mim... presentearam-me com um semblante mais leve e uma disponibilidade para o proximo minuto.Um pao de queijo fresquinho e uma xicara media de cafe com leite...cremoso... o grito inadequado da atendente olha o misto quebrando o silencio erudito da espera de quem vai...A ideia que surge, os dedos saltando de uma tecla para outra, chamam o olhar perdido pra brincar...brincar de transformar sensacoes em historias...Nao contava com o assento 23c do aviao, mais uma vez fiquei longe da minha querida fileira 5...Acho que o medo e coisa de gente rigida,controladora,que tem mania de esperar...Turbinas,sons,vibracoes, a espera... os pensamentos explosivos lancando estilhacos de antecipacao para todos os lados...desconfortos conhecidos... Estava indo tudo bem...e eu me surpreendi com um desejo estranho... desejei a turbulenciaEstava tudo tao calmo... e essa ideia me surgiu, uma turbulencia seria mais