Bom dia a todos,Hoje o meu objetivo e explicar de maneira sucinta as funcoes Map, Reduce e Combine.O hadoop trabalha dividindo o processamento em duas funcoes principais: Map e Reduce.Primeiro roda a funcao map, e com os dados resultantes da map o Reduce rodaO codigo fonte dessas duas funcoes sao implementadas de acordo com o problema. Sao funcoes distintas e sao feitas pelo programadorO programador alem de escrever o codigo fonte, define os tipos de dados que essas duas funcoes vao receberDiante das duas funcoes, esse modelo MapReduce fornece uma funcao que acontece entre uma e a outra, a Combine. e encaixada entre o Map e o ReduceMapPrimeira funcao a ser executadacada linha do arquivo/particao que chegou e passada como parametro para a funcao MapExemplo de uma funcao que pode ser aplicada:map({1,2,3,4}, quadrado) resulta em {1,4,9,16}, gerando uma nova listaNo exemplo acima cada numero estava em uma linha do arquivo, sendo que cada linha pode ser processada por uma maquinao Programador que e o responsavel por criar o codigo da funcao MapOs resultados da Map sao repassados para a funcao ReduceParalelizacao e distribuicAo sao tarefa do Framework hadoopReduceRecebe a lista de dados que foi o resultado do Map. Comparando com o caso anterior, os dados de entrada seriam:{1,4,9,16}Aplicar uma funcao para que a entrada seja reduzida a um unico valor de saidaFuncoes de Reduce Comuns:MinimoMediaMaximoEx:Reduce ({1,4,9,16}, minimo) = 1Tambem criada pelo ProgramadorParalelizacao e distribuicao sao tarefa do Framework hadoopCombineE uma funcao opcional. Nao e obrigatoria assim como o Map e o ReduceE uma funcao intermediaria. Entre o Map e o Reduce.Pegando os resultados do Map, realiza operacoes e repassa os resulados para o ReduceDessa forma os dados de entrada do Reduce sao os dados resultantes da funcao CombinePos processamento do Map e Pre Processamento do ReduceTambem criada pelo ProgramadorParalelizacao e distribuicao sao tarefa do Framework hadoopE uma funcao opcional que funciona como um pre-reduce e tem o objetivo de diminuir a quantidade de dados que chega para a funcao ReduceObrigado mais uma vez pela atencao. Toda e qualquer duvida/sugestao sera bem vinda! Bom dia pessoal,Hoje vou comentar rapidamente sobre os principais arquivos de configuracao do Hadoop.Arquivos de Configuracao Hadoop - Sao XML's - Principais Arquivos: - Hadoop-env.sh --> Variaveis de ambiente do Hadoop (Home e etc) - Core-site.xml --> Parametros especificos da ferramenta hadoop - Hdfs-site.xml --> Parametros especificos do HDFS (Ex: Tamanho da particao (Block Size)) - Mapred-site.xml --> Tudo que diz respeito ao MapReduce (Ex: Tamanho do Buffer, numero de tarefas maximas para cada slave) - Nao XML's - Slaves - Contem todos os nos do cluster (IP e nome da Maquina) - cada linha representa um slave(Worker) do cluster - Namenode - Masters - Lista e armazena todas as maquinas Master (o comum e ter 1 master e outro para redundancia) - Cada linha e um Master - DatanodeObrigado pela atencao. Toda e qualquer duvida sera bem vinda Ola pessoal,Hoje irei entrar um pouco mais fundo no HDFS. Comentando sobre o sistema distribuido, formato do cluster, tamanho dos arquivos, acesso aos dados e sobre o Hardware.Sistema distribuido de Arquivos