ResultadosDigitais/mailcannon — pull request #4 by danilodelponte (2014-05-30 21:12:16+00:00)
Title: MapReduce REMAKE!

Refizemos o MapReduce.

Havia o problema de salvar todos os target_ids de uma campanha, que poderiam ser centenas de milhares, em um único documento no mongo. Por isso optamos por remover os target_ids do map reduce e calcular apenas o total de eventos por lead.

Havia outros problemas como o fato do algoritmo do map reduce não ser idempotente, ou seja, não leva em conta resultados parciais (http://docs.mongodb.org/manual/reference/command/mapReduce/#dbcmd.mapReduce). Para uma quantidade de eventos muito grande, ele seria executado várias vezes em batches e o resultado final estaria pela metade.