Bigdata / Hadoop, Exploitez des téra-octets de logs (Pablo Lopez) #MiXiT2012
Channel: MiXiT conf
Date: 2012-06-04

Comment analyser chaque jour des téra de logs générés par plus de 600 JVMs en production, sans impacter leur fonctionnement ?
Nous vous présenterons durant cette session la solution Big Data 100% Open Source mise en place chez un des plus grands sites du web européen. Une architecture basée sur syslog-ng, Flume, Hadoop, MongoDb et Play!, qui n'a rien à envier aux géants d'outre-atlantique !
Venez découvrir comment nous avons divisé par 20 le temps de détection et de traitement des incidents. Mais aussi comment BigData a permis de nouvelles utilisations des logs à la fois techniques et surtout métier, comme la détection des fraudes, l’analyse de traffic web, BI en temps réel, ...
À travers ce retour d'expérience, nous vous proposons de vivre, au cœur d'une des plus exigeantes productions de France, la mise en place de ce projet digne des très grands du web.