Radarly : écouter et analyser le web conversationnel en temps réel (Real time listening and analysis of the social web using Radarly) (2016)

Abstract: De par le contexte conversationnel digital, l’outil Radarly a été conçu pour permettre de traiter de grands volumes de données hétérogènes en temps réel, de générer de nouveaux indicateurs et de les visualiser sur une interface cohérente et confortable afin d’en tirer des analyses et études pertinentes. Ce document expose les techniques et processus utilisés pour extraire et traiter toutes ces données.

## hétérogénéité et volume des données : un défi pour la veille la démultiplication des supports de communication conjuguée à une quantité de données textuelles disponibles en croissance constante rend la capacité à accéder à l'information sous-jacente cruciale. c'est pourquoi être capable d'analyser des données à partir des contenus les plus conversationnels pour transformer les masses de données traitées en enseignements opérationnels et stratégiques nécessaires à la prise de décision est l'un des aspects clefs de ce qu'on appelle la social media intelligence. développé depuis 2012 par linkfluence, l'outil radarly, plateforme intégrée de veille et d'engagement présenté ici dans sa version 2, permet de répondre à ces besoins en permettant la collecte et l'analyse de contenus web provenant de 300 millions de sources dans plus de 70 langues différentes en temps réel afin de répondre à l'exigence de ce marché cible où chaque minute compte. les données sont récupérées par l'intermédiaire de crawlers, d'api publiques et auprès de fournisseurs de données en temps réel (110 millions de contenus captés par jour) et se répartissent par source de la façon suivante : contenus de site web, médias, blogs, forum, sites d'avis et enfin réseaux sociaux tel que twitter, facebook, instagram, youtube, dailymotion, google+ ou sinaweibo. on retrouve par conséquent des formats très variés (articles, publications courtes, messages, vidéos, images) et dont la qualité du contenu varie fortement : texte plus ou moins édité (article, billet de blog, tweet), utilisation d'abréviations, fautes d'orthographe, etc. posant ainsi de véritables verrous techniques lors de la fusion et du traitement des données. ## approche et traitement des données organisation et visualisation des données ecouter le web requiert de trouver un équilibre entre quantité et qualité. le préalable au paramétrage d'un projet de veille dans l'outil radarly est ainsi de délimiter le sujet à étudier. cela passe par l'agrégation "naïve" d'un volume conséquent de données en rapport avec la thématique puis par une exploration qualitative des données collectées par la création de différents filtres en fonction des angles thématiques à étudier. ceux-ci fonctionnent de concert par un système d'héritage qui permet de requêter et de tagguer les données de manière très précise. la syntaxe de ces filtres utilise les opérateurs classiques du traitement des langues naturelles (opérateurs booléens, opérateurs de proximité) auxquels s'ajoutent d'autres variables propres aux médias sociaux (recherches sur différents champs du corps du texte, hashtags, utilisateurs, smileys, reconnaissance de logos, etc.). les données issues de ces combinaisons de filtres sont ensuite affichées dans un ou plusieurs tableaux de bord dynamiques (dashboards) visuellement structurés.