Probabilistic topic modeling with latent Dirichlet allocation on Apache Spark

In a world in which we have access to vast amount of data, it is important to develop new tools that allow us to navigate through it. Probabilistic topic models are statistical methods to analyse text corpora and discover themes that best explain its documents. In this work, we introduce probabilistic topic models with special focus on one of the most common models called Latent Dirichlet Allocation (LDA). To learn LDA model from data, we present two variational inference algorithms for batch and online learning. Both algorithms are implemented on a popular Big Data computing framework known as Apache Spark. We introduce this framework and We study the algorithm scalability and topic coherence in two different news data sets from New York Times and BBC News. The results point out to the need to tune up Apache Spark in order to boost its performance and to the goodness of the resulting topics in the BBC News dataset. keywords: Probabilistic Topic Models, Latent Dirichlet Allocation, Apache Spark. Resumen En un mundo en el que tenemos acceso a gran cantidad de información, es importante desarrollar nuevas herramientas que nos permitan navegarla. Los Probabilistic Topic Models son métodos estadísticos que analizan corpus de documentos y desvelan los temas que mejor explica sus documentos. En este trabajo presentamos los Probabilistic Topic Models con énfasis especial en uno de modelos más comunes llamado Latent Dirichlet Allocation (LDA). Para aprender el model LDA a partir del corpus, presentamos dos algoritmos de inferencia variacional para aprendizaje por lotes y online. Ambos algoritmos están implementados en Apache Spark, un popular f ramework Big Data. Introduciremos este framework y estudiaremos la escalabilidad de los algoritmos y la consistencia de los temas en dos conjuntos de notícias provenientes del New York Times y de BBC News. Los resultados señalan la necesidad de ajustar Apache Spark para incrementar el rendimiento y la buena calidad de los temas obtenidos en el conjunto de notícias de BBC News. Palabras clave: Probabilistic Topic Models, Latent Dirichlet Allocation, Apache Spark. Resum En un món on tenim accés a una gran quantitat d’informació és important desenvolupar noves eines que ens permetin navegar-la. Els Probabilistic Topic Models són mètodes estadístics que analitzen corpus de documents i rebel·len els temes que millor expliquen aquests documents. En aquest treball presentem els Probabilistic Topic Models amb especial èmfasi en un dels algoritmes més comuns anomenat Latent Dirichlet Allocation (LDA). Per aprendre el model a partir del corpus, presentem dos algoritmes de infr̀encia variacional per aprenentatge per lots i online. Ambdós algoritmes estan implementats en Apache Spark, un popular f ramework Big Data. Introduïrem aquest framework i estudiarem l’escalabilitat dels algoritmes i la qualitat dels temes en dos conjunts de notícies provinents del New York Times i de BBC News. Els resultats apunten a la necessitat d’ajustar Apache Spark per incrementar el rendiment i la bona qualitat dels temes obtinguts en el conjunt de notícies de BBC News. Paraules clau: Probabilistic Topic Models, Latent Dirichlet Allocation, Apache Spark.