[en] Media producers publish large amounts of multimedia content online - both text, audio, image and video. As the online media market grows, the management and delivery of contents becomes a challenge. Semantic and linking technologies can be used to organize and exploit these contents through the use of knowledge graphs. This industrial doctorate dissertation addresses the problem of constructing knowledge resources and integrating them into a system used by media producers to manage and explore their contents. For that purpose, knowledge graphs and their maintenance through Information Extraction (IE) from news streams is studied. This thesis presents solutions for multimedia understanding and knowledge extraction from online news, and their exploitation in real product applications, and it is structured in three parts. The first part consists on the construction of IE tools that will be used for knowledge graph population. For that, we built an holistic Entity Linking (EL) system capable of combining multimodal data inputs to extract a set of semantic entities that describe news content. The EL system is followed by a Relation Extraction (RE) model that predicts relations between pairs of entities with a novel method based on entity-type knowledge. The final system is capable of extracting triples describing the contents of a news article. The second part focuses on the automatic construction of a news event knowledge graph. We present an online multilingual system for event detection and comprehension from media feeds, called VLX-Stories. The system retrieves information from news sites, aggregates them into events (event detection), and summarizes them by extracting semantic labels of its most relevant entities (event representation) in order to answer four Ws from journalism: who, what, when and where. This part of the thesis deals with the problems of Topic Detection and Tracking (TDT), topic modeling and event representation. The third part of the thesis builds on top of the models developed in the two previous parts to populate a knowledge graph from aggregated news. The system is completed with an emerging entity detection module, which detects mentions of novel people appearing on the news and creates new knowledge graph entities from them. Finally, data validation and triple classification tools are added to increase the quality of the knowledge graph population. This dissertation addresses many general knowledge graph and information extraction problems, like knowledge dynamicity, self-learning, and quality assessment. Moreover, as an industrial work, we provide solutions that were deployed in production and verify our methods with real customers.

[es] Los productores audiovisuales publican grandes cantidades de contenido multimedia en línea, en forma de texto, audio, imagen o video. A medida que crece el mercado de medios en línea, la gestión y entrega de contenidos se convierte en un desafío. Las tecnologías semánticas y de enlace se pueden utilizar para organizar y explotar estos contenidos mediante el uso de grafos de conocimiento. Esta tesis de doctorado industrial aborda el problema de construir recursos de conocimiento e integrarlos en un sistema utilizado por los productores de medios para gestionar y explorar sus contenidos. Con ese propósito, se estudian los grafos de conocimiento y su mantenimiento a través de la extracción de información de flujos de noticias. Esta tesis presenta soluciones para la comprensión multimedia y la extracción de conocimiento de noticias en línea, y su explotación en aplicaciones de productos reales, y está estructurada en tres partes. La primera parte consiste en la construcción de herramientas de extracción de la información que se utilizarán para la población del grafo de conocimiento. Para eso, construimos un sistema holístico de enlace de entidades (EL) capaz de combinar datos multimodales para extraer un conjunto de entidades semánticas que describen el contenido de las noticias. El sistema de EL se complementa con un modelo de extracción de relaciones (RE) que predice las relaciones entre pares de entidades con un método novedoso basado en el conocimiento del tipo de entidad. El sistema final es capaz de extraer tripletas que describen el contenido de un artículo de noticias. La segunda parte se centra en la construcción automática de un grafo de conocimiento de eventos de noticias. Presentamos un sistema en línea multilingüe para la detección y comprensión de eventos a partir de "feeds" de medios de comunicación, llamado VLX-Stories. El sistema recopila información de sitios de noticias, las agrega en eventos (detección de eventos) y las resume extrayendo etiquetas semánticas de las entidades más relevantes (representación de eventos) para responder a las cuatro W del periodismo: quién, qué, cuándo y dónde. Esta parte de la tesis aborda los problemas de detección y seguimiento de temas (TDT), modelado de temas y representación de eventos. La tercera parte de la tesis se basa en los modelos desarrollados en las dos partes anteriores para poblar un grafo de conocimiento a partir de noticias agregadas. El sistema se completa con un módulo de detección de entidades emergentes, que detecta menciones de personas novedosas que aparecen en las noticias y crea nuevas entidades en el grafo de conocimiento a partir de ellas. Finalmente, se agregan herramientas de validación de datos y clasificación de tripletas para aumentar la calidad de la población del grafo de conocimiento. Esta disertación aborda muchos problemas generales de los grafos de conocimiento y extracción de información, como la dinamicidad del conocimiento, el autoaprendizaje y la evaluación de la calidad. Además, como trabajo industrial, proporcionamos soluciones que se implementaron en producción y verificamos nuestros métodos con clientes reales.