Cross-view Embeddings for Information Retrieval

In this dissertation, we deal with the cross-view tasks related to information retrieval using embedding methods. We study existing methodologies and propose new methods to overcome their limitations. We formally introduce the concept of mixed-script IR, which deals with the challenges faced by an IR system when a language is written in different scripts because of various technological and sociological factors. Mixed-script terms are represented by a small and finite feature space comprised of character n-grams. We propose the cross-view autoencoder (CAE) to model such terms in an abstract space and CAE provides the state-of-the-art performance. We study a wide variety of models for cross-language information retrieval (CLIR) and propose a model based on compositional neural networks (XCNN) which overcomes the limitations of the existing methods and achieves the best results for many CLIR tasks such as ad-hoc retrieval, parallel sentence retrieval and cross-language plagiarism detection. We empirically test the proposed models for these tasks on publicly available datasets and present the results with analyses. In this dissertation, we also explore an effective method to incorporate contextual similarity for lexical selection in machine translation. Concretely, we investigate a feature based on context available in source sentence calculated using deep autoencoders. The proposed feature exhibits statistically significant improvements over the strong baselines for English-to-Spanish and English-to-Hindi translation tasks. Finally, we explore the the methods to evaluate the quality of autoencoder generated representations of text data and analyse its architectural properties. For this, we propose two metrics based on reconstruction capabilities of the autoencoders: structure preservation index (SPI) and similarity accumulation index (SAI). We also introduce a concept of critical bottleneck dimensionality (CBD) below which the structural information is lost and present analyses linking CBD and language perplexity. En esta disertacion estudiamos problemas de vistas-multiples relacionados con la recuperacion de informacion utilizando tecnicas de representacion en espacios de baja dimensionalidad. Estudiamos las tecnicas existentes y proponemos nuevas tecnicas para solventar algunas de las limitaciones existentes. Presentamos formalmente el concepto de recuperacion de informacion con escritura mixta, el cual trata las dificultades de los sistemas de recuperacion de informacion cuando los textos contienen escrituras en distintos alfabetos debido a razones tecnologicas y socioculturales. Las palabras en escritura mixta son representadas en un espacio de caracteristicas finito y reducido, compuesto por n-gramas de caracteres. Proponemos los auto-codificadores de vistas-multiples (CAE, por sus siglas en ingles) para modelar dichas palabras en un espacio abstracto, y esta tecnica produce resultados de vanguardia. En este sentido, estudiamos varios modelos para la recuperacion de informacion entre lenguas diferentes (CLIR, por sus siglas en ingles) y proponemos un modelo basado en redes neuronales composicionales (XCNN, por sus siglas en ingles), el cual supera las limitaciones de los metodos existentes. El metodo de XCNN propuesto produce mejores resultados en diferentes tareas de CLIR tales como la recuperacion de informacion ad-hoc, la identificacion de oraciones equivalentes en lenguas distintas y la deteccion de plagio entre lenguas diferentes. Para tal efecto, realizamos pruebas experimentales para dichas tareas sobre conjuntos de datos disponibles publicamente, presentando los resultados y analisis correspondientes. En esta disertacion, tambien exploramos un metodo eficiente para utilizar similitud semantica de contextos en el proceso de seleccion lexica en traduccion automatica. Especificamente, proponemos caracteristicas extraidas de los contextos disponibles en las oraciones fuentes mediante el uso de auto-codificadores. El uso de las caracteristicas propuestas demuestra mejoras estadisticamente significativas sobre sistemas de traduccion robustos para las tareas de traduccion entre ingles y espanol, e ingles e hindu. Finalmente, exploramos metodos para evaluar la calidad de las representaciones de datos de texto generadas por los auto-codificadores, a la vez que analizamos las propiedades de sus arquitecturas. Como resultado, proponemos dos nuevas metricas para cuantificar la calidad de las reconstrucciones generadas por los auto-codificadores: el indice de preservacion de estructura (SPI, por sus siglas en ingles) y el indice de acumulacion de similitud (SAI, por sus siglas en ingles). Tambien presentamos el concepto de dimension critica de cuello de botella (CBD, por sus siglas en ingles), por debajo de la cual la informacion estructural se deteriora. Mostramos que, interesantemente, la CBD esta relacionada con la perplejidad de la lengua. En aquesta dissertacio estudiem els problemes de vistes-multiples relacionats amb la recuperacio d'informacio utilitzant tecniques de representacio en espais de baixa dimensionalitat. Estudiem les tecniques existents i en proposem unes de noves per solucionar algunes de les limitacions existents. Presentem formalment el concepte de recuperacio d'informacio amb escriptura mixta, el qual tracta les dificultats dels sistemes de recuperacio d'informacio quan els textos contenen escriptures en diferents alfabets per motius tecnologics i socioculturals. Les paraules en escriptura mixta son representades en un espai de caracteristiques finit i reduit, composat per n-grames de caracters. Proposem els auto-codificadors de vistes-multiples (CAE, per les seves sigles en angles) per modelar aquestes paraules en un espai abstracte, i aquesta tecnica produeix resultats d'avantguarda. En aquest sentit, estudiem diversos models per a la recuperacio d'informacio entre llengues diferents (CLIR , per les sevas sigles en angles) i proposem un model basat en xarxes neuronals composicionals (XCNN, per les sevas sigles en angles), el qual supera les limitacions dels metodes existents. El metode de XCNN proposat produeix millors resultats en diferents tasques de CLIR com ara la recuperacio d'informacio ad-hoc, la identificacio d'oracions equivalents en llengues diferents, i la deteccio de plagi entre llengues diferents. Per a tal efecte, realitzem proves experimentals per aquestes tasques sobre conjunts de dades disponibles publicament, presentant els resultats i analisis corresponents. En aquesta dissertacio, tambe explorem un metode eficient per utilitzar similitud semantica de contextos en el proces de seleccio lexica en traduccio automatica. Especificament, proposem caracteristiques extretes dels contextos disponibles a les oracions fonts mitjancant l'us d'auto-codificadors. L'us de les caracteristiques proposades demostra millores estadisticament significatives sobre sistemes de traduccio robustos per a les tasques de traduccio entre angles i espanyol, i angles i hindu. Finalment, explorem metodes per avaluar la qualitat de les representacions de dades de text generades pels auto-codificadors, alhora que analitzem les propietats de les seves arquitectures. Com a resultat, proposem dues noves metriques per quantificar la qualitat de les reconstruccions generades pels auto-codificadors: l'index de preservacio d'estructura (SCI, per les seves sigles en angles) i l'index d'acumulacio de similitud (SAI, per les seves sigles en angles). Tambe presentem el concepte de dimensio critica de coll d'ampolla (CBD, per les seves sigles en angles), per sota de la qual la informacio estructural es deteriora. Mostrem que, de manera interessant, la CBD esta relacionada amb la perplexitat de la llengua.