title: Using Search Term Positions for Determining Document Relevance
Creators: name: Galeas, Patricio
Publisher: name: Philipps-Universität Marburg
Year: 2010
Subjects: Algorithmus
Optimierung
Polynomapproximation
Information Retrieval
Fourier-Entwicklung
Data processing, Computer science
Informatik
Ranking

description: The technological advancements in computer networks and the substantial reduction of their production costs have caused a massive explosion of digitally stored information. In particular, textual information is becoming increasingly available in electronic form. Finding text documents dealing with a certain topic is not a simple task. Users need tools to sift through non-relevant information and retrieve only pieces of information relevant to their needs. The traditional methods of information retrieval (IR) based on search term frequency have somehow reached their limitations, and novel ranking methods based on hyperlink information are not applicable to unlinked documents. The retrieval of documents based on the positions of search terms in a document has the potential of yielding improvements, because other terms in the environment where a search term appears (i.e. the neighborhood) are considered. That is to say, the grammatical type, position and frequency of other words help to clarify and specify the meaning of a given search term. However, the required additional analysis task makes position-based methods slower than methods based on term frequency and requires more storage to save the positions of terms. These drawbacks directly affect the performance of the most user critical phase of the retrieval process, namely query evaluation time, which explains the scarce use of positional information in contemporary retrieval systems. This thesis explores the possibility of extending traditional information retrieval systems with positional information in an efficient manner that permits us to optimize the retrieval performance by handling term positions at query evaluation time. To achieve this task, several abstract representation of term positions to efficiently store and operate on term positional data are investigated. In the Gauss model, descriptive statistics methods are used to estimate term positional information, because they minimize outliers and irregularities in the data. The Fourier model is based on Fourier series to represent positional information. In the Hilbert model, functional analysis methods are used to provide reliable term position estimations and simple mathematical operators to handle positional data. The proposed models are experimentally evaluated using standard resources of the IR research community (Text Retrieval Conference). All experiments demonstrate that the use of positional information can enhance the quality of search results. The suggested models outperform state-of-the-art retrieval utilities. The term position models open new possibilities to analyze and handle textual data. For instance, document clustering and compression of positional data based on these models could be interesting topics to be considered in future research.
description: Die technologischen Fortschritte bei Rechnernetzen und die erhebliche Senkung ihrer Produktionskosten haben ein gewaltiges Wachstum von digital gespeicherten Daten verursacht. Besonders die Verfügbarkeit von Textinformationen im Internet nimmt ständig zu. In dieser Situation ist das Finden von relevanten Informationen keine einfache Aufgabe mehr. Benutzer brauchen ständig effizientere Werkzeuge, um relevante Dokumente aus dem riesigen Datenbestand zu extrahieren. Da traditionelle Algorithmen im Bereich des Information Retrieval (IR) in der Regel nur auf Worthäufigkeiten basieren, haben sie mittlerweile ihre Leistungsgrenzen erreicht. Auf der anderen Seite können die neuesten Methoden aktueller Suchmaschinen, die auf Hyperlink-Informationen zurückgreifen, nur in verlinkten Dokumenten verwendet werden. Alle Dokumente, die keine Hyperlink-Informationen ent-halten, können meistens nur mit traditionellen (Wort-Häufigkeits-) Methoden ausgewertet werden. IR-Methoden, die Informationen über die Positionen von Suchbegriffen in Dokumenten berücksichtigen, haben das Potenzial, bessere Ergebnisse als Standard-Methoden zu liefern. Der Grund ist, dass positionsbasierte Methoden die Suchbegriffe in ihrem Kontext bzw. ihrer Nachbarschaft innerhalb eines Dokumentes betrachten. Das heißt, die Position eines Wortes hilft, die Bedeutung eines anderen Wortes abzuklären. Allerdings bedeutet die Auswertung von räumlichen Informationen auch aufwändige Berechnungen, was die positionsbasierten Algorithmen langsamer und platzraubender machen. Solche Nachteile wirken sich unmittelbar auf die Performanz der wichtigsten Phase des Retrieval-Prozesses aus: der Auswertung einer Anfrage eines Benutzers. Aus diesem Grund werden heutzutage positionsbasierte Algorithmen in Suchmaschinen selten verwendet. Diese Doktorarbeit untersucht die Möglichkeit, ein traditionelles IR-System mit positionsbasierten Informationen auf eine neue Weise zu erweitern und durch die Auswertung dieser Informationen die Performanz des Systems zur Anfragezeit zu verbessern. Um dieses Ziel zu erreichen, werden unterschiedliche Darstellungen von Wortpositionen in einem Dokument untersucht. Im Gauss-Modell werden Methoden deskriptiver Statistik verwendet, weil sie für die typischen Unregelmäßigkeiten und Ausreißer in den positionsbasierten Daten geeignet sind. Das Fourier-Modell basiert auf Fourierreihen zur Repräsentation positionsbasierter Informationen. Im Hilbert-Modell werden Methoden der Funktionalanalysis für das Speichern und Bearbeiten von Wortpositionen eingesetzt. Alle vorgeschlagenen Modelle werden mit Standard-Datenbeständen der IR-Gemeinschaft (Text Retrieval Conference) evaluiert. In den Experimenten wird gezeigt, dass die Verwendung von positionsbasierten Informationen die Qualität der Suchergebnisse erhöht und die Leistung von aktuellen Ansätzen übertrifft. Die positionsbasierten Modelle eröffnen neue Möglichkeiten zur Analyse von textuellen Daten. Zum Beispiel sind die Clusterung von Dokumenten und die Komprimierung von positionsbasierten Daten basierend auf diesen Modellen interessante Themen für die zukünftige Forschung.