Rohdaten aufbereitet: Wie arbeitet der Indexer und wie ist der Index aufgebaut?
Der Indexer hat die Aufgabe, die Rohdaten aus dem Local Store des Crawlers aufzubereiten und einzuteilen, damit diese für die Suche effizient verarbeitet werden können. Aus der Vielzahl an Dokumenten wird dabei ein Index erstellt, der eine Repräsentation darstellt. Bei der Suche wird nicht das Dokument selbst gesucht, sondern die vom Indexer erstellt Repräsentation (Index).
Das System der Syntaxanalyse, auch parsing module genannt, zerlegt alle gefundenen Dokumente in Einheiten, wie Wörter und Wortstämme, markiert und speichert diese ab. Analog zu einem Buchregister, wo Begriffe im Buch mit einer Seitenzahl aufgelistet werden, werden Dokumente nach bestimmten Begriffen im Index gelistet. Hier spricht man von einem invertierten Index – man muss nicht das komplett Buch durchlesen, um zu einem bestimmten Begriff zu kommen, sondern kann direkt zur entsprechenden Stelle blättern. Ähnlich ist auch der Suchmaschinen-Index aufgebaut. Ein invertierter Index und ein Buchregister unterschieden sich aber dahingehend, dass in einem Buchregister nicht immer alle Wörter, die im Buch zu finden sind, vorkommen, sondern nur die für den Textabschnitt sinngemäßen. Bei einer Repräsentation kann bei einer Suchanfrage nach einem bestimmten Begriff nichts gefunden werden, wenn dieser nicht in der Repräsentation zu finden ist. Darin unterscheidet sich ein Invertierter Index von einem Buchregister.
Durch die große Masse an Dokumenten im WWW gibt es, um die Suchergebnisse möglichst schnell für den User bereitzustellen, verteilte Indizes – es gibt nicht einen großen Index, sondern mehrere verteilte Systeme. Dadurch können die Indizes effizient durchsucht und aktuell gehalten werden. Dank des von Google erfundenen MapReduce-Algorithmus ist die Suchmaschine in der Lage, besonders schnell große Datenmengen auf vielen verteilten Rechnern zu crawlen und zu indexieren.