Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03615.jsonl.gz/1904

Technik
Ein fokussierter Webcrawler sammelt Daten von bestimmten Quellen. Diese Daten werden in Kategorien, beispielsweise Autoren, eingeteilt. Für jede Kategorie werden spezielle Techniken zur Extraktion von Metadaten eingesetzt. Da nicht jede Quelle die Daten gleich erfasst hat, muss ein Objekt-Aggregator die Daten angleichen, damit sie indexiert werden können. Anhand von Link-Analysen und PopRank-Technologien wird schliesslich ein Ranking erstellt [6].
Es sind keine genaueren Angaben verfügbar, welche Techniken Microsoft Academic Search verwendet.