Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03490.jsonl.gz/1885

Jeder Browser (Internet Explorer, Firefox, Mozilla etc.) identifiziert sich beim Webserver, wenn die Website aufgerufen wird. Der User Agent ist der Name, mit dem sich ein Programm beim Webserver anmeldet, wenn es ein Dokument anfordert. Er wird durch den HTTP-Header übertragen. Die Kennung wird mitunter aber auch unterdrückt, wenn der Browser entsprechend konfiguriert wurde. User Agents können für das Internet in Gruppen unterschieden werden:
- Webbrowser: Programme, um zu surfen.
- Webapplications: Programme zur Content-Pflege, Kommunikation und um Dateien auszuführen.
- Spider: Spider der Suchmaschinen, die das Internet nach neuen Information und Veränderungen von Dokumenten absuchen.
- Mit seiner Hilfe lassen sich Software Programme und Suchmaschinen-Roboter identifizieren.
- Möchte man Logfiles für die Zugriffs-Statistiken der Website auswerten, kann der User Agent sehr nützlich sein. Denn anhand der Kennung des User Agents kann exakt festgestellt werden, wann ein Suchmaschinen-Spider die Website indexiert hat.
Doch besteht auch die Möglichkeit, dass sich Robots als andere User Agents ausgeben. Denn die Kennung kann frei ausgesucht werden. Dadurch hätten die Spider die Möglichkeit, dem Webserver eine Browser-Kennung vorzutäuschen und könnten die Website überprüfen, ohne erkannt zu werden. Da der Spider so nicht als solcher erkannt wird, sondern als normaler Browser getarnt ist, kann er überprüfen, ob den Suchdiensten und den Nutzern unterschiedliche Inhalte gezeigt werden und so kann er auf diese Weise Spam-Seiten identifizieren.
Der User Agent ist für den Webseiten-Betreiber eine wichtige Info, wenn er komplexe Webseiten und eine möglichst große Reichweite von Anwender-Programmen entwickelt. Doch im Rahmen der Suchmaschinenoptimierung wird er leider oft unzulässig beim Agent Name Delivery genutzt.zur Übersicht