Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03462.jsonl.gz/778

Cloaking ist ein Verfahren, das dem Crawler einer Suchmaschine eine andere Seite liefert als einem normalen Nutzer. Damit kann man einer Suchmaschine den gut optimierten HTML-Code ohne Spielereien wie Flash oder JavaScript zeigen, während man einem Menschen die schön gestaltete Seite mit allen modernen Gimmicks anbietet.
Wenn ein Client, egal ob ein Browser (Internet Explorer, Mozilla, Opera, Lynx) oder ein Crawler einer Suchmaschine, eine Seite im Web anfordert, sendet er einen Request (Anfrage im Protokoll HTTP) an den Webserver. In dieser Anfrage steht die Angabe User-Agent, mit der sich der Client zu erkennen gibt. Der Webserver kann diesen User-Agent abfragen und entsprechend entscheiden, ob die Anfrage von einer Suchmaschine oder einem gewöhnlichen Browser kommt.
Allerdings kann der User-Agent leicht manipuliert werden. Es ist deshalb nötig, neben dieser Angabe auch noch die IP-Adresse des anfragenden Rechners (Client) mit eine Datenbank abzugleichen, um Suchmaschinen-Robots relativ zuverlässig erkennen zu können. Suchmaschinen nutzen heute z.T. auch fremde IP-Adressen, etwa von gewöhnlichen Einwahlprovidern, um Cloaking zu erkennen. Auch deshalb sollte Cloaking heute nicht mehr eingesetzt werden.