Diskussion:Robots Exclusion Standard

message: Was sind "freundliche" webcrawler?
:freundliche (friendly) spider halten sich an robots.txt  -- Cherubino 13:59, 25. Mai 2005 (CEST)
thread_title: Freundliche Webcrawler

message: Webcrawler können auch durch HTML Meta-Tags am Indexieren einer Webseite gehindert werden.
 ...
 <meta name="robots" content="index,follow">
Soll das heißen, dass dieser Code (im <head> plaziert) einen (freundlichen) Bot hindert, die seite zu durchsuchen? Ich denke, "index,follow" bewirkt das gegenteil, hier sollte "nofollw" hin. (Bin mir nicht sicher, hab mich mit dem Thema nicht auseinandergesetzt.) --Athalis 22:42, 21. Jan 2006 (CET)
replies: text: Die Meta-Tags im Seitenquelltext dieser Seite hier lauten:. Klick im Browser auf Ansicht > Quelltext dann findest du die Zeile, denn wikipedia soll ja von den bots durchsucht werden. -- Cherubino 08:34, 22. Jan 2006 (CET)

text: So etwas wie <meta name="robots" content="all" /> oder <meta name="robots" content="index,follow" /> sind Hirngespinste einzelner Webseitenbetreiber, die hoffen, so eher gecrawlt zu werden. Mit meta name="robots" kann man Webcrawler nur bitten, ihre Arbeit einzuschränken, nicht, mehr zu arbeiten. --188.107.62.28 19:50, 28. Feb. 2016 (CET)
replies: text: Das kann aber auch sinnvoll sein, damit der Autor der Webseite explizit für jede Seite festlegen kann ob sie indiziert werden soll oder nicht. Bei fehlender Angabe könnte jemand annehmen, dass die Angabe einfach vergessen wurde und somit der Wille des Erstellers unklar wäre. -- Gerd Fahrenhorst (Diskussion) 20:06, 28. Feb. 2016 (CET)
replies: text:  Dann kann man auch <meta name="robots" content="bitteIndexiereMich" /></Code> schreiben ;-) Eine Übersicht, was sinnvoll ist, findet man hier: https://support.google.com/webmasters/answer/79812?hl=de --88.68.25.182 21:31, 29. Feb. 2016 (CET)
replies: text: Im Prinzip schon, allerdings ist das Wort "ALL" standardisiert: HTML 4.1. -- Gerd Fahrenhorst (Diskussion) 19:12, 3. Mär. 2016 (CET)
thread_title: Meta Tag

message: Welches Gremium bzw. internationale Organisation ist dafür verantwortlich ?--134.155.27.210 23:23, 16. Jun 2005 (CEST)
replies: text: Laut  war es ein unabhängiger Zusammenschluss von Robot-Entwicklern. Das Protokoll ist aus der Not heraus entstanden, weil es nichts Vergleichbares gab, und wurde schnell als De-Facto-Standard anerkannt. --TM 20:51, 22. Jan 2006 (CET)
thread_title:  Wer hat den Standard verfasst bzw. wer maintained ihn ? 

message: Gemäss heise online wurde der robots.txt-standard angepasst für sitemaps
--152.96.242.6 08:31, 16. Apr. 2007 (CEST)
thread_title:  Sitemaps? 

message: Auf meiner Domain habe ich einige Projekte die in Suchmaschinen aufscheinen. Inzwischen habe ich eine robots.txt geschrieben die alle Verzeichnisse ausschließt wo Daten liegen, die nicht in Suchmaschinen aufscheinen sollen. Werden diese Änderungen im Nachhinein noch wirksam? (Der vorstehende, nicht signierte Beitrag stammt von 85.126.122.243 (Diskussion • Beiträge) 21:28, 25. Jun. 2007) 
:Ja, natürlich. Das kann allerdings eine Weile dauern – abhängig von der Suchmaschine sogar einige Monate. Bei Google hast du zusätzlich die Möglichkeit, über die Webmaster Tools die Entfernung bestimmter Seiten ausdrücklich zu beantragen. --TM 09:36, 26. Jun. 2007 (CEST)
thread_title:  Änderungen im Nachhinein? 

message: "Leerzeilen sind nur oberhalb von User-agent-Zeilen erlaubt." - Stimmt das so? Vgl. ganz ganz viele Leerzeilen in der robots.txt der Wikipedia --Oliver 11:33, 22. Sep. 2007 (CEST)
replies: text: In der Dokumentation steht ausdrücklich, dass Leerzeilen für die Trennung der Records bestimmt sind (also immer oberhalb der User-agent-Zeile) und innerhalb der Records verboten sind. Aber man kann wohl davon ausgehen, dass die meisten Suchmaschinenroboter mit zusätzlichen Leerzeilen kein Problem haben. --TM 19:13, 22. Sep. 2007 (CEST)

text: Anscheinend wurde der Abschnitt für den ia_archiver auskommentiert --Jabiko 01:13, 7. Feb. 2010 (CET)
thread_title:  Leerzeilen erlaubt? 

message: Gemäß Yahoo Help ist der maximale Wert für crawl-delay = 10, im Text ist von 120 (Sekunden) die Rede. Yahoo selbst gibt aber keinerlei Einheit für seinen Delay-Wert an. Kann das bitte jemand präzisieren?
--Webschmied 17:48, 16. Jan. 2011 (CET)
thread_title:  Yahoo Slurp, crawl-delay 

message: „In dieser Datei kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf.“
Geht es wirklich darum, ob die Seite besucht werden darf oder doch eher darum, ob sie indexiert werden soll? --Seth Cohen 19:53, 20. Nov. 2014 (CET)
thread_title:  Besuch vs. Indexierung