Disallow (abweisen) ist ein Befehl, der Crawlern verbietet eine Seite oder ganze Verzeichnisse sowie einzelne Dateien oder Dateiformate zu durchsuchen. Mit disallow kannst Du alle oder einzelne Crawler aussperren.