Robots Exclusion Standard
MSNBot および Web サイトのクロールに関する問題に対処する. 2010年9月23日閲覧。
↑ “About Ask.com: Webmasters”. 2010年9月23日閲覧。
↑ “Googleウェブマスターセントラル - robots.txt ファイルを使用してページをブロックまたは削除する”. 2007年11月20日閲覧。
↑ “How do I prevent my site or certain subdirectories from being crawled? - Yahoo Search Help”. 2007年11月20日閲覧。
↑ “Robots Exclusion Protocol - joining together to provide better documentation”. 2009年12月3日閲覧。
↑ “Yahoo! Search Blog - Webmasters can now auto-discover with Sitemaps”. 2009年3月23日閲覧。