Robots Exclusion Standard
"robots.txt" は、1994年ごろWebCrawlerという検索エンジンで働いていた Martijn Koster が考案したとされている。1994年6月に robots-request@nexor.co.uk というメーリングリストのメンバーが合意して生まれた。"robots.txt" はその翌年AltaVistaなどの検索エンジンが登場すると共に一般化していった。
2007年11月30日、ACAP (Automated Content Access Protocol) v1.0 が Robots Exclusion Standard を補完するものとして登場した。ただしGoogleなど主要検索エンジンは、その採用を表明していない。
2019年、GoogleがIETFでの標準化を進めることを発表し、2022年9月、RFC 9309として提案された。