Robots.txt

Penemu "robots.txt" adalah Martijn Koster, saat bekerja di WebCrawler pada tahun 1994.