Robots.txt

Standar pengecualian robot, juga dikenal sebagai protokol pengecualian robot atau protokol robots.txt, adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter.

Penemu "robots.txt" adalah Martijn Koster, saat bekerja di WebCrawler pada tahun 1994.

Catatan kaki

Pranala luar 
 History of robots.txt -(how Charles Stross prompted its invention; original comment on Slashdot)
 Robots Exclusion
 Using the robots.txt analysis tool
 Introduction to Robots.txt file 
 About Robots.txt at the Mediawiki website
 List of Bad Bots - rogue robots and spiders which ignore these guidelines
 More info about Robots.txt
 Wikipedia's Robots.txt - an example
 Robots.txt Generator + Tutorial 
 Robots.txt Generator Tool 

World Wide Web