El estándar de exclusión de robots, también conocido como el protocolo de la exclusión de robots o protocolo de "robots.txt", es un método para evitar que ciertos "bots" que analizan los sitios web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda.