Robot engelleme standardı
Robot engelleme standardı, (aynı zamanda Robot engelleme protokolü veya robots. txt olarak da bilinir) web böceği () veya web örümceği () gibi yazılımların web sunucularının kamuya açık bölümlerinin tamamına veya bir kısmına erişimini engellemeye yarayan bir standarttır. Genelde web sitelerini sınıflandırmak ve arşivlemek amacı ile arama motorları ya da düzeltilmiş kaynak kodları için site yöneticileri robotları kullanırlar.