Bir site haritasında olduğu gibi, her internet sitesinin bir de robotik dosyası bulunur. Bir robot dosyasına sahip olmak web siteniz ve arama motorlarınız için çok önemlidir ve site trafiğini sorgulama işlemlerine de izin verir. Robot dosyası, sitenizin indekslenmesi sırasında veya siz kaydederken oluşabilecek veya olmayabilecek kısıtlamalar hakkında arama motorlarını uyarır. Bazen belirli sayfaların veya klasörlerin, özellikle yönetici klasörlerinin sitemizde saklanmasını istemeyebiliriz. Bu durumda robot dosyasına kaydedilmeyecek olan dosyanın adresini yazmanız yeterli olacaktır.