Bir site haritası, arama motorları için yararlı bilgiler içerdiğinden tüm web siteleri için hayati önem taşır. Site haritası botlara web sitenizi ne sıklıkta güncellediğinizi, sitenizin hangi içeriği sağladığını söyler. Temel amacı, arama motorlarına sitenizde taranması gereken tüm sayfaların bildirilmesi, robotik metin dosyası ise arama robotları içindir. Tarayıcılara hangi sayfanın taranacağını ve hangisinin taranmayacağını söyler. Sitenizin dizine eklenmesi için site haritası gereklidir, ancak robotun txt'i değildir (dizine eklenmesi gerekmeyen sayfalarınız yoksa).