Arama motorları taramaya dayalı olarak dizin oluşturmaktadır. Google, Bing ve Yandex gibi arama motorları yeni sayfaları dizine eklemek için bir süreç oluşturmaktadır. Botlar diğer bir ismiyle örümcekler olarak bilinen yapay zekalar yeni sayfalar keşfetmek için Web’i taramaktadır. Botlar genellikle belirledikleri web sitelerinin URL’lerini bir listeye eklemekle başlar. Bu sayfalarda yeni bağlantılar tespit ettikleri zaman “href” ve “src” gibi etiketlerden faydalanarak dizine eklenmesi gereken siteler listesine kaydeder.
Arama motorları, kullandığınız arama terimlerini yani anahtar kelimelerinizi baz almaktadır. En çok hangi sayfalarla ilgilenmeniz gerektiğine ilişkin dizinleri arasında bir liste sağlamak için algoritmalarını kullanır.
Arama motorları sitenizi dizine eklemesi için ilk olarak web sayfası oluşturmanız gerekmektedir. Aranan anahtar kelime ile ilgili içerikleriniz mevcut değilse arama sonuçlarında doğal olarak görüntüleme alamazsınız. Anahtar kelime ile ilgili bir sayfanız veya bir sayfa içerisinde içeriğiniz olması gerekmektedir. Aksi taktirde arama motorlarını manipüle etmiş sayılır ve ceza almanız kaçınılmazdır.