En hjemmeside og dennes indhold skal være indekseret, for at komme frem i søgeresultaterne. Indeksering betyder at søgemaskinernes botter har crawlet en side, hvorved indhold og links på siden bliver kopieret og gemt. har søgemaskinernes botter ikke været forbi en hjemmeside, er denne ikke indekseret og dermed ikke synlig i søge indekset.