Søkemotorer er stadig i utvikling, og de fleste har utviklet seg og tatt i bruk andre, bedre teknikker i tillegg til de som er beskrevet her. De forskjellige søkemotorene er ulikt utformet, men det ha to ting tilfelles: en søkerobot og en indeks (søkemotor). Søkeroboten leser en nettside, identifiserer eventuelle linker, og følger en av de mulige linkene videre. «Kommersielle» søkemotorer har gjerne også en database med nettsider de tidligere har besøkt, som de besøker igjen etter en viss tid. Indeksen er som en indeks bakerst i en bok, bare mye større. Den består av alle ordene som den har kommet over på alle nettsider den har besøkt. Hvert av ordene i indeksen har en liste over alle nettsider der ordene forekommer.