Søgemaskiner opdager websteder ved at crawle websiderne. Når en søgemaskine crawler et websted, undersøger den alle linksene på hver side og følger dem til nye sider, som den også crawler.