Un tag noindex indica ai crawler di non indicizzare l'URL quando viene introdotto in una pagina web. Di conseguenza, la pagina non viene visualizzata nei risultati dei motori di ricerca. Un tag nofollow indica ai crawler di non eseguire la scansione degli URL collegati da una pagina dicendo loro di non farlo. Un sito Web potrebbe essere contrassegnato come nofollow, noindex o anche entrambi contemporaneamente.