Mit Hilfe von Meta-Tags können dem Crawler im Bereich Anweisungen gegeben werden, so kann man unter anderem steuern, ob der Crawler eine Seite indiziert oder einem Link folgt. Beispiel, für eine Anweisung, dass die Adresse nicht indexiert werden soll und keinen Links gefolgt werden soll: Auch mit der robots.txt-Datei können Anweisungen an der Crawler übermittelt werden.