Da viele Inhalte des World Wide Webs nicht über einfache Links, sondern Suchmasken oder Portale mit Zugangsbeschränkung erreichbar sind, haben Webcrawler in diesen Fällen das Nachsehen. Diese Bereiche werden daher Deep Web genannt. Darüber hinaus stellen ständige Veränderungen sowie Manipulationen der Inhalte ein Riesenproblem dar (Cloaking).