Sie können alle HTML-Seiten sowie Seiten, die auf JavaScript basieren, crawlen. Darüber hinaus können Sie die Sitemap einer Website crawlen, robots.txt-Regeln ignorieren und internen NoFollow-Links folgen.