U kunt crawlers van zoekmachines instrueren met behulp van de rel=canonical om hen toe te staan de webpagina al dan niet in de index op te nemen. Je kunt deze instructies ook maken via de Robots-metatag in de hoofdsectie van je href HTML-pagina's of de X-Robots-Tag in de HTTP-header.