Je kunt de “Disallow” richtlijn gebruiken om bots te verhinderen dubbele pagina’s op je site te crawlen. Vaak is het echter beter om problemen met dubbele inhoud bij de bron aan te pakken, bijvoorbeeld door canonieke tags te gebruiken.