Sie können Suchmaschinen-Crawler mit rel=canonical anweisen, ob sie die Webseite in den Index aufnehmen dürfen oder nicht. Sie können diese Anweisungen auch über das Robots-Meta-Tag im Head-Bereich Ihrer href-HTML-Seite oder das X-Robots-Tag im HTTP-Header erstellen.