Вы можете указать поисковым роботам, используя rel=canonical, разрешить им включать веб-страницу в индекс или нет. Вы также можете создать эти инструкции с помощью метатега Robots в разделе заголовка HTML-страницы href или X-Robots. -Тег в заголовке HTTP.