Ответы Mail.ru: Подскажите, если так прописать файл: robots.txt:
User-Agent: *
Allow: /

Так правильно будет?

Влад ТагановМастер

1 год назад

Да, такая запись в файле robots.txt означает, что все роботы поисковых систем разрешено индексировать все страницы сайта. Обратите внимание, что данное правило действует только для роботов, указанных в строке "User-Agent". Если вы хотите запретить индексацию сайта для всех роботов, можете использовать следующую запись:

User-Agent: *
Disallow: /

Обратите внимание, что правила, указанные в файле robots.txt, являются рекомендательными для роботов поисковых систем, и не всегда будут строго соблюдаться. Также существует возможность использования мета-тега "noindex" в заголовке HTML-страницы, который более эффективен для блокировки индексации страницы.