kiriyk/seo_tg huggingface dataset:
Вопрос: На сайте настроены AMP-страницы, мобильная версия реализована на поддомене, плюс есть основная html версия страниц. Как избежать проблем с дублированием контента и определением канонической страницы? Какую версию в таком случае должен индексировать поисковый бот? Как связать между собой все эти версии страниц?

Ответ: Для связи между десктопной и мобильной версией сайта, а также для избегания проблем с дублированием контента между основным доменом и мобильным поддоменом, вам следует:
▫️ Для каждой группы страниц (AMP/мобильной, основной) установить каноникал (canonical) на основную HTML-версию. Это поможет поисковым ботам понять, какую версию следует индексировать как основную.
▫️ Используйте разметку rel="alternate", чтобы связать все версии страниц между собой. На AMP-страницах/мобильной версии укажите ссылки на основную версию страницы, а на основной версии укажите ссылки на соответствующие страницы мобильного поддомена.
▫️ Включите все версии страниц в вашу XML-карту сайта. Это поможет поисковым ботам быстрее обнаруживать все ваши страницы и связывать их между собой.
Поисковые боты должны свободно индексировать все версии сайта (основной домен и мобильный поддомен). Не забудьте периодически мониторить индексацию и результаты в поисковых системах, чтобы убедиться, что всё работает правильно.
Вопрос: Подскажите, пожалуйста, есть ли какой-то метод вынудить google бота cканировать медленнее? Сrawl-rate в консоли я поставил маленький совсем, в robots лишнее закрыто. Бот все равно краулит в 10 раз интенсивнее, чем обычно. Сервер не выдерживает, перегревается, часто 503 кидать начинает. И еще сразу же вопрос: могут ли возникнуть проблемы при переносе сайта с одного сервера на другой? Как их избежать?

Ответ: Если вы уже установили crawl-rate в Google Search Console на минимальное значение, и Google всё равно слишком активно сканирует ваш сайт, стоит убедиться, что это делают действительно google-боты. Выгрузите логи сайта и пересмотрите user-agent во время пиковой нагрузки сервера.
Кроме того, убедитесь, что ваш сервер действительно хорошо оптимизирован. Используйте кеширование, оптимизируйте базу данных, уменьшите размер страниц и статические ресурсы, где это возможно. 
Есть также рискованный метод, который рекомендует Справка Google для уменьшения частоты сканирование на короткий промежуток времени. Показывайте вместо контента страницу с кодом статуса HTTP 500, 503. Справка утверждает, что в таком случае робот Googlebot будет сканировать ваш ресурс реже. 
⚠️ Учтите, что данный способ может значительно повлиять на ранжирование сайта в негативную сторону.
Помните, если у вас будет грамотная и простая структура, если ваши страницы будут загружаться и отрисовываться быстрее, Google сможет просканировать быстрее контент на вашем сайте, что также косвенно может помочь решить вашу проблему. 
Что касается переноса сайта с одного сервера на другой, то тут обычно проблем возникать не должно. С каждым хостингом могут быть индивидуальные нюансы, но можем дать общие рекомендации:
▫️ Прежде всего, создайте резервные копии всех файлов и базы данных вашего сайта.
▫️ Перед тем как перенести сайт полностью, настройте его на новом сервере и проведите тестирование. Убедитесь, что все работает корректно.
▫️ После того как вы убедились, что ваш сайт работает на новом сервере, обновите записи DNS. 
▫️ Убедитесь, что SSL-сертификат корректно установлен на новом сервере.
Вопрос: Такой вопрос: наличие на посадочных страницах большого количества стандартных блоков типа "Наши преимущества", "О нас" и пр. — может ли быть негативным фактором? И обязательны ли они на страницах сайта?

Ответ: Наличие на большом количестве страниц одинаковых блоков может быть расценено поисковыми системами как некачественные страницы, которые не дают ценности пользователю, так как контент на них в какой-то степени дублируется. 
Необходимо давать пользователю релевантный ответ на его запрос и при этом он должен быть максимально полным. Информация же "Наши преимущества" и "О нас" больше предназначена для конвертирования трафика и, безусловно, она должна присутствовать на страницах сайта, но не в чрезмерном количестве. 
Например, на страницах листингов информации о преимуществах компании будет достаточно релевантной и сделает такую страницу более качественной, но нужно стараться, чтобы преимущества не дублировались из страницы на страницу. 
А, например, на страницах Контакты, Доставка и Оплата или в новостных статьях, такой блок с преимуществами будет смотреться попросту неуместным.
Блок "О нас" можно разместить на главной странице, а на внутренних проще всего проставить ссылки на страницу "О компании". Именно сама по себе такая страница будет иметь большое значение как для пользователей, так и для поисковых систем.
Вопрос: Сайт изначально был www, потом стал no-www. Гугл продолжает выдавать результаты поиска с www версией и no-www версией в перемешку, как удалить результаты с www из выдачи гугла (~7000 страниц)? Редирект настраивался месяц назад, сколько обычно склейка происходит, возможно стоит просто ждать или можно ускорить процесс склейки и удаления страниц с www из выдачи?

Ответ: У разных сайтов процесс склейки может занимать достаточно большое количество времени. В исключительных случаях бывают сайты, у которых даже спустя полгода в выдаче показывалась не та версия url страницы, которая есть на самом деле.
Всё дело в том, что у Google есть несколько баз данных, которые связаны между собой и та база, в которой хранятся форматы url для выдачи обновляется очень долго.
Вам нужно понять, а критично ли для вас нахождение сайта в выдаче без www. Если сайт ранжируется точно также и ни трафик, ни позиции сайта не снизились – можете просто не обращать на это внимание. С течением времени новые форматы url заменят старые, но происходить это может очень долго.
👉 Если же для вас это критично, вам нужно:
– по возможности заменить все ссылающиеся на вас сайты на новые форматы url;
– отправить страницы со старыми форматами url на переиндексацию;
– закупить на страницы со старыми форматами url по 2-3 внешние ссылки.
Вопрос: Как можно проверить пустой домен без сайта на предмет банов/фильтров от поисковых систем? История домена есть в wayback machine, но сайта того нет.

Ответ: Есть несколько способов проверить пустой домен на наличие банов или других проблем с поисковыми системами:
▫️ Воспользоваться специальными сервисами, например Whoisxmlapi или Domaintools. Они покажут историю домена и выявят наложенные санкции.
▫️ Запросить отчёт в Google Search Console. Если домен забанен, это будет видно в отчётах.
▫️ Попробовать загрузить тестовую страницу на домен и проверить её индексацию и отображение в поисковиках. Если она не индексируется - возможно, есть проблемы. 
▫️ Посмотреть информацию в спам-базах: spamhaus.org, spamdatabase.com. Возможно, домен попал в чёрные списки. Дополнительно можно воспользоваться онлайн сервисами типа Google Safe Browsing, VirusTotal, Sucuri SiteCheck.
▫️ Загрузить дамп Whois базы домена и посмотреть историю владельцев, не было ли спамеров или заблокированных сайтов.
▫️ Проверить сайт в Ahrefs и MOZ. В разделе "Безопасность" можно проверить не заблокирован ли домен в Google, Bing, Yahoo и других поисковых системах.
▫️ Проверить бэклинки: с помощью таких сервисов, как Ahrefs или Majestic, можно проверить ссылочную массу. Если домен был заблокирован, бэклинки могут быть потеряны или отсутствовать. Также смотрите на динамику ссылочного профиля и ссылки с каких ресурсов были проставлены. Если есть резкие скачки по ссылкам или же ссылки с ресурсов запрещенных тематик, то возможно домен был забанен или был под фильтром.
▫️ Проверить органический трафик у домена: в тех же сервисах (типа ahrefs) можно проверить историю органического трафика. Важно проверить, не было ли резких скачков, из каких стран был трафик и по каким запросам пользователи переходили.
В целом мы рекомендуем использовать несколько разных сервисов для проверки домена. Это поможет вам получить более полную картину.
Вопрос: Поведенческие данные на неканонических страницах передаются канонической?

Ответ: Канонические теги предназначены для управления индексацией и ранжированием, а не для объединения или передачи поведенческих данных.
Поведенческие данные, такие как глубина просмотра страниц, время на сайте и показатель отказов учитываются для этой конкретной страницы в вашей системе аналитики (например, Google Analytics).
Когда вы указываете страницу, как каноническую, то это сообщает поисковому роботу, что другие страницы с похожим контентом являются дубликатами или второстепенными и что поисковая система должна рассматривать указанную страницу предпочтительной версией (канонической) при ранжировании и индексации.
При этом поисковая система понимает, что на неканонических страницах может находиться важная информация, в том числе важные ссылки. Также если большинство пользователей попадает на неканонические страницы и взаимодействует с ними, это может повлиять на ее индексацию.
Если неканоническая страница есть в индексе, то поисковик будет учитывать ее поведенческие данные, но отдельно от канонической.
Вопрос: Планируем выгрузить на сайт большое кол-во новых страниц, что кратно превышает существующее число. Знаем, что массовая выгрузка может негативно сказаться на отношение поисковиков к сайту. Сейчас еженедельно загружаем не более 10% от существующих. Можно ли открывать больше? Т.к. такими темпами выгрузка может затянуться на полгода.

Ответ: На данный момент, если вы планируете выгрузить большое количество новых страниц, и информация на них актуальная и полезная для пользователей, то нет необходимости ограничивать себя еженедельной выгрузкой не более 10% от существующих страниц. 
⚠️ Важно, чтобы контент был качественным, релевантным вашей аудитории и соответствовал правилам поисковых систем.
Массовая выгрузка полезного и актуального контента может даже улучшить позиции вашего сайта в поисковых результатах, так как поисковики стремятся предоставлять пользователям наиболее полезную информацию. Однако следует уделять внимание не только количеству страниц, но и их качеству, структуре сайта, скорости загрузки и другим факторам, влияющим на пользовательский опыт.
Вопрос: Как в 2023 году корректно реализовывать страницы пагинации в листингах интернет-магазина? Многие сайты реализуют canonical на первую страницу пагинации, но developers.google.com пишет: Не используйте первую страницу с результатами поиска в качестве канонической. Вместо этого назначайте каждой странице ее собственный канонический URL. Исходя из этого, нужно уникализировать метатеги для каждой страницы (- страница 2 и т.д.).

Ответ: В большинстве случаев мы также придерживаемся правила, описанного в рекомендациях Google: настройка каноникала каждой из страниц на себя. И да, при этом необходимо уникализировать шаблон метаданных для каждой из страниц пагинации. Кроме того, необходимо оставить текстовый контент только на первой странице, чтобы избежать каннибализации запросов категории.
Используя такой метод, мы увеличиваем число документов коммерческой направленности в индексе, что позволит продемонстрировать поисковику более полный ассортимент продукции в категории и улучшить коммерческие показатели. 
В ряде случаев также можно дополнительно улучшить эту схему:
▫️ Оптимизировать каждую страницу пагинации под регион.
▫️ Оптимизировать каждую страницу пагинации под дополнительные запросы из семантики.
💡 Более подробно можно прочитать здесь.
Вопрос: Стоит ли разделы блога, новостей и др. информационные разделы выносить на поддомены коммерческого сайта? Как их перелинковать между собой, чтобы не уменьшать вес основного домена?

Ответ: Реализация информационного раздела на поддомене чаще всего применяется тогда, когда необходимо: 
▫️ упростить структуру сайта;
▫️ вынести большой объем информации на отдельный сайт;
▫️ улучшить ранжирование сайта за счет нивелирования влияния YMYL на основной сайт (в нашей практике были случаи, когда, убирая статьи на медицинскую тематику с основного сайта на поддомен, сайт восстанавливал позиции);
▫️ упростить управление контентом.
Такой подход лучше всего подходит крупным сайтам, у которых миллионы страниц и разделение контента будет по-настоящему полезным.
Минусы и плюсы в реализации информационного раздела на поддомене:
➖К минусам стоит отнести:
- необходимость создания уникального дизайна;
- наращивание ссылочной массы для сайта на поддомене.
➕ К плюсам стоит отнести:
- уменьшение нагрузки на сервер в случае, если будет большой трафик;
- возможность присвоения отдельного региона, например, вся страна;
- упрощение аналитики;
- дополнительный канал трафика.
Что касается создания раздела на основном сайте, то в целом данный вариант в большинстве случаев значительно проще и требует меньших финансовых вложений.
👉 Нюансы перелинковки и передачи веса.
Что касается перелинковки, то тут нужно сразу сказать, что при проставлении ссылок с основного домена на поддомен вес будет теряться в любом случае. Использование тега noindex для ссылок не поможет сохранить вес. При этом не прокачанный ссылочной массой поддомен не сможет передать много собственного веса для основного домена, чтобы это качественно сказалось на позициях основного сайта.
Вопрос: Нужно ли настраивать редиректы, если внешняя ссылка стоит на несуществующую страницу сайта? Что делать, если таких ссылок много?

Ответ: Если вы видите, что достаточно больше количество доноров ссылается на несуществующие страницы вашего сайта, будет неверным решением терять ссылочный вес, который они передают. Чтобы сохранить его, вам нужно создать эти страницы по списку и 301 редиректом перенаправить их на главную страницу или на более релевантные страницы-категории, если тематика донора и анкор ссылки подходят под тематику отдельной страницы вашего сайта. Если анкоры, по которым ссылаются доноры не особо тематичны вашим внутренним страницам – перенаправляйте их на главную страницу.
Проанализируйте также сайты-доноры, возможно, некоторые из них будут больше напоминать ссылочные помойки, а не сайты для людей. Ссылки с таких сайтов особой пользы не принесут, наоборот, могут навредить. Такие ссылки редиректить не надо.
Вопрос: У сайта А нет англоязычной версии. Через какое-то время сайт А переводит контент и узнает, что сайт Б уже перевёл данный материалы на английский. Кто с точки зрения ПС является автором контента? Какой сайт будет считаться первоисточником? Переведённый контент считается уникальным?

Ответ: С точки зрения поисковых систем (ПС), автором контента считается сайт, который первым опубликовал оригинальное содержание. В данном случае, это сайт А, который изначально опубликовал текст на русском языке. Сайт Б, который перевёл контент, является правообладателем перевода, но не оригинала. Из этого выплывает, что сайт А будет считаться первоисточником контента в глазах ПС.
Переведенный контент как правило не считается уникальным, так как он является производным от оригинала. Однако, с точки зрения поисковых систем, он может быть признан уникальным, если перевод был выполнен творческим образом и не является простым копированием оригинала (машинный перевод). Например, Google считает, что две опубликованные одинаковые статьи на разных языках являются уникальными, вне зависимости от того, размещены они на одном сайте или разных.
Что же касается правовой точки зрения – контент, в том числе перевод, если он не одобрен правообладателем, принадлежит первоисточнику. В случае с сайтом Б можно утверждать о нарушении авторских прав, так как перевод был выложен без согласования с сайтом А.
Вопрос: Сколько в выдаче держится ссылка с 302-м редиректом? В каких случаях стоит настраивать 302 ответ сервера? Как может повлиять наличие большого количества таких редиректов (около 1000 шт.) на индексирование ресурса и переобход страниц?

Ответ: 302 редирект – это временное перенаправление на другой адрес. Означает, что ресурс временно находится где-то в другом месте и клиент/браузер должен продолжать запрашивать исходный URL. Из индекса такие страницы не удаляются. 
Случаи, в которых целесообразно использовать 302 редирект: 
▫️если товара временно нет на сайте; 
▫️если исходная страница в стадии разработки или доработки; 
▫️когда важно, чтобы старая страница продолжала индексироваться. Например, если на исходной странице размещены ссылки, которые должны и дальше индексироваться; 
▫️ при необходимости, чтобы пользователи видели только новую страницу; 
▫️ если целевая страница должна время от времени меняться.
Если поисковая система обнаруживает большое количество 302-х редиректов на вашем сайте, это может замедлить процесс индексирования, т.к. каждый редирект требует дополнительного HTTP-запроса.
Поскольку 302-й редирект считается временным, поисковые системы могут решить, что они не должны передавать важность (PageRank) от оригинальной страницы к перенаправленной. Это может привести к потере важности страницы (PageRank).
Вместо большого количества 302-х редиректов мы рекомендуем использовать 301-е редиректы, которые будут указывать, что страница перемещена по новому адресу и рассматривать 302-е редиректы только в ситуациях, где временное перенаправление действительно необходимо.
Вопрос: На сайте картинки в статьях указываются исключительно со сторонних ресурсов. Влияет ли отсутствие "собственных" картинок на ранжирование в поисковиках?

Ответ: Использование неуникальных картинок в статьях на сайте может иметь несколько негативных последствий:
1️⃣ Если вы используете изображения, которые не являются уникальными и не имеют соответствующих разрешений от авторов, это может привести к юридическим последствиям, таким как нарушение авторских прав. В некоторых ситуациях Google может наказать сайт за это. Чтобы обезопаситься, следует использовать стоковые изображения, тем более, что бесплатных библиотек изображений достаточно много.
2️⃣ Использование неуникальных картинок также может негативно сказаться на поиске по картинкам. В таком случае вы попросту теряете возможность получить дополнительный трафик на сайт.
Использование уникальных изображений позволяет вашему веб-сайту участвовать в поиске по изображениям и привлекать дополнительный трафик. Однако помимо обладания авторскими изображениями, необходимо дополнительно оптимизировать теги Alt и Title, а также содержанием вокруг изображений и страницу в целом. Идеальным вариантом было бы создание (или заказ) собственных фотографий или воспользоваться генератором изображений от ИИ.
Вопрос: Расскажите про вхождение названия категории в заголовок товара. Правильно его указывать или нет? Учитывает ли поисковая система его как остальной текстовый контент на странице или расценивает иначе? Можно ли получить пессимизацию листинга товаров по этой причине? В ТОПе встречается как вариант с вхождением, так и без него.

Ответ: Считаем, что использование названия категории в заголовок товара уместно в тех случаях, где он:
▫️ будет выглядит естественно;
▫️ поможет пользователю быстрее понять контекст, к какой категории принадлежит товар;
▫️ наименование категории является важным ключевым словом и его вхождение может увеличить релевантность страницы товара для этого запроса.
Например, в категории планшеты, мы будем использовать заголовок товара «Планшет Samsung Galaxy Tab S9». При этом в категории черные обои для спальни, мы будем использовать заголовок товара условно в виде «Обои Portofino Alassio 215013».
Поисковые системы учитывают название категории в заголовке товара, как часть текстового контента на странице. Однако они также учитывают другие факторы, такие как релевантность, качество и удобство использования. Поэтому только лишь наличие или отсутствие названия категории в заголовке не является гарантией того, что листинг товаров будет хорошо ранжироваться.
Получить пессимизацию листинга товаров по этой причине можно, но это маловероятно. Поисковые системы обычно не наказывают за наличие избыточной информации. Однако, если название категории в заголовке будет слишком длинным или не релевантным, это может привести к снижению кликов и, как следствие, к снижению ранжирования.
Если в ТОПе поисковой выдачи присутствуют оба варианта (с вхождением и без), это говорит о том, что поисковые системы не делают строгого акцента на этом параметре. Вероятно, другие факторы, такие как качество контента, внешние ссылки, техническая оптимизация и др., играют более важную роль.
Вопрос: Насколько влияет циклическая ссылка логотипа на главной странице на саму себя? Есть мнение, что она мешает поисковым роботам.

Ответ: Все сайты, с которыми мы работали, имели ссылку в логотипе на главную страницу, при этом никаких проблем не возникало. Циклической такая ссылка будет только на главной странице. Если вы разместили ссылку в лого на свой сайт на главную страницу – никаких проблем в продвижении быть не должно (именно из-за самого факта такого варианта размещения). 
Если же вы попытаетесь засунуть под логотип ссылки на другие сайты – да, проблемы возможны, так как в этом случае вы обманываете пользователя, который думает, что кликает по вашему сайту, а попадет на другой сайт. И даже в этом случае поисковой алгоритм особо никаких санкций на сайт накладывать не будет, просто эта ссылка будет передавать очень много ссылочного веса на другой сайт, так как она будет расположена на всех страницах сайта, где размещен логотип (т.е. на всех).
Вопрос: Как поступать с файлами формата pdf (инструкция к товару, сертификат и т.д.) Закрывать их от индексации? И если на сайте уже есть страницы с текстовыми версиями таких документов, не будут файлы pdf считаться дублями?

Ответ: Файлы формата pdf нормально воспринимаются и ранжируются поисковыми системами. Если pdf файлы не дублируются с информацией на сайте, то закрывать от индексации их не стоит. Решение о том, как поступать инструкциями и сертификатами к товару в pdf формате стоит принимать в индивидуальном порядке, так как зависит от тематики и ситуации в ТОПе.
Ориентируйтесь на потребности пользователя, в идеале стоит провести тестирование: как поведут себя пользователи, если информацию подать в html формате и сравнить с версией страниц с pdf документом.
⚠️ При этом есть некоторые ограничения для файлов:
▫️ они должны быть открыты для поисковых роботов, чтобы принимать участие в ранжировании;
▫️ они не должны быть защищены паролем или зашифрованы, так как такой контент роботы не смогут извлечь;
▫️ не все языки поддерживаются и поэтому могут быть не распознаны и, как следствие, такие файлы могут не проиндексироваться;
▫️ также могут не поддерживаться все шрифты, что может привести к негативным последствиям;
проблемы могут возникнуть и с таблицами и графиками, содержащимися в файлах.
Исходя из вышеперечисленного, необходимо отслеживать правильность индексации необходимых для этого файлов.
Что касается дублирования контента, то для избегания оного не стоит публиковать его в разных форматах. Помните, что такой способ не рекомендуется поисковыми системами. 
👉 Но, в случае, если для вас важно именно так публиковать контент, то для устранения проблемы вы можете отметить предпочтительную версию страницы для поисковых систем:
▫️ добавив ссылку на нее в карту сайта в формате xml;
▫️ указав каноническую версию в html файле, либо в http заголовке pdf-файле.
💡 Более подробную информацию о pdf файлах, их индексации и ранжировании можно почитать тут в справке Google.