kiriyk/seo_tg huggingface dataset:
Вопрос: Search Console пишет, что URL категории находится в индексе, но его нет в файле sitemap. В то же время файл sitemap обновляется каждый день и эта страница есть в нем. Критично ли то, что Google считает, что страницы нет в sitemap и почему это происходит? Такой момент с многими страницами сайта, как основными категориями, так и с страницами SEO фильтров.

Ответ: 👉 То что Google индексирует страницы сайта, которые есть в Sitemap, но помечает эти страницы со статусом «Страница проиндексирована, но ее нет в файле Sitemap» не является критической ошибкой.
Причины по которым страницы размещенные в Sitemap попадают в отчет «Страница проиндексирована, но ее нет в файле Sitemap» в Search Console могут быть следующие:
🔸Google может ссылаться на старую версию сайта, в которой может не быть данных страниц;
🔸некоторые CMS, например Bitrix, при формировании карты сайта могут не добавлять данные страницы в карту сайта.
👉 Файл Sitemap призван помочь поисковому карулеру найти на сайте страницы, которые Вы хотите видеть в индексе. По данным Справки Google файл Sitemap является рекомендацией, а не строгим правилом для поисковых систем. Фактически содержимое карты сайта помогает поисковому боту быстрее обнаружить новый контент на сайте. 
⚠️ В индекс поисковых систем будут добавлены качественные страницы, и не важно находятся они в Sitemap  или нет. Поэтому в первую очередь стоит сосредоточится на повышении качества продвигаемых страниц для посетителей из поиска.
Вопрос: Анализирую ссылочный профиль клиента. Нашел доноры с низким DR. При более детальном анализе обнаружил, что эти ссылки еще и 404.
То есть, на доноре размещена ссылка на несуществующую страницу сайта клиента.
Что делать с такими ссылками?
1. Отправить в disavow tool?
2. Настроить 301 редирект?
3. Ничего не делать

Ответ: Ссылки на 404 страницы не могут передать вес (либо оказать негативное влияние), т.к. цепочка нарушена. Но домены с низким DR не всегда являются некачественными донорами. Для начала, нужно детальнее проанализировать качество сайтов-доноров.
👉 Если доноры, ведущие ссылки на 404 страницы — спамные, то можно ничего не делать. 
👉 Если донор не спамный и актуален, косвенно пересекается с вашим сайтом по тематике и региону, обладает трастовостью и содержит качественный контент, то можно настроить 301 редирект на актуальную страницу вашего сайта. В таком случае есть вероятность получить ссылочный вес на сайт. Однако, стоит отслеживать динамику и в случае возникновения подозрения, что ссылки негативно отражаются на показателях, избавляться от них.
⚠️ Следует понимать, что если у сайта авторитетный домен и хороший ссылочный профиль, то небольшое количество некачественных внешних ссылок не испортят общую ссылочную картину. Лучший способ бороться с некачественными ссылками — наращивать новые качественные.
Вопрос: Влияют ли достижения целей в метрике на результаты продвижения? Или это только для себя, чтоб видеть общую картину?

Ответ: 💡Сам факт достижения цели в метрике не имеет прямого влияния на позиции. Но т.к. конверсия — это основная цель коммерческого сайта, можно предположить что рост процента конверсий может положительно влиять на позиции.
👉 Настройка целей полезна для самого интернет магазина т.к. она решает задачи:
1️⃣ Достижение целей в целом на сайте — это важный поведенческий фактор, и если цепочка зашел, увидел и заказал, будет нарушена, то это навредит ранжированию сайта. 
В нашем опыте встречался проект с плохой видимостью, который имел интернет-магазин на другом домене, и при попытке купить товар на первом сайте, пользователя отправляли на второй. Это показательный пример того, как вебмастера целенаправленно обрывали сессию, тем самым ухудшая поведенческие факторы. Исправив данную проблему удалось повысить видимость сайта.
2️⃣ Выполнение конверсии. Это может быть отправка формы заказа, регистрация, взаимодействие с контактным номером. Все это ведет к конверсии, а цели в метрике показывают как меняется динамика конверсий на сайте. В дальнейшем эта информация может помочь при составлении правильной стратегии продвижения.
3️⃣ Позволяет выявить технические ошибки, которые могут возникнуть на сайте в результате работы программистов или других багов с админкой.
Вопрос: Как влияет наличие страниц с партнёрскими ссылками на ранжирование? Какой оптимальный % страниц с исходящими партнерскими ссылками на сайте? Сколько партнерских ссылок на странице можно ставить? Нужно ли прятать такие ссылки от Google и как это лучше сделать?

Ответ: 👉 Сами по себе исходящие партнёрские ссылки не являются плохими, использование их для монетизации сайта не является чем-то особенным. Партнёрские ссылки могут оказывать негативное влияние на ранжирование, если ставить их на странице бездумно и неуместно контексту. 
💡Главное требование к партнёрским ссылкам — это тематичность конечной страницы. 
Партнерская ссылка часто выглядит как несколько последовательных редиректов. Хоть Google сообщал, что умеет проходиться по редиректам до конечной страницы, всё-таки могут быть задержки по времени и другие технические проблемы, из-за которых робот может не увидеть конечную страницу. 
👉 Оптимального % количества страниц с исходящими партнерскими ссылками нет, а общее количество исходящих ссылок с одной страницы должно быть логически обоснованным и уместным контексту. Необходимости скрывать их также нет, желательно использовать соответствующий атрибут — rel= sponsored. 
На практике же часто применяются различные варианты скрытия ссылок через JS и др., эффективность их использования иногда приносит положительный результат. 
⚠️ В текущих реалиях, с недавним выходом очередного апдейта, для сайтов партнерской сети необходимо уделять больше времени публикуемому контенту.
Вопрос: На сайте есть несколько страниц бесполезных с точки зрения продвижения, но с самым высоким пейджранком (это, конечно же, страницы "о нас", "команда", "контакты" и др. из меню). Хотели закрыть их в nofollow, но есть мнение, что вес просто утечет в никуда, а не перераспределится по другим страницам. Какие есть рабочие способы перераспределить ссылочный вес с этих бесполезных страниц?

Ответ: 👉 Мы не рекомендуем использовать nofollow при внутренней перелинковке. Поисковики различают ссылки из сквозных блоков и уникальные ссылки с основного контента. Рекомендуем сосредоточить внимание на ссылках из основного контента для усилении веса продвигаемых страниц. Продвигаемые страницы сайта должны иметь наибольший статический вес.
Для перераспределения ссылочного веса необходимо организовать внутреннюю перелинковку таким образом, чтобы максимальная концентрация статического веса была передана продвигаемым страницам сайта.
⚠️ Вы можете добавить блоки ссылок “Популярные разделы сайта” на служебных страницах. Таким образом Вы распределите перетекание веса на нужные страницы сайта.
👉 По нашему опыту блокировка ссылок на служебные страницы (nofollow либо закрытие ссылок скриптами) не имеет большого влияния на продвигаемые страницы. Поисковики могут несколько месяцев пересчитывать веса страниц на сайте, потому отследить такой эффект не производя других изменений на сайте мы не пробовали.
Вопрос: Есть сайт по продаже недвижимости с умным ЧПУ фильтром. Все страницы (их около 10 000) оптимизированы и имеют уникальный заголовок h1 и метатеги.

Встал вопрос о добавлении текста на фильтровые страницы. Писать на каждую уникальный текст — слишком трудозатратно, есть вариант написать шаблонный текст, меняя только характеристики фильтров. Разместить его или оставить страницы вообще без текста? Или как правильно провести эксперимент (без больших потерь в позициях и трафике)?

Ответ: 👉 Для проведения эксперимента по добавлению текста на страницы фильтров необходимо выбрать тестовую группу страниц на которые будут добавлены тексты. Страницы для эксперимента стоит отобрать с видимостью по запросам ТОП 20-30, чтобы в случае отрицательных результатов потеря трафика была минимальной.
По выбранным страницам стоит зафиксировать позиции до начала эксперимента и мониторить динамику видимости данной группы страниц в Яндексе и Google.  При этом любые другие манипуляции над тестовой выборкой на период эксперимента следует исключить (добавления внешних / внутренних ссылок, прочее).
👉 Если положительной динамики позиций после добавления текстов не будет, стоит отказаться от размещения текстовых описаний на страницах фильтров.
⚠️ Важно отметить, что алгоритмы поисковых систем с каждым годом улучшают технологию обработки текста, поэтому мы не рекомендуем размещать шаблонный текст в котором будут меняться только параметры фильтра.
👉 Лучшим вариантом будет подготовить небольшие уникальные описания на 3-4 предложения, с включениями целевых продвигаемых запросов и LSI-фраз. Текст стоит добавлять после листинга, чтобы в начале страницы пользователю выводились карточки предложений недвижимости по выбранному фильтру.
Вопрос: Запустил новый сайт по услугам, офиса нет, добавил организацию по липовому адресу. Через несколько часов позвонил якобы клиент, спросил можно ли подойти в офис, ответили — пока нет. Это был переход из ЯндексTeam, в модерации карточки отказано. Какие варианты для подтверждения адреса теперь есть?

Ответ: 💡Яндекс справочник позволяет зарегистрировать организацию без физического адреса. Подтверждение в Яндекс Справке. Однако в таком случае Вашей организации не будет на Яндекс Картах. 
Мы не рекомендуем регистрировать организацию с липовым адресом. Если из-за этой ситуации у Вас не получается верифицировать организацию, рекомендуем напрямую связаться с Платоном. Постарайтесь объяснить сложившуюся ситуацию и попросите помощи. По нашему опыту, ответ можно получить уже в течение пары часов.
👉 Если возникла всё же необходимость зарегистрировать физический адрес организации, попробуйте в настройках карты сдвинуть ползунок и нажать «Уточняю адрес» или «Переезжаю». Подробнее в Яндекс Справке здесь. После этого дождитесь модерации и повторного звонка.
⚠️ Однако если в течение двух недель не будет изменений, всё равно придется писать в поддержку Яндекса.
Вопрос: Можно ли использовать атрибут hreflang для регионального продвижения? Этот атрибут позволяет указывать роботу для какого региона показывать страницу? Влияет ли атрибут hreflang на ранжирование?

Ответ: 👉 Если Вы спрашиваете про “региональное продвижение” внутри страны, например, по городам России, тогда атрибут Hreflang не особо поможет, так как он позволяет выбрать только Язык и Регион (Страна). Если Вы спрашиваете, про продвижение по разным странам, например, страны СНГ, тогда да, атрибут Hreflang нужно использовать для страниц под разные страны.
Использование hreflang может улучшить ранжирование сайта в выдаче в разных странах. 
💡Hreflang довольно сильный инструмент. Если Ваш сайт в ТОПе по неким инфо-запросам, то Вы легко можете попасть в ТОП соседней страны настроив атрибут hreflang. Многие факторы ранжирования перетекают на страницы нового региона. У нас есть опыт продвижения в странах СНГ, где мы прописывали данные атрибуты и легко зашли в ТОП-10.
Однако для товаров и каталогов такая методика не особо эффективна. Т.к. меняется контент, цены, коммерческие факторы и т.п.
⚠️ Важно правильно настроить hreflang.
Наиболее частые проблемы, с настройкой данного атрибута:
▫️Отсутствуют значения атрибута hreflang
▫️Нерелевантные значения hreflang
▫️Нерелевантные URL
▫️Несуществующие URL
▫️Отсутствие обратных атрибутов hreflang
👉 Если же Вас интересует продвижение по разным городам одной страны, тогда стоит использовать другие методы регионального продвижения. Недавно мы отвечали на этот вопрос (ссылка).
Вопрос: Почему в некоторых нишах в ТОП-10 Яндекса появляются vk или Instagram страницы? Ниша не самая низкоконкурентная при этом (например, ювелирные изделия на заказ ). Как бороться сайту?

Ответ: 💡 Страница коммерческого профиля в социальных сетях может участвовать поиске, как и страница обычного сайта, если она достаточно точно отвечает запросу пользователей. Органический поиск помогает не только найти лояльную аудиторию, которая превратиться в подписчиков, но и:
▫️приносить лидов с поиска;
▫️может занять еще одно место в ТОПе помимо основного сайта.
👉 При продвижении профиля работают принципы классического SEO: 
▫️страница отвечает на запрос пользователя;
▫️описание страницы, статуса, а также посты на странице тематические и оптимизированы;
▫️страница регулярно обновляется;
▫️аудитория достаточно активна, страница имеет хорошие показатели ПФ и часто обновляется новым материалом;
▫️присутствуют внешние ссылки.
⚠️ Для успешной борьбы с страницами из социальных сетей в выдаче, нужно помнить, что коммерческий профиль социальной сети — это всего лишь сайт, лишенный стандартных приемов в оптимизации, которые в свою очередь могут применять обычные сайты, например, такие:
1️⃣ Работа над коммерческими и поведенческими факторами (расширение ассортимента, вывод информации, которая может понадобиться пользователю для совершения покупки, улучшение привлекательности сниппетов и др.)
2️⃣ Внутренняя оптимизация (расширение структуры, корректировка шаблонов title, description, h1, доработка текстового содержимого посадочных страниц и др.).
3️⃣ Эксперименты с наполнением и выводом информации на товарных карточках и листингах.
Вопрос: Что такое социальные сигналы и какие они есть? Работают ли они сейчас для SEO? Какие соц. сигналы важны для Google, а какие для Яндекса?

Ответ: 💡Социальные сигналы – реакция аудитории на сайт в соцсетях. Основная задача поисковых систем – предоставлять пользователю качественный и релевантный контент. Тот факт, что аудитория проявляет интерес к Вашему сайту в интернет пространстве, свидетельствует о его высоком качестве и авторитетности. Именно поэтому социальные сигналы оказывают влияние на ранжирование сайта.
👉 Самые важные социальные сигналы – лайки, репосты и комментарии в соцсетях. Также косвенно влияют:
▫️количество подписчиков в соцсетях;
▫️посещаемость аккаунтов компании;
▫️упоминание бренда;
▫️отзывы и обзоры на продукцию/услуги.
⚠️ Безусловно, социальные сигналы –  далеко не самый важный фактор и без него можно обойтись. Однако, SEO включает в себя комплексный подход, поэтому пользоваться этим видом продвижения можно и нужно.
👉 Как увеличить социальные сигналы:
▫️добавить на сайт иконки со ссылкой на соцсети;
▫️улучшать юзабилити сайта, чтобы кнопки лайков, репостов и переходов в соцсети были доступны для пользователей и привлекали их внимание;
▫️создавать интересный контент, чтобы у пользователей возникало желание им делиться;
▫️использовать качественные изображения на сайте;
▫️сотрудничать с другими брендами;
▫️устраивать розыгрыши, чтобы привлекать внимание к бренду.
Вопрос: Порекомендуйте, пожалуйста, хорошие сервисы для генерации SEO-отчетов, если такие существуют, конечно. Готовить все ручками в вордовском файле или экселе напряжно, когда клиентов становится много. Хочется навести красоту.

Ответ: В первую очередь нужно понимать, что как не крути, SEO-отчеты — это очень индивидуально. 
👉 Можно выгрузить отчеты из Google Search Console и в целом они визуально неплохие : 
▫️https://i.imgur.com/dEf4fbJ.png
▫️https://i.imgur.com/19m9pqA.png
Но такие отчеты смотрятся слишком системно. Поэтому у нас в компании все отчеты в любом случае составляются SEO-специалистами, так как в нужно описать не только текущую ситуацию по проекту и что происходит с сайтом, но и какие работы планируется проводить в дальнейшем. Автоматические такой отчет сделать нельзя. 
⚠️Тем не менее, упрощать себе работу за счет автоматических отчетов из сервисов можно и нужно. Например, недавно мы писали статью, про то как “Как проанализировать просадку трафика в Google с помощью Search Analytics for Sheets” и по материалам этой статьи, был разработан инструмент: Анализ трафика. С помощью него можно быстро проанализировать ситуацию по проекту и получить сводку, что изменилось за последний месяц работ на сайте: https://i.imgur.com/ay9Uk5d.png Видно как менялись позиции, количество запросов на странице. Данные можно выводить не только по запросам, но и по страницам: https://i.imgur.com/ZXSLQaw.png
Данный отчет подойдет, если вам нужно показать общую динамику по проекту и изменения (обычно эту информацию используют в вступительной части отчета). 
👉 Что касается отчета по выполненным работам и планам работ, то тут всё слишком индивидуально по каждому проект. Список выполненных работ мы фиксируем в нашем внутреннем инструменте и при необходимости мы их можем выгрузить. Но такой список всегда получается объемным и в отчете смотриться “некрасиво”. Потому обычно составляем список проделанных работ и напротив каждой работы, ставим ссылку, на подробный отчет. Вы же можете фиксировать работы по проекту в обычных Google Sheets по проекту, и в отчете напротив выполненных работ давать ссылку на такой отчет. 
⚠️ Ну а план работ — это только руками, так как даже если Вы составите стратегию на 3 месяца и забьете этот план в какой-то инструмент, ситуация на сайте может поменяться в течение месяца и план нужно будет корректировать. А автоматически этого не сделать.
Вопрос: Насколько важна регистрозависимость URL? Сайт доступен и по: /catalog/Bumazhnaya-Produktsiya-Dlya-shkoly и /catalog/bumazhnaya-produktsiya-dlya-shkoly. Для роботов эта два разных URL?

Ответ: 👉 Согласно Справке Google путь, имя файла и параметр в адресе страницы чувствительны к регистру. Поэтому /catalog/Bumazhnaya-Produktsiya-Dlya-shkoly и /catalog/bumazhnaya-produktsiya-dlya-shkoly для поисковых роботов это разные URL. 
Как итог поисковые системы могут исключать из поиска страницы в разном регистре URL по причине дублирования контента. Об этом говорится в справке Яндекса. 
⚠️ При этом сотрудник Google Джон Мюллер на вопрос влияют ли заглавные буквы в URL на положение сайта в поиске ответил, что регистр не влияет на ранжирование страниц.
👉 Чтобы избавится от возможных проблем со страницами написанными теми же символами но в разном регистре стоит:
▫️настроить редирект на URL в нижнем регистре;
▫️добавить в код rel=«canonical» указывающий как каноническую страницу в нижнем регистре.
Вопрос: Как сейчас лучше поступать со страницами пагинации в ИМ в плане того, что Вебмастер ругается на дубли тайтлов и дескрипшенов? Есть мысль во все тайтлы и дескпришены добавить "Страница 2", "Страница 3" и т.д. Как исправить ошибку и нужно ли уникализировать страницы пагинации?

Ответ: Мы всегда рекомендуем уникализировать страницы пагинации, добавляя на страницу начиная со второй «Страница X» для таких элементов, как:
▫️title;
▫️description;
▫️h1.
👉 Такой подход позволяет:
▫️избежать риска возникновения дублей;
▫️повышает количество страниц коммерческой направленности в индексе;
▫️избежать проблем с индексацией товаров.
⚠️ Для исправления ошибки в Вебмастере необходимо уникализировать и настроить страницы пагинации, после чего дождаться их переиндексации или запускать страницы на переобход вручную. Из актуальных способов настройки пагинации можно выделить следующие:
1️⃣ Настройка атрибута rel="canonical" для страниц, начиная со второй, как неканонических, а в качестве их канонического url указывать первую страницу листинга. По сути, этот способ соответствует рекомендациям от Яндекса.
Схематическое представление: http://joxi.ru/1A5ny5vUz0K4Wr
2️⃣ Настройка атрибута rel="canonical" для страниц, начиная с первой, на каждой из страниц на самих себя. Популярный метод настройки, который мы часто практикуем.
Схематическое представление: http://joxi.ru/LmGz8aGtg4RxJr
3️⃣ Оптимизация страниц пагинации под регионы, при котором прописываются не только атрибут rel="canonical" для страниц на самих себя, но и добавляются в title и description топонимы. Более экзотический способ, нацелен на попадание в выдачу сразу нескольких страниц. Видели как положительные результаты от его реализации, так и их отсутствие.
Схематическое представление: http://joxi.ru/Vm6Xv6lTRVDRDA
Вопрос: Нужен ли last-Modified на сайте? Для каких поисковых систем он подходит? И есть ли информация о том, как Google обрабатывает last-Modified?

Ответ: 👉 При посещении сайта, на котором не настроен заголовок last-Modified, робот будет производить индексацию всех страниц интернет-ресурса снова и снова, создавая лишнюю нагрузку на сервер. К тому же робот будет тратить краулинговый бюджет и потенциально важные страницы могут долго индексироваться. При настройке last-Modified этой проблемы можно избежать, поэтому мы рекомендуем реализовать Last-Modified на страницах Вашего сайта.
⚠️ Last-Modified подходит для поисковых систем Яндекс и Google.
Last-Modified помогает поисковым системам быстрее сканировать/индексировать новые страницы за счет распределения краулингово бюджета, но это при условии его правильной реализации. 
👉 Принцип работы Last-Modified
Если на странице не вносились изменения с момента предыдущего посещения ботом, сервер отдает 304 ответ. То есть бот понимает что контент не изменился и нет смысла в переобходе и переиндексации страницы. В результате бот не скачивает содержимое страниц, расходует квоту на реально изменившиеся страницы со времени предыдущей индексации. Либо индексирует новые страницы сайта.
Вопрос: Как исправить ошибку: "Проиндексировано, несмотря на блокировку в файле robots.txt" в GSC? Из-за чего она возникает? Насколько она критична?

Ответ: 👉 Для поисковой системы Google в файле robots.txt прописываются правила сканирования сайта, но не индексирования. То есть сканирование может быть запрещено, но поисковая система добавит в индекс данный URL адрес, так как нашла его другими способами. 
Google не будет напрямую сканировать и индексировать контент, указанный в файле robots.txt, однако URL с закрытым доступом может быть найден и добавлен в индекс из-за ссылок на других сайтах. Таким образом, запреты в файле robots.txt не исключают появление URL и других общедоступных сведений, например текстов ссылок, в результатах поиска Google [Справка Google].
⚠️ Если учитывать, что чаще всего в robots.txt закрывают некачественные, технические, пустые, частичные либо полные дубли страницы, то появление таких страниц в индексе могут негативно повлиять на ранжирование сайта.
👉 Чтобы исправить ошибку, нужно выполнить следующие действия:
▫️Проверить файлы sitemap на наличие заблокированных страниц в robots.txt, если есть такие — убрать.
▫️Проверить все бэклинки на сайт, убедится что нет ссылок на страницы, заблокированные в robots.txt
▫️Убрать из файла Robots.txt директивы, которые запрещают сканирование указанных в отчете url-адресов.
▫️Закрыть от индексации все некачественные url-адреса при помощи мета тега robots либо X-Robots-Tag, либо удалить страницу.
Вопрос: Как нужно закрывать и нужно ли закрывать от индексации страницы с параметрами сортировки ? Например: сайт.ру/категория?sort=reviews... И еще по висячим узлам: если закрыть страницы от индексации, например корзину, поиск, регистрацию, то стоит ли в ссылках на эти страницы прописать robots nofollow, чтобы им не передавался ссылочный вес? Или он сейчас не так важен?

Ответ: 👉 Страницы с параметрами сортировки дублируют содержание основной страницы и не несут в себе уникальной информации для пользователя, поэтому их необходимо закрывать от индексации. Аналогично должны быть закрыты от индексации и страницы корзины, поиска по сайту, регистрации и прочие, так как они не несут смысловой нагрузки для ПС.
Наш опыт показывает, что для закрытия страниц от индексации достаточно прописать соответствующую директиву файле robots.txt (в данном случае Disallow: */?sort=) и указать в атрибуте Canonical страниц сортировки ссылку на основную версию страницы. 
⚠️ Однако, если Ваша страница уже находится в индексе и вы хотите ее оттуда исключить, нужно использовать метатег robots. Для этого в разделе <head> страницы прописываем <meta name="robots" content="noindex" />.  При этом, данная страница не должна быть закрыта в robots.txt (чтобы робот мог ее обнаружить и исключить).
👉 Важно понимать, что сам факт наличия ссылки означает, что страница-донор теряет ссылочный вес. Атрибут nofollow означает лишь то, что поисковые роботы не будут переходить по ссылкам на странице-акцепторе и что она не получит ссылочный вес. Так как на висячих узлах нет исходящих ссылок и им не нужен ссылочный вес, на них можно использовать атрибут nofollow.