kiriyk/seo_tg huggingface dataset:
Вопрос: На постоянно меняющейся структуре большого магазина, при обмене данных, возникает большое кол-во 404 (битых ссылок). Нужно ли обращать внимание на такие страницы — делать 301 редирект?

Ответ: 👉 Наличие большого количества битых ссылок может достаточно негативно сказаться на продвижении сайта из-за:
▫️Нерационально используемого круалингового бюджета.
▫️Потери ссылочной массы, ведущий на карточки товаров.
▫️Увеличением процента отказа из-за переходов на карточки товаров с 404 ответом сервера с поисковой выдачи.
👉 301 редирект может быть только временным решением т.к. он полностью не решит потерю ссылочной массы из-за постоянно растущих цепочек редиректов, что может повлечь проблемы с доступностью конечной цели редиректа для бота Google, о чем предупреждал Джон Мюллер.
Также 301 редирект абсолютно не решит проблему нерационального использования краулингового бюджета, что, в случае его дефицита, снизит скорость индексации новых товаров.
⚠️ Единственной рабочей рекомендацией в вашем случае будет смена принципа формирования URL для карточек товара на статичные.
Вопрос: Как лучше для SEO в Google поступать с брендовым запросам:

1) Покупать рекламу на брендовые запросы, при этом уменьшается органический брендовый трафик?

2) Не покупать рекламу на брендовые запросы, при этом терять часть трафика, который будут перехватывать конкуренты, рекламируясь по моему бренду, но вырастет органический брендовые трафик?

Ответ: 👉 Если конкуренты рекламируются по Вашим брендовым запросам — убрав рекламу, Вы таким образом отдадите им часть своего трафика. Вам нужно вытеснить их из ТОПа платной выдачи своими объявлениями.
Да, контекстная реклама заберёт часть органических переходов. Но при этом вы не потеряете этот трафик, пользователи все также будут попадать к Вам, а не к Вашим конкурентам. 
⚠️ Как много органических переходов заберет контекст зависит от разных факторов, но в связке с органикой реклама повысит общую эффективность сайта в выдаче.
Вопрос: Нужно ли в wordpress закрывать от индексации файлы json в robots.txt? Или они нужны для корректного видение страницы поисковиками?

Ответ: 👉 Файлы JSON стоит закрывать от индексации в файле robots.txt, т.к. это технические файлы. WordPress JSON REST API (WP JSON) предназначен для создания приложений на разных языках и платформах с целью управления содержимым сайта. Для пользователей сайта WP JSON не нужен и он не влияет на рендеринг страницы поисковыми ботами.
Запретить индексацию WP JSON можно с помощью плагинов, например, Disable REST API и Clearfy Pro. Также можно в конец файла functions.php добавить код.
⚠️ Еще один способ — использование директивы Disallow и правила Disallow: /wp-json/ в robots.txt. С помощью правила Disallow: /wp– можно запретить сканирование всех служебных файлов, связанных с wp.
Вопрос: На сайте есть около 1000 коммерческих страниц, которые отличаются только метатегами под каждый город России. Но почти нет частотности и трафик они не приносят. Большая часть страниц в ТОП-10 Яндекса и Гугла, но трафика с них нет из-за нулевой частотности.

Что делать с такими страницами? Оставлять или удалять и в роботсе запрет на индекс делать? Не топят такие страницы сайт?

Ответ: 💡Прежде чем создавать страницы, стоит убедиться в том, что они потенциально полезны и что на них есть спрос. Данный процесс упрощается, если изначально начинать создание сайта/страниц со сбора семантического ядра. Таким образом мы сразу понимаем, какие запросы не нужно разбивать на отдельные посадочные и можно продвигать на одной странице, а также избавимся от низкочастотных бесперспективных запросов/кластеров. Подробнее о семантическом проектировании сайта можно прочитать в нашей статье.
👉 Так как текущие страницы не приносят трафик и не обладают потенциалом по его привлечению, оставлять их в выдаче нет смысла, так как они негативно влияют на поведенческие факторы сайта, его качество, а также попросту расходуют краулинговый бюджет.
▫️Если у определенных страниц есть внешние ссылки, то удалять их не стоит во избежание потери ссылочной массы. В данном случае целесообразно настроить 301 редирект на подобную страницу, приносящую трафик.
▫️Если же внешних сигналов нет, тогда страницы стоит удалить из индекса, также нужно удалить внутренние ссылки на них.
⚠️ Стоит также отметить тот факт, что успешно продвигаться по регионам, продублировав страницы и прописав топонимы в метатеги почти невозможно, если ниша конкурентная. Для регионального продвижения нужно:
▫️присвоить сайту нужные регионы;
▫️создать региональные поддомены/подпапки;
▫️сформировать для каждого региона уникальное коммерческое предложение.
Вопрос: После анализа семантики своего сайта и сайта конкурента выяснил, что семантика конкурента значительно шире моей. Причем страниц на сайтах у нас плюс-минус одинаковое количество. Как лучше дополнять свою семантику в таком случае? Обязательно создавать новые посадочные страницы? В какие текстовые блоки лучше добавлять новые запросы: мета-теги, анкоры, основной текст страницы?

Ответ: 💡 Для начала мы рекомендуем произвести кластеризацию всей семантики для распределения запросов по страницам. На этом этапе можно точно определиться для каких кластеров нужно создать посадочные страницы, а какими фразами можно дополнить текущее содержание существующих страниц                      [пример].
Также необходимо помнить, что не всегда корректно сравнивать только количество страниц на сайте, упуская из виду саму структуру сайта и тип сравниваемых страниц. Детальнее этот момент мы схематично изобразили на           примере.
👉 Мы рекомендуем более детально изучить структуру сайта конкурента, уделить внимание ее отличию, а также возможной оптимизации отдельных типов страниц таких, как страницы:
▫️фильтров;
▫️сортировок;
▫️отзывов;
▫️инструкций.
Из-за таких страниц сайт конкурента может иметь более широкий охват по семантике имея очень схожую структуру.
👉 Для распределения запросов по текстовым блокам на странице можно использовать инструмент «Текстовый анализатор» в Rush Analytics, который покажет не только место, частоту использования фразы и необходимый объем текста на странице, а также фразы, которые наиболее часто встречаются в текстах конкурентов из ТОП-а выдачи.
⚠️ Пример основного отчета с текстового анализатора в Rush Analytics.
Вопрос: Если на сайт переходят из закладок, или ссылок из личных СМС, ссылок из соц. сетей — это является сигналом для ПС, что сайт качественный и его нужно ранжировать выше?

Ответ: 💡Прямые переходы и переходы по ссылкам не являются ключевым сигналом для ПС того, что сайт качественный и его нужно ранжировать выше. Прямого влияния нет, возможен положительный эффект за счет косвенных факторов. Такой трафик дает следующие преимущества:
▫️Улучшаются некоторые факторы сайта, такие как, размер аудитории сайта, возврат пользователей, ПФ и т.п.
▫️Прямые переходы влияют на ПФ страницы и могут учитываться поисковиками.
👉 Например, если на новую статью перешло несколько сотен посетителей из соцсетей и они показали хорошее поведение на странице, то такая страница может сразу же попасть в ТОП-10 поисковых систем. Если переходы из поиска подтвердят хорошее поведение пользователей, то страница останется в ТОПе.
⚠️ Главное, чтобы такие переходы были регулярными. Если переходы в результате рассылки разовые,  то к сожалению, полезности они не дадут, позиции останутся на том же уровне.
Вопрос: Яндекс.Метрика говорит, что по запросам, по которым сайт не ранжируется, пользователи заходят на сайт и даже оставляют заявки. При ручной проверке этих запросов видим, что сайта по ним в выдаче нет. В чем может быть причина таких переходов?

Ответ: 💡Причиной переходов по данным запросам является персонализация выдачи Яндекса и географическое расположение пользователя.
1️⃣ Поисковая система выстраивает ТОП исходя из истории запросов пользователя и сайтов, которые он посещал последние два месяца и за неделю. Таким образом на фактический ТОП пользователя влияют как долгосрочные так и краткосрочные интересы.
2️⃣ Также выдача по многим коммерческим запросам для крупных городов и разных регионов отличается, поэтому запросов, по которым Вы видете переходы, нет в ТОП при ручной проверке. В Метрике стоит проверить регион перехода: в отчете «Поисковые запросы» под графиком в блоке «Группировки» выбираем «Город». В итоге зная дату посещения Вы легко определите с какого региона и по какому запросу был переход в поиске Яндекса.
3️⃣ Переходы из поиска в Яндексе могут быть по изображениям, которые оптимизированы под данный запрос. Чтобы убедиться в этом – проверьте выдачу по запросам для картинок.
Вопрос: В ИМ в категории товаров нужно ли в h1 указывать город? В ТОПе у 70% конкурентов он прописан, но это крупные магазины с поддоменами, а у нас региональный сайт без поддоменов.

Ответ: 💡В случае если  h1 большинства сайтов из ТОП-5 содержат название города, Вам также стоит добавлять в h1 город в котором продвигается сайт.
👉 Если Вы собираете трафик по одному региону помимо добавления топонима в заголовки страницы стоит также:
▫️присвоить регион в панели Яндекс.Вебмастера в разделе «Информация о сайте» – «Региональность»;
▫️добавить вхождение топонима в метаданные;
▫️футер и шапка сайта должны содержать контактные данные с упоминанием города;
▫️добавить больше информации на страницу контактов: телефоны, адреса различных точек выдачи, адрес регионального офиса и т.д.;
▫️зарегистрировать компанию в «Google Мой Бизнес» и Яндекс.Бизнес;
▫️разместить компанию в региональных справочниках.
⚠️ Это позволит Вам максимально полно помочь поисковой системе связать сайт с определенным регионом.
👉 Однако стоит отметить, что рост позиций будет заметен только при комплексном улучшении сайта. Поэтому помимо анализа метаданных стоит сосредоточится на:
▫️улучшении мобильной версии сайта;
▫️получении внешних ссылок с качественных площадок;
▫️проработке поведенческих факторов;
▫️достаточном наполнении сайта ассортиментом.
Вопрос: Чем можно восстановить сайт на старом домене из веб архива? И как будет правильно: сначала восстановить его, добавить в веб мастер, подождать индексации и потом ставить 301 редирект или же сразу сделать 301 редирект после восстановления? Или вообще можно просто поставить 301 без какого-либо восстановления?

Ответ: 💡 Если сайт не большой можно восстановить его руками, удалив лишний код со страниц на вебархиве. Более простой способ — воспользоваться archivarix.com.
👉 После восстановления сайта, нужно избавиться от ошибок (ссылки на 404 страницы и т.п.) и дождаться полной индексации сайта. Проиндексированные страницы должны начать ранжироваться в ПС Google. Если сайт не ранжируется, то на домене есть фильтры и его не стоит редиректить на ваш сайт.
Если с ранжированием нет проблем, то можно делать редирект. Лучше настроить постраничный редирект на страницы с таким же контентом. Редирект всего сайта на главную страницу вашего дает более слабый эффект.
⚠️ Мы не рекомендуем ставить 301 редирект без восстановления сайта, т.к. обычно это не работает. Может сработать, если домен освободился недавно и старые страницы еще есть в индексе Google.
Вопрос: В выдаче по изображениям не отображаются (или низко ранжируются) изображения товаров. На сайте для изображений применяется наложение вотермарков (копирайтов). Для каждого изображения прописаны теги alt и title, плюс изображения большого размера 900х900. Может ли использование вотермарков негативно влиять на ранжирование и как добиться появление сайта в результатах выдачи по картинкам раньше, чем конкуренты, которые перетягивают к себе наш контент?

Ответ: 💡 Сам факт использования вотермарков не должен негативно отражаться на ранжировании картинок. Однако, если водяные знаки слишком большие и закрывают основное содержимое, поисковые системы могут счесть ваши изображения недостаточно качественными и полезными для пользователей, вследствие чего не отображать их на высоких позициях в поиске по картинкам. 
👉 Что нужно сделать, чтобы хорошо ранжироваться в поиске по картинкам:
▫️составить отдельный Sitemap для изображений или добавлять ссылки на изображения в основной файл;
▫️использовать оригинальные и уникальные картинки;
▫️обеспечить отображение изображений для пользователей с отключенным JS;
▫️перейти на webp формат изображений;
▫️улучшить производительность сайта;
▫️давать файлам названия, соответствующие содержанию картинок;
▫️оптимизировать вес файлов;
▫️внедрить микроразметку для карточек товаров и прописать в свойстве Image адреса изображений.
👉 Бороться с «кражей» картинок можно следующими способами:
▫️добавить плагин DMCA или самостоятельно подавать ПС жалобы о нарушении авторских прав;
▫️добавить Exif-данные к фото и указать ваше имя в качестве автора и правообладателя;
▫️использовать специальные сервисы для защиты авторских прав на фото.
⚠️ При этом, следует понимать, что если сайт в целом плохо/хуже конкурентов ранжируется, то и изображения будут ранжироваться плохо.
Вопрос: У нас условно говоря 200 товарных позиций, которые не продаются. Думаем, необходимо залить тексты, но под все 200 не успеваем сейчас написать. Можно ли сейчас повставлять неуникальный, скопированный у конкурентов текст, а через какое-то время менять его или это сильно опустит нас?

Ответ: 💡В Вашем случае заливка текстов сразу 200 страниц —это неверная стратегия. Необходимо прорабатывать страницы постепенно, чтобы понимать, какая реализация и стратегия дала лучший результат и после вносить это изменение для остальных страниц. Кроме того, наличие текстового контента на странице — это не гарантия того, что вы попадете в ТОП. В большей степени играют роль другие факторы ранжирования нежели текстовые.
👉 Если речь идет об описании товара, мы не рекомендуем использовать контент конкурентов. На практике мы не встречали наложение фильтров за неуникальные описание, но маловероятно, что такая реализация даст Вам профит. Гораздо выше вероятность того, что в целом качество сайта упадет и возникнут проблемы с индексацией и ухудшением в ранжировании.
Например, рассмотрим случай с ранжированием ИМ, продающие смартфоны. Видим, что ТОП выдачи занимают сайты с уникальными описаниями товара: https://prnt.sc/1aqqznm, в то время как сайтов, использующих ворованный контент, в ТОП-10 нет: https://prnt.sc/1aqqr5b.
⚠️ Плюс конкуренты могут кинуть на вас жалобу, если вы продвигаетесь в ПС Google. 
Кроме того, на практике видим, что для любых товарных позиций на сайте важен не текстовый контент, а поведенческие факторы и наличие коммерческих элементов в первом экране.
👉 Чтобы ранжироваться в ТОПе, карточкам товаров нужны:
1️⃣ Ссылки на них с внешних источников.
2️⃣ Их грамотная перелинковка на сайте, наличие в большинстве блоков, таких как, акции, популярные товары, хит продаж, сопутствующие товары, похожие товары и другие. Поэтому проверьте, чтобы у вас такие блоки были на:
▫️Главной странице.
▫️Страницах листинга.
▫️Товарных карточках.
3️⃣ Наличие всех возможных коммерческих блоков в первом экране: купить в 1 клик, сравнение, отзывы, заказать или добавить в корзину, название товара и цена, изображение и бренд. Данный перечень может меняться в зависимости от конкурентов в нише.
👉 Потому, мы рекомендуем вам:
1️⃣ Не добавлять не уникальное описание, вместо этого взять основные технические характеристики (их можно посмотреть на официальном сайте производителя).
2️⃣ Проработать первый экран и карточку в целом. Добавить все функции и элементы, которые есть у конкурентов.
3️⃣ Добавить блоки с товарами, которые мы описали выше.
Вопрос: У меня есть PDF документы в индексе, как мне узнать какой на них трафик? Можно ли в метрике отчет построить и если да, то как?

Ответ: 👉 Такой отчет можно построить: Отчеты → Стандартные отчеты → Содержание → Загрузки файлов.
Для просмотра статистики по типу файла, можно применить регулярное выражение, которое будет соответствовать нужным документам, например ~.ж\.pdf$ [пример].
👉 Трафик, который приносят PDF документы из поисковых систем, можно посмотреть, выделив источник визитов: Последний значимый источник → Поисковая система [пример].
Отметив необходимые поисковые системы, мы видим отчет по трафику из поисковых систем для каждого PDF документа                  [пример].
👉 Альтернативный способ посмотреть трафик: Отчеты → Стандартные отчеты → Поисковые системы
Трафик, который приносят PDF документы можно посмотреть, выделив визиты в которых происходит загрузка файла, а URL соответствует регулярному выражению PDF документов               [пример].
В итоге получаем отчет по трафику для PDF документов из каждой поисковой системы отдельно [пример].
Вопрос: Что делать, если количество страниц пагинации в каталоге в некоторых категориях более 1000? Есть ли какой-то лимит? Стоит ли оставлять как есть или как оптимизировать пагинацию на больших каталогах? Нужно при таких объёмах закрывать пагинацию от индексации?

Ответ: 👉 Во-первых, стоит убедиться: нужно ли продвигать настолько большие категории – возможно, есть смысл разбить их на более мелкие. Для этого необходимо проанализировать спрос и трафик на интересующие страницы категорий, а также посмотреть как продвигаются конкуренты из ТОПа.
Также нужно посмотреть, возможно ли выводить больше товаров на одной странице. Как правило, их должно быть не меньше 30, но лучше брать среднее количество, которое выводят на своих страницах конкуренты.
⚠️ Далее, нужно проанализировать краулинговый бюджет Вашего сайта. Для этого можно посмотреть статистику обхода в Google Search Console («Прежние инструменты и отчеты» –> «Статистика сканирования»). В данном отчете Вы увидите среднее количество просканированных страниц в сутки (это и есть краулинговый бюджет). Также необходимо посмотреть отчет «Исключенные страницы» –> «Страница просканирована, но пока не проиндексирована», чтобы понять, есть ли у сайта проблемы с индексацией.
🔸Если ваш сайт хорошо ранжируется и индексируется, достаточно прописывать на страницах пагинации в атрибуте Canonical адрес первой (основной) страницы, а также оптимизировать их метатеги, указав номер страниц. Это предотвратит проблему дублирования контента.
🔸Однако, если Вы убедитесь в том, что краулингового бюджета недостаточно для корректного индексирования всех продвигаемых страниц Вашего сайта, тогда действительно есть смысл закрывать страницы пагинации от индексации. При этом, нужно следить за тем, чтобы были доступны для роботов не меньше страниц пагинации, чем у конкурентов, так как это важный фактор ранжирования и сайт может из-за этого проигрывать.
👉 Также для больших интернет-ресурсов стоит уделить внимание оптимизации краулингового бюджета. Для этого:
▫️грамотно настраиваем Sitemap (что также крайне важно для индексации карточек, если страницы пагинации будут закрыты), используем last-modified во избежание повторного сканирования неизмененных страниц;
▫️правильно настраиваем robots.txt, чтобы мусорные страницы не сканировались;
▫️оптимизируем скорость загрузки сайта;
▫️грамотно настраиваем перелинковку;
▫️избегаем цепочек редиректов;
▫️оптимизируем фильтры.
Вопрос: Интересует влияние сквозных блоков с одинаковым содержимым на разных страницах сайта. По сути это дублирующийся контент. Какое влияние он оказывает на позиции сайта? 

Такие блоки сделаны в виде вкладок, при нажатии на которые он раскрывается. Сделаны эти вкладки для людей, содержат в себе полезную для пользователя информацию, но он дублируется на всех страницах сайта и карточках товара. А это тысячи страниц. Как это влияет на сайт? И если негативно, как рекомендуете исправить данную ситуацию?

Ответ: 💡Согласно справке Google дублирование контента на всех страницах может отрицательно сказываться на позициях сайта и трафике из поиска. Google может снизить рейтинг сайта за дублированный контент в случае, если его алгоритмы посчитают, что повторяющаяся информация на сайте размещена с целью повлиять на поисковую выдачу.
👉 Для того, чтобы сквозные блоки в виде вкладок, содержащие повторяющийся контент, не влияли отрицательно на позиции сайта в поиске стоит:
▫️уникализировать блок ключевыми словами по каждому разделу исходя из особенностей предоставляемой услуги либо товара;
▫️объем текста в блоке должен быть меньшим чем основной контент страницы, иначе поисковый бот посчитает, что у вас один текст на всех страницах сайта;
▫️провести сравнительный анализ с конкурентами, как из данной ситуации выходят они, и какова динамика позиций по их проектам.
Подробнее о построении эффективной для продвижения структуры ИМ читайте в статье: «Структура интернет-магазина: основное меню, сквозные блоки, перелинковка и навигация».
Вопрос: Для молодого сайта (свежерег, кулинарный блог) стоит в статьях собирать максимальный пул семантики или собранную семантику делить на несколько статей и делать более узконаправленные статьи? Например, семантика собрана про виды пюре — разделить ее на 10 статей с каждым видом пюре отдельно или собрать все это в одну большую статью? Как лучше поступить и почему?

Ответ: Период, когда в ТОПе поисковиков были большие статьи обо всем и сразу прошли. Собранную семантику необходимо кластеризовать, чтобы четко понять, какие запросы можно продвигать на одной странице, а какие нельзя.
👉 В данном случае Вашу семантику придется делить не только на виды пюре, но и на типы ингредиентов из которых готовится блюдо, описывая каждое отдельной статьей.
Для наглядности мы собрали небольшой пул запросов по одному из видов пюре. Кластеризировав запросы по ТОПу Яндекса с помощью KeyAssort, мы видим, как необходимо распределить запросы по статьям [пример].
Сама структура подкатегории может иметь следующий вид     [пример].
⚠️ Разделение семантики по такой схеме будет иметь следующие преимущества:
▫️Тип и структура статьи будет соответствовать ТОПу.
▫️Сайт будет иметь более логичную и глубокую структуру.
▫️Каждую из статей можно будет разметить с помощью микроразметки Recipe.
Вопрос: Есть сайт донор, русскоязычный ресурс, пузомерки отличные - ahrefs DR - 73, Majestic TF/CF - 55/57, Moz DA 79, динамика наращивания ссылочной массы за последний год — ровно растущая. И всё вроде хорошо, но в последнее время появляется много корейских анкоров. Я прикинул, что 22% из всех ссылок сайта с плохими показателями. Стоит ли забивать себе голову или можно брать такой домен для склейки? Продвигаемый сайт под Украину.

Ответ: 💡Если донор тематичен Вашему сайту, находится в поиске и имеет хорошую видимость и трафик, то имеет смысл брать такой домен для склейки. Для поисковой системы важно не абсолютное качество и чистота ссылочного профиля, а естественность.
При продвижении крупного трастового сайта на него могут ставить ссылки сравнительно менее авторитетные сайты. Значение DR 73 по ahrefs говорит о высоком качестве ссылочной массы сайта, не смотря на то, что 22% ссылок имеют низкие показатели.
👉 Сотрудник Google Джон Мюллер отвечая на вопрос об отрицательном влиянии на продвижение сайта ссылок с других стран и анкоров на другом языке ответил, что качество ссылок не зависит от их региональности и языка анкоров. В нашем случае алгоритмы Google не будут воспринимать ссылки с анкорами на корейском языке как поисковый спам.
Вопрос: Имеет ли смысл покупать крауд ссылки на биржах? Или это пустая трата денег и нужно искать и ставить самому?

Ответ: 💡Крауд-ссылки  используют для уникализации и придания естественности ссылочной массы. Но у современных крауд-ссылок есть один весомый минус — они могут не индексироваться, в не зависимости от того были они куплены на биржах или проставлены самостоятельно. И тогда, действительно, в таком крауде нет смысла для ссылочного профиля вашего сайта. 
👉 Как помочь индексировать крауд-ссылки:
▫️использовать аддурилки;
▫️размещать бэклинки на крауд-ссылки;
▫️использовать посещаемые ветки форумов.
Если стимулировать индексацию, использовать посещаемый тематический форум, не писать откровенно заказные сообщения, то даже покупной крауд может работать в плюс. Кроме того, качественный крауд может прямо влиять на рост брендового трафика за счет создания упоминаний о вашем продукте, бренде или организации в обсуждениях.
⚠️Плюсы бирж в условной безопасности: каждая биржа обещается какую-то свою форму защиты от мошенников. Популярная биржа предоставит вам десятки\сотни исполнителей. Но значимый минус – управление вашими крауд-ссылками остается у исполнителя, который может в любой момент изменить адрес вашего сайта на конкурентный.
Самостоятельное размещение длительное, трудозатратное, но условно бесплатное и более качественное.