kiriyk/seo_tg huggingface dataset:
Вопрос: Есть крупный интернет-магазин, у которого список товаров загружается через JS. Насколько критична индексация поисковыми системами подобного сайта.

Вроде как ПС без проблем должны индексировать JS-сайты, тем не менее если зайти в сохраненную версию страниц, то списка товаров на листинге не видно.

Ответ: 💡Для полноценной работы и успешной поисковой оптимизации крайне важно, чтобы все нужные элементы сайта сканировались роботами и индексировались ими. Товарные листинги – важный элемент, который показывает роботам ассортимент интернет-магазина. Поэтому крайне важно, чтобы листинг обрабатывался, сканировался и индексировался поисковыми роботами.
Поисковые роботы при сканировании сайта стараются увидеть то, что должен видеть и пользователь. Для этого они обрабатывают весь код страницы, в том числе JS, CSS, HTML и т.д. и отрисовывают страницу. Если какой-то код страницы бот не сможет подгрузить, то соответственно, он не сможет поставить его в очередь на сканирование и индексацию. 
⚠️ Особенно критично, когда ссылки на другие внутренние страницы создаются при помощи JS, такие ссылки робот попросту не видит. Тоже самое касается и ссылок, в коде которых нет атрибута href. 
Также важно, чтобы в файле robots.txt не было запрета на индексацию файлов js. Так как при обращении к странице робот в обязательном порядке проверяет robots.txt на запрет обработки JS.
👉 Чтобы убедиться в том, что сайт и все его элементы сканируются и индексируются поисковыми системами, проверьте нужную страницу при помощи инструментов: 
▫️https://search.google.com/test/rich-results   
▫️https://search.google.com/test/mobile-friendly 
Стоит помнить о том, что сама по себе сохраненная копия может показывать не все актуальное содержимое страницы, поэтому не стоит полагаться исключительно только на нее для анализа индексации содержимого.
Вопрос: Можно ли в карточках товара интернет-магазина (галерея, вкладки, описание) встраивать видео c  зарубежного официального youtube канала бренда? Как это повлияет на сайт с точки зрения контента, внешнего цитирования и уникальности контента?

Ответ: 💡Видео с YouTube-канала бренда на страницах товаров интернет-магазина используют для улучшения пользовательского опыта, предоставляя дополнительную информацию о продукте, инструкции и другую полезную информацию о товаре.
▫️Перед встраиванием убедитесь, что у вас есть разрешение на использование данного видео, чтоб не словить предупреждение DMCA. 
▫️Желательно также убедиться, что видео действительно соответствует товару, который вы продаете, и содержит актуальную информацию, чтобы предоставить пользователям полезный контент.
👉 Встраиваемые видео могут увеличить скорость загрузки вашего сайта. Рекомендуется оптимизировать скорость загрузки видео, чтобы избежать этой проблемы. Например с помощью отложенной загрузки, которая будет срабатывать только при клике по видео.
⚠️ По поводу внешнего цитирования: когда вы выстраиваете видео, фактически вы цитируете контент с другого источника. Но поскольку это встраиваемое видео, и оно по-прежнему хранится на серверах YouTube, с точки зрения SEO это не считается дублирующим контентом.
Также с точки зрения уникальности контента встроенное видео с YouTube-канала не будет считаться уникальным для вашего сайта, поэтому вы, скорее всего, не получите ранжирование в поиске по видео.
Вопрос: Как проверить сайт на наличие фильтров от ПС? Предупреждений в консоли нет, но ни роста трафика, ни позиций добиться не удалось.

Ответ: 💡Для определения наличия фильтров в поисковых системах в первую очередь зайдите в инструменты для вебмастеров, например в GSC:
!В разделе «меры, принятые вручную» обычно указывают наличие фильтров на сайте, если там написано «проблем нет», то с высокой долей вероятности можно считать, что на ваш сайт не наложены глобальные санкции и он не понижается искусственно в результатах поиска.
👉 Если трафика и позиций нет вообще, на это могут быть ряд причин, от «песочницы» Google, которая  не пускает в выдачу молодые сайты (до 6 мес), до наличия спамных доноров в ссылочном профиле сайта. 
Сейчас нам известны и актуальные следующие виды санкций Google:
▫️Google Panda. Накладывается исключительно редко за спамный контент исключительно плохого качества.
▫️Google Пингвин. Накладывается за переспам внешних ссылок плохого качества.
▫️Google Pirate. Фильтр понижающий сайты за использование ворованного контента.
▫️PayDay Loan. Алгоритм направлен на удаление страниц, оптимизированных под спамные запросы в серых нишах. 
⚠️Отсутствие роста трафика или позиций не обязательно говорит о том, что сайт под фильтрами, значит просто на данный момент качество сайта, его внешняя и внутренняя оптимизация находятся на гораздо более низком уровне, чем у конкурентов, которые сейчас в ТОПе.
Совет в данном случае только один – посмотрите на ваших конкурентов и подумайте, чем их сайты лучше вашего: 
▫️Оцените и сравните качество оптимизации основных страниц сайта.
▫️Какой функционал или контент есть у них и нет у вас.
▫️Посмотрите, сколько доменов-доноров ссылаются на их сайты и сколько на ваш, сравните качество ваших доноров. 
▫️Сколько страниц в индексе у них и у вас.
Когда вы здраво оцените текущее состояние вашего сайта и конкурентов из ТОП1-3, вам сразу станет понятно, почему они в ТОПе, а ваш сайт не растет.
Вопрос: На сайте очень длинные названия страниц, хотим уменьшить длину URL. Для этого будем делать переезд всех страниц на новые URL. 

Подскажите, как сделать ТЗ на постраничный редирект в таком случае?

Ответ: 💡Так как меняется URL страницы, а не домен, наиболее оптимальным вариантом будет составление таблицы редиректов.
👉 Таблица редиректов состоит из двух столбцов: старый URL - новый URL, где напротив каждого старого адреса прописан новый адрес страницы. Некоторые CMS позволяют загружать подобные страницы для того, чтобы автоматизировать процесс настройки перенаправлений.
Также в ТЗ рекомендуется сразу указать на замену всех внутренних ссылок на сайте. Внутренняя ссылка на страницу с 301 ответом сервера может сказаться на скорости загрузки конечной страницы и скорости “срабатывания перенаправления”.
После настройки редиректов рекомендуем провести технический анализ сайта, для того, чтобы проверить результаты и выявить ошибки на ранних стадиях, если такие найдуться.
⚠️ Важно: если у вас не критическая длина URL и страницы сайта индексируются и ранжируются, то советуем еще раз подумать о целесообразности проведения таких работ. Любой переезд - это риск потерять прежние позиции, трафик, внешние ссылки.
Вопрос: Банит ли Google за накрутку поведенческих факторов? Может у него есть специальный фильтр? И стоит ли вообще рисковать или игра не стоит свеч?

Ответ: 💡В данный момент мы не сталкивались с прямыми хостовыми санкциями Google за накрутку поведенческих показателей. Специального фильтра/санкций за накрутку ПФ у Google анонсировано не было.
Однако мы замечаем, что алгоритмы Google достаточно быстро и эффективно отсекают и просто перестают учитывать большую часть ботового трафика.
👉 В любом случае, накрутка поведенческих факторов – это краткосрочная стратегия, которая вероятно может принести временные результаты, но также и высокий риск впустую потраченных ресурсов. 
В долгосрочной перспективе лучше сосредоточиться на создании качественного контента, улучшении пользовательского опыта и других "белых" методах оптимизации. 
Лучше всего строить стратегию SEO на долгосрочные и устойчивые методы, которые будут приносить стабильный трафик и доверие от поисковых систем.
Вопрос: Последнее место в топ-10 по ВЧ запросу занял агрегатор. Такое ощущение, что в больших городах продвигать свои маленькие сайты становится невозможно.

Есть вариант с относительно средним ассортиментом двигать агрегаторы или лучше регистрироваться на них как продавец и оставить идею продвижения своего сайта?

Ответ: 💡Поисковые системы всегда направлены на то, чтобы выдача максимально точно отвечала запросу и интенту пользователя. Приоритет в выдаче, как правило, имеют сайты с большим количеством ассортимента. 
Сайты-агрегаторов содержат очень много товаров, поэтому каталог сайта очень продуман и большой. На агрегаторах даже при очень узкой тематике будет как минимум несколько десятков предложений.
👉 Конкурировать с крупными площадками сложно, но возможно, если правильно продумать стратегию продвижения. Всё зависит от ниши и времени, сколько бизнес существует. 
▫️Если сайт новый, а выдача заполнена агрегаторами, то конкуренция в данном случае максимальная. Сложно представить, что новая компания сможет в высококонкурентной нише, где вся выдача заполнена агрегаторами, особенно больших городах занять какое-то место в ТОП-10. 
▫️В узких нишах ситуация немного иная – при грамотной оптимизации и продвижении, сайт может опередить агрегаторы или же находиться с ними на одном уровне. 
⚠️ Присоединяться к агрегатором или нет зависит от конкретной ситуации, возможностей и ниши, где сайт продвигается.  Важно провести анализ и определить, какой подход наилучшим образом соответствует вашим потребностям и ресурсам.
Иногда более разумно разместиться на крупном агрегаторе и получать заказы оттуда, иногда (если ниша узконаправленная, например), то можно побороться за место в ТОПе.
👉 Иногда лучшим решением может быть комбинация обоих подходов. Например, вы можете предоставить базовый ассортимент на агрегаторе, чтобы привлечь новых клиентов, но предлагать более широкий выбор товаров или услуг на своем сайте. Также регистрация на агрегаторах позволит получить вам естественные ссылки с авторитетных ресурсов, а также повысить популярность компании.
Важно также обратить внимание на другие виды маркетинга, как соцсети, контент-маркетинг, email-рассылки и пр. Они могут дополнить вашу стратегию по продвижению и помочь привлечь новых пользователей.
Вопрос: Взломали сайт на WP, залили кучу страниц в карту сайта, они проиндексировались. Заметили не сразу, поэтому нужно решать не только проблему, но и последствия.

Можно как-то быстро разрешить эту ситуацию? Как возвращать белое имя перед Гуглом?

Ответ: 💡Если ваш сайт на WordPress был взломан и добавлены нежелательные страницы, которые уже проиндексированы в поисковых системах, следуйте этому плану действий для быстрого решения проблемы:
▫️Сделайте резервное копирование сайта и базы данных, даже если они содержат вредоносный контент. Это может быть полезно для восстановления данных.
▫️Пока идут работы по восстановлению сайта лучше настроить «заглушку» с 200 ответом для лишних страниц. В заглушке напишите, что ведутся технические работы и сайт скоро будет доступен.
▫️Удалите все подозрительные или нежелательные страницы, плагины и темы.
▫️Убедитесь, что ваш сайт и все его плагины, темы и расширения обновлены до последних версий, все неизвестные или подозрительные плагины и темы необходимо удалить.
▫️Удалите все вредоносные файлы, страницы и скрипты с вашего сайта. Удалите любые неизвестные пользователи из вашей учетной записи WordPress.
▫️Смените пароли для всех пользователей вашего сайта, включая администраторов, используя надежные пароли, содержащие буквы, цифры и символы.
👉 Исправление проиндексированных страниц:
▫️Удалите лишние URL из вашего файла sitemap.xml пересоберите ее заново сгенерировав либо вручную, либо с помощью сервисов. 
▫️Используйте инструмент "Удаление URL" в Google Search Console, чтобы запросить удаление вредоносных или ненужных URL, которые были добавлены.
▫️Отправьте обновленную карту сайта в Google Search Console, чтобы ускорить процесс переиндексации.
▫️Следите за Google Search Console на предмет новых сообщений или предупреждений, а также проверьте индексацию вашего сайта через несколько дней, чтобы убедиться, что нежелательные страницы были удалены.
Также рекомендуем дополнительно провести Технический аудит сайта чтобы убедится что все ошибки были устранены.
⚠️Второй, более радикальный способ, это переезд сайта. Настройте постраничный редирект  только для тех страниц, которые должны быть на сайте при переезде на новый домен.
К сожалению, в любом случае, на исправление ситуации любым из этих способов уйдет немало времени. В лучшем случае, окончательно от последствий сайт оправится через месяц или более, в зависимости от его объема.
Вопрос: Под запрос какой частотности лучше добавлять страницу? Т.е. у тебя есть кластеры запросов с похожим интентом, но с разным серпом (страницами в выдачи). У одного из них частотка 10 у другого 50. Стоит ли делать под них разные страницы?

И не посчитают ли с ПС страницы под НЧ запросы некачественными?

Ответ: 💡Если у вас есть два кластера с похожим интентом, то следует делать продвигаемую страницу под каждый кластер. Если ключевые слова разные, а интент одинаковый – делайте одну страницу с употреблением на ней всех запросов из семантики.
Начните с создания страницы под тот кластер, у которого выше частота, проиндексируйте эту страницу, посмотрите, какие позиции в выдаче она получила. 
Следующим этапом создайте страницу под второй кластер с меньшей частотностью, заполните его контентом, отправьте на индексацию и отслеживайте позиции не только по второму кластеру, но и по первому. 
👉 Смотрите на то, как ведут себя в выдаче обе страницы, не меняется ли у них продвигаемая страница, не показывается ли по запросам из второго кластера страница из первого. Если вы видите, что ваши страницы ведут себя естественно и никаких скачков в позициях или изменений релевантной страницы в выдаче – не фиксируется, значит это абсолютно разные кластеры с точки зрения ПС и вы зря об этом переживали.
Самый простой вариант в данном случае – проанализировать конкурентов, ведь они уже проделали весь путь и определили, как нужно действовать. В результате вы и видите, что у конкурентов по похожему интенту разные страницы в выдаче.
⚠️ Поисковые системы могут считать страницы под НЧ запросы некачественными, особенно это касается интернет магазинов, где на разных страницах практически одинаковые товары и различия только в метатегах и url. 
Если вы заметили подобные ошибки на страницах своего сайта – вам нужно уникализировать эти страницы. Для этого отлично подойдет добавление дополнительного контента: товары, текст, микроразметка, вопрос-ответ и т.д.
Вопрос: Когда нужно уникализировать описания товара для интернет- магазина? Как уникализировать описания у магазина с 10 000 товаров? Есть ли смысл уникализировать описания товаров, или лучше потратить время и бюджет в другие способы seo-оптимизации?

Ответ: 💡Основные причины уникализации описаний товаров  для интернет-магазина:
▫️Страницы товаров не индексируются, например потому, что считаются страницами низкого качества.
▫️Страницы товаров не ранжируются около ТОПа, при этом у вас задача вывести их в ТОП.
Но ситуации, когда поисковая система исключает из поиска страницы карточек товара именно из-за качества содержания довольно редки. Поисковые системы считают нормой, что карточки товаров могут иметь одинаковое описание на различных сайтах, и уникальность контента на таких страницах отходит уже на второй план.
👉 В первую очередь, до уникализации описаний 10 000 товаров, убедитесь, что вы смогли уникализировать другие важные аспекты карточки товара:
▫️Метатеги Title, Description и H1.
▫️Блоки перекрестных продаж (“с этим покупают также”, “похожие товары” и т.п.).
▫️Наличие отзывов о товаре ( у каждой продукции должны быть свои отдельные отзывы).
▫️Расширенные технические характеристики, которые в любом случае какими-то деталями будут отличаться.
▫️Наличие индивидуальных цен.
Только в случае наличия таких элементов и отсутствия результата стоит приступать к уникализации описаний.
⚠️ При этом есть несколько способов упростить, удешевить и ускорить процесс написания уникальных описаний карточек товаров:
▫️Грамотное использование чат ботов искусственного интеллекта (например ChatGPT, Google Bard AI и др). Важно составить подходящий промт, а затем просто отредактировать полученный результат.
▫️Используйте программы или скрипты для автоматической генерации уникальных вариантов описаний на основе шаблонов и параметров товаров.
Вопрос: Сегодня изучал рынок в своей нише - увидел, что много небольших компаний по прошествии прошлого года позакрывались. Начинаются освобождаться домены - не супер горячие, но все же со ссылочной массой и некоторой историей посещений.

Есть ли смысл искать такие домены, выкупать и делать редирект на свой сайт?

Ответ: 💡Искать и покупать такие домены можно при условии, что они по-настоящему качественные и имеют хорошие показатели. 
Каждый потенциальный дроп необходимо рассматривать максимально пристально. При этом, вы не обязательно можете использовать их только в качестве редиректа на ваш основной сайт. 
👉 Все зависит от ваших целей и выделяемого бюджета. Так, например, вы можете сделать с дропами следующее:
▫️301 редирект с дроп-домена на основной сайт;
▫️сеть сайтов из нескольких дроп-доменов для проставления ссылок на основной сайт;
▫️развивать один дроп-домен в качестве ссылочного донора для основного сайта.
Построение сети сайтов может вылиться в бесконечную трату финансов, без малейшего результата в случае, если поисковые системы обнаружат связь между всеми связанными сайтами. В случае же, если поисковики не распознали сеть, то она, при надлежащем ее развитии, может дать хорошие результаты.
Вопрос: Резко страницы без слэша попали в индекс (по ним 404 ошибка), а страницы со слэшем (основные) удалились по причине дубль?

Подскажите, что теперь делать? Как быстро можно исправить ситуацию?

Ответ: 💡Во-первых нужно найти причину ошибки. Скорее всего слетел общий редирект, который “склеивает” страницы со слешом и без слеша в конце URL.
Необходимо перенастроить данный редирект, можно это сделать через файл .htaccess.
👉 Далее стоит отправить страницы сайта на переиндексацию. Это можно сделать вручную через GSC. Отправить на переобход карту сайта или воспользоваться Indexing API. После этого проверьте индексацию ваших страниц. 
⚠️Если в индексе все еще будут страницы с 404 ответом, то убедитесь, что такой ответ получают не только пользователи, но и роботы ПС. Далее стоит отправить эти страницы на переобход. Обычно они быстро исключаются из индексов.
Вопрос: Сайт по продаже вейпов забанил роскомнадзор за доставку. У сайта были отличные позиции и посещаемость.

Если использовать 301 редирект чтобы сохранить бОльшую часть позиций, то есть ли вероятность что из-за этих редиректов практически сразу забанят новый сайт?

Ответ: 💡К сожалению, вероятность блокировки сайта после переезда всегда остается, так как Ваш сайт относится к числу запрещенных Роскомнадзором. Правильная настройка переезда в панелях вебмастеров Яндекса и Google поможет выполнить перенос сайта без потерь трафика. 
👉 Чтобы правильно перенести сайт нужно:
▫️Если это возможно – устранить причину блокировки. Такая страница должна отдавать 404 код ответа сервера.
▫️Купить новый домен, перенести на него код метрики, добавить в панель консоли и вебмастеров.
▫️Настроить 301 редирект со страниц старого домена на новый.
▫️Отправить важные страницы на переобход в Google и Яндексе, чтобы сайты быстрее склеились.
▫️Если есть иные источники трафика (соцсети, рассылка на почту), то уведомить посетителей о переезде.
Стоит понимать, что если причину блокировки невозможно устранить, то Роскомнадзор будет блокировать домен раз за разом. Поэтому будьте готовы к частым переездам.
Вопрос: Есть информационный раздел сайта с ссылками на коммерческие страницы. Как можно отследить какие заказы делаются через блог и реально ли это сделать? Хотим понять, целесообразно ли далее заниматься блоговым разделом.

Ответ: 💡Вы можете отслеживать заказы, сделанные через информационный раздел сайта (блог) с помощью:
1️⃣ UTM-метки.
▫️Добавьте UTM-метки к ссылкам в блоговых статьях, которые ведут к коммерческим страницам. Таким образом, вы сможете отследить трафик от блога к продуктовым страницам.
▫️Когда пользователь переходит по UTM-ссылке и делает покупку, вы сможете узнать об этом в вашей системе аналитики (например, Google Analytics).
2️⃣ Встроенные аналитические системы админки.
Некоторые платформы электронной коммерции предоставляют встроенные инструменты для отслеживания источников трафика и конверсий. В зависимости от вашей платформы, вы можете получить детальную информацию о том, откуда пришел клиент перед совершением покупки.
3️⃣ Настройка Google Analytics.
▫️Настройте цели в Google Analytics или другом инструменте аналитики для отслеживания пользователей, которые переходят с блога на коммерческие страницы и затем совершают покупку.
▫️Функция Multi-Channel Funnels. Эта функция позволяет увидеть, как различные каналы взаимодействуют между собой перед конверсией. Например, пользователь мог посетить ваш блог, затем вернуться на ваш сайт через рекламу в социальных сетях и только после этого совершить покупку. Эта информация дает понимание о том, как блог может влиять на решение о покупке, даже если он не является последним кликом перед конверсией.
👉 При этом важно понимать, что в зависимости от тематики, информационный раздел сайта (блог) кроме конверсий несет в себе ряд функций, которые косвенно влияют на качество сайта и обеспечивают позиции в том числе и по другим коммерческим страницам. 
Для этого блог должен содержать актуальную, действительно полезную информацию для пользователей и постоянно обновляться. Если этого не делать, то с падением актуальности и качества блога, он может за собой потянуть и коммерческий раздел сайта.
Вопрос: Screaming Frog не парсит товары и страницы бренда. Сайт на 1С:Битрикс. Другие сайты Screaming Frog парсит, проблема не в настройках парсера. Подскажите, в чем может быть проблема?

Ответ: Если Screaming Frog парсит другие сайты, но не может проанализировать товары и страницы бренда на сайте, который работает на 1С:Битрикс, возможно, проблема связана с особенностями структуры и генерации контента на этом конкретном сайте. 
👉 Причины, по которым возникает такая проблема:
1️⃣ 1С:Битрикс может использовать AJAX или JavaScript для динамической загрузки контента на странице. Если Screaming Frog не выполняет JavaScript или не может обрабатывать AJAX-запросы, то он может упустить некоторый контент, включая товары и страницы бренда. В таком случае, попробуйте включить опцию "Render JavaScript" в настройках парсера Screaming Frog.
2️⃣ Возможно, сайт на 1С:Битрикс имеет такие механизмы, которые блокируют запросы от Screaming Frog. Проверьте, есть ли на сайте какие-либо анти-парсинговые меры. Также можно попробовать сменить скан-бота.
3️⃣ Если Screaming Frog отправляет слишком много запросов на сайт за короткий промежуток времени, сервер может временно заблокировать доступ. Убедитесь, что скорость сканирования в Screaming Frog установлена на адекватное значение и не превышает ограничения, установленные сайтом.
4️⃣ Если страницы товаров и брендов имеют ограниченный доступ или требуют аутентификации, Screaming Frog может не иметь достаточных прав для доступа к ним. Проверьте, есть ли общий доступ для этих страниц, или предоставьте дополнительные учетные данные в Screaming Frog.
5️⃣ Убедитесь, что URL-адреса страниц товаров и брендов на сайте соответствуют ожидаемому формату и не содержат каких-либо уникальных параметров или хешей, которые могут затруднить парсинг.
⚠️ Если после описанных действий проблема остается, тогда стоит обратиться к команде поддержки Screaming Frog для дополнительной помощи в решении проблемы.