kiriyk/seo_tg huggingface dataset:
Вопрос: Есть ли разница, как бороться с дублями (к примеру, страницы пагинации) страниц? Что выбрать: meta robots (noindex, follow) или canonical, какой вариант сейчас актуален? И с какого объема страниц необходимо задумываться о закрытии страниц пагинации на сайте? Например, ИМ на 10 000 страниц всего, на нем пагинацию тоже нужно закрывать?

Ответ: 1️⃣ Как бороться с дублями (к примеру, страницы пагинации) страниц? Что выбрать: meta robots (noindex, follow) или canonical?
👉 Способ устранения дублей страниц зависит от существующего вида URL (наличие параметров, слеш в конце URL, UTM-метки, прочее). 
⚠️ Страницы пагинации необходимо уникализировать и не закрывать от индексации.   
🔸Для борьбы с дублями страниц справки Google и Яндекс  рекомендуют указывать для поискового робота каноническую страницу с помощью rel="canonical" либо применять 301 редирект, и не блокировать доступ к дублированному контенту с помощью robots.txt или другими способами. 
🔸 Хотя ПС могут игнорировать канонический тег (данные справки Яндекс). Поэтому перед добавлением rel="canonical" в код страницы необходимо выполнить все требования ПС. Как итог будет сканироваться цель указанная в атрибуте rel="canonical" либо цель редиректа.
🔗 Подробнее о том, как эффективно избавляться  от дублей страниц читайте в нашем блоге.
2️⃣ И с какого объема страниц необходимо задумываться о закрытии страниц пагинации на сайте?
⚠️ Независимо от размера ИМ, страницы пагинации не стоит закрывать от индексации. 
👉 Карточки товара, находящиеся на 2 и следующих страницах пагинации могут иметь более слабые ссылочные связи, что может сказываться на их индексировании. Для более полного и быстрого индексирования товарных карточек страницы пагинации лучше оставлять открытыми к индексации.
Вопрос: Что выбрать — страницы пагинации или бесконечную загрузку? И если бесконечная загрузка, то стоит ли закрывать такие страницы от индексации? У нас ИМ по продаже мебели ручной работы, товаров не очень много, но мы размножили карточки товаров путём разделения на разные цвета, материалы, габариты. Поэтому встал вопрос реализации страниц пагинации.

Ответ: Недавно Martin Splitt описывал некоторые нюансы связанные с реализацией бесконечной загрузки. Основным недостатком, в зависимости от того, как именно она реализована, может стать проблема с индексацией.
⚠️ Googlebot не скролит страницу, а сканирует ее содержимое, которое видит сразу, это необходимо учитывать. Также поисковым системам будет тяжело оценить весь ассортимент товара, который является коммерческим фактором ранжирования.
👉 При использовании динамического скроллинга важно:
1️⃣ Убедититься, что поддерживается загрузка с разбивкой на страницы. Это позволит показывать ПС ссылку на конкретную область страницы с бесконечной прокруткой.
2️⃣ Для пользователей, с выключенным JS и для GoogleBot, должна быть доступна типовая пагинация.
‼️ Оптимальным вариантом может стать бесконечная подгрузка с помощью кнопки «Показать еще», дополненная типовой пагинацией открытой к индексации.
Вопрос: Насколько опасны циклические ссылки на сайте? Логотип на сайте кликабельный и ссылка ведет на главную страницу. Причем с главной страницы ссылка на главную получается. Или ссылки с футера (сквозной блок) также получаются циклическими — если мы находимся на странице "О нас", ссылка в футере на страницу "О нас"никуда не пропадает. Как с этим быть и какой вред несут циклические ссылки?

Ответ: 👉 Опасности от циклических ссылок нет, но их рекомендуется убирать по разным причинам:
1️⃣ Может сказываться на поведенческих,  так как вводит в заблуждение пользователей. Может стать большой проблемой, если на вашем сайте сложно реализована структура. Если вы видите, что у вас большое количество отказов на сайте, стоит детально проработать этот момент и проанализировать другие поведенческие факторы.
2️⃣ Дополнительный расход краулингового бюджета, так как поисковый робот будет ходить по кругу. Что является критическим моментом, для больших сайтов. Но если ваш сайт небольшого размера, то данная правка не целесообразна, лучше её отложить
👉 Однако логотип рекомендуется оставлять ссылкой на любой страницей. Суть данной ссылки заключается в том, что пользователи привыкли, что логотип, это:
🔸Кратчайший способ вернуться на главную страницу.
🔸Обновить Главную страницу, для сброса заполненных данных, например.
⚠️Если же вы приняли решение убрать циклические ссылки, то мы как правило закрываем через добавление скрипта на кнопку:  href="javascript:void(0);", либо добавление специального стиля в css и удаление ссылки https://prnt.sc/tvp3gs.
Вопрос: Умеют ли ПС определять "грамотность" сайта и важна ли она для продвижения? Т.е. мы сейчас активно работаем над написанием статей и для экономии денег, сил и времени прогоняем статьи через стандартные онлайн-сервисы проверки орфографии. Не всегда все ошибки исправляются, поэтому хотелось бы знать — влияет ли каким-то образом наличие грамматических ошибок в тексте на ранжирование?

Ответ: 👉 Мы считаем, что стоит исключать грамматические ошибки на сайте. Слишком большое количество ошибок на сайте может оттолкнуть пользователей и снизить конверсии. Из-за этого могут ухудшиться поведенческие факторы, соответственно и ранжирование сайта поисковыми системами. 
⚠️ Стоит отметить, что в ТОП-10 очень редко можно увидеть сайты, которые содержат грамматические ошибки.
📌 Google
Сам же Джон Мюллер во время очередной видеовстречи вебмастеров Google подтвердил, что наличие грамматических ошибок в контенте сайта или комментариях на его страницах не влияет на ранжирование. По его словам, вряд ли у компании есть алгоритмы, способные оценивать грамматику, да и в целом на просторах интернета, где существует множество языков и диалектов, сделать это довольно сложно. Подобное он говорит в своем твиттере.
📌 Яндекс
В Яндекс Справке говориться, что не следует допускать грамматические ошибки на сайте: «Не допускайте, чтобы в описании товара встречались орфографические, грамматические и пунктуационные ошибки. В противном случае посетитель может отказаться от покупки, поскольку грамотность у многих ассоциируется с компетентностью.»
🔗Статьи по теме: 
▫️Как писать SEO-тексты
▫️Как составить ТЗ копирайтеру
Вопрос: В Вебмастере появилась фатальная ошибка: "Обман пользователей мобильного интернета. Страницы сайта исключены из поиска в мобильных сетях. Сайт использует методы, обманывающие пользователей мобильного интернета — например, подменяет проиндексированное поисковым роботом содержимое и/или перенаправляет посетителей на страницы с подпиской на платные контент-услуги".

С разных мобильных устройств походил по страницам сайта, обнаружить перенаправление на подписки не удалось. Прогнал сайт через онлайн-антивирусники — везде чисто. Стоит РСЯ. Каковы сейчас реалии по определению причин фильтра и выхода из под него?

Ответ: 💡Реальная причина одна — происходит редирект мобильных пользователей на сторонние ресурсы, а вот как именно, необходимо разобраться, прежде чем нажимать кнопку “Я все исправил”.
👉 В первую очередь, нужно проверить не установлен ли на сайте сторонний JS скрипт от неизвестных партнерок. Такие партнерки дают скрипт, действия которого понять нереально. Зачастую подобные скрипты могут редиректить только часть пользователей с мобильных устройств с поисковой выдачи и определенных регионов. Поймать редирект с ПК не получится, подгружает лишь простой типовой рекламный баннер или вообще ничего не делает, а для воспроизведения редиректа на практике необходимо:
🔸использовать мобильное устройство или эмулировать его работу с ПК;
🔸переходить на сайт из выдачи поисковой системы;
🔸использовать запросы, по которым сайт находиться в ТОПе.
👉 О наличии скрипта владелец сайта может и не знать, его может внедрить любой человек с доступом к коду сайта (бывший сотрудник, КМ, прогер и др). Шаги:
1️⃣ Найти скрипт и удалить.
2️⃣ Сменить доступы всех пользователей сайта, имеющих возможность вносить изменения в код.
3️⃣ Сменить доступы к хостингу и FTP.
4️⃣ Сменить/закрыть доступы к Google Tag Manager.
👉 В более редких случаях, редирект может быть настроен на стороне сервера в файле .htaccess или шаблонных файлах CMS. Все подобные действия связаны с внедрением или изменением файлов, по логам сервера уже можно вычислить, кто и когда внес изменения.
⚠️ Также, подобные редиректы могут быть внедрены из-за взлома сайта, дыр в используемых плагинах или CMS, а самые экзотичные редиректы могут встречаться и от самых мобильных операторов, но это больше исключение, чем правило.
Вопрос: Если на сайте большинство статей низкого качества. Но потом сделал работу над ошибками и начал выкладывать новые качественные статьи. Будут ли новые статьи ниже ранжироваться из-за старых некачественных текстов? При условии, что сам сайт не находится под какими либо фильтрами.

Ответ: 💡Сложно предсказать поведение поисковых систем в такой ситуации, так как при  ранжировании отдельных страниц учитывается качество всего сайта в целом.
👉 Если под понятием “плохая статья” подразумеваются страницы типа thin content (неинформативный контент), ситуация будет зависеть от соотношения между нормальными и неинформативными статьями:
1️⃣ Если плохих намного больше, чем хороших — рост позиций будет сдерживаться.
2️⃣ Если хороших статей больше, чем плохих — проблем с ранжированием не будет.
⚠️ Если новые статьи уже проиндексированы поисковыми системами, но трафика они не получают даже по НЧ/СЧ, имеем одну из двух проблем:
🔸либо новые статьи недостаточно хороши;
🔸либо рост видимости сдерживается плохим качеством сайта в целом (влияют старые статьи).
 
👉 Повышайте процент качественных статей на сайте. Работайте параллельно в трех направлениях:
1️⃣ Добавляйте новые качественные статьи.
2️⃣ Улучшайте старые статьи (при необходимости —переписывайте с нуля).
3️⃣ Статьи, которые получают нулевой трафик с обеих ПС, лучше вообще удалить с сайта.
Вопрос: Сайт молодой, спустя месяц-полтора работы над ним он резко вырвался вперед, сразу на 90-80 позиций. По многим запросам в Яндексе был на 1-4 странице. Но на следующий день все стало ровно как и было. С чем может быть связан такой резкий скачек позиций?

Ответ: Скорее всего это "Многорукий бандит" от Яндекса.
💡Это специальный алгоритм, который рандомно подмешивает в ТОП новые сайты, чтобы дать им возможность накопить ПФ. 
👉 Впервые действие алгоритма было отмечено оптимизаторами летом 2015 года. Также отметим, что за последние 2 месяца было два серьезных апдейта, связанных с перемешиванием сайтов — 3 июня и 14 июля.
🦸‍♂️ Представитель Яндекса Михаил Сливинский подтвердил, что скачки позиций и трафика связаны именно с этим — https://prnt.sc/tt37kt.
👉 К характерным проявлениям именно данного алгоритма рандомизации выдачи относятся:
1️⃣ Резкое проседание/рост позиций сайта, как правило, вне текстового апдейта базы данных Яндекса.
2️⃣ Столь же резкое возвращение позиций: период колебаний обычно составляет 2–6 календарных дней.
3️⃣ Однонаправленная динамика всего сайта: либо большая часть запросов показывает рост или сохранение позиций, либо падение (для всего проекта целиком).
4️⃣ Рандомизация в диапазоне 5-30 позиций: конечная амплитуда колебаний существенно зависит от релевантности документа запросу и конкуренции по нему, но в среднем, составляет именно 5-30 позиций.
Вопрос: Сайту уже 5 лет, стабильно рос как трафик, так и позиции. Но уже продолжительное время рост прекратился, трафик застыл на отметке 500 человек в сутки. Работаем и над ссылочным, и внутренние аудиты делаем — результата нет. Как дальше развиваться, в каком направлении пойти. Интересует Google.

Ответ: В первую очередь, необходимо понять, на каких отметках остановился рост позиций. 
👉 Если приоритетные страницы не вошли в ТОП 3 по своим запросам, значит потолок трафика еще не достигнут. Тут будет важно: 
1️⃣ Провести анализ ниши, выдачи и конкурентов.
2️⃣ На основе анализа спланировать стратегию (возможно не одну).
3️⃣ Точечно доработать страницы и провести несколько тестирований на контрольных выборках.
👉 Если страницы стабильно держаться в ТОПе, можно продолжать развивать сайт и направить усилия на:
1️⃣ Актуализацию семантики и точечную доработку страниц под нее.
2️⃣ Поиск новых точек роста.
3️⃣ Продвижение в регионах.
4️⃣ Проведение работ со сниппетами с целью увеличить CTR.
5️⃣ Продолжение работ с блогом и другими информационными разделами.
Вопрос: Не наказывает ли Google за использование микроразметки? Внедрили микроразметку FAQ, но возникли проблемы. Она то не отображалась, то появилась, но позиции понизились. В чем может быть проблема?

Ответ: 💡Пока что официального подтверждения о том, что Google будет наказывать за использование микроразметки FAQ — нет. Однако, не так давно (14 июля 2020 года) оптимизаторы и веб-мастера начали замечать, что расширенные сниппеты начали пропадать совсем — https://take.ms/0WQfz, либо количество вопросов/ответов начало сокращаться вдвое — https://take.ms/OTvi8. 
👉 Причина этого кроется в том, что в начале 2020 все поголовно начали использовать данный тип микроразметки, при том, что их содержание далеко не всегда соответствовало теме страницы и не отображало интересов пользователей. Поэтому, Google такие манипуляции не одобрил, и результатом стало обновление от 14 июля, которое направлено на регулирование количества блоков и пунктов FAQ в зависимости от степени их "полезности" для пользователя (которое Google так и не подтвердил).
☝️Расширенный сниппет с помощью FAQPage даёт преимущество перед конкурентами, так как мы собираем больше кликов CTR%, соответственно больше трафика. А также, по некоторым исследованием, увеличение CTR% приводит к повышению позиций. Из этого можно сделать вывод — неполноценный вывод блоков (вопросов) в сниппет или полное его отсутствие отражается на CTR%, который в свою очередь может привести к снижению позиций сайта.
⚠️Что делать чтобы FAQPage выводилось не только при поиске через оператор "site:_https://site.com" *или при поиске по точному URL?
1️⃣ Так как степень "полезности", а соответственно и вероятность появления блока FAQ в выдаче, прежде всего определяется интентом поискового запроса пользователя, самым простым способом вернуть / восстановить отображение FAQ — более точно оптимизировать их под целевые ключевые запросы страницы.
2️⃣ Обращайте также внимание на интент запроса. Иногда будет достаточно проанализировать выдачу, определить её особенности по отношению к поисковому запросу пользователя и произвести изменения FAQ согласно именно интенту запроса. То есть, подгонять содержимое блоков микроразметки FAQPage не напрямую под целевой поисковой запрос, а под тот контекст, который пользователь в него вкладывает.
 
🔗Дополнительная информация по теме: 
▫️ https://t.me/devakatalk/2370 
▫️ https://developers.google.com/search/docs/data-types/faqpage?hl=ru#content-guidelines
Вопрос: Когда у сайта просадка позиций, на что обращать внимание и что анализировать в первую очередь?

Ответ: 👉 При просадке позиций на сайте, не спешите в панике вносить сразу изменения, перед этим необходимо ответить на следующие вопросы:
1️⃣ В какой поисковой системе просадка.
2️⃣ Определить масштабы просадки:
▫️понизился ли весь сайт;
▫️просела конкретная страница;
▫️упал конкретный запрос.
3️⃣ По каким запросам просели позиции:
▫️коммерческие;
▫️информационные.
4️⃣ Как сильно упали позиции.
5️⃣ Уточнить дату просадки.
👉 Ответив на эти вопросы, можно составить список возможных проблем. Обратите внимание на следующие моменты:
🔸Проверьте изменения поисковой выдачи. Было ли обновление поисковых алгоритмов в этот период.
🔸Велись ли внутренние работы, внедрялись ли новые изменения на сайте или просевшей странице в этот период.
🔸Проверьте сайт на наличие технических проблем.
🔸Посмотрите, было ли выпадение страниц из индекса.
🔸Проанализируйте сайт на наличие санкций.
🔸Изучите поведенческие показатели на просевших страницах.
Вопрос: На что ориентироваться при кластеризации запросов? Как собрать кластер, если стоит задача — продвигаться и под Google и под Яндекс? При этом выдача Яндекса выдает один кластер, а выдача Google другой (как правило в 2 раза меньше).

Ответ: 1️⃣ На что ориентироваться при кластеризации запросов?
👉 Правильная группировка запросов позволит занять высокие позиции и хорошо ранжироваться по всем подобранным запросам. Для этого нужно придерживаться следующих правил:
🔸Выделять информационные запросы в отдельную группу ( такие как «что», «когда», «где», «как», «инструкция», «отзывы», «форум» и т.д.);
🔸Выделять транзакционные (коммерческие) запросы в отдельную группу (помогают пользователю совершить какое-либо действие — скачать, купить, загрузить);
🔸Выделять геозависимые запросы в отдельную группу (запросы, по которым пользователь ожидает увидеть местные или региональные сайты);
🔸Каждая группа содержит свой интент (цель пользователя);
🔸Каждая группа ведется на отдельную ключевую страницу.
2️⃣ Как собрать кластер и под Google и под Яндекс?
👉 По факту кластеризация под Яндекс и под Google выдаёт разный результат, поэтому кластеризовать запросы сразу для двух поисковиков нет смысла, так или иначе, придется сделать выбор.
 
⚠️Выбирайте либо целевой для продвижения, либо лучший по качеству кластеризации. В разных регионах доля использования Яндекса и Google отличается, и это стоит учитывать. В России популярность Яндекса и Google примерно одинакова (55% против 40% пользователей). Но Google больше востребован среди владельцев Android-смартфонов. Среди пользователей десктопов преобладает Яндекс.
 
👉Основной вопрос не в содержании семантического ядра, а в инструментарии. 
🔸В Яндекс есть хороший и удобный Wordstat. В Google - планировщик Google Ads и Google Тренды, но они не дают такой полноты данных как Wordstat. 
 
🔸Важно сфокусироваться не на отличиях, а на тех инструментах, которые положительно скажутся для сайта в обоих поисковиках. Советуем работать с семантическим ядром, используя Яндекс.Вордстат, без поиска отличий.
Вопрос: У сайта компании один основной домен для Москвы и множество поддоменов под разные города. 99% ссылочного стоит на основной домен, у поддоменов ссылочного почти нет. Закупать отдельно ссылочное под каждый поддомен не хватает бюджета.

Как правильно перелинковать основной домен и поддомены между собой, чтобы перераспределить ссылочный вес с основного домена на поддомены? Вообще, как правильно организовать перелинковку такой структуры?

Ответ: 💡Раздавать ссылочный вес на множество поддоменов в сложившейся ситуации не лучшая идея, особенно если основной поддомен является приоритетным в плане продвижения.
👉 Можно сменить стратегию ссылочного продвижения и посмотреть на результат. А именно, более интересная структура может получиться, если закупать ссылки в рамках бюджета на поддомены и ставить ссылку уже на основной домен с главной страницы каждого поддомена. Такую ссылку не стоит размещать в шаблонной части — т.е. она не должна быть сквозной.
⚠️Реализованная таким образом схема распределения ссылочного веса будет напоминать PBN сетку реализованную на собственных поддоменах. Ссылочный вес каждого поддомена будет передаваться снизу вверх на основной домен.
Из преимуществ:
1️⃣ Ссылочный вес на поддоменах все таки будет наращиваться, хоть и медленно, за счет покупки на них новых ссылок.
2️⃣ Ссылочный вес закупленных ссылок будет передаваться и главному домену. Он не останется без роста.
3️⃣ Минимизируется риск попасть под санкции за ссылочное на основном домене.
Вопрос: Стоит ли использовать Last-Modified, если обновление на странице было незначительным или его вовсе не было. Насколько ПС может плохо реагировать на такие действия и могут ли возникнуть дальнейшие проблемы с индексацией из-за этого?

Ответ: Мы считаем, если обновление на странице было незначительным или его вовсе не было — использовать Last-Modified не стоит. 
👉 Пример незначительных обновлений: исправление опечатки в тексте страницы, изменение стиля элементов в тексте (текст был выровнен по левому краю — поменяли на выравнивание по центру), прописали alt для одного изображения на странице и др.
⚠️ При использовании Last-Modified крайне важна реакция сервера на условный запрос с заголовком If-Modified-Since:
🔸Если на страницу не вносились изменения после последнего обхода ПС, сервер должен отдать 304 ответ – не скачивать содержимое. В этом случае поисковики могут перестать воспринимать информацию на этих страницах как новую и станут реже посещать их.
🔸Если изменения вносились (даже незначительные), то это будет учтено, и сервер вернет заголовок «200 OK» (страница загрузится с обновленным содержимым).
👉 Таким образом квота будет расходоваться только на реально изменившиеся или новые документы. Это особенно важно для сайтов с большим количеством страниц.
Вопрос: Что делать, если мой контент растащили другие сайты? Проверял через "текст текст", пока еще мой сайт на первом месте, но читал, что это может измениться и мой сайт ПС перестанет считать первоисточником. Как поступить в этой ситуации — переписать текст или пока я первоисточник — все хорошо и можно не волноваться?

Ответ: 💡 Переписывать контент есть смысл лишь после установки защиты от парсинга и в том случае, если сайты, скопировавшие его ранжируются выше. В большинстве подобных случаев, контент не копируется вручную, а парситься автоматически.
👉 Для защиты от парсинга можно использовать различные решения и сервисы, как платные, так и бесплатные, все зависит от бюджета:
1️⃣ Использовать Google reCAPTCHA или отсеивать роботов на основе использования JavaScript и др.
2️⃣ Использовать решения на основе анализа поведения пользователей (например, BotGuard).
3️⃣ Перейти на CDN с защитой от парсинга и DDoS (например, CloudFlare).
👉 После установки защиты стоит задуматься над тем, как поступать с сайтами, которые растащили контент:
🔸Выйти на регистратора домена (можно использовать privacyprotect.org), составить письмо, в котором попросить поставить индексируемую ссылки на первоисточник или удалить материалы с сайта.
🔸Если обратные ссылки не нужны и желания общаться нет, можно сразу отправлять жалобы.
👉 Жаловаться можно:
1️⃣ В Google можно отправить информацию о нарушении авторских прав используя следующую форму. В Яндексе подобных форм, увы, не существует.
2️⃣ Написать хостинг провайдеру. Он не заблокирует аккаунт владельца сайта, но может как-то на него повлиять.
⚠️ Для того, чтобы в дальнейшем обезопасить себя от результатов того, что контент все-таки будет скопирован:
🔸использовать Оригинальные тексты в Яндекс.Вебмастере;
🔸использовать сервис dmca.com. Предоставляет платные услуги по мониторингу контента в сети и отправки жалоб в случае обнаружения нарушения авторских прав;
🔸проставлять внутренние ссылки в текстах;
🔸поддерживать сайт в стабильном состоянии.
 🔗 Подробнее о том, как защитить контент от копирования читайте у нас в статье “Влияние уникальности контента на ранжирование и её важность для SEO”.