kiriyk/seo_tg huggingface dataset:
Вопрос: Какие вы можете порекомендовать кластеризоторы запросов для начинающих. Желательно бесплатные и с удобным понятным функционалом.

Ответ: 💡У нас на блоге есть обзор кластеризаторов семантики, где мы сравнивали между собой 12 самых популярных инструментов, как среди новичков, так и среди опытных специалистов. В ответе мы приведём несколько бесплатных сервисов для начинающих SEOшников. Однако, если Вам будет не хватать функционала или возможностей предложенных кластеризаторов, Вы всегда можете выбрать для себя более подходящий из обзора.
1️⃣ Coolakov — бесплатно можно разгруппировать по кластерам до 500 запросов. Интерфейс до невозможности прост: указываем интересующий нас регион, список ключевых слов и порог кластеризации — чем ниже порог, тем точнее кластеризация у вас в итоге будет.
Разбивка запросов на группы производится на основе схожести ТОП-10 Яндекса. Результат кластеризации можно выгрузить в excel.
2️⃣ Кластеризатор от seoquick — бесплатно можно кластеризовать до 20 тыс. слов, не более 5 тыс. за одну проверку.  Интерфейс интуитивно понятен: ключевые слова можно загрузить файлом или указать вручную.
Есть возможность дополнительно указать слова, которые можно считать как одну фразу, минус-слова в широком и точном соответствии, список стоп-слов, синонимы. А также можно выбрать частотность, от которой и будет зависеть тип кластеризации.
Из плюсов: учёт геозависимости и расширенные кластеры для семантики – позволяют распределять некластеризованные слова в наиболее подходящие группы.
3️⃣ Кластеризатор от majento — онлайн кластеризатор, за раз можно разгруппировать до 250 запросов незарегистрированным пользователям и до 500 зарегистрированным. Предлагается два метода кластеризации — Soft и Hard. Интерфейс очень простой.
Если указать свой сайт, в результате можно для каждого кластера получить релевантную страницу. Отчёт можно скачать в csv.
4️⃣ KeyClusterer — бесплатный десктопный кластеризатор, есть версия для Windows XP/2003/Vista/7-10. Кластеризацию можно проводить методами hard (более  точная) и soft. После автоматической кластеризации вы можете в ручном режиме сгруппировать кластеры в нужные вам папки. На первый взгляд интерфейс может показаться сложным, но по сути для успешной кластеризации внести нужно ровно такие же данные, что и для предыдущего сервиса: ключевые слова, регион, порог кластеризации.
Из плюсов: кластеризация семантического ядра любых размеров, быстрая скорость и точность кластеризации, возможность использования списка стоп-слов для манипуляции ключевыми запросами, указание списка стоп-доменов, которые не будут учитываться при разбивке ключей на группы.  Результат кластеризации можно выгрузить в excel.
5️⃣ KeyAssort — кластеризатор платный, но есть бесплатная демо-версия без экспорта результатов. В настройках можно выбрать поисковую систему – Яндекс или Google, указать силу группировки (от 1 до 100) и вид кластеризации (софт, мидл или хард), исключить сервисы и отдельные URL, которые не нужно учитывать при кластеризации, выбрать глубину ТОПа – от ТОП-5 до ТОП-50. Результат также можно корректировать, создавая группы вручную при ручной добивке и экспортировать уже готовое семантическое ядро.
Вопрос: Почему многие крупные сайты добавляют так много правил в robots.txt, если есть большая вероятность, что эти страницы попадут в индекс. Почему сразу не использовать <meta name="robots" content="noindex">?

Ответ: 👉 С помощью robots.txt вы можете управлять сканированием своего сайта, но не индексированием. То есть составить маршрут, по которому будет следовать поисковый робот и указать страницы и разделы, на которые роботу заходить не стоит. 
Да, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, но ошибка: "Проиндексировано, несмотря на блокировку в файле robots.txt" чаще всего возникает из-за того, что на такие страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего. Подробно про то, как исправить эту ошибку мы рассказывали тут.
⚠️ Крупные сайта добавляют так много правил в файл robots.txt для того, чтобы оптимизировать краулинговый бюджет сайта и повысить вероятность обхода нужных и полезных страниц.
👉 Метатег <meta name="robots" content="noindex"> позволяет управлять индексированием сайта, то есть даже если робот обнаружит страницу, он не добавит ее в индекс ПС. Но чаще всего при запуске сайта технические или служебные страницы, которые нам не нужны, проще закрыть через robots.txt прописав там пару строчек.
Вопрос: Работают ли ссылочные пирамиды? Если сравнивать ссылочные пирамиды с просто ссылками — что эффективнее? Можно ли сравнить эффект просто ссылки в 1 уровень vs ссылки в несколько уровней?

Ответ: 💡Ссылочные пирамиды показывают эффективность, ведь таким образом мы повышаем качество страницы донора и «усиливаем» ссылку.
Данную стратегию ссылочного продвижения можно использовать, если это позволяют бюджет и ресурсы. Главное при этом, чтобы пирамида была построена правильно и входящие в нее сайты были хорошо подобраны (особенно на первых уровнях).
👉Мы не можем однозначно сказать, эффективнее ссылки в один или несколько уровней, так как все индивидуально и зависит по большей степени от качества ссылающихся ресурсов. Ссылка с авторитетного посещаемого сайта вероятнее всего сработает лучше, чем недостаточно качественная многоуровневая ссылка.
Поэтому мы рекомендуем делать упор на поиск тематических и трастовых доноров и написание качественного контента для размещения ссылок, а пирамиды использовать уже в качестве экспериментов и для попытки усиления имеющихся ссылок, например, если они не дали должного эффекта.
Вопрос: Моделирую ситуацию по внутренней перелинковке: если на страницах сайта проставить 200 ссылок на внутряк с точных вхождением ключа и еще 300 с разбавленными и пр. При том, что на сайте несколько десятков тыс. страниц.

Какого результата в поиске ПС можно ожидать? Как определить полезное количество внутренних ссылок на 1 посадочную стр, %?

Ответ: 💡Невозможно сказать в процентах, сколько ссылок можно ставить при перелинковке, так как всё индивидуально.
Например, Ваш случай: 
На 10 000 страниц 500 ссылок может быть каплей в море, если это основной ВЧ запрос, так как обычно на ключевые разделы ставятся сквозные ссылки со всего сайта.
⚠️ При построении перелинковки нужно ориентироваться не на количество ссылок, а на удобство пользователей,  так как нам важно, чтобы пользователь без проблем попадал на продвигаемые страницы.
Для создании схемы внутренней перелинковки мы используем Key Collector. Подробнее об этом функционале в инструменте – здесь.
👉 А что касается ключей - после такого обилия поисковых запросов на странице, можно получить пессимизацию за спам от ПС. У нас есть кейс, в котором после того, как мы убрали спам в перелинковке, сайт вырос.   
Об использовании большого количества внутренних ссылок и отношению к этому ПС Google, говорит Джон Мюллер (ссылка на статью):
«Если все страницы связаны со всеми другими страницами на сайте, то у вас нет реальной структуры. Это как одна гигантская масса страниц на сайте, и все они связаны между собой, и мы не можем понять, какая из них самая важная. Мы не можем понять, какие из них связаны друг с другом. И в таком случае наличие всех этих внутренних ссылок не особо помогает сайту.
Таким образом, независимо от PageRank, авторитетности и подобных вещей, вы, по сути, не обеспечиваете четкую структуру сайта. И это усложняет поисковым системам понимание контекста отдельных страниц вашего ресурса».
Вопрос: Контент на домене и субдомене конкурирует? Гугл приравнивает его к одному сайту?

Например, есть ли смысл писать две похожие статьи, например, "Как подготовить магазин к Новому Году" для основного домена и "10 секретов подготовки магазина к Новому году" для субдомена? Можно ли получить 2 места в ТОПе при должной оптимизации каждой из статей?

Ответ: 💡Теоретически можно, так как Google будет воспринимать поддомен как отдельный сайт не имеющий к основному домену практически никакого отношения. Джон Мюллер говорил об этом в данном видео.
Поэтому если контент на поддомен уникализировать, продвигать отдельно от основного домена, то в теории может получится занять 2 места в ТОПе. 
👉 Важно: ссылочный профиль сайта является важным факторам ранжирования в Google, поэтому нужно понимать, что поддомены не наследуют его влияния с домена. Следовательно, для каждого субдомена следует выстраивать свой ссылочный профиль.
Если сайты домена и поддомена продвигаются по одному семантическому ядру, то они могут конкурировать между собой. Более того, если контент на поддомене, будет дублировать контент основного домена, поддомен может быть воспринят как дубль и желаемого эффекта эта авантюра не даст. 
Поэтому если время и ресурсы позволяют продвигать сразу 2 сайта, то можно попробовать.
Вопрос: CLS — что предпринять, чтобы улучшить этот критерий? Бьемся и ничего не помогает, Google Search Console все время показывает ошибки

Ответ: CLS - Cumulative Layout Shift - показатель, который касается смещения шаблона по мере загрузки страницы. Решить проблему можно «забронировав» место на странице под крупные элементы.    
👉Как улучшить показатели CLS: 
▫️Если на сайте используются вебшрифты, при загрузке которых значительно смещаестя макет, используйте link rel='preload' для шрифтов. 
▫️Для изображений нужно «зарезервировать» место на странице. Для этого указывайте ширину и высоту изображений - width и height. 
▫️Пропишите параметры width и height под встраиваемые iFrame-элементы, а также под блоки с рекламой. 
Используйте CDN, gzip-сжатие и кэширование ресурсов, с большим сроком кеширования. 
Если решить проблему со смещением макетов не получится, мы можем помочь решить проблемы со скоростью, в частности проблемы CLS  — оставляйте свою заявку на нашем сайте.
Вопрос: Какое количество "малоценных или маловостребованных страниц" в Яндекс.Вебмастере для ИМ считается нормальным? Не понимаю насколько сильно они могут тащить сайт вниз? Для карточек товара такой статус нормальный?

Ответ: 💡Нет четкого определения сколько таких страниц хорошо или плохо. Яндекс утверждает, что неважно сколько страниц было исключено из поиска по этой причине, на ранжировании остальных страниц сайта это никак не отразится. Так как робот анализирует каждую страницу отдельно, не учитывая весь сайт.
По нашему опыту, чаще всего необходимо устранить ошибку, если:
1️⃣ Робот исключает карточки, а следственно уменьшается ассортимент. Ассортимент в свою очередь фактор ранжирования и чем меньше товара тем сложнее попасть в ТОП 3.
2️⃣ Сайт недополучает трафик. Обычно карточки несут определенный процент трафика на сайт, а с исключенными страницами трафик не получаем.
👉 Если хотите избавиться от страниц низкого качества, то нужно выяснить, если это полезные страницы, в таком случае уникализировать. Если это страницы дубли или подобные ошибки, тогда исправить их через canonical, редирект или закрыв от индексации метатегом noindex.
Вопрос: Может ли оценка асессора повлиять на ранжирование всего сайта? Если нет, то на что влияют их оценки? С какой целью проверяются сайты?

Ответ: 💡Асессоры — живые пользователи, которые проверяют качество сайтов и поисковой выдачи в ручном режиме. Обычно асессор поисковой системы оценивает сайт с точки зрения обычного пользователя, но по инструкции поисковых систем. Для оценки качества страницы, используются специальные шкалы. И уже на основании таких оценок, обучаются алгоритмы поисковых систем (искусственный интеллект). Если подытожить, то асессор показывает алгоритму и роботам какие сайты можно назвать качественными и ранжировать высоко.
👉 Критерии, по которым страницы сайтов оцениваются, есть в специальном руководстве, внутренней инструкции для асессоров. У Google это публичные инструкции, перевод последней версии можно найти тут. У Яндекса руководство засекречено и его нет в свободном доступе.
Официальной информации о том, что асессоры влияют на ранжирование определённого сайта ни от Google, ни от Яндекса нет. Но на практике можем заметить, что после посещения страниц сайта асессорами Яндекс сайт может понизится в ранжировании ⬇️.
Однако, опять же по опыту скажем, что при проработке сайта в соответствии с инструкциями для асессоров от Google, позиции сайта растут.
👉 Как узнать, что  сайт проверялся асессорами: переходы с сайта iframe-toloka.com свидетельствуют о том, что сайт проверялся асессорами Яндекс. Во вкладке Вебвизор в Яндекс.Метрике выберите фильтр «Переход с сайта» и введите адрес: iframe-toloka.com. Переходы асессоров Google к сожалению отследить невозможно.
Вопрос: Такой вопрос — чтобы повышать E-A-T статей, надо прокачивать профили авторов. В случае фейковых авторов все понятно)). А вот что делать, если авторы реальные, 1-2 года строим им EAT, а потом они уходят в другую компанию. Что остаётся делать нам? Прокачивать новых?

Ответ: 💡Да, если автор ушел и против того, чтобы от его имени публиковали новые статьи, то нужно прокачивать новых авторов. Но если автор не против, то можно продолжить публиковать от его имени. 
Также рекомендуем оставлять старые профили на сайте, при необходимости ставить пометку, что авторов нет в компании, добавив в отдельный каталог специалистов в этой сфере. 
⚠️Чтобы такой ситуации не было, можно публиковать статьи от лица руководителя компании, человека, который не уйдёт так быстро и который также будет являться авторитетом в этой сфере.
Вопрос: В связи с последними обновлениями Google, вопрос про добавление видео-обзоров или отзывов об использовании товара на товарную карточку: как добавить обзор, отзывы и пользовательские реакции и не потерять позиции?

Ответ: 👉 Потерять позиции из-за отзывов крайне сложно, необходимо придерживаться следующих рекомендаций, чтобы этого не случилось:
1️⃣ Добавлять отзывы, которые соответствуют товару/услуге. Отзыв должен быть уместным и раскрывать суть. 
2️⃣ Добавлять уникальные отзывы, которые не скопированы у конкурентов.
3️⃣ Разместить отзывы необходимыми полями такими, как:
▫️Дата отзыва
▫️Оценка
▫️Имя автора
Будет преимуществом:
▫️Название услуги.
▫️Раздел преимуществ и недостатков.
▫️Фото отзывы
4️⃣ Разметить отзывы микроразметкой.
Что касается видео-обзоров, то чрезмерное количество можно перегрузить страницу, что приведет к ухудшению скорости. Выход с этой ситуации использовать отложенную загрузку видео, по нажатию на блок с видеоконтентов или реализовать отдельную страницу под отзывы, где хранить видео-отзывы, а на основной странице карточки выводить только анонсы.
⚠️Также можно глянуть конкурентов из ТОПа, скорее всего они уже решили проблему с выводом отзывов и можно будет использовать их подход к реализации отзывов/
Вопрос: Cудя по последним новостям, Google снова переносит переход на mobile-first индексацию. Причина: не все сайты успели выполнить требования ПС. 

В отчете «Покрытие» как основной робот указан десктопный робот Google. Означает ли это, что сайт не переведён на mobile-first индексацию?

И второй вопрос — как перевести сайт на mobile-first индексацию, что для этого нужно, и какими критериями пользуется Google при принятии решения, переводить ли сайт на mobile-first индексацию или нет?

Ответ: 💡Проверить переведен ли сайт на mobile-first индексацию можно перейдя в настройки Google Search Console и посмотреть пункт «Поисковый робот» в разделе «О маркере». Там же будет указана информация о дате перевода сайта на mobile-first индексацию [Скриншот].
👉 Переключателя перевода сайта на mobile-first индексацию не существует. Возможно лишь максимально подготовить сайт к тому, чтобы Google перевел его на mobile-first:
▫️Мобильный Googlebot должен иметь возможность свободно сканировать страницы. Робот Googlebot не сможет загрузить контент, для появления которого пользователь должен что-либо сделать, например перелистнуть страницу, нажать кнопку или ввести текст.
▫️Десктопная и мобильная (адаптивная) версия сайта должны иметь одинаковое содержимое:
       - контент, включая текстовую информацию, картинки, видео, ссылки; 
       - метаданные (теги title и description, метатеги robots); 
       - структурированные данные.
▫️Оптимизированные изображения и видеоконтент. Медиа должны быть поддерживаемого формата, качественные и подходящего (адаптивного) размера.
Вопрос: Если по бренду существует всего один товар и запрос "категория + бренд" показывает в поиске товар, а не страницу бренда в категории. Стоит ли скрывать страницу бренда или лучше усилить карточку товара?

Ответ: 💡Если по бренду существует всего один товар и другого товара этого бренда в ближайшее время не предвидится, то можно усиливать и продвигать карточку товара, если она ранжируется по запросу "категория + бренд". Саму категорию в таком случае скрывать не нужно, но если она мешает, то можете настроить на ней каноническую ссылку на карточку.
Если же товар будет, то параллельно с карточкой, можно усиливать и категорию, так как когда ассортимент увеличится,  вероятнее всего категория сменит карточку в выдаче. 
👉 Также, если видите что страницы конкурентов ранжируются выше, за счет категорий с бОльшим количеством товара, тогда Вашу карточку можно попробовать размножить. Подробнее о том, что делать если в категории малое количество ассортимента мы рассказывали в данной статье.
Вопрос: Если переписывать старые статьи, которые не приносят трафик менять у них URL или оставлять на старом? Почему спрашиваю: на старых статьях если и были заходы, то короткие и у страницы был высокий показатель отказов. Не скажется ли плохая карма старых URL на новые качественные тексты?

Ответ: 💡Нет, менять URL не нужно. Короткие заходы и высокий показатель отказов – это показатели ПФ, которые через месяц обновятся. Новый URL нужно делать в случае, если:
▫️на Ваших статьях не ЧПУ URL;
▫️слишком длинный URL.
В остальных случаях менять не рекомендуем.
👉Кроме того, есть такое понятие, как возраст страниц, поисковые системы лучше относятся к страницам, которые имеют уже некий вес в системе, нежели к новым страницы. Помимо этого, если на страницы ссылаются хорошие ссылки, то URL также стоит сохранить.
Вопрос: У домена в ссылочном профиле 90% — это арендные ссылки. Как безопасно и правильно перейти в таком случае на профиль из вечных ссылок? Как ПС относится к тому, что арендные ссылки отваливаются постепенно?

Ответ: 💡К сожалению, инструкции по постепенному удалению арендных ссылок и замещению их вечными нет. Точное количество вам никто не скажет, потому что мы не знаем как поисковый робот оценивает ту или иную ссылку.
👉 Можете работать по следующей схеме: 
1️⃣ Начните снимать аренду с площадок где ссылки не в индексе.Так как часто арендные ссылки не попадают в индекс, их можно все снимать. 
2️⃣ Следующим шагом, снимайте ссылки которых нет в GSC. 
3️⃣ После начните заменять ссылки с площадок низкого качества (нет трафика, плохие пузомерки и т.д.). Можно снимать и заменять постепенно по 10 штука например, всё зависит от объема ссылочного профиля.
4️⃣ Когда заменяете ссылку, сперва делаем замену, после того как донор попал в индекс, снимаем арендную ссылку. Также, не стоит брать по 10 ссылок с одного раздела и отключать их за один раз. Лучше максимально разбить группы по всему сайту, чтобы поисковые роботы не выявили, что какая либо кластерная группа заметно просела по ссылочному. 
5️⃣ Важно: когда будете снимать/заменять ссылки, следите за позициями сайта. Чтобы при необходимости успеть вернуть ссылку. 
Из арендных ссылок стоит оставить только качественные ссылки. Можно попробовать полностью убрать арендные, но рано или поздно вы упретесь в потолок. Качественных площадок нет и нужно будет снова обратить внимание на арендные ссылки, а там уже может не быть мест, поэтому следует учесть этот момент перед снятием всех ссылок.
Вопрос: Если в самом начале Core Update позиции сайта просели, что делать: вносить срочные правки, анализировать новых конкурентов или подождать, пока апдейт закончится и только тогда действовать? Может заниматься в это время более рутинной работой, ссылками например? Слышал много разных мнений на этот счёт, как правильнее поступать?

Ответ: 💡Рекомендуется не принимать решительных действий во время «раскатки» алгоритма.
👉 Если на протяжении раскатки наблюдается шторм выдачи, то анализировать новых конкурентов пока не стоит. Лучше подождать когда выдача стабилизируется, так как бывают ситуации когда по завершению апдейта позиции возвращаются. 
Часто представители поисковой системы сообщают о завершении раскатки - на этот сигнал можно ориентироваться, чтобы планировать анализ конкурентов, структуры выдачи, и строить новую стратегию работы.
А пока апдейт не закончился можно заниматься обычными задачами по улучшению сайта: исправление технических проблем, оптимизация скорости, поиск новых решений для улучшения юзабилити.
Вопрос: Хочу пробудить древнее зло — расчёт спамности ключей. Мне нужно рассчитать спамность: ключи кластера против условного стандарта слов в статье. Это нужно, чтобы избавляться от лишних ключей в жирных кластерах. Как это можно сделать? На какие формулы смотреть? Какие сервисы использовать? Может это самостоятельно получится высчитать?

Ответ: 💡Для того чтобы рассчитать спамность слов по кластеру, лучше всего сделать текстовый анализ текста, для этого можно воспользоваться тестовым анализатором от Rush Analytics или Just Magic. Инструменты платные, но пару проверок можно сделать бесплатно.
Если нужно проверить одну страницу, то в целом можно это сделать и вручную — запросы должны располагаться равномерно по тексту, чтобы не было скопления ключей в одном месте, а в другой части текста пусто. 
👉 Если в кластере много ключей, тогда их нужно объединить, например у нас есть запросы:
▫️огурцы малосольные;
▫️малосольные огурцы;
▫️огурцы малосольные рецепт;
▫️как замолосолить огурцы в домашних условиях.
Нужно их объединить в один запрос “Рецепт малосольных огурцов в домашних условиях”, тогда все запросы будут учтены и не будет переспама.
⚠️Также можно автоматизировать процесс постраничного анализа при помощи различных сервисов, например Сео Адвего — этот инструмент проводит анализ текста на тошноту, выдает количество и частоту вхождений наиболее используемых слов. Плотность ключевиков топовых статей в разных тематиках может колеблется от 1,5 до 7%, в зависимости от ниши.
Вопрос: Насколько важно в sitemap указывать priority и last modified? И если у сайта около 10К страниц, есть ли смысл разбивать файл на несколько сайтмапов, при условии, что вес целого сайтмапа не превышает лимитов?

Ответ: 1️⃣ Атрибут <priority> помогает определить приоритетность URL и указывает поисковым системам, какие страницы, по Вашему мнению, более важны для сканеров. Допустимый диапазон значений — от 0,0 до 1,0. Приоритет страницы по умолчанию — 0,5. 
▫️В настоящее время Google не учитывает в файлах Sitemap атрибут <priority>. 
▫️Для роботов ПС Яндекс этот атрибут не обязателен, но он всё ещё может учитываться при сканировании страниц с учетом присвоенного коэффициента. 
👉 Его можно использовать для того, чтобы увеличить вероятность индексирования самых важных страниц сайта. Но, если вы назначите высокий приоритет всем страницам в sitemap — нужного результата вы не получите.
2️⃣ Атрибут <lastmod> помогает ПС определить дату последнего изменения файла. Атрибут не является обязательным ни для Google, ни для Яндекса. 
▫️Google учитывает значение в теге <lastmod>, если оно является гарантированно точным (например, если его точность проверяется путем сравнения с последней измененной версией страницы) [Справка Google]. 
▫️Яндекс также обрабатывает <lastmod>, но если у вас задано практически одинаковое значение для всех URL — никаких видимых результатов вы не получите.
👉 Атрибут <lastmod> можно использовать для оптимизации краулингового бюджета сайта. Он помогает поисковым системам быстрее сканировать/индексировать новые страницы, но это только при условии его правильной реализации.
⚠️Если общий  размер файла в несжатом виде не превышает 50 МБ, а количество ссылок — 50 000, разбивать файл на несколько частей не нужно. 
С подробным руководством по составлению файла sitemap.xml можно ознакомиться у нас на блоге. А про то, какие ссылки стоит добавлять в карту сайта, мы рассказывали тут.