kiriyk/seo_tg huggingface dataset:
Вопрос: Сайт 11 лет назад создавали, начали наполнять контентом и забросили. Домен и хостинг продлевали, но развитием никак не занимались.

С чего начинать его реанимацию? Думаю про контекстную рекламу, а после ссылки и контент. Или нужен другой алгоритм и почему?

Ответ: 💡При работе с реанимированием старых сайтов нужен исключительно индивидуальный подход. 
Необходимо детально проанализировать текущее состояние сайта, его сильные и слабые стороны, оценить органическую выдачу в целевом регионе, и текущую конкурентность запросов. Уже после этого, на основании полученных результатов, составить стратегию продвижения.
👉 Предлагаем обратить внимание на следующие элементы при сравнительном анализе:
▫️Структура как каждой типовой страницы, так и всего сайта в целом, а также его техническое состояние. 
▫️Актуальный и современный, структурированный и полезный контент, а также удобство навигации и юзабилити в целом.
▫️Дизайн и современное восприятие внешнего вида сайта.
▫️И уже после этого, можно обратить внимание и на внешние ссылки, и на социальные медиа.
Переходы и поведение пользователей из контекстной рекламы также косвенно будут влиять и на органическую выдачу, поэтому рекомендуем запускать ее только тогда, когда сайт будет достаточно удобен и полезен для посетителей.
Вопрос: У нас магазин на 4+ млн страниц. В общем видимость хорошая в регионе, в индексе 1.5 млн страниц, но есть проблема - не индексируются сильно больше половины страниц сайта. в GSC они в большинстве в статусе "Обнаружена, не проиндексирована"
На что обратить внимание, как увеличить количество проиндексированных страниц?

Ответ: 💡Вам нужно более детально изучить те страницы, которые поисковые системы отказываются индексировать. Скорее всего ошибки в индексировании связаны именно с проблемами на вашем сайте.
Первое, что нужно сделать:
▫️ составьте список страниц, которые отсутствуют в индексе;
▫️ убедитесь в том, что они открыты для индексации в файле роботс;
▫️ убедитесь, что они есть в файлах карты сайта;
▫️ убедитесь в том, что поисковые системы имеют доступ к этим страницам (при обращении страница должна корректно отображаться и отдавать 200 код, имеет правильный каноникал и т.д.).
После этого вам нужно детально изучить эти страницы. Что это за страницы? Это карточки товара или страницы категорий?
👉 Если это карточки товара – посмотрите на их суть, чем они отличаются от других карточек товара, которые есть в вашем магазине? Может ли поисковая система посчитать их дублями других карточек товара? Какой процент контента на карточке товара можно считать уникальным? Вы можете обнаружить, что ваши карточки товара отличаются лишь на самую малость, например, если у вас интернет магазин косметики и у одного шампуня есть дозировка 100мл, 250мл. и 500мл – лучшим решением будет создание из трёх этих карточек – одну с возможностью выбора дозировки при покупке.
👉 Если страницы не в индексе – это по в большей степени страницы категорий, посмотрите на то, каким именно образом они формируются. 
Если у вас в сложном фильтре есть 5 групп по 30 параметров и они создают новые страницы путем перемешивания друг с другом – такие страницы не представляют ценности для поисковых систем. Лучшим вариантом в этом случае будет проверка запрашиваемости по всем этим категориям и там, где её нет – поставьте каноникал на главный раздел, а там где есть – напишите уникальные метатеги и заголовки. 
👉 Также обратите внимание на ассортимент товаров, если у вас создано 100 разных категорий в которых товары ничем не отличаются – такие категории тоже будут негативно восприняты поисковыми системами.
Мы, конечно, пытаемся предугадать различные варианты, но очень сложно в seo говорить о виртуальных вещах в конкретном ключе. Лучшим решением будет обратиться в нашу компанию за полноценным аудитом ;)
Вопрос: На сайте порядка 75к страниц в индексе. Образовалось около 1000 страниц- дублей контента - по Title и содержимому.

Их лучше удалить полностью или склеить страницы с категориями, в которых они были?
И касательно сроков: лучше удалить сразу 1000 или делать это постепенно, например по 50 страниц в день?

Ответ: 💡Для того, чтобы понять, что конкретно делать с дублями, нужно:
1️⃣ Выявить причину, по которой они образуются: связано это с особенностью CMS сайта, появляются ли эти дубли из-за добавления в URL дополнительных параметров и меток (get параметры; параметры gclid и yclid; реферальная ссылка) или по другим причинам.
2️⃣ Проверить: их наличие в индексе, поисковый трафик на страницу, наличие внешних и внутренних ссылок.
3️⃣ Важность такой страницы для сайта и пользователя: если страница полезна пользователю, но по каким-то причинам считается дублем другой, то ее нужно прорабатывать — создать уникальные метатеги, контент и сделать страницу полезной в первую очередь для пользователя.
▫️Если дубль не находится в индексе, и он не несет пользы для сайта и посетителя, то его можно смело удалять с сайта. Одновременно нужно удалить ссылки на страницу во внутренней перелинковке сайта. Такой метод подходит для страниц, которые «не жалко», то есть без ссылочного веса и трафика.
▫️В случае, если на странице есть трафик, то лучше настроить 301 редирект, чтобы передать вес другой странице и не потерять его. Нужно понимать, что склеивание страниц может привести к проблемам с индексированием и ранжированием страниц, а также к негативному влиянию на пользовательский опыт. 
👉 Поэтому существуют и другие способы устранить дубли:
▫️Файл robots.txt: с помощью директивы «Disallow», мы можем запретить поисковым ботам заходить на ненужные страницы.
▫️Метатег <meta name="robots" content="noindex, nofollow>: указывает роботу не индексировать документ и не переходить по ссылкам и в отличии от robots.txt является прямым указанием, которое робот не может проигнорировать. 
▫️Атрибут rel="canonical": используется для устранения дублей страниц с get-параметрами и utm-метками и первых страниц пагинации. 
▫️Склейка дублей через Clean-param: указывается для поискового робота Яндекса в robots.txt. Благодаря этой директиве страницы с параметрами и метками приводятся к единому виду, из-за чего поисковый робот не травит краулинговый бюджет на обход таких страниц.
⚠️ Что касается сроков, то если у вас есть возможность удалить все 1000 страниц сразу, то это будет лучшим вариантом. Удаление постепенно может привести к тому, что поисковые роботы будут продолжать индексировать дубли страниц и пользователи могут наткнуться на них. Если вы не можете удалить все 1000 страниц сразу, то рекомендуется удалить их по мере возможности, но не меньше, чем по 100 страниц в день. Это поможет вам избежать проблем с индексацией и сохранить хороший пользовательский опыт.
Вопрос: Частые пятисотые ошибки могут повлиять на ранжирование сайта? И как возвращать позиции в этом случае?

Ответ: 💡5ХХ ошибки говорят о сбое в работе сервера. Поисковый робот может понизить в ранжировании, а со временем и исключить страницу с пятисотой ошибкой из поисковой выдачи, если её не устранить.
Проверять наличие страницы в индексе лучше  с помощью Google Search Console или Я.Вебмастер. 
👉 Если 5хх ошибка устранена, сайт снова доступен, а страницы нет в индексе — отправьте страницу на переобход, чтобы робот её обошёл и вернул.
Как исправить данную ошибку:
▫️необходимо правильно настраивать все коды ответа сервера;
▫️проверять нагрузку сервера;
▫️если ошибка в файле .htaccess устраните неполадки в синтаксисе файла;
▫️обновите РНР, если они устарели;
▫️проверьте и настройте права для CGL-скриптов;
▫️проверьте плагины, которые были недавно установлены;
▫️увеличьте объём оперативной памяти сервера.
Если ошибка была устранена быстро, то позиции могут вернуться уже через несколько дней.
Вопрос: Читал, что по ссылкам в тегах button робот не переходит. Правда ли это и можно ли все ссылки на страницы, которые не должны быть проиндексированы, оформить в кнопки?

Ответ: 💡Высока вероятность, что робот действительно не переходит по ссылкам в тегах button. 
Об этом говорил Джон Мюллер – «Google не нажимает на кнопки на страницах и не видит ссылки в тегах <button>». Но, как это часто бывает, нельзя говорить о том, что Джон Мюллер говорит всегда правду и только правду, поэтому мы считаем, что такие ссылки частично учитываются ботами, но при этом имеют гораздо меньший вес и значение, чем ссылки обычного, привычного вида.
👉 Использование тега <button> для ссылок на сайте может быть полезно при оформлении таких элементов, как:
▫️пользовательские соглашения;
▫️условия использования и конфиденциальности;
▫️различные служебные страницы.
⚠️ Если же необходимо скрыть от индексации страницу, то стоит воспользоваться стандартными способами:
▫️прописать noindex в метатеге robots самой страницы;
▫️прописать тег X-Robots-Tag:googlebot: noindex.
Но, стоит помнить, что любые ссылки, которые есть на сайте и как бы их не прятали и не закрывали, могут и будут использоваться роботами Google.
Вопрос: Как определять конкуренцию запросов? Это то же самое, что и частотность или нет?

Ответ: 💡Частотность запроса - это количество раз, которое определенный запрос был введен в поисковую систему за определенный период времени. Это, своего рода, показатель популярности запроса среди пользователей интернета. 
Частотность - это один из факторов, который помогает определить конкуренцию запросов.
👉 При этом для определения конкуренции запросов, кроме определения частотности, необходимо провести комплексный анализ ключевых слов и поисковой выдачи непосредственно в Вашем регионе:
1️⃣ Исследуйте первые 10-20 результатов поиска для выбранного ключевого слова. Определите, насколько качественны и авторитетны страницы, которые появляются на первой странице результатов поиска. Это поможет понять, насколько сложно будет конкурировать с этими страницами.
2️⃣ Оцените уровень сложности ранжирования для выбранного ключевого слова. Какие примеси в выдаче присутствуют для запроса, как много агрегаторов, колдунщиков и рекламы.
3️⃣ Исследуйте конкуренцию в социальных сетях. Некоторые ключевые слова могут иметь большую конкуренцию в социальных сетях, поэтому стоит изучить их популярность в Facebook, Twitter, Instagram и т.д.
4️⃣ Оцените потенциальный трафик, который вы можете получить от данного ключевого слова если у Вас получится занять ТОП-1, ТОП-3, ТОП-5, ТОП10.
Если правильно провести анализ, это поможет определить, какие запросы будут наиболее эффективными для продвижения вашего бизнеса в поисковых системах.
Вопрос: Подскажите, как можно расширить семантику. Исчерпал все ключевые фразы. Но у конкурентов сервисы показывают в 3-5 раз больше ключей.

Ответ: 💡Семантика конкурентов может быть шире по нескольким причинам:
▫️у них шире ассортимент товаров или услуг, по сравнению с вашим;
▫️у конкурентов подробнее структура сайта – больше страниц подкатегорий под СЧ и НЧ запросы;
▫️они используют разные типы контента: фото, видеоконтент, инструкции и т.д.;
▫️работают и развивают раздел с отзывами и информационные разделы.
👉 Расширить свою семантику можно в том числе и использовав семантику конкурентов. Для этого:
1️⃣ Выгрузите семантику конкурентов и очистите её от мусора.
2️⃣ Кластеризируйте СЯ и выделите кластеры, под которые можете создать новые страницы.
3️⃣ Проанализируйте кластеры, под которые у вас уже есть страницы, возможно вы выделите запросы, под которые созданные страницы ещё не оптимизировались, с хвостом “отзывы”, “фото”, “инструкция”, синонимы и т.д.
4️⃣ Выделите инфо запросы, если они есть.
Отдельно проанализируйте ассортимент и структуру конкурентов. Если увеличить ассортимент не всегда получается, то грамотное распределение ключевых слов по страницам может привести к росту видимости сайта.
⚠️ Также стоит проанализировать запросы из GSC, GA, Я.Вебмастера и Я.Метрики. По некоторым из них ваш сайт может ранжироваться на ТОП-50 и ниже позициях - это значит, что с такими запросами необходимо работать. Алгоритм действий такой же как и с семантикой конкурентов.
Вопрос: Есть две статьи в блоге:

- Первая - "Что такое А", в которой подробно рассказывается что такое А, какие бывают виды, для чего применяется, как работает и т.д. На статью проставлено несколько жирных ссылок.
- Вторая - "А vs B", в которое дано общее описание А и его плюсы и минусы. И тоже есть несколько жирных ссылок на эту статью. Есть внутренняя ссылка на первую статью, типа "что такое А читайте в с первой статье".

Написаны обе примерно в одно время. И вот спустя несколько месяцев я наблюдаю в сёрч консоли, что вторая статья перетянула на себя почти весь трафик по запросу "что такое А" и имеет более высокую среднюю позицию.

Как лучше поступить в этой ситуации?

Ответ: Очень сложно говорить конкретно о пространных вещах. 
👉 Изначально в логике распределения ключевых слов по страницам нет никакой ошибки. На сайте могут параллельно существовать статьи: «Что такое А», «Сравнение А и В», «Сравнение А и Г» и по логике вещей они должны нормально ранжироваться каждая по своим ключевым словам.
Причины, по которым вторая статья перетянула на себя почти весь трафик с первой могут быть следующие:
1️⃣ Изначально было неправильно составлено техническое задание, в том числе ключевые слова и lsi. В результате две статьи написаны практически одинаково и отличаются лишь заголовками и слегка измененным текстом. Поисковая система в данном случае восприняла их как смысловые дубли и показывает самую релевантную по её мнению.
Такое часто происходит, когда статьи на смежные темы пишет один и тот же копирайтер. При проверке оба текста показывают 100% уникальность, но они достаточно схожи между собой.
2️⃣ Изначально была допущена ошибка при анализе пула запросов, который должна была покрывать первая статья. Чтобы полноценно дать ответ на вопрос «Что такое А», статья обязательно должна содержать сравнение с «В». В данном случае обе статьи подходят под запрос «Что такое А», но лишь вторая содержит сравнение с «В» и по этому считается наиболее релевантной.
3️⃣ Вторая статья более привлекательна для посетителей. Так как статьи вышли одновременно, поисковая система пробовала их показывать по схожим запросам. В результате анализа поведения пользователей, на второй странице по запросу «Что такое А» поведение было лучшим, чем в первой статье.
Как видите, вам нужно вчитаться в саму суть обеих статей. Существует конечно различные варианты, но я думаю, что скорее всего вам нужно более детально разобрать и вычитать каждую статью. Возможно, когда вы достаточно вдумчиво их прочтете – вы и сами поймёте, почему поисковая система посчитала их идентичными.
⚠️ Ну а решение этой проблемы простое:
▫️ Перерабатываете текст обеих статей, делаете так, чтобы каждая отвечала на свои запросы и не конкурировала с другой.
▫️ Совмещаете их в одну полноценную статью.
Вопрос: Делаем новый сайт. Насколько важно, чтобы структура нашего сайта совпадала со структурой конкурентов. И почему?

Ответ: 💡Невозможно вести бизнес, не зная положения дел в ТОПе. Конкуренты постоянно развиваются, и если не проводить их анализ, то рано или поздно ваш сайт уступит конкурентам, которые обгонят его в выдаче. 
👉 Анализ структуры сайтов конкурентов позволяет понять, на что ставят конкуренты при поисковой оптимизации и сформировать более эффективную стратегию для продвижения вашего бизнеса в онлайн-среде. 
Важно понимать, что каждый бизнес уникален, и не стоит бездумно копировать структуру конкурентов просто потому что он занимает ТОП. Важно делать все с умом, чтобы не превратиться в копию конкурента.
⚠️ Анализ структуры поможет:
▫️понять, какие запросы охвачены конкурентами при продвижении;
▫️определить какие страницы и разделы стоит добавить в структуру, а какие наоборот убрать; 
▫️разработать удобную и понятную навигация для пользователя.
В целом, проработанная структура ресурса позволяет повысить конкурентоспособность сайта за счет увеличенного охвата тематики и хороших поведенческих показателей, однако это не единственные факторы, которые помогут достичь ТОПа и стоит проводить другие работы по оптимизации на сайте.
Вопрос: Страница цен ранжируется выше страниц услуг (2 страницы услуг, как в Гугл , так и в Яндекс), причем, релевантность у этих страниц высокая (проверено сервисами).

Что можно предпринять, чтобы исправить эту проблему?

Ответ: 💡Страница ранжирования может отличаться от целевой из-за нескольких причин: 
▫️Интент запроса может не совпадать с ожиданиями. Проверьте страницы конкурентов в топе: если большая часть из них - страница цен, то интент предполагаем именно цены. 
▫️У страницы цен может быть большее число входящих внутренних и внешних ссылок. От этого страница цен обладает большим «весом», чем страниц услуг. Изменить ситуацию можно путем увеличения входящих внутренних и внешних ссылок на приоритетную страницу. 
▫️На странице цен может быть более качественный контент – таблицы, подзаголовки, медиафайлы. 
Кроме того, сервисы для проверки релевантности могут не точно отражать  реальную релевантность с точки зрения поисковых систем. 
👉 Если действительно необходимо изменить релевантную страницу по запросу, то:
▫️попробуйте добавить на целевую страницу тот контент, который ожидает увидеть пользователь;
▫️постарайтесь улучшить перелинковку на целевую страницу естественным образом так, чтобы увеличить ее вес;
▫️займитесь внешними ссылками, постарайтесь найти тематичных доноров и используйте необходимые для целевой страницы анкоры.
Вопрос: У нас есть два домена - domain.ru и domain.com. Хотим установить редирект с domain.ru на domain.com/ru. С технической точки зрения это один и тот же сайт и контент не поменяется, однако интересует как это может сказаться на SEO.

Например, мы закупали ссылки как на отдельных ресурсах, так и крауд-маркетинг. Какова вероятность того, что эти ссылки могут стать невалидными и обесцениться у поисковиков? Также интересно сколько примерно может занять переиндексация сайта и как в целом ведут себя Google и Яндекс при таких манипуляциях?

Ответ: 💡При редиректе сайта все внешние ссылки будут также редиректиться на новые страницы и будут передавать практически весь вес, который передавали и раньше. Но, стоит помнить, что со временем старые ссылки теряют актуальность. 
В связи с этим необходимо постоянно обновлять ссылочную массу, но уже с простановкой ссылок на domain.com/ru.
👉 Склейка доменов может занять достаточно длительное время от 2-х недель до 7-ми недель. Обычно в Google склейка происходит быстрее, чем в Яндексе.
При правильности выполнения всех работ поисковые системы просто заменят один сайт на другой в своих базах и постепенно будут показывать сайт с доменом com вместо сайта с доменом ru.
Вопрос: Прочитал, что description не влияет на ранжирование. Правда ли это и как тогда его заполнять? Добавлять текст для пользователя или всё таки для поисковика?

Ответ: 💡Description оказывает косвенное влияние на ранжирование сайта. 
Когда пользователи видят краткое описание содержимого страницы в результатах поиска, они могут решить, соответствует ли эта страница их запросу и стоит ли ее посетить. 
👉 Если мета-описание привлекает внимание пользователей и точно отражает содержимое страницы, то больше пользователей будут нажимать на ссылку для перехода на сайт. 
Это может привести к повышению показателя кликабельности (CTR), что может иметь положительное влияние на ранжирование сайта в поисковой выдаче.
⚠️Чем привлекательнее сниппет сформированный, в том числе, с помощью с помощью хорошего description, тем выше вероятность улучшения CTR и, как следствие, ранжирования.
Кроме того, поисковые системы обрабатывают весь html контент страницы на предмет вхождений ключевых запросов, в том числе и description. Поэтому грамотно составленное мета-описание также влияет на текстовую релевантность страницы.
👉 Но, следует учитывать, что Google может использовать и другие фрагменты текста с страницы для отображения в результатах поиска, если он считает их более релевантными для запроса пользователя. Поэтому, хотя мета-описание может повлиять на кликабельность, оно не является ключевым фактором, который влияет на ранжирование страницы в поисковых системах.
Вопрос: Подскажите, в robots.txt есть смысл отдельно для робота яндекса и робота гугл все расписывать или это не обязательно? И почему большинство сайтов составляют отдельные рекомендации?

Ответ: 💡Если у вас нет никаких различий в ограничениях для разных роботов поисковых систем, то прописывать отдельно директивы в файле robots.txt не нужно.
👉 Файл robots.txt можно создавать отдельно для Яндекс, для Google и для остальных роботов-краулеров. Делать это надо только в случае если необходимо прописать директивы, предназначенные только для определенных Поисковых систем, а также если мы хотим разрешить/запретить обход разделов или отдельных страниц сайта для конкретных ПС.
Разные поисковые роботы интерпретируют синтаксис файлов robots.txt по-разному.
⚠️ Хотя роботы основных поисковых систем следуют правилам в файле robots.txt, каждый из них может интерпретировать их по-своему. Поэтому иногда для перестраховки вебмастеры пишут отдельно рекомендации для разных систем.
Перед тем, как приступить к настройке файла robots.txt для вашего сайта, рекомендуем ознакомиться с официальными рекомендациями Google и Яндекс.
Вопрос: Трастовый сайт по внутреннему туризму в России. Недавнее снятие позиций показало снижение запросов в ТОП-3 на 15%. Детальный анализ показал, что верхние строчки выдачи стали занимать сайты сервиса Яндекса, некоторые конкуренты тоже просели.

Предполагаем несколько причин:
1. Изменение алгоритмов. 2 Временный баг. 3. Яндекс тупо решил вытащить свои сервисы в ТОП для заработка. Если считаете верным 3-й вариант, то наблюдается ли подобное в других тематиках?

Ответ: 💡Недавно мы действительно наблюдали снижение позиций по достаточно большой группе сайтов, в том числе и наши коллеги из seo комьюнити писали, что у них наблюдается аналогичное снижение позиций. 
Скорее всего, такая массовая тряска выдачи связана с некими изменениями в поисковом алгоритме Яндекса. Возможно и ваш сайт попал под раздачу. 
👉 Но некоторые сайты из нашего списка уже начали восстанавливаться, возможно и ваш скоро начнёт. Обязательно напишите нам через время, вернул ли он свои позиции в выдаче. С другой стороны, мы не видим полной картины на вашем сайте. 
Если вы наблюдаете массовое снижение позиций на вашем сайте и на сайтах ваших конкурентов, но не вы не ваши конкуренты не предпринимали в последнее время ничего экстраординарного в продвижении, а на «освободившиеся» позиции встают сервисы Яндекса, а не другие сайты – можно с высокой долей вероятности утверждать, что и до вашей тематики добрались колдунщики Яндекса.
⚠️ Это, в целом, не новость. Еще в 2021 году группа компаний под названием IT Коалиция (в списке такие крупные сайты, как: Авито, Дром, Циан) подали совместную жалобу в Антимонопольную службу на доминирующее положение в выдаче колдунщиков Яндекса, об этом написали многие сми, можете почитать про это на Legal Report. 
Основная претензия со стороны Коалиции заключалась в том, что по их подозрению Яндекс искусственно завышает в выдаче свои сервисы, а более трастовые с точки зрения поисковых алгоритмов сайты – искусственно занижаются. Также одной из претензий к Яндексу, на тот момент, было то, что его сервисы в выдаче смотрятся более привлекательно для пользователей, чем органические результаты выдачи. Но если внешний вид в выдаче можно сравнить и доказать, что органика выглядит хуже, то вот искусственное занижение позиций сайта вы никак не докажете, Платон всегда может ответить, мол развивайте свой сайт и всё будет прекрасно.
👉 Нужно также отметить, что Яндекс не первопроходец в данном направление, Google также грешит подобными действиями, за что регулярно получает штрафы, например за искусственное завышение позиций сервиса Google Shopping или сервиса новостей. 
Крупные компании пользуются прелестями своего монопольного положения на рынке, тут ничего не сделаешь, компаниям нужно повышать прибыль, они её генерируют в том числе и такими способами. 
Можем дать вам совет в стиле Яндекса «развивайте свой сайт», но со слегка измененным окончанием: «и мы позволим вам драться за долю рынка, которую мы решили сегодня отдать вам и вашим конкурентам».