kiriyk/seo_tg huggingface dataset:
Вопрос: Расскажите, пожалуйста, насколько критично не использовать тег canonical и закрывать страницы пагинации в файле robots.txt. Хочется выяснить больше нюансов и принять решение, стоит ли вносить изменения сразу на нескольких весьма масштабных проектах. Или оставить как есть с закрытыми страницами пагинации.

Ответ: 💡 Тег canonical – это рекомендация для поисковых систем (как и файл robots.txt), чтобы они понимали, какую страницу считать канонической. Но тут же стоит сказать, что поисковики далеко не всегда берут рекомендации во внимание и сами решают, какая страница лучше подходит под запрос пользователя. 
Мы считаем, что открытые к индексации страницы пагинации в значительной мере улучшают ссылочные связи на сайте в целом. Например, у Вас интернет магазин и в товарной категории 500 товаров, разбитых на n-ое число страниц. Открывая к индексации постраничную навигацию, Вы даете возможность роботам поисковых систем проходить по всем страницам пагинации и по всем ссылкам, находящимся на этих страницах, то есть по ссылкам на товары, которые представлены на листингах. 
С одной стороны, такой подход улучшает индексацию, так как проходя по ссылкам робот может добавлять эти страницу в базу. С другой же стороны, если страницы пагинации плохо оптимизированы, то могут возникать дубли. 
Чтобы этого избежать, необходимо:
1️⃣ Добавить в тайтл номер страницы, например: 
вариант 1: Холодильники недорого | Магазин Холод, страница 2;
вариант 2: Холодильники – страница 2 | Магазин Холод.
2️⃣ Добавить в дескрипшен номер страницы, например:
вариант 1: Купить холодильники недорого с доставкой по всей стране – страница 2;
вариант 2: Страница 2 каталога холодильники.
3️⃣ Если на первой странице категории есть seo-текст, то он не должен переноситься на вторую и последующие страницы навигации;
4️⃣ Прописать тег canonical для каждой страницы навигации, указывая в качестве канонической соответствующую страницу, например, для страницы 2 канонической будет страница 2 и так далее.
Уменьшая количество ключевых слов в тайтлах и дескрипшенах на постраничке вы минимизируете возможность конкуренции с главной страницей этой категории, а также делаете процесс индексирования и ранжирования ваших страниц более контролируемым, не оставляя для поисковых систем поля для инициативы и принятия решений, не устраивающих вас. 
⚠️ Есть и недостатки, например, большое количество страниц, подлежащих индексации могут полностью поглотить краулинговый бюджет и его может не хватать на полноценную индексацию сайта. К счастью, есть способы, которые позволяют увеличить краулинговый бюджет, например, в нашей статье тут.
Узнать краулинговый бюджет сайта вы можете в Search Console в разделе Настройки есть отчет – Статистика сканирования.
Вопрос: Google вычисляет перевод текста или такие материалы считаются уникальными? И как работать с переведенными текстами, чтобы в конечном итоге получать хорошие позиции и трафик?

Ответ: Да, Google может понимать, что текст был переведен, а не написан изначально носителем языка по слово оборотам и естественным выражениям. Переведенный текст будет считаться уникальным, но Google понимает, что это перевод и в ряде случаев может отдать предпочтение более естественному тексту от носителя.
Но это не исключает вариант размещения на сайте переведенных текстов. Если вам нужно быстро создать языковую версию сайта, то вы можете воспользоваться в первую очередь переводчиком. 
После того, как вы получили переведенные тексты, их желательно вычитать и отредактировать. 
⚠️ Для этого есть следующие варианты:
▫️ вычитать их самостоятельно и добавить фразы от носителя языка, которые переводчик не знает;
▫️ отдать на вычитку сторонним специалистам, с опытом в вашей тематике на том языке, который вам необходим;
▫️ дописать к переведенным текстам небольшие куски уникального копирайтинга.
👉  Таким образом вы добавите к сухим переводам нотки естественности и Google будет тяжелее определить, что это обычный перевод, а не копирайтинг. Тем самым вы сильно повысите качество этих текстов и вероятность попадания в выдачу на хорошие позиции.
Вопрос: Как быстрее и легче собрать семантику? Есть около 30 категорий и 80 карточек товаров. Сайт не покрывает всю семантику, поэтому пока нужны ключи только для существующих страниц. 
Как быстрее решить задачу: для каждой страницы отдельно пробивать ключи? Или составить список всех вводных слов, спарсить все ключи, а потом сделать кластеризацию?

Ответ: Сбор семантического ядра зависит от различных факторов: размера сайта, специфики товаров или услуг, конкуренции на рынке и т.д. В вашем случае, скорее всего, оптимальным будет первый подход. Он позволит собрать семантику быстро и с высокой степенью точности для каждой отдельной страницы.
Первый метод может быть более время затратным, но, возможно, более точным. Он позволяет тщательнее подобрать ключи для каждой страницы, что может быть более эффективно с точки зрения SEO.
👉 Метод 1: Ключи для каждой страницы отдельно
▫️Проанализируйте конкурентов и посмотрите, какие ключевые слова используются конкурентами на страницах.
▫️Используйте инструменты типа Google Keyword Planner, Ahrefs или другие seo-инструменты для подбора ключевых слов для каждой страницы.
▫️Также убедитесь, что выбранные ключевые слова релевантны содержанию каждой конкретной страницы.
Второй же метод может быть быстрее, если у вас хорошие инструменты для парсинга и кластеризации. Также второй метод легче масштабировать, если у вас появятся новые категории или товары.
👉 Метод 2: Список вводных слов и последующая кластеризация
▫️Соберите список базовых ключевых слов, которые используются для всех категорий и типов товаров на вашем сайте.
▫️Используйте инструменты для массового подбора ключевых слов на основе вашего списка.
▫️Проанализируйте полученные ключевые слова и разделите их на группы (кластеры) в соответствии с категориями и товарами сайта.
Вопрос: Купил дроп, восстановил, позиции держатся на уровне ТОП-20. Заливаю на дроп новые статьи на новых URL - они набирают максимум 50 позицию.
Это контент плохой такой или дело в дропе всё-таки? Или старые статьи ранжируются из-за возраста, а новым нужно время настояться?

Ответ: В данном случае дело навряд ли в дропе. Возраст домена, конечно, влияет на качество всего сайта и соответственно на позиции всех статей, но это далеко не самый важный и сильный фактор ранжирования. Скорее всего, дело именно в контенте.
1️⃣ Если контент на новых страницах недостаточно качественный, это может сказываться на ранжировании. Убедитесь, что контент уникальный и актуальный, полезный и на самом деле соответствует запросам аудитории, раскрывая полностью тему статьи..
2️⃣ Также убедитесь, что у новых статей хорошо прописаны мета-теги и грамотно настроена внутренняя перелинковка. Кроме того, проанализируйте, есть ли внешние ссылки на старые статьи, именно они могли давать бонус, которого нет на новых статьях.
3️⃣ Один из вариантов, это повышенная конкуренция по выбранным ключевым словам для новых статей. Возможно она слишком высока, и для новых страниц требуется больше времени и усилий для выхода в ТОП, чем по тематикам старых статей.
Вопрос: Знаю, что hreflang нужно настраивать, если две страницы на английском для двух разных регионов. Но что, если есть две страницы на русском и английском - Google же и так поймет, что они разные. К тому же, не хотим привязывать их к каким-то отдельным регионам, так как получаем весь англоязычный и русскоязычный трафик со всех возможных стран.
Как настроить hreflang и нужно ли это делать?

Ответ: 💡Hreflang — это метатег HTML, который помогает поисковым системам понимать, какие версии страницы следует показывать, в зависимости от языка и региона пользователя. Это важно для улучшения пользовательского опыта и SEO. 
Вы верно указали - Google может различать страницы на разных языках без hreflang. Однако hreflang может помочь поисковым системам лучше понять, как пользователи из разных регионов взаимодействуют с вашим сайтом. Например, если ваша русскоязычная страница получает больше трафика из России, чем из других стран, это может быть сигнал для ПС, что страница более релевантная для российских пользователей. 
В случае, когда у вас есть две страницы на разных языках (например, русский и английский), есть несколько вариантов: 
1️⃣ Hreflang для разных языков и регионов.
Когда две версии одной страницы ориентированы на разные регионы и языки, то следует использовать более подробную настройку hreflang, указывая и язык, и регион. 
Например: 
<link rel="alternate" hreflang="ru-RU" href="https://example.com/ru-page">
<link rel="alternate" hreflang="en-US" href="https://example.com/en-page">
👉 Это поможет поисковым системам более точно определить, какую версию страницы показывать для пользователей из разных регионов и языков. 
2️⃣ Hreflang для разных языков. 
Если же вы не хотите привязывать свои страницы к конкретным регионам, вы можете использовать hreflang для обозначения их как «глобальных». Для этого добавьте атрибут hreflang=»x-default» к тегу href каждой страницы. Это будет сигнализировать, что страница может быть релевантная для пользователей из любого региона. 
Например: 
<link rel="alternate" href="https://example.com/en" hreflang="en"> 
<link rel="alternate" href="https://example.com/ru" hreflang="ru"> 
👉 В этом случае ПС будет понимать, что существуют две страницы: одна на английском и одна на русском. Она также будет понимать, что обе страницы могут быть релевантными для пользователей из любого региона. 
Атрибут hreflang не является директивой для поисковых систем, а скорее рекомендацией, поэтому решение нужно ли настраивать его зависит, в первую очередь, от ваших целей. В качестве эксперимента можно попробовать без него и посмотреть, как будет ранжироваться сайт.
Вопрос: Нужно ли для мультиязычного сайта делать специальную карту сайта? Или обычная с перечислением всех URL вполне хватит?

Ответ: Решение делать ли отдельную карту сайта для разных языков на мультиязычном сайте зависит от технической реализации.
1️⃣  Поддомены или подпапки. 
Если ваши языковые версии сайта находятся на поддоменах, то конечно же, для каждого поддомена нужна отдельная карта сайта. Если ваши языковые версии реализованы через подпапки, то можно использовать одну XML карту сайта.
2️⃣  Указание языковой версии в одной карте сайта. 
В одной XML карте сайта можно указать языковые версии страниц с помощью пространства имен в блоке <urlset>. Далее в рамках тега <url>, ниже тега <loc>, в котором указан URL страницы, указать тег <xhtml:link> для каждой языковой версии страницы, а в пределах <xhtml:link> — атрибуты rel="alternate" hreflang="x", в которых будет указана конкретная языковая версия.
3️⃣  Технические ограничения по количеству страниц. 
По умолчанию обычная XML карта сайта может содержать не более 50 тыс. страниц сайта. Поэтому, если на сайте большее количество, то можно разбить одну карту сайта на несколько, каждая из которых будет включать в себя отдельную языковую версию.
Вопрос: Перед подклейкой дропа к основному сайту, нужно ли на дропе разворачивать тематический сайт и ждать его переиндексации?

Ответ: Если вы уверены в качестве домена – можете сразу его подклеивать к своему сайту, не дожидаясь индекса. Но лучше, конечно, перестраховаться и подождать индексации. Если вы видите, что после восстановления дропа сайт:
– быстро индексируется;
– восстанавливает трафик;
– имеет несколько высоких позиций по СЧ и ВЧ запросам;
– имеет брендовый трафик.
👉 Всё это дополнительно свидетельствует о качестве сайта и вы без сомнений можете его подклеивать к своему сайту. Если же наоборот, вы ничего подобного не наблюдаете – значит, скорее всего, вы ошиблись в расчетах и подклейка этого домена может даже навредить вашему сайту.
Вопрос: Есть крупный сайт услуг с 300 тыс. страниц. Сайт хорошо ранжируется, быстро индексируется. Но на сайте много страниц без трафика – совсем старые статьи, новости компании, неактуальные услуги. Хотим эти страницы удалить, чтобы они не тратили краулинговый бюджет. Как считаете, как лучше это сделать? Как Google к этому отнесется? Удаляем только нулевки.

Ответ: ⚠️Нужно помнить, что удаление страниц, даже с нулевым трафиком, может негативно сказаться на сайте в целом, если у этих страниц есть:
- внутренние ссылки;
- входящие ссылки;
- внутренний трафик.
Если есть возможность провести актуализацию старого контента, то лучше именно так и поступить.
 
👉 Также помните, что старые новости компании, даже не актуальные, могут быть косвенным источником доверия к сайту со стороны Google. В тоже время, если страница давно не обновляется, то ее будут редко посещать боты, поэтому особых проблем с краулинговым бюджетом быть не должно.
Если потенциала для обновления информации у старых страниц нет, они в целом больше не актуальны, и при этом отсутствуют вышеперечисленные положительные моменты, то такие страницы можно удалять.
Вопрос: Подскажите, есть интернет магазин с товарами, около 5000 шт. Периодически эти товары снимают с производства, насколько страшно, что мы убираем их с сайта? Или лучше вывести пометку "не доступен для заказа" и оставить их на сайте?

Ответ: Важно разделять страницы товаров на две категории: те, которые приносят трафик, и те, которые не приносят трафика. Вот как вы можете поступить в каждом из этих случаев:
1️⃣ Товары, которые приносят трафик:
▫️Добавьте блок "Похожие товары". Это хороший способ удержать посетителей на сайте и увеличить вероятность совершения ими заказов. Путем сохранения этих страниц вы сохраняете поток органического трафика, сохраняете присутствие в поисковых результатах, и у вас есть возможность увеличить конверсию, предлагая похожие товары.
2️⃣ Товары, которые не приносят трафика:
▫️Проверьте наличие внешних ссылок: Посмотрите, есть ли внешние ссылки, указывающие на эти страницы. Если есть, то наилучшим вариантом будет настроить 301 редирект на ближайший аналогичный товар или категорию. Это поможет сохранить часть SEO-авторитета и обеспечить удобство для посетителей, которые могли бы случайно попасть на эти страницы.
▫️Если нет внешних ссылок, и нет трафика то такие страницы можно удалить. 
👉 Итак, разделение и последующие действия в зависимости от того, приносит ли товар трафик или нет, позволят вам оптимизировать сайт с точки зрения SEO, улучшить пользовательский опыт и увеличить вероятность совершения покупок.
Вопрос: Допустим, есть категория "мячи" и посадочные страницы "футбольные мячи", "баскетбольные мячи" и т.д.

Если в метатегах категории "мячи" прописаны перечисления видов мячей (футбольные, баскетбольные и т.д.), не будут ли эти страницы (категория и посадочные) между собой конкурировать?

Ответ: 💡Такие страницы, при неверном подходе, действительно могут конкурировать между собой. Вы можете столкнуться с т.н. каннибализацией ключевых запросов.
Однако в вашем примере структуры с категориями “мячей” проблем быть не должно при правильной оптимизации. 
1️⃣ Оптимизируйте общую категорию под общие запросы “мячи” (возможно, в зависимости от ассортимента, имеет смысл использовать более узкие ключи - “спортивные мячи”). 
2️⃣ При этом подкатегории будут оптимизированы под определенные виды мячей.
Мы не рекомендуем в общей категории “мячи” агрессивно перечислять все виды мячей в Title, заголовках и хлебных крошках. 
👉 При этом будет нормально и даже желательно перечислять основные виды мячей в текстах, ссылках в облаке тегах, ссылках в меню, в фильтрах.
Если все эти аспекты учтены, вероятность того, что страницы будут конкурировать между собой, снижается. Каждая страница будет иметь свою уникальную нишу и набор ключевых слов.
Вопрос: Могут ли комментарии под статьями сильно разбавлять релевантность страницы? Проверил страницы с большим количеством комментов и у некоторых сильно изменились "главные ключи страниц". Стоит удалять комментарии в таком случае?

Ответ: 💡Да, комментарии под статьями действительно могут влиять на релевантность страницы и разбавлять ее.
Чаще всего причина может заключаться в том, что в комментариях используются ключевые слова, которые не относятся к контенту страницы (т.е. страница не “заточена” под них). В результате, если такая страница имеет большой авторитет, то поисковые системы могут путать релевантность страницы и выводить ее в выдаче по ключам, которые не релевантные ей.
👉 Если вы заметили, что комментарии сильно изменили релевантность страницы, тогда возможно стоит их удалить. Так вы сможете улучшить качество страницы и вернуть ее позиции в поиске.
Однако, прежде стоит убедиться, что комментарии не содержат ценной информации. Удалять нужно только нерелевантные комментарии, которые не содержат вопрос или ответ по теме, полезной информации, или релевантных странице ключей, так как их отсутствие может наоборот негативно повлиять на рейтинг страницы.
⚠️Также, удаляйте их постепенно, определив количество в день/неделю, чтобы не повлиять негативно на трафик и позиции. А чтобы минимизировать такие последствия, рекомендуем заменять удаленные отзывы/комментарии на полезные, которые содержат релевантные странице ключи.
Вопрос: На сайте сделаны редиректы, чтобы в конце адреса не было слэша, т.е. урлы вида https://site/category/page

Нужно ли править ссылки на сайте так же, чтобы все они были без слэша на конце? Влияет ли это как-то на продвижение? Или не будет ошибкой оставить ссылки типа https://site/category/page/ ?

Ответ: 💡Так как редиректы проставлены и при клике на ссылку https://site/category/page/ будет открываться https://site/category/page, то в целом можно ничего не менять. 
👉 Но, при наличии 301 редиректов оказывается влияние на краулинговый бюджет, хоть и незначительное и роботы будут реже посещать эти страницы, так как они получают самый низкий приоритет на сканирование. В конечном итоге, это может привести к выпадению страниц из индекса. А это уже критическая проблема для ранжирования сайта в поиске. 
Кроме того, обработка ссылок через 301 редирект, увеличивает нагрузку на сервер, что является достаточно негативным фактором.
⚠️Поэтому, в идеале исправить ссылки на реальные, исключив 301 редирект из внутренних ссылок.
Вопрос: В индекс попало множество страниц с различными вариациями фильтров. У большинства из них частотность равна нулю. Но удивительным образом они быстро поднялись в ТОП.

Некоторые страницы конечно не проиндексировались, наверное из-за мизерного наполнения товарами. Но самое интересное, позиции в ПС после этого просели у всего сайта.

В связи с этим у меня два вопроса:
а) Возможно ли, что такие страницы действительно могли повлиять на позиции в поисковой выдаче или это просто мои беспокойства?
б) Какие действия следует предпринять?

Ответ: 💡Из описания ситуации следует, что робот ПС обошел на вашем сайте множество низкокачественных страниц, так как у подобных страниц обычно:
▫️Не уникализированы метатеги, тексты, заголовки. Они обычно подтягиваются от страниц категорий.
▫️Малое количество товара на страницах. Даже у самых больших агрегаторов и ИМ при выборе нескольких параметров фильтра на страницах остается крайне малое количество товара. Иногда даже не самого релевантного запросу пользователя.
Поэтому неудивительно, что многие страницы не проиндексировались. Индексация таких URL и их первые места скорее случайность.
👉 Однако, сказать однозначно, что все страницы сайта просели именно по причине сканирования этих URL нельзя.
Даже если предположить, что часть проиндексированных фильтров каким-то образом задела основные страницы в индексе, то просадка не должна была охватить весь сайт.
⚠️ Что делать в этой ситуации:
1️⃣ Однозначно, необходимо закрыть от индексации страницы с множеством вариантов фильтров.
2️⃣ Также стоит проанализировать попавшие в индекс страницы. Если у них появились переходы по релевантным содержанию СЧ или НЧ запросам, то стоит задуматься о их оптимизации и дальнейшем продвижении.
3️⃣ Если они бесполезны - то присвойте им 404 ответ сервера, чтобы быстрее удалить их из индекса.
4️⃣ По поводу просадки: проанализируйте выдачу и посмотрите как она поменялась - если просели не только вы, то страницы фильтров явно не причем.
Если просели вы, то необходимо провести более качественные и подробный анализ сайта. Вы можете проанализировать просадку самостоятельно, используя наш гайд или обратиться к нам с заявкой, чтобы мы смогли провести более детальный анализ ситуации.
Вопрос: Можно ли с помощью крауда загнать страницу в индекс? Или для этих целей подходят только качественные ссылки?

Ответ: 💡Использование крауд-маркетинга может в некоторых случаях помочь загнать страницу в индекс поисковых систем. Однако, стоит учесть несколько важных моментов:
1️⃣ Форумные странички часто не индексируются как раз из-за качества ресурса, учитываете это перед покупкой крауда. Поэтому можно использовать крауд с качественных площадок, страницы и ветки которых точно индексируются ПС. 
2️⃣ Качество ссылок имеет огромное значение для поисковой оптимизации. Ссылки с авторитетных, тематически связанных ресурсов значительно эффективнее влияют на индексацию и ранжирование, чем множество ссылок с низкокачественных и несвязанных сайтов.
3️⃣ Поисковые системы активно борются с попытками манипулировать ранжированием с помощью искусственных ссылок. Если поисковый алгоритм обнаружит, что ссылки на вашем сайте выглядят неестественно или созданы с целью манипуляции ранжированием, это может повлечь негативные последствия, включая снижение рейтинга вашего сайта.
4️⃣ Важно, чтобы ссылки на вашем сайте были разнообразными и вписывались в контекст тематики вашего сайта. Если большая часть ссылок приходит с однотипных и несвязанных ресурсов, это может поднять подозрения у поисковых систем.
5️⃣ Слишком быстрое накопление ссылок может также вызвать подозрения. Естественный процесс набора обратных ссылок не происходит мгновенно, поэтому важно учесть этот аспект.
6️⃣ Ваш контент должен быть качественным и ценным для пользователей. Посетители должны хотеть делиться ссылками на ваш ресурс, потому что он предоставляет информацию или решения, которые им действительно интересны.
👉 В идеале, для индексации и успешного поискового ранжирования важно строить органичный процесс получения ссылок, привлекая внимание качественным контентом и активной деятельностью, которая будет стимулировать пользователей делиться ссылками на ваш ресурс.
Так же важно понимать, что качественные ссылки на ваш сайт и на страницу которую вам нужно проиндексировать, дадут больше эффекта в будущем, чем крауд.