kiriyk/seo_tg huggingface dataset:
Вопрос: Известно, что неуникальность технических характеристик товаров интернет-магазина — нормальное явление. А что на счет текстовых описаний? Есть интернет-магазин, в котором текстовые описания товаров на несколько тысяч символов неуникальны, в том числе и в рамках сайта (например, описание линейки товаров). Что делать с такими текстами? Удалять полностью, оставлять несколько важных для покупателя предложений или можно вообще не трогать?

Ответ: Поисковая система нормально относится к неуникальным блокам характеристик товара, но за полотно неуникального текста описания товара – то тут уже могут возникнуть проблемы.
Всё зависит от ранжирования сайта, если ваш сайт с такими неуникальными текстами занимает высокие позиции в выдаче – вы можете их оставить. Но если у вашего сайта явные проблемы с ранжированием – от таких текстов стоит отказаться. Вы можете:
1️⃣ Попытаться адаптировать эти тексты в блок характеристик, разбив его на несколько смысловых частей (если это вообще возможно);
2️⃣ Сделать рерайт текстов, чтобы повысить им уникальность (если тексты действительно полезны для пользователей).
💡 Сделайте пару контрольных групп по 15-20 товаров, в первой группе удалите тексты, во второй – оставьте как есть, в третьей – адаптируйте их в блок характеристик, в четвертой – уникализируйте. Одномоментно выпустите на сайте все эти 4 группы и посмотрите как изменится позиция сайта и трафик. 
Та группа, которая покажет наилучший результат, подскажет вам, как правильно поступить в конкретно вашей ситуации.
Кроме того, обдумайте, а нужны ли вообще тексты на карточках товара. Если тексты только для увеличения контентной части и не несут пользы для посетителей, то лучше от них избавиться. Уникальность на карточках товара всегда можно повышать за счет других более полезных элементов, например за счет отзывов.
Вопрос: Какие сейчас есть способы закрытия ссылки от поисковиков? Есть ли смысл закрывать через AJAX И JS?

Ответ: AJAX И JS на сегодня действительно реальный и действенный способ закрытия ссылок от поисковых систем и есть смысл пользоваться этим методом. При использовании AJAX И JS Google c высокой вероятностью не увидит ссылки, тем не менее, они останутся видимыми для пользователя. Файл скрипта при этом должен быть закрыт от ботов Google, как вариант в файле robots.txt.
При этом помните, если не корректно закрыть от индексации скрипт, то роботы Google все равно смогут увидеть скрытую ссылку. Кроме того, некорректная реализация может повлиять и на индексацию других элементов сайта.
Вопрос: Можно ли в качестве посадочной выбирать страницу товара, а не категории/подкатегории товаров (при малом ассортименте, чтобы не плодить подкатегории с 1-2 товарами)?

Ответ: Да, при наличии всего одного товара в категории можно, действительно, сделать посадочной карточку товара. Такая страница товара, скорее всего, будет лучше ранжироваться, чем пустая категория. Но вы должны понимать, что семантика такой карточки товара должна покрывать хотя б частично семантику категории. 
🔸 И при этом во многих конкурентных тематиках Google может все равно отдавать предпочтение полноценным категориям, наполненным большим количеством товара. В первую очередь это будет связано с интентом, который пользователь хочет получить. Если юзер условно вводит запрос «купить стиралку», он ожидает ассортимент из которого можно сделать выбор. И попадая на страницу одного товара он, вероятно, будет разочарован и вернется в выдачу.
🔸 Однако, когда у вас ограниченное количество продукции, то категории с 1-2 товара на выбор, действительно, в большинстве ситуаций только сделают еще хуже. Такие страницы будут считаться как низкокачественные и не будут вообще хорошо ранжироваться.
Вопрос: Как продвигать форум в поисковых системах? Есть ли какие-то важные аспекты, помимо структуры, внешних ссылок? Как сделать внутреннюю оптимизацию форума? Что закрыть в robots.txt? Какие еще каналы привлечения пользователей на форум посоветуете?

Ответ: Самой сложной задачей во время работы с форумом — это его продвижение. Как уже говорилось ранее, раскрутка такого ресурса сильно отличаются от остальных, поэтому некоторые классические методы продвижения могут оказаться неэффективными.
Внутренняя оптимизация для продвижения форума сводится к качественному наполнению и удобной навигации. Это первое, о чем стоит позаботиться. А уже после этого переходить к внешним факторам.
🔸 Самый проблематичный аспект во внутренней оптимизации форума — это формирование семантического ядра. Контент на сайте такого типа создается пользователями, за счет чего сложно заниматься оптимизацией страниц (использование ключевых слов в постах, проработка метатегов). Поэтому для решения этой проблемы создайте блог с тематическими статьями, за счет чего и будет продвигаться форум. При этом важно, чтобы все материалы были качественными и полезными пользователям. 
🔸 Тщательно проанализируйте малополезные и мусорные страницы на форуме. Их необходимо закрыть в robots.txt от индексации, чтобы не портить рейтинг сайта. Например, профили пользователей, галерею.
🔸 Создайте карту с основными разделами форума. Это поможет поисковым роботам быстрее индексировать страницы, которые создаются.
🔸 Займитесь внутренней перелинковкой между ветками форумов.
🔸 Важно, чтобы на форуме присутствовала автоматическая модерация сообщений (закрытие ссылок Nofollow, отправка ссылок в раздел песочницы на их верификацию).
🔸 Закройте тегом Nofollow любые ссылки, кроме тех, что важны для продвижения.
👉 Но только на SEO-оптимизации сайта далеко форум не уедет и результаты в виде посетителей появятся не скоро. Поэтому помимо этого используйте другие каналы продвижения:
✅ Контекстная реклама. Это самый эффективный метод продвижения. Однако стоит понимать, что это довольно дорогой метод. Если запросы высокочастотные, то есть с большим трафиком, то цены за каждый клик по объявлению будет соответствующей.
✅ Реклама на сторонних ресурсах. В качестве альтернативы можно договориться с вебмастерами о размещении рекламы вашего ресурса на их сайте как на платной, так и безоплатной основе. Таким образом вы не только приобретете новых пользователей, но и повысите ссылочную массу форума, что положительно повлияет на ранжирование в поисковых системах. 
✅ SMM-продвижение. Помимо привлечения новых пользователей, наличие соц.сетей служит сигналом для поисковиков, что у сайта живое сообщество, что положительно влияет на его ранжирование. К тому же, ссылки в соцсетях естественны и разбавляют ссылочный профиль.
✅ Email-рассылка. Когда форум начнет получать первых пользователей, можно запустить рассылку по электронной почте. Это позволит пользователям вновь и вновь возвращаться на форум для обсуждения интересной темы.
Вопрос: Влияет ли смена дизайна или смена темы CMS на ранжирование сайта в Google без изменения контента (или минимальные изменения) и URL?

Ответ: Смена дизайна или смена темы CMS без изменения контента и URL влияет на ранжирование сайта в Google. Например, смена цвета кнопок и их расположение, форм взаимодействия, видимость и расположение меню и т.п., может как позитивно повлиять на поведенческие факторы на сайте, так и наоборот. Если новый дизайн будет более удобным и понятным для пользователей, соответственно поведенческие показатели, такие как время на сайте и уровень отказов могут улучшиться и это положительно скажется на ранжировании. Или же наоборот, окажется, что новый дизайн будет не удобным для пользователей и это отрицательно скажется на его ранжировании.
💡 После редизайна сайта без изменения контента и URL часто бывают технические ошибки. Чтобы минимизировать риски при смене дизайна или темы, особенно если у сайта высокие позиции и трафик, необходимо:
✅ Проводить смену дизайна лучше в несезон. Также создайте бэкап сайта, чтобы можно было откатить все изменения, если что-то пойдёт не по плану.
✅ Важно оптимизировать скорость загрузки и протестировать юзабилити новой версии сайта на отдельном домене или поддомене (обязательно закройте от индексации), провести технический анализ и только потом размещать на основном домене. Также важно убедиться в оптимизации для мобильных устройств. 
👉 После редизайна необходимо внимательно следить за изменениями в позициях и трафике, а также анализировать поведенческие показатели. Google необходимо время для повторной индексации страниц, поэтому первые недели после редизайна позиции и трафик могут быть нестабильными. 
Если в течение продолжительного времени позиции и трафик не восстановятся, то это говорит о серьёзных проблемах на сайте. Тогда нужно исправить ошибки и пересмотреть новый дизайн, и доработать его, или откатить все изменения.
Вопрос: Есть к примеру много карточек товаров с разными цветами без частотки. По правильному с них нужно проставить rel canonical на основной товар который ищут? Ещё вопросы вот в чем: 
1️⃣ Если проставить на все товары кроме одного основного роботс noindex чем это хуже будет?
2️⃣ Затрачивается ли краулинговый бюджет при использовании rel canonical? Т.к. насколько я знаю, то Google затрачивает краулинговый бюджет на страницы с noindex.

Ответ: Нужно отталкиваться от тематики, в одной тематике товар с другим цветом будет считаться отдельным товаром и его нужно индексировать отдельно, в другой тематике товары разного цвета нужно закрывать, поставив каноникал только на одну страницу. Проанализируйте ТОП среди конкурентов и посмотрите, как они решали эту проблему. 
💡 Помимо canonical вы можете объединить карточки товара при помощи AJAX. 
➕ Среди плюсов данного решения можно выделить:
🔸 уменьшение страниц с по сути дублирующим контентом;
🔸 удобство пользователей в скорости работы карточки товара.
➖ Среди минусов:
🔸сложность в индексации AJAX страниц поисковыми системами, вам нужно точно убедиться, что все необходимые элементы проиндексированы;
🔸 уменьшение количества товаров в каталогах, это важный коммерческий фактор;
🔸 отдельные НЧ запросы могут хуже ранжироваться (например, тот же цвет товара);
Также вам стоит убедиться в том, что после слияния страниц через AJAX вы не потеряли уникальный контент этих карточек: отзывы, рейтинги, вопросы.
⚠️ Noindex лучше не ставить, вы уменьшаете таким образом количество страниц, которые могут участвовать в поиске с учетом того, что по этим страницам будут ходить пользователи и накапливать на них поведенческие показатели. Выберите либо каноникал, либо AJAX.
Краулинговый бюджет это общий объем ссылок, которые робот поисковой системы может переобойти за период и не важно, закрыли вы их в роботсе, поставили вы на них каноникалы или добавили красивые картинки с уникальными текстами. Поэтому да, краулинговый бюджет вы таким образом точно не сэкономите.
Вопрос: В интернет-магазине с ассортиментом около 15 тысяч товаров (половина не в наличии) все карточки товаров разных размеров и цветов одного и того же товара сделаны отдельными страницами. У сайта есть уже трафик и позиции из поиска. Нужно ли склеивать такие карточки товаров в одну (где будет подгрузка через AJAX) или это может навредить больше, чем принести пользы? Как поисковики могут отреагировать на такие изменения?

Ответ: Объединение одинаковых карточек товаров действительно может повлиять на текущие позиции сайта в поисковой выдаче. Все зависит от вашей тематики и региона, а также от конкурентности в нише. Рассмотрим плюсы и минусы этого решения.
➕ Плюсы от объединения карточек товаров:
🔸Покупатели смогут видеть все размеры и цвета товара на одной странице, что делает процесс выбора удобнее;
🔸Объединение карточек может сократить количество страниц с по сути дублирующимся контентом;
🔸Вместо множества страниц с вариациями товара пользователи видят одну страницу с удобным выбором опций.
➖ Минусы от объединения карточек товаров:
🔸Контент, загружаемый через AJAX, может быть сложнее для индексации поисковыми системами, что может негативно повлиять на видимость страниц;
🔸Уникальные ключевые слова для каждой страницы товара могут хуже ранжироваться (например отдельные размеры и цвет), что может снизить видимость сайта по НЧ;
🔸Потеря отдельных отзывов и рейтингов может снизить доверие посетителей и снизить видимость в листингах.
🔸Есть опасность, что из-за уменьшения количества товаров в категориях, ухудшатся коммерческие факторы ранжирования. Следите за тем, чтобы категории не опустели и имели достаточное количество товаров.
⚠️ Если вы все же решите объединять карточки, то учтите следующие моменты:
✅ Используйте 301 редиректы и перенаправляйте старые страницы на новую объединённую, чтобы сохранить ссылочный вес и позиции;
✅ Убедитесь, что контент, загружаемый через AJAX, доступен для индексации поисковыми системами. Рассмотрите возможность использования статического HTML для критически важного контента.
Когда нет однозначного ответа, мы рекомендуем проводить тестирование на одной из больших категорий сайта. Объедините таким образом товары на части сайта и замеряйте полученный результат в течение месяца-двух. Если не наблюдаете снижения, то данное изменение можно раскатывать на весь сайт.
Вопрос: Реализовали региональность при помощи поддоменов. В мета данных, а также в текстах есть указание топонимов. В последнее время столкнулись с проблемой: региональные поддомены вылетают из выдачи Google по ряду запросов и заменяются аналогичной страницей на основным домене со снижением позиции в выдаче соответственно. В чем может быть причина? Можно ли определить необходимое количество упоминания города в тексте как-то? Или причина может быть в том, что основная доля трафика приходится именно на основной домен? Какие есть рекомендации по продвижению региональных поддоменов?

Ответ: Скорее всего, у вас речь идет о региональных поддоменах на одном языке. В таком случае вы столкнулись с типичной проблемой. Хоть поддомены и связаны одним брендом, но для Google это все еще отдельные сайты. Google может предпочесть отображать основную страницу вместо региональной, особенно если она более релевантна по ряду факторов.
🔸 Основной домен имеет более сильный ссылочный профиль и контент, чем региональные поддомены.
🔸 Если контент на региональных поддоменах слишком похож на основной, Google может считать его дубликатом и выбрать один вариант для показа.
🔸 Региональные поддомены могут быть недостаточно качественно оптимизированы под конкретные регионы и запросы.
👉 Каждая ситуация уникальна, но в общих чертах можем порекомендовать приложить усилия в направлении того, чтобы дать понять поисковику, что ваши поддомены действительно имеют ценность для пользователей в локальном поиске.
✅ Каждый региональный поддомен должен иметь уникальный контент, адаптированный под регион. Это включает в себя не только упоминание города, но и информацию о местных услугах, событиях, партнерах и т.д.
✅ Используйте уникальные локальные данные для указания местного адреса, телефонного номера и других геоданных на каждом поддомене. Оформите все эти данные с помощью микроразметки Local Business. 
✅ Стройте ссылочный профиль каждого поддомена с местных сайтов и каталогов. Кроме того зарегистрируйте все свои региональные офисы в Google Мой Бизнес.
✅ Даже если все ваши поддомены на одном языке (например, на английском), но в разных регионах, все равно используйте тег hreflang для указания языковой версии и географического региона для каждой страницы. Это поможет Google понять, какая страница предназначена для какой аудитории.
Вопрос: Сколько процентов мусорных страниц в индексе поисковых систем считается критичным и надо с ними бороться? Например, закрывать от индексации или делать их 404 ошибкой.

Ответ: Точного универсального процента мусорных страниц, который считается критичным, не существует. Это зависит от многих факторов, включая размер сайта и его тематику. 
Важно ориентироваться не на процент мусорных страниц, а динамику. Если в отчете консоли стабильно растет количество просканированных, но не проиндексированных страниц, то можно говорить о том, что есть какая-то техническая проблема, из-за которой появляются мусорные страницы.
👉 Обычно рекомендуется принимать меры, если:
1️⃣ Более 10-15% страниц сайта являются низкокачественными или дублирующимися. Это условный порог, при превышении которого стоит задуматься об оптимизации контента и структуры сайта. Вы замечаете снижение органического трафика или позиций в выдаче.
2️⃣ Вы замечаете снижение органического трафика или позиций в выдаче. Инструменты вебмастера показывают проблемы с индексацией.
3️⃣ Инструменты вебмастера показывают проблемы с индексацией. Увеличился показатель отказов на страницах.
Прежде чем принимать меры борьбы, нужно проанализировать неиндексируемые страницы. Чаще всего такими являются как раз таки мусорные. Разделите все страницы по типу проблем, чтобы для каждой группы выбрать оптимальный метод их устранения.
💡 Методы борьбы с мусорными страницами:
🔸 Закрытие от индексации: используйте мета-тег “noindex” или файл robots.txt для закрытия страниц от индексации. В большинстве случаев это помогает решить проблему с мусорными страницами (дубли страниц, страницы с GET-параметрами).
🔸 Редиректы и ошибки 404: случайные дубли страниц лучше перенаправлять на релевантные существующие страницы с помощью редиректов 301. Если страница  неактуальна, то рекомендуется возвращать ошибку 404.
🔸 Улучшение качества контента: обновление и улучшение качества контента на страницах может значительно повысить их ценность и привлекательность для пользователей и поисковых систем. 
Проанализируйте, в чем причина того, что страница малокачественная: 
▫️на странице нет контента - заполняем страницу позеным текстовым контентом, таблицами, чтобы бот начал ее индексировать.
▫️мало товаров в листинге - добавляем товары или скрываем от индексации ботами этот листинг.
Вопрос: Клиент переехал на другую CMS. Выяснилось, что релевантные страницы поменялись, сайт просел. В результате переезда поменяли дизайн страниц и URL страниц. Могла ли смена дизайна и URL сказаться на смене релевантности страниц? Или причина в другом. Переезд был недели 3 назад.

Ответ: Самой вероятной причиной является смена URL адресов сайта. Любое изменение в адресе страницы приводит к обнулению всех ее показателей:
🔸поведенческих метрик;
🔸количества входящих ссылок;
🔸доверия поисковых систем.
При этом происходит переиндексация страниц по новым адресам, а по старым возникает 404 ошибка. Из-за переиндексации страниц, поисковой системе необходимо заново определить какие страницы соответствуют тем или иным запросам. А так как все страницы сайта полностью обнулены в глазах поисковых систем, то им необходимо время, чтобы составить полную картину по сайту.
Что касается смены дизайна, то он в целом тоже может оказывать влияние на определение релевантной страницы. Так, например, в новом дизайне могут добавляться какие-то вхождения запросов или просто добавляться слова, которые разбавляют семантику страницы и делают ее менее релевантной тому или иному запросу. К тому же изменения в дизайне могут изменить порядок каких-то блоков, менять их вид и заметность. Такие изменения могут вести к потере поведенческих, а они влияют на ранжирование сайта. 
⚠️ Чтобы исправить ситуацию с просадкой сайта, необходимо выявить причину проблемы. Самым простым способом в вашем случае это максимально быстрое исправление ситуации с URL адресами страниц. Два варианта:
1️⃣ Вернуть первоначальные URL адреса.
2️⃣ Проставить 301 редиректы со старых URL адресов на новые, чтобы не обнулять результаты предыдущих работ.
Если через какое-то время позиции не вернутся, то высока вероятность влияния именно смены дизайна сайта. В этом случае необходимо провести сравнительный анализ сайта на старом дизайне и на новом, чтобы выявить элементы, которые могли бы оказывать влияние на определение релевантной страницы поисковыми системами.
Вопрос: Хочу завести блог, собирать записи разных сайтов по конкретной тематике. Я знаю, что можно указать ссылку на источник, но как это сделать правильно ? И что будет, если буду "цитировать" много чужого текста?

Ответ: Сбор и систематизация информации по интересующей вас теме имеет право на существование, но такой формат статьи имеет ряд нюансов. 
Действительно необходимо обязательно указывать источники вашей информации. Обычно это делают в конце статьи и прописывают:
▫️Ф.И.О. автора или название организации, выпустившей материал;
▫️Точное название статьи, книги или другого источника;
▫️Когда материал был впервые опубликован;
▫️Активная гиперссылка на оригинальный источник.
Кроме того, указывать источник можно и в якорных сносках, рядом с цитатой, как это сделано на той же Википедии. При этом если вы используете чужие изображения, то не забывайте также указывать их автора и источник, причем сразу в описании под изображением.
⚠️ При этом старайтесь цитировать только те фрагменты, которые необходимы для иллюстрации вашей мысли или аргумента. Однозначно избегайте полного копирования чужих текстов. И обязательно оформляйте цитату кавычками, чтобы четко обозначить, где начинаются и заканчиваются чужие слова, не забывая также использовать html синтаксис для этого - <blockquote>.
Если вы будете часто и в большом объеме копировать чужие тексты без надлежащего оформления, это действительно может привести к негативным последствиям, ваш контент просто не будет считаться уникальным и, скорее всего, Google не будет его нормально ранжировать. 
👉 Ваша задача добавлять уникальность и ценность в ваш контент:
✅ Добавляйте от себя анализ или комментарии к цитатам. 
✅ Добавляйте свои исследования и наблюдения
✅ Используйте разные виды контента (текст, видео, изображения, инфографики).