kiriyk/seo_tg huggingface dataset:
Вопрос: Нужно сослаться на сайт, у которого проблемы с ssl и все браузеры на это ругаются. Может ли это негативно повлиять на сайт донор? (ссылка закрыта nofollow)

Ответ: Теоретически, ссылка на сайт с проблемами SSL напрямую на рейтинг вашего сайта и его ранжирование не повлияет. 
⚠️ Важно учитывать, что атрибут nofollow не запрещает Google ботам переходить по ссылке (Справка). Мало того, такая ссылка, вероятнее всего, будет учитываться и частично передавать свой вес. 
И пользователи также могут переходить по таким ссылкам. Пользователи гораздо больше доверяют ресурсам, которые дают гарантию защиты их персональных данных. Так как браузеры для таких сайтов показывают предупреждения о небезопасном соединении, то пользователи, которые перейдут по ссылке и увидят предупреждение, могут усомниться в надежности и достоверности вашего сайта, что отчасти и косвенно может повлиять и на вашу репутацию. Но по факту это влияние если и есть, то крайне незначительное.
Вопрос: Имеется интернет магазин запчастей с количеством страниц 100 000+ и изначально неправильно была построена структура. Необходимо сделать категории для товаров (изначально их не было) вопрос в следующем: как правильно делать редиректы с текущих страниц на будущие? Имеется ввиду, если сразу 100 000 страницам поставить редирект? Или по 100 страниц переводить?

Ответ: Мы так понимаем, неприятность ситуации в том, что вам сейчас необходимо из-за переработки структуры сайта менять URL большого количества страниц на сайте. Однако, если большая часть из этих страниц это товары (автозапчасти), то подумайте о том, чтобы оставить их URL такими, как они есть сейчас. Просто в новых категориях будут старые URL товаров, если конечно ваша CMS позволяет это сделать. Таким образом, вы значительно уменьшите масштаб проблемы.
👉 Если все действительно складывается так, что необходима переадресация большей части страниц сайта, то в большинстве ситуаций мы рекомендуем сразу настроить редиректы для всех страниц. Таким образом, получится сразу показать поисковым ботам обновленную структуру сайта с заменой всех внутренних ссылок.
При этом разбиение процесса на этапы может быть может быть полезно, если есть опасения по поводу нагрузки на сервер или рисков ошибок. Однако это может привести к временной путанице для поисковых систем и пользователей с поэтапной сменой структуры.
✅ Не забудьте после всех настроек проверить внутренние ссылки. Не должно оставаться ссылок на старые страницы.   
✅ Также не забудьте обновить и залить в консоль новые карты сайта.
✅ Перепроверьте тщательно все команды в robots.txt, адаптировав их под измененную структуру URL.
✅ При массовом редиректе убедитесь, что сервер справится с увеличенной нагрузкой, особенно в первые дни после внедрения изменений.
✅ Поменяйте внешние ссылки, которые вы контролируете (например, в соцсетях, справочниках, картах и т.п.), там где это необходимо на обновленные URL.
Вопрос: Как понять, попадает ли сайт под YMYL тематику или нет? Нужно ли вносить все правки для простого информационника, например, создавать страницы авторов и т.д.?

Ответ: Под YMYL тематику попадают все сайты, которые могут повлиять на финансовое благополучие, здоровье, безопасность или счастье пользователей. Если обобщить, то под YMYL попадают такие тематики:
🔸Здоровье, медицина и юриспруденция;
🔸Новости, образование и редакция;
🔸Электронная коммерция и онлайн магазины.
👉 Более подробно об определении категорий сайтов попадающих под эти критерии можно посмотреть в руководстве для асессоров. 
Обычно информационные ресурсы также воспринимаются, как сайты YMYL тематики, так как многие из статей могут оказывать влияние на мнение пользователей, а значит должны быть достаточно экспертными в своей области, чтобы информация была актуальна и правдива.
И да, создание страниц авторов является одни из многих факторов, подтверждающих экспертность и авторитетность вашего ресурса (EEAT). 
⚠️ Важно! Сами по себе страницы авторов практически не окажут никакого влияния, гораздо важнее иметь качественный контент (подробнее тут) и доказать экспертность автора в рассматриваемом вопросе. 
А это можно сделать, имея действительно “прокачанный” профиль автора. Он должен быть в определенной степени известен интернету в своей области. Этого можно добиться, прокачивая профили ваших авторов с помощью соцсетей, активного блоггинга на других ресурсах и т.п.
Вопрос: Стандартная проблема - ранжируется не та страница. Думаем настраивать 301 редирект с не той на ту страницу, что нам нужно. Это рабочий вариант вообще или не сработает ничего?

Ответ: 301 редирект рабочий вариант в том случае, если перенаправляемая страница похожа по тематике на целевую и несет схожую ценность для пользователя. Редирект помогает поисковым системам понять, что теперь актуальна именно целевая страница. Но это может занять время и нет полной гарантии, что поисковики начнут ранжировать целевую страницу. 
Если же страницы отличаются по содержанию, но неправильно оптимизированы, 301 редирект не решит проблему, а только запутает поисковые системы. 
💡 В этом случае необходимо сделать следующее:
✅ Правильно распределить какие ключевые слова должны продвигаться на каждой из страниц.
✅ Правильно настроить перелинковку. Например, поставить больше внутренних ссылок на целевую страницу, используя релевантные анкоры.
✅ Закупить ссылок на релевантную страницу с релевантными анкорами.
Вопрос: Google активно обходил и обходит страницы поддоменов разработчиков. Мы сразу этого не заметили, сейчас эти поддомены закрыли, но роботы успели обойти большое количество таких страниц.
Как удалить их из базы Google или роботы сами перестанут обходить данные страницы после закрытия поддоменов в robots.txt?

Ответ: Наилучшим вариантом скрыть поддомены от поисковых систем – заблокировать к ним доступ при помощи пароля. Даже если вы просто закроете эти поддомены в файле robots, Google все равно может ходить по этим страницам, но не оповещать вас об этом.
👉 Если технические страницы на поддомене уже проиндексированы, просто закройте их от индексации в файле robots. Важно для каждого поддомена сделать свой отдельный файл robots, ведь поддомен расценивается поисковой системой как отдельный сайт. 
⚠️ Обязательно убедитесь, что на тестовый поддомен нет никаких ссылок!
Если после индексации поддомена вы не заметили никаких негативных моментов – можете не обращать внимания на их наличие в индексе, со временем они просто пропадут оттуда. Но это не быстрый процесс, удаляться из индекса они могут достаточно долго.
Если же вы заметили просадки по трафику или по позициям – воспользуйтесь инструментом «Удаление» в Google Search Console и удалите из выдачи дубли тех страниц на поддоменах, которые просели у вас в выдаче на основном сайте.
Вопрос: Есть 3 сайта одной тематики ( 2 из трех в одном регионе). При покупке ссылок, есть ли смысл добавлять ссылки на все три сайта в одну статью, при условии что статьи 5 - 10 к знаков? Цель: продвижение всех трех сайтов.

Ответ: Технически, такие ссылки можно разместить в одной статье, но важно учитывать некоторые моменты, чтобы был профит в них с точки зрения SEO:  
🔸 Важно, чтобы такие ссылки органично вписывались в статью. Если вы пишете ТОП или обзор, то наличие 3 или даже больше ссылок вполне нормально. 
🔸 Если для вас важно получить целевой трафик с таких ссылок, то учитывайте, что какой-то ресурс будет получать его больше, так как находится в статье выше.
🔸 Учитывайте региональность при написании статьи. Так как один из сайтов отличается регионом, то статья может не принести для него той же ценности, что и для двух других. Или же на ваш сайт будут приходить пользователи не из вашего целевого региона, а это в свою очередь может повлечь ухудшение поведенческих метрик за счет отсутствия вовлеченности.
С одной стороны такой подход позволяет сэкономить на бюджете для размещения и значительно сократить время написания контента. С другой стороны, велика вероятность, что каждый из сайтов получит лишь часть ссылочного веса. 
👉 Мы считаем, что оптимальная стратегия - это размещение ссылок на сайты по отдельности, с фокусом на качество контента и естественность ссылочного профиля. Если же ваш бюджет ограничен, то лучше делать меньше размещений, но более качественных, чем рисковать всеми сайтами одновременно.
Вопрос: Привязал сайт к новому домену. По сайтмапу все отлично, робот настроен правильно, страницы тоже хорошие с нормальным контентом (сайт по изготовлению лестниц). И уже месяц Google не индексирует мои страницы. Не понимаю в чем проблема, отправляю страницы на проверку и гугл консоль пишет, что все ок, страницы доступны для индексации, но в итоге так и не индексирует. Подумал, что мало ссылающихся на сайт источников и т.д. и т.п., но добавил и каталоги, и обновил контент, добавил еще одну страницу для сайта. Все хорошо, в CMS нет ограничений по индексации, но в итоге все равно без результата. В чем может быть проблема, подскажите, пожалуйста?

Ответ: Новый домен - это всегда своеобразная рулетка. Невозможно предсказать, какой новый сайт быстро попадет в индекс, а какой будет полгода существовать в т.н. «песочнице». Это условное состояние, когда Google ограничивает индексацию и ранжирование недавно созданных сайтов. Это своего рода "период испытания", чтобы предотвратить продвижение сайтов, которые могут быть низкокачественными или временными.
"Песочница" не является официально подтвержденным алгоритмом Google, но для многих новых сайтов подобное "испытание временем" — обычное явление. Обычно, если продолжать работать над авторитетом и контентом сайта, он покидает "песочницу" через несколько месяцев.
💡 Для ускорения:
 
🔸 Увеличьте количество качественных ссылок с релевантных и авторитетных ресурсов, например, тематических форумов, блогов или партнерских сайтов.
🔸 Набирайте авторитет своего бренда, зарегистрируйтесь в Google Business, различных соцсетях, отзовиках, QA площадках. Проявите социальную активность, которая покажет поисковику, что ваш бренд реальный и живой.
🔸 По внутренней оптимизации старайтесь максимально улучшать перелинковку для качественного распределения веса по важным страницам. И продолжайте постоянно обновлять контент, например, размещая отзывы о вашей услуге (например, из тех же соцсетей).
🔸 Помогите Google лучше понять ваш контент с помощью подходящей микроразметки schema org.
👉 Также рекомендуем убедиться, что с сайтом действительно нет проблем:
✅ Посмотрите логи сервера, чтобы понять, как часто Googlebot заходит на сайт и какие страницы посещает. Если бот редко посещает сайт, возможно, на сервере настроены ограничения, или бот сталкивается с каким-то редиректом или ошибкой при доступе к страницам. Проверьте также, как Google на самом деле видит страницы, все ли подгружается, все ли скрипты/стили обрабатываются корректно. 
✅ Google активно борется с бесполезными страницами и может медлить с индексацией, если страницы кажутся ему недостаточно качественными или полезными. Обратите внимание на уникальность контента, его полноту и структурированность. Также важно наличие ключевых слов, которые логично и естественно распределены по тексту, а не просто расставлены ради SEO.
✅ Google уделяет внимание скорости загрузки и удобству сайта на мобильных устройствах. Если страницы грузятся медленно или сайт не оптимизирован под мобильные устройства, это может замедлить процесс индексации.
✅ Если домен не совсем новый и вы его выкупили, то проверьте историю домена на наличие контента, который мог вызвать санкции или фильтры Google.
Вопрос: На сайте есть странная ситуация, при которой страница для пользователя доступна, но робот видит ответ сервера 404. В коде страницы нет ничего такого, чтобы не давало сканировать роботам. Какие могут быть причины?

Ответ: Причин возникновения таких проблем может быть достаточно много. Например:
▫️ошибки настройки CloudFlare или подобных CDN;
▫️блокировка поисковых ботов на сервере;
▫️блокировка IP адресов, по которым могут заходить поисковые боты;
▫️блокировка скриптов загрузки страницы, которые например используются в технологии SPA (Single Page Application) сайтов.
Чтобы понять конкретную причину, необходимо проверить как боты поисковых систем видят сайт, каким образом они его сканируют. Для проверки того как видит сайт, например, Google бот, необходимо перейти в GSC и: 
1️⃣ Проверить страницу при помощи инструмента Проверка URL;
2️⃣ Запустить проверку страницы непосредственно на сайте при помощи кнопки Проверить страницу на сайте;
3️⃣ Открыть отчет Посмотреть проверенную страницу, в котором можно будет увидеть три вкладки:
     ▫️HTML. Код страницы в том виде, в котором его видит Google бот.
     ▫️Скриншот страницы. 
     ▫️Подробнее. В этой вкладке можно увидеть данные о ответе сервера, ресурсах страницы и сообщения из консоли JavaScript.
В результате, вы сможете увидеть и понять, что конкретно не так со страницей и почему бот Google не может обработать код страницы и присваивает ей 404 ошибку.
⚠️Важно! Не стоит запрещать к индексации JS и CSS файлы, так как это может привести к тому, что часть страницы бот попросту не увидит и соответственно не проиндексирует.
Также не лишним будет проверить наличие внутренних и внешних ссылок, которые ведут на похожие , но не существующие страницы с ответом сервера 404.  
Так, например, пользователь может зайти на страницу site.com/novosti-mira/ и она отдает ответ сервера 200, а в коде внутренняя ссылка может быть такой – site.com/novosti-v-mire/ и она будет отдавать ответ сервера 404, если такой страницы на сайте нет.
👉 Поэтому вам нужно:
✅ Проверить отчет Не найдено (404) в Google Search Console. Там будет список всех URL адресов, помеченных этим ответом сервера. Обязательно посмотрите, какие страницы ссылаются на несуществующую страницу и в их коде проверяйте ошибки в URL адресах.
✅ Спарсить сайт при помощи Screaming Frog или Netpeak Spider. В обеих этих программах есть возможность увидеть страницы с ответом сервера 404 и какие страницы ссылаются на несуществующие.
✅ Проверить ссылочную массу в Ahrefs, Majestic, GSC и др. Когда вы проверите сайт на внешние ссылки и увидите, что есть какое-то количество ссылок, ведущих на страницы с ответом 404, то необходимо связаться с владельцами этих сайтов и попросить исправить ссылки на правильные.
Вопрос: Структура региональности реализована через подпапки. Например:
site.com/state/texas
site.com/state/california
Но, при этом, промежуточная вложенность site.com/state отдает 404 код. Может ли негативно сказаться, если определенный уровень вложенности при формировании url отдает 404.

Ответ: Если вы не размещаете нигде внутренних и внешних ссылок на /state/, то никаких проблем быть не должно. Но чтобы перестраховаться, сделайте эту страницу разводящей, на которой указывается весь перечень региональных подпапок. Так вы закроете две проблемы: страница перестанет отдавать 404 код и в случае случайного захода на страницу пользователем (да, есть прошаренные пользователи, которые могут удалить часть url и попытаться войти на страницу) – она покажет ему список региональных подпапок, которые есть на вашем сайте. При этом, также не обязательно давать ссылки на эту страницу на сайте, чтобы не повышать её ссылочный вес.
Вопрос: У страниц судя по GSC большое количество показов, но нет кликов. Подскажите, как высчитываются показы в консоли и почему может быть такая разница в показателях?

Ответ: В официальном источнике Google есть определение: “Показ означает, что пользователь с высокой вероятностью или гарантированно увидел ссылку на ваш сайт в результатах поиска, рекомендациях или новостях».
При этом, если пользователь кликает на ссылку, а потом возвращается в выдачу и снова нажимает на эту ссылку, то будет засчитан только один клик.
Большую часть кликов получают ТОП-3 сайты, все остальное может иметь показы, но кликов там будет намного меньше. Соответственно, если ваш сайт находится за ТОП-3, то и кликов по ссылкам будет очень мало. 
В отчете эффективности в GSC показы считаются не только для синих ссылок из органической выдачи. Есть еще и другие элементы с ссылками в выдаче, показ которых тоже засчитывается, но кликов при этом мало. Во вкладке “Вид в поиске” в GSC есть типы результатов и там можно посмотреть статистику по некоторым элементам выдачи. 
👉 Есть еще ряд нюансов, которые влияют на показы, но практически не приносят кликов:
1️⃣ По некоторым запросам, кроме основной ссылки также появляются и дополнительные, которые связаны с контентом, например, в интернет-магазине это подраздел каталога. Каждый раз, когда эти ссылки появляются в выдаче с основной – засчитывается дополнительный показ.
2️⃣ Изображения могут появляться в основной выдаче, не только во вкладке “Изображения” по некоторым запросам. У этих картинок, которые попали в этот блок тоже будут засчитываться показы, но вот кликов будет очень мало. Попадание изображений в основную выдачу влияет на отчет об эффективности под типом поиска “Веб», а не только в типе поиска “Изображения”.
3️⃣ Когда пользователи ищут кого-то или что-то, то часто в выдаче можно увидеть расширенные сниппеты с текстом и фотографиями. Этот блок называют Панель знаний. Такие изображения могут собирать много показов, а в отчете об эффективности в GCS собираются урлы, по которым находятся картинки. В итоге изображения с Панели знаний получают много показов и при этом мало кликов.
Более детально о методологии учета результатов определенных типов можно ознакомиться в официальном источнике Google.
Вопрос: Для чего сайты скрывают исходящие ссылки от Ahrefs, например, и насколько безопасно у таких сайтов покупать ссылки?

Ответ: Сайты иногда скрывают исходящие ссылки от инструментов вроде Ahrefs, Majestic, Semrush, чтобы ограничить доступ конкурентов и SEO-аналитиков к информации о своем профиле ссылок и они не могли легко анализировать их ссылочную стратегию. Также такой способ используют для скрытия участия в схемах продажи ссылок и избежать подозрений со стороны поисковых систем.
⚠️ Насколько безопасно покупать ссылки на таких сайтах?
Из-за скрытия исходящих ссылок сложнее оценить реальное качество площадки. Сложно отследить, сколько и каких ссылок размещено, и, следовательно, сложно оценить естественность профиля ссылок. Есть высокая вероятность, что площадка продает много ссылок, причем сомнительного качества на сомнительные ресурсы.
Если вы всё же решите работать с такими площадками, рекомендуем тщательно проверять посещаемость сайта, качество их контента и релевантность тематики. Также стоит вручную по выборке страниц проверять куда ведут ссылки с этих площадок.
Вопрос: Давно уже сделали ЧПУ для адресов страниц, настроили редиректы, но в индексе Google все равно очень много страниц со старыми адресами (редиректные). При этом есть и страницы с ЧПУ. Как почистить индекс Google, чтобы в нем были только новые страницы с ЧПУ?

Ответ: По сути, изменяя URL страниц (делая их ЧПУ) вы создаете абсолютно новые страницы с точки зрения Google. Редиректы помогают передать вес со старых URL на новые. И нет ничего страшного, что в индексе все еще находятся старые страницы. Причины очень просты – это внешние и, возможно, внутренние ссылки, которые ведут на страницы со старыми URL. 
По большому счету в вашем случае ничего делать не нужно, так как основные работы вы уже сделали. Теперь все зависит только от самой поисковой системы – насколько быстро она сможет переиндексировать сайт с учетом всех редиректов. Из-за большого количества ссылок на старые URL процесс может очень сильно затянуться. 
💡Чтобы ускорить процесс переклейки URL:
✅ Убедитесь, что на сайте не осталось внутренних ссылок ведущих на старые URL;
✅ Планомерно наращивайте внешние авторитетные ссылки на новые URL;
✅ Попытайтесь связаться с площадками, где были размещены ссылки на старые URL и изменить их на новые.
Вопрос: Есть версии сайта на разных языках. Какие-то на поддоменах, какие-то на других доменах второго уровня. Сделано в head как положено, link/hreflang. Но ссылки на другие языки нужны также живым людям, они ими активно пользуются. Однако, различные сервисы (например, те, что измеряют ссылочный спам и сео-сервисы) расценивают эти реальные ссылки на каждой странице из меню как ссылки на другие сайты и расценивают это как заспамленность. Как лучше оформить реальные ссылки на другие языковые версии? (nofollow, js, не показывать ботам?)

Ответ: Первое, что рекомендуем сделать в данной ситуации - это убедиться в корректности настройки всех атрибутов для мультиязычного сайта. Перепроверьте link/hreflang, canonical и sitemap. Cправка Google по правильным настройкам языковых версий.
Ссылки для перехода на языковые версии сайта являются обязательными и должны быть открыты к индексации. 
⚠️ Мы категорически не рекомендуем, как либо закрывать ссылки на другие языковые версии. 
Если у Вашего ресурса не возникает проблем дублирования языковых версий сайта, то не стоит вообще беспокоиться о том, что различные сервисы расценивают эти ссылки, как спамные. К сожалению, многие сервисы для SEO оценки сайта имеют устаревшие алгоритмы определения спамности ссылок и доверять им не следует на 100%.
Вопрос: Работаем с очень крупным проектом и столкнулись с проблемой медленного обхода и индексации страниц. Подскажите, от чего зависит краулинговый бюджет сайта?

Ответ: Если свести все тонкости до краткой формулировки, то краулинговый бюджет зависит от траста сайта. От количества обратных ссылок на сайт, от количества доменов доноров и их авторитетности, от трафика на сайте, внутренней перелинковки и вовлеченности посетителей.
Такая проблема наблюдается у многих крупных сайтов, чаще всего интернет магазинов или информационных сайтов.
Вам нужно обратить внимание на то, как именно индексируются новые страницы и обходятся старые. Если новая страница индексируется за 1-3 дня, то это не критично для большинства тематик (кроме информационных новостников). Если на индексацию уходит 3 дня и более – это уже проблема. Обратите внимание на контент страницы, которую вы пытаетесь проиндексировать, возможно, поисковая система считает её низкокачественной (например, смысловые или технические дубли) и поэтому не хочет индексировать.
💡 Также вам нужно проверить:
✅ добавляются ли новые страницы в карту сайта;
✅ есть ли ссылки на новые страницы на существующих страницах и как часто робот посещает эти страницы;
✅ не препятствует ли индексации файл robots, canonical или тег noindex на странице;
Старые (уже известные роботу) страницы могут обходиться достаточно долго и это нормально, если на ней давно не менялся контент и при этом страница нормально ранжируется в выдаче. Для ускорения обычно отправляют страницы на переиндексацию в ручном режиме. Также нужно убедиться в том, что у страницы меняется дата последней модификации документа, иначе поисковая система попросту не узнает, что страница была обновлена.
👉 Если вы прошлись по всем пунктам, описанным выше и все равно поисковик не хочет быстро индексировать ваш сайт – повышайте авторитетность ресурса и качайте его ссылками с хороших доноров (в том числе и с главных страниц). Следите за ранжированием, ведь основная цель – это попасть в выдачу, а не просто в индекс.