kiriyk/seo_tg huggingface dataset:
Вопрос: Незарегистрированным пользователям на странице показывается некий контент, который также доступен поисковым системам. Но если на эту страницу приходит зарегистрированный пользователь, то он видит совсем другое. Причем, инфа, которая ему показывается, зависит еще и от того, в каком качестве этот посетитель зарегистрировался. Если как гендиректор, то он видит одно, если как кадровик, то другое, если как маркетолог, то третье.

Сайт не преследует никаких сомнительных целей, но ведь, по сути, это клоакинг? Можно получить санкции за такие действия?

Ответ: 💡Исходя из рекомендаций Google и Яндекса, Ваш описанный случай скорее всего не будет считаться клоакингом.
⚠️ Важно, чтобы сканируемый контент соотносился с тематикой страницы и пользователи (даже ограниченные регистрацией и соответствующими должностями) могли его видеть. Позаботьтесь также о том, чтобы весь контент, в том числе, который доступен для ограниченного количества пользователей, также был доступен для сканирования поисковиками в полном объеме.
👉 Однозначно наказываются за клоакинг только те сайты, где контент для поисковиков и для пользователей полностью отличается.
Вопрос: Подскажите, когда для молодого сайта можно начинать покупать анкорные ссылки? И анкоры стоит выбирать для информационного сайта?

Ответ: 💡О ссылках с анкорами можно не думать первые пару месяцев, пока сайт еще новый и у поисковых систем еще нет к нему определенного уровня доверия. Сконцентрируйтесь первое время на естественности ссылочного профиля:
▫️ссылки в соцсетях;
▫️ссылки на картах;
▫️брендовые упоминания на форумах;
▫️ссылки в справочниках и каталогах.
Это необходимо, чтобы у поисковых систем увеличивалось доверие к сайту, наращивайте ссылки постепенно, увеличивая каждый месяц их количество.
👉 Уже через 2-3 месяца можно начинать разбавлять профиль анкорными ссылками. При выборе анкоров для информационного сайта, необходимо ориентироваться на конкурентов. Так будет легче и проще понять какой анкор лист составить для вашего сайта. 
Мы не рекомендуем поначалу использовать анкоры с прямым вхождением ключа (подобрать наряд для выпускного). Разбавляйте ключи разными естественными словами. Также для информационных ресурсов иногда подходит продвижение ссылками с длинными анкорами (3-5 слов).
Вопрос: Можно статьи в блоге подписывать авторами, существующих людей, экспертов в отрасли, даст ли это преимущество в SEO?

Ответ: 💡Наличие реального автора статьи – важная составляющая E‑A-T факторов (экспертность, авторитетность и достоверность) и это учитывается Асессорами при оценке сайтов. Указание авторства статей поисковые системы воспринимают как подтверждение экспертности контента.
Поэтому, если есть возможность добавить реальных авторов, экспертов в отрасли, то делать это конечно же стоит. Даже если речь о блоге интернет-магазина, это будет только преимуществом.
👉 Насколько серьезно нужно прорабатывать информацию об авторстве, зависит от тематики сайта. Также стоит проанализировать то, как прорабатывают статьи конкуренты и из каких элементов они состоят.
 ⚠️Серьезнее всего оценивается экспертность статей YMYL сайтов – здоровье, финансы, юридическая помощь, крупные новостные ресурсы и т.д. В таком случае обязательно должен быть автор, являющийся признанным авторитетом, чью экспертность можно подтвердить. На таких сайтах создаются страницы авторов, где излагается их краткая биография, сертификаты, дипломы, награды, премии, ссылки на научные публикации и профили на тематических сайтах. 
Для других тематик чаще всего достаточно разместить на статье блок с автором, где будет его имя, фотография и должность, возможно, ссылка на соцсеть или профессиональный блог.
Вопрос: Почему в органике по запросу выдается одна страница (главная), а с оператором site на первом месте другая (внутренняя)? Какие факторы отрубаются при использовании оператора? С ним только по текстовой релевантности выдачу можно смотреть?

Ответ: 💡Скорее всего в Вашем случае внутренняя страница могла быть более релевантна по текстовому содержимому, однако в реальной выдаче учитываются и другие факторы ранжирования, которые делают главную страницу более релевантной запросу.
Обычно, чем выше результат с оператором, тем больше страница соответствует тому параметру, что Вы вбивали с оператором. Замечено, что не всегда операторы site отрабатывают корректно.
👉 Выдача в поиске динамична, зависит от многих факторов: учитывайте также  и персонализацию, региональность и т.п., а операторы эти факторы могут отрабатывать иначе, либо не отрабатывать вовсе. Точного их алгоритма работы нам не известно.
Оператор site используется для нахождения информации на конкретно указанном сайте и от этого строится его работа. Важно понимать, что данный оператор просто показывает упорядоченно ту информацию, что Вы ищите, но он не отвечает за реальную релевантность в SERP для каждого конкретно юзера.
Вопрос: Как массово проверить страницы конкурентов на наличие микроразметки и её видов? Проверять можно только вручную или есть способ автоматизировать процесс?

Ответ: 💡Одним из способов как массово проверить у конкурентов наличие микроразметки является сканирования сайта при помощи парсеров, есть два 2 варианта:
▫️SiteAnalyzer — бесплатный парсер, при помощи модуля настраиваемых фильтров позволяет проверить наличие на сайте микроразметки. Подробнее о парсере мы рассказывали в статье “Сравнительный обзор бесплатного SiteAnalyzer с аналогичными платными сервисами”.
▫️Netpeak SEO Spider — платный парсер, с его помощью можно проверить наличие, формат и тип микроразметки. Пример такого отчёта — скриншот.
⚠️Также можно спарсить данные микроразметки при помощи XPath и Google Spreadsheets, использовав функцию IMPORTXML. Подробная инструкция есть у нас в статье “Парсим сайт при помощи XPath”.
Вопрос: Поделитесь чек-листом по правильной настройке ленивой загрузки. Суть в том, чтобы ленивая загрузка не мешала индексации.

Ответ: 💡При настройке lazy load используйте атрибуты атрибуты loading="lazy" & decoding="async"
Атрибут decoding="async" сообщает браузеру, что декодирование изображения можно выполнить позже, чтобы браузер мог продолжать отображать контент, даже если изображения загружены не полностью. 
⚠️Однако рекомендуем таким образом настраивать изображения за первым экраном. Замечено, что пользовательский опыт заметно проседает, если на первом экране не подгружаются сразу изображения.
Чтобы при реализации ленивой загрузки не допустить ошибок, которые могут впоследствии создавать препятствия для сканирования и индексирования поисковыми роботами, проверьте готовый результат.
👉 В рекомендации Google для разработчиков рекомендуется использовать скрипт Puppeteer. Ссылка на рекомендации: https://developers.google.com/search/docs/advanced/javascript/lazy-loading#test — cкрипт позволит проверить как отрисовывается контент на странице и все ли изображения видны роботу.
Вопрос: Заметили, что на сайте незначительно увеличилось количество ботового трафика. Выявили ip, теперь думаем — блокировать или не стоит. На трафике и позициях это никак не отразилось. Когда начинать реагировать на накрутку?

Ответ: 💡Мы не рекомендуем блокировать по IP, так как современная накрутка подставляет динамические IP адреса и если Вы заблокируете определенную сеть IP адресов, то можете потерять небольшой процент пользователей. И так как, чаще всего используется динамическая сеть, повторный заход с этого IP адреса маловероятен.
⚠️При хорошем уровне естественных поведенческих показателях проблем с такого рода накруткой не будет.
Как правило от негативной накрутки страдают сайты, у которых слабый уровень конверсий по отношению к количеству просмотров. Или если накрутка превышает примерно 30% от общего показателя. В таких случаях, нужно проводить превентивные меры, чтобы не потерять позиции.
Вопрос: Есть ли вообще чек-лист при заказе крауд ссылок (форумных). На что нужно обращать внимание, а на что нет?

Ответ: 👉 Требования к форумам при заказе крауда:
▫️Тематичность площадки — чем более точное попадание тематики форума или раздела, тем лучше.
▫️Региональность площадки — желательно, чтобы региональность форума и продвигаемого сайта была одинакова.
▫️Посещаемость — форум должен быть «живым», чем больше активных пользователей, тем лучше.
▫️Свежесть и актуальность ветки — обсуждение должно быть актуальным и интересным посетителям. Не стоит оставлять ссылки в старых ветках.
▫️Качество форума — не стоит выбирать форумы без модерации или откровенно спамные площадки. С таких ресурсов положительного эффекта ссылка вряд ли принесёт.
👉 Требования к ссылкам и тексту комментариев:
▫️Анкоры — должны быть максимально естественными, лучше вообще использовать безанкорные ссылки. Подробно на вопрос про анкоры крауд ссылок мы отвечали тут.
▫️Тип ссылок — nofollow/dofollow. С форумов обычно ставят nofollow ссылки, но они хорошо разбавляют ссылочный профиль сайта.
▫️Околоссылочный текст комментария — комментарии не должны выглядеть как реклама или спам. Допускаются орфографические или пунктуационные ошибки.
⚠️Главное помнить, что сработать крауд ссылка может лишь в том случае, если она проиндексируется поисковой системой. Как обеспечить индексацию форумных ссылок мы рассказывали ранее: «Как улучшить индексацию и вес крауд-ссылок?»
Вопрос: Купили дроп домен, на него ведёт много ссылок. Но все эти ссылки ведут на несуществующие страницы 404. Не подскажите что с ними делать, чтобы они пользу какую-то несли? Еще один важный момент: анкоры ссылок не тематичные нынешнему сайту. Как это скажется на продвижении текущего сайта?

Ответ: 👉 Ссылки, что ведут на наш дроп, будут ссылками второго уровня для продвигаемого сайта. Необходимо разобраться на какие страницы ведут ссылки, какой там был контент, какой анкор ссылки и подходят ли данные страницы для дропа:
▫️Если анкор ссылки имеет вид “тут, здесь, там” или же безанкорный, то можно настраивать 301 редирект на главную страницу продвигаемого сайта, независимо от релевантности страницы сайту.
▫️Те страницы, контент и анкоры которых соответствуют тематике сайта необходимо склеить 301 редиректом с соответствующими страницами. 
▫️Если страницы и отдаленно не соответствуют тематике, то лучше ничего не делать с ними и оставлять 404 ошибки.
Вопрос: Что сделать, чтобы поисковый бот проиндексировал все языковые версии? Как обеспечить корректную и полную индексацию всех версий сайта?

Ответ: 💡Современные алгоритмы поисковых систем позволяют качественно проиндексировать разные языковые версии сайта.
👉 Что должно быть на сайте для корректной индексации разных языковых версий:
▫️Использовать для языковых версий разные URL и прописать соответствующие атрибуты hreflang.
▫️Реализовать отдельные карты сайта под каждую языковую версию.
▫️На каждой странице должны быть переключатели на все языковые версии, включая собственный язык.
▫️Работать с перелинковкой одновременно на всех языковых версиях. Таким образом Вы будете улучшать внутренний вес и роботы будут активно переходить по ссылкам и индексировать страницы.
Вопрос: Прилетел интернет-магазин серой тематики. Нужно ли на нем в обязательном порядке размещать всплывашку 18+ (по закону об ограничении контента для несовершеннолетних)? Если нужно, то как разместить ее, чтобы это не помешало индексации и продвижению? Такая всплывашка должны должна быть на всех страницах сайта? Можно ли выводить ее один раз для одного юзера и как это сделать?

Ответ: 💡С точки зрения SEO, всплывашку размещать не обязательно – поисковые системы и без этого примерно понимают, к какой тематике относится сайт и могут ограничивать доступ к нему, если аккаунт пользователя менее 18 лет и стоит «родительский контроль».
Достаточно разместить на сайте информацию о том, что просмотр материалов сайта разрешен только совершеннолетним лицам, например, в футере.
👉 Если вы все-таки решите разместить всплывашку, нужно придерживаться следующих правил, чтобы ее использование не мешало продвижению сайта:
▫️всплывашка не должна быть навязчивой;
▫️всплывашка должна занимать меньшую часть страницы;
▫️всплывашка не должна тормозить скорость загрузки сайта;
▫️всплывашка не должна открываться при дальнейшем переходе на другие страницы сайта.
Всплывашка в таком случае открывается при первом заходе пользователя на сайт – на той странице, через которую заход происходит. Делается это через проверку файлов cookie пользователя. При повторных заходах этого пользователя или посещении других страниц всплывашка уже открываться не будет.
⚠️Существует множество сервисов для создания всплывающих окон, например Hellobar, GetSiteControl, Plerdy, WisePops, Keplerleads. Также можно использовать специальные плагины или модули, в зависимости от CMS сайта.
Вопрос: На сайте есть много контента в блоге. Но есть очень похожие статьи, которые сами по себе слабые, не приносящие трафик в одну огромную статью? Как думаете? Вчера прочитал совет Джона Мюллера:
"Мюллер не советует удалять страницы просто потому, что они не получают трафика. Чтобы страницы лучше работали в поиске, он советует объединять их: создавать более сильные страницы из сотен более слабых – при условии, что их контент действительно полезен для пользователей."

Стоит ли объединить такие статьи в одну?

Ответ: 💡Всё зависит от тематики и конкретного случая. В целом, объединение коротких статей одной узкой тематики в одну большую комплексную – неплохая идея. Особенно, если на мелкие статьи нет трафика и терять от эксперимента нечего.
👉 Со старых мелких статей рекомендуем настроить 301 редирект на новую большую, если в этом есть необходимость (был трафик и внешние ссылки). 
Короткие статьи сейчас более актуальны для соцсетей, чем для сайтов и это тоже нужно учитывать. Помимо этого, сейчас длинные тексты лучше ранжируются поисковыми роботами и Google любит подробные статьи. Главное, чтобы у текста был реальный спрос и он был действительно полезен для пользователя.
Вопрос: Есть русскоязычный инфо сайт, весь контент на русском языке. Стоит задача привлечь на сайт трафик из США, само собой - русскоязычный. Чтобы русский человек, сидя в условном Нью-Йорке, погуглил запросы и ему выдало мой сайт.

Так вот, собственно, вопрос: на это можно как-то повлиять, или здесь будут действовать такие же правила ранжирования, как и в РУ сегменте? Если на посадочные страницы добавить ключей по типу "Нью-Йорк", "Вашингтон" и.т.д., это скажется на ранжировании в этих городах (учитывая, что пользователь не будет вбивать свой город в поиск, а чисто по его айпи), или это все не имеет смысла?

Ответ: 💡Выдача Google зависит от языка запроса и ip пользователя. Если запрос на русском языке, то в выдаче будут русскоязычный контент — украинские, белорусские, русские сайты — даже если пользователь находится вне СНГ. Но такая ситуация возникает из-за дефицита русскогоязычного контента для целевого региона. Поэтому сайт на русском языке, но для пользователей из Нью-Йорка имеет хорошие перспективы. 
Прописывать ключи "Нью-Йорк", "Вашингтон" на страницы сайта обязательно — это будет только плюсом для локального ранжирования. Плюс используйте hreflang с указанием кода страны и языка. 
👉 Кроме органической выдачи, не забудьте о «Google Maps» — выдача в блоке карт зависит от местоположения пользователя, поэтому кроме сайта, привлечь внимание к бизнесу сможет оптимизированная карточка компании в картах.
Вопрос: Сайт общепита (кондитерская). Работаю над новым дизайном и хочу отказаться от отдельной (классической) страницы блюда — ограничиться всплывашкой.

Страницы товаров сейчас практически не приносят трафик, поэтому есть смысл от них отказаться — это верное с точки зрения SEO утверждение?

Ответ: 💡Если страницы товаров не приносят трафик, то это ещё не значит что от них нужно отказываться. Для начала, нужно проанализировать конкурентов в ТОПе, какой структуры придерживаются они. 
Если у конкурентов будет структура с карточками товаров, а на Вашем сайте нет - тогда будет сложно конкурировать за ТОП, а может и невозможно. Само наличие страниц товара и их количество могут быть важным коммерческим фактором, который влияет на ранжирование сайта.
👉 Оптимизировать карточки под поисковые системы также важно: даже если в вашей тематике больше категорийный спрос, нежели товарный, всё равно доля трафика на страницы карточек товара из поиска может присутствовать. 
Если же Вы все равно намерены убрать карточки товара, тогда стоит провести A/B тестирование и посмотреть на группе страниц как пользователи будут относится к новому дизайну, так как есть вероятность большого процента отказов из-за ухода от классической структуры сайта.
Вопрос: При анализе конкурентов обратил внимание, что на всех страницах листинга почти дословная копипаста одного и того же абзаца текста. И так делает не один конкурент. Стоит ли действовать по такому же принципу? Насколько важна уникальность текста на листинге?

Ответ: 💡Если речь идет о коммерческих страницах, то уникальность текста здесь не играет основную роль, в отличие от информационных страниц. На ранжирование листингов в основном влияют коммерческие факторы, например:
▫️ассортимент товаров;
▫️наличие цен;
▫️количество товаров в наличии;
▫️кнопки «купить» или «заказать» на карточках;
▫️информативные характеристики товаров;
▫️наличие информации о доставке;
▫️наличие контактной информации.
👉Использование одинаковых шаблонных блоков в текстовых фрагментах коммерческих листингов и карточек является распространенной практикой. Чаще всего, поисковики к этому относятся лояльно.
⚠️ Поэтому, если вы видите, что ваши конкуренты не используют тексты с большой уникальностью на листингах, то нет смысла тратить ресурсы на написание уникального контента (скажем, уникального на 90% и выше). Целесообразнее прорабатывать коммерческие элементы страниц.
Вопрос: Страница листинга, сверху нужно вставить блок с текстом и кнопкой для подписки на рассылку. 

Беспокоюсь, что на каждой странице сайта выше контента появится одинаковый текст, который не относится к содержимому страницы. Безопасно ли это делать? Поисковики будут воспринимать как какой-то служебный кусок кода и это не будет влиять на ранжирование? Или лучше сделать это с отложенной подгрузкой через JS?

Ответ: 💡Форма подписки — это функциональный элемент, который размещается на сайте для сбора персональных данных посетителей. Такой блок полезен как для владельца ресурса, который получает данные для рассылки, так и для пользователя, который сможет получать email. 
Для поисковика форма подписки это один из сигналов, фактор ранжирования сайтов, поэтому блок с текстом и кнопкой для подписки на рассылку не будет считаться за дубль и понижать позиции сайта, а наоборот будет плюсом. 
👉 Чаще всего форму подписки размещают справа или слева от основного контента, в подвале (футере) сайта или в виде встроенной формы подписки в середине текста/под основным контентом. Для поисковика важен контент первого экрана пользователя, таким образом, сделав акцент на основном контенте, поисковик и пользователь будут с первых секунд понимать о чем данная страница. А форма подписки на первом экране пользователя может сдвинуть акцент от основного контента ниже по приоритетности, что может повлиять на ранжирование страницы.
Отложенная загрузка необходима в случае, если нужно улучшить показатели скорости загрузки страниц в Google, так что мы рекомендуем не использовать такой вариант, если нет необходимости улучшить этот фактор ранжирования.
⚠️Для того, чтобы форма подписки могла быть максимально полезной для пользователя и сайта рекомендуем указать такие поля:
▫️Заголовок. Должен вкратце описывать предложение и привлекать посетителя. 
▫️Описание предложения. В нем необходимо кратко описать рассылку и привлечь пользователя совершить действие (подписаться).
▫️Поля для ввода персональных данных пользователем: имя, email и т.д.
▫️Дополнительные элементы ( подтверждение согласия на получение рассылки).
▫️Кнопка “Подписаться”, которая завершает оформление подписки на рассылку.
Вопрос: Google Search Console жалуется на наличие вредоносного кода на сайте. Проверили антивирусом — ничего нет. Как и где проверить наличие вирусов на сайте и как их убрать?

Ответ: 💡Все зависит от уровня вируса: это может быть как и реальный вирус, который ухудшает сайт, так и просто нерабочие скрипты. 
👉 Вредоносный код делится на две категории:
▫️Эксплоиты эксплуатируют уязвимости в ПО, чтобы попасть на сайт, выполняют запланированные действия.
▫️Вирусы и трояны – классические вирусы для Windows и программные модули для Linux. 
Есть множество сканеров для проверки вредоносного кода на сайте. Чтобы обнаружить вредоносный код на сайте, необходимо просканировать файлы и базу данных сайта при помощи одного или нескольких инструментов:
▫️антивирусов (или агрегатором Virustotal);
▫️специализированных сканеров (Ai-Bolit, Linux Malware Detect, ConfigServer eXploit Scanner).
⚠️ Для экспресс-сканирования можно воспользоваться онлайн-сканерами (Rescan.pro, Sucuri, PCrisk). После восстановления сайта (в случае заражения) — найти способ, как вредоносный код попал на сайт и, если причина заключается в устаревших CMS и плагинах, — обновить их. 
Помните, что онлайн-сканеры не всегда находят вирусы и не умеют чистить сайт. 
👉 Для того, чтобы убрать вирусы с сайта, необходимо удалить зараженные файлы, а затем восстановить их из архива или резервных копий, которые были сохранены до появления опасности. Для этого рекомендуем обратиться к разработчику сайта. Также на этапе устранения вируса, разработчики могут помочь с выявлением того, как вирус попал на сайт.
Если Вы не обнаружили вирус, нужно посмотреть, какие скрипты используете. По возможности отключайте по несколько штук, и когда ошибка найдена – переделать проблемный скрипт. Чаще всего, это могут быть скрипты от сторонних плагинов.
Вопрос: В футере сайта сейчас только информация о деятельности компании. Нужно ли дублировать ссылки из меню в футер и нужна ли ещё дополнительная информация?

Ответ: 💡Футер сайта является в первую очередь дополнительным источником полезной информации и элементом навигации по сайту. Благодаря нему пользователи могут найти информацию, которая недоступна или труднодоступна через меню и основные разделы страниц. Правильно оформленный подвал может подтолкнуть пользователя совершить целевое действие на сайте, поэтому это возможность увеличить конверсии.
В футер действительно можно дублировать ссылки из меню. Во-первых, это повышает удобство пользования сайтом, глубину и время его просмотра – все это улучшает поведенческие факторы. Также это дополнительная возможность улучшить внутреннюю перелинковку сайта. При этом, если меню сайта слишком большое, не стоит размещать сразу все ссылки – в футере должны находиться лишь основные разделы сайта, в структурированном виде.
👉 В футер стоит вынести ссылки на служебные страницы:
▫️Условия использования сайта
▫️Политика конфиденциальности
▫️Оформление заказа на сайте
▫️Условия доставки
▫️Гарантии и возврат товара
▫️О компании
▫️Контакты
▫️Блог
▫️Вакансии
▫️Отзывы
А также поместить элементы, повышающие доверие к сайту:
▫️Авторское право
▫️Контактная информация, адрес, график работы компании
▫️Кнопка обратной связи
▫️Иконки соцсетей компании
▫️Способы оплаты на сайте
▫️Кнопки и лид-формы: «подписаться на рассылку», «вход в личный кабинет», «заказать обратный звонок»
Вопрос: Анализируем логи nginx по ответам, которые получают поисковые боты Google и Яндекса. Боты Google видят страницы с 404 ответом. Проверили сайт всеми возможными парсерами. Парсеры не видят ссылки на 404 станицы. В коде также нет ссылок на страницы с 404 ответами, которые видят боты Google. Как найти ссылки на страницы с 404 ошибками, которые видит Google?

Ответ: 💡Битые ссылки могут быть как следствием неправильной настройки CMS, так и результатом человеческих ошибок:
▫️Товар снят с продажи или закончился на складе.
▫️Адрес страницы изменился и не был настроен 301 редирект.
▫️Пользователь ошибочно скопировал ссылку на страницу.
▫️Удален медиа-файл (изображение, видео) не проверив, есть на него ссылки или нет.
👉 Почему в log-файлах находятся битые страницы: 
▫️На момент сканирования сайта страницы отдавали 404-тую ошибку, поэтому попади в log как битые. 
▫️Проблемные страницы отвечают 404-той ошибкой только для роботов Google и Яндекс. 
👉 Как найти битые страницы, которые видит Google: 
▫️Используя User-agent Google (из log-записей), просканируйте сайт парсером.
▫️Кроме, User-agent стоит максимально снять ограничения из парсинга
⚠️ В целом 404-страницы периодически проверяются поисковыми системами на работоспособность, но со временем 404-тые удаляются из базы поисковых систем.