kiriyk/seo_tg huggingface dataset:
Вопрос: Эффективны ли крауд ссылки в 2020 году? Столкнулись с тем, что модераторы удаляют комментарии с ссылками. Будут ли эффективны комментарии с упоминанием компании (без ссылки) и есть ли у Вас рекомендации по построению крауд ссылок?

Ответ: Мы считаем, что крауд все также эффективен при грамотной стратегии ссылочного продвижения сайта и при правильном понимании целей размещения этих ссылок.
⚠️ Важно понимать, какие цели преследуются при размещении крауд-ссылок. Это зависит от поисковых систем и может быть:
🔸Реферальный трафик.
🔸Узнаваемость.
🔸Рост позиций.
👉 Создание упоминания (комментария, не содержащего ссылку на сайт) о продукте, бренде или организации в обсуждениях, где присутствует наибольшее число потенциальных потребителей имеет положительное влияние на продвижение сайта. 
▫️Это увеличивает прямые переходы на сайт, а также органический трафик по брендовым ключевым вхождениям.
👉 Надо понимать, что крауд является частью общей ссылочной стратегии, для создания которой необходимо задать следующие вопросы:
▫️Какие типы ссылок использовать.
▫️В какой пропорции.
▫️Какая должна быть динамика.
▫️В каком количестве.
▫️Какую дополнительную ценность они дадут: узнаваемость, переходы. 
👉 Также не забывайте, что у каждого типа ссылок есть своя функция. 
1️⃣ Dofollow ссылки с трастовых площадок передадут больше веса сайту, чем ссылки с социальных сетей, но последние могут привести реферальный трафик с хорошими поведенческими.
2️⃣ Старайтесь строить максимально естественный профиль, без перекоса на один тип ссылок.
3️⃣ И помните — ссылки это одна из составляющих продвижения, также как и текстовая оптимизация, техническая, юзабилити. 
⚠️ Если у вас сильно хромает одна из этих составляющих, то ее не всегда можно нивелировать за счет другой. Однако, если идет комплексная работа, то вы можете усилить результат за счет верно выбранного инструмента.
Вопрос: Внутренние ссылки сайта реализовывать через открытие в новом окне при переходе или же оставаться в текущем. Инетересуют непосредственно поведеньческие факторы (как больше нравится пользователям)? То же самое с внешними ссылками и ссылками на социальные сети, всегда ли их нужно открывать в новом окне и почему?

Ответ: По стандарту принято считать, что внутренние ссылки на сайте должны открываться в этом же окне, а внешние ссылки - в новом.
1️⃣ Открытие внутренних ссылок в том же окне, помогает посетителю на основе своего пользовательского опыта получить ожидаемый результат последовательной навигации по ссылкам, при том, что он лично контролирует открытие ссылок, т. е., при желании может открыть любую нужную внутреннюю ссылку в новом окне, чтобы позже вернуться к ней для более подробного изучения. 
⚠️ Однако если смотреть с точки зрения юзабилити, не все внутренние ссылки должны открываться в этом же окне, так как при решении, в каком окне открывать ссылку, в первую очередь нужно подумать о пользователе и учесть цель, с которой юзеры переходят по ссылке.
👉 Таким образом внутренние ссылки могут открываться в новом окне, если:
🔸 это ссылка на документ, хранящийся на данном сайте с возможностью онлайн просмотра (например, PDF, который можно просматривать прямо в браузере). 
▫️Подобные документы рекомендуется открывать новом окне, чтобы при их закрытии пользователь смог вернуться на сайт. 
▫️При открытии PDF в этом же окне пользователь рискует уже никогда не вернуться на сайт, так как интерфейс PDF не приспособлен к взаимодействию с сайтом.
🔸 это внутренняя ссылка в какой-то статье на аналогичную тему, то есть смысл открывать ее также в новом окне, чтобы прочесть ее позже.
2️⃣ Открытие внешних ссылок в новом окне показывает, что текущий сайт является основным, а все ссылки на внешние сайты являются при этом второстепенными, поэтому нелогично ставить внешние "второстепенные" сайты на одну планку с "основным" и открывать их в том же окне.
👉 Также при переходе на внешний сайт в том же окне, зачастую пользователи просто не возвращаются на исходный сайт, так как забывают его адрес либо просто не хотят нажимать на кнопку "Назад" в окне браузера. 
▫️Таким образом, для исходного сайта пользователь будет просто потерян, что согласитесь, совсем не то, чего ожидает его владелец + это негативно сказывается на поведенческих факторах.
👉 Единственный момент когда можно реализовать внешнюю ссылку в этом же окне, это если внешняя ссылка и контекст статьи предполагает, что после прочтения материала с упоминанием данного внешнего сервиса должна произойти конверсия (переход по реферальной ссылке, переход на лендинг и т.п.). То в таком случае ссылка даже на внешний сайт должна открываться в том же окне.
Вопрос: В 2020 году нужна ли HTML карта сайта? И если нужна, стоит ли добавлять на нее ссылку с главной страницы или можно поставить эту ссылку в подвале сайта (или в другом сквозном блоке)? Есть ли какие-то рекомендации по ее оформлению и как ПС относятся к HTML карта сайта?

Ответ: Наличие HTML-карты облегчает процесс взаимодействия, в первую очередь пользователя, и поисковых систем с сайтом. Поэтому, мы рекомендуем добавлять HTML-карту на сайт.
👉 HTML-карта – статический каталог всех основных разделов сайта, размещенных в соответствии с их иерархией.
🔸 Этот тип карт хоть и ориентирован на посетителя, но он также может помочь ранжированию сайта в поисковых системах. 
🔸 Роботы, при сканировании пользовательской карты, получают перечень ссылок на приоритетные страницы сайта, это может ускорить процесс сканирования этих страниц.
 💬 Что же говорит об этом сам Джон Мюллер:
«Влияет ли HTML-карта сайта на SEO? Иногда. Безусловно, это имеет смысл, когда с помощью этого файла осуществляется разметка страниц категорий и описаний. Это особенно важно в случаях, когда поисковый робот не может нормально просканировать сайт. Так что если у вас есть действительно сложная навигация, если у вас есть страницы, которые соотносятся с поисковыми запросами, но нет логически выстроенной структуры, HTML-карта сайта поможет Google проанализировать структуру сайта.» — более подробно.
⚠️ Что нужно учитывать при настройке HTML-карты:
1️⃣ Структурированность. Карта должна максимально точно отражать существующую структуру сайта. Ссылки на страницы должны быть расположены в логичной форме и в соответствии с иерархией страниц.
2️⃣ Анкоры ссылок. В отличие от XML-карты, каждая ссылка должна иметь релевантные ключевые слова для анкоров ссылок. Не рекомендуем использовать транзакционные ключевые фразы со словами «цена», «купить», и прочее. 
3️⃣ Актуальность. В карте должны быть ссылки только на актуальные для продвижения страницы. Не должно быть битых, закрытых от индексации страниц, страниц пагинации.
4️⃣ Карта должна регулярно обновляться, чтобы поддерживать актуальность списка страниц.
5️⃣ Ссылка на карту сайта должна быть доступна на всех страницах сайта. Обычно её размещают в футере.
 
👉 Пример реализации HTML-карты на сайте olx — https://i.imgur.com/AXlCo4O.png
🔗 Еще больше полезной информации: Детальное руководство по файлу Sitemap
Вопрос: Хочу сделать еще один сайт такой же тематики, но задался вопросом, можно ли использовать несколько сайтов одной и той же тематики на одном аккаунте Яндекс.Вебмастер?
 
Контент частично другой, дизайн, хост, домен совершенно другие. Боюсь, чтобы Яндекс не посчитал это как "сетку" или что еще, и не повлиял негативно в поиске из-за этого.

Ответ: Так как сайты будут одной тематики это означает, что у них будет пересечение семантики (ключевых запросов). И, в таком случае, общий аккаунт Яндекс Вебмастера для обоих сайтов служит сигналом для аффилирования. 
👉 Аффилирование - позапросная склейка сайтов, когда по общей группе запросов будет ранжироваться только один сайт владельца.
 
⚠️ Более того, если сайты будут на разных аккаунтах, но на них будут заходить с одного IP, Яндекс может это заметить, и это также будет являться сигналом для аффилирования.
👉 Исключением могут быть только «агентские» аккаунты — когда в списке Яндекс Вебмастера десятки/сотни сайтов разных компаний и направлений, причем большинство из них по гостевому доступу. В таком случае, риска для аффилирования для пересекающихся по тематике сайтов не будет.
Вопрос: У производственной компании есть действующий несколько лет сайт site.ru. Сейчас планируется развитие нового направления (научно-исследовательские разработки) и создание под него отдельного сайта.
 
Имеет ли смысл и насколько безопасно создавать второй сайт с тем же доменом в зоне .com, с тем же названием компании, логотипом и адресом под новое направление? Контент будет уникальным, тематика другая, но принадлежность одной и той же компании будет очевидна.

Ответ: Если планируется создание сайта для совсем иного вида деятельности, то нет никакого риска попадания сайта под фильтр за аффилирование в Яндексе или возможной склейки сайтов. 
👉  Два разных сайта будут продвигаться под разные группы запросов и иметь разную целевую аудиторию. При этом, можно использовать одинаковые логотип, контакты.
 
⚠️ Однако, стоит решить, на сколько будет целесообразно создание нового сайта или же лучше создать новый раздел на существующем домене и продвигать в пределах старого сайта.
👉 Необходимо определить конкурентность новой тематики:
🔸 Если новая тематика имеет спрос выше среднего или же выше спрос, чем тематика на существующем сайте, то нужно создавать новый домен. 
▫️ К примеру, на сайте по продаже ламбрекенов нецелесообразно создавать подкатегорию штор так, как на шторы (https://i.imgur.com/GYaXqdx.png) спрос будет больше чем на ламбрикены (https://i.imgur.com/23q5jkb.png). 
👉 По этому, в данном случае стоит создать отдельный домен по продаже штор.
🔸 Если же у нового направления низкоконкурентная тематика, то можно пробовать продвигать направление в пределах существующего сайта. Старый сайт имеет свой траст и вес, чего сразу нет у нового сайта. 
👉 По этому, при правильной оптимизации новой категории можно сразу получать трафик на страницы. 
 
Можно определить оптимальный вариант продвижения для нового направления посмотрев выдачу ПС. 
 
⚠️ Рекомендуем проверить по несколько запросов (2-3 запроса) новой тематики и существующего сайта. 
▫️ Если в выдаче находятся разные ТОПы, то мы делаем отдельный сайт для нового направления. 
▫️ Если же домены пересекаются для запросов существующего сайта и нового направления - делаем отдельную категорию на существующем сайте.
Вопрос: Сайт ранжировался хорошо, по большенству ключевиков был в ТОПе. Где-то неделю назад стал замечать, что позиции проседают, а страниц в индексе становилось больше. Плюс стали появляться "пустые, мусорные страницы", которые начал посещать поисковой бот.  В итоге, сайт вылетел из индекса полностью. Помогите разобраться с ситуацией. В чем может быть проблема?
 
UPD: ПС - Яндекс, сайт - ИМ по продаже головоломок, уже после заметили, что на сайте были стр, которые должны были отдавать 404 ошибку, хотя почему-то отдавали 200 ответ.

Ответ: Точную причину без URL сайта и вебмастера / метрики установить не удастся. 
👉 Первое, что нужно сделать - это проверить Я.Вебмастер (раздел диагностики), убедиться, что к сайту не применяются фильтры (хостовый Баден-Баден, Малополезный контент, Минусинск) со стороны поисковой системы. 
Однако, исходя из вашего описания, дело скорее всего кроется в технической части, поэтому рекомендуем следующее:
1️⃣ Проверить какие страницы находятся  и появляются в индексе Яндекса. Если ваш сайт полностью выпал из индекса поисковой системы, нужно проверить файл robots.txt, а именно не заблокирован ли доступ к сайту в этом файле.
2️⃣ Проверить правильно ли настроен ответ сервера. Судя по тому что 404 страницы отдают 200 код ответа — настройка не верная.
3️⃣ Проверить на блокировку хостером IP-адреса робота поисковой системы (в случае блокировки Яндекс выводит уведомление в сервисе Яндекс.Вебмастер, что робот не может получить доступ к ресурсу).
4️⃣ Проверить аптайм сайта в отчетах Я.Метрики (если данный показатель значительно снизился – значит ваш сайт был недоступен продолжительное время).
⚠️ Для более подробной оценки, рекомендуем оформить заявку на осмотр вашего сайта, заполнив форму на главной странице SiteClinic. Мы более подробно проанализируем и выявим причины, которые могли повлиять на вылет сайта из индекса.
Вопрос: Подскажите как правильно поступить. На мой сайт пришла жалоба по DMCA, была одна картинка без указания авторства взята. В итоге из выдачи была удалена страница, на которую пожаловались. Изображение сразу же удалили, подскажите, что делать дальше, чтобы вернули страницу в выдачу?

Ответ: Для одной страницы самым быстрым и безопасным методом может стать полное изменение url страницы и настройка 301 редиректа со старого url на новый. 
⚠️ DMCA фильтр через 301 редирект не передаётся, зато будут передаваться позиции и ссылочные вес.
👉 Если задетых страниц много, их контент не нарушает авторских прав и у истца нет прав ограничивать показ материалов Вашего сайта в Google, то одним из вариантов, как вернуть страницы в выдачу, является официальное отклонение жалобы.
 🔗 Подробнее о форме встречного уведомления о нарушении закона США (DMCA) можно ознакомиться тут.
⚠️ Обратите внимание, что если представленный на странице контент нарушал авторские права в момент поступления исходного запроса на удаление, Ваше встречное уведомление не будет правомерным. 
👉 В этом случае не отправляйте его, даже если незаконный контент уже удален, страницу в выдачу уже не вернуть.
Вопрос: Как проверить и оценить юзабилити страницы? Есть какие-то общие рекомендации, обязательные элементы страницы или чек-лист, следуя которым можно приблизится к идеальной странице. Сайт коммерческий, ИМ по продаже подарочных наборов.

Ответ: Удобство оценивается исходя из того, насколько страница соответствует своей цели и помогает пользователю в её достижении (скриншот). 
👉 Исходя из цели и будут определяться обязательные элементы, например: 
▫️Главная страница рассказывает о возможностях.
▫️Категории помогают сравнить товары и найти нужный.
▫️Карточка рассказывает о товаре и помогает купить.
Для любого сайта будет полезным проверить:
1️⃣ Удовлётворенность страницами сайта — процент конверсий, глубина просмотра страницы (по карте скроллинга), использование целевых элементов сайта (по карте кликов), поведение пользователя (по вебвизору).
2️⃣ Внутреннее удобство — логичная структура и интуитивно понятная навигация, читабельность и полезность текстов.
3️⃣ Раздражающие факторы — дизайн интерфейса, лёгкость конверсии, количество рекламы, наличие поп-апов.
4️⃣ Техническую обеспеченность — скорость загрузки, адаптивность под разные устройства.
▫️Идеи элементов и типов контента для улучшения ПФ. 
👉 Кроме инструментов аналитики удобство сайта можно оценивать с помощью пользовательского тестирования — например, https://askusers.ru/. Всё вышесказанное соответствует тому, что говорит Google (скриншот) и Яндекс (скриншот).
Вопрос: Можно ли делать на сайте редиректы с одних страниц на другие? Например, есть старые страницы с хорошими позициями, но уже не актуальным товаром. Можно ли с таких страниц ставить редиректы на новые страницы с похожими товарами или похожей информацией? Если да, то какой редирект ставить в таком случае.  Или лучше будет реализовать блок «Похожие товары»?

Ответ: 👉 Мы настоятельно не рекомендуем реализовывать редирект с одной карточки товара на другую, потому что:
🔸 Во-первых, это может увеличить количество отказов и ухудшить поведенческие факторы. Например, пользователь хочет купить Товар1,но при заходе на страницу с Товаром1 его перенаправляет на страницу Товара2. Вероятней всего, пользователь покинет страницу, не получив ожидаемого результата.
🔸Во-вторых, поисковые системы обращают внимание на то, насколько соответствует страница поисковому запросу и в результате такой метод может ухудшить ранжирование сайта.
👉 Есть два варианта решения этой ситуации:
1️⃣ Реализовать блок «Похожие товары» (рекомендуемое решение).
1️⃣ Настроить редирект со старой страницы на родительскую категорию. Например, если у вас страница «Товар1», вы можете реализовать 301 редирект на страницу «Категория1».
👉 В Вашей ситуации рекомендуем реализацию блока «Похожие товары». 
⚠️ Такой блок улучшает поведенческие факторы на сайте (удерживает пользователя на сайте), повышает средний чек  и правильно распределяет внутренний вес страниц. 
👉 Если все-таки решите реализовать переадресацию на категорию, мы рекомендуем настраивать редирект с ответом сервера 301, так как именно такой вариант указывает на то, что страница окончательно перемещена из одного места в другое (и так передается ссылочный вес).
🔗 Более подробно про то, какой редирект и в каком случае настраивать, можно прочитать в статье «301, 302 или 404? Что применять и в каких случаях?»
Вопрос: Какие актуальные методы определения текстового переспама на странице посоветуете? Есть ли какие-то инструменты для этого, которым можно доверять? Или по старинке, методом тыка определять?

Ответ: Инструмента, позволяющего точно диагностировать переоптимизацию на странице нет.
👉 Автоматические сервисы используют метод сравнения позиций с ближайшими конкурентами, ограничивая выдачу специальным запросом. 
⚠️ Но данная методика показывает только то, что есть проблема на странице, но нельзя утверждать, что она связана именно с текстом.
👉 Основной метод определения текстового постраничного переспама заключается в анализе ранжирования запросов на данной странице. 
🔸 Основным признаком является снижение позиций примерно на 10-30 пунктов. 
🔸 При этом запросы на остальных страницах продолжают ранжироваться на прежних позициях.
👉 Для определения имеет ли просадка отношение к переоптимизации, проводятся следующие работы:
1️⃣ Выявить и определить число пострадавших страниц. 
2️⃣ Разделить выведенный перечень на 2 подгруппы (это важно для исключения влияния посторонних факторов). Первую из них оставить без правок. На страницах, относящихся ко второй группе, провести капитальную чистку текстового содержания. 
3️⃣ Отправить страницы на переобход.
4️⃣ Выждать несколько апдейтов (неделю-полторы). 
5️⃣ Сравнить результаты. Если контрольная подгруппа показывает заметное изменение позиций или трафика в сравнении с нетронутыми страницами, это говорит о том, что группа попала под переоптимизацию.
Вопрос: В Google Search Console в отчёте "Удобство для мобильных" только 275 страниц из пяти тыс. Но, все страницы индексируются без ошибок, о чем свидетельствует сообщение в отчете покрытия страниц. С учетом mobile-first индексации, как данная ситуация может повлиять на позиции сайта? Можно ли проверить заходит ли бот для мобильных устройств на сайт и как это сделать?

Ответ: Ситуация, когда страниц в индексе значительно больше, чем в отчёте "Удобство для мобильных" является нормой и на позиции это никак не влияет.
👉 Чтобы проверить, заходит ли Googlebot для мобильных устройств, нужно проанализировать логи сервера. Полная строка агента пользователя основного Googlebot для мобильных устройств выглядит так:
🔸 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z‡ Mobile Safari/537.36 (compatible; Googlebot/2.1; +_http://www.google.com/bot.html)
🔸 Пример лога сервера посещения страницы Googlebot-ом для мобильных устройств. 
🔸 Со списком встречающихся Googlebot для мобильных устройств можно ознакомиться тут.
👉 Для проверки оптимизации страницы под мобильные устройства, можно использовать Mobile-Friendly Test от Google. Уже исходя из результатов теста можно начинать внедрять рекомендации касающиеся конкретного сайта.
Вопрос: Есть сайт в Веб Архиве, не работает он уже около года, но на нем очень классный контент. 
Если на своем сайте разместить этот контент будет ли он считаться уникальным? Или Поисковики помнят, что он уже был использован, а значит 100% неуникальный?

Ответ: Точно не известно, как отнесутся ПС к такому контенту.
1️⃣ Для Google, скорее всего, контент будет считаться уникальным, если у него в индексе нет аналогов. 
🔸 Но даже скопированный контент Google может спокойно ранжировать, если текст имеет дополнительную пользу/доработку (например, экспертные комментарии к старой статье или удобный функционал на сайте-синдикаторе): http://prntscr.com/s3x907
2️⃣ В Яндексе есть риск, что текст был добавлен в «Оригинальные тексты», и поисковик его запомнил (хотя достоверных исследований на эту тему нет), при этом ему не обязательно быть в индексе . 
🔸 Причём текст мог добавить как владелец первого сайта (удалённого), так и Ваш конкурент, который первее заметил статью в вебархиве и застолбил для ещё не опубликованной своей страницы. Поэтому не всегда проверка уникальности инструментами срабатывает.
👉 В итоге:
▫️ Если разместить текст в неизменном виде, есть риск, что он воспримется как неунекальный и не будет ранжироваться, тогда вы потратите время впустую (а если таких текстов много, пострадает весь сайт).
▫️ Если доработать текст, он будет вполне легально ранжироваться и может попасть в ТОП. 
🧐Что делать? 
🔸 Легальный способ: Объединить несколько статей в одну и дополнить новыми блоками.
Яндекс пишет, что при добавлении в инструмент "объединять тексты, размещенные на разных страницах, не нужно, в таком виде они не будут учитываться нашими алгоритмами." — значит объединенный текст избавляется от влияния алгоритма и может нормально ранжироваться.
🔸 Для ленивых: использовать скопированные тексты но только под статейные ссылки.
👉Для самого лучшего эффекта и чистой совести рекомендуем: писать новые статьи под свежую семантику.
⚠️ Важно: оба поисковика наказывают за автоматический рерайт, так как качество таких текстов низкое вне зависимости от уникальности.
Вопрос: Заметили, что на сайт начались массовые переходы по одному запросу, который при проверке находится на 89 месте в Яндексе, а в Google его вообще нет. При этом IP разные, количество времени на сайте разное. Но обращений по этому запросу нет. Что это? Накрутка конкурентов, чтобы отработать на нас алгоритм повышения позиций ? Или что-то другое?

Ответ: Скорее всего, Ваш сайт хотят пессимизировать недоброкачественные конкуренты. 
👉 Рекомендуемые методы борьбы с негативной накруткой — отслеживание и блокировка по IP до тех пор,  пока у недоброжелателей не израсходуются VPN/прокси.
⚠️  Заранее проверьте, что блокируемые адреса не являются IP-адресами, которые принадлежат поисковым системам. Достоверно узнать можно только посредством обратного DNS-запроса. 
🔸 Если ошибочно заблокировать доступ поисковикам, то сайт может выпасть из индекса. 
🔸 Также есть риск заблокировать доступ реальным пользователям, которые сгенерировали много обращений.
👉 Чтобы точно определить, откуда были такие переходы – рекомендуем проанализировать логи сайта (Как выполнить анализ логов сайта с помощью Power BI). 
🔸 С помощью логов можно определить:
▫️IP-адрес клиента;
▫️дату, время запроса и часовой пояс;
▫️реферр — откуда было обращение;
▫️User-Agent клиента.
⚠️ Эти данные помогут определить недоброкачественные IP, в последствии их можно заблокировать.
👉 Что может помочь, если Ваш сайт пытаются «скрутить»:
1️⃣ Покупка готовых баз спам-листов с IP-адресами ботов, такие как у Keitaro и Benom. Такие спам-листы помогут на 30-40% закрыться от IP.
2️⃣ Специальные сервисы, которые помогают защитить сайт от Ddos-атак, например, – Cloudflare, BotGuard. В случае если у них уже есть какие-то забаненные IP, она автоматически закроет и Ваш сайт от них.
3️⃣ Обращение в техническую поддержку Яндекса: опишите свои подозрения о накрутке ПФ, к которой вы не имеете отношения.
👉 Так же можно поставить reCAPTCHA V3:
🔸 срабатывает в фоновом режиме;
🔸 необходимо загрузить библиотеку reCAPTCHA вместе со страницей, запустить grecaptcha.execute в определённый момент или можно сразу в момент загрузки страницы.
🔸 для пользователей этот процесс незаметный, а вы через JavaScript API получите с сервера reCAPTCHA оценку данного пользователя.