kiriyk/seo_tg huggingface dataset:
Вопрос: Нужно ли в статье на блоге указывать эксперта-автора или это не имеет значения для поисковиков?

Ответ: Указание эксперта-автора в статьях особенно важно в рамках стратегии E-E-A-T, которую Google применяет для оценки качества контента. 
Это особенно важно для YMYL тематик, к примеру, связанных с медициной и здоровьем, финансами и финансовыми советами, юридическая тематика и научные статьи. Однако в своей практике мы стараемся указывать авторов в статьях, даже если тематика не является явной YMYL. 
Указание авторов, обладающих признанными знаниями и опытом, может повысить доверие к контенту и его ранжирование в поисковых системах, а также помогает создать и укрепить репутацию блога как надежного источника информации.
⚠️ Несмотря на явные преимущества, также есть некоторые трудности и недостатки от авторства:
➖ Трудозатратность. Поиск и привлечение экспертных авторов может быть затруднительным и дорогостоящим процессом.
➖ Ограничения в масштабировании. Один эксперт может создавать лишь определенный объем контента.
➖ Потенциальное снижение актуальности. Со временем профессиональная биография автора может устареть, особенно если не появляются новые данные, доказывающие экспертность автора.
Вопрос: Есть какие-либо специальные теги или атрибуты html, которыми нужно выделять авторов внизу статьи? Чтобы Google понимал, что это информация именно об авторстве.

Ответ: Для того, чтобы Google правильно понимал информацию об авторстве контента используйте тип микроразметки Article, NewsArticle или BlogPosting, в которой для обозначения автора используйте специальное свойство «author».
Структурированные данные можно разместить как в виде формата Json, так и в виде микроданных. Подробнее в Справке Google.
Вопрос: Как составлять файл robots.txt и sitemap.xml для мультиязычного сайта (подпапки)?

Ответ: Файл robots.txt
Для мультиязычного сайта нужно убедиться что вы не блокируете доступ к любой из языковых подпапок и поисковики смогут обнаружить и проиндексировать контент на всех языковых версиях вашего сайта.
💡 Пример файла robots.txt:
User-agent: *
Disallow: /admin/
Allow: /en/
Allow: /fr/
Sitemap: https://site.com/sitemap.xml
Файл sitemap.xml
Для мультиязычного сайта крайне важно включить в sitemap.xml url-адреса всех версий каждой страницы. Это можно сделать, используя теги <loc> для указания url-адреса страницы и теги <xhtml:link> для указания альтернативных языковых версий. Эти теги должны содержать атрибуты rel=»alternate», hreflang=»код_языка» (где код_языка — это код языка по стандарту ISO 639-1, например, en для английского, fr для французского) и href=»URL версии_на_этом языке».
💡Пример sitemap.xml для мультиязычного сайта:
  <url>
    <loc>https://site.com/en/page1</loc>
    <xhtml:link rel="alternate" hreflang="en" href="https://site.com/en/page1"/>
    <xhtml:link rel="alternate" hreflang="fr" href="https://site.com/fr/page1"/>
  </url>
  <url>
    <loc>https://site.com/fr/page1</loc>
    <xhtml:link rel="alternate" hreflang="fr" href="https://site.com/fr/page1"/>
    <xhtml:link rel="alternate" hreflang="en" href="https://site.com/en/page1"/>
  </url>
Однако, такой способ не подходит для больших сайтов. По умолчанию обычная XML карта сайта может содержать не более 50 тыс. страниц сайта. Поэтому, если на сайте больше страниц, то рекомендуется разбить одну карту сайта на несколько, каждая из которых будет включать в себя отдельную языковую версию.
Вопрос: Подскажите, какую частоту собирать при работе с семантическим ядром?

Ответ: При формировании семантического ядра, вам нужно собрать всю интересующую вас семантику и не важно, будет у неё частота 10 или 100 тыс. в вашем регионе. 
После сбора семантики вы можете оценить конкурентность запросов, объем рынка, понять, как правильно писать метатеги для продвигаемых страниц, а также в какой последовательности писать слова в тексте на странице.
👉 Если у вас молодой сайт – вы можете взять в работу менее конкурентную семантику, с более низкой частотой. В этом случае вы сможете получить достаточно быстро показы и клики по целевым запросам, чем если бы вы сразу взяли запрос с частотностью 100 тыс. и конкурировали бы с акулами рынка.
Также стоит понимать, что в зависимости от тематики, частота семантики и показатель конкурентности может меняться. В некоторых тематиках запросы с частотой 10 тыс. будут более конкурентны, чем запросы с частотой 1 млн. в других тематиках. Конкурентность на прямую зависит от количества денег, которые тратят пользователи в конкретной тематике.
Вопрос: Нужно ли настраивать редиректы, если внешняя ссылка стоит на несуществующую страницу сайта? Что делать, если таких ссылок много?

Ответ: Если вы обнаружили внешние ссылки, которые ведут на несуществующие страницы вашего сайта, рекомендуем следующий алгоритм, независимо от количества таких ссылок:
1️⃣ Проанализируйте качество сайта-донора с такой битой ссылкой. Если донор спамный, то рекомендуем подать запрос на отклонение таких ссылок. Редиректы при этом делать не надо. 
2️⃣ Если донор качественный, то тут важно сохранить ссылочный вес и не испортить поведение юзеров, которые будут попадать на несуществующую страницу. Попробуйте связаться с вебмастером или владельцем сайта-донора и попросить исправить ссылку.
3️⃣ Если по какой-либо причине связаться с сайтом-донором невозможно, то остается, действительно, настраивать редирект с несуществующей страницы на реальную.
Вопрос: Как или каким инструментом можно проанализировать текстовую релевантность не только текста на странице, но и всех зон документа в целом, в том числе слова скрытые скриптами?

Ответ: Чтобы проанализировать текстовую релевантность всего содержимого веб-страницы, включая скрытый контент, сначала нужно выгрузить весь контент страницы. 
💡 Сделать это можно такими способами:
✅ Рендеринг веб-страницы с помощью headless браузера: Puppeteer для Node.js, Selenium WebDriver, Headless Chrome/Firefox.
✅ Использовать BeautifulSoup и lxml: эти библиотеки Python могут извлекать и анализировать HTML-документы, включая текст, скрытый в теге <script>. 
✅ Инструменты сбора данных и сканирования веб-сайтов: Scrapy, Nutch и другие краулеры могут извлекать исходный код страницы после ее рендеринга.
✅ DevTools браузера: встроенные инструменты разработчика позволяют исследовать HTML и JavaScript, чтобы вручную найти скрытый текст.
После получения отрендеренного содержимого страницы можно анализировать релевантность текста.
👉 Сделать это можно в таких сервисах:
🔸 Itsio: сервис оценивает плотность вхождения ключевых слов, содержанию воды, спаму и наличию LSI в тексте.
🔸 Online Text Analysis Tool от SiteAnalizer с помощью своих алгоритмов определяет релевантность страницы в процентном соотношении.
🔸 У Serpstat есть инструмент «Текстовая аналитика», который помогает рассчитать процент текстовой релевантности и предлагает варианты ее повышения.
Вопрос: Хотим перенаправлять в приложение людей, если они хотят зайти из выдачи и у них уже установлено наше приложение. Какие тут подводные камни? Единственное, до чего я пока додумалась, что эту штуку нужно делать ТОЛЬКО для людей, а для ботов нет.

Ответ: Подводными камнями можно считать следующие моменты:
➖ Минусы:
▫️поисковые системы могут посчитать такую переадресацию обманом пользователей мобильных устройств и наложить санкции на сайт;
▫️будете терять поведенческие метрики, так как клик в выдаче есть, а в системах веб-аналитики нет данных об этом посещении;
▫️следствием ухудшения поведенческих метрик, вероятно, будет снижение позиций в выдаче.
 
➕ Плюсы:
▫️повышаются конверсии, так как зачастую совершать покупки в приложении быстрее и удобнее;
▫️продвижение самого приложения за счет регулярных заходов в него, совершения действий и т.д.
💡 Оптимальный вариант – создать два вида баннеров на сайте:
1️⃣ Первый вид. Баннер для пользователей, у которых уже стоит приложение. Таких пользователей можно перенаправлять на страницы каких-то акционных предложений в приложении.
2️⃣ Второй вид. Баннер для пользователей, у которых приложение не установлено. В баннере ставится ссылка на установку приложения из AppStore или Google Play.
Также вы можете создать всплывающее окно, в котором разместить ссылки по аналогии с баннерами. То есть, одна ссылка для тех у кого приложение уже есть, и другая ссылка для тех у кого приложения еще нет.
При таком подходе вы не нарушите правил поисковых систем и не потеряете поведенческих метрик, но при этом не только сохранится вероятность повышения конверсии, но и появится возможность расширить аудиторию как самого сайта, так и приложения.
Вопрос: Правильно ли будет делать глубокую вложенность: https://www.site.сom/tool/avtomobilnyy-instrument/domkraty/reechnye/
Хлебные крошки тут такие: Главная / Каталог товаров / Инструмент / Автомобильный инструмент / ДОМКРАТЫ / РЕЕЧНЫЕ
Как глубокая вложенность сказывается на краулинговом бюджете?

Ответ: Стоит сразу сказать, что уровень вложенности страницы и уровень вложенности URL, это разные вещи. При глубокой вложенности страницы можно делать короткие ЧПУ урлы, которые лучше воспринимаются людьми, особенно как прямые ссылки.  Вы, наверное, не раз видели магазины, у которых ссылка на товар в URL имеет второй уровень вложенности и отображается сразу после названия домена. И это тоже важно.
При этом бывают ситуации, когда создание глубокой вложенности страниц структурно не избежать, особенно если речь идет о больших каталогах товаров с множеством различных категорий и подкатегорий. И это нормально, большинство крупных платформ имеют тысячи различных подкатегорий, у которых вложенность гораздо более глубокая, чем в вашем примере.
⚠️ Старайтесь следовать известному правилу – независимо от вложенности, страница должна быть не дальше 2-3 кликов от главной. Если вам удастся создать такую перелинковку на сайте, при которой с учетом большой вложенности страниц все они будут доступны в 2-3 кликах от главной – никаких особых проблем при ранжировании ваш сайт испытывать не будет.
Если сравнивать два условно одинаковых сайта, у которых создано две страницы под одну группу поисковых запросов, но у первого сайта это будет страница каталога 2 уровня, а у второго сайта это будет подкатегория 5 уровня, то выше будет ранжироваться первый сайт. 
Это логично с точки зрения поисковой системы, на страницу каталога 2 уровня, скорее всего, напрямую ссылается главная страница и большинство других страниц сайта. На подкатегорию 5 уровня внутри сайта ссылаются некоторые категории и несколько товаров. В первом случае общая трастовость страницы будет достаточно высокая, во втором – очень низкая. В выдаче результат будет очевидный. 
Если сайт достаточно популярный и известный – то суммарный траст домена позволяет даже страницам с 5 уровнем вложенности конкурировать в выдаче со страницами менее трастовых сайтов, у которых УВ этой страницы гораздо выше.
Если до страницы с глубокой вложенностью добраться можно только за 5 кликов, к примеру, то при среднем качестве сайта боты могут очень редко пересканировать такую страницу. Следовательно, улучшая качество сайта, вы делаете для поисковой системы менее важным аспект вложенности страниц для краулингового бюджета.
Вопрос: Есть способ быстро вычислить зомби-страницы с нулевым посещением? Можете показать на основе Google Analytics или другими инструментами?

Ответ: Для определения зомби-страниц (или страниц без посещений, которые не получают трафик) можно использовать Google Analytics или другие инструменты аналитики. Это даст вам понимание, какие страницы на вашем сайте нуждаются в оптимизации или могут быть исключены.
💡 Как вычислить зомби-страницы через Google Analytics:
1️⃣ Откройте Google Analytics и перейдите в раздел "Исследования".
2️⃣ Создайте новый отчет.
3️⃣ Добавьте "Название страницы" в измерения и "Пользователи" в метрики.
4️⃣ Нажмите на "Добавить фильтр" и выберите "Сеансы". Установите фильтр на "Пользователи", выберите условие "равно 0".
5️⃣ Нажмите "Применить". Просмотрите результаты для идентификации страниц без посещений.
Мы рекомендуем использовать Google Search Console для определения зомби-страниц, поскольку оно показывает не только нулевой трафик, но и отсутствие взаимодействия с поисковой системой.
👉 Шаги для использования Google Search Console:
1️⃣ Войдите в вашу учетную запись Google Search Console и выберите ваш проект.
2️⃣ Перейдите в раздел "Эффективность".
3️⃣ Установите временной период (например, последние 3 месяца).
4️⃣ Ниже нажмите на меню "Отфильтровать строки" и выберите "Клики".
5️⃣ В появившемся меню фильтра выберите "Меньше" и введите 1 в поисковую строку, чтобы отфильтровать страницы с 0 кликами.
6️⃣ Нажмите кнопку подтверждения фильтрации, чтобы применить настройки и отобразить страницы, которые не получали клики за выбранный период времени.
После выявления зомби-страниц стоит проанализировать причины их непопулярности. Возможно, их следует обновить, оптимизировать для поисковых систем или даже удалить, если они не приносят никакой ценности. Дополнительно можно улучшить внутреннюю перелинковку и повысить шансы этих страниц быть замеченными как пользователями, так и поисковыми системами.
Вопрос: Как ускорить индексацию обратных ссылок с сабмитов и различных профилей?

Ответ: Качественные площадки-сабмиты обычно не имеют проблем с индексацией новых страниц и ссылок на них. 
👉 Помочь в более быстрой индексации могут только классические методы:
✅ Размещайте обратные ссылки в контексте контента, который действительно будет интересен пользователям. И не важно, будь это сайт поиска работы или простой каталог - информация должна быть правдива, уникальна и интересна. 
✅ Распространите полученные страницы сабмитов через социальные сети. Чем больше пользователей увидит и перейдет по ссылке, тем быстрее она будет проиндексирована. Важно: ссылки в соцсетях также должны быть релевантными.
✅ Используйте пинг-сервисы, чтобы уведомить поисковые системы о новых обратных ссылках.
✅ Внутренние ссылки на странице, где размещена обратная ссылка, могут помочь роботам быстрее найти и проиндексировать её. Если сабмит-площадка хорошего качества, то внутренняя перелинковка быстро свяжет вашу страничку.
Вопрос: Есть многостраничник, насколько плохая идея сделать на поддомене отдельный сайт для моно-товара под конкретный регион? Почему можно/нельзя так делать?

Ответ: Создание сайта на поддомене для монотовара достаточно распространенная практика. 
⚠️ Но крайне важно тщательно исследовать рынок и конкурентов в том регионе, в котором вы хотите ранжировать свой поддомен. Обязательно стоит обратить внимание на то, что если в регионе нет сайтов под монотовар, даже под низкочастотные запросы, то задача по SEO-продвижению вашего поддомена для монотовара будет крайне сложной.
Стоит отметить, что с точки зрения конверсий, сайт на поддомене, заточенный под монотовар, может быть очень эффективным. Но необходимо помнить, что лендинги достаточно сложно поддаются SEO-продвижению. И по этой причине, сайт с одним торговым предложением, зачастую, создают под рекламную кампанию, будь то в поисковых системах или в социальных сетях.
Однако, если конкуренция в нужном для вас регионе невелика, то при определенных усилиях с точки зрения SEO, сайт может получить достаточно высокие позиции.
👉 При этом, очень важно, не только оптимизировать сайт (тайтл, дескрипшен, Н1, текст) под запросы, связанные с монотоваром, но еще и сделать страницу максимально информативной и полезной для конечного потребителя:
▫️подробные характеристики и описание товара;
▫️качественные и подробные изображения;
▫️преимущества товара по сравнению с аналогами;
▫️преимущества вашей компании по сравнению с конкурентами;
▫️видеообзор товара;
▫️отзывы покупателей;
▫️подробные данные о способах оплаты и доставки заказов;
▫️ответы на частозадаваемые вопросы;
▫️контактная информация.
Именно в таком виде лучше всего делать лендинг под монотовар.
Вопрос: Подскажите, как удалить индексацию страницы в Google, чтобы Google не выдавал ссылку на эту страницу при наборе запроса в поисковике?

Ответ: Чтобы удалить страницы с индекса в Google необходимо зайти в панель Google Search Console, в левой панели выберите «Удаление» под разделом «Индекс» и отправьте URL адреса для удаления.
Удалите все ссылки (внутренние и внешние), ведущие на страницу, которую вы хотите удалить с индекса, чтобы она не появилась повторно в индексе. 
👉 Если вы хотите сохранить страницу на сайте, но при этом чтобы ее не индексировали роботы, используйте метатег запрещающий индексирование “noindex”.
Вопрос: Как быстро посмотреть какой тип рендеринга на странице? Влияет ли обработанный html-код на ранжирование сайта?

Ответ: Чтобы быстро посмотреть тип рендеринга на странице, используйте Google Search Console. В разделе "проверить url-адрес" можно ввести url страницы и проверить, как Googlebot видит контент. 
✅ Если контент полностью загружается и отображается в html, это указывает на серверный рендеринг (SSR). 
✅ Если контент подгружается через JavaScript, это указывает на клиентский рендеринг (CSR).
Однако, следует учитывать, что наличие JavaScript контента не обязательно означает использование клиентского рендеринга, так как современные сайты частично используют JavaScript и при серверном рендеринге.
Также быстрого и более точного определения можно использовать расширения, такие как React Dev Tools или Vue.js devtools, которые показывают, какие компоненты используются на странице и как они рендерятся. 
💡 Также можно посмотреть вручную и постараться косвенно вычислить клиентский рендеринг (CSR):
1️⃣ Откройте веб-страницу в браузере; 
2️⃣ Нажмите F12, чтобы открыть инструменты разработчика;
3️⃣ Перейдите на вкладку "Источники";
4️⃣ Найдите файл JavaScript с точкой входа приложения (обычно это main.js или index.js).
5️⃣ Остановите загрузку в начале подгрузки файла.
6️⃣ Обновите страницу.
Если браузер остановится на точке остановки, скорее всего, используется клиентский рендеринг (CSR).
Обработанный html-код влияет на ранжирование сайта. Поисковые системы лучше индексируют страницы, которые загружают основной контент в исходном html. Серверный рендеринг (SSR) обеспечивает быструю загрузку контента и улучшает seo за счет того, что контент сразу доступен для индексирования поисковыми ботами. 
В случае клиентского рендеринга (CSR), контент часто подгружается динамически с использованием JavaScript, что может задерживать индексирование и ухудшать ранжирование.
Вопрос: Есть ли какие-то сервисы по мониторингу новосозданных страниц у конкурентов? Цель не стащить контент, а проанализировать их ход мысли и, при необходимости и целесообразности создать похожие страницы и у себя.

Ответ: Такие сервисы безусловно есть, но их так просто не найти в поиске именно по причине того, что чаще всего такие сервисы занимаются воровством контента сайтов конкурентов. Заниматься рекламой и советовать какой-то из сервисов мы не будем.
⚠️ Однако можем порекомендовать обратиться к своим разработчикам. Очень часто такие скрипты заказывают для личного использования. ТЗ на такой инструмент достаточно простое: скрипт должен создать базу данных ссылок сайта конкурента и раз в несколько дней делать парсинг. Все новые url, найденные скриптом, соответственно, будут новыми страницами.
Если сайт конкурента не слишком большой, вы можете сделать это и в ручном режиме. Существует достаточно много программ для личного использования, которые могут спарсить сайт. Самая известная – Screaming Frog. Логика её работы аналогичная принципу действия скрипта, только в данном случае вам нужно будет в ручном режиме отслеживать появившиеся url.
Вопрос: Подскажите, пожалуйста, на что нужно обратить внимание при разворачивании сайта на регионы с помощью поддоменов, кроме изменения контактов, справочников, топонимов? Что делать с информационными статьями на сайте поддоменов?

Ответ: Помимо изменения контактов, справочников и топонимов, следует учесть следующие важные аспекты:
🔸 Убедитесь, что URL поддоменов логичны и понятны. Например, URL для города Одесса  – odesa.site.com
🔸 Добавьте каждый поддомен в Google Search Console, чтобы следить за их производительностью.
🔸 Старайтесь избегать дублирования контента между поддоменами. Каждый текст должен быть уникальный и адаптирован под интересы и запросы пользователей конкретного региона.
🔸 Пытайтесь получить обратные ссылки с локальных доноров. Это поможет улучшить авторитет поддомена в конкретном регионе.
Информационные статьи, как правило, оставляют только на главном поддомене и не публикуют на поддоменах, чтобы не было дублей. 
👉 Если же на ваших поддоменах продублированы статьи с главного домена, то рекомендуем закрыть их от индекса (либо поставить редирект на соответствующие статьи основного домена) и замените ссылки статей на поддоменах, чтобы они вели на статьи главного домена.
Вопрос: Есть сайт с прогнозами погоды, и под каждую неделю у нас отдельная страница. Но, как только неделя меняется, информация перестает быть актуальной, соответственно, и трафик у этой страницы падает. Что с такими страницами лучше делать: удалять их, менять контент на них или создавать новые и настраивать редиректы на старые?

Ответ: В вашем случае какого-то одного универсального варианта не существует. Каждый из них имеет право на жизнь. Крайне важно понимать, что такие страницы с течением времени полностью теряют свою актуальность и трафик полностью прекращается. Можем предложить несколько вариантов решения.
1️⃣ Первый вариант. Редиректы.
Удаление страниц сайта не самое лучшее решение, особенно, если они имели трафик из поисковых систем. Поэтому хорошим вариантом будет создание новой страницы под новую неделю и простановка редиректа со старой на новую.
⚠️ Стоит помнить, что после нескольких итераций могут возникать цепочки редиректов, а это уже плохо. 
Например, страница Неделя 1 перестала быть актуальной и вы создали новую страницу Неделя 2. Затем поставили редирект со страницы Неделя 1 на Неделя 2. 
После того, как закончилась следующая календарная неделя со страницей Неделя 2, вы создаете страницу Неделя 3 и проставляете редирект со страницы Неделя 2 на Неделя 3. При этом у вас уже стоит редирект со страницы Неделя 1 на Неделя 2, которая в свою очередь редиректит на Неделя 3. 
Поэтому, после завершения актуальности Неделя 2, есть вероятность, что редирект со страницы Неделя 1 на Неделя 2 больше не понадобится. Но, если страница получает трафик, то стоит направить пользователей по актуальному пути и в данном случае поставить редирект с Неделя 1 на Неделя 3.
Со временем, все редиректы, скорее всего, можно будет удалить, так как трафик с большой вероятностью сойдет на нет из-за потери актуальности информации.
2️⃣ Второй вариант. Перенос страниц в подпапку архив.
После того, как трафик прекратился, и соответственно, актуальность утеряна, есть смысл перенести эти страницы в специальную подпапку на сайте - Архив и, чтобы не возникали ошибки 404, проставляете редирект на страницы – site.com/nedelya-1 на site.com/archive/nedelya-1. Таким образом, вы не создаете 404 ошибки, а сайт постепенно растет в объеме. Саму папку можно закрыть рекомендацией в robots.txt.
3️⃣ Третий вариант. Закрыть от индексации.
После завершения жизненного цикла страниц, их можно сразу закрыть от индексации, оставляя прежний URL, чтобы они не плодили на сайте страницы низкого качества. Возможно, не самый оптимальный вариант, но вполне жизнеспособный.
4️⃣ Четвертый вариант. Удаление страниц.
Когда страницы полностью утратили актуальность и потеряли весь трафик, в целом их можно удалить и проставить редирект на главную страницу или соответствующую категорию, чтобы не возникали ошибки 404.