kiriyk/seo_tg huggingface dataset:
Вопрос: Есть сайт, огромное количество страниц и карточек товаров отличаются друг от друга минимально (одни товары разных размеров). Естественно тысячи таких страниц отмечены Яндексом как некачественные.

Хотели закрыть карточки от индексации и сделать фильтры по размерам. Но! Карточки с размерами, которые держатся в поиске дают хороший трафик в годовом разрезе. Если их убрать — будет просадка по посещаемости. При этом позиции сайта и ИКС — падают. Как быть в этой ситуации?

Ответ: 💡В Вашем случае, правильным решением будет оставить заявку у нас на сайте. Тогда мы максимально точно сможем дать ответ, как и что нужно делать. Так как не видя пациента, очень сложно давать ему рекомендации по лечению.
👉 В целом же, мы не советуем закрывать все карточки вариаций размеров от индексации как минимум потому что на часть из них уже есть трафик, а другая часть может быть источником потенциального трафика, в случае если имеется спрос на конкретные размеры. 
Более того, товарный ассортимент – важный коммерческий фактор ранжирования, чем он больше, тем лучше для сайта, особенно если у конкурентов большое количество продвигаемых карточек.
⚠️ В первую очередь нужно поработать с малоценными карточками (которые исключены поисковиками из поиска). Самый оптимальный вариант – настроить каноническую ссылку со страниц с вариациями размера на страницу основной версии товара. Таким образом поисковые системы поймут, что речь идет про карточки с похожим контентом (товары одной серии).
В будущем, прежде чем создавать карточки для товаров разных размеров или разных цветов, нужно отталкиваться от следующего:
1️⃣ Есть ли спрос на конкретно эти товары. Если спрос есть (частотность по данным запросам) и конкуренты продвигают отдельные карточки – смысл создавать такие страницы есть. При этом, данные страницы должны быть достаточно уникальны и оптимизированы (метатеги, текстовые описания, изображения). Если это будут просто дубли, то мы снова столкнемся с вышеописанной проблемой. Подробнее о том, как уникализировать карточки товаров, можно почитать в нашей статье.
2️⃣ Какое количество карточек на листинге по сравнению с конкурентами. Если карточек недостаточно – создавать страницы можно с целью увеличить товарный ассортимент (опять же, они должны быть качественными и уникальными). Если карточек и без этого много – плодить страницы не стоит, ведь мы рискуем потратить неоправданные ресурсы на их проработку, а также напрасно растрачивать краулинговый бюджет сайта.
👉 Если мы приходим к выводу, что в создании отдельных страниц смысла нет, то лучше сгруппировать товары одной серии, используя выпадающий список на одной карточке товара – пример.
При этом, фильтры для размеров стоит внедрить для удобства пользователей и проработки коммерческих факторов, особенно если таковые имеются у конкурентов. Даже если товары по размерам будут продвигаться на одной странице, их можно отображать в результатах фильтровки.
Вопрос: В Яндексе скачет релевантная страница с листинга магазина на статью в блоге и обратно по запросам не включающим в себя «купить». Выдачу по тем запросам занимают листинги магазинов. Как можно закрепить релевантность листинга не удаляя инфо. статью?

Ответ: 💡Вероятнее всего, причиной смены релевантности в Яндексе могут быть слабые ПФ. Ваша задача — накопить больше ПФ на продвигаемую страницу. Для этого можно сделать перелинковку, чтобы повысить внутренний вес страницы. Также рекомендуем добавить полезные элементы на страницу, чтобы повысить уровень взаимодействия пользователя. Оцените, как оптимизированы посадочные страницы конкурентов и сравните со своей. Если у Вас есть лишние элементы или чего-то не хватает – исправьте эту ошибку. 
Помимо этого, с информационной статьи поставьте ссылку на коммерческую. 
👉 По началу релевантная продолжит прыгать дальше, но если со временем ошибка не исправится, рассмотрите вариант настроить canonical на страницу листинга или закрыть информационную страницу от Яндекса.
Но лучше всего, оставьте заявку у нас на сайте. Укажите проблемные страницы и запросы, тогда мы сможем дать более точный ответ и указать на проблемные места.
Вопрос: Если не предоставить в Яндекс подтверждающих документов на аренду склада, который стоит в адресе на Яндекс.Картах, сайт упадет в выдаче после удаления магазина из карт Яндекса? И есть ли вариант провести систему?

Ответ: 💡Это не является отдельным фактором ранжирования, но входит в критерии доверия к ресурсу. 
Мы считаем, что эффект может зависеть от тематики и направления сайта. На практике был сайт услуг, после добавления в Яндекс.Карты, 2Gis и другие региональные справочники происходил резкий рост позиций в ТОП. Мы связываем это с тем, что пользователи делая поиск нашей услуги, находили наш сайт на Яндекс.Карте и через неё попадали на сайт, тем самым повышали ПФ сайта и как итог сайт вырос в ТОП.
⚠️ Законных способов провести ПС мы не встречали, можно попробовать указать точку выдачи товара на карте, но если будут проверять, то вероятнее всего провести не удастся.
Вопрос: Сайт уже несколько лет назад переведен на https, со всех страниц с http сделан редирект 301 на https. Но Google несколько десятков страниц с http запомнил, и никак не хочет убирать из индекса. Смотрю в консоли, в версии сайта с http: в поиске 126 страниц. причем заход на них в совсем недавно, в этом месяце. Проверяю разными инструментами, все страницы с http дают ответ 301, редирект на https. Исключено 61.2 тыс., но они тоже запомнены. Можно как-то ускорить процесс удаления http страниц из индекса? Нужно волноваться, если редиректы настроены?

Ответ: 💡 В целом это нормально, что некоторые http страницы все еще есть в поиске.
👉Главное, чтобы были соблюдены следующие пункты:
▫️в Sitemap новой версии сайта не должно быть ссылок на http страницы;
▫️все атрибуты rel="canonical" должны ссылаться на https-версии страниц;
▫️на сайте не должно быть внутренних ссылок на http страницы (желательно заменить все ссылки на относительные);
▫️весь контент должен передаваться по протоколу https – в противном случае при переходе на страницу в браузере вместо замочка отобразится предупреждение, что соединение защищено не полностью (смешанный контент);
▫️ссылки сторонних скриптов также должны быть на протоколе https; 
▫️новые версии страниц должны корректно отрабатывать (отправка данных, действия функций и уведомлений).
Если редиректы настроены корректно, то волноваться по поводу http страниц не стоит, а тем более не стоит удалять их, ведь это некая «основа» https страниц.
⚠️ То что 60 тысяч страниц на протоколе http до сих пор висят в исключенных – это также нормально. Поисковые роботы будут продолжать сканировать эти страницы годами, так как на них, к примеру, могут вести внешние ссылки. При этом данные страницы уже удалены из индекса, так как находятся в отчете «Исключенные страницы».
Вопрос: Объясните, пожалуйста, почему в статистике обхода Вебмастера регулярно обходятся страницы 404, при этом ссылок на них на сайте нет.

И второй вопрос: правильно я понимаю, что сначала робот обходит страницы и мы видим это в отчете "Статистика обход", а затем определяет что с ними делать — добавить в индекс или исключить и мы видим это в отчете "Страницы в поиске"?

Ответ: 💡Страницы с 404-тым кодом действительно могут обходиться поисковыми роботами еще несколько раз после первого обнаружения. 
Чтобы удалить страницу полностью из индекса рекомендуется настроить 410 код ответа. Он указывает поисковым роботам, что страница навсегда удалена. А 404 ответ может восприниматься как временная ошибка, поэтому робот возвращается проверить состояние страницы. 
Также 404-тая страница может быть в sitemap, и это может достаточным основанием для робота продолжать сканировать страницу. 
👉 Что касается второго вопроса:
В отчет "Статистика обхода"  будут все страницы сайта которые обошел робот, при условии, что на момент обхода они были доступны. Подробнее: https://yandex.ru/support/webmaster/service/site-indexing.html
А в отчете "Страницы в поиске" находятся  страницы сайта, которые участвуют в поиске Яндекса. При этом там отображается как информация о добавленных (новых) страницах, так и данные о страницах, которые были из поиска исключены. Подробнее: https://yandex.ru/support/webmaster/service/searchable.html
Если возникнут сложности с обнаружением источников 404-тых страниц, то напишите нам и мы поможем.
Вопрос: Много споров есть на счёт использования LSI и их работоспособности, но всё же: даже если и внедрять их, то в какой части контента страницы? Стоит ли использовать LSI выражения в title или это больше как вспомогательная семантика для текстов под листингами, например?

Ответ: 💡Из нашего опыта скажем, что стоит использовать LSI, аргументы в пользу:
1️⃣ Дополнительные точки для роста трафика. Когда Вы используете дополнительные поисковые запросы в листингах и контенте под ним. При правильном подходе, такие запросы попадают в ТОП по СЧ и НЧ запросам. При комплексном добавление на сайт, по итогу получаем хороший процент дополнительного трафика на сайт.
2️⃣ Текст на странице лучше раскрывается  и содержит больше полезной информации.
👉 Чаще всего их используют в теле статьи, иногда в Title, но для того чтобы определить нужны они в Title или нет, нужно:
▫️Смотреть ТОПы, есть ли у конкурентов или нет, если есть, то добавлять
▫️Если у конкурентов в ТОПах Title без LSI, то можно попробовать провести эксперимент и добавить, посмотреть на реакцию ПС.
Вопрос: Как Google определяет спамные ссылки?
Со всеми этими спам апдейтами Google, решил отказаться от крауд ссылок и аренды. Хочу перейти чисто на самые жирные ссылки с DR минимум 50. Как вы думаете, такая стратегия сейчас сработает?

Ответ: 💡Если ссылка выглядит неестественной, она – спамная. Подробнее о спамных ссылках – в нашей статье.
👉 Ориентироваться только на DR неправильно, так как Google на этот показатель не смотрит и его можно накрутить. В первую очередь нужно смотреть на трафик, и даже при DR, условно, 10, с трафиком на странице с ссылкой – это лучше, чем DR 50 и трафик 0.
Крауд и арендные ссылки необходимо оставить, так как они позволяют разбавлять ссылочный профиль. Если Вы будете заказывать только статейные ссылки, алгоритмы Google могут это определить. 
⚠️ Помимо этого, крауд является самым естественным способом наращивания ссылочного профиля. Менее — арендные и вечные статейные ссылки. 
Однако учитывайте, что крауд может считается спамным, если исполнители халатно относятся к размещению ссылок: создают отдельные ветки и пишут в них вопрос-ответ, без каких-либо дополнительных работ, а именно: написания уникальных текстов, дополнительных комментариев и т.д.. Такой крауд не будет учитываться. Но если ветка будет с отзывами, по ссылкам будут переходы, то такая ссылка будет работать.
Что касается арендных ссылок, отказываться от них не рекомендуем, потому что количество вечных, подходящих Вашему сайту ссылок на биржах, ограничено. Важно помнить, что если ссылка арендная, но она в индексе и на странице есть трафик, то это хорошая ссылка.
Вопрос: Как занять 2 места в выдаче поисковиков? Есть рабочие варианты и как это можно сделать? Как еще можно увеличить вероятность перехода на мой сайт?

Ответ: Есть два способа занять два места в выдаче поисковика. 
👉 Первый вариант. Вы продвигаете один сайт и стараетесь, чтобы по одному запросу в выдаче выводилось несколько страниц сайта. В таком случае речь идет о поисковой системе Google, так как именно там можно встретить две страницы одного сайта по одному запросу.
Чаще всего Google выводит две страницы в сниппет тогда, когда считает, что они обе могут быть полезны пользователю по определенному запросу. 
Например, по запросу «купить холодильник» в украинской выдаче Google таким образом выводятся две страницы нескольких сайтов, которые поисковая система посчитала полезными для пользователя:
▫️Страница холодильников общая (по всей Украине). 
▫️Страница холодильников доступных в Одессе (региональная страница).
Скриншот пример №1
Скриншот пример №2
⚠️Таких примеров можно приводить много, причем как информационных запросов так и коммерческих. Однако конкретных последовательностей действий, как именно вывести обе страницы в выдачу нет. Алгоритм Google сам решает, отталкиваясь от качества сайта и релевантности запросов. Анализируйте ТОП своей тематики и старайтесь улучшать сайт для пользователей, чтобы поисковик посчитал Ваши страницы достойными для такого вывода.
👉 Второй вариант. Вы продвигаете несколько сайтов одинаковой тематики с целью монополизации выдачи. Данный метод работает как для Яндекса, так и для Google. В таком случае необходимо просто продвигать два и более сайтов в ТОП.
Основная задача при таком продвижении не дать понять поисковым системам, что это два сайта одного владельца и не попасть под аффилирование. Для этого, кроме разных доменов необходимо использовать разные:
▫️дизайны, шаблоны и структуры сайтов;
▫️юридические и фактические контактные данные;
▫️аккаунты компаний в социальных сетях;
▫️учетные записи в сервисах поисковиков;
▫️уникальный контент;
▫️размещать сайты на разных хостингах.
👉 Повышение CTR.
Чем более интересным, содержательным и привлекательным будет сниппет, тем более вероятным станет переход пользователя на сайт. Как ещё можно повысить CTR: 
▫️Делайте привлекательными метаданные Title и descriptions, а также хлебные крошки, например через уместное добавление эмодзи.
▫️Используйте уместную микроразметку для своих страниц с целью получения расширенных сниппетов. 
▫️Оптимизируйте контент целевой страницы для получения расширенных сниппетов. Подробнее о полном списке расширенных сниппетах Google можно прочитать здесь.
Вопрос: Плохо ли, если в URL нижнее подчеркивание вместо дефиса? Новый сайт запустился с таким урлами. Лучше поменять на дефисы и сделать редиректы или так и оставить?

Ответ: 💡Если у вас URL только формируются, то лучше использовать дефис. Если же в урлах сайта уже используется нижнее подчеркивание, то исправлять ничего не нужно. Это не критическая ошибка. 
Поисковые системы хорошо воспринимают как нижнее подчёркивание, так и дефис.
👉 Для Google дефис это разделитель слов, а нижнее подчеркивание  используется как знак объединения. Об этом рассказывал Мэтт Каттс (глава команды Google по борьбе с поисковым спамом в 2014 году) в видео. Ну и в справке Google говорится, что лучше использовать дефис [справка].
Вопрос: Можно ли использовать генераторы для составления ТЗ для копирайтеров? Какие основные пункты обязательно должны быть в ТЗ? Чем отличаются ТЗ для текстов на сторонние площадки от ТЗ для текстов на страницы своего сайта?

Ответ: 💡Онлайн генераторы ТЗ — это хорошая  альтернатива  ручному анализу, особенно на больших объемах. Ими можно пользоваться, если нужно создать более 10 статей, на основе ТОПа выдачи по конкретным ключевым словам. 
👉 Разные генераторы могут формировать ТЗ по разной структуре, но основные элементами задания для копирайтера считаются: 
▫️объем готового текста
▫️количество вхождений ключей и их словоформы
▫️заголовки H (структура будущего текста)
Последнее обычно не формируют генераторы и чтобы составить правильную структуру придется просмотреть ТОПы. 
ТЗ для текстов на сторонние площадки особенно ничем не отличаются от ТЗ для текстов на свой сайт, задача и тех и других — отвечать на запрос пользователей, раскрывать тему и ранжироваться в ТОПе. 
Если возникнут сложности с составлением ТЗ, то напишите нам и мы поможем.
Вопрос: Есть адалт сайт. Если добавить метатег <meta name="rating" content="adult" />, есть ли риск понижения сайта в выдаче? Сейчас имеет неплохие позиции, но хотим начать Google рассказывать о содержание adult. Есть ли в этом смысл? Когда можно и нужно использовать <meta name="rating" content="adult" />?

Ответ: 💡Тег <meta name="rating" content="adult" /> используется для страниц, на которых содержится контент для взрослых. Страница с данным метатегом не будет показываться юзерам в Google при использовании Безопасного поиска [справка].
Данный тег используется для того, чтобы не получить фильтр за взрослый контент, когда на Вашем ресурсе разный тип содержимого.
👉 В случаях с ресурсами с полностью адалт-тематикой мы считаем нецелесообразным использовать <meta name="rating" content="adult" />. Google и так способен понять содержимое Вашего сайта. В Вашем случае нужно проанализировать ТОП в вашей тематики, если всё таки данный тег встретиться у кого-то из конкурентов — тогда можно сделать эксперимент, добавив данный тег на сайт или его раздел и посмотреть будут ли какие-то подвижки в позициях.
Вопрос: Некоторое время назад у информационников и СМИ часто встречались страницы тегов и поиск страниц по хештегам. Сейчас всё реже встречаю такую реализацию. Сейчас делаем дизайн сайта, в котором есть блог. Можно получить профит от страниц тегов? Или такая реализация актуальна только для крупных проектов?

Ответ: 💡Страницы тегов до сих пор остаются актуальными и положительно сказываются на продвижении сайта независимо от его тематики и размеров.
👉 При правильном подходе и реализации можно получить дополнительный буст по нескольким направлениям:
▫️Продвижение низкочастотных запросов. Страницы тегов можно оптимизировать под  нужные вам поисковые запросы, получив положительную динамику по трафику.
▫️Улучшение юзабилити, навигации и ПФ сайта. Благодаря уже существующим страницам тегов, пользователь может оперативнее получать необходимую информацию, не тратя время на поиск по сайту. Страницы тегов в этом плане намного удобнее обычного поиска и могут увеличить длительность сеанса, улучшить показатель отказов и глубину просмотра. 
▫️В случае с коммерческим сайтом, страницы тегов увеличивают вероятность успешной конверсии. Если пользователя не устроит выбранный товар, он сможет перейти на нужные ему категории.
▫️Распределение внутреннего веса страниц. Используя теги, можно распределить вес на нужные нам страницы.
👉 Но не стоит плодить такие страницы и добавлять их для увеличения количества страниц на сайте. 
▫️Во-первых, плохо оптимизированные и недостаточно заполненные страницы поисковики могут воспринять как некачественные. Большой объём таких страниц может повлиять на качество и ранжирование сайта в целом. Подробнее об этом мы рассказывали тут.
▫️Во-вторых, стоит следить за тем, чтобы запросы страниц тегов не каннибализировали запросы основных старниц. В таком случае велика вероятность смены релевантности страницы.
Реализация индивидуальна и зависит от конкретного сайта. Как правило, мы добавляем ссылки на страницы тегов с похожих по смыслу основных страниц. В таком случае страницы тегов должны помочь пользователю получить более подробную информацию по вопросу, которым он интересуется.
Вопрос: Может ли дескрипшн/тайтл считаться одинаковым, если в нем меняется только название города? Допустимая ли это практика?

Ответ: 💡Нет, такие Desciption/Title не будут считаться одинаковыми. В Title допускается дописывать название города или добавить название вашего сайта. Но поисковая система поймет, что он сделан по шаблону. Такой шаблон можно использовать под НЧ и СЧ запросы, но под ВЧ лучше Title и Desciption прописывать вручную. 
Практика допустимая и часто применяемая при региональном продвижении.
👉 В Вашем случае, лучше всего будет проанализировать ТОПы по интересующим регионам, проверить делают ли такие шаблоны конкуренты, и если да, то можно их использовать.
Вопрос: Не могу определиться, стоит ли в листинги категорий и тэгов добавлять товары, которых сейчас нет в наличии. Сейчас реализован вариант, не отражающий товары, которых нет в наличии. При этом карточки товаров есть и в них остатки "0" указаны.
С позиции покупателя это отличный вариант — они не видят то, чего не будет от 2 недель. Но как быть с позиции SЕО? На эти карточки тоже есть ссылки, но они не работают никак, потому что сами страницы товаров никак не слинкованы с категорией. Всё таки стоит выводить их в листинги? Или это может пагубно отразится на поведенческих? Продвигаемся под Яндекс.

Ответ: 💡Стоит выводить все эти товары в листинги. Это нужно делать по нескольким причинам:
1️⃣ Ассортимент за счет таких карточек становится шире. Ассортимент – это фактор ранжирования в ПС Яндекс с 2011 года, ПС Google считает точно так же. Поэтому карточкам товара нужно уделять особое внимание, как с точки зрения их качества, так и количества.
2️⃣ Все карточки должны быть слинкованы с категориями. Если карточка не слинкована, она может хуже обходится ботами. Кроме этого, она не усиляет категорию или другие карточки ссылками.
3️⃣ На карточки, которых нет в наличии, можно ставить рекомендации на похожий товар, чтобы пользователь, переходя по ним, шёл дальше и завершил конверсию. 
4️⃣ Это никак не ухудшит ПФ, если в листинге у Вас выводится метка «В наличии/Нет в наличии».
В Вашем случае рекомендуем выводить ассортимент, размещая карточки с пометкой «нет в наличии» в самом конце. О том, как проследить, чтобы такие карточки выводились в конце списка, можно прочитать в нашей статье.
Вопрос: Влияет ли то, в каких разделах сайта находится страница, на ее позиции?

Допустим, страница идеально оптимизирована, подобраны ключевые слова. Но находится в разделе сайта, который носит совершенно другую тематику. Влияют ли ключевые слова "родительских" страниц на ранжирование текущей страницы? Для примера, хлебные крошки подобной страницы подобного сайта:
Женская одежда -> Футболки -> Укороченные футболки -> Обзор матча "Спартак - Зенит".

Ответ: 💡Описанная Вами реализация действительно может повлиять на позиции. Это произойдет по следующим причинам:
▫️ПФ (поведенческие факторы) – играют немаловажную роль в ранжировании. Время на сайте, глубина просмотра – те показатели, которые можно улучшить за счёт правильно продуманной структуры. В Вашем случае, пользователь просто может не кликать на страницу в таком разделе, так как он смотрит футболки, а там обзор матча, следовательно страница обзора не получает ПФ. Сама страница в такой структуре может сбивать, так как находится в непонятном разделе, что как следствие говорит о технических проблемах на сайте.
▫️Понимание сайта поисковыми системами: структурирование сайта даёт важную информацию о том, где найти наиболее ценный контент. Структура вашего сайта определяет, сможет ли поисковая система понять, о чём сайт, что на нём продаётся. 
▫️Перелинковка в таком случае также хромает, так как на Ваш обзор ссылаются со страниц футболок.
▫️Отображение в выдаче: грамотное структурирование сайта может помочь улучшить Ваши сниппеты, например через хлебные крошки, которые смотивируют пользователя перейти на сайт. Но хлебная крошка футболки - обзор матча, можно негативно повлиять.