Обсуждение MediaWiki:Robots.txt

message: В этом системном сообщении находятся местные директивы robots.txt, добавляемые в конец файла ru.wikipedia.org/robots.txt. Документация: mw:Manual:Robots.txt. 
Альтернативные методы: исключение целого пространства имён (через запрос разработчикам) и использование ключевого слова (подробнее см. :Категория:Неиндексируемые страницы).

message: :== К удалению ==
replies: text: Просьба очистить эту страницу в связи с обсуждением на форуме, по итогам которого было решено разрешить индексацию страниц "К удалению" внешними поисковиками:
Википедия:Форум/Общий#Индексация Гуглом страниц обсуждений ВП:КУ. См. также Обсуждение шаблона:ВПКУ-Навигация#Индексация поисковиками.
Trycatch 11:31, 19 сентября 2009 (UTC)

text: . — putnik 20:06, 28 сентября 2009 (UTC)
thread_title:  [[ВП:К удалению]] 

message: :перенесено с Обсуждение участника:Alex Smotrov#Итог обсуждения на форуме
replies: text: продолжение обсуждения Википедия:Форум/Архив/Общий/2009/11#Запрет индексации подстраниц участников
Возражений против полного запрета индексации подстраниц участника (но не обсуждений) не поступило. Думаю, можно использовать MediaWiki:Robots.txt. Остальное - опросом.  Pessimist 20:07, 22 ноября 2009 (UTC)

text: В принципе я не против, но хотелось бы подождать хотя бы до архивирования соответствующей темы: и уверенность будет, что возражений действительно нет, и при правке robots.txt можно будет дать работающую ссылку на заархивированное обсуждение. — AlexSm 06:34, 23 ноября 2009 (UTC)
* Хмм, причем же здесь robots.txt, когда речь всю дорогу шла о запрете на индексацию _подстраниц_ участников, но не самих страниц участников? Trycatch 09:28, 23 ноября 2009 (UTC)

text: А что - и этого robots.txt понять не может?  Pessimist 12:29, 23 ноября 2009 (UTC)
replies: text: :OK, моя вина. Т.к. и Гугл, и Яндекс поддерживают примитивные регулярные выражения в Disallow, то можно запретить и только подстраницы. (а вот рамблер не поддерживает, но кого интересует рамблер?) Trycatch 12:46, 23 ноября 2009 (UTC)
Честно говоря, мне больше нравился вариант запрета индексации всего пространства участников, с возможностью разрешения отдельных страниц (которые тогда будут видны в :Категория:Индексируемые страницы. Я не против внесения предложенного «жёсткого» запрета на подстраницы (после архивации темы на общем форуме), раз против него никто не возразил, но надеюсь альтернативный вариант будет предложен в планируемом опросе. — AlexSm 15:21, 23 ноября 2009 (UTC)

text: Разумеется. В опрос я планирую включить все варианты: начиная от жёсткого запрета всего на свете кроме статей до простановки noindex на отдельные страницы.  Pessimist 18:32, 23 ноября 2009 (UTC)
 — AlexSm 19:37, 17 декабря 2009 (UTC)
thread_title:  Индексация подстраниц участников 

message: Просьба закрыть от индексирования "Википедия:Проект:Инкубатор/Статьи/*" на уровне robots.txt (noindex и nofollow).  Samal 20:36, 10 декабря 2009 (UTC)
replies: text: , если я ничего не напутал. Про nofollow ничего сказать не могу, подозреваю оно тут вообще не при чём. — AlexSm 20:48, 10 декабря 2009 (UTC)
replies: text: : Спасибо. Кста, там звездочку в конце не надо? Википедия:Проект:Инкубатор/Статьи/*. А про nofollow.. собственно, во многом именно ради него и затевается.. просто по __NOINDEX__ и так закрыто через шаблон . Нужно спамеров и раскрутчиков нафиг отсечь.. ведь подразумевается, что статьи и месяц в Инкубаторе висеть могут.. вот, чтоб всякий спам "не волновал", его и прикрыть.. и пусть хоть "обраскручиваются" :)  Или фраза про nofollow была о другом?  Samal 21:10, 10 декабря 2009 (UTC)
replies: text: ::При взгляде на :en:MediaWiki:Robots.txt у меня появляется ощущение, что * в конце не нужна. А :en:nofollow, как я слышал, уже применён в Википедии по умолчанию ко всем внешним ссылкам, и вообще про какую-либо связь nofollow и :en:Robots exclusion standard я вроде бы нигде не читал. — AlexSm 21:16, 10 декабря 2009 (UTC)
replies: text: ::: Про звездочку - где бы узнать достоверно :). А про nofollow... говорят, что это хорошо для Гугла, но не работает для Яндекса, чем спамеры и пользуются.. Немного есть тут и тут. Т.е. если я правильно понял, то от Гугла внешние ссылки защищены через rel="nofollow" (любые внешние ссылки действительно обернуты этим тегом, можно любую страницу глянуть), а вот от Яндекса - не защищены...  Samal 21:37, 10 декабря 2009 (UTC)
replies: text: :::: "Почитал мат.часть" :) Из интересного две ссылки от Яндекса:  и . Выводы: 1) Nofollow - действительно ни при чем, "виноват, погорячился" :). 2) Судя по "Анализ robots.txt" - все работает, Инкубатор надежно закрыт :).  Еще раз спасибо.  Samal 22:45, 10 декабря 2009 (UTC)
* Попытался закрыть "Обсуждение Википедии:Проект:Инкубатор/Статьи/", но, судя по этому инструменту , где-то промахнулся. Вроде не навредил, но закрыть, похоже, не удалось. Гляньте, пожалуйста, кто разбирается.  Samal 21:27, 18 июля 2010 (UTC)
*: Сори, похоже, все же закрылось. После более аккуратного ввода всех ":" и "/", похоже, показало, что все закрылось 
*: http://ru.wikipedia.org/wiki/%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%92%D0%B8%D0%BA%D0%B8%D0%BF%D0%B5%D0%B4%D0%B8%D0%B8:%D0%9F%D1%80%D0%BE%D0%B5%D0%BA%D1%82:%D0%98%D0%BD%D0%BA%D1%83%D0%B1%D0%B0%D1%82%D0%BE%D1%80/%D0%A1%D1%82%D0%B0%D1%82%D1%8C%D0%B8/%D0%AD%D0%BD%D1%82%D0%B5%D1%80%D0%BF%D1%80%D0%B0%D0%B9%D0%B7_D
*:  Samal 22:11, 18 июля 2010 (UTC)
thread_title:  Закрыть индексацию статей Инкубатора 

message: Прошу добавить Википедия:Запросы, связанные с OTRS. На этой странице регулярно добавляется непубличная информация - email, имена и т.п. --Максим Підліснюк 11:03, 29 мая 2016 (UTC)
* Добавил. Dmitry89 (talk) 22:07, 6 июня 2016 (UTC)
thread_title:  Википедия:Запросы, связанные с OTRS