{{위키데이터 속성 추적}}
{{소문자}}
HTML 로봇 메타 태그 중 '''noindex''' 값은 자동화 인터넷 봇이 [[웹 페이지]]의 색인(인덱스) 처리를 하지 못하도록 요청한다.<ref name="W3spec">[http://www.w3.org/TR/html401/appendix/notes.html#h-B.4.1.2 Robots and the META element], Official W3 specification</ref><ref>[http://www.robotstxt.org/meta.html About the Robots <META> tag]</ref> 이 메타 태그를 사용하는 이유로는 로봇이 매우 큰 데이터베이스, 매우 변화가 많은 웹 페이지, 개발 중인 웹 페이지, 조금 더 비공개로 유지하기를 원하는 웹 페이지, 프린터/모바일 친화 버전의 페이지를 색인 처리하지 못하게 하는 일이 포함된다. 웹사이트 noindex 태그를 검사하는 책임은 검색 로봇의 개발자에게 부여되기 때문에 이 태그들은 무시되기도 한다. 또, noindex 태그를 해석하는 방식은 검색 엔진 회사마다 조금씩 다른 경우가 있다.

== 모든 문서의 noindex 처리 ==

<syntaxhighlight lang="html4strict">
<html>
<head>
  <meta name="robots" content="noindex">
  <title>Don't index this page</title>
</head>
</syntaxhighlight>

메타 태크 콘텐츠의 이용 가능한 값은 다음과 같다: "none", "all", "index", "noindex", "nofollow", "follow". 값들의 조합 또한 가능한데,<ref name="W3spec" /> 예를 들면 다음과 같다:
<syntaxhighlight lang="html4strict">
<meta name="robots" content="noindex, follow">
</syntaxhighlight>

=== 봇 특화 디렉티브 ===
noindex 디렉티브는 메타 태그에 각기 다른 "name" 값을 지정함으로써 특정 봇에만 한정하여 제한시킬 수 있다.

이를테면, 구글 봇만 특정해서 차단하려면,<ref name="google_noindex">[http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=93710 Using meta tags to block access to your site], Google Webmasters Tools Help</ref> 다음과 같이 지정한다:
<syntaxhighlight lang="html4strict">
<meta name="googlebot" content="noindex">
</syntaxhighlight>

야후의 봇을 차단하려면,<ref name="yahoo_noindex">[http://help.yahoo.com/l/us/yahoo/search/indexing/slurp-04.html How to Prevent Yahoo! Search From Indexing Specific Pages], Yahoo! Search Help</ref> 다음과 같이 지정한다:
<syntaxhighlight lang="html4strict">
<meta name="slurp" content="noindex">
</syntaxhighlight>

MSN의 봇을 차단하려면 다음을 지정한다:
<syntaxhighlight lang="html4strict">
<meta name="msnbot" content="noindex">
</syntaxhighlight>

=== robots.txt 파일 ===
[[로봇 배제 표준|robots.txt]] 파일을 사용하여 크롤링을 차단할 수 있다.

== 페이지 일부의 noindex 처리 ==
이를테면 내비게이션 텍스트처럼 웹페이지의 일부분을 색인 처리하지 못하도록 배제시키는 것이 가능하다. 이를 위한 다양한 기법들이 있으며 조합하여 여러 개를 사용할 수 있다. 구글의 주 인덱싱 스파이더 [[구글봇]]은 이 기법들을 인식하는 것으로 확인되지는 않고 있다.

=== <noindex> 태그 ===
러시아의 검색 엔진 [[얀덱스]]는 태그 간 내용의 색인 처리를 방지하는 <nowiki><noindex></nowiki> 태그를 선보였다. 소스 코드 확인을 허용하기 위해, <nowiki><!--noindex--></nowiki>를 대신 사용할 수 있다:<ref>{{웹 인용|url=http://help.yandex.com/webmaster/controlling-robot/html.xml#noindex |title=Using HTML tags |work=webmaster → help |publisher=[[얀덱스]] |at=Section: &lt;noindex&gt; tag |accessdate=March 25, 2013}}</ref>
<syntaxhighlight lang="html4strict">
<p>
이 텍스트는 색인 처리된다.
<noindex>이 텍스트는 색인 처리되지 않는다.</noindex>
<!--noindex-->이 텍스트는 색인 처리되지 않는다.<!--/noindex-->
</p>
</syntaxhighlight>

[[Atomz]]를 포함한 다른 [[웹 크롤러|인덱싱 스파이더]] 또한 <nowiki><noindex></nowiki> 태그를 인식한다.<ref>{{웹 인용 |url=https://center.atomz.com/center/help/?sp_topic=/Search/FAQs/General_Search#150 |title=General Search FAQ |date= |month= |year=2013 |work=Help |publisher=[[Atomz]] |at=Section: How do I exclude parts of my site from being searched? |accessdate=March 23, 2013 |quote=Need to prevent parts of individual pages from being searched? If you want to exclude portions of a page from indexing, surround the text with &lt;noindex&gt; and &lt;/noindex&gt; tags. This is useful, for example, if you want to exclude navigation text from searches. |archive-date=2021-12-08 |archive-url=https://web.archive.org/web/20211208074738/https://center.atomz.com/center/help/?sp_topic=/Search/FAQs/General_Search#150 |url-status= }}{{registration required}}</ref>

=== 마이크로포맷 ===
동일한 기능을 갖춘 2005년 [[마이크로포맷]] 초안 사양이 있다. 로봇 배제 프로파일은 HTML 태그의 ''<nowiki>class="robots-noindex"</nowiki>''의 속성과 값을 찾는다:<ref name="microformat">{{웹 인용|url=http://microformats.org/wiki/robots-exclusion |title=Robot Exclusion Profile |last=Janes |first=Peter |date=June 18, 2005 |work= |publisher=Microformats |accessdate=March 24, 2013}}</ref>
<syntaxhighlight lang="html4strict">
<p>이 텍스트는 색인 처리된다.</p>
<div class="robots-noindex">이 텍스트는 색인 처리되지 않는다.</div>
<span class="robots-noindex">이 텍스트는 색인 처리되지 않는다.</span>
<p class="robots-noindex">이 텍스트는 색인 처리되지 않는다.</p>
</syntaxhighlight>

여러 값들을 조합하는 것도 가능한데,<ref name="microformat" /> 이를테면 다음과 같다:
<syntaxhighlight lang="html4strict">
<div class="robots-noindex robots-follow">텍스트.</div>
</syntaxhighlight>

=== 야후! ===
2007년, [[야후!]]는 자사의 스파이더에 마이크로포맷과 비슷한 기능을 도입했다. 그러나 야후!의 스파이더는 ''<nowiki>class="robots-nocontent"</nowiki>'' 값과는 호환되지 않으며 다음의 값만 찾는다:<ref>{{웹 인용 |url=http://www.ysearchblog.com/2007/05/02/introducing-robots-nocontent-for-page-sections/ |title=Introducing Robots-Nocontent for Page Sections |last=Garg |first=Priyank |date=May 2, 2007 |work=Yahoo! Search Blog |publisher=[[야후!]] |accessdate=March 23, 2013 |보존url=https://web.archive.org/web/20140820072720/http://www.ysearchblog.com/2007/05/02/introducing-robots-nocontent-for-page-sections/ |보존날짜=2014-08-20 |url-status=dead }}</ref>
<syntaxhighlight lang="html4strict">
<p>이 텍스트는 색인 처리된다.</p>
<div class="robots-nocontent">이 텍스트는 색인 처리되지 않는다.</div>
<span class="robots-nocontent">이 텍스트는 색인 처리되지 않는다.</span>
<p class="robots-nocontent">이 텍스트는 색인 처리되지 않는다.</p>
</syntaxhighlight>

=== 셰어포인트 ===
[[셰어포인트]] 2010의 iFilter는 ''<nowiki>class="noindex"</nowiki>''의 속성과 값이 있는 <nowiki><div></nowiki> 태그 내부의 내용을 배제시킨다. 내부 <nowiki><div></nowiki>는 내부적으로는 배제되지 않으나 변경된 상태일 수 있다. 속성이 <nowiki><div></nowiki> 이외의 태그에 적용될 수 있는지의 여부는 알려져 있지 않다.<ref>{{웹 인용|url=https://blogs.msdn.microsoft.com/markarend/2010/06/07/control-search-indexing-crawling-within-a-page-with-noindex/ |title=Control Search Indexing (Crawling) Within a Page with Noindex |date=June 7, 2010 |website=Microsoft Developer |publisher=[[마이크로소프트]] |accessdate=November 4, 2017 |url-status=live |archiveurl=https://web.archive.org/web/20171104100854/https://blogs.msdn.microsoft.com/markarend/2010/06/07/control-search-indexing-crawling-within-a-page-with-noindex/ |archivedate=November 4, 2017}}
</ref>

<syntaxhighlight lang="html4strict">
<p>이 텍스트는 색인 처리된다.</p>
<div class="noindex">이 텍스트는 색인 처리되지 않는다.</div>
</syntaxhighlight>

=== 구조화된 코멘트 ===
[[구글 검색 어플라이언스]]는 구조화된 코멘트를 사용한다:<ref>{{웹 인용|url=https://developers.google.com/search-appliance/documentation/68/admin_crawl/Preparing |title=Administering Crawl: Preparing for a Crawl |date=August 23, 2012 |month= |year= |work=[[:en:Google Search Appliance]] |publisher=[[구글]] |at=Section: Excluding Unwanted Text from the Index |accessdate=March 23, 2013 |archiveurl=https://web.archive.org/web/20121123112433/https://developers.google.com/search-appliance/documentation/68/admin_crawl/Preparing |archivedate=November 23, 2012}}</ref>
<syntaxhighlight lang="html4strict">
<p>
이 텍스트는 색인 처리된다.
<!--googleoff: all-->
이 텍스트는 색인 처리되지 않는다.
<!--googleon: all-->
</p>
</syntaxhighlight>

다른 인덱싱 스파이더는 자신만의 구조화된 코멘트를 사용한다.<!-- This includes FreeFind.com, but that cannot be included as a<ref>because the website is on Wikipedia's banned list -->

== 같이 보기 ==
* [[nofollow]] 링크 속성
* [[로봇 배제 표준]]

== 각주 ==
{{각주}}

[[분류:월드 와이드 웹]]