نوایندکس

قراردادن مقدار نوایندکس  در متاتگ این درخواست را از ربات‌های خزنه اینترنتی دارد که از فهرست کردن یک صفحه وب اجتناب کنند. دلایلی که ممکن است بخواهید از این متا تگ استفاده کنید عبارتند از: توصیه به روبات‌ها برای فهرست نکردن پایگاه داده‌های بسیار بزرگ، صفحات وب که بسیار گذرا و موقتی هستند، صفحات وب در حال توسعه، یا چاپگر و نسخه‌های موبایل پسند. البته تفسیر تگ noindex گاهی از یک موتور جستجو به موتور جستجوی دیگر کمی متفاوت است.

نوایندکس سازی کل صفحات 
<html>
<head>
  <meta name="robots" content="noindex">
  <title>Don't index this page</title>
</head>مقادیر قابل قبول برای متاتگ robots عبارتند از: "none", "all", "index", "noindex", "nofollow" و "follow". استفاده ترکیبی از این مقادیر نیز ممکن است. برای مثال:<meta name="robots" content="noindex, follow">

دستورالعمل‌های محدود به یک ربات خاص 
دستورالعمل نوایندکس را می‌توان تنها به ربات‌های خاصی با تعیین اسم ربات در مقدار "name" در متاتگ محدود کرد.

به عنوان مثال، برای مسدود کردن ربات گوگل:<meta name="googlebot" content="noindex">یا برای مسدود کردن ربات بینگ:<meta name="bingbot" content="noindex">یا برای مسدود کردن ربات بایدو:<meta name="baiduspider" content="noindex">

فایل robots.txt 
فایل robots.txt می‌تواند برای جلوگیری از خزیدن ربات‌ها استفاده شود.

نوایندکس کردن بخشی از یک صفحه 
همچنین ممکن است بخشی از یک صفحه وب، به عنوان مثال متن ناوبری، از نمایه شدن به جای کل صفحه حذف شود. تکنیک‌های مختلفی برای انجام این کار وجود دارد. امکان استفاده از چندین در ترکیب وجود دارد. عنکبوت اصلی نمایه سازی گوگل، Googlebot، هیچ‌یک از این تکنیک‌ها را نمی‌شناسد.

تگ <noindex> 
موتور جستجوی روسی یاندکس تگ جدید <noindex> را معرفی کرد که از ایندکس محتوای بین تگ‌ها جلوگیری می‌کند. برای معتبر ماندن کد صفحات، می‌توان از <!--noindex--> استفاده کرد.<p>
Do index this text.
<noindex>Don't index this text.</noindex>
<!--noindex-->Don't index this text.<!--/noindex-->
</p>سایر خزنده‌های وب نیز تگ <noindex> را می‌شناسند.

میکروفرمت 
مشخصات میکروفرمت‌های پیش نویس ۲۰۰۵ با همین عملکرد وجود دارد. نمایه حذف ربات به دنبال ویژگی و مقدار class="robots-noindex" در تگ‌های HTML می‌گردد:<p>Do index this text.</p>
<div class="robots-noindex">Don't index this text.</div>
<span class="robots-noindex">Don't index this text.</span>
<p class="robots-noindex">Don't index this text.</p>استفاده ترکیبی از مقادیر نیز ممکن است، برای مثال:<div class="robots-noindex robots-follow">Text.</div>

یاهو 
در سال ۲۰۰۷، یاهو! عملکرد مشابه میکروفرمت را به خزنده خود معرفی کرد. با این حال، عنکبوتخزنده یاهو از این نظر ناسازگار است که به دنبال مقدار class="robots-nocontent" و فقط این مقدار می‌گردد:<p>Do index this text.</p>
<div class="robots-nocontent">Don't index this text.</div>
<span class="robots-nocontent">Don't index this text.</span>
<p class="robots-nocontent">Don't index this text.</p>

شیرپوینت 
آی‌فیلتر شیرپوینت ۲۰۱۰ محتوای داخل یک تگ <div> با ویژگی و مقدار class="noindex" را حذف می کند. همچنین مشخص نیست که آیا این ویژگی را می‌توان برای تگ‌هایی غیر از <div> اعمال کرد یا خیر.<p>Do index this text.</p>
<div class="noindex">Don't index this text.</div>

نظرات ساختاریافته 
جستجوگر گوگل از نظرات ساختاریافته استفاده می‌کند:<p>
Do index this text.
<!--googleoff: all-->
Don't index this text.
<!--googleon: all-->
</p>سایر خزنده‌ها از نظرات ساختاریافته خود استفاده می‌کنند.
 ویژگی لینک نوفالو
 استاندارد حذف ربات‌ها

منابع 

بهینه‌سازی موتور جستجو