視情況而定。簡而言之，這些方法各有優勢：
robots.txt：如果檢索您的內容會導致您的伺服器發生問題，請使用這個方法。舉例來說，如果您有能夠無限制向下捲動的日曆指令碼，就建議禁止 Googlebot 檢索這類內容。請不要使用 robots.txt 來封鎖私人內容或處理網址標準化；如果要封鎖私人內容，請改用伺服器端驗證。
如要確保系統不會為網址建立索引，請改用 robots meta 標記或 X-Robots-Tag HTTP 標頭。
robots meta 標記：如果需要控制個別 HTML 網頁在搜尋結果中的顯示方式，或是要確保搜尋結果不會顯示這些網頁，請使用這個方法。
X-Robots-Tag HTTP 標頭：如果需要控制特定內容在搜尋結果中的顯示方式，或是要確保搜尋結果不會顯示這類內容，請使用這個方法。