不是必備。造訪網站時，Googlebot 會先嘗試擷取 robots.txt 檔案，尋求檢索權限。如果網站沒有 robots.txt 檔案、robots meta 標記或 X-Robots-Tag HTTP 標頭，Googlebot 通常就會進行檢索並為其建立索引。