質問: robots メタタグは robots.txt ファイルに代わるものですか?
回答: いいえ。robots.txt ファイルは、アクセスされるページを制御します。robots メタタグはページをインデックスに登録するかどうかを制御しますが、このタグが認識されるには、ページがクロールされる必要があります。ページのクロールに問題がある場合(ページがサーバーに大きな負荷をかける場合など)に、robots.txt ファイルを使用します。検索結果にページを表示するかどうかを制御する場合は、robots メタタグを使用できます。