質問: ウェブサイトに robots.txt ファイルは必要ですか?
回答: いいえ。Googlebot がウェブサイトにアクセスする際、まず robots.txt ファイルの取得を試みることによって、クロールの許可を求めます。robots.txt ファイルのないウェブサイトでは、通常、robots メタタグまたは `X-Robots-Tag` HTTP ヘッダーがクロールされ、問題なくインデックスに登録されます。