質問: 例えば、index.htmlというファイルがあり、検索結果にも出るようなファイルがあったとします。 これの拡張子を変更し、index.hogehogeに変えます。 元のhtmlファイルはなくなり、代わりにでたらめの拡張子のファイルがある状態です。 公開状態なのでindex.hogehogeでURLを叩けばファイルのコードは表示されます。 このような状態のファイルをGoogleロボットは巡回にきてインデックスしますか? Googleロボットはrobot.txtで指定されていない条件のファイルはどのような判断でインデックスしているのでしょうか? noindexなどの知識はありますが、この辺りのロボットの判断基準が理解できていません。 Google公式にこの件について分かる解答リンクがあれば教えてください。 ※注意:アクセス制限の仕方等については質問していません。 ※追記1:「Googleロボット」と書きましたがクローラー全般を対象にした一般的(多数派)な動作を知りたいです。
回答: > > このような状態のファイルをGoogleロボットは巡回にきてインデックスしますか? > > > `http://domain.example/`だけで表示できるとか、あとは別なページからリンクしていたり、`robots.txt`で`Allow`していたりすればインデックスはされます。 規約で決まっている`robots.txt`は除いて、まっとうなクローラーであれば、「あるのかもわからないページをむやみやたらアクセスする」ような行儀の悪いまねをすることはないでしょう。 もっとも、どこかの誰かが`/index.hogehoge`へリンクを貼らないとも限らないので、これだけでクロールされないことも保証はできません。