質問: 検索結果に表示されなくなった お世話になります。 先月まで検索結果で表示されていたURLが出てこなくなりました。 URL検査から「インデックス登録をリクエスト」すると ガバレッジにて「noindex タグによって除外されました」と 出たのでファイル全体を探しましたがnoindexを入れておりません。 robots.txtテスター を確認したところ 「現在 Google で取得できない robots.txt ファイルがあります。この場合、Google が robots.txt を取得するまでサイトのクロールが停止されるか、前回取得した robots.txt ファイルが使用されます。」とでてきましたが、サーバー内にrobots.txtが見当たりません。 この場合どのような対応をしたら良いでしょうか 情報を探してみましたが、なかなか解決できずこちらへの質問に至りました。 何卒よろしくおねがいいたします。
回答: こんにちは。 ご確認いただきありがとうございます。 > 追加で、robot.txtを追加したことにより、現状カバレッジがクロール済み - インデックス未登録となりました。 おそらくこちらが原因だったのかと思います。 テストツールなどで調べてみてもインデックスの阻害要素はなさそうでした。 ですので時間の経過とともにインデックスが戻るかと思います。site:で調べてみたところ少しづつインデックスが進んでいるようです。(1件のみですが...) もし現状阻害があるかどうかご不安であればURL検査→公開URLをテストでインデックス可能な状態かどうか確認してみると良さそうです。 ここからはあくまで推測なのですが、原因としてrobots.txtのURLにアクセスした際に意図せず5xx系のレスポンスを返していたのかなと考えました。経緯はわかりませんがrobots.txtを設定する過程で解消されたのかと。 参考になれば幸いです。