質問: ロボット型サーチエンジン ロボット型のサーチエンジンでは、リンク切れやアドレスが変更されたサイトはどう処理されるのでしょう?(ディレクトリー型のヤフーではメールで知らせると手動で変更してくれますよね)そのままにしておくとつながらないサイトが澱のようにたまって行き、ただでさえ検索結果が多すぎて必要なサイトが探しにくいのに、さらにつながらないサイトに埋もれていくことになると思うのですが。 また、検索結果の画面でアドレスとタイトルのほかに、本文が2行程度引用される場合がありますが、あれは定期的に更新されるのでしょうか?先日検索していて自分のサイトが引っかかったのですが、数ヶ月前に削除変更した文章が引用されていて驚いたものですから。サーチエンジンによっても処理の仕方は違うと思いますので、特定のサーチエンジンについてでもけっこうですので、教えてください。
回答: gooなんかの場合にはサイトリストが多大なため、1日でリストの全てのサイトをチェックできません。ですから、何日間か(実際には何十日とかになるんですが)に分けてリストをチェックしていきます。 さらに、サイトをチェックしたときにたまたま情報が取れなかった場合(例えば運悪くサイトメンテナンス中だった)も考慮して、1回だけでは判断しないようになってたりもするはずです。 そんな事情でロボットの情報が何ヶ月も変らないことが起きるんですね。このあたりは「新しい情報が欲しい」ニーズと「うちのサイトの情報はちゃんと拾ってほしい」ニーズとのかねあいですかね。 では~~~