質問: 大きな検索エンジンを除くすべての検索エンジンをブロックする google、yahoo&bing(およびgoogle imagesのような関連サイト)を除くすべての検索エンジンが、大量のサーバーと帯域幅を消費するがトラフィックをもたらさないため、サイトのクロールを何らかの方法でブロックできるようにしたいと思います.これは簡単ですか、難しいですか?誰かがrobots.txtファイルに貼り付けてそれらをブロックできる小さな検索エンジンのリストを保持しておくといいでしょう。また、robots.txtを無視するクローラーやサイトがひそかにスクレイピングやクロールを行うのをブロックできないことを認識していますが、それは私が望んでいることではありません。私はすべてのaltavistas、hotbots、lycos(これらはまだ存在します)と大学の実験クローラーが私の時間を無駄にしないようにしたいだけです。
回答: これまでに何を試しましたか? webmaster tools robots.txt generator を使用して、これを作成しました:user-agent: * disallow: / user-agent: googlebot allow: / しかし、私はそれをテストしていません。