質問: 検索にhitしないようにするには ヤフーなどでは自分で申請、登録してもらいますが、 ロボットが定期的にやってきて、サイトを拾ってゆく(という表現が いいのかは分かりませんが)タイプの検索エンジンってありますよね。 このロボットに拾われない=検索してもhitしない ようにするには、 何らかのタグを入れておくなどの手段があるのでしょうか。 ご存知の方、アドバイスください。 よろしくお願いいたします。
回答: 過去の質問にロボット検索を回避できるかもしれない方法が載っています。