質問: ロボットがサイト/記事のコンテンツを取得しないようにする これはインデクサーについての質問ではありません。それらのほとんどはrobots.txtファイルに従います。しかし、多分あなたはfacebookまたはskypeが投稿したurlが投稿した公開されたケースに気づいたかもしれませんユーザーまたはこれらのプラットフォームを使用してプライベートインスタントメッセージ経由で送信されたユーザー。私はこれら2つがこれをしているだけではない(またはすぐになくなる)と思います。問題は、特定のurlへのアクセスが必ずしもrobots.txtに従う必要はなく、表示されたテキストの「バックアップ」を実行する可能性があることです。私は非常に標準的なサイト(非営利組織、趣味、ブログ)を管理していますが、この「究極のマーケティングツール」は好きではありません(これが最も優れた前提でした)。したがって、私はこれらのサイトがリンクを取得した後にこれらのサイトから来るそのようなスニッフィング/クロールを回避するエレガントな方法を考えています。何かのようなもの 人間によるテストに合格するまでページ全体が表示されません(cookieが設定されるため、これはもう必要ありません)– or – サイトにはアクセスできます(すべてのモジュールが含まれるページが存在するなど、記事のタイトルに問題はありません)が、メインの記事のコンテンツ(com_content)は最初は空で、 ajax を使用して自動置換されます これらのクローラーがサイトのurlのコンテンツを取得しないように、これらのクローラーに対する防止策を実装する方法について何かアイデアはありますか?
回答: ボットの動作は異なるため、簡単な解決策はありません。私はそれらを4つのカテゴリーとそれぞれの解決策に分けます: 正当なクローラー(googleなど)-これらは通常robots.txtを尊重し、あなたが言ったように、あなたはそれに興味がありません。 正当なスクラップ業者(facebookなど)-通常、これらには適切なユーザーエージェントが含まれているため、それに基づいてこれらをブロックできます(ユーザーエージェント)。 robots.txtを尊重しないクローラー-最も簡単な方法は、ページに非表示のリンク(人間用)を作成し、そのリンクにrel = nofollow(正当なクローラーに問題がないようにする)を設定することです。リンクは、クローラーのip、uaおよび同様のものを記録するページに移動する必要があります。次に、そのログに対するチェックを実装できます。一致がある場合は、コンテンツを無視するだけです。 スクレイパーの1つ-facebookに似ていますが、偽のユーザーエージェントが含まれています。唯一の実行可能な解決策はcookieのサポートを確認することですが、それが機能することを100%保証するものではありません。また、cookieを無効にしているユーザーもブロックされます。