ユーザーエージェント
HTTPではUser-Agentヘッダーが定義されている。 クライアントはサーバーにリクエストを送る際に、ユーザーエージェントの情報をUser-Agentヘッダーとして送信する。User-Agentヘッダーには、アプリケーション名、バージョン、ホストオペレーティングシステムや言語といった情報が含まれる。 ウェブクローラーのようなボットの場合は、ウェブ担当者がそのボットのオペレーターと連絡を取ることができるように、URLや電子メールアドレスも含む。
User-Agentヘッダーはサーバ側において様々な用途で利用されている。
アクセス解析をする際に、User-Agentヘッダーによって、ユーザーが使用しているブラウザの種類やバージョンを集計することができる。
またUser-Agentヘッダーを偽装して、「ロボット排除基準」 (robots.txt)を使ってある特定のページあるいはウェブサイトの一部からクローラーを排除するための基準の1つになっている。ウェブ担当者は、特定のクローラーに特定のページを収集させたくない場合や、特定のクローラーがあまりに多くの帯域を消費している場合などに、そのクローラーがそれらのページを訪問しないように要請することができる。
ただし、後述のように、User-Agentヘッダーの値はあくまでクライアント側からの自己申告なので、 実際のユーザーエージェントと異なる値を送信することもできる。