"ネットワーク上に存在するコンテンツを収集する複数の収集装置から受信したコンテンツの収集要求と、取得済みのコンテンツとを記憶する記憶部と、前記記憶部に記憶されている収集要求及び取得済みのコンテンツに応じて、処理対象の収集要求における収集条件を調整する調整部と、前記調整部によって調整された収集条件に従ってコンテンツを取得する取得部と、前記取得部によって取得されたコンテンツを前記記憶部に格納する取得結果格納部と、前記処理対象の収集要求における収集条件を満たすコンテンツを前記記憶部から取得し、取得したコンテンツを含む応答情報を前記収集要求の送信元である収集装置に送信する送信部とを備えたことを特徴とする集約装置。前記記憶部は、前記収集要求として、所定のコンテンツを特定するための特定情報に対応付けて該収集要求における収集条件を記憶し、前記調整部は、前記処理対象の収集要求における特定情報に対応付けて前記記憶部に記憶されている収集条件を全て満たすように、前記処理対象の収集要求における収集条件を調整することを特徴とする請求項1に記載の集約装置。前記記憶部は、前記収集条件として、前記所定のコンテンツから該所定のコンテンツに関連付けられたコンテンツ群までのリンク回数を示す階層、又は、コンテンツ間のリダイレクト上限回数を記憶し、前記調整部は、前記処理対象の収集要求における特定情報に対応付けて前記記憶部に記憶されている複数の階層の最大値以上の階層、又は、該特定情報に対応付けて前記記憶部に記憶されている複数のリダイレクト上限回数の最大値以上のリダイレクト回数を前記処理対象の収集要求における収集条件とすることを特徴とする請求項2に記載の集約装置。前記調整部は、前記処理対象の収集要求における収集条件を満たす一部のコンテンツのみが前記記憶部に記憶されている場合に、前記収集条件を満たすコンテンツのうち前記一部のコンテンツ以外のコンテンツを収集するように前記処理対象の収集要求における収集条件を調整することを特徴とする請求項1~3のいずれか一つに記載の集約装置。前記送信部は、前記取得結果格納部によって前記記憶部に格納されたコンテンツを含む応答情報を前記収集要求の送信元である収集装置に送信するとともに、該コンテンツの一部又は全部を収集対象とする未処理の収集要求における収集条件を満たすコンテンツを前記記憶部から取得し、取得したコンテンツを含む応答情報を前記未処理の収集要求の送信元である収集装置に送信することを特徴とする請求項1~4のいずれか一つに記載の集約装置。前記調整部は、前記処理対象の収集要求における収集条件を満たすコンテンツが前記記憶部に記憶されている場合に、前記取得部による該収集要求に基づくコンテンツの取得処理を行わせないことを特徴とする請求項1~5のいずれか一つに記載の集約装置。前記収集装置から受信したコンテンツの収集要求における収集条件を満たすコンテンツが前記記憶部に記憶されている場合には、該収集要求を前記記憶部に格納せず、該収集要求における収集条件を満たすコンテンツが前記記憶部に記憶されていない場合には、該収集要求を前記記憶部に格納する要求格納部をさらに備え、前記送信部は、前記要求格納部によって前記記憶部に格納されなかった収集要求における収集条件を満たすコンテンツを前記記憶部から取得し、取得したコンテンツを含む応答情報を該収集要求の送信元である収集装置に送信することを特徴とする請求項1~6のいずれか一つに記載の集約装置。コンピュータが実行する集約方法であって、ネットワーク上に存在するコンテンツを収集する複数の収集装置から受信したコンテンツの収集要求と取得済みのコンテンツとを記憶する記憶部に記憶されている前記収集要求及び前記取得済みのコンテンツに応じて、処理対象の収集要求における収集条件を調整する調整工程と、前記調整工程によって調整された収集条件に従ってコンテンツを取得する取得工程と、前記取得工程によって取得されたコンテンツを前記記憶部に格納する取得結果格納工程と、前記処理対象の収集要求における収集条件を満たすコンテンツを前記記憶部から取得し、取得したコンテンツを含む応答情報を前記収集要求の送信元である収集装置に送信する送信工程とを含んだことを特徴とする集約方法。ネットワーク上に存在するコンテンツを収集する複数の収集装置から受信したコンテンツの収集要求と取得済みのコンテンツとを記憶する記憶部に記憶されている前記収集要求及び前記取得済みのコンテンツに応じて、処理対象の収集要求における収集条件を調整する調整手順と、前記調整手順によって調整された収集条件に従ってコンテンツを取得する取得手順と、前記取得手順によって取得されたコンテンツを前記記憶部に格納する取得結果格納手順と、前記処理対象の収集要求における収集条件を満たすコンテンツを前記記憶部から取得し、取得したコンテンツを含む応答情報を前記収集要求の送信元である収集装置に送信する送信手順とをコンピュータに実行させることを特徴とする集約プログラム。しかしながら、上記従来のクローラ装置では、コンテンツ提供サーバの負荷を増大させる場合がある。具体的には、クローラ装置によって収集ロジックが異なるので、検索サービスを提供する各企業は、複数のクローラ装置を用いる場合がある。ただし、複数のクローラ装置が全て異なるコンテンツを収集するとは限らず、異なるクローラ装置が同一のコンテンツを収集する場合もある。このため、コンテンツ提供サーバは、各クローラ装置から何度もアクセスされることで負荷が増大することとなる。本願は、上記に鑑みてなされたものであって、コンテンツ提供サーバの負荷増大を防止可能にすることを課題とする。本願に係る集約装置は、ネットワーク上に存在するコンテンツを収集する複数の収集装置から受信したコンテンツの収集要求と、取得済みのコンテンツとを記憶する記憶部と、前記記憶部に記憶されている収集要求及び取得済みのコンテンツに応じて、処理対象の収集要求における収集条件を調整する調整部と、前記調整部によって調整された収集条件に従ってコンテンツを取得する取得部と、前記取得部によって取得されたコンテンツを前記記憶部に格納する取得結果格納部と、前記処理対象の収集要求における収集条件を満たすコンテンツを前記記憶部から取得し、取得したコンテンツを含む応答情報を前記収集要求の送信元である収集装置に送信する送信部とを備えたことを特徴とする。本願に係る集約装置、集約方法及び集約プログラムは、コンテンツ提供サーバの負荷増大を防止することができるという効果を奏する。以下に、本願に係る集約装置、集約方法及び集約プログラムを実施するための形態以下、実施形態と呼ぶについて図面に参照しつつ詳細に説明する。なお、この実施形態により本願に係る集約装置、集約方法及び集約プログラムが限定されるものではない。第1の実施形態図1~図5Bを用いて、本願に係る集約装置、集約方法及び集約プログラムの第1の実施形態について説明する。なお、第1の実施形態では、クローラ装置が収集対象とするコンテンツがWebサーバによって提供されるウェブページであり、かかるWebサーバとクローラ装置との管理者が異なるものとする。1-1.構成まず、図1を用いて、第1の実施形態に係る集約装置の構成例について説明する。図1に例示するように、第1の実施形態に係る集約装置100は、クローラ装置101~10nと接続され、さらにネットワーク網を介して第三者Webサーバ201~20nと接続される。クローラ装置101~10nは、ボットBot、ロボット、スパイダー等と呼ばれることもあり、第三者Webサーバ201~20nによって提供される所定のウェブページ例えば、トップページに含まれるリンクをたどって各種ウェブページを収集するための収集要求リクエストを送信する。第三者Webサーバ201~20nは、各種ウェブページを提供する。集約装置100は、クローラ装置101~10nからウェブページの収集要求を受け付け、かかる収集要求を集約して第三者Webサーバ201~20nからウェブページを収集し、収集したウェブページを含む応答情報をクローラ装置101~10nに送信するコンピュータである。かかる集約装置100は、図1に例示するように、I/OInput/Outputポート110と、条件/内容DBDataBase120と、キュー130と、要求格納部141と、調整部142と、取得部143と、取得結果格納部144と、リクエスト確認部145と、送信部146とを有する。I/Oポート110は、NICNetworkInterfaceCard等のインタフェースであり、クローラ装置101~10nとの間で各種データを送受信する。条件/内容DB120は、RAMRandomAccessMemory、フラッシュメモリFlashMemory等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置である。なお、条件/内容DB120については、図2を用いて後述する。キュー130は、例えば、デジタル回路等であり、クローラ装置101~10nから送信される収集要求をキューとして記憶する。要求格納部141~送信部146は、例えば、ASICApplicationSpecificIntegratedCircuitやFPGAFieldProgrammableGateArray等の集積回路により実現される。また、例えば、要求格納部141~送信部146は、CPUCentralProcessingUnitやMPUMicroProcessingUnit等によって、図示しない記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。これらの要求格納部141~送信部146は、以下に説明する情報処理の機能や作用を実現又は実行する。なお、以下では、クローラ装置101~10nを区別する必要がない場合には、これらを総称してクローラ装置10と表記する場合がある。また、第三者Webサーバ201~20nを区別する必要がない場合には、これらを総称して第三者Webサーバ20と表記する場合がある。1-2.条件/内容DB120次に、図2を用いて、条件/内容DB120の一例について説明する。条件/内容DB120は、クローラ装置10から送信される収集要求や、第三者Webサーバ20から取得済みのウェブページ等を記憶する。図2に示した例では、条件/内容DB120は、URLUniformResourceLocator及び対象デバイス毎に、トランザクションID、リクエスト情報、共通条件、コンテンツ情報、状況情報等の情報を対応付けて記憶する。なお、図2に示すように、条件/内容DB120は、1個のURLに対して、複数のトランザクションID及びリクエスト情報を記憶する場合がある。URLは、クローラ装置101~10nから送信される収集要求に含まれる情報であり、収集対象とするウェブページ群のうち最上層のウェブページを示す。トランザクションIDは、収集要求を識別するための識別情報を示す。リクエスト情報は、収集要求に含まれる情報であり、収集対象とするウェブページ群を特定するための収集条件を示す。図2に示した例では、リクエスト情報には、対象デバイス、鮮度freshness、優先priority、階層、リダイレクト上限回数等が含まれる。対象デバイスは、フルブラウザを搭載するPCPersonalcomputer向けのウェブページを収集対象とするか、又は、モバイルブラウザを搭載する携帯電話機向けのウェブページを収集対象とするかを示す。鮮度は、取得済みのウェブページを応答情報に含めてもよい場合に収集要求に設定される情報であり、応答情報に含めることが許容されるウェブページの取得日時から現時点までの経過時間を示す。優先は、収集要求を処理する順番等の優先度を示す。階層は、URLによって示されるリクエストにかかるウェブページから、かかるウェブページに関連付けられたウェブページまでのリンクの回数を示す。リダイレクト上限回数は、収集対象とするウェブページ間におけるリダイレクトの上限回数を示す。共通条件は、同一のURL及び対象デバイス毎に集約されたリクエスト情報を示す。図2に示した例では、この共通条件には、MAX階層、MAXリダイレクト等が含まれる。MAX階層は、同一のURL及び同一の対象デバイスに対応付けて記憶されている階層の最大値を示す。MAXリダイレクトは、同一のURL及び同一の対象デバイスに対応付けて記憶されているリダイレクト上限回数の最大値を示す。コンテンツ情報は、第三者Webサーバ20から取得されたウェブページを示す。状況情報は、ウェブページの収集処理クロール処理が処理済みであるか否かを示す。図2に示した例において、状況情報が未である場合には、収集処理が行われていないことを示し、状況情報が済である場合には、収集処理が完了したことを示す。1-3.作用収集要求格納処理次に、図3を用いて、第1の実施形態に係る集約装置100による収集要求格納処理の手順について説明する。図3に示すように、要求格納部141の取得結果確認部141aは、クローラ装置10から収集要求を受信した場合にステップS101,Yes、かかる収集要求におけるリクエスト情報収集条件を満たすウェブページが条件/内容DB120に存在するか否かを判定するステップS102。そして、取得結果確認部141aによって存在しないと判定された場合にステップS102,No、トランザクション生成部141bは、クローラ装置10から受信した収集要求に基づいて、収集処理のトランザクションを生成するステップS103。このとき、トランザクション生成部141bは、収集要求を識別するためのトランザクションIDを生成してもよいし、収集要求を識別するための情報が収集要求に含まれる場合には、かかる情報をトランザクションIDとしてもよい。続いて、格納部141cは、収集要求に設定されているURLやリクエスト情報とトランザクションIDとを条件/内容DB120に格納しステップS104、条件/内容DB120の共通条件を更新するステップS105。図2に示した例を用いて説明する。ここでは、条件/内容DB120に各種情報が記憶されていないものとする。また、取得結果確認部141aが、URLwww.aaa.jpと、PC向けのウェブページを収集対象とする情報対象デバイスと、24時間以内に取得されたウェブページを応答情報に含めてもよいことを示す情報鮮度と、収集処理の優先度が高いことを示す情報優先と、URLによって示されるリクエストにかかるウェブページからのリンク回数が3回以内であるウェブページを収集対象とする情報階層と、リダイレクト回数が3回以内のウェブページを収集対象とする情報リダイレクト上限回数とが設定されている収集要求を受信したものとする。かかる場合に、格納部141cは、図2に示したトランザクションIDが001であるレコードのように、URL及びリクエスト情報を条件/内容DB120に格納する。この時点では、URLwww.aaa.jpに対応するリクエスト情報がトランザクションID001のレコードだけであるので、格納部141cは、トランザクションID001の階層3をMAX階層に格納するとともに、トランザクションID001のリダイレクト上限回数3をMAXリダイレクトに格納する。また、図2に示した例では、取得結果確認部141aは、URLwww.aaa.jpと、PC向けのウェブページを収集対象とする情報対象デバイスとが設定されている収集要求をクローラ装置10から順次受信する。そして、格納部141cは、URLwww.aaa.jpに対応付けて、トランザクションID002及び003に対応するリクエスト情報を条件/内容DB120に順次格納し、リクエスト情報を格納するたびに共通条件を更新する。例えば、格納部141cは、トランザクションID002のリクエスト情報を格納した場合には、URLwww.aaa.jpに対応するリクエスト情報がトランザクションID001及び002に対応する2レコードであるので、MAX階層の値を階層3及び5の最大値5に更新するとともに、MAXリダイレクトの値をリダイレクト上限回数3及び5の最大値5に更新する。また、取得結果確認部141aが、URLwww.aaa.jpと、携帯電話機向けのウェブページを収集対象とする情報対象デバイスとが設定されている収集要求をクローラ装置10から受信したものとする。かかる場合に、格納部141cは、図2に示した例のように、対象デバイスPCとは異なるレコードに、URLwww.aaa.jpとトランザクションID004に対応するリクエスト情報とを対応付けて条件/内容DB120に格納する。このように、要求格納部141は、クローラ装置10から収集要求を受信した場合に、URL及び対象デバイス毎に収集要求を条件/内容DB120に格納する。なお、要求格納部141は、条件/内容DB120に収集要求を格納する際には状況情報を未とする。続いて、スケジュール振り分け部141dは、収集要求のトランザクションIDをキュー130に格納するステップS106。このとき、スケジュール振り分け部141dは、収集要求に設定されている優先に基づいて、優先度の高い収集要求ほど早く処理されるようにトランザクションIDをキュー130に格納してもよい。また、取得結果確認部141aは、クローラ装置10から受信した収集要求における収集条件を満たすウェブページが条件/内容DB120に存在する場合にはステップS102,Yes、収集要求を条件/内容DB120に格納する処理を格納部141cに行わせない。かかる場合に、送信部146の応答情報生成部146aは、収集要求に設定されている収集条件を満たすウェブページを条件/内容DB120から取得し、取得したウェブページを含む応答情報を生成するステップS107。そして、応答情報生成部146aは、収集要求の送信元であるクローラ装置10に応答情報を送信するステップS108。例えば、図2に示した状態において、URLwww.aaa.jp及び対象デバイスPCに対応するコンテンツ情報に取得日時が12時間前であるウェブページが格納されているものとする。また、取得結果確認部141aが、URLwww.aaa.jp、対象デバイスPC、鮮度24時間、階層3及びリダイレクト上限回数3が設定されている収集要求を受信したものとする。かかる場合に、応答情報生成部146aは、収集要求における収集条件を満たすウェブページが条件/内容DB120に存在するので、収集条件を満たす条件/内容DB120内のウェブページをクローラ装置10に送信する。1-4.作用ウェブページ収集処理次に、図4を用いて、第1の実施形態に係る集約装置100によるウェブページ収集処理の手順について説明する。図4に示すように、集約装置100の調整部142は、キュー130にトランザクションIDが格納されている場合にステップS201,Yes、キュー130からトランザクションIDを取得するステップS202。かかるトランザクションIDによって示される収集要求が処理対象となる。続いて、調整部142は、ステップS202において取得したトランザクションIDに対応する状況情報を参照して、処理対象の収集要求に対する収集処理が未処理であるか否かを判定するステップS203。そして、調整部142は、収集処理が未処理でない場合にはステップS203,No、かかる収集要求に対する収集処理を取得部143に行わせることなく、ステップS101に戻って次のキューについて処理を行う。一方、調整部142は、収集処理が未処理である場合にはステップS203,Yes、条件/内容DB120に記憶されている収集要求及び取得済みのウェブページに応じて、処理対象の収集要求における収集条件を調整する。具体的には、調整部142は、処理対象の収集要求に設定されている鮮度を満たす一部のウェブページが条件/内容DB120に存在するか否かを判定するステップS204。そして、調整部142は、一部のウェブページが存在しない場合にはステップS204,No、処理対象の収集要求に設定されているURLに対応付けて条件/内容DB120に記憶されている各収集条件を全て満たすように、共通条件を収集条件とするステップS205。一方、調整部142は、一部のウェブページが存在する場合にはステップS204,Yes、共通条件を満たすウェブページと一部のウェブページとの差分のウェブページを収集するように、収集条件を調整するステップS206。なお、調整部142は、共通条件に含まれる全ての項目例えば、MAX階層及びMAXリダイレクトを収集条件としてもよいし、少なくとも1以上の項目例えば、MAX階層又はMAXリダイレクトのいずれか一方のみを収集条件としてもよい。例えば、図2に示した例において、調整部142は、キュー130からトランザクションID001を取得した場合に、トランザクションID001の収集条件を共通条件である階層5及びリダイレクト上限回数5に調整する。また、この例において、リクエストにかかるウェブページからのリンク回数が1~2であり、かつ、トランザクションID001~003の鮮度を満たすウェブページが条件/内容DB120に記憶されているものとする。かかる場合、調整部142は、収集条件を階層3~5に調整する。なお、調整部142は、階層及びリダイレクト上限回数の双方を調整せずに、トランザクションID001の収集条件を共通条件である階層5に調整してもよいし、トランザクションID001の収集条件を共通条件であるリダイレクト上限回数5に調整してもよい。続いて、取得部143は、調整部142によって調整された収集条件に従ってウェブページを取得するステップS207。上記例のように、収集条件の階層が3~5である場合には、取得部143は、www.aaa.jpによって示されるリクエストにかかるウェブページにアクセスし、かかるウェブページからのリンク回数が3回~5回であり、かつ、リダイレクト回数が5回以内のウェブページを取得する。例えば、取得部143は、リクエストにかかるウェブページから、かかるウェブページに張られているリンクをたどって、リンク回数が3回目、4回目、5回目であるウェブページを取得する。このとき、取得部143は、リクエストにかかるウェブページからのリンク回数が2回であるウェブページを条件/内容DB120から取得し、取得したウェブページにアクセスすることにより、リンク回数が3回以降のウェブページを取得できる。なお、上記例において、トランザクションID001~003に対応する対象デバイスにPCが記憶されているので、取得部143は、PC向けのウェブページを取得する。ただし、取得部143は、対象デバイスに携帯が記憶されている場合には、携帯電話機向けのウェブページを取得する。このように、取得部143は、リクエストにかかるURLが同一であっても、対象デバイスが異なる場合には、対象デバイス毎にウェブページの取得処理を行う。続いて、取得結果格納部144は、取得部143によって取得されたウェブページを条件/内容DB120のコンテンツ情報に格納するステップS208。続いて、リクエスト確認部145は、条件/内容DB120を参照して、処理対象のURLに対応する他のトランザクションが存在するか否かを判定するステップS209。例えば、上記例の場合、リクエスト確認部145は、URLwww.aaa.jpに対応付けて条件/内容DB120に記憶されているトランザクションIDのうち、処理対象のトランザクションID001以外のIDが存在するか否かを判定する。そして、応答情報一括生成部146bは、リクエスト確認部145によって存在すると判定された場合にステップS209,Yes、応答情報を一括生成しステップS210、リクエスト確認部145によって存在しないと判定された場合にステップS209,No、処理対象の収集要求に対応する応答情報を生成するステップS211。続いて、応答情報一括生成部146bは、生成した応答情報をクローラ装置10に送信するステップS212。そして、応答情報一括生成部146bは、処理対象のURLに対応付けて条件/内容DB120に記憶されている状況情報を済に更新するとともに、かかるURLに対応付けて条件/内容DB120に記憶されているトランザクションID及び収集条件を全て削除するステップS213。上記例の場合、応答情報一括生成部146bは、トランザクションID001~003の応答情報を一括生成する。このとき、応答情報一括生成部146bは、条件/内容DB120に記憶されているウェブページのうち、各トランザクションIDに対応する収集条件リクエスト情報を満たすウェブページを取得し、取得したウェブページを含む応答情報を生成する。具体的には、応答情報一括生成部146bは、トランザクションID001に対する応答情報には、階層3かつリダイレクト上限回数3を満たすウェブページを含め、トランザクションID002に対する応答情報には、階層5かつリダイレクト上限回数5を満たすウェブページを含め、トランザクションID003に対する応答情報には、階層1かつリダイレクト上限回数1を満たすウェブページを含める。1-5.条件/内容DB120の状態遷移例次に、図5A及び図5Bを用いて、条件/内容DB120に記憶される情報の遷移例について説明する。最初に、条件/内容DB120に記憶されている各種情報が図5Aの<状態1>に示した状態であり、集約装置100がトランザクションID001をキュー130から取得したものとする。かかる場合に、条件/内容DB120の状況情報が未であり、かつ、コンテンツ情報にウェブページが格納されていないので、集約装置100は、例えば、www.aaa.jpによって示されるリクエストにかかるウェブページにアクセスし、かかるウェブページからのリンク回数が5回以内であり、かつ、リダイレクト回数が5回以内のウェブページを取得する。または、集約装置100は、リクエストにかかるウェブページからのリンク回数が5回以内であるウェブページを取得するか、リダイレクト回数が5回以内のウェブページを取得する。例えば、集約装置100は、リクエストにかかるウェブページを取得するとともに、かかるウェブページからリンクするウェブページをたどって、リクエストにかかるウェブページからのリンク回数が5回以内であるウェブページを取得する。そして、集約装置100は、図5Aの<状態2>に示した例のように、取得したウェブページをコンテンツ情報に格納し、状況情報を済に更新し、取得したウェブページを含む応答情報を各クローラ装置10に送信する。さらに、集約装置100は、URLwww.aaa.jpに対応するトランザクションID及びリクエスト情報を全て削除する。集約装置100は、<状態2>のときに、トランザクションID002や003をキュー130から取得した場合、トランザクションID002や003に対応する状況情報が未でないので、ウェブページの収集処理を行わない図4のステップS203を参照。これは、トランザクションID001を処理した際にトランザクションID002や003に対する応答情報を一括送信しているので、集約装置100は、トランザクションID002や003に対して収集処理を行う必要がないからである。続いて、集約装置100は、<状態2>になってから24時間が経過する前に、URLwww.aaa.jp、鮮度24時間、階層3及びリダイレクト上限回数3が設定されている収集要求を受信したものとする。かかる場合に、集約装置100は、条件/内容DB120のコンテンツ情報から収集条件を満たすウェブページを取得し、取得したウェブページを含む応答情報を収集要求の送信元であるクローラ装置10に送信する。続いて、集約装置100は、<状態2>になってから24時間以上が経過した後に、URLwww.aaa.jp及び鮮度24時間が設定されている収集要求を受信したものとする。かかる場合に、集約装置100は、図5Aの<状態3>に示した例のように、条件/内容DB120に収集要求を格納するとともに共通条件を更新する。そして、集約装置100は、共通条件に従ってウェブページを取得し、図5Bの<状態4>に示した例のように、条件/内容DB120のコンテンツ情報及び状況情報を更新する。続いて、集約装置100は、<状態4>になってから24時間が経過する前に、URLwww.aaa.jp、鮮度24時間、階層8及びリダイレクト上限回数8が設定されている収集要求を受信したものとする。かかる場合に、集約装置100は、図5Bの<状態5>に示した例のように、条件/内容DB120に収集要求を格納するとともに共通条件を更新する。このとき、条件/内容DB120には、階層3やリダイレクト上限回数3を満たし、かつ、24時間以内に取得されたウェブページが記憶されている。したがって、集約装置100は、階層3~5やリダイレクト上限回数8である収集条件により収集処理を行う。1-6.効果上述してきたように、第1の実施形態に係る集約装置100は、条件/内容DB120が、ウェブページを収集する複数のクローラ装置10から受信したウェブページの収集要求と取得済みのウェブページとを記憶し、調整部142が、条件/内容DB120に記憶されている収集要求及び取得済みのウェブページに応じて、処理対象の収集要求における収集条件を調整し、取得部143が、調整部142によって調整された収集条件に従ってウェブページを取得し、取得結果格納部144が、取得部143によって取得されたウェブページを条件/内容DB120に格納し、送信部146が、処理対象の収集要求における収集条件を満たすウェブページを条件/内容DB120から取得し、取得したウェブページを含む応答情報を収集要求の送信元であるクローラ装置10に送信する。これにより、第1の実施形態に係る集約装置100は、取得済みのウェブページを再取得しない等を実現できるので、各クローラ装置10による収集要求を個別に処理するよりも、第三者Webサーバ20にかかる負荷を低減することができる。また、第1の実施形態に係る集約装置100は、条件/内容DB120が、収集要求として、URLに対応付けて、かかる収集要求におけるリクエスト情報である収集条件を記憶し、調整部142が、処理対象の収集要求におけるURLに対応付けて条件/内容DB120に記憶されている収集条件を全て満たすように、処理対象の収集要求における収集条件を調整する。これにより、第1の実施形態に係る集約装置100は、リクエストにかかるウェブページ毎に、各収集要求における収集条件を満たすウェブページを1度に取得できるので、第三者Webサーバ20にかかる負荷を低減することができる。また、第1の実施形態に係る集約装置100は、条件/内容DB120が、収集条件として、リクエストにかかるウェブページ例えば、トップページからかかるウェブページに関連付けられたウェブページ群例えば、トップページ下の各ウェブページまでのリンク回数を示す階層、又は、ウェブページ間のリダイレクト上限回数を記憶し、調整部142が、処理対象の収集要求におけるURLに対応付けて条件/内容DB120に記憶されている複数の階層の最大値の階層、又は、かかるURLに対応付けて条件/内容DB120に記憶されている複数のリダイレクト上限回数の最大値のリダイレクト回数を処理対象の収集要求における収集条件とする。これにより、第1の実施形態に係る集約装置100は、階層やリダイレクト上限回数が設定されている収集要求を複数受信した場合に、各収集要求における収集条件の最大条件を用いることでウェブページを1度に取得できるので、第三者Webサーバ20にかかる負荷を低減することができる。また、第1の実施形態に係る集約装置100は、調整部142が、処理対象の収集要求における収集条件を満たす一部のウェブページのみが条件/内容DB120に記憶されている場合に、かかる収集条件を満たすウェブページのうち一部のウェブページ以外のウェブページを収集するように処理対象の収集要求における収集条件を調整する。これにより、第1の実施形態に係る集約装置100は、収集対象のウェブページの一部が取得済みである場合でも、同一のウェブページの再取得を防止できるので、第三者Webサーバ20にかかる負荷を低減することができる。また、第1の実施形態に係る集約装置100は、送信部146が、取得結果格納部144によって条件/内容DB120に格納されたウェブページを含む応答情報を収集要求の送信元であるクローラ装置10に送信するとともに、かかるウェブページの一部又は全部を収集対象とする未処理の収集要求における収集条件を満たすウェブページを条件/内容DB120から取得し、取得したウェブページを含む応答情報を未処理の収集要求の送信元であるクローラ装置10に送信する。これにより、第1の実施形態に係る集約装置100は、同一のウェブページの重複取得を防止できるとともに、各クローラ装置10からの収集要求に対して一括で応答することができる。また、第1の実施形態に係る集約装置100は、調整部142が、処理対象の収集要求における収集条件を満たすウェブページが条件/内容DB120に記憶されている場合に、取得部143による収集要求に基づくウェブページの取得処理を行わせない。これにより、第1の実施形態に係る集約装置100は、処理対象の収集要求以外の収集要求を処理した際にウェブページを一括取得している場合には、処理対象の収集要求に対する収集処理を省略することができるので、同一のウェブページの再取得を防止することができる。また、第1の実施形態に係る集約装置100は、要求格納部141が、クローラ装置10から受信したウェブページの収集要求における収集条件を満たすウェブページが条件/内容DB120に記憶されている場合には、かかる収集要求を条件/内容DB120に格納せず、収集要求における収集条件を満たすウェブページが条件/内容DB120に記憶されていない場合には、かかる収集要求を条件/内容DB120に格納し、送信部146が、要求格納部141によって条件/内容DB120に格納されなかった収集要求における収集条件を満たすウェブページを条件/内容DB120から取得し、取得したウェブページを含む応答情報を収集要求の送信元であるクローラ装置10に送信する。これにより、第1の実施形態に係る集約装置100は、取得済みのウェブページを再利用することで、同一のウェブページの再取得を防止することができる。第2の実施形態本願に係る集約装置、集約方法及び集約プログラムは、上述した第1の実施形態以外にも種々の異なる形態にて実施されてよい。第2の実施形態では、他の実施形態について説明する。2-1.共通条件更新処理上記実施形態では、格納部141cが、条件/内容DB120の共通条件を更新する例について説明した。しかし、調整部142が、キュー130に格納されているキューを処理する際に、共通条件を更新してもよい。2-2.共通条件また、上記実施形態では、調整部142が、階層の最大値やリダイレクト上限回数の最大値である共通条件を収集条件とする例を示した図4のステップS205を参照。しかし、調整部142は、階層の最大値以上の階層や、リダイレクト上限回数の最大値以上のリダイレクト回数を収集条件としてもよい。2-3.共通条件また、上記実施形態では、調整部142が、URLが同一である全ての収集条件を満たすように共通条件を設定する例を示した。しかし、調整部142は、URLが同一である所定数の収集条件毎に共通条件を調整してもよい。この場合、取得部143は、所定数の収集条件毎にウェブページの取得処理を行う。例えば、条件/内容DB120が所定のURLに対応付けて10個の収集条件を記憶している場合に、調整部142は、5個の収集条件毎に共通条件を調整してもよい。かかる場合に、取得部143は、5個の収集条件毎に調整された共通条件を用いてウェブページの取得処理を行う。この例の場合、取得部143は、URLが同一である10個の収集条件について、収集処理を2回行う。2-4.共通条件また、図2、図5A及び図5Bには図示することを省略したが、条件/内容DB120は、共通条件として鮮度を記憶してもよい。かかる場合、格納部141cは、同一のURL及び対象デバイスに対応する鮮度のうち、最も期間が短い鮮度を共通条件の鮮度とする。そして、調整部142は、処理対象の収集要求に対する収集処理が未処理である場合に、共通条件の鮮度を満たす一部のウェブページが条件/内容DB120に存在するか否かを判定し、一部のウェブページが存在する場合には、かかる一部のウェブページとMAX階層やMAXリダイレクト等の共通条件を満たすウェブページとの差分のウェブページを収集するように、収集条件を調整する。2-5.取得済みウェブページのチェックまた、上記実施形態では、取得結果確認部141aが、クローラ装置10から受信した収集要求における収集条件を満たすウェブページが条件/内容DB120に存在するか否かを判定する例を示した図3のステップS102を参照。しかし、取得結果確認部141aは、かかる判定処理を行わなくてもよい。すなわち、トランザクション生成部141bは、クローラ装置10から受信した全ての収集要求についてトランザクションを生成してもよい。この場合、調整部142が、収集要求における収集条件を満たすウェブページが条件/内容DB120に存在するか否かを判定することとなり、かかるウェブページが存在する場合には、取得部143による取得処理が行われることなく、送信部146が条件/内容DB120内のウェブページをクローラ装置10に送信する。ただし、上記2-4.共通条件に記載したように、共通条件として鮮度を用いる場合には、取得結果確認部141aによる確認処理を行うことが望ましい。2-6.要求情報の格納処理また、上記実施形態において、取得部143は、ウェブページの取得処理を開始した場合に、条件/内容DB120の状況情報に処理中であることを示す情報クロール中を格納してもよい。このとき、要求格納部141は、条件/内容DB120の状況情報がクロール中である状態で新たな収集要求をクローラ装置10から受信した場合、かかる収集要求における収集条件が共通条件に影響を与えなければ、収集要求を条件/内容DB120に格納してもよい。一例を挙げて説明すると、例えば、図5Aの<状態2>において、要求格納部141が、URLwww.aaa.jp、鮮度24時間、階層2及びリダイレクト上限回数2が設定されている収集要求を受信したものとする。かかる場合に、要求格納部141は、受信した収集要求をURLwww.aaa.jpに対応する条件/内容DB120のリクエスト情報に追加してもよい。これは、送信部146が、応答情報を一括生成するので、上記例のような共通条件に影響を与えない収集要求を追加した場合であっても、かかる収集要求に対する応答情報が送信されるからである。2-7.要求情報の格納処理また、上記2-6.要求情報の格納処理において、要求格納部141は、条件/内容DB120の状況情報がクロール中である状態で受信した新たな収集要求における収集条件が共通条件に影響を与える場合には、収集処理が完了するまで待機してもよい。例えば、図5Aの<状態1>において、状況情報がクロール中である場合に、要求格納部141が、URLwww.aaa.jp、鮮度24時間、階層7及びリダイレクト上限回数7が設定されている収集要求を受信したものとする。かかる場合に、要求格納部141は、状況情報が済となるまで、すなわち、<状態2>になるまで待機し、状況情報が済となった後に、かかる収集要求をURLwww.aaa.jpに対応する条件/内容DB120のリクエスト情報に格納してもよい。2-8.要求情報の格納処理また、上記実施形態では、要求格納部141が、収集要求の収集条件を満たすウェブページが条件/内容DB120に存在する場合に、かかる収集要求を条件/内容DB120に格納しない例を示した図3のステップS102を参照。しかし、要求格納部141は、収集要求の収集条件を満たすウェブページが条件/内容DB120に存在する場合であっても、かかる収集要求を条件/内容DB120に格納してもよい。そして、調整部142は、処理対象の収集要求における収集条件を満たすウェブページが条件/内容DB120に存在する場合には、応答情報一括生成部146bにかかる収集要求の応答情報を送信させてもよい。この例の場合、集約装置100は、応答情報生成部146aと応答情報一括生成部146bのうち応答情報一括生成部146bだけを有すればよい。2-9.取得処理また、上記実施形態では、取得部143が、リクエストにかかるウェブページからリンク回数がMAX階層以内であるウェブページをたどることで、ウェブページを取得する例を示した。しかし、取得部143は、収集条件に含まれるURLによって示されるウェブページのみを取得し、取得したウェブページにリンク先のウェブページが存在する場合には、リンク先ウェブページのURLを含む収集要求を要求格納部141に入力してもよい。このとき、取得部143は、例えば、処理中の収集要求における収集条件と、処理中のトランザクションIDとを要求格納部141に入力してもよい。例えば、図2に示した例において、取得部143は、キュー130からトランザクションID001を取得した場合に、URLwww.aaa.jpが示すウェブページを取得する。そして、取得部143は、取得したウェブページにリンク先のウェブページが存在する場合には、リンク先ウェブページのURLとトランザクションID001とを含む収集要求を要求格納部141に入力する。要求格納部141は、取得部143から収集要求を入力された場合に、例えば、新たなトランザクションIDここでは、006とするを生成し、生成したトランザクションID006と、収集要求に含まれるトランザクションID001と関連付け可能なように、かかる収集要求リンク先URL等を条件/内容DB120に格納するとともに、新たなトランザクションIDをキュー130に格納する。例えば、要求格納部141は、条件/内容DB120のトランザクションIDに006001を格納することで、トランザクションID006と、トランザクションID001とを関連付ける。そして、取得部143は、キュー130からトランザクションID006を取得した場合に、リンク先URLによって示されるウェブページのみを取得し、取得したウェブページにリンク先のウェブページが存在する場合には、リンク先ウェブページのURLを含む収集要求を要求格納部141に再度入力する。そして、取得部143は、このようなリンク先ウェブページのURLを含む収集要求を要求格納部141に入力する処理を共通条件のMAX階層に記憶されている回数だけ繰り返して行う。集約装置100は、このように処理する場合であっても、クローラ装置10からのリクエストにかかるウェブページからリンク回数がMAX階層以内であるウェブページをたどって取得するウェブページと同様のウェブページを取得することができる。2-10.コンテンツまた、上記実施形態では、集約装置100によって収集されるコンテンツとしてウェブページを例に挙げて説明した。しかし、集約装置100は、クローラ装置10からの収集要求に従って、ウェブページ以外の画像データ、音声データ、動画データ、その他各種ファイル等の他のコンテンツを収集してもよい。2-11.Webサーバまた、上記実施形態では、クローラ装置10と第三者Webサーバ20とが異なる企業等によって管理される例を説明した。しかし、クローラ装置10と第三者Webサーバ20とは、同一の企業等によって管理されてもよい。2-12.その他以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。また、上述した集約装置100は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をAPIApplicationProgrammingInterfaceやネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。"