(57)【要約】【課題】効率的にコンテンツを収集することができるコンテンツ収集装置、コンテンツ収集方法およびコンテンツ収集プログラムを提供すること。【解決手段】実施形態に係るコンテンツ収集装置は、記憶部と、決定部と、取得部とを備える。記憶部は、複数のリンクで連続的に関連付けられた複数のコンテンツを有するコンテンツ群の中のうち一部のコンテンツを第１コンテンツとして記憶する。決定部は、一部のコンテンツに含まれる情報に基づいて、コンテンツ群のうち残りのコンテンツを取得対象とする第２コンテンツとして決定する。取得部は、決定部によって取得対象として決定された第２コンテンツをネットワークを介して取得し、取得した第２コンテンツを第１コンテンツとして記憶部に記憶する。【選択図】図１
2020140722.tif 000002
【特許請求の範囲】
【請求項１】
複数のリンクで連続的に関連付けられた複数のコンテンツを有するコンテンツ群の中のうち一部のコンテンツを第１コンテンツとして記憶する記憶部と、
前記一部のコンテンツに含まれる情報に基づいて、前記コンテンツ群のうち残りのコンテンツを取得対象とする第２コンテンツとして決定する決定部と、
前記決定部によって前記取得対象として決定された前記第２コンテンツをネットワークを介して取得し、取得した前記第２コンテンツを前記第１コンテンツとして前記記憶部に記憶する取得部と、を備える
ことを特徴とするコンテンツ収集装置。
【請求項２】
前記決定部は、
前記一部のコンテンツに含まれる情報に基づいて、前記一部のコンテンツの有用性を判定し、前記一部のコンテンツの有用性に基づいて、前記コンテンツ群全体の有用性および／または前記残りのコンテンツの有用性を判定する有用性判定部と、
前記有用性判定部によって判定された前記コンテンツ群全体の有用性および／または前記残りのコンテンツの有用性に基づいて、前記残りのコンテンツを前記取得対象とする第２コンテンツとして決定する取得対象決定部と、を備える
ことを特徴とする請求項１に記載のコンテンツ収集装置。
【請求項３】
第１コンテンツを記憶する記憶部と、
前記第１コンテンツに含まれる情報に基づいて、前記第１コンテンツのリンク先に設定された１以上の第２コンテンツのうち取得対象とする第２コンテンツを決定する決定部と、
前記決定部によって前記取得対象として決定された前記第２コンテンツをネットワークを介して取得し、取得した前記第２コンテンツを前記第１コンテンツとして前記記憶部に記憶する取得部と、を備え、
前記決定部は、
前記第１コンテンツに含まれる情報のうち前記第２コンテンツのリンク情報の特徴に基づいて、前記取得対象とする第２コンテンツを決定する
ことを特徴とするコンテンツ収集装置。
【請求項４】
前記決定部は、
前記リンク情報に含まれる情報を素性とする機械学習によって生成されたモデルによって、前記第２コンテンツの有用性を判定する有用性判定部と、
前記有用性判定部によって判定された前記有用性に基づいて、前記取得対象とする第２コンテンツを決定する取得対象決定部と、を備える
ことを特徴とする請求項３に記載のコンテンツ収集装置。
【請求項５】
前記決定部は、
前記リンク情報のパターンと１以上の基準パターンとの比較に基づいて、前記第２コンテンツの有用性を判定する有用性判定部と、
前記有用性判定部によって判定された前記有用性に基づいて、前記取得対象とする第２コンテンツを決定する取得対象決定部と、を備える
ことを特徴とする請求項３に記載のコンテンツ収集装置。
【請求項６】
コンピュータが実行するコンテンツ収集方法であって、
複数のリンクで連続的に関連付けられた複数のコンテンツを有するコンテンツ群の中のうち一部のコンテンツを第１コンテンツとして記憶部から取得する第１取得工程と、
前記第１取得工程において取得された前記一部のコンテンツに含まれる情報に基づいて、前記コンテンツ群のうち残りのコンテンツを取得対象とする第２コンテンツとして決定する決定工程と、
前記決定工程において前記取得対象として決定された前記第２コンテンツをネットワークを介して取得する第２取得工程と、
前記第２取得工程において前記第２コンテンツを前記第１コンテンツとして前記記憶部に記憶する記憶工程と、を含む
ことを特徴とするコンテンツ収集方法。
【請求項７】
コンピュータが実行するコンテンツ収集方法であって、
第１コンテンツを記憶部から取得する第１取得工程と、
前記第１取得工程において取得された前記第１コンテンツに含まれる情報に基づいて、前記第１コンテンツのリンク先に設定された１以上の第２コンテンツのうち取得対象とする第２コンテンツを決定する決定工程と、
前記決定工程において前記取得対象として決定された前記第２コンテンツをネットワークを介して取得する第２取得工程と、
前記第２取得工程において前記第２コンテンツを前記第１コンテンツとして前記記憶部に記憶する記憶工程と、を含み、
前記決定工程は、
前記第１コンテンツに含まれる情報のうち前記第２コンテンツのリンク情報の特徴に基づいて、前記取得対象とする第２コンテンツを決定する
ことを特徴とするコンテンツ収集方法。
【請求項８】
複数のリンクで連続的に関連付けられた複数のコンテンツを有するコンテンツ群の中のうち一部のコンテンツを第１コンテンツとして記憶部から取得する第１取得手順と、
前記第１取得手順において取得された前記一部のコンテンツに含まれる情報に基づいて、前記コンテンツ群のうち残りのコンテンツを取得対象とする第２コンテンツとして決定する決定手順と、
前記決定手順において前記取得対象として決定された前記第２コンテンツをネットワークを介して取得する第２取得手順と、
前記第２取得手順において前記第２コンテンツを前記第１コンテンツとして前記記憶部に記憶する記憶手順と、
をコンピュータに実行させることを特徴とするコンテンツ収集プログラム。
【請求項９】
第１コンテンツを記憶部から取得する第１取得手順と、
前記第１取得手順において取得された前記第１コンテンツに含まれる情報に基づいて、前記第１コンテンツのリンク先に設定された１以上の第２コンテンツのうち取得対象とする第２コンテンツを決定する決定手順と、
前記決定手順において前記取得対象として決定された前記第２コンテンツをネットワークを介して取得する第２取得手順と、
前記第２取得手順において前記第２コンテンツを前記第１コンテンツとして前記記憶部に記憶する記憶手順と、をコンピュータに実行させ、
前記決定手順は、
前記第１コンテンツに含まれる情報のうち前記第２コンテンツのリンク情報の特徴に基づいて、前記取得対象とする第２コンテンツを決定する
ことを特徴とするコンテンツ収集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ収集装置、コンテンツ収集方法およびコンテンツ収集プログラムに関する。
【背景技術】
【０００２】
近年、ネットワーク上のコンテンツを元に構造化された情報（以下、構造化情報と記載する）を提供する技術が知られている。例えば、特許文献１には、インターネット上で公開されウェブコンテンツを収集し、かかるウェブコンテンツに含まれる情報であって自然言語で記述された構造化されていないテキスト情報から構造化データを抽出し、かかる構造化情報をネットワーク上で提供する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１２３７９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ネットワーク上のコンテンツには、構造化情報の抽出（以下、情報抽出と記載する場合がある）に有用なコンテンツとそうでないコンテンツが存在する。そのため、収集するコンテンツに情報抽出に有用でないコンテンツが多く含まれていると、ネットワーク帯域やプロセッサ、メモリなどのリソースが非効率に使用されるおそれがある。
【０００５】
本願は、上記に鑑みてなされたものであって、効率的にコンテンツを収集することができるコンテンツ収集装置、コンテンツ収集方法およびコンテンツ収集プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願に係るコンテンツ収集装置は、記憶部と、決定部と、取得部とを備える。前記記憶部は、複数のリンクで連続的に関連付けられた複数のコンテンツを有するコンテンツ群の中のうち一部のコンテンツを第１コンテンツとして記憶する。前記決定部は、前記一部のコンテンツに含まれる情報に基づいて、前記コンテンツ群のうち残りのコンテンツを取得対象とする第２コンテンツとして決定する。前記取得部は、前記決定部によって前記取得対象として決定された前記第２コンテンツをネットワークを介して取得し、取得した前記第２コンテンツを前記第１コンテンツとして前記記憶部に記憶する。
【発明の効果】
【０００７】
実施形態の一態様によれば、効率的にコンテンツを収集することができるコンテンツ収集装置、コンテンツ収集方法およびコンテンツ収集プログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態に係るコンテンツ収集処理の説明図である。
【図２】図２は、実施形態に係る情報処理システムの構成例を示す図である。
【図３】図３は、実施形態に係るコンテンツ収集装置の具体的構成例を示す図である。
【図４】図４は、第１コンテンツと第２コンテンツとのリンク関係と第２コンテンツの有用性スコアとの関係の一例を示す図である。
【図５】図５は、有用性情報記憶部に記憶される第１有用性スコアテーブルの一例を示す図である。
【図６】図６は、コンテンツ群の一例を示す図である。
【図７】図７は、有用性情報記憶部に記憶される第２有用性スコアテーブルの一例を示す図である。
【図８】図８は、実施形態に係るコンテンツ収集装置における情報処理の流れを示すフローチャートである。
【図９】図９は、図８に示す有用性判定処理の流れを示すフローチャートである。
【図１０】図１０は、コンテンツ収集処理プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本願に係るコンテンツ収集装置、コンテンツ収集方法およびコンテンツ収集プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係るコンテンツ収集装置、コンテンツ収集方法およびコンテンツ収集プログラムが限定されるものではない。
【００１０】
［１．コンテンツ収集処理］
まず、実施形態に係るコンテンツ収集処理について説明する。図１は、実施形態に係るコンテンツ収集処理の説明図であり、かかるコンテンツ収集処理はコンテンツ収集装置３によって実行される。
【００１１】
図１に示すコンテンツ収集装置３は、ネットワーク上に公開されている多数のコンテンツを収集するコンテンツ収集処理を実行する。コンテンツ収集装置３が収集するコンテンツは、例えば、テキスト情報を含むウェブページなどのウェブコンテンツやその他の文章データであって、動画データ、アニメーションデータ、静止画データ、音声データなどを含んでいてもよい。
【００１２】
さらに、コンテンツ収集装置３は、収集したコンテンツを元に構造化された情報（以下、構造化情報と記載する）を抽出する情報抽出処理を実行する。これにより、構造化情報が抽出され、コンテンツ収集装置３は、かかる構造化情報をネットワーク上に公開することができる。
【００１３】
ネットワーク上に公開されているコンテンツは膨大な数であることから、収集するコンテンツに情報抽出に有用でないコンテンツが多く含まれていると、ネットワーク帯域やプロセッサ、メモリなどのリソースが非効率に使用されるおそれがある。
【００１４】
そこで、コンテンツ収集装置３は、１以上のコンテンツをネットワーク経由でコンテンツ提供装置から収集して記憶部に記憶する。そして、コンテンツ収集装置３は、記憶部に記憶しているコンテンツ（以下、第１コンテンツと記載する）に含まれる情報に基づいて、第１コンテンツのリンク先に設定された１以上のコンテンツ（以下、第２コンテンツと記載する）のうち取得対象とする第２コンテンツを決定する。
【００１５】
例えば、コンテンツ収集装置３は、第１コンテンツに含まれる情報に基づいて、構造化情報の抽出（以下、情報抽出と記載する場合がある）の観点からの第２コンテンツの有用性（以下、情報抽出有用性と記載する）を判定する。そして、コンテンツ収集装置３は、判定した情報抽出有用性に基づいて、取得対象とする第２コンテンツを決定する。
【００１６】
情報抽出有用性は、例えば、構造化情報の抽出に有用な情報がどのくらい含まれるかを示す指標である。例えば、コンテンツ収集装置３が収集するコンテンツがウェブページである場合、コンテンツ収集装置３は、ウェブページに含まれるテキストデータから例えば固有表現を抽出し、かかる固有表現が多いウェブページほど情報抽出有用性を高くすることができる。また、コンテンツ収集装置３は、カテゴリ（例えば、実写動画分野、アニメ動画分野などのカテゴリ）毎に固有表現を抽出し、カテゴリ毎に情報抽出有用性を判定することもできる。
【００１７】
また、例えば、ブログのウェブページは情報抽出有用性が高い場合が多く、一方で、スパムページは情報抽出有用性が低い場合が多い。ブログのウェブページやスパムページは、例えば、ＵＲＬ（Uniform  Resource  Locator）などのリンク情報に特徴がある場合がある。コンテンツ収集装置３は、リンク情報の特徴に基づいて情報抽出有用性を判定する。
【００１８】
そして、コンテンツ収集装置３は、情報抽出有用性が高いと判定された情報を含む第１コンテンツのリンク先に設定されている第２コンテンツを取得対象として決定し、取得対象として決定した第２コンテンツをネットワークを介して取得する。
【００１９】
例えば、図１に示す第１コンテンツ５１のリンク先は、情報抽出有用性が低いと判定され、第１コンテンツ５２〜５４のリンク先は、情報抽出有用性が高いと判定される。そこで、コンテンツ収集装置３は、第１コンテンツ５２〜５４のリンク先である第２コンテンツ６５、６６を収集する。一方、第１コンテンツ５１のリンク先である第２コンテンツ６１は収集しない。
【００２０】
コンテンツ収集装置３は、取得した第２コンテンツ６５、６６を第１コンテンツとして記憶部に記憶する。これにより、記憶部に新たな第１コンテンツが記憶され、かかる第１コンテンツに含まれる情報に基づいて、新たなコンテンツの収集判定を行うことができる。
【００２１】
このように、コンテンツ収集装置３は、ネットワーク上に公開されているコンテンツの中から情報抽出有用性が高いコンテンツを優先して収集するため、収集するコンテンツの数を低減して効率的にコンテンツを収集することができる。
【００２２】
また、コンテンツ収集装置３は、情報抽出有用性が高いコンテンツに含まれるテキスト情報から、構造化情報を抽出し、かかる構造化情報をネットワーク上で提供することができる。
【００２３】
［２．情報処理システム］
図２は、実施形態に係る情報処理システムの構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１は、複数の情報提供装置２１〜２ｎ（ｎは、２以上の整数）と、コンテンツ収集装置３とを備える。
【００２４】
これら複数の情報提供装置２１〜２ｎ（以下、情報提供装置２と総称する場合がある）およびコンテンツ収集装置３は、ネットワーク４を介して互いに通信可能に接続される。ネットワーク４は、例えば、ＬＡＮ（Local  Area  Network）や、インターネットなどのＷＡＮ（Wide  Area  Network）である。
【００２５】
情報提供装置２は、例えば、ウェブサーバであり、ショッピングサイトやニュース・サイト、Ｑ＆Ａサイト、ブログサイト等のウェブサイトをネットワーク４上で公開し、ネットワーク４に接続された装置からの要求に応じたウェブコンテンツ（例えば、ウェブページや動画コンテンツ）を提供する。
【００２６】
コンテンツ収集装置３は、通信部１０、記憶部２０および制御部３０を備え、上述のように、ネットワーク４上に公開されているコンテンツの中から情報抽出有用性が高いコンテンツを効率的に収集し、収集したコンテンツに基づいて構造化情報を抽出する。
【００２７】
以下、図３を参照してコンテンツ収集装置３の構成についてさらに具体的に説明する。図３は、実施形態に係るコンテンツ収集装置３の具体的構成例を示す図である。以下、通信部１０、記憶部２０および制御部３０の順に具体的に説明する。
【００２８】
［２．１．通信部１０］
通信部１０は、ネットワーク４との間で情報の送受信を行う通信インターフェイスであり、ネットワーク４との接続を有線または無線で行う。制御部３０は、通信部１０およびネットワーク４を介して、情報提供装置２との間で各種の情報を送受信することができる。
【００２９】
［２．２．記憶部２０］
記憶部２０は、コンテンツ記憶部２１と、有用性情報記憶部２２と、抽出情報記憶部２３とを有する。コンテンツ記憶部２１、有用性情報記憶部２２および抽出情報記憶部２３は、例えば、ＲＡＭ（Random  Access  Memory)、フラッシュメモリ等の半導体メモリ素子、または、ＨＤＤ（Hard  Disk  Drive）、光ディスク等の記憶装置である。
【００３０】
［２．３．制御部３０］
制御部３０は、例えば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、入出力ポートなどを有するマイクロコンピュータや各種の回路を含む。
【００３１】
制御部３０は、情報抽出部３１と、決定部３２と、取得部３３とを備える。かかる決定部３２、取得部３３および情報抽出部３１の機能は、例えば、上記ＣＰＵが上記ＲＯＭに記憶されているプログラムを読み出して実行することにより実現される。
【００３２】
なお、情報抽出部３１、決定部３２および取得部３３は、それぞれ一部または全部がＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成されてもよい。以下、これらの情報抽出部３１、決定部３２および取得部３３について具体的に説明する。
【００３３】
［２．３．１．情報抽出部３１］
情報抽出部３１は、コンテンツ記憶部２１に記憶されている複数の第１コンテンツから構造化情報を抽出する。構造化情報は、例えば、「エンティティ」とその「関係」を表した情報である。２つのエンティティとその間の関係で形成される３つの組みを「ファクト」と呼ぶ。「エンティティ」は、世の中の物事を表し、「関係」は、エンティティ間の結び付きを表す。
【００３４】
情報抽出部３１は、コンテンツ記憶部２１に記憶されている複数の第１コンテンツに含まれる自然言語のデータ（例えば、テキストデータ、音声データ、画像データ）からエンティティのペアとかかるエンティティのペア間の関係とを判定し、構造化情報（エンティティのペアとこれらの関係を示す情報）を抽出する。情報抽出部３１は、抽出した構造化情報を記憶部２０の抽出情報記憶部２３へ記憶する。
【００３５】
構造化情報の抽出方法は、例えば、ディスタントスーパービジョン（Distant  Supervision）と呼ばれる公知の情報抽出手法を用いることができる。なお、情報抽出手法はかかる手法に限定されず、例えば、情報抽出部３１は、教師あり学習による手法を用いて、エンティティ間の関係の判別を行うこともできる。また、構造化情報として、ファクトを抽出する例を説明したが、構造化情報はかかる例に限定されない。
【００３６】
［２．３．２．決定部３２］
決定部３２は、記憶部２０に記憶された第１コンテンツに含まれる情報に基づいて、この第１コンテンツのリンク先に設定された第２コンテンツのうち取得対象とする第２コンテンツを決定する。
【００３７】
かかる決定部３２は、コンテンツ取得部４１と、有用性判定部４２と、取得対象決定部４３とを備える。コンテンツ取得部４１は、コンテンツ記憶部２１に記憶された第１コンテンツを取得する。
【００３８】
有用性判定部４２は、コンテンツ取得部４１によって取得された第１コンテンツに含まれる情報に基づいて、この第１コンテンツのリンク先に設定された第２コンテンツの有用性を判定する。なお、「第２コンテンツの有用性」とは、例えば、情報抽出処理において構造化情報を抽出するために第２コンテンツがどのくらい有用であるかを示す度合いである。
【００３９】
有用性判定部４２は、第１〜第３の有用性判定方法により第２コンテンツの有用性を判定することができ、以下、各判定方法について具体的に説明する。なお、以下の第１〜第３の有用性判定方法においては、カテゴリ毎に第２コンテンツの有用性を判定する例を説明するが、第２コンテンツの有用性は、カテゴリ毎に判定しなくてもよい。例えば、有用性判定部４２は、カテゴリに関係なく、情報抽出という観点から第２コンテンツの有用性を判定することもできる。
【００４０】
［２．３．２．１．第１の有用性判定方法］
まず、第１の有用性判定方法について説明する。有用性判定部４２は、第１の有用性判定方法において、第１コンテンツに含まれる情報に含まれる特徴から第１コンテンツの有用性を判定し、第１コンテンツの有用性から第１コンテンツの直接のリンク先の第２コンテンツの有用性を判定する。また、取得した第２コンテンツは第１コンテンツに転ずるため、有用性判定部４２は、判定した有用性と実際の有用性とを比較することによって、有用性判定アルゴリズムを補正することが可能である。
【００４１】
例えば、有用性判定部４２は、第１コンテンツの有用性スコアに基づき、第２コンテンツの有用性を判定することができる。さらに、有用性判定部４２は、第１コンテンツの有用性スコアに加え、リンク構造を考慮して第２コンテンツの有用性スコアを判定することができる。
【００４２】
例えば、有用性判定部４２は、第１コンテンツに含まれるテキストデータからカテゴリ毎の固有表現を用いて抽出し、例えば、第１コンテンツに含まれる各カテゴリの固有表現の存在状態に基づいて、各カテゴリにおける第１コンテンツの有用性スコアを数値化することができる。
【００４３】
有用性判定部４２は、例えば、カテゴリ毎に含まれている固有表現（例えば、人名、地名、組織名などの固有名詞）の数に対して所定の係数を乗算することによって、有用性スコアを算出することができる。また、有用性判定部４２は、カテゴリ毎に含まれている固有表現の種類毎に固有表現の数に基づいてスコアを算出し、固有表現の種類毎のスコアを合計して有用性スコアを求めることができる。
【００４４】
有用性判定部４２は、固有表現の抽出を、例えば、機械学習アルゴリズムであるサポートベクターマシン（ＳＶＭ）などを用いて行う。なお、有用性判定部４２は、予め辞書に設定されたカテゴリ毎の特徴語に基づいて、第１コンテンツに含まれるテキストデータからカテゴリ毎の特徴語を抽出することができる。有用性判定部４２は、第１コンテンツに含まれる各カテゴリの特徴語の数や特徴量に基づいて、有用性スコアを算出することができる。
【００４５】
また、有用性判定部４２は、情報抽出の手法によって、第１コンテンツに含まれるテキストデータからエンティティやエンティティ間の関係を含む情報を抽出し、抽出した情報に基づいて、有用性スコアを算出することができる。
【００４６】
例えば、有用性判定部４２は、第１コンテンツに含まれるエンティティの数または種類数に第１係数を乗算し、エンティティ間の関係の数や種類数に第２係数を乗算し、これらの乗算結果を合算した値を有用性スコアとすることができる。なお、情報抽出の手法は公知のものを使用することができ、例えば、有用性判定部４２は、distant  supervisionと呼ばれる情報抽出の手法を用いることができる。
【００４７】
また、箇条書きやテーブルが含まれるコンテンツは情報抽出有用性が高い場合が多い。そこで、有用性判定部４２は、箇条書きやテーブルが多く含まれる第１コンテンツほど有用性スコアが高くなるように第１コンテンツの有用性スコアを演算することができる。
【００４８】
例えば、有用性判定部４２は、箇条書きやテーブルの重み付けを大きくして有用性スコアを演算することで、例えば、箇条書きの数やテーブルの数が多くなるほど有用性スコアが高くなり、また、テーブルの大きさが大きくなるほど有用性スコアが高くなるようにすることができる。
【００４９】
なお、有用性判定部４２は、第１コンテンツに含まれる情報に含まれる特徴から第１コンテンツの有用性をスコアとして数値化することができればよく、上述した手法に限定されるものではない。
【００５０】
有用性判定部４２は、上述のように算出した第１コンテンツの有用性スコアを第２コンテンツの有用性スコアとすることができ、また、第１コンテンツと第２コンテンツとのリンク関係を考慮して、第２コンテンツの有用性スコアを算出することができる。例えば、有用性判定部４２は、第２コンテンツのリンク元が複数の第１コンテンツである場合、これらの第１コンテンツの有用性スコアから第２コンテンツの有用性スコアを算出することができる。
【００５１】
図４は、第１コンテンツと第２コンテンツとのリンク関係と第２コンテンツの有用性スコアとの関係の一例を示す図である。図４に示す例では、カテゴリとして実写映画分野とアニメ映画分野のそれぞれに対する第１コンテンツ５１、５２、５３の有用性スコアが有用性判定部４２によって算出されている。
【００５２】
例えば、図４に示す例では、有用性判定部４２によって算出される有用性スコアは、第１コンテンツ５１、５２、５３の実写映画分野でそれぞれ「１０」、「６０」、「８０」であり、アニメ映画分野でそれぞれ「５」、「１０」、「２０」である。
【００５３】
この場合、有用性判定部４２は、第２コンテンツ６１のリンク元は第１コンテンツ５１のみであるため、第２コンテンツ６１の有用性スコアを例えば第１コンテンツ５１の有用性スコアと同じ値（実写映画分野で「１０」、アニメ映画分野で「５」）にする。
【００５４】
一方、有用性判定部４２は、第２コンテンツ６５のリンク元は２つの第１コンテンツ５２、５３であるため、２つの第１コンテンツ５２、５３の有用性スコアに基づいて、第２コンテンツ６５の有用性スコアを算出する。
【００５５】
第１コンテンツ５２、５３の実写映画分野での有用性スコアは、「６０」、「８０」と高いため、第２コンテンツ６５の実写映画分野の有用性も高いと考えられる。そこで、有用性判定部４２は、第１コンテンツ５２、５３の実写映画分野での有用性スコアのうち最も大きい値（＝８０）の有用性スコアを第２コンテンツ６５の有用性スコアとする。なお、有用性判定部４２は、第１コンテンツ５２、５３の実写映画分野での有用性スコアを平均化した値（＝７０）を第２コンテンツ６５の有用性スコアとすることもできる。
【００５６】
一方、第１コンテンツ５２、５３のアニメ映画分野での有用性スコアは、「１０」、「２０」と低いため、第２コンテンツ６５のアニメ映画分野の有用性も低いと考えられる。そこで、有用性判定部４２は、第１コンテンツ５２、５３のアニメ映画分野での有用性スコアのうち最も小さい値（＝１０）の有用性スコアを第２コンテンツ６５の有用性スコアとする。なお、有用性判定部４２は、第１コンテンツ５２、５３のアニメ映画分野での有用性スコアを平均化した値（＝１５）を第２コンテンツ６５の有用性スコアとすることもできる。
【００５７】
さらに、有用性判定部４２は、第１コンテンツのリンク元の第１コンテンツの有用性スコアを考慮して第２コンテンツの有用性スコアを算出することができる。例えば、有用性判定部４２は、第２コンテンツのリンク元の第１コンテンツの有用性スコアと、この第１コンテンツのリンク元の第１コンテンツの有用性スコアとを平均化した値を第２コンテンツの有用性スコアとすることもできる。また、有用性判定部４２は、第２コンテンツへ近いほど第１コンテンツの有用性スコアが高い場合、第２コンテンツの有用性スコアをリンク元の第１コンテンツよりも高くすることができる。
【００５８】
有用性判定部４２は、第１の有用性判定方法によって判定した第２コンテンツの有用性に関する情報（例えば、有用性スコア）を有用性情報記憶部２２に記憶する。図５は、有用性情報記憶部２２に記憶される第１有用性スコアテーブルの一例を示す図である。
【００５９】
図５に示す第１有用性スコアテーブルは、第２コンテンツ毎の識別情報と各カテゴリの有用性スコアの情報とが関連付けられた情報である。なお、第２コンテンツの識別情報は、例えば、第２コンテンツの格納位置を示す情報（例えば、ＵＲＬ）である。
【００６０】
［２．３．２．２．第２の有用性判定方法］
次に、第２の有用性判定方法について説明する。有用性判定部４２は、第２の有用性判定方法において、複数のコンテンツから構成されるコンテンツ群のうち一部のコンテンツからコンテンツ群全体の有用性および／または残りのコンテンツの有用性を判定する。
【００６１】
なお、「コンテンツ群」とは、複数のリンクで連続的に関連付けられた複数のコンテンツを有するグループであり、例えば、図６に示すように、ポータルページ（トップページ）を起点として階層状にリンクが張られた複数のウェブページを有するコンテンツ群７１であり、例えば、ウェブサイト全体を指す。図６は、コンテンツ群の一例を示す図である。なお、第２の有用性判定方法における第１コンテンツの有用性スコアの算出方法は、第１の有用性判定方法の場合と同様である。
【００６２】
有用性判定部４２は、コンテンツ群のうち一部のコンテンツ（図６に示す第１コンテンツ５１０〜５１６）の有用性が平均して高い場合には、コンテンツ群全体の有用性または残りのコンテンツ（図６に示す第２コンテンツ６１０〜６３７）の有用性を高いと判定する。
【００６３】
例えば、有用性判定部４２は、図６に示す第１コンテンツ５１０〜５１６の有用性スコアの平均値を求め、かかる平均値をコンテンツ群全体の有用性スコアまたは第２コンテンツ６１０〜６３７の有用性スコアとすることができる。以下、コンテンツ群全体の有用性スコアおよび残りのコンテンツの有用性スコアを総称して全体有用性スコアと記載する。
【００６４】
また、有用性判定部４２は、第１コンテンツ５１０〜５１６の有用性スコアに加え、リンク構造を考慮して全体有用性スコアを判定することができる。例えば、有用性判定部４２は、階層構造の下流に行くほど重み付けを高くして第１コンテンツの有用性スコアを補正し、かかる補正後の有用性スコアの平均値を全体有用性スコアとして判定することができる。
【００６５】
階層構造の下流に行くほど第１コンテンツの有用性スコアが大きくなる場合には、残りのコンテンツの有用性が比較的高いと想定されることから、有用性判定部４２は、上述のように重み付けすることで、全体有用性スコアを高くすることができる。一方で、階層構造の下流に行くほど第１コンテンツの有用性スコアが小さくなる場合には、残りのコンテンツの有用性が比較的低いと想定されることから、有用性判定部４２は、上述のように重み付けすることで、全体有用性スコアを低くすることができる。
【００６６】
また、有用性判定部４２は、すでに取得している第１コンテンツのリンク関係やディレクトリの数などからコンテンツ群のコンテンツの総数を推定し、上述した一部のコンテンツとして取得するコンテンツの数を決定することができる。このように決定したコンテンツの数が記憶部２０に記憶しているコンテンツ群の第１コンテンツの数よりも少ない場合、取得部３３は、不足分のコンテンツを情報提供装置２から取得することができる。
【００６７】
また、ネットワーク４上に配置された複数のコンテンツのリンク関係を示す情報（以下、リンク関係情報と記載する）を記憶部２０に記憶させることもできる。この場合、有用性判定部４２は、記憶部２０に記憶されたリンク関係情報に基づいて、コンテンツ群のコンテンツの数を判定し、上述した一部のコンテンツとして取得するコンテンツの数を決定することができる。この場合も、第１コンテンツが不足していれば、取得部３３は、不足分のコンテンツを情報提供装置２から取得することができる。
【００６８】
取得部３３は、コンテンツ群の有用性を判定するために第１コンテンツとして取得するコンテンツを、例えば、リンク構造の上位階層から所定数とすることができる。また、取得部３３は、リンク関係に基づいてランダムまたは所定の規則に従ってコンテンツ群のコンテンツを第１コンテンツとして所定数取得することもできる。なお、上記所定数は、例えば、コンテンツ群のコンテンツの総数のうち所定割合（例えば、２０％）の数であり、かかる所定割合は、カテゴリ毎に変更することもできる。
【００６９】
また、有用性判定部４２は、すでに取得している第１コンテンツのリンク関係やディレクトリの数などからコンテンツ群が大きいと判定した場合、コンテンツ群を複数のコンテンツ群（以下、分割コンテンツ群と記載する）に分け、それぞれの分割コンテンツ群毎に有用性を判定することもできる。
【００７０】
さらに、有用性判定部４２は、残りのコンテンツ（第２コンテンツ）のうち直接的に第１コンテンツのリンク先になっている第２コンテンツの有用性スコアを第１の判定手法によって判定し、これらの第２コンテンツの有用性スコアの平均値や合計値を全体有用性スコアとすることもできる。
【００７１】
上述した例では、一部のコンテンツから残りのコンテンツの有用性を判定したが、有用性判定部４２は、一部のコンテンツから残りのコンテンツの一部の有用性を判定することもできる。この場合、取得部３３は、この残りのコンテンツの一部を取得し、第１コンテンツとしてコンテンツ記憶部２１に記憶する。有用性判定部４２は、コンテンツ記憶部２１に記憶された残りのコンテンツの一部の有用性に応じてまだ残っているコンテンツの有用性を判定することができる。このように、制御部３０は、コンテンツ群のコンテンツを３回以上に分けて取得することができる。
【００７２】
この場合、有用性判定部４２は、例えば、所定数のコンテンツを第１コンテンツとして取得し、かかる所定数の第１コンテンツに基づいて算出した有用性スコアに応じた数の第２コンテンツを取得することもできる。有用性判定部４２は、所定数の第１コンテンツに基づいて算出した有用性スコアが高いほど第２コンテンツが高いと判定して取得する第２コンテンツの数を多くすることができる。
【００７３】
有用性判定部４２は、第２の有用性判定方法によって判定した第２コンテンツの有用性に関する情報（例えば、有用性スコア）を有用性情報記憶部２２に記憶する。図７は、有用性情報記憶部２２に記憶される第２有用性スコアテーブルの一例を示す図である。
【００７４】
図７に示す第２有用性スコアテーブルは、コンテンツ群毎の識別情報と各カテゴリの有用性スコアの情報とが関連付けられた情報である。なお、コンテンツ群の識別情報は、例えば、コンテンツ群のリンク構造の最上位にある第１コンテンツの格納位置を示す情報（例えば、ＵＲＬ）である。また、第２有用性スコアテーブルには、コンテンツ群の一部のコンテンツ（第１コンテンツ）のそれぞれの格納位置を示す情報を設定することもできる。
【００７５】
［２．３．２．３．第３の有用性判定方法］
次に、第３の判定手法について説明する。有用性判定部４２は、第３の有用性判定方法において、第１コンテンツに含まれる情報のうち第２コンテンツのリンク情報（例えば、ＵＲＬ）に基づき、第２コンテンツの有用性を判定する。
【００７６】
例えば、有用性判定部４２は、第２コンテンツのリンク情報に含まれる情報などを特徴量（素性）としてカテゴリ毎に機械学習を行うことによって、各特徴量の重み付けを求め、かかる重み付けに基づいて第２コンテンツのカテゴリ毎の有用性スコアを算出することができる。すなわち、有用性判定部４２は、機械学習によって生成されたカテゴリ毎のモデルを用いてカテゴリ毎の有用性スコアを算出することができる。特徴量として、例えば、第２コンテンツのＵＲＬにおけるディレクトリの数、使用されている単語、数字で始まっているか否か、などの情報を用いることができる。
【００７７】
有用性判定部４２は、例えば、第２コンテンツのリンク情報に含まれる情報などから上記特徴量を抽出し、かかる特徴量にカテゴリ毎の重み付けを行い、カテゴリ毎のスコアをカテゴリ毎の有用性スコアとすることができる。
【００７８】
なお、有用性判定部４２は、教師ありの機械学習を行う場合、例えば、情報抽出部３１によって構造化情報の抽出に有用であった第１コンテンツのＵＲＬを正解データとすることができる。なお、教師なしの機械学習を用いることもできる。
【００７９】
また、有用性判定部４２は、ブログでよく使用されているリンク情報のパターンを基準パターンとし、かかる基準パターンと第２コンテンツのリンク情報とが同一または類似であるかを判定するパターンマッチング処理を行って、有用性スコアを判定することもできる。ブログでよく使用されているリンク情報のパターンは、第１の基準パターンとして記憶部２０に記憶され、有用性判定部４２は、記憶部２０に記憶された第１の基準パターンを用いてパターンマッチング処理を行うことができる。
【００８０】
ブログのウェブページは情報抽出有用性が高い場合が多いことから、有用性判定部４２は、ブログでよく使用されているリンク情報のパターンとの類似度が高いほど有用性スコアを高くすることで、第２コンテンツの有用性を精度よく判定することができる。
【００８１】
なお、ブログではリンク情報の一部に特定の文字（例えば、「blog」）を使用される傾向があり、有用性判定部４２は、特定の文字がリンク情報に含まれている第２コンテンツに対して有用性スコアを高くすることができる。
【００８２】
また、有用性判定部４２は、スパムコンテンツ（例えば、スパムページ）でよく使用されているリンク情報のパターンを基準パターンとし、かかる基準パターンと第２コンテンツのリンク情報とが同一または類似であるかを判定するパターンマッチング処理を行って、有用性スコアを判定することもできる。スパムコンテンツでよく使用されているリンク情報のパターンは、第２の基準パターンとして記憶部２０に記憶され、有用性判定部４２は、記憶部２０に記憶された第２の基準パターンを用いてパターンマッチング処理を行うことができる。
【００８３】
スパムコンテンツは情報抽出有用性が低い場合が多いことから、有用性判定部４２は、スパムコンテンツでよく使用されているリンク情報のパターンとの類似度が高いほど有用性スコアを低くすることで、第２コンテンツの有用性を精度よく判定することができる。なお、スパムコンテンツとは、例えば、よく検索されると考えられる多数のキーワードを文章中に羅列したり、音声等に含ませたりしたコンテンツである。
【００８４】
なお、スパムコンテンツでは数字が先頭文字である傾向があり、有用性判定部４２は、例えば、数字が先頭文字であるリンク情報が含まれている第２コンテンツに対して有用性スコアを低くすることができる。
【００８５】
有用性判定部４２は、例えば、ブログに関する上記パターンマッチング処理で得た有用性スコアとスパムコンテンツに関する上記パターンマッチング処理で得た有用性スコアとの平均値を求め、かかる平均値を第２コンテンツの有用性スコアとすることもできる。
【００８６】
また、有用性判定部４２は、例えば、上述した機械学習およびパターンマッチング処理をそれぞれ独立して行って得た有用性スコアの平均値を第２コンテンツの有用性スコアとすることもできる。また、有用性判定部４２は、例えば、上述した機械学習で得た有用性スコアに対してパターンマッチング処理で得た有用性スコアに応じた重み付け値を乗算して第２コンテンツの有用性スコアとすることもできる。
【００８７】
このように、有用性判定部４２は、上述した１つの処理を単独で行って第２コンテンツの有用性スコアを算出することができ、また、上述した２以上の処理を組み合わせて第２コンテンツの有用性スコアを算出することもできる。
【００８８】
有用性判定部４２は、第３の有用性判定方法によって判定した第２コンテンツの有用性に関する情報（例えば、有用性スコア）を有用性情報記憶部２２に記憶する。例えば、有用性判定部４２は、第１の有用性判定方法の場合と同様に、有用性情報記憶部２２に記憶される第１有用性スコアテーブルに第３の有用性判定方法によって判定した第２コンテンツの有用性に関する情報を有用性情報記憶部２２に記憶することができる。
【００８９】
［２．３．２．４．取得対象決定部４３］
図３に戻って、決定部３２の説明を続ける。決定部３２の取得対象決定部４３は、有用性判定部４２によって判定された各第２コンテンツの有用性に基づいて、複数の第２コンテンツの中から取得対象にする第２コンテンツを決定する。
【００９０】
かかる取得対象決定部４３は、例えば、第１または第３の有用性判定モードで有用性を判定した第２コンテンツのうち、有用性スコアが最も高い第２コンテンツから優先的に取得対象として決定することができる。また、取得対象決定部４３は、例えば、第１または第３の有用性判定モードで新たに有用性を判定した第２コンテンツの場合、有用性スコアが閾値以上である第２コンテンツを取得対象として決定し、有用性スコアが閾値未満である第２コンテンツを取得対象としないこともできる。
【００９１】
また、取得対象決定部４３は、例えば、第２の有用性判定モードで有用性を判定したコンテンツ群の場合、有用性スコアが最も高いコンテンツ群から優先的に取得対象として決定することができる。また、取得対象決定部４３は、例えば、第２の有用性判定モードで新たに有用性を判定したコンテンツ群の場合、有用性スコアが閾値以上である第２コンテンツを取得対象として決定し、有用性スコアが閾値未満である第２コンテンツを取得対象としないこともできる。
【００９２】
［２．３．３．取得部３３］
取得部３３は、取得対象決定部４３によって取得対象として決定された第２コンテンツをネットワーク４を介して取得し、取得した第２コンテンツを第１コンテンツとしてコンテンツ記憶部２１に記憶する。これにより、有用性が高い第２コンテンツを優先的に収集することができることから、効率的にコンテンツを収集することができる。
【００９３】
また、取得部３３は、第２コンテンツの有用性を判定するために、第１コンテンツを取得することができる。例えば、取得部３３は、情報抽出部３１において情報抽出を行いたいカテゴリに応じたキーワードを含むクエリを検索サイトに対して送信し、かかる検索結果に含まれるリンク情報に基づいて、第１コンテンツを取得することができる。なお、取得部３３は、検索結果に含まれるリンク情報のうち上位にランクされているコンテンツを第１コンテンツとして優先して取得することができる。
【００９４】
また、取得部３３は、コンテンツ群の有用性を判定するために、上述したように、コンテンツ群の一部のコンテンツを第１コンテンツとして取得することができる。例えば、取得部３３は、コンテンツ群のリンク構造の上位階層のコンテンツから所定数のコンテンツを第１コンテンツとして取得することができる。
【００９５】
［３．コンテンツ収集装置３の処理フロー］
次に、図８を用いて、コンテンツ収集装置３における情報処理の手順について説明する。図８は、実施形態に係るコンテンツ収集装置３における情報処理の流れを示すフローチャートであり、かかる処理は繰り返し実行される。
【００９６】
図８に示すように、コンテンツ収集装置３の制御部３０は、情報提供装置２からコンテンツをランダムまたは所定の規則に従って取得し（ステップＳ１）、取得したコンテンツを第１コンテンツとして記憶部２０に記憶する（ステップＳ２）。
【００９７】
次に、制御部３０は、第１コンテンツに含まれる情報に基づいて、第１コンテンツのリンク先に設定された第２コンテンツの有用性を判定する有用性判定処理を実行する（ステップＳ３）。かかる有用性判定処理は、図９に示すステップＳ１０〜Ｓ１９に示す処理であり、後で詳述する。
【００９８】
制御部３０は、ステップＳ３において判定された第２コンテンツの有用性に基づいて、第１コンテンツのリンク先に設定された第２コンテンツの中から取得対象を決定する（ステップＳ４）。制御部３０は、ステップＳ４で取得対象として決定した第２コンテンツを情報提供装置２からネットワーク４を介して取得し（ステップＳ５）、取得した第２コンテンツを記憶部２０に第１コンテンツとして記憶する（ステップＳ６）。そして、制御部３０は、記憶部２０に新たに記憶された第１コンテンツから構造化情報を抽出する（ステップＳ７）。
【００９９】
次に、ステップＳ３に示す有用性判定処理について説明する。図９は、図８に示すステップＳ３の有用性判定処理の流れを示すフローチャートである。
【０１００】
図９に示すように、制御部３０は、有用性判定処理のモードが第１判定モードに設定されているか否かを判定する（ステップＳ１０）。有用性判定処理のモードは、例えば、コンテンツ収集装置３の管理者によって設定することができる。管理者は取得したい第２コンテンツのカテゴリや数によって変更することができる。
【０１０１】
有用性判定処理のモードが第１判定モードに設定されていると判定した場合（ステップＳ１０；Ｙｅｓ）、第１の有用性判定方法による処理を行う。具体的には、制御部３０は、制御部３０は、記憶部２０から第１コンテンツを取得し（ステップＳ１１）、取得した第１コンテンツに含まれる情報に基づいて、第１コンテンツの有用性を判定する（ステップＳ１２）。そして、制御部３０は、第１コンテンツの有用性に基づいて、第２コンテンツの有用性を判定する（ステップＳ１３）。
【０１０２】
ステップＳ１０において、有用性判定処理のモードが第１判定モードに設定されていないと判定した場合（ステップＳ１０；Ｎｏ）、制御部３０は、有用性判定処理のモードが第２判定モードに設定されているか否かを判定する（ステップＳ１４）。
【０１０３】
有用性判定処理のモードが第２判定モードに設定されていると判定した場合（ステップＳ１４；Ｙｅｓ）、制御部３０は、第２の有用性判定方法による処理を行う。具体的には、制御部３０は、記憶部２０から第１コンテンツを取得し（ステップＳ１５）、取得した第１コンテンツ（コンテンツ群のうち一部のコンテンツ）に含まれる情報に基づいて、コンテンツ群のうち一部のコンテンツの有用性を判定する（ステップＳ１６）。そして、制御部３０は、一部のコンテンツの有用性に基づいて、残りのコンテンツまたはコンテンツ群の有用性を判定する（ステップＳ１７）。
【０１０４】
ステップＳ１４において、有用性判定処理のモードが第２判定モードに設定されていないと判定した場合（ステップＳ１４；Ｎｏ）、第３の有用性判定方法による処理を行う。具体的には、制御部３０は、記憶部２０に記憶された第１コンテンツに含まれる情報のうち第２コンテンツのリンク情報を抽出して取得し（ステップＳ１８）、取得したリンク情報に基づいて、第２コンテンツの有用性を判定する（ステップＳ１９）。
【０１０５】
［４．変形例］
上述した実施形態では、第１〜第３の有用性判定処理を選択的に行う例を説明したが、有用性判定処理は、かかる例に限定されず、第１〜第３の有用性判定処理のうち２以上の有用性判定処理に基づいて、第２コンテンツの有用性スコアとすることができる。
【０１０６】
例えば、有用性判定部４２は、第１の有用性判定処理による判定結果と第３の有用性判定処理とによる判定結果とに基づいて、第２コンテンツの有用性の判定を行うことができる。第１の有用性判定処理によって算出された有用性スコアと第３の有用性判定処理によって算出された有効性スコアとの平均値を第２コンテンツの有用性スコアとすることができる。
【０１０７】
また、上述した実施形態では、有用性判定処理のモードを管理者が変更するものとして説明したが、有用性判定処理のモードは、例えば、記憶部２０に記憶している第１コンテンツの数に基づいて、制御部３０によって切り替えることもできる。
【０１０８】
例えば、制御部３０は、記憶部２０に記憶している第１コンテンツの数が所定値未満である場合には、第１判定モードを実行し、記憶部２０に記憶している第１コンテンツの数が所定値以上である場合には、第２判定モードを実行することができる。
【０１０９】
この場合、制御部３０は、例えば、記憶部２０に記憶している第１コンテンツのうち、ドメイン単位、サブドメイン単位、または、ディレクトリ単位での第１コンテンツの数が所定値未満である場合には、第１判定モードを実行し、そうでない場合には、第２判定モードを実行することができる。
【０１１０】
また、有用性判定部４２は、上述のように求めた有用性スコアを、検索サイトでの検索結果の順位に基づいて補正することもできる。例えば、有用性判定部４２は、上述のように求めた有用性スコアを検索サイトでの検索結果の順位に応じた重み付けを行って有用性スコアを補正することができる。
【０１１１】
有用性判定部４２は、検索サイトでの検索結果が上位になるコンテンツ（第１および第２判定モードでは第１コンテンツ、第３判定モードでは第２コンテンツ）ほど大きな補正値で有用性スコアを補正する。この場合、記憶部２０には、検索サイトでの検索結果を示す情報（例えば、検索されたウェブページのＵＲＬと検索順位）を記憶しておき、有用性判定部４２は、ネットワーク４上のコンテンツの情報（例えば、ＵＲＬ）に基づいて、第１コンテンツや第２コンテンツの検索サイトでの検索順位の情報を取得することができる。
【０１１２】
なお、上述した実施形態では、第２コンテンツの有用性として数値化された有用性スコアを求める例を説明したが、有用性判定部４２は、第１コンテンツに含まれる情報に基づいて、有用性があるかないかの２値で有用性を判定することもできる。また、有用性判定部４２は、２段階以上のランクで第２コンテンツの有用性を判定することもできる。
【０１１３】
また、コンテンツ収集装置３は、抽出情報記憶部２３に記憶した構造化情報をネットワーク４に接続された端末装置（図示せず）からの要求に応じて、かかる端末装置へ送信する情報提供部（図示せず）を備えることもできる。
【０１１４】
［５．ハードウェア構成〕
なお、上述した実施形態におけるコンテンツ収集装置３は、例えば図１０に示すような構成のコンピュータ１００がコンテンツ収集処理プログラムを実行することによって実現される。図１０は、コンテンツ収集処理プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。コンピュータ１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、通信インターフェイス（Ｉ／Ｆ）１０５、入出力インターフェイス（Ｉ／Ｆ）１０６、およびメディアインターフェイス（Ｉ／Ｆ）１０７を備える。
【０１１５】
ＣＰＵ１０１は、ＲＯＭ１０３またはＨＤＤ１０４に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１０３は、コンピュータ１００の起動時にＣＰＵ１０１によって実行されるブートプログラムや、コンピュータ１００のハードウェアに依存するプログラム等を格納する。
【０１１６】
ＨＤＤ１０４は、ＣＰＵ１０１によって実行されるプログラムによって使用されるデータ等を格納する。例えば、ＨＤＤ１０４は、図３に記載したコンテンツ記憶部２１、有用性情報記憶部２２および抽出情報記憶部２３と同様のデータを記憶する。通信インターフェイス１０５は、通信部１０に対応し、ネットワーク４を介して他の機器からデータを受信してＣＰＵ１０１へ送り、ＣＰＵ１０１が生成したデータを、ネットワーク４を介して他の機器へ送信する。
【０１１７】
ＣＰＵ１０１は、入出力インターフェイス１０６を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ１０１は、入出力インターフェイス１０６を介して、入力装置からデータを取得する。また、ＣＰＵ１０１は、生成したデータを、入出力インターフェイス１０６を介して出力装置へ出力する。
【０１１８】
メディアインターフェイス１０７は、記録媒体１０８に格納されたプログラムまたはデータを読み取り、ＲＡＭ１０２を介してＣＰＵ１０１に提供する。ＣＰＵ１０１は、当該プログラムを、メディアインターフェイス１０７を介して記録媒体１０８からＲＡＭ１０２上にロードし、ロードしたプログラムを実行する。記録媒体１０８は、例えばＤＶＤ（Digital  Versatile  Disc）、ＰＤ（Phase  change  rewritable  Disk）等の光学記録媒体、ＭＯ（Magneto-Optical  disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【０１１９】
コンピュータ１００が上述した実施形態に係るコンテンツ収集装置３して機能する場合、コンピュータ１００のＣＰＵ１０１は、ＲＡＭ１０２上にロードされたプログラムを実行することにより、図３に示す情報抽出部３１、決定部３２および取得部３３の各機能を実現する。
【０１２０】
コンピュータ１００のＣＰＵ１０１は、コンテンツ収集処理プログラムを、記録媒体１０８から読み取って実行するが、他の例として、他の装置から、ネットワーク４を介してこれらのプログラムを取得してもよい。
【０１２１】
［６．効果］
実施形態に係るコンテンツ収集装置３は、記憶部２０と、決定部３２と、取得部３３とを備える。記憶部２０は、第１コンテンツを記憶する。決定部３２は、第１コンテンツに含まれる情報に基づいて、第１コンテンツのリンク先に設定された１以上の第２コンテンツのうち取得対象とする第２コンテンツを決定する。取得部３３は、決定部３２によって取得対象として決定された第２コンテンツをネットワーク４を介して取得し、取得した第２コンテンツを第１コンテンツとして記憶部２０に記憶する。これにより、ネットワーク４上に公開されているコンテンツの中から例えば情報抽出有用性が高いコンテンツを優先して収集することができ、収集するコンテンツの数を低減して効率的にコンテンツを収集することができる。
【０１２２】
また、決定部３２は、第１コンテンツに含まれる情報に基づいて、第１コンテンツの有用性を判定し、第１コンテンツの有用性に基づいて第２コンテンツの有用性を判定する。取得対象決定部４３は、有用性判定部４２によって判定された第２コンテンツの有用性に基づいて、取得対象とする第２コンテンツを決定する。このように、第１コンテンツの有用性に基づいて第２コンテンツの有用性を判定することで、第２コンテンツの有用性の判定精度を向上させることができる。
【０１２３】
また、有用性判定部４２は、第２コンテンツのリンク元の第１コンテンツが複数ある場合には、これら複数の第１コンテンツの有用性に基づいて、第２コンテンツの有用性を判定する。これにより、第２コンテンツの有用性をより精度よく判定することができる。
【０１２４】
また、有用性判定部４２は、第１コンテンツの情報に基づいて、第１コンテンツのカテゴリ毎の有用性を判定し、取得対象決定部４３は、有用性判定部４２によって判定されたカテゴリ毎の有用性に基づいて、取得対象とする第２コンテンツを決定する。これにより、カテゴリ毎に情報抽出有用性が高いコンテンツを取得することができ、情報抽出の対象を絞り込んでコンテンツを収集することができ、効率的にコンテンツを収集することができる。
【０１２５】
また、記憶部２０は、複数のリンクで連続的に関連付けられた複数のコンテンツを有するコンテンツ群の中のうち一部のコンテンツを第１コンテンツとして記憶することができる。決定部３２は、この一部のコンテンツに含まれる情報に基づいて、コンテンツ群のうち残りのコンテンツを取得対象とする第２コンテンツとして決定することができる。これにより、コンテンツ群のうち情報抽出有用性が高いコンテンツ群のコンテンツを取得することができ、コンテンツ群を構成するコンテンツを効率的に収集することができる。
【０１２６】
また、決定部３２は、有用性判定部４２と、取得対象決定部４３とを備える。有用性判定部４２は、上記一部のコンテンツに含まれる情報に基づいて、上記一部のコンテンツの有用性を判定し、上記一部のコンテンツの有用性に基づいて、コンテンツ群全体の有用性および／または残りのコンテンツの有用性を判定する。取得対象決定部４３は、有用性判定部４２によって判定されたコンテンツ群の有用性および／または残りのコンテンツの有用性に基づいて、残りのコンテンツを取得対象とする第２コンテンツとして決定する。このように、一部のコンテンツの有用性に基づいてコンテンツ群または残りのコンテンツの有用性を判定することで、コンテンツ群または残りのコンテンツの有用性の判定精度を向上させることができる。
【０１２７】
また、決定部３２は、第１コンテンツに含まれる情報のうち第２コンテンツのリンク情報の特徴に基づいて、取得対象とする第２コンテンツを決定する。このように、第２コンテンツのリンク情報の特徴を用いることで、例えば、判定処理の対象を絞り込むことができ、判定処理の負荷を軽減することができる。
【０１２８】
また、決定部３２は、有用性判定部４２と、取得対象決定部４３とを備える。有用性判定部４２は、リンク情報に含まれる情報を素性とする機械学習によって生成されたモデルによって、第２コンテンツの有用性を判定することができる。取得対象決定部４３は、有用性判定部４２によって判定された第２コンテンツの有用性に基づいて、取得対象とする第２コンテンツを決定する。このように、機械学習によって生成されたモデルによって第２コンテンツの有用性を判定することで、第２コンテンツの有用性を精度よく判定することができる。
【０１２９】
また、決定部３２は、有用性判定部４２と、取得対象決定部４３とを備える。有用性判定部４２は、リンク情報のパターンと１以上の基準パターンとの比較に基づいて、第２コンテンツの有用性を判定することができる。取得対象決定部４３は、有用性判定部４２によって判定された第２コンテンツの有用性に基づいて、取得対象とする第２コンテンツを決定する。このように、パターンマッチング処理によって第２コンテンツの有用性を判定することで、第２コンテンツの有用性を容易に判定することができる。
【０１３０】
また、コンテンツ収集装置３は、情報抽出部３１を備える。情報抽出部３１は、記憶部２０に記憶された第１コンテンツに含まれる情報から構造化された情報を抽出する。情報抽出有用性が高いコンテンツが第１コンテンツとして記憶部２０に記憶されるため、効率的に構造化された情報を抽出することができる。
【０１３１】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。  
【０１３２】
また、上述したコンテンツ収集装置３は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application  Programming  Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
【０１３３】
また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、決定部は、決定手段や決定回路に読み替えることができる。
【符号の説明】
【０１３４】
１  情報処理システム
２１〜２ｎ、２  情報提供装置
３  コンテンツ収集装置
４  ネットワーク
１０  通信部
２０  記憶部
２１  コンテンツ記憶部
２２  有用性情報記憶部
２３  抽出情報記憶部
３０  制御部
３１  情報抽出部
３２  決定部
３３  取得部
４１  コンテンツ取得部
４２  有用性判定部
４３  取得対象決定部
【図１】
2020140722.tif 000003
【図２】
2020140722.tif 000004
【図３】
2020140722.tif 000005
【図４】
2020140722.tif 000006
【図５】
2020140722.tif 000007
【図６】
2020140722.tif 000008
【図７】
2020140722.tif 000009
【図８】
2020140722.tif 000010
【図９】
2020140722.tif 000011
【図１０】
2020140722.tif 000012