(57)【要約】【課題】  本文の抽出対象となる文書とグループ化可能な別の文書を得られない場合であっても本文を適切に抽出する。【解決手段】  本文抽出装置１０は、本文抽出対象となる対象文書からそれぞれ文字列が含まれる１つ以上の要素を抽出する分割データ作成部１２０と、対象文書と関連する関連文書から形態素を抽出する本文識別子作成部１７０と、抽出された形態素が要素に含まれているか否か判断し、含まれていると判断した場合に当該要素について当該要素が前記対象文書の本文を含む度合いを示すスコアを増加させることでスコアを算出する特徴量生成部２１０と、スコアに基づいて各要素のうち本文を含む要素を特定する本文判定部２２０とを備える。【選択図】  図１
2014142769.tif 000002
【特許請求の範囲】
【請求項１】
本文抽出対象となる対象文書を入力する対象文書入力手段と、
前記対象文書入力手段によって入力された対象文書からそれぞれ文字列が含まれる１つ以上の要素を抽出する要素抽出手段と、
前記対象文書と関連する関連文書を入力する関連文書入力手段と、
前記関連文書入力手段によって入力された関連文書から文字列を抽出する文字列抽出手段と、
前記文字列抽出手段によって抽出された文字列が前記要素抽出手段によって抽出された要素に含まれているか否か判断し、含まれていると判断した場合に当該要素について当該要素が前記対象文書の本文を含む度合いを示すスコアを増加させることでスコアを算出するスコア算出手段と、
前記スコア算出手段によって算出されたスコアに基づいて各要素のうち前記対象文書の本文を含む要素を特定する特定手段と、
前記特定手段によって特定された要素に応じた情報を出力する出力手段と、
を備える本文抽出装置。
【請求項２】
前記要素抽出手段は、予め前記対象文書に含まれうるタグを示すタグ情報を抽出対象として記憶しておき、記憶したタグ情報によって示される要素を抽出する請求項１に記載の本文抽出装置。
【請求項３】
前記要素抽出手段は、予め前記対象文書に含まれうるタグを示すタグ情報を除外対象として記憶しておき、記憶したタグ情報によって示される要素を抽出対象から除外する請求項１又は２に記載の本文抽出装置。
【請求項４】
前記文字列抽出手段は、形態素解析を行うことで関連文書から文字列を抽出する請求項１〜３の何れか一項に記載の本文抽出装置。
【請求項５】
前記関連文書入力手段は、関連文書として前記対象文書のメタデータを入力し、
前記スコア算出手段は、前記文字列に対応する特徴語スコアを予め記憶しておき、前記文字列抽出手段によって抽出された文字列に対応する特徴語スコアに基づいてスコアを算出する、請求項１〜４の何れか一項に記載の本文抽出装置。
【請求項６】
前記関連文書入力手段は、関連文書として前記対象文書を示す情報が文字列に含まれる文書を入力し、
前記スコア算出手段は、前記文字列抽出手段によって抽出された文字列の出現頻度に基づいてスコアを算出する、請求項１〜５の何れか一項に記載の本文抽出装置。
【請求項７】
前記要素抽出手段によって抽出された要素について機械学習に必要となる特徴量を生成する特徴量生成手段を更に備え、
前記特定手段は、前記スコア算出手段によって算出されたスコアと前記特徴量生成手段によって生成された特徴量とに基づく機械学習によって各要素のうち前記対象文書の本文を含む要素を特定する、請求項１〜６の何れか一項に記載の本文抽出装置。
【請求項８】
前記特徴量生成手段は、前記要素抽出手段によって抽出された要素に他の文書へのリンクを含むか否かに基づいて特徴量を生成する請求項７に記載の本文抽出装置。
【請求項９】
前記特徴量生成手段は、前記要素抽出手段によって抽出された要素に含まれる文字列における、句読点の数又は文字列の長さに基づいて特徴量を生成する請求項７又は８に記載の本文抽出装置。
【請求項１０】
本文抽出対象となる対象文書を入力する対象文書入力ステップと、
前記対象文書入力ステップにおいて入力された対象文書からそれぞれ文字列が含まれる１つ以上の要素を抽出する要素抽出ステップと、
前記対象文書と関連する関連文書を入力する関連文書入力ステップと、
前記関連文書入力ステップにおいて入力された関連文書から文字列を抽出する文字列抽出ステップと、
前記文字列抽出ステップにおいて抽出された文字列が前記要素抽出ステップにおいて抽出された要素に含まれているか否か判断し、含まれていると判断した場合に当該要素について当該要素が前記対象文書の本文を含む度合いを示すスコアを増加させることでスコアを算出するスコア算出ステップと、
前記スコア算出ステップにおいて算出されたスコアに基づいて各要素のうち前記対象文書の本文を含む要素を特定する特定ステップと、
前記特定ステップにおいて特定された要素に応じた情報を出力する出力ステップと、
を含む本文抽出方法。
【請求項１１】
コンピュータを、
本文抽出対象となる対象文書を入力する対象文書入力手段と、
前記対象文書入力手段によって入力された対象文書からそれぞれ文字列が含まれる１つ以上の要素を抽出する要素抽出手段と、
前記対象文書と関連する関連文書を入力する関連文書入力手段と、
前記関連文書入力手段によって入力された関連文書から文字列を抽出する文字列抽出手段と、
前記文字列抽出手段によって抽出された文字列が前記要素抽出手段によって抽出された要素に含まれているか否か判断し、含まれていると判断した場合に当該要素について当該要素が前記対象文書の本文を含む度合いを示すスコアを増加させることでスコアを算出するスコア算出手段と、
前記スコア算出手段によって算出されたスコアに基づいて各要素のうち前記対象文書の本文を含む要素を特定する特定手段と、
前記特定手段によって特定された要素に応じた情報を出力する出力手段と、
として機能させる本文抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書から本文を抽出する本文抽出装置、本文抽出方法及び本文抽出プログラムに関する。
【背景技術】
【０００２】
近年ではインターネットの普及により、ブログ、ニュース、写真、動画、音楽といった無数のコンテンツが日々生成されている。スマートフォンの普及により、今後更にコンテンツが増える可能性が高い。インターネット利用者は、インターネット上での検索サービスを利用することで、莫大なコンテンツの中から当該利用者が所望するコンテンツを発掘することが可能である。そういったコンテンツを発掘するためには、コンテンツの本文を示すテキスト情報を、例えばＨＴＭＬ（HyperText Markup Language）で記述されたコンテンツから適切に抽出することが必要である。上記のような点から、サービスとしてコンテンツから本文を特定する技術のニーズが高まっている。
【０００３】
コンテンツからの本文抽出のニーズは検索サービスに留まらない。近年ではウェブのコンテンツを雑誌風に見せるスマートフォンアプリやウェブサービスが流行している。これらのサービスでは、雑誌風にコンテンツを表示するために、汎用的な方法でコンテンツから本文を特定し抽出を行う必要がある。
【０００４】
ＨＴＭＬ等のマークアップ言語によって記述されたコンテンツからＨＴＭＬタグを除去し本文のみを抽出することは技術的に困難である。理由としてはＨＴＭＬのテキストには広告や本文と直接関係のないテキストが含まれることも多く、ノイズが非常に多いため本文がＨＴＭＬ上のどこに位置するか判定するのが困難なためである。
【０００５】
特許文献１ではＨＴＭＬテキストからＨＴＭＬタグを全て除去しテキストデータに変換し、同じサイトのＨＴＭＬテキストをグループ化して、文字列毎の統計量を計算して、当該統計量を用いて本文を抽出している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３３８３６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された手法では、文書から本文を抽出するために、同じサイトのＨＴＭＬテキスト等の本文の抽出対象となる文書とグループ化可能な別の文書が必要となる。即ち、特許文献１に記載された手法では、本文の抽出対象となる文書とグループ化可能な別の文書を得られない場合には、文書から本文を抽出することができない。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、本文の抽出対象となる文書とグループ化可能な別の文書を得られない場合であっても本文を適切に抽出することができる本文抽出装置、本文抽出方法及び本文抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明に係る本文抽出装置は、本文抽出対象となる対象文書を入力する対象文書入力手段と、対象文書入力手段によって入力された対象文書からそれぞれ文字列が含まれる１つ以上の要素を抽出する要素抽出手段と、対象文書と関連する関連文書を入力する関連文書入力手段と、関連文書入力手段によって入力された関連文書から文字列を抽出する文字列抽出手段と、文字列抽出手段によって抽出された文字列が要素抽出手段によって抽出された要素に含まれているか否か判断し、含まれていると判断した場合に当該要素について当該要素が対象文書の本文を含む度合いを示すスコアを増加させることでスコアを算出するスコア算出手段と、スコア算出手段によって算出されたスコアに基づいて各要素のうち対象文書の本文を含む要素を特定する特定手段と、特定手段によって特定された要素に応じた情報を出力する出力手段と、を備える。
【００１０】
例えば、インターネット上のコンテンツに対するマイクロブログのコメントは、当該コンテンツの本文に係る記載がなされていることが多い。このコメントを用いることで、そのコンテンツが何について記載されているかを把握することが可能である。また、解析対象の文書のメタデータも同様に文書の内容を示しているものがある。本発明に係る本文抽出装置では、マイクロブログのコメントやメタデータ等を関連文書として、対象文書から抽出された要素に対して、対象文書の本文を含む度合いを示すスコアが算出されて、本文を含む要素が特定される。上記の関連文書は、同じサイトのＨＴＭＬテキスト等の本文の抽出対象となる文書とグループ化可能な文書ではない。即ち、本発明に係る本文抽出装置によれば、本文の抽出対象となる文書とグループ化可能な別の文書を得られない場合であっても本文を適切に抽出することができる。
【００１１】
要素抽出手段は、予め対象文書に含まれうるタグを示すタグ情報を抽出対象として記憶しておき、記憶したタグ情報によって示される要素を抽出することとすることができる。この構成によれば、対象文書がＨＴＭＬによる文書である場合等に適切に要素を抽出することができる。
【００１２】
要素抽出手段は、予め対象文書に含まれうるタグを示すタグ情報を除外対象として記憶しておき、記憶したタグ情報によって示される要素を抽出対象から除外することとすることができる。この構成によれば、予め本文が含まれないと考えられる要素を解析対象とすることができ、効率的かつ適切に本発明を実施することができる。
【００１３】
文字列抽出手段は、形態素解析を行うことで関連文書から文字列を抽出することとすることができる。この構成によれば、適切に関連文書から文字列を抽出することができ、適切に本発明を実施することができる。
【００１４】
関連文書入力手段は、関連文書として対象文書のメタデータを入力し、スコア算出手段は、文字列に対応する特徴語スコアを予め記憶しておき、文字列抽出手段によって抽出された文字列に対応する特徴語スコアに基づいてスコアを算出する、こととすることができる。この構成によれば、メタデータを関連文書として用いて適切に本発明を実施することができる。
【００１５】
関連文書入力手段は、関連文書として対象文書を示す情報が文字列に含まれる文書を入力し、スコア算出手段は、文字列抽出手段によって抽出された文字列の出現頻度に基づいてスコアを算出する、こととすることができる。この構成によれば、ＵＲＬ（Uniform Resource Locator）等の対象文書を示す情報を含むマイクロブログのコメント等を関連文書として用いて適切に本発明を実施することができる。
【００１６】
要素抽出手段によって抽出された要素について機械学習に必要となる特徴量を生成する特徴量生成手段を更に備え、特定手段は、スコア算出手段によって算出されたスコアと特徴量生成手段によって生成された特徴量とに基づく機械学習によって各要素のうち対象文書の本文を含む要素を特定する、こととすることができる。この構成によれば、機械学習により適切に本文を判断することができる。
【００１７】
特徴量生成手段は、要素抽出手段によって抽出された要素に他の文書へのリンクを含むか否かに基づいて特徴量を生成することとすることができる。この構成によれば、対象文書に含まれる他の文書へのリンクにも基づいて適切に本文を判断することができる。
【００１８】
特徴量生成手段は、要素抽出手段によって抽出された要素に含まれる文字列における、句読点の数又は文字列の長さに基づいて特徴量を生成することとすることができる。この構成によれば、対象文書に含まれる文字列の文章らしさにも基づいて適切に本文を判断することができる。
【００１９】
ところで、本発明は、上記のように本文抽出装置の発明として記述できる他に、以下のように本文抽出方法及び本文抽出プログラムの発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
【００２０】
即ち、本発明に係る本文抽出方法は、本文抽出対象となる対象文書を入力する対象文書入力ステップと、対象文書入力ステップにおいて入力された対象文書からそれぞれ文字列が含まれる１つ以上の要素を抽出する要素抽出ステップと、対象文書と関連する関連文書を入力する関連文書入力ステップと、関連文書入力ステップにおいて入力された関連文書から文字列を抽出する文字列抽出ステップと、文字列抽出ステップにおいて抽出された文字列が要素抽出ステップにおいて抽出された要素に含まれているか否か判断し、含まれていると判断した場合に当該要素について当該要素が対象文書の本文を含む度合いを示すスコアを増加させることでスコアを算出するスコア算出ステップと、スコア算出ステップにおいて算出されたスコアに基づいて各要素のうち対象文書の本文を含む要素を特定する特定ステップと、特定ステップにおいて特定された要素に応じた情報を出力する出力ステップと、を含む。
【００２１】
また、本発明に係る本文抽出プログラムは、コンピュータを、本文抽出対象となる対象文書を入力する対象文書入力手段と、対象文書入力手段によって入力された対象文書からそれぞれ文字列が含まれる１つ以上の要素を抽出する要素抽出手段と、対象文書と関連する関連文書を入力する関連文書入力手段と、関連文書入力手段によって入力された関連文書から文字列を抽出する文字列抽出手段と、文字列抽出手段によって抽出された文字列が要素抽出手段によって抽出された要素に含まれているか否か判断し、含まれていると判断した場合に当該要素について当該要素が対象文書の本文を含む度合いを示すスコアを増加させることでスコアを算出するスコア算出手段と、スコア算出手段によって算出されたスコアに基づいて各要素のうち対象文書の本文を含む要素を特定する特定手段と、特定手段によって特定された要素に応じた情報を出力する出力手段と、として機能させる。
【発明の効果】
【００２２】
本発明では、マイクロブログのコメントやメタデータ等を関連文書として、対象文書から抽出された要素に対して、対象文書の本文を含む度合いを示すスコアが算出されて、本文を含む要素が特定される。上記の関連文書は、同じサイトのＨＴＭＬテキスト等の本文の抽出対象となる文書とグループ化可能な文書ではない。即ち、本発明によれば、本文の抽出対象となる文書とグループ化可能な別の文書を得られない場合であっても本文を適切に抽出することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態に係る本文抽出装置の機能構成を示す図である。
【図２】本文の抽出対象の文書の例を示す図である。
【図３】対象文書から要素を抽出するために用いられる情報を示す図である。
【図４】文書分割データ記憶部に記憶される情報を示すテーブルである。
【図５】関連文書としてメタデータを用いる場合の情報を示す図である。
【図６】関連文書としてマイクロブログの情報を用いる場合の情報を示す図である。
【図７】対象文書から要素が本文を含むものか否かを判定するために生成される情報を示すテーブルである。
【図８】本発明の実施形態に係る本文抽出装置のハードウェア構成を示す図である。
【図９】本発明の実施形態に係る本文抽出装置で実行される処理（本文抽出方法）のうち、対象文書の入力に係る処理を示すフローチャートである。
【図１０】本発明の実施形態に係る本文抽出装置で実行される処理（本文抽出方法）のうち、関連文書としてメタデータを用いた場合の本文識別子を生成する処理を示すフローチャートである。
【図１１】本発明の実施形態に係る本文抽出装置で実行される処理（本文抽出方法）のうち、関連文書としてマイクロブログのコメントを用いた場合の本文識別子を生成する処理を示すフローチャートである。
【図１２】本発明の実施形態に係る本文抽出装置で実行される処理（本文抽出方法）のうち、本文を抽出する処理を示すフローチャートである。
【図１３】本発明の実施形態に係る本文抽出プログラムの構成を、記録媒体と共に示す図である。
【発明を実施するための形態】
【００２４】
以下、図面と共に本発明に係る本文抽出装置、本文抽出方法及び本文抽出プログラムについて詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００２５】
図１に本実施形態に係る本文抽出装置１０を示す。本文抽出装置１０は、本文抽出対象となる対象文書から本文を抽出する装置である。本文抽出対象となる対象文書は、例えば、インターネット上で公開されているＷｅｂコンテンツである。当該コンテンツは、例えば、表示される文字列を含む。当該コンテンツは、例えば、ＨＴＭＬによって記載されている。Ｗｅｂコンテンツには、主たる内容をなす部分である本文を含み、また、本文以外にも広告等の本文以外の文字列を多く含む。本実施形態に係る本文抽出装置１０は、本文である文字列と本文以外の文字列とが混在しうる対象文書から本文を抽出する装置である。このように抽出された本文は、例えば、上述した雑誌風なコンテンツの生成に用いられる。
【００２６】
本文抽出装置１０は、対象文書を取得（受信）できるように当該対象文書を出力する装置（例えば、Ｗｅｂサーバ）とインターネット等のネットワークを介して接続されている。また、後述するように本文の抽出には、対象文書と関連する関連文書を用いる。本文抽出装置１０は、当該関連文書を取得（受信）できるように当該関連文書を出力する装置（例えば、例えば、マイクロブログのサービスを提供するサーバ）とインターネット等のネットワークを介して接続されている。
【００２７】
図１に示すように本文抽出装置１０は、文書入力部１００と、文書記憶部１１０と、分割データ作成部１２０と、文書分割データ記憶部１３０と、メタデータ入力部１４０と、マイクロブログ入力部１５０と、マイクロブログ記憶部１６０と、本文識別子作成部１７０と、本文識別子記憶部１８０と、ノイズ判定部１９０と、本文ノイズ記憶部２００と、特徴量生成部２１０と、本文判定部２２０と、分割データ結合部２３０とを備えて構成されている。
【００２８】
文書入力部１００は、本文抽出対象となる対象文書を入力する対象文書入力手段である。文書入力部１００は、例えば、インターネット経由でＷｅｂサーバに対してＵＲＬを指定して文書を要求することで、対象文書を取得（受信）する。文書入力部１００は、予め対象文書の取得元となるサイトを記憶しておき、指定されたタイミングで当該サイトから対象文書を取得する。当該サイトや対象文書を取得するタイミングを示す情報は、本文抽出装置１０の管理者等によって予め本文抽出装置１０に入力されている。取得される対象文書は、複数であってもよい。
【００２９】
対象文書は、例えば、図２（ａ）に示すようにＨＴＭＬによって記述されたものである。図２に示すようにＨＴＭＬによって記述された文書（ＨＴＭＬ文書）には、“＜”及び“＞”によって示されるタグが含まれており、タグによって要素に区切られている。当該タグには、要素の内容等に応じて複数の種類がある。
【００３０】
文書入力部１００は、取得した対象文書にＵＲＬ（例えば、ｈｔｔｐ：／／ｘｘｘ.ｃｏｍ）を対応付けて文書記憶部１１０に入力する。文書記憶部１１０は、文書入力部１００から入力された対象文書を記憶する手段である。
【００３１】
分割データ作成部１２０は、文書入力部１００によって入力されて文書記憶部１１０によって記憶されている対象文書から、それぞれ文字列が含まれる１つ以上の要素を抽出する要素抽出手段である。分割データ作成部１２０は、本文抽出対象エリア記憶部１２１と、本文抽出対象エリア特定部１２２と、除去対象要素記憶部１２３と、要素除去部１２４と、分割対象要素記憶部１２５と、文書分割部１２６とを備えて構成される。要素の抽出は、具体的には以下のようにＨＴＭＬ文書をタグに基づいて分割することで行われる。なお、本発明における要素は、必ずしもＨＴＭＬ文書の要素と一致している必要はない。
【００３２】
本文抽出対象エリア記憶部１２１は、対象文書における本文抽出対象とする部分（要素）のタグを示すタグ情報を抽出対象として記憶しておく。このタグ情報は、本文抽出装置１０の管理者等によって予め本文抽出装置１０に入力されている。本文抽出対象エリア記憶部１２１に記憶されるタグ情報は、例えば、図３（ａ）に示す情報である。
【００３３】
本文抽出対象エリア特定部１２２は、文書記憶部１１０に記憶されている対象文書を読み出して、当該対象文書から本文の抽出対象とする本文抽出対象エリア（部分）を特定する。具体的には、本文抽出対象エリア特定部１２２は、本文抽出対象エリア記憶部１２１によって記憶されているタグ情報を読み出して、当該タグ情報によって示される要素である本文抽出対象エリアを抽出する（該当する要素のみを残す）。図２（ｂ）に、対象文書から本文抽出対象エリアとして抽出された情報（＜ｔａｒｇｅｔ＿ａ＞のタグによって示される要素）の例を示す。
【００３４】
ＨＴＭＬ文書によっては、本文が含まれる可能性が高い部分が特定のタグで示されることがある。例えば、特定の企業の広告を採用しているページは、最適な広告を出すにあたり解析してほしいテキストエリアを“ＡｄＳｅｎｓｅ”との記載を含むタグで示される要素としている（当該要素で囲っている）ことが多い。このタグで示される要素は本文が含まれる可能性が非常に高い。これにより、本文抽出の精度が向上する。本文抽出対象エリア特定部１２２は、抽出した情報を要素除去部１２４に出力する。
【００３５】
除去対象要素記憶部１２３は、対象文書における本文抽出対象から除外する部分（要素）のタグを示すタグ情報を除外対象として記憶しておく。このタグ情報は、本文抽出装置１０の管理者等によって予め本文抽出装置１０に入力されている。除去対象要素記憶部１２３に記憶されるタグ情報は、例えば、図３（ｂ）に示す情報である。例えば、本文とは関係ない＜ｓｃｒｉｐｔ＞のタグが除外対象のタグ情報とされる。
【００３６】
要素除去部１２４は、本文抽出対象エリア特定部１２２から入力された本文抽出対象エリアの情報から、本文の抽出対象としない不要な要素（部分）を除外（除去）する。具体的には、要素除去部１２４は、除去対象要素記憶部１２３によって記憶されているタグ情報を読み出して、当該タグ情報によって示される要素を本文抽出対象エリアから除外する。図２（ｃ）に、除去が行われた本文抽出対象エリアの情報（＜ｓｃｒｉｐｔ＞のタグによって示される要素が除外された情報）の例を示す。このように不要なタグによって示される要素を除去することでノイズを減らすことができる。本文抽出対象エリア特定部１２２は、上記のように除外を行った情報を文書分割部１２６に出力する。
【００３７】
分割対象要素記憶部１２５は、対象文書を分割する単位である部分（要素）のタグを示すタグ情報を記憶しておく。このタグ情報は、本文抽出装置１０の管理者等によって予め本文抽出装置１０に入力されている。分割対象要素記憶部１２５に記憶されるタグ情報は、例えば、図３（ｃ）に示す情報である。例えば、＜ｄｉｖ＞や＜ｐ＞のタグが、分割される単位であるタグ情報とされる。
【００３８】
文書分割部１２６は、要素除去部１２４から入力された本文抽出対象エリアの情報を分割する。具体的には、文書分割部１２６は、分割対象要素記憶部１２５によって記憶されているタグ情報を読み出して、当該タグ情報によって示される要素の単位で本文抽出対象エリアの情報を分割する。このように対象文書を分割することで、適切な単位で要素が本文を含むか否かを判断することができる。文書分割部１２６は、上記のように分割した情報を文書分割データ記憶部１３０に出力する。
【００３９】
なお、本文抽出対象エリア特定部１２２、要素除去部１２４及び文書分割部１２６による処理を、必ずしも全て行う必要はなく何れかを行うこととしてもよい。
【００４０】
文書分割データ記憶部１３０は、文書分割部１２６から入力された分割後の対象文書を記憶する手段である。文書分割データ記憶部１３０は、図４に示すようなテーブルに情報を格納することで情報を記憶する。図４のテーブルに示すように、文書分割データ記憶部１３０は、ＵＲＬ、パス及びテキストを対応付けて記憶する。ＵＲＬは、対象文書の取得元を示す情報である。パスは分割された要素をユニークに特定する情報である。パスは、例えば、ＸＰａｔｈの表現方法を用いて記述される。パスは、例えば、文書分割部１２６による分割時等に生成される。なお、パスは、文書内の要素をユニークに特定できる情報であればＸＰａｔｈである必要はない。
【００４１】
テキストは、本文の抽出対象の文字列を含む分割された対象文書の要素である。文書分割データ記憶部１３０に記憶される情報は、ツリー構造となっていてもよい。即ち、あるテキストが別のテキストを含む構造となっていてもよい。例えば、図４に示すｈｔｍｌ／ｂｏｄｙ／ｄｉｖ［３］のパスのテキストは、ｈｔｍｌ／ｂｏｄｙ／ｄｉｖ［３］／ｄｉｖ［１］のパスのテキストを含んでいる。なお、パスは、同一レベルに複数の同じ名前の要素が存在する場合には、識別できる必要がある。また、文書分割データ記憶部１３０は、図４に示すように複数の分割された対象文書が記憶されていてもよい。文書分割データ記憶部１３０に記憶される単位が、対象文書の本文を含むか否かの判定の単位となる。
【００４２】
メタデータ入力部１４０は、対象文書と関連する関連文書を入力する関連文書入力手段の一つである。上述したように関連文書は、対象文書から本文を抽出するために用いる情報である。メタデータ入力部１４０は、関連文書として対象文書のメタデータを入力する。メタデータは、対象文書についてのデータであり、本実施形態においては文字列を含むものである。例えば、対象文書がＨＴＭＬ文書であった場合には、メタデータは当該ＨＴＭＬ文書の概要を説明する文章のデータである。このようなメタデータは、例えば、ＨＴＭＬ文書の生成者によって用意される。メタデータは、例えば、ＨＴＭＬ文書中にｄｅｓｃｒｉｐｔｉｏｎという記載を含むタグによって示される要素である。例えば、対象文書が図５（ａ）に示すようなものである場合、要素３００の部分がメタデータに相当する。
【００４３】
メタデータ入力部１４０は、予め図５（ｂ）に示すような、対象文書からメタデータを抽出するエリアを特定するために必要なパスあるいはクエリを予め記憶している。パスあるいはクエリは、本文抽出装置１０の管理者等によって予め本文抽出装置１０に入力されている。図５（ｂ）に示す例では、ＸＰａｔｈのクエリの記述方法を用いて記載された情報であるが、メタデータを含むエリアを抽出できる記述方法であれば別の方法で記述してもよい。メタデータ入力部１４０は、文書記憶部１１０に記憶されている対象文書を読み出して、上記のパスあるいはクエリを用いてメタデータの抽出を行う。なお、メタデータは対象文書から抽出しているが、メタデータ自体が独立した対象文書と関連する関連文書とみなしうる。
【００４４】
また、メタデータ入力部１４０は、上記のようにＨＴＭＬ文書に含まれるメタデータを取得する以外にも、例えば、ＨＴＭＬ文書に付随している、図５（ｅ）に示すようなＲＳＳ（RDF site summary、rich Site summary、really simple syndication）をメタデータとして取得することとしてもよい。メタデータ入力部１４０は、取得したＲＳＳから更に特定のタグを示す要素をメタデータとして取得することとしてもよい。特定のタグは、例えば、同一ＵＲＬのアイテムを対象に記事の説明を含む要素のタグであるｄｅｓｃｒｉｐｔｉｏｎタグである。メタデータ入力部１４０は、抽出したメタデータを本文識別子作成部１７０に入力する。
【００４５】
マイクロブログ入力部１５０は、対象文書と関連する関連文書を入力する関連文書入力手段の一つである。マイクロブログ入力部１５０は、関連文書としてマイクロブログの情報を入力する。理解を容易にするため、ここではマイクロブログのツイッターの例をとって説明する。ツイッターでは、ＵＲＬを付けてそのＵＲＬに対してコメントを書くことが多い。このＵＲＬが対象文書の取得元を示すものであれば、当該ＵＲＬに対するコメントを用いて対象文書から本文を抽出することができる。
【００４６】
マイクロブログ入力部１５０は、例えば、インターネット経由でマイクロブログのサービスを提供すると共に文書を保存するサーバに対して文書の取得を要求して取得（受信）することとしてもよいし、当該サーバからストリーミングでドキュメントのデータを受信することとしてもよい。文書入力部１００は、予め関連文書の取得元となるサイトを記憶しておき、指定されたタイミングで当該サイトから対象文書を取得する。当該サイトや対象文書を取得するタイミングを示す情報は、本文抽出装置１０の管理者等によって予め本文抽出装置１０に入力されている。取得される対象文書は、複数であってもよい。
【００４７】
マイクロブログ入力部１５０は、上記のサーバから取得した文書から、対象文書のＵＲＬが含まれる文書を抽出して取得する。なお、対象文書のＵＲＬは予めマイクロブログ入力部１５０に記憶されている。即ち、マイクロブログ入力部１５０は、関連文書として対象文書を示す情報が文字列に含まれる文書（マイクロブログのコメント）を入力する。マイクロブログ入力部１５０は、入力したマイクロブログのコメントをマイクロブログ記憶部１６０に出力する。
【００４８】
マイクロブログ記憶部１６０は、マイクロブログ入力部１５０から入力されたマイクロブログのコメントを記憶する手段である。マイクロブログ記憶部１６０は、図６（ａ）に示すようなテーブルに情報を格納することで情報を記憶する。図６（ａ）のテーブルに示すように、マイクロブログ記憶部１６０は、ＵＲＬ、ＵｓｅｒＩＤ及びテキストを対応付けて記憶する。ＵＲＬは、マイクロブログのコメントに含まれる対象文書のＵＲＬを示す情報である。ＵｓｅｒＩＤは、当該コメントを投稿したユーザを特定する情報である。ＵｓｅｒＩＤは、マイクロブログ入力部１５０によるマイクロブログのコメントの取得時に合わせて取得されている。テキストは、マイクロブログのコメント本体である文字列である。
【００４９】
本文識別子作成部１７０は、メタデータあるいはマイクロブログのコメントである関連文書から文字列を抽出する文字列抽出手段である。本文識別子作成部１７０は、抽出した文字列に基づいて対象文書の本文の抽出に用いる本文識別子を作成する。図１に示すように本文識別子作成部１７０は、メタデータによる本文識別子作成部１７１と、関連コメントによる本文識別子作成部１７２とを備えて構成される。
【００５０】
メタデータによる本文識別子作成部１７１は、メタデータ入力部１４０から入力されたメタデータに対して形態素解析を行うことで、当該メタデータから形態素（単語）である文字列を抽出する。抽出された形態素は、対象文書から本文を抽出するための本文識別子として用いられる。また、メタデータによる本文識別子作成部１７１は、上記の形態素解析による得られうる形態素毎に当該形態素に対応する特徴語スコアを予め記憶しておく。このようにメタデータによる本文識別子作成部１７１は、より詳細には後述するスコア算出手段の一部である。特徴語スコアは、例えば、本文抽出装置１０の管理者等によって予め設定されて、本文抽出装置１０に入力されている。この特徴語スコアは、例えば、当該形態素が含まれる文章が対象文書の本文である度合いが高い程、高い値となるように設定される。メタデータによる本文識別子作成部１７１は、例えば、図５（ｃ）に示すテーブル（デフォルト識別子スコア辞書）に情報を格納することで形態素に対応する特徴語スコアを記憶しておく。
【００５１】
メタデータによる本文識別子作成部１７１は、メタデータに係る対象文書のＵＲＬ、得られた形態素、及び予め当該形態素に対応して記憶された特徴語スコアを関連付けて本文識別子記憶部１８０に記憶させる。本文識別子記憶部１８０は、例えば、図５（ｄ）に示すテーブルに情報を格納することで上記の情報を記憶する。
【００５２】
関連コメントによる本文識別子作成部１７２は、マイクロブログ記憶部１６０に記憶されたマイクロブログのコメントの情報を読み出す。続いて、関連コメントによる本文識別子作成部１７２は、読み出した情報のうちのテキスト（図６（ａ）のテキスト欄の情報）から、解析に利用しない、ＵＲＬ、ハッシュタグ、アットマークから始まるユーザ名等の情報を除外する（正規化処理を行う）。正規化処理が行われた情報は、例えば、図６（ｂ）に示す情報である。
【００５３】
続いて、関連コメントによる本文識別子作成部１７２は、正規化後のテキストに対して形態素解析を行うことで、当該テキストから形態素（単語）である文字列を抽出する。抽出された形態素は、対象文書から本文を抽出するための本文識別子として用いられる。続いて、関連コメントによる本文識別子作成部１７２は、形態素の出現頻度に基づいて以下のように形態素毎のスコアをＴＦＩＤＦ値として算出する。まず、対象文書（当該対象文書のＵＲＬ）及び抽出された形態素毎にＴＦ（Term Frequency）値を求める。まず、関連コメントによる本文識別子作成部１７２は、対象文書のＵＲＬに対応付けられたマイクロブログのコメントのテキストから得られた形態素を処理対象とする。続いて、形態素毎に、形態素解析により得られた当該形態素の数を、形態素解析により得られた全ての形態素の数で割ることでＴＦ値を算出する。算出されたＴＦ値は、図６（ｃ）に示すようにＵＲＬ及び形態素毎の値となる。
【００５４】
また、関連コメントによる本文識別子作成部１７２は、１ＵＲＬ（対象文書１つ）に紐付くコメント群を１ドキュメントとみなしてＩＤＦ（Inverse Document Frequency）値を算出する。ＩＤＦ値の算出には、複数の対象文書のＵＲＬに対応付けられたマイクロブログのコメントのテキストから得られた形態素を用いる。複数の対象文書は、本文抽出装置１０の管理者等によって予め設定されている。関連コメントによる本文識別子作成部１７２は、形態素毎に、総ドキュメント数（対象文書のＵＲＬの数）を、コメントが当該形態素を含むドキュメント数で割って対数を取ることでＩＤＦ値を算出する。算出されたＩＤＦ値は、図６（ｄ）に示すように形態素毎の値となる。
【００５５】
関連コメントによる本文識別子作成部１７２は、形態素毎に算出したＴＦ値とＩＤＦ値との積を取ることで、ＴＦＩＤＦ値を算出する。上記のように、関連コメントによる本文識別子作成部１７２は、１ＵＲＬ（対象文書１つ）に紐付くコメント群を１ドキュメントとみなしてＴＦＩＤＦを求める。また、ＩＤＦ値を、１ユーザに紐付くコメント群を１ドキュメントとみなして算出してＴＦＩＤＦ値を算出することとしてもよい。このＴＦＩＤＦ値は、例えば、当該形態素が特徴的な言葉である度合い、即ち、当該形態素が含まれる文章が対象文書の本文である度合いを示すものである。このように関連コメントによる本文識別子作成部１７２は、より詳細には後述するスコア算出手段の一部である。
【００５６】
関連コメントによる本文識別子作成部１７２は、コメントに係る対象文書のＵＲＬ、得られた形態素、及び算出したＴＦＩＤＦ値を関連付けて本文識別子記憶部１８０に記憶させる。本文識別子記憶部１８０は、例えば、図６（ｅ）に示すテーブルに情報を格納することで上記の情報を記憶する。
【００５７】
ノイズ判定部１９０は、対象文書に含まれるノイズを判定するための情報を取得するための手段である。例えば、本実施形態では、ＨＴＭＬ文書の構造を活用したノイズの判定を行う。ウェブページでは、広告であったり、他サイトへのリンク集であったり、他の文書（関連するウェブページ）へのリンクが連鎖する場合、つまりリンクリストである場合には本文とは関係がないノイズである可能性が高い。リンクリストを含む要素（ＨＴＭＬタグ）を本文抽出対象外、あるいは本文である可能性が低いものとして判断することで、本文抽出の精度を向上する。
【００５８】
具体的には、ノイズ判定部１９０は、文書分割データ記憶部１３０によって記憶されている対象文書の要素を取得する。ノイズ判定部１９０は、要素のテキストのなかにリンクを示す＜ａ＞タグが含まれるか否かを判断する。ノイズ判定部１９０は、要素毎に＜ａ＞タグが含まれている数（リンクの数）をノイズに係る情報として取得する。また、ノイズ判定部１９０は、要素毎に＜ａ＞タグに含まれる文字列の長さと＜ａ＞タグに含まれない文字列の長さとの比の値を算出してノイズに係る情報として取得する。
【００５９】
ノイズ判定部１９０は、取得したノイズに係る情報を本文ノイズ記憶部２００に記憶させる。ノイズに係る情報は、後述する機械学習における特徴量として利用される（チューニングポイントが設けられる）。このようにノイズ判定部１９０は、より詳細には後述する特徴量生成手段の一部である。
【００６０】
特徴量生成部２１０は、文書分割データ記憶部１３０によって記憶されている対象文書の要素について当該要素が対象文書を含むか否かを判断するための情報を生成する手段である。
【００６１】
特徴量生成部２１０は、本文識別子作成部１７０によって関連文書から抽出された形態素が上記の要素に含まれているか否かを判断し、含まれていると判断した場合に当該要素について当該要素が対象文書の本文を含む度合いを示すスコアを増加させることでスコアを算出するスコア算出手段である。
【００６２】
特徴量生成部２１０は、文書分割データ記憶部１３０によって記憶されている対象文書の要素を取得する。また、本文識別子記憶部１８０に記憶されている本文を抽出するための情報（例えば、図５（ｄ）、図６（ｅ）に示す情報）を取得する。ここで取得される本文を抽出するための情報は、対象文書の要素と同一のＵＲＬに係る情報である。特徴量生成部２１０は、本文識別子記憶部１８０に記憶されている形態素が対象文書の要素に含まれているか否かを判断する。特徴量生成部２１０は、本文識別子記憶部１８０に記憶されている形態素が対象文書の要素に含まれていると判断すると、当該形態素に対応付けられたスコア（特徴語スコア又はＴＦＩＤＦ値）を当該要素に対して合算して合計スコアを算出する。なお、各要素の合計スコアの初期値は、例えばゼロにする。
【００６３】
例えば、対象文書のＵＲＬについて「今日」、「天気」、「晴れ」という形態素に対してそれぞれ０．１、１．０、４．０というスコアが本文識別子記憶部１８０に記憶されていた場合、「今日の天気＜ｐ＞晴れ＜ｐ＞」という要素の合計スコアは０．１＋１．０＋４．０＝５．１となる。
【００６４】
要素毎のスコアは、メタデータによるスコア、マイクロブログのコメントによるスコアとそれぞれ分けることとしてもよい。算出される要素（パス）毎の合計スコアは、例えば、図７（ａ）に示すような情報として取得される。特徴量生成部２１０は、生成した合計スコアを示す情報を本文判定部２２０に入力する。
【００６５】
本文の判定に機械学習を用いる場合には、特徴量生成部２１０は、更に機械学習に必要となる特徴量を生成（取得する）する。例えば、特徴量生成部２１０は、ノイズ判定部１９０によって生成され本文ノイズ記憶部２００に記憶された要素毎のノイズに係る情報を取得して特徴量とする。
【００６６】
あるいは、特徴量生成部２１０は、対象文書の要素に含まれる文字列における、句読点の数又は文字列の長さに基づいて、当該要素の特徴量を生成する。具体的には、特徴量生成部２１０は、当該要素に含まれる文字列から句読点の数、及び文字列の長さを特定して、その数あるいは長さの情報を各要素の特徴量とする。要素毎の特徴量は、例えば、図７（ｂ）に示すような情報として取得される。図７（ｂ）に示す特徴量の「１：０．７、２：１、３：３、…」との記載は、１つ目の特徴量（素性）の値が０．７、２つ目の特徴量（素性）の値が１、３つ目の特徴量（素性）の値が３であることを示している。なお、特徴量には上記の合計スコアが含まれている。上記のように特徴量生成部２１０は、特徴量生成手段でもある。
【００６７】
本文判定部２２０は、特徴量生成部２１０から入力された要素毎の合計スコアに基づいて、各要素のうち対象文書の本文を含む要素を判定することで特定する特定手段である。例えば、本文判定部２２０は、閾値を記憶しておき、合計スコアが閾値を超える要素を、本文を含む要素として判定する。なお、閾値は、本文抽出装置１０の管理者等によって予め設定されて、本文抽出装置１０に入力されている。例えば、合計スコアが図７（ａ）に示す例であり、閾値が３．５であった場合には、パスが、ｈｔｍｌ／ｂｏｄｙ／ｄｉｖ［３］／ｄｉｖ［１］及びｈｔｍｌ／ｂｏｄｙ／ｄｉｖ［３］／ｄｉｖ［１］／ｐ［１］の要素を、本文を含む要素として判定する。
【００６８】
本文判定部２２０は、特徴量生成部２１０から入力された要素毎の合計スコアを含む特徴量に基づく機械学習によって、各要素のうち対象文書の本文を含む要素を判定することとしてもよい。本文判定部２２０は、各要素の特徴量を機械学習における説明変数とし、当該要素が本文か否かを示す値を機械学習における目的変数として、機械学習によって得られた学習モデル（機械学習器）を用いて上記の判定を行う。なお、機械学習を用いる場合には、予め本文がどこに含まれるか予めわかっている文書を準備し、それを用いて予め学習を行わせておく。
【００６９】
上記の学習モデルは、例えば、対象文書の本文を示す度合いを示す値を要素毎に出力するものとし、その値が０以上の場合には当該要素が本文を含むものと判定し、その値が０未満の場合には当該要素が本文を含まないものと判定する。機械学習の手法としては、例えば、サポートベクターマシン（ＳＶＭ）やニューラルネットワークといった教師あり機械学習を用いることができる。
【００７０】
本文判定部２２０は、対象文書毎に本文を含む（本文である）と判定された要素を分割データ結合部２３０に入力する。
【００７１】
分割データ結合部２３０は、本文判定部２２０から入力された要素に応じた情報を出力する出力手段である。分割データ結合部２３０は、本文判定部２２０から入力された要素の文字列（テキスト）を対象文書毎に結合する。なお、ツリー構造の要素のうち、含まれる文字列が重複する要素が本文と判定された場合にはそのうち最上位の要素のみを結合対象の要素としてもよい。分割データ結合部２３０は、本文抽出装置１０に接続された他の装置に結合された文字列（テキスト）を対象文書の本文として送信する等して出力する。具体的には、対象文書の本文として「今日の天気晴れ、気温は３０度の晴れ」といった文字列を出力する。このように本文抽出装置１０によって抽出されて出力された本文である文字列は、例えば、上述した雑誌風なコンテンツの生成に用いられる。以上が、本文抽出装置１０の機能構成である。
【００７２】
図８に本文抽出装置１０のハードウェア構成を示す。図８に示すように本文抽出装置１０は、ＣＰＵ（Central Processing Unit）１００１、主記憶装置であるＲＡＭ（RandomAccess Memory）１００２及びＲＯＭ（Read Only Memory）１００３、通信を行うための通信モジュール１００４、並びにハードディスク等の補助記憶装置１００５等のハードウェアを備えるコンピュータを含むものとして構成される。これらの構成要素がプログラム等により動作することにより、上述した本文抽出装置１０の機能が発揮される。以上が、本文抽出装置１０の構成である。
【００７３】
引き続いて、図９〜１２のフローチャートを用いて、本実施形態に係る本文抽出装置１０で実行される処理である本文抽出方法を説明する。図９に示すように、本処理では、まず、文書入力部１００によって、対象文書が取得されて本文抽出装置１０に入力され、文書記憶部１１０に記憶される（Ｓ０１、対象文書入力ステップ）。
【００７４】
続いて、分割データ作成部１２０によって、文書記憶部１１０に記憶された対象文書から、本文が含まれるか否かの判定対象となる要素が抽出される（Ｓ０２〜Ｓ０５、要素抽出ステップ）。具体的には、以下のように行われる。まず、本文抽出対象エリア特定部１２２によって、本文抽出対象エリア記憶部１２１に記憶されている情報に基づいて、対象文書から本文抽出対象エリアが特定される（本文抽出対象エリアが絞り込まれる）（Ｓ０２）。
【００７５】
続いて、要素除去部１２４によって、除去対象要素記憶部１２３に記憶されている情報に基づいて、本文抽出対象エリアから、本文の抽出対象としない不要な要素が除外される（Ｓ０３）。続いて、文書分割部１２６によって、分割対象要素記憶部１２５に記憶された情報に基づいて、本文抽出対象エリアが分割される（Ｓ０４）。分割された要素の情報が、文書分割データ記憶部１３０に記憶される（Ｓ０５）。以上が、図９に示す対象文書に係る処理である。
【００７６】
本文抽出装置１０では、上記の対象文書に係る処理の一方で、図１０及び図１１に示すような関連文書に係る処理も行われる、図１０に示す処理は、関連文書としてメタデータを用いた場合の処理である。本処理は、図９に示す対象文書に係る処理（少なくともＳ０１の処理）が行われた後に行われる。
【００７７】
本処理では、まず、メタデータ入力部１４０によって、メタデータを抽出するためのクエリが読み出される（Ｓ１１、関連文書入力ステップ）。続いて、メタデータ入力部１４０によって、文書記憶部１１０に記憶された対象文書が読み出される（Ｓ１２、関連文書入力ステップ）。続いて、続いて、メタデータ入力部１４０によって、上記のクエリが用いられて対象文書からメタデータ対象エリア（メタデータ）が抽出される（Ｓ１３、関連文書入力ステップ）。
【００７８】
続いて、メタデータによる本文識別子作成部１７１によって、メタデータ入力部１４０によって抽出されたメタデータに対して形態素解析が行われて形態素が抽出される（Ｓ１４、文字列抽出ステップ）。続いて、メタデータによる本文識別子作成部１７１によって、デフォルト識別子スコア辞書が参照されて、抽出された形態素に特徴語スコアが対応付けられる（Ｓ１５、文字列抽出ステップ）。得られた形態素及び特徴語スコアは、本文識別子記憶部１８０に記憶される（Ｓ１６、文字列抽出ステップ）。以上が、図１０に示す関連文書としてメタデータを用いた場合の処理である。
【００７９】
続いて、図１１に示す、関連文書としてマイクロブログのコメントを用いた場合の処理を説明する。本処理は、図９に示す対象文書に係る処理とは、互いに独立に行われうる。また、図１０に示す処理と、図１１に示す処理とは何れか一方のみが行われればよい。本処理では、まず、マイクロブログ入力部１５０によって、対象文書のＵＲＬが含まれるマイクロブログのコメントが取得されて本文抽出装置１０に入力され、マイクロブログ記憶部１６０に記憶される（Ｓ２１、関連文書入力ステップ）。
【００８０】
続いて、関連コメントによる本文識別子作成部１７２によって、マイクロブログ記憶部１６０に記憶されたマイクロブログのコメントの情報が読み出される。続いて、読み出された情報のうちのテキストから、解析に利用しない、ＵＲＬ、ハッシュタグ、アットマークから始まるユーザ名等の情報が除外される（正規化処理が行われる）（Ｓ２２）。続いて、関連コメントによる本文識別子作成部１７２によって、正規化処理が行われたテキストに対して形態素解析が行われて形態素が抽出される（Ｓ２３、文字列抽出ステップ）。
【００８１】
続いて、関連コメントによる本文識別子作成部１７２によって、対象文書のＵＲＬ及び抽出された形態素毎にＴＦ値が算出される（Ｓ２４、文字列抽出ステップ）。また、抽出された形態素毎にＩＤＦ値が算出される（Ｓ２５、文字列抽出ステップ）。続いて、算出されたＴＦ値とＩＤＦ値とから、対象文書のＵＲＬ及び抽出された形態素毎にＴＦＩＤＦ値が算出される。得られた形態素及びＴＦＩＤＦ値は、本文識別子記憶部１８０に記憶される（Ｓ２６、文字列抽出ステップ）。以上が、図１１に示す関連文書としてメタデータを用いた場合の処理である。
【００８２】
続いて、図１２に示す、上記のように生成した情報に基づいて本文を抽出する処理を説明する。本処理では、まず、特徴量生成部２１０によって、文書分割データ記憶部１３０に記憶されている対象文書の各要素が、本文識別子記憶部１８０に当該対象文書に対応付けられて記憶されている形態素を含むか否かが判断される。続いて、特徴量生成部２１０によって、当該判断に基づいて要素の合計スコアが算出される（Ｓ３１、スコア算出ステップ）。この合計スコアは、特徴量の一つとされる。
【００８３】
また、機械学習によって本文の判定が行われる場合には、スコア以外の特徴量が求められる（Ｓ３２、特徴量生成ステップ）。この特徴量は、例えば、ノイズ判定部１９０によって対象文書の各要素のリンクの数に基づいて算出される。算出された、本文ノイズ記憶部２００に記憶されて特徴量生成部２１０によって取得される。また、特徴量生成部２１０によって、当該要素に含まれる文字列の句読点の数、及び文字列の長さから特徴量が生成されてもよい。特徴量生成部２１０によって生成された要素毎の特徴量を示す情報は本文判定部２２０に入力される。
【００８４】
続いて、本文判定部２２０によって、要素毎に特徴量に基づいて、当該要素に対象文書の要素を含むか否かの判定が行われる（Ｓ３３、特定ステップ）。この判定は、上述したように合計スコアと閾値との比較、あるいは機械学習によって得られた学習モデルに基づいて行われる。本文を含むと判定された要素の情報は、本文判定部２２０から分割データ結合部２３０に入力される。続いて、分割データ結合部２３０によって、要素の文字列が結合されて、対象文書の本文を示す情報として出力される（Ｓ３４、出力ステップ）。以上が、本実施形態に係る本文抽出装置１０で実行される処理である本文抽出方法である。
【００８５】
インターネット上のコンテンツに対するマイクロブログのコメントは、当該コンテンツの本文に係る記載がなされていることが多い。このコメントを用いることで、そのコンテンツが何について記載されているかを把握することが可能である。また、解析対象の文書のメタデータも同様に文書の内容を示しているものがある。本実施形態においては、マイクロブログのコメントやメタデータ等を関連文書として、対象文書から抽出された要素に対して、対象文書の本文を含む度合いを示すスコアが算出されて、本文を含む要素が特定される。上記の関連文書は、同じサイトのＨＴＭＬテキスト等の対象文書とグループ化可能な文書ではない。即ち、本実施形態によれば、本文の抽出対象となる文書とグループ化可能な別の文書を得られない場合であっても本文を適切に抽出することができる。
【００８６】
なお、本実施形態では、関連文書に出現している文字列が出ている場合にスコアを高くしており、出現頻度が低いほど本文である可能性が高いとみなす特許文献１に記載された方法とは根本的に手法が異なっている。
【００８７】
また、本実施形態のようにタグを用いて要素を抽出することとすれば、対象文書がＨＴＭＬによる文書である場合等に適切に要素を抽出することができる。また、本実施形態のように本文の抽出対象から要素を除外することとすれば、予め本文が含まれないと考えられる要素を解析対象とすることができ、効率的かつ適切に本発明を実施することができる。
【００８８】
また、本実施形態のように形態素解析により関連文書から文字列を抽出することとすれば、適切に関連文書から文字列を抽出することができ、適切に本発明を実施することができる。また、上述した方法によれば、メタデータあるいはマイクロブログのコメントを関連文書として用いた場合、それぞれに適切に本発明を実施することができる。
【００８９】
また、機械学習によって本文を判断することとすれば適切に本文を判断することができる。この場合、対象文書に含まれるリンクや句読点の数又は文字列の長さに基づいて特徴量を生成することで、適切に本文を判断することができる。
【００９０】
引き続いて、上述した一連の本文抽出装置１０による処理をコンピュータに実行させるための本文抽出プログラムを説明する。図１３に示すように、本文抽出プログラム４０は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える記録媒体３０に形成されたプログラム格納領域３１内に格納される。
【００９１】
本文抽出プログラム４０は、文書入力モジュール４００と、文書記憶モジュール４１０と、分割データ作成モジュール４２０と、文書分割データ記憶モジュール４３０と、メタデータ入力モジュール４４０と、マイクロブログ入力モジュール４５０と、マイクロブログ記憶モジュール４６０と、本文識別子作成モジュール４７０と、本文識別子記憶モジュール４８０と、ノイズ判定モジュール４９０と、本文ノイズ記憶モジュール５００と、特徴量生成モジュール５１０と、本文判定モジュール５２０と、分割データ結合モジュール５３０とを備えて構成される。文書入力モジュール４００と、文書記憶モジュール４１０と、分割データ作成モジュール４２０と、文書分割データ記憶モジュール４３０と、メタデータ入力モジュール４４０と、マイクロブログ入力モジュール４５０と、マイクロブログ記憶モジュール４６０と、本文識別子作成モジュール４７０と、本文識別子記憶モジュール４８０と、ノイズ判定モジュール４９０と、本文ノイズ記憶モジュール５００と、特徴量生成モジュール５１０と、本文判定モジュール５２０と、分割データ結合モジュール５３０とを実行させることにより実現される機能は、上述した本文抽出装置１０の文書入力部１００と、文書記憶部１１０と、分割データ作成部１２０と、文書分割データ記憶部１３０と、メタデータ入力部１４０と、マイクロブログ入力部１５０と、マイクロブログ記憶部１６０と、本文識別子作成部１７０と、本文識別子記憶部１８０と、ノイズ判定部１９０と、本文ノイズ記憶部２００と、特徴量生成部２１０と、本文判定部２２０と、分割データ結合部２３０との機能とそれぞれ同様である。
【００９２】
なお、本文抽出プログラム４０は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、本文抽出プログラム４０の各モジュールは、１つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムよって上述した一連の本文抽出プログラム４０の処理が行われる。
【符号の説明】
【００９３】
１０…本文抽出装置、１００…文書入力部、１１０…文書記憶部、１２０…分割データ作成部、１２１…本文抽出対象エリア記憶部、１２２…本文抽出対象エリア特定部、１２３…除去対象要素記憶部、１２４…要素除去部、１２５…分割対象要素記憶部、１２６…文書分割部、１３０…文書分割データ記憶部、１４０…メタデータ入力部、１５０…マイクロブログ入力部、１６０…マイクロブログ記憶部、１７０…本文識別子作成部、１７１…メタデータによる本文識別子作成部、１７２…関連コメントによる本文識別子作成部、１８０…本文識別子記憶部、１９０…ノイズ判定部、２００…本文ノイズ記憶部、２１０…特徴量生成部、２２０…本文判定部、２３０…分割データ結合部、１００１…ＣＰＵ、１００２…ＲＡＭ、１００３…ＲＯＭ、１００４…通信モジュール、１００５…補助記憶装置、３０…記録媒体、３１…プログラム格納領域、４０…本文抽出プログラム、４００…文書入力モジュール、４１０…文書記憶モジュール、４２０…分割データ作成モジュール、４３０…文書分割データ記憶モジュール、４４０…メタデータ入力モジュール、４５０…マイクロブログ入力モジュール、４６０…マイクロブログ記憶モジュール、４７０…本文識別子作成モジュール、４８０…本文識別子記憶モジュール、４９０…ノイズ判定モジュール、５００…本文ノイズ記憶モジュール、５１０…特徴量生成モジュール、５２０…本文判定モジュール、５３０…分割データ結合モジュール。
【図１】
2014142769.tif 000003
【図２】
2014142769.tif 000004
【図３】
2014142769.tif 000005
【図４】
2014142769.tif 000006
【図５】
2014142769.tif 000007
【図６】
2014142769.tif 000008
【図７】
2014142769.tif 000009
【図８】
2014142769.tif 000010
【図９】
2014142769.tif 000011
【図１０】
2014142769.tif 000012
【図１１】
2014142769.tif 000013
【図１２】
2014142769.tif 000014
【図１３】
2014142769.tif 000015