(57)【要約】【課題】他の文書からの引用を含み、他の文書に対する所感が書かれている文書から所感部分だけを抽出する。【解決手段】原典文書ＤＢ１５と、引用終端表現辞書ＤＢ１６と、入力文書と原典文書ＤＢ１５に蓄積されている原典文書とを照合し、原典文書からの引用を含む入力文書を検出して、その検出した入力文書と、その検出した入力文書中の引用開始位置及び引用終了位置とを出力する引用検出部１２と、引用検出部１２が出力する入力文書、引用開始位置及び引用終了位置を取得し、引用開始位置及び引用終了位置を基に入力文書から引用部分以外の文字列を抽出し、その抽出した文字列と引用終端表現辞書ＤＢ１６に格納されている引用終端表現辞書とを照合し、抽出した文字列に引用終端表現が含まれている場合にはその引用終端表現より後の文字列を所感文章として抽出する所感抽出部１３とを具備する。【選択図】図２
2011237977.tif 000002
【特許請求の範囲】
【請求項１】
原典文書が蓄積されている原典文書ＤＢと、
引用終端表現辞書が格納されている引用終端表現辞書ＤＢと、
入力された入力文書と前記原典文書ＤＢに蓄積されている原典文書とを照合し、原典文書からの引用を含む入力文書を検出して、その検出した入力文書と、その検出した入力文書中の引用開始位置及び引用終了位置とを出力する引用検出部と、
前記引用検出部が出力する入力文書、引用開始位置及び引用終了位置を取得し、引用開始位置及び引用終了位置を基に入力文書から引用部分以外の文字列を抽出し、その抽出した文字列と前記引用終端表現辞書ＤＢに格納されている引用終端表現辞書とを照合し、抽出した文字列に引用終端表現が含まれている場合にはその引用終端表現より後の文字列を所感文章として抽出する所感抽出部と、
を具備することを特徴とする所感抽出装置。
【請求項２】
入力された入力文書と原典文書ＤＢに蓄積されている原典文書とを照合し、原典文書からの引用を含む入力文書を検出する過程と、
前記検出した入力文書と、その検出した入力文書中の引用開始位置及び引用終了位置とを基に入力文書から引用部分以外の文字列を抽出する過程と、
前記抽出した文字列と引用終端表現辞書ＤＢに格納されている引用終端表現辞書とを照合し、抽出した文字列に引用終端表現が含まれている場合にその引用終端表現より後の文字列を所感文章として抽出する過程と、
を有することを特徴とする所感抽出方法。
【請求項３】
入力された入力文書と原典文書ＤＢに蓄積されている原典文書とを照合し、原典文書からの引用を含む入力文書を検出する手順と、
前記検出した入力文書と、その検出した入力文書中の引用開始位置及び引用終了位置とを基に入力文書から引用部分以外の文字列を抽出する手順と、
前記抽出した文字列と引用終端表現辞書ＤＢに格納されている引用終端表現辞書とを照合し、抽出した文字列に引用終端表現が含まれている場合にその引用終端表現より後の文字列を所感文章として抽出する手順と、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はブログやレビュー記事などのテキストデータから、他の文書に対する所感を記載している部分を抽出する所感抽出装置、所感抽出方法及びプログラムに関する。
【背景技術】
【０００２】
文書から評判情報を抽出する技術が特許文献１に記載されている。特許文献１では文書が蓄積されているＤＢ（データベース）から所定語句に関する評判情報を抽出し、抽出した評判情報が第三者が評価した評判情報であるかどうかを判定するものとなっており、この判定により例えば当事者が宣伝のために記述した評判情報を排除し、第三者的な立場で評価された評判情報を抽出するものとなっている。
【０００３】
抽出した評判情報が第三者によって評価された評判情報であるかどうかの判定は、抽出した評判情報が口語表現や否定評価表現を含んでいるか否かを調べることによって行われ、口語表現や否定評価表現を含んでいれば、第三者が評価した評判情報であると判定するものとなっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３３１２４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかるに、特許文献１に記載されている技術はユーザが入力した特定語句を対象として評判情報を抽出するものであり、よってニュース記事やコラム等の文章に対する所感を抽出することはできなかった。
【０００６】
また、特定語句に関する文書から意見性の高い（第三者による評価がなされたと判断できる度合いが高い）文を文単位で抽出するものであるため、所感のような複数文から構成されるまとまった文章を抽出することはできなかった。
【０００７】
従って、特許文献１に記載されている技術では、例えば図１に示した文書Ａのように、ニュース記事を引用し、それに対する所感が書かれている文書から所感部分だけを抽出するといったことはできなかった。
【０００８】
この発明の目的はこの問題に鑑み、他の文書からの引用を含み、他の文書に対する所感が書かれている文書から所感部分だけを抽出することができるようにした所感抽出装置及び方法を提供することにある。
【課題を解決するための手段】
【０００９】
この発明によれば、所感抽出装置は、原典文書が蓄積されている原典文書ＤＢと、引用終端表現辞書が格納されている引用終端表現辞書ＤＢと、入力された入力文書と原典文書ＤＢに蓄積されている原典文書とを照合し、原典文書からの引用を含む入力文書を検出して、その検出した入力文書と、その検出した入力文書中の引用開始位置及び引用終了位置とを出力する引用検出部と、引用検出部が出力する入力文書、引用開始位置及び引用終了位置を取得し、引用開始位置及び引用終了位置を基に入力文書から引用部分以外の文字列を抽出し、その抽出した文字列と引用終端表現辞書ＤＢに格納されている引用終端表現辞書とを照合し、抽出した文字列に引用終端表現が含まれている場合にはその引用終端表現より後の文字列を所感文章として抽出する所感抽出部とを具備する。
【００１０】
この発明による所感抽出方法は、入力された入力文書と原典文書ＤＢに蓄積されている原典文書とを照合し、原典文書からの引用を含む入力文書を検出する過程と、検出した入力文書とその検出した入力文書中の引用開始位置及び引用終了位置とを基に入力文書から引用部分以外の文字列を抽出する過程と、抽出した文字列と引用終端表現辞書ＤＢに格納されている引用終端表現辞書とを照合し、抽出した文字列に引用終端表現が含まれている場合にその引用終端表現より後の文字列を所感文章として抽出する過程とを有する。
【発明の効果】
【００１１】
この発明によれば、他の文書からの引用を含み、他の文書に対する所感が書かれている文書から所感部分だけを抽出することができる。また、所感文章の抽出に際し、引用終端表現を検出する手法を導入したことにより、例えば引用部分（引用された文章）に改変があって引用部分の検出を誤った場合においても所感文章だけを正しく抽出することができる。
【図面の簡単な説明】
【００１２】
【図１】他の文書からの引用を含み、他の文書に対する所感が書かれている文書の一例を示す図。
【図２】この発明による所感抽出装置の一実施例の機能構成を示すブロック図。
【図３】図２における引用検出部の具体的処理を示すフローチャート。
【図４】図２における所感抽出部の具体的処理を示すフローチャート。
【図５】この発明による所感抽出処理の具体例を説明するための図。
【図６】この発明による所感抽出処理の具体例を説明するための図。
【図７】他の文書からの引用を含み、他の文書に対する所感が書かれている文書の文章構成を説明するための図。
【発明を実施するための形態】
【００１３】
この発明の実施形態を図面を参照して実施例により説明する。
【００１４】
図２はこの発明による所感抽出装置の一実施例の機能構成を示したものであり、この例では所感抽出装置は文書入力部１１と引用検出部１２と所感抽出部１３と所感抽出結果記憶部１４と原典文書ＤＢ１５と引用終端表現辞書ＤＢ１６とによって構成されている。
【００１５】
原典文書ＤＢ１５には引用元になりやすい各種原典文書が蓄積されている。原典文書としては例えばニュースサイト、プレスリリース、Wikipedia等があげられる。原典文書ＤＢ１５は事前にこのような引用元の候補となる原典文書が収集されて構築される。
【００１６】
引用終端表現辞書ＤＢ１６には引用終端表現辞書が格納されている。引用終端表現辞書は引用終了位置に通常、記載される引用終端表現をルールベースで列挙して辞書化したものであり、事前に作成される。引用終端表現としては、例えば、
（○○ニュースより引用）
（××スポーツより引用）
××新聞配信
［引用元  △△スポーツ］
Ｆｒｏｍ  ××Ｎｅｗｓ
２０１０−０３−１７  ○○新聞
やＵＲＬ等があげられ、引用終端表現辞書にはこのような引用終了位置以降に出現しやすい引用終端表現の文字列のパターンがルールベースで列挙されて収集されている。なお、引用終端表現辞書は大量のコーパスからの学習によって作成するようにしてもよい。
【００１７】
所感抽出対象文書は文書入力部１１より入力される。
【００１８】
引用検出部１２は文書入力部１１より入力された入力文書と原典文書ＤＢ１５に蓄積されている原典文書とを照合し、入力文書に原典文書からの引用が含まれていないかを判定する。この照合・判定には例えば下記文献１や文献２に記載されている方法を用いることができる。
【００１９】
文献１：櫻井他，“順序保存ダイジェスト法によるＷｅｂページ間の部分複製検出”，日本データベース学会論文誌，Vol.８，No.１，2009
文献２：Needleman, S.B., Wunsch, C.D.,“A general method applicable to the search for similarities in the amino acid sequence of two proteins.”,J.Mol.Biol., Vol.48, pp.443-453, 1970
…http://www.daimi.au.dk/〜cstorm/courses/BioSys
AlgBio Nov2006/papers/Needleman Wunsch Similarity.pdf
【００２０】
なお、入力文書に原典文書からの引用が含まれていないかの照合・判定には、これら文献１や文献２に記載されている方法に限らず、他の公知の方法を用いてもよい。
【００２１】
引用検出部１２は原典文書からの引用を含む入力文書を検出すると、その検出した入力文書と、その検出した入力文書中の引用開始位置及び引用終了位置を少なくとも出力する。
【００２２】
所感抽出部１３は引用検出部１２が出力する入力文書、引用開始位置及び引用終了位置を取得し、引用開始位置及び引用終了位置を基に入力文書から引用部分以外の文字列を抽出する。そして、抽出した文字列と引用終端表現辞書ＤＢ１６に格納されている引用終端表現辞書とを照合し、抽出した文字列に引用終端表現が含まれている場合にはその引用終端表現より後の文字列を所感文章として抽出する。
【００２３】
所感抽出部１３によって抽出された所感文章はこの例では所感抽出結果記憶部１４に記憶される。
【００２４】
図３及び図４は上記のような構成を有する所感抽出装置における引用検出部１２及び所感抽出部１３の具体的処理フローの一例をそれぞれ示したものであり、以下、図３及び図４を参照して引用検出部１２及び所感抽出部１３の具体的処理フローを説明する。
【００２５】
この例では引用検出部１２には文書入力部１１を介して入力文書ＩＤと入力文書本文が入力される（ステップＳ１）。引用検出部１２は入力文書を原典文書ＤＢ１５に蓄積されている原典文書と照合し（ステップＳ２）、入力文書に原典文書からの引用が含まれているか否かを判定する（ステップＳ３）。そして、入力文書に原典文書からの引用が含まれていた場合には入力文書ＩＤ、入力文書本文、引用元文書ＩＤ、引用開始位置及び引用終了位置を出力する（ステップＳ４）。なお、入力文書に原典文書からの引用が含まれていなかった場合には引用検出部１２は何も出力することなく、処理を終了する。
【００２６】
所感抽出部１３には入力文書に原典文書からの引用が含まれていた場合に、引用検出部１２から入力文書ＩＤ、入力文書本文、引用元文書ＩＤ、引用開始位置及び引用終了位置が入力される（ステップＳ５）。所感抽出部１３は引用開始位置及び引用終了位置を基に、入力文書から引用部分以外の文字列を抽出する（ステップＳ６）。そして、抽出した文字列を引用終端表現辞書ＤＢ１６に格納されている引用終端表現辞書と照合し（ステップＳ７）、抽出した文字列に引用終端表現が含まれているか否かを判定する（ステップＳ８）。
【００２７】
抽出した文字列に引用終端表現が含まれていた場合には引用終端表現より後の文字列を所感文章とし（ステップＳ９）、この例では入力文章ＩＤ、入力文書本文、引用元文書ＩＤ及び所感文章を出力する（ステップＳ１１）。一方、抽出した文字列に引用終端表現が含まれていなかった場合は抽出した文字列を所感文章とし（ステップＳ１０）、入力文章ＩＤ、入力文書本文、引用元文書ＩＤ及び所感文章を出力する（ステップＳ１１）。
【００２８】
以下、具体的文書を基に、上述した処理の具体例を説明する。
【００２９】
今、文書入力部１１より入力された入力文書が前述の図１に示した文書Ａ（入力文書ＩＤ：Ａ）であるとする。図５（１）はこの文書Ａを示す。一方、原典文書ＤＢ１５には図５（ａ）に示したようなニュース記事（文書ＩＤ：Ｘ）が原典文書として蓄積されているものとする。
【００３０】
図５（１）に示した入力文書には原典文書であるニュース記事（文書ＩＤ：Ｘ）からの引用が含まれているため、引用検出部１２によって図５（２）に示したように引用部分が検出され、引用開始位置：ｉと引用終了位置：ｊが特定される。この時、引用元文書ＩＤはＸとなる。
【００３１】
なお、図５（ａ）に示したニュース記事の第３文の冒頭は「Ｔは昨年」であるのに対し、入力文書の第３文の冒頭は「Ｔは…」であり、文章に改変があるため、この例では第３文は引用と判定されず、第２文の終了位置が引用終了位置：ｊと特定された状態を示している。従来の引用検出技術では文章に多少であっても改変があると、引用と判定することができないため、このように引用終了位置を間違えてしまうことが起こりうる。
【００３２】
図５（３）は引用開始位置：ｉ及び引用終了位置：ｊを基に、図５（２）に示した入力文書から所感抽出部１３によって抽出された引用部分以外の文字列を示したものである。この例では入力文書に１つの原典文書からの引用しか含まれていないため、引用終了位置：ｊから文書末尾までの文字列が抽出されている。
【００３３】
抽出された文字列には引用終端表現辞書ＤＢ１６に格納されている引用終端表現辞書に収集されている引用終端表現“（○○ニュースより引用）”が含まれており、この引用終端表現“（○○ニュースより引用）”が所感抽出部１３によって検出される。
【００３４】
所感抽出部１３は引用終端表現を検出したため、この検出した引用終端表現より後の文字列を所感文章として抽出する。図５（４）はこのようにして入力文書より抽出された所感文章を示したものであり、所感開始位置：ｉ’と所感終了位置：ｊ’が特定される。なお、図４に示した所感抽出部１３の処理フローのステップＳ１１では所感抽出部１３は入力文書ＩＤ、入力文書本文、引用元文書ＩＤ及び所感文章を出力するものとしているが、これらに加え、所感開始位置ｉ’及び所感終了位置ｊ’も出力するようにしてもよい。
【００３５】
次に、１つの入力文書に複数の原典文書からの引用が含まれている場合の処理の具体例を具体的文書を用いて説明する。
【００３６】
文書入力部１１より入力された入力文書が図６（１）に示したような文書（入力文書ＩＤ：Ｂ）であるとする。また、原典文書ＤＢ１５には図６（ａ）に示したような２つのニュース記事（文書ＩＤ：Ｘ及び文書ＩＤ：Ｙ）がそれぞれ原典文書として蓄積されているものとする。
【００３７】
図６（１）に示した入力文書には２つのニュース記事（文書ＩＤ：Ｘ及び文書ＩＤ：Ｙ）からの引用が含まれているため、引用検出部１２によって図６（２）に示したように２つの引用部分が検出される。１つ目の引用部分の引用元文書ＩＤ−１はＸとなり、引用開始位置−１：ｉと引用終了位置−１：ｊが特定される。また、２つ目の引用部分の引用元文書ＩＤ−２はＹとなり、引用開始位置−２：ｍと引用終了位置−２：ｎが特定される。
【００３８】
図６（３）は特定された引用開始位置−１：ｉ、引用終了位置−１：ｊ及び引用開始位置−２：ｍ、引用終了位置−２：ｎを基に、図６（２）に示した入力文書から所感抽出部１３によって抽出された引用部分以外の文字列を示したものである。この例では入力文書に２つの原典文書からの引用が含まれているため、１つ目の引用部分の引用終了位置−１：ｊから２つ目の引用部分の引用開始位置−２：ｍまでの文字列と、２つ目の引用部分の引用終了位置−２：ｎから文書末尾までの文字列が図６（３）に示したように抽出される。
【００３９】
抽出された２組の文字列には引用終端表現辞書ＤＢ１６に格納されている引用終端表現辞書に収集されている引用終端表現“（○○ニュースより引用）”“（××スポーツより引用）”がそれぞれ含まれており、よって所感抽出部１３はこれら引用終端表現よりそれぞれ後の文字列を所感文章として２組の文字列からそれぞれ抽出する。図６（４）はこのようにして入力文書より抽出された２つの所感文章を示したものであり、所感開始位置−１：ｉ’、所感終了位置−１：ｊ’及び所感開始位置−２：ｍ’、所感終了位置−２：ｎ’が特定される。
【００４０】
以上説明したように、この発明によれば、他の文書からの引用を含み、他の文書に対する所感が書かれている文書から所感を抽出することができ、また抽出に際し、引用終端表現を検出する手法を導入したことにより、例えば引用した文章に改変があって、引用終了位置を誤検出したとしても、所感文章の開始位置を正しく特定することができ、よって所感部分だけを正しく抽出することができる。
【００４１】
なお、他の文書からの引用を含み、他の文書に対する所感が書かれている文書は、通常、図７（ａ）に示したように、最初に引用部分が存在し、その次に引用終端表現が存在し、その次に所感文章が存在するといった文章構成を有し、この発明はこのような文章構成を有する文書を対象としているが、例えば最初に所感文章が存在し、その次に引用表現及び引用部分が存在する図７（ｂ）に示したような文書に対してもこの発明を応用することができる。
【００４２】
図７（ｂ）に示したような文章構成を有する文書の場合、引用部分以外の文字列を抽出し、その抽出した文字列から引用表現を取り除くことによって所感文章を抽出することができる。
【００４３】
上述した所感抽出装置、所感抽出方法はコンピュータと、コンピュータにインストールされた所感抽出プログラムによって実現することができる。プログラムはコンピュータが解読可能な符号列によって記述され、コンピュータが読み取り可能な磁気ディスク又はＣＤ−ＲＯＭ等の記録媒体に記録される。コンピュータにインストールされた所感抽出プログラムはコンピュータのＣＰＵによって解読されてコンピュータに上述した所感抽出方法を実行させる。
【産業上の利用可能性】
【００４４】
この発明による所感抽出装置及び所感抽出方法は例えばある１日のブログ（大量のブログ）から特定のニュース記事に対する所感を抽出して収集するような場合に利用することができる。
【図１】
2011237977.tif 000003
【図２】
2011237977.tif 000004
【図３】
2011237977.tif 000005
【図４】
2011237977.tif 000006
【図５】
2011237977.tif 000007
【図６】
2011237977.tif 000008
【図７】
2011237977.tif 000009