(57)【要約】【課題】  本発明が解決しようとする課題は、特定の分野に関する文書を低いコストで作成できる文書処理装置を提供することである。【解決手段】実施形態に係る文書処理装置は、特定分野に関する第１の文書と、第１の文書に追加する候補である第２の文書と、文書の特徴を表すトピックとトピックに関する単語と単語のスコアとを含むトピック情報と、第２の文書を複数の文集合に分割し、トピック情報と文集合との関連度を示す特徴量を算出する特徴量算出部と、特徴量を用いて隣接する文集合の第１の類似度を算出し、第１の類似度に基づいて第２の文書をセグメントに分割する文書分割部と、第１の文書の各文と第２の文書の各文との第２の類似度を算出し、第２の類似度に基づいて第１の文書に追加する追加候補文を第２の文書から抽出する抽出部と、抽出された追加候補文に基づいて第１の文書に追加するセグメントを判定する判定部と、を備える。【選択図】図１
2017068620.tif 000002
【特許請求の範囲】
【請求項１】
特定分野に関する第１の文書と、
第１の文書に追加する候補である第２の文書と、
文書の特徴を表すトピックと、前記トピックに関する単語と、前記単語のスコアとを含むトピック情報と、
前記第２の文書を複数の文集合に分割し、前記トピック情報と前記文集合との関連度を示す特徴量を算出する特徴量算出部と、
前記特徴量算出部によって算出された前記特徴量を用いて、隣接する前記文集合の第１の類似度を算出し、算出した前記第１の類似度に基づいて前記第２の文書をセグメントに分割する文書分割部と、
前記第１の文書の各文と前記第２の文書の各文との第２の類似度を算出し、算出した前記第２の類似度に基づいて前記第１の文書に追加する追加候補文を前記第２の文書から抽出する追加候補文抽出部と、
前記追加候補文抽出部によって抽出された前記追加候補文に基づいて前記第１の文書に追加する追加セグメントを判定し、判定した追加セグメントを前記第１の文書に追加する判定部と、
を備える文書処理装置。
【請求項２】
前記判定部は、前記追加候補文が汎用的な文である場合、前記追加候補文のみを前記第１の文書に追加する、請求項１に記載の文書処理装置
【請求項３】
前記文書分割部は、前記第２の文書から前記追加候補文を含む各セグメントを抽出し、抽出した各セグメント間の第３の類似度を算出し、
前記判定部は、前記第３の類似度に基づいて、前記追加候補文のみを前記第１の文書に追加する、請求項１もしくは請求項２に記載の文書処理装置。
【請求項４】
特定分野に関する第１の文書と、
第１の文書に追加する候補である第２の文書と、
文書の特徴を表すトピックと、前記トピックに関する単語と、前記単語のスコアとを含むトピック情報と、を備える文書処理装置の文書処理方法であって、
前記第２の文書を複数の文集合に分割し、前記トピック情報と前記文集合との関連度を示す特徴量を算出するステップと、
算出された前記特徴量を用いて、隣接する前記文集合の第１の類似度を算出するステップと、
算出した前記第１の類似度に基づいて前記第２の文書をセグメントに分割するステップと、
前記第１の文書の各文と前記第２の文書の各文との第２の類似度を算出するステップと、
算出した前記第２の類似度に基づいて前記第１の文書に追加する追加候補文を前記第２の文書から抽出するステップと、
抽出された前記追加候補文に基づいて前記第１の文書に追加するセグメントを判定するステップと、
を備える文書処理方法。
【請求項５】
特定分野に関する第１の文書と、
第１の文書に追加する候補である第２の文書と、
文書の特徴を表すトピックと、前記トピックに関する単語と、前記単語のスコアとを含むトピック情報と、を備える文書処理装置の文書処理プログラムであって、
コンピュータに、
前記第２の文書を複数の文集合に分割し、前記トピック情報と前記文集合との関連度を示す特徴量を算出する機能と、
算出された前記特徴量を用いて、隣接する前記文集合の第１の類似度を算出するステップと、
算出した前記第１の類似度に基づいて前記第２の文書をセグメントに分割する機能と、
前記第１の文書の各文と前記第２の文書の各文との第２の類似度を算出する機能と、
算出した前記第２の類似度に基づいて前記第１の文書に追加する追加候補文を前記第２の文書から抽出する機能と、
抽出された前記追加候補文に基づいて前記第１の文書に追加するセグメントを判定する機能と、
を備える文書処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、文書処理装置、文書処理方法及び文書処理プログラムに関する。
【背景技術】
【０００２】
音声認識、自動要約、機械翻訳など、言語処理技術における精度の向上には、大規模な文書の利用が有効である。例えば、特定の分野における音声認識の精度を向上させるには、当該分野に関する文書（以下、目的文書という）のみを用いて音声認識辞書の言語モデルを学習すればよい。具体例として、コールセンターの通話の音声認識が目的の場合、コールセンターの通話音声を書き起こした目的文書のみを用いて言語モデルを学習することで、音声認識の精度を向上させることができる。
【０００３】
音声認識の精度を向上させるには、認識したい特定分野における多様な表現に対応した言語モデルを生成する必要がある。多様な表現に対応した言語モデルを生成するためには、十分な量の目的文書を用いる必要がある。
【０００４】
目的文書は、例えば音声を書き起こして文書化するなど、人手の作業によって作成することができる。しかしながらこの方法では、音声認識、自動要約、および機械翻訳などの言語処理を高精度で行うために十分な量の目的文書を得るにはコストがかかるという問題がある。
【０００５】
ここで、音声認識の言語モデルを生成するための目的文書量を減らす手法として、特許文献１には、形態素の適合率と再現率を指標として、目的文書の文と類似する文を候補文書から抽出する手法が開示されている。しかし、特許文献１に記載の方法では、大規模コーパスからの抽出が文単位であるため、類似文の抽出によって目的のコーパスと同じような文のみが抽出され、多様な表現を得ることが難しい。
【０００６】
また、特許文献２には、単語頻度のベクトルのコサイン類似度を指標として、大規模コーパスから類似文書を抽出する手法が開示されている。しかしながら、特許文献２の方法は、大規模コーパスからの抽出が文書単位であり、多様な表現の獲得が期待される一方で、通常、１つの文書には複数の話題が含まれうるため、目的の文書と異なる話題の文も抽出する可能性があり、目的の分野とは異なる分野の表現が含まれ、精度の高い言語モデルが得られない可能性があるという問題がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−１７７７８６号公報
【特許文献２】特開２０１３−２９６５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明が解決しようとする課題は、特定の分野に関する文書を低いコストで作成できる文書処理装置を提供することである。
【課題を解決するための手段】
【０００９】
実施形態に係る文書処理装置は、特定分野に関する第１の文書と、第１の文書に追加する候補である第２の文書と、文書の特徴を表すトピックと、トピックに関する単語と、単語のスコアとを含むトピック情報と、第２の文書を複数の文集合に分割し、トピック情報と文集合との関連度を示す特徴量を算出する特徴量算出部と、特徴量算出部によって算出された特徴量を用いて、隣接する文集合の第１の類似度を算出し、算出した第１の類似度に基づいて第２の文書をセグメントに分割する文書分割部と、第１の文書の各文と第２の文書の各文との第２の類似度を算出し、算出した第２の類似度に基づいて第１の文書に追加する追加候補文を第２の文書から抽出する追加候補文抽出部と、追加候補文抽出部によって抽出された追加候補文に基づいて第１の文書に追加するセグメントを判定する判定部と、を備える。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る文書処理装置の全体構成を示すブロック図。
【図２】本発明の第１実施形態に係るトピック情報テーブルの一例を示す図。
【図３】本発明の第１実施形態に係る文書処理装置におけるトピック特徴量の一例を示す図。
【図４】本発明の第１実施形態に係る文書処理装置の動作の一例を示すフローチャート
【図５】本発明の第１実施形態に係る特徴量算出部の動作の一例を示すフローチャート。
【図６】本発明の第１実施形態に係る特徴量算出部の動作の一例を示すフローチャート。
【図７】本発明の第１実施形態に係る文書処理装置におけるトピック特徴量の一例を示す図。
【図８】本発明の第１実施形態に係る候補文書分割部の動作の一例を示すフローチャート。
【図９】本発明の第１実施形態に係る追加候補文抽出部の動作の一例を示すフローチャート。
【図１０】本発明の第１実施形態に係る追加セグメント判定部の動作の一例を示すフローチャート。
【図１１】本発明の第２実施形態に文書処理装置の全体構成を示す図。
【図１２】本発明の第２実施形態に係る文書処理装置の動作の一例を示すフローチャート。
【図１３】本発明の第２実施形態に係る追加セグメント判定部の動作の一例を示すフローチャート。
【図１４】本発明の第２実施形態に係る追加セグメント判定部の追加候補文の汎用性判定処理の一例を示すフローチャート。
【図１５】本発明の第２実施形態に係る追加セグメント判定部のトピック特徴量算出処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。
【００１２】
図１は、本発明の第１の実施形態に係る文書処理装置１００の全体構成を示す図である。
【００１３】
文書処理装置１００は、候補文書記憶部１１０、目的文書記憶部１２０、トピック情報記憶部１３０、追加候補記憶部１４０、特徴量算出部１５０、候補文書分割部１６０、追加候補文抽出部１７０、および追加セグメント判定部１８０を備える。
【００１４】
候補文書記憶部１１０（第１の文書データ記憶部）は、言語モデルの学習や拡張に用いるデータの候補となる候補文書（第１の文書）のデータが記憶される。候補文書の具体例として、例えばウェブ上にあるデータから収集したテキストが挙げられる。候補文書には、様々な目的・話題・文体の文書が含まれ、通常は、目的文書を学習する、もしくは拡張するために適する文と、適さない文が混在している。
【００１５】
目的文書記憶部１２０（第２の文書データ記憶部）は、言語モデルを生成するために用いる文書（第２の文書）のデータが記憶される。本実施形態では、目的文書記憶部１２０は、音声認識をする対象の分野に関する目的文書データを記憶している。
【００１６】
トピック情報記憶部１３０は、トピック情報を格納するトピック情報テーブル１３１を記憶する。トピック情報は、複数のトピックに対して、トピック固有の単語と、この単語のスコアとを定義した情報である。トピックは、文書の特徴を表すものであり、例えば文書で述べられている中心的なテーマや文体である。トピックに属する単語は、そのトピックに関する文書に含まれる可能性が高い単語である。単語のスコアは、単語とその単語が属するトピックの関連度を示すものであり、スコアが大きいほど単語がトピックに強く関連する。
【００１７】
図２は、トピック情報を格納するトピック情報テーブル１３１の一例を示す図である。トピック情報テーブル１３１は、トピック１、トピック２、・・・・トピックＭまでのＭ個のトピック情報が格納されている。
【００１８】
トピック情報テーブル１３１に格納されたトピック１はデジタル家電に関するトピック情報である。トピック２は保険に関するトピック情報である。トピック３は口語的な文体を表すトピック情報である。なお、一般に、１つの文書に複数のトピックが含まれる。
【００１９】
トピック情報は、既存の分類（例えば、政治、スポーツ、芸能など）をトピックと見立て、各トピックの文書で頻出する単語の頻度を集計することで作成できる。あるいはこのとき、当該トピックのみに出現する単語に限って抽出・集計してもよい。また、例えば、既存の教師無しトピック分析技術（Ｌａｔｅｎｔ  Ｄｉｒｉｃｈｌｅｔ  Ａｌｌｏｃａｔｉｏｎ、以下ＬＤＡという）によってトピック情報を自動生成することも可能である。
【００２０】
特徴量算出部１５０は、候補文書記憶部１１０に記憶された各候補文書に文集合を設定する。すなわち、特徴量算出部１５０は、候補文書記憶部１１０に記憶された各候補文書を複数の文集合に分割する。
【００２１】
文集合は、Ｎ文の連続する文の集合である。Ｎは１以上の整数である。文集合はあらかじめ設定されたウインドウ幅Ｎによって設定される。ウインドウ幅Ｎは、ユーザによって与えられるか、あるいは１文あたりの平均単語数や１文書あたりの平均文数のような候補文書のなんらかの特徴から機械的に決定されるなどの方法で設定される。例えば、１文あたりの平均単語数をＷ、トピック特徴量を算出するために文集合内に含まれることが望ましい平均語数をＴとすると、ウインドウ幅ＮはＮ＝Ｔ／Ｗと決定できる。Ｎが１のとき、文集合は単一の文である。
【００２２】
また、特徴量算出部１５０は、トピック情報記憶部１３０に格納されたトピック情報に基づいて、各候補文書に含まれる全ての文集合に対するトピック特徴量を算出する。トピック特徴量は、トピック情報記憶部３００に記憶されたトピック情報に含まれる各トピックに対する、候補文書に含まれる各文集合の関連の強さを表す。
【００２３】
本実施形態では、トピック特徴量をベクトルによって表現する。図３に、本実施形態に係るトピック特徴量を示すベクトルＴ（ｔ）（以下、トピック特徴量ベクトルＴ（ｔ）という）の一例を示す。ｔは候補文書に含まれる文集合を示す。図３の式１はトピック特徴量ベクトルＴ（ｔ）の初期値である。
【００２４】
トピック特徴量ベクトルＴ（ｔ）の成分数は、トピック情報テーブル１３１に格納されたトピック数Ｍに一致する。トピック特徴量ベクトルＴ（ｔ）において、Ｔ１は図２のトピック情報テーブル１３１に格納されたトピック情報のうち、トピック１に対する関連の強さを表し、ＴＭは図２のトピック情報テーブル１３１に格納されたトピック情報のうち、トピックＭに対する関連の強さを表す。すなわち、トピック特徴量は、対象の文集合が各トピックに対してどの程度強く関連しているかの分布を表している。式１に示すように、本実施形態では、トピック特徴量ベクトルＴ（ｔ）の各成分の初期値は０とする。
【００２５】
候補文書分割部１６０は、特徴量算出部１５０が算出したトピック特徴量に基づいて、候補文書記憶部１１０に記憶された候補文書を目的文書に追加するかどうかを判定するために適した単位（以下、セグメントという）に分割する。
【００２６】
追加候補文抽出部１７０は、候補文書内の各文と目的文書内の各文との類似度を算出し、算出した類似度に基づいて目的文書に追加する候補の文（以下、追加候補文という）を候補文書記憶部１１０から抽出する。抽出した追加候補文は、追加候補記憶部１４０に記憶される。
【００２７】
追加セグメント判定部１８０は、追加候補文抽出部１７０が抽出した追加候補文に基づいて、目的文書記憶部１２０に記憶された目的文書に追加するセグメント（以下、追加セグメントという）を候補文書記憶部１１０から抽出する。追加セグメント判定部１８０は、抽出された追加セグメントを目的文書記憶部１２０に追加する。
【００２８】
以下、図４乃至図１０を参照して、本実施形態の文書処理装置１００の動作について説明する。
【００２９】
図４は、文書処理装置１００の動作の一例を示すフローチャートである。
【００３０】
まず、文書処理装置１００が備える特徴量算出部１５０が、候補文書記憶部１１０に記憶された候補文書と、トピック情報記憶部１３０に記憶されたトピック情報とを用いて、トピック特徴量算出処理を行う（ステップＳ１０）。
【００３１】
図５及び図６を参照して、特徴量算出部１５０によるトピック特徴量算出処理について説明する。図５及び図６は特徴量算出部１５０によるトピック特徴量算出処理の一例を示すフローチャートである。
【００３２】
特徴量算出部１５０は、候補文書記憶部１１０に記憶されたすべての候補文書について（ステップＳ１１１）、ステップＳ１１２からステップＳ１２４の処理を繰り返す。
【００３３】
特徴量算出部１５０は、候補文書記憶部１１０にトピック特徴量が算出されていない候補文書がある場合（ステップＳ１１１がＮｏ）、候補文書記憶部１１０からトピック特徴量を算出する対象の候補文書を１つ選択する（ステップＳ１１２）。
【００３４】
特徴量算出部１５０は、選択した候補文書において、あらかじめ設定されたウインドウ幅に基づき、文集合を設定する（ステップＳ１１３）。ウインドウ幅とは、文集合に含まれる文の数である。
【００３５】
例えば、特徴量算出部１５０は、ウインドウ幅がＮ、候補文書の文数がＳのとき、１番目の文〜Ｎ番目の文、２番目の文〜（Ｎ＋１）番目の文、…、（Ｓ−Ｎ＋１）番目の文〜Ｓ番目の文という（Ｓ−Ｎ＋１）個の文集合を得る。なお、Ｎ、Ｓは１以上の整数である。
【００３６】
次に、特徴量算出部１５０は、設定した全ての文集合について、ステップＳ１１５からＳ１２４までの処理を繰り返す（ステップＳ１１４）。すなわち、トピック特徴量算出の対象として選択されてない文集合がある場合（ステップＳ１１４がＮｏ）、特徴量算出部１５０は、トピック特徴量算出の対象として選択されてない文集合から１つの文集合ｔを選択する（ステップＳ１１５）。
【００３７】
ここで、特徴量算出部１５０は、トピック特徴量を初期化するステップＳ１１６）。すなわち、図３に記載したトピック特徴量ベクトルＴ（ｔ）の全ての成分（Ｔ１、Ｔ２、Ｔ３、・・・、ＴＭ）を０にする。
【００３８】
続いて、特徴量算出部１５０は、ステップＳ１１５で選択した文集合内の全ての単語について、ステップＳ１１９からＳ１２４までの処理を繰り返す（ステップＳ１１７）。すなわち、選択した文集合内の単語において、トピック特徴量算出の対象として選択されてない単語がある場合（ステップＳ１１７がＮｏ）、特徴量算出部１５０は、トピック特徴量算出の対象として選択されてない単語から１つの単語を選択する（ステップＳ１１９）。
【００３９】
特徴量算出部１５０は、トピック情報記憶部１３０に記憶されたトピック情報に含まれる全てのトピックに、ステップＳ１２０〜ステップＳ１２４の処理を行う。すなわち、トピック情報記憶部１３０に記憶されたトピック情報に含まれるトピックにおいて、トピック特徴量算出の対象として選択されてないトピックがある場合（ステップＳ１２０がＮｏ）、特徴量算出部１５０は、トピック特徴量算出の対象として選択されてないトピックを１つ選択する（ステップＳ１２１）。
【００４０】
特徴量算出部１５０は、ステップＳ１１９において選択された単語が、ステップＳ１２１において選択されたトピックに含まれるかどうか判定する（ステップＳ１２２）。ステップＳ１１９において選択された単語が、ステップＳ１２１において選択されたトピックに含まれる場合（ステップＳ１２２がＮｏ）、特徴量算出部１５０は、この単語に対応付けられたスコアをトピック情報から取得する（ステップＳ１２３）。
【００４１】
特徴量算出部１５０は、取得したスコアをトピック特徴量ベクトルＴ（ｔ）に反映する（ステップＳ１２４）。具体的には、特徴量算出部１５０は、ステップＳ１２３で取得したスコアを用いて、トピック特徴量ベクトルＴ（ｔ）の対応するトピックの成分を更新する。更新の方法としては、例えば、対応する成分に取得したスコアを加算する。一例としては、ステップＳ１１９で選択された単語が「テレビ」であり、ステップＳ１２１で選択されたトピックが図２に示す「トピック１」であれば、対応するスコア「０．２１」を「Ｔ１＝０」に加算して、「Ｔ１＝０．２１」に更新する。
【００４２】
ステップＳ１１９において選択された単語が、ステップＳ１２１において選択されたトピックに含まれない場合（ステップＳ１２２がＹｅｓ）、特徴量算出部１５０は、ステップＳ１２３とステップＳ１２４の処理を行わず、ステップＳ１２０に戻り、次のトピックを選択する。
【００４３】
ステップＳ１２０からステップＳ１２４までをすべてのトピックに行った場合（ステップＳ１２０がＹｅｓ）、ステップＳ１１７に戻る。
【００４４】
特徴量算出部１５０は、ステップＳ１１５で選択した文集合内の全ての単語について、ステップＳ１１９からＳ１２４までの処理を行った場合（ステップＳ１１７がＹｅｓ）、トピック特徴量ベクトルＴ（ｔ）を正規化する（ステップＳ１１８）。正規化の方法としては、たとえば、各成分をすべての成分の二乗和の平方根で除算する。
【００４５】
図７にトピック特徴量ベクトルＴ（ｔ）の計算結果の一例を示す。
【００４６】
式２は、ステップＳ１１７がＹｅｓになった時点でのトピック特徴量ベクトルＴ（ｔ）の一例であり、「Ｔ１＝２．４」、「Ｔ２＝０．５」、「Ｔ３＝０．０」、「ＴＭ＝１．４」のトピック特徴量ベクトルＴ（ｔ）が得られている。このとき、トピック特徴量ベクトルＴ（ｔ）において省略されているＴ４からＴＭ−１までの成分は０．０とする。
【００４７】
式３は、ステップＳ１１８において正規化されたトピック特徴量ベクトルＴ（ｔ）の一例であり、「Ｔ１＝０．８５」、「Ｔ２＝０．１８」、「Ｔ３＝０．０」、「ＴＭ＝０．５」となる。なお、このときもトピック特徴量ベクトルＴ（ｔ）において省略されているＴ４からＴＭ−１までの成分は０．０である。
【００４８】
特徴量算出部１５０は、設定した全ての文集合について、ステップＳ１１５からＳ１２４までの処理を終えると（ステップＳ１１４がＹｅｓ）、ステップＳ１１１に戻る。特徴量算出部１５０は、候補文書記憶部１１０に記憶されたすべての候補文書にステップＳ１１２からステップＳ１２４の処理が行われた場合（ステップＳ１１１がＹｅｓ）、特徴量算出処理を終了する。
【００４９】
図４の説明に戻る。続いて、候補文書分割部１６０が、候補文書をセグメントに分割する候補文書分割処理を行う（ステップＳ２０）。図８は、候補文書分割部１６０による候補文書分割の処理の一例を示す図である。
【００５０】
まず、候補文書分割部１６０は、候補文書記憶部１１０に記憶されたすべての候補文書について（ステップＳ２１１）、ステップＳ２１２からステップＳ２２４の処理を繰り返す。
【００５１】
まず、候補文書分割部１６０は、候補文書記憶部１１０にセグメントに分割されていない候補文書がある場合（ステップＳ２１１がＮｏ）、候補文書記憶部１１０からからセグメントに分割する対象の候補文書を１つ選択する（ステップＳ２１２）。
【００５２】
候補文書分割部１６０は、選択した候補文書において、特徴量算出部１５０が設定した文集合を取得する（ステップＳ２１３）。
【００５３】
候補文書分割部１６０は、設定された文集合のうち末尾のＮ個の文集合を除く文集合に、ステップＳ２１５からＳ２１６までの処理を繰り返す（ステップＳ２１４）。Ｎはあらかじめ設定されたウインドウ幅であり、文集合はＮ文の集合体である。末尾のウインドウ幅Ｎ個の文集合については後ろに隣接する文集合がないため、ステップＳ２１４を行わない。
【００５４】
すなわち、候補文書分割の対象として選択されてない文集合がある場合（ステップＳ２１４がＮｏ）、候補文書分割部１６０は、候補文書分割の対象として選択されてない文集合から１つの文集合ｔを選択する（ステップＳ２１５）。
【００５５】
候補文書分割部１６０は、ステップＳ２１５で選択した文集合ｔと、この文集合ｔの後ろに隣接する文集合ｔ＋Ｎとのトピック特徴量の類似度（第１の類似度という）を算出する（ステップＳ２１６）。例えば、２つの文集合のトピック特徴量ベクトルＴ（ｔ）とトピック特徴量ベクトルＴ（ｔ＋Ｎ）の内積、Ｊａｃｃａｒｄ係数、Ｄｉｃｅ係数などを第１の類似度とする。
【００５６】
ステップＳ２１６を全ての文集合について繰り返すと（ステップＳ２１４がＹｅｓ）、候補文書分割部１６０は、算出した第１の類似度に基づき、ステップＳ２１２で選択した候補文書の分割点を決定する（ステップＳ２１７）。分割点を決定すると、候補文書分割部１６０は、ステップＳ２１１に戻り処理を繰り返す。この分割点ごとに分割された部分がセグメントである。
【００５７】
分割点の決定は、例えば、第１の類似度があらかじめ与えられた基準値を下回る箇所で分割するという方法がある。もしくは、あらかじめ与えられたセグメント数Ｒに対しＲ個のセグメントに分割されるよう第１の類似度の下位Ｒ−１番目までの箇所で分割する、という方法もある。第１の類似度の変化をみて第１の類似度が極小値をとる箇所で分割する、という方法もある。さらに、１つのセグメントの最少文数など何らかの条件を追加してもよい。
【００５８】
候補文書分割部１６０は、候補文書記憶部１１０に記憶されたすべての候補文書にステップＳ２１２からステップＳ２１７の処理が行われた場合（ステップＳ２１１がＹｅｓ）、候補文書分割処理を終了する。
【００５９】
図４の説明に戻る。候補文書分割処理が終了すると、追加候補文抽出部１７０は候補文書の各文と目的文書の各文との間の類似度（第２の類似度）を算出し、目的文書に追加する文の候補を抽出する追加候補文抽出処理を行う（ステップＳ３０）。
【００６０】
図９は、追加候補文抽出部１７０による追加候補文抽出処理の一例を示す図である。
【００６１】
追加候補文抽出部１７０は、目的文書記憶部１２０に記憶された全ての目的文書について（ステップＳ３１１）、ステップＳ３１２からＳ３１８までの処理を繰り返す。
【００６２】
まず、追加候補文抽出部１７０は、目的文書記憶部１２０に第２の類似度が算出されていない目的文書がある場合（ステップＳ３１１がＮｏ）、目的文書記憶部１２０から目的文書を１つ選択し（ステップＳ３１２）、選択した目的文書内の文を１つ選択する（ステップＳ３１３）。
【００６３】
続いて、追加候補文抽出部１７０は、候補文書記憶部１１０に記憶された全ての候補文書について（ステップＳ３１４）、ステップＳ３１５からＳ３１８までの処理を繰り返す。
【００６４】
すなわち、追加候補文抽出部１７０は、候補文書記憶部１１０に第２の類似度が算出されていない候補文書がある場合（ステップＳ３１４がＮｏ）候補文書記憶部１１０に記憶された候補文書内の文を１つ選択し（ステップＳ３１５）、ステップＳ３１３で選択した目的文書内の文との第２の類似度を算出する（ステップＳ３１６）。
【００６５】
第２の類似度の算出方法としては、例えば、双方の文を単語ベクトルに変換し、コサイン類似度、Ｊａｃｃａｒｄ係数、Ｄｉｃｅ係数などを計算する方法がある。単語ベクトルの各成分には、各単語の出現有無の０／１、単語の出現頻度、目的文書における単語の重要度などを用いることができる。また、単語ベクトルの代わりに、特徴量算出部１５０と同様にトピック特徴量ベクトルを用いてもよい。
【００６６】
続いて、追加候補文抽出部１７０は、ステップＳ３１６で算出した第２の類似度が、あらかじめ設定された基準値よりも小さいかどうかを判断する（ステップＳ３１７）。ステップＳ３１６で算出した第２の類似度が基準値よりも小さい場合（ステップＳ３１７がＹｅｓ）、すなわち、ステップＳ３１５で選択した候補文書内の文が、目的文書内の文と類似していないと判定される場合、追加候補文抽出部１７０は、ステップＳ３１４に戻る。
【００６７】
ステップＳ３１６で算出した第２の類似度が基準値以上の場合（ステップＳ３１７のＮｏ）、すなわち、ステップＳ３１５で選択した候補文書内の文が、目的文書内の文と類似していると判定される場合、追加候補文抽出部１７０は、ステップＳ３１５で選択した候補文書内の文（以下、追加候補文という）と、この文を含むセグメント（以下、追加候補セグメントという）とを、目的文書に追加する候補であると判定する（ステップＳ３１８）。追加候補文抽出部１７０は、目的文書内の文ごとに、判定された追加候補文と、この追加候補文の類似度と、追加候補セグメントとを関連付けて追加候補記憶部１４０に記憶する。
【００６８】
追加候補文抽出部１７０は、ステップＳ３１４に戻り処理を繰り返す。候補文書記憶部１１０に第２の類似度が算出されていない候補文書がない場合（ステップＳ３１４がＹｅｓ）、ステップＳ３１１に戻り処理を繰り返す。追加候補文抽出部１７０は、目的文書記憶部１２０に記憶された全ての目的文書について第２の類似度が算出された場合（ステップＳ３１１がＹｅｓ）、追加候補文抽出処理を終了する。
【００６９】
図４の説明に戻る。追加セグメント判定部１８０は、追加候補文抽出部１７０が判定した追加候補から、目的文書に追加するセグメントを抽出し、抽出した追加セグメントを目的文書記憶部１２０に追加する追加セグメント判定処理を行う（ステップＳ４０）。
【００７０】
図１０は、追加セグメント判定部１８０による追加セグメント判定処理の一例を示すフローチャートである。
【００７１】
追加セグメント判定部１８０は、目的文書記憶部１２０に記憶された全ての目的文書について（ステップＳ４１１）、ステップＳ４１２からＳ４１７までの処理を繰り返す。
【００７２】
追加セグメント判定部１８０は、目的文書記憶部１２０にステップＳ４１２からステップＳ４１７までの処理が行われていない目的文書がある場合（ステップＳ４１１がＮｏ）、目的文書記憶部１２０から目的文書を１つ選択する（ステップＳ４１２）。
【００７３】
追加セグメント判定部１８０は、選択した目的文書内の全ての文について（ステップＳ４１３）、ステップＳ４１４からＳ４１７までの処理を繰り返す。
【００７４】
追加セグメント判定部１８０は、選択した目的文書内に追ステップＳ４１４からＳ４１７までの処理が行われていない文がある場合（ステップＳ４１３がＮｏ）、当該目的文書内の文を１つ選択する（ステップＳ４１４）。
【００７５】
続いて、追加セグメント判定部１８０は、ステップＳ４１３で選択した目的文書内の文に基づいて追加候補記憶部１４０を検索し、この目的文書内の文に関する追加候補文のうち類似度が最も高い追加候補文を選択する（ステップＳ４１５）。このとき、選択した追加候補文にフラグを設定し、選択済みであることがわかるようにしておく。
【００７６】
追加セグメント判定部１８０は、選択した追加候補文を含む追加候補セグメントを追加セグメントとして判定し、この追加セグメントを候補文書から抽出し、ステップＳ４１２で選択した目的文書に追加する（ステップＳ４１６）。
【００７７】
追加セグメント判定部１８０は、ステップＳ４１６において目的文書に追加された文の数が、あらかじめ与えられた目的文書の１文に対して追加する文数の上限に達しているかどうかを判断する（ステップＳ４１７）。上限に達している場合（ステップＳ４１７がＹｅｓ）、追加セグメント判定部１８０は、ステップＳ４１３に戻り、処理を繰り返す。
【００７８】
上限に達していない場合（ステップＳ４１７がＮｏ）、追加セグメント判定部１８０は、ステップＳ４１５に戻り、別の追加候補文を選択し処理を繰り返す。このとき、追加候補文に設定されたフラグに基づいて、未選択の追加候補文の中で最も類似度の高い追加候補文を選択する。
【００７９】
追加セグメント判定部１８０は、目的文書記憶部１２０に追加セグメント判定処理が行われていない目的文書がない場合（ステップＳ４１１がＹｅｓ）、追加セグメント判定処理を終了する。
【００８０】
上述のように、本実施形態の文書処理装置によると、目的文書に追加セグメントが追加される。すなわち、本実施形態の文書処理装置は目的文書を自動で拡張することが可能となる。このため、本実施形態の文書処理装置によると、精度の高い音声認識、自動要約、機械翻訳などの言語処理を行うためにあらかじめ用意する特定分野の文書の量を減らすことができる。
【００８１】
例えば、本実施形態の文書処理装置によると、音声認識の言語モデルを作成するためにあらかじめ準備すべき目的文書量が減り、言語モデル生成のためのコストを低減することができる。
【００８２】
また、本実施形態の文書処理装置は、候補文書をセグメントに分割し、セグメント単位で目的文書を拡張する。このため、例えば音声認識においては、候補文書のうち言語モデルの生成に適した部分のみを目的文書に追加できるため、音声認識精度を向上することが可能である。
【００８３】
したがって、本実施形態の文書処理装置は、低いコストで精度の高い言語処理を実現することができる。
【００８４】
(第２の実施形態)
以下、本発明の第２の実施形態について図１１乃至図１５を参照して説明する。なお、第１の実施形態の各部と同一部分は同一符号で示し、重複する説明は省略する。
【００８５】
図１１は、本発明の第２の実施形態に係る文書処理装置２００の全体構成を示す図である。
【００８６】
図１１に示すように、本実施形態の文書処理装置２００は、第１の実施形態の追加セグメント判定部１８０に代わり、構成の異なる追加セグメント判定部１８１を備える点が、第１の実施形態の文書処理装置１００と異なる。
【００８７】
第１の実施形態における追加セグメント判定部１８０は、追加候補文を含む追加候補セグメントの全ての文を目的文書に追加する。これに対し、本実施形態の追加セグメント判定部１８１は、あらかじめ設定された基準に基づいて、追加候補セグメント内の文のうちの一部を目的文書に追加する。
【００８８】
すなわち、本実施形態の文書処理装置２００は、目的文書、追加候補セグメント内の全てを追加するのではなく、あらかじめ設定された基準により、追加セグメント内の文を限定する。
【００８９】
例えば、追加候補文が「どうもありがとうございました」のような汎用的な表現の場合、この追加候補文を含む追加候補セグメントをそのまま目的文書に追加すると、目的文書と大きく異なるトピックのセグメントまで追加する可能性がある。
【００９０】
そこで、追加セグメント判定部１８１は、追加候補記憶部１４０に記憶された追加候補文が汎用的な文かどうかを判定する。また、追加セグメント判定部１８１は、追加候補文が汎用的な文の場合、追加候補文のみを目的文書に記憶し、この追加候補文を含む追加候補セグメント内の他の文は追加しない。
【００９１】
図１２乃至図１５を参照して、本実施形態の文書処理装置２００の動作について説明する。図１２は、文書処理装置２００の動作の一例を示すフローチャートである。図１２に示すように、本実施形態の文書処理装置２００はステップＳ１０〜ステップＳ３０までは第１の実施形態と同一の処理を行う。ステップＳ３０の後に追加セグメント判定部１８１が行う追加セグメント判定処理が、本実施形態の文書処理装置２００と第１の実施形態との異なる処理である。
【００９２】
図１３は、本実施形態の追加セグメント判定部１８１が行う追加セグメント判定処理（ステップＳ５０）の詳細の一例を示すフローチャートである。図１３に示すように、追加セグメント判定部１８１は、ステップＳ４１５までは第１の実施形態と同一の処理を行い、ステップＳ４１５の後に、ステップＳ４１５において選択した追加候補文の汎用性判定処理を行う（ステップＳ４１８）。
【００９３】
図１４はステップＳ４１８における追加セグメント判定部１８１による追加候補文の汎用性判定処理の一例を示すフローチャートである。
【００９４】
まず、追加セグメント判定部１８１は、候補文書記憶部１１０からステップＳ４１５で選択した追加候補文を含む全てのセグメントを抽出する（ステップＳ５１１）。
【００９５】
追加セグメント判定部１８１は、抽出した各セグメントのトピック特徴量を算出する（ステップＳ５１２）。
【００９６】
図１５は、ステップＳ５１２における追加セグメント判定部１８１によるトピック特徴量算出処理の一例を示すフローチャートである。
【００９７】
ここで、図４のステップＳ１０における、特徴量算出部１５０によるトピック特徴量算出処理は、文集合ごとのトピック特徴量を算出するものである。これに対して図１５のステップＳ５１２における、追加セグメント判定部１８１によるトピック特徴量算出処理は、候補文書分割部１６０によって分割されたセグメントごとのトピック特徴量を算出するものである。追加セグメント判定部１８１によるトピック特徴量算出処理は、ステップＳ１１８、およびステップＳ１２０〜ステップＳ１２４は、特徴量算出部１５０によるトピック特徴量算出処理と同様の処理を行うため、説明は省略する。
【００９８】
追加セグメント判定部１８１は、ステップＳ５１１において抽出した全てのセグメントについて（ステップＳ６１１）、ステップＳ６１２〜ステップＳ６１５、ステップＳ１１８、及びステップＳ１２０〜ステップＳ１２４の処理を繰り返す。
【００９９】
追加セグメント判定部１８１は、ステップＳ５１１において抽出したセグメントにトピック特徴量が算出されていないセグメントがある場合（ステップＳ６１１がＮｏ）、トピック特徴量を算出する対象のセグメントｕを１つ選択する（ステップＳ６１２）。
【０１００】
ここで、追加セグメント判定部１８１は、トピック特徴量を初期化するステップＳ１１６）。すなわち、図３に記載したトピック特徴量ベクトルＴ（ｕ）の全ての成分（Ｔ１、Ｔ２、Ｔ３、・・・、ＴＭ）を０にする。
【０１０１】
続いて、追加セグメント判定部１８１は、ステップＳ６１２で選択したセグメント内の全ての単語について、ステップＳ６１５、及びステップＳ１２０からＳ１２４までの処理を繰り返す（ステップＳ６１４）。すなわち、選択したセグメント内の単語において、トピック特徴量算出の対象として選択されてない単語がある場合（ステップＳ６１４がＮｏ）、追加セグメント判定部１８１は、トピック特徴量算出の対象として選択されてない単語から１つの単語を選択する（ステップＳ６１５）。
【０１０２】
ステップＳ６１５の後、追加セグメント判定部１８１は、ステップＳ１２０へ処理を進め、トピック特徴量を算出する。
【０１０３】
追加セグメント判定部１８１は、ステップＳ６１２で選択したセグメント内の全ての単語について、ステップＳ６１５、及びステップＳ１２０からＳ１２４までの処理を行った場合（ステップＳ６１４がＹｅｓ）、トピック特徴量ベクトルＴ（ｕ）を正規化する（ステップＳ１１８）。
【０１０４】
追加セグメント判定部１８１は、ステップＳ５１１において抽出した全てのセグメントについて、ステップＳ６１２〜ステップＳ６１５、ステップＳ１１８、及びステップＳ１２０〜ステップＳ１２４の処理を終えると（ステップＳ６１１がＹｅｓ）、特徴量算出処理を終了する。
【０１０５】
図１４の説明に戻る。追加セグメント判定部１８１は、算出したトピック特徴量に基づいて、ステップＳ５１１で抽出した各セグメント間の類似度（第３の類似度）を算出する（ステップＳ５１３）。
【０１０６】
例えば、２つのセグメントのトピック特徴量ベクトルＴ（ｕ）とトピック特徴量ベクトルＴ（ｕ＋１）の内積、Ｊａｃｃａｒｄ係数、Ｄｉｃｅ係数などを第３の類似度とする。ステップＳ５１１で抽出したセグメントが３つ以上ある場合、算出される第３の類似度は複数になる。
【０１０７】
算出した類似度が、あらかじめ設定された基準値より小さくなるセグメントの組がある場合（ステップＳ５１４がＹｅｓ）、追加セグメント判定部１８１は、Ｓ４１５で選択した追加候補文は異なるトピックにおいて使われている、すなわち、特定のトピックに固有ではなく汎用的な文であると判定し、この追加候補文のみをステップＳ４１２で選択した目的文書に追加する（ステップＳ５１６）。
【０１０８】
算出した全ての類似度があらかじめ設定された基準値以上の場合（ステップＳ５１４がＮｏ）、すなわち、算出した類似度にあらかじめ設定された基準値以上のセグメントの組がない場合、追加セグメント判定部１８１は、Ｓ４１５で選択した追加候補文を汎用的な文ではないと判定し、この追加候補文を含む追加候補セグメントをステップＳ４１２で選択した目的文書に追加する（ステップＳ５１７）。
【０１０９】
ステップＳ５１６もしくはステップＳ５１７の処理を行った後、追加セグメント判定部１８１は、汎用性判定処理を終了し、図１３のステップＳ４１７の処理に進む。その後は第１の実施形態と同様の処理を行う。
【０１１０】
すなわち、本実施形態の追加セグメント判定部１８１は、ステップＳ４１５において選択した追加候補文を含む各セグメントを候補文書記憶部１１０から抽出し、抽出した各セグメント間の第３の類似度を算出する。また、追加セグメント判定部１８０は、算出された第３の類似度に基づいて当該追加候補文が汎用的な文であるかどうかを判定する。汎用的な文であると判定した場合、当該追加候補文のみを目的文書に追加する。これにより、本実施形態の文書処理装置２００は、目的文書に大きく異なるトピックのセグメントを追加することを防ぐことができる。したがって、本実施形態の文書処理装置２００は、言語処理の認識精度を担保することを可能にする。
【０１１１】
なお、本実施形態では、追加セグメント判定部１８１によるトピック特徴量の算出を、追加セグメント判定処理（ステップＳ５０）において、ステップＳ４１５で選択した目的文書を含むセグメントに対して都度行うようにしているが、例えば、候補文書分割処理（ステップＳ２０）において、セグメントが設定された後に、全てのセグメントについてあらかじめトピック特徴量を算出しておくようにしてもよい。その場合、特徴量算出部１５０がセグメントのトピック特徴量を算出する構成にすることも可能である。
【０１１２】
追加候補文ごとに抽出した各セグメントのトピック特徴量を算出する必要がないため、追加セグメント判定処理が早くなる。
【０１１３】
なお、上記の実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。
【０１１４】
ここで、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。
【０１１５】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の１部を実行しても良い。
【０１１６】
さらに、本実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または１時記憶した記憶媒体も含まれる。
【０１１７】
また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も本実施形態における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。
【０１１８】
なお、本実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。
【０１１９】
また、本実施形態の記憶部は１つの記憶装置で実現しても良いし、複数の記憶装置で実現しても良い。本実施形態の記憶部を実現する記憶装置は、例えばハードディスクドライブである。
【０１２０】
そして、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態の機能を実現することが可能な機器、装置を総称している。
【０１２１】
本発明の実施形態を説明したが、これら実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１２２】
１００…文書処理装置
１１０…候補文書分割部
１２０…目的文書記憶部
１３０…トピック情報記憶部
１３１…トピック情報テーブル
１４０…追加候補記憶部
１５０…特徴量算出部
１６０…候補文書記憶部
１７０…追加候補文抽出部
１８０、１８１…追加セグメント判定部
【図１】
2017068620.tif 000003
【図２】
2017068620.tif 000004
【図３】
2017068620.tif 000005
【図４】
2017068620.tif 000006
【図５】
2017068620.tif 000007
【図６】
2017068620.tif 000008
【図７】
2017068620.tif 000009
【図８】
2017068620.tif 000010
【図９】
2017068620.tif 000011
【図１０】
2017068620.tif 000012
【図１１】
2017068620.tif 000013
【図１２】
2017068620.tif 000014
【図１３】
2017068620.tif 000015
【図１４】
2017068620.tif 000016
【図１５】
2017068620.tif 000017