(57)【特許請求の範囲】
【請求項１】
同一の言語で記述された２種類の文章が得られるように、第１の言語で記述された１または複数の文を含む第１の文章を翻訳した第３の文章、及び前記第１の言語と異なる第２の言語で記述された１または複数の文を含む第２の文章を翻訳した第４の文章のいずれか一方または双方を得る翻訳手段と、
前記翻訳手段により第３の文章を得た場合には、前記第３の文章に含まれる各文と、前記第２の文章に含まれる各文または前記翻訳手段により得た第４の文章に含まれる各文との類似度を、前記第３の文章に含まれる各文と、前記第２の文章に含まれる各文または前記第４の文章に含まれる各文との全ての組み合わせについて計算し、前記翻訳手段により第３の文章を得なかった場合には、前記第１の文章に含まれる各文と、前記第４の文章に含まれる各文との類似度を、前記第１の文章に含まれる各文と前記第４の文章に含まれる各文との全ての組み合わせについて計算する類似度計算手段と、
前記翻訳手段により第３の文章を得た場合には、前記第３の文章の各文について、前記類似度計算手段により計算された類似度が最大となる最大類似度を求め、該最大類似度が所定の閾値以下となる前記第３の文章の文に対応する前記第１の文章の文を、前記第２の文章に含まれていない新しい情報を含む文として抽出し、前記翻訳手段により第３の文章を得なかった場合には、前記第１の文章の各文について、前記最大類似度を求め、該最大類似度が所定の閾値以下となる前記第１の文章の文を、前記第２の文章に含まれていない新しい情報を含む文として抽出する新情報抽出手段と、
を含む文章処理装置。
【請求項２】
前記第１の文章の各文から特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された前記第１の文章の各文の特徴の各々と、該第１の文章の各文の前記新情報抽出手段による抽出結果とを用いて、前記第１の文章の各文の特徴に基づいて、該第１の文章の各文が新しい情報を含むか否かを識別するための分類器を学習する分類器学習手段と、
前記分類器学習手段により学習された分類器に前記第１の文章の各文を入力して得られる識別結果に基づいて、前記新しい情報を含む文を再抽出する再抽出手段と、
を含む請求項１記載の文章処理装置。
【請求項３】
前記第１の文章及び前記第２の文章の各文を表すノードと、各ノード間の関係を該各ノード間の類似度に応じた重みを付したエッジとを有するグラフを生成し、前記第１の文章の各文に対応したノードに、前記新しい情報を含む文か否かに基づくラベルを付与し、前記グラフを用いたラベル伝播法により得られる前記第２の文章の各文に対応したノードに付与されるラベルに基づいて、前記新しい情報を含む文に対応するノードに付与されたラベルに最も近いラベルが付与されたノードに対応する前記第２の文章の文の前または後を、前記新しい情報を含む文を挿入する位置として決定する決定手段を含む請求項１または請求項２記載の文章処理装置。
【請求項４】
同一の言語で記述された２種類の文章が得られるように、第１の言語で記述された１または複数の文を含む第１の文章を翻訳した第３の文章、及び前記第１の言語と異なる第２の言語で記述された１または複数の文を含む第２の文章を翻訳した第４の文章のいずれか一方または双方を得、
前記第３の文章を得た場合には、前記第３の文章に含まれる各文と、前記第２の文章に含まれる各文または前記第４の文章に含まれる各文との類似度を、前記第３の文章に含まれる各文と、前記第２の文章に含まれる各文または前記第４の文章に含まれる各文との全ての組み合わせについて計算し、前記第３の文章を得なかった場合には、前記第１の文章に含まれる各文と、前記第４の文章に含まれる各文との類似度を、前記第１の文章に含まれる各文と前記第４の文章に含まれる各文との全ての組み合わせについて計算し、
前記第３の文章を得た場合には、前記第３の文章の各文について、類似度が最大となる最大類似度を求め、該最大類似度が所定の閾値以下となる前記第３の文章の文に対応する前記第１の文章の文を、前記第２の文章に含まれていない新しい情報を含む文として抽出し、前記第３の文章を得なかった場合には、前記第１の文章の各文について、前記最大類似度を求め、該最大類似度が所定の閾値以下となる前記第１の文章の文を、前記第２の文章に含まれていない新しい情報を含む文として抽出する
文章処理方法。
【請求項５】
前記第１の文章の各文から特徴を抽出し、
抽出された前記第１の文章の各文の特徴の各々と、該第１の文章の各文が新しい情報を含むか否かを示す抽出結果とを用いて、前記第１の文章の各文の特徴に基づいて、該第１の文章の各文が新しい情報を含むか否かを識別するための分類器を学習し、
学習された分類器に前記第１の文章の各文を入力して得られる識別結果に基づいて、前記新しい情報を含む文を再抽出する
請求項４記載の文章処理方法。
【請求項６】
前記第１の文章及び前記第２の文章の各文を表すノードと、各ノード間の関係を該各ノード間の類似度に応じた重みを付したエッジとを有するグラフを生成し、前記第１の文章の各文に対応したノードに、前記新しい情報を含む文か否かに基づくラベルを付与し、前記グラフを用いたラベル伝播法により得られる前記第２の文章の各文に対応したノードに付与されるラベルに基づいて、前記新しい情報を含む文に対応するノードに付与されたラベルに最も近いラベルが付与されたノードに対応する前記第２の文章の文の前または後を、前記新しい情報を含む文を挿入する位置として決定する請求項４または請求項５記載の文章処理方法。
【請求項７】
コンピュータを、請求項１〜請求項３のいずれか１項記載の文章処理装置を構成する各手段として機能させるための文章処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書処理装置、方法、及びプログラムに係り、特に、２つの異なる言語で記述された文章を比較して、一方の文章から他方の文章には含まれない新しい情報を抽出する文書処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、ウィキペディアに代表されるようなウェブ上のフリー百科事典が注目されている。ウィキペディアでは、共同執筆システムが採用されており、大勢の編集者の協力によって記事が記述され、１つの記事について複数の言語版が存在し、各々の言語版の記事が異なるユーザグループによって維持されている。そのため、これらの異なる言語版の記事は、同一の項目に関する記事であっても必ずしも同じ内容が記載されているとは限らない。そこで、編集者はある言語版での記事が正しいまたは最新の情報によって構成されていることを確保するために、他の言語版の記事から情報を取得する場合がある。
【０００３】
このような共同執筆システムの編集者を支援するために、いくつかのシステムが提案されている。例えば、ウィキペディア内の異なる言語版のinfoboxesをマッチングするシステムが提案されている（非特許文献１参照）。また、記事の階層構造を考慮して、既存のテキストに新しい情報を挿入するアルゴリズムが提案されている（非特許文献２参照）。また、ウェブ上の情報を収集して、簡単なウィキペディアの記事を自動的に生成する手法が提案されている（非特許文献３参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Eytan Adar, Michael Skinner, and Daniel S. Weld. 2009. Information arbitrage across multi-lingual Wikipedia. In Proceedings of the Second ACM international Conference on Web Search and Data Mining, 94-103.
【非特許文献２】Erdong Chen, Benjamin Snyder, and Regina Barzilay. 2007. Incremental Text Structuring with Online Hierarchical Ranking. In Proceedings of the Conference on Empirical Methods in Natural Language Processing and Conference on Computational Natural Language Learning 2007, 83-91.
【非特許文献３】Christina Sauper and Regina Barzilay. 2009. Automatically generating Wikipedia articles: a structure-aware approach. In Proceedings of the 47th Annual Meeting of the ACL, 208-216.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１に記載された技術は、infoboxesという予め定められた形式の項目を扱う技術であり、記事のテキストに適用することができない、という問題がある。
【０００６】
また、非特許文献２及び３に記載された技術では、単一の言語の記事のみを対象としており、異なる言語で記述された記事について考慮されていない、という問題がある。
【０００７】
本発明は上記問題点に鑑みてなされたものであり、異なる言語で記述された文章を比較して、一方の文章から他方の文章には含まれない新しい情報を自動的に抽出することにより、共同支援システムにより記述された記事の編集者を支援することができる文章処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の文章処理装置は、同一の言語で記述された２種類の文章が得られるように、第１の言語で記述された１または複数の文を含む第１の文章を翻訳した第３の文章、及び前記第１の言語と異なる第２の言語で記述された１または複数の文を含む第２の文章を翻訳した第４の文章のいずれか一方または双方を得る翻訳手段と、前記翻訳手段により第３の文章を得た場合には、前記第３の文章に含まれる各文と、前記第２の文章に含まれる各文または前記翻訳手段により得た第４の文章に含まれる各文との類似度を、前記第３の文章に含まれる各文と、前記第２の文章に含まれる各文または前記第４の文章に含まれる各文との全ての組み合わせについて計算し、前記翻訳手段により第３の文章を得なかった場合には、前記第１の文章に含まれる各文と、前記第４の文章に含まれる各文との類似度を、前記第１の文章に含まれる各文と前記第４の文章に含まれる各文との全ての組み合わせについて計算する類似度計算手段と、前記翻訳手段により第３の文章を得た場合には、前記第３の文章の各文について、前記類似度計算手段により計算された類似度が最大となる最大類似度を求め、該最大類似度が所定の閾値以下となる前記第３の文章の文に対応する前記第１の文章の文を、前記第２の文章に含まれていない新しい情報を含む文として抽出し、前記翻訳手段により第３の文章を得なかった場合には、前記第１の文章の各文について、前記最大類似度を求め、該最大類似度が所定の閾値以下となる前記第１の文章の文を、前記第２の文章に含まれていない新しい情報を含む文として抽出する新情報抽出手段と、を含んで構成されている。
【０００９】
本発明の文章処理装置によれば、まず、翻訳手段が、同一の言語で記述された２種類の文章が得られるように、第１の言語で記述された複数の文を含む第１の文章を翻訳した第３の文章、及び第１の言語と異なる第２の言語で記述された複数の文を含む第２の文章を翻訳した第４の文章のいずれか一方または双方を得る。そして、類似度計算手段が、翻訳手段により第３の文章を得た場合、すなわち第１の文章を翻訳した場合には、第３の文章に含まれる各文と、第２の文章に含まれる各文または翻訳手段により得た第４の文章に含まれる各文との類似度を、第３の文章に含まれる各文と、第２の文章に含まれる各文または第４の文章に含まれる各文との全ての組み合わせについて計算する。また、翻訳手段により第３の文章を得なかった場合、すなわち第１の文章を翻訳しなかった場合には、第１の文章に含まれる各文と、第４の文章に含まれる各文との類似度を、第１の文章に含まれる各文と第４の文章に含まれる各文との全ての組み合わせについて計算する。
【００１０】
次に、新情報抽出手段が、翻訳手段により第３の文章を得た場合には、第３の文章の各文について、類似度計算手段により計算された類似度が最大となる最大類似度を求め、該最大類似度が所定の閾値以下となる第３の文章の文に対応する第１の文章の文を、第２の文章に含まれていない新しい情報を含む文として抽出し、翻訳手段により第３の文章を得なかった場合には、第１の文章の各文について、最大類似度を求め、該最大類似度が所定の閾値以下となる第１の文章の文を、第２の文章に含まれていない新しい情報を含む文として抽出する。
【００１１】
このように、異なる言語で記述された文章のいずれか一方または双方を翻訳して、同一の言語で記述された２種類の文章を得て、同一の言語となった２種類の文章の各々の各文の類似度を全ての組み合わせについて計算し、類似度が最大となる最大類似度が所定の閾値以下となる第３の文章に対応する第１の文章の文、または第１の文章の文を、第２の文章に含まれていない新しい情報を含む文として自動的に抽出することにより、共同支援システムにより記述された記事の編集者を支援することができる。
【００１２】
また、本発明の文章処理装置は、前記第１の文章の各文から特徴を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された前記第１の文章の各文の特徴の各々と、該第１の文章の各文の前記新情報抽出手段による抽出結果とを用いて、前記第１の文章の各文の特徴に基づいて、該第１の文章の各文が新しい情報を含むか否かを識別するための分類器を学習する分類器学習手段と、前記分類器学習手段により学習された分類器に前記第１の文章の各文を入力して得られる識別結果に基づいて、前記新しい情報を含む文を再抽出する再抽出手段と、をさらに含んで構成することができる。これにより、新しい情報を含む文の抽出精度を向上させることができる。
【００１３】
また、本発明の文章処理装置は、前記第１の文章及び前記第２の文章の各文を表すノードと、各ノード間の関係を該各ノード間の類似度に応じた重みを付したエッジとを有するグラフを生成し、前記第１の文章の各文に対応したノードに、前記新しい情報を含む文か否かに基づくラベルを付与し、前記グラフを用いたラベル伝播法により得られる前記第２の文章の各文に対応したノードに付与されるラベルに基づいて、前記新しい情報を含む文に対応するノードに付与されたラベルに最も近いラベルが付与されたノードに対応する前記第２の文章の文の前または後を、前記新しい情報を含む文を挿入する位置として決定する決定手段をさらに含んで構成することができる。このように、新しい文章を挿入するのに適した位置を自動的に決定することにより、共同支援システムにより記述された記事の編集者を支援することができる。
【００１４】
また、本発明の文章処理方法は、同一の言語で記述された２種類の文章が得られるように、第１の言語で記述された１または複数の文を含む第１の文章を翻訳した第３の文章、及び前記第１の言語と異なる第２の言語で記述された１または複数の文を含む第２の文章を翻訳した第４の文章のいずれか一方または双方を得、前記第３の文章を得た場合には、前記第３の文章に含まれる各文と、前記第２の文章に含まれる各文または前記第４の文章に含まれる各文との類似度を、前記第３の文章に含まれる各文と、前記第２の文章に含まれる各文または前記第４の文章に含まれる各文との全ての組み合わせについて計算し、前記第３の文章を得なかった場合には、前記第１の文章に含まれる各文と、前記第４の文章に含まれる各文との類似度を、前記第１の文章に含まれる各文と前記第４の文章に含まれる各文との全ての組み合わせについて計算し、前記第３の文章を得た場合には、前記第３の文章の各文について、類似度が最大となる最大類似度を求め、該最大類似度が所定の閾値以下となる前記第３の文章の文に対応する前記第１の文章の文を、前記第２の文章に含まれていない新しい情報を含む文として抽出し、前記第３の文章を得なかった場合には、前記第１の文章の各文について、前記最大類似度を求め、該最大類似度が所定の閾値以下となる前記第１の文章の文を、前記第２の文章に含まれていない新しい情報を含む文として抽出する方法である。
【００１５】
また、本発明の文章処理方法は、さらに、前記第１の文章の各文から特徴を抽出し、抽出された前記第１の文章の各文の特徴の各々と、該第１の文章の各文が新しい情報を含むか否かを示す抽出結果とを用いて、前記第１の文章の各文の特徴に基づいて、該第１の文章の各文が新しい情報を含むか否かを識別するための分類器を学習し、学習された分類器に前記第１の文章の各文を入力して得られる識別結果に基づいて、前記新しい情報を含む文を再抽出するようにしてもよい。
【００１６】
また、本発明の文章処理方法は、さらに、前記第１の文章及び前記第２の文章の各文を表すノードと、各ノード間の関係を該各ノード間の類似度に応じた重みを付したエッジとを有するグラフを生成し、前記第１の文章の各文に対応したノードに、前記新しい情報を含む文か否かに基づくラベルを付与し、前記グラフを用いたラベル伝播法により得られる前記第２の文章の各文に対応したノードに付与されるラベルに基づいて、前記新しい情報を含む文に対応するノードに付与されたラベルに最も近いラベルが付与されたノードに対応する前記第２の文章の文の前または後を、前記新しい情報を含む文を挿入する位置として決定するようにしてもよい。
【００１７】
また、本発明の文章処理プログラムは、コンピュータを、上記の文章処理装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１８】
以上説明したように、本発明の文章処理装置、方法、及びプログラムによれば、異なる言語で記述された文章を同一の言語に翻訳し、第１の翻訳文章の各文と第２の翻訳文章の各文との類似度を全ての組み合わせについて計算し、類似度が最大となる最大類似度が所定の閾値以下となる第１の翻訳文章の文に対応する第１の文章の文を、第２の文章に含まれていない新しい情報を含む文として自動的に抽出することにより、共同支援システムにより記述された記事の編集者を支援することができる、という効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施の形態の文章処理装置の機能的構成を示すブロック図である。
【図２】ラベル伝播法のためのグラフ作成を説明するためのイメージ図である。
【図３】第１の実施の形態の文章処理装置における文章処理ルーチンの内容を示すフローチャートである。
【図４】第１の実施の形態の文章処理装置における新情報識別処理ルーチンの内容を示すフローチャートである。
【図５】第１の実施の形態の文章処理装置における情報挿入位置探索処理ルーチンの内容を示すフローチャートである。
【図６】第２の実施の形態の文章処理装置の機能的構成を示すブロック図である。
【図７】第２の実施の形態の文章処理装置における新情報識別処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。第１の実施の形態では、英語で記述された記事と中国語で記述された記事とを比較して、英語で記述された記事（第１の文章）から中国語で記述された記事（第２の文章）に含まれていない新しい情報を含む文を抽出して、中国語で記述された記事の適切な位置に新しい情報を含む文を挿入する適切な位置を決定する場合について説明する。
【００２１】
第１の実施の形態に係る文章処理装置１０は、ＣＰＵと、ＲＡＭと、後述する文章処理ルーチンを実行するためのプログラムを記憶したＲＯＭと、を備えたコンピュータで構成されている。また、記憶手段としてのＨＤＤを含んで構成するようにしてもよい。コンピュータは、機能的には、図１に示すように、データ読込部１２と、新情報識別部２０と、情報挿入位置探索部４０と、を含んだ構成で表すことができる。
【００２２】
データ読込部１２は、英語で記述された記事、及び中国語で記述された記事を、内部または外部の記憶装置から読み込む。または、外部装置に記憶された記事を、ネットワークを介して読み込むようにしてもよい。ここで読み込まれた英語で記述された記事は、Ｌ個の文（ｅ１、ｅ２、・・・、ｅＬ）から構成された文章であり、中国語で記述された記事は、Ｍ個の文（ｃ１、ｃ２、・・・、ｃＭ）から構成された文章であるものとする。
【００２３】
新情報識別部２０は、さらに、前処理部２２と、機械翻訳部２４と、類似度計算部２６と、フラグ付与部２８と、を含んだ構成で表すことができる。
【００２４】
前処理部２２は、英語で記述された記事（第１の文章）及び中国語で記述された記事（第２の文章）の各々に対して、セクションや段落を認識する処理や語幹処理等の前処理を施す。
【００２５】
機械翻訳部２４は、前処理が施された英語で記述された記事及び中国語で記述された記事のいずれか一方または双方を翻訳することにより、同一の言語で記述された２種類の記事を得る。なお、翻訳後の言語は、読み込んだ記事の言語のいずれか（英語または中国語）でもよいし、読み込んだ記事の言語とは異なる第三の言語としてもよい。例えば、翻訳後の言語を英語とした場合は、中国語で記述された記事（第２の文章）のみを英語に翻訳する。これにより、英語で記述された記事（第１の文章）と中国語で記述された記事を翻訳した記事（第４の文章）とが同一の言語（英語）で記述された記事となる。同様に、翻訳後の言語を中国語とした場合は、英語で記述された記事（第１の文章）のみを中国語に翻訳する。これにより、英語で記述された記事を翻訳した記事（第３の文章）と中国語で記述された記事（第２の文章）とが同一の言語（中国語）で記述された記事となる。また、翻訳後の言語を第三の言語（例えば、日本語）とした場合には、英語で記述された記事（第１の文章）及び中国語で記述された記事（第２の文章）の双方を翻訳する。これにより、英語で記述された記事を翻訳した記事（第３の文章）と中国語で記述された記事を翻訳した記事（第４の文章）とが同一の言語（日本語）で記述された記事となる。
【００２６】
なお、本実施の形態では、翻訳処理の有無にかかわらず、同一の言語で記述された記事として英語で記述された記事を扱う場合には、Ｌ個の文（ｅ１’、ｅ２’、・・・、ｅＬ’）と表記し、同一の言語で記述された記事として中国語で記述された記事を扱う場合には、Ｍ個の文（ｃ１’、ｃ２’、・・・、ｃＭ’）と表記する。すなわち、英語で記述された記事を翻訳しなかった場合には（ｅ１、ｅ２、・・・、ｅＬ）＝（ｅ１’、ｅ２’、・・・、ｅＬ’）であり、中国語で記述された記事を翻訳しなかった場合には、（ｃ１、ｃ２、・・・、ｃＭ）＝（ｃ１’、ｃ２’、・・・、ｃＭ’）である。以下、本実施の形態では、「翻訳後」の記事とは、いずれか一方の記事の翻訳処理の有無にかかわらず、異なる言語で記述された２つの記事が同一の言語で記述された記事となった後の記事を指すものとする。
【００２７】
また、機械翻訳部２４における翻訳には、周知の機械翻訳ツールを用いることができる。機械翻訳ツールは、２つの異なる言語で記述された記事を同一の言語に変換できるものであればよく、特別な機械翻訳ツールに限定されない。
【００２８】
類似度計算部２６は、英語で記述された記事を機械翻訳部２４で翻訳した記事（以下、「翻訳後の英語の記事」という）の各文（ｅ１’、ｅ２’、・・・、ｅＬ’）と、中国語で記述された記事を機械翻訳部２４で翻訳した記事（以下、「翻訳後の中国語の記事」という）の各文（ｃ１’、ｃ２’、・・・、ｃＭ’）との類似度を計算する。まず、翻訳後の英語の記事の各文を、ｎを語彙の大きさ（２つの記事に出現する単語の和集合の要素数）とし、各文を単語の重みからなるベクトルで表現する。具体的には、翻訳後の英語の記事のｉ番目の文ｅｉ’のベクトル表現をＴｅｉとし、Ｔｅｉ＝（ｗ１、ｗ２、・・・、ｗｎ）で表現する。翻訳後の中国語の記事についても同様に、ｊ番目の文ｃｊ’のベクトル表現をＴｃｊとして単語の重みからなるベクトルで表わす。ここで、ｗｉは、文書中の特徴的な単語を抽出するためのアルゴリズムによって得られる単語の重みであり、例えば、情報検索や文書要約などの分野で利用されるＴＦ−ＩＤＦアルゴリズムを用いて得ることができる。
【００２９】
次に、上述のベクトルＴｅｉ及びＴｃｊを用いて、２つの文ｅｉ’とｃｊ’との類似度を計算する。類似度は、例えば、下記（１）式に示すようなベクトル空間のコサイン類似度として計算することができる。ｅｉ’（Ｔｅｉ）とｃｊ’（Ｔｃｊ）との全ての組み合わせ（ｉ＝１、２、・・・、Ｌ，ｊ＝１、２、・・・、Ｍ）について、類似度を計算する。
【００３０】
【数１】
0005441872.tif 000002
【００３１】
なお、類似度の計算は上記の方法に限定されず、他の方法を用いることもできる。例えば、２つの文に同じハイパーリンクが含まれているか否かによって類似度を計算することができる。また、単語の重みについても、例えば、人物、場所、またはイベントを表す単語に高い重みを与えるなど、他の方法を用いてもよい。
【００３２】
フラグ付与部２８は、類似度計算部２６によって計算された類似度に基づいて、英語で記述された記事の各文ｅｉに新しい情報（中国語の記事に含まれていない情報）が含まれているか否かを示すフラグを付与する。具体的には、翻訳後の英語の記事の各文ｅｉ’について計算された翻訳後の中国語の記事の各文ｃｊ’との全ての類似度の中で、最も類似度が高い最大類似度を求め、最大類似度が最小の文からＮ個の文（ｅｍｉｎ１’、ｅｍｉｎ２’、・・・、ｅｍｉｎＮ’）を抽出し、抽出した文に対応する翻訳前の英語で記述された記事の文（ｅｍｉｎ１、ｅｍｉｎ２、・・・、ｅｍｉｎＮ）に、新しい情報を含む文であることを示すフラグ「＋１」を付与する。その他の文には、新しい情報が含まれていないことを示すフラグ「−１」を付与する。これは、中国語の記事のどの文とも類似度が低い英語の文は、新しい情報が含まれている可能性が高いということを想定したものである。
【００３３】
なお、ここでは、最大類似度が所定の閾値以下となる文を抽出する一例として、最大類似度を小さい順に並べて所定個までの文を新しい情報を含む文として抽出する場合（所定個目の文の類似度を閾値とする場合）について説明したが、予め定めた一定の閾値と比較して、最大類似度が閾値以下の文を抽出するようにしてもよい。
【００３４】
情報挿入位置探索部４０は、フラグ付与部２８により新しい情報を含む文であることを示すフラグ「＋１」が付与された英語の文について、その文を中国語で記述された記事に挿入するのに最も適した位置を探索する。この問題を解決するために、ラベル伝播法を使用する。
【００３５】
具体的には、例えば、図２に示すように、英語で記述された記事の各文、及び中国語で記述された記事の各文を表すノードと、各ノード間の関係を各ノード間の類似度に応じた重みを付したエッジとを有するグラフＧ＝（Ｖ，Ｅ）を作成する。Ｖはノードの集合で、Ｌ個の英語の文（ｅ１、ｅ２、・・・、ｅＬ）及びＭ個の中国語の文（ｃ１、ｃ２、・・・、ｃＭ）を表す。Ｅはエッジの集合である。英語のノードと中国語のノードとの間に、Ｌ×Ｍ個のエッジが存在し、そのエッジの重みは、英語の文ｅｉの翻訳後の文ｅｉ’と中国語の文ｃｊの翻訳後の文ｃｊ’とのコサイン類似度で表す。また、英語のノード同士、または中国語のノード同士でもエッジを形成する。例えば、中国語の２つの文ｃｉ，ｃｊが同じ段落の中にある場合には、ｃｉとｃｊとのノード間にエッジを形成する。このエッジの重みは、ｗｉｊ＝１／ｄｉｓｔ（ｃｉ，ｃｊ）で計算する。ｄｉｓｔは、ｃｉとｃｊとの間の距離（その間にある文の数）である。このグラフは、すべての類似のリンクや文書構造に関する情報を表現できる。
【００３６】
次に、グラフを初期化するために、フラグ「＋１」が付与された英語の文を表すノードに、ラベル「１」を付与し、その他の英語のノードにはラベル「０」を付与する。この段階では、中国語のノードのラベルは未定の状態である。そして、ラベル伝播法により、英語のノードに付与されたラベルを、ノード間の関係に従ってラベルが未定のノード（中国語のノード）へ伝播する。これは上記のように作成したグラフ上でマルコフ連鎖を実行していると見なすことができる。
【００３７】
ラベル伝播法では、ラベルが未定のノードに付与される値を、マルコフ連鎖の反復計算（iterative Markov chain computation）や直接固有値ベクトル計算（direct eigenvector computation）により計算することができる。直接固有値ベクトル計算を使う場合は、下記（２）式の方程式を解くことで付与すべき値を得る。
【００３８】
【数２】
0005441872.tif 000003
【００３９】
ここで、ｆは（Ｎ＋Ｍ）次元のラベルのベクトルである。ｆは英語のノードでは「１」または「０」に制限され、中国語のノードでは未定である。上記の目的関数は、もしエッジの重みｗｉｊが大きければノードのペア（ｉ，ｊ）が類似したラベルｆｉとｆｊを持つことを強制することによりラベル伝播を実現する。fはグラフラプラシアンの固有ベクトルを求めることにより計算することができる。
【００４０】
ラベルを伝播した後、中国語の各ノードには［０，１］の間にある数値のラベルが付与される。上述のように、エッジの重みが大きいノード間では類似したラベルが付与されるため、ラベル「１」が付与されたノードに対応する英語の文と、ラベル「１」に最も近い値のラベルが付与されたノードに対応する中国語の文とは、関連が深いことを示している。従って、ラベル「１」に最も近い値のラベルが付与されたノード、ここでは最大値のラベルが付与されたノードに対応した中国語の文の前または後の位置を、新しい情報を含む文を挿入する最適な位置として決定することができる。
【００４１】
次に、図３を参照して、第１の実施の形態の文章処理装置１０において実行される文章処理ルーチンについて説明する。
【００４２】
ステップ１００で、第１の文章から第２の文章に含まれていない新しい情報を含む文を抽出する新情報識別処理を実行する。
【００４３】
ここで、図４を参照して、新情報識別処理ルーチンについて説明する。ここでも、英語で記述された記事（第１の文章）から中国語で記述された記事（第２の文章）に含まれていない新しい情報を含む文を抽出する場合について説明する。
【００４４】
ステップ１２０で、英語で記述された記事、及び中国語で記述された記事を、内部または外部の記憶装置から読み込む。または、外部装置に記憶された記事を、ネットワークを介して読み込むようにしてもよい。ここで読み込まれた英語で記述された記事は、Ｌ個の文（ｅ１、ｅ２、・・・、ｅＬ）から構成された文章であり、中国語で記述された記事は、Ｍ個の文（ｃ１、ｃ２、・・・、ｃＭ）から構成された文章であるものとする。
【００４５】
次に、ステップ１２２で、上記ステップ１２０で読み込んだ英語で記述された記事及び中国語で記述された記事の各々に対して、セクションや段落を認識する処理や語幹処理等の前処理を施す。
【００４６】
次に、ステップ１２４で、上記ステップ１２２で前処理が施された英語で記述された記事及び中国語で記述された記事の各々を、同一の言語に翻訳する。ここでは、英語で記述された記事は、Ｌ個の文（ｅ１’、ｅ２’、・・・、ｅＬ’）、中国語で記述された記事は、Ｍ個の文（ｃ１’、ｃ２’、・・・、ｃＭ’）に翻訳される。
【００４７】
次に、ステップ１２６で、上記ステップ１２４で翻訳された翻訳後の英語の記事の各文（ｅ１’、ｅ２’、・・・、ｅＬ’）のｉ番目の文ｅｉ’を、ｎを語彙の大きさとし、各文をＴＦ−ＩＤＦアルゴリズム等を用いて得た単語の重みｗｉからなるベクトルＴｅｉ＝（ｗ１、ｗ２、・・・、ｗｎ）で表現する。翻訳後の中国語の記事についても同様に、ｊ番目の文ｃｊ’をベクトルＴｃｊで表現する。そして、２つの文ｅｉ’とｃｊ’との類似度を、例えば（１）式に示すようなベクトル空間のコサイン類似度として、ｅｉ’（Ｔｅｉ）とｃｊ’（Ｔｃｊ）との全ての組み合わせ（ｉ＝１、２、・・・、Ｌ，ｊ＝１、２、・・・、Ｍ）について計算する。
【００４８】
次に、ステップ１２８では、上記ステップ１２６において、翻訳後の英語の記事の各文ｅｉ’について計算された翻訳後の中国語の記事の各文ｃｊ’との全ての類似度の中で、最も類似度が高い最大類似度を求める。そして、求めた最大類似度が一番小さい文からＮ個の文（ｅｍｉｎ１’、ｅｍｉｎ２’、・・・、ｅｍｉｎＮ’）を抽出し、抽出した文に対応する翻訳前の英語で記述された記事の文（ｅｍｉｎ１、ｅｍｉｎ２、・・・、ｅｍｉｎＮ）に、新しい情報を含む文であることを示すフラグ「＋１」を付与し、その他の英語の文には、新しい情報が含まれていないことを示すフラグ「−１」を付与して、リターンする。
【００４９】
文章処理ルーチン（図３）に戻って、ステップ１０２へ移行し、抽出された新しい情報を含む文を挿入するための位置を探索する情報挿入位置探索処理を実行する。
【００５０】
ここで、図５を参照して、情報挿入位置探索処理ルーチンについて説明する。
【００５１】
ステップ１４０で、英語で記述された記事の各文（ｅ１、ｅ２、・・・、ｅＬ）、及び中国語で記述された記事の各文（ｃ１、ｃ２、・・・、ｃＭ）を表すノードと、各ノード間の関係を各ノード間の類似度に応じた重みを付したエッジとを有するグラフＧ＝（Ｖ，Ｅ）を作成する。
【００５２】
次に、ステップ１４２で、上記ステップ１４０で作成したグラフを初期化するために、新情報識別処理（図４）でフラグ「＋１」が付与された英語の文を表すノードに、ラベル「１」を付与し、その他の英語のノードにはラベル「０」を付与する。
【００５３】
次に、ステップ１４４で、ラベルが付与された英語のノードから、ラベルが未定の中国語のノードへラベルを伝播する。ラベル伝播により、中国語のノードには［０，１］の間にある数値のラベルが付与される。
【００５４】
次に、ステップ１４６で、上記ステップ１４４でのラベル伝播により中国語のノードに付与されたラベルの値が最大値のノードに対応した中国語の文の前または後の位置を、新しい情報を含む文を挿入する最適な位置として決定して、リターンする。
【００５５】
文章処理ルーチン（図３）に戻って、ステップ１０４へ移行し、情報挿入位置探索処理により決定した新情報を含む文を挿入する位置のデータを出力して、処理を終了する。なお、ここでは、新情報識別処理で付与されたフラグの情報、すなわち新しい情報を含む文のデータは、後段の情報挿入位置探索処理へ受け渡すものとして説明したが、新しい情報を含む文のデータを、後段へ受け渡すことなく処理結果として出力するようにしてもよい。
【００５６】
以上説明したように、第１の実施の形態の文章処理装置によれば、異なる言語で記述された文章（英語の記事と中国語の記事）を同一の言語に翻訳し、第１の翻訳文章（翻訳後の英語の記事）の各文と第２の翻訳文章（翻訳後の中国語の記事）の各文との類似度を全ての組み合わせについて計算し、類似度が最大となる最大類似度が所定の閾値以下となる第１の翻訳文章の文に対応する第１の文章の文を、第２の文章に含まれていない新しい情報を含む文として自動的に抽出することにより、共同支援システムにより記述された記事の編集者を支援することができる。
【００５７】
また、各文をノード、ノード間の関係を類似度に応じた重み付きエッジで表したグラフを作成し、第１の文章の各文に対応するノード（英語のノード）に新しい情報を含む文か否かに基づくラベルを付与し、第１の文章の各文に対応するノードからラベルを伝播して、ラベルの値が未定の第２の文章の各文に対応するノード（中国語のノード）にラベルを付与し、第２の文章の各文に対応するノードに付与されたラベルの値に基づいて、新しい文章を挿入するのに適した位置を自動的に決定することにより、共同支援システムにより記述された記事の編集者を支援することができる。
【００５８】
次に、第２の実施の形態について説明する。第２の実施の形態では、分類器の識別結果を用いて、新しい情報を含む文を抽出する場合について説明する。なお、英語で記述された記事（第１の文章）から中国語で記述された記事（第２の文章）に含まれていない新しい情報を含む文を抽出する場合について説明する。
【００５９】
図６に示すように、第２の実施の形態に係る文章処理装置２１０は、第１の実施の形態に係る文章処理装置１０とは新情報識別部の構成が異なる。以下、第１の実施の形態と異なる点について説明する。
【００６０】
第２の実施の形態に係る文章処理装置２１０における新情報識別部２２０は、第１の実施の形態に係る文章処理装置１０における新情報識別部２０の構成に、特徴抽出部３０と、分類器学習部３２と、フラグ更新部３４と、を加え、フラグ付与部２８をフラグ付与部２２８に替えた構成で表すことができる。
【００６１】
フラグ付与部２２８は、翻訳後の英語の記事の各文ｅｉ’について計算された翻訳後の中国語の記事の各文ｃｊ’との全ての類似度の中で、最も類似度が高い最大類似度を求める。求めた最大類似度が大きい順に各文ｅｉ’を並べ、最大類似度が最小の文からＮ個の文（ｅｍｉｎ１’、ｅｍｉｎ２’、・・・、ｅｍｉｎＮ’）を抽出し、抽出した文に対応する翻訳前の英語で記述された記事の文（ｅｍｉｎ１、ｅｍｉｎ２、・・・、ｅｍｉｎＮ）に、新しい情報を含む文であることを示すフラグ「＋１」を付与する。また、最大類似度が最大の文からＮ個の文（ｅｍａｘ１’、ｅｍａｘ２’、・・・、ｅｍａｘＮ’）を抽出し、抽出した文に対応する翻訳前の英語で記述された記事の文（ｅｍａｘ１、ｅｍａｘ２、・・・、ｅｍａｘＮ）に、新しい情報が含まれていないことを示すフラグ「−１」を付与する。最大類似度が最大または最小の文からＮ個に含まれない文にはフラグは付与されない。
【００６２】
特徴抽出部３０は、英語で記述された記事の各文ｅｉについて、後述の分類器学習部３２で分類器の学習に利用するための特徴を抽出する。例えば、以下のような特徴を抽出することができる。
【００６３】
類似度：英語で記述された記事の各文ｅｉの翻訳後の各文ｅｉ’と、中国語で記述された記事の各文ｃｊの翻訳後の各文ｃｊ’とのコサイン類似度の最大値
近隣の類似度：隣接する（直前及び直後の）文ｅｉ−１及びｅｉ＋１の翻訳後の文ｅｉ−１’及びｅｉ＋１’と、中国語で記述された記事の各文ｃｊの翻訳後の各文ｃｊ’とのコサイン類似度の最大値
エントロピー：英語で記述された記事の各文ｅｉの翻訳後の各文ｅｉ’と、中国語で記述された記事の各文ｃｊの翻訳後の各文ｃｊ’との類似度を下記（３）式により条件付確率に変換することにより計算した中国語で記述された記事の各文ｃｊの翻訳後の各文ｃｊ’との類似度のエントロピー
【００６４】
【数３】
0005441872.tif 000004
【００６５】
なお、上記３つの特徴の全てを用いる必要はなく、少なくとも１つ以上を用いればよい。また、他の特徴と組み合わせて利用することもできる。
【００６６】
分類器学習部３２は、特徴抽出部３０で抽出した英語で記述された記事の各文ｅｉの特徴と、フラグ付与部２８により英語で記述された記事の各文ｅｉに付与されたフラグをサポートベクターマシン（ＳＶＭ）に与えて、入力された英語で記述された記事の各文ｅｉの特徴に基づいて、各文ｅｉに新しい情報が含まれるか否かを識別した結果（フラグ）を返す分類器を学習させる。なお、学習の手法は、従来公知の技術を用いればよく、ＳＶＭに限定されない。
【００６７】
フラグ更新部３４は、分類器学習部３２で学習された分類器に、英語で記述された記事の各文ｅｉの特徴を入力し、その識別結果に基づいて、英語で記述された記事の各文ｅｉに、新しい情報を含む文であることを示すフラグ「＋１」、または、新しい情報が含まれていないことを示すフラグ「−１」を付与する。既にフラグ付与部２２８でフラグが付与されている文については、分類器の識別結果によりフラグを更新する。
【００６８】
次に、第２の実施の形態の文章処理装置２１０において実行される文章処理ルーチンについて説明する。第１の実施の形態における文章処理ルーチンと新情報識別処理が異なるだけであるので、図７を参照して、第２の実施の形態における新情報識別処理ルーチンについて説明する。なお、第１の実施の形態の新情報識別処理と同一の処理については、同一の符号を付して詳細な説明は省略する。
【００６９】
ステップ１２０〜１２８を経て、Ｌ個の文（ｅ１、ｅ２、・・・、ｅＬ）から構成された英語で記述された記事、及びＭ個の文（ｃ１、ｃ２、・・・、ｃＭ）から構成された中国語で記述された記事を読み込んで、英語で記述された記事の各文ｅｉに、中国語で記述された記事には含まれていない新しい情報を含むか否かのフラグを付す。
【００７０】
次に、ステップ２００で、英語で記述された記事の各文ｅｉについて、分類器の学習に利用するための特徴を抽出する。
【００７１】
次に、ステップ２０２で、上記ステップ２００で抽出した英語で記述された記事の各文ｅｉの特徴と、上記ステップ１２８で付与された英語で記述された記事の各文ｅｉのフラグをＳＶＭに与えて、入力された英語で記述された記事の各文ｅｉの特徴に基づいて、各文ｅｉに新しい情報が含まれるか否かを識別した結果（フラグ）を返す分類器を学習させる。
【００７２】
次に、ステップ２０４で、上記ステップ２０２で学習された分類器に、上記ステップ２００で抽出された英語で記述された記事の各文ｅｉの特徴を入力し、その識別結果に基づいて、英語で記述された記事の各文ｅｉに、新しい情報を含む文であることを示すフラグ「＋１」、または、新しい情報が含まれていないことを示すフラグ「−１」を付与する。既に上記ステップ１２８でフラグが付与されている文については、本ステップで得られる分類器の識別結果によりフラグを更新して、リターンする。
【００７３】
以上説明したように、第２の実施の形態の文章処理装置によれば、第１の文章（英語の記事）の各文から抽出される特徴と、新しい情報を含むか否かを示すフラグとを用いて分類器を学習し、学習された分類器の識別結果を用いてフラグを更新するため、新しい情報を含む文の抽出精度を向上させることができる。
【００７４】
なお、上記第１の実施の形態及び第２の実施の形態では、２つの異なる言語で記述された記事として、英語で記述された記事と中国語で記述された記事とを用いる場合について説明したが、他の言語で記述された記事に対しても適用可能である。
【００７５】
次に、上記実施の形態の効果を説明するために、下記の実験結果について説明する。
【００７６】
（実験１）新しい情報を含む文の抽出に対する評価
ウィキペディアから、９つ（Ａ〜Ｉ）の英語の記事（十分に推敲されて成熟し総合的な内容を持つ、ウィキペディアの編集者の選考を経た記事）及び対応する中国語の記事を収集した。
【００７７】
次に、人手によって各記事の英語版と中国語版とを比較し、英語の記事から新しい情報を含む文を識別した。また、中国語版の中で、英語の記事の文と同じ情報が記載された文にフラグを付与した。
【００７８】
次に、上記第１の実施の形態、第２の実施の形態に加えて、以下の二つの方法を比較した。
【００７９】
正フラグ：第２の実施の形態と同様に分類器を学習して、分類器の識別結果により新しい情報を含む文を抽出する方法であって、分類器を学習する際に、新しい情報を含むか否かの正しいフラグを持つデータのみを用いてＳＶＭを学習させた場合
ランダム：英語の文に新しい情報を含むか否かのフラグをランダムに付与した場合
ここで、ＡＵＣ（area under the precision-recall curve、曲線下面積）により、各方法の性能を評価した。この評価方法では、類似性の閾値を特に指定する必要はなく、基本的に、同じリコールレベルでＡＵＣの値が高いほど精度が良いと考えられる。評価結果を、以下の表１に示す。
【００８０】
【表１】
0005441872.tif 000005
【００８１】
第１の実施の形態及び第２の実施の形態は、ほとんどの場合に７０から９５の高いＡＵＣ値を達成した。また、全体的に第１の実施の形態よりも第２の実施の形態の方が高いＡＵＣ値となっている。この結果から、新しい情報をほとんど自動的に取得できていることがわかる。
【００８２】
（実験２）新しい情報を含む文の挿入位置の決定に対する評価
次に、ラベル伝播法に基づいて、最も適切な挿入位置を決定する方法を評価する実験を行った。まず、各記事について、英語版の文から中国版の文にマッチしている文をランダムに選択し、これらの英語の文は中国語の記事における正しい位置が判明していることを用いて評価を行った。
【００８３】
比較対象として、人手による対応付けを利用する方法を使用した。まず、英語の記事中のいくつかの文が中国語の記事中の文と人手により対応付けられていると仮定し、ある英語の文と同じ情報を含む中国語の対応する文が判明した。新しい情報を含む英語の文をｅｉとすると、最も適切な挿入位置はｅｉ−１とマッチした中国語の文ｃｊの後だと考えられる。もし、ｅｉ−１とマッチした中国語の文がない場合は、ｅｉ−２やｅｉ−３などを調べた。この方法は人手による作業が必要で、完全に自動的ではない。この方法を、マニュアルアライメント法（manual alignment-based）と呼ぶ。
【００８４】
ラベル伝播法については、以下の２つのバリエーションを用いた。以下の２つのバリエーションは、ラベル伝播法で用いるグラフ作成の際のエッジの形成手法が異なる。
【００８５】
段落ベースエッジ形成法：上記第１及び第２の実施の形態の情報挿入位置探索部４０と同様の手法
セクションベースエッジ形成法：上記第１及び第２の実施の形態の情報挿入位置探索部４０と同様の手法であり、同じセクションにある２つの文（ノード）の間にもエッジを形成する手法（第１及び第２の実施の形態の他の例）
ここでは、各方法の性能を評価するために、以下の３つの指標を使用した。
【００８６】
平均距離(Average Distance）：予測位置と正しい挿入位置との間の距離
セクション精度(Section Accuracy)：正しいセクションに挿入されたかどうか反映する指標
段落精度(Paragraph Accuracy)：正しい段落に挿入されたかどうか反映する指標
英語の記事から３０％と５０％の文を選択して実験を行った。結果は以下の表２に示す。
【００８７】
【表２】
0005441872.tif 000006
【００８８】
第１及び第２の実施の形態の手法（段落ベースエッジ形成法、セクションベースエッジ形成法）は、マニュアルアライメント法より優れていることが確認できた。
【００８９】
本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００９０】
また、本願明細書中において、プログラムが予めインストールされている実施の形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００９１】
１０、２１０  文章処理装置
１２   データ読込部
２０、２２０  新情報識別部
２２   前処理部
２４   機械翻訳部
２６   類似度計算部
２８、２２８  フラグ付与部
３０   特徴抽出部
３２   分類器学習部
３４   フラグ更新部
４０   情報挿入位置探索部
【図１】
0005441872.tif 000007
【図２】
0005441872.tif 000008
【図３】
0005441872.tif 000009
【図４】
0005441872.tif 000010
【図５】
0005441872.tif 000011
【図６】
0005441872.tif 000012
【図７】
0005441872.tif 000013