(57)【要約】【課題】  自然言語で記述された文書に記述されていない不足単語のうち、ユーザに入力を求める単語数を減らす。【解決手段】  他の文書を用いて生成されたクラスタ化された重要単語と、それら重要単語の因果関係をデータベース化しておき、新規文書から重要単語を抽出し、データベースの重要単語のうちの新規文書の重要単語に含まれない重要単語であって、当該重要単語のクラスタに含まれる因果関係の上流単語が新規文書の重要単語に含まれない単語である場合に、当該単語をユーザに入力を求めるために提示する単語リストに含め、データベースの重要単語のうちの新規文書の重要単語に含まれない単語であって、当該単語のクラスタに含まれる因果関係の上流単語が新規文書の重要単語に含まれる単語である場合に、当該単語をユーザに入力を求めるために提示する単語リストに含めないことにより、単語リストを作成する。【選択図】  図１
2016057652.tif 000002
【特許請求の範囲】
【請求項１】
自然言語で記述された対象文書に不足している単語から、ユーザに入力を求める単語リストを生成する単語リスト生成装置であって、
データベース部と、単語リスト生成エンジン部とを備え、
前記データベース部は、自然言語で記述された他の文書から抽出した複数の重要単語がクラスタ化され、当該重要単語が各クラスタ内における単語間の因果関係とともに記憶されており、
前記単語リスト生成エンジン部は、
単語リストを作成する対象の新規文書から重要単語を抽出するエンジンと、
前記他の文書から抽出した重要単語のうちの前記抽出した新規文書の重要単語に含まれない単語であって、当該重要単語のクラスタに含まれる因果関係の上流単語が新規文書の重要単語にも含まれない単語である場合に、当該単語をユーザに提示する単語リストに含めるエンジンと、
前記他の文書から抽出した重要単語のうちの前記抽出した新規文書の重要単語に含まれない単語であって、当該単語のクラスタに含まれる因果関係の上流単語が新規文書の重要単語にも含まれる単語である場合に、当該単語をユーザに提示する単語リストに含めないことで単語リストを作成するエンジンとを有することを特徴とする単語リスト生成装置。
【請求項２】
請求項１において、
前記単語リスト生成エンジン部は、
自然言語で記述された他の文書から複数の重要単語を抽出し、データベース部に記憶するエンジンと、
前記複数の重要単語の間の共起関係を抽出してクラスタ化し、データベース部に記憶するエンジンと、
クラスタ化された重要単語の間の因果関係を分析し、データベース部に記憶するエンジンと、
を備えることを特徴とする単語リスト生成装置。
【請求項３】
請求項１または２において、
前記他の文書及び前記新規文書は、設計文書であることを特徴とする単語リスト生成装置。
【請求項４】
請求項2において、
前記クラスタ内の単語間の因果関係は各単語を用いた文書数により決定することを特徴とする単語リスト生成装置。
【請求項５】
自然言語で記述された新規文書をコンピュータに入力し、コンピュータに当該新規文書に不足している単語からユーザに入力を求める単語リストを生成させる単語リスト生成方法であって、
自然言語で記述された他の文書から抽出した複数の重要単語をクラスタ化しておくとともに、当該重要単語を各クラスタ内における重要単語間の因果関係とともにデータベースに記憶させておき、
コンピュータに、
単語リストを作成する対象の新規文書から重要単語を抽出させ、
前記他の文書から抽出した重要単語のうちの前記抽出した新規文書の重要単語に含まれない重要単語であって、当該重要単語のクラスタに含まれる因果関係の上流単語が新規文書の重要単語に含まれない単語である場合に、当該単語をユーザに入力を求めるために提示する単語リストに含め、
前記他の文書から抽出した重要単語のうちの前記抽出した新規文書の重要単語に含まれない単語であって、当該単語のクラスタに含まれる因果関係の上流単語が新規文書の重要単語に含まれる単語である場合に、当該単語をユーザに入力を求めるために提示する単語リストに含めないことにより、単語リストを作成させることを特徴とする単語リスト生成方法。
【請求項６】
請求項５において、
自然言語で記述された他の文書から複数の重要単語を抽出し、データベース部に記憶し、
前記複数の重要単語の間の共起関係を抽出してクラスタ化し、データベース部に記憶し、
クラスタ化された重要単語の間の因果関係を分析し、データベース部に記憶することを特徴とする単語リスト生成方法。
【請求項７】
請求項５または６において、
前記他の文書及び前記新規文書は、設計文書であることを特徴とする単語リスト生成方法。
【請求項８】
請求項６において、
前記クラスタ内の単語間の因果関係は各単語を用いた文書数により決定することを特徴とする単語リスト生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自然言語で記載された文書に不足している単語リストを生成する情報処理技術に関する。
【背景技術】
【０００２】
特開2004-302506号公報(特許文献1)［0024］には、「テキストマイニング手段１２２は、音声認識手段１２１で変換されたテキストデータから、必要な情報を抽出する。テキストマイニングは、複数のテキストデータの集計を行う場合に使用される場合があるが、言語処理に基づいてテキストからマイニングに役立ちそうな概念情報の抽出を行うことができる。この機能により、テキストデータからユーザの情報（氏名、連絡先を含む）、修理現場、対象機器、故障部位、故障状況他、必要な情報を抽出することができる。テキストマイニング手段１２２は、ユーザ２００が、自由に話す言葉から、必要なデータを抽出できることができるため好ましい。さらに、テキストマイニングの精度を上げるため、必要な項目に関して回答が得られるよう、修理依頼受付システム１０１が音声で所定の質問をする場合がある。具体的には音声送受信部１１０が、氏名、住所、電話番号、対象機器、故障部位、故障状況を、合成音声などで質問して、回答を得る方法に例示される。質問に対する回答であるため、回答内容の範囲が予想でき、テキストマイニングの精度が向上する。」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2004-302506
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献1では、他の回答から必要な項目が得られる場合でも、必要な項目そのものを得られない場合、全て質問することになる。
【０００５】
しかし、単語の共起関係や因果関係を考慮すれば、回答済みの他の回答から導き出すことができる単語もあるはずである。
【０００６】
本発明の目的は、自然言語で記述された文書に不足している情報のうち、ユーザに入力を求める情報量を減らすことで、短時間に必要な情報を収集することである。
【課題を解決するための手段】
【０００７】
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、次のとおりである。
【０００８】
自然言語で記述された新規文書をコンピュータに入力し、コンピュータに当該新規文書に不足している単語からユーザに入力を求める単語リストを生成させる単語リスト生成方法であって、
自然言語で記述された他の文書から抽出した複数の重要単語をクラスタ化しておくとともに、当該重要単語を各クラスタ内における重要単語間の因果関係とともにデータベースに記憶させておき、
コンピュータに、
単語リストを作成する対象の新規文書から重要単語を抽出させ、
前記他の文書から抽出した重要単語のうちの前記抽出した新規文書の重要単語に含まれない重要単語であって、当該重要単語のクラスタに含まれる因果関係の上流単語が新規文書の上流単語に含まれない単語である場合に、当該単語をユーザに入力を求めるために提示する単語リストに含め、
前記他の文書から抽出した重要単語のうちの前記抽出した新規文書の重要単語に含まれない単語であって、当該単語のクラスタに含まれる因果関係の上流単語が新規文書の上流単語に含まれる単語である場合に、当該単語をユーザに入力を求めるために提示する単語リストに含めないことにより、単語リストを作成させることを特徴とする単語リスト生成方法。
【発明の効果】
【０００９】
本発明によれば、自然言語で記述された文書に不足している情報のうち、ユーザに入力を求める情報量を減らすことで、短時間に必要な情報を収集することができる。
【図面の簡単な説明】
【００１０】
【図１】単語リスト生成装置のブロック図である。
【図２】単語リスト作成装置の処理フローを示す図である。
【図３】重要単語選定ステップの処理フロー図である。
【図４】DB作成用文書のデータテーブルを示す図である。
【図５】図４のＤＢ作成用文書から作成した単語リストを示す図である。
【図６】話題推定モデルを示す図である。
【図７】単語分布を示す図である。
【図８】共起・因果関係分析ステップの処理フローを示す図である。
【図９】各重要単語の使用実績データを示す図である。
【図１０】重要単語の単語クラスタ情報を示す図である。
【図１１】各単語間の因果関係を示す図である。
【図１２】単語リスト作成ステップの処理フローを示す図である。
【図１３】単語リストを提示する画面イメージを示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施例を説明するが、これらに限定されるものではない。
【実施例１】
【００１２】
以下、実施例について図面を用いて説明する。
［基本ブロック構成］
図１は、単語リスト生成装置のブロック図である。
【００１３】
本実施例の単語リスト生成装置は、データベース部1510と、データベース部1510とネットワークで接続されている単語リスト生成エンジン部1520と、単語リスト生成エンジン部1520とネットワークで接続されているユーザインターフェース部1530とを備えている。
【００１４】
データベース部1510は、DB作成用文書DB1511と、重要単語DB1512と、共起・因果関係DB1513と、新規文書DB1514を備えている。
【００１５】
DB作成用文書DB1511には、重要単語DB1512及び共起・因果関係DB1513の構築に用いる自然言語で記述された文書が記憶されている。
【００１６】
重要単語DB1512には、DB作成用文書DB1511から抽出した重要単語が記憶されている。
【００１７】
共起・因果関係DB1513には、重要単語DB1512に記憶されている重要単語間の共起関係及び因果関係が記憶されている。
【００１８】
新規文書DB1514には、単語リストの生成対象である自然言語で記述された文書が記憶されている。
【００１９】
単語リスト生成エンジン部1520は、形態素解析エンジン1521と、話題推定モデル構築エンジン1522と、単語分布推定エンジン1523と、しきい値設定エンジン1524と、重要単語判定エンジン1525と、単語クラスタ作成エンジン1526と、因果関係分析エンジン1527と、候補単語抽出エンジン1528と、出力単語選定エンジン1529からなる。
【００２０】
ユーザインターフェース1530は、新規文書入力画面1531と、単語リスト確認画面1532からなる。
【００２１】
これらのエンジン及びユーザインターフェースについては、以下の処理フローとともに説明する。
［フロー説明］
図２は本実施例の単語リスト生成装置の処理フロー図である。
【００２２】
本実施例の単語リスト生成装置は、自然言語で記述された文書を対象とし、単語リストの生成対象でない他の文書、（例えばに過去に作成された文書）をDB作成用文書として取得するDB作成用文書取得ステップ101と、取得したDB作成用文書から重要単語を選定する重要単語選定ステップ102と、選定した重要単語を共起関係でクラスタ化するとともに、そのクラスタ内の重要単語の因果関係を分析する共起・因果関係抽出ステップ103と、単語リストの生成対象である新規文書を取得する新規文書取得ステップ104と、取得した新規文書から重要単語を選定する重要単語選定ステップ105と、データベース部にクラスタ化して記憶された重要単語とそのクラスタ内での因果関係からユーザに提示する単語リストを生成する単語リスト作成ステップ106と、作成した単語リストをユーザに提示する単語リスト提示ステップ107からなる処理フローを有している。
【００２３】
処理フローは、ステップ101からステップ103がDB作成ステップで、ステップ104からステップ107が単語リスト作成ステップである。
［DB作成用文書取得ステップ］
DB作成用文書取得ステップ101では、DB作成用文書DB1511より、DB作成用文書を取得する。
【００２４】
DB作成用文書DB1511のデータテーブルを図４に示す。DB作成用文書DB1511には、案件No.、発行日時、文書が記録されている。後述する新規文書DBも同様の形式である。本実施例では、全文書を取得するが、必要に応じて、発行日時の欄を用いて、または他の条件を設定しておいて、一部の文書のみを取得するように設定してもよい。
［重要単語選定ステップ］
次に、重要単語選定ステップ102では、DB作成用文書取得ステップ101で取得したDB作成用文書を入力し、重要単語を選定する。
【００２５】
なお、本実施例では、設計文書を対象とし、コストまたは工数に影響する単語を重要単語として選定している。製造業は、設計文書を顧客から受け取るか、顧客の要望に応じて製造業者が設計文書（製品仕様書など）作成する。設計文書で使用されている単語は、追加コストや追加工数に対して影響している単語は限られており、また、単語間の共起関係及び因果関係も他の文書よりも抽出が容易である。そして、これら設計文書からコストや工数の概算が把握できる単語リストをコンピュータによる情報処理によって自動生成できることは、製造業にとって大きなメリットとなる。
［重要単語選定ステップの詳細フロー］
重要単語選定ステップ102の詳細なフローを図３に示す。
【００２６】
重要単語選定ステップ102は、形態素解析ステップ301と、話題推定モデル構築ステップ302と、単語分布分析ステップ303と、しきい値設定ステップ304と、重要単語判定ステップ305からなる処理フローを有している。
＜形態素解析ステップ＞
形態素解析ステップ301では、DB作成用文書取得ステップ101で取得したDB作成用文書を形態素解析エンジン1521に入力する。形態素解析エンジン1521は既存の技術であるので、詳細は省略するが、形態素解析エンジン1521は、各DB作成用文書を単語に分割した単語リストを出力する。
【００２７】
図４のDB作成用文書から、形態素解析ステップ301で生成した単語リストを図５に示す。案件No.1の「機器Aと機器Bの配置が変更になりましたので、配線の長さを延長してください。」というDB作成用文書が、「機器A」「と」「機器B」「の」「配置」「が」「変更」「に」「なりました」「ので」「、」「配線」「の」「長さ」「を」「延長」「して」「ください」「。」という単語リストに分割される。 
＜話題推定モデル構築ステップ＞
次の話題推定モデル構築ステップ302では、話題推定モデル構築エンジン1522に対して形態素解析ステップ301で文書を単語に分割した単語リストを入力する。話題推定モデル構築エンジン1522は、各DB作成用文書がどのような話題を扱っているかを推定するためのモデルを出力する。この話題推定モデル構築エンジン1522は既存技術であるので、詳述はしないが、利用可能なモデルとして、Naive BayesやProbabilistic Latent Semantic IndexingやLatent Dirichlet Allocationがある。本実施例では、図６に示すとおり、Latent Dirichlet Allocationを利用したモデルを構築している。
【００２８】
＜単語分布推定ステップ＞
次の単語分布分析ステップ303では、単語分布エンジン1523に対して、形態素解析ステップ301の出力である単語リストと、DB作成用文書と、話題推定モデル構築ステップ302で構築した話題推定モデルと、形態素解析ステップ301の出力である単語リストを入力する。単語分布エンジン1523は、話題推定モデルに基づいてDB作成用文書の話題を推定し、各話題ごとに各単語の出現頻度を分析し、単語分布（出現頻度）を出力する。図７に単語分布の例を示す。図７は、話題Aに対する単語の出現頻度のヒストグラムを示している。横軸が形態素解析エンジン1523によって分割された単語のリスト、縦軸が各単語の出現頻度を示している。
【００２９】
＜しきい値設定ステップ＞
次のしきい値設定ステップ304では、しきい値設定エンジン1524に対して、単語分布分析ステップ303で分析した各単語の出現頻度を入力する。しきい値設定エンジン1524は各単語が重要単語であるかどうかを判断するためのしきい値を出力する。本実施例では、しきい値の設定方法として、話題ごと、各単語の出現頻度が他の単語と比べて著しく大きいかどうかを判断するためのしきい値を設定する。具体的には、各単語の出現頻度の75%タイル点に、75%タイル・と25%タイル点の差の定数倍を足し合わせた値をしきい値とした。
【００３０】
また、本実施例では、本しきい値を各話題に対して設定するか、全話題に対して共通のしきい値を設定するかはユーザが任意に選択できるようにしている。
【００３１】
さらに、本実施例で重要単語として抽出するのは代名詞を除く名詞と動詞に限り抽出するものとし、その他の品詞は情報量が低いため除外している。本実施例の場合、設計文書を対象とし、コストまたは工数に影響する単語を重要単語として選定するが、他の品詞はコストまたは工数にほとんど影響しないからである。
【００３２】
＜重要単語判定ステップ＞
次の重要単語判定ステップ305では、重要単語判定エンジン1525に対して、しきい値設定ステップ304で設定したしきい値と単語分布推定ステップ303で分析した各単語の出現頻度を入力する。重要単語判定エンジン1525は、しきい値よりも出現頻度が大きい単語のリストを重要単語として出力する。この重要単語は、重要単語DB1512に記憶される。
【００３３】
次に、共起・因果関係抽出ステップ103の詳細なフローを図８を用いて説明する。
【００３４】
［共起・因果関係抽出ステップ］
共起・因果関係抽出ステップ103は、単語クラスタ作成ステップ801と、因果関係分析ステップ802からなる。
【００３５】
＜単語クラスタ作成ステップ＞
単語クラスタ作成ステップ801は、単語クラスタ作成エンジン1526に対して、DB作成用文書DB1511のDB作成用文書と、重要単語判定ステップ305で選定された重要単語を入力する。単語クラスタ作成エンジン1526は、DB作成用文書における重要単語判定ステップ305で選定された重要単語の使用実績を抽出する。そして、単語クラスタ作成エンジン1526は、重要単語判定ステップ305で選定された話題毎の重要単語の共起関係を分析し、一定の共起関係のある単語同士を一つのクラスタとして抽出する。
【００３６】
DB作成用文書における、各重要単語の使用実績データの例を図９に示す。図９に示す表の各行はDB作成用文書のそれぞれに対応している。各列は各重要単語に対応している。文書1の行における重要単語1の列が1になっているのは、DB作成用文書1内で、重要単語1が使用されていることを意味する。一方、DB作成用文書1の行における重要単語2の列が0になっているのは、DB作成用文書1内で、重要単語2が使用されていないことを意味する。
【００３７】
図１０に重要単語の単語クラスタ情報の例を示す。各行は重要単語に対応している。各行の2列目が単語クラスタを表している。図１０において、重要単語1と重要単語2の単語クラスタがともに1であるのは、重要単語1と重要単語2が同一の単語クラスタに属することを意味する。クラスタ分割方法の一例として、単語が共起する頻度からなる行列に対して、クラスタ分析方式を適用する方法などが挙げられる。クラスタ分析方式としては、k-means法やEMアルゴリズムによる方法などがある。
【００３８】
＜因果関係分析ステップ＞
因果関係分析ステップ802では、因果関係分析エンジン1527に対して、単語クラスタ作成ステップ801で作成した単語クラスタ情報と、各単語の使用実績データを入力する。因果関係分析エンジン1527は、単語クラスタ内における単語の因果関係を評価し、どちらの単語の方が上流の単語であるかを決定し、決定した各単語間の因果関係を共起・因果関係DB1512に記憶する。
【００３９】
各単語間の因果関係の例を図１１に示す。図１１に示す表の各行、列は重要単語に対応している。重要単語1の行における重要単語2の列が1になっているのは、重要単語1が使用されると、重要単語2も使用されるという因果関係（重要単語１が上流、重要単語２が下流）があることを意味する。また、重要単語2の行における重要単語1の列が0になっているのは、重要単語2が使用されたとき、重要単語1が使用されるという因果関係が存在しない（重要単語２が重要単語１の上流）ことを意味する。
【００４０】
また、どちらの単語の方が上流であるかを決定する他の方法としては、各単語を用いた過去に作成された文書数を利用する方法も挙げられる。例えば、単語Aは、過去文書のうち、100個の文書で用いられ、単語Bは、過去に作成された文書のうち、50個の文書で用いられ、さらに、単語Aと単語Bが同時に用いられていた文書数が10個であったとする。このとき、単語Aが用いられたときに単語Bが共起する確率は10%であり、単語Bが用いられたときに単語Aが共起する確率は20%となるので、単語Bが用いられたとき、単語Aが共起する確率の方が高く、単語Bを上流とする因果関係があると決定する。
【００４１】
［新規文書取得ステップ及び重要単語選定ステップ］
新規文書取得ステップ104及び重要単語選定ステップ105は、対象とする文書が新規文書である点で異なるのみで、DB作成用文書取得ステップ101及び重要単語選定ステップ102と同様の処理行う。なお、新規文書DBへの新規文書のユーザによる登録は、新規文書入力画面1531を用いて行う。
【００４２】
［単語リスト作成ステップ］
次に、単語リスト作成ステップ106の詳細なフローを図１２に示す。
【００４３】
単語リスト作成ステップ106は、重要単語DB1512の重要単語と、共起・因果関係DB1513の各単語クラスタ内における単語間の因果関係と、重要単語選定ステップ105で選定した新規文書内の重要単語とから、候補単語を抽出し、ユーザに提示する単語リストの単語を選定し、出力する。
【００４４】
単語リスト作成ステップ104は、候補単語抽出ステップ1201と、出力単語選定ステップ1202からなる。
【００４５】
＜候補単語抽出ステップ＞
候補単語抽出ステップ1201は、候補単語抽出エンジン1528に対して、重要単語DB1512の重要単語と、共起・因果関係DB1513の各単語クラスタにおける単語間の因果関係と、重要単語選定ステップ105で重要単語判定エンジン1525が選定した新規文書内の重要単語を入力する。重要単語DB1512の重要単語のうち、新規文書内の重要単語に含まれていない重要単語を第1候補単語リストとして抽出する。そして、候補単語抽出エンジン1528は、共起・因果関係DB1513の各単語間の因果関係を参照することにより、第1候補単語の上流単語が新規文書内の重要単語に含まれていない場合に、当該単語を除外せずにそのまま第2候補単語リストとし、第1候補単語の上流単語が新規文書内の重要単語に含まれている場合に、当該単語を除外して第2候補単語リストとして生成する。
【００４６】
＜出力単語選定ステップ＞
出力単語選定ステップ1202は、出力単語選定エンジン1529に対して、候補単語抽出ステップ1201で抽出した第2候補単語リストと共起・因果関係DB1513の各単語間の因果関係を入力する。出力単語選定エンジン1529は、単語間の因果関係を参照することにより、第2候補単語リストの各単語が含まれるカテゴリの最上流にある単語を最終単語リストとして出力する。なお、より簡易な方法として、第2候補単語リストをそのまま最終単語リストとしてもよい。
【００４７】
［単語リスト提示ステップ］
単語リスト提示ステップ105では、単語リスト作成ステップ104で作成した最終単語リストをユーザに提示し、補足の要否に関する入力を要求する。ユーザに対して提示する画面イメージを図１３に示す。
【符号の説明】
【００４８】
101・・・DB作成用文書取得ステップ、102・・・重要単語選定ステップ、103・・・共起・因果関係抽出ステップ、104・・・新規文書取得ステップ、105・・・重要単語選定ステップ、106・・・単語リスト作成ステップ、107・・・単語リスト提示ステップ、301・・・形態素解析ステップ、302・・・話題推定モデル構築ステップ、303・・・単語分布分析ステップ、304・・・しきい値設定ステップ、305・・・重要単語判定ステップ、801・・・単語クラスタ作成ステップ、802・・・因果関係分析ステップ、1201・・・候補単語抽出ステップ、1202・・・出力単語選定ステップ、1510・・・データベース部、1511・・・DB作成用文書DB、1512・・・重要単語DB、1513・・・共起・因果関係DB、1520・・・単語リスト生成エンジン部、1521・・・形態素解析エンジン、1522・・・話題推定モデル構築エンジン、1523・・・単語分布推定エンジン、1524・・・しきい値設定エンジン、1525・・・重要単語判定エンジン、1526・・・単語クラスタ作成エンジン、1527・・・因果関係分析エンジン、1528・・・候補単語抽出エンジン、1529・・・出力単語選定エンジン、1530・・・ユーザインターフェース、1531・・・新規文書入力画面、1532・・・単語リスト確認画面
【図１】
2016057652.tif 000003
【図２】
2016057652.tif 000004
【図３】
2016057652.tif 000005
【図４】
2016057652.tif 000006
【図５】
2016057652.tif 000007
【図６】
2016057652.tif 000008
【図７】
2016057652.tif 000009
【図８】
2016057652.tif 000010
【図９】
2016057652.tif 000011
【図１０】
2016057652.tif 000012
【図１１】
2016057652.tif 000013
【図１２】
2016057652.tif 000014
【図１３】
2016057652.tif 000015