(57)【要約】      （修正有）【課題】文書ペアの関連性を精度よく判定する。【解決手段】カテゴリ取得部４２６４により、入力された文書ペアに含まれる文書の各々について、文書に含まれる各単語に対応するカテゴリを取得し、重複カテゴリ取得部４２６８により、文書ペアに含まれる一方の文書についてのカテゴリと、他方の文書についてのカテゴリとに基づいて、文書ペアにおいて重複するカテゴリを示すカテゴリ素性を取得し、カテゴリ重なり度算出部４２７０により、文書ペアに含まれる文書毎のカテゴリと、重複するカテゴリを示すカテゴリ素性とに基づいて、文書ペアにおけるカテゴリの重なり度を示すカテゴリ素性を算出し、関連性判定部により、文書ペアにおける重複するカテゴリを示すカテゴリ素性と、文書ペアにおけるカテゴリの重なり度を示すカテゴリ素性と、予め学習された、文書ペアの関連性を判定するためのモデルとに基づいて、文書ペアの関連性を判定する。【選択図】図１２
2016001399.tif 000002
【特許請求の範囲】
【請求項１】
入力された文書ペアに含まれる形態素解析済みの文書の各々について、予め用意された単語とカテゴリとの対応関係に基づいて、前記文書に含まれる各単語に対応するカテゴリを取得するカテゴリ取得部と、
前記カテゴリ取得部において取得された、前記文書ペアに含まれる一方の文書についてのカテゴリと、他方の文書についてのカテゴリとに基づいて、前記文書ペアにおいて重複するカテゴリを示す素性を取得する重複カテゴリ取得部と、
前記カテゴリ取得部において取得された、前記文書ペアに含まれる文書毎のカテゴリと、前記重複カテゴリ取得部において取得された重複するカテゴリを示す素性とに基づいて、前記文書ペアにおけるカテゴリの重なり度を示す素性を算出するカテゴリ重なり度算出部と、
前記重複カテゴリ取得部により取得された前記文書ペアにおける重複するカテゴリを示す素性と、前記カテゴリ重なり度算出部により算出された前記文書ペアにおけるカテゴリの重なり度を示す素性と、予め学習された、文書ペアの関連性を判定するためのモデルとに基づいて、前記文書ペアの関連性を判定する関連性判定部と、
を含む、関連性判定装置。
【請求項２】
前記文書ペアに含まれる前記文書の各々について、前記文書に含まれる述部を取得する述部取得部と、
前記述部取得部により取得された、前記文書ペアに含まれる一方の文書の述部と、他方の文書の述部とからなる述部ペアの各々について、予め学習された述部ペアの同義を判定するモデルに基づいて、前記述部ペアが同義であるか否かを判定する同義判定部と、を更に含み、
前記関連性判定部は、前記重複カテゴリ取得部により取得された前記文書ペアにおける重複するカテゴリを示す素性と、前記カテゴリ重なり度算出部により算出された前記文書ペアにおけるカテゴリの重なり度を示す素性と、前記同義判定部により同義であると判定された述部ペアを示す素性と、予め学習された、文書ペアの関連性を判定するためのモデルとに基づいて、前記文書ペアの関連性を判定する請求項１記載の関連性判定装置。
【請求項３】
前記文書ペアに含まれる前記文書の各々について、係り受け解析を行う係り受け解析部と、
前記文書ペアに含まれる前記文書の各々について、前記文書に含まれる項述部を取得する項述部取得部と、
前記項述部取得部により取得された、前記文書ペアに含まれる一方の文書の項述部と、他方の文書の項述部とからなる項述部ペアの各々について、予め学習された項述部ペアの同義を判定するモデルに基づいて、前記項述部ペアが同義であるか否か項述部を判定する同義判定部とを更に含み、
前記関連性判定部は、前記同義判定部により同義であると判定された項述部ペアを示す素性を含む各素性と、予め学習された、文書ペアの関連性を判定するためのモデルとに基づいて、前記文書ペアの関連性を判定する請求項１又は２記載の関連性判定装置。
【請求項４】
前記文書ペアに含まれる一方の文書に含まれる単語と、他方の文書に含まれる単語とに基づいて、前記文書ペア間で重複する単語を示す素性を取得する重複単語素性取得部を更に含み、
前記関連性判定部は、前記重複単語素性取得部により取得された重複する単語を示す素性を含む各素性と、予め学習された、文書ペアの関連性を判定するためのモデルとに基づいて、前記文書ペアの関連性を判定する請求項１〜請求項３の何れか１項記載の関連性判定装置。
【請求項５】
入力された、文書ペアの関連性を示すラベルが各々付加されている、複数の文書ペアの各々について、前記文書ペアに含まれる形態素解析済みの文書毎に、予め用意された単語とカテゴリとの対応関係に基づいて、前記文書に含まれる各単語に対応するカテゴリを取得するカテゴリ取得部と、
前記文書ペアの各々について、前記カテゴリ取得部において取得された、前記文書ペアに含まれる一方の文書についてのカテゴリと、他方の文書についてのカテゴリとに基づいて、前記文書ペアにおいて重複するカテゴリを示す素性を取得する重複カテゴリ取得部と、
前記文書ペアの各々について、前記カテゴリ取得部において取得された、前記文書ペアに含まれる文書毎のカテゴリと、前記重複カテゴリ取得部において取得された重複するカテゴリを示す素性とに基づいて、前記文書ペアにおけるカテゴリの重なり度を示す素性を算出するカテゴリ重なり度算出部と、
前記重複カテゴリ取得部により取得された前記文書ペアの各々における重複するカテゴリを示す素性と、前記カテゴリ重なり度算出部により算出された前記文書ペアの各々におけるカテゴリの重なり度を示す素性と、前記文書ペアの各々に付加された関連性を示すラベルとに基づいて、文書ペアの関連性を判定するためのモデルを学習するモデル学習部と、
を含む、モデル学習装置。
【請求項６】
カテゴリ取得部と、重複カテゴリ取得部と、カテゴリ重なり度算出部と、関連性判定部と、を含む関連性判定装置における、関連性判定方法であって、
前記カテゴリ取得部は、入力された文書ペアに含まれる形態素解析済みの文書の各々について、予め用意された単語とカテゴリとの対応関係に基づいて、前記文書に含まれる各単語に対応するカテゴリを取得し、
前記重複カテゴリ取得部は、前記カテゴリ取得部において取得された、前記文書ペアに含まれる一方の文書についてのカテゴリと、他方の文書についてのカテゴリとに基づいて、前記文書ペアにおいて重複するカテゴリを示す素性を取得し、
前記カテゴリ重なり度算出部は、前記カテゴリ取得部において取得された、前記文書ペアに含まれる文書毎のカテゴリと、前記重複カテゴリ取得部において取得された重複するカテゴリを示す素性とに基づいて、前記文書ペアにおけるカテゴリの重なり度を示す素性を算出し、
前記関連性判定部は、前記重複カテゴリ取得部により取得された前記文書ペアにおける重複するカテゴリを示す素性と、前記カテゴリ重なり度算出部により算出された前記文書ペアにおけるカテゴリの重なり度を示す素性と、予め学習された、文書ペアの関連性を判定するためのモデルとに基づいて、前記文書ペアの関連性を判定する
関連性判定方法。
【請求項７】
カテゴリ取得部と、重複カテゴリ取得部と、カテゴリ重なり度算出部と、モデル学習部と、を含むモデル学習装置における、モデル学習方法であって、
前記カテゴリ取得部は、入力された、文書ペアの関連性を示すラベルが各々付加されている、複数の文書ペアの各々について、前記文書ペアに含まれる形態素解析済みの文書毎に、予め用意された単語とカテゴリとの対応関係に基づいて、前記文書に含まれる各単語に対応するカテゴリを取得し、
前記重複カテゴリ取得部は、前記文書ペアの各々について、前記カテゴリ取得部において取得された、前記文書ペアに含まれる一方の文書についてのカテゴリと、他方の文書についてのカテゴリとに基づいて、前記文書ペアにおいて重複するカテゴリを示す素性を取得し、
前記カテゴリ重なり度算出部は、前記文書ペアの各々について、前記カテゴリ取得部において取得された、前記文書ペアに含まれる文書毎のカテゴリと、前記重複カテゴリ取得部において取得された重複するカテゴリを示す素性とに基づいて、前記文書ペアにおけるカテゴリの重なり度を示す素性を算出し、
前記モデル学習部は、前記重複カテゴリ取得部により取得された前記文書ペアの各々における重複するカテゴリを示す素性と、前記カテゴリ重なり度算出部により算出された前記文書ペアの各々におけるカテゴリの重なり度を示す素性と、前記文書ペアの各々に付加された関連性を示すラベルとに基づいて、文書ペアの関連性を判定するためのモデルを学習する
モデル学習方法。
【請求項８】
コンピュータを、請求項１〜４の何れか１項記載の関連性判定装置又は請求項５記載のモデル学習装置を構成する各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、関連性判定装置、モデル学習装置、方法、及びプログラムに係り、特に、入力された文書ペアの関連性を判定するための関連性判定装置、モデル学習装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
最先端の技術やアルゴリズムを実用サービスに迅速につなげるためには、その技術やアルゴリズムがどのようなサービスに適用可能であるかという技術とサービスの関連性を判断する必要がある。この技術とサービスの関連性を判断するためには、技術やアルゴリズムに関する知識とサービスに関する知識の両方の深い知識が必要である。
【０００３】
技術やアルゴリズムに関する知識は、通常は技術論文など（以後、技術文書と呼ぶ）から習得することが出来るが、これら技術文書には、専門用語が多く含まれ、また内容も技術やアルゴリズムに特化したものが多く、実際のサービスにどのように適用させることが出来るか判断することが困難である。例えば、図１８の（１）及び（２）は、電話会議サービスに用いられる通話装置内に適用されている技術に関する技術文書の一部と、その技術を用いた電話会議サービスの説明文書（以後，サービス説明文書と呼ぶ）の例である。
【０００４】
「音響エコーキャンセラの負荷を軽減しながら、全指向性を持つスピーカ・マイクロホン」という技術が、「不要な周波数成分だけをカットしてクリアな音質」を提供できる電話会議サービスへとつながっているのであるが、図１８の（１）の技術文書から電話会議装置への適用を見出すためには、（１）の技術の内容が図１８の（２）のサービスにつながっていると判断できる知識を持つ必要がある。通常は知識を持った人手による判断が必要である。
【０００５】
技術文書とサービス説明文書との関連性と言った、異なる文書間の類似性を判定する従来技術として、文書を単語ベクトルで表現した、文書間のベクトル類似度計算という方法がある（非特許文献１）。これは、文書に出てくる単語の出現頻度（もしくは、tfidfといった単語に重みづけされた値）を用いて、文書を単語のベクトルで表現し、文書間の類似性（コサイン類似度など）を計測する方法である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Christopher D. Manning and Hinrich Schutze,"Foundations of Statistical Natural Language Processing," Ch. 15.2
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、非特許文献１の手法においては、文書間で表層が全く同じ単語が出現する必要がある。図１８を例にして考えると、図１８の（１）と（２）との文書間では、「装置」という１単語しか共有していないため、表層の単語のみを用いた方法ではこれら文書間の類似度は低くなってしまう。これは、技術文書とサービス説明文書とのドメインが大幅に異なることが原因である。技術文書では、専門知識を持った人向けに簡潔に技術を説明するため、難しい専門用語が頻繁に用いられるのに対し、サービス説明文書では多くの人が理解できるように簡単な表現が用いられる。そのため、これら２つの文書に関連性があったとしても、言い方が異なるために、表層の単語の重なりが少ない。そのため、非特許文献１の技術のように、表層の単語のみを用いて関連性を推定する手法の場合、技術文書とサービス説明文書とのようにドメインが大幅に異なる文書間の関連性を推定することが出来ないという問題がある。
【０００８】
本発明では、上記問題を解決するために成されたものであり、文書ペアの関連性を精度よく判定することができる関連性判定装置、方法、及びプログラムを提供することを目的とする。
【０００９】
また、文書ペアの関連性を精度よく判定するモデルを学習することができるモデル学習装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、第１の発明に係る関連性判定装置は、入力された文書ペアに含まれる形態素解析済みの文書の各々について、予め用意された単語とカテゴリとの対応関係に基づいて、前記文書に含まれる各単語に対応するカテゴリを取得するカテゴリ取得部と、前記カテゴリ取得部において取得された、前記文書ペアに含まれる一方の文書についてのカテゴリと、他方の文書についてのカテゴリとに基づいて、前記文書ペアにおいて重複するカテゴリを示す素性を取得する重複カテゴリ取得部と、前記カテゴリ取得部において取得された、前記文書ペアに含まれる文書毎のカテゴリと、前記重複カテゴリ取得部において取得された重複するカテゴリを示す素性とに基づいて、前記文書ペアにおけるカテゴリの重なり度を示す素性を算出するカテゴリ重なり度算出部と、前記重複カテゴリ取得部により取得された前記文書ペアにおける重複するカテゴリを示す素性と、前記カテゴリ重なり度算出部により算出された前記文書ペアにおけるカテゴリの重なり度を示す素性と、予め学習された、文書ペアの関連性を判定するためのモデルとに基づいて、前記文書ペアの関連性を判定する関連性判定部と、を含んで構成されている。
【００１１】
第２の発明に係る関連性判定方法は、カテゴリ取得部と、重複カテゴリ取得部と、カテゴリ重なり度算出部と、関連性判定部と、を含む関連性判定装置における、関連性判定方法であって、前記カテゴリ取得部は、入力された文書ペアに含まれる形態素解析済みの文書の各々について、予め用意された単語とカテゴリとの対応関係に基づいて、前記文書に含まれる各単語に対応するカテゴリを取得し、前記重複カテゴリ取得部は、前記カテゴリ取得部において取得された、前記文書ペアに含まれる一方の文書についてのカテゴリと、他方の文書についてのカテゴリとに基づいて、前記文書ペアにおいて重複するカテゴリを示す素性を取得し、前記カテゴリ重なり度算出部は、前記カテゴリ取得部において取得された、前記文書ペアに含まれる文書毎のカテゴリと、前記重複カテゴリ取得部において取得された重複するカテゴリを示す素性とに基づいて、前記文書ペアにおけるカテゴリの重なり度を示す素性を算出し、前記関連性判定部は、前記重複カテゴリ取得部により取得された前記文書ペアにおける重複するカテゴリを示す素性と、前記カテゴリ重なり度算出部により算出された前記文書ペアにおけるカテゴリの重なり度を示す素性と、予め学習された、文書ペアの関連性を判定するためのモデルとに基づいて、前記文書ペアの関連性を判定する。
【００１２】
第１及び第２の発明によれば、カテゴリ取得部により、入力された文書ペアに含まれる形態素解析済みの文書の各々について、予め用意された単語とカテゴリとの対応関係に基づいて、文書に含まれる各単語に対応するカテゴリを取得し、重複カテゴリ取得部により、カテゴリ取得部において取得された、文書ペアに含まれる一方の文書についてのカテゴリと、他方の文書についてのカテゴリとに基づいて、文書ペアにおいて重複するカテゴリを示す素性を取得し、カテゴリ重なり度算出部により、取得された、文書ペアに含まれる文書毎のカテゴリと、取得された重複するカテゴリを示す素性とに基づいて、文書ペアにおけるカテゴリの重なり度を示す素性を算出し、関連性判定部により、取得された文書ペアにおける重複するカテゴリを示す素性と、算出された文書ペアにおけるカテゴリの重なり度を示す素性と、予め学習された、文書ペアの関連性を判定するためのモデルとに基づいて、文書ペアの関連性を判定する。
【００１３】
このように、入力された文書ペアに含まれる文書の各々について、文書に含まれる各単語に対応するカテゴリを取得し、文書ペアに含まれる一方の文書についてのカテゴリと、他方の文書についてのカテゴリとに基づいて、文書ペアにおいて重複するカテゴリを示す素性を取得し、取得された、文書ペアに含まれる文書毎のカテゴリと、取得された重複するカテゴリを示す素性とに基づいて、文書ペアにおけるカテゴリの重なり度を示す素性を算出し、取得された文書ペアにおける重複するカテゴリを示す素性と、算出された文書ペアにおけるカテゴリの重なり度を示す素性と、予め学習された、文書ペアの関連性を判定するためのモデルとに基づいて、文書ペアの関連性を判定することによって、文書ペアの関連性を精度よく判定することができる。
【００１４】
また、第１の発明において、前記文書ペアに含まれる前記文書の各々について、前記文書に含まれる述部を取得する述部取得部と、前記述部取得部により取得された、前記文書ペアに含まれる一方の文書の述部と、他方の文書の述部とからなる述部ペアの各々について、予め学習された述部ペアの同義を判定するモデルに基づいて、前記述部ペアが同義であるか否かを判定する同義判定部と、を更に含み、前記関連性判定部は、前記重複カテゴリ取得部により取得された前記文書ペアにおける重複するカテゴリを示す素性と、前記カテゴリ重なり度算出部により算出された前記文書ペアにおけるカテゴリの重なり度を示す素性と、前記同義判定部により同義であると判定された述部ペアを示す素性と、予め学習された、文書ペアの関連性を判定するためのモデルとに基づいて、前記文書ペアの関連性を判定してもよい。
【００１５】
また、第１の発明において、前記文書ペアに含まれる前記文書の各々について、係り受け解析を行う係り受け解析部と、前記文書ペアに含まれる前記文書の各々について、前記文書に含まれる項述部を取得する項述部取得部と、前記項述部取得部により取得された、前記文書ペアに含まれる一方の文書の項述部と、他方の文書の項述部とからなる項述部ペアの各々について、予め学習された項述部ペアの同義を判定するモデルに基づいて、前記項述部ペアが同義であるか否かを判定する同義判定部とを更に含み、前記関連性判定部は、前記同義判定部により同義であると判定された項述部ペアを示す素性を含む各素性と、予め学習された、文書ペアの関連性を判定するためのモデルとに基づいて、前記文書ペアの関連性を判定してもよい。
【００１６】
また、第１の発明において、前記文書ペアに含まれる一方の文書に含まれる単語と、他方の文書に含まれる単語とに基づいて、前記文書ペア間で重複する単語を示す素性を取得する重複単語素性取得部を更に含み、前記関連性判定部は、前記重複単語素性取得部により取得された重複する単語を示す素性を含む各素性と、予め学習された、文書ペアの関連性を判定するためのモデルとに基づいて、前記文書ペアの関連性を判定してもよい。
【００１７】
第３の発明に係るモデル学習装置は、入力された、文書ペアの関連性を示すラベルが各々付加されている、複数の文書ペアの各々について、前記文書ペアに含まれる形態素解析済みの文書毎に、予め用意された単語とカテゴリとの対応関係に基づいて、前記文書に含まれる各単語に対応するカテゴリを取得するカテゴリ取得部と、前記文書ペアの各々について、前記カテゴリ取得部において取得された、前記文書ペアに含まれる一方の文書についてのカテゴリと、他方の文書についてのカテゴリとに基づいて、前記文書ペアにおいて重複するカテゴリを示す素性を取得する重複カテゴリ取得部と、前記文書ペアの各々について、前記カテゴリ取得部において取得された、前記文書ペアに含まれる文書毎のカテゴリと、前記重複カテゴリ取得部において取得された重複するカテゴリを示す素性とに基づいて、前記文書ペアにおけるカテゴリの重なり度を示す素性を算出するカテゴリ重なり度算出部と、前記重複カテゴリ取得部により取得された前記文書ペアの各々における重複するカテゴリを示す素性と、前記カテゴリ重なり度算出部により算出された前記文書ペアの各々におけるカテゴリの重なり度を示す素性と、前記文書ペアの各々に付加された関連性を示すラベルとに基づいて、文書ペアの関連性を判定するためのモデルを学習するモデル学習部と、を含んで構成されている。
【００１８】
第４の発明に係るモデル学習方法は、カテゴリ取得部と、重複カテゴリ取得部と、カテゴリ重なり度算出部と、モデル学習部と、を含むモデル学習装置における、モデル学習方法であって、前記カテゴリ取得部は、入力された、文書ペアの関連性を示すラベルが各々付加されている、複数の文書ペアの各々について、前記文書ペアに含まれる形態素解析済みの文書毎に、予め用意された単語とカテゴリとの対応関係に基づいて、前記文書に含まれる各単語に対応するカテゴリを取得し、前記重複カテゴリ取得部は、前記文書ペアの各々について、前記カテゴリ取得部において取得された、前記文書ペアに含まれる一方の文書についてのカテゴリと、他方の文書についてのカテゴリとに基づいて、前記文書ペアにおいて重複するカテゴリを示す素性を取得し、前記カテゴリ重なり度算出部は、前記文書ペアの各々について、前記カテゴリ取得部において取得された、前記文書ペアに含まれる文書毎のカテゴリと、前記重複カテゴリ取得部において取得された重複するカテゴリを示す素性とに基づいて、前記文書ペアにおけるカテゴリの重なり度を示す素性を算出し、前記モデル学習部は、前記重複カテゴリ取得部により取得された前記文書ペアの各々における重複するカテゴリを示す素性と、前記カテゴリ重なり度算出部により算出された前記文書ペアの各々におけるカテゴリの重なり度を示す素性と、前記文書ペアの各々に付加された関連性を示すラベルとに基づいて、文書ペアの関連性を判定するためのモデルを学習する。
【００１９】
第３及び第４の発明によれば、カテゴリ取得部により、入力された、文書ペアの関連性を示すラベルが各々付加されている、複数の文書ペアの各々について、文書ペアに含まれる形態素解析済みの文書毎に、予め用意された単語とカテゴリとの対応関係に基づいて、文書に含まれる各単語に対応するカテゴリを取得し、重複カテゴリ取得部により、文書ペアの各々について、取得された、文書ペアに含まれる一方の文書についてのカテゴリと、他方の文書についてのカテゴリとに基づいて、文書ペアにおいて重複するカテゴリを示す素性を取得し、カテゴリ重なり度算出部により、文書ペアの各々について、取得された、文書ペアに含まれる文書毎のカテゴリと、取得された重複するカテゴリを示す素性とに基づいて、文書ペアにおけるカテゴリの重なり度を示す素性を算出し、モデル学習部により、取得された文書ペアの各々における重複するカテゴリを示す素性と、算出された文書ペアの各々におけるカテゴリの重なり度を示す素性と、文書ペアの各々に付加された関連性を示すラベルとに基づいて、文書ペアの関連性を判定するためのモデルを学習する。
【００２０】
このように、入力された、文書ペアの関連性を示すラベルが各々付加されている、複数の文書ペアの各々について、文書ペアに含まれる文書毎に、文書に含まれる各単語に対応するカテゴリを取得し、文書ペアの各々について、文書ペアにおいて重複するカテゴリを示す素性を取得し、文書ペアの各々について、文書ペアにおけるカテゴリの重なり度を示す素性を算出し、取得された文書ペアの各々における重複するカテゴリを示す素性と、算出された文書ペアの各々におけるカテゴリの重なり度を示す素性と、文書ペアの各々に付加された関連性を示すラベルとに基づいて、文書ペアの関連性を判定するためのモデルを学習することによって、文書ペアの関連性を精度よく判定することができるモデルを学習することができる。
【００２１】
また、本発明のプログラムは、コンピュータを、上記の関連性判定装置、及びモデル学習装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００２２】
以上説明したように、本発明の関連性判定装置、方法、及びプログラムによれば、入力された文書ペアに含まれる文書の各々について、文書に含まれる各単語に対応するカテゴリを取得し、文書ペアに含まれる一方の文書についてのカテゴリと、他方の文書についてのカテゴリとに基づいて、文書ペアにおいて重複するカテゴリを示す素性を取得し、取得された、文書ペアに含まれる文書毎のカテゴリと、取得された重複するカテゴリを示す素性とに基づいて、文書ペアにおけるカテゴリの重なり度を示す素性を算出し、取得された文書ペアにおける重複するカテゴリを示す素性と、算出された文書ペアにおけるカテゴリの重なり度を示す素性と、予め学習された、文書ペアの関連性を判定するためのモデルとに基づいて、文書ペアの関連性を判定することによって、文書ペアの関連性を精度よく判定することができる。
【００２３】
また、本発明のモデル学習装置、方法、及びプログラムによれば、入力された、文書ペアの関連性を示すラベルが各々付加されている、複数の文書ペアの各々について、文書ペアに含まれる文書毎に、文書に含まれる各単語に対応するカテゴリを取得し、文書ペアの各々について、文書ペアにおいて重複するカテゴリを示す素性を取得し、文書ペアの各々について、文書ペアにおけるカテゴリの重なり度を示す素性を算出し、取得された文書ペアの各々における重複するカテゴリを示す素性と、算出された文書ペアの各々におけるカテゴリの重なり度を示す素性と、文書ペアの各々に付加された関連性を示すラベルとに基づいて、文書ペアの関連性を判定するためのモデルを学習することによって、文書ペアの関連性を精度よく判定することができるモデルを学習することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態に係るモデル学習装置の機能的構成を示すブロック図である。
【図２】本発明の実施の形態に係るモデル学習装置のカテゴリ素性取得部の機能的構成を示すブロック図である。
【図３】技術文書について取得されるカテゴリの例を示す図である。
【図４】サービス説明文書について取得されるカテゴリの例を示す図である。
【図５】重複するカテゴリを示すカテゴリ素性の例を示す図である。
【図６】本発明の実施の形態に係るモデル学習装置の同義素性取得部の機能的構成を示すブロック図である。
【図７】取得された述部の例を示す図である。
【図８】取得された項述部の例を示す図である。
【図９】述部が同義か否かを判定した結果の例を示す図である。
【図１０】取得した素性の例を示す図である。
【図１１】本発明の実施の形態に係る関連性判定装置の機能的構成を示す図である。
【図１２】本発明の実施の形態に係る関連性判定装置のカテゴリ素性取得部の機能的構成を示すブロック図である。
【図１３】本発明の実施の形態に係る関連性判定装置の同義素性取得部の機能的構成を示すブロック図である。
【図１４】関連性の判定結果の例を示す図である。
【図１５】文書ペアについて取得された素性の例を示す図である。
【図１６】本発明の実施の形態に係るモデル学習装置におけるモデル学習処理ルーチンを示すフローチャート図である。
【図１７】本発明の実施の形態に係る関連性判定装置における関連性判定処理ルーチンを示すフローチャート図である。
【図１８】技術文書とサービス説明文書との例を示す図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２６】
＜本発明の原理＞
文書ペアに含まれる、技術文書とサービス説明文書との関連性を判定するため、本実施の形態においては、下記の方法をとる。
【００２７】
（Ａ）２つの文書間で共通している単語を抽象化させたカテゴリを用いることで、表層の表現が異なるが意味が類似した文書の関連性を判定できるようにする。
（Ｂ）２つの文書間で共通している単語のカテゴリの重なり度を素性として用いることで、より類似した文書の関連性を判定できるようにする。
（Ｃ）２つの文書間に現れる述部（文の「どうした」を表す部分）及び項述部（「何-どうした」）の同義表現の出現頻度を素性として用いることで、技術文書及びサービス説明文書において、何が出来るのかを表現している述部表現の類似性を判定できるようにする。これにより、技術文書に記述されている技術がどのようなサービスに適用可能かを判定できるようにする。
【００２８】
上記（Ａ）に示したように、本実施の形態においては、２つの文書間で重複しているカテゴリを素性として取得する。これは、「関連性のある技術文書とサービス説明文書とでは、表層の単語は重複していなくても、抽象的なカテゴリのレベルで類似している」という理由からである。
【００２９】
また、上記（Ｂ）に示したように、本実施の形態においては、文書ペアにおけるカテゴリの重なり度合いを素性として取得する。これは、「カテゴリの重複が多いほど、２つの文書は類似している」という理由からである。
【００３０】
また、上記（Ｃ）に示したように、本実施の形態においては、文書ペアにおける２つの文書から「どうした」を表す述部及び、「何−どうした」を表す項述部を取得し、２つの文書間に同義の述部表現及び同義の項述部表現があるか否かを、同義述部素性及び同義項述部素性として取得する。「どうした」を表す述部は、文の核情報を表している。そのため、述部は技術やサービスを説明する文書において、それらを用いて何ができるか（例えば、「雑音を軽減する」など）を表す重要な表現となる。
【００３１】
２つの文書間において、技術やサービスが、何をすることができるかを表現している述部及び項述部に焦点をおき、これらの述部表現及び項述部表現に重複があれば、技術文書に記述されている技術がサービス説明文書に記述されているサービスに適用することができる可能性が高いことを表す。しかし、技術文書とサービス説明文書とは文書ドメインが異なるため、表層が同じ述部表現及び項述部表現を取得することは困難である。例えば、技術文書中の「軽減する」とサービス説明文書中の「カットする」のように、技術文書とサービス説明文書との間では、同じ意味でも異なる述部表現及び項述部表現が使われる。そこで、本実施の形態においては、見た目は異なるが、同じことを言っている述部表現及び項述部表現があるか否かを特徴とする「同義述部素性」及び「同義項述部素性」を取得することで、技術文書とサービス説明文書との関連性を判定する。
【００３２】
＜本発明の実施の形態に係るモデル学習装置の構成＞
次に、本発明の実施の形態に係るモデル学習装置の構成について説明する。図１に示すように、本発明の実施の形態に係るモデル学習装置１００は、ＣＰＵと、ＲＡＭと、後述するモデル学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このモデル学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０とを備えている。
【００３３】
入力部１０は、文書ペアの関連性を示すラベルが各々付加されている文書ペアの集合を受け付ける。ここで、文書ペアの関連性を示すラベルとして、「関連性あり」と「関連性なし」とを用い、「関連性あり」を正例とし、「関連性なし」を負例とする。なお、本実施の形態においては、文書ペアは、技術文書とサービス説明文書とのペアから構成されているものとする。以下、モデル学習装置の構成の説明について、技術文書「音響エコーキャンセラの負荷を軽減しながら，全指向性を持つスピーカ・マイクロホン一体型通話装置を提案する」と、サービス説明文書「不要な周波数成分だけをカットして，クリアな音質での電話会議を簡単に実現する電話会議装置」との２つの文書から構成される文書ペアについて説明する。
【００３４】
演算部２０は、学習コーパス２２と、形態素解析部２４と、係り受け解析部２６と、カテゴリ素性取得部２８と、同義素性取得部３０と、重複単語素性取得部３１と、モデル学習部３２と、モデル記憶部３４と、を備えている。
【００３５】
学習コーパス２２には、入力部１０において受け付けた文書ペアの関連性を示すラベルが各々付加されている文書ペアの集合が記憶されている。
【００３６】
形態素解析部２４は、学習コーパス２２に記憶されている文書ペアの各々について、当該文書ペアに含まれる文書毎に、品詞を付与する形態素解析を行う。
【００３７】
係り受け解析部２６は、形態素解析部２４において形態素解析された文書ペアの各々に含まれる文書毎に、単語間の係り受け関係を認定する係り受け解析を行う。
【００３８】
カテゴリ素性取得部２８は、文書ペアの各々について、重複するカテゴリを示すカテゴリ素性及びカテゴリの重なり度を示すカテゴリ素性を取得する。また、カテゴリ素性取得部２８は、図２に示すように、カテゴリ辞書記憶部２８２と、カテゴリ取得部２８４と、重複カテゴリ取得部２８６と、カテゴリ重なり度算出部２８８と、を備えている。
【００３９】
カテゴリ辞書記憶部２８２には、非特許文献２（池原悟, 宮崎正弘, 白井諭, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳史, 林良彦 (1999). 日本語語彙大系 CD-ROM版. 岩波書店.）に示すような、特定の単語と特定のカテゴリとの対応関係からなるカテゴリ辞書が記憶されている。例えば、非特許文献２においては、「通話」という単語に、「1548:電話」というカテゴリが対応づけられている。
【００４０】
カテゴリ取得部２８４は、文書ペアの各々について、当該文書ペアに含まれる文書毎に、形態素解析部２４による当該文書の形態素解析結果に基づいて、カテゴリ辞書記憶部２８２に記憶されているカテゴリ辞書を用いて、当該文書に含まれる単語毎に対応するカテゴリを取得する。ここで、図３に文書ペアに含まれる技術文書について取得されるカテゴリの例を示し、図４にサービス説明文書について取得されるカテゴリの例を示す。
【００４１】
重複カテゴリ取得部２８６は、文書ペアの各々について、当該文書ペアに含まれる技術文書について取得したカテゴリの各々と、サービス説明文書について取得したカテゴリの各々とに基づいて、文書ペアにおいて重複するカテゴリを示すカテゴリ素性を取得する。ここで、図５に、取得される重複するカテゴリを示すカテゴリ素性の例を示す。また、図３と図４の下線部分が重複するカテゴリである。本実施の形態においては、重複するカテゴリに「１」を立てる２値素性を用いる。
【００４２】
カテゴリ重なり度算出部２８８は、文書ペアの各々について、重複カテゴリ取得部２８６において、当該文書ペアについて取得された重複するカテゴリを示すカテゴリ素性と、当該文書ペアに含まれる技術文書及びサービス説明文書について取得したカテゴリの各々とに基づいて、下記（１）式に従って、カテゴリの重なり度を算出し、当該結果を、カテゴリの重なり度を示すカテゴリ素性として取得する。ここで、文書ペアにおいて、３８種類のカテゴリ中、７種類のカテゴリが重複しているとすると、０．１８（＝７／３８）がカテゴリの重なり度を示すカテゴリ素性として取得される。
【００４３】
【数１】
2016001399.tif 000003
【００４４】
同義素性取得部３０は、文書ペアの各々について、当該文書ペアに含まれる技術文書と、サービス説明文書とにおいて、同義である述部ペアを示す同義述部素性、及び同義である項述部ペアを示す同義項述部素性を取得する。また、同義素性取得部３０は、図６に示すように、述部取得部３０２と、項述部取得部３０３と、同義判定モデル記憶部３０４と、同義判定部３０６と、を備えている。
【００４５】
述部取得部３０２は、文書ペア毎について、当該文書ペアに含まれる技術文書及びサービス説明文書毎に、形態素解析結果に基づいて、文書に含まれる述部の各々を取得する。本実施の形態においては、「動詞」と、「形容詞」と、助動詞に後続されている「名詞」及び「形容動詞」とを述部として取得する。図７に、取得された述部の例を示す。なお、述部の取得には、統計処理を用いて述部を取得する既存の述部構造解析器などの結果を用いてもよい。
【００４６】
項述部取得部３０３は、文書ペア毎について、当該文書ペアに含まれる技術文書及びサービス説明文書の各々について、係り受け解析結果に基づいて、「何-どうした」を表す項述部を取得する。本実施の形態では、格助詞の「が」「を」「に」「から」「まで」「へ」「より」「の」がついている項である名詞とその係り先である述部を取得する。図８に取得された項述部の例を示す。なお、項述部の取得には、統計処理を用いて項述部を取得する既存の項述部構造解析器などの結果を用いてもよい。
【００４７】
同義判定モデル記憶部３０４には、予め学習された述部ペア及び項述部ペアが同義であるか否かを判定するためのモデルが記憶されている。
【００４８】
同義判定部３０６は、文書ペア毎について、当該文書ペアの技術文書に含まれる述部の各々と、サービス説明文書に含まれる述部の各々とからなる述部ペアの各々について、当該述部ペアが同義であるか否かを判定し、同義となる述部ペアの数を示す実数値を、同義であると判定された述部ペアを示す同義述部素性として取得する。また、同義判定部３０６は、文書ペア毎について、当該文書ペアの技術文書に含まれる項述部の各々と、サービス説明文書に含まれる項述部の各々とかなる項述部ペアについて、当該項述部ペアが同義であるか否かを判定し、同義となる項述部ペアの数を示す実数値を、同義であると判定された項述部ペアを示す同義項述部素性として取得する。具体的には、技術文書に含まれる述部の各々と、サービス説明文書に含まれる述部の各々とのすべてのペアについて同義であるか否かを判定する。また、技術文書に含まれる項述部の各々と、サービス説明文書に含まれる項述部の各々とからなる項述部ペアであって、かつ、項述部の項についてカテゴリ取得部２８４において取得されたカテゴリが、共通している項述部のペアについて同義であるか否かを判定する。なお、本実施の形態においては、非特許文献３（泉朋子・ 柴田知秀・齋藤邦子・松尾義博・黒橋禎夫 (2013). 複数の言語的特徴を用いた日本語述部の同義判定. 自然言語処理，Vol. 20, 4, 539-561.）の方法を用いて、述部及び項述部の同義判定を行う。非特許文献３では、対象の述部及び項述部のペアに対して、周辺単語の類似性を表す分布類似度や、辞書定義文内での重なりを素性として、述部ペア及び項述部ペアが同義か否かを判定する。図９に述部ペアが同義か否かを判定した結果を示す。図９から、「軽減」と「カット」という同義の述部ペアが１件あったため、同義述部素性の値を１とする。一方、項のカテゴリを共有する項述部ペアが存在しないため、同義項述部素性の値を０とする。
【００４９】
述部ペアの同義を判定する方法として、
（ａ）述部ペアに含まれる一方の述部の辞書定義文に他方の述部が存在するか否かの素性と、
（ｂ）述部ペアに含まれる一方の述部の辞書定義文と、他方の述部の辞書定義文とに共通して存在する語彙の重なり数の素性と、
（ｃ）述部ペアに含まれる述部の各々の、前後の係り受け関係にある格要素及び述部に基づく、述部ペアの周辺単語の類似性を表す分布類似度の素性と、
同義判定モデル記憶部３０４に記憶されている、予め学習された述部ペアが同義であるか否かを判定するためのモデルと、に基づいて、同義となる述部ペアを判定する。
【００５０】
また、項述部ペアの同義を判定する方法として、
（ｄ）項述部ペアに含まれる一方の述部の辞書定義文内に、他方の述部、項、若しくは当該項と同様の名詞クラスが存在するか否かの素性と、
（ｅ）項述部ペアに含まれる一方の述部、項、若しくは当該項と同様の名詞クラスの辞書定義文と、他方の述部、項、若しくは当該項と同様の名詞クラスの辞書定義文とに共通して存在する語彙の重なり数の素性と、
（ｆ）項述部ペアに含まれる項述部の各々の、前後の係り受け関係にある述部に基づく、項述部ペアの周辺単語の類似性を表す分布類似度の素性と、
同義判定モデル記憶部３０４に記憶されている、予め学習された項述部ペアが同義であるか否かを判定するためのモデルと、に基づいて、同義となる項述部ペアを判定する。
【００５１】
重複単語素性取得部３１は、文書ペア毎について、当該文書ペアに含まれる技術文書の形態素解析結果と、サービス説明文書の形態素解析結果とに基づいて、当該文書ペア間において重複する単語を示す重複単語素性を取得する。
【００５２】
モデル学習部３２は、カテゴリ素性取得部２８において文書ペア毎に取得したカテゴリ素性の各々と、同義素性取得部３０において文書ペア毎に取得した同義述部素性及び同義項述部素性の各々と、重複単語素性取得部３１において文書ペア毎に取得した重複単語素性の各々と、文書ペア毎に付加されている文書ペアの関連性を示すラベルの各々とに基づいて、文書ペアの関連性を判定するためのモデルを学習し、モデル記憶部３４に記憶すると共に、出力部９０に出力する。図１０に、取得した素性の例を示す。なお、学習には、非特許文献４（Chang, C-C., and Lin, C-J. (2011). “LIBSVM: A Library for Support Vector Machines” ACM Transactions on Intelligent Systems and Technology (TIST), 2(3), No.27.）のＬＩＢＳＶＭを用いる。
【００５３】
モデル記憶部３４には、モデル学習部３２において学習された文書ペアの関連性を判定するためのモデルが記憶されている。
【００５４】
＜本発明の実施の形態に係る関連性判定装置の構成＞
次に、本発明の実施の形態に係る関連性判定装置の構成について説明する。図１１に示すように、本発明の実施の形態に係る関連性判定装置４００は、ＣＰＵと、ＲＡＭと、後述する関連性判定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この関連性判定装置４００は、機能的には図１１に示すように入力部４１０と、演算部４２０と、出力部４９０とを備えている。
【００５５】
入力部４１０は、文書ペアを受け付ける。
【００５６】
演算部４２０は、形態素解析部４２２と、係り受け解析部４２４と、カテゴリ素性取得部４２６と、同義素性取得部４２８と、重複単語素性取得部４２９と、モデル記憶部４３０と、関連性判定部４３２と、を備えている。
【００５７】
形態素解析部４２２は、入力部４１０において受け付けた文書ペアに含まれる文書の各々について、モデル学習装置１００の形態素解析部２４と同様に、品詞を付与する形態素解析を行う。
【００５８】
係り受け解析部４２４は、形態素解析部４２２において形態素解析された文書ペアに含まれる文書の各々について、モデル学習装置１００の係り受け解析部２６と同様に、単語間の係り受け関係を認定する係り受け解析を行う。
【００５９】
カテゴリ素性取得部４２６は、入力部２１０において受け付けた文書ペアについて、モデル学習装置１００のカテゴリ素性取得部２８と同様に、重複するカテゴリを示すカテゴリ素性及びカテゴリの重なり度を示すカテゴリ素性を取得する。また、カテゴリ素性取得部４２６は、図１２に示すように、カテゴリ辞書記憶部４２６２と、カテゴリ取得部４２６４と、重複カテゴリ取得部４２６８と、カテゴリ重なり度算出部４２７０と、を備えている。
【００６０】
カテゴリ辞書記憶部４２６２には、モデル学習装置１００のカテゴリ辞書記憶部２８２に記憶されているカテゴリ辞書と同一のカテゴリ辞書が記憶されている。
【００６１】
カテゴリ取得部４２６４は、モデル学習装置１００のカテゴリ取得部２８４と同様に、文書ペアに含まれる文書毎に、形態素解析部４２２による当該文書の形態素解析結果、及びカテゴリ辞書記憶部４２６２に記憶されているカテゴリ辞書とに基づいて、当該文書に含まれる単語毎に対応するカテゴリの各々を取得する。
【００６２】
重複カテゴリ取得部４２６８は、モデル学習装置１００の重複カテゴリ取得部２８６と同様に、文書ペアに含まれる文書毎に取得したカテゴリの各々に基づいて、文書ペアにおいて重複するカテゴリを示すカテゴリ素性を取得する。
【００６３】
カテゴリ重なり度算出部４２７０は、モデル学習装置１００のカテゴリ重なり度算出部２８８と同様に、文書ペアについて、重複カテゴリ取得部４２６８において、当該文書ペアについて取得された重複するカテゴリを示すカテゴリ素性と、当該文書ペアに含まれる文書毎のカテゴリの各々とに基づいて、上記（１）式に従って、カテゴリの重なり度を算出し、当該結果をカテゴリの重なり度を示すカテゴリ素性として取得する。
【００６４】
同義素性取得部４２８は、入力部２１０において受け付けた文書ペアについて、モデル学習装置１００の同義素性取得部３０と同様に、同義である述部ペアを示す同義述部素性、及び同義である項述部ペアを示す同義項述部素性を取得する。また、同義素性取得部４２８は、図１３に示すように、述部取得部４２８２と、項述部取得部４２８３と、同義判定モデル記憶部４２８４と、同義判定部４２８６と、を備えている。
【００６５】
述部取得部４２８２は、モデル学習装置１００の述部取得部３０２と同様に、文書ペアについて、当該文書ペアに含まれる文書毎に、形態素解析結果に基づいて、文書に含まれる述部の各々を取得する。
【００６６】
項述部取得部４２８３は、モデル学習装置１００の項述部取得部３０３と同様に、文書ペアについて、当該文書ペアに含まれる文書毎に、形態素解析結果及び係り受け解析結果に基づいて、文書に含まれるに項述部の各々を取得する。
【００６７】
同義判定モデル記憶部４２８４には、モデル学習装置１００の同義判定モデル記憶部３０４に記憶されている予め学習された述部ペア及び項述部ペアが同義であるか否かを判定するためのモデルが記憶されている。
【００６８】
同義判定部４２８６は、モデル学習装置１００の同義判定部３０６と同様に、文書ペアについて、当該文書ペアに含まれる文書毎の述部の各々とからなる述部ペアの各々について、当該述部ペアが同義であるか否かを判定し、同義となる述部ペアの数を示す実数値を、同義であると判定された述部ペアを示す同義述部素性として取得する。また、同義判定部４２８６は、文書ペアについて、当該文書ペアに含まれる文書毎の項述部の各々とからなる項述部ペアの各々について、当該項述部ペアが同義であるか否かを判定し、同義となる項述部ペアの数を示す実数値を、同義であると判定された項述部ペアを示す同義項述部素性として取得する。
【００６９】
重複単語素性取得部４２９は、入力部２１０において受け付けた文書ペアについて、モデル学習装置１００の重複単語素性取得部３１と同様に、重複単語素性を取得する。
【００７０】
モデル記憶部４３０には、モデル学習装置１００のモデル記憶部３４に記憶されている文書ペアの関連性を判定するためのモデルと同一のモデルが記憶されている。
【００７１】
関連性判定部４３２は、カテゴリ素性取得部４２６において取得されたカテゴリ素性と、同義素性取得部４２８において取得された同義述部素性及び同義項述部素性と、重複単語素性取得部４２９において取得された重複単語素性と、モデル記憶部４３０に記憶されている文書ペアの関連性を判定するためのモデルとに基づいて、入力部２１０において受け付けた文書ペアが関連しているか否かを判定し、出力部３９０に出力する。具体的には、取得されたカテゴリ素性、同義述部素性、同義項述部素性、及び重複単語素性の各々に、モデルの各々に対応する重みを掛けて、その総和を算出し、当該算出されたスコアが予め定められた閾値以上か否かを判定し、閾値以上である場合には、文書ペアを「関連性あり」と判定し、閾値未満である場合には、文書ペアを「関連性なし」と判定する。なお、閾値は、例えば、０．７を用いる。また、判定手法は非特許文献４の手法を用いる。また、判定結果の例を図１４に示す。図１４には結果として、文書ペアが「関連性あり」と判定されている。また、図１５に文書ペアについて取得された素性の例を示す。
【００７２】
＜本発明の実施の形態に係るモデル学習装置の作用＞
次に、本発明の実施の形態に係るモデル学習装置１００の作用について説明する。まず、文書ペアの関連性を示すラベルが各々付加されている文書ペアの集合を受け付け、学習コーパス２２に記憶する。そして、学習コーパスから文書ペアの集合を読みだすと、モデル学習装置１００は、図１６に示すモデル学習処理ルーチンを実行する。
【００７３】
まず、ステップＳ１００では、カテゴリ辞書記憶部２８２に記憶されているカテゴリ辞書を読み込む。
【００７４】
次に、ステップＳ１０１では、同義判定モデル記憶部３０４に記憶されている同義判定モデルを読み込む。
【００７５】
次に、ステップＳ１０２では、読み込んだ文書ペアの各々について、当該文書ペアに含まれる文書毎に、形態素解析を行う。
【００７６】
次に、ステップＳ１０４では、文書ペアの各々について、当該文書ペアに含まれる文書毎に、ステップＳ１０２において取得した当該文書の形態素解析結果に基づいて、係り受け解析を行う。
【００７７】
次に、ステップＳ１０６では、処理対象となる文書ペアについて、当該文書ペアに含まれる文書毎に、ステップＳ１０２において取得した形態素解析結果と、ステップＳ１００において取得したカテゴリ辞書とに基づいて、当該文書に含まれる単語毎に対応するカテゴリの各々を取得する。
【００７８】
次に、ステップＳ１０８では、処理対象となる文書ペアについて、ステップＳ１０６において取得した当該文書ペアに含まれる文書毎のカテゴリの各々に基づいて、当該文書ペアにおいて重複するカテゴリを示すカテゴリ素性を取得する。
【００７９】
次に、ステップＳ１１０では、処理対象となる文書ペアについて、当該文書ペアに含まれる文書毎の、ステップＳ１０６において取得したカテゴリの各々と、ステップＳ１０８において取得した当該文書ペアの重複するカテゴリを示すカテゴリ素性とに基づいて、上記（１）式に従って、カテゴリの重なり度を算出し、算出された結果をカテゴリの重なり度を示すカテゴリ素性として取得する。
【００８０】
次に、ステップＳ１１２では、処理対象となる文書ペアについて、当該文書ペアに含まれる文書毎に、ステップＳ１０２において取得した当該文書の形態素解析結果、及びステップＳ１０４において取得した当該文書の係り受け解析結果に基づいて、述部及び項述部の各々を取得する。
【００８１】
次に、ステップＳ１１４では、処理対象となる文書ペアについて、ステップＳ１１２において取得した当該文書ペアに含まれる文書の各々の述部及び項述部の各々に基づいて、当該文書ペアにおける同義となる述部ペアを示す同義述部素性及び同義となる項述部ペアを示す同義項述部素性を取得する。
【００８２】
次に、ステップＳ１１５では、処理対象となる文書ペアについて、当該文書ペアに含まれる文書毎のステップＳ１０４において取得した形態素解析結果に基づいて、当該文書ペアにおいて重複する単語を重複単語素性として取得する。
【００８３】
次に、ステップＳ１１６では、全ての文書ペアについてステップＳ１０６〜ステップＳ１１５の処理を終了したか否かを判定する。全ての文書ペアについてステップＳ１０６〜ステップＳ１１５の処理を終了している場合には、ステップＳ１１８へ移行し、全ての文書ペアについてステップＳ１０６〜ステップＳ１１５の処理が終了していない場合には、処理対象となる文書ペアを変更し、ステップＳ１０６へ移行し、ステップＳ１０６〜ステップＳ１１６の処理を繰り返す。
【００８４】
次に、ステップＳ１１８では、文書ペアの各々について、ステップＳ１０８及びステップＳ１１０において取得したカテゴリ素性と、ステップＳ１１４において取得した同義述部素性及び同義項述部素性と、ステップＳ１１５において取得した重複単語素性と、当該文書ペアに付加されているラベルとに基づいて、文書ペアの関連性を判定するためのモデルを学習する。
【００８５】
次に、ステップＳ１２０では、ステップＳ１２０において取得した文書ペアの関連性を判定するためのモデルを、モデル記憶部３４に記憶すると共に、出力部９０に出力して、モデル学習処理ルーチンを終了する。
【００８６】
＜本発明の実施の形態に係る関連性判定装置の作用＞
次に、本発明の実施の形態に係る関連性判定装置４００の作用について説明する。まず、入力部４１０から、モデル学習装置１００において学習された文書ペアの関連性を判定するためのモデルが入力され、モデル記憶部４３０に記憶される。そして、処理対象となる文書ペアを受け付けると、関連性判定装置４００は、図１７に示す関連性判定処理ルーチンを実行する。
【００８７】
まず、ステップＳ２００では、モデル記憶部４３０に記憶されている文書ペアの関連性を判定するためのモデルを読み込む。
【００８８】
次に、ステップＳ２０２では、カテゴリ辞書記憶部４２６２に記憶されているカテゴリ辞書を読み込む。
【００８９】
次に、ステップＳ２０４では、同義判定モデル記憶部４２８４に記憶されている同義判定モデルを読み込む。
【００９０】
次に、ステップＳ２０６では、ステップＳ１０２と同様に、入力部４１０において受け付けた文書ペアに含まれる文書の各々について、形態素解析を行う。
【００９１】
次に、ステップＳ２０８では、ステップＳ１０４と同様に、文書ペアに含まれる文書の各々について、ステップＳ２０６において取得した当該文書の形態素解析結果に基づいて、係り受け解析を行う。
【００９２】
次に、ステップＳ２１０では、ステップＳ１０６と同様に、文書ペアに含まれる文書の各々について、ステップＳ２０６において取得した当該文書の形態素解析結果と、ステップＳ２０２において取得したカテゴリ辞書とに基づいて、当該文書に含まれる単語ごとに対応するカテゴリの各々を取得する。
【００９３】
次に、ステップＳ２１２では、ステップＳ１０８と同様に、文書ペアについて、ステップＳ２１０において取得した当該文書ペアに含まれる文書毎のカテゴリの各々に基づいて、当該文書ペアにおいて重複するカテゴリを示すカテゴリ素性を取得する。
【００９４】
次に、ステップＳ２１４では、ステップＳ１１０と同様に、文書ペアについて、当該文書ペアに含まれる文書毎の、ステップＳ２１０において取得したカテゴリと、ステップＳ２１２において取得した当該文書ペアの重複するカテゴリを示すカテゴリ素性とに基づいて、上記（１）式に従って、カテゴリの重なり度を算出し、算出された結果をカテゴリの重なり度を示すカテゴリ素性として取得する。
【００９５】
次に、ステップＳ２１６では、ステップＳ１１２と同様に、文書ペアについて、当該文書ペアに含まれる文書毎に、ステップＳ２０６において取得した当該文書の形態素解析結果、及びステップＳ２０８において取得した当該文書の係り受け解析結果に基づいて、述部及び項述部の各々を取得する。
【００９６】
次に、ステップＳ２１８では、ステップＳ１１４と同様に、文書ペアについて、ステップＳ２１６において取得した当該文書ペアに含まれる文書の各々の述部及び項述部の各々に基づいて、当該文書ペアにおいて、同義となる述部ペアを示す同義述部素性及び同義となる項述部ペアを示す同義項述部素性を取得する。
【００９７】
次に、ステップＳ２２０では、ステップＳ１１５と同様に、文書ペアについて、当該文書ペアに含まれる文書毎のステップＳ２０６において取得した形態素解析結果に基づいて、当該文書ペアにおいて重複する単語を重複単語素性として取得する。
【００９８】
ステップＳ２２２では、文書ペアについて、ステップＳ２１２及びステップＳ２１４において取得したカテゴリ素性と、ステップＳ２１８において取得した同義述部素性及び同義項述部素性と、ステップＳ２２０において取得した重複単語素性と、ステップＳ１００において取得した文書ペアの関連性を判定するためのモデルとに基づいて、当該文書ペアに関連性があるか否かを判定する。
【００９９】
ステップＳ２２４では、ステップＳ２２２において取得した結果を出力部４９０に出力して関連性判定処理ルーチンを終了する。
【０１００】
以上説明したように、本発明の実施の形態に係る関連性判定装置によれば、入力された文書ペアに含まれる文書の各々について、文書に含まれる各単語に対応するカテゴリを取得し、文書ペアに含まれる一方の文書についてのカテゴリと、他方の文書についてのカテゴリとに基づいて、文書ペアにおいて重複するカテゴリを示すカテゴリ素性を取得し、取得された、文書ペアに含まれる文書毎のカテゴリと、取得された重複するカテゴリを示すカテゴリ素性とに基づいて、文書ペアにおけるカテゴリの重なり度を示すカテゴリ素性を算出し、取得された文書ペアにおける重複するカテゴリを示すカテゴリ素性と、算出された文書ペアにおけるカテゴリの重なり度を示すカテゴリ素性と、予め学習された、文書ペアの関連性を判定するためのモデルとに基づいて、文書ペアの関連性を判定することによって、文書ペアの関連性を精度よく判定することができる。
【０１０１】
また、本発明の実施の形態に係るモデル学習装置によれば、入力された、文書ペアの関連性を示すラベルが各々付加されている、複数の文書ペアの各々について、文書ペアに含まれる文書毎に、文書に含まれる各単語に対応するカテゴリを取得し、文書ペアの各々について、文書ペアにおいて重複するカテゴリを示すカテゴリ素性を取得し、文書ペアの各々について、文書ペアにおけるカテゴリの重なり度を示すカテゴリ素性を算出し、取得された文書ペアの各々における重複するカテゴリを示すカテゴリ素性と、算出された文書ペアの各々におけるカテゴリの重なり度を示すカテゴリ素性と、文書ペアの各々に付加された関連性を示すラベルとに基づいて、文書ペアの関連性を判定するためのモデルを学習することによって、文書ペアの関連性を精度よく判定することができるモデルを学習することができる。
【０１０２】
また、技術やアルゴリズムなどについて専門的な説明が記述されている技術文書と、それら技術を適用することが出来るサービス説明文書との関連性を自動で推定することにより、従来では、技術のサービス適用性を検討するために専門知識を有する人による検討といった人手コストがかかっていたが、これらを削減することができる。
【０１０３】
また、技術文書とサービス説明文書との関連性を自動で推定することで、最新の技術やアルゴリズムを迅速に実用化サービスへつなげることができる。
【０１０４】
また、技術文書とサービス説明文書とでは、文書ドメインが異なるため、同じ事を言っていても表層の表現が異なる。そのため、単語のみを用いて文書間の類似性を計算する従来方法では、文書間の関連性を推定することが困難である。本実施の形態に係る関連性判定装置では、技術文書とサービス説明文書に書かれている単語をカテゴリに抽象化させ、重複カテゴリを素性として用いることで、見た目が異なる表現で書かれている２つの文書間の関連性を判定することができる。
【０１０５】
また、技術文書とサービス説明文書のカテゴリの重複度合い（カテゴリ重なり度）を素性として用いることで、カテゴリの重複が多い文書ペアに重みをつけることができる。その結果、より多くのカテゴリを重複している文書ペアの関連性を推定することができる。
【０１０６】
また、技術やサービスを用いて何が出来るかを表している「述部」及び「項述部」の同義表現の有無を素性として用いることで、技術文書に記述されている技術を用いてどのサービスに適用することが出来るかを自動で推定することができる。
【０１０７】
また、従来手法の単語のみを用いた文書間の類似度計算方法では、重複のある単語が「装置」という１単語のみである場合には、判定が困難なことに対して、本実施の形態に係る関連性判定装置においては、より抽象的なレベルでの意味の重複を見る重複カテゴリやカテゴリの重なり度、また、技術文書とサービス説明文書とが、何をすることができるかを表している述部間の同義性の有無を素性として用いるため、表層表現では重なりがない場合であっても、文書間の関連性を判定することができる。
【０１０８】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１０９】
例えば、本実施の形態において、文書ペアには技術文書と、サービス説明文書とが含まれる場合について説明したが、これに限定されるものではなく、技術文書及びサービス説明文書以外の文書のペアであってもよく、また、何れか一方を含むペアであってもよい。
【０１１０】
また、本実施の形態においては、文書ペアに、２つの文書全体を含む場合について説明したが、これに限定されるものではない。例えば、要旨などの文書の要点を記述しているテキストのみを対象としてもよい。
【０１１１】
また、本実施の形態においては、カテゴリは名詞である場合について説明したが、これに限定されるものではない。例えば、カテゴリとして、用言（動詞、形容詞など）を用いてもよい。
【０１１２】
また、本実施の形態においては、重複カテゴリに２値素性を用いる場合について説明したが、これに限定されるものではない。例えば、カテゴリの種類に応じて、重みづけ（より詳細なカテゴリが重複している場合に重みをつける）を行ってもよい。具体的には、下位のカテゴリ（例えば、電話）で重複している場合の方が、上位のカテゴリ（例えば、通信機器）で重複している場合よりも、より類似していると言えるため、下位のカテゴリに重要さを足すために、下位のカテゴリで重複した場合には、大きい重みを付ける。
【０１１３】
また、本実施の形態においては、項のカテゴリが共通の項述部ペアについてのみ、同義か否かを判定する場合について説明したが、これに限定されるものではない。例えば、全ての項述部ペアについて同義か否かを判定してもよい。
【０１１４】
また、本実施の形態においては、文書ペアの関連性を判定するための素性として、重複するカテゴリを示すカテゴリ素性と、カテゴリの重なり度を示すカテゴリ素性と、同義となる述部ペアを示す同義述部素性と、同義となる項述部ペアを示す同義項述部素性と、重複単語素性とを抽出する場合について説明したが、これに限定されるものではない。例えば、文書ペアの関連性を判定するための素性として、重複するカテゴリを示すカテゴリ素性、及びカテゴリの重なり度を示すカテゴリ素性のみを抽出してもよい。また、文書ペアの関連性を判定するための素性として、重複するカテゴリを示すカテゴリ素性、及びカテゴリの重なり度を示すカテゴリ素性と、同義となる述部ペアを示す同義述部素性、同義となる項述部ペアを示す同義項述部素性、及び重複単語素性のうち少なくとも１つの素性と、を抽出してもよい。
【０１１５】
また、本実施の形態においては、同義述部素性及び同義項述部素性の取得方法として、非特許文献３の方法を用いる場合について説明したが、これに限定されるものではない。例えば、非特許文献３の方法に加え、単純に分布類似度など周辺単語に現れる単語を手掛かりにした語の類似度を算出する計算を用いてもよい。
【０１１６】
また、本実施の形態においては、同義述部素性及び同義項述部素性として、同義と判定された述部ペアの数の実数値及び同義と判定された項述部ペアの数の実数値を用いる場合について説明したが、これに限定されるものではない。例えば、同義述部素性及び同義項述部素性として、同義と判定された述部ペアの数を総述部数で正規化した値及び同義と判定された項述部ペアの数を総項述部数で正規化した値を用いてもよい。
【０１１７】
また、本実施の形態においては、学習にＬＩＢＳＶＭを用いる場合について説明したが、これに限定されるものではない。例えば、学習に既存の識別学習ツールを用いてもよい。
【０１１８】
また、本実施の形態においては、判定結果を出力部４９０から出力する場合について説明したがこれに限定されるものではない。例えば、判定結果に付随する信頼度（２値分類の結果の尤もらしさを表す数値）を出力としてもよい。
【０１１９】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【０１２０】
１０   入力部
２０   演算部
２２   学習コーパス
２４   形態素解析部
２６   係り受け解析部
２８   カテゴリ素性取得部
３０   同義素性取得部
３１   重複単語素性取得部
３２   モデル学習部
３４   モデル記憶部
９０   出力部
１００ モデル学習装置
２１０ 入力部
２８２ カテゴリ辞書記憶部
２８４ カテゴリ取得部
２８６ 重複カテゴリ取得部
２８８ カテゴリ重なり度算出部
３０２ 述部取得部
３０３ 項述部取得部
３０４ 同義判定モデル記憶部
３０６ 同義判定部
３９０ 出力部
４００ 関連性判定装置
４１０ 入力部
４２０ 演算部
４２２ 形態素解析部
４２４ 係り受け解析部
４２６ カテゴリ素性取得部
４２８ 同義素性取得部
４２９ 重複単語素性取得部
４３０ モデル記憶部
４３２ 関連性判定部
４９０ 出力部
４２６２      カテゴリ辞書記憶部
４２６４      カテゴリ取得部
４２６８      重複カテゴリ取得部
４２７０      カテゴリ重なり度算出部
４２８２      述部取得部
４２８３      項述部取得部
４２８４      同義判定モデル記憶部
４２８６      同義判定部
【図１】
2016001399.tif 000004
【図２】
2016001399.tif 000005
【図６】
2016001399.tif 000006
【図１１】
2016001399.tif 000007
【図１２】
2016001399.tif 000008
【図１３】
2016001399.tif 000009
【図１６】
2016001399.tif 000010
【図１７】
2016001399.tif 000011
【図３】
2016001399.tif 000012
【図４】
2016001399.tif 000013
【図５】
2016001399.tif 000014
【図７】
2016001399.tif 000015
【図８】
2016001399.tif 000016
【図９】
2016001399.tif 000017
【図１０】
2016001399.tif 000018
【図１４】
2016001399.tif 000019
【図１５】
2016001399.tif 000020
【図１８】
2016001399.tif 000021