(57)【特許請求の範囲】
【請求項１】
意味的類似度の算出の対象となる第１の言語表現ｗ１及び第２の言語表現ｗ２を受け付ける受付部と、
コーパスにおける前記第１の言語表現ｗ１の出現に関する情報である第１の文脈ベクトルと、前記コーパスにおける前記第２の言語表現ｗ２の出現に関する情報である第２の文脈ベクトルとを取得する取得部と、
２個の文脈ベクトルφ１、φ２の類似度を計算する類似関数ｇ（φ１、φ２）と、前記第１及び第２の文脈ベクトルからベイズ推定を用いて得られた確率分布とを用いて、前記第１の言語表現ｗ１に対応する文脈ベクトルと、前記第２の言語表現ｗ２に対応する文脈ベクトルとの類似度の期待値である意味的類似度を算出する算出部と、
前記算出部が算出した意味的類似度を出力する出力部と、を備え、
前記文脈ベクトルは共起頻度を示すものであって多項分布であり、
前記ベイズ推定の事前分布はディリクレ分布であり、
前記算出部は、
前記文脈ベクトルを用いてハイパーパラメータを補正した事後分布であるディリクレ分布の確率分布を用いて、前記意味的類似度を算出する、類似度算出装置。
【請求項２】
類似関数ｇ（φ１、φ２）は、
【数１】
0005522389.tif 000022
であり（ただし、φ１ｋ、φ２ｋはそれぞれ文脈ベクトルφ１、φ２のｋ番目の要素であり、Ｋは文脈ベクトルφ１、φ２の要素数であり、ｄは０より大きい実数であり、ｆｋは文脈ベクトルのｋ番目の要素を算出するために用いられる文脈であり、μ（ｗ、ｆｋ）は言語表現ｗと文脈ｆｋとに対する重みである）、請求項１記載の類似度算出装置。
【請求項３】
前記算出部は、
前記第１及び第２の言語表現ｗ１、ｗ２の意味的類似度ｓｉｍｂ（ｗ１、ｗ２）を、
【数２】
0005522389.tif 000023
によって算出する（ただし、
【数３】
0005522389.tif 000024
ｃ（ｗ、ｆｋ）は前記コーパスにおけるｗとｆｋとの共起頻度であり、αｋは第１の文脈ベクトルに対応する事前分布であるディリクレ分布のｋ番目の要素のハイパーパラメータであり、βｋは第２の文脈ベクトルに対応する事前分布であるディリクレ分布のｋ番目の要素のハイパーパラメータである）、請求項２記載の類似度算出装置。
【請求項４】
すべてのｋについてμ（ｗ１、ｆｋ）＝μ（ｗ２、ｆｋ）＝１であり、ｄ＝１／２である、請求項２または請求項３記載の類似度算出装置。
【請求項５】
受付部と、取得部と、算出部と，出力部とを用いて処理される類似度算出方法であって、
前記受付部が、意味的類似度の算出の対象となる第１の言語表現ｗ１及び第２の言語表現ｗ２を受け付ける受付ステップと、
前記取得部が、コーパスにおける前記第１の言語表現ｗ１の出現に関する情報である第１の文脈ベクトルと、前記コーパスにおける前記第２の言語表現ｗ２の出現に関する情報である第２の文脈ベクトルとを取得する取得ステップと、
前記算出部が、２個の文脈ベクトルφ１、φ２の類似度を計算する類似関数ｇ（φ１、φ２）と、前記第１及び第２の文脈ベクトルからベイズ推定を用いて得られた確率分布とを用いて、前記第１の言語表現ｗ１に対応する文脈ベクトルと、前記第２の言語表現ｗ２に対応する文脈ベクトルとの類似度の期待値である意味的類似度を算出する算出ステップと、
前記出力部が、前記算出ステップで算出した意味的類似度を出力する出力ステップと、を備え、
前記文脈ベクトルは共起頻度を示すものであって多項分布であり、
前記ベイズ推定の事前分布はディリクレ分布であり、
前記算出ステップでは、
前記文脈ベクトルを用いてハイパーパラメータを補正した事後分布であるディリクレ分布の確率分布を用いて、前記意味的類似度を算出する、類似度算出方法。
【請求項６】
コンピュータを、
意味的類似度の算出の対象となる第１の言語表現ｗ１及び第２の言語表現ｗ２を受け付ける受付部、
コーパスにおける前記第１の言語表現ｗ１の出現に関する情報である第１の文脈ベクトルと、前記コーパスにおける前記第２の言語表現ｗ２の出現に関する情報である第２の文脈ベクトルとを取得する取得部、
２個の文脈ベクトルφ１、φ２の類似度を計算する類似関数ｇ（φ１、φ２）と、前記第１及び第２の文脈ベクトルからベイズ推定を用いて得られた確率分布とを用いて、前記第１の言語表現ｗ１に対応する文脈ベクトルと、前記第２の言語表現ｗ２に対応する文脈ベクトルとの類似度の期待値である意味的類似度を算出する算出部、
前記算出部が算出した意味的類似度を出力する出力部として機能させ、
前記文脈ベクトルは共起頻度を示すものであって多項分布であり、
前記ベイズ推定の事前分布はディリクレ分布であり、
前記算出部は、
前記文脈ベクトルを用いてハイパーパラメータを補正した事後分布であるディリクレ分布の確率分布を用いて、前記意味的類似度を算出する、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２個の言語表現の意味的類似度を算出する類似度算出装置等に関する。
【背景技術】
【０００２】
従来、意味的類似度を算出する種々の方法が提案されていた（例えば、非特許文献１参照）。そのような従来の意味的類似度の算出方法では、例えば、次式によって意味的類似度ｓｉｍ（ｗ１，ｗ２）を算出していた。
【数１】
0005522389.tif 000002
【０００３】
ここで、ｗ１，ｗ２は、意味的類似度を算出する対象となる２個の言語表現を示している。また、ｖ（ｗ１）、ｖ（ｗ２）は、その各言語表現に対応する文脈ベクトルを示している。文脈ベクトルは、例えば、あるコーパスにおいて、対象となる言語表現ｗがどのような表現とどのくらいの頻度で係り受け関係にあるかといった情報や、対象となる言語表現ｗが文書中でどのような表現と隣同士になっているかといった情報をベクトルで表したものである。また、類似関数ｇは、文脈ベクトルの類似度を算出するものであり、例えば、コサイン距離、Ｊａｃｃａｒｄ係数、Ｊｅｎｓｅｎ−Ｓｈａｎｎｏｎダイバージェンス等であってもよい。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｉｄｏ  Ｄａｇａｎ，Ｆｅｒｎａｎｄｏ  Ｐｅｒｅｉｒａ，Ｌｉｌｌｉａｎ  Ｌｅｅ、「Ｓｉｍｉｌａｒｉｔｙ−ｂａｓｅｄ  ｅｓｔｉｍａｔｉｏｎ  ｏｆ  ｗｏｒｄ  ｃｏｏｃｃｕｒｒｅｎｃｅ  ｐｒｏｂａｂｉｌｉｔｉｅｓ」、Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＡＣＬ９４、１９９４年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の意味的類似度の算出方法においては、頻度等を計量したデータが有限であり、算出された文脈ベクトルの値も実は不確実であるという統計学的な事実を無視して意味的類似度を算出していることになる。例えば、対象表現が１回出現して、そのうち１回、表現Ａと係り受け関係にあったという事実と、対象表現が１万回出現して、そのうち１万回、表現Ａと係り受け関係にあったという事実とを区別することができない。すなわち、両者共に確率が「１」となり、両者は区別されないことになる。一方、たとえ両者の確率が同じであったとしても、一方の対象表現の方がより多く出現しているのであれば、その頻度の高い対象表現の方がより高い意味的類似度となるべきであると考えられる。
【０００６】
本発明は、上記課題を解決するためになされたものであり、文脈ベクトルの値が不確実であるという事実を考慮した、適切な意味的類似度を算出することができる類似度算出装置等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明による類似度算出装置は、意味的類似度の算出の対象となる第１の言語表現ｗ１及び第２の言語表現ｗ２を受け付ける受付部と、コーパスにおける前記第１の言語表現ｗ１の出現に関する情報である第１の文脈ベクトルと、前記コーパスにおける前記第２の言語表現ｗ２の出現に関する情報である第２の文脈ベクトルとを取得する取得部と、２個の文脈ベクトルφ１、φ２の類似度を計算する類似関数ｇ（φ１、φ２）と、前記第１及び第２の文脈ベクトルからベイズ推定を用いて得られた確率分布とを用いて、前記第１の言語表現に対応する文脈ベクトルと、前記第２の言語表現に対応する文脈ベクトルとの類似度の期待値である意味的類似度を算出する算出部と、前記算出部が算出した意味的類似度を出力する出力部と、を備えたものである。
【０００８】
このような構成により、言語表現から得られた文脈ベクトルの不確実性を考慮に入れた意味的類似度を算出することができる。その結果、従来の意味的類似度の算出方法よりも正確な意味的類似度を算出することができるようになる。
【０００９】
また、本発明による類似度算出装置では、前記文脈ベクトルは共起頻度を示すものであって多項分布であり、前記ベイズ推定の事前分布はディリクレ分布であり、前記算出部は、前記文脈ベクトルを用いてハイパーパラメータを補正した事後分布であるディリクレ分布の確率分布を用いて、前記意味的類似度を算出してもよい。
このような構成により、共起頻度を用いて特定された確率分布を用いて期待値を算出することができる。
【００１０】
また、本発明による類似度算出装置では、類似関数ｇ（φ１、φ２）は、
【数２】
0005522389.tif 000003
であってもよい（ただし、φ１ｋ、φ２ｋはそれぞれ文脈ベクトルφ１、φ２のｋ番目の要素であり、Ｋは文脈ベクトルφ１、φ２の要素数であり、ｄは０より大きい実数であり、ｆｋは文脈ベクトルのｋ番目の要素を算出するために用いられる文脈であり、μ（ｗ、ｆｋ）は言語表現ｗと文脈ｆｋとに対する重みである）。
このような構成により、解析的に解くことができるようになり、効率よく期待値を算出することができるようになる。
【００１１】
また、本発明による類似度算出装置では、前記算出部は、前記第１及び第２の言語表現ｗ１、ｗ２の意味的類似度ｓｉｍｂ（ｗ１、ｗ２）を、
【数３】
0005522389.tif 000004
によって算出してもよい（ただし、
【数４】
0005522389.tif 000005
ｃ（ｗ、ｆｋ）は前記コーパスにおけるｗとｆｋとの共起頻度であり、αｋは第１の文脈ベクトルに対応する事前分布であるディリクレ分布のｋ番目の要素のハイパーパラメータであり、βｋは第２の文脈ベクトルに対応する事前分布であるディリクレ分布のｋ番目の要素のハイパーパラメータである）。
このような構成により、意味的類似度を算出する式を適切なものにすることができ、２個の文脈ベクトルについて積分を行って期待値を算出する場合に比べて、格段に計算量が少なくなり、効率よく期待値を算出できることになる。
【００１２】
また、本発明による類似度算出装置では、すべてのｋについてμ（ｗ１、ｆｋ）＝μ（ｗ２、ｆｋ）＝１であり、ｄ＝１／２であってもよい。
【発明の効果】
【００１３】
本発明による類似度算出装置等によれば、言語表現から得られた文脈ベクトルの不確実性を考慮に入れた意味的類似度を算出することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態１による類似度算出装置の構成を示すブロック図
【図２】同実施の形態による類似度算出装置の動作を示すフローチャート
【図３】同実施の形態における評価実験の結果の一例を示す図
【図４】同実施の形態における評価実験の結果の一例を示す図
【図５】同実施の形態における評価実験の結果の一例を示す図
【図６】同実施の形態における評価実験の結果の一例を示す図
【図７】同実施の形態におけるコンピュータシステムの外観一例を示す模式図
【図８】同実施の形態におけるコンピュータシステムの構成の一例を示す図
【発明を実施するための形態】
【００１５】
以下、本発明による類似度算出装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。
【００１６】
（実施の形態１）
本発明の実施の形態１による類似度算出装置について、図面を参照しながら説明する。本実施の形態による類似度算出装置は、言語表現から得られた文脈ベクトルの不確実性を考慮に入れた意味的類似度を算出するものである。
【００１７】
図１は、本実施の形態による類似度算出装置１の構成を示すブロック図である。本実施の形態による類似度算出装置１は、受付部１１と、コーパス記憶部１２と、取得部１３と、算出部１４と、出力部１５と、記録媒体１６とを備える。
【００１８】
受付部１１は、意味的類似度の算出の対象となる第１の言語表現ｗ１及び第２の言語表現ｗ２を受け付ける。ここで、言語表現は、例えば、単語（形態素）であってもよく、単語の並びであるフレーズであってもよい。受付部１１は、例えば、入力デバイス（例えば、キーボードやマウス、タッチパネルなど）から入力された第１及び第２の言語表現ｗ１、ｗ２を受け付けてもよく、有線もしくは無線の通信回線を介して送信された第１及び第２の言語表現ｗ１、ｗ２を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された第１及び第２の言語表現ｗ１、ｗ２を受け付けてもよい。なお、受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、受付部１１は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。受け付けられた第１及び第２の言語表現ｗ１、ｗ２は、図示しない記録媒体において記憶されてもよい。
【００１９】
コーパス記憶部１２では、第１及び第２の言語表現ｗ１、ｗ２に対応する文脈ベクトルを算出する際に用いられるコーパスが記憶されている。そのコーパスは、文脈ベクトルを適切に算出できる程度に大規模なものであることが好適である。このコーパスは、例えば、新聞の情報であってもよく、ウェブの情報であってもよく、百科事典の情報であってもよく、研究機関等によって整備されたコーパスであってもよく、その他のコーパスであってもよい。
【００２０】
コーパス記憶部１２にコーパスが記憶される過程は問わない。例えば、記録媒体を介してコーパスがコーパス記憶部１２で記憶されるようになってもよく、通信回線等を介して送信されたコーパスがコーパス記憶部１２で記憶されるようになってもよい。コーパス記憶部１２での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。コーパス記憶部１２は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
【００２１】
取得部１３は、コーパス記憶部１２で記憶されているコーパスにおける第１の言語表現ｗ１の出現に関する情報である第１の文脈ベクトルｖ（ｗ１）と、コーパスにおける第２の言語表現ｗ２の出現に関する情報である第２の文脈ベクトルｖ（ｗ２）とを取得する。言語表現ｗに対する文脈ベクトルｖ（ｗ）のｋ番目の要素は、コーパス記憶部１２で記憶されているコーパスにおけるｗとｆｋとの関係を示す値となる。ｆｋは、あらかじめ決められた文脈であり、例えば、「リンゴ」や「走る」などであってもよい。このｆｋは、図示しない記録媒体において記憶されていてもよい。また、ｗとｆｋとの関係は、例えば、両者の共起の尺度であってもよく、両者のＰＭＩ（ｐｏｉｎｔ−ｗｉｓｅ  ｍｕｔｕａｌ  ｉｎｆｏｒｍａｔｉｏｎ）であってもよく、ｉｄｆ（逆出現頻度）を考慮した頻度であってもよく、両者の文脈ベクトルにおいて言語表現ｗの特徴を示しうるその他の指標であってもよい。なお、言語表現ＡとＢが共起するとは、決められた長さの範囲内（例えば、一文の範囲内、一段落の範囲内、一ページの範囲内、一の文書の範囲内、一のウェブページの範囲内等）において、両者が同時に出現することである。共起を示す尺度としては、例えば、共起頻度や共起率、Ｓｉｍｐｓｏｎ係数、コサイン距離等が存在する。また、共起頻度等は、係り受けを考慮したものであってもよい。すなわち、ｗとｆｋとが係り受け関係にある時に、共起すると考えてもよい。また、後述するように、この文脈ベクトルの各要素について、対数をとることがある。したがって、共起頻度をＣとした場合に、ｌｎＣや、ｌｎＣ＋１も共起の尺度であると考えてもよい。取得部１３が取得した、第１及び第２の言語表現ｗ１、ｗ２に対応する第１及び第２の文脈ベクトルｖ（ｗ１）、ｖ（ｗ２）は、図示しない記録媒体において記憶されてもよい。
【００２２】
なお、本実施の形態では、取得部１３が、コーパス記憶部１２で記憶されているコーパスを用いて第１及び第２の文脈ベクトルを算出する場合について説明するが、そうでなくてもよい。例えば、あらかじめ、あらゆる言語表現に対応する文脈ベクトルを計算することによって、言語表現と、その言語表現に対応する文脈ベクトルとを対応付ける情報を記憶しておき、取得部１３は、その情報にアクセスすることによって、第１及び第２の言語表現ｗ１、ｗ２に対応する文脈ベクトルを取得してもよい。その場合には、類似度算出装置１は、コーパス記憶部１２を備えていなくてもよい。また、取得部１３は、他の装置やサーバに、第１及び第２の言語表現ｗ１、ｗ２を渡し、その装置やサーバから、第１及び第２の言語表現ｗ１、ｗ２に対応する文脈ベクトルｖ（ｗ１）、ｖ（ｗ２）を受け取ってもよい。なお、この場合にも、類似度算出装置１は、コーパス記憶部１２を備えていなくてもよい。また、類似度算出装置１以外の装置やサーバが文脈ベクトルｖ（ｗ１）、ｖ（ｗ２）を取得する方法は問わない。例えば、コーパスを用いてもよく、あるいは、言語表現と文脈ベクトルとを対応付ける情報を用いてもよい。
【００２３】
算出部１４は、２個の文脈ベクトルφ１、φ２の類似度を計算する類似関数ｇ（φ１、φ２）と、第１及び第２の文脈ベクトルｖ（ｗ１）、ｖ（ｗ２）からベイズ推定を用いて得られた確率分布とを用いて、第１の言語表現に対応する文脈ベクトルと、第２の言語表現に対応する文脈ベクトルとの類似度の期待値である意味的類似度を算出する。もう少し具体的に説明する。ここで、第１及び第２の言語表現ｗ１、ｗ２の意味的類似度をｓｉｍｂ（ｗ１、ｗ２）とする。すると、次式のようになる。
【数５】
0005522389.tif 000006
【００２４】
ここで、Ｅは期待値をとる操作を意味しており、ｐ１（φ）、ｐ２（φ）は、それぞれ第１及び第２の文脈ベクトルｖ（ｗ１）、ｖ（ｗ２）からベイズ推定を用いて得られた確率分布である。なお、文脈ベクトルの確率分布は、「頻度等を計量したデータが有限であり、計算された文脈ベクトルの値も実は不確実であるという統計学的な事実」を反映するために、ベイズ推定を用いて求める。ベイズ推定では、不確実な事柄に対しては分散の大きな確率分布が与えられ、逆に確実な事柄に対しては分散の小さな確率分布が与えられる。したがって、文脈ベクトルの確率分布の下で類似関数ｇの期待値を計算することで、不確かさを考慮した場合の意味的類似度を計算することができるようになる。具体的には、算出部１４は、ベイズ推定を用いて得られた確率分布を用いて、文脈ベクトルφ１，φ２に関する積分を計算することによって、意味的類似度を算出することができる。なお、文脈ベクトルに関する積分は、文脈ベクトルの各要素に関する積分である。また、類似関数ｇ（φ１、φ２）は、２個の文脈ベクトルφ１、φ２の類似度を算出する関数であればどのようなものであってもよく、例えば、公知のコサイン、Ｊｅｎｓｅｎ−Ｓｈａｎｎｏｎダイバージェンス、Ｊａｃｃａｒｄ係数、シンプソン係数、ＫＬダイバージェンス、ＢＣ係数、後述するＢＣ係数を拡張したもの等であってもよい。また、類似関数ｇは、図示しない記録媒体において記憶されていてもよい。
【００２５】
ここで、文脈ベクトルが多項分布であり、ベイズ推定の事前分布がディリクレ分布であるとする。文脈ベクトルが多項分布であるということは、次式のことを意味する。なお、φｋは文脈ベクトルφのｋ番目の要素であり、Ｋは文脈ベクトルφの要素数である。
【数６】
0005522389.tif 000007
【００２６】
この場合には、意味的類似度の計算で用いる事後分布、すなわち、前述の式中のｐ１（φ）、ｐ２（φ）もディリクレ分布となる。そして、そのディリクレ分布のハイパーパラメータは、事前分布におけるハイパーパラメータを、文脈ベクトルを用いて補正したものとなる。なお、この場合の文脈ベクトルは共起頻度を示すものであるとする。したがって、このようにディリクレ分布を用いる場合には、取得部１３は、共起頻度の文脈ベクトルを取得するものとする。そのハイパーパラメータの補正は、次のようになる。
【数７】
0005522389.tif 000008
【００２７】
ここで、ｃ（ｗ、ｆｋ）はコーパスにおけるｗとｆｋとの共起頻度である。そのｃ（ｗ、ｆｋ）が係り受け関係の共起頻度であってもよいことは前述の通りである。また、αｋ（＞０）は第１の文脈ベクトルに対応する事前分布であるディリクレ分布のｋ番目の要素のハイパーパラメータである。また、βｋ（＞０）は第２の文脈ベクトルに対応する事前分布であるディリクレ分布のｋ番目の要素のハイパーパラメータである。このように、文脈ベクトルを用いたハイパーパラメータの補正とは、文脈ベクトルの各要素である共起頻度ｃ（ｗ１、ｆｋ）、ｃ（ｗ２、ｆｋ）を、ハイパーパラメータの各要素αｋ、βｋに加算することである。また、Ｄｉｒは、ディリクレ分布であることを示しており、次式のように定義される。なお、次式において、Γは、Γ関数である。
【数８】
0005522389.tif 000009
【００２８】
したがって、この場合には、意味的類似度ｓｉｍｂ（ｗ１，ｗ２）は次式のようにして求められる。
【数９】
0005522389.tif 000010
【００２９】
ただし、積分は、△×△で示されるように、φ１、φ２の単体上の積分となる。φ１、φ２については、前述のように、文脈ベクトルが多項分布であることに関する制限が存在するからである。また、（２）式中のα'、β'は、次式のように定義される。
【数１０】
0005522389.tif 000011
【００３０】
ここで、次のように定義されるＢｈａｔｔａｃｈａｒｙｙａ係数（以下、ＢＣ係数と略することがある）が知られている。
【数１１】
0005522389.tif 000012
【００３１】
算出部１４は、そのＢＣ係数を拡張した次式で定義される類似関数ｇを用いてもよい。
【数１２】
0005522389.tif 000013
【００３２】
ここで、φ１ｋ、φ２ｋはそれぞれ文脈ベクトルφ１、φ２のｋ番目の要素であり、ｄは０より大きい実数（ｄ＞０）であり、μ（ｗ、ｆｋ）は言語表現ｗと文脈ｆｋとに対する重みである。例えば、ある文脈ｆｎが重要である場合には、μ（ｗ、ｆｎ）＝２として、μ（ｗ、ｆｋ≠ｎ）＝１としてもよい。また、ある言語表現の集合Ｗ＝｛ｗａ、ｗｂ、ｗｃ…｝が存在した場合に、例えば、μ（ｗ∈Ｗ、ｆｋ）＝２であり、ｗ∈Ｗでないｗについてμ（ｗ、ｆｋ）＝１であってもよい。このように、重みμ（ｗ、ｆｋ）は、言語表現ｗと、文脈ｆｋとについて自由に設定することができる重みである。その重みの値は、１や２以外であってもよいことは言うまでもない。また、μ（ｗ、ｆｋ）は、すべての言語表現ｗに対して「１」であってもよく、すべてのｋに対して「１」であってもよい。この場合には、言語表現や文脈に対する重み付けがないことになる。類似関数ｇがこのように定義される場合には、第１及び第２の言語表現ｗ１、ｗ２の意味的類似度ｓｉｍｂ（ｗ１、ｗ２）は、次式のようになる。
【数１３】
0005522389.tif 000014
【００３３】
したがって、算出部１４は、積分を行わなくても、この計算を行うことによって、意味的類似度を算出することができるようになる。この計算は、積分を行う場合に比較して格段に計算量が少ないため、効率よく算出することができる。なお、この式において、ｄ＝１／２として、すべてのｋについてμ＝１とすると、類似関数ｇは、ＢＣ係数となる。ただし、α０'、β０'は、次式のように定義される。
【数１４】
0005522389.tif 000015
【００３４】
上記説明のように、算出部１４が意味的類似度を算出する方法には、いくつかの方法がある。前述のように、算出部１４は、（１）式を用いて意味的類似度を算出してもよい。この場合には、文脈ベクトル、確率分布、類似関数ｇについての制限はない。また、前述のように、算出部１４は、（２）式を用いて意味的類似度を算出してもよい。この場合には、確率分布はディリクレ分布となり、そのディリクレ分布のハイパーパラメータを補正するために、文脈ベクトルは共起頻度を示すものとなる。なお、この（２）式の場合には、類似関数ｇについての制限はない。また、前述のように、算出部１４は、（３）式を用いて意味的類似度を算出してもよい。この場合には、確率分布はディリクレ分布となり、そのディリクレ分布のハイパーパラメータを補正するために、文脈ベクトルは共起頻度を示すものとなる。さらに、類似関数ｇは、ＢＣ係数を拡張した前述のものとなる。本実施の形態では、算出部１４が、主に（３）式を用いて意味的類似度を算出する場合について説明する。なお、前記説明から明らかなように、（３）式を用いて意味的類似度を算出した場合には、結果として、取得部１３が取得した文脈ベクトルからベイズ推定を用いて得られた確率分布と、類似関数ｇとを用いて、受付部１１が受け付けた第１及び第２の言語表現に対応する文脈ベクトルの類似度の期待値である意味的類似度を算出したことになる。ただし、類似関数ｇは、ＢＣ係数を拡張した前述のものであり、事前分布、事後分布は共にディリクレ分布である。
【００３５】
なお、このガンマ関数は、オーバーフローしてしまうことがある。例えば、引数が１７０を超えると、ガンマ関数はオーバーフローする。したがって、そのような場合には、よく行われるように、対数を用いた計算を行ってもよい。すなわち、ｌｏｇガンマ関数、ｌｎΓを使用することによって、オーバーフローの問題を解決してもよい。
【００３６】
算出部１４が算出した意味的類似度や、計算の途中で使用する値等は、図示しない記録媒体において一時的に記憶されてもよい。また、算出部１４が意味的類似度の計算で用いる値、例えば、ｄやμ等の値は、図示しない記録媒体で記憶されており、算出部１４が適宜、それらを読み出すことによって用いてもよい。
【００３７】
出力部１５は、算出部１４が算出した意味的類似度を出力する。ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。本実施の形態では、出力部１５が意味的類似度を記録媒体１６に蓄積する場合について説明する。なお、出力部１５は、出力を行うデバイス（例えば、表示デバイスやプリンタなど）を含んでもよく、あるいは含まなくてもよい。また、出力部１５は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００３８】
記録媒体１６では、出力部１５によって蓄積された意味的類似度が記憶される。記録媒体１６は、例えば、半導体メモリや磁気ディスク、光ディスクなどによって実現されうる。また、記録媒体１６での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。
【００３９】
なお、コーパス記憶部１２と、記録媒体１６とは、同一の記録媒体によって実現されてもよく、あるいは、別々の記録媒体によって実現されてもよい。前者の場合には、コーパスを記憶している領域がコーパス記憶部１２となり、意味的類似度を記憶している領域が記録媒体１６となる。
【００４０】
次に、本実施の形態による類似度算出装置１の動作について、図２のフローチャートを用いて説明する。
（ステップＳ１０１）受付部１１は、第１及び第２の言語表現ｗ１，ｗ２を受け付けたかどうか判断する。そして、受け付けた場合には、ステップＳ１０２に進み、そうでない場合には、受け付けるまでステップＳ１０１の処理を繰り返す。
【００４１】
（ステップＳ１０２）取得部１３は、受付部１１が受け付けた第１及び第２の言語表現ｗ１，ｗ２に対応する文脈ベクトルｖ（ｗ１）、ｖ（ｗ２）を取得する。その取得された文脈ベクトルｖ（ｗ１）、ｖ（ｗ２）は、図示しない記録媒体で記憶されてもよい。
【００４２】
（ステップＳ１０３）算出部１４は、取得部１３が取得した文脈ベクトルｖ（ｗ１）、ｖ（ｗ２）からベイズ推定を用いて得られた確率分布を用いて、前述のようにして、意味的類似度を算出する。その算出の方法は問わない。例えば、文脈ベクトルのベクトル空間において積分を行うことによって意味的類似度を算出してもよく、事前分布をディリクレ分布として、文脈ベクトルを用いて補正されたハイパーパラメータの事後分布であるディリクレ分布を用いて意味的類似度を算出してもよく、さらに類似関数ｇをＢＣ係数あるいはＢＣ係数を拡張したものにすることによって、Γ関数に関する和の結果である意味的類似度を算出してもよい。
【００４３】
（ステップＳ１０４）出力部１５は、算出部１４が算出した意味的類似度を出力する。そして、ステップＳ１０１に戻る。
なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００４４】
次に、本実施の形態による類似度算出装置１の動作について、具体例を用いて説明する。
まず、簡単な例について説明する。その例では、言語表現ｗ０，ｗ１，ｗ２，ｗ３を考える。そして、ｃ（ｗ０，ｆ１）＝１０、ｃ（ｗ１，ｆ１）＝２、ｃ（ｗ２，ｆ１）＝１０、ｃ（ｗ３，ｆ１）＝２０とする。また、１次元しか考慮しないとすると、ｐ（ｆ１｜ｗｉ）は、すべてのｉについて１．０となる。また、Ｋ＝１００００、すべてのｋについてαｋ＝βｋ＝１．０とすると、本実施の形態において、（３）式を用いて算出した意味的類似度は、次のようになる。
【００４５】
ｓｉｍｂ（ｗ０、ｗ１）＝０．７８５３６８
ｓｉｍｂ（ｗ０、ｗ２）＝０．７８５４２１
ｓｉｍｂ（ｗ０、ｗ３）＝０．７８５４６３
【００４６】
このように、従来例であればすべて同じ確率となっていた意味的類似度が、本実施の形態による類似度算出装置１を用いることによって、頻度の高いものほどより大きな意味的類似度を有するようになっていることが分かる。
【００４７】
なお、本実施の形態による類似度算出装置１によって意味的類似度を算出した場合には、同じ言語表現に対する意味的類似度が１にならないことになる。例えば、前述の例の場合、ｓｉｍｂ（ｗ０、ｗ０）＝０．７８５４２となる。本来、同じ言語表現の意味的類似度は１．０となるものであるため、受付部１１が同じ言語表現である第１及び第２の言語表現を受け付けた場合には、出力部１５は、算出部１４による算出結果にかかわらず、意味的類似度「１．０」を出力するようにしてもよい。なお、その場合には、取得部１３による取得や、算出部１４による算出を行わなくてもよい。
【００４８】
次に、具体的な言語表現が受け付けられた場合について説明する。ユーザが、第１及び第２の言語表現「銅めっき」「亜鉛めっき」を入力したとする。すると、それらが受付部１１で受け付けられ（ステップＳ１０１）、取得部１３に渡される。取得部１３は、各言語表現「銅めっき」「亜鉛めっき」について、コーパス記憶部１２で記憶されているコーパスを用いて、各要素が共起頻度である文脈ベクトルを取得し（ステップＳ１０２）、その取得した文脈ベクトルを算出部１４に渡す。算出部１４は、受け取った文脈ベクトルを用いて、α'やβ'を算出し、その算出結果を用いて、前述の（３）式の値を計算する（ステップＳ１０３）。なお、すべてのｋについて、αｋ＝βｋ＝１．０であり、μ＝１．０であるとした。すると、算出部１４が算出した意味的類似度は、「０．１０５」となった。出力部１５は、その意味的類似度を、記録媒体１６に蓄積する（ステップＳ１０４）。なお、その蓄積の際に、出力部１５は、意味的類似度の算出対象となった２個の言語表現「銅めっき」「亜鉛めっき」に対応付けて、意味的類似度「０．１０５」を蓄積してもよい。このようにして、入力された２個の言語表現に対応する意味的類似度の算出が行われることになる。
【００４９】
次に、評価実験について説明する。この評価実験では、日本語の名詞間の意味的類似度を算出した。すなわち、この評価実験では、言語表現は名詞の単語である。また、類似関数としては、ＢＣ係数を用いた。すなわち、上記の（３）式において、ｄ＝１／２とした。また、すべてのｋについてμ＝１とした。また、人間によって単語が類似かどうか評価することは非常に困難であり、高コストであるため、自動評価を行うことにした。その方法については、例えば、次の文献の方法に従った。
文献：Ｐａｔｒｉｃｋ  Ｐａｎｔｅｌ，Ｅｒｉｃ  Ｃｒｅｓｔａｎ，Ａｒｋａｄｙ  Ｂｏｒｋｏｖｓｋｙ，ＡｎａＭａｒｉａ  Ｐｏｐｅｓｃｕ，Ｖｉｓｈｎｕ  Ｖｙａｓ、「Ｗｅｂ−ｓｃａｌｅ  ｄｉｓｔｒｉｂｕｔｉｏｎａｌ  ｓｉｍｉｌａｒｉｔｙ  ａｎｄ  ｅｎｔｉｔｙ  ｓｅｔ  ｅｘｐａｎｓｉｏｎ」、Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＥＭＮＬＰ２００９，ｐ．９３８−９４７、２００９年
【００５０】
類似の単語を有する単語セットに含まれる各単語は、同じ単語セットに含まれる他の単語と高い意味的類似度を有すると考えられる。したがって、その単語セットに含まれる各単語（インプット）と、同じ単語セットに含まれる他の単語（アンサー）とをペアにしたインプット＆アンサーペアを構成した。
【００５１】
また、その評価において、各単語（インプット）について、意味的類似度が高い順に５００個のリストを出力し、そのリストに含まれる各単語がアンサーに含まれているかどうか判断した。また評価の指標として、上位Ｔ個の適合率（Ｐｒｅｃｉｓｉｏｎ）の平均（ここで、上位Ｔ個の適合率を「Ｐ＠Ｔ」とし、その平均を「ＭＰ＠Ｔ」とする）と、適合率平均の平均（ここで、適合率平均を「ＡＰ（ａｖｅｒａｇｅ  ｐｒｅｃｉｓｉｏｎ）」とし、その平均を「ＭＡＰ」とする）とを用いた。ここで、Ｐ＠Ｔと、ＡＰとの定義は次の通りである。
【数１５】
0005522389.tif 000016
【００５２】
ここで、δ（ｗｉ∈ａｎｓ）は、ｗｉがアンサーに含まれた場合に１となり、そうでない場合に０となる関数である。また、Ｎ（＝５００）は、アウトプットの個数である。また、Ｒは、アンサーの個数である。ＭＰ＠Ｔ、ＭＡＰは、これらの値のすべてのインプットに対する平均である。
【００５３】
また、この評価実験では、文脈ベクトルとして、係り受け関係の共起頻度を用いた。そして、日本語のウェブ文書の大規模コーパス（検索エンジン研究基盤ＴＳＵＢＡＫＩ）の約１億ページ・６０億文のデータから名詞−動詞と名詞−名詞との係り受け関係タイプを抽出し、そのコーパスにおける頻度を計算した。名詞ｎが単語ｗに関係ｒで係る場合には、係り受け関係（ｎ，＜ｗ，ｒ＞）を取得した。ここで、文脈ｆｋは、＜ｗ，ｒ＞である。
【００５４】
名詞−動詞の係り受けの場合、助詞が関係の種類を示すことになる。例えば、文「ワインを買う」から、係り受け関係（ワイン，＜買う，を＞）を取得する。ここでは、助詞「を」が、動詞の目的語を表すために使用されている。なお、種々の助動詞の接尾語（例えば、「れる」など）は、単語ｗの一部であるとした。その助動詞は、係り受けにおいて名詞ｎの種類を大きく変化させるからである。名詞−名詞の係り受けの場合、表現「ｎ１のｎ２」から、係り受け関係（ｎ１，＜ｎ２，の＞）を取得する。
【００５５】
なお、前述の大規模コーパスから、約４億７０００万個の異なる係り受け関係を抽出した。その係り受け関係には、約３１００万個の単語（複合名詞を含む）、約２２００万個の文脈ｆｋが含まれていた。そして、共起する文脈の数に応じて名詞をソートし、共起する名詞の数に応じて文脈をソートした。そして、共起する文脈の多い方から１００万個の名詞を選択し、共起する名詞の多い方から１０万個の文脈を選択した。この評価実験では、その選択した名詞と文脈との両方を含む約２億６０００万個の係り受け関係のみを使用した。
【００５６】
［テストセット］
手作業で構築されたシソーラスにおいて共通の上位語を持つ単語（すなわち、兄弟語）は、類似の単語を有する単語セットとなりうる。そこで、単語−概念間の写像と、概念の階層関係とを有する日本語の辞書（ＥＤＲ  Ｖ３．０）から、そのような複数のセットを抽出した。その日本語の辞書は、３０４８８４個の名詞を有している。そして、６７０３個の兄弟語のセットが抽出された。そのセットに含まれる単語数の平均は、４５．９６である。その抽出したセットから、セットＡ、セットＢとして、それぞれランダムに２００個のセットずつを選択した。セットＡは、ハイパーパラメータの値を調整するために用いられるものである。セットＢは、その調整されたハイパーパラメータの確認のために用いられるものである。
【００５７】
なお、この評価実験では、そのようなセットの構成において、また類似度の算出において、単語の多義性に関する処理を行っていない。すなわち、ある単語は複数のセットに存在しうることになり、そのような単語に対するアンサーは、その単語の属する複数のセットに含まれる単語の集合である（もちろん、その単語自体は除かれることになる）。
【００５８】
さらに、これらのテストセットに含まれる単語が、大規模コーパスから選択した１００万語の全単語と異なっていることがある。したがって、テストセットから、その１００万語に含まれていない単語を取り除くと共に、その後に単語数が２未満になった単語セットを取り除いた。その結果、セットＡは、３７４０単語を含んでおり、平均１１５アンサーを含んでいた。また、セットＢは、３６５７単語を含んでおり、平均６５アンサーを含んでいた。このセットＡ、Ｂから、前述のインプット＆アンサーペアが構成されることになる。
【００５９】
［比較対象の類似度］
本実施の形態による類似度算出装置１を用いて算出した意味的類似度（この意味的類似度をＢＣｂとする）を、次の意味的類似度ＪＳ、ＰＭＩ−ｃｏｓ、Ｃｌｓ−ＪＳ、ＢＣ、ＢＣａと比較した。
【００６０】
ＪＳ：ｐ（ｆｋ｜ｗ１）と、ｐ（ｆｋ｜ｗ２）との間のＪｅｎｓｅｎ−Ｓｈａｎｎｏｎダイバージェンスである。この類似度については、次の文献を参照されたい。
文献：Ｉｄｏ  Ｄａｇａｎ，Ｆｅｒｎａｎｄｏ  Ｐｅｒｅｉｒａ，Ｌｉｌｌｉａｎ  Ｌｅｅ、「Ｓｉｍｉｌａｒｉｔｙ−ｂａｓｅｄ  ｅｓｔｉｍａｔｉｏｎ  ｏｆ  ｗｏｒｄ  ｃｏｏｃｃｕｒｒｅｎｃｅ  ｐｒｏｂａｂｉｌｉｔｉｅｓ」、Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＡＣＬ９４、１９９４年
文献：Ｉｄｏ  Ｄａｇａｎ，Ｌｉｌｌｉａｎ  Ｌｅｅ，Ｆｅｒｎａｎｄｏ  Ｐｅｒｅｉｒａ、「Ｓｉｍｉｌａｒｉｔｙ−ｂａｓｅｄ  ｍｏｄｅｌｓ  ｏｆ  ｗｏｒｄ  ｃｏｏｃｃｕｒｒｅｎｃｅ  ｐｒｏｂａｂｉｌｉｔｉｅｓ」、Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ，３４（１−３）：４３−６９、１９９９年
【００６１】
ＰＭＩ−ｃｏｓ：文脈ベクトルのコサインである。ここで、ｋ番目の次元は、ｗｉとｆｋとの間のＰＭＩであり、次のように定義される。
【数１６】
0005522389.tif 000017
また、この類似度については、次の文献を参照されたい。ただし、２００２年の文献で記述されているＰＭＩの値のディスカウントは使用しなかった。
文献：Ｐａｔｒｉｃｋ  Ｐａｎｔｅｌ、Ｄｅｋａｎｇ  Ｌｉｎ、「Ｄｉｓｃｏｖｅｒｉｎｇ  ｗｏｒｄ  ｓｅｎｓｅｓ  ｆｒｏｍ  ｔｅｘｔ」、Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ｅｉｇｈｔｈ  ＡＣＭ  ＳＩＧＫＤＤ  ｉｎｔｅｒｎａｔｉｏｎａｌ  ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｋｎｏｗｌｅｄｇｅ  ｄｉｓｃｏｖｅｒｙ  ａｎｄ  ｄａｔａ  ｍｉｎｉｎｇ，ｐ．６１３−６１９、２００２年
文献：Ｐａｔｒｉｃｋ  Ｐａｎｔｅｌ，Ｅｒｉｃ  Ｃｒｅｓｔａｎ，Ａｒｋａｄｙ  Ｂｏｒｋｏｖｓｋｙ，ＡｎａＭａｒｉａ  Ｐｏｐｅｓｃｕ，Ｖｉｓｈｎｕ  Ｖｙａｓ．「Ｗｅｂ−ｓｃａｌｅ  ｄｉｓｔｒｉｂｕｔｉｏｎａｌ  ｓｉｍｉｌａｒｉｔｙ  ａｎｄ  ｅｎｔｉｔｙ  ｓｅｔ  ｅｘｐａｎｓｉｏｎ」、Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＥＭＮＬＰ  ２００９，ｐ．９３８−９４７、２００９年
【００６２】
Ｃｌｓ−ＪＳ：後記するＫａｚａｍａ  ｅｔ  ａｌ．（２００９）は、隠れクラス分布ｐ（ｃ｜ｗ１）、ｐ（ｃ｜ｗ２）の間のＪｅｎｓｅｎ−Ｓｈａｎｎｏｎダイバージェンスを用いることを提案している。その隠れクラス分布は、後記するＫａｚａｍａ  ａｎｄ  Ｔｏｒｉｓａｗａ（２００８）で示されるように、次式の隠れクラスモデルによる係り受け関係のＥＭベースクラスタリングを使うことによって得られるものである。
【数１７】
0005522389.tif 000018
【００６３】
ＥＭクラスタリングの局所最小の効果を軽減するために、異なる初期パラメータを用いて得られるいくつかの異なるクラスタリングの結果によって類似度の平均をとることが提案されている。今回の評価実験では、「ｓ１＋ｓ２」によって示される２個のクラスタリング結果を結合させた。なお、各クラスタリング結果「ｓ１」「ｓ２」は、それぞれ２０００個の隠れクラスを有している。クラスタリングは、データスパースネスを扱うもう一つの方法であると考えられるため、このＣｌｓ−ＪＳを比較対象に含めた。
文献（Ｋａｚａｍａ  ｅｔ  ａｌ．）：風間淳一、Ｓｔｉｊｎ  Ｄｅ  Ｓａｅｇｅｒ、鳥澤健太郎、村田真樹、「係り受けの確率的クラスタリングを用いた大規模類似語リストの作成」、言語処理学会第１５回年次大会，ｐ．８４−８７，Ｔｏｔｔｏｒｉ，２００９年３月
文献（Ｋａｚａｍａ  ａｎｄ  Ｔｏｒｉｓａｗａ）：Ｊｕｎ'ｉｃｈｉ  Ｋａｚａｍａ  ａｎｄ  Ｋｅｎｔａｒｏ  Ｔｏｒｉｓａｗａ、「Ｉｎｄｕｃｉｎｇ  ｇａｚｅｔｔｅｅｒｓ  ｆｏｒ  ｎａｍｅｄ  ｅｎｔｉｔｙ  ｒｅｃｏｇｎｉｔｉｏｎ  ｂｙ  ｌａｒｇｅ−ｓｃａｌｅ  ｃｌｕｓｔｅｒｉｎｇ  ｏｆ  ｄｅｐｅｎｄｅｎｃｙ  ｒｅｌａｔｉｏｎｓ」、Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＡＣＬ−０８：ＨＬＴ、２００８年
【００６４】
ＢＣ：ｐ（ｆｋ｜ｗ１）と、ｐ（ｆｋ｜ｗ２）との間のＢＣ係数である。これは、ＢＣｂのベースラインとなるものである。この類似度については、次の文献を参照されたい。
文献：Ａ．Ｂｈａｔｔａｃｈａｒｙｙａ、「Ｏｎ  ａ  ｍｅａｓｕｒｅ  ｏｆ  ｄｉｖｅｒｇｅｎｃｅ  ｂｅｔｗｅｅｎ  ｔｗｏ  ｓｔａｔｉｓｔｉｃａｌ  ｐｏｐｕｌａｔｉｏｎｓ  ｄｅｆｉｎｅｄ  ｂｙ  ｔｈｅｉｒ  ｐｒｏｂａｂｉｌｉｔｙ  ｄｉｓｔｒｉｂｕｔｉｏｎｓ」、Ｂｕｌｌ．Ｃａｌｃｕｔｔａ  Ｍａｔｈ．Ｓｏｃ．，４９：２１４−２２４、１９４３年
【００６５】
ＢＣａ：アブソリュートディスカウンティング（ａｂｓｏｌｕｔｅ  ｄｉｓｃｏｕｎｔｉｎｇ）を用いたＢＣ係数である。それは、ｐ（ｆｋ｜ｗｉ）を算出する際に、ｃ（ｗｉ，ｆｋ）からディスカウンティング値αを差し引き、その残りの確率質量を頻度がゼロである文脈に均等に分配したものである。これは、単純なスムージング方法の例として含めたものである。
【００６６】
なお、ある単語と、他のすべての単語（この評価実験では１００万個）との意味的類似度を算出することは非常に負荷が大きいため、ｃ（ｗｉ，ｆｋ）のスパースネスを利用した近似方法を用いた。似たような近似方法は、前出のＰａｎｔｅｌ  ａｎｄ  Ｌｉｎ（２００２）や、Ｋａｚａｍａ  ｅｔ  ａｌ．（２００９）、Ｐａｎｔｅｌ  ｅｔ  ａｌ．（２００９）においても同様に使用されている。ある単語ｗｉに対して、文脈をｃ（ｗｉ，ｆｋ）の降順となるようにソートし、上位Ｌ個の文脈を選択する。そして、それぞれ選択した各文脈について、単語をｃ（ｗｉ，ｆｋ）の降順となるようにソートし、上位Ｍ個の単語を選択する。なお、この評価実験では、Ｌ＝Ｍ＝１６００とした。そして、その選択した１６００個の単語をあわせたものを候補の単語とし、その候補の単語についてのみ意味的類似度を算出した。すなわち、本実施の形態による類似度算出装置１は、ある単語（インプット）ｗｉと、それに対応する１６００個の候補の単語とを順次受け付け、その１６００個のペアについて、意味的類似度を算出する。そして、類似度算出装置１が記録媒体１６に蓄積した１６００個のペアに対する意味的類似度から、意味的類似度の高い上位５００個の単語を取得した。この５００個の単語がインプットに対するアウトプットとなる。この処理を、テストセットに含まれる各インプットに対して行った。
【００６７】
なお、この評価実験において、そのままのカウントｃ（ｗｉ，ｆｋ）ではなく、修正したカウント「ｌｏｇ（ｃ（ｗｉ，ｆｋ））＋１」を用いた。これは、ウェブデータで見られうる異常に頻度の高い係り受けの影響を低減するためである。
【００６８】
また、ＢＣｂとして、すべてのハイパーパラメータは同じ値とした。すなわち、すべてのｋについて、αｋ＝αとした。過度に大きいハイパーパラメータαは、観測を無視することを意味するため、適切ではないことは明らかである。そのため、ハイパーパラメータαは、調整されなくてはならない。ＢＣａのディスカウンティング値も同様に調整されることになる。
【００６９】
図３は、セットＡの結果を示すものである。その結果において、各意味的類似度のＭＡＰと、上位１，５，１０，２０のＭＰとが表示されている。ＢＣｂとＢＣａについては、調整後のαに対応するものと、他のいくつかのαに対応するものとが示されている。図４は、ＭＡＰに関して、ＢＣｂのハイパーパラメータのチューニングを示すものである（「ベイズ」で示されるグラフ）。なお、図４では、ＢＣａについても示している（「アブソリュートディスカウンティング」で示されるグラフ）。また、図５は、ＭＰに関する同様の結果である。図４，図５から、ＭＡＰとＭＰとは相関があることが分かる。また、これらの結果から、ＢＣｂは、ＢＣよりも確実に優れていることが分かる。すなわち、α＝０．００１６の場合には、ＭＡＰにおいて６．６％優れており、ＭＰ＠１において１４．７％優れていることになる。この状況においては、他の比較対象の意味的類似度に対して、ＢＣｂが最も優れた結果となっている。ＢＣａもＢＣに対しては優れているが、ＢＣｂほどではない。図３では、ｌｏｇの修正を行わなかった結果も示している。その修正を行うことによって改善が見られる（ＰＭＩ−ｃｏｓでは、その改善が小さかったり、はっきりしなかったりするが）。
【００７０】
ハイパーパラメータの調整では、オーバーフィッティング（過剰適合）の問題を含んでいるため、その頑健性が評価されなくてはならない。したがって、セットＡで調整したハイパーパラメータαを、セットＢで適切に使用できるかどうかを確認した。その結果は、図６で示されるものである。図６で示される実験結果から、セットＡに対して最適なハイパーパラメータα（＝０．００１６）は、セットＢに対しても同様に適切に使用できることが分かる。すなわち、この評価実験で示されるように、すべての単語の少数の部分集合を用いることによって、頑健にハイパーパラメータαを調整できたと思われる。したがって、前述のハイパーパラメータαの調整は、実際、現実的なものであると考えられる。
【００７１】
以上のように、本実施の形態による類似度算出装置１によれば、言語表現から得られた文脈ベクトルの不確実性を考慮に入れた意味的類似度を算出することができる。また、前述した言語表現ｗ０，ｗ１，ｗ２，ｗ３の具体例から分かるように、従来例であればすべて同じ値となっていた意味的類似度が、頻度の高いものほどより大きな意味的類似度を有するようになる。また、前述の評価実験から分かるように、本実施の形態による類似度算出装置１によって、従来の他の方法と比較して精度の高い意味的類似度を算出することができる。また、本実施の形態の類似度算出装置１による意味的類似度の計算は確率分布を考慮しているにもかかわらず、他の方法と比較して負荷がそれほど重たくならない。例えば、Ｃｌｓ−ＪＳでは、一つのクラスタリング結果を得るために、２４ＣＰＵコアで１週間かかったが、本実施の形態による類似度算出装置１の準備のためには、シングルコアで１時間かかっただけであった。また、１００万個の単語すべてについて上位５００個の意味的類似度の高い名詞を計算するのに、本実施の形態による類似度算出装置１では、１６ＣＰＵコアを用いて約１００時間かかったのに対して、ＪＳの場合には、約５７時間かかった。この程度の余分な時間であれば、許容可能であると考えられる。
【００７２】
本実施の形態による類似度算出装置１は、例えば、情報検索において用いることができる。具体的には、検索キーとして「スーパー」が入力された場合に、その「スーパー」と他の言語表現との意味的類似度を類似度算出装置１によって算出し、その結果を用いて、「スーパー」と意味的類似度が大きい「ショッピングセンター」を特定することができる。そして、その「ショッピングセンター」も検索キーに加えて、検索を行ってもよい。このようにすることで、検索キー「スーパー」にヒットする文書のみでなく、それに類似する検索キー「ショッピングセンター」にヒットする文書も検索することができる。
【００７３】
また、発想支援において用いることもできる。例えば、工業技術の開発において、「銅メッキ」の代わりに、その「銅メッキ」と意味的類似度の高い「亜鉛メッキ」や「光触媒コーティング」を用いるという別の可能性を提示することもできる。
【００７４】
また、対話システムにおいて用いることもできる。例えば、ユーザが「ＡＡＡ車」の話題を取り上げた際に、その「ＡＡＡ車」と意味的類似度の高い「ＢＢＢ車」を出すことによって、話題をふくらませることもできる。
【００７５】
また、リコメンデーションにおいて用いることもできる。例えば、過去に「野沢菜漬け」を購入した客に、その「野沢菜漬け」と意味的類似度の高い「高菜漬け」を勧めることができる。
【００７６】
また、マーケティングにおいて用いることもできる。例えば、今年、他社の販売した「ラー油」が流行している場合に、その「ラー油」と意味的類似度の高い「豆板醤」を新商品として投入することを検討することができる。あるいは逆に、昨年の流行とは意味的類似度の低い商品をあえて投入することを検討することもできる。
【００７７】
このように、本実施の形態による類似度算出装置１を用いて、ある言語表現Ａと意味的類似度の高い言語表現を取得する場合には、図示しない記録媒体において、種々の言語表現を記憶しておき、類似度算出装置１は、その第１の言語表現Ａと、記憶されている種々の言語表現である第２の言語表現との意味的類似度を算出し、その結果を用いて、第１の言語表現Ａと意味的類似度の高い第２の言語表現を特定してもよい。具体的には、意味的類似度の降順となるように第２の言語表現をソートし、意味的類似度の上位から所定の個数（１個または複数）の第２の言語表現を取得してもよく、意味的類似度の上位から所定の割合の第２の言語表現を取得してもよい。その所定の個数や所定の割合は、あらかじめ決まっていてもよく、あるいは、その算出時に決められてもよい。
【００７８】
なお、前述の評価実験において約３１００万個の名詞から１００万個の名詞を選択した際のソートについて、共起する文脈の多い方から４万個の単語ごとに、ＢＣｂとＢＣとのＭＰ＠２０を比較してみた。その結果、共起する文脈の多い単語については、ＢＣと比較したＢＣｂによる精度の改善幅が小さくなっていることが分かった。また、全体的な傾向として、共起する文脈の数が小さくなるにつれて、ＢＣｂによる精度の改善幅が大きくなっていることも分かった。なお、共起する文脈の多い単語は、おおよそ、コーパスにおける頻度の高い単語である。したがって、使用される頻度の高い単語については、異なるハイパーパラメータ（より小さい値）が適している可能性がある。したがって、算出部１４は、受付部１１が受け付けた第１及び第２の言語表現の頻度に応じて、ハイパーパラメータαの値を多少、上下させてもよい。具体的には、頻度が高くなるほど、ハイパーパラメータαが小さくなり、頻度が低くなるほど、ハイパーパラメータαが大きくなるように、ハイパーパラメータαの値を調整してもよい。
【００７９】
また、前述の評価実験では、すべてのｋについてαｋ＝αとしたが、準備のためにさらに時間がかかってもよいのであれば、αｋのそれぞれを調整するようにしてもよい。この場合には、さらに精度の高い結果が得られるものと考えられる。
【００８０】
ここで、前述の（３）式の導出について、簡単に説明する。まず、ディリクレ分布の規格化因子を導出するために用いられる次の関係がある。
【数１８】
0005522389.tif 000019
【００８１】
したがって、（２）式と、ＢＣ係数を拡張した類似関数ｇと、（Ａ）式とを用いると、意味的類似度は、次式のようになる。
【数１９】
0005522389.tif 000020
【００８２】
ここで、（Ａ）式を用いると、上記式のＢの部分は、次のようになる。
【数２０】
0005522389.tif 000021
この結果、前述の（３）式のようになる。
【００８３】
また、前述したように、類似度算出装置１においてコーパスを用いない場合には、類似度算出装置１は、コーパス記憶部１２を備えていなくてもよい。また、出力部１５が意味的類似度を記録媒体１６に蓄積しない場合には、類似度算出装置１は、記録媒体１６を備えていなくてもよい。
【００８４】
また、上記実施の形態では、類似度算出装置１がスタンドアロンである場合について説明したが、類似度算出装置１は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、情報を出力したりしてもよい。
【００８５】
また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
【００８６】
また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。
【００８７】
また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いるしきい値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していない場合であっても、ユーザが適宜、それらの情報を変更できるようにしてもよく、あるいは、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。
【００８８】
また、上記実施の形態において、類似度算出装置１に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、あるいは、別々のデバイスを有してもよい。
【００８９】
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記実施の形態における類似度算出装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、意味的類似度の算出の対象となる第１の言語表現ｗ１及び第２の言語表現ｗ２を受け付ける受付部、コーパスにおける前記第１の言語表現ｗ１の出現に関する情報である第１の文脈ベクトルと、前記コーパスにおける前記第２の言語表現ｗ２の出現に関する情報である第２の文脈ベクトルとを取得する取得部、２個の文脈ベクトルφ１、φ２の類似度を計算する類似関数ｇ（φ１、φ２）と、前記第１及び第２の文脈ベクトルからベイズ推定を用いて得られた確率分布とを用いて、前記第１の言語表現に対応する文脈ベクトルと、前記第２の言語表現に対応する文脈ベクトルとの類似度の期待値である意味的類似度を算出する算出部、前記算出部が算出した意味的類似度を出力する出力部として機能させるためのものである。
【００９０】
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。
【００９１】
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。
【００９２】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【００９３】
図７は、上記プログラムを実行して、上記実施の形態による類似度算出装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
【００９４】
図７において、コンピュータシステム９００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ドライブ９０５、ＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）ドライブ９０６を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。
【００９５】
図８は、コンピュータシステム９００の内部構成を示す図である。図８において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５、ＦＤドライブ９０６に加えて、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。
【００９６】
コンピュータシステム９００に、上記実施の形態による類似度算出装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１、またはＦＤ９２２に記憶されて、ＣＤ−ＲＯＭドライブ９０５、またはＦＤドライブ９０６に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１やＦＤ９２２、またはネットワークから直接、ロードされてもよい。
【００９７】
プログラムは、コンピュータ９０１に、上記実施の形態による類似度算出装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。
【００９８】
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【００９９】
以上より、本発明による類似度算出装置等によれば、文脈ベクトルの値が不確実であるという事実を考慮した適切な意味的類似度を算出することができ、意味的類似度を算出する装置等として有用である。
【符号の説明】
【０１００】
１  類似度算出装置
１１  受付部
１２  コーパス記憶部
１３  取得部
１４  算出部
１５  出力部
１６  記録媒体
【図１】
0005522389.tif 000025
【図２】
0005522389.tif 000026
【図３】
0005522389.tif 000027
【図４】
0005522389.tif 000028
【図５】
0005522389.tif 000029
【図６】
0005522389.tif 000030
【図７】
0005522389.tif 000031
【図８】
0005522389.tif 000032