(57)【要約】【課題】より性能の高い情報検索を行うことができる超球面空間言語モデル生成技術を提供する。【解決手段】超球面空間言語モデル生成装置は、所定のトークン連続値ベクトル変換モデルを用いて入力された文書に含まれる各トークンに大きさ１の連続値ベクトルを割り当て、割り当てられた大きさ１の連続値ベクトルを用いて文書の超球面空間言語モデルを生成する超球面空間言語モデル変換部１１を備えている。【選択図】図１
2018147062.tif 000002
【特許請求の範囲】
【請求項１】
所定のトークン連続値ベクトル変換モデルを用いて入力された文書に含まれる各トークンに大きさ１の連続値ベクトルを割り当て、割り当てられた大きさ１の連続値ベクトルを用いて上記文書の超球面空間言語モデルを生成する超球面空間言語モデル変換部、
を含む超球面空間言語モデル生成装置。
【請求項２】
請求項１の超球面空間言語モデル生成装置であって、
上記所定のトークン連続値ベクトル変換モデルは、２以上の所定のトークン連続値ベクトル変換モデルを含む、
超球面空間言語モデル生成装置。
【請求項３】
所定のトークン連続値ベクトル変換モデルを用いて入力された検索クエリに含まれる各トークンに大きさ１の連続値ベクトルを割り当て、請求項１の超球面空間言語モデル生成装置により生成された文書の超球面空間言語モデルにおける、上記検索クエリに含まれる各トークンに割り当てられた連続値ベクトルの尤度の和を計算して、上記検索クエリの上記文書の超球面空間言語モデルにおけるクエリ尤度とするクエリ尤度算出部を含む、
クエリ尤度算出装置。
【請求項４】
所定のトークン連続値ベクトル変換モデルを用いて文書集合の各文書に含まれる各トークンに大きさ１の連続値ベクトルを割り当て、割り当てられた大きさ１の連続値ベクトルを用いて文書集合の各文書の超球面空間言語モデルを生成する超球面空間言語モデル変換部、
を含む超球面空間言語モデル生成装置。
【請求項５】
所定のトークン連続値ベクトル変換モデルを用いて入力された検索クエリに含まれる各トークンに大きさ１の連続値ベクトルを割り当て、請求項１の超球面空間言語モデル生成装置により生成された、文書集合の各文書の超球面空間言語モデルにおける、上記検索クエリに含まれる各トークンに割り当てられた連続値ベクトルの尤度の和を計算して、上記検索クエリの各文書の超球面空間言語モデルにおけるクエリ尤度とするクエリ尤度算出部を含む、
クエリ尤度算出装置。
【請求項６】
超球面空間言語モデル変換部が、所定のトークン連続値ベクトル変換モデルを用いて入力された文書に含まれる各トークンに大きさ１の連続値ベクトルを割り当て、割り当てられた大きさ１の連続値ベクトルを用いて上記文書の超球面空間言語モデルを生成する超球面空間言語モデル変換ステップ、
を含む超球面空間言語モデル生成方法。
【請求項７】
クエリ尤度算出部が、所定のトークン連続値ベクトル変換モデルを用いて入力された検索クエリに含まれる各トークンに大きさ１の連続値ベクトルを割り当て、請求項１の超球面空間言語モデル生成装置により生成された文書の超球面空間言語モデルにおける、上記検索クエリに含まれる各トークンに割り当てられた連続値ベクトルの尤度の和を計算して、上記検索クエリの上記文書の超球面空間言語モデルにおけるクエリ尤度とするクエリ尤度算出ステップを含む、
クエリ尤度算出方法。
【請求項８】
請求項１から５の何れかの装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、文書群のデータベースに対して情報検索を行うために用いられる技術に関する。
【背景技術】
【０００２】
情報検索は、検索対象の集合である文書群に対してユーザが検索クエリを入力した際に、クエリに対する適合度のスコアを各文書に付与し、スコア順に文書を並び替える枠組みによって実現されている。ここで、文書は様々な対象が考えられ、代表的なものはWebページであり、その他に、社内文書などを対象とした情報検索も含まれる。
【０００３】
情報検索の方法の１つに確率的言語モデルを用いる方法がある。確率的言語モデルを用いる方法では、事前に検索対象の集合である文書群のそれぞれの文書を確率的言語モデルとして表現しておく。そして入力クエリに対して、クエリ文を生成する確率値を各文書について求め、スコア順に文書に並び替えることで情報検索を実現できる。具体的には、文書Dに関する言語モデルθDがクエリQを生成する尤度（クエリ尤度と呼ばれる）log P（Q｜θD）を定義し、文書集合の全ての文書に対してクエリ尤度を求める。
【０００４】
情報検索における確率的言語モデルとしては、一般的に多項分布に基づくモデル化が利用される（例えば、非特許文献１参照。）。ここで、クエリQは、Q=q1,…,qLとして表されることにする。なお、qiはトークンと呼ばれる単位で分割された要素あり、例えば単語や文字が該当する。つまり、Lはクエリに含まれるトークン数であり、トークンの単位が単語であれば、文書に含まれる単語数を表す。このとき、多項分布に基づくモデル化では、以下の式でモデル化する。この時、文書Dに関する言語モデルθDに対するクエリQのクエリ尤度 log p（Q｜θD）は以下でモデル化される。
【０００５】
【数１】
2018147062.tif 000003
【０００６】
ここで、p(q|θD)は文書Dに関する確率的言語モデルからトークンqが生成する確率である。文書Dからのp(q|θD)のモデル化方法、つまり情報検索モデル製造方法は様々な手法が考えられるが、代表的な最尤推定に基づく方法では、以下の式でモデル化する。
【０００７】
【数２】
2018147062.tif 000004
【０００８】
ここで、c(q|D)は、文書Dに含まれるトークンqの回数、|D|は文書Dに含まれるトークンの総数である。例えばDが、”東京  の  人気  の  名所  は  ディズニーランド  や  スカイツリー  です”(※ スペースはトークンの区切りを表す)であれば、最尤推定によるモデルでは、p(東京|θD=1/10)、p(の|θD =1/5)としてモデル化される。
【０００９】
また、文書Dに含まれないトークンについては確率が0となってしまうため、スムージングと呼ばれる処理を入れることで微小な確率を割り当てる処理を行う。これに限らず、多項分布に基づくモデル化では、文書Dごとに、あらかじめ様々なトークンについてp(q|θD)をモデル化しておくことで、情報検索モデルを構成している。スムージングの詳細、および多項分布に基づくモデル化におけるその他のモデル製造方法については、例えば非特許文献２を参照のこと。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】J. M. Ponte and W.B. Croft “A language modeling approach to information retrieval”, In Proc. SIGIR 1998, pp.275-281, 1998.
【非特許文献２】江口浩二, “情報検索のための確率的言語モデル” IPSJ SIG Technical Report Vol.2010-SLP-82, No.9, 2010.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
多項分布に基づく情報検索モデルでは、トークンの空間を離散空間で表現し、トークンqごとに確率値P(q|θD)を割り当てている。この場合、あらかじめ確率値を割り当てていないトークンに対する生成確率を求めることができない。例えば、文書Dが”東京  の  人気  の  名所  は  ディズニーランド  や  スカイツリー  です”で、検索クエリQが“関東  の  有名  な  観光地  を  教え  て”である場合、検索クエリに関係する文書であると考えられるが、多項分布に基づく情報検索モデルでは、クエリ尤度は小さくなってしまう。多項分布に基づく情報検索モデルでは、文書に出現しないトークンについては、生成確率が小さくなりやすくなってしまうため、“関東”というトークンや“観光地”というトークンの生成確率は低くなってしまう。
【００１２】
実際、検索クエリ“関東”というトークンと“東京”というトークン、“人気”というトークンと“有名”というトークン、“名所”というトークンと“観光地”というトークン、それぞれは類似しているトークン同士であるが、多項分布に基づく情報検索モデルでは類似性を考慮できない。つまり、離散空間ではトークン間の類似性を考慮した情報検索を行えない。
【００１３】
この発明では、より性能の高い情報検索を行うことができる、超球面空間言語モデル生成装置、クエリ尤度算出装置、これらの方法およびプログラムを提供することである。
【課題を解決するための手段】
【００１４】
この発明の一態様による超球面空間言語モデル生成装置は、所定のトークン連続値ベクトル変換モデルを用いて入力された文書に含まれる各トークンに大きさ１の連続値ベクトルを割り当て、割り当てられた大きさ１の連続値ベクトルを用いて文書の超球面空間言語モデルを生成する超球面空間言語モデル変換部を備えている。
【００１５】
この発明の一態様による超球面空間言語モデル生成装置は、所定のトークン連続値ベクトル変換モデルを用いて文書集合の各文書に含まれる各トークンに大きさ１の連続値ベクトルを割り当て、割り当てられた大きさ１の連続値ベクトルを用いて文書集合の各文書の超球面空間言語モデルを生成する超球面空間言語モデル変換部を備えている。
【００１６】
この発明の一態様によるクエリ尤度算出装置は、所定のトークン連続値ベクトル変換モデルを用いて入力された検索クエリに含まれる各トークンに大きさ１の連続値ベクトルを割り当て、請求項１の超球面空間言語モデル生成装置により生成された文書の超球面空間言語モデルにおける、検索クエリに含まれる各トークンに割り当てられた連続値ベクトルの尤度の和を計算して、検索クエリの文書の超球面空間言語モデルにおけるクエリ尤度とするクエリ尤度算出部を備えている。
【００１７】
この発明の一態様によるクエリ尤度算出装置は、所定のトークン連続値ベクトル変換モデルを用いて入力された検索クエリに含まれる各トークンに大きさ１の連続値ベクトルを割り当て、請求項１の超球面空間言語モデル生成装置により生成された、文書集合の各文書の超球面空間言語モデルにおける、検索クエリに含まれる各トークンに割り当てられた連続値ベクトルの尤度の和を計算して、検索クエリの各文書の超球面空間言語モデルにおけるクエリ尤度とするクエリ尤度算出部を備えている。
【発明の効果】
【００１８】
より性能の高い情報検索を行うことができる、超球面空間言語モデルを生成し又はクエリ尤度を算出することができる。
【図面の簡単な説明】
【００１９】
【図１】情報検索装置の例を説明するためのブロック図。
【図２】情報検索方法の例を説明するための流れ図。
【発明を実施するための形態】
【００２０】
［技術的背景］
上記の課題を解決するためのポイントは、任意のトークンを大きさ1の連続値ベクトルとして表現する枠組みを導入し、トークンを超球面のベクトル空間上で扱う点である。その際に、類似性のあるトークン間の距離が近い(角度が小さい)距離空間になるような超球面空間を導入することで、トークン間の類似性を直接評価できるようになる。この考え方を確率的言語モデルに基づく情報検索の枠具無でと扱うために、例えば混合von Mises Fisher分布を用いて文書の情報検索モデルを構成する。これにより、多項分布に基づく情報検索モデルでは捉えられないトークン間の類似性を、超球面空間上のベクトル間の距離（超球面空間上では角度）として捉えながら、クエリ尤度を求めることができるようになる。
【００２１】
つまり、例えば、文書Dが”東京  の  人気  の  名所  は  ディズニーランド  や  スカイツリー  です”で、検索クエリQが“関東  の  有名  な  観光地  を  教え  て”である場合においても、関東”というトークンと“東京”というトークン、“人気”というトークンと“有名”というトークン、“名所”というトークンと“観光地”というトークン、それぞれは類似しているトークン同士であることを捉えて、クエリ尤度を算出できるようになる。
【００２２】
そして、各文書を超球面空間上の確率的言語モデルとして表現し、従来と同様に入力の検索クエリに対してクエリ尤度が高い文書を出力することで、性能の高い情報検索を実現できるようになる。
【００２３】
［前提］
文書および検索クエリでは、単語がトークン区切りとして表現されているものとする。トークン単位で区切る基準は、単語単位や文字単位などを用いることができる。単語単位の場合は、英語であればスペース区切りとするなどの方法をとることができ、日本語であれば任意の形態素解析などの分割方法を用いればよい。
【００２４】
任意のトークンを大きさ1の連続値ベクトルとして表現する枠組みを導入する。これを「トークン連続値ベクトル変換モデル」と呼ぶ。なお、トークン連続値ベクトル変換モデルを作り直したりする場合は、後述の実施例において、作り直したものを利用する必要がある。
【００２５】
トークン連続値ベクトル変換モデルは、様々な方法でモデル化することができるが、代表的なものとしては、Skip-gramモデルや連続Bag-of-Wordsモデルという方法を導入することができる（例えば、参考文献１参照。）。この場合、あらかじめ大量のテキストデータから、Skip-gramモデルや連続Bag-of-Wordsモデルを学習しておくことで、トークンを連続値ベクトルに変換することができる。なお、この時点ではベクトルの大きさは1とは限らないことに留意されたい。
【００２６】
〔参考文献１〕Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, “Efficient estimation of word representations in vector space”, In Proc. ICLR, 2013.
【００２７】
なお、トークン連続値ベクトル変換モデルのモデル化の時点で、連続値ベクトルの次元数は決定される。この次元数は事前に人手で与えるものであり、2以上の次元とする必要があり、例えば200次元や400次元とすればよい。
【００２８】
次に、任意のベクトルを大きさ1の連続値ベクトルと表現するためには、以下の正規化を行えばよい。あるベクトル-vを大きさ1としてベクトルvは以下の式に従い算出できる。
【００２９】
【数３】
2018147062.tif 000005
【００３０】
これにより、トークン連続値ベクトル変換モデルでは、あるトークンを入力すると大きさ1の連続値ベクトルを出力することができる。
【００３１】
以下に説明する実施形態では、所定のトークン連続値ベクトル変換モデルが予め定められているとする。
【００３２】
［実施形態］
以下、図面を参照して、この発明の一実施形態について説明する。
【００３３】
情報検索装置は、超球面空間言語モデル生成部１と、情報検索部２とを備えている。超球面空間言語モデル生成部１は、超球面空間言語モデル変換部１１を備えている。情報検索部２は、クエリ尤度算出部２１を備えている。情報検索方法は、情報検索装置の各部が、以下に説明するステップＳ１からステップＳ２２の処理を行うことにより実現される。
【００３４】
＜超球面空間言語モデル生成部１＞
超球面空間言語モデル生成部１の超球面空間言語モデル変換部１１には、文書集合および所定のトークン連続値ベクトル変換モデルが入力される。
【００３５】
超球面空間言語モデル変換部１１は、所定のトークン連続値ベクトル変換モデルに基づいて、文書集合の各文書の超球面空間言語モデルを生成する（ステップＳ１）。超球面空間言語モデル変換部１１は、生成した文書集合の各文書の超球面空間言語モデルを、情報検索部２に出力する。
【００３６】
超球面空間言語モデル変換部１１は、文書集合の各文書を超球面空間言語モデルとして表現する。例えば、文書が100個ある場合は、100個の文書のそれぞれを超球面空間言語モデルとしてモデル化する。以下、文書集合の各文書を文書Dと表記する。
【００３７】
まず、超球面空間言語モデル変換部１１は、文書Dに含まれる各トークンを、所定のトークン連続値ベクトル変換モデルを用いて、大きさ1の連続値ベクトルに変換する。そして、超球面空間言語モデル変換部１１は、これらの連続値ベクトル系列を用いて、文書Dについての超球面空間言語モデルを学習する。
【００３８】
ここでは、あるトークンqについての大きさ1の連続値ベクトルをq'と表現する。つまり、D=q1,…,qLはq1',…,qL'として表される。超球面空間言語モデルp(q'|θD)を混合von Mises Fisher分布として表現する場合、次式により確率値を求めることができる。
【００３９】
【数４】
2018147062.tif 000006
【００４０】
ここで、M、λm、κm、μmが、混合von Mises Fisher分布のモデルパラメータである。Cpは所定の関数である。文書Dからの上記モデルパラメータの推定は様々な方法が考えられるが、基本的にMは人手で決めることになる。なお、Mは2以上かつL以下となる必要がある。例えば、M=Lとし、その他のパラメータをq1',…,qL'から最尤推定によって求めるという手段をとることができる。混合von Mises Fisher分布のモデルパラメータの最尤推定は、例えば参考文献２を参照のこと。
【００４１】
〔参考文献２〕A. Banerjee, I. Dhillon, J. Ghosh, and S. Sra, “Clustering on the Unit Hypersphere Using Von Mises-Fisher Distributions,” J. Machine Learning Research, vol. 6, pp. 1345-1382, 2005.
【００４２】
このようにして、超球面空間言語モデル変換部１１は、所定のトークン連続値ベクトル変換モデルを用いて文書集合の各文書に含まれる各トークンに大きさ１の連続値ベクトルを割り当て、割り当てられた大きさ１の連続値ベクトルを用いて文書集合の各文書の超球面空間言語モデルを生成する。
【００４３】
言い換えれば、超球面空間言語モデル変換部１１は、所定のトークン連続値ベクトル変換モデルを用いて入力された文書Dに含まれる各トークンに大きさ１の連続値ベクトルを割り当て、割り当てられた大きさ１の連続値ベクトルを用いて文書Dの超球面空間言語モデルを生成する。
【００４４】
＜情報検索部２＞
情報検索部２には、文書集合の各文書の超球面空間言語モデル、所定のトークン連続値ベクトル変換モデルおよび検索クエリが入力される。
【００４５】
情報検索部２は、文書集合の各文書の超球面空間言語モデルに関して、検索クエリのクエリ尤度を算出する（ステップＳ２１）。例えば、文書が100個ある場合は、情報検索部２は、100個の文書のそれぞれに関して検索クエリのクエリ尤度を算出する。以下、文書集合の各文書を文書Dと表記する。
【００４６】
まず、情報検索部２のクエリ尤度算出部２１は、検索クエリの各トークンを、所定のトークン連続値ベクトル変換モデルにより大きさ1の連続値ベクトルとして表す。言い換えれば、情報検索部２は、所定のトークン連続値ベクトル変換モデルを用いて入力された検索クエリに含まれる各トークンに大きさ１の連続値ベクトルを割り当てる。
【００４７】
そして、クエリ尤度算出部２１は、文書Dの超球面空間言語モデルを用いて、検索クエリのクエリ尤度を算出する。ここでは、あるトークンqについての大きさ1の連続値ベクトルをq'と表現する。つまり、検索クエリのトークン系列Q=q1,…,qLはq1',…,qL'として表される。このとき、文書Dについての検索クエリQのクエリ尤度は次式で算出できる。
【００４８】
【数５】
2018147062.tif 000007
【００４９】
ここで、p(qi'|θD)は、超球面空間言語モデル変換部１１で生成された超球面空間言語モデルp(q'|θD)である。
【００５０】
このようにして、クエリ尤度算出部２１は、文書集合の各文書の超球面空間言語モデルにおける、検索クエリに含まれる各トークンqに割り当てられた連続値ベクトルq'の尤度の和を計算して、検索クエリの各文書の超球面空間言語モデルにおけるクエリ尤度とする。
【００５１】
言い換えれば、情報検索部２のクエリ尤度算出部２１は、文書Dの超球面空間言語モデルにおける、検索クエリに含まれる各トークンに割り当てられた連続値ベクトルの尤度の和を計算して、検索クエリの文書Dの超球面空間言語モデルにおけるクエリ尤度とする。
【００５２】
情報検索部２は、各文書に対しての検索クエリのクエリ尤度が求まったあとは、クエリ尤度に基づいて、所定の基準で各文書を並び替えてユーザに提示するなどの任意の情報提示を行う（ステップＳ２２）。例えば、Nを所定の正の整数として、クエリ尤度が高い上位N個の文書の情報をユーザに提示してもよい。
【００５３】
［実施形態］
情報検索モデル製造装置、および情報検索装置は、文書集合の超球面空間言語モデル変換部と、超球面空間言語モデルによる情報検索部を備える。文書集合の超球面空間言語モデル変換部で、文書集合の各文書を超球面空間言語モデルとして表現する。また、超球面空間言語モデルによる情報検索部では、文書集合の各文書の超球面空間言語モデルに関して、検索クエリのクエリ尤度を算出し、クエリ尤度の高い順に文書を並び替えて出力する。
【００５４】
このように、離散空間では捉えられない文書と検索クエリ間の関係を超食う面空間上で捉えることにより、トークンの類似性を考慮したクエリ尤度の算出ができるようになる。よって、性能の高い情報検索を実現できるようになる。
【００５５】
［変形例］
所定のトークン連続値ベクトル変換モデルは、２以上の所定のトークン連続値ベクトル変換モデルを含んでいてもよい。２以上の所定のトークン連続値ベクトル変換モデルは、例えば、Skip-gramモデルと連続Bag-of-Wordsモデルの２種類のモデルであってもよい。また、２以上の所定のトークン連続値ベクトル変換モデルは、例えば、複数の異なる言語資源からそれぞれ学習した複数のSkip-gramモデルであってもよい。
【００５６】
これらの場合は、それぞれから求めた結合ベクトルを構成すればよく、例えば200次元のベクトルと300次元のベクトルの結合ベクトルは、200+300=500次元のベクトルである。この結合ベクトルを大きさ1に正規化することで、基本となる実施例と同じ枠組みで利用できる。
【００５７】
その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００５８】
[プログラム及び記録媒体]
超球面空間言語モデル生成装置、クエリ尤度算出装置又は情報検索装置における各処理をコンピュータによって実現する場合、超球面空間言語モデル生成装置、クエリ尤度算出装置又は情報検索装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、超球面空間言語モデル生成装置、クエリ尤度算出装置又は情報検索装置の処理がコンピュータ上で実現される。
【００５９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００６０】
また、各処理手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2018147062.tif 000008
【図２】
2018147062.tif 000009