(57)【要約】【課題】精度よくテキスト間の類似度を算出することができるようにする。【解決手段】画像類似度計算部１２０が、第１テキストを変換した、第１テキストに対応する第１画像情報と、第２テキストを変換した、第２テキストに対応する第２画像情報との類似度である画像類似度を算出し、テキストベクトル類似度計算部１４０が、第１テキストを表す第１テキストベクトルと、第２テキストを表す第２テキストベクトルとの類似度であるテキストベクトル類似度を算出し、テキスト類似度計算部１５０が、画像類似度と、テキストベクトル類似度とに基づいて、第１テキストと、第２テキストとの類似度を算出する。【選択図】図１
2020004322.tif 000002
【特許請求の範囲】
【請求項１】
入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出装置であって、
前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換する画像情報変換部と、
前記第１画像情報と、前記第２画像情報との類似度である画像類似度を算出する画像類似度計算部と、
前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成するテキストベクトル生成部と、
前記第１テキストベクトルと、前記第２テキストベクトルとの類似度であるテキストベクトル類似度を算出するテキストベクトル類似度計算部と、
前記画像類似度と、前記テキストベクトル類似度とに基づいて、前記第１テキストと、前記第２テキストとの類似度を算出するテキスト類似度計算部と、
を備えることを特徴とするテキスト類似度算出装置。
【請求項２】
入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出装置であって、
前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換する画像情報変換部と、
前記第１画像情報に基づいて、前記第１画像情報を表す第１画像ベクトルを生成すると共に、前記第２画像情報に基づいて、前記第２画像情報を表す第２画像ベクトルを生成する画像ベクトル生成部と、
前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成するテキストベクトル生成部と、
前記第１画像ベクトルと、前記第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、前記第２画像ベクトルと、前記第２テキストベクトルとを混合した第２混合ベクトルを生成する画像テキスト混合ベクトル生成部と、
前記第１混合ベクトルと、前記第２混合ベクトルとの類似度であるベクトル類似度を、前記第１テキストと、前記第２テキストとの類似度として算出するテキスト類似度計算部と、
を備えることを特徴とするテキスト類似度算出装置。
【請求項３】
入力されたテキストを、前記テキストに対応する画像情報に変換する画像情報変換部と、
前記画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定する視覚情報推定部と、
前記画像情報に基づいて、前記画像情報を表す画像ベクトルを生成する画像ベクトル生成部と、
前記テキストに基づいて、前記テキストを表すテキストベクトルを生成するテキストベクトル生成部と、
前記視覚情報推定部によって推定された、前記画像情報に前記普遍的視覚情報が含まれる度合いと、前記画像ベクトルと、前記テキストベクトルとに基づいて、混合ベクトルを生成する画像テキスト混合ベクトル生成部と、
を備えることを特徴とするテキスト類似度算出装置。
【請求項４】
前記第１画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定すると共に、前記第２画像情報に前記普遍的視覚情報が含まれる度合いを推定する視覚情報推定部
を更に備え、
前記テキスト類似度計算部は、前記視覚情報推定部によって推定された前記第１画像情報に前記普遍的視覚情報が含まれる度合い、及び前記第２画像情報に前記普遍的視覚情報が含まれる度合いに基づいて、前記第１テキストと、前記第２テキストとの類似度を算出する
ことを特徴とする請求項１又は２記載のテキスト類似度算出装置。
【請求項５】
入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出方法であって、
画像情報変換部が、前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換し、
画像類似度計算部が、前記第１画像情報と、前記第２画像情報との類似度である画像類似度を算出し、
テキストベクトル生成部が、前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成し、
テキストベクトル類似度計算部が、前記第１テキストベクトルと、前記第２テキストベクトルとの類似度であるテキストベクトル類似度を算出し、
テキスト類似度計算部が、前記画像類似度と、前記テキストベクトル類似度とに基づいて、前記第１テキストと、前記第２テキストとの類似度を算出する
ことを特徴とするテキスト類似度算出方法。
【請求項６】
入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出方法であって、
画像情報変換部が、前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換し、
画像ベクトル生成部が、前記第１画像情報に基づいて、前記第１画像情報を表す第１画像ベクトルを生成すると共に、前記第２画像情報に基づいて、前記第２画像情報を表す第２画像ベクトルを生成し、
テキストベクトル生成部が、前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成し、
画像テキスト混合ベクトル生成部が、前記第１画像ベクトルと、前記第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、前記第２画像ベクトルと、前記第２テキストベクトルとを混合した第２混合ベクトルを生成し、
テキスト類似度計算部が、前記第１混合ベクトルと、前記第２混合ベクトルとの類似度であるベクトル類似度を、前記第１テキストと、前記第２テキストとの類似度として算出する
ことを特徴とするテキスト類似度算出方法。
【請求項７】
画像情報変換部が、入力されたテキストを、前記テキストに対応する画像情報に変換し、
視覚情報推定部が、前記画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定し、
画像ベクトル生成部が、前記画像情報に基づいて、前記画像情報を表す画像ベクトルを生成し、
テキストベクトル生成部が、前記テキストに基づいて、前記テキストを表すテキストベクトルを生成し、
画像テキスト混合ベクトル生成部が、前記視覚情報推定部によって推定された、前記画像情報に前記普遍的視覚情報が含まれる度合いと、前記画像ベクトルと、前記テキストベクトルとに基づいて、混合ベクトルを生成する
ことを特徴とするテキスト類似度算出方法。
【請求項８】
コンピュータを、請求項１乃至４の何れか１項記載のテキスト類似度算出装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキスト類似度算出装置、テキスト類似度算出方法、及びプログラムに係り、特に、テキスト間の類似度を算出するためのテキスト類似度算出装置、テキスト類似度算出方法、及びプログラムに関する。
【背景技術】
【０００２】
ディープラーニングに代表される昨今の機械学習技術の発展に伴い、ＡＩを活用した多くのサービスが注目されている。例えば、テキストを扱う自然言語処理に関するＡＩサービスとして、ＦＡＱ検索やチャットボット、対話システムなどがある。
【０００３】
これらサービスにおいて、単語の意味をコンピュータ上で扱えるようにするための「分散表現」と呼ばれる技術が注目されている。分散表現とは、単語の持つ意味を高次元の実数ベクトル表現（単語ベクトル）に写像する技術によりベクトル化することで単語や文の意味を機械的に演算可能となる。意味的に類似した単語同士であるほど、単語のベクトル間の距離は小さくなる。
【０００４】
例えば、評価用のテキスト中の任意の単語に対し、適切な対応する概念ベクトルを推定する技術がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１２８９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、単語ベクトル（単語意味ベクトル、概念ベクトル、単語分散表現などともよばれる）は単語の共起関係に基づいて数値ベクトル化される。共起関係に基づく単語ベクトルは、似た文脈で使われる単語は似た意味を持つに違いないという仮説に基づく。
【０００７】
すなわち、語法的に近い単語は、ベクトル空間上でも近いベクトルとなる。
【０００８】
その結果、例えば、「りんご−みかん」、「野球−サッカー」、「赤−青」のように上位概念が同一の単語は、似たベクトルとして生成されてしまう、という問題があった。
【０００９】
すなわち、精度よくテキスト間の類似度を算出することができない、という問題があった。
【００１０】
本発明は上記の点に鑑みてなされたものであり、精度よくテキスト間の類似度を算出することができるテキスト類似度算出装置、テキスト類似度算出方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係るテキスト類似度算出装置は、入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出装置であって、前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換する画像情報変換部と、前記第１画像情報と、前記第２画像情報との類似度である画像類似度を算出する画像類似度計算部と、前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成するテキストベクトル生成部と、前記第１テキストベクトルと、前記第２テキストベクトルとの類似度であるテキストベクトル類似度を算出するテキストベクトル類似度計算部と、前記画像類似度と、前記テキストベクトル類似度とに基づいて、前記第１テキストと、前記第２テキストとの類似度を算出するテキスト類似度計算部と、を備えて構成される。
【００１２】
また、本発明に係るテキスト類似度算出方法は、入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出方法であって、画像情報変換部が、前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換し、画像類似度計算部が、前記第１画像情報と、前記第２画像情報との類似度である画像類似度を算出し、テキストベクトル生成部が、前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成し、テキストベクトル類似度計算部が、前記第１テキストベクトルと、前記第２テキストベクトルとの類似度であるテキストベクトル類似度を算出し、テキスト類似度計算部が、前記画像類似度と、前記テキストベクトル類似度とに基づいて、前記第１テキストと、前記第２テキストとの類似度を算出する。
【００１３】
本発明に係るテキスト類似度算出装置及びテキスト類似度算出方法によれば、画像情報変換部が、第１テキストを、第１テキストに対応する第１画像情報に変換すると共に、第２テキストを、第２テキストに対応する第２画像情報に変換し、画像類似度計算部が、第１画像情報と、第２画像情報との類似度である画像類似度を算出する。
【００１４】
そして、テキストベクトル生成部が、第１テキストに基づいて、第１テキストを表す第１テキストベクトルを生成すると共に、第２テキストに基づいて、第２テキストを表す第２テキストベクトルを生成し、テキストベクトル類似度計算部が、第１テキストベクトルと、第２テキストベクトルとの類似度であるテキストベクトル類似度を算出し、テキスト類似度計算部が、画像類似度と、テキストベクトル類似度とに基づいて、第１テキストと、第２テキストとの類似度を算出する。
【００１５】
このように、第１テキストを変換した、第１テキストに対応する第１画像情報と、第２テキストを変換した、第２テキストに対応する第２画像情報との類似度である画像類似度を算出し、第１テキストを表す第１テキストベクトルと、第２テキストを表す第２テキストベクトルとの類似度であるテキストベクトル類似度を算出し、画像類似度と、テキストベクトル類似度とに基づいて、第１テキストと、第２テキストとの類似度を算出することにより、精度よくテキスト間の類似度を算出することができる。
【００１６】
また、本発明に係るテキスト類似度算出装置は、前記第１画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定すると共に、前記第２画像情報に前記普遍的視覚情報が含まれる度合いを推定する視覚情報推定部を更に備え、前記テキスト類似度計算部は、前記視覚情報推定部によって推定された度合いに基づいて、前記第１テキストと、前記第２テキストとの類似度を算出することができる。
【００１７】
本発明に係るテキスト類似度算出装置は、入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出装置であって、前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換する画像情報変換部と、前記第１画像情報に基づいて、前記第１画像情報を表す第１画像ベクトルを生成すると共に、前記第２画像情報に基づいて、前記第２画像情報を表す第２画像ベクトルを生成する画像ベクトル生成部と、前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成するテキストベクトル生成部と、前記第１画像ベクトルと、前記第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、前記第２画像ベクトルと、前記第２テキストベクトルとを混合した第２混合ベクトルを生成する画像テキスト混合ベクトル生成部と、前記第１混合ベクトルと、前記第２混合ベクトルとの類似度であるベクトル類似度を、前記第１テキストと、前記第２テキストとの類似度として算出するテキスト類似度計算部と、を備えて構成される。
【００１８】
また、本発明に係るテキスト類似度算出方法は、入力された第１テキストと、入力された第２テキストとの類似度を算出するテキスト類似度算出方法であって、画像情報変換部が、前記第１テキストを、前記第１テキストに対応する第１画像情報に変換すると共に、前記第２テキストを、前記第２テキストに対応する第２画像情報に変換し、画像ベクトル生成部が、前記第１画像情報に基づいて、前記第１画像情報を表す第１画像ベクトルを生成すると共に、前記第２画像情報に基づいて、前記第２画像情報を表す第２画像ベクトルを生成し、テキストベクトル生成部が、前記第１テキストに基づいて、前記第１テキストを表す第１テキストベクトルを生成すると共に、前記第２テキストに基づいて、前記第２テキストを表す第２テキストベクトルを生成し、画像テキスト混合ベクトル生成部が、前記第１画像ベクトルと、前記第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、前記第２画像ベクトルと、前記第２テキストベクトルとを混合した第２混合ベクトルを生成し、テキスト類似度計算部が、前記第１混合ベクトルと、前記第２混合ベクトルとの類似度であるベクトル類似度を、前記第１テキストと、前記第２テキストとの類似度として算出する。
【００１９】
本発明に係るテキスト類似度算出装置及びテキスト類似度算出方法によれば、画像情報変換部が、第１テキストを、第１テキストに対応する第１画像情報に変換すると共に、第２テキストを、第２テキストに対応する第２画像情報に変換する、画像ベクトル生成部が、第１画像情報に基づいて、第１画像情報を表す第１画像ベクトルを生成すると共に、第２画像情報に基づいて、第２画像情報を表す第２画像ベクトルを生成し、テキストベクトル生成部が、第１テキストに基づいて、第１テキストを表す第１テキストベクトルを生成すると共に、第２テキストに基づいて、第２テキストを表す第２テキストベクトルを生成する。
【００２０】
そして、画像テキスト混合ベクトル生成部が、第１画像ベクトルと、第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、第２画像ベクトルと、第２テキストベクトルとを混合した第２混合ベクトルを生成し、テキスト類似度計算部が、第１混合ベクトルと、第２混合ベクトルとの類似度であるベクトル類似度を、第１テキストと、第２テキストとの類似度として算出する。
【００２１】
このように、第１テキストを変換した、第１テキストに対応する第１画像情報を表す第１画像ベクトルと、第１テキストを表す第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、第２テキストを変換した、第２テキストに対応する第２画像情報を表す第２画像ベクトルと、第２テキストを表す第２テキストベクトルとを混合した第２混合ベクトルを生成し、第１混合ベクトルと、第２混合ベクトルとの類似度であるベクトル類似度を、第１テキストと、第２テキストとの類似度として算出することにより、精度よくテキスト間の類似度を算出することができる。
【００２２】
また、本発明に係るテキスト類似度算出装置は、前記第１画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定すると共に、前記第２画像情報に前記普遍的視覚情報が含まれる度合いを推定する視覚情報推定部を更に備え、前記テキスト類似度計算部は、前記視覚情報推定部によって推定された度合いに基づいて、前記第１テキストと、前記第２テキストとの類似度を算出することができる。
【００２３】
本発明に係るテキスト類似度算出装置は、入力されたテキストを、前記テキストに対応する画像情報に変換する画像情報変換部と、前記画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定する視覚情報推定部と、前記画像情報に基づいて、前記画像情報を表す画像ベクトルを生成する画像ベクトル生成部と、前記テキストに基づいて、前記テキストを表すテキストベクトルを生成するテキストベクトル生成部と、前記視覚情報推定部によって推定された、前記画像情報に前記普遍的視覚情報が含まれる度合いと、前記画像ベクトルと、前記テキストベクトルとに基づいて、混合ベクトルを生成する画像テキスト混合ベクトル生成部と、を備えて構成される。
【００２４】
また、本発明に係るテキスト類似度算出方法は、画像情報変換部が、入力されたテキストを、前記テキストに対応する画像情報に変換し、視覚情報推定部が、前記画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定し、画像ベクトル生成部が、前記画像情報に基づいて、前記画像情報を表す画像ベクトルを生成し、テキストベクトル生成部が、前記テキストに基づいて、前記テキストを表すテキストベクトルを生成し、画像テキスト混合ベクトル生成部が、前記視覚情報推定部によって推定された、前記画像情報に前記普遍的視覚情報が含まれる度合いと、前記画像ベクトルと、前記テキストベクトルとに基づいて、混合ベクトルを生成する。
【００２５】
本発明に係るプログラムは、上記のテキスト類似度算出装置の各部として機能させるためのプログラムである。
【発明の効果】
【００２６】
本発明のテキスト類似度算出装置、テキスト類似度算出方法、及びプログラムによれば、精度よくテキスト間の類似度を算出することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施の形態に係るテキスト類似度算出装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係るテキスト類似度算出装置のテキスト類似度算出処理ルーチンを示すフローチャートである。
【図３】本発明の第２の実施の形態に係るテキスト類似度算出装置の構成を示すブロック図である。
【図４】本発明の第２の実施の形態に係るテキスト類似度算出装置のテキスト類似度算出処理ルーチンを示すフローチャートである。
【図５】本発明の第３の実施の形態に係るテキスト類似度算出装置の構成を示すブロック図である。
【図６】本発明の第３の実施の形態に係るテキスト類似度算出装置のテキスト類似度算出処理ルーチンを示すフローチャートである。
【図７】本発明の第３の実施の形態に係るテキスト類似度算出装置に、普遍的視覚情報を用いる構成を適用した構成を示すブロック図である。
【図８】本発明の第３の実施の形態に係るテキスト類似度算出装置の変形例１を示すブロック図である。
【図９】本発明の第３の実施の形態に係るテキスト類似度算出装置の変形例２を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下、本発明の実施の形態について図面を用いて説明する。
【００２９】
＜本発明の実施の形態に係るテキスト類似度算出装置の概要＞
まず、本発明の実施形態の概要について説明する。
【００３０】
本実施形態は、語法的には近いが、意味の異なる単語を識別可能にするため、語法以外の特徴も併用する。
【００３１】
本実施形態では、語法以外の特徴として、画像情報を用いる。語法的な類似性では捉えることのできない視覚的な差異を用いることで、課題の解決を図る。
【００３２】
具体的には、テキストを画像情報に変換した上で画像間の類似度も利用することで精度向上を図る。テキストの画像情報変換には、例えばｗｅｂ検索を利用する。
【００３３】
このような構成により、大量のテキストコーパスを集めなくても、より正確なテキスト間の意味の類似性を計算することが可能になる。
【００３４】
また、画像情報を用いるにあたり、普遍的な視覚情報を有する度合いを推定し、その度合いに応じて画像情報を利用する。あるいは、普遍的な視覚情報を有するテキストか否かを推定し、普遍的な視覚情報を有すると推定されたテキストのみ画像情報を利用する。
【００３５】
ここで、普遍的視覚情報を有する度合いが低い場合とは、視覚的な特徴量が不安定な場合を示し、普遍的な視覚情報を有しないテキストとは、例えば「あなた／わたし」や「上／下」等の現実世界で視覚的な実体を持たないテキストのことを示す。
【００３６】
普遍的視覚情報の有無の推定は、例えば、（１）得られた画像データが写真であるかイラストであるかについて推定する。写真であるものは普遍的視覚情報を有し、イラストであるものは普遍的視覚情報を有さないと推定する。イラストには抽象的なものも多く含まれ、抽象的な概念は人によって受ける印象が異なってくる。このような抽象的な概念に対して画像の情報を用いるメリットが無いと考えられるので、イラストは普遍的視覚情報を有さないものとみなす。
【００３７】
また、普遍的視覚情報を有する度合いの推定では、例えば、（２）得られた複数の画像データの特徴量の分散の大きさを利用する（特徴量の分散が小さい方が、安定した視覚的特徴量と言える）等により推定する。
【００３８】
このような構成により、語法的な類似性では捉えることのできない視覚的な差異を用いることができるため、精度よくテキスト間の類似度を算出することができる。
【００３９】
＜本発明の第１の実施の形態に係るテキスト類似度算出装置の構成＞
図１を参照して、本発明の第１の実施の形態に係るテキスト類似度算出装置１０の構成について説明する。図１は、本発明の第１の実施の形態に係るテキスト類似度算出装置１０の構成を示すブロック図である。
【００４０】
テキスト類似度算出装置１０は、ＣＰＵと、ＲＡＭと、後述するテキスト類似度算出処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００４１】
図１に示すように、本実施形態に係るテキスト類似度算出装置１０は、入力部１００と、画像情報変換部１１０と、画像類似度計算部１２０と、テキストベクトル生成部１３０と、テキストベクトル類似度計算部１４０と、テキスト類似度計算部１５０と、出力部１６０とを備えて構成される。
【００４２】
入力部１００は、第１テキスト及び第２テキストの入力を受け付ける。
【００４３】
ここで、テキストとは、自然文で書かれたものであり、１以上の単語からなる。テキストは、１単語でもよく、文、文書等でもよい。
【００４４】
そして、入力部１００は、受け付けた第１テキスト及び第２テキストを、画像情報変換部１１０及びテキストベクトル生成部１３０に渡す。
【００４５】
画像情報変換部１１０は、第１テキストを、第１テキストに対応する第１画像情報に変換すると共に、第２テキストを、第２テキストに対応第２画像情報に変換する。
【００４６】
画像情報変換部１１０が、テキストから画像情報に変換する手段として、例えば、ｗｅｂ−ａｐｉ等を用いることができる。すなわち、ｗｅｂ検索により画像検索をし、検索結果である画像データを、検索上位ｎ個取得したものを、画像情報とする。
【００４７】
具体的には、画像情報変換部１１０は、第１テキストについてｗｅｂ検索により画像検索をし、検索結果である画像データを検索上位ｎ個取得したものを、第１画像情報とする。同様に、画像情報変換部１１０は、第２テキストについてｗｅｂ検索により画像検索をし、検索結果である画像データを検索上位ｎ個取得したものを、第２画像情報とする。
【００４８】
そして、画像情報変換部１１０は、第１画像情報及び第２画像情報を、画像類似度計算部１２０に渡す。
【００４９】
画像類似度計算部１２０は、第１画像情報と、第２画像情報との類似度である画像類似度Ｓｉを算出する。
【００５０】
具体的には、画像類似度計算部１２０は、任意の画像類似度の計算方法を用いて、第１画像情報と、第２画像情報との類似度である画像類似度Ｓｉを算出する。
【００５１】
例えば、参考文献１のように、特徴点周辺の注目度によって特徴点の重み付けを行い、重み付き類似度を求める等の既存手法を用いて、画像類似度Ｓｉを算出する。
［参考文献１］木村  昭悟、外３名、"重み付き特徴点照合に基づく高速画像検索″、電子情報通信学会技術研究報告．ＰＲＭＵ，パターン認識・メディア理解１０５（１１８）、２００５年６月。
【００５２】
また、画像類似度計算部１２０は、画像情報変換部１１０により第１画像情報又は第２画像情報に複数の画像データが含まれている場合には、当該複数の画像データと、他方の画像データとの全ての組合せについての画像類似度を算出し、その平均を第１画像情報と第２画像情報との画像類似度Ｓｉとする。
【００５３】
そして、画像類似度計算部１２０は、算出した画像類似度Ｓｉを、テキスト類似度計算部１５０に渡す。
【００５４】
テキストベクトル生成部１３０は、第１テキストに基づいて、第１テキストを表す第１テキストベクトルを生成すると共に、第２テキストに基づいて、第２テキストを表す第２テキストベクトルを生成する。テキストベクトルの次元数は所定の次元数であり、全てのテキストベクトルで同一とする。
【００５５】
具体的には、テキストベクトル生成部１３０は、テキストに対応するテキストベクトルを生成するために、事前に収集された大量のテキストコーパス（図示しない）から、単語ベクトルを学習する。なお、処理の都度学習を行う必要はなく、予め学習しておいた単語ベクトルを用いてもよい。また、単語ベクトルの学習方法は、既存手法を用いて良い。
【００５６】
テキストベクトル生成部１３０は、テキストに含まれる各単語に対応する単語ベクトルを用いて、テキストに対応するテキストベクトルを生成する。テキストに対応するテキストベクトルを生成する方法は、例えば参考文献２の方法等の既存手法を用いることができる。
［参考文献２］別所  克人、外３名、"単語ベクトルを用いた文書要約の検討（ライフインテリジェンスとオフィス情報システム）″、電子情報通信学会技術研究報告＝ＩＥＩＣＥ  ｔｅｃｈｎｉｃａｌ  ｒｅｐｏｒｔ  ：信学技報  １１４（３２）、２０１４年５月。
【００５７】
そして、テキストベクトル生成部１３０は、生成した第１テキストベクトル及び第２テキストベクトルを、テキストベクトル類似度計算部１４０に渡す。
【００５８】
テキストベクトル類似度計算部１４０は、第１テキストベクトルと、第２テキストベクトルとの類似度であるテキストベクトル類似度Ｓｔを算出する。
【００５９】
具体的には、テキストベクトル類似度計算部１４０は、テキストベクトル間の類似度であるテキストベクトル類似度Ｓｔを、参考文献２のベクトル類似度の計算方法等の既存手法を用いて算出する。例えば、テキストベクトル間のユークリッド距離やコサイン類似度を用いて類似度を算出すればよい。
【００６０】
そして、テキストベクトル類似度計算部１４０は、算出したテキストベクトル類似度Ｓｔを、テキスト類似度計算部１５０に渡す。
【００６１】
テキスト類似度計算部１５０は、画像類似度Ｓｉと、テキストベクトル類似度Ｓｔとに基づいて、第１テキストと、第２テキストとの類似度Ｓを算出する。
【００６２】
具体的には、テキスト類似度計算部１５０は、第１テキストと、第２テキストとの類似度Ｓを、画像類似度Ｓｉとテキストベクトル類似度Ｓｔとの線形和（下記式（１））により算出する。
【００６３】
【数１】
2020004322.tif 000003
【００６４】
ここで、αは重みであり、評価セット等を用いる等により事前に定めておく。αは、例えば以下のように決定される。
【００６５】
まず、あるテキストＡに対し、複数のテキストＢを用意する。複数のテキストＢの各々は、テキストＡとの意味の類似性に基づき人手で順位付けされている。つまり、順位が高いものほどテキストＡとテキストＢの意味的類似性が高いことを意味する。
【００６６】
次に、そのような順位付されたテキストＡと複数のテキストＢとのセットを１つ又は複数用意し、テキスト類似度計算部１５０により算出された類似度Ｓに基づく順位と人手で与えられた順位との順位相関が最も高いパラメータを求める。このパラメータに基づいて、αを求める。例えば、求めたパラメータをそのままαとして用いることができる。なお、αは人手により任意の値を設定してもよい。
【００６７】
そして、テキスト類似度計算部１５０は、算出した第１テキストと、第２テキストとの類似度Ｓを、出力部１６０に渡す。
【００６８】
出力部１６０は、第１テキストと、第２テキストとの類似度Ｓを出力する。
【００６９】
＜本発明の第１の実施の形態に係るテキスト類似度算出装置の作用＞
図２は、本発明の実施の形態に係るテキスト類似度算出処理ルーチンを示すフローチャートである。
【００７０】
入力部１００に第１テキスト及び第２テキストが入力されると、テキスト類似度算出装置１０において、図２に示すテキスト類似度算出処理ルーチンが実行される。
【００７１】
まず、ステップＳ１００において、入力部１００が、第１テキスト及び第２テキストの入力を受け付ける。
【００７２】
ステップＳ１１０において、テキストベクトル生成部１３０は、第１テキストに基づいて、第１テキストを表す第１テキストベクトルを生成すると共に、第２テキストに基づいて、第２テキストを表す第２テキストベクトルを生成する。
【００７３】
ステップＳ１２０において、テキストベクトル類似度計算部１４０は、第１テキストベクトルと、第２テキストベクトルとの類似度であるテキストベクトル類似度Ｓｔを算出する。
【００７４】
ステップＳ１３０において、画像情報変換部１１０は、第１テキストを、第１テキストに対応する第１画像情報に変換すると共に、第２テキストを、第２テキストに対応第２画像情報に変換する。
【００７５】
ステップＳ１４０において、画像類似度計算部１２０は、第１画像情報と、第２画像情報との類似度である画像類似度Ｓｉを算出する。
【００７６】
ステップＳ１５０において、テキスト類似度計算部１５０は、画像類似度Ｓｉと、テキストベクトル類似度Ｓｔとに基づいて、第１テキストと、第２テキストとの類似度Ｓを算出する。
【００７７】
ステップＳ１６０において、出力部１６０は、第１テキストと、第２テキストとの類似度Ｓを出力する。
【００７８】
以上説明したように、本発明の実施形態に係るテキスト類似度算出装置によれば、第１テキストを変換した、第１テキストに対応する第１画像情報と、第２テキストを変換した、第２テキストに対応する第２画像情報との類似度である画像類似度を算出し、第１テキストを表す第１テキストベクトルと、第２テキストを表す第２テキストベクトルとの類似度であるテキストベクトル類似度を算出し、画像類似度と、テキストベクトル類似度とに基づいて、第１テキストと、第２テキストとの類似度を算出することにより、精度よくテキスト間の類似度を算出することができる。
【００７９】
＜本発明の第２の実施の形態に係るテキスト類似度算出装置の構成＞
図３を参照して、本発明の第２の実施の形態に係るテキスト類似度算出装置の構成について説明する。図３は、本発明の第２の実施の形態に係るテキスト類似度算出装置２０の構成を示すブロック図である。
【００８０】
なお、第１の実施の形態に係るテキスト類似度算出装置１０と同様の構成については、同一の符号を付して詳細な説明は省略する。
【００８１】
テキスト類似度算出装置２０は、ＣＰＵと、ＲＡＭと、後述するテキスト類似度算出処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００８２】
図３に示すように、本実施形態に係るテキスト類似度算出装置２０は、入力部１００と、画像情報変換部１１０と、視覚情報推定部２１２と、画像情報利用判定部２１４と、画像類似度計算部２２０と、テキストベクトル生成部１３０と、テキストベクトル類似度計算部１４０と、テキスト類似度計算部２５０と、出力部１６０とを備えて構成される。
【００８３】
画像情報変換部１１０は、第１画像情報及び第２画像情報を、視覚情報推定部２１２及び画像類似度計算部２２０に渡す。
【００８４】
視覚情報推定部２１２は、第１画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定すると共に、第２画像情報に普遍的視覚情報が含まれる度合いを推定する。
【００８５】
具体的には、視覚情報推定部２１２は、第１画像情報に含まれる複数の画像データの各々が、普遍的視覚情報を有するか否かを推定する。普遍的視覚情報を有するか否かは、得られた画像データが写真であるか、イラストであるかによって判定する。
【００８６】
画像データが、写真であるか、イラストであるかの判定には、例えば参考文献３等の既存技術を利用することができる。
［参考文献３］大塚  一輝、外３名、"ディープラーニングを用いての写真と絵画、イラストの識別"、情報処理学会、第７９回全国大会講演論文集、２０１７年３月、ｐ．ｐ．３７１−３７２。
【００８７】
視覚情報推定部２１２は、第１画像情報に含まれる複数の画像データのうち、写真であると判定された画像データの割合を、第１画像情報に普遍的視覚情報が含まれる度合いとして、推定する。
【００８８】
視覚情報推定部２１２は、第２画像情報についても同様に、第２画像情報に含まれる複数の画像データのうち、写真であると判定された画像データの割合を、第２画像情報に普遍的視覚情報が含まれる度合いとして推定する。
【００８９】
そして、視覚情報推定部２１２は、推定した第１画像情報が普遍的視覚情報を有する度合い及び第２画像情報が普遍的視覚情報を有する度合いを推定結果として、画像情報利用判定部２１４に渡す。
【００９０】
画像情報利用判定部２１４は、視覚情報推定部２１２によって推定された第１画像情報に普遍的視覚情報が含まれる度合い、及び第２画像情報に普遍的視覚情報が含まれる度合いに基づいて、テキスト類似度計算部２５０が画像類似度Ｓｉを用いるか否かを決定する。
【００９１】
具体的には、画像情報利用判定部２１４は、第１画像情報及び第２画像情報の少なくとも一方について普遍的視覚情報が含まれる度合いが、予め定めた閾値未満である場合、テキスト類似度計算部２５０が画像類似度Ｓｉを用いないことを決定する。すなわち、以降の処理に画像情報は利用しない。
【００９２】
一方、画像情報利用判定部２１４は、第１画像情報及び第２画像情報のいずれについても普遍的視覚情報が含まれる度合いが、予め定めた閾値以上である推定された場合、テキスト類似度計算部２５０が画像類似度Ｓｉを用いることを決定する。
【００９３】
そして、画像情報利用判定部２１４は、テキスト類似度計算部２５０が画像類似度Ｓｉを用いないことを決定した場合には、その旨をテキスト類似度計算部２５０に渡す。また、画像情報利用判定部２１４は、テキスト類似度計算部２５０が画像類似度Ｓｉを用いることを決定した場合には、その旨を、画像類似度計算部２２０及びテキスト類似度計算部２５０に渡す。
【００９４】
画像類似度計算部２２０は、画像情報利用判定部２１４が、画像類似度Ｓｔを用いることを決定した場合に、第１画像情報と、第２画像情報との類似度である画像類似度Ｓｉを算出する。
【００９５】
そして、画像類似度計算部２２０は、算出した画像類似度Ｓｉを、テキスト類似度計算部２５０に渡す。
【００９６】
テキスト類似度計算部２５０は、画像情報利用判定部２１４によって、画像類似度Ｓｉを用いることを決定された場合に、画像類似度Ｓｉと、テキストベクトル類似度Ｓｔとに基づいて、第１テキストと、第２テキストとの類似度Ｓを算出する。この場合、テキスト類似度計算部１５０と同様の処理を行う。
【００９７】
一方、テキスト類似度計算部２５０は、画像情報利用判定部２１４によって、画像類似度Ｓｉを用いないことを決定された場合に、テキストベクトル類似度Ｓｔに基づいて、第１テキストと、第２テキストとの類似度Ｓを算出する。
【００９８】
具体的には、テキスト類似度計算部２５０は、画像類似度Ｓｉを用いない場合、テキストベクトル類似度Ｓｉを、第１テキストと、第２テキストとの類似度Ｓとする。この場合、上記式（１）において、α＝０としてもよい。
【００９９】
なお、画像情報利用判定部２１４が、視覚情報推定部２１２によって推定された第１画像情報に普遍的視覚情報が含まれる度合い、及び第２画像情報に普遍的視覚情報が含まれる度合いに基づいて、αの値を調整する構成としてもよい。
【０１００】
この場合、第１画像情報に普遍的視覚情報が含まれる度合い、及び第２画像情報に普遍的視覚情報が含まれる度合いのいずれもが予め定めた値を下回る場合（すなわち、画像類似度Ｓｉを用いないと判定するような場合）に、α＝０とすることができる。
【０１０１】
また、両テキスト毎に、普遍的視覚情報が含まれる度合いの推定値を１に規格化しておき、αの値として、大きい方を用いる、小さい方を用いる、平均を用いる等の方法を用いてもよい。この場合、αの値は０と１との間を取り得る。
【０１０２】
そして、テキスト類似度計算部２５０は、算出した第１テキストと、第２テキストとの類似度Ｓを、出力部１６０に渡す。
【０１０３】
＜本発明の第２の実施の形態に係るテキスト類似度算出装置の作用＞
図４は、本発明の第２の実施の形態に係るテキスト類似度算出処理ルーチンを示すフローチャートである。なお、第１の実施の形態に係るテキスト類似度算出処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。
【０１０４】
ステップＳ２３２において、視覚情報推定部２１２は、第１画像情報に普遍的な視覚情報である普遍的視覚情報が含まれる度合いを推定すると共に、第２画像情報に普遍的視覚情報が含まれる度合いを推定する。
【０１０５】
ステップＳ２３４において、画像情報利用判定部２１４は、視覚情報推定部２１２によって推定された、第１画像情報に普遍的視覚情報が含まれる度合いが閾値未満である、又は、第２画像情報に普遍的視覚情報が含まれる度合いが閾値未満である場合に、テキスト類似度計算部２５０が画像類似度Ｓｉを用いないことを決定する。
【０１０６】
画像類似度Ｓｉを用いると決定された場合（ステップＳ２３４のＹＥＳ）、ステップＳ１４０〜Ｓ１６０の処理を行う。
【０１０７】
一方、画像類似度Ｓｉを用いないと決定された場合（ステップＳ２３４のＮＯ）、ステップＳ２５０において、テキスト類似度計算部２５０は、テキストベクトル類似度Ｓｔに基づいて、第１テキストと、第２テキストとの類似度Ｓを算出する。
【０１０８】
以上説明したように、本実施形態に係るテキスト類似度算出装置によれば、第１画像情報に普遍的視覚情報が含まれる度合いを推定すると共に、第２画像情報に普遍的視覚情報が含まれる度合いを推定し、第１画像情報に普遍的視覚情報が含まれる度合いが閾値未満である、又は、第２画像情報に普遍的視覚情報が含まれていないと推定された場合に、画像類似度を用いないことを決定し、テキストベクトル類似度を、第１テキストと、第２テキストとの類似度とするため、精度よくテキスト間の類似度を算出することができる。
【０１０９】
＜本発明の第３の実施の形態に係るテキスト類似度算出装置の構成＞
図５を参照して、本発明の第３の実施の形態に係るテキスト類似度算出装置の構成について説明する。図５は、本発明の第３の実施の形態に係るテキスト類似度算出装置３０の構成を示すブロック図である。
【０１１０】
なお、第１の実施の形態に係るテキスト類似度算出装置１０と同様の構成については、同一の符号を付して詳細な説明は省略する。
【０１１１】
テキスト類似度算出装置３０は、ＣＰＵと、ＲＡＭと、後述するテキスト類似度算出処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【０１１２】
図５に示すように、本実施形態に係るテキスト類似度算出装置３０は、入力部１００と、画像情報変換部１１０と、画像ベクトル生成部３１５と、テキストベクトル生成部１３０と、画像テキスト混合ベクトル生成部３３５と、テキスト類似度計算部３５０と、出力部１６０とを備えて構成される。
【０１１３】
本実施形態のテキストベクトル生成部１３０は、第１テキストベクトル及び第２テキストベクトルを、画像テキスト混合ベクトル生成部３３５に渡す。
【０１１４】
画像ベクトル生成部３１５は、第１画像情報に基づいて、第１画像情報を表す第１画像ベクトルを生成すると共に、第２画像情報に基づいて、第２画像情報を表す第２画像ベクトルを生成する。画像ベクトルの次元数は所定の次元数であり、全ての画像ベクトルで同一とする。なお、画像ベクトルの次元数は、テキストベクトルの次元数と同じである必要はない。
【０１１５】
具体的には、画像ベクトル生成部３１５は、例えば、参考文献４等の既存技術を用いて、第１画像情報に含まれるｎ個の画像データの各々について、当該画像データに対応する画像ベクトルを生成する。
［参考文献４］紺谷  精一、外２名、"複数特徴量を統合した  ｖｉｓｕａｌ  ｗｏｒｄｓ  による料理画像の分類"、電子情報通信学会技術研究報告．  ＬＯＩＳ，  ライフインテリジェンスとオフィス情報システム、２０１０年７月、ｐ．ｐ．３５−３９．
【０１１６】
そして、得られたｎ個の画像ベクトルの重心をとり、第１画像ベクトルを生成する。
【０１１７】
ここで、ｎ個の画像ベクトルの重心を取る事で本来持っていた視覚的な情報が壊されてしまうことも考えられる。その場合、第１画像情報に含まれるｎ個の画像データの各々についての画像ベクトルのうち、重心ベクトルに最も近い画像ベクトルを第１画像ベクトルとしても良い。
【０１１８】
画像ベクトル生成部３１５は、同様に、第２画像情報を表す第２画像ベクトルを生成する。
【０１１９】
そして、画像ベクトル生成部３１５は、第１画像ベクトル及び第２画像ベクトルを、画像テキスト混合ベクトル生成部３３５に渡す。
【０１２０】
画像テキスト混合ベクトル生成部３３５は、第１画像ベクトルと、第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、第２画像ベクトルと、第２テキストベクトルとを混合した第２混合ベクトルを生成する。
【０１２１】
具体的には、画像テキスト混合ベクトル生成部３３５は、第１テキストベクトルと第１画像ベクトルとを結合することにより、第１混合ベクトルを生成する。結合方法は既存手法を用いることができ、例えば、第１テキストベクトルの末尾に、第１画像ベクトルをそのまま連結させる方法を採用してもよい。
【０１２２】
例えば、第１テキストベクトルが（ａ，ｂ，ｃ）、第１画像ベクトルが（ｄ，ｅ，ｆ，ｇ）であったとすると、これらを結合した第１混合ベクトルは、（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ）と表すことができる。なお、上述した重み付けのためのαの情報を各混合ベクトルに対応させて保持する構成としてもよい。
【０１２３】
同様に、画像テキスト混合ベクトル生成部３３５は、第２画像ベクトルと、第２テキストベクトルとを混合した第２混合ベクトルを生成する。
【０１２４】
そして、画像テキスト混合ベクトル生成部３３５は、第１混合ベクトル及び第２混合ベクトルを、テキスト類似度計算部３５０に渡す。
【０１２５】
テキスト類似度計算部３５０は、第１混合ベクトルと、第２混合ベクトルとの類似度である混合ベクトル類似度を、第１テキストと、第２テキストとの類似度Ｓとして算出する。
【０１２６】
具体的には、テキスト類似度計算部３５０は、第１混合ベクトルと、第２混合ベクトルとの類似度である混合ベクトル類似度を、ユークリッド距離やコサイン類似度を算出する等の方法により、算出する。
【０１２７】
そして、テキスト類似度計算部３５０は、算出した第１テキストと、第２テキストとの類似度Ｓを、出力部１６０に渡す。
【０１２８】
＜本発明の第３の実施の形態に係るテキスト類似度算出装置の作用＞
図６は、本発明の第３の実施の形態に係るテキスト類似度算出処理ルーチンを示すフローチャートである。なお、第１の実施の形態に係るテキスト類似度算出処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。
【０１２９】
ステップＳ３３５において、画像ベクトル生成部３１５は、第１画像情報に基づいて、第１画像情報を表す第１画像ベクトルを生成すると共に、第２画像情報に基づいて、第２画像情報を表す第２画像ベクトルを生成する。
【０１３０】
ステップＳ３４０において、画像テキスト混合ベクトル生成部３３５は、第１画像ベクトルと、第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、第２画像ベクトルと、第２テキストベクトルとを混合した第２混合ベクトルを生成する。
【０１３１】
ステップＳ３５０において、テキスト類似度計算部３５０は、第１混合ベクトルと、第２混合ベクトルとの類似度である混合ベクトル類似度を、第１テキストと、第２テキストとの類似度Ｓとして算出する。
【０１３２】
以上説明したように、本実施形態に係るテキスト類似度算出装置によれば、第１テキストを変換した、第１テキストに対応する第１画像情報を表す第１画像ベクトルと、第１テキストを表す第１テキストベクトルとを混合した第１混合ベクトルを生成すると共に、第２テキストを変換した、第２テキストに対応する第２画像情報を表す第２画像ベクトルと、第２テキストを表す第２テキストベクトルとを混合した第２混合ベクトルを生成し、第１混合ベクトルと、第２混合ベクトルとの類似度であるベクトル類似度を、第１テキストと、第２テキストとの類似度として算出することにより、精度よくテキスト間の類似度を算出することができる。
【０１３３】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１３４】
例えば、視覚情報推定部２１２は、得られた複数の画像データの特徴量の分散の大きさを利用する（特徴量の分散に対し、任意の閾値で判定）ことにより、普遍的視覚情報を有する度合いを推定するようにしてもよい。この場合、複数の画像データを用いるため、第１画像情報及び第２画像情報の各々に含まれる画像データの数ｎ＞１とする。また、画像情報利用判定部２１４による、画像情報を利用する／しないの判定を省略する。
【０１３５】
そして、画像類似度計算部２２０は、第１画像情報と、第２画像情報との類似度である画像類似度Ｓｉを算出する。
【０１３６】
更に、テキスト類似度計算部２５０は、画像類似度Ｓｉと、テキストベクトル類似度Ｓｔと、視覚情報推定部２１２により推定された度合いとに基づいて、第１テキストと、第２テキストとの類似度Ｓを算出する。
【０１３７】
この場合、テキスト類似度計算部２５０は、第１度合い及び第２度合いに応じて、重みαの値を変更する。
【０１３８】
また、視覚情報推定部２１２は、第１画像情報に普遍的な視覚情報である普遍的視覚情報が含まれるか否かを推定すると共に、第２画像情報に普遍的視覚情報が含まれるか否かを推定してもよい。
【０１３９】
また、第２の実施の形態で採用した普遍的視覚情報を用いる構成を、第３の実施の形態においても採用することができる。図７は、第３の実施の形態に係るテキスト類似度算出装置３０に、普遍的視覚情報を用いる構成を適用した構成を示すブロック図である。
【０１４０】
この場合、テキスト類似度計算部３５０で類似度計算を行う際に、視覚情報推定部２１２の推定結果に基づき、画像テキスト混合ベクトルの類似度計算を行う。計算方法の一例を以下に示す。
【０１４１】
画像情報利用判定部２１４は、視覚情報推定部２１２によって、推定された第１画像情報に普遍的視覚情報が含まれる度合いが閾値未満である、又は、第２画像情報に普遍的視覚情報が含まれる度合いが閾値未満である場合に、画像テキスト混合ベクトル生成部３３５が画像ベクトルを用いないことを決定する。
【０１４２】
一方、画像情報利用判定部２１４は、第１画像情報及び第２画像情報のいずれについても普遍的視覚情報が含まれる度合いが閾値以上である場合、画像テキスト混合ベクトル生成部３３５が画像ベクトルを用いることを決定する。
【０１４３】
そして、画像情報利用判定部２１４は、画像テキスト混合ベクトル生成部３３５が画像ベクトルを用いないことを決定した場合には、その旨を画像テキスト混合ベクトル生成部３３５に渡す。また、画像情報利用判定部２１４は、画像テキスト混合ベクトル生成部３３５が画像ベクトルを用いることを決定した場合には、その旨を、画像ベクトル生成部３１５及び画像テキスト混合ベクトル生成部３３５に渡す。
【０１４４】
画像テキスト混合ベクトル生成部３３５は、画像情報利用判定部２１４によって画像ベクトルを用いないことが決定された場合に、第１テキストベクトルを、第１混合ベクトルとし、第２テキストベクトルを、第２混合ベクトルとする。
【０１４５】
また、上述の第３の実施の形態では、入力された第１テキスト及び第２テキストについて第１混合ベクトル及び第２混合ベクトルを生成する構成としたが、これに限定されるものではなく、予め複数のテキストについての複数の混合ベクトルを生成しておき、入力された第１テキスト及び第２テキストの各々に対応する第１混合ベクトル及び第２混合ベクトルを検索して、得られた第１混合ベクトルと、第２混合ベクトルとの類似度であるベクトル類似度を、第１テキストと、第２テキストとの類似度Ｓとして算出するようにしてもよい。
【０１４６】
例えば、第３の実施の形態に係るテキスト類似度算出装置３０を、以下のように変形することができる。
【０１４７】
＜変形例１＞
図８は、本発明の第３の実施の形態に係るテキスト類似度算出装置３０の変形例１を示すブロック図である。変形例１では、テキスト類似度算出装置３０は、画像テキスト混合ベクトルＤＢ３７０と、入力部４００とを更に備える。
【０１４８】
入力部１００は、複数の混合ベクトルを生成するための複数のテキストの入力を受け付ける。
【０１４９】
画像テキスト混合ベクトルＤＢ３７０は、入力部１００が受け付けた複数のテキストについて生成された複数の混合ベクトルを格納する。
【０１５０】
入力部４００は、第１テキスト及び第２テキストの入力を受け付け、テキスト類似度計算部３５０に渡す。
【０１５１】
テキスト類似度計算部３５０は、第１テキスト及び第２テキストをクエリとして、第１テキスト及び第２テキストに対応する第１混合ベクトル及び第２混合ベクトルを、画像テキスト混合ベクトルＤＢ３７０から検索する。
【０１５２】
テキスト類似度計算部３５０は、検索して得られた第１混合ベクトルと、第２混合ベクトルとの類似度であるベクトル類似度を、第１テキストと、第２テキストとの類似度Ｓとして算出する。
【０１５３】
そして、テキスト類似度計算部３５０は、算出した類似度Ｓを、出力部１６０に渡す。
【０１５４】
＜変形例２＞
図９は、本発明の第３の実施の形態に係るテキスト類似度算出装置３０の変形例２を示すブロック図である。変形例２では、テキスト類似度算出装置３０は、変形例１と異なり、入力部１００の代わりに、単語ＤＢ３０５を備える。
【０１５５】
単語ＤＢ３０５は、テキストとしての複数の単語の各々について、当該単語を表す単語ベクトルを格納する。例えば、従来技術で作成した、単語と、その分散表現（テキストベクトル）とからなるデータベースとして構成される。
【０１５６】
変形例２では、単語ＤＢ３０５に含まれる複数の単語の各々について、当該単語に対して画像情報変換部１１０及び画像ベクトル生成部３１５の処理を行い、当該単語を変換した画像情報を表す画像ベクトルを生成する。
【０１５７】
一方、複数の単語に対する複数の単語ベクトルは既に生成されているため、テキストベクトル生成部１３０の処理を省略する。
【０１５８】
画像テキスト混合ベクトル生成部３３５は、複数の単語の各々について、当該単語に対応する画像ベクトルと、単語ベクトルとを混合した混合ベクトルを生成する。
【０１５９】
画像テキスト混合ベクトル生成部３３５は、生成した複数の混合ベクトルを、画像テキスト混合ベクトルＤＢ３７０に格納する。
【０１６０】
また、上記変形例１及び変形例２において、視覚情報推定部２１２を備えることもできる。この場合、画像テキスト混合ベクトルＤＢ３７０は、複数のテキストの各々、又は複数の単語の各々について、視覚情報推定部２１２の推定結果を保持するため、（１）各画像テキスト混合ベクトルに対応する値として保持する、（２）画像ベクトルに、視覚情報推定部２１２の推定結果に相当する要素を加える、すなわち画像ベクトルの次元数を１次元増やす、等の方法を採用することができる。
【０１６１】
そして、テキスト類似度計算部３５０により類似度計算を行う際に、第１テキスト及び第２テキストに対して保持された視覚情報推定部２１２の推定結果に基づいて、画像テキスト混合ベクトルの類似度計算を行う。
【０１６２】
このとき、テキスト類似度計算部３５０は、例えば、画像テキスト混合ベクトルＤＢ３７０に保持された、第１テキスト及び第２テキストに対して保持された視覚情報推定部２１２の推定結果の値に基づき、画像テキスト混合ベクトルのうち、いずれの次元の値を用いて類似度計算を行うかを決定する。すなわち、視覚情報推定部２１２の推定結果の値に応じて、画像テキスト混合ベクトルのテキストベクトル部分のみで類似度計算を行うか、画像ベクトル部分まで用いて類似度計算を行うかを決定する。又は、画像テキスト混合ベクトルの類似度計算を行う際に、視覚情報推定部２１２の推定結果の値に応じて、重み付けを行うようにすればよい。
【０１６３】
このような構成では、画像テキスト混合ベクトルにおいて、テキスト類似度計算部３５０は各次元が何を表すかの情報（テキストベクトルが○〜○次元、画像ベクトルが×〜×次元、αは△次元等）を、予め取得しておく。
【０１６４】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１６５】
１０   テキスト類似度算出装置
２０   テキスト類似度算出装置
３０   テキスト類似度算出装置
１００ 入力部
１１０ 画像情報変換部
１２０ 画像類似度計算部
１３０ テキストベクトル生成部
１４０ テキストベクトル類似度計算部
１５０ テキスト類似度計算部
１６０ 出力部
２１２ 視覚情報推定部
２１４ 画像情報利用判定部
２２０ 画像類似度計算部
２５０ テキスト類似度計算部
３０５ 単語ＤＢ
３１５ 画像ベクトル生成部
３３５ 画像テキスト混合ベクトル生成部
３５０ テキスト類似度計算部
３７０ 画像テキスト混合ベクトルＤＢ
４００ 入力部
【図１】
2020004322.tif 000004
【図２】
2020004322.tif 000005
【図３】
2020004322.tif 000006
【図４】
2020004322.tif 000007
【図５】
2020004322.tif 000008
【図６】
2020004322.tif 000009
【図７】
2020004322.tif 000010
【図８】
2020004322.tif 000011
【図９】
2020004322.tif 000012