(57)【要約】【課題】学習に用いる入力ベクトル（インスタンス）について、高精度の認識辞書を作るため、情報処理システムであって、学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択手段と、選択されたバッグ内から１つのインスタンスを選択するインスタンス選択手段と、複数の参照ベクトルと選択されたインスタンスとの距離を算出する距離算出手段と、算出された距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出手段と、バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出手段と、バッグ正解確率に基づいて、複数の参照ベクトルを修正する参照ベクトル修正手段と、を備えた。
2014073366.tif 000002
【特許請求の範囲】
【請求項１】
学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択手段と、
選択されたバッグ内から１つのインスタンスを選択するインスタンス選択手段と、
複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出手段と、
算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出手段と、
バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出手段と、
前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正手段と、
を備えた情報処理システム。
【請求項２】
前記バッグ正解確率に基づいて、参照ベクトルを修正するための係数を算出する修正係数算出手段をさらに備えた請求項１に記載の情報処理システム。
【請求項３】
前記修正係数算出手段は、インスタンスのカテゴリが正解である確率とインスタンスが属するバッグのカテゴリが不正解である確率との積を、バッグのカテゴリが正解である確率で除算した値、および、インスタンスのカテゴリが不正解である確率の値に基づいて、修正係数を算出する請求項２に記載の情報処理システム。
【請求項４】
前記修正係数算出手段は、インスタンスのカテゴリが正解である確率とインスタンスが属するバッグのカテゴリが不正解である確率との積、および、インスタンスのカテゴリが不正解である確率とインスタンスが属するバッグのカテゴリが正解である確率との積により、前記修正係数を算出する請求項２に記載の情報処理システム。
【請求項５】
前記修正係数算出手段は、前記入力ベクトルと同じカテゴリに属する前記参照ベクトルの距離の調和平均と、入力ベクトルと異なるカテゴリに属する参照ベクトルの距離の調和平均とを用いて修正係数を算出する請求項２に記載の情報処理システム。
【請求項６】
前記インスタンス確率算出手段は、前記入力ベクトルと同じカテゴリに属する前記参照ベクトルの距離のべき乗の逆数の総和と、前記入力ベクトルと異なるカテゴリに属する参照ベクトルの距離のべき乗の逆数の総和とを用いて前記インスタンス正解確率を算出する請求項４に記載の情報処理システム。
【請求項７】
前記インスタンス確率算出手段は、参照ベクトルの学習回数が増加するにつれて、インスタンスのカテゴリの正解確率が高くなるよう算出する請求項１乃至６のいずれか１項に記載の情報処理システム。
【請求項８】
前記バッグ確率算出手段は、バッグに含まれるインスタンスのうち少なくとも１つ以上が正解カテゴリである確率を算出する請求項１乃至７のいずれか１項に記載の情報処理システム。
【請求項９】
学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択ステップと、
選択されたバッグ内から１つのインスタンスを選択するインスタンス選択ステップと、
複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出ステップと、
算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出ステップと、
バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出ステップと、
前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正ステップと、
を含む認識辞書学習方法。
【請求項１０】
学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択ステップと、
選択されたバッグ内から１つのインスタンスを選択するインスタンス選択ステップと、
複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出ステップと、
算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出ステップと、
バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出ステップと、
前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正ステップと、
をコンピュータに実行させる認識辞書学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識辞書の学習技術に関する。
【背景技術】
【０００２】
非特許文献１には、参照ベクトルを用いた認識辞書学習手法として、LearningVectorQuantization（ＬＶＱ）が開示されている。このＬＶＱの特長は、パーセプトロン型ニューラルネットワークやサポートベクトルマシンといった他の参照ベクトルを使わない統計的パターン認識手法と比較して、非常に短時間で学習処理を完了できることにある。また、ＬＶＱによれば、参照ベクトルの数を自由に設計できるためその数を削減するだけで学習処理と認識処理の双方を高速化できる。さらに、ＬＶＱによれば、認識処理が距離計算処理だけで実現でき、かつ並列型の計算にすることも容易である。そのため、容易に、ソフトウェアのプログラミングやＩＣチップによって認識処理を実現できる。【０００３】
特許文献１には、このＬＶＱを改良した手法の一例が記載されている。非特許文献２には、特許文献１に記載された方式の１種について具体的な効果が記載されている。これらでは、複数の入力ベクトルを学習データとして用いて自動的に参照ベクトルの値を設定する。さらに、特許文献２には、特許文献１における距離値変換手段を備えない方式が記載されている。【０００４】
一方、非特許文献３にはＬＶＱをベースとしながらも、識別が正解である確率を最大化するよう学習式が定式化されており、特許文献１、特許文献２、非特許文献１、非特許文献２よりも高い識別率を得られる学習技術が記載されている。この技術が特許文献１と異なる点は、学習のモデルとして確率を直接取り扱っていることである。これを実現するために、入力ベクトルと最近傍の参照ベクトルとの距離のみを使うのではなく、全ての参照ベクトルとの距離を考慮して正確に確率を算出するよう設計されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３４５２１６０号
【特許文献２】特開平５−１２４５５０号
【特許文献３】特願２０１１−１５８３３９
【非特許文献】
【０００６】
【非特許文献１】T.Kohonen著、「The Neural Phonetic Typewriter」、 IEEE Computer, Vol.21、No.3、pp.11-22
【非特許文献２】A.Sato、K.Yamada著、「Generalized Learning Vector Quantization」、Advances In Neural Information Processing Systems,Vol.8、pp.423-429、MIT Press 、1996年
【非特許文献３】宮野博義、石寺永記著「裾野の重たい分布関数を用いた学習ベクトル量子化手法」電子情報通信学会、信学技報、 ｖｏｌ．１１０、ｎｏ．１８７、ＰＲＭＵ２０１０−８１、ｐｐ．１８５-１９２、２０１０年９月.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１、非特許文献１、非特許文献２、非特許文献３に記載の方式では、学習に用いる全ての入力ベクトルについて、それが属するカテゴリを正しく付与しておく必要がある。しかし、このように事前に正しいカテゴリを付与するには手間や時間がかかったり、そもそも事前に正しいカテゴリを付与できないことがある。【０００８】
これに対して特許文献３では、Multiple Instance Learning（以下、ＭＩＬ）と呼ばれる概念を用いて、インスタンスが正解カテゴリらしい確率とバッグが正解カテゴリらしい確率の計算を追加し、さらに参照ベクトルを更新する。しかし、特許文献３では、学習用の入力ベクトルと最近傍の参照ベクトルとの距離情報のみを用いて、学習データが正解カテゴリである確率を算出する。さらに、確率の算出式は算出根拠が特になく、単に0.0以上1.0以下の数値に変換する式である。つまり、インスタンスが正解である確率を非常に粗く推定している。【０００９】
すなわち、上記技術では、学習に用いる入力ベクトルが属するカテゴリについて完全ではない情報のみ与えられた場合、高い識別精度を持つ認識辞書を学習できるとは限らない。【００１０】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明に係るシステムは、
学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択手段と、
選択されたバッグ内から１つのインスタンスを選択するインスタンス選択手段と、
複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出手段と、
算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出手段と、
バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出手段と、
前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正手段と、
を備えた。【００１２】
上記目的を達成するため、本発明に係る認識辞書学習方法は、
学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択ステップと、
選択されたバッグ内から１つのインスタンスを選択するインスタンス選択ステップと、
複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出ステップと、
算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出ステップと、
バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出ステップと、
前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正ステップと、
を含む。【００１３】
上記目的を達成するため、本発明に係る認識辞書学習プログラムは、
学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択ステップと、
選択されたバッグ内から１つのインスタンスを選択するインスタンス選択ステップと、
複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出ステップと、
算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出ステップと、
バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出ステップと、
前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正ステップと、
をコンピュータに実行させる。
【発明の効果】
【００１４】
本発明によれば、学習に用いる入力ベクトルが属するカテゴリが完全にはわかっていない場合にも、認識辞書を高精度に学習できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態に係る情報処理システムの構成を示す図である。
【図２】参照ベクトルを用いた認識辞書学習手法（ＬＶＱ）を模式的に表現した図である。
【図３】本発明の実施形態の第１前提技術としての認識辞書学習システムの構成を示すブロック図である。
【図４】本発明の実施形態の第２前提技術としての認識辞書学習システムの構成を示すブロック図である。
【図５】入力ベクトルに対するカテゴリの付与の仕方のルールを説明する図である。
【図６】本発明の実施形態の第３前提技術としての認識辞書学習システムの構成を示すブロック図である。
【図７】本発明の第２実施形態に係る情報処理システムの機能構成を示す図である。
【図８】本発明の第２実施形態に係る情報処理システムのハードウェア構成を示す図である。
【図９】本発明の第２実施形態に係る情報処理システムの処理の流れを示すフローチャートである。
【図１０】本発明の第２実施形態に係る認識システムの機能構成を示す図である。
【図１１】本発明の第２実施形態に係る認識システムの処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１７】
［第１実施形態］
本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。情報処理システム１００は、バッグ選択部１０１とインスタンス選択部１０２と距離算出部１０３とインスタンス確率算出部１０４とバッグ確率算出部１０５と参照ベクトル修正部１０６を有する。
【００１８】
バッグ選択部１０１は、学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択する。インスタンス選択部１０２は、選択されたバッグ内から１つのインスタンスを選択する。距離算出部１０３は、複数の参照ベクトルと選択されたインスタンスとの距離を算出する。
【００１９】
インスタンス確率算出部１０４は、算出された距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出する。バッグ確率算出部１０５は、バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出する。参照ベクトル修正部１０６は、バッグ正解確率に基づいて、複数の参照ベクトルを修正する。
【００２０】
本実施形態によれば、インスタンスが正解カテゴリである確率を計算し、さらにそのバッグが正解カテゴリである確率を計算する。そして、インスタンスが属するバッグが正解カテゴリである確率を使って、参照ベクトルを修正する。これにより、学習に用いる入力ベクトルが属するカテゴリが完全にはわかっていない場合にも、認識辞書を高精度に学習できる。
【００２１】
［第２実施形態］
《前提技術》
本発明の第２実施形態について説明する前に、参照ベクトルを用いた認識辞書学習手法（ＬＶＱ）について説明する。図２は、参照ベクトルを用いた認識辞書学習手法（ＬＶＱ）を模式的に表現したものである。
【００２２】
認識辞書はあるカテゴリＡに属する参照ベクトル２１１〜２１ｎと別のカテゴリＢに属する参照ベクトル２２１〜２２ｎを含んでいる。カテゴリを認識処理したいインスタンス２０３がある場合、カテゴリＡに属する参照ベクトル２１１〜２１ｎのなかでインスタンス２０３と最近接の参照ベクトル２１２を特定し、その距離ｄ1を計算する。また、カテゴリＢに属する参照ベクトル２２１〜２２ｎのなかで、インスタンス２０３と最近接の参照ベクトル２２２を特定し、その距離ｄ2を計算する。そして、最も近い参照ベクトル２１２が属するカテゴリにインスタンス２０３も属すると判断する。図２の場合、ｄ1＜ｄ2のため、インスタンス２０３はカテゴリＡに属すると判断する。
【００２３】
このように、認識辞書と呼ばれる参照ベクトル群と入力ベクトルとの距離計算に基づいて入力ベクトルに最も近い参照ベクトルが属するカテゴリをその入力ベクトルの認識結果とする場合、参照ベクトルの値によって認識精度が変化する。このため、どのように参照ベクトルの値を設定するかが認識精度を上げる上で重要である。
【００２４】
（第１前提技術）
本実施形態の第１前提技術としての認識辞書学習システム３００の構成を図３に示す。図３に示すように、データ処理装置３１０と記憶装置３２０とを備える。データ処理装置３１０は、入力部３１１と参照ベクトル検索部３１２と距離値変換部３１３と修正係数算出部３１４と参照ベクトル修正部３１５と終了判定部３１６とを含み、記憶装置３２０は、参照ベクトル記憶部３２１を含む。
【００２５】
入力部３１１は、学習用に用意された入力ベクトル群のなかから１つの入力ベクトルを選択する。参照ベクトル検索部３１２は、入力ベクトルと同一のカテゴリに属する参照ベクトルのうち、入力ベクトルとの距離が最小となる第１の参照ベクトルＷ１およびその第１の距離値ｄ１を求める。また、入力ベクトルと異なるカテゴリに属する参照ベクトルのうち、入力ベクトルとの距離が最小となる第２の参照ベクトルＷ２およびその第２の距離値ｄ２を求める。
【００２６】
距離値変換部３１３は距離値を変換する。修正係数算出部３１４は、第１の距離値ｄ１および第２の距離値ｄ２を使って参照ベクトルの修正量を算出する。参照ベクトル修正部３１５は、入力ベクトルを用いて第１の参照ベクトルＷ１と第２の参照ベクトルＷ２とを修正する。終了判定部３１６は、参照ベクトルの学習の終了を判定する。
【００２７】
参照ベクトル記憶部３２１は、認識辞書である参照ベクトル群の情報を記憶する。具体的には、個々の参照ベクトルと、それが属するカテゴリー情報とを記憶する。
【００２８】
このような構成を有する認識辞書学習システムは次のように動作する。
【００２９】
まず入力部３１１は、学習のために用意された入力ベクトル群の中から１つを選択する。入力部３１１は、例えば１からＮまでの一様な乱数を用いて入力ベクトルを選択する。次に参照ベクトル検索部３１２は、選択された入力ベクトルと同じカテゴリの参照ベクトル全てとのベクトル間距離計算を行い、最も距離値が最小の参照ベクトルＷ１とその距離値ｄ１を求める。さらに選択された入力ベクトルと異なるカテゴリの参照ベクトル全てとユークリッド距離計算を行い、最も距離値が最小の参照ベクトルＷ２とその距離値ｄ２を求める。次に、距離値変換部３１３は、距離値ｄ１とｄ２を所定の値ｋを用いてｋ乗することで変換された距離値を求める。修正係数算出部３１４は、変換された距離値と参照ベクトルの修正回数に依存した関数で表現される所定の変換式に基づいて参照ベクトルの修正係数を計算する。参照ベクトル修正部３１５が、修正係数を用いて参照ベクトルＷ１、Ｗ２を修正する。その次に終了判定部３１６によって参照ベクトルの学習を終えるかどうかを判定し、終了しない場合は入力部３１１による入力ステップに戻って処理を続ける。
【００３０】
（第２前提技術）
本実施形態の第２前提技術としての認識辞書学習システム４００の構成を図４に示す。図３で説明した構成と同じ構成については同じ符号を付して説明を省略する。図４に示すように、認識辞書学習システム４００は、データ処理装置４１０と記憶装置３２０とを備える。データ処理装置４１０は、入力部３１１と参照ベクトル群距離算出部４１２と正解確率算出部４１３と修正係数算出部４１４と参照ベクトル群修正部４１５と終了判定部３１６とを含む。
【００３１】
参照ベクトル群距離算出部４１２は、選択された入力ベクトルxと個々の参照ベクトルＷi全てとの距離値ｄiをそれぞれ求める。正解確率算出部４１３は、全ての距離値から入力ベクトルが正解である確率（正解確率）を算出する。修正係数算出部４１４は、算出した正解確率を使って参照ベクトルの修正係数を算出する。そして、参照ベクトル群修正部４１５は、修正係数に基づいて個々の参照ベクトル全てを修正する。
【００３２】
ここでは第１前提技術と異なり、学習のモデルとして確率を直接取り扱っている。これを実現するために、入力ベクトルと最近傍の参照ベクトルとの距離のみを使うのではなく、全ての参照ベクトルとの距離を考慮して確率を算出している。
【００３３】
（ＭＩＬの説明）
次に、統計的パターン認識の分野で、カテゴリの付与の仕方のルールを規定するMultiple Instance Learning（以下、ＭＩＬと表記する）と呼ばれる概念について説明する。この概念では、入力ベクトルのことを「インスタンス」、インスタンスの集合を「バッグ」と呼び、全てのインスタンス１つずつにカテゴリ付与するのではなく、バッグにのみカテゴリを付与する。
【００３４】
図５は、バッグとインスタンスの概念を図示したものである。カテゴリとして「ポジティブ」と「ネガティブ」の２種類のみがある場合について説明する。バッグの中にポジティブインスタンスが１つでも存在すれば、そのバッグのカテゴリを「ポジティブ」、バッグの中にネガティブインスタンスのみが存在すれば、そのバッグのカテゴリを「ネガティブ」と定義する。
【００３５】
このカテゴリの定義に基づくと、ｉ番目のバッグ内のｊ番目のインスタンスがポジティブである確率をｐijとし、バッグ内の１つ以上のインスタンスがポジティブである確率つまりバッグがポジティブである確率をｐiとすると、ｐiは以下の数式（１）によって導き出される。
【数１】
2014073366.tif 000003
例えば、「ポジティブ」「ネガティブ（非ポジティブ）」という２種類のカテゴリに分類する場合、インスタンスｎ個の集合のうちどれか１個が「ポジティブ」であるという不完全な情報があっても、うまく学習できない。参照ベクトルを更新する係数を求めるには、学習に用いる全てのインスタンスとそれぞれのインスタンスが属するカテゴリとを１対１に対応付ける必要があり、完全でないカテゴリの情報があっても学習処理に適用できないためである。
【００３６】
つまり学習処理をする前に、学習に用いる入力ベクトル全てについてカテゴリに関する情報を完全に付与しておく必要がある。しかし、このための作業には手間や時間がかかってしまう。また、入力ベクトルのカテゴリを正確に定義することが難しい場合、そもそもカテゴリに関する情報を完全に付与しておくことは困難である。例えば、画像パターンを入力ベクトルとし「顔」と「顔でない」という２種類をカテゴリとする場合、顔の目・鼻・口だけを含むパターンや、顔の輪郭だけでなく首や肩まで含まれているパターンのカテゴリの判断が難しい。
【００３７】
（第３前提技術）
本実施形態の第３前提技術としての認識辞書学習システム６００の構成を図６に示す。図３で説明した構成と同じ構成については同じ符号を付して説明を省略する。図６に示すように、認識辞書学習システム６００は、データ処理装置６１０と記憶装置３２０とを備える。データ処理装置６１０は、バッグ選択部６１１とインスタンス選択部６１２と参照ベクトル検索部６１３とインスタンス確率算出部６１４とバッグ確率算出部６１５と確率ベース修正係数算出部６１６と参照ベクトル群修正部６１７と終了判定部３１６とを備える。
【００３８】
まずバッグ選択部６１１が、学習に用いる全バッグから１つのバッグを選択する。次に、インスタンス選択部６１２は、選択されたバッグの中から１つのインスタンス（１つの入力ベクトル）を選択する。
【００３９】
次に、参照ベクトル検索部３１２は、選択されたインスタンスと同一のカテゴリに属する参照ベクトルのうち、そのインスタンスとの距離が最小となる参照ベクトルおよびその距離値を求める。また、選択されたインスタンスと異なるカテゴリに属する参照ベクトルのうち、入力ベクトルとの距離が最小となる参照ベクトルおよびその距離値を求める。
【００４０】
インスタンス確率算出部６１４は、学習用の入力ベクトルと最近傍の参照ベクトルとの距離情報に基づいて、インスタンスが正解のカテゴリらしい正解確率を推定する。ここで、正解のカテゴリとは、インスタンスが属するバッグに付与されたカテゴリのことを指す。
【００４１】
バッグ確率算出部６１５は、各バッグの中の個々のインスタンスの正解確率から、バッグが正解カテゴリらしい正解確率を算出する。
【００４２】
確率ベース修正係数算出部６１６は、インスタンスの正解確率とインスタンスが属するバッグの正解確率とに基づいて、参照ベクトルを更新するための確率ベースの修正係数を個々のインスタンスごとに算出する。そして、参照ベクトル群修正部３１５は、修正係数に基づいて個々の参照ベクトル全てを修正する。
【００４３】
このように、第３前提技術は、インスタンスが正解カテゴリらしい確率とバッグが正解カテゴリらしい確率の計算を追加し、さらに参照ベクトルを更新する係数を確率ベース修正係数算出部６１６で導出することで、ＭＩＬの概念を概ね実現している。
【００４４】
しかし認識辞書学習システム６００では、学習データが正解カテゴリである確率を算出するのに、学習用の入力ベクトルと最近傍の参照ベクトルとの距離情報しか使わない。つまり、インスタンスが正解である確率を非常に粗く推定している。
【００４５】
（本実施形態に係るシステム）
次に、本実施形態に係る認識辞書学習システム７００について説明する。以下では、説明のために、１つのインスタンスをｘ、参照ベクトルをｗh(h=1,...,H)と表記する。
【００４６】
図７を参照すると、認識辞書学習システム７００は、データ処理装置７１０と、記憶装置７２０とを備える。
【００４７】
データ処理装置７１０は、バッグ選択部７１１とインスタンス選択部７１２と参照ベクトル群距離算出部７１３とインスタンス確率算出部７１４とバッグ確率算出部７１５と確率ベース修正係数算出部７１６と参照ベクトル群修正部７１７と終了判定部７１８とを有する。記憶装置７２０は、参照ベクトル記憶部７２１を有する。
【００４８】
参照ベクトル記憶部７２１には、認識辞書である参照ベクトル群の情報が記憶される。具体的には、個々の参照ベクトルと、それが属するカテゴリー情報が記憶される。参照ベクトルが修正され、その結果、学習された参照ベクトルが得られる。
【００４９】
バッグ選択部７１１は、学習に用いる全バッグから１つのバッグｉを選択する。インスタンス選択部７１２は、バッグ選択部７１１で選択されたバッグｉの中から１つのインスタンス（１つの入力ベクトル）としてｊ番目のｘijを選択する。
【００５０】
参照ベクトル群距離算出部７１３は、インスタンス選択部７１２で選択されたインスタンスｘijと、参照ベクトル記憶部７２１に保持される個々の参照ベクトルとのベクトル間距離ｄ(ｘij, ｗk)を全て計算する。
【００５１】
インスタンス確率算出部７１４は、全てのベクトル間距離の値からインスタンスが正解のカテゴリらしい正解確率ｐijを推定する。ここで、正解のカテゴリとは、インスタンスｊが属するバッグｉに付与されたカテゴリのことを指す。なお、このｐijを推定する方式は任意の方式で構わない。
【００５２】
以下、正解確率ｐijを推定する方法の１例を説明する。正解確率ｐijは、数式（２）のように表現できるが、インスタンスの正解カテゴリらしさをηij、値域が［０，１］の任意の単調増加関数をＲ(-)とすると、数式（３）のようにも書ける。インスタンスの正解カテゴリらしさ（インスタンス正解確率）ηijについては様々な導出方式が考えられるが、例えば数式（４）に基づいて求めることができる。ここで、ｃ(ｗh)は参照ベクトルｗhが所属するカテゴリの番号、κは入力ベクトルが属するカテゴリの番号、δはベクトルの次元数、νは１以上の定数である。この数式（４）によれば、入力ベクトルと同じカテゴリに属する参照ベクトルの距離のべき乗の逆数の総和と、入力ベクトルと異なるカテゴリに属する参照ベクトルの距離のべき乗の逆数の総和とを用いてインスタンス正解確率を算出する。
【００５３】
なお、数式（４）ではＤkとＤk'との計算にξを用いるためδとνとが必要となるが、ξ＝１とした調和平均の計算式を用いてもよい。つまり、インスタンスと同じカテゴリに属する参照ベクトルの距離の調和平均と、インスタンスと異なるカテゴリに属する参照ベクトルの距離の調和平均とを用いてインスタンス正解確率を算出してもよい。
【００５４】
また、単調増加関数Ｒ(-)としては、例えば数式（５）を用いればよい。あるいは、参照ベクトルの学習を繰り返すほど認識の信頼性があがることを考慮すると、参照ベクトルの学習回数ｔを用いた数式（６）を使ってもよいし、参照ベクトルの学習回数ｔと任意の定数γ0とγ1とを用いた数式（７）を使ってもよい。数式（６）、または数式（７）によれば、参照ベクトルの学習回数ｔが増加するにつれて、インスタンスのカテゴリの正解確率が高くなる。
【数２】
2014073366.tif 000004
【数３】
2014073366.tif 000005
【数４】
2014073366.tif 000006
【数５】
2014073366.tif 000007
【数６】
2014073366.tif 000008
【数７】
2014073366.tif 000009
【００５５】
バッグ確率算出部７１５は、バッグｉの中の個々のインスタンスの正解カテゴリらしい正解確率ｐijから、バッグｉが正解カテゴリらしい正解確率ｑiを算出する。つまり、バッグに含まれるインスタンスのうち少なくとも１つ以上が正解カテゴリである確率を算出する。この計算式は数式（８）で表現される。
【数８】
2014073366.tif 000010
【００５６】
確率ベース修正係数算出部７１６は、インスタンスの正解確率ｐijとインスタンスが属するバッグｉの正解確率ｑiとに基づいて、参照ベクトルを更新するための確率ベースの修正係数ｕijを個々のインスタンスごとに算出する。修正係数ｕijは、認識結果が尤もらしいことを意味する尤度Lを確率ｑiに基づいて定義し、それを最大化するように求めればよい。
【００５７】
例えば、Ｌを数式（９）で定義すると考えると、修正係数ｕijを数式（１０−１）または数式（１０−２）のように計算すればよい。
【００５８】
数式（１０−１）では、インスタンスｊがポジティブであれば、そのカテゴリ正解確率ｐijとインスタンスｊが属するバッグｉのカテゴリ不正解確率（１−ｑi）との積を、バッグｉのカテゴリ正解確率ｑiで除算した値が修正係数となる。一方、インスタンスｊがネガティブであれば、そのカテゴリ不正解確率（１−ｐij）を修正係数とする。
【００５９】
一方、数式（１０−２）では、ポジティブインスタンスｊが属するバッグｉのカテゴリが不正解である確率（１−ｑi）とインスタンスｊのカテゴリが正解である確率ｐijとの積が修正係数となる。一方、インスタンスｊがネガティブであれば、そのインスタンスのカテゴリが不正解である確率（１−ｐij）とインスタンスが属するバッグのカテゴリが正解である確率ｑiとの積を修正係数とする。
【数９】
2014073366.tif 000011
【数１０】
2014073366.tif 000012
【００６０】
参照ベクトル群修正部７１７は、確率ベース修正係数算出部７１６で得られた確率ベース修正係数ｕijに基づいて、参照ベクトル記憶部７２１に記憶された参照ベクトル全てを修正する。この修正式は、数式（１１）のように表現できる。なお、非特許文献３の更新式では、１／Ｄkの代わりにＤk'／(Ｄk＋Ｄk')を、１／Ｄk'の代わりにＤk／(Ｄk＋Ｄk')を用いた計算式となっているが、その計算式にさらにｕijを乗じた修正式を用いても同様の効果を得られる。
【数１１】
2014073366.tif 000013
終了判定部７１８は、参照ベクトルの学習（修正）の終了を判定する。
【００６１】
（ハードウェア構成）
次に、本実施形態に係る認識辞書学習システム７００のハードウェア構成について図８を用いて説明する。認識辞書学習システム７００は、ＣＰＵ（Central Processing Unit）８１０、ＲＯＭ(Read Only Memory)８２０、無線通信部８３０、ＲＡＭ(Random Access Memory)８４０、ストレージ８５０、および入出力インタフェース８６０を備えている。
【００６２】
ＣＰＵ８１０は中央処理部であって、様々なプログラムを実行することにより認識辞書学習システム７００全体を制御する。ＲＯＭ８２０は、ＣＰＵ８１０が最初に実行すべきブートプログラムの他、各種パラメータ等を記憶している。また、ＲＡＭ８４０は、参照ベクトル８４１と選択されたバッグを表わす選択バッグ８４２と選択されたインスタンスを表わす選択インスタンス８４３とベクトル間距離８４４と算出されたインスタンス正解確率８４５とバッグ正解確率８４６とを保存する。さらに、ＲＡＭ８４０は、参照ベクトル群を修正するために算出された修正係数８４７を保存する。
【００６３】
一方、ストレージ８５０は、複数の参照ベクトルを含む参照ベクトルデータベース８５１と認識辞書学習プログラムを記憶している。認識辞書学習プログラムは、バッグ選択モジュール８５２とインスタンス選択モジュール８５３と参照ベクトル群距離算出モジュール８５４とインスタンス確率算出モジュール８５５とバッグ確率算出モジュール８５６とを含む。さらに、認識辞書学習プログラムは、確率ベース修正係数算出モジュール８５７と参照ベクトル群修正モジュール８５８と終了判定モジュール８５９とを含む。
【００６４】
これらのモジュールは、プログラムモジュールであって、ＣＰＵ８１０に実行されることにより、それぞれ、図７に示した各構成部分７１１〜７１８として機能する。
【００６５】
入出力インタフェース８６０は、入出力機器との入出力データを中継する。入出力インタフェース８６０には、キーボード８６１、マウス８６２、表示部８６３などが接続される。
【００６６】
（全体の処理）
次に、図９のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
【００６７】
以下の説明では、学習に用いるバッグｉの個数をＭ、バッグｉ内のインスタンスの個数をＮiとする。
【００６８】
なお、動作させる前に、学習に用いるインスタンス（入力ベクトル）を用意し、１個以上のインスタンスで構成されるバッグｉを用意しておく。実際のデータ構造としては、インスタンスにバッグｉの番号を対応付けておけば十分である。また、全てのバッグｉにはカテゴリを付与しておく。
【００６９】
はじめに、バッグ選択部７１１を実行することで学習用のバッグ群から１つのバッグｉを選択する（ステップＳ９０１）。
【００７０】
次に、選択されたバッグｉ内にある全てのインスタンスについて、インスタンス選択部７１２と参照ベクトル群距離算出部７１３とインスタンス確率算出部７１４とが繰返し各処理を実行することで、バッグｉ内の個々のインスタンスが正解である確率ｐijを計算する（ステップＳ９０３、ステップＳ９０５、ステップＳ９０７）。
【００７１】
次にバッグ確率算出部７１５を実行して選択されたバッグｉが正解である確率ｑiを計算する（ステップＳ９１１）。
【００７２】
次に、選択されたバッグｉ内にある全てのインスタンスについて、確率ベース修正係数算出部７１６と参照ベクトル群修正部７１７を繰返し実行することで、参照ベクトル記憶部７２１に記憶されている参照ベクトルを修正する（ステップＳ９１３〜Ｓ９１７）。
【００７３】
次に、ステップＳ９０１に戻って、ステップＳ９０１からステップＳ９１９までの処理を全ての学習用のバッグｉについて繰返し実行する。
【００７４】
参照ベクトルの学習を終了するか否かは、例えば、あらかじめ決められた所定の回数だけ繰返し実行したら終了するようにすればよい。
【００７５】
次に、本実施の形態の効果について説明する。
【００７６】
本実施の形態では、バッグｉが正解カテゴリである確率を算出するバッグ確率算出部７１５と、バッグｉが正解カテゴリである確率から導出される尤もらしさＬを最大化するように確率ベース修正係数を算出する確率ベース修正係数算出部７１６を備え、参照ベクトルを修正する参照ベクトル群修正部７１７を備えるように構成されているため、インスタンスではなくバッグｉに付与されたカテゴリの情報のみでも学習を実行することができる。
【００７７】
確率ベース修正係数算出部１１６で計算されるｕijを用いることで、バッグｉが正解カテゴリである確率から導出される尤もらしさＬを最大化できる。
【００７８】
Ｐijを数式（５）、Ｌを数式（８）のように定義する場合について、最急降下法で最大化することを考える。この場合、単調関数である対数関数を用いて最小化すべき関数Ｓを数式（１２）のように定義できる。
【数１２】
2014073366.tif 000014
【００７９】
最急降下法では、一般に参照ベクトルＷkの更新式は定数αを用いて数式（１３）のように表される。この右辺第２項を展開すると数式（１４）となり、さらにこの式の一部は数式（５）を用いると数式（１５）、数式（１６）、数式（１７）のように展開される。これらを用いると数式（１０）が導かれる。
【数１３】
2014073366.tif 000015
【数１４】
2014073366.tif 000016
【数１５】
2014073366.tif 000017
【数１６】
2014073366.tif 000018
【数１７】
2014073366.tif 000019
【００８０】
なお、本実施形態では「正解である確率」を用いて動作を記載しているが、「ポジティブ」と「ネガティブ（非ポジティブ）」という２カテゴリであれば、「不正解である確率」または「ポジティブである確率」または「ネガティブである確率」から「正解である確率」は自明であるため、これらの確率を用いているともいえる。
【００８１】
（認識システムの構成）
次に、本実施形態に係る認識辞書学習システム７００により学習された参照ベクトル群を用いた認識システム１０００について図１０および図１１を参照して説明する。
【００８２】
本実施形態により学習された識別パラメータを用いた認識システム１０００は、データ処理装置１０１０と記憶装置１０２０とを含む。
【００８３】
データ処理装置１０１０は参照ベクトル群距離算出部１０１１と、確率算出部１０１２とを有する。記憶装置１０２０は、参照ベクトル群を保持する参照ベクトル記憶部１０２１を有する。
【００８４】
図１１は、学習された参照ベクトル群を用いた認識システム１０００の動作を示すフローチャートである。
【００８５】
まず、参照ベクトル群距離算出部１０１１で、認識対象のパターンであるベクトル（入力ベクトル）と参照ベクトル記憶部１０２１に保持された全ての参照ベクトルとの距離を計算する（ステップＳ１１０１）。次に確率算出部１０１２で、識別すべき各カテゴリの確率を算出する（ステップＳ１１０３）。この確率が最大となるカテゴリが認識結果である。
【００８６】
本実施形態では、インスタンスが正解カテゴリである確率を計算し、さらにそのバッグが正解カテゴリである確率を計算する。そして、インスタンスが属するバッグが正解カテゴリである確率を使って、参照ベクトルを修正する。このようにすることで、インスタンスが属するカテゴリが完全に明確ではなくても、学習処理（つまり参照ベクトルの修正）
を行なうことができる。
【００８７】
また、本実施形態では、バッグが正解である確率に基づいて確率ベース修正係数を算出することで、学習するバッグ全体についての正解らしさ（評価尺度）を最大化する学習処理を行う。これにより、学習に用いる全ての入力ベクトルそれぞれに対応するカテゴリの情報がない場合でも、学習に用いる入力ベクトル（インスタンス）の集合（バッグ）に対応するカテゴリの情報のみから高精度に認識できる認識辞書を作ることができる。
【００８８】
また、本実施形態では、学習データが正解カテゴリである確率を算出するのに、学習用の入力ベクトルと全ての参照ベクトルとの距離情報を使って確率を精緻に算出する。これにより、「インスタンスが正解である確率」をより正確に推定でき、その結果としてバッグが正解カテゴリである確率を正しく最大化する。特に、確率を扱うタイプのＭＩＬでは、インスタンスが正解である確率からバッグが正解である確率や最適化すべき指標が計算されるため、本実施形態の方法によれば、より相乗効果が大きく、より高い認識精度を得られる。
【００８９】
また、本実施形態によれば、映像から特定の物体を精度良く検出したり、映像から人物や物体を精度良く同定し認証したりすることができる。特に膨大なデータを学習して認識に利用しようとする場合、物体の正解カテゴリを完全に付与することが困難だが、本実施形態によれば、データの集合に対してのみ正解カテゴリを付与すればよいため、実用的に適用できる。
【００９０】
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【００９１】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ（World Wide Web）サーバも、本発明の範疇に含まれる。
【００９２】
［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択手段と、
選択されたバッグ内から１つのインスタンスを選択するインスタンス選択手段と、
複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出手段と、
算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出手段と、
バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出手段と、
前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正手段と、
を備えた情報処理システム。
（付記２）
前記バッグ正解確率に基づいて、参照ベクトルを修正するための係数を算出する修正係数算出手段をさらに備えた付記１に記載の情報処理システム。
（付記３）
前記修正係数算出手段は、インスタンスのカテゴリが正解である確率とインスタンスが属するバッグのカテゴリが不正解である確率との積を、バッグのカテゴリが正解である確率で除算した値、および、インスタンスのカテゴリが不正解である確率の値に基づいて、修正係数を算出する付記２に記載の情報処理システム。
（付記４）
前記修正係数算出手段は、インスタンスのカテゴリが正解である確率とインスタンスが属するバッグのカテゴリが不正解である確率との積、および、インスタンスのカテゴリが不正解である確率とインスタンスが属するバッグのカテゴリが正解である確率との積により、前記修正係数を算出する付記２に記載の情報処理システム。
（付記５）
前記修正係数算出手段は、前記入力ベクトルと同じカテゴリに属する前記参照ベクトルの距離の調和平均と、入力ベクトルと異なるカテゴリに属する参照ベクトルの距離の調和平均とを用いて修正係数を算出する付記２に記載の情報処理システム。
（付記６）
前記インスタンス確率算出手段は、前記入力ベクトルと同じカテゴリに属する前記参照ベクトルの距離のべき乗の逆数の総和と、前記入力ベクトルと異なるカテゴリに属する参照ベクトルの距離のべき乗の逆数の総和とを用いて前記インスタンス正解確率を算出する付記４に記載の情報処理システム。
（付記７）
前記インスタンス確率算出手段は、参照ベクトルの学習回数が増加するにつれて、インスタンスのカテゴリの正解確率が高くなるよう算出する付記１乃至６のいずれか１項に記載の情報処理システム。
（付記８）
前記バッグ確率算出手段は、バッグに含まれるインスタンスのうち少なくとも１つ以上が正解カテゴリである確率を算出する付記１乃至７のいずれか１項に記載の情報処理システム。
（付記９）
学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択ステップと、
選択されたバッグ内から１つのインスタンスを選択するインスタンス選択ステップと、
複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出ステップと、
算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出ステップと、
バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出ステップと、
前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正ステップと、
を含む認識辞書学習方法。
（付記１０）
学習用の入力ベクトルとしてのインスタンスの集合を表わすバッグが複数集まったバッグ群から、１つのバッグを選択するバッグ選択ステップと、
選択されたバッグ内から１つのインスタンスを選択するインスタンス選択ステップと、
複数の参照ベクトルと選択された前記インスタンスとの距離を算出する距離算出ステップと、
算出された前記距離に基づいて、インスタンスのカテゴリが正解であるインスタンス正解確率を算出するインスタンス確率算出ステップと、
バッグに含まれる複数のインスタンスに関するインスタンス正解確率に基づいて、そのバッグのカテゴリが正解であるバッグ正解確率を算出するバッグ確率算出ステップと、
前記バッグ正解確率に基づいて、前記複数の参照ベクトルを修正する参照ベクトル修正ステップと、
をコンピュータに実行させるための認識辞書学習プログラム。
この出願は、２０１２年１１月１２日に出願された日本出願特願２０１２−２４８７２２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2014073366.tif 000020
【図２】
2014073366.tif 000021
【図３】
2014073366.tif 000022
【図４】
2014073366.tif 000023
【図５】
2014073366.tif 000024
【図６】
2014073366.tif 000025
【図７】
2014073366.tif 000026
【図８】
2014073366.tif 000027
【図９】
2014073366.tif 000028
【図１０】
2014073366.tif 000029
【図１１】
2014073366.tif 000030
【国際調査報告】
2014073366.tif 000031
2014073366.tif 000032