(57)【要約】［課題］学習に用いる入力ベクトルが属するカテゴリが完全にはわかっていない場合にも、認識辞書を作ること。［解決手段］参照ベクトル群を保持する参照ベクトル記憶手段と、複数のインスタンスを含むバッグ内から１つのインスタンスを選択するインスタンス選択手段と、参照ベクトル記憶手段に記憶された参照ベクトル群から、選択されたインスタンスに最も関連する関連参照ベクトルを特定する参照ベクトル特定手段と、インスタンスのカテゴリが正解であるインスタンス正解確率を計算するインスタンス確率算出手段と、バッグに含まれるインスタンスのカテゴリが正解である確率を用いて、バッグのカテゴリが正解であるバッグ正解確率を計算するバッグ確率算出手段と、バッグ正解確率を用いて、関連参照ベクトルを修正する参照ベクトル修正手段と、を備えたことを特徴とする。
2013012093.tif 000002
【特許請求の範囲】
【請求項１】
参照ベクトル群を保持する参照ベクトル記憶手段と、
複数のインスタンスを含むバッグ内から１つのインスタンスを選択するインスタンス選択手段と、
前記参照ベクトル記憶手段に記憶された参照ベクトル群から、選択された前記インスタンスに最も関連する関連参照ベクトルを特定する参照ベクトル特定手段と、
前記インスタンスのカテゴリが正解であるインスタンス正解確率を計算するインスタンス確率算出手段と、
前記バッグに含まれるインスタンスのカテゴリが正解である確率を用いて、該バッグのカテゴリが正解であるバッグ正解確率を計算するバッグ確率算出手段と、
前記バッグ正解確率を用いて、前記関連参照ベクトルを修正する参照ベクトル修正手段と、
を備えたことを特徴とする情報処理システム。
【請求項２】
前記参照ベクトル特定手段は、選択された前記インスタンスが属するバッグと同じカテゴリで最も前記インスタンスからの距離が近い第１参照ベクトルと、前記インスタンスが属するバッグとは異なるカテゴリで最も前記インスタンスからの距離が近い第２参照ベクトルとを、前記関連参照ベクトルとして特定することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記参照ベクトル特定手段は、前記インスタンスと前記第１参照ベクトルとの距離を示す第１距離と、前記インスタンスと前記第２参照ベクトルとの距離を示す第２距離とを算出し、
前記参照ベクトル修正手段は、前記第１距離および前記第２距離を用いて前記関連参照ベクトルを修正することを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記参照ベクトル修正手段は、
第１距離のべき乗計算、および第１距離と前記第２距離の和のべき乗で除算する計算によって変換して得られる変換距離値を用いて前記関連参照ベクトルを修正することを特徴とする請求項３に記載の情報処理システム。
【請求項５】
前記インスタンス確率算出手段は、前記第１距離と前記第２距離との差を前記第１距離と前記第２距離との和で除算することにより、前記インスタンス正解確率を算出することを特徴とする請求項３または４に記載の情報処理システム。
【請求項６】
前記バッグ正解確率を用いて、前記関連参照ベクトルを修正するための確率ベース修正係数を計算する確率ベース修正係数算出手段をさらに備え、
前記参照ベクトル修正手段は、確率ベース修正係数に基づいて参照ベクトルを修正することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
【請求項７】
前記確率ベース修正係数算出手段は、インスタンス正解確率とインスタンスが属するバッグが不正解カテゴリである確率としてのバッグ不正解確率との乗算、および、インスタンスが不正解カテゴリである確率としてのインスタンス不正解確率と前記バッグ正解確率との乗算を行なうことにより確率ベース修正係数を算出することを特徴とする請求項６に記載の情報処理システム。
【請求項８】
前記確率ベース修正係数算出手段は、インスタンス正解確率とバッグ不正解確率との積をバッグ正解確率で除算した値、および、前記インスタンス不正解確率によって確率ベース修正係数を算出することを特徴とする請求項６または７に記載の情報処理システム。
【請求項９】
複数のインスタンスを含むバッグ内から１つのインスタンスを選択し、
参照ベクトル記憶手段に記憶された参照ベクトル群から、選択された前記インスタンスに最も関連する関連参照ベクトルを特定し、
選択された前記インスタンスのカテゴリが正解であるインスタンス正解確率を計算し、
前記バッグに含まれるインスタンスのカテゴリが正解である確率を用いて、該バッグのカテゴリが正解であるバッグ正解確率を計算し、
前記バッグ正解確率を用いて、前記関連参照ベクトルを修正する
ことを特徴とする認識辞書学習方法。
【請求項１０】
コンピュータを、
複数のインスタンスを含むバッグ内から１つのインスタンスを選択するインスタンス選択手段と、
参照ベクトル記憶手段に記憶された参照ベクトル群から、選択された前記インスタンスに最も関連する関連参照ベクトルを特定する参照ベクトル特定手段と、
選択された前記インスタンスのカテゴリが正解であるインスタンス正解確率を計算するインスタンス確率算出手段と、
前記バッグに含まれるインスタンスのカテゴリが正解である確率を用いて、該バッグのカテゴリが正解であるバッグ正解確率を計算するバッグ確率算出手段と、
前記バッグ正解確率を用いて、前記関連参照ベクトルを修正する参照ベクトル修正手段と
して動作させることを特徴とする情報処理プログラムを記憶する記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、認識辞書学習方法および情報処理プログラムに関し、特に、パターン認識で用いられる、情報処理システム、認識辞書学習方法および情報処理プログラムに関する。
【背景技術】
【０００２】
入力ベクトルの認識は、認識辞書と呼ばれる参照ベクトル群と入力ベクトルとの距離計算に基づいて、入力ベクトルに最も近い参照ベクトルが属するカテゴリを、その入力ベクトルの認識結果とすることにより行われることがある。この場合、参照ベクトルの値によって認識精度が変化する。そのため、どのように参照ベクトルの値を設定するかが認識精度を上げる上で重要である。
特許文献３及び非特許文献１には、参照ベクトルを用いた認識辞書学習手法として、Ｌｅａｒｎｉｎｇ  Ｖｅｃｔｏｒ  Ｑｕａｎｔｉｚａｔｉｏｎ（ＬＶＱ）が開示されている。ＬＶＱによれば、パーセプトロン型ニューラルネットワークやサポートベクトルマシンといった他の参照ベクトルを使わない統計的パターン認識手法と比較して、非常に短時間で学習処理が完了する。また、ＬＶＱによれば、参照ベクトルの数を自由に設計できるため、その数を削減するだけで学習処理と認識処理の双方を高速化できる。さらに、認識処理が距離計算処理だけで実現できかつ並列型の計算にすることも容易である。そのため、ソフトウェアのプログラミングやＩＣチップ上で実現するのが容易である。
特許文献１は、このＬＶＱを改良した手法の一例を開示している。また非特許文献２は、特許文献１に記載された方式の１種について具体的な効果を開示している。
また、非特許文献３は、これらの手法の改良方式を開示している。ここでは、複数の入力ベクトルを学習データとして用いて自動的に参照ベクトルの値が設定される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３４５２１６０号公報
【特許文献２】特開平５−１２４５５０号公報
【特許文献３】特開平６−３３３０５２号公報
【非特許文献】
【０００４】
【非特許文献１】Ｔ．Ｋｏｈｏｎｅｎ著、「Ｔｈｅ  Ｎｅｕｒａｌ  Ｐｈｏｎｅｔｉｃ  Ｔｙｐｅｗｒｉｔｅｒ」、ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ，Ｖｏｌ．２１、Ｎｏ．３、ｐｐ．１１−２２
【非特許文献２】Ａ．Ｓａｔｏ、Ｋ．Ｙａｍａｄａ著、「Ｇｅｎｅｒａｌｉｚｅｄ  Ｌｅａｒｎｉｎｇ  Ｖｅｃｔｏｒ  Ｑｕａｎｔｉｚａｔｉｏｎ」、Ａｄｖａｎｃｅｓ  Ｉｎ  Ｎｅｕｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｙｓｔｅｍｓ，Ｖｏｌ．８、ｐｐ．４２３−４２９、ＭＩＴ  Ｐｒｅｓｓ、１９９６年
【非特許文献３】宮野博義、石寺永記著「裾野の重たい分布関数を用いた学習ベクトル量子化手法」電子情報通信学会、信学技報、ｖｏｌ．１１０、ｎｏ．１８７、ＰＲＭＵ２０１０−８１、ｐｐ．１８５−１９２、２０１０年９月．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１、特許文献３、非特許文献１、非特許文献２、非特許文献３に記載の方式では、学習に用いるすべての入力ベクトルについて、それが属するカテゴリを正しく付与しておく必要がある。しかし、このように事前に正しいカテゴリを付与するには手間や時間がかかる。また、そもそも事前に正しいカテゴリを付与できないこともある。
そして、特許文献１、特許文献３、非特許文献１、非特許文献２、非特許文献３の技術では、学習に用いる入力ベクトルが属するカテゴリについて、事前に用意された情報が不完全な場合、その情報から認識辞書を作ることができなかった。
本発明の目的は、上述の課題を解決する情報処理システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る情報処理システムは、参照ベクトル群を保持する参照ベクトル記憶手段と、複数のインスタンスを含むバッグ内から１つのインスタンスを選択するインスタンス選択手段と、前記参照ベクトル記憶手段に記憶された参照ベクトル群から、選択された前記インスタンスに最も関連する関連参照ベクトルを特定する参照ベクトル特定手段と、前記インスタンスのカテゴリが正解であるインスタンス正解確率を計算するインスタンス確率算出手段と、前記バッグに含まれるインスタンスのカテゴリが正解である確率を用いて、該バッグのカテゴリが正解であるバッグ正解確率を計算するバッグ確率算出手段と、前記バッグ正解確率を用いて、前記関連参照ベクトルを修正する参照ベクトル修正手段と、を備えたことを特徴とする。
上記目的を達成するため、本発明に係る認識辞書学習方法は、複数のインスタンスを含むバッグ内から１つのインスタンスを選択し、参照ベクトル記憶手段に記憶された参照ベクトル群から、選択された前記インスタンスに最も関連する関連参照ベクトルを特定し、選択された前記インスタンスのカテゴリが正解であるインスタンス正解確率を計算し、前記バッグに含まれるインスタンスのカテゴリが正解である確率を用いて、該バッグのカテゴリが正解であるバッグ正解確率を計算し、前記バッグ正解確率を用いて、前記関連参照ベクトルを修正することを特徴とする。
上記目的を達成するため、本発明に係る情報処理プログラムは、コンピュータを、複数のインスタンスを含むバッグ内から１つのインスタンスを選択するインスタンス選択手段と、参照ベクトル記憶手段に記憶された参照ベクトル群から、選択された前記インスタンスに最も関連する関連参照ベクトルを特定する参照ベクトル特定手段と、選択された前記インスタンスのカテゴリが正解であるインスタンス正解確率を計算するインスタンス確率算出手段と、前記バッグに含まれるインスタンスのカテゴリが正解である確率を用いて、該バッグのカテゴリが正解であるバッグ正解確率を計算するバッグ確率算出手段と、前記バッグ正解確率を用いて、前記関連参照ベクトルを修正する参照ベクトル修正手段として動作させることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、学習に用いる入力ベクトルが属するカテゴリが完全にはわかっていない場合にも、認識辞書を作ることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態の構成を示すブロック図である。
【図２】バッグと、バッグに付与するカテゴリの考え方を説明するための図である。
【図３】バッグ内のインスタンスのカテゴリ判定について説明するための図である。
【図４】本発明の第２実施形態の構成を示すブロック図である。
【図５】本発明の第２実施形態の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は、あくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
［第１実施形態］
本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。情報処理システム１００は、パターン認識で用いられる認識辞書の学習のための装置である。
図１に示すように、情報処理システム１００は、参照ベクトル記憶部１０１と、インスタンス選択部１０２と、参照ベクトル特定部１０３、インスタンス確率算出部１０４、バッグ確率算出１０５、参照ベクトル修正部１０６とを含む。
参照ベクトル記憶部１０１は、参照ベクトル群を保持する。インスタンス選択部１０２は、複数のインスタンスを含むバッグ内から１つのインスタンスを選択する。
さらに、参照ベクトル特定部１０３は、参照ベクトル記憶部１０１に記憶された参照ベクトル群から、選択されたインスタンスに最も関連する関連参照ベクトルを特定する。インスタンス確率算出部１０４は、インスタンスのカテゴリが正解であるインスタンス正解確率を計算する。そしてバッグ確率算出部１０５は、バッグに含まれるインスタンスのカテゴリが正解である確率を用いて、該バッグのカテゴリが正解であるバッグ正解確率を計算する。参照ベクトル修正部１０６は、バッグ正解確率を用いて、関連参照ベクトルを修正する。
以上の構成により、学習に用いる入力ベクトルが属するカテゴリが完全にはわかっていない場合にも、認識辞書を作ることができる。
［第２実施形態］
（前提技術）
本発明の第２実施形態として、参照ベクトルを用いた認識辞書学習手法（ＬＶＱ）を前提とした情報処理システム４００について説明する。まず、具体的な実施形態の説明に入る前に、統計的パターン認識の分野で、カテゴリの付与の仕方のルールを規定するＭｕｌｔｉｐｌｅ  Ｉｎｓｔａｎｃｅ  Ｌｅａｒｎｉｎｇと呼ばれる概念について説明する。この概念では、入力ベクトルは「インスタンス」と呼ばれる。また、インスタンスの集合は「バッグ」と呼ばれる。さらに、すべてのインスタンス１つずつにカテゴリが付与されるのではなく、バッグにのみカテゴリが付与される。
図２は、バッグとインスタンスの概念を図示したものである。カテゴリとして「ポジティブ」と「ネガティブ」の２種類のみがある場合、バッグの中にポジティブインスタンスが１つでも存在すれば、そのバッグのカテゴリは「ポジティブ」定義される。また、バッグの中にネガティブインスタンスのみが存在すれば、そのバッグのカテゴリは「ネガティブ」と定義される。
このカテゴリの定義に基づき、ｉ番目のバッグ内のｊ番目のインスタンスがポジティブである確率をｐｉｊとする。このとき、バッグ内の１つ以上のインスタンスがポジティブである確率つまりバッグがポジティブである確率であるｐｉは、以下の数式によって計算される。
【数１】
2013012093.tif 000003
たとえば、「ポジティブ」「ネガティブ（非ポジティブ）」という２種類のカテゴリに分類する場合、インスタンスｎ個の集合のうちどれか１個が「ポジティブ」であるという不完全な情報があっても、情報処理システム４００はうまく学習できない。参照ベクトルを更新する係数を求めるには、学習に用いるすべてのインスタンスとそれぞれのインスタンスが属するカテゴリが、１対１に対応付けられている必要がある。そのため、情報処理システム４００は、完全でないカテゴリの情報があっても、それを学習処理に適用できない。
つまり、情報処理システム４００が学習処理をする前に、学習に用いる入力ベクトルすべてに対して、カテゴリに関する情報が完全に付与されている必要がある。しかし、このための作業には手間や時間がかかってしまう。また、入力ベクトルのカテゴリを正確に定義することが難しい場合、そもそもカテゴリに関する情報を完全に付与しておくことは困難である。たとえば、入力ベクトルが画像パターンであり、カテゴリが「顔」と「顔でない」という２種類のカテゴリである場合、顔の目・鼻・口だけを含むパターンや、顔の輪郭だけでなく首や肩まで含まれているパターンのカテゴリを「顔」と定義すべきか「顔でない」と定義すべきか判断が難しい。顔の目・鼻・口だけを含むパターンと、顔の輪郭まで含まれているパターンと、首や肩まで含まれているパターンのまとまりに対して、「少なくともどれか１つが顔」であると定義するのが自然な考え方といえる。
このため、本実施形態では、情報処理システム４００は、インスタンスが正解カテゴリである確率を計算し、さらにそのバッグが正解カテゴリである確率を計算する。そして、情報処理システム４００は、インスタンスが属するバッグが正解カテゴリである確率を使って、参照ベクトルを修正する。このようにすることで、インスタンスが属するカテゴリが完全に明確ではなくても、情報処理システム４００は、学習処理（つまり参照ベクトルの修正）を行なうことができる。
（構成）
図３は、本実施形態の情報処理システム４００による認識辞書を用いた認識手法を模式的に表現したものである。認識辞書は、あるカテゴリＡに属する参照ベクトル３１１〜３１ｎと別のカテゴリＢに属する参照ベクトル３２１〜３２ｎを含んでいる。カテゴリを認識処理したいインスタンス３０３がある場合、情報処理システム４００は、カテゴリＡに属する参照ベクトル３１１〜３１ｎのなかで、インスタンス３０３と最近接の参照ベクトル３１２を特定する。そして、情報処理システム４００は、その距離ｄ１を計算する。また、情報処理システム４００は、カテゴリＢに属する参照ベクトル３２１〜３２ｎのなかで、インスタンス３０３と最近接の参照ベクトル３２２を特定する。そして、情報処理システム４００は、その距離ｄ２を計算する。そして、情報処理システム４００は、最も近い参照ベクトル３１２が属するカテゴリに、インスタンス３０３も属すると判断する。図３の場合、ｄ１＜ｄ２であるため、情報処理システム４００は、インスタンス３０３はカテゴリＡに属すると判断する。
次に本実施形態に係る情報処理システム４００について、図４を用いて説明する。図４は、本実施形態に係る情報処理システム４００の機能構成を説明するための図である。情報処理システム４００は、認識辞書と呼ばれる参照ベクトル（テンプレート、プロトタイプ、代表ベクトルとも呼ばれる）群と入力ベクトルとの距離を計算する。そして、情報処理システム４００は、その計算結果に基づいて、入力ベクトルに最も近い参照ベクトルが属するカテゴリ（クラス、ラベルとも呼ばれる）を、その入力ベクトルの認識結果とする。
以下では、説明のために、１つのインスタンスをｘ、参照ベクトルをｗｋ（ｋは１〜Ｋ）と表記する（それぞれベクトルではあるが、ここでは簡略化のためバーを省略する）。
図４を参照すると、本実施形態は、データ処理装置４０１と、記憶装置４０２とを備える。データ処理装置４０１は、バッグ選択部４１１と、インスタンス選択部４１２と、参照ベクトル特定部４１３と、インスタンス確率算出部４１４と、バッグ確率算出部４１５と、確率ベース修正係数算出部４１６と、参照ベクトル修正部４１７と、終了判定部４１８とを有する。
記憶装置４０２は、学習用データ記憶部４２１と参照ベクトル記憶部４２２を有する。学習用データ記憶部４２１は、学習用のインスタンス群（バッグ）に関する情報を記憶している。参照ベクトル記憶部４２２は、認識辞書である参照ベクトル群の情報を記憶している。具体的には、参照ベクトル記憶部４２２は、個々の参照ベクトルと、それが属するカテゴリ情報を記憶する。なお、本発明の動作中に参照ベクトルが修正され、その結果、学習された参照ベクトルが得られる。
バッグ選択部４１１は、学習に用いる全バッグから１つのバッグｉを選択する。インスタンス選択部４１２は、バッグ選択部４１１で選択されたバッグｉの中から１つのインスタンス（１つの入力ベクトル）ｊを選択する。
参照ベクトル特定部４１３は、インスタンス選択部４１２で選択されたインスタンスｊに関連する参照ベクトル対を決定する。具体的には、参照ベクトル特定部４１３は、インスタンスｊと、参照ベクトル記憶部４２２に保持される個々の参照ベクトルとのベクトル間距離から、インスタンスｊと同じカテゴリの参照ベクトル群の中で最も近い第１の参照ベクトルＷ１とその第１の距離ｄ１を算出する。また、参照ベクトル特定部４１３は、さらに、インスタンスｊと異なるカテゴリの参照ベクトル群の中で最も近い第２の参照ベクトルＷ２とその第２の距離ｄ２を算出する。なお、参照ベクトル特定部４１３は、もっとも近い参照ベクトルを検索できれば十分である。そのため、参照ベクトル特定部４１３は、必ずしもすべての参照ベクトルとの距離を計算する必要はない。
インスタンス確率算出部４１４は、インスタンスが正解のカテゴリらしい確率ｐｉｊを推定する。ここで、正解のカテゴリは、インスタンスｊが属するバッグｉに付与されたカテゴリのことである。なお、この確率ｐｉｊを推定する方式は任意の方式で構わない。以下、確率ｐｉｊを推定する方法の１例を説明する。確率ｐｉｊは、以下のように表現できる。
【数２】
2013012093.tif 000004
一方、インスタンスの正解カテゴリらしさをμｉｊ、値域が［０，１］の任意の単調増加関数をＲ（−）とすると、確率ｐｉｊは、以下の式のようにも書かれる。
【数３】
2013012093.tif 000005
μｉｊについては様々な導出方式が考えられる。たとえば以下の式に基づいてμｉｊを求めることができる。
【数４】
2013012093.tif 000006
他にも、μｉｊは、宮野博義、石寺永記著「裾野の重たい分布関数を用いた学習ベクトル量子化手法」電子情報通信学会、信学技報、ｖｏｌ．１１０、ｎｏ．１８７、ＰＲＭＵ２０１０−８１、ｐｐ．１８５−１９２、２０１０年９月に記載されている、ηｋであってもよい。
また、単調増加関数Ｒ（−）は、たとえば、以下の式であればよい。
【数５】
2013012093.tif 000007
また、参照ベクトルの学習を繰り返すほど認識の信頼性があがることを考慮すると、単調増加関数Ｒ（−）は、参照ベクトルの学習回数ｔを用いた以下の式であってもよい。
【数６】
2013012093.tif 000008
さらには、単調増加関数Ｒ（−）は、参照ベクトルの学習回数ｔと任意の定数γ０とγ１とを用いた以下の式であってもよい。
【数７】
2013012093.tif 000009
バッグ確率算出部４１５は、バッグｉの中の個々のインスタンスが正解カテゴリらしい確率ｐｉｊから、バッグが正解カテゴリらしい確率ｑｉを算出する。この計算式は以下の式で表現される。
【数８】
2013012093.tif 000010
確率ベース修正係数算出部４１６は、インスタンスが正解カテゴリらしい確率ｐｉｊとインスタンスが属するバッグが正解カテゴリらしい確率ｑｉとに基づいて、参照ベクトルを更新するための確率ベースの修正係数ｕｉｊを、インスタンスごとに算出する。
確率ベース修正係数算出部４１６は、認識結果の尤もらしさを意味する尤度Ｌを最大化するように、修正係数ｕｉｊを求めればよい。尤度Ｌは、確率ｑｉに基づいて定義されていればよい。
たとえば、Ｌが以下の式で定義されているとする。
【数９】
2013012093.tif 000011
この場合、確率ベース修正係数算出部４１６は、確率ベース修正係数ｕｉｊを以下の式によって計算すればよい。
【数１０】
2013012093.tif 000012
参照ベクトル修正部４１７は、確率ベース修正係数算出部４１６が算出した確率ベース修正係数ｕｉｊに基づいて、参照ベクトル記憶部４２２に記憶された第１の参照ベクトルｗ１と第２の参照ベクトルｗ２を修正する。詳しく説明すると、参照ベクトル修正部４１７は、第２の距離ｄ２を変換する関数Ｄ２（・）から計算される値と、確率ベース修正係数ｕｉｊと、任意の係数α１と、をインスタンスｘとｗ１との差分ベクトルに乗じて得られるベクトルを、ｗ１にベクトルとして加算（または減算）する。この処理によって、参照ベクトル修正部４１７は、第１の参照ベクトルｗ１を修正する。
一方、参照ベクトル修正部４１７は、第１の距離ｄ１を変換する関数Ｄ１（・）から計算される値と、確率ベース修正係数ｕｉｊと、任意の係数α２と、をインスタンスｘとｗ２との差分ベクトルに乗じて得られるベクトルを、ｗ２にベクトルとして加算（または減算）する。この処理によって、参照ベクトル修正部４１７は、第２の参照ベクトルｗ２を修正する。この修正の計算は、以下の数式３のように表現できる。
【数１１】
2013012093.tif 000013
なお、関数Ｄ２（・）は、ｄ２のべき乗計算、およびさらにｄ１とｄ２の和のべき乗で除算する計算で構成される。関数Ｄ１（・）は、ｄ１のべき乗計算、およびさらにｄ１とｄ２の和のべき乗で除算する計算で構成される。ここでべき乗とは、０以上の任意の実数ｙを用いたｙ乗の計算を指す。たとえば、Ｄ１（・）とＤ２（・）は、以下の式で表される関数であればよい。
【数１２】
2013012093.tif 000014
終了判定部４１８は、参照ベクトルの学習（修正）の終了を判定する。
（動作）
次に、図５のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。以下の説明では、学習に用いるバッグの個数はＭである。そして、バッグｉ内のインスタンスの個数はＮｉである。なお、動作の前に、学習に用いるインスタンス（入力ベクトル）を用意し、１個以上のインスタンスで構成されるバッグを用意しておく。実際のデータ構造としては、インスタンスにバッグの番号を対応付けておけば十分である。また、すべてのバッグにはカテゴリを付与しておく。
はじめに、バッグ選択部４１１が、学習用データ記憶部４２１に記憶されている学習用のバッグ群から１つのバッグｉを選択する（Ｓ５０１）。次に、インスタンス選択部４１２が、選択されたバッグ内にあるインスタンスを１つ選択する（Ｓ５０３）。そして、参照ベクトル特定部４１３が、選択されたインスタンスに最も近い参照ベクトルを検索する（Ｓ５０５）。さらに、インスタンス確率算出部４１４が、そのインスタンスが正解である確率Ｐｉｊを計算する（Ｓ５０７）。次に、インスタンス選択部４１２は、バッグ内の全インスタンスについて、ステップＳ５０３〜Ｓ５０７の処理が終了したかを判定し（Ｓ５０９）、終了していなければ、処理はステップＳ５０３に戻る。
このように、情報処理装置４００は、インスタンス選択部４１２によるインスタンス選択処理（Ｓ５０３）と参照ベクトル特定部４１３による参照ベクトル特定処理（Ｓ５０５）とインスタンス確率算出部４１４によるインスタンス確率算出処理（Ｓ５０７）とを繰返し実行する。
次にバッグ確率算出部４１５は、選択されたバッグｉが正解である確率ｑｉを計算する（ステップＳ５１１）。インスタンス選択部４１２は、バッグ内から再度インスタンスを１つ選択する。そして、確率ベース修正係数算出部４１６が、選択されたインスタンスに関して、確率ベースの修正係数を算出する（Ｓ５１３）。さらに参照ベクトル修正部４１７は、確率ベース修正係数算出部４１５が算出した確率ベース修正係数ｕｉｊに基づいて、参照ベクトル記憶部４２２に記憶されている第１の参照ベクトルｗ１と第２の参照ベクトルｗ２を修正する（Ｓ５１５）。次に、インスタンス選択部４１２は、バッグ内の全インスタンスについて、ステップＳ５１２〜Ｓ５１５の処理が終了したかを判定し（Ｓ５１６）、終了していなければ、ステップＳ５０３に戻る。
情報処理装置４００は、これらのステップＳ５１１〜Ｓ５１５の処理を、選択されたバッグｉ内にあるすべてのインスタンスについて、繰返し実行する。このことによって、情報処理装置４００は、参照ベクトル記憶部４２２に記憶されているすべての参照ベクトルを修正する。これにより、バッグ単位での学習処理が終了する。
次に、バッグ選択部４１１は、全バッグについて、ステップＳ５０１〜Ｓ５１６の処理が終了したかを判定し（Ｓ５１７）、終了していなければ、処理はステップＳ５０１に戻る。
情報処理装置４００は、これらのステップＳ５０１〜Ｓ５１７の処理を、全てのバッグについて繰返し実行する。このことによって、情報処理装置４００は、参照ベクトル記憶部４２２に記憶されているすべての参照ベクトルを修正する。
ステップＳ５１８では、終了判定部４１８が、参照ベクトルの学習を終了するか否かを判定する。終了判定部４１８が終了しないと判定した場合は、処理はステップＳ５０１に戻る。そして、情報処理装置４００は、ステップＳ５０１からステップＳ５１７までの処理をすべての学習用のバッグについて繰返し実行する。
一方、終了判定部４１８が参照ベクトルの学習を終了すると判定した場合は、情報処理装置４００は、処理を終える。終了判定部４１８は、たとえば、あらかじめ決められた所定の回数だけ情報処理装置４００が前述の処理を繰返し実行したら、参照ベクトルの学習を終了するように判定してもよい。
以上のように本実施の形態では、バッグ確率算出部４１５が、バッグが正解カテゴリである確率を算出する。そして、参照ベクトル修正部４１７が、そこから導出される尤もらしさＬを最大化するように参照ベクトルを修正する。そのため、情報処理装置４００は、インスタンスではなくバッグに付与されたカテゴリの情報のみでも学習を実行することができる。
次に、本実施形態で用いる確率ベース修正係数算出部４１６で計算される確率ベース修正係数ｕｉｊを用いることで、バッグが正解カテゴリである確率から導出される尤もらしさＬを最大化できることを説明する。Ｐｉｊが上述の数式１のように定義され、Ｌが数式２のように定義される場合に、最急降下法でＬを最大化することを考える。
この場合、最小化すべき関数Ｓは、単調関数である対数関数を用いて、以下の式のように定義されうる。
【数１３】
2013012093.tif 000015
最急降下法では、参照ベクトルｗｋの更新式は定数αを用いて以下のように表される。
【数１４】
2013012093.tif 000016
以下の式は、上の式の右辺第２項を展開した式である。
【数１５】
2013012093.tif 000017
上の式をさらに展開することにより、以下の、数式４と、定数βを用いた数式５とが導かれる。
【数１６】
2013012093.tif 000018
【数１７】
2013012093.tif 000019
数式４は確率ベース修正係数に相当する。数式４と数式５とから数式３が導かれる。
上述した以下の式は、距離値の大きさを正規化するための式であると解釈されうるため、この分子および分母をべき乗しても同様の効果を得ることができる。
【数１８】
2013012093.tif 000020
なお、本実施形態の動作は「正解である確率」を用いて記載されている。「ポジティブ」と「ネガティブ（非ポジティブ）」という２カテゴリであれば、「不正解である確率」または「ポジティブである確率」または「ネガティブである確率」から「正解である確率」は自明である。そのため、本実施形態は、これらの確率を用いているともいえる。
本実施形態は、バッグが正解である確率に基づいて参照ベクトルを修正するので、学習するバッグ全体についての正解らしさ（評価尺度）を最大化する学習処理を行う。これにより、学習に用いるすべての入力ベクトルそれぞれに対応するカテゴリの情報がなくても、本実施形態は、学習に用いる入力ベクトル（インスタンス）の集合（バッグ）に対応するカテゴリの情報だけからでも学習できる。従って、本実施形態は、認識辞書を作ることができる。本実施形態は、学習処理をする前に、より粗い情報を付与するだけで学習処理の準備を完了できる。また、そもそも入力ベクトル個々のカテゴリを正確に定義することが困難な場合や、入力ベクトルの集合のみにしかカテゴリを定義できない場合にも、本実施形態は、学習を行うことができる。
本実施形態は、映像から特定の物体を検出する用途や、映像から人物や物体を同定し認証する用途に適用できる。特に膨大なデータを学習して認識に利用しようとする場合、物体の正解カテゴリを完全に付与することが困難である。しかし、データの集合に対してのみ正解カテゴリが付与されればよいため、本実施形態は、実用的に適用できる。
［第３実施形態］
上記第２実施形態に係る確率ベース修正係数算出部４１６は、以下の式によって確率ベース修正係数ｕｉｊを計算してもよい。
【数１９】
2013012093.tif 000021
インスタンスの集合であるバッグに対してカテゴリが付与されていさえすれば、本実施形態を利用することが可能である。たとえば、学習する対象のインスタンス（入力ベクトル）のベクトル成分について、値を微小変動させて生成したベクトルが作られればよい。そして、このように、もともと１つのインスタンスから、微小変動させて生成した複数のインスタンスをまとめた集合が、１つのバッグとして用意されてもよい。
こうすることにより、インスタンスが、たとえばノイズが含まれるようなインスタンスであっても、それから生成されるインスタンスのうち１つでもノイズが低減されるようなインスタンスであれば、本実施形態は、ノイズの影響を受け難い学習処理を実行することができる。一方、インスタンスが、たとえば、カテゴリが正確に付与されているインスタンスがあるならば、その１つのインスタンスのみで１つのバッグが構成されればよい。
本実施形態では、第２実施形態と同様の効果を得ることができる。バッグが正解カテゴリである確率から導出される尤もらしさＬを、以下の数式により定義するものと考える。
【数２０】
2013012093.tif 000022
すると、最急降下法で最小化すべき関数Ｓを、以下の数式のように求めることができる。
【数２１】
2013012093.tif 000023
この場合、第２実施形態の効果の説明に用いた数式に相当する、以下の式を導くことができる。
【数２２】
2013012093.tif 000024
したがって、確率ベース修正係数ｕｉｊを計算することで、Ｌを最大化することができる。これにより、本実施形態は、インスタンスではなくバッグに付与されたカテゴリの情報のみでも、学習を実行することができる。
［他の実施形態］
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよい。本発明は、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）サーバも、本発明の範疇に含まれる。
情報処理システム１００、情報処理システム４００、データ処理装置４０１、記憶装置４０２は、それぞれ、コンピュータ及びコンピュータを制御するプログラム、専用のハードウェア、又は、コンピュータ及びコンピュータを制御するプログラムと専用のハードウェアの組合せにより実現することができる。
インスタンス選択部１０２、参照ベクトル特定部１０３、インスタンス確率算出部１０４、バッグ確率算出部１０５、参照ベクトル修正部１０６、バッグ選択部４１１、インスタンス選択部４１２、参照ベクトル特定部４１３、インスタンス確率算出部４１４、バッグ確率算出部４１５、確率ベース修正計数算出部４１６、参照ベクトル修正部４１７、終了判定部４１８は、例えば、プログラムを記憶する記録媒体からメモリに読み込まれた、各部の機能を実現するための専用のプログラムと、そのプログラムを実行するプロセッサにより実現することができる。また、参照ベクトル記憶部１０１、学習用データ記憶部４２１、参照ベクトル記憶部４２２は、コンピュータが含むメモリやハードディスク装置により実現することができる。あるいは、参照ベクトル記憶部１０１、インスタンス選択部１０２、参照ベクトル特定部１０３、インスタンス確率算出部１０４、バッグ確率算出部１０５、参照ベクトル修正部１０６、バッグ選択部４１１、インスタンス選択部４１２、参照ベクトル特定部４１３、インスタンス確率算出部４１４、バッグ確率算出部４１５、確率ベース修正計数算出部４１６、参照ベクトル修正部４１７、終了判定部４１８、学習用データ記憶部４２１、参照ベクトル記憶部４２２の一部又は全部を、各部の機能を実現する専用の回路によって実現することもできる。
［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
参照ベクトル群を保持する参照ベクトル記憶手段と、
複数のインスタンスを含むバッグ内から１つのインスタンスを選択するインスタンス選択手段と、
前記参照ベクトル記憶手段に記憶されている参照ベクトル群から、選択された前記インスタンスに最も関連する関連参照ベクトルを特定する参照ベクトル特定手段と、
前記インスタンスのカテゴリが正解であるインスタンス正解確率を計算するインスタンス確率算出手段と、
前記バッグに含まれるインスタンスのカテゴリが正解である確率を用いて、該バッグのカテゴリが正解であるバッグ正解確率を計算するバッグ確率算出手段と、
前記バッグ正解確率を用いて、前記関連参照ベクトルを修正する参照ベクトル修正手段と、
を備えたことを特徴とする情報処理システム。
（付記２）
前記参照ベクトル特定手段は、選択された前記インスタンスが属するバッグと同じカテゴリで最も前記インスタンスからの距離が近い第１参照ベクトルと、前記インスタンスが属するバッグとは異なるカテゴリで最も前記インスタンスからの距離が近い第２参照ベクトルとを、前記関連参照ベクトルとして特定することを特徴とする付記１に記載の情報処理システム。
（付記３）
前記参照ベクトル特定手段は、前記インスタンスと前記第１参照ベクトルとの距離を示す第１距離と、前記インスタンスと前記第２参照ベクトルとの距離を示す第２距離とを算出し、
前記参照ベクトル修正手段は、前記第１距離および前記第２距離を用いて前記関連参照ベクトルを修正することを特徴とする付記２に記載の情報処理システム。
（付記４）
前記参照ベクトル修正手段は、
第１距離のべき乗計算、および第１距離と前記第２距離の和のべき乗で除算する計算によって変換して得られる変換距離値を用いて前記関連参照ベクトルを修正することを特徴とする付記３に記載の情報処理システム。
（付記５）
前記インスタンス確率算出手段は、前記第１距離と前記第２距離との差を前記第１距離と前記第２距離との和で除算することにより、前記インスタンス正解確率を算出することを特徴とする付記３または４に記載の情報処理システム。
（付記６）
前記バッグ正解確率を用いて、前記関連参照ベクトルを修正するための確率ベース修正係数を計算する確率ベース修正係数算出手段をさらに備え、
前記参照ベクトル修正手段は、確率ベース修正係数に基づいて参照ベクトルを修正することを特徴とする付記１乃至５のいずれか１項に記載の情報処理システム。
（付記７）
前記確率ベース修正係数算出手段は、インスタンス正解確率とインスタンスが属するバッグが不正解カテゴリである確率としてのバッグ不正解確率との乗算、および、インスタンスが不正解カテゴリである確率としてのインスタンス不正解確率と前記バッグ正解確率との乗算を行なうことにより確率ベース修正係数を算出することを特徴とする付記６に記載の情報処理システム。
（付記８）
前記確率ベース修正係数算出手段は、インスタンス正解確率とバッグ不正解確率との積をバッグ正解確率で除算した値、および、前記インスタンス不正解確率によって確率ベース修正係数を算出することを特徴とする付記６または７に記載の情報処理システム。
（付記９）
前記バッグ確率算出手段は、前記バッグに含まれるインスタンスのうち少なくとも１つ以上のインスタンスのカテゴリが正解である確率を算出することを付記１乃至８のいずれか１行に記載の特徴とする付記１乃至８のいずれかに記載の情報処理システム。
（付記１０）
複数のインスタンスを含むバッグ内から１つのインスタンスを選択し、
参照ベクトル記憶手段に記憶されている参照ベクトル群から、選択された前記インスタンスに最も関連する関連参照ベクトルを特定し、
選択された前記インスタンスのカテゴリが正解であるインスタンス正解確率を計算し、
前記バッグに含まれるインスタンスのカテゴリが正解である確率を用いて、該バッグのカテゴリが正解であるバッグ正解確率を計算し、
前記バッグ正解確率を用いて、前記関連参照ベクトルを修正する
ことを特徴とする認識辞書学習方法。
（付記１１）
コンピュータを、
複数のインスタンスを含むバッグ内から１つのインスタンスを選択するインスタンス選択手段と、
参照ベクトル記憶手段に記憶されている参照ベクトル群から、選択された前記インスタンスに最も関連する関連参照ベクトルを特定する参照ベクトル特定手段と、
選択された前記インスタンスのカテゴリが正解であるインスタンス正解確率を計算するインスタンス確率算出手段と、
前記バッグに含まれるインスタンスのカテゴリが正解である確率を用いて、該バッグのカテゴリが正解であるバッグ正解確率を計算するバッグ確率算出手段と、
前記バッグ正解確率を用いて、前記関連参照ベクトルを修正する参照ベクトル修正手段と
して実行させることを特徴とする情報処理プログラム。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１１年７月１９日に出願された日本出願特願２０１１−１５８３３９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2013012093.tif 000025
【図２】
2013012093.tif 000026
【図３】
2013012093.tif 000027
【図４】
2013012093.tif 000028
【図５】
2013012093.tif 000029
【手続補正書】
【提出日】平成26年1月10日(2014.1.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
参照ベクトル群を保持する参照ベクトル記憶手段と、
複数のインスタンスを含むバッグ内から１つのインスタンスを選択するインスタンス選択手段と、
前記参照ベクトル記憶手段に記憶された参照ベクトル群から、選択された前記インスタンスに最も関連する関連参照ベクトルを特定する参照ベクトル特定手段と、
前記インスタンスのカテゴリが正解であるインスタンス正解確率を計算するインスタンス確率算出手段と、
前記バッグに含まれるインスタンスのカテゴリが正解である確率を用いて、該バッグのカテゴリが正解であるバッグ正解確率を計算するバッグ確率算出手段と、
前記バッグ正解確率を用いて、前記関連参照ベクトルを修正する参照ベクトル修正手段と、
を備えたことを特徴とする情報処理システム。
【請求項２】
前記参照ベクトル特定手段は、選択された前記インスタンスが属するバッグと同じカテゴリで最も前記インスタンスからの距離が近い第１参照ベクトルと、前記インスタンスが属するバッグとは異なるカテゴリで最も前記インスタンスからの距離が近い第２参照ベクトルとを、前記関連参照ベクトルとして特定することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記参照ベクトル特定手段は、前記インスタンスと前記第１参照ベクトルとの距離を示す第１距離と、前記インスタンスと前記第２参照ベクトルとの距離を示す第２距離とを算出し、
前記参照ベクトル修正手段は、前記第１距離および前記第２距離を用いて前記関連参照ベクトルを修正することを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記参照ベクトル修正手段は、
第１距離のべき乗計算、および第１距離と前記第２距離の和のべき乗で除算する計算によって変換して得られる変換距離値を用いて前記関連参照ベクトルを修正することを特徴とする請求項３に記載の情報処理システム。
【請求項５】
前記インスタンス確率算出手段は、前記第１距離と前記第２距離との差を前記第１距離と前記第２距離との和で除算することにより、前記インスタンス正解確率を算出することを特徴とする請求項３または４に記載の情報処理システム。
【請求項６】
前記バッグ正解確率を用いて、前記関連参照ベクトルを修正するための確率ベース修正係数を計算する確率ベース修正係数算出手段をさらに備え、
前記参照ベクトル修正手段は、確率ベース修正係数に基づいて参照ベクトルを修正することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
【請求項７】
前記確率ベース修正係数算出手段は、インスタンス正解確率とインスタンスが属するバッグが不正解カテゴリである確率としてのバッグ不正解確率との乗算、および、インスタンスが不正解カテゴリである確率としてのインスタンス不正解確率と前記バッグ正解確率との乗算を行なうことにより確率ベース修正係数を算出することを特徴とする請求項６に記載の情報処理システム。
【請求項８】
前記確率ベース修正係数算出手段は、インスタンス正解確率とバッグ不正解確率との積をバッグ正解確率で除算した値、および、前記インスタンス不正解確率によって確率ベース修正係数を算出することを特徴とする請求項６または７に記載の情報処理システム。
【請求項９】
複数のインスタンスを含むバッグ内から１つのインスタンスを選択し、
参照ベクトル記憶手段に記憶された参照ベクトル群から、選択された前記インスタンスに最も関連する関連参照ベクトルを特定し、
選択された前記インスタンスのカテゴリが正解であるインスタンス正解確率を計算し、
前記バッグに含まれるインスタンスのカテゴリが正解である確率を用いて、該バッグのカテゴリが正解であるバッグ正解確率を計算し、
前記バッグ正解確率を用いて、前記関連参照ベクトルを修正する
ことを特徴とする認識辞書学習方法。
【請求項１０】
コンピュータを、
複数のインスタンスを含むバッグ内から１つのインスタンスを選択するインスタンス選択手段と、
参照ベクトル記憶手段に記憶された参照ベクトル群から、選択された前記インスタンスに最も関連する関連参照ベクトルを特定する参照ベクトル特定手段と、
選択された前記インスタンスのカテゴリが正解であるインスタンス正解確率を計算するインスタンス確率算出手段と、
前記バッグに含まれるインスタンスのカテゴリが正解である確率を用いて、該バッグのカテゴリが正解であるバッグ正解確率を計算するバッグ確率算出手段と、
前記バッグ正解確率を用いて、前記関連参照ベクトルを修正する参照ベクトル修正手段と
して動作させることを特徴とする情報処理プログラム。
【国際調査報告】
2013012093.tif 000030
2013012093.tif 000031