(57)【要約】【課題】言語情報が関連付けられた画像が少量しか利用できない場合であっても、画像と言語情報との関係性の学習をより効率的に行う。【解決手段】蓄積画像特徴抽出部１は、完全・不完全蓄積画像集合から完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する。蓄積付加情報特徴抽出部２は、蓄積付加情報集合から蓄積付加情報特徴を抽出する。蓄積潜在変数抽出部３は、完全・不完全蓄積画像特徴集合、及び蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する。画像・付加情報間関係性学習部４は、完全・不完全蓄積画像特徴集合、蓄積付加情報特徴集合、及び蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する。【選択図】図１
2010282275.tif 000002
【特許請求の範囲】
【請求項１】
与えられた画像と、その画像を説明する情報である付加情報との関係性を学習する半教師画像認識検索装置であって、
付加情報が予め付与された画像の集合である完全蓄積画像集合の要素である完全蓄積画像、及び付加情報が与えられていない画像の集合である不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出手段と、
付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出手段と、
前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出手段と、
前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する画像・付加情報間関係性学習手段と
を備えることを特徴とする半教師画像認識検索装置。
【請求項２】
前記画像・付加情報間関係性学習手段は、
前記蓄積潜在変数集合から、潜在変数の構造を記述するモデルである潜在変数モデルを学習する潜在変数モデル学習手段と、
前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、及び前記蓄積潜在変数集合から、画像と潜在変数との関係性を記述するモデルである画像・潜在変数関係モデルを学習する画像・潜在変数関係モデル学習手段と、
前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、付加情報と潜在変数との関係性を記述するモデルである付加情報・潜在変数関係モデルを学習する付加情報・潜在変数関係モデル学習手段と
を更に備え、
前記画像・付加情報間関係性学習手段は、前記潜在変数モデル、前記画像・潜在変数関係モデル、及び前記付加情報・潜在変数関係モデルを合わせて、画像・付加情報関係モデルとして出力する
ことを特徴とする請求項１に記載の半教師画像認識検索装置。
【請求項３】
入力付加情報から、入力付加情報の特性を表現するベクトルである入力付加情報特徴を抽出する入力付加情報特徴抽出手段と、
前記入力付加情報特徴を、前記画像・付加情報関係モデルに与え、蓄積画像集合から類似性の高い画像を選択して提示する画像検索手段と
を更に備えることを特徴とする請求項１または２に記載の半教師画像認識検索装置。
【請求項４】
入力画像から、入力画像の特性を表現するベクトルである入力画像特徴を抽出する入力画像特徴抽出手段と、
前記入力画像特徴を、前記画像・付加情報関係モデルに与え、前記入力画像との類似性の高い付加情報を選択して提示する画像認識手段と
を更に備えることを特徴とする請求項１または２に記載の半教師画像認識検索装置。
【請求項５】
与えられた画像と、その画像を説明する情報である付加情報との関係性を学習する半教師画像処理装置において用いられる半教師画像処理方法であって、
蓄積画像特徴抽出手段が、付加情報が予め付与された画像の集合である完全蓄積画像集合の要素である完全蓄積画像、及び付加情報が与えられていない画像の集合である不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出過程と、
蓄積付加情報特徴抽出手段が、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出過程と、
蓄積潜在変数抽出手段が、前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出過程と、
画像・付加情報間関係性学習手段が、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する画像・付加情報間関係性学習過程と
を含むことを特徴とする半教師画像認識検索方法。
【請求項６】
前記画像・付加情報間関係性学習過程は、
前記蓄積潜在変数集合から、潜在変数の構造を記述するモデルである潜在変数モデルを学習する潜在変数モデル学習過程と、
前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、及び前記蓄積潜在変数集合から、画像と潜在変数との関係性を記述するモデルである画像・潜在変数関係モデルを学習する画像・潜在変数関係モデル学習過程と、
前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、付加情報と潜在変数との関係性を記述するモデルである付加情報・潜在変数関係モデルを学習する付加情報・潜在変数関係モデル学習過程と
を更に含み、
前記画像・付加情報間関係性学習手段は、前記画像・付加情報間関係性学習過程において、前記潜在変数モデル、前記画像・潜在変数関係モデル、及び前記付加情報・潜在変数関係モデルを合わせて、画像・付加情報関係モデルとして出力する
ことを特徴とする請求項５に記載の半教師画像認識検索方法。
【請求項７】
入力付加情報特徴抽出手段が、入力付加情報から、入力付加情報の特性を表現するベクトルである入力付加情報特徴を抽出する入力付加情報特徴抽出過程と、
画像検索手段が、前記入力付加情報特徴を、前記画像・付加情報関係モデルに与え、蓄積画像集合から類似性の高い画像を選択して提示する画像検索過程と
を更に含むことを特徴とする請求項５または６に記載の半教師画像認識検索方法。
【請求項８】
入力画像特徴抽出手段が、入力画像から、入力画像の特性を表現するベクトルである入力画像特徴を抽出する入力画像特徴抽出過程と、
画像認識が、前記入力画像特徴を、前記画像・付加情報関係モデルに与え、前記入力画像との類似性の高い付加情報を選択して提示する画像認識過程と
を更に含むことを特徴とする請求項５または６に記載の半教師画像認識検索方法。
【請求項９】
与えられた画像と、その画像を説明する情報である付加情報との関係性を学習する半教師画像認識検索装置としてのコンピュータに実行させるプログラムであって、
蓄積画像特徴抽出手段が、付加情報が予め付与された画像の集合である完全蓄積画像集合の要素である完全蓄積画像、及び付加情報が与えられていない画像の集合である不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出ステップと、
蓄積付加情報特徴抽出手段が、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出ステップと、
蓄積潜在変数抽出手段が、前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出ステップと、
画像・付加情報間関係性学習手段が、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する画像・付加情報間関係性学習ステップと
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、半教師画像認識検索装置、半教師画像認識検索方法、及びプログラムに関する。
【背景技術】
【０００２】
所望の画像を与えられた言語情報に基づいて検索する画像検索技術、及び、与えられた画像に対してその画像を説明する言語情報を自動的に付与する画像認識技術は、ディジタルカメラ・携帯電話などの撮像装置の普及、インターネット上での画像共有の一般化などに伴い、非常に重要な技術となってきている。近年では、画像検索と画像認識を同一の枠組の下で実現する画像認識検索技術についても、非特許文献１など数多くの技術が開発されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】中山、原田、國吉、大津“画像・単語間概念対応の確率構造学習を利用した超高速画像認識・検索方法”、電子情報通信学会技術報告、PRMU2007-147、2007年12月
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これらの技術は、実際に検索・認識を行う前に、画像と言語情報との関連性を学習しておく必要があり、この学習の際に、同時共起する画像と言語情報との組が数多く必要となる。しかし、大量の画像に手動で言語情報を付与することは多くの労力を伴うため、言語情報が関連付けられている画像を大量に収集することは困難である。言語情報が関連付けられた画像が十分に用意できない場合には、画像と言語情報との関係性を精度良く学習できないため、結果として画像認識・画像検索の信頼性が損なわれてしまう。
【０００５】
本発明は、このような事情を考慮してなされたものであり、その目的は、言語情報が関連付けられた画像が少量しか利用できない場合においても、画像と言語情報との関係性の学習、類似性の高い画像の検索・認識をより効率的に行うことができる半教師画像認識検索装置、半教師画像認識検索方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明は、与えられた画像と、その画像を説明する情報である付加情報との関係性を学習する半教師画像認識検索装置であって、付加情報が予め付与された画像の集合である完全蓄積画像集合の要素である完全蓄積画像、及び付加情報が与えられていない画像の集合である不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出手段と、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出手段と、前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出手段と、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する画像・付加情報間関係性学習手段とを備えることを特徴とする半教師画像認識検索装置である。
【０００７】
本発明は、上記の発明において、前記画像・付加情報間関係性学習手段は、前記蓄積潜在変数集合から、潜在変数の構造を記述するモデルである潜在変数モデルを学習する潜在変数モデル学習手段と、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、及び前記蓄積潜在変数集合から、画像と潜在変数との関係性を記述するモデルである画像・潜在変数関係モデルを学習する画像・潜在変数関係モデル学習手段と、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、付加情報と潜在変数との関係性を記述するモデルである付加情報・潜在変数関係モデルを学習する付加情報・潜在変数関係モデル学習手段とを更に備え、前記画像・付加情報間関係性学習手段は、前記潜在変数モデル、前記画像・潜在変数関係モデル、及び前記付加情報・潜在変数関係モデルを合わせて、画像・付加情報関係モデルとして出力することを特徴とする。
【０００８】
本発明は、上記の発明において、入力付加情報から、入力付加情報の特性を表現するベクトルである入力付加情報特徴を抽出する入力付加情報特徴抽出手段と、前記入力付加情報特徴を、前記画像・付加情報関係モデルに与え、蓄積画像集合から類似性の高い画像を選択して提示する画像検索手段とを更に備えることを特徴とする。
【０００９】
本発明は、上記の発明において、入力画像から、入力画像の特性を表現するベクトルである入力画像特徴を抽出する入力画像特徴抽出手段と、前記入力画像特徴を、前記画像・付加情報関係モデルに与え、前記入力画像との類似性の高い付加情報を選択して提示する画像認識手段とを更に備えることを特徴とする。
【００１０】
また、上述した課題を解決するために、本発明は、与えられた画像と、その画像を説明する情報である付加情報との関係性を学習する半教師画像認識検索装置において用いられる半教師画像認識検索方法であって、蓄積画像特徴抽出手段が、付加情報が予め付与された画像の集合である完全蓄積画像集合の要素である完全蓄積画像、及び付加情報が与えられていない画像の集合である不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出過程と、蓄積付加情報特徴抽出手段が、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出過程と、蓄積潜在変数抽出手段が、前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出過程と、画像・付加情報間関係性学習手段が、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する画像・付加情報間関係性学習過程とを含むことを特徴とする半教師画像認識検索方法である。
【００１１】
本発明は、上記の発明において、前記画像・付加情報間関係性学習過程は、前記蓄積潜在変数集合から、潜在変数の構造を記述するモデルである潜在変数モデルを学習する潜在変数モデル学習過程と、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、及び前記蓄積潜在変数集合から、画像と潜在変数との関係性を記述するモデルである画像・潜在変数関係モデルを学習する画像・潜在変数関係モデル学習過程と、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、付加情報と潜在変数との関係性を記述するモデルである付加情報・潜在変数関係モデルを学習する付加情報・潜在変数関係モデル学習過程とを更に含み、前記画像・付加情報間関係性学習手段は、前記画像・付加情報間関係性学習過程において、前記潜在変数モデル、前記画像・潜在変数関係モデル、及び前記付加情報・潜在変数関係モデルを合わせて、画像・付加情報関係モデルとして出力することを特徴とする。
【００１２】
本発明は、上記の発明において、入力付加情報特徴抽出手段が、入力付加情報から、入力付加情報の特性を表現するベクトルである入力付加情報特徴を抽出する入力付加情報特徴抽出過程と、画像検索手段が、前記入力付加情報特徴を、前記画像・付加情報関係モデルに与え、蓄積画像集合から類似性の高い画像を選択して提示する画像検索過程とを更に含むことを特徴とする。
【００１３】
本発明は、上記の発明において、入力画像特徴抽出手段が、入力画像から、入力画像の特性を表現するベクトルである入力画像特徴を抽出する入力画像特徴抽出過程と、画像認識が、前記入力画像特徴を、前記画像・付加情報関係モデルに与え、前記入力画像との類似性の高い付加情報を選択して提示する画像認識過程とを更に含むことを特徴とする。
【００１４】
また、上述した課題を解決するために、本発明は、与えられた画像と、その画像を説明する情報である付加情報との関係性を学習する半教師画像認識検索装置としてのコンピュータに実行させるプログラムであって、蓄積画像特徴抽出手段が、付加情報が予め付与された画像の集合である完全蓄積画像集合の要素である完全蓄積画像、及び付加情報が与えられていない画像の集合である不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出ステップと、蓄積付加情報特徴抽出手段が、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出ステップと、蓄積潜在変数抽出手段が、前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出ステップと、画像・付加情報間関係性学習手段が、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する画像・付加情報間関係性学習ステップとを実行させることを特徴とするプログラムである。
【発明の効果】
【００１５】
この発明によれば、言語情報が関連付けられた画像が少量しか利用できない場合であっても、画像と言語情報との関係性の学習、類似性の高い画像の検索・認識をより効率的に行うことができるという利点が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施形態による半教師画像学習装置の構成を示すブロック図である。
【図２】多変量解析の一種である正準相関分析方法を用いた多次元信号対圧縮装置の構成を示すブロック図である。
【図３】本第２実施形態による半教師画像検索装置の構成を示すブロック図である。
【図４】本第３実施形態による半教師画像認識装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態を、図面を参照して説明する。
【００１８】
Ａ．第１実施形態
図１は、本発明の第１実施形態による半教師画像学習装置の構成を示すブロック図である。図において、本第１実施形態による半教師画像学習装置は、蓄積画像特徴抽出部１と、蓄積付加情報特徴抽出部２と、蓄積潜在変数抽出部３と、画像・付加情報間関係性学習部４とから構成される。該半教師画像学習装置は、画像を説明する情報である付加情報が予め付与された画像の集合である完全蓄積画像集合、付加情報が与えられていない画像の集合である不完全蓄積画像集合、及び付与された付加情報の集合である蓄積付加情報集合を入力し、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを出力する。
【００１９】
蓄積画像特徴抽出部１は、完全蓄積画像集合、及び不完全蓄積画像集合を入力し、完全蓄積画像集合の要素である完全蓄積画像、及び不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出し、完全蓄積画像特徴の集合である完全蓄積画像特徴集合、及び不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合を出力する。
【００２０】
完全蓄積画像特徴及び不完全蓄積画像特徴の抽出方法は、特に限定されるものではないが、例えば、以下のような方法、及びそれらの任意の組み合わせが考えられる。
【００２１】
・色ヒストグラム
・画像中の各小領域のディジタルコサイン変換の低周波成分
・Ｈａａｒ  ｗａｖｅｌｅｔの低周波及び／または高周波成分のヒストグラム
・高次局所自己相関特徴（参考文献１「N. Otsu and T. Kurita “A new scheme for practical flexible and intelligent vision systems,” Proc. IAPR Workshop on Computer Vision, pp.431-435, 1988.」参照）
・ＳＩＦＴ（参考文献２「D. Lowe, “Distinctive image features from scale-invariant keypoints, ”International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004.」参照）
【００２２】
このようにして、蓄積画像特徴抽出部１は、完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出し、これらそれぞれの集合である完全蓄積画像特徴集合及び不完全蓄積画像特徴集合を出力する。
【００２３】
蓄積付加情報特徴抽出部２は、蓄積付加情報集合を入力し、蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出し、この蓄積付加情報特徴の集合である蓄積付加情報特徴集合を出力する。
【００２４】
蓄積付加情報特徴の抽出方法は、特に限定されるものではないが、本第１実施形態においては、付加情報として言語ラベルを想定し、その言語ラベルの有無を表現する２値ベクトルを蓄積付加情報特徴とする。すなわち、蓄積付加情報特徴は、以下のように構成される。
【００２５】
蓄積付加情報特徴は、考慮すべき言語ラベルの総数と同数の次元を持つベクトルであり、ベクトルの各次元が言語ラベルに対応する。以降、便宜的に、言語ラベルを、上記ベクトルにおいて対応する次元のインデックスを用いて表現する。蓄積付加情報に言語ラベルｉが含まれている場合には、蓄積付加情報特徴の第ｉ次元を「１」とし、そうでない場合には、「０」とする。あるいは、上記の方法で作成した特徴を主成分分析を用いて圧縮した多次元ベクトルを蓄積付加情報特徴としても良い。
【００２６】
このようにして、蓄積付加情報特徴抽出部２は、蓄積付加情報特徴を抽出し、この蓄積付加情報特徴の集合である蓄積付加情報集合を出力する。
【００２７】
蓄積潜在変数抽出部３は、完全蓄積画像特徴集合、不完全蓄積画像特徴集合、及び蓄積付加情報特徴集合を入力し、これらの特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出し、この蓄積潜在変数集合を出力する。
【００２８】
蓄積潜在変数集合の抽出方法は、特に限定されるものではないが、本第１実施形態においては、多変量解析の一種である正準相関分析を改良した以下の方法を用いる。
【００２９】
ここで、図２は、多変量解析の一種である正準相関分析方法を用いた多次元信号対圧縮装置の構成を示すブロック図である。なお、以下では、図２、及びその説明において用いる用語を本発明で用いる用語に置き換えて参照されたい。用語の対応関係は、以下の通りである。
【００３０】
・第１信号系列→蓄積画像特徴
・第２信号系列→蓄積付加情報特徴
・完全信号系列群→完全蓄積画像特徴と対応する蓄積付加情報特徴との集合
・第１完全信号系列→完全蓄積画像特徴
・第２完全信号系列→完全蓄積画像特徴に対応する蓄積付加情報特徴
・第１不完全信号系列→不完全蓄積画像特徴
・第２不完全信号系列→（本発明では存在しない）
・第１圧縮信号系列→蓄積潜在変数
・第２圧縮信号系列→（本発明では存在しない）
【００３１】
以下の説明においては、（１）第１信号系列と第２信号系列が同時共起している場合、（２）第１信号系列が欠損している場合、（３）第２信号系列が欠損している場合の３種類のケースを考慮しているのに対し、本発明では、（Ａ）蓄積画像特徴と蓄積付加情報特徴とが同時共起している場合、（Ｂ）蓄積付加情報特徴のみが欠損している場合の２種類のケースのみを考慮している点に注意されたい。このことから、以下の説明で用いられている変数ＮとＮｙは、本発明では同一となる。
【００３２】
図２において、多次元信号対圧縮装置は、完全信号系列群統計量算出部３１と、不完全信号系列群統計量算出部３２と、統合統計量算出部３３と、信号系列圧縮関数決定部３４と、信号系列圧縮部３５とから構成されている。
【００３３】
多次元信号対圧縮装置は、多次元信号系列の集合である第１信号系列群、及び第１データ群とは異なる多次元信号系列の集合である第２信号系列群を入力し、これら２つの信号系列群をそれぞれ圧縮した信号系列群である第１圧縮信号系列群及び第２圧縮信号系列群を出力する。
【００３４】
完全信号系列群統計量算出部３１は、第１信号系列群の構成要素としての多次元信号系列である第１信号系列、及び第２信号系列群の構成要素としての多次元信号系列である第２信号系列について、第１信号系列と第２信号系列とが対を成す信号系列対の集合である完全信号系列群（第１完全信号系列ＸＣ、第２完全信号系列ＹＣ）を入力し、その完全信号系列群を表現する統計量である完全信号系列群統計量を算出し、この完全信号系列群統計量を出力する。
【００３５】
完全信号系列群統計量の算出方法は、特に限定されるものではないが、ここでは、完全信号系列群統計量として、完全信号系列群の自己共分散行列、及び相互共分散行列を算出する。
【００３６】
第１信号系列群Ｘは、完全信号系列群に含まれる第１信号系列の集合である第１完全信号系列群ＸＣと、完全信号系列群に含まれない第１信号系列の集合である第１不完全信号系列群ＸＩとに分割される。同様に、第２信号系列群Ｙは、完全信号系列群に含まれる第２信号系列の集合である第２完全信号系列群ＹＣと、完全信号系列群に含まれない第２信号系列の集合である第２不完全信号系列群ＹＩとに分割される。併せて、次式（１）、（２）、（３）、（４）、（５）、（６）のように表現される。
【００３７】
【数１】
2010282275.tif 000003
【００３８】
【数２】
2010282275.tif 000004
【００３９】
【数３】
2010282275.tif 000005
【００４０】
【数４】
2010282275.tif 000006
【００４１】
【数５】
2010282275.tif 000007
【００４２】
【数６】
2010282275.tif 000008
【００４３】
ここで、Ｎは、完全信号系列群の要素数、Ｎｘ及びＮｙは、第１及び第２信号系列群の要素数である。また、各要素ｘｉ及びｙｉ（ｉ＝１、２、…、Ｎｘ、ｊ＝１、２、…、Ｎ、Ｎｘ＋１、Ｎｘ＋２、…、Ｎｘ＋Ｎ−Ｎｙ）は、それぞれｄｘ次元及びｄｙ次元の列ベクトルとする。同じ添え字の信号系列は、互いに対応関係にあることを示している。以降の説明において、上記完全信号系列群と不完全信号系列群とを明確に区別して記述する必要がある場合には、次式（７）、（８）、（９）、（１０）に示すように、代替的な表記を用いることもある。
【００４４】
【数７】
2010282275.tif 000009
【００４５】
【数８】
2010282275.tif 000010
【００４６】
【数９】
2010282275.tif 000011
【００４７】
【数１０】
2010282275.tif 000012
【００４８】
また、以降では、説明の簡略化のため、第１信号系列群及び第２信号系列群の平均信号系列は、常に０ベクトルであると仮定する。もしそうでない場合には、予め、次式（１１）、（１２）で表される、それぞれの平均信号系列を求めて、各信号系列からその平均信号系列を引くことで、同様の状況にすることが可能である。
【００４９】
【数１１】
2010282275.tif 000013
【００５０】
【数１２】
2010282275.tif 000014
【００５１】
このとき、完全信号系列群統計量ＳＣとして、各信号系列群の自己共分散行列ＳＣｘｘ、ＳＣｙｙ、及び相互共分散行列ＳＣｘｙを、次式（１３）、（１４）、（１５）で求める。
【００５２】
【数１３】
2010282275.tif 000015
【００５３】
【数１４】
2010282275.tif 000016
【００５４】
【数１５】
2010282275.tif 000017
【００５５】
但し、ｘＴは、（ベクトルもしくは行列の）転置を意味する。
【００５６】
このようにして、完全信号系列群統計量算出部３１は、完全信号系列群統計量ＳＣ＝｛ＳＣｘｘ、ＳＣｙｙ、ＳＣｘｙ｝を抽出して出力する。
【００５７】
次に、不完全信号系列群統計量算出部３２は、不完全信号系列群（第１不完全信号系列群ＸＩ、及び第２不完全信号系列群ＹＩ）を入力し、これら２つの不完全信号系列群を表現する統計量である不完全信号系列群統計量を算出し、この不完全信号系列群統計量を出力する。不完全信号系列群統計量の算出方法は、特に限定されるものではないが、ここでは、第１不完全信号系列群統計量算出部３２１と、第２不完全信号系列群統計量算出部３２２とを用いる方法について説明する。
【００５８】
第１不完全信号系列群統計量算出部３２１は、第１不完全信号系列群ＸＩを入力し、第１不完全信号系列群ＸＩを表現する統計量である第１不完全信号系列群統計量を算出し、該第１不完全信号系列群統計量を出力する。第１不完全信号系列群統計量の算出方法は、特に限定されるものではないが、ここでは、第１不完全信号系列群統計量として、第１不完全信号系列の自己共分散行列を算出する例について説明する。
【００５９】
第１不完全信号系列の自己共分散行列ＳＩｘｘは、次式（１６）で算出される。
【００６０】
【数１６】
2010282275.tif 000018
【００６１】
このように、第１不完全信号系列群統計量算出部３２１は、第１不完全信号系列群統計量ＳＩｘｘを抽出して出力する。
【００６２】
次に、第２不完全信号系列群統計量算出部３２２は、第２不完全信号系列群ＹＩを入力し、第２不完全信号系列群ＹＩを表現する統計量である第２不完全信号系列群統計量を算出し、該第２不完全信号系列群統計量を出力する。第２不完全信号系列群統計量の算出方法は、特に限定されるものではないが、ここでは、第２不完全信号系列群統計量として、第２不完全信号系列の自己共分散行列ＳＩｙｙを算出する。自己共分散行列ＳＩｙｙの算出方法は、第１不完全信号系列群統計量算出部３−２１と同様である。
【００６３】
このように、第２不完全信号系列群統計量算出部３２２は、第２不完全信号系列群統計量ＳＩｙｙを抽出して出力する。
【００６４】
上述したように、不完全信号系列群統計量算出部３２は、第１不完全信号系列群統計量ＳＩｘｘと第２不完全信号系列群統計量ＳＩｙｙとを合わせて、不完全信号系列群統計量ＳＩ＝｛ＳＩｘｘ、ＳＩｙｙ｝として出力する。
【００６５】
次に、統合統計量算出部３３は、完全信号系列群統計量、及び不完全信号系列群統計量を入力し、これらの統計量から、新しい統計量である統合統計量を算出し、該統合統計量を出力する。統合統計量の算出方法は、特に限定されるものではないが、ここでは、自己共分散行列に関する統合統計量と相互共分散行列に関する統合統計量とを算出する方法を用いる。
【００６６】
まず、自己共分散行列に関する統合統計量は、次式（１７）、（１８）、（１９）で算出される。なお、式中の文字下部に＿が付いた文字は、文中において文字の前に＿を記載して示す。つまり、上記統合統計量は、＿Ｃと記載する。
【００６７】
【数１７】
2010282275.tif 000019
【００６８】
【数１８】
2010282275.tif 000020
【００６９】
【数１９】
2010282275.tif 000021
【００７０】
ここで、βは、０≦β≦１を満たすように予め定められた定数であり、０は、零行列である。Ｓｘｘがｄｘ×ｄｘ正方行列、Ｓｙｙがｄｙ×ｄｙ正方行列であることから、自己共分散行列に関する統合統計量＿Ｃは（ｄｘ＋ｄｙ）×（ｄｘ＋ｄｙ）正方行列となる。
【００７１】
一方、相互共分散行列に関する統合統計量は、次式（２０）で算出される。なお、式中の文字上部に￣が付いた文字は、文中において文字の前に￣を記載して示す。つまり、上記統合統計量は、￣Ｃと記載する。
【００７２】
【数２０】
2010282275.tif 000022
【００７３】
但し、Ｉｄは、ｄ×ｄ単位行列である。相互共分散行列に関する統合統計量￣Ｃも、自己共分散行列に関する統合統計量と同様、（ｄｘ＋ｄｙ）×（ｄｘ＋ｄｙ）正方行列となる。
【００７４】
上述した通り、統合統計量算出部３は、自己共分散行列に関する統合統計量＿Ｃと相互共分散行列に関する統合統計量Ｃ￣とを合わせて、統合統計量Ｃ＝｛＿Ｃ、￣Ｃ｝とし、該統合統計量Ｃを出力する。
【００７５】
次に、信号系列圧縮関数決定部３４は、統合統計量Ｃを入力し、第１信号系列及び第２信号系列を圧縮する関数である信号系列圧縮関数を決定し、該信号系列圧縮関数を出力する。信号系列圧縮関数の決定方法は、特に限定されるものではないが、本第１実施形態においては、統合統計量を用いた一般化固有値問題を解くことによって導出する。
【００７６】
まず、以下の一般化固有値問題を考える。
【００７７】
【数２１】
2010282275.tif 000023
【００７８】
ここで、ｗは、（ｄｘ＋ｄｙ）次元のベクトルである。この一般化固有値問題は、定数βをβ＝１としたときの特殊例として完全信号系列群のみを用いた正準相関分析を含み、定数βをβ＝０としたときの特殊例として第１信号系列群と第２信号系列群とが無相関であることを仮定したときの主成分分析を含むことに注意する。
【００７９】
なお、β＝１の場合には、元の一般化固有値問題を直接解かず、代わりに、先頭ｄｘ行分の一般化固有値問題と後方ｄｙ行分の一般化固有値問題とに分解し、いくつかの式変形を行うことによって、ｍｉｎ（ｄｘ、ｄｙ）次元の一般化固有値問題に変形することができ、より効率的に解くことができる。また、第１信号系列群と第２信号系列群とが独立としてしまうと、固有値λまでもが第１信号系列群と第２信号系列群とで異なってしまう。
【００８０】
自己共分散行列に関する統合統計量＿Ｃの部分行列は、次式（２２）、（２３）で表わされる。
【００８１】
【数２２】
2010282275.tif 000024
【００８２】
【数２３】
2010282275.tif 000025
【００８３】
上記統合統計量Ｃ＿の部分行列＿Ｃｘｘ、＿Ｃｙｙが実対称正定値行列であることに着目すると、上記一般化固有値問題は、これら部分行列＿Ｃｘｘ、＿Ｃｙｙのコレスキー分解、次式（２４）、（２５）を用いることで、次式（２６）、（２７）、（２８）で示す固有値問題に変換できる。なお、＿Ｌｘｘ及び＿Ｌｙｙは、下三角行列となり、このことから＿Ｌも下三角行列となる。つまり、数式（２６）の左辺にある行列＿Ｌ−１￣Ｃ（＿ＬＴ）−１は、実対称行列となる。実対称行列の固有値問題は各種解法が知られており、計算も比較的容易である。
【００８４】
【数２４】
2010282275.tif 000026
【００８５】
【数２５】
2010282275.tif 000027
【００８６】
【数２６】
2010282275.tif 000028
【００８７】
【数２７】
2010282275.tif 000029
【００８８】
【数２８】
2010282275.tif 000030
【００８９】
数式（２６）に示す固有値問題を解き、予め定められた数の固有値と固有ベクトルとの組、もしくは固有値の和が予め定められた閾値を上回る最大数の固有値と固有ベクトルとの組を求めることで、信号系列圧縮関数を決定することができる。
【００９０】
具体的には、以下の通りである。まず、数式（２６）に示す実対称行列の固有値問題を解いて得られた固有ベクトルの集合を、次式（２９）とする。
【００９１】
【数２９】
2010282275.tif 000031
【００９２】
このとき、数式（２７）の逆変換を用いて、各固有ベクトルｕｉを、次式（３０）のように変換する。
【００９３】
【数３０】
2010282275.tif 000032
【００９４】
但し、ハット（＾）ｄは、取り出した固有値及び固有ベクトルの数であり、ハット（＾）ｄ≦ｍｉｎ（ｄｘ、ｄｙ）を満たす。変換された各固有ベクトルｗｉは、先頭のｄｘ次元ベクトルｗｘ，ｉと後続のｄｙ次元ベクトルｗｙ，ｉとに分解することができる。そして、この分解された固有ベクトルを用いて、信号系列圧縮関数を特徴付けるｄｘ×ハット（＾）ｄ変換行列Ｔｘ及びｄｙ×ハット（＾）ｄ変換行列を、次式（３１）、（３２）、（３３）、（３４）のように得る。
【００９５】
【数３１】
2010282275.tif 000033
【００９６】
【数３２】
2010282275.tif 000034
【００９７】
【数３３】
2010282275.tif 000035
【００９８】
【数３４】
2010282275.tif 000036
【００９９】
このようにして、信号系列圧縮関数決定部３４は、信号系列圧縮関数を特徴付ける変換行列ＴｘとＴｙを算出し、これらの変換行列を出力する。
【０１００】
次に、信号系列圧縮部３５は、第１信号系列群Ｘ（ＸＣ、ＸＩ）、第２信号系列群Ｙ（ＹＣ、ＹＩ）、及び信号系列圧縮関数を入力し、第１信号系列と第２信号系列のそれぞれを、信号系列圧縮関数を用いて圧縮し、圧縮された系列の集合である第１圧縮信号系列群及び第２圧縮信号系列群を出力する。第１圧縮信号系列群ハット（＾）Ｘ及び第２圧縮信号系列群ハット（＾）Ｙは、次式（３５）、（３６）、（３７）、（３８）に示すように、信号系列圧縮関数を特徴付ける変換行列を用いて、第１信号系列群Ｘ及び第２信号系列群Ｙの各信号系列を圧縮することによって得られる。
【０１０１】
【数３５】
2010282275.tif 000037
【０１０２】
【数３６】
2010282275.tif 000038
【０１０３】
【数３７】
2010282275.tif 000039
【０１０４】
【数３８】
2010282275.tif 000040
【０１０５】
このように、信号系列圧縮部３５は、第１圧縮信号系列群ハット（＾）Ｘ及び第２圧縮信号系列群ハット（＾）Ｙを導出し、これら圧縮信号系列群を出力する。
【０１０６】
なお、以降では、上記ハット（＾）Ｘを、蓄積潜在変数集合Ｚ＝｛ｚ１，ｚ２，…，ｚＮｘ｝として表記する。本発明では、上述した第２圧縮信号系列群ハット（＾）Ｙは用いない。このようにして、蓄積潜在変数抽出部３は、蓄積潜在変数集合Ｚを抽出し、この蓄積潜在変数集合を出力する。
【０１０７】
図１に説明を戻すと、画像・付加情報間関係性学習部４は、完全蓄積画像特徴集合、不完全蓄積画像特徴集合、蓄積付加情報特徴集合、及び蓄積潜在変数集合を入力し、これら集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習し、この画像・付加情報関係モデルを出力する。画像・付加情報関係モデルの学習方法は、特に限定されるものではないが、本第１実施形態においては、潜在変数モデル学習部４１と、画像・潜在変数関係モデル学習部４２と、付加情報・潜在変数関係モデル学習部４３とを用いる方法について説明する。
【０１０８】
潜在変数モデル学習部４１は、蓄積潜在変数集合を入力し、この蓄積潜在変数の構造を記述するモデルである潜在変数モデルを学習し、この潜在変数モデルを出力する。潜在変数モデルの学習方法は、特に限定されるものではないが、本第１実施形態では、以下の２つの実施例について説明する。いずれの実施例も、潜在変数モデルとして、潜在変数Ｚの生起確率ｐ（ｚ）を採用する。
【０１０９】
［第１の実施例］
蓄積潜在変数集合Ｚを用いた以下の多点近似の数式（３）によって、潜在変数モデルｐ（ｚ）を決定する。
【０１１０】
【数３９】
2010282275.tif 000041
【０１１１】
ここで、δａ，ｂは、クロネッカーのデルタである。
【０１１２】
［第２の実施例］
正準相関分析の確率的な構造を考慮し、潜在変数モデルｐ（ｚ）を、次式（４０）で示すように設定する。
【０１１３】
【数４０】
2010282275.tif 000042
【０１１４】
このようにして、潜在変数モデル学習部４１は、潜在変数モデルｐ（ｚ）を抽出して出力する。
【０１１５】
次に、画像・潜在変数関係モデル学習部４２は、蓄積画像特徴集合、及び蓄積潜在変数集合を入力し、これらの集合を用いて画像と潜在変数との関係性を記述するモデルである画像・潜在変数関係モデルを学習し、この画像・潜在変数関係モデルを出力する。画像・潜在変数関係モデルの学習方法は、特に限定されるものではないが、本第１実施形態では、以下の２つの実施例について述べる。いずれも、画像・潜在変数関係モデルとして、潜在変数ｚが与えられたときの画像特徴ｘの条件付生起確率ｐ（ｘ｜ｚ）を採用する。
【０１１６】
［第１の実施例］
蓄積潜在変数集合の各要素ｚｎについて、画像・潜在変数関係モデルｐ（ｘ｜ｚｎ）を以下の数式（４１）で示すように決定する。なお、式中の文字上部に〜が付いた文字は、文中において文字の前に〜を記載して示す。
【０１１７】
【数４１】
2010282275.tif 000043
【０１１８】
但し、〜ｚは、蓄積画像特徴ｘを図２に示す信号系列圧縮部３５を用いて変換した蓄積潜在変数であり、βは、予め定められた定数である。
【０１１９】
［第２の実施例］
正準相関分析の確率的な構造を考慮し、画像・潜在変数関係モデルｐ（ｘ｜ｚ）を以下の数式（４２）で示すように決定する。
【０１２０】
【数４２】
2010282275.tif 000044
【０１２１】
但し、ＳＣｘｘは、完全蓄積画像特徴と対応する蓄積付加情報特徴との集合、完全蓄積画像特徴、完全蓄積画像特徴に対応する蓄積付加情報特徴、及びその各要素の生起確率から、以下の数式（４３）によって算出する。
【０１２２】
【数４３】
2010282275.tif 000045
【０１２３】
このようにして、画像・潜在変数関係モデル学習部４２は、画像・潜在変数関係モデルを抽出し、これを出力する。
【０１２４】
付加情報・潜在変数関係モデル学習部４３は、蓄積付加情報特徴集合、及び蓄積潜在変数集合を入力し、これら集合を用いて付加情報と潜在変数との関係性を記述するモデルである付加情報・潜在変数関係モデルを学習し、この付加情報・潜在変数関係モデルを出力する。
【０１２５】
付加情報・潜在変数関係モデルの学習方法は、特に限定されるものではないが、本第１実施形態では、以下の２つの実施例について述べる。いずれも、付加情報・潜在変数関係モデルとして、潜在変数ｚが与えられたときの付加情報特徴ｙの条件付生起確率ｐ（ｙ｜ｚ）を採用する。
【０１２６】
［第１の実施例］
蓄積潜在変数集合の各要素ｚｎについて、付加情報・潜在変数関係モデルｐ（ｙ｜ｚｎ）を以下の数式（４４）、（４５）、（４６）、（４７）で示すように決定する。
【０１２７】
【数４４】
2010282275.tif 000046
【０１２８】
【数４５】
2010282275.tif 000047
【０１２９】
【数４６】
2010282275.tif 000048
【０１３０】
【数４７】
2010282275.tif 000049
【０１３１】
ここで、μは０≦μ≦１を満たす定数であり、ｙｎ，ｉは、蓄積付加情報特徴ｙｎの第ｉ要素である。すなわち、上記の関係式は、まず、各言語ラベルが独立に生起することを仮定し（第１の関係式）、各言語ラベルの生起確率を、各サンプルｎでの言語ラベルの経験分布（第２の関係式のδｙｉ，ｙｎ，ｉに相当）と全サンプルでの言語ラベルの経験分布（第２の関係式のＭｉ／Ｍに相当）とを混合比μで混合して生成することを意味する。
【０１３２】
［第２の実施例］
正準相関分析の確率的な構造を考慮し、付加情報・潜在変数関係モデルｐ（ｙ｜ｚ）を以下の数式（４８）に示すように決定する。
【０１３３】
【数４８】
2010282275.tif 000050
【０１３４】
但し、ＳＣｙｙは、完全蓄積画像特徴と対応する蓄積付加情報特徴との集合、完全蓄積画像特徴、完全蓄積画像特徴に対応する蓄積付加情報特徴、及びその各要素の生起確率から、以下の数式（４９）によって算出する。
【０１３５】
【数４９】
2010282275.tif 000051
【０１３６】
このようにして、付加情報・潜在変数関係モデル学習部４３は、付加情報・潜在変数関係モデルを抽出し、これを出力する。
【０１３７】
上述したように、画像・付加情報間関係性学習部４は、潜在変数モデル、画像・潜在変数関係モデル、及び付加情報・潜在変数関係モデルを合わせて、画像・付加情報関係モデルとし、この画像・付加情報関係モデルを出力する。
【０１３８】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図３は、本第２実施形態による半教師画像検索装置の構成を示すブロック図である。図において、本第２実施形態による半教師画像検索装置は、蓄積画像特徴抽出部１と、蓄積付加情報特徴抽出部２と、蓄積潜在変数抽出部３と、画像・付加情報間関係性学習部４と、入力付加情報特徴抽出部５と、画像検索部６とから構成される。なお、蓄積画像特徴抽出部１、蓄積付加情報特徴抽出部２、蓄積潜在変数抽出部３、画像・付加情報間関係性学習部４は、図１に示す第１実施形態と同様のため、説明を省略する。
【０１３９】
該半教師画像検索装置は、完全蓄積画像集合と不完全蓄積画像集合を合わせた画像集合である蓄積画像集合、蓄積付加情報集合、及び別途与えられた付加情報である入力付加情報を入力し、これら集合から画像・付加情報関係モデルを抽出し、このモデルを用いて入力付加情報に関連する画像である付加情報関連画像を蓄積画像集合の中から選択して、この付加情報関連画像の集合である付加情報関連画像集合を出力する。
【０１４０】
入力付加情報特徴抽出部５は、入力付加情報を入力し、この入力付加情報の特性を表現するベクトルである入力付加情報特徴を抽出し、この入力付加情報特徴を出力する。入力付加情報特徴の抽出方法は、蓄積付加情報特徴抽出部２と同様である。
【０１４１】
画像検索部６は、入力付加情報特徴、蓄積画像集合、及び画像・付加情報関係モデル（潜在変数モデル、画像・潜在変数関係モデル、及び付加情報・潜在変数関係モデル）を入力し、入力付加情報特徴を画像・付加情報関係モデルに与えることで、蓄積画像集合から類似性の高い画像である付加情報関連画像を選択し、この付加情報関連画像の集合である付加情報関連画像集合を出力する（非特許文献１において、事後確率推定で、ｐｏｓｔｅｒｉｏｒの大きいｋ個の画像を提示、もしくは閾値を超えた画像を提示することに相当）。
【０１４２】
付加情報関連画像の選択方法は特に限定されるものではないが、本第２実施形態においては、以下の方法について述べる。
【０１４３】
まず、入力付加情報特徴ｙｇｉｖｅｎが与えられたときの画像特徴ｘの事後確率を、次式（５０）で設定する。
【０１４４】
【数５０】
2010282275.tif 000052
【０１４５】
画像・付加情報間関係性学習部４において、蓄積潜在変数集合の各要素ｚｎについて画像・付加情報関係モデルを生成している場合には、上記事後確率は、次式（５１）のように書き直すことができる。
【０１４６】
【数５１】
2010282275.tif 000053
【０１４７】
この事後確率を蓄積画像特徴集合の各要素について計算し、事後確率の大きいある一定数の画像、もしくは事後確率が閾値を超えた画像を選択し、これら画像の集合を付加情報関連画像集合とする。
【０１４８】
このようにして、画像検索部６は、付加情報関連画像集合を選択し、この付加情報関連画像集合を出力する。
【０１４９】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
図４は、本第３実施形態による半教師画像認識装置の構成を示すブロック図である。図において、本第３実施形態による半教師画像認識装置は、蓄積画像特徴抽出部１と、蓄積付加情報特徴抽出部２と、蓄積潜在変数抽出部３と、画像・付加情報間関係性学習部４と、入力画像特徴抽出部７と、画像認識部８とから構成される。なお、蓄積画像特徴抽出部１、蓄積付加情報特徴抽出部２、蓄積潜在変数抽出部３、画像・付加情報間関係性学習部４は、図１に示す第１実施形態と同様のため、説明を省略する。
【０１５０】
該半教師画像認識装置は、蓄積画像集合、蓄積付加情報集合、及び別途与えられた画像である入力画像を入力し、これら集合から画像・付加情報関係モデルを抽出し、このモデルを用いて入力画像に関連する付加情報である画像関連付加情報を抽出して、この画像関連付加情報を出力する。
【０１５１】
入力画像特徴抽出部７は、入力画像を入力し、この入力画像の特性を表現するベクトルである入力画像特徴を抽出し、この入力画像特徴を出力する。入力画像特徴の抽出方法は、蓄積画像特徴抽出部１と同様である。
【０１５２】
画像認識部８は、入力画像特徴、及び画像・付加情報関係モデルを入力し、入力画像特徴を画像・付加情報関係モデルに与えることで、入力画像との類似性の高い画像である画像関連付加情報を抽出し、この画像関連付加情報を出力する。画像関連付加情報の選択方法は、特に限定されるものではないが、本第３実施形態においては、以下の方法について述べる。
【０１５３】
まず、入力画像特徴ｘｇｉｖｅｎが与えられたときの付加情報特徴ｙの事後確率を、次式（５２）で設定する。
【０１５４】
【数５２】
2010282275.tif 000054
【０１５５】
画像・付加情報間関係性学習部４において、蓄積潜在変数集合の各要素ｚｎについて画像・付加情報関係モデルを生成している場合には、上記の事後確率は、次式（５３）のように書き直すことができる。
【０１５６】
【数５３】
2010282275.tif 000055
【０１５７】
次に、次式（５４）に従って、この事後確率が最大となる付加情報特徴〜ｙを算出する。
【０１５８】
【数５４】
2010282275.tif 000056
【０１５９】
上記事後確率最大となる付加情報特徴〜ｙは、一般に２値ベクトルとはならないことに注意する。この事後確率最大の付加情報特徴〜ｙの各要素のうち、値の大きいある一定数の要素、もしくは値が閾値を超えた要素を選択し、それぞれの要素に対応する言語ラベルを集めて画像関連付加情報とする。
【０１６０】
このようにして、画像認識部８は、画像関連付加情報を選択し、この画像関連付加情報を出力する。
【０１６１】
上述した第１から第３実施形態によれば、蓄積潜在変数抽出部３により、言語情報が関連付けられた画像と言語情報が関連付けられていない画像の双方からの、画像と言語情報の関係性を記述するための潜在変数の抽出することにより、言語情報が関連付けられた画像が少量しか利用できない場合においても、画像と言語情報の関係性を精度良く学習することができる。
【０１６２】
すなわち、言語情報が関連付けられている画像を大量に収集することは困難である一方、言語情報が関連付けられていなくても良い場合には、画像そのものを収集することは非常に容易で大量に収集することが可能である。これら、言語情報が関連付けられていない画像を、画像と言語情報との関係性を学習する際に、同時に利用することにより、少数しかない言語情報が関連付けられた画像のみを利用する場合に比べて、高い精度で画像と言語情報の関係性を学習することができる。
【０１６３】
なお、上述した第１から第３実施形態において、蓄積画像特徴抽出部１、蓄積付加情報特徴抽出部２、蓄積潜在変数抽出部３、画像・付加情報間関係性学習部４、入力付加情報特徴抽出部５、画像検索部６、入力画像特徴抽出部７、及び画像認識部８の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、符号化処理、及び復号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１６４】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１６５】
１  蓄積画像特徴抽出部
２  蓄積付加情報特徴抽出部
３  蓄積潜在変数抽出部
３１  完全信号系列群統計量算出部
３２  不完全信号系列群統計量算出部
３２１  第１不完全信号系列群統計量算出部
３２２  第２不完全信号系列群統計量算出部
３３  統合統計量算出部
３４  信号系列圧縮関数決定部
３５  信号系列圧縮部
４  画像・付加情報間関係性学習部
４１  潜在変数モデル学習部
４２  画像・潜在変数関係モデル学習部
４３  付加情報・潜在変数関係モデル学習部
５  入力付加情報特徴抽出部
６  画像検索部
７  入力画像特徴抽出部
８  画像認識部
【図１】
2010282275.tif 000057
【図２】
2010282275.tif 000058
【図３】
2010282275.tif 000059
【図４】
2010282275.tif 000060