(57)【要約】【課題】  画像の類似性や画像から受ける印象に基づいて分類された画像群に対する判別分析であって、人の知覚作用をより正確に反映させた精度の高い判別分析を行う。【解決手段】  類似画像群から、当該類似画像群への分類の際に分類者が着目した構図に相当する構図領域を抽出し、当該構図領域から抽出される特徴量ベクトルの各類似画像群における分散の程度から上記分類の際に当該構図領域がどの程度重視されたかについての指標として注目度を導出する第１の特徴点と、各構図領域毎に、その構図領域の各帰属特徴量ベクトルが帰属するクラスとその構図領域に対応する第１対応領域の各非帰属特徴量ベクトルが帰属するクラスとを識別する識別関数を導出する第２の特徴点と、対象画像の対象特徴量ベクトルが第１のクラスに識別された場合に、その対象特徴量ベクトルに対応する構図領域の注目度に基づいて判別を行う第３の特徴点を有する。【選択図】  図１
2006221607.tif 000002
【特許請求の範囲】
【請求項１】
所与の基準に基づいて分類された複数の画像群のいずれかの画像群に対象画像を判別するための方法であって、
前記複数の画像群のうちの一の画像群に含まれる画像である帰属画像のそれぞれを所定数の基本領域に分割し、当該基本領域から特徴量ベクトルを抽出する第１のステップと、
前記一の画像群について、特徴量ベクトルの分布が近似する基本領域を統合することにより構図領域を特定する第２のステップと、
各帰属画像の各構図領域から、帰属特徴量ベクトルとして、特徴量ベクトルを抽出する第３のステップと、
各構図領域について、帰属特徴量ベクトルの前記一の画像群における分散度に対して逆相関の関係にある指数である注目度を導出する第４のステップと、
前記一の画像群以外の画像群に属する画像である非帰属画像のそれぞれを構図領域と同一の領域である第１対応領域に分割し、非帰属特徴量ベクトルとして、各非帰属画像の各第１対応領域から特徴量ベクトルを抽出する第５のステップと、
各構図領域について、構図領域から抽出された各帰属特徴量ベクトルが帰属する第１のクラスと、当該構図領域に対応する第１対応領域から抽出された各非帰属特徴量ベクトルが帰属する第２のクラスとを識別するＳＶＭに基づく第１の識別関数を導出する第６のステップと、
対象画像を構図領域と同一の領域である第２対応領域に分割し、対象特徴量ベクトルとして、各第２対応領域から特徴量ベクトルを抽出する第７のステップと、
各第２対応領域から抽出された対象特徴量ベクトルを、対応する構図領域について導出された第１の識別関数に適用することにより、対象特徴量ベクトルの識別を行う第８のステップと、
前記第８のステップにおいて第１のクラスに識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度に基づいて対象画像を前記一の画像群に判別するか否かを決定する判別決定ステップとを有することを特徴とする方法。
【請求項２】
各構図領域について、構図領域から抽出された各帰属画像の帰属特徴量ベクトルを、非線形な写像であって、当該写像による写像先での内積が元の空間におけるガウシアンカーネル関数の値と一致する当該写像により写像することにより得られる写像ベクトルを、原点側の写像ベクトルであって、予め定められた割合νの写像ベクトルと、それ以外の写像ベクトルとに識別する１クラスＳＶＭに基づく第２の識別関数を導出する第９のステップと、
各第２対応領域から抽出される対象特徴量ベクトルを前記写像により写像することにより得られる写像ベクトルである対象写像ベクトルに、対応する構図領域について導出された第２の識別関数を適用することにより、各対象写像ベクトルが原点側に識別されるか否かを判定する第１０のステップとを更に備え、
前記判別決定ステップにおいて、
前記第８のステップにおいて第１のクラスに識別された対象特徴量ベクトルであって、かつ、前記第１０のステップにおいて原点側に識別されなかった対象写像ベクトルについての対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域の注目度に基づいて対象画像の前記一の画像群への判別を行うことを特徴とする請求項１に記載の方法。
【請求項３】
前記判別決定ステップにおいて、
前記第８のステップにおいて第１のクラスに識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度を積算した値である確信値、又は、
前記第８のステップにおいて第１のクラスに識別された対象特徴量ベクトルであって、かつ、前記第１０のステップにおいて原点側に識別されないと判定された対象写像ベクトルについての対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度を積算した値である確信値が、予め定められた閾値を越えている場合に対象画像を前記一の画像群に判別することを特徴とする請求項１又は２に記載の方法。
【請求項４】
各帰属画像、各非帰属画像及び対象画像のそれぞれから複数種類の解像度の画像を生成し、
各解像度の各帰属画像、各非帰属画像及び対象画像について、前記第１〜第８のステップ、又は、前記第１〜第１０のステップを実行し、
前記判別決定ステップにおいて、各解像度について導出された前記確信値が、予め定められた閾値を越えている場合に対象画像を前記一の画像群に判別することを特徴とする請求項３に記載の方法。
【請求項５】
前記第６のステップにおいて、
非線形な第２の写像であって、当該第２の写像による写像先での内積が元の空間におけるカーネル関数の値と一致する当該第２の写像による各帰属特徴量ベクトル及び各非帰属特徴量ベクトルの写像が実行され、
各構図領域についての第１の識別関数は、構図領域から抽出された各帰属特徴量ベクトルを前記第２の写像により写像したベクトルが帰属する第１のクラスと、当該構図領域に対応する第１対応領域から抽出された各非帰属特徴量ベクトルを前記第２の写像により写像したベクトルが帰属する第２のクラスとを識別する関数として導出され、
前記第８のステップにおける識別は、前記第２の写像により対象特徴量ベクトルを写像したベクトルを第１の識別関数に適用することにより行われることを特徴とする請求項１〜４のいずれか一項に記載の方法。
【請求項６】
解像度ρの構図領域Ｐｋにおける特徴量ベクトルの共分散行列をΣｋ，ρとして、
【数１】
2006221607.tif 000027
ただし、
【数２】
2006221607.tif 000028
により前記注目度ｚｋ，ρを導出することを特徴とする請求項１〜５のいずれか一項に記載の判別方法。
【請求項７】
前記第２のステップにおいて、特徴量ベクトルの分布の近似性をＭＤＬ基準に基づいて判断することを特徴とする請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記第２のステップにおいて、各基本領域から抽出される特徴量ベクトルの、比較対象の画像群、又は、比較対象の画像群の各解像度における重心ベクトルを導出し、当該重心ベクトル間のマハラノビスの汎距離が最小となる２つの基本領域を統合の対象として、ＭＤＬ基準に基づく判定を行うことを特徴とする請求項７に記載の方法。
【請求項９】
各基本領域から抽出される特徴量ベクトルを主成分分析により次元圧縮し、次元圧縮された低次元特徴量ベクトルを用いて前記重心ベクトルの導出を行うことを特徴とする請求項８に記載の方法。
【請求項１０】
互いに類似する画像群を統合することによって、元の画像群数より少ない複数の大グループを形成する第１１のステップと、
前記複数の大グループのいずれかの大グループに対象画像を判別する第１２のステップと、
前記第１２のステップにおいて対象画像が判別された大グループに属する画像群である大グループ内画像群が複数である場合には、そのいずれかの大グループ内画像群に対象画像を判別する第１３のステップとを有し、
前記第１２のステップが、前記複数の大グループを前記複数の画像群として前記第１〜第８のステップ及び前記判別決定ステップを実行するものであり、
前記第１３のステップが、前記複数の大グループ内画像群を前記複数の画像群として前記第１〜第８のステップ及び前記判別決定ステップを実行するものであることを特徴とする請求項１〜９に記載の方法。
【請求項１１】
前記第１１のステップにおける画像群の統合が、ＭＤＬ基準に基づいて実行されることを特徴とする請求項１０に記載の方法。
【請求項１２】
所与の基準に基づいて分類された複数の画像群のいずれかの画像群に対象画像を判別するためのプログラムであって、
コンピュータに、
前記複数の画像群のうちの一の画像群に含まれる画像である帰属画像のそれぞれを所定数の基本領域に分割し、当該基本領域から特徴量ベクトルを抽出する第１のステップと、
前記一の画像群について、特徴量ベクトルの分布が近似する基本領域を統合することにより構図領域を特定する第２のステップと、
各帰属画像の各構図領域から、帰属特徴量ベクトルとして、特徴量ベクトルを抽出する第３のステップと、
各構図領域について、帰属特徴量ベクトルの前記一の画像群における分散度に対して逆相関の関係にある指数である注目度を導出する第４のステップと、
前記一の画像群以外の画像群に属する画像である非帰属画像のそれぞれを構図領域と同一の領域である第１対応領域に分割し、非帰属特徴量ベクトルとして、各非帰属画像の各第１対応領域から特徴量ベクトルを抽出する第５のステップと、
各構図領域について、構図領域から抽出された各帰属特徴量ベクトルが帰属する第１のクラスと、当該構図領域に対応する第１対応領域から抽出された各非帰属特徴量ベクトルが帰属する第２のクラスとを識別するＳＶＭに基づく第１の識別関数を導出する第６のステップと、
対象画像を構図領域と同一の領域である第２対応領域に分割し、対象特徴量ベクトルとして、各第２対応領域から特徴量ベクトルを抽出する第７のステップと、
各第２対応領域から抽出された対象特徴量ベクトルを、対応する構図領域について導出された第１の識別関数に適用することにより、対象特徴量ベクトルの識別を行う第８のステップと、
前記第８のステップにおいて第１のクラスに識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度に基づいて対象画像を前記一の画像群に判別するか否かを決定する判別決定ステップとを実行させることを特徴とするプログラム。
【請求項１３】
所与の基準に基づいて分類された複数の画像群のいずれかの画像群に対象画像を判別するための装置であって、
前記複数の画像群のうちの一の画像群に含まれる画像である帰属画像のそれぞれを所定数の基本領域に分割し、当該基本領域から特徴量ベクトルを抽出する第１特徴量ベクトル抽出手段と、
前記一の画像群について、前記第１特徴量ベクトル抽出手段により抽出された特徴量ベクトルの分布が近似する基本領域を統合することにより構図領域を特定する構図領域特定手段と、
各帰属画像の各構図領域から、帰属特徴量ベクトルとして、特徴量ベクトルを抽出する第２特徴量ベクトル抽出手段と、
各構図領域について、帰属特徴量ベクトルの前記一の画像群における分散度に対して逆相関の関係にある指数として、注目度を導出する注目度導出手段と、
前記一の画像群以外の画像群に属する画像である非帰属画像のそれぞれを構図領域と同一の領域である第１対応領域に分割し、非帰属特徴量ベクトルとして、各非帰属画像の各第１対応領域から特徴量ベクトルを抽出する第３特徴量ベクトル抽出手段と、
各構図領域について、構図領域から抽出された各帰属特徴量ベクトルが帰属する第１のクラスと、当該構図領域に対応する第１対応領域から抽出された各非帰属特徴量ベクトルが帰属する第２のクラスとを識別するＳＶＭに基づく第１の識別関数を導出する第１識別関数導出手段と、
対象画像を構図領域と同一の領域である第２対応領域に分割し、対象特徴量ベクトルとして、各第２対応領域から特徴量ベクトルを抽出する第４特徴量ベクトル抽出手段と、
各第２対応領域から抽出された対象特徴量ベクトルを、対応する構図領域について導出された第１の識別関数に適用することにより、対象特徴量ベクトルの識別を行う第１クラス識別手段と、
前記第１クラス識別手段により第１のクラスに識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度に基づいて対象画像を前記一の画像群に判別するか否かを決定する判別決定手段とを有することを特徴とする装置。
【請求項１４】
所与の基準に基づいて分類された複数の画像群のいずれかの画像群に対象画像を判別するための方法であって、
互いに類似する画像群を統合することにより、元の画像群数よりも少ない複数の大グループを形成する第１のステップと、
前記複数の大グループのいずれかの大グループに対象画像を判別する第２のステップと、
前記第２のステップにおいて対象画像が判別された大グループに属する画像群である大グループ内画像群が複数である場合には、そのいずれかの大グループ内画像群に対象画像を判別する第３のステップとを有することを特徴とする方法。
【請求項１５】
前記第１のステップにおける画像群の統合が、ＭＤＬ基準に基づいて実行されることを特徴とする、請求項１４に記載の方法。
【請求項１６】
前記第２、第３のステップにおける判別が、ＳＶＭモデルに基づく２クラス分類方法により行われることを特徴とする請求項１４又は１５に記載の方法。
【請求項１７】
所与の基準に基づいて分類された複数の画像群のいずれかの画像群に対象画像を判別するためのプログラムであって、コンピュータに、
互いに類似する画像群を統合することにより、元の画像群数よりも少ない複数の大グループを形成する第１のステップと、
前記複数の大グループのいずれかの大グループに対象画像を判別する第２のステップと、
前記第２のステップにおいて対象画像が判別された大グループに属する画像群である大グループ内画像群が複数である場合には、そのいずれかの大グループ内画像群に対象画像を判別する第３のステップとを実行させることを特徴とするプログラム。
【請求項１８】
所与の基準に基づいて分類された複数の画像群のいずれかの画像群に対象画像を判別するための装置であって、
互いに類似する画像群を統合することにより、元の画像群数よりも少ない複数の大グループを形成する大グループ形成手段と、
前記複数の大グループのいずれかの大グループに対象画像を判別する大グループ判別手段と、
前記大グループ判別手段により対象画像が判別された大グループに属する画像群である大グループ内画像群が複数である場合には、そのいずれかの大グループ内画像群に対象画像を判別する大グループ内画像群判別手段とを有することを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所与の基準に基づいて分類された複数の画像群からなる画像データベースから提示された画像が属する画像群を判別するための方法、プログラム及び装置に関する。
【背景技術】
【０００２】
ここ数年のブロードバンド・ネットワークの急速な普及に伴い、ネットワーク上における画像データベースから、個人が趣味で製作した画像コンテンツや広告などに用いられる商業用の画像コンテンツなど、種々の画像コンテンツにアクセスすることが可能となってきた。
【０００３】
そのため、大量の画像コンテンツを含む画像データベースから顧客が望む画像を正確かつ迅速に検索できるシステムが必要となるが、多くの画像データベースでは、このような目的を達成するために、画像データベースに含まれる画像を画像の類似性や画像から受ける印象などの観点から複数のカテゴリ（複数の画像群）に分類し、顧客により指定されたカテゴリ（画像群）に属する画像を提示することが可能とされている。
【０００４】
しかし、画像のカテゴリへの分類作業の負荷は画像データベースに含まれる画像数に比例して増大するために、画像データベースの大きさによってはこのような作業を人手によって行うことが実質的に不可能な場合がある。
【０００５】
また画像データベースによっては、「ナチュラルな印象」、「フレッシュな印象」など、画像から受けるイメージによって画像の分類がなされる場合があるが、このような分類は、分類者の感性に依存する部分が大きいために、分類の統一性を維持するためには、分類者を任意には変更できない制約が生じることになり、それ故に画像データの分類作業が一層困難となる。
【０００６】
このような問題を解決するため、画像のカテゴリ分類の作業をコンピュータ上で実行することを可能とするための種々の試みが行われている。
【０００７】
例えば、特許文献１（特開２００３−２５６４２９号公報）では、ある程度の数の画像を画像の類似性や画像から受ける印象など何らかの基準に基づいて複数の画像群に分類し、この分類された画像群を教師データとして用いて分類が行われた基準をコンピュータに学習させ、この基準に従って、提示された画像（判別対象の画像／対象画像）がどの画像群に属するべきかをコンピュータ上で自動的に判別分析（提示された画像がどの画像群に帰属するかの判断）するための手法が提案されている。
【０００８】
また、本発明者らは、上記特許文献１に記載される手法を更に前進させ、各画像群に属する画像を分割した基本領域から抽出される特徴量ベクトルの分布が近似する基本領域を統合することにより、分類者が分類に際して着目したと考えられる領域を注目領域として特定するとともに、当該注目領域から抽出される特徴量ベクトルの各画像群に属する画像間での分散の程度から上記分類の際に当該注目領域がどの程度重視されたかについての指標として注目度を導出し、各注目領域についての各カテゴリに属する画像群と対象画像との類似性を示す指標（領域間距離）を注目度に応じた重み付けを加えて積算した値に基づいて対象画像の各カテゴリへの帰属を判別することで、分類者の知覚作用をより正確に反映させたより精度の高い判別分析を行いうる手法を提案している（特願２００４−５６２９０号）。
【特許文献１】特開２００３−２５６４２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、何らかの基準に基づいて分類された複数の画像群を教師データとし、当該教師データを用いて当該教師データの分類に用いられた基準をコンピュータに学習させ、この基準に従って、提示された画像の判別分析をコンピュータ上で自動的に実行するための新たな方法、プログラム乃至装置を提供することをその目的とする。
【００１０】
また本発明は、コンピュータ上での画像の判別分析を行うための方法、プログラム乃至装置であって、特願２００４−５６２９０号に記載される手法と同等乃至それ以上に精度の高い判別分析を行いうる方法、プログラム乃至装置を提供することをその目的とする。
【００１１】
また本発明は、「ナチュラルな印象」、「フレッシュな印象」など、画像から受ける印象（イメージ）により分類された複数の画像群からなる画像データベースに特に好適に適用することができる判別分析の方法、プログラム乃至装置を提供することをその課題とする。
【課題を解決するための手段】
【００１２】
本発明は、上記課題を解決したものであり、所与の基準に基づいて分類された複数の画像群のいずれかの画像群に対象画像を判別するための方法又は装置であって、一の画像群に含まれる画像である帰属画像のそれぞれを所定数の基本領域に分割し、当該基本領域から特徴量ベクトルを抽出する第１のステップ又は手段と、前記一の画像群について、特徴量ベクトルの分布が近似する基本領域を統合することにより構図領域を特定する第２のステップ又は手段と、各帰属画像の各構図領域から、帰属特徴量ベクトルとして、特徴量ベクトルを抽出する第３のステップ又は手段と、各構図領域について、帰属特徴量ベクトルの前記一の画像群における分散度に対して逆相関の関係にある指数である注目度を導出する第４のステップ又は手段と、画像データベースに含まれる画像のうちの前記一の画像群に属する画像以外の画像である非帰属画像のそれぞれを構図領域と同一の領域である第１対応領域に分割し、非帰属特徴量ベクトルとして、各非帰属画像の各第１対応領域から特徴量ベクトルを抽出する第５のステップ又は手段と、各構図領域について、構図領域から抽出された各帰属特徴量ベクトルが帰属する第１のクラスと、当該構図領域に対応する第１対応領域から抽出された各非帰属特徴量ベクトルが帰属する第２のクラスとを識別するＳＶＭに基づく第１の識別関数を導出する第６のステップ又は手段と、対象画像を構図領域と同一の領域である第２対応領域に分割し、対象特徴量ベクトルとして、各第２対応領域から特徴量ベクトルを抽出する第７のステップ又は手段と、各第２対応領域から抽出された対象特徴量ベクトルを、対応する構図領域について導出された第１の識別関数に適用することにより、対象特徴量ベクトルの識別を行う第８のステップ又は手段と、前記第８のステップ又は手段において第１のクラスに識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度に基づいて対象画像を前記一の画像群に判別するか否かを決定するステップ又は手段とを有することを特徴とする方法又は装置、或いは、上記各ステップをコンピュータに実行させることを特徴とするプログラムである。
【００１３】
図１は、本発明の構成の概略を概念的に示す説明図であり、本発明は、図１に示されるように、以下の３つの特徴点を有している。
【００１４】
即ち、一の画像群（比較対象の画像群／図では画像群Ａと表示されている）に分類された各画像（Ｃｉ（ｉ＝１，２，・・・ＮＡ））を所定数の基本領域に分割し（図では縦横５×５の２５個の基本領域に分割した例が示されている）、この基本領域を所定の基準に基づいて統合することで、画像群の分類に際して着目されたであろう構図を構図領域Ｐｋ（図では、２つの構図領域Ｐ１、Ｐ２が特定された例が示されている）として抽出するとともに、分類の際に各構図領域がどの程度重視されたかについての指標として注目度ｚｋを導出する第１の特徴点、
この構図領域Ｐｋ毎に、ＳＶＭに基づく第１の識別関数ｆｋ（ｘ）を導出するとともに、対象画像ＣＯ（提示された画像）を構図領域Ｐｋと同一の領域（第２対応領域ＰＯｋ）に分割し、各第２対応領域ＰＯｋから抽出される特徴量ベクトル（対象特徴量ベクトルｘＯｋ）を、対応する構図領域Ｐｋから導出された第１の識別関数ｆｋ（ｘ）に適用する（代入する）ことにより、対象特徴量ベクトルｘＯのクラスの識別を行う第２の特徴点、及び、
第１のクラスに識別された第２対応領域ＰＯｋに対応する構図領域Ｐｋの注目度ｚｋに基づいて対象画像の判別を行う第３の特徴点、
の３つの特徴点である。
【００１５】
そして本発明では、上記第１、第３の特徴点を有するが故に、特願２００４−５６２９０号に記載される手法と同様に、分類の際における分類者の知覚作用をより正確に反映させた精度の高い判別分析が可能となるという作用効果が達成される。
【００１６】
更に、本発明では、上記第２の特徴点を有するが故に、一の画像群に対する対象画像の判別分析を、当該一の画像群から特定される構図領域に基づいて行うことが可能となり、従って、特願２００４−５６２９０号に記載される手法に比して更に精度が高い判別分析が可能となるという作用効果が達成され、また、特定の構図領域を一の画像群に判別し、他の構図領域を他の画像群に判別するなど、構図領域毎の判別（構図領域毎の意味づけ）を行うことが可能となるという作用効果が達成される。
【００１７】
ここで、本発明は、所与の基準に基づいて分類された複数の画像群からなる画像データベースに対して対象画像の判別分析を行うものであるが、ここに言う所与の基準としては、画像の類似性に基づく基準や、画像から受ける印象に基づく基準を挙げることができる。
【００１８】
そして、所与の基準として、画像の類似性に基づく基準が用いられる場合には、与えられた複数の画像を、任意の分類者の個人的な感覚（類似度判断基準）に基づいて、類似するもの毎に画像群に分類して画像データベースを構築することが可能であり、この場合は、本発明により、当該分類者の個人的な類似度判断基準を反映させた判別分析が計算機上で実行されることになる。
【００１９】
また、商標や意匠の類似判断のように、統一的な指針により客観化された類似度判断基準が所与の基準として用いられる場合には、例えば、当該所与の基準に従って過去に類似すると判断された複数の画像群から画像データベースを構築することが可能であり、この場合は、本発明により、与えられた統一的な指針を反映させた判別分析が計算機上で実行されることになる。
【００２０】
また、本発明では、「ナチュラルな印象」、「フレッシュな印象」など、画像から分類者（鑑賞者）が受ける印象を所与の基準として用い、各画像から分類者が受ける印象の種類毎に分類された画像群（印象グループ）から画像データベースを構築することも可能であり、この場合には、画像が分類者に与えるであろう印象を反映させた判別分析が計算機上で実行されることになる。
【００２１】
この場合、例えば、単一の画像から分類者が複数の印象を受けること（例えば、単一の画像から「ナチュラルな印象」を受けるとともに、「フレッシュな印象」も受けるような場合）は通常生じうることであるため、ここでの画像データベースでは、単一の画像を複数の画像群（印象グループ）に重複して分類することを許容することが便宜であると考えられるが、本発明では、上記第２の特徴点を有するが故に、このような重複して分類された画像群に対しての対象画像の判別分析を好適に行うことができる。
【００２２】
また、本発明における帰属画像（一の画像群に含まれる画像）の基本領域への分割は、任意の方法で行うことが可能であるが、各基本領域が相互に重複する部分を生じず、余白を生じない態様で分割することが好ましい。なお、分割数を増加させると計算量の増大を生じることから、例えば、各画像が方形である場合には、４×４〜６×６程度の升目状に分割することが考えられる。
【００２３】
また、本発明で使用する特徴量ベクトルとしては、画像中の任意の領域の画像的な特徴を表示する複数の特徴量を要素とする任意の多次元ベクトルを使用することが可能であるが、所与の基準に基づく分類が行われる際における分類者の視覚的な知覚作用を好適に反映させた特徴量ベクトルを使用することが特に好ましく、例えば、全域的特徴量や近傍画素間の局所的な関係を表現する局所的特徴量から、ノイズや環境光の変化に影響を受けにくい特徴量を選択し、また、側抑制効果（視覚の知覚過程において、ある点が刺激を受けて興奮作用を起こすと、その周辺の点が逆に抑制作用を起こす機構）など、人の知覚作用の特性を反映させるための重み付けを加えるなどにより特徴量ベクトルを設計することが好ましい。
【００２４】
また、本発明の構図領域は、一の画像群において特徴量ベクトルの分布が近似する基本領域を統合することにより特定されるものであり、この構図領域は、ユーザが画像データベース中の画像を画像群に分類する際に注目した構図に相当すると考えられる。
【００２５】
ここで、特徴量ベクトルの分布の近似性をどのような手法により判断するか、或いは、どの程度の近似性をもって基本領域の統合を行うかなどは任意であり、例えば、最終的に抽出される構図領域の個数を既知として、ある評価基準の下で逐次修正に基づき分類を行うＫ−ｍｅａｎｓ法や、情報量基準を用いて構図領域の個数を決定するＸ−ｍｅａｎｓ法などを使用することが可能であるが、Ｋ−ｍｅａｎｓ法は、構図領域の個数を事前に決定する方法が問題となり、また、両法とも基本領域の形成方法によってどのような構図領域が抽出されるかに影響を及ぼしやすく、また、局所解に陥りやすいという問題がある。
【００２６】
この点、モデルのパラメータの記述長と、モデルを用いてデータを記述したときの記述長の和が最小となるモデルを選択していくＭＤＬ基準には上記のような欠点はなく、ＭＤＬ基準に基づいて基本領域の統合を行うことで構図領域を特定することが特に好ましい。
【００２７】
なお、構図領域の特定の際、例えば、全ての基本領域（或いは、統合された領域）から選ばれる２つの領域の全ての組み合わせについて、それぞれの領域から抽出される特徴量ベクトルを用いてマハラノビス汎距離を計算し、これが最小となる２つの領域について、ＭＤＬ基準に基づく統合の判断を行うようにすることが可能であり、これにより、構図領域の抽出のための計算の高速化を図ることができる。
【００２８】
また、更に、主成分分析によりこの計算に使用する特徴量ベクトルを次元圧縮することが可能であり、これにより、計算の高速化が実現されるとともに、計算に含まれるべき乗計算などにより計算値が発散し、或いは、ゼロに収束して有意な結果を得ることができないなどの不都合を回避することが可能となる。
【００２９】
また、本発明における注目度は、一の画像群の各構図領域から抽出される特徴量ベクトル（帰属特徴量ベクトル）の当該一の画像群における分散度に対して逆相関の関係にある指数であり、例えば、帰属特徴量ベクトルの共分散行列の行列式を分散度を示す指標として使用し、当該行列式の逆数、当該行列式の対数の逆数、或いは、これらを任意の量により規格化した数値などを注目度とすることが可能である。
【００３０】
このような注目度は、各画像群への分類の際に、各構図領域がどの程度注目されたか、乃至、どの程度重視されたかを示すものと考えられる。
【００３１】
なぜなら、ある画像群における構図領域から抽出された帰属特徴量ベクトルの分散が小さければ、その構図領域では、その画像群に分類する際の基準が一貫していると考えることができ、その分散が大きければ、その画像群に分類する際の基準が一貫していないと考えることができるからである。
【００３２】
また、本発明におけるＳＶＭ（サポートベクターマシン／Support Vector Machine）は、例えば、赤穂昭太郎、津田宏治，「サポートベクターマシン−基本的仕組みと最近の発展−」，数理科学，Ｎｏ４４４，５２〜５８頁，（２０００年）などに詳述される２クラス識別器であり、一の画像群のある特定の構図領域についてのＳＶＭに基づく第１の識別関数は以下のようにして導くことができる。
【００３３】
即ち、帰属画像（一の画像群に含まれる画像）の各構図領域から特徴量ベクトル（帰属特徴量ベクトル）を抽出するとともに、非帰属画像（一の画像群以外の画像軍に含まれる画像、即ち画像データベースに含まれる全ての画像のうちの帰属画像以外の画像）のそれぞれを、構図領域と同一の領域である第１対応領域に分割し、各非帰属画像の各第１対応領域から特徴量ベクトル（非帰属特徴量ベクトル）を抽出する。
【００３４】
そして、各帰属画像の上記特定の構図領域から抽出された帰属特徴量ベクトル、及び、各非帰属画像の上記特定の構図領域に対応する第１対応領域から抽出された非帰属特徴量ベクトルからなるテストサンプルをｘ＝（χ１，・・・、χｌ）Ｔとした場合、第１の識別関数ｆ（ｘ）は、式（１）で示される。
【００３５】
【数３】
2006221607.tif 000003
【００３６】
ここで、帰属特徴量ベクトルが帰属するクラスを第１のクラス、非帰属特徴量ベクトルが帰属するクラスを第２のクラスとして、ＳＶＭの学習用のクラスラベルをｙと表記し、テストサンプルが第１のクラスに属していればｙ＝１、第２のクラスに属していればｙ＝−１とする。
【００３７】
この場合、識別平面とテストサンプルの間のマージンを最大化することができる第１の識別関数は、以下の最適化問題を解くことにより求めることが可能である。
【００３８】
【数４】
2006221607.tif 000004
【００３９】
また、本発明における対象画像の一の画像群に対する判別分析（対象画像を一の画像群に判別するか否かについての決定）は、当該一の画像群について特定された個々の構図領域について上記により導出された第１の識別関数を用いた識別の結果に基づいて行われる。
【００４０】
即ち、対象画像は、一の画像群について特定された構図領域と同一の領域である第２対応領域に分割され、対象画像の第２対応領域のそれぞれから、特徴量ベクトル（対象特徴量ベクトル）が抽出される。
【００４１】
続いて、各第２対応領域から抽出された対象特徴量ベクトルを、当該第２対応領域に対応する構図領域について導出された第１の識別関数に適用することにより、各対象特徴量ベクトルが第１、第２のクラスのいずれに帰属するかの識別が行われる。
【００４２】
そして、対象画像の一の画像群に対する判別分析は、第１のクラスに帰属すると識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域の注目度に基づいて行われる。
【００４３】
また、上記本発明に係る判別分析のための方法、プログラム又は装置では、ＳＶＭに基づく識別に、更に１クラスＳＶＭに基づく識別を併用することにより、判別の精度を更に高めることが可能である。
【００４４】
即ち、ＳＶＭは２クラスの識別器であるため、どのようなデータであっても必ずどちらかのクラスに識別されることになり、本来いずれの画像群にも判別されるべきでない外れ点（例えば、画像から鑑賞者が受ける印象を所与の基準として複数の画像群への分類が行われた画像データベースに本発明を適用する場合であれば、どの画像群についての印象も喚起されないような画像）が一の画像群に識別される恐れがあるが、このような外れ点を１クラスＳＶＭにより検出することが可能である。
【００４５】
１クラスＳＶＭは、非線形な写像Φ２であって、写像Φ２による写像先での内積が元の空間におけるガウシアンカーネル関数の値と一致する写像Φ２を用いて写像を行うと、元の空間の外れ点は原点近くに写像されるという性質を利用して外れ点の識別を行うものである（１クラスＳＶＭについての詳細は、例えば、麻生英樹、津田宏治、村田昇著，「統計化学のフロンティア６  パターン認識と学習の統計学」，岩波書店，２００３年に記載されている）。
【００４６】
いま、一の画像群Ａ＝{Ｃ１，・・・ＣＮＡ} に属する画像Ｃｉ （ｉ＝１，・・・ＮＡ） のある構図領域Ｐｋから抽出した特徴量ベクトル（帰属特徴量ベクトル）をｘｉ，ｋ （ｉ＝１，・・・ＮＡ） とすると、１クラスＳＶＭに基づく第２の識別関数は、式（５）により与えられる。
【００４７】
【数５】
2006221607.tif 000005
【００４８】
上記写像Φ２による帰属特徴量ベクトルの写像ベクトルΦ２（ｘｉ，ｋ ）を原点側の写像ベクトルであって、予め定められた割合νの写像ベクトルと、それ以外の写像ベクトルとに分けるような超平面を定める第２の識別関数は、以下の式（６）に示される最適化問題を解くことにより導くことができる。
【００４９】
【数６】
2006221607.tif 000006
【００５０】
従って、第１の識別関数により第１のクラスに識別される対象特徴量ベクトルであって、かつ、当該対象特徴量ベクトルの上記写像Φ２による写像ベクトルである対象写像ベクトルが、対応する構図領域について導出された第２の識別関数により原点側に識別されない対象写像ベクトルについての対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域の注目度に基づいて判別分析を行うことにより外れ点を除外することが可能となり、従って、より精度の高い判別分析を行うことが可能となる。
【００５１】
また、本発明における対象画像の一の画像群に対する判別分析は、第１の識別関数により第１のクラスに識別された対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度を積算した値である確信値が、予め定められた閾値を越えているか否かに基づいて行うものとすることが可能であり、これにより、判別分析の画一化、容易化を図ることができる。
【００５２】
同様に、上述の１クラスＳＶＭを併用する場合には、第１の識別関数により第１のクラスに識別された対象特徴量ベクトルであって、かつ、第２の識別関数により原点側に識別されなかった対象写像ベクトルについての対象特徴量ベクトルが抽出された第２対応領域に対応する構図領域についての注目度を積算した値である確信値が、予め定められた閾値を越えているか否かにより、対象画像の一の画像群に対する判別分析を行うことが可能であり、これにより、判別分析の画一化、容易化を図ることができる。
【００５３】
また、本発明において、各帰属画像、各非帰属画像及び対象画像のそれぞれから複数種類の解像度の帰属画像、非帰属画像及び対象画像を生成し、それぞれの解像度の帰属画像、非帰属画像及び対象画像について上記本発明に従う判別分析を行うことが可能であり、これにより、分類者が分類の際に注目するオブジェクトや模様のサイズの多様性にも対応した判別分析を行うことが可能となり、更に、上記した確信値に基づいて判別分析を行うのであれば、各解像度について上記により導出された確信値を積算した値が、予め定められた閾値を越えているか否かにより判別分析を行うことが可能であり、これにより、判別分析の画一化、容易化を図ることができる。
【００５４】
また、上記においては、ＳＶＭに基づく第１の識別関数を、各構図領域から抽出された各帰属特徴量ベクトルが帰属する第１のクラスと、当該構図領域に対応する第１対応領域から抽出された各非帰属特徴量ベクトルが帰属する第２のクラスとを識別するものとして導出したが、ＳＶＭは、２つのクラス（第１、第２のクラス）が線形分離可能であるときには高い認識率を期待できるが、非線形で複雑な問題に対してはその限りではない。
【００５５】
そこで、非線形な写像Φ１であって、写像Φ１による写像先での内積が、元の空間におけるカーネル関数（カーネル関数の一例としては、ガウシアンカーネルを挙げることができる）の値と一致する写像Φ１により、各帰属特徴量ベクトル及び各非帰属特徴量ベクトルを写像し、ＳＶＭに基づく第１の識別関数を、各帰属特徴量ベクトルを写像Φ１により写像したベクトルが帰属する第１のクラスと、各非帰属特徴量ベクトルを写像Φ１により写像したベクトルが帰属する第２のクラスとに識別するものとして導出することにより、線形分離性を高めることが可能である。
【００５６】
なお、この場合には、本発明の第８のステップにおける識別又は帰属クラス識別手段による識別は、対象画像の各第２対応領域から導出される対象特徴量ベクトルを上記写像Φ１により写像したベクトルを、上記第１の識別関数に適用することにより行われることになる。
【００５７】
本発明では、互いに類似する画像群を統合することによって、元の画像群数より少ない複数の大グループを形成する第１１のステップと、前記複数の大グループのいずれかの大グループに対象画像を判別する第１２のステップと、前記第１２のステップにおいて対象画像が判別された大グループに属する画像群である大グループ内画像群が複数である場合には、そのいずれかの大グループ内画像群に対象画像を判別する第１３のステップとを有し、前記第１２のステップが、前記複数の大グループを前記複数の画像群として前記第１〜第８のステップ及び前記判別決定ステップを実行するものであり、前記第１３のステップが、前記大グループ内画像群を前記複数の画像群として前記第１〜第８のステップ及び前記判別決定ステップを実行するものとすることが好ましい（請求項１０）。
【００５８】
本発明における第１の識別関数は、一の画像群の構図領域から抽出される帰属特徴量ベクトルが帰属する第１のクラスと、一の画像群以外の画像群に属する画像の第１対応領域から抽出される非特徴量ベクトルが帰属する第２のクラスとを識別する関数として導出されるが、真に第１のクラスと第２のクラスとを識別できる適切な第１の識別関数の導出を可能とするには、帰属特徴量ベクトルの個数と非帰属特徴量ベクトルの個数に大きな隔たりがないこと、換言すれば、一の画像群に属する画像数と、それ以外の画像群に属する画像数に大きな隔たりがないことが必要である。
【００５９】
従って、仮に個々の画像群に属する画像数が同程度であったとしても、画像群数が多い場合（例えば１０個以上）や、画像群数がさほど多くなくても、一の画像群に属する画像数が、全体の画像数と比較して極端に少ない場合には、真に第１のクラスと第２のクラスとを識別できる適切な第１の識別関数を導出することができず、そのために、妥当性のある判別分析が実行できなくなる。
【００６０】
請求項１０の発明は、複数の画像群を統合することで大グループを形成し、対象画像の判別を、大グループ間での判別と、大グループに属する画像群である大グループ内画像群間での判別の２段階で行うことにより、帰属特徴量ベクトルの個数と非帰属特徴量ベクトルの個数に大きな隔たりを生じないようにし、より多くの場合に妥当性のある判別分析が行われるようにしたものである。
【００６１】
なお、請求項１０の発明では、互いに類似する大グループを統合することで更に上位の大グループを形成し、対象画像の判別を、３以上の多段階で行うようにすることも可能である。
【００６２】
ここで、複数の画像群から構成される一般的な画像データベースを考えると、ある画像群と他の画像群が何らかの意味で類似しており、ある画像群と更に他の画像群とは全く類似しない、といったように画像群間にも類似度が存在しているケースが多いと考えられるが、そのような場合には、画像群間の類似度を大グループの形成において考慮することにより、判別精度の向上を図ることが可能となる。
【００６３】
そして、画像群間の類似度を考慮した大グループの形成を行うについては、ＭＤＬ基準を用いることが好ましい。
【００６４】
即ち、Ｋ−ｍｅａｎｓ法やＸ−ｍｅａｎｓ法に基づいて画像群間の類似度を考慮した大グループの形成を行うことも可能であるが、Ｋ−ｍｅａｎｓ法は、大グループの個数を事前に決定する方法が問題となり、また、両法とも局所解に陥りやすいという問題があり、このような欠点を有さないＭＤＬ基準に基づいて大グループの形成を行うことが好ましい。
【００６５】
本明細書は、第２の発明として、所与の基準に基づいて分類された複数の画像群のいずれかの画像群に対象画像を判別するための方法又は装置であって、互いに類似する画像群を統合することにより、元の画像群数よりも少ない複数の大グループを形成する第１のステップ又は手段と、前記複数の大グループのいずれかの大グループに対象画像を判別する第２のステップ又は手段と、前記第２のステップにおいて対象画像が判別された大グループに属する画像群である大グループ内画像群が複数である場合には、そのいずれかの大グループ内画像群に対象画像を判別する第３のステップ又は手段とを有することを特徴とする方法又は装置、或いは上記各ステップをコンピュータに実行させるプログラムを開示する。
【００６６】
３以上の画像群の識別を２クラス識別器を用いて行う手法には、大きく分けて、
（１）「画像群Ａとそれ以外」という２クラス識別をｎ回行う方法（ｏｎｅ−ｖｓ−ａｌｌ方法）、
（２）「画像群Ａと画像群Ｂ」という２クラス識別をｎ×ｎ回行う方法（ｐａｉｒｗｉｓｅ方法）、
（３）２分木を用いて２クラス識別を行う方法（２分木法）
の３種類があるが、画像群数が多い場合には、上記のいずれの手法によっても、多数の識別器の学習と多数回の識別の実行が必要であり、この識別器数及び識別回数の低減が一つの課題となっている。
【００６７】
本願第２の発明は、この課題を解決したものであり、２クラス識別器を用いて３以上の画像群の識別を行う判別分析における識別器数及び識別回数の低減を達成し、或いは更に判別精度の向上をも達成するものである。
【００６８】
複数の画像群から構成される画像データベースでは、画像群間になんらか意味での類似度が存在するケースが多いことは上記の通りであり、本願第２の発明では、この点に注目し、ある程度類似したクラスを統合することで大グループを形成し、対象画像の判別を、大グループ間での判別と、大グループに属する画像群である大グループ内画像群間での判別の２段階で行うことにより、識別器数及び識別回数の低減を達成した。
【００６９】
図２は、本願第２の発明による効果を従来の２分木法と対比して示す説明図である。
【００７０】
図２左側は、ＳＶＭに基づく２クラス識別器を従来の２分木法に基づいて配置したものである。図中のＡ／Ｂは画像群Ａと画像群Ｂの識別器を表す。Ａ〜Ｆの６つの画像群に対して、１５個の識別器を用意（学習）する必要があり、かつ、Ａ〜Ｆのいずれかの画像群に対象画像を判別するには、５回の識別が必要となる。
【００７１】
図２右側は、ＳＶＭに基づく２クラス識別器を本願第２の発明に従って配置したものである。ここでは、Ａ〜ＦのうちＡ、Ｂ、Ｃをまとめて大グループαを、Ｄ、Ｅ、Ｆをまとめて大グループβを生成している。Ａ〜Ｆの６つ画像群に対して、７個の識別器しか用意（学習）する必要がなく、かつ、わずか３回の識別でＡ〜Ｆのいずれかの画像群に対象画像を判別することができる。
【００７２】
また本願第２の発明では、類似する画像群同士を統合することにより大グループを形成するものとしたため、ランダムに大グループを生成する場合と比べ高い判別精度が期待できる。
【００７３】
第２の発明では、互いに類似する大グループを統合することで更に上位の大グループを形成し、対象画像の判別を、３以上の多段階で行うようにすることも可能である。
【００７４】
第２の発明における互いに類似する画像群を統合することによる大グループの形成は、請求項１０の発明について上記したと同様の理由により、ＭＤＬ基準に基づいて行うことが好ましい。
【００７５】
第２の発明は、ＳＶＭに基づく識別関数を用いて２クラス識別を行う方法、プログラム、装置に好適に適用することができるが、ＳＶＭ以外の手法による２クラス識別を行う方法、プログラム、装置にも同様に適用することができる。
【発明を実施するための最良の形態】
【００７６】
以下、本発明の画像検索方法を実行するためのプログラム、及び、本発明の画像検索装置の一実施形態（第１の実施形態）を、添付の図面を参照して説明する。
【００７７】
プロの写真家により撮影された人物画像から、コンテンツ業務に携わる専門家１０名の合議により、「フレッシュ＆クリーン」の印象を感じると判断された画像１５４枚よりなる画像群Ａ（印象グループＡ）、「ナチュラル＆リラックス」の印象を感じると判断された画像１６９枚よりなる画像群Ｂ（印象グループＢ）、及び、「モダン＆アーバン」の印象を感じると判断された画像１０８枚よりなる画像群Ｃ（印象グループＣ）を抽出し、中央処理装置（ＣＰＵ）、ＲＯＭ、ＲＡＭ、ハードディスクなどの各種の記憶装置を備えるパーソナルコンピュータを用い、以下の手順で判別分析を行い、その有効性の確認を行った。
【００７８】
（１）画像データベースの構築
上記画像群Ａ〜Ｃの各画像のイメージデータを３種類の解像度（１／１、１／４、１／１６）でハードディスクに取り込み、これを画像データベース（教師データ）とした。
【００７９】
（２）特徴量ベクトルの導出法
本実施の形態では、任意の領域における特徴量ベクトルとして、下記の８４種類の局所的特徴量と、６種類の全域的特徴量から構成される９０次元のベクトルを使用するものとした。
【００８０】
（ａ）局所的特徴量
局所的特徴量としては、式（７）に従って、輝度値（（Ｒ＋Ｇ＋Ｂ）／３）についての３点間コントラスト値Ｃｏｎｔを導出した。
【００８１】
【数７】
2006221607.tif 000007
【００８２】
ここで、ｒは参照点であり、ａ１（ｉ）ａ２（ｉ）は変位であり、ｆ（ｒ）は参照点、変位点における輝度値である。
【００８３】
式（７）において、分子は視神経への刺激の差分であり、これを分母の刺激強度で正規化することで、式（７）のコントラスト値には、刺激強度に対してスケール不変であり、また、ノイズに強いという特性が与えられている。
【００８４】
また、参照点と２つの変位点についての３点間コントラスト値とすることにより、画像の直線的な変化の方向性だけでなく、曲線的な変化にも対応することができるようにされている。
【００８５】
また、式（７）において、変位ａ１（ｉ）ａ２（ｉ）の取り方は無数に考えられるが、ここでは、近接画素間の関係を重視して参照点ｒの周りの局所的な３×３の画素に限定し、図３に示す２８種類のパターンでの３点間コントラスト値を計算した。なお、図中の「＋」は参照点ｒを、「＊」は変位ａ１（ｉ）ａ２（ｉ）を示している。
【００８６】
そして、式（７）で求められるコントラスト値から、信号強度に対するスケール不変性を維持しつつ、入力信号間の相対的な信号の強弱を強調するために、式（８）のγ値を導出した。
【００８７】
【数８】
2006221607.tif 000008
【００８８】
更に、γ値をＬ段階（λ１，・・・，λＬ）にレベル分けし、式（９）で示されるγ’値を導入した。なお、本実施形態では計算の簡明のため、Ｌ＝３とした。
【００８９】
【数９】
2006221607.tif 000009
【００９０】
そして、式（１０）に示されるｗｌ（γ値がλｌのレベルである信号が全信号に占める割合）を用いて式（１１）に示されるｇ値を求め、これを局所的特徴量とした。
【００９１】
【数１０】
2006221607.tif 000010
【００９２】
【数１１】
2006221607.tif 000011
【００９３】
ここで、Ｐｋは任意の画像において特徴量ベクトルの抽出の対象となる任意の画像領域であり、式（１１）のｇ値は、ｗｌによる重み付けを行うことにより、対象となる画像領域中でどの信号が相対的に強く反応しているかが強調され、また、入力された信号の取捨選択が行われており、これにより、人の知覚作用における側抑制の機構の再現が図られている。
【００９４】
ｇ値としては、２８パターン×３レベルについて、合計８４の値が導出される。
【００９５】
（ｂ）全域的特徴量
全域的特徴量としては、輝度値及び２種類の色差（Ｒ−Ｇ、及び、Ｙ−Ｂ）についての領域Ｐｋにおける信号強度の平均値、及び、分散の６つの値を使用した。
【００９６】
（３）構図領域の特定
上記３種類の解像度についての３つの画像群Ａ〜Ｃについて、以下の手順により構図領域を抽出した。
【００９７】
（ａ）全ての解像度の全ての画像群の各画像の画像平面を５×５のメッシュに分割し、これを基本領域Ｐｋ，ρ（ｋ＝１〜２５，ρ＝１〜３）とした。
【００９８】
（ｂ）そして、それぞれの基本領域から（２）の方法により９０次元の特徴量ベクトルｘｋ，ρを抽出し、これに主成分分析を適用して次元圧縮を行い、低次元特徴量ベクトルｙｋ，ρを導出し、更に、ｙｋ，ρの各類似画像群の各解像度についての重心ベクトルを導出した。
【００９９】
（ｃ）続いて、基本領域Ｐｋ，ρから得た重心ベクトルと、基本領域Ｐｌ，ρから得た重心ベクトルの間のマハラノビス汎距離Ｄ２ｋ，ｌを式（１２）により導出した。
【０１００】
【数１２】
2006221607.tif 000012
【０１０１】
ここで、ｙｋ，ρ、ｙｌ，ρの上部にバーが付されている記号は、それぞれ、基本領域Ｐｋ，ρ、Ｐｌ，ρから得た上記重心ベクトルであり、Σ−１は共分散行列の逆行列である。
【０１０２】
（ｄ）続いて、全ての基本領域の組み合わせのうち、マハラノビス汎距離Ｄ２ｋ，ｌが最小となる２つの基本領域Ｐｋ，ρ、Ｐｌ，ρを統合した場合の統合モデルのＭＤＬ（ＭＤＬ（ｕｎｉ））と統合しない場合の分割モデルのＭＤＬ（ＭＤＬ（ｄｉｖ））を以下の方法により導出した。
【０１０３】
まず、基本領域Ｐｋ，ρから抽出される特徴量ベクトルｘｋ，ρが、当該類似画像群において式（１３）に示されるｎ変量正規分布に従うものと仮定する。
【０１０４】
【数１３】
2006221607.tif 000013
【０１０５】
ここで、θｋ＝（μｋ，Σｋ）は、ｎ変量正規分布のパラメータであり、μｋは期待値ベクトル、Σｋは共分散行列であり、この場合の基本領域Ｐｋ，ρのＭＤＬは式（１４）により表すことができる。
【０１０６】
【数１４】
2006221607.tif 000014
【０１０７】
ここで、θｋ上の「＾」が付された記号はθｋの最ゆう推定量であり、Ｊは自由度であり、Ｉ（θｋ）はｐ（ｘ｜θｋ）のＦｉｓｈｅｒ情報行列であり、｜・｜は、「・」の行列式である。また、Ｌ（・）は、「・」のゆう度関数であり、Ｌ（・）＝Πｐ（・）である。
【０１０８】
いま、基本領域Ｐｋ，ρ、Ｐｌ，ρを統合した統合領域Ｐｋｌ，ρから抽出される特徴量ベクトルｘｋｌ，ρが類似画像群内でパラメータをθｋｌ＝（μｋｌ，Σｋｌ）とするｎ変量正規分布をしていると仮定すると、統合領域Ｐｋｌ，ρのＭＤＬ（ｕｎｉ）は、式（１５）で表すことができる。
【０１０９】
【数１５】
2006221607.tif 000015
【０１１０】
ここで、Ｊ（ｕｎｉ）は統合モデルの自由度である。
【０１１１】
また、統合しない場合の基本領域Ｐｋ，ρ、Ｐｌ，ρの特徴量ベクトルｘｌ，ρ、ｘｌ，ρにパラメータθ＝（θｋ，θｌ）を持つ式（１６）で表される確率分布を仮定する。
【０１１２】
【数１６】
2006221607.tif 000016
【０１１３】
ここで、ｐ（ｘ｜θｋ）、ｐ（ｘ｜θｌ）は、それぞれ、パラメータθｋ、θｌを持つ確率密度関数である。
【０１１４】
この時の分割モデルのＭＤＬ（ｄｉｖ）は、式（１７）で表される。
【０１１５】
【数１７】
2006221607.tif 000017
【０１１６】
そして導出された両ＭＤＬが、ＭＤＬ（ｕｎｉ）≦ＭＤＬ（ｄｉｖ）となる場合には、その２つの基本領域を統合して新たな基本領域とする処理を行った。ＭＤＬ（ｕｎｉ）≧ＭＤＬ（ｄｉｖ）となる場合には、統合は行われない。
【０１１７】
（ｅ）上記の（ｃ）及び（ｄ）の手順を繰り返して実行し、最終的に残された基本領域、及び、基本領域の統合により生じた基本領域のそれぞれが構図領域として特定された。
【０１１８】
（５）注目度の導出
画像から受ける印象に基づく分類を行う際、鑑賞者は、画像中の各特徴を同列に評価せず、画像中の一部の（興味を引かれた）オブジェクトや背景を重点的に評価していると考えられるが、上記（４）において抽出した各構図領域がどの程度の重みをもって評価されたかを、当該構図領域から抽出される特徴量ベクトルが画像群内においてどの程度分散しているかにより推定することが可能である。
【０１１９】
即ち、特徴量ベクトルの各画像群内における分布の分散が大きければ、分類者はさほどその構図領域には注目していないと考えられ、逆に、その分散が小さければ、その構図領域に対する注目度は高いと考えることが可能である。
【０１２０】
本実施形態では、この考えに基づき、各画像群について、解像度ρの構図領域Ｐｋ，ρにおける注目度ｚｋ，ρを下記の式（１８）により導出した。
【０１２１】
【数１８】
2006221607.tif 000018
ただし、
【０１２２】
【数１９】
2006221607.tif 000019
であり、Σｋ，ρは、対象となる画像群の解像度ρの構図領域Ｐｋ，ρから抽出される特徴量ベクトルｘｋ，ρの共分散行列であり、｜・｜は行列式である。また、ΣρΣｋｚｋ，ρ＝１である。
【０１２３】
（６）識別関数の導出
ＳＶＭに基づく第１の識別関数及び１クラスＳＶＭに基づく第２の識別関数は、一の画像群（比較対象の画像群）毎に、各解像度の各構図領域について導出される。なお、ここでは、説明の便宜上、一の画像群である画像群Ａのある解像度ρのある構図領域Ｐｋについて第１、第２の識別関数を導出する場合について説明する。
（ａ）帰属特徴量ベクトル、非帰属特徴量ベクトル、対象特徴量ベクトルの導出
解像度ρの画像群Ａに属する各画像の構図領域Ｐｋから、（２）の手順に従って特徴量ベクトル（帰属特徴量ベクトル）を導出する。
【０１２４】
同様に、解像度ρの画像群Ａ以外の画像群（即ち、画像群Ｂ及びＣ）に属する各画像の上記構図領域Ｐｋに対応する領域（第１対応領域）から、（２）の手順に従って特徴量ベクトル（非帰属特徴量ベクトル）を導出する。
【０１２５】
同様に、解像度ρの対象画像の構図領域Ｐｋに対応する領域（第２対応領域）から、（２）の手順に従って、特徴量ベクトル（対象特徴量ベクトル）を導出する。
【０１２６】
なお、以下では、上記により求めた帰属特徴量ベクトル及び非帰属特徴量ベクトルをｘｉ，ｋ（ｉ＝１，・・・，Ｎ）と表記する。ここで、Ｎは、画像群Ａ〜Ｃに属する画像の総数である。
【０１２７】
また、ＳＶＭの学習用のクラスラベルをｙｉ（ｉ＝１，・・・，Ｎ）と表記し、画像ｃｉが画像群Ａに属する場合はｙ＝１とし、画像群Ａに属しない場合はｙ＝−１とする。
（ｂ）第１の識別関数の導出
上記した通り、本発明のＳＶＭに基づく第１の識別関数は、各帰属特徴量ベクトルが帰属するクラス（第１のクラス）と、各非帰属特徴量ベクトルが帰属するクラス（第２のクラス）とを識別するものとして導出することもできるが、本実施例では、より高い識別性を得るために、非線形な写像Φ１であって、写像Φ１による写像先での内積（Φ１（ｘ）・Φ１（ｘ′））が、元の空間で定義されるカーネル関数Ｋ（ｘ，ｘ′）の値と一致する写像Φ１を用い、各帰属特徴量ベクトル及び非帰属特徴量ベクトルを写像したベクトルΦ１（ｘｋ）を用いて第１の識別関数が導出される。
【０１２８】
なお、上記カーネル関数Ｋ（ｘ，ｘ′）としては、式（２０）のガウシアンカーネルを用いることができる。
【０１２９】
【数２０】
2006221607.tif 000020
【０１３０】
この場合、第１の識別関数ｆＡ（Φ１（ｘｋ））は、下記式（２１）となる。
【０１３１】
【数２１】
2006221607.tif 000021
【０１３２】
ここで、ｓｇｎ（ｕ）はｕ＞０のときには１、ｕ≦０のときには−１となる符号関数であり、ｗは重みベクトルである。
【０１３３】
この第１の識別関数ｆＡ（Φ１（ｘｋ））は、以下式（２２）に示される最適化問題を解くことにより導出することができる。
【０１３４】
【数２２】
2006221607.tif 000022
【０１３５】
（ｃ）第２の識別関数の導出
上記した通り、本発明の判別分析は、ＳＶＭに基づく第１の識別関数による識別の結果にのみ基づいて行うことも可能であるが、本実施形態では、外れ点が第１のクラスに識別されることにより、誤った判別がなされる可能性を低減するために、ＳＶＭに基づく第１の識別関数による識別に１クラスＳＶＭに基づく第２の識別関数による識別を併用する。
【０１３６】
１クラスＳＶＭに基づく第２の識別関数は、各帰属特徴量ベクトルを、非線形な写像Φ２であって、Φ２による写像先での内積が元の空間における上記式（２０）に示すガウシアンカーネル関数Ｋ（ｘ，ｘ′）の値と一致する写像Φ２により写像することにより得られる写像ベクトルΦ２（ｘｋ）を、原点側の写像ベクトルであって、予め定められた割合νの写像ベクトルと、それ以外の写像ベクトルとに識別する超平面として求められる。
【０１３７】
上記に従い、ある解像度ρの画像群Ａに属する帰属画像ｃｉ（ｉ＝１，・・・ＮＡ）の構図領域Ｐｋから得られる帰属特徴量ベクトルをｘｉ，ｋ（ｉ＝１，・・・，ＮＡ）とすれば、第２の識別関数ｆ（１ｓｖｍ），Ａ（Φ２（ｘｋ））は、下記式（２３）で表される。
【０１３８】
【数２３】
2006221607.tif 000023
【０１３９】
ここで、ｓｇｎ（ｕ）はｕ＞０のときには１、ｕ≦０のときには−１となる符号関数であり、ｗは重みベクトルである。
【０１４０】
予め定められた割合ν（ν∈（０，１］）の写像ベクトルΦ２（ｘｋ）が原点側に残る（外れ点とされる）ような超平面は、下記式（２４）に示される最適化問題を解くことにより求められる。
【０１４１】
【数２４】
2006221607.tif 000024
【０１４２】
（７）判別分析
本実施の形態では、以下の式（２５）で定義される確信値ＤＡを導出し、ＤＡが閾値である０．５を越える場合に対象画像を一の画像群である画像群Ａに判別した。
【０１４３】
【数２５】
2006221607.tif 000025
【０１４４】
ここで、式（２５）中のδｋ，ρ、δ（１ｓｖｍ）ｋ，ρは、それぞれ、以下の式（２６）、（２７）により定義されるデルタ関数である。
【０１４５】
また、式（２６）、（２７）中のｘｋ，ρは、解像度ρの画像群Ａについて特定される構図領域Ｐｋと同一の領域である第２対応領域から抽出される、解像度ρの対象画像の対象特徴量ベクトルであり、ｚｋ，ρは解像度ρの画像群Ａの構図領域Ｐｋについて上記（５）の手順で導出された注目度である。
【０１４６】
【数２６】
2006221607.tif 000026
【０１４７】
（８）判別分析の精度の評価
以下の手順により判別分析を行い、その判別精度を評価した。
【０１４８】
（ａ）評価１
本発明により教師データの学習がどの程度正しく行われているかを確かめるため、ＬＯＯ法による評価を実行した。
【０１４９】
この評価では、上記画像群Ａに分類された画像１５４枚、画像群Ｂに分類された画像１６９枚、画像群Ｃに分類された画像１０８の合計４３１枚の画像を使用し、この４３１枚の画像のうちの１枚を抜き取って対象画像とし、残りの４３０枚の画像から構成される画像データベースを教師データとして上記（１）〜（７）の手順による判別分析を実行し、対象画像が当初に分類されていた画像群に正しく判別されるか否かを判定し、この作業を、順次対象画像を変更して全ての画像について実行した時の判別精度を評価した。
【０１５０】
上記評価の結果は図４（ａ）に示す通りであり、いずれの画像群についても７０％以上の極めて高い精度で専門家の分類を再現できていることが確認された。
【０１５１】
（ｂ）評価２
続いて、未分類の写真画像７３２９枚をテストデータとして使用し、これを順次対象画像として上記（１）〜（７）の手順を実行することにより上記画像群Ａ〜Ｃに対する判別分析を実行し、各対象画像が正しい画像群に判別された場合を成功、正しい画像群に判別されなかった場合を失敗として、成功率を評価した。
【０１５２】
なお、７３２９枚のテストデータ中、事前の目視によるチェックにより、画像群Ａに属すると判定されたものは５３３枚、画像群Ｂに属すると判定されたものは１２０２枚、画像群Ｃに属すると判定されたものは２８２枚である。
【０１５３】
上記評価の結果は図４（ｂ）に示す通りであり、いずれの画像群についても７０％以上の極めて高い精度で正しい画像群への判別を再現できていることが確認された。
【０１５４】
続いて、本願第２の発明に対応する第２の実施形態として、１１個の画像群ｃ（ｃ＝１〜１１）からなる画像データベースに対する対象画像の判別を行う手法について説明する。
【０１５５】
まず、判別に使用される２クラス識別器の個数及び２クラス識別の回数を低減させることを目的として、１１個の画像群ｃを、１１よりも小さい数（２〜１０個）の大グループに統合する。
【０１５６】
画像群間の類似度を評価するための画像特徴量としては、各画像群の各画像から抽出される任意の特徴量ベクトルを使用することができるが、ここでは、上記（２）の手順において説明したと同様の９０次元の特徴量ベクトルを使用する。ただし簡単のため、各画像を基本領域に分割することはせず、各画像群に属する各画像の画像平面Ｐ全体から抽出した画像特徴量ｘを用いる。
（α）そして、全ての画像群の全ての画像から画像特徴量ｘを抽出し、これに主成分分析を適用して次元圧縮を行うことで低次元特徴量ベクトルｙを導出し、各画像群ｃについて、低次元特徴量ベクトルｙの重心ベクトルｙｗを導出する。
（β）続いて、重心ベクトルｙｗを用い、各画像群ｃから選ばれる２つの画像群ｃ１、ｃ２間のマハラノビス距離Ｄ２ｃ１、ｃ２を算出する。マハラノビス距離Ｄ２ｃ１、ｃ２の算出は、上記（３）（ｃ）の手順と同様にして行うことができる。
そして、各画像群ｃから選ばれるすべての組み合わせの画像群ｃ１、ｃ２の中で、マハラノビス距離Ｄ２ｃ１、ｃ２が最小となる画像群ｃ１、ｃ２を統合した場合の統合モデルのＭＤＬ（ＭＤＬ（ｕｎｉ））と統合しない場合の分割モデルのＭＤＬ（ＭＤＬ（ｄｉｖ））を導出する。
このＭＤＬ（ｕｎｉ）及びＭＤＬ（ｄｉｖ）の導出は、上記手順（３）（ｄ）において述べた手順を、式（１３）〜（１７）におけるｋ及びｌをｃ１及びｃ２に置き換えてそのまま実行することにより行うことができる。
導出された両ＭＤＬが、ＭＤＬ（ｕｎｉ）≦ＭＤＬ（ｄｉｖ）となる場合には、その２つの画像群を統合して新たな画像群とし、ＭＤＬ（ｕｎｉ）≧ＭＤＬ（ｄｉｖ）となる場合には、統合は行わない。
（γ）上記（α）及び（β）の手順を繰り返して実行し、最終的に残された画像群、及び画像群の統合により生じた画像群のそれぞれを大グループとする。
【０１５７】
上記（α）〜（γ）により大グループが形成されたならば、大グループ間における対象画像の判別分析を実行する。この判別分析は、第１の実施形態における画像群Ａ〜Ｃを上記により形成された大グループに置き換えて実行することにより行うことができる。
【０１５８】
そして、対象画像が判別された大グループに２以上の画像群（グループ内画像群）が含まれている場合には、第１の実施形態と同様にして、グループ内画像群間における対象画像の判別分析を実行する。対象画像が判別された大グループに属するグループ内画像群が１つであれば、対象画像はそのグループ内画像群に判別される。
【図面の簡単な説明】
【０１５９】
【図１】本発明の概略を概念的に示す説明図。
【図２】本発明による効果を従来の２分木法と対比して示す説明図。
【図３】３点間コントラストの導出に使用される隣接画素の配置を示す説明図。
【図４】本発明の一実施形態に係る判別分析の精度についての評価結果を示す説明図。
【図１】
2006221607.tif 000029
【図２】
2006221607.tif 000030
【図３】
2006221607.tif 000031
【図４】
2006221607.tif 000032