(57)【特許請求の範囲】
【請求項１】
識別対象ではないモダリティの状態は同一で、識別対象であるモダリティの状態が互いに異なる複数の標本データをそれぞれ学習することにより、前記標本データごとに、入力データを射影して空間ベクトルを生成する第１射影行列と該生成された空間ベクトルから該空間ベクトルよりも次元数の少ない射影データを生成する第２射影行列とを備えた変換行列を得、前記複数の標本データをそれぞれ学習して得られた複数の変換行列を用いて、前記入力データの前記識別対象であるモダリティの状態を識別する情報処理装置であって、
前記得られた変換行列ごとに、該変換行列に備える前記第１射影行列を用いて前記入力データを射影して空間ベクトルを生成する第１射影手段と、
前記得られた変換行列ごとに、該変換行列に備える前記第２射影行列を用いて前記第１射影手段により生成された空間ベクトルから前記射影データを生成し、さらに該生成された射影データに対し当該変換行列に備える前記第２射影行列の逆射影を行うことにより逆空間ベクトルを生成する第２射影手段と、
前記得られた変換行列ごとに、前記第１射影手段により生成された空間ベクトルと、前記第２射影手段により生成された前記逆空間ベクトルとの相関を算出する相関算出手段と、
前記得られた複数の変換行列のうち、前記相関算出手段により算出された相関が最も高い変換行列を特定し、該特定された変換行列の学習に用いられた標本データにおける前記識別対象であるモダリティの状態を前記入力データの前記識別対象であるモダリティの状態として識別する識別手段と
を備えたことを特徴とする情報処理装置。
【請求項２】
識別対象ではないモダリティの状態は同一で、識別対象であるモダリティの状態が互いに異なる複数の標本データをそれぞれ学習することにより、前記標本データごとに、入力データを射影して空間ベクトルを生成する第１射影行列と該生成された空間ベクトルから該空間ベクトルよりも次元数の少ない射影データを生成する第２射影行列とを備えた変換行列を得、前記複数の標本データをそれぞれ学習して得られた複数の変換行列を用いて、前記入力データの前記識別対象であるモダリティの状態を識別する情報処理装置であって、
前記得られた変換行列ごとに、該変換行列を用いて前記入力データから前記射影データを生成する第１射影手段と、
前記得られた変換行列ごとに、前記第１射影手段により生成された射影データに対し前記変換行列の逆射影を行うことにより逆射影データを生成する第２射影手段と、
前記得られた変換行列ごとに、前記入力データと前記第２射影手段により生成された逆射影データとの相関を算出する相関算出手段と、
前記得られた複数の変換行列のうち、前記相関算出手段により算出された相関が最も高い変換行列を特定し、該特定された変換行列の学習に用いられた標本データにおける前記識別対象であるモダリティの状態を前記入力データの前記識別対象であるモダリティの状態として識別する識別手段と
を備えたことを特徴とする情報処理装置。
【請求項３】
前記各変換行列が前記第１射影行列および前記第２射影行列を含む複数の空間変換行列からなる多重線形変換行列であることを特徴とする請求項１または２記載の情報処理装置。
【請求項４】
前記入力データに対し補間処理を行う前処理手段をさらに備え、該前処理手段が、前記識別手段における検出精度に応じてサンプリング周波数を決定するものであることを特徴とする請求項１から３のいずれか１項記載の情報処理装置。
【請求項５】
識別対象ではないモダリティの状態は同一で、識別対象であるモダリティの状態が互いに異なる複数の標本データをそれぞれ学習することにより、前記標本データごとに、入力データを射影して空間ベクトルを生成する第１射影行列と該生成された空間ベクトルから該空間ベクトルよりも次元数の少ない射影データを生成する第２射影行列とを備えた変換行列を得、前記複数の標本データをそれぞれ学習して得られた複数の変換行列を用いて、前記入力データの前記識別対象であるモダリティの状態を識別する情報処理方法であって、
前記得られた変換行列ごとに、該変換行列に備える前記第１射影行列を用いて前記入力データを射影して空間ベクトルを生成し、
前記得られた変換行列ごとに、該変換行列に備える前記第２射影行列を用いて前記生成された空間ベクトルから前記射影データを生成し、さらに該生成された射影データに対し当該変換行列に備える前記第２射影行列の逆射影を行うことにより逆空間ベクトルを生成し、
前記得られた変換行列ごとに、前記生成された空間ベクトルと前記逆空間ベクトルとの相関を算出し、
前記得られた複数の変換行列のうち、前記算出された相関が最も高い変換行列を特定し、該特定された変換行列の学習に用いられた標本データにおける前記識別対象であるモダリティの状態を前記入力データの前記識別対象であるモダリティの状態として識別する
ことを特徴とする情報処理方法。
【請求項６】
識別対象ではないモダリティの状態は同一で、識別対象であるモダリティの状態が互いに異なる複数の標本データをそれぞれ学習することにより、前記標本データごとに、入力データを射影して空間ベクトルを生成する第１射影行列と該生成された空間ベクトルから該空間ベクトルよりも次元数の少ない射影データを生成する第２射影行列とを備えた変換行列を得、前記複数の標本データをそれぞれ学習して得られた複数の変換行列を用いて、前記入力データの前記識別対象であるモダリティの状態を識別する情報処理方法であって、
前記得られた変換行列ごとに、該変換行列を用いて前記入力データから前記射影データを生成し、
前記得られた変換行列ごとに、前記生成された射影データに対し前記変換行列の逆射影を行うことにより逆射影データを生成し、
前記得られた変換行列ごとに、前記入力データと前記逆射影データとの相関を算出し、
前記得られた複数の変換行列のうち、前記算出された相関が最も高い変換行列を特定し、該特定された変換行列の学習に用いられた標本データにおける前記識別対象であるモダリティの状態を前記入力データの前記識別対象であるモダリティの状態として識別する
ことを特徴とする情報処理方法。
【請求項７】
コンピュータに、識別対象ではないモダリティの状態は同一で、識別対象であるモダリティの状態が互いに異なる複数の標本データをそれぞれ学習することにより、前記標本データごとに、入力データを射影して空間ベクトルを生成する第１射影行列と該生成された空間ベクトルから該空間ベクトルよりも次元数の少ない射影データを生成する第２射影行列とを備えた変換行列を得、前記複数の標本データをそれぞれ学習して得られた複数の変換行列を用いて、前記入力データの前記識別対象であるモダリティの状態を識別することを実行させるための情報処理プログラムであって、
前記得られた変換行列ごとに、該変換行列に備える前記第１射影行列を用いて前記入力データを射影して空間ベクトルを生成する手順と、
前記得られた変換行列ごとに、該変換行列に備える前記第２射影行列を用いて前記生成された空間ベクトルから前記射影データを生成し、さらに該生成された射影データに対し当該変換行列に備える前記第２射影行列の逆射影を行うことにより逆空間ベクトルを生成
する手順と、
前記得られた変換行列ごとに、前記生成された空間ベクトルと前記逆空間ベクトルとの相関を算出する手順と、
前記得られた複数の変換行列のうち、前記算出された相関が最も高い変換行列を特定し、該特定された変換行列の学習に用いられた標本データにおける前記識別対象であるモダリティの状態を前記入力データの前記識別対象であるモダリティの状態として識別する手順と
を実行させるための情報処理プログラム。
【請求項８】
コンピュータに、識別対象ではないモダリティの状態は同一で、識別対象であるモダリティの状態が互いに異なる複数の標本データをそれぞれ学習することにより、前記標本データごとに、入力データを射影して空間ベクトルを生成する第１射影行列と該生成された空間ベクトルから該空間ベクトルよりも次元数の少ない射影データを生成する第２射影行列とを備えた変換行列を得、前記複数の標本データをそれぞれ学習して得られた複数の変換行列を用いて、前記入力データの前記識別対象であるモダリティの状態を識別することを実行させるための情報処理プログラムであって、
前記得られた変換行列ごとに、該変換行列を用いて前記入力データから前記射影データを生成する手順と、
前記得られた変換行列ごとに、前記生成された射影データに対し前記変換行列の逆射影を行うことにより逆射影データを生成する手順と、
前記得られた変換行列ごとに、前記入力データと前記逆射影データとの相関を算出する手順と、
前記得られた複数の変換行列のうち、前記算出された相関が最も高い変換行列を特定し、該特定された変換行列の学習に用いられた標本データにおける前記識別対象であるモダリティの状態を前記入力データの前記識別対象であるモダリティの状態として識別する手順と
を実行させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理の方法および装置ならびにプログラムに関し、特に、入力データのモダリティの識別に関するものである。
【背景技術】
【０００２】
従来から主成分分析（ＰＣＡ）や特異値分解（ＳＶＤ、ＨＯＳＶＤ）を用いて画像内から顔等の特定のオブジェクトを検出することが提案されている（たとえば特許文献１−４参照）。特許文献１、２には、各オブジェクト毎に標本データを用いて主成分分析により学習された射影行列によって複数の部分空間を用意しておき、未知の画像が入力された際にいずれの部分空間に属するかを判断することによりオブジェクトを識別することが開示されている。
【０００３】
特許文献３には、主成分分析によるオブジェクトを部分空間に射影してオブジェクトを検出するとともに、オブジェクトに対する撮影方向や照明の方向等のオブジェクトのパラメータを推定する手法が開示されている。特許文献４には、顔の位置が所定位置にある標本データとともに当該所定位置からずらした標本データとを用いて射影行列によって射影される複数の部分空間を用意しておき、全体画像の一部を切り出した領域と当該領域に対して位置をずらして切り出した領域とについていずれの領域が正しいかを判断することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−９２１５１号公報
【特許文献２】特開２００９−１３４４６６号公報
【特許文献３】特開２００５−１３３８１３号公報
【特許文献４】特開２００５−２５０８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１−４に示す従来の検出方法においては画像を特徴ベクトル空間に写像し、特徴ベクトル空間において各クラスの部分空間との距離等から顔等を検出している。しかし、上述した検出方法では顔等の個体差により検出の精度が落ちてしまうという問題がある。
【０００６】
そこで、本発明は、精度良く効率的に入力データのモダリティを識別することができる情報処理装置および方法ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の情報処理装置は、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別する情報処理装置であって、入力データを複数の第１射影行列を用いて複数の空間ベクトルに射影する第１射影手段と、入力データを複数の変換行列群を用いて複数の射影データを生成し、さらにモダリティ毎に射影データに対し第２変換行列の逆射影を行うことにより逆空間ベクトルを生成する第２射影手段と、第１射影手段および第２射影手段により生成された空間ベクトルと逆空間ベクトルとの相関を変換行列毎に算出する相関算出手段と、相関算出手段により算出された相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別する識別手段とを備えたことを特徴とするものである。
【０００８】
本発明の情報処理装置は、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別する情報処理装置であって、入力データを複数の各変換行列を用いて複数の射影データを生成する第１射影手段と、第１射影手段により生成された複数の射影データに対し変換行列の逆射影を行うことにより逆射影データを生成する第２射影手段と、入力データと第２射影手段により生成された逆射影データとの相関を変換行列毎に算出する相関算出手段と、相関算出手段により算出された相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別する識別手段とを備えたことを特徴とするものである。
【０００９】
本発明の情報処理方法は、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別する情報処理方法であって、入力データを複数の第１射影行列を用いて複数の空間ベクトルに射影するとともに、入力データを複数の変換行列群を用いて複数の射影データを生成し、さらにモダリティ毎に射影データに対し第２変換行列の逆射影を行うことにより逆空間ベクトルを生成し、生成した空間ベクトルと逆空間ベクトルとの相関を変換行列毎に算出し、算出した相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別することを特徴とするものである。
【００１０】
本発明の情報処理方法は、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別する情報処理方法であって、入力データを複数の各変換行列を用いて複数の射影データを生成し、生成した複数の射影データに対し変換行列の逆射影を行うことにより逆射影データを生成し、入力データと逆射影データとの相関を変換行列毎に算出し、算出した相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別することを特徴とするものである。
【００１１】
本発明の情報処理プログラムは、コンピュータに、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別することを実行させるための情報処理プログラムであって、入力データを複数の第１射影行列を用いて複数の空間ベクトルに射影するとともに、入力データを複数の変換行列群を用いて複数の射影データを生成し、さらにモダリティ毎に射影データに対し第２変換行列の逆射影を行うことにより逆空間ベクトルを生成する手順と、生成した空間ベクトルと逆空間ベクトルとの相関を変換行列毎に算出する手順と、算出した相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別する手順とを実行させることを特徴とするものである。
【００１２】
本発明の情報処理プログラムは、コンピュータに、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別することを実行させるための情報処理プログラムであって、入力データを複数の各変換行列を用いて複数の射影データを生成する手順と、生成した複数の射影データに対し変換行列の逆射影を行うことにより逆射影データを生成する手順と、入力データと逆射影データとの相関を変換行列毎に算出する手順と、算出した相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別する手順とを実行させることを特徴とするものである。
【００１３】
ここで、入力データは、たとえば顔、文字、図形、記号、テクスチャ、ビルやタイル、枝、肺、血管等の所定のオブジェクトを有する画像のような２次元情報であってもよいし、音声、脈拍、血圧、地震等の１次元情報からなるものであってもよい。
【００１４】
なお、モダリティとは、統計的偏りを有する所定の特徴を備えたものであって、たとえば画像内の顔の向き・大きさ・位置や照明条件、人種、年齢、性別等の被写体の種別だけでなく、撮像された人物の表情、撮像された人物のしぐさ、撮像された人物の姿勢、撮像された人物が着用している着用物（めがね、サングラス、マスク、帽子など）等の被写体像の属性、また音声の単語、異常脈拍、震源、音源等が挙げられる。
【００１５】
また、変換行列は第１射影行列および第２射影行列を含む複数の空間変換行列からなる多重線形変換行列であることが好ましい。
【００１６】
さらに、情報処理装置は、入力データに対し補間処理を行う前処理手段をさらに備えたものであってもよい。このとき、前処理手段は、識別手段における検出精度に応じてサンプリング周波数を決定するものであってもよい。
【発明の効果】
【００１７】
本発明の情報処理装置および方法ならびにプログラムによれば、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別する際に、入力データを複数の第１射影行列を用いて複数の空間ベクトルに射影するとともに、入力データを複数の変換行列群を用いて複数の射影データを生成し、さらにモダリティ毎に射影データに対し第２変換行列の逆射影を行うことにより逆空間ベクトルを生成し、生成した空間ベクトルと逆空間ベクトルとの相関を変換行列毎に算出し、算出した相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別することにより、空間ベクトルと逆空間ベクトルとは完全ではないが高精度に元に戻る性質を利用し、自己相関的スコアを検出の指標として検出を行うため、入力データに含まれる個体差成分を大幅に取り除き高精度にオブジェクトの検出を行うことができる。
【００１８】
同様に、本発明の情報処理装置および方法ならびにプログラムによれば、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別する際に、入力データを複数の各変換行列を用いて複数の射影データを生成し、生成した複数の射影データに対し変換行列の逆射影を行うことにより逆射影データを生成し、入力データと逆射影データとの相関を変換行列毎に算出し、算出した相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別することにより、入力データと逆射影データとは完全ではないが高精度に元に戻る性質を利用し、入力データと逆射影データとの自己相関的スコアを検出の指標として検出を行うため、入力データに含まれる個体差成分を大幅に取り除き高精度にオブジェクトの検出を行うことができる。
【００１９】
なお、入力データに対し補間処理を行う前処理手段をさらに備え、前処理手段が、識別手段における検出精度に応じてサンプリング周波数を決定するものであれば、サンプリング方向に感度が高い性質を利用し、検出の精度を高く設定することが可能になる。
【図面の簡単な説明】
【００２０】
【図１】本発明の情報処理装置の好ましい実施形態を示すブロック図
【図２】識別するモダリティが顔の位置である場合に位置を識別する変換行列の学習に用いられる複数の標本データの一例を示す模式図
【図３】識別するモダリティが顔の向きである場合に向きを識別する変換行列の学習に用いられる複数の標本データの一例を示す模式図
【図４】識別するモダリティが顔の大きさである場合に向きを識別する変換行列の学習に用いられる複数の標本データの一例を示す模式図
【図５】高次特異値分解（ＨＯＳＶＤ）による変換の一例を示す概念図
【図６】図５の高次特異値分解（ＨＯＳＶＤ）を応用した変換の一例を示す概念図
【図７】本発明の情報処理方法の好ましい実施形態を示すフローチャート
【図８】本発明の情報処理装置の別の実施形態を示すブロック図
【図９】本発明の情報処理装置を用いて画像処理装置の一例を示すブロック図
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は本発明の情報処理装置１の好ましい実施形態を示すブロック図である。なお、図１のような情報処理装置１の構成は、補助記憶装置に読み込まれた情報処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この情報処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００２２】
情報処理装置１はたとえば入力データである画像について、所定のオブジェクト（たとえば顔等）の位置、大きさ、向き等のモダリティ（状態）を識別するものであって、前処理手段１０、空間変換ユニット３０ｎ、相関算出手段４０、識別手段５０を備えている。前処理手段１０は、入力画像をオブジェクト検出手段において検出処理が可能な規準画像サイズに合わせるため拡大または縮小するものである。ここで、拡大縮小する手法としてたとえばバイキュービック、Ｂスプライン、バイリニア、ニアレストネイバー等の公知の技術を用いることができる。また、前処理手段１０は、識別手段における検出精度に応じてサンプリング周波数を決定する機能を有していてもよい。これにより、後述するモダリティの識別の感度がサンプリング方向に対し感度が高いことを利用し、補間された入力データ内の微小な差を検出することができるようになるため、識別精度を高く設定することが可能になる。
【００２３】
各空間変換ユニット３０ｎは第１射影行列Ｕ１と第２射影行列（Σ１２Ｕ２Ｔ）とを備えた変換行列Ｕ１・（Σ１２Ｕ２Ｔ）を用いて変換処理を行うものである。この変換行列Ｕ１・（Σ１２Ｕ２Ｔ）は、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより学習されたものである。たとえば、モダリティとしてオブジェクト（顔）の位置を識別したい場合、図２に示すように、顔の位置のみが異なる複数の標本データ毎にそれぞれ変換行列Ｕ１・（Σ１２Ｕ２Ｔ）が用意される。
【００２４】
より具体的には、顔を上下左右方向に１画素だけずれた位置毎にモダリティを識別する場合には、たとえば顔が中央の位置にある標本データにより学習された変換行列Ｕ１・（Σ１２Ｕ２Ｔ）、顔が１画素だけ右にずれた位置にある標本データにより変換行列Ｕ１・（Σ１２Ｕ２Ｔ）というように、合計９×９個の変換行列（複数の空間変換ユニット３０１〜３０８１）が用意される。同様に図３に示すように、モダリティとしてオブジェクト（顔）の向きを識別したい場合、各顔の向き毎の複数の標本データを用いてそれぞれ変換行列が生成される。また、図４に示すように、モダリティとしてオブジェクト（顔）の向きを識別したい場合、各顔の大きさ毎の複数の標本データを用いてそれぞれ変換行列Ｕ１・（Σ１２Ｕ２Ｔ）が生成される。
【００２５】
上述した実空間データである入力データＰ１と固有空間ベクトル（空間ベクトル）間の変換行列Ｕ１・（Σ１２Ｕ２Ｔ）は、標本データ（図２−図４参照）を用いて特異値分解（ＳＶＤ、ＨＯＳＶＤ）等の公知の手法により予め学習される。たとえば図５に示すように、データ列Ｍ１が多重線形行列Ｍ１＝Ｕ１・（Σ１２Ｕ２Ｔ）で表せるものとし、これに予め正規化済の画像群からなる複数の学習画像セットが与えられる。そして、第１射影行列Ｕ１および第２変換行列Ｕ２Ｔが主成分分析（ＰＣＡ）、特異値分解（ＳＶＤ）等により求められる。次に、第１射影行列Ｕ１と行列Ｕ２Ｔとに基づいて、異なる次元数の空間の間でも変換を可能にする（テンソル）行列Σ１２が求められる。なお、ＳＶＤまたはＨＯＳＶＤにより変換行列が学習された場合について例示しているが、直交ＬＰＰ（Neighborhood Preserving Embedding,Isomap,Locally Linear Embedding,Laplacian Eigenmaps）等の公知の手法により求めてもよい。
【００２６】
図１の各空間変換ユニット３０ｎは、第１射影手段３１、第２射影手段３２を備えている。第１射影手段３１は、前処理済みの入力データＰ１に第１射影行列Ｕ１を用いて射影し入力データＰ１をｐ次元の空間ベクトルＢ１に変換するものである。第２射影手段３２は、第１射影手段３１により変換された空間ベクトルＢ１を第２変換行列Σ１２Ｕ２Ｔを用いて空間ベクトルＢ１よりも次元数の少ないｑ次元（ｑ＜ｐ）の射影データＰ１０を複数生成し、さらに射影データＰ１０に対し第２変換行列（Σ１２Ｕ２Ｔ）の逆射影を行うことにより逆空間ベクトルＢ１０を生成するものである。
【００２７】
相関算出手段４０は、空間ベクトルＢ１と逆空間ベクトルＢ１０の相関を算出するものである。ここで、相関算出手段４０は、空間ベクトルＢ１と逆空間ベクトルＢ１０との２つのベクトルの同一次元間の差の２乗累積和もしくは差の絶対値の累積和等を相関値として算出する。識別手段５０は、相関算出手段４０により複数の空間変換ユニット３０ｎ毎に算出された相関のうち、最も相関の高い空間変換ユニット３０ｎが示すモダリティを入力データＰ１のモダリティであると識別するものである。
【００２８】
ここで、空間ベクトルＢ１と逆空間ベクトルＢ１０との相関は、変換行列Ｕ１・（Σ１２Ｕ２Ｔ）の学習に用いられた標本データとの示すモダリティと入力データのモダリティとが近ければ近いほど高くなる。つまり、図６に示すように、標本データにより学習された変換行列Ｕ１・（Σ１２Ｕ２Ｔ）においては、標本データについて第１射影行列Ｕ１を用いた空間ベクトルＢ１と、変換行列Ｕ１・（Σ１２Ｕ２Ｔ）を用いて第２空間に一度射影し、さらに第１空間への逆射影した逆空間ベクトルＢ１０とは完全に同一にはならないが極めて近似したベクトルになる性質を有している。これは、入力データＰ１が標本データのモダリティが近ければ近いほど相関算出手段４０により算出される相関が高くなることを意味する。この性質を利用して、空間ベクトルＢ１と逆空間ベクトルＢ１０との相関を指標として、入力データＰ１のモダリティが標本データのモダリティにどの程度一致するのかを識別する。
【００２９】
これにより、入力データＰ１の個体差を排除して精度良く入力データＰ１のモダリティを識別することができる。すなわち、従来のように入力データＰ１を空間に写像して空間における分類クラスとの距離等に基づいてモダリティを検出する場合、入力データの個体差により空間ベクトルは変化し、精度の高いモダリティ検出を行うことできない。一方、テンソル変換を用いた変換行列Ｕ１・（Σ１２Ｕ２Ｔ）に標本データを入力した際には空間ベクトルＢ１と逆空間ベクトルＢ１０とは同一のものにはならないが、極めて近似したものになることを利用し、入力データＰ１と逆射影画像Ｐ２０との相関に基づいてモダリティを検出することで、入力データＰ１の個体差を排除した検出を行うことができる。
【００３０】
さらに、標本データ群空間内における入力の位置関係スコアが求められることは自明であるが、標本データ群との位置関係を用いずに入力のみの単一対象から高精度な自己相関的スコアを求めることは困難である。一方、主成分分析（ＰＣＡ）等のように全標本データと入力との総当りで特徴位置関係を求めて最も相関の高い標本データとの残差を指標とする検出方式と比べ大幅な高速化を図ることができる。また、空間ベクトルＢ１、Ｂ１０は入力データＰ１の空間に比べて次元が削減されているため、ノイズ等のオブジェクト検出への寄与率の少ない情報を削除し検出の高速化を行うことができる。
【００３１】
図７は本発明の情報処理方法の好ましい実施形態を示すフローチャートであり、図１から図７を参照して情報処理方法について説明する。まず、入力データＰが入力されると、前処理手段１０による前処理が行われる（ステップＳＴ１）。そして、前処理済みの入力データＰ１に対して各空間変換ユニット３０ｎ毎に空間ベクトルＢ１および逆空間ベクトルＢ１０が生成される（ステップＳＴ２、ＳＴ３）。
【００３２】
その後、相関算出手段４０により空間ベクトルＢ１および逆空間ベクトルＢ１０との相関が算出され（ステップＳＴ４）、識別手段５０において複数の相関のうち最も相関の高い空間変換ユニット３０ｎの示すモダリティを入力データＰ１として識別する（ステップＳＴ５）。このように、空間ベクトルＢ１および逆空間ベクトルＢ１０との相関を用いてモダリティを検出することにより、入力データＰ１の個体差を排除した精度の良いモダリティ検出を行うことができる。
【００３３】
図８は本発明の情報処理装置の別の実施形態を示すブロック図であり、図８を参照して情報処理装置１００について説明する。なお、図８において図１の情報処理装置と同一の構成を有する部位には同一の符号を付してその説明を省略する。図８の情報処理装置１００が図１の情報処理装置１と異なる点は、実空間データ間における相関が算出され識別される点である。
【００３４】
すなわち、各空間変換ユニット１３０ｎにおける第１射影手段１３１は変換行列Ｕ１・（Σ１２Ｕ２Ｔ）による変換を行い射影データＰ１０を生成する。一方、第２射影手段１３２は、射影データＰ１０に対し第２変換行列Σ１２Ｕ２Ｔおよび第１射影行列Ｕ１の順に逆射影を行うことにより逆射影画像Ｐ２０を生成する（図５、図６参照）。そして、相関算出手段１４０は入力データＰ１と逆射影データＰ２０との相関を算出し、識別手段５０は相関の高い空間変換ユニット３０ｎの示すモダリティを入力データＰ１のモダリティであると識別する。このように、実空間上において相関を算出する場合であっても、図１の空間ベクトルの相関を算出する場合と同様、オブジェクトの個体差による検出精度の劣化を防止することができる。
【００３５】
ところで、上述した情報処理装置１、１００は、モダリティの検出を目的とする装置に適用することができることは勿論、モダリティの検出結果に基づいて低解像度画像から高解像度画像を復元するデータ変換装置に用いることができる。図９はオブジェクト検出装置を用いた超解像度化するための画像処理装置２００の一例を示すブロック図であり、図９を参照して画像処理装置２００について説明する。画像処理装置２００は、前処理手段２１０、画像分割手段２２０、射影手段２３０、画像調整手段２４０等を有している。
【００３６】
前処理手段２１０は、入力された低解像画像に対し前処理を施すものであって、たとえばサイズ拡大処理と高域通過処理を行う。サイズ拡大処理は、低解像画像を高解像画像と同サイズに拡大するものであって、たとえばバイキュービック、Bスプライン、バイリニア、ニアレストネイバー等の公知の技術を用いることができる。高域通過処理は、入力された低解像画像ＰＬに低域を抑制するフィルター処理を行うものであって、たとえばアンシャープマスク、ラプラシアン、グラジエント等の公知の技術が用いられる。これにより、低周波域に存在する照明変動を抑制することができ照明変動に対するロバスト性を向上させることができる。また、変換の対象を周波数全域から高周波成分に限定することで、学習で使用できる空間全てが高周波成分に割り当てられるようになる。
【００３７】
画像分割手段２２０は、全体画像ＰＬを格子状に分割し複数の部分画像を生成するものである。これにより、高解像度化処理の対象を画像の局所に限定して変換対象を低次元で扱えるようにしたため、高品質かつ個人差の変化に対してロバスト化することができる。
【００３８】
射影手段２３０は、標本低解像度画像と標本高解像度画像のペアからなる複数のペア標本データに基づいて学習された下記式（１）に示す変換行列を用いて各部分画像に対する高解像画像を生成するものである。
ＰＨ＝{Ｓ１−１・(Σ１２ＨＳ２Ｔ )・(Σ１２ＬＳ２Ｔ) −１・Ｓ１ }・ＰＬ  ・・・（１）
あるいは、図５、図６において説明した高次特異値分解のように、各ペア標本データにおいて、第１射影行列ＭＬを用いて標本変換前データを空間上に射影した第１空間上のベクトルと、第２射影行列ＭＨを用いて標本変換後データを空間上に射影した第２空間上のベクトルとが略同一になる前提において、下記式（２）により高解像画像ＰＨを生成するようにしてもよい。
ＰＨ＝｛（ＭＨ）・（ＭＬ）−１｝・ＰＬ  ・・・（２）
【００３９】
ここで、フィルタデータベースＤＢにはオブジェクトの位置、大きさ、回転、向き情報に応じて異なる変換行列が記憶されており、フィルタ選択手段２４０は情報処理装置１において検出されたオブジェクトの位置、大きさ、回転、向き情報に基づいてフィルタデータベースＤＢから上述した変換行列を選択する。そして、射影手段２３０は、フィルタ選択手段２４０によりフィルタデータベースＤＢの中から選択された変換行列を用いて上記式（１）または式（２）により画像の復元を行う。これにより、オブジェクトのモダリティに適したフィルタ係数を用いて高解像度化処理を行うことができる。
【００４０】
画像調整手段２５０は、各オブジェクトのモダリティ毎に生成された高解像度画像の和を出力するものである。なお、係数ベクトル補正が大きい場合から求められた高解像画像の影響が小さくなるように重み付け加算してもよい。
【００４１】
上記実施の形態によれば、入力データＰ１を複数の第１射影行列Ｕ１を用いて複数の空間ベクトルＢ１に射影するとともに、入力データＰ１を複数の変換行列Ｕ１・（Σ１２Ｕ２Ｔ）群を用いて複数の射影データＰ１０を生成し、さらにモダリティ毎に射影データＰ１０に対し第２変換行列（Σ１２Ｕ２Ｔ）の逆射影を行うことにより逆空間ベクトルＢ１０を生成し、生成した空間ベクトルＢ１と逆空間ベクトルＢ１０との相関を変換行列Ｕ１・（Σ１２Ｕ２Ｔ）毎に算出し、算出した相関が最も高い変換行列Ｕ１・（Σ１２Ｕ２Ｔ）が示すモダリティを入力データのモダリティとして識別することにより、空間ベクトルＢ１と逆空間ベクトルＢ１０とは完全ではないが高精度に元に戻る性質を利用し、自己相関的スコアを検出の指標として検出を行うため、入力データに含まれる個体差成分を大幅に取り除き高精度にオブジェクトの検出を行うことができる。
【００４２】
同様に、図８に示す情報処理装置１００および方法ならびにプログラムによれば、入力データＰ１を複数の各変換行列Ｕ１・（Σ１２Ｕ２Ｔ）を用いて複数の射影データＰ１０を生成し、生成した複数の射影データＰ１０に対し変換行列Ｕ１・（Σ１２Ｕ２Ｔ）の逆射影を行うことにより逆射影データＰ２０を生成し、入力データＰ１と逆射影データＰ２０との相関を変換行列Ｕ１・（Σ１２Ｕ２Ｔ）毎に算出し、算出した相関が最も高い変換行列Ｕ１・（Σ１２Ｕ２Ｔ）が示すモダリティを入力データのモダリティとして識別することにより、入力データＰ１と逆射影データＰ２０とは完全ではないが高精度に元に戻る性質を利用し、自己相関的スコアを検出の指標として検出を行うため、入力データに含まれる個体差成分を大幅に取り除き高精度にオブジェクトの検出を行うことができる。
【００４３】
なお、入力データに対し補間処理を行う前処理手段１０をさらに備え、前処理手段１０が、識別手段５０における検出精度に応じてサンプリング周波数を決定するものであれば、サンプリング方向に感度が高い性質を利用し、検出の精度を高く設定することが可能になる。
【００４４】
本発明の実施形態は上記実施形態に限定されない。たとえば、オブジェクトとして顔の場合について例示しているが、顔の他に頭部または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位を含む領域であってもよい。さらには、生体の内部に存在する血管、特定の組織、生体内部の腫瘍組織、細胞、タンパク質、DNA、RNA等の高分子、低分子であってもよい。他にも、薬等の化合物やタンパク質、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレート、複写機等のスキャナ機器によりスキャニングされたドキュメントの文字、図面、表、写真などであってもよい。さらに、外界における特定の事象をオブジェクトの例として挙げているが、統計的偏りのある群であればよく、例えば所定のテクスチャを有する領域をオブジェクトとして検出するものであってもよい。
【００４５】
また、オブジェクトのモダリティとして顔の向き・大きさ・位置や照明条件について例示しているが、人種、年齢、性別等の被写体の種別をオブジェクトのモダリティとしてもよいし、撮像された人物の表情、撮像された人物のしぐさ、撮像された人物の姿勢、撮像された人物が着用している着用物（めがね、サングラス、マスク、帽子など）等の被写体像の属性をオブジェクトのモダリティとして用いてもよい。
【００４６】
さらに、オブジェクト検出手段による検出結果を用いて超解像化を行う場合について例示しているが、折り返し成分を低減した縮小、多色数化、多階調数化、ノイズ低減化、ブロックノイズおよびモスキートノイズなどのアーチファクトを低減するアーチファクト低減化、ボケ低減化、シャープネス化、高フレームレート化、広ダイナミックレンジ化、色階調補正、歪み収差補正、符号化などの変換処理に用いてもよい。
【符号の説明】
【００４７】
１、１００     情報処理装置
１０   前処理手段
３０   空間変換ユニット
３１、１３１   第１射影手段
３２、１３２   第２射影手段
４０、１４０   相関算出手段
５０   識別手段
Ｂ１    空間ベクトル
Ｂ１０   逆空間ベクトル
Ｐ１    入力データ
Ｐ１０   射影データ
Ｐ２０   逆射影データ
Ｐ２０   逆射影画像
【図１】
0005524692.tif 000002
【図２】
0005524692.tif 000003
【図３】
0005524692.tif 000004
【図４】
0005524692.tif 000005
【図５】
0005524692.tif 000006
【図６】
0005524692.tif 000007
【図７】
0005524692.tif 000008
【図８】
0005524692.tif 000009
【図９】
0005524692.tif 000010