【手続補正書】
【提出日】平成16年12月1日(2004.12.1)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の詳細な説明
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人間の視覚によって認識される動的可視化情報から計算機による処理が可能な普遍量を抽出する技術に関し、さらに、その普遍量を利用して動的可視化情報の画像同定を行う動画像処理技術にも関する。
【０００２】
【従来の技術】
本明細書において可視化情報とは、人間の視覚によって認識し得る形態で表された情報をいう。人間の視覚で捉えられる対象物の映像は可視化情報の代表的な例であり、一般のカメラやデジタルカメラで撮影された画像などはこれに当たる。また、気象衛星による赤外線映像や電子顕微鏡による映像、カー効果による磁区画像等のように、通常は視覚で捉えることができない分布ないし形状等を映像化したものも可視化情報の一種である。さらに、音声や自然界の音などの波動をオシロスコープ等の機器で表示したもののように、本来的に視覚以外の感覚として認識される情報でも所定の方式で画像として視認できるように表されているものは可視化情報である。
【０００３】
さらに、本発明において動的可視化情報とは、撮影用カメラやデジタルビデオで撮影された人物の動き、気象衛星による時刻毎の赤外線映像、電子顕微鏡によるウイルスの泳動映像、可視化情報であって、時間の経過と共に変化するものを言うことにする。つまり、一般のカメラやデジタルカメラで撮影された画像などは、時間と共に変化する動的可視化情報を、特定の時刻において切り取った動的可視化情報の一断面を示すものであり、その意味において動的可視化情報は静的な可視化情報をより一般化した物であるということができる。
【０００４】
より一般的には、本明細書における動的可視化情報は、必ずしも時間軸に沿って変化するものである必要はなく、例えば時間軸であるが時間軸には限定されない他の軸に沿って変化する可視化情報を動的可視化情報と呼ぶ。これらの動的可視化情報は、可視化されるときの自然界の条件によって異なったものとなり、対象が同一でも完全に一致する動的可視化情報が再現されることはない。
【０００５】
一方、人間の脳は、視聴覚情報を処理することによって外界の動的情報を認識するが、その対象となる視聴覚情報には、一定の構成ルールに従ってコード化された言語や楽譜等のコード化視聴覚情報と、コード化されていない動的可視化情報、すなわち、映画等の非コード化視聴覚情報がある。このような映画やアニメーション等の動的可視化情報は、後者の非コード化視聴覚動的情報を処理する人間の視覚情報処理能力を前提としたデータになっており、その視覚情報処理能力によって何等かの普遍量を感知し認識されているものと考えられる。したがって、計算機による人工知能等において人間の視覚情報処理能力を実現するためには、動的可視化情報から計算機処理が可能な何等かの動的可視化情報の普遍量を抽出する必要がある。
【０００６】
また、例えば画像同定によって人物同定などを行う場合、静的可視化情報よりも情報量の多い動的可視化情報による方が精度の高い同定を行うことができることは容易に予想されるところであるが、この点に関しては、１枚の静的写真いわゆるスチール写真よりも、ムービーの方が遙かに正確に人物を認識することができることは経験的にも知られている。
【０００７】
ところで、静的画像からの普遍量の抽出方法として、画素の色成分Ｒ（赤）、Ｇ（緑）及びＢ（青）を座標軸とする３次元のＲＧＢ直交座標系へ計算機スクリーン上の画像を投影し、投影されたパターンを当該画像の普遍量とする方法がある。図８は、その普遍量抽出方法で行う投影操作を概念的に示したものである。計算機のスクリーン上に表される画像は２次元平面に配置された画素の集合なので、図中左側に示すように、同スクリーン上の位置をｘｙ直交座標で表すこととし、ｘ方向ｉ番目の画素位置をｘｉ、ｙ方向ｊ番目の画素位置をｙｊとする。また、位置に対してＲ、Ｇ、Ｂの色成分を与える関数をそれぞれｆｒ、ｆｇ、ｆｂとし、位置（ｘｉ，ｙｊ）の画素を構成するＲ、Ｇ、Ｂの色成分値をそれぞれｆｒ（ｘｉ，ｙｊ）、ｆｇ（ｘｉ，ｙｊ）、ｆｂ（ｘｉ，ｙｊ）で表す。
【０００８】
次に、位置（ｘｉ，ｙｊ）の画素をその色成分値が対応するＲＧＢ直交座標上の点に投影する。すなわち、図中右側に示すように、ＲＧＢ直交座標において、Ｒ＝ｆｒ（ｘｉ，ｙｊ）、Ｇ＝ｆｇ（ｘｉ，ｙｊ）、Ｂ＝ｆｂ（ｘｉ，ｙｊ）である点（ｒｏ，ｇｐ，ｂｑ）に位置（ｘｉ，ｙｊ）の画素が対応するものとし、その点における関数ｆＲＧＢ（ｒｏ，ｇｐ，ｂｑ）の値を１つインクリメントする。ここで、ｏ、ｐ、ｑは、それぞれ上記スクリーン上におけるＲ、Ｇ、Ｂの各階調に相当する整数であり、ｒｏはＲの第ｏ番目の階調に対応する色成分値、ｇｐはＧの第ｐ番目の階調に対応する色成分値、ｂｑはＢの第ｑ番目の階調に対応する色成分値を表す。なお、関数ｆＲＧＢ（ｒｏ，ｇｐ，ｂｑ）の初期値は、すべての点において０とする。
【０００９】
このような投影操作をそれぞれの画素について行い、１からｘ方向画素数Ｉと１からｙ方向画素数Ｊに対応する位置（ｘi，ｙj）の画素をすべてＲＧＢ直交座標上に投影する。これにより、関数ｆＲＧＢ（ｒｏ，ｇｐ，ｂｑ）の各点の値は、上記スクリーン上の画像において対応する色成分値を持つ画素の数を表すものとなり、当該画像に固有のパターンを形成する。上記の操作は、静的画像が有する幾何学的座標に関する情報を捨象し、ＲＧＢ各成分の強度分布情報のみを抽出したものである。このパターンを必要に応じて正規化したり、ベクトル形式で表したりすることによって当該画像の普遍量とし、計算機による画像処理に利用する。
【００１０】
【発明が解決しようとする課題】
ところで、人間の視覚情報処理能力によれば、Ｒ、Ｇ及びＢの色成分を持つカラー画像に限らず、これら色成分のうちの一つ若しくは２つだけで表された画像や色彩のない濃淡画像等の動的可視化情報も認識することができる。これに対し、上述した画像に対する普遍量抽出方法では、各画素をＲ、Ｇ及びＢの色成分値に応じてＲＧＢ直交座標上の１点に投影している。すなわち、各画素において３原色がどのように組み合わされているかによって投影点を決定しており、各画素を構成するＲ、Ｇ及びＢの３つの色成分値の組を１つのまとまった情報として利用している。したがって、上記の普遍量抽出方法は、基本的にカラー画像からの普遍量抽出を対象としており、無彩色（グレースケール）の可視化情報や２値データとして表された可視化情報を取り扱うには適していない。
【００１１】
換言すれば、上記の普遍量抽出方法で得られる普遍量は、ＲＧＢ直交座標上に投影された関数ｆＲＧＢ（ｒｏ，ｇｐ，ｂｑ）の各点の値によって構成されたため、その普遍量の要素数は、Ｒ、Ｇ及びＢの階調数を掛け合わせた数になり、例えば、Ｒ、Ｇ及びＢの階調数がすべて２５６であれば２５６３になる。このため、取り扱う普遍量のデータが多く、計算機によって迅速正確に処理することが困難になる場合もある。これに対して、可視化情報の普遍量を例えば単一の成分からなる光強度情報とすることができれば、普遍量の要素数を圧倒的に少なく、上述の例の場合には２５６のみにすることができる。
【００１２】
さらに、上述の方法は、静的可視化情報を対象としたものなので、複数の静的可視化情報の集合である動的可視化情報から普遍量を抽出するためには使用することができない。さらには、動的可視化情報が有する情報量は極めて大量の静的可視化情報に相当することを考慮すると、動的可視化情報からの普遍量抽出に固有の方法でなければ莫大な量の情報処理のために現実には計算機による演算が不可能になることも考えられる。
【００１３】
本発明はこのような事情に鑑みてなされたものであり、より広範な動的可視化情報に対しても柔軟に適用することができると共に、計算機で取り扱うデータの量を少なくして迅速かつ正確な処理をすることができ、計算機による動的可視化情報の処理能力を人間の視覚情報処理能力に一層近づけることを可能にする新たな動的可視化情報に対する普遍量の抽出方法を提供することを目的としている。
【００１４】
また、本発明は、かかる普遍量の抽出方法で得られた普遍量を利用することにより、様々な形態の動的可視化情報の動画像に適用することができ、かつ、適切な動的画像認識を実現することができる動画像処理技術を提供することを目的としている。
【００１５】
【課題を解決するための手段】
かかる目的を達成するため、本発明に係る動的可視化情報の普遍量抽出方法は、動的可視化情報を構成するフレーム画像データ全体を通した画素の情報値分布から各情報値毎の出現頻度、または、動的可視化情報を構成する各フレーム画像データの各情報値毎の出現頻度をフレーム移動方向へフーリエ変換して得られるフーリエ周波数スペクトラムを当該動的可視化情報の普遍量として抽出する。
【００１６】
より具体的には、本発明に基づく動的可視化情報の普遍量抽出方法によれば、動的可視化情報を構成する複数のフレームについてフレーム毎の画像データを取得し、当該フレーム毎の画像データを構成する複数の画素に対して規定された情報値について出現頻度分布を求め、前記出現頻度分布をフレーム方向に直交変換して動的可視化情報の普遍量を抽出する。
【００１７】
本発明の１つの実施態様によれば、前記の方法における画像データを取得する過程では、前記フレームの各画素を構成する３原色の成分値を含む動画像データを取得する。
【００１８】
本発明の他の実施態様によれば、前記情報値は、光強度値、色相及び色成分値の内の少なくともいずれか１つである。
【００１９】
本発明のさらに別の実施態様によれば、前記出現頻度分布をフレーム方向に直交変換する前に、当該出現頻度分布を正規化する。当該出現頻度分布は、フレーム毎の出現頻度分布が一定範囲の値をとるように正規化される。あるいは、当該出現頻度分布の正規化は、全フレーム中の出現頻度の最大値が所定の値となるように行われる。
【００２０】
本発明の１つの実施例によれば、前記フレーム方向の直交変換としては、離散フーリエ変換が用いられる。又前述の実施例に示した内容は択一的なものではなく、それぞれに組み合わせて同時に実施することも可能である。
【００２１】
さらに、本発明の他の側面によれば、動的可視化情報の普遍量抽出に基づいて対象物の類似性を評価する方法が提案される。すなわち、前記いずれかに記載の方法によって基準対象物の動的可視化情報に関する第１の普遍量を抽出し、同様に前記いずれかに記載の方法によって未知の対象物の動的可視化情報に関する第２の普遍量を抽出し、第１の普遍量と第２の普遍量に基づいて基準対象物と未知対象物の類似性を評価する方法である。ここで、第１の普遍量を抽出する方法と第２の普遍量を抽出する方法とは同じであっても異なっていても良い。
【００２２】
また、本発明のさらに別の側面によれば、動的可視化情報の普遍量抽出に基づいて対象物の同定を行う方法が提案される。すなわち、前記いずれかに記載の方法によって複数の基準対象物の動的可視化情報に関する第１の普遍量を抽出し、同様に前記いずれかに記載の方法によって未知対象物の動的可視化情報に関する第２の普遍量を抽出し、第１の普遍量と第２の普遍量を比較することによって目的対象物と未知対象物の同定を行う方法である。ここで、第１の普遍量を抽出する方法と第２の普遍量を抽出する方法とは必ずしも同一の方法でなくても良い点は前記同様である。
【００２３】
さらに、本発明のさらに別の側面によれば、上記の方法を実施するための装置が提案される。すなわち、動的可視化情報を構成する複数のフレームについて、フレーム毎の画像データを取得する手段と、当該フレーム毎の画像データを構成する複数の画素に対して規定された情報値について出現頻度分布を取得する手段と、前記出現頻度分布をフレーム方向に直交変換して動的可視化情報の普遍量を抽出する手段とを有する動的可視化情報の普遍量抽出装置である。当該装置は、前記いずれかに記載の方法によって基準対象物の動的可視化情報に関する第１の普遍量を抽出する手段と、同様に前記いずれかに記載の方法によって未知の対象物の動的可視化情報に関する第２の普遍量を抽出する手段と、第１の普遍量と第２の普遍量に基づいて基準対象物と未知対象物の類似性を評価する手段とを具備する対象物の類似性評価装置に発展させることができる。さらに、同装置は、前記いずれかに記載の方法によって複数の基準対象物の動的可視化情報に関する第１の普遍量を抽出する手段と、同様に前記いずれかに記載の方法によって未知対象物の動的可視化情報に関する第２の普遍量を抽出する手段と、第１の普遍量と第２の普遍量を比較することによって目的対象物と未知対象物の同定を行う手段とを具備する対象物の同定装置に発展させることができる。
【００２４】
本発明の１つの具体的な実施例に基づけば、まず、動的可視化情報を取り込んで当該動的可視化情報の動画像データを取得し、その動画像データによる表示画像において画素の表示可視光を定める情報に含まれる情報値の分布を一定範囲内の値を取る分布に正規化する。そして、これによって正規化された分布から正規化された各情報値の出現頻度を求め、その求めた出現頻度分布、または、動的可視化情報を構成するフレーム画像データの各情報値毎の出現頻度をフレーム移動方向へフーリエ変換して得られるフーリエ周波数スペクトラムを当該動的可視化情報の普遍量として抽出する。
【００２５】
ここで、動画像データとしては、任意のフレーム数の動的可視化情報を構成する全フレームを重ならないように合成して得られる合成画像において各画素を構成する３原色の成分値を含むものを用いることとしてもよい。この場合、それらの成分値に基づいて前記表示可視光を定める情報値の分布を複数得て、それら複数の分布のそれぞれを正規化し、正規化された各情報値の出現頻度分布がある。以下、この方法を合成画像法と呼ぶ。
【００２６】
さらに、動画像データとしては、動的可視化情報を構成する各フレーム画像において各画素を構成する３原色の成分値を含むものを用い、それらの成分値に基づいて前記表示可視光を定める情報値の分布を複数得て、それら複数の分布のそれぞれを正規化し、正規化された各情報値の出現頻度分布をそれぞれ求めて当該動的可視化情報の普遍量、すなわち、各フレームの情報値として、各フレームの画素の光強度値、色相及び色成分値を合成して求める。次に、全フレームの画素の光強度値、色相及び色成分値をフレーム移動方向へフーリエ変換し、フレーム移動情報位相を削除したフーリエ周波数スペクトラムを用いても良い。この場合に分布を得ることができる情報値としては、全フレームを通した画素の光強度値、色相及び色成分値が混在したフーリエ周波数スペクトラムがある。
【００２７】
また、動画像データとしては、動的可視化情報を構成する各フレーム画像において各画素を構成する３原色の成分値を含むものを用い、それらの成分値に基づいて前記表示可視光を定める情報値の分布を複数得て、それら複数の分布のそれぞれを正規化し、正規化された各情報値の出現頻度分布をそれぞれ求めて当該動的可視化情報の普遍量、すなわち、各フレームの情報値として、各フレームの画素の光強度値、色相及び色成分値を求める。次に、全フレームに対する、画素の光強度値、色相及び色成分値で、画素の光強度値、色相及び色成分値をそれぞれ合成して得られる全フレームを通した画素の光強度値、色相及び色成分値をそれぞれフレーム移動方向へフーリエ変換し、フレーム移動情報位相を削除したフーリエ周波数スペクトラムを用いても良い。この場合に得ることができる情報値としては、全フレームを通した画素の光強度値、色相及び色成分値、それぞれのフーリエ周波数スペクトラムがある。
【００２８】
一方、本発明に係る画像処理方法では、上記普遍量抽出方法を利用して複数の動的可視化情報それぞれの普遍量を予め抽出しておく。そして、未知対象の動的可視化情報の普遍量を同様の普遍量抽出方法により抽出し、予め抽出したそれぞれの普遍量との一致性を評価することにより、その未知対象の動的可視化情報の画像を前記複数の動的可視化情報のうちのいずれかの画像と同定する。
【００２９】
また、本発明に係る画像処理装置は、上記普遍量抽出方法を利用して複数の動的可視化情報それぞれの普遍量を予め抽出する第１の抽出手段と、この第１の抽出手段により抽出されたそれぞれの普遍量を記憶する記憶手段を有し、第１の抽出手段と同様の普遍量抽出方法を実行する第２の抽出手段により未知対象の動的可視化情報の普遍量を抽出する。そして、画像同定をする同定手段として、第２の抽出手段により抽出された普遍量と記憶手段に記憶されたそれぞれの普遍量との一致性を評価することにより、前記未知対象の動的可視化情報の画像を前記複数の動的可視化情報のうちのいずれかの画像と同定する手段を有している。
【００３０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。本実施形態は、人間の視覚情報処理能力の一部を計算機で再現することを試みた例である。人間の視覚情報処理能力によれば、動的可視化情報として肉眼で捉えられる映像が与えられると、その映像情報の記憶、その映像情報の意義の知覚、及びその映像情報の認識（他の映像情報との同定等）が行われる。これらの動作を計算機で実現するため、以下に述べる本実施形態では、与えられた映像から普遍量を抽出して記録することで映像情報の記憶を行い、映像情報の意義を表す言語的記述を与えることで映像情報の意義を知覚し、予め記憶した映像情報の普遍量との一致性を評価することで映像情報の認識を行う。
【００３１】
＜構成＞
図１は、本発明の一実施形態による画像処理装置の構成を示す図である。本画像処理装置は、図示のように映像取込装置１、電子計算機２、記憶装置３、入力装置４及び出力装置５によって構成され、処理対象として与えられる対象物ＶＯの映像を表す画像を取り扱う。
【００３２】
映像取込装置１は、対象物ＶＯの映像を取り込む映像情報の取得手段であり、デジタルビデオカメラ等によって構成され、取り込んだ映像を表すカラー動画像データを対象物ＶＯの映像情報として電子計算機２へ供給する。対象物ＶＯとしては、人間、自動車等、人間の視覚によって認識される動的可視化情報を与えるものであればよく、映像取込装置１は、その対象物ＶＯが光源ＬＳで照らされた反射光によって映像を取り込む。なお、複数の対象物ＶＯについてそれぞれの映像を取り込む場合、光源ＬＳは常に同一の光源を用いることとし、それら複数の対象物ＶＯの映像生成条件が常に一定になるようにする（光源如何による反射光映像の情報変化がないようにする）。
【００３３】
ここで、映像取込装置１からのカラー動画像データは、計算機スクリーン上に表示されたときの画像によって映像（可視化情報）を形成するデータになっており、計算機スクリーン上に規則的に配置された各画素において表示する可視光の情報を有している。すなわち、映像取込装置１は、計算機スクリーン上で対象物ＶＯの動画像を構成する複数のフレームからなっている。各フレームを構成する各画素の色成分Ｒ（赤）、Ｇ（緑）及びＢ（青）の情報を上記カラー動画像データとして電子計算機２へ供給する。このようなカラー動画像データにおいては、表示画像での映像情報が計算機スクリーンの解像度（全画素数）、そしてフレーム数に依存し、各フレームを構成する画像の各画素の情報量が計算機スクリーンに表示可能な赤成分、緑成分及び青成分のダイナミックレンジ（各色成分が取り得る階調値の範囲）に依存するが、本実施形態ではこれらが電子計算機２の仕様に合わせて決定されており、映像取込装置１は、常にその仕様に適合する一定の基準に従った解像度とダイナミックレンジのカラー動画像データを電子計算機２へ供給するものとなっている。
【００３４】
電子計算機２は、動画像情報処理に必要な所定の演算手段、記憶手段及び制御手段等を有する計算機であり、本動画像処理装置による各処理動作（後述）を実行させるプログラムを読み込ませたコンピュータ等によって構成される。この電子計算機２は、同プログラムによって演算手段等が実現する固有パターン抽出部２ａ、同定演算部２ｂ、同定判定部２ｃ及び結果出力部２ｄを本動画像処理装置特有の構成として備えている。また、電子計算機２には、記憶装置３、入力装置４及び出力装置５が周辺機器として接続されている。
【００３５】
固有パターン抽出部２ａは、映像取込装置１から供給されるカラー動画像データを受け、そのカラー動画像データが表す映像の固有パターンを抽出する。ここで抽出される固有パターンが映像（動的可視化情報）の普遍量に当たるものであり、固有パターン抽出部２ａは、抽出した固有パターンを記憶装置３へ出力し、あるいは、同定演算部２ｂへ供給する。なお、この固有パターンの具体的内容については、その抽出処理と併せて後述する動作説明で明らかにする。
【００３６】
同定演算部２ｂは、固有パターン抽出部２ａから供給された固有パターンを予め記憶されている固有パターンのうちのいずれかと同定するための演算を行い、同定判定部２ｃは、その演算結果に基づいて同定される特定の固有パターンを判定する。結果出力部２ｄは、同定演算部２ｂの演算結果と同定判定部２ｃの判定結果を受け、出力装置５に対して所定の結果を出力をする。なお、これら同定演算部２ｂ、同定判定部２ｃ及び結果出力部２ｄによる処理の具体的内容も後の動作説明で改めて詳細に述べる。
【００３７】
記憶装置３は、固有パターン抽出部２ａから出力された固有パターンを記録して登録（保持）する。この登録を複数の対象物ＶＯの映像について行うことにより、それらの映像の固有パターンを蓄積した映像データベースが記憶装置３内に構築される。上記同定演算部２ｂが予め記憶されている固有パターンを参照する際には、この記憶装置３内の映像データベースを利用する。
【００３８】
入力装置４は、キーボードやポインティング・デバイス等によって構成された電子計算機２の入力装置である。この入力装置４は、記憶装置３に登録する固有パターンに対し、元の映像情報の意義を表す言語的記述を与える場合に使用する（例えば、対象物ＶＯが人間であるとか、動物であるとかといった所定の言語的記述を入力する）。これにより、固有パターン抽出部２ａから固有パターンと併せて元の映像情報の意義を記憶装置３へ出力させ、映像情報の意義を知覚できるようにする。但し、この言語的記述の入力は任意操作であり、操作者が必要に応じて適宜行うこととしてよい。
【００３９】
出力装置５は、表示装置やプリンタ等によって構成された電子計算機２の外部出力デバイスであり、その表示装置の解像度は、上述した表示画像での映像情報が依存する電子計算機２の仕様に対応している。また、各画素の情報量が依存するダイナミックレンジは、出力装置５の表示装置で表示可能なように電子計算機２の仕様（表示設定）によって２４ビット・フル・カラー等の規格に従った一定の量に予め定められている。
【００４０】
＜動作＞
（１）映像の固有パターン登録
次に、上記構成による本動画像処理装置の動作について説明する。図２は、映像の固有パターン登録の処理手順を示したフローチャートである。この処理は、対象物ＶＯの映像から固有パターンを抽出し、上述した記憶装置３への登録を行う処理である。
【００４１】
映像の固有パターン登録をするときは、まず、予め記憶するデータベース画像にしようとする対象物ＶＯの映像を映像取込装置１によって取り込む（ステップＳ ）。これにより、当該対象物ＶＯの映像を表すカラー画像データが映像取込装置１から電子計算機２へ供給される。
【００４２】
ここで、映像取込装置１からのカラー動画像データは、当該対象物ＶＯの動画像を構成する複数のフレーム画像からなり、各フレーム画像は画素からなり、各画素の色成分Ｒ（赤）、Ｇ（緑）及びＢ（青）の情報を有している。このようなカラー動画像データに基づく表示画像では、各画素が反射光の強さ、色相及び色成分の組合せによって定まる可視光を表示し、それらの幾何学的配置によって映像情報が表現される。そこで、本動画像処理装置においては、かかる映像情報における、1フレーム画像に対する反射光強度、色相及び色成分という３つの要素を基本固有パターンの構成要素として利用することとし、それら３要素をヒストグラム化した反射光強度固有ベクトル、色相固有ベクトル及び色成分固有ベクトルを映像取込装置１からのカラー画像データに基づく固有パターン抽出部２ａでの演算処理によって算出する（ステップＳ１〜Ｓ４）。
【００４３】
以下、動画像の1フレーム画像、または全フレームを重ならないように1枚へ合成した合成画像（段落００１３に述べた合成画像法）に対する反射光強度固有ベクトル、色相固有ベクトル、色成分固有ベクトルの順に固有パターン抽出部２ａでの演算処理を説明する。なお、この説明順序は図２のステップ進行に合わせたものであるが、計算機での実際の演算処理は必ずしもこの順序に従って行う必要はなく、適宜変更することも可能である。
【００４４】
反射光強度固有ベクトルの算出（ステップＳ２）
反射光強度固有ベクトルは、表示画像における反射光強度の分布から各反射光強度の値を階級としてヒストグラムを作成したときの各階級の度数に当たる値を要素とするベクトルである。1フレームのカラー画像データにおける第ｉ番目の画素の反射光強度値をＩｉｎｔ，ｉとし、同画素のＲ、Ｇ、Ｂの色成分値をそれぞれＲｉ、Ｇｉ、Ｂｉとすると、反射光強度値Ｉｉｎｔ，ｉは、色成分値Ｒｉ、Ｇｉ及びＢｉのスカラー和又はベクトル和によって与えられる。すなわち、
【数１】
2003168116.tif 000001
又は
【数２】
2003168116.tif 000002
である（数１、数２のいずれによって反射光強度値を求めるかは任意であり、適宜選定してよい）。
【００４５】
したがって、1フレームのカラー画像データによる表示画像中の反射光強度分布をＩｉｎｔとすると、反射光強度分布Ｉｉｎｔは、
【数３】
2003168116.tif 000003
で与えられる。Ｔは１表示画像中の全画素数であり、固有パターン抽出部２ａは、第１番目から第Ｔ番目までのそれぞれの画素について上記数１又は数２の演算を行い、数３の反射光強度分布Ｉｉｎｔを得る。
【００４６】
次に、反射光強度分布ＩｉｎｔをダイナミックレンジＤの分布（反射光強度値が０から所定の整数Ｄまでの範囲の値を取る分布。以下、この分布を記号「ＩｉｎｔＤ」で表し、「正規化反射光強度分布ＩｉｎｔＤ」という。）に正規化する。ここで、“ Round[ａ] ”が括弧内の値“ａ”を整数化する演算を表し、“ Max[Ａ] ”が括弧内の集合“Ａ”における最大値の要素を求める演算を表すものとすると、固有パターン抽出部２ａは、下記の数４によって反射光強度分布Ｉｉｎｔを正規化反射光強度分布ＩｉｎｔＤに変形する。
【数４】
2003168116.tif 000004
なお、ダイナミックレンジＤは、後述する色相や色成分の分解能を考慮して適宜選定する。例えば、最も分解能が低いのが色成分の階調であり、その階調数が２５６であるような場合には、それに合わせて、例えばＤの値を２５６とする。
【００４７】
その後、得られた正規化反射光強度分布ＩｉｎｔＤにおいて、固有パターン抽出部２ａは、０からＤまでのそれぞれの（正規化された）反射光強度値を取る画素の数を計数する。これにより、ダイナミックレンジＤで正規化された反射光強度分布が反射光強度値を階級としてヒストグラム化され、各階級の度数に当たる（正規化された）各反射光強度値の出現頻度が求められる。固有パターン抽出部２ａは、これによって求められた各反射光強度値の出現頻度をベクトル形式の配列データにして反射光強度固有ベクトルＥｉｎｔとする。この反射光強度固有ベクトルＥｉｎｔは、１つの映像に対して１組得られる固有ベクトルである。
【００４８】
色相固有ベクトルの算出（ステップＳ３）
色相固有ベクトルは、表示画像における各画素中の色相の分布から各色相の値を階級としてヒストグラムを作成したときの各階級の度数に当たる値を要素とするベクトルである。ここにいう色相は、各画素中のＲ、Ｇ及びＢの色成分値の構成比であり、上記反射光強度値に対するＲ、Ｇ又はＢの色成分値の割合で表す。これら３つの色成分値の和は反射光強度値で与えられるので、反射光強度値に対して独立した情報を持つのは色成分Ｒ、Ｇ及びＢのうちの任意の２つについての色相である。
【００４９】
各色成分についての表示画像における色相分布は、表示画像中の各画素における色成分構成比を表す。例えば、Ｒ成分についての色相分布を考える場合においては、表示画像におけるＲ成分の色相分布をＩＴｏｎｅ，Ｒとすると、これは上記反射光強度値Ｉｉｎｔ，ｉとＲの色成分値Ｒｉにより、
【数５】
2003168116.tif 000005
で与えられる。この場合、固有パターン抽出部２ａは、第１番目から第Ｔ番目までのそれぞれの画素について数５右辺の除算を行い、Ｒ成分色相分布ＩＴｏｎｅ，Ｒを得る。なお、各画素中のＲ成分色相は、数５右辺における各画素についての除算式に当たり、表記されている“Ｒｉ／Ｉｉｎｔ，ｉ”は第ｉ番目の画素のＲ成分色相である（以下、この第ｉ番目画素のＲ成分色相は記号「ＩＴｏｎｅ，Ｒ，ｉ」で表す）。
【００５０】
次に、Ｒ成分色相分布ＩＴｏｎｅ，ＲをダイナミックレンジＤの分布に正規化する。この正規化の演算は、上述した反射光強度分布Ｉｉｎｔの正規化反射光強度分布ＩｉｎｔＤへの変形と同様である。すなわち、Ｒ成分色相分布ＩＤＴＯＮＥ，Ｒを各画素のＲ成分色相が０からＤまでの範囲の値を取る分布に正規化した正規化Ｒ成分色相分布を  ＩＤＴＯＮＥ，Ｒとすると、固有パターン抽出部２ａは、下記の数６によってＲ成分色相分布ＩＤＴＯＮＥ，Ｒを正規化Ｒ成分色相分布ＩＤＴＯＮＥ，Ｒに変形する。
【数６】
2003168116.tif 000006
【００５１】
そして、得られた正規化Ｒ成分色相分布ＩＤＴＯＮＥ，Ｒにおいて、固有パターン抽出部２ａは、０からＤまでのそれぞれの（正規化された）Ｒ成分色相を取る画素の数を計数する。これにより、ダイナミックレンジＤで正規化されたＲ成分の色相分布がＲ成分色相を階級としてヒストグラム化され、各階級の度数に当たる（正規化された）各Ｒ成分色相の出現頻度が求められる。固有パターン抽出部２ａは、これによって求められた各Ｒ成分色相の出現頻度をベクトル形式の配列データにしてＲ成分色相固有ベクトルＥＴｏｎｅ，Ｒとする。
【００５２】
Ｇ成分色相固有ベクトルＥＴｏｎｅ，ＧとＢ成分色相固有ベクトルＥＴｏｎｅ，Ｂも上記同様の演算処理によって得ることができる（上述したＲ成分色相固有ベクトルＥＴｏｎｅ，Ｒを得る演算処理において、“Ｒ”を“Ｇ”、“Ｒ”を“Ｂ”に置き換えることによって示される演算処理を行えば、それぞれＧ成分色相固有ベクトルＥＴｏｎｅ，Ｇ、Ｂ成分色相固有ベクトルＥＴｏｎｅ，Ｂが得られる）。固有パターン抽出部２ａは、１つの映像に対し、これらＲ成分色相固有ベクトルＥＴｏｎｅ，Ｒ、Ｇ成分色相固有ベクトルＥＴｏｎｅ，Ｇ及びＢ成分色相固有ベクトルＥＴｏｎｅ，Ｂのうちの２組の固有ベクトルを算出する。これは、色成分値の総和に関する情報が反射光強度固有ベクトルＥｉｎｔに含まれており、自由度が１減少するためである。なお、２組の固有ベクトルとしていずれの組合せを用いるかは任意であり、適宜選定してよい。
【００５３】
色成分固有ベクトルの算出（ステップＳ４）
色成分固有ベクトルは、表示画像におけるＲ、Ｇ又はＢの色成分の分布から各色成分値を階級としてヒストグラムを作成したときの各階級の度数に当たる値を要素とするベクトルである。この色成分固有ベクトルは、表示画像中のＲ成分の量、Ｇ成分の量及びＢ成分の量によって与えられ、１つの映像に対して３組得られる。映像の幾何学的情報は、Ｒ成分、Ｇ成分及びＢ成分の割合として緩やかに保持される。
【００５４】
表示画像におけるＲ成分分布を考える場合、Ｒ成分分布をＩＣｏｍｐ，Ｒとすると、
【数７】
2003168116.tif 000007
である。固有パターン抽出部２ａは、このＲ成分分布ＩＣｏｍｐ，ＲをダイナミックレンジＤの分布に正規化する。ここでの正規化演算も上述した反射光強度分布Ｉｉｎｔの正規化反射光強度分布ＩｉｎｔＤへの変形と同様である。すなわち、Ｒ成分分布ＩＣｏｍｐ，Ｒを各画素のＲ成分値が０からＤまでの範囲の値を取る分布に正規化した正規化Ｒ成分分布をＩＣｏｍｐ，ＲＤとすると、固有パターン抽出部２ａは、下記の数８によってＲ成分分布ＩＣｏｍｐ，Ｒを正規化Ｒ成分分布ＩＣｏｍｐ，ＲＤに変形する。
【数８】
2003168116.tif 000008
【００５５】
そして、得られた正規化Ｒ成分分布ＩＣｏｍｐ，ＲＤにおいて、固有パターン抽出部２ａは、０からＤまでのそれぞれの（正規化された）Ｒ成分値を取る画素の数を計数する。これにより、ダイナミックレンジＤで正規化されたＲ成分分布がＲ成分値を階級としてヒストグラム化され、各階級の度数に当たる（正規化された）各Ｒ成分値の出現頻度が求められる。固有パターン抽出部２ａは、これによって求められた各Ｒ成分値の出現頻度をベクトル形式の配列データにしてＲ成分固有ベクトルＥＣｏｍｐ，Ｒとする。
【００５６】
Ｇ成分固有ベクトルＥＣｏｍｐ，ＧとＢ成分固有ベクトルＥＣｏｍｐ，Ｂも上記同様の演算処理によって得ることができる（上述したＲ成分固有ベクトルＥＣｏｍｐ，Ｒを得る演算処理において、“Ｒ”を“Ｇ”、“Ｒ”を“Ｂ”に置き換えることによって示される演算処理を行えば、それぞれＧ成分固有ベクトルＥＣｏｍｐ，Ｇ、Ｂ成分固有ベクトルＥＣｏｍｐ，Ｂが得られる）。
【００５７】
固有パターン抽出部２ａは、以上のようにして映像取込装置１からのカラー画像データ（各画素を構成するＲ、Ｇ及びＢの成分値）に基づいて各固有ベクトルを算出する。そして、算出した固有ベクトルを当該カラー画像データが表す映像の固有パターンとして記憶装置３に登録する（ステップＳ５）。
【００５８】
この固有パターンをＥとすると、固有パターンＥは、上記反射光強度固有ベクトルＥｉｎｔ、Ｒ成分色相固有ベクトルＥＴｏｎｅ，Ｒ、Ｂ成分色相固有ベクトルＥＴｏｎｅ，Ｂ、Ｒ成分固有ベクトルＥＣｏｍｐ，Ｒ、Ｇ成分固有ベクトルＥＣｏｍｐ，Ｇ、及びＢ成分固有ベクトルＥＣｏｍｐ，Ｂによって構成され、
【数９】
2003168116.tif 000009
または、各フレームの数９に拠る固有パターンをEｊ、j=1，2,..,n、（nはフレーム数）とし、|a|を“a”の絶対値、Fourier（A）を“A”のフーリエ変換を示すとすれば、
【数１０】
2003168116.tif 000010
または、各フレームの数９に拠る固有パターンEの構成ベクトルを、 Eintｊ、ETone,Rｊ , ETone,Bｊ , EComp,Rｊ , EComp,Gｊ , EComp,Bｊ ,j=1，2,..,n、（nはフレーム数）とすれば、
【数１１】
2003168116.tif 000011
の何れかで与えられる（ここでのＴは行列の転置を表す記号である）。なお、Ｒ成分色相固有ベクトルＥＴｏｎｅ，ＲとＢ成分色相固有ベクトルＥＴｏｎｅ，Ｂの代わりに、Ｒ成分色相固有ベクトルＥＴｏｎｅ，ＲとＧ成分色相固有ベクトルＥＴｏｎｅ，Ｇ、又はＧ成分色相固有ベクトルＥＴｏｎｅ，ＧとＢ成分色相固有ベクトルＥＴｏｎｅ，Ｂを用いることとしてもよいのは上述した通りである。
【００５９】
固有パターン抽出部２ａは、算出した各固有ベクトルの要素を数９から数１１の何れかで右辺の形に配列して固有パターンＥを生成し、記憶装置３へ出力して記録する。このとき、電子計算機２からは、上述の演算処理で使用したカラー動画像データも併せて記憶装置３へ出力し、固有パターンＥに対応させて記録しておくようにする。これにより、上記ステップＳで取り込んだ当該対象物ＶＯの映像から固有パターンが抽出されて記憶装置３に登録され、当該対象物ＶＯについての映像の固有パターン登録が完了する。
【００６０】
本動画像処理装置においては、以上の固有パターン登録処理をある程度の種類（数）の対象物ＶＯに対して予め実施することにより、記憶装置３内に複数の映像の固有パターンを蓄積した映像データベースを構築する。その後、認識処理対象として与えられる未知の対象物ＶＯの映像（以下「対象映像」という。）に対し、以下のようにして同定の処理を行う。
【００６１】
対象映像の同定
対象映像の同定を行う処理の手順を図３に示す。この処理では、まず、対象映像を映像取込装置１によって取り込む（ステップＳ１０）。これにより、当該対象映像を表すカラー動画像データが映像取込装置１から電子計算機２へ供給される。ここでのカラー動画像データは、認識処理対象である未知の対象物ＶＯの画像を構成する各画素の色成分Ｒ（赤）、Ｇ（緑）及びＢ（青）の情報を有しており、電子計算機２内の固有パターン抽出部へ送られる。
【００６２】
そのカラー動画像データを受けた固有パターン抽出部２ａは、上記同様の固有パターン抽出処理により、対象映像の固有パターン抽出を行う（ステップＳ１１）。すなわち、受けたカラー動画像データを用いて上述の「（１）映像の固有パターン登録」におけるステップＳ 〜Ｓ の演算処理を行い、当該カラー動画像データに基づく反射光強度固有ベクトルＥｉｎｔ、  Ｒ成分色相固有ベクトル  ＥＴｏｎｅ，Ｒ、Ｇ成分色相固有ベクトルＥＴｏｎｅ，Ｇ、Ｒ成分固有ベクトルＥＣｏｍｐ，Ｒ、Ｇ成分固有ベクトルＥＣｏｍｐ，Ｇ、及びＢ成分固有ベクトルＥＣｏｍｐ，Ｂを算出する。そして、これらの固有ベクトルの要素を上記数９から数１１の何れかで右辺の形に配列し、対象映像の固有パターンとする。
【００６３】
これによって得られた対象映像の固有パターンは、固有パターン抽出部２ａから同定演算部２ｂへ供給され、同定演算部２ｂによる同定演算が実行される（ステップＳ１２）。この同定演算は、対象映像を予め記憶した映像のいずれかと同定するための演算であり、対象映像の固有パターンと記憶装置３の映像データベースに登録されている固有パターンとの一致性を次のようにして評価する。
【００６４】
固有パターンの一致性評価では、映像データベースに登録されている固有パターンの線形結合で対象映像の固有パターンを表した線形システム方程式を考える。今、映像データベースにｍ個の固有パターンが登録されているとすると、システム行列（以下、記号「Ｃ」で表す。）は、
【数１２】
2003168116.tif 000012
で与えられる。
したがって、対象映像の固有パターンをＥＸとすると、次の線形システム方程式が得られる。
【数１３】
2003168116.tif 000013
数１３におけるＸは、映像データベースの各固有パターンの重みを要素とするｍ次のベクトルである。ここで、数１３を満たすベクトルＸが第ｊ番目の要素を１とし、他の要素をすべて０とするものであれば、固有パターンＥＸが映像データベースの固有パターンＥｊに等しいことになり、対象映像を固有パターンＥｊの映像と同定できる。すなわち、対象映像を予め記憶した映像と同定することは、数１３におけるベクトルＸを求める逆問題に帰着する（このため、以下ベクトルＸを「解ベクトルＸ」という）。
【００６５】
同定演算部２ｂは、固有パターン抽出部２ａから対象映像の固有パターンＥＸを受けると共に、登録されているｍ個の固有パターンを記憶装置３から読み出してシステム行列Ｃを得る。したがって、同定演算部２ｂでの同定演算においては、数１１におけるＥＸとＣを既知として解ベクトルＸを求めればよいので、一般の多変量解析等で用いられている逆問題の解法を利用して解ベクトルＸを算出することができる。
【００６６】
本実施形態では、その解法の一例として最小自乗法を利用する。固有パターンが上述した６つの固有ベクトルで構成されており、かつ、各固有ベクトルがダイナミックレンジＤで正規化した分布をヒストグラム化したものであることから、固有パターンの次数はダイナミックレンジＤの６倍である。この次数をｎとすると、次数ｎは、通常は映像データベースに登録されている固有パターンの個数ｍよりも大きいと考えてよいので、システム行列Ｃがｎ行ｍ列の長方行列になり（数１３が不適切な線形システム方程式になり）、解ベクトルＸの導出に最小自乗法を適用することができる。このようなことから、同定演算部２ｂは、固有パターン抽出部２ａからの固有パターンＥＸと記憶装置３から得たシステム行列Ｃを用い、最小自乗法による下記の演算を実行して解ベクトルＸを算出する。
【数１４】
2003168116.tif 000014
尚、数１３の不適切な線形システムの解法は、数１４に限られず、ここでは具体的１方法として採用しているにすぎないことは言うまでも無い。
【００６７】
以上のようにして同定演算部２ｂで算出された解ベクトルＸは、同定判定部２ｃと結果出力部２ｄへ供給され、結果出力部２ｄに対しては対象映像の固有パターンＥＸも併せて供給される。そして、同定判定部２ｃにより、解ベクトルＸに基づいて特定の固有パターンを同定する判定が行われる（ステップＳ１３）。例えば、解ベクトルＸのある１つの要素が１で他の要素がすべて０であれば、同定判定部２ｃは、その１である要素が重みづける映像データベースの固有パターンを対象映像の固有パターンであるものと判定する。また、ここでの判定では、解ベクトルＸのある要素が予め定めた一定値以上であり、他の要素が予め定めた別の一定値以下である場合に、前者の一定値以上の要素が重みづける固有パターンを対象映像の固有パターンであると判定するようにしたりしてもよい。
【００６８】
かかる同定判定部２ｃでの判定結果は結果出力部２ｄへ供給され、同定演算部２ｂからの解ベクトルＸ及び固有パターンＥＸと併せて結果出力部２ｄにより所定の結果出力とされる（ステップＳ１４）。すなわち、結果出力部２ｄは、同定判定部２ｃからの判定結果に基づき、同定された映像データベースの固有パターンとそれに対応記録されているカラー動画像データを記憶装置３から読み出し、それらのデータと同定演算部２ｂからの解ベクトルＸ及び固有パターンＥＸのデータを出力装置５へ出力する。これにより、出力装置５においては、認識処理対象として与えられた未知の対象物ＶＯについて、その映像の固有パターンＥＸ、同定演算結果の解ベクトルＸ、予め記憶してあった映像の中から同定された映像とその固有パターン、といった情報が表示装置の表示やプリンタの印刷出力等によって示され、対象映像の同定は終了する。
【００６９】
以上が本動画像処理装置の構成と動作である。上述したように、本動画像処理装置では、映像を取り込んだ画像における反射光強度、色相及び色成分の分布を一定のダイナミックレンジで正規化した後にヒストグラム化して当該映像の固有パターンを得ている。したがって、この固有パターンは、反射光強度、色相及び色成分のそれぞれの値の１画像中における相対的な出現頻度を表しており、映像を動画像化したときの画素数には依存しない。すなわち、上記固有パターンは、元の映像情報をヒストグラム化して全画素数に対する割合の形に変形することにより、計算機スクリーン等のハードウェアによって制限される画素数への依存性を払拭した情報になっている。
【００７０】
また、上述した固有パターンの抽出では、反射光強度等の分布を正規化された階級毎にヒストグラム化しているので、反射光強度等が元の画像において分布していた位置の情報は失われている。このため、上記固有パターンは、元の画像における基準座標に依存しない情報になっており、映像を取り込むときの視点とは無関係にその映像を表す情報として抽出され、映像の幾何学的な形状変化や配置変更等の影響を受けない。
【００７１】
このように、本動画像処理装置で抽出される固有パターンは、ハードウェアや映像を取り込むときの状況に依存しない映像本来の特徴量になっており、対象とする映像に固有の普遍量を表し、同一対象でも再現性がない可視化情報から適切な普遍量を抽出したものとなっている。そして、この普遍量においては、反射光強度、各色成分の色相及び各色成分がそれぞれ独立した構成要素になっており、それぞれを独立した情報として取り扱っている。したがって、これらの構成要素のうちの１つについてでも情報が得られれば、その普遍量を抽出して上述したように同定を行うことが可能である。すなわち、本動画像処理装置は、Ｒ、Ｇ若しくはＢの１色成分、Ｒ成分、Ｇ成分若しくはＢ成分の１色相、又は反射光強度単独、換言すればモノクロ動画像に対しても実現でき、より広範な可視化情報に対して柔軟に適用することができる。
【００７２】
また、従来におけるＲＧＢ直交座標上への投影による普遍量抽出方法では、普遍量の要素数がＲ、Ｇ及びＢの階調数を掛け合わせた数（階調数の３乗）になるのに対し、上記固有パターンでは、次数がダイナミックレンジＤの６倍（要素数が階調数等の６倍）であり、普遍量の要素数が従来よりも少ない。したがって、本画像処理装置によれば、上述のように映像本来の特徴を適切に表す普遍量が従来より少ないデータ量で抽出されて同定の処理に供されることになり、正確でかつ迅速な画像認識を行うことができる。
【００７３】
＜実験例＞
かかる本動画像処理装置の動画像認識精度を確認した実験例を以下に示す。以下の実験例では、映像取込装置１として同一のデジタルビデオカメラを使用し、映像データベース構築のための対象物ＶＯとして、4種類のカラーアニメーション画像、4種類のモノクロアニメーション画像、人間１１人の歩行動作や前半身の動画像を用いて、実験を行った。アニメーション画像は、理想的な環境下で撮影された動画像を想定するためである。人間11人の動画像中で、歩行動作時の人物服装の相違などが同定可能かを吟味するために、背景の異なる４動画像を２個採用した。人間３人の動画像は上半身の動作を同定するために採用した。また、対象映像の同定では、解ベクトルＸの要素中で最大値を取るものを判定することによって同定判定を行った。
【００７４】
・対象映像の同定実験    
図４は、対象映像として同一対象が異なる方向へ移動するカラーアニメーション画像を用いた場合の同定実験結果を示す図である。この図において、上段は同一対象が異なる方向へ移動しているアニメーション画像である。下段はフレーム移動方向に対するフーリエ周波数スペクトラム固有パターン（数１０）を用いて得られた解ベクトルＸの要素値を示したグラフである（これらの図示配置は後述する同定実験結果についても同様である）。この実験の目的は、同一対象画像の移動方向が異なっても、フレーム移動方向に対するフーリエ周波数スペクトラム固有パターン（数１０）を用いて同定可能かを吟味する点にある。
【００７５】
この同定実験では、下段のグラフに示されているように解ベクトルＸにおいて、上段に示されたNo（ナンバー）の要素は１、他はゼロとなり、フレーム移動方向に対するフーリエ周波数スペクトラム固有パターン（数１０）の有効性が確認できる。
【００７６】
・対象映像の同定実験    
図５は、対象映像として異なる対象が異なる方向へ移動するカラーアニメーション画像を用いた場合の同定実験結果を示す図である。この図において、上段は異なる対象が異なる方向へ移動しているデータベース動画像の１フレーム画像である。中段は、対象画像が異なる方向へ移動する供試アニメーションの１フレーム画像である。下段は、フレーム移動方向に対するフーリエ周波数スペクトラム固有パターン（数１1）を用いて得られた解ベクトルＸの要素値を示したグラフである。異なる対象が異なる方向へ移動した場合も、解ベクトルＸの最大値を取る要素から、個々の対象画像が同定可能であることが判る。この実験の目的は、異なる対象画像の移動方向が異なっても、フレーム移動方向に対するフーリエ周波数スペクトラム固有パターン（数１１）を用いて同定可能かを吟味する点にある。この意味で、フレーム移動方向に対するフーリエ周波数スペクトラム固有パターン（数１１）の有効性が確認できる。
【００７７】
・対象映像の同定実験    
図６は、対象映像として異なる対象が異なる方向へ移動する背景付きモノクロアニメーション画像を用いた場合の同定実験結果を示す図である。この図において、上段は異なる対象が異なる方向へ移動している背景付きモノクロデータベース動画像の１フレーム画像である。中段は、対象画像が異なる方向へ移動する背景付きモノクロ供試アニメーションの１フレーム画像である。下段は、フレーム移動方向に対するフーリエ周波数スペクトラム固有パターン（数１１）を用いて得られた解ベクトルＸの要素値、および全てのフレームを合成して１画像とする合成法による解ベクトルＸの要素値を示したグラフである。背景付きモノクロ動画像で、異なる対象が異なる方向へ移動した場合も、解ベクトルＸの最大値を取る要素から、個々の対象画像が同定可能であることが判る。この実験の結果は、背景が付いたモノクロ動画像で、異なる対象画像の移動方向が異なっても、フレーム移動方向に対するフーリエ周波数スペクトラム固有パターン（数１１）と合成画像法（段落００１３）を用いて同定可能かを吟味する点にある。この意味で、フレーム移動方向に対するフーリエ周波数スペクトラム固有パターン（数１１）と合成画像法（段落００１３）に拠る固有パターン（数９）の有効性が確認できる。
【００７８】
・対象映像の同定実験    
図７は、異なる人物の前半身の動作を実際のデジタルビデオカメラを用いて撮影した場合の同定実験結果を示す図である。この図において、上段は異なる対象が異なる動作をしている背景付きカラーデータベース動画像の１フレーム画像である。中段は、対象が異なる動作をしている背景付きカラー供試アニメーションの１フレーム画像である。下段は、全てのフレームを合成して１画像とする合成画像法（段落００１３）による解ベクトルＸの要素値を示したグラフである。解ベクトルＸの最大値を取る要素から、同一人物が異なる動作を行っても、同定可能であり、合成画像法（段落００１３）に拠る固有パターン（数９）の有効性が確認できる。
【００７９】
＜変形・応用等の例＞
以上、本発明の一実施形態について説明したが、本発明の実施の形態は上述したものに限られるわけではない。以下、他の変形ないし応用等について、いくつか例を挙げて説明する。
【００８０】
（１）適用対象の可視化情報
普遍量抽出や同定処理の対象としては、上述した実施形態では人間の視覚で捉えられる対象物の映像を用いたが、これに限らず、様々な動的可視化情報を用いることができる。特に、本発明に基づく普遍量抽出では、上記実施形態でも説明したように反射光強度や色成分等をそれぞれ別個の独立した情報として取り扱っているので、一般のカメラやビデオ・レコーダ等で撮影する通常のカラー映像はもとより、これ以外の形態の映像も対象とすることができる。
【００８１】
例えば、気象衛星による赤外線映像、電子顕微鏡による映像、ＭＲＩによる映像、トレーサを使った流体映像、カー効果による磁区画像等のように、通常は視覚で捉えることができない分布ないし形状等を映像化した動的可視化情報を適用対象としてもよい。また、音声や自然界の音などの波動をオシロスコープ等の機器で表示したもののように、本来的に視覚では認識されない情報を所定の方式で視認できるように表した動的可視化情報を適用対象とするのも可能である。
【００８２】
（２）映像生成条件
上記実施形態では光源ＬＳを一定のものとしたが、これに加えて背景等の他の映像生成条件も一定とすれば同定精度はさらに向上する。例えば、指紋や虹彩等の一致／不一致で同一人か否かを判定して開閉操作をする建造物のゲート等において、同一人か否かの判定に上記画像処理装置を用いることとすれば、対象映像は必然的に同一の場所（出入口付近）で取り込むことになる。したがって、映像データベースを構築する際にも予めその場所で映像を取り込んでおけば、背景等の映像生成条件を一定にした精度の高い同定を行うことができる。
【００８３】
（３）映像取込装置
上記映像取込装置１としては、デジタルビデオカメラ等を複数用いることとしてもよい。このようにすれば、情報リッチな固有パターンの生成が可能となり、同定精度を向上させることができる。また、複数の映像取込装置を利用し、それぞれの映像取込装置で得られた映像について上述した普遍量の抽出、映像データベースへの登録及び同定等の処理を行い、それらの処理結果を比較して最終的な同定を行うようにしてもよく、これによっても同定精度を向上させることができる。さらに、映像取込装置１で取り込む映像に加え、音声情報等を併用することとしてもよく、これによっても同定精度は向上する。
【００８４】
【発明の効果】
以上説明したように本発明によれば、動的可視化情報の画像データにおける画素の情報値分布から各情報値毎の出現頻度、または、動的可視化情報を構成する各フレーム画像データの各情報値毎の出現頻度をフレーム移動方向へフーリエ変換して得られるフーリエ周波数スペクトラムを当該動的可視化情報の普遍量として抽出することとしたので、画像中の画素を示す何等かの情報値を含む画像データであれば、その元の動的可視化情報の普遍量を抽出することができる。したがって、より広範な動的可視化情報に対して柔軟に適用することができ、計算機による動的可視化情報の処理能力を人間の視覚情報処理能力に一層近づけることができる。
【００８５】
また、情報値の分布を一定範囲内の値を取る分布に正規化し、正規化された各情報値毎の出現頻度を求めて動的可視化情報の普遍量を得ているので、この普遍量は、元の情報値の１画像中における相対的な出現頻度を表しており、元の画像データの画素数に依存せず、かつ、各画素の情報値が元の画像において分布していた位置の情報を失っている。したがって、本発明によれば、ハードウェアや動的可視化情報を取り込むときの状況に依存せず、動的可視化情報本来の特徴を適切に表す普遍量を抽出することができる。
【００８６】
さらに、画像データとして各画素の３原色の成分値を含むものを用いる場合、それらの成分値に基づいて得られる複数の情報値分布をそれぞれ正規化し、正規化された各情報値毎の出現頻度を動的可視化情報の普遍量としているので、得られる普遍量の要素数は、正規化された情報値が取り得る値の個数に情報値分布の個数（前記複数に当たる数）を乗じた分に止まり、上述のように動的可視化情報本来の特徴を適切に表す普遍量が少ないデータ量で抽出される。これにより、計算機で取り扱うデータの量を少なくすることができ、迅速かつ正確な処理をすることが可能になる。
【００８７】
そして、本発明による画像処理においては、以上のような普遍量の抽出を利用しているので、様々な形態の動的可視化情報の画像に適用することができる上に、正確かつ迅速に画像の同定を行うことができ、人間の視覚情報処理能力に一層近づいた動画像認識を実現することができる。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】図面の簡単な説明
【補正方法】変更
【補正の内容】
【図面の簡単な説明】
【図１】  本発明の一実施形態による動画像処理装置の構成を示す図である。
【図２】  同動画像処理装置による映像の固有パターン登録の処理手順を示したフローチャートである。
【図３】  同動画像処理装置による対象映像の同定の処理手順を示したフローチャートである。
【図４】  同動画像処理装置において、背景の無い同一カラー対象画像が異なる動きをする場合の同定実験結果を示す図である。
【図５】  同動画像処理装置において、背景の無い異なるカラー対象画像が異なる動きをする場合の同定実験結果を示す図である。
【図６】  同動画像処理装置において、背景のあるモノクロ対象画像が異なる動きをする場合の同定実験結果を示す図である。
【図７】  同動画像処理装置において、実際にデジタルビデオカメラを用いて、異なる人物が異なる動作をする場合の同定実験結果を示す図である。
【図８】  従来の普遍量抽出方法において計算機スクリーン上の画素をＲＧＢ直交座標上へ投影する様子を概念的に示した図である。
【符号の説明】
１  映像取込装置
２  電子計算機
２ａ  固有パターン抽出部
２ｂ  同定演算部
２ｃ  同定判定部
２ｄ  結果出力部
３  記憶装置
５  出力装置
ＬＳ  光源
ＶＯ  対象物