(57)【要約】【課題】画像の認識と識別をより高精度化すること。【解決手段】物体５の画像を生成する画像生成器３と、画像生成器３により生成された画像を非線形固有空間に射影する射影器２と、非線形固有空間Ｎの射影点Ｐ’と非線形固有空間Ｎに生成されている物体５の多様体９との近接度を計算する多様体近接度計算器１とを具備している。公知手法の線形変換を非線形変換に換えることにより、図形の特徴を高精度に表現して、画像の認識と識別をより高精度化することができる。【選択図】          図１
2004220138.tif 000002
【特許請求の範囲】
【請求項１】
物体の画像を生成する画像生成器と、
前記画像生成器により生成された画像を非線形固有空間に射影する射影器と、
前記非線形固有空間の射影点と前記非線形固有空間に生成されている前記物体の多様体との近接度を計算する多様体近接度計算器
とを構成する画像認識装置。
【請求項２】
前記非線形固有空間は、前記物体に関する多数の画像により形成される特徴ベクトルの線形空間内の分布に特有である特徴軸である
請求項１の画像認識装置。
【請求項３】
前記多様体生成器は前記多様体上の隣り合う２点の間を補間する
請求項１の画像認識装置。
【請求項４】
前記特徴軸は曲がった複数次元空間である
請求項１〜３から選択される１請求項の画像認識装置。
【請求項５】
前記多様体近接度計算器は、前記射影点と前記射影点に近接する前記多様体上の点との間の距離を計算する
請求項１〜４から選択される１請求項の画像認識装置。
【請求項６】
前記物体は人であり、前記多様体近接度計算器は、前記射影点と前記射影点に近接する前記多様体上の点とに基づいて人の進行方向を判定する
請求項１〜５から選択される１請求項の画像認識装置。
【請求項７】
前記物体は人であり、前記多様体近接度計算器は、前記射影点と前記射影点に近接する前記多様体上の点とに基づいて人の手話を判定する
請求項１〜５から選択される１請求項の画像認識装置。
【請求項８】
前記物体は車輌であり、前記多様体近接度計算器は、前記射影点と前記射影点に近接する前記多様体上の点とに基づいて前記車輌の走行方向を判定する
請求項１〜５から選択される１請求項の画像認識装置。
【請求項９】
前記物体は航空機であり、前記多様体近接度計算器は、前記射影点と前記射影点に近接する前記多様体上の点とに基づいて前記航空機の待機方位を判定する
請求項１〜５から選択される１請求項の画像認識装置。
【請求項１０】
物体の多数の画像の特徴を示す特徴ベクトルを生成する学習器と、
前記画像により形成される特徴ベクトルの線形空間内の分布に特有である非線形空間を生成する非線形空間生成器と、
前記特徴ベクトルに基づいて共分散行列を作成し、前記共分散行列に基づいて低次元化された固有ベクトルを生成する固有ベクトル生成器と、
前記固有ベクトルを前記非線形空間に射影して多様体を生成する多様体生成器
とを構成する画像学習装置。
【請求項１１】
前記物体の画像を撮影により生成する撮影器
を更に構成する請求項１０の画像学習装置。
【請求項１２】
前記物体を照明する照明器
を更に構成する請求項１１の画像学習装置。
【請求項１３】
前記物体の画像を計算により生成する画像生成器
を更に構成する請求項１０の画像学習装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像認識装置、及び、画像学習装置に関し、特に、運動する物体の画像を識別する画像認識装置、及び、画像学習装置に関する。
【０００２】
【従来の技術】
通行量は、大型と小型で分類される車種で区分けされて調査される。車種の人による認識は、コンピュータ技術に代替されることが求められる。画像認識の数学的技術として、固有空間法が顕著に知られている。画像認識は、学習により蓄積された物体モデルと未知画像パターンが処理されて抽出される特徴との比較と照合である。歴史的に初期の画像認識は、テンプレートマッチングである。画像認識の高精度化のための数学的技術として、既述の固有空間法が知られている。後掲特許文献１は、パラメトリック固有空間法の利点とこれを利用して画像認識を行う際の問題点を指摘し、画像を高速に且つ正確に識別することができる画像識別技術を提供している。
【０００３】
固有空間法は、２次元平面に投影される画像から３次元物体を逆算的に求める手法である。一般的には、大きな次元のベクトルが、小さい次元の直交部分空間に線形射影される。ｄ次元特徴ベクトルは、以下に、表現される。
ｘ＝［ｘ１，ｘ２，・・・，ｘｄ］Ｔ
これから下記手順で部分空間が求められる。ｄ次元特徴ベクトルから共分散行列Ｓが、次式で定義的に求められる。
Ｓ＝Ｅ｛（ｘ−ｍ）（ｘ−ｍ）Ｔ｝
ここで、ｍはｘの平均ベクトルであり、
ｍ＝Ｅ｛ｘ｝
ここで、下記式：
Ｓｕｊ＝λｊｕｊ
の固有値問題が解かれる。求めるべき部分空間の次元がｋで表される。ｋ個の大きな値の固有値に対応する固有ベクトル
｛ｕ１，ｕ２，・・・，ｕｋ｝
によって張られる部分空間が求められるべき部分空間である。
特徴ベクトルｘ（＝ｘ｛ｘ１，ｘ２，・・・，ｘｄ｝Ｔ）の線形射影ｙとしてｋ次元特徴ベクトルが次式で規定される。
ｙ＝［ｕ１，ｕ２，・・・，ｕｋ］Ｔｘ
ここで写像［ｕ１，ｕ２，・・・，ｕｋ］は、ｄ×ｋの行列である。線形射影の次元ｋは、もとの画像ｘの次元ｄより（はるかに）小さい。
ｋ＜ｄ
【０００４】
この低次元化は一種の画像圧縮である。このような低次元化は、計算量の低減を可能にする。共分散行列に代替されて、自己相関行列Ｓ
Ｓ＝Ｅ｛ｘｘＴ｝
が用いられる。自己相関行列と共分散行列は、原点の取り方は異なるが、数学的には等価であり、本明細書では同義である。このような画像圧縮法は、画像圧縮データに基づいて、限られた係数から元の画像を再現する際の自乗誤差を最小にする変換である。
【０００５】
固有空間法は、村瀬らにより、パラメトリック固有空間法に発展させられた（非特許文献１参照）。固有空間の中に３次元物体の見かけ上の構造が表現される。物体のポーズの変化とその物体を照射する光源（点光源）の位置の変化は、固有空間上の多様体で表現することができる。村瀬らの考えは、固有空間法が単にクラスの分類だけにとどまらず、物体の向き（例示：航空機の前向き、横向き、後ろ向き）のようなパラメータを検出することができる新しい数学的手法の存在を示している。そのような数学的手法は、パラメトリック固有空間法と名づけられている。
【０００６】
パラメトリック固有空間法の基本的処理手順は、以下に述べられる。
手順１（学習段階）：
３次元物体の見かけの画像は、その物体の方向と照明の位置により大幅に変動する。ある物体の１回転は、多様に多い画像を生成する。そのような多数の画像の記憶が、学習といわれる。物体の学習は、２段階の処理により実行される。
【０００７】
第１段階目学習処理：
第１段階目学習処理は、多数の画像の集合である画像集合を固有ベクトルにより圧縮する数学的処理である。学習のために収集する画像は、学習対象の３次元物体の向きを変化させながらＣＣＤカメラで撮影することにより得られる。その際には、光源の位置の変化が追加されている。このように収集された収集画像集合から、物体領域が抜き取られる（マスキング処理）。次に、物体領域の大きさが規格化される。画像パターンは、画素を要素とするベクトルｘで表現される。画像ｘのエネルギーが１であるように画像の明るさが正規化される。
‖ｘ‖＝１
【０００８】
その画像集合｛ｘ１，ｘ２，・・・ｘｄ｝から既述の共分散行列Ｓが計算される。
Ｓ＝Ｅ｛（ｘ−ｍ）（ｘ−ｍ）Ｔ｝
これから、既述の通りに、
Ｓｕｊ＝λｊｕｊ
により固有値問題が解かれ、ｋ（＜ｄ）個の大きな値の固有値に対応する固有ベクトル
｛ｕ１，ｕ２，・・・，ｕｋ｝
が低次元化された部分空間として求められる。
【０００９】
第２段階目学習処理：
第２段階目学習処理は、物体の方向と光源の位置の変化により連続的に変化する画像を固有空間上の多様体で表現する表現段階である。固有空間とは、固有ベクトルを軸とする空間（今の場合、ｋ次元空間）であり、１枚の画像ｘｊ（ｊ＝１〜ｄ）は、固有空間上の１つの点に対応する。即ち、ｋ次元の線形射影
ｙ＝［ｕ１，ｕ２，・・・，ｕｋ］Ｔｘ
により、ｄ次元特徴ベクトルｘはｋ次元固有空間の上の点ｙに変換される。１回転分の学習サンプル系列を固有空間上に投影すれば、投影点は１次元の点の系列（点列）になる。サンプル系列中で連続する２枚の画像間の相関は一般には強いので、このような点系列は固有空間上で滑らかに運動することになる。このことは、相関が強い２枚の画像に対応する固有空間上の２点の間の距離が小さいことに対応している。隣り合う２点間の間の点は、キュービックスプラインのような処理技術により有効に補間される。
【００１０】
更に光源が移動させられ、回転に次いで、光源移動に対応する画像について補間処理が実行され、画像点列は２次元化されその多様体は２次元化（面状化）され画像の点の集合は曲面として形成される。
【００１１】
手順２（認識段階）：
認識対象画像に対してマスキングのような前処理を行って、既述の正規化を行い、画像ベクトルｘ’を固有空間上の点ｚ（既述のｙに相当）に投影する。このように投影された点ｚが、ｃ（クラスの数）種類の曲面のどの点に乗っているかが調べられる。点ｚと曲面ｇ（ｉ）（θ１，θ２）との距離
ｄ（ｉ）＝ｍｉｎ‖ｚ−ｇ（ｉ）（θ１，θ２）‖
が最小になるｄ（ｉ）が求められる。ここで、θ１，θ２は、既述の向きと光源の位置に対応する変数である。この点ｚがどのクラスの多様体にも近くない場合には、認識対象物体は学習された物体ではないと判定される。
【００１２】
固有空間法は、ｄ次元特徴ベクトルをｋ次元固有ベクトルを基底とする部分空間に射影するための写像として線形変換（行列）を用いている。線形変換に基づく場合よりもより画像の認識を高精度化することが求められる。
【００１３】
【特許文献１】
特開２００２−１４０７０６号公報
【非特許文献１】
村瀬，ナイヤ：「２次元照合による３次元物体認識−パラメトリック固有空間法−，信学論，Ｖｏｌ．  Ｊ７７−Ｄ−ＩＩ，  Ｎｏ．  １１，  ｐｐ．  ２１７９−２１８７，  １９９４．
【００１４】
【発明が解決しようとする課題】
本発明の課題は、画像の認識をより高精度化することができる技術を確立する画像認識装置、及び、画像学習装置を提供することにある。
本発明の他の課題は、画像の認識と識別をより高精度化することができる技術を確立する画像認識装置、及び、画像学習装置を提供することにある。
【００１５】
【課題を解決するための手段】
その課題を解決するための手段が、下記のように表現される。その表現中に現れる技術的事項には、括弧（）つきで、番号、記号等が添記されている。その番号、記号等は、本発明の実施の複数の形態又は複数の実施例のうちの少なくとも１つの実施の形態又は複数の実施例を構成する技術的事項、特に、その実施の形態又は実施例に対応する図面に表現されている技術的事項に付せられている参照番号、参照記号等に一致している。このような参照番号、参照記号は、請求項記載の技術的事項と実施の形態又は実施例の技術的事項との対応・橋渡しを明確にしている。このような対応・橋渡しは、請求項記載の技術的事項が実施の形態又は実施例の技術的事項に限定されて解釈されることを意味しない。
【００１６】
本発明による画像認識装置は、物体（５）の画像又は映像を生成する画像生成器（３）と、画像生成器（３）により生成された画像を非線形固有空間に射影する射影器（２）と、非線形固有空間（Ｎ又はＫ）の射影点（Ｐ’）と非線形固有空間（Ｎ）に生成されている物体（５）の多様体（９）との近接度を計算する多様体近接度計算器（１）とを具備している。
【００１７】
公知手法の線形変換を非線形変換に換えることにより、公知の画像認識の精度を更に二重に相乗的に高精度化し、画像の認識と識別をより高精度化することができる。
【００１８】
非線形固有空間（Ｎ）は、物体（５）に関する多数の画像により形成される特徴ベクトル（ｘ）の線形空間内の分布に特有である特徴軸である。曲がった空間に投影される画像点の集合である多様体は、原図形の特徴をより顕著に表現することができる。多様体生成器（１）は多様体上の隣り合う２点の間を補間する。公知手法として知られる補間は、図形の識別の精度を更に向上させ、補間効果を更に際だたせることができる。特徴軸は、当然に、曲がった複数次元空間である。多様体近接度計算器（１）は、射影点（Ｐ’）と射影点（Ｐ’）に近接する多様体上の点（Ｐ）との間の距離を計算する。距離は、画像の同定性を明白化する。
【００１９】
物体（５）は人であれば、多様体近接度計算器（１）は、射影点（Ｐ’）と射影点（Ｐ’）に近接する多様体上の点（Ｐ）とに基づいて人の進行方向を判定することができ、射影点（Ｐ’）と射影点（Ｐ’）に近接する多様体上の点（Ｐ）とに基づいて人の手話を判定することができる。物体（５）が車輌であれば、多様体近接度計算器（１）は、射影点（Ｐ’）と射影点（Ｐ’）に近接する多様体上の点（Ｐ）とに基づいて車輌の走行方向を判定することができる。物体が航空機であれば、多様体近接度計算器（１）は、射影点（Ｐ’）と射影点（Ｐ’）に近接する多様体上の点（Ｐ）とに基づいて航空機の待機方位を判定する。待機方位がわかれば、その機種が区別され得る。
【００２０】
本発明による画像学習装置は、物体（５）の多数の画像の特徴を示す特徴ベクトル（ｘ）を生成する学習器（３）と、画像により形成される特徴ベクトル（ｘ）の線形空間内の分布に特有である非線形空間（Ｋ）を生成する非線形空間生成器（８）と、特徴ベクトル（ｘ）に基づいて共分散行列（Ｓ）を作成し、共分散行列（Ｓ）に基づいて低次元化された固有ベクトル（ｕ）を生成する固有ベクトル生成器（７）と、固有ベクトル（ｕ）を非線形空間（Ｎ（＝Ｋ））に射影して多様体（９）を生成する多様体生成器（１）とを具備している。
【００２１】
画像認識に先だって、変換された画像点の多様体を学び取ることができる。学習により多様体が作成された後には、その多様体の点に対応する原画像は画像列として認識され得る。その場合に、写像が非線形写像であり、原画像の認識と識別とが更に高精度化される。
【００２２】
学習のために、物体（５）の画像を撮影により生成する撮影器（６）が用いられ得るが、画像は計算により生成され得る。撮影の際には、照明器が追加される。照明器は、太陽に相当し、車輌の画像を現実に忠実に作成することができる。多様体のパラメータは、随意に多次元化され得る。
【００２３】
【発明の実施の形態】
図に対応して、本発明による画像認識装置は、多様体近接度計算器を学習画像収集器とパラメトリック固有空間射影変換器とともに具備している。その多様体近接度計算器１には、固有特徴ベクトル構成器２を介して、学習画像収集器３により物体ｉについて収集される画像集合４が低次元化されて入力される。
【００２４】
物体ｉは、特定車種ｉの自動車が好適に例示される。車種ｉは、ｉ＝１であれば、大型トレーラ、ｉ＝２であれば、大型トラック、ｉ＝３であれば、小型トラック、ｉ＝４であれば、乗用車として定義されている。以下、ｉが４である乗用車（以下、物体といわれる）５についてその数学的構造が記述される。
【００２５】
物体５は、鉛直軸Ｌのまわりに回転させられる。連続形状変換を受ける物体５の実像がカメラ（例示：ＣＣＤカメラ）６により撮影される。その実像の数は無限ではなく有限であり、時系列的に撮影される。ＣＣＤカメラ上で、時系列点上の１つの画像情報は、２次元表現点集合として数値化される。画像情報のうちで背景は取り除かれ、画像のうち閉じた外形線のみが取り出され得る。
【００２６】
時系列点上の画像集合は、ｄ個の要素画像（元）を構成し、ｄ次元特徴ベクトルと言われる。ここでベクトルとは、線形変換を受けることができる数の集まりである。ｄ次元特徴ベクトルｘは、下記式で表現される。
ｘ＝［ｘ１，ｘ２，・・・，ｘｄ］Ｔ・・・（１）
ｄ次元特徴ベクトルｘは固有ベクトル計算器７に入力される。固有ベクトル計算器７は、ｄ次元特徴ベクトルｘに基づいて既述の共分散行列Ｓを計算し、下記式：
Ｓｕｊ＝λｊｕｊ・・・（２）
により、ｋ次元固有特徴ベクトルｕが求められる。：
ｕ＝｛ｕ１，ｕ２，・・・，ｕｋ｝・・・（３）
ここで、ｋ＜ｄ。
【００２７】
ｋ次元固有特徴ベクトルｕは、固有ベクトル計算器７から出力されて固有特徴ベクトル構成器２に入力される。固有特徴ベクトル構成器２は、ｋ次元特徴ベクトルｕに対応する非線形変換写像を用いて多様体ｙを計算により生成する。その非線形変換写像ｆは、次式で記号化されて表現される。
2004220138.tif 000003
公知手法の線形変換写像では、既述の通り、
ｙ＝［ｕ１，ｕ２，・・・，ｕｋ］Ｔｘ・・・（５）
で表現される。ここで、行列［ｕ１，ｕ２，・・・，ｕｋ］は、ｋ×ｄのスケールの非正方行列である。
【００２８】
式（４）で表される非線形変換写像｛ｕ１，ｕ２，・・・，ｕｋ｝ＮＴによる非線形変換により、ｄ次元特徴ベクトルｘは、ｄより小さい次元数ｋのｋ次元特徴ベクトルｙに変換されている。学習画像収集器３は、その内部の非線形空間生成器８を有している。直交系ｄ次元線形空間を生成している非線形空間生成器８は、部分空間としてＮ次元非線形空間を生成している。物体５のあらゆる方向から見たｄ個の像ｘｊ（ｊ＝１〜ｄ）の集合［ｘ１，ｘ２，・・・，ｘｄ］は、多次元立方体的、多次元球体のような対称性に乏しく、特徴的に曲がった空間（超平面Ｋと言われる）を形成している。その特徴的超平面Ｋは、その特徴を示す曲がった特徴軸Ｎ（Ｎ＝Ｋ）を形成している。特徴軸Ｎは、Ｎ次元非線形空間である。特徴軸Ｎの次元ｎは、ｄより小さい。ｎがｋに一致することは可能である。
【００２９】
多様体近接度計算器１は、式（４）で表される非線形変換のｋ次元特徴軸の上に、特徴ベクトルｘを射影する。Ｎが線形空間であれば、多様体近接度計算器１は、公知のパラメトリック固有空間法をそのままに踏襲して線形空間内多様体を生成するが、本発明による画像認識装置では、非線形空間Ｎ（＝超平面Ｋ）の中に、物体５の画像の多様体９を生成する。メービスの帯のような多様体は、人が歩く姿勢のような時間的に循環する動作の連続画像に関して現れる特徴的な図形である。多様体上で隣り合う２点は、時系列上の隣り合う２点に対応することが可能である（物体を等角速度で回転させて時間的に連続的に撮影した場合に可能である。）。
【００３０】
多様体近接度計算器１が生成した多様体の図形のパラメータは２つである。その２つのパラメータは、物体５の回転角度θ１と、物体５に対する照明器１１の光軸の角度θ２とである。多様体９である超平面は、２次元成分を有している。
【００３１】
他のカメラ又は同一のカメラ６で、同じ物体５に対して１つの画像が作成される。他の検出画像収集器３’又は同じ学習画像収集器３と、他の固有特徴ベクトル構成器２’又は同じ固有特徴ベクトル構成器２とにより、その単一画像４’について、同じ特徴軸Ｎ上に多様体要素Ｐ’が生成される。超平面である多様体９の上の任意の点Ｐと単一画像対応点Ｐ’との距離ｄｉが次式で表される。
ｄ（ｉ）＝ｍｉｎ‖Ｐ−Ｐ（ｉ）（θ１，θ２）‖・・・（６）
ｄ（ｉ）が零であれば、その点Ｐ’に対応する画像は多様体に含まれる画像に完全に一致している。一般には、
Ｐ’≠Ｐ
そのような離散点の間は、補間計算により求められ、点Ｐ’に最も近い多様体９の上の補間点Ｐ”が、点Ｐ’に同定される。
【００３２】
多様体上の隣り合う２点は、時系列性を保持しているから、その画像の自動車は近づいて来ているか、遠ざかっているかの判定が可能である。その画像の特徴から前進しているか後退しているかが判定され得る。人の歩く姿勢に関しては、その画像はその人の後ろ姿かどうかが判定される。その画像が航空機に関していれば、その航空機は接近中かどうか、右旋回中かどうかが判定される。多様体上の隣り合う２点は、データ連鎖を有し、時間的、空間的にその先後の情報を有している。
【００３３】
本発明による画像認識装置は、非線形空間に対する射影を実行する写像構造を有し、その特徴ベクトルが更に有効に特徴化して顕現していて、画像認識の精度を飛躍的に向上させることができる。
【００３４】
実施例（人に関して）：
４叉路の人の通行量を計測するために、１台又は複数台のカメラが道路横に設置される。歩き方が異なる多数のタイプの人の歩く姿勢を収集して、非線形空間上に低次元化して多様体を構成する。不特定の人の歩く姿勢をその多様体上で最近接点を探知することにより、その人の歩く方向を判定することができる。人の昼間の通行量を向き付けて自動的に計測することができる。
【００３５】
他の実施例（車に関して）：
車輌の通行量を向き付けて自動的に計測する。車輌の向きの判定に次いで、特徴量を変更することにより、車輌の大型と小型を識別することができる。この場合、物体のクラスｉの数が変更される。その画像が車輌の側面の画像であれば、その長さを基準として選択することにより、大型と小型を区別することができる。その画像が車輌の前面の画像であれば、水平エッジの長さを基準として選択することにより大型と小型を区別することができる。
【００３６】
更に他の実施例（航空機に関して）：
空港内で離陸待機する航空機の俯瞰画像に基づいて、機体の向きをより高精度に識別する。機体の向きの判定に次いで、機種を認識することができる。その画像が機体の側面の画像であれば、機体の形状と尾翼の形状を特徴として機種を識別することができる。その画像が機体の前面の画像であれば、機体の主翼の形状を特徴として機種を識別することができる。このような識別は、離陸のために待機している航空機が指定方位の待機状態になっているかどうかが高精度に認識され得る。
【００３７】
更に他の実施例（手話に関して）：
手話の自動翻訳が可能であり、手話を学ぶツールとして利用可能である。
【００３８】
【発明の効果】
本発明による画像認識装置、及び、画像学習装置は、非線形空間写像を構成することにより、画像認識の識別精度が二重に相乗的に向上する。
【図面の簡単な説明】
【図１】図１は、本発明による画像認識装置の実施の形態を示すシステムブロック図である。
【符号の説明】
１…多様体近接度計算器（多様体生成器）
２…射影器
３…画像生成器（学習器）
５…物体
６…撮影器
８…非線形空間生成器
９…多様体
ｘ…特徴ベクトル
Ｐ…点
Ｐ’…射影点
Ｓ…共分散行列
ｕ…固有ベクトル
Ｎ，Ｋ…非線形固有空間
【図１】
2004220138.tif 000004