(57)【特許請求の範囲】
【請求項１】
カメラ等の光学的手段により入力される認識対象の全体的画像と特徴的局所の画像から対象の認識を行う画像認識システムにおいて、全体的画像及び局所画像を解析する全体画像処理手段及び局所画像処理手段を備え、前記局所画像処理手段は局所画像毎に対応する複数の局所モジュールから成り、各局所モジュールは担当する入力局所画像の特徴を抽出する機能と、抽出された特徴と認識画像との整合性を評価する機能とを有し、前記全体画像処理手段は入力される全体画像の全体的特徴を抽出する機能と抽出された全体的特徴と認識画像との整合性を評価する機能とを有し、前記全体画像処理手段は前記局所モジュールからの入力を受けて全体的特徴と不整合な前記局所モジュールの前記機能を抑制し、全体的特徴と整合する前記局所モジュールの前記機能を活性化するよう構成したことを特徴とする画像認識システム。
【請求項２】
前記局所画像処理手段を構成する各局所モジュールは、局所画像の位相に対応して担当する局所画像が定められており、同一局所画像の異なる位相に対応する複数の局所モジュールとして構成されることを特徴とする請求項１記載の画像認識システム。
【請求項３】
前記局所画像処理手段を構成する各局所モジュールは、局所画像の形状に対応して担当する局所画像が定められており、同一局所画像の異なる位相に対応する複数の局所モジュールとして構成されることを特徴とする請求項１記載の画像認識システム。
【請求項４】
前記局所画像処理手段を構成する各局所モジュールは、入力局所画像の特徴を抽出する機能を有する第１副モジュールと、予め学習した認識対象の当該局所画像の固有空間の知識を有する第２副モジュールと、前記第１副モジュールが抽出した特徴を有する入力局所画像の画像情報を第２副モジュールの固有空間へ投射した結果の射影距離に基づき整合性を評価する機能を有する第３副モジュールとから構成されることを特徴とする請求項１記載の画像認識システム。
【請求項５】
前記第１副モジュールは、予め学習した認識対象の当該局所画像の平均ベクトルの知識を有することを特徴とする請求項４記載の画像認識システム。
【請求項６】
前記全体画像処理手段は、予め学習した認識対象の全体画像の平均ベクトルの知識を有する第１副モジュールと、予め学習した認識対象の全体画像の固有空間の知識を有する第２副モジュールと、前記第１副モジュールが抽出した特徴を有する入力全体画像の画像情報を第２副モジュールの固有空間へ投射した結果の射影距離に基づき整合性を評価する機能を有する第３副モジュールとから構成されることを特徴とする請求項１記載の画像認識システム。
【請求項７】
前記局所画像処理手段において、同一局所画像の異なる位相に対応する複数の局所モジュール間においては、第１副モジュールが活性化した局所モジュールは異なる位相の解析処理を行っている他の局所モジュールに活性化する信号を出力することを特徴とする請求項４記載の画像処理システム。
【請求項８】
前記局所画像処理手段において、異なる局所画像を担当する複数の局所モジュールが近似した位相領域からの画像情報を入力している場合において、第１副モジュールが活性化した局所モジュールは他の局所モジュールを抑制する信号を出力することを特徴とする請求項４記載の画像処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人工頭脳システムに関するものであり、さらに詳しくは生物の視覚認識に近似した画像処理方法によりカメラ等の光学機器より入力した種々の画像情報を数値化し、コンピュ−タにより計算処理して画像を認識することが可能であり、自己学習によりさらに効率的に画像を認識しうるコンピュ−タによる画像情報処理システムに関するものである。
【０００２】
【従来の技術】
従来より生物における視覚認識の大脳生理学的機能が解明されるにつれて、その認識機能に近似したモデルをコンピュ−タ等を用いて構成し人工的な視覚学習システムを構築する努力がなされてきた。かかる視覚学習システムは、例えばビデオカメラにより入力された光景を数値化して表現しこれを解析することにより、光景中の或る対象を認識して特定または分類する。即ち入力画像パターンと学習により蓄積されている認識対象の画像パターンとの一致を確認する解析処理をおこなうシステムである。
【０００３】
入力された光景は画素上の光量に対応する電圧値等の数値に変換され、ベクトルとして表現される。例えば画素領域２７×２７のイメージサイズの場合は７２９次元のベクトルが直交軸空間に分散している形として表現される。かかる多量のデータを解析処理して目標の画像パターンを識別するのは、現存するコンピュータの能力からも不可能に近い。
【０００４】
従って、これらの解析には認識対象の入力画像パターンを特徴を表現する圧縮されたデータに置換する処理をおこない、蓄積された学習パターンと比較的容易に対比しうるようにすることが要求される。効率的にデータを解析するためには、データ空間の最も特徴的な領域に限定されるよう、いわゆる部分空間に区分することが望ましい。
【０００５】
このような要求を解決する手法として主成分分析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔｓ  Ａｎａｌｙｓｉｓ；ＰＣＡ）がある。この方法は多次元のイメージ空間内の対象画像データの分布を特徴的分布にグループ化し、その分布を特定するために固有ベクトルの主要成分を用いることができるという認識に基づいている。即ちこれら固有ベクトルはイメージ群中の変化に対応する画素上の光量の変化量それぞれに起因するものであり、イメージ群中の変化を協同して特徴づける特徴群であると考えられる。
【０００６】
対象画像に対応する各ベクトルは固有ベクトルに対して大きく寄与するものも、それほど寄与しないものもある。対象画像はイメージ群内の大きな変化に起因する、例えば大きい固有値を持つ固有ベクトルの主要成分の組み合せにより殆ど表現できるのである。
【０００７】
言葉を換えて言えば、対象画像を非常に正確に再現するためには多数の固有ベクトルが必要であるが、対象画像の外観の特徴を表現するだけなら少ない固有ベクトルで充分に表現できるということである。以上の方法を利用して人間の顔を認識するシステムが米国特許第５１６４９９２号に開示されている。
【０００８】
その技術を以下に要約する。まず多数の既知の人間の顔の画像を学習する。顔画像の画素数をＮとすると、Ｍ個の顔画像はＮ2 のベクトルΓ1 、Γ2 、Γ3 ───Γm で表され、これらの顔画像ベクトルの平均値を求める。
【０００９】
各個人の顔のベクトルと平均値との差をとると、〔Φi ＝Γi −平均ベクトル〕のＭ個のベクトル群となる。このベクトル群をＡ＝〔Φ1,────ΦM 〕と定義すると、Ａの共分散マトリックスＣ＝ＡＡT の固有ベクトル及び固有値としてベクトルｕk 及びスカラー量λk を算出することにより、顔の固有空間が求められる。
【００１０】
マトリックスＣはイメージの画素数がＮ×Ｎの場合Ｎ2 の固有ベクトル及び固有値を有する。  しかし、顔の背景をも含む全体イメージ空間の次元Ｎ2 より顔データの数Ｍが少ない場合（Ｍ＜＜Ｎ2 ）は、顔の画像認識のためにはＭ×Ｍ次元のマトリックスＬ＝ＡT Ａの固有ベクトルを計算すればよい。マトリックスＬのＭ個の固有ベクトルνi から顔の固有空間ｕl ＝Ａνi が求められる。以上の解析によりデータは圧縮され計算回数は非常に減少される。
【００１１】
入力する顔のイメ−ジ（Γ）は単純な操作により顔空間の成分に変換される。この処理を顔の固有空間に投射するという。
【００１２】
ωk ＝ｕk T （Γ−Ψ）        Ψ；平均ベクトル
この操作はイメージ処理装置により行われる。ΩT ＝〔ω1,ω2 ───ωM 〕は重みで入力イメージのパターンに各顔の固有空間が寄与する程度を表す。このベクトルΩが標準的パターン認識に用いられる。
【００１３】
入力イメージΦ＝Γ−Ψと次式（１）で定義される顔の固有空間Φf との距離は次式（２）で定義され、εが閾値以内であれば入力イメージはΦf であると認識する。
【００１４】
【数１】
0003894522.tif 000002
【００１５】
つまり全体のイメージの光景の内、顔のイメージの配分を最も良く評価するベクトルを決定することにより顔のイメージの部分空間を限定することができる。このためデータ数をかなり低減して顔の特徴を形成する限定された１セットのデータに焦点を合わせることができる。
【００１６】
一度評価ベクトルを決定すれば入力イメージが顔であるか否か分類でき、顔であることが判れば蓄積された既知の個人の顔のパターンと比較することにより、特定の個人の顔が認識が可能となる。
【００１７】
前記米国特許の出願人であるＰｅｎｔｌａｎｄ等は１２８枚の顔の画像を学習画像として主成分分析を行い、主要な２０の固有ベクトルを用いて顔の認識を行うテストを実施し、２００の顔画像に対し９５％の認識率を得ている。
【００１８】
【発明が解決しようとする課題】
このような固有空間法による画像認識方法は、テンプレートマッチングや基準化された相関関係を用いる標準的認識技術より効果的ではある。しかし、高次元のベクトルで表現される画像の場合、想定により画像処理の計算の省略を行う推論技術がないと膨大な計算が必要となり実際的には不可能である。
【００１９】
また、固有空間法のみでは画像情報に関する知識の構造的記述が難しく画像理解への適応に問題があり、現実に或る対象の認識に適用した場合、必ず生じる誤った処理結果を修正する手法も確立されてない。従って、固有空間法を種々の画像認識に適用を拡張するためにはシステム理論が不可欠といえる。
【００２０】
本発明は、光学手段により入力される認識対象の全体的画像の画像情報処理を行う全体画像処理手段と前記全体画像の部分画像である局所画像の画像情報処理を行う局所画像処理手段とで構成し、前記各画像情報処理手段が入力画像の特徴を抽出する機能と整合性を評価する機能とを有し、その整合性の評価に基づいて他の像情報処理手段の処理機能を活性化又は抑制することによって、不確実な画像認識からより確実な画像認識へと展開することにより対象画像の認識を行うに好適なシステムを提供することを目的とする。
【００２１】
更に、本発明は生物の大脳皮質における情報処理機構のモデルである「単純な形状の認識から最終認識画像に至るボトムアップの画像情報の流れと最終認識画像から逆に単純な初期の形状認識に至るトップダウンな画像情報の流れとからなる処理制御法」（Ｋｏｅｒｎｅｒ，Ｔｓｕｊｉｎｏ，Ｍａｓｕｔａｎｉ”Ａ  Ｃｏｒｔｉｃａｌ−ｔｙｐｅ  Ｍｏｄｕｌａｒ  Ｎｅｔｗｏｒｋ  ｆｏｒ  Ｈｙｐｏｔｈｅｔｉｃａｌ  Ｒｅａｓｏｎｉｎｇ”  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ
ｖｏｌ．１０，Ｎｏ．５，ｐｐ．７９１〜８１４）により、コンピュータの演算負荷を軽減することが可能で、かつ従来のものより短時間に画像認識が可能なシステムを提供する事を目的とする。
【００２２】
更に、本発明は認識対象である全体画像とその対象の部分である特徴的局所の画像とを並行して画像処理を行わせ、自動的に対比しながら不整合な仮説を抑制し、整合する仮説を活性化するシステムを用い、自己学習により認識の確度が改善される高い可能性を有するシステムを提供することを目的とする。
【００２３】
【課題を解決するための手段】
上記目的を達成するため、本発明による画像認識システムは、カメラ等の光学的手段により入力される認識対象の全体的画像と特徴的局所の画像から対象の認識を行う画像認識システムにおいて、全体的画像及び局所画像を解析する全体画像処理手段及び局所画像処理手段を備え、前記局所画像処理手段は局所画像毎に対応する複数の局所モジュールから成り、各局所モジュールは担当する入力局所画像の特徴を抽出する機能と、抽出された特徴と認識画像との整合性を評価する機能とを有し、前記全体画像処理手段は入力される全体画像の全体的特徴を抽出する機能と抽出された全体的特徴と認識画像との整合性を評価する機能とを有し、前記全体画像処理手段は前記局所モジュールからの入力を受けて全体的特徴と不整合な前記局所モジュールの前記機能を抑制し、全体的特徴と整合する前記局所モジュールの前記機能を活性化するよう構成したことを特徴とする。
【００２４】
上記構成によれば、全体画像処理手段による認識対象の全体画像の解析処理と局所画像処理手段による全体画像の特徴的な局所の画像を解析処理とにより画像認識を行うため、複数の狭い画素領域である局所毎の画像情報の解析処理を並行して且つ順次探索的に行うことができ、全体画像と特徴的な局所画像とにより対象の認識を行うなうシステムであるので、複雑な形状の認識対象であっても従来の如く困難な演算を伴う確立的評価を必要とせず仮説推論が可能なシステムとなり、画像の解析処理に要するコンピュータ等の負荷が軽減でき、対象画像の認識に至る時間を短縮できる。
【００２５】
また、局所画像処理手段を構成する局所モジュールにおいて整合性を評価した画像情報を全体画像処理手段において再評価して、整合する局所モジュールのみを活性化し、不整合な局所モジュールは抑制されるシステムであるので、ボトムアップ処理の流れとトップダウン的処理の流れを有し、これら２つの処理の流れが合致した時点で画像が認識されたと見做すことができるので、更にコンピュータの負荷が軽減でき、認識に要する時間を短縮できる。
【００２６】
更に本発明においては、前記局所画像処理手段を構成する各局所モジュールは、局所画像の位相に対応して担当する局所画像が定められており、同一局所画像の異なる位相に対応する複数の局所モジュールとして構成としたので、顔のような全体的には類似形状の認識対象において、位相的に略同位置にある目や鼻等の特徴的な局所画像の解析処理を行うことにより短時間に認識対象の画像認識が行うことがき、局所モジュールの入力を受けて全体画像処理手段が行う整合性の評価も容易に行える。
【００２７】
更に本発明においては、前記局所画像処理手段を構成する各局所モジュールは、局所画像の形状に対応して担当する局所画像が定められており、同一局所画像の異なる位相に対応する複数の局所モジュールとして構成することができるので、複雑な形状の認識対象の最も特徴を表す局所の形状に対応して局所モジュールを設定して当該局所の画像情報に的を絞った解析処理を行い全体画像との整合性を評価することにより認識対象の画像認識ができる。
【００２８】
更に本発明においては、前記局所画像処理手段を構成する各局所モジュールは、入力局所画像の特徴を抽出する機能を有する第１副モジュールと、予め学習した認識対象の当該局所画像の固有空間の知識を有する第２副モジュールと、前記第１副モジュールが抽出した特徴を有する入力局所画像の画像情報を第２副モジュールの固有空間へ投射した結果の射影距離に基づき整合性を評価する機能を有する第３副モジュールとから構成する。
【００２９】
かかる構成により、局所画像処理手段を構成する各局所モジュールの画像処理の機能を三つの副モジュールに分割して段階的に整合性の評価を行うようにしたので、局所画像処理における当初の画像情報は単純な形状や輪郭又はブロッブのような特徴でもよく、順次精度の高い整合性の評価を行えるようにすることがでるので局所画像の特徴の程度に応じて認識に至る画像処理の負荷が軽減される。
【００３０】
更に上記構成によれば、各副モジュール単位で機能の抑制及び活性化が可能となり、より早期に無駄な画像処理が抑制され、順次探索的な画像処理がより合理的に行える画像認識システムとなる。
【００３１】
更に、本発明においては、前記第１副モジュールは、予め学習した認識対象の当該局所画像の平均ベクトルの知識を有するので、局所画像処理手段を構成する各局所モジュールの副モジュールの機能は固有空間法に基づく画像処理により実施することとなり、圧縮されたデータにより画像解析処理が可能となってよりコンピュータの負荷軽減が図れる。
【００３２】
更に本発明においては、前記全体画像処理手段は、予め学習した認識対象の全体画像の平均ベクトルの知識を有する第１副モジュールと、予め学習した認識対象の全体画像の固有空間の知識を有する第２副モジュールと、前記第１副モジュールが抽出した特徴を有する入力全体画像の画像情報を第２副モジュールの固有空間へ投射した結果の射影距離に基づき整合性を評価する機能を有する第３副モジュールとから構成する。
【００３３】
かかる構成により、全体画像処理手段を構成する各局所モジュールの画像処理の機能を三つの副モジュールに分割して段階的に整合性の評価を行うようにしたので、全体画像処理における当初の仮説的な画像処理結果から順次精度の高い整合性の評価を行えるようにすることがでるので全体画像の特徴の程度に応じて認識に至る画像処理の負荷が軽減され、更に各副モジュール単位で機能の抑制及び活性化が可能となり、より早期に無駄な画像処理が抑制され、順次探索的な画像処理がより合理的に行える画像認識システムとなる。
【００３４】
更に本発明においては、前記局所画像処理手段において、同一局所画像の異なる位相に対応する複数の局所モジュール間においては、第１副モジュールが活性化した局所モジュールは異なる位相の解析処理を行っている他の局所モジュールに活性化する信号を出力するようにしたので、最初に整合性が評価された局所モジュールの仮説が早急に他局所モジュールにより確認されるように処理が行われ局所画像の早期の画像認識が可能となる。
【００３５】
更に本発明においては、前記局所画像処理手段において、異なる局所画像を担当する複数の局所モジュールが近似した位相領域からの画像情報を入力している場合において、第１副モジュールが活性化した局所モジュールは他の局所モジュールを抑制する信号を出力するようにしたので、同一入力局所画像情報に基づいて２つ以上の仮説が発生することが防止できるため、より効率的に画像処理が行える。
【００３６】
【発明の実施の形態】
次に、添付の図面を参照しながら本発明の画像認識システムについてさらに詳しく説明する。
【００３７】
図１は、本発明によるシステム構成の全体的説明図である。
【００３８】
図２は、特に局所モジュールを構成する副モジュールが入出力する制御信号を示し、さらに上位モジュール（ＡＩＴ）及び下位モジュール（入力制御手段）との関連を説明するための図である。
【００３９】
図３は、局所モジュールにおける全体の画像処理のフローを示す。
【００４０】
図４は、システム全体の画像解析処理のフローを示す。
【００４１】
図５は、本発明による画像認識システムにより人の顔を認識画像の対象として行ったシミュレーションの結果を示す図表である。
【００４２】
図１において、認識対象の画像を含む視覚イメージ情報はビデオカメラのような適当な光学的手段（１０）により入力され、公知の技術によりピクセルマップのフレームにデジタルデータとして保持される。カメラ（１０）にはカメラ制御手段（１２）が付設されて人間の目の機能に類似した機能をカメラ（１０）に与えるよう準備され、イメージの或る部分に焦点を合わせたり、所定の特定部分のみに個別に向けるようカメラ（１０）を操作することができる。
【００４３】
全体的なイメージ情報から認識対象の画像を選択的に限定するために入力イメージ情報は前注意処理手段（１３）により処理される。前注意処理手段（１３）には低透過度フィルタやカラーフィルタによるフィルタ処理や、場合によっては全体的イメージ中に動きのある対象物を特定するためのモーション検知手段や、認識対象の画像のスケールを正規化するための処理手段を備えていてもよい。
【００４４】
又、前注意処理手段（１３）にはカメラ入力時の照明の変動を補償するコントラスト正規化処理や、使用するＣＣＤカメラのリニアレスポンス特性を補償する正規化処理を行う手段等を含むこともある。
【００４５】
本発明の全体構成には、図には示されていないが、グラフィック又はイメージ処理ボード及び使用者がシステムに介入するためのキーボードやマウスを備える。これらは当技術分野では良く知られた標準機器である。前処理をされデジタル化された入力イメージ情報はメモリ機能及び主成分分析機能を有する前部モジュール（１１）のメモリに書き込まれる。
【００４６】
前部モジュール（１１）のメモリに入力されるイメージ情報は認識対象の画像情報に前処理手段により限定されても良いし、対象の認識に背景が重要な情報となる場合は全体のイメージ情報であっても良い。前部モジュール（１１）のメモリに入力された画像情報は操作指令により解析システムに送出されるが、解析システムは図１に概念的に示すように以下に説明する２つの副システムから構成される。
【００４７】
第１の副システムは局所画像処理手段（１５）（以下ＰＩＴと略称する）である。第２の副システムは全体画像処理手段（１４）（以下ＡＩＴと略称する）である。
【００４８】
副システムＰＩＴ（１５）は認識対象の画像の一部を構成する局所の画像の解析処理を担当するシステムで、全体画像の認識に有用な特徴を有する局部の画像に対応して解析処理を行うモジュールを備える。この解析処理モジュールを局所モジュール（２１）と名付ける。
【００４９】
この局所モジュール（２１）は全体画像に対する局所の位相に対応して設けられ、前記前部モジュール（１１）のメモリから位相に応じた局所画像情報がそれぞれ対応する局所モジュール（２１）に送出される。
【００５０】
局所モジュール（２１）に入力する画像情報は前部モジュール（１１）においてＰＣＡ処理等により圧縮された情報であってよい。入力された局所画像情報は、対応する位相の局所モジュール（２１）により並行的に特徴を抽出するための解析処理がなされる。抽出した入力局所画像の特徴は、局所モジュール（２１）が知識として有する予め学習された認識対象の画像の固有空間に投射されて整合性が評価される。整合する局所画像情報は副システムＡＩＴ（１４）に入力されて、副システムＡＩＴ（１４）が解析処理する全体画像との整合性が評価されて認識対象の画像認識がなされる。
【００５１】
副システムＡＩＴ（１４）は、前部モジュール（１１）より全体画像情報を入力し認識対象の全体画像の特徴を抽出する。抽出された特徴は、副システムＡＩＴ（１４）が知識として有している予め学習した認識対象の固有空間に投射されて、整合性を評価する解析処理が行われ、更に副システムＰＩＴ（１５）の局所モジュール（２１）から局所画像の情報を入力し、全体画像との整合性を評価して認識対象の画像認識が行われる。
【００５２】
例えば、認識対象が人間の顔や自動車であれば、局所とは顔や自動車の特徴を表す顔や自動車の部分的な局所、例えば目、鼻、口又は顔の輪郭等であり、自動車の場合は例えばフロントグリル、ホイール形状等である。
【００５３】
本発明においては、以上のシステム構成により、画像処理の初期における抽出された単純な輪郭形状やブロッブの特徴に基づく整合性を仮説と見做し、かかる仮説に基づいて局所モジュール（２１）間でその機能を活性化または抑制する通信を行いながらより高精度の整合性の評価を順次行い、更に全体画像の画像処理を行う副システムＡＩＴ（１４）との間での通信による活性化、抑制を通じて全体的に整合性のある解釈をアナログ的に徐々に形成していくマルチエージェント計算による仮説推論により画像認識を行う。
【００５４】
副システムＰＩＴ（１５）は認識対象画像の局所に対応する複数の局所モジュール（２１）の配列からなり、各局所モジュール（２１）は担当する局所画像領域の位置を主要な測度として入力位相と関連して配置される。一つの局所画像に対応する局所モジュール（２１）は同一局所画像の異なる位相を担当する複数の局所モジュールより構成される。副システムＡＩＴ（１４）は全体画像の処理モジュールで構成されるが、画像の全体的特徴を扱うため、副システムＰＩＴ（１５）のように入力位相との関連はない。
【００５５】
図２に基づき副システムＰＩＴ（１５）の各局所モジュール（２１）の構成とその機能について説明する。説明をより簡便にするため次のように定義する。各局所モジュール（２１）は３つの副モジュールＲ０，Ｒ１，Ｒ２から構成される。副モジュールＲ０，Ｒ１，Ｒ２は計算モジュールとしては同質であるが内部知識は異なる。即ち、画像情報の処理ルートは下記の如きルートとなる。
【００５６】
カメラ→前部モジュール→Ｒ０→Ｒ１→Ｒ２→ＡＩＴ
【００５７】
各モジュールは個々に入力データを解釈し行動する画像処理のエージェントであり、以下においてでエージェントと表現する。今１つのエージェントを基準として入力に近いエージェントをそのエージェントの下位エージェントと呼ぶ。又基準のエージェントよりＡＩＴに近いものをそのエージェントの上位エージェントと呼ぶ。
【００５８】
基準のエージェントと同じ位置にある他局所モジュールのエージェントは同位エージェントと呼称する。即ち、或る局所モジュール（２１）にとって、前部モジュール（１１）は下位エージェントであり、副システムＡＩＴ（１４）を構成するモジュールは上位エージェントであり、副システムＰＩＴ（１５）の他局所モジュールは同位エージェントとなる。又、局所モジュール（２１）の担当する局所画像と位相が近似している局所画像を担当する局所モジュール（２１）を近傍エージェントと呼称する。
【００５９】
さらに、本発明における画像情報処理は、前記矢印の方向の下位エージェントから上位エージェントへのボトムアップ処理と矢印と反対の流れ即ち上位エージェントから下位エージェントを制御するトップダウン処理により行われる。
【００６０】
図２において、副モジュールＲ０（２２）は担当する局所画像について予め学習された画像の平均ベクトルの知識Ψを持つ。本発明のシミュレーションを行った人間の顔の場合、鼻の画像を担当する局所モジュール（２１）の副モジュールＲ０（２２）の平均ベクトルΨは、鼻を中心としたＭ個の画像からＮ次元の局所データＭ個を収集し、各データを正規Ｎ次元ベクトルΓi （１≦ｉ≦Ｍ）とし、次式（３）により平均ベクトルΨを求める。
【００６１】
【数２】
0003894522.tif 000003
【００６２】
副モジュールＲ０（２２）はその活性度が仮説の強度を表す「仮説制御エージェント」である。正規化されて入力される新しい画像情報ΓNEW に対して、その初期値はベクトルΓNEW ・Ψの値となり、これを初期仮説と見做す。副モジュールＲ０（２２）の値は、近傍あるいは上位エージェントからの入力により後に述べるように制御され、全体整合的な画像認識へと展開される。
【００６３】
副モジュールＲ１（２３）は担当する局所画像について予め学習された画像の固有空間の知識Ｕを有する。固有空間Ｕは前記局所画像データのＮ次元ベクトルΓi から平均ベクトルΨを差し引いた  Φi ＝Γi −  Ψ  で求められるベクトルΦの分布の最小二乗平均誤差の意味で最も良い記述として、次式（４）で示す正規直交ベクトルｕk をｋ＝１から順次ｋ＝Ｍ′（Ｍ′≦  Ｍ）まで求める。
【００６４】
【数３】
0003894522.tif 000004
【００６５】
ｋ番目のベクトルｕk は式（４ー２）の条件の下で式（４ー１）が最大となるよ選択される。  ベクトルｕk とスカラーλk は下記数式（５）で表される共分散マトリックスＣの固有ベクトル及び固有値となり、ベクトルｕk により張られる空間をこの局所の固有空間Ｕと呼ぶ。
【００６６】
【数４】
0003894522.tif 000005
【００６７】
副モジュールＲ０（２２）で抽出された入力画像ΓNEW の特徴を表現するベクトル（ΓNEW −Ψ）は副モジュールＲ１（２３）が有する学習局所画像の個々の特徴を表現する固有空間Ｕに投射され、入力ベクトルの固有空間への射影距離（Ｄｉｓｔａｎｃｅ  Ｆｒｏｍ  Ｆｅａｔｕｒｅ  Ｓｐａｃｅ；以下ＤＦＦＳという）を算出する。
【００６８】
副モジュールＲ１（２３）に入力される局所画像情報は、副モジュールＲ０（２２）における特徴の評価により作動するスイッチ（ＳＷ２）を介して前部モジュール（１１）のメモリからより精度の高い情報を入力してもよい。また、副モジュールＲ１（２３）は上位エージェントからの信号により、固有空間Ｕのベクトルを入力局所画像のベクトル空間へ投射した逆写像から下位エージェントを制御するトップダウン処理を行う。
【００６９】
副モジュールＲ２（２４）は、入力ベクトルの固有空間への射影距離（ＤＦＦＳ）を主情報として、入力局所画像と投射された固有空間との整合性を評価する機能を有し、整合性の評価は入力局所画像ベクトルΓnew の特徴を表すベクトル（Γnew −Ψ）と固有ベクトルｕk との内積から求まる入力局所画像ベクトルΓnew の固有空間Ｕへの射影距離ＤＦＦＳにより行われる。
【００７０】
また、副モジュールＲ２（２４）は上位エージェントである副システムＡＩＴ（１４）からのトップダウン制御により、上述したボトムアップ処理による入力局所画像の整合性の評価に関して活性化、抑制の制御を受ける。
【００７１】
副システムＡＩＴ（１４）は全体画像の解析処理を行うモジュールからなる。このモジュールは上記した局所モジュール（２１）の構成と同一構成とすることが出来る。即ち、副モジュールＲ０，Ｒ１，Ｒ２で構成し、各副モジュールの所有する知識も機能も対象画像が局所画像の代わりに全体画像となる以外は全く前記の説明と同じ知識と機能を有する。
【００７２】
図２に、局所モジュール（２１）を構成する副モジュール（２２）（２３）（２４）の制御作用を矢印で示している。以下制御作用について説明する。制御作用には主として局所モジュール（２１）相互の間の制御作用として４種類、さらに、主として同一局所モジュール（２１）内の副モジュール（２２）（２３）（２４）間の制御作用として２種類の制御作用がある。
【００７３】
まず局所モジュール（２１）相互の間又は局所モジュール（２１）と上位または下位エージェントとの間の制御作用について説明する。
▲１▼活性型局所制御  Ａ型（矢印Ａで示す。）
副システムＰＩＴ（１５）において、同一局所画像の位相の異なる入力画像を担当している複数の局所モジュール（２１）のうちの一つの局所モジュール（２１）の副モジュール（２２）が活性した場合、同一局所画像を担当している他の局所モジュールの副モジュールＲ０（２２）に活性化信号を出力して、当該局所画像を担当するすべての局所モジュール（２１）の副モジュールＲ０を活性化して、入力局所画像の画像処理を促進する。
【００７４】
例えば、鼻の画像処理を担当している複数の局所モジュール（２１）の一つが副モジュールＲ０（２２）において抽出した入力画像の特徴が整合性ありと評価されて活性化した場合、鼻の画像処理を担当しているすべての局所モジュール（２１）の副モジュールＲ０（２２）を活性化することにより鼻の画像処理を促進するのである。特に近傍エージェントを構成する局所モジュール同士でこの制御を行う事により位相が近似している局所画像の特徴の推定が短時間で可能となる。
【００７５】
▲２▼抑制型局所制御  Ｂ型（矢印Ｂで示す。）
異なる局所画像を担当している複数の局所モジュール（２１）が、近似した位相領域からの画像情報を受けている場合は、ある特定の局所モジュール（２１）の副モジュールＲ０（２２）が活性化した場合には他の局所画像を担当している局所モジュール（２１）の副モジュールＲ０（２２）に抑制信号を与える。これにより近似した位相領域の画像情報に対して複数の仮説が競合することを防止する事が出来る。
【００７６】
▲３▼トップダウン制御  Ｃ型（矢印Ｃで示す。）
トップダウン制御とは活性化されて作動しているエージェントが自ら入力を受けている下位エージェントに対して行う制御である。トップダウン制御には活性化制御と抑制制御の２種類がある。局所モジュール（２１）において整合性を評価された局所画像情報は、副システムＡＩＴ（１４）に入力されて、副システムＡＩＴ（１４）が入力画像を解析処理して整合性を評価した全体画像の当該局所画像と整合するか否かが評価される。非整合と判定された場合、当該局所モジュール（２１）は抑制信号により作動は停止される。
【００７７】
局所モジュール（２１）の副モジュールＲ０（２２）において非整合と判定された場合は下位エージェントである前部モジュールに抑制信号が出力され、当該局所モジュール（２１）への入力画像情報が制御される。また、副システムＡＩＴ（１４）の全体画像処理により整合性が評価された結果に基づいて、当該全体画像の局所画像を担当する不活性状態にある局所モジュール（２１）に活性化信号が出力されて、当該局所モジュール（２１）の作動が促される。
【００７８】
▲４▼ボトムアップ制御  Ｄ型（矢印Ｄで示す。）
局所モジュール（２１）の副モジュールＲ２（２４）における射影距離（ＤＦＦＳ）を主情報とする評価が閾値以下になると、スイッチ（ＳＷ１）が閉じ副モジュールＲ１（２３）の固有空間の情報が整合した局所画像情報として、副システムＡＩＴ（１４）に出力される。副モジュールＲ２（２４）の評価が閾値以下と判定される場合は、局所モジュール（２１）におけるボトムアップ的な画像情報処理により各局所モジュール（２１）の持つ知識で充分説明できた場合と、副システムＡＩＴ（１４）からのトップダウン制御（Ｃ型）により活性化された局所モジュール（２１）の画像情報処理により整合性が認められる場合とがある。
【００７９】
次に局所モジュール（２１）を構成する副モジュールＲ０，Ｒ１，Ｒ２間の２種類の制御作用について述べる。
▲１▼局所モジュール内のトップダウン制御  Ｅ型（矢印Ｅで示す。）
局所モジュール（２１）を構成する副モジュールＲ２（２４）での評価が閾値以下と判定されると、副モジュールＲ２（２４）は同局所モジュール（２１）の副モジュールＲ０（２２）を抑制する。副モジュールＲ２（２４）の評価値が閾値以下になる場合、上記ボトムアップ制御（Ｄ型）により副モジュールＲ１（２３）の情報はスイッチ（ＳＷ１）により副システムＡＩＴ（１４）に出力され、それが整合的であれば画像の認識は完了する。
【００８０】
副モジュールＲ０（２２）を活性化し続けた場合、前記抑制型局所制御（Ｂ型）により近傍の異なる局所モジュール（２１）の副モジュールＲ０（２２）は抑制されたままである。これは局所画像の認識がまだ不確定な状態の場合の順次探索の選択肢を狭めることになる。既に認識を完了した局所モジュール（２１）の副モジュールＲ０（２２）を抑制することにより近傍エージェントを構成する他の局所モジュール（２１）を活性化することが可能となる。
【００８１】
▲２▼局所モジュール内の副モジュール入力制御  Ｆ型（矢印Ｆで示す。）
局所モジュール（２１）において、副モジュールＲ０（２２）の値が閾値以下にならない限りスイッチ（ＳＷ２）が閉じる事がなく副モジュールＲ１（２３）に画像情報は入力しない。副モジュールＲ０（２２）による抽出特徴のレベルが閾値により評価されるとスイッチ（ＳＷ２）が閉じ、前部モジュール（１１）から副モジュールＲ１（２３）の固有空間に投射される画像情報が入力される。
【００８２】
このような制御により無駄な計算を避けてコンピュータの負荷を軽減すると共に、副モジュールＲ１（２３）で投射される画像情報の質を向上し上位エージェントに与える雑音情報を減少させることができる。同様に、副モジュールＲ２（２４）も値が閾値以下になり整合性が評価されるまでは副モジュールＲ１（２３）の画像情報を副システムＡＩＴ（１４）に発信しないようにスイッチ（ＳＷ１）を設けて制御している。
【００８３】
図３に示す副システムＰＩＴ（１５）における画像処理の全体的フローについて説明する。以下の説明は実際に本発明のシミュレーションを行った人間の顔の認識の場合を例として説明するが、それは顔が幾つかの副記号による部品を持った対象画像であり、構造的記号表現に適しているからであって、本発明の適用が顔の認識に限定されるものではなく、局所の画像から全体画像を再構築する事により入力の全体画像を認識する画像認識のすべてに適用可能な技術である。
【００８４】
尚、本システムのシミュレーションはＳｕｎワークステーションＳＳ１０上にＧＮＵのＣ＋＋言語を用いて実施された。
【００８５】
ステップ１０１において、画像情報のデータが入力される。データはカメラにより入力される全体画像から任意に設定される注意の窓によりスキャンされる画素領域の画像情報データで、ステップ１０２で正規化モジュールにより、カメラ入力の際の照明の変化がもたらす入力イメージ画像データの変化や、又はＣＣＤカメラのリニアレスポンス特性がもたらす入力画像データの変化を補償する正規化処理、画像スケールの正規化処理等の必要な前処理が行われた後、前部モジュールのメモリに格納される。
【００８６】
メモリに格納された画像情報は注意の窓のスキャン位置情報に基づき、入力位相と対応する局所モジュール（２１）の副モジュールＲ０（２２）にそれぞれ入力される。入力画像情報は前部モジュール（１１）により適切なＰＣＡを行われてもよい。
【００８７】
副モジュールＲ０（２２）はすべての局所画像について学習により得られた多数の画像データから、画素位置に対応する局所ごとの平均ベクトルにより定義される。シミュレーションにおいては、左右の目、鼻、口、１２種類に区分された顔の輪郭について、主成分の２００次元ベクトルの平均ベクトルを用いた。ステップ１０３において、各局所モジュール（２１）の副モジュールＲ０（２２）は入力局所画像データについて平均ベクトルをテンプレートとしてパターンマッチングを行い距離に応じたアナログ出力をする。
【００８８】
副モジュールＲ０（２２）は入力局所画像の近傍（３×３画素領域）を走査し最大活性な入力局所画像を選択することができる。しかし、このような平均ベクトルをテンプレートにする場合のパターン検出能力は低く曖昧であるので副モジュールＲ０（２２）を局所画像の仮説生成部と考えることができる。
【００８９】
副モジュールＲ０（２２）の所有する知識を平均ベクトルとすることは、入力画像情報の特徴抽出には好都合であり、抽出された特徴を副モジュールＲ１（２３）に出力して固有空間に投射することができる。しかし副モジュールＲ０を上記の如く仮説生成部と見做し、副モジュールＲ１（２３）に出力する画像情報を副モジュールＲ０（２２）の活性度に応じて前部モジュール（１１）のメモリから入力する場合は、より数の少ない主成分ベクトルによる簡単なテンプレートを副モジュールＲ０（２２）の知識とすることもできる。
【００９０】
ステップ（１０４）において、上記マッチングの結果が整合評価値として特定される。本実施例においては、副モジュールＲ０（２２）における整合性の評価を副モジュールＲ２（２４）で行うようにしている。即ち副モジュールＲ２（２４）を局所モジュール（２１）の評価モジュールとして構成している。ステップ１０４では前述した副システムＡＩＴ（１４）からの活性化入力（Ｃ型）や他局所モジュール（２１）からの抑制信号入力（Ｂ型）、活性化信号入力（Ａ型）及び自局所モジュール（２１）の副モジュールＲ２（２４）からの抑制信号入力による制御を受ける。抑制信号の入力がなく活性が維持される場合は、Ｒ０関数で評価されてそれぞれの評価結果に基づいて他エージェントへ信号出力が行われる。Ｒ０関数は次式（６）で表現される。
【００９１】
【数５】
0003894522.tif 000006
【００９２】
副モジュールＲ０（２２）においては、前記制御作用の項で説明したように、他エージェントの副エージェントＲ０から活性化型局所制御Ａ型（矢印Ａ）又は抑制型局所制御Ｂ型（矢印Ｂ）の制御信号により活性化又は抑制の制御を受け、更に副モジュールＲ２（２４）及び副システムＡＩＴ（１４）からのトップダウン制御を受ける。副モジュールＲ２（２４）からのトップダウン制御（矢印Ｃ）は抑制性のもので、副モジュールＲ０（２２）の信号処理レベルに対し上位エージェントで既に解釈された仮説についての処理を停止させる。
【００９３】
副システムＡＩＴ（１４）のトップダウン制御（矢印Ｃ）は活性化と抑制の双方があり、局所モジュール（２１）が画像処理を行い整合性を評価した局所画像情報を副システムＡＩＴ（１４）の全体画像へ投射して再評価される結果により局所モジュール（２１）の機能をトップダウン的に制御する。ステップ１０５において、テンプレートｋと入力画像データのベクトル間の距離に基づく値（ｆ）が閾値以下であると、同一局所モジュール（２１）の副モジュールＲ１（２３）に局所画像情報が前部モジュール（１１）のメモリから送出される。更に、ステップ１０４における評価に基づいて他局所モジュールの副モジュールＲ０へＡ型、Ｂ型の制御信号が送出される。
【００９４】
副モジュールＲ１（２３）は学習された各局所画像の個々の画像情報による固有空間の知識を有する。本シミュレーションにおいては学習された画像情報の２００次元のベクトルに対して大きい値の上位２０主成分のベクトルを用いて局所画像の個々の固有空間を生成した。
【００９５】
ステップ１０６において、局所モジュール（２１）の副モジュールＲ０（２２）が活性化すると、副モジュールＲ１（２３）が当該局所の入力画像情報を前部モジュール（１１）のメモリから入力される。入力する局所画像情報ΓNEW は平均ベクトルを減じた特徴を表すベクトルであり、当該ベクトルの上位２０の主成分ベクトルが副モジュールＲ１（２３）の有する個々の固有空間に投射される。即ち次式（７）で表現される。
【００９６】
【数６】
0003894522.tif 000007
【００９７】
副モジュールＲ１（２３）における入力局所画像のベクトルと副モジュールＲ１（２３）が知識として有する固有空間との射影距離（ＤＦＦＳ）を画像認識評価に用い、この評価を副モジュールＲ２（２４）のステップ１０７でで行う。
【００９８】
ステップ１０７の評価を行う副モジュールＲ２（２４）は、上位エージェントである副システムＡＩＴ（１４）における全体画像の画像処理結果に基づいて、優先的に作動させる局所モジュール（２１）を活性化させるトップダウン制御（矢印Ｃ）を副システムＡＩＴ（１４）から受け、また他局所モジュール（２１）において入力画像の整合性が評価された場合には、当該入力画像の画像処理を行っている局所モジュール（２１）に抑制信号を出力する。これらの制御信号により副モジュールＲ２（２４）における不要の処理が抑制され、システム全体の画像認識処理の時間が短縮される。
【００９９】
副モジュールＲ２（２４）における評価は次式（８）で表される。
【０１００】
【数７】
0003894522.tif 000008
【０１０１】
ステップ１０７において、評価値が閾値以下であれば、副モジュールＲ１（２３）の局所画像情報を上位エージェントである副システムＡＩＴ（１４）に送出する（矢印Ｄ）。更に、副システムＡＩＴ（１４）からのＣ型トップダウン制御を受けて活性化された局所モジュールの副モジュールＲ２（２４）は副モジュールＲ１（２３）の固有空間を入力画像ベクトルに投射した逆写像をトップダウンの仮説として、副モジュールＲ０（矢印Ｒ０）に出力する。トップダウン仮説と整合的な局所モジュールは支持され、非整合的な局所モジュールは抑制され、整合的であるのに作動していない局所モジュールは活性化を促される。
【０１０２】
副モジュールＲ２（２４）において射影距離（ＤＦＦＳ）を主情報とする整合性の評価が閾値以下となり入力画像が認識された場合、自局所モジュール（２１）の副モジュールＲ０（２２）へ抑制信号（矢印Ｅ）が転送される。
【０１０３】
副システムＡＩＴ（１４）は全体画像の画像情報を解析処理するモジュールで構成され、前部モジュール（１１）から全体画像情報を、副システムＰＩＴ（１５）から各局所モジュール（２１）により処理された局所画像情報を入力し、各局所画像が整合する全体画像の認識を行う。
【０１０４】
副システムＡＩＴ（１４）のモジュールは、局所モジュール（２１）と同様の副モジュールＲ０，Ｒ１，Ｒ２で構成される。その機能も局所モジュールの該当する副モジュールの機能と同一の機能とした。即ち、副モジュールＲ０は学習した全体画像の平均ベクトルの知識を有して入力全体画像のテンプレートの機能を有している。副モジュールＲ１は学習全体画像の個々の固有空間の知識を有して副モジュールＲ０に於ける入力全体画像のテンプレートによる評価に基づき全体画像情報を固有空間に投射する機能を有している。副モジュールＲ２は射影距離（ＤＦＦＳ）の閾値の知識を有し副モジュールＲ１の表現値を用いＤＦＦＳにより整合性の評価を行う。
【０１０５】
本シミュレーションにおいては、副モジュールＲ０の平均ベクトルは学習した１０５人の顔画像の中から３５人の顔の全体画像（１２８×１２８画素位置×２００主成分ベクトル）を適当に中心を合わせて選択した画像データ（１０５×１０５画素位置×３主成分ベクトル）の平均により定義した。
【０１０６】
１０５×１０５画素位置は図４に示す注意の窓（２０３）の画素領域で、実際のカメラからの入力画像からは顔の位置は特定できないので、副システムＡＩＴ（１４）の指令によりカメラを走査し、副モジュールＲ０（２０４）におけるテンプレートとのマッチングにより注意の窓の位置が定められる。
【０１０７】
副システムＡＩＴ（１４）で定義される注意の窓のサイズは１０５×１０５画素であるが、副システムＰＩＴ（１５）からの副システムＡＩＴ（１４）への入力は３５×３５画素位置×１６局所となる。本シミュレーションにおいては使用したコンピュータの計算能力を考慮し１２×１２画素位置×１６局所×２０成分ベクトルとした。
【０１０８】
図４に示す本発明の全体のフローチャートについて、顔のシミュレーションの例に基づいて説明する。
【０１０９】
カメラにより入力される画像は前述した種々の正規化処理の後、顔の全体画像として前部モジュール（１１）のメモリに記憶される（２０２）。本シミュレーションはにおいては１２８×１２８画素領域で２５６階調濃淡画像を用いた。
【０１１０】
全体画像はデータバス（３００）を介して副システムＡＩＴ（１４）に入力される（２０４）。顔の全体画像（３主成分ベクトル）は副モジュールＲ０のテンプレートマッチングにより人間の顔であるかが評価され、テンプレートである平均ベクトルにより入力顔画像の特徴が抽出される。副モジュールＲ０（２０４）の評価の後、顔画像は副モジュールＲ１の１０５人の顔の固有空間に投射される（２０５）。
【０１１１】
副システムＡＩＴ（１４）の副モジュールＲ２において、これらのＤＦＦＳが求められ閾値と対比される（２０６）。副モジュールＲ２の評価で一つの固有空間のＤＦＦＳが閾値により特定される場合は入力顔画像はその固有空間により特定される個人の顔と認識できる。しかし、計算の容易さ又は計算速度を考慮して少ない主成分ベクトルをサンプリングして以上の画像データ処理を行っているため副モジュールＲ２の評価において複数の固有空間と整合するる場合がある。
【０１１２】
このような場合は、整合と評価された複数の固有空間の顔（全体画像）に属する局所画像を担当する福システムＰＩＴ（１５）の局所モジュール（１５）にトップダウン制御として活性化信号が送出される（ステップ２０７）。
【０１１３】
一方、入力された全体画像は副システムＰＩＴの各局所モジュールの位相情報により設定される注意の窓により走査され（２０３）、口、鼻、左右の目、１２の顔の輪郭線分の局所画像が生成されてデータバス（３００）により対応する局所モジュールに入力される。例えば鼻の局所モジュールに入力する主成分の局所画像データは副モジュールＲ０において学習した鼻の平均ベクトルをテンプレートとして鼻の画像であることを認識されると同時に入力鼻画像の特徴が抽出される（２０８）。
【０１１４】
入力局所画像が鼻画像であると認識されると、副モジュールＲ１の鼻の固有空間に抽出された特徴を表現するベクトルを投射するか又は前部モジュールのメモリからより高次元の入力画像情報を入力して副モジュールＲ１の鼻の固有空間へ投射する（２０９）。投射の結果算出して得られる射影距離ＤＦＦＳが副モジュールＲ２の有する閾値により評価されて整合したと判断されると（２１０）、福モジュールＲ１（２３）の固有空間の画像情報がデータバス（３００）を介して副システムＡＩＴ（１４）に送出される。
【０１１５】
副システムＡＩＴ（１４）は、全体画像の画像処理により認識した個人の顔の固有空間に位相を合わせて入力される鼻の画像情報を投射して整合性を評価する（２０５）。この場合、副システムＡＩＴ（１４）への局所画像情報はメモリ（１１）からより高次元の主成分の画像情報を入力するよう構成してもよい。また、副システムＡＩＴ（１４）における局所モジュール（２１）からの画像情報の整合性の評価は、副システムＡＩＴ（１４）の認識した固有空間へ局所モジュール（２１）からの入力画像情報を投射する方法に換えて、副システムＡＩＴ（１４）が認識した個人の画像情報に基づいて、対応する局所画像のテンプレートを用意し、それを用いて整合性を評価するよう構成してもよい。
【０１１６】
副システムＰＩＴ（１５）の副モジュールＲ０（２２）において鼻画像であると認識されると他の局所モジュールへＢ型の制御信号を送出し、同一局所画像情報を処理する他の局所モジュール（２１）を抑制し、位相が近似する他局所画像を担当する局所モジュール（２１）の副モジュールＲ０（２２）へ活性化信号（Ａ型）を出力する。
【０１１７】
局所モジュールＲ２における評価で整合性が評価された場合（２１０）は、同局所モジュールの副モジュールＲ０にＥ型の制御信号を出力し（２０８）作動を抑制する。
【０１１８】
副システムＡＩＴ（１４）における全体画像処理の評価に基づき、トップダウン制御により活性化された副システムＰＩＴ（１５）の局所モジュール（２１）は副モジュールＲ０（２２）で評価された局所画像情報について副システムＡＩＴ（１４）が認識した個人の局所の固有空間との射影距離ＤＦＦＳのみ評価すればよい。副システムＡＩＴ（１４）のトップダウン制御により複数の個人が仮説として局所モジュール（２１）に与えられた場合は副モジュールＲ２（２４）における評価においてその中の一個人の局所画像であることが認識されればその段階で全体画像がだれの顔であるかが特定され認識されたこととなる。
【０１１９】
入力画像が未学習の対象のものである場合は結果として入力画像を特定する認識は不可能である。このような未学習の入力画像がある場合、その画像処理情報を各副システムの副モジュールの知識に自動的に追加する機能を備えることにより、学習能力を有するシステムとなる。更に、一度画像認識を行った入力画像情報の特徴と整合した認識画像または各副システムの固有空間とを対応して記憶しておくことにより、入力画像の特徴に対応する特定のモジュールを優先的に活性化させることも可能であり、より学習効果の高いシステムとなる。
【０１２０】
図５は、シミュレーションにおける局所モジュール（２１）の画像処理経過を視覚的に示したものである。図５ａ）は副システムＡＩＴ（１４）からのトップダウン制御を行わない場合、ず５ｂ）は同じ入力画像の認識において副システムＡＩＴ（１４）からのトップダウン制御を行った場合である。図において列方向は時間ステップ（１ステップは５ミリ秒）を表し、１行目は副システムＡＩＴ（１４）における全体画像処理の経過を示している。２行目は副システムＰＩＴの１６の局所モジュール（２１）の副モジュールＲ２（２４）の活性状態を示し、以下の各行は右目、左目、鼻、口の各局所モジュール（２１）の副モジュールＲ０（２２）の活性状態を時系列に示している。
【０１２１】
図５に示す入力画像は未学習のもを使用した。図５ａ）に示すトップダウン制御を行わない場合、まず顔の輪郭を検出し、すぐに両目と鼻を検出している。しかし副モジュールＲ０（２２）のテンプレートとして平均ベクトルを用いているため左目や右目の認識には誤りが多く又ステップ９迄では口の検出はできなかった。
【０１２２】
トップダウン制御を行った図５ｂ）の場合は、顔の輪郭、両目、鼻の検出については図５ａ）の場合と同様であるが、ステップ５で口を検出している。図５ａ）ｂ）の副モジュールＲ０（２２）の活性状態を比較すると、トップダウン制御を行った方が副モジュールＲ０（２２）における活性化が少ないことが判る。これはトップダウン制御により不整合な副モジュールＲ０（２２）の活性が抑制されることをしめしており、副モジュールＲ２（２２）において少ない活性化情報の中から最も整合しているものを選択していることが理解できる。
【０１２３】
更に、１行目の副システムＡＩＴにおける全体画像処理の時系列の変化から判るように、最初は弱く、粗いが徐々に強く詳細になっている。従ってトップダウン制御も時間とともに詳細且つ確実になってくることが理解できる。
【０１２４】
表１はシミュレーションに用いた１０５の顔画像について目、鼻、口の局所の検出率を示したものである。従来の固有空間法と比較しても本発明による画像処理方法が検出能力においてかなりの向上を示すことが判る。
【０１２５】
【表１】
0003894522.tif 000009
【０１２６】
以上、本発明の画像認識システムは、全体画像の認識処理と局所の画像の認識処理を、機能を分割したモジュールにより同時並行的に処理を進行せしめ、処理を行うモジュール間の制御信号により非整合な処理は早期に抑制し、且つ全体画像の認識のため必要な局所の画像処理を促進する機能を有するため、計算の負荷を軽減することが可能でしかも短時間で画像認識が可能となる。
【０１２７】
更に、本発明の画像処理は、上記の構成としたため画像処理の初期においては、極めて圧縮された画像データによる仮説的な画像認識を基に、全体整合的な認識の形成をマルチエージェントによる計算で実現するシステムとなり、従来の仮説推論のごとく困難な演算を伴う確率的評価を必要としない。
【０１２８】
更に、本発明の画像認識システムは多くの局所モジュールが入力画像の処理を順次探索的に行って、全体画像の認識に至るボトムアップ的な処理の流れと、全体画像の処理から得る仮説的認識を局所モジュールによる処理により確認するトップダウン的な処理の流れを有し、これら２つの処理の流れが合致する処理エージェントにおいて整合すると判断された時点で全体画像の認識が確立されたと見做し得るため早い時期での画像認識が達成できる。
【図面の簡単な説明】
【図１】本発明の実施形態の一例を示すシステム構成の全体的説明図。
【図２】局所モジュールを構成する副モジュールが入出力する制御信号を示す説明図。
【図３】局所モジュールにおける全体の画像処理を示すフローチャート。
【図４】システム全体の画像解析処理を示すフローチャート。
【図５】本実施形態のシミュレーション結果を示す説明図。
【符号の説明】
１０…光学的手段（カメラ）、１４…全体画像処理手段（ＡＩＴ）、１５…局所画像処理手段（ＰＩＴ）、２１…局所モジュール。
【図１】
0003894522.tif 000010
【図２】
0003894522.tif 000011
【図３】
0003894522.tif 000012
【図４】
0003894522.tif 000013
【図５】
0003894522.tif 000014