(57)【要約】【課題】獲得された知識をシステム内で系統的に分類して保持・活用し、リアルタイムでの認識処理及び認識精度を向上させる。【解決手段】教師データが入力されると、データベース管理部７で特徴量を抽出してクラスタリングし、クラスに分類して属性情報を付与して教師データベースＤＢ２に蓄積する。そして、このクラス毎に分類された教師データを用いて、現在用いている認識器を評価・更新することで、蓄積された知識の量が増大しても、多様な環境、対象に合わせて適応的に学習する際の最適化を効率的且つ高速に行うことができ、高精度かつロバストな認識を実現することができる。【選択図】図１
2009064162.tif 000002
【特許請求の範囲】
【請求項１】
画像データを認識器を用いて認識処理する画像認識システムであって、
学習により獲得される認識処理及び学習に用いる教師情報をクラス毎に分類し、保持するデータベース部と、
上記認識器を上記クラス毎の教師データを用いて評価し、上記認識器を適応的に学習更新する学習更新部と
を備えることを特徴とする画像認識システム。
【請求項２】
上記データベース部に、
入力データから得られる複数次元の特徴量空間で学習画像をクラスタリングして上記クラス毎に分類し、分類したクラス毎に属性情報を設定する管理部を備える
ことを特徴とする請求項１記載の画像認識システム。
【請求項３】
上記クラスタリングを、自律的学習によってオンラインで更新していくことを特徴とする請求項２記載の画像認識システム。
【請求項４】
上記クラスタリングを、自己組織化マップを用いて行うことを特徴とする請求項２記載の画像認識システム。
【請求項５】
上記属性情報は、上記特徴量空間上のクラスとの距離に応じた情報を含むことを特徴とする請求項２記載の画像認識システム。
【請求項６】
認識処理の際の学習サンプルを、上記特徴量空間上の距離が近い複数のクラスから抽出し、複数のシーンで平均的な認識処理を行うことを特徴とする請求項２記載の画像認識システム。
【請求項７】
上記認識器を複数備え、
上記学習更新部に、
上記複数の認識器の統合結果を逐次学習し、新たな認識器を作成する逐次学習部と、
上記逐次学習によって作成された認識器を含めて上記属性情報に基づくクラスの認識器の中から最適な組み合わせを求め、現在使用している複数の認識器と選択的に入れ替える入替選択部と
を備えることを特徴とする請求項２〜６の何れか一に記載の画像認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、獲得された知識をシステム内で系統的に分類して認識処理を行う画像認識システムに関する。
【背景技術】
【０００２】
近年、カメラ等からの画像データを処理し、その画像の中から特定の対象、例えば、環境内を移動する物体やその動き等を抽出する画像認識技術においては、ユーザが使用する環境下で予め開発者が想定していなかった状況での認識精度を確保・向上するため、各種認識器を用いたオンライン向けの学習アルゴリズムが開発されている。
【０００３】
例えば、非特許文献１には、各種画像フィルタを木構造状に組み合わせた認識器を用いる技術が開示されており、木構造状画像フィルタを遺伝的プログラミングにより自動的に最適化することで、より複雑な画像認識が可能となる（木構造状画像変換の自動構築法；ＡＣＴＩＴ）。
【０００４】
また、特許文献１には、動画像中から特定の対象、特に時間的な変化や変位を伴う特定対象の抽出を可能とするため、ＡＣＴＩＴを拡張した技術が開示されている。特許文献１の技術では、教師情報を与えることで遺伝的プログラミングにより木構造画像フィルタの処理構造を自動的に獲得でき、ユーザの使用する環境に合わせてシステムが適応し、高精度且つロバストに認識することが可能である。
【特許文献１】特開２００６−１７８８５７号公報
【非特許文献１】青木紳也、外１名、「木構造状画像変換の自動構築法ＡＣＴＩＴ」、映像情報メディア学会誌、社団法人映像情報メディア学会、１９９９年、第５３巻、第６号、ｐ．８８８〜８９４
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述の技術では、過去に学習した画像や認識処理をシステム内で保持し、現在状況に活用することで環境に適応的な認識を行っている。このため、多様な走行環境を学習していくと、過去に学習された認識処理の蓄積量が膨大になり、現在の状態へ活用する際に、膨大な計算を要することになる。
【０００６】
従って、多様な環境を学習して一義的に蓄積するのみでは、効率的な活用の障害となるばかりでなく、特徴的なシーンに対して過去に蓄積された膨大な知識（認識処理）の中から平均的な知識を適用してしまう可能性があり、必ずしも有効ではない。
【０００７】
本発明は上記事情に鑑みてなされたもので、獲得された知識をシステム内で系統的に分類して保持・活用し、リアルタイムでの認識処理及び認識精度を向上させることのできる画像認識システムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明による画像認識システムは、画像データを認識器を用いて認識処理する画像認識システムであって、学習により獲得される認識処理及び学習に用いる教師情報をクラス毎に分類し、保持するデータベース部と、上記認識器を上記クラス毎の教師データを用いて評価し、上記認識器を適応的に学習更新する学習更新部とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、獲得された知識をシステム内で系統的に分類して保持・活用し、リアルタイムでの認識処理及び認識精度を向上させることができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図１３は本発明の実施の一形態に係り、図１は画像認識システムの基本構成図、図２は人抽出問題への適用例を示す説明図、図３は木構造状画像フィルタを示す説明図、図４は認識器出力の統合を示す説明図、図５は学習処理の流れを示す説明図、図６はデータベース管理部の構成を示すブロック図、図７はフィルタリング後の画像特徴量を示す説明図、図８は自己組織化マップによるクラス分けを示す説明図、図９は統合画像の評価を示す説明図、図１０は入れ替え選択の説明図、図１１は逐次学習の説明図、図１２は全体の処理の流れを示す説明図、図１３は処理例を示す説明図である。
【００１１】
本発明の画像認識システムは、オンラインで入力される画像データを認識器で処理しながら、現在用いている認識器を環境に合わせて適応的に更新し、多様な環境、対象に対して、より高精度でロバストなシステムを構築するものである。すなわち、認識器は、処理時間やメモリ空間等の関係からその大きさや数に制限があり、また、天候・環境等によっても要求される認識器の性能が変わる。
【００１２】
このような状況においても、過去に入力された画像データの学習結果や認識結果をシステムが保有するデータベースに蓄積し、このデータベースに蓄積した学習データを用いて認識器をオンラインで更新することで、多様な環境、対象に合わせて適応的に学習し、高精度かつロバストな認識を実現することができる。
【００１３】
しかし、多様な走行環境を学習していくことで、過去に学習された認識処理の量が膨大になり、現在の状態へ活用する際に最適化の計算が膨大になり、効率的な活用の障害となる可能性がある。このため、本発明の画像認識システムでは、獲得された知識（認識処理）をシステム内で系統的に分類して保持・活用することにより、リアルタイムでの認識処理を効率的に行うことを可能としている。
【００１４】
尚、ここでの画像データとは、カメラ等のイメージセンサで撮像した視覚情報データのみならず、レーザ・レーダ等により物体の２次元的な分布を検出した疑似画像形態のデータも含むものとする。
【００１５】
図１に示すように、本形態における画像認識システム１は、入力される画像データを複数の認識器５，…で並列に処理する認識処理部２、各認識器５，…の出力を統合する統合部３、処理の目標となる教師データを用いて認識器を学習的に更新する学習部４、獲得された知識（認識処理）を系統的に分類して保持するデータベース部６を備えて構成されている。
【００１６】
学習部４の構成について詳細に述べると、学習部４は、個々の認識器を評価する認識器評価部１０、全ての認識器（現在使用している認識器及びストックしている認識器）の中から最適な組み合わせを求め、現在使用している認識器の組み合わせを最適な組み合わせに入れ替える入替選択部１１、教師データを元に新たに認識器を作成する逐次学習部１２を備えて構成されている。
【００１７】
また、データベース部６は、詳細には、過去に作成された認識器及び新たに作成する認識器を保存する認識器データベースＤＢ１、過去に入力された教師データ及び新たに入力される教師データを保存する教師データベースＤＢ２、各データＤＢ１，ＤＢ２に保存する知識を系統的に分類して管理するデータベース管理部７を備えて構成されている。
【００１８】
以下では、画像認識システム１を自動車等の車両に搭載して車載カメラからの動画像を処理し、歩行者を抽出する例について説明する。これは、図２に示すように、異なるシーンの動画像Ｑ１，Ｑ２，Ｑ３の中から破線で示す領域ＱＲ１，ＱＲ２，ＱＲ３に写っている人を抽出する人抽出問題への適用例である。
【００１９】
入力画像を撮像する車載カメラとしては、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有するカメラを用い、自動車の車室内のルームミラー付近のフロントガラス内側に車載カメラとして配設する。この車載カメラにより、所定の時間周期（例えば、１／３０ｓｅｃ）毎に車両前方が撮像され、ノイズ除去、ゲイン調整、γ補正等のビデオプロセス処理を経て所定の階調（例えば２５６階調のグレースケール）のデジタル画像に変換された入力画像が認識処理部２に入力される。
【００２０】
尚、認識処理部２には、現在の時刻ｔ及びそれ以前の時刻（ｔ−ｋ）の画像がＭフレーム毎にメモリから読み出されて入力される。ｋ及びＭの値は適宜設定可能であり、また、他の選択方法により相異なる複数種類の入力画像を選択して入力するように構成することも可能である。
【００２１】
認識処理部２は、複数の認識器５，…で入力画像を並列に処理し、対象を抽出した処理画像を出力する。本形態では、処理目的が車両前方の風景画像の中からの歩行者の抽出であることから、入力画像の中から歩行者のみを抽出した画像が出力される。
【００２２】
また、認識器５として、本形態においては、図３に示すように複数の画像フィルタＦ１，Ｆ２，…，Ｆｎ（図においては、ｎ＝８）を木構造状に組み合わせた木構造状画像フィルタを採用している。この木構造の各ノードとなる画像フィルタとしては、既存の各種画像フィルタ（例えば、平均値フィルタ、ソベルフィルタ、２値化フィルタ等）や目的に応じて機能が特化された画像フィルタが用いられ、これらの画像フィルタの最適な組合わせと総数が、遺伝的アルゴリズム（GA;Genetic Algorithm）の遺伝子型を構造的な表現（木構造やグラフ構造等）が扱えるように拡張した遺伝的プログラミング（GP;Genetic Programming）によって学習的に獲得される。
【００２３】
尚、認識器５としては、木構造状画像フィルタの他、ニューラルネットワーク、サポートベクタマシン、ファジー等による認識器、ステレオ画像をマッチング処理する認識器、レーザ・レーダによるスキャン画像を処理する認識器等を用いることも可能である。
【００２４】
本形態で採用する木構造状画像フィルタによる画像処理の詳細については、本出願人による特開２００６−１７８８５７号公報に詳述されている。ここでは、その概要について説明する。
【００２５】
本形態における木構造状画像フィルタでは、以下の適応度評価、選択、交叉、突然変異、適応度評価、終了判定の過程を経て木構造の最適化が行われ、ＧＰによって自動的に生成される処理プログラムにより、原画像から目標画像までの最適な変換プロセスが実現される。
【００２６】
［適応度評価］
木構造状画像フィルタを個体として、ランダムに生成される初期個体集団の各個体の適応度を評価する。適応度は、各個体から出力される画像の目標画像に対する類似度で定義され、以下の（１）式を用いて算出される。尚、各個体は、最適化されるまでの進化過程において、木構造を構成する終端ノードの数が予め設定した最大値（例えば４０）を超えないように制限される。  
Ｋ＝１．０−(１／Ｒ)・Σf（ΣpＷ・│Ｏ−Ｔ│／ΣpＷ・Ｖ）…（１）
但し、Σf：フレーム数ｆについての総和
Σp：１フレーム中のピクセルについての総和
Ｋ：適応度
Ｒ：学習セット数（入力画像及び教師画像の組み合わせを学習セットとして
評価に用いたセット数）
Ｏ：出力画像
Ｔ：目標画像（最適化された処理で出力すべき画像
Ｗ：重み画像（目標とする画像内での領域の重要度を表し、
出力画像と目標画像との距離に応じた重みが画素毎に定義された画像）
Ｖ：最大階調度
【００２７】
［選  択］
個体の複製のために親集団を選択する過程であり、適応度Ｋに基づいてルーレット選択や期待値選択、ランキング選択、トーナメント選択等の方法で次世代に残すべき個体の選択及び増殖を行う。本形態の木構造状画像フィルタでは、トーナメント選択により設定数の個体を選択すると共に、適応度Ｋが最大の個体のエリート保存を同時に行う。
【００２８】
［交叉、突然変異］
親集団から交叉、突然変異によって子集団を生成する過程であり、選択された個体をペアにして、それぞれの交叉点をランダムに選び、一点交叉、多点交叉、一様交叉等により、それぞれ交叉点に応じた部分木同士で交叉させ、子集団を生成する。生成された子集団は、個体毎に所定の割合でノードの変異、挿入、欠失等が行われ、突然変異による子集団が生成される。
【００２９】
［適応度評価、終了判定］
突然変異で生成された各個体は前述した適応度が評価され、エリート保存された前世代の適応度が最大の個体を含めて、最適化の処理終了が判定される。この処理の終了は、実行すべき最大世代数まで達したか否か、予め設定した目標適応度に達した個体があるか否か（目的とする個体が得られたか否か）等によって判定される。
【００３０】
世代数が終了世代数に到達していないときには、親選択に戻り、以上の処理過程を繰り返す。一方、世代数が終了世代数に到達したとき、或いは、適応度の最大値が所定の世代数経過してもその間変化しない場合、すなわち、適応度の最大値が停滞した場合には、その世代で最適化を打切り、最大の適応度を有する個体を解として出力する。
【００３１】
以上の木構造の最適化は、各種シーンに対応するため、予めオフラインの事前学習においても実行され、典型的なシーン、例えば、昼、夜、天候、環境（高速道路、幹線道路、市街地等）に特化した認識器として、認識器データベースＤＢ１に後述するクラス毎にストックされる。
【００３２】
尚、以下では、木構造状画像フィルタを、適宜、「木構造フィルタ列」、或いは単に「木」と記載する。
【００３３】
画像認識システム１における通常の入力画像の処理は、認識処理部２及び統合部３で実行され、オンラインで常に送られてくる入力画像の中から対象が抽出される。すなわち、入力画像が認識処理部２の複数の木構造フィルタ列で並列に処理されると、この並列出力が統合部３で平均化されて統合され、統合画像が認識結果として出力される。
【００３４】
例えば、図４に示すように、入力データとなる原画像を４本の木構造フィルタ列ＴＲ１，ＴＲ２，ＴＲ３，ＴＲ４で処理する場合、各木構造フィルタ列ＴＲ１，ＴＲ２，ＴＲ３，ＴＲ４で処理した複数枚の出力画像に対して、それぞれ、出力重みＷｉ（ｉ＝１，２，３，４）が設定され、この出力重みＷｉで統合された画像が出力される。
【００３５】
統合画像中のｎ番目のピクセル値Ｐｎは、以下の（２）式に示すように、各木構造フィルタ列ＦＡ，ＦＢ，ＦＣ，ＦＤからの出力画像の対応するピクセル値ＰＡｎ，ＰＢｎ，ＰＣｎ，ＰＤｎを、出力重みＷ１，Ｗ２，Ｗ３，Ｗ４で加重平均した値で与えられる。尚、出力重みＷｉについての詳細は、以下の学習部４における認識器の入れ替え選択処理の中で説明する。  
Ｐｎ＝（ＰＡｎ×Ｗ１＋ＰＢｎ×Ｗ２＋ＰＣｎ×Ｗ３＋ＰＤｎ×Ｗ４）／４…（２）
【００３６】
一方、学習部４は、オンラインで常に送られている入力画像の中から対象を認識する認識処理部２及び統合部３の処理とは別に、図５に示すように、教師データの入力をトリガとして、現在用いている認識器を環境に合わせて適応的に更新する処理をバックグラウンドにて実行する。尚、図５において、太線で示す矢印線が学習処理の流れを示し、破線の矢印線、細線の矢印線は、それぞれ、学習用画像、認識器の流れを示している。
【００３７】
概略的には、入力データから教師データが作成されると、この教師データがデータベース管理部７でクラス毎に分類され、教師データベースＤＢ２にストックされる。そして、このクラス毎に分類された教師データを用いて、認識器評価部１０で、現在用いている木構造フィルタ列、認識器データベースＤＢ１にストックされている木構造フィルタ列がクラス別に評価される。
【００３８】
各クラスにおける木構造フィルタ列の評価結果は入替選択部１１で参照され、最適な木構造フィルタ列の組み合わせが決定される。最適な木構造フィルタ列の組み合わせは、認識処理部２を形成する現在の木構造フィルタ列すなわち現在使用している複数の木構造フィルタ列の統合結果よりも良好な評価を得られることが前提であり、絶対的な条件として、現在の木構造フィルタ列の組み合わせよりも評価が悪くならないことが必要である。
【００３９】
使うべき候補の木構造フィルタ列がない場合には、逐次学習部１２において、前述した進化的最適化手法であるＧＰを用いた学習により、新たな木構造フィルタ列が作成される（逐次学習）。そして、逐次学習で順次追加された木構造フィルタ列を含めた組み合わせが反復評価され、最終的に決定された最適な木構造フィルタ列の組み合わせにより、現在の認識処理部２の複数の木構造フィルタ列が部分的或いは全面的に入れ替えられる。
【００４０】
以下、学習部４の処理についての詳細な説明に先立ち、データベース管理部７による教師データ及び知識データの管理について説明する。
【００４１】
データベース管理部７は、入力データとして走行中に撮影される画像、車内ネットワークを介して得られる車両操作や車両状態等の情報を用いて、各データベースＤＢ１，ＤＢ２内の過去に学習した画像及び学習により得られた認識処理を適切に管理し、入替選択部１１及び逐次学習部１２を効率的に制御するための情報を送る。
【００４２】
前述したように、各データベースＤＢ１，ＤＢ２には、多様な走行環境を学習した膨大な学習結果が蓄積されることから、現在の状態へ効率的に活用するには、適切な対策が必要となる。このため、データベース管理部７は、図６に示すように、特徴量抽出部７ａ、教師マップ作成部７ｂ、属性設定部７ｃ、クラス判別部７ｄの各機能部を備え、これらの機能部により、獲得された知識（認識処理）をシステム内で系統的に分類し、リアルタイムでの認識処理を効率的に行うことを可能としている。
【００４３】
特徴量抽出部７ａは、走行中に経験したリスク情報から作成された教師画像が入力されると、教師画像から特徴量を抽出する。すなわち、教師画像から、エッジ情報、動き情報、色情報（明度、彩度、色相）等の特徴量を抽出し、それらの情報をＮ次元ベクトルとして保持する。このＮ次元ベクトルには、画像特徴量以外の車両情報、例えば、車速やヨー角の変化といった情報も含めることができる。
【００４４】
この場合の特徴量抽出は、以降の認識のためのデータ抽出であるが、一般に、目的とする認識に相関がないデータは認識に悪影響を与える。つまり、この特徴量抽出処理においては、むやみに特徴量を増やすということは得策でなく、逆に、必要な特徴量を用いないことも精度を悪化させる。
【００４５】
そのため、どの特徴量を用いるべきかという特徴量選択が課題として発生し、ここでの特徴量選択を学習的に行うと、以降の認識処理の上位の学習が必要になり、計算量・メモリ容量的にオンラインでの学習には不利である。従って、本形態では、ここでの特徴量抽出部分は固定として扱う例について説明する。
【００４６】
尚、特徴量選択を学習的に行う場合には、システムの認識率を基準として評価し、各特徴量の組み合わせを最適化すれば良く、これには、組み合わせの全探索、ＧＡ等の発見的な探索法等、既存の最適化手法を用いることができる。
【００４７】
本形態においては、予め設定した種類の特徴量を抽出している。例えば、処理を複数の要素に分け、各要素毎に設定した特徴量を抽出する。複数の要素としては、前処理、特徴量計算、領域設定等を用いことが可能である。以下に示すように、前処理で６種類、特徴量計算で１０種類、領域設定で４種類のデータを抽出することができ、それらの組み合わせで計２４０（６×１０×４）次元のデータを抽出することができる。
【００４８】
＜前処理＞
入力画像に対して、ソベル、縦方向ソベル、横方向ソベル、フレーム間差分、輝度、彩度の６種類のフィルタ処理を行うことにより、６次元の特徴量データを抽出することができる。
【００４９】
＜特徴量＞
フィルタ処理された画像の画素値に対して、平均、分散、最大値、最小値、横方向重心、縦方向重心、コントラスト、均一性、エントロピー、フラクタル次元の１０種類の計算処理を行うことにより、１０次元の特徴量データを抽出することができる。
【００５０】
＜領域＞
画像内に領域を設定し、この設定領域の全体、設定領域内の左側の領域、右側の領域、中央の領域の４種類の領域について、４次元の特徴量データを抽出することができる。
【００５１】
以上の２４０次元の特徴量は、オンラインシステムの演算性能に応じて、使用する次元を絞るようにしても良い。また、画像以外にも車両データも用いて、画面全体のソベルの平均、分散、画面全体のフレーム間差分の平均、分散、車速、ハンドル角の６次元の特徴量を抽出するようにしても良い。
【００５２】
また、以上の特徴量抽出処理においては、各特徴量は正規化しているが、理論上の範囲は非効率であるため、事前に各特徴量の分布を評価しておき、その評価結果を元に最大値及び最小値を設定し、０〜１の数値に正規化している。その場合、最大値・最小値を動的に変化させるようにしても良く、例えば、最大値を超える値もしくは最小値を下回る値が入力された場合には、それぞれ範囲を拡大するように最大値・最小値を変更する。逆に、しばらく最小値、最大値付近のデータが入ってこなかった場合は、範囲を狭めるように変更する。
【００５３】
また、ここでは基本的な特徴量を用いたが、過去のフレーム情報を用いて動き情報を算出する等、特徴量の時系列的な変動を計算し、その情報を特徴量として用いることもできる。更に、全体としてのリスク認識の精度向上のためには、この特徴量抽出処理に高精度の画像処理を入れることもでき、例えば、過去の歩行者認識結果、道路の白線認識結果、障害物認識結果等を含めて、ここでの抽出データに組み込むようにしても良い。
【００５４】
以上により教師画像から特徴量を抽出すると、教師マップ作成部７ｂでは、過去に得られた教師画像と併せて特徴量空間をクラスタリングしてクラス毎に分類し、クラス毎に教師画像のマップを作成する。ここでは、大脳皮質の視覚野をモデル化したニューラルネットワークの一種である自己組織化マップ（SOM;Self-Organization Maps）を用いてクラスタリングを行う。
【００５５】
ＳＯＭは、Ｍ次元（通常は２次元）に並べられたユニットが、それぞれベクトル値（通常入力との結線の重みと呼ばれる）を持ち、入力に対して勝者ユニットをベクトルの距離を基準として決定するものであり、勝者ユニット及びその周辺のユニットの参照ベクトル値を、入力ベクトルに近づくように更新する。これを繰り返し、全体が入力データの分布を最適に表現できるように学習してゆくことで、代表ベクトルで代表されるデータ密度の高い空間をクラスとして分類する。
【００５６】
例えば、教師画像をソベルフィルタを用いてフィルタリングした後、画像中の画素値の平均、分散を用いて１枚の画像から１×２種類の画像特徴量を抽出し、図７に示すように、連続する３４フレーム分の画像から画像特徴量を抽出した場合、この画像特徴量をＳＯＭによってクラスタリングすると、図８に示すように、Ａ，Ｂ，Ｃ，Ｄのクラスに分類することができる。
【００５７】
このＳＯＭクラスタリングによる教師画像のクラス分けは、確定的なものではなく、多様な走行環境に対応して適応的に更新する必要がある。このため、教師マップ作成部７ｂは、走行中に自律的にクラスタリングを更新してゆき、環境や時間の推移による特徴量の変化に対して適応的にクラスを分類する。
【００５８】
その後、入力教師画像の属するクラスが決定されると、次に、属性設定部７ｃにおいて、その教師画像に属性情報を付加し、教師データベースＤＢ２へ転送する。教師画像に付加する属性情報は、その教師画像が属するクラス、及び所属するクラスの中心からの距離を主として、その他、特徴量空間上の他のクラスの中心からの距離や、用いた学習セットのクラス属性の平均値等を付加する。
【００５９】
尚、ＳＯＭによるクラスタリングを確率的なモデルを用いて行う場合には、クラスの中心からの距離に応じた確率表現的な情報を属性情報として付加するようにしても良い。
【００６０】
以上によりクラス毎に分類された教師画像により、認識器がクラス毎に入れ替えられ、クラス毎の教師画像に対応した認識器のデータベースが認識器データＤＢ２内に形成される。次に、認識器のリアルタイム入れ替え処理について説明する。
【００６１】
認識器の入れ替えは、入力データがデータベース管理部７へ入力されたときに開始され、先ず、データベース管理部７のクラス判別部７ｄにおいて、入力データがどのクラスに属するかを判断する。属するクラスの判断は、特徴量抽出部７ａによって得られる特徴量空間に入力データを投射し、教師画像のマップから入力データに対応するクラスを決定する。そして、決定されたクラスの属性をもつ認識器を選択し、リアルタイムに入れ替え処理を行う。
【００６２】
例えば、入力データの特徴量が前述の図８に示すＡ，Ｂ，Ｃ，Ｄのクラスに対して、クラスＡの中心からの距離が最も小さい場合には、入力データのクラスはＡであると決定し、認識器データベースＤＢ１にストックされているクラスＡの認識器（木構造フィルタ列）を用いて、現在使用している認識器（木構造フィルタ列）の入れ替え処理を行う。
【００６３】
この場合、クラスは、必ずしも一つのクラスに限定されることなく、特徴量空間上の距離が近い複数のクラスを対象として学習サンプルを抽出し、複数のシーンで平均的な認識処理を行うようにしても良い。
【００６４】
認識器入れ替え処理では、先ず、学習部４の認識器評価部１０において、現在使用している木構造フィルタ列、及び認識器データベースＤＢ１内の対応するクラスの木構造フィルタ列を個別に評価する。尚、この木構造フィルタ列の評価に際しては、認識器データベースＤＢ１において、対象となるクラス内の木構造フィルタ列の整理を行い、評価の低い木構造フィルタ列を削除するようにしても良い。
【００６５】
具体的には、教師データを用いて個々の木構造フィルタ列の画像評価値を求め、更に、以下の（ａ）〜(ｄ）の条件を加算的に或いは選択的に考慮して評価を行う。木構造フィルタ列の画像評価値としては、（１）式の適応度Ｋに準じた値を用いることができる。
【００６６】
（ａ）寿命
（現在の時間−作られた時間）を木の寿命とし、最近作られた若い木ほど、評価値を高くする。  
（ｂ）使用回数
過去に使用された回数が多い木は、評価値を高くする。  
（ｃ）サイズ
サイズの小さい木ほど、評価値を高くする。  
（ｄ）使用状態
現在使用している木に対しては、過去に使用した木よりも評価を高くする。
【００６７】
例えば、画像評価値Ｇ、寿命Ｌ、使用回数Ｓ、使用状態ＴＳを加算的に考慮して木を評価する場合、評価値Ｆは、以下の（３）式により求めることができる。  
Ｆ＝Ｇ×α＋Ｌ×β＋Ｓ×γ＋ＴＳ×δ  …（３）
但し、α，β，γ，δ：定数
【００６８】
求めた評価値は過去に遡り、累積した値が現在の評価値となる。クラス内の全ての木構造フィルタ列の評価が終わり次第、入替選択部１１の処理へ移る。
【００６９】
入替選択部１１は、現在用いている木とクラス内にストックされている木とを含めて全ての木の中から、最も評価が高くなるＮ本の木の組み合わせを求める。組み合わせの数Ｎが一定数Ｍに満たない場合には、逐次学習により新しい木を作成して木を追加し、Ｎ＝Ｍとなった時点で、常に入力データを処理していた木群を新しい木群に入れ替える。
【００７０】
一定数Ｍは、認識処理部２を形成する木構造フィルタ列の数（常時使用する木構造フィルタ列の数）であり、例えば、認識器データベースＤＢ１内に総計２０本の木構造フィルタ列がストックされている場合、組み合わせ数を対象とするクラス内に数によって制限し、常時使用する木として最大１０本までの最適な組み合わせを求める。これにより、走行中の状況に対応した高精度な認識処理の構築を行う上で、効率的な入れ替え選択を行うことができる。
【００７１】
木群の入れ替えに際しては、現在使用している木の組み合わせによる統合画像の評価結果を基準とする。すなわち、図９に示すように、新しい教師データである原画像を現在の木群ＴＲで並列処理して統合し、その統合画像を目標画像と比較して評価し、この評価結果を基準として、新しい組み合わせの木群を入れ替えるか否かを判断する。
【００７２】
また、最適な木の組み合わせに際しては、組み合わせた木群の統合画像を用いて評価を行う。例えば、図１０に示すように、認識器データベースＤＢ１の対応するクラスに、ＴＲ１，ＴＲ２，ＴＲ３，ＴＲ４という木があり、木ＴＲ１，ＴＲ２，ＴＲ３，ＴＲ４の中から、木ＴＲ１，ＴＲ２の２本を選択した場合、木ＴＲ１，ＴＲ２を用いて作成した統合画像を目標画像と比較して評価値を算出する。算出した評価値が他の組み合わせの評価値よりも高ければ、木ＴＲ１，ＴＲ２を選択し、低ければ、他の木を選択して同様に評価を行う。このような処理を反復して全ての組み合わせを評価し、評価が最も高い組み合わせを求める。
【００７３】
評価については以下に定義する式を用いて、評価値を算出する。  
［評価方法］
評価値は、新しい組み合わせの木群によって作られた統合画像の目標画像に対する類似度で定義され、以下の（１）’式を用いて算出される。  
Ｋ＝１．０−Σf（ΣpＷ・│Ｏ−Ｔ│／ΣpＷ・Ｖ）…（１）’
但し、Σf：フレーム数ｆについての総和
Σp：１フレーム中のピクセルについての総和
Ｋ：評価値
Ｏ：統合画像
Ｔ：目標画像（最適化された処理で出力すべき画像）
Ｗ：重み画像（目標とする画像内での領域の重要度を表し、
統合画像と目標画像との距離に応じた重みが画素毎に定義された画像）
Ｖ：最大階調度
【００７４】
尚、どの木を使うかという組み合わせ中で最適なものを選ぶのと同時に、各木の出力の強弱を最適化するようにしても良い。この出力の強弱は、前述の（２）式で説明した出力重みＷｉを、個々の木の評価値を参照して決定することで最適化することができる。例えば、木ＴＲ１の出力画像（のピクセル値）ＰＡｎに対する出力重みが［０．３］、木ＴＲ２の出力画像（のピクセル値）ＰＢｎに対する出力重みが［０．８］とすると、統合画像中のｎ番目のピクセル値Ｐｎにおいて、以下の（２）’式の値となり、上記と同様に出力重みが付いた統合画像から、評価値を求めることができる。  
Ｐｎ＝（ＰＡｎ×０．３＋ＰＢｎ×０．８）／２  …（２）’
【００７５】
この場合、出力重みと木の組み合わせは、［重みの種類］を［木の本数］で累乗した数となり、例えば、出力重みの候補が［０］，［０．３］，［０．８］，［１．０］の４種類あり、２本の木があるとすると、出力重みと木の組み合わせは計１６種類となり、この１６種類について評価値を求め、評価値が最大となった組み合わせを求めることになる。尚、実際の出力重みは、０〜１まで０．１刻みの１０種類が設定されている。
【００７６】
入替選択部１１において、全ての木構造フィルタ列の組み合わせが評価され、最適な組み合わせとなる木群の数Ｎが一定数Ｍに満たない場合、逐次学習部１２での逐次学習が実行される。
【００７７】
逐次学習部１２は、入替選択部１１によって選択された最適な組み合わせのＮ本の木の出力結果を更に修正し、最適な組み合わせの木の本数Ｎが一定数Ｍになるまで、逐次的に学習して木を追加する。
【００７８】
学習の流れとしては、例えば、図１１に示すように、入替選択部１１で選ばれた組み合わせが木ＴＲ１，ＴＲ２であったとすると、この木ＴＲ１，ＴＲ２の統合画像と目標画像との差から木ＴＲ１，ＴＲ２が間違った箇所について重み付けを行い、間違った個所を修正点として重み付けした画像（修正重み画像）を作成する。
【００７９】
例えば、目標画像の値のうち、人であると教師している領域を輝度値２５５（最重要）、統合画像と目標画像を比べて間違った部分を輝度値１２７（重要）、それ以外の領域を輝度値１（やや重要）として、修正重み画像を作成する。そして、作成した修正重み画像を用いて新たな木ＴＲ３’を一つ作成し、木構造のバッファへ追加する。
【００８０】
次に、木ＴＲ１，ＴＲ２，ＴＲ３’の統合画像を求め、この統合画像の目標画像に対する評価値に基づいて、新しい木ＴＲ３’を追加するか否かを判定する。評価値が閾値を超えていれば、図１１に示すように、木ＴＲ３’を追加して新たな組み合わせの木群ＴＲ１，ＴＲ２，ＴＲ３’とし、評価値が閾値以下の場合には、今回作成された木ＴＲ３’は追加せず、学習を逐次的にやり直す。すなわち、同様に、修正重み画像を作成し、更に新たな別の木ＴＲ４を作成し、木ＴＲ１，ＴＲ２，ＴＲ４の組み合わせによる統合画像を評価するという具合に、木構造の数Ｎが一定数Ｍになるまで木を追加する。
【００８１】
実際には、一定数Ｍを１０本と定め、入れ替え選択によって選ばれた木が１０本になるまで、木の追加を行う。そして、木の数ＮがＭ本になった時点で逐次学習を終了し、常に入力データを処理していた木群を、作成した新しい木群に入れ替える。
【００８２】
尚、新たな木とは、前述したＧＰ（遺伝的プログラミング）により、ストックされている木を初期個体として進化させたもののみならず、現在使用している木を初期個体として進化させたものも含んでおり、計算時に選択される確率をクラス属性情報により設定し、入力された教師画像に該当するシーンを中心に探索を行うことで、効率的な入れ替え選択を行うことができる。
【００８３】
全体の処理の流れを、図１２を中心として図１３を併用して説明する。図１２に示すように、原画像が新しい教師データとして入力されると、認識処理部２で現在の組み合わせのＭ本の認識器（木構造フィルタ列）によって並列に処理され、それぞれの出力結果が統合される。図１３のＱ１’が原画像の例であり、この原画像Ｑ１’を認識器で処理して統合した画像がＱ２’である。この統合画像Ｑ２’では、現在用いている認識器が新しい教師データに対して人を全く抽出していないことが分かる。
【００８４】
このとき、データベース管理部７で原画像の属するクラスが決定され、認識器データベースＤＢ１の対応するクラスの認識器及び現在用いている認識器を認識器評価部１０で評価した後、入替選択部１１で認識器の新たな組み合わせを決定し、認識器をＮ本選択してその統合画像を評価する。図１３のＱ３’は、木構造フィルタ列３本の新たな組み合わせを選択した場合の統合画像を示しており、この統合画像Ｑ３’では、人を抽出しているが、背景に誤抽出があることが分かる。
【００８５】
この背景の誤抽出は、逐次学習部１２での逐次学習により、画像を修正するように学習され、図１３のＱ４’に示すような統合画像が得られる。図１３の統合画像Ｑ４’は、人を抽出しつつ、背景の誤抽出が減っているのが分かる。この逐次学習の繰り返しを経て、最終的に決定される認識器の組み合わせの数がＭ本に達したとき、現在の認識処理部２が新しい組み合わせの認識器で更新され、背景の誤抽出を排除することができる。
【００８６】
以上のように、本実施の形態の画像認識システムは、過去に入力された画像データの学習結果や認識結果をシステム内で系統的に分類してデータベースに蓄積し、このデータベースに蓄積した学習データを用いて認識器をオンラインで更新するようにしている。これにより、蓄積された知識の量が増大しても、多様な環境、対象に合わせて適応的に学習する際の最適化を効率的且つ高速に行うことができ、高精度かつロバストな認識を実現することができる。
【図面の簡単な説明】
【００８７】
【図１】画像認識システムの基本構成図
【図２】人抽出問題への適用例を示す説明図
【図３】木構造状画像フィルタを示す説明図
【図４】認識器出力の統合を示す説明図
【図５】学習処理の流れを示す説明図
【図６】データベース管理部の構成を示すブロック図
【図７】フィルタリング後の画像特徴量を示す説明図
【図８】自己組織化マップによるクラス分けを示す説明図
【図９】統合画像の評価を示す説明図
【図１０】入れ替え選択の説明図
【図１１】逐次学習の説明図
【図１２】全体の処理の流れを示す説明図
【図１３】処理例を示す説明図
【符号の説明】
【００８８】
１  画像認識システム
２  認識処理部
３  統合部
４  学習部
５  認識器
６  データベース部
７  データベース管理部
１０  認識器評価部
１１  入替選択部
１２  逐次学習部
ＤＢ１  認識器データベース
ＤＢ２  教師データベース
【図１】
2009064162.tif 000003
【図２】
2009064162.tif 000004
【図３】
2009064162.tif 000005
【図４】
2009064162.tif 000006
【図５】
2009064162.tif 000007
【図６】
2009064162.tif 000008
【図７】
2009064162.tif 000009
【図８】
2009064162.tif 000010
【図９】
2009064162.tif 000011
【図１０】
2009064162.tif 000012
【図１１】
2009064162.tif 000013
【図１２】
2009064162.tif 000014
【図１３】
2009064162.tif 000015