(57)【要約】画像例が入れ替わる場合であっても、短時間で処理内容を画像例に追従させることができる画像処理自動構成装置。この装置において、組合せ制御器（２３０）は、パターン確率ＣＴとＣＢの加重平均のパターン確率Ｃから、複数のライブラリ組合せパターンを生成する。各ライブラリ組合せパターンは、評価値が計算される。組合せ制御器（２３０）は、評価値が上位のライブラリ組合せパターンを最も良く生成できるパターン確率を推定する。推定結果は、トップダウン探索器（２１０）のパターン記憶器（２１６）とボトムアップ学習器（２２０）のパターン記憶器（２２４）に出力される。【特許請求の範囲】
【請求項１】
複数の画像処理要素を含む画像処理ライブラリを記憶するライブラリ記憶手段と、
前記複数の画像処理要素間の入出力の接続の確率を示す結合確率行列を用いて、前記画像処理要素の組合せを決定する画像処理要素組合せ決定手段と、
決定された組合せに付随する前記画像処理要素のパラメタを用いて、前記画像処理要素のパラメタを更新するライブラリパラメタ更新手段と、を有し、
前記画像処理要素のパラメタは、確率分布で表現されている、
画像処理自動構成装置。
【請求項２】
前記画像処理要素組合せ決定手段は、
前記画像処理要素を非循環有向グラフ状に配置する、
請求項１記載の画像処理自動構成装置。
【請求項３】
前記画像処理要素組合せ決定手段は、
前記結合確率行列を探索により最適化する探索手段と、
入力画像群から前記探索手段から出力される確率を出力するように学習する学習手段と、を有し、
前記結合確率行列は、前記探索手段から出力される確率と、前記学習手段から出力される確率とを用いて決定される、
請求項１記載の画像処理自動構成装置。
【請求項４】
前記結合確率行列は、評価値をもとにして確率分布を試行錯誤的に推定する手法により推定される、請求項１記載の画像処理自動構成装置。
【請求項５】
前記画像処理要素のパラメタは、確率的探索手法により推定される、
請求項１記載の画像処理自動構成装置。
【請求項６】
画像処理ライブラリに含まれる複数の画像処理要素間の入出力の接続の確率を示す結合確率行列を用いて、前記画像処理要素の組合せを決定するステップと、
決定された組合せに付随する前記画像処理要素のパラメタを用いて、前記画像処理要素のパラメタを更新するステップと、を有し、
前記画像処理要素のパラメタは、確率分布で表現されている、
画像処理自動構成方法。
【請求項７】
画像処理ライブラリに含まれる複数の画像処理要素間の入出力の接続の確率を示す結合確率行列を用いて、前記画像処理要素の組合せを決定するステップと、
決定された組合せに付随する前記画像処理要素のパラメタを用いて、前記画像処理要素のパラメタを更新するステップと、前記画像処理要素のパラメタは、確率分布で表現されている、
をコンピュータに実行させるための画像処理自動構成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像処理自動構成装置に関する。
【背景技術】
【０００２】  従来、画像処理のプログラム（ソフトウエア）は、問題ごとに技術者が作成していた。これに対し、近時、進化的手法のような組合せ最適化法などを用いて画像処理タスクに関する事前の知識を持たずに評価値によって探索的に画像処理ソフトウエアを自動構成する研究が行われている。【０００３】  進化的手法により画像処理の自動構成を目指す手法の一例として、例えば、ＡＣＴＩＴ（Ａｕｔｏｍａｔｉｃ  Ｃｏｎｓｔｒｕｃｔｉｏｎ  ｏｆ  Ｔｒｅｅ−ｓｔｒｕｃｔｕｒａｌ  Ｉｍａｇｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：木構造状画像変換自動構築システム）と呼ばれるものが提案されている（非特許文献１）。【０００４】  この手法では、画像フィルタを木構造に配置し、葉から根へ処理を進行させることで、画像処理を実現するようにしている。また、この手法では、所与の画像例をもとにして、木構造を進化的手法の一つである遺伝的プログラミングにより最適化することで、所望の画像処理の自動構成を可能にしている。
【非特許文献１】青木紳也、長尾智晴、「木構造状画像変換の自動構築法ＡＣＴＩＴ」，映像情報メディア学会誌，５３，６，（１９９９），８８８
【発明の開示】
【発明が解決しようとする課題】
【０００５】  しかしながら、従来の手法においては、最適化までに時間がかかり、しかも、構成された処理が画像例に特化してしまう傾向がある。【０００６】  すなわち、従来の手法では、画像処理ライブラリの使用回数を制限せずに木構造そのものを探索するため、木構造が大きくなってしまい、その結果、探索しなければならない木構造の数が膨大になってしまう。また、この手法では、探索の結果として、入力画像に非常に特化した処理が獲得されるため、獲得した処理が一般性に乏しく、類似する画像に対しても再探索に時間がかかってしまう。そのため、例えば、画像例が入れ替わる場合、とりわけ、短時間で画像例が入れ替わり続けるような場合には、最適化までに時間がかかり、処理内容を画像例に追従させることが困難であり、過去の結果を再利用することができないという問題がある。【０００７】  本発明の目的は、画像例が入れ替わる場合であっても、短時間で処理内容を画像例に追従させることができる画像処理自動構成装置を提供することである。
【課題を解決するための手段】
【０００８】  本発明は、複数の画像処理要素を含む画像処理ライブラリを記憶するライブラリ記憶手段と、前記複数の画像処理要素間の入出力の接続の確率を示す結合確率行列を用いて、前記画像処理要素の組合せを決定する画像処理要素組合せ決定手段と、決定された組合せに付随する前記画像処理要素のパラメタを用いて、前記画像処理要素のパラメタを更新するライブラリパラメタ更新手段と、を有し、前記画像処理要素のパラメタは、確率分布で表現されている、構成を採る。
【発明の効果】
【０００９】  本発明によれば、画像例が入れ替わる場合であっても、画像処理要素組合せの探索に確率分布の制限がかかっているため、短時間で処理内容を画像例に追従させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施の形態に係る画像処理自動構成装置の構成を示すブロック図
【図２】図１に示す画像処理生成部の構成の一例を示すブロック図
【図３】画像処理ライブラリに含まれるフィルタの例を示す図
【図４】図２に示すトップダウン探索器の動作の一例を示すフローチャート
【図５】図２に示すボトムアップ学習器の動作の一例を示すフローチャート
【図６】本実施の形態に係る画像処理自動構成装置の全体動作の概略を示すフローチャート
【図７】結合確率行列を用いてＤＡＧ状の画像処理要素組合せパターンを生成する方法を説明するための図
【図８】実験に用いた入力画像群を示す図
【図９】実験に用いた教師画像を示す図
【図１０】実験で得られた画像処理後の結果画像を示す図
【図１１】最大評価値の推移を示す図
【発明を実施するための最良の形態】
【００１１】  以下、本発明の実施の形態について、図面を参照して詳細に説明する。【００１２】  本発明者は、短時間で処理内容を画像例に追従させるためには、画像処理要素の組合せとパラメタをそれぞれ確率的に扱う必要があることを見出した。また、その際、追従を加速するためには、可能であれば過去の結果を再利用する必要があることを見出したのである。【００１３】  本発明は、確率分布を試行錯誤的に推定する手法により画像処理要素の組合せを確率として保持し統計的に学習すると同時に、確率的探索手法により画像処理要素のパラメタを学習することで、画像処理自動構成を実現するものである。ここで、確率分布を試行錯誤的に推定する手法としては、例えば、一例として、進化的手法の一つである分布推定アルゴリズム（Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  Ｄｉｓｔｒｉｂｕｔｉｏｎ  Ａｌｇｏｒｉｔｈｍ：ＥＤＡ）があり、また、確率的探索手法としては、例えば、一例として、確率的山登り法（Ｓｔｏｃｈａｓｔｉｃ  Ｈｉｌｌ−Ｃｌｉｍｂｉｎｇ：ＳＨＣ）がある。なお、概念としては、確率分布を試行錯誤的に推定する手法と、確率的探索手法とは、あまり変わらない。【００１４】  具体的な画像処理要素の組合せを指定する確率分布は、類似する複数の組合せを同時に表現していると考えられるため、画像例の入れ替わりがあった場合において、要求される画像処理が確率分布により表現されている画像処理と類似するときは、即応的に提示画像例に対応する画像処理が探索・発見されることになる。その結果、画像例が入れ替わる場合であっても、短時間で処理内容を画像例に追従させることが可能になると考えられる。【００１５】  実際、後で詳述するが、本発明者は、画像中の自動車領域を抽出するタスクを、異なる画像群で複数用意し、それらが順次切り替わる実験を行った。その結果、各画像群に対応する画像処理が学習されると同時に、画像の切り替わりに即応的に対応することができた。【００１６】  図１は、本発明の一実施の形態に係る画像処理自動構成装置の構成を示すブロック図である。【００１７】  図１に示す画像処理自動構成装置１００は、例えば、分布推定アルゴリズムにより画像処理要素の組合せを確率として保持し統計的に学習すると同時に、画像処理パラメタを、例えば、確率的山登り法により学習することで、画像処理自動構成を実現するものであって、コンピュータで構成されており、大別して、画像保持部１１０、画像処理部１２０、評価部１３０、および画像処理生成部１４０を有する。【００１８】  画像保持部１１０には、画像処理の対象である入力画像群Ｉ＝｛Ｉ１，Ｉ２，…，ＩＮ｝と、処理例として性能評価の基準である教師画像群Ｔ＝｛Ｔ１，Ｔ２，…，ＴＮ｝が記憶されている。また、画像保持部１１０には、入力画像群Ｉに含まれる入力画像と、教師画像群Ｔに含まれる教師画像との対応関係も記憶されている。入力画像群Ｉと教師画像群Ｔは、いずれも、Ｎ個の画像で構成されている。入力画像群Ｉは、画像処理部１２０に出力され、教師画像群Ｔは、評価部１３０に出力される。【００１９】  画像処理部１２０は、画像保持部１１０から入力画像群Ｉを受け取り、受け取った入力画像群Ｉを画像処理生成部１４０により生成され���画像処理プログラムにより処理し、得られた画像（結果画像）を評価部１３０に出力する。画像処理生成部１４０では、後述するように、パターンとして複数（Ｍ個）の画像処理プログラム（以下「画像処理パターン」または単に「パターン」ともいう）を含む画像処理群Ｐ＝｛ｐ１，ｐ２，…，ｐＭ｝が生成されるため、画像処理部１２０は、画像処理群Ｐに含まれる各画像処理パターンｐｍ（ｍ＝１，２，…，Ｍ）について順次処理を行う。【００２０】  評価部１３０は、画像処理部１２０から結果画像を受け取るとともに、画像保持部１１０から対応する教師画像を受け取り、受け取った結果画像と教師画像を比較して、合成された（自動構成された）画像処理プログラム、つまり、当該画像処理パターンｐｍの性能評価を行う。この性能評価の結果である評価値ｆ（ｐｍ）は、画像処理生成部１４０に出力される。性能評価は、例えば、画像処理部１２０からの画像と画像保持部１１０からの教師画像との正規化画像相関を計算することによって行われる。この場合、評価値ｆ（ｐｍ）は、正規化画像相関の計算値である。なお、ここでは、各画像処理パターンｐｍに対応する評価値ｆ（ｐｍ）を含む評価値群｛ｆ（ｐ１），ｆ（ｐ２），…，ｆ（ｐＭ）｝をｆ（Ｐ）と表記する。【００２１】  画像処理生成部１４０は、本発明の特徴部分であって、個別処理を再利用可能に集積した画像処理要素の組合せとパラメタを確率的手法により最適化しつつ、複数（Ｍ個）の画像処理パターンを含む画像処理群Ｐ＝｛ｐ１，ｐ２，…，ｐＭ｝を生成し、画像処理部１２０に提供する。本実施の形態では、画像処理群Ｐの生成、つまり、画像処理の自動構成は、分布推定アルゴリズムにより画像処理要素の組合せを確率として保持し、その確率分布を多数の組合せ例から統計的に学習すると同時に、当面の対象画像に対しては確率的山登り法により画像処理要素のパラメタを探索することによって行う。【００２２】  画像処理生成部１４０は、機能的には、Ｄ個の画像処理要素（例えば、各種フィルタ）を含む画像処理ライブラリＬ＝｛ｌ１，ｌ２，…，ｌＤ｝、画像処理ライブラリＬの各要素の組合せ方を決定する結合確率行列Ｃ、および画像処理ライブラリＬの各要素のパラメタ群Θ＝｛θ１，θ２，…，θＤ｝で構成されている。【００２３】  結合確率行列Ｃの各要素は、画像処理ライブラリＬのある画像処理要素とある画像処理要素とが入出力関係を持つかどうかを確率分布で表現したものであり、この確率分布は、確率分布を試行錯誤的に推定する手法（本実施の形態では、分布推定アルゴリズム）により推定される。また、画像処理ライブラリＬの各要素のパラメタについても、パラメタ自体が確率分布で表現されており、この確率分布は、ある値の最適値を確率分布を用いて探索する手法、つまり、確率的探索手法（本実施の形態では、確率的山登り法）により推定される。【００２４】  本実施の形態では、結合確率行列（パターン確率）Ｃは、当該結合確率行列Ｃを探索により最適化する探索器から出力されるパターン確率ＣＴと、入力画像群Ｉから推定パターン確率Ｃを出力するように学習する学習器から出力されるパターン確率ＣＢとに分けられる。結合確率行列Ｃは、これらパターン確率ＣＴとＣＢの加���和、またはいずれか一方により決定される。【００２５】  画像処理群Ｐの生成は、結合確率行列Ｃに基づいて画像処理ライブラリＬの各要素を非循環有向グラフ（ＤＡＧ：Ｄｉｒｅｃｔｅｄ  Ａｃｙｃｌｉｃ  Ｇｒａｐｈ）状に配置し、各ライブラリパラメタθｄ（ｄ＝１，２，…，Ｄ）を指定することにより行う。画像処理ライブラリＬの各要素をＤＡＧ状に配置することで、表現能力が高くなる。このとき、生成する各画像処理パターンｐｍ（ｍ＝１，２，…，Ｍ）は、入力部、中間処理部、および出力部の３つの部分から構成され、ＤＡＧの始点が入力部に、終点が出力部にそれぞれ設定される。詳細は、後で説明する。【００２６】  また、画像処理生成部１４０は、評価部１３０からの評価値群ｆ（Ｐ）を用いてパターン確率ＣＴとＣＢを更新し、新たな画像処理群Ｐを生成する。【００２７】  図２は、上記機能を有する画像処理生成部１４０の構成の一例を示すブロック図である。【００２８】  この画像処理生成部１４０は、大別して、画像処理ライブラリ部２００、トップダウン探索器２１０、およびボトムアップ学習器２２０を有する。トップダウン探索器２１０は、結合確率行列（パターン確率）Ｃを探索により最適化する機能を有し、特徴抽出器２１２、状況検出器２１４、およびパターン記憶器２１６（出力ＣＴ）を有する。ボトムアップ学習器２２０は、入力画像群Ｉから推定パターン確率Ｃを出力するように学習する機能を有し、特徴抽出器２２２およびパターン記憶器２２４（出力ＣＢ）を有する。また、トップダウン探索器２１０およびボトムアップ学習器２２０は、共通の組合せ制御器２３０をさらに有している。【００２９】  画像処理ライブラリ部２００には、画像処理要素として、例えば、各種のフィルタが記憶されている。具体的には、例えば、（１）平均値フィルタ、つまり、例えば、３×３領域の平均値を新たな画素値とするフィルタ、（２）しきい値をパラメタとして持つ二値化フィルタ、つまり、決められたしきい値以上の画素値を１（白）、それ以外の画素値を０（黒）とするフィルタ、（３）ラプラシアンフィルタ、つまり、例えば、図３Ａに示すように３×３領域の加重平均を新たな画素値とするフィルタ、（４）反転フィルタ、つまり、１−（画素値）を新たな画素値とするフィルタ、（５）メジアンフィルタ、つまり、例えば、３×３領域のメジアンを新たな画素値とするフィルタ、（６）論理和フィルタ、つまり、入力された２画像の同一位置画素値を比較し、大きい方を採用して１画像とするフィルタ、（７）論理積フィルタ、つまり、入力された２画像の同一位置画素値を比較し、小さい方を採用して１画像とするフィルタ、（８）ｘ軸ソベルフィルタ、つまり、横方向への微分値を新たな画素値とする、具体的には、図３Ｂに示すような３×３領域の加重平均を新たな画素値とするフィルタ、（９）ｙ軸ソベルフィルタ、つまり、縦方向への微分値を新たな画素値とする、具体的には、図３Ｃに示すような３×３領域の加重平均を新たな画素値とするフィルタ、（１０）３×３最大値フィルタ、つまり、３×３領域の最大画素値を新たな画素値とするフィルタ、（１１）３×３最小値フィルタ、つまり、３×３領域の最小画素値を新たな画素値とするフィルタ、（１２）平均値をしきい値とする二値化フィルタ、つまり、画像全体の平均値を計算し、その値以上の画素値を１（白）、それ以外の画素値を０（黒）とするフィルタ、（１３）面積大の領域を１、その他を０と二値化するフィルタ、つまり、領域抽出と面積の計算を行い、平均面積の計算を行い、平均面積よりも大きい面積の領域の画素値を１（白）、それ以外の画素値を０（黒）とするフィルタ、などが記憶されている。【００３０】  特徴抽出器２１２、２２２は、入力画像群Ｉを受け取り、各入力画像Ｉ（ｎ＝１，２，…，Ｎ）の特徴を抽出して特徴画像を得る。得られた特徴画像は、状況検出器２１４と（トップダウン探索器２１０の場合）、パターン記憶器２２４に（ボトムアップ学習器２２０の場合）、それぞれ出力される。【００３１】  状況検出器２１４は、特徴抽出器２１２から特徴画像を受け取り、受け取った特徴画像から、当該入力画像が、どのような場面の画像であるか、または、新規な画像であるかを検出し、検出結果をパターン記憶器２１６に出力する。ここでは、例えば、過去に処理した特徴画像は、分類されて番号付けがなされており、過去に処理した場面の画像である場合は、対応する番号を出力し、新規な画像である場合は、新しい番号を付与して出力する。また、例えば、特徴画像に基づく状況の学習は、教師付き分類学習器または教師なし分類学習器を用いて行われる。【００３２】  トップダウン探索器２１０のパターン記憶器２１６には、パターン確率ＣＴが記憶されている。このパターン確率ＣＴは、状況検出器２１４の検出結果と対応付けられており、状況検出器２１４の検出結果に対応するパターン確率ＣＴが組合せ制御器２３０に出力されるようになっている。【００３３】  また、ボトムアップ学習器２２０のパターン記憶器２２４には、パターン確率ＣＢが記憶されている。【００３４】  組合せ制御器２３０は、画像処理要素の組合せとパラメタを確率的手法により最適化しつつ、画像処理群Ｐ＝｛ｐ１，ｐ２，…，ｐＭ｝を生成する機能を有する。処理の概要は、次の通りである。【００３５】  まず、トップダウン探索器２１０のパターン記憶器２１６からパターン確率ＣＴを、ボトムアップ学習器２２０のパターン記憶器２２４からパターン確率ＣＢをそれぞれ受け取り、両者の加重平均（またはいずれか一方）により結合確率行列（パターン確率）Ｃを計算する。そして、結合確率行列Ｃに基づいて、複数の画像処理要素組合せパターン、つまり、画像処理群Ｐ＝｛ｐ１，ｐ２，…，ｐＭ｝を生成する。そして、各パターンｐｍ（ｍ＝１，２，…，Ｍ）の評価値ｆ（ｐｍ）を評価部１３０から受け取り、評価が良好な上位のパターン（Ｑ個、但し、Ｑ＜Ｍ）を選別する。そして、選別したパターンを生成するようなパターン確率Ｃｎｅｗを推定し、この推定結果を結合確率行列Ｃに出力する。これにより、結合確率行列Ｃは、現在のパターン確率Ｃを、受け取った推定パターン確率Ｃｎｅｗに置き換え、最適な画像処理要素組合せパターンの探索を継続する。【００３６】  また、推定されたパターン確率Ｃｎｅｗは、トップダウン探索器２１０のパターン記憶器２１６およびボトムアップ学習器２２０のパターン記憶器２２４にそれぞれ出力され、それぞれの学習の���師データとして用いられる。これにより、トップダウン探索器２１０のパターン記憶器２１６は、入力画像群Ｉに対する状況検出結果から推定パターン確率Ｃｎｅｗを、ボトムアップ学習器２２０のパターン記憶器２２４は、入力画像群Ｉから推定パターン確率Ｃｎｅｗを、それぞれ出力するように学習することができる。【００３７】  また、上記の処理を分布推定アルゴリズムおよび確率的山登り法に即して説明すると、次の通りである。これらの分布推定アルゴリズムおよび確率的山登り法は、組合せ制御器２３０で実行される。【００３８】  まず、組合せ制御器２３０で実行される分布推定アルゴリズムの手順について説明する。【００３９】  まず、組合せ制御器２３０は、トップダウン探索器２１０のパターン記憶器２１６から出力されるパターン確率ＣＴと、ボトムアップ学習器２２０のパターン記憶器２２４から出力されるパターン確率ＣＢとの加重平均（またはいずれか一方）のパターン確率Ｃに基づいて、複数の画像処理要素組合せパターン、つまり、画像処理群Ｐ＝｛ｐ１，ｐ２，…，ｐＭ｝を生成する。【００４０】  そして、組合せ制御器２３０は、生成した各画像処理要素組合せパターンｐｍ（ｍ＝１，２，…，Ｍ）を画像処理部１２０に出力する。【００４１】  なお、この後、画像処理部１２０では、組合せ制御器２３０からの各画像処理要素組合せパターンを用いて各入力画像Ｉｎ（ｎ＝１，２，…，Ｎ）を処理し、得られた画像（結果画像）を評価部１３０に出力する。そして、評価部１３０では、当該画像処理要素組合せパターンｐｍの評価値ｆ（ｐｍ）を計算し、組合せ制御器２３０に出力する。これを画像処理要素組合せパターンの数（Ｍ個）だけ繰り返すことにより、すべての画像処理要素組合せパターンＰ＝｛ｐ１，ｐ２，…，ｐＭ｝の評価値ｆ（Ｐ）＝｛ｆ（ｐ１），ｆ（ｐ２），…，ｆ（ｐＭ）｝が計算される。【００４２】  そして、組合せ制御器２３０は、評価部１３０から受け取った評価値群ｆ（Ｐ）をもとにして、評価値が上位の画像処理要素組合せパターンをＱ個（Ｑ＜Ｍ）選別し、選別したパターンを最も良く生成することができるパターン確率Ｃｎｅｗを推定する。この推定は、例えば、最尤推定法（Ｍａｘｉｍｕｍ  Ｌｉｋｅｌｉｈｏｏｄ）により行われる。評価値が上位のＱ個の画像処理組合せパターンをＵとすると、推定したパターン確率Ｃｎｅｗは、次の式（１）で表される。
【数１】
2007013425.tif 000002
但し、ＭＬ（Ｕ）は、Ｕから最尤推定された、Ｃと同じサイズの結合確率行列である。【００４３】  そして、組合せ制御器２３０は、推定したパターン確率Ｃｎｅｗをトップダウン探索器２１０のパターン記憶器２１６とボトムアップ学習器２２０のパターン記憶器２２４にそれぞれ出力する。【００４４】  なお、この後、推定されたパターン確率Ｃｎｅｗを受け取ったトップダウン探索器２１０のパターン記憶器２１６は、当該処理で選択したパターン確率ＣＴを受け取った推定パターン確率Ｃｎｅｗに置き換える。このとき、パターン確率ＣＴは、上記の推定されたパターン確率Ｃｎｅｗを用いて、次の式（２）により学習される。
【数２】
2007013425.tif 000003
但し、αは学習率を表し（０≦α≦１）、ユーザによって設定可能である。【００４５】  また、推定されたパターン確率Ｃｎｅｗを受け取ったボトムアップ学習器２２０のパターン記憶器２２４は、この推定パターン確率Ｃｎｅｗを教師データとして受け取り、受け取った教師データとしての推定パターン確率Ｃｎｅｗを出力するように、内部のパラメタを更新（学習）する。この詳細は、後述する。【００４６】  すなわち、この分布推定アルゴリズムでは、順次、現在の確率分布から画像処理要素の組合せパターンを複数生成し、各組合せパターンの評価値を計算し、上位の組合せパターンを最も良く生成することができる確率分布を例えば最尤推定法などにより推定し、現在の確率分布を推定した確率分布に置き換える。そして、これら一連の処理を、所定の条件を満たすまで繰り返す。所定の条件としては、例えば、所定の回数を超えた場合や、確率分布の変動幅がある一定値よりも小さくなった場合などを挙げることができる。【００４７】  次に、組合せ制御器２３０で実行される確率的山登り法について説明する。【００４８】  まず、最適化したい値（ここでは、画像処理ライブラリＬ各要素のパラメタ）を正規分布で表現する。正規分布には平均と分散があり、分散は、ある（任意に設定可能な）規則に従って徐々に小さくなっていく。ここでは、平均を次のようにして求める。例えば、分布推定アルゴリズムにおける上位の画像処理要素組合せパターンの選別結果を利用し、これら上位の画像処理要素組合せパターンに付随しているパラメタの平均を算出する。これを「推定された平均」と呼ぶことにする。そして、次の式（３）により正規分布の平均を更新する。
【数３】
2007013425.tif 000004
但し、βは、０から１までの実数であり、通常は、０．１前後の小さい値に設定される。最終的には分散はほぼ０になるため、推定された平均が最適化された値になる。【００４９】  次いで、上記構成を有するトップダウン探索器２１０の動作について、図４のフローチャートを用いて説明する。なお、図４のフローチャートに示す手順は、入力画像群Ｉの各入力画像Ｉｎ（ｎ＝１，２，…，Ｎ）に対して行われる。また、図４に示すフローチャートは、画像処理自動構成装置１００の図示しない記憶装置（例えば、ＲＯＭなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって実行される。【００５０】  まず、ステップＳ１０００では、特徴抽出器２１２で、ある入力画像Ｉｎ（ｎ＝１，２，…，Ｎ）の特徴を抽出して特徴画像を取得し、取得した特徴画像を状況検出器２１４に出力する。【００５１】  そして、ステップＳ１１００では、状況検出器２１４で、ステップＳ１０００で取得した特徴画像から、当該入力画像が、どのような場面の画像であるか、または、新規な画像であるかを検出し、検出結果をパターン記憶器２１６に出力する。【００５２】  そして、ステップＳ１２００では、パターン記憶器２１６で、自己が保持しているパターン確率の中から、ステップＳ１１００で検出した状況に対応するパターン確率を選択し、選択したパターン確率をＣＴとして組合せ制御器２３０に出力する。【００５３】  そして、ステップＳ１３００では、組合せ制御器２３０で、ステップＳ１２００で選択したパターン確率ＣＴと、ボトムアップ学習器２２０のパターン記憶器２２４から出力されたパターン確率ＣＢとの加重平均を算出して（またはいずれか一方から）パターン確率Ｃを求め、得られたパターン確率Ｃに基づいて、複数の画像処理要素組合せパターン、つまり、画像処理群Ｐ＝｛ｐ１，ｐ２，…，ｐＭ｝を生成し、生成した各画像処理要素組合せパターンｐｍ（ｍ＝１，２，…，Ｍ）を画像処理部１２０に出力する。【００５４】  なお、この後、画像処理部１２０では、組合せ制御器２３０からの各画像処理要素組合せパターンを用いて各入力画像Ｉｎ（ｎ＝１，２，…，Ｎ）を処理し、得られた画像（結果画像）を評価部１３０に出力する。そして、評価部１３０では、当該画像処理要素組合せパターンｐｍの評価値ｆ（ｐｍ）を計算し、組合せ制御器２３０に出力する。これを画像処理要素組合せパターンの数（Ｍ個）だけ繰り返すことにより、すべての画像処理要素組合せパターンＰ＝｛ｐ１，ｐ２，…，ｐＭ｝の評価値ｆ（Ｐ）＝｛ｆ（ｐ１），ｆ（ｐ２），…，ｆ（ｐＭ）｝が計算される。【００５５】  そして、ステップＳ１４００では、組合せ制御器２３０で、評価部１３０からすべての画像処理要素組合せパターンＰの評価値ｆ（Ｐ）を受け取ったかどうかを判断する。この判断の結果として、すべての画像処理要素組合せパターンＰの評価値ｆ（Ｐ）を受け取った場合は（Ｓ１４００：ＹＥＳ）、ステップＳ１５００に進み、まだすべての画像処理要素組合せパターンＰの評価値ｆ（Ｐ）を受け取っていない場合は（Ｓ１４００：ＮＯ）、すべての画像処理要素組合せパターンＰの評価値ｆ（Ｐ）を受け取るまで待機する。【００５６】  ステップＳ１５００では、組合せ制御器２３０で、評価値が上位の画像処理要素組合せパターンをＱ個（Ｑ＜Ｍ）選別し、選別したパターンを最も良く生成することができるパターン確率Ｃｎｅｗを推定する。この推定は、例えば、上記のように、最尤推定法により行われる（上記式（１）参照）。【００５７】  そして、ステップＳ１６００では、組合せ制御器２３０で、ステップＳ１５００で推定したパターン確率Ｃｎｅｗをパターン記憶器２１６とボトムアップ学習器２２０のパターン記憶器２２４にそれぞれ出力する。【００５８】  そして、ステップＳ１７００では、パターン記憶器２１６で、ステップＳ１２００で選択したパターン確率ＣＴを、ステップＳ１６００で組合せ制御器２３０から出力された推定パターン確率Ｃｎｅｗに置き換える。このとき、パターン確率ＣＴは、上記のように、推定パターン確率Ｃｎｅｗを用いて、上記式（２）により学習される。【００５９】  次に、上記構成を有するボトムアップ学習器２２０の動作について、図５のフローチャートを用いて説明する。なお、図５のフローチャートに示す手順は、図４のフローチャートに示す手順と同様、入力画像群Ｉの各入力画像Ｉｎ（ｎ＝１，２，…，Ｎ）に対して行われる。また、図５に示すフローチャートは、図４に示すフローチャートと同様、画像処理自動構成装置１００の図示しない記憶装置（ＲＯＭなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって実行される。また、図５のフローチャートに示す手順の一部は、図４のフローチャートに示す手順と共通しているため、その説明を省略する。【００６０】  まず、ステップＳ２０００では、特徴抽出器２２２で、ある入力画像Ｉｎ（ｎ＝１，２，…，Ｎ）の特徴を抽出して特徴画像を取得し、取得した特徴画像をパターン記憶器２２４に出力する。【００６１】  そして、ステップＳ２１００では、パターン記憶器２２４で、ステップＳ２０００で取得した特徴画像をもとにしてパターン確率ＣＢを計算し、得られたパターン確率ＣＢを組合せ制御器２３０に出力する。具体的には、例えば、パターン確率ＣＢは、ｓｉｇｍｏｉｄ関数を用いて、次の式（４）により計算される。なお、ｓｉｇｍｏｉｄ関数を用いた下記の式（４）は一例であり、パターン確率ＣＢはどのような関数近似法でも学習することができる。
【数４】
2007013425.tif 000005
但し、Ｇは特徴画像、Ｖはパラメタである。また、ｓｉｇｍｏｉｄ関数ｆ（μ）は、次の式（５）で示す形をしている。
【数５】
2007013425.tif 000006
【００６２】  そして、ステップＳ１３００〜ステップＳ１６００は、図４に示すフローチャートのステップと同様であるため、その説明を省略する。【００６３】  そして、ステップＳ２２００では、パターン記憶器２２４で、ステップＳ１６００で組合せ制御器２３０から出力された推定パターン確率Ｃｎｅｗを教師データとして受け取り、受け取った教師データとしての推定パターン確率Ｃｎｅｗを出力するように、内部のパラメタを更新（学習）する。具体的には、例えば、次の式（６）により、パターン確率ＣＢが推定パターン確率Ｃｎｅｗの近似となるようにパラメタＶを学習する。
【数６】
2007013425.tif 000007
これは、推定されたパターン確率Ｃｎｅｗを教師とする勾配法による学習である。但し、γは学習率、Ｇ’は転置を表す。なお、上記の式（６）は一例であり、学習式は、この式に限定されるわけではない。学習式は、どのような関数近似法でも学習することができる。【００６４】  次いで、上記構成を有する画像処理自動構成装置１００の全体動作の概略について、図６のフローチャートを用いて説明する。なお、図６に示すフローチャートは、図４および図５に示すフローチャートと同様、画像処理自動構成装置１００の図示しない記憶装置（ＲＯＭなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって実行される。【００６５】  まず、ステップＳ３０００では、システムの各パラメタを初期化する。【００６６】  そして、ステップＳ３１００では、入力画像群Ｉ＝｛Ｉ１，Ｉ２，…，ＩＮ｝と教師画像群Ｔ＝｛Ｔ１，Ｔ２，…，ＴＮ｝の組をシステムに付与して画像保持部１１０に記憶する。【００６７】  そして、ステップＳ３２００では、画像処理生成部１４０で、パターン確率ＣＴ、ＣＢと画像処理ライブラリＬのパラメタ群Θとを初期化する。【００６８】  そして、ステップＳ３３００では、画像処理生成部１４０で、トップダウン探索器２１０のパターン記憶器２１６からのパターン確率ＣＴと、ボトムアップ学習器２２０のパターン記憶器２２４からのパターン確率ＣＢとを加重平均して（またはいずれか一方から）結合確率行列Ｃを決定する。【００６９】  そして、ステップＳ３４００では、画像処理生成部１４０で、ステップＳ３３００で決定した結合確率行列Ｃに基づいて、ＤＡＧで表現される画像処理群Ｐ＝｛ｐ１，ｐ２，…，ｐＭ｝を生成する。【００７０】  そして、ステップＳ３５００では、画像処理部１２０で、ステップＳ３４００で生成した画像処理群Ｐ＝｛ｐ１，ｐ２，…，ｐＭ｝を実行する。【００７１】  そして、ステップＳ３６００では、評価部１３０で、ステップＳ３５００で処理された結果画像と対応する教師画像とを比較して評価値ｆ（Ｐ）を得る。【００７２】  そして、ステップＳ３７００では、画像処理生成部１４０で、評価集合を空集合にリセットする。【００７３】  そして、ステップＳ３８００では、高い評価値の処理を選別する。具体的には、例えば、任意に２処理を選び出し、評価値の高い方を評価集合に追加する。これを一定回数以下繰り返す。【００７４】  そして、ステップＳ３９００では、画像処理生成部１４０で、ステップＳ３８００で得た評価集合から、パターン確率Ｃを、例えば、最尤推定法により推定する。【００７５】  そして、ステップＳ４０００では、画像処理生成部１４０で、ステップＳ３８００で得た評価集合から、画像処理ライブラリＬのパラメタ群Θを確率的探索手法（例えば、確率的山登り法）により推定する。【００７６】  そして、ステップＳ４１００では、画像処理生成部１４０で、ステップＳ３９００で推定したパターン確率Ｃを教師とする関数近似手法（例えば、勾配法）によりパターン確率ＣＢを学習する。【００７７】  そして、ステップＳ４２００では、終了条件を満たすかどうかを判断する。具体的には、例えば、所定の回数を超えたかどうか、または、確率分布の変動幅がある一定��よりも小さくなったかどうか、などを判断する。この判断の結果として、終了条件を満たさない場合は（Ｓ４２００：ＮＯ）、ステップＳ３３００に戻って、ステップＳ３３００からステップＳ４１００までの一連の処理を繰り返し、終了条件を満たす場合は（Ｓ４２００：ＹＥＳ）、ステップＳ４３００に進む。【００７８】  ステップＳ４３００では、すべての画像群が終了したかどうかを判断する。この判断の結果として、すべての画像群が終了した場合は（Ｓ４３００：ＹＥＳ）、アルゴリズムを終了し、すべての画像群が終了していない場合は（Ｓ４３００：ＮＯ）、ステップＳ３１００に戻って、ステップＳ３１００からステップＳ４２００までの一連の処理を繰り返す。【００７９】  上記のように、結合確率行列Ｃ（つまり、パターン確率ＣＴとＣＢ）の各要素は、画像処理ライブラリの画像処理要素間に入出力があるかどうかの確率であり、例えば、ＣＴ（６，８）は、６番要素から８番要素への入出力関係の確率である。パターン確率ＣＴは、上記の式（２）により学習され、パターン確率ＣＢは、上記の式（４）により計算された後、上記の式（６）により学習が行われる。実際に画像処理プログラムを生成するための結合確率行列Ｃは、パターン確率ＣＴとＣＢの加重平均、またはいずれか一方である。結合確率行列Ｃに基づいて、画像処理要素の制約（入出力結合数など）を満たしながら画像処理群Ｐが生成される。生成された画像処理群Ｐには、評価値ｆ（Ｐ）が計算される。評価関数ｆは、必要に応じて決められる。ライブラリＬ内の各要素のパラメタは、正規分布で表現されており、確率的探索手法（例えば、確率的山登り法）により推定を行い、パターン確率ＣＴと同様に学習を行う。【００８０】  ここで、結合確率行列Ｃを用いてどのようにしてＤＡＧ状の画像処理要素組合せパターンを生成するかについて説明する。【００８１】  上記のように、生成する各画像処理パターンｐｍ（ｍ＝１，２，…，Ｍ）は、入力部、中間処理部、および出力部の３つの部分から構成され、ＤＡＧの始点が入力部に、終点が出力部にそれぞれ設定される。このとき、入力部と出力部は、それぞれ、１つの画像処理要素（ここでは、便宜上、「ライブラリ要素」という）として扱われる。但し、入力部を担当する入力ライブラリ要素は必ず最初のライブラリ要素となり、出力部を担当する出力ライブラリ要素は必ず最後のライブラリ要素となる。例えば、実際に画像を処理するライブラリ要素が４つ存在する場合、これらをＢ、Ｃ、Ｄ、Ｅとして、入力ライブラリ要素をＡ、出力ライブラリ要素をＦとする。なお、結合確率行列Ｃは、行が入力側ライブラリ要素を、列が出力側ライブラリ要素を表す。例えば、図７Ａに示す結合確率行列Ｃにおいて、３行５列の要素（０．１）は、ライブラリ要素Ｃからライブラリ要素Ｅへの結合が存在する確率を表す。【００８２】  まず、ライブラリ要素Ａを選択して親候補集合に入れる。次に、親候補集合以外のライブラリ要素からランダムに１つ選択する。例えば、ライブラリ要素Ｃを選択する。親候補集合にはライブラリ要素Ａしかないため、ライブラリ要素Ｃの親はライブラリ要素Ａとなる。そして、ライブラリ要素Ｃを親候補集合に入れる。次に、親候補集合以���からランダムに１つライブラリ要素を選択する。例えば、ライブラリ要素Ｂを選択する。親候補集合から、ライブラリ要素Ｂの親を結合確率行列Ｃの確率に従って選択する（図７Ｂ参照）。例えば、ライブラリ要素Ｃを選択する（図７Ｃ参照）。【００８３】  次に、ランダムにライブラリ要素Ｅを選ぶとする。親は結合確率行列の確率に従って選択される（図７Ｄ参照）。ここでは、ライブラリ要素Ａとライブラリ要素Ｂが選ばれるとする（図７Ｅ参照）。ライブラリ要素Ｅは親候補集合に入れられる。【００８４】  次に、ライブラリ要素Ｆが選ばれ、親としてライブラリ要素Ｅが選ばれるとする（図７Ｆ参照）。ライブラリ要素Ｆは出力ライブラリ要素であるため、処理の形成はここで終了する。以上より、処理の流れは、図７Ｇに示す通りになる（ここでは、ライブラリ要素Ｄは使用されない）。【００８５】  このように、本実施の形態によれば、進化的手法の一つである分布推定アルゴリズムにより画像処理要素の組合せを確率として保持し統計的に学習すると同時に、画像処理ライブラリの各要素のパラメタを確率的山登り法により学習することで、画像処理自動構成を実現するため、画像例が入れ替わる場合であっても、画像処理要素組合せの探索に確率分布の制限がかかっているため、短時間で処理内容を画像例に追従させることができる。すなわち、ボトムアップ側とトップダウン側の知識を確率分布として表現し、これを新しい処理の探索に対する制約とするため、早い探索を実現することができる。【００８６】  なお、本実施の形態では、分布推定アルゴリズムや確率的山登り法を用いているが、本発明は、これらの手法に限定されるわけではない。確率分布を試行錯誤的に推定する手法や、確率的探索手法であれば、どのような手法であってもよい。
【実施例】
【００８７】  本発明者は、本発明の効果を実証するために実験を行った。【００８８】  ここでは、画像から自動車領域を抽出する課題を考える。実験に当たり、入力画像群、教師画像群、画像処理ライブラリを、以下の通り用意した。【００８９】  図８Ａは、入力画像群１を示し、図８Ｂは、入力画像群２を示し、図８Ｃは、入力画像群３を示し、図８Ｄは、入力画像群４を示す。また、図９は、教師画像を示す。図９に示す教師画像は、各入力画像群１〜４に共通である。【００９０】  画像処理ライブラリには、平均値フィルタ、しきい値をパラメタとして持つ二値化フィルタ、ラプラシアンフィルタ、反転フィルタ、メジアンフィルタ、論理和フィルタ、論理積フィルタ、ｘ軸ソベルフィルタ、ｙ軸ソベルフィルタ、３×３最大値フィルタ、３×３最小値フィルタ、平均値をしきい値とした二値化フィルタ、面積大の領域を１その他を０と二値化するフィルタを用意した。【００９１】  実験では、入力画像群を１→２→３→４の順で提示した。入力画像群１では、すべて初期状態からとなるが、入力画像群２以降では、パターン確率ＣＴとＣＢを前入力画像群から引き継いで、各入力画像群における初期画像処理群を決定した。パターン確率ＣＴは、入力画像群に対する結合確率行列であるため、前入力画像群が現入力画像群と類似する場合には、パターン確率ＣＢを初期から適切に設定できると期待される。パターン確率ＣＢは、入力画像そのものから計算され、推定パターン確率Ｃと同じになるように学習されるため、すべての画像についての平均的な結合確率行列となる。評価値には、次の式（７）で表される結果画像と教師画像の正規化相関の和を用いた。但し、Ｇは特徴画像、Ｇ（ｉ，ｊ）は画素値、Ｇバーは平均画素値、Ｉは教師画像を表す。
【数７】
2007013425.tif 000008
【００９２】  次に、実験の設定について説明する。【００９３】  一度に評価される処理数を２００、この処理数が一通り実行され評価されるまでを１世代として世代数を１００、学習率を０．０５とした。画像処理ライブラリの要素数は、上記の通り１３であるため、結合確率行列は１３×１３の正方行列である。良個体選択方法としてトーナメント戦略を用いた。これは個体群からランダムに２個体を選んで、評価値の高い方を良個体とする方法である。入力のカラー画像はＨＳＶ成分の３枚の画像に分割される。画像サイズは１００×１００である。【００９４】  実験の結果、各入力画像群に対して、出力画像として図１０に示す画像が得られた。左から順に、入力画像群１、２、３、４の結果である。図１０から分かるように、比較的良好に車両領域を抽出することができた。【００９５】  図１１は、最大評価値の推移を示す図である。横軸は世代数、縦軸は各入力画像群評価値の合計である。各入力画像群は４枚の画像で構成されているため、合計評価値の最大値は４である。入力画像群は１００世代で切り替わる。切り替わった後の評価値の推移から、画像の切り替わりに即応的に対応できていることが読み取れる。基本的には、大きな評価値の変化は画像処理要素の組合せが変わったことにより、小さな変化は画像処理ライブラリのパラメタの学習により起こる。【００９６】  実験の結果をまとめると、次の通りである。第１に、適切なＣＴ、ＣＢ、Θの学習に成功した。すなわち、自動車領域を抽出するための画像処理が自動的に獲得された。第２に、入力画像群２以降では、短時間で評価値の高い画像処理が獲得された。入力画像群の切り替えに対して、短時間で画像処理を追従させることが可能であることを示した。【００９７】  本明細書は、２００５年７月２６日出願の特願２００５−２１６３９０に基づく。この内容はすべてここに含めておく。
【産業上の利用可能性】
【００９８】  本発明に係る画像処理自動構成装置は、画像例が入れ替わる場合であっても、短時間で処理内容を画像例に追従させることができる画像処理自動構成装置として有用である。【００９９】  特に、本発明は、教師画像（画像例）をもとに画像処理を構築する問題一般への利用が可能であり、教師画像（画像例）をもとにした自動プロトタイピングや、追加的に要求される画像処理への自動対応などが考えられる。
【図１】
2007013425.tif 000009
【図２】
2007013425.tif 000010
【図３】
2007013425.tif 000011
【図４】
2007013425.tif 000012
【図５】
2007013425.tif 000013
【図６】
2007013425.tif 000014
【図７】
2007013425.tif 000015
【図８】
2007013425.tif 000016
【図９】
2007013425.tif 000017
【図１０】
2007013425.tif 000018
【図１１】
2007013425.tif 000019
【国際調査報告】
2007013425.tif 000020
2007013425.tif 000021
2007013425.tif 000022
2007013425.tif 000023