(57)【要約】【課題】各種画像フィルタを木構造状に組み合わせた処理プログラムに基づいて動画像中から特定の対象を抽出可能であり、特に時間的な変化や変位を伴う特定対象の抽出を行うことが可能な画像処理装置を提供し、さらに、このような処理プログラムを容易に得ることができる汎用性の高い画像処理装置を提供する。【解決手段】撮像装置２１により撮像された画像に画像処理を施して画像中から特定の対象を抽出する画像処理装置１において、画像フィルタを木構造状に組み合わせた処理プログラムに基づいて、撮像装置２１により撮像された複数種類の入力画像ｔ、ｔ−１、…、ｔ−ｋに画像処理を施し、特定の対象が抽出された出力画像を形成するための画像処理部３を備える。【選択図】図１
2006178857.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された画像に画像処理を施して前記画像中から特定の対象を抽出する画像処理装置において、
画像フィルタを木構造状に組み合わせた処理プログラムに基づいて、前記撮像装置により撮像された複数種類の画像に画像処理を施し、前記特定の対象が抽出された出力画像を形成するための画像処理部を備えることを特徴とする画像処理装置。
【請求項２】
前記複数種類の画像は、前記撮像装置により時間間隔をおいて撮像された複数枚の画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数種類の画像は、前記撮像装置により時間間隔をおいて撮像された複数枚の画像のフレーム間差分画像またはエッジ抽出画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記処理プログラムを形成するための処理プログラム形成部を備え、前記処理プログラム形成部は、前記複数種類の画像、目標画像および重み画像を用いた遺伝的プログラミングにより処理プログラムを形成するように構成されていることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
前記重み画像は、その抽出領域の重みと非抽出領域の重みとの比が、前記抽出領域および前記非抽出領域の面積比の逆数の比となるように設定されることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記処理プログラム形成部は、前記複数種類の画像、目標画像および重み画像よりなる学習セットを複数セット用いて処理プログラムを形成することを特徴とする請求項４または請求項５に記載の画像処理装置。
【請求項７】
前記処理プログラム形成部での遺伝的プログラミングに用いられる適応度が、前記処理プログラムにおけるノード数が大きいほど小さい値をとるように算出されることを特徴とする請求項４乃至請求項６のいずれか一項に記載の画像処理装置。
【請求項８】
前記ノード数の適応度に対する割合が、遺伝的プログラミングにおける進化過程の世代数に応じて変化するように構成されていることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記処理プログラム形成部での遺伝的プログラミングに用いられる適応度が、前記処理プログラムにおける２入力画像フィルタのノード数が大きいほど大きな値をとるように算出されることを特徴とする請求項４乃至請求項８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記２入力画像フィルタのノード数の適応度に対する割合が、遺伝的プログラミングにおける進化過程の世代数に応じて変化するように構成されていることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記処理プログラムは、複数の処理プログラムが組み合わされて形成されていることを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記複数の処理プログラムによる処理の非線形の重ね合わせにより出力画像が形成されるように構成されていることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記画像フィルタには、マスクフィルタが含まれることを特徴とする請求項１乃至請求項１２のいずれか一項に記載の画像処理装置。
【請求項１４】
画像を表示するための表示部を備え、前記処理プログラムに基づいて形成した出力画像を前記表示部に表示されている前記入力画像に重ね合わせて表示するように構成されていることを特徴とする請求項１乃至請求項１３のいずれか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特に、画像中から特定対象を抽出可能な画像処理装置に関する。
【背景技術】
【０００２】
近年、ＴＶカメラやＣＣＤカメラ等の画像入力手段で被写体や風景等を撮像し、得られた動画像に画像処理を施して、その画像の中から特定の対象、例えば、環境内を移動する物体やその動き等を抽出するための画像処理装置や画像処理方法の研究が盛んに行われている（例えば、特許文献１〜５等参照）。
【０００３】
このような画像処理装置は、例えば、自動車等の分野においては、車両に取り付けたＣＣＤカメラ等で前方風景を撮像し、その動画像から歩行者や他の車両を抽出して、それらとの衝突等の事故回避に応用されたり（特許文献１〜３参照）、或いは、人工知能型ロボット等の分野では、ロボットが、搭載したカメラで環境を観察しながら他の移動物体を発見し、計測し、それに対するロボットの行動を決定したりすることに用いられる（特許文献４参照）など、種々の分野で研究や実用化が図られている。
【０００４】
動画像中から特定の対象を抽出するために、このような画像処理装置では、例えば、水平方向に離間した２台のＣＣＤカメラ等により得られた入力画像に画像処理を施して特定対象の輪郭部分を抽出したり、入力画像からオプティカルフローを算出して特定対象を抽出したり、或いはパターンマッチング処理によりデータベースに登録されているモデルと照合して特定対象を推定する等の画像処理方法が採られている。
【０００５】
しかし、これらの方法は、通常、処理プログラムの構築に非常に手間がかかる上、目的とする特定対象ごとに処理プログラムを構築しなければならない。そのため、従来から、処理プログラムを容易に構築可能であり、汎用性の高い処理プログラムを得ることができる画像処理方法や画像処理装置が望まれていた。
【０００６】
一方、静止画像に対する画像処理の分野では、近年、各種画像フィルタを図１９に示すような木構造状に組み合わせた処理プログラムに基づいて入力画像に画像処理を施す画像処理技術（ＡＣＴＩＴ）が提案されている（非特許文献１参照）。
【０００７】
具体的には、例えば、印刷文字と手書きの文字とよりなる文書の入力画像に図１９に示したような処理プログラムにより画像処理を施し、印刷文字のみが抽出された出力画像を出力させたり、複数の角膜内皮細胞が連なった状態の顕微鏡画像から細胞同士の境界部分の網目模様のみを抽出して出力画像を得る等の画像処理を行う画像処理技術である。
【０００８】
非特許文献１では、さらに、この各種画像フィルタの組み合わせを自動的に最適化するために遺伝的プログラミング（Genetic Programming。ＧＰと略される。）の技法を取り入れることが提案されている。
【特許文献１】特開平５−２６５５４７号公報
【特許文献２】特開平１０−１１５８５号公報
【特許文献３】特開２００２−８３２９７号公報
【特許文献４】特開２００１−８４３８３号公報
【特許文献５】特開平９−２７１０１４号公報
【非特許文献１】青木紳也、外１名、「木構造状画像変換の自動構築法ＡＣＴＩＴ」、映像情報メディア学会誌、社団法人映像情報メディア学会、１９９９年、第５３巻、第６号、ｐ．８８８〜８９４
【発明の開示】
【発明が解決しようとする課題】
【０００９】
そこで、前述した動画像中から移動する物体等の特定の対象を抽出するような課題に、非特許文献１に記載された画像処理技術が応用されることが期待される。
【００１０】
しかしながら、この画像処理技術は、前述したように、静止画像に対して画像処理を行うものであり、具体的に言えば、図１９に示した処理プログラムの「入力画像」には同一の静止画像が繰り返し入力されることが前提とされている。
【００１１】
そこで、本発明の目的は、この画像処理技術を拡張して動画像にも同様の画像処理技術を適用できるようにし、各種画像フィルタを木構造状に組み合わせた処理プログラムに基づいて動画像中から特定の対象を抽出可能であり、特に時間的な変化や変位を伴う特定対象の抽出を行うことが可能な画像処理装置を提供することである。本発明は、このような処理プログラムを容易に得ることができる汎用性の高い画像処理装置の提供をも目的とする。
【課題を解決するための手段】
【００１２】
前記の問題を解決するために、請求項１に記載の画像処理装置は、
撮像装置により撮像された画像に画像処理を施して前記画像中から特定の対象を抽出する画像処理装置において、
画像フィルタを木構造状に組み合わせた処理プログラムに基づいて、前記撮像装置により撮像された複数種類の画像に画像処理を施し、前記特定の対象が抽出された出力画像を形成するための画像処理部を備えることを特徴とする。
【００１３】
請求項１に記載の発明によれば、画像処理装置の画像処理部が有する木構造の処理プログラムの構成を、従来のように終端記号として同一の静止画像のみを有する構成とするのではなく、複数種類の画像を終端記号とする木構造の処理プログラムとする。
【００１４】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記複数種類の画像は、前記撮像装置により時間間隔をおいて撮像された複数枚の画像であることを特徴とする。
【００１５】
請求項２に記載の発明によれば、木構造の処理プログラムは、入力される複数種類の画像として、時間間隔をおいて撮像された複数枚の動画像のフレームが用いられるように構成される。
【００１６】
請求項３に記載の発明は、請求項１に記載の画像処理装置において、前記複数種類の画像は、前記撮像装置により時間間隔をおいて撮像された複数枚の画像のフレーム間差分画像またはエッジ抽出画像であることを特徴とする。
【００１７】
請求項３に記載の発明によれば、木構造の処理プログラムは、入力される複数種類の画像として、時間間隔をおいて撮像された複数枚の画像のフレーム間差分画像またはエッジ抽出画像が用いられるように構成される。
【００１８】
請求項４に記載の発明は、請求項１乃至請求項３のいずれか一項に記載の画像処理装置において、前記処理プログラムを形成するための処理プログラム形成部を備え、前記処理プログラム形成部は、前記複数種類の画像、目標画像および重み画像を用いた遺伝的プログラミングにより処理プログラムを形成するように構成されていることを特徴とする。
【００１９】
請求項４に記載の発明によれば、画像処理装置は、処理プログラム形成部において、撮像装置で撮像された動画像と、形成された処理プログラムが前記動画像を入力された場合に出力すべき画像として与えられる目標画像と、出力画像の輝度値と目標画像の輝度値との画素ごとの差（正確には差の絶対値）に重み付けをするための重み画像とを用いて、遺伝的プログラミングにより処理プログラムを自動形成する。
【００２０】
請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記重み画像は、その抽出領域の重みと非抽出領域の重みとの比が、前記抽出領域および前記非抽出領域の面積比の逆数の比となるように設定されることを特徴とする。
【００２１】
請求項５に記載の発明によれば、前記重み画像による重み付けを、画像の抽出領域と非抽出領域とで異なるものとし、特に、その重みの比が抽出領域および非抽出領域の面積比の逆数の比となるようにする。
【００２２】
請求項６に記載の発明は、請求項４または請求項５に記載の画像処理装置において、前記処理プログラム形成部は、前記複数種類の画像、目標画像および重み画像よりなる学習セットを複数セット用いて処理プログラムを形成することを特徴とする。
【００２３】
請求項６に記載の発明によれば、１つの処理プログラムを形成するために、複数種類の画像、目標画像および重み画像よりなる学習セットを１セットだけでなく、例えば、場面が異なる別の学習セットを複数セット用いる。
【００２４】
請求項７に記載の発明は、請求項４乃至請求項６のいずれか一項に記載の画像処理装置において、前記処理プログラム形成部での遺伝的プログラミングに用いられる適応度が、前記処理プログラムにおけるノード数が大きいほど小さい値をとるように算出されることを特徴とする。
【００２５】
請求項７に記載の発明によれば、遺伝的プログラミングにおいて、ノード数が大きい処理プログラムを淘汰され易くする。
【００２６】
請求項８に記載の発明は、請求項７に記載の画像処理装置において、前記ノード数の適応度に対する割合が、遺伝的プログラミングにおける進化過程の世代数に応じて変化するように構成されていることを特徴とする。
【００２７】
請求項８に記載の発明によれば、請求項７に記載の発明においてノード数が大きくなるほど適応度を減少させる割合を、遺伝的プログラミングにおける進化過程に応じて変化させる。
【００２８】
請求項９に記載の発明は、請求項４乃至請求項８のいずれか一項に記載の画像処理装置において、前記処理プログラム形成部での遺伝的プログラミングに用いられる適応度が、前記処理プログラムにおける２入力画像フィルタのノード数が大きいほど大きな値をとるように算出されることを特徴とする。
【００２９】
請求項９に記載の発明によれば、遺伝的プログラミングにおいて、２入力画像フィルタのノード数が大きい処理プログラムの適応度を大きくして淘汰され難くする。
【００３０】
請求項１０に記載の発明は、請求項９に記載の画像処理装置において、前記２入力画像フィルタのノード数の適応度に対する割合が、遺伝的プログラミングにおける進化過程の世代数に応じて変化するように構成されていることを特徴とする。
【００３１】
請求項１０に記載の発明によれば、請求項９に記載の発明において２入力画像フィルタのノード数が大きくなるほど適応度を増加させる割合を、遺伝的プログラミングにおける進化過程に応じて変化させる。
【００３２】
請求項１１に記載の発明は、請求項１乃至請求項１０のいずれか一項に記載の画像処理装置において、前記処理プログラムは、複数の処理プログラムが組み合わされて形成されていることを特徴とする。
【００３３】
請求項１１に記載の発明によれば、人為的に形成した処理プログラムや遺伝的プログラミングにより形成した処理プログラムを複数組み合わせて大規模な処理プログラムを形成する。
【００３４】
請求項１２に記載の発明は、請求項１１に記載の画像処理装置において、前記複数の処理プログラムによる処理の非線形の重ね合わせにより出力画像が形成されるように構成されていることを特徴とする。
【００３５】
請求項１２に記載の発明によれば、請求項１１に記載の発明における大規模な処理プログラムにより出力される画像は、大規模な処理プログラムを構成する各処理プログラムの多数が出力輝度値を持つ画素部分は出力輝度値が大きくなり、少数しか出力輝度値を持たない画素部分は出力輝度値が小さくなり或いは０になる。
【００３６】
請求項１３に記載の発明は、請求項１乃至請求項１２のいずれか一項に記載の画像処理装置において、前記画像フィルタには、マスクフィルタが含まれることを特徴とする。
【００３７】
請求項１３に記載の発明によれば、木構造の処理プログラムを構成する非終端記号としてマスクフィルタを用いたり、処理プログラムを複数組み合わせて構成される大規模な処理プログラムにおける各処理プログラムの組み合わせにマスクフィルタを用いることができる。
【００３８】
請求項１４に記載の発明は、請求項１乃至請求項１３のいずれか一項に記載の画像処理装置において、画像を表示するための表示部を備え、前記処理プログラムに基づいて形成した出力画像を前記表示部に表示されている前記入力画像に重ね合わせて表示するように構成されていることを特徴とする。
【００３９】
請求項１４に記載の発明によれば、画像処理装置の表示部には、例えば、白黒画像として表示された入力画像に、赤色で着色された出力画像が重ね合わせて表示される。
【発明の効果】
【００４０】
請求項１に記載の発明によれば、画像処理装置の画像処理部が有する木構造の処理プログラムの構成を、従来のように終端記号として同一の静止画像のみを有する構成とするのではなく、複数種類の画像を終端記号とする木構造の処理プログラムとする。そのため、従来のＡＣＴＩＴ（前記非特許文献１参照）の画像処理技術を拡張して、フレームごとに画像が異なる動画像にもＡＣＴＩＴの技術が適用できるようになる。
【００４１】
また、同時に、入力される各画像を比較して差分処理を行ったり論理積処理を行ったりすることにより、各画像間の特定対象の位置のずれ等の要素を加味した画像処理が可能となり、画像中の時間的な変化や空間的な変位を伴う特定対象の抽出を行うことが可能となる。
【００４２】
請求項２に記載の発明によれば、木構造の処理プログラムは、入力される複数種類の画像として、時間間隔をおいて撮像された複数枚の動画像のフレームが用いられるように構成されるため、動画像の各フレームの差分処理等を行うことにより、特に時間的な変化や変位を伴う特定対象の抽出をより的確に行うことが可能となる。
【００４３】
請求項３に記載の発明によれば、木構造の処理プログラムは、入力される複数種類の画像として、時間間隔をおいて撮像された複数枚の画像のフレーム間差分画像またはエッジ抽出画像が用いられるように構成される。そのため、処理プログラムは、動画像の各フレームの時間微分的なデータ画像（すなわち、フレーム間差分画像）等に基づいて直接的に時間的変化等を伴う特定対象の抽出を行うことが可能となる。
【００４４】
請求項４に記載の発明によれば、画像処理装置は、処理プログラム形成部において、撮像装置で撮像された動画像と、形成された処理プログラムが前記動画像を入力された場合に出力すべき画像として与えられる目標画像と、出力画像の輝度値と目標画像の輝度値との画素ごとの差（正確には差の絶対値）に重み付けをするための重み画像とを用いて、遺伝的プログラミングにより処理プログラムを自動形成する。そのため、前記各請求項に記載の発明の効果に加え、適切な目標画像と重み画像を与えることにより、非常に容易に処理プログラムを獲得することが可能となる。
【００４５】
また、目標画像および重み画像を変更することにより、抽出すべき特定対象を容易に変更することができる。すなわち、従来のように特定対象が変更されるごとにその抽出のための処理プログラムを手作業で構築することなく、目標画像と重み画像とを変更するだけで、前述した遺伝的プログラミングを用いた方法をそのまま使って同じ手順で処理プログラムを容易に構築することが可能となる。
【００４６】
請求項５に記載の発明によれば、請求項４に記載の発明において、前記重み画像による重み付けを、画像の抽出領域と非抽出領域とで異なるものとし、特に、その重みの比が抽出領域および非抽出領域の面積比の逆数の比となるように設定する。重み画像のすべての画素において同一の重みとすることも可能であるが、その場合には、抽出領域と非抽出領域のうち面積が大きい方の一致度がより重視される結果を招き易い。重みの比が抽出領域および非抽出領域の面積比の逆数の比となるように設定することにより、抽出領域と非抽出領域との一致度が同等に重視された処理プログラムを得ることが可能となる。
【００４７】
請求項６に記載の発明によれば、１つの処理プログラムを形成するために、複数種類の画像、目標画像および重み画像よりなる学習セットを１セットだけでなく、例えば、場面が異なる別の学習セットを複数セット用いる。そのため、前記各請求項に記載の発明の効果に加え、学習セットとして１セットのみを用いた場合に陥り易い画像中の特定位置の対象の抽出という現象が生じることを避けることができるとともに、遺伝的プログラミングにおける学習セットには用いなかった画像の中からもより的確に特定の対象を抽出できるようになり、動画像中から的確に人物のみを抽出する汎用性の高い処理プログラムを得ることが可能となる。
【００４８】
請求項７に記載の発明によれば、遺伝的プログラミングにおいて、ノード数が大きい処理プログラムを淘汰され易くすることにより、前記各請求項に記載の発明の効果に加え、処理プログラムが過学習の状態になることを回避することが可能となる。すなわち、処理プログラムは、ノード数が大きくなるほどより限定された対象（例えば、歩行者一般に対する濃い色の服を着た歩行者）を抽出するようになる場合があるが、このような過学習の状態の処理プログラムが形成されることを有効に防止することができる。
【００４９】
請求項８に記載の発明によれば、請求項７に記載の発明においてノード数が大きくなるほど適応度を減少させる割合を、遺伝的プログラミングにおける進化過程に応じて変化させることで、ノード数が大きな処理プログラムを進化過程のどの段階で淘汰され易くするかを自由に決定することができる。また、遺伝的プログラミングにおける進化が進むと、世代数が増えても適応度の最大値は増加せず停滞が生じることがあるが、そのような停滞が生じた場合に、前記割合を変化させることで、より最適化された処理プログラムが得られる可能性が高くなる。
【００５０】
請求項９に記載の発明によれば、遺伝的プログラミングにおいて、２入力画像フィルタのノード数が大きい処理プログラムの適応度を大きくして淘汰され難くすることにより、前記各請求項に記載の発明の効果に加え、処理プログラムに入力される画像の多様性を増加させることができ、より的確に特定の対象を抽出できる処理プログラムを得ること可能となる。
【００５１】
請求項１０に記載の発明によれば、請求項９に記載の発明において２入力画像フィルタのノード数が大きくなるほど適応度を増加させる割合を、遺伝的プログラミングにおける進化過程に応じて変化させることで、２入力画像フィルタのノード数が大きな処理プログラムを進化過程のどの段階で生き残り易くするかを自由に決定することができる。また、遺伝的プログラミングにおける進化が進むと、世代数が増えても適応度の最大値は増加せず停滞が生じることがあるが、そのような停滞が生じた場合に、前記割合を変化させることで、より最適化された処理プログラムが得られる可能性が高くなる。
【００５２】
請求項１１に記載の発明によれば、人為的に形成した処理プログラムや遺伝的プログラミングにより形成した処理プログラムを複数組み合わせて大規模な処理プログラムを形成することにより、前記各請求項に記載の発明の効果に加え、目的とする特定対象をより的確に抽出することが可能となる。さらに、処理プログラムを遺伝的プログラミングで求める場合、通常、処理プログラムを構成する画像フィルタ（非終端記号）の数が増えるに従って解プログラムの探索空間がいわば指数関数的に増大し、膨大な探索が必要となり、局所解に落ち込む可能性が高くなるが、このように処理プログラムを複数組み合わせることで、より容易にかつ的確に特定対象を抽出可能な汎用性の高い処理プログラムを得ることが可能となる。
【００５３】
請求項１２に記載の発明によれば、請求項１１に記載の発明における大規模な処理プログラムにより出力される画像は、大規模な処理プログラムを構成する各処理プログラムの多数が出力輝度値を持つ画素部分は出力輝度値が大きくなり、少数しか出力輝度値を持たない画素部分は出力輝度値が小さくなり或いは０となる。そのため、大規模な処理プログラムによる出力画像がより鮮明になるとともに、本来抽出すべきでないノイズ等も効果的に除去することができる。
【００５４】
請求項１３に記載の発明によれば、木構造の処理プログラムを構成する非終端記号としてマスクフィルタを用いたり、処理プログラムを複数組み合わせて構成される大規模な処理プログラムにおける各処理プログラムの組み合わせにマスクフィルタを用いることができる。そのため、前記各請求項に記載の発明の効果に加え、処理プログラムや大規模な処理プログラムの出力画像中から不必要なノイズを除去したり、或いは出力画像を分割してそれぞれの領域に別々の処理プログラムの出力画像を割り当てて出力画像を形成することが可能となる。
【００５５】
請求項１４に記載の発明によれば、画像処理装置は表示部を備え、その表示部には、例えば、白黒画像として表示された入力画像に、赤色で着色された出力画像が重ね合わせて表示されるため、前記各請求項に記載の発明の効果に加え、入力画像中の特定の対象を明確に表示することが可能となる。
【発明を実施するための最良の形態】
【００５６】
以下、本発明の画像処理装置に係る実施の形態について、図面を参照して説明する。
【００５７】
本実施形態では、画像処理装置が自動車車両に搭載され、車両前方の風景画像の中から歩行者を抽出する画像処理装置について述べる。
【００５８】
図１は、本実施形態の画像処理装置の構成を示すブロック図であり、画像処理装置１は、画像入力部２と、画像処理部３と、表示部４と、メモリ５と、処理プログラム形成部６と、入力部７とを備えている。本実施形態では、画像処理装置１としては、ＣＰＵやＲＡＭ、ＲＯＭ、入出力インターフェース等がＢＵＳにより接続されて構成されたコンピュータを用いることができる。
【００５９】
画像入力部２は、撮像した画像を電気信号に変換可能な撮像装置２１を備えており、撮像装置２１としては、例えば、電荷結合素子（ＣＣＤ）等の固体撮像素子を用いたＣＣＤカメラが用いられる。本実施形態では、画像入力部２の撮像装置２１は、図示しない自動車車両のルームミラー付近のフロントガラス内側に前方を撮像可能な状態に取り付けられており、通常のテレビ画像と同様に１／３０秒ごとに車両前方を撮像してその入力画像を画像処理部３に送信するようになっている。
【００６０】
なお、本実施形態では、この一定の時間間隔ごとに送信されてくる入力画像の単位を１フレームという。つまり、本実施形態では、画像処理部３には、１秒間に３０フレームの入力画像が画像入力部２から送信されるようになっている。
【００６１】
画像処理部３には、モニタを備えた表示部４およびメモリ５が接続されており、画像処理部３は、画像入力部２から送信されてきた入力画像を表示部４に送信してモニタに表示させると同時に、入力画像を順次メモリ５に一時保存するように構成されている。
【００６２】
また、画像処理部３には、各種画像フィルタが木構造状に組み合わされた処理プログラムが記憶されており、画像処理部３は、この処理プログラムに従って画像処理を行って出力画像を形成するように構成されている。
【００６３】
ここで、処理プログラムの構造について説明する。処理プログラムは、図２に示すように、各種画像フィルタ（図３参照）を木構造状に組み合わせたプログラムであり、入力された複数種類の入力画像ｔ、ｔ−１、…、ｔ−ｋ（ｋは１以上の整数）、すなわち、ｋ＋１個の互いに異なる入力画像ｔ、ｔ−１、…、ｔ−ｋに対して各画像フィルタによる画像処理を施し、出力画像を形成するように構成されている。
【００６４】
本実施形態では、入力画像ｔ、ｔ−１、…、ｔ−ｋとして、現在の時刻ｔの入力画像ｔおよびそれ以前のＭフレームごとの入力画像ｔ、ｔ−１、…、ｔ−ｋが処理プログラムに入力されるようになっており、ｋ＝３、Ｍ＝１に設定されている。すなわち、図４（Ａ）に示すように、現在の時刻ｔの入力画像ｔとそれ以前の１フレームごと、すなわち、現在の時刻ｔからさかのぼって１／３０秒の時間間隔をおいて撮像された連続する４フレーム分の入力画像ｔ、ｔ−１、ｔ−２、ｔ−３がメモリ５から読み出され、処理プログラムに入力されるようになっている。
【００６５】
なお、ｋおよびＭの値は適宜設定することが可能であり、例えば、ｋ＝２、Ｍ＝３と設定すれば、図４（Ｂ）に示すように、現在の時刻ｔおよびそれ以前の３フレームごとの入力画像ｔ、ｔ−１、ｔ−２の計３枚の画像が読み出されて処理プログラムに入力されるようになる。また、他の選択方法により相異なる複数種類の入力画像を選択して処理プログラムに入力するように構成することも可能である。
【００６６】
また、本実施形態の処理プログラムには、計算速度を向上させるために、図３に示したような一般的な画像フィルタが用いられるが、目的に応じて機能が特化された画像フィルタを追加することも可能である。
【００６７】
本実施形態の画像処理装置１は、前述したように、車両前方の風景画像の中から特定の対象としての歩行者を抽出するものであり、処理プログラムも入力画像Ｔの中から歩行者を抽出するように構成されている。すなわち、前述した連続する４フレーム分の入力画像ｔ、ｔ−１、ｔ−２、ｔ−３（図５参照。ただし、図５には入力画像ｔ（Ａ）および入力画像ｔ−３（Ｂ）のみ示す。）が処理プログラムに入力されると、処理プログラムは各画像フィルタで画像処理を行い、図６に示すような歩行者を含む特定の対象を抽出した出力画像を形成するようになっている。なお、図６の出力画像において、斜線部分の画素の輝度値は０である。
【００６８】
さらに、本実施形態では、このようにして形成された出力画像が表示部４のモニタに表示されている入力画像ｔに重ね合わせて表示されるように構成されている。すなわち、前述したように、画像処理部３から送信されてきた入力画像ｔが表示部４のモニタに表示され、さらに、図７に示すように、その入力画像ｔに処理プログラムにより形成された出力画像が重ね合わされて表示されるように構成されている。また、その際、入力画像ｔは白黒画像として表示され、出力画像のうち正の輝度値を持つ画素部分（図中の斜線部分）が赤色で着色されて表示されるようになっている。
【００６９】
その際、処理プログラムの出力画像に対して、図８に示すようなマスクフィルタによる画像処理を行うように構成することも可能であり、例えば、図７の車両フロント部の赤色の着色部分Ｆや画像上方の木の着色部分Ｔは不必要な着色部分であるから、マスクフィルタを用いて画像処理を行い、それらの部分の着色を表示しないように構成することも可能である。
【００７０】
ところで、処理プログラムは、人為的に構築されて画像処理部３に与えられることも可能である。図２に示したような木構造の処理プログラムにおいて、例えば、図３に示したような１入力或いは２入力の画像フィルタを最大４０個の範囲で任意に組み合わせ、それに入力画像ｔ、ｔ−１、ｔ−２、ｔ−３を任意に組み合わせたすべての木構造の処理プログラムについて全探索を行うことも可能である。
【００７１】
本実施形態では、画像処理部３に接続された処理プログラム形成部６で遺伝的プログラミングの手法を用いて自動的に形成するように構成されている。図９は、処理プログラム形成部の構成を示すブロック図であり、処理プログラム形成部６は、初期個体生成手段６１と、適応度評価手段６２、６６と、親選択手段６３と、交叉手段６４と、突然変異手段６５と、終了判定手段６７とを備えている。
【００７２】
初期個体生成手段６１は、キーボードやマウス等よりなる入力部７（図１参照）からの処理プログラム形成指示に応じて、図２に示したような木構造の処理プログラムを、設定された前記ｋおよびＭの値の範囲内でランダムに一定数（本実施形態の場合は１００個体）生成させるように構成されている。
【００７３】
処理プログラムをランダムに生成する規則として、本実施形態では、初期個体のみならず最適化された処理プログラムが得られるまでの進化過程において木構造の処理プログラムを構成するノードのうち画像フィルタ（すなわち非終端記号）の数が最大でも４０を超えないように設定されている。なお、画像フィルタは、図３に示した画像フィルタの中からランダムに選択されるようになっている。また、選択される画像フィルタには、図３に示した各種画像フィルタのほか、図８に示したようなマスクフィルタを含めることも可能である。
【００７４】
また、前述したように、本実施形態では、ｋ＝３、Ｍ＝１と設定されており、一定の時刻ｔからさかのぼって１／３０秒の時間間隔をおいて撮像された連続する４フレーム分の入力画像ｔ、ｔ−１、ｔ−２、ｔ−３の中から処理プログラムに入力すべき入力画像が任意に選択されるようになっている。すなわち、入力画像ｔ、ｔ−１、ｔ−２、ｔ−３の４種類を処理プログラムの入力画像としてすべて用いる必要はなく、初期個体の中には、例えば、入力画像ｔと入力画像ｔ−２の２種類、或いは入力画像ｔ−３だけしか用いないような処理プログラムが含まれることも許容される。
【００７５】
初期個体生成手段６１には、適応度評価手段６２が接続されており、初期個体生成手段６１で生成された各処理プログラムの初期個体が適応度評価手段６２に送信されるようになっている。
【００７６】
適応度評価手段６２では、各処理プログラムについて入力画像を入力して出力画像を得るシミュレーションがそれぞれ実行され、シミュレーションにより得られた出力画像と目標画像とが比較されて各処理プログラムの適応度Ｅが下記（１）式に基づいてそれぞれ算出されるように構成されている。
【００７７】
【数１】
2006178857.tif 000003
【００７８】
ここで、目標画像とは、最適化された処理プログラムが出力すべき画像をいう。本実施形態では、処理プログラムの目的が車両前方の風景画像の中からの歩行者の抽出であることから、入力画像ｔ（例えば、図５（Ａ）参照）の中から歩行者のみを白抜きの抽出領域（輝度値２５５）とし、それ以外の部分を非抽出領域（輝度値０）とした画像（図１０参照）が目標画像として適応度評価手段６２に送信される。
【００７９】
また、重み画像とは、出力画像（Ｏ）と目標画像（Ｔ）との距離｜Ｏ−Ｔ｜を画素ごとに重み付けするための重みが画素ごとに定義された画像をいい、画素ごとの重みは、構築すべき処理プログラムの目的により適宜決められる。通常、出力画像が目標画像と一致することが強く求められる画素領域では大きな値が設定され、出力画像と目標画像との一致が強く要求されない画素領域では小さな値が設定される。
【００８０】
本実施形態では、歩行者を抽出し、その他のものは抽出しないようにすることが目的であるため、出力画像は、目標画像の抽出領域においても非抽出領域においてもともに目標画像との一致が強く要求される。しかし、重みを全画像において同じ値に設定すると、出力画像における歩行者の占める画素領域（すなわち抽出領域）の面積割合がその他の画素領域（すなわち非抽出領域）の面積割合よりも小さく（面積比で１２：２５６）、適応度評価における非抽出領域での一致度の寄与が大きくなりすぎる可能性がある。
【００８１】
そのため、本実施形態では、重み画像は、図１１に示すように目標画像（図１０参照）と同様の画像となり、抽出領域の重みと非抽出領域の重みとの比がそれぞれの面積比の逆数の比になるように重み（Ｗ）が抽出領域および非抽出領域でそれぞれ１／１２および１／２５６の値となるように設定されている。重み画像は、目標画像やメモリ５から読み出された入力画像ｔ、ｔ−１、ｔ−２、ｔ−３とともに適応度評価手段６２に送信される。
【００８２】
適応度評価手段６２では、以上のような複数種類の入力画像ｔ、ｔ−１、ｔ−２、ｔ−３、目標画像および重み画像を用いて各処理プログラムの適応度Ｅを計算するが、本実施形態では、さらに、入力画像、目標画像および重み画像を組み合わせてなるセット（以下、学習セットという。）を１セットだけでなく複数セット用いられて処理プログラムのシミュレーションが行われるように構成されている。
【００８３】
すなわち、例えば、図１２に示すように、時刻ｔにおける複数種類の入力画像ｔ、ｔ−１、ｔ−２、ｔ−３とそれに対応する目標画像および重み画像よりなる第１学習セットとともに、時刻ｔ以前の時刻ｔａにおける入力画像（図１３（Ａ）参照）等の同様の第２学習セットと、時刻ｔ以降の時刻ｔｂにおける入力画像（図１３（Ｂ）参照）等の同様の第３学習セットの計３セット（この場合は（１）式においてＮ＝３となる。）が適応度評価手段６２に送られ、各処理プログラムごとに１セットずつ計３回シミュレーションを行い、それぞれの学習セットについて（１）式中のΣＷ・｜Ｏ−Ｔ｜／ΣＷ・２５６を計算して（１）式に基づいて適応度Ｅを得るようになっている。
【００８４】
適応度評価手段６２には、親選択手段６３が接続されており、適応度評価手段６２で適応度Ｅが計算された各処理プログラムが親選択手段６３に送信されるようになっている。
【００８５】
親選択手段６３は、各処理プログラムの中から適応度Ｅに基づいてルーレット選択や期待値選択、ランキング選択、トーナメント選択等の方法で次世代に残すべき１００個体の処理プログラムの選択およびそれらの処理プログラムの増殖を行うように構成されている。また、本実施形態では、トーナメント選択により１００個体を選択するとともに、適応度Ｅが最大の処理プログラムのエリート保存を同時に行うようになっている。
【００８６】
親選択手段６３で選択、増殖された１００個体の処理プログラムは、次の交叉手段６４に送信されるようになっている。
【００８７】
交叉手段６４では、図１４に示すように、親選択手段６３から送られてきた処理プログラムを２個体ずつ対にして（親プログラム１、２という。）、それぞれの個体対ごとにランダムに選ばれた交叉部分（図１４の親プログラム１、２の点線でそれぞれ囲まれた部分）を所定の割合で互いに交叉させて、子プログラム１、２を生成させるように構成されている。その際、２つの子プログラムの中に非終端記号の数が４０を超えるものが生成される場合には、その交叉は取り消され、再度、元の親プログラム１、２で交叉部分がランダムに選ばれて交叉が行われるようになっている。
【００８８】
本実施形態では、交叉手段６４においては、図１４に示したような１点交叉が行われるように構成されているが、この他にも、例えば、多点交叉や一様交叉等の方法で交叉させるように構成することも可能である。
【００８９】
交叉手段６４で生成された１００個体の子プログラムである処理プログラムは、次の突然変異手段６５に送られるようになっている。
【００９０】
突然変異手段６５では、処理プログラムごとに所定の割合でノードの変異、挿入、欠失等を発生させるように構成されている。その際、ノードの挿入により処理プログラム中の非終端記号の数が４０を超える場合には、その挿入は行われず、また、終端記号（すなわち、入力画像ｔ等）と非終端記号（すなわち、画像フィルタ）との変異は禁止されている。この他にも、例えば、転座や重複等の突然変異を行うように構成することも可能であり、その際、適宜適切な制限が加えられる。
【００９１】
突然変異手段６５には、適応度評価手段６６が接続されており、突然変異手段６５で生成された１００個体の処理プログラムは適応度評価手段６６に送られるようになっている。適応度評価手段６６では、前述した適応度評価手段６２と同様の処理が行われ、適応度評価手段６２で用いたものと同じ第１〜第３学習セットが用いられて各処理プログラムについてシミュレーションが行われ、前記（１）式に基づいてそれぞれ適応度Ｅが計算されるように構成されている。
【００９２】
適応度評価手段６６には、終了判定手段６７が接続されており、適応度評価手段６６で適応度Ｅが計算された各処理プログラムと前記親選択手段６３でエリート保存された前世代の適応度が最大の処理プログラムとが終了判定手段６７に送られ、処理プログラム形成部６における処理プログラム形成を終了するか否かの判定を受けるようになっている。
【００９３】
本実施形態では、終了判定手段６７は、進化過程の世代数があらかじめ設定された終了世代数Ｇｅに達したかどうかを判定し、終了世代数Ｇｅに到達したと判定した場合にはその時点で適応度Ｅが最大の処理プログラムを解として画像処理部３に出力して、プログラム形成を終了させるように構成されている。また、終了判定手段６７は、世代数が終了世代数Ｇｅに到達していないと判定すると、各処理プログラムを前記親選択手段６３に送り、前述した処理手順を繰り返すようになっている。
【００９４】
終了判定手段６７では、この他にも、例えば、各処理プログラムの中に適応度があらかじめ設定した目標適応度Ｅｑに達した処理プログラムがあるか否かを判定し、目標適応度Ｅｑに達した処理プログラムがあればその処理プログラムを解として画像処理部３に出力するように構成されてもよい。また、終了判定手段６７が各処理プログラムの適応度の最大値を記憶するように構成し、適応度の最大値が所定の世代数経過してもその間変化しない場合、すなわち、適応度の最大値が停滞した場合にはその世代で前記手順を終了し、その最大の適応度を有する処理プログラムを解として画像処理部３に出力するように構成することも可能である。
【００９５】
処理プログラム形成部６では、以上の進化過程に基づいて最適化された処理プログラムが形成されるが、得られた処理プログラムには、いわゆる過学習と呼ばれる現象が見られることがある。つまり、本実施形態の場合で言えば、歩行者一般を抽出するのではなく、さらに限定された、例えば、白っぽい服を着た歩行者は抽出せず、濃い色の服を着た歩行者のみを抽出してしまうような処理プログラムが得られる場合がある。
【００９６】
このような過学習の発生を避けるため、本実施形態では、前記適応度評価手段６２、６６での適応度評価において、前記（１）式で算出された適応度Ｅからさらに下記（２）式に基づいて過学習制限を考慮した適応度Ｅ´を算出するように構成されている。従って、本実施形態では、親選択手段６３や終了判定手段６７においては、この過学習制限を考慮した適応度Ｅ´が比較され、参照される。
【００９７】
【数２】
2006178857.tif 000004
【００９８】
ここで、係数ａ、ｂはともに正の値をとる。（２）式によれば、過学習制限を考慮した適応度Ｅ´は、処理プログラムにおけるノード数ｎ（Node）が大きいほど小さい値をとるように算出され、また、２入力画像フィルタのノード数ｍ（2input-node）が大きいほど大きな値をとるように算出される。
【００９９】
過学習制限を考慮した適応度Ｅ´が前記（２）式のように構成される理由は、処理プログラムの木構造のノード数が大きいほど抽出する対象がより限定されて過学習の状態になり易く、ノード数が小さいほどより一般的な対象（本実施形態では歩行者全般）を抽出できるようになり、汎用性が向上するためである。
【０１００】
また、このようにノード数が大きいほど適応度Ｅ´が小さくなるように構成されると、今度は、処理プログラムの木構造における２入力画像フィルタの割合が小さくなり、例えば、本実施形態のように入力画像として４種類の入力画像（すなわち、入力画像ｔ、ｔ−１、ｔ−２、ｔ−３）の入力を許しても、実際にはより少ない種類の入力画像しか入力しない処理プログラムが得られる傾向が強くなるため、２入力画像フィルタのノード数が大きいほど適応度Ｅ´が大きな値をとるように構成されている。
【０１０１】
なお、係数ａ、ｂはそれぞれノード数の適応度Ｅ´に対する割合および２入力画像フィルタのノード数の適応度Ｅ´に対する割合を表すが、この係数ａ、ｂを前記処理プログラム形成部６における遺伝的プログラミングの進化過程の世代数に応じて変化するように構成することも可能である。
【０１０２】
例えば、世代数が小さい段階では係数ａ、ｂがともに大きな値をとり世代とともに小さな値をとるようにすれば、ノード数が大きな処理プログラムが淘汰され易くなり（ａの効果）、２入力画像フィルタを多く含む処理プログラムが生き残る可能性が高くなる（ｂの効果）。また、逆に、係数ａ、ｂを世代とともに大きくするようにすれば、進化初期に得られた学習セットに特化した処理を進化の後半でよりシンプルな形にしていくことが可能となる。
【０１０３】
さらに、進化が進んで適応度の最大値の停滞が生じたときに、人為的に係数ａ、ｂの値を変化させることで、より最適化された処理プログラムが得られる可能性が高くなる。
【０１０４】
処理プログラム形成部６で以上のようにして形成された処理プログラムは、前述したように、画像処理部３に送られるようになっている。さらに、本実施形態では、図１５に示すように、形成された複数の処理プログラム１〜ｎを組み合わせ、１つのより大規模な処理プログラムを形成して用いるように構成されている。
【０１０５】
組み合わせの方法としては、例えば、各処理プログラム１〜ｎでそれぞれ得られたｎ個の出力画像の対応する画素ごとに論理和を求め、２値化された画像を大規模な処理プログラムの出力画像とするように構成することも可能である。また、図８（Ａ）および図８（Ｂ）に示したマスクフィルタを用いて、図１６に示すような大規模な処理プログラムを構成し、出力画像の下半分および上半分に処理プログラム１および処理プログラム２による画像処理の結果を表示して１つの出力画像とするように構成することも可能である。
【０１０６】
本実施形態では、前記処理プログラム形成部６での遺伝的プログラミングで得られた６個の処理プログラムを組み合わせて大規模な処理プログラムを構築するように構成されている。この大規模な処理プログラムでは、出力画像からノイズを除去し、出力画像の画素のうち多くの処理プログラムによって画像が抽出されている画素ではより強く赤色を表示するために、出力画像のある画素におけるｉ番目の処理プログラムの出力結果をｄｉとして、下記（３）式に示す非線形の重ね合わせに基づいて出力画像の各画素における出力輝度値Ｄが決定されるようになっている。
【０１０７】
【数３】
2006178857.tif 000005
【０１０８】
ここで、本実施形態の場合、ｎ＝６であり、ｐは２に設定されている。また、閾値Ｋは定数であり、本実施形態では１２７に設定されている。ｐおよびＫの値は任意に設定可能であり、ｐの値を大きくすれば画像が抽出されている画素をより強調して表示することが可能となる。
【０１０９】
次に、本実施形態の画像処理装置の作用について説明する。
【０１１０】
自動車車両のフロントガラス内側に取り付けられた画像処理装置１の撮像装置２（図１参照）は車両の前方風景を撮像し、その画像（図５（Ａ）参照）を入力画像ｔとして画像処理部３に送信する。撮像装置２は、この動作を１／３０秒ごとに繰り返す。
【０１１１】
画像処理部３は、撮像装置２からの入力画像ｔを受信すると、表示部４に送信してモニタに表示させるとともに、入力画像ｔを順次メモリ５に一時保存させる。また、同時に、メモリ５に保存されている入力画像ｔ−１、ｔ−２、ｔ−３を読み出し、入力画像ｔ、ｔ−１、ｔ−２、ｔ−３を画像フィルタを木構造状に組み合わせた処理プログラムに入力して出力画像を形成し、表示部４のモニタに白黒画像として表示されている入力画像ｔに赤色に着色した出力画像を重ね合わせて表示する。
【０１１２】
ここで、処理プログラムは、前述したように、人為的に構築されたものでもよいが、処理プログラム形成部６における遺伝的プログラミングによりあらかじめ形成しておくことも可能である。
【０１１３】
処理プログラム形成部６における処理プログラム形成の手順は前述したとおりであり、ここでは、図１７に、処理プログラム形成部６における遺伝的プログラミングによって形成された解としての処理プログラムの一例を示す。この場合、非終端記号、すなわち、画像フィルタの数は４０、終端記号のうち入力画像の数は１５、出力画像の数は１になっている。
【０１１４】
また、図１７に示した処理プログラムとそれと同様にして得られた処理プログラムとを前記（３）式に基づいて組み合わせて、大規模な処理プログラムを形成することができる。この大規模な処理プログラムに、例えば、前記入力画像ｔ、ｔ−１、ｔ−２、ｔ−３（図５参照）を入力すると、図６に示した歩行者を含む特定の対象を抽出した出力画像が得られ、表示部４のモニタに白黒画像として表示されている入力画像ｔに赤色に着色した出力画像を重ね合わせて表示すると、図７に示したような画像が得られる。
【０１１５】
なお、前記処理プログラム形成部６において形成された処理プログラムを見ると、入力画像に対する画像フィルタの処理の早い段階で、差分フィルタによる処理が行われるように形成されていることが観察されることが多い。これは、本実施形態における処理プログラムの目的が、移動中の車両から前方風景を撮像してその画像の中から移動中の或いは停止している歩行者を抽出することであり、歩行者の位置が僅かながら徐々に変化する時系列的な複数の入力画像の中から歩行者を抽出するためであると考えられる。
【０１１６】
そのため、入力画像ｔ、ｔ−１、ｔ−２、ｔ−３として、図５に示したような画像の全画像入力を行うかわりに、撮像装置により時間間隔をおいて撮像された複数枚の画像のフレーム間差分画像（すなわち、時間微分データ）を入力するように構成することも可能である。また、各入力画像ｔ、ｔ−１、ｔ−２、ｔ−３のそれぞれにおけるエッジ抽出画像（すなわち、各画像内の空間微分データ）を入力するように構成することも可能である。
【０１１７】
以上のように、本実施形態の画像処理装置によれば、画像フィルタを木構造状に組み合わせた処理プログラムに、時間間隔をおいて撮像された車両の前方風景の複数種類の入力画像ｔ、ｔ−１、…、ｔ−ｋを入力可能とすることにより、処理プログラムに動画像の複数のフレームを入力可能となり、動画像を画像処理することができるようになる。
【０１１８】
また、木構造の処理プログラムを構成する差分フィルタ等の各種画像フィルタにより動画像（例えば、車両の前方風景）の各フレームが比較されて差分等の画像処理を受けることにより、動画像の中から時間な変化や変位を伴う特定の対象（本実施形態の場合は歩行者）が抽出された出力画像を効果的に形成することが可能となる。
【０１１９】
さらに、処理プログラム形成部において遺伝的プログラミングにより処理プログラムを自動形成させることにより、処理プログラムを容易に得ることができる。また、目標画像および重み画像を変更することにより、抽出すべき特定対象を容易に変更することができる。すなわち、従来のように特定対象が変更されるごとにその抽出のための処理プログラムを手作業で構築することなく、目標画像と重み画像とを変更するだけで、前述した遺伝的プログラミングを用いた方法をそのまま使って同じ手順で処理プログラムを容易に構築することができる。
【０１２０】
その際、処理プログラムの形成において、例えば、図５の入力画像、図１０の目標画像および図１１の重み画像を組み合わせてなる学習セットを１セットのみ用いて学習を行った場合、例えば、図７の重ね合わせ画像で主に画像左側の人物のみを抽出するようになってしまう現象が生じることがある。このような現象が生じると、この処理プログラムに、例えば、図１３（Ｂ）のような画像を入力しても画像左側の人物のみを抽出し、画像右側の歩行者を抽出できなくなってしまう。
【０１２１】
しかし、本実施形態のように、処理プログラムの形成において、入力画像、目標画像および重み画像を組み合わせてなる学習セットを複数セット用いることにより、このような現象が生じることを回避することが可能となる。さらには、図１８に示すように、遺伝的プログラミングにおける学習セットには用いなかった風景の中からもより的確に人物を抽出できるようになり、動画像中から的確に人物のみを抽出する汎用性の高い処理プログラムを得ることが可能となる。
【０１２２】
また、このようにして得られた処理プログラムを複数組み合わせて大規模な処理プログラムとすることにより、このような効果をさらに効果的に発揮させることが可能となる。
【０１２３】
さらに、処理プログラムを遺伝的プログラミングで求める場合、通常、処理プログラムを構成する画像フィルタ（非終端記号）の数が増えるに従って解プログラムの探索空間がいわば指数関数的に増大し、膨大な探索が必要となる。しかし、本実施形態のように、異なる学習セットを用いて形成された処理プログラムを複数組み合わせることにより、より容易にかつ的確に特定対象を抽出可能な汎用性の高い処理プログラムを得ることが可能となる。
【０１２４】
なお、本実施形態では、移動中の車両から前方風景を撮像してその画像の中から歩行者を抽出することを目的としたが、この他にも、例えば、前方風景の中から車両を抽出したり、車両や歩行者等の一般的な移動物を抽出したり、或いは、車道と歩道の境界を抽出するように構成することも可能である。また、それらを組み合わせて、車道と歩道の境界を抽出してその間の車道上を移動する車両や歩行者を抽出するように構成することもできる。
【０１２５】
また、本実施形態では、入力画像ｔに出力画像を重ね合わせて表示する場合について述べたが、本実施形態の画像処理装置と他の装置を組み合わせることにより、本実施形態の画像処理装置で抽出した特定の対象を他の装置に送って監視したり、他の装置でその対象との距離を測定したりすることに用いることも可能である。
【０１２６】
例えば、本実施形態の画像処理装置と距離測定装置とを組み合わせることにより、本実施形態の画像処理装置で歩行者を特定し、距離測定装置で歩行者との距離を測定することにより、接近の際の自動警報を発したり、走行制御によって衝突を回避したりすることが可能となる。また、距離測定装置についても車両前方全域の対象物との距離を測定する必要がなくなり負担が軽減される。
【０１２７】
さらに、本実施形態の画像処理装置は、車両に搭載するだけでなく、例えば、人工知能型ロボット等に搭載することも可能であり、例えば、ロボットが、搭載したカメラで環境を観察しながら他の移動物体を発見し、計測し、それに対するロボットの行動を決定したりするために用いることができる。
【図面の簡単な説明】
【０１２８】
【図１】本実施形態の画像処理装置の構成を示すブロック図である。
【図２】本実施形態の処理プログラムの構造を説明した図である。
【図３】本実施形態で用いられる画像フィルタの一覧表である。
【図４】処理プログラムに入力される入力画像の選択方法を説明した図である。
【図５】連続する４フレーム分の入力画像を説明した図であり、（Ａ）は入力画像ｔ、（Ｂ）は入力画像ｔ−３を示す。
【図６】図５の入力画像に基づく出力画像を説明した図である。
【図７】図５（Ａ）の入力画像と図６の出力画像を重ね合わせて表示した状態を示す図である。
【図８】本実施形態で用いられるマスクフィルタの例を示す図である。
【図９】本実施形態の処理プログラム形成部の構成を示すブロック図である。
【図１０】適応度評価手段で用いられる目標画像を説明した図である。
【図１１】適応度評価手段で用いられる重み画像を説明した図である。
【図１２】本実施形態で用いられる３つの学習セットを説明した図である。
【図１３】図１２の各学習セットで用いられる入力画像を示す図であり、（Ａ）は第２学習セット、（Ｂ）は第３学習セットに用いられる入力画像を示す。
【図１４】交叉手段における処理プログラムの交叉を説明した図である。
【図１５】処理プログラムを組み合わせて形成される大規模な処理プログラムを説明した図である。
【図１６】マスクフィルタを用いて画像を分割して表示する大規模な処理プログラムを説明した図である。
【図１７】遺伝的プログラミングにより形成された処理プログラムの一例を示す図である。
【図１８】学習セットに用いなかった入力画像の中から人物を抽出した状態を示す図である。
【図１９】従来の処理プログラムの構造を説明した図である。
【符号の説明】
【０１２９】
１    画像処理装置
２１  撮像装置
３    画像処理部
４    表示部
６    処理プログラム形成部
【図１】
2006178857.tif 000006
【図２】
2006178857.tif 000007
【図３】
2006178857.tif 000008
【図４】
2006178857.tif 000009
【図５】
2006178857.tif 000010
【図６】
2006178857.tif 000011
【図７】
2006178857.tif 000012
【図８】
2006178857.tif 000013
【図９】
2006178857.tif 000014
【図１０】
2006178857.tif 000015
【図１１】
2006178857.tif 000016
【図１２】
2006178857.tif 000017
【図１３】
2006178857.tif 000018
【図１４】
2006178857.tif 000019
【図１５】
2006178857.tif 000020
【図１６】
2006178857.tif 000021
【図１７】
2006178857.tif 000022
【図１８】
2006178857.tif 000023
【図１９】
2006178857.tif 000024