(57)【要約】【課題】動画像中からの特定対象の抽出の成否やノイズの検出に起因する画像上のちらつきを低減し、動画像中から安定して特定対象を抽出することが可能な画像処理装置を提供する。【解決手段】画像処理装置１は、移動体に搭載され移動体の周囲を撮像する撮像装置２１と、処理プログラムに基づいて撮像装置２１により時間間隔をおいて撮像された複数枚の画像Ｉに画像処理を施して画像中から特定の対象Ｐを抽出し特定の対象Ｐが抽出された出力画像Ｏを形成する画像処理部３と、画像処理部３から出力された現在から所定フレーム前までの出力画像Ｏの各画素の輝度値を重み付けして重ね合わせて結果画像Ｒを形成する重ね合わせ処理部４とを備え、重ね合わせ処理部４は、移動体の移動状態に基づいて出力画像Ｏの重ね合わせの条件を決定する。【選択図】図１
2007249386.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載され、前記移動体の周囲を撮像する撮像装置と、
処理プログラムに基づいて、前記撮像装置により時間間隔をおいて撮像された複数枚の画像に画像処理を施して画像中から特定の対象を抽出し、前記特定の対象が抽出された出力画像を形成する画像処理部と、
前記画像処理部から出力された現在から所定フレーム前までの出力画像の各画素の輝度値を重み付けして重ね合わせて結果画像を形成する重ね合わせ処理部とを備え、
前記重ね合わせ処理部は、前記移動体の移動状態に基づいて前記出力画像の重ね合わせの条件を決定することを特徴とする画像処理装置。
【請求項２】
前記重ね合わせ処理部は、前記条件として、前記移動体の移動速度に基づいて重ね合わせる出力画像のフレーム数を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記重ね合わせ処理部は、前記条件として、前記撮像装置により撮像された複数枚の画像から算出されたオプティカルフローを基に算出された前記移動体の移動速度に基づいて重ね合わせる出力画像のフレーム数を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記重ね合わせ処理部は、前記条件として、前記移動体のヨー角速度またはヨー角加速度の少なくとも一方に基づいて重ね合わせる出力画像のフレーム数を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記重ね合わせ処理部は、前記条件として、過去の時刻において決定した出力画像のフレーム数に基づいて形成した結果画像の各画素の輝度値、現在の時刻において重ね合わせる出力画像のフレーム数に基づいて形成される結果画像の各画素の輝度値をパラメータとして結果画像のちらつきの度合いを表す指標、及び、結果画像のずれの度合いを表す指標を算出し、これらの指標をパラメータとして現在の時刻において重ね合わせるべき出力画像のフレーム数を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記重ね合わせ処理部は、前記撮像装置により撮像された複数枚の画像から算出されたオプティカルフローに基づいて前記出力画像を変換して前記重ね合わせを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記重ね合わせ処理部は、前記移動体の移動状態に基づく前記出力画像の重ね合わせの条件を複数備え、前記移動体の移動状態に基づいて用いる条件を切り替えることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記重ね合わせ処理部は、前記条件の切り替えにおいて、使用していた条件とこれから使用する条件とを連続して切り替わるように切り替えることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記重ね合わせ処理部は、出力画像を複数の領域に分割し、それぞれの領域ごとに前記出力画像の重ね合わせの条件を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記画像処理部は、画像フィルタを木構造状に組み合わせた処理プログラムに基づいて出力画像を形成することを特徴とする請求項１から請求項９のいずれか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特に、画像中から特定対象を抽出可能な画像処理装置に関する。
【背景技術】
【０００２】
近年、ＴＶカメラやＣＣＤ（Charge Coupled Device）カメラ等の画像入力手段で被写体や風景等を撮像し、得られた動画像に画像処理を施して、その画像の中から特定の対象、例えば、環境内を移動する物体やその動き等を抽出するための画像処理装置や画像処理方法の研究が盛んに行われている（例えば、特許文献１〜５等参照）。
【０００３】
このような画像処理装置では、動画像中から特定対象を抽出するために、例えば、水平方向に離間した２台のＣＣＤカメラ等により得られた入力画像に画像処理を施して特定対象の輪郭部分を抽出したり、入力画像からオプティカルフローを算出して特定対象を抽出したり、或いはパターンマッチング処理によりデータベースに登録されているモデルと照合して特定対象を推定する等の画像処理方法が採られている。
【０００４】
しかし、これらの方法は、通常、処理プログラムの構築に非常に手間がかかるうえ、目的とする特定対象ごとに処理プログラムを構築しなければならない。そのため、従来から処理プログラムを容易に構築可能であり汎用性の高い処理プログラムを得ることができる画像処理方法や画像処理装置が望まれていた。
【０００５】
画像処理技術としては、静止画像に対する画像処理の分野で開発された画像変換の自動構築法ＡＣＴＩＴ（Automatic Construction of Tree-structural Image Transformations、非特許文献１参照）が開発されている。この画像処理技術は、図２０に示すように、各種画像フィルタを木構造状に組み合わせた処理プログラムに基づいて入力画像に画像処理を施して画像中から特定対象を抽出する画像処理技術である。また、非特許文献１では、このような木構造状の処理プログラムを自動的に最適化するために遺伝的プログラミングの技法を取り入れることが提案されている。
【特許文献１】特開平５−２６５５４７号公報
【特許文献２】特開平１０−１１５８５号公報
【特許文献３】特開２００２−８３２９７号公報
【特許文献４】特開２００１−８４３８３号公報
【特許文献５】特開平９−２７１０１４号公報
【非特許文献１】青木紳也、外１名、「木構造状画像変換の自動構築法ＡＣＴＩＴ」、映像情報メディア学会誌、社団法人映像情報メディア学会、１９９９年、第５３巻、第６号、ｐ．８８８〜８９４
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このようなＡＣＴＩＴの手法を用い、動画像中から例えば人物のような特定対象を抽出するように木構造状の処理プログラムの学習を行うと、木構造状の処理プログラムからは比較的良好に特定対象を抽出した出力画像が出力されることが分かっている。例えば、動画像の各フレームをモノトーン画像で表示し、各フレームに対応する出力画像を色つきの画像として重ね合わせて表示すると、各フレームの画像中から特定対象が着色された状態で抽出されたように表示させることができる。
【０００７】
しかしながら、動画像を構成する各フレームの中には特定対象を必ずしも良好に抽出できていないフレームがある。そのため、例えば前記の重ね合わせ画像を時間的に連続して表示させると、動画像中の特定対象が着色されたりされなかったりして、いわゆるちらつきが生じる。
【０００８】
また、フレームごとにノイズが検出されたりされなかったりして、特定の対象以外の画像部分でもちらつきが生じてしまう。このようなちらつき、特に特定対象を抽出できたりできなかったりすることで生じるちらつきは、特定対象の抽出の不安定さを示しているとも言える。
【０００９】
本発明は、このような事情に鑑みてなされたものであり、動画像中からの特定対象の抽出の成否やノイズの検出に起因する画像上のちらつきを低減し、動画像中から安定して特定対象を抽出することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記の問題を解決するために、第１の発明は、
画像処理装置において、
移動体に搭載され、前記移動体の周囲を撮像する撮像装置と、
処理プログラムに基づいて、前記撮像装置により時間間隔をおいて撮像された複数枚の画像に画像処理を施して画像中から特定の対象を抽出し、前記特定の対象が抽出された出力画像を形成する画像処理部と、
前記画像処理部から出力された現在から所定フレーム前までの出力画像の各画素の輝度値を重み付けして重ね合わせて結果画像を形成する重ね合わせ処理部とを備え、
前記重ね合わせ処理部は、前記移動体の移動状態に基づいて前記出力画像の重ね合わせの条件を決定することを特徴とする。
【００１１】
第２の発明は、第１の発明の画像処理装置において、前記重ね合わせ処理部は、前記条件として、前記移動体の移動速度に基づいて重ね合わせる出力画像のフレーム数を決定することを特徴とする。
【００１２】
第３の発明は、第１の発明の画像処理装置において、前記重ね合わせ処理部は、前記条件として、前記撮像装置により撮像された複数枚の画像から算出されたオプティカルフローを基に算出された前記移動体の移動速度に基づいて重ね合わせる出力画像のフレーム数を決定することを特徴とする。
【００１３】
第４の発明は、第１の発明の画像処理装置において、前記重ね合わせ処理部は、前記条件として、前記移動体のヨー角速度またはヨー角加速度の少なくとも一方に基づいて重ね合わせる出力画像のフレーム数を決定することを特徴とする。
【００１４】
第５の発明は、第１の発明の画像処理装置において、前記重ね合わせ処理部は、前記条件として、過去の時刻において決定した出力画像のフレーム数に基づいて形成した結果画像の各画素の輝度値、現在の時刻において重ね合わせる出力画像のフレーム数に基づいて形成される結果画像の各画素の輝度値をパラメータとして結果画像のちらつきの度合いを表す指標、及び、結果画像のずれの度合いを表す指標を算出し、これらの指標をパラメータとして現在の時刻において重ね合わせるべき出力画像のフレーム数を決定することを特徴とする。
【００１５】
第６の発明は、第１の発明の画像処理装置において、前記重ね合わせ処理部は、前記撮像装置により撮像された複数枚の画像から算出されたオプティカルフローに基づいて前記出力画像を変換して前記重ね合わせを行うことを特徴とする。
【００１６】
第７の発明は、第１の発明の画像処理装置において、前記重ね合わせ処理部は、前記移動体の移動状態に基づく前記出力画像の重ね合わせの条件を複数備え、前記移動体の移動状態に基づいて用いる条件を切り替えることを特徴とする。
【００１７】
第８の発明は、第７の発明の画像処理装置において、前記重ね合わせ処理部は、前記条件の切り替えにおいて、使用していた条件とこれから使用する条件とを連続して切り替わるように切り替えることを特徴とする。
【００１８】
第９の発明は、第１の発明の画像処理装置において、前記重ね合わせ処理部は、出力画像を複数の領域に分割し、それぞれの領域ごとに前記出力画像の重ね合わせの条件を決定することを特徴とする。
【００１９】
第１０の発明は、第１から第９のいずれかの発明の画像処理装置において、前記画像処理部は、画像フィルタを木構造状に組み合わせた処理プログラムに基づいて出力画像を形成することを特徴とする。
【発明の効果】
【００２０】
第１の発明によれば、処理プログラムに入力画像を入力して得られた現在の時刻の出力画像中で仮に特定対象がまったく抽出できていなくても、現在の時刻の出力画像と過去の出力画像とを重ね合わせて結果画像を形成することで、現在の時刻における結果画像では特定対象を確実に抽出することが可能となる。
【００２１】
そのため、結果画像を動画像のように時間的に連続して表示させても、動画像中で特定対象が常に抽出された状態に表示することができ、特定対象が抽出されたりされなかったりして生じるちらつきの発生を解消し或いは低減することが可能となる。
【００２２】
また、出力画像にはノイズが誤検出されても、出力画像を重ね合わせて結果画像とすることでノイズが希釈されるため、結果画像上では特定対象以外の画像部分に生じるノイズに起因するちらつきを解消し或いは低減することが可能となる。
【００２３】
このようにして、第１の発明の画像処理装置によれば、結果画像では特定対象の抽出の成否やノイズの誤検出に起因するちらつきが解消或いは低減されるため、動画像中から特定対象を安定して抽出することが可能となる。
【００２４】
第２の発明によれば、撮像装置を搭載した移動体の移動速度が変化した場合には、重ね合わせる出力画像のフレーム数を基準速度におけるフレーム数から移動速度の変化に対して反比例的に変化させるようにすれば、結果画像上の特定対象を抽出した画素部分の輝度値を不要に希釈化し、特定対象以外の画素部分を不要に有輝度化することを確実に防止することが可能となり、動画像中から特定対象を安定して抽出することが可能となる。従って、前記第１の発明の効果が的確に発揮される。
【００２５】
第３の発明によれば、撮像装置により撮像された複数枚の入力画像からオプティカルフローを算出し、オプティカルフローに基づいて移動体の移動速度を算出することができ、算出した移動速度に基づいて前記と同様にして重ね合わせるフレーム数を決定することができる。そのため、画像処理装置が車速のＣＡＮデータを用いることができない場合でも前記第２の発明と同様に結果画像上の特定対象を抽出した画素部分の輝度値を不要に希釈化し、特定対象以外の画素部分を不要に有輝度化することを確実に防止することが可能となる。そして、動画像中から特定対象を安定して抽出することが可能となり前記各発明の効果が的確に発揮される。
【００２６】
第４の発明によれば、移動体のヨー角速度やヨー角加速度が変化した場合には、出力画像上で特定対象が左右方向に移動する。この場合も、ヨー角速度やヨー角加速度の変化に対して重ね合わせる出力画像のフレーム数を基準のヨー角速度やヨー角加速度におけるフレーム数から反比例的に変化させるようにすれば、前記第２の発明と同様の効果を得ることが可能となり、前記各発明の効果が的確に発揮される。
【００２７】
第５の発明によれば、撮像装置を搭載した移動体の速度やヨー角速度等に依存することなく、出力画像や過去の結果画像に基づいて定量的に今回重ね合わせるべき出力画像のフレーム数ｎを決定することが可能となり、前記各発明の効果が的確に発揮される。
【００２８】
第６の発明によれば、過去の出力画像中の特定対象を抽出した画素部分をオプティカルフローを用いて今回抽出される可能性が高い出力画像中の特定対象の画素位置に集めるように変換して重ね合わせを行うため、今回の出力画像中から特定対象を的確に抽出し、かつより安定して抽出することが可能となる。そのため、前記各発明と同様に特定対象の強調効果およびノイズの希釈効果を得ることが可能となり、動画像中から特定対象を安定して抽出することが可能となる。
【００２９】
第７の発明によれば、移動体の移動状態に基づいて用いる条件を切り替えることで、例えば、移動体の移動状態が直進状態のように車速が支配的な状態では車速についての条件を用い、ヨー軸周りの回転運動が支配的な状態ではヨー軸周りの回転運動についての条件を用いるようにすることで、移動体の移動状態に応じて的確な条件に切り替えることが可能となり、前記各発明の効果が効果的に発揮される。
【００３０】
第８の発明によれば、前記第７の発明における条件の切り替えにおいて、使用していた条件とこれから使用する条件とを連続するように切り替えることで、画像処理装置における特定対象の抽出精度が条件の切り替えにより不連続的に変わることを防止して動画像中から特定対象を安定して抽出することが可能となり、前記各発明の効果がより有効に発揮される。
【００３１】
第９の発明によれば、出力画像の中央付近と端部付近では、フレームごとに特定対象が変位する距離が異なる。そのため、出力画像をそれぞれ複数の領域に分割し、それぞれの領域ごとに出力画像の重ね合わせの条件を決定することで、各領域ごとに適切にかつ効率良く出力画像を重ね合わせることが可能になり、また、結果画像における特定対象の抽出精度が画像全体として向上する。そのため、前記各発明の効果が効果的に発揮される。
【００３２】
第１０の発明によれば、前記各発明では処理プログラムが画像フィルタを木構造状に組み合わせた処理プログラムでない場合でも有効にその効果が発揮される。しかし、処理プログラムが木構造状の処理プログラムであれば、前述した動画像の画像処理に適用された自動構築法ＡＣＴＩＴにおける遺伝的プログラミングの技法を用いて学習を行うことが可能となり、前記各発明の効果に加え、処理プログラムを煩雑な作業により人為的に構築することなく自動的に最適化された処理プログラムを得ることが可能となる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明に係る画像処理装置の実施の形態について、図面を参照して説明する。
【００３４】
下記の各実施形態では、画像処理装置が自動車車両に搭載され、車両前方の風景画像の中から人物を抽出する画像処理装置について述べる。また、各実施形態に係る画像処理装置としては、ＣＰＵやＲＡＭ、ＲＯＭ、入出力インターフェース等がＢＵＳにより接続されて構成されたコンピュータを用いることができる。
【００３５】
［第１の実施の形態］
第１の実施形態に係る画像処理装置１は、図１に示すように、画像入力部２と、画像処理部３と、重ね合わせ処理部４と、メモリ５と、表示部６と、処理プログラム形成部７と、入力部８とを備えている。また、重ね合わせ処理部４には、車速センサや操舵角センサ等のセンサ類Ａが接続されており、センサ類Ａから車速Ｖやステアリングホイールの操舵角δ等のＣＡＮデータが入力されるようになっている。
【００３６】
また、本実施形態では、センサ類Ａには、特開２００４−２４９８１２号公報に記載の車両運動モデル生成装置等をベースに構成されたヨーレート推定装置が含まれる。ヨーレート推定装置は、車速Ｖや操舵角δ等からヨー角速度γすなわちヨーレートγを推定し、重ね合わせ処理部４にヨーレートγの推定値を送信するようになっている。なお、重ね合わせ処理部４にヨーレートセンサを接続してヨーレートγの実測値を入力するように構成することも可能である。
【００３７】
画像入力部２は、撮像した画像を電気信号に変換可能な撮像装置２１を備えている。撮像装置２１としては、例えばＣＣＤカメラが用いられ、本実施形態では、通常のテレビ画像と同様に１／３０秒ごとに車両前方を撮像するように構成されている。
【００３８】
撮像装置２１で撮像された画像は、図示しないＡ／Ｄコンバータでそれぞれ画素ごとに０〜２５５の２５６階調のグレースケールの輝度階調の輝度値を有するデジタル画像に変換され、画像補正されて画像処理部３に送信されるようになっている。なお、本実施形態では、この一定の時間間隔ごとに送信されてくる画像の単位を１フレームという。つまり、本実施形態では、画像処理部３には、１秒間に３０フレームの画像が画像入力部２から送信されるようになっている。
【００３９】
画像処理部３には、モニタを備えたメモリ５および表示部６が接続されており、画像処理部３は、画像入力部２から送信されてきた画像を順次メモリ５に保存するようになっている。また、画像処理部３は、画像を表示部６に送信してモニタに表示させるようになっている。
【００４０】
また、画像処理部３は、装置の起動時にメモリ５に保存された図２に示すような各種画像フィルタが木構造状に組み合わされた処理プログラムを読み出すようになっている。処理プログラムは、図３に例示される各種画像フィルタが木構造状に組み合わせて構成されている。なお、図３に示した画像フィルタ以外の画像フィルタも適宜用いられる。
【００４１】
また、画像処理部３は、メモリ５から撮像装置２１により時間間隔をおいて撮像された複数枚の画像を読み出して、入力画像Ｉt、Ｉt-1、…、Ｉt-kとして前記処理プログラムに入力し、画像処理を行って出力画像Ｏtを形成するようになっている。
【００４２】
本実施形態では、入力画像Ｉt、Ｉt-1、…、Ｉt-kとして、現在の時刻ｔの入力画像Ｉtおよびそれ以前のＭフレームごとの入力画像Ｉt-1、…、Ｉt-kが処理プログラムに入力されるようになっており、ｋ＝３、Ｍ＝１に設定されている。
【００４３】
すなわち、画像処理部３は、図４（Ａ）に示すように現在の時刻ｔの入力画像Ｉtおよびその直前の連続する３フレームの入力画像Ｉt-1、Ｉt-2、Ｉt-3をメモリ５から読み出して処理プログラムに入力するようになっている。
【００４４】
なお、ｋおよびＭの値は適宜設定することが可能であり、例えば、ｋ＝２、Ｍ＝３と設定すれば、図４（Ｂ）に示すように、現在の時刻ｔおよびそれ以前の３フレームごとの入力画像Ｉt、Ｉt-1、Ｉt-2の計３枚の画像が読み出されて処理プログラムに入力されるようになる。また、他の選択方法により相異なる複数種類の入力画像を選択して処理プログラムに入力するように構成することも可能である。
【００４５】
また、本実施形態では、処理プログラムは、例えば図５（Ａ）、（Ｂ）に示す入力画像Ｉt〜Ｉt-3が入力されると、入力画像中から特定の対象として人物を抽出し、図６に示すような人物が抽出された出力画像Ｏtを出力するようになっている。なお、図５（Ａ）では入力画像Ｉtを、図５（Ｂ）では入力画像Ｉt-3を示し、入力画像Ｉt-1、Ｉt-2については図示を省略する。また、図６の出力画像において、斜線部分の画素の輝度値は０である。
【００４６】
画像処理部３は、出力画像Ｏtを重ね合わせ処理部４に送信するとともに、メモリ５に書き込むようになっている。
【００４７】
重ね合わせ処理部４は、メモリ５から現在の時刻ｔからｎ−１フレーム前までの出力画像Ｏt-1、…、Ｏt-n+1のｎ−１フレームの出力画像を読み出して、画像処理部３から送信されてきた現在の時刻ｔの出力画像Ｏtとともに計ｎフレームの出力画像の各画素の輝度値を重ね合わせて結果画像Ｒtを形成するようになっている。
【００４８】
この出力画像Ｏt、Ｏt-1、…、Ｏt-n+1の重ね合わせは、現在の時刻ｔにおける出力画像Ｏtのうち特定対象を抽出している部分すなわち図６に記号Ｐで示される部分の輝度値を高め、ノイズの部分の輝度値を下げるために行われる。一方、車両と人物、すなわち撮像装置２１を搭載している移動体と特定の対象とは相対的に移動しているから、図７に示すように、出力画像Ｏt、Ｏt-1、…の特定対象Ｐt、Ｐt-1、…の位置が画像内で移動していく。
【００４９】
このような場合に、現在の時刻ｔの出力画像Ｏt上の特定対象Ｐtは過去の出力画像上の特定対象Ｐancとはもはや重なり合わない。そのため、遠い過去の出力画像上の特定対象Ｐancの輝度値を現在の時刻ｔの出力画像Ｏtに重ね合わせても特定対象Ｐtの輝度値を高めることには役立たず、むしろ結果画像Ｒt上に不要な有輝度の画素部分を作り出すことになる。
【００５０】
そのため、重ね合わせる出力画像のフレーム数ｎすなわち何フレーム前までの出力画像を重ね合わせるかを予め設定するようになっている。重ね合わせる出力画像のフレーム数ｎは、撮像装置２１を搭載する移動体の標準的な移動速度や特定対象Ｐの標準的な移動速度のほか、撮像装置２１のフレーム間隔すなわち撮像サイクル等に基づいて適宜決められる。
【００５１】
本実施形態では、フレーム数ｎの決定の目安として、図８に示すように、現在の時刻ｔから最も遠い出力画像Ｏt-n+1上に抽出された特定対象Ｐt-n+1の半分程度が現在の時刻ｔの出力画像Ｏt上に抽出された特定対象Ｐtに重なることを目安としてｎが設定される。本実施形態では、移動体である車両の標準的な速度として時速４０ｋｍ、特定対象Ｐである人物の標準的な歩行速度として時速４ｋｍ、撮像装置２１のフレーム間隔として前述したように１／３０秒として、例えばｎ＝１０に設定される。
【００５２】
また、重ね合わせ処理部４は、重ね合わせを下記（１）式に従って重み付けして行うようになっている。
【００５３】
【数１】
2007249386.tif 000003
【００５４】
ここで、Ｏkij、Ｒtijはそれぞれ出力画像Ｏkおよび結果画像Ｒtの座標（ｉ，ｊ）の画素の輝度値を表す。また、α、βは本実施形態では画素に依存しない定数であり、下記（２）、（３）式に従って決まる減衰率およびゲインを表す。
【００５５】
【数２】
2007249386.tif 000004
【００５６】
なお、前記（２）式は、読み出された出力画像Ｏt、Ｏt-1、…、Ｏt-n+1のうち現在の時刻ｔから最も遠い出力画像Ｏt-n+1の重みαn-1をｎによらず固定値１／８とするものである。また、前記（３）式の右辺は、本実施形態ではコントラストを高めるために２とされているが、通常の場合と同様に１であってもよく、また他の数値であってもよい。前記（２）式により設定されるｎに応じてαの値が決まり、また前記（３）式を通してβの値も決まる。
【００５７】
本実施形態では、前述したように車両の時速が４０ｋｍ／ｈの場合にｎ＝１０に設定されるから、その場合、αおよびβは前記（２）、（３）式から
【数３】
2007249386.tif 000005
に定まる。
【００５８】
一方、重ね合わせ処理部４は、重ね合わせる出力画像のフレーム数ｎを、移動体の移動状態すなわち本実施形態では車両の走行状態に基づいて決定するようになっている。
【００５９】
本実施形態では、重ね合わせ処理部４は、移動体の移動速度すなわちセンサ類Ａの車速センサから入力される車速Ｖに基づいて重ね合わせる出力画像のフレーム数ｎを決定するようになっている。具体的には、例えば車速Ｖが２倍になれば、図８に示した特定対象Ｐt-n+1が特定対象Ｐtの位置まで移動する時間は半分になる。このように、車速Ｖとフレーム数ｎとは基本的に反比例の関係にある。
【００６０】
そのため、本実施形態では、重ね合わせ処理部４は、基準速度Ｖ0＝４０ｋｍ／ｈ、基準フレーム数ｎ0＝１０として、今回重ね合わせるフレーム数ｎを
ｎ＝ｎ0・Ｖ0／Ｖ    …（６）
に従って算出するようになっている。
【００６１】
また、このようにして算出されたｎに基づいて前記（２）、（３）式に従ってαやβを算出し、メモリ５から出力画像Ｏt-1、…、Ｏt-n+1を読み出して現在の時刻ｔの出力画像Ｏtとともに計ｎフレームの出力画像の各画素の輝度値をα、βで重み付けて重ね合わせて結果画像Ｒtを形成するようになっている。
【００６２】
なお、前記（６）式に従って算出されたフレーム数ｎの小数点以下を切り捨て、切り上げ或いは四捨五入して整数とする。また、前記（６）式によれば車速が０に近くなると重ね合わせる出力画像のフレーム数ｎが膨大になるため、例えば測定された車速Ｖが時速２０ｋｍ以下の場合はフレーム数ｎを２０に固定する等の処理が行われるようになっている。
【００６３】
重ね合わせ処理部４は、結果画像Ｒtをメモリ５に保存するとともに出力するようになっている。
【００６４】
処理プログラム形成部７は、遺伝的プログラミングの手法を用いた教師あり学習により最適化された木構造状の処理プログラムを予め自動的に形成するように構成されている。
【００６５】
処理プログラム形成部７には、学習に先立って作成された目標画像と重み画像がそれぞれ入力されるようになっている。目標画像Ｔは学習の教師データとなるものであり、例えばメモリ５に記憶されている図５に示した入力画像Ｉtに基づいて図９に示すような目標画像Ｔが作成される。
【００６６】
また、重み画像Ｗとは木構造状の処理プログラムに入力画像Ｉt、Ｉt-1、Ｉt-2、Ｉt-3を入力した場合に出力される出力画像Ｏｔと目標画像Ｔとの距離｜Ｏt−Ｔ｜を画素ごとに重み付けするための重みが各画素ごとに定義された画像をいう。本実施形態では、図１０に示すように、目標画像Ｔ上で特定対象を抽出すべき抽出領域ＥＸとそれ以外の非抽出領域ＮＥのそれぞれの領域で重みｗがそれぞれの面積比の逆数の比になるように重み画像Ｗが作成されるようになっている。
【００６７】
処理プログラム形成部７では、マウスやキーボード等の入力部８からの処理プログラム形成指示に応じて、初期個体生成で例えば１００個体生成された個体群に対して適合度評価、親選択、交叉、突然変異等の各過程が繰り返し行われ、終了判定条件を満たした時点で適合度が最も良いプログラムが最適化された木構造状の処理プログラムとして画像処理部３に出力されるようになっている。
【００６８】
なお、終了判定条件は、進化過程の世代数があらかじめ設定された終了世代数に達した等の条件が適宜設定される。また、過学習が発生しないように改良された計算式を用いて適合度を算出するように構成することも適宜行われる。
【００６９】
次に、本実施形態に係る画像処理装置１の作用について説明する。
【００７０】
画像処理装置１の画像入力部２から現在の時刻ｔの入力画像Ｉtが入力されると、画像処理部３はそれをメモリ５に保存するとともに、メモリ５から入力画像Ｉt-1、Ｉt-2、Ｉt-3を読み出して、それらと入力画像Ｉtとを木構造状の処理プログラムに入力して現在の時刻ｔの出力画像Ｏtを出力させる。
【００７１】
画像処理部３は、出力画像Ｏtをメモリ５に保存するとともに、重ね合わせ処理部４に送信する。
【００７２】
重ね合わせ処理部４は、車速センサから入力される現在の時刻ｔの車速Ｖに基づいて前記要領に従って今回重ね合わせるべき出力画像のフレーム数ｎを算出し、前記（２）、（３）式に従って今回用いるべきα、βを算出する。そして、メモリ５から出力画像Ｏt-1、…、Ｏt-n+1を読み出し、図１１に示すように、それらと画像処理部３から送信されてきた現在の時刻ｔの出力画像Ｏtとを前記（１）式に従って重み付けて重ね合わせて結果画像Ｒtを形成する。
【００７３】
前述したように、もともとフレーム数ｎは、現在の時刻ｔから最も遠い出力画像Ｏt-n+1上に抽出された特定対象Ｐt-n+1の半分程度が現在の時刻ｔの出力画像Ｏt上に抽出された特定対象Ｐtに重なることを目安として決定されるから、出力画像Ｏt〜Ｏt-n+1を重ね合わせると、図１２に示すように、各出力画像Ｏt〜Ｏt-n+1の特定対象Ｐt〜Ｐt-n+1が重なり合う。
【００７４】
そのため、前記（１）式に従って各出力画像の特定対象Ｐt〜Ｐt-n+1の画素部分の各輝度値を重み付けして加算すると、結果画像Ｒtにおいて、特定対象Ｐの画素部分が大きな輝度値を有するようになり、強調されて表現されるようになる。
【００７５】
従って、画像処理部３で木構造状の処理プログラムに入力画像Ｉt〜Ｉt-3を入力して得られた現在の時刻ｔの出力画像Ｏt中で仮に特定対象Ｐがまったく抽出できていなくても、重ね合わせ処理部４で過去の出力画像Ｏt-1〜Ｏt-n+1を重み付けして重ね合わせることで、現在の時刻ｔにおける結果画像Ｒtでは特定対象Ｐtを抽出することができる。
【００７６】
なお、例えば、図１２に座標（ｉ，ｊ）で示される画素で、仮にすべての出力画像Ｏt、Ｏt-1、…、Ｏt-n+1で輝度値Ｏtijが最大値２５５であるとすると、結果画像Ｒtの座標（ｉ，ｊ）における輝度値Ｒtijは前記（１）式より
【数４】
2007249386.tif 000006
となり、これに前記（５）式を代入すると、その画素の輝度値Ｒtijは５１０の最大値となる。なお、このように前記（３）式で右辺を２とすることは２５６階調のグレースケールの輝度階調を５１２階調にすることを意味する。
【００７７】
しかし逆に、図１２に示すように、各出力画像Ｏt〜Ｏt-n+1において誤検出されたノイズＮは、他の出力画像では検出されないから、前記（１）式に従って減衰率αで減衰されることでノイズＮの画素部分の輝度値が低下する。そのため、現在の時刻ｔにおける結果画像Ｒt中では、ノイズＮは重み付けされた重ね合わせにより希釈される。
【００７８】
すなわち、例えば現在の時刻ｔの出力画像Ｏtの画素部分Ｎに輝度値Ｏtijが最大値２５５の強いノイズが検出され、他の出力画像では画素部分Ｎにはノイズが生じなかったとする。この場合、前記（１）式の重ね合わせによれば、結果画像Ｒtにおけるこの画素部分Ｎの輝度値Ｒtijは
Ｒtij＝０＋０＋…＋β・αt-t・２５５＝２５５・β      …（８）
となり、これに前記（５）式を代入すると、
【数５】
2007249386.tif 000007
となる。
【００７９】
前記（９）式の右辺の分母は１より大きいから、この画素部分の輝度値Ｒtijが最大値５１０となることはない。また、ｍフレーム前の出力画像Ｏt-mで誤検出されたノイズには前記（１）式に示すように１より小さいαmが乗算されるからノイズの画素部分の輝度値Ｒtijはさらに小さい値となる。
【００８０】
このように、１つの出力画像で輝度値が最大の強いノイズが誤検出されたとしても、前記（１）式に従って重み付けられた重ね合わせを行うことで、結果画像Ｒtにおいてはノイズは希釈される。
【００８１】
一方、撮像装置２１を搭載した移動体の移動速度すなわち本実施形態では車両の車速Ｖが変わると、画像に映し出される特定対象の大きさや位置の時間的な推移も変化する。例えば図１２に示したｎフレーム前から現在の時刻ｔまでの特定対象Ｐのフレームごとの推移は、車速Ｖが上がると例えば図１３に示すように推移の幅が大きくなる。
【００８２】
前述したように、出力画像の重ね合わせの目的は出力画像のうち特定対象を抽出している部分の画素の輝度値を高めて結果画像に反映させることであるが、現在の時刻ｔの結果画像Ｒtでは、現在の時刻ｔの出力画像Ｏtで抽出されている特定対象Ｐtの画素部分を強調したい。
【００８３】
その際、過去の特定対象Ｐt-n+1、Ｐt-n+2等は、図１２に示すようなフレームごとの推移では重ね合わせにより現在の時刻ｔの特定対象Ｐtの輝度値を高めることができるが、図１３に示すような推移では図７に示した遠い過去の出力画像上の特定対象Ｐancと同様にもはや特定対象Ｐtの輝度値を高めることには役立たず、むしろ結果画像Ｒt上に不要な有輝度の画素部分を作り出すことになる。
【００８４】
また、特定対象Ｐtの画素部分について見ると、特定対象Ｐt-n+1、Ｐt-n+2等を抽出している出力画像Ｏt-n+1、Ｏt-n+2等ではその画素部分の輝度値は０である。そのため、前記ノイズの希釈作用から類推されるように、それらの輝度値０の過去の出力画像を重ね合わせると、特定対象Ｐtの画素部分の輝度値が希釈されてしまい、結果画像Ｒtにおける特定対象Ｐtの抽出の確度を低下させてしまう。
【００８５】
そのため、本実施形態のように、前記（６）式に従って車速Ｖに反比例するように重ね合わせる出力画像のフレーム数ｎを増減させることで、図１４に示すように、現在の時刻ｔから最も遠い出力画像Ｏt-n+1上に抽出された特定対象Ｐt-n+1の半分程度が現在の時刻ｔの出力画像Ｏt上に抽出された特定対象Ｐtに重なるようにすることが可能となる。
【００８６】
このように重ね合わせる出力画像のフレーム数ｎを適切に増減させることで、結果画像Ｒt中の現在の時刻ｔの特定対象Ｐtの画素部分の輝度値を適切に高めることができると同時に、不要な過去の出力画像を重ね合わせて特定対象Ｐtの画素部分の輝度値を希釈し結果画像Ｒtにおける特定対象Ｐtの抽出の確度を低下させてしまうことを適切に防止することが可能となる。
【００８７】
以上のように、本実施形態に係る画像処理装置１によれば、木構造状の処理プログラムに入力画像を入力して得られた現在の時刻の出力画像中で仮に特定対象Ｐがまったく抽出できていなくても、現在の時刻の出力画像と過去の出力画像とを重ね合わせて結果画像を形成することで、現在の時刻における結果画像では特定対象を確実に抽出することが可能となる。
【００８８】
そのため、結果画像を動画像のように時間的に連続して表示させても、動画像中で特定対象が常に抽出された状態に表示することができ、特定対象が抽出されたりされなかったりして生じるちらつきの発生を解消し或いは低減することが可能となる。
【００８９】
また、出力画像にはノイズが誤検出されても、出力画像を重ね合わせて結果画像とすることでノイズが希釈されるため、結果画像上では特定対象以外の画像部分に生じるノイズに起因するちらつきを解消し或いは低減することが可能となる。
【００９０】
このようにして、本実施形態に係る画像処理装置１によれば、結果画像では特定対象の抽出の成否やノイズの誤検出に起因するちらつきが解消或いは低減されるため、動画像中から特定対象を安定して抽出することが可能となる。
【００９１】
さらに、本実施形態に係る画像処理装置１によれば、撮像装置を搭載した移動体の移動速度Ｖが変化した場合には、重ね合わせる出力画像のフレーム数ｎを基準速度Ｖ0におけるフレーム数ｎ0から移動速度Ｖの変化に対して反比例的に変化させる。このように構成することで、結果画像上の特定対象を抽出した画素部分の輝度値を不要に希釈化し、特定対象以外の画素部分を不要に有輝度化することを確実に防止することが可能となり、動画像中から特定対象を安定して抽出することが可能となる。
【００９２】
なお、画像処理装置１が車速センサからの車速ＶのＣＡＮデータを用いることができない場合や撮像画像とＣＡＮデータとの同期を取ることが困難な場合など、画像処理装置１が車速Ｖのデータを使えない場合には、撮像装置２１により撮像された複数枚の入力画像からオプティカルフローを算出し、オプティカルフローに基づいて車速Ｖすなわち移動体の移動速度を算出することができる。そして、画像処理装置１は、算出した移動速度に基づいて前記と同様にして重ね合わせるフレーム数ｎを決定することができる。
【００９３】
例えば、画像処理部３から重ね合わせ処理部４に撮像装置２１から入力された現在の時刻ｔの入力画像Ｉtを送信するように構成する。そして、重ね合わせ処理部４は、メモリ５から過去の入力画像、例えば入力画像Ｉt-1を読み出して入力画像Ｉtおよび入力画像Ｉt-1からブロックマッチング処理によりオプティカルフローを算出するように構成することができる。
【００９４】
ブロックマッチング処理では、基準となる現在の時刻ｔの入力画像Ｉtを、例えば４×４画素の画素ブロックに分割し、各画素ブロックについて入力画像Ｉt-1とのマッチング処理が行われる。マッチング処理の方法としては、ＳＡＤ法、ＳＳＤ法、正規化相関法等の種々の方法が知られており、いずれの方法を採ることも可能である。
【００９５】
重ね合わせ処理部４は、このようにして算出したオプティカルフローに基づいて理論的に移動体の移動速度を算出するように構成してもよいし、或いは予め車両をいくつかの決まった速度で走行させてオプティカルフローを算出して速度とオプティカルフローの大きさとを対応づけておくことで前記のようにして得られたオプティカルフローから車速Ｖすなわち移動体の移動速度を算出するように構成してもよい。
【００９６】
また、入力画像中には先行車両や対向車両等の自車両の道路面に対する速度の算出を妨げる要因となるものが撮像されている場合もあるので、例えば、入力画像中の複数の点についてそれぞれオプティカルフローに基づく速度を算出し、それらの算出値のヒストグラムを作成し、最頻値を自車両すなわち移動体の現在の移動速度とすることも可能である。
【００９７】
一方、同じ車速で撮像しても、フレームごとに出力画像の中で特定対象が変位する距離は、画像中央部分では小さく、画像の端部に近づくほど大きくなる。そのため、画像中央と画像端部付近とでは出力画像の重ね合わせの条件を変えることも可能である。
【００９８】
例えば、重ねあわせ処理部４では、図１５に示すように、出力画像をそれぞれ複数の領域に分割し、それぞれの領域ごとにフレーム数ｎを変えて出力画像を重ね合わせる。例えば、図中の領域ＲＥ２では本実施形態に示した要領でフレーム数ｎを決定する。また、画像中央付近の領域ＲＥ１ではフレームごとの特定対象の変位距離は小さく多く重ね合わせることができるから、重ね合わせるフレーム数ｎを領域ＲＥ２よりも所定数多くする。
【００９９】
さらに、画像の端部付近の領域ＲＥ３ではフレームごとの特定対象の変位距離が大きく重ね合わせるフレーム数を少なくした方がよいから、重ね合わせるフレーム数ｎを領域ＲＥ２よりも所定数少なくする。
【０１００】
このように、出力画像を分割した各領域ごとに重ね合わせる出力画像のフレーム数を決定することで、各領域ごとに適切にかつ効率良く出力画像を重ね合わせることが可能になり、また、結果画像における特定対象の抽出精度が画像全体として向上する。そのため、本実施形態に係る画像処理装置１の効果を的確に発揮させることが可能となる。
【０１０１】
［第２の実施の形態］
結果画像Ｒtにおける現在と過去の特定対象Ｐt〜Ｐt-n+1の重なり合いの変化は、前述した移動体における前後方向の速度Ｖの変化だけでなく、移動体のヨー軸周りの回転運動によっても生じる。第２の実施形態に係る画像処理装置は、このヨー軸周りの回転運動が生じた場合に重ね合わせる出力画像のフレーム数ｎをヨー角速度すなわちヨーレートγに基づいて決定するように出力画像の重ね合わせの条件を決定するものである。
【０１０２】
本実施形態に係る画像処理装置は、重ね合わせ処理部における出力画像の重ね合わせの条件の決定の要領以外は前記第１の実施形態に係る画像処理装置１と同様の構成である。従って、画像処理装置を構成する各部等の符号を前記第１の実施形態と同じ符号を用いて説明する。
【０１０３】
本実施形態の重ね合わせ処理部４では、前述したヨーレート推定装置やヨーレートセンサから入力されるヨー角速度γすなわちヨーレートγに基づいて重ね合わせる出力画像のフレーム数ｎを決定するようになっている。
【０１０４】
移動体すなわち本実施形態では車両が右左折等で進行方向を変えると、ヨー軸周りの回転運動が生じる。そのため、例えば車両が左折する場合には、図１６に示すように、重ね合わせる出力画像のうち現在の時刻ｔから最も遠い出力画像Ｏt-n+1上に抽出された特定対象Ｐt-n+1から現在の時刻ｔの出力画像Ｏtの特定対象Ｐtに向けて特定対象がフレームごとに右方向にずれていくようになる。
【０１０５】
そして、この場合も、例えばヨーレートγが２倍になれば、特定対象Ｐが出力画像上をフレームごとにずれていく速度は２倍になる。従って、前記目安のように現在の時刻ｔから最も遠い出力画像Ｏt-n+1上に抽出された特定対象Ｐt-n+1の半分程度が現在の時刻ｔの出力画像Ｏt上に抽出された特定対象Ｐtに重なるようにするためには、ヨーレートγの変化に反比例するように重ね合わせる出力画像のフレーム数ｎを増減させることが必要となる。
【０１０６】
そのため、本実施形態の重ね合わせ処理部４では、第１の実施形態の場合と同様に、基準となるヨーレートγ0における重ね合わせる出力画像の基準フレーム数ｎ0を予め設定しておき、測定されたヨーレートγの値に基づいて今回重ね合わせるフレーム数ｎを
ｎ＝ｎ0・γ0／γ    …（１０）
に従って決定するようになっている。
【０１０７】
また、第１の実施形態の場合と同様に、このようにして決定されたｎに基づいて前記（２）、（３）式に従ってαやβを算出し、メモリ５から出力画像Ｏt-1、…、Ｏt-n+1を読み出して現在の時刻ｔの出力画像Ｏtとともに計ｎフレームの出力画像の各画素の輝度値をα、βで重み付けて重ね合わせて結果画像Ｒtを形成するようになっている。
【０１０８】
なお、前記（６）式に従って決定されたフレーム数ｎの小数点以下を切り捨て、切り上げ或いは四捨五入して整数とすることも同様であり、また、例えば測定されたヨーレートγが規定値以下の場合はフレーム数ｎを固定する等の処理が行われることも同様である。
【０１０９】
以上のように、本実施形態に係る画像処理装置によっても第１の実施形態に係る画像処理装置１と同様に特定対象の強調効果およびノイズの希釈効果を得ることが可能となり、動画像中から特定対象を安定して抽出することが可能となる。
【０１１０】
また、本実施形態に係る画像処理装置によれば、撮像装置を搭載した移動体のヨーレートγが変化した場合には、重ね合わせる出力画像のフレーム数ｎを基準ヨーレートγ0における基準フレーム数ｎ0から反比例的に変化させるように構成することで、結果画像上の特定対象を抽出した画素部分の輝度値を不要に希釈化し、特定対象以外の画素部分を不要に有輝度化することを確実に防止することが可能となり、動画像中から特定対象を安定して抽出することが可能となる。
【０１１１】
なお、ヨーレートγを用いる代わりに或いはヨーレートγとともにヨー角加速度を用いて重ね合わせる出力画像のフレーム数ｎを決定するように構成することも可能である。
【０１１２】
また、本実施形態に係る重ね合わせの条件と第１の実施形態に係る重ね合わせの条件とを車両すなわち移動体の移動状態に基づいて切り替えて用いるように構成することも可能である。
【０１１３】
すなわち、重ね合わせ処理部４を、例えば、車速Ｖとヨーレートγとの値から移動体の移動状態が直進状態のように車速Ｖが支配的な状態から右左折時のようにヨーレートγが支配的な状態に移行すると判断されるような場合には、本実施形態で示した要領で重ね合わせるフレーム数ｎ2を算出し、重ね合わせるフレーム数ｎが第１の実施形態で示した要領で重ね合わせるフレーム数ｎ1からｎ2に値が連続するように切り替えることが可能である。
【０１１４】
この場合、例えば、関数ａ(t)を０以上１以下の数値を取る図１７に示すような時間ｔの関数として、重ね合わせるフレーム数ｎを
ｎ＝ａ(t)・ｎ1＋（１−ａ(t)）・ｎ2      …（１１）
に従って算出することで、フレーム数ｎをｎ1からｎ2に値が連続するように切り替えることができる。
【０１１５】
［第３の実施の形態］
本実施形態に係る画像処理装置も、第２の実施形態と同様に、画像処理装置を構成する各部等の符号を前記第１の実施形態と同じ符号を用いて説明する。
【０１１６】
第３の実施形態は、過去の時刻ｓに決定した出力画像のフレーム数ｎ(s)を用いて今回すなわち現在の時刻ｔにおいて重ね合わせるべき出力画像のフレーム数ｎ(t)を定量的に求めて決定するように出力画像の重ね合わせの条件を決定するものである。
【０１１７】
前回すなわち過去の時刻ｔ−１において決定された出力画像のフレーム数をｎ(t-1)とすると、前回出力された結果画像Ｒt-1は、過去の時刻ｔ−１の出力画像Ｏt-1と過去の出力画像Ｏt-2、…、Ｏt-n(t-1)を重み付けして重ね合わせた画像として得られる。前回の結果画像Ｒt-1の各画素の輝度値をＲij(ｎ(t-1))と表す。
【０１１８】
また、今回すなわち現在の時刻ｔにおいて重ね合わせる出力画像のフレーム数ｎ(t)とすると、今回出力される結果画像Ｒtは、現在の時刻ｔの出力画像Ｏtと過去の出力画像Ｏt-1、…、Ｏt-n(t)+1を重み付けして重ね合わせた画像として得られる。今回の結果画像Ｒtの各画素の輝度値をＲij(ｎ(t))と表す。
【０１１９】
本実施の形態ではフレーム数を定量的に決定するために、ちらつきの度合いとずれの度合いに基づいて定量化を行う。ちらつきの度合いとは、出力画像を動画像として見た場合に、対象を抽出できたり、できなかったりすることで生じるちらつきを定量化したものである。例えば、音声品質の評価に使われる評価式とのアナロジーから、下記（１２）式で算出される数値Ａtを結果画像Ｒtのちらつきの度合いを表す指標とすることができる。
【０１２０】
【数６】
2007249386.tif 000008
【０１２１】
また、同様に、過去の時刻ｓにおいて決定された出力画像のフレーム数をｎ(s)とすると、前回出力された結果画像Ｒsは、過去の時刻ｓの出力画像Ｏsとさらに過去の出力画像Ｏs-1、…、Ｏs-n(s)+1を重み付けして重ね合わせた画像として得られる。過去の時刻ｓにおける結果画像Ｒsの各画素の輝度値をＲij(ｎ(s))と表す。
【０１２２】
このとき、同様に下記（１３）式で算出される数値Ｂtを結果画像Ｒtのずれの度合い、即ち、輝度の違いの度合いを表す指標とすることができる。
【０１２３】
【数７】
2007249386.tif 000009
【０１２４】
ここで、前記ＡtおよびＢtはともに今回のフレーム数ｎ(t)の関数となる。なお、前記（１３）式中のｋは誤差の影響を軽減するためのフレーム数であり、例えば５程度の値が任意に設定される。
【０１２５】
前記Ａtはｎ(t)について単調減少関数であり、Ｂtはｎ(t)について単調増加関数である。そのため、下記（１４）式で表される数値Ｃtは最大値を取るｎ(t)の関数となる。
【０１２６】
【数８】
2007249386.tif 000010
【０１２７】
そこで、本実施形態に係る画像処理装置の重ね合わせ処理部４は、必要な結果画像と出力画像とをメモリ５から読み出して、前記（１２）式から（１４）式に従って算出されるＣtが最大となるｎ(t)を、現在の時刻ｔにおいてすなわち今回重ね合わせるべき出力画像のフレーム数として決定するように構成されている。
【０１２８】
なお、前記（１４）式におけるεは、ちらつき度合いを表す指標Ａtを重視するか或いはずれ度合いを表す指標Ｂtを重視するかによって適宜設定される。また、実際的な数値範囲内からｎ(t)の値が選択されて上記の計算が行われる。
【０１２９】
以上のように、本実施形態に係る画像処理装置によっても前記の各実施形態に係る画像処理装置と同様に特定対象の強調効果およびノイズの希釈効果を得ることが可能となり、動画像中から特定対象を安定して抽出することが可能となる。
【０１３０】
また、本実施形態に係る画像処理装置によれば、撮像装置を搭載した移動体の速度やヨーレート等に依存することなく、出力画像や過去の結果画像に基づいて定量的に今回重ね合わせるべき出力画像のフレーム数ｎを決定することが可能となる。
【０１３１】
［第４の実施の形態］
本実施形態に係る画像処理装置も、前記の各実施形態と同様に、画像処理装置を構成する各部等の符号を前記第１の実施形態と同じ符号を用いて説明する。
【０１３２】
第４の実施形態は、オプティカルフローに基づいて出力画像を変換して重ね合わせるように出力画像の重ね合わせの条件を決定するものである。
【０１３３】
本実施形態の場合には、重ね合わせるべき出力画像のフレーム数ｎとしては基準フレーム数ｎ0が変更されずに用いられる。なお、前記各実施形態のようにフレーム数ｎを可変とすることも可能である。
【０１３４】
オプティカルフローは、基本的には前記第１の実施形態において述べたものと同様の要領で算出されるが、若干その使い方が異なる。すなわち、重ね合わせ処理部４は、まず、撮像装置２１から入力された現在の時刻ｔの入力画像Ｉtとメモリ５から読み出した前回の入力画像Ｉt-1とに基づいてオプティカルフローＯＦt-1を算出し、図１８に示すように、算出されたオプティカルフローＯＦt-1に基づいてメモリ５から読み出した前回の出力画像Ｏt-1を変換画像ＣＯＮt-1に変換する。
【０１３５】
同様に、現在の時刻ｔの入力画像Ｉtとメモリ５から読み出したｓフレーム前の入力画像Ｉt-sとに基づいてオプティカルフローＯＦt-sを算出し、算出されたオプティカルフローＯＦt-sに基づいてメモリ５から読み出した前回の出力画像Ｏt-sを変換画像ＣＯＮt-sに変換する。この変換処理を入力画像Ｉt-1〜Ｉt-no+1まで過去のｎ0−１個の入力画像について行い、変換画像ＣＯＮt-1〜ＣＯＮt-no+1を得る。
【０１３６】
そして、重ね合わせ処理部４は、変換画像ＣＯＮt-1〜ＣＯＮt-no+1と今回の出力画像Ｏtとを前記（１）式に従って重み付けして重ね合わせて今回の結果画像Ｒtを算出する。
【０１３７】
以上のように、本実施形態に係る画像処理装置によっても前記の各実施形態に係る画像処理装置と同様に特定対象の強調効果およびノイズの希釈効果を得ることが可能となるとともに、過去の出力画像中の特定対象を抽出した画素部分をオプティカルフローを用いて今回抽出される可能性が高い出力画像中の特定対象の画素位置に集めるように変換して重ね合わせを行うため、今回の出力画像中から特定対象を的確に抽出し、かつより安定して抽出することが可能となる。
【０１３８】
図１８では主に車速に起因するオプティカルフローを用いた変換について説明されているが、図１９に示すように、オプティカルフローが主にヨー軸周りの回転運動に起因する場合も同様に出力画像Ｏt-sを変換画像ＣＯＮt-sに変換して同様の効果を得ることができる。
【０１３９】
なお、前記第１の実施形態において述べた処理プログラム形成部７での木構造状の処理プログラムの遺伝的プログラミングの手法を用いた学習では、処理プログラムから出力される出力画像に対して目標画像との適合度を算出し、終了判定条件を満たした時点で適合度が最も良いプログラムを最適化された木構造状の処理プログラムとして出力する場合について述べた。
【０１４０】
しかし、この木構造状の処理プログラムの学習を、出力画像に対して行う代わりに、前述した各実施形態で述べた出力画像を重み付けして重ね合わせた結果画像に対する目標画像を作成して行うことが可能である。
【０１４１】
このように結果画像に基づいて学習を行うことで、木構造状の処理プログラムが出力する出力画像を重ね合わせて形成される結果画像をよりちらつきが低減されたものとすることが可能となり、動画像中からより安定して特定対象を抽出することが可能となる。
【図面の簡単な説明】
【０１４２】
【図１】本発明の各実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】木構造状の処理プログラムの例を表す図である。
【図３】画像フィルタの例を示す表である。
【図４】処理プログラムに入力される入力画像の選択方法を説明した図である。
【図５】連続する４フレーム分の入力画像を説明した図であり、（Ａ）は入力画像Ｉｔ、（Ｂ）は入力画像Ｉｔ−３を示す。
【図６】図５の入力画像に基づく出力画像を説明した図である。
【図７】車両の移動により出力画像中で移動する特定対象を表す図である。
【図８】現在の時刻の出力画像に半分程度重なる出力画像を示す図である。
【図９】目標画像を説明する図である。
【図１０】重み画像を説明する図である。
【図１１】出力画像を重ね合わせて形成される結果画像を説明する図である。
【図１２】出力画像の重ね合わせによる特定対象の重なり合いを説明する図である。
【図１３】車速の増大により大きく推移する特定対象を表す図である。
【図１４】フレーム数を増減させて現在の時刻の特定対象に半分程度重なる特定対象を示す図である。
【図１５】条件が異なる複数の領域に分割された出力画像を表す図である。
【図１６】移動体のヨー軸周りの回転運動で左右方向にずれる特定対象を表す図である。
【図１７】関数ａ(t)の時間的変化を表すグラフである。
【図１８】オプティカルフローに基づいて変換された変換画像を表す図である。
【図１９】オプティカルフローに基づいて変換された変換画像を表す図である。
【図２０】ＡＣＴＩＴで用いられる木構造状の処理プログラムを説明する図である。
【符号の説明】
【０１４３】
１  画像処理装置
２１  撮像装置
３  画像処理部
４  重ね合わせ処理部
７  処理プログラム形成部
Ｉ  入力画像
Ｏ  出力画像
Ｒ  結果画像
Ｐ  特定の対象
ｎ  フレーム数
ＯＦ  オプティカルフロー
Ａt  結果画像のちらつきの度合いを表す指標
Ｂt  結果画像のずれの度合いを表す指標
ｎ(s)  過去の時刻ｓにおける出力画像のフレーム数
Ｒij(ｎ(s))、 Ｒij(ｎ(t))  結果画像の各画素の輝度値
ｎ(t)  現在の時刻ｔにおける出力画像のフレーム数
ＲＥ１、ＲＥ２、ＲＥ３  出力画像の領域
Ｖ  車速
γ  ヨーレート
【図１】
2007249386.tif 000011
【図２】
2007249386.tif 000012
【図３】
2007249386.tif 000013
【図４】
2007249386.tif 000014
【図５】
2007249386.tif 000015
【図６】
2007249386.tif 000016
【図７】
2007249386.tif 000017
【図８】
2007249386.tif 000018
【図９】
2007249386.tif 000019
【図１０】
2007249386.tif 000020
【図１１】
2007249386.tif 000021
【図１２】
2007249386.tif 000022
【図１３】
2007249386.tif 000023
【図１４】
2007249386.tif 000024
【図１５】
2007249386.tif 000025
【図１６】
2007249386.tif 000026
【図１７】
2007249386.tif 000027
【図１８】
2007249386.tif 000028
【図１９】
2007249386.tif 000029
【図２０】
2007249386.tif 000030