(57)【要約】【課題】画像処理制御部の処理負荷を低減でき、画像認識性能に優れた画像処理装置を提供する。【解決手段】撮像画像を第１フレーム画像ＳＡとして順次出力する第１カメラ１０と、撮像画像を第２フレーム画像ＳＢとして順次出力する第２カメラ２０と、第１カメラ１０から入力される第１フレーム画像ＳＡ、及び、第２カメラ２０から入力される第２フレーム画像ＳＢに基づいて、画像処理を実行する画像処理制御部３０と、を有し、画像処理制御部３０は、第１フレーム画像ＳＡ及び前記第２フレーム画像ＳＢに基づいて画像処理を実行する第１処理プロセスと、第１フレーム画像ＳＡ又は第２フレーム画像ＳＢに基づいて画像処理を実行する第２処理プロセスと、を交互に実行するように構成する。【選択図】図２
2017204016.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を第１フレーム画像として順次出力する第１カメラと、
前記撮像画像を第２フレーム画像として順次出力する第２カメラと、
前記第１カメラから入力される第１フレーム画像、及び、前記第２カメラから入力される第２フレーム画像に基づいて、画像処理を実行する画像処理制御部と、を有し、
前記画像処理制御部は、前記第１フレーム画像及び前記第２フレーム画像に基づいて画像処理を実行する第１処理プロセスと、前記第１フレーム画像又は前記第２フレーム画像に基づいて画像処理を実行する第２処理プロセスと、を交互に実行することを特徴とする画像処理装置。
【請求項２】
前記画像処理制御部は、前記第１フレーム画像と前記第１フレーム画像の前フレーム画像の認識結果との差に基づいて、前記第２処理プロセスにおいて、前記撮像画像を前記第１フレーム画像のみに基づいて画像処理を実行するか、前記撮像画像を前記第１フレーム画像及び前記第２フレーム画像に基づいて画像処理を実行するかを判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２フレーム画像は、前記第１フレーム画像の補完用として使用されることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像処理制御部は、前記第１処理プロセスにおいて、前記第１フレーム画像、前記第２フレーム画像を時系列に処理することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記画像処理制御部は、マルチコアプロセッサで構成され、前記第１フレーム画像、前記第２フレーム画像を並列処理することを特徴とする請求項１又は２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来の技術として、視差画像を使ったクラスタリング処理における誤認識を低減し且つ認識率向上するとともに、処理負荷を低減して、高精度に周辺環境を認識することが可能な画像処理装置が知られている（例えば、特許文献１参照）。
【０００３】
この画像処理装置は、複数のカメラユニットと、各撮像素子が各光学フィルタを介して取得した撮影画像について画像処理を行う画像処理手段と、を備え、各光学フィルタは、光学特性が異なる複数のフィルタ領域を有し、画像処理手段は、撮影画像における、各フィルタ領域の光学特性に基づいて画像特性が異なる複数の画像領域毎に、異なる画像処理を行うものである。画像処理装置では、複眼撮像画像を、目的の認識対象ごとに領域分割し、さらに、これらをそれぞれの認識処理に適した画像が撮像できるように光学的に工夫している。これにより、認識すべき対象を整理し、その対象が見えるエリアを画像上で配置設定し、その認識に適した特種光学フィルタを構築し、この特種フィルタの画像特性と認識処理方法に応じて視差計算ロジックのアルゴリズムやパラメータ、さらに、画像間引き率や視差計算実行画素位置検出アルゴリズムを変更することで、誤認識の低減や認識対象の拡大といった性能の向上とともに、処理の高速化も図ることが可能であるとされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２２５２８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の画像処理装置では、複眼カメラから入力されるフレーム画像をすべて画像処理し、これに基づいて、画像処理を実行する。したがって、常に画像処理を実行する画像処理制御部の処理負荷が大きいという問題があった。一方、複眼カメラの一方から入力されるフレーム画像を他のフレーム画像の補間用として使用する場合は、認識対象によっては単眼処理だけでも画像認識が可能である。
【０００６】
したがって、本発明の目的は、画像処理制御部の処理負荷を低減でき、画像認識性能に優れた画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
［１］上記目的を達成するため、撮像画像を第１フレーム画像として順次出力する第１カメラと、前記撮像画像を第２フレーム画像として順次出力する第２カメラと、前記第１カメラから入力される第１フレーム画像、及び、前記第２カメラから入力される第２フレーム画像に基づいて、画像処理を実行する画像処理制御部と、を有し、前記画像処理制御部は、前記第１フレーム画像及び前記第２フレーム画像に基づいて画像処理を実行する第１処理プロセスと、前記第１フレーム画像又は前記第２フレーム画像に基づいて画像処理を実行する第２処理プロセスと、を交互に実行することを特徴とする画像処理装置を提供する。
【０００８】
［２］前記画像処理制御部は、前記第１フレーム画像と前記第１フレーム画像の前フレーム画像の認識結果との差に基づいて、前記第２処理プロセスにおいて、前記撮像画像を前記第１フレーム画像のみに基づいて画像処理を実行するか、前記撮像画像を前記第１フレーム画像及び前記第２フレーム画像に基づいて画像処理を実行するかを判断することを特徴とする上記［１］に記載の画像処理装置であってもよい。
【０００９】
［３］また、前記第２フレーム画像は、前記第１フレーム画像の補完用として使用されることを特徴とする特徴とする上記［１］又は［２］に記載の画像処理装置であってもよい。
【００１０】
［４］また、前記画像処理制御部は、前記第１処理プロセスにおいて、前記第１フレーム画像、前記第２フレーム画像を時系列に処理することを特徴とする上記［１］又は［２］に記載の画像処理装置であってもよい。
【００１１】
［５］また、前記画像処理制御部は、マルチコアプロセッサで構成され、前記第１フレーム画像、前記第２フレーム画像を並列処理することを特徴とする上記［１］又は［２］に記載の画像処理装置であってもよい。
【発明の効果】
【００１２】
本発明の画像処理装置によれば、画像処理制御部の処理負荷を低減でき、画像認識性能に優れた画像処理装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の画像処理装置の概略構成を示すブロック図の一例を示している。
【図２】図２（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡの時系列図であり、図２（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢの時系列図であり、図２（ｃ）は、画像処理制御部の処理プロセスの実行状態を示す時系列図である。
【図３】図３は、本発明の第１の実施の形態に係る画像処理装置の動作を示すフローチャートである。
【図４】図４（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される（ｎ−１）フレームにおける画像ＳＡ（ｎ−１）の画像の一例であり、図４（ｂ）は、第１カメラから画像処理制御部に入力されるｎフレームにおける第１フレーム画像ＳＡ（ｎ）の画像の一例である。
【図５】図５は、第１の実施の形態の変形例を示すものである。
【図６】図６（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される背景画像ＳＡ（０）の画像の一例であり、図６（ｂ）は、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡ（ｎ）の画像の一例であり、図６（ｃ）は、画像処理制御部において差分画像を演算した結果の画像の一例である。
【図７】図７（ａ）は、第２カメラから画像処理制御部に入力される背景画像ＳＢ（０）の画像の一例であり、図７（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢ（ｎ）の画像の一例であり、図７（ｃ）は、画像処理制御部において差分画像を演算した結果の画像の一例である。
【図８】図８（ａ）は、本発明の第２の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡの時系列図であり、図８（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢの時系列図であり、図８（ｃ）は、画像処理制御部の処理プロセスの実行状態を示す時系列図である。
【図９】図９は、第２の実施の形態の変形例を示すものである。
【発明を実施するための形態】
【００１４】
（本発明の第１の実施の形態）
本発明の第１の実施の形態に係る画像処理装置１は、撮像画像を第１フレーム画像ＳＡとして順次出力する第１カメラ１０と、撮像画像を第２フレーム画像ＳＢとして順次出力する第２カメラ２０と、第１カメラ１０から入力される第１フレーム画像ＳＡ、及び、第２カメラ２０から入力される第２フレーム画像ＳＢに基づいて、画像処理を実行する画像処理制御部３０と、を有し、画像処理制御部３０は、第１フレーム画像ＳＡ及び前記第２フレーム画像ＳＢに基づいて画像処理を実行する第１処理プロセスと、第１フレーム画像ＳＡ又は第２フレーム画像ＳＢに基づいて画像処理を実行する第２処理プロセスと、を交互に実行するように構成されている。
【００１５】
また、画像処理制御部は、第１フレーム画像ＳＡ（ｎ）と第１フレーム画像ＳＡ（ｎ）の前フレーム画像ＳＡ（ｎ―１）の認識結果との差に基づいて、第２処理プロセスにおいて、撮像画像を第１フレーム画像ＳＡ（ｎ）のみに基づいて画像処理を実行するか、撮像画像を第１フレーム画像ＳＡ（ｎ）及び第２フレーム画像ＳＢ（ｎ）に基づいて画像処理を実行するかを判断するように構成されている。
【００１６】
図１は、本発明の画像処理装置の概略構成を示すブロック図の一例を示している。以下、図１により、本発明の画像処理装置の構成を説明する。
【００１７】
（第１カメラ１０、第２カメラ２０）
第１カメラ１０、第２カメラ２０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。第１カメラ１０、第２カメラ２０は、複数のカメラを配置してほぼ同一の画面を撮像できるように配置する一例であって、３以上のカメラを配置する構成でもよい。この第１カメラ１０、第２カメラ２０は、ほぼ同一の画面を撮像できるように配置され、いわゆる複眼カメラとして機能する。
【００１８】
第１カメラ１０、第２カメラ２０は、所定の周期Ｔでほぼ同一対象を撮像して、第１フレーム画像ＳＡ、第２フレーム画像ＳＢを出力する。この第１カメラ１０、第２カメラ２０は、複眼カメラとして機能する。ほぼ同一対象を撮像した第１フレーム画像ＳＡ、第２フレーム画像ＳＢは、一方のカメラが他方のカメラを補完することができる。例えば、第２カメラ２０を第１カメラ１０の補完用として使用することにより、第１カメラ１０で捕らえきれなかった対象物を撮像することができる。一方、第１カメラ１０、第２カメラ２０により、奥行き情報を取得することも可能である。
【００１９】
本実施の形態では、第２カメラ２０が第１カメラ１０を補完するものとして説明する。
【００２０】
（画像処理制御部３０）
画像処理制御部３０は、例えば、記憶されたプログラムに従って、取得した画像データに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、画像処理制御部３０が動作するためのプログラム、フレームと前フレームとの差により画像処理方法を切り替えるための閾値Ｔｈ、画像認識で使用するテンプレートマッチング用のテンプレート３２等が記憶され、必要に応じて参照することができる。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また画像処理制御部３０は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００２１】
第１の実施の形態に係る画像処理装置１の画像処理制御部３０は、ＣＰＵ（Central Processing Unit）が１つのプロセッサを備えたシングルコアプロセッサである。したがって、画像認識等の画像処理においては、各処理プロセスを時系列に処理していく。
【００２２】
図２（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡの時系列図であり、図２（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢの時系列図であり、図２（ｃ）は、画像処理制御部の処理プロセスの実行状態を示す時系列図である。
【００２３】
図２（ａ）に示すように、第１カメラ１０で撮像された第１フレーム画像ＳＡ（ｎ）は、時系列に第１フレーム画像ＳＡ（１）、ＳＡ（２）、ＳＡ（３）、・・・・、ＳＡ（ｎ）、・・・・が所定の周期Ｔで画像処理制御部３０に入力される。この第１フレーム画像ＳＡ（１）、ＳＡ（２）、ＳＡ（３）、・・・・、ＳＡ（ｎ）、・・・・により、周期Ｔのフレーム１、フレーム２、フレーム３、・・・・、フレームｎ、・・・・の期間が規定される。
【００２４】
また、図２（ｂ）に示すように、第２カメラ２０で撮像された第２フレーム画像ＳＢ（ｎ）は、時系列に第２フレーム画像ＳＢ（１）、ＳＢ（２）、ＳＢ（３）、・・・・、ＳＢ（ｎ）、・・・・が所定の周期Ｔで画像処理制御部３０に入力される。この第２フレーム画像ＳＢ（１）、ＳＢ（２）、ＳＢ（３）、・・・・、ＳＢ（ｎ）、・・・・により、周期Ｔのフレーム１、フレーム２、フレーム３、・・・・、フレームｎ、・・・・の期間が規定される。
【００２５】
図３は、本発明の第１の実施の形態に係る画像処理装置の動作を示すフローチャートである。また、図４（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力されるフレーム（ｎ−１）における画像ＳＡ（ｎ−１）の画像の一例であり、図４（ｂ）は、第１カメラから画像処理制御部に入力されるフレームｎにおける第１フレーム画像ＳＡ（ｎ）の画像の一例である。
【００２６】
（画像処理装置１の動作）
画像処理制御部３０は、図２（ａ）、（ｂ）に示したように、第１フレーム画像ＳＡ、第２フレーム画像ＳＢを取得する（Ｓｔｅｐ１）。
【００２７】
次に、画像処理制御部３０は、第１フレーム画像と第１フレーム画像の前フレーム画像の認識結果との差を算出する。すなわち、図４（ｂ）で示す第１フレーム画像ＳＡ（ｎ）と図４（ａ）で示す前フレーム画像である第１フレーム画像ＳＡ（ｎ−１）との差分画像Δ＝｜ＳＡ（ｎ）―ＳＡ（ｎ−１）｜を算出する（Ｓｔｅｐ２）。
【００２８】
画像処理制御部３０は、差分画像Δ＝｜ＳＡ（ｎ）―ＳＡ（ｎ−１）｜が閾値Ｔｈ以上であるかどうかを判断する（Ｓｔｅｐ３）。一例として、各画素の差分の総和を求め、この総和が閾値Ｔｈ以上であるかどうかを判断する。差分画像Δが閾値Ｔｈ以上である場合はＳｔｅｐ４へ進み（Ｓｔｅｐ３：Ｙｅｓ）、差分画像Δが閾値Ｔｈ以上でない場合はＳｔｅｐ５へ進む（Ｓｔｅｐ３：Ｎｏ）。
【００２９】
画像処理制御部３０は、図２（ｃ）に示すように、第１処理プロセスである奇数フレームの画像処理は、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて画像処理を実行する。また、第２処理プロセスである偶数フレームの画像処理も、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて時系列に画像処理を実行する。すなわち、図示したフレーム４のように、差分画像Δが閾値Ｔｈ以上である場合は、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて時系列に画像処理が実行される（Ｓｔｅｐ４）。すなわち、差分画像Δが閾値Ｔｈ以上である場合は、変化検出が大きいため、複眼処理が行われる。
【００３０】
画像処理制御部３０は、図２（ｃ）に示すように、第１処理プロセスである奇数フレームの画像処理は、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて画像処理を実行する。一方、第２処理プロセスである偶数フレームの画像処理は、第１フレーム画像ＳＡのみに基づいて画像処理を実行する。すなわち、図示したフレーム２のように、差分画像Δが閾値Ｔｈ以上でない場合は、第１フレーム画像ＳＡのみに基づいて画像処理が実行される（Ｓｔｅｐ５）。すなわち、差分画像Δが閾値Ｔｈ以上でない場合は、変化検出が小さいため、単眼処理が行われる。
【００３１】
第２カメラ２０は、第１カメラ１０の補完用として使用される構成としているので、第１フレーム画像ＳＡ（ｎ）と前フレーム画像である第１フレーム画像ＳＡ（ｎ−１）との差分画像Δ＝｜ＳＡ（ｎ）―ＳＡ（ｎ−１）｜が閾値Ｔｈ以下の場合は補完用の第２カメラ２０を使用する必要はない。したがって、第２処理プロセスを第１カメラ１０からの第１フレーム画像ＳＡのみに基づいて画像処理を実行することにより、画像処理制御部３０の処理負荷を低減することができる。
【００３２】
図５は、第１の実施の形態の変形例を示すものである。上記説明した、第１フレーム画像ＳＡ（ｎ）と前フレーム画像である第１フレーム画像ＳＡ（ｎ−１）との差分画像Δ＝｜ＳＡ（ｎ）―ＳＡ（ｎ−１）｜が閾値Ｔｈ以下の場合に、第２処理プロセスにおいて、前フレームの認識結果を活用するものである。すなわち、図５に示す場合は、第２フレームにおいて、ＳＡ（２）とＳＢ（１）に基づいて画像処理が実行される。この場合は、第２フレーム画像ＳＢ（１）は前フレームの認識結果を活用するので、画像処理制御部３０の処理負荷を低減することができる。
【００３３】
（画像認識処理）
図６（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される背景画像ＳＡ（０）の画像の一例であり、図６（ｂ）は、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡ（ｎ）の画像の一例であり、図６（ｃ）は、画像処理制御部において差分画像ΔＡを演算した結果の画像の一例である。また、図７（ａ）は、第２カメラから画像処理制御部に入力される背景画像ＳＢ（０）の画像の一例であり、図７（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢ（ｎ）の画像の一例であり、図７（ｃ）は、画像処理制御部において差分画像ΔＢを演算した結果の画像の一例である。
【００３４】
画像処理制御部３０は、図６（ｂ）で示す任意の時間（ｎフレーム目の時間）における第１フレーム画像ＳＡ（ｎ）と、図６（ａ）で示す背景画像ＳＡ（０）との差分画像ΔＡ＝｜ＳＡ（ｎ）―ＳＡ（０）｜を算出する。
【００３５】
画像処理制御部３０は、この差分画像ΔＡ＝｜ＳＡ（ｎ）―ＳＡ（０）｜に基づいて、一例として、２値化処理した後に、テンプレート３２を参照しながらテンプレートマッチングを行なう。これにより、例えば、図６（ｃ）に示すように、車両１００を抽出する。
【００３６】
画像処理制御部３０は、同様に、図７（ｂ）で示す任意の時間（ｎフレーム目の時間）における第２フレーム画像ＳＢ（ｎ）と、図７（ａ）で示す背景画像ＳＢ（０）との差分画像ΔＢ＝｜ＳＢ（ｎ）―ＳＢ（０）｜を算出する。
【００３７】
画像処理制御部３０は、この差分画像ΔＢ＝｜ＳＢ（ｎ）―ＳＢ（０）｜に基づいて、一例として、２値化処理した後に、テンプレート３２を参照しながらテンプレートマッチングを行なう。これにより、例えば、図７（ｃ）に示すように、車両１００と歩行者１０１を抽出する。
【００３８】
画像処理制御部３０は、例えば、差分画像ΔＡと差分画像ΔＢの論理和をとることにより、車両１００及び歩行者１０１を画像認識することができる。このように、第２カメラ２０が第１カメラ１０を補完するものとして機能する。また、差分画像ΔＡと差分画像ΔＢの論理積をとることにより、例えば、ノイズを低減させる等の演算処理を行なうことも可能である。
【００３９】
（本発明の第２の実施の形態）
本発明の第２の実施の形態に係る画像処理装置１の画像処理制御部３０は、例えば、記憶されたプログラムに従って、取得した画像データに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、画像処理制御部３０が動作するためのプログラム、フレームと前フレームとの差により画像処理方法を切り替えるための閾値Ｔｈ、画像認識で使用するテンプレートマッチング用のテンプレート３２等が記憶され、必要に応じて参照することができる。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また画像処理制御部３０は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００４０】
第２の実施の形態に係る画像処理装置１の画像処理制御部３０は、ＣＰＵ（Central Processing Unit）が複数のプロセッサを備えたマルチコアプロセッサである。したがって、画像認識等の画像処理においては、各処理プロセスを並列処理することができる。以下においては、２つのプロセッサを備えたデュアルコアとして説明する。なお、第１の実施の形態と同様の部分は説明を省略する。
【００４１】
図８（ａ）は、本発明の第２の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡの時系列図であり、図８（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢの時系列図であり、図８（ｃ）は、画像処理制御部の処理プロセスの実行状態を示す時系列図である。
【００４２】
図８（ａ）に示すように、第１カメラ１０で撮像された第１フレーム画像ＳＡ（ｎ）は、時系列に第１フレーム画像ＳＡ（１）、ＳＡ（２）、ＳＡ（３）、・・・・、ＳＡ（ｎ）、・・・・が所定の周期Ｔで画像処理制御部３０に入力される。この第１フレーム画像ＳＡ（１）、ＳＡ（２）、ＳＡ（３）、・・・・、ＳＡ（ｎ）、・・・・により、周期Ｔのフレーム１、フレーム２、フレーム３、・・・・、フレームｎ、・・・・の期間が規定される。
【００４３】
また、図８（ｂ）に示すように、第２カメラ２０で撮像された第２フレーム画像ＳＢ（ｎ）は、時系列に第２フレーム画像ＳＢ（１）、ＳＢ（２）、ＳＢ（３）、・・・・、ＳＢ（ｎ）、・・・・が所定の周期Ｔで画像処理制御部３０に入力される。この第２フレーム画像ＳＢ（１）、ＳＢ（２）、ＳＢ（３）、・・・・、ＳＢ（ｎ）、・・・・により、周期Ｔのフレーム１、フレーム２、フレーム３、・・・・、フレームｎ、・・・・の期間が規定される。
【００４４】
画像処理制御部３０は、第１の実施の形態と同様に、奇数フレームにおいて、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて画像処理を実行し、複眼処理を行なう。図８（ｃ）に示すように、第１処理プロセスである奇数フレームの画像処理は、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて並列的に画像処理を実行する。差分画像Δが閾値Ｔｈ以上である場合は、第２処理プロセスである偶数フレームの画像処理も、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて並列的に画像処理を実行する。すなわち、図示したフレーム４のように、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて並列的に画像処理が実行され、複眼処理が行われる。
【００４５】
また、画像処理制御部３０は、第１の実施の形態と同様に、奇数フレームにおいて、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて画像処理を実行し、複眼処理を行なう。図８（ｃ）に示すように、第１処理プロセスである奇数フレームの画像処理は、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて並列的に画像処理を実行する。差分画像Δが閾値Ｔｈ以上でない場合は、第２処理プロセスである偶数フレームの画像処理は、第１フレーム画像ＳＡのみに基づいて画像処理を実行する。すなわち、図示したフレーム２のように、第１フレーム画像ＳＡのみに基づいて画像処理が実行され、単眼処理が行われる。
【００４６】
図９は、第２の実施の形態の変形例を示すものである。上記説明した、第１フレーム画像ＳＡ（ｎ）と前フレーム画像である第１フレーム画像ＳＡ（ｎ−１）との差分画像Δ＝｜ＳＡ（ｎ）―ＳＡ（ｎ−１）｜が閾値Ｔｈ以下の場合に、第２処理プロセスにおいて、前フレームの認識結果を活用するものである。すなわち、図９に示す場合は、第２フレームにおいて、ＳＡ（２）とＳＢ（１）に基づいて画像処理が実行される。この場合は、第２フレーム画像ＳＢ（１）は前フレームの認識結果を活用するので、画像処理制御部３０の処理負荷を低減することができる。
【００４７】
（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）第１の実施の形態に係る画像処理装置は、画像処理制御部３０において、第１フレーム画像ＳＡ（ｎ）と第１フレーム画像ＳＡ（ｎ）の前フレーム画像ＳＡ（ｎ―１）の認識結果との差に基づいて、第２処理プロセスにおいて、撮像画像を第１フレーム画像ＳＡ（ｎ）のみに基づいて画像処理を実行するか、撮像画像を第１フレーム画像ＳＡ（ｎ）及び第２フレーム画像ＳＢ（ｎ）に基づいて画像処理を実行するかを判断する。これにより、画像処理制御部の処理負荷を低減でき、画像認識性能に優れた画像処理装置を提供することができる。
（２）第２の実施の形態に係る画像処理装置は、画像処理制御部３０のＣＰＵを複数のプロセッサを備えたマルチコアとする。これにより、第１の実施の形態の効果に加えて、撮像画像を第１フレーム画像ＳＡ（ｎ）及び第２フレーム画像ＳＢ（ｎ）に基づいて並列的に画像処理を実行する場合に、各フレームの期間Ｔを短くした画像認識が可能となる。これにより、画像処理制御部の処理負荷を低減でき、画像認識性能に優れた画像処理装置を提供することができる。
【００４８】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。
【００４９】
例えば、カメラの数は２つとして説明したがこれに限定されない。また、偶数フレームを複眼処理、奇数フレームを単眼処理としてもよい。
【００５０】
また、これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５１】
１…画像処理装置
１０…第１カメラ
２０…第２カメラ
３０…画像処理制御部
３２…テンプレート
１００…車両
１０１…歩行者
【図１】
2017204016.tif 000003
【図２】
2017204016.tif 000004
【図３】
2017204016.tif 000005
【図４】
2017204016.tif 000006
【図５】
2017204016.tif 000007
【図６】
2017204016.tif 000008
【図７】
2017204016.tif 000009
【図８】
2017204016.tif 000010
【図９】
2017204016.tif 000011