(57)【要約】【課題】画像処理制御部の処理負荷が小さい画像処理装置を提供する。【解決手段】撮像画像を第１フレーム画像ＳＡとして順次出力する第１カメラ１０と、撮像画像を第２フレーム画像ＳＢとして順次出力する第２カメラ２０と、第１カメラ１０から入力される第１フレーム画像ＳＡ、及び、第２カメラ２０から入力される第２フレーム画像ＳＢに基づいて、画像処理を実行する画像処理制御部３０と、を有し、画像処理制御部３０は、第１フレームＳＡ画像及び第２フレーム画像ＳＢに基づいて画像処理を実行する第１処理プロセスと、前記第１フレーム画像ＳＡのみに基づいて画像処理を実行する第２処理プロセスと、を交互に実行するように構成する。【選択図】図２
2017199174.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を第１フレーム画像として順次出力する第１カメラと、
撮像画像を第２フレーム画像として順次出力する第２カメラと、
前記第１カメラから入力される第１フレーム画像、及び、前記第２カメラから入力される第２フレーム画像に基づいて、画像処理を実行する画像処理制御部と、を有し、
前記画像処理制御部は、前記第１フレーム画像及び前記第２フレーム画像に基づいて画像処理を実行する第１処理プロセスと、前記第１フレーム画像のみに基づいて画像処理を実行する第２処理プロセスと、を交互に実行することを特徴とする画像処理装置。
【請求項２】
前記第２フレーム画像は、前記第１フレーム画像の補完用として使用されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理制御部は、前記第１処理プロセスにおいて、前記第１フレーム画像、前記第２フレーム画像を時系列に処理することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像処理制御部は、マルチコアプロセッサで構成され、前記第１フレーム画像、前記第２フレーム画像を並列処理することを特徴とする請求項１又は２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来の技術として、視差画像を使ったクラスタリング処理における誤認識を低減し且つ認識率向上するとともに、処理負荷を低減して、高精度に周辺環境を認識することが可能な画像処理装置が知られている（例えば、特許文献１参照）。
【０００３】
この画像処理装置は、複数のカメラユニットと、各撮像素子が各光学フィルタを介して取得した撮影画像について画像処理を行う画像処理手段と、を備え、各光学フィルタは、光学特性が異なる複数のフィルタ領域を有し、画像処理手段は、撮影画像における、各フィルタ領域の光学特性に基づいて画像特性が異なる複数の画像領域毎に、異なる画像処理を行うものである。画像処理装置では、複眼撮像画像を、目的の認識対象ごとに領域分割し、さらに、これらをそれぞれの認識処理に適した画像が撮像できるように光学的に工夫している。これにより、認識すべき対象を整理し、その対象が見えるエリアを画像上で配置設定し、その認識に適した特種光学フィルタを構築し、この特種フィルタの画像特性と認識処理方法に応じて視差計算ロジックのアルゴリズムやパラメータ、さらに、画像間引き率や視差計算実行画素位置検出アルゴリズムを変更することで、誤認識の低減や認識対象の拡大といった性能の向上とともに、処理の高速化も図ることが可能であるとされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２２５２８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の画像処理装置では、複眼カメラから入力されるフレーム画像をすべて画像処理し、これに基づいて、画像処理を実行する。したがって、常に画像処理を実行する画像処理制御部の処理負荷が大きいという問題があった。一方、複眼カメラの一方から入力されるフレーム画像を他のフレーム画像の補間用として使用する場合は、認識対象によっては単眼処理だけでも画像認識が可能である。
【０００６】
したがって、本発明の目的は、画像処理制御部の処理負荷が小さい画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
［１］上記目的を達成するため、撮像画像を第１フレーム画像として順次出力する第１カメラと、前記撮像画像をとして順次出力する第２カメラと、前記第１カメラから入力される第１フレーム画像、及び、前記第２カメラから入力される第２フレーム画像に基づいて、画像処理を実行する画像処理制御部と、を有し、前記画像処理制御部は、前記第１フレーム画像及び前記第２フレーム画像に基づいて画像処理を実行する第１処理プロセスと、前記第１フレーム画像のみに基づいて画像処理を実行する第２処理プロセスと、を交互に実行することを特徴とする画像処理装置を提供する。
【０００８】
［２］前記第２フレーム画像は、前記第１フレーム画像の補完用として使用されることを特徴とする上記［１］に記載の画像処理装置であってもよい。
【０００９】
［３］また、前記画像処理制御部は、前記第１処理プロセスにおいて、前記第１フレーム画像、前記第２フレーム画像を時系列に処理することを特徴とする上記［１］又は［２］に記載の画像処理装置であってもよい。
【００１０】
［４］また、前記画像処理制御部は、マルチコアプロセッサで構成され、前記第１フレーム画像、前記第２フレーム画像を並列処理することを特徴とする上記［１］又は［２］に記載の画像処理装置であってもよい。
【発明の効果】
【００１１】
本発明の画像処理装置によれば、画像処理制御部の処理負荷が小さい画像処理装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の画像処理装置の概略構成を示すブロック図の一例を示している。
【図２】図２（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡの時系列図であり、図２（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢの時系列図であり、図２（ｃ）は、画像処理制御部の処理プロセスの実行状態を示す時系列図である。
【図３】図３（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される背景画像ＳＡ（０）の画像の一例であり、図３（ｂ）は、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡ（ｎ）の画像の一例であり、図３（ｃ）は、画像処理制御部において差分画像を演算した結果の画像の一例である。
【図４】図４（ａ）は、第１カメラによる第１フレーム画像ＳＡ（ｎ）と第２カメラによる第２フレーム画像ＳＢ（ｎ）の一例であり、図４（ｂ）は、第１カメラによる第１フレーム画像ＳＡ（ｎ）の抽出結果、図４（ｃ）は、第２カメラによる第２フレーム画像ＳＢ（ｎ）の抽出結果の一例である。
【図５】図５（ａ）は、本発明の第２の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡの時系列図であり、図５（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢの時系列図であり、図５（ｃ）は、画像処理制御部の処理プロセスの実行状態を示す時系列図である。
【発明を実施するための形態】
【００１３】
（本発明の第１の実施の形態）
本発明の第１の実施の形態に係る画像処理装置１は、撮像画像を第１フレーム画像ＳＡとして順次出力する第１カメラ１０と、撮像画像を第２フレーム画像ＳＢとして順次出力する第２カメラ２０と、第１カメラ１０から入力される第１フレーム画像ＳＡ、及び、第２カメラ２０から入力される第２フレーム画像ＳＢに基づいて、画像処理を実行する画像処理制御部３０と、を有し、画像処理制御部３０は、第１フレームＳＡ画像及び第２フレーム画像ＳＢに基づいて画像処理を実行する第１処理プロセスと、前記第１フレーム画像ＳＡのみに基づいて画像処理を実行する第２処理プロセスと、を交互に実行するように構成されている。
【００１４】
図１は、本発明の画像処理装置の概略構成を示すブロック図の一例を示している。以下、図１により、本発明の画像処理装置の構成を説明する。
【００１５】
（第１カメラ１０、第２カメラ２０）
第１カメラ１０、第２カメラ２０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。第１カメラ１０、第２カメラ２０は、複数のカメラを配置してほぼ同一の画面を撮像できるように配置する一例であって、３以上のカメラを配置する構成でもよい。この第１カメラ１０、第２カメラ２０は、ほぼ同一の画面を撮像できるように配置され、いわゆる複眼カメラとして機能する。
【００１６】
第１カメラ１０、第２カメラ２０は、所定の周期Ｔでほぼ同一対象を撮像して、第１フレーム画像ＳＡ、第２フレーム画像ＳＢを出力する。この第１カメラ１０、第２カメラ２０は、複眼カメラとして機能する。ほぼ同一対象を撮像した第１フレーム画像ＳＡ、第２フレーム画像ＳＢは、一方のカメラが他方のカメラを補完することができる。例えば、第２カメラ２０を第１カメラ１０の補完用として使用することにより、第１カメラ１０で捕らえきれなかった対象物を撮像することができる。一方、第１カメラ１０、第２カメラ２０により、奥行き情報を取得することも可能である。
【００１７】
本実施の形態では、第２カメラ２０が第１カメラ１０を補完するものとして説明する。
【００１８】
（画像処理制御部３０）
画像処理制御部３０は、例えば、記憶されたプログラムに従って、取得した画像データに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、画像処理制御部３０が動作するためのプログラム、画像認識で使用するテンプレートマッチング用のテンプレート３２等が記憶され、必要に応じて参照することができる。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また画像処理制御部３０は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００１９】
第１の実施の形態に係る画像処理装置１の画像処理制御部３０は、ＣＰＵ（Central Processing Unit）が１つのプロセッサを備えたシングルコアプロセッサである。シングルコアである。したがって、画像認識等の画像処理においては、各処理プロセスを時系列に処理していく。
【００２０】
図２（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡの時系列図であり、図２（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢの時系列図であり、図２（ｃ）は、画像処理制御部の処理プロセスの実行状態を示す時系列図である。
【００２１】
図２（ａ）に示すように、第１カメラ１０で撮像された第１フレーム画像ＳＡ（ｎ）は、時系列に第１フレーム画像ＳＡ（１）、ＳＡ（２）、ＳＡ（３）、・・・・、ＳＡ（ｎ）、・・・・が所定の周期Ｔで画像処理制御部３０に入力される。この第１フレーム画像ＳＡ（１）、ＳＡ（２）、ＳＡ（３）、・・・・、ＳＡ（ｎ）、・・・・により、周期Ｔのフレーム１、フレーム２、フレーム３、・・・・、フレームｎ、・・・・の期間が規定される。
【００２２】
また、図２（ｂ）に示すように、第２カメラ２０で撮像された第２フレーム画像ＳＢ（ｎ）は、時系列に第２フレーム画像ＳＢ（１）、ＳＢ（２）、ＳＢ（３）、・・・・、ＳＢ（ｎ）、・・・・が所定の周期Ｔで画像処理制御部３０に入力される。この第２フレーム画像ＳＢ（１）、ＳＢ（２）、ＳＢ（３）、・・・・、ＳＢ（ｎ）、・・・・により、周期Ｔのフレーム１、フレーム２、フレーム３、・・・・、フレームｎ、・・・・の期間が規定される。
【００２３】
画像処理制御部３０は、図２（ｃ）に示すように、第１カメラ１０から入力される第１フレーム画像ＳＡ、第２カメラ２０から入力される第２フレーム画像ＳＢに基づいて、フレーム画像処理を実行する。このフレーム画像処理は、フレーム１の期間においては、第１カメラ１０からの第１フレーム画像ＳＡ（１）及び第２カメラ２０からの第２フレーム画像ＳＢ（１）の取得後に、第１フレーム画像ＳＡ（１）の画像処理、第２フレーム画像ＳＢ（１）の画像処理が時系列に実行される。フレーム２の期間においては、第１フレーム画像ＳＡ（２）の画像処理のみが実行される。以降は同様にして、第１フレーム画像ＳＡ（３）の画像処理と第２フレーム画像ＳＢ（３）の時系列処理、第１フレーム画像ＳＡ（４）の画像処理のみ実行、・・・・、第１フレーム画像ＳＡ（ｎ）の画像処理、第２フレーム画像ＳＢ（ｎ）の画像処理、・・・・が実行される。
【００２４】
ここで、画像処理制御部３０は、撮像画像を第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて画像処理を実行する第１処理プロセスと、第１フレーム画像ＳＡのみに基づいて画像処理を実行する第２処理プロセスと、を交互に実行する。
【００２５】
図２（ｃ）に示すように、第１処理プロセスは、奇数フレームの画像処理であり、第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて画像処理を実行する。一方、第２処理プロセスは、偶数フレームの画像処理であり、第１フレーム画像ＳＡのみに基づいて画像処理を実行する。
【００２６】
第２カメラ２０は、第１カメラ１０の補完用として使用される構成としているので、第１カメラ１０、すなわち、単眼でも認識対象を検出できる場合は補完用の第２カメラ２０を使用する必要はない。したがって、第２処理プロセスを第１カメラ１０からの第１フレーム画像ＳＡのみに基づいて画像処理を実行することにより、画像処理制御部３０の処理負荷を低減することができる。
【００２７】
（画像認識処理）
図３（ａ）は、本発明の第１の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される背景画像ＳＡ（０）の画像の一例であり、図３（ｂ）は、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡ（ｎ）の画像の一例であり、図３（ｃ）は、画像処理制御部において差分画像ΔＡを演算した結果の画像の一例である。また、図４（ａ）は、第１カメラによる第１フレーム画像ＳＡ（ｎ）と第２カメラによる第２フレーム画像ＳＢ（ｎ）の一例であり、図４（ｂ）は、第１カメラによる第１フレーム画像ＳＡ（ｎ）の抽出結果、図４（ｃ）は、第２カメラによる第２フレーム画像ＳＢ（ｎ）の抽出結果の一例である。
【００２８】
画像処理制御部３０は、図３（ｂ）で示す任意の時間（ｎフレーム目の時間）における第１フレーム画像ＳＡ（ｎ）と、図３（ａ）で示す背景画像ＳＡ（０）との差分画像ΔＡ＝｜ＳＡ（ｎ）―ＳＡ（０）｜を算出する。
【００２９】
画像処理制御部３０は、この差分画像ΔＡ＝｜ＳＡ（ｎ）―ＳＡ（０）｜に基づいて、一例として、２値化処理した後に、テンプレート３２を参照しながらテンプレートマッチングを行なう。これにより、例えば、図３（ｃ）に示すように、車両１００を抽出する。
【００３０】
また、図４（ａ）に示すように、第１カメラ１０と第２カメラ２０が異なる方向にセットされて、例えば、任意の時間（ｎフレーム目の時間）において、第１カメラ１０が右寄りの第１フレーム画像ＳＡ（ｎ）を取得し、第２カメラ２０が左寄りの第２フレーム画像ＳＢ（ｎ）を取得する場合を考える。すなわち、図４（ａ）に示すように、任意の時間（ｎフレーム目の時間）における画像データは、第１フレーム画像ＳＡ（ｎ）と第２フレーム画像ＳＢ（ｎ）で構成されている。
【００３１】
画像処理制御部３０は、一例として、第１フレーム画像ＳＡ（ｎ）を２値化処理した後に、テンプレート３２を参照しながらテンプレートマッチングを行なう。これにより、例えば、図４（ｂ）に示すように、車両１００を抽出する。
【００３２】
また、画像処理制御部３０は、第２フレーム画像ＳＢ（ｎ）を２値化処理した後に、テンプレート３２を参照しながらテンプレートマッチングを行なう。これにより、例えば、図４（ｃ）に示すように、車両１００と歩行者１０１を抽出する。
【００３３】
画像処理制御部３０は、例えば、第１フレーム画像ＳＡ（ｎ）と第２フレーム画像ＳＢ（ｎ）の抽出画像あるいは抽出結果の論理和をとることにより、車両１００及び歩行者１０１を画像認識することができる。このように、第２カメラ２０が第１カメラ１０を補完するものとして機能する。
【００３４】
（本発明の第２の実施の形態）
本発明の第２の実施の形態に係る画像処理装置１の画像処理制御部３０は、例えば、記憶されたプログラムに従って、取得した画像データに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、画像処理制御部３０が動作するためのプログラム、画像認識で使用するテンプレートマッチング用のテンプレート３２等が記憶され、必要に応じて参照することができる。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また画像処理制御部３０は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００３５】
第２の実施の形態に係る画像処理装置１の画像処理制御部３０は、ＣＰＵ（Central Processing Unit）が複数のプロセッサを備えたマルチコアプロセッサである。したがって、画像認識等の画像処理においては、各処理プロセスを並列処理することができる。以下においては、２つのプロセッサを備えたデュアルコアとして説明する。なお、第１の実施の形態と同様の部分は説明を省略する。
【００３６】
図５（ａ）は、本発明の第２の実施の形態に係る画像処理装置における、第１カメラから画像処理制御部に入力される第１フレーム画像ＳＡの時系列図であり、図５（ｂ）は、第２カメラから画像処理制御部に入力される第２フレーム画像ＳＢの時系列図であり、図５（ｃ）は、画像処理制御部の処理プロセスの実行状態を示す時系列図である。
【００３７】
図５（ａ）に示すように、第１カメラ１０で撮像された第１フレーム画像ＳＡ（ｎ）は、時系列に第１フレーム画像ＳＡ（１）、ＳＡ（２）、ＳＡ（３）、・・・・、ＳＡ（ｎ）、・・・・が所定の周期Ｔで画像処理制御部３０に入力される。この第１フレーム画像ＳＡ（１）、ＳＡ（２）、ＳＡ（３）、・・・・、ＳＡ（ｎ）、・・・・により、周期Ｔのフレーム１、フレーム２、フレーム３、・・・・、フレームｎ、・・・・の期間が規定される。
【００３８】
また、図５（ｂ）に示すように、第２カメラ２０で撮像された第２フレーム画像ＳＢ（ｎ）は、時系列に第２フレーム画像ＳＢ（１）、ＳＢ（２）、ＳＢ（３）、・・・・、ＳＢ（ｎ）、・・・・が所定の周期Ｔで画像処理制御部３０に入力される。この第２フレーム画像ＳＢ（１）、ＳＢ（２）、ＳＢ（３）、・・・・、ＳＢ（ｎ）、・・・・により、周期Ｔのフレーム１、フレーム２、フレーム３、・・・・、フレームｎ、・・・・の期間が規定される。
【００３９】
画像処理制御部３０は、図５（ｃ）に示すように、第１カメラ１０から入力される第１フレーム画像ＳＡ、第２カメラ２０から入力される第２フレーム画像ＳＢに基づいて、フレーム画像処理を実行する。このフレーム画像処理は、フレーム１の期間においては、第１カメラ１０からの第１フレーム画像ＳＡ（１）及び第２カメラ２０からの第２フレーム画像ＳＢ（１）の取得後に、第１フレーム画像ＳＡ（１）の画像処理、第２フレーム画像ＳＢ（１）の画像処理が並列的に同時実行される。フレーム２の期間においては、第１フレーム画像ＳＡ（２）の画像処理のみが実行される。以降は同様にして、第１フレーム画像ＳＡ（３）の画像処理と第２フレーム画像ＳＢ（３）の並列的同時処理、第１フレーム画像ＳＡ（４）の画像処理のみ実行、・・・・、第１フレーム画像ＳＡ（ｎ）の画像処理、第２フレーム画像ＳＢ（ｎ）の画像処理、・・・・が実行される。
【００４０】
上記のように、第１の実施の形態と同様に、画像処理制御部３０は、撮像画像を第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて画像処理を実行する第１処理プロセスと、第１フレーム画像ＳＡのみに基づいて画像処理を実行する第２処理プロセスと、を交互に実行する。
【００４１】
（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）第１の実施の形態に係る画像処理装置は、第２カメラ２０を第１カメラ１０の補完用として使用する。このため、画像処理制御部３０は、撮像画像を第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて画像処理を実行する第１処理プロセスと、第１フレーム画像ＳＡのみに基づいて画像処理を実行する第２処理プロセスと、を交互に実行する。これにより、画像処理制御部３０の処理負荷を低減することができる。図２（ｃ）で示した処理プロセスによれば、処理負荷が３/４に低減する。
（２）第２の実施の形態に係る画像処理装置は、画像処理制御部３０のＣＰＵを複数のプロセッサを備えたマルチコアとする。これにより、図５（ｃ）で示す奇数フレームの画像処理プロセスを並列処理することができる。したがって、各フレームの期間Ｔを短くした画像認識が可能となる。また、第１の実施の形態と同様に、画像処理制御部３０は、撮像画像を第１フレーム画像ＳＡ及び第２フレーム画像ＳＢに基づいて画像処理を実行する第１処理プロセスと、第１フレーム画像ＳＡのみに基づいて画像処理を実行する第２処理プロセスと、を交互に実行する。これにより、画像処理制御部３０の処理負荷を低減することができる。図５（ｃ）で示した処理プロセスによれば、処理負荷が３/４に低減する。
【００４２】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。
【００４３】
例えば、カメラの数は２つとして説明したがこれに限定されない。また、偶数フレームを複眼処理、奇数フレームを単眼処理としてもよい。
【００４４】
また、これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４５】
１…画像処理装置
１０…第１カメラ
２０…第２カメラ
３０…画像処理制御部
３２…テンプレート
１００…車両
１０１…歩行者
【図１】
2017199174.tif 000003
【図２】
2017199174.tif 000004
【図３】
2017199174.tif 000005
【図４】
2017199174.tif 000006
【図５】
2017199174.tif 000007