(57)【要約】【課題】複数の露出量で異なる認識処理を必要とした場合、異なる認識処理結果を複数の露出量撮影画像のうち１つの画像に重畳合成してリアルタイムで表示する。【解決手段】フレーム毎に異なる露出量に応じて撮像するセンサ１２と、フレーム毎に異なる露出量で得られる画像データに基づいて、各露出量に対応する複数の認識処理をフレーム毎に切り替えながら処理する画像認識処理回路１５ａと、複数の認識処理に対応した露出基準値を複数保持し、センサ１２で得られた露出量を判断し、任意の時点での画像認識処理回路１５ａにおける認識処理と、この時点の認識処理に対応した露出基準値を、刻々と切り替わる認識処理のうち、同種の認識処理における次点フレームに反映されるように、適切なタイミングでフィードバックしてセンサ１２に再設定する露出制御部１６と、得られた複数の認識処理結果の画像を１つの露出量の画像に重畳する画像重畳合成部１４とを備える。【選択図】図２
2013172378.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段によってフレーム毎に異なる露出量で撮像された画像データに基づいて、各露出量に対応する複数の認識処理をフレーム毎に切り替えながら処理する画像認識処理手段と、
該画像認識処理手段における複数の認識処理に対応した露出基準値を複数保持し、フレーム毎に前記撮像手段で得られた露出量を判断し、任意の時点での前記画像認識処理手段における認識処理と、前記時点の認識処理に対応した露出基準値を、刻々と切り替わる認識処理のうち、同種の認識処理における次点フレームに反映されるように、適切なタイミングでフィードバックして前記撮像手段に再設定する露出制御手段と、
前記画像認識処理手段によって得られた複数の認識処理結果である画像を１つの露出量の画像に重畳する画像重畳合成手段と、
該画像重畳合成手段によって得られた結果画像を出力する画像出力手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記画像重畳合成手段は、メモリを有し、前記メモリ内にフレームバッファとしての領域を設け、所望の重畳結果となる出力画像を読み出す領域と、画像処理用領域と、前記撮像手段から得られる画像を書き込む領域と、フレームの切り替えタイミング時に同時に同じ領域に対する読み書きを行うのを防ぐ緩衝領域とに区分し、順次に前記露出制御手段からのタイミングに応じて画像領域を切り替えて選択するフレームバッファ切り替え手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記撮像手段から得られる画像データに基づいて、複数の画像認識処理毎に後続のフレームに対して前記撮像手段に設定するための露出量設定値を算出する露出解析手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記露出解析手段からの露出量設定値に基づいて、所定のタイミングで異なる露出量を前記撮像手段に設定する露出制御手段を備えることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記撮像手段から得られる画像データを画像処理に適したデータに補完するための画像補完処理手段と、
前記撮像手段から得られる画像データを入力し、前記画像補完処理手段へ受け渡すと同時に、前記画像補完処理手段と前記露出解析手段および前記フレームバッファ切り替え手段へのデータ処理および割り込み信号のタイミング調整用信号を生成する信号生成手段と、を備えることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記露出制御手段は、前記画像補完処理手段から得られる画像データから、１フレーム画像をブロックに分けて、各ブロックの輝度量を測定する機能と、低露出用および高露出用の所定の露出量基準値、輝度算出用のパラメータ値、各ブロックで測定した輝度値、および所定タイミングで前記撮像手段へ設定するためのパラメータ値らを保持するレジスタ群を内蔵し、各ブロックの輝度量と露出量基準値、所定フレーム回数後にセンサ取得画像に反映させるための露出用パラメータを更新し、１フレーム分の処理毎に割り込み信号を発生させる機能を有する露出解析手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記メモリに格納された画像データを用いて、暗所では高露出量を必要とする道路の白線検知処理、暗所では低露出量を必要とする対向車両のハイビーム検知処理を行い、処理結果から認識対象の画像上の基準位置座標を算出する画像認識処理手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記露出制御手段は、割り込みに応じて所望の割り込み処理と前記撮像手段へのレジスタ設定を実行し、または前記画像認識処理手段で得られる画像上の認識対象物の基準位置座標に基づいて、結果出力用の露出量画像へ重畳する線や枠とする演算処理を実行するプロセッサを備えることを特徴とする請求項１記載の画像処理装置。
【請求項９】
車両周囲の画像データを取得する撮像手段と、該撮像手段によって撮像された前記画像データを処理する画像処理手段と、該画像処理手段によって処理された画像データに係る画像を表示する画像表示装置と、を備え、前記画像処理手段は、請求項１乃至８の何れか一項に記載の画像処理装置であることを特徴とする車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載され車載前方認識処理を行うことが可能な画像処理装置及びそれを備えた車両に関する。
【背景技術】
【０００２】
従来、車両に搭載された画像処理装置による処理である車載前方認識処理には、昼間でも動作させるＬＤＷ（白線検知）に加えて、夜間ではＡＨＢ（オートハイビーム位置検知）という画像処理がある。各処理で高い検知（認識）率を維持するには、適切な露出量で撮像した画像が必要となるが、車載用の前方検知画像処理にはそれぞれの露出制御技術が考えられ既に知られている。
しかし、従来のＬＤＷやＡＨＢのような車両前方認識処理では、必要な認識率を維持するため、それぞれの処理に適した露出量設定で画像処理を行う必要がある。従来は単一の露出量で単一の認識処理か、もしくは複数の露出量切り替えによって単一の認識処理の結果や検知情報を警報音でドライバに知らせるか車両の制御に使用される。
これらの検知・認識処理を複数もつシステムの場合、適切な露出量はそれぞれ異なる場合があるため、露出量設定はフレーム毎に切り替えて、適切な露出量フレームに対して認識処理（ＡＨＢまたはＬＤＷ）を行なうことになる。
さらに、今後、濡れた路面や凍った路面など、人が視認しにくい車両前方の危険を察知するにあたり、新たな認識処理が開発され増えることが考えられ、その情報が従来の認識処理結果と共にリアルタイムに運転手や同乗者が視認できる必要性が予想される。
【０００３】
例えば、濡れた路面上の白線は視認しにくいが、従来の装置では画像としてではなく、警告または、ブレーキ・ハンドルなどの操作補助を想定している。
しかし、見えない白線に対して寄っているか、白線からはみだしたか、または誤認かの判断が難しい上に、複数処理後の視認向けの表示を想定していない。
このため、表示を行なう場合は露出量の異なるフレームが交互に表示されることになるため、ちらついて視認には向かないといった問題があった。
【０００４】
特許文献１には、カメラ１台の低コストで、近傍のヘッドライトから遠方のテールランプまで高精度に光点の位置を特定し、ヘッドライトやテールライトと、信号機や街灯、自動販売機などのノイズ光を識別して、夜間の車両検知性能を高め、より高度な機能を提供する目的が開示されている。
特許文献１には、車両に搭載された１台のカメラ（撮像手段）が撮影した画像を解析する画像解析手段を備え、画像解析手段でカメラが撮影した２つ以上の露出量の異なる画像を解析して前方を走行する他の車両の位置を検知する装置について開示され、露出量を変えながら撮像した複数の画像を解析し、解析結果をもとに次の露出調整をフィードバックする構成が開示されている。
【０００５】
特許文献２には、負荷を抑えて、前方車両や白線を認識しやすい画像を得る目的で、車両に搭載された１台のカメラ（撮像手段）が露出量の異なる複数の画像を取得し、コントラストを判断して合成画像を生成する構成が開示されている。
特許文献２には、露出量を変えながら車両前方の画像認識処理をする点が開示されている。しかし、図８に示すように、複数の車両前方画像認識処理の結果をリアルタイムでそのまま交互に表示すると、露出量が異なることに起図したちらつく画像となり、視認しにくいといった問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記の課題を鑑みて、視認しにくい状況、たとえば夜間や雨路の白線といった車両前方の危険認識に加えて、対向車ハイビーム検知など異なる複数の露出量で異なる認識処理が必要となった場合でも、ちらつくことなく、異なる認識処理結果をリアルタイムに視認することが出来る画像を生成可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、請求項１の発明は、撮像手段によってフレーム毎に異なる露出量で撮像された画像データに基づいて、各露出量に対応する複数の認識処理をフレーム毎に切り替えながら処理する画像認識処理手段と、該画像認識処理手段における複数の認識処理に対応した露出基準値を複数保持し、フレーム毎に前記撮像手段で得られた露出量を判断し、任意の時点での前記画像認識処理手段における認識処理と、前記時点の認識処理に対応した露出基準値を、刻々と切り替わる認識処理のうち、同種の認識処理における次点フレームに反映されるように、適切なタイミングでフィードバックして前記撮像手段に再設定する露出制御手段と、前記画像認識処理手段によって得られた複数の認識処理結果である画像を１つの露出量の画像に重畳する画像重畳合成手段と、該画像重畳合成手段によって得られた結果画像を出力する画像出力手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、センサの露出量の基準値を認識処理に必要な分保持し、切り替え設定することで、２種類以上の異なる露出値でそれぞれに適した認識処理を行い、異なる認識処理結果を複数の露出量撮影画像のうち１つの画像に重畳合成してリアルタイムで視認することが出来る画像を生成可能な画像処理装置を提供することが出来る。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係わる画像処理装置による各露出状況と認識処理結果および結果の合成画像について説明するための図。
【図２】本発明の実施形態に係わる画像処理装置の構成について説明するためのブロック図。
【図３】本発明の実施形態に係わる画像処理装置による、具体的なセンサ露出量制御と画像合成タイミングについて説明するための図（その１）。
【図４】本発明の実施形態に係わる画像処理装置による露出制御および画像合成について説明するためのフローチャート。
【図５】本発明の実施形態に係わる画像処理装置による、具体的なセンサ露出量制御と画像合成タイミングについて説明するための図（その２）。
【図６】従来の画像処理におけるメモリの使い方を示す図。
【図７】従来の画像処理におけるメモリの使い方を示す図。
【図８】従来の各露出状況と認識処理結果および結果の合成画像について説明するための図。
【図９】本実施形態の画像処理装置を適用可能な車両を示す模式図。
【発明を実施するための形態】
【００１０】
本発明の実施の形態について図面を参照して説明する。
具体的には、車両前方画像認識処理結果を撮像結果に合成表示する装置において、以下の特徴を有する。
要するに、本発明は、複数の認識処理のそれぞれに必要な露出制御を行ない、露出制御と認識処理とを交互に切り替えて、得られた複数の露出値をもとに、異なる複数の認識処理結果をひとつの露出量設定で調整された画像に重畳することを特徴としている。
【００１１】
上記特徴について、以下の図面を用いて具体的に説明する。
図１は、本発明の実施形態に係わる画像処理装置による各露出状況と認識処理結果および結果の合成画像について説明するための図である。
例えば、図１に示す処理前の画像１ａ（低露出画像）のようなＡＨＢの場合、適切な露出量は認識率を維持できる程度にまで低くしてセンサより撮像データを取得する。この撮像フレームを画像認識処理部でハイビームの位置検知を行なう。対象のハイビームの画面上の座標を元に対象部分を囲む長方形枠（処理結果１ｂの枠）を処理結果に出力する。
一方、図１に示す画像２ａのようなＬＤＷの場合、夜間やトンネル内の暗所の場合、適切な露出量は認識率を維持できる程度にまで高くしてセンサから撮像データを取得する。この撮像フレームを画像認識処理部で白線の始点終点の位置検知を行なう。対象の白線の画面上の座標を元に対象部分に沿った直線（処理結果２ｂの線）を処理結果に出力する。
これら２画像分の結果を見やすい撮像フレーム（基本的に夜間などの暗所では露出の高い画像）に重畳して、目視で確認できるようなひとつの画像として出力した場合は図１に示す合成処理結果のようになる。
【００１２】
以下、本実施形態では、これら２種類の異なる露出量を必要とする認識処理例について説明する。
図２（ａ）は、本発明の実施形態に係わる画像処理装置１１の構成について説明するためのブロック図である。
センサ１２は、撮像手段を構成し、レジスタに設定されたフレーム毎に異なる露出量で撮像する。
画像補間生成部１３は、センサ１２の画素構成によって必要な画素値の補間処理を行なう部分であり、画像認識処理に必要な画像として補正し、画像重畳合成部１４へ渡す。
画像認識処理部１５は、フレーム毎に異なる露出量で得られる画像データに基づいて，各露出量に対応する複数の認識処理をフレーム毎に切り替えながら実施する。
画像認識処理部１５は、メモリ１４ｃに格納された画像データを用いて、暗所では高露出量を必要とする道路の白線検知処理、暗所では低露出量を必要とする対向車両のハイビーム検知処理を行い、処理結果から認識対象の画像上の基準位置座標を算出する。
【００１３】
露出制御部１６は、露出制御手段を構成し、画像認識処理部１５における複数の認識処理に対応した露出基準値を複数保持し、フレーム毎にセンサ１２で得られた露出量を自動的に判断し、ある時点での画像認識処理部１５における認識処理と、保持してあるその時点の認識処理に対応した露出基準値を、刻々と切り替わる認識処理のうち、同種の認識処理における次点フレームに反映されるように、適切なタイミングに自動的にフィードバックしてセンサ１２に再設定する。
露出制御部１６は、画像補完処理生成回路１３ａから得られる画素データから、１フレーム画像をブロックに分けて、各ブロックの輝度量を測定する機能と、低露出用および高露出用の所定の露出量基準値、輝度算出用のパラメータ値、各ブロックで測定した輝度値、および所定タイミングでセンサ１２へ設定するためのパラメータ値らを保持するレジスタ群を内蔵し、各ブロックの輝度量と露出量基準値、所定フレーム回数後にセンサ取得画像に反映させるための露出用パラメータを更新し、１フレーム分の処理毎に割り込み信号を発生させる機能を有する露出解析回路１６ａを備える。
露出制御部１６は、割り込みに応じて所望の割り込み処理とセンサ１２へのレジスタ設定を実行し、または画像認識処理部１５で得られる画像上の認識対象物の基準位置座標に基づいて、結果出力用の露出量画像へ重畳する線や枠とする演算処理を実行するプロセッサ（ＣＰＵ）を備える。
画像重畳合成部１４は、画像認識処理部１４によって得られた複数の認識処理結果をひとつの露出量の画像に重畳する。
画像出力部１７は、画像重畳合成部１４によって得られた結果画像を出力する。
【００１４】
図２（ｂ）は、本発明の詳細な構成部について説明するための図である。
センサ１２は、Ｉ２Ｃ通信規格の外部信号から露出制御が可能なセンサであり、露出量制御は画像処理系から行なう。
メモリ１４ｃは、画像処理系の外部に接続するメモリ、フレームバッファとして使用するほか、ＣＰＵ処理にも使用する。
モニタ１８は、処理結果を合成した画像を表示する。
画像処理系は、以下の回路またはインターフェイスで構成される。
入力信号インターフェイス１９は、センサ１２から入力される同期信号を整形する。同時に画像データを受信し、タイミング調整をして画像補完生成回路１３ａへ出力する。
画像補完生成回路１３ａは、入力信号インターフェイスを経由した画像データの画素データを補完処理して、フレームバッファ切り替え回路１４ａと露出解析回路１６ａへ出力する。
【００１５】
露出解析回路１６ａは、１フレーム分の輝度データからそのフレームの露出量を見積もり、あらかじめ定めた基準の露出量と比較して、条件に応じた露出量を露出設定用のレジスタに保持する。
フレームバッファ切り替え回路１４ａは、画像補完生成回路１３ａから画像データを受信し、内部のレジスタによって出力先となるメモリ１４ｃのフレームバッファ領域を切り替える。設定されたフレームバッファの先頭アドレスから１フレーム分その領域に画像データを出力する。途中バスインターフェイスとメモリ制御回路１４ｂを経由する。
画像重畳合成部１４は、メモリを有し、フレームバッファ切り替え回路１４ａは、メモリ内にフレームバッファとしての領域を設け、所望の重畳結果となる出力画像を読み出す領域と、画像処理用領域と、前記撮像手段から得られる画像を書き込む領域と、フレームの切り替えタイミング時に同時に同じ領域に対する読み書きを行うのを防ぐ緩衝領域とに区分し、順次に露出制御部１６からのタイミングに応じて画像領域を切り替えて選択する。
メモリ制御回路１４ｂは、メモリ１４ｃの動作を制御し、メモリ１４ｃとフレームバッファ切り替え回路１４ａ、ＣＰＵ２２、画像認識処理回路１５ａ、画像出力回路１７ａ間のデータフローを調停する。
【００１６】
画像認識処理回路１５ａは、メモリ１７ｃのフレームバッファのうち前処理回路からの書き込みを終えた処理用画像フレームを読み出し、認識処理を行なう。認識結果を所定のフレームバッファ領域に書き込む。この場合の所定のフレームバッファは処理用画像フレームに対し処理が終了し、後段の画像出力回路１７ａで読み出す画像合成結果のフレームとして保持される領域を示す。
画像出力回路１７ａは、メモリ１４ｃ内の所定のフレームバッファから画像フレームデータを読み出し、モニタ１８に出力する。画像出力回路１７ａは、所定のフレームバッファの先頭アドレスを保持するレジスタをもち、処理が終わった後の画像フレームバッファ領域を読み出すよう、読み出し割り込み信号に応じた割り込み処理時に随時レジスタ値を更新する。
【００１７】
ＣＰＵ２２は、中央演算処理装置を構成し、内部に設けられたＲＯＭからプログラムを読み出して実行することで、レジスタの読み書きや、割り込みハンドラをプログラム内で実行する。
センサ制御回路１６ｂは、制御用レジスタをもち、センサ１２に接続される。ＣＰＵ２２からレジスタに書き込むことで、センサ１２のレジスタ値を更新することができる。センサ制御回路１６ｂは、センサ１２の初期設定や露出量を制御するために使用する。
レジスタインターフェイス２０は、露光解析回路１６ｂや画像認識処理回路１５ａのレジスタの読み書きを行なう。
【００１８】
図３〜図５は、具体的なセンサに対する露出量制御と画像合成タイミングについて説明するための図である。
以下、図４（ａ）に示すフローチャートを参照して、露出制御について説明する。
ステップＳ１０では、センサ１２から露出制御を反映した撮像フレームが画像処理系に出力される。センサ露出制御はＣＰＵ処理を介して行なう（図３に示す処理（１）または処理（８））。露出量の基準値を高いものと低いものでそれぞれ専用のレジスタに設定してセンサ制御のタイミングでそれぞれを交互に使用するため高露出と低露出とにおける適正露出に補正された画像が交互に得られる。なお、交互に得られる低露出画像と高露出画像とを合成処理単位とする。
ステップＳ１５では、露出解析回路１６ａが取得したフレーム内の輝度測定を行い、輝度測定値をもとに現在の露出設定が高いか低いかを判定し、露出補正パラメータ値を算出し、露出が低いフレームであると判定された場合は、所定フレーム数後に使用される低い露出量用パラメータを算出された補正値に更新する。
【００１９】
一方、露出が高いフレームであると判定された場合は、所定フレーム数後に使用される露出量用パラメータを算出された補正値に更新する（図３に示す処理（２）または処理（９））。
ステップＳ２０では、露出解析回路１６ａがステップＳ１５直後に割り込み信号を発行し、割り込み制御回路２へ発行する（図３に示す処理（３）または処理（１０））。
ステップＳ２５では、割り込み制御回路２１は、他の割り込み信号と調停しＣＰＵ２２へ露出制御用の割り込み信号を発生する。ＣＰＵ２２がこの割り込み信号を取得し、割り込みハンドラで露出設定用のレジスタ値（パラメータ）を読み出し、センサ制御回路１６ｂを介してセンサ１２のレジスタに書き込む。（図３に示す処理（４）または処理（１１））
なお、センサ１２への反映タイミングはセンサの仕様に依存するが、以下の仕組みで反映までのフレーム時間に関わらず交互に露出設定が可能となる。
【００２０】
露出解析回路１６ａでは、ある時点の露出設定値を保持するレジスタにおいて露出量の種類Ｎが高低２種とした場合、ｅｘｐｏ［０］（低露出用）およびｅｘｐｏ［１］（高露出用）とし、ある時点でｅｘｐｏ［ｉ］（ｉ＝０または１）であるとし、次の設定ではｅｘｐｏ［ｎｅｘｔ＿ｉ］（ｎｅｘｔ＿ｉ＝０または１）の値をセンサ制御に使用するものとする。
センサ１２のレジスタ値を更新した時点から、その値がセンサ１２の露出に反映されるまでのフレーム時間をフレーム数Ｆとすると、以下の式で次の時点でどちらの露出設定レジスタを使用するかが決定される。
ｎｅｘｔ＿ｉ＝ｍｏｄ（（ｉ＋Ｆ），Ｎ）  ・・・（１）
なお、式（１）のｍｏｄは余剰演算とする。
【００２１】
ステップＳ３０では、センサ１２はレジスタに書かれた露出設定を所定フレーム数後に撮像に使用する。撮像毎に適切なタイミングで交互に異なる露出設定を書き換えることで、露出の低いフレームと高いフレームが交互に取得できる。
図に示す例では、露出量の種類がＮ＝２、フレーム数Ｆ＝３の場合となり、ある時点で低露出値のｅｘｐｏ［０］レジスタが使用されたとすると、ｎｅｘｔ＿ｉ＝１となり高露出値のｅｘｐｏ［１］レジスタ値がセンサ１２に設定され、３フレーム後にセンサ１２から得られる画像への露出量に反映される。次に、ステップＳ１０に戻り、上記処理を繰り返す。
本実施形態に示した露出制御の例では、露出値の設定を相対的に高いものと低いものとの２種類で示しているが、本発明はこのような場合に限定されるものではなく、ｅｘｐｏ［ｉ］のレジスタを２種類以上実装することで、さらに多くの異なる露出値の設定が可能になる。
【００２２】
以下、図４（ｂ）に示すフローチャートを参照して、画像合成について説明する。
ステップＳ５０では、処理（１）で得られたセンサ画像は画像補完生成回路１３ａで補完された画素データがフレームバッファ切り替え回路１４ａに出力される。フレームバッファ切り替え回路１４ａは、直前のフレームがフレームバッファにすべて送られた直後に割り込み信号が発生すると、ＣＰＵ処理でフレームバッファアドレス切り替え用の割り込みハンドラが起動し、書き込み先のアドレスを切り替える。
フレームバッファ切り替え回路１４ａは、同時に処理用のアドレスを切り替え、書き込み先と処理中のアドレスが重ならないようにする。フレームバッファ切り替え回路１４ａは、アドレスを切り替える際にその時点の露出条件（高低）を読み出し、時点の露出量が高い場合は切り替え先を低露出量フレーム用に、低い場合は切り替え先を高露出量フレーム用のフレームバッファアドレスとする。（図３に示す処理（５）または処理（１２））
ステップＳ５５では、画像補完生成回路１３ａから出力されるメモリ１４ｃ内のフレームデータをフレームバッファへ格納する。図３に示す例では、処理（１）の直前のフレームがフレームバッファに送られた直後で低露出用フレームバッファアドレスに切り替えられている。そのため、処理（１）で得られた低露出量の画像は、メモリ１４ｃ内の低露出量用のフレームバッファに一時格納される。同様に処理（８）で得られた高露出量の画像は、メモリ１４ｃ内の高露出量用のフレームバッファに一時格納される。
【００２３】
ステップＳ６０では、画像認識処理回路１５ａで認識処理を行なう。図３に示す例では、処理（１）の直前のフレームがフレームバッファに送られた直後で低露出用フレームバッファアドレス（処理用）に切り替えられているので、処理（１）で得られた低露出量の画像は低露出量用のフレームバッファ（処理用）から読み出され、処理結果をレジスタに保持する。オートハイビーム検知処理では、低露出で画像上の認識されたハイビームを囲む長方形枠の左上と右下の座標が保持される。白線検知処理では、認識された白線に沿った直線の始点と終点の座標が保持される。
ステップＳ６５では、認識結果の座標に基づいて直線または枠線を、すでにメモリ１４ｃ内のフレームバッファに格納されている高露出画像に重畳合成する。
ステップＳ７０では、合成された画像を画像出力回路１７ａが読出しモニタ１８に出力される。１フレーム分の読出し完了毎に割り込み信号を発生し、読み出すフレームバッファの領域を切り替える。次に、ステップＳ５０に戻り、処理を繰り返す。
【００２４】
この例も、露出値が高低２種類の場合のフレームバッファ切り替えに限らず、露出値に対応した分のフレームバッファ領域を実装し、前述の露出量制御と同期を取ることで、複数の露出値に応じた認識処理に対応できる。
認識処理における必要な露出量がＮ種類の場合、重畳画像表示は撮像時点からＮ−１フレーム分だけ時間的に遅れる。なお実質的には、露出量の種類はＮ≦４が望ましい。
この場合でも認識結果が数フレーム分ずれる可能性があるが、認識結果は線や枠といった単純な図形として表示するため、実際の走行用に必要な撮像フレーム速度は十分に速いセンサを使用することが前提となるため画像上に大きなズレは発生しない。
認識処理自体の数は、露出量と同じである必要はなく、システム容量や処理速度の許す限り、実装してよい。その場合、いくつかの認識処理は複数ある露出値のいずれかを共用することが前提となる。
【００２５】
このようにして、メモリ１４ｃ内のフレームバッファ領域を露出の種類毎に複数設け、かつそれぞれの露出量用に、書き込み用領域、処理用領域、合成出力用領域を切り替えると図５に示すようになる。図５に示すＮ／Ａの領域は、書き込みタイミングが読み出し時に読み出し用の領域に同時にアクセスするのを防ぐための緩衝領域である。
図５に示すように、一方の緩衝領域Ｎ／Ａが余分となる場合はこの領域をひとつ減らしメモリ領域をより節約してもよい。
【００２６】
ところで、従来の画像処理におけるメモリの使い方としては、図６に示すように、メモリ１００への格納はトグル状に切り替える方法が考えられる。しかし、従来の単純なトグル方式では単一の処理結果に対応可能だが、複数の認識結果を出力するのには対応できないといった問題があった。
また、図７に示すように、通常の画像処理システムのようにメモリ１１０にセンサからの画像データを一時格納し重畳合成を含む画像認識処理を行なった後、出力用メモリ１２０へ結果画像をコピーしてからモニタに出力するという構成では、メモリ資源を有効に活用しきれていない。
これに対して、本実施形態によれば、上記したようなメモリ１４ｃ内のフレームバッファ切り替えを行う。すなわち、図５に示すように領域をトグル形式のように順次に切り替えることで、メモリ資源を有効に利用し複数の画像認識処理結果を同一画面上で表示することが可能となる。
本発明によれば、センサの露出量の基準値を認識処理に必要な分保持し、切り替え設定することで、２種類以上の異なる露出値でそれぞれに適した認識処理を行なえる。
【００２７】
また、雨路の白線のような不可視情報もしくは視認しにくい情報の認識処理と、複数の異なる露出量を必要とする別の認識処理とが共存しつつ、認識率を低下させずに、その認識結果を同一画像上に表示する。
さらに、単一のシステムで複数の認識処理を行なえるため、装置のコスト削減を図れる。
この結果、夜間や雨路の白線などの視認しにくい検知物情報とそれとは異なる複数の認識処理結果がリアルタイムに同一画面上で視認できる。そのため、より安全運転の判断がしやすくなる。
他に、システムのコスト削減、認識処理種類に応じた拡張性の効果も期待できる。
【００２８】
＜その他の実施形態＞
図９は、本実施形態の画像処理装置を適用可能な車両を示す模式図である。
本実施形態の画像処理システムは、車両１００の周辺、例えば前方の画像を取得するための撮像ユニット１０１と、取得した画像に解析処理した車両１００の前方の映像を、車内適所に設けた画像表示ユニット１０３に出力する画像解析ユニット１０２と、を備えている。
なお、画像解析ユニット１０２の一部の機能として、上記実施形態の画像処理系（画像処理装置）１２を適用することが出来る。
また、撮像ユニット１０１としては上記実施形態のセンサ１２、画像表示ユニット１０３としては上記実施形態のモニタ１８を適用することが出来る。
なお、撮像ユニット１０１は、車両１００が走行する前方の画像を撮像できるように、座席のルームミラー位置等に設置されている。
【００２９】
撮像ユニット１０１で撮像された車両前方の映像（画像）は、画像信号化されて画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から出力された画像信号を解析して、車両前方の映像を画像表示ユニット１０３（モニタ１８）に表示する。
画像解析ユニットとして、上記実施形態の画像処理装置を用いることで、夜間や雨路の白線などの視認しにくい検知物情報と、それとは異なる複数の認識処理結果がリアルタイムに同一画面上で視認できる。そのため、より安全運転の判断がしやすい車両を実現することが出来る。
なお、撮像ユニット１０１の設置位置は、車両前方を撮像するためのルームミラー位置に限らず、例えば駐車等時に車両後方を撮像して、その映像を画像表示ユニット１０３に表示できるように、リアウィンドウ周辺に設けるようにしても良い。
【符号の説明】
【００３０】
１１  画像処理装置、１２  センサ、１３  画像補間生成部、１４  画像重畳合成部、１４ａ  フレームバッファ切り替え回路、１４ｂ  メモリ制御回路、１４ｃ  メモリ、１５  画像認識処理部、１５ａ  画像認識処理回路、１６  露出制御部、１６ａ  露光解析回路、１７  画像出力部、１８  モニタ、１９  入力信号インターフェイス、２０  レジスタインターフェイス、２１  割り込み制御回路
【先行技術文献】
【特許文献】
【００３１】
【特許文献１】特許４２５３２７１号
【特許文献２】特開２００９−１７７２５０号公報
【図１】
2013172378.tif 000003
【図２】
2013172378.tif 000004
【図３】
2013172378.tif 000005
【図４】
2013172378.tif 000006
【図５】
2013172378.tif 000007
【図６】
2013172378.tif 000008
【図７】
2013172378.tif 000009
【図８】
2013172378.tif 000010
【図９】
2013172378.tif 000011