(57)【特許請求の範囲】
【請求項１】
第一の撮像手段から得られた第一の映像信号と第二の撮像手段から得られた第二の映像信号に対して、前記第一の映像信号と前記第二の映像信号とのずれ量を最小にするマッチング処理を行うマッチング手段と、
前記第一の撮像手段から得られた第三の映像信号を、前記マッチング処理の結果として得られる最小のずれ量だけずらして、前記第二の撮像手段から得られた第四の映像信号に加算する加算手段と、
前記加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成する監視用画像生成手段と、
前記第一の映像信号、前記第二の映像信号、前記第三の映像信号、前記第四の映像信号の露光時間または増幅率を制御する制御手段と、
を備え、
前記制御手段は、
第一の期間に、前記第一の映像信号と前記第二の映像信号が第一の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、
第二の期間に、前記第三の映像信号と前記第四の映像信号が第二の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御し、
第三の期間に、前記第一の映像信号と前記第二の映像信号が、前記第一の輝度レベル範囲とは異なる第三の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、
第四の期間に、前記第三の映像信号と前記第四の映像信号が、前記第二の輝度レベル範囲とは異なる第四の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御する
ことを特徴とする画像処理装置。
【請求項２】
第一の撮像手段から得られた第一の映像信号と第二の撮像手段から得られた第二の映像信号に対して、前記第一の映像信号と前記第二の映像信号とのずれ量を最小にするマッチング処理を行うことと、
前記第一の撮像手段から得られた第三の映像信号を、前記マッチング処理の結果として得られる最小のずれ量だけずらして、前記第二の撮像手段から得られた第四の映像信号に加算することと、
前記加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成することと、
前記第一の映像信号、前記第二の映像信号、前記第三の映像信号、前記第四の映像信号の露光時間または増幅率を制御することと、
を含み、
第一の期間に、前記第一の映像信号と前記第二の映像信号が第一の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、
第二の期間に、前記第三の映像信号と前記第四の映像信号が第二の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御し、
第三の期間に、前記第一の映像信号と前記第二の映像信号が、前記第一の輝度レベル範囲とは異なる第三の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、
第四の期間に、前記第三の映像信号と前記第四の映像信号が、前記第二の輝度レベル範囲とは異なる第四の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオマッチングを利用した画像処理装置に関するものである。
【背景技術】
【０００２】
従来、ステレオ測距を行って撮影対象物までの距離を測定するステレオ画像処理装置が知られている（例えば、特許文献１参照）。従来のステレオ画像処理装置では、２台のカメラを用いて撮影された２つのカメラ画像を用いて、撮影対象物までの距離の算出が行われる。これらの２つのカメラ画像は、距離測定用の画像であるともいえる。また、従来のステレオ画像処理装置では、２つのカメラ画像（距離測定用の画像）の一方を、監視用画像として用いていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２１８７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の画像処理装置においては、２つのカメラ画像（距離測定用の画像）の一方のカメラ画像しか監視用画像として利用していないため、映像信号のＳ／Ｎ比が低くなるという問題があった。監視用画像のための映像信号にはガンマ補正処理などの非線形処理が施され、低・中輝度の映像信号の振幅が伸張されるが、このとき、映像信号のＳ／Ｎ比が低いと、非線形処理によってノイズが増えてしまい、その結果、監視用画像の画質が劣化してしまうという問題があった。
【０００５】
本発明は、上記従来の問題を解決するためになされたもので、画質のよい監視用画像を得ることのできる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、第一の撮像手段から得られた第一の映像信号と第二の撮像手段から得られた第二の映像信号に対して、前記第一の映像信号と前記第二の映像信号とのずれ量を最小にするマッチング処理を行うマッチング手段と、前記第一の撮像手段から得られた第三の映像信号を、前記マッチング処理の結果として得られる最小のずれ量だけずらして、前記第二の撮像手段から得られた第四の映像信号に加算する加算手段と、前記加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成する監視用画像生成手段と、を備えた構成を有している。
【０００７】
この構成により、二つの撮像手段から得られる映像信号（第一の映像信号と第二の映像信号）にマッチング処理を施して、二つの撮像手段から得られる映像信号のずれ量が求められる。そして、二つの撮像手段から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用する。加算された映像信号は、一つの映像信号よりＳ／Ｎ比が高いので、画質のよい監視用画像を得ることができる。
【０００８】
また、本発明の画像処理装置は、前記マッチング処理の結果として得られる最小のずれ量から距離測定用の画像を生成する距離画像生成部を備えた構成を有している。
【０００９】
この構成により、画質のよい監視用画像を得るとともに、距離測定用の画像（距離画像）を得ることができる。
【００１０】
また、本発明の画像処理装置は、前記第一の映像信号と前記第二の映像信号が所定の輝度レベルの範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御する制御手段を備え、前記マッチング手段は、前記制御手段により所定の輝度レベルの範囲内となった前記第一の映像信号と前記第二の映像信号に対してマッチング処理を行う構成を有している。
【００１１】
この構成により、映像信号の輝度レベルが所定の輝度レベルの範囲内となるように、露光時間または増幅率が制御される。例えば、低中輝度の映像信号については、露光時間を長く、または、増幅率を上げる制御が行われる。また、高輝度の映像信号については、露光時間を短く、または、増幅率を下げる制御が行われる。これにより、高輝度の被写体を撮影した場合であっても、白潰れによる画質の低下を抑えることができ、二つの映像信号（第一の映像信号と第二の映像信号）を用いたマッチング処理の精度を向上させることができる。このように、高輝度の被写体を撮影した場合であっても、精度の高いマッチング処理の結果（最小のずれ量）に基づいて、二つの映像信号（第三の映像信号と第四の映像信号）を加算することができるので、画質のよい監視用画像を得ることができる。
【００１２】
また、本発明の画像処理装置は、前記第三の映像信号と前記第四の映像信号の露光時間が互いに異なるように、前記第三の映像信号と前記第四の映像信号の露光時間を制御する第二の制御手段を備えた構成を有している。
【００１３】
この構成により、第三の映像信号と第四の映像信号の露光時間を互いに異ならせることができるので、二つの映像信号（第三の映像信号と第四の映像信号）を加算して得られる監視用画像のダイナミックレンジを拡大することができる。例えば、高輝度の被写体を撮影した場合、第三の映像信号と第四の映像信号の露光時間がともに短くなるように制御されるが、さらに、この場合には、第三の映像信号の露光時間が第四の映像信号の露光時間より短くなるように制御される。これにより、高輝度の被写体を撮影した場合であっても、監視用画像（第三の映像信号と第四の映像信号を加算して得られる）に白潰れが発生するのを低減させることができ、高輝度でも階調のある監視用画像を得ることが可能になる。
【００１４】
また、本発明の画像処理装置は、前記第一の映像信号、前記第二の映像信号、前記第三の映像信号、前記第四の映像信号の露光時間または増幅率を制御する第三の制御手段を備え、前記第三の制御手段は、第一の期間に、前記第一の映像信号と前記第二の映像信号が第一の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、第二の期間に、前記第三の映像信号と前記第四の映像信号が第二の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御し、第三の期間に、前記第一の映像信号と前記第二の映像信号が、前記第一の輝度レベル範囲とは異なる第三の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、第四の期間に、前記第三の映像信号と前記第四の映像信号が、前記第二の輝度レベル範囲とは異なる第四の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御する構成を有している。
【００１５】
この構成により、第一の映像信号と第二の映像信号については、第一の期間に、第一の輝度レベル範囲内（例えば、低中輝度レベル）の映像信号が得られ、第三の期間に、第三の輝度レベル範囲内（例えば、高輝度レベル）の映像信号が得られる。一方、第三の映像信号と第四の映像信号については、第二の期間に、第二の輝度レベル範囲内（例えば、低中輝度レベル）の映像信号が得られ、第四の期間に、第四の輝度レベル範囲内（例えば、高輝度レベル）の映像信号が得られる。このようにして、第一の期間から第四の期間にかけて、輝度レベルの異なる映像信号を得ることができる。したがって、広い輝度レベルの範囲（低輝度から高輝度の広い範囲）で、映像信号（第三の映像信号と第四の映像信号）を加算した監視用画像を得ることができ、このようにして、監視用画像のダイナミックレンジを拡大することができる。そのため、例えば、高輝度の被写体を撮影した場合であっても、監視用画像（第三の映像信号と第四の映像信号を加算して得られる）に白潰れが発生するのを低減させることができ、高輝度でも階調のある監視用画像を得ることが可能になる。
【００１６】
本発明の画像処理方法は、第一の撮像手段から得られた第一の映像信号と第二の撮像手段から得られた第二の映像信号に対して、前記第一の映像信号と前記第二の映像信号とのずれ量を最小にするマッチング処理を行うことと、前記第一の撮像手段から得られた第三の映像信号を、前記マッチング処理の結果として得られる最小のずれ量だけずらして、前記第二の撮像手段から得られた第四の映像信号に加算することと、前記加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成することと、を含んでいる。
【００１７】
この方法によっても、上記と同様に、二つの撮像手段から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用することができるので、画質のよい監視用画像を得ることができる。
【００１８】
また、本発明の画像処理方法は、前記マッチング処理の結果として得られる最小のずれ量から距離測定用の画像を生成することを含んでいる。
【００１９】
この方法によっても、上記と同様に、画質のよい監視用画像を得るとともに、距離測定用の画像（距離画像）を得ることができる。
【００２０】
また、本発明の画像処理方法は、前記第一の映像信号と前記第二の映像信号が所定の輝度レベルの範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御することを含み、前記マッチング処理では、前記制御により所定の輝度レベルの範囲内となった前記第一の映像信号と前記第二の映像信号に対してマッチング処理を行う。
【００２１】
この方法によっても、上記と同様に、高輝度の被写体を撮影した場合であっても、白潰れによる画質の低下を抑えることができ、二つの映像信号（第一の映像信号と第二の映像信号）を用いたマッチング処理の精度を向上させることができる。
【００２２】
また、本発明の画像処理方法は、前記第三の映像信号と前記第四の映像信号の露光時間が互いに異なるように、前記第三の映像信号と前記第四の映像信号の露光時間を制御することを含んでいる。
【００２３】
この方法によっても、上記と同様に、二つの映像信号（第三の映像信号と第四の映像信号）を加算して得られる監視用画像のダイナミックレンジを拡大することができる。
【００２４】
また、本発明の画像処理方法は、前記第一の映像信号、前記第二の映像信号、前記第三の映像信号、前記第四の映像信号の露光時間または増幅率を制御することを含み、第一の期間に、前記第一の映像信号と前記第二の映像信号が第一の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、第二の期間に、前記第三の映像信号と前記第四の映像信号が第二の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御し、第三の期間に、前記第一の映像信号と前記第二の映像信号が、前記第一の輝度レベル範囲とは異なる第三の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、第四の期間に、前記第三の映像信号と前記第四の映像信号が、前記第二の輝度レベル範囲とは異なる第四の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御する。
【００２５】
この方法によっても、上記と同様にして、広い輝度レベルの範囲（低輝度から高輝度の広い範囲）で、映像信号（第三の映像信号と第四の映像信号）を加算した監視用画像を得ることができ、監視用画像のダイナミックレンジを拡大することができる。
【００２６】
本発明のプログラムは、コンピュータに、第一の撮像手段から得られた第一の映像信号と第二の撮像手段から得られた第二の映像信号に対して、前記第一の映像信号と前記第二の映像信号とのずれ量を最小にするマッチング処理を行う処理と、前記第一の撮像手段から得られた第三の映像信号を、前記マッチング処理の結果として得られる最小のずれ量だけずらして、前記第二の撮像手段から得られた第四の映像信号に加算する処理と、前記加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成する処理と、を実行させる。
【００２７】
このプログラムによっても、上記と同様に、二つの撮像手段から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用することができるので、画質のよい監視用画像を得ることができる。
【発明の効果】
【００２８】
本発明によれば、二つの撮像手段から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用することにより、高い画質の監視用画像を得ることができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態における画像処理装置のブロック図
【図２】本発明の実施の形態における画像処理装置の動作の説明図
【図３】本発明の実施の形態における距離画像の生成と監視用画像の生成の流れを示すフロー図
【図４】本発明の実施の形態における低中輝度と高輝度の画像の生成の流れを示すフロー図
【発明を実施するための形態】
【００３０】
以下、本発明の実施の形態の画像処理装置について、図面を用いて説明する。本実施の形態では、例えば、車載式のステレオ画像処理装置等に用いられる画像処理装置の場合を例示する。なお、以下に説明するような、本実施の形態の画像処理装置が有する画像処理の機能は、画像処理装置のメモリやＨＤＤに格納されているプログラムによって実現されてもよい。
【００３１】
本発明の実施の形態の画像処理装置の構成を、図面を参照して説明する。図１に示すように、本実施の形態の画像処理装置１は、光路上にレンズ２が配置された２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）と、各撮像素子３からの映像信号をそれぞれ増幅する２つの増幅回路４（増幅回路Ａと増幅回路Ｂ）を備えている。この場合、レンズ２と撮像素子３により、撮像が行われる。ここでは、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）が、本発明の第一の撮像手段と第二の撮像手段に相当する。
【００３２】
画像処理装置１は、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）から得られた２つの映像信号に対してステレオマッチング処理（単に、マッチング処理ともいう）を行うマッチング回路５を備えている。マッチング回路５では、２つの映像信号の画素毎のずれ量が最小になるようなマッチング処理が行われ、マッチング処理の結果として、画素毎の最小のずれ量が出力される。このマッチング回路５が、本発明のマッチング手段に相当する。
【００３３】
この画像処理装置１は、一方の撮像素子３（撮像素子Ａ）から得られた映像信号を、もう一方の撮像素子３（撮像素子Ｂ）から得られた映像信号に加算する加算回路６と、加算された映像信号に対して、ガンマ補正処理などの非線形処理や輪郭補正処理を施して、監視用画像を生成する非線形処理・輪郭補正回路７を備えている。この加算回路６では、一方の撮像素子３（撮像素子Ａ）から得られた映像信号を、マッチング処理の結果として得られた画素毎の最小のずれ量だけずらして、もう一方の撮像素子３（撮像素子Ｂ）から得られた映像信号に加算する処理が行われる。この加算回路６が、本発明の加算手段に相当し、非線形処理・輪郭補正回路７が、本発明の監視用画像生成手段に相当する。
【００３４】
また、画像処理装置１は、マッチング処理の結果として得られた画素毎の最小のずれ量から距離測定用の画像を生成する距離画像生成回路８を備えている。距離画像生成回路８は、一般的な三角測量の原理に基づいて、２つの映像信号の画素毎の最小のずれ量から、撮影対象物までの距離を測定するための画像（距離画像）を生成する。この距離画像生成回路８は、本発明の距離画像生成手段に相当する。
【００３５】
画像処理装置１は、撮像素子３の露光時間と増幅回路４の増幅率を制御する露光・増幅制御回路９を備えている。この露光・増幅制御回路９は、撮像素子３の駆動回路（図示せず）に制御信号を送ることによって、撮像素子３の露光時間を制御する。また、この露光・増幅制御回路９は、増幅回路４に制御信号を送ることによって、増幅回路４の増幅率を制御する。露光・増幅制御回路９は、増幅回路４からの出力（撮像素子３から得られた映像信号）を監視し、その出力が一定の輝度レベルの範囲内になるように、撮像素子３の露光時間を調整したり、増幅回路４の増幅率を調整する機能を備えている。この露光・増幅制御回路９は、本発明の制御手段、第二の制御手段、第三の制御手段に相当する。
【００３６】
以上のように構成された画像処理装置１について、図面を参照してその動作を説明する。
【００３７】
図２は、本実施の形態の画像処理装置１の動作の説明図である。図２に示すように、本実施の画像処理装置１では、期間Ｔ１（第一の期間）において、２つの撮像素子３から得られる映像信号（第一の映像信号と第二の映像信号）が低中輝度の輝度レベルの範囲内となるように、撮像素子３の露光時間と増幅回路４の増幅率が制御される。図２の例では、期間Ｔ１で、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）の露光時間が、低中輝度用の露光時間Ｔｃ１に設定され、２つの増幅回路４（増幅回路Ａと増幅回路Ｂ）の増幅率が、低中輝度用の増幅率Ａ１に設定される。
【００３８】
つぎに、期間Ｔ２（第二の期間）において、２つの撮像素子３から得られる映像信号（第三の映像信号と第四の映像信号）が低中輝度の輝度レベルの範囲内となるように、撮像素子３の露光時間と増幅回路４の増幅率が制御される。図２の例では、期間Ｔ２で、一方の撮像素子３（撮像素子Ａ）の露光時間が、低中輝度用の短い露光時間Ｔｃ２ｓに設定され、他方の撮像素子３（撮像素子Ｂ）の露光時間が、低中輝度用の長い露光時間Ｔｃ２ｌに設定される。また、一方の増幅回路４（増幅回路Ａ）の増幅率が、低中輝度用の低い増幅率Ａ２ｓに設定され、他方の増幅回路４（増幅回路Ｂ）の増幅率が、低中輝度用の高い増幅率Ａ２ｌに設定される。
【００３９】
そして、この期間Ｔ２では、期間Ｔ１で得られた２つの映像信号（第一の映像信号と第二の映像信号）に対してマッチング処理を行い、画素毎の最小のずれ量を算出して、低中輝度用の距離画像を生成（更新）する。さらに、この期間Ｔ２では、期間Ｔ２で得られた２つの映像信号（第三の映像信号と第四の映像信号）に上記のマッチング処理の結果を反映させた加算処理（画素毎の最小のずれ量だけずらした加算処理）を行い、得られた映像信号（加算された映像信号）に非線形処理と輪郭補正処理を行って、低中輝度用の監視用画像を生成（更新）する。
【００４０】
つづいて、期間Ｔ３（第三の期間）において、２つの撮像素子３から得られる映像信号（第一の映像信号と第二の映像信号）が高輝度の輝度レベルの範囲内となるように、撮像素子３の露光時間と増幅回路４の増幅率が制御される。図２の例では、期間Ｔ３で、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）の露光時間が、高輝度用の露光時間Ｔｃ３に設定され、２つの増幅回路４（増幅回路Ａと増幅回路Ｂ）の増幅率が、高輝度用の増幅率Ａ３に設定される。
【００４１】
つぎに、期間Ｔ４（第四の期間）において、２つの撮像素子３から得られる映像信号（第三の映像信号と第四の映像信号）が高輝度の輝度レベルの範囲内となるように、撮像素子３の露光時間と増幅回路４の増幅率が制御される。図２の例では、期間Ｔ４で、一方の撮像素子３（撮像素子Ａ）の露光時間が、高輝度用の短い露光時間Ｔｃ４ｓに設定され、他方の撮像素子３（撮像素子Ｂ）の露光時間が、高輝度用の長い露光時間Ｔｃ４ｌに設定される。
【００４２】
そして、この期間Ｔ４では、期間Ｔ３で得られた２つの映像信号（第一の映像信号と第二の映像信号）に対してマッチング処理を行い、画素毎の最小のずれ量を算出して、高輝度用の距離画像を生成（更新）する。さらに、この期間Ｔ４では、期間Ｔ３で得られた２つの映像信号（第三の映像信号と第四の映像信号）に上記のマッチング処理の結果を反映させた加算処理（画素毎の最小のずれ量だけずらした加算処理）を行い、得られた映像信号（加算された映像信号）に非線形処理と輪郭補正処理を行って、高輝度用の監視用画像を生成（更新）する。
【００４３】
本実施の形態の画像処理装置１では、上記のような期間Ｔ１〜期間Ｔ４の処理が定期的に繰り返される。すなわち、低中輝度用の距離画像と監視用画像の更新（生成）の処理と、高輝度用の距離画像と監視用画像の更新（生成）の処理が、定期的に繰り返される。
【００４４】
以下では、本実施の形態の画像処理装置１の動作を、距離画像と監視用画像の生成と、低中輝度と高輝度の画像の生成とに分けて、それぞれ詳しく説明する。
【００４５】
図３は、距離画像の生成と監視用画像の生成の流れを示すフロー図である。図３に示すように、画像処理装置１では、まず、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）から２つの映像信号（第一の映像信号と第二の映像信号）を取得し（Ｓ１）、輝度レベルが所定の輝度レベルの範囲内であるか否かを判定する（Ｓ２）。例えば、映像信号の輝度レベルが、所定の基準輝度レベルより低い場合には、低中輝度の輝度レベルの範囲内であると判定される。また、所定の基準輝度レベルより高い場合には、高輝度の輝度レベルの範囲内であると判定される。
【００４６】
判定の結果、映像信号の輝度レベルが所定の輝度レベルの範囲内でないと判定された場合には、撮像素子３の露光時間や増幅回路４の増幅率を変更し（Ｓ３）、上記のステップ（Ｓ１とＳ２）を繰り返す。
【００４７】
判定の結果、映像信号の輝度レベルが所定の輝度レベルの範囲内であると判定された場合には、その画像領域（例えば、低中輝度の画像領域など）について、２つの映像信号（第一の映像信号と第二の映像信号）のマッチング処理を行い、画素毎の最小のずれ量を求める（Ｓ４）。そして、マッチング処理の結果として得られた画素毎の最小のずれ量から、一般的な三角測量の原理に基づいて距離画像の生成が行われる（Ｓ５）。
【００４８】
つぎに、一方の撮像素子３（撮像素子Ａ）に短時間露光用の露光時間（例えば、露光時間Ｔｃ２ｓなど）を設定するとともに、一方の増幅回路４（増幅回路Ａ）に短時間露光用の増幅率（例えば、増幅率Ａ２ｓなど）を設定し、他方の撮像素子３（撮像素子Ｂ）に長時間露光用の露光時間（例えば、露光時間Ｔｃ２ｌなど）を設定するとともに、他方の増幅回路４（増幅回路Ｂ）に長時間露光用の増幅率（例えば、増幅率Ａ２ｌなど）を設定する（Ｓ６）。
【００４９】
そして、これら２つの撮像素子３から２つの映像信号（第三の映像信号と第四の映像信号）を取得し（Ｓ７）、上記のマッチング処理（Ｓ４）の結果として得られた画素毎の最小のずれ量だけ一方の映像信号をずらして、２つの映像信号を加算する（Ｓ８）。最後に、加算された映像信号に、非線形処理と輪郭補正処理を施して、監視用画像が生成される（Ｓ９）。
【００５０】
図４は、低中輝度と高輝度の画像の生成の流れを示すフロー図である。図４に示すように、画像処理装置１では、まず、２つの撮像素子３と増幅回路４に、低中輝度用の露光時間（例えば、露光時間Ｔｃ１）と増幅率（例えば、増幅率Ａ１）が設定され（Ｓ１０）、２つの映像信号（第一の映像信号と第二の映像信号）が取得される（Ｓ１１）。そして、２つの映像信号（第一の映像信号と第二の映像信号）のマッチング処理を行い、画素毎の最小のずれ量を求める（Ｓ１２）。そして、マッチング処理の結果として得られた画素毎の最小のずれ量から、低中輝度用の距離画像の生成が行われる（Ｓ１３）。
【００５１】
つぎに、一方の撮像素子３（撮像素子Ａ）に短時間露光用の露光時間（例えば、露光時間Ｔｃ２ｓ）を設定するとともに、一方の増幅回路４（増幅回路Ａ）に短時間露光用の増幅率（例えば、増幅率Ａ２ｓ）を設定し、他方の撮像素子３（撮像素子Ｂ）に長時間露光用の露光時間（例えば、露光時間Ｔｃ２ｌ）を設定するとともに、他方の増幅回路４（増幅回路Ｂ）に長時間露光用の増幅率（例えば、増幅率Ａ２ｌ）を設定する（Ｓ１４）。
【００５２】
そして、これら２つの撮像素子３から２つの映像信号（第三の映像信号と第四の映像信号）を取得し（Ｓ１５）、上記のマッチング処理（Ｓ１２）の結果として得られた画素毎の最小のずれ量だけ一方の映像信号をずらして、低中輝度用の２つの映像信号を加算する（Ｓ１６）。最後に、加算された映像信号に、非線形処理と輪郭補正処理を施して、低中輝度用の監視用画像が生成される（Ｓ１７）。
【００５３】
つづいて、２つの撮像素子３と増幅回路４に、高輝度用の露光時間（例えば、露光時間Ｔｃ３）と増幅率（例えば、増幅率Ａ３）が設定され（Ｓ１８）、２つの映像信号（第一の映像信号と第二の映像信号）が取得される（Ｓ１９）。そして、２つの映像信号（第一の映像信号と第二の映像信号）のマッチング処理を行い、画素毎の最小のずれ量を求める（Ｓ２０）。そして、マッチング処理の結果として得られた画素毎の最小のずれ量から、高輝度用の距離画像の生成が行われる（Ｓ２１）。
【００５４】
つぎに、一方の撮像素子３（撮像素子Ａ）に短時間露光用の露光時間（例えば、露光時間Ｔｃ４ｓ）を設定するとともに、一方の増幅回路４（増幅回路Ａ）に短時間露光用の増幅率（例えば、増幅率Ａ４ｓ）を設定し、他方の撮像素子３（撮像素子Ｂ）に長時間露光用の露光時間（例えば、露光時間Ｔｃ４ｌ）を設定するとともに、他方の増幅回路４（増幅回路Ｂ）に長時間露光用の増幅率（例えば、増幅率Ａ４ｌ）を設定する（Ｓ２２）。
【００５５】
そして、これら２つの撮像素子３から２つの映像信号（第三の映像信号と第四の映像信号）を取得し（Ｓ２３）、上記のマッチング処理（Ｓ２０）の結果として得られた画素毎の最小のずれ量だけ一方の映像信号をずらして、高輝度用の２つの映像信号を加算する（Ｓ２４）。最後に、加算された映像信号に、非線形処理と輪郭補正処理を施して、高輝度用の監視用画像が生成される（Ｓ２５）。
【００５６】
このような本発明の実施の形態の画像処理装置１によれば、二つの撮像手段から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用することにより、高い画質の監視用画像を得ることができる。
【００５７】
すなわち、本実施の形態では、二つの撮像手段から得られる映像信号（第一の映像信号と第二の映像信号）にマッチング処理を施して、二つの撮像手段から得られる映像信号のずれ量が求められる。そして、二つの撮像手段から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用する。加算された映像信号は、一つの映像信号よりＳ／Ｎ比が高いので、画質のよい監視用画像を得ることができる。この場合、画質のよい監視用画像を得るとともに、距離測定用の画像（距離画像）を得ることができる。
【００５８】
また、本実施の形態では、映像信号の輝度レベルが所定の輝度レベルの範囲内となるように、露光時間または増幅率が制御される。例えば、低中輝度の映像信号については、露光時間を長く、または、増幅率を上げる制御が行われる。また、高輝度の映像信号については、露光時間を短く、または、増幅率を下げる制御が行われる。これにより、高輝度の被写体を撮影した場合であっても、白潰れによる画質の低下を抑えることができ、二つの映像信号（第一の映像信号と第二の映像信号）を用いたマッチング処理の精度を向上させることができる。このように、高輝度の被写体を撮影した場合であっても、精度の高いマッチング処理の結果（最小のずれ量）に基づいて、二つの映像信号（第三の映像信号と第四の映像信号）を加算することができるので、画質のよい監視用画像を得ることができる。また、この場合、低輝度、中輝度、高輝度の映像信号それぞれで、精度の良い距離画像を得ることができ、さまざまな輝度の被写体を撮影した場合であっても、高精度に距離の算出を行うことが可能になる。
【００５９】
また、本実施の形態では、第三の映像信号と第四の映像信号の露光時間を互いに異ならせることができるので、二つの映像信号（第三の映像信号と第四の映像信号）を加算して得られる監視用画像のダイナミックレンジを拡大することができる。例えば、高輝度の被写体を撮影した場合、第三の映像信号と第四の映像信号の露光時間がともに短くなるように制御されるが、さらに、この場合には、第三の映像信号の露光時間が第四の映像信号の露光時間より短くなるように制御される。これにより、高輝度の被写体を撮影した場合であっても、監視用画像（第三の映像信号と第四の映像信号を加算して得られる）に白潰れが発生するのを低減させることができ、高輝度でも階調のある監視用画像を得ることが可能になる。
【００６０】
また、本実施の形態では、第一の映像信号と第二の映像信号については、第一の期間に、第一の輝度レベル範囲内（例えば、低中輝度レベル）の映像信号が得られ、第三の期間に、第三の輝度レベル範囲内（例えば、高輝度レベル）の映像信号が得られる。一方、第三の映像信号と第四の映像信号については、第二の期間に、第二の輝度レベル範囲内（例えば、低中輝度レベル）の映像信号が得られ、第四の期間に、第四の輝度レベル範囲内（例えば、高輝度レベル）の映像信号が得られる。このようにして、第一の期間から第四の期間にかけて、輝度レベルの異なる映像信号を得ることができる。したがって、広い輝度レベルの範囲（低輝度から高輝度の広い範囲）で、映像信号（第三の映像信号と第四の映像信号）を加算した監視用画像を得ることができ、このようにして、監視用画像のダイナミックレンジを拡大することができる。そのため、例えば、高輝度の被写体を撮影した場合であっても、監視用画像（第三の映像信号と第四の映像信号を加算して得られる）に白潰れが発生するのを低減させることができ、高輝度でも階調のある監視用画像を得ることが可能になる。また、この場合、広い輝度レベルの範囲（低輝度から高輝度の広い範囲）で、精度の良い距離画像を得ることができ、したがって、距離の測定の精度を向上することが可能になる。
【００６１】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【００６２】
例えば、以上の説明では、２つの撮像素子３を使用する例について説明したが、本発明の範囲はこれに限定されるものではなく、１つの撮像素子３から２つの画像領域を切り出して、２つの映像信号としてもよい。また、期間Ｔ１とＴ３を、期間Ｔ２とＴ４より短く設定することにより、監視用画像の更新を早くしてもよい。
【産業上の利用可能性】
【００６３】
以上のように、本発明にかかる画像処理装置は、二つの映像信号を加算して、監視用画像として利用することにより、高い画質の監視用画像を得ることができるという効果を有し、ステレオ画像処理装置等として有用である。
【符号の説明】
【００６４】
１  画像処理装置
２  レンズ
３  撮像素子
４  増幅回路
５  マッチング回路
６  加算回路
７  非線形処理・輪郭補正回路
８  距離画像生成回路
９  露光・増幅制御回路
【図１】
0005283667.tif 000002
【図２】
0005283667.tif 000003
【図３】
0005283667.tif 000004
【図４】
0005283667.tif 000005