(57)【要約】【課題】被写体ブレの発生を低減しつつ、ノイズのより少ない画像を提供可能な撮像装置を提供すること。【解決手段】被写体を撮影する撮像部と、撮像部を制御する撮像制御部と、画像の輝度分布を解析する輝度解析部と、画像の輝度分布を補正する輝度補正部と、車両走行速度を検出する走行速度検出部と、画像を車両内部領域と車両外部領域の領域に分ける領域設定部と、前記領域設定部にて設定した領域毎の輝度分布を算出する領域内輝度算出部と、領域間の輝度の大小関係を算出する領域内輝度比較部と、前記輝度補正部は長秒と短秒露光の画像から１枚の画像を合成するＷＤＲ処理と、１枚の画像に対して輝度分布を拡張させるように階調補正するコントラスト補正処理とが可能であり、車両走行速度と画像内輝度および前記領域内輝度比較部の情報を元に、画像の輝度補正方法を変更する輝度補正処理切替部を、持つことを特徴とする。【選択図】図１
2018056609.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮像部と、
撮像部を制御する撮像制御部と、
撮影画像の輝度分布を解析する輝度解析部と、
前記撮影画像の輝度分布が適正になるよう補正する輝度補正部と、
車両の走行速度を検出する走行速度検出部と、
前記撮影画像を車両内部領域と車両外部領域との２つの領域に分ける領域設定部と、
前記輝度解析部と前記領域設定部の情報を元に領域ごとの輝度分布を算出する領域内輝度算出部と、
領域内輝度算出部の情報を元に領域間の輝度の大小関係を算出する領域内輝度比較部と、
前記輝度補正部は長秒露光および短秒露光の画像から１枚の画像を合成するワイドダイナミックレンジ処理（以下、ＷＤＲ処理）と、１枚の画像に対して集中した輝度分布を拡張させるように階調を補正するコントラスト補正処理とが可能であり、
前記走行速度検出部で検出した車両の走行速度と前記輝度解析部で解析した撮影画像内の輝度と前記領域内輝度比較部の比較結果を元に、撮影画像の輝度補正処理方法を変更する輝度補正処理切替部と、をもつことを特徴とする撮像装置。
【請求項２】
前記輝度解析部で解析した撮影画像内の輝度差が閾値輝度Ａ以上であり、前記走行速度検出部で検出した車両走行速度が閾値速度Ｂ以上であるときに前記領域内輝度比較部にて車両外部領域と車両内部領域との輝度を比較し、車両内部領域輝度に対して車両外部領域輝度が低い場合に、前記コントラスト補正処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記輝度解析部で解析した撮影画像内の輝度差が閾値輝度Ａ以上であり、前記走行速度検出部で検出した車両走行速度が閾値速度Ｂ以上であるときに前記領域内輝度比較部にて車両外部領域と車両内部領域との輝度を比較し、車両内部領域輝度に対して車両外部領域輝度が高い場合に、前記ＷＤＲ処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記輝度解析部で解析した撮影画像内の輝度差が閾値輝度Ａ以上であり、前記走行速度検出部で検出した車両走行速度が閾値速度Ｂ以上であるときに前記領域内輝度比較部にて車両外部領域と車両内部領域との輝度を比較し、車両内部領域輝度に対して車両外部領域輝度が高く、車両外部領域の輝度が閾値輝度Ｃよりも低い場合に、前記コントラスト補正処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項５】
閾値輝度Ｃは車両走行速度に応じて可変であることを特徴とする請求項４に記載の撮像装置。
【請求項６】
閾値輝度Ｃは車両走行速度と車両外部領域輝度との関係をあらかじめ保持することを特徴とする請求項４に記載の撮像装置。
【請求項７】
車両内部領域と車両外部領域はビュワー上でユーザーにより任意に設定ができることを特徴とする請求項１乃至請求項６の何れか一項に記載の撮像装置。
【請求項８】
車両に撮像装置設置する際、車両を走行させ、動体検知した領域を車両外部領域として設定することを特徴とする請求項１乃至請求項７の何れか一項に記載の撮像装置。
【請求項９】
車両内部領域輝度が車両外部領域輝度よりも高く、かつ車両内部領域において輝度差が一定以上ある場合に、車両内部領域はＷＤＲ処理にて画像を作成し、車両外部領域はＷＤＲ時の短秒露光画像をコントラスト補正処理にて画像を作成することを特徴とする請求項１乃至請求項８の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両内部から撮影を行う撮像装置に関し、特に撮影方法の切替手段に関する。
【背景技術】
【０００２】
車両内部に設置され、図６のように車両内部および外部の両方を撮影する未図示の撮像装置において、撮像装置のダイナミックレンジ以上の輝度差が生じることがある。そこで、従来は、長秒露光および短秒露光の画像から１枚の画像を合成するワイドダイナミックレンジ処理（以下、ＷＤＲ処理と表記）にて撮像が行われる。また、走行する車内から車外を撮影するため、ＷＤＲ処理の長秒露光によって車外の被写体にブレが生じてしまうこともある。
【０００３】
特許文献１には、車両走行速度を閾値として、速度一定以上となったら、ＷＤＲ処理と１枚の画像に対してコントラスト補正を行うことで被写体の輝度差を低減する手法（以下、コントラスト補正処理）を切り替えることで、被写体ブレの低減を図る提案がなされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５７５９９０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１に開示された従来技術では、車両走行速度を閾値としているため、被写体ブレが生じていない状況でもＷＤＲ処理からコントラスト補正処理に切り替えてしまう。コントラスト補正処理は、ＷＤＲ処理よりも輝度ノイズや色ノイズの目立つ画像になるため、コントラスト補正処理はなるべく使用しない制御方法がよりこの好ましい。
【０００６】
本発明は、上記問題の解決のため、ＷＤＲ処理よりも輝度ノイズや色ノイズが発生しやすいコントラスト補正処理を、被写体ブレが生じやすい、車両が走行中で車両外部が車両内部よりも暗いときにだけ用いる。そして、それ以外ではＷＤＲ処理を用いることで、被写体ブレの発生を低減しつつ、ノイズのより少ない画像を撮影可能にした撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明に係る撮像装置は、
被写体を撮影する撮像部と、撮像部を制御する撮像制御部と、撮影画像の輝度分布を解析する輝度解析部と、前記撮影画像の輝度分布が適正になるよう補正する輝度補正部と、車両の走行速度を検出する走行速度検出部と、前記撮影画像を車両内部領域と車両外部領域との２つの領域に分ける領域設定部と、前記輝度解析部と前記領域設定部の情報を元に領域ごとの輝度分布を算出する領域内輝度算出部と、領域内輝度算出部の情報を元に領域間の輝度の大小関係を算出する領域内輝度比較部と、前記輝度補正部は長秒露光および短秒露光の画像から１枚の画像を合成するワイドダイナミックレンジ処理（以下、ＷＤＲ処理）と、１枚の画像に対して集中した輝度分布を拡張させるように階調を補正するコントラスト補正処理とが可能であり、前記走行速度検出部で検出した車両の走行速度と前記輝度解析部で解析した撮影画像内の輝度と前記領域内輝度比較部の比較結果を元に、撮影画像の輝度補正処理方法を変更する輝度補正処理切替部と、を、もつことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ＷＤＲ処理よりも輝度ノイズや色ノイズが発生しやすいコントラスト補正処理を、車両が走行中で、車両外部が車両内部よりも暗いときにだけ用い、それ以外ではＷＤＲ処理を用いることで、被写体ブレの発生を低減しつつ、ノイズのより少ない画像を撮影可能な撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理部１０３において輝度補正処理方法の切替手段に関わる内部構成を示したブロック図である。
【図２】本発明の実施形態に係る撮像システムを示す図である。
【図３】輝度補正処理方法の切替手段に関しての一例を示す第１のフローチャートである。
【図４】輝度補正処理方法の切替手段に関しての一例を示す第２のフローチャートである。
【図５】実施例２における閾値輝度Ｃの変更手法に関しての一例を示すグラフである。
【図６】車両内部から車両内部および外部の両方を撮影したときのイメージ図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は、図示された構成に限定されるものではない。
【００１１】
［実施例１］
以下、図１、図２および図３を参照して、本発明の第１の実施例による、輝度補正処理方法の切替手段に関しての一例について説明する。図２は撮像装置の内部構成を示したブロック図である。
【００１２】
撮像光学系１００および赤外フィルタ１０１を通過して、ＣＣＤまたはＣＭＯＳセンサなどの撮像素子１０２に入射する。なお、図２では、撮像光学系１００を１枚のレンズにより表しているが、複数枚のレンズにより構成してもよい。また、赤外フィルタ１０１は、光学バンドパスフィルタなどのフィルタが配されている。また、赤外フィルタ以外にも入射する光量を減光する減光フィルタや、所定の偏光方向の光を遮蔽する偏光フィルタを用いてもよい。
【００１３】
撮像光学系１００の合焦制御、ズーム制御、露出制御、防振制御などに関わる機械的な駆動は、システムコントローラ１０８の指示により撮像光学系制御部１０４が行う。また、絞り値、シャッタースピード、ゲイン等の所定の露出で撮像するための撮像条件は、システムコントローラ１０８が所定のプログラム線図に基づいて決定する。なお、本実施形態において、システムコントローラ１０８は、撮像条件を制御する条件制御部に相当する。
【００１４】
撮像素子１０２上に結像した被写体像は画像信号に変換され、画像処理部１０３に入力される。画像処理部１０３に入力された画像は、ガンマ補正やカラーバランス調整など、所定の画像処理を行い、ＪＰＥＧ等の画像ファイルを生成する。システムコントローラ１０８は、画像処理部１０３で処理された出力画像を、通信部１０９を介してクライアント装置へ送信する。通信部１０９は、各制御コマンドをクライアント装置から受信する場合、また各制御コマンドに対するレスポンスや、映像ストリームをクライアント装置へ送信する場合に使用される。
【００１５】
走行速度検出部１０７は、撮像装置が設置された車両の走行速度を検出する。赤外フィルタ制御部１０６は、システムコントローラ１０８の指示により赤外フィルタ駆動部１０５を用いて、撮像装置に設けられた赤外フィルタ１０１の挿抜制御を行う。
【００１６】
システムコントローラ１０８はＣＰＵを含み、撮像装置の各構成要素を統括的に制御及び各種パラメータ等の設定を行う。また、不図示の記憶部であるデータを電気的に消去可能なメモリ等を含み、システムコントローラ１０８はこれに記憶されたプログラムを実行する。
【００１７】
なお、メモリは、システムコントローラ１０８が実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。加えて、メモリはシステムコントローラ１０８が撮像装置の制御に用いる設定情報である各種パラメータの初期値を保持する。また、不図示の計時部を含み任意のタイミングで所定の期間の計測等を行うことができる。
【００１８】
図１は画像処理部１０３において、輝度補正処理方法の切替手段に関わる内部構成を示したブロック図である。輝度解析部２００では、撮像素子１０２より画像処理部１０３に入力された画像の輝度分布を算出する。領域設定部２０１では、画像を車両内部領域と車両外部領域とに領域分割する。分割する領域は、車両内部領域および車両外部領域それぞれを少なくとも１つずつ含み、それぞれが複数の領域を含んでもよい。領域内輝度算出部２０２では、輝度解析部２００で算出された画像の輝度分布と領域設定部２０１で設定された領域情報を元に、各領域の輝度分布を算出する。
【００１９】
領域内輝度比較部２０３では、領域内輝度算出部２０２の情報を元に、各領域間の輝度を比較する。具体的には、領域間で輝度の大小関係を比較する。輝度補正処理切替部２０４では、領域内輝度算出部２０２と領域内輝度比較部２０３と走行速度検出部１０７の情報を元に、輝度補正方法の切替制御を行う。輝度補正部２０５では、輝度補正処理切替部２０４の情報を元に画像の輝度補正処理を行う。輝度補正処理としてはダイナミックレンジを拡張させる処理が行われる。具体的には、ＷＤＲ処理やコントラスト補正処理が行われる。
【００２０】
図３は本実施例の輝度補正処理方法の切替手段に関しての一例を示す第１のフローチャートである。本フローチャートの処理はシステムコントローラ１０８が実行する。まず、ステップＳ３０１において、システムコントローラ１０８は、走行速度検出部１０７を用いて車両走行速度を検出し、輝度解析部２００を用いて撮影画像の輝度分布を算出し、撮影画像内の輝度差を求める。
【００２１】
次にステップＳ３０２において、システムコントローラ１０８は、撮影画像内の輝度差と閾値輝度差Ａとの比較を行う。閾値輝度差Ａよりも撮影画像内の輝度差が大きければＳ３０３に処理を進める。閾値輝度差Ａよりも撮影画像内の輝度差が小さければＳ３０８へ処理を進める。ステップＳ３０８において、システムコントローラ１０８は、コントラスト補正処理およびＷＤＲ処理は行わずに撮影を行い処理を終了する。
【００２２】
ステップＳ３０３において、システムコントローラ１０８は、撮像装置が設置された車両走行速度と閾値速度Ｂとの比較を行う。閾値速度Ｂよりも車両走行速度が速ければＳ３０４に処理を進める。閾値速度Ｂよりも車両走行速度が遅ければＳ３０７へ処理を進める。ステップＳ３０７において、システムコントローラ１０８は、ＷＤＲ処理にて撮影を行い処理を終了する。ステップＳ３０４において、システムコントローラ１０８は、領域内輝度算出部２０２を用いて、車両内部領域と車両外部領域それぞれの輝度分布を算出する。
【００２３】
次にステップＳ３０５において、システムコントローラ１０８は、領域内輝度比較部２０３を用いて、車両内部領域輝度と車両外部領域輝度との比較を行い、輝度補正処理切替部２０４を用いて輝度補正処理の切替制御を行う。車両内部領域輝度が車両外部領域輝度よりも高い場合はＳ３０６に処理を進める。車両内部領域輝度が車両外部領域輝度よりも低い場合はＳ３０７に処理を進める。ステップＳ３０６において、システムコントローラ１０８は、コントラスト補正処理にて撮影を行い、処理を終了する。
【００２４】
このように実施例１によれば、ＷＤＲ処理よりも輝度ノイズや色ノイズが発生しやすいコントラスト補正処理を、車両が走行中で、車両外部領域輝度が車両内部領域輝度より低いときにだけ用い、それ以外ではＷＤＲ処理を用いることで、被写体ブレの発生を低減しつつ、ノイズのより少ない画像を撮影可能な撮像装置を提供することができる。
【００２５】
なお、ここでは説明をわかりやすくするために、赤外フィルタ制御部１０６を導入しているが、システムコントローラ１０８を直接、赤外フィルタ駆動部１０５へ繋げてもよい。また、走行速度検出部１０７を輝度補正処理切替部２０４に直接繋いでいるが、システムコントローラ１０８を介してつなげてもよい。
【００２６】
［実施例２］
以下、図４を参照して、本発明の第２の実施例による、輝度補正処理方法の切替手段に関しての一例について説明する。図４は本実施例の輝度補正処理方法の切替手段に関しての一例を示す第２のフローチャートである。本フローチャートの処理はシステムコントローラ１０８が実行する。まず、ステップＳ４０１において、システムコントローラ１０８は、走行速度検出部１０７を用いて車両走行速度を検出し、輝度解析部２００を用いて撮影画像の輝度分布を算出し、撮影画像内の輝度差を求める。
【００２７】
次にステップＳ４０２において、システムコントローラ１０８は、撮影画像内の輝度差と閾値輝度差Ａとの比較を行う。閾値輝度差Ａよりも撮影画像内の輝度差が大きければＳ４０３に処理を進める。閾値輝度差Ａよりも撮影画像内の輝度差が小さければＳ４０８へ処理を進める。ステップＳ４０８において、システムコントローラ１０８は、コントラスト補正処理およびＷＤＲ処理は行わずに撮影を行い処理を終了する。
【００２８】
ステップＳ４０３において、システムコントローラ１０８は、撮像装置が設置された車両走行速度と閾値速度Ｂとの比較を行う。閾値速度Ｂよりも車両走行速度が速ければＳ４０４に処理を進める。閾値速度Ｂよりも車両走行速度が遅ければＳ４０７へ処理を進める。ステップＳ４０７において、システムコントローラ１０８は、ＷＤＲ処理にて撮影を行い処理を終了する。ステップＳ４０４において、システムコントローラ１０８は、領域内輝度算出部２０２を用いて、車両内部領域と車両外部領域それぞれの輝度分布を算出する。
【００２９】
次にステップＳ４０５において、システムコントローラ１０８は、領域内輝度比較部２０３を用いて、車両内部領域輝度と車両外部領域輝度との比較を行い、輝度補正処理切替部２０４を用いて輝度補正処理の切替制御を行う。車両内部領域輝度が車両外部領域輝度よりも高く、かつ車両外部領域の輝度が閾値輝度Ｃより低い場合はＳ４０６に処理を進める。車両内部領域輝度が車両外部領域輝度よりも低い場合、または、車両外部領域輝度が閾値輝度Ｃよりも高い場合はＳ４０７に処理を進める。
【００３０】
ステップＳ４０６において、システムコントローラ１０８は、コントラスト補正処理にて撮影を行い、処理を終了する。ここで閾値輝度Ｃは、ＷＤＲ処理における長秒露光時間が車両外部の被写体に対して被写体ブレを生じない程度に短くなるような値に設定される。
【００３１】
このように実施例２によれば、ＷＤＲ処理よりも輝度ノイズや色ノイズが発生しやすいコントラスト補正処理を、車両が走行中で、車両外部領域輝度が車両内部領域輝度より低く、かつ車両外部輝度が閾値輝度Ｃよりも低い場合にのみ用い、それ以外ではＷＤＲ処理を用いることで、被写体ブレの発生を低減しつつ、ノイズのより少ない画像を撮影可能な撮像装置を提供することができる。
【００３２】
［実施例３］
以下、図５を参照して、本発明の第３の実施例による、実施例２における閾値輝度Ｃの変更手法に関しての一例について説明する。図５は実施例２における閾値輝度Ｃの設定方法に関しての一例を示すグラフである。本グラフの処理はシステムコントローラ１０８が実行する。グラフの横軸は車両走行速度を示し、グラフの縦軸は閾値輝度Ｃを示す。車両走行速度と閾値輝度Ｃは逆比の関係をもち、例えば車両走行速度が速くなると閾値輝度Ｃを低く設定するといった制御を行う。
【００３３】
閾値輝度Ｃは、車両外部領域をＷＤＲ処理の長秒露光で撮影した場合に被写体ブレを生じるか否かの閾値を示す。閾値輝度Ｃよりも外部領域輝度が高ければ、ＷＤＲ処理の長秒露光でも車両外部の被写体に被写体ブレは生じず、閾値輝度Ｃよりも外部領域輝度が低ければ、ＷＤＲ処理の長秒露光で車両外部の被写体に被写体ブレが生じる。
【００３４】
ここで、被写体の移動速度によって被写体ブレの大小が左右されるため、閾値輝度Ｃを一定にすると、閾値輝度Ｃよりも外部領域輝度が高くても被写体ブレが生じてしまうことがある。そこで閾値輝度Ｃを車両走行速度に応じて可変にすることで、上記を防ぐことが可能となる。なお、ここでは、説明をわかりやすくするために、車両測高速度と閾値輝度Ｃの関係を逆比例で示しているが、ユーザーにより任意に調整してもよい。
【００３５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００３６】
１００  撮像光学系、１０１  赤外フィルタ、１０２  撮像素子、１０３  画像処理部、１０４  撮像光学系制御部、１０５  赤外フィルタ駆動部、１０６  赤外フィルタ制御部、１０７  走行速度検出部、１０８  システムコントローラ、１０９  通信部、２００  輝度解析部、２０１  領域設定部、２０２  領域内輝度算出部、２０３  領域内輝度比較部、２０４  輝度補正処理切替部、２０５  輝度補正部
【図１】
2018056609.tif 000003
【図２】
2018056609.tif 000004
【図３】
2018056609.tif 000005
【図４】
2018056609.tif 000006
【図５】
2018056609.tif 000007
【図６】
2018056609.tif 000008