(57)【要約】      （修正有）【課題】映像中の所定の被写体を含む領域が階調潰れしている場合に、所定の被写体の階調潰れを補正して視認性を向上した映像を安定的に提供する。【解決手段】画像入力部０１０１と、画像入力部より入力した画像信号に信号レベル補正処理を行いレベル補正した画像信号を出力する画像信号補正部０１０２と、画像入力部より入力した画像信号から階調の潰れた領域の有無を検出する階調潰れ検出部０１０３＿１と、画像入力部より入力した画像信号から階調の潰れた領域内における所定の被写体の有無を推定する所定被写体有無推定部０１０３＿２と、階調潰れ検出部の検出結果および所定被写体有無推定部の推定結果をもとに画像信号補正部の信号レベル補正処理の入出力特性の制御を行う画像信号補正制御部０１０３＿３とによって構成される。【選択図】図１
2016173777.tif 000002
【特許請求の範囲】
【請求項１】
画像入力部と、
該画像入力部より入力した画像信号に信号レベル補正処理を行いレベル補正した画像信号を出力する画像信号補正部と、
前記画像入力部より入力した画像信号から階調の潰れた領域の有無を検出する階調潰れ検出部と、
前記画像入力部より入力した画像信号から前記階調の潰れた領域内における所定の被写体の有無を推定する所定被写体有無推定部と、
前記階調潰れ検出部の検出結果および前記所定被写体有無推定部の推定結果をもとに前記画像信号補正部の信号レベル補正処理の入出力特性の制御を行う画像信号補正制御部と、を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像信号補正制御部は前記所定被写体有無推定部が前記階調の潰れた領域内に所定の被写体が有ると推定した場合に、前記階調の潰れた領域における補正の度合いが大きくなるように信号レベル補正処理の入出力特性の制御を行うことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記所定被写体有無推定部は前画像入力部より入力した画像信号を処理して得られた撮影シーンに関する情報または外部機器から取得した撮影シーンに関する情報をもとに所定の被写体の有無を推定することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記所定被写体有無推定部は撮影シーンに関する複数の異なる種類の情報を取得し、該複数の異なる種類の情報を組み合わせて所定の被写体の有無を推定することを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置において、
前記撮影シーンに関する情報は撮影時の時間帯情報、天候情報、前記階調の潰れた領域の画像内の位置または面積または形状情報、画像内の被写体の移動情報の少なくともいずれかを含むことを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置において、
前記階調潰れ検出部が前記画像入力部より入力した画像信号から信号レベルの異なる複数の階調の潰れた領域を検出した場合に、前記所定被写体有無推定部は前記信号レベルの異なる複数の階調の潰れた領域内においてそれぞれ所定の被写体の有無を推定し、前記画像信号補正制御部は前記階調潰れ検出部の検出結果および前記所定被写体有無推定部の推定結果をもとに信号レベルの異なる複数の階調の潰れた領域のそれぞれに対して前記画像信号補正部の信号レベル補正処理の入出力特性の制御を行うことを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記所定被写体有無推定部は前記信号レベルの異なる複数の階調の潰れた領域に対して、前記撮影シーンに関する情報をもとにそれぞれの信号レベルに応じた所定の被写体の有無を推定することを特徴とする画像処理装置。
【請求項８】
請求項６に記載の画像処理装置において、
前記画像信号補正制御部は前記階調潰れ検出部の検出結果および前記所定被写体有無推定部の推定結果をもとに前記信号レベルの異なる複数の階調の潰れた領域の補正重要度をそれぞれ決定し、該補正重要度と前記階調潰れ検出部の検出結果および前記所定被写体有無推定部の推定結果とを用いて前記信号レベルの異なる複数の階調の潰れた領域のそれぞれに対する信号レベル補正処理の補正の度合いを制御することを特徴とする画像処理装置。
【請求項９】
請求項６に記載の画像処理装置において、
前記画像信号補正制御部は階調の潰れた信号レベルに対応した補正重要度と、前記階調潰れ検出部の検出結果および前記所定被写体有無推定部の推定結果とを用いて前記信号レベルの異なる複数の階調の潰れた領域のそれぞれに対する信号レベル補正処理の補正の度合いを制御することを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記補正重要度を設定するための補正重要度設定部を備えることを特徴とする画像処理装置。
【請求項１１】
請求項１に記載の画像処理装置において、
前記画像信号入力部は撮像部を有し、該撮像部が撮像して得られた信号を画像信号として入力することを特徴とする画像処理装置。
【請求項１２】
請求項１１に記載の画像処理装置において、
前記画像信号補正制御部は前記階調潰れ検出部の検出結果および前記所定被写体有無推定部の推定結果をもとに前記撮像部の露出の状態と前記画像信号補正部の信号レベル補正処理の入出力特性の制御を行うことを特徴とする画像処理装置。
【請求項１３】
請求項１２に記載の画像処理装置において、さらに、
前記撮像部の撮像した露光タイミングの異なる複数の画像信号を信号処理により合成するダイナミックレンジ拡大部を備え、
前記画像信号補正制御部は前記階調潰れ検出部の検出結果および前記所定被写体有無推定部の推定結果をもとに前記ダイナミックレンジ拡大部の複数の画像信号の合成処理の実施の有無または合成処理の信号処理特性の制御を行うことを特徴とする画像処理装置。
【請求項１４】
請求項１に記載の画像処理装置において、
外部の露光可変な撮像部と接続し情報を通信する通信部を備え、
前記画像信号補正制御部は前記階調潰れ検出部の検出結果および前記所定被写体有無推定部の推定結果をもとに前記外部の撮像部の露出の状態と前記画像信号補正部の信号レベル補正処理の入出力特性の制御を行い、
前記通信部が前記画像信号補正制御部による前記外部の撮像部の露出の状態の制御情報を前記外部の撮像装置に出力することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
本技術の背景分野として、例えば特開２０１０−２０４４０４号公報（特許文献１）がある。該公報には、「逆光や日陰などの撮像環境下でも移動体に対して適切な露光を制御を行い、侵入者の顔や服装を正確に撮像する監視カメラ及びその露光制御方法の提供」を行うことを目的とし、「本発明の監視カメラは、監視エリアに入る移動体の有無及びその位置とサイズを移動体情報として検出する移動体検知手段１６、１９と、撮像画像を複数のブロックに分割し、ブロック毎の輝度平均値をブロック輝度平均値として求める輝度算出手段２０と、移動体情報に基づいて、移動体が撮像されていない移動体無ブロックについてブロック輝度平均値を時間軸方向に積分して背景画像輝度平均値を算出する背景輝度算出手段２１と、移動体情報に基づいて、移動体が撮像されている移動体有ブロックについて輝度平均値と背景画像輝度平均値とを比較し、比較結果に基づいて露光制御を行う制御手段２２と、を備える。」という技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２０４４０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記特許文献１では、映像内から所定の被写体である移動体を検出して、検出結果をもとに移動体の視認性を向上するための露光制御を実施しており、映像中の移動体の階調が黒つぶれや白とびなどの階調潰れにより損なわれている場合には移動体の検出ができないために、露光制御が適正に実施できず移動体の視認性向上が実現できないという課題が有る。
【課題を解決するための手段】
【０００５】
上記目的を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決するための複数の手段を開示しているが、例えば画像入力部と、画像入力部より入力した画像信号に信号レベル補正処理を行いレベル補正した画像信号を出力する画像信号補正部と、画像入力部より入力した画像信号から階調の潰れた領域の有無を検出する階調潰れ検出部と、画像入力部より入力した画像信号から階調の潰れた領域内における所定の被写体の有無を推定する所定被写体有無推定部と、階調潰れ検出部の検出結果および所定被写体有無推定部の推定結果をもとに画像信号補正部の信号レベル補正処理の入出力特性の制御を行う画像信号補正制御部と、を備えることで解決することができる。
【発明の効果】
【０００６】
本発明によれば、映像中の所定の被写体を含む領域が階調潰れしている場合に、所定の被写体の階調潰れを補正して視認性を向上した映像を安定的に提供する。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施例に係る画像処理装置を示す模式図
【図２】本発明の第１実施例に係る画像処理装置の信号レベル補正処理の一例を示す図
【図３】本発明の第１実施例に係る画像処理装置の階調潰れ情報検出処理の一例を示す図
【図４（ａ）】本発明の第１実施例に係る時間帯情報を用いた所定被写体有無推定処理の一例を示す図
【図４（ｂ）】本発明の第１実施例に係る階調潰れ領域の面積情報を用いた所定被写体有無推定処理の一例を示す図
【図５】本発明の第１実施例に係る画像処理装置の画像信号補正制御処理の一例を示す第一の図
【図６（ａ）】本発明の第１実施例に係る映像中の暗部に所定の被写体が存在しない場合の画像信号補正制御処理の適用例を示す図
【図６（ｂ）】本発明の第１実施例に係る映像中の暗部に所定の被写体が存在する場合の画像信号補正制御処理の適用例を示す図
【図７】本発明の第２実施例に係る画像処理装置の信号レベル補正処理の一例を示す図
【図８】本発明の第２実施例に係る画像処理装置の階調潰れ情報検出処理の一例を示す図
【図９】本発明の第２実施例に係る画像処理装置の所定被写体有無推定処理の一例を示す図
【図１０】本発明の第２実施例に係る画像処理装置の画像信号補正制御処理の一例を示す第一の図
【図１１（ａ）】本発明の第２実施例に係る映像中の中間輝度の階調潰れ領域に所定の被写体が存在しない場合の画像信号補正制御処理の適用例を示す図
【図１１（ｂ）】本発明の第２実施例に係る映像中の中間輝度の階調潰れ領域に所定の被写体が存在する場合の画像信号補正制御処理の適用例を示す図
【図１２】本発明の第３実施例に係る画像処理装置を示す模式図
【図１３（ａ）】本発明の第３実施例に係る時間帯情報を用いた所定被写体有無推定処理の一例を示す図
【図１３（ｂ）】本発明の第３実施例に係る白とび領域の面積情報を用いた所定被写体有無推定処理の一例を示す図
【図１４】本発明の第３実施例に係る画像処理装置の画像信号補正制御処理に関する処理シーケンスの第一の例を示す第一の図
【図１５（ａ）】本発明の第３実施例に係る映像中の白とび領域に所定の被写体が存在する場合の画像信号補正制御処理の適用例を示す図
【図１５（ｂ）】本発明の第３実施例に係る映像中の黒つぶれ領域に所定の被写体が存在する場合の画像信号補正制御処理の適用例を示す図
【図１６】本発明の第３実施例に係る画像処理装置の画像信号補正制御処理に関する処理シーケンスの第二の例を示す第一の図
【図１７（ａ）】本発明の第３実施例に係る映像中の黒つぶれ領域と白とび領域の双方に所定の被写体が存在する場合の画像信号補正制御処理の適用例を示す図
【図１７（ｂ）】本発明の第３実施例に係る映像中の白とび領域に所定の被写体が存在する場合の画像信号補正制御処理の適用例を示す図
【図１８】本発明の第４実施例に係る画像処理装置および撮像装置を示す模式図
【発明を実施するための形態】
【０００８】
以下、図面を用いて本発明の実施例を説明する。
【実施例１】
【０００９】
図１は、本発明の第１実施例に係る画像処理装置を示す模式図である。図１において、０１０１は画像入力部、０１０２は画像信号補正部、０１０３は制御部、０１０３＿１は階調潰れ検出部、０１０３＿２は所定被写体有無推定部、０１０３＿３は画像信号補正制御部、０１０４は入力部である。
【００１０】
図１に示した画像処理装置において、画像入力部０１０１は、映像ケーブルと接続したキャプチャボードやＬＡＮ、ＵＳＢなどを介して撮像機器ないし映像機器と接続し、画像信号を入力する。
【００１１】
画像信号補正部０１０２は、画像入力部０１０１の出力する映像信号に対して、所定の入出力特性の補正と、画像信号補正制御部０１０３＿３から取得した補正特性に基づく映像信号の画素毎の信号値である信号レベルの補正を行い、補正した映像信号を出力する。本処理の一例について図２を用いて後述する。
【００１２】
階調潰れ検出部０１０３＿１は画像入力部０１０１の出力する映像信号から所定の領域内の信号値のヒストグラムデータや注目画素と近傍画素との比較によって算出されるエッジ量等の特徴量を算出し、算出結果をもとに映像内の階調が潰れた領域や階調潰れの生じた信号レベルといった階調潰れ情報を検出する。本処理の一例について図３を用いて後述する。
【００１３】
所定被写体有無推定部０１０３＿２は画像入力部０１０１の出力する映像信号から平均輝度や所定の領域内の信号値のヒストグラムデータ、エッジ量などの特徴量を算出し、算出結果を用いて撮影時間帯や撮影時の天候などの撮影シーンに関する情報の推定値を算出する。または入力部０１０４より他の機器から撮影シーンに関する情報の推定値を取得する。これらの撮影シーンに関する情報の推定値と階調潰れ検出部０１０３＿１より取得した階調潰れ情報とを用いて、映像内の階調が潰れた領域内に所定の被写体が存在するか否かの評価値を所定被写体有無推定評価値として算出する。本処理の一例について図４を用いて後述する。ここで、所定の被写体とはユーザの注目する被写体であり、映像監視用途では例えば動体や人物や人物の顔、車両、車両のナンバープレート等であり、車載用途では例えば先行車両や標識等である。
【００１４】
画像信号補正制御部０１０３＿３は階調潰れ検出部０１０３＿１の出力する階調潰れ情報と所定被写体有無推定部０１０３＿２の出力する所定被写体有無推定評価値とを用いて、階調が潰れた領域に所定の被写体が存在すると判断できる場合に、潰れの生じた信号レベルに対する信号レベルの補正処理の補正強度が大きくなるように補正特性を決定して画像信号補正部０１０２に出力する。本処理の一例について図５を用いて後述する。
【００１５】
入力部０１０４はＬＡＮ、ＵＳＢなどを介してカメラや映像処理サーバ、ＰＣ、タイマなどの他の撮像機器や情報処理機器などと接続し、撮影時間帯や撮影時の天候などの撮影シーンに関する情報を入力する。
【００１６】
これにより、映像内に発生した階調潰れなどにより階調が潰れた領域などにおける所定の被写体の検出が困難な状況においても、所定の被写体が存在する可能性が高い場合のみに信号レベルの補正処理を実施して所定の被写体の視認性を向上することができ、画像認識の精度を向上することができる。逆に、階調の潰れた領域に所定の被写体が含まれない場合は、信号レベルの補正処理を弱めることでノイズの強調などの画質の低下を抑制することができる。このように、多様なシーンの撮影に対して安定した映像を提供することが可能である。
【００１７】
なお、画像入力部０１０１は、レンズおよび撮像素子およびＡ／Ｄ変換部を備え、撮像処理を行うことで画像信号を生成する、あるいは、不図示の画像記録部にあらかじめ格納された画像信号の読み込みを行うことにより画像信号を入力しても構わない。
【００１８】
また、上記では階調潰れ検出部０１０３＿１および所定被写体有無推定部０１０３＿２がそれぞれ画像入力部０１０１の出力する映像信号から特徴量を算出する構成としたが、階調潰れ検出部０１０３＿１および所定被写体有無推定部０１０３＿２の一方が算出した特徴量をもう一方が取得して使用する構成、あるいは、画像入力部０１０１が映像信号から特徴量を算出する処理を行って映像信号とともに出力し、階調潰れ検出部０１０３＿１および所定被写体有無推定部０１０３＿２が該特徴量を取得して使用する構成としても良く、特徴量を演算する処理を共通化することで全体の計算量を低減することができる。  また、図１で示した画像処理装置は本発明に直接関する処理部に注目して記載しているが、その他の高画質化処理や信号フォーマットの変換処理、圧縮伸張処理などを各処理の前後ないし途中で実施しても構わない。
【００１９】
また、図１で示した画像処理装置を構成する各処理は、例えばパソコンであればＣＰＵ上のアプリケーションやＧＰＵ、組み込み機器であればマイコンやＤＳＰ、専用のＬＳＩなどにて実施される。信号レベル補正処理等の信号処理をＤＳＰや専用のＬＳＩまたはＧＰＵ上で実施し、階調潰れ検出処理や所定被写体有無推定処理、画像信号補正制御処理等の制御処理をマイコンやＣＰＵで実施することで、コストや性能の最適化を図っても良い。
【００２０】
図２は、本発明の第１実施例に係る画像処理装置の信号レベル補正処理の一例を示す図である。本発明において信号レベル補正処理は画像信号補正部０１０２で実施される。
【００２１】
図２において、０２０１は画像入力部０１０１より入力した映像信号であり、０２０２＿１は映像信号内の暗部に存在する代表的な被写体領域であり、０２０２＿２は映像信号内の明部に存在する代表的な被写体領域である。画像信号補正部０１０２は予め暗部用と明部用とで異なる入出力特性情報を持ち、注目画素が暗部に存在するか明部に存在するかに応じて対応する入出力特性情報を適用して信号レベルの補正を行う。０２０２＿１に示す領域は暗部に存在する被写体領域であるため、暗部用の入出力特性情報を用いて信号を持ち上げる補正を行うことで暗い被写体の視認性を改善できる。また、０２０２＿２に示す領域は明部に存在する被写体領域であるため、明部用の入出力特性情報を用いて信号を抑制する補正を行うことで明るい被写体の視認性を改善できる。ここで、暗部の入出力特性と明部の入出力特性を画像信号補正制御部０１０３＿３から取得した補正特性である補正強度に従って補正し、最終の入出力特性を決定する。そのため、補正強度が小さい場合には入力と出力が一致するような入出力特性に近づけることで補正を弱めることができる。
【００２２】
これにより、被写体の明るさに応じて適応的に階調を補正して黒つぶれ領域や白とび領域における視認性を改善でき、また、補正強度を入力として与えることで必要に応じて補正の有無や強弱を変化させることが可能となる。
【００２３】
なお、注目画素が暗部に存在するか明部に存在するかの判定は、例えば、映像信号０２０１中の注目画素を含む局所領域の輝度の平均値から輝度信号の低周波成分を算出し、算出した低周波成分を閾値処理することで行える。
【００２４】
図３は、本発明の第１実施例に係る画像処理装置の階調潰れ情報検出処理の一例を示す図である。本発明において階調潰れ情報検出処理は階調潰れ検出部０１０３＿１で実施される。
【００２５】
図３において、０３０１は画像入力部０１０１より入力した映像信号であり、０３０２は映像信号内の暗部が黒つぶれした階調潰れ領域である。階調潰れ検出部０１０３＿１は映像信号０３０１から画像全体の輝度のヒストグラムを算出し、輝度が最低輝度の近傍に設定した所定の閾値ｔｈ以下の画素数をカウントして、その画素数が所定値を上回った場合に黒つぶれした領域が存在すると判定することができ、その判定結果を階調潰れ情報として出力する。同時に、階調潰れ情報として階調が潰れた領域の面積や信号レベルを出力してもよい。例えば、階調が潰れた領域の面積は輝度がｔｈ以下の画素の総数、階調が潰れた領域の信号レベルは輝度がｔｈ以下の画素の平均輝度から算出できる。
【００２６】
なお、説明の簡略化のため階調潰れの検出の例として黒つぶれを用いて説明したが、白とびや中間輝度の潰れを検出する場合も同様である。例えば、閾値ｔｈを最高輝度近傍に設定してｔｈ以上の画素数をカウントすれば白とびした領域の存在が判定可能であり、任意の閾値ｔｈ１とその近傍のｔｈ２を設定して、ｔｈ１以上でｔｈ２より小さい画素数をカウントすれば、任意の中間輝度の階調潰れの存在が判定できる。
【００２７】
図４は、本発明の第１実施例に係る画像処理装置の所定被写体有無推定処理の一例を示す図である。本発明において所定被写体有無推定処理は所定被写体有無推定部０１０３＿２で実施される。
図４（ａ）は時間帯情報を用いた所定被写体有無推定処理の一例であり、図４（ｂ）は階調潰れ領域の面積情報を用いた所定被写体有無推定処理の一例である。
【００２８】
図４（ａ）において、所定被写体有無推定部０１０３＿２は入力部０１０４から撮影時の時刻情報を入力することで撮影時の時間帯に関する情報ｔを取得する。撮影時の時刻情報が記録されていない場合には画像入力部０１０１より入力した映像信号の平均輝度から推定した時刻情報で代用してもよい。所定被写体有無推定部０１０３＿２は取得した時間帯に関する情報ｔをもとに、所定の入出力特性にもとづいて、階調潰れ検出部０１０３＿１から取得した黒つぶれ領域内における所定の被写体が存在するか否かを推定する所定被写体存在推定評価値Ｅ１を決定する。例えば撮影用途において、日中の黒つぶれは被写体の黒い絵柄に起因して発生する可能性が高く、夜間の黒つぶれは人物や車両などの注目被写体が照度不足のため発生する可能性が高いため、時間帯が夜間になるほどＥ１が大きくなるような入出力特性とすることで黒つぶれ領域に所定の被写体が含まれるか否かを推定可能である。
【００２９】
図４（ｂ）において、所定被写体有無推定部０１０３＿２は画像入力部０１０１より入力した映像信号から黒つぶれ領域の面積Ｎを算出する。黒つぶれ領域の面積Ｎの算出は、先述の階調潰れ検出部０１０３＿１における階調が潰れた領域の面積の算出と同様の方法で可能である。または、階調潰れ検出部０１０３＿１の出力する階調が潰れた領域の面積をＮとして用いても良い。所定被写体有無推定部０１０３＿２は算出した黒つぶれ領域の面積Ｎをもとに、所定の入出力特性にもとづいて、階調潰れ検出部０１０３＿１から取得した黒つぶれ領域内における所定の被写体が存在するか否かを推定する所定被写体存在推定評価値Ｅ２を決定する。所定の入出力特性として、例えば撮影用途において、黒つぶれ領域が小さい場合は被写体の黒い絵柄に起因して発生する可能性が高く、黒つぶれ領域が大きい場合は人物や車両などの注目被写体を含む領域である可能性が高いため、黒つぶれ領域の面積Ｎが大きいほどＥ２が大きくなるような入出力特性とすることで黒つぶれ領域に所定の被写体が含まれるか否かを推定可能である。
【００３０】
このように所定被写体有無推定部０１０３＿２は画像入力部０１０１の出力する映像信号から推定した撮影シーンに関する情報や入力部０１０４より他の機器から取得した撮影シーンに関する情報を用いることで、所定の被写体を含む領域の階調が潰れて画像認識による被写体検出が困難な場合でも所定の被写体が存在するか否かを推定することが可能である。
【００３１】
図５は、本発明の第１実施例に係る画像処理装置の画像信号補正制御処理の一例を示す第一の図である。本発明において画像信号補正制御処理は画像信号補正制御部０１０３＿３で実施される。
【００３２】
図５において、画像信号補正制御部０１０３＿３は所定被写体有無推定部０１０３＿２の出力する時間帯情報ｔから決定した黒潰れ領域内における所定被写体存在推定評価値Ｅ１と黒つぶれ領域の面積Ｎから決定した黒潰れ領域内における所定被写体存在推定評価値Ｅ２を取得し、その積分であるＥ１×Ｅ２が大きくなるにつれて階調潰れ検出部０１０３＿１の出力する階調潰れの生じた信号レベル、すなわち暗部の補正強度が大きくなるように補正特性を決定し、画像信号補正部０１０２に出力する。このように、複数の撮影シーンに関する情報から算出した所定被写体存在推定評価値を組み合わせて用いることで、黒つぶれした領域に所定の被写体が存在するか否かを高精度に推定することができ、また、その推定結果にもとづいて黒つぶれ領域に所定の被写体が存在する場合の視認性を向上することが可能である。
【００３３】
なお、同時に白とび領域や中間輝度の潰れ領域が存在する場合についても、同様にそれぞれの領域における所定被写体存在推定評価値を所定被写体有無推定部０１０３＿２で算出し、画像信号補正制御部０１０３＿３が算出結果を取得して対応する階調潰れの生じた信号レベルの補正特性を決定することで、白とび領域や中間輝度の潰れ領域に所定被写体が存在する場合にその領域の視認性を向上することが可能である。
【００３４】
図６は、本発明の第１実施例に係る画像処理装置の画像信号補正制御処理の一例を示す第二の図である。
図６（ａ）は映像中の暗部に所定の被写体が存在しない場合の画像信号補正制御処理の適用例であり、図６（ｂ）は映像中の暗部に所定の被写体が存在する場合の画像信号補正制御処理の適用例である。
【００３５】
図６（ａ）は日中で路上を撮影した映像であり、映像中の暗部は黒い車両の絵柄を撮影したことに起因して生じている。この場合、時間帯情報ｔから決定した黒潰れ領域内における所定被写体存在推定評価値Ｅ１と黒つぶれ領域の面積Ｎから決定した黒潰れ領域内における所定被写体存在推定評価値Ｅ２はともに小さい値となるため、所定被写体有無推定部０１０３＿２は暗部の補正強度が小さくなるように補正特性を決定する。そのため、不要にも関わらず信号レベル補正処理による暗部の信号レベル補正に行うことによるノイズの強調などの弊害を抑制することが可能である。
【００３６】
また、図６（ｂ）は夜間で路上を撮影した映像であり、照度不足による露出アンダに起因して映像中の暗部が生じている。この場合、時間帯情報ｔから決定した黒潰れ領域内における所定被写体存在推定評価値Ｅ１と黒つぶれ領域の面積Ｎから決定した黒潰れ領域内における所定被写体存在推定評価値Ｅ２はともに大きい値となるため、所定被写体有無推定部０１０３＿２は暗部の補正強度が大きくなるように補正特性を決定する。そのため、信号レベル補正処理による暗部の信号レベル補正を行うことで黒潰れした車両等の注目被写体の視認性を向上することができる。
【００３７】
かように本実施例によれば、映像内の階調潰れの発生した領域に所定の被写体が存在するか否かを高精度で推定し、所定の被写体が存在する場合には視認性を向上し、存在しない場合には過度の補正を抑制することができ、様々なシーンに適応して視認性と画質を向上した映像を提供することが可能となる。
【実施例２】
【００３８】
本実施例は、本発明を霧画像補正装置に適用した場合の例である。本実施例の構成は図１に示した本発明の第１実施例に係る画像処理装置を示す模式図と同様であり、画像信号補正部０１０２における信号レベル補正処理や、階調潰れ検出部０１０３＿１における階調潰れ情報検出処理、所定被写体有無推定部０１０３＿２における所定被写体有無推定処理、画像信号補正制御部０１０３＿３における画像信号補正制御処理の作用が異なる。
【００３９】
図７は、本発明の第２実施例に係る画像処理装置の信号レベル補正処理の一例を示す図である。本発明において信号レベル補正処理は画像信号補正部０１０２で実施される。
【００４０】
図７において、０７０１は画像入力部０１０１より入力した映像信号である。画像信号補正部０１０２は予め霧画像補正として中間輝度部を伸張する入出力特性を持つ。霧の影響によって被写体の階調は一定の輝度に近づくように収束するが、霧の状態や露光状態に応じて信号がどのように収束するかは異なる。そこで、中間輝度部のいずれの輝度範囲を伸張するかは、例えば、注目画素を含む局所領域の輝度の最大と見做せる値と最小と見做せる値を検出することで行える。予め複数の入出力特性をルックアップテーブルまたは関数式で用意し、注目画素を含む局所領域の輝度の最大値と最小値に対して、輝度の最大値がより大きく、輝度の最小値がより小さくなるような入出力特性を領域毎に選択することで領域毎の霧の濃さに応じた階調の拡大処理が可能となる。また、各局所領域について算出した入出力特性を画像信号補正制御部０１０３＿３から取得した補正特性である補正強度に応じて補正し、補正強度が小さい場合には入力と出力が一致するような入出力特性に近づけることで補正を弱めることができる。
【００４１】
これにより、領域毎の霧の濃さに応じて適応的に階調を補正して霧がかったシーンにおける視認性を改善でき、また、補正特性を入力として与えることで必要に応じて補正の有無や強弱を制御することが可能となる。
【００４２】
図８は、本発明の第２実施例に係る画像処理装置の階調潰れ情報検出処理の一例を示す図である。本発明において階調潰れ情報検出処理は階調潰れ検出部０１０３＿１で実施される。
【００４３】
図８において、０８０１は画像入力部０１０１より入力した映像信号であり、０８０２は映像信号内の霧が非常に濃く中間輝度の階調が潰れた領域である。階調潰れ検出部０１０３＿１は映像信号０３０１から画像内の所定の領域、例えば領域０８０２内の輝度のヒストグラムを算出し、輝度の最大と見做せる値であるｄｅｔ＿ｆｌと最小と見做せる値であるｄｅｔ＿ｆｄを検出して、その差分ｄｅｔ＿ｆｌ−ｄｅｔ＿ｆｄとして算出される被写体コントラストｃが所定値を下回った場合に該所定の領域は霧により中間輝度の階調が潰れていると判定することができる。そこで、画像を複数の小領域に分割してそれぞれの領域における被写体コントラストｃを算出し、ｃが所定値を下回る領域が存在すれば、中間輝度の階調が潰れている領域が存在すると判定して、その判定結果を階調潰れ情報として出力する。同時に、階調潰れ情報として階調が潰れた領域の面積や信号レベルを出力してもよい。例えば、階調が潰れた領域の信号レベルはｃが所定値を下回った小領域のそれぞれの平均輝度から複数の信号レベルとして算出することができる。また、それぞれの信号レベルにおける階調が潰れた領域の面積は信号レベルが等しくかつｃが所定値を下回った小領域の総数から算出することできる。
【００４４】
図９は、本発明の第２実施例に係る画像処理装置の所定被写体有無推定処理の一例を示す図である。本発明において所定被写体有無推定処理は所定被写体有無推定部０１０３＿２で実施される。
【００４５】
図９において、所定被写体有無推定部０１０３＿２は入力部０１０４から撮影時の天候情報を入力することで撮影時の天候に関する情報を取得する。撮影時の天候情報が入力できない場合には画像入力０１０１より入力した映像信号の被写体コントラストｃの画面内分布の情報や色温度情報から推定した天候情報で代用してもよい。また、画像入力部０１０１より入力した映像信号から階調潰れ検出部０１０３＿１の出力する階調が潰れた領域における被写体コントラストｃを算出する。被写体コントラストｃの算出は、先述の階調潰れ検出部０１０３＿１における被写体コントラストｃの算出と同様の方法で可能である。または、階調潰れ検出部０１０３＿１より取得した被写体コントラストｃを用いても良い。所定被写体有無推定部０１０３＿２は取得した天候情報と被写体コントラストｃをもとに、所定の入出力特性にもとづいて、階調潰れ検出部０１０３＿１から取得した中間輝度の階調潰れによる低コントラスト領域内における所定の被写体が存在するか否かを推定する所定被写体存在推定評価値Ｅ３を決定する。例えば、被写体コントラストｃが小さいほど霧により所定の被写体を含む領域で階調潰れが発生している可能性が高いと判定し、被写体コントラストｃが小さくなるほどＥ３が大きくなるような入出力特性とすることで中間輝度の階調潰れ領域に所定の被写体が含まれるか否かを推定可能である。その際に、天候情報を組み合わせて使用し、天候情報が霧や黄砂を示す場合は霧の影響でコントラストが低下している可能性がより高いと判定してＥ３が大きくなりやすく、天候情報が晴天を示す場合は被写体がもともとコントラストのない絵柄であると判定してＥ３が大きくなりにくいような入出力特性とする。
【００４６】
このように、複数の撮影シーンに関する情報を組み合わせて所定被写体存在推定評価値を決定することで、霧の影響で中間輝度の階調潰れが発生した領域に所定の被写体が存在するか否かを高精度に推定することができる。
【００４７】
図１０は、本発明の第２実施例に係る画像処理装置の画像信号補正制御処理の一例を示す第一の図である。本発明において画像信号補正制御処理は画像信号補正制御部０１０３＿３で実施される。
【００４８】
図１０において、画像信号補正制御部０１０３＿３は所定被写体有無推定部０１０３＿２の出力する低コントラスト領域内における所定被写体存在推定評価値Ｅ３を取得し、Ｅ３が大きくなるにつれて階調潰れ検出部０１０３＿１の出力する階調潰れの生じた信号レベルの霧画像補正強度が大きくなるように補正特性を決定し、画像信号補正部０１０２に出力する。このように、中間輝度が階調潰れした領域に所定の被写体が存在するか否かの推定結果にもとづいて霧の影響で階調が潰れた領域に所定の被写体が存在する場合の視認性を向上することが可能である。
【００４９】
図１１は、本発明の第２実施例に係る画像処理装置の画像信号補正制御処理の一例を示す第二の図である。
図１１（ａ）は映像中の中間輝度の階調潰れ領域に所定の被写体が存在しない場合の画像信号補正制御処理の適用例であり、図１１（ｂ）は中間輝度の階調潰れ領域に所定の被写体が存在する場合の画像信号補正制御処理の適用例である。
【００５０】
図１１（ａ）は晴天時にコントラストの低い建物などを撮影した映像であり、映像中の中間輝度の階調潰れはコントラストを持たない壁面などの絵柄を撮影したことに起因して生じている。この場合、低コントラスト領域内における所定被写体存在推定評価値Ｅ３は小さい値となるため、所定被写体有無推定部０１０３＿２は霧画像補正強度が小さくなるように補正特性を決定する。そのため、不要にも関わらず信号レベル補正処理による中間輝度の階調を伸張することによるノイズの強調などの弊害を抑制することが可能である。
【００５１】
また、図１１（ｂ）は霧天候時に屋外を撮影した映像であり、映像中の中間輝度の階調潰れは霧の影響に起因して生じている。この場合、低コントラスト領域内における所定被写体存在推定評価値Ｅ３は大きい値となるため、所定被写体有無推定部０１０３＿２は霧画像補正強度が大きくなるように補正特性を決定する。そのため、信号レベル補正処理による中間輝度の階調を伸張する信号レベル補正を行うことで霧の影響で階調潰れした遠方の人物等の注目被写体の視認性を向上することができる。
【００５２】
かように本実施例によれば、画像処理装置を霧画像補正装置に適用した場合にも、様々なシーンに適応して視認性と画質を向上した映像を提供することが可能となる。
【実施例３】
【００５３】
本実施例は、本発明を撮像装置に適用した場合の例である。
【００５４】
図１２は、本発明の第３実施例に係る画像処理装置を示す模式図である。図１２において、１２０１は撮像部、１２０２は画像信号補正部、１２０３は制御部、１２０３＿１は階調潰れ検出部、１２０３＿２は所定被写体有無推定部、１２０３＿３は画像信号補正制御部、１２０４は入力部、１２０５は補正重要度設定部、１２０６はダイナミックレンジ拡大部、１２０７は画像メモリ部である。図１２に示す本発明の第３実施例に係る画像処理装置を示す模式図は、図１に示した本発明の第１実施例に係る画像処理装置を示す模式図を撮像装置に適用したものであり、画像信号補正部１２０２、階調潰れ検出部１２０３＿１、所定被写体有無推定部１２０３＿２、入力部１２０４は第１実施例と同様の動作を行う。
【００５５】
図１２に示した撮像装置において、撮像部１２０１は、ズームレンズ及びフォーカスレンズを含むレンズ群や、アイリスや、シャッタや、ＣＣＤまたはＣＭＯＳなどの撮像素子や、ＣＤＳやＡＧＣや、ＡＤコンバータ等を適宜用いて構成され、撮像素子に受光した光学像を光電変換し、画像信号として出力する。その際に、露出量の評価値の検出処理やデジタルゲイン処理や各画素に対する局所的な明るさの算出処理やノイズ補正処理といった種々のカメラ画像処理を行い出力する画像信号を生成しても良い。
【００５６】
画像信号補正制御部１２０３＿３は階調潰れ検出部１２０３＿１の出力する階調潰れ情報と所定被写体有無推定部１２０３＿２の出力する所定被写体有無推定評価値を用いて、階調が潰れた領域に所定の被写体が存在すると判断した場合に、潰れの生じた信号レベルの階調が拡大するように撮像部１２０１の露出量の補正量や潰れの生じた信号レベルに対する信号レベルの補正処理の補正特性やダイナミックレンジ拡大部１２０６の映像合成処理の合成特性を決定する。また、複数の信号レベルにおいて階調潰れが発生している場合には、それぞれの信号レベルにおける所定被写体有無推定評価値および補正重要度に応じてそれぞれの信号レベルに対する露出量の補正量や潰れの生じた信号レベルに対する信号レベルの補正処理の補正特性やダイナミックレンジ拡大部１２０６の映像合成処理の合成特性を決定する。補正重要度は所定被写体有無推定評価値から決定するか、補正重要度設定部１２０５から取得した値を用いる。本処理の一例について図１４を、別の一例について図１６を用いて後述する。
【００５７】
補正重要度設定部１２０５はカーソルキーやボタンなどのユーザ入力装置を備え、あるいはＬＡＮ、ＵＳＢなどを介して映像処理サーバやＰＣなどの情報処理機器と接続し、ユーザの設定した、画像信号補正制御部１２０３＿３で複数の信号レベルにおける階調潰れを補正する際の信号レベルごとの補正重要度を入力する。また、モニタ部などと接続し、ユーザが設定するためのインタフェース画面を表示する。
【００５８】
ダイナミックレンジ拡大部１２０６は異なる露光期間の映像信号を所定の比率で合成して、合成映像を出力する。これを実現するには、一例として、画像信号補正部１２０２から入力したある露光期間の映像信号を画像メモリ部１２０７に蓄積しておき、画像信号補正部１２０２から入力した別の露光期間の映像信号と、画像メモリ部１２０７より読み出した先の露光期間の映像信号を重み付けした上で加算すれば良い。この加算処理を繰り返すことにより、任意の数の感度が異なる映像信号を合成することが可能であり、低照度にある被写体から高照度にある被写体まで映像上で階調が潰れずに撮像することを可能としたワイドダイナミックレンジ機能が実現できる。また、合成の方法としては、異なる露光期間の映像信号を重み付けした上で加算するのではなく、画素ごとにどちらの露光期間の映像信号を用いるかを選択する方法を取っても良い。また、ワイドダイナミックレンジ機能を使用しない場合は、合成処理を行わず、映像信号をそのまま出力してもよい。
【００５９】
画像メモリ部１２０７はＳＤＲＡＭやＤＤＲメモリを備え、ダイナミックレンジ拡大部１２０６から入力したある露光期間の映像信号を蓄積し、ダイナミックレンジ拡大部１２０６からの要求したタイミングに応じて出力する。
【００６０】
これにより、本発明を撮像部１２０１を備えた撮像装置に適用した場合においても、映像内に階調潰れが発生し、画像認識などにより階調が潰れた領域における所定の被写体の検出が困難な状況においても、所定の被写体が存在する可能性が高い場合のみに露出量の補正や信号レベルの補正処理やダイナミックレンジ拡大処理を実施して所定の被写体の視認性を向上することができる。逆に、階調の潰れた領域に所定の被写体が含まれない場合は、露出量の補正や信号レベルの補正処理やダイナミックレンジ拡大処理を弱めることでノイズの強調などの画質の低下を抑制することができるため、多様なシーンの撮影に対して安定した映像を提供することが可能である。特に、本実施例の場合、信号レベルの補正を行う際に撮像部１２０１の露出の制御やダイナミックレンジ拡大部１２０６の映像合成特性の制御も併せて行うため、撮像時にセンサが飽和して白とびした場合や感度不足で完全に黒潰れしたときでも、その領域に所定の被写体が含まれる場合に信号レベルを補正して視認性を向上することが可能である。
【００６１】
なお、ダイナミックレンジ拡大部１２０６は、画像信号補正部１２０２の出力する映像信号を入力する構成としたが、画像信号補正部１２０２がダイナミックレンジ拡大部１２０６の出力する映像合成処理後の映像信号を入力する構成としても構わない。この場合、ダイナミックレンジ拡大部１２０６は非線形の信号レベル補正処理を行う前の被写体光量に線形な信号を入力するため、映像合成処理時の画質の向上が図りやすいという利点がある。また、ダイナミックレンジ拡大部１２０６が画像メモリ部１２０７が撮像部１２０１に含まれ、撮像部１２０１が画像信号を出力する過程で映像合成処理を行う構成としても構わない。この場合、撮像部１２０１が後段の処理よりも高速駆動や長ビット処理を行うことで、映像合成処理の処理レートの向上や量子化誤差の低減による画質向上を図ることが可能である。
【００６２】
また、図１２で示した撮像装置を構成する各処理は、例えばパソコンであればＣＰＵ上のアプリケーションやＧＰＵ、組み込み機器であればマイコンやＤＳＰ、専用のＬＳＩなどにて実施される。信号レベル補正処理やダイナミックレンジ拡大処理等の信号処理をＤＳＰや専用のＬＳＩまたはＧＰＵ上で実施し、階調潰れ検出処理や所定被写体有無推定処理、画像信号補正制御処理等の制御処理をマイコンやＣＰＵで実施することで、コストや性能の最適化を図っても良い。
【００６３】
図１３は、本発明の第３実施例に係る画像処理装置の所定被写体有無推定処理の一例を示す図である。本例では映像中に白とびが発生した場合の所定被写体有無推定処理の一例を示す。本発明において所定被写体有無推定処理は所定被写体有無推定部１２０３＿２で実施される。
図１３（ａ）は時間帯情報を用いた所定被写体有無推定処理の一例であり、図１３（ｂ）は白とび領域の面積情報を用いた所定被写体有無推定処理の一例である。
【００６４】
図１３（ａ）において、所定被写体有無推定部１２０３＿２は入力部１２０４から撮影時の時刻情報を入力することで撮影時の時間帯に関する情報ｔを取得する。撮影時の時刻情報が記録されていない場合には撮像部１２０１より入力した映像信号の平均輝度から推定した時刻情報で代用してもよい。所定被写体有無推定部１２０３＿２は取得した時間帯に関する情報ｔをもとに、所定の入出力特性にもとづいて、階調潰れ検出部１２０３＿１から取得した白とび領域内における所定の被写体が存在するか否かを推定する所定被写体存在推定評価値Ｅ４を決定する。例えば撮影用途において、日中の白とびは人物や車両などの注目被写体が逆光のため発生する可能性が高く、夜間の白とびは照明等の注目度の低い被写体に起因して発生する可能性が高い場合には、時間帯が日中になるほどＥ４が大きくなるような入出力特性とすることで白とび領域に所定の被写体が含まれるか否かを推定可能である。図１３（ｂ）において、所定被写体有無推定部１２０３＿２は撮像部１２０１より入力した映像信号から白とび領域の面積Ｍを算出する。白とび領域の面積Ｍの算出は、図３に示した本発明の第１実施例に係る画像処理装置の階調潰れ情報検出処理の一例での階調潰れ検出部０１０３＿１における階調が潰れた領域の面積の算出と同様の方法で可能である。または、階調潰れ検出部１２０３＿１が階調潰れ検出部０１０３＿１と同様の方法で白とびした領域の面積を出力し、Ｍとして用いても良い。所定被写体有無推定部１２０３＿２は算出した白とび領域の面積Ｍをもとに、所定の入出力特性にもとづいて、階調潰れ検出部１２０３＿１から取得した白とび領域内における所定の被写体が存在するか否かを推定する所定被写体存在推定評価値Ｅ５を決定する。例えば撮影用途において、白とび領域が小さい場合は点光源などの注目度の低い被写体に起因して発生する可能性が高く、白とび領域が大きい場合は人物や車両などの注目被写体を含む領域である可能性が高い場合には、白とび領域の面積Ｍが大きいほどＥ５が大きくなるような入出力特性とすることで黒つぶれ領域に所定の被写体が含まれるか否かを推定可能である。
【００６５】
このように所定被写体有無推定部１２０３＿２は撮像部１２０１の出力する映像信号から推定した撮影シーンに関する情報や入力部１２０４より他の機器から取得した撮影シーンに関する情報を用いることで、所定の被写体を含む領域の階調が白とびして画像認識による被写体検出が困難な場合でも所定の被写体が存在するか否かを推定することが可能である。
【００６６】
画像信号補正制御部１２０３＿３はこのようにして得られた所定被写体存在推定評価値Ｅ４およびＥ５を用い、その積分であるＥ４×Ｅ５が大きくなるにつれて階調潰れ検出部１２０３＿１の出力する階調潰れの生じた信号レベル、すなわち白とびを補正するように撮像部１２０１の露出量の補正量や画像信号補正部１２０２の信号レベル補正処理の補正特性やダイナミックレンジ拡大部１２０６の映像合成処理の映像合成特性を決定することで、白とび領域に所定の被写体が存在する場合の視認性を向上することが可能である。
【００６７】
なお、図１３（ａ）では、時間帯に関する情報ｔにより示す時間帯が日中になるほどＥ４が大きくなるような入出力特性の例を示したが、ナンバープレート監視などの用途に用いることを前提とした場合、夜間の白とびはナンバープレートを含む高反射率の被写体に対する照明の反射に起因して発生する可能性が高く、日中の白とびはナンバープレート以外の注目度の低い被写体に対し逆光のため発生する可能性が高いため、時間帯が夜間になるほどＥ４が大きくなるような入出力特性とすればよい。このように用途に応じた所定の入出力特性にもとづき所定被写体有無推定評価値を算出することで、白とびした領域にユーザの注目する所定の被写体が存在するか否かを高精度に推定可能である。
【００６８】
図１４は、本発明の第３実施例に係る画像処理装置の画像信号補正制御処理に関する処理シーケンスの第一の例を示す第一の図である。本発明において画像信号補正制御処理は画像信号補正制御部１２０３＿３で実施される。
【００６９】
図１４に示す画像信号補正制御処理に関する処理シーケンスにおいて、ＳＴ１４０１では、階調潰れ検出部１２０３＿１の出力する階調潰れ情報として映像内の階調が潰れた領域の有無と潰れの生じた信号レベルｉを取得する。信号レベルの異なる複数の階調の潰れた領域が存在する場合にはそれぞれの潰れの生じた信号レベルｉを取得する。
【００７０】
ＳＴ１４０２では、所定被写体有無推定部１２０３＿２から潰れの生じた信号レベルｉにおける所定被写体有無推定結果Ｅｉを取得する。
【００７１】
ＳＴ１４０３では、全ての潰れの生じた信号レベルｉについて対応する所定被写体有無推定結果Ｅｉを取得したかを判定し、全て取得した場合はＳＴ１４０５に、そうでない場合はＳＴ１４０４に進む。
【００７２】
ＳＴ１４０４では、潰れの生じた信号レベルｉの値を、所定被写体有無推定結果Ｅｉが未取得であるｉの値に更新し、ＳＴ１４０２に進む。
【００７３】
ＳＴ１４０５では、所定被写体有無推定結果Ｅｉをもとに各々の信号レベルｉに対する補正の重要度を決定する。ここでは、所定被写体有無推定結果Ｅｉが大きい順に、各々の信号レベルｉに対する補正の優先度が高くなるように重要度を割り当てる。例えば映像内で暗部の信号レベルｌｄｋにおいて黒つぶれが、明部の信号レベルｌｌｔにおいて白とびが発生している場合に、それぞれの信号レベルに対する所定被写体有無推定結果ＥｌｄｋとＥｌｌｔを比較し、ＥｌｌｔがＥｌｄｋより大きい場合には白とびに対する補正を優先するように信号レベルｌｌｔに対する補正重要度に１を、信号レベルｌｄｋに対する補正重要度に２を設定する。ここで、補正重要度は小さいほど補正の優先度が高くなるものとする。
【００７４】
ＳＴ１４０６では、潰れの生じた信号レベルｉにおける補正重要度と所定被写体有無推定結果Ｅｉをもとに露出量の補正量を決定する。ここでは、最も補正重要度の高い信号レベルｉを選択し、所定被写体有無推定結果Ｅｉが大きくなるにつれて露出量の補正量が大きくなるように露出量の補正量を決定する。先述の例では信号レベルｌｌｔに対する補正重要度が１で最も高いため露出量が低減するように補正量を決定することで、信号レベルｌｌｔにおける白飛びが改善するようにする。
【００７５】
ＳＴ１４０７では、潰れの生じた信号レベルｉにおける補正重要度と所定被写体有無推定結果Ｅｉをもとに信号レベル補正の補正特性を決定する。ここでは、最も補正重要度の高い信号レベルｉを選択し、所定被写体有無推定結果Ｅｉが大きくなるにつれて信号レベルｉにおける信号レベル補正量の補正強度が大きくなるように補正特性を決定する。先述の例では信号レベルｌｌｔに対する補正重要度が１で最も高いため信号レベルｌｌｔに対する信号レベル補正処理の補正強度が大きくなるように補正特性を決定することで、信号レベルｌｌｔにおける白飛びが改善するようにする。
【００７６】
このように映像内に階調潰れが発生し、画像認識などにより階調が潰れた領域における所定の被写体の検出が困難な状況においても、所定の被写体が存在する可能性が高い場合のみに露出量の補正や信号レベルの補正処理を実施して所定の被写体の視認性を向上することができる。また、白とびと黒つぶれが同時に発生した場合など、露出を制御することでいずれか一方の視認性が改善し一方の視認性が低下する排他動作を行うようなシーンにおいても、いずれの領域により重要な被写体が存在するかを推定し、より重要な被写体の視認性を優先して向上することが可能である。
【００７７】
なお、補正重要度を用いた露出量の補正量や信号レベルの補正強度の決定の異なる処理の例として、各々の信号レベルｉに対する所定被写体有無推定結果Ｅｉと同じ比率の値として補正重要度を算出し、各々の信号レベルｉに対する所定被写体有無推定結果Ｅｉからそれぞれ決定した露出量の補正量や信号レベルの補正強度を算出した補正重要度で重み付け加算した露出量の補正量や信号レベルの補正強度を用いるようにしてもよい。この場合は映像内に白とびと黒つぶれが同時に発生したときに、白とび領域に所定被写体が存在する可能性が黒つぶれ領域に定被写体が存在する可能性より非常に高い場合には大きく白とびを抑える露出の制御を行い、白とび領域に所定被写体が存在する可能性が黒つぶれ領域に定被写体が存在する可能性より若干高い場合にはやや白とびを抑える露出の制御を行う、といったようにバランスを考慮した絵作りが可能となる。
【００７８】
また、ＳＴ１４０５において補正重要度を所定被写体有無推定結果Ｅｉをもとに算出するのでなく、補正重要度設定部１２０５より入力したユーザの設定した補正重要度を用いてもよい。この場合は、ユーザが見たい信号レベルにおける階調の潰れた領域の視認性を優先して向上することができる。
【００７９】
図１５は、本発明の第３実施例に係る画像処理装置の画像信号補正制御処理の第一の例を示す第二の図である。
【００８０】
図１５において、図１５（ａ）は映像中の白とび領域に所定の被写体が存在する場合の画像信号補正制御処理の適用例であり、図１５（ｂ）は映像中の黒つぶれ領域に所定の被写体が存在する場合の画像信号補正制御処理の適用例である。
【００８１】
図１５（ａ）は日中で室内を撮影した映像であり、映像中の白とび領域は窓から非常に明るい屋外を同時に撮影したことに起因して生じている。この場合、白とび領域内における所定被写体存在推定評価値Ｅｌｌｔは大きい値となり、黒つぶれ領域内における所定被写体存在推定評価値Ｅｌｄｋは小さい値となる。そのため、信号レベルｌｌｔに対する補正重要度が高くなり、白とび領域に対する補正強度が大きく、暗部の補正の強度が小さくなるように露出量の補正量や信号レベル補正処理の補正特性を決定するため、白とび領域内の被写体を優先して視認性を向上させることが可能である。また、図１５（ｂ）は夜間で路上を撮影した映像であり、映像中の白とび領域は街灯が点光源となって発生し、映像中の黒つぶれ領域は照度不足による露出アンダに起因して生じている。この場合、白とび領域内における所定被写体存在推定評価値Ｅｌｌｔは小さい値となり、黒つぶれ領域内における所定被写体存在推定評価値Ｅｌｄｋは大きい値となる。そのため、信号レベルｌｄｋに対する補正重要度が高くなり、白とび領域に対する補正強度が小さく、暗部の補正の強度が大きくなるように露出量の補正量や信号レベル補正処理の補正特性を決定するため、黒つぶれ領域内の被写体を優先して視認性を向上させることが可能である。
【００８２】
このように白とびと黒つぶれが同時に発生した場合でも、より重要な被写体が存在する領域を推定し、より重要な被写体の視認性を優先して向上することが可能である。
【００８３】
図１６は、本発明の第３実施例に係る画像処理装置の画像信号補正制御処理に関する処理シーケンスの第二の例を示す第一の図である。本発明において画像信号補正制御処理は画像信号補正制御部１２０３＿３で実施される。
【００８４】
図１６に示す画像信号補正制御処理に関する処理シーケンスにおいて、ＳＴ１６０１では、階調潰れ検出部１２０３＿１の出力する階調潰れ情報として映像内の階調が潰れた領域の有無と潰れの生じた信号レベルｉを取得する。信号レベルの異なる複数の階調の潰れた領域が存在する場合にはそれぞれの潰れの生じた信号レベルｉを取得する。
【００８５】
ＳＴ１６０２では、所定被写体有無推定部１２０３＿２から階調の潰れた信号レベルｉにおける所定被写体有無推定結果Ｅｉを取得する。
【００８６】
ＳＴ１６０３では、全ての潰れの生じた信号レベルｉについて対応する所定被写体有無推定結果Ｅｉを取得したかを判定し、全て取得した場合はＳＴ１６０５に、そうでない場合はＳＴ１６０４に進む。
【００８７】
ＳＴ１６０４では、潰れの生じた信号レベルｉの値を、所定被写体有無推定結果Ｅｉが未取得であるｉの値に更新し、ＳＴ１６０２に進む。
【００８８】
ＳＴ１６０５では、黒つぶれと白とびがともに存在し、黒つぶれの発生している領域の信号レベルｌｄｋに対する所定被写体有無推定結果Ｅｌｄｋが所定の閾値ｔｈ１より大きく、かつ、白とびの発生している領域の信号レベルｌｌｔに対する所定被写体有無推定結果Ｅｌｌｔが所定の閾値ｔｈ２より大きいかを判定し、ともに所定の閾値より大きい場合にはＳＴ１６０６に進み、それ以外の場合にはＳＴ１６０８に進む。
【００８９】
ＳＴ１６０６では、ダイナミックレンジ拡大部１２０６が映像合成処理を行うための撮像部１２０１の露出の制御量を決定する。ここでは、第一のフレームにおいて黒つぶれの改善を行うための第一の露光時間を設定し、第二のフレームにおいて白とびの改善を行うための第二の露光時間を設定する。第一の露光時間は信号レベルｌｄｋに対する所定被写体有無推定結果Ｅｌｄｋが大きくなるにつれて露光時間が長くなるように決定し、第二の露光時間は信号レベルｌｌｔに対する所定被写体有無推定結果Ｅｌｌｔが大きくなるにつれて露光時間が短くなるように決定する。
【００９０】
ＳＴ１６０７では、ダイナミックレンジ拡大部１２０６が映像合成処理を行うための信号処理特性を決定する。ここでは、第一のフレームの映像と第二のフレームの映像を合成する際に、信号レベルｌｄｋに対する所定被写体有無推定結果Ｅｌｄｋが大きいほど第一のフレームの映像の合成比が大きくなるような特性とする。
【００９１】
ＳＴ１６０８では、所定被写体有無推定結果Ｅｉをもとに各々の信号レベルｉに対する補正の重要度を決定する。ここでは、所定被写体有無推定結果Ｅｉが大きい順に、各々の信号レベルｉに対する補正の優先度が高くなるように重要度を割り当てる。
【００９２】
ＳＴ１６０９では、階調の潰れた信号レベルｉにおける補正重要度と所定被写体有無推定結果Ｅｉをもとに露出量の補正量を決定する。ここでは、最も補正重要度の高い信号レベルｉを選択し、所定被写体有無推定結果Ｅｉが大きくなるにつれて露出量の補正量が大きくなるように露出量の補正量を決定する。
【００９３】
ＳＴ１６１０では、階調の潰れた信号レベルｉにおける補正重要度と所定被写体有無推定結果Ｅｉをもとに信号レベル補正の補正特性を決定する。ここでは、最も補正重要度の高い信号レベルｉを選択し、所定被写体有無推定結果Ｅｉが大きくなるにつれて信号レベルｉにおける信号レベル補正量の補正強度が大きくなるように補正特性を決定する。
【００９４】
このように映像内に階調潰れが発生し、画像認識などにより階調が潰れた領域における所定の被写体の検出が困難な状況においても、所定の被写体が存在する可能性が高い場合のみに露出量の補正や信号レベルの補正処理を実施して所定の被写体の視認性を向上することができる。特に白とびと黒つぶれが同時に発生し、かつ両方に重要な被写体が存在する場合にダイナミックレンジ拡大処理を用いることで双方の視認性を向上することができ、白とびと黒つぶれが同時に発生しても一方にしか重要な被写体が存在しない場合にはダイナミックレンジ拡大処理を用いずに重要な被写体が存在する領域のみの視認性を向上するため、ダイナミックレンジ拡大処理に伴うフレームレートの低下などの弊害を避けることができる。
【００９５】
なお、制御を単純化するためにダイナミックレンジ拡大部１２０６が映像合成処理を行うための露出の制御量や映像合成処理の信号処理特性は予め定めた所定の値とし、映像合成処理の有無のみをＥｌｄｋおよびＥｌｌｔと所定の閾値との比較結果から切替える方式としても良い。
【００９６】
また、所定被写体有無推定部１２０３＿２が信号レベルｌｄｋに対する所定被写体有無推定結果Ｅｌｄｋや信号レベルｌｌｔに対する所定被写体有無推定結果Ｅｌｌｔを算出する際に、所定被写体として静止被写体を想定し、撮影シーンに関する情報として連続する時間軸間の画素の移動量である移動ベクトルを算出し、その画面内の積分値を用いて、移動ベクトルの積分値が大きくなるほどＥｌｄｋやＥｌｌｔが小さくなるように決定する方法をとっても良い。このとき、白とび領域や黒つぶれ領域に重要な被写体が存在しても高速に移動している場合にはＥｌｄｋやＥｌｌｔが小さくなるためダイナミックレンジ拡大処理を行わずに信号レベルの補正処理が行われる。そのため、ダイナミックレンジ拡大処理を行った際の複数の露光時間の異なる映像を合成することによる映像の残像の発生を防止することが可能である。
【００９７】
図１７は、本発明の第３実施例に係る画像処理装置の画像信号補正制御処理の第二の例を示す第二の図である。
【００９８】
図１７において、図１７（ａ）は映像中の黒つぶれ領域と白とび領域の双方に所定の被写体が存在する場合の画像信号補正制御処理の適用例であり、図１７（ｂ）は映像中の白とび領域に所定の被写体が存在する場合の画像信号補正制御処理の適用例である。
【００９９】
図１７（ａ）は日中でエントランスを撮影した映像であり、映像中の黒つぶれ領域は非常に暗い室内と、映像中の白とび領域は窓から非常に明るい屋外をそれぞれ撮影したことに起因して生じている。この場合、白とび領域内における所定被写体存在推定評価値Ｅｌｌｔと、黒つぶれ領域内における所定被写体存在推定評価値Ｅｌｄｋはともに大きい値となる。そのため、ダイナミックレンジ拡大処理が有効となり、黒つぶれ領域内の被写体と白とび領域内の被写体について同時に視認性を向上させることが可能である。また、図１７（ｂ）は日中に室内を撮影した映像であり、映像中の白とび領域は窓から非常に明るい屋外を同時に撮影したことに起因して生じている。この場合、白とび領域内における所定被写体存在推定評価値Ｅｌｌｔは大きい値となり、黒つぶれ領域内における所定被写体存在推定評価値Ｅｌｄｋは小さい値となる。そのため、ダイナミックレンジ拡大処理が無効となり、白とび領域に対する補正強度が大きくなるように露出量の補正量や信号レベル補正処理の補正特性を決定するため、白とび領域内の被写体を優先して視認性を向上させることが可能である。
【０１００】
このように白とびと黒つぶれが同時に発生した場合でも、重要な被写体が存在するか否かに応じて適応的にダイナミックレンジ拡大処理の挙動を切替えて視認性を向上することが可能である。
【０１０１】
かように本実施例によれば、映像内の階調潰れの発生した領域に所定の被写体が存在するか否かを高精度で推定し、所定の被写体が存在する場合には視認性を向上し、存在しない場合には過度の補正を抑制することができ、様々なシーンに適応して視認性と画質を向上した映像を提供することが可能となる。特に露出を制御することで、撮像時点で白とびや黒つぶれが発生した被写体に対しても視認性を向上することが可能である。
【実施例４】
【０１０２】
図１８は、本発明の第４実施例に係る画像処理装置および撮像装置を示す模式図である。図１８において、１８０１は画像入力部、１８０２は画像信号補正部、１８０３は制御部、１８０３＿１は階調潰れ検出部、１８０３＿２は所定被写体有無推定部、１８０３＿３は画像信号補正制御部、１８０４は入力部、１８０５は補正重要度設定部、１８０６はダイナミックレンジ拡大部、１８０７は画像メモリ部、１８０８は通信部、１８０９は画像入力部１８０１から通信部１８０８までを実現する画像処理プログラムを備えた画像処理装置、１８１０は露出調整機能を備えた撮像装置である。
【０１０３】
図１８に示した本発明の第４実施例に係る画像処理装置と図１２に示した本発明の第３実施例に係る画像処理装置の特徴的な差異は、撮像処理を画像処理装置１８０９内ではなく、露出調整機能を備えた撮像装置１８１０で行い、通信部１８０８を介して画像処理装置１８０９から露出調整機能を備えた撮像装置１８１０に露出量の補正量を調整値として送信できることである。
【０１０４】
図１８に示した画像処理装置および撮像装置において、画像入力部１８０１は映像ケーブルと接続したキャプチャボードやＬＡＮ、ＵＳＢなどを介して露出調整機能を備えた撮像装置１８１０と接続し、露出調整機能を備えた撮像装置１８１０の撮像した画像信号を入力する。画像信号補正制御部１８０３＿３は階調潰れ検出部１２０３＿１の出力する階調潰れ情報と所定被写体有無推定部１２０３＿２の出力する所定被写体有無推定評価値を用いて、階調が潰れた領域に所定の被写体が存在すると判断した場合に、潰れの生じた信号レベルの階調が拡大するように露出調整機能を備えた撮像装置１８１０の露出量の補正量を決定し、通信部１８０８に出力する。通信部１８０８はシリアルポートやパラレルポート、ＬＡＮを経由した通信などにより露出調整機能を備えた撮像装置１８１０に露出量の補正量を送信する。これにより、露出調整可能な撮像装置と信号レベル補正処理を行う画像処理装置が異なる装置であっても、映像内の階調潰れの発生した領域に所定の被写体が存在するか否かを高精度で推定し、所定の被写体が存在する場合には視認性を向上し、存在しない場合には過度の補正を抑制することができる。
【０１０５】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。
【０１０６】
また、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
【０１０７】
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
【産業上の利用可能性】
【０１０８】
本発明は例えば、民生や監視や車載や業務用途において、撮像装置や撮像装置と接続されたＰＣアプリケーション、画像処理装置などに利用可能である。
【符号の説明】
【０１０９】
０１０１：画像入力部、０１０２：画像信号補正部、０１０３：制御部、０１０３＿１：階調潰れ検出部、０１０３＿２：所定被写体有無推定部、０１０３＿３：画像信号補正制御部、０１０４：入力部、０２０１：画像入力部０１０１より入力した映像信号、０２０２＿１：映像信号内の暗部に存在する代表的な被写体領域、０２０２＿２：映像信号内の明部に存在する代表的な被写体領域、０３０１：画像入力部０１０１より入力した映像信号、０３０２：映像信号内の暗部が黒つぶれした階調潰れ領域、０７０１：画像入力部０１０１より入力した映像信号、０８０１：画像入力部０１０１より入力した映像信号、０８０２：映像信号内の霧が非常に濃く中間輝度の階調が潰れた領域、１２０１：撮像部、１２０２：画像信号補正部、１２０３：制御部、１２０３＿１：階調潰れ検出部、１２０３＿２：所定被写体有無推定部、１２０３＿３：画像信号補正制御部、１２０４：入力部、１２０５：補正重要度設定部、１２０６：ダイナミックレンジ拡大部、１２０７：画像メモリ部、１８０１：画像入力部、１８０２：画像信号補正部、１８０３：制御部、１８０３＿１：階調潰れ検出部、１８０３＿２：所定被写体有無推定部、１８０３＿３：画像信号補正制御部、１８０４：入力部、１８０５：補正重要度設定部、１８０６：ダイナミックレンジ拡大部、１８０７：画像メモリ部、１８０８：通信部、１８０９：画像信号入力部１８０１から通信部１８０８までを実現する画像処理プログラムを備えた画像処理装置、１８１０：露出調整機能を備えた撮像装置
【図１】
2016173777.tif 000003
【図２】
2016173777.tif 000004
【図３】
2016173777.tif 000005
【図４（ａ）】
2016173777.tif 000006
【図４（ｂ）】
2016173777.tif 000007
【図５】
2016173777.tif 000008
【図６（ａ）】
2016173777.tif 000009
【図６（ｂ）】
2016173777.tif 000010
【図７】
2016173777.tif 000011
【図８】
2016173777.tif 000012
【図９】
2016173777.tif 000013
【図１０】
2016173777.tif 000014
【図１１（ａ）】
2016173777.tif 000015
【図１１（ｂ）】
2016173777.tif 000016
【図１２】
2016173777.tif 000017
【図１３（ａ）】
2016173777.tif 000018
【図１３（ｂ）】
2016173777.tif 000019
【図１４】
2016173777.tif 000020
【図１５（ａ）】
2016173777.tif 000021
【図１５（ｂ）】
2016173777.tif 000022
【図１６】
2016173777.tif 000023
【図１７（ａ）】
2016173777.tif 000024
【図１７（ｂ）】
2016173777.tif 000025
【図１８】
2016173777.tif 000026