(57)【要約】【課題】より遠くのシーンの画像の劣化を抑え視認性の良い画像を出力する撮像装置を提供すること。【解決手段】撮像装置１０は、撮像部１と、露光制御部２と、画像を拡大処理する映像信号拡大部４と、映像信号に対し階調補正を行う映像信号補正部５と、映像信号について輝度統計情報を算出する輝度統計情報算出部６とを備える。映像信号補正部５は、出現頻度の大きい輝度領域に対しその階調を拡大することで輝度分布の中心に移動させる補正を行う。制御部７は、画像拡大倍率が大きくなるに従い階調補正量を小さくするように制御する。【選択図】図１
2013219576.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影し撮影した画像を拡大して出力する撮像装置において、
被写体からの入射光を光電変換し映像信号として出力する撮像部と、
該撮像部の露光量を制御する露光制御部と、
前記撮影した画像を拡大処理する映像信号拡大部と、
該映像信号拡大部からの映像信号に対し階調補正を行う映像信号補正部と、
該映像信号拡大部からの映像信号について輝度統計情報を算出する輝度統計情報算出部と、
当該撮像装置の各部の動作を制御する制御部と、を備え、
該制御部は、前記輝度統計情報算出部から得た輝度統計情報と前記映像信号拡大部で行う画像拡大倍率に応じて、前記映像信号補正部で行う階調補正量を変化させることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記制御部は、前記輝度統計情報算出部から得た輝度統計情報と前記映像信号拡大部で行う画像拡大倍率に応じて、さらに、前記露光制御部で行う露光補正量を変化させることを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記映像信号補正部は、出現頻度の大きい輝度領域の階調を拡大することで出現頻度の大きい輝度領域を輝度分布の中心に移動させる補正を行うものであり、
前記制御部は前記映像信号補正部に対し、前記映像信号拡大部での画像拡大倍率が大きくなるに従い前記階調補正量を小さくするように制御することを特徴とする撮像装置。
【請求項４】
請求項２に記載の撮像装置において、
前記露光制御部は、前記撮像部での露光量を変えることで出現頻度の大きい輝度領域を輝度分布の中心に移動させる補正を行うものであり、
前記映像信号補正部は、出現頻度の大きい輝度領域の階調を拡大することで出現頻度の大きい輝度領域を輝度分布の中心に移動させる補正を行うものであり、
前記制御部は前記露光制御部と前記映像信号補正部に対し、前記映像信号拡大部での画像拡大倍率が大きくなるに従い前記露光補正量と前記階調補正量を小さくするように制御することを特徴とする撮像装置。
【請求項５】
請求項３または４に記載の撮像装置において、
前記映像信号拡大部での画像拡大倍率が閾値以上の場合、前記制御部は前記映像信号補正部、または前記露光制御部と前記映像信号補正部に対し、前記露光補正量、または前記露光補正量と前記階調補正量を０とするように制御することを特徴とする撮像装置。
【請求項６】
被写体を撮影し撮影した画像を拡大して出力する撮像装置において、
被写体からの入射光を光電変換し映像信号として出力する撮像部と、
該撮像部の露光量を制御する露光制御部と、
前記撮影した画像を拡大処理する映像信号拡大部と、
該映像信号拡大部からの映像信号に対し階調補正を行う映像信号補正部と、
当該撮像装置の各部の動作を制御する制御部と、を備え、
該制御部は、出力する画像に黒つぶれまたは白飛びの部分が含まれる場合、前記映像信号拡大部で行う画像拡大倍率が小さくなるに従って、前記黒つぶれまたは白飛びの部分を減少させるよう制御することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
撮像装置の露光制御や階調制御技術について、例えば特許文献１には、「撮像装置の取得画像に基づいて、主要被写体の平均輝度および輝度分布範囲を算出し、算出した主要被写体輝度分布範囲と、主要被写体対応の必要階調数とに基づいて被写体の制御目標平均輝度レベルを決定し、主要被写体が制御目標平均輝度レベルを持つように露出制御を実行する」こと、また、「露出制御によって平均輝度のレベルがずれた被写体像について、平均輝度レベルを出力輝度分布のほぼ中央に設定する階調変換処理を実行する」ことが記載されている。この構成により、「露出の最適制御、バランスのとれた明るさの出力画像の生成が可能となる」と述べている（要約参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４８１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
デジタルカメラやデジタルビデオカメラなどの撮像装置には、露光制御機能が搭載されている。一般的な露光制御は、画角内の光量を測光し、その結果を用いて絞り及び電子シャッタ及び撮像素子からの利得を調整することで実現される。これにより、暗い部分と明るい部分が混在したダイナミックレンジの広いシーンでも、黒つぶれ、白飛びといった部分のない視認性のよい画像を得ることができる。
【０００５】
撮像装置には、さらに画像の拡大機能が搭載される。拡大手段として光学レンズが用いられるが、光学レンズは高価でかつ大きいため、さらに遠くのシーンを見るためには画像処理による拡大方法が採用される。これは、デジタル信号に変換した後に画素間の信号を補完するものである。画像処理による拡大方法では、遠くのシーンが拡大されて細かい部分まで見えることが期待されるが、反面、暗部（低輝度領域）などで目立つノイズが拡大されることで画像の劣化を招く場合がある。
【０００６】
特許文献１では、被写体の平均輝度に応じた露出制御を行い、平均輝度レベルを出力輝度分布のほぼ中央に設定する階調変換処理を行うことで、バランスのとれた明るさの出力画像を生成しようとするものである。しかし、画像処理による拡大に関しては特に記載されておらず、ノイズが目立つ暗部を階調変換処理する場合には、ノイズ感が増して画像の劣化を招く恐れがある。
【０００７】
本発明の目的は、より遠くのシーンの画像の劣化を抑え視認性の良い画像を出力する撮像装置を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を解決するために、特許請求の範囲に記載の構成を採用する。例えば本発明の撮像装置は、被写体からの入射光を光電変換し映像信号として出力する撮像部と、該撮像部の露光量を制御する露光制御部と、前記撮影した画像を拡大処理する映像信号拡大部と、該映像信号拡大部からの映像信号に対し階調補正を行う映像信号補正部と、該映像信号拡大部からの映像信号について輝度統計情報を算出する輝度統計情報算出部と、当該撮像装置の各部の動作を制御する制御部とを備える。そして該制御部は、前記輝度統計情報算出部から得た輝度統計情報と前記映像信号拡大部で行う画像拡大倍率に応じて、前記映像信号補正部で行う階調補正量を変化させる。
【発明の効果】
【０００９】
本発明によれば、より遠くのシーンの画像の劣化を抑え視認性の良い画像を出力することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１に係る撮像装置の基本構成を示す図。
【図２Ａ】露光制御の原理を示す図。
【図２Ｂ】階調制御の原理を示す図。
【図３】本実施例における階調補正の一例を示す図。
【図４】画像の拡大倍率Ｋと補正量（α，β，γ）の関係を示す図。
【図５】実施例２に係る撮像装置の基本構成を示す図。
【図６】本実施例における露光補正と階調補正の一例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面を用いて説明する。
【実施例１】
【００１２】
図１は、実施例１に係る撮像装置の基本構成を示す図である。撮像装置１０は、撮像部１、露光制御部２、カメラ信号処理部３、映像信号拡大部４、映像信号補正部５、輝度統計情報算出部６、制御部７を備える。
【００１３】
撮像部１は、被写体を撮影するために、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有し、被写体から入射光を光電変換し、映像信号として出力する。また撮像部１には、ズームレンズ及びフォーカスレンズを含むレンズ群、露光量を調整するアイリス、シャッタ、ＣＤＳ(光導電効果素子）やＡＧＣ（Automatic Gain Control）、ＡＤコンバータ等を含む。
【００１４】
露光制御部２は、撮像部１の出力した映像信号から算出される輝度分布の情報を取得し、これを基に目標露光量を決定する。そして、実際の露光量が目標露光量に近づくように、撮像部１のアイリスの絞りやシャッタタイミングやＡＧＣのゲイン量を制御する。
【００１５】
カメラ信号処理部３は、撮像部１の出力した映像信号に対し、輝度信号と色信号への分離処理、ガンマ処理、色差変換処理、ホワイトバランス補正処理などのデジタル信号処理を行う。映像信号拡大部４は、カメラ信号処理部３から受けた画像を、制御部７から設定される倍率Ｋで拡大する。拡大処理は、画素間の信号を補完することで行う。
【００１６】
映像信号補正部５は、映像信号拡大部４から受けた映像信号に対し、制御部７から設定される補正量γに従って階調補正処理を行う。階調補正は、一部の輝度レベルの階調を拡大するなどの非線形変換することで、輝度分布の偏りをなくすことである。その後映像信号は、不図示の映像表示装置、記録装置、動画圧縮装置、ＰＣなどに出力される。
【００１７】
輝度統計情報算出部６は、映像信号拡大部４から受けた映像信号について輝度統計情報Ｓの算出を行う。具体的には、被写体認識を行い被写体の存在する領域に対し輝度統計情報を算出する。輝度統計情報Ｓとは、例えば、ヒストグラム、最大値最小値、平均輝度などの情報である。制御部７は、撮像装置１０の各部の動作を制御する。特に本実施例では、映像信号拡大部４に対し画像の拡大倍率Ｋを設定するとともに、輝度統計情報算出部６で算出された輝度統計情報Ｓに基づいて、映像信号補正部５に対する補正量γを設定する。
【００１８】
ここで、露光制御部２の行う露光制御と、映像信号補正部５の行う階調制御について、その原理を比較して説明する。
図２Ａは、露光制御の原理を示す図である。横軸は撮像部１への入射光量（被写体の明るさ）、縦軸は撮像部１からの出力信号（輝度レベル）であり、両者の間は直線１００で表わされる線形変換がなされる。この変換直線１００の傾き（変換係数）は露光量に依存し、撮像部１のアイリスの絞りやシャッタタイミングなどの設定で変化する。なお、入射光量が過小の場合、あるいは過大の場合には、出力信号は飽和して黒レベル（輝度最小値）または白レベル（輝度最大値）となる。
【００１９】
露光制御では、撮像部１への入射光量の分布に応じて、出力信号が黒レベルと白レベルとの間の線形範囲に変換されるように、露光量を調整する。すなわち、直線１００の傾き（変換係数）をα０（通常値）から±αだけ変化させて、直線１０１，１０１’のように移動させる。あるいは、黒レベルとの切片（飽和開始点）Ｐの位置をβ０（通常値）から±βだけ変化させる制御を行う。その結果、例えば入射光の明るさ分布が符号２０１で示される場合、露光制御により変換直線１０１に切り替えることで、映像出力信号の輝度分布は符号２０２に示されるように補正される。以下、露光制御における変換直線１００の変化量α，βを露光補正量と呼ぶ。
【００２０】
図２Ｂは、階調制御の原理を示す図である。横軸は映像信号補正部５への入力信号（明るさ）、縦軸は映像信号補正部５からの出力信号（輝度レベル）である。通常は両者の間は直線１００（傾き＝１）で表わされる線形変換がなされるが、階調制御では、入力信号のレベルによって傾きを異ならせる非線形な変換を行なう。すなわち、変換直線１００の中間部分を±γだけ変位させて曲線１０２，１０２’のように変化させ、中間領域の傾きを１より大きく（階調を拡大）、または１より小さく（階調を縮小）する。これにより、入力信号の分布が偏っているとき、出現頻度の大きい領域の階調を拡大することで、出現頻度の大きい領域を分布の中心に移動させることができる。例えば入力信号の明るさ分布が符号２０３で示される場合、階調制御により変換曲線１０２に切り替えることで、映像出力信号の輝度分布は符号２０４に示されるように補正される。以下、階調制御における変換直線１００の変化量γを階調補正量と呼ぶ。
本実施例では、上記した階調制御を画像の拡大と関連付けて行うようにした。
【００２１】
図３は、本実施例における階調補正の一例を示す図である。（ａ）の符号３０１は映像信号拡大部４から出力される映像信号の輝度統計情報Ｓ（輝度分布）の一例であり、（ｂ）の符号３０２は階調補正後の輝度統計情報Ｓの目標特性を示す。横軸は輝度値、縦軸は映像内に現れる頻度を示している。輝度統計情報Ｓは、輝度統計情報算出部６にて算出され制御部７に送られる。
【００２２】
映像信号拡大部４から出力される映像信号は、前段の撮像部１で露光制御を受けているが、画面内で明暗差が大きいシーンにおいては輝度分布の偏りが生じる。（ａ）では出現頻度の大きい部分３０１ａが低輝度側に偏っており、被写体によっては黒つぶれが目立つ画像となり視認性が良くない。
【００２３】
このような場合制御部７は、視認性を良くするために、頻度の大きい部分３０１ａ（もしくは画面の平均輝度）が輝度分布の中央に位置するように階調補正の制御を行う。（ｂ）の符号３０２は階調補正後の輝度統計情報Ｓの目標特性を示し、頻度の大きい部分３０１ａを輝度分布の中央である符号３０２ａに位置付けるための移動量３０３を決定する。そして、図２Ｂから移動量３０３に対応する階調補正量γを決定して映像信号補正部５に送る。
【００２４】
映像信号補正部５は、補正量γに従って映像信号の階調を補正し、符号３０２で示される目標の輝度統計情報を有する映像信号を生成する。このように、入力信号の輝度分布が符号３０１のように明暗差が大きく黒つぶれを有するシーンでも、出現頻度の大きい低輝度部分の階調を拡大する補正により、黒つぶれをなくすことができる。ここでは黒つぶれを有する場合を説明したが、逆に白飛びを有する場合でも同様である。
【００２５】
以上は映像信号補正部５の行う階調補正動作の説明であるが、さらに制御部７は画像の拡大と関連付けて階調補正を制御する。制御部７は、映像信号拡大部４に設定している倍率Ｋが１倍の場合は、図３で説明したように輝度統計情報Ｓの特性３０１が目標とする特性３０２となるように移動量３０３を決定して、これに対応する階調補正量γを映像信号補正部５に対して指示する。一方、映像信号拡大部４に設定している倍率Ｋが１倍より大きい場合には、映像信号補正部５に指示する階調補正量γを上記値よりも小さく与えるようにする。
【００２６】
図４は、画像の拡大倍率Ｋと階調補正量γの関係を示す図である。倍率Ｋが１倍の場合は、輝度統計情報Ｓを目標特性とするための補正量γ（これを最大値とする）をそのまま設定する。倍率が大きくなるに従って補正量γを減少させ、倍率が所定値（閾値）Ａ以上ではγ＝０とする。この閾値Ａは、階調補正をかけるとノイズが目立つと判断される倍率から決定する。以上の制御は見方を変えれば、出力する画像に黒つぶれまたは白飛びの部分が含まれる場合、画像拡大倍率が小さくなるに従って黒つぶれまたは白飛びの部分を減少させるよう制御するものである。
【００２７】
本実施例によれば、被写体の存在する領域の輝度分布に応じて階調制御を実行して、黒つぶれや白飛びのない好適な画像に補正することができる。その際、画像拡大に伴い大きくなるノイズに対して階調拡大することによる画質劣化を考慮し、画質劣化が目立たない範囲で階調補正を実施するようにしたので、より遠くのシーンの画像の劣化を抑え視認性の良い画像を出力することができる。
【実施例２】
【００２８】
図５は、実施例２に係る撮像装置の基本構成を示す図である。撮像装置１０’は実施例１（図１）の構成と同様であるが、制御部７は輝度統計情報算出部６から得られる輝度統計情報Ｓを用いて、映像信号補正部５だけでなく露光制御部２に対しても制御する構成とした。図１に対応する部分は同一符号を付して重複する説明を省略する。
【００２９】
図６は、本実施例における露光補正と階調補正の一例を示す図である。（ａ）の符号６０１は映像信号拡大部４から出力される映像信号の輝度統計情報Ｓ（輝度分布）の一例であり、（ｂ）の符号６０２は露光補正後の輝度統計情報Ｓの目標特性を、（ｃ）の符号６０３は階調補正後の輝度統計情報Ｓの目標特性を示す。本実施例では、露光制御と階調制御を組合せ、より視認性の良好な画像を生成するものである。
【００３０】
映像信号拡大部４から出力される映像信号は、通常の露光制御を行っても画面内で明暗差が大きいシーンにおいては輝度分布の偏りが生じる。（ａ）では出現頻度の大きい部分が高輝度側６０１ａと低輝度側６０１ｂとの両側に偏った分布になっている。このため、高輝度側では白飛び、低輝度側では黒つぶれを有する画像になってしまう。
【００３１】
このような場合制御部７は、まず高輝度側の白飛びをなくすために、出現頻度が大きい部分６０１ａを輝度分布の中央側に移動させる露光補正の制御を行う。（ｂ）の符号６０２は露光補正後の輝度統計情報Ｓの目標特性を示し、頻度の大きい部分６０１ａを輝度分布の中央側にずらし符号６０２ａに位置付けるための移動量６０４を決定する。そして、図２Ａから移動量６０４に対応する露光補正量α，βを決定して露光制御部２に送る。
【００３２】
露光制御部２は露光補正量α，βに基づき目標露光量を決定し、撮像部１のアイリスの絞りやシャッタタイミングやＡＧＣのゲイン量を調整する。その結果、符号６０２で示される目標の輝度統計情報を有する映像信号となり、高輝度側の白飛びが解消される。なお、制御部７は露光制御部２に対し移動量６０４の情報を送り、露光制御部２において露光補正量α，βを決定するようにしても良い。
【００３３】
（ｂ）で得られた符号６０２に示される輝度統計情報Ｓは、高輝度側の白飛びは解消されているが、低輝度側では黒つぶれの現象が悪化している。つまり、出現頻度が大きい部分６０１ｂはさらに低輝度側に移動し、符号６０２ｂとして存在する。そこで制御部７は低輝度側の黒つぶれを改善するために、出現頻度が大きい部分６０２ｂを輝度分布の中央側に移動させる階調補正の制御を行う。（ｃ）の符号６０３は階調補正後の輝度統計情報Ｓの目標特性を示し、低輝度側の頻度の大きい部分６０２ｂを輝度分布の中央側にずらし符号６０３ｂに位置付けるための移動量６０５を決定する。そして、図２Ｂから移動量６０５に対応する階調補正量γを決定して映像信号補正部５に送る。ここでは低輝度側だけに有効な階調補正を施すことで、高輝度側の輝度分布、すなわち出現頻度の大きい部分６０２ａの位置はそのまま６０３ａとして保存される。
【００３４】
映像信号補正部５は、補正量γに従って低輝度側の映像信号の階調を補正し、符号６０３で示される目標の輝度統計情報を有する映像信号を生成する。以上の動作により、通常の露光制御だけでは黒つぶれと白飛びが見られるシーンにおいても、黒つぶれや白飛びのない視認性の良い映像を得ることができる。ここでの制御は、先に白飛びの解消を、次に黒つぶれの解消を行ったが、逆の順序で行うこともできる。
【００３５】
以上は、露光制御部２と映像信号補正部５の行う露光補正と階調補正を組合せた動作の説明であるが、さらに制御部７は画像の拡大と関連付けてこれらの補正を制御する。制御部７は、映像信号拡大部４に設定している倍率Ｋが１倍の場合は、図４で説明したように輝度統計情報Ｓの特性６０１が目標とする特性６０２となるように移動量６０４を決定して、これに対応する露光補正量α，βを露光制御部２に対して指示する。また、露光補正後の輝度統計情報Ｓの特性６０２が目標とする特性６０３となるように移動量６０５を決定して、これに対応する階調補正量γを映像信号補正部５に対して指示する。一方、映像信号拡大部４に設定している倍率Ｋが１倍より大きい場合は、露光制御部２に対する補正量α，βと映像信号補正部５に対する補正量γを上記値よりも小さく与えるようにする。
【００３６】
そのときの拡大倍率Ｋと補正量α，β，γの関係は前記図４と同様である。すなわち倍率Ｋが１倍の場合は、輝度統計情報Ｓを目標特性とするための補正量α，β，γをそのまま設定する。倍率Ｋが大きくなるに従って補正量を減少させ、倍率が所定値（閾値）Ａ以上ではα，β，γ＝０とする。なお、閾値Ａは露光補正と階調補正とで異なる値を与えても良い。
【００３７】
本実施例によれば、被写体の存在する領域の輝度分布に応じて露光制御と階調制御を組み合わせて実行して、黒つぶれや白飛びのない好適な画像に補正することができる。その際、画像拡大に伴い大きくなるノイズに対して階調拡大することによる画質劣化を考慮し、画質劣化が目立たない範囲で露光調整と階調補正を実施するようにしたので、より遠くのシーンの画像の劣化を抑え視認性の良い画像を出力することができる。
【００３８】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００３９】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００４０】
１：撮像部、
２：露光制御部、
３：カメラ信号処理部、
４：映像信号拡大部、
５：映像信号補正部、
６：輝度統計情報算出部、
７：制御部、
１０，１０’：撮像装置、
Ｋ：画像拡大倍率、
Ｓ：輝度統計情報、
α，β：露光補正量、
γ：階調補正量。
【図１】
2013219576.tif 000003
【図２Ａ】
2013219576.tif 000004
【図２Ｂ】
2013219576.tif 000005
【図３】
2013219576.tif 000006
【図４】
2013219576.tif 000007
【図５】
2013219576.tif 000008
【図６】
2013219576.tif 000009