(57)【特許請求の範囲】
【請求項１】
光学系により結像する光学像を電気信号に変換する撮像素子を用いて撮像された画像データから、前記画像の明るさ情報を生成する生成手段と、
前記生成手段にて生成された明るさ情報からダイナミックレンジを決定する決定手段と、
前記画像データにエッジ補正を施すエッジ補正手段と、
前記エッジ補正手段によりエッジ補正された画像データに対して非線形変換を行う変換手段と、
前記決定手段により決定されたダイナミックレンジに応じて、前記変換手段による非線形変換の特性を変更する変更手段と、
前記決定手段により決定されたダイナミックレンジに応じて、前記エッジ補正手段によるエッジ補正量を制御する制御手段と、を有し、
前記制御手段は、画像信号の輝度レベル差の振幅に比例してエッジ補正量を決定し、前記エッジ補正量は下限値と上限値を有し、所定の輝度レベル差の振幅以下では前記下限値のエッジ補正量とし、前記所定の輝度レベル差の振幅以上では前記上限値のエッジ補正量とし、前記下限値と上限値それぞれの開始点となる輝度レベル差の振幅値の間は、前記開始点間を線形補完した特性にてエッジ補正を行うことを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記エッジ補正量の下限値の開始点となる輝度レベル差の振幅値をダイナミックレンジの値で除算した値とし、前記エッジ補正量の上限値の開始点となる輝度レベル差の振幅値と、前記エッジ補正量の上限値を、それぞれダイナミックレンジで除算した値に変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変更手段は、入力信号に対する出力を高輝度部以外はダイナミックレンジを変更する前とほぼ一定となるように非線形変換の特性を変更することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記決定手段は画像データの中で高輝度部の信号情報に応じて、ダイナミックレンジを決定することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像処理装置は、前記撮像素子を有していて、
前記変更手段は、前記撮像素子を用いた撮像における露出を変更することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
光学系により結像する光学像を電気信号に変換する撮像素子を用いて撮像された画像データから、前記画像の明るさ情報を生成する生成工程と、
前記生成工程にて生成された明るさ情報からダイナミックレンジを決定する決定工程と、
前記画像データにエッジ補正を施すエッジ補正工程と、
前記エッジ補正工程によりエッジ補正された画像データに対して非線形変換を行う変換工程と、
前記決定工程により決定されたダイナミックレンジに応じて、前記変換工程による非線形変換の特性を変更する変更工程と、
前記決定工程により決定されたダイナミックレンジに応じて、前記エッジ補正工程によるエッジ補正量を制御する制御工程と、を有し、
前記制御工程は、画像信号の輝度レベル差の振幅に比例してエッジ補正量を決定し、前記エッジ補正量は下限値と上限値を有し、所定の輝度レベル差の振幅以下では前記下限値のエッジ補正量とし、前記所定の輝度レベル差の振幅以上では前記上限値のエッジ補正量とし、前記下限値と上限値それぞれの開始点となる輝度レベル差の振幅値の間は、前記開始点間を線形補完した特性にてエッジ補正を行うことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はエッジ補正に関し、特に輝度系のガンマ補正の非線形特性を変更した際のエッジ補正手法に関する。
【背景技術】
【０００２】
デジタルビデオカメラ等の撮像装置では撮像素子からの出力信号を画像処理し、モニタ等に出力する。モニタはガンマ特性を持つため、画像処理部にはモニタのガンマ特性を補正するためのガンマ補正回路が備わっている。輝度信号に対してモニタの逆ガンマ特性の補正を行うと、入射光に対するモニタ出力映像の輝度信号はおおよそ線形に変化する。しかしながら、露出を適正にした状態でモニタの逆ガンマ特性で補正を行うと、ダイナミックレンジが低くなり、高輝度部が比較的早く白飛びしてしまう。コントラストの低い被写体では問題ないが、コントラストが高くなると高輝度部の映像の白飛びが多くなる。そこで従来、明るさ情報を検出し、白飛び領域を検出することで、その情報をもとに絞りを制御することでダイナミックレンジを広くする手法があった（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１８３４６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、明るさ情報から、その情報をもとにダイナミックレンジを広くする手法において、出力画像の高輝度部以外の明るさをダイナミックレンジ変更前後で略一定に保つために、高輝度部以外の輝度信号に対する輝度ガンマ特性を変更した場合、前記ガンマ特性の補正前に決定しているエッジ補正量に差が出る上、前記輝度ガンマ特性の影響を受け、出力画像の解像感に差が生じてしまうという問題があった。
【０００５】
本発明は、上述した問題点を解決するためのものであり、出力画像の解像感がほぼ一定になるようにする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の画像処理装置は、光学系により結像する光学像を電気信号に変換する撮像素子を用いて撮像された画像データから、前記画像の明るさ情報を生成する生成手段と、前記生成手段にて生成された明るさ情報からダイナミックレンジを決定する決定手段と、前記画像データにエッジ補正を施すエッジ補正手段と、前記エッジ補正手段によりエッジ補正された画像データに対して非線形変換を行う変換手段と、前記決定手段により決定されたダイナミックレンジに応じて、前記変換手段による非線形変換の特性を変更する変更手段と、前記決定手段により決定されたダイナミックレンジに応じて、前記エッジ補正手段によるエッジ補正量を制御する制御手段と、を有し、前記制御手段は、画像信号の輝度レベル差の振幅に比例してエッジ補正量を決定し、前記エッジ補正量は下限値と上限値を有し、所定の輝度レベル差の振幅以下では前記下限値のエッジ補正量とし、前記所定の輝度レベル差の振幅以上では前記上限値のエッジ補正量とし、前記下限値と上限値それぞれの開始点となる輝度レベル差の振幅値の間は、前記開始点間を線形補完した特性にてエッジ補正を行うことを特徴とする。
【発明の効果】
【０００７】
以上説明したように本発明によれば、ダイナミックレンジを変更した上、高輝度部以外の明るさをほぼ一定に保つために、輝度信号を変換する非線形特性を変更した際、非線形特性を変更する前のエッジ補正量を適切にすることができ、ほぼ同じ明るさ領域における解像感をほぼ一定とすることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態におけるデジタルビデオカメラの構成を概略的に示す図の一例である。
【図２】ダイナミックレンジ変更時の輝度系ガンマ補正部に設定する非線形特性の例を示す図である。
【図３】ダイナミックレンジ変更時のエッジ補正量の遷移を示す一例。
【図４】ダイナミックレンジの拡大量とエッジ補正量との関係を示す図である。
【図５】ダイナミックレンジ拡大前後のエッジ補正の関係を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、本発明の画像処理装置に係る実施の形態を説明する。
図１に本実施形態におけるデジタルビデオカメラの概略構成図を示す。図示のデジタルビデオカメラは、アイリス及びレンズを備える光学系１０１、撮像部１０２、信号処理部１０３、輝度系信号処理部１０４、エッジ補正部１０５、輝度系ガンマ補正部１０６、検波部１０７、Ｄレンジ決定部１０８、システム制御部１０９を有している。
【００１０】
システム制御部１０９は、光学系１０１、撮像部１０２、エッジ補正部１０５、輝度系ガンマ補正部１０６、検波部１０７、Ｄレンジ決定部１０８、を制御する。また、システム制御部１０９は検波部１０７より検波信号と、Ｄレンジ決定部１０８より決定したＤレンジ情報を得る。
【００１１】
図示の撮像部１０２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーまたはＣＣＤイメージセンサー（図示せず）等の撮像素子を有している。また、撮像部１０２にはタイミングジェネレータ（ＴＧ）も含まれている。
【００１２】
被写体（図示せず）を撮影すると、光学系１０１を通過した光学像が、撮像部１０２内の撮像素子上に結像される。そして、撮像素子は、結像による像を光電変換して電気信号を生成し、アナログ画像信号として出力する。この際、システム制御部１０９によって定められたシャッタースピードでアナログ画像信号を撮像素子から出力する。さらに撮像部１０２内には撮像素子の後段にＡＦＥ（ＡｎａｌｏｇＦｒｏｎｔＥｎｄ  図示せず）があり、撮像素子のアナログ画像信号をアナログ−デジタル（Ａ／Ｄ）変換して、デジタル画像信号（以下、画像データと呼ぶ）とする。そして、この画像データは、信号処理部１０３に与えられる。
【００１３】
信号処理部１０３では黒レベルの補正や、ホワイトバランスの調整を行う。信号処理部１０３を経た画像データは輝度系信号処理部１０４に送られる。
【００１４】
輝度系信号処理部１０４では輝度信号の生成、ローパスフィルタ処理などが行われ、エッジ補正部１０５に送られる。図２はエッジ補正部内のブロック図である。２０１はエッジ検出部、２０２はエッジ補正量算出部である。エッジ検出部２０１では、画像データから隣接領域の輝度レベル差の振幅値および空間周波数を検出し、輝度レベル差の振幅値および空間周波数の高い領域をエッジ部として検出する。検出されたエッジ部に対して、エッジ補正量算出部２０２では隣接領域の輝度レベル差の振幅値に比例して、エッジ補正量を大きくするよう決定する。またエッジ補正量は上限値および下限値を持ち、ある輝度レベル差の振幅値以上では前記上限値、ある輝度レベル差の振幅値以下では前記下限値とする。下限値および上限値の開始点となる輝度レベル差の振幅値間は、前記両開始点を線形補完した特性とするよう制御を行う。前記のように決定されたエッジ補正量が画像データのエッジ部に加算され、エッジ補正部１０５より出力される。
【００１５】
エッジ補正が施された画像データは輝度系ガンマ補正部１０６に送られる。輝度系ガンマ補正部１０６では輝度信号を非線形変換し出力する。本実施形態では、輝度系ガンマ特性はあらかじめダイナミックレンジに合わせて１１種類用意されている。
【００１６】
また、輝度系信号処理で作成された輝度信号は、検波部１０７に送られる。検波部１０７ではシステム制御部１０９により設定された枠やスレッシュに基づき、画像データより露出制御用の評価値と高輝度信号の評価値を取得する。露出制御用の評価値は、例えば１フレームの画像データ全体の平均値のように、現在の映像の露出を表す値とする。露出制御用の評価値は検波部１０７よりシステム制御部１０９に送られる。システム制御部１０９は露出制御用の評価値が目標の値となるように、アイリス、シャッター、ゲインを制御する。一方、高輝度信号の評価値は高輝度部の信号が画像データ全体の中でどの程度存在するかを表す値となる。例えば、閾値を超えた輝度信号の信号量とする。信号量が多ければ高輝度部の信号が多いことが分かる。高輝度信号の評価値も露出制御用の評価値と同様、検波部１０７よりシステム制御部１０９に送られる。システム制御部１０９は高輝度信号の評価値に基づいて輝度系ガンマ補正部１０６の非線形特性を設定する。
【００１７】
また検波部１０７にて得られた評価値は、Ｄレンジ決定部１０８に送られる。Ｄレンジ決定部１０８では、高輝度信号の評価値よりシステム制御部１０９に設定されているＤレンジテーブルに応じてＤレンジの制御が行われる。例えば、閾値を超えた評価値は３段間でランク付けし、ダイナミックレンジの設定を１００％、２００％、３００％用意する。ランクが１であれば１００％、２であれば２００％、３であれば３００％、のようにダイナミックレンジを決定する。決定したダイナミックレンジの情報は、システム制御部１０９に送られる。システム制御部１０９では前記ダイナミックレンジに応じてアイリス、シャッター、ゲインなどを制御する。またシステム制御部１０９では、前記ダイナミックレンジに応じて、輝度系ガンマ補正部１０６を変更する。変更する輝度系ガンマ特性は、あらかじめダイナミックレンジが大きくなるほど高輝度部にて階調が表現できる上、それぞれ高輝度部以外の入力信号に対する出力はほぼ同じとなるような輝度系ガンマ特性を保有しておく。例としてダイナミックレンジを１００％から２００％に拡大した場合について説明する。図３（ａ）はダイナミックレンジ１００％および２００％時の輝度系ガンマ特性、図３（ｂ）はダイナミックレンジ１００％と２００％時の輝度系ガンマ特性におけるそれぞれの入出力特性を示す。
【００１８】
３０１はダイナミックレンジ１００％時の輝度系ガンマ特性、３０２ダイナミックレンジ２００％時の輝度系ガンマ特性、３０３はダイナミックレンジ１００％時の入出力特性、３０４はダイナミックレンジ２００％時の入出力特性である。
【００１９】
ダイナミックレンジ２００％時の輝度系ガンマ特性３０２は、ダイナミックレンジ１００％時よりも高輝度部の輝度系ガンマ特性は低く、高輝度部以外の領域では高くなる特性となっている。そのため、高輝度部の階調がダイナミックレンジ１００％時より表現できる上、高輝度部以外では出力画像の明るさをほぼ同じとすることができる。そのためダイナミックレンジ１００％時の入出力特性３０３と、ダイナミックレンジ２００％時の入出力特性３０４は高輝度部以外の領域にてほぼ同じ特性となる。
【００２０】
また、システム制御部１０９ではＤレンジ決定部１０８が決定したダイナミックレンジ情報より、輝度系ガンマ特性前のエッジ補正量を変更する。ダイナミックレンジ変更前後では、露出および輝度系ガンマ特性を変更している。そのため、輝度系ガンマ補正を施す前のエッジ補正量をを変更しない場合は、後段の輝度系ガンマ補正処理によって、輝度レベルが変化するため、画像データの解像感に差が生じてしまう。したがって、図４に示すようにダイナミックレンジを拡大する際は、エッジ補正量をダイナミックレンジで除算した値へと減少させる必要がある。
【００２１】
前記のようなエッジ補正処理を高輝度部以外の明るさ領域で実現するために、本実施形態では次のような処理を実施する。エッジ補正量の下限値の開始点となる輝度レベル差の振幅値と、エッジ補正量の上限値の開始点となる輝度レベル差の振幅値と、エッジ補正量の上限値をそれぞれダイナミックレンジで除算した値とする。下限値および上限値の開始点となる輝度レベル差の振幅値間は、前記両開始点を線形補完した特性となるよう制御を行う。そのため、ダイナミックレンジ変更後のエッジ補正の特性は、前記下限値の開始点となる輝度レベル差の振幅値、上限値の開始点となる輝度レベル差の振幅値およびエッジ補正量の上限値を基に導出される。
【００２２】
具体例として、図５にダイナミックレンジを１００％から２００％へ変更した際の、ダイナミックレンジ拡大前後のエッジ補正の関係を示す。５０１は、ダイナミックレンジ拡大前のダイナミックレンジ２００％時のエッジ補正量の特性、５０２は、ダイナミックレンジ拡大後のダイナミックレンジ１００％時のエッジ補正量の特性である。５０３はダイナミックレンジ１００％時のエッジ補正量の上限値である。５０４はダイナミックレンジ２００％時のエッジ補正量の上限値である。５０５はダイナミックレンジ２００％時のエッジ補正量の下限値の開始点となる輝度レベル差の振幅値である。５０６はダイナミックレンジ１００％時のエッジ補正量の下限値の開始点となる輝度レベル差の振幅値である。５０７はダイナミックレンジ２００％時のエッジ補正量の上限値の開始点となる輝度レベル差の振幅値である。５０８はダイナミックレンジ１００％時のエッジ補正量の下限値の開始点となる輝度レベル差の振幅値である。
【００２３】
振幅値５０５、および上限値５０４、振幅値５０７を、それぞれダイナミックレンジ１００％時の各値から、変更するダイナミックレンジで除算した値とするため１００／２００を掛けた値へと変更する。また前記エッジ補正量の上限値および下限値の間は上限値と下限値の開始点を線形補完した特性へと変更を行うことで、５０１のダイナミックレンジ拡大前のダイナミックレンジ２００％時のエッジ補正量の特性を得る。
【００２４】
図５のような関係でエッジ補正量の設定を行えば、ダイナミックレンジ変更時の輝度系ガンマ特性前のエッジ補正量を適時ダイナミックレンジで除算した値とすることができる。したがって、ダイナミックレンジ変更時に輝度ガンマ補正後のほぼ同じ明るさである画像データ部の解像感を略一定とすることができる。
【００２５】
＜他の実施形態＞
上記実施形態ではダイナミックレンジに応じて非線形変換を変える方法として複数の非線形変化特性をあらかじめ保有しておく手段を記載しているが、ダイナミックレンジに応じて変更した露出情報から非線形変換の特性を変えても良い。
【００２６】
また、高輝度部信号量に応じてダイナミックレンジを決定する手段として、画像データ中の閾値以上となる高輝度部信号が多いか否かで判定しているが、所定の閾値以上となる高輝度部信号値からダイナミックレンジを決定しても良い。
【符号の説明】
【００２７】
１０１  光学系
１０２  撮像部
１０３  信号処理部
１０４  輝度系信号処理部
１０５  エッジ補正部
１０６  輝度系ガンマ補正部
１０７  検波部
１０８  Ｄレンジ決定部
１０９  システム制御部
２０１  エッジ検出部
２０２  エッジ補正量算出部
３０１  ダイナミックレンジ１００％時の輝度系ガンマ特性
３０２  ダイナミックレンジ２００％時の輝度系ガンマ特性
３０３  ダイナミックレンジ１００％時の入出力特性
３０４  ダイナミックレンジ２００％時の入出力特性
５０１  ダイナミックレンジ２００％時のエッジ補正特性
５０２  ダイナミックレンジ１００％時のエッジ補正特性
５０３  ダイナミックレンジ１００％時のエッジ補正上限値
５０４  ダイナミックレンジ２００％時のエッジ補正上限値
５０５  ダイナミックレンジ２００％時のエッジ補正下限値の開始点
５０６  ダイナミックレンジ１００％時のエッジ補正下限値の開始点
５０７  ダイナミックレンジ２００％時のエッジ補正上限値の開始点
５０８  ダイナミックレンジ１００％時のエッジ補正上限値の開始点
【図１】
0005683255.tif 000002
【図２】
0005683255.tif 000003
【図３】
0005683255.tif 000004
【図４】
0005683255.tif 000005
【図５】
0005683255.tif 000006