(57)【特許請求の範囲】
【請求項１】
入力信号をｎビットのデジタル信号に変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段によって変換されたｎビットの入力信号を１画面毎に格納する画像記憶手段と、
前記画像記憶手段に格納された１画面のｎビットの入力信号にニー補正処理を施し、ｍ（ｍ＜ｎ）ビット信号に変換して出力するニー補正手段と、
前記ニー補正手段のニー補正処理の特性を制御する制御手段と、
前記Ａ／Ｄ変換手段によって変換された１画面分のｎビットの入力信号に基づいて、前記画像記憶手段に格納された１画面のｎビットの入力信号を予め評価する評価手段とを有し、
前記制御手段は、前記評価手段の評価結果に基づいてニー補正の傾きを決定し、さらに前記記憶手段に格納された１画面のｎビットの入力信号に含まれる最大レベルの信号値に基づきニー補正の傾きの基準点を決定し、前記ニー補正手段は、前記画像記憶手段に格納された１画面のｎビットの入力信号対して、前記制御手段により決定された傾きと基準点により特定される特性に基づくニー補正処理を施し、１画面のｍ（ｍ＜ｎ）ビット信号に変換して出力することを特徴とする画像信号処理装置。
【請求項２】
前記評価手段は、１画面分の入力信号の情報に基づいて作成されたヒストグラムで評価することを特徴とする請求項１記載の画像信号処理装置。
【請求項３】
前記評価手段のヒストグラムが明るいほうに輝度データの出現頻度の高いヒストグラムであった場合、前記制御手段は、前記ニー補正の傾きを大きくし、前記評価手段のヒストグラムが暗いほうに輝度データの出現頻度の高いヒストグラムであった場合、前記制御手段は、前記ニー補正の傾きを小さくすることを特徴とする請求項２に記載の画像信号処理装置。
【請求項４】
前記制御手段は、前記記憶手段に格納された１画面のｎビットの入力信号に含まれる最大レベルの信号値に基づきニー補正の傾きの終点を前記基準点として決定し、前記ニー補正手段は、前記制御手段により決定された傾きと終点により特定される特性に基づくニー補正処理を行うことを特徴とする請求項１〜３のいずれかに記載の画像信号処理装置。
【請求項５】
入力信号をｎビットのデジタル信号に変換するＡ／Ｄ変換工程と、
前記Ａ／Ｄ変換工程によって変換されたｎビットの入力信号を１画面毎に画像記憶手段に格納する画像記憶工程と、
前記Ａ／Ｄ変換手段によって変換された１画面分のｎビットの入力信号に基づいて、前記画像記憶手段に格納された１画面のｎビットの入力信号を評価する評価工程と、
前記評価工程の評価結果に基づいてニー補正の傾きを決定し、さらに前記記憶手段に格納された１画面のｎビットの入力信号に含まれる最大レベルの信号値に基づきニー補正の傾きの基準点を決定する決定工程と、
前記画像記憶手段に格納された１画面のｎビットの入力信号対して、前記制御手段により決定された傾きと基準点により特定される特性に基づくニー補正処理を施し、１画面のｍ（ｍ＜ｎ）ビット信号に変換して出力するニー補正工程と、を有することを特徴とする画像信号処理方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は画像信号処理装置及び画像信号処理方法に係り、特に信号処理回路のダイナミックレンジを変換する非線形処理の制御に好適に用いられる画像信号処理装置及び画像信号処理方法に関する。
【０００２】
【従来の技術】
一般に、従来の撮像装置は図７のブロック図に示すような構成になっている。入射光はＣＣＤ２０で光電変換がなされ、この出力信号はＡＧＣ回路２１によってゲインが調整され、Ａ／Ｄ変換器２２によって、８ビットのデジタル信号に変換される。そして、γ補正回路２３によって通常のγ補正が行われ、ＫＮＥＥ回路２４によって高輝度信号を非線形に抑圧しダイナミックレンジを確保している。ＫＮＥＥ回路２４で圧縮された出力は、８ビット分解能で画像演算処理される信号処理回路２５に供給される。この信号処理回路２５の出力信号は、カラー映像信号として出力される一方、ＡＥ回路２６に入力され、アイリスやシャッタ速度を制御し、かつ前記ＡＥ回路２６からＡＧＣ回路２１に出力信号が供給される。
【０００３】
【発明が解決しようとする課題】
このような従来の撮像装置では、８ビットのデジタル信号でγ補正やＫＮＥＥ補正の非線形処理を行い、その情報に基づいて入力信号と同じ８ビットで信号処理を施していたため、高輝度信号のダイナミックレンジが小さい。
【０００４】
そこで本発明は、上記課題に鑑み撮影画面に応じて１画面毎に細かな非線形処理等の演算処理を施すことが可能な画像信号処理装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明の画像信号処理装置は、入力信号をｎビットのデジタル信号に変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段によって変換されたｎビットの入力信号を１画面毎に格納する画像記憶手段と、前記画像記憶手段に格納された１画面のｎビットの入力信号にニー補正処理を施し、ｍ（ｍ＜ｎ）ビット信号に変換して出力するニー補正手段と、前記ニー補正手段のニー補正処理の特性を制御する制御手段と、前記Ａ／Ｄ変換手段によって変換された１画面分のｎビットの入力信号に基づいて、前記画像記憶手段に格納された１画面のｎビットの入力信号を予め評価する評価手段とを有し、前記制御手段は、前記評価手段の評価結果に基づいてニー補正の傾きを決定し、さらに前記記憶手段に格納された１画面のｎビットの入力信号に含まれる最大レベルの信号値に基づきニー補正の傾きの基準点を決定し、前記ニー補正手段は、前記画像記憶手段に格納された１画面のｎビットの入力信号対して、前記制御手段により決定された傾きと基準点により特定される特性に基づくニー補正処理を施し、１画面のｍ（ｍ＜ｎ）ビット信号に変換して出力することを特徴とする。
【０００６】
【作用】
本発明は、入力信号の画像を評価し、評価結果に基づいて信号の分散が最大となるように入力信号を演算処理することで、画面に応じて１画面毎に細かな処理をすることを可能とするものである。また、画像記憶手段を設けることにより、１画面毎の最適な演算処理を時間の遅れなく実行するものである。
【０００７】
【実施例】
以下、本発明の画像信号処理装置を撮像装置を例にとり図面を用いて詳細に説明する。
【０００８】
図１に本発明に係る撮像装置の全体のブロック図を示し、被写体からの入射光は、レンズ１と光量を調節するアイリス２を通り、ＣＣＤ（固体撮像素子）３からなる光電変換部に入射し、以下の処理によりカラー映像信号に変換される。
【０００９】
ＣＣＤ３は、受光部で発生した光電荷が転送部に転送されて出力信号として取り出される。この信号は、ＡＧＣ回路４によってゲインが調整され、Ａ／Ｄ変換器５によって、１２ビットのデジタル信号に変換される。この出力信号は、画像メモリ（フィールドメモリ）６に格納されるようになっている。そして、γ補正回路７によって通常のγ補正が行われ、ＫＮＥＥ回路８によって高輝度信号を非線形に抑圧しダイナミックレンジを確保している。
【００１０】
一方、Ａ／Ｄ変換後のデジタル信号は、１２ビットの出力で評価回路１０に入力される。評価回路１０では、１画面全体にわたる画像情報に基づいた評価をヒストグラムメモリ１１の情報を参照しつつ行い、その評価結果に基づく出力信号を、ＫＮＥＥ回路８及びＡＧＣ回路４を制御する制御回路１２に供給する。この制御回路１２によって輝度信号のＫＮＥＥ補正が後述するように適宜なされ、撮像画面に応じて１画面毎に細かな処理が可能となる。ここで、本実施例では１２ビットのデジタル信号にγ補正やＫＮＥＥ補正の非線形処理を行って８ビットの信号としており、高輝度信号のダイナミックレンジをより大きくすることができる。ＫＮＥＥ回路８で圧縮された出力は、８ビット分解能で画像演算処理される信号処理回路９に合致するように８ビットのデータで供給される。この信号処理回路９の出力信号は、カラー映像信号として出力される一方、ＡＥ回路１３に入力され、アイリスを制御する絞り制御信号と、上記ＣＣＤ駆動クロックを制御するシャッタ速度制御信号をクロック発生回路１４に供給する。
【００１１】
つぎに、前記ＫＮＥＥ回路の動作説明をする。
【００１２】
図２は本発明の一実施例に係る非線形特性の曲線を示すグラフである。図２の縦軸Ａに入射光量をとり、同図の横軸Ｂに１２ビットに変換された信号をとり、入射光量に対応する信号をＡ／Ｄ変換で量子化した結果を１２ビットで出力する変換処理を示す。また、図２の横軸Ｂにとった１２ビットの入力信号を、γ変換及びＫＮＥＥ補正によって８ビットに圧縮した出力信号を縦軸Ｃにとり、１２ビットデータにデジタル処理にて非線形変換を施す処理を示す。
【００１３】
１２ビットデータ（横軸Ｂ）をデジタル処理にて非線形変換を施す場合、出力信号レベルが０レベルから、ＫＮＥＥ特性を規定する傾斜線とγ曲線とが交差するまでは、γ曲線で定められているγ特性（例えば、ｙ＝ｘ0.45）を有し、これを越えるとＫＮＥＥ圧縮される。そして、入力信号が所定レベルを越えると、出力データはホワイトクリップレベル（出力ビット数によって規定される一定値、即ち出力最大値＝２５５レベル）に設定される。
【００１４】
したがって、入力信号のレベルが所定レベルに到達するまで出力の飽和を防ぐことができる。
【００１５】
ＫＮＥＥ圧縮を決定するのがＫＮＥＥ特性の傾きで、一般に、斜線の両端（図２に示す始点及び終点）を設定し、ＫＮＥＥ特性の傾きを決定する。ヒストグラムに応じてＫＮＥＥ特性を変える例として、明るい方に輝度データの出現頻度の高いヒストグラムについては、ＫＮＥＥ特性の傾斜角を大きくし、ホワイトクリップレベルから遠ざかる方向に傾くようにし、高レベルの入力信号における分解能を確保する。逆に、暗い方に輝度データの出現頻度の高いヒストグラムについては、ＫＮＥＥ特性の傾斜角を小さくして、よりホワイトクリップレベルに近づけ、低レベルの入力信号における分解能が大きく得られるようにする。なお、本実施例におけるヒストグラムは、明るさを１００レベル単位に区切ったグルーピングで、サンプルの個数の出現頻度分布を計数し評価するものとする。これにより、ヒストグラムメモリの容量を削減することができる。
【００１６】
以下に、評価値とＫＮＥＥ特性の制御方法について具体例を挙げて説明する。
【００１７】
第１の方法は、図３に示すように入力信号の最高レベル（Ｂ軸の４０９５）と出力信号の最高レベル（Ｃ軸の２５５）の交点を終点とする。入力信号のヒストグラムに応じたＫＮＥＥ特性の傾斜を設定し、γ曲線と出力信号の２００レベル（１００％）の交点である始点を求めることを特徴とする。ＫＮＥＥ特性の傾きは前述したように、例えば明るい方に輝度データの出現頻度の高いヒストグラムについては、ＫＮＥＥ特性の傾斜角を大きくし、暗い方に輝度データの出現頻度の高いヒストグラムについては、ＫＮＥＥ特性の傾斜角を小さくする。
【００１８】
第２の方法は、図４に示すように入力信号の１画面中の最高レベルと出力可能な最高レベル（Ｃ軸の２５５）の交点を終点とし、入力信号のヒストグラムに応じて設定されるＫＮＥＥ特性の傾きからγ曲線との交点である始点を求めることを特徴とする。ＫＮＥＥ特性の傾きは第１の方法と同様に、例えば明るい方に輝度データの出現頻度の高いヒストグラムについては、ＫＮＥＥ特性の傾斜角を大きくし、暗い方に輝度データの出現頻度の高いヒストグラムについては、ＫＮＥＥ特性の傾斜角を小さくする。
【００１９】
第３の方法は、図５に示すようにＫＮＥＥ特性の傾きの延長線と縦軸（Ｃ）との交点を原点とし、この傾きの原点の位置を縦軸（Ｃ）上で可変させる。入力信号のヒストグラムに応じたＫＮＥＥ傾斜を設定し、傾き一定でＣ軸上を平行移動させることにより、γ曲線との交点である始点を求めることを特徴とする。例えば、明るい方に輝度データの出現頻度の高いヒストグラムについては、原点は縦軸（Ｃ）の出力信号の低レベル側に設定することにより、高輝度域の分解能を確保し、ホワイトクリップ点も高レベルに設定できる。逆に暗い方に輝度データの出現頻度の高いヒストグラムについては、原点は縦軸（Ｃ）の出力信号の高レベル側に設定することにより、低輝度域の分解能が確保できる。
【００２０】
第４の方法は、図６に示すように、ＫＮＥＥ特性の傾きの原点を縦軸（Ｃ）の出力信号の１００％（２００レベル）に固定し、入力信号のヒストグラムに応じて設定されるＫＮＥＥ特性の傾きから、γ曲線との交点である始点を求めることを特徴とする。ＫＮＥＥ特性の傾きは第１の方法と逆に、例えば明るい方に輝度データの出現頻度の高いヒストグラムについては、ＫＮＥＥ特性の傾斜角を小さくし、暗い方に輝度データの出現頻度の高いヒストグラムについては、ＫＮＥＥ特性の傾斜角を大きくする。
【００２１】
以上説明してきた通り、撮影画面の１画面全体にわたる画像データを基にして、最適な画像処理を画像メモリの出力に対して行う。
【００２２】
このように、画像メモリを用いることで、評価及び制御信号の生成に要する時間の遅れを補正できるので、各画面毎の最適な画像処理の演算が、時間的な「ずれ」を伴わずに実行可能となった。
【００２３】
その他の実施例として、画像メモリに格納する前の情報を評価手段に加え、過去の情報（前画面）も用い、その結果に応じて非線形処理を行うこともできる。
【００２４】
なお、上述した実施例においては、評価手段として画像入力信号の輝度ヒストグラムを用いて評価するものを用い、演算手段として非線形圧縮演算を行うものを用いているが、本発明はかかる実施例に限定されず、評価手段としては、輝度ピーク値、輝度Ｍｉｎ−Ｍａｘ、輝度平均値、輝度中央値、輝度分散値等を用いて評価するもの、演算手段としては、非線形変換（Ｍｉｎ−Ｍａｘ固定）、非線形伸長演算、非線形シフト、線形圧縮演算、線形伸長演算、加算シフト、減算シフト等を行うものを用いて本発明に係る画像信号処理装置を構成することも可能である。
【００２５】
また、色の情報、例えば、ホワイトバランスを評価手段の結果に応じて制御してもよい。色情報を評価する評価手段としては色ヒストグラム、色ピーク値、色Ｍｉｎ−Ｍａｘ、色平均値、色中央値、色分散値等を評価するものを用いることができる。
【００２６】
さらに、入力８ビットのデジタル信号を出力６ビットとなるような出力信号にして、液晶表示装置等のディスプレイに適用させることもできる。尚、ＫＮＥＥ傾斜を決定するパラメータの設定については、本実施例に限定されない。
【００２７】
【発明の効果】
以上説明したように、本発明の画像信号処理装置によれば、入力信号の画像を評価し、評価結果に基づいて信号の分散が最大となるように入力信号を演算処理することで、画面に応じて１画面毎に細かな処理をすることが可能となる。また、画像記憶手段を設けることにより、１画面毎の最適な演算処理を時間の遅れなく実行することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の一実施例を示すブロック図である。
【図２】本発明の一実施例に係る非線形特性の曲線を示すグラフである。
【図３】本発明の他の実施例に係る非線形特性の曲線を示すグラフである。
【図４】本発明の他の実施例に係る非線形特性の曲線を示すグラフである。
【図５】本発明の他の実施例に係る非線形特性の曲線を示すグラフである。
【図６】本発明の他の実施例に係る非線形特性の曲線を示すグラフである。
【図７】従来の撮像装置の一実施例を示すブロック図である。
【符号の説明】
１  レンズ
２  アイリス
３  ＣＣＤ
４  ＡＧＣ回路
５  Ａ／Ｄ変換器
６  画像メモリ
７  γ補正回路
８  ＫＮＥＥ回路
９  信号処理回路
１０  評価回路
１１  ヒストグラムメモリ
１２  制御回路
１３  ＡＥ回路
１４  クロック発生回路
【図１】
0003788997.tif 000002
【図２】
0003788997.tif 000003
【図３】
0003788997.tif 000004
【図４】
0003788997.tif 000005
【図５】
0003788997.tif 000006
【図６】
0003788997.tif 000007
【図７】
0003788997.tif 000008