(57)【特許請求の範囲】
【請求項１】
異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号を加算し、広ダイナミックレンジ映像信号を得る場合、上記標準輝度映像信号と上記高輝度映像信号のそれぞれのホワイトバランスを調整後、上記それぞれ調整された映像信号の輝度信号同士を所定比率で合成し、上記それぞれ調整された映像信号の色信号は、互いに逆特性となるニー処理、及び少なくとも一方の上記調整された映像信号の色信号に所定のレベル補正を施した上で合成し、広ダイナミックレンジ映像信号を得ることを特徴とする信号処理方法。
【請求項２】
異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号を加算し、広ダイナミックレンジ映像信号を得る場合、上記標準輝度映像信号のホワイトバランスを調整する手段と、上記高輝度映像信号のホワイトバランスを調整する手段と、上記調整された標準輝度映像信号の輝度信号と上記調整された高輝度映像信号の輝度信号を合成する手段と、上記調整された標準輝度映像信号の輝度信号から所定のニー係数を演算し上記調整された標準輝度映像信号の色信号に乗算する手段と、上記調整された高輝度映像信号の輝度信号から所定の補正係数を演算し上記調整された高輝度映像信号の色信号に乗算して上記調整された高輝度映像信号の色信号に加算する手段と、上記調整された高輝度映像信号の輝度信号から所定のニー係数を演算し上記加算された色信号に乗算する手段と、上記ニー係数を乗算された標準輝度映像信号の色信号と上記ニー係数を乗算された高輝度映像信号の色信号を合成する手段とを有し、広ダイナミックレンジ映像信号を得ることを特徴とする信号処理装置。
【請求項３】
請求項２において、当該信号処理装置をテレビジョンカメラシステムに適用したことを特徴とする信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はダイナミックレンジの広い映像信号を得ることのできる信号処理方法およびその装置に関するものである。
【０００２】
【従来の技術】
従来、テレビジョンカメラ装置では、撮像素子の電荷蓄積容量による制限から約４倍のダイナミックレンジが限界であった。  従って、室内から室外を撮影する時など、極めて明るい（高輝度）被写体と比較的暗い（低輝度）被写体が混在するような場面を撮像する場合、高輝度被写体か低輝度被写体の何れかが適正レベルで得られるよう露光時間等を制御していたため、低輝度部分を適正レベルとすると高輝度部分が白とびし、高輝度部分を適正レベルとすると低輝度部分が黒つぶれしてしまうことになる。
近年、上記問題を解決するために、図９に示すような、垂直映像期間に通常の露光時間で電荷を蓄積する動作と、垂直ブランキング期間に短い露光時間で電荷を蓄積する動作を行うことで、通常露光により得られる標準輝度映像信号Ｖ１と短い露光により得られる高輝度映像信号Ｖ２を取り出すことが可能な広ダイナミックレンジ撮像素子が開発されている。  また、図１０に示すような、撮像素子１２から得られる映像信号Ｃを、増幅率の異なる増幅回路１３と増幅回路１４でそれぞれ増幅することによって、標準輝度映像信号Ｖ１と高輝度映像信号Ｖ２を取り出すデュアル増幅方式などが開発されている。
図１１に示す様に、これら広ダイナミックレンジ撮像素子やデュアル増幅方式により取り出された標準輝度映像信号と高輝度映像信号を用いて広ダイナミックレンジ映像信号を得る場合、低輝度被写体と高輝度被写体の色温度が違うため、標準輝度映像信号の輝度信号Ｙ１と色信号Ｃ１はホワイトバランス回路１にて、高輝度映像信号の輝度信号Ｙ２と色信号Ｃ２はホワイトバランス回路２により、それぞれの映像信号の色温度に合うようにホワイトバランス処理し、これにより得られた輝度信号Ｚ１，Ｚ２と色信号Ｄ１，Ｄ２を、合成回路１０と合成回路１１で加算することにより、ダイナミックレンジ約６４倍の広ダイナミックレンジ映像信号となる輝度信号ＷＹと色信号ＷＣが得られるテレビジョンカメラ装置が開発されている。
【０００３】
【発明が解決しようとする課題】
上記において、ホワイトバランス後の標準輝度映像信号の輝度信号Ｚ１と高輝度映像信号の輝度信号Ｚ２は合成回路１０で加算され、図７に示す様な輝度信号ＷＹとなる。  同様に標準輝度映像信号の色信号Ｄ１と高輝度映像信号の色信号Ｄ２は合成回路１１で加算され、図１２に示す様な色信号ＷＣとなる。  ここで標準輝度映像信号の色信号Ｄ１は色温度ａでホワイトバランス処理され、高輝度映像信号の色信号Ｄ２は色温度ｂでホワイトバランス処理されていると仮定すると、合成された広ダイナミックレンジ映像信号の色信号ＷＣは、異なる色温度でホワイトバランス処理された色信号を合成することになり、ホワイトバランスがずれてしまう問題がある。
そこで、本出願人は、ホワイトバランスのずれが最小限で合成される様にするために、図１１の従来技術に、ニー係数演算回路６，７と乗算回路８，９を追加した図１３に示すようなテレビジョンカメラ装置を考案した。
この動作は、最適化された標準輝度映像信号の輝度信号Ｙ１と色信号Ｃ１は、ホワイトバランス回路１に入力され、ここで当該被写体の色温度（ここではａとする）にホワイトバランス調整され、輝度信号Ｚ１と色信号Ｄ１が出力される。そしてホワイトバランス調整後の輝度信号Ｚ１は、ニー係数演算回路６に入力される。
ここで、ニー係数Ｋ１は、例えば、図４に示すように、輝度レベルが０からｉでは１とし、ｉからｊでは１から０に徐々に減衰し、ｊ以上では０となる関数により算出される。  ニー係数演算回路６で演算されたこのニー係数Ｋ１と色信号Ｄ１は乗算回路８に入力され、Ｆ１＝Ｋ１×Ｄ１の演算により、ニー処理された色信号Ｆ１が出力される。
【０００４】
一方、最適化された高輝度映像信号の輝度信号Ｙ２と色信号Ｃ２は、ホワイトバランス回路２に入力され、ここで、当該被写体の色温度（ここではｂとする）にホワイトバランス調整され、輝度信号Ｚ２と色信号Ｄ２が出力される。  そしてホワイトバランス調整後の輝度信号Ｚ２は、ニー係数演算回路７に入力される。ここで、ニー係数Ｋ２は、例えば、図５に示すように、輝度レベルが０からｉでは０とし、ｉからｊでは０から１に徐々に増加し、ｊ以上では１となる関数により算出される。  ニー係数演算回路７で演算されたこのニー係数Ｋ２と色信号Ｄ２は乗算回路９に入力され、Ｆ２＝Ｋ２×Ｄ２の演算により、ニー処理された色信号Ｆ２が出力される。
次に、ホワイトバランス処理された輝度信号Ｚ１と輝度信号Ｚ２は、合成回路１０に入力され、ここで図７に示すように加算され、広ダイナミックレンジ映像信号となる輝度信号ＷＹが出力される。
同様に、ニー処理された色信号Ｆ１と色信号Ｆ２は、合成回路１１に入力されここで、図１４に示す様に加算され、広ダイナミックレンジ映像信号となる色信号ＷＣが出力される。
ここで、色信号Ｄ１と色信号Ｄ２のニー処理の係数となるニー係数Ｋ１，Ｋ２を、図６に示す様な同一の光量（輝度レベル）となる、ｉとｊの間のレベルで交差する特性とすることにより、図１４に示す様に、合成後の色信号ＷＣの成分が、０からｉのレベルでは、標準輝度映像信号の色信号Ｅ１だけに、即ち色温度ａに基づき処理された信号だけになるよう処理される。  そして、ｉからｊのレベルでは、標準輝度映像信号の色信号Ｆ１に高輝度映像信号の色信号Ｆ２が徐々に比率を増して合成されるよう処理される。  更に、ｊから無限のレベルでは、高輝度映像信号の色信号Ｆ２だけ、つまり、色温度ｂに基づき処理された信号だけになるように処理される。
これにより、ホワイトバランスのずれを、ｉからｊの最小範囲に留め、色信号Ｆ１と色信号Ｆ２の合成される境界線がスムーズに処理され、ダイナミックレンジが広く、最適なホワイトバランスとなる映像信号を得ることが可能になるが、標準輝度映像信号と高輝度映像信号の境目に色信号量の不連続性が生じ、不自然となる問題がある。
【０００５】
本発明はこれらの問題点を除去し、ホワイトバランス後の標準輝度映像信号と高輝度映像信号の色信号に所定の処理を施し合成することで、加算後の広ダイナミックレンジ映像信号を損失無く、かつ、最適なレベルで得ることを特徴とする装置の実現を目的とするものである。
【０００６】
【課題を解決するための手段】
本発明は、上記の目的を達成するため、異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号を加算し、広ダイナミックレンジ映像信号を得る場合、上記標準輝度映像信号と上記高輝度映像信号のそれぞれのホワイトバランスを調整後、上記それぞれ調整された映像信号の輝度信号同士を所定比率で合成し、上記それぞれ調整された映像信号の色信号は、互いに逆特性となるニー処理、及び少なくとも一方の上記調整された映像信号の色信号に所定のレベル補正を施した上で合成し、広ダイナミックレンジ映像信号を得る様にしたものである。
【０００７】
また、異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号を加算し、広ダイナミックレンジ映像信号を得る場合、上記標準輝度映像信号のホワイトバランスを調整する手段と、上記高輝度映像信号のホワイトバランスを調整する手段と、上記調整された標準輝度映像信号の輝度信号と上記調整された高輝度映像信号の輝度信号を合成する手段と、上記調整された標準輝度映像信号の輝度信号から所定のニー係数を演算し上記調整された標準輝度映像信号の色信号に乗算する手段と、上記調整された高輝度映像信号の輝度信号から所定の補正係数を演算し上記調整された高輝度映像信号の色信号に乗算して上記調整された高輝度映像信号の色信号に加算する手段と、上記調整された高輝度映像信号の輝度信号から所定のニー係数を演算し上記加算された色信号に乗算する手段と、上記ニー係数を乗算された標準輝度映像信号の色信号と上記ニー係数を乗算された高輝度映像信号の色信号を合成する手段とを有する信号処理装置で、広ダイナミックレンジな映像信号のホワイトバランスが最適になるようにし、標準輝度映像信号と高輝度映像信号の境目に生じる色信号量の不連続性を軽減すようにしたものである。
【０００８】
【発明の実施の形態】
以下、本発明の一実施例として、通常露光等によって標準的な明るさの被写体が適正レベルで得られるように制御された標準輝度映像信号と、短露光等により極めて明るい被写体が適正レベルで得られるように制御された高輝度映像信号を加算処理し、広ダイナミックレンジ映像信号を得るテレビジョンカメラ装置における加算処理部分の構成及び動作を図１を用い説明する。
１は最適化された標準輝度映像信号の輝度信号Ｙ１と色信号Ｃ１を当該被写体の色温度に適したホワイトバランスに調整し、調整された輝度信号Ｚ１と色信号Ｄ１を出力するホワイトバランス回路。  ２は最適化された高輝度映像信号の輝度信号Ｙ２と色信号Ｃ２を当該被写体の色温度に適したホワイトバランスに調整し、調整された輝度信号Ｚ２と色信号Ｄ２を出力するホワイトバランス回路。
３は輝度信号Ｚ２から色信号Ｄ２に補正処理を施すための補正係数Ｒを演算する補正係数演算回路、４は色信号Ｄ２に補正係数Ｒを乗算した補正用の色信号Ｓを出力する乗算回路、５は色信号Ｄ２と補正用の色信号Ｓを加算した色信号Ｅ２を出力する加算回路。  ６は輝度信号Ｚ１の輝度レベルに基づき色信号Ｄ１にニー処理を施こすためのニー係数Ｋ１を演算するニー係数演算回路。  ７は輝度信号Ｚ２の輝度レベルに基づき、色信号Ｅ２にニー処理を施こすためのニー係数Ｋ２を演算するニー係数演算回路。  ８は色信号Ｄ１にニー係数Ｋ１を乗算し色信号Ｆ１を出力する乗算回路、９は色信号Ｅ２にニー係数Ｋ２を乗算し色信号Ｆ２を出力する乗算回路。  １０は調整された輝度信号Ｚ１と輝度信号Ｚ２を加算し、広ダイナミックレンジ映像となる輝度信号ＷＹを出力する合成回路、１１は調整された色信号Ｆ１と色信号Ｆ２を加算し、広ダイナミックレンジ映像となる色信号ＷＣを出力する合成回路である。
【０００９】
以下、この動作について説明する。
まず、最適化された標準輝度映像信号の輝度信号Ｙ１と色信号Ｃ１は、ホワイトバランス回路１に入力され、ここで、当該被写体の色温度（ここではａとする）にホワイトバランス調整され、輝度信号Ｚ１と色信号Ｄ１が出力される。  そしてホワイトバランス調整後の輝度信号Ｚ１は、ニー係数演算回路６に入力される。ここで、ニー係数Ｋ１は、例えば、図４に示すように、輝度レベルが０からｉでは１とし、ｉからｊでは１から０に徐々に減衰し、ｊ以上では０となる関数により算出される。  ニー係数演算回路６で演算されたこのニー係数Ｋ１と色信号Ｄ１は乗算回路８に入力され、Ｆ１＝Ｋ１×Ｄ１の演算により、ニー処理された色信号Ｆ１が出力される。
一方、最適化された高輝度映像信号の輝度信号Ｙ２と色信号Ｃ２は、ホワイトバランス回路２に入力され、被写体の色温度（ここではｂと仮定する）にホワイトバランス調整され、輝度信号Ｚ２と色信号Ｄ２が出力される。  そしてホワイトバランス調整後の輝度信号Ｚ２は、補正係数演算回路３に入力される。  ここで補正係数Ｒは、図２に示すように、輝度レベルが０からｎでは、補正係数Ｒがｍから０になり、輝度レベルｎ以上では、補正係数が０となる関数で演算される。そして、補正係数演算回路３で演算された補正係数Ｒと色信号Ｄ２は乗算回路４に入力され、Ｓ＝Ｒ×Ｄ２の演算が行われ、補正処理する為の色信号Ｓが、図３のように出力される。  次に、該補正処理する為の色信号Ｓと色信号Ｄ２は加算回路５に入力され、Ｅ２＝Ｓ＋Ｄ２の演算が行われ、補正処理された色信号Ｅ２が出力される。
また、ホワイトバランス調整された輝度信号Ｚ２は、ニー係数演算回路７にも入力される。  ここでニー係数Ｋ２は、図５に示すように輝度レベルが０からｉでは０とし、ｉからｊでは０から１に徐々に増加し、ｊ以上では１となる関数により算出される。  ニー係数演算回路７で演算されたこのニー係数Ｋ２と色信号Ｄ２は乗算回路９に入力され、Ｆ２＝Ｋ２×Ｅ２の演算により、ニー処理された色信号Ｆ２が出力される。
【００１０】
一方、ホワイトバランス処理された輝度信号Ｚ１と輝度信号Ｚ２は、合成回路１０に入力され、前述の図７に示す様に所定の比率で加算され、広ダイナミックレンジ映像となる輝度信号ＷＹが出力される。
同様に、前述の如くニー処理された色信号Ｆ１と色信号Ｆ２は、合成回路１１にて加算され、図８に示すように、広ダイナミックレンジ映像となる色信号ＷＣが出力される。
即ち、色信号Ｆ１と色信号Ｆ２を合成する場合、図８に示す様に、色信号Ｆ１から色信号Ｆ２に移る境目における減衰が最小となるよう、光量ｎ以下のレベルを増補正してニー処理した色信号Ｆ２と、ニー処理した色信号Ｆ１を合成する。更に、ニー係数Ｋ１，Ｋ２を図６に示す様な同一の光量となるｉとｊで交差する特性（逆特性）で合成する。
これにより、合成後の色信号ＷＣの成分が、光量０からｉのレベルでは、標準輝度映像信号の色信号Ｆ１だけ、つまり、色温度ａの信号だけになるように処理され、光量ｉからｊのレベルでは、標準輝度映像信号の色信号Ｆ１と高輝度映像信号の色信号Ｆ２が最小の減衰で合成され、光量ｊから無限のレベルでは、高輝度映像信号の色信号Ｆ２だけ、つまり、色温度ｂの信号だけになるように処理される。
このように、ホワイトバランスのずれを、ｉからｊの最小範囲に留め、さらに色信号Ｆ１と色信号Ｆ２の合成の境目における色減衰も最小にして処理することができるため、ダイナミックレンジが広く、最適なホワイトバランスとなる映像信号を得ることが可能になる。
なお、補正係数演算回路３の実施例において、図２のような線形処理について説明したが、線形処理だけではなく、非線形処理などを用いても、色信号Ｆ１と色信号Ｆ２の合成される境目の減衰を最小にすることが可能である。
【００１１】
【発明の効果】
以上説明したように、本発明によれば、標準輝度映像信号と高輝度映像信号の色信号に所定の処理を施し合成することで、加算後の広ダイナミックレンジ映像信号を損失無く、最適なホワイトバランスで、かつ、標準輝度映像信号と高輝度映像信号の境目に生じる色信号量の不連続性を軽減すことができ、ダイナミックレンジの広い映像信号を取り出すことができる。
【図面の簡単な説明】
【図１】本発明の広ダイナミックレンジ撮像装置の加算処理構成を示すブロック図
【図２】本発明の補正係数演算回路３の動作を示す図
【図３】本発明の色信号Ｅ２の演算処理動作を示す図
【図４】本発明のニー係数演算回路６の演算処理動作を示す図
【図５】本発明のニー係数演算回路７の演算処理動作を示す図
【図６】本発明のニー係数演算回路６，７の演算処理動作を重ね合わせて示す図
【図７】本発明の広ダイナミックレンジ輝度信号の加算処理動作を示すフローチャート
【図８】本発明の広ダイナミックレンジ色信号の加算処理動作を示すフローチャート
【図９】従来の広ダイナミックレンジ撮像装置の動作を示す図
【図１０】従来の広ダイナミックレンジ撮像装置の構成を示すブロック図
【図１１】従来の広ダイナミックレンジ撮像装置の構成を示すブロック図
【図１２】従来の広ダイナミックレンジ色信号の加算処理動作を示すフローチャート
【図１３】改良した広ダイナミックレンジ色信号の加算処理動作を示すフローチャート
【図１４】改良した広ダイナミックレンジ撮像装置の構成を示すブロック図
【符号の説明】
１，２：ホワイトバランス回路、３：補正係数演算回路、４，８，９：乗算回路、５：加算回路、６，７：ニー係数演算回路、１０，１１：合成回路。
【図１】
0003620823.tif 000002
【図２】
0003620823.tif 000003
【図３】
0003620823.tif 000004
【図４】
0003620823.tif 000005
【図５】
0003620823.tif 000006
【図６】
0003620823.tif 000007
【図７】
0003620823.tif 000008
【図８】
0003620823.tif 000009
【図９】
0003620823.tif 000010
【図１０】
0003620823.tif 000011
【図１１】
0003620823.tif 000012
【図１２】
0003620823.tif 000013
【図１３】
0003620823.tif 000014
【図１４】
0003620823.tif 000015