(57)【特許請求の範囲】
【請求項１】
異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号を加算し、広ダイナミックレンジ映像信号を得る場合、上記標準輝度映像信号と上記高輝度映像信号のそれぞれのホワイトバランスを調整し、当該調整されたそれぞれの映像信号の輝度信号からそれぞれのニー係数を演算し、それぞれの映像信号の色信号にそれぞれ乗算し、上記それぞれ調整された映像信号の輝度信号同士を合成し、上記それぞれ乗算された映像信号の色信号同士を合成した後に加算することにより、広ダイナミックレンジ映像信号を得ることを特徴とする信号処理方法。
【請求項２】
異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号を加算し、広ダイナミックレンジ映像信号を得る場合、上記標準輝度映像信号の輝度信号と色信号からホワイトバランス調整をする手段と、上記高輝度映像信号の輝度信号と色信号からホワイトバランス調整をする手段と、上記調整された標準輝度映像信号の輝度信号からニー係数を演算する手段と、上記調整された高輝度映像信号の輝度信号からニー係数を演算する手段と、上記調整された標準輝度映像信号の色信号に上記ニー係数を乗算する手段と、上記調整された高輝度映像信号の色信号に上記ニー係数を乗算する手段と、上記調整された標準輝度映像信号の輝度信号と上記調整された高輝度映像信号の輝度信号を合成する手段と、上記調整された標準輝度映像信号の色信号と上記調整された高輝度映像信号の色信号を合成する手段とを有し、広ダイナミックレンジ映像信号を得ることを特徴とする信号処理装置。
【請求項３】
請求項２において、当該信号処理装置をテレビジョンカメラシステムに適用したことを特徴とする信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ダイナミックレンジの広い映像信号を得ることのできる信号処理方法およびその装置に関するものである。
【０００２】
【従来の技術】
従来、テレビジョンカメラ装置では、撮像素子の電荷蓄積容量による制限から約４倍のダイナミックレンジが限界であった。  従って、室内から室外を撮影する時など、極めて明るい(高輝度)被写体と比較的暗い(低輝度)被写体が混在するような場面を撮像する場合、高輝度被写体か低輝度被写体の何れかが適正レベルで得られるよう露光時間等を制御していたため、低輝度部分を適正レベルとすると高輝度部分が白とびし、高輝度部分を適正レベルとすると低輝度部分が黒つぶれしてしまうことになる。
近年、上記問題を解決するために、図７に示すような、垂直映像期間に通常の露光時間で電荷を蓄積する動作と、垂直ブランキング期間に短い露光時間で電荷を蓄積する動作を行うことで、通常露光により得られる標準輝度映像信号Ｖ１と短い露光により得られる高輝度映像信号Ｖ２を取り出すことが可能な広ダイナミックレンジ撮像素子が開発されている。  また、図８に示すような、撮像素子９から得られる映像信号Ｃを、増幅率の異なる増幅回路１０と増幅回路１１でそれぞれ増幅することによって、標準輝度映像信号Ｖ１と高輝度映像信号Ｖ２を取り出すデュアル増幅方式などが開発されている。
図９に示すように、これら広ダイナミックレンジ撮像素子やデュアル増幅方式により取り出された標準輝度映像信号と高輝度映像信号を用いて広ダイナミックレンジ映像信号を得る場合、低輝度被写体と高輝度被写体の色温度が違うため、標準輝度映像信号の輝度信号Ｙ１と色信号Ｃ１をホワイトバランス回路１にて、高輝度映像信号の輝度信号Ｙ２と色信号Ｃ２をホワイトバランス回路２により、それぞれの映像信号の色温度に合うようにホワイトバランス処理し、これにより得られた輝度信号Ｚ１，Ｚ２と色信号Ｄ１，Ｄ２を、合成回路７と合成回路８で加算することにより、ダイナミックレンジ約６４倍の広ダイナミックレンジ映像信号となる輝度信号ＷＹと色信号ＷＣが得られるテレビジョンカメラ装置が開発されている。
【０００３】
【発明が解決しようとする課題】
上記において、ホワイトバランス後の標準輝度映像信号の輝度信号Ｚ１と高輝度映像信号の輝度信号Ｚ２は合成回路７で加算され、図５に示すような輝度信号ＷＹとなる。  同様に標準輝度映像信号の色信号Ｄ１と高輝度映像信号の色信号Ｄ２は合成回路８で加算され、図１０に示すような色信号ＷＣとなる。  ここで標準輝度映像信号の色信号Ｄ１は色温度ａでホワイトバランス処理され、高輝度映像信号の色信号Ｄ２は色温度ｂでホワイトバランス処理されていると仮定すると、合成された広ダイナミックレンジ映像信号の色信号ＷＣは、異なる色温度でホワイトバランス処理された色信号を合成することになり、ホワイトバランスがずれてしまう問題がある。
本発明はこれらの問題点を除去し、ホワイトバランス後の標準輝度映像信号と高輝度映像信号の色信号に所定の処理を施し合成することで、加算後の広ダイナミックレンジ映像信号を損失無く、かつ、最適なレベルで得ることを特徴とする装置の実現を目的とするものである。
【０００４】
【課題を解決するための手段】
本発明は上記の目的を達成するため、異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号を加算し、広ダイナミックレンジ映像信号を得る場合、上記標準輝度映像信号と上記高輝度映像信号のそれぞれのホワイトバランスを調整し、当該調整されたそれぞれの映像信号の輝度信号からそれぞれのニー係数を演算し、それぞれの映像信号の色信号にそれぞれ乗算し、上記それぞれ調整された映像信号の輝度信号同士を合成し、上記それぞれ乗算された映像信号の色信号同士を合成した後に加算することにより、広ダイナミックレンジ映像信号のホワイトバランスが最適になるようにしたものである。
その結果、標準輝度被写体と高輝度被写体を加算して得られる映像信号を損失無く、かつ最適なホワイトバランスで得ることができ、ダイナミックレンジの広い映像信号が取り出し可能になる。
【０００５】
【発明の実施の形態】
以下、本発明の一実施例として、通常露光等によって標準的な明るさの被写体が適正レベルで得られるように制御された標準輝度映像信号と、短露光等により極めて明るい被写体が適正レベルで得られるように制御された高輝度映像信号を加算処理し、広ダイナミックレンジ映像信号を得るテレビジョンカメラ装置における加算処理部分の構成及び動作を図１を用い説明する。
１は最適化された標準輝度映像信号の輝度信号Ｙ１と色信号Ｃ１を当該被写体の色温度に適したホワイトバランスに調整し、調整された輝度信号Ｚ１と色信号Ｄ１を出力するホワイトバランス回路。  ２は最適化された高輝度映像信号の輝度信号Ｙ２と色信号Ｃ２を当該被写体の色温度に適したホワイトバランスに調整し、調整された輝度信号Ｚ２と色信号Ｄ２を出力するホワイトバランス回路。
３は輝度信号Ｚ１の輝度レベルに基づき、色信号Ｄ１にニー処理を施こすためのニー係数Ｋ１を演算するニー係数演算回路。  ４は輝度信号Ｚ２の輝度レベルに基づき、色信号Ｄ２にニー処理を施こすためのニー係数Ｋ２を演算するニー係数演算回路。  ５は色信号Ｄ１にニー係数Ｋ１を乗算し色信号Ｅ１を出力する乗算回路、６は色信号Ｄ２にニー係数Ｋ２を乗算し色信号Ｅ２を出力する乗算回路。７は調整された輝度信号Ｚ１と輝度信号Ｚ２を加算し、広ダイナミックレンジの映像信号となる輝度信号ＷＹを出力する合成回路、８は調整された色信号Ｅ１と色信号Ｅ２を加算し、広ダイナミックレンジの映像信号となる色信号ＷＣを出力する合成回路である。
【０００６】
以下、この動作について説明する。
まず、最適化された標準輝度映像信号の輝度信号Ｙ１と色信号Ｃ１は、ホワイトバランス回路１に入力され、ここで、当該被写体の色温度(ここではａとする)にホワイトバランス調整され、輝度信号Ｚ１と色信号Ｄ１が出力される。  そしてホワイトバランス調整後の輝度信号Ｚ１は、ニー係数演算回路３に入力される。
ここで、ニー係数Ｋ１は、例えば、図２に示すように、輝度レベルが０からｉでは１とし、ｉからｊでは１から０に徐々に減衰し、ｊ以上では０となる関数により算出される。  ニー係数演算回路３で演算されたこのニー係数Ｋ１と色信号Ｄ１は乗算回路５に入力され、Ｅ１＝Ｋ１×Ｄ１の演算により、ニー処理された色信号Ｅ１が出力される。
一方、最適化された高輝度映像信号の輝度信号Ｙ２と色信号Ｃ２は、ホワイトバランス回路２に入力され、ここで、当該被写体の色温度(ここではｂとする)にホワイトバランス調整され、輝度信号Ｚ２と色信号Ｄ２が出力される。  そしてホワイトバランス調整後の輝度信号Ｚ２は、ニー係数演算回路４に入力される。
ここで、ニー係数Ｋ２は、例えば、図３に示すように、輝度レベルが０からｉでは０とし、ｉからｊでは０から１に徐々に増加し、ｊ以上では１となる関数により算出される。  ニー係数演算回路４で演算されたこのニー係数Ｋ２と色信号Ｄ２は乗算回路６に入力され、Ｅ２＝Ｋ２×Ｄ２の演算により、ニー処理された色信号Ｅ２が出力される。
【０００７】
次に、ホワイトバランス処理された輝度信号Ｚ１と輝度信号Ｚ２は合成回路７に入力され、ここで図５に示すように加算され、広ダイナミックレンジ映像信号となる輝度信号ＷＹが出力される。
同様に、ニー処理された色信号Ｅ１と色信号Ｅ２は、合成回路８に入力され、ここで、図６に示すように加算され、広ダイナミックレンジ映像となる輝度信号ＷＣが出力される。
以上述べたごとく、色信号Ｄ１と色信号Ｄ２のニー処理の係数となるニー係数Ｋ１，Ｋ２を、図４に示すような同一の光量(輝度レベル)となる、ｉとｊの間のレベルで交差する特性とすることにより、図６に示す様に、合成後の色信号ＷＣの成分が、０からｉのレベルでは、標準輝度映像信号の色信号Ｅ１だけ、つまり色温度ａに基づき処理された信号だけになるよう処理される。  そして、ｉからｊのレベルでは、標準輝度映像信号の色信号Ｅ１に高輝度映像信号の色信号Ｅ２が徐々に比率を増して合成されるよう処理される。  更に、ｊから無限のレベルでは、高輝度映像信号の色信号Ｅ２だけ、つまり、色温度ｂに基づき処理された信号だけになるように処理される。
以上のように、ホワイトバランスのずれが、ｉからｊの最小範囲に留め、色信号Ｅ１と色信号Ｅ２の合成される境界線をスムーズに処理されることで、ダイナミックレンジが広く、最適なホワイトバランスとなる映像信号を得ることが可能になる。
【０００８】
【発明の効果】
本発明によれば、標準輝度被写体と高輝度被写体を加算して得られる映像信号を損失無く、かつ最適なホワイトバランスで得ることができ、ダイナミックレンジの広い映像信号が取り出すことができる。
【図面の簡単な説明】
【図１】本発明の広ダイナミックレンジ撮像装置の加算処理構成を示すブロック図
【図２】本発明のニー係数演算回路３の動作を示す図
【図３】本発明のニー係数演算回路４の動作を示す図
【図４】本発明のニー係数演算回路３，４の動作を示す図
【図５】本発明の広ダイナミックレンジ輝度信号の加算処理動作を示すフローチャート
【図６】本発明の広ダイナミックレンジ色信号の加算処理動作を示すフローチャート
【図７】従来の広ダイナミックレンジ撮像装置の動作を示す図
【図８】従来の広ダイナミックレンジ撮像装置の構成を示すブロック図
【図９】従来の広ダイナミックレンジ撮像装置の構成を示すブロック図
【図１０】従来の広ダイナミックレンジ撮像装置の加算処理動作を示すフローチャート
【符号の説明】
１，２：ホワイトバランス回路、３，４：ニー係数演算回路、５，６：乗算回路、７，８：合成回路、Ｙ１：標準輝度映像信号の輝度信号、Ｙ２：高輝度映像信号の輝度信号、Ｚ１，Ｚ２：調整後の輝度信号、ＷＹ：合成後の輝度信号、Ｃ１：標準輝度映像信号の色信号、Ｃ２：高輝度映像信号の色信号、Ｄ１，Ｄ２：調整後の色信号、Ｅ１，Ｅ２：乗算後の色信号、ＷＹ：合成後の色信号、Ｋ１，Ｋ２：ニー係数。
【図１】
0003640374.tif 000002
【図２】
0003640374.tif 000003
【図３】
0003640374.tif 000004
【図４】
0003640374.tif 000005
【図５】
0003640374.tif 000006
【図６】
0003640374.tif 000007
【図７】
0003640374.tif 000008
【図８】
0003640374.tif 000009
【図９】
0003640374.tif 000010
【図１０】
0003640374.tif 000011