(57)【特許請求の範囲】
【請求項１】
異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号を加算し、広ダイナミックレンジ映像信号を得る場合、上記高輝度映像信号のピーク値と、上記高輝度映像信号が上記広ダイナミックレンジ映像信号に占める加算割合を検出し、上記ピーク値と上記加算割合に基づき、上記標準輝度映像信号と上記高輝度映像信号にそれぞれ乗算する乗算係数を算出し、それぞれに乗算した後、加算することにより広ダイナミックレンジ映像信号を得ることを特徴とする信号処理方法。
【請求項２】
異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号を加算し、広ダイナミックレンジ映像信号を得る場合、上記高輝度映像信号のピーク値を検出する手段と、上記高輝度映像信号が上記広ダイナミックレンジ映像信号に占める加算割合を検出する手段と、上記ピーク値と上記加算割合に基づき上記標準輝度映像信号と上記高輝度映像信号にそれぞれ乗算する乗算係数を算出する手段と、算出したそれぞれの乗算係数を上記標準映像信号と上記高輝度映像信号にそれぞれ乗算する手段と、当該乗算した標準輝度映像信号と高輝度映像信号を加算する手段とを有し、広ダイナミックレンジ映像信号を得ることを特徴とする信号処理装置。
【請求項３】
異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号を加算し、広ダイナミックレンジ映像信号を得る場合、上記高輝度映像信号のピーク値を検出する手段と、このピーク値に基づき上記標準輝度映像信号と上記高輝度映像信号にそれぞれ乗算する乗算係数を算出する手段と、算出したそれぞれの乗算係数を上記標準映像信号と上記高輝度映像信号にそれぞれ乗算する手段と、当該乗算した標準輝度映像信号と高輝度映像信号を加算する手段とを有し、広ダイナミックレンジ映像信号を得る信号処理装置において、
上記広ダイナミックレンジ映像信号に上記高輝度映像信号が占める最大の割合をＲ％、上記高輝度映像信号のピーク値をＰ％、上記標準輝度映像信号の乗算係数をＬ、上記高輝度映像信号の乗算係数をＳとした場合に、上記それぞれの乗算係数を、
１００％−Ｒ％≧Ｐ％の場合、
Ｌ＝（１００％−Ｐ％）／１００％、 Ｓ＝１ とし、
１００％−Ｒ％＜Ｐ％の場合、
Ｌ＝（１００％−Ｒ％）／１００％、 Ｓ＝Ｒ％／Ｐ％
としたことを特徴とする信号処理装置。
【請求項４】
請求項２または３において、当該信号処理装置をテレビジョンカメラシステムに適用したことを特徴とする信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はダイナミックレンジの広い映像信号を得ることのできる信号処理方法及びその装置に関するものである。
【０００２】
【従来の技術】
従来、テレビジョンカメラ装置では、撮像素子の電荷蓄積容量による制限から約４倍のダイナミックレンジが限界であった。  従って、室内から室外を撮影する時など、極めて明るい(高輝度)被写体と比較的暗い(低輝度)被写体が混在するような場面を撮像する場合、高輝度被写体か低輝度被写体の何れかが適正レベルで得られるよう露光時間等を制御していたため、低輝度部分を適正レベルとすると高輝度部分が白とびし、高輝度部分を適正レベルとすると低輝度部分が黒つぶれしてしまうことになる。
近年、上記問題を解決するために、図５に示すような、垂直映像期間に通常の露光時間で電荷を蓄積する動作と、垂直ブランキング期間に短い露光時間で電荷を蓄積する動作を行うことで、通常露光によって標準的な明るさの被写体が適正レベルで得られる標準輝度映像信号Ｖ１と、短露光により極めて明るい被写体が適正レベルで得られる高輝度映像信号Ｖ２を取出すことが可能な広ダイナミックレンジ撮像素子が開発されている。  また、図６に示すような、撮像素子６から得られる映像信号Ｃを、増幅率の異なる増幅回路７と増幅回路８でそれぞれ増幅することにより、標準輝度映像信号Ｖ１と高輝度映像信号Ｖ２を取出すデュアル増幅方式などが開発されている。
図７に示すように、これら広ダイナミックレンジ撮像素子やデュアル増幅方式により取り出された標準輝度映像信号Ｖ１と高輝度映像信号Ｖ２に、後述の加算割合Ｒに基づいて乗算係数演算回路２で算出した固定の乗算係数Ｌ，Ｓを、乗算回路３，４でそれぞれ乗算した後、加算回路５で加算することにより、ダイナミックレンジ約６４倍の広ダイナミックレンジ映像信号Ｗが得られるテレビジョンカメラ装置が開発されている。
【０００３】
【発明が解決しようとする課題】
ここで、得られた広ダイナミックレンジ映像信号Ｗにおいて、高輝度映像信号Ｖ２が占める最大の割合である加算割合ＲをＲ％、標準輝度映像信号Ｖ１の乗算係数をＬ、高輝度映像信号Ｖ２の乗算係数をＳとすると、乗算係数Ｌ，Ｓは下記式のように、固定の係数となる。
Ｌ＝（１００％−Ｒ％）／１００％
Ｓ＝Ｒ％／１００％
上記式から分かるようにＬ＋Ｓ＝１である。  これは標準輝度映像信号Ｖ１と高輝度映像信号Ｖ２が、それぞれ最大の入力レベルである１００％レベルが入力された場合でも、加算後の信号レベルが１００％×Ｌ＋１００％×Ｓ＝１００％となり、広ダイナミックレンジ映像信号Ｗが１００％レベル以内に収まるようにするためである。
つまり、加算後の信号レベルが１００％を越えると、カメラ装置の最終出力が１００％に規制されており、１００％以上の信号成分は、１００％に圧縮されてしまい白つぶれとなり、広いダイナミックレンジの映像信号が取り出せなくなるからである。
ここで、加算割合Ｒ＝５０とし、標準輝度映像信号Ｖ１と高輝度映像信号Ｖ２が、５０％：５０％で加算される、即ちＬ＝０．５、Ｓ＝０．５の場合を考えると、図８から分かるように、高輝度映像信号Ｖ２のピーク値Ｐが映像信号の飽和レベル１００％より小さい６０％レベルの場合、加算後の広ダイナミックレンジ映像信号Ｗの振幅は、１００％×Ｌ(０.5)＋６０％×Ｓ(０.5)＝８０％となり、映像信号の飽和レベル１００％まで振幅せず、映像信号の出力レベル１００％をフルに活用できないため、コントラストの低い映像となる問題がある。
本発明はこれらの問題点を除去し、加算後の広ダイナミックレンジ映像信号を損失無く、かつ最適なレベルで得ることのできる広ダイナミックレンジ撮像装置の実現を目的とするものである。
【０００４】
【課題を解決するための手段】
本発明は上記目的を達成するため、異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号を加算し、広ダイナミックレンジ映像信号を得る場合、上記高輝度映像信号のピーク値を検出し、このピーク値に基づき、上記標準輝度映像信号と上記高輝度映像信号にそれぞれ乗算する乗算係数を算出し、それぞれに乗算した後、加算することにより広ダイナミックレンジ映像信号を得るようにしたものである。
また、上記広ダイナミックレンジ映像信号に上記高輝度映像信号が占める最大の割合をＲ％、上記高輝度映像信号のピーク値をＰ％、上記標準輝度映像信号の乗算係数をＬ、上記高輝度映像信号の乗算係数をＳとした場合に、上記それぞれの乗算係数を、
１００％−Ｒ％≧Ｐ％の場合、
Ｌ＝（１００％−Ｐ％）／１００％、  Ｓ＝１  とし、
１００％−Ｒ％＜Ｐ％の場合、
Ｌ＝（１００％−Ｒ％）／１００％、  Ｓ＝Ｒ％／Ｐ％
としたものである。
その結果、標準輝度映像信号と高輝度映像信号を加算することにより得られる広ダイナミックレンジ映像信号を損失無く、かつ最適なレベルで得ることができダイナミックレンジの広い映像信号が取り出し可能になる。
【０００５】
【発明の実施の形態】
以下、本発明の一実施例として、通常露光等によって標準的な明るさの被写体が適正レベルで得られるように制御された標準輝度映像信号と、短露光等により極めて明るい被写体が適正レベルで得られるように制御された高輝度映像信号を加算処理し、広ダイナミックレンジ映像信号を得るテレビジョンカメラ装置における加算処理部分の構成及び動作を図１を用い説明する。
Ｖ１は標準輝度の被写体が適正レベルとなる露光条件により取り出された標準輝度映像信号、Ｖ２は高輝度の被写体が適正レベルとなる露光条件により取り出された高輝度映像信号、Ｒは加算後の広ダイナミックレンジ映像信号Ｗにおいて高輝度映像信号Ｖ２が占める最大の割合を制御する加算割合、Ｐは高輝度映像信号Ｖ２のピーク値、Ｌは標準輝度映像信号Ｖ１に乗算される乗算係数、Ｓは高輝度映像信号Ｖ２に乗算される乗算係数、Ｏ１は標準輝度映像信号Ｖ１に乗算係数Ｌを乗算して得られた標準輝度映像信号、Ｏ２は高輝度映像信号Ｖ２に乗算係数Ｓを乗算して得られた高輝度映像信号、Ｗは標準輝度映像信号Ｏ１と高輝度映像信号Ｏ２を加算して得たダイナミックレンジの広い、広ダイナミックレンジ映像信号である。
１は高輝度映像信号Ｖ２の例えば１フィールド期間におけるピーク値Ｐを検出する回路、２は加算割合Ｒとピーク値Ｐから、標準輝度映像信号Ｖ１の乗算係数Ｌと高輝度映像信号Ｖ２の乗算係数Ｓを演算する乗算係数演算回路、３は標準輝度映像信号Ｖ１に乗算係数Ｌを乗算し標準輝度映像信号Ｏ１を出力する乗算回路、４は高輝度映像信号Ｖ２に乗算係数Ｓを乗算し高輝度映像信号Ｏ２を出力する乗算回路、５は標準輝度映像信号Ｏ１と高輝度映像信号Ｏ２を加算し、広ダイナミックレンジ映像信号Ｗを出力する加算回路である。
【０００６】
以下、この動作について説明する。
高輝度映像信号Ｖ２はピーク値検出回路１に入力され、高輝度映像信号Ｖ２のピーク値Ｐが出力される。加算割合Ｒとピーク値Ｐは乗算係数演算回路２に入力される。
乗算係数演算回路２は、図２に示すように、映像信号の最大振幅１００％から加算割合Ｒ％を引いた値とピーク値Ｐを比較し、１００％−Ｒ％≧Ｐ％ならば、乗算係数Ｌとして（１００％−Ｐ％）／１００％を、乗算係数Ｓとして１を出力する。  また、１００％−Ｒ％＜Ｐ％の場合は、乗算係数Ｌとして（１００％−Ｒ％）／１００％を、乗算係数ＳとしてＲ％／Ｐ％を出力する。
乗算係数演算回路２で演算された、乗算係数Ｌは乗算回路３へ、乗算係数Ｓは乗算回路４へ入力される。  乗算回路３では、標準輝度映像信号Ｖ１と乗算係数Ｌが乗算され、標準輝度映像信号Ｏ１が出力される。  同様に乗算回路４では、高輝度映像信号Ｖ２と乗算係数Ｌが乗算され高輝度映像信号Ｏ２が出力される。この標準輝度映像信号Ｏ１と高輝度映像信号Ｏ２は、加算回路５で加算され、広ダイナミックレンジ映像信号Ｗが出力される。
【０００７】
以上述べた如く、ピーク値Ｐが１００％−Ｒ％より小さい場合は、図３のように、高輝度映像信号Ｖ２は減衰しないように、乗算係数Ｓを１として、広ダイナミックレンジ映像ＷにＰ％の割合で加算されるようにし、残りの１００％−Ｐ％に通常輝度映像信号Ｖ１が割り当てられるように、乗算係数Ｌを（１００％−Ｐ％）／１００％とすることにより、広ダイナミックレンジ映像信号Ｗは、常に１００％の振幅レベルとなる。
一方、ピーク値Ｐが１００％−Ｒ％より大きい場合には、図４のように、通常輝度映像信号Ｖ１の乗算係数Ｌを（１００％−Ｒ％）／１００％とし、広ダイナミックレンジ映像Ｗに１００％−Ｒ％の割合で加算されるように固定し、残りのＲ％に高輝度度映像信号Ｖ２が割り当てられるように、乗算係数ＳをＲ％／Ｐ％とすることにより、広ダイナミックレンジ映像信号Ｗは、常に１００％の振幅となる。  このように、高輝度映像信号Ｖ１がどのような振幅レベルであっても、広ダイナミックレンジ映像信号Ｗは、常に１００％振幅の出力となる。
【０００８】
【発明の効果】
本発明によれば、標準輝度映像信号と高輝度映像信号を加算することによって得られる広ダイナミックレンジ映像信号を損失無く、かつ、最適なレベルで得ることができ、ダイナミックレンジの広い映像信号を取り出すことができる。
【図面の簡単な説明】
【図１】本発明の広ダイナミックレンジ撮像装置の加算処理構成を示すブロック図
【図２】本発明の乗算係数演算回路２の動作を示すフローチャート
【図３】本発明の広ダイナミックレンジ撮像装置の加算処理動作を示す模式図
【図４】本発明の広ダイナミックレンジ撮像装置の加算処理動作を示す模式図
【図５】従来の広ダイナミックレンジ撮像装置の動作を示す模式図
【図６】従来の広ダイナミックレンジ撮像装置の構成を示すブロック図
【図７】従来の広ダイナミックレンジ撮像装置の加算処理構成を示すブロック図
【図８】従来の広ダイナミックレンジ撮像装置の動作を示す模式図
【符号の説明】
１：ピーク値検出回路、２：乗算係数演算回路、３，４：乗算回路、５：加算回路、Ｖ１：標準輝度映像信号、Ｖ２：高輝度映像信号、Ｏ１：乗算後の標準輝度映像信号、Ｏ２：乗算後の高輝度映像信号、Ｒ：加算割合、Ｐ：高輝度映像信号のピーク値、Ｌ，Ｓ：乗算係数、Ｗ：広ダイナミックレンジ映像信号。
【図１】
0003642558.tif 000002
【図２】
0003642558.tif 000003
【図３】
0003642558.tif 000004
【図４】
0003642558.tif 000005
【図５】
0003642558.tif 000006
【図６】
0003642558.tif 000007
【図７】
0003642558.tif 000008
【図８】
0003642558.tif 000009