(57)【特許請求の範囲】
【請求項１】
カラーフィルターを用いて撮像素子によりカラー画像を撮像し、かつ、異なる露光時間で撮影した複数の画像を合成して広ダイナミックレンジ画像を作成する撮像装置であって、
撮像素子出力から輝度信号とクロマ信号とを生成する信号生成手段と、
前記信号生成手段によって生成された輝度信号を用いて画像を合成する比率を計算して画像の合成を行う画像合成手段とを有し、
前記信号生成手段で輝度信号を生成する際に、前記異なる露光時間のうち長い方の露光時間で撮影した画像の輝度信号について、同じラインで隣接する少なくとも２つ以上の撮像素子出力のいずれかが所定の閾値レベルより大きい場合は、同じラインの輝度信号と上または下のラインの輝度信号のどちらか大きい方を輝度信号として選択し、それ以外の場合は、同じラインの輝度信号を選択し、
前記画像合成手段では、前記信号生成手段で選択された輝度信号を用いて画像合成の比率を計算して画像の合成を行う、
ことを特徴とする撮像装置。
【請求項２】
前記カラーフィルターは、シアン、マゼンタ、イエローから成る補色のうち１色のフィルタと緑のフィルタとを交互に配置した第１の画素列と、
上記補色のうち他の２色のフィルタを交互に配置した第２の画素列とを有し、
上記第１の画素列と上記第２の画素列とを平行に交互に配列したフィルターであることを特徴とする請求項１記載の撮像装置。
【請求項３】
カラーフィルターを用いて撮像素子によりカラー画像を撮像し、かつ、異なる露光時間で撮影した複数の画像を合成して広ダイナミックレンジ画像を作成する撮像装置の画像合成方法であって、
撮像素子出力から輝度信号を生成する際に、前記異なる露光時間のうち長い方の露光時間で撮影した画像の輝度信号について、同じラインで隣接する少なくとも２つ以上の撮像素子出力のいずれかが所定の閾値レベルより大きい場合は、同じラインの輝度信号と上または下のラインの輝度信号のどちらか大きい方を輝度信号として選択し、それ以外の場合は、同じラインの輝度信号を選択し、この選択された輝度信号を用いて画像合成の比率を計算して画像の合成を行う、
ことを特徴とする撮像装置の画像合成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、異なる露光時間で撮影した複数の画像を合成してダイナミックレンジを拡大するカメラシステムに用いられる撮像装置及びその画像合成方法に関する。
【０００２】
【従来の技術】
従来より、広ダイナミックレンジの撮像映像を得るための方法として、高輝度被写体用の短時間露光による撮像と低輝度被写体用の長時間露光による撮像の２回の撮像を行い、２つの映像を合成して出力するカメラシステムが提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような方法で撮像を行った場合、特定の色の被写体を撮像すると、画像中に不正な横縞（いわゆるラインクロールという）が発生してしまう場合がある。
また、このような横縞が発生しないような設定にすると、Ｓ／Ｎが劣化してしまうという問題が生じていた。
【０００４】
そこで本発明の目的は、異なる露光時間で撮影した複数の画像を合成してダイナミックレンジを拡大するカメラシステムにおいて、様々な色の被写体撮影に起因して合成画像中に発生するラインクロールを抑制し、かつＳ／Ｎのよい画像を得ることが可能な撮像装置及びその画像合成方法を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は前記目的を達成するため、カラーフィルターを用いて撮像素子によりカラー画像を撮像し、かつ、異なる露光時間で撮影した複数の画像を合成して広ダイナミックレンジ画像を作成する撮像装置であって、撮像素子出力から輝度信号とクロマ信号とを生成する信号生成手段と、前記信号生成手段によって生成された輝度信号を用いて画像を合成する比率を計算して画像の合成を行う画像合成手段とを有し、前記信号生成手段で輝度信号を生成する際に、前記異なる露光時間のうち長い方の露光時間で撮影した画像の輝度信号について、同じラインで隣接する少なくとも２つ以上の撮像素子出力のいずれかが所定の閾値レベルより大きい場合は、同じラインの輝度信号と上または下のラインの輝度信号のどちらか大きい方を輝度信号として選択し、それ以外の場合は、同じラインの輝度信号を選択し、前記画像合成手段では、前記信号生成手段で選択された輝度信号を用いて画像合成の比率を計算して画像の合成を行うことを特徴とする。
【０００７】
また、本発明は、カラーフィルターを用いて撮像素子によりカラー画像を撮像し、かつ、異なる露光時間で撮影した複数の画像を合成して広ダイナミックレンジ画像を作成する撮像装置の画像合成方法であって、撮像素子出力から輝度信号を生成する際に、前記異なる露光時間のうち長い方の露光時間で撮影した画像の輝度信号について、同じラインで隣接する少なくとも2つ以上の撮像素子出力のいずれかが所定の閾値レベルより大きい場合は、同じラインの輝度信号と上または下のラインの輝度信号のどちらか大きい方を輝度信号として選択し、それ以外の場合は、同じラインの輝度信号を選択し、この選択された輝度信号を用いて画像合成の比率を計算して画像の合成を行うことを特徴とする。
【０００９】
本発明の撮像装置及びその画像合成方法では、撮像素子出力から輝度信号を生成する際に、前記異なる露光時間のうち長い方の露光時間で撮影した画像の輝度信号について、同じラインで隣接する少なくとも２つ以上の撮像素子出力のいずれかが所定の閾値レベルより大きい場合は、同じラインの輝度信号と上または下のラインの輝度信号のどちらか大きい方を輝度信号として選択し、この選択された輝度信号を用いて画像合成の比率を計算することにより、画像全体のＳ／Ｎを悪化させることなく、ラインクロールの発生を制御でき、ラインクロールの抑制とＳ／Ｎの改善を両立した広ダイナミックレンジ画像を出力することが可能となる。
【００１１】
【発明の実施の形態】
以下、本発明による撮像装置及びその画像合成方法の実施の形態例について説明する。
なお、以下に説明する実施の形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において、特に本発明を限定する旨の記載がない限り、これらの態様に限定されないものとする。
【００１２】
図１は、本発明の実施の形態によるカメラシステムの全体構成を示すブロック図であり、図２は、図１に示すカメラシステムにおける各信号波形を示す波形図である。
ＣＣＤ撮像部１−１は、例えば補色市松模様配列のカラーフィルターを用いたＣＣＤ型固体撮像素子であり、１フィールド期間内に２つの露光時間の画像が得られる構成になっている。
この２つの露光時間の比は、例えば３２：１などとなっており、これらの２つの露光時間が異なる撮像信号を後段の信号処理で合成することでダイナミックレンジの拡大が可能となっている。
ここで露光時間の長い信号を長時間露光信号（ＬＯＮＧ）、露光時間の短い信号を短時間露光信号（ＳＨＯＲＴ）とする。
【００１３】
また、ＣＣＤ撮像部１−１は、ＴＧ１−２により駆動され、水平転送クロックは通常の２倍の速度で、１水平期間の間に２つの露光時間の撮像素子出力（ＣＣＤ出力）が、図２に示すＣＣＤ出力２−１のような波形で得られる。
このＣＣＤ出力信号は、ＣＤＳ／ＡＧＣ／ＡＤＣ１−３において、最初に相関２重サンプリング（ＣＤＳ）され、次いで適当なレベルにゲインアップ（ＡＧＣ）され、さらにＡ／Ｄ変換されることでデジタルデータとなり、合成装置１−４に入力される。
このデータは、まず、同時化回路１−４−Ａにおいて処理され、図２に示す長時間露光信号（ＬＯＮＧ）２−２と短時間露光信号（ＳＨＯＲＴ）２−３の波形のように水平方向に時間的にそろえられて出力される。
そして次に、これらの２つの信号は、合成回路１−４−Ｂで合成された後、出力され、カメラ信号処理装置などに入力され処理される。
【００１４】
なお、本例では、上述のようにＣＣＤ撮像部１−１からの２つの信号（ＬＯＮＧ、ＳＨＯＲＴ）は水平方向に倍速で出力されたが、その他の方法として、ＣＣＤ撮像部から直接ＬＯＮＧとＳＨＯＲＴを別々に出力する方法や、一般的なＣＣＤ撮像部を倍速で駆動し、フィールド順次でＬＯＮＧとＳＨＯＲＴを出力し、外部にフィールドメモリを用意することで、これら２つの信号を同時化する方法などが考えられる。
また、撮像素子はＣＣＤ型撮像素子に限定されず、各画素毎に複数のＭＯＳトランジスタによるゲート回路を設けて各フォトセンサからの電荷信号を読み出すＣＭＯＳ型撮像素子などを用いても同様な動作を行うことができる。
【００１５】
図３は、合成回路１−４−Ｂの構成例を示すブロック図である。
この合成回路１−４−Ｂは、ＹＣ分離装置３−１、３−２でＬＯＮＧとＳＨＯＲＴを最初に輝度成分（Ｙ）とクロマ（Ｃ）成分に分離し、長時間Ｙ信号（ＹＬ）、長時間Ｃ信号（ＣＬ）、短時間Ｙ信号（ＹＳ）、短時間Ｃ信号（ＣＳ）が生成される。
そのうちＹＳとＣＳにそれぞれ露光時間の比などのある決められたゲイン値（Ｇ）を乗算器３−３、３−４で乗算し、ゲインアップしたＹＳ信号（ＹＳＧ）とゲインアップしたＣＳ信号（ＣＳＧ）が生成される。
そして、このＹＳＧおよびＣＳＧは、長／短時間合成装置３−５、３−６により、それぞれＹＬおよびＣＬと合成され、合成Ｙ信号（ＹＭＩＸ）と合成Ｃ信号（ＣＭＩＸ）が生成される。
【００１６】
この合成の制御は、長時間Ｙ信号（ＹＬ）に基づいて合成制御信号発生装置３−７により生成された制御信号（ＣＴＬ）により行われる。
図４は、この合成処理を示す説明図であり、図４（Ａ）は本合成処理時における各輝度出力（ＹＬ、ＹＳＧ、ＹＭＩＸ）の変化を示し、図４（Ｂ）は制御信号（ＣＴＬ）の変化を示している。
この合成は、ＣＴＬのレベルに応じて、徐々にＹＬとＹＳＧの合成比率を変えることにより行われる。
図示のように、ＹＬの比率が１００％から下がるＹＬのレベル４−１を合成開始点（ＭＩＸＳＴＡＲＴ）、ＹＬの比率が０％になるＹＬのレベル４−２を合成終了点（ＭＩＸＥＮＤ）と呼ぶ。
なお、ここではＹ信号について述べたがＣ信号も同様に合成される。また、ここでは、ＹＳＧはゲインアップのみとしたが、ゲインアップ後にオフセットを加算する場合もある。
【００１７】
図５は、本例で使用した補色市松フィルタ構成とフィールド読み出しを行った場合の１フィールドの出力を示す説明図である。
また、図６は、図５に示すフィルタ構成のＣＣＤ撮像部を使用してカラーバーの各色を撮像した場合の理想的な分光特性での出力を示す説明図である。
図５に示すように、出力は垂直方向と水平方向に２ライン×２画素毎の繰り返しとなる。
そして、図６の水平方向の画素の出力差を見ると、赤と青ではラインごとに大きく異なるが、その他の色の場合は同じ値になる。
【００１８】
ここで、例えば白と赤のランプ波形を撮像した場合のＬＯＮＧ信号とその信号をＹＣ分離した場合を考えると、Ｙ分離処理は基本的には水平に隣り合った画素の加算平均であるので、図７（Ａ）に示すようになる。ここで、破線７−１−ａ、７−１−ｂは、図６の白を撮像した場合のＬＯＮＧ信号であり、実際は、この２つの値を水平１画素おきに繰り返している。
そして、このＬＯＮＧ信号から得られるＹＬ信号は、実線７−１−ｃとなる。すなわち、図６に示すように、ラインごとに水平画素間の差がないので、各ラインに関わらず同じ値のＹＬ信号となる。
【００１９】
また、図７（Ａ）の７−１−ａの出力が途中で飽和しているのは、ＬＯＮＧ信号が信号のビットレンジ以上（例えばビットレンジが１０ｂｉｔの場合、１０２３以上）になるためである。
このため図７（Ａ）に示す閾値レベル７−３を超えると、ＹＬ信号レベルの入力光量に対する傾きが緩やかになっている。
本システムではダイナミックレンジの拡大を目的にしているので、ＬＯＮＧ信号は通常、画面上のどこかで飽和することになるので、上記の信号が飽和して傾きが緩やかになるケースは必ず発生する。
【００２０】
同様に赤を撮像した場合のＬＯＮＧ信号は、図７（Ｂ）に示す破線７−２−ａ、７−２−ｂの間を水平１画素おきに繰り返すラインと、破線７−２−ｃのように画素ごとの差が少ないラインが１ラインごとに繰り返すことになる。
そして、画素ごとの差が大きいラインのＹＬ信号は、実線７−２−ｄのようになり、差が小さいラインのＹＬ信号は、破線７−２−ｃと同じになる。
ここで、閾値７−４のレベルを超えると、ＹＬ信号出力がラインごとに異なってしまう現象がおきているが、これは前記のようにＬＯＮＧ信号が信号のビットレンジ以上になるためである。
【００２１】
この現象はラインごとに輝度のレベルが異なるため、画面上で縞模様に見えるので、ラインクロールなどと呼ばれており、発生することは好ましくない。
しかし、ＹＬ信号は合成装置３−５によりＹＳＧ信号と合成されるが、図４に示すＭＩＸＥＮＤレベル４−２より図７（Ｂ）の閾値レベル７−４が低い場合には、ＹＬとＹＳＧから生成されるＹＭＩＸ信号にラインクロール現象が現れて問題になる。
一方、このようなラインクロール対策のためにはラインクロールが発生するレベル７−４以下のレベルにＭＩＸＥＮＤレベル４−２を設定すれば問題はなくなるが、画面に対して一様に合成の開始レベルと終了レベルを下げてしまうと、ＹＬ信号が出力されるレベルが狭くなり、レベルの低いＹＳ信号をゲインアップしたＹＳＧ信号が出力されることになるので、ノイズが目立つＳ／Ｎの悪い合成画像になってしまうため好ましくない。
【００２２】
そこで本例では、次の２つの方法のどちらかを用いることにより、ラインクロールとＳ／Ｎの問題を解決する。
方法１）制御信号ＣＴＬをＬＯＮＧの水平及び垂直に隣接する４画素以上の最大値から生成する。
図５に示すように補色市松のフィルタ構成のＣＣＤの出力は水平２画素、垂直２ラインの組み合わせになる。
つまり、ある色の被写体を撮像した場合、図８に示すように、少なくとも隣接する水平２画素、垂直２画素（すなわち上下左右４画素）の最大値をとれば、その色としての最大値になる。この信号は、図７の７−２−ａに相当するもので、この信号がラインクロールが発生するレベル７−４で既にＭＩＸＥＮＤレベル４−２を超えているように、４−１のＭＩＸＳＴＡＲＴと４−２のＭＩＸＥＮＤを設定すれば、ラインクロールは発生しない。
【００２３】
この方法１）は、原理としては上述した画面に対して一様に合成の開始レベルと終了レベルを下げる方法と同じであるが、この方法１）では最大値を取っているために、ＭＩＸＳＴＡＲＴレベル４−１とＭＩＸＥＮＤレベル４−２を上述した対策ほど下げる必要がなく、ラインクロールの発生しやすい色にのみＳ／Ｎの低下がみられ、その他の色に対してはＳ／Ｎが低下せず、画面全体にわたってＳ／Ｎが低下するのを抑制できる。
【００２４】
方法２）図９に示すように、ＬＯＮＧ信号の最大値が閾値ＴＨより大きい場合に、ＹＬ信号を連続した２ラインのＹＬ信号の最大値に置き換える。
図６に示すように、ラインクロールが発生しやすい色の場合、一方のラインは画素間の差が小さいので、２ラインのＹＬの最大値をとれば、ラインクロールの発生は押さえられるはずである。
ただし、単純にＹＬの最大値を取るだけでは、垂直方向の輝度信号の変化の場合も最大値が使われてしまう場合であるので、これを防ぐために、水平２画素のＬＯＮＧ出力の最大値が閾値ＴＨを超える場合という条件をつけ、その閾値ＴＨを信号のビットレンジに近い値に設定することで、水平２画素間の差が大きくラインクロールが発生しやすい信号である場合という条件がつけられ、輝度のみの変化の場合と区別できることになる。
ＣＴＬ制御信号の決定は、このラインクロールの発生が押さえられたＹＬ信号で行われるので、ここでもラインクロールの発生は押さえられる。
【００２５】
以上のような方法１）または方法２）を用いることにより、２つ以上の露光時間の異なる画像を合成し、１つのダイナミックレンジの広い画像を生成する場合に、様々な色のついた被写体を撮像した場合でも、ラインクロール現象による横縞が発生することがなく、かつＳ／Ｎの高い合成画像を得ることができる。
また、周辺の数画素のみを用いる比較的簡単な構成であるので、高速な処理が可能であり、動画像に対しても現有の技術で無理なく実現できる利点がある。
なお、ここでは図６のように理想的な分光特性の場合について記述したが、実際のＣＣＤ撮像素子ではカラーフィルターなどの分光特性により、理想的な分光特性ではライン間の差がバランスがとれている色の場合でも、バランスが取れずにラインクロールが発生する場合も考えられる。したがって、本発明は、撮像される全ての色に対して有効である。
【００２６】
【発明の効果】
以上説明したように本発明の撮像装置及びその画像合成方法によれば、撮像素子出力から輝度信号を生成する際に、前記異なる露光時間のうち長い方の露光時間で撮影した画像の輝度信号について、同じラインで隣接する少なくとも２つ以上の撮像素子出力のいずれかが所定の閾値レベルより大きい場合は、同じラインの輝度信号と上または下のラインの輝度信号のどちらか大きい方を輝度信号として選択し、この選択された輝度信号を用いて画像合成の比率を計算することにより、画像全体のＳ／Ｎを悪化させることなく、ラインクロールの発生を制御できる。
したがって、ラインクロールの抑制とＳ／Ｎの改善を両立した広ダイナミックレンジ画像を出力することが可能となる。
また、周辺の数画素のみを用いる比較的簡単な構成であるので、高速な処理が可能であり、動画像に対しても現有の技術で無理なく実現できる利点がある。
【図面の簡単な説明】
【図１】図１は、本発明の実施の形態によるカメラシステムの全体構成を示すブロック図である。
【図２】図１に示すカメラシステムにおける各信号波形を示す波形図である。
【図３】図１に示すカメラシステムの合成回路の構成例を示すブロック図である。
【図４】図３に示す合成回路の合成処理を示す説明図である。
【図５】図１に示すカメラシステムで使用した補色市松フィルタ構成とフィールド読み出しを行った場合の１フィールドの出力を示す説明図である。
【図６】図５に示すフィルタ構成のＣＣＤ撮像部を使用してカラーバーの各色を撮像した場合の理想的な分光特性での出力を示す説明図である。
【図７】白と赤のランプ波形を撮像した場合の長時間露光によるＣＣＤ出力信号とその輝度信号の波形例を示す説明図である。
【図８】本発明の実施の形態による画像合成比率の第１の算出方法を示す説明図である。
【図９】本発明の実施の形態による画像合成比率の第２の算出方法を示す説明図である。
【符号の説明】
１−１……ＣＣＤ撮像部、１−２……ＴＧ、１−３……ＣＤＳ／ＡＧＣ／ＡＤＣ、１−４……合成装置、１−４−Ａ……同時化回路、１−４−Ｂ……合成回路。
【図１】
0003985134.tif 000002
【図２】
0003985134.tif 000003
【図３】
0003985134.tif 000004
【図４】
0003985134.tif 000005
【図５】
0003985134.tif 000006
【図６】
0003985134.tif 000007
【図７】
0003985134.tif 000008
【図８】
0003985134.tif 000009
【図９】
0003985134.tif 000010