(57)【要約】【課題】  良質で広いダイナミックレンジを持つ画像を得ることのできる撮像装置を提供する。【解決手段】  撮像装置は、大きい露光量と小さい露光量で被写体を撮像し、大きい露光量の撮像による第１の画像信号と、前記第１の画像信号と同一画素位置における小さい露光量の撮像による第２の画像信号を出力する撮像手段と、画像信号をガンマ変換するガンマ変換手段と、前記第１の画像信号と前記第２の画像信号に基づき、動いている被写体領域を判定し、前記第１の画像信号に対応する補正画像信号を生成する補正画像信号生成手段と、前記補正画像信号と前記第２の画像信号を合成する画像信号合成手段とを有する。【選択図】  図１
2005223769.tif 000002
【特許請求の範囲】
【請求項１】
大きい露光量と小さい露光量で被写体を撮像し、大きい露光量の撮像による第１の画像信号と、前記第１の画像信号と同一画素位置における小さい露光量の撮像による第２の画像信号を出力する撮像手段と、
画像信号をガンマ変換するガンマ変換手段と、
前記第１の画像信号と前記第２の画像信号に基づき、動いている被写体領域を判定し、前記第１の画像信号に対応する補正画像信号を生成する補正画像信号生成手段と、
前記補正画像信号と前記第２の画像信号を合成する画像信号合成手段と
を有する撮像装置。
【請求項２】
さらに、前記第２の画像信号に前記第１の画像信号と第２の画像信号との感度比を乗算して換算画像信号を生成する換算画像信号生成手段を有し、
前記補正画像信号生成手段は、ガンマ変換した前記換算画像信号とガンマ変換した前記第１の画像信号とから適応的に補正画像信号を生成する請求項１記載の撮像装置。
【請求項３】
前記補正画像信号生成手段は、前記ガンマ変換した換算画像信号と前記ガンマ変換した第１の画像信号との差の絶対値が定数Ｇ１より小さい場合は、前記ガンマ変換した第１の画像信号を前記補正画像信号とし、
前記ガンマ変換した換算画像信号と前記ガンマ変換した第１の画像信号との差の絶対値が定数Ｇ２より大きい場合は、前記ガンマ変換した換算画像信号を前記補正画像信号とし、
上記以外の場合は、以下の式（１）に基づき前記補正画像信号を求める請求項２記載の撮像装置。
Ｇ’Ｌ（ｘ，ｙ）＝βＧＬＳ（ｘ，ｙ）＋（１−β）ＧＬ（ｘ，ｙ）  …（１）
ただし、（ｘ，ｙ）は画素位置、Ｇ’Ｌ（ｘ，ｙ）は画素位置（ｘ，ｙ）における補正画像信号、ＧＬＳ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した換算画像信号、ＧＬ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した第１の画像信号、Ｇ１及びＧ２は共に正の定数でＧ２＞Ｇ１の関係にあり、βは加重係数である。
【請求項４】
前記加重係数βは、
β＝（｜ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）｜−Ｇ１）／（Ｇ２−Ｇ１）
によって求められる請求項３記載の撮像装置。
【請求項５】
前記補正画像信号生成手段は、前記ガンマ変換した換算画像信号と前記ガンマ変換した第１の画像信号との差の絶対値が定数Ｇ１より小さい場合は、前記ガンマ変換した第１の画像信号を前記補正画像信号とし、
上記以外の場合は、以下の式（１）に基づき前記補正画像信号を求める請求項２記載の撮像装置。
Ｇ’Ｌ（ｘ，ｙ）＝βＧＬＳ（ｘ，ｙ）＋（１−β）ＧＬ（ｘ，ｙ）  …（１）
ただし、（ｘ，ｙ）は画素位置、Ｇ’Ｌ（ｘ，ｙ）は画素位置（ｘ，ｙ）における補正画像信号、ＧＬＳ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した換算画像信号、ＧＬ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した第１の画像信号、Ｇ１及びＧ２は共に正の定数でＧ２＞Ｇ１の関係にあり、β加重係数である。
【請求項６】
前記加重係数βは、
前記ガンマ変換した第１の画像信号と前記ガンマ変換した換算画像信号との差が定数Ｇ２以上である場合は、０〜１の範囲の定数βｐであり、
前記ガンマ変換した第１の画像信号と前記ガンマ変換した換算画像信号との差が定数−Ｇ２以下である場合は、０〜１の範囲の定数βｍであり、
前記ガンマ変換した第１の画像信号と前記ガンマ変換した換算画像信号との差が定数Ｇ１から定数Ｇ２の範囲内である場合は、下記の式（３）により求められ、
前記ガンマ変換した第１の画像信号と前記ガンマ変換した換算画像信号との差が定数−Ｇ１から定数−Ｇ２の範囲内である場合は、下記の式（４）により求められる請求項５記載の撮像装置。
β＝βｐ（｜ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）｜−Ｇ１）／（Ｇ２−Ｇ１）…（３）
β＝βｍ（｜ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）｜−Ｇ１）／（Ｇ２−Ｇ１）…（４）
ただし、（ｘ，ｙ）は画素位置、ＧＬＳ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した換算画像信号、ＧＬ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した第１の画像信号、Ｇ１及びＧ２は共に正の定数でＧ２＞Ｇ１の関係にある。
【請求項７】
前記画像信号合成手段は、下記の式（５）により、前記補正画像信号と前記第２の画像信号を合成する請求項１〜６のいずれか１項に記載の撮像装置。
ＧＣ（ｘ，ｙ）＝ｋＧ’Ｌ（ｘ，ｙ）＋（１−ｋ）ＧＳ（ｘ，ｙ）  …（５）
ただし、（ｘ，ｙ）は画素位置、Ｇ’Ｌ（ｘ，ｙ）は画素位置（ｘ，ｙ）における補正画像信号、ＧＳ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した第２の画像信号、ｋは合成パラメータであり０〜１の範囲の定数である。
【請求項８】
大きい露光量と小さい露光量で被写体を撮像し、大きい露光量の撮像による第１の画像信号と、前記第１の画像信号と同一画素位置における小さい露光量の撮像による第２の画像信号を出力する撮像工程と、
画像信号をガンマ変換するガンマ変換工程と、
前記第１の画像信号と前記第２の画像信号に基づき、動いている被写体領域を判定し、前記第１の画像信号に対応する補正画像信号を生成する補正画像信号生成工程と、
前記補正画像信号と前記第２の画像信号を合成する画像信号合成工程と
を有する撮像方法。
【請求項９】
さらに、前記第２の画像信号に前記第１の画像信号と第２の画像信号との感度比を乗算して換算画像信号を生成する換算画像信号生成工程を有し、
前記補正画像信号生成工程は、ガンマ変換した前記換算画像信号とガンマ変換した前記第１の画像信号とから適応的に補正画像信号を生成する請求項８記載の撮像方法。
【請求項１０】
前記補正画像信号生成工程は、前記ガンマ変換した換算画像信号と前記ガンマ変換した第１の画像信号との差の絶対値が定数Ｇ１より小さい場合は、前記ガンマ変換した第１の画像信号を前記補正画像信号とし、
前記ガンマ変換した換算画像信号と前記ガンマ変換した第１の画像信号との差の絶対値が定数Ｇ２より大きい場合は、前記ガンマ変換した換算画像信号を前記補正画像信号とし、
上記以外の場合は、以下の式（１）に基づき前記補正画像信号を求める請求項９記載の撮像方法。
Ｇ’Ｌ（ｘ，ｙ）＝βＧＬＳ（ｘ，ｙ）＋（１−β）ＧＬ（ｘ，ｙ）  …（１）
ただし、（ｘ，ｙ）は画素位置、Ｇ’Ｌ（ｘ，ｙ）は画素位置（ｘ，ｙ）における補正画像信号、ＧＬＳ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した換算画像信号、ＧＬ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した第１の画像信号、Ｇ１及びＧ２は共に正の定数でＧ２＞Ｇ１の関係にあり、βは加重係数である。
【請求項１１】
前記加重係数βは、
β＝（｜ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）｜−Ｇ１）／（Ｇ２−Ｇ１）
によって求められる請求項１０記載の撮像方法。
【請求項１２】
前記補正画像信号生成工程は、前記ガンマ変換した換算画像信号と前記ガンマ変換した第１の画像信号との差の絶対値が定数Ｇ１より小さい場合は、前記ガンマ変換した第１の画像信号を前記補正画像信号とし、
上記以外の場合は、以下の式（１）に基づき前記補正画像信号を求める請求項９記載の撮像方法。
Ｇ’Ｌ（ｘ，ｙ）＝βＧＬＳ（ｘ，ｙ）＋（１−β）ＧＬ（ｘ，ｙ）  …（１）
ただし、（ｘ，ｙ）は画素位置、Ｇ’Ｌ（ｘ，ｙ）は画素位置（ｘ，ｙ）における補正画像信号、ＧＬＳ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した換算画像信号、ＧＬ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した第１の画像信号、Ｇ１及びＧ２は共に正の定数でＧ２＞Ｇ１の関係にあり、β加重係数である。
【請求項１３】
前記加重係数βは、
前記ガンマ変換した第１の画像信号と前記ガンマ変換した換算画像信号との差が定数Ｇ２以上である場合は、０〜１の範囲の定数βｐであり、
前記ガンマ変換した第１の画像信号と前記ガンマ変換した換算画像信号との差が定数−Ｇ２以下である場合は、０〜１の範囲の定数βｍであり、
前記ガンマ変換した第１の画像信号と前記ガンマ変換した換算画像信号との差が定数Ｇ１から定数Ｇ２の範囲内である場合は、下記の式（３）により求められ、
前記ガンマ変換した第１の画像信号と前記ガンマ変換した換算画像信号との差が定数−Ｇ１から定数−Ｇ２の範囲内である場合は、下記の式（４）により求められる請求項１２記載の撮像方法。
β＝βｐ（｜ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）｜−Ｇ１）／（Ｇ２−Ｇ１）…（３）
β＝βｍ（｜ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）｜−Ｇ１）／（Ｇ２−Ｇ１）…（４）
ただし、（ｘ，ｙ）は画素位置、ＧＬＳ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した換算画像信号、ＧＬ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した第１の画像信号、Ｇ１及びＧ２は共に正の定数でＧ２＞Ｇ１の関係にある。
【請求項１４】
前記画像信号合成工程は、下記の式（５）により、前記補正画像信号と前記第２の画像信号を合成する請求項８〜１３のいずれか１項に記載の撮像方法。
ＧＣ（ｘ，ｙ）＝ｋＧ’Ｌ（ｘ，ｙ）＋（１−ｋ）ＧＳ（ｘ，ｙ）  …（５）
ただし、（ｘ，ｙ）は画素位置、Ｇ’Ｌ（ｘ，ｙ）は画素位置（ｘ，ｙ）における補正画像信号、ＧＳ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した第２の画像信号、ｋは合成パラメータであり０〜１の範囲の定数である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に広いダイナミックレンジの画像を得ることのできる撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラやビデオカメラにおいては、異なる露光量で２回の撮像を行い、該２回の撮像から得られる２種類の色信号を信号処理して、広いダイナミックレンジを有する画像を得ることが知られている。上記の異なる露光量の撮像とは、例えば、短い時間間隔で、長いシャッタ時間（ロングシャッタ）と短いシャッタ時間（短いシャッタ時間）との２回の撮像を行うことである。シャッタ時間の切り替えは、例えば、電子シャッタ単独、あるいは、メカシャッタを併用して行われている。（例えば、特許文献１〜４参照。）
【０００３】
【特許文献１】特開平１１−７５１１８号公報
【特許文献２】特開２０００−３４１５８２号公報
【特許文献３】特開２００３−２１９２８１号公報
【特許文献４】特開２００３−２４４７１９号公報  図６は、従来の撮像装置５１の構成例を示すブロック図である。
【０００４】
撮像装置５１は、少なくとも、ＣＣＤイメージセンサと出力アンプやアナログデジタルコンバータ等の周辺回路とを含む撮像部５２、利得調整回路５３（５３ａ及び５３ｂ）、ガンマ変換回路５４（５４ａ及び５４ｂ）、色信号合成回路５７及び色信号処理回路５８を含んで構成される。
【０００５】
撮像装置５１は、長いシャッタ時間と短いシャッタ時間による撮像を順次行い、長いシャッタ時間による赤信号、緑信号又は青信号のいずれかの色信号ＳＬ（以下、単に色信号ＳＬと呼ぶ）と短いシャッタ時間による赤信号、緑信号又は青信号のいずれかの色信号信号ＳＳ（以下、単に色信号ＳＳと呼ぶ）を、順番に出力する。先に撮像される色信号ＳＬは、例えば、メモリ等に一時的に記憶され、その後、メモリを介さない色信号ＳＳと同時に、後段の利得調整回路５３（５３ａ及び５３ｂ）に送られる。
【０００６】
利得調整回路５３（５３ａ及び５３ｂ）では、色信号ＳＬ及び色信号ＳＳの利得を調整し、次のガンマ変換回路５４（５４ａ及び５４ｂ）に出力する。ガンマ変換回路５４（５４ａ及び５４ｂ）は、色信号ＳＬ及び色信号ＳＳをそれぞれガンマ変換し、ガンマ変換後の赤信号、緑信号又は青信号のいずれかの色信号ＧＬ及び赤信号、緑信号又は青信号のいずれかの色信号ＧＳを出力する。
【０００７】
色信号合成回路５７は、下記の式（Ｘ）に従い、入力される色信号ＧＬ及び色信号ＧＳを合成して、赤信号、緑信号又は青信号のいずれかの合成色信号ＧＣとして出力する。
【０００８】
ＧＣ（ｘ，ｙ）＝ｋＧＬ（ｘ，ｙ）＋（１−ｋ）ＧＳ（ｘ，ｙ）…（Ｘ）
ただし、ＧＣ（ｘ，ｙ）は、画素位置（ｘ，ｙ）における赤信号、緑信号又は青信号のいずれかの合成色信号ＧＣ、ＧＬ（ｘ，ｙ）は、画素位置（ｘ，ｙ）における長いシャッタ時間の赤信号、緑信号又は青信号のいずれかの色信号ＧＬ、ＧＳ（ｘ，ｙ）は、画素位置（ｘ，ｙ）における短いシャッタ時間の赤信号、緑信号又は青信号のいずれかの色信号ＧＳ、ｋは０〜１の範囲の定数（好ましくは０．５〜０．７の範囲の定数）である。
【０００９】
色信号処理回路５８は、合成色信号ＧＣに対して、各種の色信号処理を行い合成画像信号として出力する。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従来の撮像装置５１では、被写体が動いている場合に、暗い部分と明るい部分の境界付近で、不自然な画像となる場合がある。これは、主に暗い部分を撮影するための大きい露光量（長いシャッタ時間）のシャッタ期間と、主に明るい部分を撮影するための小さい露光量（短いシャッタ時間）のシャッタ期間の時間がずれている為と考えられる。
【００１１】
図７は、高照度の白いストライプを長いシャッタ時間、短いシャッタ時間の順で撮像した時の１水平ラインの色信号を表す図である。
【００１２】
図７（Ａ）は、長いシャッタ時間の色信号ＧＬを表し、図７（Ｂ）は、短いシャッタ時間の色信号ＧＳを表し、図７（Ｃ）は、図７（Ａ）と図７（Ｂ）に表す色信号ＧＬ及び色信号ＧＳをガンマ変換後に上述の式（Ａ）を用いて合成することにより得られる合成色信号ＧＣを表す。なお、図中、縦軸は、信号レベルを表し、横軸は、水平方向の画素位置を表す。
【００１３】
長いシャッタ時間の色信号ＳＬは、シャッタ期間が長いので、移動する被写体を撮像する場合は、図に示すように、白いストライプと背景の境界線が、斜めになる。また、点線で示す飽和信号レベルＳＳＡＴ以上の部分は、出力されないので、実線で示したような形となる。
【００１４】
短いシャッタ時間は、長いシャッタ時間の後に撮像されるので、短いシャッタ時間の色信号ＳＳは、長いシャッタ時間の色信号ＳＬよりも、水平方向に移動する。これは、シャッタ期間開始時の時間差分だけ、白いストライプが横方向に移動しているからである。
【００１５】
以上の、２つの色信号ＳＬ及び色信号ＳＳをガンマ変換後に上述の式（Ａ）を用いて合成して得られる色信号が、合成色信号ＧＣである。この時、図７（Ｃ）に示すように、ストライプの端に、白く太いボケ領域が現れる。これは、２重のボケ画像のようになり不自然な画像として目立つ。
【００１６】
本発明の目的は、良質で広いダイナミックレンジを持つ画像を得ることのできる撮像装置を提供することである。
【課題を解決するための手段】
【００１７】
本発明の一観点によれば、撮像装置は、大きい露光量と小さい露光量で被写体を撮像し、大きい露光量の撮像による第１の画像信号と、前記第１の画像信号と同一画素位置における小さい露光量の撮像による第２の画像信号を出力する撮像手段と、画像信号をガンマ変換するガンマ変換手段と、前記第１の画像信号と前記第２の画像信号に基づき、動いている被写体領域を判定し、前記第１の画像信号に対応する補正画像信号を生成する補正画像信号生成手段と、前記補正画像信号と前記第２の画像信号を合成する画像信号合成手段とを有する。
【発明の効果】
【００１８】
本発明によれば、良質で広いダイナミックレンジを持つ画像を得ることのできる撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１９】
【実施例】
【００２０】
図１は、本発明の実施例による撮像装置１の構成例を示すブロック図である。撮像装置１は、原色カラーフィルタを有するカラーイメージセンサを使用している。
【００２１】
撮像装置１は、ＣＣＤイメージセンサと出力アンプやアナログデジタルコンバータ等の周辺回路及びメモリとを含む撮像部２、利得調整回路３（３ａ及び３ｂ）、ガンマ変換回路４（４ａ〜４ｃ）、換算色信号生成回路５、補正色信号生成回路６、色信号合成回路７及び色信号処理回路８を含んで構成される。
【００２２】
撮像部２は、例えば、ＣＣＤカラーイメージセンサであり、水平（ｘ）及び垂直（ｙ）方向に配列される多数の光電変換素子（画素）及び垂直電荷転送路（ＶＣＣＤ）を含む受光領域、水平電荷転送路（ＨＣＣＤ）等を含んで構成されるＣＣＤ型固体撮像素子を含む。撮像部２は、大きい露光量（長いシャッタ時間）と小さい露光量（短いシャッタ時間）による撮像を順次行い、長いシャッタ時間による１枚分（１フレーム分）の画像信号（色信号）ＳＬと短いシャッタ時間による１枚分（１フレーム分）の画像信号（色信号）ＳＳを、順番に出力する。
【００２３】
なお、本実施例では、例えば、大きい露光量の色信号のみを一旦メモリに記憶し、小さい露光量の色信号をＣＣＤイメージセンサからリアルタイムに読み出すと同時に、大きい露光量の色信号をメモリから読み出し、両方の色信号を同時に供給している。また、小さい露光量の色信号をメモリに記憶し、大きい露光量の色信号をＣＣＤイメージセンサからリアルタイムで読み出すようにしてもよい。また、両方の色信号をメモリに記憶し、同時に読み出すようにしてもよい。
【００２４】
撮像部２は、まず、画素位置（ｘ，ｙ）における長いシャッタ時間の赤信号、緑信号又は青信号のいずれかの色信号ＳＬ（ｘ，ｙ）を出力し、利得調整回路３ａは、該出力された色信号ＳＬ（ｘ，ｙ）を利得調整して、ガンマ変換回路４ａに出力する。ガンマ変換回路４ａは、色信号ＳＬ（ｘ，ｙ）をガンマ変換して、色信号ＧＬ（ｘ，ｙ）として補正色信号生成回路６に出力する。
【００２５】
撮像部２は、次ぎに、画素位置（ｘ，ｙ）における短いシャッタ時間の赤信号、緑信号又は青信号のいずれかの色信号ＳＳ（ｘ，ｙ）を出力し、利得調整回路３ｂは、該出力された色信号ＳＳ（ｘ，ｙ）を利得調整して、ガンマ変換回路４ｂ及び換算色信号生成回路５の双方に出力する。
【００２６】
ガンマ変換回路４ｂは、色信号ＳＳ（ｘ，ｙ）をガンマ変換して、ガンマ変換後の色信号ＧＳ（ｘ，ｙ）として色信号合成回路７に出力する。
【００２７】
換算色信号生成回路５は、色信号ＳＳ（ｘ，ｙ）を、長いシャッタ時間の色信号ＳＬと短いシャッタ時間の色信号ＳＳとの感度比ｍで乗算して、リニア値の換算色信号色信号ＳＬＳ（ｘ，ｙ）としてガンマ変換回路４ｃに出力する。ガンマ変換回路４ｃは、換算色信号色信号ＳＬＳ（ｘ，ｙ）をガンマ変換して、ガンマ変換後の換算色信号色信号ＧＬＳ（ｘ，ｙ）として補正色信号生成回路６に出力する。
【００２８】
感度比ｍは、大きい露光量（長いシャッタ時間）／小さい露光量（短いシャッタ時間）から求められる感度比である。なお、ここで小さい露光量の色信号ＳＳ（ｘ，ｙ）を感度比ｍで乗算するのは、大きい露光量の色信号ＳＬ（ｘ，ｙ）と信号レベルのスケールを合わせるためである。
【００２９】
補正色信号生成回路６は、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）とから補正信号Ｇ’Ｌ（ｘ，ｙ）を生成する。なお、補正色信号生成回路６における処理の詳細は、後に図３及び図５を用いて説明する。
【００３０】
色信号合成回路７は、補正信号Ｇ’Ｌ（ｘ，ｙ）と短いシャッタ時間のガンマ変換後の色信号ＧＳ（ｘ，ｙ）とを合成し、合成色信号ＧＣ（ｘ，ｙ）を生成する。なお、色信号合成回路７における処理の詳細は、後に図２を用いて説明する。
【００３１】
色信号処理回路８は、合成色信号ＧＣ（ｘ，ｙ）に対して各種の色信号処理を行い、合成画像信号として出力する。
【００３２】
図２は、本発明の実施例による色信号合成処理を表すフローチャートである。
【００３３】
ステップＳＡ１では、色信号合成処理をスタートし、ステップＳＡ２で、撮像部２のＣＣＤイメージセンサの画素位置（ｘ，ｙ）における長いシャッタ時間のリニア値の赤色、緑色又は青色の色信号ＳＬ（ｘ，ｙ）を取得し、ガンマ変換してガンマ変換した色信号ＧＬ（ｘ，ｙ）とする。
【００３４】
ステップＳＡ３では、撮像部２のＣＣＤイメージセンサの画素位置（ｘ，ｙ）における短いシャッタ時間のリニア値の赤色、緑色又は青色の色信号ＳＬ（ｘ，ｙ）を取得する。
【００３５】
ステップＳＡ４では、ステップＳＡ３で取得した色信号ＳＬ（ｘ，ｙ）をガンマ変換して、ガンマ変換した色信号ＧＳ（ｘ，ｙ）とする。
【００３６】
ステップＳＡ５では、ステップＳＡ３で取得した色信号ＳＬ（ｘ，ｙ）を長いシャッタ時間の色信号ＳＬと短いシャッタ時間の色信号ＳＳとの感度比ｍで乗算して、リニア値の換算色信号色信号ＳＬＳ（ｘ，ｙ）を生成する。
【００３７】
ステップＳＡ６では、ステップＳＡ５で生成した換算色信号色信号ＳＬＳ（ｘ，ｙ）をガンマ変換して、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）を生成する。
【００３８】
ステップＳＡ７では、図３又は図５に示す補正色信号生成処理を行う。補正色信号生成処理は、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）とから補正信号Ｇ’Ｌ（ｘ，ｙ）を生成する。
【００３９】
ステップＳＡ８では、下記式（Ａ）に従い、補正信号Ｇ’Ｌ（ｘ，ｙ）と短いシャッタ時間のガンマ変換後の色信号ＧＳ（ｘ，ｙ）とを合成し、合成色信号ＧＣ（ｘ，ｙ）を生成する。
【００４０】
ＧＣ（ｘ，ｙ）＝ｋＧ’Ｌ（ｘ，ｙ）＋（１−ｋ）ＧＳ（ｘ，ｙ）  …（Ａ）
ただし、ｋは、合成パラメータであり、０〜１の範囲の定数である。合成パラメータｋの値は０．５〜０．７であることが望ましい。
【００４１】
合成色信号ＧＣ（ｘ，ｙ）を生成した後は、該生成した合成色信号ＧＣ（ｘ，ｙ）を出力してステップＳＡ９に進み色信号合成処理を終了する。
【００４２】
図３は、図２のステップＳＡ７で行われる補正色信号生成処理の第１の例を表すフローチャートである。
【００４３】
ステップＳＢ１では、補正色信号生成処理を開始し、ステップＳＢ２では、下記式（Ｂ）に基づき、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差の絶対値が定数Ｇ１より小さいか否かを判断する。両信号の差の絶対値が定数Ｇ１より小さい場合は、ＹＥＳの矢印で示すステップＳＢ３に進み、差の絶対値が大きい場合は、ＮＯの矢印で示すステップＳＢ４に進む。
【００４４】
｜ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）｜＜Ｇ１  …（Ｂ）
ステップＳＢ３では、色信号ＧＬ（ｘ，ｙ）をそのまま補正信号Ｇ’Ｌ（ｘ，ｙ）とする。その後、ステップＳＢ８に進み、補正色信号生成処理を終了して、図２のステップＳＡ８に進む。
【００４５】
Ｇ’Ｌ（ｘ，ｙ）＝βＧＬＳ（ｘ，ｙ）＋（１−β）ＧＬ（ｘ，ｙ）  …（Ｅ）
ステップＳＢ４では、下記式（Ｃ）に基づき、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差の絶対値が定数Ｇ２より大きいか否かを判断する。両信号の差の絶対値が定数Ｇ２より大きい場合は、ＹＥＳの矢印で示すステップＳＢ５に進み、差の絶対値が小さい場合は、ＮＯの矢印で示すステップＳＢ６に進む。
【００４６】
｜ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）｜＞Ｇ２  …（Ｃ）
ステップＳＢ５では、色信号ＧＬＳ（ｘ，ｙ）をそのまま補正信号Ｇ’Ｌ（ｘ，ｙ）とする。その後、ステップＳＢ８に進み、補正色信号生成処理を終了して、図２のステップＳＡ８に進む。
【００４７】
ステップＳＢ６では、下記式（Ｄ）に基づき、加重係数βを求める。その後ステップＳＢ７に進む。
【００４８】
β＝（｜ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）｜−Ｇ１）／（Ｇ２−Ｇ１）…（Ｄ）
ステップＳＢ７では、下記式（Ｅ）に従い、ステップＳＢ６で求めた加重係数βを用いてガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との加重平均値を求めて補正信号Ｇ’Ｌ（ｘ，ｙ）とする。その後、ステップＳＢ８に進み、補正色信号生成処理を終了して、図２のステップＳＡ８に進む。
【００４９】
撮像の対象が移動被写体の場合、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差の絶対値が大きくなる。よって、画像としての不自然さが目立つ差のレベルを定数Ｇ２として設定し、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差の絶対値が定数Ｇ２以上では色信号ＧＬＳ（ｘ，ｙ）をそのまま補正信号Ｇ’Ｌ（ｘ，ｙ）として不自然さを避けている。
【００５０】
また、画像としての不自然さが殆ど見えない差のレベルを定数Ｇ１として設定し、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差の絶対値が定数Ｇ１以下では色信号ＧＬ（ｘ，ｙ）をそのまま補正信号Ｇ’Ｌ（ｘ，ｙ）としている。
【００５１】
ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差の絶対値が定数Ｇ２以下で定数Ｇ１以上の場合、両者の加重平均値を補正信号Ｇ’Ｌ（ｘ，ｙ）として、定数Ｇ１と定数Ｇ２の境界付近で補正信号が滑らかにつながるようになる。
【００５２】
なお、定数Ｇ１及びＧ２は、ともに正の定数であり、Ｇ１＜Ｇ２の関係が成り立つように予め設定される。この時、定数Ｇ１と定数Ｇ２として小さい値を選ぶと移動被写体の不自然さは減少するが、Ｓ／Ｎが悪いガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）成分が多くなるので、画質低下が目立つようになる。よって、定数Ｇ１と定数Ｇ２として適当な値を選ぶことが必要である。
【００５３】
図４は、高照度の白いストライプを長いシャッタ時間、短いシャッタ時間の順で撮像した時の１水平ラインの色信号を表す図である。
【００５４】
図４（Ａ）は、長いシャッタ時間の色信号ＧＬを表し、図４（Ｂ）は、短いシャッタ時間の色信号ＧＳを表し、図４（Ｃ）は、図４（Ａ）と図４（Ｂ）に表す色信号ＧＬ及び色信号ＧＳをガンマ変換後に図３の補正色信号生成処理及び図２のステップＳＡ８の処理により得られる合成色信号ＧＣを表す。なお、図中、縦軸は、信号レベルを表し、横軸は、水平方向の画素位置を表す。
【００５５】
長いシャッタ時間の色信号ＳＬは、シャッタ期間が長いので、移動する被写体を撮像する場合は、図に示すように、白いストライプと背景の境界線が、斜めになる。また、点線で示す飽和信号レベルＳＳＡＴ以上の部分は、出力されないので、実線で示したような形となる。
【００５６】
短いシャッタ時間は、長いシャッタ時間の後に撮像されるので、短いシャッタ時間の色信号ＳＳは、長いシャッタ時間の色信号ＳＬよりも、水平方向に移動する。これは、シャッタ期間開始時の時間差分だけ、白いストライプが横方向に移動しているからである。
【００５７】
以上の、２つの色信号ＳＬ及び色信号ＳＳをガンマ変換後に図３の補正色信号生成処理及び図２のステップＳＡ８の処理により得られる合成色信号ＧＣである。本実施例による色信号合成処理を行った場合には、図７（Ｃ）に示したような太いボケ領域は全く目立たなくなる。なお、図に示すように、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差が定数Ｇ１以下の領域で非常に細い白線又はボケ領域が現れる場合がある。
【００５８】
図５は、図２のステップＳＡ７で行われる補正色信号生成処理の第２の例を表すフローチャートである。
【００５９】
図３に示した補正色信号生成処理の第１の例では、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差の絶対値が定数Ｇ２以上では色信号ＧＬＳ（ｘ，ｙ）をそのまま補正信号Ｇ’Ｌ（ｘ，ｙ）として用いたが、この第２の例では、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差を正と負との場合に分けて補正信号Ｇ’Ｌ（ｘ，ｙ）を微調整する。これにより、第１の例よりもさらに画像の不自然さを減少させることができる。以下に、第２の例における処理を説明する。
【００６０】
なお、ステップＳＣ１〜ＳＣ３の工程は図３に示す第１の例と同様であるのでその説明を省略する。
【００６１】
ステップＳＣ４では、下記式（Ｆ）に基づき、長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）とガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）との差が定数Ｇ２以上か否かを判断する。両信号の差が定数Ｇ２以上の場合は、ＹＥＳの矢印で示すステップＳＣ５に進み、加重係数βの値を定数βｐとし、ステップＳＣ１１に進む。それ以外の場合は、ＮＯの矢印で示すステップＳＣ６に進む。
【００６２】
ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）≧Ｇ２  …（Ｆ）
なお、上述の定数βｐ及び後述の定数βｍは、いずれも０〜１の範囲の定数である。
【００６３】
ステップＳＣ６では、下記式（Ｇ）に基づき、長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）とガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）との差が定数Ｇ２より小さいか否かを判断する。両信号の差が定数Ｇ２より小さい場合は、ＹＥＳの矢印で示すステップＳＣ７に進み、それ以外の場合は、ＮＯの矢印で示すステップＳＣ８に進む。
【００６４】
Ｇ１≦ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）＜Ｇ２  …（Ｇ）
ステップＳＣ７では、下記式（Ｈ）に基づき、加重係数βを求める。その後ステップＳＣ１１に進む。
【００６５】
β＝βｐ（｜ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）｜−Ｇ１）／（Ｇ２−Ｇ１）…（Ｈ）
ステップＳＣ８では、下記式（Ｉ）に基づき、長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）とガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）との差が定数−Ｇ２より大きく定数−Ｇ１以下の範囲内か否かを判断する。両信号の差が定数−Ｇ２より大きく定数−Ｇ１以下の範囲内の場合は、ＹＥＳの矢印で示すステップＳＣ９に進み、それ以外の場合、すなわち両信号の差が定数−Ｇ１より小さい場合は、ＮＯの矢印で示すステップＳＣ１０に進む。
【００６６】
−Ｇ２＜ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）≦−Ｇ１  …（Ｉ）
ステップＳＣ９では、下記式（Ｊ）に基づき、加重係数βを求める。その後ステップＳＣ１１に進む。
【００６７】
β＝βｍ（｜ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）｜−Ｇ１）／（Ｇ２−Ｇ１）…（Ｊ）
ステップＳＣ１０では、加重係数βの値を定数βｍとし、その後、ステップＳＣ１１に進む。
【００６８】
ステップＳＣ１１では、下記式（Ｋ）に従い、ステップＳＣ５、ＳＣ７、ＳＣ９又はＳＣ１０で求めた加重係数βを用いてガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との加重平均値を求めて補正信号Ｇ’Ｌ（ｘ，ｙ）とする。その後、ステップＳＣ１２に進み、補正色信号生成処理を終了して、図２のステップＳＡ８に進む。
【００６９】
Ｇ’Ｌ（ｘ，ｙ）＝βＧＬＳ（ｘ，ｙ）＋（１−β）ＧＬ（ｘ，ｙ）  …（Ｋ）
以上、本発明の実施例によれば、画像としての不自然さが目立つ差のレベルを定数Ｇ２として設定し、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差の絶対値が定数Ｇ２以上では色信号ＧＬＳ（ｘ，ｙ）をそのまま補正信号Ｇ’Ｌ（ｘ，ｙ）として、画像としての不自然さが殆ど見えない差のレベルを定数Ｇ１として設定し、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差の絶対値が定数Ｇ１以下では色信号ＧＬ（ｘ，ｙ）をそのまま補正信号Ｇ’Ｌ（ｘ，ｙ）としている。また、差の絶対値が定数Ｇ２以下で定数Ｇ１以上の場合、両者の加重平均値を補正信号Ｇ’Ｌ（ｘ，ｙ）として、定数Ｇ１と定数Ｇ２の境界付近で補正信号が滑らかにつながるようになる。
【００７０】
このようにして求めた補正信号Ｇ’Ｌ（ｘ，ｙ）と短いシャッタ時間のガンマ変換後の色信号ＧＳ（ｘ，ｙ）とを合成し、合成色信号ＧＣ（ｘ，ｙ）を生成し、それに基づき合成画像信号を出力することにより、被写体が移動被写体である場合でも、不自然な画像破綻が少ない良質な画質で且つ広いダイナミックレンジを持つ画像を得ることができる。
【００７１】
また、本発明の実施例によれば、長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）とガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）との差を正と負との場合に分けて補正信号Ｇ’Ｌ（ｘ，ｙ）を微調整し、その後、該補正信号Ｇ’Ｌ（ｘ，ｙ）と短いシャッタ時間のガンマ変換後の色信号ＧＳ（ｘ，ｙ）とを合成し、合成色信号ＧＣ（ｘ，ｙ）を生成し、それに基づき合成画像信号を出力することにより、被写体が移動被写体である場合でも、不自然な画像破綻が少ない良質な画質で且つ広いダイナミックレンジを持つ画像を得ることができる。
【００７２】
なお、本発明の実施例は、照度・色差信号（ＹＣｒＣｂ）に変換された２枚の画像の合成にも適用することができる。この場合は、照度・色差信号（ＹＣｒＣｂ）をＲＧＢ信号に変換して、ＲＧＢの各信号に対して本実施例と同じ処理を行うことで同様の効果を得ることができる。
【００７３】
また、上述の実施例では、ＣＣＤカラーイメージセンサを用いて説明したが、白黒センサを用いることもできる。この場合は、単一の白黒の画像信号に対して本実施例と同じ処理を行うことで同様の効果を得ることができる。
【００７４】
また、上述の実施例では、補正信号Ｇ’Ｌ（ｘ，ｙ）と短いシャッタ時間のガンマ変換後の色信号ＧＳ（ｘ，ｙ）との合成を合成パラメータｋを用いて行ったが、両信号の合成は、これに限るものではない。
以上実施例に沿って本発明を説明したが、本発明はこれらに制限されるものではない。例えば、種々の変更、改良、組み合わせ等が可能なことは当業者に自明であろう。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施例による撮像装置１の構成例を示すブロック図である。
【図２】本発明の実施例による色信号合成処理を表すフローチャートである。
【図３】図２のステップＳＡ７で行われる補正色信号生成処理の第１の例を表すフローチャートである。
【図４】高照度の白いストライプを長いシャッタ時間、短いシャッタ時間の順で撮像した時の１水平ラインの色信号を表す図である。
【図５】図２のステップＳＡ７で行われる補正色信号生成処理の第２の例を表すフローチャートである。
【図６】従来の撮像装置５１の構成例を示すブロック図である。
【図７】高照度の白いストライプを長いシャッタ時間、短いシャッタ時間の順で撮像した時の１水平ラインの色信号を表す図である。
【符号の説明】
【００７６】
１…撮像装置、２…撮像部、３…利得調整回路、４…ガンマ変換回路、５…換算色信号生成回路、６…補正色信号生成回路、７…色信号合成回路、８…色信号処理回路
【図１】
2005223769.tif 000003
【図２】
2005223769.tif 000004
【図３】
2005223769.tif 000005
【図４】
2005223769.tif 000006
【図５】
2005223769.tif 000007
【図６】
2005223769.tif 000008
【図７】
2005223769.tif 000009