(57)【特許請求の範囲】
【請求項１】
露光量の異なる２つの画像を合成してダイナミックレンジが拡張された画像を生成する撮像装置であって、
２種類の異なる露光量で撮影した画像を連続して出力する撮像手段と、
前記撮像手段から連続して出力された、合成対象の２つのフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記２つのフレームの１フレーム目の画像を低解像度化した画像と、当該１フレーム目の画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する階調圧縮手段と、
前記２つのフレームの画像から動きの生じた部分を推定する推定手段と、
前記推定手段による推定の結果に基づいて、前記合成対象の２つのフレームへの前記２種類の露光量の適用順序を入れ替える制御手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記撮像手段から連続して出力された前記２つのフレームのうちの１フレーム目の画像をフレームメモリに保持する保持手段を更に備え、
前記合成手段は、前記撮像手段から出力される前記２つのフレームのうちの２フレーム目の画像と、前記フレームメモリに保持された画像とを合成する、ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記生成手段は、前記１フレーム目の画像が前記フレームメモリに保持されていく間に前記低解像度化した画像を生成して保持し、前記フレームメモリに保持された当該１フレーム目の画像と前記低解像度化した画像とに基づいて前記階調圧縮特性を生成する、ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記撮像手段によって用いられる前記２種類の露光量の順番を入れ替えることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記保持手段が前記フレームメモリに保持させるフレームを１フレームだけずらすことを特徴とする請求項２または３に記載の撮像装置。
【請求項６】
前記制御手段は、前記推定手段により推定された前記動きの生じた部分の大きさが所定値を超える場合に、露光量の小さい方の画像が前記合成対象の２つのフレームのうちの１フレーム目の画像となるように、１フレーム目と２フレーム目の画像の露光量を入れ替えることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記階調圧縮手段は、前記推定手段により推定された前記動きの生じた部分の大きさと移動量に基づいて、前記階調圧縮特性による階調圧縮の度合いを制御することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記階調圧縮手段は、
前記１フレーム目に前記２種類の露光量のうちの小さい方が割り当てられている場合には、前記動きの生じた部分の大きさと移動量の積が大きいほど前記階調圧縮特性による階調圧縮の度合いを強くし、
前記１フレーム目に前記２種類の露光量のうちの大きい方が割り当てられている場合には、前記動きの生じた部分の大きさと移動量の積が大きいほど前記階調圧縮特性による階調圧縮の度合いを弱くする、ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記合成手段は、
前記２つのフレームの対応する画素の画素値の差に基づいて動き部分の画素であるか静止部分の画素であるかを判定し、
前記２つのフレームの画像の両方を合成に用いることが可能な輝度値の領域において、前記動き部分の画素には前記２種類の露光量の画像のうちの低露光画像を、前記静止部分の画素には前記２種類の露光量の画像のうちの高露光画像を用いて、前記２つのフレームの画像を合成することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
露光量の異なるｎ個（ｎは３以上の自然数）の画像を合成してダイナミックレンジが拡張された画像を生成する撮像装置であって、
ｎ種類の異なる露光量で撮影した画像を連続して出力する撮像手段と、
前記撮像手段から連続して出力された、合成対象のｎ個のフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記ｎ個のフレームのうちのｎ−１フレーム目までの合成画像を低解像度化した画像と、当該ｎ−１フレーム目までの合成画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて、ｎフレーム目までの合成画像の階調を圧縮する階調圧縮手段と、
前記ｎ−１フレーム目までの合成画像とｎフレーム目の画像とから動きの生じた部分を推定する推定手段と、
前記推定手段による推定の結果に基づいて、前記合成対象のｎ個のフレームにおける露光量の適用順序を入れ替える制御手段と、を備えることを特徴とする撮像装置。
【請求項１１】
露光量の異なる２つの画像を合成してダイナミックレンジが拡張された画像を生成する画像処理装置であって、
２種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象の２つのフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記２つのフレームの１フレーム目の画像を低解像度化した画像と、当該１フレーム目の画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する階調圧縮手段と、
前記２つのフレームの画像から動きの生じた部分を推定する推定手段と、
前記推定手段による推定の結果に基づいて、前記合成対象の２つのフレームへの前記２種類の露光量の適用順序を入れ替える制御手段と、を備えることを特徴とする画像処理装置。
【請求項１２】
露光量の異なるｎ個（ｎは３以上の自然数）の画像を合成してダイナミックレンジが拡張された画像を生成する画像処理装置であって、
ｎ種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象のｎ個のフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記ｎ個のフレームのうちのｎ−１フレーム目までの合成画像を低解像度化した画像と、当該ｎ−１フレーム目までの合成画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて、ｎフレーム目までの合成画像の階調を圧縮する階調圧縮手段と、
前記ｎ−１フレーム目までの合成画像とｎフレーム目の画像とから動きの生じた部分を推定する推定手段と、
前記推定手段による推定の結果に基づいて、前記合成対象のｎ個のフレームにおける露光量の適用順序を入れ替える制御手段と、を備えることを特徴とする画像処理装置。
【請求項１３】
露光量の異なる２つの画像を合成してダイナミックレンジが拡張された画像を生成するための、画像処理装置による画像処理方法であって、
合成手段が、２種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象の２つのフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する工程と、
生成手段が、前記２つのフレームの１フレーム目の画像を低解像度化した画像と、当該１フレーム目の画像とに基づいて階調圧縮特性を生成する工程と、
階調圧縮手段が、前記生成する工程で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する工程と、
推定手段が、前記２つのフレームの画像から動きの生じた部分を推定する工程と、
制御手段が、前記推定する工程での推定の結果に基づいて、前記合成対象の２つのフレームへの前記２種類の露光量の適用順序を入れ替える工程と、を有することを特徴とする画像処理方法。
【請求項１４】
露光量の異なるｎ個（ｎは３以上の自然数）の画像を合成してダイナミックレンジが拡張された画像を生成するための、画像処理装置による画像処理方法であって、
合成手段が、ｎ種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象のｎ個のフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する工程と、
生成手段が、前記ｎ個のフレームのうちのｎ−１フレーム目までの合成画像を低解像度化した画像と、当該ｎ−１フレーム目までの合成画像とに基づいて階調圧縮特性を生成する工程と、
階調圧縮手段が、前記生成する工程で生成された前記階調圧縮特性を用いて、ｎフレーム目までの合成画像の階調を圧縮する工程と、
推定手段が、前記ｎ−１フレーム目までの合成画像とｎフレーム目の画像とから動きの生じた部分を推定する工程と、
制御手段が、前記推定する工程での推定の結果に基づいて、前記合成対象のｎ個のフレームにおける露光量の適用順序を入れ替える工程と、を有することを特徴とする画像処理方法。
【請求項１５】
コンピュータに、請求項１３または１４に記載の画像処理方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、露光量の異なる複数枚の撮像画像を合成して、ダイナミックレンジの広い画像を生成する画像処理装置及びその方法、撮像装置に関する。
【背景技術】
【０００２】
一般に、露光量の異なる複数枚の撮像画像を合成し、ダイナミックレンジを拡大した後、出力機器のダイナミックレンジに合わせて、階調圧縮を行う画像処理装置が提案されている（特許文献１）。また、入力画像を複数の解像度の画像に変換し、それらを用いて、入力画像の着目画素周囲の小領域毎に、階調圧縮特性を最適化して、入力画像のダイナミックレンジを圧縮する画像処理が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０７−１３１７０４号公報
【特許文献２】特許第０３７３１５７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載された技術では、露光量の異なる複数枚の画像を合成したダイナミックレンジの広い画像を、図９のように、画面内の輝度に応じた一様な特性で、出力機器のダイナミックレンジに収まるよう階調圧縮を行う。そのため、階調再現性の損なわれる輝度領域が発生するという課題がある。
【０００５】
一方、特許文献２に記載された技術では、階調圧縮特性を生成するために、多重解像度処理を必要とする。すなわち、入力画像から生成した複数種類の解像度の画像を同じタイミングで参照しなければならない。そのため、低解像度画像を生成する間、高解像度画像をフレームメモリにバッファリングしてタイミングを調整する必要がある。フレームメモリを使った画像のバッファリングでは、特に、動画撮影時や、画像サイズ、ビット幅が大きい場合に撮像システムにかかる負荷を高めてしまう。また、ダイナミックレンジが拡張された動画に対して階調圧縮を行う場合、画像内の動的な部分と静的な部分が変化することにより、適切な階調圧縮特性は変化する。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、ダイナミックレンジを拡張する合成処理を行う場合に、上述したようなシステムへの負荷の増加を抑制しつつ、動画における画像の変化に応じた適切な階調圧縮特性による圧縮を実現することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するための本発明の一態様による撮像装置は以下の構成を備える。すなわち、
露光量の異なる２つの画像を合成してダイナミックレンジが拡張された画像を生成する撮像装置であって、
２種類の異なる露光量で撮影した画像を連続して出力する撮像手段と、
前記撮像手段から連続して出力された、合成対象の２つのフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記２つのフレームの１フレーム目の画像を低解像度化した画像と、当該１フレーム目の画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する階調圧縮手段と、
前記２つのフレームの画像から動きの生じた部分を推定する推定手段と、
前記推定手段による推定の結果に基づいて、前記合成対象の２つのフレームにおける１フレーム目と２フレーム目の画像の露光量を入れ替える制御手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、ダイナミックレンジを拡張する合成処理を行う場合に、上述したようなシステムへの負荷の増加を抑制しつつ、動画における画像の変化に応じた適切な階調圧縮特性による圧縮を実現できる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態による撮像装置の構成例を示すブロック図。
【図２】階調圧縮特性生成部の構成例を示すブロック図。
【図３】第１実施形態の撮像装置の処理フローを示すタイミングチャート。
【図４】合成部の構成例を示すブロック図。
【図５】階調圧縮部で生成する抑制ゲインの一例を示す模式図。
【図６】高露光画像で階調圧縮特性を生成する際の弊害を説明する図。
【図７】低露光画像で階調圧縮特性を生成する際の弊害を説明する図。
【図８】階調圧縮特性を生成するのに用いた画像の種類と弊害の関係を説明する図。
【図９】一般的な階調圧縮特性の例を示す図。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照しながら、本発明の好適な実施形態を説明する。
以下の実施形態では、露光量の異なる２つのフレームの画像を合成して、ダイナミックレンジの拡大された１フレーム分の画像を出力する画像処理装置を有する撮像装置について説明する。
【００１１】
図１は、第１実施形態の撮像装置１００の構成を示すブロック図である。図１において、光学系１は撮像レンズ、絞り等の光学素子を含む。撮像素子２は光学系１により撮像面上に結像された光学像を電気信号に変換して画像信号を出力する。本実施意形態の撮像素子２は複数種類の露光量を切り替えて撮像を行うことが可能であり、露光量の切り替えは、例えば光電変換素子における電荷蓄積時間の切り替えにより実現される。フレームメモリ３は、撮像素子２から出力される画像の１フレーム分をバッファリングするためのメモリである。合成部４は、フレームメモリ３から読み出した画像と、撮像素子２から出力される現フレームの画像とを所定の演算によって合成し、ダイナミックレンジの広い画像を生成する。階調圧縮特性生成部５は、合成部４により合成された画像に対する階調圧縮特性を生成する。階調圧縮部６は、合成部４の出力画像が、所定のダイナミックレンジに収まるよう、階調圧縮特性生成部５から出力された階調圧縮特性を用いて階調圧縮を行う。動き領域推定部７は、撮像素子２から出力される合成対象の画像（本実施形態では露光量の異なる２つのフレームの画像）から動きの生じた部分を推定する。システム制御部８は、撮像装置１００の全体の動作を制御する。
【００１２】
次に、第１実施形態による撮像装置１００の動作の概要について説明する。撮像装置１００において撮影が開始されると、システム制御部８は、フレーム毎に、指示された露光量の画像が撮像素子２から出力されるよう、光学系１、撮像素子２を制御する。光学系１を介して撮像素子２から出力された画像は、フレームメモリ３、合成部４、階調圧縮特性生成部５および、動き領域推定部７に入力される。フレームメモリ３では、撮像素子２からの出力画像の１フレーム分を保持する。
【００１３】
合成部４は、フレームメモリ３に保持された画像と撮像素子２から出力される画像とを、ダイナミックレンジを拡張するように合成する。この結果、フレームメモリ３から読み出された１フレーム前の撮像素子２の出力画像と、撮像素子２から現在出力されている撮像素子２の現フレームの出力画像とが合成される。フレームメモリ３から読み出された１フレーム前の撮像素子２の出力画像と、撮像素子２からの現フレームの出力画像は、それぞれ露光量が異なる。そのため、合成前に露光量の差に応じたゲイン処理を実施し、現フレームおよび１フレーム前の撮像素子２の出力画像のレベル調整を行う。
【００１４】
階調圧縮特性生成部５は、フレームメモリ３から読み出された１フレーム前の出力画像と、撮像素子２からの現フレームの出力画像とを用いて、合成部４の出力画像のための階調圧縮特性を生成する。階調圧縮部６は、階調圧縮特性生成部５から出力される階調圧縮特性を用いることにより、撮影中の画像が好ましい階調再現となり、かつ出力映像フォーマットのダイナミックレンジに収まるよう、合成部４から出力される画像の階調圧縮を行う。
【００１５】
次に、合成部４の構成について、図４を参照して説明する。上述のように、合成部４は、フレームメモリ３から読み出した画像と、撮像素子２から出力される画像とを合成し、ダイナミックレンジの広い画像を生成する。図４の（ａ）において、入力端子４３には、フレームメモリ３の出力画像、入力端子４４には、撮像素子２の出力画像がそれぞれ入力される。
【００１６】
動き画素判定部４１は、入力端子４３と入力端子４４から入力された２つの画像、即ち、合成対象の２つのフレームの画像を比較し、被写体が動いている領域を画素単位で検出する。検出結果は、画像合成部４２および、システム制御部８に出力される。動き画素判定部４１は、例えば、各画像で輝度値のレベル合わせを行い、対応する画素、すなわち、同一画像座標の画素毎に画素値の差分の絶対値を取る。そして、その差分の絶対値がある一定の閾値以上の画素を動き部分の画素（以下、動き画素）とみなし、それ以外の画素を静止部分の画素（以下、静止画素）とみなす。
【００１７】
画像合成部４２は、入力端子４３と入力端子４４から入力された画像、即ち、合成対象の２つのフレームの画像を、動き画素判定部４１の判定出力に基づいて合成する。なお、合成のタイミングは、システム制御部８から入力される制御信号Ｓ２によって与えられる（図３により後述）。
【００１８】
図４の（ｂ）に、高露光画像における被写体の輝度と出力値との関係４１１、低露光画像における被写体の輝度と出力値の関係４１２を示す。低露光画像は、暗部のＳ／Ｎが高露光画像よりも低いが、関係４１２に示すように明部４０２でも飽和していないため、暗部４０１から明部４０２までの全ての輝度領域で画像情報が得られる。一方、高露光画像は、関係４１１に示すように、明部４０２の飽和領域では白飛びを起こしてしまうが、暗部４０１のＳ／Ｎは低露光画像よりも高い。従って、明部４０２では画像情報の欠落がない低露光画像を用い、暗部４０１では低露光画像・高露光画像の両方のうちのいずれを用いても構わない。
【００１９】
しかしながら、暗部４０１において、動き画素と判定される画素に対して高露光画像を用いることは避けるべきである。なぜなら、動き画素の判定は、低露光画像と高露光画像の差分値を参照しているため、高露光画像において白飛びが起きている場合、動き画素でなくとも低露光画像との差分が大きくなり、動き画素と判定される場合がある。このように判定された動き画素に対して、高露光画像を用いるとその部分が白飛びしてしまうことになる。従って、本実施形態の画像合成部４２では、暗部４０１における動き画素には低露光画像を、暗部４０１における静止画素には高露光画像を用いる。
【００２０】
次に、階調圧縮特性生成部５の構成について、図２を参照して説明する。階調圧縮特性生成部５では、着目画素を含む小領域の輝度レベルを参照することにより、画素毎に階調圧縮特性を決定する。
【００２１】
図２において、入力端子５８にはフレームメモリ３の出力画像が、入力端子５９には撮像素子２の出力画像が入力される。輝度生成部５１、輝度生成部５２は、それぞれ、入力端子５８、入力端子５９から入力された画像から輝度信号を生成する。フレームメモリ３の出力画像と撮像素子２の出力画像は、いずれも、ＲＡＷデータであり、ＲＧＢベイヤー等、画素毎に色フィルタによるレベル差がある。したがって、輝度生成部５１、５２では、補間処理、マトリクス演算を行い、色フィルタによるレベル差を解消した輝度信号を生成する。
【００２２】
画像縮小部５３は、輝度生成部５２から出力される１フレーム分の輝度画像を、×１／６４、×１／１２８等の高い縮小率で縮小して低解像度化した画像を取得し、結果を第２のメモリとしてのメモリ５４に格納する。なお、縮小後の画像（低解像度化した画像）を格納するメモリ５４の容量は、入力画像の１フレーム分をバッファリングするフレームメモリ３と比較して十分に小さく、メモリ５４を用いても撮像システムへの負荷は問題にならない。また、フレームメモリ３とメモリ５４は別個のメモリであってもよいし、同じメモリの異なるメモリ領域であってもよい。画像拡大部５５は、メモリ５４に格納された縮小画像を、輝度生成部５１から出力される輝度画像と等しい画像サイズになるよう、線形補間等を用いて拡大する。
【００２３】
局所輝度レベル推定部５６は、輝度生成部５１から出力される高解像度の輝度画像と、画像拡大部５５から出力される低解像度の輝度画像を用いた演算により、着目画素を含む小領域の輝度レベルを推定する。このような推定演算の一例としては、
・画素毎に、解像度の異なる複数枚の画像の出力を比較し、
・高解像度画像と低解像度画像の差分が小さい場合には、低解像度画像の出力を着目画素における輝度レベルとして出力し、
・高解像度画像と低解像度画像の差分が大きい場合には、低解像度画像と高解像度画像を加重加算して、着目画素における輝度レベルとして出力する、という方法等が挙げられる。このような推定演算を用いることで、ノイズや被写体のエッジ等の影響は排除しつつ、様々な輝度レベルの小領域が混在する画像において、各領域の分離精度を高められる。なお、本実施形態では、２種類の解像度の画像を用いて局所輝度レベルの推定を行ったが、これに限られるものではなく、３種類以上の異なる解像度の画像を用いてもよい。
【００２４】
階調圧縮特性決定部５７は、局所輝度レベル推定部５６の出力を参照して、画素ごとに、適切な階調圧縮特性を決定する。例えば、
・着目画素を含む小領域の輝度レベルが適正露光よりも暗い場合には、着目画素の輝度レベルをゲインアップするような階調圧縮特性を生成し、
・着目画素を含む小領域の輝度レベルが、適正露光よりも明るい場合には、着目画素の輝度レベルをゲインダウンするような階調圧縮特性を生成する。
【００２５】
ところで、局所輝度レベル推定部５６では、低解像度画像と高解像度画像を同じタイミングで参照する必要がある。したがって、画像縮小部５３で、１フレーム分の画像を縮小している間、１フレーム分の高解像度画像をバッファリングして、遅延する必要がある。このような画像のバッファリングは、特に、画像サイズが大きい場合や、撮影画像のフレームレートが高い場合に、撮像装置のシステム負荷を増大させる。そこで、本実施形態の撮像装置１００では、合成部４で用いるフレームメモリ３を、階調圧縮特性生成部５での遅延調整用バッファとして共用することで、システム負荷が増大するのを防いでいる。
【００２６】
一方、合成部４で用いるフレームメモリ３にバッファリングできるのは１フレーム分の画像である。本実施形態では、低露光画像と高露光画像を合成する場合、低露光画像と高露光画像の２つのフレームの画像のうち、最初に撮影された方、すなわち１フレーム目の画像がフレームメモリ３にバッファリングされる。そして、その次に撮像素子２から出力される２フレーム目の画像と、フレームメモリ３にバッファリングされた１フレーム目の画像が合成される。上述したように、２つのフレームの画像は、光学系１、撮像素子２により異なる露光量が適用されて撮影された画像である。したがって、合成用にバッファリングされている画像を階調圧縮特性生成部５で共用する場合、合成前の低露光画像または高露光画像のいずれかの１フレーム目の画像がフレームメモリ３に保持され、この画像に基づいて階調圧縮特性が生成されることになる。
【００２７】
ここで、合成前の低露光画像または合成前の高露光画像のいずれかで階調圧縮特性を生成する場合、画像に動きのある被写体が存在すると、合成後の画像に対して階調圧縮特性が適切でない場合が生じる。図６および図７にその一例を示した。
【００２８】
図６を参照して、階調圧縮特性を高露光画像から生成する場合を説明する。図６（ａ）の高露光画像には、被写体６０１と被写体６０２が存在する。これに対して、図６（ｂ）の低露光画像では、被写体６０１は同じに位置に静止しているが、被写体６０２は被写体６０３の位置に大きく移動したとする。
【００２９】
合成部４によってこれらの高露光画像と低露光画像を合成すると、被写体６０１の領域は静止画素と判定されるため、被写体６０１の領域が暗部４０１に属する画像であれば、合成には高露光画像が用いられる。一方、被写体６０２及び被写体６０３の領域は動き画素と判定されるため、被写体６０２，６０３の領域が暗部４０１に属する画像であっても合成には低露光画像が用いられる。結果として、図６（ｄ）に示すように、合成後の画像には被写体６０１と被写体６０３、さらに被写体６０２の領域に低露光画像が用いられることで生じるゴースト６０４が存在することになる。
【００３０】
このとき、階調圧縮特性を高露光画像から生成すると、図６（ｃ）のように被写体６０１及び被写体６０２に対して最適な階調圧縮特性が生成される。この階調圧縮特性を合成後の画像（図６（ｄ））に適用すると、領域６０５の階調圧縮特性は被写体６０１に対して正しく適用される。しかしながら、領域６０６の階調圧縮特性がゴースト６０４に誤って適用されてしまうとともに、被写体６０３に対しては適切な階調圧縮特性が適用されないことになってしまう。
【００３１】
また図７を参照して、階調圧縮特性を低露光画像から生成する場合を考える。図７（ａ）の低露光画像には、被写体７０１と被写体７０２が存在する。これに対して、図７（ｂ）の高露光画像では、被写体７０１は同じに位置に静止しているが、被写体７０２は被写体７０３の位置にごくわずかに移動したとする。
【００３２】
合成部４によってこれらの高露光画像と低露光画像を合成すると、被写体７０１の領域は静止画素と判定されるため、被写体７０１の領域が暗部４０１に属する画像であれば、合成には高露光画像が用いられる。一方、被写体７０２及び被写体７０３の領域であるが、移動量がごくわずかであるために、動き画素判定部４１において動きと判定されるための閾値を超えず、静止画素と判定される。その結果、被写体７０２及び被写体７０３の領域が暗部４０１に属する画像であれば、合成には高露光画像が用いられる。結果として、図７（ｄ）に示されるように、合成後の画像には、被写体７０１と被写体７０３が存在することになる。
【００３３】
このとき、階調圧縮特性を図７（ａ）の低露光画像から生成すると、図７（ｃ）のように被写体７０１及び被写体７０２に対して最適な階調圧縮特性が生成される。この階調圧縮特性を図７（ｄ）に示す合成後の画像に適用すると、領域７０４の階調圧縮特性は被写体７０１に対して正しく適用される。しかしながら、領域７０５の階調圧縮特性は被写体７０３に対してわずかにずれて適用されることになり、ずれた部分の階調が損なわれてしまう。
【００３４】
上記のような問題が起きる条件を、図８の表にまとめた。図８の表では、暗部４０１における合成処理（高露光画像、低露光画像のいずれも合成に利用可能な領域における合成処理）を示している。表中のＬは低露光画像、Ｈは高露光画像、ΔＬＨは低露出画像と高露出画像のある同一画像座標の画素に関して、画素値の差分の絶対値を取ったものである。表中の○は合成後の画像に対して階調圧縮特性が適切であることを示しており、×は階調圧縮特性が適切でないことを示している。また△は×と同様に適切ではないが、それによって生じる不具合の影響が小さいことを示している。
【００３５】
ΔＬＨがある閾値よりも大きい場合には動き画素と判定され、合成画像には低露光画像（Ｌ）が用いられる。ΔＬＨがほぼ０である場合には静止画素と判定され、合成画像には高露光画像（Ｈ）が用いられる。また、ΔＬＨが０ではないがある閾値よりも小さい場合には静止画素と判定され、この場合にも合成画像には高露光画像（Ｈ）が用いられる。合成後の画像に対して階調圧縮特性が適切でないのは、合成画像にＬが用いられ、階調圧縮特性をＨから生成する場合（図６）と、合成画像にＨが用いられ、階調圧縮特性をＬから生成する場合（図７）である。
【００３６】
次に、合成画像に対して階調圧縮特性が適切でないケースをより減らすための構成について説明する。本実施形態では、撮影中の画像において、動いていると判定される領域（動き領域）が支配的な場合、すなわち、合成画像で低露光画像が用いられる領域が支配的な場合には、階調圧縮特性を低露光画像から生成する。一方、撮影中の画像において、静止していると判定される領域（静止領域）が支配的な場合、すなわち、合成画像で高露光画像が用いられる領域が支配的な場合には、階調圧縮特性を高露光画像から生成するようにすればよい。
【００３７】
そこで、本実施形態の撮像装置１００では、撮影中の画像において、支配的な領域が、動き領域なのか、静止領域なのかを判定する。そして、撮影中の画像において、少なくとも支配的な領域ではより好ましい階調圧縮特性で階調圧縮処理が行われるように、階調圧縮特性生成部５で用いる画像、すなわち、フレームメモリ３に保持する画像を決定する。
【００３８】
撮影中の画像において、支配的な領域を判定する方法としては、以下で説明するように、動き領域推定部７で撮影中の画像を解析して判定してもよいし、撮影条件や、ユーザの指示などを参照して、システム制御部８で決定してもよい。例えば、撮影条件を参照して支配的な領域を判定する方法としては、シャッタースピードが速い場合や、シーンモードがスポーツモードの場合には、動被写体を撮影している可能性が高いため、動き領域が支配的と判定することが挙げられる。その逆にシャッタースピードが遅い場合や三脚撮影モードの場合には、静被写体を撮影している可能性が高いため、静止領域が支配的であると判定することが挙げられる。また、ユーザの指示を参照して支配的な領域を判定する方法としては、例えば、あらかじめ静止領域支配モードと動領域支配モードのようなものを用意しておき、撮影前にユーザに選択させる、ことが挙げられる。以下、動き領域推定部７での動作について説明する。
【００３９】
動き領域推定部７では、画面内の動きベクトル分布を検出し、動き領域が支配的か、静止領域が支配的かを判定する。判定方法の一例としては、ブロックマッチングによってブロック単位で動きベクトルを算出し、それら動きベクトルの大きさを積算し、ある閾値より大きければ動き領域が支配的であり、ある閾値より小さければ静止領域が支配的であると判定する。動き領域推定部７は、以上のようにして、撮影中の画像を解析し、その解析結果をシステム制御部８に送出する。
【００４０】
システム制御部８は、動き領域推定部７による推定の結果に基づき、合成対象の２つのフレームにおける１フレーム目と２フレーム目の画像の露光量を入れ替える。この入れ替えにより、階調圧縮特性の生成に使用される１フレーム目の画像を、低露光画像とするか高露光画像とするかを制御する。本実施形態では、システム制御部８は、撮像素子２の駆動を制御して、撮像素子２に適用される２種類の露光量の順番を入れ替える。
【００４１】
動き領域推定部７による推定の結果、撮像中の画像において動きの生じた部分の大きさが所定値以下の場合、すなわち、静止領域が支配的と判定された場合には、フレームメモリ３に高露出画像が入力されるようにする。本実施形態では、合成対象の連続した２フレームの画像のうち、露光量の高い画像の方が先に撮影されて１フレーム目となるように、システム制御部８が撮像素子２の駆動制御を行う。また、動き領域推定部７による推定の結果、撮像中の画像において動きの生じた部分の大きさが所定値を超える場合、すなわち動き領域が支配的と判定された場合には、フレームメモリ３に低露出画像が入力されるようにする。本実施形態では、合成対象の連続した２つのフレームの画像のうち露光量の低い画像の方が先に撮影されて１フレーム目となるよう、システム制御部８が撮像素子２の駆動制御を行う。
【００４２】
以上の構成により、適正な階調圧縮特性を得ることができる。しかしながら、上記の制御では、動き領域と静止領域のどちらか一方の支配的領域に対しては適切な階調圧縮特性が得られるが、他方の非支配的領域に対しては適切な階調圧縮特性が得られない可能性がある。そこで、本実施形態の階調圧縮部６は、更に、非支配的領域に対する不適切な階調圧縮の影響を低減するため、動き領域の面積と移動量の積に応じて階調圧縮効果の度合いを制御する。
【００４３】
いま、画面内に動き領域が一部存在するが、動き領域推定部７によって、支配領域は静止領域であると判定された場合を考えてみる。この場合、高露光画像から階調圧縮特性を生成することになり、図６で説明したような状況が生じる可能性がある。図６の状況では、動き領域の面積が大きいほど、また動き領域の移動量が大きいほど、不適切な階調圧縮の影響が大きくなる。従って、支配領域が静止領域であると判定されている場合、すなわち、高露光画像から階調圧縮特性を生成する場合は、動き領域の面積と移動量の積が増加するほど、階調圧縮効果を弱めることが望ましい。
【００４４】
また、面内に静止領域が一部存在するが、動き領域推定部７によって、支配領域は動き領域であると判定された場合を考えてみる。この場合、低露光画像から階調圧縮特性を生成することになり、図７で説明したような状況が生じる可能性がある。図７の状況では、動き領域の面積が大きいほど、また動き領域の移動量が大きいほど、不適切な階調圧縮の影響が小さくなる。従って、支配領域が動き領域であると判定された場合、すなわち、低露光画像から階調圧縮特性を生成する場合は、動き領域の面積と移動量の積が増加するほど、階調圧縮効果を強めることが望ましい。これは、動き領域の面積と移動量の積が増加するほど、動き領域がより支配的で、合成画像に占める低露光画像の割合が大きくなると考えられるためである。例えば動き領域が１００％であれば低露光画像から生成した階調圧縮をそのまま適用し、動き領域が６０％であれば４０％の静止領域のことも考慮して階調圧縮を弱めに適用するといった具合である。
【００４５】
階調圧縮効果の度合いの制御は、階調圧縮特性生成部５の出力に対して抑制ゲインを乗算することで行う。抑制ゲインの特性の一例を図５の（ａ）に示した。横軸である動き領域の面積と移動量の積が増加するにつれて、支配領域が静止領域である場合にはゲインが小さくなり、支配領域が動き領域である場合にはゲインが大きくなる。抑制ゲインが１であれば階調圧縮特性生成部５が生成した圧縮特性となり、抑制ゲインが０の場合にはリニアな圧縮特性となる。例えば、図５の（ｂ）に示すように、階調圧縮特性生成部５によって階調圧縮特性５０１が得られた場合、抑制ゲインが１であれば階調圧縮特性５０１がそのまま使用されることになる。一方、抑制ゲインが０に近づけば近づくほど、階調圧縮特性はリニアな特性５０２に近づくことになる。
【００４６】
次に、階調圧縮効果の度合いを制御することによる効果について、図６、図７を参照して更に説明する。図６では先述のとおり、高露光画像から生成した階調圧縮特性（図６（ｃ））が、図６（ｄ）の合成後の画像に適用される。そのため、被写体６０１に対しては適切な階調圧縮が行われるが、ゴースト６０４及び、被写体６０３に対しては適切な階調圧縮が行われない。このとき、非支配領域を考慮し、階調圧縮効果を抑制すれば、被写体６０１に対する適切な階調圧縮の効果は弱まってしまうが、ゴースト６０４及び、被写体６０３に対する不適切な階調圧縮による弊害を低減できる。
【００４７】
図７においても、先述のとおり、低露光画像から生成した階調圧縮特性（図７（ｃ））が図７（ｄ）の合成後の画像に適用される。そのため、被写体７０１に対しては適切な階調圧縮が行われるが、被写体７０３に対しては適切な階調圧縮が行われない。このとき、非支配領域を考慮し、階調圧縮効果を抑制すれば、被写体７０３に対する不適切な階調圧縮による弊害を低減できる。
【００４８】
次に、撮影中の画像において、支配的な領域が、動き領域から静止領域に変化した際の撮像動作の一例を、図３のタイミングチャートを参照して説明する。図３において、時刻ｔ１、ｔ２、ｔ３、・・・、ｔ７の間隔は、それぞれ、１フレーム期間（以下１Ｖと表記する）を示す。撮像素子２からは、１Ｖ毎に、低露光画像または高露光画像が出力され、合成部４において合成対象となる２つのフレームの画像は図３の破線で囲まれた組み合わせとなる。
【００４９】
すなわち、時刻ｔ１からｔ３の期間では、撮像素子２から連続して出力された低露光画像Ｌ１と高露光画像Ｈ１を合成する。同様に、時刻ｔ３からｔ５の期間では、撮像素子２から連続して出力された低露光画像Ｌ２と高露光画像Ｈ２を合成する。また、時刻ｔ５からｔ７の期間では、撮像素子２から連続して出力された低露光画像Ｌ３と高露光画像Ｈ３を合成する。
【００５０】
制御信号Ｓ１は、フレームメモリ３への画像の書き込み、及び、階調圧縮特性生成部５での処理のＯｎ／Ｏｆｆを制御する２値の制御信号であり、システム制御部８が出力する。制御信号Ｓ１が“１”の場合には、撮像素子２の出力画像が、１Ｖ期間かけてフレームメモリ３に書き込まれる。また、これと並行して、撮像素子２の出力画像が階調圧縮特性生成部５に入力され、１Ｖ期間かけて階調圧縮特性が生成される。制御信号Ｓ１が“０”の場合には、フレームメモリ３への画像の書き込みは停止され、階調圧縮特性生成部５での処理はｏｆｆとなる。
【００５１】
制御信号Ｓ２は、フレームメモリ３からの画像の読み出し、及び、合成部４での処理のｏｎ／ｏｆｆ、及び、階調圧縮部６での処理のｏｎ／ｏｆｆを制御する２値の信号であり、システム制御部８から出力される。制御信号Ｓ２が“０”の場合は、フレームメモリ３からの画像の読み出しが停止され、合成部４、及び、階調圧縮部６での処理はｏｆｆとなる。制御信号Ｓ２が“１”の場合には、合成部４は、撮像素子２から出力される画像と、フレームメモリ３から読み出した画像とを用いて、ダイナミックレンジが拡張された合成画像を生成する合成処理を行う。そして、合成後の画像に対して、階調圧縮特性生成部５の出力を用い、階調圧縮部６で階調圧縮処理を行う。
【００５２】
制御信号Ｓ３は、合成される低露光画像と高露光画像のうち、どちらを先に撮影するかを決定する、２値の制御信号であり、システム制御部８から出力される。システム制御部８は、動き領域推定部７での判定結果に基づいて制御信号Ｓ３を更新する。
【００５３】
システム制御部８は、動き領域推定部７の判定結果に基づいて、撮影中の画像において動き領域が支配的であると判定した場合に制御信号Ｓ３を“０”にセットする。制御信号Ｓ３が“０”の場合、次の合成用画像の撮影時には、低露光画像が先に撮影されるよう撮像素子２が制御される。即ち、合成対象のフレームのうちの１フレーム目が低露光画像、２フレーム目が高露光画像となるように、撮像素子２からの出力の順番が制御される。一方、システム制御部８は、動き領域推定部７の判定結果に基づいて、撮影中の画像において静止領域が支配的であると判定した場合には、制御信号Ｓ３を“１”にセットする。制御信号Ｓ３が“１”の場合、次に合成用画像の撮影時には、高露光画像が先に撮影されるよう、撮像素子２が制御される。即ち、合成対象のフレームのうちの１フレーム目が高露光画像、２フレーム目が低露光画像となるように、撮像素子２からの出力の順番が制御される。
【００５４】
図３において、時刻ｔ１からｔ２の期間では、制御信号Ｓ３が“０”であるので、合成対象の２つのフレームの画像は、低露光画像Ｌ１、高露光画像Ｈ１の順に撮像素子２から出力される。そして、システム制御部８は、時刻ｔ１からｔ２までの１Ｖ期間で低露光画像Ｌ１をフレームメモリ３に書き込み、それと、並行して、階調圧縮特性生成部５では、時刻ｔ２までに、低露光画像Ｌ１の縮小画像がメモリ５４に保持される。
【００５５】
時刻ｔ２からｔ３において、合成部４は、フレームメモリ３に書き込まれた低露光画像Ｌ１と撮像素子２から出力される高露光画像Ｈ１を合成して、合成画像Ｈ１＋Ｌ１を出力する。これと並行して、階調圧縮特性生成部５は、メモリ５４に保持されている画像Ｌ１の縮小画像とフレームメモリ３から読み出される画像Ｌ１に基づいて階調圧縮特性ｇ（Ｌ１）を生成し、生成した階調圧縮特性を順次に出力していく。そして、この時刻ｔ２からｔ３の期間において、階調圧縮部６は、合成部４から出力された合成画像Ｈ１＋Ｌ１に対し、階調圧縮特性ｇ（Ｌ１）を用いて、階調圧縮処理を行う。
【００５６】
また、時刻ｔ１からｔ３の期間では、動き領域推定部７が合成対象の低露光画像Ｌ１と高露光画像Ｈ１を用いて動き領域を判定し、判定結果Ａ（Ｈ１−Ｌ１）を出力する。システム制御部８は、判定結果Ａ（Ｈ１−Ｌ１）に基づいて、時刻ｔ３からの合成で参照する制御信号Ｓ３を“０”に更新する。これは、現在撮影中の画像を解析した結果、動き領域が支配的であると判断できるので、次の合成処理の際も、低露光画像を先に撮影して、動き領域での階調圧縮特性を最適化した方が好ましい画質になると考えられるためである。
【００５７】
ここで、動き領域推定部７は、高露光画像Ｈ１（合成対象のフレームのうちの２フレーム目の画像）が撮像素子２から出力される時刻ｔ２から時刻ｔ３の期間に判定結果Ａ（Ｈ１−Ｌ１）を出力する必要がある。そのため、動き領域推定部７では、例えば、
・撮像素子２からの高露光画像Ｈ１の読み出しを間引いて２回に分けて（例えば、偶フィールドと奇フィールドに分けて）行い、１回目の読み出しを終えた時点で動き判定を行う、あるいは、
・高露光画像Ｈ１の読み出しの途中で動き判定を実施する（すなわち、前画像ではなく一部の画像から動き領域を判定する）、などの対策が講じられている。
【００５８】
時刻ｔ３からｔ５の期間においても、制御信号Ｓ３が“０”であるので、合成対象の２つのフレームの画像は、低露光画像Ｌ２（１フレーム目）、高露光画像Ｈ２（２フレーム目）の順に撮像素子２から出力される。そして、時刻ｔ３からｔ４までの１Ｖ期間で、システム制御部８は、低露光画像Ｌ２をフレームメモリ３に書き込み、それと並行して、階調圧縮特性生成部５では、時刻ｔ４までに、低露光画像Ｌ２の縮小画像がメモリ５４に保持される。
【００５９】
時刻ｔ４からｔ５において、合成部４は、フレームメモリ３に書き込まれた低露光画像Ｌ２と撮像素子２から出力される高露光画像Ｈ２を合成して、合成画像Ｈ２＋Ｌ２を出力する。これと並行して、階調圧縮特性生成部５は、メモリ５４に保持されている画像Ｌ２の縮小画像とフレームメモリ３から読み出される画像Ｌ２に基づいて階調圧縮特性ｇ（Ｌ２）を生成し、生成した階調圧縮特性を順次に出力していく。そして、この時刻ｔ４からｔ５の期間において、階調圧縮部６は、合成部４から出力された合成画像Ｈ２＋Ｌ２に対し、階調圧縮特性ｇ（Ｌ２）を用いて、階調圧縮処理を行う。
【００６０】
また、時刻ｔ３からｔ５の期間では、動き領域推定部７が合成対象の低露光画像L２と高露光画像Ｈ２を用いて動き領域を判定し、判定結果Ａ（Ｈ２−Ｌ２）を出力する。システム制御部８は、判定結果Ａ（Ｈ２−Ｌ２）に基づいて、時刻ｔ５からの合成で参照する制御信号Ｓ３を“１”に更新する。これは、現在撮影中の画像を解析した結果、静止領域が支配的になってきていると判断できるので、次の合成処理の際は、高露光画像を先に撮影し、静止領域での階調圧縮特性を最適化した方が、好ましい画質となると考えられるためである。
【００６１】
時刻ｔ５からｔ７の期間では、制御信号Ｓ３が“１”なので、合成対象の２つのフレームの画像は、１フレーム目が高露光画像Ｈ３、２フレーム目が低露光画像Ｌ３の順となるように撮像素子２から出力される。そして、時刻ｔ５からｔ６までの１Ｖ期間で、システム制御部８は、高露光画像Ｈ３をフレームメモリ３に書き込み、それと、並行して、階調圧縮特性生成部５では、時刻ｔ６までに、高露光画像Ｈ３の縮小画像がメモリ５４に保持される。
【００６２】
時刻ｔ６からｔ７において、合成部４は、フレームメモリ３に書き込まれた高露光画像Ｈ３と撮像素子２から出力される低露光画像Ｌ３を合成して、合成画像Ｈ３＋Ｌ３を出力する。これと並行して、階調圧縮特性生成部５は、メモリ５４に保持されている画像Ｈ３の縮小画像とフレームメモリ３から読み出される画像Ｈ３に基づいて階調圧縮特性ｇ（Ｈ３）を生成し、生成した階調圧縮特性を順次に出力していく。そして、この時刻ｔ６からｔ７の期間において、階調圧縮部６は、合成部４から出力された合成画像Ｈ３＋Ｌ３に対し、階調圧縮特性ｇ（Ｈ３）を用いて、階調圧縮処理を行う。
【００６３】
また、時刻ｔ５からｔ７の期間では、動き領域推定部７が合成対象の高露光画像Ｈ３と低露光画像L３とを用いて動き領域を判定し、判定結果Ａ（Ｌ３−Ｈ３）を出力する。システム制御部８は、判定結果Ａ（Ｌ３−Ｈ３）に基づいて、時刻ｔ７からの合成で参照する制御信号Ｓ３を“１”に更新する。これは、現在撮影中の画像を解析した結果、静止領域が支配的であると判断できるので、次の合成処理の際も、高露光画像を先に撮影し、静止領域での階調圧縮特性を最適化した方が、好ましい画質となると考えられるためである。
【００６４】
以上のような、一連の撮像制御を行うことにより、露光量を変えた複数枚の画像を合成してダイナミックレンジが拡張された合成後の画像に適した階調圧縮特性で、階調圧縮を行って、映像信号を出力することができる。
また、撮影中の画像において動き部分と静止部分のいずれが支配的であるかの判定結果に基づいて階調圧縮特性の生成に用いる画像を決定することにより、撮影中の画像に適した階調圧縮処理を行うことができる。
また、上記実施形態の撮像装置１００では、合成処理のためにフレームメモリ３にバッファリングされた画像を用いて、合成後の画像に対する階調圧縮特性を生成することができ、メモリアクセスによるシステム負荷の増大を回避できる。
【００６５】
なお、上記実施形態では、合成対象の２つのフレームにおける高露光画像と低露光画像の順番を、撮像素子２からの出力順を入れ替えることで調整したがこれに限られるものではない。例えば、撮像素子２からの出力順を固定とし、フレームメモリ３に保持させるフレームを１フレームだけずらすことで対応することも可能である。
【００６６】
また、上記実施形態では、合成対象を２つのフレームの画像としたが、ｎ個の画像を合成する（ｎは３以上の自然数）ようにすることも可能である。この場合、撮像素子２からはｎ種類の露光量の画像が連続的に出力され、合成部４は合成対象のｎ個のフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する。この場合、フレームメモリ３には、まずｎ個のフレームのうちの１フレーム目が保持される。その後、撮像素子２から２〜ｎ−１フレーム目が出力される期間では、フレームメモリ３の内容は合成部４から出力される合成画像で順次上書きされていく。合成部４は、フレームメモリ３から読み出した１つ前のフレームまでの合成画像と撮像素子２から現在出力されている原フレームの画像とを合成してく。なお、動き画素判定部４１では、１つ前のフレームまでの合成画像と原フレームの画像との対応する画素の画素値の差に基づいて動き部分の画素か静止部分の画素かを判定する。
【００６７】
階調圧縮特性生成部５は、ｎ個のフレームのうちのｎ−１フレーム目までの合成画像を低解像度化した画像と、当該ｎ−１フレーム目までの合成画像とを用いて階調圧縮特性を生成する。また、動き領域推定部７は、ｎ−１フレーム目までの合成画像とｎフレーム目の画像とから動きの生じた部分を推定し、システム制御部８はその推定の結果に基づいて、合成対象のｎ個のフレームにおける露光量の適用順序を入れ替える。例えば、動き領域が支配的であれば、ｎ個の露光量のうち最低の露光量の画像がｎフレーム目となるようにする。また、静止領域が支配的であれば、ｎ個の露光量のうち最高の露光量の画像がｎフレーム目となるようにする。このような構成により、動き領域が支配的な場合には１〜ｎ−１フレーム目までの低露光量の画像による合成画像により階調圧縮特性が生成されることになり、撮影中の動画に対してより適切な階調圧縮が行なわれる。同様に、静止領域が支配的な場合には１〜ｎ−１フレーム目までの高露光量の画像による合成画像により階調圧縮特性が生成されることになり、撮影中の動画に対してより適切な階調圧縮が行なわれる。
【００６８】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005820213.tif 000002
【図２】
0005820213.tif 000003
【図３】
0005820213.tif 000004
【図４】
0005820213.tif 000005
【図５】
0005820213.tif 000006
【図６】
0005820213.tif 000007
【図７】
0005820213.tif 000008
【図８】
0005820213.tif 000009
【図９】
0005820213.tif 000010