(57)【要約】【課題】時分割で撮像した画像のＨＤＲ合成において、より画質劣化の少ないＨＤＲ画像を出力することができる。【解決手段】  被写体を第１の露光時間で撮像した第１の画像と、前記第１の露光時間とは異なる第２の露光時間で、前記第１の画像の前に撮像された第２の画像と、前記第２の露光時間で前記第１の画像の後に撮像された第３の画像に対して前記第１の画像と前記第２の画像を合成することにより第１のＨＤＲ画像を生成し、前記第１の画像と前記第３の画像を合成することにより第２のＨＤＲ画像を生成する合成手段と、前記第１の画像と、前記第１のＨＤＲ画像と、前記第２のＨＤＲ画像それぞれをフーリエ変換することにより、前記第１のＨＤＲ画像と、前記第２のＨＤＲ画像それぞれの画質の劣化値を算出する算出手段と、前記第１のＨＤＲ画像の劣化値と前記第２のＨＤＲ画像の劣化値に基づいて、劣化値が低い方のＨＤＲ画像を選択する選択手段とを有する。【選択図】  図３
2019047428.tif 000002
【特許請求の範囲】
【請求項１】
被写体を第１の露光時間で撮像した第１の画像と、前記第１の露光時間とは異なる第２の露光時間で、前記第１の画像の前に撮像された第２の画像と、前記第２の露光時間で前記第１の画像の後に撮像された第３の画像を入力する入力手段と、
前記第１の画像と前記第２の画像を合成することにより第１のＨＤＲ画像を生成し、前記第１の画像と前記第３の画像を合成することにより第２のＨＤＲ画像を生成する合成手段と、
前記第１の画像と、前記第１のＨＤＲ画像と、前記第２のＨＤＲ画像それぞれをフーリエ変換することにより、前記第１のＨＤＲ画像と、前記第２のＨＤＲ画像それぞれの画質の劣化値を算出する算出手段と、
前記第１のＨＤＲ画像の劣化値と前記第２のＨＤＲ画像の劣化値に基づいて、劣化値が低い方のＨＤＲ画像を選択する選択手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記第１の画像と前記第１のＨＤＲ画像それぞれの空間周波数の応答特性の差分値を前記第１のＨＤＲ画像の劣化値として算出し、前記第１の画像と前記第２のＨＤＲ画像それぞれの空間周波数の応答特性の差分値を前記第２のＨＤＲ画像の劣化として算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記劣化値算出手段は、前記第２のＨＤＲ画像の劣化値に１より大きい係数を乗算することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第２の画像の撮像終了から前記第１の画像の撮像開始までの時間間隔の方が、前記第１の画像の撮像終了から前記第３の画像の撮像開始までの時間よりも短いことを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
【請求項５】
前記第２の画像と前記第３の画像間において、前記第２の画像と前記第３の画像に写る前記被写体の移動量を算出する手段を更に有し、
前記選択手段は、前記移動量と前記劣化値と基づいて、前記第１のＨＤＲ画像と前記第２のＨＤＲ画像の何れか一方を選択することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
前記劣化値の信頼度を導出する導出手段を更に有し、
前記選択手段は、前記信頼度と前記劣化値とに基づいて、前前記第１のＨＤＲ画像と前記第２のＨＤＲ画像の何れか一方を選択することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項７】
コンピュータを請求項１乃至６のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【請求項８】
被写体を第１の露光時間で撮像した第１の画像と、前記第１の露光時間とは異なる第２の露光時間で、前記第１の画像の前に撮像された第２の画像と、前記第２の露光時間で前記第１の画像の後に撮像された第３の画像を入力する入力工程と、
前記第１の画像と前記第２の画像を合成することにより第１のＨＤＲ画像を生成し、前記第１の画像と前記第３の画像を合成することにより第２のＨＤＲ画像を生成する合成工程と、
前記第１の画像と、前記第１のＨＤＲ画像と、前記第２のＨＤＲ画像それぞれをフーリエ変換することにより、前記第１のＨＤＲ画像と、前記第２のＨＤＲ画像それぞれの画質の劣化値を算出する算出工程と、
前記第１のＨＤＲ画像の劣化値と前記第２のＨＤＲ画像の劣化値に基づいて、劣化値が低い方のＨＤＲ画像を選択する選択工程と、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハイダイナミックレンジ画像を生成するための画像処理方法に関する。
【背景技術】
【０００２】
従来、短秒・長秒と異なる露光時間の撮影の繰り返しにより、時分割で撮影した画像をハイダイナミックレンジ（以降、ＨＤＲ）合成する際に動体の位置ずれにより生じる二重像を低減する方法が提案されている。特許文献１は、複数の画面内の各画素間の動きベクトルを検出し、前記検出した各画素間の動きベクトルと前記複数の画面間の動きベクトルとの差が閾値よりも大きい場合は画素の合成を行わない方法を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２４３２８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
時分割で撮像した画像をＨＤＲ合成する際に、合成に用いる撮像画像の組み合わせによっては、動体が本来の移動方向とは逆方向に移動しているように知覚される不自然な動きブレが発生する場合がある。しかしながら従来技術においては、このような不自然な動きブレを適切に低減することができなかった。本発明は、時分割で撮像した画像のＨＤＲ合成において、上述のような現象を抑制することを主な目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するための本発明を適用する画像処理装置は、被写体を第１の露光時間で撮像した第１の画像と、前記第１の露光時間とは異なる第２の露光時間で、前記第１の画像の前に撮像された第２の画像と、前記第２の露光時間で前記第１の画像の後に撮像された第３の画像を入力する入力手段と、前記第１の画像と前記第２の画像を合成することにより第１のＨＤＲ画像を生成し、前記第１の画像と前記第３の画像を合成することにより第２のＨＤＲ画像を生成する合成手段と、前記第１の画像と、前記第１のＨＤＲ画像と、前記第２のＨＤＲ画像それぞれをフーリエ変換することにより、前記第１のＨＤＲ画像と、前記第２のＨＤＲ画像それぞれの画質の劣化値を算出する算出手段と、前記第１のＨＤＲ画像の劣化値と前記第２のＨＤＲ画像の劣化値に基づいて、劣化値が低い方のＨＤＲ画像を選択する選択手段と、
を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、時分割で撮像した画像のＨＤＲ合成において、上述のような現象を抑制することができる。
【図面の簡単な説明】
【０００７】
【図１】ユーザーが撮像する被写体のイメージ図である。
【図２】時分割撮像タイミングと撮像画像のイメージ図である。
【図３】画像処理システムの構成図である。
【図４】画像処理装置の詳細な論理構成を示すブロック図である。
【図５】画像処理装置が実行する処理の動作を示すフローチャートである。
【図６】撮像画像ｉと撮像画像ｉ＋１を合成したＨＤＲ画像のイメージ図である。
【図７】撮像画像ｉ−１と撮像画像ｉを合成したＨＤＲ画像のイメージ図である。
【図８】劣化値算出部４０４が実行する処理の動作を示すフローチャートである。
【図９】基準画像とＨＤＲ画像をフーリエ変換した画像のイメージ図である。
【図１０】被写体の速さに応じた視覚の空間周波数応答特性を説明するイメージ図である。
【図１１】基準画像とＨＤＲ画像のフーリエ変換画像に視覚の空間周波数応答特性を乗算した画像のイメージ図である。
【図１２】劣化値を説明する図である。
【図１３】ユーザーが設定した重み付け係数ｋを説明するイメージ図である。
【図１４】画像処理装置が実行する処理の動作を示すフローチャートである。
【図１５】合成したＨＤＲ画像のイメージ図である。
【図１６】生成したフーリエ変換画像のイメージ図である。
【図１７】時分割撮像した画像のイメージ図である。
【図１８】画像処理装置が実行する処理の動作を示すフローチャートである。
【図１９】ルックアップテーブルのイメージ図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を必ずしも限定するものではない。なお、同一の構成については、同じ符号を付して説明する。
【０００９】
＜第１実施形態＞
第１実施形態では図１に示すように、静止した高輝度の照明１０１と右側へ速さｖ（ｐｉｘｅｌ／ｆｒａｍｅ）で移動する幅Δ（ｐｉｘｅｌ）の被写体１０２を、カメラ１０３で異なる露光時間の連続撮像を行うものとする。
図２（ａ）は時分割撮像した各フレーム画像の露光開始及び終了タイミングを表すタイムラインである。ｉ−１、ｉ＋１番目のフレーム画像は短い露光時間ＴＳ、ｉ番目のフレーム画像は長い露光時間ＴＬで撮像している。また、各フレーム画像は時間間隔ＴＦＰＳで連続撮像されている。図２（ｂ）、（ｄ）は、ｉ−１、ｉ＋１番目のフレーム画像である。短い露光時間ＴＳで撮像しているため、高輝度の照明１０１は適切な露出レベルで撮像される一方、被写体１０２は暗く、動きブレの小さい画像が撮像されている。図２（ｃ）は、ｉ番目のフレーム画像である。長い露光時間ＴＬで撮像しているため、高輝度の照明１０１に対応する画素の画素値は飽和している。一方、被写体１０２は適切な露出レベルで撮像され、動きブレの大きい画像が撮像されている。なお、被写体１０２は右側へ速さｖで移動しているため、ｉ−１番目のフレームでは、ｉ番目のフレームに写る被写体１０２より左側へｖ×（ＴＦＰＳ−０．５×（ＴＬ−ＴＳ））／ＴＦＰＳ（ｐｉｘｅｌ）ずれた位置に写っている。また、ｉ＋１番目のフレームでは、ｉ番目のフレームに写る被写体１０２より右側へｖ×（ＴＦＰＳ＋０．５×（ＴＬ−ＴＳ））／ＴＦＰＳ（ｐｉｘｅｌ）ずれた位置に写っている。
【００１０】
図３は、第１実施形態における画像処理装置のハードウェア構成を示す図である。撮像部３０１は、レンズ、絞り、シャッタ、光学ローパスフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤなどのセンサを有する。撮像部３０１は、被写体から反射される反射光の光量を検知し、Ａ／Ｄ変換を経てデータ転送経路であるバス３１１にデジタルデータを出力する。ＲＯＭ３０２とＲＡＭ３０３は、撮像や画像処理に必要なプログラム、データ、作業領域などをＣＰＵ３０４に提供する。ＣＰＵ３０４はＲＡＭ３０３をワークメモリとして、ＲＯＭ３０２やＲＡＭ３０３に格納されたプログラムを読み出して実行し、バス３１１を介して各構成を制御する。これにより、後述する様々な処理が実行される。撮像制御部３０５は、撮像部３０１に対してフォーカスを合わせたり、シャッタを開いたり、絞りを調節するなどを制御する。操作部３０６は、ボタンやモードダイヤルなどが該当する。操作部３０６介して、ユーザーは電源の起動や処理パラメータの設定など各種の指示を入力することができる。表示部３０７は、画像処理部３１０から受け取った撮像画像や文字を表示する。また表示部３０７が、タッチスクリーン機能を有していても良く、その場合は、ユーザー指示を入力する操作部３０６としても機能する。本実施形態では、表示部３０７は液晶ディスプレイを用いる。外部メモリ制御部３０８は、ＰＣ（パーソナルコンピュータ）やその他メディア３０９（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）と接続するためのインターフェースである。画像処理部３１０は、撮像部３０１から得られたデジタル画像に基づいて、新たな画像を生成し、その結果をバス３１１へ出力する。
【００１１】
図４は、第１実施形態に適用可能な画像処理装置の詳細な論理機能を示すブロック図である。撮像画像データ入力部４０１は、バス３１１を介して異なる複数の露光時間で被写体を連続して撮像した撮像画像データを入力する。ここで入力される撮像画像データは、異なる露光時間で撮像された複数のフレームからなる。入力された撮像画像データは合成部４０３へ出力される。露光設定入力部４０２は、バス３１１を介して被写体を撮像した時に設定されていた各フレームの露光時間を入力する。入力された露光時間は合成部４０３へ出力される。合成部４０３は、ＨＤＲ画像を生成する処理対象とするｉ番目のフレームについて、ｉ番目の直前のｉ−１番目のフレームとい番目の直後ｎｉ＋１番目のフレームそれぞれと合成し、２つのＨＤＲ画像を生成する。２つのＨＤＲ画像は劣化値算出部４０４へ出力される。劣化値算出部４０４は、各ＨＤＲ画像に対して、各ＨＤＲ画像においてＨＤＲ合成により被写体１０２上に生じる画質の劣化値を算出する。劣化値は、ＨＤＲ画像において画質に影響を与える劣化の度合いに相関のある値である。本実施例では、ＨＤＲ画像を生成する２つの画像の組み合わせに応じて、フーリエ変換により算出した劣化値に重みを掛ける。詳細は後述する。算出した劣化値は選択部４０５へ出力する。選択部４０５は、劣化値に基づいて、２つのＨＤＲ画像からｉ番目のフレームに対応するＨＤＲ画像として出力するＨＤＲ画像を選択する。選択したＨＤＲ画像はバス３１１を介して出力する。
【００１２】
図５は、第１実施形態における画像処理部３１０が実行する処理のフローチャートである。図５に示すフローチャートを記述したコンピュータで実行可能なプログラムを、ＣＰＵ３０４がＲＯＭ３０２から読み出してＲＡＭ３０３上に書き込み、該プログラムを実行することによって当該処理が実施される。ステップＳ５０１において撮像画像入力部４０１は、異なる複数の露光時間で被写体を連続して撮像した画像（フレーム）を入力する。第１実施形態では、撮像画像データとして、短露光時間ＴＳで撮像することにより得られるフレームと長露光時間ＴＬで撮像することにより選られるフレームが順に入力されるものとする。入力した撮像画像はＲＯＭ３０２またはＲＡＭ３０３等の記憶領域に記憶する。
【００１３】
ステップＳ５０２において露光設定入力部４０２は、撮像画像入力部４０１が取得した各フレームを撮像した時に設定されていた露光時間を入力する。ここでは短い露光時間と長い露光時間を交互に撮像するので、露光時間ＴＳと露光時間ＴＬが入力されることになる。入力した露光時間は所定の記憶領域に記憶する。
【００１４】
ステップＳ５０３において合成部４０３は、撮像画像データに含まれるフレーム番号ｉに対し、ｉ＝２に初期化する。ステップＳ５０４において合成部４０３は、ｉ番目のフレームとｉ＋１番目のフレームとを合成することによりＨＤＲ画像を生成する。ここでは、公知のトーンマッピングアルゴリズムを用いてＨＤＲ画像１を生成する。本実施形態では、図２（ａ）に示すように、ｉ番目のフレームの撮像終了からｉ＋１番目のフレームの撮像開始までの時間間隔が広い。そのためここで生成されるＨＤＲ画像１は、図６に示すような被写体１０２が分離した二重像になっている。合成したＨＤＲ画像１は所定の記憶領域に記憶する。
【００１５】
ステップＳ５０５において合成部４０３は、ｉ−１番目のフレームとｉ番目のフレームを合成することにより得られるＨＤＲ画像２を取得する。以前にｉ−１番目のフレームとｉ番目のフレームを合成した場合は、既に所定の記録領域に記憶されたＨＤＲ画像２を読み出す。以前の処理においてｉ−１番目のフレームとｉ番目のフレームを合成していない場合は、公知のトーンマッピングアルゴリズムを用いてＨＤＲ画像２を合成する。本実施形態では、図２（ａ）に示すように、ｉ−１番目のフレームの撮像終了からｉ番目のフレームの撮像開始までの時間間隔が短い。そのためＨＤＲ画像２には、図７に示すように被写体１０２上には二重像は発生しない。但し、短い露光時間ＴＳ、長い露光時間ＴＬの順に撮像した画像を合成したことにより、本来は移動方向の後端である被写体１０２左側に尾引きとして生じるべき動きブレが、移動方向の先端である被写体１０２右側に生じている。その結果、視聴者が視聴した際には被写体１０２が本来の移動方向とは逆方向に移動しているように知覚される不自然な動きブレが生じてしまう。合成したＨＤＲ画像２は所定の記憶領域に記憶する。
【００１６】
ステップＳ５０６において劣化値算出部４０４は、合成した２つのフレームのうち先に撮像されたｉ番目のフレームとＨＤＲ画像１とに基づいて、ＨＤＲ画像１において被写体１０２上に生じる画質の劣化値Ｅ１を算出する。劣化値算出処理の詳細は後述する。算出した劣化値Ｅ１は所定の記憶領域に記憶する。ステップＳ５０７において劣化値算出部４０４は、合成した２つのフレームのうち後に撮像されたｉ番目のフレームとＨＤＲ画像２とに基づいて、ＨＤＲ画像２において被写体１０２上に生じる画質の劣化値Ｅ２を算出する。算出した劣化値Ｅ２は所定の記憶領域に記憶する。
【００１７】
ステップＳ５０８において選択部４０５は、劣化値Ｅ１、Ｅ２に対して、条件Ｅ１＜Ｅ２を満たすか否かを判定する。Ｅ１＜Ｅ２を満たす場合は、ＨＤＲ画像１はＨＤＲ画像２よりもＨＤＲ合成による画質劣化が小さいと判定し、ステップＳ５０９へ移行する。Ｅ１＜Ｅ２を満たさない場合は、ステップＳ５１０へ移行する。ステップＳ５０９において選択部４０５は、ＨＤＲ画像１とＨＤＲ画像２のうちＨＤＲ画像１を出力するＨＤＲ画像として選択する。選択したＨＤＲ画像１は所定の記憶領域に記憶する。一方ステップＳ５１０において選択部４０５は、ＨＤＲ画像１とＨＤＲ画像２のうちＨＤＲ画像２を出力するＨＤＲ画像として選択する。選択したＨＤＲ画像２は所定の記憶領域に記憶する。
【００１８】
ステップＳ５１１において合成部４０３は、フレーム番号ｉに対し、ｉ＝ｉ＋１に更新する。ステップＳ５１２において合成部４０３はフレーム番号ｉに対し、ｉ＞ｎを満たすか判定する。ｉ＞ｎを満たす場合は、全撮像画像に対するＨＤＲ画像を選択したと判定し、処理を終了する。ｉ＞ｎを満たさない場合は、ステップＳ５０４に戻る。
【００１９】
以下では、ステップＳ５０６、Ｓ５０７の劣化値算出処理の詳細について図８のフローチャートを用いて説明する。本実施形態では図６に示すように、ｉ番目のフレームとｉ＋１番目のフレームから合成したＨＤＲ画像１については、被写体１０２上に生じる二重像を画質の劣化値として算出する。また、図７に示すように、ｉ−１番目のフレームとｉ番目のフレームから合成したＨＤＲ画像２については、被写体１０２上に生じる不自然な動きブレを画質の劣化値として算出する。ステップＳ８０１において劣化値算出部４０４は、ステップＳ５０１で入力した撮像画像データのうち、ｉ番目のフレームを基準画像として入力する。入力した基準画像は所定の記憶領域に記憶する。ステップＳ８０２において劣化値算出部４０４が、ステップＳ５０４またはＳ５０５で合成したＨＤＲ画像１およびＨＤＲ画像２を入力する。入力したＨＤＲ画像は所定の記憶領域に記憶する。ステップＳ８０３において劣化値算出部４０４は、ステップＳ８０１で入力した基準画像をフーリエ変換し、図９（ａ）に示すフーリエ変換画像ＦＦＴＲＥＦを生成する。生成した基準画像のフーリエ変換画像ＦＦＴＲＥＦは所定の記憶領域に記憶する。
【００２０】
ステップＳ８０４において劣化値算出部４０４は、ステップＳ８０２で入力した２つのＨＤＲ画像それぞれをフーリエ変換し、画像ＦＦＴＨＤＲを生成する。図９（ｂ）、（ｃ）はそれぞれＨＤＲ画像１、ＨＤＲ画像２をフーリエ変換した画像ＦＦＴＨＤＲ１、ＦＦＴＨＤＲ２である。生成したＨＤＲ画像のフーリエ変換画像ＦＦＴＨＤＲは所定の記憶領域に記憶する。ステップＳ８０５において劣化値算出部４０４は、ステップＳ８０３、Ｓ８０４で生成したフーリエ変換画像に対して、視覚の空間周波数応答特性を乗算する。具体的には、公知のＤｏｏｌｅｙの近似式から、視聴者の視距離Ｒ＝６００（ｍｍ）として、以下の式（１）に示す空間周波数応答特性を乗算する。
【００２１】
【数１】
2019047428.tif 000003
【００２２】
ρは撮像画像の視聴時における被写体１０２の空間周波数（ｃｙｃｌｅ／ｄｅｇｒｅｅ）である。図１０に示す曲線は、視覚の空間周波数応答特性ｖｔｆ（ρ）であり、４〜５ｃｙｃｌｅｓ／ｄｅｇｒｅｅあたりにピークをもつバンドパス特性となる。更に、ρの単位ｃｙｃｌｅ／ｄｅｇｒｅｅとステップＳ８０１、Ｓ８０２で算出したフーリエ変換画像の空間周波数ｆの単位ｃｙｃｌｅ／ｐｉｘｅｌが一致するようにリサンプリングする。リサンプリングした視覚の空間周波数応答特性ＶＴＦ（ｆ）は以下の式（２）に従う。
【００２３】
【数２】
2019047428.tif 000004
【００２４】
ここで、撮像画像を視聴するディスプレイの画素ピッチはｐ（ｍｍ）、映像のｘ方向画素数はＮｘ（ｐｉｘｅｌ）である。これらの値は、一般的な視聴者の観察環境に基づいて定める。従って、ステップＳ８０３、ステップＳ８０４で生成したフレーム変換画像ＦＦＴＲＥＦ、ＦＦＴＨＤＲに対して、以下の式（３）に従い、ＶＴＦ（ｆ）を乗算することにより、ＶＴＦフィルタリング画像ＶＴＦＲＥＦ、ＶＴＦＨＤＲを生成する。
【００２５】
【数３】
2019047428.tif 000005
【００２６】
ｆｘ、ｆｙはフーリエ変換画像中心を原点（０，０）とした時における各画素のｘ座標、ｙ座標である。図１１（ａ）〜（ｃ）は基準画像とＨＤＲ画像のフーリエ変換画像に視覚の空間周波数応答特性を乗算したＶＴＦフィルタリング画像ＶＴＦＲＥＦ、ＶＴＦＨＤＲ１、ＶＴＦＨＤＲ２である。視覚の応答特性が高い空間周波数である４〜５ｃｙｃｌｅｓ／ｄｅｇｒｅｅの周波数帯域で画素値が高くなっている。生成したＶＴＦフィルタリング画像ＶＴＦＲＥＦ、ＶＴＦＨＤＲ１、ＶＴＦＨＤＲ２は所定の記憶領域に記憶する。ステップＳ８０４では、劣化値算出部４０４が、ＶＴＦフィルタリング画像ＶＴＦＲＥＦ、ＶＴＦＨＤＲ１、ＶＴＦＨＤＲ２から、以下の式（４）に従い、パワースペクトル差分値の総和Ｓを算出する。
【００２７】
【数４】
2019047428.tif 000006
【００２８】
算出したパワースペクトル差分値の総和Ｓは所定の記憶領域に記憶する。ステップＳ８０５では、劣化値算出部４０４が、以下の式（５）に従い、パワースペクトル差分値の総和Ｓを規格化する。
【００２９】
【数５】
2019047428.tif 000007
【００３０】
規格化したパワースペクトル差分値の総和Ｓｎｏｒｍは所定の記憶領域に記憶する。
【００３１】
ステップＳ８０６において劣化値算出部４０４は、ステップＳ８０２で生成したフーリエ変換画像ＦＦＴＨＤＲが、基準画像と基準画像よりも後に撮像した露光時間が短い画像をＨＤＲ合成した第一のＨＤＲ画像であるかを判定する。第一のＨＤＲ画像である場合は、ＨＤＲ画像内の被写体１０２上に動き方向と逆向きの動きブレが生じないと判定し、処理を終了する。第一のＨＤＲ画像でない場合は、フーリエ変換画像ＦＦＴＨＤＲが、基準画像の撮像と基準画像よりも前に撮像した露光時間が短い画像をＨＤＲ合成した第二のＨＤＲ画像であると判定し、ステップＳ８０９へ移行する。ステップＳ８０８において劣化値算出部４０４は、輝度リニアのＨＤＲ画像は被写体１０２上に動き方向と逆向きの動きブレが生じると判定し、以下の式（６）に従い、規格化したパワースペクトル差分値の総和Ｓｎｏｒｍをｋ（ｋ＞１）倍する。
【００３２】
【数６】
2019047428.tif 000008
【００３３】
本実施形態ではｋ＝５とする。ｋ倍及び規格化したパワースペクトル差分値の総和Ｓ’ｎｏｒｍは所定の記憶領域に記憶し、処理を終了する。
【００３４】
図１２は図６、図７に示すＨＤＲ画像１、ＨＤＲ画像２について算出した劣化値である。本実施形態では、ＨＤＲ画像２に生じた不自然な動きブレよりも、ＨＤＲ画像１に生じた二重像の方が画質劣化として知覚される。そこで選択部４０４は、劣化値が低いＨＤＲ画像２の方を出力画像として選択している。
【００３５】
時分割撮像した画像に対して以上説明した画像処理を行うことにより、ＨＤＲ画像に生じる被写体１０２の二重像と不自然な動きブレによる画質劣化の内、より知覚される画質劣化を低減したフレーム画像の組み合わせで合成した画像をＨＤＲ画像に選択できる。
【００３６】
本実施形態では、フーリエ変換を用いて基準画像やＨＤＲ画像の空間周波数応答特性を算出したが、ウェーブレット変換を用いても良く、特に空間周波数応答特性の算出方法を限定するものではない。また、公知のＤｏｏｌｅｙの近似式から視覚の空間周波数応答特性を算出したが、特定のモデルの空間周波数応答特性に限定されるものではなく、公知のＫｅｌｌｙの近似式など、他の視覚の空間周波数応答特性や実測データ等を用いてもよい。本実施形態では、所定の重み付け係数ｋを用いて劣化値を算出しているが、図１３に示すように、ＵＩ上のスライドバーでユーザーが手動設定しても良い。
【００３７】
＜第２実施形態＞
第１実施形態では、ＨＤＲ合成に用いるフレーム画像の組み合わせの内、少なくとも１つの組み合わせでは被写体上に二重像が発生しない場合について、画質劣化を低減したＨＤＲ画像を選択する方法について説明した。本実施形態では、２つの画像間において被写体の移動速度が速く、ＨＤＲ合成に用いるフレームの全ての組み合わせで被写体上に二重像が生じる場合について、画質劣化を低減したＨＤＲ画像を選択する方法について説明する。
【００３８】
本実施形態の画像処理の流れは、ステップＳ１４０１、Ｓ１４０２以外は実施形態１で図５を用いて説明した内容と同じである。以下、図１４を用いて本実施形態における画像処理の詳細を説明する。図１５（ａ）、（ｂ）はステップＳ５０４、Ｓ５０５で合成したＨＤＲ画像１、ＨＤＲ画像２である。幅Δの被写体１０２が高速で移動する場合、撮像画像ｉ−１、ｉ間の位置ずれ量ｖ×（ＴＦＰＳ−０．５×（ＴＬ−ＴＳ））／ＴＦＰＳ（ｐｉｘｅｌ）＞Δを満たすため、ＨＤＲ画像１には被写体１０２が分離した二重像が発生している。同様に、撮像画像ｉ、ｉ＋１番目のフレーム間の位置ずれ量ｖ×（ＴＦＰＳ＋０．５×（ＴＬ−ＴＳ））／ＴＦＰＳ（ｐｉｘｅｌ）＞Δを満たすため、ＨＤＲ画像２には被写体１０２が分離した二重像が発生している。更に、ＨＤＲ画像２は、短い露光時間ＴＳ、長い露光時間ＴＬの順に撮像した画像を合成しているため、移動方向の先端である被写体１０２右側に不自然な動きブレが生じている。被写体１０２の移動速度が速く、大きく分離した二重像が合成される場合、二重像の分離した距離が異なっていても空間周波数特性はほぼ等しくなる。その結果図１６（ａ）、（ｂ）に示すように、ステップＳ５０６、Ｓ５０７で生成したＨＤＲ画像１、ＨＤＲ画像２のフーリエ変換画像はほぼ同じ画素値を有する画像となる。従って、被写体１０２の移動速度が速い場合は、分離した距離の違いに関わらず重み付け係数ｋの分だけＨＤＲ画像２の方の劣化値が大きくなり、劣化値の算出精度が低下する。
【００３９】
ステップＳ１４０１では、選択部４０５は、同じ露光時間により撮像されたｉ−１番目のフレームとｉ＋１番目のフレームに対して、公知のテンプレートマッチングやＳＩＦＴ法を用いてフレーム間の被写体１０２上の対応点を検出する。検出した対応点に基づいて、ｉ−１番目のフレームとｉ＋１番目のフレームにおける被写体１０２の移動量Ｐを算出する。算出した移動量Ｐは所定の記憶領域に記憶する。ステップＳ１４０２において選択部４０５は、ステップＳ１４０１で算出した移動量Ｐに対して、Ｐ＜Ｐｔｈを満たすか判定する。Ｐ＜Ｐｔｈを満たす場合は、被写体１０２移動速度が小さく、ＨＤＲ合成画像の被写体１０２上に二重像または不自然な動きブレのいずれか一方が生じると判定し、ステップＳ５０８へ移行する。Ｐ＜Ｐｔｈを満たさない場合は、被写体１０２の移動速度が大きく、ＨＤＲ合成画像の被写体１０２上に二重像と不自然な動きブレの両方が生じると判定し、ステップＳ５１０へ移行する。
【００４０】
被写体の移動量を算出し、移動量が大きい場合は、撮像した時間間隔が短い撮像画像の組み合わせで合成したＨＤＲ画像を選択することにより、被写体の移動速度が速い場合でも、画質劣化を低減したＨＤＲ画像を選択することができる。
【００４１】
なお本実施形態では、被写体の移動量が所定の閾値より大きいと判定した場合に、撮像した時間間隔が短い撮像画像の組み合わせで合成したＨＤＲ画像を選択しているが、特に選択方法を限定するものではない。例えば、移動量に応じて劣化値が増減するルックアップテーブルを予め作成しておき、算出した移動量に対応した劣化値をルックアップテーブルから参照することにより、ＨＤＲ画像を選択しても良い。
【００４２】
＜第３実施形態＞
前述の実施形態では、ＨＤＲ合成に用いるフレームの全ての組み合わせで劣化値を算出できる場合について、画質劣化を低減したＨＤＲ画像を選択する方法について説明した。本実施形態では、ＨＤＲ合成に用いるフレーム画像の組み合わせの内、少なくとも１つの組み合わせにおいて劣化値を算出できない場合に、予め決めておいたフレーム画像の組み合わせで合成したＨＤＲ画像を選択する方法について説明する。
【００４３】
図１７は本実施形態において異なる複数の露光時間で時分割撮像した各フレームである。本実施形態では被写体１０２がフレームにおける右端付近を右側に移動している。そのため、図１７（ａ）、（ｂ）のｉ−１番目のフレームとｉ番目のフレームでは被写体１０２が写っているが、図１７（ｃ）のｉ＋１番目のフレームでは被写体１０２は写っていない。
【００４４】
本実施形態の画像処理の流れは、ステップＳ１８０１、Ｓ１８０２以外は実施形態１で図５を用いて説明した内容と同じである。以下、図１８を用いて本実施形態における画像処理の詳細を説明する。ステップＳ１８０１において選択部４０５は、ステップＳ５０６、Ｓ５０７で算出した劣化値Ｅ１、Ｅ２とから、予め所定の記憶領域に記憶しておいた、図１９に示すルックアップテーブルと以下の式（７）に従い、劣化値の信頼度Ｗを導出する。
【００４５】
【数７】
2019047428.tif 000009
【００４６】
ｗ１、ｗ２はそれぞれ図１９に示すルックアップテーブルに従い算出した、劣化値Ｅ１、Ｅ２に対する信頼度である。算出した信頼度Ｗは所定の記憶領域に記憶する。ステップＳ１８０２において選択部４０５は、ステップＳ１８０１で算出した信頼度Ｗに対して、Ｗ＞Ｗｔｈを満たすか判定する。Ｗ＞Ｗｔｈを満たす場合は、ＨＤＲ合成に用いるフレーム画像の全ての組み合わせで劣化値が算出できていると判定し、ステップＳ５０８へ移行する。Ｗ＞Ｗｔｈを満たさない場合は、ＨＤＲ合成に用いるフレーム画像の組み合わせの内、少なくとも１つの組み合わせで劣化値の算出に失敗していると判定し、ステップＳ５１０へ移行する。
【００４７】
劣化値の信頼度を算出し、信頼度が所定の閾値より低い場合は予め決めておいたフレーム画像の組み合わせで合成したＨＤＲ画像を選択することにより、劣化値の算出に失敗する場合でもＨＤＲ画像を選択することができる。
【００４８】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４９】
４０１  撮像画像入力部
４０２  露光設定入力部
４０３  合成部
４０４  劣化値算出部
４０５  選択部
【図１】
2019047428.tif 000010
【図２】
2019047428.tif 000011
【図３】
2019047428.tif 000012
【図４】
2019047428.tif 000013
【図５】
2019047428.tif 000014
【図６】
2019047428.tif 000015
【図７】
2019047428.tif 000016
【図８】
2019047428.tif 000017
【図９】
2019047428.tif 000018
【図１０】
2019047428.tif 000019
【図１１】
2019047428.tif 000020
【図１２】
2019047428.tif 000021
【図１３】
2019047428.tif 000022
【図１４】
2019047428.tif 000023
【図１５】
2019047428.tif 000024
【図１６】
2019047428.tif 000025
【図１７】
2019047428.tif 000026
【図１８】
2019047428.tif 000027
【図１９】
2019047428.tif 000028