(57)【要約】【課題】合成対象画像間に視差などによる位置ずれがある場合に発生する画質劣化を抑制するとともに、自然な（違和感のない）合成画像の生成を可能にする。【解決手段】合成比率決定部（１）は、第１の画像（Ｄ１）及び第２の画像（Ｄ２）の少なくとも一方の画素値に基づいて画素毎に合成比率（Ｍ１）を決定する。統計フィルタ（２）は、各画素について当該画素の近傍領域内の画素についての合成比率（Ｍ１）を重み付けした結果の最大値又は最小値を抽出することで平滑化合成比率（Ｍ２）を生成する。合成部（３）は、平滑化合成比率（Ｍ２）に応じて第１の画像（Ｄ１）と第２の画像（Ｄ２）を重み付けして加算し、合成画像（Ｄ３）を出力する。【選択図】図１
2018201137.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体を表す第１及び第２の画像を合成して合成画像を出力する画像合成装置であって、
前記第１の画像及び前記第２の画像の少なくとも一方の画素値に応じて画素毎に合成比率を決定して出力する合成比率決定部と、
各画素について当該画素の近傍領域内の画素についての前記合成比率を重み付けした結果の中から一つの値を抽出することで前記各画素についての平滑化合成比率を生成する統計フィルタと、
前記平滑化合成比率に応じて前記第１の画像と前記第２の画像を画素毎に重み付けして加算する合成部と
を備えたことを特徴とする画像合成装置。
【請求項２】
前記統計フィルタは、各画素についての前記平滑化合成比率を生成する際の重み付けにおいて、当該画素により近い画素についての前記合成比率により大きい重みを付けることを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記統計フィルタは、各画素について当該画素の近傍領域内の画素についての前記合成比率を重み付けした結果の最大値を抽出して前記平滑化合成比率として出力する最大値フィルタであることを特徴とする請求項１又は２に記載の画像合成装置。
【請求項４】
前記統計フィルタは、各画素について当該画素の近傍領域内の画素についての前記合成比率を重み付けした結果の最小値を抽出して前記平滑化合成比率として出力する最小値フィルタであることを特徴とする請求項１又は２に記載の画像合成装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像合成装置と、
互いに異なる露光条件で撮像を行うことで得られた短露光時間画像と長露光時間画像とを正規化し、正規化の結果得られる画像を前記第１の画像及び前記第２の画像として出力する第１及び第２のレベル正規化部と
を備えた画像処理装置であって、
前記第１及び第２のレベル正規化部は、被写体の同一部分について前記第１の画像及び前記第２の画像の画素値が互いに略同じになるように正規化を行い、
前記合成比率決定部は、
前記第１の画像及び前記第２の画像の少なくとも一方から被写体の輝度に相当する値である輝度参照値を算出する輝度算出部と、
前記輝度参照値に応じて前記合成比率を定める合成比率算出部と
を備えたことを特徴とする画像処理装置。
【請求項６】
前記合成比率算出部は、
前記輝度参照値が小さいほど前記合成比率をより小さくし、
前記輝度参照値が大きいほど前記合成比率をより大きくし、かつ、
前記輝度参照値が前記第２の画像において飽和している画素の輝度以上となる場合は前記合成比率を１にする
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記合成部は、前記加算における重み付けにおいて、前記平滑化合成比率が大きいほど前記第１の画像に対する重み付けをより大きくし、前記第２の画像に対する重み付けをより小さくすることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
請求項１から４のいずれか１項に記載の画像合成装置と、
前記第１の画像のぼけ及びぶれを補正して補正画像を前記第２の画像として出力するデコンボリューション処理部と
を備えた画像処理装置であって、
前記合成比率決定部は、
前記第１の画像の画素値に対する閾値処理により飽和している画素を検出する飽和画素検出部と、
前記飽和画素検出部の検出結果に応じて前記合成比率を決定する合成比率算出部と
を備えたことを特徴とする画像処理装置。
【請求項９】
前記合成比率算出部は、
前記第１の画像において飽和している画素については前記合成比率を１にし、
そうでない画素については前記合成比率を０にする
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記合成部は、前記加算における重み付けにおいて、前記平滑化合成比率が大きいほど前記第１の画像に対する重み付けをより大きくし、前記第２の画像に対する重み付けをより小さくすることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
同一の被写体を表す第１及び第２の画像を合成して合成画像を出力する画像合成方法であって、
前記第１の画像及び前記第２の画像の少なくとも一方の画素値に応じて画素毎に合成比率を決定し、
各画素について当該画素の近傍領域内の画素についての前記合成比率を重み付けした結果の中から一つの値を抽出することで前記各画素についての平滑化合成比率を生成し、
前記平滑化合成比率に応じて前記第１の画像と前記第２の画像を画素毎に重み付けして加算する
ことを特徴とする画像合成方法。
【請求項１２】
請求項１１に記載の画像合成方法における処理をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置及び画像合成方法並びに画像処理装置に関する。本発明は、とくに、同一の被写体を表す、性質の異なる複数の画像を合成して、各画像の利点をあわせもつ１枚の画像を生成する画像合成処理に関する。本発明は、例えば、露光時間が異なる複数の画像を合成して、ダイナミックレンジの広い画像を生成するハイダイナミックレンジ合成処理に関する。本発明はまた、上記の画像合成装置又は画像合成方法における処理をコンピュータに実行させるためのプログラム、及びそのようなプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
一般的な撮像装置では、一回の撮像で取得することのできる明るさの範囲（ダイナミックレンジ）が限られている。そのため、暗部と明部が共に含まれるシーンにおいては、撮像画像に黒つぶれや白とびが発生する。露光時間を短くした場合には、明部では白とびを抑えられるが、暗部で黒つぶれして視認性が低下した画像となる。一方、露光時間を長くした場合には、暗部では視認性が向上するが、明部で白とびしてディテールが失われた画像となる。
【０００３】
そこで、露光時間が異なる複数の画像を合成してダイナミックレンジの広い画像を生成するハイダイナミックレンジ（ＨＤＲ）合成技術がある。例えば、特許文献１では、同一シーンにおいて短露光時間画像と長露光時間画像を取得し、これら二つの画像の輝度値に応じて合成比率を画素毎に決定し、決定した合成比率に基づいて二つの画像を合成する。暗部では長露光時間画像の合成比率が大きくなるように、明部では短露光時間画像の合成比率が大きくなるようにする。
【０００４】
このような画像合成処理では、二画像の切り替わり部分で合成画像が不自然とならないようにする工夫や、二画像間に位置ずれがある場合に二重像などの画質劣化を発生させないようにする工夫が必要である。
【０００５】
特許文献２では、第１の画像信号と第２の画像信号から生成した輝度信号を平滑化することで得られる明るさ指標値から合成比率を算出することによって、合成比率の急激な変化を抑制し、エッジ部分の階調が不自然になることを抑制している。
【０００６】
特許文献３では、明るい方の画像を基準画像とし、基準画像の階調から基準画像の画素値よりも小さい閾値を定め、合成画像の階調が閾値を下回る場合は合成画像の階調が基準画像の階調に近くなるように補正して合成することによって、位置ずれを補正することなく位置ずれに起因する画質の劣化を抑制している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−７１４０８号公報
【特許文献２】国際公開第２０１５／０７９４８１号（段落００１５、００２３、図２）
【特許文献３】特開２０１４−１３５７０２号公報（段落００５５〜００８８、図９）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記の従来の画像合成処理には以下の問題があった。即ち、合成対象画像間に視差がある場合、異なる奥行き距離にある被写体間の境界、すなわち、奥行きエッジで位置ずれが発生する。このような場合、特許文献２のように平滑化を行う方法では、エッジをまたいで二画像の切り替えが行われる（エッジの一方の側と他方の側とで異なる画像が採用されるように切り替えが行われる）ため、エッジ部分が二重像の影響を受けやすい。このような奥行きエッジは、明暗のコントラストが高い場合が多く、合成により二重像が発生すると、一層目立つ。
視差以外の要因で二画像間に位置ずれがある場合にも同様の問題がある。
【０００９】
また、特許文献３のように閾値に基づき判定する方法では、位置ずれ以外の要因による階調差に反応しないようにするために閾値を十分に大きくする必要があり、そのため、位置ずれによる影響を抑制する効果が不十分になることがある。さらに、閾値に基づく判定及び補正をする処理を画素毎に行っているため、局所的に閾値以上となったり、閾値未満となったりする部分があると、補正を行う画素と行わない画素とが入り混じり画像が不自然になる場合がある。
【００１０】
本発明は上記の課題を解決するためになされたものであり、合成対象画像間に位置ずれがある場合などに発生する画質劣化を抑制するとともに、自然な合成画像を生成することができる画像合成装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る画像合成装置は、
同一の被写体を表す第１及び第２の画像を合成して合成画像を出力する画像合成装置であって、
前記第１の画像及び前記第２の画像の少なくとも一方の画素値に応じて画素毎に合成比率を決定して出力する合成比率決定部と、
各画素について当該画素の近傍領域内の画素についての前記合成比率を重み付けした結果の中から一つの値を抽出することで前記各画素についての平滑化合成比率を生成する統計フィルタと、
前記平滑化合成比率に応じて前記第１の画像と前記第２の画像を画素毎に重み付けして加算する合成部と
を備えたことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、二画像の切り替わり部分がエッジをまたがないため、合成対象画像間に位置ずれがあっても、二重像などの画質劣化を抑えることができる。また、二画像の合成比率を滑らかに変化させることができるので、二画像の切り替わり部分が自然な合成画像を生成することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る画像合成装置の基本構成を示すブロック図である。
【図２】本発明の実施の形態１に係る画像処理装置を、撮像装置とともに示すブロック図である。
【図３】図２の第１及び第２のレベル正規化部の動作を示すグラフである。
【図４】図２の合成比率算出部で輝度参照値に応じて算出される合成比率を示すグラフである。
【図５】（ａ）〜（ｃ）は、線形フィルタの動作を示す図である。
【図６】（ａ）〜（ｃ）は、図２の最大値フィルタの動作を示す図である。
【図７】（ａ）〜（ｈ）は、実施の形態１に係る画像合成装置の効果を説明図である。
【図８】本発明の実施の形態２に係る画像処理装置を、撮像装置とともに示すブロック図である。
【図９】図２の画像処理装置における処理を実行するコンピュータシステムを示すブロック図である。
【図１０】図８の画像処理装置における処理を実行するコンピュータシステムを示すブロック図である。
【発明を実施するための形態】
【００１４】
図１は本発明に係る画像合成装置の基本構成を示すブロック図である。
図１に示される画像合成装置１０は、同一の被写体を表す、第１の画像Ｄ１と第２の画像Ｄ２を合成して合成画像Ｄ３を出力するものであって、合成比率決定部１と、統計フィルタ２と、合成部３とを有する。
【００１５】
合成比率決定部１は、第１の画像Ｄ１及び第２の画像Ｄ２の少なくとも一方の画素値に応じて画素毎に合成比率Ｍ１を決定して出力する。
【００１６】
統計フィルタ２は、各画素について当該画素の近傍領域内の画素についての合成比率Ｍ１を重み付けした結果の中から一つの値を抽出することで平滑化合成比率Ｍ２を生成する。
画像の個々の画素についての合成比率Ｍ１を、それぞれ対応する画素の位置に配列することで得られる合成比率の集合を合成比率マップと言い、画像の個々の画素についての平滑化合成比率Ｍ２を、それぞれ対応する画素の位置に配列することで得られる平滑化合成比率Ｍ２の集合を平滑化合成比率マップと言う。
【００１７】
合成部３は、平滑化合成比率Ｍ２に応じて第１の画像Ｄ１と第２の画像Ｄ２を重み付けして加算する。重み付け加算で用いられる重み付け係数は、平滑化合成比率Ｍ２によって定められる。例えば、第１の画像Ｄ１の画素値に対する重み付け係数αが平滑化合成比率Ｍ２に等しい値とされ、第２の画像Ｄ２の画素値に対する重み付け係数βが１から平滑化合成比率Ｍ２を引いた値（１−Ｍ２）に等しい値とされる。
【００１８】
統計フィルタ２は例えば最大値フィルタ又は最小値フィルタである。最大値フィルタは、各画素について当該画素の近傍領域内の画素についての合成比率Ｍ１を重み付けした結果の最大値を抽出する。最小値フィルタは、各画素について当該画素の近傍領域内の画素についての合成比率Ｍ１を重み付けした結果の最小値を抽出する。
各画素の近傍領域は、例えば当該画素を中心とする矩形の領域である。
各画素についての平滑化合成比率Ｍ２を生成する際の重み付けにおいては、当該画素により近い画素についての合成比率Ｍ１に、より大きい重みが付けられる。
【００１９】
合成比率決定部１における合成比率Ｍ１の決定及び統計フィルタ２における平滑化合成比率Ｍ２の生成は画素毎の処理であり、合成比率Ｍ１及び平滑化合成比率Ｍ２は画素毎に生成される。各画素の位置（画像内に位置を表す座標）をｘで表し、各画素の合成比率Ｍ１及び平滑化合成比率Ｍ２を、それぞれＭ１（ｘ）及びＭ２（ｘ）で表す。同様に、合成部３における合成は、画素毎の処理であり、画像Ｄ１及びＤ２の各画素の画素値をＤ１（ｘ）及びＤ２（ｘ）で表し、合成画像Ｄ３の各画素の画素値をＤ３（ｘ）で表す。
【００２０】
実施の形態１．
図２は本発明の実施の形態１に係る画像処理装置を撮像装置とともに示すブロック図である。図２に示される画像処理装置は、図１に示される画像合成装置をＨＤＲ合成処理に適用したものである。即ち、図２の画像処理装置は、図１の画像合成装置１０の具体的な形態である画像合成装置１０ａと、第１及び第２のレベル正規化部１１及び１２とを有し、撮像装置１４ａからの画像Ｄ１１及びＤ１２を受ける。
【００２１】
図２に示される撮像装置１４ａは、同一の被写体を２つの互いに異なる露光条件、例えば、異なる露光時間で撮像し、短露光時間画像Ｄ１１及び長露光時間画像Ｄ１２を出力する。
例えば、短露光時間画像Ｄ１１は、より短い露光時間での撮像で得られた画像であり、長露光時間画像Ｄ１２は、より長い露光時間での撮像で得られた画像である。
【００２２】
撮像装置１４ａは、例えば、露光時間を個別に設定可能な複数のセンサを搭載したものであり、複数のセンサの露光時間を異ならせ、略同じ時刻に同一の被写体を撮像することで短露光時間画像Ｄ１１及び長露光時間画像Ｄ１２を出力する。複数のセンサは、光学系を共有していてもよいし、センサ毎に別個の光学系を有してもよい。いずれの場合にも、複数のセンサ間で光軸が異なっており、その結果、短露光時間画像Ｄ１１と長露光時間画像Ｄ１２は視差による位置ずれを有する。視差による位置ずれはセンサ間の隔たりと、撮像装置１４ａから被写体までの奥行き距離とに依存する。
【００２３】
短露光時間画像Ｄ１１及び長露光時間画像Ｄ１２を撮像する撮像装置１４ａは、上記の構成に限定されるものではない。例えば、同一の光学系を有する単一のセンサで、異なる露光時間の画像対を、相前後して即ち時分割で撮像する装置であってもよい。この場合にも、撮像装置１４ａが移動している場合には、異なる露光時間の画像を撮像する際の撮像装置１４ａの位置が異なることになるため、上記と同様の視差が発生し得る。以上のように、実施の形態１に係る画像処理装置は、同一の被写体を異なる露光時間で撮像した二枚の画像を入力とするものであって、この二枚の画像が視差による位置ずれを有する場合を想定する。
但し、本発明は、視差以外の要因によって画像間に位置ずれがある場合、例えば被写体の動きによって位置ずれがある場合にも有効に作用する。
【００２４】
第１及び第２のレベル正規化部１１及び１２は、撮像装置１４ａから短露光時間画像Ｄ１１及び長露光時間画像Ｄ１２を受け、短露光時間画像Ｄ１１及び長露光時間画像Ｄ１２の画素値Ｄ１１（ｘ）及びＤ１２（ｘ）を正規化して、正規化後の画素値Ｄ１（ｘ）及びＤ２（ｘ）から成る画像をそれぞれ第１の画像Ｄ１及び第２の画像Ｄ２として出力する。レベル正規化部１１及び１２は、被写体の同一部分についての正規化後の画素値Ｄ１（ｘ）及びＤ２（ｘ）が互いに略同じになるように正規化を行う。正規化は、例えば、短露光時間画像Ｄ１１及び長露光時間画像Ｄ１２を撮像した撮像装置１４ａにおける受光素子の感度、アナログゲイン、露光時間等の情報を使って、各画像の画素値を被写体の対応する部分の放射輝度に相当する値に変換することによって行われる。
【００２５】
このような正規化は例えば、受光素子の感度、アナログゲイン、露光時間等を考慮に入れた総合ゲイン（画像Ｄ１１及びＤ１２を生成するまでの総合ゲイン）に基づいて行うことができる。例えば、長露光時間画像Ｄ１２の総合ゲインが短露光時間画像Ｄ１１の総合ゲインのＦｃ倍であれば、短露光時間画像Ｄ１１の画素値Ｄ１１（ｘ）をＦｃ／Ｆｄ倍し、長露光時間画像Ｄ１２の画素値Ｄ１２（ｘ）を１／Ｆｄ倍することで正規化を行うことができる。ここで、Ｆｄは予め定められた調整値である。一例としてＦｃ＝４、Ｆｄ＝２の場合について正規化前の画素値Ｄ１１（ｘ）及びＤ１２（ｘ）と、正規化後の画素値Ｄ１（ｘ）及びＤ２（ｘ）を図３に示す。図３で横軸は、被写体の放射輝度である。
【００２６】
長露光時間画像Ｄ１２の総合ゲインは、短露光時間画像Ｄ１１の総合ゲインのＦｃ倍であるので、短露光時間画像Ｄ１１の画素値Ｄ１１（ｘ）が飽和する放射輝度Ｙａの１／Ｆｃの放射輝度Ｙｂ（＝Ｙａ／Ｆｃ）で、長露光時間画像Ｄ１２の画素値Ｄ１２（ｘ）が飽和する。ここで飽和するとは、画素値が、取り得る値の範囲の上限値（８ビットであれば２５５）に達することをいう。正規化の結果得られる画像Ｄ２においても、飽和の影響が残り、該放射輝度Ｙｂ以上の範囲では、正規化の結果得られる画像Ｄ２の画素値Ｄ２（ｘ）は一定の値となる。正規化前の画像の飽和により正規化後の画像が一定の値に制限されていることを、正規化後の画像についての飽和と言う。
【００２７】
上記の正規化を行うため、レベル正規化部１１には、撮像装置１４ａから総合ゲインの比Ｆｃを示す情報が供給される。一方、調整値Ｆｄを示す情報は、レベル正規化部１１及び１２内に予め記憶されている。
なお、Ｆｄ＝１であるのが正規化の計算が容易であるので望ましいが、Ｆｄ＝１でなくても良い。
なおまた、正規化の結果得られる画像Ｄ１及びＤ２の画素値Ｄ１（ｘ）及びＤ２（ｘ）は、正規化によって階調が落ちないようにするため、ビット数を拡張したデータ、或いは実数型のデータで表されるのが望ましい。
【００２８】
このように、正規化後のデータがビット数を拡張したデータである場合、合成部３でもそのようなデータを用いて合成を行い、合成部３から出力される合成画像も同様のデータで表される。その場合、合成部３の出力側に正規化解除部（図示しない）を設け、該正規化解除部で、データを元のビット数のデータ（レベル正規化部に入力されたデータと同じビット数のデータ）に戻す処理を行うこととしても良い。
【００２９】
実施の形態１では、図１の合成比率決定部１の具体例として、合成比率決定部１ａが設けられ、図１の統計フィルタ２の具体例として、最大値フィルタ２ａが設けられている。
【００３０】
合成比率決定部１ａは、第１の画像Ｄ１の画素値と総合ゲインの比Ｆｃとに基づいて画素毎に合成比率Ｍ１を決定して出力する。合成比率決定部１ａは、輝度算出部１０１と合成比率算出部１０２とを有する。
【００３１】
輝度算出部１０１は、第１の画像Ｄ１から被写体の輝度に相当する値である輝度参照値Ｄ１０１を算出する。輝度算出部１０１は、第１の画像Ｄ１がカラー画像である場合には、カラー画像の各成分（ＲＧＢ等）から輝度値に相当する成分を抽出し、輝度参照値として出力する。輝度参照値Ｄ１０１は、例えば８ビットで表され、短露光時間画像Ｄ１１の画素値Ｄ１１（ｘ）が飽和するとき、輝度参照値Ｄ１０１はその上限値である２５５となる。短露光時間画像Ｄ１１がモノクロ画像であり、レベル正規化部１１による正規化が輝度参照値への変換を含む場合は、輝度算出部１０１を省略してもよい。
【００３２】
合成比率算出部１０２は、輝度参照値Ｄ１０１と総合ゲインの比Ｆｃとに応じて、合成比率Ｍ１を算出する。合成比率算出部１０２は、輝度参照値Ｄ１０１が小さい（被写体が暗い）ほどより小さくなり、輝度参照値Ｄ１０１が大きい（被写体が明るい）ほどより大きくなるように合成比率Ｍ１を算出する。
【００３３】
次式（１）は、輝度参照値Ｄ１０１に応じた合成比率Ｍ１の算出例を示す。
【数１】
2018201137.tif 000003
式（１）でＴＨｂｒｉｇｈｔ及びＴＨｄａｒｋは閾値である。
閾値ＴＨｂｒｉｇｈｔは、後述のように、総合ゲインの比Ｆｃに基づいて定められる。
閾値ＴＨｄａｒｋは、後述のようにノイズのレベルに基づいて定められる。
【００３４】
図４に、横軸に輝度参照値Ｄ１０１、縦軸に合成比率Ｍ１をとったグラフを示す。式（１）及び図４に示す例では、
輝度参照値Ｄ１０１が閾値ＴＨｂｒｉｇｈｔ以上では、合成比率Ｍ１が１となり、
輝度参照値Ｄ１０１が閾値ＴＨｄａｒｋ以下では、合成比率Ｍ１が０となり、
輝度参照値Ｄ１０１が閾値ＴＨｄａｒｋよりも大きく閾値ＴＨｂｒｉｇｈｔよりも小さい範囲では、合成比率Ｍ１が輝度参照値Ｄ１０１に応じて徐々に増加する。
【００３５】
後述のように、合成比率Ｍ１に対してフィルタリングを施すことで、平滑化合成比率Ｍ２が得られ、平滑化合成比率Ｍ２が大きいほど、第１の画像に対する重み付けがより大きくなり、第２の画像に対する重み付けがより小さくなる。従って、合成比率Ｍ１は、画像の合成における重み付けを（間接的に）定めるものであると言える。
【００３６】
すなわち、最大値フィルタ２ａによる平滑化を無視すれば、合成比率Ｍ１が１となると、第１の画像Ｄ１に対する重み付け係数αが１、第２の画像Ｄ２に対する重み付け係数βが０となり、合成比率Ｍ１が０となると、第１の画像Ｄ１に対する重み付け係数αが０、第２の画像Ｄ２に対する重み付け係数βが１となる。
【００３７】
従って、輝度参照値Ｄ１０１が閾値ＴＨｂｒｉｇｈｔ以上の明るい被写体部分では、合成比率Ｍ１が１となって、短露光時間画像Ｄ１１に由来する第１の画像Ｄ１が採用され、輝度参照値Ｄ１０１が閾値ＴＨｄａｒｋ以下の暗い被写体部分では、合成比率Ｍ１が０となって、長露光時間画像Ｄ１２に由来する第２の画像Ｄ２が採用され、輝度参照値Ｄ１０１が閾値ＴＨｄａｒｋよりも大きく閾値ＴＨｂｒｉｇｈｔよりも小さい範囲である、中間の明るさの被写体部分では、合成比率Ｍ１が０よりも大きく１よりも小さくなって、短露光時間画像Ｄ１１に由来する第１の画像Ｄ１と長露光時間画像Ｄ１２に由来する第２の画像Ｄ２とがブレンドされる。
【００３８】
閾値ＴＨｂｒｉｇｈｔは、第２の画像Ｄ２の画素値が飽和しているか否かの判断に用いられる閾値であり、当該輝度参照値Ｄ１０１が当該閾値以上であれば、第２の画像Ｄ２の画素値は飽和していると判断される。閾値ＴＨｂｒｉｇｈｔは、「飽和閾値」と呼ばれるものである。輝度参照値Ｄ１０１が飽和閾値ＴＨｂｒｉｇｈｔ以上となる場合には合成比率Ｍ１が１とされる。
【００３９】
例えば、長露光時間画像Ｄ１２の総合ゲインが短露光時間画像Ｄ１１の総合ゲインのＦｃ倍であれば、短露光時間画像Ｄ１１の画素値Ｄ１１（ｘ）が飽和する（上限値に達する）ときの輝度参照値Ｄ１０１の１／Ｆｃ又はこれより若干小さい値を飽和閾値ＴＨｂｒｉｇｈｔとすることができる。例えば、短露光時間画像Ｄ１１の画素値Ｄ１１（ｘ）が飽和するときの輝度参照値Ｄ１０１の１／Ｆｃの９５％以上１００％以下の値を、飽和閾値ＴＨｂｒｉｇｈｔとして設定する。以下では、短露光時間画像Ｄ１１の画素値Ｄ１１（ｘ）が飽和するときの輝度参照値Ｄ１０１の１／Ｆｃに等しい値が、飽和閾値ＴＨｂｒｉｇｈｔとして設定されているものとする。
【００４０】
閾値ＴＨｄａｒｋは、閾値ＴＨｂｒｉｇｈｔよりも小さい値で、かつ、短露光時間画像Ｄ１１において黒つぶれしている部分の画素値に対応する輝度参照値Ｄ１０１よりも十分に大きな値となるように定められる。例えば、画像に含まれるノイズのレベルに等しい値を黒つぶれしている部分の画素値Idarkとして特定し、黒つぶれしている部分の画素値に対応する輝度参照値D101（すなわち、Fc／Fd×Idark）と閾値THbrightの中間の値を閾値ＴＨｄａｒｋとする。ノイズのレベルとしては、照明条件等の使用環境に応じて予め想定される値を用いても良い。また、撮像された画像から測定することで得られるノイズのレベルを表す値を用いても良い。
【００４１】
閾値ＴＨｄａｒｋを閾値ＴＨｂｒｉｇｈｔに近づけて大きい値にすると、短露光時間画像Ｄ１１と長露光時間画像Ｄ１２がブレンドされる領域が減少するので二重像が発生しにくくなる。一方、レベル正規化部による輝度合わせの精度が十分でない場合に、短露光時間画像Ｄ１１と長露光時間画像Ｄ１２が急に切り替わって階調が不連続となって切り替わり部分で合成画像が不自然となる場合がある。
【００４２】
閾値ＴＨｄａｒｋを閾値ＴＨｂｒｉｇｈｔから遠ざけて小さい値にすることで、短露光時間画像Ｄ１１と長露光時間画像Ｄ１２がブレンドされる領域が増加させることで階調が不連続になることを防止できる。本実施の形態においては、レベル正規化部による輝度合わせが十分な精度で行われるものとみなし、かつ、二重像への対策を最大値フィルタ２ａにおいて行っているので、閾値ＴＨｄａｒｋを大きめの値に設定するのが望ましい。
【００４３】
合成比率算出部１０２は、上記のように定められた閾値ＴＨｂｒｉｇｈｔ及びＴＨｄａｒｋを上記の式（１）の計算に用いる。
合成比率決定部１ａは、合成比率算出部１０２で算出された合成比率Ｍ１を出力する。
【００４４】
最大値フィルタ２ａは、各画素について当該画素の近傍領域内の画素についての合成比率を重み付けした結果の最大値を抽出することで平滑化合成比率Ｍ２を生成する。平滑化合成比率Ｍ２も画素毎に生成される。
【００４５】
図５（ａ）〜（ｃ）及び図６（ａ）〜（ｃ）を用いて、図２の最大値フィルタ２ａの動作について説明する。図５（ａ）〜（ｃ）は、比較のため、従来の線形フィルタの動作を示し、図６（ａ）〜（ｃ）は最大値フィルタ２ａの動作を示す。図５（ａ）〜（ｃ）及び図６（ａ）〜（ｃ）では、簡単のために、入出力値及びフィルタ係数を一次元のデータ列として、即ち、一次元に配列された画素についての値であるものとしている。
【００４６】
図５（ａ）及び図６（ａ）に示される入力値は、合成比率Ｍ１を表し、図５（ｃ）及び図６（ｃ）に示される出力値は合成比率Ｍ１を平滑化することで得られる平滑化合成比率Ｍ２ｌｉｎ及びＭ２を表す。合成比率Ｍ１並びに平滑化合成比率Ｍ２ｌｉｎ及びＭ２は、０から１までの範囲内の値であるが、図５（ａ）及び（ｃ）並びに図６（ａ）及び（ｃ）には、合成比率Ｍ１並びに平滑化合成比率Ｍ２ｌｉｎ及びＭ２に１より大きい値、例えば２５６を掛けた数値を示している。
【００４７】
従来の線形フィルタでは、注目画素の近傍領域内の画素についての入力値（合成比率Ｍ１：図５（ａ））をフィルタ係数（図５（ｂ））で乗算したのち、乗算結果の和をとることによって、当該注目画素についてのフィルタの出力値（平滑化合成比率Ｍ２ｌｉｎ：図５（ｃ））を算出する。フィルタ係数（図５（ｂ））は、係数の和が１となるように正規化されている。すなわち、線形フィルタの入出力関係は次式（２）により表わされる。
【数２】
2018201137.tif 000004
【００４８】
式（２）で、ｘは注目画素の位置（座標）、ｋは注目画素の近傍領域内の画素の、注目画素に対する相対位置（注目画素の位置を基準とする局所座標）、Ｍ１（ｋ）は相対位置ｋの画素についての入力値（合成比率）である。合成比率Ｍ１（ｘ）のうち、注目画素近傍の領域内の画素についての合成比率Ｍ１（ｘ）が合成比率Ｍ１（ｋ）として用いられる。Ｍ２ｌｉｎ（ｘ）は線形フィルタの出力値（注目画素についての平滑化合成比率）、ｗ（ｋ）は相対位置ｋの画素についての合成比率Ｍ１（ｋ）に対する重み付けのためのフィルタ係数、Ｎｘは注目画素の近傍領域内の画素の集合を表す。
【００４９】
最大値フィルタ２ａは、注目画素の近傍領域内の画素についての入力値（合成比率Ｍ１：図６（ａ））をフィルタ係数（図６（ｂ））で乗算する点では線形フィルタと同様であるが、乗算結果の最大値を当該注目画素についてのフィルタの出力値（平滑化合成比率Ｍ２：図６（ｃ））として採用する点が線形フィルタと異なる。また、フィルタ係数（図６（ｂ））は、係数の最大値が１となるように正規化されている。すなわち、最大値フィルタ２ａの入出力関係は次式（３）により表わされる。
【数３】
2018201137.tif 000005
【００５０】
式（３）で、ｘは注目画素の位置（座標）、ｋは注目画素の近傍領域内の画素の、注目画素に対する相対位置（注目画素の位置を基準とする局所座標）、Ｍ１（ｘ）は相対位置ｋの画素についての入力値（合成比率）である。合成比率Ｍ１（ｘ）のうち、注目画素近傍の領域内の画素についての合成比率Ｍ１（ｘ）が合成比率Ｍ１（ｋ）として用いられる。Ｍ２（ｘ）は最大値フィルタ２ａの出力値（注目画素についての平滑化合成比率）、ｗ（ｋ）は相対位置ｋの画素についての合成比率Ｍ１（ｋ）に対する重み付けのためのフィルタ係数、Ｎｘは注目画素の近傍領域内の画素の集合を表す。
【００５１】
フィルタ係数ｗ（ｋ）は、例えば、注目画素により近い画素についての合成比率により大きい重みが付けられ、かつ、注目画素からの距離が大きくなるにつれて当該画素についての合成比率に対する重み付けが徐々に小さくなるように定められる。
【００５２】
フィルタ係数ｗ（ｋ）としては、例えば、式（４）に示すようなガウス関数で定められるものを用いても良い。
【数４】
2018201137.tif 000006
式（４）において、σはガウス関数の標準偏差を表す。σの値は、注目画素の近傍領域のサイズに応じて定められる値であり、例えば、近傍領域のサイズをｒとすると、３σ＝ｒとなるように定めることができる。ここで言う「サイズ」は、画素が一次元に配列されたものである場合には、その長さの１／２である。画素が二次元に配列されたものである場合には、その中心からその周縁部までの平均的な距離を、上記のサイズとして用いることができる。
【００５３】
フィルタ係数として、式（４）で定められるものの代わりに式（５）で定められるものを用いても良い。
【数５】
2018201137.tif 000007
式（５）において、ｒ１、ｒ２はフィルタ係数の重み係数の分布の広がりを制御する値である。式（５）によれば、注目画素からの距離がｒ１より小さい画素については重み付けが１となり、注目画素からの距離がｒ１よりも大きい画素については、該距離が大きくなるにつれ徐々に減少し、注目画素からの距離がｒ２に達すると重み付けがゼロとなるような特性のフィルタ係数が得られる。
【００５４】
近傍領域内の画素の集合Ｎｘに含まれる画素の数（フィルタサイズ）は、合成対象画像間の位置ずれに対する許容量を決定する。例えば、合成処理を行う前に実施する位置合わせ処理の精度や、撮像装置１４ａを構成する複数のセンサ間の隔たりや時間差（時分割で撮像を行う場合）等の事前に得られる情報から位置ずれ量を予測し、予測される位置ずれが大きいほど、フィルタサイズをより大きく設定し、予測される位置ずれが小さいほど、フィルタサイズをより小さく設定する。位置ずれの要因が合成対象画像間の視差のみであり、かつ、撮像装置１４ａから被写体までの奥行き距離に関する情報が得られる場合には、該奥行距離に関する情報を使ってフィルタサイズを動的に、即ち撮像装置１４ａから出力される撮像画像毎に変更しても良い。
【００５５】
上記のように、入力値に対してフィルタ係数で重み付けを行った結果の和を出力とする処理を「線形フィルタを適用する」と言い、入力値に対してフィルタ係数で重み付けを行った結果の最大値を出力とする処理を「最大値フィルタを適用する」と言う。
【００５６】
なお、図５（ａ）〜（ｃ）及び図６（ａ）〜（ｃ）ではフィルタ係数を一次元として、一元に配列された画素を用いてフィルタを適用する処理を説明したが、二次元のフィルタ係数を用いる場合であっても上記と同様の効果が得られる。
【００５７】
二次元のフィルタ係数が二組の一次元のフィルタ係数の積で表現できる（二次元のフィルタ係数が分離可能である）場合には、一次元のフィルタを二回適用する（水平方向について一次元のフィルタを適用してから、垂直方向について一次元のフィルタを適用する等）ことにより、二次元のフィルタ係数を適用した場合と等価な結果を得ることができる。この場合、最大値フィルタ２ａを、二つの一次元フィルタの組み合わせにより構成することができる。
【００５８】
また、大きな位置ずれを許容するためにフィルタサイズを大きくする場合、処理時間の増加を抑えるために、合成比率マップを縮小し、縮小マップに対して最大値フィルタを適用した後、拡大して元のサイズに戻すようにしてもよい。
【００５９】
以上の合成比率Ｍ１及び平滑化合成比率Ｍ２の算出は、上記のように、画素毎に行われ、その結果、各画素についての平滑化合成比率Ｍ２が算出される。各画素についての平滑化合成比率をＭ２（ｘ）で表す。
【００６０】
合成部３は、平滑化合成比率Ｍ２で定められる重み付け係数α、βを用いて第１の画像Ｄ１と第２の画像Ｄ２を重み付けして加算する。重み付け加算は、画素毎に行われるものであり、次式（６）により表わされる。
【数６】
2018201137.tif 000008
【００６１】
式（６）で、ｘは画素位置、Ｄ１（ｘ）は第１の画像Ｄ１の位置ｘの画素の画素値、Ｄ２（ｘ）は第２の画像Ｄ２の位置ｘの画素の画素値、α（ｘ）は第１の画像Ｄ１の位置ｘの画素についての重み付け係数、β（ｘ）は第２の画像Ｄ２の位置ｘの画素についての重み付け係数、Ｍ２（ｘ）は位置ｘの画素についての平滑化合成比率を表す。
【００６２】
実施の形態１による効果を説明する。実施の形態１に係る画像合成装置では、第１の画像Ｄ１の各画素についての輝度参照値Ｄ１０１と総合ゲインの比Ｆｃとから定められた合成比率Ｍ１を、最大値フィルタ２ａで平滑化し、平滑化合成比率Ｍ２を用いて二画像を合成するようにした。最大値フィルタ２ａを用いているので、第１の画像に対する重み付け係数αと第２の画像に対する重み付け係数βのうち、一方がより大きい状態から他方がより大きい状態に移行する部分、即ち、二画像が切り替わる部分が、第１及び第２の画像におけるエッジをまたがない。その結果、位置ずれがあっても二重像が目立たない。この効果について図７（ａ）〜（ｈ）を用いて説明する。
【００６３】
図７（ａ）及び（ｂ）は、それぞれ、第１の画像Ｄ１及び第２の画像Ｄ２について、横軸に画素位置、縦軸に画素値をとったラインプロファイルを表しており、同一のステップエッジが画像間でわずかな位置ずれを有している場合を想定する。
【００６４】
図７（ｃ）は、第１の画像Ｄ１に基づいて合成比率決定部１ａで決定された合成比率Ｍ１のラインプロファイルを表す。合成比率Ｍ１は、第１の画像Ｄ１が明るい箇所で大きくなり、第１の画像Ｄ１が暗い箇所で小さくなる特性を有する。
【００６５】
図７（ｄ）及び（ｅ）は、それぞれ、合成比率Ｍ１を線形フィルタ及び最大値フィルタ２ａで平滑化した場合の平滑化合成比率のラインプロファイルを実線で表す。従来の線形フィルタによる平滑化合成比率をＭ２ｌｉｎ、図２の最大値フィルタ２ａによる平滑化合成比率をＭ２で示す。点線は、平滑化する前の合成比率Ｍ１のプロファイルを示す。
【００６６】
従来の線形フィルタでは、図７（ｄ）に示すように、平滑化合成比率Ｍ２ｌｉｎが、合成比率Ｍ１のステップエッジの中心の一方の側と他方の側とで、向きが逆である点を除き、同様に滑らかに変化し、平滑化合成比率Ｍ２ｌｉｎを表す曲線が、合成比率Ｍ１のステップエッジの中心を中心として点対称の滑らかな曲線となる。そして、平滑化合成比率Ｍ２ｌｉｎが変化する部分（変化の開始から終了までの部分）、即ち、二画像の切り替わり部分（ブレンド領域）ＢＬｌｉｎがエッジをまたぐことになる。
【００６７】
これに対し、図２の最大値フィルタ２ａでは、合成比率Ｍ１の大きい範囲が小さい側へ膨張するように平滑化が行われる。その結果、平滑化合成比率Ｍ２は、図７（ｅ）に示すように、滑らかに変化するものとなるだけでなく、該変化する部分、即ち、二画像の切り替わり部分（ブレンド領域）ＢＬｍａｘがステップエッジの中心位置から合成比率Ｍ１の小さい側に移動し、エッジをまたがないようにすることができる。
【００６８】
図７（ｆ）、（ｇ）及び（ｈ）は、それぞれ、合成比率Ｍ１、Ｍ２ｌｉｎ及びＭ２を用いて第１の画像Ｄ１と第２の画像Ｄ２を合成した合成画像Ｄ３のラインプロファイルを表す。
【００６９】
平滑化なしの合成比率Ｍ１を用いて合成した場合には、第１の画像Ｄ１と第２の画像Ｄ２の間でステップエッジがわずかな位置ずれを有しているため、合成画像Ｄ３においては、図７（ｆ）に示すように、両者の画像のステップエッジが二重に現れる二重像のアーティファクトを生じる。
【００７０】
従来の線形フィルタで平滑化した合成比率Ｍ２ｌｉｎを用いて合成した場合には、図７（ｇ）に示すように、平滑化なしの合成比率Ｍ１を用いて合成した場合に比べると二重像のアーティファクトは緩和されているものの、エッジにおける画素値の遷移が滑らかではなく、合成画像の画質を損ねる原因となる。とくに、従来の線形フィルタでは、二画像の切り替わり部分（ブレンド領域）がエッジをまたいでいるため、エッジ部分が二重像の影響を受けやすい。
【００７１】
図２の最大値フィルタ２ａで平滑化した合成比率Ｍ２を用いて合成した場合には、図７（ｈ）に示すように、エッジ部分では第１の画像Ｄ１のエッジが合成画像Ｄ３にそのまま採用されるため、合成による二重像のアーティファクトを回避することができる。
【００７２】
以上で説明した最大値フィルタを用いることによる効果は、合成対象画像間の視差が原因である二画像の位置ずれのように、位置ずれによる合成のアーティファクトがエッジの近傍で発生する状況においてとくに有効である。なぜなら、合成対象画像間に視差がある場合には、撮像装置１４ａから被写体までの奥行き距離に対応して位置ずれが発生するため、異なる奥行き距離にある被写体間の境界、すなわち、奥行きエッジで位置ずれが発生する。このような奥行きエッジは、明暗のコントラストが高い場合が多く、合成により二重像が発生すると目立つ。とくに、暗い背景に対して明るい被写体のエッジが手前にある場合、或いは明るい背景に対して暗い被写体のエッジが手前にある場合、エッジの位置ずれによる二重像の影響が合成画像の暗い側に現れると目障りなアーティファクトとなる。本実施の形態では、最大値フィルタを用いて合成比率を平滑化することにより、エッジの中心位置からフィルタサイズにより決定される位置ずれ許容量までの範囲では二画像の切り替えが起きないようにしたので、このような奥行きエッジも単一画像のエッジと同様に自然に（違和感なく）再現できる。また、二画像の切り替わり部分（ブレンド領域）ＢＬｍａｘは暗い側に移動しており、比較的コントラストの低い領域で滑らかに切り替えが行われるため目立ちにくい。
【００７３】
以上のように、本実施の形態によれば、二画像の切り替わり部分がエッジをまたがないため、合成対象画像間に視差によるエッジの位置ずれがあっても、二重像などの画質劣化を抑えることができる。また、二画像の合成比率を滑らかに変化させることができるので、二画像の切り替わり部分が自然な（違和感のない）合成画像を生成することができる。
【００７４】
次に、長露光時間画像Ｄ１２乃至第２の画像Ｄ２が飽和画素を含んでいる場合において最大値フィルタを用いることによる、更なる効果を説明する。実施の形態１に係る画像処理装置では、輝度参照値Ｄ１０１が、飽和閾値ＴＨｂｒｉｇｈｔ以上、即ち、第２の画像Ｄ２で飽和している画素の輝度に対応する値以上となる場合には、合成比率Ｍ１を１とし、第１の画像Ｄ１に対する重み付け係数αが１、第２の画像Ｄ２に対する重み付け係数βが０となるようにした。これにより、第２の画像Ｄ２で飽和している画素及びその周辺の画素が混入することによる合成画像の画質劣化を防止することができる。
【００７５】
明暗差が大きなシーンの場合には、暗部の視認性を十分に確保するため長露光時間画像Ｄ１２の露光時間を長くして撮影することが考えられる。このような場合、長露光時間画像Ｄ１２乃至第２の画像Ｄ２は、明部において多くの飽和画素を含んだ画像になる。飽和している画素を含む画像領域は、明るいがディテールの失われた領域である。飽和している画素が合成画像に混入すると、不自然な合成画像になる。一方、合成比率決定部１ａで輝度参照値Ｄ１０１に基づいて決定された合成比率Ｍ１をそのまま用いて画像合成を行うとすれば、第２の画像Ｄ２の位置がずれている場合、飽和している画素が合成画像に混入することがある。
【００７６】
また、撮像素子がＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）である場合には、飽和画素の周辺の画素が、本来あるべき明るさよりも明るくなる現象が発生することがある（スミアやブルーミング等）。このような飽和画素の周辺の画素の影響も、合成によるアーティファクトの一因となる。
【００７７】
図２の最大値フィルタ２ａによれば、第１の画像Ｄ１をもとに生成された輝度参照値Ｄ１０１が、第２の画像Ｄ２において画素値が飽和している画素の輝度以上になったことを検出し、第２の画像Ｄ２において、飽和している画素から、フィルタサイズにより決定される位置ずれ許容量までの範囲では平滑化合成比率Ｍ２を１とし、これにより第２の画像Ｄ２において、飽和している画素の近傍の領域では二画像の切り替えをせず、第１の画像Ｄ１を用いるようにした。そのため、第２の画像Ｄ２の位置ずれや飽和画素の周辺の画素の影響をなくすことができる。これにより、第２の画像Ｄ２で飽和している画素及びその周辺の画素が混入することによる合成画像の画質劣化を防止することができる。
【００７８】
なお、実施の形態１に係る画像合成装置においては、レベル正規化部１１及び１２の少なくとも一方において、係数の乗算により正規化を行なっているが、上記の正規化が、係数の乗算の代わりに、或いはそれに加えてオフセットの加減算及びガンマ補正などの非線形な変換の少なくとも一つを含んでもよい。
この場合には、それらによる影響を考慮に入れて、長露光時間画像Ｄ１２が飽和するときの、輝度参照値Ｄ１０１又はそれよりも若干小さい値を閾値ＴＨｂｒｉｇｈｔとする。
【００７９】
また、実施の形態１に係る画像合成装置においては、レベル正規化部１１に総合ゲインの比Ｆｃを示す情報が供給されるが、上記の正規化が、係数の乗算の代わりに、或いはそれに加えてオフセットの加減算及びガンマ補正などの非線形な変換の少なくとも一つを含む場合、係数、オフセット、及びガンマ補正の変換特性のうちの上記の正規化に用いられるものを示す情報をレベル正規化部１１及び１２の少なくとも一方に供給するようにしても良い。
【００８０】
また、実施の形態１に係る画像合成装置においては、第１の画像Ｄ１を標準的な露光時間で撮影することで得られた画像Ｄ１１に対応するものである場合を想定し、該第１の画像Ｄ１を基準画像として、第１の画像Ｄ１から輝度参照値Ｄ１０１を求めることとしたが、本発明はこの構成に限るものではない。飽和している画素及びその周辺の画素の混入を回避する観点からは、例えば、輝度参照値Ｄ１０１を第２の画像Ｄ２から求めてもよいし、第１の画像Ｄ１と第２の画像Ｄ２の組み合わせから求めてもよい。これらの場合であっても、最大値フィルタを用いることによる効果を得ることができる。
【００８１】
なおまた、実施の形態１に係る画像合成装置で用いられている最大値フィルタは、フィルタ係数を分離可能である場合に、一次元の最大値フィルタを二回適用する（水平方向について最大値フィルタを適用してから、垂直方向について最大値フィルタを適用する等）ことによって実現できるため、大きな位置ずれを想定してフィルタサイズを大きくする場合であっても、ソフトウェア等で実行する場合の処理時間の増加を抑えることができる。また、ＬＳＩ等のハードウェアで実行する場合には回路規模の増加を抑えることができる。
【００８２】
さらにまた、合成比率マップを縮小し、縮小マップに対して最大値フィルタを適用した後、拡大して元のサイズに戻すようにすれば、大きな位置ずれを想定してフィルタサイズを大きくする場合であっても、ソフトウェア等で実行する場合の処理時間の増加を抑えることができる。しかしながら、合成比率マップの縮小を行う場合、合成比率Ｍ１が大きい値である領域の面積が小さいと、縮小処理により当該領域が収縮し、その結果、合成比率Ｍ１が所望の値より小さい値となり効果を得られなくなる可能性がある。すなわち、長露光時間画像Ｄ１２の小さな飽和領域が合成画像Ｄ３に用いられてディテールが失われてしまうことがある。この点を考慮した場合、本実施の形態１では、合成比率マップの縮小を行わずに最大値フィルタを適用することが望ましい。
本実施の形態１では、最大値フィルタにおいて、注目画素により近い画素についての合成比率Ｍ１により大きい重みが付けられた結果の最大値を抽出するようにしている。そのため、合成比率マップの縮小を行わなくても、上記の境界で滑らかに変化する平滑化合成比率Ｍ２を得ることができ、しかもエッジの位置ずれがあっても二重像などの画質劣化を抑えることができる。したがって、長露光時間画像に小さな飽和領域が存在しても合成画像で確実に短露光時間画像が用いられてディテールの喪失を抑制できるとともに、二画像の切り替わり部分が自然な合成画像を生成することができる。
また同時に、上述したように、二次元のフィルタを一次元のフィルタを二回適用することで実現することができ、合成比率マップの縮小を行わなくても、処理時間の増加を抑えることが可能である。
【００８３】
以上で説明してきたように、実施の形態１によれば、露光条件、例えば露光時間が異なる複数の画像を合成して、白とびがなく暗部の視認性に優れた、ダイナミックレンジの広い画像を生成することができるとともに、二画像の切り替わり部分が不自然にならず、合成対象画像間に位置ずれがある場合に二重像などの画質劣化を抑えた合成画像を生成することができる。
【００８４】
実施の形態２．
図８は本発明の実施の形態２に係る画像処理装置を撮像装置とともに示すブロック図である。図８に示される画像処理装置は、図１に示される画像合成装置を、デコンボリューション処理を施した画像を用いた画像の合成に適用したものである。
【００８５】
図８に示される撮像装置１４ｂは、図２に示される撮像装置１４ａとは異なり、単一の露光条件での撮像で得られた画像を出力する。
【００８６】
図８に示される画像処理装置は、図２の画像処理装置と概して同じであるが、図２の画像合成装置１０ａの代わりに画像合成装置１０ｂが設けられ、図２のレベル正規化部１１及び１２が設けられておらず、デコンボリューション処理部１３が設けられている。画像合成装置１０ｂは図２の画像合成装置１０ａと概して同じであるが、図２の合成比率決定部１ａの代わりに、合成比率決定部１ｂが設けられている。
別の見方をすれば、図８に示される画像処理装置は、図１に示す画像合成装置において、合成比率決定部１として、合成比率決定部１ｂを用い、統計フィルタ２として最大値フィルタ２ａを用い、そのような画像合成装置に、デコンボリューション処理部１３が追加されたものである。
【００８７】
図８に示される画像処理装置は、撮像装置１４ｂから出力される撮像画像を、第１の画像Ｄ１として受け取る。
【００８８】
デコンボリューション処理部１３は、第１の画像Ｄ１を入力画像とし、入力画像のぼけ及びぶれを補正し、鮮鋭さを向上させた補正画像を第２の画像Ｄ２として出力する。
デコンボリューションとしては公知の種々のデコンボリューション手法のいずれかを適用することができる。ＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ：点拡がり関数）が既知である場合に単純かつ高速なデコンボリューション手法は、周波数領域でのフィルタリング処理を用いる方法である。この方法では、第１の画像Ｄ１をフーリエ変換し、フーリエ変換の結果に対し、ＰＳＦからウィーナーフィルタ等により求められる周波数領域のフィルタ係数を乗算し、乗算結果を逆フーリエ変換することによって第２の画像Ｄ２を得る。
【００８９】
合成比率決定部１ｂは、画素毎に合成比率を決定して出力する点で実施の形態１の合成比率決定部１ａと同じである。しかしながら以下の点で異なる。即ち、合成比率決定部１ｂは、合成比率Ｍ１の決定に総合ゲインの比Ｆｃを用いず、第１の画像Ｄ１の画素値に基づいて合成比率Ｍ１を決定する。合成比率決定部１ｂは、飽和画素検出部１１１と合成比率算出部１１２とを有する。
【００９０】
飽和画素検出部１１１は、第１の画像Ｄ１の画素値に対する閾値処理により飽和している画素を検出し、飽和画素検出結果Ｄ１１１として出力する。ここで言う閾値処理においては、第１の画像Ｄ１の各画素の画素値が、取り得る値の上限値に近い閾値ＴＨｓａｔ以上であれば、当該画素は飽和していると判断される。上限値に近い閾値ＴＨｓａｔは、例えば、上限値の９５％以上１００％以下に設定される。
【００９１】
合成比率算出部１１２は、飽和画素検出結果Ｄ１１１から、合成比率Ｍ１を算出して出力する。具体的には、第１の画像Ｄ１において飽和している画素については合成比率Ｍ１を１にし、そうでない画素については合成比率Ｍ１を０にする。
合成比率決定部１ｂは、合成比率算出部１０２で算出された合成比率Ｍ１を出力する。
【００９２】
次式（７）は、合成比率決定部１ｂに入力される第１の画像Ｄ１の画素値Ｄ１（ｘ）と、合成比率決定部１ｂから出力される合成比率Ｍ１との関係を示す。
【数７】
2018201137.tif 000009
式（７）でＴＨｓａｔは、飽和画素検出部１１１で用いられる閾値である。
【００９３】
最大値フィルタ２ａ及び合成部３の構成及び動作は実施の形態１と同様である。
【００９４】
実施の形態２による効果を説明する。
デコンボリューション処理部１３において公知のデコンボリューションを行うと、入力画像に飽和画素が含まれる場合に、補正画像においては入力画像における飽和画素に対応する位置の周囲にリンギングと呼ばれる縞状のアーティファクトを生じることがある。これは、飽和という現象が、所定の光量を超えた信号の画素値は上限値にクリップされるという非線形な過程である一方、公知のデコンボリューション手法の多くは、ＰＳＦによって画像がぼける線形なモデルに基づく補正をしており、ＰＳＦで用いるモデルのぼけ方と異なるぼけ方をしている飽和画素の周辺で補正誤差が現れるためである。リンギングは、飽和画素の近傍で振幅が大きく、飽和画素から離れていくにつれ振幅が減衰していく特性をもつ。
【００９５】
実施の形態２に係る画像合成装置では、合成比率決定部１ｂにおいて、デコンボリューション処理を施す前の第１の画像Ｄ１において飽和している画素を検出し、飽和している画素においては合成比率Ｍ１を１とし、そうでない画素については合成比率Ｍ１を０とし、これにより飽和している画素においては第１の画像（入力画像）Ｄ１が採用され、そうでない画素については第２の画像（補正画像）Ｄ２が採用されるようにした。さらに、合成比率Ｍ１を最大値フィルタ２ａにより平滑化し、飽和している画素からフィルタサイズにより決定される位置ずれ許容量までの範囲では第１の画像Ｄ１を採用するようにしつつ、第１の画像Ｄ１と第２の画像Ｄ２の切り替わり部分が滑らかになるようにした。これにより、第２の画像Ｄ２において飽和画素の周囲に発生するリンギングを抑えることができるとともに、二画像の切り替わり部分が自然な（違和感のない）高品質な合成画像を得ることができる。
【００９６】
実施の形態２に係る画像合成装置においては、基本構成は実施の形態１と同様であり、最大値フィルタ２ａを用いることによる効果は実施の形態１と同様である。
【００９７】
また、デコンボリューション処理では、飽和画素が占める領域の面積が小さい（例えば、１画素）場合でもリンギングは発生するため、入力画像における飽和画素とその周辺の領域においては、確実に入力画像が用いられるように合成画像を生成することが望まれる。一方、処理時間の増加を抑えて飽和画素が占める領域とそれ以外の領域との境界で滑らかに変化する平滑化合成比率Ｍ２を得るために、合成比率マップを縮小してから最大値フィルタを適用した後、拡大して元のサイズに戻す構成を採用することが考えられる。しかしながら、合成比率マップの縮小を行う場合、飽和画素の領域の面積が小さいと、縮小処理により当該領域が収縮し、その結果、合成比率Ｍ１が所望の値より小さい値になり、リンギングの発生した補正画像が合成画像として用いられてリンギングの抑制効果が減退することがある。
実施の形態２では、最大値フィルタにおいて、注目画素により近い画素についての合成比率Ｍ１により大きい重みが付けられた結果の最大値を抽出するようにしている。そのため、合成比率マップの縮小を行わなくても、上記の境界で滑らかに変化する平滑化合成比率Ｍ２を得ることができ、しかもエッジの位置ずれがあっても二重像などの画質劣化を抑えることができる。したがって、入力画像に小さな飽和領域が存在しても合成画像で確実に入力画像が用いられてリンギングを抑制できるとともに、二画像の切り替わり部分が自然な（鮮鋭さの急激な変化を抑えた）合成画像を生成することができる。
また同時に、上述したように、二次元のフィルタを一次元のフィルタを二回適用することで実現することができ、合成比率マップの縮小を行わなくても、処理時間の増加を抑えることが可能である。
【００９８】
以上のように本発明の画像合成装置は、エッジや飽和画素の周囲にまで影響が及ぶ合成画像のアーティファクトを抑えて、自然な（違和感のない）合成画像を生成することができる。
【００９９】
なお、実施の形態１及び実施の形態２では、第１の画像Ｄ１に基づいて合成比率Ｍ１を決定し、合成比率Ｍ１が大きくなるほど第１の画像Ｄ１に対する重み付けがより大きくなるようにし、合成比率Ｍ１を最大値フィルタにより平滑化することで、合成画像Ｄ３において第１の画像Ｄ１の寄与が大きくなる領域を膨張させることで、明暗のエッジや飽和画素の周囲で第２の画像Ｄ２の寄与が大きくなることによる影響を抑圧する効果を得ることができる。しかしながら、本発明の画像合成装置は、必ずしも最大値フィルタを用いる構成だけに限定されない。例えば、合成比率Ｍ１が大きくなるほど第２の画像Ｄ２に対する重み付けが大きくなるようにする場合には、合成比率Ｍ１の増減による作用が逆となるため、同様の効果を得るために、合成画像Ｄ３において第２の画像Ｄ２の寄与が大きい領域を収縮させるようなフィルタを適用してもよい。領域を収縮させるフィルタとは、例えば最小値フィルタである。最小値フィルタでは、各画素について当該画素の近傍領域内の画素についての合成比率Ｍ１を重み付けした結果の最小値を抽出する。これにより、明暗のエッジや飽和画素の周囲で第２の画像Ｄ２の寄与が大きくなることによる影響を抑圧する効果を得ることができる。なお、最大値フィルタ及び最小値フィルタは、統計フィルタの一種である。
【０１００】
以上本発明を画像合成装置及び画像処理装置として説明したが、上記の画像合成装置及び画像処理装置で実施される画像合成方法及び画像処理方法も本発明の一部を成す。
【０１０１】
以上図１、図２、及び図８に示される画像合成装置又は画像処理装置の各部分（機能ブロックとして図示した部分）は、処理回路により実現される。処理回路は、専用のハードウェアであっても、プログラムを実行するＣＰＵであっても良い。
例えば、図１、図２又は図８の各部分の機能をそれぞれ処理回路で実現してもよいし、複数の部分の機能をまとめて処理回路で実現しても良い。
【０１０２】
処理回路がＣＰＵである場合、画像合成装置又は画像処理装置の各部分の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア或いはファームウェアはプログラムとして記述され、記録媒体に格納される。処理回路は、記録媒体に格納されたプログラムをメモリに読み込んで実行することにより、各部の機能を実現する。このプログラムは、画像合成装置又は画像処理装置で実施される画像合成方法又は画像処理方法における処理をコンピュータに実行させるものであると言える。
【０１０３】
画像合成装置又は画像処理装置の各部分の機能のうち、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしても良い。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【０１０４】
図９に上記の処理回路がＣＰＵであって、単一のＣＰＵを含むコンピュータ（符号５０ａで示す）で図２の画像処理装置のすべての機能を実現する場合の構成の一例を、撮像装置１４ａとともに示す。コンピュータ５０ａと撮像装置１４ａとで撮像システムが構成されている。
図９に示されるコンピュータ５０ａは、ＣＰＵ５１ａと、メモリ５２ａと、入力インターフェース５３ａと、出力インターフェース５４ａとを備え、これらはバス５５ａで接続されている。
【０１０５】
入力インターフェース５３ａには、撮像装置１４ａからの短露光時間画像Ｄ１１及び長露光時間画像Ｄ１２、並びに総合ゲインの比Ｆｃを示す情報が入力される。
【０１０６】
ＣＰＵ５１ａは、メモリ５２ａに記憶されたプログラムに従って動作し、入力インターフェース５３ａを介して入力された画像Ｄ１１及びＤ１２に対して、実施の形態１の画像処理装置の各部の処理を行って、処理の結果得られた出力信号を出力インターフェース５４ａから出力する。
【０１０７】
図１０に上記の処理回路がＣＰＵであって、単一のＣＰＵを含むコンピュータ（符号５０ｂで示す）で図８の画像処理装置のすべての機能を実現する場合の構成の一例を、撮像装置１４ｂとともに示す。コンピュータ５０ｂと撮像装置１４ｂとで撮像システムが構成されている。
図１０に示されるコンピュータ５０ｂは、ＣＰＵ５１ｂと、メモリ５２ｂと、入力インターフェース５３ｂと、出力インターフェース５４ｂとを備え、これらはバス５５ｂで接続されている。
【０１０８】
入力インターフェース５３ｂには、撮像装置１４ｂからの撮像画像を第１の画像Ｄ１として入力される。
【０１０９】
ＣＰＵ５１ｂは、メモリ５２ｂに記憶されたプログラムに従って動作し、入力インターフェース５３ｂを介して入力された画像Ｄ１に対して、実施の形態２の画像処理装置の各部の処理を行って、処理の結果得られた出力信号を出力インターフェース５４ｂから出力する。
【０１１０】
以上のように、本発明の画像合成装置及び方法、並びに画像処理装置及び方法のいずれかにおける処理の一部または全部をコンピュータに実行させるプログラム、及び該プログラムを記録した、コンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。
【符号の説明】
【０１１１】
１，１ａ，１ｂ  合成比率決定部、  ２  統計フィルタ、  ２ａ  最大値フィルタ、  ３  合成部、  １０，１０ａ，１０ｂ  画像合成装置、  １１，１２  レベル正規化部、  １３  デコンボリューション処理部、  １４ａ，１４ｂ  撮像装置、  １０１  輝度算出部、  １０２  合成比率算出部、  １１１  飽和画素検出部、  １１２  合成比率算出部。
【図１】
2018201137.tif 000010
【図２】
2018201137.tif 000011
【図３】
2018201137.tif 000012
【図４】
2018201137.tif 000013
【図５】
2018201137.tif 000014
【図６】
2018201137.tif 000015
【図７】
2018201137.tif 000016
【図８】
2018201137.tif 000017
【図９】
2018201137.tif 000018
【図１０】
2018201137.tif 000019