(57)【要約】【課題】  オクルージョン領域があっても違和感なく、異なる露出で撮影された複数枚の画像をハイダイナミックレンジ合成すること。【解決手段】  主要被写体に露出を合わせて撮影した第１の画像と、第１の画像とは異なる露出で撮影した第２の画像を入力する入力手段と、第１及び第２の画像において、互いに異なる被写体を表す非共通領域を検出する検出手段と、第１及び第２の画像を合成する合成手段とを有し、該合成手段は、非共通領域を除く領域である共通領域のうち、第１の画像で主要被写体の領域は第１の画像の画素値を用い、第１の画像で前記主要被写体ではない領域は第２の画像の画素値を用い、非共通領域のうち、第１の画像で主要被写体の領域は第１の画像の画素値を用い、第１の画像で前記主要被写体ではない領域は第１の画像の輝度を第２の画像の輝度に合わせた画素値を用いる。【選択図】  図１
2014220717.tif 000002
【特許請求の範囲】
【請求項１】
主要被写体に露出を合わせて撮影した第１の画像と、前記第１の画像とは異なる露出で撮影した第２の画像を入力する入力手段と、
前記第１の画像と前記第２の画像において、互いに異なる被写体を表す非共通領域を検出する検出手段と、
前記第１の画像と前記第２の画像を合成する合成手段とを有し、
前記合成手段は、
前記非共通領域を除く領域である共通領域のうち、前記第１の画像で前記主要被写体の領域は前記第１の画像の画素値を用い、
前記共通領域のうち、前記第１の画像で前記主要被写体ではない領域は前記第２の画像の画素値を用い、
前記非共通領域のうち、前記第１の画像で前記主要被写体の領域は前記第１の画像の画素値を用い、
前記非共通領域のうち、前記第１の画像で前記主要被写体ではない領域は前記第１の画像の輝度を前記第２の画像の輝度に合わせた画素値を用いて、
前記第１の画像と前記第２の画像を合成する第１の合成処理を行うことを特徴とする画像処理装置。
【請求項２】
前記合成手段は、更に、前記第２の画像における前記主要被写体の特徴点が前記第１の画像における前記主要被写体の特徴点の位置に移動するように、前記第２の画像に対して変形変倍処理を行い、前記第１の画像において前記主要被写体の領域は、前記第１の画像の画素値を用い、前記第１の画像において前記主要被写体ではない領域は、前記変形変倍処理した第２の画像の画素値を用いて、前記第１の画像と前記第２の画像を合成する第２の合成処理と、前記第１の合成処理とを選択的に行い、
前記非共通領域の内、前記第１の画像で前記主要被写体ではない領域に含まれる飽和画素及び黒潰れ画素が、予め決められた割合を越えている場合に前記第２の合成処理を行い、前記予め決められた割合を越えていない場合に前記第１の合成処理を行うように選択する選択手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、
前記第１の画像から主要被写体の領域の第１の輪郭情報を切り出す第１の切り出し手段と、
前記第２の画像から非主要被写体の領域の第２の輪郭情報を切り出す第２の切り出し手段と、
前記第１の輪郭情報と前記第２の輪郭情報との位置ずれ分の領域を、前記非共通領域として抽出する抽出手段と
を有することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記検出手段は、前記第２の画像の画素値に、前記第１の画像を撮影したときの露出と、前記第２の画像を撮影したときの露出との露出段差を無くすように求められたゲインを掛けて得られたゲイン補正後の第２の画像と、前記第１の画像との輝度差分を取ることによって、前記非共通領域を検出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
主要被写体に露出を合わせて撮影した第１の画像と、前記主要被写体以外に露出を合わせて撮影した第２の画像を入力する入力手段と、
前記第１の画像と前記第２の画像を合成する合成手段とを有し、
前記合成手段は、前記第２の画像における前記主要被写体の特徴点が前記第１の画像における前記主要被写体の特徴点の位置に移動するように、前記第２の画像の非主要被写体の領域に対して変形変倍処理を行い、前記第１の画像において前記主要被写体の領域は、前記第１の画像の画素値を用い、前記第１の画像において前記主要被写体ではない領域は、前記変形変倍処理した第２の画像の画素値を用いて、前記第１の画像と前記第２の画像を合成することを特徴とする画像処理装置。
【請求項６】
前記変形変倍処理に伴う前記第２の画像の画素の座標移動量が予め決められた大きさを越える場合に、前記合成手段は合成を行わないことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第１の画像と、前記第２の画像の位置合わせを行う位置合わせ手段を更に有し、
前記検出手段は、前記位置合わせ手段により位置合わせされた前記第１の画像と前記第２の画像を用いて非共通領域を検出し、
前記合成手段は、前記位置合わせ手段により位置合わせされた前記第１の画像と前記第２の画像を合成する
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
入力手段が、主要被写体に露出を合わせて撮影した第１の画像と、前記第１の画像とは異なる露出で撮影した第２の画像を入力する入力工程と、
検出手段が、前記第１の画像と前記第２の画像において、互いに異なる被写体を表す非共通領域を検出する検出工程と、
合成手段が、前記第１の画像と前記第２の画像を合成する合成工程とを有し、
前記合成工程では、
前記非共通領域を除く領域である共通領域のうち、前記第１の画像で前記主要被写体の領域は前記第１の画像の画素値を用い、
前記共通領域のうち、前記第１の画像で前記主要被写体ではない領域は前記第２の画像の画素値を用い、
前記非共通領域のうち、前記第１の画像で前記主要被写体の領域は前記第１の画像の画素値を用い、
前記非共通領域のうち、前記第１の画像で前記主要被写体ではない領域は前記第１の画像の輝度を前記第２の画像の輝度に合わせた画素値を用いて、
前記第１の画像と前記第２の画像を合成する第１の合成処理を行うことを特徴とする画像処理方法。
【請求項９】
前記合成工程では、更に、前記第２の画像における前記主要被写体の特徴点が前記第１の画像における前記主要被写体の特徴点の位置に移動するように、前記第２の画像に対して変形変倍処理を行い、前記第１の画像において前記主要被写体の領域は、前記第１の画像の画素値を用い、前記第１の画像において前記主要被写体ではない領域は、前記変形変倍処理した第２の画像の画素値を用いて、前記第１の画像と前記第２の画像を合成する第２の合成処理と、前記第１の合成処理とを選択的に行い、
選択手段が、前記非共通領域の内、前記第１の画像で前記主要被写体ではない領域に含まれる飽和画素及び黒潰れ画素が、予め決められた割合を越えている場合に前記第２の合成処理を行い、前記予め決められた割合を越えていない場合に前記第１の合成処理を行うように選択する選択工程を更に有することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
入力手段が、主要被写体に露出を合わせて撮影した第１の画像と、前記主要被写体以外に露出を合わせて撮影した第２の画像を入力する入力工程と、
合成手段が、前記第１の画像と前記第２の画像を合成する合成工程とを有し、
前記合成工程では、前記第２の画像における前記主要被写体の特徴点が前記第１の画像における前記主要被写体の特徴点の位置に移動するように、前記第２の画像の非主要被写体の領域に対して変形変倍処理を行い、前記第１の画像において前記主要被写体の領域は、前記第１の画像の画素値を用い、前記第１の画像において前記主要被写体ではない領域は、前記変形変倍処理した第２の画像の画素値を用いて、前記第１の画像と前記第２の画像を合成することを特徴とする画像処理方法。
【請求項１１】
コンピュータに、請求項８乃至１０のいずれか１項に記載の画像処理方法の各工程を実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法に関し、更に詳しくは、異なる露出で撮影された複数枚の画像を合成して、ダイナミックレンジを拡大する画像処理装置及び方法に関する。
【背景技術】
【０００２】
露出の異なる複数枚の撮影画像の階調を補正して合成することにより、ダイナミックレンジの広い画像を得るハイダイナミックレンジ合成（HDR)が例えば特許文献１に提案されている。HDRでは、複数の画像間で、画像内の被写体像を位置合わせしてから合成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１９３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、被写体の変形や動き、撮影カメラの手ブレ等により、撮影した複数の画像のうち一部の画像にのみ結像し、残りの画像には結像していない領域（以後、オクルージョン領域と記載）ができる場合がある。一例として、図２（ａ）に示すような第１の画像３００と、第２の画像３０１とを合成する場合に、位置合わせして重ねたイメージを図２（ｂ）に示す。この例では、第１の画像３００の主要被写体である人物像３１０が、第２の画像３０１を撮影するまでの間に動いてしまい、第２の画像の人物像３１１のように、人物像３１０よりも大きくなってしまっている。この影響により、第１の画像と第２の画像とで異なる被写体を写した非共通領域であるオクルージョン領域が発生する。
【０００５】
オクルージョン領域が存在するとうまく合成できないという問題があるが、特許文献１では動きベクトルの信頼度を用いることにより、オクルージョン領域の存在を検知し、複数の画像間の合成比率を変えることによって対処している。
【０００６】
しかしながら、オクルージョン領域を有する画像において、主要被写体と非主要被写体との距離の影響などにより、主要被写体あるいは非主要被写体を基準に位置合わせすると、もう一方（非主要被写体あるいは主要被写体）に位置ズレが残る。そのため、単純に合成すると主要被写体の輪郭部分が二重になってしまうという問題がある。
【０００７】
また、オクルージョン領域の像が飽和（白とび）または黒潰れしている場合には、合成比率を変えても白とびや黒潰れが現れてしまい、出力画像としては違和感のあるものとなるという問題があった。
【０００８】
本発明は上記問題点を鑑みてなされたものであり、オクルージョン領域があっても違和感なく、異なる露出で撮影された複数枚の画像をハイダイナミックレンジ合成できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理装置は、主要被写体に露出を合わせて撮影した第１の画像と、前記第１の画像とは異なる露出で撮影した第２の画像を入力する入力手段と、前記第１の画像と前記第２の画像において、互いに異なる被写体を表す非共通領域を検出する検出手段と、前記第１の画像と前記第２の画像を合成する合成手段とを有し、前記合成手段は、前記非共通領域を除く領域である共通領域のうち、前記第１の画像で前記主要被写体の領域は前記第１の画像の画素値を用い、前記共通領域のうち、前記第１の画像で前記主要被写体ではない領域は前記第２の画像の画素値を用い、前記非共通領域のうち、前記第１の画像で前記主要被写体の領域は前記第１の画像の画素値を用い、前記非共通領域のうち、前記第１の画像で前記主要被写体ではない領域は前記第１の画像の輝度を前記第２の画像の輝度に合わせた画素値を用いて、前記第１の画像と前記第２の画像を合成する第１の合成処理を行うことを特徴とする。
【発明の効果】
【００１０】
オクルージョン領域があっても違和感なく、異なる露出で撮影された複数枚の画像をハイダイナミックレンジ合成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１及び第２の実施形態における画像処理装置の概略構成を示すブロック図。
【図２】オクルージョン領域の説明図
【図３】オクルージョン領域の検出方法の説明図。
【図４】第１の実施形態におけるオクルージョン領域の補正例を示す説明図。
【図５】第１の実施形態における別のオクルージョン領域の補正例を示す説明図。
【図６】オクルージョン領域の別の検出方法の説明図。
【図７】第２の実施形態における特徴点の配置図。
【図８】特徴点以外の点の移動の説明図。
【図９】重み係数Wの説明図。
【図１０】変形に伴う画像上の任意の点の移動の説明図。
【図１１】第３の実施形態における画像処理装置の概略構成を示すブロック図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１３】
＜第１の実施形態＞
図１は、第１の実施形態における画像処理装置の概略構成を示すブロック図である。図１に示す画像処理装置において、第１の入力端子１００から第１の画像が、また、第２の入力端子１０２から第２の画像が入力し、位置合わせ部１０４に入力される。
【００１４】
本第１の実施形態において、第１の画像は、主要被写体が適正な露光で撮影されるように露出制御して撮影した画像である。例えば、ポートレート撮影モードの場合、撮影対象となる人物を主要被写体として、顔検出等を用いて該人物にあわせるようにＡＥ（Automatic Exposure）制御を行う。この時、主要被写体以外の領域（以下、「非主要被写体」と呼ぶ。）は、白とびや黒潰れする場合がある。
【００１５】
一方、第２の画像は、非主要被写体が適正な露光で撮影されるように露出制御して撮影した画像である。第１の画像の非主要被写体領域が白とびしているようなケースでは、第２の画像の主要被写体領域は暗く写っており、黒潰れする場合がある。逆に、第１の画像の非主要被写体領域が黒潰れしているようなケースでは、第２の画像の主要被写体領域は明るく写っており、白とびする場合がある。
【００１６】
位置合わせ部１０４は、このように露出が異なる２枚の画像を入力して、両画像に結像している同一の被写体が重なるように位置合わせを行う。位置合わせは一般的な技術であり、例えば特許文献１にも記載があるので、ここでは説明を省略する。位置合わせ時には、第１の画像と第２の画像のどちらか一方だけを動かしても良いし、両方動かしても構わない。
【００１７】
第１の切り出し部１０１は、位置合わせ部１０４によって第２の画像と位置合わせされた第１の画像を入力し、入力した第１の画像から主要被写体領域を抽出して主要被写体領域を示す第１の切り出し情報を出力する。また、第２の切り出し部１０３は、位置合わせ部１０４によって第１の画像と位置合わせされた第２の画像を入力し、入力した第２の画像から非主要被写体領域を抽出して非主要被写体領域を示す第２の切り出し情報を出力する。
【００１８】
オクルージョン領域検出部１０５は、第１の切り出し情報と第２の切り出し情報とに基づいて、オクルージョン領域（非共通領域）を求める。そして、補正部１０６において、検出されたオクルージョン領域の画素値に対してゲイン補正により補正を掛ける。合成部１０７では、第１の画像と第２の画像とを合成することによって、合成画像を生成する。なお、ここで行われる補正処理及び合成処理に関しては、詳細に後述する。
【００１９】
次に、本第１の実施形態においてオクルージョン領域を求める方法について説明する。第１の切り出し部１０１は、第１の切り出し情報として第１の画像から主要被写体領域の輪郭情報（第１の輪郭情報）を抽出する。また、第２の切り出し部１０３は、第２の切り出し情報として第２の画像から非主要被写体領域の輪郭情報（第２の輪郭情報）を抽出する。オクルージョン領域検出部１０５は、抽出した主要被写体領域の輪郭情報と非主要被写体領域の輪郭情報との位置のずれから、オクルージョン領域を検出する。
【００２０】
ここで、図３を参照して、第１の画像と第２の画像が図２に示す画像である場合を例にとって説明する。図３（ａ）は、第１の切り出し部１０１により図２（ａ）に示す第１の画像３００から抽出した主要被写体領域の輪郭情報４００と、第２の切り出し部１０３により第２の画像３０１から抽出した非主要被写体領域の輪郭情報４０１とを示す図である。
【００２１】
図３（ｂ）は、主要被写体領域の輪郭情報４００と、非主要被写体領域の輪郭情報４０１とを重ねあわせた状態を示す。オクルージョン領域検出部１０５は、主要被写体領域の輪郭情報４００上の特徴点４０３と、その特徴点４０３に対応する非主要被写体領域の輪郭情報４０１上の特徴点とを求め、対応する特徴点４０３の位置ずれ分をオクルージョン領域とする。複数の特徴点を求め、各特徴点間を補間することによって、オクルージョン領域の輪郭情報を形成する。
【００２２】
補正部１０６は、上述したようにしてオクルージョン領域検出部１０５によって検出されたオクルージョン領域の輪郭情報を基に、ゲイン補正によってオクルージョン領域を補正する。
【００２３】
オクルージョン領域の内、第１の画像上で主要被写体領域である部分については、出力画像のオクルージョン領域の画素値として位置合わせされた第１の画像の画素値を出力する。
【００２４】
一方、オクルージョン領域の内、第１の画像上で非主要被写体領域である部分については、出力画像の該オクルージョン領域の画素値として、位置合わせされた第１の画像にゲインを掛けた画素値を出力する。掛けるゲインは、第１の画像の露出を第２の画像の露出へ合わせるように、第１の画像の露出と、第２の画像の露出との露出段差により求めたゲインとする。例えば、第１の画像と第２の画像が図２に示す画像の場合、オクルージョン領域の内、領域３０３には、第１の画像３００では背景（人物像３１０以外）が写り、第２の画像３０１では人物像３１０の一部分が写っている。この場合、本第１の実施形態では、図４に示すように、背景画像は、領域３０３以外（点線の外側）では第２の画像３０１を利用し、領域３０３内（点線の内側）では第１の画像３０１の画素値をゲイン調整して利用する。このように合成処理（第１の合成処理）を行うことで、自然な結果を得ることができる。
【００２５】
また、例えば、図５（ａ）に示すように、第１の画像６００の人物像６１０が、第２の画像６０１の人物像６１１よりも大きい場合も、オクルージョン領域の内、図５（ｂ）に示す第１の画像で背景画像である領域６０３を同様にして補正する。このようにすることで、図５（ｃ）に示すような自然な画像を得ることができる。
【００２６】
なお、オクルージョン領域の検出には、輪郭情報だけでなく、図６に示すように画素値（例えば輝度）の差分画像を用いても構わない。まず、図６（ａ）に示すように、第２の画像３０１に対して、第１の画像撮影時と第２の画像撮影時の露出段差分を埋めるようにゲインを掛ける。例えば、第１の画像３００に対して、第２の画像３０１が１段分暗いのであれば、第２の画像３０１に１段分明るくするために２倍ゲインを掛ける。そして、同等の輝度レベルになった第１の画像３００と、ゲイン補正後の第２の画像３２０との輝度差分をとることによって（図６（ｂ））、オクルージョン領域３２１を求める（図６（ｃ））。
【００２７】
上記のように本第１の実施形態によれば、合成する画像間にオクルージョン領域があっても、比較的シンプルな構成でハイダイナミックレンジ合成を実現することができ、例えば回路化する場合に、小規模な回路で実現することができる。
【００２８】
＜第２の実施形態＞
上述した第１の実施形態で説明した方法では、第２の入力画像の代わりに出力する第１の入力画像のオクルージョン領域に白飛びまたは黒潰れがある場合には対応できない。本第２の実施形態では、そのようなケースに対応する方法について説明する。
【００２９】
本第２の実施形態における補正部１０６は、オクルージョン領域検出部１０５によって検出された、オクルージョン領域の輪郭情報を基に、非主要被写体領域を変形・変倍することによってオクルージョン領域を補正する。具体的な実現方法について、以下に説明する。
【００３０】
上述した第１の実施形態では、オクルージョン領域を求める際に、図３のように第１の画像の主要被写体領域の輪郭情報４００上の特徴点と、第２の画像の非主要被写体領域の輪郭情報４０１上の特徴点４０３との対応関係を利用した。本第２の実施形態における後述する変形・変倍による補正では、これらの特徴点を利用する。
【００３１】
更に、これら特徴点に加え、画像の上下左右端にも所定の間隔で特徴点を配置し、これらの移動ベクトルを０とする。例えば、図７の上下左右端の特徴点７００のように配置する。これら上下左右端の特徴点７００は、後で述べる座標移動量の計算にそのまま使うが、全ての上下左右端の特徴点７００の移動ベクトルは０とする。
【００３２】
第１の画像の各特徴点から第２の画像の対応する特徴点への移動ベクトルを求める。図７に示す例では、第１の画像３００上の特徴点４０３と、第２の画像３０１上の特徴点７０２が対応しているが、この場合、移動ベクトル７０１分、縮小している。また、第１の画像３００上の特徴点７０３と、第２の画像３０１上の特徴点７０４とが対応しているが、移動ベクトル７０５分、縮小している。同様に全ての特徴点の移動ベクトルを求める。なお、求めた移動ベクトル内、最大のベクトルの大きさ（座標移動量）が所定の大きさを超える場合には、変形・変倍による補正を行わない。
【００３３】
図８に示すように、第２の画像上の非主要被写体領域の輪郭情報４０１における任意の点Ｐは、出力画像上の点Ｑへ出力される。この時、点Ｐから点Ｑへの座標移動量は次の式（１）にて求められる。
【００３４】
2014220717.tif 000003
【００３５】
式（１）のスカラー係数W(n)は、点Ｐと特徴点ｎとのノルム(norm)に応じて、ノルムが小さいほど大きな値になる重みであり、その荷重平均によって移動量が決定される。また、kは全特徴点を表す。ノルムは、例えばユークリッドノルム等を用いて、図９のような重みテーブルを利用する。この変形方法によって、図１０に示すように、画像上の任意の点１１００が、式（１）による移動ベクトル計算により求められた移動ベクトル１１０１に従って移動先の点１１０２へ移動することにより、画像が変形・変倍される。
【００３６】
なお、実現にあたっては、写像関係を逆転した点Ｑから点Ｐを求める方法でも構わない。各特徴点の移動ベクトルの方向を１８０度反転し、同様の方法で求めればよい。
【００３７】
そして、第１の画像の主要被写体領域の画素値と、上述したようにして変形変倍処理された第２の画像の非主要被写体領域の画素値とを合成する（第２の合成処理）。
【００３８】
上記の通り本第２の実施形態によれば、オクルージョン領域において、白飛びまたは黒潰れしている画素（飽和画素及び黒潰れ画素）が多数含まれていても、ハイダイナミックレンジ合成されたより自然な出力画像を得ることができる。
【００３９】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。図１１は、第３の実施形態における画像処理装置の構成を示すブロック図である。基本的な構成は図１を参照して説明したもの同様であるが、図１に示す構成とは補正処理選定部２０６が追加されている点が異なる。
【００４０】
補正処理選定部２０６は、オクルージョン領域の状態に応じて補正処理を選定する。まず、第１の画像のオクルージョン領域の内、第１の画像上で非主要被写体領域である部分の画素を調べ、白とび画素（飽和画素）及び黒潰れ画素の占める割合が所定の割合を超えている場合は、第２の実施形態で説明した補正処理を選択する。一方、飽和画素及び黒潰れ画素の占める割合が所定の割合を超えていない場合は、第１の実施形態で説明した補正処理を選択する。即ち、飽和画素及び黒潰れ画素の占める割合に応じて、第１の実施形態で説明した補正処理を行って画像を合成する第１の合成処理と、第２の実施形態で説明した補正処理を行って画像を合成する第２の合成処理とを選択的に行う。
【００４１】
この判定は、画像上に複数存在する個々のオクルージョン領域について独立して判定してもいいし、全体をひとまとめにして判定しても構わない。
【００４２】
本第３の実施形態によれば、オクルージョン領域において、白飛びまたは黒潰れしている画素の多少に応じて、より自然な出力画像を得ることができる。
【００４３】
＜他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014220717.tif 000004
【図３】
2014220717.tif 000005
【図７】
2014220717.tif 000006
【図８】
2014220717.tif 000007
【図９】
2014220717.tif 000008
【図１０】
2014220717.tif 000009
【図１１】
2014220717.tif 000010
【図２】
2014220717.tif 000011
【図４】
2014220717.tif 000012
【図５】
2014220717.tif 000013
【図６】
2014220717.tif 000014