(57)【要約】【課題】露出の異なる領域を含む画像と通常撮像による画像とを合成する場合であっても動被写体ブレを抑制することができる画像合成装置を提供する。【解決手段】装置は、第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて第１露出条件で撮像された第３画像を含む複数の画像を取得する取得部と、第１画像と第３画像との画素値を比較して動被写体領域を検出する領域検出部と、複数の画像から選択された対象画像と第２画像とを合成して合成画像を生成する合成部と、を備え、合成部は、対象画像の動被写体領域に対応する画素及び第２画像の動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、動被写体ブレ除去処理後に対象画像と第２画像とを合成する。【選択図】図１
2017201455.tif 000002
【特許請求の範囲】
【請求項１】
同一被写体が撮像された一連の複数の画像のうち少なくとも２枚の画像を合成して合成画像を生成する画像合成装置であって、
第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて前記第１露出条件で撮像された第３画像を含む前記複数の画像を取得する取得部と、
前記第１画像と前記第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出部と、
前記複数の画像から選択された対象画像と前記第２画像とを合成して前記合成画像を生成する合成部と、
を備え、
前記合成部は、前記対象画像の前記動被写体領域に対応する画素及び前記第２画像の前記動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、前記動被写体ブレ除去処理後に前記対象画像と前記第２画像とを合成する、
画像合成装置。
【請求項２】
前記第１画像及び前記第３画像はフラッシュ光を照射せずに撮影された画像であり、前記第２画像はフラッシュ光を照射して撮影された画像である請求項１に記載の画像合成装置。
【請求項３】
前記第２タイミングは前記第１タイミングの後であり、前記第３タイミングは前記第２タイミングの後である請求項１又は２に記載の画像合成装置。
【請求項４】
前記動被写体ブレ除去処理は、前記対象画像の前記動被写体領域に対応する画素及び前記第２画像の前記動被写体領域に対応する画素に対して、一方の画素値を他方の画素値で上書きする処理である、請求項１〜３の何れか一項に記載の画像合成装置。
【請求項５】
前記動被写体ブレ除去処理は、前記対象画像の前記動被写体領域に対応する画素の輝度値及び前記第２画像の前記動被写体領域に対応する画素の輝度値を比較し、高い方の輝度値で低い方の輝度値を上書きする処理である、請求項４に記載の画像合成装置。
【請求項６】
前記動被写体ブレ除去処理は、所定の度合いでぼかされた合成マスクを用いて前記対象画像の前記動被写体領域に対応する画素及び前記第２画像の前記動被写体領域に対応する画素を合成する処理を含む、請求項４に記載の画像合成装置。
【請求項７】
前記合成部は、前記動被写体ブレ除去処理の後において、前記対象画像及び前記第２画像の輝度値の差分に応じて決定される混合比を用いて、前記対象画像及び前記第２画像を合成する請求項１〜６の何れか一項に記載の画像合成装置。
【請求項８】
前記対象画像は、前記第１画像又は前記第３画像である請求項１〜７の何れか一項に記載の画像合成装置。
【請求項９】
同一被写体が撮像された一連の複数の画像のうち少なくとも２枚の画像を合成して合成画像を生成する画像合成方法であって、
第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて前記第１露出条件で撮像された第３画像を含む前記複数の画像を取得する取得ステップと、
前記第１画像と前記第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出ステップと、
前記複数の画像から選択された対象画像と前記第２画像とを合成して前記合成画像を生成する合成ステップと、
を備え、
前記合成ステップは、前記対象画像及び前記第２画像の前記動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、前記動被写体ブレ除去処理後に前記対象画像と前記第２画像とを合成するステップを含む、
画像合成方法。
【請求項１０】
同一被写体が撮像された一連の複数の画像のうち少なくとも２枚の画像を合成して合成画像を生成するようにコンピュータを動作させる画像合成プログラムであって、
前記画像合成プログラムは、前記コンピュータを、
第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて前記第１露出条件で撮像された第３画像を含む前記複数の画像を取得する取得部、
前記第１画像と前記第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出部、並びに、
前記複数の画像から選択された対象画像と前記第２画像とを合成して前記合成画像を生成する合成部として動作させ、
前記合成部は、前記対象画像の前記動被写体領域に対応する画素及び前記第２画像の前記動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、前記動被写体ブレ除去処理後に前記対象画像と前記第２画像とを合成する、
画像合成プログラム。
【請求項１１】
同一被写体が撮像された一連の複数の画像のうち少なくとも２枚の画像を合成して合成画像を生成するようにコンピュータを動作させる画像合成プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記画像合成プログラムは、前記コンピュータを、
第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて前記第１露出条件で撮像された第３画像を含む前記複数の画像を取得する取得部、
前記第１画像と前記第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出部、並びに、
前記複数の画像から選択された対象画像と前記第２画像とを合成して前記合成画像を生成する合成部として動作させ、
前記合成部は、前記対象画像の前記動被写体領域に対応する画素及び前記第２画像の前記動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、前記動被写体ブレ除去処理後に前記対象画像と前記第２画像とを合成する、
記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
特許文献１は、合成画像における動被写体のブレを補正する装置を開示する。この装置は、基準画像と比較画像との間の動きデータを算出する。次に、この装置は、基準画像と比較画像との画素値の差分を、動きデータによって対応付けられるブロックごとに算出する。次に、この装置は、画素値の差分に基づいて基準画像に対する比較画像の重ね合わせ比率をブロックごとに算出する。次に、この装置は、動きデータおよび重ね合わせ比率を用いて比較画像を基準画像に重ね合わせて合成画像を生成する。このように、特許文献１記載の装置は、合成する２枚の画像の露出が同一であるという前提で、画素値の差分を算出している。
【０００３】
特許文献２は、ハイダイナミックレンジ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）合成画像における動被写体のブレを補正する装置を開示する。この装置は、第１画像と第２画像との露出を合わせる前に、第１画像と第２画像との差分に基づいて各画素における動被写体尤度を算出する。次に、この装置は、動被写体尤度に基づいて第１画像と第２画像との露出を合わせる露出変換関数を推定する。次に、この装置は、第１画像及び第２画像の差分に基づいて各画素における動被写体尤度を算出し、該動被写体尤度及び露出変換関数を用いて第１画像及び第２画像を合成する。具体的には、第１画像及び第２画像の画素値全体を露出が一致するように補正した上で、第１画像及び第２画像の合成比を調整する。このように、特許文献２記載の装置は、合成する２枚の画像の露出が異なるため、画像全体を同一パラメータで補正して両者の露出を合わせた上で、画素値の差分を算出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２００９０１８５７２１号明細書
【特許文献２】米国特許出願公開第２０１４０２１２０６５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、フラッシュ光を被写体に照射してフラッシュ撮像を行った場合、フラッシュ光が当たった領域が部分的に明るくなる。つまり、フラッシュ撮像による画像は、同一画像内であっても露出の異なる領域を含む。このような露出の異なる領域を含む画像と通常撮像による画像とを合成する場合、特許文献１記載の装置はもちろん、特許文献２記載の装置であっても、両者の画像間の画素値の差分が、露出の違いによって生じたものであるのか、動被写体の移動によって生じたものであるのかを区別することができない。
【０００６】
本技術分野では、露出の異なる領域を含む画像と通常撮像による画像とを合成する場合であっても動被写体ブレを抑制することができる画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体が望まれている。
【課題を解決するための手段】
【０００７】
本発明の一側面に係る画像合成装置は、同一被写体が撮像された一連の複数の画像のうち少なくとも２枚の画像を合成して合成画像を生成する画像合成装置であって、第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて第１露出条件で撮像された第３画像を含む複数の画像を取得する取得部と、第１画像と第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出部と、複数の画像から選択された対象画像と第２画像とを合成して合成画像を生成する合成部と、を備え、合成部は、対象画像の動被写体領域に対応する画素及び第２画像の動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、動被写体ブレ除去処理後に対象画像と第２画像とを合成する。
【０００８】
この画像合成装置では、一連の複数の画像のうち同一の露出条件（第１露出条件）で撮像された２枚の画像を用いて動被写体領域が決定され、決定された動被写体領域が、動被写体領域を決定する際に用いた画像を撮像した露出条件とは異なる露出条件（第２露出条件）で撮像された画像を合成する際に用いられる。このように、この装置は、一連の複数の画像のうち同一の露出条件で撮像された画像同士を用いることで動被写体領域を精度良く決定することができる。つまり、画像全体において部分的に露出が異なる領域が存在したとしても、同一の露出条件で撮像された画像同士であれば、露出が異なる領域が同様に現れるため、動被写体領域を精度良く決定することができる。動被写体領域を精度良く決定することができることから、結果としてこの装置は、露出の異なる領域を含む画像と通常撮像による画像とを合成する場合であっても動被写体ブレを抑制することができる。
【０００９】
一実施形態において、第１画像及び第３画像はフラッシュ光を照射せずに撮影された画像であり、第２画像はフラッシュ光を照射して撮影された画像でもよい。この場合、第１画像及び第３画像は、第２画像と異なる露出となる。このような場合であっても、この装置は動被写体ブレを抑制することができる。また、第１露出条件及び第２露出条件の何れか一方を、フラッシュ光を照射して撮像する条件とする場合、第２露出条件をフラッシュ光を照射して撮像する条件とした方が、フラッシュを短時間で連続発光することが困難である撮像装置にも適用することができる。
【００１０】
一実施形態において、第２タイミングは第１タイミングの後であり、第３タイミングは第２タイミングの後でもよい。この場合、第１画像、第２画像及び第３画像の順に撮像される。つまり、第２画像の撮像タイミングの前後の画像を用いて動被写体領域が検出されるため、第２画像における動被写体領域の位置精度を高めることができる。
【００１１】
一実施形態において、動被写体ブレ除去処理は、対象画像の動被写体領域に対応する画素及び第２画像の動被写体領域に対応する画素に対して、一方の画素値を他方の画素値で上書きする処理であってもよい。このように構成することで、この装置は、動被写体ブレを抑制することができる。
【００１２】
一実施形態において、動被写体ブレ除去処理は、対象画像の動被写体領域に対応する画素の輝度値及び第２画像の動被写体領域に対応する画素の輝度値を比較し、高い方の輝度値で低い方の輝度値を上書きする処理であってもよい。このように構成することで、背景に映りこんだ動被写体によって生じる動被写体ブレを抑制することができる。
【００１３】
一実施形態において、動被写体ブレ除去処理は、所定の度合いでぼかされた合成マスクを用いて対象画像の動被写体領域に対応する画素及び第２画像の動被写体領域に対応する画素を合成する処理を含んでもよい。このように構成することで、この装置は、合成マスクの境界が不自然になることを抑制することができる。
【００１４】
一実施形態において、合成部は、動被写体ブレ除去処理の後において、対象画像及び第２画像の輝度値の差分に応じて決定される混合比を用いて、対象画像及び第２画像を合成してもよい。このように構成することで、この装置は、対象画像と第２画像の輝度差を反映させて合成することができる。例えば夜間に人物をフラッシュ撮像した場合に、この装置は、フラッシュ光により明るく見える人物と、フラッシュ光を利用しないことにより明るく見える背景とを合成することができる。
【００１５】
一実施形態において、対象画像は、第１画像又は第３画像でもよい。このように構成することで、この装置は、動被写体領域を検出した画像そのものを合成の対象とすることができるので、動被写体領域の位置精度を高めることができる。
【００１６】
本発明の他の側面に係る画像合成方法は、同一被写体が撮像された一連の複数の画像のうち少なくとも２枚の画像を合成して合成画像を生成する画像合成方法であって、第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて第１露出条件で撮像された第３画像を含む複数の画像を取得する取得ステップと、第１画像と第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出ステップと、複数の画像から選択された対象画像と第２画像とを合成して合成画像を生成する合成ステップと、を備え、合成ステップは、対象画像及び第２画像の動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、動被写体ブレ除去処理後に対象画像と第２画像とを合成するステップを含む。
【００１７】
本発明の他の側面に係る画像合成プログラムは、同一被写体が撮像された一連の複数の画像のうち少なくとも２枚の画像を合成して合成画像を生成するようにコンピュータを動作させる画像合成プログラムであって、画像合成プログラムは、コンピュータを、第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて第１露出条件で撮像された第３画像を含む複数の画像を取得する取得部、第１画像と第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出部、並びに、複数の画像から選択された対象画像と第２画像とを合成して合成画像を生成する合成部として動作させ、合成部は、対象画像の動被写体領域に対応する画素及び第２画像の動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、動被写体ブレ除去処理後に対象画像と第２画像とを合成する。
【００１８】
本発明の他の側面に係る記憶媒体は、同一被写体が撮像された一連の複数の画像のうち少なくとも２枚の画像を合成して合成画像を生成するようにコンピュータを動作させる画像合成プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体であって、画像合成プログラムは、コンピュータを、第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて第１露出条件で撮像された第３画像を含む複数の画像を取得する取得部、第１画像と第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出部、並びに、複数の画像から選択された対象画像と第２画像とを合成して合成画像を生成する合成部として動作させ、合成部は、対象画像の動被写体領域に対応する画素及び第２画像の動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、動被写体ブレ除去処理後に対象画像と第２画像とを合成する。
【００１９】
上述した画像合成方法、画像合成プログラム及び記憶媒体は、上述した画像合成装置と同一の効果を奏する。
【発明の効果】
【００２０】
本発明の種々の側面及び実施形態によれば、露出の異なる領域を含む画像と通常撮像による画像とを合成する場合であっても動被写体ブレを抑制することができる画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体が提供される。
【図面の簡単な説明】
【００２１】
【図１】実施形態に係る画像合成装置を搭載した携帯端末の機能ブロック図である。
【図２】実施形態に係る画像合成装置を搭載した携帯端末のハードウェア構成図である。
【図３】一連の複数の画像の一例である。
【図４】動被写体領域及び合成マスクの一例である。
【図５】合成時の混合比の一例である。
【図６】動被写体ブレを補正した画像、及び動被写体ブレを補正していない画像の一例である。
【図７】実施形態に係る合成画像装置の合成処理のフローチャートである。
【発明を実施するための形態】
【００２２】
以下、添付図面を参照して実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
【００２３】
本実施形態に係る画像合成装置１は、同一被写体が撮像された一連の複数の画像のうち少なくとも２枚の画像を合成して合成画像を生成する装置である。より具体的な一例として、本実施形態に係る画像合成装置１は、夜間であっても人物と背景との両方を明るく写すために、フラッシュ撮影した画像と通常撮影した画像とを合成する装置である。
【００２４】
画像合成装置１は、例えば、携帯電話、デジタルカメラ、ＰＤＡ（Personal  Digital  Assistant）等、リソースに制限のあるモバイル端末に搭載される。しかし、画像合成装置１は、モバイル端末に搭載される場合に限定されず、例えば通常のコンピュータシステムに搭載されてもよい。また、画像合成装置１は、撮像装置に組み込まれるいわゆるオンチップＩＳＰ（Image  Signal  Processor）でもよい。以下では、一例として、携帯端末に搭載される画像合成装置１を説明する。
【００２５】
図１は、画像合成装置１を搭載した携帯端末２の機能ブロック図である。携帯端末２は、例えばユーザにより携帯される移動端末であり、図２に示されるハードウェア構成を有する。図２に示されるように、携帯端末２は、物理的には、ＣＰＵ（Central  Processing  Unit）１００、ＲＡＭ（Random  Access  Memory）１０１及びＲＯＭ（Read  Only  Memory）１０２等の主記憶装置、カメラ又はキーボード等の入力デバイス１０３、ディスプレイ、発光装置等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５等を含む通常のコンピュータシステムとして構成される。後述する携帯端末２及び画像合成装置１の各機能は、ＣＰＵ１００、ＲＡＭ１０１、ＲＯＭ１０２等のハードウェア上に所定のソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させると共に、主記憶装置又は補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末２のハードウェア構成として説明したが、画像合成装置１がＣＰＵ１００、ＲＡＭ１０１及びＲＯＭ１０２等の主記憶装置、入力デバイス１０３、出力デバイス１０４、補助記憶装置１０５等を含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末２は、通信モジュール等を備えてもよい。
【００２６】
図１に戻り、携帯端末２は、機能的には、撮像部２０、記憶部２１、フラッシュ部２２、表示部２３、及び、画像合成装置１を備える。
【００２７】
撮像部２０は、撮像することにより画像を生成する。撮像部２０は、ＣＰＵ１００がＲＡＭ１０１又はＲＯＭ１０２内のプログラムを実行し、該プログラムに従ってカメラ等の入力デバイス１０３又は出力デバイス１０４を制御することで実現される。
【００２８】
記憶部２１は、画像又はカメラに関する情報を記憶する。記憶部２１は、主記憶装置又は補助記憶装置１０５に対応する。フラッシュ部２２はフラッシュ光を撮像方向に向けて照射する。フラッシュ部２２は、発光装置などの出力デバイス１０４に対応する。
【００２９】
撮像部２０は、入力デバイス１０３又は出力デバイス１０４を動作させて、撮像することにより画像を生成する。撮像部２０は、一例として、記憶部２１に格納された撮像条件を参照して、画像を生成する。撮像条件は、入力デバイス１０３又は出力デバイス１０４の動作条件である。より具体的には、撮像条件は、カメラの絞り設定、シャッタースピード設定、フラッシュ部２２の発光設定、連写撮影等のカメラ設定情報である。撮像条件は、ユーザ操作等により設定された条件でもよいし、初期設定として予め記憶部２１に記憶されていてもよい。撮像条件は、露出条件を含んでもよい。露出条件とは、画像の露出に影響を与えるカメラ設定値であり、具体的な一例としては、ＥＶ値、カメラの絞り設定、シャッタースピード設定、フラッシュ部２２の発光設定などである。
【００３０】
撮像部２０は、撮像条件に基づいてフラッシュ部２２のフラッシュ光を利用して撮像する場合、画像の露出を調整する。撮像部２０は、フラッシュ光を利用して得られた画像がいわゆる白とび領域を含まないように、画像の露出を調整する。より具体的な一例として、撮像部２０は、撮影に応じてカメラのＥＶ値を変更する。撮像部２０は、任意の方法を利用してカメラのＥＶ値を変更する。例えば、撮像部２０は、プレ発光による測光を行ってカメラのＥＶ値を設定してもよいし、カメラのＥＶ値を予め設定された値としてもよい。
【００３１】
撮像部２０は、複数の画像又は動画像を撮像する。複数の画像は、同一被写体が撮像された一連の複数の画像である。一連とは、時系列で連続していることをいう。複数の画像は、少なくとも３枚の画像である。複数の画像は、第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて第１露出条件で撮像された第３画像を含む。
【００３２】
第１タイミング、第２タイミング及び第３タイミングは同一タイミングではなく、それぞれ異なるタイミングとなる。一例として、第２タイミングは第１タイミングの後であり、第３タイミングは第２タイミングの後である。この場合、第１画像、第２画像及び第３画像は、この順で撮像された画像となる。また、第１画像と第３画像とは同一の露出条件で撮像された画像であるため、第１画像と第３画像とは同一の露出となる。第２画像は、第１画像及び第２画像とは異なる露出条件で撮像された画像であるため、第２画像のみ異なる露出となる。一例として、第１画像及び第３画像は、フラッシュ光を照射せずに撮影された画像（通常撮影画像）であり、第２画像はフラッシュ光を照射して撮影された画像（フラッシュ撮影画像）である。撮像部２０は、撮像された画像を記憶部２１に記憶する。
【００３３】
図３は、一連の複数の画像の一例である。図３において、（Ａ）は第１画像Ｇ１、（Ｂ）は第２画像Ｇ２、（Ｃ）は第３画像Ｇ３である。第１画像Ｇ１、第２画像Ｇ２及び第３画像Ｇ３の順に、同一の被写体である人物４０を撮像した画像である。人物４０の背景には、動きのある車両４１と静止している外灯４２が写り込んでいる。第１画像Ｇ１及び第３画像Ｇ３は、夜間における通常撮影画像である。このため、人物４０よりも背景に写された車両４１のヘッドライトや外灯４２の方が明るく写されている。一方、第２画像は、夜間におけるフラッシュ撮影画像である。このため、人物４０の方が背景よりも明るく写されており、逆に背景の車両４１及び外灯４２が暗く写されている。
【００３４】
表示部２３は、ユーザ操作等に応じて画像を表示する。表示部２３は、記憶部２１に記憶された撮像画像を表示してもよいし、メニュー画面などを表示して撮影条件に関するユーザ操作を受け付けてもよい。表示部２３は、例えばディスプレイ等の出力デバイス１０４に対応する。
【００３５】
画像合成装置１は、取得部１０、領域検出部１１及び合成部１２を有する。取得部１０は、記憶部２１を参照して、同一被写体が撮像された一連の複数の画像を取得する。取得部１０は、少なくとも３枚の画像を取得する。複数の画像は、同一の撮像条件（同一の露出条件）となる少なくとも２枚の画像（第１画像、第３画像）と、２枚の画像とは撮像条件（露出条件）の異なる少なくとも１枚の画像（第２画像）が含まれる。図３の例では、通常撮影画像である第１画像Ｇ１、フラッシュ撮影画像である第２画像Ｇ２、及び、通常撮影画像である第３画像Ｇ３が取得される。
【００３６】
複数の画像に第１画像Ｇ１、第２画像Ｇ２及び第３画像Ｇ３が含まれるという条件については、これらの画像に関連付けられた撮像条件に基づいて判定される。この条件は、取得部１０により判定されてもよいし、領域検出部１１により判定されてもよい。
【００３７】
領域検出部１１は、取得部１０により取得された第１画像Ｇ１と第３画像Ｇ３との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する。この動被写体領域の検出は、第１画像Ｇ１の各画素と第３画像Ｇ３の各画素との差分を解像度ごとに算出し、解像度ごとに得られた差分を重み付けすることによって各画素の動被写体領域を算出することとしてもよい。このようにすることで、領域検出部１１は、動被写体領域の検出処理に要する時間を短縮することができるとともに、動被写体領域に穴あき状のムラが生じること、及び、いびつな合成画像を生成することを回避することができる。
【００３８】
領域検出部１１が比較に用いる画素値とは、画像を構成する画素に対応づけられた値であり、例えば輝度値又はエッジ情報などである。画素値の比較とは、例えば画素値の差分を算出することである。カメラ位置が固定されていない場合には、領域検出部１１は、第１画像Ｇ１と第３画像Ｇ３との位置合わせを行った後に、画素値の比較を行う。第１画像Ｇ１と第３画像Ｇ３との位置合わせは、例えば第１画像Ｇ１と第３画像Ｇ３との画素値の差分を算出し、差分によって把握される動きベクトルを用いて行われる。
【００３９】
第１画像Ｇ１が撮像された第１タイミングから第３画像Ｇ３が撮像された第３タイミングまでの間において被写体が移動した場合、第１画像Ｇ１における被写体位置は、第３画像Ｇ３における被写体位置と異なる。このため、領域検出部１１は、第１画像Ｇ１と第３画像Ｇ３との画素値を比較することで、動被写体領域を検出することができる。
【００４０】
図４は、動被写体領域の一例である。（Ａ）及び（Ｂ）に示されるように、第１画像Ｇ１と第３画像Ｇ３とを比較すると、第１画像Ｇ１において車両４１に起因した動被写体領域Ｒ１、第３画像Ｇ３において車両４１に起因した動被写体領域Ｒ２を検出することができる。動被写体領域Ｒ１及び動被写体領域Ｒ２は、画素値の差分が所定値以上となる画素領域に対して、ある程度のマージンを含めて設定されてもよい。なお、第１画像Ｇ１又は第３画像Ｇ３において、画像全体の領域に対して動被写体領域が占める領域が所定値（例えば３０％）以上である場合には、合成処理を行っても好ましい合成画像を得ることができないおそれがある。この場合、合成処理を行わなくてもよいし、または、合成処理を行うべきでない旨をユーザに報知する等の処理を行ってもよい。
【００４１】
合成部１２は、フラッシュ撮影画像と通常撮影画像である対象画像とを合成する。合成対象のフラッシュ撮影画像としては第２画像Ｇ２が選択される。合成対象の通常撮影画像としては、第１画像Ｇ１又は第３画像Ｇ３が選択される。なお、４枚以上の連写により、通常撮影画像の第４画像Ｇ４が取得されている場合には、第４画像Ｇ４を対象画像として選択してもよい。つまり、合成部１２は、同一被写体が撮像された一連の複数の画像であって、通常撮影画像である画像の中から任意の一枚を対象画像として選択することができる。なお、動被写体領域の検出に用いた画像を対象画像に選択することにより、動被写体領域の精度が向上するため、動被写体ブレの除去をより頑強に行うことができる。
【００４２】
合成部１２は、対象画像の動被写体領域に対応する画素及び第２画像Ｇ２の動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、動被写体ブレ除去処理後に対象画像と第２画像Ｇ２とを合成する。動被写体ブレ除去処理の一例として、合成部１２は、合成マスクを生成する。この合成マスクは、領域検出部１１によって検出された動被写体領域で構成される。図４の（Ｃ）は、（Ａ）及び（Ｂ）の動被写体領域Ｒ１、動被写体領域Ｒ２をマスクする合成マスクの一例である。合成部１２は、合成マスクを用いて、対象画像の動被写体領域に対応する画素及び第２画像Ｇ２の動被写体領域に対応する画素を合成する。合成部１２は、この合成マスクによって指定される第２画像Ｇ２及び対象画像の画素値について、一方の画素値を他方の画素値で上書きする。これにより、動被写体ブレの除去が完了する。以降の説明の簡易化のため、上書きされた側の画像を第２画像Ｇ２とする。
【００４３】
動被写体ブレを除去した後、合成部１２は、上書きされた第２画像Ｇ２と対象画像の各画素を用いて、両画像の輝度値の差分に応じて決定される混合比に基づいてブレンドする。具体的には、合成部１２は、図５のグラフで示すような混合比で混合を行う。図５のグラフは、横軸がフラッシュ撮影画像である第２画像Ｇ２の輝度値と通常撮影画像である対象画像の輝度値との差分であり、縦軸がフラッシュ撮影画像である第２画像Ｇ２の重みである。
【００４４】
ここで、動被写体領域と非動被写体領域の境界部分において、合成時に違和感を発生させないために、合成マスクを所定の度合いでぼかしてもよい。この場合、上述の動被写体ブレの除去処理において、合成マスクの境界部分については、ぼかされたマスク値（度合い）に応じたブレンディングが上書きの代わりに施されることになる。つまり、動被写体領域に対応する画素について、対象画像と第２画像Ｇ２との混合比がマスク値に応じて決定される。
【００４５】
更に、合成部１２は、上書き対象となる画像を、当該二画像の比較結果に基づいて動的に決定することとしてもよい。この場合、全ての動被写体領域についての上書き対象となる画像を同一としてもよいし、動被写体領域ごとに個別に決定してもよい。後者の場合においては、例えば、各動被写体領域について、第２画像Ｇ２と対象画像のうち、暗いと判定された画像を上書き対象となる画像と決定する。その判定に際しては、例えば、そのマスク内にある各画素の輝度値の合計を比較し、その合計値の低い方を上書き対象画像とする、といった手法が挙げられるが、その手法は特に限定されない。従って、動被写体領域が複数ある場合には、第２画像Ｇ２と対象画像との両方が上書き修正される可能性がある。
【００４６】
図６は、動被写体ブレを補正した画像、及び動被写体ブレを補正していない画像の一例である。図６の（Ａ）は、図４の（Ｃ）に示された合成マスクを用いて補正した例である。動被写体領域Ｒ１及び動被写体領域Ｒ２に対応する領域は、領域単位で第１画像Ｇ１が選択されている。このため、合成画像ＧＲ１は、動被写体ブレの発生が回避されている。一方、図６の（Ｂ）は、被写体ブレを補正していない例である。図６の（Ａ）に示す車両４１は、第１画像Ｇ１及び第２画像Ｇ２の合成になっている。このように、合成画像ＧＲ２には、被写体ブレが発生している。合成部１２は、合成画像を記憶部２１に記憶する。
【００４７】
次に、画像合成装置１による画像合成方法について説明する。図７は、画像合成装置１の合成処理のフローチャートである。図７に示されるフローチャートは、画像処理を要求するユーザ操作を受け付けたタイミングで実行される。
【００４８】
画像合成装置１の取得部１０は、画像取得処理（Ｓ１０：取得ステップ）として、記憶部２１を参照して、同一被写体が撮像された一連の複数の画像を取得する。次に、画像合成装置１の領域検出部１１は、位置合わせ処理（Ｓ１２）として、一連の複数の画像について位置合わせをおこなう。位置合わせの手法は特に限られず、例えば、米国特許第７８４７８２３号に開示されている手法や、単にブロックマッチング等の従来ある手法を適用可能であり、その手法は特に限定されない。次に、領域検出部１１は、検出処理（Ｓ１４：領域検出ステップ）として、所定値以上の差分となる画素位置に基づいて動被写体領域を検出する。次に、画像合成装置１の合成部１２は、合成処理（Ｓ１６：合成ステップ）として、動被写体ブレを除去するとともに、合成を行う。合成部１２は、出力処理（Ｓ１８）として、合成画像を出力する。
【００４９】
次に、携帯端末２（コンピュータ）を画像合成装置１として機能させるための画像合成プログラムについて説明する。
【００５０】
画像合成プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、画像を取得するように携帯端末２を動作させる。演算処理モジュールは、取得モジュール、領域検出モジュール及び合成モジュールを有する。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した画像合成装置１の取得部１０、領域検出部１１及び合成部１２の機能とそれぞれ同様である。画像合成プログラムは、例えば、ＲＯＭ等の非一時的なコンピュータ読み取り可能な記憶媒体又は半導体メモリによって提供される。
【００５１】
以上、本実施形態に係る画像合成装置１では、一連の複数の画像のうち同一の露出条件（第１露出条件）で撮像された２枚の画像を用いて動被写体領域が決定され、決定された動被写体領域が、動被写体領域を決定する際に用いた画像を撮像した露出条件とは異なる露出条件（第２露出条件）で撮像された画像を合成する際に用いられる。
【００５２】
異なる露出条件で撮像された画像同士で画素値が比較されると、露出条件の違いにより画素値が画像間で異なるのか、動被写体が存在するために画素値が画像間で異なるのか、判断することができない。例えば、フラッシュ撮影画像と通常撮影画像とを比較しようとしても、露出条件の違いにより、画像全体に差分のある領域が出現してしまうおそれがある。また、フラッシュ撮影画像は、フラッシュ光が照射された部分が明るくなることから、フラッシュ撮影画像内であっても露出の異なる領域が存在することになる。
【００５３】
これに対して、本実施形態に係る画像合成装置１では、一連の複数の画像のうち同一の露出条件で撮像された画像同士を用いることで動被写体領域を精度良く決定することができる。つまり、画像全体において部分的に露出が異なる領域が存在したとしても、同一の露出条件で撮像された画像同士であれば、露出が異なる領域が同様に現れるため、動被写体領域を精度良く決定することができる。動被写体領域を精度良く決定することができることから、結果としてこの装置は、露出の異なる領域を含む画像と通常撮像による画像とを合成する場合であっても動被写体ブレを抑制することができる。
【００５４】
また、本実施形態に係る画像合成装置１は、第２画像Ｇ２の撮像タイミングの前後の画像を用いて動被写体領域を検出することにより、第２画像Ｇ２における動被写体領域の位置精度を高めることができる。
【００５５】
また、本実施形態に係る画像合成装置１は、動被写体ブレ除去処理として、高い方の輝度値で低い方の輝度値を上書き処理することで、背景に映りこんだ動被写体によって生じる動被写体ブレを抑制することができる。なお、低い方の輝度値で上書きすることとしてもよい。ただし、本実施形態では後段の合成処理Ｓ１６において参照画像の輝度値と第２画像の輝度値の高い方を優先的に合成することに対応して、動被写体ブレ除去処理においても高い方の輝度値で上書き処理することが望ましい。
【００５６】
また、本実施形態に係る画像合成装置１は、動被写体領域を検出した画像そのものを合成の対象とすることにより、動被写体領域の位置精度を高めることができる。
【００５７】
また、本実施形態に係る画像合成装置１は、少なくとも１回のフラッシュ光の照射だけでよく、フラッシュを短時間で連続発光することが困難である撮像装置にも適用することができる。また、本実施形態に係る画像合成装置１は、合成マスクを用いることで、動被写体領域に対応する画素を効率良く選択し、合成することができる。また、本実施形態に係る画像合成装置１は、動被写体ブレ除去処理として、一方の画素値を他方の画素値で上書きする処理をすることで、動被写体ブレを抑制することができる。また、本実施形態に係る画像合成装置１は、所定の度合いでぼかされた合成マスクを用いて動被写体ブレ除去処理を行うため、合成マスクの境界が不自然になることを抑制することができる。また、本実施形態に係る画像合成装置１は、対象画像と第２画像の輝度差を反映させて合成することができる。
【００５８】
なお、上述した実施形態は本発明に係る画像合成装置の一例を示すものである。本発明に係る画像合成装置は、実施形態に係る画像合成装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像合成装置を変形し、又は他のものに適用したものであってもよい。
【００５９】
例えば、第２露出条件には、フラッシュ光に代えて、スポット光源等から照射される別の光を含むこととしてもよい。また、第１露出条件はフラッシュ光を照射して撮像する条件であり、第２露出条件はフラッシュ光を照射せずに撮像する条件である、としてもよい。
【００６０】
また、上述した実施形態では、フラッシュ撮影画像と通常撮影画像との合成を説明したが、合成処理はどのような処理であってもよい。例えば、ハイダイナミックレンジ合成画像を生成する合成処理であってもよい。
【００６１】
また、上述した実施形態では、第１露出条件で２枚の画像を撮像することとしているが、全く同一の露出で２枚の画像を撮像することが困難な場合がある。そのような場合には、位置合わせ処理（Ｓ１２）後に一方の画像を他方の画像に合わせるように輝度補正又は色味補正を行い、その後の処理を行うこととしてもよい。
【符号の説明】
【００６２】
１…画像合成装置、１０…取得部、１１…領域検出部、１２…合成部。
【図１】
2017201455.tif 000003
【図２】
2017201455.tif 000004
【図３】
2017201455.tif 000005
【図４】
2017201455.tif 000006
【図５】
2017201455.tif 000007
【図６】
2017201455.tif 000008
【図７】
2017201455.tif 000009