(57)【要約】【課題】複数枚の撮影画像を用いて、より自然な合成画像を容易に生成する。【解決手段】撮影画像選択部１２０は、連続して撮影された複数枚の撮影画像の中から、被置換撮影画像と置換側撮影画像とを選択する。多重解像度分解部１３２は、置換側撮影画像内の置換領域外周周辺領域を少なくとも含む第１の領域と、被置換撮影画像内の被置換領域外周周辺領域を少なくとも含む第２の領域とを多重解像度に分解する。置換処理部１３３は、多重解像度分解部１３２で分解して得られた各周波数成分に対して、第２の領域の少なくとも一部の領域を、第１の領域の少なくとも一部の領域で置き換える。合成画像生成部１３０は、置換処理部１３３で置き換えが行われた各周波数成分を再構成する第１の処理、又は第１の処理で得られた再構成画像と置換領域内の画像とを合成する第２の処理によって、合成画像を生成する。【選択図】図３
2014215694.tif 000002
【特許請求の範囲】
【請求項１】
連続して撮影された複数枚の撮影画像の中から、画像の置き換えが行われる側の被置換撮影画像と、前記画像を置き換える側の置換側撮影画像とを選択する撮影画像選択部と、
前記置換側撮影画像内の置換領域の外周周辺の領域である置換領域外周周辺領域を少なくとも含む第１の領域と、前記被置換撮影画像内の被置換領域の外周周辺の領域である被置換領域外周周辺領域を少なくとも含む第２の領域とを多重解像度に分解する多重解像度分解部と、
前記多重解像度分解部で分解して得られた各周波数成分において、前記第２の領域の少なくとも一部の領域を、前記第１の領域の少なくとも一部の領域で置き換える置換処理部と、
前記置換処理部で置き換えが行われた前記各周波数成分を再構成する第１の処理、又は前記第１の処理で得られた再構成画像と前記置換領域内の画像とを合成する第２の処理によって、合成画像を生成する合成画像生成部とを備えた
画像処理装置。
【請求項２】
前記被置換領域外周周辺領域、及び前記置換領域外周周辺領域とは、前記被置換領域の外周と前記置換領域の外周を中心としてその内周側及び外周側に形成される領域であり、前記内周側に形成される内周側領域と前記外周側に形成される外周側領域とは、それぞれ、前記多重解像度分解部で用いられるフィルタのフィルタ長の少なくとも１．５倍の長さを幅として有する
請求項１に記載の画像処理装置。
【請求項３】
前記多重解像度分解部は、離散ウェーブレット変換によって、前記第１の領域と前記第２の領域とを多重解像度に分解する
請求項２に記載の画像処理装置。
【請求項４】
前記複数枚の撮影画像の中から、人物の顔の部分、及び前記顔の部位の部分を検出する顔検出部と、
前記顔検出部が検出した前記顔の部位の画像を解析してその表情を推定する表情推定部とをさらに備え、
前記撮影画像選択部は、前記表情推定部によって前記表情が良いと推定された前記顔の部分を少なくとも含む前記撮影画像を前記置換側撮影画像として選択し、前記置換側撮影画像として選択されていない前記撮影画像の中から、前記被置換撮影画像を選択する
請求項３に記載の画像処理装置。
【請求項５】
前記置換側撮影画像の中から、前記置換領域として抽出する範囲を決定する置換領域範囲決定部をさらに備え、
前記置換領域範囲決定部は、前記顔検出部で検出された前記顔部分全体を含み、かつ前記顔部分全体より広い所定の範囲を、前記置換領域として抽出する範囲と決定する
請求項４に記載の画像処理装置。
【請求項６】
前記置換領域範囲決定部は、前記顔検出部が検出した前記顔の両目の部分の間隔に基づいて算出された顔の横幅と縦幅を、それぞれ少なくとも１．５倍して得られる短径と長径とを有する楕円で囲われる範囲を、前記置換領域として抽出する範囲に決定する
請求項５に記載の画像処理装置。
【請求項７】
前記多重解像度分解部は、前記第１の領域としての前記置換領域外周周辺領域と、前記第２の領域としての前記被置換領域外周周辺領域とをそれぞれ多重解像度に分解し、
前記置換処理部は、前記多重解像度分解部で分解して得られた各周波数成分において、前記被置換領域外周周辺領域の前記内周側領域を前記置換領域外周周辺領域の前記外周側領域で置き換え、
前記合成画像生成部は、前記第２の処理によって前記合成画像を生成する
請求項５に記載の画像処理装置。
【請求項８】
前記多重解像度分解部は、前記第１の領域としての置換側撮影画像全体と、前記第２の領域としての被置換撮影画像全体とを多重解像度に分解し、
前記置換処理部は、前記多重解像度分解部で分解して得られた各周波数成分に対して、前記被置換領域を前記置換領域で置き換え、
前記合成画像生成部は、前記第１の処理によって前記合成画像を生成する
請求項５に記載の画像処理装置。
【請求項９】
前記多重解像度分解部は、非間引きウェーブレット変換によって、前記第１の領域と前記第２の領域とを多重解像度に分解する
請求項５に記載の画像処理装置。
【請求項１０】
連続して撮影された複数枚の撮影画像の中から、画像の置き換えが行われる側の被置換撮影画像と、前記画像を置き換える側の置換側撮影画像とを選択するステップと、
前記置換側撮影画像内の置換領域の外周周辺の領域である置換領域外周周辺領域を少なくとも含む第１の領域と、前記被置換撮影画像内の被置換領域の外周周辺の領域である被置換領域外周周辺領域を少なくとも含む第２の領域とを多重解像度に分解するステップと、
前記多重解像度に分解して得られた各周波数成分において、前記第２の領域の少なくとも一部の領域を、前記第１の領域の少なくとも一部の領域で置き換えるステップと、
前記置き換えが行われた前記各周波数成分を再構成する第１の処理、又は前記第１の処理で得られた再構成画像と前記置換領域内の画像とを合成する第２の処理によって、合成画像を生成するステップとを含む
画像処理方法。
【請求項１１】
連続して撮影された複数枚の撮影画像の中から、画像の置き換えが行われる側の被置換撮影画像と、前記画像を置き換える側の置換側撮影画像とを選択するステップと、
前記置換側撮影画像内の置換領域の外周周辺の領域である置換領域外周周辺領域を少なくとも含む第１の領域と、前記被置換撮影画像内の被置換領域の外周周辺の領域である被置換領域外周周辺領域を少なくとも含む第２の領域とを多重解像度に分解するステップと、
前記多重解像度に分解して得られた各周波数成分において、前記第２の領域の少なくとも一部の領域を、前記第１の領域の少なくとも一部の領域で置き換えるステップと、
前記置き換えが行われた前記各周波数成分を再構成する第１の処理、又は前記第１の処理で得られた再構成画像と前記置換領域内の画像とを合成する第２の処理によって、合成画像を生成するステップとをコンピュータに実行させる
プログラム。
【請求項１２】
複数枚の撮影画像を連続して撮影する撮像部と、
前記撮像部で撮影された複数枚の撮影画像の中から、画像の置き換えが行われる側の被置換撮影画像と、前記画像を置き換える側の置換側撮影画像とを選択する撮影画像選択部と、
前記置換側撮影画像内の置換領域の外周周辺の領域である置換領域外周周辺領域を少なくとも含む第１の領域と、前記被置換撮影画像内の被置換領域の外周周辺の領域である被置換領域外周周辺領域を少なくとも含む第２の領域とを多重解像度に分解する多重解像度分解部と、
前記多重解像度分解部で分解して得られた各周波数成分において、前記第２の領域の少なくとも一部の領域を、前記第１の領域の少なくとも一部の領域で置き換える置換処理部と、
前記置換処理部で置き換えが行われた前記各周波数成分を再構成する第１の処理、又は前記第１の処理で得られた再構成画像と前記置換領域内の画像とを合成する第２の処理によって、合成画像を生成する合成画像生成部と、
前記合成画像生成部で生成された前記合成画像を記憶する記憶部とを備えた
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム及び撮像装置に関し、特に、複数の画像を合成して最適な画像を得る技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラや、撮影機能付きの携帯電話端末やタブレット端末等が普及してきており、これらのカメラを使用した撮影も日常的に行われている。ところが、１回の撮影では、撮影者の意図に即した撮影画像を得ることが難しい場合もある。特に、集合写真の撮影時等、被写体となる人物の数が多い場合には、撮影の瞬間に誰か一人が目を閉じてしまったりして、被写体全員の良い表情を一枚の写真に収めることが難しい。
【０００３】
このため、複数人の被写体を連写し、連写して得た複数枚の撮影画像を合成することより、被写体全員が良い表情をしている合成画像を生成することが行われている。例えば特許文献１には、表情評価値が最も高い顔画像領域を複数枚の撮影画像の中から抽出し、抽出した顔画像領域を、予め顔画像領域が除かれた背景画像にはめ込むことで、被写体全員が良い表情をしている合成画像を生成する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２９９２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に記載のように、顔画像領域が除かれた背景画像に、他の撮影画像から抽出した顔画像領域をはめ込む場合には、はめ込まれた顔画像領域と背景画像との間で、画像のずれが生じてしまうことが起こりうる。このような場合には、生成される合成画像が、顔画像領域と背景画像との整合が取れていない不自然なものとなってしまう。
【０００６】
特許文献１には、はめ込まれた顔画像領域と背景画像との間で位置ずれが生じた場合に、顔画像領域の合成位置や大きさを調整することにより、位置ずれを解消することも記載されている。ところが、位置ずれが解消されるまでの間、このような調整を繰り返し行うとなると、合成画像の完成までに長い時間がかかってしまう。また、顔画像領域と背景画像との位置ずれを解消できたとしても、はめ込まれた顔画像領域と背景画像との境目が線として認識されてしまうことがある。このような場合には、特許文献１に記載の技術では、合成画像における不自然さを解消することはできない。
【０００７】
本発明はかかる点に鑑みてなされたものであり、複数枚の撮影画像を用いて、より自然な合成画像を容易に生成することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、撮影画像選択部と、多重解像度分解部と、置換処理部と、合成画像生成部とを備える構成とし、各部の構成及び機能を次のようにする。撮影画像選択部は、連続して撮影された複数枚の撮影画像の中から、画像の置き換えが行われる側の被置換撮影画像と、画像を置き換える側の置換側撮影画像とを選択する。多重解像度分解部は、置換側撮影画像内の置換領域の外周周辺の領域である置換領域外周周辺領域を少なくとも含む第１の領域と、被置換撮影画像内の被置換領域の外周周辺の領域である被置換領域外周周辺領域を少なくとも含む第２の領域とを多重解像度に分解する。置換処理部は、多重解像度分解部で分解して得られた各周波数成分において、第２の領域の少なくとも一部の領域を、第１の領域の少なくとも一部の領域で置き換える。合成画像生成部は、置換処理部で置き換えが行われた各周波数成分を再構成する第１の処理、又は第１の処理で得られた再構成画像と置換領域内の画像とを合成する第２の処理によって、合成画像を生成する。
【０００９】
また、本発明の画像処理方法は、まず、連続して撮影された複数枚の撮影画像の中から、画像の置き換えが行われる側の被置換撮影画像と、画像を置き換える側の置換側撮影画像とを選択する。続いて、置換側撮影画像内の置換領域の外周周辺の領域である置換領域外周周辺領域を少なくとも含む第１の領域と、被置換撮影画像内の被置換領域の外周周辺の領域である被置換領域外周周辺領域を少なくとも含む第２の領域とを多重解像度に分解する。続いて、多重解像度に分解して得られた各周波数成分において、第２の領域の少なくとも一部の領域を、第１の領域の少なくとも一部の領域で置き換える。続いて、置き換えが行われた各周波数成分を再構成する第１の処理、又は第１の処理で得られた再構成画像と置換領域内の画像とを合成する第２の処理によって、合成画像を生成する。
【００１０】
また、本発明のプログラムは、以下の処理をコンピュータに実現させる。まず、連続して撮影された複数枚の撮影画像の中から、画像の置き換えが行われる側の被置換撮影画像と、画像を置き換える側の置換側撮影画像とを選択する。続いて、置換側撮影画像内の置換領域の外周周辺の領域である置換領域外周周辺領域を少なくとも含む第１の領域と、被置換撮影画像内の被置換領域の外周周辺の領域である被置換領域外周周辺領域を少なくとも含む第２の領域とを多重解像度に分解する。続いて、多重解像度に分解して得られた各周波数成分において、第２の領域の少なくとも一部の領域を、第１の領域の少なくとも一部の領域で置き換える。続いて、置き換えが行われた各周波数成分を再構成する第１の処理、又は第１の処理で得られた再構成画像と置換領域内の画像とを合成する第２の処理によって、合成画像を生成する。
【００１１】
また、本発明の撮像装置は、撮像部と、撮影画像選択部と、多重解像度分解部と、置換処理部と、合成画像生成部と、記憶部とを備える構成とし、各部の構成及び機能を次のようにする。撮像部は、複数枚の撮影画像を連続して撮影する。撮影画像選択部は、連続して撮影された複数枚の撮影画像の中から、画像の置き換えが行われる側の被置換撮影画像と、画像を置き換える側の置換側撮影画像とを選択する。多重解像度分解部は、置換側撮影画像内の置換領域の外周周辺の領域である置換領域外周周辺領域を少なくとも含む第１の領域と、被置換撮影画像内の被置換領域の外周周辺の領域である被置換領域外周周辺領域を少なくとも含む第２の領域とを多重解像度に分解する。置換処理部は、多重解像度分解部で分解して得られた各周波数成分において、第２の領域の少なくとも一部の領域を、第１の領域の少なくとも一部の領域で置き換える。合成画像生成部は、置換処理部で置き換えが行われた各周波数成分を再構成する第１の処理、又は第１の処理で得られた再構成画像と置換領域内の画像とを合成する第２の処理によって、合成画像を生成する。記憶部は、合成画像生成部で生成された合成画像を記憶する。
【００１２】
以上のように画像処理装置又は撮像装置を構成し、画像処理を行うことで、置換領域外周周辺領域を少なくとも含む第１の領域と、被置換領域外周周辺領域を少なくとも含む第２の領域とが、多重解像度に変換して得られた各周波数領域下で合成される。そして、合成後に再構成して得られた再構成画像と、置換領域内の画像とを用いて、合成画像が生成される。これにより、画像の置き換えが行われた箇所における、置き換え部分と被置き換え部分との境界部分が目立たなくなる。
【発明の効果】
【００１３】
本発明によれば、複数枚の撮影画像を用いて、より自然な合成画像が容易に生成できるようになる。
【図面の簡単な説明】
【００１４】
【図１】本発明の概要を説明する概要図であり、人物の良い表情及び良くない表情を含む撮影画像の例を示す図である。
【図２】本発明の概要を説明する概要図であり、ベストショットとしての合成画像の生成例を示す図である。
【図３】本発明の一実施形態例に係る画像処理装置の構成例を示すブロック図である。
【図４】本発明の一実施形態例に係る黒目領域の抽出処理の例を示す図である。
【図５】本発明の一実施形態例に係る目の開き具合の判定例を示す図である。
【図６】本発明の一実施形態例に係る唇ラインのピクセルの取得例を示す図である。
【図７】本発明の一実施形態例に係る口角の上がり具合の判定例を示す図である。
【図８】本発明の一実施形態例に係る、置換領域抽出用の楕円の設定例を示す図である。
【図９】本発明の一実施形態例に係る多重解像度分解部の構成例を示す図である。
【図１０】本発明の一実施形態例に係る多重解像度分解部の分解処理の例を示す図である。
【図１１】本発明の第１の実施形態例に係る画像の置換処理の例を示す図である。
【図１２】本発明の第１の実施形態例に係る、各周波数成分における画像の置き換え処理の例を示す図である。
【図１３】本発明の一実施形態例に係る再構成部の構成例を示す図である。
【図１４】本発明の第１の実施形態例に係る画像処理方法の例を示すフローチャートである。
【図１５】本発明の第１の実施形態例による合成画像と、従来の手法で生成した合成画像との比較を示す図であり、図１５Ａが従来の手法による合成画像であり、図１５Ｂが第１の実施形態例により生成された合成画像である。
【図１６】本発明の第２の実施形態例に係る、多重解像度への分解を行う領域の設定例を示す図である。
【図１７】本発明の第２の実施形態例に係る多重解像度への分解を行う領域の位置及び範囲の例を示す図である。
【図１８】本発明の第２の実施形態例に係る画像の置換処理の例を示す図である。
【図１９】本発明の第２の実施形態例に係る合成画像の構成例を示す図である。
【図２０】本発明の第２の実施形態例に係る画像処理装置の構成例を示すブロック図である。
【図２１】本発明の第２の実施形態例に係る離散ウェーブレット変換処理、画像の置き換え及び合成処理、逆ウェーブレット変換処理に必要な画素領域を説明する図である。
【図２２】本発明の第２の実施形態例に係る画像処理方法の例を示すフローチャートである。
【図２３】本発明の一実施形態例に係る撮像装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
本発明の実施形態例に係る画像処理装置及び画像処理方法の一例を、図面を参照しながら下記の順で説明する。ただし、本発明は下記の例に限定されない。
１．本発明の概要
２．第１の実施形態例
３．第２の実施形態例
４．本発明の一実施形態例に係る撮像装置の構成例
５．各種変形例
【００１６】
〔１．本発明の概要〕
まず、本発明の概要について、図１及び図２を参照して説明する。図１は、不図示の撮像装置によって時間的に連続して撮影された３枚の撮影画像Ｐｏ１、撮影画像Ｐｏ２、撮影画像Ｐｏ３を示す図である。撮影画像Ｐｏ１〜撮影画像Ｐｏ３には、被写体として人物Ｐｓ１と、人物Ｐｓ２と、人物Ｐｓ３が映っている。撮影画像Ｐｏ１においては、中央の人物Ｐｓ２の目が閉じてしまっており、撮影画像Ｐｏ２においては、左端と人物Ｐｓ２と右端のＰｓ３の目が閉じてしまっている。撮影画像Ｐｏ３においては、右端の人物Ｐｓ３の目が閉じてしまっている。
【００１７】
一方で、これらの３枚の撮影画像Ｐｏ１〜撮影画像Ｐｏ３には、人物Ｐｓ１，人物Ｐｓ２，人物Ｐｓ３のそれぞれの良い表情も映っている。右端の人物Ｐｓ３は撮影画像Ｐｏ１においては笑顔であり、中央の人物Ｐｓ２は撮影画像Ｐｏ２においては笑顔であり、左端の人物Ｐｓ１は撮影画像Ｐｏ３においては笑顔である。
【００１８】
したがって、人物Ｐｓ１〜人物Ｐｓ３のそれぞれにおいて、撮影画像Ｐｏ１〜撮影画像Ｐｏ３の中から良い表情をしている顔領域の画像で、良い表情でない顔領域の画像を置き換えることで、被写体全員の良い表情を収めた写真（ベストショット）を生成できると考えられる。ただし、画像が置き換えられる側の撮影画像Ｐｏが人物Ｐｓによって異なるようだと、単に複数枚の合成画像が生成されるだけとなってしまう。このため、撮影画像Ｐｏ１〜撮影画像Ｐｏ３のうちの１枚を、ベストショットとしての合成画像の素地となる被置換撮影画像として選択するようにする。
【００１９】
図１に示した例では、中段の撮影画像Ｐｏ２を被置換撮影画像として選択している。撮影画像Ｐｏ２の中央に写っている人物Ｐｓ２は良い表情をしているため、この顔領域Ｒｆ２２の画像をそのまま使用する。右側の人物Ｐｓ３については、一番上の段の撮影画像Ｐｏ１から抽出した顔領域Ｒｆ３１内の画像で、目が閉じてしまっている顔領域の画像を置き換える。左側の人物Ｐｓ１については、一番下の段の撮影画像Ｐｏ３から抽出した顔領域Ｒｆ１３内の画像で、目が閉じてしまっている顔領域の画像を置き換える。
【００２０】
このような処理を行うことにより、図２に示すように、人物Ｐｓ１〜人物Ｐｓ３の全員が良い表情をしている合成画像Ｐｃがベストショットとして生成される。本発明では、画像の置き換えを離散ウェーブレット変換領域下で行うことで、置き換え部分と被置き換え部分との境目が目立たない自然な合成画像を生成することができる。
【００２１】
〔２．第１の実施形態例〕
（２−１．画像処理装置の構成例）
図３に、本発明の第１の実施形態例に係る画像処理装置１００の内部構成例を示す。画像処理装置１００は、撮像装置２００によって連続して撮影（連写）された複数枚の撮影画像Ｐｏを入力として、ベストショットとしての合成画像Ｐｃを生成するものである。画像処理装置１００は、顔検出部１１０と、撮影画像選択部１２０と、合成画像生成部１３０よりなる。
【００２２】
顔検出部１１０は、顔部分検出部１１１と、目・口部分検出部１１２とを有する。顔部分検出部１１１は、撮像装置２００から入力された複数枚の各撮影画像Ｐｏから、人物の顔の部分を検出する。目・口部分検出部１１２は、顔部分検出部１１１で検出された人物の顔の中から、目と口の部分を検出する。
【００２３】
顔部分検出部１１１による顔部分の検出や、目・口部分検出部１１２による目と口部分の検出は、一般的に用いられている顔領域検出機能や、顔の部位検出機能を用いて行うことができる。本実施形態例では、ＯｐｅｎＣＶに関数として用意されている、Ｈａａｒ−ｌｉｋｅ特徴量とＣａｓｃａｄｅ構造の識別器を用いた物体検出を使用するものとする。ＯｐｅｎＣＶとは、オープンソースのコンピュータビジョン向けライブラリである。上述した識別器を用いた物体検出とは、対象領域の明暗度を見ることで、顔や目・口などの部位を検出するものである。
【００２４】
撮影画像選択部１２０は、表情推定部１２１と、置換側／被置換撮影画像選択部１２２とを有する。表情推定部１２１は、目・口部分検出部１１２で検出された目と口の部分の画像を解析することにより、人物の表情を推定する。置換側／被置換撮影画像選択部１２２は、表情推定部１２１で推定された表情の情報に基づいて、複数枚の撮影画像Ｐｏの中から、良い表情の画像を含む置換側撮影画像と、ベストショットの素地となる被置換撮影画像とを選択する。撮影画像選択部１２０で行う処理の詳細については、図４〜図７を参照して後述する。
【００２５】
合成画像生成部１３０は、置換領域範囲決定部１３１と、多重解像度分解部１３２と、置換処理部１３３と、再構成部１３４とを有する。置換領域範囲決定部１３１は、置換側／被置換撮影画像選択部１２２で選択された置換側撮影画像の中から、一番良い表情をした顔の部分を検出する。そして、検出した顔の画像を解析して得られるパラメータを用いて、置換領域として切り出す範囲を算出する。置換領域の切り出しは、後段の多重解像度分解部１３２で行うものであり、ここではその範囲のみを決定する。
【００２６】
本実施形態例では、置換領域として、人物の顔全体を含み、かつ顔全体より少し大きい領域を楕円で切り出すことを行う。このため、置換領域範囲決定部１３１は、この楕円の長径と短径を算出する。楕円の長径と短径は、例えば、目・口部分検出部１１２が検出した両目の間隔の長さを用いて算出することができる。楕円の長径と短径の算出方法の詳細については後述する。
【００２７】
楕円の大きさは、被写体として写っている人物Ｐｓ毎に異なるものと考えられるため、置換領域決定の処理は、顔領域の置き換えが必要とされる各人物Ｐｓに対して行われる。図１に示した例で言えば、置換領域範囲決定部１３１は、人物Ｐｓ３に対しては、撮影画像Ｐｏ１内の顔画像から、置換領域として抽出する顔領域Ｒｆ３１のサイズ、すなわち楕円の大きさを決定する。人物Ｐｓ１に対しては、撮影画像Ｐｏ３内の顔画像から、置換領域として抽出する顔領域Ｒｆ１３のサイズを決定する。
【００２８】
多重解像度分解部１３２は、置換側／被置換撮影画像選択部１２２で選択された被置換撮影画像と置換側撮影画像とを、それぞれ離散ウェーブレット変換によって多重解像度に分解する。置換処理部１３３は、置換領域範囲決定部１３１でサイズが決定された楕円を用いて、多重解像度に分解された各周波数成分から、更新領域としての顔領域を抽出する。そして、各周波数成分において、良い表情をした顔を含む顔領域で、良い表情でない顔を含む顔領域を置き換える処理を行う。再構成部１３４は、顔領域の置換が行われた各周波数成分を逆ウェーブレット変換することで、画像を再構成する。これにより、ベストショットとしての合成画像Ｐｃが生成される。合成画像生成部１３０を構成するこれらの各部における処理の詳細については、図８〜図１３を参照して後述する。
【００２９】
＜２−１−１．撮影画像選択部の処理の詳細＞
続いて、撮影画像選択部１２０の処理の詳細について説明する。まず、図４〜図７を参照して、表情推定部１２１の処理の詳細について説明する。表情推定部１２１は、目・口部分検出部１１２で検出された目の部位と口の部位の画像を画像解析することで、撮影画像Ｐｏ中に写っている人物Ｐｓの表情を推定する。本実施形態例では、以下の２点の条件を満たす表情を良い表情（笑顔）であるとみなすことにする。
１．目がある程度開いている
２．複数枚の撮影画像Ｐｏに写っているその人物Ｐｓの顔の中で、口角が一番上がっている
目の開き具合は、目・口部分検出部１１２で検出された片目領域に閾値処理を適用して黒目部分を検出し、検出した黒目部分の大きさに基づいて判断する。口角の上がり具合は、唇のラインを二次関数で近似し、その２次の項の係数の大きさによって推定する。
【００３０】
まず、図４を参照して、目の開き具合の推定方法について説明する。図４は、片目領域に適用する閾値処理の例を示した図である。図４の左側には、目・口部分検出部１１２で検出された片目領域を示しており、この領域に閾値処理を適用した結果を、図４の右側に示している。図４の右側には、閾値処理の結果検出された黒目部分が白色の画素として表示されており、この白色の部分のピクセル数の大小によって、目の開き具合を判定する。黒目部分として検出されたピクセル数が多いほど目が大きく開いていると推定できる。
【００３１】
また、黒目部分として検出されたピクセル数が非常に少ない場合には、その目は閉じた状態の目であると推定できる。目の開閉判定に用いる閾値としては、例えば９０（単位：ピクセル）を設定することができる。この値は、片目領域として検出する領域の大きさ等に応じて、適宜最適な値を設定できる。
【００３２】
本実施形態例では、目の開閉判定に加えて、笑顔状態か否かの判定も行う。前述したように、黒目部分として検出されたピクセル数が多いほど目が大きく開いていると推定できる。しかし、目が一番開いている顔だからといってそれが笑っている表情であると断言することはできない。なぜなら、笑顔の際には目尻が下がるという特徴があるため、笑顔の目は無表情の目よりもまぶたが下りている状態である可能性もあるからである。したがって、やや閉じた状態の目から完全に開いている状態の目までが、笑顔状態の目と考えられる。この状態の目か否かの判定は、抽出した黒目領域のピクセル数が所定の範囲内かそうでないかによって行うことにする。
【００３３】
例えばｎ枚の撮影画像Ｐｏを入力として、それぞれの撮影画像Ｐｏ中に写っているある特定の人物Ｐｓの左目の片目領域を検出したとする。検出した片目領域から抽出した黒目領域のピクセル数が、ｐ１，ｐ２，．．．，ｐｎだったとする。このとき、検出された片目の中から笑顔状態の目であると判定されるのは、その黒目のピクセル数ｐが以下の数１で示される範囲内にある場合である。
【数１】
2014215694.tif 000003
【００３４】
つまり、抽出した複数の黒目領域の画素数の中から一番多いピクセル数を検出し、その最大ピクセル数の１／２以上を、笑顔状態の目と区分する範囲としている。
【００３５】
図５に、片目領域から抽出した黒目領域のピクセル数と、目の開き具合の推定結果との対応例を示す。図５の左側には、撮影画像Ｐｏ１〜撮影画像Ｐｏ３の３枚の画像の中から、人物Ｐｓ２の顔が写っている部分を抽出したものを、上から下の方向に撮影画像Ｐｏ１，撮影画像Ｐｏ２，撮影画像Ｐｏ３の順に並べてある。人物Ｐｓ２は、撮影画像Ｐｏ１においては目を閉じており、撮影画像Ｐｏ２と撮影画像Ｐｏ３では目を開いている。
【００３６】
図５の右側には、各撮影画像Ｐｏから検出した片目領域より抽出した黒目領域と、そのピクセル数ｐを示している。なお、黒目領域は、両目を対としてピクセル数が多い順にソートして上から下の方向に並べてある。
【００３７】
図５の右側の一番上段には、図５の左側の中段に示した撮影画像Ｐｏ２から検出した右目領域Ｒｅ２ｒ及び左目領域Ｒｅ２ｌから抽出した各黒目領域を示している。右目領域Ｒｅ２ｒから抽出した黒目領域のピクセル数ｐは２４３であり、左目領域Ｒｅ２ｌから抽出した黒目領域のピクセル数ｐは２３５であることが示されている。
【００３８】
中段には、図５の左側の一番下の段に示した撮影画像Ｐｏ３から検出した右目領域Ｒｅ３ｒ及び左目領域Ｒｅ３ｌから抽出した各黒目領域を示している。右目領域Ｒｅ３ｒから抽出した黒目領域のピクセル数ｐは２０３であり、左目領域Ｒｅ３ｌから抽出した黒目領域のピクセル数ｐは２２３であることが示されている。
【００３９】
一番下の段には、図５の左側の一番上の段に示した撮影画像Ｐｏ１から検出した右目領域Ｒｅ１ｒ及び左目領域Ｒｅ１ｌから抽出した各黒目領域を示している。右目領域Ｒｅ１ｒから抽出した黒目領域のピクセル数ｐは７４であり、左目領域Ｒｅ１ｌから抽出した黒目領域のピクセル数ｐは２５であることが示されている。
【００４０】
これらの黒目領域のピクセル数ｐのうち、一番値が大きいのは２４３である。したがって、２４３／２＝１２１．５よりもピクセル数ｐが多い黒目領域を有する目を、笑顔状態の目と推定できる。図５の右側に示した例では、一番上段に示した撮影画像Ｐｏ２から抽出した目と、中段に示した撮影画像Ｐｏ３から抽出した目が、笑顔状態の目に区分される。
【００４１】
撮影画像Ｐｏ３の右目領域Ｒｅ１ｒと左目領域Ｒｅ１ｌから抽出した各黒目領域のピクセル数ｐは、それぞれ“７４”、“２５”であり、目の開閉判定用の閾値として設定された９０ピクセルよりも少ない。したがって、撮影画像Ｐｏ３の右目領域Ｒｅ１ｒの目と左目領域Ｒｅ１ｌの目は、いずれも閉じていると推定される。このような閉じた目を含む顔、すなわち撮影画像Ｐｏ３における人物Ｐｓ２の顔は、例え口角が上がっていたとしても、笑顔であるとは判定しないようにする。
【００４２】
続いて、口角の上がり具合の推定方法について説明する。人が笑う時には無表情の時に比べて一般的に口角が上がる。口角が上がると唇のラインは下方向に凸になるはずである。本実施形態例では、この唇のラインを二次関数に近似し、その２次の項の係数の大きさによって笑顔の具合を推定する。二次関数の２次の項の係数が大きければ大きいほど、関数の曲線は下方向に凸となる。したがって、一番大きい係数となった唇ラインを含む口領域が、一番口角が上がっている口領域であると推定できる。すなわち、笑っている口領域であると推定される。
【００４３】
唇ラインを二次関数に近似するにあたっては、唇ラインの情報を持つデータ点を得る必要がある。本実施形態例では、口領域のＹ（輝度）成分に対して各列の極小点を検出することで、このデータ点を得るものとする。図６Ａは、唇ラインの検出が行われた画像を示し、図６Ｂは、図６Ａ中にラインＬｎとして示された縦方向の線上で検出されたＹ成分を、縦方向の座標にプロットしたグラフである。図６Ｂの縦軸はＹ成分の値（輝度値）を示し、横軸は画像の縦（ｙ）方向の座標を示す。
【００４４】
唇ラインの情報を保持するピクセルは、画像の同じ列（例えば図６ＡのラインＬｎ）の肌や唇、歯の情報を保持するピクセルよりも輝度値が低くなる。したがって、画像の列を１次元信号と見た時、唇ラインは極小点に一致する。つまり極小点を検出することで、唇ラインのピクセルを得ることができる。図６Ｂに示した例では、ｙ座標が“２０”近辺の輝度値が極小点として検出される。唇ラインのピクセルを検出後は、これらのデータを最小二乗法によって二次関数（ｆ（ｘ）＝ａｘ２＋ｂｘ＋ｃ）へ近似する。この二次関数の係数ａの値が大きければ大きいほど、関数の曲線は下方向に凸となる。つまり、口角が上がっている笑顔の口領域であると推定できる。
【００４５】
図７は、撮影画像Ｐｏ中の口領域の画像と、検出した唇ラインとの対応を示す図である。図７の左側には、撮影画像Ｐｏ１〜撮影画像Ｐｏ３の３枚の画像の中から、同一の人物Ｐｓ２の顔が写っている部分を抽出したものを、上から下の方向に撮影画像Ｐｏ３，撮影画像Ｐｏ２，撮影画像Ｐｏ１の順に並べてある。
【００４６】
図７の右側には、各撮影画像Ｐｏから検出した口領域Ｒｍより抽出した唇ラインと、それを近似した二次関数の係数ａの値を示している。撮影画像Ｐｏ３から検出した唇ラインを近似して得た二次関数の係数ａは２．９８×１０−５であり、撮影画像Ｐｏ２から検出した唇ラインを近似して得た二次関数の係数ａは３３．３×１０−５である。撮影画像Ｐｏ１から検出した唇ラインを近似して得た二次関数の係数ａは８．４５×１０−５である。図７の左側に示した３つの撮影画像Ｐｏのうち、口角が一番上がっている撮影画像Ｐｏ２から抽出した唇ラインを近似した二次関数の係数ａが、一番大きな値となっていることが分かる。
【００４７】
このようにして得た目の開き具合の情報と、口角の上がり具合の情報とを用いて、表情の推定を行う。より詳細には、まず、撮影画像Ｐｏを、目が開いているものと閉じているものに分ける。そして、閉じているものと開いているものの両方において、唇ラインを近似して得た二次関数の係数ａが高い順に、撮影画像Ｐｏをソートする作業を行う。そして、ソートされた各撮影画像Ｐｏを、目が開いているもの、目が閉じているものの順に並べる。最後に、この作業によって定まった順番をそのまま評価値として各顔に与える。
【００４８】
これにより、より目が大きく開いており、口角の上がった表情を含む撮影画像Ｐｏに対して、より高い評価値が付与され、より目が閉じており、より口角が下がっている表情を含む撮影画像Ｐｏに対しては、より低い評価値が付与される。この評価値付与の作業は、撮影画像Ｐｏに含まれるすべての人物に対して行う。各撮影画像Ｐｏにおける評価値は、その画像内に写っている人物の顔の評価値を合計することで求めることができる。
【００４９】
置換側／被置換撮影画像選択部１２２（図３参照）は、評価値が最も高かった撮影画像Ｐｏを、ベストショットの素地となる被置換撮影画像として選択する。そして、被置換撮影画像に対して置き換えを行う顔領域を含む撮影画像を、置換側撮影画像として選択する。なお、被置換撮影画像として選択された撮影画像Ｐｏ内に写っている各人物Ｐｓの顔が、それぞれの人物において最も評価値の高いものである場合も想定される。つまり、各人物の一番良い表情が、一枚の撮影画像Ｐｏ内に収まっている場合もありうる。このような場合には、その後の処理は行わず、その撮影画像Ｐｏをベストショットとして選定する。
【００５０】
＜２−１−２．合成画像生成部の処理の詳細＞
［２−１−２−１．置換領域範囲決定部の処理の詳細］
次に、合成画像生成部１３０を構成する各部での処理の詳細について説明する。まず、置換領域範囲決定部１３１の処理の詳細について、図８を参照して説明する。置換領域範囲決定部１３１は、後段の多重解像度分解部１３２によって抽出する置換領域の楕円の範囲を、撮影画像Ｐｏから検出した顔部分の両目の間隔に基づいて算出する。
【００５１】
楕円の大きさは、顔領域の全体を含み、かつ頭髪の部分もすべて含む大きさとすることが好ましい。楕円をこのような大きさとし、楕円で囲われた領域を置換領域とすることで、置き換え部分と被置き換え部分との境目に頭髪の領域がかかってしまうことがなくなる。この境目部分に頭髪の領域がかかってしまうと、その後の処理で多重解像度に分解されて再構成されることで、境目部分が不自然な画像として認識されてしまうためである。
【００５２】
図８には、目・口部分検出部１１２で検出された右目領域Ｒｅｒと左目領域Ｒｅｌを、それぞれ矩形で示している。右目領域Ｒｅｒの中心と左目領域Ｒｅｌの中心とを結ぶ矢印で示した線Ｅｐが、瞳孔の間隔に相当する。この線Ｅｐの中心を楕円Ｅの中心に設定し、この点を基準に楕円Ｅの長径ｒＬと短径ｒＳを決定する。楕円Ｅの傾き、すなわち長径ｒＬの水平方向に対するθ角は、０°となるように位置決めされる。楕円Ｅの長径ｒＬと短径ｒＳは、それぞれ以下の式１と式２によって求まる。
長径ｒＬ＝１．５ｒｈＥｐ・・・式１
短径ｒＳ＝１．５ｒｗＥｐ・・・式２
【００５３】
上記式１における“ｒｈ”と、上記式２における“ｒｗ”は、それぞれ、瞳孔間隔を１とした場合の瞳孔間隔に対する顔の高さの比率と、顔の幅の比率の、日本人の標準的な値を示す。これらの値は、独立行政法人産業技術総合研究所より提供されている「日本人頭部寸法データベース２００１」に記載されたデータを用いて算出した。具体的には、各年代の男女に対して瞳孔間隔を１としたときの顔の高さの比率と幅の比率を求め、求めた顔の高さと幅を平均することにより算出した。これにより、顔の高さｒｈ＝３．５７、顔の幅ｒｗ＝２．４９の各値が得られた。
【００５４】
上記式１と式２における乗数“１．５”の値は、頭髪の部分までを置換領域内に収めることを意図として算出された値である。したがって、置換領域として抽出したい範囲の大きさに応じて、違う値を設定してもよい。
【００５５】
［２−１−２−２．多重解像度分解部の処理の詳細］
続いて、多重解像度分解部１３２の処理の詳細について、図９及び図１０を参照して説明する。前述したように、本実施形態例は、置換領域内の画像による被置換領域内の画像の置き換えを、離散ウェーブレット変換領域下で行う。すなわち、撮影画像Ｐｏを離散ウェーブレット変換によって多重解像度に分解した後、分解して得られた各周波数領域下で、画像の置き換えを行う。多重解像度分解部１３２は、撮影画像Ｐｏを離散ウェーブレット変換によって多重解像度に分解する処理を行う。本実施形態例では、第１の領域としての置換側撮影画像全体と、第２の領域としての被置換撮影画像全体とを、離散ウェーブレット変換の一種である非間引きウェーブレット変換によって多重解像度に分解する。非間引きウェーブレット変換とは、離散ウェーブレット変換で行われる間引き処理（アップサンプリング／ダウンサンプリング）を行わずに、多重解像度への分解及び再構成を行う手法である。
【００５６】
離散ウェーブレット変換はサブバンド符号化の一種であり、１次元信号ｘ（ｎ）の離散ウェーブレット変換は、２チャネルフィルタバンクを用いて信号を帯域分割し、低周波成分に対して再帰的にフィルタバンクを適用していくオクターブ分割で表現することができる。図９は、多重解像度分解部１３２が、１次元離散信号ｘ（ｎ）を３レベルまで離散ウェーブレット分解する処理示したものである。
【００５７】
図９中の“Ｈ（ｚ）”はローパスフィルタを示し、“Ｇ（ｚ）”はハイパスフィルタを示す。これらが１組のフィルタとして用いられる。ローパスフィルタＨ（ｚ）とハイパスフィルタＧ（ｚ）は、１レベル分解するごとにフィルタをアップサンプリングする。撮影画像Ｐｏは２次元信号であるため、この処理を縦方向か横方向に行った後、もう一方の方向においても同様の処理を行うようにする。この処理を行うことで、撮影画像Ｐｏが、低周波成分ＬＬと、縦の高周波成分ＬＨと、横の高周波成分ＨＬと、斜めの高周波成分ＨＨとに分解される。
【００５８】
図１０は、非間引きウェーブレット変換を用いて画像を１レベル分解した例を示す図である。図１０の左側に示したグレースケールのＬＥＮＮＡの画像に対して、横方向、縦方向の順に非間引きウェーブレット変換を行った結果を、図１０の右側に示している。非間引きウェーブレット変換によって、左上から時計回りの方向に配置して示すように、低周波成分ＬＬ、縦の高周波成分ＬＨ、横の高周波成分ＨＬ、斜めの高周波成分ＨＨが得られる。間引き処理を行っていないため、各周波数成分のサイズは、原画像のサイズと同じ大きさとなる。撮影画像Ｐｏがカラー画像である場合には、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色成分あるいは輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）とを、それぞれ非間引きウェーブレット変換で分解する必要がある。
【００５９】
この非間引きウェーブレット変換を複数回繰り返してｎレベルまで分解してから再構成することで、ベストショットとして生成される合成画像Ｐｃにおける、置き換え部分と被置き換え部分との境目をより目立たなく、自然なものとすることができる。これは、分解レベルを上げることで処理が増えるため、境界線もより平滑化されるからである。実験の結果、少なくとも３レベルまで分解することで、一定の効果が得られることが分かっている。
【００６０】
１レベル分解によって得られた低周波成分ＬＬをさらに分解すると、低周波成分ＬＬ２、縦の高周波成分ＬＨ２、横の高周波成分ＨＬ２、斜めの高周波成分ＨＨ２が得られる。ここで得られた低周波成分ＬＬ２をさらに分解することで、低周波成分ＬＬ３、縦の高周波成分ＬＨ３、横の高周波成分ＨＬ３、斜めの高周波成分ＨＨ３が得られる。この処理を繰り返すことにより、所望のｎレベルまでの分解を行うことができる。
【００６１】
［２−１−２−３．置換処理部の処理の詳細］
次に、置換処理部１３３の処理の詳細について、図１１と図１２を参照して説明する。置換処理部１３３は、まず、置換領域範囲決定部１３１でサイズが決定された楕円Ｅを用いて、置換側撮影画像から置換領域を切り出す。そして、切り出した置換領域内の顔画像で、被置換撮影画像の対応する領域内の顔画像を置き換える。
【００６２】
図１１は、被置換撮影画像として選択された撮影画像Ｐｏ２のＲ（赤）のＬＬ成分Ｐｏ２ＬＬにおける、顔領域の合成処理の例を示した図である。図１１に示すように、置換撮影画像Ｐｏ１のＲのＬＬ成分Ｐｏ１ＬＬより切り取った顔領域Ｒｆ３１を、置き換えが行われる側のＬＬ成分Ｐｏ２ＬＬ上の該当する位置に配置する。このとき、置き換えが行われる側の顔領域の瞳孔間隔の中心の位置に、楕円Ｅで切り取られた顔領域Ｒｆ３１の中心が配置されるように、位置合わせを行う。楕円Ｅの傾き角θは、画像の水平方向に対して０°となるように調整される。位置合わせが終わった後は、置換領域として抽出された顔領域Ｒｆ３１の顔画像で、置き換えが行われる側のＬＬ成分Ｐｏ２ＬＬ上の顔画像を置き換える合成処理を行う。この置き換え処理は、Ｒ，Ｇ，Ｂの各色成分の各周波数成分で行う。
【００６３】
図１２に、Ｒ，Ｇ，Ｂの各色成分の各周波数成分における、顔領域の置き換え（合成）処理の例を示す。図１２の左側には、被置換撮影画像として選択された撮影画像Ｐｏ２の各周波数成分を示し、右側に、置換撮影画像として選択された撮影画像Ｐｏ１の各周波数成分を示す。
【００６４】
置換処理部１３３は、置換領域範囲決定部１３１でサイズが決定された楕円Ｅを用いて、置換側撮影画像である撮影画像Ｐｏ１から生成された各周波数成分から、置換領域としての顔領域Ｒｆ３１を抽出する。つまり、低周波成分Ｐｏ１ＬＬ、縦の高周波成分Ｐｏ１ＬＨ、横の高周波成分Ｐｏ１ＨＬ、斜めの高周波成分Ｐｏ１ＨＨのそれぞれより、顔領域Ｒｆ３１を抽出する。
【００６５】
そして、被置換撮影画像である撮影画像Ｐｏ２から生成された各周波数成分に対して、抽出した顔領域Ｒｆ３１の置き換え（合成）処理を行う。つまり、低周波成分Ｐｏ２ＬＬ、縦の高周波成分Ｐｏ２ＬＨ、横の高周波成分Ｐｏ２ＨＬ、斜めの高周波成分Ｐｏ２ＨＨのそれぞれに対して、置換領域と対応する被置換領域の顔画像を、置換領域である顔領域Ｒｆ３１内の顔画像で置き換える。顔画像の置き換え処理は、顔画像の置き換えが必要な人物の数だけ行う。図１に示した例で言えば、人物Ｐｓ１と人物Ｐｓ３に対して行う。
【００６６】
［２−１−２−４．再構成部の処理の詳細］
次に、再構成部１３４での処理の詳細について、図１３を参照して説明する。図１３に示す再構成部１３４においても、１組のローパスフィルタＨ（ｚ）とハイパスフィルタＧ（ｚ）が３段に組まれている。１組のローパスフィルタＨ（ｚ）とハイパスフィルタＧ（ｚ）は、１レベル再構成する毎にフィルタをダウンサンプリングする。このように組まれたフィルタを通過することにより、多重解像度分解部１３２で分解された各周波数成分が逆ウェーブレット変換され、１つの画像に再構成される。
【００６７】
（２−２．第１の実施形態例に係る画像処理方法の例）
続いて、本実施形態例による画像処理方法の例について、図１４のフローチャートを参照して説明する。まず、画像処理装置１００に、撮像装置２００で連続的に撮影された複数枚の撮影画像Ｐｏが取り込まれる（ステップＳ１）。次に、顔部分検出部１１１によって、複数枚の撮影画像Ｐｏのそれぞれで顔部分が検出され（ステップＳ２）、目・口部分検出部１１２によって、顔部分の中からさらに目と口の部分が検出される（ステップＳ３）。次に、目・口部分検出部１１２で検出された目と口の部分の画像に基づいて、表情推定部１２１によって、人物Ｐｓの表情の推定が行われる（ステップＳ４）。
【００６８】
続いて、表情推定部１２１で推定された表情に基づいて、置換側／被置換撮影画像選択部１２２によって、撮影画像Ｐｏ内に写っている各人物Ｐｓに対して、最も良い表情が写っている撮影画像Ｐｏが決定される（ステップＳ５）。そして、ステップＳ５で選ばれた各人物Ｐｓの最も良い表情を含む撮影画像Ｐｏが、すべて同一の撮影画像Ｐｏであるか否かが判断される（ステップＳ６）。すべて同一の撮影画像Ｐｏであった場合には、その撮影画像Ｐｏがベストショットとして採用される（ステップＳ７）。
【００６９】
各人物Ｐｓの最も良い表情を含む撮影画像Ｐｏが、すべて同一の撮影画像Ｐｏではなかった場合には、置換側／被置換撮影画像選択部１２２によって、ベストショットの素地となる被置換撮影画像が決定される（ステップＳ８）。具体的には、撮影画像Ｐｏ内に写っている各人物Ｐｓの顔の評価値の合計値が最も高い撮影画像Ｐｏが、被置換撮影画像として選択される。
【００７０】
そして、置換領域範囲決定部１３１によって、撮影画像Ｐｏ内の各人物Ｐｓの最も良い表情を含む置換側撮影画像に基づいて、置換領域としての顔領域を切り出すための楕円Ｅの長径と短径が算出される（ステップＳ９）。続いて、多重解像度分解部１３２によって、被置換撮影画像と置換側撮影画像とが離散ウェーブレット変換（非間引きウェーブレット変換）される（ステップＳ１０）。そして、被置換撮影画像の各周波数成分と置換側撮影画像の各周波数成分において、置換処理部１３３によって、楕円Ｅを用いて顔領域が抽出される（ステップＳ１１）。
【００７１】
続いて、同じく置換処理部１３３によって、置換領域内の顔画像で、被置換撮影画像内の被置換領域内の顔画像を置き換える処理が行われる（ステップＳ１２）。最後に、顔画像の置き換えが行われた被置換撮影画像の各周波数成分が、再構成部１３４によって逆ウェーブレット変換されることにより、ベストショットとしての合成画像が生成される（ステップＳ１３）。
【００７２】
本実施形態例によれば、置換領域内の画像による被置換撮影画像の置き換えが、離散ウェーブレット変換領域下で行われる。このため、逆ウェーブレット変換して画像が再構成される際に、それぞれの周波数成分がフィルタ処理されることになる。これにより、再構成された合成画像Ｐｃにおいて、置き換え部分と被置き換え部分との境目が目立たなくなる。
【００７３】
また、本実施形態例によれば、置換領域として、人物の顔部分及び頭髪部分を含む領域が楕円Ｅで切り出される。これにより、例えば目の領域のみや、口の領域のみが置き換えられる場合と比較して、合成画像Ｐｃにおける人物Ｐｓの表情が自然なものとなる。また、置換領域を、矩形でなく楕円Ｅで切り出しているため、合成画像Ｐｃにおける置き換え部分と被置き換え部分との境目が、矩形で切り出した場合と比較してより一層目立ちにくくなる。
【００７４】
図１５に、離散ウェーブレット変換による分解を行わずに空間領域で合成を行った合成画像と、本実施形態例による合成画像Ｐｃとを示す。図１５Ａが従来の手法により生成した合成画像で、図１５Ｂが、本実施形態例により生成された合成画像Ｐｃである。図１５Ａ及び図１５Ｂの画像の左上端には人物Ｐｓの頬からあごにかかる領域が写っており、画像の下方には、人物Ｐｓの肩の部分が写っている。
【００７５】
図１５Ａに示す従来の手法による合成画像中には、顔周辺の領域とその外側の背景の領域との間に、右上から左下方向の線状の境界線を視認できる。一方、図１５Ｂに示す本実施形態例による合成画像Ｐｃにおいては、そのような境界線が見られない。つまり、より自然な合成画像Ｐｃが得られていることが分かる。
【００７６】
〔３．第２の実施形態例〕
（３−１．第２の実施形態例の概要）
上述した第１の実施の形態例では、離散ウェーブレット変換領域下で画像の合成を行うにあたり、被置換撮影画像と置換側撮影画像の全体を多重解像度に分解した。本実施形態例では、被置換撮影画像と置換側撮影画像のそれぞれ一部の領域のみを多重解像度に分解して再構成する。これにより処理に必要なデータ量が削減されるため、処理時間も短縮することができる。
【００７７】
図１６は、本実施形態例による、多重解像度への分解及び再構成を行う領域Ａｒを示す図である。領域Ａｒは、置換領域の外周周辺に形成される領域であり、置換領域の範囲を示す楕円Ｅを中心として、その内周側及び外周側に所定の幅を有するドーナツ型の領域として定義される。
【００７８】
本実施形態例では、この領域Ａｒを、置換撮影画像と被置換撮影画像の両方から抽出する。図１７Ａは、置換側撮影画像としての撮影画像Ｐｏ１から抽出される領域Ａｒ３１（第１の領域）を示した図であり、図７Ｂは、被置換撮影画像としての撮影画像Ｐｏ２から抽出される領域Ａｒ３２（第２の領域）を示した図である。いずれの図においても、領域Ａｒ３１と領域Ａｒ３２とを共に一点鎖線で示している。
【００７９】
このように設定された領域Ａｒ３１内の画像と、領域Ａｒ３２内の画像とを、多重解像度分解部１３２が非間引きウェーブレット変換して、各周波数成分に分解する。置換処理部１３３は、置き換えられる側の領域Ａｒ３２内の画像の一部を、置換側の領域Ａｒ３１内の画像の一部で置き換える処理を行う。
【００８０】
図１８は、置換処理部１３３による置き換え処理の例を示した図である。図１８Ａの左上は、図１７Ｂに示した、良い表情でない顔領域の外周周辺の領域Ａｒ３２の低周波成分Ａｒ３２ＬＬを、右下がり斜線で示している。図１８Ａの右下には、図１７Ａに示した、良い表情の顔領域の外周周辺の領域Ａｒ３１の低周波成分Ａｒ３１ＬＬの内周部分（楕円Ｅの内側）のみを、右上がり斜線で示している。本実施形態例による置換処理部１３３は、被置換撮影画像から生成された低周波成分Ａｒ３２ＬＬの内周部分を、置換側撮影画像から生成された低周波成分Ａｒ３１ＬＬの内周部分で置き換えることを行う。これにより、図１８Ｂに示すように、被置換撮影画像から生成された低周波成分Ａｒ３２ＬＬと、置換側撮影画像から生成された低周波成分Ａｒ３１ＬＬとが合成される。
【００８１】
合成された低周波成分Ａｒ３１ＬＬと低周波成分Ａｒ３２ＬＬは、再構成部１３４で逆ウェーブレット変換されて再構成され、領域Ａｒ′とされる。
【００８２】
本実施形態例では、図１９に示すように、楕円Ｅ内の顔領域Ｒｆ３１の画像と、置き換え後に再構成された領域Ａｒ′の画像と、被置換撮影画像である撮影画像Ｐｏ２の背景画像とを合成することにより、ベストショットとしての合成画像Ｐｃを得る。
【００８３】
（３−２．画像処理装置の構成例）
図２０は、本実施形態例による画像処理装置１００Ａの構成例を示した図である。図２０において、図３と対応する箇所には同一の符号を付してあり、重複する説明は省略する。図３に示した、第１の実施形態例に係る画像処理装置１００と構成が異なる点は、合成画像生成部１３０Ａの内部の構成である。本実施形態例では、再構成部１３４の後段にさらに合成画像生成処理部１３５が加わっている。合成画像生成処理部１３５は、多重解像度分解部１３２で多重解像度に分解されて再構成部１３４で再構成された領域Ａｒ′内の画像と、置換領域内の顔画像と、被置換撮影画像の背景画像とを合成して、合成画像Ｐｃを生成する。
【００８４】
なお、図１６に示した、置換撮影画像と被置換撮影画像の両方から抽出する領域Ａｒの幅としては、楕円Ｅを中心とした内周側と外周側に、それぞれ少なくとも１．５Ｌとる必要がある。ここでいう“Ｌ”とは、多重解像度分解部１３２で行う非間引きウェーブレット変換のフィルタ長である。領域Ａｒの幅は、この幅より広くする分には、いくらでも広くしてよい。
【００８５】
ここで、領域Ａｒの幅として、少なくとも３Ｌが必要となる理由について説明する。例えば、フィルタ長Ｌが５である一般的なフィルタの係数を“ｈ（ｎ）”とし、フィルタに対する入力を“ｘ（ｎ）”とすると、フィルタからの出力ｙ（ｎ）は、以下の式３で示すことができる。
ｙ（ｎ）＝ｈ（−２）×ｘ（ｎ＋２）＋ｈ（−１）×ｘ（ｎ＋１）＋ｈ（０）×ｘ（ｎ）＋ｈ（１）×ｘ（ｎ−１）＋ｈ（２）×ｘ（ｎ−２）・・・式３
【００８６】
すなわち、現時点ｎでの出力ｙ（ｎ）は、ｎ±Ｌ／２（ここでは２．５）の範囲における入力の影響を受ける。言い換えると、現時点ｎでの入力ｘ（ｎ）は、ｎ±Ｌ／２の範囲の出力ｙ（ｎ）に対して影響を与える。
【００８７】
図２１Ａは、本発明に係る非間引きウェーブレット変換から再構成までの処理を、ブロックで示した図である。非間引きウェーブレット変換のフィルタの長さＬは、（１＋２＋４＋・・・＋２ｎ−１）Ｎ＋１で示される。ここでいう“Ｎ”とは、ローパスフィルタＨ（ｚ）とハイパスフィルタＧ（ｚ）の次数である。図２１Ａに示すように、入力を“ｘ（ｎ）”、非間引きウェーブレット変換（ｕＤＷＴ）後の出力を“ｕ（ｎ）”、置き換え合成処理後の出力を“ｖ（ｎ）”、逆ウェーブレット変換後の出力を“ｙ（ｎ）”とする。
【００８８】
図２１Ｂは、置換側撮影画像を分解して得られた周波数成分ｕ１（ｎ）の、“ｋ−２”〜“ｋ＋２”で示される各画素位置における輝度値の大きさを、矢印の長さで示した図である。図２１Ｃは、被置換撮影画像を分解して得られた周波数成分ｕ２（ｎ）の、“ｋ−２”〜“ｋ＋２”で示される各画素位置における輝度値の大きさを、矢印の長さで示した図である。図２１Ｄは、置き換え合成処理後の出力ｖ（ｎ）における、“ｋ−２”〜“ｋ＋２”で示される各画素位置での輝度値の大きさを、矢印の長さで示した図である。
【００８９】
例えば、図２１Ｄ中に縦線で示す“ｋ−１”と“ｋ”の間の位置で、画像の置き換え及び合成を行うものとする。この場合は、置き換え及び合成処理が行われることによって、ｋ±Ｌ／２の範囲の出力ｙ（ｎ）に影響が及ぶ。ｋ±Ｌ／２の範囲の出力ｙ（ｎ）を求めるためには、ｋ±Ｌ／２±Ｌ／２、すなわちｋ±Ｌの範囲の輝度値を、入力ｖ（ｎ）として入力する必要がある。さらに、ｋ±Ｌの範囲のｕ（ｎ）を計算するためには、ｋ±Ｌ±Ｌ／２、すなわちｋ±３Ｌ／２の範囲の輝度値を、入力ｘ（ｎ）として入力する必要がある。
【００９０】
したがって、非間引きウェーブレット変換処理と、画像の置き換え及び合成処理と、逆ウェーブレット変換処理を行うには、ｋの位置に配置される楕円Ｅを中心として、±３Ｌ／２、すなわち±１．５Ｌの範囲の画素値が、入力として必要となる。このため、楕円Ｅで切り取られる置換領域内の画像で、置換領域と対応する被置換領域内の画像を置き換える場合には、楕円Ｅを中心として内周方向と外周方向にそれぞれ少なくとも１．５Ｌの幅を有する領域Ａｒを、多重解像度分解部１３２に対して入力する必要がある。
【００９１】
（３−３．画像処理方法の例）
続いて、本実施形態例に係る画像処理方法について、図２２のフローチャートを参照して説明する。本実施形態例に係る画像処理方法は、図１４に示した第１の実施形態例に係る画像処理と、ステップＳ１〜ステップＳ６までは共通である。したがって、図２２には、図１４のステップＳ６以降の処理を示す。
【００９２】
まず、置換側／被置換撮影画像選択部１２２によって、ベストショットの素地となる被置換撮影画像が決定される（ステップＳ２１）。そして、置換領域範囲決定部１３１によって、置換領域としての顔領域を切り出すための楕円Ｅの長径と短径が算出される（ステップＳ２２）。さらに、置換領域範囲決定部１３１によって、楕円Ｅを中心とした、楕円Ｅの内周側と外周側にそれぞれ１．５Ｌの幅を有する領域Ａｒが決定される（ステップＳ２３）。
【００９３】
次に、多重解像度分解部１３２によって、被置換撮影画像と置換側撮影画像の両方から領域Ａｒが抽出され、抽出された領域Ａｒが離散ウェーブレット変換（非間引きウェーブレット変換）される（ステップＳ２４）。続いて、置換処理部１３３によって、多重解像度に分解された各周波数成分において、置換側撮影画像内の楕円Ｅの内周側の領域内の画像で、被置換撮影画像内の対応領域の内周側の領域の画像を置き換える処理が行われる（ステップＳ２５）。
【００９４】
そして、再構成部１３４によって、置き換えが行われた各周波数成分における領域Ａｒ′の画像が逆ウェーブレット変換され、再構成される（ステップＳ２６）。最後に、合成画像生成処理部１３５によって、楕円Ｅで切り出された置換領域内の顔画像と、再構成された顔画像周辺の領域Ａｒ′と、被置換撮影画像の背景部分の画像とを用いて、ベストショットとしての合成画像Ｐｃが生成される（ステップＳ２７）。
【００９５】
上述した第２の実施形態例によれば、楕円Ｅを中心とした±１．５Ｌの領域Ａｒを、離散ウェーブレット変換領域下で置き換えることで、置き換え部分と被置き換え部分との境目が目立たない、自然な合成画像を得ることができる。
【００９６】
また、離散ウェーブレット変換される領域が、楕円Ｅを中心とした±１．５Ｌの領域に限定されるため、計算時間が短縮され、ベストショットとしての合成画像Ｐｃが生成されるまでの時間も短くなる。したがって、例えば撮影画像Ｐｏが非常に高精細であり、データ量が多い場合等にも、処理を高速に行うことができる。
【００９７】
〔４．各種変形例〕
なお、上述した各実施形態例では、多重解像度分解部１３２が非間引きウェーブレット変換を行う例を挙げたが、これに限定されるものではなく、通常の離散ウェーブレット変換を行ってもよい。
【００９８】
また、上述した各実施形態例では、顔領域の全体を含む領域を置換領域として抽出する例を挙げたが、これに限定されるものではない。目の部分や口の部分のみを、置換領域として抽出するようにしてもよい。
【００９９】
また、上述した各実施形態例では、良い表情を含む顔画像を置換領域として抽出し、良い表情でない顔画像を置き換える例を挙げたが、これに限定されるものではない。表情の善し悪しにかかわらず、任意の領域の画像を、対応する領域の画像で置き換えるようにしてもよい。
【０１００】
〔５．本発明の一実施形態例に係る撮像装置の構成例〕
図２３は、本発明の画像処理装置を撮像装置に適用した場合の、撮像装置２００Ａの構成例を示すブロック図である。図２３に示す撮像装置２００Ａは、連写機能を備えるとともに、連写して得られた複数の撮影画像Ｐｏを用いて、ベストショットとしての合成画像Ｐｃを生成する。撮像装置２００Ａは、レンズ２０１と、撮像素子２０２と、信号処理部２０３と、画像処理部２０４と、タイミングジェネレータ（ＴＧ）２０５とを備える。
【０１０１】
レンズ２０１は、単一のレンズ又は複数枚のレンズ群よりなり、被写体光を撮像装置２００内に取り込む。撮像部としての撮像素子２０２は、レンズ２０１を通して入射された被写体光を光電変換して画像信号を生成する。撮像素子２０２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等で構成される。
【０１０２】
信号処理部２０３は、撮像素子２０２で得られた画像信号に対して、ＡＧＣ（Auto Gain Control）やＡＷＢ（Auto White Balance）、ガンマ補正等の各種信号処理を行う。また信号処理部２０３は、Ｒ，Ｇ，Ｂで入力された画像信号のフォーマットを、出力フォーマットに応じて変換する処理も行う。なお、画像信号がＹＵＶフォーマットで出力される場合には、次の画像処理部２０４で行う多重解像度分解処理は、ＲＧＢ信号の時と同様に、輝度信号、色差信号（Ｃｂ）、色差信号（Ｃｒ）のそれぞれに対して行う必要がある。
【０１０３】
画像処理部２０４は、信号処理部２０３で信号処理が施された画像信号に対して、デモザイクや色空間変換等のカラープロセス処理や、解像度変換処理、画像フィルタ処理等を行う。さらに、複数の撮影画像Ｐｏを合成してベストショットとしての合成画像Ｐｃを得る処理も行う。タイミングジェネレータ（ＴＧ）２０５は、撮像素子２０２の駆動タイミングパルスと、信号処理部２０３と画像処理部２０４用のパルスを発生して、これらの各部に供給する。
【０１０４】
また、撮像装置２００Ａは、記憶部としてのメモリ２０６と、記録再生処理部（ＣＯＤＥＣ）２０７とを有する。メモリ２０６は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）よりなり、ＲＡＭには、作業途中のデータ、例えば多重解像度分解部１３２で生成された各周波数成分や、置換処理部１３３で置き換え処理を行う画像等が一時的に記憶される。ＲＯＭには、撮像素子２０２で撮影された撮影画像Ｐｏや動画像等が記憶される。記録再生処理部２０７は、画像処理部２０４で画像処理が施された画像信号を圧縮してメモリ２０６に書き込んだり、メモリ２０６に記憶された圧縮データを読み出して伸長したりする処理を行う。
【０１０５】
また、撮像装置２００Ａは、デジタル・アナログ変換部（Ｄ／Ａ）２０８と、ビデオエンコーダ２０９と、表示部２１０を備える。Ｄ／Ａ２０８は、画像処理部２０４で画像処理が施されたデジタルの画像信号をアナログの画像信号に変換する。ビデオエンコーダ２０９は、Ｄ／Ａ２０８でアナログ信号に変換された画像信号を動画符号化して、表示部２１０に出力する。表示部２１０は、ビデオエンコーダ２０９で動画符号化された映像を表示するディスプレイであり、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイで構成される。
【０１０６】
さらに、撮像装置２００Ａは、制御部２１１と、外部記憶媒体２１２と、外部記憶媒体Ｉ／Ｆ部２１３と、操作入力部２１４とを備える。制御部２１１は、ＣＰＵ（Central Processing Unit）等よりなり、撮像装置２００Ａを構成する各部を制御する。外部記憶媒体２１２とは、リムーバブルメディアと称される着脱可能な記憶媒体や、ＤＶＤ（Digital Versatile Disc）やＨＤＤ（Hard Disc Drive）等の外付けの記憶媒体を指す。外部記憶媒体Ｉ／Ｆ部２１３は、これらの外部記憶媒体２１２に対するデータの読み書きを制御する。操作入力部２１４は、ボタンやつまみ、キー等よりなり、ユーザによって入力された操作内容を操作信号に変換して制御部２１１に出力する。
【０１０７】
なお、図２３には、本発明の画像処理装置を、表示部２１０を備えた撮像装置２００Ａに適用した例を挙げたが、表示部２１０を備えずに、外部の表示装置に対して画像信号を出力する撮像装置に適用してもよい。
【０１０８】
また、本発明の画像処理装置は、スタンドアロンの環境下で使用される画像処理装置に限定されない。例えば、ネットワークを介して送信された撮影画像Ｐｏを加工して現像したり、フォトブック等に加工したりする画像処理サービスで使用される画像処理装置に適用してもよい。
【０１０９】
また、上述した実施の形態例における一連の処理は、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、又は各種の機能を実行するためのプログラムをインストールしたコンピュータにより実行可能である。例えば汎用のパーソナルコンピュータ等に所望のソフトウェアを構成するプログラムをインストールして実行させればよい。また、ネットワークに接続されたサーバ上や、クラウドコンピューティング環境下に置かれるソフトウェアに適用してもよい。
【０１１０】
また、上述した実施の形態例の機能を実現するソフトウェアのプログラムコードを記憶させた記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（又はＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。
【符号の説明】
【０１１１】
１００，１００Ａ…画像処理装置、１１０…顔検出部、１１１…顔部分検出部、１１２…目・口部分検出部、１２０…撮影画像選択部、１２１…表情推定部、１２２…置換側／被置換撮影画像選択部、１３０，１３０Ａ…合成画像生成部、１３１…置換領域範囲決定部、１３２…多重解像度分解部、１３３…置換処理部、１３４…再構成部、１３５…合成画像生成処理部、２００，２００Ａ…撮像装置、２０１…レンズ、２０２…撮像素子、２０３…信号処理部、２０４…画像処理部、２０５…タイミングジェネレータ、２０６…メモリ、２０７…デジタル・アナログ変換部、２０８…記録再生処理部、２０９…ビデオエンコーダ、２１０…表示部、２１１…制御部、２１２…外部記憶媒体、２１３…外部記憶媒体Ｉ／Ｆ部、２１４…操作入力部
【図１】
2014215694.tif 000004
【図２】
2014215694.tif 000005
【図３】
2014215694.tif 000006
【図８】
2014215694.tif 000007
【図９】
2014215694.tif 000008
【図１１】
2014215694.tif 000009
【図１３】
2014215694.tif 000010
【図１４】
2014215694.tif 000011
【図１７】
2014215694.tif 000012
【図１８】
2014215694.tif 000013
【図１９】
2014215694.tif 000014
【図２０】
2014215694.tif 000015
【図２１】
2014215694.tif 000016
【図２２】
2014215694.tif 000017
【図２３】
2014215694.tif 000018
【図４】
2014215694.tif 000019
【図５】
2014215694.tif 000020
【図６】
2014215694.tif 000021
【図７】
2014215694.tif 000022
【図１０】
2014215694.tif 000023
【図１２】
2014215694.tif 000024
【図１５】
2014215694.tif 000025
【図１６】
2014215694.tif 000026