(57)【要約】【構成】複数のテンプレート画像はフラッシュメモリ３６に収められ、撮影画像は記録媒体３０に収められる。複数のテンプレート画像の各々に設けられた透過エリア枠の属性（属性：中心座標およびサイズ）は、ＣＰＵ３２によって検出される。撮影画像が有する顔枠の属性も、ＣＰＵ３２によって検出される。ＣＰＵ３２は、検出された透過エリア枠および顔枠の属性に基づいて複数のテンプレート画像の各々の合成適合度を算出し、複数のテンプレート画像の各々を算出された合成適合度が高い方から順に指定する。ＣＰＵ３２はさらに、指定されたテンプレート画像と撮影画像を合成適合度が増大する態様で合成する。【効果】撮影画像を既定画像に良好に合成することができる。【選択図】図１
2009135720.tif 000002
【特許請求の範囲】
【請求項１】
Ｍ個（Ｍ：２以上の整数）の既定画像の各々に設けられた透過エリアの属性を検出する第１検出手段、
撮影画像が有する特定物画像の属性を検出する第２検出手段、
前記第１検出手段によって検出されたＭ個の属性の各々と前記第２検出手段によって検出された属性との相違の小ささに相当する合成適合度を算出する算出手段、
前記Ｍ個の既定画像の１つを前記算出手段によって算出された合成適合度が高い方から順に指定する指定手段、および
前記指定手段によって指定された既定画像と前記撮影画像を合成する第１合成手段を備える、画像合成装置。
【請求項２】
前記第１検出手段は前記透過エリアの位置を前記属性の１つとして検出する第１位置検出手段を含み、
前記第２検出手段は前記特定物画像の位置を前記属性の１つとして検出する第２位置検出手段を含み、
前記算出手段は前記第１位置検出手段によって検出された位置と前記第２位置検出手段によって検出された位置との相違が小さいほど前記合成適合度を高くする、請求項１記載の画像合成装置。
【請求項３】
前記撮影画像を特定物が正立するように回転させる回転手段をさらに備え、
前記算出手段は前記回転手段によって回転された後の前記特定物画像の位置に注目する、請求項２記載の画像合成装置。
【請求項４】
前記Ｍ個の既定画像の各々は１または２以上の透過エリアを有し、
前記第１検出手段は前記１または２以上の透過エリアの各々のサイズを前記属性の他の１つとして検出する第１サイズ検出手段をさらに含み、
前記第１位置検出手段は前記第１サイズ検出手段によって検出されたサイズのうちサイズ条件を満足するサイズを有する透過エリアについて位置検出処理を実行する、請求項２または３記載の画像合成装置。
【請求項５】
前記第２検出手段は前記特定物画像のサイズを前記属性の他の１つとして検出する第２サイズ検出手段をさらに含み、
前記サイズ条件は前記第２検出手段によって検出されたサイズとの相違が最も小さいという条件を含む、請求項４記載の画像合成装置。
【請求項６】
Ｎ個（Ｎ：Ｍ以上の整数）の既定画像の中から時節設定を有する既定画像を抽出する抽出手段、および
前記抽出手段によって抽出された既定画像のうち前記撮影画像の日付に適合しない時節設定を有する既定画像を排除する排除手段をさらに備え、
前記Ｎ個の既定画像のうち前記排除手段の排除処理の後に残った既定画像が前記Ｍ個の既定画像に相当する、請求項１ないし５のいずれかに記載の画像合成装置。
【請求項７】
前記指定手段は、時節設定を有する既定画像に前記合成適合度に従う順位を割り当てる第１割り当て手段、および時節設定を有しない既定画像に前記合成適合度に従いかつ前記第１割り当て手段によって割り当てられた順位よりも低い順位を割り当てる第２割り当て手段を含む、請求項６記載の画像合成装置。
【請求項８】
前記指定手段は前記第１合成手段によって合成される既定画像を画像更新操作を受け付ける毎に更新する更新手段を含む、請求項１ないし７のいずれかに記載の画像合成装置。
【請求項９】
前記第１合成手段は、前記特定物画像のサイズが前記透過エリアのサイズに近づくように前記撮影画像の倍率を調整する倍率調整手段、および前記透過エリアの位置が前記特定物画像の位置に近づくように合成位置を調整する位置調整手段を含む、請求項１ないし８のいずれかに記載の画像合成装置。
【請求項１０】
倍率補正操作に応答して前記撮影画像の倍率を補正する第１倍率補正手段、
位置補正操作に応答して合成位置を補正する第１位置補正手段、および
前記指定手段によって指定された既定画像と前記撮影画像を前記第１倍率補正手段および／または前記第１位置補正手段の補正結果を参照して再度合成する第２合成手段をさらに備える、請求項９記載の画像合成装置。
【請求項１１】
前記第１倍率補正手段による倍率補正量を前記指定手段によって指定された既定画像上の透過エリアのサイズに基づいて正規化する倍率補正量正規化手段をさらに備え、
前記第１合成手段は前記指定手段によって指定された既定画像上の透過エリアのサイズと前記倍率補正量正規化手段によって正規化された倍率補正量とに基づいて前記撮影画像の倍率を補正する第２倍率補正手段をさらに含む、請求項１０記載の画像合成装置。
【請求項１２】
前記第１位置補正手段による位置補正量を前記指定手段によって指定された既定画像上の透過エリアのサイズに基づいて正規化する位置補正量正規化手段をさらに備え、
前記第１合成手段は前記指定手段によって指定された既定画像上の透過エリアのサイズと前記位置補正量正規化手段によって正規化された位置補正量とに基づいて合成位置を補正する第２位置補正手段をさらに含む、請求項１０または１１記載の画像合成装置。
【請求項１３】
前記第１合成手段によって合成された既定画像の外縁からはみ出した前記撮影画像の一部を切り取る切り取り手段をさらに備える、請求項１ないし１２のいずれかに記載の画像合成装置。
【請求項１４】
前記特定物画像は顔画像に相当する、請求項１ないし１３のいずれかに記載の画像合成装置。
【請求項１５】
前記第１検出手段によって注目されるべき撮影画像を選択する画像選択操作を受け付ける受付手段、および
前記画像選択操作によって選択された撮影画像が前記特定物画像を有しないとき警告を発生する発生手段をさらに備える、請求項１ないし１４のいずれかに記載の画像合成装置。
【請求項１６】
前記第１合成手段は前記算出手段によって算出された合成適合度が増大する態様で合成処理を実行する、請求項１ないし１５のいずれかに記載の画像合成装置。
【請求項１７】
画像合成装置のプロセサに、
Ｍ個（Ｍ：２以上の整数）の既定画像の各々に設けられた透過エリアの属性を検出する第１検出ステップ、
撮影画像が有する特定物画像の属性を検出する第２検出ステップ、
前記第１検出ステップによって検出されたＭ個の属性の各々と前記第２検出ステップによって検出された属性との相違の小ささに相当する合成適合度を算出する算出ステップ、
前記Ｍ個の既定画像の１つを前記算出ステップによって算出された合成適合度が高い方から順に指定する指定ステップ、および
前記指定ステップによって指定された既定画像と前記撮影画像を合成する合成ステップを実行させるための、画像合成プログラム。
【請求項１８】
画像合成装置によって実行される画像合成方法であって、
Ｍ個（Ｍ：２以上の整数）の既定画像の各々に設けられた透過エリアの属性を検出する第１検出ステップ、
撮影画像が有する特定物画像の属性を検出する第２検出ステップ、
前記第１検出ステップによって検出されたＭ個の属性の各々と前記第２検出ステップによって検出された属性との相違の小ささに相当する合成適合度を算出する算出ステップ、
前記Ｍ個の既定画像の１つを前記算出ステップによって算出された合成適合度が高い方から順に指定する指定ステップ、および
前記指定ステップによって指定された既定画像と前記撮影画像を合成する合成ステップを備える、画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、既定画像を撮影画像に多重して合成画像を作成する、画像合成装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、合成画像を生成するにあたって、まず複数の素材画像が背景画像上に配置され、次にランダムに選択されたテンプレートトリミングマスクを用いたトリミング処理が各素材画像について実行される。その後、複数の素材画像の全てについて“誘目度”が算出され、特定の素材画像の誘目度が下位数位以内に収まっていなければトリミング処理が再度実行される。トリミング処理は特定の素材画像の誘目度が下位数位以内に収まるまで繰り返され、これによってゲーム性や楽しみを付加した合成画像が完成する。
【特許文献１】特開２００５−２８４５９７号公報［G06T 3/00, 7/00, 11/60, H04N 1/387］
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、背景技術では、素材画像に割り当てられるテンプレートトリミングマスクの形状が誘目度に基づいて調整されることはあっても、素材画像およびテンプレートトリミングマスクの相対的なサイズ／位置が誘目度に基づいて調整されることはない。このため、背景技術では、合成画像の品質に限界がある。
【０００４】
それゆえに、この発明の主たる目的は、撮影画像を既定画像に良好に合成することができる、画像合成装置を提供することである。
【課題を解決するための手段】
【０００５】
この発明に従う画像合成装置(10：実施例で相当する参照符号。以下同じ)は、Ｍ個（Ｍ：２以上の整数）の既定画像の各々に設けられた透過エリアの属性を検出する第１検出手段(S87~S93)、撮影画像が有する特定物画像の属性を検出する第２検出手段(S77, S79)、第１検出手段によって検出されたＭ個の属性の各々と第２検出手段によって検出された属性との相違の小ささに相当する合成適合度を算出する算出手段(S95)、Ｍ個の既定画像の１つを算出手段によって算出された合成適合度が高い方から順に指定する指定手段(S99~S105)、および指定手段によって指定された既定画像と撮影画像を合成する第１合成手段(S111~S123)を備える。
【０００６】
Ｍ個（Ｍ：２以上の整数）の既定画像の各々に設けられた透過エリアの属性は、第１検出手段によって検出される。撮影画像が有する特定物画像の属性は、第２検出手段によって検出される。算出手段は、第１検出手段によって検出されたＭ個の属性の各々と第２検出手段によって検出された属性との相違の小ささに相当する合成適合度を算出する。指定手段は、Ｍ個の既定画像の１つを算出手段によって算出された合成適合度が高い方から順に指定する。第１合成手段は、指定手段によって指定された既定画像と撮影画像を合成する。
【０００７】
このように、合成適合度は、既定画像上の透過エリアの属性と撮影画像上の特定物画像の属性との相違の小ささに相当する。撮影画像に合成される既定画像は合成適合度が高い方から順に指定される。これによって、良好な合成画像が得られる。
【０００８】
好ましくは、第１検出手段は透過エリアの位置を属性の１つとして検出する第１位置検出手段(S93)を含み、第２検出手段は特定物画像の位置を属性の１つとして検出する第２位置検出手段(S79)を含み、算出手段は第１位置検出手段によって検出された位置と第２位置検出手段によって検出された位置との相違が小さいほど合成適合度を高くする。これによって、特定画像の近くに設けられた透過エリアを有する既定画像が優先的に指定される。
【０００９】
さらに好ましくは、撮影画像を特定物が正立するように回転させる回転手段(S55)がさらに備えられ、算出手段は回転手段によって回転された後の特定物画像の位置に注目する。これによって、特定物の姿勢に関係なく合成適合度を良好に算出することができる。
【００１０】
また、Ｍ個の既定画像の各々は１または２以上の透過エリアを有し、第１検出手段は１または２以上の透過エリアの各々のサイズを属性の他の１つとして検出する第１サイズ検出手段(S87)をさらに含み、第１位置検出手段は第１サイズ検出手段によって検出されたサイズのうちサイズ条件を満足するサイズを有する透過エリアについて位置検出処理を実行する。これによって、合成適合度は、特定物画像の位置およびサイズと透過エリアの位置およびサイズとを考慮して算出される。
【００１１】
ここで、第２検出手段は特定物画像のサイズを属性の他の１つとして検出する第２サイズ検出手段(S77)をさらに含み、サイズ条件は第２検出手段によって検出されたサイズとの相違が最も小さいという条件を含む。これによって、合成適合度が最大となる既定画像は、特定物画像のサイズおよび位置に最も近いサイズおよび位置を有する透過エリアが設けられた既定画像である。
【００１２】
好ましくは、Ｎ個（Ｎ：Ｍ以上の整数）の既定画像の中から時節設定を有する既定画像を抽出する抽出手段(S69)、および抽出手段によって抽出された既定画像のうち撮影画像の日付に適合しない時節設定を有する既定画像を排除する排除手段(S71)がさらに備えられ、Ｎ個の既定画像のうち排除手段の排除処理の後に残った既定画像がＭ個の既定画像に相当する。これによって、撮影画像に適しない既定画像が撮影画像に合成される事態を低減することができる。
【００１３】
さらに好ましくは、指定手段は、時節設定を有する既定画像に合成適合度に従う順位を割り当てる第１割り当て手段(S99, S101)、および時節設定を有しない既定画像に合成適合度に従いかつ第１割り当て手段によって割り当てられた順位よりも低い順位を割り当てる第２割り当て手段(S103)を含む。これによって、時節設定を有する既定画像が時節設定を有しない既定画像に優先して指定される。
【００１４】
好ましくは、指定手段は第１合成手段によって合成される既定画像を画像更新操作を受け付ける毎に更新する更新手段(S11)を含む。これによって操作性が向上する。
【００１５】
好ましくは、第１合成手段は、特定物画像のサイズが透過エリアのサイズに近づくように撮影画像の倍率を調整する倍率調整手段(S115)、および透過エリアの位置が特定物画像の位置に近づくように合成位置を調整する位置調整手段(S117)を含む。合成処理は、特定物画像が透過エリアから透過するように実行される。
【００１６】
さらに好ましくは、倍率補正操作に応答して撮影画像の倍率を補正する第１倍率補正手段(S25)、位置補正操作に応答して合成位置を補正する第１位置補正手段(S19)、および指定手段によって指定された既定画像と撮影画像を第１倍率補正手段および／または第１位置補正手段の補正結果を参照して再度合成する第２合成手段(S29)がさらに備えられる。これによって、透過エリアに現れた特定物画像の位置および倍率を操作者の好みに応じて補正することができる。
【００１７】
また、第１倍率補正手段による倍率補正量を指定手段によって指定された既定画像上の透過エリアのサイズに基づいて正規化する倍率補正量正規化手段(S27)がさらに備えられ、第１合成手段は指定手段によって指定された既定画像上の透過エリアのサイズと倍率補正量正規化手段によって正規化された倍率補正量とに基づいて撮影画像の倍率を補正する第２倍率補正手段(S119)をさらに含む。
【００１８】
これによって、既定画像が更新された場合に、更新後の既定画像が有する透過エリアと特定物画像とのサイズ関係を、更新前の既定画像が有する透過エリアと特定物画像とのサイズ関係に合わせることができる。
【００１９】
さらに、第１位置補正手段による位置補正量を指定手段によって指定された既定画像上の透過エリアのサイズに基づいて正規化する位置補正量正規化手段(S21)がさらに備えられ、第１合成手段は指定手段によって指定された既定画像上の透過エリアのサイズと位置補正量正規化手段によって正規化された位置補正量とに基づいて合成位置を補正する第２位置補正手段(S121)をさらに含む。
【００２０】
これによって、既定画像が更新された場合に、更新後の既定画像が有する透過エリアと特定物画像との位置関係を、更新前の既定画像が有する透過エリアと特定物画像との位置関係に合わせることができる。
【００２１】
好ましくは、第１合成手段によって合成された既定画像の外縁からはみ出した撮影画像の一部を切り取る切り取り手段(S125)がさらに備えられる。また、特定物画像は顔画像に相当する。
【００２２】
好ましくは、第１検出手段によって注目されるべき撮影画像を選択する画像選択操作を受け付ける受付手段(S47)、および画像選択操作によって選択された撮影画像が特定物画像を有しないとき警告を発生する発生手段(S53)がさらに備えられる。これによって、操作性が向上する。
【００２３】
好ましくは、第１合成手段は算出手段によって算出された合成適合度が増大する態様で合成処理を実行する。合成適合度が高い方から順に既定画像を指定する処理と相俟って、良好な合成画像を作成することができる。
【００２４】
この発明に従う画像合成プログラムは、画像合成装置(10)のプロセサ(32)に、Ｍ個（Ｍ：２以上の整数）の既定画像の各々に設けられた透過エリアの属性を検出する第１検出ステップ(S87~S93)、撮影画像が有する特定物画像の属性を検出する第２検出ステップ(S77, S79)、第１検出ステップによって検出されたＭ個の属性の各々と第２検出ステップによって検出された属性との相違の小ささに相当する合成適合度を算出する算出ステップ(S95)、Ｍ個の既定画像の１つを算出ステップによって算出された合成適合度が高い方から順に指定する指定ステップ(S99~S105, S11)、および指定ステップによって指定された既定画像と撮影画像を合成する合成ステップ(S111~S123)を実行させるための、画像合成プログラムである。
【００２５】
この発明に従う画像合成方法は、画像合成装置(10)によって実行される画像合成方法であって、Ｍ個（Ｍ：２以上の整数）の既定画像の各々に設けられた透過エリアの属性を検出する第１検出ステップ(S87~S93)、撮影画像が有する特定物画像の属性を検出する第２検出ステップ(S77, S79)、第１検出ステップによって検出されたＭ個の属性の各々と第２検出ステップによって検出された属性との相違の小ささに相当する合成適合度を算出する算出ステップ(S95)、Ｍ個の既定画像の１つを算出ステップによって算出された合成適合度が高い方から順に指定する指定ステップ(S99~S105, S11)、および指定ステップによって指定された既定画像と撮影画像を合成する合成ステップ(S111~S123)を備える。
【発明の効果】
【００２６】
この発明によれば、合成適合度は、既定画像上の透過エリアの属性と撮影画像上の特定物画像の属性との相違の小ささに相当する。撮影画像に合成される既定画像は合成適合度が高い方から順に指定される。これによって、良好な合成画像が得られる。
【００２７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００２８】
図１を参照して、この実施例のディジタルカメラ１０は、光学レンズ１２を含む。被写界を表す光学像は、光学レンズ１２を経て撮像装置１４の受光面に照射される。受光面では、被写界像を表す電荷が光電変換によって生成される。
【００２９】
キー入力装置３８によってカメラモードが選択されると、ＣＰＵ３２は、スルー画像処理を実行するべく、プリ露光および間引き読み出しの繰り返しを撮像装置１４に命令する。撮像装置１４は、垂直同期信号Ｖｓｙｎｃが発生する毎に、受光面にプリ露光を施し、かつこのプリ露光によって生成された電荷の一部をラスタ走査態様で受光面から読み出す。垂直同期信号Ｖｓｙｎｃは１／３０秒毎に出力され、この結果、被写界を表す低解像度の生画像信号が３０ｆｐｓのフレームレートで撮像装置１４から出力される。
【００３０】
カメラ処理回路１６は、撮像装置１４から出力された生画像信号にＡ／Ｄ変換，白バランス調整，ＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データを作成する。作成された画像データは、メモリ制御回路１８を通してＳＤＲＡＭ２０のスルー画像エリア２０ａ（図２参照）に書き込まれる。ＬＣＤドライバ２２は、スルー画像エリア２０ａに格納された画像データを１／３０秒毎に読み出し、読み出された各フレームの画像データに基づいてＬＣＤモニタ２４を駆動する。この結果、被写界を表すリアルタイム動画像つまりスルー画像がモニタ画面に表示される。
【００３１】
キー入力装置３８上のシャッタボタン３８ｓが半押しされると、ＣＰＵ３２は、傾斜センサ３４から出力された姿勢情報を取り込む。取り込まれた姿勢情報は、メモリ制御回路１８を通してＳＤＲＡＭ２０のワークエリア２０ｆに書き込まれる。
【００３２】
ＣＰＵ３２はまた、シャッタボタン３８ｓの半押しに応答して、カメラ処理回路１６からの出力に基づく顔認識処理を実行する。被写界に人物の顔が存在する場合、顔の個数，各々の顔を囲う顔枠の中心座標およびサイズが、顔認識処理によって検出される。また、顔が複数存在する場合は、いずれか１つの顔の区分が“主”とされ、残りの顔の区分が“従”とされる。このような顔情報もまた、メモリ制御回路１８を通してＳＤＲＡＭ２０のワークエリア２０ｆに書き込まれる。なお、ワークエリア２０ｆには、図示しない時計回路によって検出された今日の日付情報も書き込まれる。
【００３３】
シャッタボタン３８ｓが全押しされると、ＣＰＵ３２は、本露光および全画素読み出しを１回ずつ実行することを撮像装置１４に命令する。撮像装置１４は、受光面に本露光を施し、かつこの本露光によって生成された電荷の全てをラスタ走査態様で受光面から読み出す。この結果、被写界を表す高解像度の生画像信号が撮像装置１４から出力される。
【００３４】
出力された１フレームの生画像信号は、カメラ処理回路１６によって上述と同様の処理を施される。カメラ処理回路１６によって作成されたＹＵＶ形式の画像データは、メモリ制御回路１８を通してＳＤＲＡＭ２０の伸長画像エリア２０ｂに書き込まれる。
【００３５】
ＣＰＵ３２はまた、シャッタボタン３８ｓの全押しに応答して、圧縮命令および記録命令をＪＰＥＧコーデック２６およびＩ／Ｆ回路２８にそれぞれ与える。ＪＰＥＧコーデック２６は、伸長画像エリア２０ｂに格納された画像データをメモリ制御回路１８を通して読み出し、読み出された画像データにＪＰＥＧ圧縮を施し、そして圧縮画像データつまりＪＰＥＧデータをメモリ制御回路１８を通してＳＤＲＡＭ２０の圧縮画像エリア２０ｃに書き込む。
【００３６】
Ｉ／Ｆ回路２８は、メモリ制御回路１８を通して圧縮画像エリア２０ｃからＪＰＥＧデータを読み出し、読み出されたＪＰＥＧデータを記録媒体３０内に作成されたＪＰＥＧファイルに格納する。Ｉ／Ｆ回路２８はまた、メモリ制御回路１８を通してワークエリア２０ｆから姿勢情報，顔情報および日付情報を読み出し、これらの情報が記述されたタグデータを同じＪＰＥＧファイルのヘッダに埋め込む。このような記録処理が完了すると、上述のスルー画像処理が再開される。
【００３７】
撮影画像を収めたＪＰＥＧファイルは、図３に示すように構成される。タグ情報は、上述の通り、日付情報，姿勢情報および顔情報によって構成される。日付情報は、年月日で表される。姿勢情報は、正立状態，左９０度回転状態および右９０度回転状態をそれぞれ意味する“１”，“２”および“３”のいずれか１つによって表される。顔情報は、具体的には、顔認識情報，顔個数情報および顔枠情報によって構成される。顔認識情報について、“０”は顔が存在しないことを示し、“１”は顔が存在することを示す。顔個数情報について、数値Ｎは顔の個数に相当する。顔枠情報は、各々の顔枠の中心座標および水平・垂直サイズと各々の顔の区分とを含む。主たる顔の区分は“１”とされ、従たる顔の区分は“２”とされる。なお、顔の主従は、たとえば笑顔の程度、顔のサイズなどによって決定される。
【００３８】
ＪＰＥＧデータは、たとえば図５（Ａ）または図５（Ｂ）に示す撮影画像を表す。図５（Ａ）によれば、被写界は２００５年１２月１０日に正立状態で撮影され、単一の顔画像が被写界の左上側に存在する。顔枠Ｋｐ１は、この顔画像を囲うように定義される。図５（Ｂ）によれば、被写界は２００６年８月２６日に左９０度回転状態で捉えられ、単一の顔画像が被写界の右側に存在する。顔枠Ｋｐ２は、この顔画像を囲うように定義される。
【００３９】
キー入力装置３８によって再生モードが選択されかつ所望のＪＰＥＧファイルが指定されると、ＣＰＵ３２は、Ｉ／Ｆ回路２８およびＪＰＥＧコーデック２６に再生命令および伸長命令をそれぞれ与える。再生命令には、所望のＪＰＥＧファイルの識別番号が記述される。
【００４０】
Ｉ／Ｆ回路２８は、所望のＪＰＥＧファイルに格納されたＪＰＥＧデータを記録媒体３０から読み出し、読み出されたＪＰＥＧデータをメモリ制御回路１８を通してＳＤＲＡＭ２０の圧縮画像エリア２０ｃに書き込む。ＪＰＥＧコーデック２６は、圧縮画像エリア２０ｃに格納されたＪＰＥＧデータをメモリ制御回路１８を通して読み出し、読み出されたＪＰＥＧデータにＪＰＥＧ伸長を施し、そして伸長画像データをメモリ制御回路１８を通してＳＤＲＡＭ２０の伸長画像エリア２０ｂに書き込む。
【００４１】
ＬＣＤドライバ２２は、伸長画像エリア２０ｂに格納された伸長画像データをメモリ制御回路１８を通して読み出し、読み出された伸長画像データに基づいてＬＣＤモニタ２４を駆動する。この結果、撮影画像がモニタ画面に表示される。
【００４２】
キー入力装置３８上で画像更新操作が行われると、再生命令および伸長命令が再度発行される。再生命令に記述された識別番号は次のＪＰＥＧファイルを示し、この結果、次のＪＰＥＧファイルに格納された撮影画像がＬＣＤモニタ２４から出力される。
【００４３】
この実施例のディジタルカメラ１０は、記録済みの撮影画像にテンプレート画像を合成する画像合成モードを有する。テンプレート画像は、ＪＰＥＧファイル形式でフラッシュメモリ３６（記録媒体３０でもよい）に準備され、ＪＰＥＧファイルは上述と同様にタグデータおよびＪＰＥＧデータによって構成される。
【００４４】
タグデータには、図４に示すように、季節設定情報，季節情報，透過エリア枠設定情報，透過エリア枠個数情報および透過エリア枠情報が記述される。季節設定情報について、“０”は季節設定が存在しないことを示し、“１”は季節設定が存在することを示す。季節情報について、“１”は春を示し、“２”は夏を示し、“３”は秋を示し、そして“４”は冬を示す。透過エリア枠設定情報について、“０”は透過エリア枠設定が存在しないことを示し、“１”は透過エリア枠設定が存在することを示す。透過エリア枠個数情報について、Ｎは透過エリア枠の個数を示す。透過エリア枠情報は、各々の透過エリア枠の中心座標および水平・垂直サイズを含む。
【００４５】
ＪＰＥＧデータは、たとえば図６（Ａ），図６（Ｂ），図６（Ｃ）または図６（Ｄ）に示すテンプレート画像を表す。図６（Ａ）〜図６（Ｄ）のいずれにおいても、白色エリアが透過エリアに相当する。
【００４６】
図６（Ａ）のテンプレート画像については、季節設定が存在せず、２つの透過エリア枠Ｋｔ１ａおよびＫｔ１ｂが２つの透過エリア上にそれぞれ配置される。図６（Ｂ）のテンプレート画像については、季節設定が存在せず、単一の透過エリア枠Ｋｔ２が単一の透過エリア上に配置される。
【００４７】
図６（Ｃ）のテンプレート画像については、季節設定が存在し、季節情報は冬を示す。また、単一の透過エリア枠Ｋｔ３が単一の透過エリア上に配置される。図６（Ｄ）のテンプレート画像については、季節設定および透過エリア枠のいずれも存在しない。図６（Ｄ）のように透過エリアがテンプレート画像の外縁まで及ぶ場合、透過エリア枠は非設定とされる。
【００４８】
画像合成モードが選択されると、まず記録媒体３０に記録されたＪＰＥＧファイルが上述の要領で再生され、撮影画像がＬＣＤモニタ２４に表示される。また、撮影画像更新操作が行われると、ＬＣＤモニタ２４に表示される撮影画像が更新される。所望の撮影画像が表示された状態でキー入力装置３８上で選択操作が行われると、表示中の撮影画像が顔画像を有するか否かがタグデータの記述に基づいて判別される。顔画像が存在しなければ、画像更新操作を促すべく警告が出力される。
【００４９】
一方、顔画像が存在すれば、タグデータの記述に基づいて被写界の姿勢が判別される。撮影画像は、被写界が正立するようにワークエリア２０ｆに展開される。したがって、図５（Ａ）に示す撮影画像が選択された場合、この撮影画像はそのままワークエリア２０ｆに展開される。一方、図５（Ｂ）に示す撮影画像が選択された場合、この撮影画像は左に９０度回転された状態でワークエリア２０ｆに展開される。以下では、ワークエリア２０ｆに展開された撮影画像を“注目撮影画像”と定義し、注目撮影画像上の主たる顔枠を“注目顔枠”と定義する。
【００５０】
次に、透過エリア枠を有するテンプレート画像がリストＬ１上に抽出される。ただし、季節設定を有するテンプレート画像のうち、季節が撮影日付に合致しないテンプレート画像は、抽出対象から排除される。
【００５１】
図５（Ａ）に示す撮影画像の日付は２００５年１２月１０日であり、図５（Ｂ）に示す撮影画像の日付は２００６年８月２６日である。一方、透過エリア枠を有するテンプレート画像は図６（Ａ）〜図６（Ｃ）に示す画像であり、このうち季節設定を有するテンプレート画像は図６（Ｃ）に示す画像である。さらに、図６（Ｃ）に示すテンプレート画像の季節情報は冬である。
【００５２】
したがって、図５（Ａ）に示す撮影画像が注目撮影画像として選択されたときは、図６（Ａ）〜図６（Ｃ）に示すテンプレート画像が図７（Ａ）に示す要領でリストＬ１上に抽出される。一方、図５（Ｂ）に示す撮影画像が注目撮影画像として選択されたときは、図６（Ａ）および図６（Ｂ）に示すテンプレート画像が図７（Ｂ）に示す要領でリストＬ１上に抽出される。
【００５３】
リストＬ１が完成すると、テンプレート画像上の透過エリア枠の中からサイズ条件を満足する透過エリア枠が選択される。サイズ条件は、注目顔枠のサイズとの相違が最も小さいという条件であり、注目顔枠のサイズに最も近いサイズを有する透過エリア枠がテンプレート画像上の透過エリア枠の中から選択される。このようなサイズ条件に基づく透過エリア枠の選択処理は、テンプレート画像上に複数の透過エリア枠が存在する場合に意味をなす。
【００５４】
続いて、選択された透過エリア枠の中心座標と注目撮影画像上の注目顔枠の中心座標との相違が、リストＬ１上のテンプレート画像の各々について算出される。撮影画像およびテンプレート画像のいずれにおいても、座標の原点は画像の中心に設定され、上述の相違は、選択された透過エリア枠の中心座標が示す数値と注目顔枠の中心座標が示す数値との差分によって表される。算出された中心座標の相違は“合成適合度”と定義され、合成適合度は相違が減少するほど増大する。
【００５５】
なお、撮影画像が回転してワークエリア２０ｆに展開された場合、顔枠の中心座標は撮影画像の回転に応じて変換され、変換された中心座標が相違の算出のために参照される。
【００５６】
合成適合度の算出が完了すると、まず季節設定を有するテンプレート画像が、合成適合度が高い方から順にリストＬ２に移動される。季節設定を有する全てのテンプレート画像の移動が完了すると、季節設定を有しないテンプレート画像が、合成適合度が高い方から順にリストＬ２に移動される。
【００５７】
したがって、図５（Ａ）に示す撮影画像が選択された場合、図６（Ａ）〜図６（Ｃ）に示すテンプレート画像は、図７（Ａ）に示す要領でリストＬ２に登録される。また、図５（Ｂ）に示す撮影画像が選択された場合、図６（Ａ）および図６（Ｂ）に示すテンプレート画像は、図７（Ｂ）に示す要領でリストＬ２に登録される。
【００５８】
リストＬ２が完成すると、リストＬ２の最上位に登録されたテンプレート画像が次の要領で再生される。ＣＰＵ３２は、対応するＪＰＥＧファイルをフラッシュメモリ３６から検出し、このＪＰＥＧファイルに格納されたＪＰＥＧデータをメモリ制御回路１８を通してＳＤＲＡＭ２０の圧縮画像エリア２０ｅに書き込む。ＣＰＵ３２はまた、ＪＰＥＧコーデック２６に伸長命令を与える。ＪＰＥＧコーデック２６は、圧縮画像エリア２０ｅに格納されたＪＰＥＧデータをメモリ制御回路１８を通して読み出し、読み出されたＪＰＥＧデータにＪＰＥＧ伸長を施し、伸長画像データをメモリ制御回路１８を通してＳＤＲＡＭ２０の伸長画像エリア２０ｄに書き込む。
【００５９】
テンプレート画像の再生が完了すると、再生されたテンプレート画像を注目撮影画像に多重する処理（上位概念としては、再生されたテンプレート画像と注目撮影画像を合成する処理）がワークエリア２０ｆ上で実行される。以下では、注目撮影画像に多重されるテンプレート画像を“注目テンプレート画像”と定義し、注目テンプレート画像上の透過エリア枠のうちサイズ条件を満足する透過エリア枠を“注目透過エリア枠”と定義する。
【００６０】
多重処理を行うとき、注目撮影画像の倍率および注目テンプレート画像の多重位置は、上述した合成適合度が増大するように、つまり注目透過エリア枠の中心座標およびサイズが注目顔枠の中心座標およびサイズにそれぞれ合致するように、調整される。多重処理が完了すると、テンプレート画像の外縁からはみ出した一部の撮影画像が切り取られ、これによって合成画像が完成する。完成した合成画像を表す画像データはその後、ワークエリア２０ｆから伸長画像エリア２０ｂに移動される。移動された画像データはその後ＬＣＤドライバ２２によって読み出され、この結果、合成画像がＬＣＤモニタ２４から出力される。
【００６１】
図８（Ａ）に示す撮影画像が注目撮影画像として選択され、図８（Ｂ）に示すテンプレート画像が注目テンプレート画像として指定された場合、図８（Ａ）に示す顔枠Ｋｐ１が注目顔枠となり、図８（Ｂ）に示す透過エリア枠Ｋｔ３が注目透過エリア枠となる。
【００６２】
注目撮影画像の倍率は、注目顔枠Ｋｐ１の水平サイズと注目透過エリア枠Ｋｔ３の水平サイズとが互いに一致するように調整され、注目テンプレート画像の多重位置は、注目透過エリア枠Ｋｔ３の中心座標と調整された倍率を有する注目顔枠Ｋｐ１´の中心座標とが互いに一致するように調整される（図８（Ｃ）〜図８（Ｅ）参照）。サイズ調整に関して、注目顔枠Ｋｐ１の水平サイズを“Ｗ２”とし、注目透過エリア枠Ｋｔ３の水平サイズを“Ｗ１”とすると、注目顔枠Ｋｐ１´は“Ｗ１”の水平サイズを有する。注目テンプレート画像は、調整された倍率を有する注目撮影画像に図８（Ｆ）に示す要領で多重される。多重処理が完了すると、注目テンプレート画像の外縁からはみ出した一部の注目撮影画像が切り取られ、これによって図８（Ｇ）に示す合成画像が完成する。
【００６３】
一方、図１０（Ａ）に示す撮影画像が注目撮影画像として選択され、図１０（Ｂ）に示すテンプレート画像が注目テンプレート画像として選択された場合、図１０（Ａ）に示す顔枠Ｋｐ２が注目顔枠となり、図１０（Ｂ）に示す透過エリア枠Ｋｔ１ａが注目透過エリア枠となる。
【００６４】
注目撮影画像の倍率は、注目顔枠Ｋｐ２の水平サイズと注目透過エリア枠Ｋｔ１ａの水平サイズとが互いに一致するように調整され、注目テンプレート画像の多重位置は、透過エリア枠Ｋｔ１ａの中心座標と調整された倍率を有する注目顔枠Ｋｐ２´の中心座標とが互いに一致するように調整される（図１０（Ｃ）〜図１０（Ｅ）参照）。サイズ調整に関して、注目顔枠Ｋｐ２の水平サイズを“Ｗ２”とし、注目透過エリア枠Ｋｔ１ａの水平サイズを“Ｗ１”とすると、注目顔枠Ｋｐ２´は“Ｗ１”の水平サイズを有する。注目テンプレート画像は、調整された倍率を有する撮影画像に図１０（Ｆ）に示す要領で多重される。多重処理が完了すると、注目テンプレート画像の外縁からはみ出した一部の注目撮影画像が切り取られ、これによって合成画像が完成する（図１０（Ｇ）参照）。
【００６５】
合成画像が完成した後にキー入力装置３８によって位置補正操作が行われると、注目テンプレート画像の多重位置が補正される。注目テンプレート画像は補正後の多重位置で注目撮影画像に再度多重され、これによって得られた合成画像は上述と同じ要領でＬＣＤモニタ２４から出力される。また、テンプレート画像更新操作によって更新された別の注目テンプレート画像への多重処理を考慮して、多重位置補正量が数１および数２に従って正規化される。数１によって水平方向における正規化多重位置補正量が算出され、数２によって垂直方向における正規化多重位置補正量が算出される。なお、数１および後述する数３に示すＨｓｉｚｅは、図８（Ｃ）または図１０（Ｃ）の例では“Ｗ１”に相当する。
［数１］
ＮＣｈｐ＝Ｃｈｐ／Ｈｓｉｚｅ
ＮＣｈｐ：水平方向における正規化多重位置補正量
Ｃｈｐ：水平方向における多重位置補正量
Ｈｓｉｚｅ：透過エリア枠の水平サイズ
［数２］
ＮＣｖｐ＝Ｃｖｐ／Ｖｓｉｚｅ
ＮＣｖｐ：垂直方向における正規化多重位置補正量
Ｃｖｐ：垂直方向における多重位置補正量
Ｖｓｉｚｅ：透過エリア枠の垂直サイズ
【００６６】
また、合成画像が完成した後にキー入力装置３８によって倍率補正操作が行われると、注目撮影画像の倍率が補正される。注目テンプレート画像は補正後の倍率を有する注目撮影画像に再度多重され、これによって得られた合成画像もまた上述と同じ要領でＬＣＤモニタ２４から出力される。また、テンプレート画像更新操作によって更新された別の注目テンプレート画像への多重処理を考慮して、倍率補正量が数３に従って正規化される。
［数３］
ＮＣｍｇ＝Ｃｍｇ／Ｈｓｉｚｅ
ＮＣｍｇ：正規化倍率補正量
Ｃｍｇ：倍率補正量
Ｈｓｉｚｅ：透過エリア枠の水平サイズ
【００６７】
テンプレート画像更新操作が行われると、リストＬ２上の次のテンプレート画像が注目テンプレート画像として指定され、上述の要領で再生される。注目撮影画像の倍率および更新された注目テンプレート画像の多重位置は、上述と同様、合成適合度が増大するように（注目透過エリア枠の位置およびサイズが注目顔枠の位置およびサイズにそれぞれ合致するように）調整される。
【００６８】
さらに、更新された注目テンプレート画像の多重位置は、数１および数２によって算出された正規化位置補正量を参照して補正される。また、注目撮影画像の倍率は、数３によって算出された正規化倍率補正量を参照して補正される。
【００６９】
更新された注目テンプレート画像上の注目透過エリア枠の水平サイズおよび垂直サイズをそれぞれ“Ｈｓｉｚｅ´”および“Ｖｓｉｚｅ´”と定義した場合、更新された注目テンプレート画像の多重位置は、合成適合度が増大するように調整された位置から水平方向に“ＮＣｈｐ＊Ｈｓｉｚｅ´”だけ移動し、かつ垂直方向に“ＮＣｖｐ＊Ｖｓｉｚｅ´”だけ移動した位置とされる。また、注目撮影画像の倍率は、合成適合度が増大するように調整された倍率に“ＮＣｍｇ＊Ｈｓｉｚｅ´”を掛算した値とされる。
【００７０】
図８（Ｇ）に示す合成画像が完成した後に位置補正操作が行われると、注目テンプレート画像の多重位置はたとえば図９（Ａ）に示す要領で補正され、これによって図９（Ｂ）に示す合成画像が得られる。
【００７１】
位置補正操作の後にテンプレート画像更新操作が行われると、図９（Ｃ）に示すテンプレート画像が次の注目テンプレート画像とされ、透過エリア枠Ｋｔ２が次の注目透過エリア枠とされる。注目透過エリア枠Ｋｔ２の水平サイズは注目顔枠Ｋｐ１の水平サイズと一致し（図９（Ｄ）参照）、注目撮影画像の倍率は“１．０”とされる。ただし、注目テンプレート画像の多重位置は、数１および数２によって算出された正規化位置補正量を参照して補正される（図９（Ｅ）参照）。
【００７２】
こうして決定された倍率および多重位置を参照した多重処理が行われた結果、図９（Ｇ）に示す合成画像が得られる。参考までに、注目透過エリア枠Ｋｔ２の中心座標が注目顔枠Ｋｐ１の中心座標と一致する位置を多重位置とした場合に得られる合成画像を図９（Ｆ）に示す。
【００７３】
また、図１０（Ｇ）に示す合成画像が完成した後に倍率補正操作が行われると、注目撮影画像の倍率が図１１（Ａ）に示す要領で補正され、これによって図１１（Ｂ）に示す合成画像が得られる。
【００７４】
倍率補正操作の後にテンプレート画像更新操作が行われると、図１１（Ｃ）に示すテンプレート画像が次の注目テンプレート画像として指定され、透過エリア枠Ｋｔ２が次の注目透過エリア枠とされる。注目透過エリア枠Ｋｔ２の水平サイズは注目顔枠Ｋｐ２の水平サイズと一致し（図１１（Ｃ）参照）、注目撮影画像の倍率は“１．０”とされる。ただし、この倍率は、数３によって算出された正規化倍率補正量を参照して補正される（図１１（Ｅ）参照）。
【００７５】
こうして決定された倍率および多重位置を参照した多重処理が行われた結果、図１１（Ｇ）に示す合成画像が得られる。参考までに、注目撮影画像の倍率を“１．０”とした場合に得られる合成画像を図１１（Ｆ）に示す。
【００７６】
合成画像が完成した後にキー入力装置３８上で画像記録操作が行われると、ＣＰＵ３２は、記録処理を実行するべく、圧縮命令および記録命令をＪＰＥＧコーデック２６およびＩ／Ｆ回路２８にそれぞれ与える。ＪＰＥＧコーデック２６は、上述と同じ要領で合成画像にＪＰＥＧ圧縮を施し、ＪＰＥＧデータをＳＤＲＡＭ２０の圧縮画像エリア２０ｃに書き込む。Ｉ／Ｆ回路２８は、メモリ制御回路１８を通して圧縮画像エリア２０ｃからＪＰＥＧデータを読み出し、読み出されたＪＰＥＧデータを収めたＪＰＥＧファイルを記録媒体３０内に作成する。
【００７７】
画像合成モードが選択されたとき、ＣＰＵ３２は、図１２〜図１７に示すフロー図に従う処理を実行する。なお、これらのフロー図に対応する制御プログラムは、フラッシュメモリ３６に記憶される。
【００７８】
まずステップＳ１で正規化多重位置補正量および正規化倍率補正量を初期化する。ステップＳ３では撮影画像選択処理を実行し、ステップＳ５ではテンプレート画像抽出処理を実行する。ステップＳ３によって、顔画像を有する撮影画像が注目撮影画像として選択される。また、ステップＳ５の処理によって、リストＬ１およびＬ２が作成され、かつリストＬ２の最上位に登録されたテンプレート画像が注目テンプレート画像として指定される。ステップＳ７では、注目撮影画像と注目テンプレート画像とを合成するべく、画像合成処理を実行する。
【００７９】
ステップＳ９ではテンプレート画像更新操作が行われたか否かを判別し、ステップＳ１３では画像記録操作が行われたか否かを判別する。また、ステップＳ１７では位置補正操作が行われたか否かを判別し、ステップＳ２３では倍率補正操作が行われたか否かを判別する。
【００８０】
テンプレート画像更新操作が行われると、ステップＳ９からステップＳ１１に進み、注目テンプレート画像をリストＬ２上の次のテンプレート画像に更新する。更新処理が完了すると、ステップＳ７に戻る。画像記録操作が行われると、ステップＳ１３からステップＳ１５に進み、記録処理を実行する。ステップＳ７の画像合成処理によって作成された合成画像は、ＪＰＥＧファイル形式で記録媒体３０に記録される。
【００８１】
位置補正操作が行われると、ステップＳ１７からステップＳ１９に進み、注目テンプレート画像の多重位置を補正する。ステップＳ２１では、上述の数１および数２に従って正規化多重位置補正量を算出する。また、倍率補正操作が行われると、ステップＳ２３からステップＳ２５に進み、注目撮影画像の倍率を補正する。ステップＳ２７では、上述の数３に従って正規化倍率補正量を算出する。ステップＳ２１またはＳ２３の処理が完了すると、ステップＳ２９で注目テンプレート画像を注目撮影画像に再度多重する。この多重処理では、ステップＳ１９で補正された多重位置またはステップＳ２５で補正された倍率が参照される。ステップＳ３１では不要部分画像（注目テンプレート画像の外縁からはみ出した一部の注目撮影画像）を切り取る。ステップＳ３１の処理が完了すると、ステップＳ９に戻る。
【００８２】
図１２に示すステップＳ３の撮影画像選択処理は、図１４に示すサブルーチンに従って実行される。まずステップＳ４１で先頭の撮影画像を収めるＪＰＥＧファイルを記録媒体３０から再生する。この結果、先頭の撮影画像がＬＣＤモニタ２４に表示される。ステップＳ４３では撮影画像更新操作が行われたか否かを判別し、ステップＳ４５では選択操作が行われたか否かを判別する。
【００８３】
撮影画像更新操作が行われると、ステップＳ４３からステップＳ４５に進み、再生すべき撮影画像を次のＪＰＥＧファイルに収められた撮影画像に更新する。更新処理が完了すると、ステップＳ４３に戻る。選択操作が行われると、ステップＳ４７からステップＳ４９に進み、選択された撮影画像を収めるＪＰＥＧファイルからタグデータを検出する。
【００８４】
ステップＳ５１では、選択された撮影画像上に顔が存在するか否かをステップＳ４９で検出されたタグデータに基づいて判別する。ＮＯであれば、ステップＳ５３で警告を発生してステップＳ４３に戻る。ＹＥＳであればステップＳ５５に進み、被写界が正立するように回転させた状態で撮影画像をワークエリア２０ｆに展開する。こうして展開された撮影画像が注目撮影画像とされる。ステップＳ５５の処理が完了すると、上階層のルーチンに復帰する。
【００８５】
図１２に示すステップＳ５のテンプレート画像更新処理は、図１５〜図１６に示すサブルーチンに従って実行される。まずステップＳ６１で変数ＮＴを“１”に設定し、変数ＮＴが設定値ＮＴｍａｘを上回るか否かを判別する。設定値ＮＴｍａｘは、フラッシュメモリ３６に格納されたテンプレート画像の総数に相当し、ＮＴ≦ＮＴｍａｘである限りステップＳ６５に進む。
【００８６】
ステップＳ６５では、ＮＴ番目のテンプレート画像を収めるＪＰＥＧファイルからタグデータを検出する。ステップＳ６７では透明エリア枠が存在するか否かを検出されたタグデータに基づいて判別し、ステップＳ６９では季節設定が存在するか否かを検出されたタグデータに基づいて判別する。
【００８７】
ステップＳ６７およびＳ６９のいずれもＹＥＳであれば、ＮＴ番目のテンプレート画像の季節が注目撮影画像の日付に適合するか否かをステップＳ７１で判別する。ここでもＹＥＳであれば、ＮＴ番目のテンプレート画像をステップＳ７３でリストＬ１登録する。ステップＳ６７でＹＥＳである一方、ステップＳ６９でＮＯであれば、ステップＳ７１の処理を経ることなくステップＳ７３に進み、上述した登録処理を実行する。
【００８８】
ステップＳ７３の処理が完了すると、ステップＳ７５で変数ＮＴをインクリメントしてからステップＳ６３に戻る。ステップＳ６７またはステップＳ７１でＮＯであれば、ステップＳ７３の処理を経ることなくステップＳ７５でインクリメント処理を実行し、その後にステップＳ６３に戻る。
【００８９】
ステップＳ６３でＹＥＳと判断されると、ステップＳ７７で注目顔枠の水平・垂直サイズを検出し、ステップＳ７９で注目顔枠の中心座標を検出する。注目顔枠は注目撮影画像上の主たる顔枠であり、ステップＳ７７およびＳ７９いずれにおいても図１４のステップＳ４９で検出されたタグデータが参照される。また、注目撮影画像がワークエリア２０ｆ上で回転された撮影画像である場合、検出された中心座標の値はこの回転を考慮して変換される。
【００９０】
ステップＳ８１では変数ＮＬを“１”に設定し、変数ＮＬが設定値ＮＬｍａｘを上回るか否かを判別する。設定値ＮＬｍａｘは、リストＬ１に登録されたテンプレート画像の総数に相当し、ＮＬ≦ＮＬｍａｘである限りステップＳ８５に進む。ステップＳ８５では、リストＬ１上のＮＬ番目のテンプレート画像を再生する。再生されたテンプレート画像は、伸長画像エリア２０ｄに確保される。
【００９１】
ステップＳ８７では、再生されたテンプレート画像上の透過エリア枠のサイズを検出する。サイズの検出にあたっては、ステップＳ６５で検出されたタグデータが参照される。再生されたテンプレート画像上に複数の透過エリア枠が存在するときは、この複数の透過エリア枠の全てのサイズが検出される。ステップＳ８９では、ステップＳ７７で検出された注目顔枠のサイズとステップＳ８７で検出された透過エリア枠のサイズとの相違を算出する。
【００９２】
ステップＳ９１では、再生されたテンプレート画像上の透過エリア枠の中からサイズ条件を満足する透過エリア枠を選択する。上述のように、サイズ条件は注目顔枠のサイズとの相違が最も小さいという条件である。したがって、ステップＳ９１の処理はテンプレート画像上に複数の透過エリア枠が存在するときに意味をなし、注目顔枠のサイズに最も近いサイズを有する透過エリア枠が複数の透過エリア枠の中から選択される。
【００９３】
ステップＳ９３では、選択された透過エリア枠の中心座標を検出する。ステップＳ９５では、注目顔枠の中心座標とステップＳ９１で検出された中心座標との相違を算出する。算出処理が完了すると、ステップＳ９７で変数ＮＬをインクリメントしてからステップＳ８３に戻る。
【００９４】
ＮＬ＞ＮＬｍａｘとなると、ステップＳ８３からステップＳ９９に進み、季節設定を有するテンプレート画像をリストＬ１から特定する。ステップＳ１０１では、特定されたテンプレート画像を中心座標の相違が小さい方から順に（合成適合度が高い方から順に）リストＬ２に移動させる。ステップＳ１０３では、リストＬ１の残っているテンプレート画像つまり季節設定を有しないテンプレート画像を、中心座標の相違が小さい方から順に（合成適合度が高い方から順に）リストＬ２に移動させる。この結果、リストＬ２の最上位には季節設定を有しかつ中心座標の相違が最小のテンプレート画像が登録され、リストＬ２の最下位には季節設定を有さずかつ中心座標の相違が最大のテンプレート画像が登録される。
【００９５】
リストＬ２が完成するとステップＳ１０５に進み、リストＬ２の最上位のテンプレート画像を再生する。再生されたテンプレート画像は、伸長画像エリア２０ｄに格納される。再生処理が完了すると、上階層のルーチンに復帰する。
【００９６】
図１２に示すステップＳ５の画像合成処理は、図１７に示すサブルーチンに従って実行される。まずステップＳ１１１およびＳ１１３で、上述のステップＳ８７およびＳ８９と同様の処理を注目テンプレート画像に対して実行する。この結果、注目透過エリア枠が特定される。ステップＳ１１５では、注目顔枠の水平サイズが注目透過エリア枠の水平サイズと一致する注目撮影画像の倍率を算出する。ステップＳ１１７では、注目透過エリア枠の中心座標が注目顔枠の中心座標と一致する注目テンプレート画像の多重位置を算出する。
【００９７】
ステップＳ１１９では、ステップＳ１１５で算出された倍率を注目透過エリア枠の水平サイズと図１３に示すステップＳ２７で算出された正規化倍率補正量とを参照して補正する。ステップＳ１２１では、ステップＳ１１７で算出された多重位置を注目透過エリア枠の水平サイズと図１３に示すステップＳ２１で算出された正規化多重位置補正量とを参照して補正する。
【００９８】
ステップＳ１２３では、ステップＳ１１９で補正された倍率を参照して注目撮影画像を拡大／縮小し、ステップＳ１２１で補正された多重位置を参照して注目テンプレート画像を拡大／縮小された注目撮影画像に多重する。ステップＳ１２５では、注目テンプレート画像の外縁からはみ出した一部の注目撮影画像を切り取る。こうして合成画像が完成すると、上階層のルーチンに復帰する。
【００９９】
この実施例によれば、複数のテンプレート画像（Ｍ個の既定画像）の各々に設けられた透過エリア枠（透過エリア）の属性（属性：中心座標およびサイズ）は、ＣＰＵ３２によって検出される(S87~S93)。撮影画像が有する顔画像（特定物画像）或いは顔枠（特定物画像エリア）の属性も、ＣＰＵ３２によって検出される(S77, S79)。ＣＰＵ３２は、検出された透過エリア枠および顔枠の属性に基づいて複数のテンプレート画像の各々の合成適合度を算出し(S95)、複数のテンプレート画像の各々を算出された合成適合度が高い方から順に指定する(S99~S105, S11)。ＣＰＵ３２はさらに、指定されたテンプレート画像を撮影画像に多重する処理を合成適合度が向上する態様で実行する(S111~S123)。
【０１００】
このように、合成適合度は、テンプレート画像上の透過エリア枠の属性と撮影画像上の顔枠の属性とに基づいて算出される。撮影画像に多重されるテンプレート画像は合成適合度が高い方から順に指定され、テンプレート画像を撮影画像に多重する処理は合成適合度が向上する態様で実行される。これによって、良好な合成画像が得られる。
【０１０１】
なお、顔枠（特定物画像エリア）の属性は、顔画像（特定物画像）の属性の１つに相当する。つまり、顔画像の属性の下位概念として、顔枠の属性が存在する。
【０１０２】
この実施例を別の視点で眺めると、テンプレート画像上に設けられた複数の透過エリア枠の各々の属性は、ＣＰＵ３２によって検出される(S87)。撮影画像が有する顔枠の属性も、ＣＰＵ３２によって検出される(S77)。ＣＰＵ３２は、テンプレート画像から検出された複数の属性の各々と撮影画像から検出された属性との相違を算出し(S89)、算出された相違に基づいて複数の透過エリア枠の１つを選択する(S91)。ＣＰＵ３２は、テンプレート画像を撮影画像に多重する処理を、選択された透過エリア枠の属性と顔枠の属性との相違が抑制される態様で実行する(S111~S123)。
【０１０３】
このように、多重処理のために注目される透過エリア枠は、複数の透過エリア枠の各々の属性と顔枠の属性との相違に基づいて選択される。また、多重処理は、透過エリア枠と顔枠との相違が抑制される態様で実行される。これによって、複数の透過エリアを有する既定画像を撮影画像に良好に合成することができる。
【０１０４】
この実施例をさらに別の視点で眺めると、ＣＰＵ３２は、撮影画像が有する顔枠の属性とテンプレート画像上に設けられた透過エリア枠の属性とに基づいて、合成処理パラメータ（合成処理パラメータ：撮影画像の倍率およびテンプレート画像の多重位置）を算出する(S115, S117)。ＣＰＵ３２はまた、テンプレート画像を撮影画像に多重する処理を算出された合成処理パラメータと正規化倍率／多重位置補正量（補正係数）とに基づいて実行する(S117~S123)。正規化倍率／多重位置補正量は、多重処理が完了した後の倍率／位置補正操作に応答して、ＣＰＵ３２によって更新される(S27, S21)。テンプレート画像を撮影画像に多重する処理は、倍率／位置補正操作に従う態様で再度実行される(S29)。ＣＰＵ３２は、テンプレート画像更新操作を受け付けたとき、テンプレート画像を更新して合成処理パラメータの算出処理を再起動する。
【０１０５】
したがって、多重処理の態様は、顔枠および透過エリア枠の属性に基づく合成処理パラメータと正規化倍率／多重位置補正量とに依存する。倍率／位置補正操作が行われると、多重処理の態様が変化し、かつ正規化倍率／多重位置補正量が更新される。テンプレート画像更新操作が行われると、テンプレート画像が更新され、合成処理パラメータが再度算出される。更新されたテンプレート画像を用いた多重処理の態様は、新たに算出された合成処理パラメータと更新された正規化倍率／多重位置補正量に依存する。この結果、更新前のテンプレート画像を用いた多重処理の態様が更新後のテンプレート画像を用いた多重処理に反映され、更新後のテンプレート画像を撮影画像に良好に合成することができる。
【０１０６】
なお、この実施例では、テンプレート画像上に複数の透過エリア枠が存在するとき、顔枠のサイズとの相違が最も小さいサイズを有する透過エリア枠を選択するようにしている(S89, S91)。また、テンプレート画像をリストＬ１からリストＬ２に移動させるとき、透過エリア枠の中心座標と顔枠の中心座標との相違が小さい方から順に選択するようにしている(S95, S101, S103)。
【０１０７】
しかし、顔枠の中心座標との相違が最も小さい中心座標を有する透過エリア枠をテンプレート画像上の複数の透過エリア枠から選択するようにしてもよいし、テンプレート画像をリストＬ１からリストＬ２に移動させるとき透過エリア枠のサイズと顔枠のサイズとの相違が小さい方から順に選択するようにしてもよい。
【０１０８】
なお、この実施例では、テンプレート画像への順位の割り当てにあたってテンプレート画像に設定された季節を考慮するようにしている(S69, S99~S103)。しかし、季節に代えて月別の行事のような時節の情報をテンプレート画像に設定し、設定された時節を考慮してテンプレート画像に順位を割り当てるようにしてもよい。なお、ここでは、“時節”を“季節”の上位概念として捉えている。
【０１０９】
また、この実施例では、顔画像を特定物画像として想定しているが、サッカーボール、花などを特定物画像として想定するようにしてもよい。
【０１１０】
さらに、この実施例では、多重処理の際に倍率調整は撮影画像に対して実行する一方、位置調整はテンプレート画像に対して実行するようにしているが、位置調整は撮影画像に対して実行するようにしてもよい。
【図面の簡単な説明】
【０１１１】
【図１】この発明の一実施例の構成を示すブロック図である。
【図２】図１実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図３】撮影画像を収めたＪＰＥＧファイルの構造の一例を示す図解図である。
【図４】テンプレート画像を収めたＪＰＥＧファイルの構造の一例を示す図解図である。
【図５】（Ａ）は撮影画像の一例を示す図解図であり、（Ｂ）は撮影画像の他の一例を示す図解図である。
【図６】（Ａ）はテンプレート画像の一例を示す図解図であり、（Ｂ）はテンプレート画像の他の一例を示す図解図であり、（Ｃ）はテンプレート画像のその他の一例を示す図解図であり、（Ｄ）はテンプレート画像のさらにその他の一例を示す図解図である。
【図７】（Ａ）はテンプレート画像抽出処理動作の一例を示す図解図であり、（Ｂ）はテンプレート画像抽出処理動作の他の一例を示す図解図である。
【図８】（Ａ）は画像合成処理のために選択された撮影画像の一例を示す図解図であり、（Ｂ）は画像合成処理のために選択されたテンプレート画像の一例を示す図解図であり、（Ｃ）はテンプレート画像および撮影画像からそれぞれ検出された透過エリア枠および顔枠の一例を示す図解図であり、（Ｄ）は顔枠の一例を示す図解図であり、（Ｅ）は透過エリア枠および顔枠の配置の一例を示す図解図であり、（Ｆ）は撮影画像へのテンプレート画像の多重状態の一例を示す図解図であり、そして（Ｇ）は合成画像の一例を示す図解図である。
【図９】（Ａ）は透過エリア枠および顔枠の配置の他の一例を示す図解図であり、（Ｂ）は合成画像の他の一例を示す図解図であり、（Ｃ）は画像合成処理のために選択されたテンプレート画像の他の一例を示す図解図であり、（Ｄ）は透過エリア枠および顔枠の配置の一例を示す図解図であり、（Ｅ）は透過エリア枠および顔枠の配置の他の一例を示す図解図であり、（Ｆ）は合成画像のその他の一例を示す図解図であり、（Ｇ）は合成画像のさらにその他の一例を示す図解図である。
【図１０】（Ａ）は画像合成処理のために選択された撮影画像の一例を示す図解図であり、（Ｂ）は画像合成処理のために選択されたテンプレート画像の一例を示す図解図であり、（Ｃ）はテンプレート画像および撮影画像からそれぞれ検出された透過エリア枠および顔枠の一例を示す図解図であり、（Ｄ）は顔枠の一例を示す図解図であり、（Ｅ）は透過エリア枠および顔枠の配置の一例を示す図解図であり、（Ｆ）は撮影画像へのテンプレート画像の多重状態の一例を示す図解図であり、そして（Ｇ）は合成画像の一例を示す図解図である。
【図１１】（Ａ）は透過エリア枠および拡大顔枠の配置の他の一例を示す図解図であり、（Ｂ）は合成画像の他の一例を示す図解図であり、（Ｃ）は画像合成処理のために選択されたテンプレート画像の他の一例を示す図解図であり、（Ｄ）は透過エリア枠および顔枠の配置の一例を示す図解図であり、（Ｅ）は透過エリア枠および顔枠の配置の他の一例を示す図解図であり、（Ｆ）は合成画像のその他の一例を示す図解図であり、（Ｇ）は合成画像のさらにその他の一例を示す図解図である。
【図１２】図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１３】図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１４】図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１５】図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１６】図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１７】図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【符号の説明】
【０１１２】
１０  …ディジタルカメラ
１４  …撮像装置
１６  …カメラ処理回路
２０  …ＳＤＲＡＭ
２４  …ＬＣＤモニタ
２６  …ＪＰＥＧコーデック
３０  …記録媒体
３２  …ＣＰＵ
３４  …傾斜センサ
３６  …フラッシュメモリ
【図１】
2009135720.tif 000003
【図２】
2009135720.tif 000004
【図３】
2009135720.tif 000005
【図４】
2009135720.tif 000006
【図５】
2009135720.tif 000007
【図６】
2009135720.tif 000008
【図７】
2009135720.tif 000009
【図８】
2009135720.tif 000010
【図９】
2009135720.tif 000011
【図１０】
2009135720.tif 000012
【図１１】
2009135720.tif 000013
【図１２】
2009135720.tif 000014
【図１３】
2009135720.tif 000015
【図１４】
2009135720.tif 000016
【図１５】
2009135720.tif 000017
【図１６】
2009135720.tif 000018
【図１７】
2009135720.tif 000019