(57)【要約】【課題】ユーザにとって簡易かつ良好に画像合成撮像が実行できるようにする。【解決手段】撮像により得られるスルー画を含む表示用合成画像を表示させる。そして記録タイミングに応じた撮像画像信号を、表示用合成画像でのスルー画の合成配置状態に応じて、合成処理用画像内に合成する。そして例えば或る時点での合成処理用画像を、生成された合成画像データとして出力する。例えば合成画像として記録する。【選択図】図４
2013131878.tif 000002
【特許請求の範囲】
【請求項１】
合成処理用画像に、被写体からの入射光を光電変換して得られる撮像画像信号から生成されるスルー画を含めて、表示用合成画像を生成するとともに、記録タイミングに応じた撮像画像を、上記表示用合成画像におけるスルー画の合成配置状態に応じて、上記合成処理用画像内に合成する合成処理部と、
上記表示用合成画像の表示制御を行う表示制御部と、
を備えた画像処理装置。
【請求項２】
撮像画像信号の内容に応じて、スルー画の上記合成処理用画像内での配置状態を決定する配置決定部をさらに備え、
上記合成処理部は、上記配置決定部で決定された配置状態でスルー画を上記合成処理用画像に合成して、上記表示用合成画像を生成する請求項１に記載の画像処理装置。
【請求項３】
上記配置決定部は、さらに、既に上記合成処理用画像に配置された配置済み画像に応じて、上記スルー画と上記配置済み画像の上記合成処理用画像内での配置状態を決定する請求項２に記載の画像処理装置。
【請求項４】
上記表示制御部は、スルー画を表示させるとともに、スルー画が合成された上記表示用合成画像を表示させる処理を行う請求項１に記載の画像処理装置。
【請求項５】
上記合成処理用画像は、静止画像が背景画像として設定される画像であり、
上記合成処理部は、撮像により得られた静止画像、又は記録媒体から読み出された静止画像を、上記合成処理用画像における背景画像とする請求項１に記載の画像処理装置。
【請求項６】
上記合成処理部は、記録媒体から読み出された合成画像を上記合成処理用画像とする請求項１に記載の画像処理装置。
【請求項７】
上記合成処理用画像は、背景画像を少なくとも有する画像とされ、
上記合成処理部は、スルー画と上記背景画像の比較処理の結果により、背景画像を変更する処理を行う請求項１に記載の画像処理装置。
【請求項８】
上記比較処理は、画像の類似性を求める比較処理、画像評価値の比較処理、画像の奥行きの比較処理の少なくとも１つである請求項７に記載の画像処理装置。
【請求項９】
上記合成処理用画像は、背景画像を少なくとも有する画像とされ、
上記合成処理部は、上記合成処理用画像の背景画像上に設定した合成配置領域に、スルー画を合成して上記表示用合成画像を生成するとともに、上記合成処理用画像における背景画像上の合成配置領域は、テンプレート情報に基づいて設定する請求項１に記載の画像処理装置。
【請求項１０】
上記合成処理用画像は、背景画像を少なくとも有する画像とされ、
上記合成処理部は、上記配置決定部が上記合成処理用画像の背景画像上に設定した合成配置領域に、スルー画を合成して上記表示用合成画像を生成するとともに、
上記配置決定部は、上記合成処理用画像に含まれる背景画像以外の画像又はスルー画に、人の顔画像が含まれている場合は、上記顔画像における顔の向きを判別し、判別結果を用いて、上記合成処理用画像における背景画像上の合成配置領域を設定する請求項２に記載の画像処理装置。
【請求項１１】
上記合成処理用画像は、背景画像を少なくとも有する画像とされ、
上記合成処理部は、上記配置決定部が上記合成処理用画像の背景画像上に設定した合成配置領域に、スルー画を合成して上記表示用合成画像を生成するとともに、上記表示用合成画像の生成は、低解像度化した画像を用いて行う請求項２に記載の画像処理装置。
【請求項１２】
上記合成処理用画像は、背景画像を少なくとも有する画像とされ、
上記合成処理部は、上記合成処理用画像の背景画像上にスルー画を合成し、かつスルー画の領域を他の領域よりも強調表示させた上記表示用合成画像を生成する請求項１に記載の画像処理装置。
【請求項１３】
或る時点での上記合成処理用画像を、生成された合成画像データとして出力する出力処理部をさらに備え、
上記合成処理部は、合成撮像モードが指示されることに応じて、上記表示用合成画像の生成を開始し、
上記出力処理部は、上記合成撮像モード終了が指示された時点での上記合成処理用画像を、生成された合成画像データとして出力する請求項１に記載の画像処理装置。
【請求項１４】
記録媒体にデータを記録する記録部と、
或る時点での上記合成処理用画像を、生成された合成画像データとして出力する出力処理部をさらに備え、
上記出力処理部は、生成された合成画像データを記録媒体に記録させる制御を行う請求項１に記載の画像処理装置。
【請求項１５】
上記出力処理部は、さらに合成画像データの背景画像に関する情報を含む合成管理情報を、合成画像データに関連づけて記録媒体に記録させる制御を行う請求項１４に記載の画像処理装置。
【請求項１６】
外部機器にデータを送信する送信部と、
或る時点での上記合成処理用画像を、生成された合成画像データとして出力する出力処理部をさらに備え、
上記出力処理部は、生成された合成画像データを上記送信部から送信出力させる制御を行う請求項１に記載の画像処理装置。
【請求項１７】
表示部を備え、
上記表示制御部は、上記表示用合成画像を、上記表示部に表示させる制御を行う請求項１に記載の画像処理装置。
【請求項１８】
上記合成処理部は、操作入力に応じて、合成画像データにおける画像内容を変更する編集処理を行う請求項１に記載の画像処理装置。
【請求項１９】
合成処理用画像に、被写体からの入射光を光電変換して得られる撮像画像信号から生成されるスルー画を含めて、表示用合成画像を生成して、該表示用合成画像を表示させ、
記録タイミングに応じた撮像画像を、上記表示用合成画像におけるスルー画の合成配置状態に応じて、上記合成処理用画像内に合成する画像処理方法。
【請求項２０】
合成処理用画像に、被写体からの入射光を光電変換して得られる撮像画像信号から生成されるスルー画を含めて、表示用合成画像を生成して、該表示用合成画像を表示させ、
記録タイミングに応じた撮像画像を、上記表示用合成画像におけるスルー画の合成配置状態に応じて、上記合成処理用画像内に合成する処理を、演算処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、合成画像生成を行うことのできる画像処理装置と、その画像処理方法、及び合成画像生成を行うためのプログラムに関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２０１１−９６１３４号公報
【特許文献２】特開２００５−２１７９７８号公報
【背景技術】
【０００３】
デジタルカメラの付加価値を高める機能として、撮像されて記録された複数の静止画像を合成して合成画像を生成する機能がある。
【０００４】
従来の合成画像に関する技術としては、上記特許文献１のように、全体画像と個々の被写体の顔の画像とを同時に見られるように表示する技術が提案されている。
また上記特許文献２には、合成後の画像を予測しながら写真撮影の行うことの可能な写真プリント装置に関する提案がなされている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術は、ユーザが異なる画角で撮像した画像を合成する技術ではない。
また、特許文献２は、ユーザが撮像時に複数の画像をリアルタイムに合成していく技術ではない。
つまり、ユーザが撮像装置を用いて任意に多様な画角で撮像を行う場合に、それらの複数の画像を撮像時にリアルタイムに合成していく技術は開示されていない。
【０００６】
そこで本開示では、例えばユーザが、各種画角で撮像を行いながら、リアルタイムに合成画像を作成していくことができるようにし、満足度の高い合成画像が簡易に生成できるようにする。特に、その場合に、合成される状態を確認しながら撮像を行うことができるようにすることで、簡易に望ましい合成画像が得られるようにする。
【課題を解決するための手段】
【０００７】
本開示の撮像装置は、成処理用画像に、被写体からの入射光を光電変換して得られる撮像画像信号から生成されるスルー画を含めて、表示用合成画像を生成するとともに、記録タイミングに応じた撮像画像を、上記表示用合成画像におけるスルー画の合成配置状態に応じて、上記合成処理用画像内に合成する合成処理部と、上記表示用合成画像の表示制御を行う表示制御部とを備える。
【０００８】
本開示の合成画像生成方法は、合成処理用画像に、被写体からの入射光を光電変換して得られる撮像画像信号から生成されるスルー画を含めて、表示用合成画像を生成して、該表示用合成画像を表示させ、記録タイミングに応じた撮像画像を、上記表示用合成画像におけるスルー画の合成配置状態に応じて、上記合成処理用画像内に合成する合成画像生成方法である。
本開示のプログラムは、以上の合成画像生成方法を、演算処理装置に実行させるプログラムである。
【０００９】
このような本開示の技術では、撮像時にユーザ（撮像者）に提示するモニタ表示上で、スルー画を合成処理用画像に含めた表示用合成画像を提示する。
合成処理用画像とは、合成処理の過程の画像であり、例えば、或る背景画像や、背景画像上の一部に他の画像が合成された画像などである。また表示用合成画像とは、合成処理用画像上に現在のスルー画を合成してユーザに提示する表示用の画像である。
表示用合成画像として、合成処理用画像の一部に、スルー画を合成して表示することでユーザは、この表示を見れば、レリーズ操作（静止画撮像のためのシャッタ操作）を行うとどのような合成画像が得られるかを、レリーズ操作前に確認できる。
レリーズ操作等によって記録タイミングが指示されたら、撮像画像信号を、表示用合成画像でのスルー画の合成配置状態に応じて、合成処理用画像内に合成することで、ユーザの望む合成画像（合成処理過程の画像）が生成される。
【発明の効果】
【００１０】
本開示によれば、ユーザは、例えば異なる画角で撮像した画像に現在のスルー画を合成した画像をリアルタイムに確認することができ、容易にユーザの望む合成画像を得ることができるという効果がある。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施の形態の撮像装置のブロック図である。
【図２】実施の形態のアルバムモードの指示操作画面の説明図である。
【図３】実施の形態のアルバムモード動作の説明図である。
【図４】実施の形態のアルバムモード動作の説明図である。
【図５】実施の形態のアルバムモード動作の説明図である。
【図６】実施の形態のアルバムモード動作の説明図である。
【図７】実施の形態のアルバム編集モードでの画像内容変更の説明図である。
【図８】実施の形態の撮像装置の制御部の処理のフローチャートである。
【図９】実施の形態のアルバムモードの処理のフローチャートである。
【図１０】実施の形態のアルバムモードの処理のフローチャートである。
【図１１】実施の形態の顔を含む画像の配置の説明図である。
【図１２】実施の形態の割り込み処理によるレリーズ処理のフローチャートである。
【図１３】実施の形態の撮像装置の他の構成例のブロック図である。
【図１４】実施の形態の撮像装置の他の構成例のブロック図である。
【図１５】実施の形態の表示画像の変形例の説明図である。
【図１６】実施の形態の合成画像の他の例の説明図である。
【図１７】情報処理装置に適用した実施の形態のブロック図である。
【発明を実施するための形態】
【００１２】
以下、実施の形態を次の順序で説明する。なお実施の形態では、本開示の画像処理装置を内蔵する撮像装置の例で説明するが、本開示の画像処理装置を情報処理装置で実現する例についても後に述べる。
＜１．撮像装置の構成＞
＜２．アルバムモード動作概要＞
＜３．アルバムモード処理＞
＜４．アルバム編集モード処理＞
＜５．撮像装置の変形例＞
＜６．情報処理装置での適用例及びプログラム＞
なお、実施の形態で使用する用語の意味は次のとおりである。
「撮像」とは、被写体光をイメージセンサで光電変換し、所定の信号処理を行って撮像画像信号（撮像画像データ）を得ることをいう。
この「撮像」によってフレーム画像として得られる１枚の撮像画像データを、静止画として記録媒体に記録することを「静止画データ記録」ということとする。また合成画像データとしての静止画を記録したり送信したりすることを「合成画像データ記録」「合成画像データ送信」という場合もある。
「スルー画」とは、通常はいわゆるシャッタ操作（レリーズ操作）を行う前の待機中に、ユーザに対して表示させる被写体モニタリング画像のことである。つまり「撮像」によって得られる各フレーム（間欠フレームでもよい）により生成できる、被写体光景の動画表示画像である。
【００１３】
＜１．撮像装置の構成＞
実施の形態の撮像装置１の構成例を図１に示す。この撮像装置１はいわゆるデジタルスチルカメラとされ、請求項でいう画像処理装置を内蔵するものである。また画像処理装置は撮像装置１における制御部２においてソフトウエアにより実装されるもので、制御部２は、請求項でいうプログラムに基づく処理を実行することで、請求項でいう画像処理方法としての動作を行う。
【００１４】
図１に示すように撮像装置１は、制御部２、メモリ部３、操作部４、記録部５、表示部６、撮像部１０を備える。
【００１５】
表示部６はユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されてもよい。
この表示部６は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、この撮像装置１の全体の制御を行う制御部２の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、レリーズ待機中に撮像される各フレームの撮像画像データによる動画としてのスルー画（被写体モニタリング画像）をディスプレイデバイスの画面上に表示させる。また各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
【００１６】
操作部４は、ユーザの操作を入力する入力手段として機能し、入力された操作に応じた信号を制御部２へ送る。
この操作部４としては、例えば撮像装置１の筐体上に設けられた各種操作子や、表示部６に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン（レリーズボタン）等が設けられる。
またタッチパネルと表示部６に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
【００１７】
撮像部１０は、被写体からの入射光を光電変換し、撮像画像信号（撮像画像データ）を得る。このため撮像部１０は、レンズ部１１、撮像素子１２、アナログ信号処理部１３、Ａ／Ｄ変換部１４、フォーカス駆動部１５、アイリス駆動部１６、ズーム駆動部１７を備える。
【００１８】
レンズ部１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。このレンズ部１１により、被写体からの光が撮像素子１２に集光される。
撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal OxideSemiconductor）型などの撮像素子とされる。
アナログ信号処理部１３は、撮像素子１２で得られた電気信号についてＩＳＯゲイン調整等のアナログ信号処理を行い、撮像画像信号として出力する。
この撮像画像信号はＡ／Ｄ変換部１４でデジタルデータとしての撮像画像信号（撮像画像データ）に変換され、制御部２に供給される。
【００１９】
フォーカス駆動部１５は、制御部２の制御に基づいて、レンズ部１１におけるフォーカスレンズを駆動し、フォーカス動作を実行する。
アイリス駆動部１６は、制御部２の制御に基づいて、レンズ部１１における絞り機構を駆動し、露光調整を実行する。
ズーム駆動部１７は、制御部２の制御に基づいて、レンズ部１１におけるズームレンズを駆動し、ズーム動作を実行する。
【００２０】
メモリ部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等を包括的に示している。
メモリ部３におけるＲＡＭ（Random Access Memory）は、制御部２の各種データ処理の際の作業領域として、データやプログラム等を一時的に格納する。例えば、シャッターボタンが押されたタイミングで処理された画像データは、一旦メモリ部３におけるＲＡＭに格納され、その後、記録部５に書き込まれる。
メモリ部３におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、制御部２が各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラム等を記憶する。本例において後述するアルバムモード、アルバム編集モードを実行するためのプログラムが記憶される。
【００２１】
記録部５は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。合成画像に関しては、ＥＸＩＦデータ等の形態で合成管理情報も記録される。
画像ファイルは、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式で記憶される。
記録部５の実際の形態は多様に考えられる。例えば記録部５は、撮像装置１に内蔵されるフラッシュメモリでもよいし、撮像装置１に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
本例において後述するアルバムモード、アルバム編集モードを実行するためのプログラムは、記録部５に記憶されてもよい。
【００２２】
制御部２はＣＰＵ等の演算処理装置として構成される。制御部２は例えばメモリ部３に等に記憶されたプログラムを実行することで、この撮像装置１全体を統括的に制御する。
例えば制御部２は、撮像部１０から供給される撮像画像データのエンコード処理や、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作等について、必要各部の動作を制御する。
さらに本実施の形態の場合、制御部２は、後述するアルバムモード、アルバム編集モードとしての画像処理や制御処理を実行する。
【００２３】
このため、制御部２にはソフトウエア機能ブロックとして、図示するように撮像制御部２ａ、画像信号処理部２ｂ、表示制御部２ｃ、合成処理部２ｄ、出力処理部２ｅ、配置決定部２ｆを備える。
【００２４】
撮像制御部２ａは、制御部２が撮像装置１の撮像動作としての必要な動作の制御を行う機能として示している。
例えば撮像制御部２ａは、フォーカス駆動部１５を制御してオートフォーカス動作を実行させる。また撮像制御部２ａは画像信号処理部２ｂでの光量検出等に応じてアイリス駆動部１６を駆動して露光調整を行う。なお露光調整としては、撮像素子１２のシャッタスピードや、アナログ信号処理部１３でのゲイン設定などを行うようにしてもよい。また撮像制御部２ａは、ズーム駆動部１７を制御してズーム動作を実行させる。これらのように撮像制御部２ａは、ユーザ操作に応じたり、或いは自動調整として撮像のための動作制御を行う。
【００２５】
画像信号処理部２ｂは、撮像部１０から供給される撮像画像データの圧縮処理や記録フォーマットへのエンコード等（例えばＪＰＥＧエンコード等）を行って静止画や動画としての画像ファイルを生成する処理を行う。また画像信号処理部２ｂは、撮像画像データから表示部６で表示させるスルー画としての表示データを生成する処理も行う。
表示制御部２ｃは、表示部６での表示動作を制御する。例えばスルー画の表示動作を実行させたり、記録部５から再生された画像の表示を実行させる。またユーザインターフェースのためのメニュー、アイコン、メッセージ表示等の実行を制御する。
本例の場合、表示制御部２ｃは、アルバムモード時には、合成処理部２ｄで生成される表示用合成画像の表示制御を行う。またアルバム編集モード時には、合成画像の表示や編集のためのユーザインターフェース画像、編集された合成画像の表示等を表示部６で実行させる。
【００２６】
合成処理部２ｄは、合成画像を生成するための処理を行う。
アルバムモード時には、生成又は選択された合成処理用画像に、被写体からの入射光を光電変換して得られる撮像画像信号から生成されるスルー画を含めて（例えば合成処理用画像にスルー画を嵌め込んで）、表示用合成画像を生成する。
また合成処理部２ｄは記録タイミングに応じた撮像画像信号を、表示用合成画像におけるスルー画の合成配置状態に応じて、合成処理用画像内に合成する処理を行う。この撮像装置１の場合でいえば記録タイミングに応じた撮像画像信号とは、例えばユーザのレリーズ操作のタイミングで取り込んだ撮像画像信号である。なお、記録タイミングの撮像画像信号とは、必ずしもレリーズに応じて取り込んだ撮像画像信号に限られるものではない。あくまでも或るタイミングとして合成処理の対象となった撮像画像信号である。
具体的な処理例については後述する。
なお「合成処理用画像」とは、合成処理の過程の画像であり、例えば、或る背景画像や、背景画像上の一部に他の画像が合成された画像などである。
また「表示用合成画像」とは、合成処理用画像上に現在のスルー画を合成してユーザに提示する表示用の画像である。
【００２７】
出力処理部２ｅは、静止画記録や静止画送信の動作制御を行う。この図１の構成の場合、出力処理部２ｅは、１フレームの撮像画像データとして得られる静止画データや、アルバムモードによって生成される合成画像について、記録部５に画像ファイルとして記録させる制御処理（静止画データ記録や合成画像データ記録）を行う。
例えば合成処理部２ｄにおいて生成されている或る時点での合成処理用画像を、生成された合成画像データとして記録部５に出力し、画像ファイルとして記録させる。また出力処理部は、さらに合成画像データの背景画像に関する情報を含む合成管理情報を、合成画像データに関連づけて記録部５に記録させる制御を行う。
【００２８】
配置決定部２ｆは、スルー画について、合成処理用画像内での配置状態（配置位置やサイズ）を決定する。つまり合成処理用画像上にスルー画を配置したものが表示用合成画像となるが、合成処理用画像上で、スルー画の位置やサイズを決定する。
配置状態はスルー画とされている撮像画像信号の内容に応じて決定したり、或いはテンプレートに基づいて決定する。撮像画像内容（スルー画の内容）に応じて決定する場合とは、例えば顔画像が存在するときに、顔の向きに応じて配置位置を決定するなどである。後述の具体的な処理例では、顔の向きに応じた配置設定について述べるが、それ以外にも、例えば犬や猫等のペットの画像がスルー画とされている撮像画像に含まれている場合に、当該画像の配置位置を合成処理用画像の下方に配置するものとしたり、或いは山や雲の画像の場合は、合成処理用画像の上方に配置するものとすることなどが考えられる。
またサイズについては、例えば顔画像であったら比較的大きいサイズとするなどの例が想定される。
さらに、奥行き情報に応じて背景画像と背景画像上の画像の入換の決定なども行う。例えば遠景の撮像画像が背景とされるような配置設定処理である。例えば背景画像の奥行きが、スルー画の奥行きより深いか否かを判断し、スルー画の方が奥行きが深い場合、スルー画を背景画像に決定するなどの処理となる。
また配置決定部２ｆは、さらに、既に合成処理用画像に配置された配置済み画像に応じて、スルー画と配置済み画像の合成処理用画像内での配置状態を決定する。例えば既に合成処理用画像の左上に或る画像が配置ずみであれば、スルー画を右上に配置するなどである。また後述するテンプレートに沿って配置位置を順次あてはめていくことも、配置済み画像に応じてスルー画の配置状態を決定する処理の一例となる。
このような配置決定部２ｆで決定された配置状態に応じて、上記の合成処理部２ｄが合成処理用画像上でのスルー画の合成配置を行い、表示用合成画像を生成することとなる。
【００２９】
このような構成において、制御部２としての演算処理装置内で形成される、少なくとも表示制御部２ｃ、合成処理部２ｄにより、請求項でいう画像処理装置が構成されることとなる。また配置決定部２ｆ、出力処理部２ｅを加えて請求項でいう画像処理装置を構成する場合もある。
後述するアルバムモードに関する処理として、これらの画像処理装置により、以下のような制御処理が実行される。
【００３０】
・アルバムモードＯＮの指示検知
操作部４からのユーザ操作情報によりアルバムモードＯＮの指示を検知する。
・画像のサイズ変更
アルバムモード中に撮像された画像を（笑顔検出＋周辺音＋動き検出＋黄金比１：１．６評価）で評価値を付け、評価値順に元画像またはサムネイル画像等をリサイズする。
・類似画像の自動取捨
アルバムモード中に撮像部１０で得られる撮像画像データから生成されるスルー画と、アルバムモード中に撮像された画像の類似度が高い場合は、それらのうちいずれか一枚を残し、残りの片方を捨てる処理を行う。
【００３１】
・合成時の背景画像の選定
フォーカス駆動部１５、アイリス駆動部１６により撮像画像の焦点距離、被写界深度を検出し画像の奥行きとする。焦点距離、被写界深度等が同パラメータの場合、ズーム駆動部１７のズームデータより奥行きを決定する。ズームデータはExif Maker Noteに保持しておく。そして例えば、アルバムモード中に、スルー画と、アルバムモード中に撮像された画像のうち最も奥行きが深い画像を、合成時の背景画像に選定するよう制御する。
・合成時の画像位置の選定
画像処理により撮像画像中の人物の顔の向きを検出し、アルバムモード中に、スルー画と、アルバムモード中に撮像された画像で顔の向きが検出された画像について、顔の向きが合成画像中央を向くよう配置するよう制御する。
【００３２】
・画像の合成
アルバムモード中に、スルー画とアルバムモード中に撮像された画像を合成して表示用合成画像を生成し、表示部６に表示させる。
またアルバムモード中に、合成処理用画像上で、レリーズタイミングに応じた撮像画像を合成し、合成処理用画像を更新していく。
・スルー画の合成位置の表示
表示用合成画像として、スルー画を合成後の合成画を表示する際に、合成後のスルー画の合成領域を分かりやすいようハイライト表示等の手法で強調表示を行う
【００３３】
・合成画像の変更指示の検知及び合成画像編集
アルバム編集モードにおいて、操作部４からの合成画像中の各画像の位置・サイズ・背景画像・捨てる類似画像の変更指示を検知し、それらに応じて合成画像を変更する。
【００３４】
・合成管理情報の生成・記録
合成画像の合成管理情報（例えばEXIF のユーザコメントや、メーカノートなど自由に記述することができる領域。詳細は一般社団法人カメラ映像機器工業会（CIPA）、社団法人電子情報技術産業協会（JEITA）が共同で策定した「デジタルスチルカメラ用画像ファイルフォーマット規格Exif 2.3（CIPA DC-008-2010）」を参照されたい）として、「使用された撮像画像」「背景画像」「背景画像の奥行き」「使用された各撮像画像中の人物の数、顔の向き」「使用したテンプレート」等を含む情報を生成し、合成画像に関連づけて記録部５に記録する。
・過去の合成画像への追加合成
上記の合成管理情報を参照することで、過去に合成し、記録部５に記録した合成画像を用いて、さらにアルバムモードで追加的な合成を行う。即ち過去の合成画像を合成処理用画像として用いて、スルー画を合成した表示用合成画像の生成や、レリーズタイミングの撮像画像の合成を行う。
【００３５】
＜２．アルバムモード動作概要＞
本実施の形態の撮像装置１では、合成画像生成を行うためにアルバムモード（合成撮像モード）が用意される。
アルバムモードでは、リアルタイムにユーザが合成状態を確認しながら撮像を行って合成画像を生成していくことができる。
このアルバムモードの詳細な処理の説明に先立って、まず図２〜図７でアルバムモード動作について説明していく。
【００３６】
図２Ａは、撮像者が撮像装置１を用いて撮像を行っている様子を示している。ユーザ（カメラマン）の周囲には、被写体となる、「人」「山」「森」「池」などがあるとする。
撮像装置１では、通常のデジタルスチルカメラと同様、撮像モードと再生モードがあり、ユーザは撮像モードで撮像を行い、再生モードで撮像記録した画像の再生表示を実行させることができる。
図２Ｂは、撮像モードにおいて表示部６にスルー画が表示されている状態を示している。撮像装置１のユーザが、被写体（画角）を探している段階（レリーズ操作前）では、スルー画４２が表示部６に表示される。
【００３７】
本例では、特に通常の撮像モードから、アルバムモードに移行してアルバムモード撮像を行うことができる。例えば図２Ｃのように、タッチパネル操作ボタンとして、表示部６にアルバムモードＯＮボタン４９を表示する。ユーザが、このアルバムモードＯＮボタン４９を操作すると、撮像装置１はアルバムモードとしての動作を開始することになる。もちろんアルバムモードの指示操作は、撮像装置１の筐体上の操作キーで可能としてもよいし、メニュー形式でのタッチ操作で行うようにしてもよい。アルバムモード終了操作についても同様である。
【００３８】
アルバムモードに移行すると、図３Ｂのように、表示部６には、スルー画４２の一部の領域を、表示用合成画像枠Ｗとし、ここに表示用合成画像５０が表示される。先に述べたように、表示用合成画像５０とは、合成処理の過程の画像である「合成処理用画像」上に現在のスルー画を合成してユーザに提示する表示用の画像である。
【００３９】
まず図３Ａのように、ユーザが撮像装置１で、「山」を被写体としてとらえているとすると、スルー画４２として、「山」が表示される。
後述する処理例において述べるが、アルバムモードの当初の時点では、合成処理用画像は存在しないか、或いは過去に撮像されて記録されている静止画、もしくは合成画像が、合成処理用画像として選択されて用いられる。
この図３では、新規に合成画像を生成するために、当初は合成処理用画像が存在しない例で示している。その場合、まず合成処理用画像として背景画像が決められることとなる。
【００４０】
アルバムモード中は、制御部２は内部的に合成処理用画像（合成処理過程の画像データ）を記憶しており、その合成処理用画像を元に、表示用合成画像５０を生成して表示部６に表示させる。
合成処理用画像は、基本的には、最初は、スルー画の画像データを背景画像として、その背景画像のみから成る画像となる。
その合成処理用画像に相当する表示用合成画像５０が生成され、図３Ｂのように、表示用合成画像枠Ｗに表示される。従ってこの時点では、表示用合成画像５０は、背景が５０ＢＫとしてのスルー画のみの画像となる。
【００４１】
なお、タッチパネル操作ボタンとして、表示部６にはアルバムアルバムモードを終了させるためのアルバムモードＯＦＦボタン４１も表示される。ユーザは、アルバムモードを終了させたいときには、このアルバムモードＯＦＦボタン４１を操作すればよい。
【００４２】
例えばユーザが、「山」を被写体として選択し、レリーズ操作を行ったとする。
すると、そのレリーズ操作に応じた１フレームの画像についての静止画データ記録の処理が行われ、図３Ｃの画像ファイルＰｉｃ００１が記録部５に記録される。なお、同時にサムネイル画像、スクリーンネイル画像として低解像度の画像が記録される。サムネイル画像は解像度の低い画像、スクリーンネイル画像は、サムネイルよりは解像度が高い、中程度の解像度の画像である。
合成処理に関しては、この画像ファイルＰｉｃ００１が記録された時点で、これが合成処理用画像の背景画像として設定される。また今回作成しようとしている合成画像（＝この時点での合成処理用画像）に関連する合成管理情報として背景画像の情報も生成・記録される。背景画像の情報とは、背景画像データそのものでもよいし、画像ファイルＰｉｃ００１を背景画像としたことを示す情報でもよい。また背景画像についての奥行きの情報も含む。
【００４３】
続いて、ユーザが図４Ａのように、撮像装置１を「人」に向けたとする。表示部６に表示されるスルー画４２は、図４Ｂのように、「人」の画像となる。この場合、表示用合成画像枠Ｗに表示される表示用合成画像５０は、背景画像５０ＢＫに、スルー画５０ＴＲが合成された画像となる。なお、スルー画４２は、各時点で撮像されたフレーム画像を順次表示させるものであるため、動画である。表示用合成画像５０に合成されて表示されるスルー画５０ＴＲも動画となっている。
また、表示用合成画像５０では、現在のスルー画５０ＴＲの領域が、ユーザに明確にわかるようにハイライト表示される。（図では斜線を付してハイライト表示であることを示している）。
なお、強調表示の例としてハイライト表示が考えられるが、他にも、例えばスルー画５０ＴＲの領域の枠部分を太線や強調色で示したり、スルー画５０ＴＲの色合いを変えたり、点滅表示したり、スルー画５０ＴＲ以外の部分の輝度を落とすなど、強調表示の手法は多様に考えられる。
図４Ｂの表示用合成画像５０により、ユーザは、レリーズ操作するとどのような合成画像が生成されるかを確認できる。
【００４４】
ここで、ユーザが図４Ｂの状態でレリーズ操作を行ったとする。
すると、そのレリーズ操作に応じた１フレームの画像の静止画データ記録の処理が行われ、図４Ｃの画像ファイルＰｉｃ００２が記録部５に記録される。同時にこのサムネイル画像、スクリーンネイル画像として低解像度の画像が記録される。
合成処理に関しては、この画像ファイルＰｉｃ００２の記録とともに、この「人」を写した画像、つまりレリーズタイミングに応じた撮像画像データの１フレームが、合成処理用画像に合成される。
このとき、当該撮像画像データは、レリーズ時点の表示用合成画像５０におけるスルー画５０ＴＲの合成配置状態（背景画像５０ＢＫ上での位置やサイズとしての合成配置状態）に応じて、合成処理用画像内に合成される。つまり合成処理用画像が、図４Ｂの表示用合成画像５０のような画像に更新される。
【００４５】
続いて、ユーザが図５Ａのように、撮像装置１を「森」に向けたとする。表示部６に表示されるスルー画４２は、図５Ｂのように、森の画像となる。
この時点では、合成処理用画像は、「山」の画像の背景に、先に図４のレリーズ操作時点での「人」の画像を合成したものとなっている。従って、図５Ｂの場合、表示用合成画像枠Ｗに表示される表示用合成画像５０は、背景画像５０ＢＫと、先の時点で撮像・合成した合成済み画像５０Ａが表示され、さらにその上に、現在撮像しているスルー画５０ＴＲを含むものとなる。スルー画５２ＴＲはハイライト表示される。
図５Ｂの表示用合成画像５０により、ユーザは、レリーズ操作するとどのような合成画像が生成されるかを確認できる。
【００４６】
ユーザが図５Ｂの状態でレリーズ操作を行ったとする。
すると、そのレリーズ操作に応じた１フレームの画像についての静止画データ記録の処理が行われ、図５Ｃの画像ファイルＰｉｃ００３が記録部５に記録される。同時にこのサムネイル画像、スクリーンネイル画像として低解像度の画像が記録される。
合成処理に関しては、この画像ファイルＰｉｃ００３の記録とともに、この「森」を写した画像、つまりレリーズタイミングに応じた撮像画像データの１フレームが、合成処理用画像に合成される。
【００４７】
続いて、ユーザが図６Ａのように、撮像装置１を「池」に向けたとする。表示部６に表示されるスルー画４２は、図６Ｂのように、「池」の画像となる。
この時点では、合成処理用画像は、「山」の画像の背景に、先に図４のレリーズ操作時点での「人」の画像、及び図５のレリーズ操作時点での「森」の画像を合成したものとなっている。従って、図６Ｂの場合、表示用合成画像枠Ｗに表示される表示用合成画像５０は、背景画像５０ＢＫと、先の時点で撮像・合成した合成済み画像５０Ａ、５０Ｂが表示され、さらにその上に、現在撮像しているスルー画５０ＴＲを含むものとなる。スルー画５２ＴＲはハイライト表示される。
【００４８】
ユーザが図６Ｂの状態でレリーズ操作を行ったとする。
すると、そのレリーズ操作に応じた１フレームの画像についての静止画データ記録の処理が行われ、図６Ｃの画像ファイルＰｉｃ００４が記録部５に記録される。同時にこのサムネイル画像、スクリーンネイル画像として低解像度の画像が記録される。
合成処理に関しては、この画像ファイルＰｉｃ００４の記録とともに、この「池」を写した画像、つまりレリーズタイミングに応じた撮像画像データの１フレームが、合成処理用画像に合成される。
【００４９】
例えばこの時点で、制御部２が内部的に記憶している合成処理用画像、つまり先に述べた、或る背景画像や、背景画像上の一部に他の画像が合成された合成処理の過程の画像の内容は、図７Ａに示す合成処理用画像６０のようになっている。
この場合、最初に撮像記録した画像ファイルＰｉｃ００１の画像が背景画像６０ＢＫとされる。またその後に撮像記録した画像ファイルＰｉｃ００２、Ｐｉｃ００３，Ｐｉｃ００４が、それぞれ画像６０Ａ、６０Ｂ、６０Ｃとして背景画像６０ＢＫ上に合成されている。
制御部２は、或る時点で、このような合成処理用画像６０を、１つの合成画像データとして出力する。例えば合成画像データ記録の処理を行い、記録部５に合成画像ファイルＰｉｃ−Ｍとして記録させる。
以上のように、ユーザは、表示用合成画像５０により、スルー画をそれまでの画像に合成した状態で確認しながら撮像を行っていき、結果として図７Ａのような合成画像（Ｐｉｃ−Ｍ）を得ることができる。
【００５０】
なお、表示用合成画像５０内で、スルー画５０ＴＲを合成配置する位置、範囲は、制御部２がテンプレート等に基づいて自動的に設定する。
また合成処理用画像６０内で、レリーズの際の撮像画像データが合成される位置、範囲は、表示用合成画像５０で設定されたスルー画５０ＴＲの位置・範囲となる。
例えばユーザは、予めテンプレートを選択する等で、ある程度、望ましい合成配置状態を指定できる。
但し、後述するアルバム編集モードの動作により、例えば図７Ｂ、図７Ｃのように、合成配置状態を任意に変更することもできる。
【００５１】
＜３．アルバムモード処理＞
以上のようなアルバムモードの処理を実現するための制御部２の処理を説明していく。制御部２は、図1に示した機能ブロック（２ａ〜２ｅ）により、以下説明する図８，図９，図１０の処理を実行する。
【００５２】
まず図８は、撮像装置１が電源オンとされてからの処理として、特にアルバムモードに関連する処理を示している。その他の通常のデジタルスチルカメラ動作に関する処理については説明を省略する。
ステップＦ１０１で電源オンとされた後、制御部２はステップＦ１０２で撮像モードに入る。
ステップＦ１０３では、制御部２はアルバムモードのポーリング処理を確認する。ユーザがアルバムモードの指示の操作を行った場合は、アルバムモードのポーリング処理があったことがステップＦ１０３で検知され、制御部２はステップＦ１０４以降に進む。例えばユーザが図２ＣのアルバムモードＯＮボタン４９を操作したような場合である。
【００５３】
なお、ステップＦ１１３では、制御部２はアルバム編集モードのポーリング処理を監視している。ユーザがアルバムモードの指示を行わず、アルバム編集モードの指示の操作を行った場合は、アルバム編集モードのポーリング処理が発生したとしてステップＦ１１３〜Ｆ１２０の処理を行うこととなる。これについては後述する。
【００５４】
アルバムモードが指示されると、制御部２はステップＦ１０４でテンプレート選択処理を行う。テンプレートとは、合成画像として、背景画像上に他の画像の合成配置する位置や範囲を設定したものである。テンプレートは１つだけでもよいが、予め各種用意しておき、ユーザが選択できるようにするとよい。例えば旅行用テンプレート、結婚式用テンプレート、運動会用テンプレートなどを設定しておく。
例えば結婚式用テンプレートは、白いドレスの入っている画像を中央に配置する設定となっていたり、旅行用テンプレートは時系列順に画像を配置する等の設定が考えられる。
制御部２は、このステップＦ１０４では、表示部６上で各種テンプレートをリスト表示して、ユーザに選択させる等の処理を行えばよい。
ステップＦ１０４で或るテンプレートが使用するテンプレートとして選択されたら、ステップＦ１０５に進む。
【００５５】
制御部２はステップＦ１０５で、新規合成画像の作成か否かを判断する。この場合制御部２は、表示部６上で新規作成か記録画像使用を選択させる表示を行い、その操作入力によって新規合成画像作成か否かを決定する。
ユーザが新規合成画像作成を選んだ場合は、そのままステップＦ１０６でアルバムモードＯＮとしてステップＦ１０９の合成処理に移る。
【００５６】
一方、ユーザが新規合成画像作成ではなく、過去の記録画像の使用を選択した場合は、制御部２はステップＦ１０７に進む。過去の記録画像とは、例えば記録部５に記録されている静止画データ、又は過去の合成画像データである。
或る静止画データ（画像ファイルｐｉｃ００ｘ）を使用する場合は、その静止画データを背景画像として、合成処理を行うことができる。
過去に作成した或る合成画像データを使用する場合は、その合成画像データ（背景画像及び合成した画像）上に、さらにこれから撮像する画像を合成することができる。
そこで、ステップＦ１０７で制御部２は、ユーザに、使用する画像データを選択させる。この場合制御部２は、記録部５に記録されている画像データのリストを表示部６上で表示させ、ユーザに選択させる。
ユーザが選択操作を行ったら、制御部２はステップＦ１０８で、その選択された画像（静止画データ、又は合成画像データ）の読み込みを行う。合成画像データの場合は、さらに合成管理情報も読み込む。
そしてステップＦ１０６でアルバムモードＯＮとしてステップＦ１０９の合成処理に移る。
【００５７】
アルバムモードＯＮとされた後のステップＦ１０９の合成処理については、図９，図１０に詳細に示している。
まず図９のステップＦ２０１で制御部２は、合成処理用画像６０に、スルー画を除いて一枚以上の画像が存在するか否かを判断する。
新規合成画像作成の場合は、合成処理用画像６０は未だ存在していない。図３の説明で述べたように、この場合は、その時点のスルー画となる撮像画像データが存在するのみである。この場合は、ステップＦ２０１からＦ２０２に進み、スルー画となる撮像画像データを背景画像６０ＢＫとする。
そして制御部２は、表示用合成画像５０としては、図３Ｂのような背景画像５０ＢＫがスルー画とされた表示を行うこととなる。即ち、制御部２は、スルー画４２の一部を表示用合成画像枠Ｗとし、スルー画のみの表示用合成画像５０を表示させる。
（なお説明上、合成処理用画像６０における背景画像は図７のように、「６０ＢＫ」の符号を付し、表示用合成画像における「背景画像」には図３〜図６のように「５０ＢＫ」の符号を付している。）
【００５８】
この場合、処理は図１０のステップＦ２１９に進み、ステップＦ２１９でレリーズ指示のポーリング処理が検知されるか、又はステップＦ２２６でアルバムモードオフの指示が検知されるまで、当該状態（例えば図３Ｂの状態）が継続される。
【００５９】
或る時点でユーザがレリーズ操作を行い、レリーズ要求のポーリング処理あったことを制御部２がステップＦ２１９で検知すると、制御部２は処理をステップＦ２１９からＦ２２０に進め、レリーズ処理を行う。即ちそのレリーズ操作タイミングに対応した１フレームの撮像画像データを静止画として取り込み、記録のための必要な信号処理（圧縮エンコード等）を行う。
そしてステップＦ２２１で静止画データ記録を行う。つまり、その１フレームの静止画データを、画像ファイルｐｉｃ００ｘとして記録部５に記録させる。
さらに、ステップＦ２２２で、合成処理用画像６０のメモリ部３への保存を行う。ここまでの時点では、合成処理用画像６０の背景画像６０ＢＫがスルー画とされていた状態であり、確定した合成処理用画像６０は存在しない。そこで、この場合は、今回のレリーズ処理に係る画像データを、背景画像６０ＢＫとした合成処理用画像６０をメモリ部３に保存することとなる。
またステップＦ２２３で制御部２は、背景画像６０ＢＫの情報と、その奥行き情報を合成管理情報の一部としてメモリ部３に記憶する。背景画像６０ＢＫの情報とは、背景画像６０ＢＫの画像データ自体でもよいし、その背景画像とした画像ファイルｐｉｃ００ｘを指定する情報でもよい。また奥行き情報とは、上述のように、その撮像動作時の焦点距離の値や被写界深度の値、或いはズーム値を用いればよい。
【００６０】
ステップＦ２２４で監視する合成画像の指示や、ステップＦ２２６で監視するアルバムモードオフの指示がなければ、ステップＦ２０１に戻る。
【００６１】
新規合成画像作成の場合において、以上のように最初にレリーズ操作に応じてステップＦ２２０〜Ｆ２２３が実行された後は、合成処理用画像６０として背景画像６０ＢＫが設定されたことになるため、表示用合成画像５０は図４Ｂに示すようになる。即ち背景画像５０ＢＫと、スルー画５０ＴＲが合成された画像となる。
【００６２】
また、過去の静止画データの利用が選択されてアルバムモードに入った場合は、図８のステップＦ１０８で読み出された静止画データが、最初の合成処理用画像６０となる。その場合、表示用合成画像５０の表示が開始される時点で、図４Ｂのような表示画像となる。つまり背景画像５０ＢＫと、現在のスルー画５０ＴＲが合成された画像である。
また過去に作成した合成画像が選択されてアルバムモードに入った場合は、図８のステップＦ１０８で読み出された合成画像データが、最初の合成処理用画像６０となる。その場合、表示用合成画像５０の表示が開始される時点で、表示用合成画像５０は図５Ｂや図６Ｂのような画像となる。つまり背景画像５０ＢＫと、合成済み画像５０Ａ等と、現在のスルー画５０ＴＲが合成された画像である。
【００６３】
これらの場合、つまり合成処理用画像６０に少なくとも背景画像６０ＢＫが設定されている状態では、ステップＦ２０１で制御部は、スルー画を除いて一枚以上の画像が合成処理用画像６０に存在すると判断することになる。
すると制御部２はステップＦ２０３に進み、現在のスルー画と、合成処理用画像６０に存在する過去に撮像した各画像の類似度比較を行う。
例えば図４Ｂの例でいえば、スルー画４２（５０ＴＲ）と、背景画像５０ＢＫに相当する合成処理用画像６０での背景画像６０ＢＫの類似度比較を行う。
図５Ｂの例でいえば、スルー画４２（５０ＴＲ）と背景画像５０ＢＫに相当する合成処理用画像６０での背景画像６０ＢＫの類似度比較を行い、またスルー画４２（５０ＴＲ）と、合成済み画像５０Ａに相当する合成処理用画像６０での画像６０Ａの類似度比較を行う。
【００６４】
そして類似度として算出された値が設定した閾値以下であれば、類似していないとして、ステップＦ２０６に進む。
類似度として算出された値が設定した閾値を超えていれば、合成処理用画像６０における或る画像に、現在のスルー画４２が類似しているとしてステップＦ２０４に進む。これは、ユーザが撮像装置１を、過去の撮像時と同じような画角の状態にしている場合である。例えば図４Ｂの表示用合成画像５０が表示されている後に、ユーザが再び撮像装置１の被写体方向を「山」に向けると、スルー画は「山」の画像となる。すると合成処理用画像６０における背景画像ＢＫ（「山」の画像）と、現在のスルー画（「山」の画像）が類似していると判断される。
【００６５】
このような場合制御部２は、ステップＦ２０４で、それぞれの画像の評価値を算出する。そして、現在のスルー画の評価値が、類似している過去の撮像画像の評価値以上であるかを判断する。
評価値の算出手法は多様に考えられるが、例えば顔画像が存在する場合は笑顔検出によるポイント付けをしたり、構図判定をしてポイント付けをしたり、焦点状態、コントラスト状態を判定するなどが考えられる。
もし、現在のスルー画の評価値が過去の撮像画像の評価値以上であれば、制御部２はステップＦ２０５に進み、合成処理用画像６０上で、画像の入換を行う。つまりスルー画に類似している過去の撮像画像を合成処理用画像６０上から削除して、現在のスルー画の１フレームの画像データをはめ込む。
【００６６】
このステップＦ２０３，Ｆ２０４，Ｆ２０５の処理が行われることで、一旦撮像して合成処理用画像６０に組み込まれた画像であっても、その後にユーザが、類似するより好ましい画像を被写体とすると、そのときのスルー画が自動的に置き換えられるという処理が実行される。これによって、ユーザが特にレリーズ操作を行わなくても、ユーザが求める画角の画像のうちで、最も良いと評価される画像が、合成処理用画像６０（後の合成画像）に組み込まれることになる。
【００６７】
一方、現在のスルー画の方が評価値が低ければ、置き換えは行わずに、そのままステップＦ２０４→Ｆ２２４（合成画像変更指示の監視）→Ｆ２２６（アルバムモードオフ指示の監視）→Ｆ２０１と進む。なお、この場合、ステップＦ２０４→Ｆ２１９→Ｆ２２４→Ｆ２２６→Ｆ２０１と進むようにして、ステップＦ２１９のレリーズ要求の監視を加えるようにしてもよい。
【００６８】
次にステップＦ２０６では制御部２は、現在のスルー画に顔画像が含まれているか否かを判断する。
顔画像が含まれていなければ、制御部２はステップＦ２０８で、表示用合成画像５０の生成処理に用いるデータとして、スルー画のサムネイル画像（低解像度画像）をメモリ部３に移動させる。
一方、スルー画に顔画像が含まれていれば、制御部２はステップＦ２０７で、表示用合成画像５０の生成処理に用いるデータとして、スルー画についてのスクリーンネイル画像（中程度解像度画像）をメモリ部３Ｂに移動させる。
サムネイル画像やスクリーンネイル画像を用いるのは表示用合成画像５０の生成処理負担を軽減するためである。また顔画像がある場合にスクリーンネイル画像を用いるのは、あまり低解像度であると顔画像の評価が困難になることが多いためである。
【００６９】
ステップＦ２０９で制御部２は、背景画像６０ＢＫの奥行きが、スルー画の奥行きより深いか否かを判断する。制御部２はフォーカス駆動部１５、アイリス駆動部１６より撮像画像の焦点距離、被写界深度を検出し画像の奥行きとする。焦点距離、被写界深度等が同パラメータの場合、ズーム駆動部１７のズームデータより奥行きを決定する。
そして新規合成画像作成の場合は、先にステップＦ２２３で設定した奥行き情報（焦点距離、被写界深度、ズーム値等）と、現在のスルー画の奥行き情報を比較する。過去の撮像画像利用の場合は、図８のステップＦ１０８で読み込んだ合成管理情報における背景画像の奥行き情報と、現在のスルー画の奥行き情報を比較する。
【００７０】
もし、現在のスルー画の方が奥行きが深ければ、ステップＦ２１０に進み、背景画像６０ＢＫを現在のスルー画に変更する。
これにより制御部２は、アルバムモード中に、スルー画とアルバムモード中に撮像された画像のうち最も奥行きが深い画像を合成時の背景画像と選定するよう自動制御することとなる。
なお、このステップＦ２１０の処理は、新規合成画像作成の場合のみに適用してもよい。即ち過去の撮像画像利用の場合は、ステップＦ２１０を実行しない（背景画像６０ＢＫを変更しない）ようにすることも考えられる。
【００７１】
ステップＦ２１１で制御部２は、背景画像ＢＫ以外の画像のサイズを決定する。
制御部２は画像サイズを各画像内の「笑顔検出特徴量、撮像時の音声レベル、動きベクトル、黄金比１：１．６評価」等の総合値で判断する。
また制御部２は、フルサイズの画像に対し背景画像６０ＢＫを除いた全画像の総サイズが一定の割合（例えばフルサイズの７０％）となるよう、上記総合値より各画像の元画像もしくはサムネイル画像等をリサイズする。
【００７２】
ステップＦ２１２で制御部２は、背景画像６０ＢＫを除いた画像（画像６０Ａ等やスルー画）に対し、顔検出を行い、顔が写っている画像を抽出する。
顔画像が含まれる画像があった場合、ステップＦ２１３で制御部２は、抽出した画像内の最もサイズの大きい顔画像の向きを検出する。
そしてステップＦ２１４で制御部２は、顔の向きが合成画像中央を向くよう位置決めする。
【００７３】
例えば図１１Ａに、スルー画４２に顔画像が含まれている場合を示している。仮にこの画像を合成画像に組み込むとすると、例えば図１１Ｂのように、顔が画像中央ラインＣＴに向くようにすることが構図として好ましい。
そこで、この例のように顔が左を向いている場合は、画像中央ラインより右側に配置されるようにする。
図１１Ｂは、この状態を表示用合成画像５０として表示部６に表示している状態を示している。表示用合成画像５０のスルー画５０ＴＲは、表示用合成画像５０の中央ラインＣＴより右側に配置される。
【００７４】
ステップＦ２１５で制御部２は、テンプレートで決めた所定の並び順に基づき、顔検出されなかった画像の合成配置領域を決定する。
図１０のステップＦ２１６で制御部２は、表示用合成画像５０におけるスルー画５０ＴＲの合成範囲が、ユーザにとって分かりやすくなるように、表示用合成画像５０のデータ中のスルー画をハイライト画像とする処理を行う。
そしてステップＦ２１７で制御部２は、ハイライト画像としたスルー画を含む表示用合成画像５０を、スルー画４２にＰｉｎＰ（Picture in Picture）で埋め込み、ステップＦ２１８で表示部６に供給する。
これにより、例えば図４Ｂ、図５Ｂ、図６Ｂのような表示が実行される。
【００７５】
その後も制御部２は、ステップＦ２１９のレリーズ操作検知に応じて、ステップＦ２２０〜Ｆ２２３の処理を実行する。
例えば図４Ｂの状態でユーザのレリーズ操作を検知したら、レリーズ処理を行い（Ｆ２２０）、静止画データ記録の処理を行って、撮像画像を静止画データＰｉｃ００２（図４Ｃ）として記録部５に記録する（Ｆ２２１）。同時にサムネイル画像、スクリーンネイル画像も記録する。
また図４Ｂの表示用合成画像５０における配置状態で、合成処理用画像６０上で、今回の撮像画像を合成する。つまり合成処理用画像６０をメモリ部３上で上書き更新する（Ｆ２２２）。この場合、表示用合成画像５０におけるスルー画５０ＴＲの合成配置領域（位置、サイズ）に応じて、合成処理用画像６０内に今回のレリーズ処理に係る画像を合成することになる。なお、合成した画像を示す情報（例えばステップＦ２２２で記録した静止画データＰｉｃ００２のファイル名等）や、合成配置領域の情報も記憶する。例えば合成処理用画像（後の合成画像）のEXIF tag.No.OXO131に合成に使用した撮像画像のタグのソフトウエアを埋め込むようにする。
ステップＦ２２３については、それまでにステップＦ２０５，Ｆ２１０等で背景画像６０ＢＫが変更されていた場合に実行する。つまり背景画像６０ＢＫが変更された場合は、その背景画像データの更新保存や、奥行き情報の更新保存を行う。
【００７６】
制御部２が以上の処理を行うことで、図３〜図７で説明した合成画像生成動作が実行され、ユーザはスルー画を含めた表示用合成画像５０を見て、合成画像をイメージしながら、任意の時点でレリーズ操作を行い、レリーズタイミングの画像を合成画像に加えていくという操作を行うことができる。
【００７７】
なお、アルバムモード中に、ユーザは合成画像の編集を行うこともできる。ユーザが所定の操作を行うことで、ステップＦ２２４で合成処理用画像６０の変更のポーリング処理が発生する。すると制御部２は、ステップＦ２２５に進み、ユーザの操作入力に応じて合成処理用画像６０の変更（編集）を行う。制御部２は、ユーザ操作に応じて、現在の合成処理用画像６０における各画像の位置・サイズ・背景画像・捨てる類似画像の変更指示を検知し、合成画像を変更する。
具体的な動作例としては、例えば制御部２は、その時点の合成処理用画像６０をそのまま表示部６に全画面表示させる。これに対してユーザは、或る画像をタッチパネル操作で選択し、移動したい位置にドラッグ操作を行ったり、拡大又は縮小を指示するようなタッチ操作を行う。或いは指定した画像を画面上のゴミ箱にドラッグする操作を行う。さらには、背景部分を選択して或る画像の枠にドラッグすることで、背景の入換等を指示する操作を行う。これらのユーザ操作に対応して、制御部２は合成画像を変更する。
例えば図７Ａのように背景画像６０ＢＫに合成した画像６０Ａ，６０Ｂ等について、配置領域（位置及びサイズ）を、ユーザ操作に応じて変更することで、図７Ａの状態から図７Ｂや図７Ｃの状態に変更できる。これは後述するアルバム編集モードの処理と同様であるが、ステップＦ２２４，Ｆ２２５の処理を設けているのは、アルバムモード中であっても、後述するアルバム編集モードと同様の処理を可能とするという意味である。
【００７８】
或る時点で、ユーザがアルバムモードＯＦＦボタン４１を操作すると、ステップＦ２２６で制御部２は、アルバムモードオフのポーリング処理を検知することになる。
この場合、制御部２は図９，図１０の処理、即ち図８のステップＦ１０９の処理を終えることになる。
【００７９】
そして制御部２は図８のステップＦ１１０で、合成処理があったか否かを判断する。ここでいう合成処理があったか否かとは、図１０のステップＦ２２２又はステップＦ２２５の処理が行われたか否かのことである。ステップＦ２２２又はステップＦ２２５の処理が一度でも行われた場合は、制御部２はステップＦ１１１に進み、合成画像の記録部５への記録を行う。
即ちその時点でメモリ部３に保存されている合成処理用画像６０を、今回のアルバムモードで生成された最終的な合成画像として記録部５に出力する（合成画像データ記録の処理）。そして１つの合成画像ファイルＰｉｃ−Ｍとして記録させる。また合成管理情報も関連づけて記録する。例えば背景画像６０ＢＫの情報として、背景画像データ自体又は背景画像とされた画像ファイルを示す情報、及び奥行き情報を記憶する。また、合成画像に含まれる画像（６０Ａ，６０Ｂ等）の情報として、例えばその画像に相当する静止画データＰｉｃ００ｘを示す情報や、さらには合成配置領域（背景画像上での位置やサイズ）の情報も、合成管理情報に含めて記憶する。
もちろんさらに、合成画像における各画像（６０ＢＫ、６０Ａ、６０Ｂ等）の評価値（図９のステップＦ２０４で使用した評価値）や、顔画像の存在有無の情報、顔の向き、人物（顔画像）の数の情報なども、合成管理情報に含めるとよい。
また、使用したテンプレートを示す情報も合成管理情報に含めると良い。
言うまでもなく、このような合成管理情報は、次回に、この合成画像を利用してアルバムモード処理を実行する場合や、他の機器に送信して処理を行う場合などに有用となる。
合成管理情報の記録には、Exifの所定領域を使用できる。例えばExifのＥＯＩにアルバムモードの配置を示すプログラムを記録するなどである。
【００８０】
このような合成画像データ及び合成管理情報の記録を行ったら、制御部２はステップＦ１１２でアルバムモードをオフとして処理を終える（ステップＦ１０２に戻る）。
またステップＦ１１０で合成処理が行われていないと判断したときは、制御部２はステップＦ１１２でアルバムモードをオフとして、ステップＦ１０２に戻ればよい。
【００８１】
なお、以上のアルバムモードの処理としては、次のような変形例が考えられる。
先の図９，図１０で示した処理では、ステップＦ２１９〜Ｆ２２３としてのレリーズ指示のポーリング要求に応じた処理を行ったが、この処理を例えば図１２のような割り込み処理として実行してもよい。
即ち図９，図１０におけるステップＦ２０２〜Ｆ２１８のうちの任意のタイミングで、図１２の処理を行う。
【００８２】
図１２において、制御部２はステップＦ３０１で、操作部４より撮像記録（レリーズ）のポーリング処理があったかどうか読み込み処理を行う。
ステップＦ３０２で制御部２はレリーズ処理を行う。
ステップＦ３０３で制御部２は、記録部５に撮像画像を記録（静止画データ記録）する。
ステップＦ３０４で制御部２は撮影記録した静止画データまたはそのサムネイルを合成処理用画像に合成し、メモリ部３に保存する。また合成に使用した静止画データの情報もメモリ部３に保存する。
ステップＦ３０５で制御部２はメモリ部３に保存されている画像が一枚か確認する。つまり合成処理用画像６０が、今回の記憶した画像のみ（まだ複数の画像が合成される前の状態）であるか否かを確認する。
合成処理用画像６０が１枚の画像で構成されている場合は、制御部はステップＦ３０６で、当該画像を背景画像６０ＢＫとして設定する。また背景画像６０ＢＫに関する情報（背景画像データ自体やサムネイル画像、さらには奥行き情報等）も保存する。
【００８３】
図９，図１０のアルバムモード処理中に、以上のような割り込み処理により、レリーズ指示に応じた処理を行うようにしてもよい。
【００８４】
以上、図８，図９，図１０、及び図１２で説明した実施の形態のアルバムモード処理によれば、次のような効果が得られる。
まずユーザが、異なる画角で撮像した画像に現在のスルー画を合成した画像をスルー画像にＰｉｎＰ表示することでリアルタイムに確認することができる。これによって生成される合成画像をイメージしながら撮像を行っていくことができ、ユーザの望む合成画像の作成が容易となる。
【００８５】
また過去に撮像記録した画像とスルー画が類似していた場合に、自動で一枚選択し合成することで不要な写真が合成に使われるのを防止することができる。
また、画像の奥行きを検出し、最も奥行きが深い画像を背景画像とすることにより編集の手間を削減でき、さらに品質の高い合成画像を得ることができる。
また過去に撮像記録した画像とスルー画の各評価値より画像に優先順位をつけて画像サイズを変更することにより、メリハリの効いた合成画像を作成できる。
また人物の顔の向きを検出し、顔の向きが画像中央を向くよう自動配置することによりバランスの良い合成画像を作成できる。
【００８６】
また画像の配置を決定するテンプレートを複数備え、操作部４によりユーザが選択できることで、撮像シーンに適応した画像配置を行うことが容易となり、より状況に合った合成画像を作成できる。
また表示用合成画像５０においてスルー画５０ＴＲの合成領域が分かりやすいようハイライト表示等の強調表示することにより、表示用合成画像５０内でのスルー画５０ＴＲの視認性を向上できる。
【００８７】
またアルバムモードの画像処理（表示用合成画像５０の生成処理）には本画像ではなく、サムネイルやスクリーンネイルなどの低解像度画像を用いることにより、処理速度を高速化できる。
また画像に関連付けて処理に用いた合成管理情報をメモリ部３に記憶したり、或いは合成画像に関連づけて記録部５に記録している。これにより、例えばアルバムモードの撮像途中で電源をオフした後でもアルバムモードの撮像をすぐに再開できる。また過去に記録した合成画像を用いて、さらにアルバムモード処理を行う場合の処理に、合成管理情報を有効利用でき、過去に作成した合成画像に追加で合成をすることも容易となる。
【００８８】
＜４．アルバム編集モード処理＞
上述したアルバムモードの動作により、合成画像を作成できるわけであるが、背景画像上に合成する画像の配置やサイズは、テンプレートや、顔画像に応じた処理などで、ある程度自動的に撮像設定される。また背景画像もある程度自動で設定される。これらの自動処理により、ユーザにとっては非常に手軽に撮像しながら合成画像を作成しているという利点が得られるが、その一方で、ユーザによっては、より自分の好みで画像を配置したり、背景画像を設定したりしたい場合もある。
そこでアルバム編集モードが用意される。さらに上述のアルバムモード中であっても、図１０のステップＦ２２４、Ｆ２２５として、ユーザの編集動作が実行可能とされる。
【００８９】
図８に示したアルバム編集モードでの処理を説明していく。
上述のように、撮像モードにおいて、ユーザはアルバム編集モードを指示する操作を行うことで、制御部２はステップＦ１１３でアルバム編集モードＯＮのポーリング要求を認識する。その場合制御部２は、ステップＦ１１４〜Ｆ１２０の処理を行うことになる。
【００９０】
ステップＦ１１３でアルバム編集モードＯＮのポーリング処理要求があった場合、制御部２はステップＦ１１４で、編集を行う合成画像を選択する。例えば制御部２は記録部５に記録されている合成画像をリスト表示し、ユーザに選択入力を求める。そしてユーザが指定した合成画像を編集対象の合成画像とする。
そして選択された合成画像を記録部５からメモリ部３に読み出す。
【００９１】
ステップＦ１１５で制御部２は、操作部４により入力されるユーザの指示に従って、メモリ部３上で合成画像変更処理を行う。
図７Ｂ、図７Ｃは、編集動作の例を示している。例えば図７Ａの合成画像が編集対象として選択された場合に、ユーザが画像６０Ａ、６０Ｃのそれぞれの位置及びサイズを変更する操作を行ったとする。制御部２は、このような操作に応じて合成画像を編集し、例えば図７Ｂのような合成画像に変更する。
また、図７Ａの合成画像が編集対象として選択された場合に、ユーザが画像６０Ｃを背景画像とする操作を行ったとする。制御部２は、この操作に応じて、図７Ｃのように、元の画像６０Ｃを背景画像６０ＢＫとし、元の背景画像６０ＢＫを画像６０Ｃとするように合成画像を編集する。
もちろんこれらの例以外に、例えばユーザが指定した画像を合成画像から削除することもできる。
具体的には、先に述べたアルバムモード中の合成処理用画像の変更処理の場合のように、例えば制御部２は、編集対象の合成画像を表示部６に表示させる。これに対してユーザは、合成画像内の或る画像をタッチパネル操作で選択し、移動したい位置にドラッグ操作を行ったり、拡大又は縮小を指示するようなタッチ操作を行う。或いは指定した画像を画面上のゴミ箱にドラッグする操作を行う。さらには、背景部分を選択して或る画像の枠にドラッグすることで、背景の入換等を指示する操作を行う。これらのユーザ操作に対応して、制御部２は合成画像を編集する。
以上のような合成画像編集がステップＦ１１５の処理で行われる。
【００９２】
ユーザは所望の編集操作を行ったら、アルバム編集モードをオフとする操作を行う。制御部２は、ステップＦ１１６でアルバム編集モードＯＦＦのポーリング処理要求があったかどうか読み込み、アルバム編集モードＯＦＦのポーリング処理があった場合、ステップＳ１１７に進む。そして、合成画像に何らかの変更があったか否かを確認する。
【００９３】
もしアルバム編集モードとなったとしても、ユーザが特に何も変更を指示する操作を行わずにアルバム編集モードオフとした場合など、合成画像に変更が加えられていなければ、制御部２はステップＦ１２０でアルバム編集モードオフとして処理を終え、ステップＦ１０２に戻る。
一方、ステップＦ１１５の処理で、合成画像に何らかの変更が加えられていた場合は、制御部２はステップＦ１１８に進み、メモリ部３上で編集された合成画像を、記録部５に記録する。即ち記録部５に記録された合成画像の更新を行う。そしてステップＦ１２０でアルバム編集モードオフとして処理を終え、ステップＦ１０２に戻る。
【００９４】
このようなアルバム編集モードの処理が行われることで、ユーザにとっては、合成画像中の位置・サイズ・背景画像・捨てる類似画像を操作部４より指示し、自分の意図に沿った合成画像に変更することができる。
例えば撮像時は手軽に合成画像を作成し、その後、自分の好みで合成画像のレイアウトを修正していったり背景画像を代えたりすることなども可能となる。
【００９５】
なお、上述のアルバムモード中であっても、図１０のステップＦ２２５として、ユーザの編集動作が実行可能とされる。図１０のステップＦ２２５は、図８のアルバム編集モードにおけるステップＦ１１５と同様である。異なる点は、編集対象が、まだ記録されていない合成処理用画像６０であるという点のみである。
従って、アルバムモードで撮像を行っているときでも、ユーザは任意に合成画像の内容を指示できることになる。
【００９６】
＜５．撮像装置の変形例＞
以上、撮像装置１に適用した実施の形態について説明してきたが、撮像装置１の構成や、アルバムモードでの表示態様、合成画像の態様として多様な変形例が考えられる。
【００９７】
図１３は撮像装置１の他の構成例を示している。なお図１と同一部分は同一符号を付し、説明を省略する。
この例は表示部６を備えない撮像装置１であり、外部インターフェース１８を有する。そして外部インターフェース１８を介して、外部の表示装置２０と通信接続される。
【００９８】
外部インターフェース１８は、パーソナルコンピュータシステムやテレビジョン受像器、携帯端末機器など、表示デバイスを備えた外部機器（表示装置２０）との間で有線又は無線で各種データ通信を行う。
撮像装置１は、外部インターフェース１８による外部機器との通信で、表示用合成画像５０等の表示データを外部機器に転送したり、各種情報を外部機器から入力することが可能である。
【００９９】
この場合、制御部２は、アルバムモードの際に、スルー画４２と表示用合成画像５０を合成した表示データを表示装置２０に送信する。そして表示装置２０でそれらが表示されるようにする。
このような形態でも上述したアルバムモードの動作は実現される。
なお、もちろん図１のように表示部６を有する撮像装置１の場合にも、外部インターフェース１８を備え、外部の表示装置２０で表示用合成画像５０を合成したスルー画４２を表示させるようにしてもよい。
【０１００】
図１４も撮像装置１の他の構成例を示している。図１と同一部分は同一符号を付し、説明を省略する。
この例は記録部５を備えない撮像装置１である。この場合の撮像装置１はネットワーク通信部１９を有する。
ネットワーク通信部１９は、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行う。制御部２は、ネットワーク通信部１９を介してネットワーク上のサーバ、端末等と各種データ通信を行うことができる。
【０１０１】
この場合、制御部２は、アルバムモードの際に、ネットワーク通信部１９を介してダウンロードした静止画データ、又は過去の合成画像データ等を用いて、さらに合成を加えていく動作を行うことができる。つまり図８のステップＦ１０７，Ｆ１０８での画像選択、画像データ等の読込を、ネットワーク上の画像を対象として実行できる。
従って、インターネット上に提供され、使用が許可されている静止画や合成画をユーザが選択して、アルバムモードでその画像にさらに合成を加えるといったことも可能となる。
【０１０２】
また、この構成の場合、合成画像データ送信の処理が実行される。例えば作成した合成画像を、ネットワーク通信部１９を介して外部サーバ等に送信し、記録させることができる。つまり合成画像データ送信の処理を行って合成画像をネットワーク上のサーバ等にアップロードすることなどもできる。
【０１０３】
なお、もちろん図１のように記録部５を備えた上で、ネットワーク通信部１９を備えるようにしてもよい。
また図１３のように外部インターフェース１８を備えて、接続した外部機器からアルバムモードで使用する画像を入力したり、或いは合成画像データ送信処理として作成した合成画像データを外部機器に送信し、記録等させるといったことも可能である。
【０１０４】
次に図１５は、アルバムモード時に表示する表示用合成画像５０を含む表示態様としての他の例を示している。
先に図３〜図６で説明した例では、表示用合成画像５０をスルー画４２の一部の領域に合成して表示部６に表示するようにした。
これに対して、表示用合成画像５０にはスルー画５０ＴＲが含まれていることから、表示用合成画像５０のみを表示部６に表示するようにしてもよい。これを示したのが図１５Ａである。
【０１０５】
図１５Ａは、表示部６の画面全体を表示用合成画像枠Ｗとし、表示用合成画像５０を表示させている例である。ユーザは被写体を決めるためにスルー画を見る必要があるが、このためには表示用合成画像５０の背景画像５０ＢＫ上に合成されたスルー画５０ＴＲを見ることとすればよい。
このように制御部２は、アルバムモードの際の表示として、スルー画５０ＴＲを含む表示用合成画像５０のみを表示させるようにしてもよい。
このようにすれば、ユーザは作成中の合成画像のイメージを、よりを明確に認識できる。
【０１０６】
次に図１５Ｂは、２つの表示部６Ａ、６Ｂを有する場合の例である。例えば撮像装置１が２つの表示部６Ａ、６Ｂを備える場合である。或いは図１３のように外部機器としての表示装置２０として表示画面を２つ備えるような場合を想定してもよい。さらには、撮像装置１が表示部６を備えると共に図１３のように外部インターフェース１８を介して表示装置２０を接続している場合も同様に想定される。
【０１０７】
これらのようにアルバムモードでの撮像中に、ユーザが２つの表示部６Ａ、６Ｂを見ることができる状況においては、制御部２は、図１５Ｂのように、一方の表示部６Ａはスルー画４２を表示させ、他方の表示部６Ｂには、スルー画５０ＴＲを含む表示用合成画像５０のみを表示させることが考えられる。表示部６Ｂは、画面全体を表示用合成画像枠Ｗとし、表示用合成画像５０として背景画像５０ＢＫ上にスルー画５０ＴＲを合成した画像を表示させる。
このようにすることで、ユーザはアルバムモード時に、スルー画４２と表示用合成画像５０の両方を高解像で確認できる。
【０１０８】
次に図１６は、背景画像についての変形例を示す。
上述した例では合成画像において背景画像６０ＢＫは、１枚の静止画像とした。これに対して、複数の静止画像を背景画像としてもよい。
図１６Ａは、２つの背景画像６０ＢＫａ、６０ＢＫｂを設定し、それらの上に、他の画像６０Ａ、６０Ｂを合成した合成画像の例である。
例えばユーザが図８のステップＦ１０７で複数の記録済みの静止画データを選択した際に、複数の背景画像６０ＢＫａ、６０ＢＫｂを並べて、合成処理に使用するようにする。  或いはアルバムモードでの自動処理で制御部２が、奥行き情報が深い２枚の画像を、背景画像として並べるような処理を行ってもよい。
【０１０９】
また図１６Ｂは、撮像画像ではない既記録画像を背景画像６０ＢＫとする例である。例えば模様画、アニメーション、イメージ画などを記録部５に記録しておき（或いはダウンロード等で入手できるようにし）、ユーザが任意の背景画像を選択する。
これにより、アルバムモードの際には、選択した模様画等を背景画像６０ＢＫとして設定し、その上に撮像した画像６０Ａ、６０Ｂ、６０Ｃ、６０Ｄ等を合成していく。
このような背景画像を設定することで、より多様な合成画像生成が可能となる。
【０１１０】
以上、各種変形例を述べたが、これら以外にも多様な変形例は想定される。
アルバムモードの処理においては、レリーズにより、通常の静止画データ（上述した画像ファイルＰｉｃ００１等）も記録されるようにしたが、アルバムモードでは、通常の静止画は記録しないという処理も考えられる。
また、アルバムモードでのレリーズ操作に対応して静止画データを記録する場合に、サムネイル画像、スクリーンネイル画像等の低解像度画像を記録しない例も考えられる。
【０１１１】
また表示用合成画像５０のための合成処理に低解像度画像を用いることとしたが、もちろん撮像画像として通常得られる高解像度の画像の状態で合成処理を行うようにしてもよい。
【０１１２】
＜６．情報処理装置での適用例及びプログラム＞
実施の形態では、請求項でいう画像処理装置を内蔵する撮像装置１を挙げたが、もちろん所謂デジタルスチルカメラに限られず、多様な機器において、本開示の画像処理装置を実現できる。
例えば撮像機能付きの携帯電話機、ビデオカメラ機器、モバイル端末機器、その他各種の機器において本開示の技術を適用できる。
【０１１３】
さらに、撮像機能を持たない情報処理装置、例えばパーソナルコンピュータ、携帯電話機、モバイル端末機器、画像機器などでも本開示の画像処理機器を実現できる。
【０１１４】
図１７は撮像機能を持たない情報処理装置として、本開示の実施の形態となる画像処理装置８０のブロック図である。
画像処理装置８０は、画像入力部８１，制御部８２、メモリ部８３、操作部８４、記録部８５、表示部８６を備える。
【０１１５】
画像入力部８１は、有線又は無線通信によりデータ通信が可能とされた外部の撮像装置７０から、撮像画像信号（撮像画像データ）を受信し入力する。
表示部８６は、図１の表示部６と同様、ユーザに対して各種表示を行う。
操作部８４は、図１の操作部４と同様、ユーザの操作を入力する入力手段として機能し、入力された操作に応じた信号を制御部８２へ送る。
記録部８５は、図１の記録部５と同様、例えば不揮発性メモリ、ＨＤＤ等からなり、静止画データや動画データ等の画像ファイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。合成画像に関しては、ＥＸＩＦデータ等の形態で合成管理情報も記録される。
メモリ部８３は、図１のメモリ部３と同様、ＲＯＭ、ＲＡＭ、フラッシュメモリ等を包括的に示しており、制御部８２の作業領域や、アプリケーションプログラム等の記憶に用いられる。
【０１１６】
制御部８２は、例えばＣＰＵ等の演算処理装置とされ、ソフトウエアによって実現される機能として、画像信号処理部８２ｂ、表示制御部８２ｃ、合成処理部８２ｄ、出力処理部８２ｅ、配置決定部８２ｆを備える。これらは図１の画像信号処理部２ｂ、表示制御部２ｃ、合成処理部２ｄ、出力処理部２ｅ、配置決定部２ｆと同様である。
【０１１７】
このような構成の画像処理装置８０によれば、外部の撮像装置７０で撮像されている撮像画像データを入力しながら、制御部８２が上述したアルバムモード処理、アルバム編集モード処理を実行することで、先の撮像装置１で説明した動作と同様の動作が実現される。
例えばユーザは、撮像装置７０と、別体の画像処理装置８０を用いて撮像を行うことで、合成画像の作成を容易に実行できることになる。
【０１１８】
なお、この図１７の画像処理装置８０の場合も、図１３で説明したように外部インターフェース１８を設けて外部の表示装置２０を利用したり、外部装置から静止画データ等を入力することも可能である。また図１４で説明したようにネットワーク通信部１９を設けて、ネットワーク上から画像データをダウンロードしたり、合成画像をアップロードすることも可能である。
【０１１９】
実施の形態のプログラムは、上述のアルバムモード処理、アルバム編集モード処理を、例えばＣＰＵ等の演算処理装置に実行させるプログラムである。
即ちこのプログラムは、合成処理用画像に、被写体からの入射光を光電変換して得られる撮像画像信号から生成されるスルー画を含めて表示用合成画像を生成して、該表示用合成画像を表示させる処理を演算処理装置に実行させる。
また記録タイミングに応じた撮像画像信号を、表示用合成画像におけるスルー画の合成配置状態に応じて、合成処理用画像内に合成する処理を演算処理装置に実行させる。
またレリーズタイミング等の或る時点での合成処理用画像を、生成された合成画像データとして出力する処理を、演算処理装置に実行させる。
また、操作入力に応じて、合成画像データにおける画像内容を変更する編集処理を演算処理装置に実行させる。
このようなプログラムにより、上述したアルバムモード処理、アルバム編集モード処理を実行する装置を演算処理装置により実現できる。
【０１２０】
このようなプログラムは、コンピュータ装置や撮像装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
またこのようなプログラムによれば、合成画像生成のためのアルバムモードやアルバム編集モードの動作を実行する撮像装置や画像処理装置の広範な提供に適している。
【０１２１】
なお本技術は以下のような構成も採ることができる。
（１）合成処理用画像に、被写体からの入射光を光電変換して得られる撮像画像信号から生成されるスルー画を含めて、表示用合成画像を生成するとともに、記録タイミングに応じた撮像画像を、上記表示用合成画像におけるスルー画の合成配置状態に応じて、上記合成処理用画像内に合成する合成処理部と、
上記表示用合成画像の表示制御を行う表示制御部と、
を備えた画像処理装置。
（２）撮像画像信号の内容に応じて、スルー画の上記合成処理用画像内での配置状態を決定する配置決定部をさらに備え、
上記合成処理部は、上記配置決定部で決定された配置状態でスルー画を上記合成処理用画像に合成して、上記表示用合成画像を生成する上記（１）に記載の画像処理装置。
（３）上記配置決定部は、さらに、既に上記合成処理用画像に配置された配置済み画像に応じて、上記スルー画と上記配置済み画像の上記合成処理用画像内での配置状態を決定する上記（２）に記載の画像処理装置。
（４）上記表示制御部は、スルー画を表示させるとともに、スルー画が合成された上記表示用合成画像を表示させる処理を行う上記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）上記合成処理用画像は、静止画像が背景画像として設定される画像であり、
上記合成処理部は、撮像により得られた静止画像、又は記録媒体から読み出された静止画像を、上記合成処理用画像における背景画像とする上記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）上記合成処理部は、記録媒体から読み出された合成画像を上記合成処理用画像とする上記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）上記合成処理用画像は、背景画像を少なくとも有する画像とされ、
上記合成処理部は、スルー画と上記背景画像の比較処理の結果により、背景画像を変更する処理を行う上記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）上記比較処理は、画像の類似性を求める比較処理、画像評価値の比較処理、画像の奥行きの比較処理の少なくとも１つである上記（７）に記載の画像処理装置。
（９）上記合成処理用画像は、背景画像を少なくとも有する画像とされ、
上記合成処理部は、上記合成処理用画像の背景画像上に設定した合成配置領域に、スルー画を合成して上記表示用合成画像を生成するとともに、上記合成処理用画像における背景画像上の合成配置領域は、テンプレート情報に基づいて設定する上記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）上記合成処理用画像は、背景画像を少なくとも有する画像とされ、
上記合成処理部は、上記配置決定部が上記合成処理用画像の背景画像上に設定した合成配置領域に、スルー画を合成して上記表示用合成画像を生成するとともに、
上記配置決定部は、上記合成処理用画像に含まれる背景画像以外の画像又はスルー画に、人の顔画像が含まれている場合は、上記顔画像における顔の向きを判別し、判別結果を用いて、上記合成処理用画像における背景画像上の合成配置領域を設定する上記（２）又は（３）に記載の画像処理装置。
（１１）上記合成処理用画像は、背景画像を少なくとも有する画像とされ、
上記合成処理部は、上記配置決定部が上記合成処理用画像の背景画像上に設定した合成配置領域に、スルー画を合成して上記表示用合成画像を生成するとともに、上記表示用合成画像の生成は、低解像度化した画像を用いて行う上記（２）（３）又は（１０）のいずれかに記載の画像処理装置。
（１２）上記合成処理用画像は、背景画像を少なくとも有する画像とされ、
上記合成処理部は、上記合成処理用画像の背景画像上にスルー画を合成し、かつスルー画の領域を他の領域よりも強調表示させた上記表示用合成画像を生成する上記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）或る時点での上記合成処理用画像を、生成された合成画像データとして出力する出力処理部をさらに備え、
上記合成処理部は、合成撮像モードが指示されることに応じて、上記表示用合成画像の生成を開始し、
上記出力処理部は、上記合成撮像モード終了が指示された時点での上記合成処理用画像を、生成された合成画像データとして出力する上記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）記録媒体にデータを記録する記録部と、
或る時点での上記合成処理用画像を、生成された合成画像データとして出力する出力処理部をさらに備え、
上記出力処理部は、生成された合成画像データを記録媒体に記録させる制御を行う上記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）上記出力処理部は、さらに合成画像データの背景画像に関する情報を含む合成管理情報を、合成画像データに関連づけて記録媒体に記録させる制御を行う上記（１４）に記載の画像処理装置。
（１６）外部機器にデータを送信する送信部と、
或る時点での上記合成処理用画像を、生成された合成画像データとして出力する出力処理部をさらに備え、
上記出力処理部は、生成された合成画像データを上記送信部から送信出力させる制御を行う上記（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７）表示部を備え、
上記表示制御部は、上記表示用合成画像を、上記表示部に表示させる制御を行う上記（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８）上記合成処理部は、操作入力に応じて、合成画像データにおける画像内容を変更する編集処理を行う上記（１）乃至（１７）のいずれかに記載の画像処理装置。
【符号の説明】
【０１２２】
１  撮像装置、２  制御部、２ａ  撮像制御部、２ｂ  画像信号処理部、２ｃ  表示制御部、２ｄ  合成処理部、２ｅ  出力処理部、３  メモリ部、４  操作部、５  記録部、６  表示部、１０  撮像部、１１  レンズ部、１２  撮像素子、１３  アナログ信号処理部、１４  Ａ／Ｄ変換部、１５  フォーカス駆動部、１６  アイリス駆動部、１７  ズーム駆動部、８０  画像処理装置、８１  画像入力部、８２  制御部、８２ｂ  画像信号処理部、８２ｃ  表示制御部、８２ｄ  合成処理部、８２ｅ  出力処理部、８３  メモリ部、８４  操作部、８５  記録部、８６  表示部
【図１】
2013131878.tif 000003
【図２】
2013131878.tif 000004
【図３】
2013131878.tif 000005
【図４】
2013131878.tif 000006
【図５】
2013131878.tif 000007
【図６】
2013131878.tif 000008
【図７】
2013131878.tif 000009
【図８】
2013131878.tif 000010
【図９】
2013131878.tif 000011
【図１０】
2013131878.tif 000012
【図１１】
2013131878.tif 000013
【図１２】
2013131878.tif 000014
【図１３】
2013131878.tif 000015
【図１４】
2013131878.tif 000016
【図１５】
2013131878.tif 000017
【図１６】
2013131878.tif 000018
【図１７】
2013131878.tif 000019