(57)【要約】      （修正有）【課題】組み写真において、高画質で自然に見える組み換えが可能な画像編集装置、画像編集方法、およびプログラムを提供する。【解決手段】背景画像に対して、複数の画像を、組み写真の組み位置に応じて合成して生成した組み写真の編集にあたって、背景部分画像が記録されている場合には、背景部分画像を消去し（Ｓ３０１、Ｓ３０３）、組み写真の組み位置を含む複数のブロックを背景部分画像として選択して切り出し（Ｓ３０５）、画像圧縮部で圧縮された画像と、選択した背景部分画像を１つの画像ファイルとして記録するようにしている（Ｓ１３７）。【選択図】図２０
2014068274.tif 000002
【特許請求の範囲】
【請求項１】
予め準備された背景画像に複数枚の画像を組み合わせて構成する組み写真画像を編集する画像編集装置において、
上記背景画像に対して、複数の画像を、組み写真の組み位置に応じて合成して組み写真を生成する組み写真処理部と、
上記組み写真を所定画素数のブロック数で分割して画像を不可逆圧縮する画像圧縮部と、
上記背景画像を上記ブロックで分割し、少なくとも上記組み位置を含む複数の上記ブロックを背景部分画像として選択する背景部分画像選択部と、
上記画像圧縮部で圧縮された画像と、上記背景部分画像選択部で選択した背景部分画像を１つの画像ファイルとして記録する記録部と、
を具備することを特徴とする画像編集装置。
【請求項２】
上記画像ファイルに記録されている上記画像圧縮された画像を伸張する画像伸張部と、
上記画像ファイルに記録されている上記背景部分画像を、上記画像伸張部で伸張された画像に合成する背景部分合成部と、
を具備し、
上記組み写真処理部は、上記背景部分合成部で合成された画像に対し、置換画像を合成することを特徴とする請求項１に記載の画像編集装置。
【請求項３】
上記背景部分画像選択部は、上記背景画像と上記複数の画像の境界部の輝度成分の差に応じ、上記背景部分画像として選択する上記ブロック数を変更することを特徴とする請求項１または２に記載の画像編集装置。
【請求項４】
上記背景部分画像選択部は、上記背景画像と上記複数の画像の境界部の色差成分の差に応じ、上記背景部分画像として選択する上記ブロック数を変更することを特徴とする請求項１または２に記載の画像編集装置。
【請求項５】
上記画像圧縮部は、上記組み写真と同様の圧縮方法で上記背景部分画像を圧縮することを特徴とする請求項１ないし４の何れか一項に記載の画像編集装置
【請求項６】
予め準備された背景画像に複数枚の画像を組み合わせて構成する組み写真画像を編集する画像編集装置におけるコンピュータを実行させるプログラムにおいて、
上記背景画像に対して、複数の画像を、組み写真の組み位置に応じて合成して組み写真を生成し、
上記組み写真を所定画素数のブロック数で分割して画像圧縮し、
上記背景画像を上記ブロックで分割し、少なくとも上記組み位置を含む複数の上記ブロックを背景部分画像として選択し、
上記圧縮された画像と、上記選択した背景部分画像を１つの画像ファイルとして記録する、
ことを上記コンピュータに実行させることを特徴とするプログラム。
【請求項７】
予め準備された背景画像に複数枚の画像を組み合わせて構成する組み写真画像を編集する画像編集方法において、
上記背景画像に対して、複数の画像を、組み写真の組み位置に応じて合成して組み写真を生成し、
上記組み写真を所定画素数のブロック数で分割して画像圧縮し、
上記背景画像を上記ブロックで分割し、少なくとも上記組み位置を含む複数の上記ブロックを背景部分画像として選択し、
上記圧縮された画像と、上記選択した背景部分画像を１つの画像ファイルとして記録する、
ことを特徴とする画像編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像編集装置、画像編集方法、およびプログラムに関し、詳しくは、複数の写真からなる組み写真等の画像を編集する画像編集装置、画像編集方法、およびプログラムに関する。
【背景技術】
【０００２】
従来より、画像から任意オブジェクトを取り除いた画像を簡単な操作により得ることができる画像編集装置が知られている（特許文献１）。また、第１と第２の境界線間の濃度を第１の境界線と第２の境界線の間の距離に相関させて変化させて第３の画像を生成する技術も知られている（特許文献２）。さらに、置換を行うか行わないかの境界に近い部分に色の不連続が生じ、不自然な画像になることを防止するようにした画像処理装置も知られている（特許文献３）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０９−２１２６２６号公報
【特許文献２】特開平０９−１９８４９４号公報
【特許文献３】特開平１０−０５１６５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＪＰＥＧやＭＰＥＧ圧縮は、例えば、８×８画素のような小さなブロックに画像を分割し、それぞれのブロックで圧縮を行う。圧縮率を大きくすると、一般的に各ブロックの高周波成分が徐々に低下し、ブロック内が平均されたような色になる。このため、背景画像に別画像を重畳した画像などでは、高圧縮すると、境界部分の背景と合成画像の色が平均化されてしまい、境界の外側に合成画像の境界付近の色が影響してにじんだように見える。
【０００５】
複数枚の画像を組み合わせて構成する組み写真画像を編集する場合に、複数の画像の内の１枚を他の１枚の画像と置き換える編集を行うと、上述したように置換した画像と背景画像の境界域に色のにじみが発生したまま合成されてしまう場合がある。このため、組み写真の画質が低下し、不自然な組み写真となってしまう。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、組み写真において、高画質で自然に見える組み換えが可能な画像編集装置、画像編集方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係る画像編集装置は、予め準備された背景画像に複数枚の画像を組み合わせて構成する組み写真画像を編集する画像編集装置において、上記背景画像に対して、複数の画像を、組み写真の組み位置に応じて合成して組み写真を生成する組み写真処理部と、上記組み写真を所定画素数のブロック数で分割して画像を不可逆圧縮する画像圧縮部と、上記背景画像を上記ブロックで分割し、少なくとも上記組み位置を含む複数の上記ブロックを背景部分画像として選択する背景部分画像選択部と、上記画像圧縮部で圧縮された画像と、上記背景部分画像選択部で選択した背景部分画像を１つの画像ファイルとして記録する記録部と、を具備する。
【０００８】
第２の発明に係る画像編集装置は、上記第１の発明において、上記画像ファイルに記録されている上記画像圧縮された画像を伸張する画像伸張部と、上記画像ファイルに記録されている上記背景部分画像を、上記画像伸張部で伸張された画像に合成する背景部分合成部と、を具備し、上記組み写真処理部は、上記背景部分合成部で合成された画像に対し、置換画像を合成する。
【０００９】
第３の発明に係る画像編集装置は、上記第１または第２の発明において、上記背景部分画像選択部は、上記背景画像と上記複数の画像の境界部の輝度成分の差に応じ、上記背景部分画像として選択する上記ブロック数を変更する。
【００１０】
第４の発明に係る画像編集装置は、上記第１または第２の発明において、上記背景部分画像選択部は、上記背景画像と上記複数の画像の境界部の色差成分の差に応じ、上記背景部分画像として選択する上記ブロック数を変更する。
第５の発明に係る画像編集装置は、上記第１ないし第３の発明において、上記画像圧縮部は、上記組み写真と同様の圧縮方法で上記背景部分画像を圧縮する。
【００１１】
第６の発明に係るコンピュータを実行させるためのプログラムは、予め準備された背景画像に複数枚の画像を組み合わせて構成する組み写真画像を編集する画像編集装置におけるコンピュータを実行させるプログラムにおいて、上記背景画像に対して、複数の画像を、組み写真の組み位置に応じて合成して組み写真を生成し、上記組み写真を所定画素数のブロック数で分割して画像圧縮し、上記背景画像を上記ブロックで分割し、少なくとも上記組み位置を含む複数の上記ブロックを背景部分画像として選択し、上記圧縮された画像と、上記選択した背景部分画像を１つの画像ファイルとして記録することを上記コンピュータに実行させる。
【００１２】
第７の発明に係る画像編集方法は、予め準備された背景画像に複数枚の画像を組み合わせて構成する組み写真画像を編集する画像編集方法において、上記背景画像に対して、複数の画像を、組み写真の組み位置に応じて合成して組み写真を生成し、上記組み写真を所定画素数のブロック数で分割して画像圧縮し、上記背景画像を上記ブロックで分割し、少なくとも上記組み位置を含む複数の上記ブロックを背景部分画像として選択し、上記圧縮された画像と、上記選択した背景部分画像を１つの画像ファイルとして記録する。
【発明の効果】
【００１３】
本発明によれば、組み写真において、高画質で自然に見える組み換えが可能な画像編集装置、画像編集方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係るカメラにおいて、画像編集の一例を示す図であって、ライブビューをタッチすることにより画像編集を行う様子を示す図である。
【図３】本発明の一実施形態に係るカメラにおいて、画像編集の一例を示す図であって、ライブビューをタッチすることにより画像編集を行う様子を示す図である。
【図４】本発明の一実施形態に係るカメラにおいて、画像編集の一例を示す図であって、編集コマを確定する様子を示す図である。
【図５】本発明の一実施形態におけるカメラにおいて、画面分割の例を示す図である。
【図６】本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。
【図７】本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。
【図８】本発明の一実施形態に係るカメラの画像処理の動作を示すフローチャートである。
【図９】本発明の一実施形態に係るカメラの基本画像処理の動作を示すフローチャートである。
【図１０】本発明の一実施形態に係るカメラの特殊画像処理の動作を示すフローチャートである。
【図１１】本発明の一実施形態に係るカメラの組み写真生成の動作を示すフローチャートである。
【図１２】本発明の一実施形態におけるカメラにおいて、画像解析の変更例を示す図である。
【図１３】本発明の一実施形態に係るカメラの静止画記録の動作を示すフローチャートである。
【図１４】本発明の一実施形態に係るカメラの組み写真操作の動作を示すフローチャートである。
【図１５】本発明の一実施形態に係るカメラの組み写真操作の動作を示すフローチャートである。
【図１６】本発明の一実施形態に係るカメラにおいて、組み写真操作メモリの構造を図である。
【図１７】本発明の一実施形態に係るカメラの再生・編集の動作を示すフローチャートである。
【図１８】本発明の一実施形態に係るカメラの組み写真編集の動作を示すフローチャートである。
【図１９】本発明の一実施形態に係るカメラの組み写真生成記録の動作を示すフローチャートである。
【図２０】本発明の一実施形態に係るカメラの組み写真生成の動作を示すフローチャートである。
【図２１】本発明の一実施形態に係るカメラの境界背景画像切出の動作を示すフローチャートである。
【図２２】本発明の一実施形態に係るカメラにおいて、背景一部消去の方法を説明する図である。
【図２３】本発明の一実施形態に係るカメラにおいて、背景消去領域の変更を説明する図である。
【図２４】本発明の一実施形態に係るカメラにおいて、ファイル構造を示す図である。
【図２５】本発明の一実施形態に係るカメラにおいて、背景一部消去の変形例を説明する図である。
【図２６】本発明の一実施形態に係るカメラにおいて、画像が斜め領域にかかる場合の処理を説明する図である。
【発明を実施するための形態】
【００１５】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係るカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１６】
また、本実施形態に係るカメラは、予め準備された背景画像に複数枚の画像を組み合わせて構成する組み写真画像を編集する画像編集装置として機能する。すなわち、表示部は画面を複数分割し、複数の画像からなる組み写真を再生表示可能である。この組み写真の内の一部の写真を、ライブビュー画像やまた記録媒体に記録されている撮影済み画像に置換することが可能である。この場合、背景画像と合成画像（置換画像）の境界部分の近傍を一旦背景画像で塗りつぶしてから、組み換え後の画像を合成する。この際、背景画像は、画像圧縮時のブロックの境界と一致する位置かつ、ブロックと一致するサイズで、組み写真と同じ圧縮方法および圧縮率で圧縮して、組み写真と一緒に記録する。
【００１７】
図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。
【００１８】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）３００を有する。
【００１９】
撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。
【００２０】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ３００およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。
【００２１】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ３００は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。
【００２２】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００２３】
撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。
【００２４】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。
【００２５】
アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。なお、本明細書においては、画像処理部１０９において画像処理される前の生の画像データをＲＡＷデータと称する。
【００２６】
バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto
Focus）処理部１１３、画像圧縮伸張部１１５、通信部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、表示ドライバ１３３が接続されている。
【００２７】
画像処理部１０９は、基本的な画像処理を行う基本画像処理部１０９ａと、アートフィルタが設定された場合に特殊効果を施すための特殊画像処理部１０９ｂと、複数の写真を組み合わせて１枚の画像を構成する組み写真の編集処理を行うための組み写真処理部１０９ｃと、画像を解析する被写体検出部１０９ｄを有している。
【００２８】
基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。１枚撮影で、かつアートフィルタが設定されていない場合には、この基本画像処理部１０９ａによる処理のみで画像処理が完了する。
【００２９】
また、特殊画像処理部１０９ｂは、設定された特殊効果（アートフィルタ）に応じて、周辺の輝度を低下させるピンホール効果、画像をぼかして元画像と合成するソフトフォーカス処理、ノイズ画像と合成するノイズ効果、輝点にクロスパターンを描画するクロスフィルタ効果、周辺部をぼかすミニチュア効果等、基本画像処理部によって処理された画像に対して、種々の特殊効果を施す。
【００３０】
組み写真処理部１０９ｃは、複数の画像を組み合わせて１枚の画像（組み写真）を生成する。画像の組合せにあたっては、フラッシュメモリ１２５からテンプレート（後述する図５参照）を読み込み、画像の明るさが同様になるように基本画像処理部１０９ａ内のガンマ補正を使用して輝度変更を行う。また、全体のホワイトバランス（ＷＢ）を統一させるために基本画像処理部１０９ａ内の色再現処理を使用してＷＢを変更する。また、合成後に特殊画像処理部１０９ｂを使用してピンホール効果等の特殊効果を適用し、組み画像や置換画像の修正等を行う。
【００３１】
組み写真処理部１０９ｃは、背景画像に対して、複数の画像を、組み写真の組み位置に応じて合成して組み写真を生成する組み写真処理部として機能する。また、画像ファイルに記録されている背景部分画像を、画像伸張部（画像圧縮伸張部１１５が担う）で伸張された画像に合成する背景部分合成部として機能し、背景部分合成部で合成された画像に対し、置換画像を合成する。
【００３２】
被写体検出部１０９ｄは、画像をパターンマッチング等によって解析し、人の顔やペット等の被写体を検出する。被写体を検出できた場合には、画像内における被写体の種類、大きさ、位置、信頼性等の情報を取得する。
【００３３】
ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。
【００３４】
ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。この実施形態では、コントラスト法によるＡＦ制御を例にとって説明したが、光路上に位相差センサを設けたり、また撮像素子上に位相差センサを設け、位相差ＡＦによるＡＦ制御によりピント合わせを行ってもよい。
【００３５】
画像圧縮伸張部１１５は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。マイクロコンピュータ１２１は、ＪＰＥＧ画像データやＭＰＥＧ画像データに対して、ＪＰＥＧファイルやＭＰＯ（Multi Picture Object）ファイル、ＭＰＥＧファイルを構成するために必要なヘッダを付加してＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを作成し、この作成したファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。
【００３６】
画像圧縮伸張部１１５は、組み写真を所定画素数のブロック数で分割して画像圧縮する画像圧縮部として機能する。また、画像圧縮伸張部１１５は、画像ファイルに記録されている画像圧縮された画像を伸張する画像伸張部として機能する。なお、本実施形態においては、組み写真の画像（主画像）と、組み写真を構成する個々の画像（副画像）からなる画像ファイルを記録する。このファイル構造については、図２４において後述する。
【００３７】
また、画像圧縮伸張部１１５は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像圧縮伸張部１１５において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。
【００３８】
通信部１１７は、ＵＳＢ、ＬＡＮ等による有線通信、無線通信（ワイヤレス通信）等によって外部と通信を行う。通信部１１７を介して、フラッシュメモリ１２５内に記憶された組む写真の分割用のテンプレートを更新したり、追加する。
【００３９】
マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータは、背景画像をブロックで分割し、少なくとも組み写真の組み位置を含む複数のブロックを背景部分画像として選択する背景部分画像選択部として機能する。この背景部分の選択については、図２０のＳ３０５および図２１を用いて後述する。また背景部分画像選択部は、背景画像と複数の画像の境界部の輝度成分の差に応じ、上記背景部分画像として選択する上記ブロック数を変更する（この変更については、図２１のＳ３１３，Ｓ３１５、および図２３参照）。マイクロコンピュータ１２１には、前述のＩ／Ｆ３００以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。
【００４０】
操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦、削除釦、拡大釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。
【００４１】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００４２】
動画釦は、動画撮影の開始と終了を指示するための操作釦であり、最初に動画釦を操作すると動画撮影を開始し、再度、操作すると動画撮影を終了する。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、表示パネル１３５に撮影画像を再生表示する。削除釦は、例えば、再生画像が一覧表示されている場合や組み写真が表示されている場合等に、画像を指定して削除するための操作釦である。拡大釦は、再生表示の際に、表示画像を拡大するための操作釦である。
【００４３】
メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、通常撮影モードや組み写真等の撮影モードの設定、ナチュラル、ビビッド、フラット、ポートレート、アートフィルタ等の仕上がりの設定がある。アートフィルタとしては、ポップアート、トイフォト、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタル等がある。また、組み写真のスタイル、組み写真の置換画像の選択、組み写真編集時に編集前の画像を記録するか否か等、種々の設定も可能である。なお、組み写真の場合、スタイルと組み画像選択状況に応じてライブビュー（ＬＶ）の表示を変更する（図７のＳ４７参照）。
【００４４】
また、操作部１２３にはタッチ入力部１２３ａが設けてある。表示パネル１３５は、タッチ操作可能であり、タッチ入力部１２３ａは、ユーザがタッチした位置等を検出し、マイクロコンピュータ１２１に出力する。
【００４５】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。
【００４６】
ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９や画像圧縮伸張部１１５等において処理された画像データを一時記憶する。
【００４７】
メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。上述のＳＤＡＲＡＭ１２７または記録媒体１３１は、画像圧縮部で圧縮された画像と、背景部分画像選択部（マイクロコンピュータ１２１が担う（図２０のＳ３０および図２１参照））で選択した背景部分画像を１つの画像ファイルとして記録する記録部として機能する。
【００４８】
表示ドライバ１３３は、表示パネル１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮伸張部１１５によって伸張された画像データに基づいて画像を表示パネル１３５において表示させる。表示パネル１３５は、カメラ本体１００の背面等に配置され、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、表示部としては、液晶表示パネル（ＬＣＤ）、有機ＥＬ等、種々の表示パネルを採用できる。
【００４９】
次に、本実施形態に係るカメラの組み写真の編集動作を図２ないし図５を用いて説明する。図２は、組み写真モードが選択され、表示パネル１３５の画面が４分割された場合のライブビュー表示を示している。なお、分割画面内の斜線（肘付近の２重線や、足の後ろの２重線）は被写体が動いていることを示す。また、図２の左側は被写体の様子を示し、右側は表示パネル１３５の表示状態を示す。
【００５０】
まず、図２（ａ）に示すように、４分割画面の内、左上画面にライブビュー表示がなされる。ユーザは、組み写真の画像として取り込みたい場合には、表示パネル１３５の左上をタッチすると、図２（ｂ）に示すように、撮影が確定し、次の画面（右上画面）にライブビュー表示がなされる。続いて、図２（ｃ）は右上画面の撮影を確定した様子であり、図２（ｄ）は左下画面の撮影を確定した様子を示す。右下画面の撮影を確定すると（図２（ｅ）参照）、撮影が完了し、組み写真ができる。
【００５１】
図２に示した例では、表示パネル１３５をタッチすることにより撮影が確定し、左上→右上→左下→右下の順にライブビュー表示がなされた。しかし、この順番通りにライブビュー表示を行わなくてもよい。例えば、図３に示すように、左上画面にライブビュー表示がなれている際に（図３（ａ）参照）、ライブビュー表示がなされていない左下画面をタッチすると、この画面にライブビュー表示を行うようにしてもよい（図３（ｂ）参照）。なお、この撮影コマの具体的な変更操作については、図１４のステップＳ１６１、Ｓ１６３を用いて後述する。
【００５２】
また、図２においては、ライブビュー表示中に表示パネル１３５をタッチすると、撮影が確定したが、確定した画面であっても、再度タッチすると、ライブビュー画面に戻るようにしてもよい。図３（ｃ）は、３画面（左上、右上、左下画面）において、撮影が確定している様子を示しているが、この撮影が確定している左下画面をタッチすると、図３（ｄ）に示すように、左下画面はライブビュー表示画面となる。
【００５３】
また、本実施形態においては、全撮影が確定し、組み写真が完成した後であっても、その内の一部の画像を他の画像に置換が可能である。例えば、図４においては、４枚の画像が確定しているが、ユーザが右下画面の画像を他の画像で置換するために、指定した様子を示す。本実施形態においては、タッチすることにより、その画像の枠が表示され、組み換え対象画像であることを示している。
【００５４】
図２ないし図４に示した組み写真の例では、左上、右上、左下、右下の４分割であったが、画面の分割はこれに限らない。例えば、図５に示すように、種々の形状に分割してもよい。この分割の形状（テンプレート、スタイル）は、フラッシュメモリ１２５に記憶しておき、ユーザの好みに応じて設定できるようにしてもよい。
【００５５】
次に、図６および図７に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図６〜図１１、図１３〜図１５、図１７〜図２１に示すフローチャートはフラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が各部を制御し実行する。
【００５６】
操作部１２３の内の電源釦が操作され、電源オンとなると、図６に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。各種フラグの１つとして、動画記録中か否かを示す記録中フラグをオフにリセットする（ステップＳ１３、Ｓ１５参照）。
【００５７】
初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生・編集を実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字キーを操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。また、このステップにおいて、組み写真の編集も行う。この再生・編集の詳しい動作については、図１７を用いて後述する。
【００５８】
ステップＳ５における再生・編集を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、カメラ設定を行うか否かを判定する（Ｓ７）。操作部１２３の内のメニュー釦が操作された際に、メニュー画面においてカメラ設定を行う。そこで、このステップでは、このカメラ設定が行われたか否かに基づいて判定する。
【００５９】
ステップＳ７における判定の結果、カメラ設定の場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、前述したように、例えば、通常撮影モードや組み写真等の撮影モードの設定、ナチュラル、ビビッド、フラット、ポートレート、アートフィルタ等の仕上がりの設定がある。アートフィルタとしては、ポップアート、トイフォト、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタル等がある。また、組み写真のスタイル、組み写真の置換画像の選択、組み写真編集時に編集前の画像を記録するか否か、既に記録されている画像を組み写真の所定のコマに嵌め込むための画像を選択する等、種々の設定も可能である。
【００６０】
ステップＳ９においてカメラ設定を行うと、またはステップＳ７における判定の結果、カメラ設定でなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、マイクロコンピュータ１２１は操作部１２３から動画釦の操作状態を入力し、判定する。
【００６１】
ステップＳ１１における判定の結果、動画釦が押された場合には、記録中フラグを判定する（Ｓ１３）。記録中フラグは、動画撮影中にはオン（１）が設定され、動画を撮影していない場合にはオフ（０）にリセットされている。このステップにおいては、フラグを反転、すなわちオン（１）が設定されていた場合には、オフ（０）に反転させ、オフ（０）が設定されていた場合には、オン（１）に反転させる。
【００６２】
ステップＳ１３において記録中フラグの反転を行うと、次に、動画記録中か否を判定する（Ｓ１５）。ここでは、ステップＳ１３において反転された記録中フラグがオンに設定されているか、オフに設定されているかに基づいて判定する。
【００６３】
ステップＳ１５における判定の結果、動画記録中の場合には、動画ファイルを生成する（Ｓ１９）。後述するステップＳ６１において動画の記録を行うが、このステップでは、動画記録用の動画ファイルを生成し、動画の画像データを記録できるように準備する。
【００６４】
一方、判定の結果、動画記録中でない場合には、動画ファイルを閉じる（Ｓ１７）。動画釦が操作され、動画撮影が終了したことから、このステップで動画ファイルを閉じる。動画ファイルを閉じるにあたって、動画ファイルのヘッダにフレーム数を記録する等により、動画ファイルとして再生可能な状態にし、ファイル書き込みを終了する。
【００６５】
ステップＳ１７において動画ファイルを閉じると、またはステップＳ１９において動画ファイルを生成すると、またはステップＳ１１における判定の結果、動画釦が押されていない場合には、次に、組み写真モードで操作部が操作されたか否かを判定する（Ｓ２１）。前述したように、ステップＳ９におけるカメラ設定において、組み写真モードの設定が可能である。このステップでは、この組み写真モードが設定されている状態で、操作部１２３の操作部が操作されたか否かを判定する。
【００６６】
ステップＳ２１における判定の結果、組み写真モードで操作部が操作された場合には、組み写真操作を実行する（Ｓ２３）。この組み写真操作では、組み写真の編集を行うための各種操作、例えば、撮影コマ変更、キャンセル操作、復元操作、一時保存操作、一時保存読み込み操作等の操作がなされると実行される。この組み写真操作の詳しい動作については、図１４および図１５を用いて後述する。
【００６７】
ステップＳ２３において再生・編集を実行すると、またはステップＳ２１における判定の結果、組み写真モードで操作部が操作されていない場合には、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３１）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。
【００６８】
ステップＳ３１における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ３３）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。
【００６９】
また、ステップＳ３３においては、ＡＦ動作を行う。ここでは、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行う。その後、ステップＳ３５へ進む。
【００７０】
ステップＳ３１における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ３７）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。
【００７１】
ステップＳ３７における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、メカシャッタによる静止画撮影を行う（Ｓ３９）。ここでは、ステップＳ３３において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０に出力される。
【００７２】
メカシャッタによる撮影を行うと、次に、画像処理を行う（Ｓ４１）。ここでは、メカシャッタによる撮影によって撮像素子１０３で取得されたＲＡＷデータを読出し、画像処理部１０９によって画像処理を行う。この画像処理の詳しい動作については、図８を用いて後述する。
【００７３】
画像処理を行うと、次に静止画記録を行う（Ｓ４３）。ここでは、画像処理が施された静止画の画像データを記録媒体１３１に記録する。なお、組み写真で撮影された場合に、組み写真の内の一部の画像をキャンセル（削除）したい場合には、キャンセル操作によって削除可能である。この静止画記録の詳しい動作については、図１３を用いて後述する。
【００７４】
静止画記録を行うと、次に、組み写真モードか否かの判定を行う（Ｓ４５）。前述したように、組み写真モードはメニュー画面等において設定されており、このステップではこの組み写真モードが設定されているか否かを判定する。
【００７５】
ステップＳ４５における判定の結果、組み写真モードが設定されていた場合には、ライブビュー（ＬＶ）表示の変更を行う（Ｓ４７）。組み写真モードが設定されている場合には、スタイル（テンプレート、図５参照）と画像の枚数に応じて、ライブビュー表示を変更する。常に全コマにライブビュー表示を行う場合には、撮影画像以外の部分にライブビュー表示を行うようにする。また１コマずつライブビュー表示する場合には（図２の表示方式）、撮影したら次のコマ（例えば、図２のように、左上→右上→左下→右下のような順）にライブビュー表示を切り換える。いずれの場合にも、撮影したコマは撮影画像を表示する。また、ＯＳＤ（オンスクリーンディスプレイ）を使用し、撮影済みの画像なのかライブビュー表示なのかを分かるように表示してもよく、撮影済みの画像は、撮影順が分かるように表示してもよい。その後、ステップＳ３５へ進む。
【００７６】
ステップＳ３７における判定の結果、レリーズ操作２ｎｄでなかった場合には、次に、ＡＥを行う（Ｓ５１）。前述のステップＳ２１からＳ２７を経た場合は、レリーズ釦に対して何ら操作を行っていない場合であり、この場合には後述するステップＳ５７においてライブビュー表示を行う。ステップＳ５１においては、ライブビュー表示を行うための露出制御を行う。すなわち、適正露出でライブビュー表示を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度を算出する。
【００７７】
ＡＥを行うと、次に、電子シャッタによる撮影を行う（Ｓ５３）。ここでは、撮像素子１０３の電子シャッタを用いて画像データを取得する。続いて、取得した画像データに対して画像処理を行う（Ｓ５５）。ここでの画像処理は、ライブビュー表示用であり、また特殊効果が設定されている場合には、設定されている特殊効果に応じた画像処理も行う。この画像処理の詳しい動作については、図８を用いて後述する。
【００７８】
画像処理を行うと、表示パネル１３５にライブビュー表示を行う（Ｓ５７）。ステップＳ５３において画像データを取得し、ステップＳ５５において画像処理を行ったことから、このステップでは、ライブビュー表示の更新を行う。撮影者はこのライブビュー表示を観察することにより、構図やシャッタタイミングを決定することができる。
【００７９】
ステップＳ５７においてライブビュー表示を行うと、動画記録中か否かの判定を行う（Ｓ５９）。ここでは、記録中フラグがオンか否かを判定する。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ６１）。ここでは、撮像素子１０３から読み出される撮像データを動画用の画像データに画像処理を行い、動画ファイルに記録する。その後、ステップＳ３５へ進む。
【００８０】
ステップＳ３５では、電源オフか否かの判定を行う。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。
【００８１】
このように本発明の一実施形態におけるメインフローにおいては、組み写真モードが設定されている場合には、再生・編集が可能であり（Ｓ２３）、またレリーズ釦の全押し（レリーズ操作２ｎｄ）がなされると撮影が行われ、またライブビュー表示の変更がなされる。
【００８２】
次に、ステップＳ４１、Ｓ５５における画像処理について、図８に示すフローチャートを用いて説明する。画像処理のフローに入ると、まず、基本画像処理を行う（Ｓ７１）。ここでは、基本画像処理部１０９ａが、撮像素子１０３から読み出され、Ａ／Ｄ変換部１０７でＡＤ変換された画像データに対して、オプティカルブラック（ＯＢ）減算、ホワイトバランス（ＷＢ）補正、同時化処理、色再現処理、輝度変更処理、エッジ強調処理、ノイズ除去（ＮＲ）処理等を施す。この基本画像処理の詳しい動作については、図９を用いて後述する。
【００８３】
基本画像処理を行うと、次に、アートフィルタが設定されているか否かを判定する（Ｓ７３）。前述したカメラ設定（Ｓ９）において、アートフィルタが設定されるので、このステップでは、アートフィルタが設定されたか否かを判定する。
【００８４】
ステップＳ７３における判定の結果、アートフィルタが設定されていた場合には、特殊画像処理を行う（Ｓ７５）。ここでは、設定されたアートフィルタの種類に応じて、特殊画像処理を施す。この特殊画像処理の詳しい動作については、図１０を用いて後述する。
【００８５】
特殊画像処理を行うと、またはステップＳ７３における判定の結果、アートフィルタが設定されていなかった場合には、次に、組み写真か否かの判定を行う（Ｓ７７）。この判定の結果、組み写真モードが設定されている場合には、組み写真生成を行う（Ｓ７９）。この組み写真生成では、リサイズや回転等の前処理を行い、色変更や輝度変更を行った後、スタイル（テンプレート）に応じて、画像の合成を行い、組み写真を生成する。この組み写真生成の詳しい動作については、図１１を用いて後述する。
【００８６】
組み写真生成を行うと、またはステップＳ７７における判定の結果、組み写真モードが設定されていない場合には、元のフローに戻る。
【００８７】
このように、本実施形態における画像処理では、基本画像処理を行い、また必要に応じて特殊画像処理を行った後に、組み写真モードが設定されている場合に、組み写真生成を行っている。
【００８８】
次に、ステップＳ７１（図８）の基本画像処理の詳しい動作について、図９に示すフローチャートを用いて説明する。基本画像処理のフローに入ると、まず、オプティカルブラック（ＯＢ）演算を行う（Ｓ８１）。このステップでは、基本画像処理部１０９ａ内のＯＢ演算部によって、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。
【００８９】
ＯＢ演算を行うと、次に、ホワイトバランス（ＷＢ）補正を行う（Ｓ８３）。このステップでは、予め設定されているホワイトバランスモードに応じて、基本画像処理部１０９ａ内のＷＢ補正部により画像データに対してＷＢ補正を行う。具体的には、ベイヤ配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１２５から読み出し、その値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ＲＡＷデータ等からＲゲインおよびＢゲインを算出し、これらを用いて補正する。
【００９０】
続いて、同時化処理を行う（Ｓ８５）。このステップでは、ホワイトバランス補正を行った画像データに対して、基本画像処理部１０９ａ内の同時化処理部によって、各画素がＲＧＢデータで構成されるデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。しかし、例えば、ＲＡＷデータが既にＲＧＢデータと同様の形式（Ｆｏｖｅｏｎセンサで得られたＲＡＷデータなど）の場合には、同時化処理を行う必要がない。
【００９１】
同時化処理を行うと、次に、色再現処理を行う（Ｓ８７）。このステップでは、基本画像処理部１０９ａ内の色再現処理部によって、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を補正する。カラーマトリックス係数はフラッシュメモリ１２５に記憶されているので、読み出して使用する。
【００９２】
色再現処理を行うと、次に、輝度変更処理を行う（Ｓ８９）。このステップでは、基本画像処理部１０９ａ内のガンマ処理部によって、フラッシュメモリ１２５に記憶されているガンマテーブルを読み出し、画像データに対してガンマ補正処理を行う。すなわち、ＲＧＢでガンマ変換し、ＹＣｂＣｒに色変換後、Ｙでさらにガンマ変換を行う。
【００９３】
ガンマ変換を行うと、次に、エッジ強調を行う（Ｓ９１）。このステップでは、ガンマ変換の行われた画像データに対して、基本画像処理部１０９ａ内のエッジ強調処理部が、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。
【００９４】
次にＮＲ（ノイズ除去）を行う（Ｓ９３）。このステップでは、画像を周波数分解し、周波数に応じてノイズを低減する処理を行う。ノイズ除去処理を行うと、元のフローに戻る。
【００９５】
次に、ステップＳ７５（図８）の特殊画像処理の詳しい動作について、図１０に示すフローチャートを用いて説明する。
【００９６】
特殊画像処理のフローに入ると、まず、アートフィルタモードとして、トイフォトが設定されているか否かを判定する（Ｓ１０１）。この判定の結果、トイフォトが設定されていた場合には、シェーディング効果を付加する（Ｓ１０３）。ここでは、特殊画像処理部１０９ｂが、中心からの距離に応じて、徐々に輝度が低下するようなゲインマップ（ゲインの値は１以下）を生成し、画素ごとに画素に応じたゲインを乗ずることにより、画像の周辺にシェーディング効果を付与する。
【００９７】
シェーディング付加を行うと、またはステップＳ１０１における判定の結果、トイフォトでなかった場合には、次に、アートフィルタモードとして、ファンタジックフォーカスが設定されているか否かを判定する（Ｓ１０５）。この判定の結果、ファンタジックフォーカスが設定されていた場合には、ソフトフォーカス処理を行う（Ｓ１０７）。ここでは、特殊画像処理部１０９ｂが、元の画像をぼかし、このぼかした画像と、ぼかす前の画像を、所定の割合（例えば、ぼかし：前＝２：３の割合）で合成する。
【００９８】
ソフトフォーカス処理を行うと、またはステップＳ１０５における判定の結果、ファンタジックフォーカスでなかった場合には、次に、アートフィルタモードとして、ラフモノクロームが設定されているか否かを判定する（Ｓ１０９）。この判定の結果、ラフモノクロームが設定されていた場合には、ノイズ重畳処理を行う（Ｓ１１１）。ここでは、特殊画像処理部１０９ｂが画像データに対してノイズ付加処理を施す。ノイズ付加処理は、予め作成したノイズパターン画像を被写体画像に加算する処理である。ノイズパターン画像は乱数等に基づいて生成してもよい。
【００９９】
ノイズ重畳処理を行うと、またはステップＳ１０９における判定の結果、ラフモノクロームでなかった場合には、次に、アートフィルタモードとしてジオラマが設定されているか否かを判定する（Ｓ１１３）。この判定の結果、ジオラマが設定されていた場合には、ぼかし処理を行う（Ｓ１１５）。ここでは、特殊画像処理部１０９ｂが、元の画像のＡＦターゲットを中心に上下、または左右、または距離に応じて徐々にぼかす処理を行う。
【０１００】
ぼかし処理を行うと、またはステップＳ１１３における判定の結果、ジオラマでなかった場合には、次に、アートフィルタモードとしてクリスタルが設定されているか否かを判定する（Ｓ１１７）。この判定の結果、クリスタルが設定されていた場合には、クロスフィルタ処理を行う（Ｓ１１９）。ここでは、特殊画像処理部１０９ｂが、画像の中から輝点を検出し、この輝点を中心として、十字状や、複数本の放射状の形状に輝きを演出する効果のあるクロスパターンを描画する。
【０１０１】
クロスフィルタ処理を行うと、またはステップＳ１１７における判定の結果、クリスタルが設定されていなかった場合には、特殊画像処理のフローを終了し、元のフローに戻る。
【０１０２】
次に、ステップＳ７９（図８）の組み写真生成の詳しい動作について、図１１に示すフローチャートを用いて説明する。前述したように、図８に示した画像処理のフローでは、まず基本画像処理を行い、次に特殊画像処理を行い、次いで、この組み写真生成を行う。この組み写真生成では、図５に示したようなスタイル（テンプレート）に、画像を合成する。この合成にあたって、概略、ステップＳ１２１〜Ｓ１２７において前処理が未実施のコマがあれば、前処理を実施する。前処理を施すと、色変更や輝度変更等を行い、スタイルに画像を嵌め込む画像処理を実行してから画像記録を行う。
【０１０３】
組み写真生成のフローに入ると、まず、前処理未実施コマがあるか否かの判定を行う（Ｓ１２１）。ここでは、合成する全てのコマの画像に対して、ステップＳ１２８以降の処理で毎回実行する必要のない、リサイズ・回転・トリミング、画像解析などの前処理が終了しているか否かを判定する。
【０１０４】
ステップＳ１２１における判定の結果、前処理が未実施のコマがあれば、次に、リサイズ・回転・トリミングを行う（Ｓ１２３）。ここでは、図５に示すようなスタイルに嵌め込むために、組み写真処理部１０９ｃが、コマに合わせてリサイズや回転やトリミング等の処理を行う。
【０１０５】
リサイズ等を行うと、次に、画像解析を行う（Ｓ１２５）。合成する元の画像（置換画像）を解析し、画像特徴（例えば、輝度分布と色分布等）を取得する。基本画像処理等の画像処理が完了した画像を用いて解析してもよく、また、その元となるＲＡＷデータを解析してもよい。
【０１０６】
画像解析を行うと、次に、コマ画像記憶を行う（Ｓ１２７）。ここでは、ステップＳ１２３、Ｓ１２５における前処理を行った画像をＳＤＲＡＭ１２７に記憶する。図１６（ａ）は、ＳＤＲＡＭ１２７の表示・記録用組み画像記憶領域を示しており、領域Ｒ１は組み写真に組み込むコマ数分の領域であり、領域Ｒ２は組み写真に組み込むコマ数分の退避領域である。このステップＳ１２７では、前処理を行った画像の画像データと画像解析結果を、コマ画像領域Ｒ１内の対応する領域（コマ画像領域１〜コマ画像領域ｎのいずれか）に記憶する。
【０１０７】
コマ画像の記憶を行うと、またはステップＳ１２１における判定の結果、前処理未実施コマがない場合には、次に、色変更を行う（Ｓ１２９）。ここでは、組み写真処理部１０９ｃが、合成する画像が略同様な色になるように、ＣｂＣｒを補正する。このとき、各コマ画像領域のデータを用いて処理を行うが、ＳＤＲＡＭ１２７のコマ画像領域Ｒ１内のデータは変更しないようにする。これは、後ほどＭＰＯ形式でデータを保存するためである。
【０１０８】
色変更の補正方法としては、例えば、合成する全ての画像の色分布（ＣｂＣｒ平面での分布）のピークが、各ピークの平均値になるように画像のＣｂＣｒをオフセットさせる。この補正方法を図１２（ｂ）（ｃ）を用いて説明する。図１２（ｂ）の（ｂ−１）は画像１および画像２の色差（Ｃｂ）を示し、図１２（ｃ）の（ｃ−１）は、色差（Ｃｒ）を示す。画像１，２のそれぞれについて、色分布のピークが平均値となるように色差をオフセットさせると（図１２の（ｂ−２）、（ｃ−２）参照）、両画像の色差は略同様になる（図１２の（ｂ−３）（ｃ−３）参照）。
【０１０９】
ステップＳ１２９において色変更を行うと、次に、輝度変更を行う（Ｓ１３１）。ここでは、組み写真処理部１０９ｃが合成する画像の輝度が同様になるように補正する。補正方法としては、例えば、合成する全ての画像の輝度分布の平均値に、各画像の平均値が略一致するように補正する。このとき、輝度ガンマ（輝度成分のみのガンマ）で変換すると、大きく輝度を変更した場合に、色が不自然に見える。そこで、例えば、ＲＧＢ変換してＲＧＢ色空間でガンマ補正するようにしてもよい。
【０１１０】
輝度変更の例を、図１２（ａ）を用いて説明する。図１２（ａ）の（ａ−１）は、画像１と画像２の輝度を示す。両者をＲＧＢ色空間でテーブル変換する（（ａ−２）参照）。画像２は（ａ−１）から分かるように、全体に低輝度成分が多いことから、テーブル変換によって低輝度側を持ち上げている。変換後は、（ａ−３）に示すように、画像１と画像２は、略同様な輝度分布となる。
【０１１１】
ステップＳ１３１において輝度変更を行うと、次に、合成を行う（Ｓ１３３）。ここでは、組み写真処理部１０９ｃが、背景画像上の各画像を合成する。すなわち、図５に示したようなスタイルの各位置に画像を嵌め込み合成することにより、組み写真を生成する。
【０１１２】
合成を行うと、次に、特殊効果を付加する（Ｓ１３５）。ここでは、合成した画像に対して、シェーディングやぼかし等の特殊効果を付加する。なお、各画像に対しては、図８のステップ７５において特殊効果を付加しており、このステップでは、合成画像に対する特殊効果を付加している。
【０１１３】
特殊効果を付加すると、次に、画像記憶を行う（Ｓ１３７）。ここでは、表示・記録用組み画像記録領域に合成結果を記憶する。画像記憶を行うと元のフローに戻る。
【０１１４】
このように組み写真生成のフローにおいては、前処理を未実施の場合には、リサイズ等の処理や画像解析を施し（Ｓ１２３、Ｓ１２５）、この前処理した画像データをＳＤＲＡＭ１２７のコマ画像領域Ｒ１に記憶し（Ｓ１２７）、前処理済みの画像に対して色変更と輝度変更を行った後（Ｓ１２９、Ｓ１３１）、組み写真の画像を合成し（Ｓ１３３）、画像記録を行っている（Ｓ１３７）。前処理し色変更や輝度変更を行う前の画像データを、コマ画像領域Ｒ１に記憶していることから、組み写真作成後、置換画像と入れ替える際に前処理時の画像データを読出すことができ、適切な色変更や輝度変更を行うことができる。
【０１１５】
なお、図１１に示した組み写真生成では、基本的な流れのみであり、組み写真の編集時における背景画像の色にじみ対策を施していない。背景画像の色にじみを防止するようにした組み写真生成のフローについては、図２０を用いて後述する。
【０１１６】
次に、ステップＳ４３（図７）の静止画記録の詳しい動作について、図１３に示すフローチャートを用いて説明する。この静止画記録は、前述のメカシャッタによる撮影（Ｓ３９）、画像処理（Ｓ４３）に引き続いて実行され、画像処理された画像データを記録媒体１３１に記録するための処理を行う。
【０１１７】
静止画記録のフローに入ると、まず、組み写真モードか否かの判定を行う（Ｓ１４１）。この判定の結果、組み写真モードでない場合には、通常モードであり、レックビュー表示を行う（Ｓ１５７）。ここでは、記録媒体１３１に記録する画像を、表示パネル１３５に一時的に所定時間の間、表示する。これにより、ユーザは撮影画像を確認することができる。
【０１１８】
レックビュー表示を行うと、次に静止画記録を行う（Ｓ１５９）。組み写真以外では、画像処理した画像をＪＰＥＧ圧縮して記録媒体１３１に記録する。しかし、これに限らず、非圧縮形式（例えば、ＴＩＦＦ等）で記録するようにしてもよく、別の圧縮形式でもよい。また、ＲＡＷ画像を記録するようにしても良い。
【０１１９】
ステップＳ１４１における判定の結果、組み写真モードであった場合には、撮影画像記録か否かを判定する（Ｓ１４３）。組み写真モードでは、図５に示すようなスタイルに各画像を嵌め込むが、組み写真モードが設定されている場合であっても、スタイル中に嵌め込まない画像を記録するようにしてもよい。このステップでは、図６のステップＳ９のカメラ設定において、ユーザが組み写真の各コマを記録するかどうかの設定をオンにしているか否かを判定する。
【０１２０】
ステップＳ１４３における判定の結果、撮影画像記録の場合には、静止画記録を行う（Ｓ１４５）。ここでは、ステップＳ１５９と同様に、組み写真ではない、単独の撮影画像として撮影し、ＪＰＥＧ等によって圧縮等を行って記録媒体１３１に記録する。
【０１２１】
ステップＳ１４５において静止画記録を行うと、またはステップＳ１４３における判定の結果、撮影画像記録でない場合には、次に、組み完了か否かの判定を行う（Ｓ１４７）。ここでは、予め設定されているスタイルを満たす数の画像が撮影され、合成されているか否かを判定する。例えば、図２、図３を用いて説明した組み写真では、４枚の写真が撮影され、合成されているかを判定する。また、例えば、４枚合成の場合であって、２枚を撮影し、２枚を記録画像から選択した場合も組み完了と判定される。
【０１２２】
ステップＳ１４７における判定の結果、組み完了であった場合には、レックビュー表示を行う（Ｓ１４９）。ここでは、組み写真として全画像が揃ったことから、この組み写真を表示パネル１３５にレックビュー表示を行う。なお、レックビュー表示中には、後述する再生のフローと同様に、拡大表示ができるようにしてもよい。
【０１２３】
レックビュー表示を行うと、次に、キャンセル操作がなされたか否かを判定する（Ｓ１５１）。ユーザがレックビュー表示を観察した際に、一部の写真を削除し、取り換えたいと思う場合がある。そこで、本実施形態においては、レックビュー表示を行い、所定時間（例えば、３秒）内にキャンセル操作を行った場合には、指定したコマをキャンセルして、再撮影を行うことができるようにしている。なお、キャンセル操作としては、タッチパネルで指定してもよく、また削除釦でキャンセルするようにしてもよい。
【０１２４】
ステップＳ１５１における判定の結果、キャンセル操作を行った場合には、組み写真操作を行う（Ｓ１５５）。組み写真操作のサブルーチン中において、キャンセル操作が実行される（後述する図１４のＳ１６５〜Ｓ１７３参照）。
【０１２５】
一方、ステップＳ１５１における判定の結果、キャンセル操作が行われない場合には、組み写真記録が行われる（Ｓ１５３）。ここでは、完成した組み写真の合成画像データを記録媒体１３１に記録する。
【０１２６】
ステップＳ１５３において組み写真記録を行うと、またはステップＳ１５５において組み写真操作を行うと、またはステップＳ１４７における判定の結果、組み完了していない場合には、またはステップＳ１５９において静止画記録を行うと、元のフローに戻る。
【０１２７】
このように、静止画記録フローにおいては、スタイルによって決まる画像の枚数が揃うまでは組み写真の記録を行わず（Ｓ１４７→Ｎｏ）、枚数が揃うと組み写真の記録を行っている（Ｓ１５３）。また、組み写真が完成した後でも、キャンセル操作を行うことにより（Ｓ１５１）、組み写真の指定した画像の削除を行うことができる。
【０１２８】
次に、ステップＳ２３（図６）およびステップＳ１５５（図１３）の組み写真操作の詳しい動作について、図１４および図１５に示すフローチャートを用いて説明する。この組み写真操作は、前述したように、組み写真の編集を行うための各種操作がなされた際に実行される。
【０１２９】
組み写真操作のフローに入ると、まず、撮影コマ変更操作がなされたか否かの判定を行い（Ｓ１６１）、この判定の結果、撮影コマ変更操作が行われた場合には、撮影コマの変更を行う（Ｓ１６３）。図３（ａ）（ｂ）を用いて説明したように、組み写真のスタイルの中でいずれかの枠に撮影画像を嵌め込むかは適宜変更可能である。十字キーとＯＫ釦の操作や、タッチパネル操作等により、撮影するコマを変更する操作がなされた場合に、撮影するコマを変更する。その際、どのコマを撮影するかを分かるようにするために、コマに枠を表示したり、アイコンを表示したり、撮影コマ以外のコマを暗く表示したり、撮影コマ以外のコマの彩度を低下するようにしてもよい。ライブビュー表示中のコマがタッチされた場合には、レリーズ操作（１ｓｔと２ｎｄ、または１ｓｔのみ）を実行する。複数のコマでライブビュー表示を行っている場合には、レリーズ釦を使用して撮影するコマを選ぶ。
【０１３０】
ステップＳ１６３において撮影コマの変更を行うと、またはステップＳ１６１における判定の結果、撮影コマの変更操作がなかった場合には、次に、キャンセル操作がなされた否かを判定する（Ｓ１６５）。静止画記録のフローにおいて説明したように、完成した組み写真において、一部の画像を削除し、画像を置換したい場合がある。そこで、本実施形態においては、十字キーで撮影したコマを選択し、削除釦を押した場合や、タッチパネルで撮影したコマをゴミ箱アイコンドロップした場合等、撮影したコマをキャンセルする。このステップＳ１６５においては、これらの操作がなされたか否かを判定する。
【０１３１】
ステップＳ１６５における判定の結果、キャンセル操作がなされた場合には、次に、タッチ操作でコマサイズが小か否かの判定を行う（Ｓ１６７）。キャンセル操作が、タッチ操作で行われた場合、キャンセルしようとしているコマのサイズ（縦横サイズまたは面積）が小さいか（例えば、面積が１平方センチメートル以下）否かを判定する。コマサイズが小さいと誤操作となってしまうからである。
【０１３２】
ステップＳ１６７における判定の結果、タッチ操作でコマサイズが所定値より大きい場合には、次に、画像退避し（Ｓ１６９）、ライブビュー表示の変更を行う（Ｓ１７１）。キャンセル操作によって画像を削除した場合でも、復元したい場合がある。そこで、復元を可能とするために（すなわち、キャンセル操作の取り消し）、削除の指定がなされた撮影画像（組み写真のコマの画像）を一旦メモリ内の別領域に退避し、そのコマを未撮影状態とみなしてライブビュー表示を変更している。この画像退避については、図１６（ｂ）（ｃ）を用いて後述する。
【０１３３】
ライブビュー表示を行うと、組み写真生成を行う（Ｓ１７３）。この組み写真生成のサブルーチンは、図１１を用いて説明した。キャンセル操作によって指定された画像が削除されたので、このステップでは、残りの画像を用いて組み写真を生成し直す。
【０１３４】
ステップＳ１７３において組み写真生成を行うと、またはステップＳ１６７における判定の結果、タッチ操作でコマサイズが小さかった場合には、またはステップＳ１６５における判定の結果、キャンセル操作がなされていなかった場合には、次に、復元操作か否かの判定を行う（Ｓ１７５）。復元操作は、十字キーで復元したいコマを選択して削除釦を操作したり、またタッチ操作によりゴミ箱アイコンを復元したいコマへドロップ操作した場合等、操作部１２３やタッチパネル１２３ａの操作によって行う。
【０１３５】
ステップＳ１７５における判定の結果、復元操作がなされた場合には、次に、画像を復元し（Ｓ１７７）、ライブビュー表示の変更を行う（Ｓ１７９）。ここでは、退避させた画像を元の位置に戻し、そのコマを撮影したとみなして、ライブビュー表示を変更する。
【０１３６】
ライブビュー表示の変更を行うと、組み写真生成を行う（Ｓ１８１）。この組み写真生成のサブルーチンは、図１１を用いて説明した。復元操作によって指定された画像が復元されたので、このステップでは、復元された画像も含めて組み写真を生成し直す。
【０１３７】
ステップＳ１８１において組み写真生成を行うと、またはステップＳ１７５における判定の結果、復元操作がなされなかった場合には、次に、一時保存操作か否かの判定を行う（図１５のＳ１８３）。短時間の間に複数の撮影を行い、組み写真の作成を行う場合には、連続的に撮影を行える。しかし、朝、昼、夜等と時間間隔をおいて撮影した画像を用いて組み写真を作成する場合には、作成途中の画像を一時保存できると便利である。そこで、本実施形態においては、組み写真を構成する画像の一時保存を可能としている。復元操作としては、メニュー画面またはタッチパネル操作等によって、一時保存メニューの選択操作やアイコンの選択操作等で行う。
【０１３８】
ステップＳ１８３における判定の結果、一時保存操作がなされた場合には、組みデータの記録を行う（Ｓ１８５）。ここでは、現在の組み写真の状態、すなわち、どのスタイルでどの写真を撮影しているか等を、フラッシュメモリ１２５または記録媒体１３１に記録する。記録する組みデータとしては、少なくともスタイル（テンプレートに関する情報）、撮影した写真データ、写真データとテンプレート上の関連情報がある。
【０１３９】
組みデータの記録を行うと、次に、組み写真のリセットを行う（Ｓ１８７）。記録後、撮影していた組み写真の情報をリセットし、１枚目撮影と同様の状態、すなわち、ライブビュー表示やＳＤＲＡＭ１２７のリセット等の状態にする。
【０１４０】
ステップＳ１８７において組み写真のリセットを行うと、またはステップＳ１８３における判定の結果、一時保存操作がなされなかった場合には、次に、一時保存読み込み操作がなされたか否かを判定する（Ｓ１８９）。この操作は、ステップＳ１８３、Ｓ１８５において組み写真の組みデータを一時保存した場合に、この一時保存された組みデータの読み出しを行う。操作としては、例えば、メニュー画面またはタッチパネル等で、一時保存読み込みメニューやアイコンの選択操作を行う。
【０１４１】
ステップＳ１８９における判定の結果、一時保存読み込み操作がなされた場合には、次に、撮影途中か否かの判定を行う（Ｓ１９１）。組み写真を撮影中に、一時保存読み込み操作がなされる場合がある。この場合には、現在、進行している組み写真撮影を一時中断しなければならないことから、ステップＳ１９１〜Ｓ１９５において対応する。このステップでは、組み写真撮影モードであって、かつテンプレートに対して１枚以上撮影されているか否かを判定する。
【０１４２】
ステップＳ１９１における判定の結果、組み写真の撮影中であった場合には、次に、一時保存するか否かを確認する（Ｓ１９３）。この場合には、撮影途中の現状の状態を一時保存するか否かの確認画面を表示パネル１３５表示し、ユーザに問い合わせる。この判定の結果、一時保存する場合には、組みデータの記録を行う（Ｓ１９５）。ここでは、現状の状態を一時保存するために、ステップＳ１８５と同様の組みデータを記録する。
【０１４３】
ステップＳ１９５において組みデータ記録を行うと、またはステップＳ１９３における判定の結果、一時保存しない場合、またはステップＳ１９１における判定の結果、撮影途中でなかった場合には、次に、組みデータを読み込み（Ｓ１９７）、ライブビュー表示し（Ｓ１９９）、組み写真生成を行う（Ｓ２０１）。ここでは、ステップＳ１８５において一時保存した組みデータを読出し、ステップＳ１７１やＳ１７９と同様にライブビュー表示の変更を行い、ステップＳ１７３やＳ１８１と同様に組み写真の生成を行う。
【０１４４】
ステップＳ２０１において組み写真の生成を行うと、またはステップＳ１８９における判定の結果、一時保存読み込み操作が行われなかった場合には、組み写真操作の動作を終了し、元のフローに戻る。
【０１４５】
このように、組み写真操作のフローにおいては、スタイルのコマの中で撮影するコマを変更することができ（Ｓ１６３）、またコマを削除し復元することもできる（Ｓ１６９、Ｓ１７７）。さらに、組み写真撮影中であっても、データを一時保存でき、この一時保存したデータを読出し、組み写真撮影を続行することもできる。
【０１４６】
次に、組み写真操作のフローで説明した画像退避（Ｓ１６９）と画像復元（Ｓ１７７）について、図１６（ｂ）を用いて説明する。
【０１４７】
図１６（ｂ）はＳＤＲＡＭ１２７の表示・記録用組み画像記憶領域を示す。図１６（ｂ）の左側のコラムは、４枚から構成される組み写真の内で３枚撮影した状態を示す。すなわち、コマ画像領域Ｒ１の内、コマ画像１〜コマ画像３のデータが記録されている。
【０１４８】
図１６（ｂ）において３枚撮影された状態で、コマ画像２がキャンセル操作されたとすると（図１４のＳ１６５Ｙｅｓ）、コマ画像領域Ｒ１のコマ画像２のデータは、退避画像領域Ｒ２のコマ画像２にコピーされ、コマ画像領域Ｒ１のコマ画像２の位置のデータは消去される（図１６（ｂ）の真ん中のコラム参照）。
【０１４９】
続いて、コマ画像２が復元操作されたとすると（図１４のＳ１７５Ｙｅｓ）、退避画像領域Ｒ２のコマ画像２のデータが、コマ画像領域Ｒ１のコマ画像２の位置にコピーされる。そして、退避画像領域Ｒ２のコマ画像２の位置のデータが消去される（図１６（ｂ）の右側のコラム参照）。
【０１５０】
このように、本実施形態においては、コマ画像のデータを記録しておくコマ画像領域Ｒ１と、データの退避用の退避画像領域Ｒ２を設けている。そして、キャンセル操作がなされると、退避画像領域Ｒ２に記憶し、復元操作がなされると、コマ画像領域Ｒ１にコピーしている。このため、一旦消去した画像でも簡単に復元することができる。
【０１５１】
なお、本実施形態においては、キャンセル操作や復元操作時に、データをコピーしていた。しかし、これに限らず、ポインタによって管理するようにしてもよい。図１６（ｃ）は、ポインタで管理する例を示す。
【０１５２】
図１６（ｃ）に示す例では、ＳＤＲＡＭ１２７の表示・記録用組み画像記録領域に、参照ポインタを記憶する参照ポインタ領域Ｒ３とコマ画像領域Ｒ１を設けている。まず、４枚のうちの３枚を撮影した時点では、参照ポインタ領域Ｒ３には、有効な画像としてコマ画像１〜コマ画像３に対応するアドレスが記録されている（図１６（ｃ）の左側のコラム参照）。
【０１５３】
コマ画像２がキャンセル操作されると、コマ画像領域Ｒ１にはコマ画像２は記録されたままであるが、参照ポインタ領域Ｒ３からはコマ画像２のアドレスが消去される（図１６（ｃ）の真ん中のコラム参照）。
【０１５４】
続いて、コマ画像２が復元操作されると、コマ画像領域Ｒ１にはコマ画像２は記録されたままであり、また参照ポインタ領域Ｒ３にはコマ画像２のアドレスが復元される（図１６（ｃ）の右側のコラム参照）。
【０１５５】
次に、ステップＳ５（図６）の再生・編集の詳しい動作について、図１７に示すフローチャートを用いて説明する。この再生・編集は、前述したように、記録媒体１３１から撮影済みの画像データを読出し、再生する場合に実行される。
【０１５６】
再生・編集のフローに入ると、まず、一覧表示を行い（Ｓ２１１）、画像選択を行う（Ｓ２１３）。ここでは、記録媒体１３１に記録されている画像ファイルのサムネールを一覧表示する。ユーザは一覧表示の中から画像を選択する。
【０１５７】
画像選択を行うと、次に、選択された画像が動画か否かの判定を行う（Ｓ２１５）。画像としては、静止画または動画が記録されていることから、画像の形式から判定する。
【０１５８】
ステップＳ２１５における判定の結果、選択された画像が動画の場合には、フレーム数を読み込む（Ｓ２１７）。動画ファイルには、フレーム数が記録されているので、この情報を読み込む。続いて、カウンタｉを１に初期化する（Ｓ２１９）。このカウンタｉは、フレーム数を計数する。
【０１５９】
次に、ｉフレーム目を再生・表示し（Ｓ２２１）、フレームｉに１を加算し（Ｓ２２３）、フレームｉがフレーム数より小さいか否かを判定する（Ｓ２２５）。ここでは、１フレーム目から順次、動画の画像データを読出し、表示パネル１３５に表示する。フレームｉが、ステップＳ２１７において読み出したフレーム数に達するまで、動画再生を行う。その後、ステップＳ２２７へ進む。
【０１６０】
ステップＳ２１５における判定の結果、ステップＳ２１３において選択された画像が静止画の場合には、画像読み込み（Ｓ２２９）、表示する（Ｓ２３１）。ここでは、記録媒体１３１に記録された静止画の画像データを読み出し、伸張処理を行って、表示パネル１３５に表示する。
【０１６１】
表示を行うと、次に、拡大操作がなされたか否かを判定し（Ｓ２３３）、この判定の結果、拡大操作がなされた場合には、拡大表示する（Ｓ２３５）。静止画表示中に、例えば、拡大釦等を操作することにより、拡大表示する。このとき、組み写真の場合には、各コマを拡大表示したり、特定の１コマを拡大表示したりする。
【０１６２】
ステップＳ２３５において拡大表示すると、またはステップＳ２３３における判定の結果、拡大操作がなされていなかった場合には、次に、拡大中かつ表示位置変更操作がなされたか否かを判定し（Ｓ２３７）、この判定の結果、変更操作がなされていた場合には、拡大位置変更を行う（Ｓ２３９）。拡大表示中で、かつ表示位置の変更操作、例えば、十字キー操作がなされた場合には、画像中において拡大表示する部分を変更する。組み写真の場合には、拡大中のコマ内のみ表示位置を変更できるように制限する。制限がない場合には、通常の画像と同様の表示とする。
【０１６３】
ステップＳ２３９において拡大位置変更を行うと、またはステップＳ２３７における判定の結果、拡大中かつ表示位置変更操作が行われていなかった場合には、次に、組み写真かつ表示コマ変更操作がなされたか否かを判定し（Ｓ２４１）、変更操作がなされていた場合には、表示コマの変更を行う（Ｓ２４３）。組み写真の場合、拡大表示中かつ表示コマ変更操作、例えば、ファンクション釦（Ｆｎ釦）操作等があった場合には、拡大表示を行うコマを切り換える。このとき、各コマで拡大位置を記憶しておき、現在表示されているコマを再度表示するように指示された場合には、同じ位置を拡大表示する。
【０１６４】
ステップＳ２４３において表示コマ変更を行うと、またはステップＳ２４１における判定の結果、組み写真かつ表示コマ変更操作がなかった場合には、次に、組み写真かつ編集操作か否かの判定を行い（Ｓ２４５）、この判定の結果、編集操作がなされていた場合には、組み写真編集を行う（Ｓ２４７）。組み写真の場合、メニュー画面から組み写真編集を選択したり、タッチ操作で編集アイコンを選択したりする等によって、現在再生している組み写真におけるコマを編集することができる。この組み写真編集の詳しい動作については、図１８を用いて後述する。
【０１６５】
ステップＳ２４７において組み写真編集を行うと、またはステップＳ２４５における判定の結果、組み写真かつ編集操作が行われていなかった場合には、次に、表示終了か否かを判定する（Ｓ２４９）。表示終了釦が操作された場合や表示終了アイコン等がタッチ操作されると、表示を終了する。このステップＳ２４９の判定の結果、表示終了でない場合には、ステップＳ２３３に戻り、表示を続行する。一方、表示終了であった場合には、ステップＳ２２７へ進む。
【０１６６】
ステップＳ２４９における判定の結果、表示終了であった場合、またはステップＳ２２５における判定の結果、動画のフレームｉがフレーム数を超えた場合には、次に、再生終了か否かを判定する（Ｓ２２７）。再生釦が再度、操作されると、再生を終了する。このステップにおける判定の結果、再生終了でなかった場合には、ステップＳ２１１に戻り、再生モードを続行する。一方、判定の結果、再生終了の場合には、この再生・編集のフローを終了し、元のフローに戻る。
【０１６７】
このように、再生・編集のフローにおいては、動画の再生や、静止画の拡大表示や、組み写真の編集操作等を実行する。なお、本実施形態においては、組み写真の編集のみを行っていたが、これ以外にも動画も編集するようにしてもよい。
【０１６８】
次に、ステップＳ２４７（図１７）の組み写真編集の詳しい動作について、図１８に示すフローチャートを用いて説明する。この組み写真編集は、前述したように、記録媒体１３１から完成した組み写真画像のデータを読出し、組み写真の中の画像を、他の記録画像または新たに撮影で取得する画像で置換する場合に実行される。
【０１６９】
組み写真編集のフローに入ると、まず、組み画像の読み込みを行う（Ｓ２５１）。組み画像を読み込み、主画像および副画像をＳＤＲＡＭ１２７の各記憶領域に記憶する。ここで、主画像は、合成された組み写真の画像データであり、副画像は前処理（図１１のＳ１２３、Ｓ１２５参照）がなされた画像データである。副画像は、図１６に示したコマ画像領域に各コマに対応するように記憶する。
【０１７０】
組み画像の読み込みを行うと、次に、編集コマの指定を行う（Ｓ２５３）。ここでは、ユーザが組み写真を構成する複数のコマの内、いずれを他の画像で置換するかを指定する。
【０１７１】
編集コマの指定がなされると、次に、記録画像と置換するか否かを判定する（Ｓ２５５）。前述したように、編集にあたっては、記録済みの画像か、新たに撮影する画像を選択できる。記録済みの画像を選択する場合には、記録済みの画像の一覧表を表示させ、この中から選択する。一方、新たに撮影する場合には、撮影待機状態に移行し、撮影時のライブビュー表示と撮影シーケンスを実行することにより取得する。メニュー画面またはアイコン表示によって、記録画像と置換するか撮影画像と置換するかを選択する。
【０１７２】
ステップＳ２５５における判定の結果、記録画像と置換する場合には、次に、一覧表示を行い（Ｓ２５７）、画像選択する（Ｓ２５９）。ここでは、ステップＳ２１１、Ｓ２１３（図１７）と同様に、記録媒体１３１に記録されている画像ファイルのサムネールを一覧表示する。ユーザは、一覧表示の中から十字キーとＯＫ釦等を操作して置換する画像を選択する。
【０１７３】
画像選択を行うと、次に、画像読み込みを行う（Ｓ２６１）。ここでは、ステップＳ２５９において選択された画像のデータを記録媒体１３１から読み出す。
【０１７４】
ステップＳ２５５における判定の結果、置換する画像が記録画像でなかった場合、すなわち、置換する画像が新たに撮影する画像である場合には、次に、レリーズ操作がオフから１ｓｔに遷移かを判定する（Ｓ２７３）。ここでは、レリーズ釦が半押しされたか否かを判定する。レリーズ釦の半押しにより撮影準備状態に移行する。ステップＳ２７３における判定の結果、レリーズ操作がオフから１ｓｔ遷移であった場合には、次に、ＡＥ・ＡＦを行う（Ｓ２７５）。ステップＳ３３（図７）と同様に、ここでは、ＡＥ動作とＡＦ動作を実行する。ＡＥ・ＡＦを行うとステップＳ２７３に戻る。
【０１７５】
ステップＳ２７３における判定の結果、レリーズ操作オフから１ｓｔ遷移でない場合には、次にレリーズ操作２ｎｄか否かを判定する（Ｓ２７７）。ここでは、レリーズ釦が全押しされたか否かを判定する。この判定の結果、レリーズ操作２ｎｄでなかった場合には、ＡＥを行い（Ｓ２８１）、電子シャッタによる撮影を行い（Ｓ２８３）、画像処理を行い（Ｓ２８５）、ライブビュー表示を行う（Ｓ２８７）。このステップＳ２８１〜Ｓ２８７の動作は、前述した図７のステップＳ５１〜Ｓ５７と同様であることから、詳しい説明を省略する。ライブビュー表示を行うと、ステップＳ２７３に戻る。
【０１７６】
ステップＳ２７７における判定の結果、レリーズ操作２ｎｄであった場合には、次に、メカシャッタによる撮影を行う（Ｓ２７９）。すなわち、ユーザがライブビュー表示を観察し、レリーズ釦の全押しを行うことにより、組み写真のコマと置換する画像を取得することができる。メカシャッタによる撮影において露光が終わると、ＲＡＷデータを取得する。
【０１７７】
ステップＳ２６１において画像データを読み出すと、またはステップＳ２７９においてメカシャッタによる撮影が終わると、次に、画像のデータ形式がＲＡＷデータであるか否かを判定する（Ｓ２６３）。ステップＳ２７９において取得する画像データはＲＡＷであるが、記録媒体１３１から読み出した画像データは、ＲＡＷやＪＰＥＧ等、種々の形式が含まれている。ＲＡＷデータの場合には、ステップＳ２６５〜Ｓ２６９において基本画像処理および特殊画像処理を行う。ＪＰＥＧデータの場合には、既に画像処理されていることから、これらの処理はスキップする。
【０１７８】
ステップＳ２６３における判定の結果、ＲＡＷデータであった場合には、次に基本画像処理を行う（Ｓ２６３）。この基本画像処理は図９に示したフローであるので、詳しい説明を省略する。基本画像処理を行うと、アートフィルタが設定されているか否かを判定する（Ｓ２６７）、この判定の結果、アートフィルタが設定されている場合には、特殊画像処理を行う（Ｓ２６９）。この特殊画像処理は図１０に示したフローであるので、詳しい説明を省略する。
【０１７９】
ステップＳ２６９において特集画像処理を行うと、またはステップＳ２６３における判定の結果、ＲＡＷデータでなかった場合、またはステップＳ２６７における判定の結果、アートフィルタが設定されていなかった場合には、次に、組み写真生成記録を行う（Ｓ２７１）。ステップＳ２６１において置換画像として指定された記録画像の画像データを読み込み、またステップＳ２７９において置換画像として新たに撮影した撮影画像の画像データを取得したことから、このステップにおいて、組み写真の１コマの画像を置換画像に置き換えて組み写真を生成する。この組み写真生成記録の詳しい動作については、図１９を用いて説明する。
【０１８０】
このように、組み写真編集のフローでは、組み写真の中で置換する画像を、記録画像の中から選択し（Ｓ２５７〜Ｓ２６１）、または新たに撮影することにより取得している（Ｓ２７９）。そして組み写真と置換画像を用いて、新たに組み写真を生成する（Ｓ２７１）。
【０１８１】
次に、ステップＳ２７１の組み写真生成記録の詳しい動作について、図１９に示すフローチャートを用いて説明する。この組み写真生成記録のフローに入ると、まず、組み写真生成を行う（Ｓ２９１）。ここでは、図１１において説明したフローを実行する。すなわち、組み写真を構成する各コマについて前処理を行った後、色変更および輝度変更等を行うことによって、各コマを調整し、違和感のないようにする。また、画質調整を行い、圧縮率の差などによる画質の差が目立たないようにする。各コマの色、輝度、画質の調整を行うと、合成を行って組み写真を生成する。
【０１８２】
組み写真生成を行うと、次に静止画記録を行う（Ｓ２９３）。ここでは、ステップＳ２９１において生成された組み写真のデータを記録媒体１３１に記録する。
【０１８３】
次に、図１１を用いて説明した組み写真生成において、背景画像の色にじみを防止するようにしたフローについて、図２０を用いて説明する。図２０に示す組み写真生成のフローチャートは、ステップＳ１２３〜Ｓ１３１、およびＳ１３３〜Ｓ１３７は、図１１に示したフローチャートと同じであり、ステップＳ３０１〜Ｓ３０５を追加している点で相違する。そこで、このステップＳ３０１〜Ｓ３０５を中心に説明する。
【０１８４】
ステップＳ１２９において色変更を行い、ステップＳ１３１において輝度変更を行う。ここでは、前述したように、置換画像がある場合には、組み写真を構成する他の画像と同様な色、輝度となるように補正する。輝度変更を行うと、次に、編集する組写真のＭＰＯファイルに背景一部画像が記録されているか否かを判定する（Ｓ３０１）。背景一部画像は、組み写真を構成する画像以外の画像をいい、例えば、組み写真を構成する複数の画像の１つを置換画像で組み換える際に、後述するＳ３０５において、背景境界画像を生成しており（図２２（ｂ）参照）、背景一部画像である。
【０１８５】
ステップＳ３０１における判定の結果、背景一部画像が記録されている場合には、次に、背景一部消去を行う（Ｓ３０３）。ここでは、画像を組み換えるコマに関して、コマと背景の境界部分を含み、画像圧縮時のブロックサイズの倍数の領域を、元の背景画像で塗りつぶす。
【０１８６】
ステップＳ３０３において背景一部消去を行い、またはステップＳ３０１における判定の結果、背景一部画像が記録されていない場合には、次に、境界背景画像切出を行う（Ｓ３０５）。ここでは、置換画像を組み写真のコマに嵌め込む画像編集を行った際に、色にじみが悪影響を及ぼさないように、境界背景画像の切り出しを行い、切り出した画像の圧縮を行う。この境界背景画像の切り出しの詳しい動作については、図２１を用いて後述する。
【０１８７】
ステップＳ３０５において境界背景画像切出を行った後、画像合成を行う（Ｓ１３３）。ステップＳ３０１〜Ｓ３０５において、組み写真のコマの境界領域を切り出し、画像圧縮を行っている。この切り出された境界背景画像、置換画像、この置換画像以外の組み写真を構成する画像を用いて、組み写真の画像合成を行う。画像合成を行うと、前述したように、特殊効果を付加し（Ｓ１３５）、画像記録を行って（Ｓ１３７）、この組み写真生成のフローを終了し、元のフローに戻る。
【０１８８】
次に、ステップＳ３０５の境界背景画像切出の動作について、図２１を用いて説明する。境界背景画像切出のフローに入ると、まず、境界輝度差・色差を算出する（Ｓ３１１）。合成の対象となる組み写真の枠の境界の背景と画像の平均輝度差と色差（色差成分の差）を求める。例えば、図２２（ｄ）において左上の画像Ｐ２１を置換画像に置き換える場合を想定すると、この置換画像の平均輝度と、画像Ｐ２１の周囲の背景の平均輝度差を求め、同様に、置換画像と周囲の背景の平均色差の差を求める。
【０１８９】
境界輝度差・色差を算出すると、次に、差がスレッシュ以上か否かを判定する（Ｓ３１３）。ここでは、ステップＳ３１１において算出した差の値が予め決めた所定値以上か否かを判定する。例えば、輝度差が１６（８ｂｉｔデータの場合）または色差の差が８（８ｂｉｔデータの場合）以上であれば、Ｙｅｓと判定する。輝度差または色差が所定値以上の場合には、組み写真を構成する画像を背景画像に重畳し、画像圧縮すると、組み写真を構成する画像の周囲に色にじみが発生し易い。そこで、ステップＳ３１５以下においてこの色にじみの影響を小さくするように処理を行う。
【０１９０】
ステップＳ３１３における判定の結果、差がスレッシュ以上の場合には、次に、幅を算出する（Ｓ３１５）。ここでは、ステップＳ３１１において算出した差の値からブロックの幅を算出する（図２２（ａ）、図２３参照）。本実施形態においては、輝度差や色差の差に応じて幅を変えるが、常に圧縮時のブロックサイズ（例えば、８×８画素）を幅とするようにしてもよい。
【０１９１】
幅を算出すると、次に切り出しを行う（Ｓ３１７）。ここでは、ステップＳ３１５において算出した幅で、置換画像と背景との間の合成境界を含む帯状の背景画像を切り出す（図２２（ｂ）参照）。画像を切り出すと、次に、編集後の組み写真を記録する際の画像圧縮と同様の方式および圧縮率で、この切り出した画像を画像圧縮する（Ｓ３１９）。この処理により、背景が他の部分と同じ画質になる。画像圧縮すると、またはステップＳ３１３における判定の結果、差がスレッシュ以上ない場合には、元のフローに戻り、ステップＳ１３３において合成を行う（図２２（ｃ）参照）。切り出した画像は、上記のように画像圧縮せず非圧縮や、可逆圧縮としてもよい。また、組み写真を圧縮する際のJPEGとは異なる圧縮形式でも良い。ただし、切り出した画像を編集した組み写真と同様の圧縮形式かつ同様の圧縮パラメータ（量子化テーブルなどの画質を決めるパラメータ）で圧縮することが好ましい。編集した組み写真と同様の圧縮を行うことで、編集した組み写真の画質と切り出した画像の画質を同様にすることができるため、再度編集する際に切り出した画像と上記で編集した組み写真との画質差が無くなり、より自然な印象の再編集結果を得られるという効果がある。
【０１９２】
次に、図２２を用いて、組み写真を構成する複数の画像のうちの１つの画像Ｐ２１を、置換画像Ｐ２２で組み換える際の編集手順を説明する。図２２（ｄ）は、編集前の組み写真を示し、画像Ｐ２１を置換画像Ｐ２２（図２２（ｃ）参照）で組み換える。
【０１９３】
図２２（ａ）〜（ｃ）は、組み写真の左上にある被置換画像Ｐ２１と背景画像を含む領域Ｑ１の拡大図である。本実施形態においては、画像圧縮は８×８画素からなるブロック単位で行われ、このブロックを破線を施した矩形で示す。被置換画像Ｐ２１は、図２２（ａ）では、ラインＬ２ａ、Ｌ２ｂより内側にある。図２２（ｄ）に示す編集する組み写真は高圧縮のため画質が劣化して、境界付近がボケている。この部分（ラインＬ１ａ、Ｌ１ｂからなる矩形と、ラインＬ３ａ、Ｌ３ｂからなる矩形の間の帯状の境界付近）がボケるため、この部分のみパターンをもつ。言い換えると、境界を含む圧縮ブロックの高さまたは幅のパターンをもつ。
【０１９４】
そこで、本実施形態においては、図２２（ｂ）に示すように、境界付近の部分（ラインＬ１ａ、Ｌ１ｂからなる矩形と、ラインＬ３ａ、Ｌ３ｂからなる矩形の間の帯状の境界付近）を、２つの領域（ア）（イ）に分け、それぞれ、背景画像（図２４のＦ２参照）のパターンで境界部分を上書きする。背景画像のパターンは、画像とは別に背景の画像を画像とは異なる領域に記憶している（図２４のＦ２に記憶されている）背景画像データを示す。
【０１９５】
境界付近をパターンで上書きすると、つぎに、図２２（ｃ）に示すように、置換画像Ｐ２２を合成する。すなわち、編集前の被置換画像Ｐ２１の位置（ラインＬ２ａ、Ｌ２ｂで構成される枠内）に、置換画像Ｐ２２を合成する。
【０１９６】
組み写真の場合、この組み写真を構成する複数の画像の周りには、画像圧縮の際に色にじみが発生する。この色にじみは、組み写真を構成する画像の平均的な色が青であれば、色にじみは青色となり、画像の平均的な色が赤であれば色にじみは赤色となる。組み写真を生成し画像圧縮を行うと、この色にじみが画像の背景に形成される。組み写真作成後に、組み写真を構成する複数の画像のうちの１つ組み換える編集作業を行う際には、前の画像の際に形成された色にじみが残ってしまい、編集作業後の組み写真の色合いが不自然となってしまう。
【０１９７】
本実施形態においては、この不具合を軽減するために、組み写真の一部の画像を組み換える作業を行う際には、画像の境界を一旦、所定のパターンで上書きしてから置換画像で組み換えている。このため、編集作業後の組み写真の色合いが不自然となることがない。
【０１９８】
次に、切り出しを行う幅とその位置について図２３を用いて説明する。図２３（ａ）は、図２２（ａ）と同様に、ＪＰＥＧ展開時の色にじみを示している。ＪＰＥＧ展開時には、ブロックノイズを低減するフィルター処理などを適用する場合があるため、画質劣化する領域（図２２（ａ）の（ア）（イ）の領域）が、広く薄くなる場合がある。
【０１９９】
境界部分において、背景と画像の輝度差（色差）が大きい場合には、背景の範囲を圧縮時のブロックサイズ単位で広げる。図２３（ａ）の場合には幅Ｗ１であるが、図２３（ｂ）の場合には、輝度差（色差）が大きくなったことから幅Ｗ２（２ブロック分）に広げている。さらに図２３（ｃ）の場合いには、さらに輝度差（色差）が大きくなったことから幅Ｗ３（３ブロック分）に広げている。
【０２００】
図２３（ｄ）は、輝度差と背景サイズの関係の一例を示すグラフであり、縦軸は保持する背景の幅または高さであり、横軸は境界平均輝度差である。この例では、１ブロックが８×８画素であり、輝度差に応じて、１ブロック分ずつ広げている。また図２３（ｅ）は、色差の差と背景サイズの環形の一例を示すグラフであり、縦軸は保持する背景の幅または高さであり、横軸は境界平均色差の差である。この例でも、１ブロックが８×８画素であり、色差の差に応じて、１ブロック分ずつ広げている。一般に、色差のほうが違和感を生じやすいことから、色差の差が大きいと、輝度差の場合に比較して幅を大きくしている。
【０２０１】
次に、本実施形態におけるファイル構造（ＭＰＯ形式のファイル構造）について、図２４を用いて説明する。図２０（ａ）にファイル構造をし、このファイルは、ＳＤＲＡＭ１２７または記録媒体１３１に記録される。
【０２０２】
領域Ｆ１には、主画像ヘッダが記録されている。この主画像ヘッダには、副画像の記録されているアドレスを示す副画像オフセット、組み位置と副画像の対応関係、組み写真のスタイルの情報が記録されている。領域Ｆ２には、背景画像データ、背景画像のサイズ、背景画像位置情報等、背景画像のデータが記録される。
【０２０３】
また、領域Ｆ３には、主画像データが記録されている。主画像としては、組み写真Ｐ１である。また、領域Ｆ４、Ｆ６、Ｆ８、Ｆ１０には、副画像１，２、３、４のヘッダが、領域Ｆ５、Ｆ７、Ｆ９、Ｆ１１には副画像１、２、３、４のデータが、それぞれ記録されている。副画像のヘッダには、ステップＳ１２５（図１１）における解析結果や撮影情報が記録される。
【０２０４】
領域Ｆ３に記録されている主画像データは、組み写真Ｐ１の画像データであり、また、領域Ｆ５、Ｆ７、Ｆ９、Ｆ１１に記録されている副画像データは、組み写真Ｐ１を構成する副画像Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４の画像データである。このように、記録部（ＳＤＲＡＭ１２７、記録媒体１３１）には、副画像と組み位置、解析結果等のデータが１つの画像ファイルとして記録されている。また、画像ファイルの領域Ｆ２には、最低限の背景画像と、背景画像に対応する座標が記録されている。
【０２０５】
次に、背景一部消去の変形例について、図２５を用いて説明する。図２２に示した一実施形態における背景一部消去は、まず、図２２（ｂ）に示すように、組み写真を構成する画像と背景画像との境界部分を、もっているパターンで上書きを行い、この処理が終わると、次に、図２２（ｃ）に示すように、置換画像を合成していた。しかし、これに限らず、図２５（ｂ）に示すように、先に、置換画像Ｐ２２を合成する。この合成後に、図２５（ｃ）に示すように、持っているパターンで、境界の領域（ア）（イ）部分を上書きしてもよい。
【０２０６】
次に、組み写真を構成する画像が、斜めに配置される場合について、図２６を用いて説明する。上述した例では、組み写真を構成する画像が、圧縮のためのブロックに対して水平垂直に配置され、斜めに配置していなかった。しかし、組み写真のスタイルによっては、図２６（ｄ）に示すように、画像が斜めに配置される場合がある。
【０２０７】
組み写真を構成する画像と背景の画像の輝度差や色差の差に応じて、切り出す背景画像（背景部分画像）の領域が広がる。図２６（ｂ）に示す例では、輝度差や色差の差が大きいことから、色にじみの発生するブロックが隣のブロックに影響することから、切り出す画像の１ブロック分広く切り出して、色にじみ処理を施す必要がある。図２６（ａ）に示す場合に比較して、切り出される背景部分が広がっている（図中、一番ドット密度が低い領域）。
【０２０８】
また、切り出す背景部分（背景部分画像）は、図２６（ａ）（ｂ）では、ブロック単位で選択している。しかし、これに限らず、例えば、図２６（ｃ）に示すように、境界部を含む細長い矩形領域（図中、一番ドット密度が低い領域）として選択してもよい。
【０２０９】
以上説明したように、本発明の一実施形態に係る画像編集装置は、背景画像に対して、複数の画像を、組み写真の組み位置に応じて合成して組み写真を生成し（図２０のＳ１３３参照）、少なくとも組み写真の組み位置を含む複数のブロックを背景部分画像として選択し（図２０のＳ３０５）、画像圧縮部（画像圧縮伸張部１１５）で圧縮された画像と、選択した背景部分画像を１つの画像ファイルとして記録するようにしている（図２０のＳ１３７、図２４）。このため、組み写真を構成する画像の一部を置換画像に組み換えても、高画質で自然に見える組み写真を編集することができる。
【０２１０】
なお、本発明の一実施形態においては、カメラに本発明を適用した例を説明したが、これに限らず、撮影済み画像を用いて、組み写真を生成するための画像編集装置、パーソナルコンピュータ等、撮影機能を有さない画像編集装置にも本発明を適用することができる。
【０２１１】
また、本発明の一実施形態においては、撮影のための機器として、カメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、組み写真を撮影可能な撮影のための機器であれば、本発明を適用することができる。
【０２１２】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０２１３】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０２１４】
１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１０９ａ・・・基本画像処理部、１０９ｂ・・・特殊画像処理部、１０９ｃ・・・組み写真処理部、１０９ｄ・・・被写体検出部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・画像圧縮伸張部、１１７・・・通信部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２３ａ・・・タッチ入力部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・表示ドライバ、１３５・・・表示パネル、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、３００・・・Ｉ／Ｆ
【図１】
2014068274.tif 000003
【図２】
2014068274.tif 000004
【図３】
2014068274.tif 000005
【図４】
2014068274.tif 000006
【図５】
2014068274.tif 000007
【図６】
2014068274.tif 000008
【図７】
2014068274.tif 000009
【図８】
2014068274.tif 000010
【図９】
2014068274.tif 000011
【図１０】
2014068274.tif 000012
【図１１】
2014068274.tif 000013
【図１２】
2014068274.tif 000014
【図１３】
2014068274.tif 000015
【図１４】
2014068274.tif 000016
【図１５】
2014068274.tif 000017
【図１６】
2014068274.tif 000018
【図１７】
2014068274.tif 000019
【図１８】
2014068274.tif 000020
【図１９】
2014068274.tif 000021
【図２０】
2014068274.tif 000022
【図２１】
2014068274.tif 000023
【図２２】
2014068274.tif 000024
【図２３】
2014068274.tif 000025
【図２４】
2014068274.tif 000026
【図２５】
2014068274.tif 000027
【図２６】
2014068274.tif 000028