(57)【要約】      （修正有）【課題】撮影画像の不透明合成を確実に行うことのできる画像処理方法を提供する。【解決手段】画像処理方法は、絵柄の一部が共通する３枚以上の撮影画像（Ｉ1，Ｉ2，Ｉ3）の各々から、他の撮影画像との差異が大きい特徴領域を検出する検出手順（Ｓ２〜Ｓ８）と、前記３以上の撮影画像（Ｉ1，Ｉ2，Ｉ3）の各々から前記特徴領域に位置する部分画像を抽出し、それら部分画像を１枚の画像に合成する合成手順（Ｓ９）とを含む。【選択図】図３
2008198082.tif 000002
【特許請求の範囲】
【請求項１】
絵柄の一部が共通する３枚以上の撮影画像の各々から、他の撮影画像との差異が大きい特徴領域を検出する検出手順と、
前記３以上の撮影画像の各々から前記特徴領域に位置する部分画像を抽出し、それら部分画像を１枚の画像に合成する合成手順と
を含むことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記検出手順では、
前記３枚以上の撮影画像の各々のうち、他の撮影画像の平均画像との差分が大きい領域を前記特徴領域とみなす
ことを特徴とする画像処理方法。
【請求項３】
請求項１又は請求項２に記載の画像処理方法において、
前記検出手順では、
前記３枚以上の撮影画像の各々から検出された前記特徴領域の分布図を作成し、
前記合成手順では、
前記分布図に従って前記抽出を行う
ことを特徴とする画像処理方法。
【請求項４】
請求項３に記載の画像処理方法において、
前記検出手順では、
分布境界線を平滑化するためのフィルタ処理を前記分布図に施す
ことを特徴とする画像処理方法。
【請求項５】
請求項１〜請求項４の何れか一項に記載の画像処理方法において、
前記合成手順では、
前記３枚以上の撮影画像の各々から抽出された部分画像に対し、それ以外の撮影画像の同一領域から抽出された部分画像を加重平均する
ことを特徴とする画像処理方法。
【請求項６】
請求項５に記載の画像処理方法において、
前記合成手順では、
前記加重平均の重みをユーザが指定した値に設定する
ことを特徴とする画像処理方法。
【請求項７】
請求項１〜請求項６の何れか一項に記載の画像処理方法において、
前記検出手順では、
前記３枚以上の撮影画像の代わりにそれらのサイズ縮小版を使用して前記検出を行う
ことを特徴とする画像処理方法。
【請求項８】
３枚以上の撮影画像の各々から、他の撮影画像との差異が大きい特徴領域を検出する検出手段と、
前記３以上の撮影画像の各々から前記特徴領域に位置する部分画像を抽出し、それら部分画像を１枚の画像に合成する合成手段と
を含むことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記検出手段は、
前記３枚以上の撮影画像の各々のうち、他の撮影画像の平均画像との差分が大きい領域を前記特徴領域とみなす
ことを特徴とする画像処理装置。
【請求項１０】
請求項８又は請求項９に記載の画像処理装置において、
前記検出手段は、
前記３枚以上の撮影画像の各々から検出された前記特徴領域の分布図を作成し、
前記合成手段は、
前記分布図に従って前記抽出を行う
ことを特徴とする画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置において、
前記検出手段は、
分布境界線を平滑化するためのフィルタ処理を前記分布図に施す
ことを特徴とする画像処理装置。
【請求項１２】
請求項８〜請求項１１の何れか一項に記載の画像処理装置において、
前記合成手段は、
前記３枚以上の撮影画像の各々から抽出された部分画像に対し、それ以外の撮影画像の同一領域から抽出された部分画像を加重平均する
ことを特徴とする画像処理装置。
【請求項１３】
請求項１２に記載の画像処理装置において、
前記合成手段は、
前記加重平均の重みをユーザが指定した値に設定する
ことを特徴とする画像処理装置。
【請求項１４】
請求項８〜請求項１３の何れか一項に記載の画像処理装置において、
前記検出手段は、
前記３枚以上の撮影画像の代わりにそれらのサイズ縮小版を使用して前記検出を行う
ことを特徴とする画像処理装置。
【請求項１５】
被写体を撮影して撮影画像を取得する撮像手段と、
前記撮像手段が取得した３枚以上の撮影画像を処理する請求項８〜請求項１４の何れか一項に記載の画像処理装置と、
を備えたことを特徴とするディジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成に関する画像処理方法、画像合成の機能を搭載した画像処理装置、及び画像合成の機能を搭載したディジタルカメラに関する。
【背景技術】
【０００２】
特許文献１に記載のディジタルカメラには画像合成の機能が搭載されている。その原理は、連写撮影等で得られた複数枚の撮影画像を加算平均合成するものである。移動中の被写体（動体）を三脚で連写撮影し、得られた複数枚の撮影画像を画像合成すれば、静止した背景と動体の軌跡とを１枚の画像に収めることができる。
但し、この画像合成では動体と背景とが区別されないので、動体の存在領域に背景も混ざり、動体が透明になる。動体を不透明とした合成（以下「不透明合成」という。）を行うためには、個々の撮影画像から動体の存在領域を検出し、それらの領域を繋げる必要がある。
【特許文献１】特開２００１−２８７２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、動体の存在領域の検出を自動化することは難しく、このため不透明合成を自動化することも現状では困難である。
そこで本発明は、撮影画像の不透明合成を確実に行うことの可能な画像処理方法を提供することを目的とする。また、本発明は、撮影画像の不透明合成を確実に行うことの可能な画像処理装置及びディジタルカメラを提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の画像処理方法は、絵柄の一部が共通する３枚以上の撮影画像の各々から、他の撮影画像との差異が大きい特徴領域を検出する検出手順と、前記３以上の撮影画像の各々から前記特徴領域に位置する部分画像を抽出し、それら部分画像を１枚の画像に合成する合成手順とを含むことを特徴とする。
なお、前記検出手順では、前記３枚以上の撮影画像の各々のうち、他の撮影画像の平均画像との差分が大きい領域を前記特徴領域とみなすことが望ましい。
【０００５】
また、前記検出手順では、前記３枚以上の撮影画像の各々から検出された前記特徴領域の分布図を作成し、前記合成手順では、前記分布図に従って前記抽出を行うことが望ましい。
また、前記検出手順では、分布境界線を平滑化するためのフィルタ処理を前記分布図に施すことが望ましい。
【０００６】
また、前記合成手順では、前記３枚以上の撮影画像の各々から抽出された部分画像に対し、それ以外の撮影画像の同一領域から抽出された部分画像を加重平均してもよい。
また、前記合成手順では、前記加重平均の重みをユーザが指定した値に設定してもよい。
また、前記検出手順では、前記３枚以上の撮影画像の代わりにそれらのサイズ縮小版を使用して前記検出を行うことが望ましい。
【０００７】
また、本発明の画像処理装置は、３枚以上の撮影画像の各々から、他の撮影画像との差異が大きい特徴領域を検出する検出手段と、前記３以上の撮影画像の各々から前記特徴領域に位置する部分画像を抽出し、それら部分画像を１枚の画像に合成する合成手段とを含むことを特徴とする。
また、前記検出手段は、前記３枚以上の撮影画像の各々のうち、他の撮影画像の平均画像との差分が大きい領域を前記特徴領域とみなすことが望ましい。
【０００８】
また、前記検出手段は、前記３枚以上の撮影画像の各々から検出された前記特徴領域の分布図を作成し、前記合成手段は、前記分布図に従って前記抽出を行うことが望ましい。
また、前記検出手段は、分布境界線を平滑化するためのフィルタ処理を前記分布図に施すことが望ましい。
また、前記合成手段は、前記３枚以上の撮影画像の各々から抽出された部分画像に対し、それ以外の撮影画像の同一領域から抽出された部分画像を加重平均してもよい。
【０００９】
また、前記合成手段は、前記加重平均の重みをユーザが指定した値に設定してもよい。
また、前記検出手段は、前記３枚以上の撮影画像の代わりにそれらのサイズ縮小版を使用して前記検出を行うことが望ましい。
また、本発明のディジタルカメラは、被写体を撮影して撮影画像を取得する撮像手段と、前記撮像手段が取得した３枚以上の撮影画像を処理する本発明の何れかの画像処理装置と、を備えたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮影画像の不透明合成を確実に行うことの可能な画像処理方法が実現する。また、本発明は、撮影画像の不透明合成を確実に行うことの可能な画像処理装置及びディジタルカメラをが実現する。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態を説明する。本実施形態は、ディジタルカメラの実施形態である。
先ず、ディジタルカメラの構成を説明する。
図１は、ディジタルカメラの構成図である。図１に示すとおり、ディジタルカメラ１０には、撮影レンズ１１、撮像素子１２、Ａ／Ｄ変換器１３、信号処理回路１４、タイミングジェネレータ（ＴＧ）１５、バッファメモリ１６、ＣＰＵ１７、画像処理回路１８、表示回路２２、背面モニタ２３、カードインタフェース（カードＩ／Ｆ）２４、操作釦２５などが備えられ、カードインタフェース２４にはカードメモリ２４Ａが装着される。このうちＣＰＵ１７は、画像合成処理（後述）を実行することができる。以下、画像合成処理を実行する合成処理部１７ＡをＣＰＵ１７が有しているものとして説明する。
【００１２】
ＣＰＵ１７は、バス１９を介してバッファメモリ１６、画像処理回路１８、表示回路２２、カードインタフェース２４に接続される。ＣＰＵ１７は、バス１９を利用して画像データを画像処理回路１８へ送出し、それによって撮影画像に対し画素補間処理や色変換処理などの通常の画像処理を施す。また、ＣＰＵ１７は、表示回路２２を介して背面モニタ２３へ画像データを送出し、それによって背面モニタ２２へ各種の画像を表示する。また、ＣＰＵ１７は、カードインタフェース２４を介してカードメモリ２４Ａに対し画像ファイルを書き込んだり、カードメモリ２４から画像ファイルを読み出したりする。
【００１３】
また、ＣＰＵ１７は、タイミングジェネレータ１５、操作釦２５に接続される。ＣＰＵ１７は、タイミングジェネレータ１５を介して撮像素子１２、Ａ／Ｄ変換器１３、信号処理回路１４などを駆動すると共に、操作釦２５を介してユーザによるモード切り替えなどの各種の指示を認識する。以下、ディジタルカメラ１０のモードには、撮影モードや編集モードなどがあるものとする。
【００１４】
次に、撮影モードにおけるＣＰＵ１７の動作を説明する。
ディジタルカメラ１０が撮影モードに設定されているとき、ユーザは操作釦２５を操作して撮影指示をＣＰＵ１７へ入力する。撮影指示の中には、単写撮影の指示や連写撮影の指示があり、ＣＰＵ１７は、操作釦２５の押下期間の長さなどによって両者の指示を区別する。
【００１５】
単写撮影の指示が入力されると、ＣＰＵ１７は撮像素子１２、Ａ／Ｄ変換器１３、信号処理回路１４を１回駆動し、撮影画像の１フレーム分の画像信号（画像データ）を取得する。取得された画像データはバッファメモリ１６へ蓄積される。
このときＣＰＵ１７は、バッファメモリ１６に蓄積される撮影画像の画像データを画像処理回路１８へ送り、その撮影画像に対し通常の画像処理を施すと共に、処理後の撮影画像の画像ファイルを作成し、その画像ファイルをカードメモリ２４Ａへ書き込む。これによって、単写撮影が完了する。なお、画像ファイルは画像記憶領域とタグ領域とを有しており、画像記憶領域には撮影画像の画像データが書き込まれ、タグ領域には、その撮影画像に付随する情報が書き込まれる。付随する情報の中には、撮影画像の画像データをサイズ縮小したもの（サムネイル画像の画像データ）が含まれる。
【００１６】
一方、連写撮影の指示が入力されると、ＣＰＵ１７は撮像素子１２、Ａ／Ｄ変換器１３、信号処理回路１４を複数回連続して駆動し、撮影画像の複数フレーム分の画像信号（画像データ）を取得する。取得された画像データはバッファメモリ１６へ蓄積される。
このときＣＰＵ１７は、バッファメモリ１６に蓄積される撮影画像の画像データを画像処理回路１８へ送り、その撮影画像に対し通常の画像処理を施すと共に、処理後の撮影画像の画像ファイルを作成し、その画像ファイルをカードメモリ２４Ａへ書き込む。この動作が複数フレーム分の撮影画像について行われると、連写撮影が完了する。なお、個々の画像ファイルは画像記憶領域とタグ領域とを有しており、画像記憶領域には撮影画像の画像データが書き込まれ、タグ領域には、その撮影画像に付随する情報が書き込まれる。付随する情報の中には、撮影画像の画像データをサイズ縮小したもの（サムネイル画像の画像データ）が含まれる。
【００１７】
次に、編集モードにおけるＣＰＵ１７の動作を説明する。
ディジタルカメラ１０が編集モードに設定されると、ＣＰＵ１７は、編集モードのメニューを背面モニタ２３へ表示する。そのメニューの項目の１つには「画像合成」が含まれている。この画像合成は、不透明合成が可能な画像合成である。
メニューが表示されているとき、ユーザは操作釦２５を操作し、メニュー内の所望する項目をＣＰＵ１７へ指定する。ユーザが「画像合成」を指定すると、ＣＰＵ１７はカードメモリ２４Ａの画像ファイルを読み出し、その画像ファイルに付加されたサムネイル画像の画像データを表示回路２２へ送出する。これにより、過去に取得された撮影画像が背面モニタ２３へ再生表示される。この再生表示では、ユーザが複数枚の撮影画像を互いに比較できるよう、複数枚の撮影画像が背面モニタ２３へ同時に並べて表示されることが望ましい。
【００１８】
さて、撮影画像が再生表示さているとき、ユーザは操作釦２５を操作し、再生表示中の撮影画像の中から、所望するＮ枚の撮影画像Ｉk（ｋ＝１，２，…，Ｎ）をＣＰＵ１７へ指定する。そしてユーザは、操作釦２５を操作し、指定したＮ枚の撮影画像Ｉk（ｋ＝１，２，…，Ｎ）の各々に含まれる動体の不透明度αk（ｋ＝１，２，…，Ｎ）を指定する。不透明度αkは、撮影画像Ｉkに含まれる動体Ｍkの不透明度である。
【００１９】
ここで、ユーザが指定するＮ枚の撮影画像Ｉk（ｋ＝１，２，…，Ｎ）は、図２に示すように、動体Ｍk（ｋ＝１，２，…Ｎ）以外の部分（背景）が互いに共通している。このような撮影画像Ｉk（ｋ＝１，２，…，Ｎ）は、共通の撮影条件（撮影感度、シャッタスピード、絞り値、フレーミング）の下で取得されたものである。
本実施形態では、これらＮ枚の撮影画像Ｉk（ｋ＝１，２，…，Ｎ）の中に、動体Ｍkの存在しない撮影画像が含まれている必要は無いが、その代わりに、撮影画像の枚数Ｎは３以上とされる必要がある。
【００２０】
また、撮影画像Ｉk（ｋ＝１，２，…，Ｎ）の各々に含まれる動体Ｍk（ｋ＝１，２，…，Ｎ）は、その画素座標が互いに重複していないことが望ましい。本実施形態の画像合成の演算は、重複していないことを前提しているからである。
また、ユーザが指定可能な不透明度αk（ｋ＝１，２，…，Ｎ）の範囲は、０≦αk≦１である。因みに、不透明合成を行う場合は、α1＝α2＝α3＝…＝αN＝１と指定すればよく、合成画像から全ての動体Ｍk（ｋ＝１，２，…，Ｎ）を消去する場合は、α1＝α2＝α3＝…＝αN＝０と指定すればよい。
【００２１】
以上の指定がなされると、ＣＰＵ１７は、指定されたＮ枚の撮影画像Ｉk（ｋ＝１，２，…，Ｎ）の画像データを合成処理部１７Ａへ送り、それら撮影画像に対し画像合成処理を施す。ＣＰＵ１７は、この画像合成処理によって１枚の合成画像を取得すると、その合成画像を背面モニタ２３へ表示すると共に、その合成画像の画像ファイルを新たに作成し、それをカードメモリ２４Ａへ書き込む。
【００２２】
次に、合成処理部１７Ａの動作を詳しく説明する。
説明では簡単のため、指定された撮影画像を、図２に示した３枚の撮影画像Ｉ1，Ｉ2，Ｉ3と仮定する。この場合、撮影画像の枚数Ｎは３となる。また、個々の撮影画像Ｉkは、Ｙ成分、Ｃｂ成分、Ｃｒ成分を有していると仮定する。
よって、説明では撮影画像ＩkのＹ成分をＹk、撮影画像ＩkのＣｂ成分をＣｂk、撮影画像ＩkのＣｒ成分をＣｒkとおく。また、説明では任意の画像Ｘの画素座標（ｉ，ｊ）における画素値をＸ（ｉ，ｊ）と表す。また、画素座標（ｉ，ｊ）の原点を画像の左上に採る。
【００２３】
図３は、合成処理部１７Ａの動作フローチャートである。以下、各ステップを順に説明する。
（ステップＳ１〜Ｓ３）
合成処理部１７Ａは、画像合成処理の処理速度を高くするため、撮影画像Ｉ1，Ｉ2，Ｉ3の各々に対しサイズ縮小処理を施す。サイズ縮小率を１６とするならば、サイズ縮小処理には例えば以下の式が使用される。
【００２４】
【数１】
2008198082.tif 000003
（ステップＳ４）
合成処理部１７Ａは、縮小処理後の撮影画像Ｉ1，Ｉ2，Ｉ3の平均画像Ｉaveを作成する。平均画像ＩaveのＹ成分Ｙave、平均画像ＩaveのＣｂ成分Ｃｂave、平均画像ＩaveのＣｒ成分Ｃｒaveの算出には、以下の式が使用される。
【００２５】
【数２】
2008198082.tif 000004
（ステップＳ５）
合成処理部１７Ａは、仮インデックス画像として、Ｙ成分のインデックス画像Ｙindexと、Ｃｂ成分のインデックス画像Ｃｂindexと、Ｃｒ成分のインデックス画像Ｃｒindexとをそれぞれ作成する。
【００２６】
このうちインデックス画像Ｙindexの作成手順を代表して説明する。
先ず、合成処理部１７Ａは、図４に示すとおり、撮影画像Ｉ1に着目し、着目した撮影画像Ｉ1のＹ成分Ｙ1と、他の撮影画像Ｉ2，Ｉ3のＹ成分Ｙ2，Ｙ3の平均画像との差分画像ΔＹ1を算出する。
同様に、合成処理部１７Ａは、撮影画像Ｉ2に着目し、着目した撮影画像Ｉ2のＹ成分Ｙ2と、他の撮影画像Ｉ1，Ｉ3のＹ成分Ｙ1，Ｙ3の平均画像との差分画像ΔＹ2を算出する。
【００２７】
同様に、合成処理部１７Ａは、撮影画像Ｉ3に着目し、着目した撮影画像Ｉ3のＹ成分Ｙ3と、他の撮影画像Ｉ1，Ｉ2のＹ成分Ｙ1，Ｙ2の平均画像との差分画像ΔＹ3を算出する。
これによって、撮影画像Ｉ1に関する差分画像ΔＹ1と、撮影画像Ｉ2に関する差分画像ΔＹ2と、撮影画像Ｉ3に関する差分画像ΔＹ3とが取得される。なお、差分画像ΔＹ1，ΔＹ2，ΔＹ3の算出には、以下の式が使用される。
【００２８】
【数３】
2008198082.tif 000005
この式において、「ｋ」は着目した撮影画像の画像番号であり、（Ｙave×Ｎ−Ｙk）／（Ｎ−１）は他の撮影画像の平均画像である。
続いて、合成処理部１７Ａは、図５に示すとおり、差分画像ΔＹ1，ΔＹ2，ΔＹ3を画素座標毎に比較する。
【００２９】
そして、合成処理部１７Ａは、差分画像ΔＹ1の中で他の差分画像ΔＹ2，ΔＹ3よりも大きな画素値を有する領域を、特徴領域Ａ1とおく。この特徴領域Ａ1は、撮影画像Ｉ1の中で他の撮影画像Ｉ2，Ｉ3と比較すると目立った画素値を有した領域を示す。よって、この特徴領域Ａ1を、動体Ｍ1の存在領域とみなすことができる。
また、合成処理部１７Ａは、差分画像ΔＹ2の中で他の差分画像ΔＹ1，ΔＹ3よりも大きな画素値を有する領域を、特徴領域Ａ2とおく。この特徴領域Ａ2は、撮影画像Ｉ2の中で他の撮影画像Ｉ1，Ｉ3と比較すると目立った画素値を有した領域を示す。よって、この特徴領域Ａ2を、動体Ｍ2の存在領域とみなすことができる。
【００３０】
また、合成処理部１７Ａは、差分画像ΔＹ3の中で他の差分画像ΔＹ1，ΔＹ2よりも大きな画素値を有する領域を、特徴領域Ａ3とおく。この特徴領域Ａ3は、撮影画像Ｉ3の中で他の撮影画像Ｉ1，Ｉ3と比較すると目立った画素値を有した領域を示す。よって、この特徴領域Ａ3を、動体Ｍ3の存在領域とみなすことができる。
そして、合成処理部１７Ａは、それらの特徴領域Ａ1，Ａ2，Ａ3の分布図として、１枚のインデックス画像Ｙindexを作成する。
【００３１】
このインデックス画像Ｙindexの特徴領域Ａ1には、撮影画像Ｉ1及び動体Ｍ1の画像番号と同じ画素値「１」が付与され、インデックス画像Ｙindexの特徴領域Ａ2には、撮影画像Ｉ2及び動体Ｍ2の画像番号と同じ画素値「２」が付与され、インデックス画像Ｙindexの特徴領域Ａ3には、撮影画像Ｉ3及び動体Ｍ3の画像番号と同じ画素値「３」が付与される。
【００３２】
このようなインデックス画像Ｙindexの算出には、以下の式が使用される。
【００３３】
【数４】
2008198082.tif 000006
この式において、ｋ・ｏｆ・ｍａｘ［ｘ1，ｘ2，…，ｘN］は、Ｎ個の要素ｘ1，ｘ2，…，ｘNの中で値が最大となる要素ｘkの要素番号ｋである。
図６は、インデックス画像Ｙindexを説明する図である。図６に示すとおり、インデックス画像Ｙindexでは、動体Ｍ1の存在領域（図２参照）に位置する多くの画素は、画素値「１」を有しており、動体Ｍ2の存在領域（図２参照）に位置する多くの画素は、画素値「２」を有しており、動体Ｍ3の存在領域（図２参照）に位置する多くの画素は、画素値「３」を有している。また、インデックス画像Ｙindexのその他の領域には、画素値「１」を有する画素と、画素値「２」を有する画素と、画素値「３」を有する画素とが混在している。
【００３４】
したがって、インデックス画像Ｙindexには、動体Ｍ1，Ｍ2，Ｍ3（図２参照）の分布関係が一定の確度で反映されている。このインデックス画像Ｙindexを使用すれば、動体Ｍ1，Ｍ2，Ｍ3を撮影画像Ｉ1，Ｉ2，Ｉ3の各々から抽出することが可能となる。
しかし、このインデックス画像Ｙindexには、図６中に点線で囲ったように、不正確な箇所も存在する。その原因は、動体Ｍ3（図２参照）の一部の輝度が背景の輝度と近かったため、その部分が特徴領域Ａ3とみなされずに、特徴領域Ａ1又は特徴領域Ａ2と誤検出されたことにあると考えられる。
【００３５】
そこで、本ステップの合成処理部１７Ａは、インデックス画像Ｙindexの算出時（図５参照）、特徴領域Ａ1，Ａ2，Ａ3を検出する際に、次の処理をする。
すなわち、合成処理部１７Ａは、差分画像ΔＹ1の特徴領域Ａ1，差分画像ΔＹ2の特徴領域Ａ2、差分画像ΔＹ3の特徴領域Ａ3における画素値を閾値ｔｈＹと比較し、それが閾値ｔｈＹより小さい領域については、特徴領域Ａ1，Ａ2，Ａ3の何れにも属さない特殊領域Ａ0とみなす。そして、合成処理部１７Ａは、インデックス画像Ｉindexの特殊領域Ａ0に対し、「１」，「２」，「３」以外の特殊値（以下「０」とする。）を付与する。この特殊値は、次のステップで適正な値へと置換される。
【００３６】
本ステップにおいてＣｂ成分のインデックス画像ＣｂindexやＣｒ成分のインデックス画像Ｃｒindexが作成されるのは、その置換を行うためである。
なお、インデックス画像Ｃｂindexの算出には、以下の式が使用される。
【００３７】
【数５】
2008198082.tif 000007
このインデックス画像Ｃｂindexの算出時にも、合成処理部１７Ａは次の処理をする。
すなわち、合成処理部１７Ａは、差分画像ΔＣｂ1の特徴領域Ａ1，差分画像ΔＣｂ2の特徴領域Ａ2，差分画像ΔＣｂ3の特徴領域Ａ3における画素値を閾値ｔｈＣｂと比較し、それが閾値ｔｈＣｂより小さい領域については、特徴領域Ａ1，Ａ2，Ａ3の何れにも属さない特殊領域Ａ0とみなす。そして、合成処理部１７Ａは、インデックス画像Ｃｂindexの特殊領域Ａ0に対し、「１」，「２」，「３」以外の特殊値（以下「０」とする。）を付与する。
【００３８】
また、インデックス画像Ｃｒindexの算出には、以下の式が使用される。
【００３９】
【数６】
2008198082.tif 000008
このインデックス画像Ｃｒindexの算出時にも、合成処理部１７Ａは次の処理をする。
すなわち、合成処理部１７Ａは、差分画像ΔＣｒ1の特徴領域Ａ1，差分画像ΔＣｒ2の特徴領域Ａ2，差分画像ΔＣｒ3の特徴領域Ａ3における画素値を閾値ｔｈＣｒと比較し、それが閾値ｔｈＣｒより小さい領域については、特徴領域Ａ1，Ａ2，Ａ3の何れにも属さない特殊領域Ａ0とみなす。そして、合成処理部１７Ａは、インデックス画像Ｃｒindexの特殊領域Ａ0に対し、「１」，「２」，「３」以外の特殊値（以下「０」とする。）を付与する。
【００４０】
（ステップＳ６）
合成処理部１７Ａは、インデックス画像Ｙindexの中に特殊値「０」を有した画素が存在しているか否かを判別し、存在していた場合は、その画素値を、インデックス画像Ｃｂindexの同一画素座標の画素値へと置換する。
さらに、合成処理部１７Ａは、置換後のインデックス画像Ｙindexの中に特殊値「０」を有した画素が残存しているか否かを判別し、残存していた場合は、その画素値を、インデックス画像Ｃｒindexの同一画素座標の画素値へと置換し、置換後のインデックス画像Ｙindexを本インデックス画像Ｉindexとおく（図７参照）。
【００４１】
したがって、本ステップでは、インデックス画像Ｙindexの不正確性が、他のインデックス画像Ｃｂindex、Ｃｒindexによって補われ、より正確性の高い本インデックス画像Ｉindexが得られる。
このため、仮に、或る撮影画像Ｉkに含まれる動体Ｍkの一部の輝度が背景の輝度と近かったとしても、その部分の色が背景の色と異なってさえいれば、本インデックス画像Ｉindexは正確な方向へと補正される。
【００４２】
但し、補正後の本インデックス画像Ｉindexの中にも、特殊値「０」を有した画素が存在している可能性は依然としてある。なぜなら、動体には、輝度と色との双方が背景と似ている部分も存在し得るからである。
（ステップＳ７）
合成処理部１７Ａは、本インデックス画像Ｉindexに対しフィルタ処理を施す。このときに使用されるフィルタは、特徴領域Ａ1，Ａ2，Ａ3の境界線を平滑化するフィルタであって、例えば３×３画素の多数決フィルタである。多数決フィルタは、着目画素の画素値を、周辺画素の画素値の最頻度値へと置換する働きがある。
【００４３】
なお、合成処理部１７Ａは、このフィルタ処理の過程で最頻度値が特殊値「０」となったときには、最頻度値ではなく次の頻度値へと着目画素の画素値を置換するものとする。この置換によると、特殊値「０」を有する画素は、本インデックス画像Ｉindexから排除される。
また、本インデックス画像Ｉindexに対するフィルタ処理の実行回数は１であってもよいが、２以上の適当な数に設定されることが望ましい。フィルタ処理が繰り返されるに従って、本インデックス画像Ｉindex上で同じ画素値を有した画素同士（特徴領域Ａ1，Ａ2，Ａ3の各々）が徐々に密集するので、フィルタ処理後の本インデックス画像Ｉindexでは、図８に示すとおり、特徴領域Ａ1が動体Ｍ1の存在領域（図２参照）の全体をカバーし、特徴領域Ａ2が動体Ｍ2の存在領域（図２参照）の全体をカバーし、特徴領域Ａ3が動体Ｍ3の存在領域（図２参照）の全体をカバーする。
【００４４】
このような本インデックス画像Ｉindexにおいて、特徴領域Ａ1，Ａ2，Ａ3の間の境界線は、背景と動体Ｍ1との間の境界部、背景と動体Ｍ2との間の境界部、背景と動体Ｍ3との境界部には必ずしも位置していないが、動体Ｍ1と動体Ｍ2の間の境界部、動体Ｍ2と動体Ｍ3との間の境界部、動体Ｍ1と動体Ｍ3との間の境界部には確実に位置している。
なお、本ステップでは、フィルタ処理の実行回数を増やす代わりに、フィルタ処理のフィルタ径を大きくしてもよい。
【００４５】
（ステップＳ８）
合成処理部１７Ａは、フィルタ処理後の本インデックス画像Ｉindexに対しサイズ拡大処理を施し、元の撮影画像Ｉ1，Ｉ2，Ｉ3と同一サイズに揃える。前述したステップＳ１〜Ｓ３のサイズ縮小率が１６であり、拡大処理後の本インデックス画像をＩ’indexとおくと、サイズ拡大処理には、例えば以下の式が使用される。因みに、以下の式を使用したサイズ拡大処理は、水増し処理である。
【００４６】
【数７】
2008198082.tif 000009
なお、拡大処理後の本インデックス画像Ｉ’indexは、次のステップにおいて撮影画像Ｉ1，Ｉ2，Ｉ3の各々から部分画像を抽出するための抽出元マップとして使用される。
このため、本インデックス画像Ｉ’indexの画素値は、「１」，「２」，「３」の何れかを採る必要があり、「１」，「２」，「３」の中間値を採ってはならない。したがって、本ステップのサイズ拡大処理には、平均補間が適用されてはならず、もしも補間が適用されるのならば、多数決補間とする必要がある。
【００４７】
（ステップＳ９）
合成処理部１７Ａは、本インデックス画像Ｉ’indexに基づき、図９に示すとおり、撮影画像Ｉ1から特徴領域Ａ1に位置する部分画像Ｉ1・Ａ1を抽出し、撮影画像Ｉ2から特徴領域Ａ2に位置する部分画像Ｉ2・Ａ2を抽出し、撮影画像Ｉ3から特徴領域Ａ3に位置する部分画像ＡＩ3・Ａ3を抽出する。そして合成処理部１７Ａは、抽出された３つの部分画像Ｉ1・Ａ1，Ｉ2・Ａ2，Ｉ3・Ａ3を合成して１枚の合成画像Ｉを取得する。なお、ここでは画像Ｘのうち領域Ａに位置する部分画像を、Ｘ・Ａと表した。
【００４８】
但し、この際に合成処理部１７Ａは、部分画像Ｉ1・Ａ1の不透明度、部分画像Ｉ2・Ａ2の不透明度、部分画像Ｉ3・Ａ3の不透明度をそれぞれα1，α2，α3に設定する。これらの値α1，α2，α3は、ユーザが動体Ｍ1，Ｍ2，Ｍ3（図２参照）について指定した不透明度である。この概念を図にすると、図１０のとおりである。
つまり、特徴領域Ａ1に関しては、撮影画像Ｉ1に対し他の撮影画像Ｉ2，Ｉ3の平均画像（Ｉ2＋Ｉ3）／２が加重平均される。その加重平均の重み比は、ユーザの指定内容に従い、α1：（１−α1）に設定される。
【００４９】
この特徴領域Ａ1に着目すると、撮影画像Ｉ1には動体Ｍ1だけでなく背景部分も存在するが、その背景部分の絵柄は、他の撮影画像Ｉ2，Ｉ3の平均画像｛（Ｉ2＋Ｉ3）／２｝と同じである。したがって、合成画像Ｉにおける特徴領域Ａ1の絵柄は、背景上に動体Ｍ1を不透明度α1で重畳させたものとなる。
また、特徴領域Ａ2に関しては、撮影画像Ｉ2に対し他の撮影画像Ｉ1，Ｉ3の平均画像（Ｉ1＋Ｉ3）／２が加重平均される。その加重平均の重み比は、ユーザの指定内容に従い、α2：（１−α2）に設定される。
【００５０】
この特徴領域Ａ2に着目すると、撮影画像Ｉ2には動体Ｍ2だけでなく背景部分も存在するが、その背景部分の絵柄は、他方の撮影画像Ｉ1，Ｉ3の平均画像｛（Ｉ1＋Ｉ3）／２｝と同じである。したがって、合成画像Ｉにおける特徴領域Ａ2の絵柄は、背景上に動体Ｍ2を不透明度α2で重畳させたものとなる。
また、特徴領域Ａ3に関しては、撮影画像Ｉ3に対し他の撮影画像Ｉ1，Ｉ2の平均画像（Ｉ1＋Ｉ2）／２が加重平均される。その加重平均の重み比は、ユーザの指定内容に従い、α3：（１−α3）に設定される。
【００５１】
この特徴領域Ａ3に着目すると、撮影画像Ｉ3には動体Ｍ3だけでなく背景部分も存在するが、その背景部分の絵柄は、他方の撮影画像Ｉ1，Ｉ2の平均画像｛（Ｉ1＋Ｉ2）／２｝と同じである。したがって、合成画像Ｉにおける特徴領域Ａ3の絵柄は、背景上に動体Ｍ3を不透明度α3で重畳させたものとなる。
なお、本ステップにおける撮影画像Ｉ1，Ｉ2，Ｉ3の合成は、撮影画像Ｉ1，Ｉ2，Ｉ3の成分毎に行われるが、個々の成分の合成では、共通の本インデックス画像Ｉ’indexが使用される。合成画像ＩのＹ成分をＹ、合成画像ＩのＣｂ成分をＣｂ、合成画像ＩのＣｒ成分をＣｒとおくと、個々の成分の合成には以下の式が使用される。
【００５２】
【数８】
2008198082.tif 000010
すなわち、合成画像Ｉの或る画素座標（ｉ，ｊ）における画素値Ｙ（ｉ，ｊ）は、撮影画像Ｉ1，Ｉ2，Ｉ3の同一画素座標（ｉ，ｊ）における画素値Ｙ1（ｉ，ｊ），Ｙ2（ｉ，ｊ），Ｙ3（ｉ，ｊ）を、本インデックス画像Ｉ’indexの同一画素座標（ｉ，ｊ）における画素値Ｉ’index（ｉ，ｊ）に従って加重平均したものとされる。例えば、本インデックス画像Ｉ’indexの画素値Ｉ’index（ｉ，ｊ）が「１」であった場合は、画素値Ｙ1（ｉ，ｊ）と、画素値Ｙ2（ｉ，ｊ），Ｙ3（ｉ，ｊ）の平均値とが重み比α1：（１−α1）で加重平均される。また、例えば、本インデックス画像Ｉ’indexの画素値Ｉ’index（ｉ，ｊ）が「２」であった場合は、画素値Ｙ2（ｉ，ｊ）と、画素値Ｙ1（ｉ，ｊ），Ｙ3（ｉ，ｊ）の平均値とが重み比α2：（１−α2）で加重平均される。
【００５３】
同様に、合成画像Ｉの或る画素の画素値Ｃｂ（ｉ，ｊ）は、撮影画像Ｉ1，Ｉ2，Ｉ3の同一画素座標（ｉ，ｊ）における画素値Ｃｂ1（ｉ，ｊ），Ｃｂ2（ｉ，ｊ），Ｃｂ3（ｉ，ｊ）を、本インデックス画像Ｉ’indexの同一画素座標（ｉ，ｊ）における画素値Ｉ’index（ｉ，ｊ）に従って加重平均したものとされる。例えば、本インデックス画像Ｉ’indexの画素値Ｉ’index（ｉ，ｊ）が「１」であった場合は、画素値Ｃｂ1（ｉ，ｊ）と、画素値Ｃｂ2（ｉ，ｊ），Ｃｂ3（ｉ，ｊ）の平均値とが重み比α1：（１−α1）で加重平均される。また、例えば、本インデックス画像Ｉ’indexの画素値Ｉ’index（ｉ，ｊ）が「２」であった場合は、画素値Ｃｂ2と、画素値Ｃｂ1（ｉ，ｊ），Ｃｂ3（ｉ，ｊ）の平均値とが重み比α2：（１−α2）で加重平均される。
【００５４】
同様に、合成画像Ｉの或る画素の画素値Ｃｒ（ｉ，ｊ）は、撮影画像Ｉ1，Ｉ2，Ｉ3の同一画素座標（ｉ，ｊ）における画素値Ｃｒ1（ｉ，ｊ），Ｃｒ2（ｉ，ｊ），Ｃｒ3（ｉ，ｊ）を、本インデックス画像Ｉ’indexの同一画素座標（ｉ，ｊ）における画素値Ｉ’index（ｉ，ｊ）に従って加重平均したものとされる。例えば、本インデックス画像Ｉ’indexの画素値Ｉ’index（ｉ，ｊ）が「１」であった場合は、画素値Ｃｒ1（ｉ，ｊ）と、画素値Ｃｒ2（ｉ，ｊ），Ｃｒ3（ｉ，ｊ）の平均値とが重み比α1：（１−α1）で加重平均される。また、例えば、本インデックス画像Ｉ’indexの画素値Ｉ’index（ｉ，ｊ）が「２」であった場合は、画素値Ｃｒ2（ｉ，ｊ）と、画素値Ｃｒ1（ｉ，ｊ），Ｃｒ3（ｉ，ｊ）の平均値とが重み比α2：（１−α2）で加重平均される（以上、ステップＳ９の説明）。
【００５５】
以上の結果、合成処理部１７Ａは、撮影画像Ｉ1，Ｉ2，Ｉ3の各々に含まれる動体Ｍ1，Ｍ2，Ｍ3の不透明度をユーザの指定した値α1，α2，α3に制御しつつ、それら撮影画像Ｉ1，Ｉ2，Ｉ3を正しく合成することができる。それらの不透明度を１に設定すれば、その合成を不透明合成とすることもできる。
なお、本実施形態のユーザは、全ての動体の不透明度を指定したが、一部又は全ての動体の不透明度が指定されなくとも構わない。その場合、ＣＰＵ１７は、指定されなかった不透明度をデフォールトの値（例えば「１」）に設定する。
【００５６】
また、本実施形態の合成処理部１７Ａは、フィルタ処理（ステップＳ７）の過程で特殊値「０」を本インデックス画像Ｉindexから排除したが、この排除に関する処理は省略されても構わない。但し、その場合は、ステップＳ７の後段において、合成処理部１７Ａが特殊値「０」を非特殊値（「１」，「２」，「３」の何れか）へ置換する必要がある。
例えば、合成処理部１７Ａは、撮影画像Ｉ1を優先すべきときには特殊値「０」を「１」へ置換し、撮影画像Ｉ2を優先すべきときには特殊値「０」を「２」へ置換し、撮影画像Ｉ3を優先すべきときには特殊値「０」を「３」へ置換する。なお、撮影画像Ｉ1，Ｉ2，Ｉ3の何れを優先させるかについては、予めユーザに指定させてもよいし、合成処理部１７Ａが撮影画像Ｉ1，Ｉ2，Ｉ3の評価を行い自動的に決定してもよい。
【００５７】
また、本実施形態の合成処理部１７Ａは、画像合成処理の処理速度を高くするために、撮影画像に対しサイズ縮小処理（ステップＳ１〜Ｓ３）を施したが、サイズ縮小処理（ステップＳ１〜Ｓ３）を省略し、その代わりに撮影画像のサムネイル画像（撮影画像と同じ画像ファイルに格納）を使用してもよい。
また、本実施形態の合成処理部１７Ａは、画像合成処理の処理速度を高くするために、撮影画像に対しサイズ縮小処理（ステップＳ１〜Ｓ３）を施したが、処理速度が遅くても構わない場合には、サイズ縮小処理を省略してもよい。その場合、サイズ拡大処理（Ｓ８）も省略される。
【００５８】
また、本実施形態のディジタルカメラ１０では、画像合成処理の全部をＣＰＵ１７が実行したが、画像合成処理の一部又は全部をＣＰＵ１７以外の専用の回路や画像処理回路１８が実行してもよい。
また、本実施形態のディジタルカメラ１０による画像合成処理の一部又は全部の機能は、画像ストレージャやプリンタなど、ユーザインタフェースとモニタとを有した他の機器に搭載されてもよい。
【００５９】
また、本実施形態のディジタルカメラ１０による画像合成処理の一部又は全部の機能を、コンピュータに実行させてもよい。コンピュータに実行させる場合、そのためのプログラム（画像合成処理プログラム）がコンピュータのメモリ（ハードディスクなど）へ格納される。ハードディスクに対する画像合成処理プログラムのインストールは、例えばインターネットや、ＣＤ−ＲＯＭなどの記録媒体を介して行われる。
【図面の簡単な説明】
【００６０】
【図１】ディジタルカメラの構成図である。
【図２】ユーザが指定した撮影画像の例を示す図である。
【図３】合成処理部１７Ａの動作フローチャートである。
【図４】インデックス画像の作成手順（差分画像の算出まで）を説明する図である。
【図５】インデックス画像の作成手順（インデックス画像の算出まで）を説明する図である。
【図６】インデックス画像Ｙindexを説明する図である。
【図７】本インデックス画像Ｉindexを説明する図である。
【図８】フィルタ処理後の本インデックス画像Ｉindexを説明する図である。
【図９】本インデックス画像Ｉindexに基づく合成方法（不透明度が１の場合）を説明する図である。
【図１０】本インデックス画像Ｉindexに基づく合成方法（不透明度が任意の場合）を説明する図である。
【符号の説明】
【００６１】
１０…ディジタルカメラ，１１…撮影レンズ，１２…撮像素子，１３…Ａ／Ｄ変換器，１４…信号処理回路，１５…タイミングジェネレータ，１６…バッファメモリ，１７…ＣＰＵ，１７Ａ…合成処理部，１８…画像処理回路，２２…表示回路，２３…背面モニタ，２４…カードインタフェース，２４Ａ…カードメモリ，２５…操作釦
【図１】
2008198082.tif 000011
【図２】
2008198082.tif 000012
【図３】
2008198082.tif 000013
【図４】
2008198082.tif 000014
【図５】
2008198082.tif 000015
【図６】
2008198082.tif 000016
【図７】
2008198082.tif 000017
【図８】
2008198082.tif 000018
【図９】
2008198082.tif 000019
【図１０】
2008198082.tif 000020