(57)【要約】【課題】撮影した画像に含まれる複数の被写体間の重なりを少なくした画像を生成する。【解決手段】複数の画像を一定の周期で連続的に撮影する撮像部と、撮像部が撮影した画像中に存在する被写体の特徴領域を検出する被写体検出部と、異なる時間でそれぞれ撮影された２つの画像中に各々存在する被写体の互いに対応する特徴領域の面積の変化率を算出するとともに、同一の特徴領域に対する複数の変化率の平均変化率を算出する変化率算出部と、平均変化率に基づいて各画像に存在する被写体を第１被写体と該第１被写体よりも平均変化率が小さい第２被写体とに分類する被写体分類部と、複数の画像のうち第２被写体の特徴領域の数が最大の画像に対し、複数の画像のうち第１被写体の特徴領域の数が最大の画像に含まれる第１被写体の画像を、第１および第２被写体の特徴領域の合計が最大となる位置へ配置して合成する画像合成部とを備える。【選択図】        図１
2009302665.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を一定の周期で連続的に撮影する撮像部と、
前記撮像部が撮影した画像中に存在する被写体の特徴領域を検出する被写体検出部と、
異なる時間でそれぞれ撮影された２つの画像中に各々存在する被写体の互いに対応する特徴領域の面積の変化率を算出するとともに、同一の特徴領域に対する複数の変化率の平均値である平均変化率を算出する変化率算出部と、
前記変化率算出部が算出した平均変化率に基づいて前記複数の画像の各々に存在する被写体を第１被写体と該第１被写体よりも平均変化率が小さい第２被写体とに分類する被写体分類部と、
前記複数の画像のうち前記第２被写体の特徴領域の数が最も大きい画像に対し、前記複数の画像のうち前記第１被写体の特徴領域の数が最も大きい画像に含まれる前記第１被写体の画像を、前記第１および第２被写体の特徴領域の合計が最大となる位置へ配置して合成する画像合成部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記画像合成部は、
前記複数の画像のうち前記第２被写体の特徴領域の数が最も大きい画像に合成する前記第１被写体の画像を、当該第１の被写体のもとの画像における位置と同じ位置から並進移動可能な位置に配置することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記画像合成部は、
合成対象の前記第１被写体が複数存在する場合、該複数の前記第１被写体の相互の位置関係を維持したまま各第１被写体を配置することを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記変化率算出部は、
異なる時間でそれぞれ撮影された２つの画像中に各々存在する被写体の互いに対応する特徴領域の代表点の画像間の移動量を算出するとともに、同一の特徴領域の代表点の画像間の移動量の平均値である平均移動量を算出し、
前記被写体分類部は、
前記変化率算出部が算出した平均移動量をさらに用いることにより、前記複数の画像の各々に存在する被写体を分類することを特徴とする請求項１〜３のいずれか一項記載の撮像装置。
【請求項５】
一定の周期で連続的に画像を撮影する機能を有し、撮影した画像から生成した画像データを記憶する記憶部を備えた撮像装置に、
画像を撮影する撮影ステップ、
前記撮影ステップで撮影した画像中に存在する被写体の特徴領域を検出する被写体検出ステップ、
前記被写体検出ステップで検出した被写体と１周期前の前記撮影ステップで撮影された画像中に存在する被写体との間で互いに対応する特徴領域の面積の変化率を算出する変化率算出ステップ、
前記撮影ステップから前記変化率算出ステップに至る処理を繰り返し行った後、前記変化率算出ステップで算出した同一の特徴領域に対する複数の変化率の平均値である平均変化率を算出する平均変化率算出ステップ、
前記平均変化率算出ステップで算出した平均変化率に基づいて前記複数の画像の各々に存在する被写体を第１被写体と該第１被写体よりも平均変化率が小さい第２被写体とに分類する被写体分類ステップ、
前記複数の画像のうち前記第２被写体の特徴領域の数が最も大きい画像の画像データを前記記憶部から読み出し、この読み出した画像データに対応する画像に対し、前記複数の画像のうち前記第１被写体の特徴領域の数が最も大きい画像に含まれる前記第１被写体の画像を、前記第１および第２被写体の特徴領域の合計が最大となる位置へ配置して合成する画像合成ステップ、
を実行させることを特徴とする撮像装置用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の視野領域の画像を撮像して画像データを生成する撮像装置および撮像装置用プログラムに関する。
【背景技術】
【０００２】
所定の視野領域の画像を撮像してデジタルの画像データを生成するデジタルカメラ等の撮像装置は、フィルムカメラとは異なり、撮影した画像の修正や合成を容易に行うことができる。このような撮像装置を用いた技術として、複数の静止画像の各々を、各静止画像の分割領域が同一となるように分割し、分割領域ごとに画像間の相関が高い画像のうちの一枚を選択し、この選択した画像を合成して一枚の静止画像を作成する技術が開示されている（例えば、特許文献１を参照）。この技術によれば、画像中に含まれる不要な動体物の画像を容易にかつ短時間で除去することができる。
【０００３】
また、携帯電話の背面側と正面側にそれぞれ設けられた二つの撮像部によってそれぞれ撮影した風景と撮影者の二つの画像を合成し、風景を背景とした撮影者の画像を生成する技術も開示されている（例えば、特許文献２を参照）。
【０００４】
【特許文献１】特開２００２−２８８６７４号公報
【特許文献２】特開２００５−２０４０１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、撮影を行う場合には、撮影者と被写体との位置関係が制約を受ける場合がある。例えば、大勢の人がいる中で特定の建物や像などの静止物を背景の一部として人物を撮影する場合には、撮影者と人物がともに移動することが難しいため、人物と静止物が重なった画像しか撮影することができない状況が起こり得る。このような状況下において、上述した従来技術では、人物と静止物の重なりを少なくする手立てがなく、背景の一部を構成する被写体の写り具合を犠牲にした画像を撮影せざるを得なかった。
【０００６】
本発明は、上記に鑑みてなされたものであって、画像に含まれる複数の被写体間の重なりを少なくした画像を生成することができる撮像装置および撮像装置用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、複数の画像を一定の周期で連続的に撮影する撮像部と、前記撮像部が撮影した画像中に存在する被写体の特徴領域を検出する被写体検出部と、異なる時間でそれぞれ撮影された２つの画像中に各々存在する被写体の互いに対応する特徴領域の面積の変化率を算出するとともに、同一の特徴領域に対する複数の変化率の平均値である平均変化率を算出する変化率算出部と、前記変化率算出部が算出した平均変化率に基づいて前記複数の画像の各々に存在する被写体を第１被写体と該第１被写体よりも平均変化率が小さい第２被写体とに分類する被写体分類部と、前記複数の画像のうち前記第２被写体の特徴領域の数が最も大きい画像に対し、前記複数の画像のうち前記第１被写体の特徴領域の数が最も大きい画像に含まれる前記第１被写体の画像を、前記第１および第２被写体の特徴領域の合計が最大となる位置へ配置して合成する画像合成部と、を備えたことを特徴とする。
【０００８】
また、本発明に係る撮像装置は、上記発明において、前記画像合成部は、前記複数の画像のうち前記第２被写体の特徴領域の数が最も大きい画像に合成する前記第１被写体の画像を、当該第１の被写体のもとの画像における位置と同じ位置から並進移動可能な位置に配置することを特徴とする。
【０００９】
また、本発明に係る撮像装置は、上記発明において、前記画像合成部は、合成対象の前記第１被写体が複数存在する場合、該複数の前記第１被写体の相互の位置関係を維持したまま各第１被写体を配置することを特徴とする。
【００１０】
また、本発明に係る撮像装置は、上記発明において、前記変化率算出部は、異なる時間でそれぞれ撮影された２つの画像中に各々存在する被写体の互いに対応する特徴領域の代表点の画像間の移動量を算出するとともに、同一の特徴領域の代表点の画像間の移動量の平均値である平均移動量を算出し、前記被写体分類部は、前記変化率算出部が算出した平均移動量をさらに用いることにより、前記複数の画像の各々に存在する被写体を分類することを特徴とする。
【００１１】
また、本発明に係る撮像装置用プログラムは、一定の周期で連続的に画像を撮影する機能を有し、撮影した画像から生成した画像データを記憶する記憶部を備えた撮像装置に、画像を撮影する撮影ステップ、前記撮影ステップで撮影した画像中に存在する被写体の特徴領域を検出する被写体検出ステップ、前記被写体検出ステップで検出した被写体と１周期前の前記撮影ステップで撮影された画像中に存在する被写体との間で互いに対応する特徴領域の面積の変化率を算出する変化率算出ステップ、前記撮影ステップから前記変化率算出ステップに至る処理を繰り返し行った後、前記変化率算出ステップで算出した同一の特徴領域に対する複数の変化率の平均値である平均変化率を算出する平均変化率算出ステップ、前記平均変化率算出ステップで算出した平均変化率に基づいて前記複数の画像の各々に存在する被写体を第１被写体と該第１被写体よりも平均変化率が小さい第２被写体とに分類する被写体分類ステップ、前記複数の画像のうち前記第２被写体の特徴領域の数が最も大きい画像の画像データを前記記憶部から読み出し、この読み出した画像データに対応する画像に対し、前記複数の画像のうち前記第１被写体の特徴領域の数が最も大きい画像に含まれる前記第１被写体の画像を、前記第１および第２被写体の特徴領域の合計が最大となる位置へ配置して合成する画像合成ステップ、を実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、一定の周期で連続的に撮影した画像中にそれぞれ含まれる被写体の特徴領域の面積の変化率に基づいて被写体を第１被写体と該第１被写体よりも変化率が小さい第２被写体とに分類し、連続的に撮影した複数の画像のうち第２被写体の特徴領域の数が最も大きい画像に対し、その複数の画像のうち第１被写体の特徴領域の数が最も大きい画像に含まれる第１被写体の画像を、第１および第２被写体の特徴領域の合計が最大となる位置へ配置して合成するため、撮影した画像に含まれる複数の被写体間の重なりを少なくした画像を生成することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、添付図面を参照して本発明を実施するための最良の形態（以後、「実施の形態」と称する）を説明する。図１は、本発明の一実施の形態に係る撮像装置の構成を示す図である。同図に示す撮像装置１は、所定の視野領域を撮像して画像データを生成する撮像部２、撮像部２の視野領域の状態を検出するセンサ部３、撮像部２が出力した画像データに対して画像処理を施す画像処理部４、画像処理部４が出力する画像データを含む情報を表示する表示部５、表示部５の表示を制御する表示制御部６、画像データの圧縮および伸張を行う圧縮伸張部７、撮像装置１に外部から装着されるメモリカード等の記録媒体１００に対して画像データ等の情報を記録する一方、記録媒体１００が記録する情報を読み出す記録媒体インターフェース８、撮像装置１の操作指示信号が入力される入力部９、各種情報の音声出力を行う音声出力部１０、撮像領域へ向けて補助光を投射する補助光投射部１１、撮像装置１の動作を制御する制御部１２、撮像装置１の動作に関する各種情報を記憶する記憶部１３を備える。
【００１４】
撮像部２は、所定の視野領域にある被写体からの光を集光する撮影レンズ２１、撮影レンズ２１が集光した光の入射量を調整する絞り２２、絞り２２を通過した入射光を受光して電気信号に変換するＣＣＤ等の撮像素子２３、撮像素子２３から出力されるアナログ信号に対して感度補正やホワイトバランスを含む各種処理を施すアナログ信号処理部２４、アナログ信号処理部２４が出力した信号からデジタルの画像データを生成するＡ／Ｄ変換部２５を有する。このうち、撮影レンズ２１は、一または複数のレンズによって構成される光学系であり、レンズ駆動部１４によって駆動される。また、絞り２２は絞り駆動部１５によって駆動される。
【００１５】
撮像部２は高速で駆動することができ、一定の周期で連続的に撮影を行う機能を有する。具体的には、撮像部２は、１秒当たり１５〜６０コマ程度の画像を連続して撮影することができる。また、撮像部２では、絞り駆動部１５が絞り２２を小さくして焦点の深度を深くすることにより、撮影レンズ２１からの距離が異なる複数の被写体にピント合わせを行うことができる。
【００１６】
画像処理部４は、撮像部２が一定の周期で連続的に撮影した複数の画像の画像パターンに基づいて各画像中に存在する被写体の特徴領域を検出する被写体検出部４１、異なる時間でそれぞれ撮影された２つの画像中に各々存在する被写体の互いに対応する特徴領域の面積の変化率を算出するとともに、同一の特徴領域に対する複数の変化率の平均値である平均変化率を算出する変化率算出部４２、変化率算出部４２が算出した平均変化率に基づいて複数の画像の各々に存在する被写体を第１被写体と該第１被写体よりも平均変化率が小さい第２被写体とに分類する被写体分類部４３、複数の画像のうち第２被写体の特徴領域の数が最も大きい画像に対し、複数の画像のうち第１被写体の特徴領域の数が最も大きい画像に含まれる第１被写体の画像を、第１および第２被写体の特徴領域の合計が最大となる位置へ配置して合成する画像合成部４４を有する。
【００１７】
入力部９は、撮像装置１の電源ボタン、撮像指示を与えるシャッターボタン、撮像装置１が有する各種動作モータの切替を行うモード切替ボタン、画像データの再生や編集の指示を含む制御ボタンなどを有する。入力部９を構成する各種ボタンの少なくとも一部を、十字キーやタッチパネルを用いて実現することも可能である。
【００１８】
制御部１２は、撮影日時の判定等を行う時計１２１を有しており、センサ部３の検知結果や入力部９によって入力された操作指示信号に応じて撮像装置１の動作を制御する。制御部１２はＭＰＵ等を用いて実現され、制御対象の各部とバスラインを介して接続されている。
【００１９】
記憶部１３は、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部１３１、画像処理部４の被写体検出部４１が被写体の特徴領域を検出する際に照合する画像パターンを記憶するパターン記憶部１３２、撮像部２が連続的に撮影した画像の画像データを記憶する連続撮影画像記憶部１３３、変化率算出部４２が算出した変化率等のデータを記憶する変化率記憶部１３４、被写体分類部４３が分類した被写体の情報を記憶する被写体情報記憶部１３５を有する。プログラム記憶部１３１には、本実施の形態に係る撮像装置用プログラムも記憶されている。記憶部１３は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ等の半導体メモリなどを用いて実現される。
【００２０】
以上の構成を有する撮像装置１では、通常の撮影モードや再生モードの他に、撮影後に少なくとも一部の被写体の配置を変更した画像を生成する被写体配置変更モードに設定することができる。被写体配置変更モードとは、より具体的には、入力部９のレリーズボタンが押し続けられている間、撮像部２が一定の周期で画像を連続的に撮影し、この連続的に撮影した画像に基づいて少なくとも一部の被写体の配置を変更した画像を生成するモードのことである。撮像装置１が被写体配置モードに設定されている場合には、連続的に撮影する画像が互いに相関を有しつつも異なる画像であることが前提となる。このため、撮像装置１が被写体配置モードに設定されている場合、撮影者には、レリーズボタンを押しながら撮像装置１を被写体側へ直線的に近づけていくかまたは被写体側から直線的に遠ざけていく動作を行うことが要求される。
【００２１】
図２は、被写体配置変更モードに設定された撮像装置１の適用が想定される状況を上方から見た模式図である。図２において、撮像装置１の被写体は、人物Ｈと犬の銅像Ｄ（以後、単に「銅像Ｄ」という）である。撮影者Ｐの周囲には多くの人物Ｃがおり、撮影者Ｐは図２で左右方向に移動することが難しい。また、銅像Ｄは図２で上側にくぼんでいる狭い領域の中に置かれているため、人物Ｈが移動したとしても撮像装置１が撮像している画像中で人物Ｈと銅像Ｄが重ならないようにすることはできない。図３は、撮像装置１が図２の位置ａにある時に表示部５が表示するスルー画像の表示例を示す図である。図３に示すスルー画像２０１では、銅像Ｄの一部が人物Ｈの肩越しに重なって人物Ｈの背後に隠れている。
【００２２】
図２に示す状況下において、撮影者Ｐは、撮像装置１を被写体配置変更モードに設定した状態で、入力部９のレリーズボタンを押しながら、撮像装置１を図２の位置ａから位置ｃまで直線的に動かすことにより、人物Ｈと銅像Ｄとの重なりを少なくした画像を作成する。
【００２３】
以下、図４に示すフローチャートを参照して、被写体配置変更モードに設定された撮像装置１が行う処理を詳細に説明する。まず、撮影者Ｐによって入力部９のレリーズボタンが押される（ステップＳ１，Ｙｅｓ）と、撮像部２は撮像中の画像を撮影する（ステップＳ２）。撮影した画像の画像データは、記憶部１３の連続撮影画像記憶部１３３に書き込まれる。撮像装置１は被写体配置変更モードに設定されているため、撮影者Ｐによってレリーズボタンが押し続けられている間、撮像部２は一定の周期で連続して撮影を行う。なお、撮像装置１は、レリーズボタンが押されるまで待機状態にある（ステップＳ１，Ｎｏ）。
【００２４】
続いて、被写体検出部４１は、撮影した画像中に存在する被写体の特徴領域を検出する（ステップＳ３）。具体的には、被写体検出部４１は、例えば、エッジ、コーナーなどを含む輝度変化の大きい領域を特徴領域として複数個所検出する。また、撮影される被写体のパターンが予め分っている場合（例えば、人の顔など）には、パターン記憶部１３２が記憶している画像パターンとのマッチングを行って特徴領域を検出しても良い。被写体検出部４１が検出した被写体の情報は、被写体情報記憶部１３５に書き込まれる。
【００２５】
撮像部２による撮影がレリーズ後の１回目の撮影である場合（ステップＳ４，Ｙｅｓ）、撮像装置１はステップＳ２に戻り、１回目の撮影から１周期分の時間が経過した時点で２回目の撮影を行う。
【００２６】
一方、撮像部２による撮影がレリーズ後の２回目以降の撮影である場合（ステップＳ４，Ｎｏ）、変化率算出部４２は、最新の撮影済み画像とこの画像の１周期前に撮影した画像との間で互いに対応する特徴領域を探索し、探索によって得られた互いに対応する特徴領域間の面積の変化率を算出する（ステップＳ５）。変化率算出部４２は、異なる時間で撮影された二つの画像間で対応する特徴領域を探索する際、例えばスケールフリーの対応点探索方法を適用する。
【００２７】
ステップＳ５において変化率算出部４２が算出する特徴領域の面積の変化率は、最新の撮影画像における特徴領域の面積Ｓnewとその１周期前に撮影した画像において対応する特徴領域の面積Ｓoldとの差ΔＳ＝Ｓnew−Ｓoldを１周期前に撮影した画像における特徴領域の面積Ｓoldで割った値の絶対値｜ΔＳ／Ｓold｜である。ここで変化率が絶対値によって定義されているのは、撮像装置１を反対側に動かして撮影した場合など、特徴領域の面積が小さくなる場合も考慮する必要があるからである。上述した変化率の定義からも明らかなように、変化率算出部４２は、最新の撮影済み画像とその１周期前の撮影済み画像の両方に特徴領域が存在している場合のみ、面積の変化率を算出することができる。
【００２８】
続いて、変化率算出部４２は、ステップＳ５で算出した変化率に基づいて、撮像装置１の位置が変化しているか否かの判定を行う（ステップＳ６）。ここで変化率算出部４２は、ステップＳ５で算出した特徴領域の面積の変化率のうち所定の閾値以上の変化率の有無を判定する。このステップＳ６で参照する閾値は、撮像装置１の位置が変化していると見なすことができる値であればよい。
【００２９】
変化率算出部４２が判定した結果、閾値以上の変化率がない場合（ステップＳ６，Ｎｏ）、撮像装置１は移動を促す警告を出力する（ステップＳ７）。このステップＳ７では、表示部５から「撮像装置を動かしてください」という文字メッセージを出力してもよいし、音声出力部１０から音声メッセージを出力してもよい。また、表示部５や表示部５とは別に設けられた発光部を所定の方式で点灯させることによって警告を出力してもよい。
【００３０】
撮像装置１が警告を出力した後、レリーズが解除された場合（ステップＳ８，Ｙｅｓ）、撮像装置１は処理を終了する。他方、撮像装置１が警告を出力した後、レリーズが解除されなければ（ステップＳ８，Ｎｏ）、撮像装置１はステップＳ２に戻る。
【００３１】
ステップＳ６で変化率算出部４２が判定した結果、閾値以上の変化率がある場合（ステップＳ６，Ｙｅｓ）、入力部９のレリーズボタンが押された状態にあれば（ステップＳ９，Ｎｏ）、撮像装置１はステップＳ２に戻る。これに対して、変化率算出部４２が判定した結果、閾値以上の変化率があり（ステップＳ６，Ｙｅｓ）、かつ入力部９のレリーズボタンが解除されている場合（ステップＳ９，Ｙｅｓ）、撮像装置１は撮影を終了して後述するステップＳ１０へ進む。
【００３２】
ここで、図５〜図７を参照して、撮像装置１が図２に示す状況下で上記ステップＳ１〜Ｓ９の処理を行う場合を説明する。図５は、図２に示す状況下で撮影者Ｐが撮像装置１を図２の位置ａから位置ｃまで移動させる間に連続的に撮影した画像を示す図である。図５では、図２の位置ａ、ｂ、ｃにおいて画像２０２、２０３、２０４が順次撮影された場合を示している。これらの画像２０２〜２０４において、人物Ｈの大きさは、画像２０２よりも画像２０３の方が明らかに大きくなっており、画像２０４では人物Ｈが写っていない。一方、銅像Ｄの大きさは３つの画像でほとんど変わっていない。
【００３３】
画像２０２を撮影した後の１回目のステップＳ２の処理において、被写体検出部４１は、人物Ｈと銅像Ｄを被写体として検出する。また、画像２０３を撮影した後の２回目のステップＳ２の処理において、被写体検出部４１は、１回目と同様に人物Ｈと銅像Ｄを被写体として検出する。これに対し、画像２０４を撮影した後の３回目のステップＳ２の処理において、被写体検出部４１は、銅像Ｄのみを被写体として検出する。
【００３４】
図６は、図５に示すように連続的に撮影された画像における特徴領域の面積の変化を模式的に示す図である。図６において、画像２０２における人物Ｈの特徴領域ＳＨ1〜ＳＨ3は画像２０３の特徴領域ＳＨ'1〜ＳＨ'3にそれぞれ対応する一方、画像２０２における銅像Ｄの特徴領域ＳＤ1〜ＳＤ3は画像２０３の特徴領域ＳＤ'1〜ＳＤ'3にそれぞれ対応している。画像２０３では、画像２０２が有する人物Ｈの顔と銅像Ｄの顔の重なりが解消されており、銅像Ｄに新たな特徴領域ＳＤ'4が生じている。画像２０３における銅像Ｄの特徴領域ＳＤ'1〜ＳＤ'4は画像２０４の特徴領域ＳＤ''1〜ＳＤ''4にそれぞれ対応している。画像２０４では人物Ｈが写っていないため、人物Ｈの特徴領域は存在しない。また、画像２０４では、銅像Ｄの新たな特徴領域ＳＤ''5が生じている。このように、銅像Ｄの特徴領域の数は、時間的に後で撮影した画像ほど多くなっている。なお、図６では、図面の記載を簡単にするために一部の特徴領域のみを表示しているが、銅像Ｄの特徴領域の数が時間的に後で撮影した画像ほど多いことに変わりはない。
【００３５】
図６では、被写体として検出されなかった背景の特徴領域ＳＢの変化も示している。画像２０２における背景の特徴領域ＳＢは、画像２０３における背景の特徴領域ＳＢ'に対応している。また、画像２０３における背景の特徴領域ＳＢ'は、画像２０４の特徴領域ＳＢ''に対応している。
【００３６】
図７は、変化率算出部４２による変化率の算出結果を示す図である。同図に示すテーブル３０１では、画像２０２と画像２０３との間で対応する特徴領域の面積の変化率をＲ1とし、画像２０３と画像２０４との間で対応する特徴領域の面積の変化率をＲ2としている。変化率算出部４２は、２回目のステップＳ５の処理において変化率Ｒ1を算出する一方、３回目のステップＳ５の処理において変化率Ｒ2を算出する。
【００３７】
テーブル３０１に示す場合、例えば銅像Ｄの画像２０３における特徴領域ＳＤ'4に対応する特徴領域は画像２０２に存在しないため、変化率算出部４２は特徴領域ＳＤ'4に対応する変化率Ｒ1を算出しない。また、銅像Ｄの画像２０４における特徴領域ＳＤ''5に対応する特徴領域は画像２０２、２０３に存在しないため、変化率算出部４２は特徴領域ＳＤ''5に対応する変化率Ｒ1、Ｒ2を算出しない。さらに、人物Ｈは画像２０４に含まれないため、変化率算出部４２は人物Ｈの特徴領域に対応する変化率Ｒ2を算出しない。
【００３８】
続いて、ステップＳ１０以降の処理について説明する。変化率算出部４２は、特徴領域ごとに算出した複数の変化率の被写体または背景ごとの平均値（平均変化率）を計算し、この計算した平均変化率を変化率記憶部１３４に書き込む（ステップＳ１０）。図７に示すテーブル３０１では、平均変化率をＲとしており、人物Ｈの特徴領域における平均変化率が０．５０、銅像Ｄの特徴領域における平均変化率が０．１９、背景の平均変化率が０．０１とそれぞれ算出された場合を示している。
【００３９】
この後、被写体分類部４３が変化率記憶部１３４から各被写体の平均変化率を読み出し、この読み出した平均変化率に基づいて被写体の分類を行う（ステップＳ１１）。図８は、被写体分類部４３が被写体を分類する際に被写体情報記憶部１３５から読み出して参照する被写体の種類と平均変化率Ｒとの関係を示す図である。図８に示すテーブル３０２では、平均変化率Ｒが０．３以上の被写体を第１被写体と定義する一方、平均変化率Ｒが０．１以上０．３未満の被写体を第２被写体と定義している。被写体分類部４３は、テーブル３０２を参照することにより、人物Ｈ（Ｒ＝０．５０）を第１被写体と分類する一方、銅像Ｄ（Ｒ＝０．１９）を第２被写体と分類する。このようにして被写体分類部４３が特徴領域の面積の変化率の大きさに基づいた被写体の分類を行うことにより、撮像装置１からの距離に応じた被写体の弁別を行うことが可能となる。
【００４０】
ところで、テーブル３０２では、平均変化率Ｒが０以上０．１未満である被写体が背景と定義されている。このため、被写体分類部４３は、被写体検出部４１が被写体と判定したものであっても、平均変化率Ｒが０．１未満であれば背景と分類することとなる。この点に鑑み、ステップＳ７において撮像装置１が移動しているか否かを判定する際の変化率の閾値を０．１と設定することも可能である。なお、第１被写体、第２被写体、背景を分類するための変化率の境界値の設定を、入力部９からの入力によって変更することができるようにしてもよい。
【００４１】
この後、画像合成部４４は、互いに異なる画像に含まれる第１被写体と第２被写体を合成した画像を生成する（ステップＳ１２）。図９は、図２に示す状況下において連続的に撮影された画像を用いて行う画像合成部４４の処理の概要を説明する図である。画像合成部４４は、撮像部２が連続的に撮影した複数の画像のうち銅像Ｄの特徴領域の数が最も大きい画像である画像２０４に対し、その複数の画像のうち人物Ｈの特徴領域の数が最も大きい画像である画像２０２に含まれる人物Ｈの画像２０５を重ね合わせた画像２０６を生成する。この後、画像合成部４４は、画像２０６における人物Ｈの位置を、人物Ｈの特徴領域の数と銅像Ｄの特徴領域の数の合計が最大となる位置に並進移動させる。図９に示す場合、画像合成部４４は、人物Ｈを水平左方向に並進移動させることにより、人物Ｈと銅像Ｄが重なり合わず、銅像Ｄの全体が写っている画像２０７を合成する。図１０は、このようにして合成された合成画像２０８の表示例を示す図である。
【００４２】
なお、図９に示す場合、銅像Ｄ（第２被写体）の特徴領域の数が最も大きい画像である画像２０４には人物Ｈ（第１被写体）が写っていないが、より一般には第２被写体の特徴領域の数が最も大きい画像に第１被写体が存在している場合もある。この場合、画像合成部４４は、その第１被写体の画像を除去した後、第１被写体の特徴領域の数が最も大きい画像に存在する第１被写体の画像を上記同様に合成する。
【００４３】
画像合成部４４が生成した合成画像２０８の画像データは、圧縮伸張部７で所定のサイズに圧縮し、この圧縮した画像データを記録媒体インターフェース８によって記録媒体１００へ記録される（ステップＳ１３）。
【００４４】
以上説明した本発明の一実施の形態によれば、一定の周期で連続的に撮影した画像中にそれぞれ含まれる被写体の特徴領域の面積の変化率に基づいて被写体を第１被写体と該第１被写体よりも変化率が小さい第２被写体とに分類し、連続的に撮影した複数の画像のうち第２被写体の特徴領域の数が最も大きい画像に対し、その複数の画像のうち第１被写体の特徴領域の数が最も大きい画像に含まれる第１被写体の画像を、第１および第２被写体の特徴領域の合計が最大となる位置へ配置して合成するため、撮影した画像に含まれる複数の被写体間の重なりを少なくした画像を生成することが可能となる。
【００４５】
また、本実施の形態によれば、第１被写体をもとの画像における位置と同じ位置から並進移動させることによって合成画像を生成しているため、第１被写体の上下方向が変化してしまうことがない。したがって、合成された画像が不自然な構図になってしまうのを防止することができる。
【００４６】
上述した撮像装置１の処理は、図２以外の状況にも適用することができる。図１１は、被写体配置変更モードに設定された撮像装置１の適用が想定される別の状況を示す模式図である。図１１では、銅像Ｄの前に二人の人物Ｈ１、Ｈ２が横に並んで立っており、この３者を被写体として人物Ｈ２がノーファインダー撮影を行う場合を示している。図１１に示す状況下で、人物Ｈ２は、撮像装置１を被写体配置変更モードに設定した状態で、入力部９のレリーズボタンを押し続けながら、撮像装置１を図１１の位置ｄから位置ｆまで直線的に動かす（図１１の矢印を参照）。
【００４７】
図１２は、図１１に示す状況下で人物Ｈ２が撮像装置１を移動させている間に撮像装置１が連続的に撮影した画像を示す図である。このうち、撮像装置１が位置ｄで最初に撮影した画像２０９には銅像Ｄしか写っていない。また、撮像装置１が位置ｅで２回目に撮影した画像２１０には人物Ｈ１、Ｈ２の顔と肩の一部が写っており、銅像Ｄの一部が隠れている。また、撮像装置１が位置ｆで３回目に撮影した画像２１１には人物Ｈ１、Ｈ２の顔が写っており、３枚の画像の中で銅像Ｄが最も隠れた状態となっている。
【００４８】
被写体検出部４１は、画像２０９に対する１回目の被写体検出処理において、銅像Ｄのみを被写体として検出する。また、被写体検出部４１は、画像２１０に対する２回目の被写体検出処理および画像２１１に対する３回目の被写体検出処理において、人物Ｈ１、Ｈ２および銅像Ｄを被写体としてそれぞれ検出する。その後、被写体分類部４３は、人物Ｈ１、Ｈ２を第１被写体と分類する一方、銅像Ｄを第２被写体と分類する。
【００４９】
図１３は、図１１に示す状況下で画像合成部４４が行う処理の概要を示す図である。画像合成部４４は、撮像部２が連続的に撮影した複数の画像のうち銅像Ｄの特徴領域の数が最も大きい画像である画像２０９の銅像Ｄに対し、その複数の画像のうち人物Ｈ１、Ｈ２の特徴領域の数の和が最も大きい画像である画像２１１に含まれる人物Ｈ１、Ｈ２を重ね合わせた画像２１２を合成した後、人物Ｈ１、Ｈ２の相互の位置関係を維持したまま人物Ｈ１、Ｈ２および銅像Ｄの特徴領域の合計が最大となる位置に人物Ｈ１、Ｈ２を並進移動させた画像２１３を生成している。具体的には、図１３に示す場合、人物Ｈ１、Ｈ２の特徴領域が各人物の顔の方に比較的集中しているため、画像合成部４４は人物Ｈ１、Ｈ２の顔が画面からはみ出さない範囲で人物Ｈ１、Ｈ２を図の下方に並進移動させ、人物Ｈ１、Ｈ２の特徴領域の数の減少を抑えつつ、銅像Ｄの特徴領域の数を増加させることにより、全ての特徴領域の総数が最大となる画像を合成している。図１４は、画像合成部４４が合成した合成画像２１４の表示例を示す図である。
【００５０】
このように、画像合成部４４が複数の第１被写体の相互の位置関係を維持したままで画像の合成を行う場合には、第１被写体の配置を容易に決定することができる。
【００５１】
なお、画像合成部４４が、複数の第１被写体を独立に並進移動させることができるようにすることも可能である。この場合には、より多様な合成画像を実現することができる。
【００５２】
（変形例）
図１５は、本発明の一実施の形態の変形例に係る撮像装置が備える変化率算出部が行う処理の概要を示す図である。本変形例に係る撮像装置の構成は、上述した撮像装置１の構成と同様である。また、図１５では、図２に示す状況下で上記一実施の形態と同様の撮影を行った場合の変化率算出部による処理の概要を示している。
【００５３】
本変形例において、変化率算出部４２は、異なる時間でそれぞれ撮影された２つの画像中で対応する特徴領域の面積の変化率に加えて、その対応する特徴領域の代表点の２つの画像間の移動量を算出する。図１５に示す場合、変化率算出部４２は、正方形状の特徴領域の代表点としてその正方形の中心をとり、この中心の画像間の移動量（図中の矢印を参照）をピクセル数で算出している。
【００５４】
図１６は、変化率算出部４２が算出した特徴領域の代表点の画像間の移動量を示す図である。同図に示すテーブル３０３において、移動量Δｒ1は、画像２０２と画像２０３との間における各特徴領域の代表点の移動量を示している。また、移動量Δｒ2は、画像２０３と画像２０４との間における各特徴領域の代表点の移動量を示している。テーブル３０３に示す場合、例えば銅像Ｄの画像２０３における特徴領域ＳＤ'4に対応する特徴領域は画像２０２に存在しないため、変化率算出部４２は特徴領域ＳＤ'4に対応する移動量Δｒ1を算出しない。また、銅像Ｄの画像２０４における特徴領域ＳＤ''5に対応する特徴領域は画像２０２、２０３に存在しないため、変化率算出部４２は特徴領域ＳＤ''5に対応する移動量Δｒ1、Δｒ2を算出しない。また、人物Ｈは画像２０４に含まれないため、人物Ｈの特徴領域に関しては移動量Δｒ2を算出しない。
【００５５】
テーブル３０３のΔｒは、被写体および背景ごとの特徴領域の代表点の画像間の移動量の平均値（平均移動量）であり、人物Ｈの平均移動量は１２０ピクセル、銅像Ｄの平均移動量は５２ピクセル、背景Ｂの平均移動量は０ピクセルとそれぞれ算出されている。
【００５６】
図１７は、被写体分類部４３が被写体を分類する際に参照する被写体の種別と特徴領域の平均移動量との関係を示す図である。同図に示すテーブル３０４では、平均移動量Δｒが１００ピクセル以上の被写体を第１被写体と定義する一方、平均移動量Δｒが２０ピクセル以上１００ピクセル未満の被写体を第２被写体と定義している。また、テーブル３０４では、平均移動量Δｒが０ピクセル以上２０ピクセル未満である被写体を背景と定義している。したがって、被写体分類部４３は、図１６に示す算出結果の場合、人物Ｈ（Δｒ＝１２０）を第１被写体と分類する一方、銅像Ｄ（Δｒ＝５２）を第２被写体と分類する。
【００５７】
被写体分類部４３が被写体を分類する際、特徴領域の面積の変化率に基づく分類結果と特徴領域の代表点の移動量に基づく分類結果が異なる場合には、予めどちらの分類結果を優先するかを設定しておけばよい。
【００５８】
被写体分類部４３が被写体を分類した後に続く処理は、上述した一実施の形態と同じである（図４を参照）。
【００５９】
以上説明した本発明の一実施の形態の変形例によれば、被写体分類部は、特徴領域の面積の変化率に加えて特徴領域の代表点の画像間の移動量を用いることによって被写体の分類を行うため、被写体の移動をより確実に追尾することができ、画像中に含まれる被写体の分類をさらに精度よく行うことができる。
【００６０】
（その他の実施の形態）
本発明において、画像合成部が画像を合成した後、撮影者が表示部で合成画像を見ながら第１被写体や第２被写体の位置や大きさを入力部からの入力によってさらに調整することができるようにしてもよい。これにより、撮影者の意図を反映した構図を有する画像を生成することができる。
【００６１】
また、本発明において、画像合成部が第２被写体の位置を再配置することができるようにしてもよい。これにより、画面上での第１被写体と第２被写体とのバランスを考慮した合成画像を生成することができる。
【００６２】
また、本発明において、画像中の明暗のコントラストを算出し、画像を合成する際にコントラストの値が小さい背景領域に第１被写体を配置するようにしてもよい。
【００６３】
また、本発明において、被写体検出部が被写体の特徴領域を検出する際には、パターンマッチング以外の手法を適用してもよい。
【００６４】
なお、本発明に係る撮像装置用プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＭＯディスク、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。
【００６５】
このように、本発明は、ここでは記載していない様々な実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的思想を逸脱しない範囲内において種々の設計変更等を施すことが可能である。
【図面の簡単な説明】
【００６６】
【図１】本発明の一実施の形態に係る撮像装置の構成を示す図である。
【図２】本発明の一実施の形態に係る撮像装置が被写体配置変更モードに設定された場合に適用が想定される状況を示す模式図である。
【図３】本発明の一実施の形態に係る撮像装置が被写体配置変更モードに設定された状態で撮影を開始する時のスルー画像の表示例を示す図である。
【図４】本発明の一実施の形態に係る撮像装置が被写体配置変更モードに設定された場合に撮像装置が行う画像処理方法の概要を示すフローチャートである。
【図５】本発明の一実施の形態に係る撮像装置が図２に示す状況下で連続的に撮影した画像を示す図である。
【図６】連続的に撮影された画像における特徴領域の面積の変化を模式的に示す図である。
【図７】変化率算出部が算出した異なる画像間の特徴領域の面積の変化率を示す図である。
【図８】被写体分類部が被写体を分類する際に参照する被写体の種類と特徴領域の変化率との関係を示す図である。
【図９】画像合成部が行う処理の概要を示す図である。
【図１０】画像合成部が合成した合成画像の表示例を示す図である。
【図１１】本発明の一実施の形態に係る撮像装置が被写体配置変更モードに設定された場合に適用が想定される別の状況を示す模式図である。
【図１２】本発明の一実施の形態に係る撮像装置が図１１に示す状況下で連続的に撮影した画像を示す図である。
【図１３】図１１に示す状況下で画像合成部が行う処理の概要を示す図である。
【図１４】図１１に示す状況下で画像合成部が合成した合成画像の表示例を示す図である。
【図１５】本発明の一実施の形態の変形例に係る撮像装置の変化率算出部が行う処理の概要を示す図である。
【図１６】変化率算出部が算出した特徴領域の代表点の異なる２つの画像間における移動量を示す図である。
【図１７】被写体分類部が被写体を分類する際に参照する被写体の種別と特徴領域の平均移動量との関係を示す図である。
【符号の説明】
【００６７】
１  撮像装置
２  撮像部
３  センサ部
４  画像処理部
５  表示部
６  表示制御部
７  圧縮伸張部
８  記録媒体インターフェース
９  入力部
１０  音声出力部
１１  補助光投射部
１２  制御部
１３  記憶部
１４  レンズ駆動部
１５  絞り駆動部
２１  撮影レンズ
２２  絞り
２３  撮像素子
２４  アナログ信号処理部
２５  Ａ／Ｄ変換部
４１  被写体検出部
４２  変化率算出部
４３  被写体分類部
４４  画像合成部
１００  記録媒体
１２１  時計
１３１  プログラム記憶部
１３２  パターン記憶部
１３３  連続撮影画像記憶部
１３４  変化率記憶部
１３５  被写体情報記憶部
２０１  スルー画像
２０２〜２０７、２０９〜２１３  画像
２０８、２１４  合成画像
３０１〜３０４  テーブル
Ｄ  銅像
Ｈ、Ｈ１、Ｈ２  人物
ＳＨ1〜ＳＨ3、ＳＨ'1〜ＳＨ'3、ＳＤ1〜ＳＤ3、ＳＤ'1〜ＳＤ'4、ＳＤ''1〜ＳＤ''5、ＳＢ、ＳＢ'、ＳＢ''  特徴領域
【図１】
2009302665.tif 000003
【図２】
2009302665.tif 000004
【図３】
2009302665.tif 000005
【図４】
2009302665.tif 000006
【図５】
2009302665.tif 000007
【図６】
2009302665.tif 000008
【図７】
2009302665.tif 000009
【図８】
2009302665.tif 000010
【図９】
2009302665.tif 000011
【図１０】
2009302665.tif 000012
【図１１】
2009302665.tif 000013
【図１２】
2009302665.tif 000014
【図１３】
2009302665.tif 000015
【図１４】
2009302665.tif 000016
【図１５】
2009302665.tif 000017
【図１６】
2009302665.tif 000018
【図１７】
2009302665.tif 000019