(57)【要約】【目的】表情の良い顔画像を多くする。【構成】連続して撮影して３駒の被写体像Ｉ１，Ｉ２，Ｉ３が得られる。同一の被写体の顔画像61，71，81の中からもっとも表情の良い顔画像71が得られる。同様に，同一の被写体の顔画像62，72，82の中からもっとも表情の良い顔画像62が得られ，同一の被写体の顔画像63，73，83の中からもっとも表情の良い顔画像83が得られる。得られた顔画像71，62，83と，二駒目の被写体像Ｉ２の背景画像101とが合成されて合成画像が得られる。合成画像は，表情の良い顔画像が多いものとなる。【選択図】図９
2007299297.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し，被写体像を表す画像データを出力する撮像装置，
上記撮像装置から出力された画像データによって表される被写体像から２以上の異なる顔の画像部分を検出する顔検出手段，
上記顔検出手段によって検出された２以上の異なる顔画像部分のそれぞれの表情評価値を算出する表情評価値算出手段，
上記撮像装置における撮像，上記顔検出手段における検出処理，および上記表情評価値算出手段における算出を連続して複数回繰り返すように上記撮像装置，上記顔検出手段，および上記評価値算出手段を制御する制御手段，
上記制御手段の制御により得られた複数駒の被写体像において検出された複数の同一の顔画像部分の中から表情評価値の高い顔画像部分を決定する処理を，２以上の異なる顔画像部分のそれぞれについて行う顔画像決定手段，ならびに
上記顔画像決定手段によって決定された２以上の異なる顔画像部分と，顔画像部分を除く背景画像部分とを合成して一駒の合成被写体像を生成する生成手段，
を備えた画像合成装置。
【請求項２】
上記表情評価値算出手段が，笑顔，怒り顔，目つむり顔および泣き顔のうち一つの評価値を算出するように指定する指定手段をさらに備えた請求項１に記載の画像合成装置。
【請求項３】
上記生成手段によって生成された合成画像のうち，２以上の異なる顔画像部分のうちの表情評価値がしきい値以上の顔画像部分が所定値以下であるときに警告する警告手段をさらに備えた請求項１に記載の画像合成装置。
【請求項４】
上記顔画像決定手段によって決定された２以上の異なる顔画像部分のそれぞれの顔画像部分と背景画像部分との相対的なずれ量にもとづいて，背景画像部分との相対的なずれを解消するようにそれぞれの顔画像部分のずれを補正するずれ補正手段をさらに備え，
上記生成手段は，上記ずれ補正手段によって補正されたそれぞれの顔画像部分と背景画像部分とを合成するものである，
請求項１に記載の画像合成装置。
【請求項５】
被写体を撮像し，被写体像を表す画像データを出力する撮像装置，
上記撮像装置から出力された画像データによって表される被写体像から２以上の異なる対象画像部分を検出する対象画像検出手段，
上記対象画像検出手段によって検出された２以上の異なる対象画像部分のそれぞれのポーズ評価値を算出するポーズ評価値算出手段，
上記撮像装置における撮像，上記対象画像検出手段における検出処理，および上記ポーズ評価値算出手段における算出を連続して複数回繰り返すように上記撮像装置，上記対象画像検出手段，および上記ポーズ評価値算出手段を制御する制御手段，
上記制御手段の制御により得られた複数駒の被写体像において検出された複数の同一の対象画像部分の中から表情評価値の高い対象画像部分を決定する処理を，２以上の異なる対象画像部分のそれぞれについて行う対象画像決定手段，ならびに
上記対象画像決定手段によって決定された２以上の異なる対象画像部分と，対象画像部分を除く背景画像部分とを合成して一駒の合成被写体像を生成する生成手段，
を備えた画像合成装置。
【請求項６】
上記ポーズ評価値算出手段において算出されるポーズ評価値の種類を指定する指定手段をさらに備えた請求項５に記載の画像合成装置。
【請求項７】
上記生成手段によって生成された合成画像のうち，２以上の異なる対象画像部分のうちポーズ評価値がしきい値以上の対象画像部分が所定数以下であるときに警告する警告手段をさらに備えた請求項５に記載の画像合成装置。
【請求項８】
上記対象画像決定手段によって決定された２以上の異なる対象画像部分のそれぞれの対象画像部分と背景画像部分との相対的なずれ量にもとづいて，背景画像部分との相対的なずれを解消するようにそれぞれの対象画像部分のずれを補正するずれ補正手段をさらに備え，
上記生成手段は，上記ずれ補正手段によって補正されたそれぞれの対象画像部分と背景画像部分とを合成するものである，
請求項５に記載の画像合成装置。
【請求項９】
上記合成手段は，上記複数駒の被写体像から得られる複数の背景画像部分のうち，最もぶれていない背景画像部分または最もノイズの少ない背景画像部分を用いて上記合成処理を行うものである，
請求項１または５に記載の画像合成装置。
【請求項１０】
撮像装置が，被写体を撮像し，被写体像を表す画像データを出力し，
顔検出手段が，上記撮像装置から出力された画像データによって表される被写体像から２以上の異なる顔の画像部分を検出し，
表情評価値算出手段が，上記顔検出手段によって検出された２以上の異なる顔画像部分のそれぞれの表情評価値を算出し，
制御手段が，上記撮像装置における撮像，上記顔検出手段における検出処理，および上記表情評価値算出手段における算出を連続して複数回繰り返すように上記撮像装置，上記顔検出手段，および上記評価値算出手段を制御し，
顔画像決定手段が，上記制御手段の制御により得られた複数駒の被写体像において検出された複数の同一の顔画像部分の中から表情評価値の高い顔画像部分を決定する処理を，２以上の異なる顔画像部分のそれぞれについて行い，
生成手段が，上記顔画像決定手段によって決定された２以上の異なる顔画像部分と，顔画像部分を除く背景画像部分とを合成して一駒の合成被写体像を生成する，
画像合成装置の制御方法。
【請求項１１】
撮像装置が，被写体を撮像し，被写体像を表す画像データを出力し，
対象画像検出手段が，上記撮像装置から出力された画像データによって表される被写体像から２以上の異なる対象画像部分を検出し，
ポーズ評価値算出手段が，上記対象画像検出手段によって検出された２以上の異なる対象画像部分のそれぞれのポーズ評価値を算出し，
制御手段が，上記撮像装置における撮像，上記対象画像検出手段における検出処理，および上記ポーズ評価値算出手段における算出を連続して複数回繰り返すように上記撮像装置，上記対象画像検出手段，および上記評価値算出手段を制御し，
対象画像決定手段が，上記制御手段の制御により得られた複数駒の被写体像において検出された複数の同一の対象画像部分の中からポーズ評価値の高い対象画像部分を決定する処理を，２以上の異なる対象画像部分のそれぞれについて行い，
生成手段が，上記対象画像決定手段によって決定された２以上の異なる対象画像部分と，対象画像部分を除く背景画像部分とを合成して一駒の合成被写体像を生成する，
画像合成装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，画像合成装置およびその制御方法に関する。
【背景技術】
【０００２】
集合写真のように多くの人物が被写体に含まれている場合には，目をつむってしまう人物のいるためすべての人物の表情が良好となることは難しい。このために，集合写真を撮る場合に，各人を個別に撮像して合成するものがある（特許文献１）。しかしながら，個別に撮像したからといって必ずしも各人の良好な画像が得られるとは限らない。
【特許文献１】特開2001-251550号公報
【０００３】
また，連続撮影を行い，得られた複数駒の被写体像の中の特定の人物像に対して顔の向き，目つむりなどの評価を行い，高い評価の人物像を含む被写体像を選ぶものもある（特許文献２，３）。
【特許文献２】特開2005-45600号公報
【特許文献３】特開2005-45601号公報
【０００４】
しかしながら，単に一人の人物のベスト・ショットの被写体像が選ばれるにすぎない。
【発明の開示】
【０００５】
この発明は，被写体像に複数の人物，対象物画像が含まれている場合に，すべての人物，対象画像がベスト・ショットとなるように被写体像を得ることを目的とする。
【０００６】
第１の発明による画像合成装置は，被写体を撮像し，被写体像を表す画像データを出力する撮像装置，上記撮像装置から出力された画像データによって表される被写体像から２以上の異なる顔の画像部分を検出する顔検出手段，上記顔検出手段によって検出された２以上の異なる顔画像部分のそれぞれの表情評価値を算出する表情評価値算出手段，上記撮像装置における撮像，上記顔検出手段における検出処理，および上記表情評価値算出手段における算出を連続して複数回繰り返すように上記撮像装置，上記顔検出手段，および上記評価値算出手段を制御する制御手段，上記制御手段の制御により得られた複数駒の被写体像において検出された複数の同一の顔画像部分の中から表情評価値の高い顔画像部分を決定する処理を，２以上の異なる顔画像部分のそれぞれについて行う顔画像決定手段，ならびに上記顔画像決定手段によって決定された２以上の異なる顔画像部分と，顔画像部分を除く背景画像部分とを合成して一駒の合成被写体像を生成する生成手段を備えていることを特徴とする。
【０００７】
第１の発明は，上記画像合成装置の適した制御方法も提供している。すなわち，この方法は，撮像装置が，被写体を撮像し，被写体像を表す画像データを出力し，顔検出手段が，上記撮像装置から出力された画像データによって表される被写体像から２以上の異なる顔の画像部分を検出し，表情評価値算出手段が，上記顔検出手段によって検出された２以上の異なる顔画像部分のそれぞれの表情評価値を算出し，制御手段が，上記撮像装置における撮像，上記顔検出手段における検出処理，および上記表情評価値差出手段における算出を連続して複数回繰り返すように上記撮像装置，上記顔検出手段，および上記評価値算出手段を制御し，顔画像決定手段が，上記制御手段の制御により得られた複数駒の被写体像において検出された複数の同一の顔画像部分の中から表情評価値の高い顔画像部分を決定する処理を，２以上の異なる顔画像部分のそれぞれについて行い，生成手段が，上記顔画像決定手段によって決定された２以上の異なる顔画像部分と，顔画像部分を除く背景画像部分とを合成して一駒の合成被写体像を生成するものである。
【０００８】
第１の発明によると，被写体が撮像され，被写体像を表す画像データが得られる。得られた画像データによって表される被写体像の中から２以上の異なる顔の画像部分が検出される。検出された２以上の異なる顔の画像部分のそれぞれの表情評価値が算出される。このような撮像，顔画像部分の検出処理および表情評価値の算出処理が複数回繰り返される。複数駒の被写体像において検出された複数の同一の顔画像部分において表情評価値の高い顔画像部分を決定する処理が２以上の顔画像部分のそれぞれについて行われる。決定された２以上の顔画像部分と顔画像部分を除く背景画像部分とが合成されて一駒の被写体像が生成される。
【０００９】
第１の発明によると，複数駒の被写体像が得られることにより，その複数駒の被写体像から同一の顔画像部分が複数得られる。複数の同一の顔画像部分の中から決定された表情評価値の高い顔画像部分を用いて背景画像部分と合成されるので，合成画像に含まれる顔画像部分の表情はすべて表情評価値の高いものとなる。複数の顔画像部分が含まれていても，それらの複数の顔画像部分のすべてが表情評価値の高い（たとえば，良い表情のもの）ものとなる。
【００１０】
上記表情評価値算出手段が，笑顔，怒り顔，目つむり顔および泣き顔のうち一つの評価値を算出するように指定する指定手段をさらに備えてもよい。
【００１１】
上記生成手段によって生成された合成画像のうち，２以上の異なる顔画像部分のうちの表情評価値がしきい値以上の顔画像部分が所定値以下であるときに警告する警告手段をさらに備えてもよい。
【００１２】
上記顔画像決定手段によって決定された２以上の異なる顔画像部分のそれぞれの顔画像部分と背景画像部分との相対的なずれ量にもとづいて，背景画像部分との相対的なずれを解消するようにそれぞれの顔画像部分のずれを補正するずれ補正手段をさらに備えてもよい。この場合，上記生成手段は，上記ずれ補正手段によって補正されたそれぞれの顔画像部分と背景画像部分とを合成するものとなろう。
【００１３】
第２の発明による画像合成装置は，被写体を撮像し，被写体像を表す画像データを出力する撮像装置，上記撮像装置から出力された画像データによって表される被写体像から２以上の異なる対象画像部分を検出する対象画像検出手段，上記顔検出手段によって検出された２以上の異なる対象画像部分のそれぞれのポーズ評価値を算出するポーズ評価値算出手段，上記撮像装置における撮像，上記対象画像検出手段における検出処理，および上記ポーズ評価値算出手段における算出を連続して複数回繰り返すように上記撮像装置，上記対象画像検出手段，および上記評価値算出手段を制御する制御手段，上記制御手段の制御により得られた複数駒の被写体像において検出された複数の同一の対象画像部分の中からポーズ評価値の高い対象画像部分を決定する処理を，２以上の異なる対象画像部分のそれぞれについて行う対象画像決定手段，ならびに上記対象画像決定手段によって決定された２以上の異なる対象画像部分と，対象画像部分を除く背景画像部分とを合成して一駒の合成被写体像を生成する生成手段を備えていることを特徴とする。
【００１４】
第２の発明は，上記画像合成装置に適した方法も提供している。すなわち，この方法は，撮像装置が，被写体を撮像し，被写体像を表す画像データを出力し，対象画像検出手段が，上記撮像装置から出力された画像データによって表される被写体像から２以上の異なる対象画像部分を検出し，ポーズ評価値算出手段が，上記対象画像検出手段によって検出された２以上の異なる対象画像部分のそれぞれのポーズ評価値を算出し，制御手段が，上記撮像装置における撮像，上記対象画像検出手段における検出処理，および上記ポーズ評価値差出手段における算出を連続して複数回繰り返すように上記撮像装置，上記対象画像検出手段，および上記評価値算出手段を制御し，対象画像決定手段が，上記制御手段の制御により得られた複数駒の被写体像において検出された複数の同一の対象画像部分の中からポーズ評価値の高い対象画像部分を決定する処理を，２以上の異なる対象画像部分のそれぞれについて行い，生成手段が，上記対象画像決定手段によって決定された２以上の異なる対象画像部分と，対象画像部分を除く背景画像部分とを合成して一駒の合成被写体像を生成するものである。
【００１５】
第２の発明によると，被写体が撮像され，被写体像を表す画像データが得られる。得られた画像データによって表される被写体像の中から２以上の異なる対象画像部分が検出される。検出された２以上の異なる対象画像部分のそれぞれのポーズ評価値が算出される。このような撮像，対象画像部分の検出処理およびポーズ評価値の算出処理が複数回繰り返される。複数駒の被写体像において検出された複数の同一の対象画像部分においてポーズ評価値の高い対象画像部分を決定する処理が２以上の対象画像部分のそれぞれについて行われる。決定された２以上の対象画像部分と対象画像部分を除く背景画像部分とが合成されて一駒の被写体像が生成される。
【００１６】
第２の発明によると，複数駒の被写体像が得られることにより，その複数駒の被写体像から同一の対象画像部分が複数得られる。複数の同一の対象画像部分の中から決定されたポーズ評価値の高い対象画像部分を用いて背景画像部分と合成されるので，合成画像に含まれる対象画像部分の表情はすべてポーズ評価値の高いものとなる。複数の対象画像部分が含まれていても，それらの複数の対象画像部分のすべてがポーズ表情評価値の高い（ほぼ，同一のポーズを取っているもの）ものとなる。
【００１７】
上記ポーズ評価値算出手段において算出されるポーズ評価値の種類を指定する指定手段をさらに備えてもよい。
【００１８】
上記生成手段によって生成された合成画像のうち，２以上の異なる対象画像部分のうちポーズ評価値がしきい値以上の対象画像部分が所定数以下であるときに警告する警告手段をさらに備えてもよい。
【００１９】
上記対象画像決定手段によって決定された２以上の異なる対象画像部分のそれぞれの対象画像部分と背景画像部分との相対的なずれ量にもとづいて，背景画像部分との相対的なずれを解消するようにそれぞれの対象画像部分のずれを補正するずれ補正手段をさらに備えてもよい。この場合，上記生成手段は，上記ずれ補正手段によって補正されたそれぞれの対象画像部分と背景画像部分とを合成するものとなろう。
【００２０】
上記合成手段は，たとえば，上記複数駒の被写体像から得られる複数の背景画像部分のうち，最もぶれていない背景画像部分または最もノイズの少ない背景画像部分を用いて上記合成処理を行うものである。
【実施例】
【００２１】
図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【００２２】
ディジタル・スチル・カメラの全体の動作は，ＣＰＵ１によって統括される。
【００２３】
ディジタル・スチル・カメラには，電源ボタン，シャッタ・レリーズ・ボタン，モード設定ダイアル，メニュー・ボタン，決定ボタン，ＯＫボタン，上下左右ボタンなどの各種ボタン，スイッチ等を含む操作器２が含まれている。この操作器２から出力される操作信号は，ＣＰＵ１に入力する。モード設定ダイアルによって設定可能なモードには，通常撮像モード，合成撮像モード，再生モードなどの各種モードがある。また，ディジタル・スチル・カメラには，ＣＰＵ１によって発光が制御されるストロボ発光装置３が設けられている。
【００２４】
レンズ駆動回路４によって撮像レンズ７の位置が制御され，絞り駆動回路５によって絞り８の絞り値が制御される。
【００２５】
撮像モードが設定されると（通常撮像モード，合成撮像モードのいずれも同じである），撮像レンズ７によって集光された光線束は，絞り８，赤外線カット・フィルタ９および光学ロウ・パス・フィルタ10を介してＣＣＤ11の受光面上に入射し，被写体像が結像する。ＣＣＤ11が駆動回路６によって駆動させられることにより，被写体像を表す映像信号がＣＣＤ11から出力される。映像信号は，アナログ・フロント・エンド12に入力する。
【００２６】
映像信号は，アナログ・フロント・エンド12において，ＣＤＳ（相関二重サンプリング），信号増幅，アナログ／ディジタル変換などの所定のアナログ信号処理が行われる。アナログ・フロント・エンド12から出力された画像データは，メイン・メモリ13に与えられ，一時的に記憶される。
【００２７】
画像データは，メイン・メモリ13から読み取られ，表示装置21に与えられる。撮像により得られた被写体像が表示装置21の表示画面に表示される（いわゆるスルー画）。
【００２８】
シャッタ・レリーズ・ボタンか半押しされると，撮像により得られた画像データは上述と同様に，メイン・メモリ13に一時的に記憶される。画像データは，メイン・メモリ13から読み取られ，積算回路18に入力する。積算回路18において，画像データの輝度成分が積算される。得られた積算値を表すデータがＣＰＵ１に入力し，絞り８の絞り値およびＣＣＤ11のシャッタ速度が決定される。
【００２９】
通常撮像モードにおいては，その後，シャッタ・レリーズ・ボタンが全押しされると，撮像により得られた画像データは，上述したようにメイン・メモリ13に一時的に記憶される。画像データは，メイン・メモリ13から読み取られ，ディジタル信号処理回路14に入力する。ディジタル信号処理回路14において，入力した画像データから輝度データおよび色差データが生成される。生成された輝度データおよび色差データは，圧縮伸張処理回路19において圧縮される。圧縮された輝度データおよび色差データが，外部記録装置20によってメモリ・カードに記録される。
【００３０】
合成撮像モードにおいては，複数駒の撮像が行われ，得られた複数駒の被写体像を利用して合成が行われる。このため，シャッタ・レリーズ・ボタンが押されると，ユーザによって入力された所定の駒数分の撮像が繰り返される。撮像により得られた一駒目の画像データは，メイン・メモリ13に与えられ，上述と同様にして一時的に記憶される。記憶された画像データは，顔検出／表情認識回路15に入力する。
【００３１】
顔検出／表情認識回路15は，入力した画像データによって表される被写体像の中から顔の画像部分を検出し，かつその検出された顔の画像部分の表情を認識して評価値（表情評価値）を算出する回路である。表情評価値を算出するための表情データは，サブ・メモリ17に格納されている。笑顔の表情，怒り顔の表情，目つむりの表情，泣き顔の表情などを表す表情データが，サブ・メモリ17に格納されている。これらの表情には，いずれも一般化された特徴があり，それらの特徴を表すデータが表情データとしてサブ・メモリ17に格納されている。たとえば，笑顔の表情であれば，口が横に開く，鼻から唇の両端を超えた外側など走る皺ができるなどの特徴がある。笑顔以外の表情の特徴も同様に考えることができる。このような表情データを利用することにより，顔の表情評価値を算出することは理解されよう。また，目，鼻，口，耳，頬の画像部分などの顔の特徴を表すデータもサブ・メモリ17に格納されており，これらの顔の特徴を表すデータを用いて，被写体像の中から顔の画像部分を検出することができる。
【００３２】
このように，一駒分の被写体像についての顔検出処理および表情認識（表情評価値算出）が行われると，次の駒の撮像が行われる。次の駒の撮像により得られた画像データについても同様に顔検出処理および表情認識が行われる。ユーザによって入力された所定の駒数の撮像が終わるまで，撮像処理が繰り返され，顔検出処理および表情認識も繰り返される。もっとも，顔検出処理および表情認識が終了してから次の駒の被写体の撮像を行うようにしなくとも，所定の駒数の撮像がすべて終了してから顔検出処理および表情認識を行うようにしてもよい。
【００３３】
このようにして，所定の駒数の撮像および顔検出処理および表情認識が終了すると，表情評価値にもとづいて多数の顔の画像の中から合成すべき顔の画像が決定される。決定された顔の画像等を用いて画像合成が行われる。この画像合成について詳しくは，後述する。合成された画像を表す画像データは，圧縮伸張処理回路19において圧縮される。圧縮された合成画像データが外部記録装置20によってメモリ・カード20に記録される。
【００３４】
さらに，この実施例におけるディジタル・スチル・カメラにおいては，人物検出／ポーズ認識回路16が設けられるようにしてもよい。この人物検出／ポーズ認識回路16は，被写体像の中から人物像（対象画像）およびそのポーズが認識され，ポーズ評価値を算出するものである。顔検出／表情認識回路15において行われる顔検出／表情認識のデータと同様に，人物像を検出するためのデータおよびポーズを認識し，ポーズ評価値を算出するデータは，サブ・メモリ17に記憶される。
【００３５】
再生モードが設定されると，メモリ・カードに記録されている画像データは外部記録装置20によって読み取られ，圧縮伸張処理回路19に入力する。圧縮伸張処理回路19において，伸張される。伸張された画像データが表示装置21に与えられることにより，メモリ・カードに記録されている画像データによって表される画像が表示される。
【００３６】
図２および図３は，合成撮像モードの処理手順を示すフローチャートである。
【００３７】
この画像合成撮像モードは，同一の被写体を複数回連続撮影（撮影間隔は，得られる複数駒の被写体像がほぼ同一のものと考えられる間隔となる）して得られた複数駒の被写体像に含まれている顔画像の中から所望の表情をもつものを見つけ出して合成して一駒の画像とするものである，
【００３８】
まず，連続撮影の駒数が入力され（ステップ31），かつ所望の表情が選択される（ステップ32）。さらに，所望の人数が入力される（ステップ33）。この実施例においては，合成画像の中に含まれる顔画像のうち，所望の表情をもつ顔画像が所望の人数未満の場合に警告される。その人数が入力される。これらの連続撮影の駒数，所望の表情の選択および所望の人数の入力は，いずれもユーザによって行われる。たとえば，メニュー・ボタンが押されることによりメニューが表示画面上に表示され，そのメニューの中に連続撮影駒数の選択項目，表情の選択項目，人数の選択項目が現れる。現れた項目の中から上下左右ボタンなどで所望の駒数，表情，人数などが選択され，決定ボタンが押されることにより，駒数等が決定される。表情の中には，たとえば，よい表情（笑顔など），悪い表情（目つむりなど）があり，所望の表情がユーザによって選択される。ここでは，連続枚数として３駒が入力されたものとする。また，所望の表情として良い表情が選択されたものとする。
【００３９】
ユーザによってシャッタ・レリーズ・ボタンが押されると，撮影枚数が初期化され，連続撮影が開始される（ステップ34，35）。撮影により，一駒目の被写体像が得られると，その被写体像の中から顔画像が検出される。
【００４０】
図４は，一駒目の撮影によって得られた被写体像Ｉ１の一例である。
【００４１】
一駒目の被写体像Ｉ１の中には，人物像51，52，および53が含まれている。被写体像Ｉ１において顔画像検出処理が行われることにより，人物像51，52，および53の顔画像部分61，62，および63が検出される。顔画像部分61，62，および63のうち，顔画像部分61および62はいずれも良い表情のものであり，顔画像部分63は悪い表情のものである。これらの人物像51，52および53の背景（回り）には背景画像91が形成されている。
【００４２】
図２に戻って，顔検出処理が終了すると，検出された顔画像部分についての表情認識／評価処理が行われ，表情評価値が算出される（ステップ37）。ここでは，所望の表情として良い表情が選択されているから，一駒目の被写体像Ｉ１から検出された顔画像部分61，62および63の中からも，良い表情の顔画像が認識され，かつその良い表情の評価値が算出される。上述のように，口の開き具合，皺のより具合などから表情認識処理を行うことができる。検出された顔画像部分の表情認識処理により表情評価値が得られるのは理解できよう。一駒目の顔画像部分について表情評価値が得られると，その表情評価値が得られた顔画像部分の位置，および表情評価値が記憶される。
【００４３】
ユーザによって入力された連続駒数の撮影が終了するまでステップ35から38の処理が繰り返される。連続駒数の撮影が終了していなければ（ステップ39でＮＯ），撮影駒数がインクレメントされ（ステップ40），２駒目の撮影が行われる（ステップ35）。
【００４４】
図５は，二駒目の被写体像Ｉ２の一例である。
【００４５】
二駒目の被写体像Ｉ２も一駒目の被写体像Ｉ１と同一の被写体のものであるから，一駒目の被写体像Ｉ１に含まれている人物像51，52および53が含まれている。二駒目の被写体像Ｉ２について顔検出処理が行われることにより，人物像51，52および53の顔画像部分71，72および73が検出される。二駒目の被写体像Ｉ２では，顔画像部分71，72および73のうち，顔画像部分71は良い表情であるが，顔画像部分72および73は悪い表情である。二駒目の被写体像Ｉ２にも背景画像101が含まれている。
【００４６】
さらに，三駒目の撮影が行われる。
【００４７】
図６は，三駒目の被写体像Ｉ３の一例である。
【００４８】
三駒目の被写体像Ｉ２も一駒目の被写体像Ｉ１および二駒目の被写体像Ｉ２と同一の被写体のものであるから，一駒目の被写体像Ｉ１および二駒目の被写体像Ｉ２にそれぞれ含まれている人物像と同じ人物像51，52および53が含まれている。三駒目の被写体像Ｉ３について顔検出処理が行われることにより，人物像51，52および53の顔画像部分81，82および83が検出される。三駒目の被写体像Ｉ３では，顔画像部分53は良い表情であるが，顔画像部分52は悪い表情である。三駒目の被写体像Ｉ３にも背景画像102が含まれている。三駒の被写体像Ｉ１，Ｉ２およびＩ３の背景画像91，101および102はほぼ同じものであるが，人物像と異なり符号を変えている。
【００４９】
図２に戻って，連続撮影駒数分の撮影が終了すると（ステップ39でＹＥＳ），同一人物の複数の顔画像のうち表情評価値の高い顔画像が決定される（ステップ41）。３駒の被写体像Ｉ１，Ｉ２およびＩ３にはそれぞれ，人物像51，52および53が含まれている。３駒の被写体像Ｉ１，Ｉ２およびＩ３の人物像51は同一人物の画像であり，３駒の撮影が行われたことにより，同一人物の複数の顔画像61，71および81が得られている。これらの顔画像61，71および81のうち，二駒目の被写体像Ｉ２から得られた顔画像71の表情評価値が最も高かったものとする。すると，同一人物の複数の顔画像61，71および81のうち表情評価値の高い顔画像として顔画像71が決定される。
【００５０】
同様にして，人物像52についての顔画像62，72および82のうち，一駒目の被写体像Ｉ１から得られた顔画像62の表情評価値が最も高かったものとすると，表情評価値の高い顔画像として顔画像62が決定される。また，人物像53についての顔画像63，73および83のうち，三駒目の被写体像Ｉ３から得られた顔画像83の表情評価値が最も高かったものとすると，表情評価値の高い顔画像として顔画像83が決定される。
【００５１】
このようにして，顔画像が決定されると，被写体像の中から顔画像部分を除いた背景画像が決定される（ステップ42）。背景画像はあらかじめ決定されていてもよいし，得られた３駒の背景画像91，101，102の中から最もノイズの少ない背景画像または最もぶれの少ない背景画像が選択されてもよい。レベルが所定のしきい値を超えているような小さな領域が多数あればノイズが多いと考えられ，そのような小さな領域が少なければノイズが少ないと考えられる。また，高周波数成分の多い被写体像は最もぶれの少ないものと考えられる。この実施例においては，背景画像は，二駒目のものが用いられるものとする。
【００５２】
図７は，背景画像101の一例である。このように背景画像101は，顔画像が除かれた部分のものとなる。
【００５３】
図２に戻って，背景画像が決定されると，その決定された背景画像101と，決定された顔画像71，62および83との間のずれ量が算出される（ステップ43）。算出されたずれ量に応じて，背景画像101と一致するように顔画像71，62および83のずれが補正される（ステップ43）。
【００５４】
図８は，背景画像と顔画像とのずれを示している。
【００５５】
上述したように，３駒の被写体像Ｉ１，Ｉ２およびＩ３の撮影間隔は短いこととなるが，これらの３駒の被写体像Ｉ１，Ｉ２およびＩ３間でずれが生じることがある。たとえば，背景画像101は，二駒目の被写体像Ｉ２から得られたものであり，その二駒目の被写体像Ｉ２には顔画像部分71，72および73が含まれている。決定された顔画像71，62および83のうち，顔画像71は，二駒目の顔画像71であるから二駒目の背景画像101との間にずれは無い。顔画像62は，一駒目の顔画像62であるから，二駒目の背景画像101との間にΔ12の位置ずれがある。同様に，顔画像83は三駒目の顔画像83であるから，二駒目の背景画像101との間にΔ23の位置ずれがある。背景画像101の間の位置ずれが無くなるように，顔画像が補正される（合成位置の補正，大きさの調整など）。
【００５６】
再び，図２に戻って，顔画像が補正されると，補正された顔画像と背景画像とが合成されて合成画像が得られる（ステップ45）。
【００５７】
図９は，合成画像の生成の仕方を示している。
【００５８】
上述のように，二駒目の顔画像71，一駒目の顔画像62および三駒目の顔画像83ならびに二駒目の背景画像101が合成されて合成画像Ｉ４が得られる。得られた合成画像Ｉ４は，良い表情の多い画像となっている。
【００５９】
図２を参照して，合成画像の中の顔画像部分のうち，しきい値以上の表情評価値をもつ顔画像部分の数が，ステップ33で入力された人数以上かどうかが確認される（ステップ46）。人数以上でなければ（ステップ46でＮＯ），ユーザに取り直しを促すために警告が行われる（ステップ47）。人数以上であれば（ステップ46でＹＥＳ），ステップ47の処理はスキップされる。
【００６０】
得られた合成画像を表す画像データについて所定のディジタル信号処理が行われ（ステップ48），合成画像データがメモリ・カードに記録されることとなる（ステップ49）。
【００６１】
上述の実施例においては，ずれ補正などが行われていたが，ずれ補正を無視できるような場合などには必ずしも行われなくとも良い。
【００６２】
図10から図16は，他の実施例を示すものである。上述の実施例においては，顔の表情評価値を利用して，表情の良い顔画像が多くなるようにしていたが，次に示す実施例では，同じポーズの人物像（対象画像）が多くなるようにするものである。
【００６３】
図10および図11は合成撮像モードの処理手順を示すフローチャートである。
【００６４】
上述と同様に，連続撮影駒数の入力が行われ（ステップ111），所望のポーズが選択される（ステップ112）。次に述べる実施例では所望のポーズは両手を上げているものであるが，その他のどのようなポーズでもよいのはいうまでもない。このポーズの選択も表情の選択と同様に，メニューを用いて選択される。所望の人数が入力されると（ステップ113），撮影駒数が初期化され，連続撮影が開始される（ステップ114）。この実施例においても３駒撮影されるものとすると，複数駒であれば何駒でもよいのはいうまでもない。
【００６５】
一駒目の撮影が行われ，被写体像が得られる（ステップ115）。得られた被写体像の中から人物像が検出される（ステップ116）。検出された人物像のポーズ認識が行われ，ポーズ評価値が算出される（ステップ117）。検出された人物像の位置および算出されたポーズ評価値が記憶される（ステップ118）。一駒目の撮影が終了すると（ステップ119でＮＯ），撮影回数がインクレメントされ（ステップ120），二駒目の撮影および三駒目の撮影が行われる。二駒目の被写体像および三駒目の被写体像においても人物像の検出およびポーズ評価値の算出が行われる。
【００６６】
図12は，一駒目の被写体像Ｉ11の一例である。
【００６７】
被写体像Ｉ11には，人物像131，132および133ならびに背景画像171が含まれている。人物像の検出処理が行われることにより，被写体像Ｉ11の中から人物像131，132および133の画像部分141，142および143が検出される。検出された画像部分141，142および143のポーズ評価値が算出される。
【００６８】
図13は，二駒目の被写体像Ｉ12の一例である。
【００６９】
被写体像Ｉ12にも，人物像131，132および133ならびに背景画像172が含まれており，これらの画像部分151，152および153が検出される。検出された画像部分151，152および153のポーズ評価値が算出される。
【００７０】
図14は，三駒目の被写体像Ｉ13の一例である。
【００７１】
被写体像Ｉ13にも，人物像131，132および133ならびに背景画像173が含まれており，これらの画像部分161，162および163が検出される。検出された画像部分161，162および163のポーズ評価値が算出される。
【００７２】
図15は，背景画像の一例である。
【００７３】
この背景画像は，二駒目の被写体像Ｉ12から得られた背景画像172である。検出された画像部分151，152および153を除いた部分が背景画像172とされている。
【００７４】
人物像131については，三駒目の被写体像Ｉ13の画像部分161が，人物像132については一駒目の被写体像Ｉ11の画像部分142が，人物像133については二駒目の被写体像Ｉ12の画像部分153が，それぞれポーズ評価値が高いものとする。
【００７５】
図２に戻って，ユーザによって入力された連続撮影駒数分撮影か終了すると（ステップ119でＹＥＳ），同一の人物像のうちポーズ評価値の高い顔画像が決定される（ステップ121）。上述のように，画像部分161，142および153が，同一の人物像のうちポーズ評価値の高い顔画像として決定されることとなる。
【００７６】
その後，背景画像が決定される（ステップ122）。決定された背景画像と決定された人物像とのずれ量が算出され（ステップ123），算出されたずれ量が無くなるように補正される（ステップ124）。補正された人物像と背景画像とが合成されて合成画像が得られる（ステップ125）。
【００７７】
図16は，合成画像の生成の仕方を示している。
【００７８】
上述のように，三駒目の被写体像Ｉ13の画像部分161，一駒目の被写体像Ｉ11の画像部分142および二駒目の被写体像Ｉ12の画像部分153ならびに背景画像172が合成されて一駒の合成画像Ｉ14が得られる。
【００７９】
図11を参照して，得られた合成画像Ｉ14の中にしきい値以上のポーズ評価値をもつ画像部分が，入力された人数以上かどうかが確認される（ステップ126）。人数以上でなければ（ステップ126でＮＯ），撮影者に警告が行われる（ステップ127）。人数以上であればステップ127の処理はスキップされる。
【００８０】
その後，ディジタル信号処理が行われ（ステップ128），合成画像データがメモリ・カードに記録される（ステップ129）。
【００８１】
上述の実施例においては，人物像を検出し，同じポーズの人物像が多くなるように合成画像が生成されているが，人物像に限らず，動物の画像などその他の対象画像であってもよい。
【図面の簡単な説明】
【００８２】
【図１】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図２】合成撮像モードの処理手順を示すフローチャートである。
【図３】合成撮像モードの処理手順を示すフローチャートである。
【図４】被写体像の一例である。
【図５】被写体像の一例である。
【図６】被写体像の一例である。
【図７】背景画像の一例である。
【図８】背景画像とのずれを示している。
【図９】画像合成の仕方を示している。
【図１０】合成撮像モードの処理手順を示すフローチャートである。
【図１１】合成撮像モードの処理手順を示すフローチャートである。
【図１２】被写体像の一例である。
【図１３】被写体像の一例である。
【図１４】被写体像の一例である。
【図１５】背景画像の一例である。
【図１６】画像合成の仕方を示している。
【符号の説明】
【００８３】
１  ＣＰＵ
11  ＣＣＤ
15  顔検出／表情認識回路
16  人物検出／ポーズ認識回路
【図１】
2007299297.tif 000003
【図２】
2007299297.tif 000004
【図３】
2007299297.tif 000005
【図４】
2007299297.tif 000006
【図５】
2007299297.tif 000007
【図６】
2007299297.tif 000008
【図７】
2007299297.tif 000009
【図８】
2007299297.tif 000010
【図９】
2007299297.tif 000011
【図１０】
2007299297.tif 000012
【図１１】
2007299297.tif 000013
【図１２】
2007299297.tif 000014
【図１３】
2007299297.tif 000015
【図１４】
2007299297.tif 000016
【図１５】
2007299297.tif 000017
【図１６】
2007299297.tif 000018