(57)【要約】【課題】画像合成を前提とした集合写真を撮影する際、簡単に画像合成可能か確認できるようにしてユーザの負担を軽減する方法を提供すること。【解決手段】撮像により画像データを得る撮像手段と、前記撮像手段によって出力された画像データを表示する表示手段と、前記撮像手段によって出力された画像データ内の人物の顔を検出する顔検出手段と、前記顔検出手段によって検出された複数の顔画像の間隔を算出する間隔算出手段と、前記顔検出手段によって検出された複数の顔画像から合成位置候補の閾値を算出する閾値算出手段と、前記間隔算出手段によって算出された間隔が前記閾値算出手段によって算出した閾値を上回るときに前記表示手段に合成位置候補であることを表示するための情報を出力する情報出力手段を備えることを特徴とする。【選択図】図７
2016201711.tif 000002
【特許請求の範囲】
【請求項１】
撮像により画像データを得る撮像手段と、前記撮像手段によって出力された画像データを表示する表示手段と、前記撮像手段によって出力された画像データ内の人物の顔を検出する顔検出手段と、前記顔検出手段によって検出された複数の顔画像の間隔を算出する間隔算出手段と、合成位置候補の閾値を算出する閾値算出手段と、前記間隔算出手段によって算出された間隔が前記閾値算出手段によって算出した閾値を上回るときに前記表示手段に合成位置候補であることを表示するための情報を出力する情報出力手段を備えることを特徴とする撮像装置。
【請求項２】
前記閾値算出手段は、前記間隔算出手段によって算出された間隔の最大値または、最小値、もしくは平均値のいずれかに基づいて算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記閾値算出手段は、前記顔検出手段で検出された顔画像サイズの最大値または、最小値、もしくは平均値のいずれかに基づいて算出することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記閾値算出手段は、合成する人物の画像から検出された顔画像サイズに基づいて算出とすることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像手段によって出力された画像データから特定の領域を指定する領域指定手段を備えることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記閾値算出手段は、前記領域指定手段により指定された領域内における顔画像サイズの最大値または、最小値、もしくは平均値のいずれかに基づいて算出することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記閾値算出手段は、前記領域指定手段により指定された領域内における間隔の最大値または、最小値、もしくは平均値のいずれかに基づいて算出することを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記合成位置候補であることを表示するための情報は、合成する人物の画像であることを特徴とする請求項１乃至請求項７の何れか一項に記載の撮像装置。
【請求項９】
前記合成位置候補であることを表示するための情報は、合成する人物の画像をリサイズした画像であることを特徴とする請求項１乃至請求項７の何れか一項に記載の撮像装置。
【請求項１０】
前記合成位置候補であることを表示するための情報は、任意の画像であることを特徴とする請求項１乃至請求項７の何れか一項に記載の撮像装置。
【請求項１１】
前記合成位置候補であることを表示するための情報は、任意の画像をリサイズした画像であることを特徴とする請求項１乃至請求項７の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成を前提とした集合写真を撮影するための撮像装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の一般の撮影装置において、集合写真を撮影する際に、ユーザの負担を軽減するためのガイダンス表示や、被写体の目つむりを回避するために複数撮影してそれらを一枚に合成する技術が知られている（特許文献１及び特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−０１６７９６号公報
【特許文献２】特開２００２−１９９２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１記載の技術においては、複数の顔を検出して、その顔の笑顔度、画像フレーム内での位置、検出した顔の向き、性別などのパラメータ相互関係に基づいて好適な撮影をするためのガイダンス表示ができるというものである。
【０００５】
また、上記特許文献２記載の技術においては、個々人の最適フレームを自動的に選択し、目の領域を画像合成するというものである。
【０００６】
しかしながら、上記従来技術において、考慮しているのは被写体のみであり、画像合成を前提とした撮影補助に関しては、考慮されていなかった。例えば、学校などの団体行事において、集合写真を撮影する際に、欠席してしまう人がいる。欠席者のいる集合写真において、卒業アルバムなどでは、構成する全員が写っている必要があるが、欠席者を後から画像合成するといった場合の撮影補助に関しては、考慮されていない。
【０００７】
そこで、本発明の目的は、画像合成を前提とした集合写真を撮影する際、簡単に画像合成可能な領域が確保できているか確認できるようにしてユーザの負担を軽減することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１の撮像装置は、撮像により画像データを得る撮像手段と、前記撮像手段によって出力された画像データを表示する表示手段と、前記撮像手段によって出力された画像データ内の人物の顔を検出する顔検出手段と、前記顔検出手段によって検出された複数の顔画像の間隔を算出する間隔算出手段と、合成位置候補の閾値を算出する閾値算出手段と、前記間隔算出手段によって算出された間隔が前記閾値算出手段によって算出した閾値を上回るときに前記表示手段に合成位置候補であることを表示するための情報を出力する情報出力手段を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像合成を前提とした集合写真を撮影する際に、ユーザの負担を軽減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る撮像装置の背面外観を示す外観図である。
【図２】撮像装置の機能的構成を模式的に示すブロック図である。
【図３】撮像装置の全体的な動作を示すフローチャートである。
【図４】静止画記録モード処理を示すフローチャートである。
【図５】集合写真合成モードのＡＥ・ＡＦ処理を示すフローチャートである。
【図６】合成位置候補算出処理の第一の実施形態を示すフローチャートである。
【図７】ガイダンス表示として合成顔枠を表示する一例を示す概念図である。
【図８】ガイダンス表示として合成顔枠を表示する変形例を示す概念図である。
【図９】ガイダンス表示として欠席者の画像を表示する一例を示す概念図である。
【図１０】ガイダンス表示として欠席者の画像を表示する変形例を示す概念図である。
【図１１】合成位置候補算出処理の第二の実施形態を示すフローチャートである。
【図１２】第二の実施形態のガイダンス表示として欠席者の画像を表示する一例を示す概念図である。
【図１３】第二の実施形態のガイダンス表示として欠席者の画像を表示する変形例を示す概念図である。
【発明を実施するための形態】
【００１１】
以下に、本発明を実施するための形態を図面に基づいて説明する。
＜第一の実施形態＞
図１に、本発明の撮像装置の一例としてのデジタルカメラ１００の外観図を示す。表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。コネクタ１１２は接続ケーブル１１１とデジタルカメラ１００とのコネクタである。操作部７０はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。コントローラホイール７３は操作部７０に含まれる回転操作可能な操作部材である。
【００１２】
７２は電源スイッチであり、電源オン、電源オフを切り替える。記録媒体２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。蓋２０２は記録媒体スロット２０１の蓋である。
【００１３】
図２は本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。図２において、撮像レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター１０１は絞り機能を備えるシャッターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換部２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルカメラ１００の、撮像レンズ１０３を含む撮像系を覆うことにより、撮像レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。
【００１４】
画像処理部２４は、Ａ／Ｄ変換部２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１５】
Ａ／Ｄ変換部２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換部２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００１６】
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換部１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換部１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換部１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換部２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換部１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行える。
【００１７】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００１８】
システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換部１３、表示部２８等を制御することにより表示制御も行う。
【００１９】
システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。
【００２０】
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。
【００２１】
あるいは、モード切り替えスイッチ６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【００２２】
第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作を開始する。
【００２３】
第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００２４】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２５】
コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。
【００２６】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００２７】
電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。Ｉ／Ｆ部１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００２８】
上述したデジタルカメラ１００では中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。
【００２９】
顔検出機能について説明する。システム制御部５０は顔検出対象の画像データを画像処理部２４に送る。システム制御部５０の制御下で画像処理部２４は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部５０の制御下で画像処理部２４は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
【００３０】
その後、システム制御部５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部５０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部５０は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部５０は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をシステムメモリ５２に記憶する。
【００３１】
以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。
【００３２】
なお、顔ＡＦと同時に顔ＡＥ、顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のＷＢを最適化することである。
【００３３】
なお操作部７０の一つとして、表示部２８に対する接触を検知可能なタッチパネルを有する。タッチパネルと表示部２８とは一体的に構成することができる。例えば、タッチパネルを光の透過率が表示部２８の表示を妨げないように構成し、表示部２８の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部２８上の表示座標とを対応付ける。これにより、恰もユーザが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。
【００３４】
システム制御部５０はタッチパネルへの以下の操作を検出できる。タッチパネルを指やペンで触れたこと（以下、タッチダウンと称する）。タッチパネルを指やペンで触れている状態であること（以下、タッチオンと称する）。タッチパネルを指やペンで触れたまま移動していること（以下、ムーブと称する）。タッチパネルへ触れていた指やペンを離したこと（以下、タッチアップと称する）。タッチパネルに何も触れていない状態（以下、タッチオフと称する）。これらの操作や、タッチパネル上に指やペンが触れている位置座標はシステム制御部５０に通知され、システム制御部５０は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。
【００３５】
ムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。
【００３６】
また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。
【００３７】
次に、デジタルカメラ１００のシステム制御部５０が制御する全体的な動作を、図３に示すフローチャートを参照して説明する。図３に示すように、電源スイッチ７２の設定位置がＯＮになると（Ｓ１０）、システム制御部５０は、フラグや制御変数等を初期化する初期設定を行う（Ｓ１１）。続いて、システム制御部５０は、記録媒体２００に記録されているファイルに関するファイル管理処理を行う（Ｓ１２）。続いて、システム制御部５０は、モード切替スイッチ６０の設定位置を判定し、静止画記録モードの判定（Ｓ１３）、動画記録モードの判定（Ｓ１４）、再生モードの判定（Ｓ１５）により、いずれのモードであるかを判定する。
【００３８】
静止画記録モードである場合（Ｓ１３：ＹＥＳ）、システム制御部５０は、静止画記録モード処理を行う（Ｓ１６）。静止画記録モード処理の詳細については後述する。また、動画記録モードである場合（Ｓ１４：ＹＥＳ）、システム制御部５０は、動画記録モード処理を行う（Ｓ１７）。また、再生モードである場合（Ｓ１５：ＹＥＳ）、システム制御部５０は、再生モード処理を行う（Ｓ１８）。
【００３９】
上述した各モード処理を行った後、システム制御部５０は、電源スイッチ７２の設定位置がＯＦＦであるか否かを判定する（Ｓ１９）。電源スイッチ７２の設定位置がＯＮである場合（Ｓ１９：ＮＯ）、システム制御部５０は、Ｓ１３へ戻ってその処理を実行する。電源スイッチ７２の設定位置がＯＦＦである場合（Ｓ１９：ＹＥＳ）、システム制御部５０は所定の終了処理を行う（Ｓ２０）。所定の終了処理とは、表示部２８の表示を終了状態に変更する処理、バリア１０２を閉じる処理、フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ５６に記録する処理、電源供給が不要な部分への電源供給を遮断する処理などがある。
【００４０】
次に、静止画記録モード処理（Ｓ１６）の詳細について、図４に示すフローチャートを参照して説明する。図４に示すように、静止画記録モード処理が開始されると、システム制御部５０は、不揮発性メモリ５６に記録された撮影モード又は操作部７０により操作入力された撮影モードに基づいて、撮影モードを確定する（Ｓ４００）。具体的には、システム制御部５０は、不揮発性メモリ５６より前回の終了処理時に記録された撮影モードを取得してシステムメモリ５２に格納する。あるいは、システム制御部５０は、ユーザにより操作部７０が操作されて撮影モードの設定入力があれば、入力された撮影モードをシステムメモリ５２に格納する。
【００４１】
ここで、撮影モードとは、撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等を組み合わせて実現されるモードのことである。本実施形態におけるデジタルカメラ１００は、オートモード、マニュアルモード、各種シーンモードを有する。オートモードとは、撮像部２２で取得された画像データなどに基づいて、システム制御部５０がシャッター速度や絞り値などのパラメータを自動で調整するモードである。マニュアルモードとは、カメラの各種パラメータをユーザが操作部７０を操作することで自由に変更可能なモードである。各種シーンモードとは、撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等の組み合わせを、いずれかの撮影シーンを選択することで自動設定されるモードである。
【００４２】
このシーンモードとしては、集合写真合成モードなどがある。集合写真合成モードとは、集合写真撮影時に人物画像を合成するためのガイダンスを表示することができるモードである。
【００４３】
Ｓ４００において撮影モードが確定されると、システム制御部５０は、撮像部２２により取得した画像データを表示部２８に表示させる（Ｓ４０１）。続いて、システム制御部５０は、電源制御部８０により電源部３０の残容量や記録媒体２００の有無、記録媒体２００が接続する場合はその残容量などが、デジタルカメラ１００の動作に問題があるか否かを判定する（Ｓ４０２）。Ｓ４０２において問題があると判定された場合（Ｓ４０２：ＮＯ）、システム制御部５０は、表示部２８における警告表示や警告音声の出力などの所定の警告表示を行い（Ｓ４０３）、Ｓ４００の処理へ戻る。
【００４４】
Ｓ４０２において電源部３０や記録媒体２００の状態に問題がないと判定した場合（Ｓ４０２：ＹＥＳ）、システム制御部５０は、必要に応じて分類情報の自動付与についての入／切設定を行う（Ｓ４０４）。自動付与についての入／切設定は、操作部７０に含まれるメニューボタンを操作することで表示されるメニュー画面（不図示）において、ユーザの任意で設定可能である。自動付与の入／切設定は、撮影モードならびに被写体条件により分類情報を自動付与するか否かのフラグであり、設定値はシステムメモリ５２において保持される。このように分類情報の自動付与について入／切設定を持たせることで、ユーザによって意図しない分類情報が付与されることを時々に応じて防止することが可能となる。
【００４５】
続いて、システム制御部５０は、表示部２８に表示される画像信号中、すなわち、撮像部２２により取得された画像データに人間の顔が存在するか否かを検知する顔検出処理を行う（Ｓ４０５）。なお、Ｓ４０５において人間の顔を検出した場合、システム制御部５０は、顔情報として画像データ中において検出した検出顔位置座標、検出顔サイズ（幅、高さ）、検出個数、信頼性係数等をシステムメモリ５２に記憶する。またＳ４０５において人間の顔を検出しなかった場合、システム制御部５０は、システムメモリ５２内の検出顔位置座標、検出顔サイズ、検出個数、信頼係数等の記憶領域に０などのＮＵＬＬ値を設定する。
【００４６】
続いて、システム制御部５０は、第１シャッタースイッチ６２が押されているか否かを判定する（Ｓ４０６）。第１シャッタースイッチ６２が押されていないと判定された場合（Ｓ４０６：ＮＯ）、システム制御部５０は、Ｓ４０４の処理へ戻る。第１シャッタースイッチ６２が押されていると判定された場合（Ｓ４０６：ＹＥＳ）、システム制御部５０は、撮像レンズ１０３の焦点を被写体に合わせ、絞り値及びシャッター時間を決定するＡＥ・ＡＦ処理を行う（Ｓ４０７）。なお、ＡＥ処理において、必要であればフラッシュの発光設定なども行う。また、ＡＥ・ＡＦ処理では、Ｓ４０５において人間の顔を検出している場合、検出した顔の範囲でＡＦ処理を行うことも可能である。
【００４７】
本実施形態における集合写真合成モードのＡＥ・ＡＦ処理の詳細については後述する。続いて、システム制御部５０は、第２シャッタースイッチ６４が押されているか否かの判定（Ｓ４０８）、第１シャッタースイッチ６２が押されているか否かの判定（Ｓ４０９）を行う。第２シャッタースイッチ６４が押されずに（Ｓ４０８：ＮＯ）、さらに第１シャッタースイッチ６２も解除されたならば（Ｓ４０９：ＮＯ）、システム制御部５０は、Ｓ４０４の処理へ戻る。また、第２シャッタースイッチ６４が押されずに（Ｓ４０８：ＮＯ）、さらに第１シャッタースイッチ６２が押されている場合（Ｓ４０９：ＹＥＳ）、システム制御部５０は、Ｓ４０７の処理へ戻る。また、第２シャッタースイッチ６４が押されたならば（Ｓ４０８：ＹＥＳ）、システム制御部５０は、表示部２８の表示状態をスルー表示状態から固定色表示状態に設定して（Ｓ４１０）、撮影処理を行う（Ｓ４１１）。固定色表示状態では、メモリ３２に書き込まれた撮影画像データの代わりに、差し替えた固定色の画像データ（例えば、黒一色の表示）をメモリ制御部１５、Ｄ／Ａ変換部１３を介して表示部２８に表示する。
【００４８】
Ｓ４１１における撮影処理では、システム制御部５０は、露光処理、現像処理を行う。露光処理では、撮像部２２、Ａ／Ｄ変換部２３、画像処理部２４、メモリ制御部１５を介して、或いはＡ／Ｄ変換部２３から直接メモリ制御部１５を介して、メモリ３２に撮像により取得した画像データが書き込まれる。現像処理では、メモリ３２に書き込まれた画像データを読み出して、メモリ制御部１５、必要に応じて画像処理部２４を用いて各種処理が行われる。
【００４９】
続いて、システム制御部５０は、Ｓ４１１において撮像した画像データに基づいて、表示部２８へクイックレビュー表示を行う（Ｓ４１２）。クイックレビューとは、撮像した画像データの確認のために、予め決められた時間（レビュー時間）だけ画像データを表示部２８に表示する処理である。このクイックレビュー表示の後、システム制御部５０は、Ｓ４１１の撮像処理で得られた画像データを画像ファイルとして記録媒体２００に書き込みを行う記録処理を実行し（Ｓ４１３）、第２シャッタースイッチ６４が押されているか否かを判定する（Ｓ４１４）。なお、Ｓ４１３の記録処理が終了した際に、Ｓ４１４において第２シャッタースイッチ６４が放されるまで表示部２８におけるクイックレビュー表示が継続して行われる場合は、撮像した画像の確認を入念に行うことが可能となる。
【００５０】
続いて、システム制御部５０は、第２シャッタースイッチ６４を放した状態（Ｓ４１４：ＮＯ）である場合、Ｓ４１５へ進む。第２シャッタースイッチ６４が放たれた状態を判定するタイミングとしては、Ｓ４１３における記録処理が終了した際や、第２シャッタースイッチ６４を押し続けてクイックレビューを継続表示して撮像画像の確認の後などがある。続いて、システム制御部５０は、予め定められたレビュー時間（ミニマムレビュー時間）が経過したか否かを判定（Ｓ４１５）し、ミニマムレビュー時間が経過していればＳ４１６へ進む。
【００５１】
続いて、システム制御部５０は、表示部２８の表示状態を撮像部２２により取得された画像データの表示状態として（Ｓ４１６）、第１シャッタースイッチ６２が押されているか否かを判定する（Ｓ４１７）。この場合は、表示部２８でのクイックレビュー表示によって撮像画像の確認をした後に、次の撮影のために撮像部２２で継続して取得した画像データを逐次表示する状態に戻すことができる。第１シャッタースイッチ６２が押されている場合（Ｓ４１７：ＹＥＳ）、システム制御部５０は、Ｓ４０７に戻り次の撮影に備える。また、第１シャッタースイッチ６２が押されていない場合（Ｓ４１７：ＮＯ）、システム制御部５０は、一連の撮像動作を終えて静止画撮影モードを終了する。
【００５２】
次に、集合写真合成モードのＡＥ・ＡＦ処理（Ｓ４０７）の詳細について、図５を参照して説明する。図５は、集合写真合成モードのＡＥ・ＡＦ処理を示すフローチャートである。図５に示すように、ＡＥ・ＡＦ処理が開始されると、システム制御部５０は、撮像部２２により取得した画像データに基づいて、絞り値及びシャッター時間を決定するＡＥ処理を行う（Ｓ５０）。次いで、システム制御部５０は、顔検出処理（Ｓ４０５）において顔が検出されたか否かを判定する（Ｓ５１）。顔が検出されていない場合（Ｓ５１：ＮＯ）、システム制御部５０は、ＡＦ枠などにおいてコントラスト判定を行う、通常のＡＦモードに切り替えてＡＦ処理を行って（Ｓ５２）、ＡＥ・ＡＦ処理を終了する。
【００５３】
顔が検出されている場合（Ｓ５１：ＹＥＳ）、システム制御部５０は、検出された全ての顔に対してＡＦ処理を行う全顔枠スキャンを実行する（Ｓ５３）。具体的には、個々の顔に対して、システム制御部５０の制御の下で撮像レンズ１０３を駆動して合焦させ、その顔情報（検出顔サイズ、検出顔位置座標、重心座標、目の位置など）、必要であれば、駆動位置、コントラスト値、コントラストピーク値等の情報を取得する。取得された顔情報はシステムメモリ５２に保存される。
【００５４】
次いで、システム制御部５０は、システムメモリ５２に保存された全ての顔情報を参照し、重心座標の垂直方向の距離が検出顔サイズの高さ（垂直方向）以下であるとき、該当する顔情報は同行と区分（Ｓ５４）し、行情報としてシステムメモリ５２に保存する。
【００５５】
次いで、システム制御部５０は、システムメモリ５２に保存された行情報と顔情報を参照して、各行で互いに隣り合う２つの重心座標の水平方向の距離（以下「顔間隔」と呼ぶ）を算出する（Ｓ５５）。算出された顔間隔はシステムメモリ５２に保存される。
【００５６】
次いで、システム制御部５０は、システムメモリ５２に保存された顔情報と顔間隔を参照して、画像データに画像合成可能な領域を通知するための合成位置候補を算出する（Ｓ５６）。なお、Ｓ５６については後述の合成位置候補算出処理で詳細を説明する。
【００５７】
Ｓ５６における合成位置候補算出処理の結果に基づいて、システム制御部５０は、合成位置候補が存在するか否かを判定する（Ｓ５７）。合成位置候補が存在しない場合（Ｓ５７：ＮＯ）、システム制御部５０は、ＡＥ・ＡＦ処理を終了する。また、合成位置候補が存在する場合（Ｓ５７：ＹＥＳ）、システム制御部５０は、不揮発性メモリ５６などに設定された表示設定情報に基づいた表示画面上に、Ｓ５５で算出された合成位置候補に基づいたガイダンス表示を行う（Ｓ５８）。なお、Ｓ５８におけるガイダンス表示の詳細については後述する。
【００５８】
次に、表示部２８におけるガイダンス表示（Ｓ５８）の詳細について、図７を参照して説明する。ここで、図７はガイダンス表示の一形態を示す概念図である。ガイダンス表示は、ユーザに、画像合成可能な領域か判断するための補助情報として合成位置候補を通知するものである。また、撮像部２２により画像データが継続して取得され、その継続して取得された画像データを表示部２８に逐次表示する場合、上記ガイダンス表示は、逐次表示する画像に重畳表示される。また、ガイダンス表示は、デジタルカメラ１００の設定によって変化する。また、以下に述べるガイダンス表示の表示形態については、操作部７０の４方向キーなどによる選択や、不揮発性メモリ５６の設定情報などに予め設定することで、ユーザが設定できるものとする。
【００５９】
図７は合成位置候補として合成顔サイズの枠を表示するガイダンス表示形態を例示している。顔枠Ｋ１〜Ｋ８は、人物Ｈ１〜Ｈ８を撮像した際に検出された顔領域を示す枠である。合成顔枠Ｇ３４は、顔枠Ｋ３と顔枠Ｋ４の間が合成位置候補であることを、欠席者等、撮影後に画像合成する場合の最適な検出顔サイズである合成顔サイズで示す枠である。なお、合成顔枠Ｇ３４は、枠の種類、色、線種などが顔枠と区別できるように表示される。具体的には、顔枠が緑色の場合に、合成顔枠は赤色で表示する。なお、合成顔サイズは、顔枠Ｋ１〜Ｋ８の顔情報と顔間隔から、合成位置候補算出処理（Ｓ５６）により算出される。合成位置候補算出処理（Ｓ５６）の詳細については後述する。
【００６０】
次に、合成位置候補算出処理（Ｓ５６）の詳細について、図６を参照して説明する。図６は合成位置候補算出処理を示すフローチャートである。
【００６１】
図６に示すように、合成位置候補算出処理が開始されると、システム制御部５０は、基準となる顔間隔を設定する（Ｓ７０）。具体的には、システムメモリ５２に保存された全ての顔間隔を参照して、最小値となる顔間隔を基準顔間隔としてシステムメモリ５２に保存する。なお、基準顔間隔は、全ての顔間隔を対象に参照するとは限らず、例えば行単位、予め選択された範囲に該当した顔間隔を参照としてもよく、またシステムメモリ５２から既存の設定値を参照してもよい。また、基準顔間隔は参照した顔間隔の最小値とは限らず、最大値、平均値、もしくはシステムメモリ５２から、既存の設定値を参照としてもよい。更に、撮影後に画像合成する欠席者の画像が記録媒体２００に存在する場合は、欠席者の画像から検出した検出顔サイズの幅としてもよい。
【００６２】
次いで、システム制御部５０は、システムメモリ５２に保存された基準顔間隔に対して、合成位置候補の判断をするため、係数として２を積算して合成位置候補閾値を算出する（Ｓ７１）。なお、係数は2とは限らず、合成位置候補の数に応じて、システム制御部５０が設定できるものとしてもよく、また、ユーザが自由に設定できるものとしてもよい。
【００６３】
次いで、システム制御部５０は、合成位置候補として通知するための合成顔サイズ、合成顔位置座標、合成顔重心座標などの付加情報を算出する（Ｓ７２）。具体的には、システムメモリ５２に保存された顔間隔と顔情報と行情報を参照して、各行で互いに隣り合う２つの検出顔サイズ、検出顔位置座標の平均値と、重心位置の中間値を、それぞれ合成顔サイズ、合成顔位置座標、合成顔重心位置としてシステムメモリ５２に保存する。
【００６４】
なお、合成顔サイズは、互いに隣り合う２つの検出顔サイズに限らず、複数の検出顔サイズから平均値を算出してもよい。例えば、検出された全ての検出顔サイズの平均値や、行に属する全ての検出顔サイズの平均値としてもよい。また、撮影後に画像合成する欠席者の画像が記録媒体２００に存在する場合は、欠席者の画像から検出した検出顔サイズとしてもよい。
【００６５】
なお本実施形態においては、顔間隔を参照して合成位置候補閾値を算出する方法をとったが、顔情報を参照して合成位置候補閾値を算出する方法もある。具体的には、システムメモリ５２に保存された全ての顔情報を参照して、検出顔サイズの幅の最小値に対して、係数として４を積算して合成位置候補閾値を算出することができる。なお、合成位置候補閾値を算出する場合は、検出顔サイズの幅の最小値とは限らず、最大値、平均値、もしくはシステムメモリ５２から、既存の設定値を参照としてもよい。また、係数は４とは限らず、合成位置候補の数に応じて、システム制御部５０が設定できるものとしてもよく、また、ユーザが自由に設定できるものとしてもよい。
【００６６】
次に、表示部２８におけるガイダンス表示（Ｓ５８）の変形例について、図８〜図１０を参照して説明する。ここで、図８〜図１０はガイダンス表示の一形態を示す概念図である。
【００６７】
図８は図７に例示したガイダンス表示を元に、合成位置候補を判断する合成位置候補閾値を下げた場合のガイダンス表示を例示している。具体的には、合成位置候補の数を１から２へ増加するために、合成位置候補閾値算出（Ｓ７１）の処理において、合成位置候補閾値を下げた例示である。合成顔枠Ｇ５６は、合成位置候補閾値を下げたことで、顔枠Ｋ５と顔枠Ｋ６の間の合成顔位置座標が、新規に合成位置候補であることを合成顔サイズで示す枠である。図８で示すように、合成位置候補閾値を下げた合成顔枠Ｇ５６は、合成位置候補としては、領域が不十分である可能性があるため、点線などで顔枠Ｋ１〜Ｋ８、合成枠Ｇ３４と区別して表示される。このように合成位置候補を判断するための合成位置候補閾値を可変することで、撮影条件に応じた合成顔枠を表示することができる。
【００６８】
図９は撮影後に画像合成する欠席者の画像が記録媒体２００に存在する場合、合成位置候補として合成顔位置座標に欠席者の画像を表示するガイダンス表示形態を例示している。欠席者の画像Ｄ３４は、顔枠Ｋ３と顔枠Ｋ４の間の合成顔位置座標が、合成位置候補であることを画像で示している。欠席者の画像Ｄ５６は、顔枠Ｋ５と顔枠Ｋ６の間の合成位置座標が、合成位置候補であることを画像で示している。なお、欠席者の画像Ｄ３４、Ｄ５６は、画像合成する欠席者の画像とは限らず、記録部２００やインターネット等の外部ネットワーク接続先に保存されている任意の画像でもよい。また、画像処理部２４において合成位置候補の合成顔サイズに、画像合成する欠席者の画像もしくは、任意の画像をリサイズ処理することで、合成顔サイズに合致した画像合成する欠席者の画像もしくは、任意の画像を得ることができる。
【００６９】
図１０は図９のガイダンス表示形態の変形例を示している。図９との相違点は、合成位置候補の数を２から全ての顔間隔を対象とするために、合成位置候補閾値算出（Ｓ７１）の処理において合成位置候補閾値を下げたことである。欠席者の画像Ｄ１２〜Ｄ７８は、顔枠Ｋ１〜Ｋ８の各顔間隔の間の合成顔位置座標が、合成位置候補であることを画像で示している。このように合成位置候補を判断するための合成位置候補閾値を下げることで、ユーザは、どの位置に欠席者の画像を合成することが集合写真としてバランスが良いかを事前に確認することができる。
【００７０】
以上の処理を行うことによって、デジタルカメラ等の一般の撮影装置を用いて、画像合成を前提とした集合写真の撮影時に、簡単に画像合成可能か確認することが可能となる。
【００７１】
＜第二の実施形態＞
図１１は前記の第一の実施形態における図６に相当する図で、図５の合成位置候補算出処理の第二の実施形態を表したフローチャートである。
【００７２】
図１１に示すように、合成位置候補算出処理が開始されると、システム制御部５０は、タッチパネルの動作を検出（Ｓ８０）する。具体的には、タッチパネルの操作を検出し、タッチアップの操作が行われた場合に、システム制御部５０は、直前にタッチパネルへ指やペンが接触していた位置座標をユーザ選択位置座標としてシステムメモリ５２に保存する。
【００７３】
次いで、システム制御部５０は、システムメモリ５２にユーザ選択位置座標が保存されているか否かを判断（Ｓ８１）する。ユーザ選択位置座標が保存されている場合（Ｓ８１：ＹＥＳ）、システム制御部５０は、ユーザ選択位置座標から最短距離にある顔情報を近傍顔情報として設定する（Ｓ８２）。具体的には、システムメモリ５２に保存された全ての顔情報とユーザ選択位置座標を参照して、検出顔位置座標とユーザ選択位置座標の距離が最短となる顔情報を近傍顔情報としてシステムメモリ５２に保存する。
【００７４】
次いで、システム制御部５０は、基準顔間隔を設定する（Ｓ８３）。具体的には、システムメモリ５２に保存されている顔情報と近傍顔情報と顔間隔を参照して、近傍顔情報と同行で互いに隣り合う顔間隔を基準顔間隔として設定する。
【００７５】
次いで、システム制御部５０は、システムメモリ５２に保存された基準顔間隔に対して、合成位置候補の判断をするため、係数として２を積算して合成位置候補閾値を算出する（Ｓ８４）。なお、係数は2とは限らず、合成位置候補の数に応じて、システム制御部５０が設定できるものとしてもよく、また、ユーザが自由に設定できるものとしてもよい。
【００７６】
次いで、システム制御部５０は、合成位置候補として通知するための合成顔サイズ、合成顔位置座標、合成顔重心座標などの付加情報を算出する（Ｓ８５）。具体的には、システムメモリ５２に保存された顔間隔と顔情報と行情報を参照して、各行で互いに隣り合う２つの検出顔サイズ、検出顔位置座標の平均値と、重心位置の中間値を、それぞれ合成顔サイズ、合成顔位置座標、合成顔重心位置としてシステムメモリ５２に保存する。なお、合成顔サイズは、互いに隣り合う２つの検出顔サイズに限らず、複数の検出顔サイズから平均値を算出してもよい。例えば、検出された全ての検出顔サイズの平均値や、行に属する全ての検出顔サイズの平均値としてもよい。更に、撮影後に画像合成する欠席者の画像が記録媒体２００に存在する場合は、欠席者の画像から検出した検出顔サイズとしてもよい。
【００７７】
本実施形態においては、ユーザがタッチパネルで合成位置候補を選択する手段を追加したことが、第一の実施形態と異なる。
【００７８】
なお本実施形態においては、タッチパネルの動作を検出する際に、タッチアップについて合成位置候補を算出する方法をとったが、ストロークについて合成位置候補を算出する方法もある。具体的には、ストロークで変化した全ての位置座標をユーザ選択位置座標としてシステムメモリ５２に保存することで、複数の顔間隔を対象に合成位置候補を算出することができる。
【００７９】
また、本実施形態においては、顔間隔を参照して合成位置候補閾値を算出する方法をとったが、顔情報を参照して合成位置候補閾値を算出する方法もある。具体的には、システムメモリ５２に保存された近傍顔情報を参照して、近傍顔情報の検出顔サイズの幅の最小値に対して、係数として４を積算して合成位置候補閾値を算出することができる。なお、合成位置候補閾値を算出する場合は、検出顔サイズの幅の最小値とは限らず、最大値、平均値、もしくはシステムメモリ５２から、既存の設定値を参照としてもよい。また、係数は４とは限らず、合成位置候補の数に応じて、システム制御部５０が設定できるものとしてもよく、また、ユーザが自由に設定できるものとしてもよい。
【００８０】
次に、本実施例における表示部２８におけるガイダンス表示（Ｓ５７）の詳細について、図１２〜図１３を参照して説明する。ここで、図１２〜図１３はガイダンス表示の一形態を示す概念図である。
【００８１】
図１２は撮影後に画像合成する欠席者の画像が記録媒体２００に存在する場合、ユーザが選択した合成領域に欠席者の画像を表示するガイダンス表示形態を例示している。欠席者の画像Ｔ７８は、ユーザがタッチパネルで顔枠Ｋ７と顔枠Ｋ８間を合成領域として選択し、合成領域であることを画像で示している。また、欠席者の画像Ｔ７８の近傍には、顔枠Ｋ７と顔枠Ｋ８の顔間隔を数値や文字で示す顔間隔情報Ｃ７８が補助情報として表示される。
【００８２】
図１２に例示したガイダンスを元に、人物Ｈ８に移動を促し、欠席者の画像Ｔ７８が納まるように人物Ｈ８が移動した場合は、図１３に示すように、欠席者の画像Ｔ７８の位置と顔間隔情報Ｃ７８の内容が変化し、ガイダンス表示が更新される。
【００８３】
以上の処理を行うことによって、デジタルカメラ等の一般の撮影装置を用いて、画像合成を前提とした集合写真の撮影時に、ユーザが選択した位置に画像合成可能か簡単に確認することが可能となる。
【００８４】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８５】
１００  デジタルカメラ、１３  Ｄ／Ａ変換部、１５  メモリ制御部、１８  Ｉ／Ｆ部、
２２  撮像部、２３  Ａ／Ｄ変換部、２４  画像処理部、２８  表示部、３０  電源部、
３２  メモリ、５０  システム制御部、５２  システムメモリ、
５３  システムタイマー、５６  不揮発性メモリ、６０  モード切替スイッチ、
６１  シャッターボタン、６２  第１シャッタースイッチ、
６４  第２シャッタースイッチ、７０  操作部、７２  電源スイッチ、
７３  コントローラホイール、８０  電源制御部、１０１  シャッター、
１０２  バリア、１０３  撮像レンズ、１１１  接続ケーブル、１１２  コネクタ、
２００  記録媒体、２０１  記録媒体スロット、２０２  蓋
【図１】
2016201711.tif 000003
【図２】
2016201711.tif 000004
【図３】
2016201711.tif 000005
【図４】
2016201711.tif 000006
【図５】
2016201711.tif 000007
【図６】
2016201711.tif 000008
【図７】
2016201711.tif 000009
【図８】
2016201711.tif 000010
【図９】
2016201711.tif 000011
【図１０】
2016201711.tif 000012
【図１１】
2016201711.tif 000013
【図１２】
2016201711.tif 000014
【図１３】
2016201711.tif 000015