(57)【要約】【課題】集合写真を撮影する際に、集合写真撮影に不慣れな撮影者であっても、人物の空きスペースを有効に活用する集合写真を撮像することをより容易にする撮像装置、その制御方法及びプログラムを提案する。  【解決手段】集合写真の各人の顔の位置から画像の所定領域毎に顔の密度を算出し、顔密度が低く、人物が移動可能な領域に人物の移動を促すようにガイダンス表示する。【選択図】図１１
2016201708.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得する撮像手段と、
前記撮像手段により撮像された前記画像データを表示する表示手段と、
前記画像データから顔を検出する顔検出手段と、
前記顔検出手段により検出された顔の位置を算出する顔位置算出手段と、
前記顔位置算出手段により算出された顔の位置から所定の領域毎に顔の密度を算出する顔密度算出手段と、
前記顔密度算出手段の算出結果に基づいて表示情報を生成する情報生成手段を有することを特徴とする画像処理装置。
【請求項２】
前記表示情報は、顔密度が低い領域を通知することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記顔密度算出手段は、前記画像データを水平方向、垂直方向の少なくとも一方向に区分して顔密度を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記表示情報は、顔が存在せず、かつ、水平延長線上あるいは垂直延長線上に少なくとも１人の顔が存在する領域を通知することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記表示情報は、前記画像データの境界領域に人物が位置した場合、その領域を通知することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記顔密度算出手段は、前記顔位置算出手段により算出された顔の度数により顔の密度を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記顔密度算出手段は、前記顔位置算出手段により算出された顔およびその周辺に重み付けして顔の密度を算出することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に集合写真を撮影するための撮像装置に関する。
【背景技術】
【０００２】
観光地などにおいては、多数の人物を集合させ集合写真を撮影することが行われる。このような集合写真においてフレーム内の人の配置を適切にするためには、撮影者が当該画像から不適合部分を探し出し、人物の立ち位置を修正し、再度撮影する作業を繰り返す必要がある。しかし、観光地などで撮影される集合写真では通常は時間的制限があるため、回避するのにも限度がある。
【０００３】
上記課題を解決するために有用な技術として、写真撮影時に撮影者に人物の構図のアドバイスを促す先行技術がある。
【０００４】
特許文献１には、複数の顔を検出して、その顔のサイズが一定になるように撮影者にカメラの位置の移動を促す撮像装置が開示されている。また、人物の距離が等間隔となるように表示装置に人の誘導を促すアドバイスを表示する撮像装置が開示されている。
【０００５】
特許文献２には複数の顔を検出して、その顔の笑顔度、画像フレーム内での位置、検出した顔の向き、性別などのパラメータの相互関係により、親密度を算出し構図が適切になるように撮影制御を行う撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2010-193254号公報
【特許文献２】特開2010-016796号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１の従来技術では、人の密集度によらず等間隔に並び変えるように撮影補助を行うため、撮影者がガイダンスを見て実際に人が移動可能かを判断しなければならなかった。
【０００８】
また、上記特許文献２の従来技術は、人物相互の親密度を見て撮像することは可能だが、多数の被写体が存在する集合写真に対して最適な人の配置を判断し、改善するためのアドバイスを行うことができなかった。
【０００９】
さらに上記特許文献１と２の従来技術では、人物の空きスペースを考慮していないため、空きスペースがある場合、それを配置改善に有効に使うことが難しいという問題があった。
【００１０】
本発明は、人物の空きスペースを有効に活用する集合写真を撮像することをより容易にする撮像装置、その制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明の画像処理装置は、画像データを取得する撮像手段と、前記撮像手段により撮像された前記画像データを表示する表示手段と、前記画像データから顔を検出する顔検出手段と、前記顔検出手段により検出された顔の位置を算出する顔位置算出手段と、前記顔位置算出手段により算出された顔の位置から所定の領域毎に顔の密度を算出する顔密度算出手段と、前記顔密度算出手段の算出結果に基づいて表示情報を生成する情報生成手段を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、集合写真の撮影において、空きスペースを有効に活用する撮影補助を行うことができ、画面全体に顔が分散した構図にて集合写真を撮影することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例１に係る撮像装置の背面外観を示す外観図である。
【図２】本発明の実施例１に係る撮像装置の機能的構成を模式的に示すブロック図である。
【図３】本発明の実施例１に係る撮像装置の全体的な動作を示すフローチャートである。
【図４】本発明の実施例１に係る静止画記録モード処理を示すフローチャートである。
【図５】本発明の実施例１に係る顔検出処理を示すフローチャートである。
【図６】本発明の実施例１に係るＡＥ・ＡＦ処理を示すフローチャートである。
【図７】本発明の実施例１に係る顔密度計算処理を示すフローチャートである。
【図８】本発明の実施例１に係る顔密度分布の一例を示す概念図である。
【図９】本発明の実施例１に係る顔密度分布による移動候補導出例１を示す概念図である。
【図１０】本発明の実施例１に係る顔密度分布による移動候補導出例２を示す概念図である。
【図１１】本発明の実施例１に係る導出例２のガイダンス表示の一例を示す概念図である。
【図１２】本発明の実施例１に係るガイダンス表示に従って人物を移動させた後の一例を示す概念図である。
【図１３】本発明の実施例２に係る顔の密度分布算出のための領域分けの一例を示す概念図である。
【図１４】本発明の実施例２に係る顔密度分布の一例を示す概念図である。
【図１５】本発明の実施例２に係るガイダンス表示の一例を示す概念図である。
【図１６】本発明の実施例２に係るガイダンス表示に従って人物を移動させた後の一例を示す概念図である。
【図１７】本発明の実施例３に係る顔密度の重みづけに用いるテーブルの一例である。
【図１８】本発明の実施例３に係る図１７の重みづけによる点数分布の一例を示す概念図である。
【図１９】本発明の実施例３に係るガイダンス表示の一例を示す概念図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態を図面に基づいて説明する。  
【００１５】
［実施例１］
図１に、本発明の撮像装置の一例としてのデジタルカメラ１００の外観図を示す。表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。コネクタ１１２は接続ケーブル１１１とデジタルカメラ１００とのコネクタである。操作部７０はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。コントローラホイール７３は操作部７０に含まれる回転操作可能な操作部材である。
【００１６】
７２は電源スイッチであり、電源オン、電源オフを切り替える。記録媒体２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。蓋２０２は記録媒体スロット２０１の蓋である。
【００１７】
図２は本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。図２において、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター１０１は絞り機能を備えるシャッターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換部２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。
【００１８】
画像処理部２４は、Ａ／Ｄ変換部２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１９】
Ａ／Ｄ変換部２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換部２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００２０】
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換部１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換部１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換部１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換部２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換部１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行える。
【００２１】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００２２】
システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換部１３、表示部２８等を制御することにより表示制御も行う。
【００２３】
システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。
【００２４】
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【００２５】
第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作を開始する。
【００２６】
第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００２７】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２８】
コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。
【００２９】
なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。
【００３０】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００３１】
電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。Ｉ／Ｆ部１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００３２】
上述したデジタルカメラ１００では中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。
【００３３】
顔検出機能について説明する。システム制御部５０は顔検出対象の画像データを画像処理部２４に送る。システム制御部５０の制御下で画像処理部２４は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部５０の制御下で画像処理部２４は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
【００３４】
その後、システム制御部５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部５０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。
【００３５】
そして、システム制御部５０は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部５０は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をシステムメモリ５２に記憶する。
【００３６】
以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。
【００３７】
なお、顔ＡＦと同時に顔ＡＥ、顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のＷＢを最適化することである。
【００３８】
なお操作部７０の一つとして、表示部２８に対する接触を検知可能なタッチパネルを有する。タッチパネルと表示部２８とは一体的に構成することができる。例えば、タッチパネルを光の透過率が表示部２８の表示を妨げないように構成し、表示部２８の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部２８上の表示座標とを対応付ける。これにより、恰もユーザが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。
【００３９】
システム制御部５０はタッチパネルへの以下の操作を検出できる。タッチパネルを指やペンで触れたこと（以下、タッチダウンと称する）。タッチパネルを指やペンで触れている状態であること（以下、タッチオンと称する）。タッチパネルを指やペンで触れたまま移動していること（以下、ムーブと称する）。タッチパネルへ触れていた指やペンを離したこと（以下、タッチアップと称する）。タッチパネルに何も触れていない状態（以下、タッチオフと称する）。
【００４０】
これらの操作や、タッチパネル上に指やペンが触れている位置座標はシステム制御部５０に通知され、システム制御部５０は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。ムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。
【００４１】
所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。
【００４２】
次に、デジタルカメラ１００のシステム制御部５０が制御する全体的な動作を、図３に示すフローチャートを参照して説明する。図３に示すように、電源スイッチ７２の設定位置がＯＮになると（Ｓ１０）、システム制御部５０は、フラグや制御変数等を初期化する初期設定を行う（Ｓ１１）。続いて、システム制御部５０は、記録媒体２００に記録されているファイルに関するファイル管理処理を行う（Ｓ１２）。続いて、システム制御部５０は、モード切替スイッチ６０の設定位置を判定し、静止画記録モードの判定（Ｓ１３）、動画記録モードの判定（Ｓ１４）、再生モードの判定（Ｓ１５）により、いずれのモードであるかを判定する。
【００４３】
静止画記録モードである場合（Ｓ１３：ＹＥＳ）、システム制御部５０は、静止画記録モード処理を行う（Ｓ１６）。静止画記録モード処理の詳細については後述する。また、動画記録モードである場合（Ｓ１４：ＹＥＳ）、システム制御部５０は、動画記録モード処理を行う（Ｓ１７）。また、再生モードである場合（Ｓ１５：ＹＥＳ）、システム制御部５０は、再生モード処理を行う（Ｓ１８）。
【００４４】
上述した各モード処理を行った後、システム制御部５０は、電源スイッチ７２の設定位置がＯＦＦであるか否かを判定する（Ｓ１９）。電源スイッチ７２の設定位置がＯＮである場合（Ｓ１９：ＮＯ）、システム制御部５０は、Ｓ１３へ戻ってその処理を実行する。電源スイッチ７２の設定位置がＯＦＦである場合（Ｓ１９：ＹＥＳ）、システム制御部５０は所定の終了処理を行う（Ｓ２０）。所定の終了処理とは、表示部２８の表示を終了状態に変更する処理、バリア１０２を閉じる処理、フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ５６に記録する処理、電源供給が不要な部分への電 源供給を遮断する処理などがある。
【００４５】
次に、静止画記録モード処理（Ｓ１６）の詳細について、図４に示すフローチャートを参照して説明する。図４に示すように、静止画記録モード処理が開始されると、システム制御部５０は、不揮発性メモリ５６に記録された撮影モード又は操作部７０により操作入力された撮影モードに基づいて、撮影モードを確定する（Ｓ４００）。
【００４６】
具体的には、システム制御部５０は、不揮発性メモリ５６より前回の終了処理時に記録された撮影モードを取得してシステムメモリ５２に格納する。あるいは、システム制御部５０は、ユーザにより操作部７０が操作されて撮影モードの設定入力があれば、入力された撮影モードをシステムメモリ５２に格納する。
【００４７】
ここで、撮影モードとは、撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等を組み合わせて実現されるモードのことである。本実施形態におけるデジタルカメラ１００は、オートモード、マニュアルモード、各種シーンモードを有する。オートモードとは、撮像部２２で取得された画像データなどに基づいて、システム制御部５０がシャッター速度や絞り値などのパラメータを自動で調整するモードである。マニュアルモードとは、カメラの各種パラメータをユーザが操作部７０を操作することで自由に変更可能なモードである。各種シーンモードとは、撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等の組み合わせを、いずれかの撮影シーンを選択することで自動設定されるモードである。
【００４８】
このシーンモードとしては、集合写真モードなどがある。集合写真モードとは、集合写真撮影時に撮影者を補助するためのガイダンスを表示するモードである。
【００４９】
Ｓ４００において撮影モードが確定されると、システム制御部５０は、撮像部２２により取得した画像データを表示部２８に表示させる（Ｓ４０１）。続いて、システム制御部５０は、電源制御部８０により電源部３０の残容量や記録媒体２００の有無、記録媒体２００が接続する場合はその残容量などが、デジタルカメラ１００の動作に問題があるか否かを判定する（Ｓ４０２）。Ｓ４０２において問題があると判定された場合（Ｓ４０２：ＮＯ）、システム制御部５０は、表示部２８における警告表示や警告音声の出力などの所定の警告表示を行い（Ｓ４０３）、Ｓ４００の処理へ戻る。
【００５０】
Ｓ４０２において電源部３０や記録媒体２００の状態に問題がないと判定した場合（Ｓ４０２：ＹＥＳ）、システム制御部５０は、必要に応じて分類情報の自動付与についての入／切設定を行う（Ｓ４０４）。自動付与についての入／切設定は、操作部７０に含まれるメニューボタンを操作することで表示されるメニュー画面（不図示）において、ユーザの任意で設定可能である。自動付与の入／切設定は、撮影モードならびに被写体条件により分類情報を自動付与するか否かのフラグであり、設定値はシステムメモリ５２において保持される。このように分類情報の自動付与について入／切設定を持たせることで、ユーザによって意図しない分類情報が付与されることを時々に応じて防止することが可能となる。
【００５１】
続いて、システム制御部５０は、表示部２８に表示される画像信号中、すなわち、撮像部２２により取得された画像データに人間の顔が存在するか否かを検知する顔検出処理を行う（Ｓ４０５）。なお、Ｓ４０５において人間の顔を検出した場合、システム制御部５０は、顔情報として画像データ中において検出した位置座標、サイズ（幅、高さ）、検出個数、信頼性係数等をシステムメモリ５２に記憶する。またＳ４０５において人間の顔を検出しなかった場合、システム制御部５０は、システムメモリ５２内の位置座標、サイズ、検出個数、信頼係数等の記憶領域に０などのＮＵＬＬ値を設定する。
【００５２】
続いて、システム制御部５０は、第１シャッタースイッチ６２が押されているか否かを判定する（Ｓ４０６）。第１シャッタースイッチ６２が押されていないと判定された場合（Ｓ４０６：ＮＯ）、システム制御部５０は、Ｓ４０４の処理へ戻る。第１シャッタースイッチ６２が押されていると判定された場合（Ｓ４０６：ＹＥＳ）、システム制御部５０は、撮像レンズ１０３の焦点を被写体に合わせ、絞り値及びシャッター時間を決定するＡＥ・ＡＦ処理を行う（Ｓ４０７）。なお、ＡＥ処理において、必要であればフラッシュの発光設定なども行う。また、ＡＥ・ＡＦ処理では、Ｓ４０５において人間の顔を検出している場合、検出した顔の範囲でＡＦ処理を行うことも可能である。本実施形態における集合写真合成モードのＡＥ・ＡＦ処理の詳細については後述する。
【００５３】
続いて、システム制御部５０は、第２シャッタースイッチ６４が押されているか否かの判定（Ｓ４０８）、第１シャッタースイッチ６２が押されているか否かの判定（Ｓ４０９）を行う。第２シャッタースイッチ６４が押されずに（Ｓ４０８：ＮＯ）、さらに第１シャッタースイッチ６２も解除されたならば（Ｓ４０９：ＮＯ）、システム制御部５０は、Ｓ４０４の処理へ戻る。また、第２シャッタースイッチ６４が押されずに（Ｓ４０８：ＮＯ）、さらに第１シャッタースイッチ６２が押されている場合（Ｓ４０９：ＹＥＳ）、システム制御部５０は、Ｓ４０７の処理へ戻る。
【００５４】
また、第２シャッタースイッチ６４が押されたならば（Ｓ４０８：ＹＥＳ）、システム制御部５０は、表示部２８の表示状態をスルー表示状態から固定色表示状態に設定して（Ｓ４１０）、撮影処理を行う（Ｓ４１１）。固定色表示状態では、メモリ３２に書き込まれた撮影画像データの代わりに、差し替えた固定色の画像データ（例えば、黒一色の表示）をメモリ制御部１５、Ｄ／Ａ変換部１３を介して表示部２８に表示する。
【００５５】
Ｓ４１１における撮影処理では、システム制御部５０は、露光処理、現像処理を行う。露光処理では、撮像部２２、Ａ／Ｄ変換部２３、画像処理部２４、メモリ制御部１５を介して、或いはＡ／Ｄ変換部２３から直接メモリ制御部１５を介して、メモリ３２に撮像により取得した画像データが書き込まれる。現像処理では、メモリ３２に書き込まれた画像データを読み出して、メモリ制御部１５、必要に応じて画像処理部２４を用いて各種処理が行われる。
【００５６】
続いて、システム制御部５０は、Ｓ４１１において撮像した画像データに基づいて、表示部２８へクイックレビュー表示を行う（Ｓ４１２）。クイックレビューとは、撮像した画像データの確認のために、予め決められた時間（レビュー時間）だけ画像データを表示部２８に表示する処理である。このクイックレビュー表示の後、システム制御部５０は、Ｓ４１１の撮像処理で得られた画像データを画像ファイルとして記録媒体２００に書き込みを行う記録処理を実行し（Ｓ４１３）、第２シャッタースイッチ６４が押されているか否かを判定する（Ｓ４１４）。なお、Ｓ４１３の記録処理が終了した際に、Ｓ４１４において第２シャッタースイッチ６４が放されるまで表示部２８におけるクイックレビュー表示が継続して行われる場合は、撮像した画像の確認を入念に行うことが可能となる。
【００５７】
続いて、システム制御部５０は、第２シャッタースイッチ６４を放した状態（Ｓ４１４：ＮＯ）である場合、Ｓ４１５へ進む。第２シャッタースイッチ６４が放たれた状態を判定するタイミングとしては、Ｓ４１３における記録処理が終了した際や、第２シャッタースイッチ６４を押し続けてクイックレビューを継続表示して撮像画像の確認の後などがある。続いて、システム制御部５０は、予め定められたレビュー時間（ミニマムレビュー時間）が経過したか否かを判定（Ｓ４１５）し、ミニマムレビュー時間が経過していればＳ４１６へ進む。
【００５８】
続いて、システム制御部５０は、表示部２８の表示状態を撮像部２２により取得された画像データの表示状態にして（Ｓ４１６）、第１シャッタースイッチ６２が押されているか否かを判定する（Ｓ４１７）。この場合は、表示部２８でのクイックレビュー表示によって撮像画像の確認をした後に、次の撮影のために撮像部２２で継続して取得した画像データを逐次表示する状態に戻すことができる。第１シャッタースイッチ６２が押されている場合（Ｓ４１７：ＹＥＳ）、システム制御部５０は、Ｓ４０７に戻り次の撮影に備える。また、第１シャッタースイッチ６２が押されていない場合（Ｓ４１７：ＮＯ）、システム制御部５０は、一連の撮像動作を終えて静止画撮影モードを終了する。
【００５９】
次に、顔検出処理（Ｓ４０５）の詳細について、図５に示すフローチャートを参照して説明する。この図５に示すフローチャートは、代表的な顔検出アルゴリズムの一例である。図５に示すように、顔検出処理が開始されると、システム制御部５０は、撮像部２２から画像信号を取得し（Ｓ４０）、その取得した画像信号に水平方向及び垂直方向のバンドパスフィルタ（ＢＰＦ）をかけ（Ｓ４１、Ｓ４２）、エッジ成分を検出する。
【００６０】
次いで、システム制御部５０は、検出されたエッジ成分のパターンマッチングを行い、目、鼻、口、耳の候補群を抽出する（Ｓ４３）。次いで、システム制御部５０は、Ｓ４３にて抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判定し、目の対があるもののみ目の候補群として絞り込むことで、人間の目の検出を行う（Ｓ４４）。
【００６１】
次いで、システム制御部５０は、Ｓ４４にて絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）とを対応付けて仮の顔とし、その仮の顔を予め設定した非顔条件フィルタにかける（Ｓ４５）。すなわち、システム制御部５０は、非顔条件フィルタを通すことで、人間の顔を検出する。次いで、システム制御部５０は、検出結果に応じて顔情報を出力し（Ｓ４６）、処理を終了する。
【００６２】
上述した顔検出処理により、デジタルカメラ１００では、撮像部２２により取得した画像データから特徴量を抽出して被写体情報を検出することが可能であり、顔の特徴量を抽出することで顔情報を検出することが可能となっている。なお、被写体情報は、他に赤目判定等の様々な情報であってよい。
【００６３】
次に、ＡＥ・ＡＦ処理（Ｓ４０７）の詳細について、図６を参照して説明する。図６は、ＡＥ・ＡＦ処理を示すフローチャートである。図６に示すように、ＡＥ・ＡＦ処理が開始されると、システム制御部５０は、撮像部２２により取得した画像データに基づいて、絞
り値及びシャッター時間を決定するＡＥ処理を行う（Ｓ５０）。次いで、システム制御部
５０は、顔検出処理（Ｓ４０５）において顔が検出されたか否かを判定する（Ｓ５１）。顔が検出された場合、システム制御部５０は、集合写真モードか否かを判定する（Ｓ５２）。
【００６４】
顔が検出されていない場合（Ｓ５１：ＮＯ）あるいは顔が検出されていても集合写真モードでない場合(Ｓ５２：ＮＯ)、システム制御部５０は、ＡＦ枠などにおいてコントラスト判定を行う、通常のＡＦモードに切り替えてＡＦ処理を行って（Ｓ５６）、ＡＥ・ＡＦ処理を終了する。
【００６５】
顔が検出され、集合写真モードと判定された場合、システム制御部５０は、全顔枠スキャンを実行する（Ｓ５３）。全顔枠スキャンでは、検出された全ての顔に対してＡＦ処理を行う。具体的には、個々の顔に対して、システム制御部５０の制御の下で撮像レンズ１０３を駆動して合焦させ、顔情報（サイズ、顔の中心の位置など）等の情報を取得する。取得された顔情報はシステムメモリ５２に保存される。
【００６６】
次いで、システム制御部５０は、全顔枠スキャンにより取得された情報を元に、顔密度を計算する。顔密度の計算の詳細については後述する。
【００６７】
次いで、システム制御部５０は、不揮発性メモリ５６などに設定された表示設定情報に基づいた表示画面上に、Ｓ５４で算出された顔密度情報に基づいたガイダンス表示を行う（Ｓ５５）。なお、Ｓ５５におけるガイダンス表示の詳細についても後述する。
【００６８】
上記ガイダンス表示が終了したら、ＡＥ・ＡＦ処理を終了する。
【００６９】
次に、Ｓ５４における顔密度の計算処理や、Ｓ５５におけるガイダンス表示の詳細について、図７〜１１を参照して説明する。
【００７０】
図７は顔密度計算の一連の処理を示すフローチャートである。
【００７１】
システム制御部５０は、まず、入力画像を所定の領域に分割する（Ｓ６０）。この分割領域は撮影人数や検出した顔枠の大きさなどによって可変とする。次いでシステム制御部５０は、分割領域それぞれの顔の数をカウントする（Ｓ６１）。ここでは、顔の数は、顔の中心が存在する領域にてカウントするものとする。システム制御部５０は、顔のカウントをフレーム内の全領域が終了するまで繰り返し行う（Ｓ６２）。次に、システム制御部５０は、Ｓ６２で算出した領域内のカウント結果を用いて、領域の顔密度を計算する（Ｓ６３）。実施例１では顔密度の計算は、単純にそのエリアの度数のみを算出するものとする。次いで、システム制御部５０は、Ｓ６３で算出した顔密度情報を元に、領域を低密度領域と高密度領域にわける（Ｓ６４）。分け方は、本実施例においては度数の平均をとり、度数が平均以上の領域を高密度領域とし、それより度数が下ならば低密度領域とする。
【００７２】
次いで、システム制御部５０は、Ｓ６４で分けた低密度領域の中から、高密度領域に位置する人物が移動可能と思われるエリアを算出する（Ｓ６５）。移動可能領域は、高密度領域に隣接する低密度領域の内、顔の存在しない領域が考えられる。
【００７３】
図８は上記顔密度計算処理の例として、集合写真の画像を垂直方向に１１領域に分割し、ヒストグラムを作成した例である。
【００７４】
図８において、全体の人数は53人なので、1領域の平均は4.8人である。平均値でみると、領域5〜7は平均人数以上なので高密度領域に、それ以外の領域は平均人数より少ないので低密度領域に分類できる。図９は、図８のヒストグラムを元に、高密度領域に位置する人物の移動可能なエリアを表示した例である。ここでは、移動候補として、高密度領域に隣接した低密度領域４、８を表示している。
【００７５】
図１０は移動可能エリアの別例であり、図９の集合写真の領域５〜７の人物が領域４に３人移動した後の画像である。
【００７６】
図１０においても、全体の人数は53人なので、1領域の平均は4.8人である。よって図８と同様に、領域5〜7は度数が高い領域に、それ以外の領域は度数が低い領域に分類できる。図１０においても図８と同様に隣接する度数の低い領域を移動候補として示しているが、こちらは、度数が０の領域８より度数が少し存在する領域４を優先して表示している。これは、度数が０の領域８より、度数が少しでもある領域４の方が、実際に人物が移動できる可能性が高いと考えられるからである。
【００７７】
図１１は移動可能エリアのガイダンス表示の例である。図１０の移動候補の内、顔の存在する領域を除いて表示している。これらは実際に人物が移動できる可能性が高い領域である。
【００７８】
図１２は図１１のガイダンスに従って被写体を移動させた後の画像である。図１１のガイダンスに従って、集合写真の人物全体のアスペクト比が横長の集合写真に対して高密度領域の人物が移動することで、画像全体に顔が分散した構図にすることができる。人物が上下に分散することで空きスペースを有効に活用でき、横長のアスペクト比の改善をすることができる。アスペクト比を改善することで、一人ひとりの顔の大きさを大きくすることができる。
【００７９】
［実施例２］
ＡＥ・ＡＦ処理（Ｓ４０７）の顔密度計算のみを変更した、実施例２について記述する。実施例１においては、画像は垂直方向のみの分割領域で顔密度（ヒストグラム）を計算していたが、本実施例では垂直方向および水平方向に区分して、顔密度を計算する方法を示す。水平方向にも被写体が移動可能な領域を示すことで、空きスペースをなくすことができ、より全体に顔が分散した写真を撮ることが可能となる。
【００８０】
図１３に、集合写真の画像を垂直方向および水平方向に分割した例を示す。
【００８１】
図１４は図１３の画像を垂直方向と水平方向に区分して、領域内に何人位置するか顔の中心位置の数から算出した結果である。
【００８２】
図１４において、領域内の顔の数が３つなら斜線、２つなら縦線、１つなら横線で領域を示している。実際の表示は、人数が多い領域ほど濃い色にするなどの表示にしてもよい。
【００８３】
図１５は図１４の顔密度分布により算出した移動可能領域、移動対象領域のガイダンス表示例である。図１５の点線枠は、顔密度が低い領域で人物が移動可能と考えられる領域のガイダンス表示例である。本実施例では、集合写真の人物全体のアスペクト比が横長にならないように図１３のA列とK列にはガイダンスを表示しないようにした。また、図１３の3行と6行には、人物が存在しており、人物が移動できる可能性が高いため、これらの行において顔密度の低い領域を移動可能なガイダンス表示領域とした。図１５の太い実線の領域は、移動対象の人物の通知例である。
【００８４】
図１５では、アスペクト比を横長にしている人物を移動させるため、A列とK列で顔が存在する領域を移動対象領域として、ガイダンス表示している。
【００８５】
図１６は図１５の太い実線内の人物が点線内に移動した結果を示している。端に位置する人物が周辺のより中央の空き領域に移動することで、アスペクト比を図１３よりも縦長に改善することができる。また、実施例２では、実施例１のガイダンス表示に比べ、より具体的に移動対象の人物を指定することが可能となる。
【００８６】
［実施例３］
実施例３においては、顔密度の算出方法の別の方法として、顔の中心および周囲に重みづけした顔密度を算出する方法を提示する。
【００８７】
図１７は重みづけのために使う点数のテーブルである。顔が存在する領域を３点とし、左右方向に２点、上下方向に１点の点数をつけて顔密度を評価する。
【００８８】
図１８は図１３と同様の領域区分で、図１７のテーブルを用いて中心領域と周囲4領域の度数に重み付けを行った結果を示している。図１８では、点数が10点以上は斜線、5〜9点は縦線、5点未満は横線で領域を表示している。実際の表示は、点数の高い領域ほど濃い色にするなどの表示にしてもよい。図１９は図１８の評価結果によりガイダンスを表示した例を示している。ガイダンス表示の方針は実施例２と同様で、A列とK列で顔が存在する領域を移動対象とし、点数が低く（５点未満）、人物が移動できる可能性の高いと考えられる領域を移動可能領域とした。
【００８９】
図１７の判定方法を用いると、図１８のように人物が集中している中央付近(4〜5行のD〜J列)が比較的高密度と判定されるため、当該領域への人物の誘導を避けることができる。当該領域は実際は人物が密集しているので、移動できる可能性は低いため、図１８は実施例２の図１４より人物の移動に適切な領域をより高密度領域として示しているといえる。
【００９０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９１】
１００  デジタルカメラ、１３  Ｄ／Ａ変換部、１５  メモリ制御部、１８  Ｉ／Ｆ部、
２２  撮像部、２３  Ａ／Ｄ変換部、２４  画像処理部、２８  表示部、３０  電源部、
３２  メモリ、５０  システム制御部、５２  システムメモリ、
５３  システムタイマー、５６  不揮発性メモリ、６０  モード切替スイッチ、
６１  シャッターボタン、６２  第１シャッタースイッチ、
６４  第２シャッタースイッチ、７０  操作部、７２  電源スイッチ、
７３  コントローラホイール、８０  電源制御部、１０１  シャッター、
１０２  バリア、１０３  撮像レンズ、１１１  接続ケーブル、１１２  コネクタ、
２００  記録媒体、２０１  記録媒体スロット、２０２  蓋
【図１３】
2016201708.tif 000003
【図１５】
2016201708.tif 000004
【図１７】
2016201708.tif 000005
【図１】
2016201708.tif 000006
【図２】
2016201708.tif 000007
【図３】
2016201708.tif 000008
【図４】
2016201708.tif 000009
【図５】
2016201708.tif 000010
【図６】
2016201708.tif 000011
【図７】
2016201708.tif 000012
【図８】
2016201708.tif 000013
【図９】
2016201708.tif 000014
【図１０】
2016201708.tif 000015
【図１１】
2016201708.tif 000016
【図１２】
2016201708.tif 000017
【図１４】
2016201708.tif 000018
【図１６】
2016201708.tif 000019
【図１８】
2016201708.tif 000020
【図１９】
2016201708.tif 000021