(57)【要約】【課題】構図内に存在する複数の人物のうちのいずれの人物の視線が撮像装置に向いていないかを、容易に把握できる撮像装置を提供するを提供する。【解決手段】デジタルカメラでは、撮影待機状態においてライブビュー表示のためのライブ画像が取得される。そして、このライブ画像から人物像が抽出され、抽出された人物像のそれぞれに関して「視線がデジタルカメラに向いていない状態である」という状態条件を満足するか否かが判定される。液晶モニタ４においてライブ画像を表示する際には、状態条件を満足すると判定された人物像ＣｆにはフレームＦｒが重畳表示され、状態条件を満足しない他の人物像Ａｆ，Ｂｆと明示的に区別される。ユーザは、このような表示により、構図内に存在する人物のうちのいずれの人物の視線がデジタルカメラ１に向いていない状態となっているかを容易に把握できる。【選択図】図６
2006201531.tif 000002
【特許請求の範囲】
【請求項１】
ユーザからの撮影指示の前の撮影待機状態において被写体の状態を示すライブ画像を表示し、前記撮影指示の後に記録用画像を取得する撮像装置であって、
前記ライブ画像を取得する撮像手段と、
前記ライブ画像に含まれる人物像を抽出する抽出手段と、
前記人物像が所定の状態条件を満足するか否かを判定する判定手段と、
前記撮影待機状態において、前記状態条件を満足すると判定された人物像を明示しつつ、前記ライブ画像を表示する表示手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記抽出手段は、前記ライブ画像の一部の対象領域のみから、前記人物像を抽出することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
少なくとも一つの前記対象領域の指定をユーザから受け付ける手段、
をさらに備えることを特徴とする撮像装置。
【請求項４】
請求項１ないし３のいずれかに記載の撮像装置において、
前記状態条件の候補となる複数の条件のうちから少なくとも一つを、前記状態条件としてユーザから受け付ける条件受付手段、
をさらに備えることを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記条件受付手段が、前記状態条件として複数の条件を受け付けたとき、
前記判定手段は、前記人物像が前記複数の条件のそれぞれを満足するか否かを判定し、
前記表示手段は、前記状態条件に満足すると判定された人物像を、当該人物像が満足する条件に応じた態様で明示することを特徴とする撮像装置。
【請求項６】
請求項１ないし５のいずれかに記載の撮像装置において、
前記表示手段は、前記状態条件を満足すると判定された人物像を明示する際に、当該人物像の顔領域の周囲を囲む指標を表示することを特徴とする撮像装置。
【請求項７】
請求項１ないし６のいずれかに記載の撮像装置において、
前記判定手段による判定結果に基づいて、前記撮影指示を無効化する手段、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影待機状態において被写体の状態を示す画像を表示する撮像装置に関する。
【背景技術】
【０００２】
ユーザからの撮影指示前の撮影待機状態において、被写体の状態を示す画像を表示するライブビュー表示可能な撮像装置においては、ライブビュー表示を行う表示手段が構図（画像として取得される領域）の決定に利用される。このため、このような撮像装置を利用する撮影者は、表示手段の画面を参照しつつ撮影指示を行うことが一般的となっている。
【０００３】
ところで、集合写真などの複数の人物の撮影を行う際には、被写体となる複数の人物の全員の視線が、撮影時点において撮像装置に向いていることが望ましい。したがって、撮影者は、複数の人物の視線の状態を把握しつつ撮影を行う必要があるが、通常、このような視線の把握は困難かつ煩雑である。特に、表示手段を構図の決定に利用する場合においては、撮像装置が備えるような表示手段の比較的小さな画面では、構図内に存在する人物の視線の状態を把握することは非常に困難である。
【０００４】
このため、近年、撮影待機状態において予備的に撮影して得られる画像に基づいて、構図内の人物の視線の向きを自動判別し、構図内の全員の視線が撮像装置に向いているときのみ撮影を実行する撮像装置などが提案されている（例えば、特許文献１参照。）。
【０００５】
なお、本発明に関連する技術を開示する先行技術文献として、下記の文献がある。
【０００６】
【特許文献１】特開２００１−５１３３８号公報
【特許文献２】特開２００３−１５０３０６号公報
【特許文献３】特開平９−４４６８５号公報
【特許文献４】特開平８−２４９４４７号公報
【特許文献５】特開平８−２４９４５３号公報
【特許文献６】特開平１０−２５５０４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、撮影者が被写体として意図した人物以外の他の人物が構図内に入り込むような状況などにおいては、構図内に存在する複数の人物のうちの特定の人物（この場合は、撮影者が被写体として意図した人物）のみについての視線の状態を明確に把握したい場面が生じる。しかしながら、上記特許文献１に示すような撮像装置を用いたとしても、構図内に存在する複数の人物のうち、いずれの人物の視線が撮像装置に向いており、いずれの人物の視線が撮像装置に向いていないかを撮影者が把握することはできない。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、構図内に存在する複数の人物のうちのいずれの人物が所定の状態となっているかを、表示手段の表示により容易に把握できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１の発明は、ユーザからの撮影指示の前の撮影待機状態において被写体の状態を示すライブ画像を表示し、前記撮影指示の後に記録用画像を取得する撮像装置であって、前記ライブ画像を取得する撮像手段と、前記ライブ画像に含まれる人物像を抽出する抽出手段と、前記人物像が所定の状態条件を満足するか否かを判定する判定手段と、前記撮影待機状態において、前記状態条件を満足すると判定された人物像を明示しつつ、前記ライブ画像を表示する表示手段と、を備えている。
【００１０】
また、請求項２の発明は、請求項１に記載の撮像装置において、前記抽出手段は、前記ライブ画像の一部の対象領域のみから、前記人物像を抽出する。
【００１１】
また、請求項３の発明は、請求項２に記載の撮像装置において、少なくとも一つの前記対象領域の指定をユーザから受け付ける手段、をさらに備えている。
【００１２】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の撮像装置において、前記状態条件の候補となる複数の条件のうちから少なくとも一つを、前記状態条件としてユーザから受け付ける条件受付手段、をさらに備えている。
【００１３】
また、請求項５の発明は、請求項４に記載の撮像装置において、前記条件受付手段が、前記状態条件として複数の条件を受け付けたとき、前記判定手段は、前記人物像が前記複数の条件のそれぞれを満足するか否かを判定し、前記表示手段は、前記状態条件に満足すると判定された人物像を、当該人物像が満足する条件に応じた態様で明示する。
【００１４】
また、請求項６の発明は、請求項１ないし５のいずれかに記載の撮像装置において、前記表示手段は、前記状態条件を満足すると判定された人物像を明示する際に、当該人物像の顔領域の周囲を囲む指標を表示する。
【００１５】
また、請求項７の発明は、請求項１ないし６のいずれかに記載の撮像装置において、前記判定手段による判定結果に基づいて、前記撮影指示を無効化する手段、を備えている。
【発明の効果】
【００１６】
請求項１ないし５の発明によれば、撮影待機状態において、状態条件を満足すると判定された人物像を明示する表示手段の表示により、構図内に存在する人物のうちのいずれの人物が所定の状態となっているかを容易に把握できる。
【００１７】
また、特に請求項２の発明によれば、ライブ画像の一部の対象領域のみが処理対象となるため、処理すべきデータ量を低減できる。
【００１８】
また、特に請求項３の発明によれば、ユーザが所望する人物像のみに関して判定を行うことができる。
【００１９】
また、特に請求項４の発明によれば、ユーザが所望の状態条件を設定できる。
【００２０】
また、特に請求項５の発明によれば、いずれの人物像がいずれの条件を満足するかを容易に把握できる。
【００２１】
また、特に請求項６の発明によれば、状態条件を満足する人物像を明示する際においても、人物像の顔領域の状態を把握できる。
【００２２】
また、特に請求項７の発明によれば、人物像が所定の状態となるまで、ユーザからの撮影指示を受け付けないようにすることができる。
【発明を実施するための最良の形態】
【００２３】
以下では、本発明の実施の形態に係る撮像装置の一としてデジタルカメラについて説明する。
【００２４】
＜１．外観構成＞
図１はデジタルカメラ１を示す斜視図であり、図２はデジタルカメラ１の背面側の構成を示す図である。このデジタルカメラ１は、主に静止画像を取得するデジタルスチルカメラとして構成されている。
【００２５】
図１に示すように、デジタルカメラ１の前面側には、フラッシュ３１及び光学ファインダ３２の対物窓、並びに、複数のレンズ群を有する撮影レンズ３が設けられる。また、この撮影レンズ３の後方位置となるデジタルカメラ１の内部の適所には、ＣＣＤなどの撮像センサ２が設けられている。撮像センサ２は、撮影レンズ３に入射して結像される被写体からの反射光を露光（受光）することにより、被写体の画像を取得する。本実施の形態において「撮影」とは、「撮像センサ２による被写体からの反射光の１回の継続的な露光」の意に相当する。
【００２６】
デジタルカメラ１の上面側には、ユーザから撮影指示を受け付けるシャッタボタン３４、及び、電源のオンオフを切り替えるためのメインスイッチ３３が配置されている。デジタルカメラ１の側面部には、記録媒体であるメモリカード９を着脱可能なカードスロット３５が形成される。デジタルカメラ１において取得された画像は、このメモリカード９に記録される。
【００２７】
また、図２に示すように、デジタルカメラ１の背面側には、光学ファインダ３２の接眼窓、動作モードを切り替えるためのモード切替レバー３６、各種表示を行う液晶モニタ４、並びに、ユーザ操作を受け付けるための十字キー３７、確定ボタン３８及びファンクションボタン群３９（３９ａ〜３９ｄ）が設けられている。
【００２８】
液晶モニタ４は、メモリカード９に記録された画像の表示、及び、各種設定を行うための設定メニューの表示など各種表示を行なう。また、ユーザから撮影指示がなされる前の撮影待機状態においては、液晶モニタ４は、構図内に存在する被写体の状態をほぼリアルタイムに示すライブビュー表示を行う。なお、本実施の形態において「構図」とは、「画像として取得される領域」の意である。これにより液晶モニタ４は、構図の決定（フレーミング）にも利用される。
【００２９】
十字キー３７、確定ボタン３８及びファンクションボタン群３９には、デジタルカメラ１の動作モードや動作状態に応じて機能が動的に割り当てられる。十字キー３７は、上下左右の各方向を示す４つのボタンが一体構成されたものであり、主として項目の移動や表示対象とする画像の選択などに利用される。また、確定ボタン３８は、各種の確定指示に利用される。
【００３０】
デジタルカメラ１は、「通常撮影モード」と「被写体判定モード」と「再生モード」との３つの動作モードを備えている。これらの動作モードは、モード切替レバー３６をスライドさせることより切り替えられる。このうち「通常撮影モード」及び「被写体判定モード」は、被写体を撮影して記録用画像を取得し、記録用画像をメモリカード９に記録する動作モードである。一方、「再生モード」は、メモリカード９に記録された記録用画像を液晶モニタ４に表示する動作モードである。
【００３１】
「通常撮影モード」は、一般的なデジタルカメラの撮影動作を行う動作モードである。デジタルカメラ１は、「通常撮影モード」ではまず、液晶モニタ４においてライブビュー表示を行う撮影待機状態となる。この撮影待機状態において、ユーザによりライブビュー表示が参照されつつ構図が決定される。そして、ユーザから撮影指示がなされると、これに応答して、撮像センサ２により被写体の撮影が行われて記録用画像が取得され、メモリカード９に記録されることになる。
【００３２】
一方、「被写体判定モード」は、集合写真などの複数の人物を被写体とする場合を対象とした動作モードである。この「被写体判定モード」においても、上記の「通常撮影モード」と同様にして、まず、ライブビュー表示がなされる撮影待機状態となり、ユーザから撮影指示がなされると記録用画像が取得されてメモリカード９に記録されることになる。ただし、「被写体判定モード」の撮影待機状態においては、ライブビュー表示を行う際に、液晶モニタ４に表示される人物の像（人物像）のうち、視線がデジタルカメラ１に向いていない状態の人物像が画面上で明示されるようになっている。これにより、構図内に被写体として存在する人物のうち、いずれの人物の視線がデジタルカメラ１に向いており、いずれの人物の視線がデジタルカメラ１に向いていないかを、撮影待機状態においてユーザ（撮影者）が把握できるようになっている。
【００３３】
＜２．内部構成＞
図３はデジタルカメラ１の主たる内部構成を示すブロック図である。図に示すように、デジタルカメラ１は、その内部に装置全体を統括的に制御する全体制御部６を備えている。全体制御部６は、マイクロコンピュータを備えて構成され、各種の演算処理を行うＣＰＵ６１、演算の作業領域などに利用されるＲＡＭ６２、制御プログラムやデータ等が記憶されるＲＯＭ６３、及び、計時回路であるタイマ６４を備えている。デジタルカメラ１の各処理部は、この全体制御部６に対して電気的に接続され、全体制御部６の制御下において動作する。
【００３４】
撮影レンズ３を介して撮像センサ２で取得された画像は、デジタルカメラ１の内部の処理部に出力され、所定の処理が施される。デジタルカメラ１は、この画像を取り扱うハードウェアの処理部として、信号処理回路５３、画像メモリ５４及び画像処理部５５を備えている。
【００３５】
信号処理回路５３は、撮像センサ２から出力されたアナログの電荷信号としての画像に対して信号処理を行うものである。信号処理回路５３は、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（オートゲインコントロール）回路、及び、Ａ／Ｄ変換器を有している。撮像センサ２から出力されたアナログの電荷信号は、このような信号処理回路５３の各構成により、ノイズの低減及びレベル調整がなされるともに、デジタル信号へ変換される。デジタル信号へ変換された画像は、信号処理回路５３から出力され、画像を記憶するＤＲＡＭなどの画像メモリ５４に格納される。
【００３６】
画像処理部５５は、画像メモリ５４に格納された画像に対して、色補間処理、γ補正処理、解像度変換処理及び圧縮処理等の各種の画像処理を施すものである。このような画像処理部５５の画像処理により、液晶モニタ４への表示に適した形式の画像や、メモリカード９への記録に適した圧縮形式の画像などが生成される。
【００３７】
「通常撮影モード」及び「被写体判定モード」の撮影待機状態においてライブビュー表示を行う際には、撮像センサ２において例えば１／３０秒ごとに被写体の撮影がなされ、その時点の構図内の被写体の状態を示す画像（以下、「ライブ画像」という。）が繰り返し取得される。取得されたライブ画像は、信号処理回路５３及び画像処理部５５にて所定の処理が施されて、液晶モニタ４への表示に適した形式とされた後、液晶モニタ４に表示される。この処理は、ライブ画像が取得されるごとになされる。したがって、液晶モニタ４においては、被写体の状態を示すライブ画像が１／３０秒ごとに更新されつつ表示される。これにより、液晶モニタ４においては、構図内の被写体の状態がほぼリアルタイムに表示されることになる。
【００３８】
一方、「通常撮影モード」及び「被写体判定モード」においてユーザから撮影指示がなされたときには、これに応答して、撮像センサ２において撮影がなされて一の記録用画像が取得される。取得された記録用画像は、信号処理回路５３及び画像処理部５５にて所定の処理が施されて、メモリカード９への記録に適した圧縮形式とされた後、メモリカード９に記録されることになる。
【００３９】
カードＩ／Ｆ５６は、カードスロット３５に装着されるメモリカード９への画像の記録や、メモリカード９からの画像の読み出し等を行う。このカードＩ／Ｆ５６は全体制御部６に電気的に接続され、全体制御部６からの信号に基づいて画像の記録や読み出しを行う。また、液晶モニタ４も全体制御部６に電気的に接続され、全体制御部６の制御下において画像の表示や動画像の再生表示などの各種の表示を行う。
【００４０】
操作入力部３０は、上述したシャッタボタン３４、モード切替レバー３６、十字キー３７、確定ボタン３８及びファンクションボタン群３９等を含む操作部材をひとつの機能ブロックとして示している。ユーザにより操作入力部３０が操作されると、当該操作に係る処理や制御を示す信号が発生して全体制御部６に入力される。例えば、シャッタボタン３４が押下されると、撮影指示を示す信号が全体制御部６に入力され、これにより、全体制御部６はユーザからの撮影指示を認識する。
【００４１】
全体制御部６は、デジタルカメラ１の制御に係る各種の機能を有している。このような機能は、ＲＯＭ６３に記憶される制御プログラムに従ってＣＰＵ６１が演算処理を行うことにより（すなわち、ソフトウェア的に）実現される。制御プログラムは、ＲＯＭ６３内に予め記憶されるものであるが、メモリカード９から読み出すなどにより、新たな制御プログラムをＲＯＭ６３に格納することも可能とされている。図３において、撮像制御部７１、表示制御部７２、人物抽出部７３、及び、人物判定部７４は、このようなソフトウェア的に実現される全体制御部６の機能の一部を模式的に示している。
【００４２】
撮像制御部７１は、「通常撮影モード」及び「被写体判定モード」における画像の取得に係る制御を行なう。例えば、撮影待機状態において撮像制御部７１は、ライブビュー表示のために、１／３０秒ごとにライブ画像を取得するように撮像センサ２に指示信号を送出する。
【００４３】
また、表示制御部７２は、液晶モニタ４の表示に係る制御を行う。例えば、「通常撮影モード」及び「被写体判定モード」におけるライブビュー表示や、「再生モード」における記録用画像の表示などを液晶モニタ４に行わせる。また、「被写体判定モード」においてライブビュー表示を行う際には、ライブ画像に含まれる人物像のうちで、視線がデジタルカメラ１に向いていない状態の人物像を明示する制御も行う。
【００４４】
また、人物抽出部７３は、ライブ画像に含まれる人物像を抽出する機能である。さらに、人物判定部７４は、抽出された人物像が示す人物の視線の向きを判定する機能である。これらの機能の詳細は後述する。
【００４５】
＜３．被写体判定モードの基本動作＞
次に、「被写体判定モード」におけるデジタルカメラ１の動作について説明する。図４は、デジタルカメラ１の「被写体判定モード」における基本的な動作の流れを示す図である。
【００４６】
前述のように、デジタルカメラ１は「被写体判定モード」に設定されると、まず、ユーザからの撮影指示（シャッタボタン３４の押下）を待機する撮影待機状態となる（ステップＳ２にてＮｏの間）。この撮影待機状態においては、液晶モニタ４において、ライブ画像に含まれる人物像のうちで視線がデジタルカメラ１に向いていない状態の人物像を明示しつつライブビュー表示を行う処理である被写体判定処理がなされる（ステップＳ１）。
【００４７】
撮影待機状態においてユーザ（撮影者）は、このようなライブビュー表示を利用して、構図、及び、撮影指示を行うタイミングを決定することになる。「被写体判定モード」は集合写真などの複数の人物を被写体とする場合を対象とした動作モードであるため、通常、被写体とすべき複数の人物が含まれるように構図がユーザにより決定される。なお、被写体判定処理の処理結果を有効に利用するためには、構図を決定した後は、三脚などを用いてデジタルカメラ１を固定配置することが望ましい。
【００４８】
そして、ユーザから撮影指示がなされると（ステップＳ２にてＹｅｓ）、これに応答して、撮像制御部７１の制御により、被写体となる複数の人物の撮影が行われ、記録用画像が取得される（ステップＳ３）。取得された記録用画像は圧縮形式とされた後、メモリカード９に記録される（ステップＳ４）。その後、デジタルカメラ１は再び撮影待機状態（ステップＳ１，Ｓ２）に戻ることになる。
【００４９】
＜４．被写体判定処理＞
次に、被写体判定処理（ステップＳ１）について詳細に説明する。前述したように、被写体判定処理は、ライブ画像に含まれる人物像のうちで、視線がデジタルカメラ１に向いていない状態の人物像を、液晶モニタ４において明示する処理となる。
【００５０】
例えば、図５に示すライブ画像を処理対象とする場合について想定する。図５に示すライブ画像Ｌｖは、構図内に３名の人物が存在した状態で得られたものであり、３つの人物像Ａｆ，Ｂｆ，Ｃｆが含まれている。図に示すように、これらの人物像Ａｆ，Ｂｆ，Ｃｆのうちで、人物像Ａｆ，Ｂｆの視線はデジタルカメラ１に向いているが、人物像Ｃｆの視線はデジタルカメラ１に向いていない。したがって、図５に示すライブ画像Ｌｖを処理対象として被写体判定処理がなされると、図６に示すように、液晶モニタ４の画面において、人物像ＣｆにフレームＦｒが重畳して表示され、他の人物像Ａｆ，Ｂｆと区別できるように明示されるわけである。以下、この処理の詳細について説明する。
【００５１】
図７は、被写体判定処理の詳細な流れを示す図である。まず、撮像センサ２により、その時点の構図内の被写体に係る一のライブ画像が取得され、画像メモリ５４に格納される。この画像メモリ５４に格納されたライブ画像が、被写体判定処理の処理対象となる（ステップＳ１１）。
【００５２】
次に、ライブ画像から人物の顔に相当する顔領域が、人物像（正確には、人物像の一部）として人物抽出部７３により抽出される。例えば、図５に示すライブ画像Ｌｖが処理対象である場合は、３つの人物像Ａｆ，Ｂｆ，Ｃｆ（正確には、その顔領域）が抽出される。人物像の抽出結果は、ライブ画像中における所定の座標系の座標情報として表現される。顔領域を抽出する手法としては、例えば特許文献２に開示されているように、ライブ画像の各画素が示す色相や彩度に基づいて、人物の肌色に近似する領域を顔領域として抽出する手法などが利用できる（ステップＳ１２）。
【００５３】
この処理により人物像が抽出されなかった場合（ステップＳ１３にてＮｏ）は、人物像へのフレームＦｒの重畳表示は不要である。このため、処理対象となったライブ画像が液晶モニタ４にそのまま表示され（ステップＳ１４）、被写体判定処理が終了する。
【００５４】
一方、人物像が抽出された場合（ステップＳ１３にてＹｅｓ）は、次に、抽出された人物像のうちから一の人物像が、その時点において処理対象とすべき人物像（以下、「注目人物像」という。）として決定される（ステップＳ１５）。
【００５５】
そして、注目人物像の視線（正確には、注目人物像が示す人物の視線）がデジタルカメラ１に向いていないか否かが、人物判定部７４により判定される。換言すれば、注目人物像に関して「視線がデジタルカメラ１に向いていない状態である」という「状態条件」を満足するか否かの判定がなされることになる。このような画像中の人物像の視線の向きの判定には、例えば特許文献２に開示されているように、顔領域から眼領域及び瞳領域をさらに求め、瞳が眼の中のどの位置にあるかに基づいて判定する手法などが利用できる（ステップＳ１６）。
【００５６】
このようにして一の注目人物像に関して状態条件を満足するか否かの判定が完了すると、その判定結果がＲＡＭ６２に記憶される。続いて、抽出された人物像のうち、状態条件の判定がなされていない人物像がある場合は（ステップＳ１７にてＹｅｓ）、処理はステップＳ１５に戻り、次の人物像が注目人物像とされて上記と同様にして状態条件を満足するかの判定が行われる。そして、同様の処理が抽出された人物像ごとに繰り返され、最終的に、状態条件を満足するか否かの判定結果が全ての人物像について得られ、その判定結果がＲＡＭ６２に記憶されることになる。
【００５７】
例えば、図５に示すライブ画像Ｌｖが処理対象である場合は、３つの人物像Ａｆ，Ｂｆ，Ｃｆのうち、人物像Ａｆ及び人物像Ｂｆについては状態条件を満足しないという判定結果が得られ、人物像Ｃｆについては状態条件を満足するという判定結果が得られることになる。
【００５８】
全ての人物像の判定結果が得られると、次に、表示制御部７２の制御により、処理対象となったライブ画像が液晶モニタ４に表示される（ステップＳ１８）。そして、状態条件を満足する人物像が存在した場合には（ステップＳ１９にてＹｅｓ）、表示制御部７２の制御により、図６に示すように、液晶モニタ４の画面において、ライブ画像に含まれる状態条件を満足した人物像に重畳してフレームＦｒが、表示される。
【００５９】
フレームＦｒは、状態条件を満足した人物像の顔領域の周囲を囲むように（顔領域を少なくとも含む領域の外縁に沿って）表示される。このフレームＦｒのサイズ（縦横の幅）及び座標位置は、周囲を囲むべき顔領域のサイズ及び座標位置に基づいて決定される。このように、フレームＦｒが顔領域の周囲を囲むように表示されることで、状態条件を満足した人物像を明示した場合においても、ユーザが当該人物像の顔領域の状態を把握でき、人物像の状態に関してユーザが独自の判断を行うことも可能となる。フレームＦｒとしては、人物像の顔領域の周囲を囲む指標であれば、図６に示す矩形の他、円形、楕円形及び多角形等の形状であってもよく、また、その外縁となる線が繋がってなくてもよい（ステップＳ２０）。
【００６０】
このようにして、状態条件を満足すると判定された人物像を明示しつつライブ画像が表示されると、一の被写体判定処理が終了する。
【００６１】
以上説明した被写体判定処理は、前述のように、撮影待機状態において１／３０秒ごとに繰り返してなされることになる（図４のステップＳ１，Ｓ２）。したがって、液晶モニタ４におけるフレームＦｒの表示状態は、構図内に存在する実際の人物の視線の状態に合わせて刻一刻と変化する。ユーザはこのような液晶モニタ４におけるフレームＦｒの表示を参照することで、その時点において、構図内に存在する人物のうちの、いずれの人物の視線がデジタルカメラ１に向いており、いずれの人物の視線がデジタルカメラ１に向いていないかを容易に把握することができることになる。
【００６２】
例えば、ライブ画像Ｌｖ中の全ての人物像Ａｆ，Ｂｆ，Ｃｆの視線がデジタルカメラ１に向いた状態となる図８に示すようなライブ画像Ｌｖが処理対象とされた場合には、フレームＦｒの表示を伴わずにライブ画像のみが液晶モニタ４に表示される。ユーザは、このようなフレームＦｒの表示がない液晶モニタ４の画面を確認することで、構図内に存在する全ての人物の視線がデジタルカメラ１に向いていることを把握できる。そして、その時点でユーザから撮影指示がなされたとすると、全ての人物像Ａｆ，Ｂｆ，Ｃｆの視線がデジタルカメラ１に向いた状態となる記録用画像が取得される。つまり、ユーザは、液晶モニタ４においてフレームＦｒの表示がないことを確認して撮影指示を行うのみで、全ての人物像の視線がデジタルカメラ１に向いた状態の好ましい記録用画像を容易に取得できることになる。
【００６３】
また、例えば、ユーザが被写体として意図する人物以外の他の人物が構図内に入り込んだ場合について想定する。図９に示すライブ画像Ｌｖには、ユーザが被写体として意図する３名の人物に係る人物像Ａｆ，Ｂｆ，Ｃｆの他に、被写体として意図しない１名の人物に係る人物像Ｄｆが含まれている。
【００６４】
本実施の形態の被写体判定処理では、このような意図しない人物像Ｄｆに関しても同様に状態条件を満足するかの判定がなされる。このため、図９に示すように、意図しない人物像Ｄｆの視線がデジタルカメラ１に向いていない場合は、当該人物像Ｄｆに重畳してフレームＦｒが表示されることになる。
【００６５】
しかしながら、本実施の形態の被写体判定処理の結果においては、構図内に存在する人物のうちの、いずれの人物の視線がデジタルカメラ１に向いており、いずれの人物の視線がデジタルカメラ１に向いていないかを明確に把握できる。すなわち、図９に示すような液晶モニタ４の表示により、被写体として意図する人物像Ａｆ，Ｂｆ，Ｃｆに関しては視線がデジタルカメラ１に向いていることをユーザは明瞭に把握できる。また、撮影指示のタイミングはユーザにより任意に決定可能であることから、ユーザは、被写体として意図する人物像のみに注目し、それらにフレームＦｒの表示がないことを確認して撮影指示を行うようにすれば、被写体として意図しない人物の状態に影響されることなく、被写体として意図する人物像については全て好ましい状態となる記録用画像を取得できることになる。
【００６６】
以上のようにデジタルカメラ１では、撮影待機状態においてライブ画像が取得され、取得されたライブ画像に含まれる人物像が抽出され、抽出された人物像のそれぞれに関して視線がデジタルカメラ１に向いていないか否かが判定される。そして、液晶モニタ４においてライブ画像を表示する際には、状態条件を満足すると判定された人物像には、フレームＦｒが重畳され、状態条件を満足しない他の人物像と明示的に区別される。したがって、ユーザは、このような液晶モニタ４の表示により、構図内に存在する人物のうちのいずれの人物の視線がデジタルカメラ１に向いていない状態となっているかを容易に把握できることになる。
【００６７】
＜５．他の実施の形態＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態（以下、「第１形態」という。）に限定されるものではなく様々な変形が可能である。以下では、このような他の実施の形態について説明する。
【００６８】
＜５−１．第２形態：対象領域の指定＞
第１形態では、ライブ画像の領域全体を処理対象として被写体判定処理がなされていたが、ライブ画像の一部の領域のみを処理対象とするようにしてもよい。この場合においては、被写体判定処理の処理対象とする領域（以下、「判定対象領域」という。）の指定をユーザから受け付けることになる。
【００６９】
図１０は、判定対象領域の指定をユーザから受け付ける際の液晶モニタ４の画面の例を示す図である。この画面は、撮影待機状態において所定の操作を行うことで液晶モニタ４に表示されるものであり、図に示すように、画面中にはライブ画像Ｌｖとともに領域を選択するためのカーソルＣが表示される。
【００７０】
ユーザは、このような液晶モニタ４の画面を参照しつつ、十字キー３７を操作することにより判定対象領域の左上及び右下とすべき位置までカーソルＣを移動させ、それぞれの位置で確定ボタン３８を押下する。これにより、指定された２点で規定されるライブ画像中の矩形の領域が、判定対象領域ＴａとしてＣＰＵ６１に受け付けられる。
【００７１】
このようにして判定対象領域Ｔａが指定されると、以降の被写体判定処理においては、判定対象領域Ｔａのみが処理対象とされる。すなわち、判定対象領域Ｔａのみから人物像が抽出され（図７：ステップＳ１２）、判定対象領域Ｔａから抽出された人物像のみに関して状態条件を満足するか否かの判定がなされることになる（図７：ステップＳ１６）。
【００７２】
例えば、図１０中に示すように判定対象領域Ｔａが指定された場合において、同図に示すライブ画像Ｌｖについて被写体判定処理がなされた場合を想定する。このライブ画像Ｌｖには、４つの人物像Ａｆ、Ｂｆ、Ｃｆ及びＤｆが含まれ、このうち３つの人物像Ａｆ、Ｂｆ、Ｃｆのみが判定対象領域Ｔａに含まれている。このため、これら３つの人物像Ａｆ、Ｂｆ、Ｃｆのみが抽出され、これら３つの人物像Ａｆ、Ｂｆ、Ｃｆのみに関して状態条件を満足するか否かの判定がなされる。
【００７３】
したがって、図１０のライブ画像Ｌｖ中には、視線がデジタルカメラ１に向いていない２つの人物像Ｃｆ及びＤｆが含まれているが、図１１に示すように、このうち判定対象領域Ｔａに含まれる人物像Ｃｆのみに関してフレームＦｒが表示されることになる。
【００７４】
このように第２形態では、ライブ画像の一部の判定対象領域のみから人物像を抽出するため、処理すべきデータ量を低減できる。また、人物像を抽出する判定対象領域の指定をユーザから受け付けるため、ユーザが所望する人物像のみに関して状態条件に係る判定を行うことができる。したがって例えば、ユーザが被写体として意図する人物以外の他の人物が構図内に入り込んだ場合であっても、被写体として意図する人物に係る人物像のみを判定対象領域Ｔａに含まれるように判定対象領域Ｔａを指定することで、当該人物像のみに関して状態条件を満足するか否かの判定を行わせることが可能となる。つまり、被写体として意図しない人物の状態に影響されないフレーム表示を行うことが可能となる。
【００７５】
なお、この第２形態では、ライブ画像中の任意の領域をユーザが判定対象領域として指定できる態様であるが、判定対象領域の候補として予め定められた複数の領域のうちから選択する態様であってもよい。また、ライブ画像中の一部の領域が固定的に判定対象領域とされる態様であってもよい。
【００７６】
また、ライブ画像中において判定対象領域として指定される領域は一つに限定されず、図１２に示すように、複数の領域が判定対象領域Ｔａとして指定可能となっていてもよい。この場合は、判定対象領域Ｔａとされた複数の領域のそれぞれから人物像が抽出されることになる。
【００７７】
＜５−２．第３形態：状態条件の選択＞
第１形態では、図７のステップＳ１６において、各人物像に関して「視線がデジタルカメラ１に向いている状態である」という「状態条件」を満足するか否かの判定がなされていたが、この状態条件は、その候補となる複数の条件のうちからユーザが所望のものを選択できるようになっていてもよい。この場合は、撮影待機状態における所定の操作により液晶モニタ４に表示される設定メニューにおいて状態条件をユーザから受け付けることになる。
【００７８】
図１３は、状態条件を受け付けるための設定メニューの例を示す図である。図に示すように、液晶モニタ４の画面には、「視線の向き」「顔の向き」「顔の部品」「眼の開閉」「表情」の５つの項目が表示されている。これらの項目は、それぞれ状態条件の候補となる条件に対応している。ユーザは、このような液晶モニタ４の画面を参照しつつ、十字キー３７を操作することによりカーソルＣｒをいずれかの項目に移動させ、確定ボタン３８を押下する。これにより、カーソルＣｒにて選択された項目に対応する条件が、図７のステップＳ１６の判定に用いるべき「状態条件」としてＣＰＵ６１に受け付けられる。
【００７９】
ここで、「視線の向き」の項目は「視線がデジタルカメラ１に向いていない状態である」という条件に対応している。この条件は、上記第１形態における状態条件と同一である。
【００８０】
また、「顔の向き」の項目は「顔全体の向きがデジタルカメラ１に向いていない状態である」という条件に対応している。すなわち、この項目が選択された場合は、人物像の顔全体の向きがデジタルカメラ１に向いていないか否かが判定される。この判定には、例えば特許文献２に開示された手法などが利用できる。
【００８１】
また、「顔の部品」の項目は「顔の部品の一部が見えていない状態である」という条件に対応している。すなわち、この項目が選択された場合は、人物像の顔領域において眼、鼻、口などの顔の部品のうちの一部が存在していないか否かが判定される。この判定には、例えば特許文献２に開示された手法などが利用できる。
【００８２】
また、「眼の開閉」の項目は「眼が開いていない状態である」という条件に対応している。すなわち、この項目が選択された場合は、人物像の眼が閉じているか否かが判定される。この判定には、例えば特許文献３に開示された手法などが利用できる。
【００８３】
また、「表情」の項目は「表情が笑顔以外の状態である」という条件に対応している。すなわち、この項目が選択された場合は、人物像の表情が笑顔でないか否かが判定される。この判定には、例えば特許文献４ないし６に開示された手法などが利用できる。
【００８４】
これによれば、ユーザが所望の状態条件を設定できるため、ユーザは、構図内に存在する複数の人物のうちのいずれの人物が所望の状態となっているかを容易に把握できる。
【００８５】
例えば、図１４中に示すライブ画像Ｌｖが処理対象とされた場合を想定する。図１４のライブ画像Ｌｖには、３つの人物像Ａｆ、Ｂｆ、Ｃｆが含まれており、このうち人物像Ｂｆの顔の向きはデジタルカメラ１に向いておらず、また、人物像Ｃｆの視線はデジタルカメラ１に向いていない。この場合において、図１３の画面において「顔の向き」の項目が選択されたときには、図１４に示すように、顔の向きがデジタルカメラ１に向いていない人物像Ｂｆに関してフレームＦｒが表示される。また一方で、図１３の画面において「視線の向き」が選択されたときには、人物像Ｃｆに関してフレームＦｒが表示されることになる。
【００８６】
＜５−３．第４形態：状態条件の複数選択＞
第３形態では、状態条件の候補となる複数の条件のうちから一の条件のみをユーザから受け付けていたが、複数の条件をユーザから受け付け可能となっていてもよい。
【００８７】
図１５は、この場合における状態条件を受け付けるための設定メニューの例を示す図である。図に示すように、この場合においても、液晶モニタ４の画面には、状態条件の候補となる条件に対応する項目として「視線の向き」「顔の向き」「顔の部品」「眼の開閉」「表情」の５つの項目が表示されるが、それぞれの項目の左側にはチェックボックスが表示される。またさらに、条件とは無関係な「選択終了」の項目も表示される。
【００８８】
このような画面において、カーソルＣｒをいずれかの項目に移動させ確定ボタン３８を押下すると、指定された旨を示すチェックマークＣＭがチェックボックスに表示される。このチェックマークが入れられた項目に対応する条件が、状態条件として指定されることになる。ユーザは、このような画面を利用して、所望の項目のチェックボックスにチェックマークＣＭを入れていくことで、複数の条件を状態条件として指定することができる。
【００８９】
そして、少なくとも一つの項目のチェックボックスにチェックマークＣＭを入れた後、「選択終了」の項目を選択して確定ボタン３８を押下すると、チェックボックスにチェックマークＣＭが入れられた項目に対応する条件が、図７のステップＳ１６の判定に用いるべき「状態条件」としてＣＰＵ６１に受け付けられる。
【００９０】
複数の条件が「状態条件」とされたときは、図７のステップＳ１６の判定においては、抽出された人物像が、「状態条件」とされた複数の条件のそれぞれを満足するか否かの判定がなされる。そして、「状態条件」とされた複数の条件のうちの一つでも満足した人物像に関してフレームＦｒが表示されることになる。
【００９１】
例えば、図１５に示す画面において、「視線の向き」及び「顔の向き」の２つの項目が選択された場合に、前述した図１４と同一のライブ画像Ｌｖが処理対象とされた場合を想定する。この場合においては、人物像Ｂｆの顔の向きはデジタルカメラ１に向いておらず、また、人物像Ｃｆの視線はデジタルカメラ１に向いていないことから、図１６に示すように、人物像Ｂｆ及び人物像Ｃｆの双方に関してフレームＦｒが表示されることになる。
【００９２】
なお、このように複数の条件を受け付けたときには、人物像がいずれの条件に満足するのかを把握することができるように、状態条件に満足すると判定された人物像を、当該人物像が満足する条件に応じた態様で明示するようにしてもよい。つまり、人物像が満足する条件ごとに、表示するフレームの色相、明度、彩度、及び、形状などの態様を異ならせるようにしてもよい。
【００９３】
例えば、図１７の例においては、表示するフレームの色相を対応する条件に応じて異ならせるようにしている。すなわち、「視線がデジタルカメラ１に向いていない状態である」という条件を満足する人物像Ｃｆについては赤色のフレームＦｒ１を表示し、「顔全体の向きがデジタルカメラ１に向いていない状態である」という条件を満足する人物像Ｂｆについては黄色のフレームＦｒ２を表示している。この際、図１７に示すように、いずれの色相がいずれの項目に対応するのかを説明する凡例Ｌｅの表示を行ってもよい。このようにすることで、ユーザは、構図内のいずれの人物が、「状態条件」とされた複数の条件のうちのいずれに満足するのかを一目で把握することができることになる。
【００９４】
＜５−４．第５形態：撮影指示の無効化＞
また、第１形態のデジタルカメラ１では、フレームＦｒの表示がないタイミングにおいて撮影指示がなされると、好ましい状態の人物像のみを含む記録用画像が取得されるようになっていた。逆に言えば、フレームＦｒの表示のあるタイミング、つまり、いずれかの人物像が状態条件を満足している場面において撮影指示がなされると、好ましくない状態の人物像を含む記録用画像が取得されることになっていた。このため、いずれかの人物像が状態条件を満足している場面においてユーザから撮影指示がなされたときには、その撮影指示を無効化するようにしてもよい。
【００９５】
図１８は、この場合におけるデジタルカメラ１の「被写体判定モード」の基本的な動作の流れを示す図である。図４と同様に、デジタルカメラ１は、まず、ユーザからの撮影指示を待機する撮影待機状態となり（ステップＳ３２にてＮｏの間）、この状態においては、状態条件を満足する人物像を明示しつつライブビュー表示を行う被写体判定処理がなされる（ステップＳ３１）。
【００９６】
そして、ユーザから撮影指示がなされると（ステップＳ３２にてＹｅｓ）、記録用画像の取得の前に、まず、ＲＡＭ６２に記憶された直近の被写体判定処理における人物像の判定結果が参照される（ステップＳ３３）。そして、状態条件を満足する人物像がひとつでも存在した場合は（ステップＳ３３にてＹｅｓ）、当該撮影指示は無効とされて、処理はステップＳ３１に戻る。
【００９７】
一方、状態条件を満足する人物像が存在しない場合は（ステップＳ３３にてＮｏ）、当該撮影指示は有効とされて、被写体となる複数の人物の撮影が行われ、記録用画像が取得される（ステップＳ３４）。取得された記録用画像は圧縮形式とされた後、メモリカード９に記録される（ステップＳ３５）。その後、デジタルカメラ１は再び撮影待機状態（ステップＳ３１，Ｓ３２）に戻ることになる。
【００９８】
このように、第５形態のデジタルカメラ１では、被写体判定処理における人物像の判定結果に基づき、いずれかの人物像が状態条件を満足した場合は、撮影指示が無効化される。つまり、全ての人物像が好ましい状態となるまでユーザからの撮影指示が受け付けられず、好ましくない状態の人物像を含む記録用画像の取得が防止されることになる。
【００９９】
なお、この第５形態のデジタルカメラでは、被写体として意図する人物以外の他の人物が構図内に入り込んだ場合には、当該他の人物の状態に影響されて撮影指示が実行できない場面も想定される。このため第５形態のデジタルカメラ１では、被写体として意図する人物像のみを状態条件の判定対象にできるように、第２形態と同様に判定対象領域の指定をユーザから受付可能であることが好ましい。
【０１００】
なお、このような撮影指示を無効化する機能を有するデジタルカメラ１においては、当該機能を能動化（有効化）するか否かを、設定メニューにおいてユーザが所望に選択可能となっていてもよい。
【０１０１】
＜５−５．その他の変形例＞
上記実施の形態では、「視線がデジタルカメラ１に向いていない状態である」など、撮影において”好ましくない”状態に係る条件が状態条件に設定されていたが、「視線がデジタルカメラ１に向いている状態である」など、撮影において”好ましい”状態に係る条件が状態条件に設定されていてもよい。例えば、状態条件が「視線がデジタルカメラ１に向いている状態である」という条件である場合において、図５と同一のライブ画像Ｌｖを処理対象としたときには、図１９に示すように、液晶モニタ４の画面において、視線がデジタルカメラ１に向いている人物像Ａｆ、Ｂｆに関してフレームＦｒが表示されることになる。
【０１０２】
また、この場合においては、第５形態のように被写体判定処理における人物像の判定結果に応じて撮影指示を無効化する制御を行うときには、第５形態とは逆に、いずれかの人物像が状態条件を満足しない場合に、撮影指示を無効化することになる。
【０１０３】
また、状態条件として”好ましい”状態に係る条件と”好ましくない”状態に係る条件とのいずれかを、ユーザが所望に選択可能となっていてもよい。
【０１０４】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【図面の簡単な説明】
【０１０５】
【図１】デジタルカメラを示す斜視図である。
【図２】デジタルカメラの背面側の構成を示す図である。
【図３】デジタルカメラの主たる内部構成を示すブロック図である。
【図４】被写体判定モードにおける基本的な動作の流れを示す図である。
【図５】処理対象とするライブ画像の一例を示す図である。
【図６】フレーム表示を伴うライブビュー表示の一例を示す図である。
【図７】被写体判定処理の詳細な流れを示す図である。
【図８】ライブビュー表示の一例を示す図である。
【図９】フレーム表示を伴うライブビュー表示の一例を示す図である。
【図１０】判定対象領域の指定を受け付ける画面の例を示す図である。
【図１１】フレーム表示を伴うライブビュー表示の一例を示す図である。
【図１２】判定対象領域の指定を受け付ける画面の例を示す図である。
【図１３】状態条件を受け付ける画面の例を示す図である。
【図１４】フレーム表示を伴うライブビュー表示の一例を示す図である。
【図１５】状態条件を受け付ける画面の例を示す図である。
【図１６】フレーム表示を伴うライブビュー表示の一例を示す図である。
【図１７】フレーム表示を伴うライブビュー表示の一例を示す図である。
【図１８】第５形態における被写体判定モードの動作の流れを示す図である。
【図１９】フレーム表示を伴うライブビュー表示の一例を示す図である。
【符号の説明】
【０１０６】
１      デジタルカメラ
２      撮像センサ
４      液晶モニタ
６      全体制御部
３４      シャッタボタン
Ｃ      カーソル
Ｆｒ      フレーム
Ｌｖ      ライブ画像
Ｔａ      判定対象領域
【図１】
2006201531.tif 000003
【図２】
2006201531.tif 000004
【図３】
2006201531.tif 000005
【図４】
2006201531.tif 000006
【図５】
2006201531.tif 000007
【図６】
2006201531.tif 000008
【図７】
2006201531.tif 000009
【図８】
2006201531.tif 000010
【図９】
2006201531.tif 000011
【図１０】
2006201531.tif 000012
【図１１】
2006201531.tif 000013
【図１２】
2006201531.tif 000014
【図１３】
2006201531.tif 000015
【図１４】
2006201531.tif 000016
【図１５】
2006201531.tif 000017
【図１６】
2006201531.tif 000018
【図１７】
2006201531.tif 000019
【図１８】
2006201531.tif 000020
【図１９】
2006201531.tif 000021