(57)【要約】【課題】前面と背面などに２つの表示パネル部を設けるようにした場合に、撮像に関する動作状態や状況に応じて、各表示パネルで適切な表示を実現する。【解決手段】第２表示パネル部（前面表示パネル）については、被写体方向に人物が存在するか否かに応じて必要な表示動作が行われる。例えばモニタリング期間には、撮像装置の使用者は、第１表示パネル部（主表示パネル）で、被写体画像のモニタリングを行うが、被写体側に人物が存在する場合は、第２表示パネル部でもモニタリング表示を行う。これにより被写体人物が、撮されようとしている自分の表情やポーズなどを確認できる。また風景撮像時など第２表示パネル部の表示を見る人物が存在しないときは、第２表示パネル部をオフにして省電を図る。【選択図】図６
2010114568.tif 000002
【特許請求の範囲】
【請求項１】
装置筐体上で使用者方向に向かって表示を行う第１表示パネル部と、
装置筐体上で被写体方向に向かって表示を行う第２表示パネル部と、
上記被写体方向からの入射光を光電変換し、撮像画像信号を得る撮像処理部と、
上記被写体方向に人物が存在するか否かを検出する人物検出部と、
上記撮像処理部で得られた撮像画像信号に基づく表示を上記第１表示パネル部で実行させると共に、上記第２表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を、少なくとも上記人物検出部の検出結果に応じて制御する制御部と、
を備えた撮像装置。
【請求項２】
上記制御部は、上記人物検出部により人物の存在が検出された場合に、上記撮像処理部で得られた撮像画像信号に基づく表示を上記第２表示パネル部で実行させる制御を行う請求項１に記載の撮像装置。
【請求項３】
上記制御部は、上記人物検出部により人物の存在が検出されない場合に、上記第２表示パネル部の表示をオフとする制御を行う請求項２に記載の撮像装置。
【請求項４】
上記制御部は、上記人物検出部により人物の存在が検出されない場合に、上記第２表示パネル部において、上記撮像処理部で得られた撮像画像信号に基づく表示を通常動作と比較して低輝度状態で実行させる制御を行う請求項２に記載の撮像装置。
【請求項５】
記録媒体に記録された画像データを読み出す画像データ読出部をさらに備え、
上記制御部は、上記人物検出部により人物の存在が検出されない場合に、上記第２表示パネル部に、上記画像データ読出部によって読み出した画像データに基づく表示を実行させる制御を行う請求項２に記載の撮像装置。
【請求項６】
上記制御部は、
上記人物検出部の検出結果と、撮像装置の動作に関する使用者の操作に応じた設定状態とに基づいて、上記第２表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する請求項１に記載の撮像装置。
【請求項７】
上記制御部は、
上記人物検出部の検出結果と、撮像装置の内部検出情報とに基づいて、上記第２表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する請求項１に記載の撮像装置。
【請求項８】
上記制御部は、
上記人物検出部の検出結果と、上記撮像処理部で得られた撮像画像信号の画像解析情報とに基づいて、上記第２表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する請求項１に記載の撮像装置。
【請求項９】
上記人物検出部は、上記撮像処理部で得られた撮像画像信号の画像解析により、上記被写体方向に人物が存在するか否かを検出する請求項１に記載の撮像装置。
【請求項１０】
上記人物検出部は、上記撮像処理部で得られた撮像画像信号の画像解析により、撮像画像信号内に被写体としての人物の顔が含まれているか否かにより人物検出を行う請求項９に記載の撮像装置。
【請求項１１】
上記人物検出部は、上記被写体方向の人物の存在を検出する近接センサにより構成される請求項１に記載の撮像装置。
【請求項１２】
記録媒体に記録された画像データを読み出す画像データ読出部をさらに備え、
上記制御部は、上記画像データ読出部で読み出された画像データに基づく表示を上記第１表示パネル部で実行させると共に、上記第２表示パネル部での上記画像データ読出部で読み出された画像データに基づく表示動作を、少なくとも上記人物検出部の検出結果に応じて制御する請求項１に記載の撮像装置。
【請求項１３】
上記制御部は、上記第１表示パネル部で、上記画像データ読出部で読み出された複数の画像データの表示を実行させる際には、上記第２表示パネル部では、上記第１表示パネル部で表示された複数の画像データのうちで選択された画像データによる表示を実行させる請求項１２に記載の撮像装置。
【請求項１４】
レンズ系を介して入射された入射光を光電変換し、撮像画像信号を得る撮像処理部と、
装置筐体上で上記入射光が入射される面に配置された第１表示パネル部と、
上記第１の表示パネル部と対向する面に配置された第２表示パネル部と、
被写体方向に人物が存在するか否かを検出する人物検出部と、
上記撮像処理部で得られた撮像画像信号に基づく表示を上記第１表示パネル部で実行させると共に、上記第２表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を、少なくとも上記人物検出部の検出結果に応じて制御する制御部と、
を備えた撮像装置。
【請求項１５】
被写体方向に人物が存在するか否かを検出する人物検出ステップと、
上記被写体方向からの入射光を光電変換して得られる撮像画像信号に基づく表示を、装置筐体上で使用者方向に向かって表示を行うようにされた第１表示パネル部において表示させるとともに、装置筐体上で被写体方向に向かって表示を行うようにされた第２表示パネル部における上記撮像画像信号に基づく表示動作を、少なくとも上記人物検出ステップの検出結果に応じて制御する表示制御ステップと、
を有する撮像装置の表示制御方法。
【請求項１６】
被写体方向に人物が存在するか否かを検出する人物検出ステップと、
レンズ系を介して入射された入射光を光電変換して得られる撮像画像信号に基づく表示を、装置筐体上で上記入射光が入射される面に配置された第１表示パネル部において表示させるとともに、上記第１の表示パネル部と対向する面に配置された第２表示パネル部における上記撮像画像信号に基づく表示動作を、少なくとも上記人物検出ステップの検出結果に応じて制御する表示制御ステップと、
を有する撮像装置の表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置と、その表示制御方法に関し、特に筐体上に複数の表示パネル部を設けた撮像装置の表示動作に関するものである。
【背景技術】
【０００２】
【特許文献１】特開２００７−１５８７９９号公報
【０００３】
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及しており、多くの撮像装置では、例えば液晶パネルなどによる表示パネル部が形成されている。
例えば上記特許文献１に示されているようにカメラ筐体上に比較的大きな面積で表示パネルが設けられ、撮像時には被写体画像のモニタリングが行われたり、撮像した画像の再生時には、再生表示が行われるようになされている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ここで本出願人は、撮像装置において筐体上に２つの表示パネル部を設けることを新規に考える。
即ち従来と同様、撮像装置筐体上で使用者（撮像者）方向に向かって表示を行うようにされた表示パネル部を設ける他、装置筐体上の前面側（被写体側となる面）などに、被写体方向に向かって表示を行うようにされた表示パネル部を設ける。
このように２つの表示パネル部を設けるようにした場合には、撮像に関する動作状態や状況に応じて、各表示パネルで適切な表示、即ち、見る人にとって有用な表示動作や無駄な消費電力を回避するような表示動作を実現することが求められる。
そこで本発明では、２つの表示パネル部を有する撮像装置において適切な表示を実現することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の撮像装置は、装置筐体上で使用者方向に向かって表示を行う第１表示パネル部と、装置筐体上で被写体方向に向かって表示を行う第２表示パネル部と、上記被写体方向からの入射光を光電変換して撮像画像信号を得る撮像処理部と、上記被写体方向に人物が存在するか否かを検出する人物検出部と、上記撮像処理部で得られた撮像画像信号に基づく表示を上記第１表示パネル部で実行させると共に、上記第２表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を少なくとも上記人物検出部の検出結果に応じて制御する制御部とを備える。
また本発明の撮像装置は、レンズ系を介して入射された入射光を光電変換し、撮像画像信号を得る撮像処理部と、装置筐体上で上記入射光が入射される面に配置された第１表示パネル部と、上記第１の表示パネル部と対向する面に配置された第２表示パネル部と、被写体方向に人物が存在するか否かを検出する人物検出部と、上記撮像処理部で得られた撮像画像信号に基づく表示を上記第１表示パネル部で実行させると共に、上記第２表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を、少なくとも上記人物検出部の検出結果に応じて制御する制御部とを備える。
【０００６】
上記制御部は、上記人物検出部により人物の存在が検出された場合に、上記撮像処理部で得られた撮像画像信号に基づく表示を上記第２表示パネル部で実行させる制御を行う。
また上記制御部は、上記人物検出部により人物の存在が検出されない場合に、上記第２表示パネル部の表示をオフとする制御を行う。
或いは、上記制御部は、上記人物検出部により人物の存在が検出されない場合に、上記第２表示パネル部において、上記撮像処理部で得られた撮像画像信号に基づく表示を通常動作と比較して低輝度状態で実行させる制御を行う。
或いは、記録媒体に記録された画像データを読み出す画像データ読出部をさらに備え、上記制御部は、上記人物検出部により人物の存在が検出されない場合に、上記第２表示パネル部に、上記画像データ読出部によって読み出した画像データに基づく表示を実行させる制御を行う。
【０００７】
また上記制御部は、上記人物検出部の検出結果と、撮像装置の動作に関する使用者の操作に応じた設定状態とに基づいて、上記第２表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する。
また上記制御部は、上記人物検出部の検出結果と、撮像装置の内部検出情報とに基づいて、上記第２表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する。
また上記制御部は、上記人物検出部の検出結果と、上記撮像処理部で得られた撮像画像信号の画像解析情報とに基づいて、上記第２表示パネル部での上記撮像処理部で得られた撮像画像信号に基づく表示動作を制御する。
【０００８】
また上記人物検出部は、上記撮像処理部で得られた撮像画像信号の画像解析により、上記被写体方向に人物が存在するか否かを検出する。
またこの場合、上記人物検出部は、上記撮像処理部で得られた撮像画像信号の画像解析により、撮像画像信号内に被写体としての人物の顔が含まれているか否かにより人物検出を行う。
或いは上記人物検出部は、上記被写体方向の人物の存在を検出する近接センサにより構成される。
【０００９】
また、記録媒体に記録された画像データを読み出す画像データ読出部をさらに備え、上記制御部は、上記画像データ読出部で読み出された画像データに基づく表示を上記第１表示パネル部で実行させると共に、上記第２表示パネル部での上記画像データ読出部で読み出された画像データに基づく表示動作を、少なくとも上記人物検出部の検出結果に応じて制御する。
また上記制御部は、上記第１表示パネル部で、上記画像データ読出部で読み出された複数の画像データの表示を実行させる際には、上記第２表示パネル部では、上記第１表示パネル部で表示された複数の画像データのうちで選択された画像データによる表示を実行させる。
【００１０】
本発明の撮像装置の表示制御方法は、被写体方向に人物が存在するか否かを検出する人物検出ステップと、上記被写体方向からの入射光を光電変換して得られる撮像画像信号に基づく表示を、装置筐体上で使用者方向に向かって表示を行うようにされた第１表示パネル部において表示させるとともに、装置筐体上で被写体方向に向かって表示を行うようにされた第２表示パネル部における上記撮像画像信号に基づく表示動作を、少なくとも上記人物検出ステップの検出結果に応じて制御する表示制御ステップとを有する。
また本発明の撮像装置の表示制御方法は、被写体方向に人物が存在するか否かを検出する人物検出ステップと、レンズ系を介して入射された入射光を光電変換して得られる撮像画像信号に基づく表示を、装置筐体上で上記入射光が入射される面に配置された第１表示パネル部において表示させるとともに、上記第１の表示パネル部と対向する面に配置された第２表示パネル部における上記撮像画像信号に基づく表示動作を、少なくとも上記人物検出ステップの検出結果に応じて制御する表示制御ステップとを有する。
【００１１】
即ち本発明では、第２表示パネル部については、被写体方向に人物が存在するか否かに応じて必要な表示動作が行われる。
例えば静止画撮像の際のモニタリング期間（静止画撮像のためのシャッタタイミングを狙っているとき）には、撮像装置の使用者（つまり撮像装置により静止画撮像を行おうとしている撮像者）は、第１表示パネル部で、被写体画像のモニタリングを行う。このモニタリング画像は、その期間に撮像素子部で得られる撮像画像信号であり、スルー画とも呼ばれる、被写体光景のリアルタイムの動画像である。撮像者は、これによって撮像される被写体画像を確認し、所望のタイミングでレリーズ操作（シャッタ操作）を行う。これは通常の撮像装置と同様である。
このモニタリング期間には、第２表示パネル部でも撮像画像信号に基づく表示、即ちスルー画としてのモニタリング画像を表示すると好適である。例えば被写体が人物である場合、その人物が、第２表示パネル部の表示を見て、撮されようとしている自分の表情やポーズなどを確認できるからである。
ところが、これはあくまで、被写体側に人物が居るときのみ有用となる。例えば撮像者が人のいない風景を撮像しようとしているときには、第２表示パネル部の表示を見る人物は存在しないと考えられる。従って、そのようなときに第２表示パネル部にモニタリング画像を表示しても意味がないことになる。そこで第２表示パネル部をオフにして省電を図ることが適切である。
例えばこのように、状況に応じて第２表示パネル部の表示動作を適切に制御することで、２つの表示パネル部による有用な表示や娯楽性の高い表示、或いは２つの表示パネル部を装備してもむやみに消費電力が高くならないようにすること等を実現できる。
【発明の効果】
【００１２】
本発明によれば、撮像装置において、使用者側と被写体側でそれぞれ視認できる２つの表示パネル部を設けるようにするとともに、撮像に関する動作状態や状況に応じて、各表示パネルで適切な表示を行うことができる。特に被写体側の人物の存在の有無に応じて第２表示パネル部の表示動作を制御することで、有用な表示、娯楽性の高い表示、さらには無駄な表示の回避などを実現でき、新規で有用な撮像装置を提供できる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、次の順序で説明していく。
［１．撮像装置の構成］
［２．動作遷移］
［３．両表示パネル部の画面表示例］
［４．モニタリング時の前面表示パネル部の表示制御］
＜４−１：人物認識に基づく処理例＞
＜４−２：人物認識とユーザ設定に基づく処理例＞
＜４−３：人物認識と内部検出情報に基づく処理例＞
＜４−４：人物認識と他の画像解析情報に基づく処理例＞
［５．再生時の前面表示パネル部の表示制御］
［６．変形例］
【００１４】
［１．撮像装置の構成］
本発明の実施の形態として、例えばデジタルスチルカメラとしての撮像装置の構成を図１，図２で説明する。
【００１５】
図１（ａ）（ｂ）は、本例の撮像装置１を背面側（使用者側）及び前面側（被写体側）から見た外観例を示している。
撮像装置１には、前面側に撮像レンズ部２０、フラッシュ発光部１５などが設けられる。
また、筐体上面や背面側などの各所にユーザ操作のための操作子が形成される。例えばレリーズ操作キー５ａ、ダイヤル操作部５ｂ、ワイド／テレ操作キー５ｃ、各種操作キー５ｄ、十字キー５ｅなどが設けられる。
ダイヤル操作部５ｂは、例えば撮像モードの選択などに用いられる。操作キー５ｄとして、メニュー指示、再生指示、露出補正指示などの操作が可能とされる。
十字キー５ｅは、例えば表示パネル６に表示される操作メニュー項目の選択／決定を始めとして各種操作に用いられる。
【００１６】
そして撮像装置１には、背面側には図１（ａ）のように、液晶パネルや有機ＥＬ（Electroluminescence）パネルなどによる主表示パネル６Ｍが設けられるとともに、前面側には図１（ｂ）のように、同じく液晶パネルや有機ＥＬパネルなどによる前面表示パネル６Ｆが設けられている。つまり主表示パネル６Ｍと前面表示パネル６Ｆは筐体上で互いに対向する面（反対側の面）に設けられている。
この主表示パネル６Ｍと前面表示パネル６Ｆは、例えば同等の画面サイズとされ、それぞれ筐体背面及び筐体前面において比較的広い面積を占めるようにして設けられている。
主表示パネル６Ｍでは、基本的には、モニタリング期間（撮像モードでシャッタタイミングを狙っているとき）には、使用者が被写体のモニタリング画像（スルー画）の表示が行われ、撮像対象となっている被写体光景を使用者が確認できるようにしている。また再生モードでは、使用者の操作に従って、再生画像やサムネイル画像の表示が行われる。
一方、前面表示パネル６Ｆは、被写体側に向けて表示を行うことになる。後述するが、この前面表示パネル６Ｆでも、モニタリング画像等の表示を行い、被写体側となっている人物が表示内容を見ることができるようにされている。
【００１７】
このような撮像装置１の構成例を図２で説明する。
図２に示すように撮像装置１は、撮像系２、制御系３、カメラＤＳＰ（Digital Signal Processor）４、操作部５、主表示パネル６Ｍ、前面表示パネル６Ｆ、表示コントローラ７、外部インターフェース８、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）９、媒体インターフェース１０を備える。
【００１８】
撮像系２は、撮像動作を実行する部位とされ、レンズ機構部２１，絞り／ＮＤフィルタ機構２２、撮像素子部２３、アナログ信号処理部２４、Ａ／Ｄ変換部２５、レンズ駆動部２６、レンズ位置検出部２７、タイミング生成回路２８、ブレ検出部１３、発光駆動部１４、フラッシュ発光部１５、レンズ駆動ドライバ１７、絞り／ＮＤ駆動ドライバ１８、撮像素子ドライバ１９を備える。
【００１９】
被写体からの入射光は、レンズ機構部２１及び絞り／ＮＤフィルタ機構２２を介して撮像素子部２３に導かれる。
レンズ機構部２１は、上記図１（ｂ）の撮像レンズ部２０の内部構成であり、カバーレンズ、フォーカスレンズ、ズームレンズなどの複数の光学レンズ群を有する。またレンズ駆動部２６は、フォーカスレンズやズームレンズを光軸方向に移送する移送機構とされる。レンズ駆動部２６はレンズ駆動ドライバ１７によって駆動電力が印加されフォーカスレンズやズームレンズを移送する。後述するＣＰＵ（Central Processing Unit）３１はレンズ駆動ドライバ１７を制御することで、焦点制御やズーム動作を実行させる。
【００２０】
絞り／ＮＤフィルタ機構２２は、絞り機構と、レンズ光学系内に挿入されることによって入射光量を減衰させる（調整する）ＮＤフィルタ機構を有し、光量調整を行う。
絞り／ＮＤ駆動ドライバ１８は、絞り機構の開閉により入射光量の調節を行う。また絞り／ＮＤ駆動ドライバ１８は、ＮＤフィルタを入射光の光軸上に対して出し入れすることで、入射光量の調節を行う。ＣＰＵ３１は、絞り／ＮＤ駆動ドライバ１８を制御して絞り機構やＮＤフィルタを駆動させることで入射光量制御（露光調整制御）を行うことができる。
【００２１】
被写体からの光束はレンズ機構部２１、絞り／ＮＤフィルタ機構２２を通過し、撮像素子部２３上に被写体像が結像される。
撮像素子部２３は、結像される被写体像を光電変換し、被写体像に対応する撮像画像信号を出力する。
この撮像素子部２３は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部２４に出力する。撮像素子部２３としては、例えばＣＣＤ（Charge Coupled Device）センサアレイ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイなどが用いられる。
【００２２】
アナログ信号処理部２４は、内部にＣＤＳ（相関２重サンプリング）回路や、ＡＧＣ（オートゲインコントロール）回路などを有し、撮像素子部２３から入力される画像信号に対して所定のアナログ処理を行う。
Ａ／Ｄ変換部２５は、アナログ信号処理部２４で処理されたアナログ信号をデジタル信号に変換し、カメラＤＳＰ４に供給する。
【００２３】
タイミング生成回路２８は、ＣＰＵ３１により制御され、撮像素子部２３、アナログ信号処理部２４、Ａ／Ｄ変換部２５の各動作のタイミングを制御する。
即ちタイミング生成回路２８は、撮像素子部２３の撮像動作タイミングを制御するために、露光／電荷読出のタイミング信号や、電子シャッタ機能としてのタイミング信号、転送クロック、フレームレートに応じた同期信号等を、撮像素子ドライバ１９を介して撮像素子部２３に供給する。またアナログ信号処理部２４で、撮像素子部２３での画像信号の転送に同期して処理が行われるように、上記各タイミング信号をアナログ信号処理部２４にも供給する。
ＣＰＵ３１は、タイミング生成回路２８により発生させる各タイミング信号の制御を行うことで、撮像画像のフレームレートの変更や、電子シャッタ制御（フレーム内の露光時間可変制御）を行うことができる。またＣＰＵ３１は、例えばタイミング生成回路２８を介してアナログ信号処理部２４にゲイン制御信号を与えるようにすることで、撮像画像信号のゲイン可変制御を行うことができる。
【００２４】
ブレ検出部１３は、手ぶれ量や撮像装置１自体の動きの量を検出する。例えば加速度センサ、振動センサなどで構成され、ブレ量としての検出情報をＣＰＵ３１に供給する。
フラッシュ発光部１５は発光駆動部１４によって発光駆動される。ＣＰＵ３１は、ユーザの操作その他による所定タイミングで、発光駆動部１４にフラッシュ発光を指示し、フラッシュ発光部１５を発光させることができる。
【００２５】
カメラＤＳＰ４は、撮像系２のＡ／Ｄ変換部２５から入力される撮像画像信号に対して、各種のデジタル信号処理を行う。
このカメラＤＳＰ４では、例えば図示のように画像信号処理部４１，圧縮／解凍処理部４２、ＳＤＲＡＭコントローラ４３、画像解析部４４等の処理機能が内部のハードウエア及びソフトウエアにより実現される。
【００２６】
画像信号処理部４１は入力される撮像画像信号に対する処理を行う。例えば撮像画像信号を用いた撮像系２の駆動制御用の演算処理として、オートフォーカス（ＡＦ）用処理、オートアイリス（ＡＥ）用処理などを行い、また入力される撮像画像信号自体に対する処理としてオートホワイトバランス（ＡＷＢ）処理などを行う。
【００２７】
例えばオートフォーカス用処理としては、画像信号処理部４１は入力される撮像画像信号についてコントラスト検出を行い、検出情報をＣＰＵ３１に伝える。オートフォーカス制御方式としては、各種の制御手法が知られているが、いわゆるコントラストＡＦと呼ばれる手法では、フォーカスレンズを強制的に移動させながら、各時点の撮像画像信号のコントラスト検出を行い、最適コントラスト状態のフォーカスレンズ位置を判別する。即ちＣＰＵ３１は、撮像動作に先立って、フォーカスレンズの移動制御を実行させながら画像信号処理部４１で検出されるコントラスト検出値を確認し、最適なコントラスト状態となった位置をフォーカス最適位置とする制御を行う。
また、撮像中のフォーカス制御としては、いわゆるウォブリングＡＦと呼ばれる検出方式が実行できる。ＣＰＵ３１は、撮像動作中に、常時フォーカスレンズの位置を微小に前後にゆらすように移動させながら、画像信号処理部４１で検出されるコントラスト検出値を確認する。フォーカスレンズの最適位置は、当然、被写体の状況によって変動するが、フォーカスレンズを前後に微小変位させながらコントラスト検出を行うことで、被写体の変動に応じたフォーマット制御方向の変化を判定できる。これによって、被写体状況に追尾したオートフォーカスが実行できることになる。
なお、レンズ駆動部２６における移送機構には、各移送位置毎にアドレスが割り当てられており、その移送位置アドレスによってレンズ位置が判別される。
レンズ位置検出部２７は、フォーカスレンズの現在のレンズ位置としてのアドレスを判別することで、合焦状態となっている被写体までの距離を算出し、それを距離情報としてＣＰＵ３１に供給することができる。これによってＣＰＵ３１は、合焦状態としている主たる被写体までの距離を判別できる。
【００２８】
カメラＤＳＰ４の画像信号処理部４１が実行するオートアイリス用処理としては、例えば被写体輝度の算出が行われる。例えば入力される撮像画像信号の平均輝度を算出し、これを被写体輝度情報、即ち露光量情報としてＣＰＵ３１に供給する。平均輝度の算出としては例えば１フレームの撮像画像データの全画素の輝度信号値の平均値、或いは画像の中央部分に重みを与えた輝度信号値の平均値の算出など、各種の方式が考えられる。
ＣＰＵ３１は、この露光量情報に基づいて、自動露光制御を行うことができる。即ち絞り機構、ＮＤフィルタ、或いは撮像素子部２３における電子シャッタ制御、アナログ信号処理部２４へのゲイン制御により、露光調整を行うことができる。
【００２９】
カメラＤＳＰ４の画像信号処理部４１は、これらのオートフォーカス動作、オートアイリス動作に用いる信号生成処理の他、撮像画像信号自体の信号処理として、オートホワイトバランス、γ補正、エッジ強調処理、手ブレ補正処理等を行う。
【００３０】
カメラＤＳＰ４における圧縮／解凍処理部４２は、撮像画像信号に対する圧縮処理や、圧縮された画像データに対する解凍処理を行う。例えばＪＰＥＧ(Joint Photographic Experts Group)、ＭＰＥＧ(Moving Picture Experts Group)などの方式による圧縮処理／解凍処理を行う。
【００３１】
ＳＤＲＡＭコントローラ４３は、ＳＤＲＡＭ９に対する書込／読出を行う。ＳＤＲＡＭ９は、例えば撮像系２から入力された撮像画像信号の一時保存、画像処理部４１や圧縮／解凍処理部４２での処理過程における保存やワーク領域の確保、情報生成部４４で得られた情報の保存などに用いられ、ＳＤＲＡＭコントローラ４３は、これらのデータについてＳＤＲＡＭ９に対する書込／読出を行う。
【００３２】
画像解析部４４は、例えば画像信号処理部４１で処理された撮像画像データについて画像解析を行い、各種の画像認識を行う。
本例の場合、画像解析部４４は被写体画像に含まれている人物認識や顔認識の処理を行う。また人物の顔を認識した場合の、顔の向きや視線方向などの認識処理を行う場合もある。さらに画像解析部４４は外光状況、撮像装置１と被写体の相対的な動きの大きさなど、画像解析によって認識可能な各種の情報を検出する場合もある。
【００３３】
制御系３は、ＣＰＵ３１、ＲＡＭ３２、フラッシュＲＯＭ３３、時計回路３４を備える。制御系３の各部、及びカメラＤＳＰ４、撮像系２の各部、表示コントローラ７、外部インターフェース８、媒体インターフェース１０は、システムバスによって相互に画像データや制御情報の通信が可能とされている。
【００３４】
ＣＰＵ３１は、撮像装置１の全体を制御する。即ちＣＰＵ３１は内部のＲＯＭ等に保持したプログラム及び操作部５によるユーザの操作に基づいて、各種演算処理や各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。特に主表示パネル６Ｍにおける表示制御とともに、後述する前面表示パネル６Ｆの表示動作のための制御処理なども行う。
ＲＡＭ（Random Access Memory）３２は、カメラＤＳＰ４で処理された撮像画像信号（各フレームの画像データ）の一時的な保存や、ＣＰＵ３１の各種処理に応じた情報が記憶される。
フラッシュＲＯＭ３３は、撮像画像としての（ユーザが静止画又は動画として撮像した）画像データの保存や、その他不揮発的に保存することが求められる情報の記憶に用いられる。撮像装置１の制御用ソフトウェアプログラム、カメラの設定データなどを記憶する場合もある。
時計回路３４は、現在日時情報（年月日時分秒）を計数する。
【００３５】
操作部５は、図１に示した各種操作子（５ａ〜５ｅ等）及びその操作に基づく信号発生部からなる。各種操作子によるユーザの操作情報は、操作部５からＣＰＵ３１に伝達される。
なお、操作部５としては、操作子だけでなく、タッチパネル操作を可能な構成としてもよい。例えば主表示パネル６Ｍにタッチセンサを配し、画面表示に対するユーザのタッチ操作で、操作入力が行われるようにしてもよい。
【００３６】
表示コントローラ７は、ＣＰＵ３１の制御に基づいて、主表示パネル６Ｍ、及び前面表示パネル６Ｆに所要の表示動作を実行させる。
主表示パネル６Ｍにおける表示動作としては、モニタリング表示（いわゆるスルー画表示）や、記録媒体９０やフラッシュＲＯＭから読み出した再生画像表示、操作メニュー表示、各種アイコン表示、時刻表示などが行われる。
また前面表示パネル６Ｆにおける表示動作としては、モニタリング表示や、再生画像表示が行われる。
【００３７】
媒体インタフェース１０は、ＣＰＵ３１の制御に基づいて、撮像装置１の内部にセットされたメモリカード（カード状のリムーバブルメモリ）等の記録媒体９０に対してデータの読出／書込を行う。例えば媒体インタフェース１０は、撮像結果としての静止画データや動画データについて記録媒体９０に記録する動作を行う。また再生モード時には画像データを記録媒体９０から読み出す動作を行う。
なお、ここでは記録媒体９０として可搬性のメモリカードを例に挙げているが、撮像結果として残す静止画若しくは動画としての画像データを記録する記録媒体は他の種のものでもよい。例えば光ディスク等の可搬性ディスクメディアを用いるようにしても良いし、ＨＤＤ（Hard Disk Drive）を搭載して記録するようにしてもよい。
【００３８】
外部インタフェース８は、例えばＵＳＢ（Universal Serial Bus）などの信号規格にしたがって、所定のケーブルを介して外部装置との各種データの送受信を行う。もちろんＵＳＢ方式に限らず、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４方式など、他の規格による外部インターフェースとしてもよい。
また、有線伝送方式ではなく、赤外線伝送、近距離無線通信その他の無線伝送方式で外部インターフェース８を構成しても良い。
撮像装置１は、この外部インターフェース８を介して、パーソナルコンピュータその他各種機器とデータ送受信を行うことができる。例えば撮像画像データを外部機器に転送することができる。
【００３９】
なお図２には近接センサ５０を示している。この近接センサ５０は、撮像装置１の前方（被写体側）に人物が居るか否かを検出するセンサとする。例えば焦電センサなどを採用できる。
上記したように人物検出を画像解析部４４の画像解析処理により行うものとする場合は、この近接センサ５０は設けなくてもよいし、或いは画像解析による人物検出と近接センサ５０による検出を併用してもよい。
【００４０】
［２．動作遷移］
本例の撮像装置１の動作状態遷移について図３で説明する。ここでいう各動作状態とは、特に主表示パネル６Ｍの表示内容の観点からみた動作状態である。
撮像装置１の動作状態としては、ユーザの操作等に応じてモニタリング期間、記録期間、プレビュー期間、再生期間を遷移する。なお、実際には外部機器との通信を行う期間など他の動作状態もあるが、説明の簡略化のため省略する。
【００４１】
撮像装置１は例えばパワーオンとなると、モニタリング動作を開始する。なお、ユーザが電源オフ状態から再生操作を行う場合など、パワーオンの際に再生動作状態となる場合もある。
モニタリング期間とは、撮像系２による撮像を行うための動作期間である。ユーザが、通常に撮像装置１を用いて静止画撮像を行う場合、まずこのモニタリング動作が行われる。
このモニタリング期間は、主表示パネル６Ｍに被写体画像（スルー画）が表示される。
即ちＣＰＵ３１は、モニタリング期間においては撮像系２、カメラＤＳＰ４にそれぞれ撮像時に必要な動作を実行させる。そしてカメラＤＳＰ４から供給されるフレーム毎の撮像画像データを例えばＲＡＭ３２に取り込む。そしてこのフレーム毎の撮像画像データを表示コントローラ７に受け渡し、主表示パネル６Ｍにモニタリング表示を実行させる。後述するが、このときに前面表示パネル６Ｆにもモニタリング表示を実行させる場合もある。
このモニタリング期間において、ユーザは、この主表示パネル６Ｍの表示を見ながら、被写体を選択したり、シャッタータイミングを狙うこととなる。
【００４２】
モニタリング期間において、ユーザがレリーズ操作キー５ａを押すと、即ちシャッタ操作を行うと、動作状態は記録期間となる。
ＣＰＵ３１は、このレリーズ操作のタイミングで撮像される１フレームの撮像画像データを、静止画データとして保存する処理を行う。即ちＣＰＵ３１は当該タイミングで取り込んだ撮像画像データを媒体インターフェース１０に転送し、記録媒体９０に記録させる。
なおレリーズ操作に応じた記録動作としては、記録媒体９０ではなく、フラッシュＲＯＭ３３において行うようにしてもよい。また、通常は記録媒体９０に記録するが、記録媒体９０が装填されていない場合はフラッシュＲＯＭ３３に記録するような動作方式でも良い。
この記録期間は、ユーザからみるとレリーズ操作直後の、時間的には一瞬の期間であり、その間、例えば主表示パネル６Ｍは何も表示されない状態などとなる。
【００４３】
レリーズ操作に応じた記録動作の直後は、一定時間、プレビュー期間とされる。プレビュー期間とは、主表示パネル６Ｍに、直前の記録動作で記録した画像が表示される期間である。即ちユーザが、撮像した静止画像を、直後に確認できるようにする期間である。
例えば２秒〜数秒程度の期間がプレビュー期間とされ、ＣＰＵ３１はこの期間、記録した静止画像データを、主表示パネル６Ｍに表示させる制御を行う。
【００４４】
プレビュー期間としての所定時間が経過すると、ＣＰＵ３１は動作状態をモニタリング状態に戻し、モニタリング期間としての動作制御を行う。
つまり、モニタリング期間、記録期間、プレビュー期間として、静止画撮像としての一連の動作が行われるものとなる。
なお、撮像装置１では動画撮像も可能であるが、動画の場合は記録期間が、その動画撮像の開始から終了までの期間、継続するものとなる。またプレビュー期間は設けられない。
【００４５】
ユーザが再生動作を指示する操作を行った場合、再生動作状態（再生期間）に移行する。
再生期間には、撮像等によって記録媒体９０やフラッシュＲＯＭ３３に記録された画像を再生する動作が行われる。
ＣＰＵ３１は、ユーザの操作に応じて、記録媒体９０やフラッシュＲＯＭ３３に記録されている画像を読み出し、表示コントローラ７に指示して、主表示パネル６Ｍでサムネイル画像や１枚の再生画像を表示させる制御を行う。また前面表示パネル６Ｆで再生画像を表示させる場合もある。
【００４６】
［３．両表示パネル部の画面表示例］
本例の撮像装置１において主表示パネル６Ｍ、前面表示パネル６Ｆで行われる画面表示例を図４，図５で説明する。
図４（ａ）（ｂ）（ｃ）及び図５（ａ）は、モニタリング期間に行われる画面表示の例を示している。
【００４７】
図４（ａ）は、主表示パネル６Ｍにおいてモニタリング画像（スルー画）が表示されているが、前面表示パネル６Ｆでは表示オフとされている状態を示している。
図４（ｂ）は、主表示パネル６Ｍにおいてモニタリング画像が表示されており、前面表示パネル６Ｆでも同じくモニタリング画像が表示されている状態を示している。
図４（ｃ）は、主表示パネル６Ｍにおいてモニタリング画像が表示されており、前面表示パネル６Ｆでは、他の画像、例えば再生画像が表示されている状態を示している。再生画像とは、記録媒体９０やフラッシュＲＯＭ３３に記録されている、過去に撮像した画像の再生画像としてもよいし、予め撮像装置１内に記憶された画像としてもよい。例えば前面表示パネル６Ｆにおいてモニタリング画像を表示しないときに表示させる画像データを用意してフラッシュＲＯＭ３３等に予めプリセット画像として記憶させておき、そのプリセット画像データを読み出して表示させるような例である。さらにはいわゆる撮像画像としての画像データに限られず、テキストデータ、アニメーションデータ、コンピュータグラフィックデータなどを記録媒体９０やフラッシュＲＯＭ３３に記録させておき、これらを表示させるようにしてもよい。つまり再生画像とは、表示可能なあらゆる画像を含む。
図５（ａ）は、主表示パネル６Ｍでは表示をオフとし、前面表示パネル６Ｆではモニタリング画像を表示している例である。
【００４８】
モニタリング期間の主表示パネル６Ｍ、前面表示パネル６Ｆの表示状態としては、これらの各例が考えられるが、どのような表示を行うかは、モニタリング期間における被写体の状況、撮像装置１の動作状況、撮像モードなどに応じて、ＣＰＵ３１が制御する。
【００４９】
図５（ｂ）（ｃ）は、再生期間に行われる画面表示の例を示している。
図５（ｂ）は、主表示パネル６Ｍにおいて再生画像のサムネイル画像による一覧表示が行われ、一方、前面表示パネル６Ｆでは、サムネイル画像の中でカーソルＫによって選択中となっている再生画像が表示されている状態を示している。
図５（ｃ）は、主表示パネル６Ｍにおいて１枚の再生画像の表示が行われ、前面表示パネル６Ｆでも、同じく再生画像が表示されている状態を示している。
再生期間の主表示パネル６Ｍ、前面表示パネル６Ｆの表示状態としては、これらの各例が考えられる。もちろん他の例も考えられる。
例えば主表示パネル６Ｍでは再生画像を表示し、前面表示パネル６Ｆではプリセット画像を表示することが考えられる。
また主表示パネル６Ｍでサムネイル画像の一覧表示を行いながら、前面表示パネル６Ｆでは、各再生画像の順次表示（スライドショウとしての表示）を行うことなども考えられる。
【００５０】
図４，図５に表示例を示したが、撮像操作や再生操作等を行う使用者に対するものとされている主表示パネル６Ｍでの表示は、基本的には次のようになる。
まずモニタリング期間には、モニタリング画像を表示する。またプレビュー期間では、撮像して記録した画像を一定時間表示する。
再生期間には、ユーザの操作等に応じて、サムネイル画像や、再生画像を表示する。
ＣＰＵ３１は、主表示パネル６Ｍについては、動作状態や操作に応じてこれらの表示を実行させるように制御する。
一方、前面表示パネル６Ｆについては、前面表示パネル６Ｆを見る者に対して有用な表示や面白みのある表示を実行したり、或いは無駄な表示の排除という観点から、ＣＰＵ３１が表示制御を行う。
以下では、前面表示パネル６Ｆについての表示制御例を各種説明していく。
【００５１】
［４．モニタリング時の前面表示パネル部の表示制御］
＜４−１：人物認識に基づく処理例＞
図６（ａ）は、モニタリング期間における前面表示パネル６Ｆについて、ＣＰＵ３１が実行する表示制御例を示している。
上述のようにモニタリング期間には、撮像系２，カメラＤＳＰ４の処理で得られるモニタリング画像が主表示パネル６Ｍにおいて表示される。即ちＣＰＵ３１はモニタリング期間には、カメラＤＳＰ４から供給される撮像画像データをスルー画として主表示パネル６Ｍに表示させる制御を行っている。
このときに、前面表示パネル６Ｆについての表示制御を行うために、ＣＰＵ３１は主表示パネル６Ｍの表示制御と並行して図６（ａ）の処理を行う。
【００５２】
まずステップＦ１０１では、画像解析部４４での画像解析結果を確認する。画像解析部４４では、モニタリング期間において、撮像系２で撮像され、カメラＤＳＰ４に取り込まれた撮像画像データについての画像解析処理を行っている。例えば画像信号処理部４１で処理された各フレームの画像データについて、或いは間欠的にフレームを抽出して、画像解析処理を行う。そして、解析対象とした撮像画像データ内に、人物と認識できる画像が含まれているか否かを判定する。即ち人物と認識できる輪郭部分が画像内に含まれるか否かを判定する。そして、その判定結果をＣＰＵ３１に供給する。ステップＦ１０１で、ＣＰＵ３１は、その判定結果として、人物の存在が認識されたか否かを確認する。
【００５３】
ＣＰＵ３１は、画像解析結果として人物の存在が確認された場合は、処理をステップＦ１０２からＦ１０３に進め、前面表示パネル６Ｆでモニタリング画像表示を実行させる。即ち、主表示パネル６Ｍに表示させているモニタリング画像を、前面表示パネル６Ｆにおいても表示させるように表示コントローラ７に指示する。
この場合、主表示パネル６Ｍと前面表示パネル６Ｆの表示状態は図４（ｂ）のような状態となる。
【００５４】
一方、ＣＰＵ３１はステップＦ１０１の画像解析結果確認により、人物は存在しないと確認した場合は、処理をステップＦ１０２からＦ１０４に進め、前面表示パネル６Ｆの表示をオフに制御する。
この場合、主表示パネル６Ｍと前面表示パネル６Ｆの表示状態は図４（ａ）のような状態となる。
【００５５】
ＣＰＵ３１は、この図６（ａ）の処理を、モニタリング期間において繰り返し実行する。
モニタリング期間が終了するのは、例えばレリーズ操作が行われて記録動作に移行する場合、或いは再生操作が行われて再生動作に移行する場合、或いは撮像装置１の電源オフ操作が行われて電源オフ処理を行う場合などである。これらによりモニタリング期間が終了するまで、ＣＰＵ３１は図６（ａ）の処理を繰り返し実行することになる。
従ってモニタリング期間中に、使用者が、人物を被写体となるように撮像装置１を向けているときには、図４（ｂ）のように前面表示パネル６Ｆにモニタリング画像が表示され、また風景等、人物を含まない被写体光景を狙っているときには、図４（ａ）のように前面表示パネル６Ｆはオフとされる。また、その図４（ａ）の状態から、再び人物を被写体として捉えた場合には前面表示パネル６Ｆで人物を含むモニタリング画像が表示されることになる。
【００５６】
つまりこの処理例によれば、モニタリング中の被写体として、前方に人物が存在する場合に、前面表示パネル６Ｆでモニタリング画像が表示され、被写体として人物が含まれていないときは前面表示パネル６Ｆがオフされる。
人物が被写体となるときは、その被写体の人物は、前面表示パネル６Ｆを見ることができる。このため、自分が撮されようとしているモニタリング画像を見て、自分の表情やポーズなどを確認できることになる。例えば写真として好ましい表情であるか否かなどを自分で確認できるなど、前面表示パネル６Ｆの表示を有効に利用できる。
一方、被写体として人物が存在しない場合は、前面表示パネル６Ｆを見る人がいないと判断できる。従って、前面表示パネル６Ｆの表示をオフとする（例えば前面表示パネル６Ｆのみを電源オフ状態とする）ことで、消費電力の節減を図ることができる。つまり誰も見ていない無駄な表示は行わないということである。
【００５７】
なお、ステップＦ１０１では画像解析により、被写体として前方に人物が居るか否かを検出することとしたが、ステップＦ１０１は、図２に示した近接センサ５０の検出結果を確認する処理としてもよい。また、ステップＦ１０１で、画像解析結果と近接センサ５０の検出結果の両方を確認するものとしてもよい。
また後述する図７〜図１４の各処理例では、画像解析により顔検出を行うことで、前方の人物の存在有無を判定するものとして説明するが、近接センサ５０を利用した変形例は図７〜図１４の場合もそれぞれ同様に考えられる。
【００５８】
ところで、図６（ａ）の処理は、人物検出を行って前面表示パネル６Ｆの表示動作を制御することとしているが、人物検出として、「顔」の検出を行うようにしてもよい。
例えば画像解析部４４においては、撮像画像データにおいて、顔と認識できる輪郭や、目、鼻、口等の顔の要素の存在を判定し、撮像画像データに被写体としての人物の「顔」が含まれているか否かを判定する。
【００５９】
この場合のＣＰＵ３１の処理を図６（ｂ）に示す。
ＣＰＵ３１は、ステップＦ１０１で画像解析部４４の画像解析結果を確認し、「顔」が存在するか否かを判別する。そして「顔」が検出されていればステップＦ１０２ＡからＦ１０３に進んで、前面表示パネル６Ｆでモニタリング画像表示を実行させ、一方「顔」が検出されていなければステップＦ１０２ＡからＦ１０４に進んで、前面表示パネル６Ｆをオフとする。
このように、人物の身体の全体の判定ではなく、顔の判定により、前方の人物の存在を確認しても良い。
【００６０】
図７は他の処理例であり、前方に人がいなくても、前面表示パネル６Ｆを電源オフ状態にはしない例である。
ステップＦ１０１，Ｆ１０２は図６（ａ）と同様である。
ＣＰＵ３１は、被写体として前方に人物が居ると判定した場合は、ステップＦ１０３Ａに進み、前面表示パネル６Ｆにおいて表示輝度を上昇させた状態で、モニタリング画像を表示するように表示コントローラ７に指示する。
またＣＰＵ３１は、被写体として前方に人物がいないと判定した場合は、ステップＦ１０４Ａに進み、前面表示パネル６Ｆにおいて表示輝度を低下させた状態で、モニタリング画像を表示するように表示コントローラ７に指示する。
【００６１】
つまり、前面表示パネル６Ｆを見ることのできる人物が存在するときは、前面表示パネル６Ｆの表示輝度を上げて、モニタリング画像を、その人物に見やすいようにする。一方、前方に人がいないと推定されるときは、表示輝度を下げ、消費電力の削減を図るものである。前面表示パネル６Ｆとして例えば有機ＥＬパネルのような自発光素子による表示デバイスを用いる場合、表示輝度を下げることは、消費電力削減に有用である。
【００６２】
次に図８の処理例を説明する。
ステップＦ１０１，Ｆ１０２は図６（ａ）と同様である。
ＣＰＵ３１は、被写体として前方に人物が居ると判定した場合は、ステップＦ１０３に進み、前面表示パネル６Ｆにおいてモニタリング画像を表示するように表示コントローラ７に指示する。
またＣＰＵ３１は、被写体として前方に人物がいないと判定した場合は、ステップＦ１０５に進み、記録媒体９０等に記録された画像データやプリセット画像データなどを読み出す処理を行う。例えばＣＰＵ３１は媒体インターフェース１０に指示して、記録媒体９０からの画像データ（撮像画像データその他）の再生を実行させる。或いはＣＰＵ３１はフラッシュＲＯＭ３３から、プリセット画像データや撮像画像データの読み出しを実行する。そしてＣＰＵ３１は、その読み出された画像データを前面表示パネル６Ｆにおいて表示するように表示コントローラ７に指示する。つまり図４（ｃ）のように、モニタリング画像とは異なる画像表示を前面表示パネル６Ｆにおいて実行させる。
【００６３】
この場合、被写体となる人物が居た場合は、図４（ｂ）のような状態となり、その人物は写されようとしている自分の画像をモニタリングできる。
一方、被写体としての人物がいない場合は、図４（ｃ）のように前面表示パネル６Ｆに無関係な画像が表示される。被写体となっている人物がいないとしても、そばに人がいる状況は多々ある。それらの周囲に居る人にとっては、前面表示パネル６Ｆでの表示が撮像装置１の外観デザインの一部として認識され、興味深いものとなる。
またこのような場合に前面表示パネル６Ｆに表示させる画像をユーザが選択できるようにすることで、ユーザが自分の撮像装置１の外観を自由に設定できるものとなり、カメラ使用上の楽しみを広げることができる。
【００６４】
なお、この図７，図８の処理例の場合も、人物認識を、図６（ｂ）で述べた顔認識として実行してもよい。
また、記録媒体９０から読み出して表示する画像データとしては、テキストデータやアニメーションデータなどとされる場合もあり得る。
【００６５】
＜４−２：人物認識とユーザ設定に基づく処理例＞
上記図６〜図８では、前方の人物の有無の認識によって前面表示パネル６Ｆの表示状態を制御する例を述べたが、ここでは、人物認識に加えて、撮像装置１に対するユーザ設定の状態も考慮して、前面表示パネル６Ｆの表示制御を行う例を説明する。
ユーザ設定とは、例えば撮像モード設定、フラッシュ発光設定、ズーム位置操作など、ユーザの操作に応じた設定状態のことである。
【００６６】
図９は、モニタリング期間における前面表示パネル６Ｆについて、ＣＰＵ３１が実行する表示制御例を示している。
モニタリング期間には、撮像系２，カメラＤＳＰ４の処理で得られるモニタリング画像が主表示パネル６Ｍにおいて表示される。ＣＰＵ３１は、図９の処理と並行して、カメラＤＳＰ４から供給される撮像画像データをスルー画として主表示パネル６Ｍに表示させる制御を行っている。
このときに、前面表示パネル６Ｆについての表示制御を行うために、ＣＰＵ３１は図９の処理を行う。
【００６７】
ＣＰＵ３１はステップＦ２０１では、画像解析部４４での画像解析結果を確認する。この例では、上記図６（ｂ）の場合と同様に、画像解析部４４では、モニタリング期間において、撮像系２で撮像され、カメラＤＳＰ４に取り込まれた撮像画像データについての画像解析処理を行い、被写体として人物の顔が含まれているか否かを判定することとしている。このステップＦ２０１でＣＰＵ３１は、その画像解析部４４の画像解析結果として、人物の顔の存在が認識されたか否かを確認する。
【００６８】
ＣＰＵ３１は、画像解析結果として人物の顔の存在が確認された場合は、処理をステップＦ２０２からＦ２０３に進め、現在のユーザ設定状態が、前面表示パネル６Ｆにおけるモニタリング画像の表示に適した設定状態であるか否かにより、処理を分岐する。
そしてユーザ設定が前面表示パネル６Ｆにおけるモニタリング画像の表示に適した設定状態であると判定した場合は、処理をステップＦ２０４に進め、前面表示パネル６Ｆでモニタリング画像表示を実行させる。即ち、主表示パネル６Ｍに表示させているモニタリング画像を、前面表示パネル６Ｆにおいても表示させるように表示コントローラ７に指示する。この場合、主表示パネル６Ｍと前面表示パネル６Ｆの表示状態は図４（ｂ）のような状態となる。
【００６９】
一方、ＣＰＵ３１はステップＦ２０１の画像解析結果確認により、人物の顔は被写体画像内に存在しないと確認した場合は、処理をステップＦ１０２からＦ１０４に進め、前面表示パネル６Ｆの表示をオフに制御する。
またＣＰＵ３１はステップＦ２０３で、ユーザ設定が前面表示パネル６Ｆにおけるモニタリング画像の表示に適した設定状態でないと判定した場合も、処理をステップＦ２０５に進め、前面表示パネル６Ｆの表示をオフに制御する。
これらの場合、主表示パネル６Ｍと前面表示パネル６Ｆの表示状態は図４（ａ）のような状態となる。
【００７０】
ＣＰＵ３１は、この図９の処理を、モニタリング期間において繰り返し実行する。
従ってモニタリング期間中に、使用者が、人物の顔が被写体に含まれるように撮像装置１を向けており、かつ、その時点でユーザ設定状態が所定の状態であるときは、図４（ｂ）のように前面表示パネル６Ｆにモニタリング画像が表示される。
一方、風景等、人物を含まない被写体光景を狙っているときや、人物の顔を被写体としているときであってもユーザ設定状態が所定の状態でないときは、図４（ａ）のように前面表示パネル６Ｆはオフとされる。
【００７１】
つまりこの処理例は、モニタリング中の被写体として、前方の人物の顔が存在する場合であって、ユーザ設定状態に応じて、その被写体人物が、前面表示パネル６Ｆを適切に視認できると推定される状況で、前面表示パネル６Ｆでモニタリング画像が表示される。一方、被写体として人物の顔が含まれていないときや、被写体人物が前面表示パネル６Ｆを適切に視認できないと推定される状況では前面表示パネル６Ｆがオフされる。
【００７２】
ユーザ設定としては、上記のように、例えば撮像モード設定、フラッシュ発光設定、ズーム位置操作などがある。それぞれについて図９の処理の適用を説明する。
【００７３】
撮像モードとは、夜景モード、夜景＆人物モード、ポートレートモード、風景モード、ソフトスナップモード、スノーモード、ビーチモード、高速シャッターモード、高感度モード、スマイルシャッターモードなど、各種の状況で適切な状態で撮像を行うことができるようにユーザが選択するモードである。
これらの撮像モードとしては、それぞれ適切なシャッタ速度、露出設定、撮像画像信号に対する信号ゲイン設定、エッジ強調や色処理等の信号処理設定などが予め決められており、例えば図１に示したダイヤル操作部５ｂの操作により、ユーザが選択できる。
【００７４】
夜景モードは、夜景撮像に適した設定で撮像が行われる撮像モードである。
夜景＆人物モードは、バックの夜景と人物の表情をそれぞれ鮮明に撮像できるようにした設定で撮像が行われる撮像モードである。
ポートレートモードは、人物撮像に適した設定で撮像が行われる撮像モードである。
風景モードは、風景撮像に適した設定で撮像が行われる撮像モードである。
ソフトスナップモードは、人物の肌の質感を明るく柔らかな印象とする設定で撮像されるようにした撮像モードである。
高速シャッターモードは、動きのある被写体に適した設定で撮像が行われる撮像モードである。
高感度モードは、暗いシーンもフラッシュを使わずに自然な雰囲気で撮像が行われる撮像モードである。
スマイルシャッターモードは、被写体人物が笑顔になると、自動でシャッター処理（レリーズ）が行われる撮像モードである。
【００７５】
例えばこれらの各撮像モードのうちで、ＣＰＵ３１がステップＦ２０３で、前面表示パネル６Ｆについての表示に適した撮像モードと判定するのは、夜景＆人物モード、ポートレートモード、ソフトスナップモード、スマイルシャッターモードなどとする。
これらの撮像モードは、人物の撮像を目的とする場合に選択されるものであり、従って、被写体として人物が含まれる可能性が高い。つまり、前面表示パネル６Ｆの表示を見ることのできる人物が被写体として存在する可能性が高い。
そこでＣＰＵ３１はステップＦ２０３において、撮像モードが、夜景＆人物モード、ポートレートモード、ソフトスナップモード、スマイルシャッターモードのいずれかであれば、ステップＦ２０４で前面表示パネル６Ｆでモニタリング画像を表示させるようにする。
【００７６】
これら以外の撮像モード、即ち夜景モード、風景モード、高速シャッターモード、高感度モードの場合は、人物の撮像を目的としない場合に選択されたり、或いは、前面表示パネル６Ｆの視認性が悪い状態と推定される。
例えば夜景モード、風景モードは、風景撮像を目的とするもので、被写体に人物が存在しないか、或いは存在したとしても、画像内の中心的な存在ではないと推定できる。また夜景モードや高感度モードの場合は、もし前方に人物が居たとしても、暗い風景を撮像している際のモニタリング画像は、前面表示パネル６Ｆに表示させたとしても、当該前方の人物からは視認性が悪い。
また高速シャッターモードの被写体は動きのある被写体となる。例えば人が被写体であったとしても、その人はスポーツ競技中、ダンス中などの状況にあり、落ち着いて前面表示パネル６Ｆを見る状況ではない。
つまり、これらの撮像モードの場合、前方に人が居ないか、或いは人物が居たとして前面表示パネル６Ｆが視認性よく表示される状況でない、或いは前面表示パネル６Ｆを見る状況でないと推定される。
そこでＣＰＵ３１は撮像モードが夜景モード、風景モード、高速シャッターモード、高感度モードのいずれかの場合は、ステップＦ２０２で人物の顔が検出されたとしても、ステップＦ２０５に進み、前面表示パネル６Ｆをオフとする。
【００７７】
なお、以上は例示であり、これら以外にも、夕景撮像に適した設定で撮像が行われる夕景モード、植物や昆虫等の接写に適したマクロモード、花火の撮像に適した花火モード、水中での撮像に適した水中モードなどが用意される場合もある。また、ゲレンデや雪景色の白銀をそのまま表現できるようにした設定で撮像が行われるスノーモードや、海や空の青色を際だたせるようにした設定で撮像が行われるビーチモードなども用意される場合もある。
これらの場合も、それぞれ人物の存在、前面表示パネル６Ｆの表示内容の視認性、被写体側の人物の状況に応じて、ステップＦ２０３でどのように処理すべきか（前面表示パネル６Ｆの表示を行うべき所定の撮像モードに含まれるか否か）を予め設定しておけばよい。
【００７８】
ユーザ設定のうちの撮像モード設定については以上のように考えればよい。
ユーザ設定のうちのフラッシュ発光設定については、次のように考える。フラッシュ発光設定とは、フラッシュ発光を実行させる（フラッシュ：オン）か、させないか（フラッシュ：オフ）、或いは自動制御でフラッシュオン／オフを行う（フラッシュ：オート）かをユーザが選択する設定である。
この場合、ユーザがフラッシュ：オンに設定とする場合は、周囲が暗い状況であることが通常である。
暗い状況の場合、モニタリング期間のモニタリング画像も輝度の低い状態となり、前面表示パネル６Ｆの表示の視認性は良くないと考えられる。
そこで、フラッシュ発光設定については、「フラッシュ：オン」とされている場合は、ＣＰＵ３１はステップＦ２０５に進み、前面表示パネル６Ｆの表示をオフに制御するようにする。
【００７９】
ユーザ設定のうちでズーム位置操作設定については次のように考える。ズーム位置操作設定とは、例えばユーザが図１のワイド／テレ操作キー５ｃを操作してズーム操作した場合のズーム位置の設定のことである。
例えば人物を被写体としていたとしても、ズーム位置が所定以上にテレ側（望遠）にあるときは、その被写体人物は撮像装置１よりかなり離れた位置に居ると推定できる。当然、あまり遠ければ、その人物は、前面表示パネル６Ｆの表示を適切に見ることができない。
そこでＣＰＵ３１はステップＦ２０３において、ユーザの操作によるズーム位置が、所定以上の望遠状態の位置である場合は、ステップＦ２０５に進むものとし、前面表示パネル６Ｆの表示をオフに制御する。
【００８０】
図９のステップＦ２０３では、ＣＰＵ３１が以上のようなユーザ設定に応じた判断を行うようにすることで、前面表示パネル６Ｆについて適切な表示制御を行うことができる。
つまり図９の処理によれば、顔検出がされ、かつユーザ設定が所定状態であるときにステップＦ２０４で前面表示パネル６Ｆでモニタリング画像が表示される。換言すれば、人物が被写体となるとともに、その人物が適切にモニタリング画像を視認すると考えられる状況において、前面表示パネル６Ｆでモニタリング画像が表示される。
このため被写体の人物は、前面表示パネル６Ｆにより自分が撮されようとしているモニタリング画像を見て、自分の表情やポーズなどを確認できることになる。
一方、被写体として人物が存在しない場合や、人物が存在したとしても前面表示パネル６Ｆでモニタリング画像表示を行っても意味がないとされる場合は、前面表示パネル６Ｆの表示をオフとする（例えば前面表示パネル６Ｆのみを電源オフ状態とする）。これにより、より適切に消費電力の節減を図ることができる。
【００８１】
なお以上ではユーザ設定として、撮像モード設定、フラッシュ発光設定、ズーム位置操作について説明したが、これらのうち全てを用いた判断をステップＦ２０３で行うようにしても良いし、一部のユーザ設定のみについてステップＦ２０３で判断するようにしてもよい。
またユーザ設定としては、上記した以外に、感度設定、露光設定、手ブレ補正オン／オフ設定、特殊撮像設定などが想定される。これらのそれぞれについても、被写体人物が適切に前面表示パネル６Ｆの表示を見るという行為について適切な状況が推定されるか否かにより、ステップＦ２０３の判断に反映させることが考えられる。
【００８２】
図１０に他の処理例を示す。図１０は、上述した撮像モードの１つとして、自分撮りモードを選択できるようにした場合に対応する処理である。自分撮りモードとは、ユーザが撮像装置１の前面を自分の方に向けて撮る場合の撮像モードである。
【００８３】
図１０のステップＦ２０１〜Ｆ２０５は図９のステップＦ２０１〜Ｆ２０５と同様としている。なお、撮像モードが自分撮りモードとされている場合は、ＣＰＵ３１はステップＦ２０３において、他のユーザ設定に関わらず、ステップＦ２０４に進むものとする。
撮像モードが自分撮りモード以外の場合は、図９の処理と同様となる。
撮像モードが自分撮りモードの場合は、ＣＰＵ３１はステップＦ２０４で前面表示パネル６Ｆでモニタリング画像を表示させる制御をするとともに、ステップＦ２１０からＦ２１１に進み、主表示パネル６Ｍの表示をオフとする処理を行う。
【００８４】
つまりユーザ設定として自分撮りモードが選択されている場合は、前面表示パネル６Ｆ及び主表示パネル６Ｍを図５（ａ）の状態とする。
自分撮りモードの場合は、ユーザが撮像装置１を自分の方に向けて撮像操作を行うことになるため、主表示パネル６Ｍを見ることはできない。従って、前面表示パネル６Ｆでモニタリング画像を見ることで、被写体を確認できるようにする。そして主表示パネル６Ｍはオフとすることで、消費電力の削減を図る。
【００８５】
なお、以上の図９、図１０の処理例に準じた変形例として、ステップＦ２０５では、前面表示パネル６Ｆの表示をオフとする以外に、図７で述べたように低輝度状態の表示としたり、図８で述べたような再生画像やプリセット画像を表示させるような処理例も考えられる。
【００８６】
＜４−３：人物認識と内部検出情報に基づく処理例＞
続いて、人物認識に加えて、撮像装置１が内部的に検出するカメラ検出情報（内部検出情報）も考慮して、前面表示パネル６Ｆの表示制御を行う例を説明する。
ここでいうカメラ検出情報とは、撮像装置１の内部センサで検出される情報や、撮像装置の動作制御に伴ってＣＰＵ３１が認識できる情報などである。例えばフラッシュ制御や露光制御に用いる外光光量検出情報、ズーム位置情報、フォーカス情報、手ブレ検出情報、被写体距離情報などである。
【００８７】
図１１は、モニタリング期間における前面表示パネル６Ｆについて、ＣＰＵ３１が実行する表示制御例を示している。
モニタリング期間には、ＣＰＵ３１は、カメラＤＳＰ４から供給される撮像画像データをスルー画として主表示パネル６Ｍに表示させる制御を行っているが、これと並行して、前面表示パネル６Ｆについての表示制御を行うために図１１の処理を行う。
【００８８】
ＣＰＵ３１はステップＦ３０１では、画像解析部４４での画像解析結果を確認する。この例も画像解析部４４では、モニタリング期間において、撮像系２で撮像され、カメラＤＳＰ４に取り込まれた撮像画像データについての画像解析処理を行い、被写体として人物の顔が含まれているか否かを判定することとする。
このステップＦ３０１でＣＰＵ３１は、その画像解析部４４の画像解析結果として、人物の顔の存在が認識されたか否かを確認する。
【００８９】
ＣＰＵ３１は、画像解析結果として人物の顔の存在が確認された場合は、処理をステップＦ３０２からＦ３０３に進め、所定のカメラ検出情報を確認し、前面表示パネル６Ｆにおけるモニタリング画像の表示に適した状態であるか否かにより、処理を分岐する。
そしてカメラ検出情報から、現在は前面表示パネル６Ｆにおけるモニタリング画像の表示に適した状態であると判定した場合は、ＣＰＵ３１は処理をステップＦ３０４に進め、前面表示パネル６Ｆでモニタリング画像表示を実行させる。即ち、主表示パネル６Ｍに表示させているモニタリング画像を、前面表示パネル６Ｆにおいても表示させるように表示コントローラ７に指示する。この場合、主表示パネル６Ｍと前面表示パネル６Ｆの表示状態は図４（ｂ）のような状態となる。
【００９０】
一方、ＣＰＵ３１はステップＦ３０１の画像解析結果確認により、人物の顔は被写体画像内に存在しないと確認した場合は、処理をステップＦ３０５に進め、前面表示パネル６Ｆの表示をオフに制御する。
また、ＣＰＵ３１は、ステップＦ３０３で、カメラ検出情報から、現在は前面表示パネル６Ｆにおけるモニタリング画像の表示に適した状態でないと判定した場合も、処理をステップＦ３０５に進め、前面表示パネル６Ｆの表示をオフに制御する。
これらの場合、主表示パネル６Ｍと前面表示パネル６Ｆの表示状態は図４（ａ）のような状態となる。
【００９１】
ＣＰＵ３１は、この図９の処理を、モニタリング期間において繰り返し実行する。
従ってモニタリング期間中に、使用者が、人物の顔が被写体に含まれるように撮像装置１を向けており、かつ、その時点でカメラ検出情報によって認識される状態が所定の状態であるときは、図４（ｂ）のように前面表示パネル６Ｆにモニタリング画像が表示される。
一方、風景等、人物を含まない被写体光景を狙っているときや、人物の顔を被写体としているときであってもカメラ検出情報によって認識される状態が所定の状態でないときは、図４（ａ）のように前面表示パネル６Ｆはオフとされる。
【００９２】
つまりこの処理例は、モニタリング中の被写体として、前方の人物の顔が存在する場合であって、カメラ検出情報により、被写体人物が、前面表示パネル６Ｆを適切に視認できると推定される状況で、前面表示パネル６Ｆでモニタリング画像が表示される。一方、被写体として人物の顔が含まれていないときや、被写体人物が前面表示パネル６Ｆを適切に視認できないと推定される状況では前面表示パネル６Ｆがオフされる。
【００９３】
カメラ検出情報とは、上記のように例えば外光光量検出情報、ズーム位置情報、被写体距離情報、フォーカス情報、ブレ検出情報などである。これらのカメラ検出情報を用いたステップＦ３０３の判断は以下のようになる。
【００９４】
外光光量は、撮像画像データの輝度平均値や、画面内の一部に重み付けを行って得た重み付け輝度平均値などから検出でき、これらは通常、自動露光制御や、フラッシュ発光設定がオートの場合のフラッシュ発光制御などに用いられる。例えばカメラＤＳＰ４の画像信号処理部４１で、これらの輝度値が算出されるため、ＣＰＵ３１はその情報を得ることができる。
また、図２にには示していないが、外光光量センサ等を設けて直接的に外光光量を検出するようにしてもよい。
これらの手法で検出される外光光量が低い場合は、前面表示パネル６Ｆでモニタリング画像表示を行っても、画像自体の輝度が低く、良好な視認性が得られない状況であると推定できる。また、いわゆる逆光状態など、あまりに外光光量レベルが高い場合も、前面表示パネル６Ｆでのモニタリング表示は良好に視認できないと推定できる。
そこでＣＰＵ３１は、顔検出がなされた場合であっても、外光光量が所定レベルより低い場合や逆光状態と判定されるような場合は、前面表示パネル６Ｆでモニタリング画像表示に適切な状況ではないとし、ステップＦ３０３からＦ３０５に進み、前面表示パネル６Ｆの表示をオフに制御する。
【００９５】
ズーム位置情報については、ＣＰＵ３１はユーザ操作等に応じてズームレンズを駆動制御することから、ズーム位置を検出できる。そして人物を被写体としていたとしても、ズーム位置が所定以上にテレ側（望遠）にあるときは、その被写体人物は撮像装置１よりかなり離れた位置に居ると推定できる。つまり被写体人物は、前面表示パネル６Ｆの表示を適切に見ることができないと推定できる。
そこでＣＰＵ３１はステップＦ３０３において、ズーム位置が所定以上の望遠状態の位置である場合は、ステップＦ３０５に進むものとし、前面表示パネル６Ｆの表示をオフに制御する。
【００９６】
被写体距離情報とは、撮像装置１から被写体までの距離の情報であり、例えばＣＰＵ３１は、上述したようにレンズ位置検出部２７からの情報を用いて、被写体距離情報を得ることができる。
例えば人物を被写体としていたとしても、被写体距離情報により、その被写体人物が撮像装置１よりかなり離れた位置に居ると判別できる場合は、被写体人物は、前面表示パネル６Ｆの表示を適切に見ることができないと推定できる。
そこでＣＰＵ３１はステップＦ３０３において、被写体距離情報により、被写体が所定以上の遠い位置にあると検出される場合は、ステップＦ３０５に進むものとし、前面表示パネル６Ｆの表示をオフに制御する。
【００９７】
フォーカス情報とは、画像信号処理部４１でのオートフォーカスのための処理に用いる合焦状態の判定の情報である。
ＣＰＵ３１は、合焦状態でない場合は、適切なモニタリング画像表示が実行できないとして、ステップＦ３０３からステップＦ３０５に進み、前面表示パネル６Ｆの表示をオフに制御することが考えられる。つまり合焦状態となっている場合のみに前面表示パネル６Ｆでモニタリング表示を実行させるようにする。
【００９８】
ブレ検出情報は、手ブレや撮像装置１の動きの検出情報である。ＣＰＵ３１は例えばぶれ検出部１３からの情報としてブレ検出情報を得ることができる。
手ブレが大きい場合、或いはユーザが動きのある被写体に追従するなどして撮像装置１を動かしている場合などは、前面表示パネル６Ｆでのモニタリング画像は適正に視認できない。そこでＣＰＵ３１はステップＦ３０３において、ブレ検出情報により、ブレや撮像装置１の動きが大きいと判断される場合は、ステップＦ３０５に進み、前面表示パネル６Ｆの表示をオフに制御することが考えられる。
【００９９】
図１１のステップＦ３０３では、ＣＰＵ３１が以上のようなカメラ検出情報に応じた判断を行うようにすることで、前面表示パネル６Ｆについて適切な表示制御を行うことができる。
つまり図１１の処理によれば、顔検出がされ、かつカメラ検出情報から所定の状態であるとき、即ち人物が被写体となり、かつその人物が適切にモニタリング画像を視認できると考えられる状況において、前面表示パネル６Ｆでモニタリング画像が表示される。
このため被写体の人物は、前面表示パネル６Ｆにより自分が撮されようとしているモニタリング画像を見て、自分の表情やポーズなどを確認できることになる。
また被写体として人物が存在しない場合や、人物が存在したとしても前面表示パネル６Ｆでモニタリング画像表示を行っても意味がないとされる場合は、前面表示パネル６Ｆの表示をオフとする。これにより、より適切に消費電力の節減を図ることができる。
【０１００】
なお、図１１の処理例に準じた変形例として、ステップＦ３０５では、前面表示パネル６Ｆの表示をオフとする以外に、図７で述べたように低輝度状態の表示としたり、図８で述べたような再生画像やプリセット画像を表示させるような処理例も考えられる。
【０１０１】
＜４−４：人物認識と他の画像解析情報に基づく処理例＞
続いて、画像解析部４４で行われる画像解析結果として、単なる人物認識に加えて、多様な解析結果情報も考慮して、前面表示パネル６Ｆの表示制御を行う例を説明する。
画像解析部４４での画像解析処理によっては、人物認識や顔認識以外でも各種の画像認識結果を得ることができる。例えば外光光量の判定情報を得ることができる。またフレーム比較での動き検出や画素毎のぼけ量の解析などで、撮像装置１と被写体の相対的な動きの量を判定することもできる。
さらに顔画像が検出された場合の画像認識処理として、画面内での顔のサイズ（１フレームの画像内に占める顔部分の割合）や、顔の向き、視線の向きなどを解析結果として得ることもできる。
ここでは、これらのようにより多様な画像解析結果を用いる場合を述べる。
【０１０２】
図１２は、モニタリング期間における前面表示パネル６Ｆについて、ＣＰＵ３１が実行する表示制御例を示している。
モニタリング期間には、ＣＰＵ３１はモニタリング画像を主表示パネル６Ｍにおいて表示させるとともに、これと並行して前面表示パネル６Ｆについての表示制御を行うために図１２の処理を行う。
【０１０３】
ＣＰＵ３１はステップＦ４０１では、画像解析部４４での画像解析結果を確認する。この例も画像解析部４４では、モニタリング期間において、撮像系２で撮像され、カメラＤＳＰ４に取り込まれた撮像画像データについての画像解析処理を行い、被写体として人物の顔が含まれているか否かを判定することとする。
但し本例では、画像解析部４４は、顔の存在の検出だけでなく、上記したように他にも各種の画像認識処理を行う。
ＣＰＵ３１はステップＦ４０１で、その画像解析部４４の各種の画像解析結果を確認する。
【０１０４】
そしてＣＰＵ３１は、ステップＦ４０２で、画像解析結果の１つとして人物の顔の存在が確認されたか否かを確認し、存在が確認された場合は、処理をステップＦ４０３に進める。
またステップＦ４０３では、他の画像解析結果を確認し、前面表示パネル６Ｆにおけるモニタリング画像の表示に適した状態であるか否かを判断して、処理を分岐する。
即ちＣＰＵ３１は、各種の画像解析結果から、現在は前面表示パネル６Ｆにおけるモニタリング画像の表示に適した状態であると判定した場合は、処理をステップＦ４０４に進め、前面表示パネル６Ｆでモニタリング画像表示を実行させる。即ち、主表示パネル６Ｍに表示させているモニタリング画像を、前面表示パネル６Ｆにおいても表示させるように表示コントローラ７に指示する。この場合、主表示パネル６Ｍと前面表示パネル６Ｆの表示状態は図４（ｂ）のような状態となる。
【０１０５】
一方、ＣＰＵ３１はステップＦ４０１の画像解析結果確認により、人物の顔は被写体画像内に存在しないと確認した場合は、処理をステップＦ４０５に進め、前面表示パネル６Ｆの表示をオフに制御する。
またＣＰＵ３１は、人物の顔は検出されたとしても、ステップＦ４０３で他の解析結果から現在は前面表示パネル６Ｆにおけるモニタリング画像の表示に適した状態でないと判定した場合も、ステップＦ４０５で前面表示パネル６Ｆの表示をオフに制御する。
これらの場合、主表示パネル６Ｍと前面表示パネル６Ｆの表示状態は図４（ａ）のような状態となる。
【０１０６】
ＣＰＵ３１は、この図９の処理を、モニタリング期間において繰り返し実行する。
従ってモニタリング期間中に、使用者が、人物の顔が被写体に含まれるように撮像装置１を向けており、かつ、その時点で各種の画像解析結果によって認識される状態が所定の状態であるときは、図４（ｂ）のように前面表示パネル６Ｆにモニタリング画像が表示される。
一方、風景等、人物を含まない被写体光景を狙っているときや、人物の顔を被写体としているときであっても各種の画像解析結果によって認識される状態が所定の状態でないときは、図４（ａ）のように前面表示パネル６Ｆはオフとされる。
【０１０７】
顔の存在以外の画像解析結果に応じたステップＦ４０３の処理例は以下のようになる。
画像解析結果として、外光光量が判定できる。上述のカメラ検出情報としても説明したが、外光光量が低い場合や、逆光状態など極端に高い場合は、前面表示パネル６Ｆでのモニタリング表示は良好に視認できないと推定できる。
そこでＣＰＵ３１は、顔検出がなされた場合であっても、外光光量が所定レベルより低い場合や逆光状態と判定されるような場合は、前面表示パネル６Ｆでモニタリング画像表示に適切な状況ではないとし、ステップＦ４０５で前面表示パネル６Ｆの表示をオフに制御する。
【０１０８】
また画像解析結果として、撮像装置１と被写体の相対的な動きの量が判定できる。つまり、撮像装置１自体がブレたり動いている（ユーザが撮像装置１を動かしている）場合、或いは被写体が動いている場合、或いは双方が動いている場合を判定できる。
これらの場合において動きの量が大きいときは、被写体となっている人物が居たとしても適切に前面表示パネル６Ｆを視認できないと考えられる。
そこでＣＰＵ３１はステップＦ４０３において、撮像装置１と被写体の相対的な動きが大きいと判断される場合は、ステップＦ４０５に進み、前面表示パネル６Ｆの表示をオフに制御することが考えられる。
【０１０９】
画像解析として、単に顔検出だけでなく、顔の大きさ（画面内での顔部分の割合）を判定することができる。
ズーム位置状態にもよるが、或る一定のズーム状態を考えれば、顔の大きさは、撮像装置１からの被写体となっている人物までの距離を判定する指標の１つとなる。
例えばズーム状態がワイド状態であっても顔が小さく撮されている場合は、その人物は遠くに居ると推定できる。
そこでＣＰＵ３１はステップＦ４０３において、ズーム位置を考慮して、顔の大きさにより被写体人物の遠近を判断する。そして、その人物は遠くに居て前面表示パネル６Ｆの表示内容を見ることができないと判定する場合、ステップＦ４０５で前面表示パネル６Ｆの表示をオフに制御することが考えられる。
【０１１０】
また画像解析として、顔の向きや視線の向きを認識することもできる。
撮像画像上で顔が正面方向でない場合、或いは視線が正面方向でない場合は、その被写体人物は撮像装置１を見ていないこととなる。つまり前面表示パネル６Ｆを見ていないと判断できる。
そこでＣＰＵ３１はステップＦ４０３において、顔の向き、或いは視線方向を確認する。そして、その人物が前面表示パネル６Ｆの表示内容を見ていないと判定する場合、ステップＦ４０５で前面表示パネル６Ｆの表示をオフに制御することが考えられる。
【０１１１】
図１２のステップＦ４０３では、ＣＰＵ３１が以上のような画像解析結果に応じた判断を行うようにすることで、前面表示パネル６Ｆについて適切な表示制御を行うことができる。
つまり図１２の処理によれば、顔検出がされ、かつ他の画像解析結果から所定の状態であるとき、即ち人物が被写体となり、かつその人物が適切にモニタリング画像を視認できる（或いは視認している）と考えられる状況において、前面表示パネル６Ｆでモニタリング画像が表示される。
このため被写体の人物は、前面表示パネル６Ｆにより自分が撮されようとしているモニタリング画像を見て、自分の表情やポーズなどを確認できる。
また被写体として人物が存在しない場合や、人物が存在したとしても前面表示パネル６Ｆでモニタリング画像表示を行っても意味がないとされる場合は、前面表示パネル６Ｆの表示をオフとする。これにより、より適切に消費電力の節減を図ることができる。
【０１１２】
なお、図１２の処理例に準じた変形例として、ステップＦ４０５では、前面表示パネル６Ｆの表示をオフとする以外に、図７で述べたように低輝度状態の表示としたり、図８で述べたような再生画像やプリセット画像を表示させるような処理例も考えられる。
【０１１３】
図１３は、上述したスマイルシャッターモードとされている場合に適用できる、上記図１２の処理例の変形例である。
図１３のステップＦ４０１〜Ｆ４０５は図１２と同様である。なお、図１２ではユーザのレリーズ操作（撮像期間への移行のトリガ）については示していないが、図１３では撮像期間への移行する処理までを示している。
【０１１４】
画像解析処理によれば、顔検出や上記各種検出に加え、被写体人物の表情判定も可能である。
そこで、被写体人物の存在や他の解析結果に応じて前面表示パネル６Ｆでモニタリング表示を行っている際に、ＣＰＵ３１はステップＦ４１０で被写体人物の表情判定の結果を確認する。
そして表情判定として、笑顔の状態が画像解析結果として得られた場合は、自動的にステップＦ４１２に進んでＣＰＵ３１はレリーズ処理、即ちその時点の撮像画像データの記録処理を行う。
なお、ユーザが手動でレリーズ操作を行った場合には、ステップＦ４１１からＦ４１２に進んでレリーズ処理を行うことになる。
【０１１５】
このように前面表示パネル６Ｆでのモニタリング表示とスマイルシャッターモード処理を組み合わせることで、被写体となっている人物は、前面表示パネル６Ｆを自分の表情を見ながら笑顔にすることで、撮像画像の記録が行われるようにすることができる。
【０１１６】
［５．再生時の前面表示パネル部の表示制御］
ここまで説明してきた各処理例は、モニタリング期間における前面表示パネル６Ｆの制御処理例としたが、ここでは再生期間における前面表示パネル６Ｆの表示制御の例を述べる。
【０１１７】
図３で述べたように、ユーザが再生動作を指示する操作を行った場合、再生動作状態（再生期間）に移行する。そして再生期間には、記録媒体９０やフラッシュＲＯＭ３３に記録された画像を再生する動作が行われる。
ＣＰＵ３１は、ユーザの操作に応じて、記録媒体９０やフラッシュＲＯＭ３３に記録されている画像を読み出し、表示コントローラ７に指示して、主表示パネル６Ｍでサムネイル画像や１枚の再生画像を表示させる制御を行う。
このときに、前面表示パネル６Ｆに関しては、ＣＰＵ３１は図１４の処理を行う。
【０１１８】
即ち再生期間においてＣＰＵ３１はステップＦ５０１では、画像解析部４４での画像解析結果を確認する。
なお通常は、再生期間には、通常は撮像系２及びカメラＤＳＰは撮像処理を行う必要はないが、本例の処理を行う場合、撮像系２及びカメラＤＳＰは撮像処理を行うこととする。そして画像解析部４４では、撮像系２で撮像され、カメラＤＳＰ４に取り込まれた撮像画像データについての画像解析処理を行い、被写体方向に人物が存在する否かを判定する。
ＣＰＵ３１はステップＦ５０１で、画像解析部４４の画像解析結果を確認し、人物の顔の存在が確認された場合は、処理をステップＦ５０２からＦ５０３に進める。
【０１１９】
ここでＣＰＵ３１は、現在の主表示パネル６Ｍでの再生表示状態に応じて処理を分岐する。即ち、現在、主表示パネル６Ｍにおいて再生画像のサムネイル一覧表示を行っているか、或いは１つの画像を表示しているか否かにより処理を分岐する。
現在、主表示パネル６Ｍにおいて１枚の再生画像を表示させているのであれば、ＣＰＵ３１は処理をステップＦ５０４に進め、前面表示パネル６Ｆにも、その同じ再生画像データを表示させるように表示コントローラ７に指示する。この場合、主表示パネル６Ｍと前面表示パネル６Ｆの表示状態は図５（ｃ）のような状態となる。
一方、現在、主表示パネル６Ｍにおいてサムネイル一覧表示を実行させているのであれば、ＣＰＵ３１は処理をステップＦ５０５に進める。この場合、前面表示パネル６Ｆには、サムネイル一覧表示上でカーソルＫで選択中となっている再生画像データを表示させるように表示コントローラ７に指示する。この場合、主表示パネル６Ｍと前面表示パネル６Ｆの表示状態は図５（ｂ）のような状態となる。
る。
【０１２０】
またＣＰＵ３１は、再生時であっても、ステップＦ５０２で人物の顔の存在が確認されない場合は、処理をステップＦ５０２からＦ５０６に進め、前面表示パネル６Ｆをオフとする制御を行う。
【０１２１】
このような処理を行うことで、前面側に人がいる場合は、前面表示パネル６Ｆ側でも同時に再生画像を見ることができる。従って撮像装置１のユーザと、前面側にいる人物が、再生画像を楽しむことができる。
また図５（ｂ）のように主表示パネル６Ｍでサムネイル一覧表示を行っている場合は、撮像装置１のユーザがカーソルＫを移動させていくことで、前面表示パネル６Ｆ側で、選択した再生画像を前面側に居る人物に見せることができる。
また、前面側に見る人がいない場合は、前面表示パネル６Ｆをオフとして消費電力の削減を図ることができる。
【０１２２】
なお、図１４の処理例に準じた変形例として、ステップＦ５０６では、前面表示パネル６Ｆの表示をオフとする以外に、図７で述べたように低輝度状態の表示としたり、特定の再生画像やプリセット画像を表示させるような処理例も考えられる。
【０１２３】
［６．変形例］
以上、実施の形態としての各種の処理例や変形例を説明してきたが、本発明の実施の形態としてはさらに多様な変形例が考えられる。
図９〜図１４の処理例では、画像解析による顔検出によって、前面側に前面表示パネル６Ｆを視認可能な人物が居るか否かを判定したが、顔検出ではなく、人物検出（画像内での人物の身体の検出）によるものとしてもよい。また近接センサ５０による検出結果を用いても良い。
【０１２４】
また、前面に人物が居ない、或いは居ても見られない、又は見ていないと判定される場合に、場合前面表示パネル６Ｆをオフとするか、低輝度表示とするか、再生画像やプリセット画像を表示するかを、ユーザが選択できるようにしてもよい。
【０１２５】
実施の形態では、顔認識等による人物の存在検出を前提として、さらにユーザ設定状態、カメラ検出情報（内部検出情報）による判定、或いはさらに他の画像解析結果を組み合わせて前面表示パネル６Ｆの表示制御を行う例を述べた。これらをさらに組み合わせてもよい。
例えば人物の存在検出と、ユーザ設定状態と、カメラ検出情報とによって、前面表示パネル６Ｆの表示制御を行う例が考えられる。
また、人物の存在検出と、ユーザ設定状態と、人物認識以外の画像解析結果とによって、前面表示パネル６Ｆの表示制御を行う例が考えられる。
また、人物の存在検出と、カメラ検出情報と、人物認識以外の画像解析結果とによって、前面表示パネル６Ｆの表示制御を行う例が考えられる。
また、人物の存在検出と、ユーザ設定状態と、カメラ検出情報と、人物認識以外の画像解析結果とによって、前面表示パネル６Ｆの表示制御を行う例が考えられる。
【０１２６】
実施の形態では、静止画撮像を前提に説明した。しかし本発明は動画撮像にも適用できる。
動画撮像の場合は、上記モニタリング期間が、撮像開始までのスタンバイ期間に相当する。そして上記記録期間が、記録開始から記録終了までの動画記録期間となる。
従って、スタンバイ期間や記録期間において、人物の存在検出、さらにはユーザ設定状態、カメラ検出情報による判定、或いはさらに他の画像解析結果を組み合わせて前面表示パネル６Ｆの動画表示制御を行うようにすることが考えられる。
【０１２７】
本例では撮像装置１として、一般にデジタルスチルカメラと呼ばれる機器を例に挙げたが、例えばビデオカメラ、撮像機能を有する携帯電話機、ＰＤＡ（Personal Digital Assistant）など、多様な機器において本発明は適用できる。
【図面の簡単な説明】
【０１２８】
【図１】本発明の実施の形態の撮像装置の外観例の説明図である。
【図２】実施の形態の撮像装置のブロック図である。
【図３】実施の形態の撮像装置の動作遷移の説明図である。
【図４】実施の形態の撮像装置の画像表示例の説明図である。
【図５】実施の形態の撮像装置の画像表示例の説明図である。
【図６】実施の形態の人物認識に基づく前面表示パネルの表示制御例のフローチャートである。
【図７】実施の形態の人物認識に基づく前面表示パネルの表示制御例のフローチャートである。
【図８】実施の形態の人物認識に基づく前面表示パネルの表示制御例のフローチャートである。
【図９】実施の形態の人物認識とユーザ設定に基づく前面表示パネルの表示制御例のフローチャートである。
【図１０】実施の形態の前面表示パネルの自分撮りモードを考慮した表示制御例のフローチャートである。
【図１１】実施の形態の人物認識とカメラ検出情報に基づく前面表示パネルの表示制御例のフローチャートである。
【図１２】実施の形態の人物認識と画像解析結果に基づく前面表示パネルの表示制御例のフローチャートである。
【図１３】実施の形態のスマイルシャッターモードを考慮した前面表示パネルの表示制御例のフローチャートである。
【図１４】実施の形態の再生時の前面表示パネルの表示制御例のフローチャートである。
【符号の説明】
【０１２９】
１  撮像装置、２  撮像系、３  制御系、４  カメラＤＳＰ、５  操作部、６Ｍ  主表示パネル、６Ｆ  前面表示パネル、７  表示コントローラ、８  外部インターフェース、９  ＳＤＲＡＭ、１０  媒体インターフェース、１３  ブレ検出部、１４  発光駆動部、１５  フラッシュ発光部、１７  レンズ駆動ドライバ、１８  絞り／ＮＤ駆動ドライバ、１９  撮像素子ドライバ２１  レンズ機構部、２２  絞り／ＮＤフィルタ機構、２３  撮像素子部、２４  アナログ信号処理部、２５  Ａ／Ｄ変換部、２８  タイミング生成回路、２６  レンズ駆動部、２７  レンズ位置検出部、３１  ＣＰＵ、３２  ＲＡＭ、３３  フラッシュＲＯＭ、３４  時計回路、４１  画像信号処理部，４２  圧縮／解凍処理部、４３  ＳＤＲＡＭコントローラ、４４  画像解析部、５０  近接センサ
【図１】
2010114568.tif 000003
【図２】
2010114568.tif 000004
【図３】
2010114568.tif 000005
【図４】
2010114568.tif 000006
【図５】
2010114568.tif 000007
【図６】
2010114568.tif 000008
【図７】
2010114568.tif 000009
【図８】
2010114568.tif 000010
【図９】
2010114568.tif 000011
【図１０】
2010114568.tif 000012
【図１１】
2010114568.tif 000013
【図１２】
2010114568.tif 000014
【図１３】
2010114568.tif 000015
【図１４】
2010114568.tif 000016
【手続補正書】
【提出日】平成22年1月27日(2010.1.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
例えばオートフォーカス用処理としては、画像信号処理部４１は入力される撮像画像信号についてコントラスト検出を行い、検出情報をＣＰＵ３１に伝える。オートフォーカス制御方式としては、各種の制御手法が知られているが、いわゆるコントラストＡＦと呼ばれる手法では、フォーカスレンズを強制的に移動させながら、各時点の撮像画像信号のコントラスト検出を行い、最適コントラスト状態のフォーカスレンズ位置を判別する。即ちＣＰＵ３１は、撮像動作に先立って、フォーカスレンズの移動制御を実行させながら画像信号処理部４１で検出されるコントラスト検出値を確認し、最適なコントラスト状態となった位置をフォーカス最適位置とする制御を行う。
また、撮像中のフォーカス制御としては、いわゆるウォブリングＡＦと呼ばれる検出方式が実行できる。ＣＰＵ３１は、撮像動作中に、常時フォーカスレンズの位置を微小に前後にゆらすように移動させながら、画像信号処理部４１で検出されるコントラスト検出値を確認する。フォーカスレンズの最適位置は、当然、被写体の状況によって変動するが、フォーカスレンズを前後に微小変位させながらコントラスト検出を行うことで、被写体の変動に応じたフォーカス制御方向の変化を判定できる。これによって、被写体状況に追尾したオートフォーカスが実行できることになる。
なお、レンズ駆動部２６における移送機構には、各移送位置毎にアドレスが割り当てられており、その移送位置アドレスによってレンズ位置が判別される。
レンズ位置検出部２７は、フォーカスレンズの現在のレンズ位置としてのアドレスを判別することで、合焦状態となっている被写体までの距離を算出し、それを距離情報としてＣＰＵ３１に供給することができる。これによってＣＰＵ３１は、合焦状態としている主たる被写体までの距離を判別できる。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
ＳＤＲＡＭコントローラ４３は、ＳＤＲＡＭ９に対する書込／読出を行う。ＳＤＲＡＭ９は、例えば撮像系２から入力された撮像画像信号の一時保存、画像処理部４１や圧縮／解凍処理部４２での処理過程における保存やワーク領域の確保、画像解析部４４で得られた情報の保存などに用いられ、ＳＤＲＡＭコントローラ４３は、これらのデータについてＳＤＲＡＭ９に対する書込／読出を行う。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
一方、ＣＰＵ３１はステップＦ２０１の画像解析結果確認により、人物の顔は被写体画像内に存在しないと確認した場合は、処理をステップＦ２０２からＦ２０５に進め、前面表示パネル６Ｆの表示をオフに制御する。
またＣＰＵ３１はステップＦ２０３で、ユーザ設定が前面表示パネル６Ｆにおけるモニタリング画像の表示に適した設定状態でないと判定した場合も、処理をステップＦ２０５に進め、前面表示パネル６Ｆの表示をオフに制御する。
これらの場合、主表示パネル６Ｍと前面表示パネル６Ｆの表示状態は図４（ａ）のような状態となる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１１８
【補正方法】変更
【補正の内容】
【０１１８】
即ち再生期間においてＣＰＵ３１はステップＦ５０１では、画像解析部４４での画像解析結果を確認する。
なお通常は、再生期間には、通常は撮像系２及びカメラＤＳＰ４は撮像処理を行う必要はないが、本例の処理を行う場合、撮像系２及びカメラＤＳＰ４は撮像処理を行うこととする。そして画像解析部４４では、撮像系２で撮像され、カメラＤＳＰ４に取り込まれた撮像画像データについての画像解析処理を行い、被写体方向に人物が存在する否かを判定する。
ＣＰＵ３１はステップＦ５０１で、画像解析部４４の画像解析結果を確認し、人物の顔の存在が確認された場合は、処理をステップＦ５０２からＦ５０３に進める。
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2010114568.tif 000017