(57)【要約】【課題】  たとえ被写界に対する人物の大きさが小さい場合であっても、人物の表情を確度高く検出することができる技術を提供することを目的とする。【解決手段】  第１表示部および第２表示部と、時系列に連続して被写界を撮像した複数の撮像画像それぞれから主要被写体を検出する被写体検出部と、撮像画像から検出された主要被写体の画像領域を含む部分画像を抽出し、撮像画像を第１表示部に、部分画像を第２表示部に順次表示する制御部と、を備える。【選択図】    図１
2013201662.tif 000002
【特許請求の範囲】
【請求項１】
第１表示部および第２表示部と、
時系列に連続して被写界を撮像した複数の撮像画像それぞれから主要被写体を検出する被写体検出部と、
前記撮像画像から検出された前記主要被写体の画像領域を含む部分画像を抽出し、前記撮像画像を前記第１表示部に、前記部分画像を前記第２表示部に順次表示する制御部と、
を備えることを特徴とする画像再生装置。
【請求項２】
請求項１に記載の画像再生装置において、
前記制御部は、前記撮像画像における前記主要被写体の大きさが、所定の大きさ以下の場合、前記部分画像を前記第２表示部に表示することを特徴とする画像再生装置。
【請求項３】
請求項１または請求項２に記載の画像再生装置において、
前記第１表示部は、ユーザからの操作を受け付ける第１タッチパネルをさらに備え、
前記制御部は、前記主要被写体の大きさが前記所定の大きさ以下の場合、前記部分画像を前記第２表示部に表示させる表示釦を前記第１表示部に表示し、前記ユーザによる前記第１タッチパネルの前記表示釦操作に応じて、前記部分画像を前記第２表示部に表示する
ことを特徴とする画像再生装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の画像再生装置において、
前記制御部は、前記部分画像を表示する場合、前記第２表示部の電源を投入することを特徴とする画像再生装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の画像再生装置において、
前記制御部は、前記被写体検出部が前記主要被写体を複数検出した場合、前記主要被写体ごとに前記部分画像を抽出し、複数の前記主要被写体の前記部分画像を前記第２表示部に表示することを特徴とする画像再生装置。
【請求項６】
請求項５に記載の画像再生装置において、
前記複数の主要被写体の優先順位を示す参照データを記憶する記憶部を備え、
前記制御部は、前記参照データに基づいて、前記複数の主要被写体の部分画像を前記優先順位に応じた大きさで前記第２表示部に表示する
ことを特徴とする画像再生装置。
【請求項７】
請求項１ないし請求項６のいずれか１項に記載の画像再生装置において、
前記第２表示部は、前記ユーザからの操作を受け付ける第２タッチパネルをさらに備え、
前記制御部は、前記第２表示部に表示された前記部分画像の大きさを、前記ユーザによる前記第２タッチパネルの操作に応じて変更する
ことを特徴とする画像再生装置。
【請求項８】
請求項１ないし請求項７のいずれか１項に記載の画像再生装置において、
前記制御部は、前記部分画像における前記主要被写体と前記主要被写体以外の背景部分との画像領域の色成分が類似するか否かを判定し、前記色成分が類似する場合、前記背景部分の色成分を前記主要被写体の色成分と異なる色成分に変更して前記部分画像を前記第２表示部に表示することを特徴とする画像再生装置。
【請求項９】
時系列に連続して被写界を撮像し複数の撮像画像を生成する撮像部と、
請求項１ないし請求項８のいずれか１項に記載の画像再生装置と、
を備えることを特徴とする撮像装置。
【請求項１０】
請求項９に記載の撮像装置において、
前記主要被写体の表情を検出する表情検出部を備え、
前記制御部は、検出された前記主要被写体の表情が所望の表情か否かを判定し、前記判定結果に応じた前記部分画像の表示を行う
ことを特徴とする撮像装置。
【請求項１１】
請求項１０に記載の撮像装置において、
前記制御部は、前記検出された主要被写体の表情が所望の表情の場合、前記主要被写体の部分画像のうち前記主要被写体以外の背景部分の画像領域の色成分を前記主要被写体の画像領域の色成分と異なる色成分に変更して前記部分画像を前記第２表示部に表示することを特徴とする撮像装置。
【請求項１２】
請求項１０に記載の撮像装置において、
前記表情検出部は、前記主要被写体の表情が所望の表情に類似する度合いを算出し、
前記制御部は、前記主要被写体の部分画像を前記度合いに応じた大きさで前記第２表示部に表示する
ことを特徴とする撮像装置。
【請求項１３】
請求項１０ないし請求項１２のいずれか１項に記載の撮像装置において、
前記撮像画像は、構図確認用の画像であり、
前記制御部は、全てまたは所定の数以上の前記主要被写体の表情が前記所望の表情になった場合、前記撮像部に本撮像を撮像させることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像再生装置および撮像装置に関する。
【背景技術】
【０００２】
従来、笑顔等の所望の表情で人物を撮像するための技術が開発されている。
【０００３】
例えば、人物の笑顔を検出するごとに撮像して画像を生成保存するが、撮像時に眼つぶりした人物を検出した場合、目つぶりした人物の顔部分の画像を拡大表示し、眼つぶりが検出された画像を保存するか否かを判断させる技術がある（特許文献１等参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−６２７１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、山等を背景にして人物を撮像する場合、被写界に対する人物の大きさが相対的に小さくなることから、人物の表情が笑顔以外の表情であっても笑顔と誤検出してしまう場合がある。
【０００６】
上記従来技術が有する問題を鑑み、本発明の目的は、たとえ被写界に対する人物の大きさが小さい場合であっても、人物の表情を確度高く検出することができる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明を例示する画像再生装置の一の態様は、第１表示部および第２表示部と、時系列に連続して被写界を撮像した複数の撮像画像それぞれから主要被写体を検出する被写体検出部と、撮像画像から検出された主要被写体の画像領域を含む部分画像を抽出し、撮像画像を第１表示部に、部分画像を第２表示部に順次表示する制御部と、を備える。
【０００８】
また、制御部は、撮像画像における主要被写体の大きさが、所定の大きさ以下の場合、部分画像を第２表示部に表示してもよい。
【０００９】
また、第１表示部は、ユーザからの操作を受け付ける第１タッチパネルをさらに備え、制御部は、主要被写体の大きさが所定の大きさ以下の場合、部分画像を第２表示部に表示させる表示釦を第１表示部に表示し、ユーザによる第１タッチパネルの表示釦操作に応じて、部分画像を第２表示部に表示してもよい。
【００１０】
また、制御部は、部分画像を表示する場合、第２表示部の電源を投入してもよい。
【００１１】
また、制御部は、被写体検出部が主要被写体を複数検出した場合、主要被写体ごとに部分画像を抽出し、複数の主要被写体の部分画像を第２表示部に表示してもよい。
【００１２】
また、複数の主要被写体の優先順位を示す参照データを記憶する記憶部を備え、制御部は、参照データに基づいて、複数の主要被写体の部分画像を優先順位に応じた大きさで第２表示部に表示してもよい。
【００１３】
また、第２表示部は、ユーザからの操作を受け付ける第２タッチパネルをさらに備え、制御部は、第２表示部に表示された部分画像の大きさを、ユーザによる第２タッチパネルの操作に応じて変更してもよい。
【００１４】
また、制御部は、部分画像における主要被写体と主要被写体以外の背景部分との画像領域の色成分が類似するか否かを判定し、色成分が類似する場合、背景部分の色成分を主要被写体の色成分と異なる色成分に変更して部分画像を第２表示部に表示してもよい。
【００１５】
本発明を例示する撮像装置の一の態様は、時系列に連続して被写界を撮像し複数の撮像画像を生成する撮像部と、本発明の画像再生装置と、を備える。
【００１６】
また、主要被写体の表情を検出する表情検出部を備え、制御部は、検出された主要被写体の表情が所望の表情か否かを判定し、判定結果に応じた部分画像の表示を行ってもよい。
【００１７】
また、制御部は、検出された主要被写体の表情が所望の表情の場合、主要被写体の部分画像のうち主要被写体以外の背景部分の画像領域の色成分を主要被写体の画像領域の色成分と異なる色成分に変更して部分画像を第２表示部に表示してもよい。
【００１８】
また、表情検出部は、主要被写体の表情が所望の表情に類似する度合いを算出し、制御部は、主要被写体の部分画像を度合いに応じた大きさで第２表示部に表示してもよい。
【００１９】
また、撮像画像は、構図確認用の画像であり、制御部は、全てまたは所定の数以上の主要被写体の表情が所望の表情になった場合、撮像部に本撮像を撮像させてもよい。
【発明の効果】
【００２０】
本発明によれば、たとえ被写界に対する人物の大きさが小さい場合であっても、人物の表情を確度高く検出することができる。
【図面の簡単な説明】
【００２１】
【図１】一の実施形態のデジタルカメラの構成を示すブロック図
【図２】一の実施形態のデジタルカメラの第２モニタ１７を本体に格納した場合の外観を示す図
【図３】一の実施形態のデジタルカメラの第２モニタ１７を広げた場合の外観を示す図
【図４】一の実施形態のデジタルカメラによる撮像動作を示すフローチャート
【図５】一の実施形態における撮像対象の被写界の一例を示す図
【図６】デュアル表示モードにおけるスルー画像の表示例を示す図
【図７】ダイアログ表示の一例を示す図
【図８】分割表示の一例を示す図
【図９】分割表示の別例を示す図
【図１０】他の実施形態のデジタルカメラによる再生処理を示すフローチャート
【図１１】分割表示の変形例を示す図
【図１２】拡大表示の一例を示す図
【発明を実施するための形態】
【００２２】
《一の実施形態》
図１は、本発明の一の実施形態のデジタルカメラの構成を示すブロック図である。図２は、本実施形態のデジタルカメラを（ａ）正面から見た場合、（ｂ）真上から見た場合、（ｃ）背面から見た場合の外観をそれぞれ示す。
【００２３】
本実施形態のデジタルカメラは、撮像光学系１１、撮像素子１２、ＡＦＥ１３、画像処理部１４、メモリ１５、第１モニタ１６、第２モニタ１７、記録Ｉ／Ｆ１８、ＣＰＵ２０、操作部材２４、レリーズ釦２５、タッチパネル２６、バスから構成される。画像処理部１４、メモリ１５、第１モニタ１６、第２モニタ１７、記録Ｉ／Ｆ１８、ＣＰＵ２０は、バスを介して情報伝達可能にそれぞれ接続される。また、操作部材２４、レリーズ釦２５、タッチパネル２６は、それぞれＣＰＵ２０に接続される。
【００２４】
撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像光学系１１のレンズ位置は、レンズ駆動部（不図示）によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。
【００２５】
撮像素子１２は、撮像光学系１１を通過した光束によって結像される被写界を撮像するデバイスである。この撮像素子１２の出力はＡＦＥ１３に入力される。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤ等）であっても、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳ等）であってもよい。
【００２６】
また、撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２は、カラーの画像を取得できる。
【００２７】
ここで、デジタルカメラの撮影モードにおいて、撮像素子１２はレリーズ釦２５の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１２は、撮影待機時にも所定の時間間隔で構図確認用画像（スルー画像）を撮像する。このスルー画像のデータは、撮像素子１２から間引き読み出しで出力される。なお、スルー画像のデータは、第１モニタ１６や第２モニタ１７での画像表示や、ＣＰＵ２０による各種の演算処理等に使用される。
【００２８】
ＡＦＥ１３は、撮像素子１２の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１３は、相関二重サンプリング、画像信号のゲインの調整、画像信号のＡ／Ｄ変換を行う。ＡＦＥ１３の出力は、画像処理部１４に接続される。なお、本実施形態では、撮像素子１２とＡＦＥ１３とで撮像部を構成する。
【００２９】
画像処理部１４は、１フレーム分のデジタル画像信号に対して、各種画像処理（例えば、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整等）を施す。
【００３０】
メモリ１５は、デジタルカメラによって撮像された画像データや、ＣＰＵ２０によって実行される制御プログラム等を記憶する。また、メモリ１５は、画像処理部１４による画像処理の前工程や後工程で画像のデータを一時的に記憶する。メモリ１５には、不揮発性の半導体メモリ等を用いることができる。
【００３１】
第１モニタ１６および第２モニタ１７は、液晶モニタ等のモニタであり、ＣＰＵ２０の指示に応じて各種画像を表示する。なお、本実施形態では、図２および図３に示すように、第１モニタ１６は、デジタルカメラの筐体背面に設置され、第２モニタ１７は、筐体側面に設置されたＸ軸およびＹ軸方向に回転可能なヒンジ部２７に設置される。これにより、図２に示すように、第２モニタ１７がデジタルカメラ本体に格納される場合（以下、シングル表示モードという）、第１モニタ１６は、第２モニタ１７の背後に配置されるために、第２モニタ１７がメインモニタとして動作する。一方、図３に示すように、第２モニタ１７が広げられた場合（以下、デュアル表示モードという）、第１モニタ１６および第２モニタ１７の２つのモニタで本画像等を分割表示する。デュアル表示モードでは、第１モニタ１６がメインモニタとして動作する。
【００３２】
なお、本実施形態において、シングル表示モードとデュアル表示モードとの切り替えは、ＣＰＵ２０が、第２モニタ１７の開閉状態を検出することにより切り替えられるものとする。したがって、撮影モードでの撮像待機時において、ＣＰＵ２０は、シングル表示モードの場合には第２モニタ１７に、デュアル表示モードの場合には第１モニタ１６にスルー画像を動画表示させるものとする。
【００３３】
また、ＣＰＵ２０は、第２モニタ１７（シングル表示モード）や第１モニタ１６（デュアル表示モード）上のスルー画像に、撮影に必要となる各種情報を重畳表示するものとする。さらに、ＣＰＵ２０は、各種設定項目の入力を可能とするＧＵＩ(Graphical User Interface)形式の釦を第２モニタ１７（シングル表示モード）や第１モニタ１６（デュアル表示モード）上に表示させてもよい。ただし、ＣＰＵ２０は、デュアル表示モード時、第１モニタ１６にスルー画像を動画表示させ、第２モニタ１７に上記各種情報やＧＵＩ形式の釦を表示させてもよい。
【００３４】
また、本実施形態の第１モニタ１６および第２モニタ１７のＸ軸方向（水平走査方向）およびＹ軸方向（垂直走査方向）の表示範囲の大きさは、図３（ｂ）に示すように、それぞれＸｍピクセルおよびＹｍピクセルとする。なお、第１モニタ１６と第２モニタ１７との表示範囲の大きさは、互いに異なっていてもよい。
【００３５】
記録Ｉ／Ｆ１８には、記憶媒体１９を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１８は、コネクタに接続された記憶媒体１９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１９は、ハードディスクや、半導体メモリを内蔵したメモリカード等で構成される。なお、図１では記憶媒体１９の一例としてメモリカードを示す。
【００３６】
ＣＰＵ２０は、デジタルカメラの各部を統括的に制御するプロセッサである。ＣＰＵ２０は、制御プログラムを実行することにより、スルー画像のデータに基づいて、コントラスト検出方式による公知のＡＦ制御や、自動露出（ＡＥ）演算、オートホワイトバランス演算等を行う。また、ＣＰＵ２０は、撮影モードにおける各種の演算処理を行うとともに、設定画面での表示処理等も行う。さらに、本実施形態のＣＰＵ２０は、制御プログラムの実行により、顔検出部２１、画像サイズ調整部２２、表情判定部２３として動作する。
【００３７】
顔検出部２１は、被写体検出部として、スルー画像、静止画像、または動画の画像データに公知の顔検出処理を施して、被写界における主要被写体である人物の顔を検出する。例えば、顔検出部２１は、公知の特徴点抽出処理によって、眉，目，鼻，唇の各端点等の特徴点を画像から抽出し、これらの特徴点に基づいて人物の顔の画像領域（以下、顔領域）を検出する。あるいは、顔検出部２１は、予め用意された顔の画像データ等と判定対象の画像データとの相関を求め、相関係数が一定の閾値を超えるときに人物の顔領域と判定し検出してもよい。
【００３８】
画像サイズ調整部２２は、後述するように、顔検出部２１により検出された人物の顔領域を含む画像領域の顔画像（部分画像）を、第１モニタ１６や第２モニタ１７に表示する際の顔画像の大きさを調整する。また、画像サイズ調整部２２は、ユーザによる操作部材２４やタッチパネル２６の操作指示に応じて、第１モニタ１６や第２モニタ１７に表示される顔画像の大きさも変更できる。
【００３９】
表情検出部２３は、顔検出部２１により顔検出された人物の顔画像に、公知の表情検出のアルゴリズムを適用し、例えば、口の口角や目尻の下がり具合等に基づいて、上記人物の表情を検出して笑顔等の所望の表情となったか否かを判定する。
【００４０】
操作部材２４は、例えば、コマンドダイヤル、十字状のカーソルキー、決定釦等で構成される（図２、図３）。そして、操作部材２４はデジタルカメラの各種入力をユーザから受け付ける。例えば、操作部材２４は、デジタルカメラの動作モードの切替操作や、設定画面での入力操作等に用いられる。
【００４１】
レリーズ釦２５は、半押し操作による撮像前のＡＦ動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザから受け付ける。
【００４２】
タッチパネル２６は、パネル表面に接触したスタイラス（または指先等）の位置を検出し、検出した位置情報をＣＰＵ２０に出力することでユーザからの指示入力を受け付ける。なお、タッチパネル２６の構成は、静電容量式または感圧式のいずれでもよい。本実施形態のタッチパネル２６は、第１モニタ１６や第２モニタ１７と同形状の透明のパネルで構成され、第１モニタ１６および第２モニタ１７の表面全体に積層配置される。ユーザは、第１モニタ１６または第２モニタ１７に表示されたＧＵＩ形式の釦を視認しつつ、タッチパネル２６を介してＣＰＵ２０に指示入力する。
【００４３】
次に、図４のフローチャートを参照しつつ、本実施形態のデジタルカメラによる画像の撮像動作について説明する。なお、本実施形態のデジタルカメラは、撮影モードとして、単写モードと連写モードとを有する静止画モードおよび動画モード等を有するものとする。以下の説明では、撮影モードとして、単写モードの静止画モードに予め設定されているものとする。ただし、他のモードについても同様に動作し、説明を省略する。また、本実施形態では、図５に示すような主要被写体として４人の人物３１ａ〜３１ｄを含む被写界をデジタルカメラで撮像する場合について説明するが、それ以外の人数（１人も含む）の場合についても同様に動作する。
【００４４】
ＣＰＵ２０は、ユーザによる操作部材２４の電源釦操作により、電源投入指示を受け付け、デジタルカメラの電源を投入する。なお、本実施形態では、図３に示すように、第２モニタ１７は予め広げられたデュアル表示モードであるとする。ただし、上記電源投入時、第２モニタ１７の電源は投入されないものとする。これにより、デジタルカメラの消費電力を抑制することができる。電源投入後、ＣＰＵ２０は、デジタルカメラを初期化して、ステップＳ１０１からの処理を開始する。
【００４５】
ステップＳ１０１：ＣＰＵ２０は、撮像素子１２に、例えば、３０ｆｐｓや６０ｆｐｓ等のフレームレートで、図５に示す人物３１ａ〜３１ｄを含む被写界のスルー画像３０（撮像画像）の撮像を開始させる。ＣＰＵ２０は、ＡＦＥ１３および画像処理部１４で処理されたスルー画像３０を取得し、第１モニタ１６に表示する。ＣＰＵ２０の顔検出部２１は、スルー画像３０に公知の顔検出処理を施して、被写界における人物３１ａ〜３１ｄそれぞれの顔を検出する。ＣＰＵ２０は、例えば、図６に示すように、第１モニタ１６に人物３１ａ〜３１ｄそれぞれの顔領域に対応する顔枠を重畳表示する。なお、この顔枠の表示はなくてもよい。
【００４６】
ステップＳ１０２：ＣＰＵ２０は、ステップＳ１０１で顔検出された人物３１ａ〜３１ｄそれぞれの顔領域の大きさとスルー画像３０の大きさとを比較し、その比較結果に応じて、人物３１ａ〜３１ｄの顔画像を第２モニタ１７に拡大して表示するか否かを判定する。
【００４７】
具体的に、例えば、本実施形態のＣＰＵ２０は、第１モニタ１６上における人物３１ａ〜３１ｄの顔領域のＸ軸方向の大きさＸｆａ〜Ｘｆｄを求め、第１モニタ１６のＸ軸方向の大きさＸｍとの比率を算出する。ＣＰＵ２０は、人物３１ａ〜３１ｄ全員の比率が、例えば、０．２や１／（人数＋１）等の値で表される所定の比率（所定の大きさ）より大きいの場合、人物３１ａ〜３１ｄそれぞれの表情は、スルー画像３０に基づいて検出可能であると判定し、ステップＳ１０６（ＮＯ側）へ移行する。
【００４８】
一方、ＣＰＵ２０は、いずれかの比率が上記所定の比率以下の場合、スルー画像３０に基づいて人物３１ａ〜３１ｄの表情を検出することは困難であると判定する。ＣＰＵ２０は、人物３１ａ〜３１ｄの顔を第２モニタ１７で拡大表示し、人物３１ａ〜３１ｄの表情を検出するために、ステップＳ１０３（ＹＥＳ側）へ移行する。
【００４９】
ここで、上記所定の比率は、人物３１の人数、スルー画像３０や第１モニタ１６または第２モニタ１７の大きさ等に応じて適宜設定することが好ましい。
【００５０】
なお、ＣＰＵ２０は、いずれかの比率が上記所定の比率以下の場合、図７に示すように、ユーザに対して人物３１ａ〜３１ｄの顔を拡大表示するか否かを問い合わせるダイアログ３５（表示釦）を第１モニタ１６に表示してもよい。ＣＰＵ２０は、ユーザによるタッチパネル２６の操作に基づいて、拡大表示の指示を受け付けた場合、ステップＳ１０３（ＹＥＳ側）へ移行し、拡大表示の指示を受け付けなかった場合、ステップＳ１０６（ＮＯ側）へ移行するようにしてもよい。ただし、ダイアログ３５は、少なくとも人物３１ａ〜３１ｄそれぞれにはかからないように、第１モニタ１６に表示されることが好ましい。また、ダイアログ３５に代わりに、デジタルカメラは、顔拡大表示釦を操作部材２４として有してもよい。
【００５１】
ステップＳ１０３：ＣＰＵ２０は、人物３１ａ〜３１ｄそれぞれの顔を拡大して分割表示するために、第２モニタ１７の電源を投入する。なお、電源投入時、ＣＰＵ２０は、「人物それぞれの顔が、第２モニタに表示されます。」というメッセージを第１モニタ１６に表示させてもよい。
【００５２】
ステップＳ１０４：ＣＰＵ２０は、スルー画像３０から、人物３１ａ〜３１ｄそれぞれの顔領域を含む画像領域の画像データを顔画像として抽出し、メモリ１５等に一時的に記憶する。なお、ＣＰＵ２０は、人物３１ａ〜３１ｄそれぞれの顔が重ならないように顔画像を抽出することが好ましい。
【００５３】
ステップＳ１０５：ＣＰＵ２０の画像サイズ調整部２２は、図８に示すように、人物３１ａ〜３１ｄそれぞれの顔画像が、第２モニタ１７の表示範囲内で、例えば、最大で且つほぼ同じ大きさで分割表示されるように、各顔画像の大きさを調整する。画像サイズ調整部２２による調整は、顔画像の数および大きさ、第２モニタ１７の表示範囲の大きさ等に基づいて行われることが好ましい。ＣＰＵ２０は、画像サイズ調整部２２により人物３１ａ〜３１ｄごとに決められた大きさで顔画像を、図８に示すように分割表示する。なお、図８では、第２モニタ１７に拡大して分割表示された人物３１ａ〜３１ｄの顔画像に、顔枠を重畳表示するが、重畳表示しなくてもよい。また、人物３１ａ〜３１ｄの顔とともに、上半身等の一部も表示してもよい。
【００５４】
ステップＳ１０６：ＣＰＵ２０の表情検出部２３は、人物３１ａ〜３１ｄそれぞれの顔画像に公知の表情検出のアルゴリズムを適用して表情を検出する。
【００５５】
ステップＳ１０７：ＣＰＵ２０は、ステップＳ１０６で検出された人物３１ａ〜３１ｄ全員の表情が所望の表情であるか否かを判定する。ＣＰＵ２０は、人物３１ａ〜３１ｄ全員が所望の表情となった場合、ステップＳ１０９（ＹＥＳ側）へ移行する。一方、ＣＰＵ２０は、人物３１ａ〜３１ｄ全員が所望の表情でない場合、ステップＳ１０８（ＮＯ側）へ移行する。
【００５６】
なお、本実施形態における所望の表情とは笑顔とする。また、ＣＰＵ２０は、例えば、表情検出部２３によって検出された表情が、笑顔である人物３１の顔枠の色を変更するようにしてもよいし、図９（ａ）に示すように、笑顔である人物３１の顔領域以外の背景部分の画像領域の色を変更してもよい。あるいは、ＣＰＵ２０は、表情検出部２３によって求められた笑顔の度合い（例えば、口角の値や目尻の下がり具合等に基づいた値）に応じて、画像サイズ調整部２２に人物３１ａ〜３１ｄの顔画像の大きさを変更させ、図９（ｂ）に示すように第２モニタ１７に表示してもよい。ここで、図９（ｂ）は、笑顔の度合いが最も小さい人物３１ｄを最大に拡大して表示する場合の例を示す。
【００５７】
ステップＳ１０８：ＣＰＵ２０は、ユーザによるレリーズ釦２５の全押し操作による本画像の撮像指示を受け付けたか否かを判定する。ＣＰＵ２０は、撮像指示を受け付けた場合、ステップＳ１０９（ＹＥＳ側）へ移行する。一方、ＣＰＵ２０は、撮像指示を受け付けなかった場合、ステップＳ１０１（ＮＯ側）へ移行する。ＣＰＵ２０は、次のスルー画像を取得して、ステップＳ１０１〜ステップＳ１０７の処理を行う。これにより、人物３１ａ〜３１ｄ全員が必ずしも所望の表情となっていない場合であっても、確実に本画像を取得することができる。
【００５８】
なお、ＣＰＵ２０は、ユーザによるレリーズ釦２５の半押し操作を受け付けた場合、スルー画像３０のうち、人物３１ａ〜３１ｄの顔画像におけるコントラスト情報に基づいて、ＡＦ制御、ＡＥ演算、オートホワイトバランス演算等を行い、ステップＳ１０１（ＮＯ側）へ移行してもよい。
【００５９】
ステップＳ１０９：ＣＰＵ２０は、撮像素子１２に対して、単写モードの静止画モードで被写界を撮像する。なお、この撮像動作がステップＳ１０７における判定結果によるものである場合、ユーザによるレリーズ釦２５操作が省略されることから、手振れを防止することができる。また、撮像モードが動画モードの場合、ＣＰＵ２０は、動画の撮像の間、撮像画像である動画のフレームに対して、ステップＳ１０１〜ステップＳ１０７と同様の処理を施すことが好ましい。
【００６０】
ステップＳ１１０：画像処理部１４は、ＡＦＥ１３から出力されるデジタル画像信号に対して、各種画像処理を施す。ＣＰＵ２０は、画像処理された画像データを静止画像として、記憶媒体１９等に記録する。ＣＰＵ２０は、一連の処理を終了する。
【００６１】
このように、本実施形態では、ＣＰＵ２０が、撮像される人物３１の顔の大きさが被写界に比べて小さい場合でも、第２モニタ１７に拡大して分割表示することにより、人物の表情を確度高く検出でき所望の表情で撮像することができる。
【００６２】
また、第２モニタ１７に、人物３１ａ〜３１ｄそれぞれの顔画像を拡大表示することにより、全員の顔に合焦しているか否かを容易に視認することができる。
《他の実施形態》
本発明の他の実施形態に係るデジタルカメラは、図１に示す一の実施形態に係るデジタルカメラと同一である。したがって、本実施形態のデジタルカメラを構成する各構成要素について、同じ符号を付し詳細な説明は省略する。
【００６３】
本実施形態に係るデジタルカメラと一の実施形態に係るものとの相違点は、本画像として撮像した動画の再生処理についてである。すなわち、動画の再生時において、撮像された人物が被写界に比べて小さい場合、第２モニタ１７にその人物の顔画像を拡大して再生表示する。
【００６４】
そこで、図１０のフローチャートを参照しつつ、本実施形態のデジタルカメラによる動画の再生処理について説明する。なお、本実施形態では、図５に示すような主要被写体として４人の人物３１ａ〜３１ｄを含む被写界を撮像した動画を再生する場合について説明するが、それ以外の人数（１人も含む）の場合についても同様に動作する。
【００６５】
ＣＰＵ２０は、ユーザによる操作部材２４の電源釦操作により、電源投入指示を受け付け、デジタルカメラの電源を投入する。なお、本実施形態では、図３に示すように、第２モニタ１７は予め広げられたデュアル表示モードであるとする。ただし、上記電源投入時、第２モニタ１７の電源は投入されないものとする。電源投入後、ＣＰＵ２０は、デジタルカメラを初期化し、ユーザによる操作部材２４の操作に応じて、動画の再生モードの設定指示を受け付け設定する。そして、ＣＰＵ２０は、操作部材２４を介して、ユーザによる再生指示を受け付けると、ステップＳ２０１からの処理を開始する。
【００６６】
ステップＳ２０１：ＣＰＵ２０は、記憶媒体１９等に記憶された動画のデータを読み込む。ＣＰＵ２０は、図５に示す構図の最初のフレーム３０を第１モニタ１６に表示する。ＣＰＵ２０の顔検出部２１は、フレーム３０に公知の顔検出処理を施して、被写界における人物３１ａ〜３１ｄそれぞれの顔を検出する。なお、ＣＰＵ２０は、再生時、図６に示すような顔枠を表示しない方が好ましい。
【００６７】
ステップＳ２０２：ＣＰＵ２０は、一の実施形態のステップＳ１０２と同様に、ステップＳ２０１で顔検出された人物３１ａ〜３１ｄそれぞれの顔領域の大きさとフレーム３０の大きさとを比較し、その比較結果に応じて、人物３１ａ〜３１ｄの顔画像を第２モニタ１７に拡大して表示するか否かを判定する。
【００６８】
例えば、本実施形態のＣＰＵ２０は、第１モニタ１６上における人物３１ａ〜３１ｄの顔領域のＸ軸方向の大きさＸｆａ〜Ｘｆｄを求め、第１モニタ１６のＸ軸方向の大きさＸｍとの比率を算出する。ＣＰＵ２０は、人物３１ａ〜３１ｄ全員の比率が、例えば、０．２や１／（人数＋１）等の値で表される所定の比率より大きいの場合、人物３１ａ〜３１ｄそれぞれの表情は、フレーム３０に基づいて検出可能であると判定し、ステップＳ２０６（ＮＯ側）へ移行する。
【００６９】
一方、ＣＰＵ２０は、いずれかの比率が上記所定の比率以下の場合、フレーム３０に基づいて人物３１ａ〜３１ｄの表情を検出することは困難であると判定する。ＣＰＵ２０は、人物３１ａ〜３１ｄの顔を第２モニタ１７で拡大表示し、人物３１ａ〜３１ｄの表情を視認するために、ステップＳ２０３（ＹＥＳ側）へ移行する。
【００７０】
なお、ＣＰＵ２０は、いずれかの比率が上記所定の比率以下の場合、図７に示すように、ユーザに対して人物３１ａ〜３１ｄの顔を拡大表示するか否かを問い合わせるダイアログ３５を第１モニタ１６に表示してもよい。ＣＰＵ２０は、ユーザによるタッチパネル２６の操作に基づいて、拡大表示の指示を受け付けた場合、ステップＳ２０３（ＹＥＳ側）へ移行し、拡大表示の指示を受け付けなかった場合、ステップＳ２０６（ＮＯ側）へ移行するようにしてもよい。ただし、ダイアログ３５は、少なくとも人物３１ａ〜３１ｄそれぞれにはかからないように、第１モニタ１６に表示されることが好ましい。また、ダイアログ３５に代わりに、デジタルカメラは、顔拡大表示釦を操作部材２４として有してもよい。
【００７１】
ステップＳ２０３：ＣＰＵ２０は、人物３１ａ〜３１ｄそれぞれの顔を拡大して分割表示するために、第２モニタ１７の電源を投入する。
【００７２】
ステップＳ２０４：ＣＰＵ２０は、一の実施形態のステップＳ１０４と同様に、フレーム３０から、人物３１ａ〜３１ｄそれぞれの顔画像を抽出し、メモリ１５等に一時的に記憶する。
【００７３】
ステップＳ２０５：ＣＰＵ２０の画像サイズ調整部２２は、一の実施形態のステップＳ１０５と同様に、人物３１ａ〜３１ｄの顔画像が、第２モニタ１７の表示範囲内で、例えば、最大で且つほぼ同じ大きさで分割表示されるように、各顔画像の大きさを調整する。ＣＰＵ２０は、画像サイズ調整部２２により人物３１ａ〜３１ｄごとに決められた大きさで顔画像を、図８に示すように分割表示する。なお、本実施形態では、第２モニタ１７に拡大して分割表示された人物３１ａ〜３１ｄの顔画像に、顔枠を重畳表示しない方が好ましい。
【００７４】
また、ＣＰＵ２０は、表情検出部２３に、人物３１ａ〜３１ｄそれぞれの顔画像に対して公知の表情検出のアルゴリズムを適用し表情を検出してもよい。この場合、ＣＰＵ２０は、例えば、表情検出部２３によって検出された表情が、笑顔である人物３１の顔領域に対応し色付された顔枠を重畳表示したり、図９（ａ）に示すように、笑顔である人物３１の顔領域以外の背景部分の画像領域の色を変更したりすることが好ましい。あるいは、ＣＰＵ２０は、表情検出部２３によって求められた笑顔の度合いに応じて、画像サイズ調整部２２に人物３１ａ〜３１ｄの顔画像の大きさを変更させ、図９（ｂ）に示すように第２モニタ１７に表示してもよい。
【００７５】
ステップＳ２０６：ＣＰＵ２０は、操作部材２４を介して、ユーザによる動画の再生終了指示を受け付けたか否かを判定する。ＣＰＵ２０は、再生終了指示を受け付けた場合（ＹＥＳ側）、一連の再生処理を終了する。一方、ＣＰＵ２０は、再生終了指示を受け付けていない場合、ステップＳ２０１（ＮＯ側）へ移行する。ＣＰＵ２０は、次のフレームを取得して、ステップＳ２０１〜ステップＳ２０５の処理を行う。
【００７６】
このように、本実施形態では、ＣＰＵ２０が、撮像した人物３１の顔の大きさが被写界に比べて小さい場合でも、第２モニタ１７に拡大して分割表示することにより、人物の表情を確度高く検出することができる。
《実施形態の補足事項》
（１）上記実施形態では、顔検出部２１、画像サイズ調整部２２、表情検出部２３の各処理を、ＣＰＵ２０がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現してもよい。
【００７７】
（２）本発明の画像再生装置は、上記実施形態のデジタルカメラの例に限定されない。例えば、画像をコンピュータに読み込ませ、コンピュータに画像再生処理のプログラムを実行させることにより、コンピュータを本発明の画像再生装置として機能させてもよい。
【００７８】
（３）上記実施形態では、撮像開始時および再生開始時において、第２モニタ１７の電源は投入されないとしたが、本発明はこれに限定されず、電源が投入されてもよい。
【００７９】
（４）上記実施形態では、主要被写体として、人物としたが、本発明はこれに限定されず、犬や猫等のペット等を主要被写体としてもよい。
【００８０】
（５）上記実施形態では、デュアル表示モードによる撮像および再生において、メインモニタの第１モニタ１６に被写界を撮像したスルー画像や動画を表示し、サブモニタの第２モニタ１７に人物３１ａ〜３１ｄの顔画像を拡大して分割表示したが、本発明はこれに限定されない。例えば、デュアル表示モードにおいて、第２モニタ１７をメインモニタとし、第１モニタ１６をサブモニタとして動作させてもよい。すなわち、第２モニタ１７に被写界を撮像したスルー画像や動画を表示し、第１モニタ１６に人物３１ａ〜３１ｄの顔画像を拡大して分割表示してもよい。なお、この場合、第１モニタ１６の電源は、人物３１の顔画像を拡大して分割表示するまで投入されないようにすることが好ましい。
【００８１】
（６）上記実施形態では、スルー画像やフレームから抽出された顔画像をそのまま第２モニタ１７に拡大して分割表示したが、本発明はこれに限定されない。例えば、図１１に示すように、例えば、茶色等の建物の壁等を背景にして人物３１ａ〜３１ｄを撮像する場合で、人物３１ｃが日焼け等している場合、たとえ人物３１ｃを第２モニタ１７に拡大表示しても、人物３１ｃの顔と背景との色が類似するために、人物３１ｃの顔およびその表情を視認することが困難となる。
【００８２】
これを回避するために、ＣＰＵ２０は、ステップＳ１０５またはステップＳ２０５において、人物３１ｃの顔画像における顔領域と背景部分の画像領域との色成分（ＲＧＢやＹＣｒＣｂ等）を抽出する。ＣＰＵ２０は、抽出した顔領域と背景部分の画像領域との色成分に基づいて、色が互いに類似するか否かを判定する。ＣＰＵ２０は、色が類似する場合、図１１に示すように、背景部分の色成分を人物３１ｃの顔領域の色成分と異なる、例えば、反対色や赤色やピンク色等の色成分に変更し、第２モニタ１７に人物３１ｃの顔画像を拡大表示する。これにより、たとえ人物の顔と背景とが同じ色を有していても、人物の顔および表情を容易に視認することができる。
【００８３】
（７）上記実施形態では、第２モニタ１７に、人物３１ａ〜３１ｄの顔画像を互いに同じ大きさで分割表示させたり、笑顔の度合いに応じた大きさで表示させたりしたが、本発明はこれに限定されない。例えば、メモリ１５（記憶部）に予め人物３１ａ〜３１ｄの顔に関する特徴を示すデータ（例えば、公知の特徴点抽出処理によって抽出された眉，目，鼻，唇の各端点等の特徴点）や優先順位等の被写体情報（参照データ）が記憶され、ＣＰＵ２０は、その被写体情報の優先順位を参照して、画像サイズ調整部２２に人物３１ａ〜３１ｄの顔画像を上記優先順位に応じた大きさに調整させ、第２モニタ１７に表示してもよい。
【００８４】
また、ＣＰＵ２０は、ユーザによるタッチパネル２６操作に応じて、画像サイズ調整部２２に人物３１ａ〜３１ｄの顔画像の大きさを変更させ、第２モニタ１７に分割表示させてもよい。例えば、図１２（ａ）に示すように、ユーザが人物３１ａの顔画像上のタッチパネル２６で、矢印４０のように指を動作させる。ＣＰＵ２０は、その動作に応じたタッチパネル２６からの制御信号に基づいて、図１２（ｂ）に示すように、画像サイズ調整部２２に人物３１ａの顔画像を大きくし、人物３１ｂ〜３１ｄの顔画像を小さくするように変更をさせて、第２モニタ１７に表示する。
【００８５】
（８）上記実施形態では、人物３１ａ〜３１ｄの顔は互いに重なっていないとしたが、本発明はこれに限定されず、人物の顔が重なっている場合にも適用することができる。また、顔検出部２０が、人物３１の顔が重なっていることを検出した場合、ＣＰＵ２０は、第１モニタ１６や第２モニタ１７に、「顔が重なっています。重ならないように並んで下さい。」等とメッセージを表示して、ユーザに指示してもよい。
【００８６】
（９）上記一の実施形態では、ステップＳ１０７において、ＣＰＵ２０が、人物３１ａ〜３１ｄ全員が所望の表情の表情になったか否かを判定したが、本発明はこれに限定されず、所定の人数以上でもよい。そして、所定の人数は、人物３１の人数等に応じて適宜決定されることが好ましい。
【００８７】
（１０）上記他の実施形態では、主要被写体である人物３１ａ〜３１ｄを顔検出部２１が検出したが、本発明はこれに限定されず、撮像された人物３１ａ〜３１ｄおよびそれに対応する領域等の情報が、メタデータとして画像データに付加され、ＣＰＵ２０が、その情報のメタデータを読み込んで取得し、顔検出部２１による検出結果の代わりに用いてもよい。
【００８８】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００８９】
１１…撮像光学系、１２…撮像素子、１３…ＡＦＥ、１４…画像処理部、１５…メモリ、１６…第１モニタ、１７…第２モニタ、１８…記録Ｉ／Ｆ、１９…記憶媒体、２０…ＣＰＵ、２１…顔検出部、２２…画像サイズ調整部、２３…表情検出部、２４…操作部材、２５…レリーズ釦、２６…タッチパネル、２７…ヒンジ部
【図１】
2013201662.tif 000003
【図２】
2013201662.tif 000004
【図３】
2013201662.tif 000005
【図４】
2013201662.tif 000006
【図５】
2013201662.tif 000007
【図６】
2013201662.tif 000008
【図７】
2013201662.tif 000009
【図８】
2013201662.tif 000010
【図９】
2013201662.tif 000011
【図１０】
2013201662.tif 000012
【図１１】
2013201662.tif 000013
【図１２】
2013201662.tif 000014