(57)【要約】【課題】ユーザが注視した対象領域を撮影に反映することができる撮像装置、撮像方法およびプログラムを提供する。【解決手段】撮像装置１は、被写体を撮像し、該被写体の画像データを撮像する撮像部１０と、撮像部１０が生成した画像データに対応する画像を被写体に向けて表示可能な表示部３１と、画像内における被写体の顔を検出する顔検出部１６１と、顔検出部１６１が検出した顔における瞳の視線を検出する視線検出部１６２と、視線検出部１６２が検出した視線に基づいて、被写体が画像内に写る被写体において注視する注視部分を特定する注視部分特定部１６６と、注視部分特定部１６６が特定した注視部分に基づいて、撮像部１０の撮影を制御する処理制御部１６７と、を備える。【選択図】図３
2017152899.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し、該被写体の画像データを撮像する撮像部と、
前記撮像部が生成した前記画像データに対応する画像を前記被写体に向けて表示可能な表示部と、
前記画像内における前記被写体の顔を検出する顔検出部と、
前記顔検出部が検出した前記顔の視線を検出する視線検出部と、
前記視線検出部が検出した前記視線に基づいて、前記被写体が前記表示部によって表示される前記画像内に写る前記被写体において注視する注視部分を特定する注視部分特定部と、
前記注視部分特定部が特定した前記注視部分に基づいて、前記撮像部の処理を制御する処理制御部と、
を備えたことを特徴とする表示装置。
【請求項２】
前記顔検出部は、前記撮像部が生成した時間的に連続する２つの前記画像データに基づいて、前記顔の角度を検出し、
前記注視部分特定部は、前記顔検出部が検出した前記角度と前記視線検出部が検出した前記視線とに基づいて、前記注視部分を特定することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記注視部分特定部は、前記視線検出部が検出した前記視線の方向にあり、時間的に連続する複数の前記画像データ間において前記画像内に写る前記被写体が動かした部位を前記注視部分として追加して特定することを特徴とする請求項１または２に記載の表示装置。
【請求項４】
前記画像内における前記顔の大きさと前記撮像部から前記被写体までの距離とに基づいて、前記視線検出部が検出した前記視線の信頼度を算出する信頼度算出部をさらに備え、
前記処理制御部は、前記撮像部が生成した前記画像データに、前記被写体に関する被写体情報、前記注視部分特定部が特定した前記注視部分に関する注視部分情報および前記信頼度算出部が算出した前記信頼度を対応付けて記録することを特徴とする請求項１〜３のいずれか一つに記載の表示装置。
【請求項５】
前記表示部は、当該撮像装置の本体部に対して、当該撮像装置の背面側から当該撮像装置の前面側に向けて回動可能に設けられていることを特徴とする請求項１〜４のいずれか一つに記載の表示装置。
【請求項６】
前記処理制御部は、前記注視部分特定部が前記被写体の前記注視部分を髪と特定した場合、前記撮像部の撮影による露出を下げて前記撮像部に撮像させ、前記注視部分特定部が前記被写体の前記注視部分を口元と特定とした場合、前記撮像部の撮影による露出を上げて前記撮像部に撮像させることを特徴とする請求項１〜５のいずれか一つに記載の表示装置。
【請求項７】
前記撮像部が生成した前記画像データに対して、前記注視部分特定部が特定した前記注視部分に基づいて、前記画像データに画像処理を行って処理画像データを生成する画像処理部と、
前記画像処理部が生成した前記処理画像データに対応する処理画像を前記表示部に表示させる表示制御部と、
をさらに備え、
前記撮像部は、前記被写体を連続的に撮像し、時間的に連続する前記画像データを生成可能であり、
前記画像処理部は、前記撮像部が連続的に生成した前記画像データに対して前記画像処理を行って前記処理画像データを順次生成し、
前記表示制御部は、前記画像処理部が生成した前記画像データを前記表示部に順次表示させることを特徴とする請求項１〜６のいずれか一つに記載の表示装置。
【請求項８】
前記視線検出部が検出した前記視線が所定時間同じ方向を向いているか否かを判定する判定部をさらに備え、
前記画像処理部は、前記判定部によって前記視線が前記所定時間同じ方向を向いていると判定された場合、前記画像処理の強度を強くして前記処理画像データを生成することを特徴とする請求項７に記載の表示装置。
【請求項９】
被写体を撮像し、該被写体の画像データを撮像する撮像部と、前記撮像部が生成した前記画像データに対応する画像を前記被写体に向けて表示可能な表示部と、を備えた撮像装置が実行する表示方法であって、
前記画像内における前記被写体の顔を検出する顔検出ステップと、
前記顔検出ステップにおいて検出した前記顔の視線を検出する視線検出ステップと、
前記視線検出ステップにおいて検出した前記視線に基づいて、前記被写体が前記表示部によって表示される前記画像内に写る前記被写体において注視する注視部分を特定する注視部分特定ステップと、
前記注視部分特定ステップにおいて特定した前記注視部分に基づいて、前記撮像部の処理を制御する処理制御ステップと、
を含むことを特徴とする表示方法。
【請求項１０】
被写体を撮像し、該被写体の画像データを撮像する撮像部と、前記撮像部が生成した前記画像データに対応する画像を前記被写体に向けて表示可能な表示部と、を備えた表示装置に、
前記画像内における前記被写体の顔を検出する顔検出ステップと、
前記顔検出ステップにおいて検出した前記顔の視線を検出する視線検出ステップと、
前記視線検出ステップにおいて検出した前記視線に基づいて、前記被写体が前記表示部によって表示される前記画像内に写る前記被写体において注視する注視部分を特定する注視部分特定ステップと、
前記注視部分特定ステップにおいて特定した前記注視部分に基づいて、前記撮像部の処理を制御する処理制御ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像して該被写体の画像データに対応する画像を表示する表示装置、表示方法およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置において、車両内に乗車するユーザが注目している車外の対象物を自動的に撮影することができる技術が知られている（特許文献１参照）。この技術では、車両内に設けられ撮像装置によって撮像された画像からユーザの視線の方向を検出し、この視線の方向の対象領域を撮像する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３２９１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１では、ユーザが注視した対象領域の画像を集めているに過ぎず、撮影に役立つものではなかった。このため、ユーザが注視した対象領域を撮影に反映することができる技術が望まれていた。
【０００５】
本発明は、上記に鑑みてなされたものであって、ユーザが注視した対象領域を撮影に反映することができる表示装置、表示方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る表示装置は、被写体を撮像し、該被写体の画像データを撮像する撮像部と、前記撮像部が生成した前記画像データに対応する画像を前記被写体に向けて表示可能な表示部と、前記画像内における前記被写体の顔を検出する顔検出部と、前記顔検出部が検出した前記顔の視線を検出する視線検出部と、前記視線検出部が検出した前記視線に基づいて、前記被写体が前記表示部によって表示される前記画像内に写る前記被写体において注視する注視部分を特定する注視部分特定部と、前記注視部分特定部が特定した前記注視部分に基づいて、前記撮像部の撮影を制御する処理制御部と、を備えたことを特徴とする。
【０００７】
また、本発明に係る表示方法は、被写体を撮像し、該被写体の画像データを撮像する撮像部と、前記撮像部が生成した前記画像データに対応する画像を前記被写体に向けて表示可能な表示部と、を備えた撮像装置が実行する撮像方法であって、前記画像内における前記被写体の顔を検出する顔検出ステップと、前記顔検出ステップにおいて検出した前記顔の視線を検出する視線検出ステップと、前記視線検出ステップにおいて検出した前記視線に基づいて、前記被写体が前記表示部によって表示される前記画像内に写る前記被写体において注視する注視部分を特定する注視部分特定ステップと、前記注視部分特定ステップにおいて特定した前記注視部分に基づいて、前記撮像部の撮影を制御する撮像制御ステップと、を含むことを特徴とする。
【０００８】
また、本発明に係るプログラムは、被写体を撮像し、該被写体の画像データを撮像する撮像部と、前記撮像部が生成した前記画像データに対応する画像を前記被写体に向けて表示可能な表示部と、を備えた撮像装置に、前記画像内における前記被写体の顔を検出する顔検出ステップと、前記顔検出ステップにおいて検出した前記顔の視線を検出する視線検出ステップと、前記視線検出ステップにおいて検出した前記視線に基づいて、前記被写体が前記表示部によって表示される前記画像内に写る前記被写体において注視する注視部分を特定する注視部分特定ステップと、前記注視部分特定ステップにおいて特定した前記注視部分に基づいて、前記撮像部の撮影を制御する撮像制御ステップと、を実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ユーザが注視した対象領域を撮影に反映することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施の形態１に係る撮像装置の撮影者に面する側の構成を示す斜視図である。
【図２】図２は、本発明の実施の形態１に係る撮像装置の被写体に面する側の構成を示す斜視図である。
【図３】図３は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。
【図４】図４は、本発明の実施の形態１に係る撮像装置の記録部における注視部分情報記録部が記録する注視部分情報の一例を示す図である。
【図５】図５は、本発明の実施の形態１に係る撮像装置が実行する処理の概要を示すフローチャートである。
【図６】図６は、本発明の実施の形態１に係る撮像装置を用いてユーザが自分撮り撮影を行っている状況下を示す図である。
【図７】図７は、図６に示す自分撮り撮影処理の概要を示すフローチャートである。
【図８】図８は、本発明の実施の形態１に係る撮像装置の判定部による目線信頼性の判定方法を模式的に示す図である。
【図９】図９は、本発明の実施の形態１に係る撮像装置の判定部による目線信頼性の判定方法を模式的に示す図である。
【図１０】図１０は、図８に示す状況下における被写体の瞳の位置を模式的に示す図である。
【図１１】図１１は、図９に示す状況下における被写体の瞳の位置を模式的に示す図である。
【図１２】図１２は、図７に示す注視部分考慮撮影処理の概要を示すフローチャートである。
【図１３】図１３は、本発明の実施の形態１に係る撮像装置の処理制御部が記録媒体に記録させる画像ファイルの一例を模式的に示す図である。
【図１４】図１４は、図５に示す通常撮影処理の概要を示すフローチャートである。
【図１５】図１５は、図５に示す再生処理の概要を示すフローチャートである。
【図１６】図１６は、図１５に示す注視部分考慮画像再生処理の概要を示すフローチャートである。
【図１７】図１７は、本発明の実施の形態２に係る撮像装置の機能構成を示すブロック図である。
【図１８】図１８は、本発明の実施の形態２に係る撮像装置の記録部における注視部分情報記録部が記録する注視部分情報の一例を示す図である。
【図１９】図１９は、本発明の実施の形態２に係る撮像装置が実行する自分撮り撮影処理の概要を示すフローチャートである。
【図２０】図２０は、本発明の実施の形態２に係る撮像装置の視線判定部による顔角度の信頼性の判定方法を模式的に説明する図である。
【図２１Ａ】図２１Ａは、本発明の実施の形態２に係る視線判定部が判定する画像の一例を模式的に示す図である。
【図２１Ｂ】図２１Ｂは、本発明の実施の形態２に係る視線判定部が判定する画像の一例を模式的に示す図である。
【図２１Ｃ】図２１Ｃは、本発明の実施の形態２に係る視線判定部が判定する画像の一例を模式的に示す図である。
【図２１Ｄ】図２１Ｄは、本発明の実施の形態２に係る視線判定部が判定する画像の一例を模式的に示す図である。
【図２１Ｅ】図２１Ｅは、本発明の実施の形態２に係る視線判定部が判定する画像の一例を模式的に示す図である。
【図２１Ｆ】図２１Ｆは、本発明の実施の形態２に係る視線判定部が判定する画像の一例を模式的に示す図である。
【図２１Ｇ】図２１Ｇは、本発明の実施の形態２に係る視線判定部が判定する画像の一例を模式的に示す図である。
【図２１Ｈ】図２１Ｈは、本発明の実施の形態２に係る視線判定部が判定する画像の一例を模式的に示す図である。
【図２１Ｉ】図２１Ｉは、本発明の実施の形態２に係る視線判定部が判定する画像の一例を模式的に示す図である。
【図２２】図２２は、本発明の実施の形態３に係る撮像装置が実行する自分撮り撮影処理の概要を示すフローチャートである。
【図２３】図２３は、本発明の実施の形態３に係る撮像装置の表示部が表示する画像の一例を示す図である。
【図２４】図２４は、本発明の実施の形態３に係る撮像装置の表示部が表示する画像の一例を示す図である。
【図２５】図２５は、本発明の実施の形態４に係る撮像システムの概略構成を示す模式図である。
【図２６】図２６は、本発明の実施の形態４に係る画像処理装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下においては、表示装置として、撮像機能を有するとともに、この撮像機能によって撮像された画像データに対応する画像を被写体側（ユーザ側）に向けて表示可能な表示部（セルフィー機能）を有する撮像装置を例に説明する。もちろん、ユーザ側に撮像機能を有するとともに、この撮像機能によって撮像された画像データに対応する画像をユーザ側に表示可能な表示ディスプレイを有する携帯電話や電子機器等であっても、本発明を適用することができる。また、以下の実施の形態により本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付して説明する。
【００１２】
（実施の形態１）
〔撮像装置の構成〕
図１は、本発明の実施の形態１に係る撮像装置の撮影者に面する側（背面側）の構成を示す斜視図である。図２は、本発明の実施の形態１に係る撮像装置の被写体に面する側（前面側）の構成を示す斜視図である。図３は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。なお、図１および図２において、撮像装置１の幅方向をＸ軸、撮像装置１の高さ方向をＹ軸、撮像装置１の光軸Ｌ１方向をＺ軸として説明する。
【００１３】
図１〜図３に示す撮像装置１（表示装置）は、被写体を撮像し、被写体の画像データを生成する本体部２と、本体部２に対して撮影者側（背面側）から被写体側（前面側）に向けて回動可能に設けられ、本体部２が生成した画像データに対応する画像を表示可能な表示機構３と、を備える。なお、本体部２および表示機構３は、有線または無線によって双方光に通信可能に接続される。即ち、本体部２および表示機構３は、それぞれ別対に構成されてもよい。
【００１４】
〔本体部の構成〕
まず、本体部２の構成について説明する。本体部２は、撮像部１０と、入力部１１と、記録部１２と、記録媒体１３と、回転判定部１４と、通信部１５と、制御部１６と、を備える。
【００１５】
撮像部１０は、制御部１６の制御のもと、所定のフレームレート（例えば３０ｆｐｓまたは６０ｆｐｓ）で被写体を連続的に撮像して、時間的に連続する複数の画像データを生成する。撮像部１０は、少なくとも、複数のレンズから構成され、被写体を結像する光学系１０１と、絞り１０２と、シャッタ１０３と、光学系１０１が結像した被写体像を受光して光電変換を行うことによって画像データを生成するＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の撮像素子１０４と、光学系１０１の現在の画角を検出する画角検出部１０５と、を有する。
【００１６】
入力部１１は、撮像装置１に関する各種の動作を指示する指示信号の入力を受け付ける。入力部１１は、撮像装置１の電源状態をオン状態またはオフ状態に切り替える電源スイッチ、撮像装置１に撮影を指示するレリーズ信号の入力を受け付けるレリーズスイッチ等を用いて構成される。
【００１７】
記録部１２は、制御部１６を介して入力される画像データ、撮像装置１の処理中の情報、撮像装置１を動作させるための各種プログラムや本実施の形態１に係るプログラムおよびプログラムの実行中に使用される各種データ等を記録する。記録部１２は、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）およびＦｌａｓｈメモリ等を用いて構成される。また、記録部１２は、注視部分情報を記録する注視部分情報記録部１２１を有する。
【００１８】
図４は、注視部分情報記録部１２１が記録する注視部分情報の一例を示す図である。図４に示す注視部分テーブルＴ１には、ユーザや被写体が注意した注視部分と対象情報とを対応付けられている。例えば、注視部分テーブルＴ１には、注視部分が口元の場合、対象情報に、無精ひげ、およびほうれい線が記載されている。
【００１９】
図３に戻り、本体部２の構成の説明を続ける。
記録媒体１３は、制御部１６を介して入力される画像データを記録する。記録媒体１３は、本体部２の外部から装着されるメモリカード等を用いて構成され、図示しないメモリＩ／Ｆを介して本体部２に着脱自在に装着される。記録媒体１３は、後述する制御部１６によって処理が施された画像データや動画データが書き込まれる。また、記録媒体１３は、制御部１６によって記録された画像データまたは動画データが読み出される。
【００２０】
回転判定部１４は、表示機構３の回転状態を判定し、この判定結果を制御部１６へ出力する。具体的には、回転判定部１４は、本体部２に対して表示機構３の表示部３１の表示領域が前面側に回動し、表示部３１の表示領域が前面側（被写体側）に向いているか否かを判定し、この判定結果を制御部１６へ出力する。回転判定部１４は、接触センサやプッシュセンサ等を用いて実現される。
【００２１】
通信部１５は、制御部１６の制御のもと、所定の通信規格に従って、画像データを含む各種情報を送信する。通信部１５は、制御部１６から入力される画像データを所定のフォーマットに変換して外部へ送信する送信モジュール等を用いて構成される。なお、通信部１５は、Ｗｉ−Ｆｉ（登録商標）やブルートゥース（登録商標）の通信規格に従って通信可能な送信モジュールを用いて構成してもよい。
【００２２】
制御部１６は、撮像装置１を構成する各部に対応する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。制御部１６は、ＣＰＵ（Central  Processing  Unit）等を用いて構成される。
【００２３】
ここで、制御部１６の詳細な構成について説明する。制御部１６は、顔検出部１６１と、視線検出部１６２と、画像処理部１６３と、信頼度算出部１６４と、判定部１６５と、注視部分特定部１６６と、処理制御部１６７と、表示制御部１６８と、を有する。
【００２４】
顔検出部１６１は、撮像部１０が生成した画像データに対応する画像内の被写体の顔を検出する。具体的には、顔検出部１６１は、撮像部１０が生成した画像データに対応する画像に含まれる人物の顔をパターンマッチングによって検出する。たとえば、顔検出部１６１は、パターンマッチングを用いて画像中の顔の位置を検出後、目、鼻および口等の顔の特徴点の位置を検出することによって、顔の位置、顔の大きさ（領域）、顔の向き、顔の角度（傾き）および顔の表情（笑顔等）を検出する。具体的には、顔検出部１６１は、撮像部１０が生成した時間的に連続する２つの画像データに対して、パターンマッチングを用いて画像中の顔の位置を検出後、目、鼻および口等の顔の特徴点の位置を検出することによって顔の角度を検出する。なお、顔検出部１６１は、人物の顔だけでなく、犬や猫等の動物の顔を検出してもよい。さらに、顔検出部１６１は、パターンマッチング以外の周知技術を用いて人物の顔を検出してもよい。
【００２５】
視線検出部１６２は、撮像部１０、表示部３１が表示する画像内における顔および表示部３１の各々の位置関係に従って、顔検出部１６１が検出した被写体の顔における瞳の視線（向きや目線）を検出する。具体的には、視線検出部１６２は、顔検出部１６１が検出した被写体における顔の目（目領域）に対して、所定の処理、たとえばグレースケール処理を行った後に、２値化処理を行うことによって、白目部分と瞳（瞳領域）とをそれぞれ検出し、この瞳の位置を検出することによって、瞳の視線や位置を検出する。なお、視線検出部１６２は、この方法以外にも、周知の技術を用いて被写体における顔の視線を検出してもよい。
【００２６】
画像処理部１６３は、撮像部１０が生成した画像データに対して、画像処理を行って処理画像データを生成する。ここで、画像処理としては、少なくともＡ／Ｄ変換処理、オプティカルブラック減算処理、ホワイトバランス調整処理、撮像部１０の撮像素子がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。さらに画像処理部１６３は、画像データに対して、ソフトフォーカス処理、美白処理、コントラスト変更処理および彩度上昇処理等を含む美顔処理を行う。
【００２７】
信頼度算出部１６４は、表示部３１が表示する画像内における顔の大きさと撮像部１０から被写体までの距離とに基づいて、視線検出部１６２が検出した瞳の視線の信頼度を算出する。
【００２８】
判定部１６５は、信頼度算出部１６４が算出した信頼度が所定の閾値より大きいか否かを判定することによって、信頼度算出部１６４が算出した信頼度があるか否かを判定する。
【００２９】
注視部分特定部１６６は、撮像部１０、表示部３１が表示する画像内における顔および表示部３１の各々の位置関係に従って、視線検出部１６２が検出した視線きから被写体が表示部３１によって表示される画像内に写る被写体において注視する注視部分を特定する。ここで、注視部分としては、例えば目、まゆ、ひげ、髪、口元、耳および鼻等の顔の主要パーツ以外にホクロ、シミおよびエクボも含まれる。
【００３０】
処理制御部１６７は、入力部１１からレリーズ信号が入力された場合、撮像装置１における撮影動作を開始する制御を行う。ここで、撮像装置１における撮影動作とは、撮像部１０が生成した画像データを記録媒体１３に記録する。また、処理制御部１６７は、入力部１１から動画撮影を指示する指示信号が入力された場合、記録媒体１３に動画ファイルを作成し、この動画ファイルに、撮像部１０が順次生成した画像データを順次記録（格納）する。さらに、処理制御部１６７は、注視部分特定部１６６が特定した被写体の注視部分に基づいて、撮像部１０の処理を制御する。具体的には、処理制御部１６７は、注視部分特定部１６６が特定した被写体の注視部分に基づいて、撮像部１０のパラメータ、例えば絞り値やシャッタスピード等を調整して撮像部１０の撮像を制御する。
【００３１】
表示制御部１６８は、撮像部１０が生成した画像データに対応する画像や記録媒体１３に記録された画像データに対応する画像を表示機構３に表示させる。
【００３２】
〔表示機構の構成〕
次に、表示機構３の構成について説明する。表示機構３は、表示部３１と、可動部３２と、回転支持部３３と、を備える。
【００３３】
表示部３１は、制御部１６の制御のもと、制御部１６を介して入力される画像データに対応する画像を表示する。ここで、画像の表示には、撮影直後の画像データを所定時間（たとえば３秒間）だけ表示するレックビュー表示、記録媒体１３に記録された画像データを再生する再生表示、および撮像部１０が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。表示部３１は、液晶または有機ＥＬからなる表示パネルおよび駆動ドライバ等を用いて構成される。また、表示部３１は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。さらに、表示部３１は、撮像装置１の本体部２に対して、撮像装置１の背面側から撮像装置１の前面側に向けて回動可能に設けられる（図１および図２を参照）。
【００３４】
可動部３２は、表示部３１が設けられ、ヒンジ等の回転支持部３３を介して本体部２の一端を中心にして回動可能に本体部２に設けられる。具体的には、可動部３２は、回転支持部３３の軸Ｒ1を中心にして、本体部２の背面側から前面側に向けて回動可能に設けられる（図２を参照）。
【００３５】
〔撮像装置の処理〕
次に、撮像装置１が実行する処理について説明する。図５は、撮像装置１が実行する処理の概要を示すフローチャートである。
【００３６】
図５に示すように、まず、制御部１６は、撮像装置１が自分撮り撮影モードに設定されているか否かを判断する（ステップＳ１０１）。具体的には、制御部１６は、回転判定部１４から入力される判定結果に基づいて、本体部２に対して、表示部３１の表示領域が撮像装置１の前面側（撮像部１０の視野領域側）に向けられているか否かを判断する。例えば、図６に示すように、被写体Ｏ１（ユーザ）によって表示部３１の表示領域が撮像装置１の前面側に向けられている場合、制御部１６は、撮像装置１が自分撮り撮影モードに設定されていると判断する。制御部１６によって撮像装置１が自分撮り撮影モードに設定されていると判断された場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１は、後述するステップＳ１０２へ移行する。これに対して、制御部１６によって撮像装置１が自分撮り撮影モードに設定されていないと判断された場合（ステップＳ１０１：Ｎｏ）、撮像装置１は、後述するステップＳ１０４へ移行する。
【００３７】
ステップＳ１０２において、撮像装置１は、自分撮り撮影を行う自分撮り撮影処理を実行する。なお、自分撮り撮影処理の詳細は、後述する。
【００３８】
続いて、入力部１１を介して撮像装置１の電源がオフになることによって終了する場合（ステップＳ１０３：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、入力部１１を介して撮像装置１の電源がオフにならず、終了しない場合（ステップＳ１０３：Ｎｏ）、撮像装置１は、ステップＳ１０１へ戻る。
【００３９】
ステップＳ１０４において、制御部１６は、撮像装置１が通常撮影モードに設定されているか否かを判断する。制御部１６によって撮像装置１が通常撮影モードに設定されていると判断された場合（ステップＳ１０４：Ｙｅｓ）、撮像装置１は、被写体を撮影する通常撮影処理を実行する（ステップＳ１０５）。なお、通常撮影処理の詳細は、後述する。ステップＳ１０５の後、撮像装置１は、ステップＳ１０３へ移行する。
【００４０】
ステップＳ１０４において、制御部１６によって撮像装置１が通常撮影モードに設定されていないと判断された場合（ステップＳ１０４：Ｎｏ）、撮像装置１は、ステップＳ１０６へ移行する。
【００４１】
続いて、制御部１６は、撮像装置１が記録媒体１３に記録された画像データに対応する画像を表示する再生モードに設定されているか否かを判断する（ステップＳ１０６）。制御部１６によって撮像装置１が記録媒体１３に記録された画像データに対応する画像を表示する再生モードに設定されていると判断された場合（ステップＳ１０６：Ｙｅｓ）、撮像装置１は、記録媒体１３に記録された画像データに対応する画像を表示部３１によって表示する再生処理を実行する（ステップＳ１０７）。なお、再生処理の詳細は、後述する。ステップＳ１０７の後、撮像装置１は、ステップＳ１０３へ移行する。
【００４２】
ステップＳ１０６において、制御部１６によって撮像装置１が記録媒体１３に記録された画像データに対応する画像を表示する再生モードに設定されていないと判断された場合（ステップＳ１０６：Ｎｏ）、通信部１５は、制御部１６の制御のもと、記録媒体１３に記録された画像データを外部の機器へ送信する画像通信処理を実行する（ステップＳ１０８）。ステップＳ１０８の後、撮像装置１は、ステップＳ１０３へ移行する。
【００４３】
〔自分撮り撮影処理〕
次に、図５のステップＳ１０２において説明した自分撮り撮影処理の詳細について説明する。図７は、自分撮り撮影処理の概要を示すフローチャートである。
【００４４】
図７に示すように、まず、処理制御部１６７は、撮像部１０に撮像させる（ステップＳ２０１）。
【００４５】
続いて、表示制御部１６８は、撮像部１０が生成した画像データに対応するライブビュー画像を表示部３１に表示させる（ステップＳ２０２）。
【００４６】
その後、顔検出部１６１が撮像部１０によって生成された画像データに対応する画像から顔を検出した場合（ステップＳ２０３：Ｙｅｓ）、顔検出部１６１は、検出した顔の角度を検出する（ステップＳ２０４）。具体的には、顔検出部１６１は、時間的に前後する２つの画像データに対応する２つの画像の各々に対して検出した顔の領域の差に基づいて、顔の角度を検出する。ステップＳ２０４の後、撮像装置１は、後述するステップＳ２０５へ移行する。これに対して、顔検出部１６１が撮像部１０によって生成された画像データに対応する画像から顔を検出していない場合（ステップＳ２０３：Ｎｏ）、撮像装置１は、後述するステップＳ２１５へ移行する。
【００４７】
ステップＳ２０５において、視線検出部１６２が顔検出部１６１によって検出された顔から目（瞳）を検出した場合（ステップＳ２０５：Ｙｅｓ）、撮像装置１は、後述するステップＳ２０６へ移行する。これに対して、視線検出部１６２が顔検出部１６１によって検出された顔から目を検出していない場合（ステップＳ２０５：Ｎｏ）、撮像装置１は、後述するステップＳ２１５へ移行する。
【００４８】
ステップＳ２０６において、判定部１６５は、信頼度算出部１６４が算出した目線の信頼度の目線信頼性があるか否かを判定する。図８および図９は、判定部１６５による目線信頼性の判定方法を模式的に示す図である。
【００４９】
図８および図９において、被写体Ｏ１の顔から表示部３１までの距離をＤｆｄ、表示部３１の表示領域（画面領域）に表示される顔の大きさをＹｆｄ、光学系１０１の現在の撮影画角をθｃａ、目が回転可能な範囲をθｅ、図８に示す上方向の視線と水平方向とがなす角度をθｅｕ、図９に示す下方向の視線と水平方向とがなす角度をθｅｄとした場合、以下の式（１）が成り立つ。
θｅ＝θｅｕ＋θｅｄ≒ａｒｃｔａｎ（Ｙｆｄ／Ｄｆｄ）      ・・・（１）
【００５０】
また、距離Ｄｆｄの場合において、光学系１０１の現在の撮影画角をθｃａとしたとき、垂直方向の範囲Ｙｃａは、以下の式（２）が成り立つ。
Ｙｃａ≒Ｄｆｄ×ｔａｎθｃａ      ・・・（２）
ここで、顔の高さＹｆｏは、被写体に関わらず、１５ｃｍ程度で一定であるため、垂直方向の範囲Ｙｃａにおける比率Ｒｆを顔が占めた場合、Ｒｆ＝Ｙｆｏ／Ｙｃａであるから、以下の式（３）が成り立つ。
Ｙｃａ＝Ｙｆｏ／Ｒｆ・・・（３）
従って、式（２）および式（３）より、
Ｄｆｄ×ｔａｎθｃａ＝Ｙｆｏ／Ｒｆとなる。
よって、以下の式（４）が成り立つ。
Ｄｆｄ＝Ｙｆｏ／（Ｒｆ×ｔａｎθｃａ）      ・・・（４）
【００５１】
そして、判定部１６５は、信頼度算出部１６４が顔の大きさＹｆｄを式（４）によって算出した距離Ｄｆｄで除算した値（Ｙｆｄ／Ｄｆｄ）が所定の閾値以上であるか否かを判定することによって、目線（視線）に信頼性があるか否かを判定する。判定部１６５によって信頼度算出部１６４が算出した目線の信頼度に信頼性があると判定された場合（ステップＳ２０６：Ｙｅｓ）、撮像装置１は、後述するステップＳ２０７へ移行する。これに対して、判定部１６５によって信頼度算出部１６４が算出した目線の信頼度に信頼性がないと判定された場合（ステップＳ２０６：Ｎｏ）、撮像装置１は、後述するステップＳ２１５へ移行する。
【００５２】
ステップＳ２０７において、判定部１６５は、視線検出部１６２が検出した被写体の瞳と基準目形状とを判定する。具体的には、判定部１６５は、視線検出部１６２が検出した被写体の瞼および瞳それぞれの形状と、予め設定されたテンプレートとしての基準目形状とを判定する。ここで、基準目形状とは、予め被写体の視線が正面を向いた状態の瞳と瞼との形状である。
【００５３】
続いて、判定部１６５は、被写体の瞼が上がっているか否かを判定する（ステップＳ２０８）。具体的には、図８に示すように、判定部１６５は、視線検出部１６２が検出した被写体の瞳と基準目形状とを比較することによって、被写体の瞼が上がっているか否かを判定する。判定部１６５が被写体の瞼が上がっていると判定した場合（ステップＳ２０８：Ｙｅｓ）、撮像装置１は、後述するステップＳ２０９へ移行する。これに対して、判定部１６５が被写体の瞼が上がっていないと判定した場合（ステップＳ２０８：Ｎｏ）、撮像装置１は、後述するステップＳ２１１へ移行する。
【００５４】
ステップＳ２０９において、判定部１６５は、視線検出部１６２が瞳の下側に円弧を検出できたか否かを判定する。判定部１６５によって視線検出部１６２が瞳の下側に円弧を検出できたと判定された場合（ステップＳ２０９：Ｙｅｓ）、撮像装置１は、後述するステップＳ２１０へ移行する。これに対して、判定部１６５によって視線検出部１６２が瞳の下側に円弧を検出できていないと判定された場合（ステップＳ２０９：Ｎｏ）、撮像装置１は、後述するステップＳ２１５へ移行する。
【００５５】
図１０は、図８に示す状況下における被写体の瞳の位置を模式的に示す図である。図１０に示すように、判定部１６５は、瞳ＩＢ１（角膜）が上側に移動することによって、視線検出部１６２が結膜ＩＷ１上に瞳ＩＢ１の下側に円弧を検出できた場合、視線検出部１６２が検出した瞳の下側に円弧を検出できたと判定する。
【００５６】
ステップＳ２１０において、注視部分特定部１６６は、注視部分情報記録部１２１が記録する注視部分情報と判定部１６５の判定結果に基づいて、被写体における髪の毛が注視部分と特定する。ステップＳ２１０の後、撮像装置１は、後述するステップＳ２１５へ移行する。
【００５７】
ステップＳ２１１において、被写体の瞼が下がっているか否かを判定する。具体的には、図９に示すように、判定部１６５は、視線検出部１６２が検出した被写体の瞳と基準目形状とを比較することによって、被写体の瞼が下がっているか否かを判定する。判定部１６５が被写体の瞼が下がっていると判定した場合（ステップＳ２１１：Ｙｅｓ）、撮像装置１は、後述するステップＳ２１２へ移行する。これに対して、判定部１６５が被写体の瞼が下がっていないと判定した場合（ステップＳ２１１：Ｎｏ）、撮像装置１は、後述するステップＳ２１４へ移行する。
【００５８】
ステップＳ２１２において、判定部１６５は、視線検出部１６２が瞳の下側に円弧を検出できたか否かを判定する。判定部１６５によって視線検出部１６２が瞳の下側に円弧を検出できたと判定された場合（ステップＳ２１２：Ｙｅｓ）、撮像装置１は、後述するステップＳ２１５へ移行する。これに対して、判定部１６５によって視線検出部１６２が瞳の下側に円弧を検出できていないと判定された場合（ステップＳ２１２：Ｎｏ）、撮像装置１は、後述するステップＳ２１３へ移行する。
【００５９】
図１１は、図９に示す状況下における被写体の瞳の位置を模式的に示す図である。図１１に示すように、判定部１６５は、瞼が下がり、瞳ＩＢ２（角膜）が下側に移動することによって、視線検出部１６２が結膜ＩＷ２上に瞳ＩＢ１の下側に円弧を検出できなかった場合、視線検出部１６２が検出した瞳の下側に円弧を検出できなかったと判定する。
【００６０】
ステップＳ２１３において、注視部分特定部１６６は、注視部分情報記録部１２１が記録する注視部分情報と判定部１６５の判定結果に基づいて、被写体の口元が注視部分と特定する。ステップＳ２１３の後、撮像装置１は、後述するステップＳ２１５へ移行する。
【００６１】
ステップＳ２１４において、注視部分特定部１６６は、注視部分情報記録部１２１が記録する注視部分情報に基づいて、被写体の目元が注視部分と特定する。ステップＳ２１４の後、撮像装置１は、後述するステップＳ２１５へ移行する。
【００６２】
ステップＳ２１５において、入力部１１を介して撮影操作があった場合（ステップＳ２１５：Ｙｅｓ）において、注視部分があり（ステップＳ２１６：Ｙｅｓ）、注視部分考慮撮影が可能なとき（ステップＳ２１７：Ｙｅｓ）、撮像装置１は、被写体が注視する部分を考慮しながら画像処理のパラメータを変更しつつ撮影を行う注視部分考慮撮影処理を実行する（ステップＳ２１８）。ステップＳ２１８の後、撮像装置１は、ステップＳ２１９へ移行する。ここで撮像操作は、必ずしも手動操作などが必要なわけではなく、表情などをトリガにしても良い。即ち、処理制御部１６７は、同じ顔になった場合に撮像部１０に撮像させてもよい。また、撮像といっても画像記録までは必要ではない。
【００６３】
〔注視部分考慮撮影処理〕
次に、図７のステップＳ２１８における注視部分考慮撮影処理の詳細について説明する。図１２は、注視部分考慮撮影処理の概要を示すフローチャートである。なお、ここで撮影と書いているが、カメラ以外の応用を考えれば、記録をする必要があるわけではなく、例えば、表示用の撮影に留めてもよいし、気になる部分の情報を記録したり、気になる部分の補正情報を記録したりするだけでも良い。
【００６４】
図１２に示すように、注視部分が口元であって、対象がほうれい線の皺（図４を参照）である場合（ステップＳ３０１：Ｙｅｓ）、処理制御部１６７は、撮像部１０による撮影の露出を上げて撮像部１０に撮影を実行させる（ステップＳ３０２）。具体的には、処理制御部１６７は、撮像部１０のシャッタ１０３のシャッタスピードを上げることによって、または絞り１０２の絞り値を小さくすることによって、撮像部１０による撮影の露出を上げて撮像部１０に撮影させる。これにより、撮影された画像の露出が上がり、画像の仕上がりが明るくなることによって、被写体が注視する注視部分の口元の皺を目立たせなくすることができる。ステップＳ３０２の後、撮像装置１は、図７のサブルーチンへ戻る。
【００６５】
ステップＳ３０１において、注視部分が口元であって、対象がほうれい線の皺でない場合（ステップＳ３０１：Ｎｏ）、撮像装置１は、後述するステップＳ３０３へ移行する。
【００６６】
続いて、注視部分が髪であって、対象が白髪（図４を参照）である場合（ステップＳ３０３：Ｙｅｓ）、処理制御部１６７は、撮像部１０による撮影の露出を下げて撮像部１０に撮影を実行させる（ステップＳ３０４）。具体的には、処理制御部１６７は、撮像部１０のシャッタスピードを下げることによって、または絞り値を大きくすることによって、撮像部１０による撮影の露出を下げて撮像部１０に撮影させる。これにより、撮像された画像の露出が下がり、画像の仕上がりが暗くなることによって、被写体の白髪を目立たせなくすることができる。ステップＳ３０４の後、撮像装置１は、図７のサブルーチンへ戻る。
【００６７】
ステップＳ３０３において、注視部分が髪であって、対象が白髪でない場合（ステップＳ３０３：Ｎｏ）、処理制御部１６７は、撮像部１０による撮影のコントラストを下げて撮像部１０に撮影を実行させる（ステップＳ３０５）。これにより、撮像された画像のコントラストが下がることによって、シミやソバカス等を目立たせなくすることができる。ステップＳ３０５の後、撮像装置１は、図７のサブルーチンへ戻る。
【００６８】
図７に戻り、ステップＳ２１９以降の説明を続ける。
ステップＳ２１９において、処理制御部１６７は、画像処理部１６３が画像処理を施した画像データに、自分撮り情報、注視部分情報、考慮撮影情報および信頼度を付与して記録媒体１３に記録する。ステップＳ２１９の後、撮像装置１は、図５のメインルーチンへ戻る。なお、ここで記録と書いているが、カメラ以外の応用を考えれば、画像全体を記録をする必要があるわけではなく、例えば、記録を省いて、表示用の撮影に留めてもよいし、気になる部分の情報を記録したり、気になる部分の補正情報を記録したりするだけでも良い。このように、無意識に見る部分を判定できるので、ユーザが言葉に出来ない点を可視化するような装置、機器、システムに応用ことができる。
【００６９】
図１３は、処理制御部１６７が記録媒体１３に記録させる画像ファイルの一例を模式的に示す図である。図１３に示すように、処理制御部１６７は、記録媒体１３に、画像データＡ１、自分撮り情報の有無を示す自分撮り情報Ａ２、注視部分として、顔は下向きＡ３、目は正面向きＡ４、注視部分情報として髪型Ａ５、信頼度の有効性を示す信頼度ありＡ６および画像データＡ１のサムネイル画像Ｐ１を一つの画像ファイルＦ１に格納して記録する。
【００７０】
ステップＳ２１５において、入力部１１を介して撮影操作がない場合（ステップＳ２１５：Ｎｏ）、撮像装置１は、図５のメインルーチンへ戻る。
【００７１】
ステップＳ２１６において、注視部分がない場合（ステップＳ２１６：Ｎｏ）、またはステップＳ２１７において、注視部分考慮撮影が可能でないとき（ステップＳ２１７：Ｎｏ）、処理制御部１６７は、撮像部１０に撮影を実行させる（ステップＳ２２０）。
【００７２】
〔通常撮影処理〕
次に、図５のステップＳ１０５において説明した通常撮影処理の詳細について説明する。図１４は、通常撮影処理の概要を示すフローチャートである。
【００７３】
図１４に示すように、まず、処理制御部１６７は、撮像部１０に撮像を実行させる（ステップＳ４０１）。
【００７４】
続いて、表示制御部１６８は、撮像部１０が生成した画像データに対応する画像を表示部３１に表示させる（ステップＳ４０２）。
【００７５】
その後、顔検出部１６１は、撮像部１０が生成した画像データに対応する画像から顔を検出する（ステップＳ４０３）。
【００７６】
続いて、入力部１１を介して撮影操作があった場合（ステップＳ４０４：Ｙｅｓ）において、顔検出部１６１が顔を検出しているとき（ステップＳ４０５：Ｙｅｓ）、撮像装置１は、注視部分考慮撮影を実行する（ステップＳ４０６）。なお、注視部分考慮撮影は、上述した図１２と同様のため、説明を省略する。
【００７７】
その後、処理制御部１６７は、撮像部１０が生成した画像データを記録媒体１３に記録する（ステップＳ４０７）。ステップＳ４０７の後、撮像装置１は、図５のメインルーチンへ戻る。
【００７８】
ステップＳ４０４において、入力部１１を介して撮影操作がなかった場合（ステップＳ４０４：Ｎｏ）、撮像装置１は、図５のメインルーチンへ戻る。
【００７９】
ステップＳ４０５において、顔検出部１６１が顔を検出していないとき（ステップＳ４０５：Ｎｏ）、撮像装置１は、ステップＳ４０８へ移行する。
【００８０】
続いて、処理制御部１６７は、撮像部１０に撮影を実行させる（ステップＳ４０８）。ステップＳ４０８の後、撮像装置１は、ステップＳ４０７へ移行する。
【００８１】
〔再生処理〕
次に、図５のステップＳ１０７において説明した再生処理の詳細について説明する。図１５は、再生処理の概要を示すフローチャートである。
【００８２】
まず、再生する画像ファイルに注視部分情報がある場合（ステップＳ５０１：Ｙｅｓ）について説明する。この場合において、注視部分考慮撮影がされているとき（ステップＳ５０２：Ｙｅｓ）、表示制御部１６８は、注視部分を考慮して再生する注視部分考慮画像再生処理を実行する（ステップＳ５０３）。なお、注視部分考慮画像再生処理の詳細は、後述する。
【００８３】
続いて、入力部１１を介して再生する画像を変更する場合（ステップＳ５０４：Ｙｅｓ）、表示制御部１６８は、記録媒体１３から次の画像ファイルに変更する（ステップＳ５０５）。ステップＳ５０５の後、撮像装置１は、ステップＳ５０１へ戻る。これに対して、入力部１１を介して再生する画像を変更しない場合（ステップＳ５０４：Ｎｏ）、撮像装置１は、図５のメインルーチンへ戻る。
【００８４】
ステップＳ５０１において、再生する画像ファイルに注視部分情報がない場合（ステップＳ５０１：Ｎｏ）、およびステップＳ５０２において、注視部分考慮撮影がされていないとき（ステップＳ５０２：Ｎｏ）、表示制御部１６８は、画像ファイルに格納された画像デーアットに対応する画像を表示部３１に再生させる（ステップＳ５０６）。ステップＳ５０６の後、撮像装置１は、ステップＳ５０４へ移行する。
【００８５】
〔注視部分考慮画像再生処理〕
次に、図１５のステップＳ５０３において説明した注視部分考慮画像再生処理の詳細について説明する。図１５は、注視部分考慮画像再生処理の概要を示すフローチャートである。
【００８６】
図１６に示すように、まず、注視部分が目元である場合（ステップＳ６０１：Ｙｅｓ）、表示制御部１６８は、画像処理部１６３が画像ファイルに格納された画像データに対して平滑化処理を行った画像データに対応する画像を表示部３１に再生させる（ステップＳ６０２）。これにより、被写体の目元の皺を補正して、皺を模式的に減らした状態で画像を再生することができる。ステップＳ６０２の後、撮像装置１は、図１５のサブルーチンへ戻る。
【００８７】
ステップＳ６０１において、注視部分が目元でない場合（ステップＳ６０１：Ｎｏ）、撮像装置１は、ステップＳ６０３へ移行する。
【００８８】
続いて、注視部分が口元である場合（ステップＳ６０３：Ｙｅｓ）、表示制御部１６８は、画像処理部１６３が画像ファイルに格納された画像データに対して平滑化処理を行った画像データに対応する画像を表示部３１に再生させる（ステップＳ６０４）。これにより、被写体の口元の皺を補正して、皺を模式的に減らした状態で画像を再生することができる。ステップＳ６０４の後、撮像装置１は、図１５のサブルーチンへ戻る。
【００８９】
ステップＳ６０３において、注視部分が口元でない場合（ステップＳ６０３：Ｎｏ）、撮像装置１は、ステップＳ６０５へ移行する。
【００９０】
続いて、注視部分が髪である場合（ステップＳ６０５：Ｙｅｓ）、表示制御部１６８は、画像処理部１６３が画像ファイルに格納された画像データに対して領域毎に彩度を変更した画像データに対応する画像を表示部３１に再生させる（ステップＳ６０６）。これにより、被写体の白髪等を補正した画像を再生することができる。
【００９１】
ステップＳ６０５において、注視部分が髪でない場合（ステップＳ６０５：Ｎｏ）、撮像装置１は、ステップＳ６０７へ移行する。
【００９２】
続いて、被写体が女性である場合（ステップＳ６０７：Ｙｅｓ）、表示制御部１６８は、画像処理部１６３が画像ファイルに格納された画像データに対して美顔処理を行った画像データに対する画像を表示部３１に再生させる（ステップＳ６０８）。ステップＳ６０８の後、撮像装置１は、図１５のサブルーチンへ戻る。
【００９３】
ステップＳ６０７において、被写体が女性でない場合（ステップＳ６０７：Ｎｏ）、表示制御部１６８は、画像処理部１６３が画像ファイルに格納された画像データに対して彩度上昇処理を行った画像データに対応する画像を表示部３１に表示させる（ステップＳ６０９）。ステップＳ６０９の後、撮像装置１は、図１５のサブルーチンへ戻る。
【００９４】
以上説明した本発明の実施の形態１によれば、処理制御部１６７が注視部分特定部１６６によって特定された注視部分に基づいて、撮像部１０の撮影を制御するので、ユーザが注目した対象領域を反映しながら撮影を行うことができる。
【００９５】
また、本発明の実施の形態１によれば、信頼度算出部１６４が視線検出部１６２によって検出された信頼度を算出し、処理制御部１６７が画像データに信頼度、注視部分に関する注視部分情報および自分撮り撮影に関する自分撮り撮影情報を対応付けて記録媒体１３に記録するので、ユーザの視線の信頼性を上げることができる。
【００９６】
また、本発明の実施の形態１によれば、撮影によって、さらに被写体（ユーザ）の意志を確認したり、記録したりできるので、被写体自身が無意識だったものを自ら確認することができるうえ、被写体自身が確認するための判定の精度を向上させることができる。
【００９７】
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像装置は、注視部分情報記録部が記録する注視部分情報が異なるうえ、自分撮り撮影処理が異なる。具体的には、上述した実施の形態１では、被写体の目線を元に注視部分を検出していたが、本実施の形態２では、顔の向きをさらに考慮して被写体が注視する注視部分を検出する。以下においては、本実施の形態２に係る撮像装置の構成を説明後、本実施の形態２に係る撮像装置が実行する自分撮り撮影処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
【００９８】
〔撮像装置の構成〕
図１７は、本実施の形態２に係る撮像装置の機能構成を示すブロック図である。図１７に示す撮像装置１ａは、上述した実施の形態１に係る撮像装置１の本体部２に換えて、本体部２ａを備える。さらに、本体部２ａは、上述した実施の形態１に係る本体部２における記録部１２に換えて、記録部１２ａを備える。
【００９９】
記録部１２ａは、制御部１６を介して入力される画像データ、撮像装置１ａの処理中の情報、撮像装置１を動作させるための各種プログラムや本実施の形態２に係るプログラムおよびプログラムの実行中に使用される各種データ等を記録する。記録部１２ａは、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）およびＦｌａｓｈメモリ等を用いて構成される。また、記録部１２ａは、注視部分情報を記録する注視部分情報記録部１２１ａを有する。
【０１００】
図１８は、注視部分情報記録部１２１ａが記録する注視部分情報の一例を示す図である。図１８に示す注視部分テーブルＴ２には、ユーザや被写体が注意した注視部分、対象パーツおよび狙い形状が対応付けて記録されている。例えば、注視部分テーブルＴ２には、注視部分が口元の場合、対象パーツに、口、狙い形状に、口の形状がそれぞれ記載されている。このとき、画像処理部１６３は、被写体の口の形状を補正する補正処理を行う。また、注視部分が口元の場合、対象パーツに、頬、狙い形状に、たるみのとき、画像処理部１６３は、被写体のたるみを補正する美白処理やコントラスト低下処理等の画像処理を行い、処理制御部１６７は、絞り値を小さくする、またはシャッタ速度を大きくする撮影処理を行う。
【０１０１】
〔自分撮り撮影処理〕
次に、撮像装置１ａが実行する自分撮り撮影処理について説明する。図１９は、撮像装置１ａが実行する自分撮り撮影処理の概要を示すフローチャートである。図１９において、ステップＳ７０１およびステップＳ７０２は、上述した図７のステップＳ２０１およびステップＳ２０２それぞれに対応する。
【０１０２】
ステップＳ７０３において、顔検出部１６１が撮像部１０によって生成された画像データから顔を検出可能である場合（ステップＳ７０３：Ｙｅｓ）において、顔検出部１６１が顔パーツを検出可能であるとき（ステップＳ７０４：Ｙｅｓ）、撮像装置１ａは、ステップＳ７０５へ移行する。
【０１０３】
続いて、判定部１６５によって信頼度算出部１６４が算出した顔角度の信頼性があるか否かを判定する（ステップＳ７０５）。
【０１０４】
図２０は、判定部１６５による顔角度の信頼性の判定方法を模式的に説明する図である。図２０に示すように、図２０の（ａ）に示すように、被写体Ｏ１の頭部の半径をＲ（たとえばＲ＝１０ｃｍ）の球とした場合において、被写体Ｏ１が正面を向いている状態から所定の角度θ１だけ首を回したとき（図２０の（ｂ）を参照）、鼻Ｍ1の位置は、Ｒ・ｓｉｎθ１で表すことができる。さらに、顔の各パーツの横方向の長さも角度θ１に基づいて、表すことができる。具体的には、被写体Ｏ１の目領域ＡL，ＡRの幅をＨとした場合、Ｈ・ｃｏｓθ1で表すことができる。このため、被写体Ｏ１が撮像装置１ａから遠ざかるほど、被写体Ｏ１の顔が小さくなることで、分解能が悪くなるため、信頼性が低下する。そこで、判定部１６５は、Ｒ・ｓｉｎθ１が所定の閾値より大きい場合、顔検出部１６１が検出した顔角度の信頼性があると判定する一方、Ｒ・ｓｉｎθ１が所定の閾値以下の場合、顔検出部１６１が検出した顔角度の信頼性がないと判定する。判定部１６５によって顔検出部１６１が検出した顔角度の信頼性があると判定された場合（ステップＳ７０５：Ｙｅｓ）、撮像装置１ａは、ステップＳ７０６へ移行する。これに対して、判定部１６５によって顔検出部１６１が検出した顔角度の信頼性がないと判定された場合（ステップＳ７０５：Ｎｏ）、撮像装置１ａは、後述するステップＳ７１１へ移行する。
【０１０５】
ステップＳ７０６において、判定部１６５は、顔検出部１６１が検出した被写体の顔と基準顔とを判定する。具体的には、判定部１６５は、顔検出部１６１が検出した被写体の顔の形状と、予め設定されたテンプレートとしての基準顔形状とを判定する。ここで、基準顔形状とは、予め被写体の視線が正面を向いた状態の顔の形状である。
【０１０６】
ステップＳ７０７において、判定部１６５によって被写体の目線が表示部３１であると判定された場合（ステップＳ７０７：Ｙｅｓ）、撮像装置１ａは、後述するステップＳ７０８へ移行する。これに対して、判定部１６５によって被写体の目線が表示部３１でないと判定された場合（ステップＳ７０７：Ｎｏ）、撮像装置１ａは、後述するステップＳ７１１へ移行する。
【０１０７】
ステップＳ７０８において、判定部１６５によって顔検出部１６１が検出した顔の角度が変化して固定されていると判定された場合（ステップＳ７０８：Ｙｅｓ）、撮像装置１ａは、後述するステップＳ７０９へ移行する。これに対して、判定部１６５によって顔検出部１６１が検出した顔の角度が変化して固定されていないと判定された場合（ステップＳ７０８：Ｎｏ）、撮像装置１ａは、後述するステップＳ７１１へ移行する。
【０１０８】
ステップＳ７０９において、注視部分特定部１６６は、表示部３１に向けられた部位を注視部分として特定する。具体的には、図２１Ａ〜図２１Ｉに示す画像Ｇ１０〜Ｇ１８に示すように、注視部分特定部１６６は、所定の時間、例えば、撮像部１０が生成する時間的に連続する画像データ間において、被写体Ｏ１が顔の向きを変えて、目線が表示部３１の表示領域を見ている場合（撮像部１０の撮像方向）に見せて映している部位（口元）を注視部分として特定する。
【０１０９】
続いて、注視部分特定部１６６は、被写体が触れたパーツ、被写体が動かしたパーツまたは隠したパーツ（例えば頬）を注視部分として追加して特定する（ステップＳ７１０）。ステップＳ７１０の後、撮像装置１ａは、後述するステップＳ７１１へ移行する。
【０１１０】
ステップＳ７０３において、顔検出部１６１が撮像部１０によって生成された画像データから顔を検出可能でない場合（ステップＳ７０３：Ｎｏ）、または顔検出部１６１が顔パーツを検出可能でないとき（ステップＳ７０４：Ｎｏ）、撮像装置１ａは、後述するステップＳ７１１へ移行する。
【０１１１】
ステップＳ７１１〜ステップＳ７２６は、上述した図７のステップＳ２０５〜ステップＳ２２０それぞれに対応する。
【０１１２】
以上説明した本発明の実施の形態２によれば、処理制御部１６７が注視部分特定部１６６によって特定された注視部分に基づいて、撮像部１０の撮影を制御するので、ユーザが注目した対象領域を反映しながら撮影を行うことができる。
【０１１３】
さらに、本発明の実施の形態２によれば、注視部分特定部１６６は、時間的に連続する複数の画像データ間において表示部３１によって表示される画像内に写る被写体が動かした部位、被写体が触れた部位、被写体が動かした部位または被写体が隠した部位（例えば頬）を注視部分として追加して特定し、画像処理部１６３が注視部分特定部１６６によって特定された部位（例えば口元で頬）に応じた画像処理を画像データに施すことによって被写体のたるみを補正した画像データを生成するので、ユーザが注目した対象領域を反映しながら撮影を行うことができる。
【０１１４】
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３は、上述した実施の形態２と同様の構成を有し、撮像装置が実行する自分撮り撮影処理が異なる。具体的には、上述した実施の形態１では、撮影時に被写体が注視した注視部分に応じた撮影を行って記録していたが、本実施の形態３では、被写体が注視した注視部分をリアルタイムで反映させながら撮影を行う。以下においては、本実施の形態３に係る撮像装置が実行する自分撮り撮影処理について説明する。なお、上述した実施の形態１に係る撮像装置１ａと同様の構成には同一の符号を付して説明を省略する。
【０１１５】
〔自分撮り撮影処理〕
図２２は、本実施の形態３に係る撮像装置１ａが実行する自分撮り撮影処理の概要を示すフローチャートである。図２２において、ステップＳ８０１〜ステップＳ８１４は、上述した図７のステップＳ２０１〜ステップＳ２１４それぞれに対応する。
【０１１６】
ステップＳ８１５において、注視部分がある場合（ステップＳ８１５：Ｙｅｓ）、処理制御部１６７は、撮像部１０が生成した画像データに対応するライブビュー画像における注視部分に対して画像処理部１６３に美顔処理を実行させる（ステップＳ８１６）。
【０１１７】
続いて、判定部１６５によってライブビュー画像中のしぐさで注視部分があると判定された場合（ステップＳ８１７：Ｙｅｓ）において、同じ注視部分が奇数回目であり（ステップＳ８１８：Ｙｅｓ）、判定部１６５によって被写体が注視部分を直視している（所定時間（例えば３秒間同じ方向を向いている）と判定したとき（ステップＳ８１９：Ｙｅｓ）、処理制御部１６７は、撮像部１０が生成した画像データに対応するライブビュー画像における注視部分に対して画像処理部１６３に美顔処理を更新して実行させる（ステップＳ８２０）。
【０１１８】
その後、処理制御部１６７は、注視部分を記録部１２に記録する（ステップＳ８２１）。
【０１１９】
続いて、表示制御部１６８は、画像処理部１６３が画像処理を施した画像データに対応するライブビュー画像を表示部３１に表示させる（ステップＳ８２２）。具体的には、図２３および図２４に示すように、表示制御部１６８は、ライブビュー画像Ｌ１０から画像処理部１６３が美顔処理によって被写体Ｏ１の皺Ｏｓ１を補正したライブビュー画像ＬＶ１１に換えて表示部３１に表示させる（図２３→図２４）。これにより、被写体Ｏ１が気になる部分を注視し続ける限り、その都度、画像処理部１６３によって美顔処理の強度が更新されて施されるので、複雑な操作を行うことなく、リアルタイムで画像を確認しながら所望の部位を美しく仕上げることができる。なお、画像処理部１６４は、美顔処理の強度を更新するだけでなく、例えば彩度上昇処理やソフトフォーカス等の処理を追加したり、強度を上げて画像データに施してもよい。ステップＳ８２２の後、撮像装置１ａは、後述するステップＳ８２６へ移行する。
【０１２０】
ステップＳ８１５において、注視部分がない場合（ステップＳ８１５：Ｎｏ）、撮像装置１ａは、ステップＳ８１６へ移行する。
【０１２１】
ステップＳ８１７において、判定部１６５によってライブビュー画像中のしぐさで注視部分がないと判定された場合（ステップＳ８１７：Ｎｏ）、または、ステップＳ８１９において、判定部１６５によって被写体が注視部分を直視していないと判定した場合（ステップＳ８１９：Ｎｏ）、撮像装置１ａは、後述するステップＳ８２６へ移行する。
【０１２２】
ステップＳ８１８において、同じ注視部分が奇数回目でない場合（ステップＳ８１８：Ｎｏ）、撮像装置１ａは、後述するステップＳ８２３へ移行する。
【０１２３】
続いて、判定部１６５によって被写体が注視部分を直視していると判定された場合（ステップＳ８２３：Ｙｅｓ）、処理制御部１６７は、撮像部１０が生成した画像データに対応するライブビュー画像における注視部分に対する画像処理部１６３による美顔処理を解除させる（ステップＳ８２４）。
【０１２４】
続いて、表示制御部１６８は、画像処理部１６３が画像処理を解除した画像データに対応するライブビュー画像を表示部３１に表示させる（ステップＳ８２５）。これにより、被写体Ｏ１が撮像装置１ａに対して、顔を振ることによって、複雑な操作を行うことなく、リアルタイムで画像を確認しながら所望の部位に施された画像処理を解除することができる。ステップＳ８２５の後、撮像装置１ａは、後述するステップＳ８２６へ移行する。
【０１２５】
ステップＳ８２３において、判定部１６５によって被写体が注視部分を直視していないと判定された場合（ステップＳ８２３：Ｎｏ）、撮像装置１ａは、後述するステップＳ８２６へ移行する。
【０１２６】
ステップＳ８２６〜ステップＳ８３１は、上述した図７のステップ２１５〜ステップＳ２２０それぞれに対応する。
【０１２７】
以上説明した本発明の実施の形態３によれば、処理制御部１６７が注視部分特定部１６６によって特定された注視部分に基づいて、撮像部１０の撮影を制御するので、ユーザが注目した対象領域をリアルタイムで反映しながら撮影を行うことができる。
【０１２８】
（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態４は、ネットワークを介して撮像装置が生成した画像データを送信し、外部の処理装置が撮像装置から送信された画像データに基づいて、被写体が注視する注視部分を検出し、この検出した注視部分に対して画像処理を施して撮像装置へ送信する。以下において、本実施の形態４に係る撮像システムについて説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
【０１２９】
図２５は、本発明の実施の形態４に係る撮像システムの概略構成を示す模式図である。図２５に示すように、撮像システム１００は、上述した撮像装置１と、画像処理装置２００と、電子機器３００と、を備える。
【０１３０】
画像処理装置２００は、ネットワークＮを介して撮像装置１から送信された画像データを受信するとともに、受信した画像データに画像処理を施して外部へ送信する。なお、画像処理装置２００の詳細な構成について後述する。
【０１３１】
電子機器３００は、撮像装置１と同様の機能を有し、少なくとも被写体を撮像して画像データを生成する撮像機能と、画像データに対応する画像を表示する表示機能と、各種の入力を受け付ける入力機能と、ネットワークＮを介して外部と双方向に通信可能な通信機能と、を備える。このため、電子機器３００の詳細な構成に関し、説明を省略する。
【０１３２】
〔画像処理装置の構成〕
次に、画像処理装置２００の詳細な構成について説明する。図２６は、画像処理装置２００の機能構成を示すブロック図である。
【０１３３】
図２６に示す画像処理装置２００は、通信部２０１と、個人情報記録部２０２と、注視部分情報記録部２０３と、画像データ記録部２０４と、画像処理制御部２０５と、を備える。
【０１３４】
通信部２０１は、画像処理制御部２０５の制御のもと、所定の通信規格に従って、画像データを含む各種情報を受信するとともに、画像データを含む各種情報を撮像装置１または電子機器３００へ送信する。
【０１３５】
個人情報記録部２０２は、複数の被写体を構成する各種パーツを記録する。具体的には、個人情報記録部２０２は、被写体毎に顔の特徴、例えば瞳、鼻、口および耳等の各種パーツの形状および位置等を記録する。個人情報記録部２０２は、ハードディスク等の記録媒体を用いて構成される。
【０１３６】
注視部分情報記録部２０３は、被写体が注視した注視部分を被写体毎に記録する。ハードディスク等の記録媒体を用いて構成される。
【０１３７】
画像データ記録部２０４は、ネットワークＮおよび通信部２０１を介して外部から入力された画像データを記録する。画像データ記録部２０４は、ハードディスク等の記録媒体を用いて構成される。
【０１３８】
画像処理制御部２０５は、画像処理装置２００を構成する各部に対応する指示やデータの転送等を行って画像処理装置２００の動作を統括的に制御する。画像処理制御部２０５は、ＣＰＵ等を用いて構成される。
【０１３９】
画像処理制御部２０５は、顔検出部２１０と、視線検出部２１１と、画像処理部２１２、注視部分特定部２１３と、個人特定部２１４と、を有する。
【０１４０】
顔検出部２１０は、通信部２０１を介して入力された画像データに対応する画像内の被写体の顔を検出する。
【０１４１】
視線検出部２１１は、顔検出部２１０が検出した被写体における顔の瞳を検出する。
【０１４２】
画像処理部２１２は、後述する注視部分特定部２１３が検出した注視部分に基づいて、画像データに画像処理、例えば美顔処理、彩度上昇処理、ソフトフォーカス処理等を行う。
【０１４３】
注視部分特定部２１３は、視線検出部２１１が検出した視線に基づいて、被写体が注視する注視部分を特定する。
【０１４４】
個人特定部２１４は、個人情報記録部２０２が記録する個人情報と顔検出部２１０が検出した顔とに基づいて、被写体を特定する。
【０１４５】
処理制御部２１５は、個人特定部２１４が特定した被写体の個人情報と注視部分特定部２１３が特定した被写体の注視部分とに基づいて、画像処理部２１２による画像処理を制御する。具体的には、処理制御部２１５は、画像処理装置２００と電子機器３００とで通信を行いながら、電子機器３００から画像データを受信した場合において、過去に撮像装置１において自分撮り撮影された画像データにおいて注視部分に応じて画像処理が施された画像データが注視部分情報記録部２０３に記録され、かつ、個人特定部２１４が特定した被写体の個人情報が個人情報記録部２０２に記録されているとき、個人特定部２１４が特定した被写体の個人情報を用いて同じ被写体が注視した注視部分を反映させた画像処理を画像処理部２１２に実行させて処理画像データを生成させ、この処理画像データを電子機器３００へ送信する。
【０１４６】
このように構成された撮像システム１００は、撮像装置１において自分撮り撮影された画像データを画像処理装置２００に送信した後（アップロードした後）、電子機器３００で同じ被写体が撮影された場合において、画像処理装置２００と電子機器３００とで通信を行いながら撮影を行うとき、過去のデータを用いて被写体が注視した注視部分を反映させた画像処理を行った処理画像データを電子機器３００へ送信することができる。これにより、撮像装置１と異なる電子機器３００や、例えばネットワークに接続された監視カメラ等で撮影された場合であっても、被写体が注視した注視部分を画像処理によって反映させることができる。
【０１４７】
以上説明した本発明の実施の形態４によれば、ユーザが注目した対象物（対象領域）を次回の撮影に反映することができる。
【０１４８】
（その他の実施の形態）
また、本発明に係る撮像装置は、デジタルスチイルカメラ以外にも、デジタルビデオカメラ、監視カメラ、撮像機能を有するタブレット型携帯機器等の電子機器および内視鏡や顕微鏡で撮像された医療用、産業用分野の画像データに対応する画像を表示する表示装置等にも適用することができる。無意識に見る部分を判定できるので、ユーザが言葉に出来ない点を可視化することができる。従って、単に美容情報を取得するための装置などにも提供でき、この表示を見て、お薦めの美容商品が提供するような用途にも向いている。気になる部分を治療する医療用の補助装置などにも応用が可能であることは言うまでもない。
【０１４９】
また、本発明に係る撮像装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１５０】
また、本発明に係る撮像装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明に係る撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【０１５１】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【０１５２】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【０１５３】
１，１ａ・・・撮像装置；２，２ａ・・・本体部；３・・・表示機構；１０・・・撮像部；１１・・・入力部；１２，１２ａ・・・記録部；１３・・・記録媒体；１４・・・回転判定部；１５・・・通信部；１６・・・制御部；３１・・・表示部；３２・・・可動部；３３・・・回転支持部；１００・・・撮像システム；１０１・・・光学系；１０２・・・絞り；１０３・・・シャッタ；１０４・・・撮像素子；１０５・・・画角検出部；１２１，１２１ａ・・・注視部分情報記録部；１６１・・・顔検出部；１６２・・・視線検出部；１６３・・・画像処理部；１６４・・・信頼度算出部；１６５・・・判定部；１６６・・・注視部分特定部；１６７・・・処理制御部；１６８・・・表示制御部；２００・・・画像処理装置；２０１・・・通信部；２０２・・・個人情報記録部；２０３・・・注視部分情報記録部；２０４・・・画像データ記録部；２０５・・・画像処理制御部；２１０・・・顔検出部；２１１・・・視線検出部；２１２・・・注視部分検出部；２１４・・・個人特定部；２１５・・・画像処理部；２１６・・・通信制御部；３００・・・電子機器
【図１】
2017152899.tif 000003
【図２】
2017152899.tif 000004
【図３】
2017152899.tif 000005
【図４】
2017152899.tif 000006
【図５】
2017152899.tif 000007
【図６】
2017152899.tif 000008
【図７】
2017152899.tif 000009
【図８】
2017152899.tif 000010
【図９】
2017152899.tif 000011
【図１０】
2017152899.tif 000012
【図１１】
2017152899.tif 000013
【図１２】
2017152899.tif 000014
【図１３】
2017152899.tif 000015
【図１４】
2017152899.tif 000016
【図１５】
2017152899.tif 000017
【図１６】
2017152899.tif 000018
【図１７】
2017152899.tif 000019
【図１８】
2017152899.tif 000020
【図１９】
2017152899.tif 000021
【図２０】
2017152899.tif 000022
【図２１Ａ】
2017152899.tif 000023
【図２１Ｂ】
2017152899.tif 000024
【図２１Ｃ】
2017152899.tif 000025
【図２１Ｄ】
2017152899.tif 000026
【図２１Ｅ】
2017152899.tif 000027
【図２１Ｆ】
2017152899.tif 000028
【図２１Ｇ】
2017152899.tif 000029
【図２１Ｈ】
2017152899.tif 000030
【図２１Ｉ】
2017152899.tif 000031
【図２２】
2017152899.tif 000032
【図２３】
2017152899.tif 000033
【図２４】
2017152899.tif 000034
【図２５】
2017152899.tif 000035
【図２６】
2017152899.tif 000036