(57)【要約】【課題】視線検出手段の出力にて、撮影者の意図とは異なる領域をカメラの諸動作の制御を行う情報を得るべき領域として選択してしまうことを防止することを可能にした撮像装置を提供すること。【解決手段】撮影者の視線を検出する視線検出手段と、前記視線検出手段の検出結果に基づいて、撮影画面内の複数の領域に優先順位を付ける手段と、被写体認識を行う手段と、前記被写体認識の出力が前記優先順位を付けた領域内であるか否かを判定する判定手段と、前記判定手段の結果によって、カメラの諸動作の制御を行う情報を得るべき領域を選択する選択手段と、を有する。【選択図】図２
2019008076.tif 000002
【特許請求の範囲】
【請求項１】
撮影者の視線を検出する視線検出手段と、
前記視線検出手段の検出結果に基づいて、撮影画面内の複数の領域に優先順位を付ける手段と、
被写体認識を行う手段と、
前記被写体認識の出力が前記優先順位を付けた領域内であるか否かを判定する判定手段と、
前記判定手段の結果によって、カメラの各動作の制御を行う情報を得るべき領域を選択する選択手段と、
を有することを特徴とする撮像装置。
【請求項２】
撮影者の視線を検出する視線検出手段と、
前記視線検出手段の出力より、撮影画面内の複数の領域に優先順位を付ける手段と、
被写体認識を行う手段と、
前記被写体認識の出力と前記優先順位を付けた領域との距離を算出する算出手段と、
前記算出手段の結果によって、カメラの各動作の制御を行う情報を得るべき領域を選択する選択手段と、
を有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線検出機能を備える撮像装置に関し、特にＡＦ（自動焦点調節）やＡＥ（自動露出制御）等のカメラの諸動作の制御を行う情報を得るべき領域（焦点検出点、測光点等）の選択を行う手段を備えたスチルカメラやビデオカメラ等の視線検出機能付きカメラの改良に関する。
【背景技術】
【０００２】
従来、使用者（撮影者）が観察画面（カメラの場合はファインダー画面）のどの位置を観察しているのかを検知する、いわゆる視線検出装置が種々提案されている。
【０００３】
特許文献１には、視線検出手段の出力にて得られる撮影者の意図する対象に対する視線方向（注視点）と被写体の距離を取得し、その距離の経時的変化に基づいて被写体に対する注視度を算出し、カメラの諸動作の制御を行う情報を得るべき領域を選択する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１７９４０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、一般に人の眼球の運動には、画像特徴を抽出する際に生じる運動で最も高い速度が３００度／秒に達する跳躍的運動と、３０〜３５度／秒以下の移動対象に対して生じる低速平滑な随従運動があり、そのほかに中心窩に対象物体を捉えつづけるために付随量的に生じる不規則な微少運動である固視微動等が存在する。また、スチルカメラ、ビデオカメラ等においては、ファインダー内の視野外の表示を見る事もある。このため上述の特許文献１に開示された従来技術では、撮影者の意図とは異なる領域を、カメラの諸動作の制御を行う情報を得るべき領域として選択してしまう可能性があった。
【０００６】
そこで、本発明の目的は、視線検出手段の出力にて、撮影者の意図とは異なる領域をカメラの諸動作の制御を行う情報を得るべき領域として選択してしまうことを防止することを可能にした撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明に係る撮像装置は、
撮影者の視線を検出する視線検出手段と、前記視線検出手段の検出結果に基づいて、撮影画面内の複数の領域に優先順位を付ける手段と、被写体認識を行う手段と、前記被写体認識の出力が前記優先順位を付けた領域内であるか否かを判定する判定手段と、前記判定手段の結果によって、カメラの諸動作の制御を行う情報を得るべき領域を選択する選択手段と、を有することを特徴とする。
【０００８】
また、本発明に係る撮像装置は、撮影者の視線を検出する視線検出手段と、前記視線検出手段の出力より、撮影画面内の複数の領域に優先順位を付ける手段と、被写体認識を行う手段と、前記被写体認識の出力と前記優先順位を付けた領域との距離を算出する算出手段と、前記算出手段の結果によって、カメラの諸動作の制御を行う情報を得るべき領域を選択する選択手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、視線検出手段の出力にて、撮影者の意図とは異なる領域をカメラの諸動作の制御を行う情報を得るべき領域として選択してしまうことを防止することを可能にした撮像装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態におけるカメラのブロック図である。
【図２】第１の実施形態におけるカメラの動作を示すフローチャートである。
【図３】（ａ）および（ｂ）は、それぞれ多分割された観察画面の各領域に優先順位を付与する例を示す図、（ｃ）は顔認識された位置を示す図、（ｄ），（ｅ），（ｆ）はカメラの諸動作の制御を行う情報を得るべき選択された領域を示す図である。
【図４】第２の実施形態におけるカメラの動作を示すフローチャートである。
【図５】第３の実施形態におけるカメラの動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。
【００１２】
＜第１の実施形態＞
図1は、本発明の実施形態におけるデジタルカメラの構成を示す図である。
【００１３】
以下、本発明の実施形態におけるデジタルカメラの構成について説明する。
【００１４】
カメラ１００は、中央処理装置（ＣＰＵ）１０１、表示装置１０２、操作部１０３、画像処理装置１０４、不揮発性メモリ１０５、主記憶装置１０６、記憶媒体１０７、視線検出装置１０８を備えている。
【００１５】
中央処理装置（ＣＰＵ）１０１は、後述する各種処理を実行するマイクロプロセッサ等から構成されており、図2のフローチャートに示す処理を実行する。また、中央処理装置１０１は、視線検出装置１０８から取得した視線検出結果を、不揮発性メモリ１０５に蓄積する。表示装置１０２は、撮影した画像や撮影している動画、ユーザ設定画面、ライブビュー画像の表示等を行う。
【００１６】
操作部１０３は、実際の静止画や動画の撮影の操作を行う場合やユーザ設定画面から所望の設定を入力する場合に用いる。操作部１０３には、静止画撮影ボタン、ＡＦボタン等がある。画像処理装置１０４は、撮影した画像や動画の画像解析等の画像処理を行う。不揮発性メモリ１０５は、フラッシュメモリ等で構成されており、ユーザの設定情報等の撮像装置の電源がＯＦＦの間も保持すべき情報、画像データを転送する度に生成される転送済み情報、等を記憶するものである。また、不揮発性メモリ１０５は、撮像等の機器制御を行うプログラムコードやオペレーティングシステム（ＯＳ）等も格納している。
【００１７】
主記憶装置１０６は、ＲＡＭ等で構成されており、画像処理部１０４のデータを一時的に保存するために使われる。記憶媒体１０７は、取り外し可能な記録媒体等から構成されており、撮影した画像データを保存する。視線検出装置１０８は、撮影者の視線を検出し、検出結果を中央処理装置１０１に出力する。
【００１８】
以下、このデジタルカメラの構成をもとに、本実施形態において撮影者の視線を検出し、カメラの諸動作（各動作）の制御を行う情報を得るべき領域を選択し、カメラの諸動作の制御を行う動作について説明する。また、本実施形態においては、カメラの諸動作の制御をＡＦとして説明する。
【００１９】
図2に、撮影者の視線検出結果によって領域を選択しＡＦを行うカメラ１００の動作のフローチャートを示す。
【００２０】
カメラ１００が視線検出状態になることにより、本フローチャートは開始される。すなわち、撮影者が撮影をする場合に本フローチャートは開始される。ここで、視線検出状態とは、たとえば、ファインダー撮影の場合、ファインダー内に設置した外光センサーが遮光されたことを検出した時など、撮影者がファインダーを覗いている状態、すなわち、撮影者の視線を検出できる状態を指す。
【００２１】
ステップＳ２０１において、カメラ１００の中央処理装置１０１は視線検出装置１０８からユーザの視線検出結果を情報を取得する。
【００２２】
ステップＳ２０２において、カメラ１００の中央処理装置１０１は操作部１０３の中のＡＦボタンが押下されたか否かを判定する。ＡＦボタンが押下されていない場合、処理をＳ２０１に戻す。ＡＦボタンが押下された場合には、処理をステップＳ２０３に進める。
【００２３】
ステップＳ２０３において、カメラ１００の中央処理装置１０１はステップＳ２０１で取得した視線検出結果を基に、多分割された観察画面の各領域に優先順位の付与を行う。ここで、視線検出結果を基にした領域に優先順位の付与方法とは、視線の向いた頻度、滞留時間、直前もしくはある一定時間前（大きく視線が移動した第一点）の視線の向きとの現在の視線の差に基づく相関度（いわゆる軌道情報）などの複数の視線に関する情報を用いることにより優先順位を付与するものである。
【００２４】
図３（ａ）、および図３（ｂ）は、それぞれステップＳ２０３において、カメラ１００の中央処理装置１０１が多分割された観察画面の各領域に優先順位を付与する例である。多分割された観察画面の各領域の優先順位は、各領域内の数字で示されている。図３（ａ）、および図３（ｂ）では、例として観察画面を９分割しているが、観察画面の分割数や、分割する方法についてはこの例に限定されるものではない。
【００２５】
ステップＳ２０４において、カメラ１００の中央処理装置１０１は画像処理装置１０４で顔認識をしたか否かを判定する。顔認識している場合、処理をステップＳ２０５に進める。顔認識していない場合、処理をステップＳ２０８に進める。
【００２６】
図３（ｃ）は、ステップＳ２０４において、カメラ１００の中央処理装置１０１が顔認識した場合の例である。顔認識された位置は太枠で示されている。図３（ｃ）では、例として２つの顔を認識しているが、顔認識の数についてはこの例に限定されるものではない。
【００２７】
ステップＳ２０５において、カメラ１００の中央処理装置１０１はステップＳ２０４で顔認識した位置がステップＳ２０３において優先順位が最も高い領域内に含まれるか否かを判定する。顔認識した位置が優先順位が最も高い領域内に含まれる場合、処理をステップＳ２０６に進める。顔認識した位置が優先順位が最も高い領域内に含まれない場合、処理をステップＳ２０８に進める。
【００２８】
ステップＳ２０６において、カメラ１００の中央処理装置１０１はステップＳ２０４で顔認識した位置を選択する。
【００２９】
図３（ｄ）は、ステップＳ２０３において図３（ａ）に示される優先順位が付与され、ステップＳ２０４において図３（ｃ）に示される顔認識がされていた場合に、ステップＳ２０６において、カメラ１００の中央処理装置１０１が位置を選択する例である。選択された位置は太枠で示されている。図３（ｄ）では、顔認識した位置を選択しているが、顔認識した位置が含まれる領域、つまりをステップＳ２０３において最も高い優先順位が付与された領域を選択してもいい。
【００３０】
ステップＳ２０７において、カメラ１００の中央処理装置１０１はステップＳ２０６で選択した位置でＡＦする。
【００３１】
ステップＳ２０８において、カメラ１００の中央処理装置１０１はステップＳ２０３で最も優先順位が高かった領域を選択する。
【００３２】
図３（ｅ）は、ステップＳ２０３において図３（ｂ）に示される優先順位が付与され、ステップＳ２０４において図３（ｃ）に示される顔認識がされていた場合に、ステップＳ２０６において、カメラ１００の中央処理装置１０１が領域を選択する例である。選択された領域は太枠で示されている。
【００３３】
ステップＳ２０９において、カメラ１００の中央処理装置１０１はステップＳ２０８で選択した領域でＡＦする。
【００３４】
以上説明したように本実施形態によれば、カメラ１００が撮影者の視線検出結果により、撮影画面内の多分割された各領域に優先順位を付与し、顔認識の出力が最も優先順位の高い領域内であるか否かを判定して、カメラの諸動作の制御を行う情報を得るべき領域を選択することで、視線検出手段の出力にて撮影者の意図するカメラの諸動作の制御を行う情報を得るべき領域を選択することができる。
【００３５】
本実施形態では、カメラの諸動作をＡＦとして説明した。しかし、本発明はこの例に限定されるものではない。例えばカメラの諸動作はＡＥなどでもよい。また、被写体認識を顔認識として説明した。しかし、本発明はこの例に限定されるものではない。例えば被写体認識は動体認識や色認識などでもよい。
【００３６】
＜第２の実施形態＞
次に、第２の実施形態を説明する。
【００３７】
第１の実施形態では、撮影者の視線検出結果に基づいて最も高い優先順位を付与された領域と、被写体認識の出力とを比較するカメラ１００の動作について述べた。
【００３８】
本実施形態では、撮影者の視線検出結果に基づいて最も高い優先順位を付与された領域、およびそれ以外の領域とを、被写体認識の出力と比較する場合の動作について説明する。なお、本実施形態は第１の実施形態と共通する部分が多い。したがって、第１の実施形態と共通する部分については説明を省略し、本実施形態に特有の部分について主に説明する。
【００３９】
図４に、撮影者の視線検出結果によって領域を選択しＡＦを行うカメラ１００の動作のフローチャートを示す。
【００４０】
以下、図４に従って、カメラ１００の動作について示す。
【００４１】
ステップＳ４０１〜ステップＳ４０４、ステップＳ４０６〜ステップＳ４０９の処理は、図２のステップＳ２０１〜ステップＳ２０４、ステップＳ２０６〜ステップＳ２０９と同様の処理であるため、ここでは説明しない。
【００４２】
ステップＳ４０５において、カメラ１００の中央処理装置１０１はステップＳ４０４で顔認識した位置がステップＳ４０３において優先順位が最も高い領域内に含まれるか否かを判定する。顔認識した位置が優先順位が最も高い領域内に含まれる場合、処理をステップＳ４０６に進める。顔認識した位置が優先順位が最も高い領域内に含まれない場合、処理をステップＳ４１０に進める。
【００４３】
ステップＳ４１０において、カメラ１００の中央処理装置１０１はステップＳ４０４で顔認識した位置がステップＳ４０３において優先順位が２番目に高い領域内に含まれるか否かを判定する。顔認識した位置が優先順位が２番目に高い領域内に含まれる場合、処理をステップＳ４０６に進める。顔認識した位置が優先順位が２番目に高い領域内に含まれない場合、処理をステップＳ４１１に進める。
【００４４】
ステップＳ４１１において、カメラ１００の中央処理装置１０１はステップＳ４０４で顔認識した位置がステップＳ４０３において優先順位が３番目に高い領域内に含まれるか否かを判定する。顔認識した位置が優先順位が３番目に高い領域内に含まれる場合、処理をステップＳ４０６に進める。顔認識した位置が優先順位が３番目に高い領域内に含まれない場合、処理をステップＳ４０８に進める。
【００４５】
図３（ｆ）は、ステップＳ４０３において図３（ｂ）に示される優先順位が付与され、ステップＳ４０４において図３（ｃ）に示される顔認識がされていた場合に、ステップＳ４０８において、カメラ１００の中央処理装置１０１が領域を選択する例である。選択された領域は太枠で示されている。図３（ｆ）では、図３（ｂ）で最も高い優先順位を付与された領域ではなく、図３（ｃ）において顔認識された位置を選択している。
【００４６】
以上説明したように、本実施形態によれば、カメラ１００が撮影者の視線検出結果により、撮影画面内の多分割された各領域に優先順位を付与し、顔認識の出力が、最も優先順位の高い領域内、もしくはそれよりも優先順位の低い領域内であるか否かを判定する。そして、判定結果を基に、カメラの諸動作の制御を行う情報を得るべき領域を選択する。これにより、撮影者の意図したカメラの諸動作の制御を行う情報を得るべき領域が、視線検出結果で最も高い優先順位を付与されたとは異なる場合でも、撮影者の意図するカメラの諸動作の制御を行う情報を得るべき領域を選択することができる。
【００４７】
本実施形態では、最も優先順位が高い領域から３番目に優先順位が高い領域のいずれかに、顔認識の出力が含まれるか否かを判定するとして説明した。しかし、本発明はこの例に限定されるものではなく、任意の順位の優先順位の領域と、顔認識の出力を比較してもいい。
【００４８】
＜第３の実施形態＞
次に、第３の実施形態を説明する。
【００４９】
第２の実施形態では、撮影者の視線検出結果に基づいて最も高い優先順位を付与された領域、およびそれ以外の領域とを、被写体認識の出力と比較する場合の動作について述べた。
【００５０】
本実施形態では撮影者の視線検出結果に基づいて最も高い優先順位を付与された領域、およびそれ以外の領域とを、被写体認識の出力との距離とを比較する場合の動作について説明する。なお、本実施形態は第１・第２の実施形態と共通する部分が多い。したがって、第１・第２の実施形態と共通する部分については説明を省略し、本実施形態に特有の部分について主に説明する。
【００５１】
図５に、撮影者の視線検出結果によって領域を選択しＡＦを行うカメラ１００の動作のフローチャートを示す。
【００５２】
以下、図５に従って、カメラ１００の動作について示す。
【００５３】
ステップＳ５０１〜ステップ５０４、ステップＳ５０６〜ステップＳ５０９の処理は、図２のステップＳ２０１〜ステップＳ２０４、ステップＳ２０６〜ステップＳ２０９と同様の処理であるため、ここでは説明しない。
【００５４】
ステップＳ５０５において、カメラ１００の中央処理装置１０１はステップＳ５０４で顔認識した位置の中心とステップＳ５０３において優先順位が最も高い領域の中心との距離が閾値ｄ１以下か否かを判定する。顔認識した位置の中心と優先順位が最も高い領域の中心との距離が閾値ｄ１以下である場合、処理をステップＳ５０６に進める。顔認識した位置の中心と優先順位が最も高い領域の中心との距離が閾値ｄ１より大きい場合、処理をステップＳ５１０に進める。
【００５５】
ステップＳ５１０において、カメラ１００の中央処理装置１０１はステップＳ５０４で顔認識した位置の中心とステップＳ５０３において優先順位が２番目に高い領域の中心との距離が閾値ｄ２以下か否かを判定する。顔認識した位置の中心と優先順位が２番目に高い領域の中心との距離が閾値ｄ２以下である場合、処理をステップＳ５０６に進める。顔認識した位置の中心と優先順位が優先順位が２番目に高い領域の中心との距離が閾値ｄ２より大きい場合、処理をステップＳ５１１に進める。
【００５６】
ステップＳ５１１において、カメラ１００の中央処理装置１０１はステップＳ５０４で顔認識した位置の中心とステップＳ５０３において優先順位が３番目に高い領域の中心との距離が閾値ｄ３以下か否かを判定する。顔認識した位置の中心と優先順位が３番目に高い領域の中心との距離が閾値ｄ３以下である場合、処理をステップＳ５０６に進める。顔認識した位置の中心と優先順位が優先順位が３番目に高い領域の中心との距離が閾値ｄ３より大きい場合、処理をステップＳ５０８に進める。
【００５７】
以上説明したように、本実施形態によれば、カメラ１００が撮影者の視線検出結果により、撮影画面内の多分割された各領域に優先順位を付与し、顔認識の出力と、最も優先順位の高い領域内、もしくはそれよりも優先順位の低い領域との距離が閾値以下であるか否かを判定する。そして、判定結果を基に、カメラの諸動作の制御を行う情報を得るべき領域を選択する。
【００５８】
これにより、優先順位の高い領域が顔認識の出力とがわずかにずれてしまっているような場合でも、顔認識した位置を選択できる。つまり、撮影者の意図したカメラの諸動作の制御を行う情報を得るべき領域が、視線検出結果で最も高い優先順位を付与されたとは異なる場合でも、撮影者の意図するカメラの諸動作の制御を行う情報を得るべき領域を選択することができる。
【００５９】
本実施形態では、最も優先順位が高い領域から３番目に優先順位が高い領域のいずれかと、顔認識の出力との距離が閾値以下か否かを判定するとして説明した。しかし、本発明はこの例に限定されるものではなく、任意の順位の優先順位の領域と、顔認識の出力との距離を比較してもいい。また、本実施形態では、顔認識の出力の中心を用いて説明したが、顔認識の出力の重心などを用いてもいい。
【００６０】
＜他の実施形態＞
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。供給の形態はシステムあるいは装置記憶媒体に直接アクセスすることで供給されてもよいし、他の装置を介して供給されてもよい。
【符号の説明】
【００６１】
１０１  中央処理装置、１０３  操作部、１０４  画像処理装置、
１０８  視線検出装置
【図１】
2019008076.tif 000003
【図２】
2019008076.tif 000004
【図３】
2019008076.tif 000005
【図４】
2019008076.tif 000006
【図５】
2019008076.tif 000007