(57)【要約】【課題】撮像装置において、オートフォーカスモードの選択を簡単に、撮影者の意図通りに行うこと。【解決手段】撮像素子により撮像した画像データを表示する表示手段と、所望の被写体に合焦するようレンズ駆動手段を制御するオートフォーカス制御手段と、表示部上の撮影者の視線位置を検出する視線検出手段と、画像データに含まれる被写体を検出する被写体検出手段を有し、前記視線検出手段で検出した撮影者の視線の軌跡と、前記被写体検出手段で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変するオートフォーカスモード切り替え手段を有することを特徴とする。【選択図】図１
2017034569.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子（１０８）により撮像した画像データを表示する表示手段（１０６）と、
所定の被写体に合焦するようレンズ駆動手段（１５２）を制御するオートフォーカス制御手段（１０３）と、
表示部上の撮影者の視線位置を検出する視線検出手段（１０５）と、
画像データに含まれる被写体を検出する被写体検出手段（１０２）を有し、
前記視線検出手段（１０５）で検出した撮影者の視線の軌跡と、前記被写体検出手段（１０２）で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変するオートフォーカスモード切り替え手段（１０４）を有することを特徴とする撮像装置。
【請求項２】
前記視線検出手段（１０５）にて、前記オートフォーカス制御手段（１０３）のＡＦエリアの選択を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記オートフォーカスモード切り替え手段（１０４）にて一度オートフォーカスモード選択を行った後に、前記視線検出手段（１０５）にて別の対象物への視線検知が確認された場合は、オートフォーカスモード選択を一旦キャンセルして再取得することを特徴とする請求項１に記載の撮像装置。
【請求項４】
撮像素子（１０８）により撮像した画像データを表示する表示手段（１０６）と、
所定の被写体に合焦するようレンズ駆動手段（１５２）を制御するオートフォーカス制御手段（１０３）と、
表示部上の撮影者の視線位置を検出する視線検出手段（１０５）と、
画像データに含まれる被写体を検出する被写体検出手段（１０２）を有し、
前記視線検出手段（１０５）で検出した撮影者の視線の軌跡と、前記被写体検出手段（１０２）で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変するオートフォーカスモード切り替え手段（１０４）を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線検出機能を備えた撮像装置の撮影設定方法に関する。
【背景技術】
【０００２】
撮像装置において、主被写体を認識する被写体認識機能をもつ装置が知られている。この種の装置は、人物の顔等を主被写体として認識し、フォーカス、自動露出制御、カラーバランス等を主被写体に応じて制御する。また、近年視線検出機能を用いてユーザが被写体を選択する技術が知られている。
【０００３】
特許文献１には、視線検知機能によって、表示装置上の撮影者の視点の位置を検出し、撮影した画像の画像処理に活用する技術が開示されている。特許文献２には、視線検出機能の出力に応答して、複数の測距データの中から１つの測距データを選択することを特徴とする撮像装置が開示されている。
【０００４】
また、特にオートフォーカス（ＡＦ）機能では、一度オートフォーカスすると焦点の位置が固定されるワンショットＡＦと、選択した被写体に継続的に焦点を合わせ続けるコンティニュアスＡＦの２つのオートフォーカスモードがある。従来、オートフォーカスモードの選択は図７のようにメニュー画面から行う必要があり、モード選択に時間がかかるという課題がある。
【０００５】
その課題に対し、特許文献３には、自動で動作する被写体追尾機能が起動すると、ワンショットＡＦモードが選択されていてもコンティニュアスＡＦモードに切り替える撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１０９７５６号公報
【特許文献２】特開平８−０９４９１５号公報
【特許文献３】特開平６−１６０９４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の特許文献２に開示された従来技術は、被写体追尾機能が自動で動作すると機械的にコンティニュアスＡＦモードに切り替わるため、撮影者が意図しない場合にもＡＦモード切り替えが行われることがある。
【０００８】
そこで、本発明の目的は、オートフォーカスモードの選択を簡単に、撮影者の意図通りに行うことである。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明に係る撮像装置は、
撮像素子により撮像した画像データを表示する表示手段と、所望の被写体に合焦するようレンズ駆動手段を制御するオートフォーカス制御手段と、表示部上の撮影者の視線位置を検出する視線検出手段と、画像データに含まれる被写体を検出する被写体検出手段を有し、
前記視線検出手段で検出した撮影者の視線の軌跡と、前記被写体検出手段で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変するオートフォーカスモード切り替え手段を有することを特徴とする。
【発明の効果】
【００１０】
本発明に係る撮像装置によれば、視線検出手段で検出した撮影者の視線の軌跡と、被写体検出手段で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変することで、オートフォーカスモードの選択を簡単に、撮影者の意図通りに行うことが可能となる。また、一度オートフォーカスモード選択を行った後に、別の対象物への視線検知が確認された場合は、オートフォーカスモード選択を一旦キャンセルして再取得することで、オートフォーカスモードの選択を簡単に、より撮影者の意図通りに行うことが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例１における撮像装置の構成を示す図である。
【図２】本発明の実施例１における制御処理を示すフローチャートである。
【図３】本発明の実施例１におけるコンティニュアスＡＦが設定される例を示す説明図である。
【図４】本発明の実施例１におけるワンショットＡＦが設定される例を示す説明図である。
【図５】本発明の実施例２における制御処理を示すフローチャートである。
【図６】本発明の実施例２におけるキャンセル動作が実行される例を示す説明図である。
【図７】従来例におけるオートフォーカスモード設定方法例である。
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１３】
図１は本発明の実施形態にかかわる撮像装置の構造を示す図である。図１において、１００はカメラ本体、１５０は交換レンズである。カメラ本体１００はマイコン１０１、視線検出部１０５、表示制御部１０６、ディスプレイ１０７、撮像素子１０８、レンズ接続部１０９から構成される。
【００１４】
マイコン１０１は、被写体検出部１０２、オートフォーカス制御部１０３、オートフォーカスモード切り替え部１０４から構成される。
【００１５】
被写体検出部１０２は、入力画像の画像データから入力画像に含まれる被写体を検出する被写体検出処理を実行する。
【００１６】
オートフォーカス制御部１０３は、所望の被写体に合焦するようレンズ駆動部１５２を制御する。
【００１７】
オートフォーカスモード切り替え部１０４は、被写体検出部１０２で検出した被写体の軌跡と視線検出部１０５で検出した撮影者の視線の軌跡に応じて、オートフォーカスモードを可変する。
【００１８】
視線検出部１０５は、赤外線ＬＥＤなどの光源で撮影者の顔を照射し、赤外線対応の撮像素子で眼球の状態を監視する。眼球の角膜反射の位置に対する瞳孔の位置に基づいて、撮影者の視線方向を検出し、ディスプレイ１０７に表示されたどの部分を撮影者が注視しているかを検出する。
【００１９】
表示制御部１０６は、撮像素子により撮像した画像データに応じて、ディスプレイ１０７に反映する動作を決定する。
【００２０】
ディスプレイ１０７は、表示制御部１０６によって制御され、撮像素子１０８により撮像した画像データを表示するものである。
【００２１】
撮像素子１０８は、ＣＭＯＳセンサ等で構成され、レンズ１５０を通った被写体からの光を電気信号に変換する。
【００２２】
レンズ接続部１０９は、撮像装置と交換レンズの接続を行う。
【００２３】
また、交換レンズ１５０はレンズマイコン１５１、レンズ駆動部１５２、カメラ接続部１５３から構成される。
【００２４】
レンズマイコン１５１は、カメラ本体１００からのレンズ制御命令に従いレンズ駆動１５２の制御を行う。
【００２５】
レンズ駆動１５２はレンズマイコン１５１からの制御命令でオートフォーカス駆動、絞り駆動等を行う。
【００２６】
カメラ接続部１５３は、交換レンズ１５０と撮像装置１００の接続を行う。
【実施例１】
【００２７】
実施例１では、視線検出手段で検出した撮影者の視線の軌跡と、被写体検出手段で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変する撮像装置の例を述べる。
【００２８】
以下、図２のフローチャートと図３、図４の説明図を参照して、本発明の実施例１の動作について説明する。
【００２９】
図２のステップＳ１０１では、撮像素子１０８にてライブビュー撮影（ディスプレイ１０７に撮像した画像をリアルタイムに反映させながら撮影を行う動作）が開始されたかどうかを判定する。開始された場合はステップＳ１０２に進み、そうでなければステップＳ１０１を繰り返す。
【００３０】
ステップＳ１０２では、視線検出部１０５を使用して撮影者の視線から、ディスプレイ１０７に表示されたどの部分を撮影者が注視しているか座標（Ｘ１１，Ｙ１１）を検出する。
【００３１】
ステップＳ１０３では、被写体検出部１０２にて入力画像の画像データから入力画像に含まれる被写体を検出する被写体検出処理を実行する。本実施例の被写体検出においては、フレーム単位の画像を解析し、人物等の顔を主被写体として認識する顔検出を行う。
【００３２】
具体的には、被写体検出部１０２は、入力画像の画像データからパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、被写体検出部１０２は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。被写体検出部１０２は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。
【００３３】
本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。さらには、パターンマッチングによって入力画像上にある顔だけでなく、動物、車、山、木、花なども検出が可能である。
【００３４】
上記の被写体検出により、画像データに含まれる被写体の座標（Ｘ２１，Ｙ２１）を算出する。
【００３５】
ステップＳ１０４では、所定時間後に撮影者の視線注視点の座標（Ｘ１２，Ｙ１２）を検出する。検出方法はステップＳ１０２と同様のため、説明を省略する。
【００３６】
ステップＳ１０５では、ステップＳ１０４と同タイミングにて画像データに含まれる被写体の座標（Ｘ２２，Ｙ２２）を算出する。検出方法はステップＳ１０３と同様のため、説明を省略する。
【００３７】
ステップＳ１０６では、以下の式（１）、（２）より（Ｘ１１，Ｙ１１）と（Ｘ２１，Ｙ２１）の距離Ｄ１、（Ｘ１２，Ｙ１２）と（Ｘ２２，Ｙ２２）の距離Ｄ２を算出し、それぞれが所定値以内かどうかの判定を行う。
【００３８】
【数１】
2017034569.tif 000003
【００３９】
【数２】
2017034569.tif 000004
【００４０】
結果が所定値以内であれば、図３のように視線の軌跡と被写体の軌跡が一致しているためステップＳ１０７に、そうでなければステップＳ１０８に進む。
【００４１】
ステップＳ１０７では、ステップＳ１０６にて「撮影者が視線で追っている被写体にオートフォーカスしたい場合」と判断されているため、オートフォーカス制御１０３を使用しステップＳ１０３にて検出された被写体にコンティニュアスＡＦを実行し追尾にてオートフォーカスさせる。
【００４２】
ステップＳ１０８では、以下の式（３）より（Ｘ１１，Ｙ１１）と（Ｘ１２，Ｙ１２）の距離Ｄ３を算出し、所定値以内かどうかの判定を行う。
【００４３】
【数３】
2017034569.tif 000005
【００４４】
結果が所定値以内であれば、図４のように撮影者が同一点を注視しているため、ステップＳ１０９に、そうでなければステップＳ１０２からの処理を繰り返す。
【００４５】
ステップＳ１０９では、ステップＳ１０８にて「撮影者が注視している点にオートフォーカスしたい場合」と判断されているため、オートフォーカス制御１０３を使用し撮影者が注視している点にワンショットＡＦを設定させる。
【００４６】
ステップＳ１１０にてシャッターボタンが半押しされると、ステップＳ１１１にてオートフォーカス制御１０３を使用しステップＳ１０７、Ｓ１０９で設定したＡＦモードでオートフォーカスを実行する。
【００４７】
以上のように、実施例１によれば、視線検出手段で検出した撮影者の視線の軌跡と、被写体検出手段で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変する撮像装置が可能となる。
【００４８】
なお、図２ステップＳ１０２〜Ｓ１０５にて、視線の軌跡と被写体の軌跡の一致を確認する箇所を２点としたが、必ずしも２点である必要はなく、一致確認箇所の数に指定はない。
【００４９】
また、図２ステップＳ１０２〜Ｓ１０８にて、視線の軌跡と被写体の軌跡の一致を確認する方法を座標の距離を算出する方法としたが、動きベクトル等の別の方法から一致を確認することとしてもよい。
【００５０】
また、図２ステップＳ１０６、Ｓ１０８にて選択できるオートフォーカスモードをワンショットＡＦとコンティニュアスＡＦとしたが、それ以外のオートフォーカスモードとしてもよい。
【００５１】
以上で実施例１の説明を終了する。
【実施例２】
【００５２】
実施例２では、一度オートフォーカスモード選択を行った後に、別の対象物への視線検知が確認された場合は、オートフォーカスモード選択を一旦キャンセルして再取得する撮像装置の例を述べる。
【００５３】
以下、図５のフローチャートと図６の説明図を参照して、本発明の実施例２の動作について説明する。本発明の実施例２にかかわる撮像装置の構成は図１と同様のため、説明を省略する。
【００５４】
図５のステップＳ２０１〜Ｓ２０９、Ｓ２１４〜Ｓ２１５は実施例１における図２のステップＳ１０１〜Ｓ１１１と同様のため、説明を省略する。
【００５５】
ステップＳ２１０では、ステップＳ２０７、Ｓ２０９でのＡＦモード設定から所定時間後に撮影者の視線注視点の座標（Ｘ１３，Ｙ１３）を検出する。検出方法は実施例１のステップＳ１０２と同様のため、説明を省略する。
【００５６】
ステップＳ２１１では、ステップＳ２１０と同タイミングにて画像データに含まれる被写体の座標（Ｘ２３，Ｙ２３）を算出する。検出方法は実施例１のステップＳ１０３と同様のため、説明を省略する。
【００５７】
ステップＳ２１２では、以下の式（４）より（Ｘ１３，Ｙ１３）と（Ｘ２３，Ｙ２３）の距離Ｄ４を算出し、所定値以上かどうかの判定を行う。
【００５８】
【数４】
2017034569.tif 000006
【００５９】
結果が所定値以上であれば、図６のように撮影者が別の対象物への視線を移動した場合であるためステップＳ２１３に進み、そうでなければステップＳ２１０から処理を繰り返す。
【００６０】
ステップＳ２１３では、ステップＳ２１２にて「撮影者が別の対象物にオートフォーカスしたい場合」と判断されているため、ステップＳ２０７、Ｓ２０９で設定したオートフォーカスモード設定を初期設定に戻す。
【００６１】
以上のように、実施例２によれば、一度オートフォーカスモード選択を行った後に、別の対象物への視線検知が確認された場合は、オートフォーカスモード選択を一旦キャンセルして再取得する撮像装置が可能となる。
【００６２】
なお、図２ステップＳ２０２〜Ｓ２０５にて、視線の軌跡と被写体の軌跡の一致を確認する箇所を２点としたが、必ずしも２点である必要はなく、一致確認箇所の数に指定はない。
【００６３】
また、図２ステップＳ２０２〜Ｓ２０８にて、視線の軌跡と被写体の軌跡の一致を確認する方法を座標の距離を算出する方法としたが、動きベクトル等の別の方法から一致を確認することとしてもよい。
【００６４】
また、図５ステップＳ２０６、Ｓ２０８にて選択できるオートフォーカスモードをワンショットＡＦとコンティニュアスＡＦとしたが、それ以外のオートフォーカスモードとしてもよい。
【００６５】
また、図５ステップＳ２１０〜Ｓ２１３にてオートフォーカスモードをキャンセルして初期設定に戻す検知動作を別の被写体への視線検知としたが、撮影者の瞬き検知など等の別の動作としてもよい。
【００６６】
以上で実施例２の説明を終了する。
【００６７】
以上説明したように、本発明によれば、撮像装置において、視線検出手段で検出した撮影者の視線の軌跡と、被写体検出手段で検出した被写体の軌跡が一致した場合はオートフォーカスモードをコンティニュアスＡＦに、視線が所定時間１点に定まっている場合はワンショットＡＦに設定するようオートフォーカスモードを可変することで、オートフォーカスモードの選択を簡単に、撮影者の意図通りに行うことが可能となる。
【００６８】
また、一度オートフォーカスモード選択を行った後に、別の対象物への視線検知が確認された場合は、オートフォーカスモード選択を一旦キャンセルして再取得することで、オートフォーカスモードの選択を簡単に、より撮影者の意図通りに行うことが可能となる。
【００６９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、図２ステップＳ１０２〜Ｓ１０５にて、視線の軌跡と被写体の軌跡の一致を確認する箇所を２点としたが、必ずしも２点である必要はなく、一致確認箇所の数に指定はない。
【００７０】
また、図２ステップＳ１０２〜Ｓ１０８にて、視線の軌跡と被写体の軌跡の一致を確認する方法を座標の距離を算出する方法としたが、動きベクトル等の別の方法から一致を確認することとしてもよい。
【００７１】
また、図２ステップＳ１０６、Ｓ１０８にて選択できるオートフォーカスモードをワンショットＡＦとコンティニュアスＡＦとしたが、それ以外のオートフォーカスモードとしてもよい。
【００７２】
また、図５ステップＳ２１０〜Ｓ２１３にてオートフォーカスモードをキャンセルして初期設定に戻す検知動作を別の被写体への視線検知としたが、撮影者の瞬き検知など等の別の動作としてもよい。
【符号の説明】
【００７３】
１００  カメラ本体、１０１  マイコン、１０２  被写体検出部、
１０３  オートフォーカス制御部、１０４  オートフォーカスモード切り替え部、
１０５  視線検出部、１０６  表示制御部、１０７  ディスプレイ、１０８  撮像素子、
１０９  レンズ接続部、１５０  交換レンズ、１５１  レンズマイコン、
１５２  レンズ駆動部、１５３  カメラ接続部
【図１】
2017034569.tif 000007
【図２】
2017034569.tif 000008
【図３】
2017034569.tif 000009
【図４】
2017034569.tif 000010
【図５】
2017034569.tif 000011
【図６】
2017034569.tif 000012
【図７】
2017034569.tif 000013