(57)【要約】【課題】  広い空間の中から撮影者が関心のある被写体を瞬間的にまたは直感的に撮影することができる撮像装置を提供すること。【解決手段】  撮像装置１０は、撮像光学系３２により結像した像を光電変換して画像信号を出力することで撮像する撮像手段１２と、撮影者２０が視覚的に関心を持つ関心方向２０Ａを検出する検出手段１４と、撮像光学系３２の光軸１２Ａを中心とする許容範囲の方向を比較情報とし、検出手段１４にて検出された関心方向２０Ａが比較情報と一致したことを判定する判定手段１６と、判定手段１６からの出力に基づく撮影タイミングで、撮像手段１２を撮像制御する制御手段１８とを有する。【選択図】      図１
2011045000.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系により結像した像を光電変換して画像信号を出力することで撮像する撮像手段と、
撮影者が視覚的に関心を持つ関心方向を検出する検出手段と、
前記撮像光学系の光軸を中心とする許容範囲の方向を比較情報とし、前記検出手段にて検出された関心方向が前記比較情報と一致したことを判定する判定手段と、
前記判定手段からの出力に基づく撮影タイミングで、前記撮像手段を撮像制御する制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
請求項１において、
前記検出手段は検出光学系を含み、前記検出手段の検出光学系の光軸と前記撮像光学系の光軸とは、一致または平行な関係にあり、
前記判定手段は、前記検出手段にて検出された関心方向が、前記撮像光学系の光軸を中心とする許容範囲の方向と一致したことを判定することに代えて、前記検出光学系の光軸を中心とする許容範囲の方向と一致したことを判定するものであることを特徴とする撮像装置。
【請求項３】
請求項２において、
前記撮像手段は、前記撮像光学系を含む第１のカメラを有し、
前記検出手段は、前記検出光学系を介して前記撮影者の顔の画像を撮像する第２のカメラと、前記第２のカメラから取得される前記画像中の複数の特徴点に基づいて、前記関心方向を検出する検出部とを有することを特徴とする撮像装置。
【請求項４】
請求項３において、
前記比較情報は、前記撮影者が前記第２のカメラと正対した状態で前記第２のカメラで撮像された画像中の複数の特徴点に基づいて生成されていることを特徴とする撮像装置。
【請求項５】
請求項４において、
少なくとも撮影モードと初期設定モードとに切り換えるモード切換手段を有し、
前記比較情報は、前記初期設定モードで設定されることを特徴とする撮像装置。
【請求項６】
請求項５において、
前記モード切換手段は、前記撮影モードとして自動撮影モードと手動モードとに切り換え可能であり、
前記制御手段は、前記自動撮影モードの時に、前記判定手段からの出力に基づく撮影タイミングで前記撮像手段を撮像制御することを特徴とする撮像装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記撮影者から前記撮像装置までの距離を検出する距離検出手段をさらに有し、
前記制御手段は、前記距離検出手段にて検出された距離に基づいて、前記撮像手段の画角を調整することを特徴とする撮像装置。
【請求項８】
請求項７において、
前記比較情報は、前記撮影者から前記撮像装置までの距離に応じて許容幅が異なるように複数種が設定され、
前記判定手段は、前記距離検出手段からの距離に基づいて、前記複数種の比較情報の中の一つを前記比較情報として選択することを特徴とする撮像装置。
【請求項９】
請求項８において、
前記制御手段は、前記距離検出手段にて検出された距離が長いほど前記撮像手段の前記画角を狭くするように調整し、前記距離が短いほど前記撮像手段の前記画角を広くなるように調整し、
前記複数種の比較情報は、前記距離が長いほど許容幅が狭く、前記距離が短いほど許容幅が広く設定されていることを特徴とする撮像装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記判定手段が一致判定した時に、前記撮影者に撮影が実施されることを告知する告知手段をさらに有することを特徴とする撮像装置。
【請求項１１】
請求項１０において、
前記判定手段では、前記関心方向と前記比較情報との不一致の度合いが検出され、
前記告知手段は、前記判定手段で検出された不一致の度合いに応じて出力を異ならせることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
従来、カメラ撮影に際しては、被写体を確認した後にシャッターを操作するのが一般的である。ビューファインダー付カメラであればファインダーにて、デジタルカメラであればモニター画面にて、それぞれ被写体を確認してフレーミングを行い、その後にシャッターを操作している。
【０００３】
一方、撮影者の負担を軽減するための提案もなされている。特許文献１に記載の発明は、被写体を撮影する第１のカメラに加えて、撮影者を撮影する第２のカメラを設けている。第２のカメラの撮影画像により撮影者が興味を示す方向を追尾し、それに基づいて撮影したい被写体が存在すると予想される位置に第１のカメラをパン・チルト機構で移動させて、撮影支援している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−７４０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ビューファインダーやモニター画面が存在すると、それらを用いてフレーミングするという操作を経て撮影することを強いることになる。また、カメラに備えられたファインダーやモニター画面に映る範囲以外にも興味を引く被写体が存在するにもかかわらず、一旦カメラを構えると、被写体の対象がファインダーやモニター画面の範囲内に制限されてしまっていた。
【０００６】
一方、例えばカメラが極限まで小型化される等の理由で、ビューファインダーやモニター画面がなくなる可能性もある。
【０００７】
特許文献１では撮影者の負担を軽減しいているが、これを実現するには撮影者が興味を示す方向（縦軸方向と横軸方向の双方）と角度の算出が不可欠である（段落０１１０〜０１１９参照）。よって、大規模なシステムとならざるを得ない。
【課題を解決するための手段】
【０００８】
本発明の幾つかの態様によれば、撮影者に、フレーミングして被写体を特定させる操作や、カメラを通じて被写体を確認した後にシャッター押下する操作等の煩わしい作業を強いずに、しかも広い空間の中から撮影者が関心のある被写体を瞬間的にまたは直感的に撮影することができる撮像装置を提供することができる。
【０００９】
本発明の一態様は、
撮像光学系により結像した像を光電変換して画像信号を出力することで撮像する撮像手段と、
撮影者が視覚的に関心を持つ関心方向を検出する検出手段と、
前記撮像光学系の光軸を中心とする許容範囲の方向を比較情報とし、前記検出手段にて検出された関心方向が前記比較情報と一致したことを判定する判定手段と、
前記判定手段からの出力に基づく撮影タイミングで、前記撮像手段を撮像制御する制御手段と、
を有する撮像装置に関わる。
【００１０】
本発明の一態様によれば、撮影者が視覚的に関心を持つ関心方向が撮像装置の向けられた方向（撮像光学系の光軸を中心とする許容範囲の方向）と一致した時に、自動的に撮像動作を行うことができる。このため、被写体の対象がファインダーやモニター画面の範囲内に制限されずに、広い空間の中から撮影者が関心のある被写体を瞬間的にまたは直感的に撮影することができる。
【００１１】
本発明の一態様では、前記検出手段は検出光学系を含み、前記検出手段の検出光学系の光軸と前記撮像光学系の光軸とは、一致または平行な関係にあり、前記判定手段は、前記検出手段にて検出された関心方向が、前記撮像光学系の光軸を中心とする許容範囲の方向と一致したことを判定することに代えて、前記検出光学系の光軸を中心とする許容範囲の方向と一致したことを判定することができる。
【００１２】
こうすると、被写体に向けられる撮像手段の光軸を直接検出することなく、撮影者に向けて配置できる検出手段の光軸に基づいて許容範囲を設定することができる。
【００１３】
本発明の一態様では、前記撮像手段は、前記撮像光学系を含む第１のカメラを有し、前記検出手段は、前記検出光学系を介して前記撮影者の顔の画像を撮像する第２のカメラと、前記第２のカメラから取得される前記画像中の複数の特徴点に基づいて、前記関心方向を検出する検出部とを有することができる。
【００１４】
このように、被写体を撮像する第１のカメラを撮像手段とした場合、検出手段として、撮影者を撮像する第２のカメラを追加することで、撮影者の関心方向の検出と、一致判定とを行うことができる。ここで、第２のカメラで撮像された画像、特に顔画像中には、顔の向き、視線方向、注視方向等を特定できる複数の特徴点が存在する。よって、撮影者が視覚的に関心を示す関心方向は、画像、特に顔画像中の複数の特徴点から、顔の向き、視線方向または注視方向として検出することができる。
【００１５】
本発明の一態様では、前記比較情報は、前記撮影者が前記第２のカメラと正対した状態で前記第２のカメラで撮像された画像中の複数の特徴点に基づいて生成することができる。撮影者が前記第２のカメラと正対した状態とは、撮影者の関心方向が第１カメラの撮像光学系の光軸と一致し、または平行である状態となり、許容範囲の中心となる方向である。第２のカメラで撮像された正対画像、特に顔画像中の顔の向き、視線方向、注視方向等を特定できる複数の特徴点は、許容範囲の中心を示し、それに基づいて中心からの許容幅を含む許容範囲を含む比較情報を設定できる。
【００１６】
本発明の一態様では、少なくとも撮影モードと初期設定モードとに切り換えるモード切換手段を有し、前記比較情報は、前記初期設定モードで設定することができる。
【００１７】
比較情報は電源ＯＮ時等に毎回収集してもよいが、初期設定モードで一旦登録しておくだけでも良く、こうすると電源ＯＮ時に撮影モードに速やかに移行できるからである。
【００１８】
本発明の一態様では、前記モード切換手段は、前記撮影モードとして自動撮影モードと手動モードとに切り換え可能であり、前記制御手段は、前記自動撮影モードの時に、前記判定手段からの出力に基づく撮影タイミングで前記撮像手段を撮像制御することができる。
【００１９】
こうすると、従来通り手動によりシャッター操作するものと本発明の自動シャッター機能とを使い分けることができる。従って本発明の一態様では、シャッター釦、ファインダーまたは表示モニターが存在する撮像装置にも適用でき、自動撮影モードではそれらの装備を使用せずに撮影できる。
【００２０】
本発明の一態様では、前記撮影者から前記撮像装置までの距離を検出する距離検出手段をさらに有し、前記制御手段は、前記距離検出手段にて検出された距離に基づいて、前記撮像手段の画角を調整することができる。
【００２１】
撮影者から撮像装置までの距離の情報を、撮影者が広角撮影したいのか、あるいはズームアップ撮影したいのかの意思の表れと捉え、その距離に基づいて画角を自動調整することができる。
【００２２】
本発明の一態様では、前記比較情報は、前記撮影者から前記撮像装置までの距離に応じて許容幅が異なるように複数種が設定され、前記判定手段は、前記距離検出手段からの距離に基づいて、前記複数種の比較情報の中の一つを前記比較情報として選択することができる。
【００２３】
こうすると、許容幅の異なる複数種の比較情報を、撮影者から前記撮像装置までの距離に応じて使い分けることができる。撮影者から前記撮像装置までの距離に応じて画角を調整する場合には、画角によって一致検出の精度が高く求められる場合とそうでない場合があるからである。
【００２４】
この場合、前記制御手段は、前記距離検出手段にて検出された距離が長いほど前記撮像手段の前記画角を狭くするように調整し、前記距離が短いほど前記撮像手段の前記画角を広くなるように調整し、前記複数種の比較情報は、前記距離が長いほど許容幅を狭く、前記距離が短いほど許容幅を広く設定することができる。
【００２５】
画角が広角であれば、撮像手段の光軸が被写体位置との関係で多少ずれても、関心のある被写体は広角画像中に位置させることができるからである。逆に、画角が狭角であると、撮像手段の光軸が被写体位置との関係で多少でもずれると、関心のある被写体は狭角画像中に位置させることができないからである。
【００２６】
本発明の一態様では、前記判定手段が一致判定した時に、前記撮影者に撮影が実施されることを告知する告知手段をさらに有することができる。これにより、撮影者はシャッター釦を操作しなくても、撮影されたことを実感することができる。
【００２７】
この場合、前記判定手段では、前記関心方向と前記比較情報との不一致の度合いが検出され、前記告知手段は、前記判定手段で判定された不一致の度合いに応じて出力を異ならせることができる。こうすると、撮影者は、撮影タイミングが近いか遠いかも実感することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態に係る機能ブロック図である。
【図２】撮影者の関心方向と撮像光学系の光軸との一致・不一致を説明するための動作説明図である。
【図３】図１の機能ブロック図をさらに具体化したブロック図である。
【図４】初期設定と一致判定動作の一例を示すフローチャートである。
【図５】初期設定される画像の特徴点を示す図である。
【図６】撮影モード時に検出される画像の特徴点を示す図である。
【図７】撮像装置から撮影者までの距離を画像の特徴点から求める動作を説明するための図である。
【図８】撮像装置から撮影者までの距離が図７より長い場合の動作説明図である。
【図９】撮像装置から撮影者までの距離が短い場合に画角を広角とする動作説明図である。
【図１０】撮像装置から撮影者までの距離が長い場合に画角を狭角とする動作説明図である。
【図１１】撮像装置から撮影者までの距離に応じて許容幅の異なる複数種の比較情報を用いた実施形態の制御系を示す図である。
【図１２】実施例装置の全体動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００２９】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００３０】
１．実施形態の概要
図１は本実施形態のブロック図であり、図２は動作説明図である。図１において、撮像装置例えばデジタルカメラ１０は、例えばシャッター釦や、ファインダーまたはモニター画面は有せず、撮像手段１２、検出手段１４、判定手段１６及び制御手段１８を有する。撮像手段１２は、撮像光学系により結像した像である被写体２２を光電変換して画像信号を出力することで撮像する。撮像手段１２に撮像動作させるために、検出手段１４、判定手段１６及び制御手段１８が設けられている。特に本実施形態では、撮影者２０が、フレーミングして被写体を特定させる操作や、カメラを通じて被写体を確認した後にシャッター押下する操作等の煩わしい作業を強いずに、撮影者の行動に基づいて自動シャッター動作を可能としている。自動シャッターは、メカニカルシッャターまたは電子シャッターのいずれでも良い。
【００３１】
マンマシンインターフェースとして機能する検出手段１４は、撮影者２０が視覚的に関心を示す関心方向２０Ａを検出する。図２に示すように、関心方向Ａとは、例えば撮影者２０の顔が正対する方向とすることができる。関心方向Ａとは、撮影者２０の視線方向または注視方向としてもよい。
【００３２】
ここで、本実施形態では、撮影者２０と撮像装置１０とを平面視で示す図２において、撮像手段１２の撮像光学系の光軸１２Ａと、検出手段１４の検出光学系の光軸１４Ａとは同一線上に描かれている。つまり、撮像手段１２の光軸１２Ａと、検出手段１４の光軸１４Ａとは、平面視では一致している。これに限らず、撮像手段１２の光軸１２Ａと、検出手段１４の光軸１４Ａとは、平面視で平行であっても良い。また、撮像手段１２の光軸１２Ａと、検出手段１４の光軸１４Ａとは、側面視で一致（各光軸が高さ方向で同一線上にある）していても良いし、側面視で平行（各光軸が異なる高さ位置にある）であってもよい。結局、撮像手段１２の光軸１２Ａと、検出手段１４の光軸１４Ａとは、一致するか、または平行の関係にある。
【００３３】
図２の撮影者２０にとって、破線で示す位置に撮像装置１０が配置されている時には、撮影者２０の関心方向２０Ａは、撮像装置１０の撮像手段１２における光軸１２Ａの方向とは平面視で全く異なっている。このような場合、撮影者２０には撮影意思はないとみなされる。つまり、撮影者２０は関心対象である被写体２２を眺めており、撮像装置１０を手に持ったままで、撮影者２０の視線の線上に撮像装置１０を構えていない状態である。
【００３４】
その後、撮影者２０が、撮像装置１０を図２にて破線で示す位置から、撮影者２０の関心方向２０Ａの途中位置である実線位置に移動させる。撮影者２０の関心方向２０Ａは、撮像装置１０の撮像手段１２における光軸１２Ａの方向と平面視で一致する。この動作は、被写体２２に向けて撮像装置１０を構えた動作であり、撮影者２０の撮影意思動作または撮影姿勢に向けた動作であると言える。換言すれば、撮影者が瞬間的に、直感的に、あるいは心のままに撮影するシャッターチャンスである。本実施形態では、検出手段１４がマンマシンインターフェースとして機能し、図２の実線位置に撮像装置１０が配置される動作を捉えて、自動的に被写体２２を撮像している。
【００３５】
判定手段１６は、検出手段１４にて検出された撮影者２０の関心方向２０Ａが、撮像手段１２の撮像光学系の光軸１２Ａを中心とする許容範囲の方向（比較情報）と一致したことを判定する。撮影者２０の関心方向２０Ａが、撮像手段１２の撮像光学系の光軸１２Ａを中心とする許容範囲の方向とは、撮影者２０の関心方向２０Ａが、撮像手段１２の撮像光学系の光軸１２Ａと一致し、または平行の関係であることはもちろん、さらには少ない角度で交差する関係も許容範囲として含むことを意味する。つまり、判定手段１６は、関心方向２０Ａと光軸１２Ａとの関係から、撮影者２０が被写体２２に向けて撮像装置１０を構えたか否かを判定するのである。
【００３６】
ここで、上述の通り、撮像手段１２の撮像光学系の光軸１２Ａと、検出手段１４の光軸１４Ａとは、一致するか、または平行の関係にある。よって判定手段１６は、検出手段１４にて検出された撮影者２０の関心方向２０Ａが、検出手段１４の検出光学系の光軸１４Ａを中心とする許容範囲の方向であることを判定してもよい。このことは、結果的に、関心方向２０Ａが、撮像手段１２の撮像光学系の光軸１２Ａと一致する方向を中心とする許容範囲の方向であると判定したことと実質的に等価と言えるからである。
【００３７】
制御手段１８は、判定手段１６からの出力に基づく撮影タイミングで、撮像手段１２を撮像制御する。こうして、マンマシンインターフェースである検出手段１４が、図２の実線位置に撮像装置１０が配置される動作を捉えて、撮像手段１２が自動的に被写体２２を撮像することができる。
【００３８】
以上の通り、本実施形態によれば、撮影者２０の撮影意思動作または撮影姿勢に向けた動作を検出手段１４が捉えたことを判定手段１６が判定して、制御手段１８を介して撮像手段１２が自動撮像することができる。よって、撮影者２０に、フレーミングして被写体２２を特定させる操作や、カメラを通じて被写体を確認した後にシャッター押下する操作等の煩わしい作業を強いずに、撮影者２０が瞬間的に、直感的に、または心のままに撮影することができる。
【００３９】
２．具体的な実施形態
２．１．装置の全体説明
次に、本発明をより具体化した実施形態について、図３を参照して説明する。図３は、図１のブロック図をさらに具体化したブロック図である。図３には、撮像手段１２と、検出手段１４と、判定手段１６及び制御手段１８の機能を備えた制御部１００に加えて、顔距離検出部８０、姿勢検出部９０、ユーザーインターフェース部１１０、画像記憶部１２０、電源部１３０及び告知部１４０が設けられている。
【００４０】
被写体２２を撮像する撮像手段１２は、図３に示す第１の撮像部３０と第１の撮像制御部４０とで構成されている。第１の撮像部３０は、撮像光学系３２とイメージセンサ３４とを有する。イメージセンサ３４は、撮像光学系３２により結像した像を光電変換して画像信号を出力する。
【００４１】
この第１の撮像部３０は、光学ズーム可能であり、第１の撮像制御部４０の制御により、焦点距離を例えば２８ｍｍから８４ｍｍに調整して３倍ズームが可能である。この第１の撮像制御部４０は、撮像装置１０と撮影者２０との距離に基づいて第１の撮像部３０の画角調整（焦点距離調整）を行うことができる。画角調整の詳細については後述する。
【００４２】
第１の撮像制御部４０は、第１の撮像部３０のオートフォーカス（ＡＦ）制御を行なうことができる。第１の撮像部３０のＡＦ方式として例えばコントラストＡＦ方式が採用され、光軸１２Ａ上のポイントに対して撮像装置１０に最も近い物体にコンティニュアスＡＦをかける。これに代えて、撮影者によって任意のポイントをＡＦポイントとしても良い。なお、第１の撮像部３０は、撮影モード中は連続的にＡＦ動作を行い、上述の通り判定手段１６によって光軸一致の判定がなされた場合には、その一致時のポイントをＡＦポイントとして撮像が行なわれる。
【００４３】
第２の撮像制御部６０は、制御部１００からの制御信号に基づいて、上述したＡＦ動作や画角調整（焦点距離調整）を実施するほか、第１の撮像部３０からの画像に対して画像処理を実施する。また、第２の撮像制御部６０は、ＡＦ動作の結果得られた合焦距離情報を制御部１００に転送され、上述した判定手段１６による光軸一致検出時に利用に供される。
【００４４】
撮影者２０の関心方向２０Ａを検出する検出手段１４は、図３に示す第２の撮像部５０、第２の撮像制御部６０及び顔方向検出部７０を有する。第２の撮像部５０は、検出光学系５２とイメージセンサ５４とを有する。イメージセンサ５４は、検出光学系５２により結像した像を光電変換して画像信号を出力する。第２の撮像制御部６０は、第２の撮像部５０の撮像動作を制御する。
【００４５】
第２の撮像部５０は、広角形の検出光学系５２を有し、パンフォーカスで撮像ができるようになっている。第２の撮像部５０の撮像条件は、ユーザーインターフェース部１１０からの設定情報を制御部１００及び第２の撮像制御部６０を介して入力設定される。
【００４６】
第２の撮像部５０からの画像は、第２の撮像制御部６０にて画像処理されて、顔方向検出部７０と顔距離検出部８０とに送信される。
【００４７】
顔方向検出部７０は、撮影者２０の関心方向２０Ａを検出するために、撮影者２０の顔を検出した上で、その顔の向きを検出する機能を有する。つまり、本実施形態では、撮影者２０の顔が向いている方向を、撮影者２０が視覚的に関心を示す関心方向２０Ａと位置づけている。この顔検出と顔方向検出の詳細については後述する。
【００４８】
顔距離検出部８０は、撮像装置１０と撮影者２０の顔との間の距離を検出する。顔距離検出部８０での距離検出は、顔方向検出部７０と同様にして検出される顔の複数の特徴点を抽出し、その特徴点間の距離に基づいて、撮像装置１０と撮影者２０の顔との間の距離を相対的に検出する。なお、顔距離検出部８０にて用いられる顔の特徴点についての情報は、顔方向検出部７０から供給を受けても良い。
【００４９】
なお、本実施形態では、顔距離検出部８０は、第２の撮像部５０からの画像情報に基づいて検出しているが、このような画像判定から検出するものに限らず、赤外線によって距離測定する等の距離測定手段を用いても良い。
【００５０】
姿勢検出部９０は、撮像装置１０の姿勢検出を行う。姿勢検出部９０は、第１の撮像３０の撮像光学系３２の光軸を基準軸（Ｚ軸）とし、Ｚ軸と直交する平面上の直交二軸をＸ軸及びＹ軸とし、Ｘ，Ｙ，Ｚ軸の各々に対する回転姿勢を検出する。姿勢検出部９０にて検出された姿勢情報は、制御部１００に送出され、顔方向検出部７０にて検出された撮影者２０の顔の特徴点抽出時の情報として利用される。また、制御部１００では、第１の撮像部３０で撮像されるフレーム枠の縦方向が、姿勢検出部９０にて検出された重力方向と平行になるように、フレーム方向を調整することができる。
【００５１】
制御部１００は、撮像装置１０の制御を司ることに加えて、上述した判定手段１６の機能を有する判定部１０１と、制御手段１８の機能を有するシャッター制御部１０２とを含んでいる。ユーザーインターフェース１１０は、撮影者２０によって操作された情報が入力され、撮像装置１０側の情報が必要により表示される。本実施形態では、ユーザーインターフェース１１０にはシャッター釦は設けられていない。画像記憶部１２０は、第１の撮像部３０にて撮像された画像を記録する他、制御部１００のワーキングメモリとして機能する。
【００５２】
告知部１４０は、撮影者２０の関心方向２０Ａと、撮像手段１２の撮像光学系の光軸１２Ａを中心とする許容範囲の方向との一致性の度合を、撮影者２０に例えば電子音によって告知するものである。
【００５３】
２．２．撮影者の関心方向の検出と撮像光学系の光軸との一致性の判定
本実施形態では、撮影者２０が視覚的に関心を示す関心方向２０Ａを、撮影者２０の顔が向いている方向としている。撮影者２０の顔が向いている方向を推定する手段として、特許文献１の［０１０６］に紹介されている「頑健性と精緻性を備えた顔特徴点追跡による顔方向推定（電子情報通信学会論文誌2001/8 Vol. J8 4-D-II No.8 pp.1762-1771）」の手法を利用することができる。この手法は、特許文献１の［０１０６］〜［０１１９］にも記載されているものである。
【００５４】
図４は、上記手法を利用した検出手段１４及び判定手段１６の動作フローチャートである。まず、ステップ１にて初期設定される。ここで、図３のユーザーインターフェース部１１０は、撮影モードと初期設定モードとに切り換えるモード切換操作部（広義にはモード切換手段）を有することができる。モード切換操作部を設けた場合、ステップ１の初期設定は、ステップ２以降の撮影モードとは異なる初期設定モードにて実施することができる。
【００５５】
ステップ１の初期設定として、撮影者２０の顔を登録する。このために、撮影者２０は、図２の実線位置に撮像装置１０を構え、撮像装置１０の第２の撮像部５０に対して撮影者２０が正対する。この状態で、撮影者２０の顔を第２の撮像部５０により撮像する。この画像は、第２の撮像制御部６０及び制御部１００を介して画像記憶部１２０に記憶される。
【００５６】
次に、ステップ１の初期設定として、制御部１００内の記憶部または画像記憶部１２０に記憶された顔画像の中から複数の特徴点を登録する。この複数の特徴点として、例えば、２つの目と鼻、あるいは２つの目と口等を顔方向検出部７０が抽出する。顔の特徴点を検出する方法は上記文献等に記載された公知の手法を採用でき、説明は省略する。また、特許文献１には、顔が縦軸に対して回転した角度と方向に加え、顔が水平軸に対して回転した角度と方向とを求めている。本実施形態の関心方向２０Ａの検出として特許文献１の手法を用いることできるが、ここではより簡易な手法について説明する。
【００５７】
図５は、図４のステップ１の初期設定として登録された顔の複数の特徴点として、口の位置Ｐ１と左右の目の位置Ｐ２，Ｐ３を示している。図５は、撮像装置１０の第２の撮像部５０に対して撮影者２０が正対した時の画像である。よって、図５の画像は、撮影者２０の関心方向２０Ａが、第１の撮像部３０の撮像光学系３２の光軸１２Ａと一致しているか、または平行な関係にある。
【００５８】
撮影モードの時には、撮影者２０の画像を第２の撮像部５０（検出手段１４）にて取得し（ステップ２）、その取得画像についても同様にして顔方向検出部７０が複数の特徴点を抽出し（ステップ３）、その特徴点を判定部１０１が初期設定での登録情報（比較情報）と比較し（ステップ４）、その比較結果によってシャッター制御部１０２の制御による撮像動作が第１の撮像部３０にて行われる（ステップ５）。この際、取得画像の特徴点が図５の３つの位置Ｐ１，Ｐ２，Ｐ３と一致していれば、撮影者２０の関心方向２０Ａが、第１の撮像部３０の撮像光学系３２の光軸１２Ａと一致しているか、または平行な関係にあるかを、判定部１０１が判定することができる。
【００５９】
ただし、本実施形態の制御部１００に設けられる判定部１０１は、顔方向検出部７０にて検出された関心方向２０Ａが、第１の撮像部３０の撮像光学系３２の光軸１２Ａを中心とする許容範囲の方向と一致したことを判定するものである。よって、図５の３つの点Ｐ１，Ｐ２，Ｐ３と完全一致しなくても、予め設定された許容範囲にて一致していれば、制御部１００内の判定部１０１は撮影タイミングであると判定しても良い。
【００６０】
このために、図５の３つの点Ｐ１，Ｐ２，Ｐ３で形成される三角形を考慮する。正対時の逆三角形の高さはＨ、高さ方向と直交する一本の長さはＬである。図５に示す正対時の逆三角形の面積Ｓは最大であり、正対時から顔の向きがずれれば、図６に示すように逆三角形の面積Ｓは小さくなる。よって、図４のステップ４での比較手法として、初期設定モードで正対時の逆三角形の面積を算出し、それよりも面積が小さい許容範囲の面積Ｓ１を登録しておき、撮影モードで取得された画像から抽出された逆三角形の面積Ｓ２と比較してもよい。Ｓ１≦Ｓ２であれば図４のステップ４の判断はＹＥＳとなり、Ｓ２＜Ｓ１であれば図４のステップ４の判断はＮＯとなる。
【００６１】
図４のステップ４での他の比較手法として、逆三角形の重心を比較してもよい。正対時（図５）と非正対時（図６）とでは逆三角形の形が異なることから、正対時と非正対時の逆三角形の重心も異なる。よって、図４のステップ４での他の比較手法として、正対時（図５）の逆三角形の重心位置とその許容範囲とを登録しておき、撮影モード時に取得された画像中の逆三角形の重心位置と比較しても良い。
【００６２】
図４のステップ４でのさらに他の比較手法として、逆三角形の高さと長さを比較してもよい。上述の通り正対時（図５）の逆三角形の面積Ｓが最大であることから、その逆三角形の高さＨと長さＬも最大である。一方、正対時から顔の向きがずれれば、図６に示すように逆三角形は歪むため、その逆三角形の高さＨ及び長さＬの少なくとも一方は正対時よりも短くなる。図６は顔が縦軸に対してのみ回転しているので、Ｌ’＜Ｌとなり、高さＨは変わっていない。顔が水平軸に対して回転すれば、その時の逆三角形の高さＨ’は正対時の高さＨよりも短くなる。顔が縦軸及び水平軸の双方に対して回転すれば、その時の逆三角形の高さＨ’及び長さＬ’の双方が正対時よりも短くなる。従って、図４のステップ４での比較手法として、初期設定モードで正対時の逆三角形の高さＨ及び長さＬを算出し、それより短い許容範囲の高さＨ１及び長さＬ１を登録しておき、撮影モードで取得された画像から抽出された逆三角形の高さＨ２及び長さＬ２と比較してもよい。Ｈ１≦Ｈ２でかつＬ≦Ｌ２であれば図４のステップ４の判断はＹＥＳとなり、Ｈ２＜Ｈ１またはＬ２＜Ｌ１であれば図４のステップ４の判断はＮＯとなる。
【００６３】
なお、図４のステップ１での初期設定またはステップ３，４での画像処理時では、図３の姿勢検出部９０で検出される撮像装置１０の傾き情報を利用して、第２の撮像部５０で取得された画像のフレームの修正を行うことができる。こうすると、画像取得時に撮像装置１０が傾いていても、常に一定の姿勢で画像を取得した状態に修正できる。
【００６４】
また、図４の初期設定（ステップ１）は、電源ＯＮ時に毎回実施するものに限らず、撮影者２０の操作によって初期設定モードに切り換えて実施しても良い。この際、一つの撮像装置１０を撮影者２０が共有する等の場合、複数の撮影者２０について初期設定しておくことができる。そして、電源ＯＮ時は、例えば予め設定した優先撮影者を使用可能とし、かつ、登録された撮影者２０を選択できるようにしておいてもよい。
【００６５】
さらには、後述する通り関心方向２０Ａの不一致の度合いを検出する場合には、上述した逆三角形の面積、重心、高さ及び長さについて、不一致範囲で一または複数の閾値を設定することもできる。
【００６６】
２．３．撮影者への撮影タイミングの告知
上述した通り、本実施形態では検出手段１４にて検出された関心方向２０Ａが、第１の撮像部３０の撮像光学系３２の光軸１２Ａを中心とする許容範囲の方向と一致したタイミングで、自動的にシッャター動作が実施されて、図３のイメージセンサ３４にて被写体２２の画像が撮像される。このため、撮影者２０によるシャッター釦の操作は不要であるが、撮影者２０に撮影タイミングや撮影時期が近いのか遠いのか等を告知できれば、使用上便利である。
【００６７】
上述した通り、一致検出は逆三角形の面積比較、逆三角形の重心比較、逆三角形の高さと比較等により実施できるが、その比較過程で不一他の度合いも検出することができる。不一他の度合いを検出するには、比較情報として複数段階の閾値を設定しておけば良い。図３の告知部１４０は、制御部１００の制御によって、一致・不一他の度合いに応じて例えば電子音を異ならせている。この告知部１４０は、不一致度が大きい場合には「ピッ………ピッ………」と間隔を長くして電子音を出力し、不一致度が小さくなるにつれて間隔を短くし、一致した時に例えば連続音とする。さらに、告知部１４０は、撮像動作を実施したときにはシャッター音を出力することができる。これにより、撮影者２０は撮影タイミングや撮影されたこと自体を実感できる。
【００６８】
なお、撮影者２０に対する告知の方法は、電子音の間隔を変えるものに限らず、音量、音程、音色、音調などの音の変化によって告知する他、点灯や点滅等による表示等、種々の出力形態の中から選択して採用することができる。
【００６９】
２．４．画角（焦点距離）調整
第１の撮像部３０では、焦点距離によって画角が一義的に定まる。本実施形態では、撮像装置１０から撮影者２０の顔までの距離（顔距離）に基づいて、画角及び焦点距離を調整している。
【００７０】
図３に示す顔距離検出部８０は、第２の撮像部５０にて取得された撮影者２０の画像に基づいて撮像装置１０から撮影者２０の顔までの距離（顔距離）を検出している。図７及び図８は、同一の撮影条件で撮影した複数の画像に基づく距離検出原理を示している。図７に示すように、第２の撮像部５０に距離Ａ１にて近接した状態で撮影者２０の顔を撮像すると、フレーム内にて占める顔が大きく、顔内の例えば２つの目の位置Ｐ２，Ｐ３の距離Ｌは長くなる。一方、図８に示すように、第２の撮像部５０より距離Ａ２にて離隔した状態で撮影者２０の顔を撮像すると、フレーム内にて占める顔が小さく、２つの目の位置Ｐ２，Ｐ３の距離Ｌは短くなる。撮像装置１０から撮影者２０の顔までの距離Ａと、２つの特徴点間の距離Ｌと相関があり、図３に示す顔距離検出部８０は、この相関に基づいて既知の距離Ｌか未知の顔距離Ａを算出することができる。なお、顔距離検出部８０は、撮影者２０の画像を用いるものに限らず、赤外線等により距離測定しても良い。
【００７１】
顔距離検出部８０にて検出された顔距離Ａは、制御部１００を介して第１の撮像制御部４０に入力され、この顔距離Ａに基づいて、第１の撮像部３０の画角θ（焦点距離ｆ：図示省略）を第１の撮像制御部４０により調整している。図９に示すように、顔距離Ａ１が短い場合には、画角θ１を広くし、焦点距離ｆ１（図示省略）を長くする。一方、図１０に示すように、顔距離Ａ２が長い場合には、画角θ２を狭くし、焦点距離ｆ２（図示省略）を短くする。焦点距離ｆが例えば２８ｍｍ〜８４ｍｍに調整可能な本実施形態では、撮像装置１０と撮影者２０の顔までの距離Ａが例えば２００ｍｍ以下の場合には、焦点距離ｆは２８ｍｍとなり（画角は広角）、その距離Ａが例えば５００ｍｍ以上の場合には、焦点距離ｆは８４ｍｍとなり（画角は狭い）、その距離Ａが２００ｍｍから５００ｍｍの間である場合には、焦点距離ｆがリニアに変化する（画角もリニアに変化）。
【００７２】
２．５．画角（焦点距離）調整に応じた一致度の許容範囲の変更
上述した通り、本実施形態では顔距離検出部８０にて検出された距離Ａが長いほど、第１の撮像部３０の画角θを狭くするように調整している。このように画角θが狭ければ、第１の撮像部３０の撮像光学系３２の光軸１２Ａが被写体２２より少しでもずれると、撮影者２０の関心方向２０Ａの先にある被写体２２をフレーム内の画像として捉え難くなる。その一方で、顔距離検出部８０にて検出された距離Ａが短いほど、第１の撮像部３０の画角θを広くするように調整している。このように画角θが広ければ、第１の撮像部３０の撮像光学系３２の光軸１２Ａが被写体２２より多少ずれても、撮影者２０の関心方向２０Ａの先にある被写体２２をフレーム内の画像として捉えやすい。
【００７３】
以上のことから、本実施形態では、判定部１０１が一致・不一致を判定するための比較情報として、撮影者２０から撮像装置１０までの距離に応じて許容幅が異なるように複数種の比較情報が設定されている。
【００７４】
図１１は、画角（焦点距離）調整に応じた一致度の許容範囲を変更する制御系のブロック図である。制御回路１００には、判定部１０１及びシッャター制御部１０２に加え、比較情報記憶部１０３が設けられている。比較情報記憶部１０３には、複数種の比較情報１０３Ａ，１０３Ｂ，１０３Ｃ，…が記憶されている。判定部１０１は、顔距離検出部８０らの顔距離に基づいて、複数種の比較情報１０３Ａ，１０３Ｂ，１０３Ｃ，…の中の一つを比較情報を選択する。判定部１０１は、顔方向検出部７０からの関心方向２０Ａを選択された比較情報と比較する。
【００７５】
ここで、複数種の比較情報１０３Ａ，１０３Ｂ，１０３Ｃ，…とは、撮影者２０が第２の撮像部５０と正対した時の画像中の複数の特徴点に基づいて生成される上述した比較情報であることは共通するが、各々許容幅が異なっている点が相違している。複数種の比較情報１０３Ａ，１０３Ｂ，１０３Ｃ，…は、顔距離に対応付けて記憶されている。本実施形態では、複数種の比較情報１０３Ａ，１０３Ｂ，１０３Ｃ，…は、顔距離が長いほど許容幅が狭く、前記距離が短いほど許容幅が広く設定されている。
【００７６】
この結果、図９に示すように、顔距離検出部８０から取得される顔距離Ａ１が短い場合には、画角θ１が広角に設定されるので、判定部１０１にて許容幅を広げて関心方向１２Ａの一致判定をすることができる。一方、図１０に示すように、顔距離検出部８０から取得される顔距離Ａ２が短い場合には、画角θ２が狭角に設定されるので、判定部１０１にて許容幅を狭めて関心方向１２Ａの一致判定をすることができる。
【００７７】
２．６．自動撮影モードでの動作
図１２は、本実施例に係る自動撮影モードでの全体動作を示すフローチャートである。なお、図１２の動作の前に図４のステップ１の初期設定が終了しているものとする。撮像装置１０の電源をオンし（ステップ１）、撮影モードに設定する（ステップ２）。ステップ２の撮影モードとして、手動撮影モードと自動撮影モードが選択可能である場合には、自動撮影モードに設定する。
【００７８】
自動撮影モードでは、撮影者２０が第２の撮像部５０にて撮影され、かつ、撮影者２０の顔の画像中の複数の特徴点に基づいて顔検出されたか否かが判断される（ステップ３）。ステップ３での判断がＮＯであれば、顔検出されるまで待機される。
【００７９】
ステップ３にて顔検出がなされると、顔方向検出部７０にて撮影者２０の関心方向２０Ａとして顔方向が検出される（ステップ４）。この顔方向検出とは、図５及び図６に示す例では３つの特徴点Ｐ１〜Ｐ３で形成される逆三角形の面積Ｓ、逆三角形の重心、あるいは逆三角形の高さＨ及び長さＬを求めることである。
【００８０】
次に、顔距離検出部８０にて、図７及び図８に示すように、例えば２つの特徴点Ｐ２，Ｐ３に基づいて、撮像装置１０から顔までの顔距離Ａが検出される（ステップ５）。この顔距離Ａの情報は制御部１００に伝達される。
【００８１】
顔距離Ａが検出されると、制御部１００は顔距離Ａに基づいて、画角調整する（ステップ６）。つまり、制御部１００は、図９のように距離Ａ１が短いと画角θ１を広角（焦点距離ｆ１は短くする）とし、図１０のように距離Ａ２が長いと画角θ２を狭角（焦点距離ｆ２は長くする）とするように、第１の撮像制御部４０を制御する。さらに、姿勢検出部９０は、例えば直交三軸方向のセンサにより撮像装置１０の姿勢を検出する（ステップ７）。撮像装置１０の姿勢情報は制御部１００に伝達され、必要により、後に実施されるステップ９にて実施される一致検出の際の画像処理等に供することができる。また、オートフォーカス（ＡＦ）動作が実施され（ステップ８）、この時点での合焦距離の情報が制御部１００に伝達される。なお、ステップ８で焦点距離を変更させても、画角は変更されることはない。
【００８２】
次に、判定部１０１が一致判定を実施する（ステップ９）。この一致判定は、ステップ５にて取得された顔方向が、初期設定された比較情報と対比することで実施される。このとき、図１１の通り複数種の比較情報が登録されている場合には、ステップ５で取得された顔距離Ａと対応する一の比較情報が選択される。そして、ステップ９での判断がＹＥＳであれば、シャッター制御部１０２が第１の撮像制御部４０を制御して、第１の撮像部３０により被写体２２が自動撮影される（ステップ１０）。ステップ９での判断がＮＯであれば、ステップ３に戻ってステップ３〜ステップ９を繰り返す。
【００８３】
ここで、検出された顔方向と比較情報との一致検出に基づく自動撮影に不可欠な動作はステップ３，４，９であり、他のステップは必要に実施することができる。また、任意のステップ５−８の実施順は、制御を実施する上での先後の制約がない限り任意に変更でき、あるいは同時並行で実施しても良い。
【００８４】
３．変形例
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるものである。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【００８５】
例えば、検出手段１４にて検出される関心方向２０Ａとし、本実施形態では撮影者２０の顔の向きを検出したが、これに限定されない。関心方向２０Ａとして、撮影者２０の目に注目して、撮影者２０の注視方向または視線方向を検出しても良い。撮影者２０の注視方向または視線方向の検出についても、各種の手法を採用でき、例えば特許文献１の図１３に記載されている通り、撮影者２０の目の中の瞳孔位置に基づく画像処理によって求めることができる。
【００８６】
また、本発明は、シャッター、ファインダーまたはモニター画面が散在する撮像装置に適用することもできる。この場合には、図３のユーザーインターフェース部１１０モード切換手段を設け、撮影モードとして自動撮影モードと手動モードとに切り換え可能とする。そして、手動撮影モードでは従来通り、ファインダーまたはモニター画面でフレーミングした画像をシャッター操作によって撮像する一方で、自動撮影モード時に本発明に係る撮影動作を行うようにすることができる。
【００８７】
また、図１２に示すように、複数の比較情報１０３Ａ，１０３Ｂ，１０３Ｃ，…は、同一撮影者２０の顔距離に基づく許容幅の異なるものではなく、複数の撮影者２０の個々について登録した情報であってもよい。
【符号の説明】
【００８８】
１０  撮像装置、１２  撮像手段、１２Ａ  撮像光学系の光軸、１４  検出手段、
１４Ａ  検出光学系の光軸、１６  判定手段、１８  制御手段、２０  撮影者、
２０Ａ  関心方向、
３０  第１の撮像部、３２  撮像光学系、３４，５４  イメージセンサ、
４０  第１の撮像制御部、５０  第２の撮像部、５２  検出光学系、
６０  第２の撮像制御部、７０  顔方向検出部、
８０  顔距離検出部（距離検出手段）、９０  姿勢検出部、１００  制御部、
１０１  判定部、１０２  シャッター制御部、１０３  比較情報記憶部、
１０３Ａ，１３０Ｂ，１０３Ｃ  複数種の比較情報
１１０  ユーザーインターフェース部、１２０  画像記憶部  Ｐ１〜Ｐ３  特徴点、
Ｈ  逆三角形の高さ、Ｌ  逆三角形の一辺の長さ、Ｓ  逆三角形の面積、
θ１，θ２  画角
【図１】
2011045000.tif 000003
【図２】
2011045000.tif 000004
【図３】
2011045000.tif 000005
【図４】
2011045000.tif 000006
【図５】
2011045000.tif 000007
【図６】
2011045000.tif 000008
【図７】
2011045000.tif 000009
【図８】
2011045000.tif 000010
【図９】
2011045000.tif 000011
【図１０】
2011045000.tif 000012
【図１１】
2011045000.tif 000013
【図１２】
2011045000.tif 000014