(57)【要約】      （修正有）【課題】ユーザの習性を利用して撮影者の正面顔を撮影しやすいタイミングで撮影者の認識用画像を撮影し、顔認識を成功させやすくする。【解決手段】主被写体を撮像するメインカメラ１０１と、撮影者を撮影するサブカメラ１０２と、撮影される映像を表示する可動式表示装置１０３と、撮影された撮影者の顔認識用画像に対して顔認識を行う認識部１０４を備え、サブカメラ１０２が可動式表示装置１０３に配置されてなる撮像装置１００において、撮像装置１００の制御を行うＣＰＵ１０５は、撮像装置１００の起動後、可動式表示装置１０３に所定の表示が行われる前に、サブカメラ１０２により撮影者の顔認識用画像を撮影するようにサブカメラ１０２を制御する。【選択図】図１
2015126369.tif 000002
【特許請求の範囲】
【請求項１】
主被写体を撮像する第１の撮像手段と、
前記第１の撮像手段を操作する撮影者を撮影する第２の撮像手段と、
前記第１の撮像手段および前記第２の撮像手段で撮像される映像を表示する可動式表示装置とを備え、前記第２の撮像手段が前記可動式表示装置に配置されてなる撮像装置であって、
少なくとも前記第２の撮像手段により撮影された前記撮影者の顔認識用画像に対して顔認識を行う認識手段と、
前記撮像装置の起動後、前記可動式表示装置に所定の表示が行われる前に、前記第２の撮像手段により前記撮影者の顔認識用画像を撮影するように前記第２の撮像手段を制御する制御手段とを備えることを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記可動式表示装置に前記所定の表示が行われる前に前記第２の撮像手段により撮影した前記撮影者の顔認識用画像に対して前記認識手段による顔認識を行った結果、顔認識が成功しなかった場合に、前記第２の撮像手段で前記撮影者の顔認識用画像を再撮影し、再撮影された顔認識用画像に対して前記認識手段による顔認識を行うように前記第２の撮像手段および前記認識手段を制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記認識手段による顔認識が成功するまで、前記第２の撮像手段により前記撮影者の顔認識用画像を撮像して前記認識手段による顔認識を行うように前記第２の撮像手段および前記認識手段を制御することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記認識手段は前記第１の撮像手段により撮像された前記主被写体の顔認識用画像に対しても顔認識を行うものであって、
前記制御手段は、前記可動式表示装置に前記所定の表示が行われた後に、前記第１の撮像手段により前記主被写体の顔認識用画像を撮影するように前記第１の撮像手段を制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
主被写体を撮像する第１の撮像手段と、
前記第１の撮像手段を操作する撮影者を撮影する第２の撮像手段と、
前記第１の撮像手段および前記第２の撮像手段で撮像される映像を表示する可動式表示装置とを備え、前記第２の撮像手段が前記可動式表示装置に配置されてなる撮像装置であって、
少なくとも前記第２の撮像手段により撮影された前記撮影者の顔認識用画像に対して顔認識を行う認識手段と、
前記可動式表示装置の状態を検出する検出手段と、
前記検出手段が検出した前記可動式表示装置の状態に応じて前記第２の撮像手段による前記撮影者の顔認識用画像を取得し、取得した画像に対して顔認識を行うように前記第２の撮像手段および前記認識手段を制御する制御手段とを備えることを特徴とする撮像装置。
【請求項６】
前記制御手段は、前記検出手段により前記可動式表示装置の状態が変化したことを検出した場合に、前記第２の撮像手段により前記撮影者の顔認識用画像を取得し、取得した画像に対して顔認識を行うように前記第２の撮像手段および前記認識手段を制御することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記検出手段は、前記可動式表示装置の動きを検出することを特徴とする請求項５又は６に記載の撮像装置。
【請求項８】
前記制御手段は、前記検出手段が前記可動式表示装置の動きを検出した場合に、前記第２の撮像手段による前記撮影者の顔認識用画像の撮影と、撮影した画像に対する顔認識とを、前記認識手段による顔認識に成功するまで行うように前記第２の撮像手段および前記認識手段を制御することを特徴とする請求項７記載の撮像装置。
【請求項９】
主被写体を撮像する第１の撮像手段と、
前記第１の撮像手段を操作する撮影者を撮影する第２の撮像手段と、
前記第１の撮像手段および前記第２の撮像手段で撮像される映像を表示する可動式表示装置とを備え、前記第２の撮像手段が前記可動式表示装置に配置されてなる撮像装置であって、
少なくとも前記第２の撮像手段により撮影された前記撮影者の顔認識用画像に対して顔認識を行う認識手段と、
前記可動式表示装置の状態を検出する検出手段と、
前記第２の撮像手段により撮影された前記撮影者の顔認識用画像における前記撮影者の状態を判別する判別手段と、
前記認識手段による顔認識が成功しない場合に所定の警告を発する警告手段と、
前記検出手段の結果に応じて前記判別手段による判別を行うか前記認識手段による顔認識を行うかを判断し、前記判別手段の結果に応じて前記認識手段による顔認識を行うか前記警告手段による警告を行うかを判断する制御手段とを備えることを特徴とする撮像装置。
【請求項１０】
前記制御手段は、前記検出手段が前記可動式表示装置が前記撮像装置の本体に収納された状態にあることを検出したときに前記認識手段による顔認識を行い、前記検出手段が前記可動式表示装置が前記撮像装置の本体に収納された状態にないことを検出したときに前記判別手段による判別を行うように、前記認識手段および前記判別手段を制御することを特徴とする請求項９記載の撮像装置。
【請求項１１】
前記判別手段は、前記第２の撮像手段により撮影された前記撮影者の顔認識用画像における前記撮影者の顔が正面顔か否かを判別することを特徴とする請求項９又は１０に記載の撮像装置。
【請求項１２】
前記判別手段は、前記撮影者の顔が正面顔か否かの判別を視線検出により行うことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記制御手段は、前記判別手段が前記撮影者の顔が正面顔であると判別したときに前記認識手段による顔認識を行い、前記判別手段が前記撮影者の顔が正面顔ではないと判別したときに前記警告手段により警告が発せられるように前記認識手段および前記警告手段を制御することを特徴とする請求項１１又は１２に記載の撮像装置。
【請求項１４】
前記警告手段は、前記撮影者に対して前記第２の撮像手段の方向へ前記撮影者の顔を向かせるように誘導する警告を発することを特徴とする請求項９乃至１３のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、被写体を撮影する２系統の撮像手段を備え、各撮像手段で撮影したデータを関連付けて保存する撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等の撮像装置として、主被写体を撮影すると同時に撮像装置を操作している撮影者を撮影することができるものが提案されている。例えば、特許文献１には、２系統の撮像手段を備える撮像装置であって、第１の撮像手段で主被写体を撮影し、第２の撮像手段で撮像装置を操作する撮影者を撮影し、それぞれの映像信号（画像信号）を合成して記憶媒体に保存する技術が記載されている。
【０００３】
図９は、２系統の撮像手段を備える撮像装置の概略構成を示す斜視図である。図９に示す撮像装置９００は、メインカメラ９０１とサブカメラ９０２とを備えている。サブカメラ９０２は、メインカメラ９０１の撮影光軸と直交する状態と平行になる状態との間で９０度可動なＬＣＤパネル９０３上に搭載されている。
【０００４】
図１０は、撮像装置９００のＬＣＤパネル９０３を閉じた状態で撮影者が撮影を行っている状態を示す図である。また、図１１は、撮像装置９００のＬＣＤパネル９０３を開いた状態で撮影者が撮影を行っている状態を示す図である。
【０００５】
撮影者は、メインカメラ９０１で撮影する主被写体の方向を向くことが多い。図１０に示すようにＬＣＤパネル９０３が閉じられている場合には、撮影者は主被写体の方向を向いて撮像装置９００を顔の前で構えることが多いため、サブカメラ９０２で撮影者の正面顔を撮影しやすくなる。一方、図１１に示すようにＬＣＤパネル９０３が開いている場合には、撮影者は撮像装置９００を顔よりも下方で構えることが多い。そのため、撮影者が主被写体の方向を向いてしまうと、サブカメラ９０２では撮影者の正面顔を撮影し難く、撮影者の顔が下から撮影されやすくなる。
【０００６】
ここで、顔検出機能により検出した顔画像から目や鼻の位置等の個人毎に異なる顔領域の特徴量を抽出し、予め登録した顔画像の辞書データと比較することにより、検出した顔が登録されている人物か否か識別する顔認識機能が知られている。顔認識機能を利用することにより、例えば、メインカメラ９０１の撮影映像にサブカメラ９０２の撮影映像を縮小して取り込むことで得られる映像ファイルを、主被写体別或いは撮影者別に整理すること等を行うことができる。
【０００７】
顔画像の辞書データが正面顔であると、正面顔と下方から撮影した顔とでは顔の特徴量が異なるため、顔認識の精度が下がってしまい、認識が成功し難くなる。そこで、撮影者の習性を利用して、撮影者の正面顔の画像を取得し、顔認識を可能にする技術が、例えば特許文献２，３に提案されている。
【０００８】
特許文献２に記載された技術では、認識装置の特定の操作部の近傍に撮像部を配置し、ユーザが特定の操作部を操作する際に撮像部によって顔画像を撮影することによってユーザの正面顔の画像を取得している。また、特許文献３に記載された技術では、被写体の顔認識において、被写体の顔が撮影方向に向いているか否かを顔の特徴抽出の可否で判断し、顔が撮影方向に向いていない場合には、顔を撮影方向へ向けるように誘導している。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平６−１６５０２９号公報
【特許文献２】特開２００６−３４４１００号公報
【特許文献３】特開２０１０−２１８０３９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記特許文献２に記載された技術では、撮影者が特定の操作部を操作したときに取得された画像の中に正面顔の画像がなかった場合には、顔認識が成功し難いという問題は残ったままとなってしまう。これに対して、図９に示した撮像装置９００においてＬＣＤパネルが閉じている場合には、撮影者の正面顔が撮影されやすいため、顔認識が成功する可能性は高い。よって、この場合には、上記特許文献３に記載された技術のように、撮影者の顔の特徴抽出を行って、顔が撮像方向へ向いているか否かを判断する必要はない。
【００１１】
本発明は、主被写体と共に撮影者を撮影して顔認識を行う撮像装置において、顔認識を成功させやすくする技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る撮像装置は、主被写体を撮像する第１の撮像手段と、前記第１の撮像手段を操作する撮影者を撮影する第２の撮像手段と、前記第１の撮像手段および前記第２の撮像手段で撮像される映像を表示する可動式表示装置とを備え、前記第２の撮像手段が前記可動式表示装置に配置されてなる撮像装置であって、少なくとも前記第２の撮像手段により撮影された前記撮影者の顔認識用画像に対して顔認識を行う認識手段と、前記撮像装置の起動後、前記可動式表示装置に所定の表示が行われる前に、前記第２の撮像手段により前記撮影者の顔認識用画像を撮影するように前記第２の撮像手段を制御する制御手段とを備えることを特徴とする。
【発明の効果】
【００１３】
本発明では、撮影者の習性を利用して、正面顔が撮影しやすい状況で撮影者の顔を撮影することにより、顔認識が成功しやすくなる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態に係る撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置において実行される顔認識処理のフローチャートである。
【図３】本発明の第２実施形態に係る撮像装置の概略構成を示すブロック図である。
【図４】図３の撮像装置において実行される顔認識処理のフローチャートである。
【図５】本発明の第３実施形態に係る撮像装置の概略構成を示すブロック図である。
【図６】図５の撮像装置において実行される顔認識処理のフローチャートである。
【図７】図６のステップＳ６０３で実行される視線検出処理において用いられる視線検出方法の原理を示す上面図及び側面図である。
【図８】図７に示す視線検出方法において、撮像センサに投影される眼球像の概略図と、撮像センサの出力強度を示す図である。
【図９】２系統の撮像手段を備える撮像装置の概略構成を示す斜視図である。
【図１０】図９の撮像装置のＬＣＤパネルを閉じた状態で撮影者が撮影を行っている状態を示す図である。
【図１１】図９の撮像装置のＬＣＤパネルを開いた状態で撮影者が撮影を行っている状態を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について添付図面を参照して詳細に説明する。
【００１６】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る撮像装置１００の概略構成を示すブロック図である。図１に示す撮像装置１００は、第１の撮像手段であるメインカメラ１０１、第２の撮像手段であるサブカメラ１０２、可動式表示装置１０３、認識部１０４及びＣＰＵ１０５を備える。
【００１７】
撮像装置１００におけるメインカメラ１０１、サブカメラ１０２及び可動式表示装置１０３はそれぞれ、図９に示した撮像装置９００のメインカメラ９０１、サブカメラ９０２及びＬＣＤパネル９０３と同等である。また、これらの配置形態や外観も撮像装置９００と同じである。
【００１８】
メインカメラ１０１は、主に主被写体（撮影者以外の被写体）の撮影に用いられ、サブカメラ１０２は主に撮影者の顔画像（顔映像）の撮影に用いられる。可動式表示装置１０３は、例えばＬＣＤパネルや有機ＥＬパネルであり、その表示画面がメインカメラ１０１の撮影光軸と直交する状態（閉じた状態）と平行になる状態（開いた状態）との間で可動となっている。サブカメラ１０２は、可動式表示装置１０３に配置されている。
【００１９】
認識部１０４は、メインカメラ１０１及びサブカメラ１０２のそれぞれで撮影された顔画像に対して顔認識を行う。認識部１０４は、予め所定の人物の顔画像を辞書データとして記憶しており、ここでは、辞書データには正面顔の画像が記憶されているものとする。認識部１０４は、撮影された顔画像と辞書データの顔画像とを照合することで顔認識を行う。
【００２０】
ＣＰＵ１０５は、撮像装置１００の全体的動作の制御を行う。例えば、ＣＰＵ１０５は、メインカメラ１０１及びサブカメラ１０２での撮影動作、認識部１０４での顔認識の実行、可動式表示装置１０３への画像（映像）表示等、撮像装置１００で実行される各種の動作や処理を制御する。
【００２１】
図２は、撮像装置１００において実行される、撮像装置１００の起動時における顔認識処理のフローチャートである。図２のフローチャートに示される各処理は、ＣＰＵ１０５が不図示のＲＯＭに格納された所定のプログラムを不図示のＲＡＭに展開、実行することで、撮像装置１００を構成する各部の動作や処理を制御することにより実行される。
【００２２】
ステップＳ２０１において、ＣＰＵ１０５は、サブカメラ１０２により撮影者の顔認識用の顔画像（以下「顔認識用画像」という）を取得（撮影）する。ここで、撮影者は、撮像装置１００の起動後には可動式表示装置１０３に撮像装置１００の製造者（装置メーカ）のロゴ等の起動画面が表示され、デフォルトのメニュー表示等の所定の表示が行われるまでの間、可動式表示装置１０３の画面を見ていることが多い。
【００２３】
このような撮影者の習性を利用して、ステップＳ２０１での撮影者の顔認識用画像の撮影を、撮像装置１００を起動直後の撮影者が可動式表示装置１０３の方向に顔を向けているときに行うようにする。これにより、ステップＳ２０１では撮影者の正面顔が撮影されやすくなり、取得した顔画像で後のステップＳ２０４の顔認識処理を行うことにより、顔認識を成功しやすくすることができる。これに対し、可動式表示装置１０３にロゴ等の起動画面が表示され、デフォルトのメニュー表示等の所定の表示が行われている間は、メインカメラ１０１の画角内に主被写体が含まれている可能性は高くはない。そのため、サブカメラ１０２による顔認識用画像は、この所定の表示が行われている間に開始されているが、メインカメラ１０１による顔認識用画像は、この所定の表示が完了した後に開始される。
【００２４】
続くステップＳ２０２において、ＣＰＵ１０５は、サブカメラ１０２による撮影者の顔認識用画像の取得が終了したか否かを判断する。ＣＰＵ１０５は、撮影者の顔認識用画像の取得が終了するまで判断を繰り返し（Ｓ２０２でＮＯ）、撮影者の顔認識用画像を取得した場合（Ｓ２０２でＹＥＳ）、ステップＳ２０３（ルートＡ）とステップＳ２０４〜２０６（ルートＢ）の処理を平行して実行する。
【００２５】
ステップＳ２０３において、ＣＰＵ１０５は、メインカメラ１０１とサブカメラ１０２により得られた各映像信号を合成して、合成した映像を可動式表示装置１０３に表示する。例えば、メインカメラ１０１により得られた映像を可動式表示装置１０３の画面全体に表示すると共に、サブカメラ１０２により得られた映像を可動式表示装置１０３の画面右下に小さく重畳表示する。
【００２６】
ステップＳ２０４において、ＣＰＵ１０５は、ステップＳ２０１で取得した撮影者の顔認識用画像に対して、認識部１０４による顔認識処理を行う。ステップＳ２０１で取得した撮影者の顔認識用画像から、目や鼻の位置等の個人毎に異なる顔領域の特徴量を抽出し、予め登録した顔画像の辞書データと比較することにより、検出した顔が登録されている人物か否か識別する。
【００２７】
続くステップＳ２０５において、ＣＰＵ１０５は、ステップＳ２０４の顔認識処理の結果、顔認識が成功した（ＯＫ）か否かを判断する。ＣＰＵ１０５は、顔認識に失敗した場合（Ｓ２０４でＮＯ）、処理をステップＳ２０６へ進め、顔認識が成功した場合（Ｓ２０４でＹＥＳ）、本処理を終了させる。なお、撮影動作が引き続き行われる場合、メインカメラ１０１とサブカメラ１０２により得られた映像の可動式表示装置１０３への表示（Ｓ２０３）は継続される。
【００２８】
ステップＳ２０６において、ＣＰＵ１０５は、サブカメラ１０２により撮影者の顔認識用画像を再取得（再撮影）し、その後、処理をステップＳ２０４へ戻す。つまり、顔認識用画像を入れ替えて、再度、顔認識が行われる。
【００２９】
以上の説明の通り、第１実施形態では、撮影者が可動式表示装置１０３の方向に顔を向けているときに顔認識用画像を取得するため、正面顔の画像を取得しやすく、これにより、顔認識を成功しやすくすることができる。
【００３０】
＜第２実施形態＞
図３は、本発明の第２実施形態に係る撮像装置３００の概略構成を示すブロック図である。図３に示す撮像装置３００は、第１の撮像手段であるメインカメラ１０１、第２の撮像手段であるサブカメラ１０２、可動式表示装置１０３、認識部１０４、ＣＰＵ１０５及び表示装置状態検出部３０１を備える。メインカメラ１０１、サブカメラ１０２、可動式表示装置１０３、認識部１０４及びＣＰＵ１０５は、第１実施形態に係る撮像装置１００を構成する各部（ブロック）と同じであるので、ここでの説明を省略する。
【００３１】
表示装置状態検出部３０１は、例えば、可動式表示装置の１０３の状態の変化を検出し、具体的には、可動式表示装置の１０３の動きを検出する加速度センサが用いられる。表示装置状態検出部３０１は、ＣＰＵ１０５の制御下において、可動式表示装置１０３が開いた状態にあるか閉じた状態（撮像装置３００の本体に収納された状態）にあるかを検出する。なお、磁気センサ等を用いれば、開いた状態にあるときに、どの程度の角度で開いているかを検出するように構成することもできる。
【００３２】
図４は、撮像装置３００において実行される顔認識処理のフローチャートである。図４のフローチャートに示される各処理は、ＣＰＵ１０５が不図示のＲＯＭに格納された所定のプログラムを不図示のＲＡＭに展開、実行することで、撮像装置３００を構成する各部の動作や処理を制御することにより実行される。
【００３３】
ステップＳ４０１において、ＣＰＵ１０５は、表示装置状態検出部３０１により、可動式表示装置１０３の状態を検出する。続くステップＳ４０２において、ＣＰＵ１０５は、ステップＳ４０１での検出処理結果に基づき、可動式表示装置１０３に動きがあったか否かを判断する。具体的には、撮影者が可動式表示装置１０３を動かそうとして可動方向に加えた力を加速度センサによって加速信号として検出したか否かを判断する。ＣＰＵ１０５は、可動式表示装置１０３に動きがない場合（Ｓ４０２でＮＯ）、処理をステップＳ４０１へ戻し、可動式表示装置１０３に動きがあった場合（Ｓ４０２でＹＥＳ）、処理をステップＳ４０３へ進める。
【００３４】
ステップＳ４０３において、ＣＰＵ１０５は、サブカメラ１０２により撮影者の顔認識用画像を取得（撮影）する。ここで、ステップＳ４０２で判断が「ＹＥＳ」となる場合には、撮影者が可動式表示装置１０３の回動操作を行っているので、撮影者の顔は可動式表示装置１０３の方向を向いていることが多い。そのため、ステップＳ４０２で撮影者の顔認識用画像を撮影すると、正面顔が撮影されやすくなり、取得した顔画像で後のステップＳ４０４の顔認識処理を行うことにより、顔認識を成功しやすくすることができる。
【００３５】
ステップＳ４０４において、ＣＰＵ１０５は、ステップＳ４０３で取得した撮影者の顔認識用画像に対して、認識部１０４による顔認識処理を行う。続くステップＳ４０５において、ＣＰＵ１０５は、ステップＳ４０４の顔認識処理の結果、顔認識が成功した（ＯＫ）か否かを判断する。ＣＰＵ１０５は、顔認識に失敗した場合（Ｓ４０５でＮＯ）、処理をステップＳ４０１へ戻し、顔認識が成功した場合（Ｓ４０５でＹＥＳ）、本処理を終了させる。
【００３６】
以上の説明の通り、第１実施形態と同様に第２実施形態でも、撮影者が可動式表示装置１０３の方向に顔を向けているときに顔認識用画像を取得するため、正面顔の画像を取得しやすく、これにより、顔認識を成功しやすくすることができる。また、一度、顔認識に失敗しても、可動式表示装置１０３の動きを再度検出した際に優先的に顔画像を取得して顔認識を行うため、顔認識を成功しやすくすることができる。
【００３７】
＜第３実施形態＞
図５は、本発明の第３実施形態に係る撮像装置５００の概略構成を示すブロック図である。図５に示す撮像装置５００は、第１の撮像手段であるメインカメラ１０１、第２の撮像手段であるサブカメラ１０２、可動式表示装置１０３、認識部１０４、ＣＰＵ１０５及び表示装置状態検出部３０１を備える。これらメインカメラ１０１、サブカメラ１０２、可動式表示装置１０３、認識部１０４、ＣＰＵ１０５及び表示装置状態検出部３０１は、第２実施形態に係る撮像装置３００を構成する各部（ブロック）と同じであるので、ここでの説明を省略する。
【００３８】
また、撮像装置５００は、撮影者状態判別部５０１、ＬＥＤ５０２及びスピーカ５０３を備える。撮影者状態判別部５０１は、撮影者の顔が可動式表示装置１０３（又はサブカメラ１０２）の方向へ向いているか否かを、例えば、視線検出により判別する。ＬＥＤ５０２は、例えば、顔認識が成功しない場合に、ＣＰＵ１０５の制御下において発光し、撮影者に警告を発する。また、スピーカ５０３は、顔認識が成功しない場合に、例えば、「顔を画面に向けて下さい」等の音声或いは警告音（所謂、ピー音等）を発する。なお、可動式表示装置１０３は、顔認識が成功しない場合に警告手段として機能する。可動式表示装置１０３には、ＬＥＤ５０２やスピーカ５０３による警告が行われる際に或いは単独で、「顔を画面に向けて下さい」等のメッセージが表示される。
【００３９】
図６は、撮像装置５００において実行される顔認識処理のフローチャートである。図６のフローチャートに示される各処理は、ＣＰＵ１０５が不図示のＲＯＭに格納された所定のプログラムを不図示のＲＡＭに展開、実行することで、撮像装置５００を構成する各部の動作や処理を制御することにより実行される。
【００４０】
ステップＳ６０１において、ＣＰＵ１０５は、表示装置状態検出部３０１により可動式表示装置１０３の状態（位置）を検出する。続くステップＳ６０２において、ＣＰＵ１０５は、可動式表示装置１０３が開いているか否かを判断する。ＣＰＵ１０５は、可動式表示装置１０３が開いている場合（Ｓ６０２でＹＥＳ）、処理ステップＳ６０３へ進め、可動式表示装置１０３が閉じている場合（Ｓ６０２でＮＯ）、処理をステップＳ６０６へ進める。
【００４１】
ステップＳ６０３において、ＣＰＵ１０５は、撮影者の視線検出処理を行う。撮影者の視線検出処理は、具体的には、撮影者状態判別部５０１により視線を検出して、撮影者の顔が可動式表示装置１０３（サブカメラ１０２）の方向に向いているか否かを判別することにより、顔画像を撮影したときに正面顔になるか否かを判別する。なお、ステップＳ６０３の視線検出処理の詳細については、図７及び図８を参照して後述する。
【００４２】
次に、ステップＳ６０４において、ＣＰＵ１０５は、ステップＳ６０３の視線検出処理の結果に基づき、撮影者の瞳孔が目の中心にあるか否かを判定する。ＣＰＵ１０５は、撮影者の瞳孔が目の中心にない場合（Ｓ６０４でＮＯ）、処理をステップＳ６０５へ進め、撮影者の瞳孔が目の中心にある場合（Ｓ６０４でＹＥＳ）、処理をステップＳ６０６へ進める。
【００４３】
撮影者の瞳孔が目の中心にない場合とは、撮影者の顔が可動式表示装置１０３（サブカメラ１０２）の方向に向いていないことを示している。そのため、ステップＳ６０５において、ＣＰＵ１０５は、警告処理を行い、その後、処理をステップＳ６０１へ戻す。ステップＳ６０５の警告処理は、ＬＥＤ５０２の発光、スピーカ５０３から音声警告、可動式表示装置１０３での警告表示等である。
【００４４】
一方、撮影者の瞳孔が目の中心にある場合には、撮影者の顔が可動式表示装置１０３（サブカメラ１０２）の方向に向いていることを示している。また、ステップＳ６０２で可動式表示装置１０３が閉じている場合（Ｓ６０２でＮＯ）には、撮影者は目の前に撮像装置５００を構えて、可動式表示装置１０３を見ていると推測される。そこで、ステップＳ６０６において、ＣＰＵ１０５は、サブカメラ１０２により撮影者の顔画像を撮影し、撮影した顔画像に対して認識部１０４にて顔認識を行う。
【００４５】
次に、ステップＳ６０７において、ＣＰＵ１０５は、顔認識が成功したか否かを判断する。ＣＰＵ１０５は、顔認識が成功した場合（Ｓ６０７でＹＥＳ）、本処理を終了させ、顔認識に失敗した場合（Ｓ６０７でＹＥＳ）、処理をステップＳ６０１へ戻す。
【００４６】
ステップＳ６０３の視線検出処理について、図７及び図８を参照して説明する。図７（ａ），（ｂ）はそれぞれ、視線検出方法の原理を示す上面図及び側面図である。撮影者に対して不感の赤外光を発光する発光ダイオード等の光源７０２，７０３から、撮影者の顔に向けて赤外光が照射される。ここで、光源７０２，７０３は、集光レンズ７０６の光軸に対して図中ｘ方向（水平方向）で略対称となる位置に、且つ、図中ｙ方向（鉛直方向）では集光レンズ７０６の光軸の若干下側の位置に配置されており、観察者の眼球を発散照明している。撮影者の眼球７０４で反射した赤外光の一部は集光レンズ７０６によって撮像センサ７０７に結像する。なお、撮像センサ７０７は、光学像を電気信号に変換するＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサである。
【００４７】
図８（ａ）は、撮像センサ７０７に投影される眼球像の概略図であり、図５（ｂ）は撮像センサ７０７の出力強度を示す図である。水平面（ｚ−ｘ面）で考えると、図７（ａ）に示すように、光源７０３から放射された赤外光は、撮影者の眼球７０４の角膜７０５を照明する。このとき、角膜７０５の表面で反射した赤外光により形成される虚像である角膜反射像ｄは、集光レンズ７０６により集光され、撮像センサ７０７上の位置ｄ′に結像する。同様に、光源７０２から放射された赤外光は、眼球の角膜７０５を照明し、角膜７０５の表面で反射した赤外光により形成された虚像である角膜反射像ｅは、集光レンズ７０６により集光され、撮像センサ７０７上の位置ｅ′に結像する。また、虹彩７０１の端部ａ，ｂからの光束は、集光レンズ７０６を介して撮像センサ７０７上の位置ａ′，ｂ′に結像する。
【００４８】
集光レンズ７０６の光軸に対する眼球７０４の光軸の回転角θが小さい場合、虹彩７０１の端部ａ，ｂのｘ座標を（ｘａ，ｘｂ）とすると、（ｘａ，ｘｂ）は、撮像センサ７０７上で多数点（図５（ａ）中の×印）求めことができる。そこで、まず円の最小自乗法により、瞳孔中心ｃのｘ座標ｘＣを算出する。一方、角膜７０５の曲率中心Ｏのｘ座標をｘＯとすると、眼球７０４の光軸に対する水平方向の回転角θＸは、下記式１で表される。なお、下記式１における「ｏｃ」は、角膜７０５の曲率中心Ｏと瞳孔中心ｃとの間の距離である。
【００４９】
また、角膜反射像ｄ，ｅの中心ｋのｘ座標ｘｋは、角膜反射像ｄ，ｅのそれぞれの中心のｘ座標ｘｄ，ｘｅを用いて下記式２で表されるため、角膜７０５の曲率中心Ｏのｘ座標ｘＯは、補正値δＸを考慮して、下記式３で表される。なお、補正値δＸは、視線検出装置の設置方法や眼球距離等から幾何学的に求められる数値であり、その算出方法には周知の技術を用いることができるため、ここでの詳細な説明は省略する。
【００５０】
下記式３を下記式１に代入することにより、下記式４により回転角θＸを求めることができる。更に、撮像センサ７０７上に投影された各々の特徴点の座標は、「′（ダッシュ）」をつけて、下記式５に書き換えられる。下記式５において、「β」は、集光レンズ７０６と眼球７０４との間の距離ｓｚｅ（図７（ａ））により決まる倍率であり、実際は角膜反射像ｄ，ｅの間隔｜ｘｄ′−ｘｅ′｜の関数として求められる。
【００５１】
鉛直面（ｙ−ｚ面）で考えると、図７（ｂ）に示すように、光源７０２，７０３により生じる角膜反射像は同位置に発生し、これを角膜反射像ｉとする。眼球７０４の光軸に対する鉛直方向の回転角θｙの算出方法は、水平面の場合とほぼ同じであるが、下記式３に対応する式のみが異なり、角膜７０５曲率中心Ｏのｙ座標ｙＯは、下記式６で表される。ここで、「δｙ」は、視線検出装置の設置方法や眼球距離等から幾何学的に求められる数値であり、その算出方法には周知の技術を用いることができるため、ここでの詳細な説明は省略する。よって、下記式６から、回転角θｙを下記式７により求めることができる。
【００５２】
［数１］
ｏｃ×ｓｉｎθＸ＝ｘＣ−ｘＯ  …式１
ｘｋ＝（ｘｄ＋ｘｅ）／２  …式２
ｘＯ＝（ｘｄ＋ｘｅ）／２＋δＸ  …式３
θＸ＝arcsin〔［ｘＣ−｛（ｘｄ＋ｘｅ）／２＋δＸ｝］／ｏｃ〕  …式４
θＸ＝arcsin〔［ｘＣ′−｛（ｘｄ′＋ｘｅ′）／２＋δＸ′｝］／ｏｃ／β〕  …式５
ｙＯ＝ｙｉ＋δｙ  …式６
θｙ＝arcsin〔［ｙｃ′−（ｙｉ′＋δｙ′）］／ｏｃ／β〕  …式７
図８に示すように、瞳孔エッジの検出は、撮像センサ７０７の出力波形の立ち上がりｘｂ′、立ち下がりｘａ′を利用する。また、角膜反射像ｄ，ｅの座標は、鋭い立ち上がり部ｘｄ′，ｘｅ′を利用する。こうして、視線検出を行うことができる。そして、眼球７０４の光軸に対する回転角θｘ，θｙにおいて、撮影者の顔が正面顔であるか否かを判別するための角度の閾値を設定し、例えば、回転角θｘ，θｙの少なくとも一方が閾値の角度より大きい場合には、撮影者の顔は正面顔ではないと判別する。
【００５３】
以上の説明の通り、第３実施形態では、可動式表示装置１０３が開いているとき、つまり、撮影者の顔が下側から撮影されやすいために認識が成功し難い場合にのみ、認識に成功しやすい顔画像が取得できるか否かを判断する。そして、認識が成功し難い顔である場合には、警告を発して、正面顔を撮影するために撮影者に撮影方向へ顔を向けるように誘導する。これにより、撮影者の正面顔を撮影しやすくして、認識を成功しやすくすることができる。
【００５４】
また、可動式表示装置１０３が閉じている場合には、図１０を参照して説明したように、撮影者の正面顔を撮影する可能性が高いため、可動式表示装置１０３の開きを検知したときにのみ、撮影者の視線検出を行う。こうして、可動式表示装置１０３が閉じているときには撮影者の視線検出を行わないようにすることにより、不要な処理を無くして、使い勝手を向上させることができる。
【００５５】
＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【００５６】
本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及びこのプログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００５７】
１００，３００，５００    撮像装置
１０１    メインカメラ
１０２    サブカメラ
１０３    可動式表示装置
１０４    認識部
１０５    ＣＰＵ
３０１    表示装置状態検出部
５０１    撮影者状態判別部
５０２    ＬＥＤ
５０３    スピーカ
【図１】
2015126369.tif 000003
【図２】
2015126369.tif 000004
【図３】
2015126369.tif 000005
【図４】
2015126369.tif 000006
【図５】
2015126369.tif 000007
【図６】
2015126369.tif 000008
【図７】
2015126369.tif 000009
【図８】
2015126369.tif 000010
【図９】
2015126369.tif 000011
【図１０】
2015126369.tif 000012
【図１１】
2015126369.tif 000013