(57)【要約】【課題】  カメラ目線の被写体を好適なタイミングで撮影する。【解決手段】Ｓ１では、被写体視線追尾・予測部１０５によりスルー画像の各々から顔検出を行う。顔検出の具体的方法は公知のものが採用でき、例えば目、口、鼻などの顔パーツを検出したり、肌色領域を検出することで行われる。Ｓ２では、被写体視線追尾・予測部１０５により、検出された顔の向きと視線方向を検出する。Ｓ３では、ＲＴＣ５３から、顔の向きと視線方向の検出時の時刻情報（検出時刻情報）を取得し、顔の向きと視線方向と検出時刻情報とを対応づけてメモリ６０に記憶する。Ｓ４では、メモリ６０に記憶された視線推移情報に基づき、時間経過に沿った顔の向き・視線方向の軌跡を算出する。Ｓ５では、当該軌跡からシャッタタイミングを決定する。【選択図】  図２
2010206523.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を介して結像した被写体像を撮像素子により光電変換して複数の画像を順次出力する撮像部と、
前記撮像部の順次出力した複数の画像に基づいて前記撮像部の撮像光学系に対する被写体の目線の推移を追従し、前記被写体の目線の推移を示す視線推移情報を所定の記憶媒体に記憶する視線推移情報記憶部と、
前記所定の記憶媒体に記憶された視線推移情報に基づいて、前記視線が前記撮像部の撮像光学系に向く現在時刻以降のタイミングである視線タイミングを算出する視線タイミング算出部と、
前記視線タイミング算出部の算出した視線タイミングに基づいて記録用の画像の撮影を開始する撮影タイミングを決定する撮影タイミング決定部と、
前記撮影タイミング決定部の決定した撮影タイミングで記録用画像の撮影を行うよう前記撮像部を制御する制御部と、
を備える撮像装置。
【請求項２】
前記撮影タイミング決定部は、前記撮像部による記録用画像の撮影開始のタイムラグと前記視線タイミングに基づいて前記撮影タイミングを決定する請求項１に記載の撮像装置。
【請求項３】
フラッシュ光を発光可能なフラッシュ発光部を備え、
前記制御部は前記撮影タイミングに基づいて前記フラッシュ発光部の発光タイミングを制御する請求項１または２に記載の撮像装置。
【請求項４】
前記視線タイミング算出部は、前記視線推移情報の周期性に基づいて視線タイミングを算出する請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
前記視線タイミング算出部は、前記視線推移情報の示す視線の移動方向および移動速度に基づいて視線タイミングを算出する請求項１〜３のいずれかに記載の撮像装置。
【請求項６】
撮像光学系を介して結像した被写体像を撮像素子により光電変換して複数の画像を順次出力する撮像部を備える撮像装置が、
前記撮像部の順次出力した複数の画像に基づいて前記撮像部の撮像光学系に対する被写体の目線の推移を追従し、前記被写体の目線の推移を示す視線推移情報を所定の記憶媒体に記憶するステップと、
前記所定の記憶媒体に記憶された視線推移情報に基づいて、前記視線が前記撮像部の撮像光学系に向く現在時刻以降のタイミングである視線タイミングを算出するステップと、
前記算出した視線タイミングに基づいて記録用の画像の撮影を開始する撮影タイミングを決定するステップと、
前記撮影タイミング決定部の決定した撮影タイミングで記録用画像の撮影を行うよう前記撮像部を制御するステップと、
を実行する撮像方法。
【請求項７】
請求項６に記載の撮像方法を撮像装置に実行させるための撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目線の動く被写体を好適なタイミングで撮像可能な撮像装置に関する。
【背景技術】
【０００２】
特許文献１では、スルー画像データから被写体の顔画像・顔領域を検出し、その顔領域から被写体の目の画像を検出する。得られた目の画像から、黒目の中心位置を検出し、顔の位置と目の中心位置の関係から被写体の視線がカメラの方向を向いているかを判断し、カメラの方向を向いていたら即座に撮影が行われる。
【０００３】
特許文献２では、被写体の顔画像を検出し、その顔領域から鼻部・眼部を検出し、得られた顔パーツから被写体の顔の向きを眼部領域から視線の向きを判定し、得られた顔・視線の向きから被写体の視線がカメラの方向を向いているか否かを判定し、被写体の視線がカメラの方向を向いていれば、画像表示部にその結果を表示し、撮影者に知らせる。
【０００４】
特許文献３では、被写体の眼部を検出し、白目と黒目の位置関係からカメラ目線であるか否かを判断し、カメラ目線であると判断したら連続撮影を行う。さらに、撮影画像の中でもっともカメラ目線になっている画像を自動で選択することによって、被写体の視線がカメラ方向を向いた画像を撮影することができる。
【特許文献１】特開２００８−１８２４８５号公報
【特許文献２】特開２００８−１１４５７号公報
【特許文献３】特開２００７−９６４４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
引用文献１では、屋内撮影など、暗い所で撮影を行う際、フラッシュ撮影を行うと、フラッシュ発光時のタイムラグの関係から、シャッターチャンスを逃しやすい。引用文献２では、被写体の視線がカメラ方向に向いている時間が短い場合にシャッターチャンスを逃しやすい。引用文献３では、連続で撮影を行うので、画像を記録するためのメモリを大量に確保する必要がある。
【０００６】
本発明は、カメラ目線の被写体を好適なタイミングで撮影することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像装置は、撮像光学系を介して結像した被写体像を撮像素子により光電変換して複数の画像を順次出力する撮像部と、撮像部の順次出力した複数の画像に基づいて撮像部の撮像光学系に対する被写体の目線の推移を追従し、被写体の目線の推移を示す視線推移情報を所定の記憶媒体に記憶する視線推移情報記憶部と、所定の記憶媒体に記憶された視線推移情報に基づいて、視線が撮像部の撮像光学系に向く現在時刻以降のタイミングである視線タイミングを算出する視線タイミング算出部と、視線タイミング算出部の算出した視線タイミングに基づいて記録用の画像の撮影を開始する撮影タイミングを決定する撮影タイミング決定部と、撮影タイミング決定部の決定した撮影タイミングで記録用画像の撮影を行うよう撮像部を制御する制御部と、を備える。
【０００８】
撮影タイミング決定部は、撮像部による記録用画像の撮影開始のタイムラグと視線タイミングに基づいて撮影タイミングを決定する。
【０００９】
フラッシュ光を発光可能なフラッシュ発光部を備え、制御部は撮影タイミングに基づいてフラッシュ発光部の発光タイミングを制御する。
【００１０】
視線タイミング算出部は、視線推移情報の周期性に基づいて視線タイミングを算出する。
【００１１】
視線タイミング算出部は、視線推移情報の示す視線の移動方向および移動速度に基づいて視線タイミングを算出する。
【００１２】
本発明に係る撮像方法は、撮像光学系を介して結像した被写体像を撮像素子により光電変換して複数の画像を順次出力する撮像部を備える撮像装置が、撮像部の順次出力した複数の画像に基づいて撮像部の撮像光学系に対する被写体の目線の推移を追従し、被写体の目線の推移を示す視線推移情報を所定の記憶媒体に記憶するステップと、所定の記憶媒体に記憶された視線推移情報に基づいて、視線が撮像部の撮像光学系に向く現在時刻以降のタイミングである視線タイミングを算出するステップと、算出した視線タイミングに基づいて記録用の画像の撮影を開始する撮影タイミングを決定するステップと、撮影タイミング決定部の決定した撮影タイミングで記録用画像の撮影を行うよう撮像部を制御するステップと、を実行する。
【００１３】
この撮像方法を撮像装置に実行させるためのプログラムも本発明に含まれる。
【発明の効果】
【００１４】
この発明によると、幼児などカメラ目線を合わせにくいような被写体でもカメラ目線の画像を自動的に撮影でき、シャッターチャンスを逃さなくなる。
【発明を実施するための最良の形態】
【００１５】
図１は、撮像装置１０の主要構成を示すブロック図である。撮像装置１０は、静止画や動画の記録及び再生機能を備えたデジタルカメラであり、撮像装置１０全体の動作は中央処理装置（ＣＰＵ）５０によって統括制御される。ＣＰＵ５０は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算等、各種演算を実施する演算手段として機能する。電源回路１５０は、本カメラシステムの各ブロックに電源を供給する。
【００１６】
ＣＰＵ５０には、バス５４を介してＲＯＭ（Read Only Memory）５６及びフラッシュメモリ５８が接続されている。ＲＯＭ５６には、ＣＰＵ５０が実行するプログラム及び制御に必要な各種データ等が格納され、フラッシュメモリ５８は、撮像装置１０に内蔵された内蔵メモリであり、ＣＣＤ画素欠陥情報、カメラ動作に関する各種定数／情報等が格納される。
【００１７】
また、メモリ（ＳＤＲＡＭ、Synchronous Dynamic Random Access Memory）６０は、プログラムの展開領域及びＣＰＵ５０の演算作業用領域として利用されるとともに、画像データや音声データの一時記録領域として利用される。ＶＲＡＭ（Video Random Access Memory）６２は、画像データ専用の一時記録メモリであり、Ａ領域６２ＡとＢ領域６２Ｂを含んでいる。なお、メモリ６０とＶＲＡＭ６２は共用することが可能である。
【００１８】
なお、フラッシュメモリ５８は不揮発性のメモリであり、メモリ６０は揮発性のメモリである。
【００１９】
操作スイッチ群６４は、シャッタボタン２０及び電源スイッチ等を含むブロックである。これら各種の操作スイッチからの信号はＣＰＵ５０に入力され、ＣＰＵ５０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、撮像動作制御、画像処理制御、画像データの記録／再生制御、画像表示装置２８の表示制御等を行う。
【００２０】
撮像装置１０は、メディアソケットを有し、メディアソケットには、撮像装置１０から着脱可能な着脱メモリである記録メディア６８を装着することができる。記録メディア６８の形態としては、xD-PictureCard（商標）、スマートメディア（商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の媒体を用いることができる。メディアコントローラ７０は、メディアソケットに装着される記録メディア６８に適した入出力信号の受渡しを行うために所要の信号変換を行う。
【００２１】
また、撮像装置１０は、パーソナルコンピュータその他の外部機器と接続するための通信手段として外部接続インターフェース（Ｉ／Ｆ）部７２を備える。撮像装置１０は、図示せぬＵＳＢケーブル等を用いて撮像装置１０と外部機器を接続することにより、外部機器との間でデータの受渡しが可能となる。なお、外部機器との通信方式はＵＳＢに限らず、IEEE1394やBluetooth、その他の通信方式を適用してもよい。
【００２２】
次に、撮像装置１０の撮像機能について説明する。操作スイッチ群６４のモードスイッチによって撮像モードが選択されると、固体撮像素子７４（以下の説明では、ＣＣＤと記載するが、ＣＭＯＳなどでも可）を含む撮像部に電源が供給され、撮像可能な状態になる。
【００２３】
レンズユニットは、フォーカスレンズ及びズームレンズを含む撮影レンズ１４と、絞り兼用メカシャッタ８２とを含む光学ユニットである。撮影レンズ１４のフォーカシングは、フォーカスレンズを図示しないフォーカスモータによって移動させることにより行われ、ズーミングは、ズームレンズを図示しないズームモータで移動させることにより行われる。フォーカスモータとズームモータは、それぞれレンズモータドライバ７８により駆動制御される。ＣＰＵ５０は、このレンズモータドライバ７８に制御信号を出力して制御する。
【００２４】
絞り８２は、いわゆるターレット型絞りで構成されており、Ｆ２．８からＦ８の絞り孔が穿孔されたターレット板を回転させて絞り値（Ｆ値）を変化させる。この絞り８２の駆動は図示しないアイリスモータによって行われる。アイリスモータはアイリスモータドライバ８０により駆動制御される。ＣＰＵ５０は、このアイリスモータドライバ８０に制御信号を出力して制御する。
【００２５】
レンズユニットを通過した光は、ＣＣＤ７４の受光面に結像される。ＣＣＤ７４の受光面には多数のフォトダイオード（受光素子）が二次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプ等）で配置されている。また、ＣＣＤ７４は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ５０は、タイミングジェネレータ（ＴＧ）８４を介してＣＣＤ７４での電荷蓄積時間を制御する。
【００２６】
ＣＣＤ７４の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ５０の指令に従いＴＧ８４から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。
【００２７】
ＣＣＤ７４から出力された信号はアナログ処理部（ＣＤＳ／ＡＭＰ）８６に送られ、ここで画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器８８に加えられる。Ａ／Ｄ変換器８８によってデジタル信号に変換された点順次のＲ、Ｇ、Ｂ信号は、画像入力コントローラ９０を介してメモリ６０に記録される。
【００２８】
画像信号処理回路９２は、メモリ６０に記録されたＲ、Ｇ、Ｂ信号をＣＰＵ５０の指令に従って処理する。すなわち、画像信号処理回路９２は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＣＰＵ５０からのコマンドに従ってメモリ６０を活用しながら所定の信号処理を行う。
【００２９】
画像信号処理回路９２に入力されたＲＧＢの画像データは、画像信号処理回路９２において輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。画像信号処理回路９２で処理された画像データはメモリ６０に格納される。
【００３０】
撮像画像を画像表示装置２８にモニタ出力する場合、ＶＲＡＭ６２から画像データが読み出され、バス５４を介してビデオエンコーダ９４に送られる。ビデオエンコーダ９４は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合画像信号）に変換して画像表示装置２８に出力する。
【００３１】
ＣＣＤ７４から出力される画像信号によって、１コマ分の画像を表す画像データがＶＲＡＭ６２のＡ領域６２ＡとＢ領域６２Ｂとで交互に書き換えられる。ＶＲＡＭ６２のＡ領域６２Ａ及びＢ領域６２Ｂのうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてＶＲＡＭ６２内の画像データが定期的に書き換えられ、その画像データから生成される画像信号が画像表示装置２８に供給されることにより、撮像中の映像がリアルタイムに画像表示装置２８に表示される。撮像者は、画像表示装置２８に表示される映像（スルー画像）によって撮像画角を確認できる。
【００３２】
シャッタボタン２０が半押しされると、撮像装置１０はＡＥ及びＡＦ処理を開始する。すなわち、ＣＣＤ７４から出力された画像信号はＡ／Ｄ変換後に画像入力コントローラ９０を介してＡＦ検出回路９６並びにＡＥ／ＡＷＢ検出回路９８に入力される。
【００３３】
ＡＥ／ＡＷＢ検出回路９８は、１画面を複数のエリア（例えば、８×８又は１６×１６）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ５０に提供する。ＣＰＵ５０は、ＡＥ／ＡＷＢ検出回路９８から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮像に適した露出値（撮像ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定され、これに従いＣＰＵ５０はＣＣＤ７４の電子シャッター及びアイリスを制御して適正な露光量を得る。
【００３４】
また、ＡＥ／ＡＷＢ検出回路９８は、自動ホワイトバランス調整時には、分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ５０に提供する。ＣＰＵ５０は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇ軸座標の色空間における分布等に基づいて光源種判別を行い、判別された光源種に応じてホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を制御し、各色チャンネルの信号に補正をかける。なお、ホワイトバランス調整の詳細は後述する。
【００３５】
撮像装置１０におけるＡＦ制御は、例えば、画像信号のＧ信号の高周波成分が極大になるようにフォーカスレンズを移動させるコントラストＡＦが適用される。すなわち、ＡＦ検出回路９６は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）にあらかじめ設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部及びＡＦエリア内の絶対値データを積算する積算部から構成される。
【００３６】
ＡＦ検出回路９６により求められた積算値のデータはＣＰＵ５０に通知される。ＣＰＵ５０は、レンズモータドライバ７８を制御してフォーカスレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、ＣＰＵ５０は、求めた合焦位置にフォーカスレンズを移動させるようにレンズモータドライバ７８を制御する。なお、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。
【００３７】
シャッタボタン２０が半押しされ、ＡＥ／ＡＦ処理が行われ、シャッタボタン２０が全押しされ、記録用の撮像動作がスタートする。シャッタボタン２０の全押しに応動して取得された画像データは画像信号処理回路９２において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、メモリ６０に格納される。
【００３８】
メモリ６０に格納されたＹ／Ｃ信号は、圧縮伸張回路１００によって所定のフォーマットに従って圧縮された後、メディアコントローラ７０を介して記録メディア６８に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）形式で記録される。
【００３９】
モードスイッチにより再生モードが選択されると、記録メディア６８に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路１００を介して非圧縮のＹＣ信号に伸張され、画像信号処理回路９２及びビデオエンコーダ９４を介して表示用の信号に変換された後、画像表示装置２８に出力される。これにより、当該ファイルの画像内容が画像表示装置２８の画面上に表示される。
【００４０】
静止画の一コマ再生中（動画の先頭フレーム再生中も含む）に、操作スイッチ群６４に含まれるストロボボタン（右キー）又はマクロボタン（左キー）を操作することによって、再生対象のファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルが記録メディア６８から読み出され、上記と同様にして静止画像や動画が画像表示装置２８に再生表示される。
【００４１】
また、再生モード時に、パーソナルコンピュータやテレビ等の外部ディスプレイがビデオ入出力端子を介して撮像装置１０に接続されている場合には、記録メディア６８に記録されている画像データはビデオ出力回路１０４により処理されて、この外部ディスプレイに再生表示される。
【００４２】
また、ＣＰＵ５０には、オーディオ入出力回路１０６が接続される。オーディオ入出力回路１０６には、スピーカ１０８及びマイク１１０が接続され、撮像モード時や再生モード時等における各種動作音が再生出力されるとともに、動画撮像時の音声信号が入力される。
【００４３】
ＣＰＵ５０の制御によってフラッシュ制御部５１への給電を開始することで、フラッシュライト５２の発光用コンデンサが充電され、所定のタイミングでＣＰＵ５０からフラッシュ制御部５１に発光信号が送られてキセノン管やＬＥＤなどで構成されたフラッシュライト５２が発光する。ＣＰＵ５０は、操作スイッチ群６４から「強制発光」が指定された場合や、ＡＥ処理で検出した被写体輝度が所定値未満、例えば被写体輝度が９．１Ｅｖより下がると、撮影時のフラッシュライト５２の発光を行う。
【００４４】
被写体視線追尾・予測部１０５は、バス５４を介してＣＰＵ５０やＶＲＡＭ６２などと接続されている。リアルタイムクロック（ＲＴＣ）５３は、ＣＰＵ５０に現在時刻情報を出力する。
【００４５】
図２は撮像装置１０の実行する撮影処理のフローチャートを示す。この処理はＣＰＵ５０によって実行される。この処理をＣＰＵ５０に実行させるためのプログラムはＲＯＭ５６に記憶されている。この処理は操作スイッチ群６４から視線検出モードが選択されたことに応じて開始する。
【００４６】
Ｓ１では、被写体視線追尾・予測部１０５によりスルー画像の各々から顔検出を行う。顔検出の具体的方法は公知のものが採用でき、例えば目、口、鼻などの顔パーツを検出したり、肌色領域を検出することで行われる。
【００４７】
Ｓ２では、被写体視線追尾・予測部１０５により、検出された顔の向きと視線方向を検出する。すなわち、まず、被写体視線追尾・予測部１０５は、検出された顔画像から、被写体の鼻と両目の位置を検出し、それらの位置情報から顔の向きを検出する。次に、被写体視線追尾・予測部１０５は、鼻の位置情報を基準に両目の位置情報がほぼ対象であれば、顔は正面を向いており、鼻の位置情報を基準に両目の位置情報がいずれかの方向に偏っていれば、その方向に顔が向いていると判断する。また、両目の白目および黒目の領域を抽出し、その領域の位置関係から視線方向を判断する。すなわち、白目領域の位置情報を基準に黒目領域の位置情報がいずれかの方向に偏っていれば、その方向を視線方向と判断する。白目領域の位置情報を基準に両目の位置情報がほぼ対象であれば、視線方向は撮像装置１０に向いていると判断する。
【００４８】
Ｓ３では、ＲＴＣ５３から、顔の向きと視線方向の検出時の時刻情報（検出時刻情報）を取得し、顔の向きと視線方向と検出時刻情報とを対応づけてメモリ６０に記憶する。これにより個々の時点で検出された顔の向きと視線方向が時系列データとしてメモリ６０に蓄積される。以後、この時系列データを視線推移情報と呼ぶ。
【００４９】
Ｓ４では、メモリ６０に記憶された視線推移情報に基づき、時間経過に沿った顔の向き・視線方向の軌跡を算出する。
【００５０】
図３はメモリ６０に記憶された視線推移情報に含まれる顔の向き・視線方向の軌跡の一例を示す。縦軸ｒは視線が撮像装置１０からどれだけ離れているかを示す値で、ｒ＝０のとき視線が撮像装置１０に向いている。ｒの正負の符号は視線方向を示す。横軸ｔは、視線の検出開始からの経過時間である。
【００５１】
図４は距離ｒの測定方法を例示する。説明の間略のため、視線方向は水平方向のみ検出されるものとし、＋は撮像装置１０から見て右の視線方向、−は撮像装置１０から見て左の視線方向を示すものとする。白点Ｐ０は撮像装置１０の撮影レンズ１４の光軸中心を通る線分ｌから撮像装置１０を直視する視線（カメラ目線）を示す。黒点Ｐはある任意の時刻での視線を示す。ｒは、Ｐ０−Ｐ間の距離であり、線分Ｐ０−Ｐと線分ｌとのなす角θが、カメラ目線を基準とした視線の偏りを示す。θの符号は、視線が右側に偏っていれば＋、左側に偏っていれば−となる。図示は省略するが、垂直方向の視線についても同様の測定を行って視線の定量化が可能である。
【００５２】
再び図２を参照すると、Ｓ５では、図３のような軌跡を求め、これまでにｒ＝０となった時刻（検出点）に基づいてカメラ目線の出現周期を算出し、その結果を利用して現在時刻よりも後の時刻でｒ＝０となるタイミングを予測する。視線の移動には周期性のあるものとそうでないランダムなものとがあるが、１つの方法としては周期性を判別してシャッタタイミングを決める。周期性に基づくシャッタタイミングの決めかたは以下のようなものが挙げられる。
【００５３】
ア）全検出点を用いて周期を算出し、将来の検出点の到来タイミングをシャッタタイミングとする。これは、検出点が概ね規則的に出現し、算出した周期と実際の検出点間の出現間隔の誤差が小さい場合に有効である。なお、周期の算出方法は、各検出点間の時間間隔の平均値を周期とすることが挙げられる。
【００５４】
イ）隣接した検出点間の時間間隔を算出し、当該時間間隔が時ｔの経過に従って短くなってきた場合、現在時刻近傍の検出点のみを用いて周期を算出する。これは、周期の算出基準となる検出点を、視線がカメラ目線となっている頻度が高い状態に絞るので、周期の正確性が増す。
【００５５】
ウ）軌跡の一次微分値が一定値以下であり、かつ現在時点の軌跡がｒ＝０に向かっている場合は、即時にシャッタを切る。これは、視線が撮像装置１０に向かおうとしているので即座にシャッタを切るが、視線が撮像装置１０に向かおうとする速度が一定値以上の場合は、視線がカメラ目線を通り越して逆方向へ振れる可能性が高く、シャッタのタイミングを延長する。
【００５６】
エ）ある検出点の出現周期が一定値より短くなるあるいは長くなる場合は、それらの検出点を用いずに周期を算出する。すなわち、ランダムで不規則に現れた検出点を周期の算出基準から除外する。
【００５７】
オ）ア）〜エ）の少なくとも１つを用いて決定されたシャッタタイミング近傍でのｒの振幅が小さいときに限りそのシャッタタイミングでシャッタを切る。これは、視線の動きの大きさが小さい状態のときに撮影を開始する。
【００５８】
カ）各検出点の近傍でｒの振幅が正負に揺れていても、振幅が周期的に推移しているか否かを定期的に判断し、振幅が周期的に推移していると判断されれば、その周期によって予測される現時点以降の検出点到来時点をシャッタタイミングとする。周期のゆらぎの評価値を算出する公知技術（例えば、特開２００８−３９４９９号公報）を用いて軌跡のゆらぎの評価値を算出し、評価値が所定の閾値を下回った場合、すなわちゆらぎの程度が所定の値よりも小さくなった場合は、ア）、イ）、またはエ）を用いて求められた周期で次あるいはそれ以後に到来する検出点をシャッタタイミングとする。これは、被写体はカメラ目線であるが、撮影準備が未だ整っていない状態に有効である。
【００５９】
検出点の出現周期を用いないシャッタタイミング決定の方法は、以下のものがある。
【００６０】
キ）視線の動く方向、動く速さからシャッタタイミングを決定する。
【００６１】
図５はメモリ６０に記憶された視線推移情報に含まれる軌跡の他の例を示す。ｘ、ｙはそれぞれカメラ目線を基準とした水平方向および垂直方向の視線の偏りを示す。ｘ＝ｙ＝０のときがカメラ目線である。ｔ０は視線追尾開始時刻、ｔ１は現在の時刻、ｔ２は撮影を行う時刻である。ｔ２の求めかたは任意である。例えば、ｔ１時点での視線Ｐｃから原点Ｏ（カメラ目線）までの補間曲線（線形補間または非線形補間）を求め、かつ、ｔ０〜ｔ１までの視線の移動距離から視線の移動速度を求める。そして、当該補間曲線の長さを当該移動速度で割った値Δを求め、ｔ２＝ｔ１＋Δとする。このｔ２がシャッタタイミングに決定される。ただし、このタイミング決定方法は、過去の視線から現在の視線の視線にかけて徐々に視線がｘ＝ｙ＝０に向かっているとき、すなわち視線Ｐｃと原点Ｏとの距離が一定値未満になっており、かつＰｃの接線ベクトルの方向が原点Ｏに向かっているときに用いるものとする。
【００６２】
Ｓ６では、Ｓ５で決定したタイミングが現時点から一定時間の範囲内（例えば１０秒以内）であるか否かを判断する。Ｙｅｓの場合はＳ７に進み、Ｎｏの場合はＳ１に戻る。
【００６３】
Ｓ７では、Ｓ５で決定したタイミングから撮影の開始から完了までの間のタイムラグ分だけ遡った時点を最終的な撮影開始時点と決定する。このタイムラグは、ＡＦ／ＡＥ処理などの撮影準備処理や、撮影自身の所要時間、例えば露光時間などにより生じるが、少なくとも露光のタイムインターバルがカメラ目線のタイミングを含むように最終的な撮影開始時点（露光開始時点）を決定する。予め撮影準備処理により生じるタイムラグの規定値ＴＤをフラッシュメモリ５８に記憶しておき、Ｓ５で決定したタイミングから規定値ＴＤだけ遡った時点を撮影準備処理開始時点と決定してもよい。
【００６４】
Ｓ８では、決定した最終的な撮影開始時点で自動的にシャッタを切り撮像を行う。なお、撮影回数は１回でも複数回でもよいが、シャッタタイミングは好適な時点を予測して決定するから、特許文献３のように無駄に複数枚撮る必要性はない。
【００６５】
この処理により、幼児などカメラ目線を合わせにくいような被写体でもカメラ目線の画像を自動的に撮影でき、シャッターチャンスを逃さなくなる。
【００６６】
＜第２実施形態＞
図６は撮像装置１０の実行する撮影処理のフローチャートを示す。この処理はＣＰＵ５０によって実行される。この処理をＣＰＵ５０に実行させるためのプログラムはＲＯＭ５６に記憶されている。この処理は操作スイッチ群６４から視線検出モードが選択されたことに応じて開始する。
【００６７】
Ｓ１１〜Ｓ１７はＳ１〜Ｓ７と同様である。
【００６８】
Ｓ１８では、フラッシュ発光を行うか否かを判断する。Ｙｅｓの場合はＳ１９、Ｎｏの場合はＳ２１に進む。上述のように、強制発光が指定された場合や被写体輝度が所定値を下回る場合にフラッシュ発光を行うと判断する。
【００６９】
Ｓ１９では、フラッシュ発光に合わせた露出値（撮像ＥＶ値）を算出する。
【００７０】
Ｓ２０では、フラッシュ発光時間を算出する。実際には、公知のように、プリ発光時の画像信号の積算値を用いて、本発光時の撮影感度、露出値、フラッシュライト５２の目標発光量（発光時間及び発光強度）が一体的に算出される。ここで、フラッシュライト５２の累積発光量が算出された目標発光量に達する時点が、カメラ目線となるタイミングに合うようにフラッシュライト５２の発光開始タイミングを決定する。
【００７１】
Ｓ２１はＳ８と同様である。ただし、Ｓ２０で決定した発光開始タイミングでフラッシュライト５２を発光する。
【００７２】
ここでは、フラッシュ発光を行って適切な被写体輝度を確保するが、このフラッシュ発光時間も撮影タイミングの開始の決定要素として考慮され、カメラ目線になった被写体を自動撮影でき、屋内など暗い環境で被写体が動いていても被写体ぶれが小さくなる。
【図面の簡単な説明】
【００７３】
【図１】カメラのブロック図
【図２】第１実施形態に係る撮影処理のフローチャート
【図３】顔の向き・視線方向の軌跡の一例を示す図
【図４】距離ｒの測定方法を例示する図
【図５】視線方向の軌跡の他の例を示す図
【図６】第２実施形態に係る撮影処理のフローチャート
【符号の説明】
【００７４】
１４：撮影レンズ、５０：ＣＰＵ、５２：フラッシュライト、７４：ＣＣＤ、１０５：被写体視線追尾・予測部
【図１】
2010206523.tif 000003
【図２】
2010206523.tif 000004
【図３】
2010206523.tif 000005
【図４】
2010206523.tif 000006
【図５】
2010206523.tif 000007
【図６】
2010206523.tif 000008