(57)【要約】【課題】一度の撮影で被撮影者が撮像装置の方向を見ている画像を取得できる撮像装置を提供すること。【解決手段】顔画像を含む一人または複数の人物の画像を入力する画像入力手段と、前記画像入力手段が入力した画像から前記人物の視線方向を検出して撮像装置の方向を見ているかどうか判断する画像処理手段と、前記画像処理手段の結果から前記人物が指定方向を向いていると判断された入力画像の保存を行う撮影手段とを備える。【選択図】図１
2006319610.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、
前記画像入力手段が入力した画像から一人または複数の人物を検出し、前記人物の視線方向を検出して前記人物が撮像装置を見ているかどうかを判断する画像処理手段と、
前記画像処理手段の結果から前記人物が撮像装置を見ていると判断された入力画像の保存を行う保存手段と、
を備えた撮像装置。
【請求項２】
前記画像処理手段の出力から撮像装置を見ていない人物がいることを撮影者に警告する警告手段と、
撮影者が撮影の指令を入力する撮影時機入力手段と、
をさらに備えた請求項１記載の撮像装置。
【請求項３】
画像を入力する画像入力手段と、
前記人物の視線方向を指定する視線方向指定手段と、
前記画像入力手段が入力した画像から一人または複数の人物を検出し、前記人物の視線方向を検出して前記視線方向指定手段が指定した方向を見ているかどうか判断する画像処理手段と、
前記画像処理手段の結果から前記人物が撮像装置を見ていると判断された入力画像の保存を行う保存手段と、
を備えた撮像装置。
【請求項４】
前記画像処理手段の出力から前記視線指定手段が指定した方向を見ていない人物がいることを撮影者に警告する警告手段と、
撮影者が撮影の指令を入力する撮影時機入力手段と、
をさらに備えた請求項３記載の撮像装置。
【請求項５】
前記画像処理手段は、入力画像中の一人または複数の人物の視線方向を検出する視線検出手段と、
前記視線検出手段の結果から、前記人物が撮像装置または前期視線指定手段が指定した方向を見ているかどうかを判断する適性判断手段を有する、
請求項１乃至 ４記載の撮像装置。
【請求項６】
前記視線方向指定手段は、入力画像を表示する画像表示手段と、
入力画像中の物体や領域、方向を指定することで目的とする視線方向を指定する指定入力手段と、前記指定入力手段の入力と前記入力画像から指定方向を認識する指定認識手段を有する、
請求項３または４記載の撮像装置。
【請求項７】
前記警告手段は、前記適性判断手段によって撮像装置または指定方向を見ていないと判断された人物を表すよう画像を加工する画像合成手段と、
前記画像合成手段が出力した画像を表示する警告表示手段を有する、
請求項５または６記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被撮影者を撮影する撮像装置に関するものである。
【背景技術】
【０００２】
従来のカメラにおいては、シャッターレリーズボタン、セルフタイマなどが設けられており、撮影者がこれらのシャッターレリーズボタンを押す、またはセルフタイマによって設定した時刻に達することにより被撮影者の画像が記録媒体に記録される。しかし、撮影者が瞬間を捉えるカメラを用いて、最適なタイミングで撮影することは、相当の訓練を要する。特に、被撮影者が乳児や幼児のように撮影者の意図を理解してカメラの方向を向いてくれないような場合や、集合写真のように、被撮影者全員の視線がカメラに向いているかどうか撮影者が瞬時に把握困難な場合などでは、最適なシャッタータイミングを判断することは、そういった撮影に熟練したものでなければ難しい。
【０００３】
また、撮影タイミングを的確に判断できた場合でも、レリーズタイムラグによって撮影者が望むタイミングの画像とは異なる画像しか得られない可能性もある。
【０００４】
このような問題に対して、撮影者が望む画像を取得する手段として、撮影後に簡単に取得した画像を確認でき、最適な画像が得られるまで再度取り直すことができる撮像装置（例えば特許文献１）、シャッタータイミングを非撮影者にフラッシュの点滅状態によって知らせる撮像装置（例えば特許文献２）、一定時間撮影した連続画像の中から複数の被撮影者の顔領域を検出し、検出された顔の状態から各画像における被撮影者の顔状態の評価を行い、各被撮影者の最良の顔を一枚の画像に合成することで各被撮影者がカメラ方向を向いた画像を取得する画像処理手段（例えば特許文献３）などがある。
【特許文献１】特開２００３−５２０３８号公報
【特許文献２】特開２００１−２７５３５３号公報
【特許文献３】特開２０００−２５９８３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来の撮像装置（例えば特許文献１および特許文献２）では、撮影者の意図を理解してくれない被撮影者が対象の場合、一度の撮影で被撮影者がカメラの方向を向いた画像を撮影するのは困難であるという課題を有している。
【０００６】
また、前記従来の画像処理手段（例えば特許文献３）では、取得した画像が合成であることから不自然さが生じる、連続画像中に最適な顔状態が存在する保証がないため、カメラまたはあらかじめ指定された方向を向いた画像が取得できない可能性があるといった課題を有している。
【０００７】
本発明は、前記従来の課題を解決するもので、一人または複数の被撮影者、もしくは複数人中の特定の被撮影者が、カメラまたはあらかじめ指定された方向を向いた画像を取得する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記従来の課題を解決するために、本発明の撮像装置は、顔画像を含む一人または複数の人物の画像を入力する画像入力手段と、前記画像入力手段が入力した画像から前記人物の視線方向を検出して前記人物が撮像装置を見ているかどうかを判断する画像処理手段と、前記画像処理手段の結果から前記人物が撮像装置を見ていると判断された入力画像の保存を行う保存手段と、を備える。
【０００９】
本構成によって、一人または複数人の被撮影者の視線がカメラまたは特定の方向に向いた画像を、一度の撮影で取得することにより、撮影者および被撮影者の負担を軽減することができる。
【００１０】
また本発明の撮像装置は、前記画像処理手段の出力から撮像装置を見ていない人物がいることを撮影者に警告する警告手段と、撮影者が撮影の指令を入力する撮影時機入力手段とをさらに備えた撮像装置である。
【００１１】
本構成によって、撮影者は、カメラを見ていない被撮影者に対して注意を促すことができ、また、前記画像処理手段の判断だけではなく、撮影者の意思によって任意の時機に撮影をすることが可能となる。
【００１２】
また本発明の撮像装置は、画像を入力する画像入力手段と、前記人物の視線方向を指定する視線方向指定手段と、前記画像入力手段が入力した画像から一人または複数の人物を検出し、前記人物の視線方向を検出して前記視線方向指定手段が指定した方向を見ているかどうか判断する画像処理手段と、前記画像処理手段の結果から前記人物が撮像装置を見ていると判断された入力画像の保存を行う保存手段を備えた撮像装置である。
【００１３】
本構成によって、撮影者は、カメラ方向だけではなく、任意の方向を被撮影者が向いた画像を撮影することができる。
【００１４】
また本発明の撮像装置は、前記画像処理手段の出力から前記視線指定手段が指定した方向を見ていない人物がいることを撮影者に警告する警告手段と、撮影者が撮影の指令を入力する撮影時機入力手段をさらに備えた撮像装置である。
【００１５】
本構成によって、撮影者は、指定方向を向いていない被撮影者に注意を促したり、指定方向を向かせるための指示を行うことで、撮影を円滑に進めることができる。また、前記画像処理手段の判断だけではなく、撮影者の意思によって任意の時機に撮影をすることが可能となる。
【００１６】
また本発明の撮像装置は、前記画像処理手段が、入力画像中の一人または複数の人物の視線方向を検出する視線検出手段と、前記視線検出手段の結果から、前記人物が撮像装置または前期視線指定手段が指定した方向を見ているかどうかを判断する適性判断手段を有する撮像装置である。
【００１７】
本構成によって、視線検出手段を共通化し、適性判断手段の変更のみで、本発明の撮像装置の画像処理手段を作ることができるため、撮影者に迅速かつ安価に撮像装置を製造、供給することが可能となる。
【００１８】
また本発明の撮像装置は、前記視線方向指定手段が、入力画像を表示する画像表示手段と、入力画像中の物体や領域、方向を指定することで目的とする視線方向を指定する指定入力手段と、前記指定入力手段の入力と前記入力画像から指定方向を認識する指定認識手段を有する撮像装置である。
【００１９】
本構成によって、撮影者は、直感的に視線方向を指定することができ、指定作業が容易になる。
【００２０】
また本発明の撮像装置は、前記警告手段が、前記適性判断手段によって撮像装置または指定方向を見ていないと判断された人物を表すよう画像を加工する画像合成手段と、前記画像合成手段が出力した画像を表示する警告表示手段を有する撮像装置である。
【００２１】
本構成によって、撮影者は、視覚によって前記被撮影者を確認することができ、容易に前記被撮影者を特定することが可能となる。
【発明の効果】
【００２２】
以上のように、本発明の撮像装置によれば、撮影した画像の確認を何度もすることなく、自動的に、一人または複数人の被撮影者の視線がカメラまたは特定の方向に向いた画像を撮影することすることができる。
【００２３】
また、集合写真などを撮影する場合に、視線をカメラに向けていない被撮影者を警告表示手段によって撮影者に知らせることで、撮影者が被撮影者に注意を促すことができ、円滑に撮影を済ませることができる。
【発明を実施するための最良の形態】
【００２４】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２５】
（実施の形態１）
図１は、本発明の実施の形態１における撮像装置の構成を示すブロック図である。
【００２６】
撮像装置は、CCDやCMOSなどのイメージセンサによって画像を入力する画像入力手段１０１、撮影の可否を決定する画像処理手段１０２、メモリカードやハードディスクドライブなどの記録装置に画像の保存を行う保存手段１０３を備える。画像処理手段１０２はさらに、画像中の人物の視線を検出する視線検出手段１０４と、視線検出結果から入力画像の最適性を判断する適性判断手段１０５を備える。
【００２７】
図２に前記撮像装置の動作フローを示す。また、図３に被撮影者が一人の場合の入力画像の例を、図４に被撮影者が複数人の場合の入力画像の例を示す。
【００２８】
図１および図２において、撮像装置は、撮影作業を開始すると（ＳＴＥＰ２０１）、画像入力手段１０１が、一定期間ごとにカメラの撮像面に投影された画像を取得し（ＳＴＥＰ２０２）、画像処理手段１０２に出力する。
【００２９】
次に、画像処理手段１０２の視線検出手段１０４は、画像入力手段１０１から出力された画像から、画像中の人物の視線方向を検出し（ＳＴＥＰ２０３）、視線方向検出結果を適正判定手段１０５へと出力する。
【００３０】
適正判定手段１０５は、視線検出手段１０４から出力された視線方向検出結果を元に、その視線方向がカメラ見ているかどうかを判定し（ＳＴＥＰ２０４）、適性判断結果を保存手段１０３に出力する。
【００３１】
保存手段１０３は、適性判断手段１０６から出力された判定結果が、カメラ方向を向いていると判断していれば入力画像を保存し（ＳＴＥＰ２０５）、撮影作業を終了する（ＳＴＥＰ２０６）。また、カメラ方向を向いていないと判断した場合は、入力画像は撮影画像として不適であると判断し、撮像面に投影された画像を取り直す（ＳＴＥＰ２０２）。
【００３２】
以下、本装置の動作について説明する。まず、一人の人物を撮影する際の動作を説明する。
【００３３】
図３（ａ）（ｂ）に示すような、一人の人物３０１が映っている画像を入力画像とする。図３（ａ）（ｂ）において、人物３０１および人物３０２は、被撮影者である。撮影は、次の手順で行う。
【００３４】
１）画像入力
２）顔領域検出
３）瞳検出
４）視線方向検出
５）撮影可否の判定
６）撮影
以下に各処理の詳細について述べる。
【００３５】
撮影作業開始の際、撮像装置は、入力画像図３（ａ）に対して、顔領域検出処理を行う。顔領域検出は入力画像から特徴抽出を行い、あらかじめ用意した顔領域を表す特徴と比較し、類似度が高いものを検出することで行う。顔領域は、あらかじめ用意した顔領域のテンプレートと輝度の相関が高い領域を画像中から探索したり、画像中からHSV色空間における色相があらかじめ指定した肌色の色相と近い領域を検出する肌色領域検出を行ったり、人の顔を楕円でモデル化し、ハフ変換（Ｈｏｕｇｈ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）によって楕円検出を行ったり、統計的パターン識別手法を用いて、あらかじめ学習させた顔の特徴空間との相関の近い領域を検出したりすることで検出してもよい。
【００３６】
次に、検出した顔領域の中から瞳を検出する。瞳検出は、瞳が画像上に楕円として投影されることを利用し、顔領域中からハフ変換を用いて楕円を検出することで行う。また、ハフ変換によってエッジに接する円を検出し、その円を繰り返し変形させて楕円にあてはめる楕円成長法や、あらかじめ瞳の画像を入力として学習させて作製した特長空間との相関の高い画像領域を瞳として検出する手法を用いてもよい。また、瞳検出は、顔検出結果を用いず、画像の入力から直接行っても良い。
【００３７】
視線方向の検出は、瞳検出で得られた瞳の中心と、目尻、目頭、口などの顔部品との位置関係から計算することで行う。例えば、まず、目尻、目頭、口によって顔方向を検出する。
【００３８】
次に、目尻、目頭と、瞳の中心の位置関係によって顔正面に対する視線の方向を検出する。最後に、顔方向と顔正面に対する視線の方向を合成することで、視線方向を検出する。また、検出された瞳の輪郭形状を円を３次元空間で回転させたものの投影像とし、その回転角を求めることで視線方向を計測したり、目尻、目頭の位置から３次元的に眼球中心を仮定し、瞳の中心と眼球中心の位置関係から検出してもよい。
【００３９】
さらに、検出結果を用いて画像の最適性の判定を行う。判定は、カメラ方向と視線方向のなす角度を用いて行い、前記角度があらかじめ定められたしきい値以下の場合を最適な画像と判断し、それ以外の場合を不適な画像とする。図４は、人物４０１を撮像装置４０２で撮影する様子を上から表したものであるが、この場合、撮像装置から瞳までを結ぶ直線４０３と視線方向を表す直線４０４のなす角４０５を評価基準とする。すなわち、角４０５がしきい値以下の場合のみ撮影を行う。ただし、直線４０３は、鼻や口などの瞳以外の顔部品や、左右の瞳の中心のように、頭や体の一部であっても良い。図３（ａ）の場合、人物３０１は、しきい値よりも視線とカメラのなす角が大きいため、不適な画像と判定される。また、しきい値は、撮影作業開始からの時間が一定時間以上たち、しきい値以下になるまで長時間かかりそうな場合は、撮影時間を短縮するために、それまでよりも大きく設定しなおすなどして動的に決定しても良い。
【００４０】
不適な画像と判定された場合は、入力画像を取り直し、前記判定によってカメラ方向を向いていると判断されるまで、前記処理を繰り返す。例えば、図３(b)の人物３０２のように、カメラ方向を向いていると判断された際は、入力画像をメモリカードやハードディスクドライブなどに保存し、撮影作業を終了する。また、入力画像保存後は、撮影作業開始状態に戻り、連続撮影をしてもよい。
【００４１】
次に、複数の人物を撮影する際の動作を説明する。図５（ａ）（ｂ）に示すような、複数の人物５０１が映っている画像を入力画像とする。図５（ａ）（ｂ）において、人物５０１、図（ａ）の人物５０２、人物５０３、図（ｂ）の人物５０４は、被撮影者である。
【００４２】
撮影作業開始の際、撮像装置は、図３（ａ）と同様に、顔領域検出処理および瞳検出処理を行い、その後、視線方向検出をし、画像の最適性の判定を行う。判定は、カメラ方向と、人物５０１、人物５０２、人物５０３の視線方向のなす角度を評価基準として行う。人物５０１、人物５０２、人物５０３全員の前記角度があらかじめ定められたしきい値以下の場合を最適な画像と判断し、それ以外の場合を不適な画像とする。例えば、図４（ａ）において適性判断手段１０５は、人物５０１と人物５０３はカメラ方向を向いていると判断するが、人物５０２は、カメラ方向を向いてないと判断するため、入力画像は、撮影に不適な画像と判定される。また、判定は、以下の方法で行っても良い。
【００４３】
カメラ方向を向いていると判断された被撮影者の全被撮影者に対する割合が、あらかじめ定められた割合以上の際、最適と判断し、それ以外を不適と判断する。
【００４４】
特定の被撮影者がカメラ方向を向いた場合のみを最適と判断し、それ以外を不適と判断する。
【００４５】
被撮影者に重みを設定し、各被撮影者のカメラ方向と視線とのなす角をパラメータとする評価値と重みの積を各被撮影者の評価値とし、その総和があらかじめ定められたしきい値よりも良ければ最適な画像とし、それ以外を不適な画像と判断する。
【００４６】
また、しきい値は、撮影作業開始からの時間が一定時間を超えた場合は大きく設定しなおしたり、各被撮影者の視線方向の履歴から、全員の視線がより小さなしきい値以下に短時間で収まると予想される場合は小さく設定しなおすなど、動的に決定しても良い。
【００４７】
不適な画像と判定された場合は、入力画像を取り直し、図５(b)の人物５０１、人物５０４、人物５０３のように、判定結果が最適となるまで、前記処理を繰り返す。また、一定時間もしくは回数で、判定結果が最適とならなかった場合は、撮影作業を終了してもよい。
【００４８】
判定結果が最適となった際は、入力画像を保存し、撮影作業を終了する。また、入力画像保存後は、撮影作業開始状態に戻り、連続撮影を行ってもよい。
【００４９】
以上、本実施の形態では、被撮影者がカメラ方向を向いた画像を撮影することが容易になるという効果を有する。
【００５０】
（実施の形態２）
図６は、本発明の実施の形態２の撮像装置の構成を示すブロック図である。図６において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【００５１】
撮像装置は、画像入力手段１０１、画像処理手段１０２、保存手段１０３、警告手段６０１、撮影時機入力手段６０４を備える。また警告手段６０１は、画像合成手段６０２と、警告表示手段６０３を備える。
【００５２】
図６において、本実施の形態２は、図１に警告手段６０１および撮影時機入力手段６０４が追加される点が異なる。
【００５３】
図７に前記撮像装置の動作フローを示す。図７において、図２と同じ構成要素については同じ符号を用い、説明を省略する。
【００５４】
画像合成手段６０２は、適性判断手段１０５の出力からカメラ方向を向いていない人物を検出し（ＳＴＥＰ７０１）、前記人物が撮影者にわかるよう、前記人物の領域を示す画像を、画像入力手段１０１が出力した画像と合成し、警告表示手段６０３へ出力する（ＳＴＥＰ７０２）。また画像合成手段６０２は、全員カメラ方向を向いていた場合は、全員向いていることを示すよう画像を加工してもよい。
【００５５】
液晶ディスプレイやファインダなどの警告表示手段６０３は、画像合成手段６０２が出力した画像を、表示する（ＳＴＥＰ７０３）。
【００５６】
以上の処理を、撮影時機入力手段６０４が撮影の許可を出力するまで、繰り返す（ＳＴＥＰ７０４）。撮影許可が出力された場合は、画像入力手段１０１から入力された画像を保存し（ＳＴＥＰ２０５）、終了する（ＳＴＥＰ２０６）。また、画像の保存は、視線方向判定（ＳＴＥＰ７０１）において、全員が指定方向を見ていたと判断された場合は自動的に行ってもよい。
【００５７】
図８（ａ）は、カメラを見ていない人物がいる場合の警告手段６０１の警告表示手段６０３を示している。前記警告表示手段に表示される画像は、カメラを見ていない人物が撮影者にわかるよう、当該人物の領域を示すものであるが、図８（ａ）において、入力画像において人物８０１と人物８０３はカメラ方向を向いているが、人物８０２はカメラ方向を向いていない。このとき、画像合成手段５０２は、人物７０２の領域を示す括弧状の画像８０４を入力画像に合成し、警告表示手段６０３に表示する。また、画像８０４は、記号、文字、絵であってもよい。
【００５８】
図８（ｂ）は、全員カメラを見ている場合の警告手段６０１の警告表示手段６０３を示している。図８（ｂ）において、人物８０１および人物８０５、人物８０３は全員カメラ方向を向いていると判定されている。このとき、画像合成手段は、画像８０６を入力画像に合成し、警告表示手段６０３に表示する。また、前記人物が向いている方向や、向いている方向とカメラ方向のなす角度を表示しても良い。また、画像８０６は、記号、文字、絵であってもよい。
【００５９】
以上、本実施の形態では、カメラを向いていない被撮影者を撮影者が容易に知ることができ、注意を促すなど撮影を円滑に進めることができるという効果を有する。
【００６０】
（実施の形態３）
図９は、本発明の実施の形態３の撮像装置の構成を示すブロック図である。図９において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【００６１】
撮像装置は、画像入力手段１０１、画像処理手段１０２、保存手段１０３、視線方向指定手段９０１を備える。また視線方向指定手段９０１は、画像表示手段９０２と、指定入力手段９０３、指定認識手段９０４を備える。
【００６２】
図１０において、本実施の形態３は、図１に視線方向指定手段１００１が追加される点が異なる。
【００６３】
図１０に前記撮像装置の動作フローを示す。図１０において、図２と同じ構成要素については同じ符号を用い、説明を省略する。
【００６４】
液晶ディスプレイやファインダなどの画像表示手段９０２は、入力画像を表示する（ＳＴＥＰ１００１）。このとき、入力画像中の物体や方向をマウスやタッチパネル、十字キーなどの指定入力手段９０３によって入力する（ＳＴＥＰ１００２）。指定認識手段９０４は、指定入力手段９０３の出力から視線の向く対象や方向を認識し、人物との位置関係から視線方向を決定する（ＳＴＥＰ１００３）。画像表示手段９０２は、指定された物体や方向を表す画像を表示する（ＳＴＥＰ１００４）。
【００６５】
図１１（ａ）（ｂ）は、画像中の物体を指定することで視線方向を指定する場合の画像表示手段９０２を示しており、図１１（ａ）は視線方向指定前の画像表示手段９０２を、図１１（ｂ）は視線方向指定後の画像表示手段９０２を示している。視線方向指定前の画像中の人物１１０１は被撮影者であり、物体１１０２は、撮影時の被撮影者の視線の対象である。図１１（ａ）のように、入力画像が画像表示手段９０２に表示された際、撮影者は、画像１１０３をマウスや十字キー、音声、タッチパネルなどの入力デバイスで移動し、物体を指定する。その後、視線方向指定手段は、指定された物体１１０２と人物１１０１の位置関係を、それぞれの焦点があったときの焦点距離から求め、それを用いて指定視線方向を決定する。また決定方法は、カメラの移動をさせ、人物１１０１や物体１１０２の特徴点を追跡し、特徴点の座標からなる行列を変形させることで特徴点の３次元位置とカメラ運動を復元する因子分解法を用いても良い。
【００６６】
指定視線方向決定後、図１１（ｂ）のように、物体１１０２をしめす画像１１０４を入力画像に合成し、画像表示手段９０２に表示する。なお、画像１１０４は、記号、文字、絵であってもよく、被撮影者が複数人の場合は、各人物ごとに視線方向を指定しても良い。また、過去に視線方向を指定済みの際は、視線方向の指定は行わなくてもよい。
【００６７】
図１２（ａ）（ｂ）は、画像中の方向を指定することで視線方向を指定する場合の画像表示手段９０２を示しており、図１２（ａ）は視線方向指定前の画像表示手段９０２を、図１２（ｂ）は視線方向指定後の画像表示手段９０２を示している。視線方向指定前の画像中の人物１２０１は被撮影者である。
【００６８】
図１２（ａ）のように、画像が入力された際、指定入力手段９０３は入力画像中から人物１２０１の顔を検出し、顔位置に方向の基準となる画像１２０２および方向を指定する画像１２０３、方向を示す画像１２０４を入力画像に合成し、画像表示手段９０２に表示する。表示後、マウスや十字キー、音声、タッチパネルなどの入力デバイスによって画像１２０３を移動し、画像１２０３と人物１２０１の眼の位置関係から指定視線方向を決定し、画像１２０４を表示する。これにより、撮影者は、カメラ方向に対する角度を直接指定するより直感的に方向を指定することができる。
【００６９】
決定後、図１２（ｂ）のように入力画像に画像１２０５を合成し、画像表示装置９０２に表示する。画像１２０５によって示される方向は、決定後は変化しない。なお、画像１２０２および画像１２０３、画像１２０４、画像１２０５は、記号、文字、絵であってもよく、被撮影者が複数人の場合は、各人物ごとに視線方向を指定しても良い。また、過去に視線方向を指定済みの際は、視線方向の指定は行わなくてもよい。
【００７０】
図１２（ｃ）は、図１２（ａ）の画像１２０２を表示する際の表示方法の例を示したものである。撮像装置は、画像中から人物１２０１を検出した際、その焦点距離や画像上の大きさなどから、人物１２０１の頭部のおよその位置を推測する。その後、推測した頭部を囲むように、両端が矢印状になっている弧を２本垂直に交わるように仮想的に設置し、これを、撮像装置の撮像面に投影した画像を画像１２０２とする。なお、画像１２０３は画像１２０２の２本の弧を含む球面上を移動し、画像１２０４は、推測された頭部の眼の位置から画像１２０３が表す３次元上の位置までを指すよう矢印を表示する。
【００７１】
以上、本実施の形態では、被撮影者が任意の指定された物体や方向を向いている画像を容易に撮影できるという効果を有する。
【００７２】
（実施の形態４）
図１３は、本発明の実施の形態４の撮像装置の構成を示すブロック図である。図１３において、図９と同じ構成要素については同じ符号を用い、説明を省略する。
【００７３】
撮像装置は、画像入力手段１０１、画像処理手段１０２、保存手段１０３、警告手段１３０１、撮影時機入力手段６０４、視線方向指定手段９０１を備える。また、警告手段１３０１は、画像合成手段１３０２と警告表示手段１３０３を備える。
【００７４】
図１３において、本実施の形態４は、図９に警告手段１３０１が追加される点が異なる。
【００７５】
なお、警告手段１３０１の警告表示手段１３０３は視線方向指定手段９０１の画像表示手段９０２と同一の装置を用いてもよい。
【００７６】
図１４に前記撮像装置の動作フローを示す。図１３において、図２と同じ構成要素については同じ符号を用い、説明を省略する。
【００７７】
撮影作業開始後、カメラは視線方向指定手段９０１に入力画像を入力し、視線方向を指定する。その後、視線検出を行い、視線方向を判定し、それに基づいて指定方向を向いていない人物を検出し、警告表示手段１３０２に出力する。画像合成手段１３０２は、指定方向を表す画像１２０５と、指定方向を向いていない人物を示す画像８０４を入力画像に合成する。
【００７８】
また、前記人物が向いている方向や、向いている方向と指定方向のなす角度を表示しても良い。なお、画像１２０５は合成せず、画像８０４のみを合成しても良い。警告表示手段は画像合成手段１３０２によって合成された画像を表示する。シャッターレリーズボタンやセルフタイマなどの撮影時機入力手段６０４が保存許可を出す、または全員が指定方向を向いていると視線検出の結果判断された場合は、入力画像を保存し、撮影を終了する。また、入力画像保存後は、撮影作業開始状態に戻り、連続撮影を行ってもよい。
【００７９】
以上、本実施の形態では、任意の指定された物体や方向を向いていない被撮影者を撮影者が容易に知ることができ、注意を促すなど撮影を円滑に進めることができるという効果を有する。
【産業上の利用可能性】
【００８０】
本発明にかかる撮像装置は、被撮影者に対する視線検出機能を有し、被撮影者がカメラまたは特定の方向を見ている画像を容易に取得できる撮像装置等として有用である。また特定の物体をあらかじめ指定することで、その物体を注視している人物のみを撮影できる監視装置等の用途にも応用できる。
【図面の簡単な説明】
【００８１】
【図１】本発明の実施の形態１における撮像装置の構成を表すブロック図
【図２】本発明の実施の形態１における撮像装置の処理の流れを表すフロー図
【図３】本発明の実施の形態１における被撮影者が一人の際の動作例を説明する図
【図４】本発明の実施の形態１における被撮影者が複数の際の動作例を説明する図
【図５】本発明の実施の形態１における被撮影者が複数の際の動作例を説明する図
【図６】本発明の実施の形態２における撮像装置の構成を表すブロック図
【図７】本発明の実施の形態２における撮像装置の処理の流れを表すフロー図
【図８】本発明の実施の形態２における動作例を説明する図
【図９】本発明の実施の形態３における撮像装置の構成を表すブロック図
【図１０】本発明の実施の形態３における撮像装置の処理の流れを表すフロー図
【図１１】本発明の実施の形態３における動作例を説明する図
【図１２】本発明の実施の形態３における動作例を説明する図
【図１３】本発明の実施の形態４における撮像装置の構成を表すブロック図
【図１４】本発明の実施の形態４における撮像装置の処理の流れを表すフロー図
【符号の説明】
【００８２】
１０１    画像入力手段
１０２    画像処理手段
１０３    保存手段
１０４    視線検出手段
１０５    適性判断手段
６０１    警告手段
６０２    画像合成手段
６０３    警告表示手段
６０４    撮影時機入力手段
９０１    視線方向指定手段
９０２    画像表示手段
９０３    指定入力手段
９０４    指定認識手段
１３０１    警告手段
１３０２    画像合成手段
１３０３    警告表示手段
【図１】
2006319610.tif 000003
【図２】
2006319610.tif 000004
【図３】
2006319610.tif 000005
【図４】
2006319610.tif 000006
【図５】
2006319610.tif 000007
【図６】
2006319610.tif 000008
【図７】
2006319610.tif 000009
【図８】
2006319610.tif 000010
【図９】
2006319610.tif 000011
【図１０】
2006319610.tif 000012
【図１１】
2006319610.tif 000013
【図１２】
2006319610.tif 000014
【図１３】
2006319610.tif 000015
【図１４】
2006319610.tif 000016