(57)【要約】      （修正有）【課題】被写体に対する注視度の算出精度を向上させることのできる情報処理装置、情報処理方法、及びプログラムを提供する。【解決手段】情報処理装置は、画像取得部１０５と、注視点情報取得部１１０と、被写体認識部１１５と、注視点と被写体との間の距離を取得する距離算出部１２０と、前記距離の経時的変化に基づいて、前記被写体に対する注視度を算出する注視度算出部１２５と、追尾制御部１３０と、を有する。【選択図】図１
2013179403.tif 000002
【特許請求の範囲】
【請求項１】
注視点と被写体との間の距離を取得する距離取得部と、
前記距離の経時的変化に基づいて、前記被写体に対する注視度を算出する算出部と、
を備える、情報処理装置。
【請求項２】
前記算出部は、前記注視点が前記被写体に近づくとき、当該被写体に対する前記注視度を高くする、
請求項１に記載の情報処理装置。
【請求項３】
前記算出部は、ユーザが前記被写体を注視するときの、前記距離の経時的変化の特徴を用いて、前記注視度を算出する、
請求項１に記載の情報処理装置。
【請求項４】
前記注視点の位置を取得する注視点取得部、
をさらに備える、請求項１に記載の情報処理装置。
【請求項５】
前記注視点取得部は、前記被写体を撮影する画像の画角中心を前記注視点とする、
請求項４に記載の情報処理装置。
【請求項６】
前記注視点取得部は、ユーザの顔向きの変化方向に基づいて、前記注視点の位置を補正する、
請求項５に記載の情報処理装置。
【請求項７】
前記注視点取得部は、注視していると判断されたときの前記距離が小さくなるように前記注視点の位置を補正する、
請求項４に記載の情報処理装置。
【請求項８】
前記注視点取得部は、ユーザを撮影する注視点トラッキング画像を画像処理することにより前記注視点を取得する、
請求項４に記載の情報処理装置。
【請求項９】
前記注視度に基づいて、前記被写体を追尾する追尾処理を制御する追尾制御部、
をさらに備える、
請求項１に記載の情報処理装置。
【請求項１０】
前記追尾制御部は、前記被写体を撮影する撮像装置の撮像向きを制御することによって、前記被写体を追尾する、
請求項９に記載の情報処理装置。
【請求項１１】
前記追尾制御部は、前記被写体を撮影する画像の一部領域を決定することによって、前記被写体を追尾する出力画像を生成する、
請求項９に記載の情報処理装置。
【請求項１２】
前記追尾制御部は、前記被写体を撮影する撮像装置のズーム状態を制御することによって、前記被写体を追尾する、
請求項９に記載の情報処理装置。
【請求項１３】
前記追尾制御部は、前記注視度に基づいて、追尾する前記被写体を決定する、
請求項９に記載の情報処理装置。
【請求項１４】
前記追尾制御部は、所定の最低注視度を用いて、追尾する前記被写体を決定する、
請求項１３に記載の情報処理装置。
【請求項１５】
前記追尾制御部は、１又は複数の前記被写体を追尾する、
請求項９に記載の情報処理装置。
【請求項１６】
前記追尾制御部は、複数の前記被写体を追尾するとき、複数の前記被写体が画角内に収まるように前記追尾処理を制御する、
請求項９に記載の情報処理装置。
【請求項１７】
注視点と被写体との間の距離を取得することと、
前記距離の経時的変化に基づいて、前記被写体に対する注視度を算出することと、
を含む、情報処理方法。
【請求項１８】
コンピュータを、
注視点と被写体との間の距離を取得する距離取得部と、
前記距離の経時的変化に基づいて、前記被写体に対する注視度を算出する算出部と、
を備える、情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、ユーザの扱う情報量は増大している。このため、あらゆる処理の自動化が望まれている。例えば映像の分野においては、物体認識技術により被写体を自動的に認識することができるようになった。また複数の被写体のうち、撮影者が撮影したい被写体の判断も自動化が試みられている。
【０００３】
例えば特許文献１には、映像中に複数の被写体が映っているときに、被写体のカメラに対する近さと、被写体の中央への近さとに基づいて、被写体の優先度を判断する撮像装置が開示されている。この撮像装置は、優先順位の高い被写体に対して自動的にフォーカスを合わせることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８２０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような撮影者の被写体に対する注視度の算出精度をさらに向上することが望まれている。
【課題を解決するための手段】
【０００６】
本開示によれば、注視点と被写体との間の距離を取得する距離取得部と、上記距離の経時的変化に基づいて、上記被写体に対する注視度を算出する算出部と、を有する情報処理装置が提供される。
【０００７】
また、本開示によれば、注視点と被写体との間の距離を取得することと、上記距離の経時的変化に基づいて、上記被写体に対する注視度を算出することと、を含む情報処理方法が提供される。
【０００８】
また、本開示によれば、コンピュータを、注視点と被写体との間の距離を取得する距離取得部と、上記距離の経時的変化に基づいて、上記被写体に対する注視度を算出する算出部と、を有する情報処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、撮影者の被写体に対する注視度の算出精度を向上することができる。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態に係る情報処理装置１００の機能構成を示すブロック図である。
【図２】同実施形態に係る情報処理装置の構成を適用する装置の第１の適用例を示す説明図である。
【図３】同実施形態に係る情報処理装置の構成を適用する装置の第２の適用例を示す説明図である。
【図４】同実施形態に係る情報処理装置の構成を適用する装置の第３の適用例を示す説明図である。
【図５】同実施形態に係る情報処理装置の構成を適用する装置の第４の適用例を示す説明図である。
【図６】同実施形態に係る情報処理装置の構成を適用する装置の第５の適用例を示す説明図である。
【図７】同実施形態において画角と想定視野との関係について説明するための説明図である。
【図８】同実施形態において注視点方向と画角中心方向との関係について説明するための説明図である。
【図９】同実施形態において注視点方向と画角中心方向との関係について説明するための説明図である。
【図１０】同実施形態において顔向きの変化と注視点方向との関係について説明するための説明図である。
【図１１】同実施形態に係る情報処理装置の算出する距離の経時変化の一例を示す説明図である。
【図１２】同実施形態に係る情報処理装置が算出する距離の注視状態となるときの変化の様子を示す説明図である。
【図１３】同実施形態に係る情報処理装置において、被写体位置と注視度との関係を示す説明図である。
【図１４】同実施形態に係る情報処理装置の追尾処理の一例を示す説明図である。
【図１５】同実施形態に係る情報処理装置の追尾処理の他の一例を示す説明図である。
【図１６】同実施形態に係る情報処理装置の追尾処理の他の一例を示す説明図である。
【図１７】同実施形態に係る情報処理装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．概要
２．構成
３．動作
【００１３】
＜１．概要＞
まず、本開示の一実施形態に係る情報処理装置の概要について説明する。本開示の一実施形態に係る情報処理装置１００は、撮影者の注視点と被写体との距離に応じて、被写体に対する注視度を算出する機能を有する。撮影者が被写体を注視するとき、注視点と被写体の距離は次第に近づき、注視点が被写体と重なった状態が一定の時間継続する。そこで情報処理装置１００は、注視点と被写体との距離の経時的変化に基づいて、この被写体に対する注視度を算出する。例えば情報処理装置１００は、注視点が被写体に近づくときに、この被写体に対する注視度を高くすることができる。
【００１４】
近年、ライフログとしてユーザの移動履歴を位置情報を用いて記録することが提案されてきている。例えば位置情報の代わりに、或いは位置情報と共にユーザの視界を撮影する映像をライフログのひとつとして記録することも考えられる。このような場合には特に、撮影された映像は、単調なものとなり、映像の視聴者にとっては面白味の欠ける映像となりがちである。このようなライフログとしての映像に対して、本開示の注視度を用いることにより、映像を視聴者にとって魅力的なものとすることができる。例えば、注視度の高い被写体に対する追尾制御を行うことにより、撮影者が注視している被写体に注目した映像を生成することができる。ここで追尾制御の一例としては、例えば画角制御、フォーカス制御などが挙げられる。なおここで対象とされる映像は、人間が撮影したものに限らない。例えば対象とされる映像は、動物に撮像装置を装着させて撮影された映像であってもよい。また注視度は、画角制御を伴う追尾制御に限らず、単純に撮像装置のオートフォーカス機能においてフォーカス対象の被写体を決定するときに用いられてもよい。
【００１５】
以下、このような注視度を算出することのできる情報処理装置１００についてその構成及び動作を説明する。
【００１６】
＜２．構成＞
ここで図１〜図６を参照しながら、本開示の一実施形態に係る情報処理装置１００の機能構成について説明する。図１は、本開示の一実施形態に係る情報処理装置１００の機能構成を示すブロック図である。図２は、同実施形態に係る情報処理装置の構成を適用する装置の第１の適用例を示す説明図である。図３は、同実施形態に係る情報処理装置の構成を適用する装置の第２の適用例を示す説明図である。図４は、同実施形態に係る情報処理装置の構成を適用する装置の第３の適用例を示す説明図である。図５は、同実施形態に係る情報処理装置の構成を適用する装置の第４の適用例を示す説明図である。図６は、同実施形態に係る情報処理装置の構成を適用する装置の第５の適用例を示す説明図である。図７は、同実施形態において画角と想定視野との関係について説明するための説明図である。図８は、同実施形態において注視点方向と画角中心方向との関係について説明するための説明図である。図９は、同実施形態において注視点方向と画角中心方向との関係について説明するための説明図である。図１０は、同実施形態において顔向きの変化と注視点方向との関係について説明するための説明図である。図１１は、同実施形態に係る情報処理装置の算出する距離の経時変化の一例を示す説明図である。図１２は、同実施形態に係る情報処理装置が算出する距離の注視状態となるときの変化の様子を示す説明図である。図１３は、同実施形態に係る情報処理装置において、被写体位置と注視度との関係を示す説明図である。図１４は、同実施形態に係る情報処理装置の追尾処理の一例を示す説明図である。図１５は、同実施形態に係る情報処理装置の追尾処理の他の一例を示す説明図である。図１６は、同実施形態に係る情報処理装置の追尾処理の他の一例を示す説明図である。
【００１７】
情報処理装置１００は、映像から撮影者の注視点と被写体との間の距離に基づいて被写体に対する注視度を算出する注視度算出装置の一例である。この情報処理装置１００の機能は、様々な機器に適用することができる。例えば情報処理装置１００は、人間である撮影者の視界の映像を撮影し、撮影した映像に映る被写体に対する注視度を算出する機能を有する撮像装置であってもよい。例えば図２に示される撮像装置１００ａは、撮影者が首にかけた状態で撮像機能を有する画像取得部１０５により撮影者の前方の映像を取得することができる。そして撮像装置１００ａは、撮影した映像に映る被写体に対する注視度を算出することができる。またこのような撮像装置は、図２に示されるように首にかける形態のものに限らない。例えば撮像装置は、ウェアラブルな形状であってもよい。ウェアラブルな形状の撮像装置の一例としては、図３に示されるようなヘッドマウントディスプレイ（以下ＨＭＤ）が挙げられる。
【００１８】
また情報処理装置１００は、撮像装置１００ａ及び撮像装置１００ｂに示されたように、撮影者の視界を所定期間撮影し続けることを想定した装置でなくてもよい。例えば図４に示されるような撮像装置１００ｃであってもよい。例えばこの撮像装置１００ｃは、撮影者の視界画像を取得する撮像部としての画像取得部１０５に加えて、撮影者を撮影するインカメラ１１０を有してもよい。このインカメラ１１０により取得される画像は、撮影者の注視点を解析するために用いられてよい。この注視点の解析については後に詳述される。
【００１９】
また情報処理装置１００は、図５に示される撮像装置１００ｄであってもよい。この撮像装置１００ｄは、動物の頭部に装着される。撮像装置１００ｂ及び撮像装置１００ｄのように、頭部に装着される撮像装置であれば、撮影者（動物を含む）の頭の向きに応じて撮像方向が変化する。このため、より撮影者の視界に近い映像を取得することができる。なお、図示していないがここで説明した撮像装置１００ａ〜撮像装置１００ｄは、撮像方向を制御する機構を有していてもよい。撮像方向の制御は、後に詳述される追尾処理において用いられる。
【００２０】
なお、図２〜図５の撮像装置１００ａ〜撮像装置１００ｄは、撮像機能を有する情報処理装置１００の一例が示された。しかし、本実施形態に係る情報処理装置１００は、かかる例に限定されない。例えば情報処理装置１００は、別体の撮像装置２０により撮影された映像を取得して注視度を算出する機能を有してもよい。このような情報処理装置１００は、例えば図６に示されるサーバ１００ｅであってもよい。或いは情報処理装置１００は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）１００ｆであってもよい。ここでサーバ１００ｅ又はＰＣ１００ｆに映像を提供する撮像装置２０は、例えば撮像装置１００ａ〜撮像装置１００ｄのいずれかであってよい。サーバ１００ｅ及びＰＣ１００ｆは、有線又は無線の通信路、又はリムーバブル記録媒体などを介して撮像装置２０から映像を取得することができる。
【００２１】
図１に戻って情報処理装置１００の機能構成について説明する。情報処理装置１００は、画像取得部１０５と、注視点情報取得部１１０と、被写体認識部１１５と、距離算出部１２０と、注視度算出部１２５と、追尾制御部１３０と、を主に有する。なお、これら各機能部の機能を実現するための構成は、図２〜図６に例示したように情報処理装置１００のハードウェア構成によって異なる場合がある。このため、以下の説明中においては、必要に応じてハードウェア構成毎に構成を説明することがある。
【００２２】
（画像取得部１０５）
画像取得部１０５は、情報処理装置１００が処理対象とする画像を取得する機能を有する。画像取得部１０５は、例えば撮影者の視界を含む画像を取得することができる。画像取得部１０５は、情報処理装置１００が撮像機能を有する場合には撮像部であってよい。また画像取得部１０５は、情報処理装置１００と別体の撮像装置により撮像された画像を有線又は無線の通信路、或いはリムーバブル記憶媒体などを介して取得してもよい。
【００２３】
（注視点情報取得部１１０）
注視点情報取得部１１０は、撮影者の注視点の情報を取得する機能を有する。注視点情報取得部１１０は、例えば画像の画角中心を注視点としてもよい。例えば図７の状態１に示されるように、画角Ｃが視野に高い精度で追従している場合には、画角Ｃの中心である画角中心点ｃと、想定視野Ｅの中心である視野中心点ｅとが重なる場合もある。しかし、多くの場合には、画角Ｃは完全に視野と重なることはできず、画角中心点ｃと視野中心点ｅとにずれが生じることがある（状態２）。そこで、注視点情報取得部１１０は、注視点をこの画角中心点ｃからより視野中心点ｅに近づくように補正することができる。
【００２４】
また撮像装置が基準撮像方向から撮像方向を変更する機構を有する場合には、注視点情報取得部１１０は、撮像装置が基準撮像方向を向いているときの画角中心を注視点とすることができる。例えば撮像装置が撮像方向を変更する機構を有しない場合には、図８に示されるように、顔向きの変化に応じて撮像画像の画角中心の方向と注視点の方向とは変化する。しかし、撮像装置が基準撮像方向から撮像方向を変更する機構を有する場合には、図９に示されるように、ユーザの顔向きが変化しなくても撮像画像の画角中心方向だけが変化する場合がある。このときには、画角中心方向と注視点方向とにずれが生じる。このような状態は、例えば後に詳述される追尾制御によって撮影方向の制御が行われる場合に生じる。従って、このような場合には注視点方向と撮影方向とが異なる概念として取り扱われる。
【００２５】
また、顔向きが変化する場合には、顔向きの変化の方向に注視点が寄る傾向がある。例えば図１０に示されるように、顔向きを左に変化させるとき、視線は顔向きの正面方向よりも左側に偏ることが多い。従って、注視点情報取得部１１０は、顔向きの変化の方向に基づいて注視点の位置を補正することができる。また、後述の距離算出部１２０により算出される距離ｄが図１１のように経時的に変化する場合について考えてみる。このうち、注視状態であると判定された期間の距離ｄが概ね０となるように、注視点情報取得部１１０は注視点の位置を補正することができる。ここで、注視状態であるか否かの判断は、例えばこの距離ｄの値の変化に基づいて行われてよい。例えば距離ｄを示す波形が図１２に示されるような状態であるとき、即ち、距離ｄが徐々に減少した後に、ある値付近で概ね安定するとき、距離ｄの値が安定している期間が注視状態であると判定されてよい。
【００２６】
なお、上記では、撮像画像の画角に基づいて注視点の位置が決定される例について説明されたが、本技術はかかる例に限定されない。例えば図４に示されたように、情報処理装置１００がインカメラ１１０を有する撮像装置１００ｃである場合には、インカメラ１１０により撮影された撮影者が映る画像（注視点トラッキング画像と称する）に基づいて、注視点の位置情報が生成されてもよい。この場合、注視点トラッキング画像から撮影者の視線を解析することにより、注視点の位置が推定される。
【００２７】
（被写体認識部１１５）
被写体認識部１１５は、画像から被写体を認識する機能を有する。被写体認識部１１５は、例えば一般物体認識技術を用いて被写体を認識することができる。一般物体認識とは、画像に含まれる被写体を一般名称で認識する技術である。被写体認識部１１５は、一般物体認識技術を用いることにより、画像から被写体領域を判定し、当該被写体を一般名称に分類することができる。また被写体認識部１１５は、顔認識技術を用いて人物や動物の顔を認識することができる。
【００２８】
（距離算出部１２０）
距離算出部１２０は、注視点と被写体との間の距離を取得する距離取得部の一例である。距離算出部１２０は、注視点情報取得部１１０により取得される注視点の情報と、被写体認識部１１５により認識された被写体の情報とに基づいて、注視点と被写体との間の距離を算出する機能を有する。この距離は、画像上の距離であってよい。また三次元距離を取得することができる場合には、この距離は三次元距離であってもよい。距離算出部１２０は、複数の被写体が認識された場合には、被写体毎にこの距離を算出することができる。
【００２９】
（注視度算出部１２５）
注視度算出部１２５は、距離算出部１２０が算出した距離の経時的変化に基づいて、被写体に対する注視度を算出する機能を有する。注視度算出部１２５は、注視点が被写体に近づく方向に変化するとき、当該被写体に対する注視度を高くすることができる。一般的に人間及び動物は、注目する対象に対して顔を向ける傾向がある。また顔の軸と視野とは相関がある。そこで注視度算出部１２５は、撮像された時系列の画像から、同一の被写体に対して、より注視点に近づく方向に遷移した被写体に高い注視度を与える。例えば図１３に示されるように、撮影画像の画角Ｃと視野Ｅに対する被写体ｐ１、被写体ｐ２、被写体ｐ３の位置が状態３から状態４に遷移したとき、注視点（ここでは画角中心点ｃとする）は、被写体ｐ１から遠ざかっている。また注視点は、被写体ｐ２との距離はほぼ変化していない。また注視点は、被写体ｐ３に近づいている。このような場合、被写体ｐ３に対して高い注視度が与えられる。例えばある時点ｔ０における被写体ｐｉの注視度Ｓｃｏｒｅは、以下の数式（１）で与えられる。
【００３０】
【数１】
2013179403.tif 000003
【００３１】
ただし、上記の数式（１）において、ｓは定数である。またｗ（ｔ）は、単調減少する正値であり、過去のデータほど注視度Ｓｃｏｒｅへの影響力が小さくなる。またｆは、２点間の距離の逆数であってよい。ｆは、ｐｉがｅに近いほど大きくなる。
【００３２】
また、注視度算出部１２５は、算出された距離ｄが上述の図１２に示される波形の特徴を有する場合には、この被写体に対して高い注視度を与えてよい。すなわち注視度算出部１２５は、距離ｄの経時的変化の特徴に基づいて注視度を算出することができる。特に距離ｄが、減少傾向を示した後にある値付近で安定している特徴を示すとき、注視度算出部１２５は、この被写体に対して高い注視度を与えることができる。なお、ここでは被写体と注視点との間の距離の値が変化するときの特徴が用いられたが、本技術はかかる例に限定されない。撮影者がある被写体に注目するときに取得されるあらゆる値の特徴が用いられてもよい。例えば、注視度算出部１２５は、加速度センサの取得する値を注視している状態の判定に用いてもよい。
【００３３】
（追尾制御部１３０）
追尾制御部１３０は、注視度の高い被写体に対する追尾処理を制御する機能を有する。ここで、追尾の対象とされる被写体は、１つの被写体であってもよく、複数の被写体であってもよい。いずれの場合であっても、追尾の対象とされる被写体は、注視度に基づいて決定される。例えば追尾制御部１３０は、最も注視度の高い被写体を追尾対象の被写体とすることができる。このとき、追尾制御部１３０は、追尾対象となる最低注視度以上の注視度を有する被写体を追尾対象の被写体とすることができる。即ち追尾制御部１３０は、現在画角内に存在する被写体のうち最も注視度が高い被写体であっても、最低注視度より注視度が小さい被写体は、追尾対象としない。撮影者は、いずれの被写体に対しても注目していないときもある。従って、撮影者が注視していると判断することのできる最低の注視度が用いられることが望ましい。追尾制御部１３０は、例えば最低注視度より注視度が高く、かつ最も高い注視度を有する被写体を追尾対象とすることができる。また追尾制御部１３０は、最低注視度より注視度が高い被写体全てを追尾対象とすることもできる。また追尾制御部１３０は、最低注視度より注視度が高い被写体のうち上位所定数の被写体を追尾対象としてもよい。
【００３４】
追尾制御部１３０は、決定された追尾対象の被写体に対して追尾処理を行うことができる。追尾処理とは、対象とする被写体に注目していることが視聴者にわかるように行うための処理全般を指すこととする。例えば追尾処理は、画角の調整、及びピントの調整などが挙げられる。画角の調整は、例えば撮影方向を変更する機構を制御することにより行われてよい。或いは画角の調整は、ズーム制御により行われてよい。また例えば情報処理装置１００が広角レンズを用いて撮影者の視界よりも広い範囲を撮影することができる場合には、撮影画像の中から一部領域を決定することにより画角の調整が行われてよい。或いは、例えば情報処理装置１００が指向性を制御することのできる集音装置を有する場合には、集音装置の指向性を調整することも追尾処理に含まれてよい。ここで追尾処理は、例えば撮像しているときにリアルタイムで行われてもよい。或いは、追尾処理は、撮影後の任意のタイミングで行われてもよい。リアルタイムで行われるか、又は撮影後の任意のタイミングで行われるかにより、或いは情報処理装置１００の有する機能によって追尾処理の内容は異なる。
【００３５】
なお、図１４にズーム制御による追尾処理の一例が示される。例えば追尾対象の被写体が被写体ｐ３である場合、追尾制御部１３０は、被写体ｐ３が中心となるようにズーム制御を行うことができる。また図１５には、広角撮影画像から一部を切り出すことにより追尾処理を行う場合の一例が示される。追尾制御部１３０は、広角で撮影された撮像画像から、被写体ｐ３を含む一部を切り出す追尾処理を制御することができる。また、図１４及び図１５においては、追尾対象の被写体が１つである場合について例示された。例えば追尾対象の被写体が複数あるとき、追尾制御部１３０は、追尾対象の複数の被写体が画角内に収まるように画角の制御を行ってもよい。例えば図１６に示される例によれば、追尾対象の被写体は、被写体ｐ２及び被写体ｐ３であるとする。このとき追尾制御部１３０は、被写体ｐ２及び被写体ｐ３の両方が画角内に収まるように画角制御を行うことができる。
【００３６】
なお、上記では画角制御による追尾処理の例が示されたが、ピント調整についても同様である。追尾制御部１３０は、追尾対象の被写体ｐに対してピントを合わせるように制御することができる。なお、追尾制御部１３０が行う追尾制御の方法については、複数の方法が同時に組み合わせて行われてよい。例えば、追尾制御部１３０は、ズーム制御と、撮影方向の制御と、ピント制御とを同時並行で行うことができる。
【００３７】
また追尾制御部１３０は、追尾処理の結果として生成される出力画像を、記録媒体に記録してもよい。また追尾制御部１３０は、追尾処理の結果として生成される出力画像を表示部に表示させることもできる。
【００３８】
以上、本実施形態に係る情報処理装置１００の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの記憶媒体から制御プログラムを読出し、そのプログラムを解釈して実行することにより行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【００３９】
なお、上述のような本実施形態に係る情報処理装置１００の各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【００４０】
＜３．動作＞
次に、図１７を参照しながら、本開示の一実施形態に係る情報処理装置１００の動作の一例について説明する。図１７は、同実施形態に係る情報処理装置の動作例を示すフローチャートである。
【００４１】
まず画像取得部１０５は、撮像された画像を取得する（Ｓ１００）。そして注視点情報取得部１１０は、注視点の位置情報を取得する（Ｓ１０５）。そして被写体認識部１１５は、物体認識処理を実行する（Ｓ１１０）。そしてステップＳ１１０において認識された物体があったか否かが判断される（Ｓ１１５）。ステップＳ１１５の判断により認識された物体があると判断された場合、距離算出部１２０は、認識された物体毎に注視点と物体との間の距離を算出する（Ｓ１２０）。
【００４２】
そして注視度算出部１２５は、算出された距離に基づいて注視度を算出する（Ｓ１２５）。追尾制御部１３０は、算出された注視度が追尾対象となる条件を満たす物体があるか否かを判断する（Ｓ１３０）。ステップＳ１３０において追尾対象となる条件を満たす物体があると判断された場合には、追尾制御部１３０は、追尾対象と決定した被写体に対する追尾処理を実行する（Ｓ１３５）。そして、追尾制御部１３０は、次の画像があるか否かを判断する（Ｓ１４０）。以上の処理が、次の画像が無いと判断されるまで繰り返される。
【００４３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００４４】
例えば、上記実施形態では、注視点の位置を注視点トラッキング画像から解析する処理は、情報処理装置１００の内部で行われることとしたが、本技術はかかる例に限定されない。例えば情報処理装置１００は、注視点の位置を解析する他の装置から、解析結果としての注視点の位置情報を取得してもよい。
【００４５】
また上記実施形態では、被写体と注視点との間の距離を算出する処理は、情報処理装置１００の内部で行われることとしたが、本技術はかかる例に限定されない。例えば情報処理装置１００は、被写体と注視点との間の距離を算出する他の装置から、算出結果としての被写体と注視点との間の距離を取得する距離取得部を有してもよい。
【００４６】
また上記実施形態では、情報処理装置１００は、注視度に基づいて追尾処理を制御する追尾制御部１３０を有することとしたが、本技術はかかる例に限定されない。例えば、情報処理装置１００は、追尾制御部１３０を有する他の装置に注視点情報を提供してもよい。
【００４７】
また上記実施形態では、１つの情報処理装置１００により各機能が実現されることとしたが、本技術はかかる例に限定されない。例えば複数の装置を用いた分散処理によって、ここで説明された機能が実現されてもよい。かかる実施の形態も本開示の技術範囲に含まれる。
【００４８】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【００４９】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
注視点と被写体との間の距離を取得する距離取得部と、
前記距離の経時的変化に基づいて、前記被写体に対する注視度を算出する算出部と、
を備える、情報処理装置。
（２）
前記算出部は、前記注視点が前記被写体に近づくとき、当該被写体に対する前記注視度を高くする、
前記（１）に記載の情報処理装置。
（３）
前記算出部は、ユーザが前記被写体を注視するときの、前記距離の経時的変化の特徴を用いて、前記注視度を算出する、
前記（１）または（２）のいずれかに記載の情報処理装置。
（４）
前記注視点の位置を取得する注視点取得部、
をさらに備える、前記（１）〜（３）のいずれかに記載の情報処理装置。
（５）
前記注視点取得部は、前記被写体を撮影する画像の画角中心を前記注視点とする、
前記（４）に記載の情報処理装置。
（６）
前記注視点取得部は、ユーザの顔向きの変化方向に基づいて、前記注視点の位置を補正する、
前記（５）に記載の情報処理装置。
（７）
前記注視点取得部は、注視していると判断されたときの前記距離が小さくなるように前記注視点の位置を補正する、
前記（４）〜（６）のいずれかに記載の情報処理装置。
（８）
前記注視点取得部は、ユーザを撮影する注視点トラッキング画像を画像処理することにより前記注視点を取得する、
前記（４）に記載の情報処理装置。
（９）
前記注視度に基づいて、前記被写体を追尾する追尾処理を制御する追尾制御部、
をさらに備える、
前記（１）〜（８）のいずれかに記載の情報処理装置。
（１０）
前記追尾制御部は、前記被写体を撮影する撮像装置の撮像向きを制御することによって、前記被写体を追尾する、
前記（９）に記載の情報処理装置。
（１１）
前記追尾制御部は、前記被写体を撮影する画像を画像処理することによって、前記被写体を追尾する出力画像を生成する、
前記（９）または（１０）のいずれかに記載の情報処理装置。
（１２）
前記追尾制御部は、前記被写体を撮影する撮像装置のズーム状態を制御することによって、前記被写体を追尾する、
前記（９）〜（１１）のいずれかに記載の情報処理装置。
（１３）
前記追尾制御部は、前記注視度に基づいて、追尾する前記被写体を決定する、
前記（９）〜（１２）のいずれかに記載の情報処理装置。
（１４）
前記追尾制御部は、所定の最低注視度を用いて、追尾する前記被写体を決定する、
前記（１３）に記載の情報処理装置。
（１５）
前記追尾制御部は、１又は複数の前記被写体を追尾する、
前記（９）〜（１４）のいずれかに記載の情報処理装置。
（１６）
前記追尾制御部は、複数の前記被写体を追尾するとき、複数の前記被写体が画角内に収まるように前記追尾処理を制御する、
前記（９）〜（１５）のいずれかに記載の情報処理装置。
（１７）
注視点と被写体との間の距離を取得することと、
前記距離の経時的変化に基づいて、前記被写体に対する注視度を算出することと、
を含む、情報処理方法。
（１８）
コンピュータを、
注視点と被写体との間の距離を取得する距離取得部と、
前記距離の経時的変化に基づいて、前記被写体に対する注視度を算出する算出部と、
を備える、情報処理装置として機能させるためのプログラム。
【符号の説明】
【００５０】
１００    情報処理装置
１０５    画像取得部
１１０    注視点情報取得部（注視点取得部）
１１５    被写体認識部
１２０    距離算出部（距離取得部）
１２５    注視度算出部（算出部）
１３０    追尾処理部
【図１】
2013179403.tif 000004
【図２】
2013179403.tif 000005
【図３】
2013179403.tif 000006
【図４】
2013179403.tif 000007
【図５】
2013179403.tif 000008
【図６】
2013179403.tif 000009
【図７】
2013179403.tif 000010
【図８】
2013179403.tif 000011
【図９】
2013179403.tif 000012
【図１０】
2013179403.tif 000013
【図１１】
2013179403.tif 000014
【図１２】
2013179403.tif 000015
【図１３】
2013179403.tif 000016
【図１４】
2013179403.tif 000017
【図１５】
2013179403.tif 000018
【図１６】
2013179403.tif 000019
【図１７】
2013179403.tif 000020