(57)【特許請求の範囲】
【請求項１】
第一の人物の視野の画像を用いて、前記第一の人物の視野の画像における話者である第二の人物の顔中心座標を取得する顔追跡部と、
前記第一の人物の視野の画像における前記第二の人物の顔中心座標と前記第一の人物の瞳孔データとを用いて、前記瞳孔データと注視点とを関連付ける射影関数を求める射影関数学習部と、
を有する視線計測装置。
【請求項２】
前記顔追跡部は、前記第二の人物の視野の画像を用いて、前記第一の人物の視野の画像における前記第二の人物の顔中心座標を取得する請求項１に記載の視線計測装置。
【請求項３】
視野の画像中で人物の顔を追跡するための顔テンプレートを作成する顔テンプレート作成部をさらに有し、
前記第二の人物の顔テンプレートは、前記第二の人物以外の人物の視野の画像を用いて作成された前記第二の人物の顔のテクスチャ画像を利用して作成される請求項１または２に記載の視線計測装置。
【請求項４】
前記第二の人物の瞳孔データをもとに、前記第二の人物以外の人物の視野の画像から前記第二の人物の顔画像を検出し、検出された顔画像から前記第二の人物の顔のテクスチャ画像を作成する請求項３に記載の視線計測装置。
【請求項５】
第一の人物の瞳孔データを取得し、
前記第一の人物の視野の画像を取得し、
前記第一の人物の視野の画像における話者である第二の人物の顔中心座標を取得し、
前記第一の人物の視野の画像における前記第二の人物の顔中心座標と前記第一の人物の瞳孔データとを用いて、前記瞳孔データと注視点とを関連付ける射影関数を求める、
視線計測方法。
【請求項６】
請求項１から４の何れかの視線計測装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の瞳孔データと注視点とを関連付ける技術に関する。
【背景技術】
【０００２】
瞳孔または虹彩などの眼に関するデータ（「瞳孔データ」と呼ぶ）を計測するためのセンサ（「瞳孔センサ」と呼ぶ）、および視野画像を撮影する可視光カメラ（「視野カメラ」と呼ぶ）を用い、瞳孔データから注視点を推定する視線計測技術が知られている。多くの視線計測技術では、人物の瞳孔データと、視野画像中でその人物が注視している点の座標（「注視点座標」と呼ぶ）とを関連付ける「射影関数」が学習される（視線校正）。視線校正が済めば、得られた瞳孔データをこの射影関数に適用することで注視点座標が得られる。
【０００３】
多くの視線計測技術では、利用者が視野画像内の既知座標の点を注視し、そのときの瞳孔データを取得して射影関数を学習する。しかしながら、この方法では学習に手間がかかる。
【０００４】
一方、射影関数の学習を自動化する技術が知られている。例えば、非特許文献１には、人物が映画等の映像を一定時間視聴した際のその人物の各時刻におけるその人物の瞳孔画像と映像の視覚的特徴量を入力とし、人がどのような低次の視覚的特徴を持った領域を注視しやすいかを確率で表す顕著性マップを用い、射影関数を学習する方法が提案されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Y. Sugano, Y. Matsushita, and Y. Sato, "Appearance-based gaze estimation using visual saliency," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 35, no. 2, pp. 329-341, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複数の人間の間で対話が行われる場合、誰かが発言したらその人を見るというように、話者が誰であるかが注視行動に影響を与えることが多い。しかしながら、非特許文献１の方法は映像を一定時間視聴した際の視覚情報のみに基づいて学習を行うものであり、話者が誰であるかが注視行動に影響を与える場合の学習精度が十分ではない。
【０００７】
本発明の課題は、話者が誰であるかが注視行動に影響を与える場合の射影関数を精度よく自動学習することである。
【課題を解決するための手段】
【０００８】
第一の人物の瞳孔データを取得し、第一の人物の視野の画像を取得し、第一の人物の視野の画像における話者である第二の人物の顔中心座標を取得し、第一の人物の視野の画像における第二の人物の顔中心座標と第一の人物の瞳孔データとを用いて、瞳孔データと注視点とを関連付ける射影関数を求める。
【発明の効果】
【０００９】
これにより、話者が誰であるかが注視行動に影響を与える場合の射影関数を精度よく自動学習できる。
【図面の簡単な説明】
【００１０】
【図１】図１は実施形態のシステム構成を例示した図である。
【図２】図２Ａおよび図２Ｂは実施形態の視線計測装置の機能構成を例示したブロック図である。
【図３】図３Ａは実施形態の顔追跡部の機能構成を例示したブロック図である。図３Ｂは実施形態の顔テンプレート作成部の機能構成を例示したブロック図である。
【図４】図４は学習処理を説明するための図である。
【図５】図５は推定処理を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態を説明する。
＜構成＞
図１に例示するように、本形態のシステムは、視野カメラ１２−１〜１２−Ｎ、瞳孔センサ１３−１〜１３−Ｎ、マイクロホン１４−１〜１４−Ｎ、および視線計測装置１１−１〜１１−Ｎを有し、視線計測装置１１−１〜１１−Ｎはネットワークを通じて通信可能に構成されている。ただし、Ｎは２以上の整数であり、例えばＮ≧３である。
【００１２】
図２Ａに例示するように、本形態の視線計測装置１１−１は、データ取得部１１１−１、顔追跡部１１２−１、射影関数学習部１１３−１、視野画像座標系注視点推定部１１４−１、顔座標系注視点推定部１１５−１、データ収集部１１６−１、話者検出部１１７−１、および顔テンプレート作成部１１８−１を有する。図２Ｂに例示するように、本形態のその他の視線計測装置１１−ｉ（ただし、ｉ＝２，・・・，Ｎ）は、データ取得部１１１−ｉ、顔追跡部１１２−ｉ、射影関数学習部１１３−ｉ、視野画像座標系注視点推定部１１４−ｉ、および顔座標系注視点推定部１１５−ｉを有する。
【００１３】
図３Ａに例示するように、本形態の顔追跡部１１２−ｎ（ただし、ｎ＝１，・・・，Ｎ）は、並進・スケール成分推定部１１２ａ−ｎ、画像面内角成分推定部１１２ｂ−ｎ、水平・垂直角成分推定部１１２ｃ−ｎ、顔中心画像座標推定部１１２ｄ−ｎ、および記憶部１１２ｅ−ｎを有する。図３Ｂに例示するように、本形態の顔テンプレート作成部１１８−１は、正面顔検出部１１８ａ−１、平均瞳孔画像生成部１１８ｂ−１、テクスチャ画像選択部１１８ｃ−１、顔中心座標取得部１１８ｄ−１、顔座標系変換部１１８ｅ−１、および記憶部１１８ｆ−１を有する。
【００１４】
各装置は、例えば、通信装置、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）、およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。例えば、スマートフォン端末装置、パーソナルコンピュータ端末装置、サーバ装置、専用の電子機器等によって視線計測装置１１−１〜１１−Ｎが構成される。
【００１５】
本形態では、同じ場所（例えば、会議室等）に集まった複数人の人物（対話者）１０−１〜１０−Ｎ（図１）が対話を行う。人物１０−１〜１０−Ｎからなる集合を「対話グループ」と呼ぶ。各人物１０−ｎ（ただし、ｎ＝１，・・・，Ｎ）は、視野カメラ１２−ｎ、瞳孔センサ１３−ｎ、およびマイクロホン１４−ｎを装着する。各人物１０−ｎは、これらをどのような形態で装着しても構わない。例えば、各人物１０−ｎが、これらが固定されたヘルメットを装着してもよいし、これらが埋め込まれたメガネを装着してもよい。視野カメラ１２−ｎは、人物１０−ｎの視野の画像を撮影するための可視光カメラである。「人物１０−ｎの視野の画像」は、人物１０−ｎの視野内の領域を含んだ画像であればよく、人物１０−ｎの視野と厳密に一致した領域の画像である必要はない。視野カメラ１２−ｎは、１台の可視光カメラのみを備えていてもよいし（単眼カメラ）、複数台の可視光カメラ（例えば２台でステレオ視が可能なカメラ）を備えていてもよい。瞳孔センサ１３−ｎは、人物１０−ｎの瞳孔データを取得するセンサである。「瞳孔データ」とは、瞳孔または虹彩などの眼に関するデータである。「瞳孔データ」の例は、瞳孔または虹彩などの眼の所定部分の位置（座標や角度等）を特定するためのデータ、形状を特定するためのデータ、色彩や模様を特定するためのデータ、またはこれらのうち複数を特定するためのデータである。本形態では、瞳孔センサ１３−ｎとして可視光カメラを用いる例を説明する。しかしながら、目付近の皮膚の電圧変化を利用する接触型の筋電センサなど他のセンサを瞳孔センサ１３−ｎとして用いてもよい。なお、瞳孔センサ１３−ｎとして可視光カメラを用いる場合、瞳孔センサ１３−ｎが１台の可視光カメラのみを備えていてもよいし、複数台の可視光カメラを備えていてもよい。マイクロホン１４−ｎは人物１０−ｎが発した音声を取得するためのものである。視野カメラ１２−ｎまたは瞳孔センサ１３−ｎがマイクロホン１４−ｎを備えていてもよい。
【００１６】
各視線計測装置１１−ｎは各人物１０−ｎ（ただし、ｎ＝１，・・・，Ｎ）に対応する。データ取得部１１１−ｎ、顔追跡部１１２−ｎ、射影関数学習部１１３−ｎ、視野画像座標系注視点推定部１１４−ｎ、および顔座標系注視点推定部１１５−ｎは、各人物１０−ｎに対して用意されており、それぞれが独立に動作する。一方、データ収集部１１６−１、話者検出部１１７−１、および顔テンプレート作成部１１８−１は、対話グループ全体に対して用意されており、対話グループ全体のために動作する。
【００１７】
＜処理＞
本形態の処理は、射影関数を学習する学習処理と、得られた射影関数を用いた推定処理とからなる。以下では、本形態の学習処理を説明した後、推定処理の説明を行う。
《学習処理》
図４を用いて本形態の学習処理を説明する。学習処理では、対話グループでなされた対話に基づく対話データを一定時間収集した後、それらを用い、瞳孔データと注視点とを関連付ける射影関数を学習する。
【００１８】
［データ取得処理］
対話グループの人物１０−１〜１０−Ｎによる対話の様子は、視野カメラ１２−１〜１２−Ｎ、瞳孔センサ１３−１〜１３−Ｎ、マイクロホン１４−１〜１４−Ｎによってリアルタイムに収録される。すなわち、視野カメラ１２−ｎは人物１０−ｎの視野の画像を取得し、瞳孔センサ１３−ｎは人物１０−ｎの両目の瞳孔および虹彩を含む画像を取得し、マイクロホン１４−ｎは人物１０−ｎの音声を取得する。これらのデータは、データ取得部１１１−ｎに送られる。
【００１９】
データ取得部１１１−ｎは、前処理として、瞳孔センサ１３−ｎで得られた画像を瞳孔データに変換する。本形態のデータ取得部１１１−ｎは、例えば、瞳孔センサ１３−ｎで得られた画像中の瞳孔中心の画像座標（「瞳孔座標」と呼ぶ）を計算する。瞳孔センサ１３−ｎは人物１０−ｎに装着（固定）されている。そのため、瞳孔センサ１３−ｎで得られた画像における人物１０−ｎの眼領域（瞳孔および虹彩の領域）の位置や大きさはさほど変化することはなく、左右の瞳孔の大きさや座標はおよそ一定範囲に収まる。このため、本形態では、その範囲内において、大きさが事前に決められた範囲内の楕円を一般化ハフ変換により検出し、それを瞳孔画像ｚｎとし、その中心座標を瞳孔座標ｙｎとする。なお、瞳孔座標の座標系は、瞳孔センサ１３−ｎで得られた画像の座標系である。この瞳孔座標はｙｎ∈ＲＤと表される。ただし、ＲＤはＤ次元（Ｄは正の整数）の実数を表す。例えば、瞳孔座標が左右の目それぞれの瞳孔中心の水平座標及び垂直座標からなる場合、Ｄ＝４である。本形態では左右の目の瞳孔座標および瞳孔画像の組（ｙｎ，ｚｎ）を「瞳孔データ」とする。また、データ取得部１１１−ｎは、正確な時刻を取得でき、視野カメラ１２−ｎで得られた視野の画像のデータ、瞳孔データ（ｙｎ，ｚｎ）、マイクロホン１４−ｎで得られた音声のデータにタイムスタンプを付す。タイムスタンプが付された視野カメラ１２−ｎで得られた視野の画像のデータをｖｎ，ｊと表記し、瞳孔データ（ｙｎ，ｚｎ）を（ｙｎ，ｊ，ｚｎ，ｊ）と表記し、マイクロホン１４−ｎで得られた音声のデータをａｎ，ｊと表記する。ただし、ｊは時間を表すインデックスである。ｊに対応する時刻を時刻ｊと表記する。学習処理では、これらのデータのことを「学習データ」と呼ぶ。データ取得部１１１−ｎは、視野の画像ｖｎ，ｊ、瞳孔データ（ｙｎ，ｊ，ｚｎ，ｊ）、および音声のデータａｎ，ｊをデータ収集部１１６−１に送る。
【００２０】
［データ収集処理］
データ収集部１１６−１は、各データ取得部１１１−ｎ（ただし、ｎ＝１，・・・，Ｎ）から送られた全人物１０−１〜１０−Ｎのデータを一定時間長分収集し、内部の記憶部（図示せず）に格納する。まずデータ収集部１１６−１は、収集された各データに付与されたタイムスタンプをもとに同期を行う。例えば、データ収集部１１６−１は、ある一つのデータ取得部１１１−ｎから送られたデータのタイムスタンプを基準とし、その時刻に最も近いデータを、その他のデータ取得部１１１−ｎ’（ただし、ｎ’≠ｎかつｎ’＝１，・・・，Ｎ）から送られたデータから選択し、それらを同期させる。この同期処理はオフラインで行われる。説明の便宜上、同じ添え字ｊに対応するデータは互いに同じ時刻のデータとして同期されるとする。同期された視野の画像ｖｎ，ｊ、瞳孔データ（ｙｎ，ｊ，ｚｎ，ｊ）、および音声のデータａｎ，ｊは、データ収集部１１６−１内部の記憶部（図示せず）に格納される。
【００２１】
［顔テンプレート作成処理］
顔テンプレート作成部１１８−１は、データ収集部１１６−１から視野の画像ｖｎ，ｊおよび瞳孔データ（ｙｎ，ｊ，ｚｎ，ｊ）を受け取り、視野の画像中で各人物１０−ｎの顔を追跡するための各人物１０−ｎの顔テンプレートｔｅｍ（ｎ）（ただし、ｎ＝１，・・・，Ｎ）を作成する。本形態では、三次元の形状モデル３Ｄｍｏｄ（ｎ）と人物１０−ｎの顔のテクスチャ画像ｔｅｘ（ｎ）からなる顔テンプレートｔｅｍ（ｎ）を作成する。顔テンプレートｔｅｍ（ｎ）は、顔のテクスチャ画像ｔｅｘ（ｎ）、およびテクスチャ画像ｔｅｘ（ｎ）の顔中心の二次元座標ｃｎｔ（ｎ）∈Ｒ２を形状モデル３Ｄｍｏｄ（ｎ）上の三次元座標ｘ０（ｎ）∈Ｒ３に変換したものを含む。形状モデル３Ｄｍｏｄ（ｎ）には任意の形状を用いることが可能であり、円柱、楕円、人の平均顔形状などを使用すればよい。本形態では円柱を形状モデル３Ｄｍｏｄ（ｎ）として用いる。
【００２２】
テクスチャ画像ｔｅｘ（ｎ）は各人物１０−ｎを正面方向から撮影した顔画像である。本形態はテクスチャ画像ｔｅｘ（ｎ）を用意する方法にも特徴がある。本形態では、ある人物１０−ｎのテクスチャ画像ｔｅｘ（ｎ）を、その人物１０−ｎ以外の人物１０−ｎ”（ただし、ｎ”≠ｎかつｎ”＝１，・・・，Ｎ）が装着する視野カメラ１２−ｎ”により撮影された視野の画像ｖｎ”，ｊから作成する。すなわち、本形態の人物１０−ｎの顔テンプレートｔｅｍ（ｎ）は、人物１０−ｎ以外の人物１０−ｎ”の視野の画像ｖｎ”，ｊを用いて作成された人物１０−ｎの顔のテクスチャ画像ｔｅｘ（ｎ）を利用して作成される。人物１０−ｎ”は、顔テンプレートｔｅｍ（ｎ）を利用して人物１０−ｎの顔を追跡する視線計測装置に対応する人物であってもよいし、その他の人物であってもよい。この点、環境中に固定されたカメラにより撮影された画像を用いてテクスチャ画像を得る従来の方法と異なる。
【００２３】
本形態のテクスチャ画像ｔｅｘ（ｎ）の生成方法を詳細に説明する。まず、顔テンプレート作成部１１８−１（図３Ｂ）の正面顔検出部１１８ａ−１が、データ収集部１１６−１から学習データ中のすべての視野の画像ｖｎ，ｊ（ただし、ｎ＝１，・・・，Ｎ）を受け取る。正面顔検出部１１８ａ−１は、人物１０−ｎの顔のテクスチャ画像ｔｅｘ（ｎ）の候補（「候補画像」と呼ぶ）として、受け取ったすべての視野の画像ｖｎ，ｊから左右の目を含む正面を向いた顔（正面顔）の画像を抽出し、記憶部１１８ｆ−１に格納する。正面顔画像の抽出は、例えば、正面顔を用いて学習された物体検出器（Haar-like特徴にもとづくカスケード型物体検出器。例えば、参考文献１「P. Viola and M. J. Jones, “Robust Real-Time Face Detection,” Int’l J. Computer Vision, 57(2), pp. 137-154, 2004.」等参照）、および、左右の目を用いて学習された同物体検出器を用いて行う。
【００２４】
これらの検出された正面顔画像は、人物１０−ｎの正面顔画像ではない可能性がある。このため、これらの候補画像の中から人物１０−ｎの正面顔画像を抽出する必要がある。そのため、まず平均瞳孔画像生成部１１８ｂ−１が、データ収集部１１６−１から人物１０−ｎのすべての瞳孔データ（ｙｎ，ｊ，ｚｎ，ｊ）の瞳孔画像ｚｎ，ｊを抽出する。平均瞳孔画像生成部１１８ｂ−１は、左右の目の瞳孔画像ｚｎ，ｊをそれぞれ平均化した平均瞳孔画像ｍｅａｎ(ｚｎ）を作成し、記憶部１１８ｆ−１に格納する。次いで、テクスチャ画像選択部１１８ｃ−１が、記憶部１１８ｆ−１に格納された候補画像から前述のように左右の目の瞳孔画像を抽出し、平均瞳孔画像ｍｅａｎ（ｚｎ）に最も類似する瞳孔画像を持つ候補画像をテクスチャ画像ｔｅｘ（ｎ）として選択する。類似度を測る尺度としては、例えば、ピアソンの積率相関係数を用いればよい。テクスチャ画像選択部１１８ｃ−１は、この人物１０−ｎのテクスチャ画像ｔｅｘ（ｎ）を人物１０−ｎの識別子ＩＤｎと対応付けて記憶部１１８ｆ−１に格納する。識別子ＩＤｎは例えば整数であり、異なる人物１０−ｎには異なる識別子ＩＤｎが対応付けられる。これにより、識別子ＩＤｎによってテクスチャ画像ｔｅｘ（ｎ）を特定できる。このように、人物１０−ｎの瞳孔データ（ｙｎ，ｊ，ｚｎ，ｊ）をもとに、人物１０−ｎ以外の人物１０−ｎ”の視野の画像ｖｎ”，ｊから人物１０−ｎの顔画像を検出し、検出された顔画像から人物１０−ｎの顔のテクスチャ画像ｔｅｘ（ｎ）を作成する。さらに、顔中心座標取得部１１８ｄ−１が、抽出されたテクスチャ画像ｔｅｘ（ｎ）の左右の目の画像座標の重心（二次元座標）を、そのテクスチャ画像ｔｅｘ（ｎ）の顔中心の二次元座標ｃｎｔ（ｎ）として記憶部１１８ｆ−１に格納する。
【００２５】
顔座標系変換部１１８ｅ−１は、中心座標が（０，０，０）であり、ｘ軸がテクスチャ画像ｔｅｘ（ｎ）の水平軸に一致し、ｙ軸がテクスチャ画像ｔｅｘ（ｎ）の垂直軸および円柱である形状モデル３Ｄｍｏｄ（ｎ）の中心軸（回転軸）に一致し、ｚ軸がテクスチャ画像ｔｅｘ（ｎ）の面外方向（ｘ−ｙ平面に直交する方向）に一致する座標系を定める。また顔座標系変換部１１８ｅ−１は、テクスチャ画像ｔｅｘ（ｎ）から検出した顔の幅を円柱である形状モデル３Ｄｍｏｄ（ｎ）の直径（２ｒ）とする。さらに顔座標系変換部１１８ｅ−１は、上述のテクスチャ画像ｔｅｘ（ｎ）の顔中心の二次元座標ｃｎｔ（ｎ）を三次元座標ｘ０（ｎ）∈Ｒ３に変換し、記憶部１１８ｆ−１に格納する。三次元座標ｘ０（ｎ）の（ｘ座標値，ｙ座標値）＝（ｘ，ｙ）は、二次元座標ｃｎｔ（ｎ）＝（ｃｘ（ｎ），ｃｙ（ｎ））からテクスチャ画像ｔｅｘ（ｎ）の画像中心座標（ｏｘ（ｎ），ｏｙ（ｎ））を引いた座標（ｘ，ｙ）＝（ｃｘ（ｎ）−ｏｘ（ｎ），−ｃｙ（ｎ）＋ｏｙ（ｎ））であり、ｚ座標値は（ｒ２−ｘ２）１／２である。この形状モデル３Ｄｍｏｄ（ｎ）の座標系のことを顔座標系と呼ぶ。
【００２６】
以上の処理が各人物１０−ｎに対して実行され、テクスチャ画像ｔｅｘ（ｎ）およびその顔中心の三次元座標ｘ０（ｎ）を含む各人物１０−ｎの顔テンプレートｔｅｍ（ｎ）＝（ｔｅｍ（ｎ），ｘ０（ｎ））が記憶部１１８ｆ−１に格納される。
【００２７】
［話者検出処理］
話者検出部１１７−１は、データ収集部１１６−１から学習データである音声のデータａｎ，ｊを取得し、これらを用いて各時刻ｊにおいて発話している人物（話者）を特定する。各時刻ｊの話者１０−ｕｊを表す値をｕｊ∈｛１，・・・，Ｎ｝と表記する。各時刻ｊで発話している人数は常に一名と仮定してもよいし、そのような仮定を置かなくともよい。話者が常に一名と仮定する場合は、各時刻ｊにおいてパワーが最大となる音声のデータａα，ｊ（ただし、α∈｛１，・・・，Ｎ｝）に対応する人物１０−αを話者１０−ｕｊとすればよい。そのような仮定を置かない場合は、人物１０−ｎの音声のデータａｎ，ｊが事前に人物１０−ｎごとに定められた閾値ｔｈｎを超えていれば、その人物１０−ｎを話者１０−ｕｊとすればよい。閾値ｔｈｎの設定方法に制限はないが、例えば、学習データ中の音声のデータａｎ，ｊのパワーの時系列を、人物１０−ｎごとに、平均０、標準偏差１となるよう標準化し、その標準化で用いたスケーリング係数の逆数に一定の値（例えば０．５）を乗じた値を閾値ｔｈｎとすればよい。
【００２８】
［顔追跡処理］
顔テンプレート作成部１１８−１は、各時刻ｊの話者を表す値ｕｊを入力とし、話者である人物１０−ｂ（ただし、ｂ＝ｕｊ）の顔テンプレートｔｅｍ（ｂ）を顔追跡部１１２−ｎに出力する。顔テンプレートｔｅｍ（ｂ）はすべての顔追跡部１１２−ｎに出力されてもよいし、人物１０−ｂを除く人物１０−ａ（ただし、ａ＝１，・・・，Ｎかつａ≠ｂ）に対応する顔追跡部１１２−ａのみに出力されてもよい。また、データ収集部１１６−１は、学習データに含まれる人物１０−ｎの視野の画像ｖｎ，ｊを顔追跡部１１２−ｎに出力する。視野の画像ｖｎ，ｊはすべての顔追跡部１１２−ｎに出力されてもよいし、人物１０−ｂを除く人物１０−ａに対応する顔追跡部１１２−ａのみに出力されてもよい。顔追跡部１１２−ａは、人物１０−ａの視野の画像ｖａ，ｊおよび人物１０−ｂの顔テンプレートｔｅｍ（ｂ）を用い、人物１０−ａの視野の画像ｖａ，ｊにおける話者である人物１０−ｂの顔中心座標Ｍａ，ｊ（ｂ）を取得する。この処理を顔追跡と呼ぶ。以下では、テンプレートマッチングを用いて顔追跡を行う例を説明する。ただし、これは本発明を限定するものではなく、他の物体追跡方法を用いても構わない。
【００２９】
本形態では、顔追跡を二段階に分けて行う。第一段階では、顔追跡部１１２−ａ（ただし、ａ＝１，・・・，Ｎかつａ≠ｂ）（図３Ｂ）の並進・スケール成分推定部１１２ａ−ａが、人物１０−ａの視野の画像ｖａ，ｊ中の人物１０−ｂの回転成分を除く顔の運動成分を推定する。例えば、並進・スケール成分推定部１１２ａ−ａは、以下のように評価関数を最小化する（Ｔｂ，ｓｂ）を求める。
【数１】
0006377566.tif 000002
ここで、ＩａＦＯＶ（Ｘ）は人物１０−ａの視野の画像ｖａ，ｊの座標Ｘにおける輝度値を表し、ＩｂＴＥＸ（Ｘ）は人物１０−ｂの顔テンプレートｔｅｍ（ｂ）のテクスチャ画像ｔｅｘ（ｂ）の座標Ｘにおける輝度値を表す。なお、式（１）に示すように、ＩａＦＯＶ（Ｘ）の上付き添え字「ＦＯＶ」は本来下付き添え字「ａ」の真上に記載されるべきである。しかしながら、記載表記の制約上、ＩａＦＯＶ（Ｘ）と表記している。ＩｂＴＥＸ（Ｘ）等のその他についても同様な表記を行っている。ｍｂ，ｋ∈Ｒ２は、人物１０−ｂのテクスチャ画像ｔｅｘ（ｂ）中の点ｋの二次元座標を表す。Ｔｂ∈Ｒ２は二次元並進ベクトルを表し、ｓｂ（ただし、ｓｂ＞０）はスケールを表す。ｆ１（ｍｂ，ｋ，Ｔｂ，ｓｂ）は、以下のように定義される関数である。
ｆ１（ｍｂ，ｋ，Ｔｂ，ｓｂ）＝ｓｂ・（ｍｂ，ｋ＋Ｔｂ）  （２）
ただし、「・」は乗算を表す。すなわち、式（１）の評価関数は、視野の画像ｖａ，ｊの領域を二次元並進ベクトルＴｂの分だけシフトさせ、さらにｓｂ倍した領域の輝度と顔テンプレートｔｅｍ（ｂ）の輝度との類似度を最小化する（Ｔｂ，ｓｂ）を求めるものである。このような（Ｔｂ，ｓｂ）は、例えば、二次元並進ベクトルＴｂおよびスケーリング係数ｓｂが離散的な値をとることとし、全探索によって求められてもよい。より速い処理速度が求められる場合には、現時刻ｊより前の時刻で得られた二次元並進ベクトルおよびスケーリング係数を用い、視野の画像ｖａ，ｊ中の人物１０−ｂが等速運動を行っていると過程して探索範囲を制限してもよい。また、（Ｔｂ，ｓｂ）を連続量として推定する場合には、逐次的モンテカルロ法（パーティクルフィルタ法）といったサンプリング法を用いても構わない。さらに、参考文献２（Z. Kalal, K. Mikolajczyk, and J. Matas, “Tracking-learning-detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 34, no. 7, pp. 1409-1422, 2012.）のようにテクスチャ画像ｔｅｘ（ｂ）の更新を行いつつ、追跡する方法であっても構わない。なお、式（１）の右辺の
【数２】
0006377566.tif 000003
の最小値が予め定めた閾値を超える場合、並進・スケール成分推定部１１２ａ−ａは、時刻ｊの視野の画像ｖａ，ｊ中には人物１０−ｂの顔の画像が含まれていないと判断することにしてもよい。このように判断された時刻ｊでは人物１０−ｂの顔中心座標Ｍａ，ｊ（ｂ）は生成されない。
【００３０】
次いで、第二段階として、人物１０−ａの視野の画像ｖａ，ｊ中の人物１０−ｂの顔の三次元の回転成分を推定する。この回転成分は、水平角φｙ（ｂ）（ｙ軸回転角）、垂直角φｘ（ｂ）（ｘ軸回転角）、および、画像面内角φｚ（ｂ）（ｚ軸回転角）の三つからなる。ここでは、まず、画像面内角φｚ（ｂ）を推定し、その後、水平角φｙ（ｂ）、および、垂直角φｘ（ｂ）を推定する。第一段階で用いた人物１０−ａの視野の画像ｖａ，ｊに加えて、追跡される人物１０−ｂが装着した視野カメラ１２−ｂにて撮影された視野の画像ｖｂ，ｊも用いる点に本形態の特徴がある。すなわち、本形態の顔追跡部１１２−ａは、人物１０−ｂの視野の画像ｖｂ，ｊを用いて、人物１０−ａの視野の画像ｖａ，ｊにおける人物１０−ｂの顔中心座標を取得する。ここでは、各人物の視野カメラの光軸がその人物の顔の正面方向と一致し、視野カメラの光軸は視野の画像の中央に存在すると仮定する。もしそうなっていなければ、事前に校正を行っておけばよい。
【００３１】
まず、画像面内角成分推定部１１２ｂ−ａ（ただし、ａ＝１，・・・，Ｎかつａ≠ｂ）（図３Ａ）が、人物１０−ｂの視野の画像ｖｂ，ｊにおける画像面内角φｚ（ｂ）を、オプティカルフローを用いて推定する。例えば、画像面内角成分推定部１１２ｂ−ａは、次式を解くことで画像面内角φｚ（ｂ）を求める。
【数３】
0006377566.tif 000004
ここで、ｏは人物１０−ｂの視野画像面内での面内回転中心の座標である。ａｉおよびｖｉは、オプティカルフローのある算出点、および、その点におけるオプティカルフローである。オプティカルフローの算出点ａｉとしては、画像をある大きさで区切った格子点や画像上の複数のエッジなどを用いればよい。式（３）の解は最急降下法など任意の非線形問題解決法を用いて解けばよい。
【００３２】
次いで、水平・垂直角成分推定部１１２ｃ−ａが、水平角φｙ（ｂ）および垂直角φｘ（ｂ）を、人物１０−ｂの視野カメラ１２−ｂにて撮影された視野の画像ｖｂ，ｊにおける人物−ａの顔の位置（ｍｘ（ｂ），ｍｙ（ｂ））にもとづき次式により求める。
【数３】
0006377566.tif 000005
ここで、ｗｘ（ｂ）およびｗｙ（ｂ）は、人物１０−ｂの視野の画像ｖｂ，ｊの幅および高さであり、Ψｘ（ｂ）およびΨｙ（ｂ）はその画像ｖｂ，ｊの水平方向および垂直方向の視野角である。例えば、人物１０−ｂの視野の画像ｖｂ，ｊ中で人物１０−ａが中央（あるいは左方、あるいは、上方）に位置すれば、人物１０−ａの視野の画像ｖａ，ｊ中で人物１０−ｂは正面を向いている（あるいは向かって左方を向いている、あるいは向かって上方を向いている）ことになる。式（４）では放射歪みなど画像のひずみがないことを仮定している。画像の歪みがある場合には、事前のカメラ校正で歪を除去しておけばよい。このような水平角φｙ（ｂ）および垂直角φｘ（ｂ）の推定方法（頭部姿勢推定方法）は、人物１０−ａの視野の画像ｖａ，ｊから推定する方法よりも高い精度で人物１０−ｂの顔の向きを推定できる。例えば、人物１０−ａの視野の画像ｖａ，ｊ中で人物１０−ｂの顔の幅が３０ピクセルであり、人物１０−ａおよび１０−ｂの視野カメラ１２−ａおよび１２−ｂの水平方向の解像度が１９２０ピクセルで視野角が１２２．６度であったとする。ここで、人物１０−ｂが人物１０−ａに対して正面を向いた状態から１度水平方向に顔の向きを変えた場合を考える。人物１０−ｂの顔形状を直径が顔の幅に等しい円柱にて近似すると、人物１０−ａの視野の画像ｖａ，ｊ中における人物１０−ｂの顔中心の位置の変化はわずか０．３ピクセル（＝３０／２・ｓｉｎ（１°））である。他方、式（４）で入力となる人物１０−ｂの視野の画像ｖｂ，ｊ中における人物１０−ａの顔中心の位置は１６ピクセル変化する。すなわち、この場合では、後者の推定精度は前者の推定精度に比べて１６／０．３＝５３．３倍高い。
【００３３】
最後に、顔中心画像座標推定部１１２ｄ−ａが、顔テンプレートｔｅｍ（ｂ）の顔中心の三次元座標ｘ０（ｂ）、二次元並進ベクトルＴｂ、スケーリング係数ｓｂ、水平角φｙ（ｂ）、垂直角φｘ（ｂ）、および画像面内角φｚ（ｂ）を入力とし、人物１０−ａの視野の画像ｖａ，ｊ中での人物１０−ｂの顔中心座標Ｍａ，ｊ（ｂ）を次式により算出する。
【数４】
0006377566.tif 000006
ここで、関数ｆ（ｘ，Ｒ，Ｔ，ｓ）は、顔テンプレートの運動、および、弱中心投影の組み合わせを表す。Ｒ（ｂ）∈Ｒ２×３は（φｘ（ｂ），φｙ（ｂ），φｚ（ｂ））を用いて表現される三次元回転行列の第三行を除く２×３行列を表す。すなわち、Ｒ（ｂ）は、各軸周りの回転行列Ｒｘ（φｘ（ｂ））、Ｒｙ（φｙ（ｂ））、Ｒｚ（φｚ（ｂ））の積Ｒｘ（φｘ（ｂ））・Ｒｙ（φｙ（ｂ）））・Ｒｚ（φｚ（ｂ））で表現される三次元回転行列の第三行を除く２×３行列である。なお、弱中心投影に代えて中心投影など他の投影モデルが用いられてもよい。得られた人物１０−ｂの顔中心座標Ｍａ，ｊ（ｂ）は記憶部１１２ｅ−ａに格納される。
【００３４】
［射影関数学習処理］
射影関数学習部１１３−ａ（図４）は、人物１０−ａの視野の画像ｖａ，ｊにおける人物１０−ｂの顔中心座標Ｍａ，ｊ（ｂ）と人物１０−ａの瞳孔データｙａ，ｊとを用いて、人物１０−ａの瞳孔データｙａ，ｊ∈ＲＤと注視点とを関連付ける射影関数を求める。本形態では、重回帰を用いた以下の射影関数ｇ（ａ）を求める。
ｐａ，ｊ＝ｇ（ａ）（ｙａ，ｊ）＝ｗ（ａ）ｙａ，ｊ＋ｗ０（ａ）    （６）
ここで、注視点は視野の画像ｖａ，ｊ内の点であり、人物１０−ａが注視する点に相当する。注視点の座標（注視点座標）ｐａ，ｊ∈Ｒ２は、視野の画像ｖａ，ｊの二次元座標系の座標（「注視点座標」と呼ぶ）である。視野の画像の二次元座標系を視野画像座標系と呼ぶ。この処理は人物１０−ａごとにオフライン処理にて行われる。射影関数学習部１１３−ａの入力は、学習データ中の各時刻ｊにおける人物１０−ａの視野の画像ｖａ，ｊに含まれる話者である人物１０−ｂの顔中心座標Ｍａ，ｊ（ｂ）（ここではこれをｐａ，ｊとみなす）、および、人物１０−ａの瞳孔データｙａ，ｊである。これらの入力は、例えば、人物１０−ａが話者である時刻の画像座標および瞳孔データを含まない。ｗ（ａ）∈ＲＤおよびｗ０（ａ）∈Ｒはそれぞれ重回帰式のパラメタを表す。射影関数学習部１１３−ａは、これらのパラメタｗ（ａ）およびｗ０（ａ）を算出して出力する。これらのパラメタｗ（ａ）およびｗ０（ａ）は、例えば最小二乗解として算出されればよい。例えば、射影関数学習部１１３−ａは、学習データの時間区間に対応するＭａ，ｊ（ｂ）とｗ（ａ）ｙａ，ｊ＋ｗ０（ａ）との誤差の二乗和を最小にするパラメタｗ（ａ）およびｗ０（ａ）を選択して出力する。なお、射影関数ｇ（ａ）は式（６）のものに限定されず、その他の任意の関数を用いても構わない。相似変換や非特許文献１で用いられているガウス過程を用いて射影関数ｇ（ａ）を得ても構わない。また、本形態では、人物１０−ａが話者ではない時刻の画像座標および瞳孔データを用いて射影関数を求めるが、必ずしも、これらの時刻のすべてにおいて人物１０−ａが話者である人物１０−ｂを見ているとは限らない。このため、より精緻な結果を得るために、話者交替時の直前と直後の画像座標および瞳孔データのみを用いて射影関数を求めても構わない。この場合には、例えば、射影関数学習部１１３−ａに、さらに話者検出部１１７−１から出力された話者１０−ｕｊを表す値ｕｊが入力される。射影関数学習部１１３−ａは、ｕｊを用いて話者交替時ｊ’を特定し、ｊ’の直前の所定の時間区間と直後の所定の時間区間に含まれる像座標および瞳孔データのみを用いて射影関数ｇ（ａ）を求める。各射影関数学習部１１３−ｎ（ただし、ｎ＝１，・・・，Ｎ）は同様な処理を行い、各人物１０−ｎ（ただし、ｎ＝１，・・・，Ｎ）の射影関数ｇ（ｎ）を求め、そのパラメタｗ（ｎ）およびｗ０（ｎ）を出力する。
【００３５】
《推定処理》
図５を用いて本形態の推定処理を説明する。推定処理では、上述の学習処理で得られた射影関数ｇ（ｎ）のパラメタｗ（ｎ），ｗ０（ｎ）、およびデータ取得部１１１−ｎより出力される瞳孔データｙｎ，ｊを入力とし、人物１０−ｎの視野の画像ｖｎ，ｊ中での視野画像座標系の注視点座標ｐｎ，ｊ（視野画像座標系注視点座標）を出力する。注視点座標ｐｎ，ｊは、人物１０−ｎが注視している点に対応する視野の画像ｖｎ，ｊ中の点の座標である。さらに、人物１０−ｎが見ている人物（「被注視人物」と呼ぶ）のどこを注視しているかを表す、被注視人物の顔座標系における注視点座標を出力する。顔座標系における注視点座標は、顔追跡部１１２−ｎから出力される被注視人物の顔中心座標を用い、得られた注視点座標ｐｎ，ｊをその被注視人物の顔座標系に変換して得られる。以下、これらの詳細を説明する。
【００３６】
［データ取得処理・データ収集処理］
学習処理と同じデータ取得処理・データ収集処理がリアルタイムに実行される。
【００３７】
［視野画像座標系注視点推定処理］
視野画像座標系注視点推定部１１４−ｎは、射影関数学習部１１３−ｎから送られた射影関数ｇ（ｎ）のパラメタｗ（ｎ）およびｗ０（ｎ）、ならびにデータ取得部１１１−ｎからリアルタイムに送られる瞳孔データｙｎ，ｊを入力とし、人物１０−ｎの視野画像座標系における注視点座標ｐｎ，ｊを計算して出力する。注視点座標ｐｎ，ｊはｇ（ｎ）（ｙｎ，ｊ）によって得られる。
【００３８】
［話者検出処理］
推定処理では、話者検出処理を行ってもよいし、行わなくてもよい。話者検出処理を行う場合、話者検出部１１７−１は、学習処理と同じ話者検出処理をリアルタイムに行い、各時刻ｊの話者１０−ｕｊを表す値ｕｊを出力する。
【００３９】
［顔追跡処理］
推定処理では、学習処理で得られたすべての人物１０−ｂ’（ただし、ｂ’＝１，・・・，Ｎ）の顔テンプレートｔｅｍ（ｂ’）が顔テンプレート作成部１１８−１から各顔追跡部１１２−ｎに出力される。また、データ収集部１１６−１は、リアルタイムに得られた人物１０−ｎの視野の画像ｖｎ，ｊを顔追跡部１１２−ｎに出力する。顔追跡部１１２−ｎは、人物１０−ｎの視野の画像ｖｎ，ｊおよび人物１０−ｂ’の顔テンプレートｔｅｍ（ｂ’）を用い、人物１０−ｎの視野の画像ｖｎ，ｊにおける何れかの人物１０−ｂ’に対応する二次元並進ベクトルＴｂ’∈Ｒ２、スケールｓｂ’（ただし、ｓｂ’＞０）、およびＲ（ｂ’）∈Ｒ２×３を取得して出力する。二次元並進ベクトルＴｂ’およびスケールｓｂ’を得る処理は、視野の画像ｖｎ，ｊにおける話者である人物１０−ｂに代えて何れかの人物１０−ｂ’でよい以外、学習処理での並進・スケール成分推定部１１２ａ−ｎの処理と同じでよい。Ｒ（ｂ’）は（φｘ（ｂ’），φｙ（ｂ’），φｚ（ｂ’））を用いて表現される三次元回転行列の第三行を除く２×３行列であり、水平角φｙ（ｂ’）、垂直角φｘ（ｂ’）、および画像面内角φｚ（ｂ’）から得られる。水平角φｙ（ｂ’）、垂直角φｘ（ｂ’）、および画像面内角φｚ（ｂ’）を得る処理は、視野の画像ｖｎ，ｊにおける話者である人物１０−ｂに代えて何れかの人物１０−ｂ’でよい以外、学習処理での画像面内角成分推定部１１２ｂ−ｎの処理および水平・垂直角成分推定部１１２ｃ−ｎの処理と同じでよい。
【００４０】
［顔座標系注視点推定処理］
顔座標系注視点推定部１１５−ｎは、リアルタイムに得られた時刻ｊの注視点座標ｐｎ，ｊ、二次元並進ベクトルＴｂ’、スケールｓｂ’、およびＲ（ｂ’）を入力とし、人物１０−ｎが注視する人物（被注視人物）１０−ｂ’の顔座標系における注視点座標（顔座標系注視点座標）ｘｎ，ｊ（ｂ’）∈Ｒ２を計算して出力する。顔座標系における注視点座標ｘｎ，ｊ（ｂ’）は、時刻ｊにおいて、人物１０−ｎが人物１０−ｂ’のどのあたりを注視しているかを表す。顔座標系における注視点座標ｘｎ，ｊ（ｂ’）は、次式をｘｎ，ｊ（ｂ’）について解くことで算出される。
【数５】
0006377566.tif 000007
上式は最急降下法などの一般的な数値的最適化法で解けばよい。なお、人物１０−ｎの視野画像座標において、注視点座標ｐｎ，ｊと人物１０−ｂ’の顔中心
【数６】
0006377566.tif 000008
とが一定距離以上離れている場合、顔座標系注視点推定部１１５−ｎは、人物１０−ｎが人物１０−ｂ’を注視していないと判断する。注視点座標ｐｎ，ｊとＭｎ，ｊ（ｂ’）との距離が一定距離未満となる人物１０−ｂ’が存在しない場合、顔座標系注視点推定部１１５−ｎは、人物１０−ｎは誰も注視していない旨を出力する。
【００４１】
また、顔座標系注視点推定部１１５−ｎが、この人物１０−ｂ’（被注視人物）の顔座標系の注視点座標ｘｎ，ｊ（ｂ’）の時系列データから頻度マップ（ヒートマップ）を作成してもよい。その場合は、それぞれの時刻ｊで得られた注視点座標ｘｎ，ｊ（ｂ’）に対し、それらの点の平均値を平均とし、標準偏差を事前に決めた定数とした正規分布を得、顔座標系の対象範囲における各点での密度（確率）を計算すればよい。この頻度マップを人物１０−ｂ’（被注視人物）が聞き手の時と話者の時とで分けて作成してもよい。この場合には、顔座標系注視点推定部１１５−ｎには、さらに話者検出部１１７−１から出力された各時刻ｊの話者１０−ｕｊを表す値ｕｊが入力され、顔座標系注視点推定部１１５−ｎは、これを用いて人物１０−ｂ’が聞き手であるか話者であるかを特定する。
【００４２】
＜本形態の特徴＞
本形態では、複数人で行われる対話において人が話し手の顔を注視しやすいという特徴にもとづき、第一の人物の視野の画像を用いて、第一の人物の視野の画像における話者である第二の人物の顔中心座標を取得し、第一の人物の視野の画像における第二の人物の顔中心座標と第一の人物の瞳孔データとを用いて、瞳孔データと注視点とを関連付ける射影関数を求める。これにより、事前の人手を介した処理を行うことなく、話者が誰であるかが注視行動に影響を与える場合の射影関数を精度よく自動学習できる。射影関数の学習には一定時間長の学習データが必要であり、その間はオフライン処理にて話者である人物１０−ｂの顔中心座標Ｍａ，ｊ（ｂ）を注視点座標ｐａ，ｊとみなして学習が行われる。一方、射影関数が得られた後はリアルタイムで注視点を算出できる。
【００４３】
本形態において好ましくは、第二の人物の視野の画像を用いて、第一の人物の視野の画像における第二の人物の顔中心座標を取得する。これにより、第一の人物の視野の画像から直接推定するよりも（例えば、参考文献３「Fathi, J. K. Hodgins, and J. M. Rehg, "Social interactions: A first-person perspective", IEEE Conf. on Computer Vision and Pattern Recognition, pp. 1226-1233, 2012.」）、高い精度で第二の人物の顔向きを推定できる。その結果、画像の解像度が低かったり、フォーカスが合っていなかったりといった場合であっても、第一の人物の視野の画像中の第二の人物の顔の向きを精度よく推定でき、第二の人物の顔中心座標を精度よく推定できる。
【００４４】
本形態において好ましくは、第二の人物以外の人物の視野の画像を用いて作成された第二の人物の顔のテクスチャ画像を利用し、視野の画像中で人物の顔を追跡するための第二の人物の顔テンプレートを作成する。これにより、事前の処理を行うことなく、顔テンプレートを作成することができる。
【００４５】
本形態において好ましくは、第二の人物の瞳孔データをもとに、第二の人物以外の人物の視野の画像から第二の人物の顔画像を検出し、検出された顔画像から第二の人物の顔のテクスチャ画像を作成する。これにより、検出された顔画像から第二の人物の顔のテクスチャ画像を自動的に特定できる。
【００４６】
本形態の推定処理でも、第二の人物の視野の画像を用いて、第一の人物の視野の画像における第二の人物の顔向きを推定する。これにより、第一の人物の視野の画像から直接推定するよりも高い精度で第二の人物の顔向きを推定できる。
【００４７】
＜変形例等＞
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の実施形態の学習処理における顔追跡処理では、顔テンプレート作成部１１８−１が、各時刻ｊの話者である人物１０−ｂ（ただし、ｂ＝ｕｊ）の顔テンプレートｔｅｍ（ｂ）のみを顔追跡部１１２−ｎに出力した。しかしながら、この顔追跡処理において、顔テンプレート作成部１１８−１がすべての人物１０−ｂ’の顔テンプレートｔｅｍ（ｂ’）を顔追跡部１１２−ｎに出力してもよい。この場合、顔追跡部１１２−ｎは、さらに各時刻ｊの話者を表す値ｕｊを入力とし、それを用いて選択した各時刻ｊの話者である人物１０−ｂ（ただし、ｂ＝ｕｊ）の顔テンプレートｔｅｍ（ｂ）を用い、話者である人物１０−ｂの顔追跡を行ってもよい。
【００４８】
上述の実施形態の推定処理では、学習データとは異なるリアルタイムで取得した視野の画像ｖｎ，ｊ、瞳孔データｙｎ，ｊ、および音声のデータａｎ，ｊを用いた。しかしながら、学習データの視野の画像ｖｎ，ｊ、瞳孔データｙｎ，ｊ、および音声のデータａｎ，ｊを用い、推定処理がなされてもよい。この場合、推定処理でのデータ取得処理およびデータ収集処理を省略できる。また視野画像座標系注視点推定処理は、学習データである瞳孔データｙｎ，ｊを入力とし、人物１０−ｎの視野画像座標系における注視点座標ｐｎ，ｊを計算して出力する。話者検出処理を行う場合、学習データの音声のデータａｎ，ｊを用いて話者検出を行ってもよい。推定処理で話者を特定する必要がある場合でも、学習処理で得られた各時刻ｊの話者１０−ｕｊを表す値ｕｊを保存しておけば、それをそのまま利用できる。
【００４９】
上述の実施形態では、視線計測装置１１−１がデータ収集部１１６−１、話者検出部１１７−１、顔テンプレート作成部１１８−１を備えていた。しかしながら、視線計測装置１１−１がデータ収集部１１６−１、話者検出部１１７−１、顔テンプレート作成部１１８−１を具備せず、別途、話者検出部１１７−１、顔テンプレート作成部１１８−１を備えるサーバ装置等の中央処理装置が存在してもよい。中央処理装置は、ネットワーク経由で視線計測装置と通信を行う。
【００５０】
上述した実施形態の推定処理時の顔追跡処理では、学習処理で得られたすべての人物１０−ｂ’（ただし、ｂ’＝１，・・・，Ｎ）の顔テンプレートｔｅｍ（ｂ’）が顔テンプレート作成部１１８−１から各顔追跡部１１２−ｎに出力された。しかしながら、学習処理で得られたすべての人物１０−ｂ’を学習処理時に各顔追跡部１１２−ｎに出力し、格納しておいてもよい。この場合には、推定処理時に顔テンプレート作成部１１８−１から各顔追跡部１１２−ｎに顔テンプレートｔｅｍ（ｂ’）を送る必要はない。
【００５１】
その他、各装置がネットワークを通じて情報をやり取りするのではなく、少なくとも一部の組の装置が可搬型記録媒体を介して情報をやり取りしてもよい。或いは、少なくとも一部の組の装置が非可搬型の記録媒体を介して情報をやり取りしてもよい。これらの装置の一部からなる組み合わせが、同一の装置であってもよい。上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００５２】
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【００５３】
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００５４】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【００５５】
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
【産業上の利用可能性】
【００５６】
本発明は、例えば、ウェアラブルカメラを用いた自動対話分析器に利用できる。
【符号の説明】
【００５７】
１１  視線計測装置
【図１】
0006377566.tif 000009
【図２】
0006377566.tif 000010
【図３】
0006377566.tif 000011
【図４】
0006377566.tif 000012
【図５】
0006377566.tif 000013