(57)【要約】【課題】距離画像センサによって得られる高解像度の距離画像情報に基づいて眼球運動（視線方向）を推定する装置を提供する。【解決手段】視線方向推定装置は、被計測者の目領域を含む距離画像を取得するための距離画像センサ３２．１と、眼球３次元形状モデルを格納する記憶装置２０８０と、距離画像から抽出された目領域の距離画像と眼球３次元形状モデルとのフィッティングにより眼球姿勢を推定する眼球比較処理部５６１４と、推定された眼球姿勢に基づいて、視線方向を推定する眼球運動・視線方向推定部５６１６とを備える。【選択図】図４
2015194838.tif 000002
【特許請求の範囲】
【請求項１】
被計測者の目領域を含む距離画像を取得するための距離画像センサと、
眼球３次元形状モデルを格納する記憶装置と、
前記距離画像から抽出された目領域の距離画像と前記眼球３次元形状モデルとのフィッティングに基づいて、眼球姿勢を算出して、視線方向を推定する視線方向推定手段とを備える、視線方向推定装置。
【請求項２】
前記記憶装置は、頭部３次元形状モデルを格納し、
前記距離画像センサにより取得された前記被計測者の頭部の距離画像と前記頭部３次元形状モデルとに基づいて、頭部姿勢を推定する頭部姿勢推定手段と、
前記頭部姿勢推定手段により推定された前記頭部姿勢から前記目領域の距離画像を抽出する目領域抽出手段とをさらに備える、視線方向推定装置。
【請求項３】
前記被計測者の光学画像を取得するための撮影手段をさらに備え、
前記頭部姿勢推定手段は、前記撮影手段により取得された前記被計測者の頭部の光学画像と、前記頭部の距離画像とを統合して、前記頭部姿勢を推定する、請求項２記載の視線方向推定装置。
【請求項４】
前記視線方向推定手段は、前記撮影手段により取得された前記被計測者の目領域の光学画像と、前記目領域の距離画像とを統合して、前記視線方向を推定する、請求項３記載の視線方向推定装置。
【請求項５】
距離画像センサにより取得された距離画像により被計測者の視線方向を推定する方法であって、
距離画像センサにより前記被計測者の目領域を含む距離画像を取得するステップと、
演算装置が、記憶装置に格納された眼球３次元形状モデルと前記距離画像から抽出された目領域の距離画像とのフィッティングに基づいて、眼球姿勢を算出して、視線方向を推定するステップとを備える、視線方向推定方法。
【請求項６】
前記記憶装置は、頭部３次元形状モデルを格納しており、
演算装置が、前記距離画像センサにより取得された前記被計測者の頭部の距離画像と前記頭部３次元形状モデルとに基づいて、頭部姿勢を推定するステップと、
演算装置が、推定された前記頭部姿勢から前記目領域の距離画像を抽出するステップとをさらに備える、請求項５記載の視線方向推定方法。
【請求項７】
撮像装置により前記被計測者の光学画像を取得するためのステップと、
前記頭部姿勢を推定するステップは、前記撮影装置により取得された前記被計測者の頭部の光学画像と、前記頭部の距離画像とを統合して、前記頭部姿勢を推定するステップを含む、請求項６記載の視線方向推定方法。
【請求項８】
前記視線方向を推定するステップは、前記撮影装置により取得された前記被計測者の目領域の光学画像と、前記目領域の距離画像とを統合して、前記視線方向を推定するステップを含む、請求項７記載の視線方向推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はカメラ等からの画像を処理する画像処理に関し、特に、画像中の人物の視線方向を推定するための画像認識の分野に関する。
【背景技術】
【０００２】
視線情報にはユーザの意図や興味対象などの情報が含まれているため、マーケティングや広告、コミュニケーション支援や入力デバイスなど多数の用途で有用であり、従来から研究が進められている（非特許文献１、非特許文献２を参照）。
【０００３】
その中で様々な視線計測システムが提案されているが、一方で従来の視線計測システムではユーザに対して決まった参照点を注視するなどキャリブレーションや接触型の計測装置の着用が必要であるなど、その用途は人工的に作られた実験環境下に限られており、日常生活や公共の場において不特定多数のユーザに対して視線情報を取得することは非常に困難であった。
【０００４】
しかし、角膜反射による視線計測手法により赤外線照明を用いて眼球領域、視線方向を推定する視線計測手法が一般的になり、ある限られた範囲であれば遠隔で視線計測が行える用途が広がった。
【０００５】
近年では一般的なビデオカメラを用いた視線計測の研究が盛んに行われている（非特許文献３，非特許文献４，非特許文献５を参照）。
【０００６】
その中の一つとして眼球の３次元モデルを用いて眼球中心と虹彩中心を用いて視線方向を推定する手法が提案されている（特許文献１、非特許文献６を参照）。この手法によって特別な照明やキャリブレーションを必要とせず従来の角膜反射による視線推定より比較的小さい解像度で視線計測を推定することができ、日常環境でも視線を取得することが可能となった。
【０００７】
しかしこれらの手法では通常のビデオ画像を利用するため、照明条件の変化や被計測者の個人差による取得画像の変化の影響を受けやすいという問題があった。
【０００８】
一方で、近年物体までの距離を面的に獲得した距離画像を取得する装置が安価に提供されるようになりその利用が進んでいる（特許文献２、非特許文献７を参照）。今後さらに距離画像センサの高解像度化が進むことが予想される。
【０００９】
距離画像センサとしては、たとえば、ＴＯＦ（Time Of Flight）方式や、パターン投射方式などが知られている。
【００１０】
ＴＯＦ方式では、赤外線などの不可視光をパルス変調して画角内に照射し，イメージ・センサ側でこのパルスの位相遅れを計測することで，対象物までの往復の距離を割り出すものである。
【００１１】
一方、パターン投射方式では、単一の投影パターン(ランダムなドットがちりばめられた大きな四角形パターン)を常に対象表面に投影しておき、撮影した画像からパターン内の各場所の移動量を画像処理でとらえることにより、赤外線カメラで撮影した動画のすべてのフレームにおいて３次元計測を行うことを実現する。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０１２−２１６１８０号公報明細書
【特許文献２】特開２０１３−２１０３３９号公報明細書
【非特許文献】
【００１３】
【非特許文献１】OHNO, T., MUKAWA, N., AND KAWATO, S. 2003. Just blink your eyes: A head-free gaze tracking system. In Proc. CHI2003,950-951.
【非特許文献２】MORIMOTO, C. H., AND MIMICA, M. R. M. 2005. Eye gaze tracking techniques for interactive applications. Computer Vision and Image Understanding 98, 1, 4-24.
【非特許文献３】BALUJA, S., AND POMERLEAU, D. 1994. Non-intrusive gaze tracking using artificial neural networks. Tech. Rep. CMU-CS-94-102, CMU.
【非特許文献４】SHIELE, B., AND WAIBEL, A. 1995. Gaze tracking based on face-color. In Proc. Int’l Workshop on Automatic Face and Gesture Recognition, 344-349.
【非特許文献５】MORENCY, L. P., CHRRISTOUDIAS, C., AND DARRELL, T. 2006. Recognizing gaze aversion gestures in embodied conversational discourse. In Proc. ICMI’06, 287-294.
【非特許文献６】MATSUMOTO, Y., AND ZELINSKY, A. 2000. An algorithm for real-time stereo vision implementation of head pose and gaze direction measurement. In Proc. Int. Conf. Automatic Face and Gesture Recognition, 499-504.
【非特許文献７】Pedro, L.M.; de Paula Caurin, G.A., ”Kinect evaluation for human body movement analysis,” Biomedical Robotics and Biomechatronics (BioRob), 2012 4th IEEE RAS & EMBS International Conference on , vol., no., pp.1856,1861, 24-27 June 2012.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
ただし、非特許文献７に開示された技術は、人間の視線方向の推定に距離画像を利用したものではない。
【００１５】
また、特許文献２に開示の技術は、実物体を撮像することにより指定物理量を画素値として有する複数のピクセルによって構成される一対の画像のそれぞれを取得するように構成されている一対の画像センサと、一対の画像センサのうち一方の画像センサにより取得された一方の画像の対象領域を構成する複数のピクセルのそれぞれに対して割り当てられる、実物体までの距離を取得するように構成されている距離画像センサと、を用いて実物体の表面と、指定形状の仮想物体の表面である仮想面との接触状態を推定することを目的とするものであって、画像中の人間が任意の方向を見ているときに、その視線方向を推定することを目的とするものでない。
【００１６】
したがって、２次元的な距離画像を用いることで、任意の方向を見ている対象者の視線を推定する方法については、必ずしも明らかではない。
【００１７】
本発明は、距離画像センサによって得られる高解像度の距離画像情報に基づいて眼球運動（視線方向）を推定することを目的とする。
【課題を解決するための手段】
【００１８】
この発明の１つの局面に従うと、視線方向推定装置であって、被計測者の目領域を含む距離画像を取得するための距離画像センサと、眼球３次元形状モデルを格納する記憶装置と、距離画像から抽出された目領域の距離画像と眼球３次元形状モデルとのフィッティングに基づいて、眼球姿勢を算出して、視線方向を推定する視線方向推定手段とを備える。
【００１９】
好ましくは、記憶装置は、頭部３次元形状モデルを格納し、視線方向推定装置は、距離画像センサにより取得された被計測者の頭部の距離画像と頭部３次元形状モデルとに基づいて、頭部姿勢を推定する頭部姿勢推定手段と、頭部姿勢推定手段により推定された頭部姿勢から目領域の距離画像を抽出する目領域抽出手段とをさらに備える。
【００２０】
好ましくは、視線方向推定装置は、被計測者の光学画像を取得するための撮影手段をさらに備え、頭部姿勢推定手段は、撮影手段により取得された被計測者の頭部の光学画像と、頭部の距離画像とを統合して、頭部姿勢を推定する。
【００２１】
好ましくは、視線方向推定手段は、撮影手段により取得された被計測者の目領域の光学画像と、目領域の距離画像とを統合して、視線方向を推定する。
【００２２】
この発明の他の局面に従うと、視線方向推定方法であって、距離画像センサにより取得された距離画像により被計測者の視線方向を推定する方法であって、距離画像センサにより被計測者の目領域を含む距離画像を取得するステップと、演算装置が、記憶装置に格納された眼球３次元形状モデルと距離画像から抽出された目領域の距離画像とのフィッティングに基づいて、眼球姿勢を算出して、視線方向を推定するステップとを備える。
【００２３】
好ましくは、記憶装置は、頭部３次元形状モデルを格納しており、視線方向推定方法は、演算装置が、距離画像センサにより取得された被計測者の頭部の距離画像と頭部３次元形状モデルとに基づいて、頭部姿勢を推定するステップと、演算装置が、推定された頭部姿勢から目領域の距離画像を抽出するステップとをさらに備える。
【００２４】
好ましくは、視線方向推定方法は、撮像装置により被計測者の光学画像を取得するためのステップと、頭部姿勢を推定するステップは、撮影装置により取得された被計測者の頭部の光学画像と、頭部の距離画像とを統合して、頭部姿勢を推定するステップを含む。
【００２５】
好ましくは、視線方向を推定するステップは、撮影装置により取得された被計測者の目領域の光学画像と、目領域の距離画像とを統合して、視線方向を推定するステップを含む。
【発明の効果】
【００２６】
本発明の視線方向の推定装置、視線方向の推定方法では、距離画像を用いることで、２次元画像上の眼球あるいは顔面表面の輝度値の個人差や照明条件に大きく依存することなく安定して視線方向の推定を行うことが可能である。
【００２７】
また、２次元光学画像に比べてより多くの情報が得られるため推定精度の向上が可能となる。
【００２８】
あるいは、頭部全体の観測や通常の画像センサによって得られる輝度画像を併用することで、推定精度を向上させることが可能となる。
【図面の簡単な説明】
【００２９】
【図１】視線方向の推定装置の外観を示す図である。
【図２】コンピュータシステム２０のハードウェアブロック図である。
【図３】ＣＰＵ２０４０がソフトウェアを実行することにより実現する機能を示す機能ブロック図である。
【図４】本実施の形態の視線方向の推定装置において、上述したＣＰＵ２０４０がソフトウェアを実行することにより実現する機能を示す機能ブロック図である。
【図５】視線方向の推定処理のフローを示すフローチャートである。
【図６】頭部３次元形状モデルの例を示す図である。
【図７】観測された光学画像から眼球周辺画像を切り出した例を示す図である。
【図８】眼球の３次元形状モデルの例を示す図である。
【発明を実施するための形態】
【００３０】
以下、本発明の実施の形態の視線方向の推定装置の構成について、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。
【００３１】
［ハードウェア構成］
以下、本発明の実施の形態にかかる「視線方向の推定装置」のハードウェア構成について説明する。この視線方向の推定装置は、パーソナルコンピュータまたは専用コンピュータ等、演算装置上で実行されるソフトウェアにより実現されるものであって、対象となる距離画像から人物の顔内の目領域を抽出し、視線方向を推定・検出するためのものである。
【００３２】
ただし、以下に説明する「視線方向の推定装置」の各機能の一部または全部は、ハードウェアにより実現されてもよい。
【００３３】
なお、「頭部姿勢」とは、３次元空間内で対象となる人間の顔の向きを意味するものとする。
【００３４】
図１は、この視線方向の推定装置の外観を示す図である。
【００３５】
図１を参照して、この視線方向の推定装置を構成するシステム２０は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）またはＤＶＤ−ＲＯＭ（Digital Versatile Disc Read-Only Memory）ドライブ（以下、「光学ディスクドライブ」と呼ぶ）２０３０のような記録媒体からデータを読み取るためのドライブ装置を備えたコンピュータ本体２０１０と、コンピュータ本体２０１０に接続された表示装置としてのディスプレイ２１２０と、同じくコンピュータ本体２０１０に接続された入力装置としてのキーボード２１００およびマウス２１１０と、コンピュータ本体２０１０に接続された、画像を取込むための複数のカメラ３０．１と、距離画像センサ３２．１とを含む。
【００３６】
記録媒体としては、光学ディスクに限定されず、たとえば、メモリカードのような不揮発性半導体メモリを用いたものであってもよく、その場合は、メモリドライブ２０２０（図示せず）が設けられる。
【００３７】
また、この実施の形態の装置では、光学カメラ３０．１としては、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサのような固体撮像素子を含む単眼カメラを用いることができ、静止画だけでなく動画を撮影できるものとする。カメラの台数としては、１台でもよいし、複数台でもよい。
【００３８】
また、距離画像センサ３２．１は、基本的には、光学カメラの撮像領域と共通に、対象の目領域を含む領域について、３次元の距離画像データを取得できるセンサである。
【００３９】
（ハードウェアの構成）
図２は、コンピュータシステム２０のハードウェアブロック図である。
【００４０】
図２において、コンピュータ本体２０１０は、メモリドライブ２０２０、ディスクドライブ２０３０に加えて、ＣＰＵ２０４０と、ディスクドライブ２０３０及びメモリドライブ２０２０に接続されたバス２０５０と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ２０６０とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ２０７０と、アプリケーションプログラム、システムプログラム、及びデータを記憶するための不揮発性記憶装置（たとえば、ハードディスク（ＨＤＤ））２０８０と、ネットワーク等を介して外部機器、たとえば、サーバ等と通信するための通信インタフェース２０９０と、光学カメラ３０．１や距離画像センサ３２．１からのデータを取り込むための画像入力インタフェース２０９２とを含む。
【００４１】
コンピュータシステム２０に、本実施の形態の視線方向の推定装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ２２００、またはメモリ媒体２２１０に記憶されて、ディスクドライブ２０３０またはメモリドライブ２０２０に挿入され、さらにハードディスク２０８０に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ本体２０１０に送信され、ハードディスク２０８０に記憶されても良い。プログラムは実行の際にＲＡＭ２０７０にロードされる。
【００４２】
コンピュータシステム２０は、さらに、入力装置としてのキーボード２１００およびマウス２１１０と、出力装置としてのディスプレイ２１２０とを備える。
【００４３】
上述したようなコンピュータシステム２０として機能するためのプログラムは、コンピュータ本体２０１０に、情報処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム２０がどのように動作するかは周知であり、詳細な説明は省略する。
【００４４】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【００４５】
さらに、ＣＰＵ２０４０も、１つのプロセッサであっても、あるいは複数のプロセッサであってもよい。すなわち、シングルコアのプロセッサであっても、マルチコアのプロセッサであってもよい。
【００４６】
図３は、人間の目の断面の模式図である。
【００４７】
眼球は外壁（眼球壁）と内容物からなる。外壁は３層構造をなしており、最外層の外膜（繊維膜）は眼球の前部の強く湾曲した屈折を担う角膜と、その外周を覆う強膜からなる。
【００４８】
中間層は、眼球血管膜と総称され、カメラの絞りに相当する膜状組織であり中央に瞳孔と呼ばれる開口部を持つ虹彩と、カメラのレンズに相当する水晶体を支えたりひっぱったりする毛様体などからなる。
【００４９】
最内層は、感覚網膜（神経性網膜）と網膜色素上皮からなる網膜がある。網膜の後半部は、受けた光を神経の興奮状態に替えて視神経に伝える。
【００５０】
眼球の内容物には、直径約１ｃｍの弾性を持つ凸レンズ状組織である水晶体と、無色透明なゼリー状で眼球の形状を支える硝子体などがある。
【００５１】
眼球全体は、図３のような断面形状を有し、高解像度の距離画像センサであれば、たとえば、角膜、強膜など眼球の形状を反映した距離画像を取得することが可能である。また、そのような距離画像に基づいて、たとえば、角膜の頂部（瞳孔の位置に対応）を検出することも可能となる。
【００５２】
［システムの機能ブロック］
図４は、本実施の形態の視線方向の推定装置において、上述したＣＰＵ２０４０がソフトウェアを実行することにより実現する機能を示す機能ブロック図である。
【００５３】
なお、図４に示した機能ブロックのうちのＣＰＵ２０４０が実現する機能ブロックとしては、ソフトウェアでの処理に限定されるものではなく、その一部または全部がハードウェアにより実現されてもよい。
【００５４】
図４に示すように、対象となる人物からの情報を計測するためのセンサとしては、典型的には、光学カメラ３０．１と距離画像センサ３２．１とが設けられる。
【００５５】
ただし、最小の構成ではセンサとして、距離画像センサ３２．１を使用し、被計測者の目領域の距離画像のみを得る構成としてもよい。
【００５６】
なお、前提として、光学カメラ３０．１と距離画像センサ３２．１とは、ともに、得られた画像データから、グローバル座標での位置を、後に説明するような方法で算出できるように、校正されているものとする。
【００５７】
光学カメラ３０．１により撮像された動画に対応する映像信号は、フレームごとに画像キャプチャ処理部５６０２により制御されてデジタルデータとしてキャプチャされ、画像データ記録処理部５６０４により、ハードディスクのような不揮発性記憶装置２０８０に画像データ２０８２として格納される。
【００５８】
同様にして、距離画像センサ３２．１により撮像された距離画像データは、フレームごとに距離画像キャプチャ処理部５６０６により制御されてデジタルデータとしてキャプチャされ、距離画像データ記録処理部５６０８により、不揮発性記憶装置２０８０に距離画像データ２０８４として格納される。
【００５９】
頭部比較処理部５６１０は、距離画像センサの計測範囲が眼球部よりも広く頭部全体を含むことができる場合には、まず頭部全体について観測された距離画像と頭部３次元モデルを比較し、頭部の位置・姿勢を推定する。
【００６０】
また、頭部比較処理部５６１０は、光学カメラによる計測範囲が眼球部よりも広く頭部全体を含むことができる場合には、まず頭部全体について得られる光学画像特徴と頭部の３次元モデルを比較し、頭部の位置・姿勢を推定する。このような推定処理は、たとえば、上述した特許文献１に記載されたのと、同様の処理により実現することができる。
【００６１】
頭部比較処理部５６１０は、後に説明するように、距離画像および光学画像の双方から頭部の位置・姿勢を推定する場合は、たとえば、それぞれの推定に所定の重み付けを施して統合することにより、推定精度を向上させることができる。
【００６２】
第１の目領域抽出部５６１２．１は、距離画像データから推定された頭部の位置・姿勢から目領域位置を決定し得られた目領域位置を用いて距離画像中から目領域の距離画像を抽出する。
【００６３】
第２の目領域抽出部５６１２．２は、光学画像から推定された頭部の位置・姿勢から目領域位置を決定し、得られた目領域位置を用いて光学画像中から目領域の距離画像を抽出する。
【００６４】
眼球比較処理部５６１４は、目領域について距離画像が得られている場合は、得られた眼球部距離画像を眼球の３次元形状モデルと比較し、距離画像と最も適合する眼球姿勢を推定する。また、眼球比較処理部５６１４は、光学画像から目領域の画像が抽出されている場合は、距離センサに加えて得られた目領域位置を用いて輝度画像中から抽出された目領域を使用して、後に説明するように、距離画像による眼球姿勢の推定と輝度画像中の虹彩（瞳孔）位置の推定を統合して眼球の姿勢を推定する
眼球運動・視線方向推定部５６１６は、眼球部距離画像から取得された眼球姿勢に基づき視線方向（眼球運動）を推定する。なお、光学カメラ３０．１からの光学画像が併用できる場合には、さらに眼球部の画像（輝度画像）を使用して、距離画像による眼球姿勢の推定と輝度画像中の虹彩（瞳孔）位置の推定を統合して行うことで眼球運動の推定精度を向上させることができる。
【００６５】
なお、推定された眼球姿勢と距離画像に基づいて、眼球３次元形状モデルを更新し、個人化（キャリブレーション）することも可能である。
【００６６】
表示制御部５６１８は、眼球運動・視線方向推定部５６１６に基づき推定された視線の方向を、たとえば、光学画像として撮影された人画像上に、線分や矢印などとして、重畳して表示する。このとき、画像データ等と同期したデータとして、視線方向の推定結果を、不揮発性記憶装置２０８０に格納してもよい。
【００６７】
不揮発性記憶装置２０８０には、後に説明するような頭部３次元形状モデル２０８６や、眼球３次元形状モデル２０８８が格納されている。これらの頭部３次元形状モデル２０８６や眼球３次元形状モデル２０８８については、たとえば、予め複数の人間についての実測に基づいて、それらの平均としてパラメータ（形状標準パラメータ）を設定しておくことができる。なお、このような形状標準パラメータを初期値として、後に説明するようなフィッティング計算において、形状標準パラメータも、各被計測者に合せて、形状パラメータとして随時更新する構成とすることも可能である。
【００６８】
図５は、視線方向の推定処理のフローを示すフローチャートである。
【００６９】
視線方向の推定処理が開始されると、ＣＰＵ２０４０は、初期化処理を行い、たとえば、画像フレームを表す変数ｋの値を１にセットする（Ｓ１０２）。
【００７０】
続いて、ＣＰＵ２０４０は、記憶装置２０８０から、対応するフレームの光学画像を読出し（Ｓ１０４）、さらに、対応する距離画像を読み出す（Ｓ１０６）。
【００７１】
ＣＰＵ２０４０は、フレームｋで頭部の光学画像または距離画像が得られている場合（Ｓ１０８でＹ）、頭部運動の推定処理を実行する（Ｓ１１０）。
【００７２】
距離画像センサ３２．１は、センサから物体の表面までの距離を複数の方向について計測するセンサであり、計測結果は３次元点列の座標データとして与えられる。ここでは、計測結果が、以下のようなＮ個の点の観測データＤiとして得られるものとする。
【００７３】
【数１】
2015194838.tif 000003
（頭部運動の推定処理）
図６は、頭部３次元形状モデルの例を示す図である。
【００７４】
頭部の回転を、アジマス角αh、エレベーション角βh、ローテーション角γhの３パラメータで表現することとする。各回転を以下の回転行列で表す。
【００７５】
【数２】
2015194838.tif 000004
距離画像において、頭部が正面に向いているときの顔表面の点ｈj座標を頭部の回転中心を原点とする座標系で点Ｘhjと表すとする。顔面の形状は顔表面のＭh個の点の集合として以下のように表現される。
【００７６】
【数３】
2015194838.tif 000005
頭部回転中心位置がＴh、頭部姿勢が（αh，βh，γh）であるとき、点Ｘhjは、以下の点に移ることになる。
【００７７】
【数４】
2015194838.tif 000006
さらに、光学カメラで得られる２次元画像上で検出可能な顔面上の特徴点ｆk（たとえば、目じり、目頭、口の端点など）についても、頭部が正面に向いているときの点ｆkの座標を頭部の回転中心を原点とする座標系で、以下のような点Ｘfkと表すとする。
【００７８】
【数５】
2015194838.tif 000007
ここで、頭部運動の推定とは、上述した頭部回転のパラメータ（αh，βh，γh）および頭部併進運動のパラメータＴhの推定値を得ることである。
【００７９】
頭部距離画像が得られているとすると、ＣＰＵ２０４０は、頭部運動パラメータをモデル形状と観測形状の差の自乗和である次式を最小化する（αh，βh，γh，Ｔhx，Ｔhy，Ｔhz）ものとして算出する。
【００８０】
【数６】
2015194838.tif 000008
一方で、光学画像からは、上述のとおり、以下の式のような顔特徴点（目尻、目頭、口の端部など）の位置Ｘfkが検出される。
【００８１】
【数７】
2015194838.tif 000009
光学画像については、頭部姿勢が、（αh，βh，γh）および頭部位置Ｔhで表されるとき、顔特徴点ｆkの位置は、以下のように表される。
【００８２】
【数８】
2015194838.tif 000010
光学カメラ位置をＴc、カメラ姿勢をＲc、焦点距離をｆとし、簡単のため、画像原点が一致しているとすると、点Ｘfkは、以下の式で表される。
【００８３】
【数９】
2015194838.tif 000011
以下では、このような関係を、単に、以下のように表す。
【００８４】
【数１０】
2015194838.tif 000012
距離画像の観測と通常画像の観測の両方を考慮すると、頭部位置・姿勢は次式で推定される。
【００８５】
【数１１】
2015194838.tif 000013
ここで、ｑhは距離画像と光学画像の重みを表すパラメータである（０≦ｑh≦１）。
【００８６】
このような距離画像、あるいは距離画像と光学画像についてのフィッテイングの計算は、たとえば、「Levenberg-Marquardt法」などのようなアルゴリズムを用いることで計算することができる。
【００８７】
図５に再び戻って、ＣＰＵ２０４０は、頭部の位置姿勢が得られると、頭部と眼球位置について予めモデルとして設定されている関係から光学画像または距離画像センサの計測データのうち目領域に対応する領域を抽出する（Ｓ１１４）。
【００８８】
図７は、観測された光学画像から眼球周辺画像を切り出した例を示す図である。
【００８９】
図７（ａ）に示されるように、観測された光学画像から被計測者の眼球周辺画像が正しく切り出されている。
【００９０】
また、図７（ｂ）において矢印は、目じりまたは目頭、あるいは、瞳孔などの特徴点の位置を示している。
【００９１】
なお、得られた画像から瞼領域を抽出するためには、ベジェ曲線を用いたフィッティングなどを用いることができる。
【００９２】
ＣＰＵ２０４０は、虹彩領域の決定には、得られた瞼領域と眼球領域の境界を用い、瞼領域内と眼球領域内での輝度を用いて、虹彩領域を決定する。
【００９３】
なお、虹彩領域の抽出およびそれに基づく瞳孔の抽出には、上述した特許文献１に開示された方法を用いてもよい。
【００９４】
また、距離画像から目領域を抽出する場合は、上述したような頭部姿勢の情報に基づいて、同様にして、目領域に対応する距離画像を切り出せばよい。距離画像の場合は、上述したように角膜の形状等に直接基づいて、眼球の運動の推定を行うことができる。
【００９５】
図５にもどって、目領域の距離画像が取得されている場合は（Ｓ１１６でＹ）、ＣＰＵ２０４０は、以下に説明する手続きで、眼球運動および視線方向の推定を行う（Ｓ１１８）。
［眼球運動（視線方向）の推定］
（眼球３次元形状モデル）
まず、眼球運動（視線方向）の推定処理の前提として、眼球３次元形状モデルについて説明する。
【００９６】
図８は、眼球の３次元形状モデルの例を示す図である。
【００９７】
図８に示すように、虹彩半径をri（瞳孔半径をrp）、眼球回転中心を中心として虹彩（瞳孔）が回転する際の回転半径をlとする。
【００９８】
眼球の回転をアジマス角α、エレベーション角βの２パラメータで表現することとする。各回転は、以下の回転行列で表される。
【００９９】
【数１２】
2015194838.tif 000014
眼球が正面に向いているときの眼球表面の点ejの座標を眼球の回転中心を原点とする座標系でＸejと表すとする。眼球の形状は、眼球表面のＭ個の点の集合として以下のように表現される。
【０１００】
【数１３】
2015194838.tif 000015
ここで眼球運動（視線方向）の推定とは、眼球回転のパラメータα，βおよび眼球中心位置の推定値を得ることである。
【０１０１】
まず、距離画像単独での眼球運動推定処理について説明する。
【０１０２】
センサ配置の調整または頭部の位置・姿勢推定の結果として目領域に限定した距離画像が得られているとする。このとき、眼球運動パラメータは、モデル形状と観測形状の差の自乗和である次式を最小化するグローバル座標でのパラメータ（α，β，Ｔx,Ｔy,Ｔz）として得られる。
【０１０３】
【数１４】
2015194838.tif 000016
一方で通常画像からは虹彩（瞳孔）の以下のような位置Ｘeが検出さる。
【０１０４】
【数１５】
2015194838.tif 000017
虹彩（瞳孔）の回転半径をlとすると、姿勢α，β、眼球の回転中心位置Ｔeにある眼球の虹彩（瞳孔）位置は、以下のようになる。
【０１０５】
【数１６】
2015194838.tif 000018
カメラ位置をＴc、カメラ姿勢をＲc、焦点距離をｆとし、簡単のためカメラの光軸中心と画像原点が一致しているとすると、位置Ｘeは次式で表される。
【０１０６】
【数１７】
2015194838.tif 000019
距離画像の観測と通常画像の観測の両方を考慮すると、眼球運動は以下ので推定される。
【０１０７】
【数１８】
2015194838.tif 000020
ここでも、ｑは距離画像と光学画像の重みを表すパラメータである（０≦ｑ≦１）。
【０１０８】
また、頭部姿勢の場合と同様に、このような距離画像、あるいは距離画像と光学画像についてのフィッテイングの計算は、たとえば、「Levenberg-Marquardt法」などのようなアルゴリズムを用いることで計算することができる。
【０１０９】
ＣＰＵ２０４０は、続いて、推定された眼球運動および視線方向の推定結果に基づいて、光学画像上に視線方向を重畳して表示する（Ｓ１２０）。
【０１１０】
処理が終了していなければ（Ｓ１２２でＮ）、ｋの値を１だけインクリメントして（Ｓ１２４）処理は、ステップＳ１０４に復帰する。
【０１１１】
以上説明したように、本実施の形態では、距離画像センサによって得られる高解像度の眼球距離画像情報に基づいて眼球運動（視線方向）を推定する。距離画像を用いることで、２次元画像上の眼球あるいは顔面表面の輝度値の個人差や照明条件に大きく依存することなく安定して形状情報を得ることができる。また、２次元画像に比べてより多くの情報が得られるため推定精度の向上が可能となる。
【０１１２】
また、頭部全体の観測や通常の画像センサによって得られる輝度画像を併用することで、推定精度を向上させることが可能となる。
【０１１３】
なお、以上の説明では、光学画像または距離画像として頭部の画像が取得され、それに基づいて、目領域を抽出するものとして説明したが、たとえば、頭部が固定されているなど、あらかじめ目領域が特定される場合には上記目領域抽出の処理を省略することができる。
【０１１４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１１５】
２０  視線方向の推定装置、３０．１〜３０．ｎ  カメラ、２０１０  コンピュータ本体、２０２０  光学ディスクドライブ、２０３０  光学ディスクドライブ、２０４０  ＣＰＵ、２０５０  バス、２０６０  ＲＯＭ、２０７０  ＲＡＭ、２０８０  ハードディスク、２１００  キーボード、２１１０  マウス、２１２０  ディスプレイ、２２１０  メモリカード、５６０２  画像キャプチャ処理部、５６０４  画像データ記録処理部、５６０６  距離画像キャプチャ処理部、５６０８  距離画像データ記録処理部、５６１０  頭部比較処理部、５６１２．１，５６１２．２  目領域抽出部、５６１４  眼球比較処理部、５６１６  眼球運動視線方向推定部、５６１６  表示制御部。
【図１】
2015194838.tif 000021
【図２】
2015194838.tif 000022
【図３】
2015194838.tif 000023
【図４】
2015194838.tif 000024
【図５】
2015194838.tif 000025
【図６】
2015194838.tif 000026
【図７】
2015194838.tif 000027
【図８】
2015194838.tif 000028