(57)【特許請求の範囲】
【請求項１】
眼球の運動を計測する計測装置であって、
前記眼球の運動が記録された動画像の各フレーム画像を取得する取得手段と、
前記取得手段により取得されたフレーム画像の一つを基準画像にして、その基準画像から前記眼球の動きを追跡するための複数の特徴領域を、前記基準画像に含まれる瞳孔画像の周辺部から抽出する抽出手段と、
前記抽出手段により抽出された複数の特徴領域のパターンを前記瞳孔画像の中心に対して所定角度ピッチで回転した複数の回転パターンに基づき、前記フレーム画像から前記複数の特徴領域にマッチする領域およびマッチング率を検出する第一のマッチング手段と、
前記第一のマッチング手段により検出した前記マッチング率が上位の領域に対応する前記回転パターンの回転角度から眼球の概略回旋角を取得して、前記概略回旋角に応じて回転した前記回転パターンに基づき、前記フレーム画像から前記複数の特徴領域に対応する領域を検出する第二のマッチング手段と、
前記第二のマッチング手段の検出結果から前記各フレーム画像における眼球の動きを検出する検出手段とを有することを特徴とする計測装置。
【請求項２】
眼球の運動を計測する計測装置の計測方法であって、
前記眼球の運動が記録された動画像の各フレーム画像を取得してメモリに格納する取得ステップと、
前記メモリに格納したフレーム画像の一つを基準画像にして、その基準画像から前記眼球の動きを追跡するための複数の特徴領域を、前記基準画像に含まれる瞳孔画像の周辺部から抽出する抽出ステップと、
前記抽出ステップにより抽出された複数の特徴領域のパターンを前記瞳孔画像の中心に対して所定角度ピッチで回転した複数の回転パターンに基づき、前記フレーム画像から前記複数の特徴領域にマッチする領域およびマッチング率を検出する第一のマッチングステップと、
前記第一のマッチングステップで検出した前記マッチング率が上位の領域に対応する前記回転パターンの回転角度から眼球の概略回旋角を取得して、前記概略回旋角に応じて回転した前記回転パターンに基づき、前記フレーム画像から前記複数の特徴領域に対応する領域を検出する第二のマッチングステップと、
前記第二のマッチングステップの検出結果から前記各フレーム画像における眼球の動きを検出する検出ステップとを有することを特徴とする計測方法。
【請求項３】
計測装置を制御して、請求項2に記載された計測を実行するプログラムコードが記録されたことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
本発明は計測装置およびその方法に関し、とくに、眼球の運動の計測に関する。
【０００２】
【従来の技術】
身体の平衡は、三つの感覚装置（前庭覚、視覚、深部知覚）からの入力と、それらを統合する脳幹や小脳、あるいは大脳の働きによって保たれている。これらの末消感覚装置からの入力は、脳幹や小脳などの中枢神経系を経て最終的に身体と眼球の筋肉に出力され、頭部運動中の視線の保持や静的あるいは動的な身体平衡を維持している。従って、末梢感覚装置からの入力の乱れや、それらを統合する中枢神経系の障害は、眼球運動異常や身体の平衡失調として出力される。そこで、この出力を正確に分析すれば、入力の乱れ、あるいは統合の異常が正しく診断できる。そのためには、眼球の運動を記録し、それを正確に、定量的に解析する必要がある。
【０００３】
眼球の運動は、本来、眼球内の一点、すなわち回旋点を中心として行われる回旋運動として捉えることができる。図１に示すように、眼球が前方を注視している位置で、眼球内の回旋点を含む前額面を考えると、この面は大体眼球の赤道面に一致していて、リスティング面と呼ばれる。眼球には、このリスティング面上で回旋点を通って、水平および垂直に直交する二軸（Ｘ軸、Ｚ軸）と、同回旋点を通りこの面に垂直な軸（前後軸、Ｙ軸）の三軸が想定される。Ｙ軸は、眼球の固視線に相当する。
【０００４】
リスティング面内における垂直軸（Ｚ軸）および水平軸（Ｘ軸）を中心とした運動、すなわち水平および垂直の運動を眼球の主要運動といっているが、実際の眼球運動には、多くの場合、前後軸（Ｙ軸）を回る運動（回旋運動）が加わる。従って、眼球運動を的確に捉え、定量分析するためには、三次元的な解析が必須になる。
【０００５】
一方、眼球運動は生理学的に独立した二つの神経機構によって制御された運動から成り立っている。第一の運動は急速眼球運動と呼ばれ、ある固視点から他の固視点に眼球が不随意に変化するときに生じる眼球の急速な共同運動である。急速眼球運動の始まりと終わりの加速度は４０，０００度／秒にもなり、運動中の最高速度は４００から６００度／秒である。また、視標が提示されてから急速眼球運動が生じるまでの潜時は、一般に１００から３００ミリ秒である。第二の運動は指標追跡運動と呼ばれ、指標を追跡する共同運動である。その運動速度は１から３０度／秒であり、ゆっくりと動く視標を網膜上の一点に捉えるための運動である。
【０００６】
このような眼球運動を記録し解析するために、照明用の赤外線ＬＥＤおよび小型赤外線ＣＣＤカメラを備えたゴーグルを被検者に装着し、被検者の眼球運動をビデオ録画した後、コンピュータによる画像処理によって眼球運動を解析する技術が、石川等「新しいめまい検査システムの開発」（医用電子と生体工学  Ｖｏｌ．３３  Ｎｏ．３  １９９５）や、八木「眼球運動の３次元解析からみた平衡機能とその異常」（医学書院  １９９７年発行）で提案されている。
【０００７】
【発明が解決しようとする課題】
図２は上記の文献により提案されている技術における眼球運動の解析処理を説明するフローチャートである。まず、眼球の画像がビデオ録画されディジタル化される（ステップＳ１からＳ４）。次に、眼球のフレーム画像に基づき、コンピュータが自動追跡し易いと思われる虹彩紋理画像が、オペレータにより指定される（ステップＳ５）。次に、フレーム画像を二値化して（ステップＳ６）、瞳孔画像を認識するとともに、瞳孔画像の重心を演算して得られた重心座標を瞳孔画像の中心点とする（ステップＳ７）。そして、連続するフレーム画像において、瞳孔画像の中心点の移動を追跡することにより眼球運動の水平および垂直成分（以下「水平・垂直運動」という）を解析するとともに、指定された虹彩紋理画像の輝度および面積情報などに基づき虹彩紋理画像の移動を追跡して、瞳孔画像の重心に対する虹彩紋理画像の回旋、つまり眼球運動の回旋成分（以下「回旋運動」という）を解析する（ステップＳ８）。上記のステップＳ５からＳ８までの処理を任意フレーム分繰返すことにより三次元の眼球運動を解析することができる。
【０００８】
上記の解析処理によれば、高い精度で垂直・水平運動を解析することができる。しかし、上記の解析処理は、瞳孔の形状は円で近似でき、瞳孔の中心は円の中心と一致するという仮定の下に眼球運動を解析するものである。このため、瞳孔が眼の中心から大きく移動した場合や、瞳孔に瞼がかかった状態など、瞳孔画像が円ではない状態があると重心と中心とが一致しないので、眼球運動を正確に解析することができないという問題がある。
【０００９】
さらに、上記の解析処理においては、回旋運動を解析するための虹彩紋理画像がオペレータによって指定されるが、どの虹彩紋理画像が自動追跡し易いかを判断するには熟練が必要である。もし、眼球運動の解析中に、指定された虹彩紋理画像の自動追跡が困難になった場合は、虹彩紋理画像の指定（ステップＳ５）からやり直さなければならないという欠点がある。
【００１０】
本発明は、上述の問題を解決するためのもので、眼球運動を正確に解析することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１３】
本発明にかかる計測装置は、眼球の運動を計測する計測装置であって、前記眼球の運動が記録された動画像の各フレーム画像を取得する取得手段と、前記取得手段により取得されたフレーム画像の一つを基準画像にして、その基準画像から前記眼球の動きを追跡するための複数の特徴領域を、前記基準画像に含まれる瞳孔画像の周辺部から抽出する抽出手段と、前記抽出手段により抽出された複数の特徴領域のパターンを前記瞳孔画像の中心に対して所定角度ピッチで回転した複数の回転パターンに基づき、前記フレーム画像から前記複数の特徴領域にマッチする領域およびマッチング率を検出する第一のマッチング手段と、前記第一のマッチング手段により検出した前記マッチング率が上位の領域に対応する前記回転パターンの回転角度から眼球の概略回旋角を取得して、前記概略回旋角に応じて回転した前記回転パターンに基づき、前記フレーム画像から前記複数の特徴領域に対応する領域を検出する第二のマッチング手段と、前記第二のマッチング手段の検出結果から前記各フレーム画像における眼球の動きを検出する検出手段とを有することを特徴とする。
【００１４】
本発明にかかる計測方法は、眼球の運動を計測する計測装置の計測方法であって、前記眼球の運動が記録された動画像の各フレーム画像を取得してメモリに格納する取得ステップと、前記メモリに格納したフレーム画像の一つを基準画像にして、その基準画像から前記眼球の動きを追跡するための複数の特徴領域を、前記基準画像に含まれる瞳孔画像の周辺部から抽出する抽出ステップと、前記抽出ステップにより抽出された複数の特徴領域のパターンを前記瞳孔画像の中心に対して所定角度ピッチで回転した複数の回転パターンに基づき、前記フレーム画像から前記複数の特徴領域にマッチする領域およびマッチング率を検出する第一のマッチングステップと、前記第一のマッチングステップで検出した前記マッチング率が上位の領域に対応する前記回転パターンの回転角度から眼球の概略回旋角を取得して、前記概略回旋角に応じて回転した前記回転パターンに基づき、前記フレーム画像から前記複数の特徴領域に対応する領域を検出する第二のマッチングステップと、前記第二のマッチングステップの検出結果から前記各フレーム画像における眼球の動きを検出する検出ステップとを有することを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明にかかる一実施形態の計測装置およびその方法を図面を参照して詳細に説明する。
【００１６】
［計測システムの構成］
図３は眼球運動を計測するシステムの基本的な構成を示すブロック図である。
【００１７】
図３において、１は赤外線ＬＥＤおよび赤外線ＣＣＤカメラを備えるゴーグルで、被検者の頭部に装着される。赤外線ＣＣＤカメラから出力されるビデオ信号はビデオカセットレコーダ（ＶＣＲ）２によって録画される。３は眼球運動を解析する画像処理装置である。画像処理装置３のＣＰＵ１４は、ＲＯＭ１３に格納された制御プログラムに基づき、バス１７を介して画像処理装置３の各構成を制御するとともに、必要であればＶＣＲ２の動作およびゴーグル１の照明やＣＣＤカメラを制御する。また、ＣＰＵ１４は、ＲＯＭ１３に格納された画像処理プログラムや解析プログラムに従い、後述する眼球運動の解析を実行する。これらの画像処理や解析はＲＡＭ１５をワークメモリとして実行される。
【００１８】
また、画像処理や解析の状況・結果、フレーム画像または映像、および、処理メニューなどは、ＣＰＵ１４によってビデオインタフェイス１８に接続されたモニタ４に表示される。オペレータは、モニタ４に表示される画像に基づき、入力デバイスインタフェイス１６に接続されたマウスなどのポインティングデバイス５を使用してＣＰＵ１４に各種の指示を発行する。勿論、入力デバイスインタフェイス１６には、マウスとともにキーボードなどの入力デバイスを接続することもできる。
【００１９】
ＶＣＲ２から出力されるビデオ信号は、ビデオキャプチャカード１１に入力され、１フレームごとに例えば８ビットのグレースケール画像データにディジタル化され、ＪＰＥＧ圧縮されて、ＲＡＭまたは高速ハードディスクからなる画像メモリ１２に、Ｗｉｎｄｏｗｓ標準の動画像ファイルであるａｖｉ形式で格納される。ＶＣＲ２によって録画された眼球運動の映像のすべて、または、必要な部分の動画像ファイル化が終了すると、ＣＰＵ１４は、最初のフレーム画像またはオペレータにより指示されたフレーム画像をモニタ４に表示する。その後、ＣＰＵ１４は、オペレータから必要な情報および解析開始の指示が入力されると、画像メモリ１２からフレーム画像を順次読出して眼球運動の解析処理を実行する。
【００２０】
なお、３０フレーム／秒以上の処理速度をもつビデオキャプチャカード１１を用いれば、ＣＣＤカメラ１から出力されるビデオ信号をリアルタイムにディジタル化して画像メモリ１２に格納することもでき、その場合、ＶＣＲ２は不要である。また、ビデオキャプチャカード１１および画像メモリ１２を追加すればパーソナルコンピュータを画像処理装置３として利用することができる。その場合、眼球運動の計測に必要なプログラムはフロッピディスクなどの記憶媒体を介して供給すればよい。また、ビデオ信号の圧縮方式や動画像ファイルの形式などは上記に限定されるものではなく、使用する装置や環境に応じて適切なものを選べばよい。
【００２１】
［処理手順］
以下では、本発明にかかる眼球運動の解析処理について詳細に説明するが、同処理はキャリブレーションと角度解析とからなるので、それらを順に説明する。
【００２２】
●キャリブレーション
キャリブレーションとは、眼の中心および半径を推定し、回旋角を求める際に利用する眼球画像の特徴領域を設定するものである。なお、眼の中心には、ほぼ真球である眼球の三次元的な中心である上述した回旋点と、正面から眼球を観たときの二次元的な中心とがある。以下では、三次元的な中心を「眼球の中心」、二次元的な中心を「眼の中心」と呼ぶことにする。
【００２３】
キャリブレーションに先立って、キャリブレーション用に被検者の眼球の動きを撮影する。つまり、被検者に、正面を向いたまま、正面（零度方向）および左右上下の所定角度方向（例えば各五度方向）の目標を視認させ、それぞれの眼球の動きをＣＣＤカメラ１によって撮影し、ＶＣＲ２により記録する。このようにして得られたキャリブレーション用の映像から、眼球の中心および半径を推定し、回旋角を求める際に利用する眼球画像の特徴領域を設定する。
【００２４】
図４はキャリブレーション手順の一例を示すフローチャートで、ＣＰＵ１４によって実行されるものである。
【００２５】
ステップＳ２１で動画像をキャプチャし、ステップＳ２２で各フレームの瞳孔画像の中心（以下「瞳孔中心」と省略する）を推定する。なお、瞳孔中心の推定方法の詳細は後述する。次に、ステップＳ２３で瞳孔中心の動きを示すグラフを作成し、モニタ４に表示する。表示されたグラフに基づき、ステップＳ２４で、眼球が左右に動いたときにフレーム範囲、および、眼球が上下に動いたときのフレーム範囲が、ユーザによって指定される。さらに、ステップＳ２５で、眼球が正面を向いたときのフレーム範囲が、ユーザによって指定される。なお、眼球の左右、上下動を示すフレーム範囲、および、眼球が正面を向いたときのフレーム範囲が指定されるのが好ましいが、少なくとも、眼球の左右動または上下動を示すフレーム範囲が指定されれば後の解析は実行できる。
【００２６】
続いて、ステップＳ２６で、ユーザの指定に基づき、瞳孔が左右上下の所定角度を向いたときのフレームを推定する。通常は、瞳孔が左右上下各五度の方向を向いたときの四つのフレームを推定する。また、瞳孔が左右上下各五度の方向を向いたときの眼球画像に対する瞳孔の位置を「瞳孔左右五度位置」および「瞳孔上下五度位置」と呼ぶ場合がある。
【００２７】
続いて、ステップＳ２６で推定されたフレームの瞳孔中心に基づき、ステップＳ２７で眼の中心および半径を計算する。なお、眼の中心および半径の計算方法の詳細は後述する。
【００２８】
続いて、ステップＳ２８で眼球が正面を向いたときのフレームを一枚選択し、その画像を基準画像にする。なお、ステップＳ２５で眼球が正面を向いたときのフレームが指定されていないときは、すべてのフレームから基準画像にするフレームを一枚選択する。
【００２９】
そして、ステップＳ２９で基準画像から複数（ｘ個）の特徴的なパターンを抽出する。これらの特徴的なパターンは、眼球の回転運動、とくに回旋運動を追跡するためのもの（言い換えれば、基準画像とは回旋角が零度の状態の眼球を表す画像である）で、基準画像に含まれる虹彩紋理パターンからパターンマッチングに適したものを、自動的に複数抽出する。ただし、オペレータは、抽出された特徴的なパターンの中からさらに適切だと考えるものを取捨選択することができる。なお、以下の説明においては、抽出された特徴的なパターンを「特徴領域」と呼ぶ。また、特徴領域の抽出方法は、各画像からエッジを検出し、所定値以上の立上りまたは立下りを示すエッジ、つまりエッジ強度の強いエッジを特徴領域にする。
【００３０】
図５は瞳孔五度位置を示すフレームの推定方法の一例を示すフローチャートである。
【００３１】
ステップＳ３１で、ユーザに指定されたフレーム範囲において瞳孔中心の軌跡を直線近似し、ステップＳ３２で各フレームの瞳孔中心を近似直線上に写像する。次に、ステップＳ３３で、近似直線上に並んだ写像された瞳孔中心のうち、その両端部近傍にある瞳孔中心を除外する。具体的には、写像された瞳孔中心がｎ個だとすると、各端部近傍の５％（０．０５ｎ）に相当する瞳孔中心を除外し、残る９０％（０．９ｎ）の瞳孔中心により以降の処理を行う。
【００３２】
続いて、ステップＳ３４で、近似直線上に並んだ瞳孔中心のうち、その両端にある瞳孔中心間の距離をＬとし、一端から距離０．１Ｌの位置までにある瞳孔中心の中央値Ｍを求め、それを両端について実行する。次に、ステップＳ３５で、得られた中央値Ｍに基づき瞳孔五度位置を求める。
【００３３】
●角度解析
次に、角度解析、つまり眼球の回旋運動の解析を説明する。図８は角度解析手順の一例を示すフローチャートで、ＣＰＵ１４によって実行されるものである。
【００３４】
ステップＳ４１で動画像をキャプチャし、一枚目のフレームについて、ステップＳ４２で瞳孔中心の検出を行う。ただし、瞳孔中心を検出する際に、瞳孔が瞼に隠されたり、瞳孔画像の近傍にＣＣＤカメラ１の照明の反射光が写っていたりすると、瞳孔画像が円や楕円にならないので、瞳孔中心が正確に得られないという問題がある。そこで、詳細は後述するが、パターンマッチングにより瞳孔画像の円弧を検出し、検出された円弧に基づき瞳孔中心を正確に検出するようにしている。
【００３５】
ステップＳ４３で瞳孔中心が検出されたか否かを判定する。瞳孔中心が検出された場合は、キャリブレーションにより眼の中心および眼球半径が得られているので、ステップＳ４４で検出された瞳孔中心の水平角θおよび垂直角ψを計算する。なお、水平角θおよび垂直角ψの計算方法は後述する。また、瞳孔中心が検出されなかった場合は処理を終了する。
【００３６】
次に、ステップＳ４５で、キャリブレーション時に抽出したｘ個の特徴領域に対応するパターンをパターンマッチングにより瞳孔周辺において検出する。そして、マッチングの程度を表すマッチング率が上位ｎ（≦ｘ）個の検出されたパターンを集合Ａとする。なお、ステップＳ４５におけるパターンマッチングの詳細は後述する。また、特徴領域が検出されたなかった場合はステップＳ４６の判定により処理を終了する。
【００３７】
ステップＳ４４において水平角θおよび垂直角ψが得られ、ステップＳ４５で検出された特徴領域からおおよその回旋角Ｔを得ることができる。従って、これら三つの角度に基づき回転させた基準画像に基づきパターンマッチングを行えば、特徴領域に対応するパターンをより高精度に検出することが可能になる。また、ステップＳ４５における特徴領域に対応するパターンの検出は、個々の特徴領域と瞳孔周辺という比較的広い領域のパターンマッチングによるものである。言い換えれば、ステップＳ４５においては、特徴領域相互の位置関係は無視されている。このような点を考慮したものが続くステップＳ４７からＳ５１の処理である。
【００３８】
まず、ステップＳ４７でカウンタｉを零に初期化し、ステップＳ４８で集合Ａから一つのパターンＡｉを取出し、回旋角Ｔを計算する。続いて、ステップＳ４９で、得られた水平角、垂直角および回旋角により基準画像を回転し、ステップＳ５０でパターンＡｉと回転された基準画像とでパターンマッチングを行い、所定値以上のマッチング率（例えば８５％以上）が得られた場合、パターンＡｉを集合Ｂに含める。そして、ステップＳ５１の判定により、集合Ａに含まれるすべてのパターンに実行する。
【００３９】
続いて、ステップＳ５２で、集合Ｂに含まれるパターンそれぞれを用いて回旋角を計算し、得られた回旋角の中央値を求め、その中央値±三度以内にあるパターンＰｊにより、次式を用いて注目フレームの回旋角Ｔおよび集合Ｂのマッチング率Ｍを計算する。
Ｔ  ＝  Σ｛Ｔ（Ｐｊ）×Ｍ（Ｐｊ）｝／  ΣＭ（Ｐｊ）      …（１）
Ｍ  ＝  ΣＭ（Ｐｊ）  ／  ｋ                    …（２）
ただし、Σ演算はｊ＝１からｋまで
Ｔ（Ｐｊ）：  パターンＰｊから得られる回旋角
Ｍ（Ｐｊ）：  パターンＰｊのマッチング率
ｋ：  パターンＰｊの数
【００４０】
そして、ステップＳ５３の判定により、ステップＳ４２からＳ５２の処理を繰返して、すべてのフレームの角度解析を行う。
【００４１】
［眼の中心および半径の計算方法］
前述したように、キャリブレーション用に正面（零度方向）および左右上下の所定角度方向（例えば各五度方向）の目標を視認させた場合の眼球の動きを撮影するが、その際、眼球が向いている実際の角度は不明である。そこで、眼の中心を求める場合、図６に示すように、瞳孔五度位置に基づいて眼の中心を演算により決定する。つまり、瞳孔左右五度位置６１ａおよび６１ｂを結ぶ線分６２を二等分する直線６３と、瞳孔上下五度位置６４ａおよび６４ｂを結ぶ線分６５を二等分する直線６６との交点を眼の中心６７にする。勿論、瞳孔上下五度位置６４ａおよび６４ｂが得られなかった場合は、線分６２の二等分点を眼の中心６７にする。
【００４２】
図７に示すように、眼球を真球と仮定すれば、眼の中心６７および瞳孔五度位置（例えば６１ｂ）から眼球の半径を計算することができる。つまり、眼球が角度θ回転したときの瞳孔中心の変位Ｘは、眼球の半径をｒとすれば次式で表される。
Ｘ  ＝  ｒ・ｓｉｎθ    …（３）
【００４３】
従って、眼球の半径ｒは次式で示される。
ｒ  ＝  Ｘ／ｓｉｎθ    …（４）
【００４４】
また、図９に示す瞳孔の重心６９の画像上での座標を（ｘ，ｚ）とすると、瞳孔の重心６９の三次元座標（ｘａ，ｙａ，ｚａ）は次式で表される。
ｘａ  ＝  ｘ，  ｙａ  ＝  √（ｒ＾２  −  ｘ＾２  −  ｙ＾２），  ｚａ  ＝  ｚ
ただし、ａ＾２はａの二乗を表す
【００４５】
従って、水平角θおよび垂直角ψは次式で表される。
θ＝  ａｒｃｔａｎ（ｘ  ／  ｙａ）          …（５）
ψ＝  ａｒｃｓｉｎ（ｚａ＾２  ／  ｒ＾２）      …（６）
【００４６】
［瞳孔中心の推定方法］
ＣＣＤカメラ１によって撮影される瞳孔画像の形状は、眼の中心６７の近傍にある場合、つまり、ほぼ正面を向いている場合はほぼ円である。同様に、キャリブレーションに使用する瞳孔五度位置の瞳孔画像の形状も、ほぼ円であるといえる。このような場合、瞳孔画像の重心を求めることにより瞳孔中心を推定することができる。しかし、瞳孔が、五度を超え、さらに大きな角度の方向を向いた場合、瞳孔画像の形状は円とはいえず楕円になる。
【００４７】
その後、任意の方向を向いている瞳孔画像の重心を仮の瞳孔中心として、仮の瞳孔中心が正面にくるように画像処理を行い、その結果から任意の方向を向いている瞳孔画像の瞳孔中心を得る。つまり、仮の瞳孔中心である瞳孔画像の重心は、真の瞳孔中心の近傍にあるはずであるから、仮の瞳孔中心と眼の中心６７とが一致するように、眼球の中心（球体としての中心）６８に対して眼球画像を回転させることにより、正面を向いた形状がほぼ円である瞳孔画像を得ることができる。そして、この状態で瞳孔中心を求めた後、眼球画像を逆回転させれば、任意の方向を向いた瞳孔画像の瞳孔中心を正確に得ることができる。
【００４８】
具体的には、眼の中心６７および眼球半径ｒが得られているので、仮の瞳孔中心の水平角θおよび垂直角ψを求め、眼球の中心６８に対して眼球画像を−θおよび−ψ回転する（プログラムとしては、θおよびψの回転行列の逆行列を用いる）。そして、回転された眼球画像の瞳孔画像である円の中心座標を求めた後、眼球の中心６８に対して眼球画像をθおよびψ回転する（プログラムとしては、θおよびψの回転行列を用いる）。これにより、回転前の位置に戻された瞳孔画像の先に求めた中心に対応する座標が、任意方向を向いた瞳孔画像の瞳孔中心に対応することになる。
【００４９】
［瞳孔円の検出］
前述したように、瞳孔が瞼に隠されたり、ＣＣＤカメラ１の照明の反射光が写ったりするので、瞳孔画像は必ずしも円または楕円にならない。そこで、本発明においては、パターンマッチングにより瞳孔画像の円弧を検出し、検出された円弧に基づき瞳孔中心を得る。
【００５０】
図１１は瞳孔中心の検出手順の一例を示すフローチャートである。
【００５１】
ステップＳ６１で瞳孔中心を検出しようとするフレームの画像を二値化し、ステップＳ６２で二値画像に瞳孔画像が含まれるか否かを判定し、瞳孔画像が含まれないと判定した場合は処理を終了する。
【００５２】
二値画像に瞳孔画像が含まれると判定した場合は、ステップＳ６３で瞳孔画像の重心を求め、ステップＳ６４で、得られた重心から瞳孔中心の仮の水平角および垂直角を求め、ステップＳ６５で瞳孔画像の輪郭を抽出する。そして、既に眼球の中心および半径がわかっているので眼球の三次元モデルを構築することができ、この三次元モデルにステップＳ６６で瞳孔画像の輪郭を射影し、ステップＳ６７で仮の水平角および垂直角分、三次元モデルを回転し、瞳孔が正面を向いた状態にする。
【００５３】
続いて、ステップＳ６８で瞳孔画像の輪郭から瞳孔画像の仮の直径を求め、ステップＳ６９で、得られた仮の直径に基づき、円を例えば八分割した円弧のテンプレートを作成する。なお、円を何分割するかは、検出精度と処理時間の関係から決定する。そして、ステップＳ７０で円弧のテンプレートと瞳孔画像の輪郭とのパターンマッチングを行い、ステップＳ７１でマッチング率の高かった円弧のテンプレートにより瞳孔円の中心座標を決定する。
【００５４】
次に、ステップＳ７２で、得られた瞳孔円の中心座標を眼球の三次元モデルに射影し、ステップＳ７３で三次元モデルを逆回転、つまり、仮の水平角および垂直角分、三次元モデルを逆回転することにより、瞳孔を元の位置に戻し、ステップＳ７３で、三次元モデルに射影された中心座標により瞳孔中心を求める。
【００５５】
［特徴領域の検出］
まず、ステップＳ４５におけるパターンマッチングによる特徴領域の検出について説明する。同ステップにおける特徴領域の検出は大まかな回旋角Ｔを求めるためのものであるが、基準画像と注目フレームの画像との水平角および垂直角が大きく異なると充分なマッチング率が得られない。そこで、水平角および垂直角に基づき特徴領域を回転させた後、パターンマッチングを行う。
【００５６】
しかし、例えば±３０度の回旋角Ｔの検出が要求されるような場合、回旋角Ｔが大きいと水平角および垂直角成分の補正を特徴領域に施しただけでは、まだ充分なマッチング率を得ることができない。これに対応するためには回旋角成分の補正を特徴領域に施さなくてはならないが、この時点で回旋角Ｔは得られていないという問題が残る。そこで、本発明においては、図１０に示すように、特徴領域７１を回旋角Ｔの検出範囲に応じて回転させた複数のテンプレート７２を作成し、これらのテンプレート７２を用いてパターンマッチングを行うことにする。
【００５７】
具体的には、回旋角Ｔの検出範囲が±３０度だとすると、例えば−２６、−１７、−９、＋９、＋１７および＋２６度のテンプレートを作成し、回旋角零度の特徴領域と合わせた七組のパターンと注目フレームとのパターンマッチングを行う。なお、さらに細かな角度でテンプレートを作成すればより高いマッチング精度を得ることができるが、当然、パターンマッチングの回数が増加する分、処理に要する時間も長くなる。
【００５８】
また、ステップＳ５０におけるパターンマッチングにおいては、パターンマッチングを行う必要のある領域がステップＳ４５に比べて少なくなる。つまり、ステップＳ４５では回旋角Ｔの検出範囲に対応する扇形の領域においてパターンマッチングする必要があるが、ステップＳ５０ではおおよその回旋角Ｔがわかっているので、回旋角Ｔの検出範囲の１／１０程度に対応する扇形の領域においてパターンマッチングを行えばよい。そのため、ステップＳ５０では前述したテンプレートを用意する必要はない。
【００５９】
【発明の効果】
以上説明したように、本発明によれば、眼球運動を正確に解析することができる。
【図面の簡単な説明】
【図１】眼球の運動を説明するための図、
【図２】眼球運動の解析処理を説明するためのフローチャート、
【図３】本発明にかかる眼球運動を計測するシステムの基本的な構成を示すブロック図、
【図４】本発明にかかる解析処理におけるキャリブレーション手順の一例を示すフローチャート、
【図５】キャリブレーションにおける瞳孔五度位置を示すフレームの推定方法の一例を示すフローチャート、
【図６】眼の中心を求める方法を説明する図、
【図７】眼球の半径を求める方法を説明する図、
【図８】本発明にかかる解析処理における角度解析手順の一例を示すフローチャート、
【図９】瞳孔の向きを表す水平角および垂直角を求める方法を説明する図、
【図１０】テンプレートを用いたパターンマッチングを説明する図、
【図１１】瞳孔中心の検出手順の一例を示すフローチャートである。
【図１】
0003634598.tif 000002
【図２】
0003634598.tif 000003
【図３】
0003634598.tif 000004
【図４】
0003634598.tif 000005
【図５】
0003634598.tif 000006
【図６】
0003634598.tif 000007
【図７】
0003634598.tif 000008
【図８】
0003634598.tif 000009
【図９】
0003634598.tif 000010
【図１０】
0003634598.tif 000011
【図１１】
0003634598.tif 000012