(57)【要約】【課題】投光手段を大型化することなく、精度良く視線方向を計測する。【解決手段】投光装置１２は、隣接する点光源間の距離を表す点光源間幅の少なくとも１つが他の点光源間幅と異なるように左右方向に沿って配列された４つ以上の点光源を備えている。プルキニエ像候補抽出部２６は、眼領域の画像から抽出された高輝度点のうち、左右方向に沿った直線状に並ぶ複数の高輝度点を、プルキニエ像候補を示すパターンとして抽出し、プルキニエ像判定部２８で、プルキニエ像候補を示すパターンの全長、パターンに含まれる高輝度点の数、隣接する高輝度点間の距離を表す高輝度点間幅に基づいて、プルキニエ像候補が投光装置１２のプルキニエ像か否かを判定する。欠落している高輝度点があれば補間する。基準点設定部３０は、プルキニエ像に基づいて基準点を設定し、視線方向算出部３８で、基準点及と瞳孔中心とを用いて、角膜反射法により対象者の視線方向を算出する。【選択図】図１
2013106645.tif 000002
【特許請求の範囲】
【請求項１】
隣接する点光源間の距離を表す点光源間幅の少なくとも１つが他の点光源間幅と異なるように所定方向に沿って配列された４つ以上の点光源を備えた投光手段と、
前記投光手段によって光が投光された対象者の眼を含む領域を撮像する撮像手段と、
前記撮像手段により撮像された画像から、前記所定方向に対応する方向に並ぶ複数の高輝度点を抽出し、該複数の高輝度点内の両端の高輝度点間の長さ、抽出された高輝度点の数、及び隣接する高輝度点間の距離を表す高輝度点間幅に基づいて、該複数の高輝度点が前記投光手段のプルキニエ像か否かを判定する判定手段と、
前記撮像手段により撮像された画像から瞳孔を抽出して、該瞳孔の中心を導出する導出手段と、
前記判定手段によりプルキニエ像であると判定された複数の高輝度点に基づいて設定された基準点と、前記導出手段により導出された瞳孔中心とを用いて、角膜反射法により前記対象者の視線方向を算出する算出手段と、
を含む視線計測装置。
【請求項２】
前記判定手段は、前記抽出された高輝度点の数が前記点光源の数より少ない場合には、前記点光源間幅各々及び前記高輝度点間幅各々に基づいて、欠落した高輝度点を補間する請求項１記載の視線計測装置。
【請求項３】
前記複数の点光源を、前記所定方向が左右方向となるように配列した請求項１または請求項２記載の視線計測装置。
【請求項４】
前記複数の点光源を、線対称となるように配列した請求項１〜請求項３のいずれか１項記載の視線計測装置。
【請求項５】
前記複数の点光源を、隣接する点光源間の点光源間幅が等しい箇所が１箇所となるように配列した請求項１〜請求項４のいずれか１項記載の視線計測装置。
【請求項６】
前記複数の点光源を、連続する３つの点光源間の内、隣接する２つの点光源間の点光源間幅の和と他の点光源間幅とが異なるように配列した請求項１〜請求項５のいずれか１項記載の視線計測装置。
【請求項７】
コンピュータを、
隣接する点光源間の距離を表す点光源間幅の少なくとも１つが他の点光源間幅と異なるように所定方向に沿って配列された４つ以上の点光源を備えた投光手段によって光が投光された対象者の眼を含む領域を、撮像手段により撮像した画像を取得する取得手段、
前記取得手段により取得された画像から、前記所定方向に対応する方向に並ぶ複数の高輝度点を抽出し、該複数の高輝度点内の両端の高輝度点間の長さ、抽出された高輝度点の数、及び隣接する高輝度点間の距離を表す高輝度点間幅に基づいて、該複数の高輝度点が前記投光手段のプルキニエ像か否かを判定する判定手段、
前記撮像手段により撮像された画像から瞳孔を抽出して、該瞳孔の中心を導出する導出手段、及び
前記判定手段によりプルキニエ像であると判定された複数の高輝度点に基づいて設定された基準点と、前記導出手段により導出された瞳孔中心とを用いて、角膜反射法により前記対象者の視線方向を算出する算出手段
として機能させるための視線計測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線計測装置及びプログラムに係り、特に、対象者の眼を含む領域を撮像した画像から対象者の視線方向を計測する視線計測装置及びプログラムに関する。
【背景技術】
【０００２】
従来、プルキニエ像（角膜反射像）を用いて視線方向を検出することが行われている（例えば、特許文献１及び非特許文献１）。これらの視線検出方法では、１点または２点の点光源からなる投光手段により光を投光して、１点または２点のプルキニエ像を抽出している。このため、外光の角膜への写り込み像や、点光源の眼鏡表面での反射像などのノイズとプルキニエ像との識別が困難となる場合があった。また、点光源が遮蔽物により遮られたり、眼領域に眼鏡のフレームが重なったりして、プルキニエ像自体を抽出できない場合もあった。また、プルキニエ像の位置を基準点として視線方向を算出する際に、局所的な角膜形状の乱れの影響を受け易かった。
【０００３】
このような問題に対応するために、複数の点光源を用いた投光手段により、投光パターンを円環、十字、直線等とする視線検出装置が提案されている（例えば、特許文献２及び３）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２９１２６号公報
【特許文献２】特開平６−３１９７０１号公報
【特許文献３】特開平６−２３０２７１号公報
【非特許文献】
【０００５】
【非特許文献１】大野他、「眼球形状モデルに基づく試験測定法」、第８回画像センシングシンポジウム、pp.307-312、2002
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献２及び３の技術では、投光パターンを円環や十字とすることにより、投光手段が大型化する、という問題がある。また、投光パターンを直線にする場合には、比較的装置の小型化は可能であるが、直線状の投光パターンの端部が遮蔽物により遮蔽された場合には、正確なプルキニエ像の基準点を求めることができない、という問題がある。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、投光手段を大型化することなく、精度良く視線方向を計測することができる視線計測装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の視線計測装置は、隣接する点光源間の距離を表す点光源間幅の少なくとも１つが他の点光源間幅と異なるように所定方向に沿って配列された４つ以上の点光源を備えた投光手段と、前記投光手段によって光が投光された対象者の眼を含む領域を撮像する撮像手段と、前記撮像手段により撮像された画像から、前記所定方向に対応する方向に並ぶ複数の高輝度点を抽出し、該複数の高輝度点内の両端の高輝度点間の長さ、抽出された高輝度点の数、及び隣接する高輝度点間の距離を表す高輝度点間幅に基づいて、該複数の高輝度点が前記投光手段のプルキニエ像か否かを判定する判定手段と、前記撮像手段により撮像された画像から瞳孔を抽出して、該瞳孔の中心を導出する導出手段と、前記判定手段によりプルキニエ像であると判定された複数の高輝度点に基づいて設定された基準点と、前記導出手段により導出された瞳孔中心とを用いて、角膜反射法により前記対象者の視線方向を算出する算出手段と、を含んで構成されている。
【０００９】
本発明の視線計測装置によれば、投光手段は、隣接する点光源間の距離を表す点光源間幅の少なくとも１つが他の点光源間幅と異なるように所定方向に沿って配列された４つ以上の点光源を備えている。また、撮像手段は、投光手段によって光が投光された対象者の眼を含む領域を撮像する。そして、判定手段が、撮像手段により撮像された画像から、所定方向に対応する方向に並ぶ複数の高輝度点を抽出し、複数の高輝度点内の両端の高輝度点間の長さ、抽出された高輝度点の数、及び隣接する高輝度点間の距離を表す高輝度点間幅に基づいて、複数の高輝度点が投光手段のプルキニエ像か否かを判定する。また、導出手段が、撮像手段により撮像された画像から瞳孔を抽出して、瞳孔の中心を導出し、算出手段が、判定手段によりプルキニエ像であると判定された複数の高輝度点に基づいて設定された基準点と、導出手段により導出された瞳孔中心とを用いて、角膜反射法により対象者の視線方向を算出する。
【００１０】
このように、隣接する点光源間の距離を表す点光源間幅の少なくとも１つが他の点光源間幅と異なるように所定方向に沿って配列された４つ以上の点光源を備えた投光手段を用いることにより、外光の写り込み像や眼鏡表面の反射像等のノイズとの識別が容易で、一部欠落した場合でも補間が容易なプルキニエ像を得ることができるため、投光手段を大型化することなく、精度良く視線方向を計測することができる。
【００１１】
また、前記判定手段は、前記抽出された高輝度点の数が前記点光源の数より少ない場合には、前記点光源間幅各々及び前記高輝度点間幅各々に基づいて、欠落した高輝度点を補間することができる。各点光源間幅が等間隔ではないため、欠落した高輝度点を容易に補間することができる。
【００１２】
また、前記複数の点光源を、前記所定方向が左右方向となるように配列することができる。これにより、左右方向に広い視線計測範囲を持たせることができる。
【００１３】
また、前記複数の点光源を、線対称となるように配列することができる。これにより、外光の写り込み像等のノイズとの識別がより容易になる。
【００１４】
また、前記複数の点光源を、隣接する点光源間の点光源間幅が等しい箇所が１箇所となるように配列したり、連続する３つの点光源間の内、隣接する２つの点光源間の点光源間幅の和と他の点光源間幅とが異なるように配列したりすることができる。これにより、少なくとも３つの点光源に対応する高輝度点を抽出することができれば、欠落した高輝度点を補間可能となる。
【００１５】
また、本発明の視線計測プログラムは、コンピュータを、隣接する点光源間の距離を表す点光源間幅の少なくとも１つが他の点光源間幅と異なるように所定方向に沿って配列された４つ以上の点光源を備えた投光手段によって光が投光された対象者の眼を含む領域を、撮像手段により撮像した画像を取得する取得手段、前記取得手段により取得された画像から、前記所定方向に対応する方向に並ぶ複数の高輝度点を抽出し、該複数の高輝度点内の両端の高輝度点間の長さ、抽出された高輝度点の数、及び隣接する高輝度点間の距離を表す高輝度点間幅に基づいて、該複数の高輝度点が前記投光手段のプルキニエ像か否かを判定する判定手段、前記撮像手段により撮像された画像から瞳孔を抽出して、該瞳孔の中心を導出する導出手段、及び前記判定手段によりプルキニエ像であると判定された複数の高輝度点に基づいて設定された基準点と、前記導出手段により導出された瞳孔中心とを用いて、角膜反射法により前記対象者の視線方向を算出する算出手段として機能させるためのプログラムである。
【発明の効果】
【００１６】
以上説明したように、本発明の視線計測装置及びプログラムによれば、隣接する点光源間の距離を表す点光源間幅の少なくとも１つが他の点光源間幅と異なるように所定方向に沿って配列された４つ以上の点光源を備えた投光手段を用いることにより、外光の写り込み像や眼鏡表面の反射像等のノイズとの識別が容易で、一部欠落した場合でも補間が容易なプルキニエ像を得ることができるため、投光手段を大型化することなく、精度良く視線方向を計測することができる、という効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】本実施の形態に係る視線計測装置の構成を示す概略図である。
【図２】点光源の配列パターンを示す図である。
【図３】欠落した高輝度点の補間を容易にするための点光源の配列パターンを説明するための図である。
【図４】左右方向に沿って配列された点光源の配列パターンの有効性を説明するための図である。
【図５】本実施の形態における視線計測処理ルーチンの内容を示すフローチャートである。
【図６】抽出された高輝度点を示すイメージ図である。
【図７】プルキニエ像候補の抽出を説明するための図である。
【図８】投光装置の全長とプルキニエ像候補を示すパターンの全長との関係を説明するための図である。
【図９】欠落した高輝度点の補間を説明するための図である。
【図１０】基準点の設定を説明するための図である。
【図１１】投光装置の全長とプルキニエ像候補を示すパターンの全長との関係の一般化を説明するための図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【００１９】
図１に示すように、本実施の形態に係る視線計測装置１０は、対象者に光を投光する投光装置１２と、投光装置１２によって光が投光された対象者を撮像する撮像装置１４と、撮像装置１４で撮像された画像に基づいて、対象者の視線を計測する処理を実行するコンピュータ１６とを備えている。
【００２０】
投光装置１２は、隣接する点光源間の間隔（点光源間幅）の少なくとも１つが他の点光源間幅と異なるように、左右方向に沿った直線状に配列された４つ以上の点光源を備えている。点光源各々は、ＬＥＤ等を用いることができる。点光源の配列パターンは、撮像された画像上で識別し易く、かつ欠落が存在する場合に補間し易い配列パターンであることが望ましい。点光源が等間隔で配列されている場合には、一端の点光源が画像上に写っていない場合に、画像からではいずれの端部が欠落しているのかを判別できないため、正確にプルキニエ像を抽出することができない場合がある。そこで、本実施の形態では、上記のように、点光源間幅の少なくとも１つが他の点光源間幅と異なるように点光源を配列している。点光源が４個の場合、５個の場合、及び６個の場合について、点光源の配列パターンの一例を図２に示す。図中の数字は、最も小さい点光源間幅を１とした場合の各点光源間幅の比である。点光源の配列パターンについては、後述するプルキニエ像判定部２８で詳細に説明する。
【００２１】
撮像装置１４は、投光装置１２により光が投光された対象者の眼を含む領域を撮像して画像信号を生成する撮像部（図示省略）、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）、及びＡ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）を備えている。
【００２２】
コンピュータ１６は、ＣＰＵ、後述する視線計測処理ルーチンを実行するためのプログラム等各種プログラム及び各種データを記憶したＲＯＭ、データ等を一時的に記憶するＲＡＭ、各種情報が記憶されたメモリ、及びこれらを接続するバスを含んで構成されている。
【００２３】
このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、画像取得部２２と、高輝度点抽出部２４と、プルキニエ像候補抽出部２６と、プルキニエ像判定部２８と、基準点設定部３０と、低輝度領域抽出部３２と、瞳孔抽出部３４と、瞳孔中心導出部３６と、視線方向算出部３８とを含んだ構成で表すことができる。なお、画像取得部２２、高輝度点抽出部２４、プルキニエ像候補抽出部２６、及びプルキニエ像判定部２８が、本発明の判定手段の一例であり、低輝度領域抽出部３２、瞳孔抽出部３４、及び瞳孔中心導出部３６が、本発明の導出手段の一例であり、基準点設定部３０及び視線方向算出部３８が、本発明の算出手段の一例である。
【００２４】
画像取得部２２は、撮像装置１４により撮像された画像を取得し、取得した画像から対象者の眼を含む眼領域を抽出して出力する。眼領域の抽出は、取得した画像から予め定めた所定領域を抽出したり、パターンマッチングにより眼の形状を含む部分を認識して、その領域を抽出したりすることができる。
【００２５】
高輝度点抽出部２４は、画像取得部２２から出力された眼領域の画像の各画素の画素値を、予め定めた閾値を基準に２値化して、高輝度の画素群で表される高輝度点を抽出する。
【００２６】
プルキニエ像候補抽出部２６は、高輝度点抽出部２４により抽出された高輝度点のうち、左右方向に沿った直線状に並ぶ複数の高輝度点を、プルキニエ像候補を示す１つのパターンとして抽出する。プルキニエ像候補を示すパターンが複数存在する場合には、複数のプルキニエ像候補を抽出する。
【００２７】
プルキニエ像判定部２８は、プルキニエ像候補抽出部２６で抽出されたプルキニエ像候補を示すパターンに含まれる両端の高輝度点間の長さ（パターンの全長）、パターンに含まれる高輝度点の数、隣接する高輝度点間の距離を表す高輝度点間幅に基づいて、プルキニエ像候補が投光装置１２のプルキニエ像か否かを判定する。すなわち、画像上のプルキニエ像候補が示すパターンの全長が、投光装置１２の全長に対応した所定範囲内で、かつ高輝度点の数及び配置が点光源の配列パターンに合致しているか否かを判定して、プルキニエ像か否かを判定するものである。また、プルキニエ像判定部２８は、プルキニエ像候補を示すパターンに含まれる高輝度点の数が、点光源の数より少ない場合には、欠落した高輝度点を補間する。
【００２８】
ここで、プルキニエ像判定部２８での判定を精度良く行うために適した点光源の配列パターン、すなわち、画像上でプルキニエ像が示すパターンについて説明する。
【００２９】
まず、点光源の配列パターンは、左右対称であることが望ましい。外光の写り込み像や眼鏡表面の反射像などのノイズは、画像上にランダムな点として表れるため、左右対称という規則性を持たせることで、ノイズとの識別をより容易にすることができる。
【００３０】
次に、点光源に対応する高輝度点の一部が画像上で欠落している場合に、欠落した高輝度点の補間を容易にするための点光源の配列パターンについて説明する。以下の条件（１）または（２）を満たすとことにより、投光装置１２を構成する点光源のうち、少なくとも３つを画像上で高輝度点として抽出することができれば、欠落している点光源に対応する高輝度点を補間することができる。
【００３１】
（１）隣接する点光源間の点光源間幅の等しい箇所が１箇所。
【００３２】
（２）連続する３つの点光源間の内、隣接する２つの点光源間の点光源間幅の和と他の点光源間幅とが異なる。
【００３３】
上記の条件について、図３を参照して説明する。図中（１）の良い例は、上記条件（１）を満たしているため、５つの点光源に対応する高輝度点のうち、少なくとも３つを抽出することができれば、他の２つは、抽出済みの高輝度点の配置、及び点光源の配列パターンに基づいて補間可能である。一方、図中（１）の悪い例１は、点光源ＢＣ間とＣＤ間の点光源間幅が等しく、また、点光源ＣＤ間とＤＥ間の点光源間幅も等しい。すなわち、隣接する点光源間の点光源間幅の等しい箇所が２箇所存在しており、上記（１）の条件を満たさない。この場合、例えば、点光源Ａ、Ｂ及びＤに対応する高輝度点のみが抽出された場合と、点光源Ｃ、Ｅ及びＦに対応する高輝度点のみが抽出された場合とを区別することができないため、欠落した３点を補間することができない。同様に、図中（１）の悪い例２は、点光源ＡＢ間とＢＣ間の点光源間幅が等しく、また、点光源ＤＥ間とＥＦ間の点光源間幅も等しい。すなわち、隣接する点光源間の点光源間幅の等しい箇所が２箇所存在しており、上記（１）の条件を満たさない。この場合、例えば、点光源Ａ、Ｂ及びＣに対応する高輝度点のみが抽出された場合と、点光源Ｄ、Ｅ及びＦに対応する高輝度点のみが抽出された場合とを区別することができないため、欠落した３点を補間することができない。
【００３４】
また、図中（２）の良い例は、上記条件（２）を満たしているため、５つの点光源に対応する高輝度点のうち、少なくとも３つを抽出することができれば、他の２つは補間可能である。一方、図中（２）の悪い例は、連続する３つの点光源間（ＡＢ間、ＢＣ間、ＣＤ間）の内、ＢＣ間の点光源間幅「１」とＣＤ間の点光源間幅「１」との和「２」が、ＡＢ間の点光源間幅「２」と等しくなっており、上記（２）の条件を満たさない。この場合、例えば、点光源Ａ、Ｂ及びＤに対応する高輝度点のみが抽出された場合と、点光源Ｂ、Ｄ及びＥに対応する高輝度点のみが抽出された場合とを区別することができないため、欠落した３点を補間することができない。
【００３５】
次に、本実施の形態のように、点光源を左右方向に沿った直線状に配列した場合の有効性について説明する。図４（ａ）に示すように、点光源の配列パターンが十字の場合（従来技術）、及び同図（ｂ）に示すように、左右方向に沿った直線状の場合（本実施の形態）のいずれも、対象者が正面を注視している場合には、角膜領域（黒目部分）に点光源が写るため、プルキニエ像の抽出が容易である。しかし、従来技術の場合には、同図（ｃ）に示すように、対象者が右側または左側を注視している場合、十字パターンが角膜領域から外れてしまい、プルキニエ像を抽出できなくなってしまう。一方、本実施の形態のように左右方向に沿った直線状の場合には、同図（ｄ）に示すように、点光源を示す高輝度点の一部が角膜領域から外れても、残りの部分が角膜領域に残る可能性が高い。上述のように、点光源間幅を適切に設定することにより、少なくとも３つの点光源に対応する高輝度点を抽出することができれば、他の高輝度点は補間することができる。従って、点光源の配列パターンを左右方向に沿った直線状とすることにより、視線が右側または左側に偏っても、点光源が角膜に反射するため、左右方向に広い視線計測範囲を持たせることができる。
【００３６】
基準点設定部３０は、プルキニエ像判定部２８でプルキニエ像であると判定されたパターン（補間された高輝度点を含む）に基づいて、視線方向を算出する際の基準点を設定する。例えば、プルキニエ像であると判定されたパターン内の両端の高輝度点を結ぶ線分の中心を基準点として設定することができる。
【００３７】
低輝度領域抽出部３２は、画像取得部２２から出力された眼領域の画像の各画素の画素値を、予め定めた閾値を基準に２値化して、低輝度の画素群で表される低輝度領域を抽出する。
【００３８】
瞳孔抽出部３４は、低輝度領域抽出部３２により抽出された低輝度領域の中から、その低輝度領域の位置、大きさ、形状等に基づいて、瞳孔を示す低輝度領域を抽出する。
【００３９】
瞳孔中心導出部３６は、瞳孔抽出部３４により抽出された瞳孔を示す低輝度領域の中心を瞳孔中心として導出する。
【００４０】
視線方向算出部３８は、基準点設定部３０により設定されたプルキニエ像の基準点と、瞳孔中心導出部３６により導出された瞳孔中心とを用いて、従来既知の角膜反射法（例えば、非特許文献１参照）により対象者の視線方向を算出する。
【００４１】
次に、本実施の形態の視線計測装置１０の作用について説明する。投光装置１２を構成する各点光源を点灯させた状態で、投光装置１２により光が投光された対象者の眼を含む領域が撮像装置１４により撮像されると、コンピュータ１６により、図５に示す視線計測処理ルーチンが実行される。なお、ここでは、点光源が図２（ｆ）に例示した配列パターンで配列されている投光装置１２を用いるものとする。
【００４２】
ステップ１００で、撮像装置１４により撮像された画像を取得し、取得した画像から対象者の眼を含む眼領域を抽出して出力する。
【００４３】
次に、ステップ１０２で、上記ステップ１００で出力された眼領域の画像の各画素の画素値を、予め定めた閾値を基準に２値化して、高輝度の画素群で表される高輝度点を抽出する。例えば、図６に示すように複数の高輝度点（図中○）が抽出されたとする。また、ここで抽出された高輝度点には、外光の写り込み像、点光源の眼鏡表面での反射像、及び投光装置１２のプルキニエ像が含まれているものとするが、現段階ではこれらの区別はつかない。なお、高輝度点の抽出は２値化後の画像から行うが、図６では、説明を容易にするため、眼領域の画像も合わせて表している。
【００４４】
次に、ステップ１０４で、上記ステップ１０２で抽出された高輝度点のうち、左右方向に沿った直線状に並ぶ複数の高輝度点を、プルキニエ像候補を示す１つのパターンとして抽出する。プルキニエ像候補を示すパターンが複数存在する場合には、複数のプルキニエ像候補を抽出する。ここでは、図７に示すように、プルキニエ像候補１及びプルキニエ像候補２が抽出される。左右方向に沿った直線状に並んでいない高輝度点は、例えば、外光などの写り込み像であり、ここではプルキニエ像候補として抽出されない。
【００４５】
次に、ステップ１０６で、上記ステップ１０４で抽出されたプルキニエ像候補が示すパターンの全長が、所定範囲内か否かを判定する。ここで、投光装置１２の全長とプルキニエ像候補を示すパターンの全長との関係について説明する。プルキニエ像と眼鏡表面の反射像とは、反射表面の曲率半径の違いにより、角膜領域に写り込むパターンの全長も異なるため、写り込んだパターンの全長に基づいて、プルキニエ像候補から眼鏡表面の反射像等を除外することができる。図８に示すように、投光装置１２の全長（点光源（右端）から点光源（左端）までの距離）をＤ、投光装置１２及び撮像装置１４から対象者の眼までの距離をＬ、及び対象者の角膜曲率半径をｒとすると、画像上の角膜領域に写り込むパターンの全長ｄは、下記（１）式で求めることができる。
【００４６】
ｄ＝ｒＤ／２Ｌ          （１）
【００４７】
ここで、対象者の位置を含む装置構成に基づいてＤ及びＬを与えることにより、判定基準となる所定範囲を定めることができる。例えば、Ｄ＝５００ｍｍ、Ｌ＝４００ｍｍであるとする。また、角膜曲率半径は標準的に７．７ｍｍであることから、個人差を考慮して、ｒが６．０ｍｍ〜９．０ｍｍであると仮定する。この場合、角膜領域上のパターンが投光装置１２のプルキニエ像であるためには、パターンの全長ｄが、下記（２）式を満たす必要があり、これより、下記（３）式のようにｄの範囲を定めることができる。
【００４８】
ｒｍｉｎ≦２Ｌｄ／Ｄ≦ｒｍａｘ          （２）
３．７５≦ｄ≦５．６３              （３）
【００４９】
上記のように定まるｄの所定範囲に基づいて、プルキニエ像候補が示すパターンの全長が所定範囲内であると判定された場合には、プルキニエ像候補がプルキニエ像か否かの更なる判定を行うために、ステップ１０８へ移行する。一方、プルキニエ像候補が示すパターンの全長が所定範囲外であると判定された場合には、そのプルキニエ像候補はプルキニエ像ではないと判定されて、ステップ１２０へ移行する。図７の例において、プルキニエ像候補１が眼鏡表面の反射像であるとすると、そのパターンの全長が所定範囲外となり、プルキニエ像候補から除外される。プルキニエ像候補２については、その全長が所定範囲内であり、ステップ１０８へ移行するものとする。
【００５０】
ステップ１０８では、プルキニエ像候補に含まれる高輝度点の数及び各高輝度点間幅に基づいて、プルキニエ像候補を示すパターンと点光源の配列パターンとが合致しているか否かを判定する。合致している場合には、そのプルキニエ像候補をプルキニエ像であると判定して、ステップ１１４へ移行する。合致していない場合には、ステップ１１０へ移行する。なお、プルキニエ像候補に含まれる高輝度点の数が点光源の数より多い場合には、プルキニエ像候補を示すパターンの一部が点光源の配列パターンと合致している場合に、その合致した一部をプルキニエ像であると判定するとよい。図７の例において、プルキニエ像候補２は、高輝度点が５個しか含まれておらず、６個の点光源からなる配列パターンと一致しないため、ステップ１１０へ移行する。
【００５１】
ステップ１１０では、プルキニエ像候補に含まれる高輝度点の配置と、点光源の配列パターンの一部が合致するか否かを判定することにより、高輝度点の一部欠落か否かを判定する。例えば、図９（ａ）に示すように、高輝度点間幅の比が、左から順に３：２：３：１であった場合は、図２（ｆ）に示す点光源の配列パターンの一番左の点光源を除く部分と合致する。また、図９（ｂ）に示すように、高輝度点間幅の比が、左から順に１：３：２：４であった場合は、図２（ｆ）に示す点光源の配列パターンの右から２番目の点光源を除く部分と合致する。このような場合には、高輝度点の一部欠落であると判定されて、ステップ１１２へ移行する。一方、図９（ｃ）に示すように、高輝度点間幅の比が、左から順に３：１：３：２であった場合には、図２（ｆ）に示す点光源の配列パターンの一部に合致しないため、そのプルキニエ像候補は除外されて、ステップ１２０へ移行する。
【００５２】
ステップ１１２では、上記ステップ１１０で欠落していると判定された高輝度点を、抽出されている高輝度点の配置、及び点光源の配列パターンに基づいて補間する。例えば、図９（ａ）に示すように、一番左の高輝度点が欠落していると判定された場合には、同図（ｄ）に示すように、抽出済みの高輝度点が並ぶ直線上の一番左であって、高輝度点間幅の比が１となる位置に高輝度点を補間する。また、同図（ｂ）に示すように、右から２番目の高輝度点が欠落していると判定された場合には、同図（ｅ）に示すように、抽出済みの高輝度点が並ぶ直線上であって、右隣の高輝度点との高輝度点間幅の比が１、左隣の高輝度点との高輝度点間幅の比が３となる位置に高輝度点を補間する。欠落した高輝度点を補間して新たなプルキニエ像候補を作成すると、ステップ１０６へ戻る。なお、高輝度点の補間によってもパターンの全長が変化しない場合には、ステップ１０８へ戻るようにしてもよい。
【００５３】
ステップ１１４では、上記ステップ１０８でプルキニエ像であると判定されたパターン（補間された高輝度点を含む）に基づいて、視線方向を算出する際の基準点を設定する。例えば、図１０に示すように、パターン内の両端の高輝度点を結ぶ線分の中心を基準点として設定することができる。
【００５４】
次に、ステップ１１６で、上記ステップ１００で出力された眼領域の画像の各画素の画素値を、予め定めた閾値を基準に２値化して、低輝度の画素群で表される低輝度領域を抽出する。そして、低輝度領域の位置、大きさ、形状等に基づいて、瞳孔を示す低輝度領域を抽出する。そして、瞳孔を示す低輝度領域の中心を瞳孔中心として導出する。
【００５５】
次に、ステップ１１８で、上記ステップ１１４で設定されたプルキニエ像の基準点と、上記ステップ１１６で導出された瞳孔中心とを用いて、従来既知の角膜反射法により対象者の視線方向を算出して、算出結果を出力する。
【００５６】
次に、ステップ１２０で、処理終了を指示する信号を受信したか否かを判定し、受信していない場合には、ステップ１００へ戻って、撮像装置１４で撮像された次フレームの画像について処理を繰り返す。一方、処理終了を指示するい信号を受信した場合には、処理を終了する。
【００５７】
以上説明したように、本実施の形態の視線計測装置によれば、点光源間幅の少なくとも１つが他の点光源間幅と異なるように、すなわち点光源間幅が等間隔にならないように、４つ以上の点光源を所定方向に沿って配列した投光装置を用いることにより、外光の写り込み像や眼鏡表面の反射像との識別が容易で、一部欠落した場合でも補間が容易なプルキニエ像を得ることができるため、投光装置を大型化することなく、精度良く視線方向を計測することができる。また、点光源の配列を左右方向に沿った配列パターンとすることで、左右方向に広い視線計測範囲を持たせることができる。また、点光源の配列パターンを工夫することにより、より識別及び補間が容易なプルキニエ像を得ることができる。また、補間した高輝度点も含む複数の高輝度点に基づいて基準点を設定するため、局所的な角膜形状の乱れによる影響も抑制することができる。
【００５８】
本実施の形態の視線計測装置は、例えば、パーソナルコンピュータに接続されたディスプレイを注視する対象者の視線を計測することを目的とする場合には、ディスプレイの上端または下端に点光源を配置すればよく、簡易な構成とすることができる。
【００５９】
なお、上記実施の形態では、図８に示すように、投光装置から対象者の眼までの距離と撮像装置から対象者の眼までの距離とが同じで、かつ撮像装置が投光装置の中央の位置に配置される場合について説明したが、投光装置と撮像装置との位置がずれている場合でも、ｄの所定範囲を一般化して定めることができる。ここでは、図１１に示すように、撮像装置１４と角膜中心との距離をＬＣ、投光装置１２と角膜中心間との距離をＬ１、撮像装置１４の光軸と投光装置１２の両端の点光源との距離をＤ１及びＤ２とし、角膜領域に写り込むパターンの全長ｄを導出する場合について説明する。なお、図８で用いた変数との関係は、
Ｄ＝Ｄ１＋Ｄ２，  ｄ＝ｄ１＋ｄ２
となる。
【００６０】
図１１より、下記（４）式〜（６）式が近似的に成り立つ。
【００６１】
【数１】
2013106645.tif 000003
【００６２】
さらに、θ１，θ２，α１，α２＜＜１なので（４）式、（５）式、及び（６）式は、下記（１０）式〜（１２）式に用に近似することができる。
【００６３】
【数２】
2013106645.tif 000004
【００６４】
（７）式及び（８）式から得られる下記（１３）式及び（１４）式を、（６）式〜（８）式から得られる下記（１５）式に代入して、下記（１６）式及び（１７）式を得る。
【００６５】
【数３】
2013106645.tif 000005
【００６６】
また、（１２）式から得られる下記（１８）式を（１７）式に代入して、下記（１９）式を得る。
【００６７】
【数４】
2013106645.tif 000006
【００６８】
（１９）式を解くと、下記（２０）式となる。
【００６９】
【数５】
2013106645.tif 000007
【００７０】
実際の構成では、ＬＣ，Ｌ１＞＞ｒであるので、ＬＣ−ｒ＝ＬＣ、Ｌ１−ｒ＝Ｌ１とみなして、（２０）式を下記（２１）のように変換する。
【００７１】
【数６】
2013106645.tif 000008
【００７２】
（１０）式に（２１）式を代入して、下記（２２）式によりｄ１が得られる。同様にして、下記（２３）式によりｄ２が得られる。従って、角膜領域に写り込むパターンの全長ｄは、下記（２４）式となる。
【００７３】
【数７】
2013106645.tif 000009
【００７４】
なお、本発明のプログラムは、記録媒体に格納して提供することができる。
【符号の説明】
【００７５】
１０   視線計測装置
１２   投光装置
１４   撮像装置
１６   コンピュータ
２２   画像取得部
２４   高輝度点抽出部
２６   プルキニエ像候補抽出部
２８   プルキニエ像判定部
３０   基準点設定部
３２   低輝度領域抽出部
３４   瞳孔抽出部
３６   瞳孔中心導出部
３８   視線方向算出部
【図２】
2013106645.tif 000010
【図３】
2013106645.tif 000011
【図５】
2013106645.tif 000012
【図８】
2013106645.tif 000013
【図１１】
2013106645.tif 000014
【図１】
2013106645.tif 000015
【図４】
2013106645.tif 000016
【図６】
2013106645.tif 000017
【図７】
2013106645.tif 000018
【図９】
2013106645.tif 000019
【図１０】
2013106645.tif 000020