(57)【要約】【課題】近赤外線を照射することなく且つキャリブレーションを行うことなく視線計測が可能な角膜表面反射画像を利用した視線計測方法及びその装置を提供する。【解決手段】眼球を撮像する眼球画像撮像装置１８、注視対象を含む画像を撮像する環境画像撮像装置１９、眼球画像から眼球モデルを生成する眼球モデル生成部３０、眼球画像から角膜表面上に反射する角膜表面反射画像を抽出する角膜表面反射画像抽出部３１、角膜表面反射画像を平面に展開することにより歪みを補正した接平面展開画像を生成する接平面展開画像生成部３２、接平面展開画像と注視対象を含む環境画像とのマッチングを行うことにより注視点を計測する注視点計測部３３を備える。【選択図】図３
2015123262.tif 000002
【特許請求の範囲】
【請求項１】
眼球画像撮像手段によって撮像された角膜表面上に反射する角膜表面反射画像と、環境画像撮像手段によって撮像された注視対象を含む環境画像をマッチングすることにより注視点を計測することを特徴とする角膜表面反射画像を利用した視線計測方法。
【請求項２】
請求項１に記載の角膜表面反射画像を利用した視線計測方法において、
予め眼球画像撮像手段によって撮像した眼球画像から眼球モデルを生成するステップと、
前記眼球撮像手段によって撮像した眼球画像から角膜表面上に反射する角膜表面反射画像を抽出するステップと、
前記眼球モデルを用いて前記角膜表面反射画像を平面に展開することにより歪みを補正した接平面展開画像を生成するステップと、
前記接平面展開画像と環境画像撮像手段によって撮像した注視対象を含む環境画像とのマッチングを行うことにより注視点を計測するステップと、
を含み構成されてなることを特徴とする角膜表面反射画像を利用した視線計測方法。
【請求項３】
請求項２に記載の角膜表面反射画像を利用した視線計測方法において、
前記接平面展開画像生成ステップは、
角膜上の所定位置に接平面を設定するステップと、
前記接平面上の各画素に対して逆レイトレーシングを行い、角膜表面反射画像との交点を算出して前記接平面上の画素値を得るステップと、
を含み構成されてなることを特徴とする角膜表面反射画像を利用した視線計測方法。
【請求項４】
請求項３に記載の角膜表面反射画像を利用した視線計測方法において、
前記接平面は、視線方向に平行なベクトルの反射点、虹彩中心、角膜モデル上の所定位置に設定した点のいずれかに設定することを特徴とする角膜表面反射画像を利用した視線計測方法。
【請求項５】
眼球画像を撮像する眼球画像撮像手段と、
注視対象を含む画像を撮像する一又は複数の環境画像撮像手段と、
前記眼球画像撮像手段によって撮像された眼球画像から眼球モデルを生成する眼球モデル生成手段と、
前記眼球画像撮像手段によって撮像された眼球画像から角膜表面上に反射する角膜表面反射画像を抽出する角膜表面反射画像抽出手段と、
前記眼球モデルを用いて前記角膜表面反射画像を平面に展開することにより歪みを補正した接平面展開画像を生成する接平面展開画像生成手段と、
前記接平面展開画像と前記環境画像撮像手段によって撮像した注視対象を含む環境画像とのマッチングを行うことにより注視点を計測する注視点計測手段と、
を備えてなることを特徴とする角膜表面反射画像を利用した視線計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、角膜表面反射画像を利用した視線計測方法及びその装置に関し、さらに詳しくは、眼球に対し近赤外線を照射することなく、また、キャリブレーションを行うことなく視線計測が可能な角膜表面反射画像を利用した視線計測方法及びその装置に関する。
【背景技術】
【０００２】
近年、視線計測において角膜表面反射画像を用いた研究が盛んに行われており、技術発展が大きく期待されている。角膜表面反射画像の代表的な研究として非特許文献１に示すものは角膜表面反射画像から人の視野画像を獲得する手法を提案している。また、非特許文献２では、解像度の低い角膜表面反射画像の高精細化を実現している。本発明者らも、非特許文献３に示すように、これまでの研究で角膜表面反射画像を用いて注視対象の物体認識が可能であることを示している。
【０００３】
ここで、「視線」とは単純に考えれば目の向いている方向であり、この目の動き、すなわち、眼球運動を測定する技術として、例えば、強膜トラッカー法、ＥＯＧ（Electrooculography)法（電気眼球図記録法）、サーチコイル法、角膜反射法などが知られている。
【０００４】
強膜トラッカー法は、近赤外線を眼球に照射し、強膜と角膜の境界をフォトディテクタで検出して眼球運動を測定し、それによって視線方向を算出するものである。測定精度は後述する角膜反射法と同程度であるが、フォトディテクタは応答が速いため、１，０００Ｈｚ程度までサンプリングレートを上げられるので、眼球運動の特性を測定するのに適している。
【０００５】
また、ＥＯＧ法は皮膚表面電極によって眼球付近の電位変化を測定するもので、具体的には、眼球の角膜側が正電位に網膜側が負電位に帯電している性質を利用しており、眼球の回転によって発生する表面電位から眼球の回転角度を計測し、それによって視線を計測するものである。
【０００６】
さらに、サーチコイル法は、サーチコイルが埋め込まれたコンタクトレンズを装着するか角膜に直接サーチコイルを接着し、周辺に設置したアンテナを利用して眼球の位置を測定するものである。従って、測定精度は高く、正確な視線を計測することが可能であるが、被計測者に対する負担がきわめて大きい。
【０００７】
角膜反射法は、眼球に近赤外線の点光源を照射し、角膜表面における反射光(第一プルキニエ像（以下、プルキニエ像という)）をカメラで撮像して眼球運動を測定し、それによって視線を計測するものである。すなわち、角膜表面のプルキニエ像を検出することにより、求められた視線ベクトルまたは瞳孔中心及びプルキニエ像の座標を用いてディスプレイや環境カメラ画像上の注視点を求める。そして、注視点座標は視線ベクトルを平面に投影し或いは二次の多項式を用いて平面の座標と対応付けを行うことで求められる。この角膜反射法を利用した視線計測の一例として非特許文献４に示すものがある。
【０００８】
角膜反射法では、瞳孔中心線に相当する軸を算出し、次いで「キャリブレーション（注視点校正）」と呼ばれる個人別の補正作業によって軸の補正（装置が算出した視線計測位置と実際の視線位置との間に存在するズレを補正する処理）を行い、それにより視線を求めている。このキャリブレーションは、例えば、ユーザが画面上に表示された複数のマーカを順次注視しながら測定者が指定のキーを押し、得られた視線と画面上の点との位置関係から補正パラメータを算出して視線の補正を行うものである。注視する必要があるマーカの数は５〜２０程度である。
【０００９】
上述のように、キャリブレーションによって高精度の視線測定を達成するには、人が測定前に複数の点を正確に注視する必要があると共に、そのズレを正しく補正する補正法を用いる必要がある。しかしながら、人が点を正確に注視するには習熟が必要であり、誤った位置を注視した場合に測定精度の低下が発生する。このような補正処理は一般に二次以上の高次関数を用いられるが、次数が増すと眼球位置の変化などの変動要因に対して測定精度が不安定になりやすく、また、キャリブレーションの点数も増大する。従って、キャリブレーションを全く行わずに視線測定可能なシステムの構築が理想となる。ところが実際には、カメラレンズの光学系に起因する誤差、角膜表面での屈折、眼球形状の個人差、眼鏡やコンタクトレンズでの屈折、眼球中心に対する中心窩のズレ、膜表面の非球面性などによってズレが発生するため、キャリブレーション無しに高精度の視線測定を実現することは困難であった。
【００１０】
一方、特許文献１には視線方向を非接触で特定するための装置及び方法が開示されている。これは、キャリブレーションを行うことなく非接触で人の眼の視線方向ベクトルの特定を可能とするものであり、具体的には、異なる方向からそれぞれ同時に人の眼を撮像する二つのカメラを画像加工系に接続し、これらカメラの空間座標及びそれらの眼の瞳孔の中心への距離を画像加工系に保存し、また、長半軸ａ及び短半軸ｂに基づいてｔａｎα（αは面法線と視線方向ベクトルとの間の角度）を求め、ｔａｎαに基づいて楕円（＝映し出された瞳孔）の軸の交点から瞳孔の中央入射点への距離Ｄを求め、上記ｔａｎαと距離Ｄに基づいて瞳孔の半径Ｒを求め、さらに楕円の中点と楕円の中点と仮想点の間の距離ｒから視線先（仮想点）を算出するというものである。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特表２００８−５１３１６８号公報
【非特許文献】
【００１２】
【非特許文献１】K. Nishino and S. K. Nayar,“The world in an eye,” Proc. of the 2004 IEEE Computer Society Conference Computer Vision and Pattern Recognition, vol.1,pp.444-451,2004.
【非特許文献２】C. Nitschke and A. Nakazawa,“Super-Resolution from Corneal Images,” Proc. of the British Machine Vision Conference, pp.22.1-22.12, 2012.
【非特許文献３】竹村憲太郎，山川智久，高松淳，小笠原司：”角膜表面反射画像を用いた注視対象推定”，第13回計測自動制御学会システムインテグレーション部門講演会(SI2012),3F3-5, pp.2235-2236, 2012.
【非特許文献４】「眼球形状モデルに基づく視線測定法」第８回画像センシングシンポジウムpp.307-312,2002
【発明の概要】
【発明が解決しようとする課題】
【００１３】
従来の視線計測装置において最も大きな課題は、キャリブレーションをどのように簡略化するかということである。すなわち、角膜反射法では、近赤外線の反射像であるプルキニエ像及び瞳孔中心を追跡することで眼球の動きを計測するが、環境カメラやディスプレイ上の注視点を計測するには、キャリブレーションが必要不可欠であるという問題があった。また、角膜表面に注視物体が良く反射して見えるには、照度が高い必要があるなどの課題も多い。
【００１４】
この問題を解決するため、本願発明者が鋭意検討を行った結果、これまでの角膜表面反射画像を物体認識等に直接利用する方法とは異なり、しかも、瞳孔とプルキニエ像の座標を用いるのではなく、角膜表面反射画像を用いて、例えば、環境カメラによって撮像された環境画像との対応関係を求めることによって視線を計測することを着想し、鋭意検討を進めた結果、以下の発明を完成するに至った。すなわち、角膜表面反射画像には注視対象そのものが含まれるため、環境カメラで撮像した画像とのマッチングにより注視点を求めるというものである。この方法は、画像情報を用いて視線を探索することから、予め環境カメラとの対応関係を求める必要がなく、キャリブレーションフリーな視線計測を実現することが可能となる。尚、上述した特許文献１の装置は、キャリブレーションを不要とするものではあるが、眼球を撮像するための２台のアイカメラを必要とし、それぞれを離れた場所から眼球に撮像する必要があり、２台のアイカメラと眼球の位置関係や、ユーザによる初期設定の負担等があり、視線計測の煩わしさは解消されていない。
【００１５】
すなわち、本発明の目的とするところは、近赤外線を照射することなく、且つ、煩わしいキャリブレーションを行うことなく簡単に視線計測を行うことが可能な角膜表面反射画像を利用した視線計測方法及びその装置を提供することにある。
【課題を解決するための手段】
【００１６】
上記課題を解決するために請求項１に記載の発明は、眼球画像撮像手段によって撮像された角膜表面上に反射する角膜表面反射画像と、環境画像撮像手段によって撮像された注視対象を含む環境画像をマッチングすることにより注視点を計測することを特徴とする角膜表面反射画像を利用した視線計測方法を提供する。
【００１７】
上記課題を解決するために請求項２に記載の本発明は、請求項１に記載の角膜表面反射画像を利用した視線計測方法において、眼球画像撮像手段によって眼球画像を撮像するステップと、眼球画像から眼球モデルを生成するステップと、眼球画像から角膜表面上に反射する角膜表面反射画像を抽出するステップと、眼球モデルを用いて角膜表面反射画像を平面に展開することにより歪みを補正した接平面展開画像を生成するステップと、接平面展開画像と環境画像撮像手段によって撮像した注視対象を含む環境画像とのマッチングを行うことにより注視点を計測するステップとを含み構成されてなることを特徴とする角膜表面反射画像を利用した視線計測方法。
【００１８】
上記課題を解決するために請求項３に記載の本発明は、請求項２に記載の角膜表面反射画像を利用した視線計測方法において、接平面展開画像生成ステップは、角膜上の所定位置に接平面を設定するステップと、接平面上の各画素に対して逆レイトレーシングを行い、角膜表面反射画像との交点を算出して接平面上の画素値を得るステップとを含み構成されてなることを特徴とする。
【００１９】
上記課題を解決するために請求項４に記載の本発明は、請求項３に記載の角膜表面反射画像を利用した視線計測方法において、接平面は、視線方向に平行なベクトルの反射点、虹彩中心、角膜モデル上の所定位置に設定した点のいずれかに設定することを特徴とする。
【００２０】
上記課題を解決するために請求項５に記載の本発明は、眼球画像を撮像する眼球画像撮像手段と、注視対象を含む画像を撮像する一又は複数の環境画像撮像手段と、眼球画像撮像手段によって撮像された眼球画像から眼球モデルを生成する眼球モデル生成手段と、眼球画像撮像手段によって撮像された眼球画像から角膜表面上に反射する角膜表面反射画像を抽出する角膜表面反射画像抽出手段と、前記眼球モデルを用いて角膜表面反射画像を平面に展開することにより歪みを補正した接平面展開画像を生成する接平面展開画像生成手段と、接平面展開画像と環境画像撮像手段によって撮像した注視対象を含む環境画像とのマッチングを行うことにより注視点を計測する注視点計測手段とを備えてなることを特徴とする角膜表面反射画像を利用した視線計測装置を提供する。
【発明の効果】
【００２１】
本発明に係る角膜表面反射画像を利用した視線計測方法及びその装置によれば、近赤外線を照射することなく且つキャリブレーションを行うことなく視線計測が可能になり、従来、キャリブレーションのために要していた時間を省略することができるという効果がある。
【００２２】
人の眼の視線方向を非接触で測定する技術は、例えば、眼の動きの調査、車載カメラによる運転者の注視点計測、ディスプレイ、ＨＭＤ(head mounted display）上の注視点計測などへ応用することにより、ユーザインターフェースや広告、ゲームなどへ応用することが可能となるという効果がある。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る角膜表面反射画像を利用した視線計測装置の好ましい一実施形態の構成を示すブロック図である。
【図２】眼球画像撮像装置と環境カメラを備えた常時装着型デバイスの一実施形態を示す斜視図である。
【図３】本発明に係る視線計測装置の機能を示すブロック図である。
【図４】（ａ），（ｂ）は眼球の構造を示す構造図である。
【図５】角膜表面上での反射モデルを示す説明図である。
【図６】本発明に係る角膜表面反射画像を利用した視線計測方法の処理の一実施形態を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明に係る角膜表面反射画像を利用した視線計測方法及びその装置について説明する。初めに角膜表面反射画像を利用した視線計測装置についてその一実施形態に基づいて詳細に説明する。図１は本発明に係る視線計測装置の一実施形態を示すブロック図、図２は常時装着型デバイスの一実施形態を示す斜視図、図３は視線計測装置の機能を示すブロック図、図４（ａ），（ｂ）は眼球の構造を示す正面図及び断面図である。
【００２５】
［視線計測装置の構成］
図示された視線計測装置（以下、単に「視線計測装置」という）１は、眼球画像を撮像する眼球画像撮像手段である眼球画像撮像装置１８と、注視対象を含む画像を撮像する環境画像撮像手段である環境画像撮像装置１９と、眼球画像撮像装置１８によって撮像された眼球画像から眼球モデルを生成する眼球モデル生成手段である眼球モデル作成部３０と、眼球画像撮像装置１８によって撮像された眼球画像から角膜表面上に反射する角膜表面反射画像を抽出する角膜表面反射画像抽出手段である角膜表面反射画像抽出部３１と、眼球モデルを用いて角膜表面反射画像を平面に展開することにより歪みを補正した接平面展開画像を生成する接平面展開画像生成手段である接平面展開画像生成部３２と、接平面展開画像と環境画像撮像装置１９によって撮像した注視対象を含む環境画像とのマッチングを行うことにより注視点を計測する注視点計測手段である注視点計測部３３を備えて構成されている。ここで、「環境画像撮像装置１９」とは、被験者の視線方向の画像を撮像する装置をいい、例えば後述する環境カメラ１９ａのように被験者の身に取り付けられる装着型のカメラや、環境中に配置される非装着型のカメラを含む。そして、環境カメラ１９ａは、単眼又は複数のカメラで構成することができる。また、「環境画像」とは、環境画像撮像装置１９によって取得される被験者の視線方向の画像をいう。さらに、「眼球画像」とは、眼球画像撮像装置１８によって取得される被験者の眼球、虹彩、瞳孔、角膜などの画像をいう。
【００２６】
［眼球撮像装置及び環境画像撮像装置］
図２は眼球画像撮像装置１８と環境画像撮像装置１９を備えた常時装着型デバイス２０の一実施形態を示す斜視図である。図示された常時装着型デバイス２０は、半月形状のフロント部２０ｂと、このフロント部２０ｂの両端に取り付けられて被験者の耳に掛止される一対のテンプル２０ａ，２０ａを備えており、メガネのようにして被験者が装着することにより眼球画像と環境画像の撮像を行うデバイスである。
【００２７】
眼球画像撮像装置１８は、レンズを介して被写体像（眼球画像）を撮像するアイカメラ（eye camera）１８ａと、被写体像をＣＭＯＳイメージセンサなどの図示しない撮像素子の受像面に導くプリズム１８ｂを備えて構成されており、被験者の視界を妨げることなく眼球画像を撮像するために被験者の左右の目のうちのいずれか一方側の近傍に位置するようにして配置されている。そして、被験者の眼球はプリズム１８ｂを介してアイカメラ１８ａに写し込まれるようになっている。また、アイカメラ１８ａによって撮像された眼球の眼球画像のデータは図示しないコードを介して後述するインターフェース１６へ送られる。尚、インターフェース１６への受像画像データの入力は図示しないコードを使用することなくワイヤレスとすることもできる。尚、眼球画像の撮像に際しては近赤外線の照射は行わない。
【００２８】
環境画像撮像装置１９は、レンズを介して被験者の注視対象を含む画像を撮像する環境カメラ１９ａを備えており、環境画像はＣＭＯＳイメージセンサなどの図示しない撮像素子の受像面に導かれる。環境画像撮像装置１９は、プリズム１８ｂの反対側に対向するようにして配置されており、被験者の視界を妨げることなく被験者の注視対象を含む画像の撮像を行う。環境カメラ１９ａによって撮像された環境画像のデータは、アイカメラ１８ａの場合と同様に、図示しないコードを介して又はワイヤレスで後述するインターフェース１６へ送られる。
【００２９】
ここで、眼球画像撮像装置１８及び環境画像撮像装置１９は、常時装着型デバイス２０のように、被験者に装着されるものに限定されるわけではなく、例えば、アイカメラ１８ａを被験者の方を向くようにした状態で自動車の運転席の前方側の天井やバックミラーに取り付けたり、パソコンのディスプレイに取り付けたり、或いは三脚などに固定して取り付けたりするなど、人体に非装着とすることもできる。また、同様に、環境カメラ１９も被験者に装着されるものに限定されるわけではなく、例えば、被験者の視線方向が撮像されるようにレンズを向けた状態で自動車の運転席のバックミラーやパソコンのディスプレイに取り付けたり、三脚などに固定して取り付けたりするなど、人体に非装着とすることも可能である。従って、眼球画像撮像装置１８と環境カメラ１９の配置構成は常時装着型デバイス２０に限定されるものではない。また、環境画像撮像装置１９は、一つに限らず、複数台を用いる構成とすることもできる。
【００３０】
［眼球モデル作成部］
眼球モデル作成部３０は、眼球画像撮像装置１８によって撮像された眼球画像から虹彩領域を抽出して３次元の眼球モデルを作成する。眼球モデルを作成するのは、個々の被験者によって、眼球画像撮像装置１８に映る虹彩サイズがそれぞれ異なることから角膜表面反射画像の抽出に先立って予め虹彩領域を特定しておく必要があるからである。尚、眼球モデルの作成はいわゆるセットアップとして初めに１度だけ行われる。眼球モデル作成部３０における眼球モデルの作成は、例えば、以下のようにして行われる。初めに、撮像された眼球画像に現された虹彩の輪郭を手動で数箇所をクリックすることによって取得された領域を虹彩領域とする。あるいは、撮像された眼球画像に現された虹彩の輪郭を自動的な画像処理を施してもよい。そして、角膜表面を球の一部と仮定することにより上記取得された領域から楕円近似によって虹彩領域を抽出する。虹彩領域が抽出されたら解剖学上のパラメータを利用することによって３次元の眼球モデルを生成する。
【００３１】
［角膜表面反射画像抽出部］
角膜表面反射画像抽出部３１は、アイカメラ１８ａによって撮像された眼球画像から角膜表面上に反射する角膜表面反射画像を抽出する。すなわち、上述の眼球モデルに基づくシミュレートによって眼球の位置及び姿勢を推定し、虹彩領域の角膜表面反射画像を抽出し、抽出した角膜表面反射画像について接平面に対する角膜表面反射画像の展開を行う。虹彩領域の抽出は、作成した眼球モデルの姿勢によって眼球モデルの虹彩領域がどのように画像に映り込むかをシミュレートすることによって行う。具体的には、上述した眼球モデル作成部３０によって作成された眼球モデルをコンピュータ上で前後上下左右方向に移動、左右方向及び上下方向に回転させることによりこの眼球モデルにおける虹彩領域を順次撮像される眼球画像上に投影する。投影した眼球モデルの虹彩領域と眼球画像撮像装置１８によって撮像された画像を２値化処理したもので論理積を計算し、論理積の和が最も大きくなるモデルの姿勢を現在の眼球の姿勢とし、またその虹彩領域を眼球画像上の虹彩領域として抽出する。すなわち、眼球画像上の虹彩領域と最も良く合致している眼球モデルの位置又は姿勢における虹彩領域をその眼球画像上に投影することにより眼球画像上の虹彩領域を抽出する。そして、抽出された虹彩領域の角膜表面上に反射する角膜表面反射画像の抽出を行う。このように、角膜表面反射画像抽出部３１は逐次虹彩の追跡を行うことにより角膜表面反射画像を抽出し、後述する接平面展開画像生成部３２が角膜表面上の所定位置に接平面を設定して角膜表面反射画像の展開が行われる。
【００３２】
［接平面展開画像生成部］
接平面展開画像生成部３２は、角膜表面反射画像抽出部３１で得られた角膜表面反射画像を平面に展開することにより歪みを補正した接平面展開画像を生成する。接平面の設定は、視線方向に平行なベクトルの反射点、虹彩中心、角膜モデル上の所定位置に設定した点のいずれかに設定することができる。例えば、注視点が十分に遠い点であると仮定すると、注視対象は視線ベクトルと平行な反射ベクトルの位置へ反射することになるので、平行なベクトルの反射点を中心とした接平面画像を作成することができる。また、接平面を虹彩中心に設定することもでき、この場合には注視点までの距離に影響されることなくしかも接平面展開の処理も比較的簡単に行うことができる点で好ましい。さらに、接平面を被験者に予め所定箇所を注視させて角膜上に反射している注視点に設定することも可能である。
【００３３】
接平面の各ピクセルは、逆レイトレーシングを行うことで求めることができる。ここで、図５に示すように、角膜球中心をＣ、眼球画像撮像装置１８のレンズ中心をＳ、接平面上の点をＬとすると、角膜球での鏡面反射には以下の拘束が成立する。
【数１】
2015123262.tif 000003
【００３４】
ここで、４次方程式の係数は、それぞれ、
【数２】
2015123262.tif 000004
である。
【００３５】
4次方程式の解ｙを求め、ｘを以下の式で定義する。
【数３】
2015123262.tif 000005
【００３６】
これにより、法線ベクトルＮは４次方程式でｙ＞０及びｘ＞0を満たす解を用いて以下のように求められる。
【数４】
2015123262.tif 000006
【００３７】
また、角膜球の半径をｒｃとすると、接平面上の点Ｌに入射する光の角膜球上の反射点Ｐは以下の通りである。
【数５】
2015123262.tif 000007
【００３８】
接平面上のすべての点に対して以上の計算を行い、点Ｌ及び反射点Ｐを通過する光線と入力画像平面との交点を求めることで、歪みのない画像を生成することが可能である。
【００３９】
［注視点推定部］
注視点推定部３３は、接平面を用いて展開した角膜表面反射画像（＝接平面展開画像）と環境カメラ１９によって撮像した注視対象を含む環境画像とのマッチングを行うことにより注視点を計測する。すなわち、環境カメラ１９で取得した環境画像と角膜表面反射画像について同様のパターンを探索する。具体的には、角膜表面反射画像の一領域（＝注視対象付近の画像）と環境画像とのテンプレートマッチング（正規化相互相関：ＺＮＣＣ:Zero-mean Normalized Cross-Correlation））によって上記一領域をマーカとして該一領域の環境カメラ画像における位置を見出し、その位置を見出した座標系を注視点として算出する。角膜表面反射画像、すなわち接平面展開画像が低解像度であることや照度が低くきれいに反射してない場合を考慮し、局所特徴量を用いるのではなく画像パターンそのものを利用する。ここでは一般的である正規化相互相関を用いてマッチングを行い、相関値が最も高い箇所を注視点とした。この注視点は環境カメラ画像に重畳させて表示装置１５に表示される。尚、接平面展開画像と環境画像とのマッチングに際しては多重解像度化を実施し、接平面展開画像と環境画像の大きさの違いに対処する。
【００４０】
尚、環境画像に対して、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）やSURF (Speeded Up Robust Features)の特徴量を計算して物体認識を行うことで、注視点が存在するオブジェクトを計測することも可能である。これまでは、角膜表面反射画像に対して、特徴量を抽出していたため、照度が低い場合などに物体認識精度が低下する問題であったが、環境カメラに対して物体認識アルゴリズムを適用することで、その問題を解決することが可能となった。
【００４１】
上述した眼球モデル作成部３０、角膜表面反射画像抽出部３１及び注視点推定部３３は、汎用のコンピュータによって形成することができる。コンピュータは、概略として、所定のプログラムが格納されたＲＯＭ１１と、プログラムに従って処理を実行して全体を制御するＣＰＵ１０と、ＣＰＵ１０を動作させるためのデータなどが一時的に格納されるＲＡＭ１２と、キーボード及びマウスなどからなる入力装置１３と、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）、メモリカードなどによって構成される外部記憶装置１４と、情報を表示する液晶パネルなどを利用した表示装置１５と、種々のオプション装置を接続するためのＩ／Ｆ（インターフェース）１６と、音声合成による音声などをスピーカなどに出力する音声出力装置１７などのハード構成を備えて形成されている。そして、予め上述した眼球モデル作成部３０、角膜表面反射画像抽出部３１及び注視点計測部３３の各動作を実行するためのプログラムをＲＯＭ１１に格納しておくことで眼球画像撮像装置１８及び環境撮像装置１９はインターフェース１６に接続されて、被験者の眼球を撮像した眼球画像のデータや環境画像のデータが入力されることにより視線計測が実行される。
【００４２】
［視線計測装置の動作及び視線計測方法］
次に、上述した視線計測装置の動作と共に、本発明に係る角膜表面反射画像を利用した視線計測方法について説明する。図６は本発明に係る角膜表面反射画像を利用した視線計測方法の処理の一実施形態を示すフローチャートである。
【００４３】
先ず、被験者は眼球画像撮像装置１８と環境画像撮像装置１９を備えた常時装着型デバイス２０を装着する。一方、常時装着型デバイス２０を用いない場合には、被験者の眼球が撮像できる位置、例えば、被験者が自動車を運転する場合には運転席の前方側の天井等に眼球画像撮像装置１８を配置すると共に、被験者の注視対象が含まれる方向に向けて環境画像撮像装置１９を配置する。次いで、視線計測装置１の電源をオンにする。これにより、以下の処理が順次実行される。
【００４４】
視線計測装置１の動作が開始されると、眼球画像撮像装置１８によって眼球画像が撮像され、環境画像撮像装置１９によって環境画像が撮像されて眼球画像及び環境画像が取得される（ステップＳ１）。そして、取得された眼球画像を用いて虹彩領域を登録し、楕円近似による虹彩抽出によって行う(ステップ２)。次いで、抽出された虹彩領域から眼球モデルを作成する（ステップＳ３）。ここまでのステップで被験者についてのセットアップ（ステップＳ４）が終了する。
【００４５】
次に、眼球画像撮像装置１８によって次々と撮像される眼球画像から逐次虹彩領域を抽出して虹彩の追跡を行う（ステップＳ５）。虹彩領域の抽出は、生成した眼球モデルの姿勢によってモデルの虹彩領域がどのように画像に映り込むかをシミュレートする。投影したモデルの虹彩領域と眼球画像撮像装置１８によって撮像された画像を２値化処理したもので論理積を計算し、論理積の和が最も大きくなるモデルの姿勢を現在の眼球の姿勢とし、またその虹彩領域を眼球画像上の虹彩領域とする。そして、接平面の設定を行う（ステップＳ６）。視線方向に平行なベクトルの反射点又は所定箇所を注視させその反射点を角膜モデル上の登録した点に接平面を設定する場合には眼球モデルを用いて注視対象反射点の推定を行う。また、接平面を虹彩中心に設定することもできる。そして、設定された接平面上に角膜表面反射画像を接平面に展開する（ステップＳ７）。そして、解像度が互い相違する角膜表面反射画像と環境画像の間でマッチングを行うために環境画像の多重解像度化を実施して、最後に、接平面展開画像と環境画像とのマッチングを行うことによって環境画像における注視点を計測する（ステップＳ８）。そして、環境画像の注視点に相当する位置にマーカ、例えば、十字線等、を表示することにより視線を特定することができる。そして、眼球画像撮像装置１８と環境画像撮像装置１９によって撮像された眼球画像及び環境画像を用いてステップＳ５〜Ｓ８のステップを順次実行することにより視線計測が行われる。
【００４６】
このように、本発明に係る角膜表面反射画像を利用した視線計測方法及びその装置によれば、角膜表面に反射した角膜表面反射画像と環境画像とのマッチングにより注視点を求めているため、従来のような事前のキャリブレーションを必要としないことからキャリブレーションのために要していた時間及びその作業の手間を省略することができるという効果がある。尚、被験者が注視している物体、例えば、本やコンピュータなどを判定するに十分な性能が得られることも確認しており、物体認識にも応用することができるという効果もある。
【００４７】
また、眼球画像を展開した接平面展開画像と環境画像とのマッチングによって視線を計測することとしたので、眼球画像撮像装置１８と環境画像撮像装置１８の位置関係にズレが生じても視線計測に影響を与えないという効果がある。
【００４８】
さらに、常時装着型デバイスによれば、被験者が眼鏡と同様にして装着でき、しかも視野を合わせる必要ないので視線計測を短時間に実施できるという効果がある。
【００４９】
以上のように本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能であることはいうまでもない。
【符号の説明】
【００５０】
１      視線計測装置
１０      ＣＰＵ
１１      ＲＯＭ
１２      ＲＡＭ
１３      入力装置
１４      外部記憶装置
１５      表示装置
１６      インターフェース
１７      音声出力装置
１８      眼球画像撮像装置
１８ａ      アイカメラ
１８ｂ      プリズム
１９      環境画像撮像装置
１９ａ      環境カメラ
２０      常時装着型デバイス
２０ａ      テンプル
２０ｂ      フロント部
３０      眼球モデル作成部
３１      角膜表面反射画像抽出部
３２      接平面展開画像生成部
３３      注視点計測部
【図１】
2015123262.tif 000008
【図２】
2015123262.tif 000009
【図３】
2015123262.tif 000010
【図４】
2015123262.tif 000011
【図５】
2015123262.tif 000012
【図６】
2015123262.tif 000013