(57)【要約】【課題】  両眼球を１フレームに撮像して、眼球運動の計測を行い得るレベルで三次元空間内における視点位置を計測する方法の提供。【解決手段】  被験者の眼球を撮像して視点位置を計測する方法である。両眼球を１フレームで撮像する撮像ステップと、撮像ステップで得られた画像の画像解析し、瞳孔位置形状及び反射光位置形状により眼球のそれぞれの視線方向を求める視線解析ステップと、視線方向の交点を求める視点位置特定ステップと、を含むことを特徴とする【選択図】  図１
2016057906.tif 000002
【特許請求の範囲】
【請求項１】
被験者の眼球を撮像して視点位置を計測する方法であって、
両眼球を１フレームで撮像する撮像ステップと、
前記撮像ステップで得られた画像を画像解析し、瞳孔位置形状及び反射光位置形状により前記眼球のそれぞれの視線方向を求める視線解析ステップと、
前記視線方向の交点を求める視点位置特定ステップと、を含むことを特徴とする視点位置の計測方法。
【請求項２】
前記撮像ステップは、前記両眼球を面対称とする対称面上の位置から撮像するステップであることを特徴とする請求項１記載の視点位置の計測方法。
【請求項３】
前記視点位置特定ステップは、前記視線方向の水平方向の成分について前記交点を求め、前記交点を含む鉛直線上に前記視点位置を確定させることを特徴とする請求項１又は２に記載の視点位置の計測方法。
【請求項４】
被験者の眼球を撮像して視点位置を計測するシステムであって、
両眼球を１フレームで撮像する撮像装置と、
前記撮像装置で得られた画像を画像解析し、瞳孔位置形状及び反射光位置形状により前記眼球のそれぞれの視線方向を求める視線解析手段と、
前記視線方向の交点を求める視点位置特定手段と、を含むことを特徴とする視点位置の計測システム。
【請求項５】
前記撮像装置は、前記両眼球を面対称とする対称面上の位置から撮像することを特徴とする請求項４記載の視点位置の計測システム。
【請求項６】
前記視点位置特定手段は、前記視線方向の水平方向の成分について前記交点を求め、前記交点を含む鉛直線上に前記視点位置を確定させる手段であることを特徴とする請求項４又は５に記載の視点位置の計測システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の眼球を撮像して視点位置を計測する方法及びその計測システムに関し、特に、上下左右方向とともに奥行き方向の三次元空間内における視点位置を計測する方法及びその計測システムに関する。
【背景技術】
【０００２】
被験者の眼球を撮像してモニター画面上の視点位置を計測する方法や計測システムが数多く提案されている。かかる計測情報はモニター画面の制御や周辺環境の各種制御などに利用される。一方、上下左右方向とともに奥行き方向の三次元空間内における視点位置を計測する方法及びその計測システムも提案されている。
【０００３】
例えば、特許文献１では、それぞれが光源を備える２台のカメラで両眼球の視線を同時に測定することで三次元空間内における視点位置を計測する方法を開示している。具体的には、一方の光源を点灯させ該光源とともにあるカメラで一方の眼球の瞳孔を明るくしつつ撮影し、同様に、他方の光源を点灯させ該光源とともにあるカメラで他方の眼球の瞳孔を明るくしつつ撮影する。このとき、角膜反射の像も得られる。瞳孔位置及び角膜反射像から両眼球の視線ベクトルを求め、更に、輻輳角(両目の視線のなす角度)を求め、奥行き方向の視点（両目の視線の交差点）を計測するのである。
【０００４】
上記したように、カメラに対する視線ベクトルを求めることで、三次元空間内における視点位置を計測できる。ここで、カメラによって複数の画像を取り込み、反射光形状、瞳孔形状を計測し、反射光重心位置、瞳孔の楕円形状近似による短軸の傾き、短軸長軸比、瞳孔中心を計算することで、より正確且つ簡便に視線位置を三次元的に計測する方法も提案されている。
【０００５】
例えば、特許文献２では、反射位置を角膜上に位置させるように配置された光源で照明された瞳孔をカメラで撮影し複数の画像を取り込み、得られたそれぞれの画像について、反射光重心位置と角膜曲率中心のｘ方向の距離及びｙ方向の距離、角膜曲率中心と瞳孔中心の距離を求め、反射光重心位置と瞳孔中心位置からカメラに対する視線ベクトルを求めて視線位置を三次元的に計測する方法が開示されている。
【０００６】
また、特許文献３では、カメラ座標系で求めた視線ベクトルを対象物座標系における視線ベクトルに変換して被験者の視線位置を算出できること述べた上で、静止している眼球位置の計測だけでなく、眼球運動の計測までをも与える方法を開示している。ここでは、高速撮影可能なデジタルカメラを用いて、プログレッシブ方式のデジタル画像信号を直接コンピュータに入力し、デジタル画像処理を行う。主に、眼球の画像から瞳孔部分を近似した楕円の検出方法について述べている。
【０００７】
一方、特許文献４では、単眼カメラによって所定面を基準とした人物の視点を計測する方法を開示している。単眼カメラによって得られた撮影画像上において両眼球の位置を検出し、瞳孔間距離を求める。一方、単眼カメラの内部パラメータ（焦点距離等）と実空間上における既知の瞳孔間距離とを用いて、撮影画像上における瞳孔間距離を実空間上における視点距離（所定面と視点との距離）に換算するとしている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−１９８７４３号公報
【特許文献２】特開２００５−１３７５２号公報
【特許文献３】特開２０１４−６１０８５号公報
【特許文献４】特開２０１４−０８９３０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献３でも述べられているように、従来の視線位置検出システムでは、静止している眼球位置の計測はできても、眼球運動の計測までは困難であった。つまり、眼球位置の計測からカメラに対する両眼球の視線ベクトルを求めてその交点として視線位置を三次元的に計測できるのであるが、両眼球のそれぞれの視線ベクトルが時間差を持って得られるなら、視線位置の計測は不正確なものとなってしまう。特に、両眼球をそれぞれ対応するカメラで撮像した場合、眼球運動の計測を行い得るレベルまで同期させることは非常に困難である。そこで両眼球を単眼で同時にカメラ撮像することが考慮される。
【００１０】
本発明は、上記したような状況に鑑みてなされたものであって、その目的とするところは、両眼球を１フレームに撮像して、眼球運動の計測を行い得るレベルで三次元空間内における視点位置を計測する方法及びその計測システムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明による方法は、被験者の眼球を撮像して視点位置を計測する方法であって、両眼球を１フレームに撮像する撮像ステップと、前記撮像ステップで得られた画像を画像解析し、瞳孔位置形状及び反射光位置形状により前記眼球のそれぞれの視線方向を求める視線解析ステップと、前記視線方向の交点を求める視点位置特定ステップと、を含むことを特徴とする。
【００１２】
かかる発明によれば、両眼球の視線方向を左右の時間差なしで得ることができ、眼球運動の計測を行い得るレベルで三次元空間内における視点位置を計測することができる。
【００１３】
上記した発明において、前記撮像ステップは、前記両眼球を面対称とする対称面上の位置から撮像するステップであることを特徴としてもよい。かかる発明によれば、両眼球までの距離を等しくして撮像できて、より正確な画像解析に基づいて、視点位置を正確に計測し得る。
【００１４】
上記した発明において、前記視点位置特定ステップは、前記視線方向の水平方向の成分について前記交点を求め、前記交点を含む鉛直線上に前記視点位置を確定させることを特徴としてもよい。かかる発明によれば、比較的簡単に視点位置を確定できるとともに、水平方向及び鉛直方向の各々の二次元空間内で観察しやすい結果として視点位置の移動の軌跡を表示できる。
【００１５】
また、本発明によるシステムは、被験者の眼球を撮像して視点位置を計測するシステムであって、両眼球を１フレームで撮像する撮像装置と、前記撮像装置で得られた画像を画像解析し、瞳孔位置形状及び反射光位置形状により前記眼球のそれぞれの視線方向を求める視線解析手段と、前記視線方向の交点を求める視点位置特定手段と、を含むことを特徴とする。
【００１６】
かかる発明によれば、両眼球の視線方向を左右の時間差なしで得ることができ、眼球運動の計測を行い得るレベルで三次元空間内における視点位置を計測することができる。
【００１７】
上記した発明において、前記撮像装置は、前記両眼球を面対称とする対称面上の位置から撮像することを特徴としてもよい。かかる発明によれば、両眼球までの距離を等しくして撮像できて、より正確な画像解析に基づいて、視点位置を正確に計測し得る。
【００１８】
上記した発明において、前記視点位置特定手段は、前記視線方向の水平方向の成分について前記交点を求め、前記交点を含む鉛直線上に前記視点位置を確定させる手段であることを特徴としてもよい。かかる発明によれば、比較的簡単に視点位置を確定できるとともに、水平方向及び鉛直方向の各二次元空間内で観察しやすい結果として視点位置の移動の軌跡を表示できる。
【図面の簡単な説明】
【００１９】
【図１】本発明による視点位置の計測システムの（ａ）ブロック図及び要部の上面図、及び（ｂ）要部の側面図である。
【図２】本発明による視点位置の計測方法のフロー図である。
【図３】視点位置の算出方法を示す上面図である。
【図４】視点位置の算出方法を示す側面図である。
【図５】視点位置の計測システムを用いて得られた視点位置の移動のうち（ａ）Ｘ−Ｚ平面上の軌跡、（ｂ）Ｚ−Ｙ平面上の軌跡を示す図である。
【発明を実施するための形態】
【００２０】
本発明による視点位置の計測システムについて、図１を用いて説明する。
【００２１】
図１に示すように、視点位置の計測システム１は、被験者Ｐの左右の眼球Ｌ及びＲを撮像できる位置に備えられるカメラ２と、カメラ２の側部から眼球Ｌ及びＲに向けて赤外線を照射するＬＥＤ３と、カメラ２に接続されるコンピュータ１０とコンピュータ１０に接続される外部装置５とを備える。外部装置５は、測定結果を記録する記憶装置であるが、必要に応じてその他の装置も適宜選択される。
【００２２】
カメラ２は、広視野を撮像可能な単眼のハイスピードカメラであり、上記したように左右の眼球Ｌ及びＲを同時に撮像できる位置に配置される。つまり、１フレームで左右の眼球Ｌ及びＲを同時に撮像できる。特に、内蔵するイメージセンサなどにグローバルシャッタ機能を有していると１枚の画像の中の時間差を排除できて好ましい。また、カメラ２及びＬＥＤ３は、眼球Ｌ及びＲを面対称とする対称面Ｓ上に配置されると、後述する画像処理において有利になる。すなわち、カメラ２及びＬＥＤ３からそれぞれの眼球Ｌ及びＲまでの距離がほぼ等しくなり、解析すべき眼球Ｌ及びＲに対応する画像の明るさをほぼ等しくでき、画像解析上の処理を比較的単純にできる。この場合において、図１（ｂ）に示すように、カメラ２及びＬＥＤ３は、被験者Ｐの視界を遮らないよう上方又は下方にオフセットされた位置に配置されるとよい。さらに、ＬＥＤ３は、両眼球Ｌ及びＲの角膜上に反射光を形成するような位置に配置されている。
【００２３】
被験者Ｐの前方には、被験者Ｐの視覚を刺激するためのディスプレー４が備えられる。ディスプレー４は、平面の画像表示装置などでもよいが、視点とすべきターゲットＴ１及びＴ２のように、被験者Ｐにとって前後方向の奥行きを異ならせて設けた複数のターゲットを備える立体的なものであると好ましい。
【００２４】
コンピュータ１０は、いわゆるパーソナルコンピュータなどであり、キーボードやモニタなど図示しない入出力装置を備える。コンピュータ１０は、視点位置を計測するためのプログラムを実行することで、視線解析手段１１及び視点位置特定手段１２として機能する。
【００２５】
視線解析手段１１は、撮像した画像について画像解析を行い、かかる画像解析に基づいて、少なくとも両眼球Ｌ及びＲの視線方向を求めることができる。ここでは、少なくとも画像解析を行って瞳孔の位置及び形状（瞳孔位置形状）と角膜上の反射光の位置及び形状（反射光位置形状）とを得て、その結果に基づいて幾何学的条件に従った計算等により左右の眼球Ｌ及びＲのそれぞれの視線方向を得るのである。また、左右の眼球Ｌ及びＲの回転中心及び、両眼球Ｌ及びＲの眼球間距離を算出することもできる。なお、各眼球の視線方向を求める方法については以下に示す公知のシステムによる方法と同様の方法を用い得る。
【００２６】
かかるシステムの１つは、頭部が固定された被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込む手段と、取り込まれたそれぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算する手段とを備え、あらかじめ計測しておいた反射光重心位置と角膜曲率中心のＸ方向の距離及びＹ方向の距離、角膜曲率中心と眼球回転中心の距離、瞳孔中心と眼球回転中心との距離を利用して、反射光重心位置と瞳孔中心位置からカメラに対する視線ベクトルを求めることから成る視線検出システムである。すなわち、取り込んだ画像を画像解析し、瞳孔位置形状及び反射光位置形状により眼球の視線方向を求めている。なお、角膜曲率中心は角膜を球の一部としたときのかかる球の中心であり、眼球回転中心は眼球が回転する際の不動点である。
【００２７】
また、他のシステムの１つは、頭部が固定されていない被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込む手段と、取り込まれたそれぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算する手段とを備え、あらかじめ計測しておいた反射光重心位置と角膜曲率中心のＸ方向の距離及びＹ方向の距離、角膜曲率中心と瞳孔中心の距離を利用して、反射光重心位置と瞳孔中心位置からカメラに対する視線ベクトルを求めることから成る視線検出システムである。すなわち、同様に、取り込んだ画像を画像解析し、瞳孔位置形状及び反射光位置形状により眼球の視線方向を求めている。
【００２８】
視点位置特定手段１２は、視線解析手段１１によって得られた左右の眼球Ｌ及びＲの視線方向の交点を求め、三次元空間内の視点位置を計測することができる。かかる計測方法の詳細については後述する。
【００２９】
次に、計測システム１による視点位置の計測方法について、図２乃至図４を参照しつつ、詳細に説明する。
【００３０】
図２を参照すると、まず、被験者Ｐの左右の眼球Ｌ及びＲをカメラ２により撮影しその画像を得る。すなわち撮像する（撮像ステップＳ１）。次いで、得られた画像について画像解析や幾何学的条件に基づく計算などを含んだ視線解析を行い、少なくとも左右の眼球Ｌ及びＲの視線方向を求める（視線解析ステップＳ２）。ここで、両眼球Ｌ及びＲの眼球回転中心及び眼球間距離（回転中心同士の距離）を併せて求めておくことが好ましい。視線方向等は、上記したような公知の方法によって求めることができる。さらに、得られた視線方向の交点を求めて三次元空間内の視点位置を特定する（視点位置特定ステップＳ３）。
【００３１】
詳細には、図３に示すように、左の眼球Ｌの眼球回転中心を原点とし、右の眼球Ｒの眼球回転中心をＸ軸上に配置し、被験者Ｐの正面に向かう水平方向をＺ軸とし、鉛直上方をＹ軸方向とする（図４参照）よう座標を定める。ここで、眼球Ｌと眼球Ｒとの眼球回転中心距離はＣであり、上記したように画像解析に基づく視線解析によって得られた眼球Ｌ及びＲの眼球回転中心から求め得る。なお、眼球Ｌと眼球Ｒの眼球間距離は、例えば、個人差もあるが予め６０ｍｍとして定めておいて、簡易に視点位置を計測することもできる。被験者Ｐの頭の位置を固定することで、眼球位置を定めてもよい。
【００３２】
まず、眼球Ｌの視線方向から左目水平角ｒｏａｘ（単位：度）を得て、眼球Ｒの視線方向から右目水平角ｒｏａｘＲ（単位：度）を得る。ここで、左目水平角ｒｏａｘは正の値、右目水平角ｒｏａｘＲは負の値となる。さらに、求める視点位置Ｔを頂点の１つとして左右の眼球Ｌ及びＲを結ぶ三角形において、視点位置Ｔと眼球Ｒとの間の辺の長さをＡ、視点位置Ｔと眼球Ｌとの間の辺の長さをＢ、眼球Ｌと眼球Ｒとの間の辺の長さを上記したようにＣとする。つまり眼球間距離は回転中心同士の距離である。また、かかる三角形の角辺の対角はそれぞれａ、ｂ、ｃとする。すると、ａ＝９０−ｒｏａｘ、ｂ＝９０＋ｒｏａｘＲである。つまり、角度ａ及びｂは視線解析によって得られる左目水平角ｒｏａｘ及び右目水平角ｒｏａｘＲによって記述でき、角度ｃも同様である。
【００３３】
このとき、正弦定理により
【数１】
2016057906.tif 000003
であるから、視点位置の座標（ｘ，ｚ）は以下のように記述できる。
【数２】
2016057906.tif 000004
つまり、視点位置の水平方向成分（Ｘ−Ｚ平面上の位置）は、左目水平角ｒｏａｘ及び右目水平角ｒｏａｘＲから求められる角度ａ、ｂ、ｃと、左右の眼球Ｌ及びＲの間の距離Ｃとによって記述できる。
【００３４】
図４に示すように、鉛直方向成分（ｙ）は、上記で求めたｚと左の眼球Ｌによる視線方向から求めた左目鉛直角ｒｏａｙとを用いて以下のように記述できる。
【数３】
2016057906.tif 000005
視点位置の座標のうちｚは以下のように確定したから、
【数４】
2016057906.tif 000006
これを、上記した式に代入してｙを求めることができる。なお、右の眼球Ｒによる視線方向から求めた右目鉛直角ｒｏａｙＲを用いても同様に、以下の式からｙを求めることができる。
【数５】
2016057906.tif 000007
【００３５】
上記したように、左目鉛直角ｒｏａｙ又は右目鉛直角ｒｏａｙＲの一方のみからｙを求めてもよいが、両者からそれぞれｙを求めて一致するかを確認したり、ずれの生じる場合にそれぞれ求めた２つのｙを平均したりできる。また、左目鉛直角ｒｏａｙ及び右目鉛直角ｒｏａｙＲの平均値から、
【数６】
2016057906.tif 000008
のようにｙを算出するなど、適宜両者を使用してもよい。
【００３６】
以上のようにして１フレームの画像から視点位置を計測できる。また、上記した撮像ステップＳ１、視線解析ステップＳ２、視点位置特定ステップＳ３を繰り返すことで、被験者Ｐの視線の移動による視点位置の移動を追従するように順次、視点位置を計測して、視点位置の移動の軌跡を得ることができる。
【００３７】
図５に図１を併せて参照すると、被験者Ｐにディスプレイ４のターゲットＴ１及びＴ２を所定の規則で視認させ、被験者Ｐの視点位置を連続して計測した。かかる所定の規則は、中央手前のターゲットＴ１を基準位置として、これを視認した後、左上奥のターゲットＴ２を視認し基準位置を視認、右上奥のターゲットＴ２を視認し基準位置を視認、という視認の順番である。図５（ａ）は、水平方向の、すなわちＸ−Ｚ平面上の視点位置の移動を示し、図５（ｂ）は、鉛直方向の、すなわちＺ−Ｙ平面上の視点位置の移動を示している。以上のように、計測システム１を用いて被験者Ｐの視点位置の計測を行えば、両眼球Ｌ及びＲの視線方向を時間差なしで得ることができ、眼球運動の計測を行い得るレベルで三次元空間内における視点位置を計測することができる。
【００３８】
ここまで本発明による代表的実施例について説明したが、本発明は必ずしもこれに限定されるものではない。当業者であれば、本発明の主旨又は添付した特許請求の範囲を逸脱することなく、種々の代替実施例及び改変例を見出すことができるだろう。
【符号の説明】
【００３９】
１    視点位置の計測システム
２    カメラ
３    ＬＥＤ
１０    コンピュータ
１１    視線解析手段
１２    視点位置特定手段
【図１】
2016057906.tif 000009
【図２】
2016057906.tif 000010
【図３】
2016057906.tif 000011
【図４】
2016057906.tif 000012
【図５】
2016057906.tif 000013