装用を感じさせない眼球運動計測装置の開発
Eye-movement measurement system with low level of mental workload

１．背景
１.１ 視線計測
眼球の垂直水平運動計測（すなわち視線追跡）は、装置装用者の興味の対象や程度などを検出できる。視線計測で一般的に用いられる方法は、角膜反射法と瞳孔法である。前者は、集光点を角膜に照射し、眼球と角膜の回転中心が異なることを利用した虚像（プルキ

星野 聖 (Kiyoshi HOSHINO, Dr. Med. Sci. and Dr. Eng.)ンエ像）の移動を利用する。原理的には高精度な計測

筑波大学 教授が可能であるが、その分、測定中の頭部とカメラとの(Professor, University of Tsukuba)

ずれに弱く、カメラが少し動いただけでも視線が動い

電子情報通信学会 ロボット学会 生体医工学会
受賞：Laval Virtual Award (フランス) (28 Mar. 2013) Laval VirtualAward (フランス) (10 April, 2014) ISER International Conference (台湾) にて Best Paper Award (26 Dec. 2015)
著書：星野 聖, 以後直樹: “手指の画像データベース化と産業応用,” 三次
元画像センシングの新展開, エヌ・ティー・エス, (編) 岩堀祐之, 3-4, 2,
pp.327-336, 2015
K.Hoshino: "Hand Gesture Interface forEntertainment Games," ed. R.Nakatsu, M.Rauterberg, and P.
Ciancarini, Handbook of Digital Games and Entertainment
Technologies (ISBN: 978-981-4560-52-8), Springer, pp.1-20, 2015 星野聖, 冨田元將: “第 3 章 第 9 節 超小型軽量メガネ型眼球運動計測装置の開発と安全運転支援への応用,” ドライバ状態の検知・推定技術と運転支援・自動運転への応用, 技術情報協会, (編) 村上謙吉, 3, 5, pp.297-303, 2016
研究専門分野：生体情報工学 医用工学 ヒューマンインターフェース
ロボティクス

たと誤認識されやすい。そのため、ベルト等による強固な頭部固定が不可欠であった。後者は、カメラで瞳孔を撮像する方式のため、眼球とカメラの位置関係には頑強であるが、瞳孔映像を楕円近似するため、瞳孔映像が眼瞼（まぶた）や睫毛で遮蔽されやすく、装置装着者は意図的に眼をしっかりと見開き、水平か上方を見ている状態が望まれた。なお、前者のプルキンエ
像を用いる方法でも、後者の瞳孔映像を用いる方法でも、後述する眼球回旋運動は計測できない。
他方において、眼球は水平垂直に動くだけではない。
例えば、頭部を左右に傾けると、それと逆方向に眼球が回旋し、頭部や体躯が傾いても視界が傾かないようにする。また、回転する映像を観視した場合でも眼球回旋は起きる。車酔いや宇宙酔い、映像酔いや 3D（立本稿では、スマートグラス程度の大きさと体映像）酔い、あるいは、それらに伴う目眩（めまい）重さで、かつ頭部への強固な計測装置固定が要らないや気持ち悪さが生じている場合、眼球回旋運動が生じため、長時間のモニタリングが可能で、しかも、ゴーていることが多いため、眼球回旋運動は不快感の生理グル等による背景光遮光も要らない、高精度の眼球運的指標としても利用可能である。

あらまし動計測システムについて紹介する。中心となる技術は、
１.２ 眼球回旋計測

ほとんど明るさを感じないくらいの、ごく微弱な青色光を眼球白目部分に照射し、それにより濃淡コントラ

医用目的では、無意識に発生する眼球回旋運動（眼ストを向上させた血管映像を、高速かつ高精度に追跡振）を計測することにより、めまいの検出に利用可能する技術である。これにより、装用を感じさせずに、である。めまいの原因を大別すると、(1) 動脈硬化等

昼夜を問わず、長時間の眼球運動計測が可能となる。

による大脳の病変、(2) メニエール病、急性前庭神経

カメラの画質も、VGA 程度の解像度があれば十分な高炎、良性頭位発作性めまいなどの耳鼻科の病気、(3) 脳精度推定ができるため、超小型カメラでのシステム実卒中、脳血栓、腫瘍が原因の脳幹や小脳の異常、(4) 血装が可能である。システム評価実験では、通常程度の圧、貧血、低血糖症が原因の全身状態異常、(5) うつ仕様の PC を用い、周辺の光環境を変えた場合でも、病、他が原因の精神的な異常（自立心神経系を含む）

処理速度 60 fps 以上で、平均誤差 0.24 度以下での高に分類されるため、高精度の計測は診断にも有効であ精度の眼球回旋計測が可能であった。

る。ところが、現在の診断・計測装置では、大がかり
1

TELECOM FRONTIER No.97 2017 AUTUMN

装用を感じさせない眼球運動計測装置の開発
Eye-movement measurement system with low level of mental workload

な装置、暗室、顎台、頭部への強度の装置固定などが固定が不要な眼球回旋計測装置をまずは紹介する[1]。
小型カメラ（5.8G Wireless Mini Camera--TE60）必要で、患者やユーザへの負担が大きすぎる。
このような眼球回旋運動計測には、虹彩紋理（虹彩はカラーであり、ビデオ送信ユニットも含めた大きさにある放射状の模様）を追跡することで求める方法がは 33 × 10 × 10 mm、画角が 90 度、解像度が VGA（640大半である。ところが、照明環境により瞳孔直径は変× 480 pixel）相当である。カメラ素子と送信ユニット化し、それに伴って虹彩紋理パターンの形や位置も変とが単四電池 3 個で駆動される。メガネフレームには、化する。報告の中には、解像度 640 × 480 画素程度の近赤外および青色の 2 種類の LED を設置した。瞳孔眼球映像において、誤差が 0.1 度以下での計測が可能でおよび虹彩の部分には近赤外線 LED を照射し、瞳孔あると主張するものもある。しかし、誤差 0.1 度以下のと虹彩の濃淡コントラストを強調するようにした。外精度を出すためには、虹彩が変形しないようにゴーグ側白目領域には青色 LED を照射して、白目と血管のル等により背景光を遮光することが不可欠であった。

濃淡コントラストを強調するようにした。それぞれの光強度は、近赤外光は瞳孔を明瞭に撮像できる程度の１.３ 本研究の目的強さ、青色光は装用者がまぶしさや視覚的な不快感のない程度に明るくした。電池の重さ 45 g を除くと、装すなわち、従来の視線および眼球回旋の計測では、置の重さは 85 g である。

頭部への装置固定と遮光用ゴーグルとが不可欠であるため、低負荷の長時間計測が不可能であった。しかし、ソフトウエアの基本構成について説明する。本手法

星野らは、ゴーグルによる背景光遮蔽と、ベルト等ににおいて追跡するのは、画像上における結膜血管端のより装置を頭部に強く固定する必要がなくなる新手法位置である。しかし、最終的に求めたい値は眼球回旋について検討を行ってきた。眼球運動計測ユニットが角度である。そこで、第一に瞳孔の輪郭（すなわち虹とにかく小型かつ軽量になると、バスやトラック等の彩の内縁）に沿った楕円極座標系を求める。赤外線を長距離ドライバに長時間装着してもらえるようになる照射された場合、他の領域と比べて瞳孔領域では画素し、耳鼻咽喉科めまい外来患者にとって負荷の少ないの濃淡値が小さくなるため、上述した赤外線照明と 2眼振診断が可能となったり、ホルター心電計のように値化処理とにより、瞳孔領域を抽出する。得られた瞳常時装着して、低負荷で長時間の眼球運動モニタリン

孔領域の輪郭に対して、最小二乗法を用いて楕円近似グも可能となったりする。さらには、ヘッドマウントを行い、極座標系を設定する。

ディスプレイ（HMD）内部に搭載して、眠気、体調不第二に、追跡すべき結膜血管端を選択する。瞳孔中良、眼精疲労、光感受性発作などの検出も期待できる。

心から眼球の外側に向かって、虹彩外縁に存在する結そこで本稿では、非常に微弱な青色補助光を装置装膜血管端を選択し、テンプレート画像とする。結膜血着者の眼球に照射することで、眼球の白目（結膜およ管は、背景である強膜（すなわち白目領域）と比べて、び強膜）にある血管像の濃淡コントラストを強調し、画素の濃淡値が小さくなるため、2 値化処理を行うこ

これにより、計測装置の頭部への強度固定とゴーグルとで簡単に抽出することができる。

等による背景光遮光とを不要にし、そして同血管像を第三に、テンプレートマッチングによる結膜血管端トラッキングすることで、眼球回旋と視線を高精度にの追跡を行う。しかし、追跡すべき血管端の位置の変計測する手法を紹介する。

化は、眼球回旋により生じるだけでなく、眼球の水平垂直運動すなわち視線移動によっても生まれる。眼球２．システムの構成は球体と見なして良いので、視線の移動によって変化

２.１ 基本構成

する成分は、瞳孔輪郭あるいは虹彩輪郭の長軸や短軸

星野らは、何種類かの眼球運動計測プロトタイプ機をの変化と見なして良い。テンプレートマッチングによ試作しているが、ワイヤレス超小型カメラを軽量で簡易り得られた 2 次元画像上の結膜血管端の位置から、視なメガネフレームに固定した、ベルト等による頭部への線移動成分を差し引き、極座標系へ変換することで、2TELECOM FRONTIER No.97 2017 AUTUMN

装用を感じさせない眼球運動計測装置の開発
Eye-movement measurement system with low level of mental workload

る結膜血管端を 1 つだけ選出し、テンプレート映像を眼球回旋角度を求めることができる。
また、高速カメラを用いた虹彩紋理を使わない眼球取得する。次に、図 1 のスクリーントーン部分で示す回旋運動計測装置の例も紹介する[1][2]。同装置は、モような、眼球中心とほぼ同じ高さで虹彩と白目を跨ぐノクロ CMOS カメラ（FFMV-03MTM-60）、赤外線概ね矩形の領域において、テンプレート映像と原画像LED、青色 LED をゴーグル（廉価な防塵マスクを改変）のテンプレートマッチングを行い、追跡を行う血管端に固定して眼球の撮像を行う。赤外線 LED はカメラ下を検出する。この青色領域は、回旋方向に対して±30方に設置し、眼窩に向けて照射する。照射された赤外度の幅を持っており、瞳孔の上下左右運動に追従して光によって、瞳孔と虹彩のコントラスト、虹彩パター移動する。テンプレートマッチングの範囲を青色領域ンの濃淡が強調される。また、青色 LED はゴーグル右に限定することで、高速かつ正確なトラッキングを行目部位に設置し、右眼球の外側白目領域に向けて照射うことができる。

し、白目と血管領域のコントラストの強調を行う。
まず、虹彩の輪郭を二値化処理により求め、虹彩輪

２.２ 専用ハードウエア郭に接している結膜血管の端点を検出する。複数検出

眼球運動計測装置の専用ハードウエアについては、された血管端のなかで、上下の瞼からほぼ等距離にあ

図 2 のような基板ブロック図の構成を設計した[2][3]。

図１

虹彩輪郭に接している結膜血管の端点検出による眼球回旋運動推定の動作例

カメラ素子(左端)の大きさは 1 円硬貨の 5 分の 1程度であり、市販のメガネフレーム等に支障なく取り付けることができる。
上段に写っているのは、大容量リチウムバッテリー。

図２ 専用ハードウエアの基本構成

3TELECOM FRONTIER No.97 2017 AUTUMN

装用を感じさせない眼球運動計測装置の開発
Eye-movement measurement system with low level of mental workload

カメラの焦点距離 20 mm、画角 90 度程度、解像度３．

VGA、撮像速度 90 fps、無線通信である。同構成では、暗環境下での計測

３.１ ハードウエア

小型カメラモジュールの映像を SDRAM と FPGA で本章の目的は、ヘッドマウントディスプレイ（HMD）受け、HDMI（フルハイビジョン）で無線通信ユニッを装着し、輝度の低い映像コンテンツを観視しているトへ出力する。撮像素子の解像度が VGA なので、時でも、あるいは、夜間の自動車運転時においても、HDMI では最多で 6 枚の VGA 画像を一度に無線通信眼球回旋運動を高精度に計測できるようにすることででき、90 fps の VGA 画像が転送できる。

ある。そこで、暗環境下で眼前に置かれたモニター以外からは、眼球とその周囲に光が照射されない状態で２.３ ビデオスタビライズの眼球回旋運動計測を目指す[4]。そのため、提案シス装着した装置がユーザの頭部や体の動き、あるいは、テムは、カラーボードカメラ（MS-54）、赤外線 LED、装置の自重によりずれた場合でも正確な眼球運動計測

青色 LED、映像コンテンツ提示用のモニターを用い、が行えるよう、次のような映像ブレ防止機能（ビデオ厚紙で手作りした簡易なゴーグル型 HMD の内部にそスタビライズ制御）を搭載した[2][3]。

れら電子部品を内蔵し、実験を行った。

カメラを設置したメガネフレームが正しく装着されカラーボードカメラは、眼球と同じ高さで、眼球かた状態で眼球画像を撮像し、これを基準画像とする。

ら 20 mm 離れた正面から目尻側へ 50 度の方向に設置

基準画像である 1 枚目の眼球画像に対して、目尻部分し、主に眼球の黒目と目尻側の白目領域とを撮影した。と目頭部分の矩形抜き出しを行って 2 つの特徴点を求赤外線 LED は、カメラの下方に設置し、眼球に向かめ、かつ後述する基準に従って 3 番目の特徴点を決定って照射することで瞳孔領域を強調した。青色 LEDする。そして、2 枚目以降の眼球画像に対しては、1は、眼球と同じ高さで、眼球から 70 mm 離れた正面枚目の画像から作成したテンプレート画像をもとに、から目尻側へ 70 度の方向に設置し、眼球の白目領域目尻と目頭の位置と 3 番目の点を求め、Affine matrixに光量 0.2 mcd の微弱な青色光を照射した。その目的を計算する。基準画像と 2 枚目以降画像の 2 組の 3 点は、第 2 章で述べたように、白目領域に存在する血管位置から、Affine 変換により 2 枚目以降の眼球画像を像の濃淡コントラストを強調するためである。

基準画像の位置に戻すようにした。ここで、3 番目の眼球から 4.5 cm 離れた位置に 4.7 インチのモニター点については、目尻と目頭との 2 点間の距離が拡大・が設置され、映像コンテンツを提示した。本実験では、縮小するのに利用できるように、基準画像と変換画像

画像解像度 720 × 480 pixel、撮像速度 59.94 fps で眼（すなわち、2 枚目以降の画像）の双方において、3球回旋運動計測を行った。

点が作る三角形がなるべく相似形になるように設定した。また、この三角形は二等辺三角形で、3 番目の点３.２ 画像処理
暗環境下で撮像された眼球画像、もしくは HMD 等が目頭に近い側で決定するようにした。
特徴点抽出とテンプレートマッチングは、誤検出をで遮光された状態で低輝度の映像コンテンツを観視し少なくするため、また、処理の高速化のため、目尻とている場合には、図 3(a)に例示するように、眼球の白目頭が存在すると推定される領域に処理範囲を限定し目領域（強膜および結膜）と、そこに存在する血管像た。特徴点抽出方法は Harris エッジ検出器を使用しは不明瞭にしか写らない。黒色枠内における輝度値のた。さらに、テンプレートマッチングにおいて、一致ヒストグラムを求めると、輝度値の度数が偏って分布度が低い場合はエラーとして処理するようにした。

しており、そのため血管像と白目領域と血管像との濃同手法によれば、眼球運動計測装置が固定されるメ淡コントラストが小さく、血管像を適切に抽出するのガネフレームが顔面からずれた場合でも、通常使用程が簡単ではない。

度のフレームのずれなら支障なく眼球回旋運動が計測

そこで、詳細説明は省略するが、適切な画像処理を行うことで、この問題の解決を図る。すると、図 3(b)できた。
4TELECOM FRONTIER No.97 2017 AUTUMN

装用を感じさせない眼球運動計測装置の開発
Eye-movement measurement system with low level of mental workload

(a)

(b)

図３

暗環境下で撮像された眼球画像(a)と、適切な画像処理を施されて濃淡コントラストが強調された眼球血管像の例(b)に例示するように、同じ眼球画像の場合でも、白目領2.5域と血管像との濃淡コントラストが大きくなり、血管proposed像が強調される。

conventional

４．推定精度

error [degree]

従来法の「虹彩の濃淡パターン」（虹彩紋理）を用いる方法と、「白目血管映像の端点」を追った本手法とでは、例えば、精度が格段に異なる。図 4 は、第 2 章で述べた手法により、眼球回旋運動推定を行った結果である。瞳孔径が小・中・大（すなわち、周囲の光強度が強・中・弱）の場合の本手法（黒色棒）と、従来手法（横線棒）との計測誤差をプロットした。同図から、

0

背景光強度が変化し瞳孔径が変わっても、本手法の精small度がきわめて良好なのが見て取れる。平均誤差 0.24

middlelarge

pupil size

度以下での眼球回旋計測が可能であり、計測限界であそれぞれの棒の高さが推定誤差の平均値で、そこから伸びる縦棒が標準偏差を表している。
3 本の黒色棒が本手法による推定誤差であり、いずれの背景光環境でも推定誤差が極めて小さいのが見て取れる。

る分解能付近の値となった。従来手法は、まばたきにより一部でも映像が遮蔽されると、推定精度が格段に低下するだけでなく、瞳孔径が変化すると虹彩紋理の位置や形も変化するため、光環境も厳密に統制する必

図４要があったが、本手法では，虹彩付近でかつ瞳孔中心

背景光環境が変わり瞳孔径変化した
場合の本手法推定精度から真横にある血管映像を特に用いるため、まばたきや視線移動により遮蔽されにくく、背景光変化の影響も受けないため、昼夜を問わず計測が可能である。な

さらに、画像読み込みと回旋角度算出処理を並列化

お、推定誤差を求めるための真値（ground truth；グさせることにより、画像読み取り速度を 16.6 ms（60ラウンドトゥルース）は、実験者がフレームごとに目fps）に設定しても異常なく動作するため、本システム

視により求めた眼球回旋角度である。の処理速度は 60 fps か、それ以上の速さであった。
5TELECOM FRONTIER No.97 2017 AUTUMN

装用を感じさせない眼球運動計測装置の開発
Eye-movement measurement system with low level of mental workload

５．まとめ

参考文献

超小型で超軽量な眼球運動計測装置であるなら、例[1] 中込広幸, 星野 聖: “結膜血管端検出による高速高えば、長距離ドライバのよそ見や居眠りの検出、突然

精 度 眼 球 回 旋 計 測 ,” 信 学 論 (D), J96-D, 4,の体調不良の検出と予測などが期待できる。また、どpp.876-884, 2013.

こを見て運転しているかなども、安全運転の観点から[2] K.Hoshino and H.Nakagomi: “High-accuracy

極めて重要である。例えば、2015 年度の情報では、バ

measurement of rotational eye movement by

ス 58,793 台、タクシー243,247 台、商用トラック

tracking of blood vessel images,” 36th Intl. Conf.

1,399,418 台の合計 1,701,458 台が国内に保有されてIEEE Engng. in Medicine and Biology Society,

おり、バス運転者数 74,644 人、タクシー運転者数

19870778, pp.6339-6344, 2014.

371,245 人、商用トラック運転者数 1,399,418 人（ト[3] K.Hoshino, N.Ono, M.Tomida, N.Igo: "Measurement

ラック 1 台 = 1 運転者と仮定）の合計 1,845,307 人がof rotational eye movement with blue light

自動車運転に従事している。自動車運転者、特に長距

irradiation," Proc. 3rd Intl. Conf. on Biomedical

離・長時間ドライバの運転状態や体調のモニタリング

and Bioinformatics Engineering, pp.50-54, 2016.
[4] K.Hoshino and N.Ono: “Measurement of eyeballは、極めて重要である。

rotational movements in the dark environment,”

また、ヘッドマウントディスプレイ（HMD）は、IT戦略に革命を起こすであろうハードウェア・ブレーク

WACV2017

Workshopon

HumanActivity

スルーの一つと見なされているが、世界中の 2016 年

Analysis with Highly Diverse Cameras, pp.75-80,の HMD 出荷台数が約 1,000 万だったのに対して、2017.

2020 年には 1 億 1,000 万台にも達するとの予想がある。それに伴って、映像酔い、3D 酔い、VR 酔いが大きな問題になることも予想され、ユーザや装着者に生体負担を与えないようにしつつ、体調や心理状態を長時間モニタリングする仕組みが必要となる。
本稿では、スマートグラス程度の大きさと重さで、かつ頭部への強固な計測装置固定が要らないため長時間のモニタリングが可能で、しかも、ゴーグル等による背景光遮光も要らない、高精度の眼球運動計測シス
テムについて紹介した。中心となる技術は、ほとんど明るさを感じないくらいの、ごく微弱な青色光を眼球白目部分に照射し、それにより、濃淡コントラストを向上させた血管映像を高速かつ高精度に追跡する技術である。これにより、装用を感じさせずに、昼夜を問わず長時間の眼球運動計測が可能となる。カメラの画質も、VGA 程度の解像度があれば十分な高精度推定ができるため、超小型カメラでのシステム実装が可能である。システム評価実験では、通常程度の仕様の PCを用いて周辺の光環境を変えた場合でも、処理速度 60

この研究は、平成２５年度ＳＣＡＴ研究助成の対象とfps 以上で平均誤差 0.24 度以下での高精度の眼球回旋して採用され、平成２６～２７年度に実施されたもの計測が可能であった。

です。

6TELECOM FRONTIER No.97 2017 AUTUMN