情報処理学会 インタラクション 2014
IPSJ Interaction 2014

14INT007
2014/2/28

サッケード追尾可能な視線計測カメラの開発とそれを用いるインタラクションの可能性
川上 隼斗1,a)

笹田 裕太1,b)

五十嵐 覚1,c)

秋田 純一1,d)

概要：視線計測はユーザインタフェースや心理状態の分析などインタラクション分野での幅広い応用が期待されている．サッケードと呼ばれる高速な眼球運動は，従来の視線計測システムではリアルタイムでの追尾が不可能であるものの，新しいインタラクションへの応用が期待されている．本稿では，サッケードを含む眼球運動を 500[fps] 以上の高フレームレート，かつリアルタイム (低レイテンシ) で計測・追尾が可
能な視線計測システムの開発について，高速カメラと FPGA を用いた実動作検証システムと専用イメージ
センサの設計のそれぞれについて述べる．またそれを用いて「サッケードが行き着く先」を先回りで予測する手法について検討した結果について述べ，さらにそのリアルタイムのサッケード予測を用いるインタ
ラクションの可能性について考察する．

Line-of-Sight Detection Camera with Saccade Tracking Capability
and Its Applications for Interaction
Kawakami Hayato1,a)Sasada Yuta1,b)

Igarashi Satoru1,c)Akita Junichi1,d)Abstract: Line of Sight (LoS) measurement is expected to have wide application area, including user interface and psychological analysis. The saccade, one of the eye motion type, is also expected to be a new typeof interaction technique, however, it is impossible to measure and track the saccade with high frame rate andlow latency by using the conventional LoS measurement system. In this paper, we describe the real time LoS
measurement system at frame rate of 500[fps], implemented by using high speed camera and FPGA, as wellas integrated image sensor. We also describe the evaluation on the prediction of saccade destination, and thepossibility on its applications for interaction.

1. 背景
眼球の運動状態を観測することで，我々が何をどのように見ているか知る視線計測技術は，PC 操作におけるポイ

や眼鏡等の頭部に装着されたカメラにより取得した眼球付
近の画像から視線情報を求める手法は，ユーザへの低侵襲性から幅広い用途が期待され，インタラクション分野でも更に幅広い応用が期待される．

ンティングデバイスのようなユーザインタフェースとして眼球運動の中には，サッケード（Saccade）と呼ばれるの利用だけでなく，視線から心理状態の分析や，自動車運

非常に高速な不随意運動が存在する．これは，ある注視点

転の支援への応用も数多く研究されており [1], [2]，また低からある注視点へ視線を移動させる際に，多いときには 1

価格の製品 [3] も登場してきたことで，今後さらに応用分秒間に 5 回程度発生し，その最大速度は 500[deg/sec] に達野が拡大することが期待されている．特に机上の操作機器

する [4] ことが知られている．サッケードが起こっている1

期間に網膜から得られる像は，カメラを素速く動かしたと

a)
b)
c)
d)

金沢大学大学院 自然科学研究科 電子情報科学専攻
Division of Electrical and Comp. Eng., Kanazawa University, Kakuma, Kanazawa, Ishikawa 920–1192, Japan
kawakami@ifdl.jp
sasada@ifdl.jp
igarashi@ifdl.jp
akita@is.t.kanazawa-u.ac.jp© 2014 Information Processing Society of Japan

きの動画像のようにブレが大きいが，脳の視覚野での処理により，普段はサッケード期間中には視覚情報がほぼ遮断されている [5]．一方，このサッケードを積極的に利用する
新しいユーザインタフェースもその可能性が提案されてい49

る [6]．
従来のカメラベースの視線計測システムでは，カメラからの画像読み出し速度とその画像に対する視線計測処理速度という 2 つの速度向上に関するボトルネックが存在する．
そのため，多くの視線計測システムではフレームレートが60[fps] 程度にとどまり，視線の大きな移動から「サッケー
ドが起こったこと」はわかるものの，その過程を追尾する
図 1

ことはできない．高速カメラを用いて 240[fps] 程度の視線計測された赤外線眼球画像の例

Fig. 1 Example of an infrared image of eye.

情報の記録を行うことが可能なシステムも存在し [7]，サッ
ケードの過程の記録は可能であるが，視線計測のための画像処理をソフトウエアあるいはパイプライン処理のハード

さらに大きく広がりつつある．

ウエアで行うため，画像の取得から視線情報の算出までの一方，視線情報のうち停留点だけでなく，サッケードをレイテンシ（時間遅れ）が大きく，サッケードが起こって積極的に活用するインタラクションに関する研究も存在すいる時点での視線の動きをリアルタイムで追尾することはる．渡邊ら [10] は，固定された 1 次元の光点列を数 [ms] 程できない．

度の周期でパターンに従って点滅させ，ユーザがそれを見

本稿では，サッケードを含む眼球運動を 500[fps] 以上のているときに起こるサッケードによってそのパターンが二高フレームレート，かつ 1 あるいは 2 フレーム時間の低次元に展開されたイメージを知覚することができるディス

レイテンシで計測・リアルタイム追尾が可能な視線計測シ

プレイを開発している．ただしユーザが意図的にサッケー

ステムの開発について述べる．またそのシステムによる，ドを起こすことはできないため，そのイメージが現れるタ「サッケードの起こり始め」から「サッケードが行き着く

イミングを制御することはできない．

先」を先回りで予測する手法について検討し，またそのリ

また安藤ら [11] は，生体信号を利用した EOG 法によりアルタイムのサッケード予測を用いるインタラクションのサッケードをリアルタイムに検出し，それを積極的に用い可能性について考察する．

ることでユーザに精度良く情報を提示す手法を提案して

2. 関連研究
視線計測手法には多くのものが知られているが，大きく次の 3 種類に分類できる．

• 画像計測法

いる．

3. サッケード追尾可能な視線計測カメラの開発
本節では，サッケードを含む視線の高速・リアルタイム• EOG (Electro Oculo Gram) 法（低レイテンシ）計測を可能とする小型カメラデバイスの• サーチコイル法実現を目的とし，その実装方法の検証のために，高速カメ

画像計測法は，机上の機器や眼鏡等で頭部に置いたカメラ

ラと FPGA (Field Programmable Gate Array) を用いたから眼球付近の画像を取得し，それから視線情報を求める

高速・低レイテンシ視線計測システムの実装，および小型ものであり，画像計測処理の工夫による高精度化 [8] や，

カメラデバイスの開発状況について述べる．

頭部の動きに対するロバスト性を高める [9] ための多くの研究がある．EOG 法は，眼球の周り筋肉の動きを計測す

3.1 視線計測の原理

る筋電信号から視線情報を求める手法であり，100[Hz] 程

本稿では，視線計測に必要となる眼球位置検出手法とし度と比較的高速であるが外来ノイズに弱いという欠点があて，画像計測法の一種である暗瞳孔法を用いる．これは眼る．サーチコイル法は小型コイルが付いたコンタクトレン

球に対し近赤外線を照射し，その反射光を赤外線カメラでズをユーザが装着し，その動きを眼球付近に装着する検出

計測するものである．このときに観測される眼球画像の例

コイルによって検知する手法であり，ユーザへの侵襲性がを図 1 に示す．暗瞳孔法では，瞳孔のみが非常に低輝度高いが，非常に高速・高精度であるという特長がある．

な，円に近い領域として得られる．この瞳孔領域は，周囲得られた視線情報を用いるアプリケーションについてと比べて輝度コントラストが大きく，輝度しきい値によるは，視線がとどまっている箇所（停留点）の情報を用いる

二値化が容易である．なお瞳孔以外にもまつ毛などの黒いものとしては，ポインティイングデバイスなどのユーザイ

領域は存在するが，瞳孔領域の面積が大きいため，眼球をンタフェースとしての応用が多数研究されており，それ以含む横長の眼の領域に対して黒い画素領域の重心を求める

外にも心理状態の分析や，その自動車運転の支援 [1], [2] なことで，ほぼ正確に瞳孔の位置を求めることができる．などどの数多くの研究がある．PC に USB 接続する安価な小お視線が上下に向いている場合に瞳孔がまぶたに隠れた状型視線計測装置 [3] の登場により，視線情報の応用分野は

態や，まつ毛が長いユーザでは，求められる瞳孔領域の重© 2014 Information Processing Society of Japan

50

x
APS

APS

APS

APS

...

y

APS

APS
APS
...

APS

Pixel plain

Row select decoder
...

APS

APS

APS

X

APS

Divider...

Raw pixel
data output

Column select decoder

Pixel selectorVref

図 2 列並列処理アーキテクチャの Vision Chip

- +Comparetor

Fig. 2 Column-parallel vision chip architecture.

Ci

心の精度が悪化するが，4 節で述べるような，計測前のキャリブレーションによって，これらの要因の影響を極力排除S求められた瞳孔領域の中心（重心）と眼球の幾何学構造
やカメラとの位置パラメータから，視線方向の算出が可能

S0

Su

S1

...

することが可能である．

Co
Ci

Su

Su

Sn-1

SXu

SX0

SXu

SX1

Co

である．これらの処理は，得られた瞳孔の中心座標というCi

1 組の値に対するものであるため，その処理時間は，画像PE

X0

処理の時間に比べて無視できるほど短いと考えられる．そX1

こで本稿では，最も処理時間のかかる瞳孔の中心座標の算

SX

Co
Ci

Xn-1

こからの視線情報の算出は，4 節で述べる簡易な方法を採
用する．

SXu

SXn-1

SYu

SY0

SYu

SY1

Co

一般に画像中の領域の重心の座標 (x, y) は (1) 式で表さ

∑ ∑

∑ ∑

∑ ∑

y x · pxy

x

x

Ci
Y0

れる．
(
∑ ∑

x=

...

出を専用ハードウエアで実現することを主な目的とし，そ

y pxy

,

y=

x

x

y y · pxy
y pxy

)

Y1

(1)

SY

ここで pxy は画素 (x, y) の二値化後の画素値（0 または 1）

Yn-1
SYu

を表す．(1) 式より，領域の重心の算出には次の (2) 式の 3
つの項を求め，これらの比を求めれば良いことになる．

)
∑ ∑
∑ (∑

S =

x
y pxy =
x
y pxy

) 
∑ ∑
∑ (∑
SX =
x
·
p
=
x
·
p
(2)
xy
xy
x
y
x
y

) 
∑ ∑
∑ (∑

SY =
y · pxy =y · pxy 
x

y

x

y

...

Co
Ci

SYn-1

Co

図 3

重心算出機能を持つ列並列構成イメージセンサの 1 列分のアーキテクチャ

Fig. 3 Column-parallel image sensor architecture for centroid
calculation (for one column).

3.2 高速低レイテンシの視線計測カメラのアーキテクチャ

作速度 (100[MHz] 程度) の大きな差に着目し，処理の並列

サッケードを含む高精度な視線計測検出のためには，高度を，画素単位ではなく列単位に落とすことで，十分な速解像度と高フレームレート，低レイテンシのすべてを両度の画像処理と通常の CMOS イメージセンサ程度の高い立することが必要となる．著者らはこれまでに，カメラ

解像度を両立することが可能である [12]．

（CMOS イメージセンサ）と同一チップ上に画像処理回路

図 3 に列並列構成の重心算出機能を持つイメージセンを統合する，いわゆる Vision Chip として，視線計測処理

サの 1 列分のアーキテクチャを示す．ここで APS (Activeを備えるカメラデバイスのためのアーキテクチャの検討を

Pixel Sensor) は受光素子を持つ回路，Su，SXu，SYu はそ

行ってきた [4], [12]．Vision Chip では，カメラから処理回

れぞれ重心計算に必要な (2) 式の各項 S, SX, SY を求める

路への画像転送速度のボトルネックを解消でき，高フレー

1 ビット分の回路である．イメージセンサ全体のアーキテ

ムレートでの撮像・画像処理が可能であるが，その中で，クチャとしては，この列ごとの回路に加え，各列の演算結処理回路を画素平面の列ごとに配置する列並列処理アーキ

果に対して横 (X) 方向の加算を行う回路が必要となる．

テクチャ (図 2) は，画像処理速度 (1[kHz] 程度) と回路動

© 2014 Information Processing Society of Japan

このイメージセンサ全体の動作タイミングを図 4 に示

51

Y=0
Y=1

...

X=0
Acc

I

X=1

...

...

X=X-1
Acc

｝
｝

Y=Y-1

t

I

Read-out andaccumlation
for Y-direction

Accumulation for
X-direction by
external accumlator

1 frameI

図 4: Integration

RO : Readout and digitize

Acc : Accumulation

撮像と重心算出処理のタイミング図

Fig. 4 The operation timing of image transfer and calculation.

す．画素回路である APS は，通常の CMOS イメージセ
ンサでも一般的に用いられるフォトダイオードと増幅トランジスタからなる APS 構造とし，露光に相当する蓄積

図 5 開発した高速カメラと FPGA によるカメラシステム

Fig. 5 The developed camera system composed of the highspeed camera and FPGA.

(Integration) 動作によって輝度に応じた電圧信号が得られる．なおこれらの信号を順次読み出すことで，CMOS カメラとしての撮像のみを行うこともできる．したがってモバ
イル機器のフロントカメラのように普段は通常のカメラとして使用しつつ，必要に応じて視線情報を求める，という利用形態も可能である．

APS で求められた各画素の輝度値は，縦 (Y) 方向に順次読み出されながらコンパレータにより二値化されて pxy が求められ，これらを用いて各列で並列に逐次 S, SX, SY のうちの Y 方向の加算が行われる．すなわち縦 (Y) 方向の

図 6

開発したカメラシステムにより観測された瞳孔と算出された
重心（中央の白い点）

Fig. 6 Observed pupil and the calculated centroid of captured

全画素の読み出しが終了した時点で，Y 方向の加算は終了

image.

していることになる．
その後，各列で求められた Y 方向の加算結果を，今度は横 (X) 方向に求めながら加算していくことで，最終的なS, SX, SY が求められる

3.3 高速カメラと FPGA を用いたカメラシステム
提案したアーキテクチャを CMOS イメージセンサとして実装するに先立ち，視線検出処理の検証のために高速カメ

すなわち横方向・縦方向の画素数 X, Y に対して重心算出

ラと FPGA を用いたカメラシステムを開発した (図 5)．高処理が終了するまでの全演算ステップ数は (X + Y ) となる．

速カメラには Lynx 社 IPX-VGA210-L，FPGA には Xilinx

従ってこの構成のイメージセンサに必要な回路の動作速度

社 XC6SLX150-2FGG484C を用いた．このカメラは垂直

f [Hz] は，フレームレート F [Hz] から f = F ·(Y +X) と求め

方向の読み出し解像度によってフレームレートが変化し，ることができる．本稿では，VGA 解像度（640×480[pixel]）

640×480[pixel] では 210[fps]，640×175[pixel] で 500[fps]，とフレームレート 500[fps] を目標仕様として設定する．

640×64[pixel] で 1,000[fps] の撮像と処理が可能となる．まVGA 解像度の X = 640, Y = 480，フレームレート F = 500

た FPGA 上には，3.2 節で述べた列並列処理アーキテクから f = 560[kHz] となるが，これは一般的な CMOS プロ

チャを忠実に VerilogHDL によって設計し，これとカメラ

セスで十分に達成可能な速度である．

から転送した画像を保持するフレームバッファとあわせて

なお各列の S, SX, SY を求める回路は，それぞれ 1 ビッ

実装した．実際の動作では，撮像から FPGA への画像転ト分の回路である Su，SXu，SYu を縦続接続した構成と送に 1 フレーム分の時間がかかるため，撮像から重心が得する．これにより各要素回路間の配線を最小限にしつつ，られるまでには 2 フレーム分のレイテンシが生じることに必要なビット幅の演算回路を構成することができる．S はなる．

1 ビットの全加算器と演算結果を保持する 1 ビットレジス

本カメラシステムによって求められた二値化後の瞳孔画

タ，および横 (X) 方向加算時に用いる 3 状態バッファから像と重心位置を図 6 に示す．なお図中の黒い領域が瞳孔，なり，また SX と SY はこれに 1 ビット分の乗算のための中央の白い点が算出された重心位置である．カメラの垂直AND ゲートを追加した回路構成となる [12]．

読み出し解像度とそれに応じたフレームレートでの正しい

以上により，重心計算に必要な (2) 式の各値が 1 フレー
ムごとに求められ，ほぼ 1 フレーム分のレイテンシで瞳孔位置およびそれから視線情報を得ることができる．

© 2014 Information Processing Society of Japan

動作を確認した．
またこのカメラシステムを用いて，求められた瞳孔位置と視線方向を対応させるアプリケーションを試作した．使

52

図 9
図 7

キャリブレーション機能付きのディスプレイ上の視線表示

視線計測実験の様子

Fig. 9 Setup of Line-of-Sight measurement experiment.

アプリケーション

Fig. 7 Line-of-Sight display application software with calibration operation.

4. 視線計測カメラシステムの基本性能の評価
本節では，開発した視線計測カメラシステムの，視線計
測精度とサッケード検出性能の評価を行った結果について
Select

Reset

述べる．
Pixel
(16x16)
Column Processor(x16)

4.1 視線計測精度の評価
本システムによる視線計測の精度を実験により検証した．

4.1.1 実験方法
被験者は正常な視力を持つ 21〜30 歳の男女 10 人である．眼鏡の有無の精度への影響も検証するため，裸眼（コンタクトレンズ矯正を含む）と眼鏡による矯正を行っている被験者をそれぞれ 5 名とした．

図 8 試作した視線計測 CMOS イメージセンサの評価チップ

Fig. 8 Evaluation chip of Line-of-Sight measurement CMOS
image sensor.

被験者は図 9 のような顎台に頭部を固定し，60[cm] 前方に設置されたディスプレイモニタに表示される 30×30[cm]の対象エリアを正面から見る．9 点キャリブレーション操
作の後，ランダムに提示される画面上の点を注視させ，視用に先立って，ユーザはディスプレイモニタ上に等間隔・線が定まったところで手元のボタンを操作して注視位置

格子状のキャリブレーション点を 9 点表示し，それらを注を記録する．これを 15 回繰り返す操作を 1 セットとし，視した状態での瞳孔位置との対応を記録する．それらの対各被験者が計 3 セット行う．なおカメラの位置は近赤外応関係から，各キャリブレーション点間の領域での視線位

線 LED によって照らされる被験者の右目の眼球を中心

置を双一次補間によって求め，ディスプレイモニタ上に注に 40×30[mm] 程度が撮影されるように調整し，解像度は視点を表示する．なおこのキャリブレーションと補間のア

640×480[pixel]，フレームレートは 210[fps] とした．

ルゴリズムに，より高精度な手法を適用することで，視線4.1.2 実験結果と考察

位置の高精度化も可能であると考えられる．

得られた実際の点の表示位置と求められた注視位置のディスプレイ上での距離と被験者とディスプレイとの間の3.4 CMOS イメージセンサの開発

距離から求めた，眼球回転角度の誤差を表 1 に示す．

3.2 節で述べたアーキテクチャの視線検出イメージセン

全被験者の眼球回転角度の平均誤差は 3.19[deg] であサの実現に向けて，その基礎評価のために試作したイメー

り，これは 60[cm] 前方にあるディスプレイモニタ上でジセンサチップを図 8 に示す．製造テクノロジは CMOS

は 33.4[mm] のずれに相当する．現在市販されている視線

0.18[µm] 5 層 Al プロセス，チップサイズは 2.5[mm] 角，画

計測システムや研究では精度は 0.5[deg] 以下のものが多素数は 16×16 である．本チップの評価は現在進められてく [3], [13]，それらと比較すると誤差が大きいと言える．カ

いる．

メラの水平解像度 640[pixel] と撮影対象幅 40[mm] に対して，竹上らの眼球モデル [14] を元に眼球半径 r0 =13[mm][15]© 2014 Information Processing Society of Japan53

表 1 視線計測実験における眼球回転角度の誤差

620

Table 1 The measured error view angle.
600

Set

Ave[deg]

Max[deg]

Min[deg]

1

2.12

3.22

1.07

2

0.57

0.91

0.34

3

1.85

2.50

1.27

1

2.77

5.31

0.62

2

4.43

11.2

0.21

3

1.30

5.73

0.24

1

4.01

6.11

1.73

2

2.69

3.98

0.25

3

3.88

6.40

1.90

1

1.66

3.49

0.72

2

4.71

9.78

1.76

N-1

N-2

N-3

X-Position [pixel]

580

560

540

520

500

480

N-4

N-5

0

2000

4000

6000

8000

10000

Time [ms]

(a)
520

3

4.10

7.59

0.36

519

1

0.82

1.58

0.27

518

2

0.98

2.21

0.03

3

1.61

2.85

0.44

1

3.67

7.49

0.29

2

3.43

5.86

1.33

3

4.67

6.05

2.41

1

2.26

3.32

0.65

2

2.39

6.58

0.10

3

1.25

3.16

0.36

1

2.96

5.93

0.81

2

4.18

6.45

0.98

3

4.54

11.9

0.66

1

7.56

11.1

2.67

2

3.59

5.51

2.14

3

4.94

10.0

2.14

G-1

G-2

G-3

G-4

G-5

1

5.12

7.88

4.25

2

3.36

4.07

1.89

3

4.19

7.02

1.71

X-Position [pixel]

517

516

515

514

513

512

511
6810

6815

6820

6825

6830

6835

6840

6845

6850

Time [ms]

(b)
図 10

本カメラシステムで得られた瞳孔の X 座標 (a) とその拡大 (b)Fig. 10 (a)Measured pupil position and (b)magnified graph.

4.2 サッケード追尾性能の検証
続いて，本カメラシステムでのサッケードの追尾性能の検証を行った．

4.2.1 実験方法
4.1 節の被験者 1 名に対して，本カメラシステムを用いを仮定して求めた眼球回転角度の分解能は 0.28[deg] とな

た同様の実験環境で，500[fps] での視線計測を行った．被るが，本カメラシステムでは画素座標以下の実数分解能で

験者は，ディスプレイモニタに表示された横書きの日本語

重心座標を求めていることから，理論上はこれよりも高いの文章を黙読し，その過程の瞳孔座標を記録した．カメラ

分解能を持つ．

解像度は 640×175[pixel] とし，フレームレートは 500[fps]また表 1 の結果からは，計測された眼球回転角度誤差の被験者ごとのばらつきが大きく，0.2[deg] 未満の誤差のケースもある一方でまた同じ被験者でも 3 回の試行内で 2倍以上の差があることもあることがわかる．

に設定した．

4.2.2 実験結果と考察
実験で得られた水平方向の瞳孔の動きを図 10(a) に，またその一部を拡大したものを図 10(b) に示す．図 10(a) 中

この原因としては，本実験ではカメラが机に固定され，で細かくステップ状に観測されている運動がサッケードで被験者の頭部を固定していたが，僅かな頭部の動きによりある．この結果から，サッケードの起こり始めと過程，終カメラとの相対位置が大きく変化するため，頭部の固定が了を捉えられていることが確認され，本カメラシステムに不十分であったことから，このような被験者間・被験者内

よって 500[fps] 程度でサッケードのリアルタイム追尾を行のばらつきが大きくなったことが考えられる．この問題は，うことができることが可能であることが示された．

眼鏡のようなデバイスによってカメラを頭部に固定することで大きく改善することが可能であることが期待される．
なお眼鏡の有無による精度の違いは確認されなかった．

© 2014 Information Processing Society of Japan

5. サッケードの検知と到達点の予測
サッケードのリアルタイム追尾により，サッケードの起54∆p 以下となった時点 (te , pe ) をサッケードの終了点と定義

0.9

する．なおサッケードの開始点の終了点の位置 ps , pe は，

0.8

それぞれ開始点の前 3 点と終了点の後 3 点の平均とする．

Speed, v [pixel/frame]0.7

これらから，サッケードの移動距離 d = pe − ps [pixel] と

0.6

サッケードの速度 v = (pe − ps )/(te − ts )[pixel/frame] を

0.5

求める．
なお 4.2 節の実験では，被験者の視線は水平方向にのみ

0.4

移動しているため，瞳孔の X 座標のみを用いた．

0.3

ここで ∆p = 0.4 と設定し，計測データ中の全視線情報
0.2

から v と d を求めた結果を図 11 に示す．この結果から，
0.1
0.5

1

1.5

2

2.5

3

3.5

4

4.5

5

5.5

6

Distance, d [pixel]

図 11

サッケード速度 v とサッケード移動距離 d はほぼ比例する
ことから，その比例係数 a を用いて d = av と表され，ま計測されたサッケードの速度 v とサッケード移動距離 dFig. 11 Measured saccade speed, v and saccade distance, d.

たサッケードが起こる期間はほぼ一定であることが示された．最小二乗法から，この被験者に対する d と v の比例係
数 a は a = 7.1 と求められ，サッケードが起こる期間はほ615

ぼ 14[ms] で一定であることがわかる．
610

5.2 サッケードの到達点の予測
X-Position [pixel]

605

5.1 節の結果をもとに，サッケードの到達点の予測の評価を行った．サッケード到達点の予測値 pˆe ，サッケード開600

始点の瞳孔位置 ps と，そこから k フレーム間から求めた
サッケード速度 v̂ から，pˆe = ps + av̂ と求められる．サッ595

ケード予測に用いるフレーム数 k を k = 4(500[fps] において 8[ms] 後) としてサッケード到達点の予測値 pˆe と，計測

590

25

26

27

28

29

30

31

32

Time [s]図 12

計測された瞳孔座標と予測されたサッケード到達点の例．
○がサッケード到達点の予測値．

Fig. 12 Measured pupil position and predicted saccade position. Circle indicates the predicted position of saccade
destination.

された瞳孔座標の例を図 12 に示す．実際のサッケード到
達点 pe とその予測値 pˆe の誤差の平均は −0.47[pixel]，標準偏差は 0.96[pixel] となった．この結果から，サッケード開始から 8[ms] 後に，平均 1[pixel] 未満の精度でサッケードの到達点を予測できることが示された．なお 4.1.2 節の視線停留点での精度評価では頭部の動きが原因と思われる誤差が生じていたが，本予測で用いるサッケードは頭部の動こり始めを検知し，またその時点での眼球移動速度から，
サッケードの到達点を先回りして予測することが可能であると考えられる．すなわちユーザの意図とは無関係に起こきより十分速いためその影響は無視できると考えられる．

6. アプリケーション例

るサッケードを検知・予測し，それを用いてその視線移動

本稿によりサッケードのリアルタイムな計測・追尾が可先付近の領域にのみ情報提示を行うなどの，そのユーザに能な視線計測システムが実現された．これを用いたアプリ

しか見えない情報提示の形態が可能となると考えられる．

ケーションの検討と開発は今後詳細に進めるが，現時点でそこで本カメラシステムによる高速カメラによるリアル考えられるアプリケーションとインタラクションのアイ

タイム視線計測によって，サッケードの検知と到達点の予測の可能性についての検証を行った．

ディアを述べる．
まず渡邊ら [10] の一列点滅光源によるサッケードディ
スプレイを拡張し，ユーザの視線情報から実際にサッケー

5.1 サッケードの速度と視線移動距離ドが起こるタイミングとその速度を計測して，それに応じサッケードの速度とそれによる視線移動距離には，相関て光源を点滅のタイミングと速度を制御することで，そのがあることが知られている [11]．本カメラシステムで得らユーザにとっては通常のイメージとして見られるが他のれる瞳孔座標を用いて，この相関についての検証を行った．

ユーザには一瞬の点滅にしか見えないことで，その存在に

4.2 節の実験で得られた瞳孔座標に対して，連続する 2

気づかないような，コンパクトでアンビエントなディスプ

点の座標の差がしきい値 ∆p を超えた時点 (ts , ps ) をサッ
ケードの開始点，またサッケード開始後に座標の差が再び© 2014 Information Processing Society of Japan

レイが実現できると考えられる．
また壁面などの大規模なディスプレイにおいて，サッ55

ケードの起こるタイミングと予測された視線の移動先から，その視線の移動先の周辺にのみ先回りしてそのユーザに向けた情報提示を行うことで，ユーザごとにディスプレ
イのごく一部のみを用いた複数ユーザに向けた多様な情報
提示デバイスの実現も可能であると考えられる．

今後は視線計測の高精度化と，サッケード予測を活用したインタラクション技術の検討開発を進めたい．

謝辞
本研究は，半導体理工学研究センター (STARC) のアイ

その他，モバイル機器のフロントカメラに本システムのディアスカウト (IS) の助成を受けた．また CMOS イメー

高速リアルタイム視線計測機能を統合することで，視線にジセンサチップの試作は，東京大学大規模集積システム設

よる機器操作だけでなく，モバイル機器のディスプレイ全計教育研究センター (VDEC) を通しローム (株) および凸体に表示される情報と，そのユーザにのみ見える，サッケー

版印刷 (株) の協力で行われたものである．また本研究のドの移動先の周辺のみに局所的に表示される情報とを重畳遂行にあたっては，公立はこだて未来大学の川嶋稔夫教授

して表示するシステムの実現も可能であると考えられる．

に有益なアドバイスをいただいた．あわせて，深い謝意を一方，本研究で目的としている，視線検出機能を統合し示す．

た専用イメージセンサは，ワンチップの超小型・低価格な視線検出カメラとみることもできる．従来のカメラと画像

参考文献

処理システムや PC との組み合わせによる視線検出システ[1]

ムでは，画像転送・処理速度の制限のみならず，視線検出シ
ステム全体のサイズとコストの大幅な低減が困難であり，
これが視線検出そのものの用途を制限する要因となっていた．ところが Google 社が発表した小型の頭部装着ディスプレイ (HMD) である Google Glass のように，ユーザが

[2]
[3]

目のすぐ近くに小型のディスプレイを装着し，それに基づいたサービスを提供するウエアラブル・コンピューティン
グが，いよいよ実用的となってきた現在，この HMD に超[4]

小型のワンチップ視線検出カメラを搭載することは，ユー
ザの負担の増加は無視できる程度であるといえる．HMDへの情報提示において，ユーザの視線情報は非常に有用な

[5]
[6]

情報であり，特に両目の視線情報を統合して得られる奥行
き方向を含めた注視点の情報は，例えばユーザが手前に焦点を合わせている場合は情報を提示し，遠くに焦点を合わ

[7]
[8]

せている場合には情報を提示せずに外界を見えるようにする，などの幅広い応用が期待される．本研究で目的として[9]

いる視線検出イメージセンサは，このような超小型・低価
格で HMD に統合された視線検出システムの実現の可能性[10]を秘めている．

7. まとめ[11]

本稿では，VGA（640×480[pixel]）程度の解像度と 500[fps]以上の高フレームレート，および 1 フレーム程度の低レイ[12]テンシを両立できる，視線計測カメラシステムのアーキテ
クチャを検討し，高速カメラと FPGA を用いた視線計測
カメラシステムの開発，および統合イメージセンサの試作[13]について述べた．視線計測カメラシステムを用いた評価実
験では，実用レベルの視線計測精度とサッケードのリアル[14]

タイム追尾が可能であることを示した．さらにその結果か
ら，サッケードの起こるタイミングの検知とその移動先の[15]

E.A.Hoﬀman and J.V.Haxby: Distinct representationsof eye gaze and identity in the distributed human neuralsystem for face perception, Nature Neuroscience, Vol.3,
pp.80–84 (2000).
白井了他: ドライバの運転状態検知のための視線方向の検出, 信学技報 HIP, Vol.103, No.455, pp.67–72 (2003).
ト ビ ー・テ ク ノ ロ ジ ー・ジ ャ パ ン: Tobii X2-60 ア イ
トラッカー, 入手先 ⟨http://www.tobii.com/ja-JP/eyetracking-research/japan/products/hardware/tobii-x260-eye-tracker/⟩
高木宏章, 秋田純一: 急速眼球運動対応の視線検出機能を持つ Vision Chip の試作と評価, 映情学技報, Vol.30,
No.32, pp.17-20 (2006).
大野健彦: 視線から何がわかるか–視線測定に基づく高次認
知処理の解明, 認知科学, Vol.9, No.2, pp.565–576 (2002).
J.Triesch et al.: What you see is what you need, Journalof Vision, Vol.3, No.1, pp.86–94 (2003).
ナ ッ ク・イ メ ー ジ・テ ク ノ ロ ジ ー: EMR-9, 入 手 先⟨http://www.eyemark.jp/product/emr 9/⟩
長崎健, 戸田真志, 川嶋稔夫: 局所特徴量による画像類似度を用いた視線映像の構造化, 映情学技報, Vol.27, No.39,
pp.117–126 (2003).
吉川厚, 大野健彦: 視線を読む–ユーザにやさしい視線測
定環境, NTT R&D, Vol.48, No.4, pp.399–408 (1999).
渡邊淳司, 前田太郎, 舘 : サッケードを利用した新しい
情報提示手法の提案, 日本バーチャルリアリティ学会論文
誌, Vol.6, No.2, pp.79–87 (2001).
安藤英由樹, 渡邊淳司, 雨宮智浩, 前田太郎: ウェアラブ
ル・サッカード検出を利用した選択的視覚情報提示の研究, 日本バーチャルリアリティ学会論文誌, Vol.10, No.4,
pp.505–512 (2005).
H.Kawakami et al.:Column-Parallel Architecture forLine-of-Sight Detection Image Sensor Based on Centroid Calculation, Proc. of International Image Sensor
Workshop 2013, pp.149–152 (2013).
大野健彦, 武川直樹, 吉川厚: 眼球形状モデルに基づく視線測定法, 第 8 回画像センシングシンポジウム講演論文集, pp.307–312 (2002).
竹上健, 後藤敏行, 大山玄: 視線方向計測のための高精度瞳孔検出アルゴリズム, 信学論 (D-II), Vol.J86-D-II, No.2,
pp.252–261 (2003).
日本視覚学会: 視覚情報処理ハンドブック (2000).

予測モデルについて検討し，サッケードの期間の半分程度の時点で 1 画素未満の精度でサッケードの移動先を予測可能であることを示した．

© 2014 Information Processing Society of Japan

56