社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

注視特徴を用いた SVM による非母語読解時の未知語検出
平岡

類

田中

宏季

サクティ

サクリアニ
中村

吉野

幸一郎

グラム

ニュービッグ哲† 奈良先端科学技術大学院大学 情報科学研究科
E-mail: †{rui-hi,hiroki-tan,ssakti,koichiro,neubig,s-nakamura}@is.naist.jp
あらまし 本稿では, アイトラッカから取得する視点情報を用いて, 非母語読解時に文書内の未知語を検出する手法を提案する. 従来手法では, 眼球運動の一種である fixation (固視) に関連する特徴量と, 大規模語彙コーパスから計算した語彙の希少度を用いて未知語の検出を行っているが, 自然読解中の未知語検出においては検出精度が十分ではないという課題がある. そこで本稿では, 自然読解中での未知語検出精度向上のために, (1) 機械学習の一手法, SVM [4] の適用, (2) 眼球運動に関する新たな特徴量の使用を提案する. 実験的な評価により, 従来の識別法と比較し, F 値において未知語検出精度の改善効果が得られることを示した.
キーワード アイトラッカ, 未知語検出, 眼球運動, 自然読解, 自動検出

Unknown Word Detection in Foreign Language based on
Eye Gaze Features by SVM
Rui HIRAOKA, Hiroki TANAKA, Sakriani SAKTI, Koichiro YOSHINO, Graham NEUBIG, andSatoshi NAKAMURA† Graduate School of Information Science, Nara Institute of Science and Technology (NAIST)
E-mail: †{rui-hi,hiroki-tan,ssakti,koichiro,neubig,s-nakamura}@is.naist.jp
Abstract This paper proposes a method to detect unknown words during natural reading by using eye-tracking
technique. A previous approach utilizes fixation and word rarity features to detect unknown words in foreign language. However, the performance of conventional approach is not suﬃcient during natural reading. To improvedetection performance, we try to 1) apply support vector machine (SVM) [4], and 2) use new eye movement featuresthat were not considered in the previous work. The experimental results demonstrate that SVM and proposed eye
movement features are capable of improving detection performance as measured by F-measure.
Key words Eye tracking, Unknown word detection, Eye movement, Natural reading, Automatic detection

1. は じ め にがあまり高くない [12]. また部分的に辞書を用いる作業にも時間が掛かってしまうという問題点があり, 円滑な読解の妨げと国際化に伴って, 非母語を使用する機会が多くなっている. 例

なっている. そこで非母語習熟度の低いユーザーの非母語読解

えば日本人の場合, 共通言語として英語の普及が進み, 最先端のを補助するため, 素早くかつ自動で未知語を検出し, 翻訳や注釈

学術論文は英語で書かれ, 国際会議や論文誌で発表されることをつけるシステムが考えられる. これにより, 辞書を用いる際が多くなった. また書籍も英語で書かれることが一般的である.

の手間が軽減され, 円滑な非母語文献の読解が可能となる. こオンライン百科事典の Wikipedia の記事数も, 英語は 500 万件のようなシステムの一例として, Hyrskykari の眼球運動に基づあるのに対し, 日本語では 100 万件に留まる [16]. 非母語文献

く未知語検出が挙げられる [1]. Hyrskykari の未知語検出法はには母語文献よりも未知語の割合は多い傾向にあり, そのため視線の総滞留時間と語彙の希少度の 2 つの特徴量を用いている.

非母語文献の読解時は翻訳ソフトウェアや辞書を駆使して読み

さらにユーザーに対して訓練を行うことで, 高い識別率 (再現率進めていく必要がある.

: 91%, 偽陽性 : 2.4%) を達成している. しかし, ユーザーの訓

しかし, 翻訳ソフトウェアの精度は実務利用において満足度

練がない場合の検出精度は, 再現率 : 28.8%, 偽陽性 : 0.9%に—1—

and w(a − 1) or w(a + b) =| x.

留まる. 本研究では, Hyrskykari の閾値による識別法 [1] を発展させ, SVM の適用と, 用いていない眼球運動特徴量を用いる
ことで, 自然読解に最適化することを提案する. 実験的評価によって, F 値での検出精度において, 従来法と比較し改善効果が得られることを示す.

ここで d(k) は fixation fk の時間長さである. wx 上での L 個の gaze の集合を G(wx ) = {g1 (wx ), g2 (wx ), ..., gL (wx )} と定義する.

total gaze duration

2. 関 連 研 究

単語 wx 上の fixation の滞留時間の総和 gtotal (wx ) :本研究は, ユーザーの英文読解時の眼球運動データを用いて,∑

gtotal (wx ) =ユーザーごとの未知語を検出することを目標とする. 未知語のgk (wx ) .

(2)

gk (wx )∈G(wx )検出に関連する研究として, 江原らのクリックログから未知語

word rarityを検出するシステムがある [9] [10]. この手法は過去のクリック

単語 wx のコーパス内の希少度 Rare(wx ) :ログから自動で未知語を予測する. 眼球運動と未知度の関係を視覚刺激となる文章に対し, 各単語の BNC コーパスにおけ示した研究として, ユーザー眼球運動と文章読解中の読み行動

る出現頻度の順位 (降順) を抽出する. この順位を語彙の希少に関する関係を報告した Rayner の研究がある [7]. Rayner の度とするが, ここで単語出現頻度総数の寄与率を考慮する. 上

実験結果は低頻出度語に対しては, 高頻出度語よりも注視時間

位 100 位の単語は, 寄与率が 50%を超え, 上位 6000 位まででが長くなる傾向を示している. また視線の逆行数も多くなるこ

85%を超える. したがって頻度の順位を制限するために, 上位とが示されている. Kunze らは英文読解時の視線の動きから,100 位以上の単語はすべて 100 とし, 下位 6000 位以下のものにユーザーの英語力を推定する手法を提案している [6]. 実験では,

ついては, すべて 6000 とする. たとえば the ならばコーパス内

難易度が高い語彙に固視が多く発生しやすいことを示している.

での頻度が 1 位であるので 100 とし, incredibly であれば 6312

また Hyrskykari は, 総注視時間からの未知語検出法を提案し,位なので 6000 とする.

その手法を実装した視線から iDict を開発している [1]. iDict



100



(Rank(f req(wk )) < 100)

6000

(Rank(f req(wk )) > 6000)

Rank(f req(wk )(else)

は上記の検出法を用いることで自動的に辞書にアクセスし, 語彙に注釈をつけるシステムである.

Rare(wx ) =本研究では, 総注視時間以外の眼球運動特徴量の使用の検討と, 識別に SVM を用いることで, 未知語検出精度の向上を図る.





(3)

3. 総注視時間と語彙の希少度を用いた未知語検
出法

3. 2 識 別 方 法
本節で識別方法を示す. 本手法では以下に示す閾値関数を用

本節で総注視時間と語彙の希少度を用いた, Hyrskykari の未

いて未知語検出を行っている.

知語検出法を説明する. 一般に読解時の眼球運動の主な特徴は

saccade (跳躍), fixation (固視), regression (逆行) の 3 つとされている [7]. fixation は定点を見るために眼球の動きを固定す
る眼球運動のことである. gaze (注視) は fixation よりもさらに意識的に視点を対象物に向け続ける眼球運動を表す. saccade
は fixation 間に発生する跳躍運動であり, この間は認知活動がほとんど行われない. regression は, 逆行運動を順方向とものと区別するために定義される. 文書中の N 個の単語の群を順に W = {w1 , w2 , ..., wN } と定義する. 同じ単語が複数ある場
合でも, 異なる単語と見なす. 同様に計測から得られる M 個のfixation の群を順に F = {f1 , f2 , ..., fM } と定義する fk は表示
画面上での fixation の二次元座標を表す.

単語 wx 上で連続した fixation の滞留時間の和 (総注視時間)

g(wx ) :a+b

k=asuch w(a) = w(a + 1) = ...w(a + b) = x

ここで th(wx ) は単語 wx が未知か既知かを判別する閾値である. thh は BNC コーパス内の頻出語上位 100 位以上の単語の未知と既知を識別する total gaze duration の閾値であり, thlは頻出語下位 6000 位以下の total gaze duration の単語の未知と既知を識別する total gaze duration の閾値である. thh , thlは以下のように定義されている.

thh = µh + ah σh , and thl = µl + al σl
ここで µh は BNC コーパス内の頻出語上位 100 位以上の準偏差を表す. ah , al は, 得られたデータの識別率が高くなる

gaze durationd(k) .

(4)

頻出語下位 6000 位以下の total gaze duration の平均, σl は標

本節で識別に使用された特徴量をまとめる.

∑

thh − thl
(Rare(wx ) − 100)
100 − 6000

total gaze duration の平均であり, σh は標準偏差を表す. µl は

3. 1 識別特徴量g(wx ) =th(wx ) = thh −(1)

ようにする学習パラメータである (ah > 0, al > 0). 出力予測
は以下のようになる.

Pred(wx ) =Knowngtotal (wx ) < th(wx )Unknown gtotal (wx ) ≧ th(wx )(5)

本手法をベースラインとし, 提案手法を用いた場合と比較する.

—2—

4. 4. 1 眼球運動特徴量抽出
本節で眼球運動に関連する特徴量の抽出法を示す. 瞬きや

saccade と識別されるものを計測データから削除し, fixation を元に特徴量を作成する. fixation の座標と時間長さを抽出した
後, fixation はどの単語に属するのかを判定する必要がある. 本
図 1 fixation と単語の関連付け. fk との最短距離 (図中の実線) を与研究では単語ごとの fixation を元に, total gaze duration を含える点が sx+1 なので, fk が属する単語は wx+1 となる. しため, 7 つの特徴量を作成する. 特徴量の定義は [1] を参考にした.

がってこの例では, w(k) = x + 1 である.

max gaze duration と pupil size variation に関しては [1] で考慮されていないため, 独自に定義した.

first gaze duration

4. 提 案 手 法

単語 wx 上の最初の gaze gfirst (wx ) :4. 1 提 案 手 法

gfirst (wx ) = g1 (wx ) ∈ G(wx ) .

本節で提案手法の流れを示す. 英文読解時の眼球運動デー
タを用いて, 未知語検出を行う手法を提案する. まずアイト

number of fixations

ラッカを用いて眼球運動データを計測する. 計測器が出力し単語 wx 上の fixation の総数 N (wx ) :た fixation-saccade のデータを元に, fixation を単語に関連付ける. 単語ごとに言語特徴量と, 関連付けた fixation を元にし

(7)

N (wx ) = { fk ∈ F | w(k) = x } .

(8)て眼球運動特徴量を抽出する. この特徴量を利用して未知語推

regression

定を行う.

単語 wx 上での視線の逆行回数 Reg(wx ) : 単語 wx にfixation
が戻ってきた回数で定義する.

4. 2 眼球運動データの取得
ディスプレイ上に視覚刺激となる英語文献を被験者に読んでもらい, その間の眼球運動を計測する. 計測には, 非装着型のアReg(wx ) = { k ∈ [2, m] | w(k − 1) > x, w(k) = x } . (9)イトラッカを使用する. 非装着型を用いる理由としては, スクmean fixation duration

リーン上での文章読解となるので, 頭部の動きがあまり大きく

単語 wx 上の fixation の平均時間 fmean (wx ) :ないことが挙げられる. また単語レベルでの解析をするため, 装fmean (wx ) =着型よりも高い精度を必要とするためである.

∑
1d(k) .
N (wx )

(10)w(k)=x4. 3 単語と fixation の関連付け取得した眼球運動データと単語の座標を元に, 注視時間や瞳F (wx ) は単語 wx に関連付けられた fixation の群を表す.

孔の大きさの変化を未知語検出の特徴量として取得する. アイ

max gaze duration

トラッカの計測データは時間当たりの視点を記録したものであ単語 wx 上の gaze duration の中で最大のもの gmax (wx ) :り, fixation と saccade をそこから抽出する必要があるが, 本研
究ではアイトラッカの付属ソフトを使用することで, fixation とgmax (wx ) = max {G(wx )} .

(11)

pupil size variationsaccade を抽出することが出来る.
単語 wx ごとの fixation の判定に対しては, 単語 wx の始点
座標 sx と終点座標 ex を取得し, fixation fk がどの単語に与えられたかは以下の式で定義する.

単語 wx 上の瞳孔の大きさの変化量 Pvariation (wx ) :Pvariation (wx ) = Pmax (wx ) − Pmin (wx ) .

(12)

Pmax (wx ) は単語上 wx での瞳の直径の最大値, Pmin (wx ) は最
w(k) = arg min(D(sx , fk ), D(ex , fk ))(6)x

ここで w(k) は k 番目の fixation が何番目の単語に属するのかを定義する関数である. w(k) = x のとき k 番目の fixation は

x 番目の単語に属することを指す. D(sx , fk ) は fixationfk と x
番目の単語 wx の始点 sx , D(ex , fk ) は終点 ex のユークリッド
距離を表す関数である. このいずれか一方の距離が最も小さくなる wx に fk は属する. 図 1 に fixation 所属単語の判定の一例を示す.

4. 4 特徴量抽出
本節では, 読解課題における眼球運動特徴量および, 言語特徴
量の抽出法を示す.

小値を表す.

4. 4. 2 言語特徴量抽出
この節では言語特徴量の抽出法を示す.

word rarity
前処理として, 刺激文の単語に対し, TreeTagger [14] を用いて形態素解析を行い, 動詞の活用形や名詞の複数形に対して原形を抽出する. 抽出した原形に対して, 語彙の頻度の順位 (降順)
を BNC コーパスの語彙頻度リスト [2] から抽出し, 3 章の (3)式に基づいて Rare(wx ) を決定する.

word length
1600x900 の画面上での単語 wx の物理的長さ Len(wx ) :Len(wx ) = D(sx , ex ) .

(13)
—3—

4. 5 特徴量選別
定義にしたがって特徴量を抽出し, 未知語と既知語の間で, 平均に差がないという帰無仮説のもとで非等分散 t 検定を行い, p値の低いものを優先して特徴量として用いる. さらに未知語ラベルを 1, 既知語ラベルを 0 とした場合に, これらのラベルと各特徴量の相関係数を計算し, 相関の高いものを優先して特徴量として用いる.

4. 6 未知語検出

図 2 視覚刺激用文章の提示例. Rotter の心理学論文 [5] の概要を複数枚の PDF にし, 十分な改行を加えて, 視覚刺激としたもの. 1

未知語の検出にあたっては, 提案手法として非線形 SVM

ページあたり 4 行以内とした.

(RBF カーネル) を用いることを提案する. 評価は 10 分割の交差検定で行う. 評価尺度については未知語の割合は, 全文章に

表 1 被験者の英語処理力と未知語の割合. 表中の P は被験者の番号を表す. 未知語は被験者ごとの未知語総数を表す. 読語は被験者対して少ないデータであるため, 通常の正解率での精度を用いが実験で読解した単語の総数を表す. 表中の *は文章 1 を除いたずに F 値を用いる. 使用する特徴量によって最適パラメータが変わることを考慮する. よって各特徴量ごとに grid search を

2 つの刺激文章での読解所要時間を表す.
被験者 未知語

読語

割合

所要時間 [s]行い, テストセットの F 値に対して, 計算機的にハイパーパラ

P1

31

949

0.033

460.8

124

790

メータの最適化を行う.

P2

75

949

0.079

551.8

103

685

5. 実験的評価

P3

60

949

0.063

564.7

101

680

P4

41

666

0.062

768.0*

52480

本節では提案手法が, 未知語検出の精度向上に影響を与える

P5

72

949

0.076

1909.7

30

475

合計

279

4462 0.063

4255.0かを実験的に検証する.

WPM TOEIC

5. 1 実 験 条 件
実験では 1600×900 の Eizo のスクリーン上に視覚刺激とし

5. 2 特徴量の分布て 3 つの文章セットを被験者に提示し, 読解させた. 計測には

被験者全員の要約内容を主観評価した結果, 全員が文章と関非装着型である Tobii Pro x2-30 を用いた. Tobii Pro x2-30 の連した内容を記したため, 実験データとして用いることにした.

サンプリング周波数は, 30Hz であるがこれは fixation の検出に

図 3 に被験者ごとの特徴量の分布を示す. 全体的にどの特徴十分と考える. 計測は密閉された同一の部屋で行い, 照明は一定

量に関しても未知語の平均のほうが既知語の平均よりも大きくであった. fixation-saccade の判定は Tobii studio の IV-filter

なっていることがわかる. また, 眼球運動特徴量に関して, meanの基本設定を使用した.

fixation duration 以外はいずれも個人差が大きく出ていること

文章セットには 283 語の速読英単語 [11], 285 語の TOEFLが分かる. 特に total gaze duration, max gaze duration につの読解課題 [15], 381 語の Rotter の心理学論文 [5] を用いた. 刺

いては, 既知語の標準偏差での分布範囲が未知語の平均を上回

激は PDF 形式で verdana font の 14pt で表示し, 垂直方向のることはなく, 特徴量としての有効性を示している. 言語特徴

計測誤差を減らすために 6 行の改行を入れた. 図 2 に使用した量に関して, word length や word rarity は個人差が出にくい特

視覚刺激の一部を示す. 実験で用いる文章の量が多いことを踏徴量となった. 具体的には, 標準偏差を分布範囲と考えれば, 既

まえ, ３回に分けて計測は各文章ごとに行った. 内容を理解しな

知語の分布と未知語の分布を分けやすい特徴量となった.

がら読解を進めるため, 一つの文章刺激終了後, 内容についての

5. 3 特徴量選別結果

要約課題を被験者に課した. 要約課題が終了次第, 該当する刺3.4 節の定義にしたがって特徴量を抽出し, 未知語と既知語

激文章を被験者に再度見せ, 未知語のアノテーションを行った.

の間で, 平均に差がないという帰無仮説のもとで非等分散 t 検実験は 20 代の日本人大学生および研究員, 計 5 名 (女性 3 名,定を行った. さらに未知語ラベルを 1, 既知語ラベルを 0 とし

男性 2 名) のユーザーを対象に行った. その内 1 名は眼鏡を着た場合に, これらのラベルと各特徴量の相関係数を計算し, 識用しており, さらに 1 名はコンタクトレンズを着用していた. 被別に用いる特徴量を選別した. 表 2 に特徴量の検証結果を示す.

験者をスクリーンから 60cm 程離し, 頭部が極力動かないよう

word rarity が最も相関が強く, p 値も小さいことがわかる. 逆に肘をついて読解をしてもらった. 被験者は各自のマウス操作に regression が最も相関が低く, p 値も大きくなっている. 表 2

により, 任意のタイミングで, 文章を切り替えるようにした. 計より, 未知語と既知語のラベルとの相関は強くはないことが分

測中は画面以外を見ないように伝え, マウスカーソルも画面上かるが, いずれも無相関検定で, 無相関ではないことが示されには表示されないようにした. 表 1 に被験者ごとの, 英語処理

た (p < 0.01). また t 検定はいずれも平均に有意な差があると能力 (WPM, TOEIC) と読解時間, 未知語の割合の関係を示す.

言えた (p < 0.01). word rarity が最も相関が強く, p 値も小さ

P4 に関しては, 文章 1 [11] での測定中にアイトラッカの動作不かった. これは難しい語彙ほど未知語になりやすいことを意味備があった. そのため文章 1 を除き, 残りの 666 語を用いて分する. また max gaze duration が次に相関が高く, p 値も 3 番析を行った.

目に低い. これはユーザーが未知語の単語に関しては, 一定の時
間同じ単語を注視したことを意味する. また word length も相

—4—







3
8QNQRZQ
.QRZQ

3

3

3

3


0D[JD]HGXUDWLRQ>PV@





)LUVWJD]HGXUDWLRQ>PV@

0HDQIL[DWLRQGXUDWLRQ>PV@








3
8QNQRZQ
.QRZQ

7RWDO

3DUWLFLSDQWV

3





8QNQRZQ
.QRZQ







3
8QNQRZQ
.QRZQ

3

3

7RWDO
















3

3

3

3

7RWDO

3

:RUG/HQJWK>SL[HO@:RUGUDULW\ %1&
3

3






3
8QNQRZQ
.QRZQ

7RWDO

3DUWLFLSDQWV

3

(g)

3

3

3

7RWDO

3DUWLFLSDQWV(f)



8QNQRZQ.QRZQ3

8QNQRZQ.QRZQ

3DUWLFLSDQWV



3

3


3



3

7RWDO







3







7RWDO



(e)



3







3




8QNQRZQ.QRZQ

3DUWLFLSDQWV

3

3DUWLFLSDQWV





3

3

(c)



(d)
1XPEHURIIL[DWLRQV

7RWDO

5HJUHVVLRQV3XSLO VL]HYDULDWLRQ>PP@

7RWDOJD]HGXUDWLRQ>PV@



3

3



(b)



3

3

3DUWLFLSDQWV

(a)


3

3



3

3

7RWDO







3

3

8QNQRZQ.QRZQ

3DUWLFLSDQWV

(h)

3

3

3DUWLFLSDQWV(i)

図 3 各特徴量の被験者ごとの分布. 縦軸は各特徴量ごとに取り得る値であり, 横軸は被験者を表し, 左から TOEIC スコア順 (降順) にソートした (表 1). 図中の色付きの値が未知語の平均を表す. 図中の白の値が既知語の平均を表す. またエラーバーは既知語の標準偏差を表している.

表 2 特徴量選別. ラベルの相関係数で特徴量をソートした. 太字は特手法として, 相関係数が上位 5 つの特徴量の組み合わせを用い徴量として識別に使用したものを表す. t 検定の p 値は指数のみて識別を行った (提案手法 1 は相関係数の高い特徴量 gmax (w)を記載してある.

での閾値関数を用いた結果である).

特徴量

相関係数 t 検定の p 値

表 3 より, 自然読解の未知語検出において, SVM は従来手

word rarity : Rare(w)0.499.x10−151

max gaze duration : gmax (w)0.375.x10−28

word Length : Len(w)0.353.x10−94

first gaze duration :gfirst (w)0.336.x10−20の精度評価 [8] を参考にし, 従来手法と提案手法での Paired

total gaze duration :gtotal (w)0.305.x10−24

Bootstrap 検定を行った. 検定は提案手法と従来手法の出力値

0.244.x10−21に対して行う. サンプリングサイズはデータの半分とし, リサン

mean fixation : fmean (w)0.148.x10−15

プリング回数は 10000 とした. 結果, 従来手法と表 3 中の SVM

pupil variation: Pvariation (w)0.144.x10−17を用いた全ての場合との間で, 有意な精度の改善が確認された

regression : Reg(w)0.079.x10−6

number of fixation :N (w)法と比較し, F 値において精度向上に有効であることが確認された. F 値での精度の向上の有意性を確認するために, Kohen(p < 0.01). また max gaze duration を使った場合の精度向上の有意性を確かめるため, 提案手法 2,3 間と, 提案手法 5,6 間

関と p 値において, 未知語との関連が強いことがわかる. これはで同様の検定を行ったが, いずれも有意な精度改善とはならな

長い語ほど未知語になりやすいということを意味する. 反対にかった (p > 0.1).

regression は相関でも p 値でも, 未知語との関連性は低かった.
これは未知語であることが直接逆行回数に反映されなかったこ

6. 考

察

とを意味する. 同様に pupil size variation も関連性が低く, 瞳提案した注視特徴である max gaze duration は total gaze

孔の大きさの変異は, 未知語との関連性が低いことを意味する.

duration と比較して識別の精度向上は有意差ではなかったもの

5. 4 識 別 結 果の, 閾値関数での total gaze duration との比較, SVM での識本研究では, 従来手法として (4) 式をベースラインとした.

別結果を踏まえると, 誤検出を減らす役割があると考えられる.

尚, ah σh , al σl をそれぞれ一つのパラメータとして扱い, テスト

これは max gaze duration は gaze の最大値であるため, ユー

セットに対して F 値が最大となる ah σh , al σl を用いた. 提案

ザーが意図せずに固視した場合でも, 値が更新されにくいため—5—

表 3 識別結果. 識別関数は閾値関数 (4) か, SVM (RBF カーネル) のいずれかを表す. 適合率,
再現率, 偽陽性, F 値はいずれも未知語検出についての精度指標である. 特徴量は識別に使用した特徴量を意味する. 手法は左から 1 番目に従来手法と名付け, 2 番目から 8 番目に提案手法 1-7 とラベルを振った. 太字は精度評価では F 値に注目したこと, 最大の F 値を表している.
手法

従来手法

提案手法 1 提案手法 2 提案手法 3 提案手法 4 提案手法 5 提案手法 6 提案手法 7

識別関数

閾値関数

閾値関数

SVM

SVM

SVM

SVM

SVM

SVM

適合率

0.612

0.670

0.485

0.520

0.490

0.512

0.523

0.506

再現率

0.412

0.365

0.763

0.703

0.756

0.756

0.742

0.756

偽陽性

0.016

0.011

0.050

0.041

0.049

0.045

0.042

0.049

F値

0.493

0.472

0.593

0.598

0.594

0.610

0.613

0.606

特徴量

Rare(w)Rare(w)Rare(w)Rare(w)Rare(w)Rare(w)Rare(w)Rare(w)

gtotal (w)gmax (w)

gtotal (w)gmax (w)

gtotal (w)gtotal (w)gmax (w)

gtotal (w)gmax (w)

Len(w)

Len(w)

gmax (w)
Len(w)
gfirst (w)だと考えられる. すべての特徴量を利用しての提案手法 7 はF 値で 0.606 に留まり, 3 つの特徴量を用いた手法 6 が最も F
値が高かった. total gaze duration, max gaze duration, firstgaze duration の間には以下の関係が成り立つ.
gfirst (wk ) ≦ gmax (wk ) ≦ gtotal (wk ) .

(14)

よって max gaze duration を使用することで, total gaze dura-tion と比較し, 検出速度の改善となる可能性が示された. firstgaze duration は検出速度改善に働く可能性があるが, 一度記録されてしまうと更新されないというデメリットがある.
本研究の限界を考察する. 初めに pupil size に対しては, 変化までに 200-300ms のレイテンシーがあることが知られている [3]. 特徴量を抽出する上で, これが考慮されていなかったことが問題点として挙げられる. 次に, fixation-saccade の判定をTobii studio の IV-filter の基本設定で行っているため, 問題設定に適した fixation-saccade 判定を行うことも検討していく.

7. ま と め
本稿では, 非母語文書の読解支援をするために, 新たな注視特徴を用いて SVM での検出精度の向上を目指した. これにより非装着型アイトラッカから取得した眼球運動データから, 自然
読解中の未知語検出において, 有意な F 値での精度改善を達成することができた. また新たな特徴量 max gaze duration を用いることで誤検出を減らせることを確認した.
今後の課題として, ユーザーごとに WPM や知識量の違いがあるため, 個人適応をする必要がある. saccade も重要な眼球運動の特徴量であり, 理解度判定や読み判定に有効である [13] ので, 今後考慮することでシステムパフォーマンスの改善が期待できる. 文章の難易度による被験者の読解行動の違いも考慮する必要がある. さらに未知語に対しては fixation の時間は長くなる傾向があるが, 文章自体が理解しにくくかったり, 混乱を招いたりする場合にも高くなることが知られている [7]. したがって, 精度改善のためには未知語遭遇以外で, fixation が長くなる現象を考慮する必要がある.

謝辞 本研究は, JSPS 科研費 26540117 の助成を受けて行われたものである.
文

献[1] A. Hyrskykari. Eyes in attentive interfaces: Experiencesfrom creating iDict, a gaze-aware reading aid. Tampereen
yliopisto, 2006.
[2] A. Kilgarriﬀ’s webpage, BNC database and word frequency
lists, http://www.kilgariﬀ.co.uk/bnc-readme.html, 1996.
[3] B. Gagl, S. Hawelka, F. Hutzler, Systematic influence ofgaze position on pupil size measurement: analysis and correction, Behav Res 43, pp.1171-1181, 2011.
[4] C.-C. Chang, C.-J. Lin LIBSVM, A Library for Support
Vector Machines, https://www.csie.ntu.edu.tw/ cjlin/libsvm/,
2015[5] J. Rotter, Social learning and clinical psychology. Englewood Cliﬀs, NJ, US: Prentice-Hall, Inc. 1954.
[6] K. Kunze, H. Kawaichi, K. Yoshimura, K. Kise, Towards
inferring language expertise using eye tracking, CHI’13 Extended Abstracts on Human Factors in Computing Systems,
ACM, pp.217-222, 2013.
[7] K. Rayner, Eye movements in reading and information processing: 20 years of research. Psychological bulletin, 124(3),pp.372-422, 1998.
[8] P. Koehn, Statistical Significance Tests for Machine Translation Evaluation, EMNLP, pp.388-395, 2004
[9] Y. Ehara, N. Shimizu, T. Ninomiya, H. Nakagawa. Personalized Reading Support for Second-Language Web Documents by Collective Intelligence. In the Proceedings of the2010 International Conference on Intelligent User Interfaces(IUI 2010), pp. 51-60, Hong Kong, China, February 2010.
[10] 江原遥, 二宮崇, 中川裕志. Web 文書中の単語クリックログの解析から未知単語を予測する語義注釈システム. 情報処理学会研究報告, pp.1-7, 2009.
[11] 風早寛, “速読英単語必修編"[第四版], Z 会, 2004.
[12] 長瀬友樹, 小谷克則, 工藤竜広, 佐久間みゆき, 秋葉泰弘, 実務翻訳における機械翻訳の利用に関する調査報告, 言語処理学会, 第20 回年次大会発表論文集, pp.1-4, 2014.
[13] 藤好宏樹, 吉村和代, Kai Kunze, 黄瀬浩一, 英文問題解答時の視点情報を用いた英語能力推定法, 電子情報通信学会技術研究報
告 pp.49-54, 2015.
[14] TreeTagger：http://www.cis.uni-muenchen.de/ schmid/tools/[15] https://www.ets.org/Media/Tests/TOEFL/pdf/Sample
Questions.pdf[16] https://ja.wikipedia.org/wiki/Wikipedia:全 言 語 版 の 統 計,
4/1, 2016.

—6—