情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4D172022/2/21

モバイル端末を用いたゲイズトラッキング方法の開発
副島拓哉†1川合康央†1

概要：人間の知覚は主に視覚に基づくため，実世界の様々な事象を評価・計測するためにアイトラッキングは利用されている．アイトラッキングデバイスには，カメラ型や眼鏡型などいくつかの種類がある．しかし，これらの機器は持ち運びが困難であるため，効果測定が可能な範囲は限定的である．また，アイトラッキングのための専用機器は一般的に高額であり，その測定方法も簡便とは言い難い．本研究では，これらの問題を解決するため，タブレット端末を用いたアイトラッキングツールを開発し，あらゆるシーンで簡単に使用できるシステムを開発した．開発したシス
テムは，その精度を測定し，実際の使用に耐えうるよう調整した．

1. はじめに
人間の五感からの知覚は，諸説あるが，視覚からが 8～9割となっており，他の感覚器と複合されて情報処理が行わし，ユーザの顔のトラッキングを開始する．次に，注視点の直近 10 回分の座標を記録し，その平均値を求め，その座標に注視点を描画する．最後に，トラッキングされた座標を保存するものとした．

れている[1, 2]．そのため，小売店における商品の陳列[3]や街並み景観の評価[4]，車両運転時のドライバーの認知[5]，医療看護の場面[6]，Web サイト上での利用者行動評価[7]など，様々な事象の評価や測定を行うために視線追跡が利用されている．視線追跡は，人間の知覚に基づく行動を測定，評価，予測するための手法として，幅広く活用が可能である．これらの視線追跡をした研究では，視線追跡専用の機器を用いて行う方法が一般的である．視線追跡を計測するには，角膜上に赤外線光によって反射点を生じさせ，その画像を撮影することによって視線の位置を測定する，角膜反射法といった手法が主流である[8, 9]．これらは，コンピュータに外部機器を取り付け，画面上の注視している点を描画または記録する．これらの方法は，視線追跡専用の外部デバイスが必要であり，小型化が進んではいるが様々な環境での実験において持ち運びが不便であり，また

図 1システム構成図

眼鏡型などの専用の機材を目の周辺に配置するため，違和感を抱く被験者も少なくない．また，このような視線追跡

2.2 モバイル端末による視線追跡デバイスは一般的に高額であるため，利用するハードルが近年，スマートフォンやタブレットなどの処理速度向上高くなっている．本研究では，これらの課題を踏まえ，一などの高性能化により，モバイル端末で可能な作業の幅が般的なモバイル端末で視線追跡が可能なシステムを開発し，格段に広がっている．そこで，これまでにも仮想アバタの安価で場所を問わずに使用可能な視線追跡方法の提案を行

表情変更などの目の動きなど，視線追跡を利用したアプリなうものである．

ケーションがいくつか開発されている[10, 11]．本研究では，iPhone，iPad をモバイル端末として用い，セキュリティロ2. モバイル端末による視線追跡システム
2.1 システムの流れ
本稿では，スマートフォンやタブレットなどのモバイル端末を用いた視線追跡システムの実装について述べる．本
アプリケーションの処理は，次のような構成となっている（図 1）．まず，モバイル端末に内蔵しているカメラを起動

ックの顔認証でも利用されている 2 つのインカメラと，赤外線を用いたドットプロジェクタ，近接センサなどを用いて，顔認証を行うこととした．これらのカメラやセンサを利用することによって，顔の向きや眼球の方向などを取得することが可能となり，ユーザがモバイル端末のスクリーン上の，どこを注視しているのかを，リアルタイムに測定することとする．

†1 文教大学© 2022 Information Processing Society of Japan586

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2.3 システム開発環境

4D17
2022/2/21

2.5 視線追跡の表示

本研究では，正確な視線情報を取得するため，カメラだ取得した視線追跡座標は，保存して可視化するものとしけでなくセンサが搭載されているモバイル端末を使用するた．また，視線追跡座標を動画としても保存可能とするこ

ため，iPhone 及び iPad を対象として開発を行なうこととしとで，常に目線の方向を記録し，視線の注視だけでなく，た．これらのデバイスでは，iOS，iPad OS に向けた開発を移動や環境の変化に伴った視線移動を追跡することが可能行うこととなるため，開発言語として Swift を利用し，となる表示を行った（図 3）．

Xcode を用いて開発を行なった．また，Apple が提供している ARKit，SceneKit などのフレームワークを利用することとした．
2.4 スクリーン上の視線追跡
視線追跡は，Apple の提供しているフレームワークである ARKit のクラス である ARFaceAnchor を利用した ．
ARFaceAnchor クラスでは，人間の顔を認識することによって，取得した顔の角度や眼球の方向などのプロパティが用意されている．今回はこれらの機能を利用して，ユーザがスクリーンのどこを注視しているかといった情報を取得した．
ま ず ， ARFaceAnchor ク ラ ス の プ ロ パ テ ィ で あ る

図 3

画面上の視線取得方法

leftEyeTransform と rightEyeTransform から，顔座標での目線の方向を取得した．この目線は，眼球の中心からスクリーンに向けて水平方向に引かれる直線を指すものである．ま3. システムの精度評価

た，目線のみではなく，顔の向いている方向によっても目モバイル端末上での視線追跡の精度を計測した．精度測線の角度は変化するため，顔の方向も取得することとした．

定は，ディスプレイ上の中央と四隅に赤の点を配置し，各これらを，モバイルデバイス上に仮想のデバイスを重ねる

点を注視した時の注意座標と実際のディスプレイ上の点の形で配置を行い，目線とその交点の座標を取得する．目線中心座標との差を計測する方法で行った．実験には，タブと交点は，左右それぞれに存在するため，それらの直近のレット型端末である iPad を使用した．本端末のディスプレ

20 件の座標情報から平均座標地点を算出し，その点を被験

イは 2,160×1,620 ピクセル（pixel）であり，解像度 264ppi

者が見ている座標とする．さらに，ここで取得された座標のものである．

は，スクリーン上の座標ではなく空間上の座標となるので，各点への注視を 100 回ずつ試行した結果，表 1 の評価が両眼による注視座標を変換し，スクリーン上の座標として得られた．四隅の点ではおよそ 100pixel 程度のズレが出る取得した（図 2）．

可能性があることが明らかとなった．また，中央の点のズレは平均 56.12pixel となり，ディスプレイ中央への注視は，ディスプレイの端への注視と比べると，精度が高いことがわかった．
表 1 視度調査結果(pixel)
中央

左上

右上

左下

右下

最小値

27.02

12.47

13.51

14.55

12.47

中央値

56.64
56.12

92.50
88.34

51.96
101.85

87.85
95.62

112.25149.66

平均値(pixel)ディスプレイ画面の端より，画面の中心の方が，注視の
図 2

画面上の視線取得方法

取得精度が高いことから，中心部では顔を動かさないため，精度が高いことが考えられる．今回は視線追跡方法として眼球の方向だけでは正確な視線追跡はできないと考え，顔© 2022 Information Processing Society of Japan587

情報処理学会 インタラクション 2022IPSJ Interaction 2022の向きも考慮して開発を行なったため，顔の方向を取得する際に課題があると考えられる．
また，画面上で 100pixel 程度のズレが出てしまう可能性がある点については，ユーザにより注視位置を調節するキャリブレーションのような機能を実装することで，精度の向上が可能であるのではないかと考えた．
モバイル端末での視線追跡方法の開発を通じて，画面越しで見た場合の視線追跡での評価は，本システムによってある程度可能であることが分かった．ユーザの画面上の注

4D172022/2/21

線検出法. 電子情報通信学会論文誌 D. 1999, vol.82, no.10,p.1295-1303.
[9] 海老澤嘉伸, 中島彩. 角膜反射を利用した瞳孔位置検出の高精度化. 映像情報メディア学会誌. 2008, vol.62, no.7,
p.1122-1126.
[10] 小宮山摂, 亀川真吾, 柿沼育, 盛川浩志. VR 空間内におけるアバタとの視線コミュニケーション. 研究報告エンタテイン
メントコンピューティング. 2018, no.4, p.1-6.
[11] 中本智子, 鶴野玲治. ユーザと対面するバーチャルキャラク
タの自然な眼球運動モデルの生成. 研究報告コンピュータビ
ジョンとイメージメディア, 2017, no.19, p.1-7.

視について，大まかにどのあたりを見ているのかについての評価が，本システムによって可能である．

4. まとめ本研究では，一般的なモバイル端末を用いた視線追跡システムの開発を行なった．モバイル端末に内蔵されているカメラとセンサを用いて，ユーザの眼球の向きを取得し，そのデータをもとに目線方向の取得，仮想デバイスとの表示をもとにスクリーン情報座標を取得する仕組みを用いて，スクリーン上の視線追跡を可能とした．また，視線追跡情報の保存を行うことによって，移動を伴うような動的なシーンでの視線追跡情報の可視化を行なった．今回開発を行なったシステムは，様々な分野での応用も可能であると考えられる．そのため，景観評価や作業測定など実際の使用を通じて，システムの精度検証と改善を行っていくこととする．また，モバイル端末での視線追跡方法を利用した新たなサービスの可能性や他分野での活用についても考えていくこととする．
謝辞
本研究は JSPS 科研費 JP 19K12665 及び JP20K12517 の助成を受けたものです．

参考文献
[1]
[2]
[3]

[4]

[5]

[6]

[7]

[8]

照明学会. 屋内照明のガイド. 電気書院, 1978.
加藤宏. 「視覚は人間の情報入力の 80%」 説の来し方と行方.
筑波技術大学テクノレポート, 2017, vol.25, no.1, p.95-100.
北詰恵一, 横内俊裕. 大規模小売店舗における商品目視時間・滞留時間と購買率との関係分析. 社会的信頼学. 2014,vol.2, p.61-71.
伊月和歩, 高田直樹, 門内輝行. 景観画像の印象評価と歩行実験における注視特性の分析: アイマークレコーダを用いた街並み景観の注視特性に関する研究 (その 2). 日本建築学会
近畿支部研究報告集. 計画系. 2014, no.54, p.601-604.
小野川立樹, 中村俊之, 平山高嗣, 平岡敏洋, 森川高行. 都市内高速道路走行時のドライバーの視行動の変化に関する基礎的研究. 交通工学論文集. 2020, vol.6 no.2, p.138-146.
寺井梨恵子, 丸岡直子, 林静子. 看護場面における視線解析を用いた研究の動向と今後の課題. 石川看護雑誌. 2017,vol.14, p.13-22.
臼井花奈, 佐藤弘喜. インターネット通販サイトのイメージに関する研究. 日本デザイン学会研究発表大会概要集. 2017,vol.64, p.78-79.
竹上健, 後藤敏行. 角膜反射像と虹彩輪郭情報を併用した視© 2022 Information Processing Society of Japan588