情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-50
2023/3/1

スマートフォンのみによる視線トラッキング技術を用いた展示案内アプリケーション
橘優希†

藤田和之† 高嶋和毅†

北村喜文†

概要：本研究では，スマートフォンのみによる視線トラッキング手法である HandyGaze[1]を用いた展示案内アプリケーションの実現とその有用性の検討を行う．具体的な応用先として美術館や博物館，展覧会などの文化空間における展示案内に着目し，スマートフォンのみによる展示案内アプリケーション HandyGaze Guide を提案する．HandyGaze
Guide では，ユーザが展示物を注視するだけでその展示物に関する情報をスマートフォンから提示する．このアプリ
ケーションの有用性の検証のため，12 名の参加者を対象として，情報を取得しながら絵画を鑑賞してもらう実験を行った．実験では，HandyGaze Guide に加え，比較手法として QR コード入力アプリ（QR Guide）の 2 つを，展示案内の主観的なユーザ体験に関する評価指標である Multimedia Guide Scale を用いて比較した．この結果，提案手法の平均
スコアは，General Usability Scale および Learnability and Control のサブスケールでは比較手法と同等，Quality ofinteraction with the Guide のサブスケールでは比較手法よりも高かった．結果より，初めて使用する参加者にも問題なく受け入れられるユーザビリティであること，鑑賞と情報取得のシームレスさを実現できたこと，参加者が鑑賞している展示物の情報を提示できたことが考察された．という必要条件を満たしやすいこと，また，文化空間にお1. 序論

ける展示案内の研究では，ユーザ自身のデバイスを用いた

視線はユーザの関心領域を自然に示し，離れたターゲッ手法が推奨されていること[6]が挙げられる．

トに対しても有効であることから，有用な入力手段として文化空間におけるユーザ自身のデバイスを用いた展示活用されてきた．視線入力は，画面上のポインティング[2]

案内の関連研究としては，ユーザ自身が情報取得するもののような二次元平面を対象としたものだけでなく，近年でとシステムからユーザに情報を提示するものがある．前者

は三次元空間への適用[3][4][5]も検討されている．例えば，は，主に番号入力 aや QR コード入力が使われており，ユ作業空間でのデバイスの切り替え[4]，VR 空間のオブジェーザにとって必要な時に情報を取得できる一方で，コードクト操作[5]などが挙げられ，不特定多数の関心対象のあるの探索によって鑑賞を一時中断する必要がある．後者は，屋内空間（以下，「ルームスケール環境」とする）におけるWi-Fi[7]，超音波[8]，Beacon[9]等を用いてユーザと展示物視線入力の応用が幅広く検討されてきた．しかし，既存のの距離を測定し，近い展示物の情報を提示する．この手法

視線入力手法は，いずれも環境設置型や頭部着用型トラッは鑑賞と情報取得をシームレスに行うことができる一方で，カといった専用のデバイスを用意する必要があり，導入障ユーザが鑑賞していない展示物の情報を提示する可能性が壁の高さが課題となっていた．

ある．

この課題の解決策として，スマートフォンのみを用いた本研究で提案する文化空間向け展示案内アプリケーシ

視線トラッキング技術「HandyGaze」[1]がある．HandyGazeョン HandyGaze Guide は，ユーザが展示物を見るだけで，はスマートフォン内蔵の前後のカメラと深度センサを用いその展示物の詳細な情報をスマートフォンにより提示するて，ルームスケール環境内での 6 自由度の視線トラッキンことができる．関連研究と比較した HandyGaze Guide の利グを実現している．しかし，この研究[1]は視線トラッキン

点は以下の 3 つである．

グの基本的なパフォーマンスの評価をするに留まっており，展示案内をはじめとした応用例はまだ検討されていない．

スマートフォン以外の機器や装置を必要としない

そこで本研究では，HandyGaze のアプリケーションの実

ユーザが鑑賞している展示物の情報を提示する

現とその有用性の検討を目的とする．具体的な HandyGaze



展示物の鑑賞と情報の取得をシームレスに行うの応用先として，本研究では美術館や博物館，展覧会などの文化空間での展示案内アプリケーションに着目する．そこれらの利点から，HandyGaze Guide を使用することにの理由としては，美術館や博物館，展覧会などの文化空間

よって，文化施設の運営側としては展示案内ガイドに関わは不特定多数の関心対象物があるルームスケール環境であるコストの削減が期待でき，訪れるユーザ側としては詳細

り，ユーザから展示物に関する情報の提示を求められるこな情報を取得しながら展示物に集中できるため，文化空間と，ユーザが立位姿勢であることが多く，スマートフォンでの体験の満足度が上がることが期待できる．

を自然に把持したときにユーザの顔を前面カメラが捉える† 東北大学

電気通信研究所© 2023 Information Processing Society of Japana https://welcome.mapps.ne.jp/pocket/981

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-50
2023/3/1

本研究では，HandyGaze Guide の実現のため，文化施設の運営側に向けたコンテンツのセットアップインタフェー
ス，および鑑賞者に向けた情報提示インタフェースをそれぞれ実装する．加えて，このアプリケーションを用いて絵画の鑑賞を行う実験を通して，HandyGaze Guide の使いやすさと鑑賞体験に与える影響を測定し，有用性を検証する．

2. HandyGaze Guide
2.1 概要図 2

HandyGaze のシステム概要

HandyGaze のシステム概要を図 2 に示す．ARKit の Face
Tracking API を用いて，スマートフォンの前面カメラから顔の形状を手がかりに，スマートフォンに対する相対的なユーザの頭部の位置・方向を取得する．また，3D マップ上で位置が既知である環境内のターゲットをユーザに複数回注視してもらうことでキャリブレーションを行い，頭部ベクトルを視線ベクトルへ較正する．同時に，ARKit の 3D
Mapping API を用いて，ルームスケール環境の 3D マップを復元し，その特徴をスマートフォンの背面に搭載されたカメラと深度センサから得られる画像・深度マップと照合することで，3D マップ上での自己位置推定を行う．これによりユーザの周辺環境を把握する．上に述べたような視線ベクトルの取得と周辺環境の把握を組み合わせることで，
図 1

HandyGaze Guide の使用風景（実際の様子（左），スマートフォン画面（右））ルームスケール環境での視線トラッキングを実現している．
10 名の参加者によるトラッキング精度の評価実験の結果，ユーザ毎のキャリブレーションを実施した条件では，3 通

本研究では，HandyGaze を用いた美術館や博物館等の文化 空 間 に お け る 展 示 案 内 ア プ リ ケ ー シ ョ ン HandyGaze
Guide を提案する．図 1 のように，HandyGaze Guide はユりの距離（1.75 m , 3.5 m, 5.25 m）の壁面に配置されたターゲットに対して平均 0.53 m（SD = 0.42）の誤差で注視位置を推定できることがわかった．この精度であれば，ターゲーザが展示物を見るだけで，その展示物の詳細な情報を提ット同士があまり密に配置されていない美術館や博物館等示することができるアプリケーションである．加えて，アの展示案内への応用が可能と考えられる．

プリケーションのセットアップも利用もスマートフォンの2.3 HandyGaze Guide の実装

みで行うことができる．

2.3.1 セットアップインタフェース

以下では，まず本アプリケーションのコア技術である文化施設の運営側による利用が想定される，セットアッ

HandyGaze の概要を述べ，その後，アプリケーションのイプインタフェースの画面を図 3 に示す．まずスマートフォ

ンタフェース設計と実装について述べる．

ンの外側カメラ，モーションセンサ，深度センサを用いて2.2 先行研究（HandyGaze）[1]

ルームスケール環境全体を撮影することで，3D マップを取

HandyGaze は，Nagai らによって開発されたルームスケ得する．次に，スマートフォンのカメラでセットアップをール環境を対象としたスマートフォンのみによる視線トラする対象の展示物を捉え，スマートフォンの画面上でそのッキング技術である．スマートフォン内蔵の前後のカメラ展示物を直接タップする．すると，画面上のタップ位置とと深度センサを用いて，ルームスケール環境内での 6 自由

3D マップ上の物理面との衝突点にオブジェクトが配置さ度の視線トラッキングを実現する．事前にルームスケールれる．あらかじめ登録しておいた展示物の名称をリストか

環境の 3D マップを取得すること，前面のカメラがユーザら選択し，オブジェクトと展示物を紐づける．また，配置の顔を捉えることの条件を満たせば，スマートフォンのみされたオブジェクトはサイズの調整が可能である．

で視線トラッキングが可能になる．

© 2023 Information Processing Society of Japan982

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-50
2023/3/1

比較のため，情報提示インタフェースは HandyGaze Guideと同様としている．
測定項目は System Usability Scale （HandyGaze Guide のみ），Multimedia Guide Scale（両手法）の回答である．System
Usability Scale（SUS）はシステムの使いやすさを測定する主観指標であり，5 段階のリッカート尺度（5: 強く賛成-1:強く反対）の 10 問の質問からなる． Multimedia Guide Scale（MMGS）は，Othman らによって開発されたマルチメディアガイドがユーザの文化空間での体験を測る主観指標の一つで，主にマルチメディアガイドの有用性や利便性を測定する[10]．5 段階のリッカート尺度の 17 問の質問からなり，General Usability（一般的な使いやすさ）， Learnabilityand Control（学習性と操作性）， Quality of interaction with theGuide（ガイドとのインタラクションの質）の 3 つのサブスケールに分類される．質問項目を表 1，表 2，表 3 に示す．
図 3

表 1

セットアップ時のアプリケーション画面

MMGS (General Usability)

2.3.2 視線入力
HandyGaze を用いてトラッキングされた視線ベクトルがオブジェクトと 1.5 秒以上交わる，かつ，そのオブジェクトが現在入力状態にあるオブジェクトと異なるとき，そのオブジェクトがシステムに入力され，紐づけられた展示物の情報の呼び出しが行われる．なお，先行研究[1]で用いられていたユーザ毎のキャリブレーションは，本アプリケーションでは使用しない．これは，予備検討から，キャリブレーションなしでも展示案内の用途においては十分な精度
表 2が出せると考えたためである．

MMGS (Learnability and Control)

2.3.3 情報提示インタフェースユーザが注視しているオブジェクトが入力されると，まずそのオブジェクトに紐づけられた展示物の情報（ここでは特定のウェブページ）を表示する．表示が完了すると，スマートフォンの振動でユーザに通知され，同時に音声ガイドが再生される．

3. 評価実験
HandyGaze Guide の使いやすさやユーザの鑑賞体験に与表 3

MMGS (Quality of interaction with the Guide)

える影響について調査することを目的に実験を行った．
3.1 概要
展示案内に用いるインタフェースは，提案手法である
HandyGaze Guide（HG）と既存手法の QR コード入力の展示案内アプリケーション QR Guide（QR）の 2 通りである．
本実験では，広く普及している入力手段であり，文化空間での展示案内にも用いられている QR コード入力を使用し本実験には，12 名の大学生または大学院生の研究室内

た QR Guide を比較に用いる．QR Guide は展示物の横に設の学生（男性 11 名， 女性 1 名，平均年齢 22.9 歳 （SD置された QR コードにスマートフォンをかざすことで，その展示物の詳細な情報を提示するアプリケーションである．

© 2023 Information Processing Society of Japan= 1.26））が参加した．12 名全員が美術館や博物館への訪問経験があり，うち 2 人がモバイルガイドの使用経験があっ983

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-50
2023/3/1

た．

3.4 結果3.2 実験環境・装置

3.4.1 System Usability Scale の回答（HandyGaze Guide のみ）

実験会場の様子を図 4 に示す．実験会場には A1 サイズ

得られた回答をパーセンタイルに変換すると，参加者 12の 6 枚の絵画展示した．絵画は地面からおよそ 160cm の高人の平均スコアは 78.3 （SD = 9.65） であった．スコア評

さに展示した．6 枚の絵画のうち 1 枚はアプリケーション

価のための形容詞のスケールより，HandyGaze Guide はの説明と練習のための見本用とし，残りの 5 枚は観賞用と“Good”の評価を得た．

した．観賞用の 5 枚の絵画は手法ごとに入れ替えた．本実

3.4.2 Multimedia Guide Scale の回答（両手法）験ではメトロポリタン美術館 の 11 枚の絵画を使用した．

各質問項目の平均スコアを表 4 に示す．なお，逆転項目さらに，ユーザに提示する情報として，同美術館の作品のである GU2, GU3, GU4, GU7, GU8, LC4, LC6 については得公式ウェブページと解説音声を利用した．また，会場にはられたスコア値を反転させたものを示している．ウィルコ

鑑賞を妨げない位置に椅子を設置した．これは HandyGaze

クソンの符号付き順位検定（統計数値表による検定）の結の自己位置推定の精度を上げるためである．

果，LC1 の“I felt I was in control of the multimedia guide（マb

実験装置は iPhone12Pro を使用した．また，参加者の同ルチメディアガイドを自分で操作している実感があった）”

意のもと，2 台のカメラで鑑賞中の参加者の様子を録画しに関しては QR Guide のスコアが HandyGaze Guide に比べた．HandyGaze Guide のセットアップでは，視線入力の精て有意に高く（p < .05），QG3 の“I became unaware that I was

度を上げるため，オブジェクトのサイズは実際の絵画より

even using any controls on the multimedia guide（マルチメデも大きい縦 2.0 m，横 1.5 m に設定した．

ィアガイドの操作をしていることすら意識しなくなった）”に関しては HandyGaze Guide のスコアが QR Guide に比べて有意に高かった（p < .01）．
各サブスケールの中央値とウィルコクソンの符号付き順位検定（統計数値表による検定）の統計量と両側検定の結果を表 5 に，各参加者のサブスケールごとの平均スコア
を ま と め た も の を 図 5 に 示 す ． Generality Usability ，Learnability and Control では 2 手法のスコアに有意差はなく（p>．05），同程度の評価だったが，Quality of Interaction with
the Guide のみ HandyGaze Guide のスコアの方が QR Guideに比べて有意に高かった（p < .01）．

図 4

実験会場の様子表 4

3.3 手順

番号

実験開始前に，使用機器及び実験者と参加者の手指のアル

MMGS の各質問項目の平均値

平均値

平均値

（HG）

（QR）
4.0

番号

平均値

平均値

（HG）

（QR）

LC1

3.1

4.3

コール消毒を行った．次に，見本用の絵画を用いて，実験

GU1

4.3

者の使用している姿を見せながら，アプリケーションの使GU2

3.9

4.0

LC2

4.7

4.8

い方を説明し，参加者にも使用してもらった．また，参加

GU3

3.2

3.0

LC3

4.8

4.8者には，すべての展示物の情報を取得することと，鑑賞終GU44.3

4.2

LC44.6

4.8

了後のアンケートで回答する気に入った展示物を鑑賞中に

GU52.92.3LC54.2

3.5

選んでおくことを教示し，時間や順番は指定せず 5 つの展

GU64.8

4.2

LC64.44.2

示物を鑑賞してもらった．鑑賞終了後，System Usability

GU7

3.9

4.5

QG1

4.0

4.1

Scale （HandyGaze Guide のみ），Multimedia Guide Scale（両GU84.0

3.9

QG2

3.2

3.3

QG3

3.7

1.7

手法）に回答してもらった．一連の流れを各手法で行った．
手法の順番は参加者間でカウンターバランスをとった．
HandyGaze Guide を使用する際は参加者に同意を得てマス表 5MMGS の各サブスケールの平均値と統計量，クを外してもらった．最後に 2 つの手法を比較して，それぞれのメリットとデメリットについてインタビューで回答してもらった．

両側検定の結果
サブスケール

平均値（HG）

平均値（QR）

統計量

両側検定

GU

3.9

3.817-

LC

4.3

4.424-

QG

3.6

3.0

21%有意b https://www.metmuseum.org/© 2023 Information Processing Society of Japan984

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-50
2023/3/1てくれるという信頼感があったという声があった．その理由として以下の 3 つが考えられる．
QR コード入力の方が使い慣れているため



情報が提示されるまで入力を確認できないため



実験中に一度読み込んだ情報が勝手にリロードされる誤作動や反応しにくいときがあったため

2 つ目の理由に関して，QR コード入力はカメラでスキャンするため，情報提示される前に入力できたことを確認できるが，HandyGaze は情報提示されるまで入力が確認できないため，信頼感を得にくかったと考える．このことは，ユーザの慣れによって解消される可能性があり，今後調査す
図 5

MMGS の回答結果る必要がある．
先行研究[1]より，ユーザが上を向いた場合に前面カメラ

3.4.3 インタビューが顔を捉えにくくなり，頭部トラッキングがロストしやす2 手法を比較してそれぞれのメリット・デメリットを回くなることが報告されている．参加者の実験中の動画，誤答してもらった．HandyGaze Guide のメリットとしては，作動が生じたときや反応が鈍くなったとき，スマートフォ操作感のない自然な情報取得や遠距離からの入力が可能なンの画面が床と並行に近い角度になっていたことが確認で点が挙げられた．デメリットとしては情報が欲しいと思わきた．このことから先行研究で報告されたロストが原因でないときにも情報が提示された，スマートフォンを持つ角誤作動や鈍い反応が起きたと考えられる．この対策として度によって反応が鈍いときがあったという指摘があった．

はロストが発生しそうなときや発生したときにユーザに通QR Guide では，欲しい情報が手に入る点，確実に情報を提知すること，ロストした際は直前の展示物の情報を提示し示してくれる安心感がメリットとして挙げられ，デメリッ

続け，再びユーザの顔を捉えられたときにロスト前と同じ

トとしては，いちいちスマートフォンをかざすのを手間に展示物を見ていたらリロードを行わないというようなこと感じたという声があった．

が考えられる．一方で実験中に鑑賞している展示物と異なる展示物の情報を提示したという声はなかった．

4. 議論

以上のことから，ユーザが鑑賞している展示物に関わる情報を提示することは達成できたが，フィードバックへの4.1 考察

信頼性にはまだ課題が残ると考えられる．

4.1.1 展示物の鑑賞と情報の取得のシームレスさ4.1.4 フィードバックのモダリティ

Multimedia Guide Scale の回答とインタビューより，本アプ

主に展示物を一通り見たあと，気になった展示物を再びリケーションは，既存手法と比較して，ユーザが操作する鑑賞した参加者から，HandyGaze Guide は情報が欲しいと感覚なく情報を取得できることが特徴であることがわかっ思わないときにも情報が提示されて煩わしかったという声た．このことから本アプリケーションは，展示物の鑑賞とが寄せられた．

情報の取得をシームレスに行うことを実現できたといえる．
また，参加者から HandyGaze Guide の方が展示物に集中で本アプリケーションが情報提示する際のユーザへのフィードバックは以下の 3 点である．

きた，情報取得に鑑賞を妨害されなかったという声もあり，展示物の鑑賞と情報の取得のシームレスさはユーザの鑑賞

スマートフォンの画面へのウェブページの表示の満足度を上げる一助になる可能性がある．



情報提示されたことを通知する振動

音声ガイドの再生

4.1.2 操作性と学習性
広く普及している入力手段である QR コードと比較してMultimedia Guide Scale の Learnability and Control のスコア

再び展示物をみる際に参加者はスマートフォンの画面に差はみられなかった．また，System Usability Scale のスを見ないことが多いこと，振動は音声ガイドに比べて刺激

コアは“Good”の評価を得た．従って，参加者が使い慣れが微弱なことから，音声ガイドが自動で流れたことに煩わていないインタフェースであるにもかかわらず，しさを強く感じたのではないかと考えられる．そのため音HandyGaze Guide はユーザに問題なく受け入れられたとい

声ガイドを使用する際は再生タイミングについて検討が必える．

要だと考えられる．

4.1.3 システムへの信頼感
インタビューの中で，既存手法の方が確実に情報を提示し© 2023 Information Processing Society of Japan985

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

4.2 研究の制限と今後の課題
4.2.1 マスクの着用による精度の低下
HandyGaze Guide は主に公共空間での使用が考えられるが，先行研究[1]でも言及されているように HandyGaze はマスクで顔を覆われていると精度が下がってしまうため，マスクを外して使用する必要がある．これには透明なマウスシールドを用いることや眼球ベクトルのトラッキングなどの対策が考えられるが，今後の課題である．
4.2.2 展示案内のための準備コストの削減の調査
3D マップ内でオブジェクトを作成するだけでアプリのセットアップが完了することは，物品や機器の準備と設置のコスト削減やレイアウトや展示の変更への柔軟な対応につながると考えられるが，実際の文化施設のスタッフを対象とした調査が必要である．

5. 結論
本研究では HandyGaze を用いたアプリケーションの実現と有用性の検討を目的とし，美術館や博物館，展覧会などの文化空間における展示案内アプリケーション HandyGaze

3B-50
2023/3/1[5] Pfeuffer, K., Mayer, B., Mardanbegi, D. and Gellersen, H.: Gaze +Pinch Interaction in Virtual Reality, Proceedings of the 5th
Symposium on Spatial User Interaction, p. 99–108,
doi:10.1145/3131277.3132180 (2017).
[6] Othman, M. K., Petrie, H. and Power, C.: Measuring the Usabilityof a Smartphone Delivered Museum Guide, Procedia Social andBehavioral Sciences, pp. 629–637, doi:
10.1016/j.sbspro.2013.10.282 (2013).
[7] Chianese, A., Marulli, F., Moscato, V. and Piccialli, F.: SmARTweet:
A Location-Based Smart Application for Exhibits and Museums,
2013 International Conference on Signal-Image Technology
Internet-Based systems, pp. 408– 415, doi:10.1109/SITIS.2013.73(2013).
[8] Bihler, P., Imhoff, P. and Cremers, A. B.: SmartGuide – A
Smartphone Museum Guide with Ultrasound Control, Procedia
Computer Science, pp. 586–592, doi: 10.1016/j.procs.2011.07.076(2011).
[9] Alvermann, J.: Mobile Media in the Museum Space: The Exampleof the Neanderthal Museum’s App "Neanderthal+", Proceedings ofthe 2016 ACM International Joint Conference on Pervasive andUbiquitous Computing: Adjunct, pp. 1509–1512,
doi:10.1145/2968219.2974048 (2016).
[10] Othman M.K., Petrie H., P. C.: Engaging Visitors in Museums withTechnology: Scales for the Measurement of Visitor and Multimedia
Guide Experience, Human-Computer Interaction – INTERACT
2011, pp. 92–99, doi: 10.1007/978-3-642-23768-3_8 (2011).

Guide を提案した．提案手法の使いやすさやユーザの鑑賞体験に与える影響を調査するために，HandyGaze Guide とQR コード入力を使用したアプリケーション QR Guide の 2手法を用いて，それぞれ 5 枚の絵画を鑑賞してもらう実験を行った．この結果から，HandyGaze Guide は，初めて使うユーザにも問題なく受け入れられたこと，展示物の鑑賞と情報の取得のシームレスさを実現できたこと，ユーザが閲覧している展示物に関わる情報を提示できたことがわかった．一方で，視線入力時のユーザへのフィードバックの信頼性には課題があることも明らかになった．今後は，実際の文化施設のスタッフを対象とした調査や，入力時の視聴覚・振動フィードバック手法の検討に取り組む．

参考文献[1] Nagai, T., Fujita, K., Takashima, K., & Kitamura, Y. : HandyGaze:
A Gaze Tracking Technique for Room-Scale Environments using aSingle Smartphone. Proceedings of the ACM on Human-Computer
Interaction, 6 (ISS), pp. 143-160. doi: 10.1145/3567715 (2022).
[2] Stellmach, S. and Dachselt, R.: Still Looking: Investigating
Seamless Gaze-Supported Selection, Positioning, andManipulation of Distant Targets, Proceedings of the SIGCHI
Conference on Human Factors in Computing Systems, pp.285–294,
doi: 10.1145/2470654.2470695 (2013).
[3] Wang, H., Pi, J., Qin, T., Shen, S. and Shi, B. E.: SLAM-BasedLocalization of 3D Gaze Using a Mobile Eye Tracker, Proceedingsof the 2018 ACM Symposium on Eye Tracking Research &Applications, doi:10.1145/3204493.3204584 (2018).
[4] Serrano, M., Ens, B., Yang, X.-D. and Irani, P.: Gluey: Developing aHead-Worn Display Interface to Unify the Interaction Experiencein Distributed Display Environments, Proceedings of the 17th
International Conference on Human-Computer Interaction withMobile Devices and Services, pp. 161–171,
doi:10.1145/2785830.2785838 (2015).

© 2023 Information Processing Society of Japan986