WISS 2019

外部ディスプレイを用いたスマートフォンの画面拡張手法の予備調査
漆山 裕太 ∗

志築 文太郎 †高橋 伸 †

概要. スマートフォンと接続されたディスプレイにコンテンツを表示させる手法として，ミラーリングとキャスティングがある．ミラーリングでは，ディスプレイ上にスマートフォンの画面に表示されるコンテンツのみが表示され，キャスティングでは，スマートフォン上のみに専用の GUI が表示されるためディスプレイを見ながらのスマートフォン上での操作に困難が伴う．我々は，ディスプレイを見ながらのスマートフォン上での操作を可能にし，かつディスプレイ全域にてコンテンツを閲覧可能にする，外部ディスプレイを用いたスマートフォンの画面拡張手法を提案する．提案手法は，スマートフォンの表示をそのままディスプレイに映し，さらにスマートフォンの画面に収まらないコンテンツをその外側に表示する．探索に対する提案手法の効果を調査した結果，提案手法は探索を必要とする作業を速めることが示唆された．

1

はじめにスマートフォンに追加のコンテンツ表示領域を提供する技術として，スマートフォンと接続されたディスプレイにコンテンツを表示させる技術が成熟している123 ．この技術を用いたコンテンツの表示手法
として，ミラーリングとキャスティングがある．ミラーリングはスマートフォンの画面上の表示を GUIを含めてそのままディスプレイ上にも映す．ゆえに，ユーザはミラーリング中にディスプレイを見ながらスマートフォン上での操作ができる一方で，ディスプレイ上にはスマートフォンの画面に表示されるコンテンツのみが表示される．対して，キャスティン
グはスマートフォン上の映像コンテンツのみをディスプレイにて再生する．ゆえに，ユーザはキャスティ
ング中にディスプレイ全域にてコンテンツを閲覧できる一方で，スマートフォン上のみに専用の GUI が表示されるためディスプレイを見ながらのスマートフォン上での操作には困難が伴う．
我々は，ディスプレイを見ながらのスマートフォン上での操作を可能にし，かつディスプレイ全域にてコンテンツを閲覧可能にすることを目的とした，外部ディスプレイを用いたスマートフォンの画面拡張手法を提案する（図 1）．提案手法は，スマートフォンの表示を GUI を含めてそのままディスプレイに映し，さらにスマートフォンの画面に収まらないコンテンツをその外側に表示する．このため，提案手法はディスプレイとスマートフォン上の表示の双方にて同一の GUI を共有でき，スマートフォン側の GUI を保ちながらシームレスにディスプレイ
Copyright is held by the author(s).
筑波大学コンピュータサイエンス専攻†筑波大学システム情報系
1
https://www.apple.com/airplay/2
https://www.google.com/chromecast/built-in/
3
https://www.wi-fi.org/discover-wi-fi/miracast∗外部ディスプレイ
全域への表⽰同⼀のGUI
図 1. 提案手法の略図．の表示，非表示を切り替えられるのみならず，ディスプレイ全域をコンテンツ表示に活用できる．したがって，提案手法は Web ブラウザや地図アプリケーションにおける，パン操作による広い領域を閲覧しながらの探索に適すると考えられる．
今回，我々は探索に対する提案手法の効果を調査するため，外部ディスプレイ上に表示されたターゲットを選択することをタスクとした実験を行った．

2

関連研究

ディスプレイ上の表示の一部を切り抜いてスマートフォンの画面上に表示する手段はこれまでにも用いられている．Rashid ら [5] は，ディスプレイ上の表示のうちスマートフォンにより指し示された領域をスマートフォンの画面に表示させ，スマートフォンの画面にてターゲットを選択させる手法を提案した．この手法はディスプレイ上のコンテンツに対する操作を対象としている．これに対して，提案手法
はスマートフォン上のコンテンツに対する操作を対象とする．
画面上に収まらないコンテンツを表示する手法が提案されている．Fitzmaurice ら [1] は，デバイスの画面をのぞき穴のように用いて，実空間における位WISS 2019

置に応じたコンテンツ表示手法を提案した．Nielsen
ら [4] は，複数のデバイスを並べて実平面上にコンテンツを大きく表示させる手法を提案した．Grubert
ら [2] は，HMD を用いてデバイスの画面周囲にコンテンツを表示する手法を提案した．本研究では，スマートフォンの画面上に収まらないコンテンツを外部ディスプレイ上に表示する．

3

提案手法

提案手法では，スマートフォンの表示をそのまま外部ディスプレイの中心に映し，さらにスマートフォンの画面に収まらないコンテンツをその外側に表示する．提案手法はスマートフォンの GUI をそのままディスプレイ上にも映すため，ユーザがディスプレイを見ながらスマートフォン上での操作を行える可能性がある．また，提案手法はディスプレイ全域にコンテンツを表示可能であるため，ユーザがディスプレイを見ながら行う操作の性能および作業効率を高められる可能性がある．
したがって，提案手法はパン操作による広い領域を閲覧しながらの探索に適していると予想される．
この探索を要するアプリケーションとして，デスクトップ用サイトをそのまま表示する Web ブラウザ，あるいは目的地までの経路全体を見ながら詳細を確認可能な地図アプリケーションが考えられる．

4

提案手法を用いたターゲット選択実験

探索に対する提案手法の効果を調査するため，第一著者を含めた研究室内の男性 4 名（全員右利き）を対象として，スマートフォンを把持した右手親指によるターゲット選択をタスクとした実験を行った．
外部ディスプレイとして DOSHISHA 製 49 インチ4K モニタをフル HD 解像度にて用い，スマートフォンとして Apple iPhone 7 を用いた．スマートフォ
ンと外部ディスプレイとの接続には Apple TV 4Kを介した AirPlay を用い，スマートフォン上と外部ディスプレイ上のコンテンツの大きさを実寸にて同一とした．
実験参加者には，外部ディスプレイにターゲットが表示される条件（表示あり条件）と表示されない条件（表示なし条件）の 2 条件下にて，それぞれISO 9241-411 [3] に基づく 15 個のターゲットを一定順に計 16 回選択するタップタスクと，4×4 のグリッド中のランダムなターゲットを 1 回ずつ計 16 回選択する探索タスクの 2 タスクを指定した順に行ってもらった．外部ディスプレイ表示の条件とタスクの実施順にはカウンターバランスをとった．両タスクでは3 種のターゲット幅（7.0 mm, 14.1 mm, 21.1 mm）を用いた上に，タップタスクでは 3 種のターゲット間距離（112.6 mm, 119.7 mm, 126.7 mm）を，探索タスクでは 3 種の最小ターゲット間距離（28.2 mm,

表 1. 各表示条件下および各タスク間における成功時選択時間．括弧内にターゲット選択精度を示す．

表示なし
表示あり

タップタスク1.36 s（94.3%）
1.48 s（93.3%）

探索タスク
2.81 s（95.0%）
1.60 s（94.3%）

42.2 mm, 56.3 mm）を用いて，各 9 通りの組み合わせ（ブロック）に対して各タスクを実施し，計 4 ×2 × 2 × 16 × 9 = 2304 試行のデータを得た．
このうち各ブロックのはじめの試行を除いた 2160
試行のデータを分析した結果，ターゲット選択成功時の選択時間（成功時選択時間）およびターゲット選択精度は表 1 に示す通りだった．有意水準を 1%として，ウィルコクソンの順位和検定により，各タスクにおいて外部ディスプレイへの表示の有無に対する成功時選択時間には有意な差があることが示された（タップタスク：p = 1.2 × 10−7 ，探索タスク：
p = 8.3 × 10−7 ）．一方，ターゲット選択精度には有意差が検出されなかった（タップタスク：p = .53，探索タスク：p = .59）．

5

おわりに実験より，提案手法は探索を必要とする作業を速めることが示唆された．一方で，提案手法を用いた場合，探索が不要なタップタスクにおいて選択時間が低下していた．これに関連して，実験中，実験参加者が外部ディスプレイとスマートフォンの画面との間を頻繁に視線移動する様子が観察された．このため，視線移動が操作性能に影響を与えている可能性がある．今後は提案手法使用時のユーザの視線移動を測定し，視線移動が操作性能に与える影響を調査する予定である．

参考文献[1] G. W. Fitzmaurice, S. Zhai, and M. H. Chignell.
Virtual Reality for Palmtop Computers. ACM
TOIS, 11(3):197–218, 1993.
[2] J. Grubert, M. Heinisch, A. Quigley, andD. Schmalstieg. MultiFi: Multi Fidelity Interaction with Displays On and Around the Body.
CHI ’15, pp. 3933–3942.
[3] ISO. Ergonomics of Human-System Interaction– Part 411: Evaluation Methods for the Designof Physical Input Devices, 2012.
[4] H. S. Nielsen, M. P. Olsen, M. B. Skov, andJ. Kjeldskov. JuxtaPinch: Exploring MultiDevice Interaction in Collocated Photo Sharing.
MobileHCI ’14, pp. 183–192.
[5] U. Rashid, A. Quigley, and J. Kauko. Selecting Targets on Large Display with Mobile Pointerand Touchscreen. ITS ’10, pp. 285–286.