情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-30
2024/2/28

SMART MOVIE: AR グラスとスマホを併用した任意の場所で大画面かつ見やすい映像を視聴するシステム
武田 和大1,a)

真鍋 宏幸1,b)

概要：AR グラスで映像視聴する際，画面の大きさを自由に変更できるが，現実世界が透けて見づらくなる一方，スマホでは画面の大きさがデバイスの大きさに制限される．そのため両者を組み合わせた映像視聴システムが提案されたが，スマホの位置が固定されるという課題がある．そこで本研究では，AR グラスとスマホを併用してスマホを自由に移動できる映像視聴手法を提案する．提案手法の実装を行い，スマホを移動させて映像視聴できたが，遅延や 2 つの映像のズレが生じるなどの課題があった．

して映像視聴する手法を提案したが，スマホの位置が固定されてしまうという課題があった．そこで本研究では，花田ら [1] の手法にあったスマホを移動できない問題の解決に取り組む．

2. 関連研究
複数のデバイスを組み合わせることで，それぞれのデバイス単体ではデメリットとなる面を補完し合うことができ
図 1

実装のイメージ図（映像*1 は改変可能なものを使用）．

る．例えば，Jones ら [2] は，ディスプレイの周辺にプロジェクタで周辺情報を追加することで，映像への没入度を1. はじめに高める Illumiroom を提案した．この手法では，映像への没入度を高めることができるが，ディスプレイやプロジェ

Augmented Reality (AR) 技術が進歩しており，それを利用したコンテンツが増加している．AR を利用することで，現実世界に仮想オブジェクトを表示させたり，それらとのインタラクションを行うことができる．AR にはいく
つかの実現形態があるが，光学シースルーなディスプレイを備えた頭部装着型デバイスである AR グラスを用いた場
合には，ハンズフリーかつ 3 次元の入力を行うことができる．AR グラスは AR を体験するために設計されたデバイスであるが，映像視聴デバイスとしても利用することができる．AR グラスでは画面の大きさを任意に変更できるが，映像の背景に現実世界が透けてしまい，見づらくなってしまう．一方，一般的な映像視聴デバイスとして用いられるスマホやモニタでは，画面の大きさがそれぞれのデバイスの大きさに制限されてしまう．
この課題に対し花田ら [1] は，AR グラスとスマホを併用
1a)b)
*1

芝浦工業大学
al20096@shibaura-it.ac.jp
manabehiroyuki@acm.org
https://www.pexels.com/ja-jp/video/6084026/© 2024 Information Processing Society of Japanクタが使用できる場所に制限されてしまう．

AR グラスとその他のデバイスを併用した研究も行われている．MARVIS[3] では，AR グラスとタブレットを組み合わせてデータ分析を行った．机上での 6 つのユースケース例を実装し，AR グラスとタブレットで関連した別の内容を表示させたときに有用であったと報告されている．

MultiFi[4] は，スマートウォッチの画面を AR グラスで拡張することで，ユーザへの高い負荷があるものの，それぞれ単体での作業時間より短縮できることを示した．これらの研究は，モバイルデバイスを入力デバイスや AR マーカとして利用している．

AR グ ラ ス と ス マ ホ を 組 み 合 わ せ た 研 究 も さ れ て い
る [5][6]．Normand ら [5] は，2 つのデバイスを組み合わせる手法が単体での入出力より好まれ，タスク完了時間も早くなることを示した．Hubenschmid ら [6] は，空間記憶や作業負荷などの面で最適なディスプレイサイズを求めた．
これらは，入力デバイスとしてスマホのディスプレイを使314

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-30
2024/2/28

用している．
花田ら [1] は，スマホに中心部分の映像を表示し，AR グラスでその周辺映像を表示させることで映像視聴する手法を提案した．この手法は，映像の種類によっては没入度や臨場感を高めることを示した．しかし，映像の中心部分にスマホを固定する必要があった．

3. 提案手法

図 2スマホを保持している様子．

本研究では，AR グラスとスマホを併用し，任意の場所で大画面かつ高解像度な映像を視聴可能なシステムを提案理した映像を HoloLens2 に表示させている．スマホの位する．映像の画面を AR グラスとスマホの 2 つに分割し，置情報の送信には Websocket を用いており，HoloLens2 かスマホで表示されてない範囲の映像を AR グラスでスマホらスマホに送信するため，Python と Cloudﬂare Tunnel をの周辺に表示する点は，花田らの手法 [1] と同じであるが，用いた Websocket サーバを作成した．なお，映像は改変可

スマホのトラッキングを行うことでユーザが自由にスマホ能なものを使用した．本手法で映像視聴している様子のイを動かすことを可能にする点が異なる．そのため，映像のメージ図を図 1 に示す．

中心部分のみならず，映像の任意の場所をスマホで視聴することができる．これにより，映像全体を常に AR グラスで大画面で視聴しながら，ユーザが注視したい範囲をスマホの高解像度で視聴できる．

4. 実装
AR グラスとして Microsoft 社の HoloLens2，スマホには OPPO Find X3 Pro を用いて実装を行った．

5. 実装の評価
今回の実装に対し，(1) AR グラスが提示する映像とスマホの映像の空間的なズレ，(2) AR グラスの映像とスマホの映像の時間的なズレ，(3) スマホを移動させたときの追従性，(4) 映像視聴したときの印象評価，の 4 点について評価を行う．(1) と (2) については，AR グラスとスマホの映像が空間的に連続していて，全体で 1 つの映像となっスマホのトラッキングにはいくつかの方法が考えられるているのかを評価する．(3) は，スマホを移動させたときが，本実装では HoloLens2 のハンドトラッキングを利用しに，AR グラスとスマホの映像が更新されるまでの遅延時た．スマホのトラッキング用に追加のデバイスが不要で，間や空間的なズレを評価する．

ライブラリを使えば簡単に実装することができる．スマホの持ち方を予め定めておき，ハンドトラッキングで得られ5.1 映像の空間的なズレる手の位置からスマホの位置を求める．具体的には，図 2

縦横それぞれ 10px 毎に線を引いた 1080 × 1920px の映のようにスマホの四隅を両手の親指と人差し指で保持し，像を目の位置から約 0.5m 離れた所に AR グラスで表示し，その 4 本の指で囲まれてできる長方形をスマホと推定してスマホは映像の中心に固定するように約 5 分間保持した．

いる．スマホは回転させないようにし，常にスマホのディスマホには 160px 毎に縦線が，90px 毎に横線が引かれた

スプレイ面が AR グラスの映像と平行になるように保持す映像を表示させ，2 つのデバイスの境界線のずれを目視でる．推定したスマホの位置データをサーバに送信し，スマ1px 単位で求めた． HoloLens2 の片目のディスプレイ解像

ホ側ではその位置の映像のみを表示させる．スマホの位置

度は 2K，視野角は対角に約 52 度，スマホのディスプレイ推定の後，AR グラスでその範囲に対して黒色でマスク処

解像度は QHD+である．手振れの影響もあるが，結果と理を行う．これは，AR グラスで黒色のオブジェクトを表して水平方向には最大で約 15 から 20px，鉛直方向には約示するとその部分は発光せず，何も表示していない状態と10px のズレが生じた．

等しくなる性質を利用している．これにより，AR グラスの映像の内スマホと重なっている範囲に関しては，スマホの映像のみを見ることができるようになる．

5.2 映像の時間的なズレ
本システム使用時に映像が同期しているかを検証するた

HoloLens2 とスマホの映像を同時に再生させると，先にめ，それぞれのデバイスの映像開始時間の差を測定した．

HoloLens2 の映像が開始され，映像開始時間に差が発生し3 つの映像に対しての開始時間の差を，30fps の HoloLens2てしまうことがわかった．そのため，それぞれの動画を 10の内蔵カメラで 10 回測定し，その平均や標準偏差，誤差回再生したときの開始時間の差の平均を求め，HoloLens2の最大値を求めた．結果は動画ごとに異なっており，あるではその時間分待機させることで映像の同期を図る．

動画は平均フレーム差が約 0.5 で標準偏差が約 1.75，最大AR グラスとスマホのアプリケーションは共に Unity で作成し，Holographic Remoting Player を用いて，PC で処© 2024 Information Processing Society of Japan

3 フレームの差があり，別の動画の平均フレーム差は約 2
かつ標準偏差は約 2，最大フレーム差は 5 であった．

315

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-30
2024/2/28

つの動画には全員がズレを感じていたが，ほかの 2 つの動700

移 動 し た 距 離 (px)

画は人によって異なり，2 人はズレを感じ，1 人はほとん

スマホ
黒のマスク
スマホの映像600

ど感じなかった．(2) については，1 人は少し気になったも500のの，その他の 2 人はほとんど感じなかった．(3) は，ス400マホをゆっくり動かしたときにはさほど遅延が気にならな

300い人が 1 人いたが，全員が，普段使用するときのようにス200マホを動かすと遅延や空間的ズレをかなり感じていた．

100

約 10cm/s

約 6.6cm/s

6. 議論

50

6.1 ハンドトラッキングによる影響

00

1020304050 0102030406070時 間 （フレーム)

図 3

トラッキングの追従性．（左）スマホを約 10cm/s で動かした
時，（右）スマホを約 6.6cm/s で動かした時．

5.4 節で人によって空間的なズレの感じ方が異なった．
現在は図 2 のようにスマホを保持しているが，ハンドトラッキングでは指の腹の中心を取得しているため，正確に指の腹をスマホの四隅に当てることが難しい．また，スマ5.3 スマホの追従性

ホを保持する指の位置が変わるだけでもスマホに表示され手でスマホを移動させた際，ハンドトラッキングの遅延る映像が変化してしまい，映像の空間的なズレが発生してや，サーバ経由によるスマホの映像更新の遅延などにより，しまう．そのため，スマホを保持する指の位置が異なったスマホと AR グラスの映像にズレが生じる．ここではそのため，人によって空間的なズレの感じ方に違いが生まれた

遅延について評価を行った．目の位置から約 0.5m 離れた可能性がある．そこで，指の関節からスマホの位置を推定所に，10px 毎に縦線を引いた 1080 × 1920px の映像を用できるようにスマホの保持の仕方を変えることで，ユーザ意し，映像の中心部分にスマホを置いた状態を初期状態と毎の空間的なズレが軽減されることが期待される．

して，そこからスマホを水平右方向に動かした．映像の同

5.3 節より，スマホの動かし始めてからハンドトラッキ

期評価のとき同様，その時の様子を 30fps の Hololens2 のングでスマホの位置を更新するまでに約 10 フレームの遅内蔵カメラで撮影し，スマホの位置，HoloLens2 で黒のマ延や，速度が速いときに約 15 フレームの間オーバーシュー

スク処理した位置，スマホに表示している映像の位置の 3

トが起きているが，これは HoloLens2 のハンドトラッキンつについて，毎フレーム目視で 1px 単位で求めた．このカグ自体の問題である．そのため，ハンドトラッキングを利メラはユーザの視点とは別の座標にあり，実際にユーザが用している限り，スマホを動かしてから HoloLens2 で位見ている映像とは異なるため，初期状態を基準として評価置推定するまでの遅延は避けられない．また 5.4 節では，する．約 10cm/s と約 6.6cm/s の速度でスマホを動かした

スマホを移動させた時の追従性について全員が，AR グラときの結果を図 3 に示す．

スで黒のマスク処理している部分やスマホの映像の遅延を

図 3 の緑と紫のグラフの概形より，AR グラスからスマ感じていた．この追従性の遅延は，AR グラスとスマホのホに通信していることによる遅延は，ほとんどないことが空間的なズレにも影響している．これらの問題について，分かる．また，同じ移動距離の所を比べると，先にスマホ

HoloLens2 のハンドトラッキングのみならず，深度カメラの映像が変化した後に AR での黒のマスクの位置が変化しやスマホの IMU のデータを利用することで改善できる可ている．しかし，スマホを動かす速度が速いと，両者の位能性がある．

置のズレが大きくなっている．また，速度が異なる 2 つのグラフを比べると，スマホの移動速度が速いと，実際のス

6.2 映像の時間的なズレ

マホの位置とハンドトラッキングにより求めたスマホの位5.4 節において，時間的なズレをほとんど感じない人が置のずれが大きくなり，実際の位置を超えてから実際の位いたが，少し感じる人もいた．図 3 では，AR グラスとス置に戻るという軌道をたどっている．スマホの移動速度にマホの通信による遅延はほとんどなかったが，5.2 節より，関わらず，スマホを動かしてから AR グラスで実際のスマ映像再生毎に開始時間の差が変化するため，その差が大きホの位置推定までに最大約 10 フレームの遅延が発生してかったことでズレを感じた可能性がある．映像毎にも開始おり，速度が速いときにはオーバーシュートが約 15 フレー

時間の差が変わるため，今後はどのような映像に誤差が生ムの間継続している．

じやすいのか，誤差を減らせる実装方法はないかを調査していく．

5.4 印象評価
3 人に本手法で 3 つの映像を視聴してもらい，上記の (1)から (3) についてのフィードバックをもらった．(1) は，1© 2024 Information Processing Society of Japan

7. まとめ本研究では，AR グラスとスマホを併用し，任意の場所

316

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-30
2024/2/28

で大画面かつ見やすい映像を視聴可能なシステムを提案した．AR グラスのハンドトラッキングを用いて実装を行い，それによる映像の位置ずれや遅延などの評価を行った．映像の同期の誤差はあまりなかったが，ハンドトラッキングの遅延や実装上の制限によるものが大きく影響したため，それの解決案などについて議論した．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

花田 晶彦ほか： AR グラスとスマートフォンを併用した映像拡張手法における基礎検討，情報処理学会研究報告
ヒューマンコンピュータインタラクション（HCI） 2023HCI-201(34)，pp. 1–8 (2023).
Jones, B. R. et al.: IllumiRoom: peripheral projected illusions for interactive experiences, Proc. CHI ’13, pp. 869–878 (2013).
Langner, R. et al.: Marvis: Combining mobile devices andaugmented reality for visual data analysis, Proc. CHI ’21,
pp. 1–17 (2021).
Grubert, J. et al.: Multiﬁ: Multi ﬁdelity interaction withdisplays on and around the body, Proceedings of the 33rd
Annual ACM Conference on Human Factors in Computing Systems, pp. 3933–3942 (2015).
Normand, E. et al.: Enlarging a smartphone with arto create a handheld vesad (virtually extended screenaligned display), 2018 IEEE International Symposiumon Mixed and Augmented Reality (ISMAR), IEEE, pp.
123–133 (2018).
Hubenschmid, S. et al.: ARound the Smartphone: Investigating the Eﬀects of Virtually-Extended Display Size on
Spatial Memory, Proc. CHI ’23, pp. 1–15 (2023).

© 2024 Information Processing Society of Japan

317