WISS 2022

MR 空間でのコミュニケーションにおける仮想オブジェクトの最適なレイアウトの探索
前田 清洲 ∗

Hyunsung Cho†

Violet Han†

暦本 純一 ∗ ‡David Lindlbauer†

概要. Mixed Reality(MR) は広い空間に対して柔軟に情報提示を行うことが可能である. 一方で複数人のユーザが MR 空間でインタラクションを行う際に，仮想オブジェクトをどのように配置すべきかについては十分に明らかであるとは言えない．本研究では MR 空間でのコミュニケーションにおいてどのような仮想オブジェクトのレイアウトが最適であるとユーザが感じるかをペーパープロトタイピングツールを用いて調査した．その結果，ユーザは (1) どの仮想オブジェクトに注目しているか，(2) オクルージョン，(3) 仮想・物理オブジェクト同士の関連性，(4) 共有・個人スペースといった観点から MR 空間に情報を配置していることを発見した．この発見は MR 空間にオブジェクトを提示する際，グループ陣形やユーザの注目しているトピックに応じて自動で仮想オブジェクトのレイアウトを決定する手法に応用可能である．

1

はじめに情報共有は社会的相互作用において極めて重要である．対面環境では紙 [6] や電子機器 [2] を用いて行われるが，これらのデバイスはインタラクションを狭いもしくは静的な空間に制限してしまう．一方
Mixed Reality(MR) ではこうした制約に囚われず，広い空間に対して柔軟に情報提示を行うことができる．そのためデザインやデータ分析など共同作業やコミュニケーションの場面で活用されてきた [8]．
MR における情報提示はユーザの状態や周囲の環境といったコンテクストの変化に影響される．この変化のたびにユーザは仮想オブジェクトの配置を手動で調整しなければならず，これは時間がかかる [5]．
複数のユーザがいる場合はより顕著な問題である．
なぜなら，グループのメンバーや陣形，ユーザが何に注目しているかが絶えず変化するからである [3]．
仮想オブジェクトの配置はこうしたコンテクストの変化に対して最適化される必要がある [4]．
本研究では MR 空間で複数人のユーザが社会的相互作用を行う際に仮想オブジェクトの配置を自動で決定する手法を実現することを目的とする．そのためにまず，ユーザがどのように仮想オブジェクトを配置されることを望むかを予備実験により明らかにする．予備実験の結果，ユーザは四つの観点から仮想オブジェクトの配置を評価していることが分かった．最後にユースケースを挙げながら今回の結果や今後の方向性について議論する．
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗東京大学†
カーネギーメロン大学‡
Sony CSL Kyoto

2

ユーザスタディ

図 1. 実験で使用したペーパープロトタイピングツール.

MR 空間で複数人のユーザがインタラクションする場面においてユーザがどのように仮想オブジェクトを配置するかを理解する必要がある．そのためにまず，ペーパープロトタイピングツールを用いたユーザスタディを実施した. 12 人の参加者はそれぞれ図 1 に示すように，複数の磁石棒を用いて仮想オブジェクトを模した紙を空中に配置することができた．参加者の会話相手も人の顔を印刷した紙を三脚に取り付けることにより表現した．

図 2. ユーザスタディで設定したシナリオの例. 人の位置と置くべき仮想オブジェクトが指定されている．

WISS 2022

図 3. 想定するユースケースの例. システムがグループのフォーメーションに応じて仮想オブジェクトの配置を自動で最適化している．

実験で参加者は置くべき仮想オブジェクトやグループのフォーメーションの違う 6 つのシナリオにおいて「仮想」オブジェクトを配置するように指示された．図 2 にシナリオの例を示す．この例では 3人組のグループが展示会にある展示物について三角形のフォーメーションで議論している．配置する仮想オブジェクトには，PDF や動画ウィンドウなどのすべてのユーザが見ることのできる共有オブジェクトや，ソーシャルメディアなどの特定のユーザのみが見ることのできるプライベートオブジェクトがある．参加者は最適な位置にこれらの仮想オブジェクトを配置し，判断基準を説明することを求められた．

3

結果

著者らはインタビューやタスク中のコメント，最終的な仮想オブジェクトのレイアウトをもとに主題分析を行い，参加者が以下の四つの観点から仮想オブジェクトのレイアウトを決定していることを発見した．

• Focus: 参加者 (N=11) はどの仮想オブジェク
トに注目しているかをもとにオブジェクトの配置や大きさを決めていた．例えばあるシナ
リオにおいて動画が重要であるとき，参加者は動画をグループの共有スペースの中心かつユーザの目線付近に最大限の大きさで配置していた．

はグループの共有・個人スペースを意識して仮想オブジェクトを配置していた．例えば，共有オブジェクトは共有スペース (図 2 左の青色で囲った領域) に置く一方で，プライベートオブジェクト (図 2 左の黄色で囲った領域) はパーソナルスペースの中でも他のユーザから遠い場所に置いていた．

4

デモ

今回の発見をもとに，著者らは MR 空間で情報を提示する際にグループ陣形やユーザの注目しているトピックに合わせて自動で仮想オブジェクトの配置を決定するシステムを提案する．学会中はこのプロトタイプのデモを行う予定である．活用例の一つとしては図 3 のような場面を想定している．ここではまず二人のユーザがリビングで MR 空間上に共有した仮想オブジェクトを見ながらコミュニケーションをとっている．新しいユーザがこのグループに加わったとき (図 3A)，仮想オブジェクトは新しいユーザを遮蔽してしまっている (図 3B)．そこでシステム
は図 3C のように三人のユーザで構成されるグループの新しい共有スペースに仮想オブジェクトを移動させる．その結果，新しいユーザが遮蔽されることなく会話を継続できる．このシステムは 3 章の結果を目的関数と制約とする最適化ベースのアプローチにより実現される．

• Occlusion: また，参加者 (N=10) は会話相手や物理オブジェクトを遮蔽しない，もしくは遮蔽されないように仮想オブジェクトを配置していた．これは [7] で MR コンテンツを周囲の人に重ならないように提示していたこととも一致する．

• 仮想・物理オブジェクト同士の関連性: 参加者(N=9) は [1] でも指摘されているように，仮想オブジェクトを関連している物理オブジェクトの近くに配置する傾向にあった．

• 共有・個人スペース: 最後に，参加者 (N=9)

5

むすび

本研究では，MR 空間中でのコミュニケーションでユーザにとって最適な仮想オブジェクトのレイアウトをユーザスタディを通して探索した．その結果，グループのフォーメーションやオクルージョンなどを考慮することが重要であることを発見した．本研究で得られた発見は，MR 空間におけるコミュニケーションで提示される仮想オブジェクトの配置を自動で最適化する手法に応用できる．

MR 空間でのコミュニケーションにおける仮想オブジェクトの最適なレイアウトの探索

謝辞
本研究成果は，国立研究開発法人情報通信研究機
構の委託研究 (02901)，JST ムーンショット型研究開発事業グラント番号 JPMJMS2012，トヨタ人工知能人材育成のための海外留学奨学金ならびに東京大学卓越大学院 WINGS-CFS により得られたものです．

参考文献[1] Y. Cheng, Y. Yan, X. Yi, Y. Shi, and D. Lindlbauer.
SemanticAdapt: Optimization-basedAdaptation of Mixed Reality Layouts Leveraging Virtual-Physical Semantic Connections. In
UIST ’21: The 34th Annual ACM Symposium onUser Interface Software and Technology, Virtual
Event, USA, October 10-14, 2021, pp. 282–297,
New York, NY, 2021. ACM.
[2] A. Fender, P. Herholz, M. Alexa, and J. Müller.
OptiSpace: Automated Placement of Interactive
3D Projection Mapping Content. In Proceedingsof the 2018 CHI Conference on Human Factors
in Computing Systems, CHI 2018, Montreal, QC,Canada, April 21-26, 2018, p. 269, New York,NY, 2018. ACM.
[3] B. Lee, M. Lee, P. Zhang, A. Tessier, andA. Khan. An Empirical Study of How SocioSpatial Formations are Inﬂuenced by Interior El-未来ビジョン
我々は Mixed Reality(MR) 空間上に提示される仮想オブジェクトのレイアウトは周囲の環境やユーザの内的状態 (e.g., 認知負荷・意図)に対して適合するように (adaptive に) 決定される必要があると考えている．MR システムは従来の二次元ディスプレイを超えて三次元の空間に対してユーザが自由にコンテンツを配置することを可能にするが，どのオブジェクトをどこにどのように配置するかはコンテクストに依存する．例えば MR 空間で研究の作業を行う場合，PDF やウェブブラウザといった複数の仮想オブジェクトを空間に配置した状態で取り組むだろう．一方で研究の合間に休憩する際には，そうしたオブジェクトは閉じた上で動画やソーシャルメディアアプリケーションなどを立ち上げるはずだ．こうしたコンテク

ements and Displays in an Oﬃce Context. Proc.
ACM Hum. Comput. Interact., 3(CSCW):58:1–58:26, 2019.
[4] D. Lindlbauer. The future of mixed reality isadaptive. XRDS: Crossroads, The ACM Magazine for Students, 29(1):26–31, 2022.
[5] F. Lu and Y. Xu. Exploring Spatial UI Transition
Mechanisms with Head-Worn Augmented Reality. In CHI ’22: CHI Conference on Human Factors in Computing Systems, New Orleans, LA,USA, 29 April 2022 - 5 May 2022, pp. 550:1–550:16, New York, NY, 2022. ACM.
[6] P. Luﬀ and C. Heath. Mobility in Collaboration. In CSCW ’98, Proceedings of the ACM 1998
Conference on Computer Supported Cooperative
Work, Seattle, WA, USA, November 14-18, 1998,
pp. 305–314, New York, NY, 1998. ACM.
[7] J. Orlosky, K. Kiyokawa, T. Toyama, and D. Sonntag. Halo Content: Context-aware Viewspace
Management for Non-invasive Augmented Reality. In Proceedings of the 20th International Conference on Intelligent User Interfaces, IUI 2015,
Atlanta, GA, USA, March 29 - April 01, 2015,
pp. 369–373, New York, NY, 2015. ACM.
[8] M. Sereno, X. Wang, L. Besançon, M. J. McGufﬁn, and T. Isenberg. Collaborative Work in Augmented Reality: A Survey. IEEE Trans. Vis.
Comput. Graph., 28(6):2530–2549, 2022.

ストの切り替えは頻繁に起こり，その度に手動で仮想オブジェクトの配置をその時のコンテクストに合うように変更するのは時間がかかり面倒である．我々はコンテクストの変化を捉え自動で仮想オブジェクトのレイアウトを調整できるような adaptive な MR システムを実現することを目指している．
本研究では MR における最も主要なユースケースの一つになると考えられる共同作業や会話に焦点を当てている．本文中でも示したように仮想オブジェクトの配置はグループに属するユーザの場所や彼らが何に注目しているかといったコンテクストの影響を受ける．今回の実験で得られた発見はユーザの意図や周囲の環境といったコンテクストをモデル化し，そのコンテクストに応じてユーザにとって最適な仮想オブジェクトのレイアウトを決定するシステムを構築するための足がかりになると考えている．