WISS 2023

OMEME: 非装着状態の HMD を用いたコンパニオンロボットの開発
阿部 優樹 ∗†

鈴木 湧登 ∗†

坂本 大介 ∗

小野 哲雄 ∗

概要.
ヘッドマウントディスプレイ（HMD) は，頭部への装着状態を前提として開発されてきた．一方で，非装着状態での利用は検討が乏しいため，センサ類をはじめとした HMD の計算機資源を有効活用できているとは言えない．そこで本研究では，非装着状態の HMD をコンパニオンロボットとして活用する．
具体的には，HMD の光学レンズを瞳に，コントローラスタンドを腕に見立てることで実現する．これにより，頭部への装着に囚われない HMD の活用方法について議論する．

1

はじめにヘッドマウントディスプレイ（HMD）は，頭部への装着状態を前提として開発されてきた．特に，HMD に搭載されたディスプレイやスピーカーは，没入感の高い Virtual Reality(VR) コンテンツを提供している (例: [2, 3])． 一方で非装着状態では，HMD の計算機資源が有効活用されていない．作業中や会話中，食事中など，我々が HMD を装着していない時間は決して短くない．そのため，非装着状態における HMD の活用に関して議論することは，計算機資源を利用する上で有意義であると考える．
そこで本研究は，非装着状態の HMD をコンパニオンロボットとして活用する (図 1)．具体的には，HMD の光学レンズを瞳に，コントローラスタンドを腕に見立てた上で，HMD に搭載されているマイクを環境認識に，スピーカーを発話機能に利用する．これにより，コンパニオンロボットのようなインタラクションを実現する．本研究では，このユースケースを議論することで，Human-ComputerInteraction(HCI) や VR 分野における HMD の新たな活用方法を提案する．

2

関連研究

Hoﬀman ら [1] は，スマートフォンを装着する
ドックスピーカーをコンパニオンロボットとして活用することで，使用していないスマートフォンを音楽体験に活用した．本研究は，非装着時の HMD を，特にレンズ部分を瞳として活用することで，コンパニオンロボットとして活用することを試みる．

Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗北海道大学†
これらの著者は同等に貢献し，五十音順に並んでいる．

図 1. OMEME の様子．HMD の光学レンズを瞳に，マイクを聴覚器官に，スピーカーを発話器官に，スタンドの HMD コントローラー設置部分を腕に模倣することでコンパニオンロボットのようなインタラクションを実現する．

3

提案： OMEMEOMEME は，非装着時の HMD を拡張したコンパニオンロボットである．これは，HMD とそのスタンドを同期させることで実現する．動作部位は，
HMD の光学レンズによる瞳，HMD のマイクによる聴覚器官，HMD のスピーカーによる発話器官，HMD コントローラ設置部分による腕の４つである．
瞳は，HMD の画面の光量を最大に，発話器官はスピーカーの音量を最大にすることで，非装着ユーザへの情報提示を可能とした．腕は，HMD スタンドのコントローラ置き場を本体から切り離し，サーボモータを間にいれて本体に接着し直すことで実現した．コントローラの重さを考え，動作方向は水平方向とした．また全動作部位の同期は，HMD とサーボモータを１つの計算機に接続することで行った．
HMD は Meta Quest 2 を，実装ソフトウェアはArudio，Unity(バージョン:2021.3.27f)，Python の３つを用いた．また，日本語の発話に必要な音声読

WISS 2023

BA

C

ぼくの頭を返して〜！！

(A)

図 2. ユースケースの概要．
（A） HMD の使いすぎを防止するために，コンパニオンロボットであることを活かして警告する様子．
（B） 装着状態に VR 環境で交流していた遠隔のユーザと OMEME を通じてコミュニケーションする様子．
（C）ユーザが HMD へ覗き込む様子．

み上げエンジンの操作は VOICEVOX1 を用いた．

ユースケース

4

本研究では，OMEME を通じた非装着状態における HMD のインタラクションを探索するために，２つのユースケースを考えた（図 2）．

4.1

完全非装着型インタラクション

完全非装着型インタラクションは，頭部への装着を離れ，コンパニオンロボットとしての活用に注目するユースケースである．ここでは，対話型音声エージェントとして対話式の音声検索を行ったり，雑談をしたりすることなどが想定される．また，装着状態の VR コンテンツと連動させることで，装着時におけるユーザの HMD の使いすぎを OMEME に警告させたり（図 2-A），VR 上で協調作業をしていたユーザと HMD を外した後にも OMEME を通して共に作業をすることができる体験を提供する（図2-B）ことも想定される．

4.2

覗き込み型インタラクション

覗き込み型インタラクションは，HMD をユーザが頭部に装着するのではなく，置いてある HMD にユーザが覗き込みにいくユースケースである．このような使い方では，ユーザが HMD を覗き込みにいく行為が，OMEME の頭の中を覗く行為に見えることから，ロボットが今何を考えているのかをユー
ザは直接 OMEME の頭の中を見て確認するというエンターテイメント要素のあるインタラクションを提示することができる（図 2-C）．

5

今後の課題

非装着状態において HMD を OMEME として活用している場合，ユーザが HMD を使う時には，OMEME から HMD を取り出し自分の頭に装着する必要がある．この行為をすることによって，HMD
1

https://voicevox.hiroshiba.jp/に生命性を感じ，装着した後の VR の使用体験を向上させたりするかもしれないが，一方で，ロボットを一度解体する抵抗感から HMD を装着する回数が減少する可能性もある．本研究では，OMEME のユースケースのユーザ体験について評価実験を行なっていないため，これらの可能性を調査するのが今後の課題である．また，現状では非装着のユーザに対して，光学レンズ複雑なオブジェクトを表示すると形が崩れてしまう．さらに，ユーザが見ている方向によって表示が変わることを考慮できていないため，一貫性を持ったユーザ体験を提供することはできていない．これらの課題は今後検討していく．

6むすび

本研究では，非装着状態の HMD をコンパニオンロボットとして活用することを提案した．特に，プロトタイプの実装とユースケース探索を通して，非装着状態における HMD の活用を議論した．本研究の知見が，今後の HMD および VR のコンテンツを設計する研究者やデザイナーに役立つことを願う．

謝辞
本研究は，JST 創発的研究支援事業，JPMJFR226Sの支援を受けたものである．

参考文献[1] G. Hoﬀman and W. Ju. Designing Robots with
Movement in Mind. J. Hum.-Robot Interact.,
3(1):91–122, feb 2014.
[2] Q. Jin, Y. Liu, R. Sun, C. Chen, P. Zhou, B. Han,F. Qian, and S. Yarosh. Collaborative Online
Learning with VR Video: Roles of CollaborativeTools and Shared Video Control. In Proceedingsof the 2023 CHI Conference on Human Factors
in Computing Systems, CHI ’23, New York, NY,USA, 2023. Association for Computing Machinery.
[3] Z. Li, M. Annett, K. Hinckley, K. Singh, andD. Wigdor. HoloDoc: Enabling Mixed Reality

OMEME: 非装着状態の HMD を用いたコンパニオンロボットの開発

Workspaces That Harness Physical and DigitalContent. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems,

CHI ’19, p. 1–14, New York, NY, USA, 2019. Association for Computing Machinery.