WISS 2023

MR 空間におけるホワイトボードに対するインタラクションを用いた商品情報検索
津田 裕哉 ∗ 山本 岳洋 ∗ 大島 裕明 ∗概要.
デジタル化が進む現代において，情報検索は日常生活において欠かせないものとなっている．しかし，今後さらに進む情報化に伴い，情報検索はより多様で複雑なものになっていくと考えられる．そこで我々は，ホワイトボードと付箋を使った情報整理手法と複合現実（Mixed Reality; MR）デバイスを用いて，検索した商品の情報が表示された仮想オブジェクトを現実のホワイトボード上で整理し，購入する商品を決定する商品検索手法を提案する．提案手法では，我々が普段から取り組むような商品検索，例えばカメラなどを検索する時に，空間的に提示された検索結果をホワイトボードに付箋を貼るように配置して整理したり，仮想オブジェクトに対する注釈を手書きの文字で残すことが可能となる．

1

はじめに近年，PC やスマートフォンのディスプレイ上で商品を検索し，その場で購入することが増えている．
しかし，今後さらに進んでいく情報化に伴って検索対象も年々多種多様なものになり，商品検索はより複雑になっていくと考えられる．このような問題を解決するために，AR や VR デバイスを使った空間の中で情報の検索を行い，3 次元空間に結果を提示する研究は以前から行われている．しかし，VR デバイスなどによる仮想空間内に提示された検索結果をどのように整理するかといったことを扱った研究はまだ少ない．散らばった情報を効果的に整理する方法の一つとして，付箋のような紙片に情報を書いて，並べながら整理する方法が挙げられる．この方法では，付箋をホワイトボード上で自由に動かして情報を分類したり，手書きの注釈付けを行うことで，情報を視覚的に整理して意思決定に活かすことができる．そこで本研究では，MR デバイスの現実と仮想の世界を融合できるという特徴を利用してホワイトボード上での情報整理を拡張することを考えた．
図 1 のように，物理的なホワイトボードの表面に付箋を貼るようにして仮想の検索結果パネルを配置して商品を閲覧したり，ホワイトボードマーカを使って手書きで注釈等を加えながら情報を整理して，購入する商品を吟味することができる商品検索手法を提案する．

2

関連研究

図 1. MR 空間の中で商品を検索している様子て 3 次元空間に拡張する研究は以前から行われている [1, 3, 5, 7, 8]．Nakazato ら [5] は画像検索の結果を，CAVE [2] を使った没入型環境内で立体的に提示する手法を提案している．3 次元空間で検索結果を閲覧，操作するという点は Nakazato ら [5]や Ward ら [7] の研究と本研究との類似点であるが，本研究では光学シースルー型の MR デバイスを用いて，より現実空間に即した環境で検索することを目的としている．
Büschel ら [1] は，複合現実や拡張現実の技術を用いた，より現実世界に即したリアルタイムな情報検索方法を研究している．Büschel らはこれを Realitybased Information Retrieval （RBIR）と呼称しており，HMD が普及した社会における次世代の検索インタフェースとして提案されている．

従来のような PC のディスプレイ上で行う情報検索や結果の提示を，VR などの没入型環境を使っ

3Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗
兵庫県立大学 大学院情報科学研究科

本研究では，MR デバイスを用いた複合現実環境下で，商品の情報を検索，整理する手法を提案する．
本研究ではプロトタイプとして，デジタルカメラの

3.1

MR 空間で行う商品検索検索の流れ

WISS 2023

図 2. (a) 検索結果を提示する仮想パネル． (b) パネルから遠ざかった時．

図 3. 検索結果パネルに対してメモを残している様子

商品データを検索する MR アプリケーションを実装した．以下に，提案手法における検索作業の一連の流れを示す．

1. 検索したい商品の特徴や単語，例えば「軽量」といった単語を検索ボックスに入力し，検索する．
図 4. (a) キャプチャオブジェクト．(b) キャプチャをパネルに紐づけた時の様子

2. 検索にヒットした商品の情報が表示された仮想パネル（図 2（a））が MR 空間に生成される．

3. 生成された検索結果オブジェクトを図 1 のようにホワイトボード上で整理する．

4. 必要に応じて，ホワイトボードマーカを使って注釈をつけたり，キャプチャ機能を使って情報を付与する．

5. 検索結果を整理しながら商品を吟味し，買いたい商品を決定する．

3.2

検索結果の提示提案手法では入力したワードで検索すると，まず商品の情報が表示された仮想パネルがユーザを中心に扇状に生成される．この仮想パネルは，手で持って MR 空間内を自由に移動させることができる．パネル上部には商品画像，メーカー名，商品名，値段の基礎的な情報が表示されており，パネル下部には詳細な商品情報が表示される．パネル左下端にある左右の矢印ボタンを指で押すことで，パネル下部に表示する特徴を変更することができる．また，図 2（b）のようにユーザがパネルから遠ざかる用に距離を取れば，パネルの表示を基礎的な情報のみの表示に変化させることができ，動的に情報量を調整することが可能となっている．

3.3

検索結果の整理

検索結果の仮想パネルが MR 空間に生成された
後，ユーザは仮想パネルを 3 次元空間やホワイドボード上に配置して商品を視覚的に整理，吟味する．
Shibata ら [6] によれば，手書きで情報を残すことはタイピングに比べ認知負荷が低いことがわかっている．また，一般的には物理的なフィードバックのあるインタフェースの方が好まれるが [4]，MR 空間で電子的に文字を手書きすることは難しい．提案手法では，ホワイトボードを使うことの利点を活用し，必要に応じてホワイトボード上に線を書いて検索結果を分類したり，図 3 のように商品情報に対してメモを手書きして注釈を付与する．この操作によって，よりインタラクティブに検索結果を整理し，意思決定に活かすことができる．

3.4 現実の情報の利用
PC とブラウザによる商品検索では，手書きのメモを残しても，検索結果の商品とその場で電子的に紐づけることは難しい．提案手法では，ホワイトボードの利点を利用して，ホワイドボード上に手書きした注釈を MR デバイスの外部カメラによって撮影し，検索結果とその場で紐づけることができる．注釈を撮影すると図 4（a）のようなキャプチャオブジェクトが生成され，必要に応じて図 4（b）のように注釈を商品情報に直接紐づけることができる．
一度紐づけると，ホワイトボードの文字を消してしまっても後から確認することができる．

4

まとめと今後の課題

本研究では，MR デバイスによる仮想オブジェク
トとホワイトボードを使った商品検索手法を提案する．我々はプロトタイプとして，デジタルカメラの商品データを検索対象とした MR デバイスのアプリ
ケーションを作成した．今後は，使いやすいインタフェースを目指してユーザビリティを高めていくとともに，商品情報を MR 空間内で整列，グループ化する機能や，手書きの線で囲った商品の中からさらに検索する機能など，MR の利点をさらに活かしたインタラクションを検討している．

MR 空間におけるホワイトボードに対するインタラクションを用いた商品情報検索

謝辞
本研究は JSPS 科研費 JP21H03775，JP21H03774，JP21H03554 の助成を受けたものです。ここに記して謝意を表します．

参考文献[1] W. Büschel, A. Mitschick, and R. Dachselt. Hereand Now: Reality-Based Information Retrieval.
In 2018 Conference on Human Information Interaction and Retrieval, pp. 171–180, 2018.
[2] C. Cruz-Neira, D. Sandin, and T. DeFanti.
Surround-Screen Projection-Based Virtual Reality: The Design and Implementation of theCAVE. In Proceedings of the 20th Annual Conference on Computer Graphics and Interactive
Techniques, pp. 135–142, 1993.
[3] L. Kaliciak, H. Myrhaug, and A. Goker. ContentBased Image Retrieval in Augmented Reality. In
Ambient Intelligence– Software and Applications– 8th International Symposium on Ambient Intelligence, pp. 95–103, 2017.
[4] M. Mitchell, B. Alethea, J. Daniel, and W. Peta.

Natural mapping and intuitive interaction invideogames.
In Proceedings of the FirstACM SIGCHI Annual Symposium on ComputerHuman Interaction in Play, pp. 191–200, 2014.
[5] M. Nakazato and T. Huang. 3D MARS: immersive virtual reality for content-based image
retrieval. In IEEE International Conference on
Multimedia and Expo, 2001, pp. 44–47, 2001.
[6] H. Shibata and K. Omura. Reconsideration ofthe Eﬀects of Handwriting: Comparing Cognitive
Load of Handwriting and Typing. ITE Transactions on Media Technology and Applications,6(4):255–261, 2018.
[7] A. R. Ward and R. Capra. Immersive Search: Using Virtual Reality to Examine How a Third Dimension Impacts the Searching Process. In Proceedings of the 43rd International ACM SIGIR
Conference on Research and Development in Information Retrieval, pp. 1621–1624, 2020.
[8] 岩崎 洋平, 岩井 智成. 図書館利用者のための MR
サービスシステムの開発. 情報処理学会研究報
告. グラフィクスと CAD 研究会報告, 2013(1):1–8,2013.