DEIM Forum 2023 4b-9-6

MR デバイス環境における物理インタラクションを伴う日常タスク処理
津田

裕哉†

石橋

健†

大島

裕明†

† 兵庫県立大学 大学院情報科学研究科 〒 651-2197 兵庫県神戸市西区学園西町 8–2–1
E-mail: †ad22o041@guh.u-hyogo.ac.jp, ††k ishibashi@sis.u-hyogo.ac.jp, †††ohshima@ai.u-hyogo.ac.jp
あらまし

近年，情報への新しいインタラクション方法として，Mixed Reality（MR）技術を使ったデバイスが注目されている．本研究では，MR デバイスの一つである HoloLens2 と物理的なオブジェクトを利用して，物理オブジェ
クトによるインタラクションを通した日常タスク処理手法を提案する．提案手法では，我々が普段から取り組むような日常的なタスク，例えばメールの返信や文書，原稿の作成などのタスクを対象に，それらを MR デバイスを用いて直感的に処理，整理することを目的とする．MR デバイスに搭載されたカメラを用いて，物理オブジェクトに貼り付けられた AR マーカを認識し，オブジェクトにタスクの情報を重畳して視界に表示することで，物理オブジェクトに情報を視覚的に紐づけることが可能となる．すなわち，本来は実体のない情報に物理的な実体を与えることができる．
そうすることで，情報を実際に手に持つことが可能となり，より直感的に情報を操作することができる．また，提案する手法で実際にタスク処理を行ってもらい，有用性について評価した．
キーワード Mixed Reality，Augmented Reality，タスク処理（AR）などがある．

1 はじめに
現代社会において，日常生活の中で電子メールのやり取り
やデジタル文書の作成などに追われることも多く，スケジュールの管理やタスク管理までもデジタルで行うことが増えている．また，そういったタスクを閲覧したり，操作したりする方法としては，従来の平面のディスプレイを通して行われることがほとんどである．しかし，将来さらに進んでいくデジタル化に伴い個人が扱う情報量はさらに増加し，今までのような平面のディスプレイでは情報の処理が追い付かなくなっていくことが想定される．この問題を解決するための方法として，従来の平面のディスプレイに情報を提示するのではなく，現実空間を立体的に使い，情報を提示するというアプローチがある．そこで，昨今情報の新しい提示方法として注目されている Mixed

Reality デバイスを用いて情報，特にタスクの情報を空間的に提示する．そして，その空間への情報の提示方法，インタラク
ション方法として，立方体形状の物理的なオブジェクトを取り入れることを考える．

Mixed Reality（MR）とは，複合現実感とも訳され [16]，現
実の世界とコンピュータによる仮想の世界を継ぎ目なく融合させる技術を指す．MR は，Milgram ら [8] が 1994 年に初めて明示的に提唱した．この技術を実現するための方法は以前から活発に研究，開発されており，頭部に装着する HMD を用いた方法が最も一般的である．半透明のレンズで眼前を覆う HMD を用いて，現実の視界にデジタルな仮想オブジェクトを融合，あるいは重畳して表示する光学シースルー方式や，HMD に搭載されたカメラ映像に仮想オブジェクトを融合させ，視界に投影するビデオシースルー方式などがある [15]．本研究ではこの光学シースルー方式を取り入れたデバイスを用いている．関連す
る技術として，Virtual Reality（VR）や Augmented Reality

本研究では，MR デバイスと物理的なオブジェクトを利用して，情報への直感的なインタラクションを通して日常タスクを整理，処理する手法を提案する．タスク処理手法として，MR
デバイスと物理オブジェクトを用いて，タスクへの優先度のタ
グ付けによる整理を主として行う．優先度タグを付ける過程で，その場でテキスト入力による処理ができそうなタスクについては，物理キーボードを用いての文書の作成等もできるようにする．
提案手法では，外部カメラが搭載された MR デバイスである HoloLens2 と，AR マーカが六面に貼り付けられた立方体
形状の物体，平面の AR マーカを用いる．MR デバイスのカメラにより立方体の AR マーカを認識し，立方体の場所にタスクの情報を表示する．そうすることで，AR マーカが貼り付けられた物体を持ち上げるとその物体に情報が追従するような挙動をし，物理的な物体に情報を紐づけることが可能となる．言い換えれば，形のないデジタルな情報に，物理的な実体を与える
ことができる．この方法を用いれば，タスク情報を空間的に提示，配置することができる．また，本来は形のないデジタルな情報を実際に手に持つことができ，ディスプレイや従来のインタフェースで操作するよりも，直感的に情報にアクセス，または情報の処理を行うことができる．
本論文では，続く 2 節で Mixed Reality 技術を使った研究やMR と物理的なオブジェクトの利用などの先行研究について述べる．次に，3 節で日常タスクにおいて MR デバイスを利用する提案手法の説明や，対象とするタスクの種類，想定する状況について述べる．4 節でアプリケーションの詳しい設計や実際のシステム，物理オブジェクトの詳細について説明したあと，5
節で，評価方法と評価の結果，考察について述べ，6 節で今後の課題について記述し，まとめとする．

間をシームレスに繋ぎ，二つの空間の差異を埋めるようなイン2 関連研究2. 1 MR デバイスによる情報の提示
MR デバイスの利用は，情報の可視化や情報への新しいイン
タラクション方法，医療介護分野への応用などが広く研究されている．中には，博物館等の鑑賞体験の向上を目指す研究もなされている．横濱ら [18] や平澤ら [17] は MR デバイスを用いて「本を読む」という行為に焦点を当て，新しいインタラクショ

タフェースとして設計されている．

Kaj ら [5] は，RFID（Radio Frequency IDentiﬁer）を利用した，身の回りの様々なものが情報を持つ空間を提案している．
この研究では，机上に置かれた様々な物体に RFID タグを取り付け，その RFID に文書の情報を割り当てる．そして RFID の情報を読み取るリーダを用いて，物体を物理的に整理するように，デジタルな文書を整理するシステムのプロトタイプを開発，提案している．

ンを研究していた．横濱ら [18] は，白紙で構成されたダミーの
書籍のページに MR デバイスを用いて本文を投影することによ2. 3 MR 環境における TUIり，電子書籍と紙の書籍の双方の利点を取り込んだ読書インタ

MR デバイスの大きな利点として，仮想のオブジェクトを現ラクションを提案していた．平澤ら [17] は，MR デバイスは外実の空間に自然に融合できるという点がある．言い換えれば，現の景色も同時に見ることができるという利点を利用し，現地で実空間やそこに存在する物体を仮想的に拡張できるということ

実際の展示物の鑑賞をしつつ，普段は見ることができない展示である．この特徴に注目した研究は活発に行われている．この品への新たな鑑賞方法として MR デバイスを用いていた．

ような複合現実や拡張現実の技術と，実体のあるインタフェー

2. 2 より実体感のあるインタフェースの研究
現実世界に存在する物理的な物体を，情報へアクセスするイン
タフェースとして使用する研究は，以前から様々な方法が提案されている．こうした，現実の物体をインタフェースとして扱い，情報を実際に手で触れられるようにしたインタフェースをタン

スを組み合わせたものは Tangible Augmented Reality [2] とも呼ばれる [1] [2] [4] [6]．Ivan ら [10] はタイル状のオブジェク
トを，情報を操作するためのインタフェースとして使用する技術を提案している．この研究では，AR マーカが描かれた 1 辺

15cm の正方形のタイルを複数枚用意し，それらを MR デバイスに搭載されたカメラによってマーカの位置，すなわちタイル

ジブルユーザインタフェース（TUI; Tangible User Interface）の位置を追跡する．そしてタイルに割り当てられた情報を，タといい，Ishii らの研究 [7] が元となっている．Ishii ら [7] は，情イルがある位置に描画することによって，物理的なオブジェク

報に物理的な実態を与え，現実の空間で情報を掴んで操作する

トにデジタルな情報を紐づけることが可能になる．そうするこ

TUI により，現実とデジタルの空間の差異を埋めることを目的とで，デジタルな情報をまるで現実の物体のように手で扱えるとしている．この論文では，metaDESK，transBOARD とよようにした．また，この研究ではゴミ箱やクリップボードなどばれるプロトタイプを例に挙げている．metaDesk は，Ullmerのツールの類もタイルに割り当てている．ある情報が紐づいた

ら [12] によって開発，提案された TUI の一つである．metaDesk

タイルとゴミ箱のタイルを近づけると，タイルに紐づいた情報

では，地図情報が表示されたディスプレイを机として使い，その机上に磁器センサー等を搭載した物理オブジェクトを置く．
そして物理オブジェクトが搭載した各センサーによって，オブジェクトの机上での位置を検出し，そのオブジェクトを動かすことによってディスプレイに投影されたデジタルな地図を拡
大や縮小，回転をさせたり地図上の点をオブジェクトによって指し示したりすることができる．transBOARD は，metaDeskと同じく Ishii らによって開発，提案されたインタフェースである．transBOARD の構造はごく簡単で，一般的なホワイト
ボード，タグが取り付けられたペンとホワイトボードクリーが消えるといったように，通常ではマウスやキーボードで行う
操作もタイルに対する手の操作のみで実現するように設計されている．

Wang ら [13] は，MR デバイスを用いた TUI を利用し，工業製品の設計のリモートレビューを複数人で行う手法を提案し，評価していた．この提案手法ではキューブに描かれたマーカをカメラで認識し，その場所に MR デバイスを通して仮想的に用意した工業製品の 3D モデルを表示する．このシステムを複数人で同時に，同一の 3D モデルに対して使用することで，より直感的に設計レビューを行えるとしていた．

ナー，マーカが描かれたカード，赤外線レーザーを読み取るス
キャナから成る．transBOARD は，ホワイトボードへの描画

2. 4 MR によるリアルとバーチャルの融合

中，ペンとホワイトボードクリーナーの軌跡が赤外線によって木川ら [14] は，6 面に AR マーカを貼り付けた立方体と光学追跡される．そしてその軌跡の情報を，カードに描かれたマー

シースルー型 MR デバイスを用いて，立方体の内部に仮想コ

カに紐づけることによって，カードを持ち帰ったり作業場所をンテンツがあるかのように表示する HaptoBOX という手法を変更したとしても，専用のソフトウェアで軌跡を復元すればホ提案していた．また，マーカを貼り付けた立方体の内部にソレ

ワイトボードで作業した工程を再現することができる．このよ

ノイドモジュールと振動子を組み込み，仮想コンテンツの内容

うに transBOARD は一般的なホワイドボードの用途からは逸に応じて触覚フィードバックを観察者に与え，視覚と触覚の両脱せずに，追加のデバイスを用いてホワイドボード上での作業方で仮想コンテンツのリアリティを向上させていた．こういっを拡張する技術だといえる．metaDesk と transBOARD の二た手法を木川らは，「フィジカル MR ディスプレイ」と呼称しつのプロトタイプは発想こそ違えど，現実空間とデジタルな空ており，HaptoBOX 以外にも様々なアプローチを開発，検証している [11] [19] [14]．田中ら [19] はフィジカル MR ディスプレ

ぶ情報へのアクセス方法として，Ishii ら [7] が 1997 年に発表

イ研究の一環として，AR マーカと MR デバイスを用いてインしたタンジブルユーザインタフェース（TUI; Tangible User

タラクティブな水族館体験システムを開発していた．魚の餌にInterface）は，情報に物理的な実体を与えることによって，平見立てた AR マーカを手に持ち，MR デバイス越しにマーカを面のスクリーン上ではなく，現実の空間の中で手を使って直接見ると，仮想的な熱帯魚が手の周りに集まってくる．また，光情報を操作できるインタフェースである．Ishii らは現実空間と源や音源，複数の振動子を搭載した「サンゴディスプレイ」か

デジタル空間の差異を埋める試みとして TUI を提唱し，PC をらは，仮想の魚の挙動に合わせたエフェクト，振動を感じ取る

操作するインタフェースとして代表的な GUI と比較検証してことができる．このように，フィジカル MR ディスプレイは，いた [20]．TUI の利点として，情報をより身近に，より直感的

MR の視覚体験と併せて物理的なフィードバックを提示するこに操作できる点が挙げられる．また，物理的なインタラクショとによって，仮想と現実の融合という MR 体験をより増強させンを含む体験は，デジタルのみの体験に比べ，ユーザ体験を向るアイデアである．

上させることがわかっている [6]．しかし従来の TUI の欠点として，情報を持たせる物体や物体を扱う作業環境の周りにセ

3 日常タスク処理における MR デバイスの利用
3. 1 想定する状況やタスク
想定する状況の一つとして，普段からタスクや業務に追われており，タスクの管理や整理が追い付いていない，または整理を怠っている状況を考える．なお，ここでいうタスクとは，メールの返信や書類，文書の作成，ミーティングの日程調整な
ど，大学生や社会人が日常的に直面するような軽作業とする．
タスクの整理が追い付いていない状態が続くと，優先度を決めンサー等を取り付ける必要があったり，大規模な装置が必要になったりする点がある．そこで，TUI を従来より手軽に実現し，管理しきれていない情報やタスクの管理，処理を行うために，2節で述べた Tangible Augmented Reality のアイデアを取り入れ，MR デバイスと木製のブロックを物理的なオブジェクトとして用いる新たなタスク処理手法を考える．このタスク処理手法では，MR デバイスの利点を活用し物理的なオブジェクトに
デジタルなタスク情報を紐づける．タスク情報を物理オブジェ
クトに紐づけることの利点として，以下のことが挙げられる．

られずタスクの処理が非効率になったり，タスクに取り掛かるのが遅くなってしまうことが考えられる．また，管理されてい•タスクを手で動かすことによる直感的な操作ないタスクがあると，そのタスクに取り掛かる前にタスクのこ•

タスク情報を空間的に提示可能とを忘れてしまい，結局取り掛からないままになってしまうこ

最大の利点となるのは，本来は形のないタスクの情報を実際とも考えられる．以上の点を解決するために，新たなタスク管に手で持って自由に動かすことができるという点である．つま理，処理手法が必要なのではないかと考えた．そこで，本研究り，情報を手で動かして置く場所を変えるという作業そのもの

では，MR デバイスを用いて物理的なオブジェクトにタスクのが，情報への操作となりうるということである．本研究では，

情報を紐づける．そしてそのオブジェクトを手で持って動かし

この「情報が置かれている場所を物理的に変える」という操作

たり，所定の位置に置くという操作をすることによって，タスでデジタルなタスク情報へタグを付与することを考える．

クの情報に優先度を表すタグを付与し，タスク整理を支援する．

具体的には，MR デバイスのカメラにより，立方体のブロッ以下に，本研究においてタスクに対して行う主な操作を挙げる．

クに貼り付けられた AR マーカを認識し，その場所にタスク•

タスクに対する優先度の割り当ての情報を紐づける．つまり，形のないデジタルな情報に物理的•オブジェクトを動かすことによる情報の整理な実体を与えることができる．そうすることで，本来は物理的•文書の作成，編集に触れることができない情報を手に持って整理，操作することができる．この手法を用いれば，平面ではなく空間的に情報を今回扱うタスクはそれぞれタスクの名前，タスクの締切日時，
優先度という属性を，メールや文書のタスクにはその本文を配置することができ，より直感的にタスクを処理することができる．

入力するコンテンツという属性を持っていると想定する．MR
デバイスと物理オブジェクトを用いた操作では，主に優先度を

4 アプリケーションの実装

操作することによってタスクの整理，及び処理をすることを目
指す．

3. 2 物理オブジェクトの利用

4. 1 実 装 方 針MR デバイスは，光学シースルー方式を採用してる MR HMD
である Microsoft 社製の HoloLens2

1を用いる．HoloLens2

PC における情報の操作方法として，テキストのみが表示さの特徴として，カメラをはじめとした多種多様なセンサーを搭れるディスプレイにコンピュータへの命令をキーボードで打ち載しており，ハンドトラッキングなど様々な機能が使えるという込み，PC を操作する方式（CUI; Character User Interface）

点がある．HoloLens2 のアプリケーションの構築やビルドには，と，ディスプレイに表示されたボタンやウィンドウを，キーボー

ゲームエンジンである「Unity 2 」を使用し，アプリケーショ

ドとポインティングディバイスを使って操作する方式（GUI;Graphical User Interface）の二つに大別される．それらと並

1：https://www.microsoft.com/ja-jp/hololens/hardware
2：https://unity.com

表1

ソフトウェアとアセットのバージョン

Unity

2020.3.3.30f1

Visual Studio 201916.11.11

Mixed Reality Tool Kit

2.8.5

Vuforia

10.10

表2

開発に用いた PC のスペック

OS

Windows11 Home 22H2

CPU

AMD Ryzen7 5800HS

RAM

16GB

ROM

256GB

GPU

NVIDIA Geforce GTX 1660

ンのデプロイは Visual Studio 2019 を使用した．Unity におけ

図 1 MR デバイスを用いたタスク処理中の様子

る HoloLens2 用の開発環境の構築や，アプリケーション内のモ
ジュールには，Microsoft 社がオープンソースの MR 用開発キットとして公開している「Mixed Reality Tool Kit（MRTK）」を用いた．タスクの管理や文書の執筆，保存などは，多機能なノートを提供する Web サービスである「Notion 3 」を利用する．Unity で構築したアプリケーションと Notion との連携
は，Notion から公式に提供されている Notion API を利用し，HoloLens2 のアプリケーションと Notion のサービス間でデータの取得やインタラクションによる編集の結果を相互に送受信する．AR マーカを利用する機能については，Unity 上で提供されている，AR アプリケーション開発プラットフォームである「Vuforia 4 」を利用する．ここで，開発に使用したソフト
ウェアのバージョンを表 1 に，及び開発に用いた PC のスペックを表 2 にまとめる.

4. 2 アプリケーションの概要

図2用意したブロックを利用して，MR デバイスによるタスクへの操作性を向上させ

作 成 し た HoloLens2 の ア プ リ ケ ー ション で は ，ま ずることを考える．物理オブジェクトとして木の板で作られた直HoloLens2 のカメラでブロックに貼り付けられた AR マー

方体のブロックを複数個用意し，全てのブロックについて，そカを認識する．そうすると認識したブロックの場所に，仮想のの 6 面に AR マーカを貼り付ける．そして HoloLens2 の前面ブロックと仮想ボタンが表示される．表示された仮想ボタンをについたカメラにより AR マーカを認識，追跡する．一つのブ

指で押すと，Notion API 経由でタスクの情報を取得するプロ

ロックに一意に紐づけられたタスクを，認識した AR マーカのグラムが動作し，取得したタスクの名前と締め切り日の情報が場所，すなわちブロックの場所に表示する．こうすることで，白い仮想ブロックの前面に表示される．次に，ブロックを手で木製のブロックに疑似的に情報を紐づけることが可能となる．

動かして優先度を振り分けたり，キーボードによって文書を編

机上での操作性や AR マーカの認識精度を検証するために，集することによってタスクを処理，整理する．そして変更を適

複数のサイズのブロックを試作したところ，一辺 110〜120mm

用するボタンを押すと，Notion のデータベースの情報が更新の立方体が認識精度や机上での扱いやすさの点で最も良かったされる．図 1 に提案手法による実際の作業の様子を示す．

ため，120mm の立方体を採用することとした．実際に用いたブ

また，平面の AR マーカを併用して，作業している机そのもロックを図 2 に示す．ブロックに仮想ブロックやタスクの情報，のをインタフェースとして使うことも考える．物理オブジェク

仮想ボタンなどのインタフェースを紐づけている状態を図 3 にトの詳しい機能は次節で説明する．

示す．仮想ブロックの緑色の部分は，優先度を表すタグを表示

4. 3 物理オブジェクトの機能
光学シースルー方式の MR デバイスである HoloLens2 の大きな利点として，現実の視界とデジタルな仮想の視界を融合できるという点が挙げられる．本アプリケーションではこの特徴するエリアとなっている．
また，作業している机そのものをインタフェースとして使い，ブロックを置く場所や，ブロックを移動させるという動作
が情報への操作となるよう実装した．具体的には，机上に 3 枚の平面の AR マーカをある程度の距離を保って置き，それぞれにタスクの優先度（Priority）を表すタグを紐づける．タグは3：https://notion.so
4：https://developer.vuforia.com/「HIGH（優先度が高い）」「LOW（優先度が低い）」「MIDDLE図3

図4

物理オブジェクトに情報を重畳した様子

タスク処理をする際に想定される机上の環境

図5

図6

タスクに低い優先度を割り当てたときの様子

複数のブロックを用いて優先度を割り当てている様子（中間の優先度）」とする．ここで優先度タグを表す AR マーカと，本アプリケーションを使ってタスク処理をする時に想定される机上の環境の図を 4 に示す．
タスク情報が紐づいたブロックを机上に置かれた AR マーカに近づけると，その AR マーカのタグがそのブロック，つまりタスク情報に割り振られる．そうすることで，ブロックを机上に置いた場所によって，タスクの情報に直感的に優先度のタグを付与することができる．この機能によって，例えば机の右側や自分の近くにあるブロックのタスクは優先的に処理する，急を要さないタスクのブロックは机の左側や自分から遠くい場所

図7

宙に浮かぶインタフェースを操作している様子に置くなど優先度の割り当てを直感的に行うことができる．また，優先度タグの種類によってブロックそのものの色を変化さ

スに触れる人や，MR や VR の独特なインタフェースに慣れてせる．例えば，図 5 に示すようにタスクの情報を持ったブロッ

いない人にとってはわかりづらかったり，上手く操作できない

クを「LOW（優先度が低い）」のタグを持った AR マーカに近こともしばしばある．これは，物理的に存在するボタンを押す

づけると，そのタグが割り当てられると同時に，元々は図 3 の場合と違い，触覚フィードバックがないためであると考えられように白色であったブロックの色が青色に変化する．こうする

る．触覚フィードバックは，ボタンを押したことを視覚的にのことで，タスクの優先度を視覚的に強く認識することが可能でみ感知する場合に比べ，触覚的にも感知することで，押した感ある．また，HoloLens2 を用いての作業が終わり，デバイスを覚を強く与える作用がある．そのため，仮想的なボタンでもよ

頭から外した後でも，タスクの優先度のや進捗の状況をおおより確実に押すことができ，押したことをより強く確信することそ把握できるという利点もある．優先度が低いタグを持つマーができる．ゆえに，一般的には仮想ボタンのようなものではな

カにブロックを近づけた時の様子を図 5 に示す．また，複数のく，フィードバックのある有形のインタフェースの方が好まれブロックを同時に用いて優先度を振り分けている様子を図 6 にる [9]．触覚フィードバックを導入することにより，MR デバイ示す．

スに慣れていない人は MR 空間上における仮想ボタンやスイッ
チなどのインタフェースを安心して使うことができ，MR デバ

4. 4 物理オブジェクトの触覚フィードバック

イスに慣れている人にとっても，触覚フィードバックによって一般的な MR アプリケーションのインタフェースとして，操作ミスを減らすことができると考える．本研究の提案手法

図 7 のように，デジタルなパネルや仮想ボタンを空中に浮遊さでは，前述の情報の提示のために用いた物理オブジェクトのブ

せているものが多い．しかしこの形式は，初めて MR デバイ

図8ブロックの側面に表示されたインタフェースを操作する様子

図 10

テキスト入力エリアを表示した時の様子

MR デバイスに触れたことのない人達であった．処理するタス
クは，著者が Notion のデータベース上に作成した仮想的なタスクを対象とした．MR デバイスによる処理と従来の PC とキー
ボード，マウスによる処理を比較するため，被験者には MR デ
バイスと PC での処理をそれぞれ一度ずつ行ってもらった．2
種類の手法でタスクの処理を行った後，口頭でのインタビューとアンケートに回答してもらうという形で評価を行う．インタ
ビューとアンケートの回答を受けて，MR デバイスによってタスク情報に実態を与えることで，空間的な情報の提示が実現で
図9

仮想ボタンを操作するために箱の側面に触れている様子

きているか，情報の操作が PC の場合と比較して直感的になっているか，一般的な平面のディスプレイとマウス，キーボード

ロックに，仮想ボタンなどのアプリ内インタフェースを貼り付を用いたタスク処理と比較して有用であるか，といった点を評けるように表示することとした．ブロックの表面に仮想ボタン

価する．

を表示することで，仮想ボタンを押しきったと同時にブロックの表面に指が触れるようになる．ブロック表面への接触が簡易

5. 2 実験の詳細的な触覚フィードバックとなり，ボタンを押した感覚を強める．

MR デバイスと PC それぞれでタスクを行う上で，タスク処

図 3 に示されたオブジェクトの，上部に表示された青いボタ

理を行う順番の影響，またはタスクの内容の影響を軽減するたンや側面に表示された 3 つのボタンは，それぞれ役割を持つ仮

めに，仮想のタスク群 A，B の二つ用意し，表 3 に示すように

想ボタンとなっている．上部のボタンはキーボードを呼び出す

被験者を 4 つのグループにわけ，それぞれの手法とタスク群に役割が割り当てられている．下部のボタンは左から順にそれぞよるタスク処理を順に試してもらった．仮想のタスクは，被験れ「タスク情報の受信，表示」「操作の結果を Notion に反映さ者である大学生が身近に感じやすいようなタスクを Notion のせる」「タスク情報とオブジェクトとの紐づけを削除し，情報のデータベース上に作成し，それらを利用した．以下に用意した提示をリセットする」という機能が割り当てられている．例と仮想タスクの具体的な例を示す．被験者は，これらのタスクのして，側面に配置されたボタンを使用する様子を図 8 に示す．

名前の情報とタスクが持つ締め切りの情報を考慮して優先度を

この時，図 9 に示すように，実際には箱の側面をつつくような振り分ける．

動作になる．

•

メールの送信，返信

ブロック上部の青く丸いボタンはキーボードとテキスト入力•

発表スライドの素案作成

エリアを展開する役割を持っており，押すとテキストを入力で•第一志望企業に提出する履歴書作成

きるウィンドウが展開し，テキスト入力や編集が必要なタスク•

第二志望企業に提出する ES 作成に対して，テキスト入力を行うことできる．丸い仮想ボタンを•共同研究ミーティングの設定 など

操作し，テキスト入力エリアを展開した状態を図 10 に示す．

MR デバイスによるタスク処理では，物理オブジェクトとし

5 実験と評価ての木製のブロック 3 個と MR デバイスを用いて，複数のタ
スクを実際に優先度を振り分けたり，キーボードを用いた文書

5. 1 実験の概要の編集などを行ってもらった．PC によるタスク処理では，仮本研究で提案した，MR デバイスと物理オブジェクトを用い想タスクが用意された Notion の Web ページを操作してもらたタスク処理手法の有用性を検証するために，著者と同じ研究

い，優先度の振り分け，文書の編集などを行ってもらった．ま室に所属している学生 4 人に被験者となってもらい，実験と評た，特に MR でのタスク処理実験中は，タスク処理中の思考や価を行った．なお，被験者の 4 人は全員，これまでにほとんど感じたことを記録するために，思ったことをその場で実際に声表3

評価グループの組み合わせ

PC で処理した後に MR で処理

MR で処理した後に PC で処理

タスク群 A を MR，タスク群 B を PC で処理した後に，タスク群 A を MR で処理した後に，タスク群 B を PC

タスク群 A を MR で処理

タスク群 B を PC で処理

タスク群 A を PC，タスク群 A を PC で処理した後に，タスク群 B を MR で処理した後に，タスク群 B を MR

タスク群 B を MR で処理

タスク群 A を PC で処理に出しながら作業するように被験者に依頼した．次に，MR デ

次に二つ目の項目に関しては，スコアの評価はあまり高くな

バイスと PC によるタスク処理手法のユーザビリティを問うア

く，自由回答でも「紙の付箋のように，情報を PC のディスプ

ンケートと，MR デバイスと物理オブジェクトがタスク処理に

レイの外に配置できるのは便利であった」という意見があった

及ぼす影響や効果を問うインタビューを口頭で実施した．

が，「平面の机に置く形式だと，PC のディスプレイと大差はな

ユーザビリティを問うアンケートでは，System Usability

Scale （SUS） [3] という，アプリケーションやウェブページのい」「ブロックの大きさや数の影響で，扱える情報が減ってしまった」というような意見が多い結果となった．

ユーザビリティの評価に用いられる手法を利用した．SUS は，

三つ目の項目では，7 段階での評価が 4 項目の中で最も高い

まず肯定的な質問 5 問と否定的な質問 5 問を 1 問ずつ交互に結果となった．自由回答では，「どこまで押したらよいかわかる

問い，それらに対して同意する度合いを 5 段階で答え，最大でので，安心感がある」という声が大半を占めた．別の意見とし100 となるスコアを算出するというユーザビリティの測定方法ては，「押した感触を強めるなら，柔らかい素材の方がよい」「空である．スコアが 80 を超えると非常に優れているとされ，過中を押す感覚に慣れてしまえば，大きな差は無い」という声も

去 500 件のユーザビリティ調査に対するスコアの平均は 68

あった．

5

である．また，スコアが 50 を下回ると，ユーザビリティに問

最後の項目に関しては，「MR デバイスは外界が見えるので，題があり改善が必要であるとされる．口頭でのインタビューでキーボードの操作は PC と変わらない」という意見が大多数では，表 4 に示すような項目について，詳細に評価するために 1あり，操作性という観点では大きな違いは見られなかった．

〜7 の 7 段階でのスコア評価と自由回答を行ってもらい，情報の操作性や情報の提示方法の有用性などを評価した．

5. 3 結果

以上の意見の他に，「AR マーカの追従性があまり良くなく，スムーズな操作を行うことが難しかった」という意見や，「1 辺

120mm のブロックは机上において片手で扱うには大きく，情報の一覧性や操作性を損ねてしまっていた」といったハードウェ

5. 3. 1 ユーザビリティの評価

アやソフトウェアの制約，影響が顕著にあらわれた意見もあっ

本節では，SUS によるユーザビリティ調査の結果を述べる．

た．評価の結果を見ると，物理オブジェクトを使うことの情報

PC と MR デバイスのタスク処理の双方について，被験者 4 人への操作性という観点や，仮想ボタンに対する簡易的な触覚からのスコアを集計し，平均値を算出した．まず，PC とキー

フィードバックの効果に関してはおおよそ前向きな意見が得ら

ボード，マウスによるタスク処理のユーザビリティスコアの平均は 95.6 と，非常に高いスコアとなった．これは，マウスやれたが，情報を空間的に提示する観点では，本研究の方式では良い評価は得られなかった．

キーボードは日常的に触れるデバイスであり，また Notion の

Web ページにおける優先度の振り分けもごく簡単な操作のみで6 まとめと今後の課題

行うことが可能なので，このような高いスコアとなったことが考えられる．

本論文では，MR デバイスである HoloLens2 と，物理的なオ

次に，本研究で提案する MR デバイスと物理オブジェクト

ブジェクトを用いて行う日常的なタスク処理手法の提案とそのを用いたタスク処理手法のユーザビリティスコアの平均は 58.1

評価を行った．提案手法では，ブロック状の物理的なオブジェとなった．これは，被験者全員が MR デバイスの扱いに不慣れクトに貼り付けられた AR マーカを HoloLens2 のカメラによであった点，タスク処理における最低限の機能のみを実装してり認識し，その座標にタスクの情報を重畳して表示すること

いた点などが影響していると考えられる．平均スコアは 50 以

により，オブジェクトに情報を紐づける．そして現実空間にお上となったので，システムとして最低限使用できるだけのユー

いて，情報が紐づいたオブジェクトを手で実際に掴んで移動さザビリティを持っていると判断した．

せる，情報と共に紐づけされた仮想ボタンを指で押す，といっ

5. 3. 2 MR によるタスク処理手法の評価

た動作をオブジェクトに対し行うことによって，情報を手でそ

表 4 の設問に対する 7 段階の評価の平均を表 5 に示す．一つのまま操作できるようにした．提案手法を用いて，実際にタス目の項目についての自由回答では，「机の上にあるブロックの状

クの処理を複数人に実際に行ってもらい，アンケートとインタ

態で，タスクの進捗などが可視化される」「大事なものを手前

ビューを行うという形で提案手法を評価した．アンケート，イに置く，など実際の物を整理するようにタスクを配置できる」

ンタビューの結果から，MR デバイスと物理オブジェクトを用といった声が多かった．

いてのタスク処理は，当初想定していた情報の空間的な提示という観点ではあまりよい結果が得られなかったが，情報の直感

5：https://measuringu.com/sus/

表4
項目 1.

インタビューの項目

タスクの情報に物理的な実体があることによって，PC と比較して情報の操作が直感的になったと感じましたか．

項目 2．「物体に情報を紐づけて，空間的に情報を配置する」という提示方法は，効果的でしたか．
項目 3． 仮想ボタンを操作するとき，物理的な面に直接触れる操作は，操作性が向上していたと思いますか．
項目 4． MR デバイスとキーボードを用いた文書の編集は，効果的でしたか．

表5

評価項目に対する評価の平均
項目番号 評価の平均
項目 1

5.0

項目 2

4.3

項目 3

5.5

項目 4

4.8

[7]

[8]

的な操作，あるいは MR による仮想ボタンの操作性の向上という観点では良い評価が得られた．
今後は，別のデバイスや物理オブジェクトを用いて評価実験[9]で得られた課題の解消を試みるとともに，MR デバイスでよりスムーズに，遅延やストレスなく AR マーカをトラッキングする手法や，効果的に情報を空間に提示する方法を取り入れるこ[10]とが今後の課題である．また，日常生活で使用することを考えると HoloLens2 を始めとした MR デバイスは依然として高価であり，普及率も高いとは言えず，プロセッサの処理能力も十分であるとは言い難い．タスク処理のための物理オブジェクト[11]を別途用意するというのも普段の生活では簡単にできるものではない．そこで，物理オブジェクトを別途用意することなく，机上や身の回りにあるもの，例えば文房具等の既に存在するものに情報を紐づけることで，情報の物理的な操作をさらに身近[12]に行えるようにすることが必要である．

謝

[13]

辞

本研究は JSPS 科研費 JP21H03775，JP21H03774，

JP21H03554，2022 年 度 国 立 情 報 学 研 究 所 公 募 型 共 同 研 究[14]

21S1002 の助成を受けたものです．ここに記して謝意を表
します．
[15]

文

献

[1] Mark Billinghurst, Hirokazu Kato, and Ivan Poupyrev. The
magicbook: A transitional AR interface. Computers andGraphics, pp. 745–753, 2001.
[2] Mark Billinghurst, Hirokazu Kato, and Ivan Poupyrev. Tangible augmented reality. In Proceedings of the International
Conference on Computer Graphics and Interactive Techniques, pp. 1–10, 2008.
[3] John Brooke. SUS: A quick and dirty usability scale. Usability and Evaluation in Industry, pp. 189–194, 1996.
[4] Morten Fjeld and Benedikt Voegtli. Augmented chemistry:
an interactive educational workbench. In Proceedings of theInternational Symposium on Mixed and Augmented Reality,
pp. 259–321, 2002.
[5] Kaj Grønbæk, Jannie F Kristensen, Peter Ørbæk, andMette Agger Eriksen. Physical Hypermedia: Organisingcollections of mixed physical and digital material. In Proceedings of the Fourteenth ACM Conference on Hypertext
and Hypermedia, pp. 10–19, 2003.
[6] Aakar Gupta, Bo Rui Lin, Siyi Ji, Arjav Patel, and Daniel

[16]
[17]

[18]

[19]

[20]

Vogel. Replicate and reuse: Tangible interaction design for
digitally-augmented physical media objects. In Proceedingsof the 2020 CHI Conference on Human Factors in Computing Systems, pp. 1–12, 2020.
Hiroshi Ishii and Brygg Ullmer. Tangible bits: towards
seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems, pp. 234–241, 1997.
Paul. Milgram and Fumio Kishino. A Taxonomy of Mixed
Reality Visual Display. IEICE TRANSACTIONS on Information and Systems, Vol. 77, No. 12, pp. 1321–1329, 1994.
McEwan Mitchell, Blackler Alethea, Johnson Daniel, andWyeth Peta. Natural mapping and intuitive interaction invideogames. In Proceedings of the First ACM SIGCHI Annual Symposium on Computer-Human Interaction in Play,
pp. 191–200, 2014.
Ivan Poupyrev, Desney Tan, Mark Billinghurst, Hirokazu
Kato, Holger Regenbrecht, and Nobuji Tetsutani. Tiles:
A mixed reality authoring interface. In Proceedings of the
INTERACT 2001 Conference on Human Computer Interaction, Vol. 2021, pp. 727–728, 2001.
Ohshima Toshikazu, Satoh Kiyohide, Yamamoto Hiroyuki,
and Tamura Hideyuki. AR2Hockey: a case study of collaborative augmented reality. In Proceedings. IEEE 1998
Virtual Reality Annual International Symposium, pp. 268–
275, 1998.
Brygg Ullmer and Hiroshi Ishii. The metaDESK: models
and prototypes for tangible user interfaces. In Proceedings ofthe 10th Annual ACM Symposium on User Interface Software and Technology, pp. 223–232, 1997.
Xiangyu Wang and Phillip S. Dunston. Tangible mixed reality for remote design review: a study understanding user
perception and acceptance. Visualization in Engineering,pp. 1–15, 2013.
木川貴一郎, 大島登志一. HaptoBOX: 複合現実体験を増強する
多感覚型インタフェースの研究 (2) インタラクティブ機能の拡
張. エンタテインメントコンピューティングシンポジウム 2019
論文集, 第 2019 巻, pp. 362–367, 2019.
柴田史久. 複合現実感技術の歴史と今後の展望. システム／制御／情報, Vol. 64, No. 9, pp. 343–348, 2020.
田村秀行, 大田友一. 複合現実感. 映像情報メディア学会誌,
Vol. 52, No. 3, pp. 266–272, 1998.
平澤泰文, 山元聖哉, 杉山正治, 松川節, 何一偉, 小南昌信. 博物館鑑賞支援 MR ブックビューアの開発. 情報処理学会第 81 回
全国大会講演論文集, 第 2019 巻, pp. 3–4, 2019.
横濱拓樹, 光森達希, 中小路久美代, 山本恭裕. 実世界オブジェ
クトへの投影と仮想空間の提示を組み合わせた読書インタラク
ション. 情報処理学会第 83 回全国大会講演論文集, 第 2021 巻,
pp. 727–728, 2021.
田中優麻, 田中千遥, 大島登志一. MR Coral Sea フィジカル MR
ディスプレイによる複合現実型アクアリウム. エンタテインメ
ントコンピューティングシンポジウム 2014 論文集, pp. 22–25,
2014.
石井裕. 仮想と現実の融合：3. タンジブル・ビット, 情報と物理世界を融合する，新しいユーザ・インタフェース・デザイン. 情報処理, Vol. 43, No. 3, pp. 222–229, 2002.