情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6P07
2022/2/21

モバイル AR による実空間を利用した
デジタルワークスペース
小島 佑輝1

小室 孝1

概要：本研究では，スマートフォンやタブレットなどのモバイル端末の表示領域を拡張するための「AR デジタルワークスペース」を提案する．提案システムでは，実空間上の壁や机などの平面にモバイル端末のウィンドウを複数配置して操作することができる．これにより，複数の情報を確認しながら効率的にウィンドウ上のアプリケーションを操作することができる．また，ウィンドウ間で文字をコピー＆ペーストす
ることやカメラ映像に文字認識を行うことで，実空間上の文字をコピーしてウィンドウにペーストすることができる．提案システムをモバイル端末に実装し，システムの機能が一通り実現したことを確認した．

1. はじめにた，机などの実空間の環境に設置する必要がある．
そこで，本研究では，モバイル端末を通して実空間上に近年，スマートフォンやタブレットなどのモバイル端末

ウィンドウを複数配置することで，AR 空間上で情報を参が普及している．これらは小型で持ち運びに便利であり，照しながら作業ができるモバイル AR システムを提案する．

場所を選ばずに使うことができる．しかし，画面サイズがこれにより，疑似的に広い作業空間を確保し，多くの情報

小さく，表示領域が狭いため，多くの情報を表示できない．

を表示しながら作業することができるようになる．また，また，他のアプリの情報を参照したり，コピー＆ペースト

ウィンドウの文字やカメラに映った文字をコピー＆ペース

したりする場合，アプリの切り替えが煩わしいという問題

トできる機能を搭載する．これにより拡張した空間での作がある．そのため，モバイル端末の表示領域を広げること業を支援することができる．

で，多くの情報を表示しながら文書作成などの作業ができるシステムが求められている．

2. AR デジタルワークスペース

モバイル端末で作業空間を拡張するために，端末の位置

本研究で提案するシステムのコンセプトを図 1 に示す．

によって表示領域を変更する，ピープホールインタラク

モバイル端末を通して実空間上にウィンドウを複数配置す

ションと呼ばれるインタフェースが研究されている [1], [2]．

ることで，AR 空間上で情報を参照しながら作業ができる．

このインタフェースでは，作業空間の一部分を端末のディ

また，ウィンドウや実空間の文字をコピー＆ペーストする

スプレイを通して見ることができ，端末を動かすことで作ことができる．

業空間の表示領域を変更し，別の部分を見ることができる．

本システムは，メモ帳やブラウザ，実空間上の書類の情

しかし，必要な情報が多くなるにつれて，端末の移動が増報を参照，コピーしながら文書作成などのアプリケーショ

えてしまうという問題がある．
机上にプロジェクタでデジタル情報を投影し，実空間上の広い空間でディスプレイを操作できる DigitalDesk と呼ばれる研究がされている [3]．プロジェクタの隣に設置されたカメラで指やペンを認識することで投影された画面を操作できる．また，カメラで紙文書の文字を認識して，デジタル情報に変換することで，デジタル文書にコピーすることもできる．ただし，プロジェクタやカメラなどの専用の機器が必要になるため，気軽に使うことができない．ま

1

埼玉大学

© 2022 Information Processing Society of Japan

図 1: AR デジタルワークスペース853

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6P07
2022/2/21

ンの作業を行うことを想定している．

2.1 ウィンドウの設置
ユーザーがモバイル端末を動かすことで，端末のカメラ
が実空間の机や壁などの平面を検出する．その後，ユーザが使いたいアプリケーションを選択し，検出された平面を画面上でタップすることで，平面にウィンドウを重畳表示することができる．ウィンドウは複数配置することができ，カメラを通して端末上に表示される．これにより，複数のウィンドウを同時に表示したり，ウィンドウ間の切り替えを素早く行ったりすることができる．
(a) システム起動時(b) ウィンドウの設置

2.2 ウィンドウの操作
ウィンドウの配置や操作は，端末のタッチパネルを使って行うので，ユーザは普段と同じ感覚で操作することができる．配置したウィンドウは，ユーザの好みや用途に応じて，スワイプで移動させたり，ピンチイン・ピンチアウト
で大きさを変更させたり，二本指の回転スワイプで回転させたりすることができる．
ウィンドウにあるテキストボックスなどは，タッチパネ
ル上のソフトウェアキーボードを使うことで文字入力することができる．

2.3 コピーモード
DigitalDesk のように，実空間上やウィンドウ上の文字(c) ウィンドウの位置や大き(d) キーボードによる文字入

さの変更

力

図 2: システムの画面をコピーして，配置したウィンドウにペーストすることができる「コピーモード」がある．これは，カメラ画像を文字認識することで，画像内の文字が表示され，表示されたしたときに意図しないウィンドウが配置されてしまうの

文字をタッチで選択することで，選択した文字をコピーでで，タップしたときにウィンドウを配置するかどうかは，きるものとなっている．コピーした後は，ペーストしたい

右下のボタンで切り替え可能となっている．配置をオフに

ウィンドウの場所を選択し，タッチパネル上のソフトウェ

すると検出された平面をタップしてもウィンドウが配置さ

アキーボードを使うことでペーストできる．この機能にれなくなる．

よって，実空間上の文字やウィンドウの文字をコピー＆ペーストすることができる．

3. 実装

配置したウィンドウは，スワイプして移動させたり，ピンチアウト・ピンチインで拡大・縮小させたりすることができる．ウィンドウに表示されたボタンやテキストボック
スは，AR 空間上で押したり，端末のキーボードを使って本システムは，Android 端末の「Xperia XZ1」に実装書き込んだりすることができる (図 2d)．また，タッチパした．開発環境として Unity を使用し，平面検出やモー

ネル上のソフトウェアキーボードを使うことでウィンドウ

ショントラッキングを用いた AR によるウィンドウの配置

間で文字のコピー＆ペーストを行うことができる (図 3a,には ARCore を使用した．カメラ画像の文字認識機能は，

図 3b)．

Google Cloud Vision API を使用して，実装を行った．

左下の Copy Mode ボタンを押すことで，カメラ映像かシステムを起動すると，カメラの映像が画面に表示されら文字認識を行うモードへと切り替わる (図 4a)．真ん中

る (図 2a)．ユーザがカメラを動かすことで，端末が実空の Scan ボタンを押すことで，現在表示されているカメラ

間情報を取得し，机や壁などの平面を検出する．メニュー

映像を読み取り，文字認識を行う (図 4b)．文字認識が終ボタンから配置したいアプリケーションを選択し，検出しわると，認識された文字が浮かび上がるように画面上に表た平面をタップすることで，平面上にウィンドウが表示さ示され，タッチで選択することができる．選択した後，下れる (図 2b)．

の Copy ボタンを押すことで，選択した文字をコピーする

常にウィンドウが配置可能であると誤って平面をタップ© 2022 Information Processing Society of Japanことができる (図 4c)．

854

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6P07
2022/2/21

参考文献
[1]

[2]

[3]
(a) 文字のコピー(b) 文字のペースト

Michel Pahud, Ken Hinckley, Shamsi Iqbal, Abigail Sellen,
and Bill Buxton. Toward compound navigation tasks onmobiles via spatial manipulation. In Proceedings of the
15th international conference on Human-computer interaction with mobile devices and services, pp. 113–122,
2013.
Martin Spindler, Martin Schuessler, Marcel Martsch, andRaimund Dachselt. Move your phone: spatial input-based
document zoom & pan on mobile displays revisited. In
CHI’14 Extended Abstracts on Human Factors in Computing Systems, pp. 515–518. 2014.
Pierre Wellner. Interacting with paper on the digitaldesk.
Communications of the ACM, Vol. 36, No. 7, pp. 87–96,
1993.

図 3: ウィンドウ間のコピー＆ペースト(a) コピーモード開始時(b) Scan 後の画面(c) 文字のコピー(d) 文字のペースト

図 4: 文字認識によるコピー＆ペースト

4. おわりに本研究では，スマートフォンやタブレットなどのモバイ
ル端末の表示領域を広げる方法として，実空間を利用した

AR デジタルワークスペースを提案した．今後の課題として，本システムの有用性を調べるための評価実験を行うこと，様々なアプリケーションを実装することが挙げられる．

© 2022 Information Processing Society of Japan855