情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-59
2020/3/9

スマートフォン AR 機能を利用したリアルタイム作業状況可視化
アプリの試作と保持方法の検討
大澤奈々穂†1

和田佑太†1

田代彩花†1志村嶺†1

八木澤喬樹†2

概要：本論では近年スマートフォンに標準搭載されているカメラと AR フレームワークを活用し，スマートフォンのみでリアルタイムに作業状況を可視化するアプリを試作した．また，試作したアプリを用いて実際に作業を行う際のスマートフォンの保持方法について，4 種の方法（A：片手で持つ，B：道具に装着する，C：首からかけるスマートフォンホルダを活用する，D：頭に装着する）を検討した．試作したアプリケーションを 4 種の保持方法で利用する実験を被験者 4 人に対して実施したところ，アプリケーションによる支援は有用であるという結果が得られ，保持方法については個人の作業スタイルに合わせた数種類の選択肢が必要だという結果が得られた．

1. はじめに
近年，拡張現実（Augmented Reality ; AR）技術を用いて現実空間の上に情報を重畳表示し，様々な作業を支援するシステムが開発されている[1][2][3]．現実空間の上に情報を重畳表示するためには，表示位置を取得する技術と重畳表示する技術が必要となる．表示位置を取得する技術として，GPS，Wi-Fi 等の無線センサ，慣性センサ，超音波センサ，磁気センサ等を用いる方法が存在するが，より詳細な位置情報を取得するための方法として 2D や 3D のカメラ

図 1

本アプリケーションでの作業可視化例（ビジョンセンサ）を活用する技術開発が進んでいる．カメラを用いる方法の中にも QR コードや赤外光 LED 等のARKit[4]，Android では ARCore[5]と呼ばれる AR フレーム

マーカーを用いるものと，マーカーを用いず画像中のエッワークが開発され，AR 機能を利用したアプリの開発が容ジ等の自然特徴量を利用するものが存在する．重畳表示の易になっている．本論では，iOS の ARKit を用いてリアル技術としては，プロジェクタ，スマートフォンやタブレッタイムに作業状況の可視化を行う．

ト，AR メガネ，HMD（Head Mounted Display）等様々なデバイスが開発されている．

本アプリケーションで作業状況を可視化する作業とその画面表示例を図１に示す．作業は平らな台の上で実施する

本論では近年スマートフォンに標準搭載されているカことを想定している．作業道具の位置をスマートフォンのメラと AR フレームワークを活用し，スマートフォンのみ背面カメラで取得し，スマートフォン画面には背面カメラでリアルタイムに作業状況を可視化するアプリを試作する．

で取得した画像の上に作業道具の位置の軌跡を重畳表示す

さらに試作したアプリを用いて作業を行う際のスマートフる．図１は作業道具が p1 から p2 へ移動した場合の画面表

ォンの保持方法について，4 種の方法（A：片手で持つ，B：示例を示す．

道具に装着する，C：首からかけるスマートフォンホルダを活用する，D：頭に装着する）を検討した．2 章で試作したアプリケーションについて，3 章で保持方法の検討につい次に，試作したアプリケーションの動作を説明する．
（1） 平面を認識する
ARKit の平面認識機能を利用し，背面カメラから取得して述べる．4 章では試作したアプリケーションを用いて 4た画像の中から平面を認識する．

種の保持方法を比較する実験を実施し，5 章でまとめる．

（2） 作業道具の位置を取得する

2. スマートフォン AR 機能を利用したリアルタイム作業状況可視化アプリ
スマートフォンに搭載される OS（Operating System）として iOS と Android が主流となっているが，iOS では作業道具の位置は背面カメラ画像内の特定の色を識別することで特定する．カメラ画像内からあらかじめ指定しておいた色と同じ色相の画像領域を抽出し，抽出された領域のうち最も面積の大きなものを作業道具の位置とみなす．

†1 三菱電機株式会社†2 東京大学© 2020 Information Processing Society of Japan392

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-59
2020/3/9

表 1

スマートフォン保持方法の種類と特徴
A

B

C

D

片手で道具に首から頭に持つ

装着

かける

装着

スマート

調節

道具から首から目からフォン画可能

一定距離

一定距離

一定距離

スマート

調節

道具の角

体・首の顔の向き

フォン画

可能度に追従向きにに追従

ホルダ
1面の位置
2面の向き

図 2

試作したアプリケーション利用例（左）と3

画面例（右）（3）作業道具位置の軌跡の重畳表示

〇〇〇〇

×〇

〇

△○

×

×

画面の視

画面の狭い

中間

広い野の広さ位置〇〇

×

道具が重くなる

5

平面上に作業道具の軌跡を架空オブジェクトとして配置する．または（1）で認識した平面上に配置した架空オブジ

×

使えるか
4

（2）で取得した作道道具の位置を元に（1）で認識した両手が身体への装着

6

ェクトを消していく．（1）で認識した平面と（2）で用いるカメラ画像の三次元的な位置関係の紐付けや架空オブジ
ェクトの配置は ARKit を利用する．
図 2 の例では，作業道具の色（桃色）の位置を認識し，追従

依存
7

画面外が〇見えるか実画像に重畳された半透過の白い未作業領域を消していっている．

3. スマートフォン保持方法の検討
本章では，2 章で試作したアプリケーションを利用する際のスマートフォン保持方法について検討する．表１に示す
通り 4 種（A：片手で持つ，B：道具に装着する，C：首からかけるスマートフォンホルダを活用する，D：頭に装着する）を検討し，それぞれの特徴を表１にまとめた．A の片手で持つ方式は画面の位置と向きをユーザが自由に調節可能である（表 1 の 1，2）が，片手をスマートフォンの保持に利用するため作業に両手が使えないというデメリットがある（表 1 の 3）．一方，B・C・D の方式では作業に両手が使える（表 1 の 3）が，道具や体に固定するためスマートフォン画面の位置や向きを自由に調節できない（表 1 の 1，

図 3

スマートフォン保持方法の種類と身体からの距離2）．
また，A~D の方法は図 3 に示す通りスマートフォン画面の位置と身体との距離が異なっている．身体から遠い順に B，C，D であり，A では画面と身体との距離を調節可能である．画面の位置に伴い画面内の視野の広さも位置に応じて異なる（表 1 の 6）．他にも，道具に設置する場合は作業道具の重さが変化し（表 1 の 4），身体の装着の有無（表1 の 5）や画面外の視野範囲が異なるという特徴がある（表1 の 7）．

4. 保持方法の比較実験
4.1 実験方法
2 章で試作したスマートフォンアプリケーションの有用性の確認と，3 章で検討した保持方法の比較を行うため，4人の被験者に試作したスマートフォンアプリケーションを利用してもらった．被験者は 20～30 代の男性 2 名（被験者1,2）と女性 2 名（被験者 3,4）の計 4 名で，男性 1 名（被験者 1）と女性 1 名（被験者 4）は VR（Virtual Reality）ゴーグルに非常に慣れている被験者であり，残りの 2 名は VRゴーグルを数回利用したことがある被験者である．

© 2020 Information Processing Society of Japan393

情報処理学会 インタラクション 2020IPSJ Interaction 2020

1B-59
2020/3/9

図 5

4 種の保持方法 A～D と被験者毎の順位

時に体ごと動かす傾向が強く，他の被験者は腕のみを動かして作業を実施していた．このため，被験者 3 は画面が体の動きに追従する C の保持方法を好み，画面が道具の動きに追従する B の方法を支持しなかった．なお，被験者 1,2の身長は約 175cm，被験者 3,4 の身長は約 155cm であった．
腕の長さ等の身体的な特徴と作業領域の広さや作業道
図 4

実験に用いた 4 種の保持方法

具の柄の長さ等の作業特徴により，個人毎に作業道具の動かし方が異なるため，個人の道具の動かし方に合わせた数

実験では塗料の塗布作業や机上の清掃を想定し，幅約種類の方法から選択できることが望ましいという結果とな

16cm・柄の長さ約 24cm のローラーで，約 64cm×78cm のった．

平面領域全てを転がす作業を実施した．実験手順として，(2) アプリケーションによる作業領域のわかりやすさ

スマートフォンアプリなしの状態でローラーを転がした後，スマートフォンアプリケーションがない場合と比べてA～D の保持方法でスマートフォンを保持してアプリを利作業領域と作業未実施領域がわかりやすいか否かという設用しながら作業を実施した．実験に用いた 4 種の保持方法

問に対しては，どの保持方法においてもアプリケーションを図 4 に示す．実験で用いたスマートフォンアプリケーシがない場合よりある場合の方がわかりやすいという結果がョンは，作業を実施する平面(作業未実施領域)をあらかじ得られた．これにより本アプリケーションの有用性が確認

め半透過白色で表示し，作業済み領域を消していくというできた．

内容である（図 2（右））．

(3) スマートフォン保持による作業の阻害状況

被験者には，利用後に 4 種の方法について（1）利用しやスマートフォンがない場合と比較してスマートフォンすさの順位をつけてもらい，次の 5 項目について相対的にを保持しながら作業する場合に，作業そのもの（ローラーどの方法が良かったか悪かったかをヒアリングした．ヒアを動かすこと）が阻害されたか否かや作業に集中できたか

リング内容は次の通りである：（2）アプリケーションによ否か等をヒアリングしたところ，C の首からかけるスマーる作業領域のわかりやすさ，（3）スマートフォン保持によトフォンホルダを利用する方法以外は特に問題がないといる作業の阻害状況，（4）スマートフォン画面の見やすさ（表う結果になった．C の首からかけるスマートフォンホルダ

1 の 1，2，6，7 の差異），（5）装着感（表 1 の 3～5 の差異），を利用する方法では，実験に利用したホルダが被験者の身（6）作業時に周囲の目が気になるか否か．

体に密着せず作業時に揺れてしまうのが気になるとの声が4.2 実験結果得られた．

(1) 利用しやすさの順位(4) スマートフォン画面の見やすさ

図 5 に 4 種の保持方法 A～D と被験者毎の順位を示す．

スマートフォン画面の見やすさについて，画面の角度・平均的には，A の片手に持つ方法と D の頭に装着する方法の画面内外の視野の広さの観点からヒアリングを実施した．

順位が小さく，C の首からかけるスマートフォンホルダを利

画面の角度については C の首からかけるスマートフォンホ用する方法の順位が大きかった．しかし，最も利用しやすルダを利用する方法以外は特に問題がなく，C の方法ではい保持方法は被験者毎に異なるという結果となった．特に（3）と同じく画面が揺れてしまうこと，身体ごと動かさな

被験者 3 は他の被験者と異なり，C の首からかけるスマー

いと画面の角度が変えられないこと，画面の角度によってトフォンホルダを利用する方法を最も利用しやすいとした．

は照明が反射して見づらいことが問題点としてあがった．

詳細にヒアリングした結果，被験者毎に道具の動かし方がこれは，今回の作業では腕のみを動かして作業を実施する異なっているためであることがわかった．被験者 3 は作業被験者が多かったことも影響している．

© 2020 Information Processing Society of Japan394

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-59
2020/3/9

スマートフォン画面内の視野の広さについては，図 3 になるという声があった．これは，C の首からかけるスマー示した物理的な広さの順と同じ順に被験者も視野範囲を感トフォンホルダを利用している人をあまり見かけたことがじているようであり，B の道具に装着する方法では視野がないためだと想定される．以前に自分が実施したことがあ狭いと感じる度合いが他の方法に比べて相対的に強くなるるかどうかという経験や，周囲の人が作業内容やアプリケ傾向があった．スマートフォンを片手に持つ A の方法では，ーションの内容について熟知しているか否かも周囲の目が被験者毎にスマートフォンと被験者との距離が異なっては気になるか否かに影響を与えるという意見が得られた．

いたものの，B の方法と D の方法の中間程度の結果となっD の頭に装着する方法では，装着してしまえばスマートた．スマートフォン画面内の視野範囲を広げるよりも，拡フォン画面しか見えなくなるため作業に集中できるという大鏡のようにスマートフォン画面内の画像を実際よりも拡意見と，周囲の様子が見えなくなるため周囲の様子が気に大する等の利点があるとよいとの声もあった．

なってしまい疑心暗鬼になるという真逆の意見が得られた．

スマートフォン画面外の視野の広さについては，A，B の本実験の被験者は 4 人とも VR ゴーグルの利用経験がある

方法では画面に集中してしまうためほとんどスマートフォため，D の方法に対する抵抗感は小さかった．

ン画面外を見なくなり，何か障害物が存在しても気がつか4.3 考察なくなるという問題点があがった．C の方法では，スマー実験の結果，（2）アプリケーションによる作業領域のわ

トフォン画面内だけでなくスマートフォン画面外も視野にかりやすさのヒアリング結果より，どの保持方法において入り，A，B に比べるとスマートフォン画面外の障害物にももアプリケーションがない場合よりわかりやすいという結気がつきやすいという結果となった．D はスマートフォン果が得られた．また，（1）利用しやすさの順位より，最も画面外の視野範囲が存在しないが，スマートフォン画面内望ましい方式は個人によって異なることがわかった．これの視野範囲が広いので問題ないとの意見もあったが，スマは，個人毎に作業時の作業道具の動かし方（腕だけ動かすートフォン画面外の視野範囲がゼロとなってしまうためにのか身体ごと動かすのか等）が異なっているためだと考え頭を大きく動かさなくてはならず道具や障害物を発見しづられる．

らいという声もあった．
(5) 装着感

今回の実験で行った作業は両手を必要とする作業ではなく道具を持ち上げることもなかったため，（3）スマートフ

装着感については，A の片手で持つ方法は長時間の作業

ォン保持による作業の阻害状況で片手作業による影響はあになると重さが気になる可能性がある・手の大きさの割にまりなかった．両手を必要とする作業の場合には，影響がスマートフォンが大きく落としそうという問題点があがっあると考えられる．

たが，今回の作業では片手が塞がってしまうデメリットは（4）スマートフォン画面の見やすさでは，検討時に考慮あまり気にならないとの意見が多かった．B の道具に装着したスマートフォンの身体からの距離とカメラ画像の視野する方法については，道具が重くなることへの抵抗感は小範囲の影響は存在したが，それ以外にもホルダの固定度にさかった．C の首からかけるスマートフォンホルダを利用よる揺れの影響が大きく出た．ホルダの固定方法に改善のする方法については，（3）で述べたのと同じく揺れてしま余地がある．片手で持つ場合にも手に固定するバンドを利うという問題点があったが，揺れ以外の痛さや重さ等は特用する等の改良を実施したい．に問題なかった．このため，より身体に密着するホルダをホルダの固定方法は（5）装着感にも影響を与えるため，用いれば，首からかけるスマートフォンホルダの有用性は揺れずに不快ではない固定できるよう改良する必要がある．

高まりそうである．D の頭に装着する方法は，今回の実験

スマートフォンは軽いため（5）装着感のヒアリングで重さに利用したスマートフォンホルダが顔に密着するタイプでについての意見はあまり出なかったが，長時間作業となるあるため，顔に当たるのが気になるとの声が大きかった．と重さが気になってくる可能性が高い．

また，頭の前側だけに重心が偏りバランスが悪いためその（6）作業時に周囲の目が気になるかにおいては，周囲があたりも改善してほしいとの意見があった．頭に装着する作業内容を知っているか，周囲が同じ作業をしているかが場合のホルダ形状の工夫やメガネ型の AR 表示装置を用い大きな影響を与えることがわかった．また，見慣れた道具ることにより装着感が改善されると考えられる．

（ホルダ）であるかどうかも影響を与えるため，VR ゴーグ(6) 作業時に周囲の目が気になるかルの経験がない被験者にも試してもらう必要がある．スマ

作業時に周囲の目が気になるか否かについては，周囲もートフォン画面以外が見えなくなることで集中できる被験同様の作業をしている場合はどの方法でもあまり気になら者と，見えなくなることで逆に不安になるという被験者がないという結果になった．しかし，周囲が同様の作業をし存在したことも興味深い結果である．ておらず自分自身のみが実施している場合や，自分は実施していないが周囲に作業をしている人がいる場合に，C の首からかけるスマートフォンホルダを利用する方法が気に© 2020 Information Processing Society of Japan395

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-59
2020/3/95. おわりに本論では近年スマートフォンに標準搭載されているカメラと AR フレームワークを活用し，スマートフォンのみでリアルタイムに作業状況を可視化するアプリを試作した．
さらに試作したアプリを用いて実際に作業を行う際のスマートフォンの保持方法について，4 種の方法（A：片手で持つ，B：道具に装着する，C：首からかけるスマートフォンホルダを活用する，D：頭に装着する）を検討し，試作したアプリを用いて 4 人の被験者に 4 種の保持方法を比較してもらった．
どの保持方法でもアプリケーションによる支援により作業領域と作業未実施領域の区別がつきやすくなり有用であるという結果が得られたが，保持方法については個人毎に意見が分かれた．これは，個人毎に作業時の作業道具の動かし方（腕だけ動かすのか身体ごと動かすのか等）が異なっているためだと考えられる．このため，個人の作業スタイルに合わせて数種類の選択肢が必要だという結果が得られた．また，スマートフォンホルダの改善も必要である．
今後，作業時間が長くなった場合の影響，作業範囲や道具の大きさの影響等も調査していく必要がある．

参考文献
[1]
[2]

[3]

[4]
[5]

大澤奈々穂, 和田佑太, 八木澤喬樹.ぬりつぶし爽事機の試作.
インタフェースシンポジウム 2017
牧田孝嗣, 張慶椿, 一刈良介, 大隈隆史, 蔵田武志. 拡張現実を用いた道路整備作業支援システムの基礎検討. 信学技報,2014, vol. 114, no. 239, MVE2014-34, pp. 19-24
釣賀亮佑, 大沼信也, 阿部亨, 菅沼拓夫. モバイルプロジェク
タとカメラを利用した作業支援のための情報投影手法. 第 78回全国大会講演論文集. 2016, vol.1, pp.274-276“ARKit”.
https://developer.apple.com/jp/augmented-reality/arkit/“ARCore”.
https://developers.google.com/ar© 2020 Information Processing Society of Japan396