情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163A05
2016/3/4

遠隔作業支援におけるハンドジェスチャと描線機能の効果検証
市原 俊介†

鈴木 雄介†

概要：カメラ付きヘッドマウントディスプレイを装着した現場の作業者を遠隔地から映像と音声を用いて支援する遠隔作業支援技術は，雇用流動化や製造物の多品種化に伴って需要が高まっている．遠隔作業支援技術で一般的に利用されるものとして二次元画面上への描線による指示方法があるが，指示内容の理解が容易でない場合や，複雑な指示の場合に時間を要するなどの課題があった．これらの問題を解決する方法として，指示者のハンドジェスチャを現場映像に重畳して表示する方式も過去に提案されているが，これらの機能の作業内容に対する利点等は詳細には検討されていない．本稿では提案システムの概要と構成，プロトタイプ実装内容，またその機能を検証するために実施する予定の評価実験の内容について述べる．

An Effect Study of Remote Support System Using
Hand Gesture and Drawing LineSHUNSUKE ICHIHARA†YUSUKE SUZUKI†

Abstract: Remote collaboration technology, which supports on-site workers wearing head mount displays with cameras fromremote sites with video and audio instruction, has received a lot of attention. A commonly used instruction method issuperimposing computer graphics lines on displays. However, such method has problems: the difficulty for instruction
comprehension, time-consuming at complicated instructions. To solve the problems, superimposing hand gesture into the on-site
picture has been proposed, however the effect of the method for working tasks has been not evaluated in detail. In this paper, wemention an overview of proposed system, an implementation of the prototype, and the overview of evaluation experiments.

1. はじめに印や円など，描画する内容を変えて，柔軟に指示を送信できるが，指示内容が作業者に理解しにくい場合がある，作遠隔地の現場で作業する作業者に，映像と音声を用いて業内容が複雑な場合に指示に時間を要することがある，な作業の指示や支援を行う遠隔作業支援技術は，雇用の流動どの課題がある．一方で，指示者の手振りを送信する方式化等で作業者が十分に経験を積むことが難しいこと，製品は，指示者が特別な意識なしに行う手振りを直接指示としの多品種化や複雑化が進み，作業者がマニュアル類を学て伝達できるなどの利点があるが，描画方式と比較すると習・記憶する負担が増大していることなどを受けて，需要指示者側で提示内容をコントロールしづらいなどの問題がが高まっている．

ある場合がある．

遠隔作業支援システムの典型的な実現例としては[1,2]のこのように各方法を独立に利用した場合については，利ように，現場の作業者が使用するカメラ付きヘッドマウン

点と欠点が認識されてはいるが，複数の指示方法が利用可

トディスプレイ（以下 HMD と記す）で現場環境を撮像し，能である場合に，各種の作業内容に対しどの方法が作業効指示者に送信し，指示者が作業者の視野を共有しながら指率を向上させるのか，利用者がどのように指示方法を好む示するというものがある．のか，使い分けるのかという検討は十分に行なわれていな

指示者からの音声による指示だけでなく，遠隔地から送い．

信される映像に，指示者がペンデバイスや，タッチパネル

本論では，こうした検討を行うため，作業者の手振り（以等を用いて，CG による線を描画できるようにし，作業者下，ハンドジェスチャと記す）および線描画による指示方に指示を送るという方法も提案されている[3,4]．

式を併用した遠隔作業システムを実装する．実際に開発しまた，より柔軟に指示情報を伝達する方法として，カメラや専用の機器を用いて指示者の手の形や，手振りによる情報作業者に伝達するという方法も提案されている[5]．
このように遠隔地からの映像を加工して，指示を伝達する方法は多数提案されている．線で描画をする方法は，矢たプロトタイプの実装内容を紹介した上で，実施予定している評価実験の概要について述べる．

2. 関連研究
本提案手法と同様に映像と音声を用いた遠隔作業支援技術の関連研究について述べる． Kuzuoka らは，HMD を用† 沖電気工業株式会社 研究開発センター
Oki Electric Industry Co.,Ltd. Corporate Research and development Center© 2016 Information Processing Society of Japanい，遠隔地の作業者の視野を共有可能なシステムの実装と評価実験を行った[1]．笠原らは，作業者の一人称視点から790

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163A05
2016/3/4

擬似的に体外離脱視点映像を作り出す JackIn という方式をルタイム動画上に線を描画するシステムも提案されている

用い，指示者が作業者に対し位置や方向を示すべく能力をが，本プロトタイプ実装では扱わない．

強化拡張する可能性を示した[2]．

 リアルタイム動画＋ハンドジェスチャ

Ou らはロボットを組み立てるタスクを例に，CG の線を スナップショット＋ハンドジェスチャ

作業環境を撮影した映像上に重畳して表示することで，多 スナップショット＋線描画様な指示が伝達可能であることを示した[3]．酒田らは，作業者側に装着したレーザポインタを指示者側で制御して指示をするウェアラブルアクティブカメラレーザ（WACL）
および線描画を重畳表示する HMD を用いた場合の作業効率やユーザビリティについて，評価実験を行なった[4]．
Huang らは，指示者側も HMD とウェアラブルカメラを付けるというシステム構成で，指示者カメラによって撮影された指示者の手を画像処理で抽出して，作業者が撮影した映像に合成するというシステムを提案している[5]．

図 2

遠隔作業支援システムの利用のされ方に関する評価とFigure 2

プロトタイプシステムの構成
Configuration of prototype system

して，Fussel らは，音声だけのコミュニケーションでは作業を効率良く進めることに限界があることを評価実験で示

3.2 プロトタイプ実装

している[6]．村尾らは，言葉によりジェスチャの指示を行

開発中のプロトタイプシステムの構成を図 2 に示す．指なう場合に，その具体度が下がるに従って指示を受けた側

示者端末はタッチパネル画面，ジェスチャ I/F および PC でのジェスチャのばらつきが増大することを示した[7]．

構成され，作業者 HMD とネットワーク経由で接続される．
指示者端末ではタッチパネルディスプレイとジェスチャ

3. システムI/F に Leap Motion[ a] [8]を用いた．タッチパネルディスプレ

3.1 概要イに描画された線は点列のデータとして取得される．Leap

提案システムでは，現場の作業者がカメラ付き HMD を

Motion は赤外線カメラにより手の 3 次元構造，および位置着用し，カメラで撮影された映像（現場映像）を遠隔地のと向きを取得可能である．Leap Motion は指示者側タッチパ

指示者に送信，遠隔地の指示者の音声及び，ハンドジェスネル画面下に配置し，PC と接続している．

チャまたは線描画による指示を受ける．開発中のシステムの一連の動作の流れを説明する（図 1）．

作 業 者 HMD と し て 単 眼 透 過 型 HMD で あ る Vuzix
M2000AR を用いた[ b] [9]．Vuzix は HDMI 接続ディスプレ
イおよび USB 接続カメラとして機能し，PC と接続されている．
指示者 PC と作業者 PC 間の接続には WebRTC[c] [10]を利用した．各端末上で動作する Web ブラウザ Google Chrome
間で，映像および音声の P2P 通信が確立される．点列，手形の情報も同様に，WebRTC で送信される．映像合成は同じくブラウザ上で行われ，現場映像，点列データから描画された線，WebGL で描画されたハンドジェスチャを重畳した映像がブラウザ上に表示される．

図 1
Figure 1

プロトタイプの一連動作の流れ
Operation flow of prototype system

3.3 描線による指示描線による指示を利用する場合には，指示者が画面をタッチするとその時点でのスナップショットが取得される．

①

現場が作業者の目線で撮像され，指示者に送られる．

スナップショットが表示されたタッチパネルディスプ②

指示者が現場映像に指示情報（ハンドジェスチャまレイ上で，指を動かすことで，図 3 に示すように線を描く

たは線描画）を重ね，指示映像を合成する．

ことができる．作業者端末では図 4 に示すように，指示者③

指示映像が HMD に送られ，画面に提示される．
指示映像は現場映像のリアルタイム動画または特定時刻のスナップショット（静止画）と指示情報の組み合わせにより，以下の 3 パターンとなる．AR 技術を用いて，リア© 2016 Information Processing Society of Japana) Leap Motion は，Leap Motion 社の商標または登録商標です．
b) Vuzix および M2000AR は，Vuzix 社の商標または登録商標です．
c) WebRTC は，World Wide Web Consortium (W3C)が提唱するリアルタイムコミュニケーション用のオープンソース API です．

791

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163A05
2016/3/4

画面と同期してスナップショットが表示され，その上に図3 と同一の線が描かれる．

図 6
Figure 6

ハンドジェスチャによる指示（現場作業者視点）
Hand gesture instruction (view of the on-site worker)

4. 評価実験
図 3
Figure 3

線描画による指示（指示者視点）

Drawing line instruction (view of the instructor)

開発したプロトタイプを用いて，線描画による指示と，ハンドジェスチャによる指示が利用できる場合，ユーザがタスクを行う際に，それらをどのように使い分けるか，タスクの特徴が異なる場合に，それぞれの指示方法の利点と欠点はどのように表れるか検討するために評価実験を計画している．
4.1 設定とタスク
評価実験においては，一般的なブロック組立タスクを用いる[3]．現場作業者役および指示者役の各 1 名が，本稿のシステムを用いて映像および音声によりコミュニケーショ

図 4
Figure 4

線描画による指示（現場作業者視点）

Drawing line instruction (view of the on-site worker)

ンを取りながら，ブロックを正解のパターンとなるよう組み立てるタスクを実行する．
現場作業者役は図 7 に示すように，作業台の前に着席す

3.4 ハンドジェスチャによる指示
ハンドジェスチャによる指示を利用する場合には，指示者が現場映像を見ながら画面の前に手を出すと，ジェスチ
ャ I/F によりハンドジェスチャが取得され，図 5 に示すようにリアルタイムに描画される．
このとき，作業者端末では図 6 に示すように，指示者と同一の映像にハンドジェスチャが重畳表示される．
リアルタイム動画の上だけでなく，描画による指示と同様に特定時刻のスナップショットを取得し，それにハンドジェスチャを重畳することもできる．

る．その上で HMD をヘルメットごと着用する．
指示者役は，作業者と同室で約 2m 離れ，衝立のみで区切られた作業者席に座る．
図 8 に示すように，端末の I/F としてタッチパネル画面が自然な姿勢で操作できる位置に与えられ，その直下中央にジェスチャ I/F が与えられる．またタッチパネル画面の左隣のディスプレイ画面にてブロックの正解パターンが提示される．
ブロックにはレゴ・デュプロ[d]を採用し，色や突起の数等，言葉だけで特徴を言い表すことを困難にして，作業システムの利用を誘発するようにした．

図 9 に示すように複数のブロックを貼り合わせた新たなピースを形状が異なるよう用意している．
タスクには，下記の 2 つの段階を設ける．
 組立て：ばらばらのピースを拾い集め組み立てる
 組替え：既に組み立てたものの一部を変形する
タスク設計の背景であるが，例をあげて説明すると，利
図 5
Figure 5

ハンドジェスチャによる指示（指示者視点）

用するブロックを選択する際には素早く指示が可能なジェHand gesture instruction (view of the instructor)

スチャの指さし等が利用しやすく，組立の際の詳細な位置d) レゴ・デュプロは，レゴ社の商標または登録商標です．

© 2016 Information Processing Society of Japan792

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163A05
2016/3/4を指示するためには線の描画等が利用しやすい，などのよえられる．各モードでは組立てを行ない，その後に変形をうに作業内で必要とされる指示の特徴がなるべく異なるよ伴う組替えを 1 回行なう．また時間による心理的負荷を高うに設計した．

めるため，作業に際しては正確さよりも速さを優先するよ

完成図の提示は組立て段階では使用ピースを，組替え段う教示する．

階では変形箇所を各々明示した上で，パターンの複雑さに対して視認に手間取ることによる影響を抑えるようにする．

5. まとめ
線描画による指示と，ハンドジェスチャによる指示が利用できる開発中の遠隔作業支援システムの概要について述べた．また開発したプロトタイプを用いて，特徴の異なる指示方法が利用できる場合，ユーザがタスクを行う際に，それらをどのように使い分けるか，タスクの特徴が異なる場合に，それぞれの指示方法の利点と欠点はどのように表れるか検討するための評価実験の計画についてまとめた．

図 7
Figure 7

評価実験（現場作業者役）

評価実験結果については，終了後報告を予定している．

Experiment (role of the on-site worker)

参考文献

図 8
Figure 8

評価実験（指示者役）

Experiment (role of the instructor)

図9
Figure 91) Kuzuoka, H., Spatial workspace collaboration: a Shared-View video
support system for remote collaboration ca-pability, CHI 1992,
pp.533-540, 1992.
2) 笠原, 暦本,
JackIn：一人称視点と体外離脱視点を融合した人間―人間オーグメンテーションの枠組み , IPSJ Interaction
2014, 14INT001 (2014)3) Ou, J., Fussell, S.R., Chen, X., Setlock, L.D. and Yang,J. Gesturalcommunication over video stream: supporting multimodal interaction
for remote collaborative physical tasks. In Proc. ICMI ’03. ACM Press(2003), pp.242-249.
4) 酒田, 蔵田, 葛岡,
レーザポインタと装着型ディスプレイを用いた遠隔作業指示のための視覚的アシスト”, 第 35 回 HI 学会研究会・日本 VR 学会ウェアラブル/アウトドア VR 研究委員会第 8回研究会, pp.11-16 (2005)
5) Huang,W, ,Alem,L. and Albasri, J. HandsInAir: A Wearable System
for Remote Collaboration Proc.CSCW '13,pp.153-156
6) Fussell, S.R., Setlock, L.D. and Kraut, R.E. Effects ofhead-mounted and scene-oriented video systems on remotecollaboration on physical tasks, CHI 2013, pp. 513-520. 20137) 村尾, 寺田,
指示の具体度がジェスチャ動作に与える影響の評価 , IPSJ SIG Technical Report, Vol.2011-UBI-30 No.6 (2011)8) http://www.leapmotion.com/
9)http://www.vuzix.co.jp/shop/item_detail?category_id=0&item_id=1205192
10) http://www.webrtc.org/

完成図の提示例

Example of presenting completion figure

4.2 被験者と作業手順
被験者は 2 名 1 組で作業し，原則として作業者役と指示者役は作業直前に決めるものとする．
実験は各被験者の組について，下記 3 つのモードを利用して行なう．
A) ジェスチャのみ重畳可能B) 線描画のみ重畳可能C) 上記 2 つの機能が同時に利用可能
順序効果低減のため，組によってモードの順番が入れ替© 2016 Information Processing Society of Japan793