情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-502-13
2017/3/2

ハンドジェスチャと描線機能を用いた遠隔作業支援システムの現場評価実験市原 俊介†1鈴木 雄介†1

概要：雇用流動化や生産の多品種化に伴って，遠隔作業支援技術の需要が高まっている．ここで遠隔作業支援技術とはカメラ付きヘッドマウントディスプレイを装着した現場の作業者を遠隔地から映像と音声を用いて支援する技術である．昨年度我々は二つの指示方式（１．指示者のハンドジェスチャを現場映像に重畳表示，２．二次元画面上への描線）を用いた遠隔作業支援システムを提案した．これら指示方式の作業内容に対する選択特性を詳細に検討するため，工場にて評価実験を実施したところ，視点変更を高速に指示する場合はジェスチャ，対象を細かく指定する場
合は描線が多用されると分かった．本稿では提案システムの概要と構成、プロトタイプ実装内容、工場にて実施した評価実験の内容およびその結果について述べる．

A Field Evaluation Experiment of Remote Support System
Using Hand Gestures and Drawing LinesSHUNSUKE ICHIHARA†1YUSUKE SUZUKI†1

Abstract: A Remote collaboration technology, which supports on-site workers wearing head mount displays with cameras fromremote sites with video and audio instruction, has gathered a lot of attention. Last year we proposed a remote support systemusing two instructions; 1) superimposing hand gestures, 2) superimposing drawing lines. To examine the choosing characteristicof instructions for task types, we carried out evaluation experiment in a factory. As a result, hand gesture is preferred to change
the viewpoint rapidly, and drawing lines is preferred in cases of pointing objects finely. In this paper, we mentioned an overview
of proposed system, an implementation of the prototype, the overview of evaluation experiments and its results.

1. はじめに特定ボタンを操作する等，細かい位置の指示を要する場合には描線が多用されることがわかった．

遠隔地の現場で作業する作業者に，映像と音声を用いて本論では，遠隔作業支援システムのプロトタイプの実装作業の指示や支援を行う遠隔作業支援技術は，雇用の流動内容について説明した上で，実験室内および工場内で実施化等で作業者が経験を積みにくい一方で，製品の多品種化した実験の結果について報告する．

や短納期化で作業者がマニュアル類を学習する負担が増大することなどを受けて，需要が高まっている．

2. 関連研究遠隔作業支援システムの典型的な実現例としては[1][2]

本節では本論と同様に映像と音声を用いた遠隔作業支のように，現場作業者が使用するカメラ付きヘッドマウン援技術の関連研究について述べる．Kuzuoka らは，HMD をトディスプレイ（以下 HMD と記す）で撮影した現場環境

用い遠隔地の作業者の視野を共有可能なシステムの実装と映像を指示者との間で共有し，そこに指示者が Computer評価実験を行った[1]．Kasahara らは，作業者の一人称視点Graphics (以下 CG)で情報を付加して指示するというものから擬似的に体外離脱視点映像を作り出す JackIn という方がある．付加される情報として 1)センサ機器などを用いて式を用い，指示者が作業者に対し位置や方向を示すべく能検出した指示者の手振り（以下ハンドジェスチャと記す），力を強化拡張する可能性を示した[2]．Ou らは，ロボット

2)指示者のペンデバイス等による描線，が提案されている組み立てタスクを例に，CG の線を作業環境映像に重畳表が[3][4]，それらの作業内容に応じた使い分け特性の検討は示することで多用な指示が伝達可能であると示した[3]．酒十分にされてこなかった．

田らは，作業者側に装着したレーザポインタを指示者が制

我々は以前に報告した遠隔作業支援システムの評価実御するウェアラブルアクティブカメラレーザ（WACL），お験[5]を，実験室内でのブロック組み立て作業，工場内でのよび HMD 上で描線を重畳表示する方法の，作業効率やユ情報端末設定作業を対象に実施した．実験の結果，部品をーザビリティについて評価実験を行った[4]．Huang らは，回転させる，作業者の視点を移動させる等，向きの指示を指示者側も HMD を付けるシステム構成で，指示者カメラ高速に行う場合にはハンドジェスチャが，部品をはめ込む，によって撮影された指示者の手を画像処理で抽出し，作業者が撮影した映像に合成するシステムを提案している[6]．

†1 沖電気工業(株) 研究開発センター
Oki Electric Industry Co., Ltd. Corporate Research and Development Center© 2017 Information Processing Society of Japan

遠隔作業支援システムの利用特性に関する評価として，

154情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-502-13
2017/3/2

Fussel らは，音声だけのコミュニケーションでは作業の効メラ部を USB で接続する．なお使用機器は実験により異な率化に限界があることを評価実験で示した[7]．村尾らは，るため，個別に後述する．

言葉によりジェスチャの指示を行なう場合に，その具体度

指示者端末 PC と作業者端末 PC のネットワーク接続にはが下がるに従って指示を受けた側のジェスチャのばらつき

WebRTC[ b]を利用した．指示者，作業者側双方の Web ブラが増大することを示した[8]．Fakourfar らは，遠隔作業支援

ウザ Google Chrome の間で P2P 通信が確立され，映像と音で用いる作業者側のデバイスとして HMD がタブレットよ

声のほか，描線を構成する情報となる点列や手形のデータり好まれること，指示中に用いる作業環境映像は実時間のが送信される．送受信されたデータを用いて WebGL で描動画より静止画が好まれることを示した[9]．

画されたハンドジェスチャや，HTML5Canvas に描かれた線が撮影画面に重畳されてブラウザ上に表示される．

3. 提案システム
本節では，我々が開発中のシステムの構成を述べる．
3.1 概要提案システムでは，図 1 に示す流れで，音声のほかに現場映像に指示者がハンドジェスチャおよび描線を重畳した指示映像を用いて，作業者へ指示が行われる．
①

HMD 搭載のウェアラブルカメラにて現場映像が取得され，指示者に送られる．

②

図2

指示者側は現場映像に指示情報（ハンドジェスチャまFigure 2

プロトタイプシステムの構成
Configuration of prototype system

たは描線）を重ね，指示映像を合成する．
③

指示映像が作業者の HMD に送られ画面に提示される．

3.3 ハンドジェスチャによる指示

指示映像は現場映像のリアルタイム動画または特定時

指示者が現場映像を見ながらジェスチャ I/F の前に手を刻のスナップショット（静止画）と指示情報の組み合わせ

かざすと，ハンドジェスチャが取得され，図 3 左に示すよにより，以下の 3 パターンとなる．

うにリアルタイムに重畳される．このとき作業者端末では

 リアルタイム動画＋ハンドジェスチャ

図 3 右に示すように，受信した手の 3 次元データに基づき， スナップショット＋ハンドジェスチャ

指示者端末と同様に手の形が映像に重畳される．

 スナップショット＋描線

ここで，指示者がタッチパネルディスプレイに触れると，現場映像のスナップショットを取得し，双方の全画面に表示する．そこにハンドジェスチャを重畳することもできる．

図1
Figure 1

プロトタイプの一連の動作

図3

Operation flow of prototype system

Figure 3

3.2 構成開発中プロトタイプシステムの構成を図 2 に示す．

ハンドジェスチャによる指示（指示者／作業者視点）
Hand gesture instruction (view of instructor/worker)

3.4 描線による指示
指示者がタッチパネルディスプレイに触れてスナップ

指示者端末 PC にはタッチパネルディスプレイを接続し，ショットが取得され，全画面に表示された上で指示者が指描画された線を点列データで取得する．またジェスチャイを動かすと図 4 左に示すように線が描かれ，作業者端末でンタフェース（以下ジェスチャ I/F）として Leap Motion[ a]も同様に図 4 右に示すように線が描かれる．

を接続し，画面の下に配置し，赤外線カメラで手の 3 次元構造および位置と向きを取得する．
作業者端末 PC には HMD のディスプレイ部を HDMI，カb) WebRTC は，World Wide Web Consortium (W3C)が提唱するリアルタイムa) Leap Motion は，Leap Motion 社の商標または登録商標です．

© 2017 Information Processing Society of Japan

コミュニケーション用のオープンソース API です．

155情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-502-13
2017/3/2

図6
図4
Figure 4

描線による指示（指示者／作業者視点）

ブロックを用いた予備実験（指示者役）

Figure 6

Block experiment (role of the instructor)

Drawing line instruction (view of instructor/worker)

4. ブロックを用いた予備実験
4.1 実験条件
実験室環境で，コミュニケーション支援実験で一般的なブロック組立てタスク[3]を用いて予備実験を実施した．現場作業者役および指示者役の各 1 名が本稿のシステムを用いてコミュニケーションを取り，ブロックを正解のパターンへと組み立てる．

図7

ブロックを用いた予備実験の完成図の提示例

Figure 7

Example of presenting completion figure

作業者役は図 5 に示すように作業台の前に座り，ヘルメット型の Vuzix M2000AR[ c]を着用する．指示者役は図 6 に

実験は，ジェスチャのみ利用可能，描線のみ利用可能，示すように同室で約 2m 離れて衝立のみで区切られた席に双方が利用可能，の 3 モードにて実施した．順序効果低減

座り，タッチパネルとジェスチャ I/F のほか，隣のディスのため，被験者の組により利用モードの順序を入れ替えた．

プレイ画面にてブロックの正解パターンが与えられる．
ブロックはレゴ・デュプロ[ d]を採用し，作業システムの利用を誘発するため，図 7 に示すように複数のブロックを貼り合わせた形状の異なるピースを用意し，色や突起の数等，言葉だけで特徴を言い表すことを困難にした．

4.2 実験結果（指示方式の選択特性）
実験室にて被験者 6 組 12 名で予備実験を実施し，ビデオの分析を行ったところ，以下のことが判明した．
ジェスチャによる指示が描線より多く用いられたのは，タスクには下記 2 段階を設ける．各々図 7 に示す完成図

ブロック全体または一部分を回転させる作業だった．そしで，使用ピースや変形箇所を明示することで，パターンのてジェスチャが利用できないモードでは，利用できるモー複雑さに対して視認に手間取ることによる影響を抑えた．

ドより所要時間が長くなり，「反時計回り」など口頭で伝え

組立て：ばらばらのピースを拾い集め組み立てるる事例が観察された．これらのことから，ジェスチャが，組替え：既に組み立てたものの一部を変形する

大まかな情報を高速に伝えるのに用いられると分かった．
描線による指示がジェスチャより多く用いられたのは，特定箇所に部品を取り付ける作業だった．そして描線が利用できないモードでは，利用できるモードより指示者への確認，指示内容が不明確な状態での仮置き動作，作業ミスの回数がそれぞれ多くなった．このことから，描線が，作業対象内の特定箇所を明瞭に示すのに用いられる傾向があると分かった．

図5

ブロックを用いた予備実験（現場作業者役）

Figure 5

Block experiment (role of the on-site worker)

5. 工場における評価実験
5.1 実験条件
前述の予備実験の結果を鑑み，工場において実験を実施した．対象は実際の製品を模した幅約 3.5ｍの通信機器操作卓の設営であり，電源投入，端子接続，表示確認，GUIc) Vuzix および WD-200A は，Vuzix 社の商標または登録商標です．
d) レゴ・デュプロは，レゴ社の商標または登録商標です．

© 2017 Information Processing Society of Japan

操作を含む．作業内容は実際に現場に設置する際の作業内

156情報処理学会 インタラクション 2017
IPSJ Interaction 2017

容に基づいて決定した．現場作業の際にも遠隔地から作業

1-502-13
2017/3/2

すくなった，という感想があった．

指示を行う状況は発生しているが，その際には電話を用いまた，図 10 に示すように指示者役がカメラ撮像範囲のて指示を行うことが一般的であり，本論で記載するような外を見たい場合にその方向を覗き込むように身を乗り出す，システムを用いた経験は作業者、指示者ともなかった．という特徴的な行動があった．作業環境映像が見えること

作業者役は図 8 のように Brother AirScouter WD-200A[ e]とカメラ Panasonic HX-A1H[ f]を装着する．指示者役はジェで，あたかも実際に作業環境を見ているかのような行動がシステムによって引き出されていることが分かった．

スチャと描線の双方が利用可能で，スナップショット表示
中に画面の一部分でリアルタイム映像が表示される.
ブロック実験とは異なり，工場での作業の習慣にならい作業者も指示者も立位で，時に位置や姿勢を変えることができる．また両者は生の音声が届きにくい位置に立ち，音声対話をヘッドホンおよびマイクを用いて行う．
被験者は指示者役が熟練者 1 名，作業者役が熟練者 1 名，図 10

類似した作業に従事しているが本対象の作業経験がない非Figure 10

特徴的な指示者の行動
A typical action of instructor

熟練者 1 名の 2 組とした．

6. おわりに
本稿では，以前紹介した開発中の遠隔作業支援システムを用い，実験室および工場にて評価実験した際の 2 つの指示方式（1. ハンドジェスチャ，2. 描線）の選択特性，使図8

工場における評価実験（現場作業者役）

Figure 8

Factory experiment (role of the on-site worker)

用した感想，その他特徴的な行動特性について報告した．
今後はシステムを改良すると共に，更に実験対象を増やし，本システムの導入による生産現場の作業効率や快適性の向上など，定量的な効果を把握する予定である．

参考文献

図9指示方式の選択特性（ジェスチャ／描線）

Figure 9

Characteristic of instruction (gesture/drawing)

5.2 実験結果（指示方式の選択特性）
実験の結果，以下のことが観察された．
ジェスチャによる指示が描線より多く用いられた事例
は，図 9 左に示すように，注目範囲が現在のカメラの撮像範囲の中心になるように指示者が指示をする視線移動指示であり，しばしば人差し指で方向を示しつつ「もっと右」などの発話をしていた．
描線による指示がジェスチャより多く用いられた事例
は，特定箇所への注目，図 9 右に示すような押す必要があるボタンを囲むことによって示すなどの GUI 操作，接続すべき端子を囲むことで示す端子接続の作業などだった．
5.3 実験結果（参加者の感想および特徴的な行動）
工場実験の被験者からは，映像が見えて指示者から状況[1] Kuzuoka, H., Spatial workspace collaboration: a Shared-View video
support system for remote collaboration ca-pability, CHI 1992,
pp.533-540, 1992.
[2] Shunichi Kasahara and Jun Rekimoto, JackIn: IntegratingFirst-Person View with Out-of-Body Vision Generation for
Human-Human Augmentation 5th International Conference on
Augmented Human (AH2014), (2014)[3] Ou, J., Fussell, S.R., Chen, X., Setlock, L.D. and Yang,J. Gesturalcommunication over video stream: supporting multimodal
interaction for remote collaborative physical tasks. In Proc.
ICMI ’03. ACM Press (2003), pp.242-249.
[4] 酒田, 蔵田, 葛岡,
レーザポインタと装着型ディスプレイを用いた遠隔作業指示のための視覚的アシスト , 第 35 回 HI
学会研究会・日本 VR 学会ウェアラブル/アウトドア VR 研究委員会第 8 回研究会, pp.11-16 (2005)[5] 市原, 鈴木,
遠隔作業支援におけるハンドジェスチャと描線機能の効果検証 , IPSJ Interaction 2016, (2016)[6] Huang,W, Alem,L. and Albasri, J. “HandsInAir: A Wearable System
for Remote Collaboration”, Proc.CSCW '13,pp.153-156[7] Fussell, S.R., Setlock, L.D. and Kraut, R.E. “Effects ofhead-mounted and scene-oriented video systems on remotecollaboration on physical tasks”, CHI 2013, pp. 513-520. 2013
[8] 村尾, 寺田,
指示の具体度がジェスチャ動作に与える影響の評価 , IPSJ SIG Technical Report, Vol.2011-UBI-30 No.6 (2011)[9] Fakourfar, O. et al: “Stabilized Annotations for Mobile RemoteAssistance”, CHI 2016, pp.1548-1560. (2016)を把握しやすくなった，ハンズフリー化で両手作業がしやe) Brother および WD-200A は，Brother 社の商標または登録商標です．
f) Panasonic および HX-A1H は，Panasonic 社の商標または登録商標です．

© 2017 Information Processing Society of Japan157