情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2B-36
2019/3/6

ハンドジェスチャ送信機能を有する遠隔作業支援システムの開発と課題
市原 俊介†1鈴木 雄介†1

概要：少子高齢化等による後継者難や製品の変量多品種化に伴って，遠隔作業支援技術の需要が高まっている．ここで遠隔作業支援技術とはカメラ付きヘッドマウントディスプレイを装着した現場の作業者を，遠隔地から映像と音声を用いて支援する技術である．我々は過去に二つの指示方式（１．指示者のハンドジェスチャを現場映像に重畳表示，２．二次元画面上への描線）を用いた遠隔作業支援システムを提案し，視点変更を高速に指示する場合はジェスチャ，対象を細かく指定する場合は描線が多用されることを，実験室および工場での実験によって確認した．本稿ではその後の小型 PC 導入など，改良の内容を説明した上で，社内工場での実証実験や海外接続試験を実施した結果，観察された効果および現状の問題点について経過を報告する．

1. はじめに作り出す JackIn という方式を用い，指示者が作業者に対し位置や方向を示すべく能力を強化拡張する可能性を示した

遠隔地の現場で作業する作業者に，映像と音声を用いて[2]．Ou らは，ロボット組み立てタスクを例に，CG の線を作業の指示や支援を行う遠隔作業支援技術は，少子高齢化

作業環境映像に重畳表示することで多用な指示が伝達可能等で後継者が育ちにくい一方で，製品の多品種化や短納期であると示した[3]．酒田らは，作業者側に装着したレーザ化で作業者がマニュアル類を学習する負担が増大すること

ポインタを指示者が制御するウェアラブルアクティブカメなどを受けて，需要が高まっている．

ラレーザ（WACL），および HMD 上で描線を重畳表示する

遠隔作業支援システムの典型的な実現例としては現場方法の，作業効率やユーザビリティについて評価実験を行作業者が使用するカメラ付きヘッドマウントディスプレイ

った[4]．Huang らは，指示者側も HMD を付けるシステム（以下 HMD と記す）で撮影した現場環境映像を指示者と構成で，指示者カメラによって撮影された指示者の手を画の間で共有し，指示者がコンピュータグラフィックス(以下像処理で抽出し，作業者が撮影した映像に合成するシステ

CG)で情報を付加して指示するものがある[1][2]．

ムを提案している[7]．

付加する情報として
1)

センサ機器などを用いて検出した指示者の手振り（以下ハンドジェスチャと記す）
2)

指示者のペンデバイス等による描線が提案されている[3][4]．

遠隔作業支援システムの利用特性に関する評価として，
Fussel らは，音声だけのコミュニケーションでは作業の効率化に限界があることを評価実験で示した[8]．村尾らは，言葉によりジェスチャの指示を行う場合に，その具体度が下がるに従って指示を受けた側のジェスチャのばらつきが我々は以前に遠隔作業支援システムの評価実験を，実験増大することを示した[9]．Fakourfar らは，遠隔作業支援で室内でのブロック組み立て作業，工場内での情報端末設定

用いる作業者側のデバイスとして HMD がタブレットより作業を対象に実施した[5]．これにより付加される情報の使好まれること，指示中に用いる作業環境映像は実時間の動い方の特性として，向きの指示を高速に行う場合にハンド画より静止画が好まれることを示した[10]．

ジェスチャが，細かい位置の指示を要する場合に描線が多用されることを報告した[6]．
本論では，小型 PC と新型ウェアラブルディスプレイを用いて改良した遠隔作業支援システムの概要と構成を説明

3. 提案システム
本節では，我々が開発中のシステムの構成を述べる．
3.1 概要

し，工場内にて実施した評価実験および，海外拠点との接提案システムでは，図 1 に示す流れで，音声のほかに作続試験の結果，観察された効果および現状の問題点につい業者が撮影した現場映像に指示者がハンドジェスチャおよて経過を報告する．

び描線を重畳した指示映像を用いて，作業者へ指示を行う．

2. 関連研究①

本節では本論と同様に映像と音声を用いた遠隔作業支が取得され，指示者に送られる．
②

援技術の関連研究について述べる．
Kuzuoka らは，HMD を用い遠隔地の作業者の視野を共有

作業者 HMD 搭載のウェアラブルカメラにて現場映像
指示者側は現場映像に指示情報（ハンドジェスチャまたは描線）を重ね，指示映像を合成する．

③

指示映像が作業者の HMD に送られ画面に提示される．

可能なシステムの実装と評価実験を行った[1]．Kasahara ら

指示映像は現場映像のリアルタイム動画または特定時は，作業者の一人称視点から擬似的に体外離脱視点映像を刻のスナップショット（静止画）と指示情報の組み合わせ†1 沖電気工業(株) 経営基盤本部 研究開発センター
Oki Electric Industry Co., Ltd. Corporate Research and Development Center© 2019 Information Processing Society of Japanにより，以下の 3 パターンとなる．

601

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

 リアルタイム動画＋

ハンドジェスチャ スナップショット＋ハンドジェスチャ

 スナップショット＋

描線

2B-36
2019/3/6

図3

作業者端末の HMD およびカメラ部

3.2.1 ハンドジェスチャによる指示
指示者が現場映像を見ながらジェスチャ I/F の前に手をかざすと，手形データが取得されて作業者端末に送られ，
図1

プロトタイプシステム動作フロー

図 4 に示すように両端末の画面上に手の形がリアルタイムに重畳される．これにより，指示者は現場映像に手の形を3.2 構成重ねることで，現場映像を止めずに，具体的な手の動きな開発中のプロトタイプシステムの構成を図 2 に示す．

ど直感的で豊富な表現により作業者に指示ができる．

指示者端末 PC にはタッチパネルディスプレイを接続し，ディスプレイ上に描画された線を点列データで取得する．
またジェスチャインタフェース（以下ジェスチャ I/F）として Leap Motion[ a]を画面の下に配置し，赤外線カメラで手の 3 次元構造（以下手形データ）を取得する．指示者はジェスチャと描線の双方を指示に利用可能である．
作業者は図 3 のように HMD の AirScouter WD-300A[ b]およびウェアラブルカメラ HX-A1H[c]を装着し，これらはそれぞれ作業者端末 PC に接続される．カメラは HMD にア

図4

ハンドジェスチャによる指示（指示者／作業者視点）ームで取り付けられ，位置や向きの微調整が可能である．
指示者端末 PC と作業者端末 PC の接続には WebRTC[ d]3.2.2 描線による指示を利用した．双方の Web ブラウザ Google Chrome[ e]の間で指示者がタッチパネルディスプレイに触れると，その時P2P 通信が確立され，映像と音声のほか，描線の点列や手点での静止画がスナップショットとして取得され，指示者形データが送信される．そのデータを用いて WebGL で描側および作業者側の双方に表示される．指示者側のディス画されたハンドジェスチャや，HTML5Canvas に描かれたプレイ上で指を動かすと，取得された描線データは作業者線が撮影された映像に重畳されて表示される．

端末に送られ，図 5 に示すように両端末でスナップショッ
ト上にリアルタイムに線が描かれる．これにより，映像内の細かい位置を指し示したり，文字や図などの表現により作業者に指示をしたりすることができる．

図2

プロトタイプシステムの構成

図5a) Leap Motion は，Leap Motion 社の商標または登録商標です．
b) WD-300A は，ブラザー工業株式会社の商標または登録商標です．
c) HX-A1H は，パナソニック株式会社の商標または登録商標です．
d) WebRTC は，World Wide Web Consortium (W3C)が提唱するリアルタイムコミュニケーション用のオープンソース API です．
e) Google Chrome ブラウザは，Google 社の商標または登録商標です．

© 2019 Information Processing Society of Japan描線による指示（指示者／作業者視点）

3.3 システムの改良点
3.3.1 小型 PC の導入
本システムにおいては，作業者が長時間着用し続けるこ602

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2B-36
2019/3/6とから，負担減のため作業者端末 PC の小型軽量化を図り，実施している．その過程で前述の小型 PC の導入やウェア

小型 PC の dynaEdge DE100[f]を導入した．本体重量 310g，ラブルカメラの着脱機構といった改良をした．

165×85×20mm の大きさで，Windows10 を搭載し，単独で実証実験は作業者が小型 PC からなる作業者端末と HMD

はマウスやキーボードやディスプレイの機能を有しない代を着用し，作業者端末を社内 OA 用に敷設された Wi-Fi 環

わりに，表面にカーソルキーおよびエンターキー機能のコ境に接続した状態で工場内の生産現場など様々な場所を移ントロール用ボタンを有する．

動して実施した．このとき指示者は同一工場内のオフィス

この小型 PC は図 6 に示すように通気性に優れたウエスまたは別地区工場のオフィスにいて，指示者端末は有線接トバッグに格納し，腰に巻くだけで装着が完了するように続された社内 LAN を経て作業者端末と接続されている．

した．このバッグは外からボタンが見えるため，格納した送受信される映像の解像度は，機器類ラベルに表示され状態で外からのボタン操作が可能である．

た小さな文字等を指示者が画面において視認できるよう，十分高く設定する必要がある．
実験の結果，指示者と作業者との間での映像や音声の通信が行われ，ハンドジェスチャも含めた遅延は殆どの場合1 秒程度までに収まった．だが作業者の作業位置やネットワークの利用状況によっては映像解像度が低下し，ラベルの文字等が視認できなくなることがあった．これは社内

図6

バッグを用いた小型 PC 装着イメージ

OA 用 Wi-Fi に他の電波が干渉すること，構造物に隠れて電波の陰になる場所があるためと考えられる．

3.3.2 カメラ着脱機構

小型 PC の導入により，工場の担当者が改良以前にはそ本システムにおいては，ウェアラブルカメラを通常はの大きさや重量から着用に抵抗感を示していたのが，そのHMD アームに装着しているため、作業者の顔の向きに追抵抗感が薄れ，より積極的に利用しようという反応を示し随して現場を撮像できる．一方で，機器の裏側や棚の下のた．実際に着用すると HMD を含め 2 分以内で装着でき，狭い空間など通常の姿勢では見ることが困難な部分を撮像

重量感があまりない，狭い箇所に入るにも支障がないといする必要がある場合があることが、現場ヒアリングで分かう好印象を示す反応があった．

った．この問題に対処できるよう，図 7 に示す着脱機構をウェアラブルカメラの着脱機構は，機器の裏側を撮像し設けた．カメラとアームとの間に 3D プリンタで成形したたり，非常に小さい文字を至近距離で撮像したりするのにスライド機構を設け，マグネットの吸引力で固定されるよ役立ったとの感想があった一方で，付けたり外したりするうにした．またカメラと PC 端末との間には，伸縮可能な操作がやりにくいという感想もあった．

カールコードケーブルを採用した．

4.2 海外接続試験
本システムを用いて，日本国外の複数の拠点との間でも接続試験を実施した．作業者端末はモバイル PC として，複数の Wi-Fi 接続手段より VPN および社内 LAN 経由で弊社埼玉地区の指示者端末に接続した．
タイ・バンコク市では， 屋内 Wi-Fi，モバイルルータ，スマートホン経由によるテザリングを用いてそれぞれ試験した．映像や音声やハンドジェスチャは遅延 1 秒以下で雑音も少ない比較的良好な接続状態が得られた．一方で描線のストロークデータ滞留があり，スナップショット取得には圧縮のない PNG 形式で送信していた影響もあって最大17 秒掛かった．

図7

ウェアラブルカメラの着脱機構

カンボジア・プノンペン市では，屋内 Wi-Fi，モバイル

4. 実施した実験

ルータを用いて試験した．いずれも音声の途切れや遅れが4.1 社内工場実証実験

ムに対し WebP 形式に圧縮して送信するよう改良した影響若干あった程度で，スナップショット取得は前述のシステ

本システムについては現在，弊社工場において同一所内もあり最大 3 秒まで短縮した．しかし、現地時間正午から同士の通信，および複数拠点間での通信として実証実験を午後１時に掛けては極めてつながりにくくなった．昼休みの時間帯に入って、現地利用者によるインターネットの通f) dynaEdge および DE100 は，東芝クライアントソリューション株式会社の商標または登録商標です．

© 2019 Information Processing Society of Japan

信量が急増した可能性があり，通信品質はカンボジア内部

603

情報処理学会 インタラクション 2019
IPSJ Interaction 2019の回線環境に依存する部分があると考えられる．
このように海外試験では，Wi-Fi 環境が良好であるとの条件の下であれば，本システムが利用可能と分かった．

5. 効果と問題点
5.1 挙げられた効果
本システムの実験の被験者からは，映像が見えて指示者から状況を把握しやすくなった，ハンズフリー化で両手作業がしやすくなった，という感想があった．
特にリアルタイムな現場映像に指示者がハンドジェスチャを重ねる機能については，スナップショットの取得と描画による時間的遅れがなく迅速に指示を行える，手の動きにより直感的で豊富な表現を行える，作業者の視点移動に合わせた指示を行える（例：作業者が方向や対象が分からず視線を動かす場合），という効果が挙げられた．
作業者端末の小型化は，着用負担の軽減を図り，作業者に対して着用への抵抗感を大幅に和らげることとなった．
またカメラの着脱機構は，機器の裏側など通常の姿勢で見ることが困難な場所を撮像するのに役立った．
また作業者が海外の工場で生産するなど，作業者と指示者との間の言語コミュニケーションが母語でない言語となる場合には，ハンドジェスチャおよび描線による指示が非言語コミュニケーションとして極めて有用である，との感想も寄せられた．

2B-36
2019/3/6

ど，定量的な効果を把握する予定である．

参考文献[1] Kuzuoka, H., Spatial workspace collaboration: a Shared-View video
support system for remote collaboration ca-pability, CHI 1992,
pp.533-540, 1992.
[2] Kasahara,S. and Rekimoto, J. JackIn: Integrating First-Person View
with Out-of-Body Vision Generation for Human-Human
Augmentation 5th International Conference on Augmented Human(AH2014), (2014)[3] Ou, J., Fussell, S.R., Chen, X., Setlock, L.D. and Yang,J. Gesturalcommunication over video stream: supporting multimodal
interaction for remote collaborative physical tasks. In Proc.
ICMI ’03. ACM Press (2003), pp.242-249.
[4] 酒田, 蔵田, 葛岡, “レーザポインタと装着型ディスプレイを用いた遠隔作業指示のための視覚的アシスト”, 第 35 回 HI
学会研究会・日本 VR 学会ウェアラブル/アウトドア VR 研究委員会第 8 回研究会, pp.11-16 (2005)[5] 市原, 鈴木, “遠隔作業支援におけるハンドジェスチャと描線機能の効果検証”, IPSJ Interaction 2016, (2016)[6] 市原, 鈴木, “ハンドジェスチャと描線機能を用いた遠隔作業支援システムの現場評価実験”, IPSJ Interaction 2017, (2017)[7] Huang,W, Alem,L. and Albasri, J. “HandsInAir: A Wearable System
for Remote Collaboration”, Proc.CSCW '13,pp.153-156[8] Fussell, S.R., Setlock, L.D. and Kraut, R.E. “Effects ofhead-mounted and scene-oriented video systems on remotecollaboration on physical tasks”, CHI 2013, pp. 513-520. 2013
[9] 村尾, 寺田, “指示の具体度がジェスチャ動作に与える影響の評価”, IPSJ SIG Technical Report, Vol.2011-UBI-30 No.6 (2011)[10] Fakourfar, O. et al: “Stabilized Annotations for Mobile RemoteAssistance”, CHI 2016, pp.1548-1560. (2016)

5.2 問題点本システムには，まだ改善すべき問題点も残されている．
通信状態が悪い場合に，映像の解像度低下や通信遅延，通信断が頻発する．原因として貧弱な Wi-Fi 環境，利用の逼迫，他の電波の輻輳や構造物による電波の陰などが考えられる．そこで可能ならば Wi-Fi 環境の増強などにより，その問題の解決が必要である．だが通信状態の劣悪さを避けられない場合もあるため，その場合の利用への支障を軽減する方策も今後必要と考えられる．
カメラ着脱機構については，作業者が自分の目の脇で目視できない状態での操作となることも考慮し，スライド機構を含めた改良の余地がまだあると考えられる．
ほかにも作業者側端末 PC および HMD の着脱容易性や着用状態の安定性，接続するケーブルも含めた煩わしさの問題，システム動作の安定性など，今後改善すべき問題は多い．

6. おわりに本論では，開発中の遠隔作業支援システムに加えた小型PC の導入などの改良内容を説明した上で，社内工場での実証実験や海外との接続試験の結果を示し，挙げられた効果および問題点について報告した．
今後はシステムを改良すると共に，更に実験対象を増やし，本システムの導入による生産現場の作業効率の向上な© 2019 Information Processing Society of Japan604