生産性向上を支援する
デジタルツインXR
鈴木渕上
日本社会の高齢化傾向は変わらず、「15歳から64歳まで」と定義されている生産年齢人口の、総人口に対する割

雄介
正睦

市原俊介

動時間削減による生産性向上を支援する技術を開発してきた1）2）。

合は低下が続き、2030年には60％程度となると予想されこれらの技術はO K I工場内での試行、展開を継続中でている （図1）。このことが産業に与える影響は大きく、生あり、また商品化に伴い、社外展開などを行うため、クラウ

産年齢人口の中でも、若年者の人数が増えないため、そのドサービスを利用して、開発中の遠隔作業支援システムを年代の負担が長期的に増加することは自明である。加え活用できるようにする検討を進めている。近年、
この遠隔て、現時点で企業の競争力を維持するために必要な作業作業支援システムを発展させる形で、最新のXR技術を用ノウハウや知見をもつ熟練技術者の負担も同様に増える

い、将来重要となる、熟練者知見の記録、蓄積、また学習、ことが考えられる。これらの状況下で、更に生産性を向上訓練支援の効率化を目標とした「デジタルツインX R」とするためには新たな技術による支援も必須となる。

呼ぶシステムの研究開発を開始した。本稿では、開発中の遠隔作業支援システムの開発の経緯と現在の状況を再度まとめた後、新規に研究開発を開始したデジタルツインXRのプロトタイプシステムと今後の開発目標を述べる。

遠隔作業支援システム
図2に開発中の遠隔作業支援システムの概略図を示す。
ウエアラブルデバイス（カメラとディスプレー）を装着した
図1

生産年齢人口の減少

総務省統計局 人口ピラミッドデータから著者作成
出典：総務省統計局「国勢調査」及び「日本の将来推計人口（平成29年推計）」（出生中位・死亡中位仮定による）作業者と、作業者と距離を隔てた遠隔地の熟練者の間を映像音声通信の技術で接続し、遠隔の熟練者から、現地作業者への作業指示を可能とするシステムである。OKIテクニ
カルレビューで既に報告済み3）であるが、OKIソリューション

筆者らは日本製造業の競争力を支えてきた、熟練者のノシステム事業本部沼津工場の協力を得て、製造、工事業務

ウハウや知見を、何らかの形で若年者世代に残すためのの支援を目指し研究を進めてきた。物理的に距離が離れ技術・技能保存、伝達のための技術が重要性を増すと考えている製造担当拠点と設計担当拠点の、より緊密な連携ている。現在一般的な技能保存、伝達の方法として、詳細を当初の導入目標とし、OKI内での試行、改良を反復してな作業手順書及びマニュアルの作成、また熟練技能者の開発を継続している。

作業状況を撮影したビデオマニュアルなどの作成が試みられている。これらのマニュアルは各所で作成されているが、製造業全体で少量多品種傾向が進んでいることもあり、

ᶅΩϟϧԗֶஏ͹ࢨࣖं‫ݳ‬৖͹ࡠ‫ंۂ‬‫ݳ‬৖͹Ҳਕসࢻ఼ӫ଀Νखಚ‫ݳ‬৖ӫ଀

製品数、すなわち作るべきマニュアルの量自体が増加する+0'ʀΩϟϧ

ため、作業手順書・マニュアル作成のコスト自体も無視できない。前述のように熟練者の作業負担も増える中で、マニュアル作成、知見を残すための業務が熟練者の負担を増やすものとなってはならない。

ࢨࣖӫ଀ζΥηοϡʖιϱγʖηίρούϱχζΥηοϡʖᶆࢨࣖӫ଀߻੔ ࢨࣖ৚ๅΝ॑ৠ筆者らは遠隔作業支援システムを長く開発し、作業者と遠隔地の熟練者のコミュニケーションを支援し、主に移50

OKI テクニカルレビュー
2021 年 5 月／第 237 号 Vol.88 No.1νροժ໚

ᶇ+0'ࢨࣖӫ଀ࢻ೟• ύϱθϓϨʖͲࢩԋ৚ๅ֮೟
+0'+HDG 0RXQWHG'LVSOD\

図2

開発中の遠隔作業支援システム

遠隔作業支援システムの特徴に特化した対応は、顧客からの要望に柔軟に対応できない開発中の遠隔作業支援システムの特徴を説明する。映などの問題があるため、基本的には標準技術を採用してシ像音声のネットワーク経由での送受信機能は遠隔会議シ

ステムを開発している。

ステムなどと類似しているが、それらの基本機能に加え、指示者が「ハンドジェスチャー機能」、「スケッチ機能」を利用し、多様な指示伝達方法が利用できることが特徴である。
「ハンドジェスチャー機能」とは現場作業者が身に着けているカメラで撮影した、リアルタイムの現場映像の上に、遠隔地の指示者前に置かれたジェスチャーセンサーによって計測された指示者による手振りをComputer Graphicsとして重ね合わせて、指示画像として作業者側に返送する機能である。
また、「スケッチ機能」とは、現場作業者のカメラで撮影した静止画上に、指示者がタッチパネルなどで線を描き、静止画上で指示を伝達する機能である。
写真1「ハンドジェスチャー機能」により、遠隔地の作業者にリ多様なウエアラブルグラス

アルタイムで手振りによる作業指示が可能となる。システ
ムの試用実験を行った際、指示者と作業者のコミュニケー

遠隔作業支援システムの研究開発ションを観察したところ、利用中に指差しをしながら「これ」「あれ」と指示語が増える傾向があることが観察された。

遠隔作業支援システムのベースとなっている発想は既「スケッチ機能」により、静止画面上に矢印をスケッチする

5）

報 に示したとおり、東京大学大学院情報理工学研究科葛ことでも同様の指示はできるが、指示者がシステムの挙動岡研究室との共同研究によるものである。
「ハンドジェスに慣れてくると「画面を止めずに指示ができる」手振り、指チャー」を用いることで外科手術の手技など、詳細な作業さしが多用されることが分かった。指示者（熟練者）と作業指示を遠隔に伝達できること6）（写真2）、体全体の動きを者のコミュニケーションの例を以下に示す。

指示データとして取得することで、作業者からみても分かりやすい指示を伝達できること7）（図3）などの研究成果に熟練者：「ちがう、こっち」（画面の外の方向を指さししなよる知見が、システム開発に反映されている。

がら）（作業者：体の向きを指さしの方向へ向ける）
熟練者「そう、これ」（画面に映った作業対象物を指さす）
つまり、熟練者が画面の中に自分の手振りを反映させることができるので、作業者と同じ空間にいる時に行う方法と類似した方法で作業指示ができる。これは熟練者にとって、遠隔地との連携であることに特別な配慮をせずした指示ができるという点で、心理的負荷、ストレスの少ないコミュニケー
4）ション手段であることが実験によって示されている 。

写真2 ジェスチャーによる作業指示の先駆的事例、2000年（共同研究先提供）

システムの他の特徴としては、標準技術であるWebRTCを用い特定ハードウェアやプラットフォームに依存せず、多様なデバイスに対応可能とした点がある。指示者、作業者が用いるソフトウェアは標準的なモダンブラウザ上で動作する。写真1に実験的に検証したグラス型デバイスの一部を示した。各社が開発中であるため、利用可能なデバイスは多様であり、現時点で標準的なプラットフォームが定まっていない状況と判断した。特定のデバイス、プラットフォーム

図3

全身像ARによる作業指示実験（共同研究先提供）

O K I テクニカルレビュー
2021 年 5 月／第 237 号 Vol.88 No.1

51

「現場」での連携
学術的研究成果として既知であっても、その成果を実際に現場で利用するためには多くの開発、改良が必要となり、

ɿ:HEΠέιη

ɿ:HEΠέιη

大学などに所属する学術研究者があまり扱わない課題に̑ɿંକ৚ๅϔϧΤδʖも対処する必要がある。現場環境での試験や、ヒアリングによって、「システムの身に着けやすさ」「使いやすさ」が重γʖϑη఑‫ڛ‬γʖώʖέϧΤχγʖώʖ৏Ͷߑ஛ϔϧΤδʖࢨࣖं୼຦̒ɿӫ଀Խ੢υʖν要であることが明らかになった。カメラの着脱機構を一つࡠ‫୼ंۂ‬຦ʤঘ‫ܗ‬3&ɼηϜʖφϓΧϱɼ3&ʥ஦‫ܩ‬γʖώʖの例として示す。現場で作業支援するためには、作業対象となる製品のIDを確認するために、対象物を接写で撮影す

図 5 クラウドサービス利用る必要があることや、棚の下に撮像が必要な部分があるな
ど、ディスプレーと一体型のウエアラブルカメラを用いていると作業に支障がある場合があることが分かった。この問

遠隔作業支援システムからデジタルツインXR へ題に対処するため、3Dプリンターでウエアラブルカメラ着遠隔作業支援システムは熟練者のノウハウ、知見伝達脱機構を設計し、作業者視点で撮影すると場合と、手持ちに伴う移動時間などを削減し、熟練者を有効活用することで接写を行う場合で容易に切換えできるようにした（図4）。

で生産性向上を目指したものであった。しかし定年などによって、熟練者は近い将来に引退してしまう。また、遠隔地の指示に時間を取られてしまうことで他業務に対する影響が出てしまっては、本末転倒である。
我々は遠隔作業支援システムを発展させ、
リアルタイム੣඾৏͹,'Ν֮೟ͤΖචགྷ͍͗Ζの作業時の人の動きや作業指示内容を計測、データとして蓄積すること、また、「ハンドジェスチャー」から「人の全身の作業動作」を計測することでシステムの応用範囲を'ϕϨϱνʖͲΩϟϧ஥୦‫ߑؽ‬Ν੔‫ܗ‬ΩʖϩαʖχͲ৵क़Ն೵

図4

カメラの着脱機構拡大することができる「デジタルツインXR」システムの開発を開始した（図6）。現場での作業内容・作業支援内容を計測して、データベースに蓄積する点が、リアルタイム支援に主眼がある遠隔作業支援システムとの大きな相違である。また市販の3Dセンサーを用い、質の高い作業を行うの遠隔作業支援システムの現状に必要なすべての身体情報を3Dで計測、保存することで、海外に拠点を持つ顧客へのヒアリングから、言語のみで熟練者が持つ、言語化されづらいノウハウの、時間と空間のコミュニケーションに支障がある海外拠点との連携にもを超えた伝承を目指している。
また作業者、指示者ともにARシステムの利用可能性があることが分かり、検討を進めた。

グラスを用いることで、保存情報を3Dアバター（図7）によリ

社内V P Nを利用して、海外との接続試験を数回実施した表現できるようにしている。これらの技術を「3D身体動作結果、アジア地域と日本国内の接続ではシステムの動作に記録・再生技術」と呼んでおく。

大きな問題は見られなかった。

ࢨࣖंΝ‫ܯ‬଎ͪ͢υʖνυζνϩς΢ϱ
ʀ;5නࣖ

出張費用、移動時間コストの削減などがお客様への価'ιϱγʖ

値となると考えていたが、2020年からの新型コロナウイルυʖνϗʖη

ス禍により、国際的な移動制限が生じた結果、システムのニーズが急に高まった。
「効果を検証するため、まず試用したい」と、興味を持たれるお客様が複数いたため、環境準備の手間が少なく、お客様環境から試行しやすい、クラウドサービス上にサービス提供サーバーを設置するシステム構築も検討開始している（図5）。

52

OKI テクニカルレビュー
2021 年 5 月／第 237 号 Vol.88 No.1

‫ݳ‬৖

95ήϧη
$5ήϧη

ϨϠʖφ

図 6 デジタルツインXR システムの動作概念図援システムの現場摘用―情報通信沼津工場での実証実
験 ―、O K Iテクニカルレビュー第 2 3 1 号、Vo l . 8 5 N o . 1、
pp.16-19、2018年5月
4）Yusuke Suzuki and Shunsuke Ichihara,"User StressMeasurement of Remote Operation Supporting Systemwith Hand Gesture Transmission Function," Proc.of
Human Computer Interaction International, 2019, LNCS
図7

AR グラス上でのアバター表示

11570, pp. 412–425, (2019).
5）鈴木雄介：コミュニケーションにおける身体性に関する

3D 身体動作記録・再生技術の特徴

研 究、O K Iテクニカルレビュー第 2 2 9 号、Vo l . 8 4 N o . 1、指示者が体を使って行う作業内容、作業指示をセンサー

pp.44-47、2017年5月で計測し、3Dデータ化する。作業者はデータから3Dのアバ

6）wearable telemedicine (2000) Youtube Link:

ターの動きとして再構成される「手本となる作業に必要なhttps://www.youtube.com/watch?v=Nv4cwILnK_M&t=56

動き」をARグラス上で見ることができる（図7）。作業者が7）T z u-Ya n g Wa n g,Yu j i S a t o,M a i O t s u k i,H i d e a k i

視点を変更しても、アバターは空間と矛盾なく位置姿勢をKuzuoka,Yusuke Suzuki：Effect of Full Body Avatar in

変更して表現される。固定視点のビデオマニュアルなどとAugmented Reality Remote Collaboration,2019 26THは異なり、現場での作業内容により即した形で作業を把握

IEEE CONFERENCE ON VIRTUAL REALITY AND 3Dできるため、作業品質を向上できる可能性が先行研究から

USER INTERFACES (VR) ,pp1221-1222,March 2019

示唆されている。しかし、詳細は今後検討が必要である。
今後の研究開発内容としては、下記の二点が重要な技術的課題となると考えている。
① 高品質作業を非熟練者でも可能とするために必要な作業内容に即した熟練者の身体動作の計測、蓄積方法②3D映像表示デバイス、特にXRデバイス活用を含めた熟練者知見の学習効率を高めるための情報提示方法

鈴木雄介：Yusuke Suzuki. イノベーション推進センター
UX技術研究開発部
市原俊介：Shunsuke Ichihara. イノベーション推進センター
UX技術研究開発部
渕上正睦：Masachika Fuchigami. イノベーション推進セン
ター UX技術研究開発部

まとめ
生産性向上を目指し、熟練者の知見を伝達する技術の開発を進めてきたが、課題の変化に伴い、実時間支援から支援情報蓄積、手先動作から全身動作データの活用へと展開する「デジタルツインX R」システム開発を開始した。
研究を進めるに当たっては学術研究の最新の知見を把握しつつ、現場との連携を継続し、現場からの協力が得られる形を踏襲して進めていきたい。

XReXtended Reality、
AR:Augmented Reality 拡張現実感
技術や、VR:Virtual Reality 仮想現実技術の総称。

◆◆

1）市原俊介、鈴木雄介：遠隔作業支援におけるハンドジェス
チャと描線機能の効果検証、情報処理学会インタラクション
2016、2016年
2）市原俊介、鈴木雄介：ハンドジェスチャと描線機能を用いた遠隔作業支援システムの現場評価実験、情報処理学会インタラクション2017、2017年
3）鈴木雄介、市原俊介、福島寛之、渕上正睦：遠隔作業支O K I テクニカルレビュー
2021 年 5 月／第 237 号 Vol.88 No.1

53