音声合成とA R 技術の活用で遠隔保守・運用の業務効率改善を実現
当社は、音声合成・音声認識と AR( 拡張現実 ) 技術を組み合わせ、遠隔フィールド作業を支援するシステムの開発に取り組んできました。2019 年 4 月より「 遠隔フィールド保守システム 」として提供を開始し、人材配置の最適化や作業効率向上はもとより、今後はログデータの有効活用によりお客様の業務改善にも寄与していきます。

人材不足対策で期待されるIT活用

モバイルエッジコンピューティングで人材不足の解消を支援
日本語
中国語
英語

音声合成技術による音声ガイダンス
音声コマンドAR 技術 に よる

作業支援

現在、企業の人材不足は深刻化しています。とりわけ、中小企業においては、離職率の高さ、新卒の大企業志向などもあり、業種を問わず問題が深刻化しています。復職する女性や高齢者、外国人労働者は増える傾向にありますが、一定のキャリアを積んだ即戦力となる中核的な人材不足が進んでいるのが現状です。

音声・映像の共有

現場作業者

作業報告書

作業報告書の自動作成

経済産業省の実施したアンケート調査によると、製造業にお作業支援者

技能人材のノウハウを効果的に活用する仕組み
人材（技能人材）不足をカバーする仕組み
作業効率を向上させる仕組み

ける人材確保の問題は 2017 年には前年よりさらに顕在化、深図 -1 遠隔フィールド保守システムのイメージ刻化し、「 ビジネスにも影響が出ている 」とする回答が 32 % をンサイズのモバイルエッジデバイスと高画質カメラ・ディスプレ占めています。また、新卒採用を重視すると同時に、中途採用

イおよび通話機能を搭載したウェアラブルグラス、当社が開発しなど経験のある即戦力に対する期待が強まっています。

たソフトウェアで構成されます。遠隔地にいる現場作業者とセ人材不足の対策として重視されているのが、「 IT の活用や徹ンター側作業支援者をSkype for Businessにより音声と映像底した合理化による業務プロセスの効率化 」や「 自動機器やロで接続することで、音声により直接作業の指示などが行えます。

ボットの導入による省力化 」です。人材活用の観点から、今後このデバイスを着用してハンズフリーで作業を行う現場作業者

は、IT やロボットなどを活用した合理化・省力化の取り組みへが装着するウェアラブルグラスの映像は、作業支援者側でも確認移行していくものと予想されます。

でき、メニュー操作により、録画や写真撮影したりマニュアルを

当社では、こうした慢性的な人材不足の問題を解消し、ITの活用により生産性向上を実現すべく、モバイルエッジコンピューティングによる遠隔支援をテーマに研究開発を進めてきました。

表示したりできます。
(2 ) 音声合成・音声認識技術
その日にその現場で行うべき作業内容をシステムが音声でガイドし、それに対して作業者が発話することで作業を進め、撮影

音声合成・音声認識技術を用いてフィールド作業を支援
今回商品化した「 遠隔フィールド保守システム 」は、現場作業記録も行います。作業中に問題が発生した場合、マニュアルや動画を再生するサポートツールを声で呼び出すことも可能です。
一連の作業はすべてハンズフリーで行うことができ、いつもすぐ横に作業支援者がいてサポートしてくれるイメージです。

者と作業支援者が音声と映像を共有し、現場作業の効率化を目

音声合成エンジンにはOpen JTalkを、音声認識エンジンに指すものです(図-1 )。これを実現する要素技術としては次の3は、Microsoft Speechをそれぞれ使用しています。テキストつが挙げられます。

ファイルを音声合成エンジンに読み込ませ、作成された音声ファ(1 ) モバイルエッジデバイスとウェアラブルグラスイルを再生します。作業完了時には「 完了 」と発話すれば音声認

現場作業者と作業支援者間で音声と映像を共有する基盤であ識エンジンで解釈して次の処理を判断する仕組みです(図-2 )。

り、Dynabook社製のWindows 10を搭載したスマートフォ

現場での作業手順を支援するのが音声シナリオです。音声やHC

業と管理双方を効率化すること、さらにその中で収3/5（月）10:00○○ビル 点検作業Ａを開始します。

集したデータを分析することによって、業務効率の改善に役立てることを目的としています(図-3 )。

前面のフタを外してください。フタを外したら「完了」と発話してください。

当社では、ユースケースを作成して実際にお客様に協力をいただき、ご意見を参考にして、システムの機能改善を行いました。あるお客様では、工完了

事・敷設、機器の保守点検において、現場と本社や続いて・・・・・営業所間で、ベテラン作業者との情報共有や指示、ARによるマニュアル確認やナビゲーションなどに図 -2 シナリオに沿った音声ガイドも活用したいとのご意見をいただきました。また、文字による作業内容の通知、発話による作業の完了、要サポート別のお客様からは、自社工場や客先納入機器の定期点検、国内外といった状態遷移、エビデンスの撮影、音声メモを組み合わせた拠点の緊急対応に活用したい、との期待が寄せられました。現

音声シナリオは、事前にベテラン作業者の経験をもとに作成しま

場作業者にとって軽量であり、音声操作はハンズフリーとなるたす。音声シナリオの作成・編集には専用のエディタを使用します。

め作業に支障をきたさないことも高評価をいただいています。

将来的には、現場作業者の端末に作業シナリオを自動的にダ本システムを用いた遠隔支援を活用することで、技術経験のウンロードし、現場作業者はスケジュールされたシナリオに基浅い担当者でも現場作業に従事することができ、作業ステップづき作業を行い、作業結果は随時サーバへアップロードするこを熟知していなくても音声ガイドや作業支援者による遠隔指示とにより、作業支援者側は進捗状況の把握、作業が滞っているで作業が進められます。また、作業結果も画像で記録して残せ現場への支援などを迅速に行える仕組みを実現する計画です。

るため、作業報告書などレポートの作成が容易で、作業効率の(3 ) AR開発・活用技術向上も図ることができます。さらに、多言語対応により海外のARを活用してマニュアルレスでも作業を進めることができる

現場作業者にも作業指示ができ、現地に日本の技術者を派遣し機能の提供を進めています。描画エンジンはゲーム開発プラッなくても済むなど、人材の有効配置により作業の効率化が期待

トフォームとして知られるUnityを、ARエンジンは開発ライブできます。

ラリVuforiaを使用し、これらをカスタマイズするプログラムを遠隔フィールド保守システムが現場で活躍するようになれば、手順や進捗などの作業経緯もデータとして蓄積されるよう開発し組み合わせています。
認識させたい画像をVuforiaに登録し、画像描画に用いる3 Dになります。単なる業務効率化を図るだけではなく、データのモデルを作成してエクスポートすることで、カメラで映し出した分析・活用によって、スピーディにお客様の業務改善に役立て

画像に対しARで画像を重ね合わせて描画することが可能となりていくことが本システムの最終目標です。当社は、AI や機械学ます。

習などにも積極的に取り組んできており、今後は、まだお客様話題として取り上げられることの多いARですが、お客様が作が気づいていないニーズを掘り起こせるような業務改善が提案

成・運用するという観点から考えれば、できる限りシンプルにしできるよう、さらなる取り組みを進めていきます。て現場での対応を簡素化する必要があります。そのため、当社(SI ソリューション事業部

山下 幸夫)

では、お客様のニーズやマーケットを考慮した上で、ARについては技術調査や開発検証などを続けて機能改善を進め

ウェアラブルデバイス
シナリオエンジン
音声認識

データ分析によりお客様の業務改善をAR

収集

ビデオ通話分析たいと考えています。

改善

今回提供を開始する商品は、フィールド業務における作業の計画から現場での作業、本社／営業所でのサポー現地での作業を支援 サポート業務を支援

ト業務までを各種技術を用いて支援することにより、作

図 -3 遠隔フィールド保守システムの狙い

H

C

管理業務を支援