(57)【要約】【課題】経済的なＩｏＴデバイス遠隔操作サービスを提供すること、および、遠隔操作の正確性や快適性の品質向上を実現することにある。【解決手段】マスタ装置１０とスレーブ装置２０とを結ぶ通信経路上に中継ノード１００を配置する。中継ノード１００は、遅延測定部１０４・１１４と、シミュレータ部１２０を備える。シミュレータ部１２０は、前記遅延測定部１０４・１１４により測定された遅延の情報および直近のセンサ情報（画像、力覚、触覚、聴覚等）および直近の操作指令情報に基づいて補正されたセンサ情報をマスタ装置１００側へ送信する。【選択図】図２
2018126851.tif 000002
【特許請求の範囲】
【請求項１】
遠隔操作を行うためのマスタ装置と遠隔操作の操作対象であるスレーブ装置とをネットワークを介して接続し、前記スレーブ装置は前記マスタ装置から受信した操作指令情報に基づき動作するとともに前記マスタ装置は前記スレーブ装置から受信したセンサ情報を操作者に対して出力する遠隔操作通信システムにおいて、
前記マスタ装置と前記スレーブ装置との間を結ぶ通信経路上に中継ノードを配置し、
前記中継ノードは、
自身と前記マスタ装置との間の通信遅延を計測又は推定する第１遅延取得手段と、
自身と前記スレーブ装置との間の通信遅延を計測又は推定する第２遅延取得手段と、
前記マスタ装置から前記スレーブ装置へ送信される操作指令情報を傍受する第１傍受手段と、
前記スレーブ装置から前記マスタ装置へ送信されるセンサ情報を傍受する第２傍受手段と、
前記第１遅延取得手段及び前記第２遅延取得手段で取得した各遅延情報と、前記第１傍受手段で取得した操作指令情報と、前記第２傍受手段で取得したセンサ情報とに基づき、前記スレーブ装置の直近の未来における状態を予測するシミュレータと、
前記シミュレータによって算出された予測情報を前記マスタ装置に通知する通知手段とを備えた
ことを特徴とする遠隔操作通信システム。
【請求項２】
前記通知手段は、シミュレート結果を前記センサ情報に合成することにより前記マスタ装置に予測情報を通知する
ことを特徴とする請求項１記載の遠隔操作通信システム。
【請求項３】
前記通知手段は、シミュレート結果を要約した情報を前記センサ情報に合成することにより前記マスタ装置に予測情報を通知する
ことを特徴とする請求項１記載の遠隔操作通信システム。
【請求項４】
前記通知手段は、前記センサ情報の送受信において用いられる通信ベアラとは異なる、より低遅延の通信ベアラを経由して前記マスタ装置に前記予測情報を伝達する
ことを特徴とする請求項１記載の遠隔操作通信システム。
【請求項５】
遠隔操作を行うためのマスタ装置と遠隔操作の操作対象であるスレーブ装置とをネットワークを介して接続し、前記スレーブ装置は前記マスタ装置から受信した操作指令情報に基づき動作するとともに前記マスタ装置は前記スレーブ装置から受信したセンサ情報を操作者に対して出力する遠隔操作通信システムにおいて、
前記マスタ装置と前記スレーブ装置との間を結ぶ通信経路上に中継ノードを配置し、
前記中継ノードは、
自身と前記マスタ装置との間の通信遅延を計測又は推定する第１遅延取得手段と、
自身と前記スレーブ装置との間の通信遅延を計測又は推定する第２遅延取得手段と、
前記マスタ装置から前記スレーブ装置へ送信される操作指令情報を傍受する第１傍受手段と、
前記スレーブ装置から前記マスタ装置へ送信されるセンサ情報を傍受する第２傍受手段と、
前記第１遅延取得手段及び前記第２遅延取得手段で取得した各遅延情報と、前記第１傍受手段で取得した操作指令情報と、前記第２傍受手段で取得したセンサ情報とに基づき、前記スレーブ装置の直近の未来における状態を予測するシミュレータと、
前記シミュレータ結果により補正した制御指令情報を前記スレーブ装置に送信する通知手段とを備えた
ことを特徴とする遠隔操作通信システム。
【請求項６】
遠隔操作を行うためのマスタ装置と遠隔操作の操作対象であるスレーブ装置とをネットワークを介して接続し、前記スレーブ装置は前記マスタ装置から受信した操作指令情報に基づき動作するとともに前記マスタ装置は前記スレーブ装置から受信したセンサ情報を操作者に対して出力する遠隔操作通信システムにおいて、
前記マスタ装置と前記スレーブ装置との間を結ぶ通信経路上に中継ノードを配置し、
前記中継ノードの第１遅延取得手段が、自身と前記マスタ装置との間の通信遅延を計測又は推定し、
前記中継ノードの第２遅延取得手段が、自身と前記スレーブ装置との間の通信遅延を計測又は推定し、
前記中継ノードの第１傍受手段が、前記マスタ装置から前記スレーブ装置へ送信される操作指令情報を傍受し、
前記中継ノードの第２傍受手段が、前記スレーブ装置から前記マスタ装置へ送信されるセンサ情報を傍受し、
前記中継ノードのシミュレータが、前記第１遅延取得手段及び前記第２遅延取得手段で取得した各遅延情報と、前記第１傍受手段で取得した操作指令情報と、前記第２傍受手段で取得したセンサ情報とに基づき、前記スレーブ装置の直近の未来における状態を予測し、
前記中継ノードの通知手段が、前記シミュレータによって算出された予測情報を前記マスタ装置に通知する
ことを特徴とする遠隔操作通信システムにおける中継方法。
【請求項７】
遠隔操作を行うためのマスタ装置と遠隔操作の操作対象であるスレーブ装置とをネットワークを介して接続し、前記スレーブ装置は前記マスタ装置から受信した操作指令情報に基づき動作するとともに前記マスタ装置は前記スレーブ装置から受信したセンサ情報を操作者に対して出力する遠隔操作通信システムにおいて、
前記マスタ装置と前記スレーブ装置との間を結ぶ通信経路上に中継ノードを配置し、
前記中継ノードの第１遅延取得手段が、自身と前記マスタ装置との間の通信遅延を計測又は推定し、
前記中継ノードの第２遅延取得手段が、自身と前記スレーブ装置との間の通信遅延を計測又は推定し、
前記中継ノードの第１傍受手段が、前記マスタ装置から前記スレーブ装置へ送信される操作指令情報を傍受し、
前記中継ノードの第２傍受手段が、前記スレーブ装置から前記マスタ装置へ送信されるセンサ情報を傍受し、
前記中継ノードのシミュレータが、前記第１遅延取得手段及び前記第２遅延取得手段で取得した各遅延情報と、前記第１傍受手段で取得した操作指令情報と、前記第２傍受手段で取得したセンサ情報とに基づき、前記スレーブ装置の直近の未来における状態を予測し、
前記中継ノードの通知手段が、前記シミュレータ結果により補正した制御指令情報を前記スレーブ装置に送信する
ことを特徴とする遠隔操作通信システムにおける中継方法。
【請求項８】
コンピュータを請求項１乃至５に記載の各部として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信路を介して信号を送受信する遠隔操作装置及び通信システムに関する。
【背景技術】
【０００２】
近年のインターネットや光通信ネットワーク、モバイルネットワーク等の急速な普及と進歩にあわせて、モノのインターネット（ＩｏＴ：Internet of Things）の技術が注目を浴びつつある。ＩｏＴサービスの普及によって、ネットワークに接続されるデバイスの数は今後ますます増加していくと考えられる。通信事業者やサービスプロバイダのネットワーク装置には、接続端末数やネットワーク帯域需要の爆発的な増加に備えた設備増強と機能拡張が今後ますます求められる。
【０００３】
ところで、ＩｏＴサービス普及時代においては、移動物体（ロボット・ドローン・自動車など）やロボットアーム等のＩｏＴデバイスを通信ネットワーク経由で遠隔操作するニーズが高まっていくと予測される。特に、飛行物体や自動車、手術用アーム等の遠隔操作においては通信品質の悪化が人命に関わる場合もあるので、ネットワークに接続されるＩｏＴデバイスが爆発的に増加した場合においても通信品質の劣化を防ぐ方法または通信品質劣化を補償する技術が重要となる。
【０００４】
ＩｏＴデバイスの遠隔操作において、操作の正確性や快適性に大きく影響する要因の一つとして、遅延が挙げられる。一例として、遠隔地の状況をカメラで目視確認しながらロボットアームを遠隔操作しようとする際の流れについて考えてみる。カメラで撮像された映像情報が操作者に伝えられ、映像情報を目視した操作者がリモートコントローラ（操縦桿やハンドル、ボタン等）に操作指令を入力し、リモートコントローラからロボットアームへ操作指令情報が伝えられ、受け取った操作指令情報に従ってロボットアームの可動部（モータ等）が動作し、その結果生じたカメラ視界の変化が映像情報としてまた操作者に伝えられる、という一連の動作において、リモートコントローラと操作対象装置との間に大きな通信遅延があった場合、操作者が見ている映像と遠隔地で実際に起こっている現象との間にずれが生じてしまい、適切なタイミングで適切な操作指令を操作者からロボットアームへ伝えることができないため、正確な操縦が困難となり、また、操作者に著しい違和感を与える結果となる。
【０００５】
ロボット等の遠隔操作における遅延の補償方法として、非特許文献１及び２に開示されている研究が挙げられる。非特許文献１及び２は、遠隔地にある被操作側マニピュレータの力覚情報を操作者の手元に体感しながら、操作側マニピュレータの動きを被操作側マニピュレータに同期させることのできる、遠隔手術等に用いられることが想定された遠隔制御システムにおいて、通信外乱オブザーバを備えた通信遅延補償部をリモートコントローラ内部に持たせ、また、外乱および反作用力推定オブザーバをロボット内部に持たせ、計算によって補正された力覚情報を操作者へ伝えることにより通信遅延を補償する技術である。
【０００６】
また、非特許文献３は、リモートコントローラまたはロボットに遅延計測部・予測部・画像生成部等を持たせ、ロボットの移動情報に基づき、被写体画像を撮像した第１時点における撮像装置の撮像視点と、第１時点と異なる第２時点における撮像装置の撮像視点との間の視点のずれを予測することにより、画像を撮像してから表示するまでの間に遅延が含まれる場合であっても、現在の位置のロボットから撮像される画像との乖離の小さい画像を表示する技術である。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Hayata Sakai, 他２名, "A Method of Scaling Bilateral Control System with Time Delay in Terms of Modal Space", Industrial Technology (ICIT), 2016 IEEE International Conference, 2016
【非特許文献２】兵頭翔洋、他１名, 「不安定な通信ネットワークを考慮した通信外乱オブザーバ内の制御対象モデルの配置方法」、電気学会論文誌Ｄ、IEEJ Transactions on Industry Application, Vol.135, No.3, pp.192-198, 2015
【非特許文献３】神徳徹雄、「環境モデルを用いた遠隔マニピュレーションシステム」、1991年機械研ニュース、ISSN 0286-2271、工業技術院 機械技術研究所
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述の非特許文献１〜３の技術はいずれも、操作側または被操作側デバイスの内部またはその近傍に高性能なシミュレータを備える必要があり、ＩｏＴデバイスとして小型化や経済化、省電力化への課題があった。
【０００９】
また、非特許文献１〜３の技術はいずれも、通信ネットワークにおける遅延そのものは制御不能な外乱要因として取り扱われており、遅延補償の精度は操作側または被操作側デバイスの内部またはその近傍に備えられたシミュレータの性能に依るところが大きいという課題があった。
【００１０】
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、経済的なＩｏＴデバイス遠隔操作サービスを提供すること、および、遠隔操作の正確性や快適性の品質向上を実現することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本願発明は、遠隔操作を行うためのマスタ装置と遠隔操作の操作対象であるスレーブ装置とをネットワークを介して接続し、前記スレーブ装置は前記マスタ装置から受信した操作指令情報に基づき動作するとともに前記マスタ装置は前記スレーブ装置から受信したセンサ情報を操作者に対して出力する遠隔操作通信システムにおいて、前記マスタ装置と前記スレーブ装置との間を結ぶ通信経路上に中継ノードを配置し、前記中継ノードは、自身と前記マスタ装置との間の通信遅延を計測又は推定する第１遅延取得手段と、自身と前記スレーブ装置との間の通信遅延を計測又は推定する第２遅延取得手段と、前記マスタ装置から前記スレーブ装置へ送信される操作指令情報を傍受する第１傍受手段と、前記スレーブ装置から前記マスタ装置へ送信されるセンサ情報を傍受する第２傍受手段と、前記第１遅延取得手段及び前記第２遅延取得手段で取得した各遅延情報と、前記第１傍受手段で取得した操作指令情報と、前記第２傍受手段で取得したセンサ情報とに基づき、前記スレーブ装置の直近の未来における状態を予測するシミュレータと、前記シミュレータによって算出された予測情報を前記マスタ装置に通知する通知手段とを備えたことを特徴とする。
【００１２】
また、本願発明は、遠隔操作を行うためのマスタ装置と遠隔操作の操作対象であるスレーブ装置とをネットワークを介して接続し、前記スレーブ装置は前記マスタ装置から受信した操作指令情報に基づき動作するとともに前記マスタ装置は前記スレーブ装置から受信したセンサ情報を操作者に対して出力する遠隔操作通信システムにおいて、前記マスタ装置と前記スレーブ装置との間を結ぶ通信経路上に中継ノードを配置し、前記中継ノードは、自身と前記マスタ装置との間の通信遅延を計測又は推定する第１遅延取得手段と、自身と前記スレーブ装置との間の通信遅延を計測又は推定する第２遅延取得手段と、前記マスタ装置から前記スレーブ装置へ送信される操作指令情報を傍受する第１傍受手段と、前記スレーブ装置から前記マスタ装置へ送信されるセンサ情報を傍受する第２傍受手段と、前記第１遅延取得手段及び前記第２遅延取得手段で取得した各遅延情報と、前記第１傍受手段で取得した操作指令情報と、前記第２傍受手段で取得したセンサ情報とに基づき、前記スレーブ装置の直近の未来における状態を予測するシミュレータと、前記シミュレータ結果により補正した制御指令情報を前記スレーブ装置に送信する通知手段とを備えたことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、中継ノードに具備されたシミュレータの計算リソースが多数のユーザで共用可能となるため、ＩｏＴデバイスやリモートコントローラに高価なシミュレータを搭載する必要がなくなり、経済的なＩｏＴデバイス遠隔操作サービスが実現可能となる。
【００１４】
また、中継ノードは、スレーブ装置との間の通信路長が、マスタ装置とスレーブ装置との間の通信路長よりも必然的に短くなり、マスタ装置よりもリアルタイムに近いスレーブ装置側のセンサ情報を取得することができ、実質的な遅延時間短縮を図ることができる。これにより、操作者に対して現在表示されているセンサ情報と現実とのギャップをより正確に操作者へ示すことができるので、遠隔操作の精度向上および体感品質向上が期待できる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施の形態に係る遠隔操作通信システムの全体構成図
【図２】第１の実施の形態に係る遠隔操作通信システムの機能ブロック図
【図３】第１の実施の形態に係る中継ノードの動作を説明するフローチャート
【図４】従来の遠隔操作通信システムのシーケンス図
【図５】第１の実施の形態に係る遠隔操作通信システムのシーケンス図
【図６】補正されたセンサ情報の表示例
【図７】補正されたセンサ情報の他の表示例
【図８】第２の実施の形態に係る遠隔操作通信システムの全体構成図
【図９】第３の実施の形態に係る遠隔操作通信システムの機能ブロック図
【図１０】第３の実施の形態に係る中継ノードの動作を説明するフローチャート
【図１１】第３の実施の形態に係る遠隔操作通信システムのシーケンス図
【発明を実施するための形態】
【００１６】
［第１の実施の形態］
本発明の第１の実施の形態に係る遠隔操作通信システムについて図面を参照して説明する。図１は遠隔操作通信システムの全体構成図である。
【００１７】
本実施の形態に係る遠隔操作通信システムは、図１に示すように、操作装置であるマスタ装置１０と被操作装置であるスレーブ装置２０とをネットワークを介して接続したものである。本願発明では、マスタ装置１０とスレーブ装置２０とを結ぶ通信経路上には、遅延補償機構を有する中継ノード１００が配置されている。
【００１８】
マスタ装置１０としては、例えば、汎用のコンピュータや専用の装置として実装された装置が挙げられる。スレーブ装置２０としては、例えば、ＩｏＴ、ロボット、ドローン、自動車、ロボットアーム、遠隔手術用アームなどが挙げられる。
【００１９】
マスタ装置１０は、操作者１による操作指令を入力するとともに操作指令情報をスレーブ装置２０に送信する指令入力部１１を備えている一方、スレーブ装置２０は、マスタ装置１０から受信した操作指令情報に基づき動作する動作部２１を備えている。
【００２０】
指令入力部１１は、操作者１がスレーブ装置２０の操作に必要な操作指令を入力するための装置であり、例えばキーボード、マウス、ジョイスティック、操縦桿、ハンドル、ボタン、タッチパネル、フットスイッチなどの操作者１が直接操作を行うものであってもよいし、操作者１の体の一部又は全部の動作・状態等をカメラや赤外線等で検出して検出結果を操作者１の操作指令とするものであってもよいし、これらの任意の組み合わせであってもよい。
【００２１】
動作部２１は、例えばアクチュエータ、モータ、ソレノイドなどの機械的な動作を行う装置だけでなく、例えばＬＥＤやＬＣＤなど光学的な動作を行う装置、例えばスピーカーブザーなどの音響的な動作を行う装置など、マスタ装置１０からの操作指令情報に基づき動作する装置である。
【００２２】
また、スレーブ装置２０は、周囲環境や自身の動作状態など各種状態を検出してマスタ装置１０に送信するセンサ２２を備えている一方、マスタ装置１０はスレーブ装置２０から受信したセンサ情報を操作者１に提示するための出力部１２を備えている。
【００２３】
センサ２２は、スレーブ装置２０自身の動作状態やスレーブ装置２０の周囲環境などの各種状態情報を検出するものであり、例えば、カメラなどの光学的な情報を取得するもの（視覚センサ）、マイクなどの音響的な情報を取得するもの（聴覚センサ）、マイクロスイッチ、ポテンションメータ、圧力センサなど機械的な情報を取得するもの（触覚センサや、力覚センサ）、これらを任意に組み合わせたものなど種々のものを用いることができる。また、センサ２２は、前記動作部２１と一体であってもよいし、両者を別々に配置してもよい。
【００２４】
出力部１２は、センサ２２からのセンサ情報を操作者１に提示するための装置であり、センサ情報に対応した装置により構成される。例えば、センサ情報が画像情報の場合にはＬＣＤなどの表示装置が用いられる。また例えば、センサ情報が音声情報の場合にはスピーカなどの音響装置が用いられる。また例えば、センサ情報が機械的な情報の場合、当該機械的な情報を視覚や音の情報に変換して、これらの情報を表示装置や音響装置で出力するものが考えられる。また、センサ情報が機械的な情報の場合、機械的な動作を再現するための機械的な駆動装置であってもよい。また、出力部１２は、センサ情報に応じて、上記各種出力装置を任意に組み合わせてもよい。なお、出力部１２は、前記指令入力部１１と一体であってもよいし、両者を別々に配置してもよい。
【００２５】
図１は、スレーブ装置２０がロボットである場合を例示しており、ロボットの各種アクチュエータ等が動作部２１に相当し、ロボットに設けられたカメラがセンサ２２に相当する。また、図１は、マスタ装置１０がコンピュータである場合を例示しており、コンピュータに接続されたジョイスティック等のコントローラが指令入力部１１に相当し、コンピュータに接続されたＬＣＤが出力部１２に相当する。
【００２６】
マスタ装置１０とスレーブ装置２０とはネットワークを介して通信可能となっている。ネットワークの伝送媒体・トポロジなどそのアーキテクチャは不問であり、有線のネットワーク、無線のネットワーク、又はこれらの任意の組み合わせたものなど任意のものを用いることができる。マスタ装置１０及びスレーブ装置２０は、それぞれ、ネットワークにアクセスするための通信インタフェイス（図示省略）を備えている。
【００２７】
マスタ装置１０とスレーブ装置２０との間を結ぶ通信経路上には、マスタ装置１０からスレーブ装置２０に操作指令情報を伝送するための通信回線である通信ベアラ１と、スレーブ装置２０からマスタ装置１０にセンサ情報を伝送するための通信回線である通信ベアラ２が形成されている。ネットワークは、通信ベアラ１と通信ベアラ２に対して互いに異なるＱｏＳのサービスを提供することができる。
【００２８】
本発明に係る中継ノード１００は、マスタ装置１０とスレーブ装置２０とを結ぶ通信経路上に配置されている。中継ノード１００は、１つのマスタ装置１０・スレーブ装置２０の組だけでなく、複数のマスタ装置１０・スレーブ装置２０の組で共用することができる。中継ノード１００は、ネットワークの形態によって種々の実装が考えられる。中継ノード１００は、例えば、通信経路途中のルータ、エッジコンピューティングサーバ、モバイルエッジコンピューティングプラットフォーム、アクセスネットワークにおけるＰＯＮ（Passive Optical Network）の局側装置（ＯＬＴ：Optical Line Terminal）、アクセスネットワークにおける集線スイッチ、モバイルネットワークにおける基地局、コア・メトロネットワークにおける集約局内設備、インターネット上のサーバなどが挙げられる。
【００２９】
次に、本実施の形態に係る遠隔操作通信システムの構成について図２を参照して説明する。図２は遠隔操作通信システムの機能ブロック図である。
【００３０】
マスタ装置１０は、図２に示すように、前述した指令入力部１１及び出力部１２と、指令入力部１１で入力された操作指令情報をスレーブ装置２０に送信する送信部１３と、スレーブ装置２０からセンサ情報を受信して出力部１２に渡す受信部１４を備えている。
【００３１】
スレーブ装置２０は、前述した動作部２１とセンサ２２と、センサ２２で取得されたセンサ情報をマスタ装置１０に送信する送信部２３と、マスタ装置１０から操作指令情報を受信して動作部２１に渡す受信部２４を備えている。
【００３２】
中継ノード１００は、マスタ装置１０から受信した操作指令情報をスレーブ装置２０に中継する受信部１０１・送信部１０２と、操作指令情報を傍受するために当該操作指令情報をミラーリングするミラーリング部１０３と、中継ノード１００とマスタ装置１０との間の通信遅延（上り／下りの双方を含む）を計測又は推定する遅延測定部１０４と、スレーブ装置２０から受信したセンサ情報をマスタ装置１０に中継する受信部１１１・送信部１１２と、センサ情報を傍受するために当該センサ情報をミラーリングするミラーリング部１１３と、中継ノード１００とスレーブ装置２０との間の通信遅延（上り／下りの双方を含む）を計測又は推定する遅延測定部１０４とを備えている。なお、ここで「上り」とはスレーブ装置２０からマスタ装置１０の方向を示し、「下り」とはマスタ装置１０からスレーブ装置２０の方向を示す。
【００３３】
遅延測定部１０４及び１１４による遅延測定方法について説明する。マスタ装置１０・スレーブ装置２０・中継ノード１００はそれぞれ時刻同期する手段（図示省略）を備えており、互いに時刻同期されていることを前提とする。そして、マスタ装置１０の送信部１３及びスレーブ装置２０の送信部２３は、送信する情報にタイムスタンプを付す。時刻同期の方法は従来周知の種々の方法を用いることができる。
【００３４】
遅延測定部１０４は、操作指令情報に付されたタイムスタンプと現在時刻との差により、マスタ装置１０から中継ノード１００への通信にかかる遅延時間（下り）を算出する。また、遅延測定部１０４は、中継ノード１００とマスタ装置１０との間の通信にかかるラウンドトリップタイムを計測し、このラウンドトリップタイムから前述した遅延時間（下り）を差し引くことにより、中継ノード１００からマスタ装置１０への通信にかかる遅延時間（上り）を算出する。
【００３５】
同様に、遅延測定部１１４は、センサ情報に付されたタイムスタンプと現在時刻との差により、スレーブ装置２０から中継ノード１００への通信にかかる遅延時間（上り）を算出する。また、遅延測定部１１４は、中継ノード１００とスレーブ装置２０との間の通信にかかるラウンドトリップタイムを計測し、このラウンドトリップタイムから前述した遅延時間（上り）を差し引くことにより、中継ノード１００からスレーブ装置２０への通信にかかる遅延時間（下り）を算出する。
【００３６】
中継ノード１００は、図２に示すように、さらに、遅延測定部１０４及び１１４で計測した各遅延情報と、ミラーリング部１０３で取得した操作指令情報と、ミラーリング部１１３で取得したセンサ情報とに基づき、スレーブ装置２０における直近の未来における状態を予測するシミュレータ部１２０と、シミュレータ部１２０でのシミュレート結果をセンサ情報に合成してマスタ装置１０に送信する合成部１３１とを備えている。
【００３７】
シミュレータ部１２０は、以下の情報に基づき、直近に中継ノード１００に届いたセンサ情報が操作者１に届く頃におけるスレーブ装置２０の状態を計算する。（ａ）スレーブ装置２０・中継ノード１００間の通信遅延（上り/下りどちらも）、（ｂ）中継ノード１００・マスタ装置１０間の通信遅延（上り/下りどちらも）、蓄積された直近のスレーブ装置２０からのセンサ情報、（ｄ）直前に傍受したマスタ装置１０からスレーブ装置２０への制御指令情報。
【００３８】
合成部１３１は、シミュレータ部１２０によって算出された予測情報をマスタ装置１０に通知する通知手段の１つの実装形態であり、シミュレータ部１２０での計算結果に基づき、操作者１へ届く時刻において推定されるスレーブ装置２０の状態情報を最新のセンサ情報に対して加工・補正してマスタ装置１０へ送信する。例えば、センサ情報が画像情報の場合、合成部１３１は、シミュレータ部１２０によって算出された予測情報に基づき画像情報の一部を加工・補正する。
【００３９】
シミュレータ部１２０及び合成部１３１の動作について図３のフローチャートを参照して説明する。図３に示すように、シミュレータ部１２０は、シミュレートに必要なセンサ情報・遅延情報・操作指令情報が揃うと（ステップＳ１）、操作者１へ届く予定の時刻(未来)の時点において推定されるスレーブ装置２０の状態情報を計算する（ステップＳ２）。なお、この処理の間にも、センサ情報を受信することもある。次に、シミュレータ部１２０は、直近に傍受したセンサ情報に対して、計算結果を踏まえた補正を加えるための計算を実施する（ステップＳ３）。合成部１３１は、ステップＳ３での計算結果に基づきセンサ情報に補正を加えて差し替え版センサ情報を作成し、この差し替え版センサ情報をマスタ装置１０向けの送信部１０２に渡す（ステップＳ４）。
【００４０】
次に、本実施の形態に係る遠隔操作通信システムによる遠隔操作のシーケンスについて図４及び図５を参照して説明する。ここでは、スレーブ装置２０は、センサとして周囲環境を撮像して画像情報を取得するカメラ２２を備え、動作部としてロボットアームなどの可動部２１を備えたものを例示する。また、マスタ装置１０は、操作入力部として操縦桿１１を備え、出力部として画像情報を表示するモニタ１２を備えたものを例示する。
【００４１】
まず、比較対象として、本発明の遅延補償機構を有さない従来の遠隔操作通信システムにおけるシーケンスについて図４を参照して説明する。なお図４では、本願発明の説明に必要なシーケンスのみを記載している点に留意されたい。
【００４２】
図４に示すように、カメラ２２で撮像された画像情報は中継ノード１００を介してマスタ装置１０に送られモニタ１２に表示され、視覚を通じて操作者１に知覚される（ステップＳ１１〜Ｓ１２）。操作者１は、スレーブ装置２０に加えるべき次の動作を決定し、脳から手への指令をもって操縦桿１１を操作する（ステップＳ１３〜Ｓ１４）。これにより操作指令情報が中継ノード１００を介して操縦桿１１からスレーブ装置２０に送信される（ステップＳ１５）。スレーブ装置２０は、操作指令情報を受けて可動部２１の動作両・方向・回転角・距離・力量などを決定・実行する（ステップＳ１６）。可動部２１が動作することによりカメラ視界に変化が生じ（ステップＳ１７）、この変化後の画像情報が中継ノード１００を介してカメラ２２からマスタ装置１０に送られる（ステップＳ１８〜Ｓ１９）。
【００４３】
ここで、マスタ装置１０とスレーブ装置２０との間の通信遅延のため、フィードバックを確認するのに時間がかかる。したがって、操作者１は、画像情報を見ても実際のスレーブ装置２０の状態を知ることができないため、操作の正確性や快適性が保たれない、という問題がある。
【００４４】
次に、本実施の形態に係る遠隔操作通信システムにおけるシーケンスについて図５を参照して説明する。なお図５では、本願発明の説明に必要なシーケンスのみを記載している点に留意されたい。
【００４５】
図５に示すように、カメラ２２で撮像された画像情報は中継ノード１００を介してマスタ装置１０に送られモニタ１２に表示され、視覚を通じて操作者１に知覚される（ステップＳ２１〜Ｓ２２）。操作者１は、スレーブ装置２０に加えるべき次の動作を決定し、脳から手への指令をもって操縦桿１１を操作する（ステップＳ２３〜Ｓ２４）。これにより操作指令情報が中継ノード１００を介して操縦桿１１からスレーブ装置２０に送信される（ステップＳ２５）。以上までは従来と同様である。
【００４６】
ここで、中継ノード１００には、操作指令情報の受信までの間にも随時スレーブ装置２０から画像情報を受信している（ステップＳ２６，Ｓ２７）。中継ノード１００は、前述したように、直近に受信した画像情報が操作者へ届く頃におけるスレーブ装置２０の状態を計算し、計算結果に基づき、操作者１へ届く時刻において推定されるスレーブ装置２０の状態情報を最新の画像情報に対して合成してマスタ装置１０へ送信する（ステップＳ２８〜Ｓ３０）。当該画像情報はマスタ装置１０のモニタ１２に表示され、視覚を通じで操作者１に知覚される（ステップＳ３１）。
【００４７】
本実施形態により、合成部１３１により補正・加工されモニタ１２に表示された画像情報の例を図６及び図７に示す。図６の例は、合成部１３１において補正・加工の対象となる直近の画像情報とシミュレーション画像とを合成したものであり、補正・加工の対象となる直近の画像情報どおりの位置Ｐ０に物体（図６では自動車）が表示されており、さらに、シミュレータによって遅延が考慮された結果予測される、現実（リアルタイム）の物体位置Ｐ１にも当該物体が表示されている。
【００４８】
図７の例では、合成部１３１において補正・加工の対象となる直近の画像情報に、シミュレータによって遅延が考慮された結果予測される現実(リアルタイム)の位置Ｐ２に、シミュレート結果を要約した情報、例えば、物体の重心や輪郭、エッジ、頂点など（図７では環状の図形）を合成したものである。
【００４９】
このように本実施の形態に係る遠隔操作通信システムでは、中継ノード１００に具備されたシミュレータの計算リソースが多数のユーザで共用可能となるため、ＩｏＴデバイスやリモートコントローラに高価なシミュレータを搭載する必要がなくなり、経済的なＩｏＴデバイス遠隔操作サービスが実現可能となる。
【００５０】
また、中継ノード１００は、スレーブ装置２０との間の通信路長が、マスタ装置１０とスレーブ装置２０との間の通信路長よりも必然的に短くなり、マスタ装置１０よりもリアルタイムに近いスレーブ装置２０側のセンサ情報を取得することができ、実質的な遅延時間短縮を図ることができる。これにより、操作者に対して現在表示されているセンサ情報と現実とのギャップをより正確に操作者へ示すことができるので、遠隔操作の精度向上および体感品質向上が期待できる。
【００５１】
［第２の実施の形態］
本発明の第２の実施の形態に係る遠隔操作通信システムについて図面を参照して説明する。図８は遠隔操作通信システムの全体構成図である。なお、第１の実施の形態と同一の要素については同一の参照符号を付してその説明は省略するものとし、第１の実施の形態との相違点についてのみ説明する。また、図８では、図１と同様にセンサ２２としてカメラを用いたものを例示している。
【００５２】
本実施の形態では、操作者１に届くセンサ情報（カメラ映像）と現実とのギャップに関する要約された情報を、より低遅延／高品質の通信ベアラを経由していち早く操作者に伝える。一般的に、映像ストリーミング用の通信ベアラよりも、制御信号に使われる通信ベアラの方が低遅延・高品質であることが期待されるので、本実施形態では操作指令情報の通信ベアラ１を使って前記要約情報を送信する。
【００５３】
中継ノード１００は、センサ情報（カメラ映像）については通信ベアラ２を介してマスタ装置１０にストリーミングされるよう中継する。一方、中継ノード１００では、シミュレータ部１２０におい予測情報を算出し、算出した予測情報は通信ベアラ１を介してマスタ装置１０に送信する。これにより遅延をより小さくすることができる。
【００５４】
［第３の実施の形態］
本発明の第３の実施の形態に係る遠隔操作通信システムについて図面を参照して説明する。図９は遠隔操作通信システムの機能ブロック図である。なお、第１の実施の形態と同一の要素については同一の参照符号を付してその説明は省略するものとし、第１の実施の形態との相違点についてのみ説明する。
【００５５】
本実施の形態では、シミュレータ部１２０による計算結果をセンサ情報に反映させる第１の実施の形態とは異なり、図９に示すように、シミュレータ部１２０による計算結果を操作指令情報に反映させる合成部１３２を備える。合成部１３２は、シミュレータ部１２０によって算出された予測情報に基づき操作指令情報を補正加工する。
【００５６】
シミュレータ部１２０及び合成部１３２の動作について図１０のフローチャートを参照して説明する。図１０に示すように、シミュレータ部１２０には、シミュレートに必要なセンサ情報・遅延情報・操作指令情報が届いており、操作指令信号を受信すると、直近に傍受した操作指令信号が、過去のどの時刻の時点に発出されたセンサ情報を受けて発出されたものであるかを逆算する（ステップＳ４１，Ｓ４２）。次に、シミュレータ部１２０は、スレーブ装置２０に対する操作者１の操作意図を推定し（ステップＳ４３）、前記ステップＳ３２で算出された過去の時刻におけるセンサ情報と直近のセンサ情報との差分から、操作指令信号によらない外乱要因（風、外力など）によるスレーブ装置２０の状態変化を把握する（ステップＳ４４）。そして、合成部１３２は、直近に傍受した操作指令情報に対して、操作者１が知りえなかった遅延起因のタイムラグ中に発生した状態変化と前記ステップＳ４３において推定された操作者の意図との齟齬を解消する新たな操作指令信号を生成する（ステップＳ４５）。次に、合成部１３２は、補正が加えられた、差し替え版操作指令情報をスレーブ装置２０に送信する（ステップＳ４６）。
【００５７】
次に、本実施の形態に係る遠隔操作通信システムにおけるシーケンスについて図１１を参照して説明する。なお図１１では、本願発明の説明に必要なシーケンスのみを記載している点に留意されたい。
【００５８】
ここでは、スレーブ装置２０は、センサとして周囲環境を撮像して画像情報を取得するカメラ２２を備え、動作部としてロボットアームなどの可動部２１を備えたものを例示する。また、マスタ装置１０は、操作入力部として操縦桿１１を備え、出力部として画像情報を表示するモニタ１２を備えたものを例示する。
【００５９】
図１１に示すように、カメラ２２で撮像された画像情報は中継ノード１００を介してマスタ装置１０に送られモニタ１２に表示され、視覚を通じて操作者１に知覚される（ステップＳ５１〜Ｓ５２）。操作者１は、スレーブ装置２０に加えるべき次の動作を決定し、脳から手への指令をもって操縦桿１１を操作する（ステップＳ５３〜Ｓ５４）。これにより操作指令情報が中継ノード１００を介して操縦桿１１からスレーブ装置２０に送信される（ステップＳ５５）。
【００６０】
ここで、中継ノード１００には、操作指令情報の受信までの間にも随時スレーブ装置２０から画像情報を受信している（ステップＳ５６，Ｓ５７）。
【００６１】
中継ノード１００は、操作者１が仮にスレーブ装置２０の近傍にいたとした場合、前記ステップＳ５１の時点で本来実行したかったはずである操作指令が前記ステップＳ５３であることと、通信遅延によるギャップと、直近の画像情報（ステップＳ５７）においてステップＳ５１とは状況に変化があったことを勘案して、操作指令情報に補正を加えてスレーブ装置２０に対して操作指令信号を送信する（ステップＳ５８，Ｓ５９）。
【００６２】
これにより、遅延によって生じるステップＳ５１の時点とステップＳ５５の時点との間のタイムラグ中に発生した、操作者１の知りえない外乱要因に起因する操作の乱れを抑止できる。
【００６３】
本シーケンスの具体的な例について説明する。ステップＳ５１の時点で発出された画像をステップ５３の時点で操作者が観測して、操作者がスレーブ装置（ドローン）に対して「右へ急旋回しろ」と指令を伝えようとしたとする。
【００６４】
中継ノード１００は、ステップＳ５５の時点で操作者がドローンに対して右に旋回したかったという意図を知ることができる。それと同時に、直近の画像情報（ステップＳ５６）を取得したときに、ステップＳ５１の時点の画像と差分を比較したところ、右へ急旋回するまでもなく強風などの影響で既にドローンが右向きに動き出していたこともあわせて分かったとする。
【００６５】
以上の情報に鑑みて、中継ノード１００は、ステップＳ５５の時点で傍受した「右へ急旋回しろ」という操作指令情報を、「右へ緩く旋回しろ」と書き換えて送信したり、操作指令情報の送信をキャンセルしたりする。
【００６６】
以上、本発明の実施の形態について詳述したが、本発明はこれに限定されるものではない。例えば、上記実施の形態ではセンサ情報として主に画像情報について例示したが、他のセンサ情報であっても本発明を適用できる。
【符号の説明】
【００６７】
１…操作者
１０…マスタ装置
１１…指令入力部
１２…出力部
１３…送信部
１４…受信部
２０…スレーブ装置
２１…動作部
２３…送信部
２４…受信部
２２…センサ
１００…中継ノード
１０１，１１１…受信部
１０２，１１２…送信部
１０３，１１３…ミラーリング部
１０４，１１４…遅延測定部
１２０…シミュレータ部
１３１，１３２…合成部
【図１】
2018126851.tif 000003
【図２】
2018126851.tif 000004
【図３】
2018126851.tif 000005
【図４】
2018126851.tif 000006
【図５】
2018126851.tif 000007
【図６】
2018126851.tif 000008
【図７】
2018126851.tif 000009
【図８】
2018126851.tif 000010
【図９】
2018126851.tif 000011
【図１０】
2018126851.tif 000012
【図１１】
2018126851.tif 000013