(57)【要約】【課題】  遠隔地側で操作対象機器が実際に働く様子を、互いに同期した映像と操作結果データの両方を確認しながら操作することができる遠隔操作システムを提供する。【解決手段】  ユーザー側装置１から遠隔地側装置２に操作命令データが送られ、機器操作部２１は該操作命令データにより機器を動作させる。機器の操作結果が操作結果取得部２２で取得される。ストリーム生成部２４はカメラ２３で撮影された映像データをＭＰＥＧ−２のトランスポートストリーム規格に準じたストリームデータ化し、これに操作結果取得部２２で得られた操作結果データを多重化して送受信部２５を介してユーザー側装置１に送信する。【選択図】  図１
2005236625.tif 000002
【特許請求の範囲】
【請求項１】
遠隔地にある機器の操作を行う遠隔操作システムであって、
ネットワークで互いに接続されたユーザー側装置と遠隔地側装置とからなり、
前記ユーザー側装置は、
ユーザーが操作命令を入力するための操作部と、
入力された操作命令データを前記遠隔地側装置に送信し、また前記遠隔地側装置から送信されてきたストリームデータを受信、復号する送受信部と、
前記操作命令データ、前記遠隔地側装置から送信されてきた映像データ、および操作結果データを表示する表示部とを有し、
前記遠隔地側装置は、
前記ユーザー側装置から送信されてきた操作命令データにしたがって機器を操作する機器操作部と、
前記機器の操作結果データを取得する操作結果取得部と、
遠隔地側の様子を撮影するカメラと、
前記カメラで撮影された映像データをＭＰＥＧ−２のトランスポートストリーム規格に準じたストリームデータ化し、これに前記操作結果取得部で得られた操作結果データを多重化するストリーム生成部と、
前記ユーザー側装置から送信されてきた前記操作命令データを受信して前記機器操作部に転送し、また前記ストリーム生成部で生成されたストリームデータを前記ユーザー側装置に送信する送受信部と
を有する遠隔操作システム。
【請求項２】
前記遠隔地側装置は、遠隔地側の環境情報を取得する環境情報取得部をさらに有し、
前記ストリーム生成部は前記環境情報も多重化し、前記表示部は前記環境情報も表示する、
請求項１に記載の遠隔操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔地にある機器をユーザーがネットワークを介して操作する遠隔操作システムに関する。
【背景技術】
【０００２】
例えば、非特許文献１では、ロボットアームの遠隔操作システムにおいて、遠隔地側の映像と、ロボットの力学的な情報をユーザーに伝送するために、操作内容に合わせて、映像情報と力学的情報の量を変えて送る手法を提案している。このことにより、映像情報と遠隔地側の情報を一緒に伝送し、かつ有限なデータ伝送速度を有効に使える手法を実現している。
【非特許文献１】小森谷清「通信路を利用するロボットの遠隔操作」機械研ニュース  １９９９  Ｎｏ．１（１９９９）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、非特許文献１の方法では、送られてくる情報量が時刻によって変化するために、遠隔地側映像の視認性が悪化したり、映像情報と力学情報の同時性の保証がない、といった問題があった。
【０００４】
本発明の目的は、遠隔地側で操作対象機器が実際に動く様子を、互いに同期した映像と操作結果データの両方を確認しながら操作することができる遠隔操作システムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明の遠隔操作システムは、
ネットワークで互いに接続されたユーザー側装置と遠隔地側装置とからなり、
ユーザー側装置は、
ユーザーが操作命令を入力するための操作部と、
入力された操作命令データを前記遠隔地側装置に送信し、また遠隔地側装置から送信されてきたストリームデータを受信、復号する送受信部と、
前記操作命令、遠隔地側装置から送信されてきた映像データ、および操作結果データを表示する表示部と
を有し、
遠隔地側装置は、
ユーザー側装置から送信されてきた操作命令データにしたがって機器を操作する機器操作部と、
機器の操作結果データを取得する操作結果取得部と、
遠隔地側の様子を撮影するカメラと、
カメラで撮影された映像データをＭＰＥＧ−２のトランスポートストリーム規格に準じたストリームデータ化し、これに操作結果取得部で得られた操作結果データを多重化するストリーム生成部と、
ユーザー側装置から送信されてきた操作命令データを受信して機器操作部に転送し、またストリーム生成部で生成されたストリームデータをユーザー側装置に送信する送受信部を有している。
【０００６】
本発明は、ユーザーが入力した操作命令をもとに遠隔地側の機器の操作を行い、その様子を撮影した遠隔地側の映像と機器の操作結果を示すデータを多重化処理し、ユーザー側に伝送するため、ユーザーは、同期した映像と操作結果データを受け取ることができる。
【０００７】
このように、ユーザーは、同時刻に取得した遠隔地側の映像と操作結果データを確認することができるため、例えば、ユーザーが誤操作を行ってしまった場合の修正対応を素早く行うことができ、操作性が向上する。
【０００８】
また、ユーザーの操作部に、操作結果の力学的なフィードバックを行うような場合でも、ユーザーが見ている遠隔地側映像と力学的フィードバックが時間的に一致し、操作性が向上する。
【０００９】
また、本発明の実施態様では、遠隔地側の環境情報も取得し、ストリームデータ上に多重化し、ユーザー側装置に伝送、同期させて表示する。
【００１０】
そのため、ユーザーは、遠隔地側の情報をより正確に把握し、遠隔制御を行うことができる。
【００１１】
本発明の応用システムとしては、例えば、ロボットの遠隔操作、遠隔教育における実機器操作の説明、としての利用等が考えられる。また、本発明を２組使用し、双方向通信システムとすれば、ＴＶ会議システムとしての利用も考えられる。
【発明の効果】
【００１２】
請求項１の発明によれば、ユーザーが行った操作結果と映像を同一ストリームに多重化し、ひとつのストリームとしてユーザー側に伝送し、復元することにより、ユーザーは、遠隔地側の様子を表す映像と、それに同期した操作結果とを同時に確認しながら、正確な遠隔操作を行うことができる。
【００１３】
請求項２の発明によれば、上記効果に加え、遠隔地側の環境情報もユーザー側に多重化して伝送、復元することにより、ユーザーは遠隔地側の環境の変化も同時に確認しながら、ユーザーの操作結果のフィードバックをより正確に確認することができる。
【発明を実施するための最良の形態】
【００１４】
次に、本発明の実施の形態について図面を参照して説明する。
【００１５】
［第１の実施の形態］
図１は本発明の第１の実施形態の遠隔操作システムの構成図である。
【００１６】
本実施形態の遠隔操作システムは、ネットワーク３で互いに接続されたユーザー側装置１と遠隔地側装置２とからなる。
【００１７】
ユーザー側装置１は、ユーザーが操作命令を入力するための操作部１１と、入力された操作命令データを遠隔地側装置２に送信し、また遠隔地側装置２から送信されてきたストリームデータを受信、復号する送受信部１２と、操作命令、遠隔地側装置２から送信されてきた映像データ、および操作結果データを表示する表示部１３とを有している。
【００１８】
遠隔地側装置２は、ユーザー側装置１から送信されてきた操作命令データにしたがって機器（不図示）を操作する（動作させる）機器操作部２１と、機器の操作結果データを取得する操作結果取得部２２と、遠隔地側の様子を撮影するカメラ２３と、カメラ２３で撮影された映像データをＭＰＥＧ−２のトランスポートストリーム規格に準じたストリームデータ化し、これに操作結果取得部２２で得られた操作結果データを多重化するストリーム生成部２４と、ユーザー側装置１から送信されてきた操作命令データを受信して機器動作部２１に転送し、またストリーム生成部２４で生成されたストリームデータをユーザー側装置１に送信する送受信部２５を有している。
【００１９】
次に、本実施形態の動作を説明する。
【００２０】
まず、ユーザーが操作部１１において操作命令を入力する。入力方法として、例えば、図２に示したように、キーボードやゲームに用いられるジョイスティック等を利用し、ＰＣ上でデータ処理を行うことが考えられる。その操作命令データは、ユーザー側送受信部１２から無線ＬＡＮ等のネットワーク３を介して遠隔地側装置２の送受信部２５に送られる。ここでは、ＰＣ内のネットワークカードを通じて、遠隔地側に送る。
【００２１】
その操作命令データに基づいて機器操作部２１で操作対象の機器を動かす。ここでは、図２に示したように、例えばラジコン方式の自動車の駆動輪を機器操作部２１とすることにより、前進、後退等の動作を操作することが考えられる。
【００２２】
上記の操作結果データは、例えばユーザーから送信された操作命令データが正しく動作したかどうかを、正しく動作すればフラグ１で、そうでない場合は、エラーフラグ０というフォーマットで、操作結果取得部２２に送られる。
【００２３】
また、カメラ２３で撮影する遠隔地側映像は、例えば、図２に示したようにラジコン自動車にカメラを取り付け、進行方向の様子を撮影する。この映像は、遠隔地側装置２のストリーム生成部２４においてＭＰＥＧ−２トランスポートストリーム化され、さらに操作結果データをパケット化し、その上に多重化する。なお、音声データもカメラ２３から取れて、映像データをともにトランスポートストリームに含まれる。多重化されたストリームデータは、遠隔側送受信部２５からネットワークカード等を介し、ユーザー側装置１に送られ、送受信部１２において、元の映像データと動作結果情報とに分離、復号される。もしエラーフラグが送られてきた場合には、ユーザーが遠隔地側映像の目視により、前進のためのスペースが無い場合等の原因を判断できることになる。
【００２４】
図３はストリーム生成部２４の構成例を示している。ＭＰＥＧ−２ＴＳ生成部３１はカメラ２３から取り込んだ映像データをトランスポートストリーム（ＴＳ：Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）規格で多重化することによりＭＰＥＧ−２ストリームを生成する。ここでは、まず映像および音声データはＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍｓ）と呼ばれるパケットに変換され、４Ｂｙｔｅのヘッダーとともに１８８ＢｙｔｅのＴＳパケット化される。これらＴＳパケットを多重化したビットストリームがトランスポートストリームである。このトランスポートストリーム生成時には、処理にマージンを持たせるため、送信レートよりも少ないＴＳパケットを使用し、残りはＮＵＬＬパケットでパディングする。ＴＳパケット化部３２では、操作結果データをＴＳパケットの仕様に合わせ、４Ｂｙｔｅのヘッダーを含む１８８Ｂｙｔｅのパケット（以下、操作結果ＴＳパケット）に変換する。ここでは、ヘッダーにはパケットＩＤ（ＰＩＤ）を書き込み、識別を可能とする。操作結果データが１８４Ｂｙｔｅに満たない場合、ＮＵＬＬデータでパディングし、パケットサイズを１８８Ｂｙｔｅとする。操作結果データが１８４Ｂｙｔｅを超える場合には、操作結果データを複数に分割し、個々のパケットサイズが１８８Ｂｙｔｅとなるようにする。ＴＳ多重化部３３では、ＭＰＥＧ−２ＴＳ生成部３１で発生したＴＳ内のＮＵＬＬパケットと、ＴＳパケット化部３２で生成された操作結果ＴＳパケットを入れ替えることにより、ＴＳに操作結果ＴＳパケットを多重化する。分離・復号はストリーム分離部４１とＭＰＥＧ−２分離復号部４２により、ストリームデータ生成、多重化時と逆の操作により行なえる（図４）。
【００２５】
以上の多重化、分離復号処理は、本出願人が以前に出願した特願２００３−２８８６６７「ストリーム生成方法及び装置」に記載された方法である。
【００２６】
本実施形態では、車輪を回転させることにより前進、後退が可能なラジコンの自動車を操作対象機器としているが、操作対象機器はこれに限らない。また、ラジコンの自動車の速度等を操作結果データとして得る場合には、速度計を機器に取付けて、機器操作部２１を介してまたは直接操作結果取得部２２に速度データを無線で送ることになる。
【００２７】
［第２の実施の形態］
図５は本発明の第２の実施形態の遠隔操作システムの構成図である。
【００２８】
本実施形態は、第１の実施形態における遠隔側装置２に遠隔地側の環境情報を取得する環境情報取得部２６を追加して、ストリーム生成部２４で環境情報も多重化して遠隔地側の環境情報をユーザー側装置１に送るようにしたものである。ユーザー側装置１では環境情報も表示部１３に表示される。
【００２９】
ここでは、図６に示したように、温度計により測定した温度、ＧＰＳにより測位した自動車位置等、のデータを環境情報としてユーザー側装置１に送る。
【００３０】
なお、取得可能な環境情報はこれに限らず、例えば、照度センサにより照度、超音波距離計により障害物までの距離、等を計測することも考えられる。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１の実施形態の遠隔操作システムの構成を示す図である。
【図２】第１の実施形態の利用シーンイメージを表す図である。
【図３】ストリーム生成部２４の構成例を示す図である。
【図４】多重化されたストリームデータを分離、復号する回路のブロック図である。
【図５】本発明の第２の実施形態の遠隔操作システムの構成を示す図である。
【図６】第２の実施形態の利用シーンイメージを表す図である。
【符号の説明】
【００３２】
１    ユーザー側装置
２    遠隔側装置
３    ネットワーク
１１    操作部
１２    送受信部
１３    表示部
２１    機器操作部
２２    操作結果取得部
２３    カメラ
２４    ストリーム生成部
２５    送受信部
２６    環境情報取得部
３１  ＭＰＥＧ−２ＴＳ生成部
３２  ＴＳパケット化部
３３  ＴＳ多重化部
４１  ストリーム分離部
４２  ＭＰＥＧ−２分離復号部
【図１】
2005236625.tif 000003
【図２】
2005236625.tif 000004
【図３】
2005236625.tif 000005
【図４】
2005236625.tif 000006
【図５】
2005236625.tif 000007
【図６】
2005236625.tif 000008