(57)【要約】【課題】テレビ電話を通じてロボットを制御するシステムであって、ロボット操作用の別回線を必要としない遠隔制御システムを提供する。【解決手段】  テレビ電話機能を有する第１の機器１０の側に在るロボット６０を、テレビ電話機能を有する第２の機器２０からネットワークを介して遠隔制御する。第２の機器２０は、カメラ２３で撮影した映像の映像信号とマイク２２で集音した音声の音声信号とにテレビ電話に対応した処理を施して送信するテレビ電話信号に、第1の機器１０のディスプレイで表示可能なロボット制御用可視映像２３１の可視映像信号及び第１の機器１０のスピーカで表示可能なロボット制御用可聴音の可聴音信号の少なくとも一方を含めて第1の機器１０に送信する。ロボット６０は、第1の機器１０に送信されたロボット制御用可視映像又はロボット制御用可聴音に応じた動作を実行する。【選択図】図１
2017147710.tif 000002
【特許請求の範囲】
【請求項１】
テレビ電話機能を有する第１の機器の側に在るロボットを、テレビ電話機能を有する第２の機器からネットワークを介して遠隔制御するロボットの遠隔制御システムであって、
前記第２の機器は、カメラで撮影した映像の映像信号とマイクで集音した音声の音声信号とにテレビ電話に対応した処理を施して送信するテレビ電話信号に、前記第1の機器のディスプレイで表示可能なロボット制御用可視映像の可視映像信号及び前記第１の機器のスピーカで表示可能なロボット制御用可聴音の可聴音信号の少なくとも一方を含めて前記第1の機器に送信し、
前記ロボットが、前記第1の機器に送信された前記ロボット制御用可視映像又はロボット制御用可聴音に応じた動作を実行することを特徴とするロボットの遠隔制御システム。
【請求項２】
請求項１に記載のロボットの遠隔制御システムであって、前記ロボット制御用可視映像は、前記第２の機器のカメラで撮影されて映像信号として取り込まれ、前記ロボット制御用可聴音は、前記第２の機器のマイクで集音されて音声信号として取り込まれることを特徴とするロボットの遠隔制御システム。
【請求項３】
請求項１に記載のロボットの遠隔制御システムであって、前記第２の機器は、前記可視映像信号及び可聴音信号を電子的に作成して前記テレビ電話信号に加えることを特徴とするロボットの遠隔制御システム。
【請求項４】
請求項１から３のいずれかに記載のロボットの遠隔制御システムであって、前記ロボットは、前記第1の機器のディスプレイに表示された前記ロボット制御用可視映像、又は、前記第1の機器のスピーカから放音された前記ロボット制御用可聴音を識別して、前記ロボット制御用可視映像又はロボット制御用可聴音に応じた動作を自律的に実行することを特徴とするロボットの遠隔制御システム。
【請求項５】
請求項１から３のいずれかに記載のロボットの遠隔制御システムであって、前記第１の機器は、受信した前記テレビ電話信号に含まれる前記可視映像信号又は可聴音信号を識別して、前記ロボット制御用可視映像又はロボット制御用可聴音に応じた動作を前記ロボットに実行させることを特徴とするロボットの遠隔制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ電話を介してロボットの遠隔制御を行うシステムに関し、ロボット操作用の特別な回線を必要とせずにロボットの遠隔制御を可能にしたものである。
【背景技術】
【０００２】
近年、遠隔コミュニケーション、災害救助、医療など様々な面で遠隔操作ロボットの利用が進んでいる。今後、さらに、旅行やショッピングなどの遠隔体験、極限環境下における作業、遠隔医療、介護、サービス産業、エンターテイメント分野等への利用拡大が期待されている。
ロボットの遠隔操作はテレビ電話を利用して行われる場面が増えている。
【０００３】
本発明者等は、先に、単身高齢者がテレビ電話を通じて常に近親者に繋がっていると言う安心感を抱くことができ、また、ロボットが随時、近親者に代わって単身高齢者の相手をすることで近親者の負担を軽減できるコミュニケーション支援ロボットシステムを提案している（下記特許文献1）。
このシステムでは、図８に示すように、高齢者の側に、ロボット３７が配置され、テレビ電話を構成するカメラ３３、タッチパネルディスプレイ３５、コンピュータ３１、マイク３６２及びスピーカ３６１が配置される。
【０００４】
また、近親者の側にも、テレビ電話を構成するカメラ４３、タッチパネルディスプレイ４５、コンピュータ４１、マイク４６２及びスピーカ４６１が配置される。コンピュータ３１、４１同士は、ネットワーク５０を介して接続可能である。
図９（ａ）に示すように、高齢者側のタッチパネルディスプレイ３５の表示画面には、近親者側のカメラ４３の映像が表示される表示領域３５１と、回想法（昔の映像を見せて脳を活性化させる認知症治療の一方法）に使用する画像／映像が表示される表示領域３５２と、近親者とのコミュニケーションを選択する“ロボット君お願い”のタッチ領域３５３とが設けられている。
【０００５】
一方、近親者側のタッチパネルディスプレイ４５の表示画面には、図９（ｂ）に示すように、高齢者側のカメラ３３の映像が表示される表示領域４５１と、高齢者側のタッチパネルディスプレイ３５に表示されたものと同じ回想法用の画像／映像が表示される表示領域４５２と、各種のタッチ領域４５３、４５４、４５６、４５５、４５７が設けられている。
近親者が“直接話す／呼び出し”領域４５３にタッチして高齢者とテレビ電話による直接会話を行っている途中で“間接的に話す”領域４５４をタッチすると、ロボット３７は、高齢者の問い掛けに対する近親者の返答を伝達形式のメッセージに編集して高齢者に伝える動作を行う。また、このとき近親者が“自動”領域４５６にタッチすると、高齢者の問い掛けに含まれるキーワードに基づいて適切な返答メッセージを編集し、高齢者に応答する。
また、近親者が“ロボット君お願い”領域４５５にタッチすると、ロボット３７は、高齢者を回想法に誘導する動作を行う。
このように、このシステムでは、高齢者の側のロボット３７が、近親者の側のテレビ電話装置を通じて遠隔制御される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１５−１８４５９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
テレビ電話を通じてロボットの遠隔制御を行う場合、従来は、図１０に示すように、カメラ４３から出力される映像信号及びマイク４６２から出力される音声信号に対してテレビ電話に対応した符号化や圧縮処理が施されたテレビ電話信号を伝送する回線の他に、ロボット３７を操作するためのロボット制御信号を伝送する回線が必要であり、このロボット操作用回線の通信設定やサーバ管理、アカウント管理の負担が大きかった。
また、ロボットは、その種類や機能が様々であり、その制御方法の標準化が難しい。制御信号が標準化されていない状態では、ロボットごとに操作元と操作先の双方で通信手順（プロトコル）を取り決めることが必要になる。
【０００８】
本発明は、こうした事情を考慮して創案したものであり、テレビ電話を通じてロボットを遠隔制御するシステムであって、ロボット操作用の別回線を必要としないシステムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明は、テレビ電話機能を有する第１の機器の側に在るロボットを、テレビ電話機能を有する第２の機器からネットワークを介して遠隔制御するロボットの遠隔制御システムであって、第２の機器は、カメラで撮影した映像の映像信号とマイクで集音した音声の音声信号とにテレビ電話に対応した処理を施して送信するテレビ電話信号に、第1の機器のディスプレイで表示可能なロボット制御用可視映像の可視映像信号及び第１の機器のスピーカで表示可能なロボット制御用可聴音の可聴音信号の少なくとも一方を含めて第1の機器に送信し、ロボットが、第1の機器に送信されたロボット制御用可視映像又はロボット制御用可聴音に応じた動作を実行することを特徴とする。
このシステムでは、テレビ電話信号の中に、ロボットの動作を規定する図形や色などのロボット制御用可視映像、あるいは、特定音階のロボット制御用可聴音などが含まれて伝送されるため、ロボット操作用の別回線を必要としない。
【００１０】
また、本発明のロボットの遠隔制御システムでは、ロボット制御用可視映像が、第２の機器のカメラで撮影されて映像信号として取り込まれ、ロボット制御用可聴音が、第２の機器のマイクで集音されて音声信号として取り込まれるようにしても良い。
この場合、操作者は、カメラに映るようにロボット制御用可視映像のマークを置き、或いは、マイクで集音されるようにロボット制御用可聴音を鳴らすことでロボットを遠隔制御することができる。
【００１１】
また、本発明のロボットの遠隔制御システムでは、第２の機器が、ロボット制御用可視映像の可視映像信号及びロボット制御用可聴音の可聴音信号を電子的に作成してテレビ電話信号に加えるようにしても良い。
この場合、操作者が第２の機器に設けられた操作ボタンを押すと、第２の機器内で作成された可視映像信号や可聴音信号がテレビ電話信号に混合されて第１の機器に伝送される。
【００１２】
また、本発明のロボットの遠隔制御システムでは、ロボットが、第1の機器のディスプレイに表示されたロボット制御用可視映像、又は、第1の機器のスピーカから放音されたロボット制御用可聴音を識別して、そのロボット制御用可視映像又はロボット制御用可聴音に応じた動作を自律的に実行する。
この場合、第1の機器は、受信したテレビ電話信号を復調してディスプレイやスピーカに表示するだけであるため、第１の機器の処理負担が軽減される。
【００１３】
また、本発明のロボットの遠隔制御システムでは、第１の機器が、受信したテレビ電話信号に含まれるロボット制御用可視映像の可視映像信号又はロボット制御用可聴音の可聴音信号を識別して、ロボット制御用可視映像又はロボット制御用可聴音に応じた動作をロボットに実行させるようにしても良い。
この場合、ロボットによるロボット制御用可視映像の見落としやロボット制御用可聴音の聞き漏らしが発生しないため、ロボットの遠隔制御が確実に行われる。
【発明の効果】
【００１４】
本発明のロボットの遠隔制御システムでは、テレビ電話信号を伝送する一回線のみでロボットの遠隔制御が可能である。
また、このシステムでは、例えばハートマークは第１の動き、ダイヤマークは第２の動き、と言うように、マークや音の種類とロボットの動作とを対応付けるだけでロボットの遠隔制御が可能である。そのため、制御元は、ハートマーク／ダイヤマーク等の可視映像信号や可聴音信号を電子的に生成する信号生成方法を制御先とは独立に開発し、制御先は、第１の動きや第２の動きをするロボットを制御元とは独立に開発することができ、また、制御元の信号生成方法だけを、開発した方法に入れ替えたり、制御先のロボットだけを、開発したロボットに入れ替えたりすることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係るロボットの遠隔制御システムを模式的に示す図
【図２】図１の第２のテレビ電話装置の構成を示すブロック図
【図３】図１のロボットの構成を示すブロック図
【図４】本発明の実施形態に係るロボットの遠隔制御システムの動作を示すフロー図
【図５】ロボット制御用可視映像と人物像とが重なるときの処理を説明する図
【図６】本発明のロボットの遠隔制御システムを用いて行われたアイドル選挙の様子を示す図（第２のテレビ電話装置の側）
【図７】本発明のロボットの遠隔制御システムを用いて行われたアイドル選挙の様子を示す図（第１のテレビ電話装置の側）
【図８】先に提案した「コミュニケーション支援ロボットシステム」を示す図
【図９】図８のシステムにおけるテレビ電話の表示画面を示す図
【図１０】従来のシステムでの回線を示す図
【発明を実施するための形態】
【００１６】
図１は、本発明の実施形態に係るロボットの遠隔制御システムの構成を模式的に示している。
ロボット６０の在る側の第１のテレビ電話装置１０は、ディスプレイ及びスピーカを備えるＰＣ１１と、カメラ１３と、マイク１４とを有しており、ロボット６０を遠隔制御する第２のテレビ電話装置２０は、同様に、ディスプレイ及びスピーカを備えるＰＣ２１と、カメラ２３と、マイク２４とを有している。
第１のテレビ電話装置１０と第２のテレビ電話装置２０とはネットワークで接続されている。
【００１７】
第２のテレビ電話装置２０は、映像信号及び音声信号をテレビ電話用に符号化・圧縮したテレビ電話信号を、ネットワークを介して第１のテレビ電話装置１０に送信する。
この映像信号は、カメラ２３で撮影された映像の映像信号であり、この映像には、人物２３１の映像と、ロボット６０の動作を規定するために人物の傍らに置かれたハートのマーク（ロボット制御用可視映像、以下、可視映像と言う）２３２とが含まれている。
また、音声信号は、マイク２２で集音された音声の音声信号であり、ロボット６０の動作を規定するために鳴らされた特定音階の音（ロボット制御用可聴音、以下、可聴音と言う）の可聴音信号が含まれている。
【００１８】
このテレビ電話信号を受信した第１のテレビ電話装置１０は、受信信号を復号化して、人物及びハートのマーク（可視映像）の映像をディスプレイに表示し、特定音階の音（可聴音）を含む音声をスピーカから放音する。
ロボット６０は、第１のテレビ電話装置１０のディスプレイに表示されたハートのマークと、スピーカから放音された特定音階の音とを識別すると、予めそれらに対応付けられている動作を実行する。
【００１９】
ここでは、ロボット６０の遠隔制御のために可聴映像と可聴音とを用いているが、その一方だけを用いても良い。
ただ、可聴映像及び可聴音の両方を用いた方がロボット６０を制御する信号の種類を増やすことができ、且つ、エラーの除去ができる。
また、視覚と聴覚という複数のモダリティ（現実世界の事象を人が知覚・表現するための様相）を使うと、単一のモダリティに知覚可能な信号を混入した場合（電話に可聴音信号を混入した場合や、映像に可視映像信号を混入した場合）に比べ、ユーザは映像や音声への可視映像や可聴音の混入が気にならなくなる。
【００２０】
図２は、第２のテレビ電話装置２０の構成をブロック図で示している。この装置は、音声をスピーカ２４から出力し、マイク２２から音声を取り込む音声入力／出力ボード２５と、第１のテレビ電話装置１０に送信するテレビ電話信号を無線通信装置２７を介してネットワークに送出し、第１のテレビ電話装置１０から送られたテレビ電話信号を無線通信装置２７を介して受信する通信ＬＡＮボード２６と、ディスプレイ２９、カメラ２３及び操作部２０１の信号を仲介するＩ／Ｏ２８と、装置の動作を制御する制御部２００と、制御部２００の処理を規定するプログラムが記録されたＲＯＭやワーキングメモリのＲＡＭが組み込まれたメモリ２１１とを備えている。
【００２１】
第１のテレビ電話装置１０の構成は、図２の第２のテレビ電話装置２０の構成と同じであり、ただ、Ｉ／Ｏ２８に更にロボット６０が接続している点だけが相違している。（第１のテレビ電話装置１０を構成する各部は、図２の各部を表す数字の先頭の数字“２”を“１”に代えて表記することにする。）
【００２２】
図３は、ロボット６０の構成をブロック図で示している。このロボット６０は、マイクロコンピュータやＣＰＵから成る制御部６０１と、ロボット６０の動作を規定するプログラムが記録されたＲＯＭやワーキングメモリのＲＡＭが組み込まれたメモリ６０２と、ロボット６０の左右の腕を動かすモータ６０９、６１０、頭部や腰を回転するモータ６１１、６１３、及び、移動時に作動するモータ６１２を駆動制御するモータ制御ボード６０８と、スピーカ６０４から音声を出力し、マイク６０５で音声を取り込む音声入力／出力ボード６０３と、ロボット３７に内蔵されたカメラ６０７の映像信号に所定の処理を施して出力するセンサ入力／出力ボード６０６と、第１のテレビ電話装置１０との信号の遣り取りを仲介するＩ／Ｏ６１４とを備えている。
【００２３】
第２のテレビ電話装置２０の制御部２００は、可視映像２３２が含まれるカメラ２３の映像信号と、可聴音が含まれるマイク２２の音声信号とを符号化・圧縮してテレビ電話信号を作成し、無線通信装置２７を介してネットワークに送信する。
【００２４】
一方、ロボット６０の制御部６０１は、第１のテレビ電話装置１０のディスプレイを撮影するカメラ６０７の画像から可視映像の有無を識別し、マイク６０５で集音された音声信号から可聴音を識別する。そして、可視映像及び可聴音を識別すると、メモリ６０２に格納されている“可視映像／可聴音とロボット動作とを対応付けたデータベース”から対応するロボット動作を読出し、モータ制御ボード６０８を通じて所定の動作を実行する。
【００２５】
また、第２のテレビ電話装置２０は、操作者のボタン操作に応じて可視映像信号及び可聴音信号を電子的に作成し、それをテレビ電話信号に加えるようにしても良い。
また、第１のテレビ電話装置１０の表示からロボット６０が可視映像及び可聴音を識別する代わりに、第１のテレビ電話装置１０が、受信したテレビ電話信号に含まれる可視映像信号又は可聴音信号を識別して、その可視映像又は可聴音に応じた動作をロボット６０に実行させるようにしても良い。
【００２６】
図４のフロー図は、この場合の動作手順を示している。
第２のテレビ電話装置２０の制御部２００は、操作者が操作部２０１のボタン操作を行うと、メモリ２１１に格納されている可視映像信号及び可聴音信号を読み出して、カメラ２３の映像信号及びマイク２２の音声信号に加え（ステップ１、ステップ３）、それらの信号を符号化・圧縮してテレビ電話信号を作成し、無線通信装置２７を介してネットワークに送信する(ステップ２、ステップ４)。
【００２７】
第１のテレビ電話装置１０の制御部１００は、無線通信装置１７が受信したテレビ電話信号から可視映像信号及び可聴音信号を取り出し(ステップ５、ステップ６)、エラー除去を行った後、可視映像及び可聴音を復元する(ステップ７)。そして、メモリ１１に格納されている“可視映像／可聴音とロボット制御信号とを対応付けたデータベース”から対応するロボット制御信号を読出し、Ｉ／Ｏ２８を通じてロボット６０にロボット制御信号を出力する(ステップ８)。ロボット６０の制御部６０１は、Ｉ／Ｏ６１４を通じてロボット制御信号を受信すると、モータ制御ボード６０８を通じて指定された動作を実行する。
【００２８】
また、第２のテレビ電話装置２０の制御部２００は、ステップ１において、カメラ２３の映像の所定位置に可視映像を表示すると、図５（ａ）に示すように人物の画像と可視映像２３２とが重なる場合、それを避けるために、図５（ｂ）に示すように、カメラ２３で撮影された画像から人の顔を検出し、図５（ｃ）に示すように、可視映像２３２が顔から離れた場所に表示されるように、カメラ２３の映像信号と可視映像信号とを混合する。
また、このとき、可視映像を表示する箇所の背景を、可視映像が認識し易いものに代えても良い。
この場合、第１のテレビ電話装置１０の制御部１００は、図７（ｂ）に示すように、テレビ電話信号に含まれる映像信号から顔を検出し、顔から離れた場所から可視映像信号を取り出す。
【００２９】
可視映像は、色であっても良い。
図６、図７は、ロボットの遠隔制御システムの利用例として、多数のユーザがテレビ電話を通じて遠隔地から好きなアイドルを選挙するイベントの様子を示している。
ロボット６０は、図７に示すように、異なる色のボードを持つ複数のアイドルと共に第１のテレビ電話装置１０の前にいる。
複数のアイドルの映像は、第１のテレビ電話装置１０により、多数のユーザが集まる場所に設置された第２のテレビ電話装置２０に送信される。
【００３０】
多数のユーザは、図６に示すように、第２のテレビ電話装置２０のディスプレイを見て、自分が好きなアイドルを応援するために好きなアイドルが持つボードの色と同色のボードを掲げる。その映像は、第２のテレビ電話装置２０から第１のテレビ電話装置１０に送信され、第１のテレビ電話装置１０のディスプレイに表示される。
ロボット６０は、第１のテレビ電話装置１０のディスプレイに表示された画像から最も多いボードの色を識別し、その色のボードを持つアイドルの方に向き直る。
こうして、遠隔地の多数のユーザの多数決によりアイドルが選挙される。
【００３１】
このように、本発明のロボットの遠隔制御システムは、多くの応用が可能である。
なお、第１のテレビ電話装置及び第２のテレビ電話装置は、テレビ電話機能を備える装置であれば、どのようなものでも良い。コンピュータ、カメラ、ディスプレイ、スピーカ、マイクが一体化された携帯端末でもよい。
【産業上の利用可能性】
【００３２】
本発明のロボットの遠隔制御システムは、テレビ電話信号を伝送する一回線のみでロボットの遠隔制御が可能であり、遠隔コミュニケーション、災害救助、旅行やショッピングなどの遠隔体験、極限環境下における作業、遠隔医療、介護、サービス産業、エンターテイメント分野など、幅広い分野で利用することができる。
【符号の説明】
【００３３】
１０    第１のテレビ電話装置
１１    ＰＣ
１３    カメラ
１４    マイク
２０    第２のテレビ電話装置
２１    ＰＣ
２２    マイク
２３    カメラ
２４    スピーカ
２５    音声入力／出力ボード
２６    通信ＬＡＮボード
２７    無線通信装置
２８    Ｉ／Ｏ
２９    ディスプレイ
６０    ロボット
２００  制御部
２０１  操作部
２１１  メモリ
２３１  人物
２３２  ロボット制御用可視映像
６０１  制御部
６０２  メモリ
６０３  音声入力／出力ボード
６０６  センサ入力／出力ボード
６０７  カメラ
６０８  モータ制御ボード
６０９  右腕モータ
６１０  左腕モータ
６１１  頭部モータ
６１２  移動モータ
６１３  移動モータ
６１４  Ｉ／Ｏ
【図１】
2017147710.tif 000003
【図２】
2017147710.tif 000004
【図３】
2017147710.tif 000005
【図４】
2017147710.tif 000006
【図５】
2017147710.tif 000007
【図６】
2017147710.tif 000008
【図７】
2017147710.tif 000009
【図８】
2017147710.tif 000010
【図９】
2017147710.tif 000011
【図１０】
2017147710.tif 000012