(57)【要約】【課題】ロボットが供給する情報を表示するロボット・ビュー・フィールドと、ロボット情報を受信できる１人または複数のオブザーバに関するオブザーバ情報を表示するオブザーバ・ビュー・フィールドとを含む、遠隔制御ロボット・システム用のグラフィカル・ユーザ・インターフェース。【解決手段】このインターフェースは、マスタ・ユーザがオブザーバの観察および参加を制御できるようになる様々な機能を有している。【選択図】図１
2018075713.tif 000002
【特許請求の範囲】
【請求項１】
ロボットカメラとロボットモニタを含むロボットと、
前記ロボットに接続され、前記ロボットを制御する第一の遠隔制御ステーションであって、第一のステーションカメラと、前記ロボットカメラにより供給された映像を表示するロボット・ビュー・フィールドを含むディスプレイ・ユーザ・インタフェースを表示する第一のステーションモニタを含む第一の遠隔制御ステーションと、
前記ロボットに接続された第二の遠隔制御ステーションであって、第二のステーションカメラと、前記ロボットカメラにより供給された映像を表示する第二のステーションモニタを含む第二の遠隔制御ステーションと
を備えた遠隔制御ロボットシステムにおいて、
前記第一の遠隔制御ステーションにおいて表示される前記ディスプレイ・ユーザ・インタフェースは、第二の遠隔制御ステーションにおけるオブザーバに関するオブザーバ情報を表示するオブザーバ・ビュー・フィールドと、前記第一の遠隔制御ステーションのユーザに、前記第一の遠隔制御ステーションにおいて前記ロボットにより供給された映像の表示を継続しながら、前記ロボットの制御を前記第二の遠隔制御ステーションに移すことを許可する選択的な機能を備え、
前記ロボットモニタは、前記第一の遠隔制御ステーションが前記ロボットを制御する時に、前記第一のステーションカメラから供給された画像を表示し、
前記ロボットモニタは、前記第二の遠隔制御ステーションが前記ロボットを制御する時に、前記第二のステーションカメラから供給された画像を表示する
ことを特徴とする遠隔制御ロボットシステム。
【請求項２】
前記ディスプレイ・ユーザ・インタフェースは、前記オブザーバがセッションに参加できるようになる１つまたは複数のメッセージをさらに含むことを特徴とする請求項１に記載の遠隔制御ロボットシステム。
【請求項３】
前記ディスプレイ・ユーザ・インタフェースは、前記第二の遠隔制御ステーションから前記ロボットへのオーディオの送信を制御する選択可能な機能をさらに備えることを特徴とする請求項１に記載の遠隔制御ロボットシステム。
【請求項４】
前記ディスプレイ・ユーザ・インタフェースは、前記第二の遠隔制御ステーションから前記ロボットへのビデオの送信を制御する選択可能な機能をさらに備えることを特徴とする請求項１に記載の遠隔制御ロボットシステム。
【請求項５】
前記ディスプレイ・ユーザ・インタフェースは、前記ロボットから前記第二の遠隔制御ステーションへのオーディオの送信を制御する選択可能な機能をさらに備えることを特徴とする請求項１に記載の遠隔制御ロボットシステム。
【請求項６】
前記ディスプレイ・ユーザ・インタフェースは、前記ロボットから前記第二の遠隔制御ステーションへのビデオの送信を制御する選択可能な機能をさらに備えることを特徴とする請求項１に記載の遠隔制御ロボットシステム。
【請求項７】
前記ディスプレイ・ユーザ・インタフェースは、前記第二の遠隔制御ステーションが前記ロボットの少なくとも１つのカメラのパラメータを制御できるようになる選択可能な機能をさらに備えることを特徴とする請求項１に記載の遠隔制御ロボットシステム。
【請求項８】
前記ディスプレイ・ユーザ・インタフェースは、前記第二の遠隔制御ステーションが前記ロボットに結合された機器から機器データを受信できるようになる選択可能な機能をさらに備えることを特徴とする請求項１に記載の遠隔制御ロボットシステム。
【請求項９】
前記ロボット情報は、前記ロボットのカメラによって提供され、
前記ディスプレイ・ユーザ・インタフェースは、前記第二の遠隔制御ステーションが前記ロボットのビデオに注釈を書き込めるようになる選択可能な機能をさらに備え、前記注釈は前記ロボット・ビュー・フィールドに表示されることを特徴とする請求項１に記載の遠隔制御ロボットシステム。
【請求項１０】
前記ディスプレイ・ユーザ・インタフェースは、前記第二の遠隔制御ステーションを切り離す選択可能な機能をさらに備えることを特徴とする請求項１に記載の遠隔制御ロボットシステム。
【請求項１１】
前記ディスプレイ・ユーザ・インタフェースは、システム帯域幅使用量を表示し、ユーザが前記システム帯域幅使用量を変更できるようになるダイアログ・ボックスをさらに備えることを特徴とする請求項１に記載の遠隔制御ロボットシステム。
【請求項１２】
前記ディスプレイ・ユーザ・インタフェースは、複数の遠隔制御ステーション間でのみ通信が可能になる選択可能な機能をさらに備えることを特徴とする請求項１に記載の遠隔制御ロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示する主題は、一般にロボット工学の分野に関する。
【背景技術】
【０００２】
危険物の遠隔制御から手術実施の支援に至るまで様々な用途でロボットが使用されてい
る。例えば、Ｗａｎｇ他に付与された米国特許第５，７６２，４５８号には、外科医がロ
ボット制御された機器を使用することにより最小限侵襲医療を実施できるようになるシス
テムが開示されている。Ｗａｎｇのシステムにおけるロボットアームの１つは、カメラ付
きの内視鏡を動かす。このカメラにより、外科医は患者の手術領域を見ることができるよ
うになる。
【０００３】
本出願の譲受人であるＩｎＴｏｕｃｈ  Ｔｅｃｈｎｏｌｏｇｉｅｓ社がＲＰ−７という
商標で市場投入した移動テレプレゼンス・ロボットが販売されている。ＩｎＴｏｕｃｈの
ロボットは、ユーザにより遠隔ステーションで制御される。この遠隔ステーションは、ユ
ーザがロボットの動きを遠隔制御できるようにするジョイスティックを備えたパーソナル
・コンピュータであってよい。ロボットおよび遠隔ステーションの両方がカメラ、モニタ
、スピーカ、およびマイクロホンを有しており、双方向ビデオ／オーディオ通信が可能に
なる。ロボットのカメラが遠隔ステーションの画面にビデオ映像を供給し、そのため、ユ
ーザはロボットの周囲を見ることができ、それに応じてロボットを動かすことができる。
【０００４】
Ｗａｎｇ他に付与され、本出願の所有者であるＩｎＴｏｕｃｈ  Ｔｅｃｈｎｏｌｏｇｉ
ｅｓ社に譲渡された米国特許第７，１５８，８６０号には、すべてテレプレゼンス・ロボ
ットにリンクされるプライマリ遠隔制御ステーションおよび１つまたは複数のセカンダリ
制御ステーションを含むテレプレゼンス・ロボット・システムが開示されている。このシ
ステムは、セカンダリ・ステーションで、ロボットが供給するビデオ／オーディオ・フィ
ードを観察できるようになっている。そのため、セカンダリ・ステーションのユーザは、
ロボットおよびプライマリ・ステーションを介して訓練を受けることができる。そのよう
なシステムを、ステーション間の双方向通信ができる機能またはロボット制御をセカンダ
リ・ステーションの１つに移す機能など、より多くの機能を実施するように変更すること
が望ましいであろう。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第５，７６２，４５８号
【特許文献２】米国特許第７，１５８，８６０号
【特許文献３】米国特許第６，９２５，３５７号
【発明の概要】
【０００６】
ロボットが供給するロボット情報を表示するロボット・ビュー・フィールドと、ロボッ
ト情報を受信できる１人または複数のオブザーバに関するオブザーバ情報を表示するオブ
ザーバ・ビュー・フィールドとを含む、遠隔制御ロボット・システム用のグラフィカル・
ユーザ・インターフェース。
【図面の簡単な説明】
【０００７】
【図１】ロボット利用システムの説明図である。
【図２】ロボットの電気システムの概略図である。
【図３】ロボットの側面図である。
【図４】複数の遠隔ステーションがロボットに結合されたロボット利用システムの概略図である。
【図５】ユーザ・インターフェースの説明図である。
【図６】ユーザ・インターフェースのメッセージ・ポップアップの説明図である。
【図７】図７Ａ−Ｃは、グラフィカル・メッセージの説明図である。
【図８】図５に示された、プルダウン・メニューを含むユーザ・インターフェースの説明図である。
【図９】オブザーバ遠隔制御ステーション用のユーザ・インターフェースを示した説明図である。
【図１０】図５と同様の、マイクロホン音量制御機能を示した説明図である。
【図１１】セッション中のシステムの帯域幅必要量を示したダイアログ・ボックスの説明図である。
【図１２】ロボット頭部の側面図である。
【発明を実施するための形態】
【０００８】
遠隔制御のロボット・システム用の、ロボットが供給する情報を表示するロボット・ビ
ュー・フィールド、およびロボット情報を受信できる１人または複数のオブザーバに関す
るオブザーバ情報を表示するオブザーバ・ビュー・フィールドを含むグラフィカル・ユー
ザ・インターフェースを開示する。このインターフェースは、マスタ・ユーザがオブザー
バの観察および参加を制御できるようになる様々な機能を有している。
【０００９】
参照番号により図面をさらに詳細に参照すると、図１はロボット・システム１０の実施
形態を示している。ロボット・システム１０は、ロボット１２、基地局１４および複数の
遠隔制御ステーション１６を含む。ネットワーク１８を介して各遠隔制御ステーション１
６を基地局１４に結合することができる。例であるが、ネットワーク１８は、インターネ
ットなどのパケット交換ネットワーク、または公衆交換電話網（ＰＳＴＮ）などの回線交
換ネットワーク、またはその他の広帯域システムのいずれであってもよい。モデム２０ま
たは他の広帯域ネットワーク・インターフェース・デバイスにより、基地局１４をネット
ワーク１８に結合することができる。
【００１０】
各遠隔制御ステーション１６は、モニタ２４、カメラ２６、マイクロホン２８およびス
ピーカ３０を有するコンピュータ２２を含むことができる。また、コンピュータ２２は、
ジョイスティックまたはマウスなどの入力デバイス３２を含むこともできる。通常、各制
御ステーション１６は、ロボット１２から離れた場所に位置する。１つのロボット１２し
か示していないが、システム１０は複数のロボット１２を含むことができることを理解さ
れたい。一般に、任意の数の遠隔ステーションによって任意の数のロボット１２を制御す
ることができる。例えば、１つの遠隔ステーション１６を複数のロボット１２に結合する
ことができ、または１つのロボット１２を複数の遠隔ステーション１６に結合することが
できる。
【００１１】
ロボット１２は、ロボット・ハウジング３６に取り付けられた移動プラットフォーム３
４を含む。また、ロボット・ハウジング３６には、カメラ３８、モニタ４０、マイクロホ
ン（複数可）４２およびスピーカ４４も取り付けられる。マイクロホン４２およびスピー
カ３０は、ステレオ音を作成することができる。また、ロボット１２は、基地局１４のア
ンテナ４８に無線で結合されたアンテナ４６を有することもできる。システム１０により
、遠隔制御ステーション１６におけるユーザが、入力デバイス３２の操作を通じてロボッ
ト１２を動かせるようになる。遠隔モニタ２４にロボット・カメラ３８を結合することに
より、遠隔ステーション１６におけるユーザが患者を見ることができるようになる。同様
に遠隔カメラ２６にロボット・モニタ４０を結合することにより、患者がユーザを見るこ
とができるようになる。マイクロホン２８および４２、ならびにスピーカ３０および４４
が患者とユーザとの間の可聴通信を可能にする。
【００１２】
各遠隔ステーションのコンピュータ２２は、Ｍｉｃｒｏｓｏｆｔ社のＯＳソフトウェア
および（登録商標）  ＸＰ、またはＬＩＮＵＸ（登録商標）などの他のオペレーティング
・システムを動作させることができる。また、遠隔コンピュータ２２は、ビデオ・ドライ
バ、カメラ・ドライバ、オーディオ・ドライバおよびジョイスティック・ドライバを動作
させることもできる。ＭＰＥＧ  ＣＯＤＥＣなどの圧縮ソフトウェアを使用してビデオ映
像を送受信することができる。
【００１３】
図２および図３は、ロボット１２の実施形態を示している。ロボット１２は、高レベル
制御システム５０および低レベル制御システム５２を含むことができる。高レベル制御シ
ステム５０は、バス５６に接続されたプロセッサ５４を含むことができる。このバスは、
入力／出力（Ｉ／Ｏ）ポート５８によりカメラ３８に結合され、シリアル出力ポート６０
およびＶＧＡドライバ６２によりモニタ４０に結合される。モニタ４０は、患者がモニタ
画面に触れることにより入力を行えるようにするタッチスクリーン機能を含むことができ
る。
【００１４】
デジタル／アナログ変換器６４により、スピーカ４４がバス５６に結合される。アナロ
グ／デジタル変換器６６により、マイクロホン４２がバス５６に結合される。また、高レ
ベル・コントローラ５０は、ランダム・アクセス・メモリ（ＲＡＭ）デバイス６８、不揮
発性ＲＡＭデバイス７０および大容量記憶デバイス７２を含むこともでき、これらすべて
がバス６２に結合される。大容量記憶デバイス７２は、遠隔制御ステーション１６のユー
ザがアクセスできる患者の医療ファイルを含むことができる。例えば、大容量記憶デバイ
ス７２は患者の写真を含むことができる。ユーザ、特にヘルスケア提供者は、古い写真を
再表示し、モニタ２４上で、カメラ３８が供給する患者の現在のビデオ映像と並べて比較
することができる。ロボットのアンテナ４６を無線送受信機７４に結合することができる
。例であるが、送受信機７４は、ＩＥＥＥ８０２．１１ｂに基づいて情報を送受信するこ
とができる。
【００１５】
コントローラ５４は、ＬＩＮＵＸ  ＯＳオペレーティング・システムで動作することが
できる。また、コントローラ５４は、遠隔制御ステーション１６と通信するためにビデオ
・ドライバ、カメラ・ドライバおよびオーディオ・ドライバと共にＭＳ  ＷＩＮＤＯＷＳ
（登録商標）を動作させることもできる。ＭＰＥＧ  ＣＯＤＥＣ圧縮技術を使用してビデオ情報を送受信することができる。このソフトウェアは、ユーザがロボット・サイトにいるいずれかの人物に、またはその逆にｅメールを送信できるようにするか、またはロボット・サイトにいるいずれかの人物がインターネットにアクセスできるようにすることができる。一般に、高レベル・コントローラ５０は、ロボット１２と遠隔制御ステーション１６との間の通信を制御するように動作する。
【００１６】
シリアル・ポート７６により、高レベル・コントローラ５０を低レベル・コントローラ
５２にリンクすることができる。低レベル・コントローラ５２は、ロボット１２を機械的
に作動させるソフトウェア・ルーチンを実行する。例えば、低レベル・コントローラ５２
は、移動プラットフォームを作動させてロボット１２を動かすための命令を与える。低レ
ベル・コントローラ５２は、高レベル・コントローラ５０から動作命令を受信することが
できる。遠隔制御ステーションから動作命令を動作コマンドの形で受信することができる
。２つのコントローラを示しているが、ロボット１２は、高レベル機能および低レベル機
能を制御する１つのコントローラを有することができることを理解されたい。
【００１７】
図３は、ロボット１２の実施形態を示している。ロボット１２は、ロボット・ハウジン
グ１１２に取り付けられたホロノーム・プラットフォーム１１０を含むことができる。ホ
ロノーム・プラットフォーム１１０は３種類の自由度を与えて、ロボット１２が任意の方
向に動けるようにすることができる。
【００１８】
ロボット１２は、カメラ３８およびモニタ４０を支持する頭部１１４を有することがで
きる。頭部１１４は、矢印で示すようにカメラ２６およびモニタ２４が旋回および枢動で
きるように２種類の自由度を有することができる。
【００１９】
本システムは、譲受人である、Ｓａｎｔａ  Ｂａｒｂａｒａ、Ｃａｌｉｆｏｒｎｉａの
ＩｎＴｏｕｃｈ  Ｈｅａｌｔｈ社がＲＰ−７という商標で提供しているロボット・システ
ムと同じまたは類似している可能性がある。また、本システムは、２００５年８月２日に
付与された米国特許第６，９２５，３５７号で開示されているシステムとも同じまたは類
似している可能性があり、本特許を本明細書に参照により援用するものとする。
【００２０】
動作時には、１人または複数の患者をモニタおよび／または支援する住居、公営あるい
は民間の建物、または施設内にロボット１２を配置することができる。施設は、病院また
は居住型介護施設であってよい。例であるが、ヘルスケア提供者が患者をモニタおよび／
または支援できる住居内にロボット１２を配置することができる。同様に、友人または家
族のメンバが患者と通信することもできる。ロボットおよび遠隔制御ステーション両方に
取り付けられたカメラおよびモニタにより、患者と遠隔ステーション（複数可）にいる人
物との間の遠隔対話が可能になる。
【００２１】
遠隔ステーション１６で入力デバイス３２を操作することにより、住居、建物または施
設からロボット１２を操縦することができる。
【００２２】
何人かの異なるユーザがロボット１０を制御することができる。この制御に対応するた
めに、ロボットは仲裁システムを有することができる。この仲裁システムをロボット１２
のオペレーティング・システムに統合することができる。例えば、高レベル・コントロー
ラ５０のオペレーティング・システムに仲裁技術を組み込むことができる。
【００２３】
例であるが、ユーザをロボット自体、ローカル・ユーザ、介護者、医師、家族またはサ
ービス提供者などのクラスに分類することができる。ロボット１２は、ロボットの動作と
矛盾する入力コマンドを無効にすることができる。例えば、ロボットが壁に突き当たった
場合、システムは、壁の方向へ続くすべての追加コマンドを無視できる。ローカル・ユー
ザとは、ロボットと物理的に共に存在する人物のことである。ロボットは、ローカル操作
を可能にする入力デバイスを備えることもできる。例えば、ロボットは、可聴コマンドを
受け取って解釈する音声認識システムを組み込むことができる。
【００２４】
介護者とは、患者を遠隔的にモニタするいずれかの人物のことである。医師とは、ロボ
ットを遠隔的に制御すると共に、ロボットのメモリに含まれる医療ファイルにアクセスす
ることもできる医療専門家のことである。家族およびサービス・ユーザは、ロボットに遠
隔でアクセスする。サービス・ユーザは、ソフトウェアをアップグレードしたり、または
動作パラメータを設定したりしてシステムを補修することができる。
【００２５】
ロボット１２と遠隔ステーション１６との間でメッセージ・パケットを送信することが
できる。メッセージ・パケットは、コマンドおよびフィードバックを供給する。各パケッ
トが複数のフィールドを有することができる。例であるが、パケットは、ＩＤフィールド
、前進速度フィールド、角速度フィールド、停止フィールド、バンパー・フィールド、セ
ンサ範囲フィールド、構成フィールド、テキスト・フィールドおよびデバッグ・フィール
ドを含むことができる。
【００２６】
遠隔ユーザの識別は、遠隔制御ステーション１６からロボット１２に送信される情報の
ＩＤフィールドに設定できる。例えば、ユーザは、遠隔制御ステーション１６によって実
行されるアプリケーション・ソフトウェア内でセットアップ・テーブルにユーザＩＤを入
力することができる。すると、ユーザＩＤは、ロボットに送信される各メッセージと共に
送信される。
【００２７】
ロボット１２は、占有モードまたは共有モードという２つの異なるモードの一方で動作
することができる。占有モードでは、１人のユーザのみがロボットのアクセス制御権を有
する。占有モードは、各々の種類のユーザに割り当てられた優先度を有することができる
。例であるが、優先度は、ローカル、医師、介護者、家族、そしてサービス・ユーザの順
序であってよい。共有モードでは、２人以上のユーザがロボットへのアクセス権を共有す
ることができる。例えば、介護者がロボットへのアクセス権を有することができ、その後
、介護者が共有モードに入って、医師もロボットにアクセスできるようにすることができ
る。介護者および医師の両方が患者と同時遠隔対話を行うことができる。
【００２８】
仲裁体系は、通知、タイムアウト、待機およびコール・バックという４つの機構のうち
の１つを有することができる。通知機構は、現在のユーザまたは要求しているユーザのい
ずれかに、別のユーザがロボットへのアクセス権を有している旨、またはアクセスを望ん
でいる旨を通知することができる。タイムアウト機構は、特定の種類のユーザに、ロボッ
トへのアクセスを完了するための所定の時間を与える。待機機構は、ロボットにアクセス
するための順序付けられた順番待ちリストである。コールバック機構は、ロボットにアク
セスできる旨をユーザに通知する。例であるが、家族ユーザが、ロボットを使用できる旨
のｅメール・メッセージを受信することができる。表１および表２は、これらの機構が、
様々なユーザからのアクセス要求をどのように解決するかを示すものである。
【００２９】
【表１】
2018075713.tif 000003
【００３０】
【表２】
2018075713.tif 000004
2018075713.tif 000005
【００３１】
ステーション１６とロボット１２との間で送信される情報は暗号化することができる。
加えて、ユーザは、システム１０に入るためにはパスワードを入力しなければならないこ
とがある。すると、選択されたロボットは、ステーション１６によって電子鍵が与えられ
る。ロボット１２は鍵を検証し、ステーション１６に別の鍵を戻す。これらの鍵を使用し
て、セッションで送信される情報を暗号化する。
【００３２】
図４は、ネットワーク１８を介してロボット１２にアクセスできる複数の遠隔ステーシ
ョン１６Ａ、１６Ｂおよび１６Ｃを有するシステムを示している。マスタ遠隔ステーショ
ン１６Ａがロボットの動きを制御し、ロボットのカメラおよびスピーカからの、それぞれ
、ビデオ情報およびオーディオ情報の両方を受信するセッション・モードに入るようにシ
ステムを設定できる。また、オブザーバ・ステーション１６Ｂおよび１６Ｃは、ロボット
１２とステーション１６Ａ間で送信されるオーディオ情報および視覚情報を受信すること
もできる。このモードでは、ステーション１６Ｂおよび１６Ｃの複数のユーザが、ステー
ション１６Ａにいる指導者またはマスタがロボットを動かす間、ロボットの使い方を観察
することができる。
【００３３】
セッション中、マスタ遠隔ステーション１６Ａは、ロボット１２から受信したオーディ
オ／視覚情報をオブザーバ・ステーション１６Ｂおよび１６Ｃに再送信できる。ロボット
から受信したデータ・パケットのＩＤフィールドのＩＤ（複数可）を変更してからオブザ
ーバ・ステーションにパケットを再送信することにより、これを行うことができる。ある
いは、マスタ遠隔ステーション１６Ａが、ロボットに、オーディオ情報および視覚情報を
マスタ１６Ａおよびオブザーバの１６Ｂおよび１６Ｃ遠隔ステーションに送信するように
指示することもできる。各遠隔ステーション１６Ａ、１６Ｂおよび１６Ｃは、ロボットが
各ステーション宛に情報を送ることができるようになるＩＰアドレスなどの一意のネット
ワーク識別子を有していることを理解されたい。パケットは、ロボットからパケットを受
信する遠隔ステーション（複数）のステーションＩＤ（複数）を入れたＢＲＯＡＤＣＡＳ
Ｔ（同報通信）フィールドを含むことができる。ＢＲＯＡＤＣＡＳＴフィールドはマスタ
・ステーション１６Ａが記入できる。
【００３４】
このセッション・モードは、ロボットを使用したトレーニングを可能にする。例えば、
マスタ遠隔ステーション１６Ａは、患者を視覚および聴覚でとらえるようにロボットを動
かす医師が操作することができる。オブザーバ遠隔ステーション１６Ｂおよび１６Ｃは、
患者への医療提供の教育的トレーニングを観察し、受けるインターンなどの人物が担当す
ることができる。医師の教育が説明されているが、トレーニング・エリアから離れた場所
にいる任意のユーザ・グループを訓練するためにもこのシステムを使用できる。例えば、
デパートの職員を訓練するため、または不動産物件の潜在的購入者が不動産を遠隔地から
見ることができるようにするためにもこのシステムを使用できる。
【００３５】
図５は、マスタ制御ステーション１６Ａに表示されるディスプレイ・ユーザ・インター
フェース（「ＤＵＩ」）２００を示している。ＤＵＩ  ２００は、ロボットのカメラによ
ってキャプチャされたビデオ映像を表示するロボット・ビュー・フィールド２０２を含む
ことができる。また、ＤＵＩ  ２００は、マスタ遠隔ステーション１６Ａのカメラによっ
て供給されるビデオ映像を表示するステーション・ビュー・フィールド２０４も含むこと
ができる。ＤＵＩ  ２００は、遠隔ステーション１６Ａのコンピュータ２２によって記憶
および実行されるアプリケーション・プログラムの一部であってよい。
【００３６】
ＤＵＩ  ２００は、そのステーションをロボットに接続するために選択できる「Ｃｏｎ
ｎｅｃｔ（接続）」ボタン２０６を備えることができる。Ｃｏｎｎｅｃｔボタン２０６を
選択することにより、ユーザが所望のロボットを選択できるようになるプルダウン画面な
どを表示することができる。（設定）ボタン２０８および（オプション選択）ボタン２１
０を使用して、それぞれ、システム設定値およびオプションを選択することができる。
【００３７】
オプションの１つは、マルチキャストを可能にすることである。図６は、「Ｅｎａｂｌ
ｅ  Ｍｕｌｔｉｃａｓｔｉｎｇ（マルチキャストを可能にする）」ボックス２１４を含む
メニュー２１２を示しているが、このボックスに「チェック」を入れると、他の遠隔ステ
ーションがマルチキャスト・セッションに参加できるようになる。
【００３８】
オブザーバ・ステーションにおけるユーザは、同じロボットとの接続を試みることがで
きる。ロボットがすでに使用中の場合、画面には、図７Ａに示されるようなメッセージ・
ボックス２１６が表示される。メッセージ・ボックス２１６は「ＯＫ」ボタン２１８を備
えており、このボタンにより、ユーザは、オブザーバとしてセッションに参加することを
要求できるようになる。ロボットに現在接続されているユーザがマルチキャスト機能を使
用可能にしていない場合、図７Ｂに示されているように、その旨を示すメッセージ２２０
が表示される。ユーザが「ＯＫ」ボタン２１８を選択した場合、マスタ・ユーザは、図７
Ｃに示されたメッセージ２２２を受け取ることができる。このメッセージは「Ａｃｃｅｐ
ｔ（受け入れ）」ボタン２２４および「Ｄｅｎｙ（拒否）」ボタン２２６を備えており、
このボタンにより、マスタ・ユーザは、それぞれ、セッションを観察する要求を受け入れ
る、または拒否することができる。オブザーバが受け入れられると、オブザーバは、ロボ
ットからのオーディオ／ビデオ・フィードを受信することができる。
【００３９】
受け入れられたユーザは、図５に示されたマスタ制御ステーションＤＵＩ  ２００のオ
ブザーバ・ビュー・フィールド２２８に表示される。フィールド２２８は、オブザーバ遠
隔制御ステーションのカメラによってキャプチャされたユーザのビデオ映像を表示するこ
とができる。また、それぞれのビデオ映像は、オブザーバの名前のキャプションも含むこ
とができる。このフィールドは、マスタ・ユーザがオブザーバのビデオ映像を下方にスク
ロールできるスクロール・ダウン・タブ２３０を備えている。
【００４０】
マスタ・ユーザは、いずれかのオブザーバ・ビデオ映像を右クリックして、図８に示さ
れたプルダウン・メニュー２３２を表示することができる。プルダウン・メニュー２２８
は、マスタ・ユーザが、選択されたオブザーバ用に様々なオプションを選択できるように
なっている。プルダウン・メニュー２３２は「Ａｌｌｏｗ  Ｔｈｅ  Ｒｏｂｏｔ  Ｔｏ  
Ｈｅａｒ  Ｔｈｉｓ  Ｕｓｅｒ（ロボットにこのユーザの声を聞かせる）」機能２３４を
備えており、これが選択されると、オブザーバはオーディオをロボットに聞かせることが
できる。このシステムは、ロボット、マスタ・ユーザおよび１人のオブザーバ間で同時三
方向オーディオを可能にすることができる。マスタ・ステーションおよびオブザーバ・ス
テーションの両方が「Ｐｕｓｈ  Ｔｏ  Ｔａｌｋ」アイコン２３６を備えている。２人以
上のオブザーバがいる場合、「Ｐｕｓｈ  Ｔｏ  Ｔａｌｋ」アイコン２３６が使用可能に
され、オブザーバは、ウォーキートーキー（ｗａｌｋｉｅ−ｔａｌｋｉｅ）ボタンとほと
んど同じように、話すためには絶えずアイコン２３２を選択しなければならない。ロボッ
トへのオーディオ通信を可能にするために、アイコン２３６が選択された後スペース・バ
ーを押してもよい。「Ｐｕｓｈ  Ｔｏ  Ｔａｌｋ」が選択されると、どのオブザーバがロ
ボットにオーディオ入力を供給しているかを示すために、オブザーバのビデオ映像の中に
アイコン２３８を表示することができる。マスタ・ステーションおよびオブザーバ・ステ
ーションは、「Ｌｏｃａｌ  Ｔａｌｋ」アイコン２４０も有することができる。「Ｌｏｃ
ａｌ  Ｔａｌｋ」アイコンを選択すると、遠隔ステーション間でのみテキスト通信が可能
になり、各インターフェース内にテキスト・チャット・ダイアログ・ボックスがポップア
ップし、マスタ側とオブザーバがテキスト・メッセージを交換できるようになる。テキス
ト・チャット・ダイアログ・ボックスを表示する前に、Ｌｏｃａｌ  Ｔａｌｋを開始した
ユーザにポップアップ・ダイアログ・ボックス（図示せず）を表示することができ、そこ
に、現在のセッション参加者全員がリストされ、そのユーザは、Ｌｏｃａｌ  Ｔａｌｋの
一部になる参加者のみを選択できるようになる。「Ｌｉｍｉｔ  Ｖｏｉｃｅ（音声を限定
する）」ボックス（図示せず）を表示することもでき、これを選択すると、ローカル・チ
ャットの参加者のオーディオ出力をローカル・チャットに参加しているこれら他の遠隔ス
テーションにのみ限定することができる。
【００４１】
「Ａｌｌｏｗ  Ｒｏｂｏｔ  Ｔｏ  Ｓｅｅ  Ｔｈｉｓ  Ｕｓｅｒ（ロボットにこのユー
ザを見せる）」機能２４２を選択すると、オブザーバのビデオ映像をマスタ・ユーザのビ
デオ映像ではなく、ロボットのモニタに表示することができる。そのオブザーバの映像を
ロボットに供給できる場合にオブザーバのビデオ映像をステーション・ビュー・フィール
ド２０４に表示することができる。「Ａｌｌｏｗ  Ｔｈｉｓ  Ｕｓｅｒ  Ｔｏ  Ｓｅｅ  
Ｒｏｂｏｔ  Ｖｉｄｅｏ（このユーザにロボットのビデオを見せる）」機能２４４および
「Ａｌｌｏｗ  Ｔｈｉｓ  Ｕｓｅｒ  Ｔｏ  Ｈｅａｒ  Ｒｏｂｏｔ  Ａｕｄｉｏ（このユ
ーザにロボットのオーディオを聞かせる）」機能２４６を選択すると、オブザーバはロボ
ットから、それぞれ、ビデオ・フィードおよびオーディオ・フィードを受信することがで
きる。
【００４２】
「Ｈｅａｄ  Ｃｏｎｔｒｏｌ（頭部制御）」機能２４８では、選択されたオブザーバが
ロボット頭部を制御して、ロボットのカメラを動かすことができるようになる。「Ｄｒｉ
ｖｉｎｇ（操縦）」機能２５０では、オブザーバがロボットを操縦できるようになる。「
Ｄｒｉｖｉｎｇ」機能が選択されると、位置センサ・データ、バッテリ電力などのロボッ
ト・データが、選択されたオブザーバの遠隔ステーションに供給される。「Ｃａｍｅｒａ
＆  Ａｕｘ  Ｖｉｄｅｏ  Ｃｏｎｔｒｏｌ（カメラおよび補助ビデオ制御）」機能２５
２では、オブザーバがズーム、明るさなどのロボットのカメラ機能を制御できるようにな
る。これらの機能がオブザーバに移されると、マスタ側は、頭部、操縦およびカメラの制
御ができなくなる。
【００４３】
メニュー２３２には、オブザーバが、ロボットによって供給される映像に注釈を書き込
めるようになる「Ｔｅｌｅｓｔｒａｔｉｏｎ（テレストレーション）」機能２５４が含ま
れている。例えば、映像は文書またはＸ線であり得る。オブザーバは、映像に注釈を付け
て、例えばＸ線の１つの領域に円を描いて、ロボット・サイトにいる患者との意思疎通を
図ることができる。マスタ側またはどのオブザーバも、「Ｌｉｖｅ  Ｃｕｒｓｏｒ（ライ
ブ・カーソル）」アイコン２５６を選択することにより、カーソル機能を使用可能にする
ことができる。アイコン２５６を選択すると、ユーザが、ロボットのビデオ映像に重ね書
きされているカーソル２５８を動かせるようになる。カーソル２５８は、セッション中の
すべての遠隔ステーションの映像フィールド２０２上に置かれている。マスタ側およびオ
ブザーバに、それぞれ、異なるカラーを指定することができ、ユーザが異なるカーソルを
見分けられるようになっている。マスタ側またはオブザーバのビデオ映像中にカーソル・
カラー２６０を表示することができる。
【００４４】
聴診器などの医療機器にロボットを接続することもできる。プルダウン・メニュー２３
２の「Ｓｔｅｔｈｅｓｃｏｐｅ（聴診器）」機能２６２では、オブザーバが聴診器からの
機器入力を受信できるようになる。メニュー２３２に、選択されたオブザーバがマスタ・
ユーザになることができる「Ｇｉｖｅ  Ｔｈｉｓ  Ｕｓｅｒ  Ｍａｓｔｅｒ  Ｃｏｎｔｒ
ｏｌ（このユーザにマスタ制御権を与える）」機能２６４を含めることもできる。マスタ
側は、「Ｄｉｓｃｏｎｎｅｃｔ  Ｔｈｉｓ  Ｕｓｅｒ（このユーザを切り離す）」機能２
６６を選択することによりオブザーバを切り離すこともできる。
【００４５】
図９は、オブザーバ用のユーザ・インターフェース２７０を示している。このインター
フェースは、マスタ・ユーザによって使用可能にされない限り、ロボット制御機能を含ま
ない。インターフェース２７０はマスタＤＵＩ  ２００と類似しているが、一部のロボッ
ト制御機能は含まれない。
【００４６】
図５を再度参照すると、ロボット・ビュー・フィールド２０２およびステーション・ビ
ュー・フィールド２０４の両方が、ビデオ表示およびオーディオ表示を変更するための、
関連したグラフィックスを有することができる。例えば、各フィールドは、それぞれ、カ
メラのズームおよび明るさを変更するためのグラフィカル・スライド・バー２８０および
２８２を有することができる。グラフィカル・カメラ・アイコン２８４の１つを選択する
ことにより、ロボットまたは遠隔ステーションのどちらでもスチール写真を撮ることがで
きる。スチール写真は、カメラ・アイコン２８４が選択された時に、対応するフィールド
２０２または２０４に表示される映像である。ビデオのキャプチャおよび再生は、グラフ
ィカル・アイコン２８６から行うことができる。グラフィカルＬＩＶＥボタン２８８を選
択することにより、スチール写真を撮った後、キャプチャされたビデオの後、またはスラ
イド・ショーを検討した後、リアルタイム・ビデオへの戻りを再開できる。
【００４７】
「Ｌｏｃａｌ  Ｃｏｎｔｒｏｌｓ（ローカル制御）」には、ローカル・ステーションの
スピーカ２９０およびマイクロホン２９２用のスライド・バーを含むことができる。また
、ユーザの声の音量と共に変化するマイクロホン・メーター・アイコン２９４も表示され
ている。ロボットの音量は、ユーザの入力の音量と異なってよい。「Ｒｅｍｏｔｅ  Ｃｏ
ｎｔｒｏｌｓ（遠隔制御）」には、ロボットにおけるユーザのオーディオ音量を表すマイ
クロホン・メーター・アイコン２９６も含む。ロボット・サイトでのユーザの音量がロボ
ットのスピーカ音量を変更できるように、ロボットはローカル音量制御を有することがで
きる。通常、メーター・アイコン２９４および２９６は基本的に同じ値を表すことになる
。例えば、ロボットのローカル音量制御がロボット・サイトで調整されている場合、ロボ
ットの音量はユーザの入力音量と異なることがある。図１０に示されているように、これ
が発生した場合、音量スライド・バー２９２を使用可能にして、ユーザがマイクロホンを
変更できるようにすることができる。ＤＵＩは、そのボタンが選択されると、ロボットの
スピーカ音量を中央位置に自動的にリセットすることができる「Ｒｅｓｅｔ」ボタン２９
８も表示することができる。
【００４８】
図５を参照すると、ロボット・ビュー・フィールド２０２は、その機能が選択されると
、すべての遠隔ステーションからロボットへのオーディオおよびビデオ送信を阻止する「
Ｖｉｄｅｏ  Ｍｕｔｅ  Ｔｏ  Ｒｏｂｏｔ（ロボットへのビデオ・ミュート）」機能３０
０も有することができる。フィールド２０２は、その機能が選択されると、オブザーバ・
ステーションがロボットおよびマスタ制御ステーション両方からのロボットのビデオおよ
びオーディオ受信を阻止できる「Ｍａｓｔｅｒ／Ｒｏｂｏｔ  Ｐｒｉｖａｃｙ（マスタ／
ロボットのプライバシー）」機能３０２も有することができる。
【００４９】
オブザーバ・ステーションへのビデオ・フィードを制御することにより、マスタ・ユー
ザがシステムの帯域幅を調整できるようにすることもできる。図１１は、セッション中の
様々な参加者の帯域幅使用量を参加者間のパケット消失およびジッタなどのネットワーク
・ヘルス・パラメータと共に表示するダイアログ・ボックス３１０を示している。「Ｄｒ
ｏｐ  Ｖｉｄ（ビデオを除去する）」ボタン３１２をオブザーバ・ステーションの隣に置
いて、マスタ・ユーザが特定のオブザーバのビデオを除去できるようにすることができる
。
【００５０】
図１２は、カメラ３８およびモニタ４０に枢動および回転の両方を行わせることができ
る非移動型ロボット頭部３２０を示している。ロボット頭部３２０はロボット１２と類似
しうるが、プラットフォーム１１０はない。ロボット頭部３２０は、枢動軸４に関するカ
メラ３８およびモニタ４０の枢動、および回転軸５に関するカメラ３８およびモニタ４０
の回転の両方を行わせるために同じ機構および同じ部品を有してよい。枢動軸は、回転軸
と交差してもよい。枢動と回転の両方を行うロボット頭部３２０を有することは、広い表
示領域を提供する。ロボット頭部３２０は、移動ロボット１２と共に、または移動ロボッ
ト１２の代わりにシステム内にあってよい。
【００５１】
本システムは、多数の用途があり得る。例えば、集中治療専門医が救急室の患者を診断
するためにロボットとの遠隔プレゼンス・セッションを開始することができる。患者を診
察した後、その医師は、患者の評価は、神経科の専門家による相談が必要であることが理
解できる。集中治療専門医は神経科医に電話をかけ、セッションに参加するように依頼す
る。電話依頼を受けると、その神経科医は自分のラップトップを開き、インターフェース
上のロボット・リストから問題のロボットを選択し、「Ｃｏｎｎｅｃｔ」をクリックする
。図７Ａのメッセージを見て、神経科医は「ＯＫ」をクリックする。すると、図７Ｂのメ
ッセージが表示される。そのうちに図７Ｃのメッセージが表示され、神経科医は「Ａｃｃ
ｅｐｔ」をクリックする。この時点で、神経科医はロボットのビデオを受信し、ロボット
側のオーディオおよび集中治療専門医の声の両方が聞こえる。
【００５２】
集中治療専門医はＬｉｖｅ  Ｃｕｒｓｏｒを使用して、患者の顔および壁のＥＥＧデー
タを指すことができる。神経科医は、患者の隣およびロボットの前に立つ看護師が提供で
きる背景情報、および集中治療専門医によってマスタ制御ステーション上に提供されるＩ
ＣＵ固有の情報を入手する。神経科医は、患者の状態についてオーディオの評価を与える
ことができる。次に、集中治療専門医がフィールド２８８の神経科医のサムネール映像を
右クリックし、プルダウン・メニュー内の適切な機能をクリックして、ロボットで神経科
医が見えて、神経科医の声が聞こえるようにする。次に、神経科医が患者および家族の両
方に状態を知らせることができる。
【００５３】
別の用途では、外科医がロボットにログオンして、病院内の病室を回診することもある
。他の町の病院の研修医が、上述のような方法でセッションに参加する。外科医は、自分
が何をしているかを研修医に説明し、研修医は質問することができ、それにより、研修医
は、患者を回診する最良の方法を学ぶことができる。
【００５４】
別の用途では、病院のＣＥＯがロボットに接続することができ、そのＣＥＯが、病院が
スタッフに加えようと誘っている３人の将来の医者に電話をかける。これらの医者は、そ
れぞれ、上述のようにセッションに参加する。ＣＥＯは、次に、ジョイスティックを使用
して病院内でロボットを操縦して仮想ツアーを行い、オブザーバ医師と設備について話し
合う。
【００５５】
さらに別の用途では、ＭＲＩ製造会社の営業ＶＰが病院の研究棟内のロボットに接続す
ることができ、別の病院のＣＯＯにセッションに参加するように電話する。ＣＯＯが参加
すると、営業ＶＰはロボットをＭＲＩラボ内に移動させ、ＭＲＩマシンの周りで動かして
、その機能を説明する。オンサイトのＭＲＩ技術者が営業ＶＰの指示でいくつかの制御動
作を行う。営業ＶＰは、ＭＲＩマシンを購入する様々な利点をＣＯＯに説明する。
【００５６】
いくつかの例示的な実施形態が説明され、添付の図面に示されているが、通常の当業者
は様々な他の変更を思いつくことができるので、そのような実施形態は、この広範な発明
の例証にすぎず、限定ではないこと、および本発明は、図示され、説明された特定の構成
および仕組みに限定されないことを理解されたい。
【符号の説明】
【００５７】
１０  ロボット・システム；  １２  ロボット；  １４  基地局；  １６  遠隔制御ステ
ーション；  １８  ネットワーク；  ２０  モデム；  ２２  コンピュータ；  ２４  モ
ニタ；  ２６，３８  カメラ；３０  スピーカ；  ３２  入力デバイス；  ３４  移動プ
ラットフォーム；  ３６  ロボット・ハウジング；  ４０  モニタ；  ４２，２８  マイ
クロホン；  ４４  スピーカ４４；  ４６，４８  アンテナ。
【図１】
2018075713.tif 000006
【図２】
2018075713.tif 000007
【図３】
2018075713.tif 000008
【図４】
2018075713.tif 000009
【図５】
2018075713.tif 000010
【図６】
2018075713.tif 000011
【図７】
2018075713.tif 000012
【図８】
2018075713.tif 000013
【図９】
2018075713.tif 000014
【図１０】
2018075713.tif 000015
【図１１】
2018075713.tif 000016
【図１２】
2018075713.tif 000017