(57)【要約】【課題】  操作者の動きに基づき、テレプレゼンス・ロボットを自然に制御する。【解決手段】  操作者の動きに基づき、コンピューティング・デバイスによって、テレプレゼンス・ロボットに用いる制御シグナルを生成するためのコンピュータ実装方法を開示する。操作者の少なくとも一部分が位置する方向は、ステップＳ１０２で、操作者の少なくとも一部分の画像を取得するカメラに基づき計算される。操作者の少なくとも一部分が向いている方位は、ステップＳ１０３で、カメラに基づき計算される。次いで、テレプレゼンス・ロボットの１つまたは複数の動作パラメータが、ステップＳ１０７で、方位と組み合わされた方向に基づき、制御シグナルとして生成される。方向および方位は、１つまたは複数の動作パラメータに別様に反映される。【選択図】図５
2017092509.tif 000002
【特許請求の範囲】
【請求項１】
操作者の動きに基づき、コンピューティング・デバイスによって、テレプレゼンス・ロボットに用いる制御シグナルを生成するためのコンピュータ実装方法であって、
前記操作者の少なくとも一部分の画像を取得するカメラに基づき、前記操作者の少なくとも一部分が位置する方向を計算することと、
前記操作者の少なくとも一部分が向いている方位を計算することと、
前記方位と組み合わされた前記方向に基づき、前記テレプレゼンス・ロボットの１つまたは複数の動作パラメータを前記制御シグナルとして生成することと
を含み、前記方向および前記方位が、前記１つまたは複数の動作パラメータに別様に反映される、コンピュータ実装方法。
【請求項２】
前記カメラを据え付け、かつ前記テレプレゼンス・ロボットのビューを示すように構成されたディスプレイに、前記操作者が焦点を合わせているか否かを、前記方向および前記方位のうち少なくとも１つに基づき決定することをさらに含み、
前記生成することは、前記決定の結果に従って、前記方向および前記方位に別様に重み付けすることを含む、
請求項１に記載の方法。
【請求項３】
前記重みづけは、
前記操作者が前記ディスプレイに焦点を合わせている場合に、前記方向にはより重い重みを設定することと、前記方位にはより軽い重みを設定することと
を含む、請求項２に記載の方法。
【請求項４】
前記重みづけは、
前記操作者が前記ディスプレイの外に焦点を合わせている場合に、より軽い重みを前記方向に設定することと、より重い重みを前記方位に設定することと
を含む、請求項２に記載の方法。
【請求項５】
前記テレプレゼンス・ロボットの前記１つまたは複数の動作パラメータは、前記テレプレゼンス・ロボットの異なる部分にそれぞれ対応する複数のパラメータを含み、各パラメータは、前記方向および前記方位について異なる関数によって決定される、請求項１に記載の方法。
【請求項６】
前記テレプレゼンス・ロボットの前記１つまたは複数の動作パラメータは、前記テレプレゼンス・ロボットの一部分の１つまたは複数の角度、前記テレプレゼンス・ロボットに取り付けられた遠隔カメラの１つまたは複数の角度、前記テレプレゼンス・ロボットに取り付けられた遠隔ディスプレイの１つまたは複数の角度、および前記テレプレゼンス・ロボットに取り付けられた遠隔カメラおよび遠隔ディスプレイのセットの１つまたは複数の角度のうち、少なくとも１つを含む、請求項１に記載の方法。
【請求項７】
前記テレプレゼンス・ロボットの前記１つまたは複数の動作パラメータは、以下の式によって決定される前記テレプレゼンス・ロボットの角度Ｔを含み、
【数１】
2017092509.tif 000007
上式で、ｔ１は前記方向を表し、ｔ２は前記方位を表し、Ｍ、ＮおよびＫは、所定の定数をそれぞれ表す、
請求項１に記載の方法。
【請求項８】
前記操作者の動きからテレプレゼンス・ロボットの動きに、前記方向は、点対称な方式で反映され、前記方位は、同調方式で反映される、請求項１に記載の方法。
【請求項９】
前記操作者の前記少なくとも一部分は、前記操作者の顔であり、前記テレプレゼンス・ロボットは、前記操作者の顔を示すように構成される遠隔ディスプレイと、前記テレプレゼンス・ロボットの周囲の情報を収集するように構成される遠隔カメラと、前記遠隔カメラおよび前記遠隔ディスプレイのうち少なくとも１つを少なくとも１つの軸に沿って駆動するように構成される１つまたは複数のアクチュエータとを有する、請求項１に記載の方法。
【請求項１０】
前記コンピューティング・デバイスは、前記カメラが据え付けられるか、前記テレプレゼンス・ロボットに含まれるか、または前記テレプレゼンス・ロボットに接続される、請求項１に記載の方法。
【請求項１１】
操作者の動きに基づき、テレプレゼンス・ロボットに用いる制御シグナルを生成するためのコンピューティング・デバイスを含むテレプレゼンス・システムであって、前記コンピューティング・デバイスは、
前記操作者の少なくとも一部分の画像を取得するカメラに基づき、前記操作者の少なくとも一部分が位置する方向を計算するように構成される、方向計算装置と、
前記操作者の少なくとも一部分が向いている方位を計算するように構成される、方位計算装置と、
前記方位と組み合わされた前記方向に基づき、前記テレプレゼンス・ロボットの１つまたは複数の動作パラメータを制御シグナルとして生成するように構成される、発生装置と
を含み、前記方向および前記方位は、１つまたは複数の動作パラメータに別様に反映される、テレプレゼンス・システム。
【請求項１２】
前記コンピューティング・デバイスは、
前記カメラを据え付け、かつ前記テレプレゼンス・ロボットのビューを示すように構成されたディスプレイに、前記操作者が焦点を合わせているか否かを、前記方向と前記方位のうち少なくとも１つに基づき決定するように構成される決定装置をさらに含み、
前記発生装置は、決定の結果に従って、前記方向および前記方位に別様に重み付けする、さらに構成される、
請求項１１に記載のテレプレゼンス・システム。
【請求項１３】
前記発生装置は、前記操作者が前記ディスプレイに焦点を合わせている場合に、より重い重みを前記方向に設定し、より軽い重みを前記方位に設定するようにさらに構成される、請求項１２に記載のテレプレゼンス・システム。
【請求項１４】
前記発生装置は、前記操作者が前記ディスプレイの外に焦点を合わせている場合に、より軽い重みを前記方向に設定し、より重い重みを前記方位に設定するようにさらに構成される、請求項１２に記載のテレプレゼンス・システム。
【請求項１５】
前記テレプレゼンス・ロボットの前記１つまたは複数の動作パラメータは、前記テレプレゼンス・ロボットの異なる部分にそれぞれ対応する複数のパラメータを含み、各パラメータは、前記方向および前記方位についての異なる関数によって決定される、請求項１１に記載のテレプレゼンス・システム。
【請求項１６】
前記操作者の前記少なくとも一部分が、前記操作者の顔であり、さらに、 
前記テレプレゼンス・ロボットは、前記操作者の顔を示すように構成される遠隔ディスプレイと、前記テレプレゼンス・ロボットの周囲の情報を収集するように構成される遠隔カメラと、少なくとも１つの軸に沿って前記遠隔カメラおよび前記遠隔ディスプレイのうち少なくとも１つを駆動するように構成される１つまたは複数のアクチュエータとを有し、
前記テレプレゼンス・システムは、前記操作者を実体化するローカル・ロボットを含み、前記ローカル・ロボットは、前記操作者の顔の画像を取得するように構成される前記カメラと、テレプレゼンス・ロボットのビューを操作者に示すように構成されるローカル・ディスプレイと、を有する、前記カメラおよび前記ローカル・ディスプレイのうち少なくとも１つを駆動するように構成される１つまたは複数のローカル・アクチュエータとを有する、
請求項１１に記載のテレプレゼンス・システム。
【請求項１７】
前記コンピューティング・デバイスは、前記カメラが取り付けられるか、前記テレプレゼンス・ロボットに含まれるか、または前記テレプレゼンス・ロボットに接続される、請求項１２に記載のテレプレゼンス・システム。
【請求項１８】
操作者の動きに基づいてテレプレゼンス・ロボットに用いる制御シグナルを生成するための、プログラム命令を用いて実体化されるコンピュータ・プログラムであって、前記プログラム命令は、
前記操作者の少なくとも一部分の画像を取得するカメラに基づき、前記操作者の少なくとも一部分が位置する方向を計算することと、
前記操作者の少なくとも一部分が向いている方位を計算することと、
前記方位と組み合わされた前記方向に基づき、前記テレプレゼンス・ロボットの１つまたは複数の動作パラメータを前記制御シグナルとして生成することと
を含むコンピュータ実装方法をコンピュータに実施させるように、前記コンピュータによって実行可能であり、前記方向および前記方位は、１つまたは複数の動作パラメータに別様に反映される、コンピュータ・プログラム。
【請求項１９】
前記方向および前記方位のうち少なくとも１つに基づき、前記カメラを据え付けたディスプレイに前記操作者が焦点を合わせているか否かを決定することをさらに含み、前記ディスプレイは、前記テレプレゼンス・ロボットのビューを示すように構成され、
前記発生は、前記決定の結果に従って、前記方向および前記方位に別様に重みづけすることを含む、
請求項１８に記載のコンピュータ・プログラム。
【請求項２０】
前記重みづけすることは、
前記操作者が前記ディスプレイに焦点を合わせている場合に、より重い重みを前記方向に設定することと、より軽い重みを前記方位に設定することと
を含む、請求項１９に記載のコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願の発明は、概して、テレプレゼンス・ロボット、より具体的には、テレプレゼンス・ロボットに用いる制御シグナルを発生させるための方法、テレプレゼンス・システムおよびコンピュータ・プログラムに関する。
【背景技術】
【０００２】
遠隔講習会での話者と聴衆との通信など、人と人との通信に用いるテレプレゼンス・システムに、パン・チルト・モータを据え付けたテレプレゼンス・ロボット、ディスプレイおよびカメラを利用して、ある参加者（例えば講演者、話者）を他の参加者（例えば生徒、聴衆）に対し物理的に実体化させることができる。テレプレゼンス・ロボットの主な役割は、ある参加者に他の参加者の情報を提供するだけではなく、テレプレゼンス・ロボットによって高められたソーシャル・プレゼンスを通じて、他の参加者との一体性をもたらすことをも含む。あるサイトにいる操作者は、頭部を動かすテレプレゼンス・ロボットを遠隔操作で制御することができる。そして、ロボットは、カメラの付いた顔を動かして、他のサイトにいるそのロボットの周囲の情報を操作者に与えることができる。テレプレゼンス・ロボットは、操作者の意図、特徴および状況を他の参加者に伝えるために、その動きを真似ることで操作者の挙動を表出する。
【０００３】
キーボードやコントローラ・デバイスなどの入力デバイスを使用して、テレプレゼンス・ロボットを制御することは、操作者に認知上の負荷を与え、その結果、講演、操作命令など、認知上複雑なタスクを行う間にパフォーマンの低下をもたらす。操作者は、自身の表現に集中し過ぎれば、制御のことを忘れることがある。あるいは、操作者は、ロボットを制御するための操作に気を取られていれば、自身の表現に集中することができない。
【０００４】
また、ジャイロ・センサを据え付けたＨＭＤ（ヘッド・マウント・ディスプレイ）を使用することによって制御されるロボットも提供されており、このジャイロ・センサは、操作者の動きを遠隔ロボットに再現する。しかし、そのようなセンサ・デバイスを装着することは、操作者にとって負担であることがある。ＨＭＤで覆われた顔は、顔の表情を堅いものとし、その表情は、聴衆に与える親しみを薄いものとすることがある。操作者の不随意の動きに起因する、よそ見などのロボットのぎこちない挙動もまた、考慮されるべきである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
求められているのは、テレプレゼンス・ロボットに用いる制御シグナルを発生させるための方法、テレプレゼンス・システム、および関連のコンピュータ・プログラムであり、それらは、操作者の自然な表情を妨げる追加の装置を必要とすることなく、および操作者に認知上の多大な負荷を与えることなく、操作者の動きに基づき、テレプレゼンス・ロボットを用いて、操作者の自然な身体性を表出することが可能である。
【課題を解決するための手段】
【０００６】
本願の発明の実施形態によれば、操作者の動きに基づき、コンピューティング・デバイスによって、テレプレゼンス・ロボットに用いる制御シグナルを発生させるためのコンピュータ実装方法が提供される。本法は、操作者の少なくとも一部分の画像を取得するカメラに基づいて、操作者の少なくとも一部分が位置する方向を計算することを含む。本法はまた、操作者の少なくとも一部分が向いている方位を計算することを含む。本法はまた、方位と組合せられた方向に基づいて、テレプレゼンス・ロボットの１つまたは複数の動作パラメータを、制御シグナルとして発生することを含み、その方向および方位は、１つまたは複数の動作パラメータに別様に反映される。
【０００７】
本願の発明の他の実施形態によれば、操作者の動きに基づき、テレプレゼンス・ロボットに用いる制御シグナルを発生させるためのコンピューティング・デバイスを含むテレプレゼンス・システムが提供される。コンピューティング・デバイスは、方向計算装置を含み、この計算装置は、操作者の少なくとも一部分の画像を取得するカメラに基づいて、操作者の少なくとも一部分が位置する方向を計算するように構成される。コンピューティング・デバイスはまた、方位計算装置を含み、この計算装置は、操作者の少なくとも一部分が向いている方位を計算するように構成される。コンピューティング・デバイスはさらに、発生装置を含み、この発生装置は、方位と組合せられた方向に基づいて、テレプレゼンス・ロボットの１つまたは複数の動作パラメータを、制御シグナルとして発生するように構成され、その方向および方位は、１つまたは複数の動作パラメータに別様に反映される。
【０００８】
本願の発明の１つまたは複数の態様に関するコンピュータ・プログラムもまた、本開示に記載および請求される。
【０００９】
追加の特徴および利点は、本願の発明の技術を通じて理解される。本発明の他の実施形態および態様は、本開示に詳細に記載されるか、または、請求項の発明の一部分であるものと考えられる。
【図面の簡単な説明】
【００１０】
【図１】本願の発明の例示的な実施形態による、遠隔講習会に使用されるテレプレゼンス・システムの概略図である。
【図２】本願の発明の例示的な実施形態による、コンピューティング・デバイスを含むテレプレゼンス・ロボットのハードウェア構成を示す。
【図３】本願の発明の例示的な実施形態による、テレプレゼンス・システムのブロック図である。
【図４Ａ】本願の発明の例示的な実施形態による、操作者の意図的な動きおよび不随意の動きの角度を示す図である。
【図４Ｂ】本願の発明の例示的な実施形態による、操作者の顔の方向をコンピューティング・デバイスによって検出するための顔追跡処理を示す図である。
【図４Ｃ】本願の発明の例示的な実施形態による、操作者の顔の方位をコンピューティング・デバイスによって推定するための推定処理を示す図である。
【図５】本願の発明の例示的な実施形態による、操作者の動きに基づき、テレプレゼンス・ロボットを制御するためのプロセスを描いたフローチャートである。
【図６Ａ】本願の発明の例示的な実施形態による、遠隔テレプレゼンス・ロボットの動作パラメータを示す図である。
【図６Ｂ】本願の発明の例示的な実施形態による、遠隔テレプレゼンス・ロボットの動作パラメータを示す図である。
【図７Ａ】本願の発明の特に好ましい実施形態による、操作者の意図的な動きによるテレプレゼンス・ロボットの動きを説明する図である。
【図７Ｂ】本願の発明の特に好ましい実施形態による、操作者の不随意の動きによるテレプレゼンス・ロボットの動きを説明する図である
【発明を実施するための形態】
【００１１】
ここで、具体的な実施形態を使用して本願の発明を記載するが、以下記載の実施形態は、例としてのみ参照され、本願の発明の範囲を限定することを意図するものではないことを理解されたい。
【００１２】
本願の発明による１つまたは複数の実施形態は、操作者の動きに基づいて、コンピューティング・デバイスによって、テレプレゼンス・ロボットに用いる制御シグナルを発生させるための方法、テレプレゼンス・システムおよびコンピュータ・プログラムに関する。
【００１３】
ここで、図１〜７を参照すると、本願の発明の１つまたは複数の実施形態による、テレプレゼンス・システム、および上記テレプレゼンス・システムにおいてテレプレゼンス・ロボットに用いる制御シグナルを発生させるための方法が示されている。
【００１４】
図１を参照すると、本願の発明の例示的な実施形態による遠隔講習会に使用されるテレプレゼンス・システム１００の概略図が示されている。主に、話者（例えば講演者）１３０のための話者サイト１１０と、聴衆（例えば生徒）１７０のための聴衆サイト１５０とを含む、２つのサイトがある。サイト１１０、１５０のそれぞれでは、話者１３０と聴衆１７０との通信内でのソーシャル・プレゼンスを高めるために、テレプレゼンス・ロボット１２０、１６０が提供される。テレプレゼンス・ロボット１２０、１６０はネットワーク１０２を介して連結され、互いに通信する。ネットワーク１０２は、以下に限定されないが、ローカル・エリア・ネットワーク（ＬＡＮ）、汎用ワイド・エリア・ネットワーク（ＷＡＮ）、パブリック・ネットワーク（例えば、インターネット、セルラー・ネットワーク）などが挙げられよう。
【００１５】
図１を参照すると、テレプレゼンス・ロボット１２０、１６０のそれぞれは、胴部１２２、１６２と頭部１２４、１６４とを有する。各頭部１２４、１６４は、ディスプレイ１６６（ロボット１２０には示されていない）およびカメラ１６８（ロボット１２０には示されていない）が据え付けられた顔を有する。記載する実施形態では、頭部１２４、１６４は、２つの軸でアクチュエータによって可動であり、その結果、頭部１２４、１６４、つまりそれらの顔は、胴部１２２、１６２とは独立してパンおよびチルトすることができる。しかし、これは、本願の発明の１つまたは複数の実施形態についての可能な設計の一例である。他の実施形態では、頭部は、１つの軸または２つを超える軸で可動であってもよく、ディスプレイ（または顔）およびカメラ（または眼）が、１つまたは複数の軸で別個に可動であってもよい。
【００１６】
テレプレゼンス・システム１００では、テレプレゼンス・ロボット１２０、１６０は、ある参加者を別の参加者（複数可）に対して互いに物理的に実体化することができる。話者サイト１１０のテレプレゼンス・ロボット１２０のカメラによって得られるビュー（ｖｉｅｗ）は、ネットワーク１０２を介して聴衆サイト１５０のテレプレゼンス・ロボット１６０に送信されて、ディスプレイ１６６によって、話者サイト１１０のビュー（例えば話者１３０の顔）を示し、その逆もまた同様である。マスター・モードで操作されるテレプレゼンス・ロボット（例えば話者サイト１１０のロボット１２０）は、カメラによって話者の顔を検出および追跡し、ディスプレイによって、相方ロボット、すなわちスレイブ・モードで操作されるテレプレゼンス・ロボット（例えば聴衆サイト１５０のロボット１６０）の視点からの聴衆サイト１５０の眺めを示すことができる。スレイブ・モードで操作されるテレプレゼンス・ロボット（例えばロボット１６０）は、話者の顔をディスプレイ１６６によって示し、話者１３０の顔の動きに沿って頭部１６４をパンおよびチルトすることができる。
【００１７】
ここで図２を参照すると、テレプレゼンス・ロボット１０（図１に示すテレプレゼンス・ロボット１２０、１６０のそれぞれに対応）のハードウェア構成の概略図が描かれている。図２に示すテレプレゼンス・ロボット１０は、適切なテレプレゼンス・ロボットの一例に過ぎず、本開示に記載の発明の実施形態の使用または機能性の範囲について何らかの限定を示唆することを意図するものではない。ともかくも、テレプレゼンス・ロボット１０は、本開示の以下に記載の機能性のいずれかを実装されるか、実施するかまたはそれらの両方が可能である。
【００１８】
テレプレゼンス・ロボット１０のコンポーネントとしては、以下に限定されないが、プロセッサ（または処理ユニット）１２、およびバス３０によって上記プロセッサ１２に結合されたメモリ１４が挙げられ、上記バスは、メモリ１４からプロセッサ１２を含めて様々なシステム・コンポーネントを結合する。バス３０は、いくつかのタイプのバス構造のいずれか１つまたは複数を表し、そのようなバス構造としては、メモリ・バスまたはメモリ・コントローラ、周辺機器用バス、アクセラレーテッド・グラフィックス・ポート、および種々のバス・アーキテクチャのいずれかを使用するプロセッサまたはローカル・バスが挙げられる。
【００１９】
テレプレゼンス・ロボット１０は、典型的には、種々のコンピュータ読み取り可能な媒体を含む。そのような媒体は、テレプレゼンス・ロボット１０がアクセスすることができる、いかなる利用可能な媒体としてもよく、揮発性および不揮発性の両方の媒体、着脱可能および着脱不能な両方の媒体が挙げられる。
【００２０】
メモリ１４としては、ランダム・アクセス・メモリ（ＲＡＭ）など、揮発性メモリの形態のコンピュータ読み取り可能な媒体を挙げることができる。テレプレゼンス・ロボット１０はさらに、他の着脱可能／着脱不能な、揮発性／不揮発性の記憶媒体を含んでいてもよい。例示的のみのものであるが、記憶デバイス１６を、着脱不能の不揮発性の磁性媒体から読み出しまたは書き込みするために提供することができる。以降にさらに描写または記載するように、記憶デバイス１６は、一連（例えば少なくとも１つ）のプログラム・モジュールを有する少なくとも１つのプログラム・プロダクトを含み、上記プログラム・モジュールは、本発明の実施形態の機能を行うように構成される。
【００２１】
一連（少なくとも１つ）のプログラム・モジュールを有するプログラム／ユーティリティは、例であり限定するものではないものの記憶デバイス１６に記憶されてもよく、同様に、操作システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュールおよびプログラム・データであってもよい。上記操作システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュールおよびプログラム・データ、またはそれらのいくつかの組合せは、ネットワーキング環境の実装を含んでいてもよい。プログラム・モジュールは、一般に、本開示に記載するような発明の実施形態の機能、方法論またはそれらの両方を行う。
【００２２】
テレプレゼンス・ロボット１０はまた、１つまたは複数の周辺機器を含んでいてもよく、そのような周辺機器としては、ディスプレイ２０、カメラ２２、パン・アクチュエータおよびチルト・アクチュエータ２６、２８を駆動するアクチュエータ・ドライバ２４、およびテレプレゼンス・ロボット１０を１つまたは複数の他のテレプレゼンス・ロボットまたはコンピューティング・デバイスと通信することを可能にするネットワーク・アダプタ１８がある。テレプレゼンス・ロボット１０は、ネットワーク・アダプタ１８を介して、ＬＡＮ、ＷＡＮ、パブリック・ネットワーク（例えばインターネット）、またはこれらの組み合わせなどのネットワーク１０２と通信することができる。描かれるように、ネットワーク・アダプタ１８は、バス３０を介して、テレプレゼンス・ロボット１０の他のコンポーネントと通信する。
【００２３】
図２に示すように、テレプレゼンス・ロボット１０は、単一の装置の形態で記載され、この装置は、ロボット機構２４、２６、２８全てと、ディスプレイ２０と、カメラ２２と、上記ロボット機構、ディスプレイ２０およびカメラ２２を制御するためのコンピューティング・デバイスとを含む。しかし、他の実施形態では、テレプレゼンス・ロボット１０のコンポーネントは、種々の形態で別々に提供され、インターフェースまたはネットワークを介して結合されてもよく、そのようなインターフェースまたはネットワークとしては、ユニバーサル・シリアル・バス（ＵＳＢ）、ＷｉＦｉ（登録商標）通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信や、テレプレゼンス・ロボット１０を作り上げるための他のコンピュータ・バスまたはパワー・コネクタなどがある。
【００２４】
具体的な実施形態では、プロセッサ、メモリ、記憶デバイス、ネットワーク・アダプタ、ディスプレイおよびカメラが、コンピュータ・システム、およびアクチュエータ・ドライバ、アクチュエータを含むロボット機構として提供され、他の機構が、上記コンピュータ・システム用の外部の周辺機器またはアクセサリとして提供される。具体的な実施形態では、コンピュータ・システムは、数多くの汎用または専用のコンピューティング・システムの環境および構成を用いて動作可能である。テレプレゼンス・ロボット１０と共に使用するのに適した周知のコンピューティング・システム、環境、構成またはそれらの組合せの例としては、以下に限定されないが、タブレット・コンピュータ・システム、スマートフォン、モバイル・デバイス、パーソナル・コンピュータ・システム、ハンドヘルドもしくはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサに基づくシステム、セット・トップ・ボックス、シングル・ボード・コンピュータ・システム、コンピュート・スティック、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ・システムなどが挙げられる。示さないものの、テレプレゼンス・ロボット１０と併せて、他のハードウェア・コンポーネント、ソフトウェア・コンポーネント、またはその両方を使用することができることが理解されるべきである。
【００２５】
図１を再び参照すると、テレプレゼンス・システム１００では、話者１３０は、話者サイト１１０に据え付けられたテレプレゼンス・ロボット１２０の前で顔、頭部や胴部など、一部分を動かすことによって、聴衆サイト１５０に据え付けられたテレプレゼンス・ロボット１６０を遠隔で制御することができる。
【００２６】
一般に、話者１３０は、認知上複雑なタスクを行う間の操作特有の行動（キーボードでのキーの押圧、コントローラ・デバイスでのレバーおよびボタンの操作など）を実施しようとは思わず、話者１３０の自然な顔の表情を妨げる、話者１３０の動きを感知するための追加的なデバイス（ＨＭＤなど）を装着しようとは思わない。また、書面を見るためのよそ見など、話者１３０の不随意の動きに起因するロボットのぎこちない挙動も考慮されるべきである。不随意の動きの表現は、話者１３０のソーシャル・プレゼンスに重大な影響を及ぼすことがある。しかし、テレプレゼンス・システムで、テレプレゼンス・ロボットについて、操作に伴う意図的な動きと、表現に伴う不随意の動きとを自然に両立させることのできる既知の技術はない。
【００２７】
それゆえ、テレプレゼンス・ロボットに用いる制御シグナルを発生させるための、またはテレプレゼンス・ロボットを制御するための方法、関連のテレプレゼンス・システムおよびコンピュータ・プログラムが求められており、それらは、操作者の自然な顔の表情を妨げる追加の装置を必要とすることなく、および操作者に認知上の多大な負荷を与えることなく、操作者の動きに基づき、テレプレゼンス・ロボットを用いて、操作者の自然な身体性（例えば遠隔講習会の話者）を表出することが可能である。
【００２８】
本願の発明による１つまたは複数の実施形態では、あるサイト（例えば聴衆サイト１５０）のテレプレゼンス・ロボットに用いる制御シグナルを発生させるための（つまり、テレプレゼンス・ロボットを制御するための）新規のプロセスは、他のサイト（例えば話者サイト１１０）の操作者の動きに基づきコンピューティング・デバイスによって実施され、このデバイスでは、操作者の意図的なおよび不随意の動きが、操作者の顔など、操作者の画像を取得するカメラの作業に基づいて、別々に検出される。コンピューティング・デバイスは、一方のサイトのテレプレゼンス・ロボットまたは他方のサイトのテレプレゼンス・ロボットに含まれていてもよいし、接続されていてもよい。
【００２９】
新規のプロセスの間、コンピューティング・デバイスは、カメラに基づき、操作者の顔が位置する方向を計算するが、ここでは、方向は、操作者の意図的な動きを標示する。コンピューティング・デバイスはさらに、操作者の顔が向いている方位を計算するが、ここでは、方位は、操作者の不随意の動きを標示する。次いで、一方のサイトでテレプレゼンス・ロボットの動作を制御するために、コンピューティング・デバイスは、方位と組み合わされた方向に基づき、テレプレゼンス・ロボットの１つまたは複数の動作パラメータを生成する。方向および方位は、テレプレゼンス・ロボットの１つまたは複数の動作パラメータに別様に反映される。そのため、テレプレゼンス・ロボットに用いる操作上および表現上の操作者の動きは、自然に両立する。
【００３０】
ここで、図３および図４を参照して、本願の発明の例示的な実施形態による、テレプレゼンス・ロボットを制御するためのテレプレゼンス・システムを、さらに詳細に記載する。図３は、テレプレゼンス・システムのブロック図である。図３に示すように、テレプレゼンス・システム１００のブロック図２００は、マスター・モードで操作されるローカル・テレプレゼンス・ロボット（例えば、図１に示すテレプレゼンス・ロボット１２０）のブロック図２１０と、スレイブ・モードで操作される遠隔テレプレゼンス・ロボット（例えば、図１に示すテレプレゼンス・ロボット１６０）のブロック図２５０とを含む。記載する実施形態では、コンピューティング・デバイス２３０は、ローカル・テレプレゼンス・ロボット２１０に埋め込まれる。しかし、他の実施形態では、コンピューティング・デバイス２３０は、遠隔テレプレゼンス・ロボット２５０に埋め込まれていてもよいし、テレプレゼンス・ロボット２１０、２５０のいずれか１つに接続されていてもよい。
【００３１】
ローカル・テレプレゼンス・ロボット２１０は、操作者の顔の画像を取得するためのカメラ２１２、カメラ２１２の少なくとも方位を変えるためのアクチュエータ２１４、顔追跡装置２１６、顔方位推定装置２１８、動作パラメータ発生装置２２０、および通信２２４を含むことがある。
【００３２】
顔追跡装置２１６および顔方位推定装置２１８は、操作者の意図的な動きおよび不随意の動きの角度を計算するようにそれぞれ構成される。図４Ａは、操作者の意図的な動きおよび不随意の動きの角度を表す。
【００３３】
顔追跡装置２１６は、カメラ２１２のパン角およびチルト角を調整することによって、操作者ＯＰの顔をカメラ２１２の視野の中央で追跡するように構成され、これらの角度は、カメラ２１２を駆動するアクチュエータ２１４のパラメータである。図４Ｂは、操作者ＯＰの顔の方向を検出するための顔追跡処理を表す。図４Ｂに示すように、顔追跡装置２１６は、視野中の操作者の顔Ｆの位置を検出するための画像解析によって、視野中の人間の顔を認識するよう試み、現時点のパン角およびチルト角と、視野中の操作者の顔Ｆの検出された位置とに基づいて、パン角およびチルト角を調整し、その結果、フィードバック技術などの任意の既知の技術によって、操作者の顔Ｆを視野の中央（破線の十字として図示する）に捕捉する。
【００３４】
顔追跡装置２１６は、カメラ２１２によって取得される画像に基づき、ローカル・テレプレゼンス・ロボット２１０の胴部に対して、操作者ＯＰの顔が位置する方向ｔ１を計算することができる。方向ｔ１は、ロボットの胴部ＲＢの方向に対する角度（正確に言えば、水平角および垂直角を含むことがある）によって規定される。方向の角度ｔ１は、アクチュエータ２１４に現時点で設定されているパン角およびチルト角に基づき簡単に計算することができる。或いは、方向の角度ｔ１は、上記ビュー中の操作者の顔Ｆの検出された位置と、現時点のパン角およびチルト角に基づき、計算することができる。方向の角度ｔ１は、操作者の意図的な動きを標示する。顔追跡装置２１６は、記載する実施形態では、方向計算装置を構成する。
【００３５】
具体的な実施形態では、方向ｔ１は、カメラ２１２の所与のビューの角度であるＡの下で、以下の式によって計算することができる。
【００３６】
【数１】
2017092509.tif 000003
ここで、ｘは、ピクセル中で顔Ｆの検出された中央位置を表し、ｗは、上記ビュー中のピクセルの数を表す。上式で、“ｔａｎ”は、正接関数を表し、“ａｔａｎ”は、正接関数の逆関数を表す。正確に言えば、方向ｔ１は、水平軸と垂直軸の両方において計算されてもよい。
【００３７】
記載する実施形態では、顔追跡装置２１６は、方向ｔ１を計算するためのカメラ２１２のビューの中央で、操作者ＯＰの顔を追跡する。この構成は、操作の幅を増すことができる。しかし、他の実施形態では、カメラ２１２のビューは、固定されていてもよい。他の実施形態では、方向の角度ｔ１は、パン角およびチルト角を動かすことなく、ビュー中の操作者の顔Ｆの検出された位置に基づき、直接的に計算することができる。
【００３８】
顔方位推定装置２１８は、カメラ２１２によって取得される画像を解析することによって、操作者の顔の方位を推定するように構成される。図４Ｃは、操作者の顔の方位を推定するための推定処理を表す。画像は、距離情報があってもなくても、バイナリ・イメージ、グレイスケール・イメージ、またはカラー・イメージとしてもよく、それらは、カメラ２１２の機能性に依存する。顔方位推定装置２１８は、鼻、眼や唇など、目立った顔の特徴を画像中で認識して、顔の特徴の位置を見つけ、公知の任意の顔方位推定技術を使用することによって、顔の特徴の見つかった位置に基づいて顔方位を計算してもよい。
【００３９】
顔方位推定装置２１８は、カメラ２１２によって取得される画像に基づき、操作者の顔が向いている方位ｔ２を計算することができる。顔方位ｔ２は、操作者の顔がロボットのディスプレイとちょうど対向する正規の方位に対する角度（正確に言えば、水平角および垂直角を含むことがある）によって、規定される。方位の角度ｔ２は、操作者の不随意の動きを標示する。顔方位推定装置２１８は、記載する実施形態では、方位計算装置を構成する。
【００４０】
具体的な実施形態では、方位ｔ２は、人間の顔のサイズを想定し、以下の式によって計算することができる。
【００４１】
【数２】
2017092509.tif 000004
ここで、ｘは、検出された鼻の位置を表し、ｌは、検出された顔領域の中央位置を表し、ｒは、頚椎から鼻までの深さを表す。上式で、“ａｂｓ”は、絶対関数を表し、“ａｓｉｎ”は、の正弦関数の逆関数を表す。しかし、これは、本願の発明の１つまたは複数の実施形態でのありうる実装の一例である。画像に基づき方位が計算される際に、様々な顔の特徴を使用することができる。他の実施形態では、鼻の代わりに、眼または口の中央位置を使用して、変数ｒ、ｘを計算することができる。
【００４２】
さらに他の具体的な実施形態では、方位ｔ２は、操作者の頭部に取り付けたごく小さなジャイロ・センサを使用することによって、直接的に計算することができる。
【００４３】
記載する実施形態では、方位t２は、操作者の顔方位であるが、これは、本願の発明の１つまたは複数の実施形態で利用可能なありうる方位の一例である。他の実施形態では、公知の任意の注視方位推定技術を使用することによって測定される操作者の注視方位は、顔方位の代わりに、または顔方位と組み合わせて、使用することができる。 
【００４４】
動作パラメータ発生装置２２０は、方位ｔ２と組み合わされた方向ｔ１に基づいて、どのようにテレプレゼンス・ロボット２５０を動かすかを決定する。動作パラメータ発生装置２２０は、方向ｔ１および方位ｔ２に基づいて、遠隔テレプレゼンス・ロボット２５０の１つまたは複数の動作パラメータを制御シグナルとして発生するように構成され、ここでは、方向ｔ１および方位ｔ２は、１つまたは複数の動作パラメータに別様に反映される。記載する実施形態では、１つまたは複数の動作パラメータは、パン角とチルト角のうち少なくとも１つを含むことがある。
【００４５】
動作パラメータ発生装置２２０は、意図決定装置２２２を含んでいてもよく、この意図決定装置は、操作者がディスプレイに焦点を合わせるか否かを、方向ｔ１および方位ｔ２のうち少なくとも１つに基づき決定するように構成される。具体的な実施形態では、操作者の不随意の動きを標示する方位ｔ２を好ましくは使用して、操作者がディスプレイに焦点を合わせているか否かを決定することができる。動作パラメータ発生装置２２０では、意図決定装置２２２による結果に従って、方向ｔ１および方位ｔ２に別様に重きを置いてもよい。
【００４６】
好ましい実施形態では、動作パラメータ発生装置２２０は、操作者がディスプレイに焦点を合わせる場合に、方向ｔ１にはより重い重みを、方位ｔ２にはより軽い重みを設定する。操作者が、ローカル・テレプレゼンス・ロボット２１０のディスプレイに焦点を合わせた際には、顔の位置の変化は、意図的であるものと考えられる。そのため、方向ｔ１の変化を、強調することができる。一方、操作者がディスプレイの外に焦点を合わせる場合には、動作パラメータ発生装置２２０は、方向ｔ１にはより軽い重みを、方位ｔ２にはより重い重みを設定する。操作者が、書類上など、ディスプレイの外に焦点を合わせた際には、顔の位置の変化は、不随意であるものと考えられる。操作者は、その頭部を動かして、書類を見てもよい。このように、方向ｔ１での変化を抑制することができる。動作パラメータ発生の処理は、さらに詳細に後述される。
【００４７】
通信２２４は、遠隔テレプレゼンス・ロボット２５０の動きを制御するため、発生した動作パラメータを遠隔テレプレゼンス・ロボット２５０に提示するように構成される。
【００４８】
遠隔テレプレゼンス・ロボット２５０は、遠隔テレプレゼンス・ロボット２５０の周囲の情報を収集するように構成されたカメラ２５２、操作者の顔を聴衆に示すように構成されたディスプレイ２５４、およびカメラ２５２とディスプレイ２５４のうち少なくとも１つを少なくとも１つの軸に沿って駆動するように構成されたアクチュエータ２５６を含んでいてもよい。遠隔テレプレゼンス・ロボット２５０は、ローカル・テレプレゼンス・ロボット２１０から動作パラメータを受信する際に、遠隔テレプレゼンス・ロボット２５０は、受信した動作パラメータに基づいて、アクチュエータ２５６にパラメータを設定する。頭部、つまりその顔は、カメラ２５２と共に動いて、ローカル・テレプレゼンス・ロボット２１０の前方の操作者に、遠隔テレプレゼンス・ロボット２５０の周囲の情報を提供することができる。同時に、遠隔テレプレゼンス・ロボット２５０は、操作者の意図を聴衆に伝えるために、操作者の動きに基づいて、操作者の挙動を表出する。
【００４９】
図３に示すように、テレプレゼンス・システム２００は、様々な特徴および機能を提供するための１つまたは複数のモジュールを含む。これらのモジュールは、ハードウェア、ハードウェア上で実行可能なソフトウェアもしくはファームウェア、またはそれらの組み合わせに実装されてもよい。また、これらのモジュールは、例示的のみのものとして提示するが、いかなる限定を示唆することを意図するものではない。代替の実施形態は、図３に示すものに追加のまたはさらに少ない数のモジュールを含んでいるか、または、モジュールが、別様に編成されていてもよい。さらに、いくつかの実施形態では、いくつかのモジュールの機能性が、複数のモジュールに分けられるか、または逆に、いくつかのモジュールの機能性が、単一もしくはさらに少ない数のモジュールへと組み合わされてもよいことが、認識されるべきである。
【００５０】
ここで、図５を図６とともに参照して、本願の発明の例示的な実施形態によるテレプレゼンス・システムでの操作者の動きに基づき、テレプレゼンス・ロボットを制御するためのプロセス（方法に対応する）を記載する。
【００５１】
図５は、操作者の動きに基づき、テレプレゼンス・ロボットを制御するためのプロセスを図示したフローチャートを示す。図５に示すように、プロセスは、ステップＳ１００で、ローカル・テレプレゼンス・ロボット２１０の起動に応じて開始し、相方ロボットとしてテレプレゼンス・ロボット２５０を用いてセッションを確立する。図５に示すプロセスは、図３に示すコンピューティング・デバイス２３０によって実施されることに留意されたい。
【００５２】
ステップＳ１０１では、コンピューティング・デバイス２３０は、カメラ２１２から顔の画像を取得し、必要に応じて、アクチュエータ２１４に設定された現時点のパン角およびチルト角を取得する。
【００５３】
ステップＳ１０２では、コンピューティング・デバイス２３０は、現時点のパン角およびチルト角と、必要に応じて顔の画像とに基づき、顔追跡装置２１６によって、操作者の意図的な動きの角度として、ローカル・テレプレゼンス・ロボット２１０の胴部に対して顔が位置する方向を計算する。方向の角度ｔ１は、現時点のパン角およびチルト角から簡単に計算することができ、それは、画像中の検出された操作者の顔の位置と組み合わせた現時点のパン角およびチルト角に基づくか、または、画像中の検出された操作者の顔の位置に単に基づく。
【００５４】
ステップＳ１０３では、コンピューティング・デバイス２３０は、操作者の不随意な動きの角度として、顔がディスプレイとちょうど対向する正規の方位に対する操作者の顔の方位を、顔の画像に基づき、顔方位推定装置２１８によって計算する。
【００５５】
ステップＳ１０４では、コンピューティング・デバイス２３０は、意図決定装置２２２によって、方向ｔ１および方位ｔ２のうち少なくとも１つに基づいて、操作者の焦点がディスプレイ上にあるか否かを決定する。好ましい実施形態では、操作者の不随意の動きを標示する方位ｔ２を使用して、操作者の焦点がディスプレイ上にあるか否かを決定することができる。具体的な実施形態では、ディスプレイに対する操作者の不随意性の程度は、ｔ２／Ｋによって推定することができ、ここで、Ｋは、正規化定数を表す。これに対して、ディスプレイに対する操作者の意図性の程度は、１−ｔ２／Ｋによって推定することができる。
【００５６】
コンピューティング・デバイス２３０が、ステップＳ１０４で、操作者の焦点がディスプレイ上にあることを決定した際には、プロセスは、ステップＳ１０５に分岐する。具体的な実施形態では、不随意性の程度ｔ２／Ｋが閾値よりも低い際には、コンピューティング・デバイス２３０は、操作者の焦点がディスプレイ上にあることを決定する。ステップＳ１０５では、コンピューティング・デバイス２３０は、動作パラメータ発生装置２２０によって、意図的な動きの角度ｔ１にはより重い重みを、不随意の動きの角度ｔ２にはより軽い角度を設定する。
【００５７】
一方、コンピューティング・デバイス２３０が、ステップＳ１０４で、操作者の焦点がディスプレイの外にあることを決定した際には、プロセスは、ステップＳ１０６に分岐する。ステップＳ１０６で、コンピューティング・デバイス２３０は、動作パラメータ発生装置２２０によって、意図的な動きの角度ｔ１にはより軽い重みを、不随意の動きｔ２にはより重い重みを設定する。
【００５８】
ステップＳ１０７では、コンピューティング・デバイス２３０は、意図的な動きの角度ｔ１および不随意の動きの角度ｔ２に基づき、ステップＳ１０５またはＳ１０６で設定された重みを用いて、動作パラメータ発生装置２２０によって、遠隔テレプレゼンス・ロボット２５０の動作パラメータを生成する。
【００５９】
図６Ａは、例示的な実施形態による遠隔テレプレゼンス・ロボット２５０の動作パラメータを表す。図６Ａは、遠隔テレプレゼンス・ロボット２５０を示し、このロボットでは、カメラおよびディスプレイは、パン・アクチュエータおよびチルト・アクチュエータによって、２つの軸で同時に可動である。
【００６０】
図６Ａに示す遠隔テレプレゼンス・ロボット２５０と関連する具体的な実施形態では、Ｓ１０４からＳ１０７までのステップは、遠隔テレプレゼンス・ロボット２５０の頭部の角度（正確に言えば、パン角およびチルト角を含むことがある）であるＴを計算することによって行うことができ、その角度は、以下の式によって決定される。
【００６１】
【数３】
2017092509.tif 000005
上式で、ｔ１は方向を表し、ｔ２は方位を表し、Ｍ、ＮおよびＫは、所定の定数をそれぞれ表す。方向についての定数Ｍは、操作者が、聴衆のサイトで、小さな動きで周囲を見渡すことができるように、調節することができる。方位の定数Ｎは、不随意の動きの表現を調整するように調節することができる。方向ｔ１および方位ｔ２は動作パラメータＴに別様に反映される。
【００６２】
ｔ２／Ｋは、操作者の不随意性の程度を表すのに対し、（１−ｔ２／Ｋ）は、操作者の意図性の程度を表す。不随意性の程度ｔ２／Ｋ、および意図性の程度１−ｔ２／Ｋは、反対の方式で変化してもよい。不随意性の程度ｔ２／Ｋは、意図性の程度１−ｔ２／Ｋの減少に伴って増加し、その逆もまた同様である。不随意性の程度ｔ２／Ｋが、閾値（０．５）を上回る際に、不随意性の程度ｔ２／Ｋは、方位ｔ２にはより重い重みを、方向ｔ１にはより軽い重みを与える。
【００６３】
具体的な好ましい実施形態では、方向ｔ１および方位ｔ２が、反対の方式でテレプレゼンス・ロボット２５０の動きに反映されるように、定数Ｍが正の値に設定される際には、定数Ｎは負の値に設定される。
【００６４】
図７Ａは、本願の発明の具体的な好ましい実施形態による、操作者の意図的な動きによるテレプレゼンス・ロボットの動きを図示する。一方、図７Ｂは、操作者の不随意の動きによるテレプレゼンス・ロボットの他の動きを図示する。
【００６５】
図７Ａに示すように、話者１３０が、話者サイト１１０で、顔の位置を意図的にローカル・テレプレゼンス・ロボット１２０のディスプレイの方へ変えた際には、ローカル・テレプレゼンス・ロボット１２０は、操作者の顔を追跡し、遠隔テレプレゼンス・ロボット１６０は、話者の動作に点対称な方式で頭部を回転させる。話者が自身の右手側に動く際には、遠隔ロボット１６０は、その頭部を回転させて、左手側の情報を収集する。
【００６６】
これに対して、図７Ｂに示すように、話者１３０が、話者サイト１１０で、ローカル・テレプレゼンス・ロボット１２０のディスプレイに顔がちょうど対向する正規の方位から、自身の顔の方位を変える際に、遠隔テレプレゼンス・ロボット１６０は、反対の方式でかつ話者の動作に同調する方式で、頭部を回転する。話者が自身の左手側に頭部を動かす際には、遠隔ロボット１６０は、その頭部を回転させて、左手側の情報を収集する。
【００６７】
ここで、図５に戻って参照すると、ステップＳ１０８で、コンピューティング・デバイス２３０は、通信２２４によって、発生した動作パラメータを、遠隔テレプレゼンス・ロボットに制御シグナルとして提示する。
【００６８】
ステップＳ１０９では、コンピューティング・デバイス２３０は、制御が終了したか否かを決定する。コンピューティング・デバイス２３０が、ステップＳ１０９で制御が終了していないことを決定した際には、次いで、プロセスは、ステップＳ１０１に折り返して周回される。一方、コンピューティング・デバイス２３０が、ステップＳ１０９で制御が終了したことを決定した際には、次いで、プロセスは、ステップＳ１１０に分岐して、プロセスを終了させる。テレプレゼンス・ロボット２１０がシャットダウンまたは相方ロボットと切断された際に、コンピューティング・デバイス２３０は、制御が終了しているか否かを決定してもよい。
【００６９】
記載する実施形態では、図５に示す順番で実行されるように、ステップを記載する。しかし、他の実施形態では、図５に示す任意のステップが、種々の順番で実行されてもよい。特に、Ｓ１０２およびＳ１０３のステップは、逆の順番で実行されても平行して実行されてもよい。
【００７０】
図５に示す新規のプロセスによれば、操作者の自然な身体性は、ＨＭＤなど、操作者の自然な顔の表情を妨げる追加の装置を必要とすることなく、および操作者に認知上の多大な負荷を与えることなく、操作者の動きに基づき、遠隔テレプレゼンス・ロボットを用いて、操作者の自然な身体性を表出することができる。操作者に認知上の負荷を与えることなく、操作者の意図を伴った操作と、操作者の意図が不在である際の社会的存在感を高めるための表現とを両立させるように、操作者は、提示される操作上の動きおよび不随意の動きを、明示的な行動を伴うことなく切り替えることができる。
【００７１】
本開示に記載のテレプレゼンス・ロボットは、遠隔クラス、ワークショップまたは共同作業における操作者のアバターとして使用することができる。テレプレゼンス・ロボットのハードウェア構成は、テレプレゼンス・ロボットの製造および動作（例えば設定、保守など）の際のコストを低減するように簡単にすることができる。
【００７２】
代替の実施形態
本願の発明の１つまたは複数の他の実施例では、遠隔テレプレゼンス・ロボットの動作パラメータは、遠隔テレプレゼンス・ロボットの一部分（頭部、顔、眼など）の１つまたは複数の角度と、遠隔テレプレゼンス・ロボットに取り付けられたカメラの１つまたは複数の角度と、遠隔テレプレゼンス・ロボットに取り付けられたたディスプレイの１つまたは複数の角度と、遠隔テレプレゼンス・ロボットに取り付けられたカメラとディスプレイのセットの１つまたは複数の角度のうち、少なくとも１つを含んでいてもよい。
【００７３】
ここで、図６Ｂを参照すると本願の発明の他の例示的な実施形態によるテレプレゼンス・ロボットが記載され、そこでは、カメラおよびディスプレイは、各パン・アクチュエータおよびチルト・アクチュエータによって、２つの軸のそれぞれで別々に可動である。
【００７４】
図６Ｂに示す具体的な実施形態では、テレプレゼンス・ロボットの１つまたは複数の動作パラメータは、複数のパラメータを含み、これらのそれぞれは、遠隔テレプレゼンス・ロボットの異なる一部分（例えば顔またはディスプレイおよび眼またはカメラ）に対応する。この実施形態では、各パラメータは、方向ｔ１および方位ｔ２についての異なる機能によって決定することができる。
【００７５】
図６Ｂに示す遠隔テレプレゼンス・ロボットに関連する具体的な実施形態では、図５に示すＳ１０４からＳ１０７までのステップは、ディスプレイの角度Ｔｄおよびカメラの角度Ｔｃを計算することによって行うことができ、これらの角度のそれぞれは、以下の各式によって決定される。
【００７６】
【数４】
2017092509.tif 000006
上式で、ｔ１は、方向を表し、ｔ２は、方位を表し、Ｍｄ、Ｍｃ、Ｎｄ、Ｎｃ、ＫｄおよびＫｃは、それぞれ所定の定数を表す。
【００７７】
他の実施形態によれば、操作者の自然の身体性は、操作者の動きに基づき、遠隔テレプレゼンス・ロボットを用いて、さらに細かく表出することができ、ここで、ディスプレイの動きは、カメラの動きとは別個に制御することができる。
【００７８】
コンピュータ・プログラムの実装
本願の発明は、コンピュータ・システム、方法、コンピュータ・プログラム・プロダクトまたはそれらの組合せである場合がある。コンピュータ・プログラム・プロダクトは、コンピュータ読み取り可能な記憶媒体（または複数の媒体）を含んでいてもよく、その媒体上に、本願の発明の態様をプロセッサに実施させるためのコンピュータ読み取り可能なプログラム命令を有する。
【００７９】
コンピュータ読み取り可能な記憶媒体は、命令実行デバイスが使用するための命令を保持および格納することができる、実体のあるデバイスとすることができる。コンピュータ読み取り可能な記憶媒体は、例えば、以下に限定されないが、電子記憶デバイス、磁性記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または先に述べたものの適切な組合せとしてもよい。コンピュータ読み取り可能な記憶媒体のさらに具体的な例を非排他的に列挙すると、携帯可能なコンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用のメモリ（ＲＯＭ）、消去可能かつプログラミング可能な読み取り専用のメモリ（ＥＰＲＯＭもしくはフラッシュ・メモリ）、静的ランダム・アクセス・メモリ（ＳＲＡＭ）、携帯可能かつコンパクト・ディスクの読み取り専用のメモリ（ＣＤ−ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリディスク、フロッピーディスク、命令が記録されたパンチカードや溝に浮き彫りされた構造などの物理的にコードされたデバイス、または先に述べたものの任意の適切な組合せが挙げられる。コンピュータ読み取り可能な記憶媒体は、本開示に使用されるように、ラジオ波または自由に伝播する他の電磁波、導波管または他の伝送媒体を通じて伝播する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）や、ワイヤを通じて伝送される電気シグナルなど、それ自体で一時的なシグナルであるものとは解されない。
【００８０】
本開示に記載するコンピュータ読み取り可能なプログラム命令は、ネットワークを介して、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、ワイヤレス・ネットワーク、またはそれらの組合せを介して、コンピュータ読み取り可能な記憶媒体からそれぞれのコンピューティング／処理デバイスに、または外部コンピュータもしくは外部記憶デバイスに、ダウンロードすることができる。ネットワークは、銅製の伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルーター、ファイヤーウォール、スイッチ、ゲートウェイ・コンピュータ、エッジ・サーバ、またはそれらの組合せを含んでいてもよい。各コンピューティング／処理デバイスのネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、コンピュータ読み取り可能なプログラム命令をネットワークから受け取り、コンピュータ読み取り可能な記憶媒体に記憶するためのコンピュータ読み取り可能なプログラム命令を各コンピューティング／処理デバイス内で転送する。
【００８１】
本願の発明の操作を行うためのコンピュータ読み取り可能なプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）、機械語命令、機械語依存的な命令、マイクロ・コード、ファームウェア命令、状態設定データ、または１つもしくは複数のプログラミング言語の任意の組合せで書かれたソース・コードおよびオブジェクト・コードのどちらかであってもよく、そのようなプログラミング言語としては、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向のプログラミング言語、および“Ｃ”プログラミング言語や類するプログラミング言語など、既存の手続き型プログラミング言語が挙げられる。コンピュータ読み取り可能なプログラム命令は、ユーザのコンピュータ上で全体的に、ユーザのコンピュータ上で部分的に、スタンドアローン・ソフトウェア・パッケージとして、ユーザのコンピュータ上で部分的におよび遠隔コンピュータ上で部分的に、または遠隔コンピュータもしくはサーバで全体的に、実行されてもよい。後者の大筋では、遠隔コンピュータは、任意の型のネットワークを介してユーザ・コンピュータへ接続されてもよく、そのようなネットワークとしては、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）が挙げられる。あるいは、上記接続は、外部のコンピュータへ（例えば、インターネット・サービス・プロバイダを使用してインターネットを通じて）作成されてもよい。いくつかの実施形態では、本願の発明の態様を実施するために、電子回路、例えば、プログラム可能な論理回路、現場でプログラム可能なゲート・アレイ（ＦＰＧＡ）またはプログラム可能な論理アレイ（ＰＬＡ）などが、コンピュータ読み取り可能なプログラム命令の状態情報を利用することによって、コンピュータ読み取り可能なプログラム命令を実行して、上記電子回路を個人用に設定してもよい。
【００８２】
本願の発明の態様は、本発明の実施形態による方法、装置（システム）およびコンピュータ・プログラム・プロダクトのフローチャート図、ブロック図またはそれらの組合せを参照して本開示に記載されている。フローチャート図、ブロック図またはそれらの組合せの各ブロック、ならびに上記フローチャート図、上記ブロック図またはそれらの組合せのブロックの組合せは、コンピュータ読み取り可能なプログラム命令によって実装することができることが理解されよう。
【００８３】
これらのコンピュータ読み取り可能なプログラム命令を、汎用コンピュータ、専用コンピュータ、または他のプログラミング可能なデータ処理装置のプロセッサに提供して機械を生成してもよく、その結果、その命令は、コンピュータまたは他のプログラミング可能なデータ処理装置を介して実行され、フローチャート、ブロック図またはそれらの組合せの１つもしくは複数のブロックに指定された機能／役割を実装するための手段を作り出す。これらのコンピュータ読み取り可能なプログラム命令はまた、コンピュータ、プログラミング可能なデータ処理装置、または他のデバイス、またはそれらの組合せを指示することができるコンピュータ読み取り可能な媒体中に格納されて、具体的な仕様で機能する場合もあり、その結果、命令が中に格納されたコンピュータ読み取り可能な媒体は、フローチャート、ブロック図またはそれらの組合せの１つもしくは複数のブロックに指定された機能／役割の態様を実装する命令を含む、製品を含む。
【００８４】
コンピュータ読み取り可能なプログラム命令はまた、コンピュータ、他のプログラミング可能なデータ処理装置、または他のデバイスにロードされ、コンピュータ、他のプログラミング可能な装置または他のデバイスで実施される一連の操作のステップを引き起こして、コンピュータに実装されるプロセスを生成してもよく、その結果、コンピュータまたは他のプログラミング可能な装置または他のデバイスで実行される命令は、フローチャート、ブロック図またはそれらの組合せの１つもしくは複数のブロックに指定された機能／役割を実装する。
【００８５】
図中のフローチャートおよびブロック図は、本願の発明の様々な実施形態による、ありうるシステム、方法およびコンピュータ・プログラム・プロダクトの実装に関するアーキテクチャ、機能性および操作を説明している。この点、フローチャートまたはブロック図のそれぞれのブロックは、モジュール、セグメント、または命令の一部を表すことがあり、それらは、指定された論理関数を実装するための、１つまたは複数の実行可能な命令を含む。いくつかの代替の実現例では、ブロックに記述された関数は、図に記述された順序を外れて発生することがある。例えば、連続して示された２つのブロックが、実際には、ほぼ同時に実行されてもよいし、時には、上記ブロックは、含まれる機能性に応じて、逆の順番で実行されてもよい。ブロック図とフローチャート図とのどちらかまたはその両方の各ブロック、および上記ブロック図と上記フローチャート図とのどちらかまたはその両方のブロックの組合せは、指定された関数または動作を実施する専用のハードウェアベースのシステムによって実装されるか、または、専用のハードウェアおよびコンピュータ命令の組合せを実施することができることもまた留意されよう。
【００８６】
本開示で使用される用語は、具体的な実施形態を記載するためのみのものであり、本発明を限定することを意図するものではない。本開示で使用される際に、単数形“ａ”、“ａｎ”、および“ｔｈｅ”は、別段に文脈が明らかに指示しない限り、同様に複数形を含むことを意図する。本明細書で使用される際に、用語“含む”、“含んでいる”、またはその両方は、記述された特徴、整数、ステップ、操作、要素、コンポーネント、またはこれらのいかなる組合せの存在を指定するものであって、１つまたは複数の他の特徴、整数、ステップ、操作、要素、コンポーネント、それらのグループ、またはこれらのいかなる組合せを排除するものではない。
【００８７】
添付の特許請求の範囲にある、対応の構造、物、行為、およびあらゆるミーンズまたはステップ・プラス・ファンクションの要素の均等物は、それがあるならば、具体的に特許請求の範囲にあるように、請求する他の要素と組み合わせて機能を実施するための任意の構造、物または行為を含むことを意図する。本願の発明の１つまたは複数の態様の記述は、例示および説明の目的のために提示されているのであって、開示された形態に本発明を終始させるものであるとか、本発明を制限するものとかを意図するものではない。
【００８８】
多くの改変および変形は、記載する実施形態の範囲および趣旨を逸脱することなく、当業者にとって明らかとなろう。本開示に使用される用語は、本実施形態の原理、実際的な適用、または市場に見出される技術を超える技術的な向上を、最適に説明するために、および本開示に開示する実施形態を他の当業者が理解することを可能にするために、選択されたものである。
【図１】
2017092509.tif 000008
【図２】
2017092509.tif 000009
【図３】
2017092509.tif 000010
【図４Ａ】
2017092509.tif 000011
【図４Ｂ】
2017092509.tif 000012
【図４Ｃ】
2017092509.tif 000013
【図５】
2017092509.tif 000014
【図６Ａ】
2017092509.tif 000015
【図６Ｂ】
2017092509.tif 000016
【図７Ａ】
2017092509.tif 000017
【図７Ｂ】
2017092509.tif 000018
【外国語明細書】
[Title of Invention]            METHOD, TELE-PRESENCE SYSTEM AND COMPUTER PROGRAM FOR GENERATING CONTROL SIGNAL FOR TELE-PRESENCE ROBOT
[Technical Field]
[0001]
The present invention, generally, relates to tele-presence robots, more particularly, to methods, tele-presence systems and computer programs for generating a control signal for a tele-presence robot.
[Background Art]
[0002]
For a tele-presence system for human-human communications such as speaker-audience communication in a remote lecture class, tele-presence robots equipped with a pan-tilt motor, a display and a camera can be utilized for physically embodying one participant (e.g. a lecturer, speaker) to other participant (e.g. students, audiences). Major roles of the tele-presence robots include not only providing information about the other participant to the one participant, but also giving conformity to the other participant through social presence enhanced by the tele-presence robot. An operator in one site can control remotely the tele-presence robot moving their head; the robot can move its face with camera to provide the information around the robot in other site to the operator. The tele-presence robot expresses behavior of the operator by imitating a movement of the operator in order to convey his/her intents, characteristics, and circumstances to the other participant.
[0003]
Controlling the tele-presence robot by using an input device such as keyboards and controller devices puts cognitive load on the operator, resulting in performance degradation during cognitively complex tasks such as lectures, operating instructions, etc. The operator may forget controlling if he/she is too concentrated on his/her presentation, or the operator could not concentrated on his/her presentation if he/she is preoccupied with operations for controlling the robot.
[0004]
Also, there has been provided a robot controlled by using HMD (Head Mount Display) equipped with gyro sensors, which replicates the movement of the operator to the remote robot. However, wearing such sensor device may be burden to the operator. Face covered with HMD results stiff facial expression, which may give less affinity to audiences. Awkward behaviors of the robot due to unintentional movement of the operator such as looking aside should also be considered.
[Summary of Invention]
[Technical Problem]
[0005]
What is needed are methods, tele-presence systems and associated computer programs for generating a control signal for a tele-presence robot, capable of expressing natural embodiment of an operator with the tele-presence robot based on a movement of the operator, without requiring any additional equipment that disturbs natural expression of the operator and giving much cognitive load on the operator.
[Solution to Problem]
[0006]
According to an embodiment of the present invention, there is provided a computer-implemented method for generating a control signal for a tele-presence robot by a computing device based on a movement of an operator. The method comprises calculating a direction where at least part of the operator is positioned based on a camera that acquire an image of the at least part of the operator. The method also comprises calculating an orientation where the at least part of the operator points. The method also comprises generating one or more motion parameters of the tele-presence robot as the control signal based on the direction in combination with the orientation, in which the direction and the orientation are reflected to the one or more motion parameters differently.
[0007]
According to other embodiment of the present invention, there is provided a tele-presence system that includes a computing device for generating a control signal for a tele-presence robot based on a movement of an operator. The computing device comprises a direction calculator configured to calculate a direction where at least part of the operator is positioned based on a camera that acquires an image of the at least part of the operator. The computing device also comprises an orientation calculator configured to calculate an orientation where the at least part of the operator points. The computing device further comprise a generator configured to generate one or more motion parameters of the tele-presence robot as the control signal based on the direction in combination with the orientation, in which the direction and the orientation are reflected to the one or more motion parameters differently.
[0008]
Computer programs relating to one or more aspects of the present invention are also described and claimed herein.
[0009]
Additional features and advantages are realized through the techniques of the present invention. Other embodiments and aspects of the invention are described in detail herein and are considered a part of the claimed invention.
[Brief Description of Drawings]
[0010]
[FIG. 1]               FIG. 1 illustrates a schematic of a tele-presence system used for a remote lecture class according to an exemplary embodiment of the present invention;
[FIG. 2]               FIG. 2 depicts a hardware configuration of a tele-presence robot including a computing device according to the exemplary embodiment of the present invention;
[FIG. 3]               FIG. 3 depicts a block diagram of the tele-presence system according to the exemplary embodiment of the present invention;
[FIG. 4A]            FIG. 4A describes angles of an intentional movement and an unintentional movement of an operator according to the exemplary embodiment of the present invention;
[FIG. 4B]             FIG. 4B describes a face tracking processing for detecting a direction of the face of the operator by the computing device according to the exemplary embodiment of the present invention;
[FIG. 4C]             FIG. 4C describes an estimation processing for estimating an orientation of the face of the operator by the computing device according to the exemplary embodiment of the present invention;
[FIG. 5]               FIG. 5 is a flowchart depicting a process for controlling the tele-presence robot based on the movement of the operator according to the exemplary embodiment of the present invention;
[FIG. 6A]            FIG. 6A describes motion parameters of the remote tele-presence robot according to the exemplary embodiment of the present invention;
[FIG. 6B]             FIG. 6B describes motion parameters of a remote tele-presence robot according to other exemplary embodiment of the present invention;
[FIG. 7A]            FIG. 7A illustrates movements of tele-presence robots by an intentional movement of an operator according to a particular preferable embodiment of the present invention;
[FIG. 7B]             FIG. 7B illustrates movements of tele-presence robots by an unintentional movement of the operator according to the particular preferable embodiment of the present invention.
[Description of Embodiments]
[0011]
Now, the present invention will be described using particular embodiments, and the embodiments described hereafter are understood to be only referred as examples and are not intended to limit the scope of the present invention.
[0012]
One or more embodiments according to the present invention are directed to methods, tele-presence systems and computer programs for generating a control signal for a tele-presence robot by a computing device based on a movement of an operator.
[0013]
Now, referring to the series of FIGS. 1-7, there is shown a tele-presence system and a method for generating a control signal for a tele-presence robot in the tele-presence system according to one or more embodiments of the present invention.
[0014]
Referring to FIG. 1, there is shown a schematic of a tele-presence system 100 used for a remote lecture class according to an exemplary embodiment of the present invention. There are mainly two sites that includes a speaker's site 110 for a speaker (e.g. a lecturer) 130 and an audiences' site 150 for audiences (e.g. students) 170. In each site 110, 150, a tele-presence robot 120, 160 is provided in order to enhance social presence within communications between the speaker 130 and the audiences 170. The tele-presence robots 120, 160 have a connection via a network 102 to communicate each other. The network 102 may include, but not limited to, a local area network (LAN), a general wide area network (WAN), a public network (e.g., the Internet, cellular network), etc.
[0015]
As shown in FIG. 1, each tele-presence robot 120, 160 has a body 122, 162 and a head 124, 164. Each head 124, 164 has a face that is equipped with a display 166 (not shown for the robot 120) and a camera 168 (not shown for the robot 120). In the describing embodiment, the head 124, 164 is movable by actuators in two axes so that the head 124, 164 accordingly its face can pan and tilt independently from the body 122, 162. However, this is an example of possible designs for one or more embodiments of the present invention. In other embodiments, the head may be movable in one axis or more than two axes, the display (or a face) and the camera (or an eye) may be separately movable in one or more axes.
[0016]
In the tele-presence system 100, the tele-presence robots 120, 160 can physically embody one participant to other participant(s) each other. A view taken by the camera of the tele-presence robot 120 in the speaker's site 110 is transmitted to the tele-presence robot 160 in the audiences' site 150 via the network 102 to show the view (e.g. a face of the speaker 130) in the speaker's site 110 by the display 166, and vice versa. The tele-presence robot operated in a master mode (e.g. the robot 120 in the speaker' site 110) can detect and track the face of the speaker by the camera, and show a sight in the audiences' site 150 by the display from the viewpoint of a buddy robot, that is the tele-presence robot operated in a slave mode (e.g. the robot 160 in the audiences' site 150). The tele-presence robot operated in the slave mode (e.g. the robot 160) can show the speaker's face by the display 166 and pan and tilt the head 164 along with a movement of the face of the speaker 130.
[0017]
Referring now to FIG. 2, a schematic of a hardware configuration of a tele-presence robot 10 (corresponds to each tele-presence robot 120, 160 shown in FIG. 1) is depicted. The tele-presence robot 10 shown in FIG. 2 is only one example of a suitable tele-presence robot and is not intended to suggest any limitation as to the scope of use or functionality of embodiments of the invention described herein. Regardless, the tele-presence robot 10 is capable of being implemented and/or performing any of the functionality set forth hereinbelow.
[0018]
The components of the tele-presence robot 10 may include, but are not limited to, a processor (or processing unit) 12 and a memory 14 coupled to the processor 12 by a bus 30 that couples various system components including the memory 14 to the processor 12. The bus 30 represents one or more of any of several types of bus structures, including a memory bus or memory controller, a peripheral bus, an accelerated graphics port, and a processor or local bus using any of a variety of bus architectures.
[0019]
The tele-presence robot 10 typically includes a variety of computer readable media. Such media may be any available media that is accessible by the tele-presence robot 10, and it includes both volatile and non-volatile media, removable and non-removable media.
[0020]
The memory 14 can include computer readable media in the form of volatile memory, such as random access memory (RAM). The tele-presence robot 10 may further include other removable/non-removable, volatile/non-volatile storage media. By way of example only, the storage device 16 can be provided for reading from and writing to a non-removable, non-volatile magnetic media. As will be further depicted and described below, the storage device 16 may include at least one program product having a set (e.g., at least one) of program modules that are configured to carry out the functions of embodiments of the invention.
[0021]
Program / utility, having a set (at least one) of program modules, may be stored in the storage device 16 by way of example, and not limitation, as well as an operating system, one or more application programs, other program modules, and program data. Each of the operating system, one or more application programs, other program modules, and program data or some combination thereof, may include an implementation of a networking environment. Program modules generally carry out the functions and/or methodologies of embodiments of the invention as described herein.
[0022]
The tele-presence robot 10 may also include one or more peripherals such as a display 20, a camera 22, an actuator driver 24 that drives pan and tilt actuators 26, 28, and a network adapter 18 that enable the tele-presence robot 10 to communicate with one or more other tele-presence robots or computing devices. The tele-presence robot 10 can communicate with the network 102 such as LAN, WAN, and/or a public network (e.g., the Internet) via the network adapter 18. As depicted, the network adapter 18 communicates with the other components of the tele-presence robot 10 via the bus 30.
[0023]
As shown in FIG. 2, the tele-presence robot 10 is described in a form of a single apparatus that includes all of robotic mechanisms 24, 26, 28, the display 20, the camera 22 and a computing device for controlling the robotic mechanism, the display 20 and the camera 22. However, in other embodiments, the components of the tele-presence robot 10 may be provided separately in a variety of forms and coupled via an interface or a network such as universal serial bus (USB), WiFi(registered trademark) communication, Bluetooth(registered trademark) communication and other computer bus and power connectors to make up the tele-presence robot 10.
[0024]
In a particular embodiment, a processor, a memory, a storage device, a network adapter, a display and a camera are provided as a computer system and robotic mechanisms including an actuator driver, actuators and other mechanics are provided as external peripherals or accessories for the computer system. In the particular embodiment, the computer system is operational with numerous general purpose or special purpose computing system environments or configurations. Examples of well-known computing systems, environments, and/or configurations, that may be suitable for use with the tele-presence robot 10 include, but are not limited to, tablet computer systems, smartphones, mobile devices, personal computer systems, hand-held or laptop devices, multiprocessor systems, microprocessor-based systems, set top boxes, single board computer systems, compute sticks, programmable consumer electronics, network PCs, minicomputer systems, and the like. It should be understood that although not shown, other hardware and/or software components could be used in conjunction with the tele-presence robot 10.
[0025]
Referring again to FIG. 1, in the tele-presence system 100, the speaker 130 can control remotely the tele-presence robot 160 equipped in the audiences' site 150 by moving their part such as a face, a head and a body in front of the tele-presence robot 120 equipped in the speaker's site 110.
[0026]
Generally, the speaker 130 does not want to perform operation-specific actions (such as pressing key in a keyboard, manipulating lever and button in a controller device) during cognitively complex tasks and does not want to wear any additional device (such as HMD) to sense the movement of the speaker 130, which may disturb natural facial expression of the speaker 130. Also awkward behaviors of the robot due to an unintentional movement of the speaker 130 such as looking aside to see a document should be considered. Presentations of the unintentional movements may significantly affect the social presence of the speaker 130. However, there is no known technique that can reconcile naturally operational, intentional movements and presentational, unintentional movements for the tele-presence robot in the tele-presence systems.
[0027]
Therefore, there are needed methods, associated tele-presence systems and computer programs for generating a control signal for a tele-presence robot or controlling the tele-presence robot, capable of expressing natural embodiment of an operator (e.g. speaker in a remote lecture class) with the tele-presence robot based on a movement of the operator, without requiring any additional equipment that disturbs natural facial expression of the operator and giving much cognitive load on the operator.
[0028]
In one or more embodiments according to the present invention, a novel process for generating a control signal for a tele-presence robot (accordingly controlling the tele-presence robot) in one site (e.g. the audiences' site 150) is performed by a computing device based on a movement of an operator in other site (e.g. the speaker's site 110), in which intentional and unintentional movements of the operator are detected discriminately based on working of a camera that acquires an image of the operator such as a face of the operator. The computing device may be included in or connected to the tele-presence robot on the one site or a tele-presence robot on the other site.
[0029]
During the novel process, the computing device calculates a direction where the face of the operator is positioned based on the camera, in which the direction indicates an intentional movement of the operator. The computing device further calculates an orientation where the face of the operator points, in which the orientation indicates an unintentional movement of the operator. Then, the computing device generates one or more motion parameters of the tele-presence robot based on the direction in combination with the orientation so as to control motion of the tele-presence robot in the one site. The direction and the orientation are reflected to the one or more motion parameters of the tele-presence robot differently. Therefore, operational and presentational movements of the operator for the tele-presence robot are naturally reconciled.
[0030]
Now, referring to the FIG. 3 with FIG. 4, it will be described the tele-presence system for controlling a tele-presence robot according to the exemplary embodiment of the present invention, in more detail. FIG. 3 depicts a block diagram of the tele-presence system. As shown in FIG. 3, the block diagram 200 of the tele-presence system 100 includes a block diagram 210 of the local tele-presence robot (e.g. tele-presence robot 120 shown in FIG. 1) operated in the master mode and a block diagram 250 of the remote tele-presence robot (e.g. tele-presence robot 160 shown in FIG. 1) operated in the slave mode. In the describing embodiment, the computing device 230 is embedded in the local tele-presence robot 210. However, in other embodiments, the computing device 230 may be embedded in the remote tele-presence robot 250, or connected to any one of the tele-presence robots 210, 250.
[0031]
The local tele-presence robot 210 may include a camera 212 that acquires an image of the face of the operator; actuators 214 that change at least orientation of the camera 212; a face tracker 216, a face orientation estimator 218; a motion parameter generator 220; and a communication 224.
[0032]
The face tracker 216 and the face orientation estimator 218 are configured to calculate angles of an intentional movement and an unintentional movement of the operator, respectively. FIG. 4A describes the angles of the intentional movement and the unintentional movement of the operator.
[0033]
The face tracker 216 is configured to track the face of the operator OP in the center of view of the camera 212 by adjusting pan and tilt angles of the camera 212, which are parameters of the actuators 214 actuating the camera 212. FIG. 4B describes a face tracking processing for detecting a direction of the face of the operator OP. As shown in FIG. 4B, the face tracker 216 attempts to recognize a human face in the view by image analysis to detect the position of the operator's face F in the view and adjusts the pan and tilt angles based on current pan and tilt angles and the detected position of the operator's face F in the view so as to catch the operator's face F at the center of the view (depicted as a dashed cross) by any known techniques such as feedback techniques.
[0034]
The face tracker 216 can calculates the direction, t1, where the face of the operator OP is positioned with respect to the body of the local tele-presence robot 210 based on the image obtained by the camera 212. The direction, t1, is defined by an angle (to be accurate, it may include a horizontal and vertical angles) against the direction of the robot's body RB. The angle of the direction, t1, can be simply calculated based on the pan and tilt angles currently set to the actuators 214. Alternatively, the angle of the direction, t1, can be calculated based on the detected position of the operator's face F in the view and the current pan and tilt angles. The angle of the direction, t1, indicates the intentional movement of the operator. The face tracker 216 constitutes a direction calculator in the describing embodiment.
[0035]
In a particular embodiment, the direction, t1, can be calculated by a following formula under a given angle of view, A, of the camera 212:
[0036]
[Formula 1]
2017092509.tif 000019
where x denotes the detected center position of the face F in pixels, w denotes the number of pixels in the view. In the above formula, "tan" denotes tangent function and "atan" denotes an inverse function of the tangent function. To be accurate, the direction, t1, may be calculated in both horizontal and vertical axis.
[0037]
In the describing embodiment, the face tracker 216 tracks the face of the operator OP in the center of the view of the camera 212 to calculate the direction, t1. This configuration can increase the range of the operation. However, in other embodiment, the view of the camera 212 may be fixed. In the other embodiment, the angle of the direction, t1, can be calculated based on the detected position of the operator's face F in the view directly without moving pan and tilt angles.
[0038]
The face orientation estimator 218 is configured to estimate an orientation of the face of the operator by analyzing the image obtained by the camera 212. FIG. 4C describes an estimation processing for estimating the orientation of the face of the operator. The image may be binary image, grayscale image or color image without or with distance information, depending on functionality of the camera 212. The face orientation estimator 218 may recognize salient facial features such as a nose, eyes and lips in the image to locate the positions of the facial features and calculate a face orientation based on the located positions of the facial features, by using any known face orientation estimation techniques.
[0039]
The face orientation estimator 218 can calculates the orientation, t2, where the face of the operator points based on the image obtained by the camera 212. The face orientation, t2, is defined by an angle (to be accurate, it may include a horizontal and vertical angles) against normal orientation where the operator's face just opposes to the display of the robot. The angle of the orientation, t2, indicates an unintentional movement of the operator. The face orientation estimator 218 constitutes an orientation calculator in the describing embodiment.
[0040]
In a particular embodiment, the orientation, t2, can be calculated by a following formula with assuming the size of the human face;
[0041]
[Formula 2]
2017092509.tif 000020
where x denotes the detected position of nose, l denotes the detected center position of the facial region, r denotes the depth from cervical spine to the nose. In the above formula "abs" denotes absolute function and "asin" denotes an inverse function of sine function. However, this is an example of possible implementation in one or more embodiments of the present invention. When the orientation is calculated based on an image, various facial features can be used. In other embodiments, center position of an eye or mouth can be used to calculate variable r, x instead of the nose.
[0042]
In further other particular embodiment, the orientation, t2, can be calculated directly by using a tiny gyro-sensor attached at the head of the operator.
[0043]
In the describing embodiment, the orientation, t2, is face orientation of the operator, however, this is an example of possible orientation applicable in one or more embodiments of the present invention. In other embodiments, a gaze orientation of the operator measured by using any known gaze orientation estimation techniques can be used in place of or in combination with the face orientation.
[0044]
The motion parameter generator 220 determines how the remote tele-presence robot 250 moves based on the direction, t1, and the orientation, t2. The motion parameter generator 220 is configured to generate one or more motion parameters of the remote tele-presence robot 250 as a control signal based on the direction, t1, in combination with the orientation, t2, in which the direction, t1, and the orientation, t2, are reflected to the one or more motion parameters differently. The one or more motion parameters may include at least one of the pan and tilt angles in the describing embodiment.
[0045]
The motion parameter generator 220 may include an intention determiner 222 that is configured to determine whether the operator focuses on the display or not based on at least one of the direction, t1, and the orientation, t2. In a particular embodiment, the orientation, t2, which indicates the unintentional movement of the operator, can be preferably used to determine whether the operator focuses on the display or not. The motion parameter generator 220 may put weight to the direction, t1, and the orientation, t2, differently according to the result by the intention determiner 222.
[0046]
In a preferable embodiment, the motion parameter generator 220 sets a heavier weight to the direction, t1, and a lighter weight to the orientation, t2, in a case where the operator focuses on the display. If the operator focuses on the display of the local tele-presence robot 210, change of the face position is considered to be intentional. Thus, change in the direction, t1, can be emphasized. On the other hand, in a case where the operator focuses on out of the display, the motion parameter generator 220 sets a lighter weight to the direction, t1, and a heavier weight to the orientation, t2. If the operator focuses on out of the display such as on a document, change of the face position is considered to be unintentional. The operator may move his/her head to see the document. Thus, change in the direction, t1, can be suppressed. Processing of motion parameter generation will be described later in more detail.
[0047]
The communication 224 is configured to submit the generated motion parameters to the remote tele-presence robot 250 so as to control movement of the remote tele-presence robot 250.
[0048]
The remote tele-presence robot 250 may include a camera 252 configured to collect information around the remote tele-presence robot 250; a display 254 configured to show the face of the operator to the audiences; and actuators 256 configured to actuate at least one of the camera 252 and the display 254 along at least one axis. When the remote tele-presence robot 250 receives the motion parameters from the local tele-presence robot 210, the remote tele-presence robot 250 sets parameters to the actuators 256 based on the received motion parameters. The head accordingly its face can be moved with the camera 252 to provide the information around the remote tele-presence robot 250 to the operator in front of the local tele-presence robot 210. Simultaneously, the remote tele-presence robot 250 expresses behavior of the operator based on the movement of the operator so as to convey his/her intent to the audience.
[0049]
As shown in FIG. 3, the tele-presence system 200 includes one or more modules to provide various features and functions. These modules may be implemented in hardware, software or firmware executable on hardware, or a combination thereof. Also, these modules are presented only by way of example and are not intended to suggest any limitation. Alternative embodiments may include additional or fewer modules than those illustrated in FIG. 3, or the modules may be organized differently. Furthermore, it should be recognized that, in some embodiments, the functionality of some modules may be broken into multiple modules or, conversely, the functionality of several modules may be combined into a single or fewer modules.
[0050]
Now, referring to the FIG. 5 with FIG. 6, it will be described a process (corresponds to a method) for controlling the tele-presence robot based on the movement of the operator in the tele-presence system according to the exemplary embodiment of the present invention.
[0051]
FIG. 5 shows a flowchart depicting the process for controlling the tele-presence robot based on the movement of the operator. As shown in FIG. 5, the process begins at step S100 in response to start up the local tele-presence robot 210 and establishing a session with the remote tele-presence robot 250 as a buddy robot. Note that the process shown in FIG. 5 is performed by the computing device 230 depicted in FIG. 3.
[0052]
At step S101, the computing device 230 obtains a face image from the camera 212 and the current pan and tilt angles set to the actuators 214 if necessary.
[0053]
At step S102, the computing device 230 calculates the direction where the face is positioned with respect to the body of the local tele-presence robot 210 as the angle of the intentional movement of the operator by the face tracker 216 based on the current pan and tilt angles and the face image if necessary. The angle of the direction, t1, can be simply calculated from the current pan and tilt angles, based on the current pan and tilt angles in combination with the detected position of the operator's face in the image, or based on merely the detected position of the operator's face in the image.
[0054]
At step S103, the computing device 230 calculates the orientation of the operator's face against the normal orientation where the face just opposes to the display as the angle of the unintentional movement of the operator by the face orientation estimator 218 based on the face image.
[0055]
At step S104, the computing device 230 determines whether the focus of the operator is on the display by the intention determiner 222 based on at least one of the direction, t1, and the orientation, t2. In a preferable embodiment, the orientation, t2, which indicates the unintentional movement of the operator, can be used to determine whether the focus of the operator is on the display or not. In a particular embodiment, the degree of the unintentionality of the operator to the display can be estimated by t2/K, where K denotes normalization constant. In contrast, the degree of the intentionality of the operator to the display can be estimated by 1-t2/K. 
[0056]
If the computing device 230 determines that the focus of the operator is on the display in the step S104, the process branches to the step S105. In the particular embodiment, if the degree of the unintentionality, t2/K, is less than a threshold, the computing device 230 determines that the focus of the operator is on the display. At step S105, the computing device 230 sets the heavier weight to the angle of the intentional movement, t1, and the lighter weight to the angle of the unintentional movement, t2, by the motion parameter generator 220.
[0057]
On the other hand, if the computing device 230 determines that the focus of the operator is out of the display in the step S104, the process branches to the step S106. At step S106, the computing device 230 sets a lighter weight to the angle of the intentional movement, t1, and a heavier weight to the angle of the unintentional movement, t2, by the motion parameter generator 220.
[0058]
At step S107, the computing device 230 generates the motion parameters of the remote tele-presence robot 250 based on the angle of the intentional movement, t1, and the angle of the unintentional movement, t2, with weights set at step S105 or S106, by the motion parameter generator 220.
[0059]
FIG. 6A describes motion parameters of the remote tele-presence robot 250 according to the exemplary embodiment. FIG. 6A shows the remote tele-presence robot 250 in which the camera and the display are simultaneously movable in two axes by the pan and tilt actuators.
[0060]
In a particular embodiment in relation to the remote tele-presence robot 250 shown in FIG. 6A, steps from S104 to S107 can be done by calculating an angle (to be accurate, it may include a pan and tilt angles) of the head of the remote tele-presence robot 250, T, determined by a following formula:
[0061]
[Formula 3]
2017092509.tif 000021
wherein t1 denotes the direction, t2 denotes the orientation and M, N and K denote predetermined constants, respectively. The constant for the direction, M, can be tuned so that the operator can sweep around in the audiences' site by a small movement. The constant for the orientation, N, can be tuned so as to adjust presentation of the unintentional movement. The direction, t1, and the orientation, t2, are reflected to the motion parameter, T, differently.
[0062]
The t2/K represents the degree of the unintentionality of the operator whereas (1- t2/K) represents the degree of the intentionality of the operator. The degree of the unintentionality, t2/K, and the degree of the intentionality, 1-t2/K may change in an opposite manner. The degree of the unintentionality, t2/K, increases with decreasing the degree of the intentionality, 1-t2/K, and vice versa. The degree of the unintentionality, t2/K, give the heavier weight to the orientation, t2, and lighter weight to the direction, t1 if the degree of the unintentionality, t2/K, exceeds the threshold value (0.5).
[0063]
In a particular preferable embodiment, if the constant M is set to be positive value, the constant N is set to be negative value so that the direction, t1, and the orientation, t2, are reflected to the movement of the tele-presence robot 250 in an opposite manner.
[0064]
FIG. 7A illustrates movements of the tele-presence robots by an intentional movement of the operator according to the particular preferable embodiment of the present invention. On the other hand, FIG. 7B illustrates other movements of the tele-presence robots by an unintentional movement of the operator.
[0065]
As shown in FIG. 7A, when the speaker 130 changes his/her face position intentionally toward the display of the local tele-presence robot 120 in the speaker's site 110, the local tele-presence robot 120 follows the operator's face and the remote tele-presence robot 160 rotates its head in a point symmetric manner to the speaker's motion. When the speaker moves to his/her right-hand side, the remote robot 160 rotates its head to collect information on its left hand side.
[0066]
In contrast, when the speaker 130 changes his/her face orientation from the normal orientation where the face just opposes to the display of the local tele-presence robot 120 in the speaker's site 110 as shown in FIG. 7B, the remote tele-presence robot 160 rotates its head in an opposite manner, which is a synchronized manner to the speaker's motion. When the speaker moves his/her head to left-hand side, the remote robot 160 rotates its head to collect information on its left hand side.
[0067]
Now referring back to the FIG. 5, at step S108, the computing device 230 submits the generated motion parameters as a control signal to the remote tele-presence robot by the communication 224.
[0068]
At step S109, the computing device 230 determines whether the control is ended or not. If the computing device 230 determines that the control is not ended in step S109, then the process loops back to step S101. On the other hand, if the computing device 230 determines that the control is ended in step S109, then the process branches to the step S110 to end the process. When the tele-presence robot 210 is shut down or disconnected to the buddy robot, the computing device 230 may determine that the control has been ended.
[0069]
In the describing embodiment, steps are described to be executed in an order shown in the FIG. 5. However, in other embodiments, any steps shown in FIG. 5 may be executed in a variety of orders. Especially, the steps of S102 and S103 may be executed in reverse order, or in parallel.
[0070]
According to the novel process shown in FIG. 5, natural embodiment of the operator can be expressed with the remote tele-presence robot based on the movement of the operator without requiring any additional equipment that disturbs natural facial expression of the operator such as HMD and without giving much cognitive load on the operator. The operator can switch his/her operational movements and unintentional movements to be submitted without any explicit actions so as to reconcile operation with the operator's intention and presentation for improving the social presence in the absence of operator's intention without giving any cognitive load on the operator.
[0071]
The tele-presence robot described herein can be used as an avatar of the operator in remote classes, workshops or collaborative works. The hardware configuration of the tele-presence robot can be simplified to reduce the cost in manufacturing and operating (e.g. setup, maintenance, etc.) of the tele-presence robot.
[0072]
Alternative Embodiments
In one or more other embodiments of the present invention, the motion parameters of the remote tele-presence robot may include at least one of one or more angles of a part (such as head, face, eyes, etc.) of the remote tele-presence robot, one or more angles of a camera mounted in the remote tele-presence robot, one or more angles of a display mounted in the remote tele-presence robot and one or more angles of a set of a camera and a display mounted in the remote tele-presence robot.
[0073]
Now, referring to the FIG. 6B, it will be described a tele-presence robot according to other exemplary embodiment of the present invention, in which the camera and the display are separately movable in each two axes by each pan and tilt actuators.
[0074]
In the particular embodiment shown in FIG. 6B, the one or more motion parameters of the tele-presence robot include a plurality of parameters, each of which corresponds to a different part (e.g. face or display and eyes or camera) of the remote tele-presence robot. In this embodiment, each parameter can be determined by a different function with respect to the direction, t1, and the orientation, t2.
[0075]
In a particular embodiment in relation to the remote tele-presence robot shown in FIG. 6B, steps from S104 to S107 shown in FIG. 5 can be done by calculating an angle of the display, Td, and an angle of the camera, Tc, each of which is determined by each following formula:
[0076]
[Formula 4]
2017092509.tif 000022
wherein t1 denotes the direction, t2 denotes the orientation and Md, Mc, Nd, Nc, Kd and Kc denote predetermined constants, respectively.
[0077]
According to the other embodiment, natural embodiment of the operator can be expressed more finely with the remote tele-presence robot based on a movement of the operator, in which the movement of the display can be controlled separately from that of the camera.
[0078]
Computer Program Implementation
The present invention may be a computer system, a method, and/or a computer program product. The computer program product may include a computer readable storage medium (or media) having computer readable program instructions thereon for causing a processor to carry out aspects of the present invention.
[0079]
The computer readable storage medium can be a tangible device that can retain and store instructions for use by an instruction execution device. The computer readable storage medium may be, for example, but is not limited to, an electronic storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination of the foregoing. A non-exhaustive list of more specific examples of the computer readable storage medium includes the following: a portable computer diskette, a hard disk, a random access memory (RAM), a read-only memory (ROM), an erasable programmable read-only memory (EPROM or Flash memory), a static random access memory (SRAM), a portable compact disc read-only memory (CD-ROM), a digital versatile disk (DVD), a memory stick, a floppy disk, a mechanically encoded device such as punch-cards or raised structures in a groove having instructions recorded thereon, and any suitable combination of the foregoing. A computer readable storage medium, as used herein, is not to be construed as being transitory signals per se, such as radio waves or other freely propagating electromagnetic waves, electromagnetic waves propagating through a waveguide or other transmission media (e.g., light pulses passing through a fiber-optic cable), or electrical signals transmitted through a wire.
[0080]
Computer readable program instructions described herein can be downloaded to respective computing/processing devices from a computer readable storage medium or to an external computer or external storage device via a network, for example, the Internet, a local area network, a wide area network and/or a wireless network. The network may comprise copper transmission cables, optical transmission fibers, wireless transmission, routers, firewalls, switches, gateway computers and/or edge servers. A network adapter card or network interface in each computing/processing device receives computer readable program instructions from the network and forwards the computer readable program instructions for storage in a computer readable storage medium within the respective computing/processing device.
[0081]
Computer readable program instructions for carrying out operations of the present invention may be assembler instructions, instruction-set-architecture (ISA) instructions, machine instructions, machine dependent instructions, microcode, firmware instructions, state-setting data, or either source code or object code written in any combination of one or more programming languages, including an object oriented programming language such as Smalltalk, C++ or the like, and conventional procedural programming languages, such as the "C" programming language or similar programming languages. The computer readable program instructions may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer or entirely on the remote computer or server. In the latter scenario, the remote computer may be connected to the user's computer through any type of network, including a local area network (LAN) or a wide area network (WAN), or the connection may be made to an external computer (for example, through the Internet using an Internet Service Provider). In some embodiments, electronic circuitry including, for example, programmable logic circuitry, field-programmable gate arrays (FPGA), or programmable logic arrays (PLA) may execute the computer readable program instructions by utilizing state information of the computer readable program instructions to personalize the electronic circuitry, in order to perform aspects of the present invention.
[0082]
Aspects of the present invention are described herein with reference to flowchart illustrations and/or block diagrams of methods, apparatus (systems), and computer program products according to embodiments of the invention. It will be understood that each block of the flowchart illustrations and/or block diagrams, and combinations of blocks in the flowchart illustrations and/or block diagrams, can be implemented by computer readable program instructions.
[0083]    These computer readable program instructions may be provided to a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus to produce a machine, such that the instructions, which execute via the processor of the computer or other programmable data processing apparatus, create means for implementing the functions/acts specified in the flowchart and/or block diagram block or blocks. These computer readable program instructions may also be stored in a computer readable storage medium that can direct a computer, a programmable data processing apparatus, and/or other devices to function in a particular manner, such that the computer readable storage medium having instructions stored therein comprises an article of manufacture including instructions which implement aspects of the function/act specified in the flowchart and/or block diagram block or blocks.
[0084]
The computer readable program instructions may also be loaded onto a computer, other programmable data processing apparatus, or other device to cause a series of operational steps to be performed on the computer, other programmable apparatus or other device to produce a computer implemented process, such that the instructions which execute on the computer, other programmable apparatus, or other device implement the functions/acts specified in the flowchart and/or block diagram block or blocks.
[0085]    The flowchart and block diagrams in the Figures illustrate the architecture, functionality, and operation of possible implementations of systems, methods, and computer program products according to various embodiments of the present invention. In this regard, each block in the flowchart or block diagrams may represent a module, segment, or portion of instructions, which comprises one or more executable instructions for implementing the specified logical function(s). In some alternative implementations, the functions noted in the block may occur out of the order noted in the figures. For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order, depending upon the functionality involved. It will also be noted that each block of the block diagrams and/or flowchart illustration, and combinations of blocks in the block diagrams and/or flowchart illustration, can be implemented by special purpose hardware-based systems that perform the specified functions or acts or carry out combinations of special purpose hardware and computer instructions.
[0086]
The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. As used herein, the singular forms “a”, “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” and/or “comprising”, when used in this specification, specify the presence of stated features, integers, steps, operations, elements, and/or components, but do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components and/or groups thereof.
[0087]
The corresponding structures, materials, acts, and equivalents of all means or step plus function elements in the claims below, if any, are intended to include any structure, material, or act for performing the function in combination with other claimed elements as specifically claimed. The description of one or more aspects of the present invention has been presented for purposes of illustration and description, but is not intended to be exhaustive or limited to the invention in the form disclosed. 
[0088]
Many modifications and variations will be apparent to those of ordinary skill in the art without departing from the scope and spirit of the described embodiments. The terminology used herein was chosen to best explain the principles of the embodiments, the practical application or technical improvement over technologies found in the marketplace, or to enable others of ordinary skill in the art to understand the embodiments disclosed herein.
[Claim 1]
A computer-implemented method for generating a control signal for a tele-presence robot by a computing device based on a movement of an operator, the method comprising:
calculating a direction where at least part of the operator is positioned based on a camera acquiring an image of the at least part of the operator;
calculating an orientation where the at least part of the operator points; and
generating one or more motion parameters of the tele-presence robot as the control signal based on the direction in combination with the orientation, wherein the direction and the orientation are reflected to the one or more motion parameters differently.
[Claim 2]
The method of claim 1, the method further comprising:
determining whether the operator focuses on a display equipped with the camera based on at least one of the direction and the orientation, the display being configured to show a view of the tele-presence robot;
wherein the generating comprises weighting the direction and the orientation differently according to a result of the determining.
[Claim 3]
The method of claim 2, wherein the weighting comprises:
setting a heavier weight to the direction and setting a lighter weight to the orientation in a case where the operator focuses on the display.
[Claim 4]
The method of claim 2, wherein the weighting comprises:
setting a lighter weight to the direction and setting a heavier weight to the orientation in a case where the operator focuses on out of the display.
[Claim 5]
The method of claim 1, wherein the one or more motion parameters of the tele-presence robot includes a plurality of parameters each corresponding to a different part of the tele-presence robot, each parameter being determined by a different function with respect to the direction and the orientation.
[Claim 6]
The method of claim 1, wherein the one or more motion parameters of the tele-presence robot includes at least one of one or more angles of a part of the tele-presence robot, one or more angles of a remote camera mounted in the tele-presence robot, one or more angles of a remote display mounted in the tele-presence robot and one or more angles of a set of a remote camera and a remote display mounted in the tele-presence robot.
[Claim 7]
The method of claim 1, wherein the one or more motion parameters of the tele-presence robot includes an angle of the tele-presence robot, T, determined by a following formula:
[Formula 1]
2017092509.tif 000023
wherein t1 denotes the direction, t2 denotes the orientation and M, N and K denote predetermined constants, respectively.
[Claim 8]
The method of claim 1, wherein the direction is reflected in a point symmetric manner and the orientation is reflected in a synchronized manner from the movement of the operator to the movement of the tele-presence robot.
[Claim 9]
The method of claim 1, wherein the at least part of the operator is a face of the operator, and the tele-presence robot has a remote display configured to show the face of the operator, a remote camera configured to collect information around the tele-presence robot and one or more actuators configure to actuate at least one of the remote camera and the remote display along at least one axis.
[Claim 10]
The method of claim 1, wherein the computing device is equipped with the camera, is included in the tele-presence robot, or is connected to the tele-presence robot.
[Claim 11]
A tele-presence system that includes a computing device for generating a control signal for a tele-presence robot based on a movement of an operator, the computing device comprising:
a direction calculator configured to calculate a direction where at least part of the operator is positioned based on a camera acquiring an image of the at least part of the operator;
an orientation calculator configured to calculate an orientation where the at least part of the operator points; and
a generator configured to generate one or more motion parameters of the tele-presence robot as the control signal based on the direction in combination with the orientation, wherein the direction and the orientation are reflected to the one or more motion parameters differently.
[Claim 12]
The tele-presence system of claim 11, wherein the computing device further comprises:
a determiner configured to determine whether the operator focuses on a display equipped with the camera based on at least one of the direction and the orientation, the display being configured to show a view of the tele-presence robot;
wherein the generator is further configured to weight the direction and the orientation differently according to a result of determination.
[Claim 13]
The tele-presence system of claim 12, wherein the generator is further configured to set a heavier weight to the direction and set a lighter weight to the orientation in a case where the operator focuses on the display.
[Claim 14]
The tele-presence system of claim 12, wherein the generator is further configured to set a lighter weight to the direction and set a heavier weight to the orientation in a case where the operator focuses on out of the display.
[Claim 15]
The tele-presence system of claim 11, wherein the one or more motion parameters of the tele-presence robot includes a plurality of parameters each corresponding to a different part of the tele-presence robot, each parameter being determined by a different function with respect to the direction and the orientation.
[Claim 16]
The tele-presence system of claim 11, wherein the at least part of the operator is a face of the operator, the tele-presence system further comprising:
the tele-presence robot having a remote display configured to show the face of the operator, a remote camera configured to collect information around the tele-presence robot and one or more remote actuators configured to actuate at least one of the remote camera and the remote display along at least one axis; and
a local robot embodying the operator, the local robot having the camera configured to acquire an image of the face of the operator, a local display configured to show a view of the tele-presence robot to the operator, and one or more local actuators configured to actuate at least one of the camera and the local display.
[Claim 17]
The tele-presence system 12, wherein the computing device is equipped with the camera, is included in the tele-presence robot, or is connected to the tele-presence robot.
[Claim 18]
A computer program for generating a control signal for a tele-presence robot based on a movement of an operator, the computer program having program instructions embodied therewith, the program instructions executable by a computer to cause the computer to perform a computer-implemented method comprising:
calculating a direction where at least part of the operator is positioned based on a camera acquiring an image of the at least part of the operator;
calculating an orientation where the at least part of the operator points; and
generating one or more motion parameters of the tele-presence robot as the control signal based on the direction in combination with the orientation, wherein the direction and the orientation are reflected to the one or more motion parameters differently.
[Claim 19]
The computer program of claim 18, wherein the method further comprises:
determining whether the operator focuses on a display equipped with the camera based on at least one of the direction and the orientation, the display being configured to show a view of the tele-presence robot;
wherein the generating comprises weighting the direction and the orientation differently according to a result of the determining.
[Claim 20]
The computer program of claim 19, wherein the weighting comprises:
setting a heavier weight to the direction and setting a lighter weight to the orientation in a case where the operator focuses on the display.
[Abstract]
[Problem]            To control a tele-presence robot naturally based on a movement of an operator.
[Solution]            A computer-implemented method for generating a control signal for a tele-presence robot by a computing device based on a movement of an operator is disclosed. A direction where at least part of the operator is positioned is calculated based on a camera acquiring an image of the at least part of the operator at step S102. An orientation where the at least part of the operator points is calculated based on the camera at step S103. Then, one or more motion parameters of the tele-presence robot are generated as the control signal based on the direction in combination with the orientation at step S107. The direction and the orientation are reflected to the one or more motion parameters differently.
[Selected Drawing]           FIG. 5
[FIG. 1]
2017092509.tif 000024
[FIG. 2]
2017092509.tif 000025
[FIG. 3]
2017092509.tif 000026
[FIG. 4]
2017092509.tif 000027
[FIG. 5]
2017092509.tif 000028
[FIG. 6]
2017092509.tif 000029
[FIG. 7]
2017092509.tif 000030