(57)【要約】  対話型テレプレゼンスシステム（１０）は、テレマティック通信ネットワーク（３５）を通じて互いに通信している、制御側のユーザ（２０）によって操作される第１のデバイス（１２）と、被制御側のユーザ（３０）によって操作される第２のデバイス（２２）とを備える。第１のデバイス（１２）および第２のデバイス（２２）は、データ送受信手段（１４、２４）と、処理手段（１６、２６）と、ユーザインターフェース手段（１８、２８）とを含む。第２のデバイス（２２）はさらに、ビデオ取得手段（２７）を含む。対話型テレプレゼンスシステム（１０）の特徴は、第２のデバイス（２２）の処理手段（２６）が、被制御側のユーザ（３０）に向けられた１つ以上のコマンドに対応する入力データを対応する１つ以上のグラフィカルメタコマンドに変換するように構成されており、第２のデバイス（２２）のユーザインターフェース手段（２８）は、ビデオ取得手段（２７）によって取得されたシーンに対応するオーディオビジュアルコンテンツと１つ以上のグラフィカルメタコマンドとの組合せを被制御側のユーザ（３０）に対して表示および提示するように構成されていることである。
2019513248.tif 000002
【特許請求の範囲】
【請求項１】
テレマティック通信ネットワーク（３５）を通じて互いに通信している、制御側のユーザ（２０）によって操作される第１のデバイス（１２）と被制御側のユーザ（３０）によって操作される第２のデバイス（２２）とを備え、前記第１のデバイス（１２）および前記第２のデバイス（２２）は、データ送受信手段（１４、２４）と、処理手段（１６、２６）と、ユーザインターフェース手段（１８、２８）とを含み、前記第２のデバイス（２２）はさらにビデオ取得手段（２７）を含む対話型テレプレゼンスシステム（１０）であって、前記第２のデバイス（２２）の前記処理手段（２６）は、前記被制御側のユーザ（３０）に向けられた１つ以上のコマンドに対応する入力データを対応する１つ以上のグラフィカルメタコマンドに変換するように構成されており、前記第２のデバイス（２２）の前記ユーザインターフェース手段（２８）は、前記ビデオ取得手段（２７）によって取得されたシーンに対応するオーディオビジュアルコンテンツと前記１つ以上のグラフィカルメタコマンドとの組合せを前記被制御側のユーザ（３０）に対して表示および提示するように構成されていることを特徴とする、対話型テレプレゼンスシステム（１０）。
【請求項２】
前記グラフィカルメタコマンドは、図形画像および／または動画を含むことを特徴とする、請求項１に記載の対話型テレプレゼンスシステム（１０）。
【請求項３】
前記第１のデバイス（１２）の前記ユーザインターフェース手段（１８）は、前記オーディオビジュアルコンテンツと選択可能なコマンドの事前に定義された組との組合せを前記制御側のユーザ（２０）に対して表示および提示するように構成されていることを特徴とする、請求項１または２に記載の対話型テレプレゼンスシステム（１０）。
【請求項４】
前記第１のデバイス（１２）の前記ユーザインターフェース手段（１８）はさらに、前記被制御側のユーザ（３０）に向けられた、前記制御側のユーザ（２０）による前記１つ以上のコマンドの選択を検出するように構成されており、前記１つ以上のコマンドは前記選択可能なコマンドの事前に定義された組の一部であることを特徴とする、請求項３に記載の対話型テレプレゼンスシステム（１０）。
【請求項５】
前記第２のデバイス（２２）の前記ビデオ取得手段（２７）はスチルカメラまたはビデオカメラを含むことを特徴とする、前記請求項のいずれか１項に記載の対話型テレプレゼンスシステム（１０）。
【請求項６】
前記第１のデバイス（１２）の前記ユーザインターフェース手段（１８）はスクリーンまたはディスプレイおよびポインティングデバイスを含むことを特徴とする、前記請求項のいずれか１項に記載の対話型テレプレゼンスシステム（１０）。
【請求項７】
前記第１のデバイス（１２）の前記ユーザインターフェース手段（１８）および前記第２のデバイス（２２）の前記ユーザインターフェース手段（２８）は、タッチスクリーンタイプのスクリーンまたはディスプレイを含むことを特徴とする、前記請求項のいずれか１項に記載の対話型テレプレゼンスシステム（１０）。
【請求項８】
前記第１のデバイス（１２）の前記ユーザインターフェース手段（１８）および前記第２のデバイス（２２）の前記ユーザインターフェース手段（２８）は、少なくとも１つのスピーカを含むことを特徴とする、前記請求項のいずれか１項に記載の対話型テレプレゼンスシステム（１０）。
【請求項９】
前記制御側のユーザ（２０）の前記第１のデバイス（１２）と前記被制御側のユーザ（３０）の前記第２のデバイス（２２）との間で電子文書またはデータファイルを共有するためのシステムをさらに備えることを特徴とする、前記請求項のいずれか１項に記載の対話型テレプレゼンスシステム（１０）。
【請求項１０】
前記第２のデバイス（２２）を前記被制御側のユーザ（３０）の体に固定するためのシステムをさらに備えることを特徴とする、前記請求項のいずれか１項に記載の対話型テレプレゼンスシステム（１０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対話型テレプレゼンスシステムに関し、特に、間接的に遠隔地のオブジェクトを操作するために、間接的に遠隔地の機械を使用または支援するために、および間接的に遠隔地の乗り物を運転するために、インターネットで人にまたは人工システムに提供されるサービスにおいて便利で実用的な対話型テレプレゼンスシステムに関するが、それらに限定されるわけではない。
【背景技術】
【０００２】
現在では、インターネットを通じたテレプレゼンスに関してさまざまな異なるソリューションが知られており、それらのソリューションには、ウェブカム、テレコンファレンスシステム、遠隔操作モバイルテレコンファレンスロボットによって通信するためのシステム、より一般的に、オーディオビジュアルストリームを送信するためのシステムが含まれる。
【０００３】
ウェブカムを用いた従来の通信システムは、インターネットでユーザによって選択的にパンされたまたは遠隔移動された１つ以上のビデオカメラによって記録されたものを送信する。制御側のユーザと被制御側のユーザとの間で対話が可能な場合、これらの対話は被制御側のユーザによって操作されるデバイスまたは装置上の任意の地点において表示されるアイコンに制限されている。これらのアイコンは、被制御側のユーザまたはビデオキャプチャデバイスもしくは装置、すなわち、ビデオ取得デバイスを移動させるための簡単で基本的な、速やかなコマンドを示す。
【０００４】
この場合、対話の可能性は存在しない、または簡単で基本的なコマンドに制限されている。実際、これらのシステムは、どれほど離れていても異なる場所に位置する人の間の簡単な視聴覚対話のために、または、ある遠隔地の現在の状況を視聴するために使用されることが一般的である。
【０００５】
従来のテレコンファレンスシステムは、たとえばスマートフォンまたはタブレットコンピュータなどのモバイルデバイス用のシンプルなアプリから、複数のビデオカメラが設けられていることが典型的な複雑なオーディオビジュアルシステムまでの製品を含む。
【０００６】
一般に、これらは、まるで効果的にそこに存在するかのように遠隔地を表示することが可能な、双方向の場合もあるオーディオビジュアルストリームを生成するシステムである。そのようなシステムの最もよく知られている例が、スカイプソフトウェアである。
【０００７】
通常、これらの従来のテレコンファレンスシステムによって提供される高度な機能は、遠隔地または遠隔シーンを撮影する１つ以上のビデオカメラをパンまたは移動する能力、または各インスタンスで話している人に対する自動ズームを備えている。一般に、物理的なおよび／または電子式の文書の共有を可能にする機能も含まれている。
【０００８】
最も専門的な従来のテレコンファレンスシステムはさらに、ブロードキャストモードで数人の異なる遠隔地のユーザを接続して、話し手または教師が発する、他のユーザ全員に送信される１つのメインオーディオビジュアルストリームを生成可能な機能を備える。
【０００９】
最も高度な従来のテレプレゼンスシステムは、制御側のユーザ、すなわち現場の人に、移動コマンドおよび／またはビデオキャプチャデバイスまたは装置をパンするコマンドを、通常はビデオ撮像の任意の地点において被制御側のユーザに見えるような形式で送信することが可能である。
【００１０】
従来のモバイルテレコンファレンスロボットは、最も技術的に高度な（および、そのため最も高価な）場合を表している。たとえば、概して、これらは芝刈り機のサイズから塗料缶のサイズにわたる製品であり、これらの製品には、オーディオビジュアルストリームによって構成される通信セッションを可能にするためにモバイルデバイスまたはディスプレイに対応する１つ以上のロッドが設けられている。上述したように、これらの従来のロボットはモバイルであり、方向ボタンを押すことによってロボットにどこに行くかを示す遠隔地のユーザによって作動可能である。
【００１１】
これらの従来のロボットにはアームまたは他の操作手段が設けられたものがないため、さまざまな異なる遠隔地において見たり聞いたり、または見られたり聞かれたりされることしかできない。さらに典型的には、そのような従来のロボットのモビリティは平坦な表面に限られているため、階段の使用、または外部の建物もしくは境界を定められた領域の外での移動が不可能である。
【００１２】
ついに、遠隔地のユーザによってオブジェクトを観察する、および間接的にオブジェクトを遠隔操作することが可能な陸、海、および空用ロボットが知られている。しかしながら、いずれにせよ、これらは高度な専門家の職業上の製品であり、きわめて精巧できわめて高価であり、きわめて使用が困難である。
【００１３】
しかしながら、上述の従来のテレプレゼンスのソリューションには欠点がないわけではない。それらの欠点のうちの１つは、どのような種類の双方向性も提供しないことである、または、たとえば、複雑な遠隔制御もしくは使用が困難なきわめて高価なロボットのコマンドによって、もしくは、制御側のユーザが所望する地点に対して段階的に、場合によっては位置および／またはビデオ撮像の方向が制御側のユーザによって示された状態で、被制御側のユーザ、すなわち、現場の人を案内する移動および／またはパンのためのアイコンの面倒な表示によって、きわめて低い双方向性しか提供できないことである。
【００１４】
実際には、遠隔地のオブジェクトもしくはマシンと対話する可能性、または境界を定められた領域の外側の視点を移動させる可能性は存在しない、またはきわめて低い。従来のテレプレゼンスのソリューションは、フレーミングされ撮像されたシーンにおいてオブジェクトを操作するためのアイコンを有しておらず、移動および／またはパンのためのアイコンのシーン上の位置は、機能に対して、および制御側のユーザによって被制御側のユーザに与えられるコマンドに対して何の影響も有さない。従来のテレプレゼンスシステムを使用して、異なる場所に位置する人の間のチャットの態様で話したり書いたりすることが可能になるだけであり、何をするか、およびどのように動作するかを任意に定義することは、異なる言語で会話している場合もあるであろう人の間におけるチャットに委ねられていた。
【００１５】
従来のテレプレゼンスのソリューションの他の欠点は、特に中距離から長距離では視点を移動させることがきわめて困難なことである。すなわち、制限された移動の唯一の可能性は、モバイルテレコンファレンスロボットによって提供されるものであるが、これらのロボットは、平坦な表面を有する境界を定められた領域外では移動することができない。
【００１６】
従来のテレプレゼンスのソリューションの他の欠点は、遠隔地のユーザによってオブジェクトを間接的に遠隔操作できないことである。位置の制御が複雑であれば、アームまたは他の操作手段の制御はなおのこと複雑である。
【００１７】
従来のテレプレゼンスのソリューションの他の欠点は、モバイルオブジェクトの遠隔制御またはコマンドが、多くの操作上の複雑性および法律上の複雑性をもたらすことである。被制御側のモバイルオブジェクトの位置に自分自身を置き周囲の環境に留意することは決して容易なことではなく、これを行なうためには、複雑なテレメトリー（telemetry）装置、複数のビューおよび特別な訓練が必要である。法律上の問題も考察する。たとえば、街中の道路を横断する、遠隔地のユーザによって制御されたロボットが引き起こした事故は誰の責任になるのか。遠隔地のユーザの責任か。または、サービスを提供している会社の責任か。
【００１８】
従来のテレプレゼンスのソリューションの他の欠点は、人であろうと人工システムであろうと、通信の当事者が、相互性のあるインターネットに接続された装置を必ず有していなければならない、または、自身のコンピュータもしくはモバイルデバイスに適合したプログラムをインストールしなければならないことである。
【００１９】
単にウェブを利用したテレプレゼンスサービスであっても、対応するウェブサイトにアクセスするために使用可能な、必要に応じてブラウザ拡張機能を搭載すべき、インターネット接続されたコンピュータが必要である。
【００２０】
従来のテレプレゼンスのソリューションの他の欠点は、たとえばロボットまたはドローンなどの大変高価で高度な専門家の職業上の製品の使用がきわめて複雑であるということである。
【発明の概要】
【課題を解決するための手段】
【００２１】
本発明の目標は、従来のソリューションで得られる効果と類似のまたはそれらよりもよい効果を得ることが可能な対話型テレプレゼンスシステムを考案することによって、効果的な対話型のテレプレゼンスを設置することによって、すなわち、ユーザが物理的に存在する場所とは異なる場所にいるという感覚を可能な限り説得力がある態様で遠隔地のユーザに再現することによって、上述の公知の技術の限界を克服することである。
【００２２】
この目標の範囲で、本発明の目的は、特に中距離から長距離で視点を容易に移動させてテレビ会議製品に典型的な職場のミーティングの制限された範囲を克服可能であり、遠隔地のユーザが建物または境界を定められた領域を離れ都市環境を含む外部環境を探検可能な、対話型テレプレゼンスシステムを考案することである。
【００２３】
本発明の他の目的は、遠隔地のユーザによる遠隔操作（telemanipulation）、すなわち、たとえば、視聴されている離れた環境に存在するオブジェクトをよりよく観察するために、またはそれらを購入、作動、もしくは修正するために、シーンにおいてそれらを異なる態様で位置決めする目的で、これらのオブジェクトを物理的におよび間接的に作用させる可能性を実現する対話型テレプレゼンスシステムを考案することである。
【００２４】
本発明の他の目的は、人であろうと人工システムであろうと、通信の当事者が、インターネットと互換性がありこれに接続される装置を有する必要がない、または、それらのコンピュータまたはモバイルデバイスに適応したプログラムをインストールする必要のない対話型テレプレゼンスシステムを考案することである。
【００２５】
本発明の他の目的は、操作上の複雑性を有さない、または操作上の複雑性が最小限に限定され、これによって遠隔地のユーザが周囲の環境を認識することが容易になる、かつ、法律上の複雑性を有さない、または法律上の複雑性が最小限に限定された対話型テレプレゼンスシステムを考案することである。
【００２６】
本発明の他の目的は、現場の被制御側のユーザを移動させる、ビデオ撮影の位置および／または方向を変更させる、ならびにフレーミングされ撮像されたシーンにおける要素と相互作用する個別の動きをそれぞれ表す、移動および／パンのための基本的なアイコンを段階的に用いて、正確な制御に制限されない対話型テレプレゼンスシステムを考案することである。
【００２７】
本発明の他の目的は、制御側のユーザが、複雑な低レベルのアクションのシーケンスを必要とする制御側のユーザによって示される高レベルの目標を追って、現場で自律的に操縦および移動が可能な、かつ、自律的にビデオキャプチャデバイスまたは装置をパン可能な人間を制御しているという事実を利用した対話型テレプレゼンスシステムを考案することである。
【００２８】
本発明の他の目的は、きわめて信頼性が高く、容易にかつ実用的に実現される、低コストの対話型テレプレゼンスシステムを提供することである。
【００２９】
以下でより明らかになるであろうこの目標ならびにこれらおよび他の目的は、対話型テレプレゼンスシステムによって達成される。対話型テレプレゼンスシステムは、テレマティック通信ネットワークを通じて互いに通信している、制御側のユーザによって操作される第１のデバイスと被制御側のユーザによって操作される第２のデバイスとを備える。第１のデバイスおよび第２のデバイスは、データ送受信手段と、処理手段と、ユーザインターフェース手段とを含む。第２のデバイスはさらに、ビデオ取得手段を含む。対話型テレプレゼンスシステムは、第２のデバイスの処理手段が被制御側のユーザに向けられた１つ以上のコマンドに対応する入力データを対応する１つ以上のグラフィカルメタコマンドに変換するように構成されており、第２のデバイスのユーザインターフェース手段がビデオ取得手段によって取得されたシーンに対応するオーディオビジュアルコンテンツと１つ以上のグラフィカルメタコマンドとの組合せを被制御側のユーザに対して表示および提示するように構成されていることを特徴とする。移動および／またはパンのための低レベルのコマンドの長いシーケンスを要約するまたは避けるための高レベルのコマンドを送信するために、ユーザインターフェース手段上の１つ以上のグラフィカルメタコマンドの位置は決定的に重要である。
【００３０】
本発明の他の特徴および利点は、好ましいが排他的ではない、添付の図面で単なる例として示される、本発明に係る対話型テレプレゼンスシステムの実施形態の詳細な説明からより明らかになるであろう。
【図面の簡単な説明】
【００３１】
【図１】本発明に係る対話型テレプレゼンスシステムの実施形態を模式的に示すブロック図である。
【図２ａ】本発明に係る対話型テレプレゼンスシステムの実施形態の第１の変形例のインターフェースのスクリーンショットを示す図である。
【図２ｂ】図２ａに対応する、被制御側のユーザまたはアバターの実際のビューを示す図である。
【図３ａ】本発明に係る対話型テレプレゼンスシステムの実施形態の第２の変形例のインターフェースのスクリーンショットを示す図である。
【図３ｂ】図３ａに対応する、被制御側のユーザまたはアバターの実際のビューを示す図である。
【図４ａ】本発明に係る対話型テレプレゼンスシステムの実施形態の第３の変形例のインターフェースのスクリーンショットを示す図である。
【図４ｂ】図４ａに対応する、被制御側のユーザまたはアバターの実際のビューを示す図である。
【発明を実施するための形態】
【００３２】
図面を参照すると、概して参照番号１０で示される本発明に係る対話型テレプレゼンスシステムは、実質的に、制御側のユーザまたは「ユーザ２０」によって所有されユーザ２０によって操作される第１のデバイス１２と、被制御側のユーザまたはアバター３０によって所有されアバター３０によって操作される第２のデバイス２２とを備える。第１のデバイス１２および第２のデバイス２２は、たとえばインターネットなどのテレマティック通信ネットワーク３５を通じて相互に通信している。
【００３３】
第１のデバイス１２は、たとえばスマートフォンもしくはタブレットコンピュータなどのモバイルデバイス、またはパーソナルコンピュータなどの固定デバイスによって構成されており、説明したように、以下で説明する方法に従って、被制御側のユーザまたはアバター３０の動きおよび動作の制御および案内をリアルタイムに行なう制御側のユーザまたはユーザ２０に所有されている。
【００３４】
第２のデバイス２２は、モビリティを十分確保するように、たとえばスマートフォンまたはタブレットコンピュータなどのモバイルデバイスによって構成されており、説明したように、以下で説明する方法に従って、移動の際におよび動作の際に制御側のユーザまたはユーザ２０によって制御および案内される、被制御側のユーザまたはアバター３０によって所有されている。
【００３５】
なお、本発明では、制御側のユーザまたはユーザ２０は人または人工システムでもよく、被制御側のユーザまたはアバター３０も、人または人工システム（たとえば、ロボット）でもよい。
【００３６】
上述のデバイス１２および２２は双方とも、データ送受信手段１４、２４、処理手段１６、２６、およびユーザインターフェース手段１８、２８を含み、ユーザインターフェース手段１８、２８はビデオ、好ましくはオーディオビデオである。
【００３７】
被制御側のユーザまたはアバター３０のデバイス２２はさらに、ビデオ取得手段２７、好ましくはオーディオビデオを含む。
【００３８】
ユーザ２０のデバイス１２のデータ送受信手段１４は、テレマティック通信ネットワーク３５を通じて、デバイス２２から、特に対応するデータ送受信手段２４から、通信セッションのセットアップの際にアバター３０によってリアルタイムにフレーミングされ撮像されるシーンに対応するオーディオビジュアルデータストリームを受信するようにされている。
【００３９】
さらに、ユーザ２０のデバイス１２のデータ送受信手段１４は、テレマティック通信ネットワーク３５を通じて、デバイス２２へ、特に対応するデータ送受信手段２４へ、ユーザ２０によってリアルタイムに与えられアバター３０に向けられたコマンドに対応するデータ項目を送信するようにされている。一実施形態において、コマンドに対応するデータ項目は、サポーティングオーディオデータストリームを伴なう。
【００４０】
本発明に係る対話型テレプレゼンスシステム１０の実施形態の第１の変形例では、ユーザ２０のデバイス１２の処理手段１６は、上述の入力オーディオビジュアルデータストリームに対応する、表示可能なオーディオビジュアルコンテンツ４０を生成するように構成されている。
【００４１】
本発明に係る対話型テレプレゼンスシステム１０の実施形態の第２の変形例では、ユーザ２０のデバイス１２の処理手段１６は、アバター３０によってリアルタイムにフレーミングされ撮像されるシーンにおける場所のマップ４４を生成し、好ましくはこのマップを上述の入力オーディオビジュアルデータストリームから特定するように構成されている。
【００４２】
本発明に係る対話型テレプレゼンスシステム１０の実施形態の第３の変形例では、ユーザ２０のデバイス１２の処理手段１６は、アバター３０によってリアルタイムにフレーミングされ撮像されるシーンに存在する要素の図４８を生成し、好ましくはこの要素を上述の入力オーディオビジュアルデータストリームから特定するように構成されている。
【００４３】
ユーザ２０のデバイス１２の処理手段１６はさらに、ユーザ２０によって選択されアバター３０に向けられた１つ以上のコマンド、好ましくはグラフィカルコマンドを対応する出力データ項目に変換するように構成されている。
【００４４】
本発明に係る対話型テレプレゼンスシステム１０の実施形態の第１の変形例では、デバイス１２のユーザインターフェース手段１８は、処理手段１６によって生成された上述のオーディオビジュアルコンテンツ４０と選択可能なコマンドの定義済みの組、好ましくはたとえば垂直な表示アイコン３５との組合せを、ユーザ２０に対して表示および提示するように構成されている。
【００４５】
本発明に係る対話型テレプレゼンスシステム１０の実施形態の第２の変形例では、デバイス１２のユーザインターフェース手段１８は、たとえば処理手段１６によって生成されるマップである、上述のアバター３０によってフレーミングされ撮像されるシーンにおける場所のマップ４４と、選択可能なコマンドの定義済みの組、好ましくはたとえば垂直な表示アイコン３５などの選択可能なコマンドとの組合せをユーザ２０に対して表示および提示するように構成されている。
【００４６】
本発明に係る対話型テレプレゼンスシステム１０の実施形態の第３の変形例では、デバイス１２のユーザインターフェース手段１８は、処理手段１６によって生成される図である、上述のアバター３０によってフレーミングされ撮像されたシーンに存在する要素の図４８と、選択可能なコマンドの定義済みの組、好ましくはたとえば垂直な表示アイコン３５との組合せをユーザ２０に対して表示および提示するように構成されている。
【００４７】
ユーザ２０のデバイス１２のユーザインターフェース手段１８はさらに、ユーザ２０によってアバター３０に与えられるべき１つ以上のコマンド、好ましくはグラフィカルコマンドの選択を検出するように構成されており、そのようなコマンドは、上述の定義済みの組の一部である。
【００４８】
本発明において、ユーザ２０によってアバター３０に送信されるコマンドおよび情報の不可欠な部分は、コマンド、好ましくはグラフィカルコマンドがユーザインターフェース手段１８上で観察される位置である。なぜなら、この位置は、オーディオビジュアルコンテンツ４０によって示されるシーンにおいて、当該シーン内の場所のマップ４４において、または当該シーンに存在する要素の図４８において、必要な操作を実行するべき特定の要素またはその一部の選択の重要性を伝達するからである。
【００４９】
本発明に係る対話型テレプレゼンスシステム１０の一実施形態において、制御側またはユーザ２０のデバイス１２のインターフェース手段１８は、スクリーンまたはディスプレイおよびポインティングデバイスを含む。
【００５０】
本発明に係る対話型テレプレゼンスシステム１０の一実施形態において、制御側のユーザまたはユーザ２０のデバイス１２のインターフェース手段１８は、タッチスクリーンタイプ、すなわちタッチセンシティブなスクリーンまたはディスプレイを含む。
【００５１】
本発明に係る対話型テレプレゼンスシステム１０の一実施形態において、制御側のユーザまたはユーザ２０のデバイス１２のインターフェース手段１８は、少なくとも１つのスピーカを含む。
【００５２】
アバター３０のデバイス２２のデータ送受信手段２４は、テレマティック通信ネットワー３５を通じて、通信セッションのセットアップの際にアバター３０によってリアルタイムにフレーミングされたシーンに対応するオーディオビジュアルデータストリームを、デバイス１２、特に対応するデータ送受信手段１４に送信するようにされている。
【００５３】
さらに、アバター３０のデバイス２２のデータ送受信手段２４は、テレマティック通信ネットワー３５を通じて、ユーザ２０によってリアルタイムに与えられアバター３０に向けられたコマンドに対応するデータ項目を、デバイス１２から、特に対応するデータ送受信手段１４から受信するようにされている。一実施形態では、コマンドに対応するデータ項目は、サポーティングオーディオデータストリームを伴なう。
【００５４】
アバター３０のデバイス２２の処理手段２６は、アバター３０によってフレーミングされビデオ取得手段２７によって撮像されたシーンから開始して、上述の出力オーディオビジュアルデータストリームを生成するように構成されている。
【００５５】
アバター３０のデバイス２２の処理手段２６はさらに、ユーザ２０によって与えられアバター３０に向けられた１つ以上のコマンドに対応する入力データを、対応する１つ以上のグラフィカルメタコマンドに変換するように構成されている。これらのメタコマンドはたとえば、描画用画像および／または動画、たとえば、オーディオビジュアルコンテンツ４０によって示されるシーンの、当該シーン内に存在する場所のマップ４４の、または当該シーン内に存在する要素の図４８の特定の地点に位置する垂直な表示アイコン３５を含む。
【００５６】
デバイス２２のビデオ取得手段２７は、通信セッションのセットアップの際にアバター３０によってリアルタイムにフレーミングされるシーンを撮像し、対応するオーディオビジュアルコンテンツを撮像し取得するようにされている。
【００５７】
本発明に係る対話型テレプレゼンスシステム１０の一実施形態の第１の変形例では、デバイス２２のユーザインターフェース手段２８は、アバター３０によってフレーミングされビデオ取得手段２７によって撮像されたシーンに対応する上述のオーディオビジュアルコンテンツ４０と、ユーザ２０によって選択済みのアバター３０に向けられたコマンドに対応する特定の位置における上述の１つ以上のグラフィカルメタコマンド、たとえば垂直な表示アイコン３５との組合せを、アバター３０に表示および提示するように構成されている。
【００５８】
本発明に係る対話型テレプレゼンスシステム１０の一実施形態の第２の変形例では、デバイス２２のユーザインターフェース手段２８は、アバター３０によってフレーミングされビデオ取得手段２７によって撮像されたシーンにおける場所の上述のマップ４４と、ユーザ２０によって選択済みのアバター３０に向けられたコマンドに対応する、特定の位置における上述の１つ以上のグラフィカルメタコマンド、たとえば垂直な表示アイコン３５との組合せを、アバター３０に表示および提示するように構成されている。
【００５９】
本発明に係る対話型テレプレゼンスシステム１０の一実施形態の第３の変形例では、デバイス２２のユーザインターフェース手段２８は、アバター３０によってフレーミングされビデオ取得手段２７によって撮像されたシーンに存在する要素の上述の図４８と、ユーザ２０によって選択済みのアバター３０に向けられたコマンドに対応する、特定の位置における上述の１つ以上のグラフィカルメタコマンド、たとえば垂直な表示アイコン３５との組合せを、アバター３０に表示および提示するように構成されている。
【００６０】
本発明に係る対話型テレプレゼンスシステム１０の一実施形態では、被制御側のユーザまたはアバター３０のデバイス２２のビデオ取得手段２７は、好ましくはデジタルスチルカメラまたはビデオカメラを含む。
【００６１】
本発明に係る対話型テレプレゼンスシステム１０の一実施形態では、被制御側のユーザまたはアバター３０のデバイス２２のインターフェース手段２８は、タッチスクリーンタイプ、すなわちタッチセンシティブなスクリーンまたはディスプレイを含む。
【００６２】
本発明に係る対話型テレプレゼンスシステム１０の一実施形態では、被制御側のユーザまたはアバター３０のデバイス２２のインターフェース手段２８は、少なくとも１つのスピーカを含む。この場合、インターフェース手段２８は、コマンドに対応するデータに伴うサポーティングオーディオデータストリームを再生可能である。
【００６３】
実際には、本発明に係る対話型テレプレゼンスシステム１０は、シーンを示すオーディオビジュアルコンテンツ４０上で、当該シーンの場所のマップ４４上で、またはユーザ２０によって視聴されユーザ２０が「テレプレゼント（telepresent）」を望む遠隔地のシーンに対応する当該シーンに存在する要素のマップ４８上で、選択可能なコマンドのグラフィカルレイヤのオーバーレイを行なう。コマンドのグラフィカルレイヤは特に、たとえばメニューの形式で仕様に従って様々に異なって編成された、選択可能なコマンドの定義済みの組を含む。
【００６４】
実際には、さらに、本発明に係る対話型テレプレゼンスシステム１０は、アバター３０によって視聴されアバター３０によってリアルタイムにフレーミングされたシーンに対応するオーディオビジュアルコンテンツ４０上で、マップ４４上で、または図４８上で、ユーザ２０によって選択済みのコマンドに対応するグラフィカルメタコマンドのグラフィカルレイヤをオーバーレイする。
【００６５】
本発明では、対話型テレプレゼンスシステム１０の不可欠な部分は、グラフィカルメタコマンドがユーザインターフェース手段２８上でアバター３０に表示および提示される位置である。なぜなら、この位置は、オーディオビジュアルコンテンツ４０によって表現されるシーンにおいて、当該シーンの場所のマップ４４において、または当該シーンに存在する要素のマップ４８において、必要な操作を実行するための特定の要素またはその一部を選択する重要性を伝達するからである。
【００６６】
このため、アバター３０は、アバター３０によってリアルタイムにフレーミングされたシーンに対応するオーディオビジュアルコンテンツ４０上で、マップ４４上で、またはマップ４８上でユーザ２０による選択によって与えられアバター３０に向けられたグラフィカルメタコマンドを眺め、たとえば、ユーザ２０が作動したいシーンの地点、および／または、ユーザ２０が操作を求める操作の種類を即座に理解する。
【００６７】
ユーザ２０による異なるジェスチャーまたはコマンドの選択は、本発明に係る対話型テレプレゼンスシステム１０によって、対応するグラフィカルメタコマンドに変換される。これらのメタコマンドはたとえば、アバター３０のデバイス２２のインターフェース手段２８上に直接表示される、たとえば垂直な表示アイコン３５などの描画用画像および／または動画を含む。
【００６８】
なお、描画用画像および／または動画の使用によって、ユーザ２０およびアバター３０によって話される言語が異なる可能性の問題が補償される。
【００６９】
一例として、ユーザ２０はアバター３０に、本発明に係る対話型テレプレゼンスシステム１０を用いて、たとえば、前方へ、後方へ、左へ、右へ、シーンにおいて示されている地点に行く、シーン内の要素に対して９０度で立つ、またはシーン内の地点に立つといった、動きまたは変位コマンドを与えることができる。
【００７０】
特に、シーンにおける特定の要素上の動きに関するグラフィカルメタコマンドの位置決めによって、アバターを所望の地点に案内するために必要であろう低レベルの移動コマンドのシーケンス全体を要約する高レベルのコマンドを、アバター３０に与えることが可能になる。たとえば、図２ａおよび図２ｂに示すものを参照して、街中の通り、および、オーディオビジュアルコンテンツ４０におけるシーンで遠くに見える、アバター３０からいくらか離れた店舗の正面に立つように求めるユーザ２０からのリクエストを考える。本発明に係る対話型テレプレゼンスシステム１０に含まれる、グラフィカルメタコマンドを位置決めするためのシステムがなければ、ユーザ２０は、アバター３０が必要とされる店舗の窓に垂直になるまで、前方に進むために、信号で停止するために、曲がるために、通りを横切るために、再び曲がるために、再び前方に進むために、曲がるために、および左右に寄るために、動きおよび位置決めコマンドの長いシーケンスを送らなければならないであろう。
【００７１】
ユーザ２０がただ１つのグラフィカル位置決めコマンドを選択するデバイス１２のインターフェース手段１８上の座標に操作上の重要性を割り当てることによって、アバター３０は、何を行ないどこで作動するかを要約した高レベルのリクエストを受信し、目的を達成するために必要な基本コマンドの複雑なシーケンスにこのリクエストを委ねる。
【００７２】
同様にたとえば、本発明に係る対話型テレプレゼンスシステム１０を用いて、ユーザ２０はたとえば、シーンの要素を選ぶ、シーンの要素を回転させる、シーンの要素を作動させる、シーンの要素を取得するといった操作コマンドを、アバター３０に与えることができる。
【００７３】
コマンドがユーザ２０によってそれぞれ与えられアバター３０によって視聴されるインターフェース手段１８および２８上の、シーンを示すオーディオビジュアルコンテンツ４０上の、当該シーン内の場所のマップ４４上の、または当該シーンに存在する要素の図４８上の位置、すなわち座標は、要素に到達するために、要素に対して適切な位置をとるために、および要素に作用するために、ビデオ取得手段２７の移動および／またはパンに関する基本コマンドの長いシーケンスを避ける高レベルのリクエストを伝達可能である。
【００７４】
また、一例として、ユーザ２０は、本発明に係る対話型テレプレゼンスシステム１０を用いて、たとえば、シーンの要素または地点にズームオンする、動いているシーン内の要素を追う、シーン内の要素の周囲を旋回するといった、フレーミングを扱うためのコマンドをアバター３０に与えることができる。
【００７５】
これらのコマンドは、低レベルでも高レベルでもよい。後者の場合、これらのコマンドは、それぞれユーザ２０によって与えられアバター３０によって視聴されるインターフェース手段１８および２８上の、当該シーンを示すオーディオビジュアルコンテンツ４０上の、当該シーンの場所のマップ４４上の、または当該シーンに存在する要素の図４８上の位置、すなわち座標である情報の付加項目によって決まる。
【００７６】
本発明のこの態様によって、アバター３０は単純なコマンドアイコンに加えて情報の項目を受信し、高レベルのフレーミング機能をリクエストすることが可能になる。たとえば、軌道のフレーミングコマンドは、機能がリクエストされる要素を中心に保ちつつフレーミングを円形経路に沿って移動させるように、アバター３０にリクエストする。同様に、要素に対して垂直な位置をとるようにというコマンドは所望のフレーミングに到達するようにという低レベルの移動コマンドの複雑な連続に置き換わり、アバター３０にこれを委ねて動きプロシージャを完全に管理する。
【００７７】
当業者にとっては、仕様にしたがって、コマンド、それゆえ対応するグラフィカルメタコマンドの数がここで例示の目的で与えられるコマンドの数よりも多い場合があることは明らかである。
【００７８】
同様に、以下のことも明らかである。情報の重要な項目を、シーンを示すオーディオビジュアルコンテンツ４０上の、当該シーン内の場所のマップ４４上の、または当該シーンに存在する要素の図４８上のメタコマンドのグラフィカルな表示の位置、すなわち座標に割り当てる技術によって、アバター３０が人間であり、したがって表示された要素上でリクエストされた高レベルの機能を実行するために必要な低レベルのコマンドの全シーケンスと共に自律的に進行可能であるという事実を利用することが可能になる。
【００７９】
座標を利用して、アイコン３５をシーンを示すオーディオビジュアルコンテンツ４０を通じて高レベルのコマンドと重ねることを明らかにする例を、図２ａおよび図２ｂに示す。すなわち、垂直な表示アイコン３５をフレーム内の道路上の店舗の窓の上に単に位置決めすることによって、アバター３０は、これがフレームの中心に持ってくるべきシーン内の要素であることを理解し、アバター３０自身がそれに垂直な位置をとることを理解する。オーディオビジュアルコンテンツ４０に示す道路の最初のフレーミングから店舗の窓の最終的なフレーミング４２まで通過するという基本コマンドのシーケンスは、アイコン３５の意味論的な（semantic）位置決め技術がなければきわめて複雑になるであろう。
【００８０】
座標を利用してアイコン３５をシーン内の場所のマップ４４にわたって高レベルのコマンドと重ねることを明らかにする他の例を、図３ａおよび図３ｂに示す。具体的には、単にマップ４４上の要素上に垂直な表示アイコン３５を位置決めすることによって、アバター３０は、これがフレームの中心に置かれるべきシーン内の要素であると理解し、アバター３０自身が示された地点に行き、それに垂直な位置をとるべきであると理解する。マップ４４上のアバター３０の初期の位置から店舗の窓の最終的なフレーミング４６まで通過するという基本コマンドのシーケンスは、アイコン３５の意味論的な位置決め技術がなければ、きわめて複雑になるであろう。
【００８１】
座標を利用して、アイコン３５をシーン内に存在する要素の図４８にわたって高レベルのコマンドと重ねることを明らかにする他の例を、図４ａおよび図４ｂに示す。具体的には、単に垂直な表示アイコン３５を図４８の地点に位置決めすることによって、アバター３０は、これがフレームの中心に置かれるべきシーン内に存在する要素の部分であることを理解し、アバター３０自身がそれに垂直な位置をとることを理解する。アバター３０の初期の位置から最終的なフレーミング５０まで通過するという基本コマンドのシーケンスは、アイコン３５の意味論的な位置決め技術がなければきわめて複雑になるであろう。
【００８２】
本発明の実施形態では、対話型テレプレゼンスシステム１０は、ユーザ２０のデバイス１２とアバター３０のデバイス２２との間で電子文書またはデータを共有するためのシステムを備える。
【００８３】
実際には、アバター３０のデバイス２２は、特に対応するデータ送受信手段２４を介して、特に対応するデータ送受信手段１４から送信された、ユーザ２０のデバイス１２から生じる電子文書またはデータを受信可能である。
【００８４】
アバター３０のデバイス２２はさらに、特に対応するデータ送受信手段２４を介して、特に対応するデータ送受信手段１４に、ユーザ２０のデバイス１２に電子文書またはデータを送信可能である。なぜなら、デバイス２２は、コネクタを容易に挿入可能であり、アクセスコード、電子メールアドレス、または電話番号の入力でパーソナルコンピュータおよび他の装置上で単純な操作を実行できるからである。
【００８５】
本発明の実施形態では、アバター３０のアクティビティを妨げられることなく行なえるように、対話型テレプレゼンスシステム１０は、スマートフォンまたはタブレットコンピュータの形式のデバイス２２を人の体、特に被制御側のユーザの体またはアバター３０に固定するためのシステムを備え、これはさらに、フレーミングおよび撮像の安定性の仕様、ならびに制御側のユーザまたはユーザ２０によるフレーミングを求める複数のリクエストを伴なう長時間のユーサビリティの仕様を満たす。
【００８６】
本発明に係る対話型テレプレゼンスシステム１０の好ましい実施形態では、デバイス２２を固定するためのシステムは、実質的にハーネスまたはストラップのシステムおよび伸縮式ロッドもしくはアームを含む。後者は、その上部に、広範な範囲の異なるモバイルデバイスの保持および固定が可能な、それゆえスマートフォンまたはタブレットコンピュータの多くの異なる型式に適応可能なばね式機構を備える。
【００８７】
伸縮式アームは、その基部に配設されたハンドルを有し、そのようなハンドルは、下側端部で閉鎖され詰め物をされた管状要素に挿入されている。
【００８８】
管状要素はストラップのシステムに固定され、特にその下側の閉鎖された端部は、被制御側のユーザの首またはアバター３０の周囲で延在する第１のストラップに固定されている。この第１のストラップは、長さが調節可能であり、クイックリリース機構を有する。
【００８９】
被制御側のユーザの首またはアバター３０の周囲で延在する第２のストラップには、ハンドルよりも高い位置で、管状要素から現れる伸縮式アームの部分が通過する支持リングが設けられている。この第２のストラップも、長さが可変であり、クイックリリース機構を有する。
【００９０】
ストラップのシステムはさらに、その内部をストラップが通過する、そのようなストラップの被制御側のユーザの首またはアバター３０の後方に対する摩擦を低減するようにされた管状詰め物を備える。
【００９１】
被制御側のユーザまたはアバター３０は、伸縮式アームのハンドルが挿入される、詰め物をされた管状要素を手に持っており、これによって、自分自身の動きでデバイス２２の位置を制御する。
【００９２】
実際には、本発明が定められた目標および目的を十分に達成することが分かっている。特に、このように考案された対話型テレプレゼンスシステムが従来技術の質的な限界を克服する可能性があることが分かっている。なぜなら、効果的にインタラクティブなテレプレゼンスを設定することが可能、すなわち、自分自身が物理的にいる場所とは異なる場所にいるような感覚を、できるだけ説得力のある態様で遠隔地のユーザにおいて再現することが可能だからである。
【００９３】
本発明に係る対話型テレプレゼンスシステムの他の利点は、次の点である。特に中距離から長距離において視点を容易に移動させてテレビ会議製品に典型的なオフィスミーティングの限られた範囲を克服することが可能になり、遠隔地のユーザが建物または範囲を定められた領域を離れ都会環境を含む外部環境を探検することが可能になる。
【００９４】
本発明に係る対話型テレプレゼンスシステムの他の利点は、次の点である。この対話型テレプレゼンスシステムは、現場の被制御側のユーザを移動させる、ビデオ撮像の位置および／または方向を変更する、ならびにフレーミングされ撮像されたシーン内の要素と対話するように個別の動きをそれぞれ示す移動および／またはパンのための基本アイコンを段階的に用いた正確な制御に制限されない。
【００９５】
本発明に係る対話型テレプレゼンスシステムの他の利点は、次の点である。制御側のユーザが、低レベルのアクションの複雑なシーケンスを必要とする制御側のユーザによって示される高レベルの目的に追随して、操縦および現場で自律的に動き回ることが可能な、ならびに自律的にビデオキャプチャデバイスまたは装置をパン可能な人間を制御していることを利用することである。
【００９６】
本発明に係る対話型テレプレゼンスシステムの他の利点は、以下の点である。移動および／またはパンの個別のステップに関する低レベルのコマンドとは完全に異なる高レベルのコマンドを送信することによって、地理的なコマンドを表示するための位置、すなわち、座標の重要性に関する取決めによって示されるシーン内の特定の要素に対して必要な操作を実行することになる操縦および移動の計画を公式化し実行する能力に訴えることによって、アバター３０の誘導および移動に関する自律的な容量を利用することが可能になる。
【００９７】
本発明に係る対話型テレプレゼンスシステムの他の利点は、以下の点である。地理的なコマンドの位置に関する情報が、シーンを示す瞬時のオーディオビジュアルコンテンツ上の、当該シーン内の場所のマップ上の、または当該シーン内に存在する要素の図上の表示位置、すなわち座標によって伝えることが可能である。
【００９８】
本発明に係る対話型テレプレゼンスシステムの他の利点は、以下の点である。たとえば、視聴されている遠隔地の環境に存在するオブジェクトをよりよく観察するために、またはそれらを購入し、作動させ、もしくは修正するためにシーン上で異なる態様でそれらを位置決めする目的で、遠隔地のユーザによるテレマニピュレーションが可能になる、すなわち、それらのオブジェクトに物理的および間接的に作用することが可能になる。
【００９９】
本発明に係る対話型テレプレゼンスシステムの他の利点は、以下の点である。シーンを示す瞬時のオーディオビジュアルコンテンツ上で、当該シーン内の場所のマップ上で、または当該シーンに存在する要素の図上のそれぞれで、コマンドがユーザ２０に与えられアバター３０によって視聴されるインターフェース手段上の位置である情報の付加的な項目によって、対話が行なわれる要素および必要とされる対話の種類を示すことが可能になる。
【０１００】
本発明に係る対話型テレプレゼンスシステムの他の利点は、以下の点である。通信の当事者が人であっても人工システムであっても、当事者が互換性のあるインターネットに接続された装置を有すること、またはコンピュータもしくはモバイルデバイス上に適合したプログラムをインストールすることを必要としない。
【０１０１】
本発明に係る対話型テレプレゼンスシステムの他の利点は、操作の複雑性が最小限に抑えられており、そのため、遠隔地のユーザが周囲の環境および法律上の複雑さに留意しやすくする点にある。
【０１０２】
本発明に係る対話型テレプレゼンスシステムは、特に間接的に遠隔地のオブジェクトを操作するために、間接的に遠隔地のマシンを使用するために、および人もしくは人工システムによって間接的に遠隔地の乗り物を運転するために考案されてきたが、より一般的に、どれほど離れていても、すなわち、人または人工システムが物理的に存在する場所以外の場所においてそれらの存在を可能にしたい場合は全て、異なる場所に位置する人の間の通信およびオーディオビジュアルな対話のために使用可能である。
【０１０３】
本発明に係る対話型テレプレゼンスシステム１０の可能性のある使用のうちの１つは包括的なサービスであり、このサービスによって、テレマティック通信ネットワーク３５を通じて他の人または人工システムを制御し遠隔的に案内する他の人または人工システム、すなわち、制御側のユーザまたはユーザ２０が、人または人工システム、すなわち被制御側のユーザまたはアバター３０を利用可能になる。
【０１０４】
一般に、本発明に係る対話型テレプレゼンスシステムの応用は数多く存在し、旅行、探検、保全の活動の実施、ビジネスミーティングへの参加、スポーツ、文化または娯楽イベントへの参加、より一般的に、人または人工システムが必ずしも特定の場所に行く必要がなく、すなわち、遠隔的に行なえる全ての可能性を含む。
【０１０５】
例として、ショッピングセンターによって提供されるテレショッピングサービスが可能である。このサービスでは、小売空間において店員および／または遠隔地の顧客からの複数の注文を履行可能なハイブリッドドローンの組合せが遠隔地の顧客に遠隔的に同行し、注文を次に一元的に送るために、自身の遠隔販売システムを有さない店主に電子商取引サービスを提供している。
【０１０６】
また、たとえば、被制御側のユーザがたとえば観光地または商業地域などの制御側のユーザによって案内される準備の整っている関心領域に沿って絶えず移動しているサービスが可能である。
【０１０７】
また、例として、オペレータまたは専門の技術者の旅費を削減するように、テレアシスタンスパッケージを異なるレベルの専門知識を有する被制御側のユーザによって提供して、産業用地に設置されたマシンおよびシステムに使用操作または保全操作を実行することが可能である。
【０１０８】
同様に、現場にオペレータまたは専門の技術者がいない場合であっても仕事の品質または保全の品質を高く維持するために、テレアシスタンス（teleassistance）および／またはテレインストラクション（teleinstruction）パッケージを高い技能を有する専門家によって提供して、産業用地に設置されたマシンおよびシステムを監督しこれらに対する使用操作または保全操作を行なうことが可能である。
【０１０９】
本発明に係る対話型テレプレゼンスシステムを有するマシンおよびシステムを用いて、より簡単なタスク、たとえばリーチフォークリフトの使用についてスタッフの費用を削減可能であり、これは、労務費がより低い場所に位置する人によって行なうことが可能である。
【０１１０】
このように考案された発明は多数の修正および変形が可能であり、それらは全て添付の請求項の範囲内である。さらに、詳細な説明の全ては他の技術的に等価な要素によって置き換えることができる。
【０１１１】
実際には、使用される材料ならびに付随する形状および寸法は、従来技術の基準および状態に従ういかなるものでもよい。
【０１１２】
結論として、請求項の保護の範囲は、説明によってまたは例として説明された好ましい実施形態によって制限されるべきではなく、請求項は、当業者によって均等と考えられるであろう全ての特徴を含む、本発明に備わる新規性の全ての特許を受けられる特徴を含むべきである。
【０１１３】
イタリア特許出願第１０２０１６００００１０７２４（ＵＢ２０１６Ａ０００１６８）号の開示が、本明細書に引用により援用される。
【０１１４】
いずれの請求項でも述べられた技術的な特徴が参照番号および／または参照符号で記されている場合、それらの参照番号および／または参照符号は、請求項の理解を容易にするためだけに含まれている。それゆえ、そのような参照番号および／または参照符号は、それらの参照番号および／または参照符号の例によって特定される各要素の解釈に限定的な効果を有するものではない。
【図１】
2019513248.tif 000003
【図２ａ】
2019513248.tif 000004
【図２ｂ】
2019513248.tif 000005
【図３ａ】
2019513248.tif 000006
【図３ｂ】
2019513248.tif 000007
【図４ａ】
2019513248.tif 000008
【図４ｂ】
2019513248.tif 000009
【国際調査報告】
2019513248.tif 000010
2019513248.tif 000011