(57)【要約】実環境または仮想環境のどちらの画像も表示するための、タッチスクリーンを使用可能な装置が提供され、この装置は、これらの環境をナビゲートするために画像上にオーバーレイされるグラフィカル・オーバーレイを含むユーザ・インタフェースを有する。この装置は、ユーザがタッチスクリーン上で行ったジェスチャーをコマンドとして解釈することができ、グラフィカル・オーバーレイは、表示された環境内での視点の平行移動及び視点の回転のような意図した操作を実現するためのジェスチャーを行うべき場所についてユーザをガイドする。グラフィカル・オーバーレイは単一のシンボルのみを含むことができ、ディスプレイにおいてこのシンボルによってマークされた領域内に生じるジェスチャーは、シンボルの外側から生じるジェスチャーと区別され、区別されるジェスチャーは、それぞれが平行移動及び回転を制御する。このことは１本指での環境のナビゲーションを可能にする。
2020510272.tif 000002
【特許請求の範囲】
【請求項１】
タッチスクリーン・ディスプレイと、
マイクロプロセッサを含む論理回路とを具えたコンピュータ装置であって、該論理回路は、
ナビゲート可能な環境の画像を前記タッチスクリーン・ディスプレイ上に表示し、該画像は、前記ナビゲート可能な環境内の位置及び前記ナビゲート可能な環境内の角度を有する視点によって特徴付けられ、
前記タッチスクリーン・ディスプレイからタッチ情報を受信し、
前記タッチ情報をフィルタ処理して、各々が前記タッチスクリーン・ディスプレイ上に起点を有する接触ジェスチャーを識別し、
前記タッチスクリーン・ディスプレイの第１部分内に起点を有する前記接触ジェスチャーに対して、前記タッチスクリーン・ディスプレイ上の画像を変化させて当該画像の前記視点の位置を変更し、
前記タッチスクリーン・ディスプレイの第２部分内に起点を有する前記接触ジェスチャーに対して、前記タッチスクリーン・ディスプレイ上の画像を変化させて当該画像の前記視点の角度を変更する
ように構成されているコンピュータ装置。
【請求項２】
前記コンピュータ装置がハンドヘルド装置である、請求項１に記載のコンピュータ装置。
【請求項３】
前記論理回路が、前記ナビゲート可能な環境の画像上に第１シンボルをオーバーレイするようにさらに構成され、該第１シンボルは前記タッチスクリーン・ディスプレイの前記第１部分と位置合わせされる、請求項１または２に記載のコンピュータ装置。
【請求項４】
前記論理回路が、前記ナビゲート可能な環境の画像上に第２シンボルをオーバーレイするようにさらに構成され、該第２シンボルは前記タッチスクリーン・ディスプレイの前記第２部分と位置合わせされる、請求項３に記載のコンピュータ装置。
【請求項５】
前記ハンドヘルド装置が配向センサを含み、
前記論理回路が、
前記配向センサから配向情報を受信し、
前記配向情報に基づいて、前記ナビゲート可能な環境の画像の表示を、ランドスケープモードとポートレートモードとの間で切り換え、
前記ナビゲート可能な環境の画像上に第１シンボルをオーバーレイし、該第１シンボルは前記タッチスクリーン・ディスプレイの前記第１部分と位置合わせされ、
前記ナビゲート可能な環境の画像の表示が前記ランドスケープモードに切り換えられている際に、前記ナビゲート可能な環境の画像上に第２シンボルをオーバーレイし、該第２シンボルは前記タッチスクリーン・ディスプレイの前記第２部分内にある、前記タッチスクリーン・ディスプレイの第３部分と位置合わせされるように、さらに構成され、
前記論理回路が、前記ランドスケープモードである間に、前記タッチ情報をフィルタ処理して、前記タッチスクリーン・ディスプレイの前記第３部分内に生じる接触ジェスチャーを識別し、該接触ジェスチャーを識別したことに応答して、前記タッチスクリーン・ディスプレイ上の前記画像を変化させて、前記画像の前記視点の角度を変更するようにさらに構成されている、請求項２に記載のコンピュータ装置。
【請求項６】
前記タッチスクリーン・ディスプレイの前記第２部分が、前記タッチスクリーン・ディスプレイにおける前記第１部分の外側の領域全体を含む、請求項１〜５のいずれかに記載のコンピュータ装置。
【請求項７】
前記論理回路が、スワイプを含み前記タッチスクリーン・ディスプレイの前記第２部分内に起点を有する接触ジェスチャーに対して、前記スワイプの長さに比例して前記視点の角度を変化させるようにさらに構成されている、請求項１〜６のいずれかに記載のコンピュータ装置。
【請求項８】
前記論理回路が、前記タッチスクリーン・ディスプレイの前記第１部分内に起点を有する接触ジェスチャーに対して、前記タッチスクリーン・ディスプレイ上にタッチして接触している時間長に比例して前記視点の角度を変化させるようにさらに構成されている、請求項１〜７のいずれかに記載のコンピュータ装置。
【請求項９】
前記論理回路が、前記タッチスクリーン・ディスプレイの前記第１部分内に起点を有し曲線状のスワイプを有する接触ジェスチャーに対して、前記視点の位置を該曲線に沿って変化させるようにさらに構成されている、請求項１〜８のいずれかに記載のコンピュータ装置。
【請求項１０】
前記論理回路が、前記タッチスクリーン・ディスプレイの前記第１部分内に起点を有してスワイプを含む接触ジェスチャーに対して、前記第１シンボルを、前記タッチスクリーン・ディスプレイの前記第１部分と位置合わせされた位置から、前記スワイプによってトレースされる経路に沿って移動させるようにさらに構成されている、請求項３に記載のコンピュータ装置。
【請求項１１】
前記ナビゲート可能な環境が、バーチャルリアリティ環境、ゲーム環境、または実環境を含む、請求項１〜１０のいずれかに記載のコンピュータ装置。
【請求項１２】
前記論理回路が、前記ナビゲート可能な環境のミニマップを、前記ナビゲート可能な環境の画像上にオーバーレイするようさらに構成されている、請求項１〜１１のいずれかに記載のコンピュータ装置。
【請求項１３】
前記論理回路が、前記タッチ情報をフィルタ処理して、タップを含む接触ジェスチャーを識別するようにさらに構成され、前記タップを含む接触ジェスチャーに応答して前記ミニマップを提供するようにされに構成されている、請求項１２に記載のコンピュータ装置。
【請求項１４】
前記論理回路が、前記タッチ情報をフィルタ処理して、タップを含む接触ジェスチャーを識別するようにさらに構成され、前記タップを含む接触ジェスチャーに応答して前記画像を保存するようにさらに構成されている、請求項１２に記載のコンピュータ装置。
【請求項１５】
通信チャネル経由で外部装置と通信するように構成された入出力装置（Ｉ／Ｏ）をさらに具えている、請求項１〜１４のいずれかに記載のコンピュータ装置。
【請求項１６】
前記ナビゲート可能な環境の表現を記憶するように構成された画像記憶装置をさらに具えている、請求項１〜１５のいずれかに記載のコンピュータ装置。
【請求項１７】
前記ナビゲート可能な環境の表現を作成するのに十分な情報を生成するように構成された画像源をさらに具えている、請求項１〜１６のいずれかに記載のコンピュータ装置。
【請求項１８】
前記ハンドヘルド装置が配向センサを含み、前記タッチスクリーン・ディスプレイの前記第１部分が前記タッチスクリーン・ディスプレイの１つの領域内に位置決めされ、前記論理回路が、
前記配向センサから配向情報を受信し。
前記配向情報に基づいて、前記ナビゲート可能な環境の画像の表示を、ランドスケープモードとポートレートモードとの間で切り換え、
前記ポートレートモードである際に、前記タッチスクリーン・ディスプレイの前記第１部分を、前記タッチスクリーン・ディスプレイの第１エッジから第１距離だけ間隔をおき、かつ前記タッチスクリーン・ディスプレイの前記第１エッジよりも長い第２エッジから第２距離だけ間隔をおくように位置決めし、
前記ランドスケープモードである際に、前記タッチスクリーン・ディスプレイの前記第１部分を、前記タッチスクリーン・ディスプレイの前記第１エッジから前記第２距離だけ間隔をおき、かつ前記タッチスクリーン・ディスプレイの前記第２エッジから前記第１距離だけ間隔をおくように位置決めする、請求項２に記載のコンピュータ装置。
【請求項１９】
受信したコマンドに応答して実環境内で二次元に可動であるモバイル・テレプレゼンス・ロボットと
コントローラ装置とを具えたテレプレゼンス・システムであって、
前記モバイル・テレプレゼンス・ロボットは、カメラ、第１Ｉ／Ｏ、及び論理回路を含み、該第１Ｉ／Ｏは通信チャネル経由で通信するように構成され、該論理回路は、カメラから前記第１Ｉ／Ｏを通して前記通信チャネル越しにビデオをストリーム配信するように構成され、
前記コントローラ装置は、
前記通信チャネル経由で前記テレプレゼンス・ロボットと通信するように構成された第２Ｉ／Ｏと、
タッチスクリーン・ディスプレイと、
マイクロプロセッサを含む論理回路とを含み、
該論理回路は、
前記タッチスクリーン・ディスプレイ上に前記ストリーム配信されるビデオを表示し、該ビデオは実環境内に位置を有する視点によって特徴付けられ、
前記タッチスクリーン・ディスプレイからタッチ情報を受信し、
前記タッチ情報をフィルタ処理して、各々が前記タッチスクリーン・ディスプレイ上に起点を有する接触ジェスチャーを識別し、
前記タッチスクリーン・ディスプレイの第１部分内に起点を有する接触ジェスチャーに対して、前記テレプレゼンス・ロボットにコマンドを送信して前記テレプレゼンス・ロボットを前記実環境内で移動させて、前記ビデオの前記視点の位置を変更する
ように構成されている、テレプレゼンス・システム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願のクロスリファレンス
本願は、米国特許出願第１５／９１９５８５号、２０１８年３月１３日出願、発明の名称”Navigation System”の継続出願であり、この米国特許出願は米国特許仮出願第６２／４７０４０５号、２０１７年３月１３日出願、発明の名称”Navigation System”により優先権を主張し、また本願は、米国特許出願第１５／３８８９３５号、２０１６年１２月２２日出願、発明の名称”Head-Mounted Sensor System”の一部継続出願であり、さらに本願は、米国特許出願第１５／３８９０５９号、２０１６年１２月２２日出願、発明の名称”Head-Mounted Mapping Methods”の一部継続出願である。全部の上記特許出願の開示は参照することによって本明細書に含める。
【０００２】
発明の分野
本発明はハンドヘルド（手持ち型）コンピュータ装置の分野であり、より具体的には、実環境及び仮想環境の表現内を表示してナビゲートするための、これらのコンピュータ装置の使用法に関するものである。
【背景技術】
【０００３】
関連技術
仮想環境の２Ｄ（二次元）及び３Ｄ（三次元）表現はビデオゲームにおいて周知であり、例えば、１つ以上のジョイスティックを用いてナビゲートする場合であり、例えば、１つのジョイスティックを用いて前進、後退、及び左折及び右折することができる。同様な制御は、モバイル（携帯）機器のタッチセンサに適応している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願第１５／３８９０５９号明細書
【特許文献２】米国特許出願第１５／３８８９３５号明細書
【発明の概要】
【課題を解決するための手段】
【０００５】
本発明は、タッチスクリーン・ディスプレイ、及びマイクロプロセッサを含む論理回路を具えたコンピュータ装置に指向したものである。好適なコンピュータ装置は、ハンドヘルド装置並びに固定式装置を含む。種々の好適例では、このコンピュータ装置は、通信チャネルを経由して外部装置と通信するように構成されたＩ／Ｏ（Input/Output：入出力装置）、及び／またはナビゲート可能な環境の表現を記憶するように構成された画像記憶装置をさらに具えている。本発明の装置は、任意で、ナビゲート可能な環境の表現を作成するのに十分な情報を生成するように構成された画像源を具えることもできる。
【０００６】
上記論理回路は、ナビゲート可能な環境の画像をタッチスクリーン・ディスプレイ上に表示するように構成され、この画像は、ナビゲート可能な環境内の位置及びナビゲート可能な環境内の角度を有する視点によって特徴付けられる。種々の好適例では、ナビゲート可能な環境は、バーチャルリアリティ（仮想現実感）環境、ゲーム環境、または実（リアル）環境を含む。上記論理回路は、タッチスクリーン・ディスプレイからタッチ情報を受信し、このタッチ情報をフィルタ処理して接触ジェスチャーを識別するようにさらに構成され、各接触ジェスチャーはディスプレイ上に起点を有する。上記論理回路は、さらに、タッチスクリーン・ディプレイの第１部分内に起点を有する接触ジェスチャーに対して、タッチスクリーン・ディスプレイ上の画像を変化させて当該画像の視点の位置を変更するように構成されている。また、上記論理回路は、タッチスクリーン・ディスプレイの第１部分とオーバーラップ（重複）しないタッチスクリーン・ディスプレイの第２部分内に起点を有する接触ジェスチャーに対して、タッチスクリーン上の画像を変化させて当該画像の視点の角度を変更するように構成されている。
【０００７】
種々の好適例では、上記論理回路が、ナビゲート可能な環境の画像上に第１シンボルをオーバーレイ（重ね表示）するようにさらに構成され、この第１シンボルはタッチスクリーン・ディスプレイの第１部分と位置合わせされる。これらの好適例の一部では、上記論理回路が、ナビゲート可能な画像上に第２シンボルをオーバーレイするようにさらに構成され、この第２シンボルはタッチスクリーン・ディスプレイの第２部分と位置合わせされる。上記論理回路は、タッチスクリーン・ディスプレイの第１部分内に起点を有してスワイプを含む接触ジェスチャーに対して、第１シンボルを、タッチスクリーン・ディスプレイの第１部分と位置合わせされた位置から、このスワイプによってトレースされる（辿られる）経路に沿って移動させるようにさらに構成することができる。
【０００８】
上記コンピュータ装置がハンドヘルド型である一部の好適例では、上記コンピュータ装置が配向センサを含み、上記論理回路が、この配向センサから配向情報を受信し、この配向情報に基づいて、ナビゲート可能な環境の画像の表示を、ランドスケープ（景観）モードとポートレート（肖像）モードとの間で切り換え、そしてナビゲート可能な環境の画像上に第１シンボルをオーバーレイするようにさらに構成され、第１シンボルはタッチスクリーン・ディスプレイの第１部分と位置合わせされる。さらに、上記論理回路は、ナビゲート可能な環境の画像の表示がランドスケープモードに切り換えられる際に、ナビゲート可能な環境の画像上に第２シンボルをオーバーレイするようにさらに構成され、この第２シンボルは、タッチスクリーン・ディスプレイの第２部分内にある、タッチスクリーン・ディスプレイの第３部分と位置合わせされる。これらの好適例では、上記論理回路が、ランドスケープモードである間に、タッチ情報をフィルタ処理して、タッチスクリーン・ディスプレイの第３部分内を起点とする接触ジェスチャーを識別し、それに応答して、タッチスクリーン・ディスプレイ上の画像を変化させてこの画像の視点の角度を変更するようにさらに構成されている。
【０００９】
種々の好適例では、タッチスクリーン・ディスプレイの第２部分が、タッチスクリーン・ディスプレイにおける第１部分の外側の領域全体を含む。また、一部の好適例では、上記論理回路が、スワイプを含みタッチスクリーン・ディスプレイの第２部分内に起点を有する接触ジェスチャーに対して、スワイプの長さに比例して視点の角度を変化させるようにさらに構成されている。上記論理回路は、タッチスクリーン・ディスプレイの第１部分内に起点を有する接触ジェスチャーに対して、タッチスクリーン・ディスプレイ上のタッチ接触時間の長さに比例して視点の位置を変化させるようにさらに構成することができる。上記論理回路は、タッチスクリーン・ディスプレイの第１部分内に起点を有し曲線状のスワイプを有する接触ジェスチャーに対して、視点の位置をこの曲線に沿って変化させるようにさらに構成することができる。
【００１０】
種々の好適例では、上記論理回路が、ナビゲート可能な環境のミニマップ（小地図）をナビゲート可能な環境の画像上にオーバーレイするようにさらに構成されている。これらの好適例の一部では、上記論理回路が、上記タッチ情報をフィルタ処理して、タップを含む接触ジェスチャーを識別するようにさらに構成され、そしてこのタップを含む接触ジェスチャーに応答して上記ミニマップを提供するようにさらに構成されている。また、上記論理回路がミニマップをオーバーレイするように構成された一部の好適例では、上記論理回路が、上記タッチ情報をフィルタ処理してタップを含む接触ジェスチャーを識別するようにさらに構成され、そしてこのタップを含む接触ジェスチャーに応答して上記画像を保存するようにさらに構成されている。
【００１１】
上記コンピュータシステムがハンドヘルド装置を含む追加的な好適例では、このハンドヘルド装置が配向センサを含み、上記論理回路が、この配向センサから配向情報を受信し、この配向情報に基づいて、ナビゲート可能な環境の画像の表示をランドスケープモードとポートレートモードとの間で切り換えるようにさらに構成されている。これらの好適例では、タッチスクリーン・ディスプレイの第１部分をタッチスクリーン・ディスプレイのある領域内に位置決めすることができ、そして、ポートレートモードである際には、タッチスクリーン・ディスプレイの第１部分を、タッチスクリーン・ディスプレイの第１エッジ（縁部）から第１距離だけ間隔をおき、かつタッチスクリーン・ディスプレイの第１エッジよりも長い第２エッジから第２距離だけ間隔をおくように位置決めし、ランドスケープモードである際には、タッチスクリーン・ディスプレイの第１部分を、タッチスクリーン・ディスプレイの第１エッジから第２距離だけ間隔をおき、かつタッチスクリーン・ディスプレイの第２エッジから第１距離だけ間隔をおくように位置決めするように、上記論理回路をさらに構成することができる。
【００１２】
本発明は、モバイル（移動型）テレプレゼンス（遠隔同席）ロボット及びコントローラ装置を具えたテレプレゼンス・システムも提供する。このテレプレゼンス・ロボットは、受信したコマンド（命令語）に応答して実環境内で二次元に可動である。このロボットは、カメラ、第１Ｉ／Ｏ、及び論理回路を含み、第１Ｉ／Ｏは通信チャネル経由で通信するように構成され、論理回路は、カメラからＩ／Ｏを通して通信チャネル越しにビデオをストリーム配信するように構成されている。上記コントローラ装置は、第２Ｉ／Ｏ、タッチスクリーン・ディスプレイ、及び論理回路を含み、第２Ｉ／Ｏは上記通信チャネル経由でテレプレゼンス・ロボットと通信するように構成され、論理回路はマイクロプロセッサを含む。上記論理回路は、タッチスクリーン・ディスプレイ上にストリーミング・ビデオを表示するように構成され、このビデオは実環境内に位置を有する視点によって特徴付けられる。上記論理回路は、タッチスクリーン・ディスプレイからタッチ情報を受信し、このタッチ情報をフィルタ処理して、各々がディスプレイ上に起点を有する接触ジェスチャーを識別し、タッチスクリーン・ディスプレイの第１部分内に起点を有する接触ジェスチャーに対して、テレプレゼンス・ロボットにコマンドを送信して実環境内で移動させて、上記ビデオの視点の位置を変更するように構成されている。
【図面の簡単な説明】
【００１３】
【図１】本発明の種々の実施形態による、少なくとも１つのコンピュータ装置を含む通信ネットワークを示す図である。
【図２】図２Ａ、２Ｂ及び２Ｃは、本発明の種々の実施形態による、ユーザ・インタフェースのランドスケープ及びポートレートモードを示す図である。
【図３】本発明の種々の実施形態による、図２Ａのユーザ・インタフェースのスクリーンキャプチャを示す図である。
【図４】本発明の種々の実施形態による、ポートレートモード及びランドスケープモードにおける好適なナビゲーション・シンボル形態を示す図である。
【発明を実施するための形態】
【００１４】
詳細な説明
本発明は、タッチスクリーン式ユーザ・インタフェースを有する装置に指向したものであり、これらのユーザ・インタフェースはタッチスクリーン上に画像を表示することができ、これらの画像は実環境または仮想環境のいずれの２Ｄまたは３Ｄ表現とすることもでき、本発明は、タッチスクリーン上の画像上にオーバーレイされているかのように表示されるグラフィカル・オーバーレイにも指向したものである。この装置は、ユーザがタッチスクリーン上で行った接触ジェスチャーを、環境中をナビゲートするためのコマンドとして解釈することができる。上記グラフィカル・オーバーレイは、意図した操作を実現するための接触ジェスチャーを行うべきタッチスクリーン上の場所についてユーザをガイド（案内）する。操作は、例えば、表示環境内での視点の平行移動、視点の回転、及びその組み合わせを含むことができる。一部の実施形態では、この装置をハンドヘルド装置とすることができるが、この装置は、壁上に取り付けられたディスプレイを含むもののような固定ディスプレイを含む装置とすることもできる。
【００１５】
より具体的には、上記グラフィカル・オーバーレイは、円のような単一のシンボルのみを含むことができるのに対し、他の実施形態では、上記オーバーレイが２つのシンボルを含む。単一シンボルの実施形態では、このシンボルによってマークされた（目印を付けられた）ディスプレイの領域内を起点とする接触ジェスチャーが、このシンボル外を起点とする接触ジェスチャーと区別される。２シンボルの実施形態では、一方のシンボル内を起点とする接触ジェスチャーが、他方のシンボル内を起点とする接触ジェスチャーと区別される。いずれの場合にも、これらの区別される接触ジェスチャーが、それぞれ平行移動及び回転を制御する。本発明の装置により、一本の指だけを用いて表示された環境をナビゲートするためのユーザ・インタフェースがユーザに提供される。結果的なユーザ体験は、あたかもコンピュータゲームにおける正式な完全攻略のような気分である。
【００１６】
図１に、本発明の種々の実施形態による通信システム１００を示し、この通信システムは少なくとも１つのコンピュータ装置１１０Ａを含む。通信システム１００は、任意で、追加的なコンピュータ装置１１０Ｂ、１１０Ｃ、等を含む。コンピュータ装置１１０は、任意で、ネットワーク１１５経由で通信するように構成されている。ネットワーク１１５は、インターネット、セルラ・ネットワーク、無線ネットワーク、ローカルエリア・ネットワーク、等、及びその組合せを含むことができる。
【００１７】
コンピュータ装置１１０Ａはタッチスクリーン・ディスプレイ１２５を含み、タッチスクリーン・ディスプレイ１２５は、ディスプレイ１２５の表面上へのユーザの指（例えば、親指または他の指）の接触を検出することができ、好適なコンピュータ装置１１０Ａは、スマートホン及びタブレット、並びにラップトップ・コンピュータのようなタッチスクリーンを有する他の種類のコンピュータシステム、及び壁に取り付けたタッチスクリーン・ディスプレイを有するシステムを含む。本明細書中に用いる接触ジェスチャーとは、指とディスプレイ１２５との相互作用であり、ディスプレイ１２５にタッチすること、あるいはディスプレイ１２５の十分近くに近接することのいずれかにより認識されることを含む。好適な接触ジェスチャーは、タップ（短時間のタッチ）、ダブル（二度の）タップ、第１点にタッチして第２点までスワイプする（接触を維持する）こと、特定点におけるタッチ・アンド・ホールド（長押し）、等を含む。ユーザの指がディスプレイ１２５上を辿る経路は接触ジェスチャーの一部とすることができる。他の接触ジェスチャーは、アーチ（弓）形、円形、等を含むことができる。本明細書中に用いるドラッグとは、ディスプレイ１２５上に表示中のオブジェクトがスワイプ中の指と共に移動するスワイプである。本明細書中に用いるスワイプとは、あらゆる種類の連続した動きが、一方向であることも、どんな種類のストローク速度であることも必要とせず、むしろ、ある経路上のあらゆる持続した接触を参照し、従って単一の位置におけるタッチ・アンド・リリース（タッチして離すこと）を除外しないことは明らかである。
【００１８】
コンピュータ装置１１０Ａは、任意で、Ｉ／Ｏ（入力／出力装置）１３０をさらに含み、Ｉ／Ｏ１３０は、通信チャネル、例えばネットワーク１１５経由で外部装置と通信するように構成されている。Ｉ／Ｏ１３０は、通信ポート、無線通信回路、等を含むことができる。
【００１９】
コンピュータ装置１１０Ａは、任意で、例えば、実環境の写真のような記憶されている画像の収集により、ナビゲート可能な環境の表現を記憶するための画像記憶装置１４５、ＲＡＭまたはフラッシュメモリのような非一時的記憶装置をさらに含む。実環境及び仮想環境は、３Ｄワイヤフレーム画像、及びワイヤフレーム画像の種々の部分に割り当てられた一組のテクスチャのような、ナビゲート可能な環境を構成するのに十分な記憶されている情報により表現することもできる。このため、ナビゲート可能な環境は、例えば、仮想環境、ゲーム環境、及び／または実環境を含むことができる。画像記憶装置１４５は、任意で、画像及び／または環境の幾何学的形状を記憶するように具体的に構成されたデータ構造を含む。
【００２０】
一例として、実環境の画像を、装置１１０Ａを保持するリモート（遠隔）ユーザが用いて、個別のテレプレゼンス・ロボットを実環境の全体にわたって操作することができる。これらの実施形態では、画像記憶装置１４５は、記憶する画像がテレプレゼンス・ロボットから受信したストリーミング・ビデオを含む必要はないが、画像記憶装置１４５は、ストリーミング・ビデオをバッファ記憶するために、及び／またはストリーミング・ビデオを後の再生用に記録するために用意することができる。ナビゲート可能な環境の表現は、コンピュータ装置１１０Ａ上に生成することも、及び／または外部の装置または画像源からネットワーク１１５経由で受信することもできる。
【００２１】
コンピュータ装置１１０Ａは、ユーザ・インタフェース（ＵＩ：User Interface）論理回路１３５及びナビゲーション論理回路１４０をさらに含む。ＵＩ論理回路１３５は、タッチスクリーン入力をタッチ情報の形でディスプレイ１２５から連続して受信するのに対し、ナビゲーション論理回路１４０は、ナビゲート可能な環境を１つ以上のナビゲーション・シンボルと共にディスプレイ１２５に提供する。これらのナビゲーション・シンボルは、表示されるナビゲート可能な環境の画像上にオーバーレイされて、ディスプレイ１２５の異なる部分の異なる機能（例えば、特性または機能性）を示すために用いられる。ナビゲーション・シンボルは、本明細書中でさらに説明するように、ボタン、メニューアイテム（項目）、円、アイコン、等を含むことができる。ナビゲーション・シンボルは、その下の画像に対して不透明にも半透明にもすることができる。ナビゲーション論理回路１４０は、任意で、ディスプレイ１２５の向き（例えば、ポートレートまたはランドスケープの向き／モード）に応じて異なる数のナビゲーション・シンボルを提示するように構成されている。タッチ情報は、例えばタッチされている画素（ピクセル）の数を含むことができる。
【００２２】
ＵＩ論理回路１３５は、受信したタッチ情報をフィルタ処理して、接触ジェスチャーの発生を判定し、シンボル２１０、２１５または他の任意のシンボルの位置に対する接触ジェスチャーの位置を特定するように構成されている。接触ジェスチャーがフィルタによって識別されると、ジェスチャーについての情報がナビゲーション論理回路１４０に渡される。ディスプレイ１２５の向きがナビゲーション論理回路１４０によって切り換えられると、ナビゲーション論理回路１４０はＵＩ論理回路１３５を更新し、これによりフィルタを新たな構成に更新することができる。両シンボル２１０、２１５を用いる実施形態では、各シンボル２１０、２１５がタッチスクリーン・ディスプレイ１２５の一部分と位置合わせされ、これら２つの部分どうしはオーバーラップしない。本明細書中に用いる「位置合わせされる」とは、シンボル２１０、２１５の各々が、ディスプレイ１２５の一部分内の複数の画素にオーバーレイされ、これにより、これらの画素がシンボル２１０、２１５と同じ範囲またはほぼ同じ範囲に広がることを意味する。完全に同じ範囲に広がらない場合、ディスプレイ１２５におけるシンボル２１０、２１５と位置合わせされた部分は、ディスプレイ１２５上のシンボル２１０、２１５自体よりも大きくすることも小さくすることもできる。
【００２３】
好適なコンピュータ装置１１０Ａを図２Ａ〜２Ｃに示し、これらの図は、ランドスケープの向き（図２Ａ）及びポートレートの向き（図２Ｂ及び２Ｃ）のコンピュータ装置１１０Ａを共に示す。図示する実施形態では、ディスプレイ１２５が長方形のタッチセンサ式表示領域を有し、この表示領域内にナビゲート可能な環境を示す。明瞭にするために、図２Ａ〜２Ｃにはこうした画像を示さず、この環境の画像上にオーバーレイされるナビゲーション・シンボル２１０、２１５のみを示す。図３に、シンボル２１０、２１５がオーバーレイされる環境のスクリーンショット、及びより広大なナビゲート可能な環境のミニマップを示す。
【００２４】
種々の実施形態では、コンピュータ装置１１０Ａが配向センサを含み、ナビゲーション論理回路１４０は、配向センサから配向情報を受信して、コンピュータ装置１１０Ａがどのように保持されているかに基づいて、ディスプレイ１２５をポートレートモードとランドスケープモードとの間で自動的に切り換える。これらの実施形態では、図示するように、シンボル２１０、２１５をナビゲーション論理回路１４０によって、ランドスケープの向きでは中心の左側及び右側に表示することができるのに対し、ポートレートの向きでは１つのシンボル２１５のみを中心の下方に提示する。一部の実施形態では、壁に取り付けられたタッチスクリーンのような固定式ディスプレイは、単一のシンボル２１５または両方のシンボルのいずれをも用いることができ、これらのシンボル間で切り換えることができる。
【００２５】
ナビゲーション論理回路１４０も同様に、任意で、ナビゲート可能な環境の部分的または完全な「ミニマップ」を提供するようにさらに構成され、即ち、ナビゲート可能な環境の表現が図３中の画像の一部分上にオーバーレイされる。一部の実施形態では、このミニマップは、任意で、ディスプレイ１２５の特定部分上でのダブルタップ、例えば、ディスプレイ１２５におけるシンボル２１５によって表される部分上でのダブルタップのような接触ジェスチャーによってアクセスされる。
【００２６】
ナビゲーション論理回路１４０は、任意で、タッチ・アンド・リリースのような接触ジェスチャーに応答して、表示された環境の画像中のオブジェクトに関する情報を提供するようにさらに構成されている。例えば、ナビゲーション論理回路１４０は、ディスプレイ１２５上に現在表示されている画像中に示される選択可能なオブジェクトの一覧表（登録リスト）、各オブジェクトについての何らかの情報、及びディスプレイ１２５内のこうしたオブジェクトの各々に対応する画素の座標を維持する論理回路を含むことができ、これにより、あるオブジェクトに対応する画素から接触ジェスチャーを受信すると、ナビゲーション論理回路１４０は、このオブジェクトについての情報を、ディスプレイ１２５におけるこの選択したオブジェクトに近接した領域内へのオーバーレイに加えることができる。
【００２７】
他の実施形態では、ナビゲーション論理回路１４０が、画像分析を用いて、ディスプレイ１２５上に現在表示されている画像内の人物及び物品のような、実環境のような環境内のオブジェクトを識別するように構成されている。これらの実施形態の一部では、ナビゲーション論理回路１４０が、タッチされた画素の付近の領域内で画像分析を開始することによって接触ジェスチャーに応答することができ、画像の分析部分中に何物かが明確に識別された場合、ナビゲーション論理回路１４０は、そのオブジェクトまたは人物について記憶されている情報を表示することができ、あるいは情報を検索して、識別されたあらゆるものに近接したオーバーレイ内の情報として概要を提供することができる。
【００２８】
ナビゲーション論理回路１４０は、任意で、接触ジェスチャーに応答して、ディスプレイ１２５上に現在表示されている画像を保存するようにさらに構成されている。ナビゲーション論理回路１４０は、任意で、接触ジェスチャーに応答して、ナビゲート可能な環境のうち表示されている部分の向きを変えるようにさらに構成され、例えば、接触ジェスチャーは、ナビゲート可能な環境のうち表示されている部分の向きを変えて、反対側（背面）の後継を示すことができる。
【００２９】
ナビゲーション論理回路１４０は、視点の角度及び位置を共に制御するように、即ち、ディスプレイ１２５に提示している環境を環境内で見ている位置を変更すると共に、この位置から光景を見る向きを変更するようにさらに構成されている。「視点の位置」とは、この光景が生じる環境内の位置または点である。「視点の角度」とは、環境の座標系における、視点の位置から環境を観察している向きである。視点の角度及び位置を変更することは、パンニング（カメラを振ること）及びズーミングの効果を有し、ナビゲート可能な環境内で視点の位置にいて振り向くか移動する人物に類似している。
【００３０】
上述したように、ナビゲーション論理回路１４０は、ＵＩ論理回路１３５から接触ジェスチャーを受信し、その一部を、視点の位置を変更するコマンドとして認識し、他の接触ジェスチャーは視点を変更するコマンドとして認識するようにさらに構成されている。一部の実施形態では、両方の種類の接触ジェスチャーが、当該ジェスチャーがディスプレイ１２５の第１部分上に生じて、終了する前にディスプレイ１２５の他の部分まで延長される点で共通する。一部の例では、フィルタが、開始された接触ジェスチャーを認識して、この接触ジェスチャーが完了する前にその情報をナビゲーション論理回路１４０に渡すことができる。従って、ナビゲーション論理回路１４０は、接触ジェスチャーに応答して、接触ジェスチャーがまだ進行中である間に環境の表示を変化させることができる。
【００３１】
ディスプレイの第１及び／または第２部分を、任意で、シンボル２１０、２１５によって示す。一部の実施形態では、シンボル２１０の所に生じるタッチを用いて視点の角度を制御するのに対し、シンボル２１５の所に生じるタッチを用いて視点の位置を制御する。例えば、シンボル２１０の所にタッチして上へスワイプすることは、視点の角度の上向きの変化を生じさせ、シンボル２１０の所にタッチして右へスワイプすることは、視点の角度の右向きの変化を生じさせる、等である。シンボル２１５の所にタッチして上向きにスワイプすることは、ナビゲート可能な環境内の視点の位置の前方への移動を生じさせ、シンボル２１５の所にタッチして右へスワイプすることは、視点の位置の右への移動を生じさせる、等である。図２Ａによって表す実施形態は、コンピュータ装置１１０Ａがハンドヘルド装置であり、両手で保持されて、各親指を用いてシンボル２１０及び２１５のそれぞれにタッチする際に特に有用である。一部の実施形態では、シンボル２１０にタッチすることは、シンボル２１０を選択して、そこから始まる何らかのスワイプでシンボル２１０をドラッグすることに役立つ。接触ジェスチャーを終えると、シンボル２１０はディスプレイ１２５上のホーム位置に戻される。
【００３２】
ディスプレイ１２５を図２Ｂにポートレートモードで示す。一部の実施形態では、ポートレートモードである際に、シンボル２１０、２１５のうちの一方のみをナビゲーション論理回路１４０によって提供する。従って、ＵＩ論理回路１３５及びナビゲーション論理回路１４０の動作は、任意で、コンピュータ装置１１０Ａの向きに依存する。ディスプレイ１２５の異なる部分の機能は、ディスプレイ１２５の向きに応じて変更することができる。図示する例では、シンボル２１５が、ディスプレイ１２５における視点の位置を走査する部分を表す。ディスプレイ１２５のこの部分に生じてこの部分から外向きにスワイプされる接触ジェスチャーは、ＵＩ論理回路１３５によって、環境内の視点の位置を変更するコマンドとして解釈される。任意で、ディスプレイ１２５の他のあらゆる部分に生じてスワイプされるタッチは、視点の角度を変更するコマンドとして解釈される。従って、人は、片手を用いてコンピュータ装置１１０Ａを保持し、その手の親指を用いてシンボル２１５にタッチすることによって視点位置を変更し、その親指を用いてディスプレイ１２５上の他所までスワイプして視点の角度を変更することができる。
【００３３】
図２Ｃに、ランドスケープモードでディスプレイ１２５上に発生し得るスワイプ動作の例を示す。シンボル２１５の外側から生じるスワイプ２２０を用いて視点の角度を変更し、一部の実施形態では、このスワイプは、シンボル２１５の外側にあるディスプレイ１２５のタッチセンス面全体を含み、あるいは、ディスプレイ２１５におけるシンボル２１５の外側にある一部分だけとすることができる。スワイプ２２０の長さまたは強さは、任意で、制御の手段として用いることができ、例えば、視点の角度の変化量をスワイプ２２０の長さに比例させることができる。
【００３４】
図２Ｃでは、ディスプレイ１２５におけるシンボル２１５によって示される部分に生じるスワイプ２２５を用いて視点の位置を変更する。種々の実施形態では、スワイプを直線または曲線の経路に沿ったものとすることができる。スワイプの経路は、任意で、ＵＩ論理回路１３５によって特定の意味を有するジェスチャーとして解釈される。スワイプするジェスチャーの屈曲の度合いを任意で用いて、表示される環境のために視点の位置を変更する経路の曲率を制御する。例えば、図２Ｃ中のシンボル２１５の所に生じてボックス２３０によって示される領域まで屈曲するジェスチャーは、前進して次第に（右か左を）向く視点の位置の変化を生じさせる。これとは対照的に、シンボル２１５の所に生じていずれかのボックス２３５によって示される領域まで屈曲するジェスチャーは、前進して比較的急に（右か左を）向く位置の変化を生じさせる。さらに大きな曲率を有するジェスチャーは、視点位置のＵターンを生じさせることができる。このことは急に後ろ向きになる人を模擬し、視点の角度の１８０度の回転に類似する。ボックス２３０及び２３５は必ずしもディスプレイ１２５上に見られないが、説明のためにディスプレイ１２５の領域を表すに過ぎない。このため、ボックス２３０及び２３５は、非常に多数の代わりのジェスチャーの終点とすることができる離散した領域または連続体のいずれをも表すことができる。
【００３５】
一部の実施形態では、ディスプレイ１２５におけるシンボル２１５によって示される領域から生じる接触ジェスチャーを、そのジェスチャーの終了時にディスプレイ１２５上に保持することができる。換言すれば、ユーザが、シンボル２１５からある距離だけスワイプした後に自分の指をディスプレイ１２５上に残す場合、結果的な視点の位置の変化（速度及び向き）が、指がディスプレイ１２５から持ち上げられるまで継続する。指が持ち上げられるまで動きが継続する場合、視点位置変化の量は、指がディスプレイ１２５に接触している時間長に依存する。
【００３６】
なお、ディスプレイ１２５において視点の角度を制御するために用いられる部分は、ポートレートモードではランドスケープモードに比べて、ディスプレイ１２５におけるより大きな量を含む。具体的には、ディスプレイにおける位置変更用の第１部分の面積に対する、ディスプレイにおける視点変更用の部分の面積の比率は、ポートレートモードではランドスケープモードに比べてより大きくなる。
【００３７】
コンピュータ装置１１０Ａは、任意で、画像源１５０をさらに含む。画像源１５０は、例えば、画像記憶装置１４５に記憶される画像または３Ｄワイヤフレーム画像及び一組のテクスチャのような、ナビゲート可能な環境を構成するのに十分な情報を生成するように構成されたレンダリング論理回路を含むことができる。コンピュータ装置１１０Ａは、少なくともナビゲーション論理回路１４０の動作を実行するように構成されたマイクロプロセッサ１８０をさらに含むが、ＵＩ論理回路１３５、画像源１５０、Ｉ／Ｏ１３０、及びコード化された命令を実現することをマイクロプロセッサに要求する本明細書中の他のあらゆる論理回路のうちの１つ以上もさらに含む。
【００３８】
本明細書中に説明する「論理回路」は、ハードウェア、ファームウェア、及び／または非一時的なコンピュータ可読媒体上に記憶されているソフトウェアの実行主体を含む。ＵＩ論理回路１３５及びナビゲーション論理回路１４０を用いて、バーチャルリアリティ環境をナビゲートすること、ゲーム環境をナビゲートすること、現実世界においてテレプレゼンス・ロボット装置をナビゲートすること、等ができる。なお、ここで行うＵＩ論理回路１３５とナビゲーション論理回路１４０との分割は例示であり、これらが提供する機能は、単一の論理回路に統合することも３つ以上の論理回路にわたって分散させることもできる。
【００３９】
通信システム１００は、任意で、ネットワーク１１５越しにコンピュータ装置１１０Ａと通信するリモート画像源１５５をさらに含む。一部の実施形態では、画像記憶装置１４５に記憶されている、ナビゲート可能な環境を構成するのに十分な情報を、少なくとも部分的にリモート画像源１５５によって生成する。リモート画像源１５５は、Ｉ／Ｏ１３０、画像源１５０、マイクロプロセッサ１８０、等の具体例を含むことができる。
【００４０】
通信システム１００は、任意で、センサシステム１６５をさらに含み、センサシステム１６５は現実世界のナビゲート可能な環境を特徴付けるデータを生成するように構成され、このデータから、ナビゲート可能な環境を構成するのに十分な情報をさらに生成することができる。センサシステム１６５は、１つ以上の光学カメラから、距離を測定すると共に画像を収集することができるより複雑なシステムまでに及ぶことができ、これらのより複雑なシステムは、例えば米国特許出願第１５／３８９０５９号明細書（特許文献１）及び米国特許出願第１５／３８８９３５号明細書（特許文献２）に記載されたものである。一部の実施形態では、コンピュータ装置１１０Ａがセンサシステム１６５を含む。
【００４１】
図４に、それぞれポートレートモード及びランドスケープモード用の好適なナビゲーション・シンボル形状を示す。ポートレートモードでは、これらの実施形態では、図示するように、シンボル２１５がディスプレイ１２５の垂直中心線に沿って配置され、ディスプレイ１２５の下端からギャップａだけ間隔をおいている。シンボル２１５はディスプレイ１２５の右端からも他のギャップ分の間隔をおいている。ランドスケープモードでは、シンボル２１５が同様にディスプレイ１２５の下端及び右端から同じギャップ分の間隔をおいている。さらに図示するように、ポートレートモードにおけるオーバーレイの一部分として存在することができる他のナビゲーション・シンボルは、ディスプレイ１２５の最寄りの２辺に対するそれぞれのギャップを維持するように同様に再配置する。
【００４２】
本明細書中に説明する実施形態は本発明を例示するものである。本発明のこれらの実施形態は例示を参照して説明しているので、説明した方法及び／または具体的構造の種々の変更及び適応は当業者にとって明らかになる。本発明の教示に頼るこうした変更、適応、または変形のすべて、及びこれらにより本発明の教示を進歩させたもののすべてが、本発明の精神及び範囲内であるものと考えられる。従って、これらの説明および図面は限定的な意味で考慮するべきでない、というのは、本発明は例示した実施形態のみに少しも限定されないことは明らかであるからである。
【００４３】
本明細書中で参照するコンピュータシステムは、集積回路、マイクロプロセッサ、パーソナル・コンピュータ、サーバー、分散型コンピュータシステム、通信装置、ネットワーク装置、等、及びこれらの種々の組み合わせを具えることができる。コンピュータシステムは、ランダムアクセスメモリ（ＲＡＭ：random access memory）、ダイナミック・ランダムアクセスメモリ（ＤＲＡＭ：dynamic RAM）、スタティック・ランダムアクセスメモリ（ＳＲＡＭ：static RAM）、磁気媒体、光媒体、ナノ媒体、ハードディスクドライブ、コンパクトディスク、デジタル多用途ディスク（ＤＶＤ：digital versatile disc）、及び／または、アナログまたはデジタル情報を記憶するように構成されたデータベースのような他の装置を具えることもできる。上述した論理回路の種々の例は、ハードウェア、またはコンピュータ可読媒体上記記憶されているソフトウェア、あるいはその組合せを具えることができる。本明細書中に用いるコンピュータ可読媒体は、紙を明示的に除外する。本明細書中に記載した方法のコンピュータで実現されるステップは、コンピュータ可読媒体上に記憶されている一組の命令を含むことができ、これらの命令は、実行されると、これらのステップを上記コンピュータシステムに実行させる。
【図１】
2020510272.tif 000003
【図２】
2020510272.tif 000004
【図３】
2020510272.tif 000005
【図４】
2020510272.tif 000006
【国際調査報告】
2020510272.tif 000007
2020510272.tif 000008