(57)【要約】本発明は、複数の３Ｄディスプレイのためにオブジェクトをレンダリングするための方法及び装置を提供する。本方法は、グローバル座標系における、前記オブジェクトの位置とユーザの目から前記３Ｄディスプレイまでで画定された領域との関係に従って前記オブジェクトをレンダリングするために、前記複数の３Ｄディスプレイのうちの１つを決定するステップと、前記決定された３Ｄディスプレイ上に前記オブジェクトをレンダリングするステップと、を含む。
2016528579.tif 000002
【特許請求の範囲】
【請求項１】
複数の３Ｄディスプレイに対してオブジェクトをレンダリングするための方法であって、
グローバル座標系における、前記オブジェクトの位置とユーザの目から前記３Ｄディスプレイまでで画定された領域との関係に従って前記オブジェクトをレンダリングするために、前記複数の３Ｄディスプレイのうちの１つを決定するステップと、
前記決定された３Ｄディスプレイ上に前記オブジェクトをレンダリングするステップと、
を含む、前記方法。
【請求項２】
前記決定するステップは、
複数の３Ｄディスプレイデバイス及び前記ユーザの目についてのグローバル座標系を定めるステップ（Ｓ１０１）と、
前記複数の３Ｄディスプレイデバイスの姿勢及び位置を検出するステップであって、前記グローバル座標系における前記ユーザの目の位置を追跡する、前記検出するステップ（Ｓ１０２）と、
前記複数の３Ｄディスプレイデバイスのうちで、前記オブジェクトが前記ユーザの目から前記３Ｄディスプレイデバイスの境界までの視野錐台内であるかに従ってオブジェクトがレンダリングされるべきである３Ｄディスプレイデバイスを決定するステップ（Ｓ１０５）と、
を含む、請求項１に記載の方法。
【請求項３】
前記レンダリングするステップは、
各３Ｄディスプレイデバイスについてのローカル座標系を定めるステップ（Ｓ１０３）と、
前記３Ｄディスプレイデバイスの前記ローカル座標系から前記グローバル座標系への個々の変換行列を計算するステップ（Ｓ１０４）と、
前記オブジェクトを前記グローバル座標系から前記決定された３Ｄディスプレイデバイスの前記ローカル座標系に変換して、前記決定された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングする、変換するステップ（Ｓ１０６）と、
を含む、請求項２に記載の方法。
【請求項４】
前記決定された３Ｄディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて、前記グローバル座標系における位置で前記決定された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングするステップをさらに含む、請求項２に記載の方法。
【請求項５】
前記ユーザから入力を受信して、前記グローバル座標系における前記オブジェクトの位置を変更する、受信するステップと、
前記決定された３Ｄディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて、前記グローバル座標系における前記変更された位置で前記決定された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングするステップと、
を含む、請求項４に記載の方法。
【請求項６】
前記入力は、前記ユーザの入力デバイスから受信され、前記オブジェクトを操作する、請求項５に記載の方法。
【請求項７】
前記決定された３Ｄディスプレイデバイスの前記視野錐台と、前記視野錐台から前記決定された３Ｄディスプレイデバイスの境界までの投影範囲とによって画定された前記決定された３Ｄディスプレイデバイスの範囲外である前記変更された位置を検出すると、前記オブジェクトを前記グローバル座標系における前記変更された位置で前記複数の３Ｄディスプレイデバイスのうちの他の１つ上にレンダリングするように切り替えるステップをさらに含む、請求項５に記載の方法。
【請求項８】
前記切り替えるステップは、
前記オブジェクトの前記変更された位置を前記グローバル座標系から前記複数の３Ｄディスプレイデバイスのうちの他の３Ｄディスプレイデバイスのローカル座標系に変換するステップと、
視野錐台が覆う、又は全ての前記他の３Ｄスクリーンのうちで前記オブジェクトの前記変更された位置に対して最も近接する、３Ｄスクリーンを識別するステップと、
前記識別された３Ｄディスプレイデバイスの前記視野錐台と、前記視野錐台から前記識別された３Ｄディスプレイデバイスの境界までの投影範囲とによって画定された前記識別された３Ｄディスプレイデバイスの範囲内である前記変更された位置を検出すると、前記グローバル座標系における前記変更された位置で前記識別された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングするステップと、
を含む、請求項７に記載の方法。
【請求項９】
前記複数の３Ｄディスプレイデバイスのうちの１つは、固定された姿勢及び位置を有し、前記３Ｄディスプレイデバイスの前記ローカル座標系は、前記グローバル座標系として定められる、請求項３に記載の方法。
【請求項１０】
複数の３Ｄディスプレイに対してオブジェクトをレンダリングするための装置であって、
グローバル座標系における、前記オブジェクトの位置とユーザの目から前記３Ｄディスプレイまでで画定された領域との関係に従って前記オブジェクトをレンダリングするために、前記複数の３Ｄディスプレイのうちの１つを決定する手段と、
前記決定された３Ｄディスプレイ上に前記オブジェクトをレンダリングする手段と、
を備えた、前記装置。
【請求項１１】
前記決定する手段は、
複数の３Ｄディスプレイデバイス及び前記ユーザの目についてのグローバル座標系を定める手段と、
前記複数の３Ｄディスプレイデバイスの姿勢及び位置を検出する手段であって、前記グローバル座標系における前記ユーザの目の位置を追跡する、前記検出する手段と、
前記複数の３Ｄディスプレイデバイスのうちで、前記オブジェクトが前記ユーザの目から前記３Ｄディスプレイデバイスの境界までの視野錐台内であるかに従ってオブジェクトがレンダリングされるべきである３Ｄディスプレイデバイスを決定する手段と、
を含む、請求項１０に記載の装置。
【請求項１２】
前記レンダリングする手段は、
各３Ｄディスプレイデバイスについてのローカル座標系を定める手段と、
前記３Ｄディスプレイデバイスの前記ローカル座標系から前記グローバル座標系への個々の変換行列を計算する手段と、
前記オブジェクトを前記グローバル座標系から前記決定された３Ｄディスプレイデバイスの前記ローカル座標系に変換して、前記決定された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングする、変換する手段と、
を含む、請求項１１に記載の装置。
【請求項１３】
前記決定された３Ｄディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて前記決定された３Ｄディスプレイデバイス上に前記グローバル座標系における位置で前記オブジェクトをレンダリングする手段をさらに含む、請求項１１に記載の装置。
【請求項１４】
前記ユーザから入力を受信して、前記グローバル座標系における前記オブジェクトの位置を変更する、受信する手段と、
前記決定された３Ｄディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて、前記グローバル座標系における前記変更された位置で前記決定された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングする手段と、
を含む、請求項１３に記載の装置。
【請求項１５】
前記決定された３Ｄディスプレイデバイスの前記視野錐台と、前記視野錐台から前記決定された３Ｄディスプレイデバイスの境界までの投影範囲とによって画定された前記決定された３Ｄディスプレイデバイスの範囲外である前記変更された位置を検出すると、前記グローバル座標系における前記変更された位置で前記複数の３Ｄディスプレイデバイスのうちの他の１つ上に前記オブジェクトをレンダリングするように切り替える手段をさらに含む、請求項１３に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、画像処理技術に関する。特に、本発明は、複数の３Ｄ（三次元）ディスプレイに対してオブジェクトをレンダリングする方法及び装置に関する。
【背景技術】
【０００２】
レンダリングは、３Ｄコンピュータグラフィックスの主なトピックの１つであり、コンピュータプログラムを用いてモデルから画像を生成する処理を言及する。
【０００３】
コンピュータグラフィックスにおいて、マルチスクリーンの対話性（例えば、第２のスクリーン、トリプルプレイ（triple play）等）は、ユーザがコマンドを発行しメディアコンテンツを消費する他の手法を与える、ＴＶ、携帯電話又はタブレット／パッドなどの複数のディスプレイ及び入力デバイスを含む新しい人間とコンピュータとの対話技術である。マルチスクリーンアプリケーションにおいて、複数の対話は、一方のスクリーンから他方へ仮想オブジェクトを移動させることを含む。そのようなマルチスクリーンアプリケーションは、２Ｄ及び３Ｄディスプレイの両方のコンテキストにおいて適用され得る。
【０００４】
２Ｄの場合において、一方のスクリーンから他方へ仮想オブジェクトを移動させるためには、仮想オブジェクトをレンダリングして一方のスクリーンでそれが消えるようにすると共に同時に他方で出現させることが必要となるのみである。それ故、コンテンツの時間同期は２Ｄマルチスクリーンアプリケーションにおいてキーとなる問題の１つであり、その結果、コンテンツ及び異なるデバイスでのユーザ入力は、タイムラインに沿って整列され得る。しかしながら、２Ｄ環境においてオブジェクトが一方のスクリーンから他方に本当に「動いている」とユーザが感じる没入型のユーザ経験を作成することは不可能である。
【０００５】
３Ｄマルチスクリーンの場合において、現在、仮想オブジェクトをレンダリングすることが可能であり、その結果、仮想オブジェクトが空間的に同期している形で、すなわち移動中の特定のユーザに従って画定された３Ｄ空間において仮想オブジェクトの大きさ、姿勢（posture）及び位置が維持し続ける形で互いに近接している限り、異なるスクリーンの間で移動され得る。３Ｄマルチスクリーンアプリケーションにおいて、時間同期だけで十分なわけではなく、空間同期もまたユーザに一定の３Ｄ経験を与えるために重要である。３Ｄマルチスクリーンアプリケーションにおける空間同期問題は、まだ十分に研究されていない。
【発明の概要】
【０００６】
従来技術の上記課題の観点において、本発明は、３Ｄマルチスクリーンアプリケーションにおける空間同期の問題を解決するのに役立ち、その結果ユーザが異なる３Ｄディスプレイ間で継ぎ目なく仮想オブジェクトを移動させることが可能となる、複数の３Ｄディスプレイに対するオブジェクトをレンダリングする方法及び装置を提案する。
【０００７】
本発明のある態様によると、複数の３Ｄディスプレイに対してオブジェクトをレンダリングする方法が提供される。上記方法は、上記グローバル座標系において、上記オブジェクトの位置とユーザの目から上記３Ｄディスプレイまでに画定された領域との関係に従って、上記オブジェクトをレンダリングするために、上記複数の３Ｄディスプレイのうちの１つを決定するステップと、上記決定された３Ｄディスプレイ上に上記オブジェクトをレンダリングするステップと、を含む。
【０００８】
本発明のある態様によると、複数の３Ｄディスプレイに対してオブジェクトをレンダリングする装置が提供される。上記装置は、上記グローバル座標系において、上記オブジェクトの位置とユーザの目から上記３Ｄディスプレイまでに画定された領域との関係に従って、上記オブジェクトをレンダリングするために、上記複数の３Ｄディスプレイデバイスのうちの１つを決定する手段と、上記決定された３Ｄディスプレイ上に上記オブジェクトをレンダリングする手段と、を含む。
【０００９】
本発明のより多くの態様及び利点が以下の発明の詳細な説明において見出されることになることが理解されよう。
【図面の簡単な説明】
【００１０】
添付の図面は、本発明の実施形態の更なる理解と共に実施形態の原理を説明する役割をする説明を提供するために含まれる。本発明は、実施形態に限定されない。
【図１】本発明の実施形態に係る複数の３Ｄディスプレイデバイスに対してオブジェクトをレンダリングする方法を示すフローチャートである。
【図２】ユーザが第１の３Ｄディスプレイデバイスから第２の３Ｄディスプレイデバイスへ仮想オブジェクトを移動させる典型的なアプリケーションシナリオを示す例示的な図表である。
【図３】本発明の実施形態に係る較正処理を示すフローチャートである。
【図４】本発明の実施形態に係る対話処理を示すフローチャートである。
【図５】視野錐台（viewing frustum）を用いて仮想オブジェクトをレンダリングするための３Ｄスクリーンの決定を示す例示的な図表である。
【図６】本発明の実施形態に係るユーザの目の位置に従って仮想オブジェクトをレンダリングするための処理を示す例示的な図表である。
【発明を実施するための形態】
【００１１】
本発明の実施形態は、ここで図面と併せて詳細に説明されるであろう。以下の詳細な説明において、周知の機能及び構成のいくつかの詳細な説明は、簡潔さのため省略する場合がある。
【００１２】
図１は、本発明の実施形態に係る複数の３Ｄディスプレイデバイスに対してオブジェクトをレンダリングするための方法を示すフローチャートである。
【００１３】
図１に示されるように、ステップＳ１０１で、複数の３Ｄディスプレイデバイス及びユーザの目についてのグローバル座標系を定める。コンピュータグラフィックスにおいて、座標系は、ディスプレイ空間における点の位置又は他の幾何学的要素を一意に決定するために１つ又は複数の数又は座標を使用する系である。そして、地理的座標系は、ディスプレイ空間における各点が１組の数又は座標によって特定されることを可能にする座標系である。３Ｄレンダリングが３Ｄ座標系を使用することとなり、３Ｄモデルの点は、当該点から、３つの固定された、原点で交差する軸と呼ばれる垂直及び目盛り付きの線（graduated lines）までの垂直投射の位置を示す３つの実数又は座標によって言及されることを当業者は理解するであろう。
【００１４】
ステップＳ１０２で、複数の３Ｄディスプレイデバイスの姿勢及び位置を検出し、グローバル座標系におけるユーザの目の位置を追跡する。複数の３Ｄディスプレイデバイスの１つ又は複数及びユーザは移動可能とすることができることが理解されよう。そのような場合において、ユーザの目の追跡された位置と３Ｄディスプレイデバイスの検出された姿勢及び位置とは、それらの対応する移動に従ってグローバル座標系において更新されるべきである。
【００１５】
ステップＳ１０３で、各３Ｄディスプレイデバイスについてのローカル座標系を定める。ディスプレイデバイスのローカル座標系は、１つ若しくは複数の数又は座標を使用してディスプレイデバイスのディスプレイ空間における点の位置又は他の幾何学的要素を一意に決定する。
【００１６】
ステップＳ１０４で、３Ｄディスプレイデバイスのローカル座標系からグローバル座標系への個々の変換行列を計算する。
【００１７】
ステップＳ１０５で、複数の３Ｄディスプレイデバイスのうちで、オブジェクトがユーザの目から３Ｄディスプレイデバイスの境界までの視野錐台内であるかどうかに従ってオブジェクトがレンダリングされるべきである、３Ｄディスプレイデバイスを決定する。３Ｄコンピュータグラフィックスにおいて、視野錐台は、スクリーン上に現れることができるモデル化された世界における空間の領域である。この領域の正確な形状は、どの種類のカメラレンズがシミュレーションされているかに依存して変わるが、典型的には矩形ピラミッドの錐台である。ステップＳ１０５は、グローバル座標系におけるオブジェクトの位置及び姿勢の決定を含むことができることが理解されよう。加えて、３Ｄディスプレイデバイスを用いたユーザの対話中に、オブジェクトの位置及び姿勢は、ユーザ入力に応じて、例えば入力デバイスによって変更することができる。後述するように、ユーザは、入力デバイスを使用して３Ｄディスプレイデバイスのうちの１つに表示されたオブジェクトを操作することができる。この場合において、上述したステップＳ１０２−Ｓ１０４は、入力デバイスに実装されるべきであることも当業者は理解するであろう。
【００１８】
ステップＳ１０６で、グローバル座標系から決定された３Ｄディスプレイデバイスのローカル座標系にオブジェクトを変換し、決定された３Ｄディスプレイデバイス上にオブジェクトをレンダリングする。
【００１９】
次に、複数の３Ｄディスプレイデバイス間で仮想オブジェクトの継ぎ目ない移行を可能にする視線−追跡技術を使用した３Ｄマルチスクリーン対話のための方法及び装置を提供する本発明の実施形態が詳細に説明されることになる。
【００２０】
特に、本方法は、いわゆるダブル−スクリーンアプリケーション、すなわちユーザが３Ｄディスプレイデバイスから他の３Ｄディスプレイデバイスに仮想オブジェクトを移動させる実施形態を参照して詳細に説明されることになる。
【００２１】
図２は、ユーザが第１の３Ｄディスプレイデバイスから第２の３Ｄディスプレイデバイスへ仮想オブジェクトを移動させる典型的なアプリケーションシナリオを示す例示的な図表である。
【００２２】
図２において、例示のみの目的のために、第１の３Ｄディスプレイデバイスが３Ｄスクリーン２０１を有する３Ｄタブレット／パッドとして示され、第２の３Ｄディスプレイデバイスが３Ｄスクリーン２０２を有する３ＤＴＶとして示されている。他のタイプの３Ｄディスプレイデバイスもこの発明に適用され得ることも理解されよう。３Ｄスクリーン２０１はこの例においてタッチスクリーンであり、ユーザは入力デバイス２０３（タッチペン又はユーザの指）を用いてスクリーンをタッチすることによりシングル又はマルチ−タッチジェスチャを通してスクリーン２０１上に表示されたオブジェクトを操作することができる。操作に関して、位置及び姿勢を含む、オブジェクトのディスプレイパラメータの１つ又は複数を変更することを意味するが、位置及び姿勢に限定されない。言及された操作の一例として、ユーザは仮想オブジェクトの位置及び姿勢を変更して３Ｄスクリーン２０１上のオブジェクト始点から３Ｄスクリーン２０２のオブジェクト終点に継ぎ目なく仮想オブジェクトを移動させることができる。次に、本発明の実施形態に係る３Ｄスクリーン２０１及び２０２間でのオブジェクト移行のための方法が図２におけるアプリケーションシナリオを参照して説明されることになる。例示の簡潔さのために、２つの３Ｄディスプレイデバイスのみを用いる場合のみが説明される。本発明は、複数の３Ｄディスプレイデバイス間のオブジェクト移行のコンテキストにおいて適用されることもできることを当業者は理解されよう。
【００２３】
図１を参照して説明されるような本発明の実施形態によると、オブジェクトの移動中の３Ｄマルチスクリーンアプリケーションに関する空間同期を達成する目的のために、２つの主な処理、すなわち、ユーザの目の位置を追跡すると共に、包含される３Ｄスクリーンの相対位置及び姿勢を較正するための較正処理と、２つの３Ｄスクリーン間でオブジェクトを移動させるための対話処理とが実行される。
【００２４】
較正処理は、ローカルレンダリングに関する全ての３Ｄスクリーンのローカル座標及び座標変換に関する変換行列を設定するために用いられる。いくつかの３Ｄスクリーンが携帯型である場合、それらの位置及び姿勢が無線ポジショニング、カメラポジショニング、ジャイロスコープ等のいくつかのオンラインポジショニング技術を用いてリアルタイムで更新される必要がある。
【００２５】
図３は、本発明の実施形態に係る較正処理を示すフローチャートである。
【００２６】
図３に示されるように、ユーザが任意のコメントを入力する前に、較正処理が実行される。
【００２７】
ステップＳ３０１で、３Ｄスクリーン２０１、２０２及び入力デバイス２０３の間のデータリンクを維持する。ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ及びＺｉｇＢｅｅなどの従来の無線通信技術は、３Ｄスクリーン２０１、２０２及び入力デバイス２０３の間のデータ交換のために使用され得る。本方法の実装は、制御サーバ、ワークステーション及びデータサーバなどの他のデバイスを必要とする場合があることが理解されよう。その場合において、上述のデータリンクも、必要とされるこれらのデバイスを用いて維持されるべきである。
【００２８】
ステップＳ３０２で、３Ｄスクリーン２０１、２０２及び入力デバイス２０３についてのグローバル座標系を選択する。グローバル座標系は、以下のステップにおける座標変換のために用いられることになる。任意の統一座標系をこの目的に関して選択することができる。一例において、グローバル座標系は、３Ｄスクリーン２０１、２０２を収容する部屋の床に対して選択することができる。他の例において、グローバル座標系は、固定された位置及び姿勢を用いて３Ｄスクリーンに対して選択することができる。この実施形態において、グローバル座標系は、３ＤＴＶである３Ｄスクリーン２０２に対して選択することができる。
【００２９】
ステップＳ３０３で、各３Ｄスクリーン及び入力デバイスについてのローカル座標系を定める。この実施形態において、３Ｄスクリーン２０１は、入力デバイス２０３としての指又はタッチペンを用いたオブジェクト操作のためのタッチスクリーンが設けられている。この場合において、３Ｄスクリーン２０１及び入力デバイス２０３は同じローカル座標系を共有することができる。３Ｄスクリーン２０１が他の入力デバイス（例えば、ユーザの姿又は入力デバイスのジェスチャ認識のためのビデオカメラ）と連携する他の対話メカニズムを適用する場合、３Ｄスクリーン２０１及び入力デバイスは異なるローカル座標系を用いて定められることになることが理解されよう。
【００３０】
ステップＳ３０４で、ユーザの目を追跡してグローバル座標系におけるユーザの目の位置を決定する。視線追跡（eye tracking）は、注視の点（「我々が見ている場所」）又は頭に対する目の動きのいずれかを測定する処理である。仮想システム、心理学、認知言語学、及び製品設計などの多様なアプリケーションにおいて使用される。過去において、以下の目の動きに関するいくつかの方法が、角膜上に移される光、ヘルメット上に搭載されたデバイス又は外眼筋の活動を測定する電極に基づいて発展した。これらの方法は、ユーザのデバイスの位置を必要とし、それ故彼の自主性は制限される。近年、多くの生体認証技術が、非侵襲性の方法と呼ばれて広く用いられているデジタル画像処理アルゴリズムに基づいて、顔、虹彩等の識別を可能にするように発展してきた。例えば、運送業における眠気を検出するための非侵襲性の方法は、注意力がないことによるアクシデントの回避を可能にする。非侵襲性の眠気の検出器の可能なアプリケーションは、大きな乗り物の操作者、航空機のパイロット、鉱業におけるハイテク機械の操作者等のためのアラームである。視線−追跡は、スクリーン上のビルトインカメラを用いた方法又はDuchowski, Andrew T、視線追跡方法論：理論及び実践、Vol. 373. Springer, 2007などの他の方法及びデバイスに基づくコンピュータビジョンを用いてなされることができる。１つ又は複数の３Ｄスクリーン上に提供される少なくとも１つの視線−追跡器が視線追跡の目的で使用され得ることが理解されよう。図２に示されるように、この実施形態において、第１のスクリーン２０１及び第２のスクリーン２０２上にそれぞれ提供された２つの視線追跡器２０４及び２０５がユーザの目追跡のために用いられる。より多くの視線追跡器が異なるアプリケーション要件に従って使用され得ることが理解されよう。
【００３１】
ステップＳ３０５で、グローバル座標系における３Ｄスクリーン２０１、２０２及び入力デバイス２０３の位置を位置付ける。ＷｉＦｉ位置決め又は赤外線位置決め技術は、位置を位置付けるために用いられ得る。例えば、Evennou F, Marx F. Advanced integration of WiFi and inertial navigation systems for indoor mobile positioning[J], Eurasip journal on applied signal processing, 2006, 2006: 164-164において開示された屋内移動位置決めに関する方法が用いられ得る。位置付けられた位置は、グローバル座標系の３つの軸における位置の値を用いて表現されることができる。
【００３２】
ステップＳ３０５に並行してステップＳ３０６で、グローバル座標系における３Ｄスクリーン２０１、２０２及び入力デバイス２０３の姿勢を測定する。この目的のために、３Ｄスクリーン２０１においてビルドインジャイロスコープ、ｇ−センサ又は他のデバイス（不図示）が用いられ得る。測定された姿勢は、グローバル座標の３つの軸に沿った回転角を用いて表現されることができる。
【００３３】
ステップＳ３０７で、ローカル及びグローバル座標系の間の座標変換行列を計算する。従来の幾何学技術は、入力デバイス又は３Ｄスクリーンの位置及び姿勢に基づいてこの目的のために用いることができ、その結果、座標１における任意の点ｐ(ｘ,ｙ,ｚ)に関して、座標２における点ｐ’(ｘ’,ｙ’,ｚ’)＝ｐ(ｘ,ｙ,ｚ)＊Ｍに変換されることができる一方で、点ｐ及びｐ’は実世界における同一の物理的な位置を共有する。
【００３４】
ステップＳ３０８で、対話入力を待つ。対話入力は、ユーザ、３Ｄスクリーン及び入力デバイスの位置並びに３Ｄスクリーン及び入力デバイスの姿勢の変更を含むことが理解されよう。それ故、以下のステップにおいて、上記変更が検出されることとなり、従って、関連性のある位置、姿勢、ローカル座標及び変換行列が適切に更新されることとなる。
【００３５】
図３に示されるように、ステップＳ３０９で、ユーザの目を追跡し、グローバル座標系におけるユーザの目の位置を決定する。
【００３６】
ステップＳ３１０で、グローバル座標系における３Ｄスクリーン２０１、２０２及び入力デバイス２０３の位置を位置付ける。
【００３７】
ステップＳ３１０に並行してステップＳ３１１で、グローバル座標系における３Ｄスクリーン２０１、２０２及び入力デバイス２０３の姿勢を測定する。
【００３８】
ステップＳ３１２で、ステップＳ３０９、Ｓ３１０、Ｓ３１１の結果とこれらのステップＳ３０４、Ｓ３０５、Ｓ３０６のそれぞれとの間の比較に従って、ユーザ、３Ｄスクリーン及び入力デバイスの位置及び姿勢の任意の変更があるかどうかを決定する。ステップＳ３１２の結果が「はい」の場合、制御がステップＳ３０７に戻って、更新された結果に基づいてローカル及びグローバル座標の間の座標変換行列を計算する。そうでなければ、制御がステップＳ３０８に戻って、対話入力を待つ。
【００３９】
図４は、本発明の実施形態に係る対話処理を示すフローチャートである。対話処理を用いて、仮想オブジェクトは３Ｄスクリーン２０１から他の３Ｄスクリーン２０２に継ぎ目なく変換されることができる。
【００４０】
ステップＳ４０１で、グローバル座標系における仮想オブジェクトに関する初期位置を設定する。仮想オブジェクトのこの初期位置は、アプリケーションによって通常決定される。この実施形態において、初期位置は、図２に示されるパッドの第１のスクリーン２０１上のオブジェクト始点である。
【００４１】
ステップＳ４０２で、Ｓ３０７において計算された、各ローカル座標系とグローバル座標系との間の変換行列を用いて仮想オブジェクトの初期位置を全てのローカル座標に対して変換する。
【００４２】
ステップＳ４０３で、どの３Ｄスクリーン上に仮想オブジェクトがレンダリングされるべきかを識別する。仮想オブジェクトの位置がユーザの目の位置からそのローカル座標系での各３Ｄスクリーンの境界までで画定される視野錐台内であるかどうかをチェックすることによって、決定がなされる。図５は、視野錐台を用いて仮想オブジェクトをレンダリングするための３Ｄスクリーンの決定を示す例示的な図表である。図５に示されるように、３Ｄスクリーン２０１、２０２の視野錐台は、破線によって示される。３Ｄスクリーン２０１の視野錐台５０１は、ユーザの目の位置及び３Ｄスクリーン２０１の境界から画定されるピラミッドのようなボックスであり、この場合において矩形形状である。同様に、３Ｄスクリーン２０２の視野錐台５０２もまた、ユーザの目の位置から３Ｄスクリーン２０２の境界までで画定されるピラミッドのようなボックスであり、この場合において矩形形状である。この場合において、図５に示されるように、３Ｄスクリーン２０１上の始点であるオブジェクトの初期位置は、３Ｄスクリーン２０１の視野錐台内である。
【００４３】
ステップＳ４０４で、３Ｄスクリーン２０１及びユーザの視点位置のローカル座標に従って、識別された３Ｄスクリーン２０１で仮想オブジェクトをレンダリングする。３Ｄスクリーン上に仮想オブジェクトをレンダリングするとき、通常、この３Ｄスクリーンのローカル座標が用いられることになることに留意すべきである。しかしながら、グローバル座標系はまた、異なるアプリケーションコンテキストに従ってレンダリングするために用いられ得る。立体的な３Ｄディスプレイに対して、仮想オブジェクトは、固定された位置にあるように見えさせるようにユーザの視点位置に従ってレンダリングされ得ることを当業者は理解されよう。これは、ユーザの視点位置、スクリーン位置及び姿勢を考慮して左ビュー及び右ビューのオフセット及び視差を動的に計算することによってなされる。図６は、本発明の実施形態に係るユーザの目の位置に従って仮想オブジェクトをレンダリングするための処理を示す例示的な図表である。図６に例示されるように、ユーザが位置１及び２で３Ｄスクリーンを見るとき、３Ｄスクリーンがオブジェクトを適応的にレンダリングする場合、仮想オブジェクトは、常に同じ位置とすることができる。
【００４４】
ステップＳ４０５で、入力デバイス２０３を用いてユーザ入力をキャプチャし、そのローカル座標系からグローバル座標系に動きを変換する。この実施形態において、入力デバイス２０３はタッチスクリーンと連携するタッチペン又はユーザの指である。しかし、マウス又はカメラなど、他のデバイスもアプリケーションコンテキストの観点から入力デバイスとして用いることができることが理解されよう。
【００４５】
ステップＳ４０６で、ユーザ入力の動きに従って仮想オブジェクトの位置を更新し、現在の３Ｄスクリーン、この場合において３Ｄスクリーン２０１上に仮想オブジェクトをレンダリングする。
【００４６】
ステップＳ４０７で、仮想オブジェクトが、視野錐台５０１と３Ｄスクリーン２０１の境界への視野錐台５０１の投影とによって画定された、３Ｄスクリーン１の範囲内であるかどうかを決定する。図５は、この範囲を破線を用いて示す。図５に示されるように、上述した範囲は視野錐台５０１の範囲を含むだけでなく、３Ｄスクリーン１の境界への視野錐台５０１の投影によって画定された３Ｄスクリーン２０１を超える範囲も含む。
【００４７】
ステップＳ４０７の結果が「はい」である場合、制御はステップＳ４０５に戻る。そうでなければ、制御はステップＳ４０８を通り、グローバル座標系から、近接する３Ｄスクリーンのローカル座標系に仮想オブジェクトの位置を変換する。この実施形態において、２つの３Ｄスクリーンのみが議論される。それ故、仮想オブジェクトの位置は、グローバル座標系から３Ｄスクリーン２０２のローカル座標系に変換される。システムに２つより多くの３Ｄスクリーンがある場合、仮想オブジェクトの位置は、グローバル座標系から、近接する３Ｄスクリーンの全てのローカル座標系に変換されることになることが理解されよう。
【００４８】
ステップＳ４０９で、視野錐台が覆う、又は全ての近接する３Ｄスクリーンのうちで仮想オブジェクトの現在の位置に対して最も近接する、隣の３Ｄスクリーンを識別する。この実施形態において、仮想オブジェクトの現在の位置が第２の３Ｄスクリーン２０２の視野錐台内である場合、第２の３Ｄスクリーン２０２は隣の３Ｄスクリーンとして識別される。
【００４９】
ステップＳ４１０で、仮想オブジェクトが第２の３Ｄスクリーン２０２の範囲に入るかどうかを決定する。ここで、３Ｄスクリーン２０２の範囲の定義は、上述した３Ｄスクリーン２０１のそれと同様である。詳細な説明はそれ故省略する。
【００５０】
ステップＳ４１０の結果が「はい」である場合、制御はステップＳ４１１を通り、現在のレンダリングスクリーンとして第２の３Ｄスクリーンを設定する。その後、制御はステップＳ４０２に戻り、ユーザの視点から継ぎ目ない移行を維持するように仮想オブジェクトがユーザの位置に従って３Ｄスクリーン２上にレンダリングされる。そうでなければ、制御はステップＳ４１２を通り、ユーザ入力に従って仮想オブジェクトの位置を更新し続ける。
【００５１】
本発明は、ハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、又はそれらの組み合わせ、例えば、システムにおける複数の３Ｄディスプレイデバイス又はそれらの個々の駆動デバイスのうちの任意の１つ若しくは複数内、及び／又は別個のサーバ若しくはワークステーションでの様々な形式において実装することができることが理解される。さらに、ソフトウェアは、好ましくはプログラム記憶デバイス上に明白に具現化されたアプリケーションプログラムとして実装される。アプリケーションプログラムは、任意の適切なアーキテクチャを備えた機械に更新され、実行されることができる。好ましくは、機械は、１つ又は複数の中央処理部（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）及び入力／出力（Ｉ／Ｏ）インターフェースなどのハードウェアを有するコンピュータプラットフォーム上に実装される。コンピュータプラットフォームはまた、オペレーティングシステム及びマイクロ命令コードを含む。本明細書で説明された様々な処理及び機能は、オペレーティングシステムを介して実行されるマイクロ命令コードの一部又はアプリケーションプログラム（又はそれらの組み合わせ）の何れかとすることができる。加えて、様々な他の周辺デバイスは、追加のデータ記憶デバイス及び印刷デバイスなどのコンピュータプラットフォームに接続することができる。
【００５２】
添付の図面に描かれた構成システムコンポーネント及び方法ステップのいくつかは好ましくはソフトウェアで実装されるため、システムコンポーネント（又は処理ステップ）間の実際の接続は本発明がプログラムされる手法に依存して異なる可能性があることがさらに理解される。本明細書における教示が与えられ、当業者はこれら及び同様の本発明の実装又は構成を検討することが可能となるであろう。
【図１】
2016528579.tif 000003
【図２】
2016528579.tif 000004
【図３】
2016528579.tif 000005
【図４】
2016528579.tif 000006
【図５】
2016528579.tif 000007
【図６】
2016528579.tif 000008
【手続補正書】
【提出日】平成28年5月24日(2016.5.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の３Ｄディスプレイに対してオブジェクトをレンダリングするための方法であって、
グローバル座標系における、前記オブジェクトの位置とユーザの目から前記３Ｄディスプレイの境界までで定められた領域との間の関係に従って前記オブジェクトをレンダリングするために、前記複数の３Ｄディスプレイのうちの１つを決定するステップと、
前記決定された３Ｄディスプレイ上に前記オブジェクトをレンダリングするステップと、
を含む、前記方法。
【請求項２】
前記決定するステップは、
複数の３Ｄディスプレイデバイス及び前記ユーザの目についてのグローバル座標系を定めるステップと、
前記複数の３Ｄディスプレイデバイスの姿勢及び位置を検出するステップであって、前記グローバル座標系における前記ユーザの目の位置を追跡する、前記検出するステップと、
前記複数の３Ｄディスプレイデバイスのうちで、前記オブジェクトが前記ユーザの目の位置から前記３Ｄディスプレイデバイスの境界までの視野錐台内であるかに従ってオブジェクトがレンダリングされるべきである３Ｄディスプレイデバイスを決定するステップと、
を含む、請求項１に記載の方法。
【請求項３】
前記レンダリングするステップは、
各３Ｄディスプレイデバイスについてのローカル座標系を定めるステップと、
前記３Ｄディスプレイデバイスの前記ローカル座標系から前記グローバル座標系への個々の変換行列を計算するステップと、
前記オブジェクトを前記グローバル座標系から前記決定された３Ｄディスプレイデバイスの前記ローカル座標系に変換して、前記決定された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングする、変換するステップと、
を含む、請求項２に記載の方法。
【請求項４】
前記決定された３Ｄディスプレイデバイスの姿勢及び位置と前記ユーザの目の位置とに応じて、前記グローバル座標系における位置で前記決定された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングするステップをさらに含む、請求項２に記載の方法。
【請求項５】
前記ユーザから、前記グローバル座標系における前記オブジェクトの位置を変更するための入力を受信するステップと、
前記決定された３Ｄディスプレイデバイスの姿勢及び位置と前記ユーザの目の位置とに応じて、前記グローバル座標系における前記変更された位置で前記決定された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングするステップと、
を含む、請求項４に記載の方法。
【請求項６】
前記入力は、前記オブジェクトを操作する前記ユーザの入力デバイスから受信される、請求項５に記載の方法。
【請求項７】
前記変更された位置が、前記決定された３Ｄディスプレイデバイスの前記視野錐台と、前記視野錐台から前記決定された３Ｄディスプレイデバイスの境界までの投影範囲とによって定められた前記決定された３Ｄディスプレイデバイスの範囲外であることを検出すると、前記オブジェクトを前記グローバル座標系における前記変更された位置で前記複数の３Ｄディスプレイデバイスのうちの他の１つ上にレンダリングするように切り替えるステップをさらに含む、請求項５に記載の方法。
【請求項８】
前記切り替えるステップは、
前記オブジェクトの前記変更された位置を前記グローバル座標系から前記複数の３Ｄディスプレイデバイスのうちの他の３Ｄディスプレイデバイスのローカル座標系に変換するステップと、
視野錐台が覆う、又は全ての前記他の３Ｄディスプレイデバイスのうちで前記オブジェクトの前記変更された位置に対して最も近接する、３Ｄディスプレイデバイスを識別するステップと、
前記変更された位置が、前記識別された３Ｄディスプレイデバイスの前記視野錐台と、前記視野錐台から前記識別された３Ｄディスプレイデバイスの境界までの投影範囲とによって定められた前記識別された３Ｄディスプレイデバイスの範囲内であることを検出すると、前記グローバル座標系における前記変更された位置で前記識別された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングするステップと、
を含む、請求項７に記載の方法。
【請求項９】
前記複数の３Ｄディスプレイデバイスのうちの１つは、固定された姿勢及び位置を有し、前記３Ｄディスプレイデバイスの前記ローカル座標系は、前記グローバル座標系として定められる、請求項３に記載の方法。
【請求項１０】
複数の３Ｄディスプレイに対してオブジェクトをレンダリングするための装置であって、
グローバル座標系における、前記オブジェクトの位置とユーザの目から前記３Ｄディスプレイの境界までで定められた領域との関係に従って前記オブジェクトをレンダリングするために、前記複数の３Ｄディスプレイのうちの１つを決定する手段と、
前記決定された３Ｄディスプレイ上に前記オブジェクトをレンダリングする手段と、
を備えた、前記装置。
【請求項１１】
前記決定する手段は、
複数の３Ｄディスプレイデバイス及び前記ユーザの目についてのグローバル座標系を定める手段と、
前記複数の３Ｄディスプレイデバイスの姿勢及び位置を検出する手段であって、前記グローバル座標系における前記ユーザの目の位置を追跡する、前記検出する手段と、
前記複数の３Ｄディスプレイデバイスのうちで、前記オブジェクトが前記ユーザの目の位置から前記３Ｄディスプレイデバイスの境界までの視野錐台内であるかに従ってオブジェクトがレンダリングされるべきである３Ｄディスプレイデバイスを決定する手段と、
を含む、請求項１０に記載の装置。
【請求項１２】
前記レンダリングする手段は、
各３Ｄディスプレイデバイスについてのローカル座標系を定める手段と、
前記３Ｄディスプレイデバイスの前記ローカル座標系から前記グローバル座標系への個々の変換行列を計算する手段と、
前記オブジェクトを前記グローバル座標系から前記決定された３Ｄディスプレイデバイスの前記ローカル座標系に変換して、前記決定された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングする、変換する手段と、
を含む、請求項１１に記載の装置。
【請求項１３】
前記決定された３Ｄディスプレイデバイスの姿勢及び位置と前記ユーザの目の位置とに応じて前記決定された３Ｄディスプレイデバイス上に前記グローバル座標系における位置で前記オブジェクトをレンダリングする手段をさらに含む、請求項１１に記載の装置。
【請求項１４】
前記ユーザから、前記グローバル座標系における前記オブジェクトの位置を変更するための入力を受信する手段と、
前記決定された３Ｄディスプレイデバイスの姿勢及び位置と前記ユーザの目の位置とに応じて、前記グローバル座標系における前記変更された位置で前記決定された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングする手段と、
を含む、請求項１３に記載の装置。
【請求項１５】
前記変更された位置が、前記決定された３Ｄディスプレイデバイスの前記視野錐台と、前記視野錐台から前記決定された３Ｄディスプレイデバイスの境界までの投影範囲とによって定められた前記決定された３Ｄディスプレイデバイスの範囲外であることを検出すると、前記グローバル座標系における前記変更された位置で前記複数の３Ｄディスプレイデバイスのうちの他の１つ上に前記オブジェクトをレンダリングするように切り替える手段をさらに含む、請求項１３に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
添付の図面に描かれた構成システムコンポーネント及び方法ステップのいくつかは好ましくはソフトウェアで実装されるため、システムコンポーネント（又は処理ステップ）間の実際の接続は本発明がプログラムされる手法に依存して異なる可能性があることがさらに理解される。本明細書における教示が与えられ、当業者はこれら及び同様の本発明の実装又は構成を検討することが可能となるであろう。
＜付記１＞
複数の３Ｄディスプレイに対してオブジェクトをレンダリングするための方法であって、
グローバル座標系における、前記オブジェクトの位置とユーザの目から前記３Ｄディスプレイまでで画定された領域との関係に従って前記オブジェクトをレンダリングするために、前記複数の３Ｄディスプレイのうちの１つを決定するステップと、
前記決定された３Ｄディスプレイ上に前記オブジェクトをレンダリングするステップと、
を含む、前記方法。
＜付記２＞
前記決定するステップは、
複数の３Ｄディスプレイデバイス及び前記ユーザの目についてのグローバル座標系を定めるステップ（Ｓ１０１）と、
前記複数の３Ｄディスプレイデバイスの姿勢及び位置を検出するステップであって、前記グローバル座標系における前記ユーザの目の位置を追跡する、前記検出するステップ（Ｓ１０２）と、
前記複数の３Ｄディスプレイデバイスのうちで、前記オブジェクトが前記ユーザの目から前記３Ｄディスプレイデバイスの境界までの視野錐台内であるかに従ってオブジェクトがレンダリングされるべきである３Ｄディスプレイデバイスを決定するステップ（Ｓ１０５）と、
を含む、付記１に記載の方法。
＜付記３＞
前記レンダリングするステップは、
各３Ｄディスプレイデバイスについてのローカル座標系を定めるステップ（Ｓ１０３）と、
前記３Ｄディスプレイデバイスの前記ローカル座標系から前記グローバル座標系への個々の変換行列を計算するステップ（Ｓ１０４）と、
前記オブジェクトを前記グローバル座標系から前記決定された３Ｄディスプレイデバイスの前記ローカル座標系に変換して、前記決定された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングする、変換するステップ（Ｓ１０６）と、
を含む、付記２に記載の方法。
＜付記４＞
前記決定された３Ｄディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて、前記グローバル座標系における位置で前記決定された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングするステップをさらに含む、付記２に記載の方法。
＜付記５＞
前記ユーザから入力を受信して、前記グローバル座標系における前記オブジェクトの位置を変更する、受信するステップと、
前記決定された３Ｄディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて、前記グローバル座標系における前記変更された位置で前記決定された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングするステップと、
を含む、付記４に記載の方法。
＜付記６＞
前記入力は、前記ユーザの入力デバイスから受信され、前記オブジェクトを操作する、付記５に記載の方法。
＜付記７＞
前記決定された３Ｄディスプレイデバイスの前記視野錐台と、前記視野錐台から前記決定された３Ｄディスプレイデバイスの境界までの投影範囲とによって画定された前記決定された３Ｄディスプレイデバイスの範囲外である前記変更された位置を検出すると、前記オブジェクトを前記グローバル座標系における前記変更された位置で前記複数の３Ｄディスプレイデバイスのうちの他の１つ上にレンダリングするように切り替えるステップをさらに含む、付記５に記載の方法。
＜付記８＞
前記切り替えるステップは、
前記オブジェクトの前記変更された位置を前記グローバル座標系から前記複数の３Ｄディスプレイデバイスのうちの他の３Ｄディスプレイデバイスのローカル座標系に変換するステップと、
視野錐台が覆う、又は全ての前記他の３Ｄスクリーンのうちで前記オブジェクトの前記変更された位置に対して最も近接する、３Ｄスクリーンを識別するステップと、
前記識別された３Ｄディスプレイデバイスの前記視野錐台と、前記視野錐台から前記識別された３Ｄディスプレイデバイスの境界までの投影範囲とによって画定された前記識別された３Ｄディスプレイデバイスの範囲内である前記変更された位置を検出すると、前記グローバル座標系における前記変更された位置で前記識別された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングするステップと、
を含む、付記７に記載の方法。
＜付記９＞
前記複数の３Ｄディスプレイデバイスのうちの１つは、固定された姿勢及び位置を有し、前記３Ｄディスプレイデバイスの前記ローカル座標系は、前記グローバル座標系として定められる、付記３に記載の方法。
＜付記１０＞
複数の３Ｄディスプレイに対してオブジェクトをレンダリングするための装置であって、
グローバル座標系における、前記オブジェクトの位置とユーザの目から前記３Ｄディスプレイまでで画定された領域との関係に従って前記オブジェクトをレンダリングするために、前記複数の３Ｄディスプレイのうちの１つを決定する手段と、
前記決定された３Ｄディスプレイ上に前記オブジェクトをレンダリングする手段と、
を備えた、前記装置。
＜付記１１＞
前記決定する手段は、
複数の３Ｄディスプレイデバイス及び前記ユーザの目についてのグローバル座標系を定める手段と、
前記複数の３Ｄディスプレイデバイスの姿勢及び位置を検出する手段であって、前記グローバル座標系における前記ユーザの目の位置を追跡する、前記検出する手段と、
前記複数の３Ｄディスプレイデバイスのうちで、前記オブジェクトが前記ユーザの目から前記３Ｄディスプレイデバイスの境界までの視野錐台内であるかに従ってオブジェクトがレンダリングされるべきである３Ｄディスプレイデバイスを決定する手段と、
を含む、付記１０に記載の装置。
＜付記１２＞
前記レンダリングする手段は、
各３Ｄディスプレイデバイスについてのローカル座標系を定める手段と、
前記３Ｄディスプレイデバイスの前記ローカル座標系から前記グローバル座標系への個々の変換行列を計算する手段と、
前記オブジェクトを前記グローバル座標系から前記決定された３Ｄディスプレイデバイスの前記ローカル座標系に変換して、前記決定された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングする、変換する手段と、
を含む、付記１１に記載の装置。
＜付記１３＞
前記決定された３Ｄディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて前記決定された３Ｄディスプレイデバイス上に前記グローバル座標系における位置で前記オブジェクトをレンダリングする手段をさらに含む、付記１１に記載の装置。
＜付記１４＞
前記ユーザから入力を受信して、前記グローバル座標系における前記オブジェクトの位置を変更する、受信する手段と、
前記決定された３Ｄディスプレイデバイスの位置及び姿勢と前記ユーザの目の位置とに応じて、前記グローバル座標系における前記変更された位置で前記決定された３Ｄディスプレイデバイス上に前記オブジェクトをレンダリングする手段と、
を含む、付記１３に記載の装置。
＜付記１５＞
前記決定された３Ｄディスプレイデバイスの前記視野錐台と、前記視野錐台から前記決定された３Ｄディスプレイデバイスの境界までの投影範囲とによって画定された前記決定された３Ｄディスプレイデバイスの範囲外である前記変更された位置を検出すると、前記グローバル座標系における前記変更された位置で前記複数の３Ｄディスプレイデバイスのうちの他の１つ上に前記オブジェクトをレンダリングするように切り替える手段をさらに含む、付記１３に記載の装置。
【国際調査報告】
2016528579.tif 000009
2016528579.tif 000010