(57)【要約】【課題】  ヘッドマウントディスプレイ（ＨＭＤ）のためのカメラモジュールを提供する【解決手段】  ヘッドマウントディスプレイ（ＨＭＤ）のためのカメラモジュールが、ユーザの手のモーションを追跡する第１の光学モジュールと、ユーザの手のジェスチャ又はステップと空間とを再構成する第２の光学モジュールと、３次元（３Ｄ）仮想オブジェクトを確立する第３の光学モジュールと、第１の光学モジュール、第２の光学モジュール、及び第３の光学モジュールと統合してユーザの身体動作を仮想化する制御ユニットとを含み、カメラモジュールは、追跡範囲を最大化するように回転可能である。【選択図】  図１
2020048176.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイ（ＨＭＤ）のためのカメラモジュールであって、
ユーザの手のモーションを追跡する第１の光学モジュールと、
前記ユーザの手のジェスチャ又はステップと空間とを再構成する第２の光学モジュールと、
３次元（３Ｄ）仮想オブジェクトを確立する第３の光学モジュールと、
前記第１の光学モジュール、前記第２の光学モジュール、及び前記第３の光学モジュールと統合して前記ユーザの身体動作を仮想化する制御ユニットと、を含み、
当該カメラモジュールは、追跡範囲を最大化するように回転可能である、カメラモジュール。
【請求項２】
前記第１の光学モジュールは、同時的位置特定及び地図作成（ＳＬＡＭ）を用いて前記ユーザの前記手のモーションを追跡する広視野（ＦＯＶ）ＲＧＢカメラである、請求項１に記載のカメラモジュール。
【請求項３】
前記ＦＯＶ  ＲＧＢカメラのＦＯＶ角度は少なくとも１００度である、請求項２に記載のカメラモジュール。
【請求項４】
前記第２の光学モジュールはＲＧＢ‐深度（ＲＧＢ‐Ｄ）カメラである、請求項１に記載のカメラモジュール。
【請求項５】
前記制御ユニットは、前記ＲＧＢ‐Ｄカメラ及び深度アルゴリズムによって前記ユーザの前記手のジェスチャ、前記ステップ、及び前記空間を再構成する、請求項４に記載のカメラモジュール。
【請求項６】
前記第３の光学モジュールは、複数のピクチャを撮影する高精細度（ＨＤ）カメラである、請求項１に記載のカメラモジュール。
【請求項７】
ヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイに配設されるカメラモジュールと、を含み、
前記カメラモジュールは、
ユーザの手のモーションを追跡する第１の光学モジュールと、
前記ユーザの手のジェスチャと空間とを再構成する第２の光学モジュールと、
３次元（３Ｄ）仮想オブジェクトを確立する第３の光学モジュールと、
前記第１の光学モジュール、前記第２の光学モジュール、及び前記第３の光学モジュールと統合して前記ユーザの身体動作を仮想化する制御ユニットと、を含み、
前記カメラモジュールは、追跡範囲を最大化するように前記ＨＭＤ上で回転可能である、
拡大現実システム。
【請求項８】
前記第１の光学モジュールは、同時的位置特定及び地図作成（ＳＬＡＭ）を用いて前記ユーザの前記手のモーションを追跡する広視野（ＦＯＶ）ＲＧＢカメラである、請求項７に記載の拡大現実システム。
【請求項９】
前記ＦＯＶ  ＲＧＢカメラのＦＯＶ角度は少なくとも１００度である、請求項８に記載の拡大現実システム。
【請求項１０】
前記第２の光学モジュールはＲＧＢ‐深度（ＲＧＢ‐Ｄ）カメラである、請求項７に記載の拡大現実システム。
【請求項１１】
前記制御ユニットは、前記ＲＧＢ‐Ｄカメラ及び深度アルゴリズムによって前記ユーザの前記手のジェスチャ、ステップ、及び前記空間を再構成する、請求項１０に記載の拡大現実システム。
【請求項１２】
前記第３の光学モジュールは、複数のピクチャを撮影する高精細度（ＨＤ）カメラである、請求項７に記載の拡大現実システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラモジュール及び拡大現実システムに関し、より詳細には、ユーザの身体動作を仮想化することができるカメラモジュール及び拡大現実システムに関する。
【背景技術】
【０００２】
技術の進化及び発展により、コンピュータゲーム及びユーザの間の対話の需要は増加している。人間‐コンピュータ対話技術、例えば、体性感覚ゲーム、仮想現実（ＶＲ）環境、拡張環境（ＡＲ）、及び拡大現実（ＸＲ）環境は、その生理学的及び娯楽的機能のため人気となっている。従来のＸＲ技術は、ヘッドマウントディスプレイ（ＨＭＤ）、モーションコントローラ周辺装置、又はカメラなどの動くオブジェクトのシーン座標をリアルタイムで追跡するアウトサイドイン追跡方法を用いて、ユーザの動きを追跡することにより仮想オブジェクトを再構成し、ユーザを仮想化する。こうして、ＨＭＤ、モーションコントローラ周辺装置、又はカメラは一緒に動作し、仮想環境にいる間にユーザにより行われるジェスチャに反応して、仮想環境内のユーザに対話を同時に提供することができる。
【０００３】
しかしながら、従来のＸＲ技術が、モーションコントローラ周辺装置又はカメラなしに動作してユーザのモーション又はジェスチャを追跡するとき、ＨＭＤは、ユーザのジェスチャ又は動きを仮想化することができず、ユーザ体験に影響を与える。
【発明の概要】
【０００４】
ゆえに、本発明は、より良い使用シナリオをユーザに提供するためのカメラモジュール及び拡大現実システムを提供する。
【０００５】
本発明は、ヘッドマウントディスプレイ（ＨＭＤ）のためのカメラモジュールを開示し、ユーザの手のモーションを追跡する第１の光学モジュールと、ユーザの手のジェスチャ又はステップと空間とを再構成する第２の光学モジュールと、３次元（３Ｄ）仮想オブジェクトを確立する第３の光学モジュールと、第１の光学モジュール、第２の光学モジュール、及び第３の光学モジュールと統合してユーザの身体動作を仮想化する制御ユニットと、を含み、当該カメラモジュールは、追跡範囲を最大化するように回転可能である。
【０００６】
本発明は、拡大現実システムをさらに開示し、ヘッドマウントディスプレイと、ヘッドマウントディスプレイに配設されるカメラモジュールと、を含み、カメラモジュールは、ユーザの手のモーションを追跡する第１の光学モジュールと、ユーザの手のジェスチャと空間とを再構成する第２の光学モジュールと、３次元（３Ｄ）仮想オブジェクトを確立する第３の光学モジュールと、第１の光学モジュール、第２の光学モジュール、及び第３の光学モジュールと統合してユーザの身体動作を仮想化する制御ユニットと、を含み、カメラモジュールは、追跡範囲を最大化するようにＨＭＤ上で回転可能である。
【０００７】
本発明の上記及び他の目的が、様々な図表及び図面に例示される好適な実施例の下記詳細な説明を読んだ当業者に疑いなく明らかになるであろう。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例による拡大現実システムの概略図である。
【図２】本発明の実施例によるカメラモジュールの概略図である。
【図３】図３Ａ及び図３Ｂは、本発明の実施例によるユーザに適用されたときの拡大現実システムの概略図である。
【発明を実施するための形態】
【０００９】
図１を参照されたい。図１は、本開示の実施例による拡大現実（extended  reality）システム１０の概略図である。拡大現実システム１０は、ヘッドマウントディスプレイ（head-mounted  display；ＨＭＤ）１０２、及びカメラモジュール１０４を含む。ＨＭＤ１０２は、ユーザにより装着され、複数の仮想オブジェクトを有する仮想空間のビューなどの様々なグラフィックスをＨＭＤ１０２の表示部分に提示するように構成され得る。カメラモジュール１０４は、図２に示されるように、ＨＭＤ１０２上に配設され、あるいは取り付けられてもよく、これは、ユーザの手のモーションを追跡する第１の光学モジュールＣ１と、空間とユーザの手のジェスチャ又はステップとを再構成する第２の光学モジュールＣ２と、３次元（３Ｄ）仮想オブジェクトを確立する第３の光学モジュールＣ３と、第１の光学モジュールＣ１、第２の光学モジュールＣ２、及び第３の光学モジュールＣ３と統合してユーザの身体動作を仮想化し、仮想オブジェクトを再構成する制御ユニット１０６とを含む。さらに、カメラモジュール１０４は、追跡範囲を最大化するようにＨＭＤ１０２上で回転可能である。例えば、ユーザが、カメラモジュール１０４を備えたＨＭＤ１０２を装着するとき、拡大現実システム１０は、カメラモジュール１０４により捕捉されたユーザの手のジェスチャ、ステップ、及び空間に基づいてインサイドアウト追跡方法を用いて３Ｄ仮想空間及び３Ｄ仮想オブジェクトを再構成することができる。ゆえに、本発明の拡大現実システム１０は、仮想コンテンツを再構成するために付加的な装置を実現することなくユーザの身体動作を仮想化し、拡大現実（ＸＲ）環境内に仮想オブジェクトを再構成する。
【００１０】
上述された例は、本発明の拡大現実システム１０が付加的な装置を実現することなく仮想空間及び仮想オブジェクトを再構成することを簡潔に説明している。とりわけ、当業者は適切な変更を行うことができる。例えば、カメラモジュール１０４に含まれる光学モジュールは上述されたものに限定されず、１つ以上の光学モジュールが、このことに限られないが仮想空間及び仮想オブジェクトの再構成を実現するために採用されてもよく、これは本発明の範囲に属する。
【００１１】
詳細には、第１の光学モジュールＣ１は、同時的位置特定及び地図作成（simultaneous  localization  and  mapping；ＳＬＡＭ）を用いてユーザの手のモーションを追跡する広視野（ＦＯＶ）ＲＧＢカメラでもよく、これは、未知の環境の地図を再構成又は更新すると同時にその中にユーザの位置を記録する。実施例において、ユーザの手が動いているとき、ＦＯＶ  ＲＧＢカメラは、広いＦＯＶ角度及びＳＬＡＭを用いて手のモーションを追跡する。とりわけ、ＦＯＶ  ＲＧＢカメラのＦＯＶ角度は、少なくとも１００度である。ゆえに、本発明の拡大現実システム１０は、追跡器又はアウトサイドイン装置、例えば、ユーザの動きを追跡又は感知するためのモーションコントローラ及びカメラのない状況下で、第１の光学モジュールＣ１をＳＬＡＭと統合してユーザの手のモーションを追跡する。
【００１２】
仮想空間、ユーザの手のジェスチャ、及びステップを再構成するために、第２の光学モジュールＣ２が利用される。実施例において、第２の光学モジュールＣ２は、ＲＧＢ‐深度（ＲＧＢ‐Ｄ）カメラにより実現されてもよい。ゆえに、制御ユニット１０６は、ＲＧＢ‐Ｄカメラを利用して、深度モデル又は深度アルゴリズムに従って３Ｄ空間、ユーザの手のジェスチャ又はステップを再構成する。より具体的に、ＶＲ及びＡＲ環境の適用である仮想３Ｄ空間内にあるとき、ＲＧＢ‐Ｄカメラは、深度情報を有するユーザの手のジェスチャ又はステップを有するピクチャを捕捉して、動的な手のジェスチャ及びステップを認識する。同様に、仮想３Ｄ空間は、ＲＧＢ‐Ｄカメラにより撮影されたピクチャに基づいて再構成されてもよい。換言すると、ＲＧＢ‐Ｄカメラは、仮想３Ｄ空間を構築するためにユーザの周りの空間をスキャンする。ゆえに、拡大現実システム１０の第２の光学モジュールＣ２は、ユーザの動きを感知及び追跡するためのアウトサイドイン装置なしに、仮想空間、ユーザの手のジェスチャ、及びステップを再構成するように統合され得る。
【００１３】
さらに、第３の光学モジュールＣ３は、３Ｄ空間内に仮想オブジェクトを再構成するために、オブジェクトのピクチャを撮影する高精細度（ＨＤ）カメラでもよい。より具体的には、ＨＤカメラは、ユーザの周りのオブジェクトのピクチャを撮影し、それにより、制御ユニット１０６は、アウトサイドイン装置なしに仮想３Ｄ空間内に仮想オブジェクトを確立することができ、代替的に、制御ユニット１０６は、オブジェクト再構成アルゴリズムを用いてＨＤカメラにより撮影されたピクチャを統合して仮想オブジェクトを確立してもよい。ゆえに、拡大現実システム１０は、アウトサイドイン装置又は他の補助装置なしに第３の光学モジュールＣ３に従って仮想オブジェクトを再構成することができる。
【００１４】
とりわけ、上述された実施例は本発明の概念を例示し、当業者は、このことに応じて、かつこのことに限定されない適切な変更を行うことができる。実施例において、図３Ａ及び３Ｂを参照されたい。図３Ａ及び３Ｂは、本発明の実施例によるユーザに適用されたときの拡大現実システム１０の概略図である。図３Ａ及び３Ｂに示されるように、破線はカメラモジュール１０４の光学モジュールの各々の範囲を表し、これは、ユーザの手、足、及び体をカバーし、それにより、拡大現実システム１０は、アウトサイドイン装置なしに３Ｄ仮想オブジェクト及び空間を再構成し、仮想化することができる。さらに、カメラモジュール１０４が、ＨＭＤ１０２に配設されたとき回転可能であるため、追跡範囲が最大化される。別の実施例において、カメラモジュール１０４の光学モジュールＣ１、Ｃ２、及びＣ３は、異なる次元（dimensions）で個々に回転可能であり、追跡範囲を最大化する。
【００１５】
要約すると、本発明は、インサイドアウト追跡方法を用いてカメラモジュール及び拡大現実システムを提供し、ユーザが拡大現実環境を体験するときにより良い体験を提供する。
【００１６】
当業者は、本発明の教示を保有する間、装置及び方法についての多数の修正及び変更がなされ得ることを容易に観察するであろう。したがって、上記開示は、別記の請求項の範囲及び境界によってのみ限定されるとみなされるべきである。
【図１】
2020048176.tif 000003
【図２】
2020048176.tif 000004
【図３】
2020048176.tif 000005