(57)【要約】第１の視野（ＦｏＶ）（１１１）を有する現実世界のシーンの映像を撮影するように構成されたカメラ（１０１）と、映像を受信表装置（１４０）にストリーミングするように構成されたネットワークインタフェース回路（１０２）と、現実世界のシーンの３Ｄモデルを生成し、第１のＦｏＶ（１１１）よりも広い第２のＦｏＶを用いて３Ｄモデルから映像を生成するように動作する処理手段（１０３）とを有する、ヘッドマウントディスプレイ（ＨＭＤ）（１００）が提供される。処理手段（１０３）は、カメラ（１０１）の動きを推定し、カメラ（１０１）の推定された動きが急な動きを示す１つ以上の条件を満たす場合には生成された映像を受信表示装置（１４０）にストリーミングし、そうでない場合には、撮影された映像を受信表示装置（１４０）にストリーミングするようにさらに動作する。ＨＭＤによって実行される方法、対応するコンピュータプログラム、および対応するコンピュータ読み取り可能な記憶媒体がさらに提供される。【選択図】図１
2021520668.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイ（ＨＭＤ）（１００）であって、
第１の視野（１１１）を有する現実世界のシーンの映像を撮影するように構成されたカメラ（１０１）と、 
受信表示装置（１４０）に映像をストリーミングするように構成されたネットワークインタフェース回路（１０２）と、
処理手段（１０３）とを有し、
前記処理手段（１０３）は、
前記現実世界のシーンの３Ｄモデルを生成し、 
前記第１の視野（１１１）よりも広い第２の視野を用いて、前記３Ｄモデルから映像を生成し、
前記カメラ（１０１）の動きを推定し、
前記カメラ（１０１）の前記推定された動きが、急な動きを示す１つ以上の条件を満たしていれば、前記生成された映像を前記受信表示装置（１４０）にストリーミングし、そうでなければ、前記撮影された映像を前記受信表示装置（１４０）にストリーミングする、ように動作する、ＨＭＤ。
【請求項２】
前記処理手段（１０３）は、前記カメラ（１０１）の前記推定された動きが急な動きを示す１つ以上の条件を満たし、前記第１の視野（１１１）が人間の視野を代表する閾値よりも小さい場合、前記生成された映像を前記受信表示装置（１４０）にストリーミングし、そうでなければ、前記撮影された映像を前記受信表示装置（１４０）にストリーミングするように動作する、請求項１に記載のＨＭＤ。
【請求項３】
前記ＨＭＤ（１００）の動きを感知するように構成された少なくとも１つの動きセンサ（１０４）をさらに有し、前記処理手段（１０３）は、前記ＨＭＤ（１００）の感知された動きに基づいて前記カメラ（１０１）の前記動きを推定するように動作する、請求項１または２に記載のＨＭＤ。
【請求項４】
前記処理手段（１０３）は、前記撮影された映像の続くフレームを解析することに基づいて、前記カメラ（１０１）の前記動きを推定するように作動する、請求項１または２に記載のＨＭＤ。
【請求項５】
前記処理手段（１０３）は、前記第１の視野（１１１）と前記カメラ（１０１）の前記推定された動きとに基づいて前記第２の視野を決定するように動作する、請求項１から４のいずれか１項に記載のＨＭＤ。
【請求項６】
前記急な動きを示す１つ以上の条件が、前記撮影された映像の視聴者（１５２）が映像酔い(VIMS)を起こす動きのパターンを示すものである、請求項１から５のいずれか１項に記載のＨＭＤ。
【請求項７】
前記処理手段（１０３）は、前記生成された映像を前記受信表示装置（１４０）にストリーミングすることに続き、
前記生成された映像を所定期間ストリーミングしたことと、
前記カメラ（１０１）の前記推定された動きが、安定した動きを示す１つ以上の条件を満たしていると判定したこと、
の少なくとも１つに応答して、前記撮影された映像を前記受信表示装置（１４０）にストリーミングするように、さらに作動する、請求項１から６のいずれか１項に記載のＨＭＤ。
【請求項８】
ヘッドマウントディスプレイ（ＨＭＤ）が実行する方法（５００）であって、
前記ＨＭＤが備えるカメラを用いて、第１の視野を有する現実世界のシーンの映像を撮影する（５０１）ことと、 
前記現実世界のシーンの３Ｄモデルを生成する（５０３，５１３）ことと、 
前記第１の視野よりも広い第２の視野を用いて、前記３Ｄモデルから映像を生成する（５０４，５１４）ことと、
前記カメラの動きを推定する（５０５）ことと、
前記カメラの前記推定された動きが、急な動きを示す１つ以上の条件を満たしていれば（５０６）、前記生成された映像を、前記ＨＭＤが備えるネットワークインタフェース回路を用いて受信表示装置にストリーミングする（５１５）ことと、そうでなければ、前記撮影された映像を、前記ネットワークインタフェース回路を用いて前記受信表示装置にストリーミングする（５２５）ことと、を有する、方法。
【請求項９】
前記カメラの前記推定された動きが急な動きを示す１つ以上の条件を満たし（５０６）、前記第１の視野が人間の視野を代表する閾値よりも小さい場合には前記生成された映像が前記受信表示装置にストリーミングされ（５１５）、そうでなければ、前記撮影された映像が前記受信表示装置にストリーミングされる（５２５）、請求項８に記載の方法。
【請求項１０】
前記カメラの前記動きが、前記ＨＭＤが備える少なくとも１つの動きセンサを用いて感知された前記ＨＭＤの動きに基づいて推定される（５０５）、請求項８または９に記載の方法。
【請求項１１】
前記撮影された映像の続くフレームを分析することに基づいて前記カメラの前記動きが推定される（５０５）、請求項８または９に記載の方法。
【請求項１２】
前記第１の視野と、前記カメラの前記推定（５０５）された動きとに基づいて、前記第２の視野を決定すること（５１２）をさらに有する、請求項８から１１のいずれか１項に記載の方法。
【請求項１３】
前記急な動きを示す１つ以上の条件が、前記撮影された映像の視聴者が映像酔い(VIMS)を起こす動きのパターンを示すものである、請求項８から１２のいずれか１項に記載の方法。
【請求項１４】
前記生成された映像を前記受信表示装置にストリーミングする（５１５）ことに続き、
前記生成された映像を所定期間ストリーミングした（５１６）ことと、
前記カメラの前記推定された動きが、安定した動きを示す１つ以上の条件を満たしている（５１７）と判定したこと、
の少なくとも１つに応答して、前記撮影された映像を前記受信表示装置にストリーミングする（５２５）こと、をさらに有する、請求項８から１３のいずれか１項に記載の方法。
【請求項１５】
ヘッドマウントディスプレイ（ＨＭＤ）が備える処理手段（３０２）で実行されると、前記ＨＭＤに請求項８から１４のいずれか１項に記載の方法を実行させるためのコンピュータ実行可能な命令を有する、コンピュータプログラム（３０４）。
【請求項１６】
請求項１５に記載のコンピュータプログラム（３０４）を格納した、コンピュータ読み取り可能な記憶媒体（３０３）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイ（ＨＭＤ）、ＨＭＤによって実行される方法、対応するコンピュータプログラム、および対応するコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
ヘッドマウントディスプレイ（ＨＭＤ）または類似の装置は、ビジュアルリモートガイダンスアプリケーションで用いることができる。例えば、無線基地局を整備するために現場を訪問しているサポートエンジニアは、無線基地局のキャビネットなど、サポートエンジニアが見ている現実世界のシーンの映像を撮影する正面向きのカメラを備えたＨＭＤを装着することができる。ＨＭＤは、撮影された映像を、サポートエンジニアを指導および／または支援している専門家が映像を視聴する遠隔地（例えばネットワークオペレーションセンタ（ＮＯＣ））にストリーミングしながら、サポートエンジニアに関連文書を表示するために用いられうる。
【０００３】
ＨＭＤが備えるカメラの視野（ＦｏＶ）は限られているため、ＨＭＤのカメラで撮影された映像の視聴者は、サポートエンジニアが訪問した現場について限られた視野のみを有することになる。これが特に当てはまるのは、整備対象の設備のクローズアップ像を提供するためにＨＭＤカメラをズームアップ拡大した場合である。
【０００４】
撮影された映像の視野が限定されることにより、撮影された映像を視聴している人は映像酔い(Visually Incuced Motion Sickness (VIMS))を起こす可能性がある。これが特に当てはまるのは、例えば、サポートエンジニアが首を振ったり急に位置を変えたりするなどして、ＨＭＤカメラの動きが速い場合である。一般に、映像酔いは、見えているのに感じられない動きによって引き起こされる。視野が制限されることで、現実世界のシーンの視覚的な基準点(reference points)のサブセットのみが映像によって撮影される。
【発明の概要】
【０００５】
本発明の目的は、上述の技術および従来技術の、改善された代替技術を提供することである。
【０００６】
より具体的には、ビジュアルリモートガイダンスアプリケーションのための改善された解決方法を提供することが本発明の１つの目的である。特に、映像酔いのリスクを軽減する、ビジュアルリモートコラボレーションのための解決方法を提供することが本発明の１つの目的である。
【０００７】
本発明のこれらの目的および他の目的は、独立請求項によって定義されるように、本発明の様々な態様によって達成される。本発明の実施形態は、従属請求項によって特徴付けられる。
【０００８】
本発明の第１の態様によれば、ＨＭＤが提供される。ＨＭＤは、第１の視野(FoV)を有する現実世界のシーンの映像を撮影するように構成されたカメラと、映像を受信表示装置にストリーミングするように構成されたネットワークインタフェース回路と、処理手段とを有する。処理手段は、現実世界の３Ｄモデルを生成し、３Ｄモデルから、第１の視野よりも広い第２の視野を用いて映像を生成するように動作する。処理手段はさらに、カメラの動きを推定し、カメラの推定された動きが急な動きを示す１つ以上の条件を満たす場合には、生成された映像をを受信表示装置にストリーミングし、そうでない場合には、撮影された映像を受信表示装置にストリーミングするように動作する。
【０００９】
本発明の第２の態様によれば、ＨＭＤによって実行される方法が提供される。方法は、ＨＭＤが備えるカメラを用い、現実世界のシーンの映像を第１の視野で撮影することと、現実世界のシーンの３Ｄモデルを生成することと、第１の視野よりも広い第２の視野で３Ｄモデルから映像を生成することとを有する。方法はさらに、カメラの動きを推定することと、カメラの推定された動きが急な動きを示す１つ以上の条件を満たしている場合には生成した映像をＨＭＤが備えるネットワークインタフェース回路を用いて受信表示装置にストリーミングし、それ以外の場合には撮影された映像をネットワークインタフェース回路を用いて受信表示装置にストリーミングすることを有する。
【００１０】
本発明の第３の態様によれば、コンピュータプログラムが提供される。コンピュータプログラムは、コンピュータ実行可能な命令がＨＭＤが備える処理ユニットで実行された場合に、本発明の第２の態様の実施形態に従った方法をＨＭＤに実行させるためのコンピュータ実行可能な命令を有する。
【００１１】
本発明の第４の態様によれば、コンピュータ読み取り可能な記憶媒体が提供される。コンピュータ読み取り可能な記憶媒体は、本発明の第３の側面に従ったコンピュータプログラムを格納している。
【００１２】
本発明は、ＨＭＤの実施形態によってストリーミングされる映像の視聴者が映像酔いを起こすリスクが、カメラの動きが速い場合には、撮影された映像ではなく、ズームアウトした生成映像をストリーミングすることによって軽減されるという知見を用いている。
【００１３】
本発明の利点は、本発明の第１の態様の実施形態に関して記載されている場合もあるが、同様の趣旨は本発明の他の態様の実施形態にも当てはまる。
【００１４】
本発明のさらなる目的、特徴、および利点は、以下の詳細な開示、図面、および添付の特許請求の範囲の検討を通じて明らかになるであろう。本発明の異なる特徴を組み合わせて、以下に説明されない実施形態を創作することが可能であることは、本技術分野に属する当業者が理解するところである。
【図面の簡単な説明】
【００１５】
本発明の、上述した目的、特徴、および利点ならびにさらなる目的、特徴および利点は、添付図面に関する、本発明の実施形態の以下の例示的かつ非限定的な詳細な説明によって、よりよく理解されるであろう。
【００１６】
【図１】本発明の実施形態に係る、リモートコラボレーションシナリオにおけるＨＭＤを示す図である。
【図２Ａ】本発明の実施形態に係る、ＨＭＤによるストリーミング映像を示す図である。
【図２Ｂ】本発明の実施形態に係る、ＨＭＤによるストリーミング映像を示す図である。
【図２Ｃ】本発明の実施形態に係る、ＨＭＤによるストリーミング映像を示す図である。
【図３】ＨＭＤが備える処理手段の一実施形態を示す図である。
【図４】ＨＭＤが備える処理手段の別の実施形態を示す図である。
【図５】本発明の実施形態に係る、ＨＭＤによって実行される方法を示す図である。
【００１７】
すべての図は模式的なものであり、必ずしも均一に縮尺されておらず、概して本発明を説明するために必要な部分のみを示しており、他の部分は省略もしくは単なる示唆に留まりうる。
【発明を実施するための形態】
【００１８】
以下、本発明の特定の実施形態を示す添付図面に関して本発明をより詳細に説明する。しかしながら、本発明は多くの異なる形態で具現化されてもよく、したがって本明細書に記載された実施形態に限定されるものと解釈されるべきではない。むしろ、これらの実施形態は、本開示が詳細かつ完全なものとなるように、また、本発明の範囲を本技術分野に属する当業者に十分伝わるように例示として提供されている。
【００１９】
本発明は、ビジュアルリモートガイダンスに関するものであり、現在の文脈では、第１の人物（例えば、ヘッドマウントディスプレイ（ＨＭＤ）を装着したサポートエンジニア）が装着したヘッドマウントカメラを用いて映像を撮影することおよび、撮影された映像を、異なる（離れているかもしれない）場所でその撮影された映像を視聴している第２の人物と（例えば、ストリーミングによって）共有することを包含する。第２の人物は、例えば、整備が必要な場所、例えば、電気通信ネットワークの無線基地局または他の装置を訪問しているサポートエンジニアを指導および／または支援する専門家であってよい。本発明の実施形態は、主に電気通信ネットワークの装置を整備することに関連して説明されるが、本発明の実施形態は、車両（例えば、自動車、トラック、列車、および飛行機）を整備すること、家電製品（例えば、食器洗い機、洗濯機、冷蔵庫、およびヒートポンプ）を整備すること、データセンター内のコンピュータおよびネットワーク機器を整備すること、（例えば、警備員または法執行者によって）建設工事を監視することなど、多くの異なるタイプのビジュアルリモートガイダンスアプリケーションにおいて用いることができる。
【００２０】
図１には、本発明の実施形態に係るＨＭＤ１００を示す。ＨＭＤ１００は、第１の視野（ＦｏＶ）１１１で現実世界のシーンの映像を撮影するように構成されたカメラ１０１を備えている。カメラ１０１は、例えば、ＨＭＤ１００を装着したユーザ１５１の前方のシーンを撮影する、正面向きのカメラであってよい。ＨＭＤ１００はさらに、映像を受信表示装置１４０にストリーミングするように構成されたネットワークインタフェース回路１０２を備える。映像は受信表示装置１４０でレンダリングされ、視聴者１５２へ表示されてもよい。図１に示すように、ＨＭＤ１００を装着している人物１５１（ここでは「ユーザ」と呼ぶ）と視聴者１５２とは、異なる（離れているかもしれない）場所に存在しうる。以下では、ユーザ１５１と視聴者１５２とが遠隔的に共同作業を行っているものとする。例えば、ユーザ１５１は、無線基地局キャビネット１２１が配置された通信ネットワークの無線基地局サイトを訪問しているサポートエンジニアであってもよい。カメラ１０１で撮影されたライブ映像ストリームを受信表示装置１４０を用いて視聴する視聴者１５２は、サポートエンジニア（視聴者）１５１を指導および／または支援する専門家であってよい。
【００２１】
ネットワークインタフェース回路１０２は、例えば、任意の既知の有線または無線通信技術に基づくものであってよい。例えば、ネットワークインタフェース回路１０２は、ワイヤレスローカルアリーナネットワーク（ＷＬＡＮ）／Ｗｉ-ＦｉまたはＢｌｕｅｔｏｏｏｔｈのような短距離無線技術、またはＧＳＭ(Gloval System for Mobile communications)、ＵＭＴＳ(Universal Telecommunicaiton System)、ＬＴＥ(Long Term Evolusion)、またはＮＲ／ＮＸに基づく５Ｇ技術のようなセルラ無線技術に基づくものであってよい。ＨＭＤ１００と受信表示装置１４０との間の通信、すなわちデータの交換、特に映像のストリーミングは、例えば、ＨＴＴＰ(HyperText Transfer Protocol)、ＣｏＡＰ(Constrained Application Protocol)、ＲＴＳＰ(Real-time Streaming Protocol)、ＲＴＰ(Real-time Transport Protocol)、ＲＴＣＰ(Real-time Transport Control Protocol)、ＤＡＳＨ(Dynamic Adaptive Streaming over HTTP)など、任意の適切なプロトコルを用いて開始することができる。図１に例示されるように、ＨＭＤ１００と受信表示装置１４０との間の通信は、有線または無線接続１３１、１３２と、１つ以上の通信ネットワーク１３０、例えばインターネットを介して伝送されうる。
【００２２】
ＨＭＤ１００は、ＨＭＤ１００を本明細書に記載された本発明の実施形態に従って機能させるように動作する処理手段１０３をさらに備えている。より具体的には、ＨＭＤ１００は、現実世界のシーンの３Ｄモデルを生成し、第１の視野１１１よりも広い第２の視野、すなわち現実世界のシーンの「ズームアウトされた」眺めを用いて３Ｄモデルから映像を生成するように動作する。３Ｄモデルは、例えば、カメラ１０１によって撮影された映像から（この目的のため、カメラ１０１はズームアウト、すなわち、その視野１１１を増加させる必要がある）、および／またはＨＭＤ１００に設けられた、例えば、ステレオカメラを形成する追加カメラから、生成されうる。あるいは、またはそれに加えて、３Ｄモデルは、例えばＬＩＤＡＲまたは類似のレーダー技術を用いる１つ以上の深度センサ、または他のタイプの３Ｄスキャナから生成されてもよい。ＬＩＤＡＲは、パルス状のレーザ光を対象物に照射し、反射パルスをセンサで検出することによって対象物までの距離を測定する。その後、レーザの戻り時間および波長の差を用いて、対象物の３次元表現、すなわち３Ｄモデルを生成することができ、したがって、複数の対象物を有する現実世界のシーンのモデルを生成することができる。
【００２３】
３Ｄモデルは、例えば、点群として、生成、保存、および処理することができる。一般的に点群とは、ある座標系におけるデータ点の集合である。コンピュータグラフィックス分野で知られている多くの方法論を用いることにより、点群に基づいて３次元表面を生成することができる。点群から表面を再構成するための方法についての概要は、M. Berger、A. Tagliasacchi、L. M. Seversky、P. Alliez、G. Guennebaud、J. A. Levine、A. Sharf、およびC. T. Silvaによる「A Survey of Surface Reconstruction from Point Clouds」、 Computer Graphics Forum, Volume 36, pages 301-329, Wiley, 2017に記載されている。一例として、移動する低コストのデプスカメラ（Microsoft Kinectセンサー）を用いた屋内シーンのリアルタイムマッピングが、R. A. Newcombe, S. Izadi, O. Hilliges, D. Molyneaux, D. Kim, A. J. Davison, P. Kohi, J. Shotton, S. Hodges, およびA. Fitzgibbonによる「KinectFusion: Real-time dense surface mapping and tracking」, 10th IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pages 127-136, IEEE, 2012に報告されているさらなる例として、ステレオデプスカメラを用いた、人、家具、オブジェクトを含む空間のリアルタイム３Ｄ再構成が、S. Orts-Escolanoらの「Holoportation.Virtual 3D Teleportation in Real-time」、Proceedings of the 29th Annual Symposium on User Interface Software and Technology (UIST '16), pages 741-754, ACM, 2016に説明されている。
【００２４】
映像はその後、コンピュータグラフィックス分野で知られているように、例えば点群によって表される３Ｄモデルから生成されうる。これは、例えば、２Ｄ／３Ｄ画像および点群処理のためのフレームワークであるPoint Cloud Library (PCL)(http://pointclouds.org/）、２Ｄおよび３ＤベクタグラフィックスをレンダリングするためのライブラリであるOpen Graphics Library (OpenGL) (https://www.opengl.org/）、または２Ｄおよび３Ｄ映像をレンダリングするためのゲームエンジンであるUnity 3D（https://unity3d.com/）のような、容易に入手可能なソフトウェアを用いて実現されてもよい。
【００２５】
ＨＭＤ１００はさらに、カメラ１０１の動きを推定するように動作する。例えば、ＨＭＤ１００は、加速度計、ジャイロスコープ、地磁気計、全地球測位システム（ＧＰＳ）センサなど、ＨＭＤ１００の動きを感知するように構成された少なくとも１つの動きセンサ１０４をさらに備えてもよい。ＨＭＤ１００は、１つ以上の動きセンサ１０４から受信した測定データおよび／または信号を分析することにより感知されたＨＭＤ１００の動きと、ＨＭＤ１００の配置、特にはカメラ１０１と１つ以上の動きセンサ１０４との間の距離とに基づいて、カメラ１０１の動きを推定するように動作する。より具体的には、ＨＭＤ１００は、ＨＭＤ１００を装着しているユーザ１５１の頭部の動きによって生じるカメラ１０１の回転運動、傾斜運動、並進運動のうち少なくとも１つを推定するように動作してもよい。
【００２６】
代替構成として、ＨＭＤ１００は、カメラ１０１によって撮影された映像の続くフレームを分析することに基づいて、カメラ１０１の動きを推定するように動作してもよい。これは、例えば、映像の符号化／圧縮から知られている（グローバルな）動き推定によって実現することができる。動き推定は、ある画像から別の画像への変化、通常はカメラ１０１で撮影された映像のような映像シーケンスの隣接フレーム間での変化を表す動きベクトルを求める処理である。これは、例えば、当技術分野で知られているように、映像フレームシーケンスで合致するマクロブロックを見つけるためのブロックマッチングアルゴリズムを用いることによって実現することができる。
【００２７】
ＨＭＤ１００はさらに、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たすか否かを判定し、満たす場合には、生成された映像、すなわち、第１の視野１１１よりも広い第２の視野を用いて３Ｄモデルから生成された映像を、受信表示装置１４０にストリーミングするように動作する。ＨＭＤ１００はさらに、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たさない場合には、撮影された映像、すなわち第１の視野１１１を用いてカメラ１０１で撮影された映像を、受信表示装置１４０にストリーミングするように動作する。急な動きを示す１つ以上の条件は、好ましくは、撮影された映像の視聴者が映像酔いを起こす可能性が高い動きのパターン(motion regime)を示すものである。
【００２８】
１つ以上の条件は、例えば、並進速度または速度、並進加速度、回転速度または速度、および回転加速度のうちの任意の１つまたは組み合わせについての閾値であってよい。この点において、ＨＭＤ１００は、カメラ１０１の推定された動きを１つ以上の閾値と比較することにより、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たすかどうかを判定するように動作してもよい。例えば、ＨＭＤ１００は、推定された動きが１つ以上の閾値を超えた場合に、カメラ１０１の推定された動きが急な動きを示す１以上の条件を満たすと判定するように動作してもよい。これは、例えば、ＨＭＤ１００を装着したユーザ１５１が、並進（前後左右移動）、回転（左右回転）、または傾動（前後左右）により、頭を急に動かした場合に該当しうる。
【００２９】
一例として、ＨＭＤ１００は、所定の期間、例えば数分の１秒から数秒までの期間にわたり、カメラ１０１の推定された動きをいくつか平均し、場合によって重み付けすることにより、カメラ１０１の動きを追跡し続けるように動作してもよい。好ましくは、カメラ１０１の推定された動きの平均Ｖａｖｅの現在値は、例えば、カメラ１０１によって撮影された映像フレームごとに、すなわち撮影された映像のフレームレートで、定期的に計算される。あるいは、カメラ１０１の推定された動きの平均の現在値は、ｎ番目のフレームごとに（すなわち、フレームレートの１／ｎで）計算されてもよく、ここで、ｎは正の整数である。例えば、現在の時刻ｔ０において、カメラ１０１の推定された動きの平均値の現在の値は以下の様に計算されうる。
【数１】
2021520668.tif 000003
ここで、Ｖ（ｔ）は時刻ｔにおけるカメラ１０１の推定された動きであり、重み関数ｗ（ｔ）は以下の様に選択される。
【数２】
2021520668.tif 000004
【００３０】
この特定例において、カメラ１０１の推定された動きＶ（ｔ）は、並進速度または回転速度成分、並進速度または回転速度の絶対値、またはそれらの組み合わせなど、任意の速度成分であってよい。
【００３１】
１つ以上の閾値は、例えば、ＨＭＤ１００の製造者であり、リモートコラボレーションに用いられる、処理手段１０３が実行可能なソフトウェアの提供者によって、あるいはユーザ１５１によって設定されてもよい。閾値は、絶対値もしくは相対値で表現されてよい。上記の例に関して、急な動きを示す条件は、例えば、カメラ１０１の推定された動きの現在の値Ｖ（ｔ０）が、カメラ１０１の推定された動きの現在の平均値Ｖａｖｅ（ｔ０）を所定量超えた場合、すなわち、
【数３】
2021520668.tif 000005
であれば、満たされていると見なすことができる。
【００３２】
ここで、ａ＞１である。例えば、ａ＝１．５の場合、カメラ１０１の推定された動きの現在の値が、カメラ１０１の動きの現在の平均値を少なくとも５０％上回っていれば、急激な動きを示す条件が満たされる。
【００３３】
場合によっては、１つ以上の閾値は、通常の動作中に学習され、調整されてもよい。例えば、受信表示装置１４０は、視聴者１５２がＶＩＭＳを起こしているかどうかを検出し、それを受けてＨＭＤ１００に通知するように動作してもよい。これに対応してＨＭＤ１００は、そのような通知を受信すると、並進／回転・速度／速度／加速度など、ＶＩＭＳを生じさせた推定された動きを記録するように動作してもよい。このような記録された推定動き値に基づいて、ＨＭＤ１００は、視聴者１５２がＶＩＭＳを起こすリスクを最小化するように選択される、１つ以上の閾値を決定するように動作してもよい。例えば、記録された推定動き値に基づいて、閾値を、映像酔いを引き起こす記録された推定動き値の下限値、または下限値より少し低い値に設定することができる。
【００３４】
本発明の実施形態は、（ユーザ１５１が装着するＨＭＤ１００が備えるカメラ１０１のような）非静止カメラで撮影され、そこから受信する映像ストリームを視聴する（視聴者１５２のような）のリスクを低減するという点で有利である。これは、受信表示装置１４０に対して、ＨＭＤ１００が急速に動いていない場合、すなわち、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たさない場合にカメラ１０１によって撮影された映像をストリーミングすることと、ＨＭＤ１００が急速に動いている場合に、カメラ１０１の第１の視野よりも広い第２の視野を用いて現実世界のシーンの３次元モデルから生成された映像をストリーミングすることとを切り替えることによって実現される。カメラ１０１の第１の視野１１１から、生成された映像の、より広い第２の視野にズームアウトすることにより、図１に示されたドア１２２のような現実世界シーンの新たな参照点(reference points)が、視聴者１５２に表示されるストリーミングされた（生成された）映像で視認可能になる。したがって、視聴者１５２が映像酔いを起こすリスクは低減もしくは緩和される。
【００３５】
場合によっては、ＨＭＤ１００は、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たす場合にのみ、現実世界のシーンの３Ｄモデルを生成するように動作してもよい。これにより、撮影された映像から３Ｄモデルを生成するために必要な処理量、および／または追加のカメラおよび／または深度センサから受信するデータが削減され、ＨＭＤ１００の電池寿命が延長されるという利点がある。
【００３６】
場合によっては、ＨＭＤ１００は、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たす場合にのみ、第１の視野よりも広い第２の視野を用いて３Ｄモデルから映像を生成するように動作してもよい。これにより、３Ｄモデルから映像を生成するために必要な処理量が削減され、ＨＭＤ１００の電池寿命が延長されるという利点がある。
【００３７】
本発明の実施形態にしたがって、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たすかどうかに応じて、ＨＭＤ１００による映像表現を撮影された映像と生成された映像との間で切り替えることについて、図２にさらに示す。より具体的には、図２Ａは、図１に図示したようにＨＭＤ１００を装着したユーザ１５１が無線基地局キャビネット１２１を向いている場合に、カメラ１０１によって撮影された映像レーム２１０の例を示しており、撮影された映像フレーム２１０が受信表示装置１４０に表示されている。 
【００３８】
図２Ｂには、ユーザ１５１が観察している現実世界のシーンの３Ｄモデルから生成されている映像フレーム２２０が例示されている。図２Ｂに示されたフレーム２２０は現実世界のシーンの３Ｄモデルから生成されており、図２Ａに示されるカメラ１０１で撮影されたフレームよりも典型的には詳細度が低いことが分かる。特に、細部、表面テクスチャなどに関しての詳細レベルは、典型的には、３Ｄモデルから映像を生成するために利用可能な処理リソースに依存する。フレーム２２０は、撮影されたフレーム２１０と実質的に同じ視野、すなわちカメラ１０１の第１の視野１１１を用いて生成されていることに留意されたい。これに対して、図２Ｃは、フレーム２１０を撮影するために用いられるカメラ１０１の第１の視野１１１よりも広い視野を有する現実世界のシーンの３次元モデルから生成されているフレーム２３０を示している。すなわち、フレーム２３０は、現実世界のシーンの３Ｄモデルから生成された、ＨＭＤ１００を装着したユーザ１５１の目の前にある現実世界のシーンをズームアウトした眺めを提供する。好都合なことに、フレーム２２０と比較して、フレーム２３０のズームアウトされた眺めは、現実世界のシーンにおける追加の基準点、すなわちドア１２２を含んでいる。この追加の基準点のおかげで、遠隔視聴者１５２が映像酔いを起こすリスクは低減されるか、緩和される。
【００３９】
さらに図１に関して、ＨＭＤ１００は、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たし、第１の視野１１１が人間の視野を代表する閾値よりも狭い場合に、生成された映像を受信表示装置１４０にストリーミングするように動作してもよい。そうでなければ、ＨＭＤ１００は、撮影された映像を受信表示装置１４０にストリーミングするように動作する。なお、人間の視野を代表する閾値は、例えば、ＨＭＤ１００の製造者であり、リモートコラボレーションに使用される、処理手段１０３によって実行されるソフトウェアの提供者によって、またはユーザ１５１によって設定されてよく、人間の視野に関する汎用的な値を表すものであってもよいし、視聴者１５２の視野を表す特定の値であってもよい。
【００４０】
ＨＭＤ１００は、第１の視野１１１とカメラ１０１の推定された動きとに基づいて第２の視野を決定するようにさらに動作してもよい。例えば、第２の視野は、生成された映像に少なくとも１つの追加の基準点が視認できるように選択されうる。追加の基準点の存在、および追加の基準点のカメラ１０１の現在の第１の視野１１１における個々の位置は、現実世界のシーンの生成された３Ｄモデルおよびカメラ１０１の推定された動きに基づいて決定されてもよい。後者は、生成された映像で現実世界のシーンの基準点を見えるようにするために、視野をどの程度まで広げる必要があるかを決定するために用いられうる。これは特に、カメラ１０１の動きとそれに伴う第１の視野１１１の動きによって、生成された映像で見えるようになりそうな基準点について当てはまる。受信表示装置１４０にストリーミングされる生成された映像に追加の基準点が存在することにより、視聴者１５２が映像酔いを起こすリスクが低減される。あるいは、第２の視野は、ＨＭＤ１００の製造者であり、リモートコラボレーションに使用され、処理手段１０３によって実行されるソフトウェアの提供者によって、ユーザ１５１によって、または視聴者１５２によって事前に設定されうる。例えば、受信表示装置１４０は、受信表示装置１４０で設定を変更することによって視聴者１５２が第２の視野を調整することを可能にするように動作してもよく、その設定は、ＨＭＤ１００に通知される。
【００４１】
ＨＭＤ１００は、生成された映像を受信表示装置１４０にストリーミングすることに続き、生成された映像を所定期間ストリーミングしたこと、カメラ１０１の推定された動きが安定した動きを示す１つ以上の条件を満たしていると判定したことの少なくとも一方に応答して、撮影された映像を受信表示装置１４０にストリーミングするようにさらに動作してもよい。すなわち、ＨＭＤ１００は、例えば、カメラ１０１の推定された動きが、例えば５秒といった所定期間の間、急な動きを示す１つ以上の条件を満たした場合に、撮影された映像のストリーミングに復帰するように動作する。この期間は、視聴者１５２の脳が、例えば、ズームアウトされた生成された映像で視認できる追加基準点によって、急な動きに適応することができるように選択される。ＨＭＤ１００は、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たすかどうかを決定することに関連して本明細書で先に説明したことと同様に、１つ以上の閾値に基づいて、カメラ１０１の推定された動きが安定した動きを示す１つ以上の条件を満たすことを判定するように動作してもよい。例えば、急な動きを示す１つ以上の条件が、ＨＭＤ１００またはカメラ１０１の並進または回転のいずれかについて測定された加速度に関する閾値を超えることとして表わされる場合、安定した動きを示す１つ以上の条件は、カメラ１０１の推定された動きが、測定された加速度の閾値を超えないこと、すなわち、対応する閾値よりも小さいことであると表されてよい。急な動きを検出するための１以上の閾値のセットおよび安定した動きを検出するための１以上の閾値のセットのそれぞれは同一であってもなくてもよい。ヒステリシス効果を与え、撮影された映像のストリーミングと、ズームアウトされた生成された映像のストリーミングとが高速で交互に切り替わることを防ぐために、異なる値を用いることが有利である。代替的に、ＨＭＤ１００がズームアウトされた生成された映像のストリーミングに切り替わる（または逆の切り替わり）前に、撮影された映像が所定期間ストリーミングされることを確実にするためにタイマを用いることができる。
【００４２】
本発明の実施形態を主にＨＭＤ１００に関して説明してきたが、本発明の実施形態はＨＭＤ以外のカメラ装置に基づくものであってもよいことが理解されよう。例えば、本発明の実施形態は、ユーザ１５１が手で持ったり、ユーザ１５１の身体に装着できたりすることができる、携帯電話、スマートフォン、タブレット、デジタルカメラなどで実施されてもよい。一例として、本発明の実施形態は、ユーザ１５１の頭部もしくはユーザ１５１が着用するヘルメットに装着されるヘッドマウントカメラ、例えばGoProカメラで実施されうる。
【００４３】
以下、図３及び図４を参照して、ＨＭＤ１００のようなＨＭＤの実施形態に含まれる処理手段１０３の実施形態について説明する。
【００４４】
図３に、処理手段１０３の第１実施形態３００を示す。処理手段３００は、汎用プロセッサなどの処理ユニット３０２と、ＲＡＭ（Random-Access Memory）やフラッシュメモリなどのコンピュータ読み取り可能な記憶媒体３０３とを有する。さらに、処理手段３００は、カメラ１０１、ネットワークインタフェース回路１０２、１つ以上のモーションセンサ１０４など、ＨＭＤが備える他の構成要素を制御する、および／またはそれら構成要素から情報を受信するための１つ以上のインタフェース３０１（図３では「Ｉ／Ｏ」）を有する。メモリ３０３は、コンピュータが実行可能な命令３０４、すなわちコンピュータプログラムまたはソフトウェアを有する。コンピュータ実行可能な命令３０４は、処理ユニット３０２で実行されたときに、ＨＭＤが本明細書に記載された本発明の実施形態にしたがって機能するように動作させる。
【００４５】
処理手段１０３の代替的な実施形態４００を図４に示す。処理手段３００と同様に、処理手段４００は、カメラ１０１、ネットワークインタフェース回路１０２、および１つ以上のモーションセンサ１０４などのＨＭＤが備える他の構成要素を制御する、および／またはそれら構成要素から情報を受信するための１つ以上のインタフェース４０１（図４では「Ｉ／Ｏ」）を有する。処理手段４００はさらに、モデルモジュール４０２、映像モジュール４０３、動きモジュール４０４、およびストリーミングモジュール４０５を有し、これらは、本明細書に記載されているような本発明の実施形態にしたがってＨＭＤを機能させるように構成されている。
【００４６】
特に、モデルモジュール４０２は、現実世界のシーンの３Ｄモデルを生成するように構成され、映像モジュール４０３は、第１の視野１１１よりも広い第２の視野を用いて、３Ｄモデルから映像を生成するように構成されている。動きモジュール４０４は、カメラ１０１の動きを推定するように構成されている。ストリーミングモジュール４０５は、カメラの推定された動きが急な動きを示す１つ以上の条件を満たしている場合には、生成された映像を受信表示装置１４０にストリーミングし、そうでない場合には、撮影された映像を受信表示装置１４０にストリーミングするように構成されている。急な動きを示す１つ以上の条件は、好ましくは、撮影された映像の視聴者が映像酔いを起こす動きのパターン(motion regime)を示すものである。
【００４７】
場合によっては、ストリーミングモジュール４０５は、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たし、第１の視野１１１が人間の視野を代表する閾値よりも小さい場合に、生成された映像を受信表示装置１４０にストリーミングし、そうでなければ、撮影された映像を受信表示装置１４０にストリーミングするように構成されてもよい。
【００４８】
場合によっては、動きモジュール４０４は、ＨＭＤ１００の感知された動きに基づいてカメラ１０１の動きを推定するように構成されてもよい。代わりに、動きモジュール４０４は、撮影された映像の続くフレームを分析することに基づいて、カメラ１０１の動きを推定するように構成されてもよい。
【００４９】
場合によっては、映像モジュール４０３は、第１の視野１１１とカメラ１０１の推定された動きとに基づいて第２の視野を決定するように構成されてもよい。
【００５０】
場合によっては、ストリーミングモジュール４０５は、生成された映像を受信表示装置１４０にストリーミングすることに続いて、生成された映像を所定期間ストリーミングしたことと、カメラ１０１の推定された動きが安定した動きを示す１つ以上の条件を満たすと判定されたことの少なくとも１つに応答して、撮影された映像を受信表示装置１４０にストリーミングするようにさらに構成されてもよい。
【００５１】
処理手段４００が有するモジュール４０２〜４０５は、本明細書に記載されているように、本発明の実施形態に従って追加的または代替的な動作を実行するようにさらに構成されてもよい。
【００５２】
インタフェース３０１および４０１、モジュール４０２〜４０５、ならびに処理手段４００が有する任意の追加モジュールは、任意の種類の電子回路によって、例えば、アナログ電子回路、デジタル電子回路、および適切なコンピュータプログラム、すなわちソフトウェアを実行する処理手段のいずれか１つまたは組み合わせによって実施することができる。
【００５３】
以下、図５を参照して、ＨＭＤ１００のようなＨＭＤによって実行される方法の実施形態５００を説明する。 
【００５４】
方法５００は、ＨＭＤ１００が備えるカメラ１０１を用いて、第１の視野の現実世界のシーンの映像を撮影すること５０１と、現実世界のシーンの３Ｄモデルを生成すること５０３／５１３と、第１の視野１１１よりも広い第２の視野を用いて、３Ｄモデルから映像を生成すること５０４／５１４とを有する。方法５００はさらに、カメラ１０１の動きを推定すること５０５と、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たす５０６場合には、生成された映像をＨＭＤ１００が備えるネットワークインタフェース回路１０２を用いて受信表示装置１４０にストリーミングすること５１５と、そうでない場合には、撮影された映像をネットワークインタフェース回路１０２を用いて受信表示装置１４０にストリーミングすること５２５とを有する。急な動きを示す１つ以上の条件は、好ましくは、撮影された映像の視聴者が映像酔いを起こす動きのパターン(motion regime)を示すものである。
【００５５】
場合により、カメラ１０１の５０５で推定された動きが急な動きを示す１つ以上の条件を満たし５０６、かつ第１の視野１１１が人間の視野を代表する閾値よりも小さい場合には５０４で生成された映像が受信表示装置１４０にストリーミング５１５され、そうでない場合には撮影された映像が受信表示装置１４０にストリーミング５２５される。
【００５６】
場合により、カメラ１０１の動きは、ＨＭＤ１００が備える少なくとも１つの動きセンサ１０４を用いて感知されたＨＭＤ１００の動きに基づいて推定５０５される。あるいは、カメラ１０１の動きは、５０１で撮影された映像の続くフレームを分析することに基づいて推定５０５される。
【００５７】
場合により、方法５００は、第１の視野１１１とカメラ１０１の５０５で推定された動きとに基づいて、第２の視野を決定すること５１２をさらに有してもよい。
【００５８】
場合により、方法５００は、生成された映像を受信表示装置１４０にストリーミングすること５１５に続いて、生成された映像を所定期間ストリーミングしたこと５１６と、カメラの推定された動きが安定した動きを示す１つ以上の条件を満たすと判定されたこと５１７との少なくとも１つに応答して、撮影された映像を受信表示装置１４０にストリーミングすること５２５をさらに有する。
【００５９】
方法５００は、本開示全体を通して記載されている内容にしたがって、追加の、または修正されたステップを有しうることが理解されよう。方法５００の実施形態は、ＨＭＤが備える処理ユニットによって実行されるコンピュータプログラム３０４のようなソフトウェアとして実施することができ、それによってＨＭＤは、本明細書に記載された本発明の実施形態にしたがって機能するように動作するようになる。
【００６０】
本技術分野に属する当業者は、本発明が上述の実施形態に決して限定されるものではないことを認識する。むしろ、添付の特許請求の範囲の範囲内で多くの修正や変形が可能である。
【図１】
2021520668.tif 000006
【図２Ａ】
2021520668.tif 000007
【図２Ｂ】
2021520668.tif 000008
【図２Ｃ】
2021520668.tif 000009
【図３】
2021520668.tif 000010
【図４】
2021520668.tif 000011
【図５】
2021520668.tif 000012
【国際調査報告】
2021520668.tif 000013
2021520668.tif 000014
2021520668.tif 000015