(57)【要約】【解決手段】ヘッドマウントディスプレイデバイスにおいてユーザに表示する画像を生成するための画像処理システムは、１以上の音声に関する音声情報を受信するように構成された音声入力部と、１以上の音声に関する音声情報を分析するように構成されたオーディオ処理部と、分析された音声情報の特性を示す１以上の画像要素を生成するように構成された画像生成部と、ヘッドマウントディスプレイデバイスのユーザに表示する表示画像を出力するように構成された画像出力部とを含み、表示画像は生成された画像要素を画像オーバレイとして含み、１以上の生成された画像要素は、１以上の音声の音源の方向を示す。【選択図】図８
2020501275.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイデバイスにおいてユーザに表示する画像を生成するための画像処理システムであって、
１以上の音声に関する音声情報を受信するように構成された音声入力部と、
前記１以上の音声に関する前記音声情報を分析するように構成されたオーディオ処理部と、
分析された音声情報の特性を示す１以上の画像要素を生成するように構成された画像生成部と、
ヘッドマウントディスプレイデバイスのユーザに表示する表示画像を出力するように構成された画像出力部とを含み、前記表示画像は前記生成された画像要素を画像オーバレイとして含み、
前記１以上の生成された画像要素は、前記１以上の音声の音源の方向を示す、画像処理システム。
【請求項２】
前記方向は、前記ヘッドマウントディスプレイデバイスの現在の向きに対する相対的なものである、請求項１の画像処理システム。
【請求項３】
前記１以上の生成された画像要素は、前記１以上の音声の音量を示す、請求項１の画像処理システム。
【請求項４】
前記１以上の生成された画像要素は、音声の種類の分類を示す、請求項１の画像処理システム。
【請求項５】
前記生成された画像要素は、前記１以上の音声の特性を示すために当該様子の特定の色、表示位置、強度、形、またはサイズの１以上を用いて生成される、請求項１の画像処理システム。
【請求項６】
前記１以上の音声の音源の方向が前記ユーザの視野内にない場合、画像要素が当該対応する方向において前記視野の端に表示される、請求項１の画像処理システム。
【請求項７】
前記生成された画像要素は、前記１以上の音声の音源を特定する、請求項１の画像処理システム。
【請求項８】
前記生成された画像要素は、前記ユーザに表示される前記画像内で識別されるように前記音源の外側のエッジのうちの１以上を強調するものである、請求項７の画像処理システム。
【請求項９】
前記音声入力部は、デバイスの音声出力を示す音声情報を前記デバイスから受信するように構成され、画像要素はこのデータに応答して生成される、請求項１の画像処理システム。
【請求項１０】
受信されたデータは前記デバイスの位置情報も含む、請求項９の画像処理システム。
【請求項１１】
前記音声情報は、マイクロホンによってキャプチャされた音声を含む、請求項１の画像処理システム。
【請求項１２】
請求項１から１１のいずれかの画像処理システムと、
前記画像処理システムによって生成されたオーバレイ画像に加えてプライマリ画像を表示するように動作可能なヘッドマウントディスプレイとを含む、
ヘッドマウントディスプレイシステム
【請求項１３】
ヘッドマウントディスプレイデバイスにおいてユーザに表示する画像を生成するための画像処理方法であって、
１以上の音声に関する音声情報を受信するステップと、
前記１以上の音声に関する前記音声情報を分析するステップと、
分析された音声情報の特性を示す１以上の画像要素を生成するステップと、
ヘッドマウントディスプレイデバイスのユーザに表示する表示画像を出力するステップとを含み、前記表示画像は前記生成された画像要素を画像オーバレイとして含み、
前記１以上の生成された画像要素は、前記１以上の音声の音源の方向を示す、画像処理方法。
【請求項１４】
コンピュータによって実行されたとき、コンピュータに請求項１３の方法を実行させる、コンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムを格納する非一時的で機械読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システムおよび方法に関する。
【背景技術】
【０００２】
ヘッドマウントディスプレイ（ＨＭＤ）では、頭部に着用するかまたはヘルメットの一部として着用することができる画像またはビデオディスプレイデバイスが提供される。片目または両目のいずれかに小型の電子ディスプレイデバイスが設けられる。
表示された画像を現実世界のビューに重ね合わせることが可能なＨＭＤがある。この種のＨＭＤは、光学シースルーＨＭＤと呼ぶことができ、一般に、ディスプレイデバイスをユーザの目の真正面以外のどこかに配置することを必要とする。そしてユーザが見ることができるように表示画像を偏向させる何らかの方法が必要になる。これは、ユーザが鏡を通して見ることができるようにするだけでなく、ディスプレイデバイスの出力の反射を見ることもできるように、ユーザの目の前に配置された部分反射鏡を使用することによって可能である。ＥＰ−Ａ−１７３１９４３およびＵＳ−Ａ−２０１０／０１５７４３３に開示されている別の構成では、全反射を利用する導波路構成を使用して、表示画像をユーザの頭の側面に配置されたディスプレイデバイスから伝達する。それにより、ユーザは表示画像を見ることができるが、それでもなお導波路を通して現実世界のビューを見ることができる。ここでもやはり、これらの種類の構成のいずれにおいても、リラックスした視聴を可能にするために適切なサイズおよび距離でユーザが虚像を見られるように、ディスプレイの虚像が（既知の技法を使用して）作成される。例えば、物理的なディスプレイデバイスが非常に小さく（例えば、１０ｍｍ×１０ｍｍ）、ユーザの目からほんの数ミリメートル離れていても、（例えば）ユーザから２０ｍの距離で５ｍ×５ｍの知覚サイズを有するものとしてユーザに知覚されるように、虚像を構成してもよい。
【０００３】
しかしながら、他のＨＭＤは、ユーザが表示画像を見ることのみを可能にし、それはＨＭＤがユーザを取り巻く現実世界の環境を見えなくするということである。このタイプのＨＭＤでは、ユーザがリラックスした方法で焦点を合わせられるように、仮想表示画像を適切な距離で−たとえば、上述の光学シースルーＨＭＤと同様の仮想距離および知覚サイズで−配置する適切なレンズまたは他の光学部品と関連づけて、実際のディスプレイデバイスをユーザの目の前に配置することができる。このタイプのデバイスは、映画または同様の記録されたコンテンツを視聴するために、あるいはユーザを取り囲む仮想空間を表現するいわゆる仮想現実コンテンツを視聴するために使用してもよい。しかしながら、もちろん、例えば前向きカメラを使用してディスプレイデバイス上に表示するための画像を生成することによって、このタイプのＨＭＤ上に現実世界のビューを表示することも可能である。
【０００４】
ＨＭＤの当初の開発はおそらくこれらのデバイスの軍用および専門的用途によって推進されたが、ＨＭＤは、例えばコンピュータゲームまたは家庭用コンピュータ用途において、カジュアルユーザによる使用のためにより一般的になりつつある。そのような構成において、コンテンツを見るときにＨＭＤのユーザによって経験される没入のレベルに外部の音が与える影響を軽減することに加えて、音源としてヘッドホンを提供することが好ましい。
【０００５】
しかしながら、外部の音をユーザが気づくのが難しいか、単にユーザに聞こえない（又はユーザが難聴である場合）構成を提供することによって、問題が生じる可能性がある。例えば、ＨＭＤが屋外で使用され、車両がユーザの視野内にいない場合、ドアベルは聞こえなかったり、接近する車両が検出されないことがある。
【発明の概要】
【０００６】
本開示の様々な態様および特徴は、添付の特許請求の範囲および添付の説明の本文内に定義されており、少なくともディスプレイなどのヘッドマウント可能装置およびヘッドマウント可能装置の操作方法、ならびにコンピュータプログラムを含む。
【図面の簡単な説明】
【０００７】
本開示の実施の形態は、添付の図面を参照して説明される。
【０００８】
【図１】ユーザによって装着されたＨＭＤを概略的に示す図である。
【図２】ＨＭＤの概略平面図である。
【図３】ＨＭＤによる虚像の形成を概略的に示す図である。
【図４】ＨＭＤで使用するための他の種類のディスプレイを概略的に示す図である。
【図５】一対の立体画像を概略的に示す図である。
【図６】ＨＭＤのユーザの視野の変化を概略的に示す図である。
【図７】多数の音源を含む環境を概略的に示す図である。
【図８】ＨＭＤの表示画像を概略的に示す図である。
【図９】ヘッドマウントディスプレイシステムを概略的に示す図である。
【図１０】画像処理方法を概略的に示す図である。
【発明を実施するための形態】
【０００９】
本開示の実施の形態は、ユーザによって聞こえないかもしれない音が視覚的に表される構成を提供することができる。そのような構成は、音情報を受信し、音情報を分析して音源の方向を検出するように動作可能である。次に、少なくともＨＭＤユーザに対する音源の方向を示す画像要素が生成され表示される。したがって、本開示の実施の形態は、視覚的に外部の音を伝達することによって、ＨＭＤの使用時にユーザが外部の音を明確に識別することができないという問題を軽減することができる。
【００１０】
ここで図１を参照すると、ユーザ１０はユーザの頭部３０にＨＭＤ２０を装着している。ＨＭＤは、この例では後部ストラップおよび上部ストラップから形成されたフレーム４０と、ディスプレイ部分５０とを備える。
【００１１】
図１のＨＭＤは、完全に周囲の環境がユーザの視界に入らないようにする。ユーザが見ることができるのは、ＨＭＤ内に表示された一対の画像だけである。
【００１２】
ＨＭＤには、ユーザの左右の耳７０にはまるヘッドホンイヤホン６０が関連付けられている。イヤホン６０は、外部ソースから提供されるオーディオ信号を再生する。この外部ソースはユーザの目に表示するためのビデオ信号を提供するビデオ信号ソースと同じであってもよい。ＨＭＤはまたマイクロホン９０を含み、これは、ある実施の形態では指向性マイクロホンまたはキャプチャされた音源の方向を検出するためのマイクロホンアレイであってもよい。
【００１３】
動作中、ビデオ信号はＨＭＤによる表示のために提供される。これは、ビデオゲーム機または（パーソナルコンピュータなどの）データ処理装置などの外部ビデオ信号源８０によって提供することができ、その場合、信号は、有線または無線接続によってＨＭＤに送信することができる。適切な無線接続の例は、ブルートゥース（登録商標）接続を含む。イヤホン６０のためのオーディオ信号は、同じ接続によって搬送することができる。同様に、ＨＭＤからビデオ（オーディオ）信号源に渡される任意の制御信号は、同じ接続によって搬送されてもよい。
【００１４】
したがって、図１の構成は、観察者の頭部に装着され、片目または両目の表示位置を画定し、使用時には観察者のそれぞれの目の前に配置されるフレームと、それぞれの目の表示位置に対して搭載され、ビデオ信号源から観察者の目へのビデオ信号のビデオ表示の虚像を提供するディスプレイ要素とを備えるヘッドマウントディスプレイシステムの例を提供する。
【００１５】
図１は、ＨＭＤの一例を示す。他のフォーマットも可能である。例えば、ＨＭＤは、従来の眼鏡に関連したものにより類似したフレーム、すなわち表示部分からユーザの耳の後部の上部へと延びて、おそらく耳の後ろで丸くなっている実質的に水平な脚を使用することができる。他の例では、外部環境に対するユーザのビューは、実際には完全には遮られていなくてもよく、表示された画像は、（ユーザの観点から）外部環境に重ね合わせるように配置することができる。そのような構成の一例を、図４を参照して以下に説明する。
【００１６】
図１の例では、各ユーザの目に対して別々のそれぞれの表示が提供されている。これがどのように達成されるかについて概略平面図が図２として提供され、これはユーザの目の位置１００およびユーザの鼻の相対位置１１０を示す。ディスプレイ部分５０は、概略的には、ユーザの目から周辺光を遮蔽するための外部シールド１２０と、一方の目が他方の目用のディスプレイを見るのを防ぐ内部シールド１３０とを含む。ユーザの顔、外部シールド１２０、および内部シールド１３０の組み合わせは、各眼に１つずつ、２つの区画１４０を形成する。各区画には、ディスプレイ要素１５０と１つ以上の光学要素１６０が設けられている。ディスプレイ要素と光学要素とが協働してユーザに表示を提供する方法について、図３を参照しながら説明する。
【００１７】
図３を参照すると、ディスプレイ要素１５０は、（この例では）光学要素１６０（凸レンズとして概略的に示されているが複合レンズまたは他の要素を含み得る）によって屈折された表示画像を生成して虚像１７０を生成する。この虚像は、ディスプレイ要素１５０によって生成された実際の画像よりも大きくかつかなり離れているようにユーザに見える。一例として、虚像は、１ｍを超える見かけの画像サイズ（画像の対角線）を有し、ユーザの目から（またはＨＭＤのフレームから）１ｍを超える距離に配置されてもよい。一般論として、ＨＭＤの目的に応じて、虚像をユーザからかなりの距離を置いて配置することが望ましい。例えば、ＨＭＤが映画などを視聴するためのものである場合、そのような視聴中にユーザは目をリラックスさせることが望ましく、それは少なくとも数メートルの（虚像までの）距離を必要とする。図３では、（線１８０などの）実線は実光線を示すのに使用され、（線１９０などの）破線は仮想光線を示すのに使用される。
【００１８】
別の構成が図４に示されている。この構成は、外部環境に対するユーザの視界が完全には遮られていないことが望まれる場合に使用することができる。しかしながら、それはまた、ユーザの外界の視界が完全に遮られているＨＭＤにも適用可能である。図４の構成では、ディスプレイ要素１５０と光学要素２００は協働して鏡２１０に投影される像を提供し、鏡２１０はその像をユーザの目の位置２２０に向けて偏向させる。ユーザは、虚像がユーザの前にあり、ユーザから適切な距離にある位置２３０に位置していると知覚する。
【００１９】
ユーザの外界の視界が完全に遮られているＨＭＤの場合、ミラー２１０は実質的に１００％の反射ミラーとすることができる。その場合、図４の構成は、ディスプレイ要素および光学要素をユーザの頭の重心およびユーザの目の側部の近くに配置することができるという利点を有し、これにより、ユーザが着用するのにかさばらないＨＭＤを生成することができる。あるいは、ＨＭＤが外部環境のユーザの視界を完全に遮らないように設計されている場合、ミラー２１０が部分的に反射するようにして、ユーザが、ミラー２１０を介して、現実の外部環境に仮想画像を重畳させて、外部環境を見るようにすることができる。
【００２０】
ユーザの眼ごとに別々のディスプレイが設けられている場合、立体画像を表示することができる。左右の目に表示するための一対の立体画像の一例を図５に示す。これらの画像は、互いに対して横方向のずれを示し、画像特徴のずれは、画像をキャプチャしたカメラの（実際のまたはシミュレートされた）横方向の間隔、カメラの角度の収束、およびカメラ位置からの各画像特徴の（実際のまたはシミュレートされた）距離に依存する。
【００２１】
図５の横方向変位は、実際には反対方向にもなり得ることに留意されたい。すなわち、描かれる左目画像は実際には右目画像であり、描かれるような右目画像は実際には左目画像であり得る。これは、ある立体視ディスプレイは、ユーザが立体視ウインドウを通して向こうのシーンを見ているという考えをシミュレートするために、右目画像では右に、左目画像では左にオブジェクトを移動させる傾向があるからである。しかしながら、あるＨＭＤは、図５に示される配置を使用する。これは、ユーザが一対の双眼鏡を通してシーンを見ているという印象をユーザに与えるからである。これら２つの配置の間の選択はシステム設計者の裁量にある。
【００２２】
状況によっては、ＨＭＤは単に映画などを見るために使用してもよい。この場合、ユーザがユーザの頭部を例えば左右に回転させても、表示される画像の見かけ上の視点に変更は必要ない。しかしながら、バーチャルリアリティ（ＶＲ）または拡張現実（ＡＲ）システムに関連するもののような他の用途では、ユーザの視点は、ユーザが位置する現実空間または仮想空間に関して動きを追跡する必要がある。
【００２３】
この追跡は、ＨＭＤの動きを検出し、見かけの視点が動きを追跡するように表示画像の見かけの視点を変化させることによって実行される。
【００２４】
図６は、ＶＲまたはＡＲシステムにおけるユーザの頭の動きの影響を概略的に示す。
【００２５】
図６を参照すると、仮想環境は、ユーザの周りの（仮想）球状シェル２５０によって表される。この配置を二次元の紙の図面上に表現する必要があるため、シェルは、表示された虚像をユーザから分離するのと等価なユーザからの距離にある円の一部によって表される。ユーザは最初第１の位置２６０にあり、仮想環境の一部２７０に向いている。ユーザのＨＭＤのディスプレイ要素１５０に表示される画像に表されるのはこの部分２７０である。
【００２６】
次にユーザが自分の頭を新しい位置および／または向き２８０に移動させる状況を考える。仮想現実または拡張現実表示の正しい感覚を維持するために、仮想環境の表示された部分も移動し、その結果、移動の終わりに、新しい部分２９０がＨＭＤによって表示される。
【００２７】
したがって、この配置では、仮想環境内の見かけの視点は頭の動きと共に動く。例えば、図８に示すように頭部が右側に回転すると、見かけの視点もまたユーザの視点から右側に移動する。表示されたオブジェクト３００のような表示されたオブジェクトの観点から状況が考えられる場合、これは頭の動きと反対方向に事実上動くであろう。したがって、頭の動きが右向きである場合、見かけの視点は右に移動するが、仮想環境内で静止している表示オブジェクト３００などのオブジェクトは表示画像の左に向かって移動し、最終的に表示画像の左手側から消える。仮想環境の表示された部分が右側に移動したのに対して表示オブジェクト３００は仮想環境内で移動しなかったという単純な理由からである。同様の考慮が任意の動きの上下成分にも適用される。
【００２８】
図７は、ＨＭＤユーザの近くにいくつかの可能性のある音源位置がある環境の概略図である。この図は、ＨＭＤ使用者および使用者のすぐ周囲の概略平面図（上から見た図）である。
【００２９】
本開示の実施の形態では、ＨＭＤのユーザは、ヘッドホンを使用しているため、または難聴であるために、これらの音源からの音を聞くことが困難であると予想される。ユーザが外部の音を聞くことができないという予想は、ＨＭＤシステムによるデフォルトの仮定である可能性があり、したがって、ユーザが音源を識別するのを支援する処理は自動的に（またはおそらくヘッドホンがディスプレイと共に使用されるときのみ）実行されてもよい。あるいは、ユーザは、（例えば、システム設定または好みによって）彼らが聴覚的に困難であること、または外部の音が聞き取りにくくなるような方法でＨＭＤシステムを使用していることを示すことを要求されてもよい。
【００３０】
ＨＭＤ７０２を装着しているＨＭＤユーザ７００は、関連視野７１０を有する。ユーザが環境を見ることを可能にするＨＭＤ（シースルータイプのＨＭＤ、またはユーザにカメラによってキャプチャされた環境の画像を提示することを可能にするカメラを有するＨＭＤなど）の場合、この関連視野は、実際の視野であってもよい。あるいは、それは、ＨＭＤを使用していないと仮定した場合のユーザの予想された視野であってもよい。しかしながら、例では、これはＨＭＤ内のディスプレイ要素によって生成されたユーザの視野である。したがって、ユーザが頭を向けると、視野は頭の動きに追従する。すなわち、視野は常にユーザの頭の正面にあるが、頭はユーザの外部環境に対して様々な向きであってもよい。
【００３１】
使用されているＨＭＤに関連するテレビ７２０および娯楽デバイス７３０も示されている。テレビ７２０は、娯楽デバイス７３０用の二次ディスプレイデバイスとして使用されてもよく、（例えば、部屋の他の人々に無関係なコンテンツを提供するために）別個のディスプレイデバイスとして使用されてもよく、全く使用されなくてもよい。娯楽デバイス７３０は、ＨＭＤにコンテンツを提供するために使用されてもよく、その構成については後述する。ユーザが外部環境を見ることができないフルイマージョン（完全没入）ＨＭＤの場合、テレビはもちろんユーザには見えない。そのような例では、ユーザがＨＭＤのディスプレイ要素によって提示されるものを見るため、図７において、ユーザの視野がテレビを取り囲むように見えるという事実は、したがって、この特定の例では偶然かつ無関係である。
【００３２】
したがって、例では、ユーザの視野は、（光学シースルーＨＭＤによるか、ＨＭＤビューアに現実の環境の画像を提供するカメラを有するＨＭＤによるかにかかわらず）現実の環境の視野と見なしてもよく、または、ＨＭＤのディスプレイデバイスのユーザの内部ＨＭＤビューであってもよい。
【００３３】
第１の例示的な音源７４０は、ユーザ７００の現在の視野内に配置されている。第２の例示的な音源７５０および第３の例示的な音源７６０は、ユーザ７００の現在の視野の外側に配置されている。音源は図７では同時に存在するように示されているが、例示的な音源は可能な音源の例示的な位置を単に示しており、実際の状況では、ゼロ以上の任意の数の音源が存在し得る。例示的な実施の形態は、１つ以上の音源の存在を扱うことに関する。
【００３４】
これらの音源は、音を出力することができる任意のデバイス、例えばラジオまたは携帯電話などのデバイスであってもよく、あるいは話しているかまたは他の方法で騒音を発している人などの別の種類のアイテムであってもよい。音源として機能するデバイスのいずれも、ＨＭＤまたは娯楽デバイスのいずれか（または実際にはこれら両方）に関連付けられたマイクロホンによってそれらの音出力をキャプチャさせてもよく、あるいはそれらの音出力を、当該システムとは独立に当該システムとの通信を介して当該システムに通知してもよい。他のアイテムからの音はマイクロホンでキャプチャすることができる。
【００３５】
音声情報が（マイクロホンまたは通信を介して、例えば無線ローカルエリアネットワークを介して）受信されると、処理がＨＭＤおよび／または娯楽デバイスによって実行され、音声がユーザ７００の位置に対してどの方向から発せられたかを特定する。代替的にまたは追加的に、その方向は、ヘッドマウントディスプレイデバイスの現在の向きに対して決定されてもよい。
【００３６】
キャプチャされた音声入力の場合、音源の方向を複数の構成のうちのいずれかを使用して決定してもよい。ＨＭＤは、音源の方向を独立して検出するために指向性マイクロホンまたはマイクロホンアレイを備えてもよい。代替的に又は追加的に、娯楽デバイス７３０は指向性マイクロホン又はマイクロホンアレイを備えてもよく、またはＨＭＤ及び娯楽デバイスが、アレイを形成するかアレイの一部であるマイクロホンを有し、ＨＭＤ及び娯楽デバイスの各々がそのアレイのマイクを持つようにしてもよい。キャプチャされた音を比較することによって、音源の方向の検出を可能にしてもよい。娯楽デバイスに提供されるマイクロホンはまた、音源の方向をより正確に決定するためにＨＭＤに関連付けられたマイクロホンと一緒に使用することができる指向性マイクロホンまたはマイクロホンアレイであってもよい。
【００３７】
あるいは、音声情報をデバイスによって直接提供することができ、例えばラジオがその音声出力および／または場所をネットワーク接続を介して娯楽デバイス７３０に通信することができてもよい。この通信は、音量情報、ラジオの位置情報、およびラジオによって提供されているコンテンツに関する情報（例えば、それが音楽、ニュース、天気予報または緊急発表であるかどうか）を含んでもよい。位置情報が提供されない場合、それは代わりに、例えば娯楽デバイスによって記憶されたネットワーク化されたデバイスの地図から娯楽デバイスまたはＨＭＤによって導出されてもよい。この種の音源について位置情報が得られない場合には、デバイスの音声出力を利用してマイクロホンを用いて方向を決定するか、位置情報が得られない場合に使用されるデフォルトの画像要素表示があってもよい。
【００３８】
指示されたまたは検出された方向は、例えば、ヘッドマウントディスプレイデバイスの現在の向きに対するものであり得る。方向の検出がＨＭＤにおけるマイクロホンアレイまたは他の指向性音響検出器によるものである場合、ＨＭＤに対する音源の方向はそのような検出器によって直接得ることができる。検出が少なくとも部分的に娯楽デバイスおよび／またはマイクロホンアレイまたはＨＭＤの一部を形成していない（または一緒に動いていない）他の検出器によって行われる場合、ＨＭＤまたは娯楽デバイスは、例えば初期または較正位置および向きに対する、ＨＭＤに関連付けられた位置および／または向き検出を使用することによって、娯楽デバイスに対するＨＭＤの現在の相対位置および／または向きを検出することができる。
【００３９】
図８は、ＨＭＤディスプレイ８００によってＨＭＤユーザ７００に提示されてもよいビューを概略的に示す。したがって、ディスプレイ８００は、ＨＭＤを装着したときにユーザが電子的に提供された画像として見ることができるものを示す。ＨＭＤがシースルータイプのディスプレイであるか、または部屋のカメラビューがユーザに提示されているために、テレビ７２０および娯楽デバイスが画像に現れる。他の実施の形態では、上述のように、これは当てはまらず、代わりに仮想環境がユーザに表示される。
【００４０】
音源７４０はまた、音源７４０を囲む領域８１０によって強調されて、ディスプレイ８００内でユーザに見える。これは、ユーザに表示される画像内でそれを識別するために音源の外側のエッジのうちの１つまたは複数を強調する生成された画像要素の例である。
【００４１】
オブジェクトの強調表示は、それが環境内の音源であることを示す。仮想現実（ＶＲ）アプリケーションなどのいくつかの実施の形態では、オブジェクト自体は現在表示されていないため、強調表示のみがユーザに提示されてもよい。あるいは、またはさらに、オブジェクトは、仮想現実ＨＭＤ構成において、現在ユーザに表示されている仮想コンテンツ上のオーバレイとしてユーザに表示されてもよい。
【００４２】
あるいは、検出された音または音源を示すために、単純なアイコン（たとえば、オブジェクトを識別するために使用されてもよい感嘆符または他の記号／画像）などの画像要素が表示されてもよい。これは、音または音源の特性を示すために、および／または上述のように強調表示よりもユーザにとって美的に心地よくするために、より適切かもしれない。したがって、このような画像要素は、ディスプレイ上で音源の位置に配置されている場合、表示されている画像内の音源を識別するのに役立つことがある。これは、オブジェクトの１つ以上の外側のエッジを強調表示することに対して、音源を識別するための代替（または追加）の方法である。
【００４３】
生成された画像要素は、音の１つまたは複数の他の特徴を示すことに加えてまたはその代わりに、１つまたは複数の音源によって生成された１つまたは複数の音の音量を示してもよい。あるいは、またはさらに、生成された画像要素は、音の種類の分類を示してもよい（たとえば、音楽またはニュースアラートなどの音源の種類または音の種類によって、および／または人間の声、電子機器、警報などの音源の種類によって）。音量または音源の種類などの音の異なる特性を伝達するために画像要素の特性を変えてもよい。音源を示すために使用される強調表示の例示的な特性および上記のようなその特性は、色、強度およびサイズを含む。音源を示すために使用される画像要素の例示的な特性およびその特性は、色、強度、サイズ、形状、アニメーション（点滅効果または動きなど）、および表示位置を含む。
【００４４】
画像要素８２０は、特定の音源を直接識別するのではなく、音源の方向を示すように配置される。これは、１つまたは複数の音の音源の方向がユーザの視野内になく、その結果として画像要素が当該対応する方向において視野の端に表示されるシナリオの一例である。
【００４５】
この場合、画像要素８２０は図７の音源７５０に対応する。画像要素８２０は、音源７５０がユーザ７００の視野７１０の外側で、現在表示されている領域の右側にあることを示すように、ディスプレイ８００の最も右端に配置される。ユーザ７００が音源７５０を見るようになった場合、新しい表示画像において音源７５０であるとして特定のオブジェクトを識別するために上記のような画像要素が代わりに表示されてもよい。方向の表示を提供することによって、ユーザは直感的に、あたかもユーザがそれを聞いたかのように向きを変えて音源の方を見ることが可能である。
【００４６】
画像要素８３０は、図７の音源７６０のように音源が現在の視野の外側に存在することを示すという点で、画像要素８２０の機能と機能が類似している。画像要素８３０は、方向を示すために追加情報が提供されるという点で画像要素８２０と区別される。この例では、音源がユーザの視野より上にあることを示すのではなく、音源がユーザの真後ろにあることを示すために「６」が使用される（数字「６」は、時計の数字の位置に基づいて方向を示すという一般的な慣例に従って選択される）。例えば、適切な方向を向いている矢印、あるいは音または音源を説明する言葉などの他の表示を提供してもよい。
【００４７】
左右の表示は不適切であるため、これは音源がユーザのすぐ後ろにある場合に特に便利である。いくつかの実施の形態では、画像要素８３０のフォーマットの画像要素は、ユーザがその方向に向きを変えて見なくてもユーザに音源を識別させるのに十分であるから好ましい。例えば、ユーザが「２」および「４」の位置に音源を有する環境にいる場合、画像要素８３０は画像要素８２０よりも、ユーザが音源に向かって向きを変えて見ることなくそれらを区別するのにより有用であろう。
【００４８】
代わりに、画像要素８３０を方向の指示なしに使用することもできる。画像要素８３０は、ユーザに対して未確定の方向を有する音源を有する音に対応するデフォルト表示の一例であってもよい。あるいは、画像要素８３０は、キャプチャされた音の種類を単に示すことができる。たとえば、ドアベルが聞こえても、ドア自体の位置と一致しない場合は必ずしも音源を特定するのに役立つとは限らないため、無指向性の表示になることがある。
【００４９】
したがって、例では、１つまたは複数の生成された画像要素は、１つまたは複数の対応する音の音源の方向を示す。方向は、ヘッドマウントディスプレイデバイスの現在の向きに対するものとすることができる。
【００５０】
図９は、画像処理システム１１００とＨＭＤ１２００とを備えるヘッドマウントディスプレイシステム１０００を概略的に示す。画像処理システム１１００は、ＨＭＤ１２００の一部として形成されてもよく、またはＨＭＤ１２００は画像処理システム１１００の要素を含んでもよい。すなわち、画像処理システムの機能は、ＨＭＤ１２００において、またはＨＭＤ１２００に関連付けられたデバイスにおいて実行されてもよい。
【００５１】
画像処理システム１１００は、音声入力部１１１０（マイクロホンまたはマイクロホンアレイ、または音声の１つまたは複数の態様を定義する電子情報を受信するための入力など）、オーディオ処理部１１２０、画像生成部１１３０、および画像出力部１１４０を含む。
【００５２】
音声入力部１１１０は、１つまたは複数の音声に関する音声情報を受け取るように構成される。これは、音源からのデータとしてマイクロホン（図示せず）によってキャプチャされた音の形態、またはその２つの組み合わせの形態であってもよい。
【００５３】
オーディオ処理部１１２０は、１つまたは複数の音声に関する音声情報を分析するように構成される。言い換えれば、オーディオ処理部１１２０は、音声入力部１１１０によって受信された音声情報を分析するように構成される。そのような分析は、ヘッドマウントディスプレイデバイスの現在の向きに対する音源の方向、音の音量、または音の他の任意の特性を決定するために実行されてもよい。別個の専用のオーディオ処理ユニットは必要ではなく、オーディオ処理は、汎用ＣＰＵまたはグラフィック処理ユニットによって実行することができることに留意する。
【００５４】
実行された分析はまた、音源、または少なくとも音源が属する音源のカテゴリを識別することが可能であってもよい。例えば、分析は、音がラジオまたは自動車、あるいは「電子デバイス」または「車両」のようなより一般的なカテゴリのどちらから発せられたのかを識別することができる。この情報は、キャプチャされた音の分析から、または音源から直接受信された音情報内の識別情報から直接的に導出されてもよい。
【００５５】
画像生成部１１３０は、分析された音声情報の特性を示す１つまたは複数の画像要素を生成するように構成される。画像生成部１１３０は、音および音源の方向を表すための適切な画像要素（および適切であればそれらの意図された表示位置）を決定および／または生成するために、オーディオ処理部１１２０によって行われた分析の結果を使用する。
【００５６】
画像出力部１１４０は、表示用の表示画像をヘッドマウントディスプレイデバイスのユーザに出力するように構成され、画像は画像オーバレイとして生成された画像要素を含む。したがって、画像出力部１１４０は、ＨＭＤへの出力のために既存のビデオストリームに画像オーバレイを適用するように構成され、画像オーバレイは、画像生成部１１３０によって生成された画像要素を含む。
【００５７】
ＨＭＤ１２００は、画像処理システム１１００によって生成されたオーバレイ画像に加えてプライマリ画像を表示するように動作可能な表示デバイス、例えば図１に示すＨＭＤ２０である。画像処理システム１１００によって生成された表示用の画像は、接続１２１０などの任意の適切な有線または無線接続を介してＨＭＤに送信してもよい。
【００５８】
図１０は、環境内の音の特性を示す画像要素を生成する方法を概略的に示す図である。
【００５９】
ステップ１３００は音声情報を受信することを含む。この音声情報は、１つ以上の音声に関連してもよい。例示的な用途では、このステップは、マイクを使用して環境内で話している誰かの音声をキャプチャすることであってもよい。
【００６０】
ステップ１３１０は、受信した音声情報に関する音声情報を分析することを含む。例示的なアプリケーションの文脈では、これは、キャプチャされた音が発話であること、音量、ＨＭＤユーザの名前が言われたかどうか（発話がユーザに向けられているかどうかを推測するためである、あるいは、話者がＨＭＤユーザを見ているかどうか−これは話者が誰に発話を向けているかの指標になることがある−を判断するために当該システムに関連付けられたカメラが話者の画像をキャプチャしてもよい）、ＨＭＤの向きに対する話者（すなわち音源）の方向を検出することに加えて発話の任意の他の特徴を決定することを含む。
【００６１】
ステップ１３２０は、１つまたは複数の画像要素を生成することを含む。これらの画像要素は、分析された音声情報の特性を示してもよい。例示的なアプリケーションでは、検出された音声が発話であることを示す画像要素（口を表すアイコンなど）を生成してもよい。アイコンの色は、話者の性別（ピッチ検出、または話者が処理デバイスによって取得された画像内に見える場合は画像認識に基づく）を示すことができ、サイズは音量を示すことができる。図８を参照して説明したように、ＨＭＤユーザに対する音源の方向に基づいてアイコンの位置を自由に決定してもよい。
【００６２】
ステップ１３３０は表示画像を出力することを含む。これらは、ヘッドマウントディスプレイデバイスのユーザに表示するための画像であってもよく、その画像は生成された画像要素を画像オーバレイとして含む。例示的なアプリケーションでは、ステップ１３３０は、ユーザが画像のオーバレイとして見ているプライマリストリームの上に画像要素を表示することを含む。
【００６３】
上記の技法は、ハードウェア、ソフトウェア、またはその２つの組み合わせで実装することができる。ソフトウェア制御のデータ処理装置が実施の形態の１つまたは複数の特徴を実施するために採用される場合、そのようなソフトウェア、およびそのようなソフトウェアが提供される非一時的機械可読記憶媒体などの記憶媒体または伝送媒体もまた、本開示の実施の形態とみなされることが理解されよう。
【図１】
2020501275.tif 000003
【図２】
2020501275.tif 000004
【図３】
2020501275.tif 000005
【図４】
2020501275.tif 000006
【図５】
2020501275.tif 000007
【図６】
2020501275.tif 000008
【図７】
2020501275.tif 000009
【図８】
2020501275.tif 000010
【図９】
2020501275.tif 000011
【図１０】
2020501275.tif 000012
【国際調査報告】
2020501275.tif 000013
2020501275.tif 000014