(57)【要約】【課題】本発明は、特殊効果のために、既存画像を見ている１人以上の対象の相対的な位置によって仮想画像を生成して既存画像に重畳するための方法を開示する。【解決手段】画像は、強化現実を見るために生成される。対象は、画面または窓などの透明な支持体近傍にいる人々である。このような人々は、強化現実を画面／窓越しにみる。画面上の仮想オブジェクトは、同じ画面／窓を同時に見ている互いに異なる人々にとって、現実的な印象を与えるようなやり方で作成され、同一の現実のオブジェクトを見ている１人または複数の閲覧者に対して強化現実を作成するために仮想現実を生成する。【選択図】図１
2008108246.tif 000002
【特許請求の範囲】
【請求項１】
同時に現実の背景を見ている１人または複数の閲覧者に対して強化現実を作成するために仮想画像を生成するための方法であって、
１つまたは複数の現実のオブジェクトを備える現実の背景の画像を取り込むステップと、
前記取り込み画像における１つ以上の前記現実のオブジェクトを認識するステップと、
認識された現実のオブジェクトに関連し、かつ前記取り込み画像にはない推定画像オブジェクトを識別するステップと、
前記取り込み画像を自動的に解釈するステップと、
解釈された取り込み画像に基づいて識別された推定仮想オブジェクトの中の仮想オブジェクトの仮想画像を生成するステップと、
各仮想オブジェクトを前記現実の背景に対して位置決めするステップと、
前記仮想オブジェクトの前記位置によって前記仮想画像を適合させるステップと、
前記背景を見るための複数の視角を判断するステップと、
前記仮想画像を前記現実の背景上に重畳するために、視角毎の前記仮想画像を適合させるステップと、
前記現実の背景に対する前記視角によって前記仮想オブジェクトが異なって見えるように前記仮想画像を表示するステップと
を含む、方法。
【請求項２】
請求項１に記載の方法を実行するための命令を備えるコンピュータ・プログラムであって、コンピュータにより実行される、コンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、特定の状況に基づいて仮想画像を生成することに関し、より特定的には、画面（または窓）上に仮想オブジェクト(画像)を生成および表示するためのシステム、方法、およびコンピュータ・プログラムに関し、この画面または窓に近い１つ以上のオブジェクトの位置に基づいて特殊効果を作成するようにする。
【背景技術】
【０００２】
強化現実（Ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ）
強化現実（ＡＲ）は、現実の世界とコンピュータによって生成されたデータとの組み合わせを扱うものである。強化現実（ＡＲ）は、仮想現実（ＶＲ）の逆のものとして導入された。強化現実（ＡＲ）の目標は、合成された純粋な情報環境にユーザを飛び込ませる代わりに、現実の世界を情報処理性能で強化することにある。ＡＲはすでにＶＲが付加したことに対して付加するという意味において、ＶＲは、強化現実（ＡＲ）の特殊な場合と定義されることもある。加えて、強化現実は、それ自体、より一般的な概念である媒介現実（ｍｅｄ‐Ｒ）の特殊な場合であって、これは、媒介現実は現実感を強化し、故意に縮小し、またはそうでなければ修正することを許容するという意味に鑑みたものである。
【０００３】
強化現実は、仮想現実と現実の世界の構成要素との両方を含む環境である。例えば、ＡＲユーザは、透光性のゴーグルをかけたりして、そのゴーグル越しに、現実の世界と共に、その上部に投影されたコンピュータ生成画像を見ることができる。アズマは、強化現実システムを、
現実と仮想とを合成するものであって、
リアル・タイムでインタラクティブであり、
３次元で登録される
と定義している。
【０００４】
強化現実（ＡＲ）の例としては、アメリカン・フットボール・ゲームのテレビ放送において見受けられる黄色のファースト・ダウン・ラインが挙げられる。現実の世界の構成要素は、フットボール場とプレーヤーであり、仮想構成要素は、黄色のラインであって、コンピュータによってリアル・タイムで画像に描画される（なお、この例は、上記の定義からすると強化現実ではない。なぜならば、インタラクティブな要素がないからである）。ＡＲの他の応用例には、以下のものが含まれる。
共同で修正および分析が可能なインタラクティブ３次元マップ（例えば、探査のための）
字幕で車のレースでどの車がどこにいるかを示すテレビ放送
隠れた特徴の視覚化（例えば、医者が母親の子宮内の胎児を「見る」ことができるような場合）
困難なタスクの支援（例えば、システムが修理工の仕事を容易にするためにシステムの部分を「ラベル付けする」ことができるような場合）
拡張された観光：見たオブジェクト／場所に関連したラベルまたは任意のテキスト、廃墟、建造物、または過去に見たよう風景の再構築。無線ネットワークと組み合わせれば、表示されるデータ量は無制限である（百科事典的な記事、ニュース、など）
現実および仮想の参加者との通信会議、
エンターテイメント（コンピュータ生成画像を生のエンターテイナーと連動させることができる）
ゲーム
【０００５】
「Ｉｎｆｏｒｍａｔｉｏｎ  ｉｎ  ｐｌａｃｅｓ」、ジェイ・シー・スフォラー（Ｊ．Ｃ．Ｓｐｏｈｒｅｒ）、アイ・ビー・エム・システムズ・ジャーナル（ＩＢＭ  Ｓｙｓｔｅｍｓ  Ｊｏｕｒｎａｌ）第８巻、４号、１９９９  パーベイシブ・コンピューティング（Ｐｅｒｖａｓｉｖｅ  Ｃｏｍｐｕｔｉｎｇ）という出版物は、強化現実に関する。ユーザが完全に仮想または模擬世界を体験できる仮想現実システムとは異なり、強化現実システムは、仮想オブジェクトと現実の世界のオブジェクトとを合成した混合現実をユーザが経験できるようにするものである。コマーシャル、テレビ番組、および映画で見られるような映像特殊効果によって、人工の画像を現実の画像と継ぎ目なく合成することができる可能性のいくつかを垣間見ることができる。例えば、目の前で分解するように見える車が切断図を提供したり、アニメのキャラクターが台所で子供たちに朝食を食べるように促したりするなどである。映像特殊効果と異なり、強化現実システムは、現実の特殊効果、言い換えれば、人がリアル・タイムで現実の空間にいる場所で生じる特集効果の認知をサポートするものである。例えば、ある人が駐車場を歩いていて特別なサングラスを掛けるか、または特殊なビデオ・カメラのビュー・ファインダ越しに車を見ると、排気システム全部を完全に現実の車に沿って共に見せるような切断図を見ることができる。この人は、現実の特殊効果を知覚しているか、または強化現実を経験しているのである。
【０００６】
問題点
問題点は、画面（または窓）上の画像生成が、この画面近くに位置する人の位置によることである。画像は、強化現実を見るために生成されなければならず、同じ画面を同時に見る互いに異なる人々にとって現実的な印象を与えなければならない。
【０００７】
問題の１つは、強化現実（特に３次元）は、視角によって異なるという事実にある。したがって、互いに異なる角度から見る人に対して仮想画像を生成するために、何らかの巧妙な技術が必要である。
【０００８】
他の問題は、人々は移動する（例えば、人々が車やバス内にいる場合）という事実にある。視角は変化し、それに従って、仮想オブジェクトを修正して、現実的な効果を維持する必要がある。
【０００９】
従来技術
互いに異なる角度に対して互いに異なる風景を導入するための手法を、例えば以下のウェブ・サイトで説明する。
【００１０】
ｈｔｔｐ：／／ｓｈａｒｐ−ｗｏｒｌｄ．ｃｏｍ／ｃｏｒｐｏｒａｔｅ／ｎｅｗｓ／０６０９２７における、２００６年９月２７日の「Ｉｎｄｕｓｔｒｙ  Ｆｉｒｓｔ＊：Ｓｈａｒｐ  Ｔｒｉｐｌｅ  Ｄｉｒｅｃｔｉｏｎａｌ  Ｖｉｅｗｉｎｇ  ＬＣＤ  Ｏｆｆｅｒｓ  Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｄｉｓｐｌａｙ  ｏｆ  ３  Ｉｍａｇｅｓ」という題のものである。シャープ社およびシャープ・ラボラトリ・ヨーロッパ社（ＳＬＥ）は、３方向視（Ｔｒｉｐｌｅ  Ｄｉｒｅｃｔｉｏｎａｌ  Ｖｉｅｗｉｎｇ）ＬＣＤを開発した。このディスプレイは、ディスプレイが左、右、および中央からの互いに異なる画像を同時に表示することができるように視角を制御するものである。このＬＣＤ技術は、テレビ、ノートブックＰＣ、および移動電話などの製品のための新たなデジタル家庭用電気機器市場を開くものとなった。同社は、２方向視角ＬＣＤと、切り換え可能な視角ＬＣＤという、制御視角のための２つの製品を開発した。これらのディスプレイは、カー・ナビゲーション・システムおよび移動電話などの製品で使用されている。シャープ社の３方向視ＬＣＤは、この制御視角技術をもう一歩進めている。標準的なＴＦＴのＬＣＤ上の自社製の視差バリアを使用して、画面は、光を３方向に分裂させ（左、右、および中央）、３つの別個の画像を同一の画面に同時に表示させる。例えば、バンを運転する人を考える。運転手はカー・ナビゲーション・システムの画面を使用し、助手席の人は旅行者用の場所やレストランをチェックし、後部座席の人はＤＶＤの映画を楽しむのは、すべてフル・スクリーン表示で行う。３つの役割を１度に行うのは、ただ１つのＬＣＤである。シャープ社の３方向視ＬＣＤは、多目的の公共標識のためにも使用することができる。それぞれがある方向に歩く人々に向けて、店舗やレストランのために３つの互いに異なる広告を表示することもできる。
【００１１】
米国特許出願第４８７５０３４号のダニエル・ブロークンショア（Ｄａｎｉｅｌ  Ｂｒｏｋｅｎｓｈｉｒｅ）による発明の名称「Ｓｔｅｒｅｏｓｃｏｐｉｃ  ｇｒａｐｈｉｃｓ  ｄｉｓｐｌａｙ  ｓｙｓｔｅｍ  ｗｉｔｈ  ｍｕｌｔｉｐｌｅ  ｗｉｎｄｏｗｓ  ｆｏｒ  ｄｉｓｐｌａｙｉｎｇ  ｍｕｌｔｉｐｌｅ  ｉｍａｇｅｓ」は、内部に複数の画像を形成する複数のウィンドウを生成する立体ウィンドウ・コントローラを有する立体グラフィックス表示システムを開示する。立体ウィンドウ・コントローラは、グラフィックス表示システムに対して、ウィンドウの輪郭を表す境界を各ウィンドウの周囲に描画するように指示する。各境界は、両眼視差なく描画されて、観察者が立体画像の三次元特性を知覚するように支援する。積み重なったウィンドウ間の奥行きキューの不一致は、遮断されたウィンドウ内に両眼視差なく画像を描画することによって減少する。
【００１２】
米国特許出願第２００５／０２７８７５３号のブラディ他（Ｂｒａｄｙ  ｅｔ  ａｌ．）による発明の名称「Ｂｒｏａｄｃａｓｔ  ｐａｓｓｅｎｇｅｒ  ｆｌｉｇｈｔ  ｉｎｆｏｒｍａｔｉｏｎ  ｓｙｓｔｅｍ  ａｎｄ  ｍｅｔｈｏｄ  ｆｏｒ  ｕｓｉｎｇ  ｔｈｅ  ｓａｍｅ」は、航空機などの車両内にあるカメラによって撮影された景色画像を機内娯楽システム（ＩＦＥＳ）によって生成された画像と統合して、航空機が飛行中にＩＦＥＳが乗客に対して景色画像を生成することができるようにするためのシステムおよび方法を開示している。ＩＦＥＳは、航空機の特徴に関する入力データを受信して、乗客が見ることができる表示部を制御して、当該入力データと、航空機の外部から画像を取得するように設置されたカメラによって提供された景色の映像データとに基づいた情報を含む表示画像を生成し、それによって、乗客は、航空機が飛行中に、航空機の位置および景色画像上の興味のある地点などに関する情報と共に形式画像を見ることができる。景色画像は、リアル・タイム画像または周期的な間隔で撮影されたフレーム画像であってもよい。当該情報には、乗客がリンクをクリックして表示部上のブラウザ型の表示ウィンドウ内に興味のある地点に関する情報を表示させることができるようにするウェブ・サイトに対するリンクも含まれてもよい。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、従来技術において、
１人以上の人（各人は異なる視角を有する）によって同時に、かつ
移動している人によって、
画像が現実味を帯びて見えるようにするための現実および仮想オブジェクトの調整について、何ら述べられていない。
【００１４】
また、従来技術は、強化現実において窓越しで仮想オブジェクトをいかにして現実味のあるように見せるかについて開示していない。むしろ、従来技術は、
ヘッド・マウント・ディスプレイにおける仮想画像の生成、
（窓上ではなく）画面上における仮想および現実画像の（鏡を通じての）反射、
窓にピンを挿入して、（これらのピンをアクティブ化して）この窓内に画像を作成するようにすること
を対象としている。
【課題を解決するための手段】
【００１５】
本発明は、独立項に規定された方法、システム、およびコンピュータ・プログラムに関する。
【００１６】
特に、本発明は、同時に現実の背景を見ている１人または複数の閲覧者に対して強化現実を作成するために仮想画像を生成するための方法を開示する。本方法は、
１つまたは複数の現実のオブジェクトを備える現実の背景の画像を取り込むステップと、
取り込み画像における１つ以上の現実のオブジェクトを認識するステップと、
認識された現実のオブジェクトに関連し、かつ取り込み画像にはない推定画像オブジェクトを識別するステップと、
取り込み画像を自動的に解釈するステップと、
解釈された取り込み画像に基づいて識別された推定仮想オブジェクトの中の仮想オブジェクトの仮想画像を生成するステップと、
各仮想オブジェクトを現実の背景に対して位置決めするステップと、
仮想オブジェクトの位置によって仮想画像を適合させるステップと、
背景を見るための複数の視角を判断するステップと、
仮想画像を現実の背景上に重畳するために、視角毎の仮想画像を適合させるステップと、
現実の背景に対する視角によって仮想オブジェクトが異なって見えるように仮想画像を表示するステップとを含む。
【００１７】
本発明のさらなる実施形態は、以下に説明される。
【００１８】
本発明は、後述するような数多くの利点を有する。
【発明を実施するための最良の形態】
【００１９】
本発明の上記および他の目的、特徴、および利点は、明細書、請求項、および図面を参照してよりよく理解することができる。
【００２０】
本発明の新規および発明的な特徴は、添付の請求項に記載されている。しかしながら、本発明自体は、好ましい使用ならびにそのさらなる目的および利点の形態と共に、以下の例示の詳細な実施形態の詳細な説明を添付の図面と共に参照することによって、最もよく理解されるだろう。
【００２１】
本発明の原理
本発明は、特殊効果のために、既存画像を見ている１人以上の対象の相対的な位置によって仮想画像を生成して既存画像に重畳するための方法を開示する。
【００２２】
画像は、強化現実を見るために生成される。対象は、画面または窓などの透明な支持体近傍にいる人々である。このような人々は、強化現実を画面／窓越しにみる。画面上の仮想オブジェクトは、同じ画面／窓を同時に見ている互いに異なる人々にとって、現実的な印象を与えるようなやり方で作成される。
【００２３】
第１の問題点は、強化現実（特に３次元）は、視角によって異なるという事実にある。したがって、互いに異なる角度から見る人に対して仮想画像を生成するために、何らかの特定の機構が必要である。
【００２４】
第２の問題点は、人々は移動する（例えば、人々が車やバス内にいる場合）という事実にある。視角は変化し、それに従って、仮想オブジェクトを修正して、現実的な効果を維持する必要がある。
【００２５】
本発明の目的は、窓または画面（例えば、バスの窓上）などの実質上透明な支持体上に投影される仮想画像を作成することである。画像は、景色に合致する重畳画像であり、歴史上または想像上のイベントを表す。重畳画像は、様々な手段によって作成することができる。
特殊プロジェクタ、
特殊ディスプレイ、
ある種類のヘッド・マウント・ディスプレイ、または
画像を示すことができる透明なガラスなどである。
【００２６】
本発明の実施は、互いに異なる場所にいて１つの窓越しに見る互いに異なる人々が視角がどうであっても整合の取れた統合画像を見ることができるようなやり方で行うことができる。これは、窓を見る人の目をカメラによって検出して、視角によって様々に見えうる仮想画像を作成することによって行うことができる。
【００２７】
本発明は、仮想画像を生成して、これらの仮想画像を、ホログラフィなどの任意の窓に（窓に何らハードウェアを装着することなく）表示することができる。どの従来技術も、ホログラフィ技術を使用して、本発明の場合におけるような強化現実を作成する（互いに異なる角度からの風景を許容する）ことを示唆していない。
【００２８】
他の技術では、窓内の仮想画像を「印刷」して、これらの画像が実際には窓から遥か離れた場所にあるような印象を作り出すことができる。
【００２９】
特定の応用例
本発明は、様々な応用例、特に旅行業界における応用例がある。旅行が実際に行われる場合に、ツアー・ガイドの説明の助けとなる視覚または画像がない場合が多い。例えば、イルカがいることで有名な海洋の海岸を通過する場合であって、現在はイルカがいない場合には、観光客にとって見るのは難しく退屈でさえあるかもしれない。他の例として、団体の観光客が戦争に関わるある歴史的な場所を訪問する場合が挙げられる。観光客は、廃墟と瓦礫を見るだけである。想像力の助けとなる何かがなければ、興味を失うかもしれない。観光客にとって、古代エジプト人がピラミッドをどのように建築するかを見つつ、今日の現実のピラミッドを見ることができたら興味深いことだろう。一般的に、その場所の現状の代わりに何らかの視覚表現あれば、観光客にとって旅はより楽しいものとなろう。パンフレットおよび全旅程の映像などといった、ツアー・ガイドおよび旅の観光客を支援するであろう補足物が従来からいくつかあるが、どれも、起こったことの実際の動きを実際に見ることができることに匹敵するものはない。
【００３０】
本発明により、イルカがいるはずの海洋の海岸に沿ってバスが通過するのだがイルカがいなかった場合、映画または画像がバスの窓上に投影または表示されると、乗客は、本当に水の中を泳ぐイルカがいることを想像することができる。同様に、団体が古戦場を訪れる場合、戦争場面を窓に投影して、観光客によりよいイメージを与えることができる。
【００３１】
他分野への応用としては、軍事訓練が挙げられる。例えば戦車内に座る兵隊は、洗浄の実際の画像に重ねて、敵の対象物の仮想画像を使用することができる。同様に、航空機の操縦士は、敵の航空機の仮想画像または地上の対象物の画像を使用することができる。
【００３２】
同様に、本発明は、医療のような他の分野の教育手法において使用することもできる。医学生は、現実の物質での体にある対象物の仮想画像を見ることができる（例えば、顕微鏡を通じて実際の血液内の仮想ウィルス、または実際の体の画像に重ねられた仮想の癌の画像など）。
【００３３】
他分野の応用としては、広告が挙げられる。現実の物体上に重畳された仮想画像を組み合わせて、何かを広告するという場合である。
【００３４】
この応用の列挙は、制限的なものではない。
【００３５】
本発明の論理図
図１は、ツアー・オペレータによって使用することができるような本発明の論理図である。乗客１００は、観光バス内で座っていて、窓１０２越しに外を見ている。窓１０２には、プロジェクタ１０３によって作成されたイルカ１０４の画像がある。乗客は、イルカの投影１０４を見ると同時に、背景１０５の海洋も見る。ツアー・ガイド１０１は、マイク１１０で話をする。マイク・データはコンピュータ１０６へ送られる。コンピュータ１０６内には、互いに異なるプログラムを実行するコンピュータ（ＣＰＵ）がある。特に、ＡＳＲ（自動音声認識）１０７などのプログラムは、ツアー・ガイドの話したことを理解して、プロジェクタ１０３を操作する。
【００３６】
投影と背景の風景１１３とを調和させる他の方法として、全世界測位システム（ＧＰＳ）１２０の使用がある。ＧＰＳ１２０は、コンピュータ１０６に接続されている。ＧＰＳ１２０システムによって提供される情報によって、コンピュータ１０６は、いつプロジェクタ１０３にいつ指示すればよいかを知る。
【００３７】
カメラ（ユーザ・カメラ）１０８を使用して、乗客１００の目の方向を検出する。この情報をコンピュータ１０６が使用して、乗客の視角によって乗客が画像を正しく見ることができるように、仮想画像を継続して更新する。
【００３８】
他のカメラ（風景カメラ）１０９を使用して、周囲の画像を取り込んで、この画像をコンピュータ１０６に送って分析に供する。この結果生じた画像は、後にプロジェクタ１０３へ送られる画像の構築の際に使用されることになる。オプションとして、本システムは、カメラ１０９で取り込まれた周囲の画像と、ＧＰＳ１２０の入力とを使用して、観光地１１３に関連するナレーション用テキストを作成することができる。本システムは、このナレーション用テキストをテキスト音声合成器１１１へ送って、スピーカ１１２を通じて乗客１００が聞くことになるテキストに対応した音声を出力することができる。
【００３９】
重畳ヘッド・マウント・ディスプレイ
図２は、重畳ヘッド・マウント・ディスプレイの論理図である。ユーザ２００は、ヘッド・マウント・ディスプレイ２０２を着用しており、浜辺を歩いている。ヘッド・マウント・ディスプレイ２０２上には、イルカ１０４が表示される。ユーザ２００は、イルカ１０４が実際に海の中にいるような印象を持つ。ヘッド・マウント・ディスプレイ２０２は、無線で着用型コンピュータ２０１に接続されている。コンピュータ２０１は、ＧＰＳ１２０に接続されたヘッド・マウント・ディスプレイ２０２によって、ユーザがどの方向を見ているかを知り、表示された仮想画像と背景１１３とを調和させることができる。特定の一実施形態において、ツアー・ガイド１０１は、マイク１１０と、着用型パーソナル・コンピュータ（ＰＣ）２０６を有する。着用型パーソナル・コンピュータ（ＰＣ）２０６は、ある言葉で、観光客の頭に取り付けられたディスプレイに対して指示をする。例えば、「イルカが泳ぎます」という言葉によって、観光客のヘッド・マウント・ディスプレイ２０２上にイルカ１０４が登場する。
【００４０】
本発明の実施態様
図３は、本発明がコンピュータ１０６においてどのように実行されるかを示しており、処理に関わる互いに異なる構成要素を示す。
【００４１】
カメラ３０１は、周囲環境を監視して、画像を画像プロセッサ・モジュール３０２へ送る。
【００４２】
画像プロセッサ・モジュール３０２は、画像をデジタル処理する。
【００４３】
画像オブジェクト認識モジュール３０３は、デジタル画像内の１つ以上のオブジェクトを認識して、データベース３２１内のこれらのオブジェクトに関連する予想画像を検索する。このデータベースは、画像の集合を備える。例えば、観光客の団体が海洋へ出かける場合、この団体は海洋動物、船などを見ることになるだろうと想定することができる。この場合の画像オブジェクト認識モジュールの役割は、以下の通りである。
海または海洋と、鳥、船などの海に現在いるいくつかのオブジェクトがあると認識することと、
データベースを検索して、イルカなどの今現在は実際にいない、海洋に関する画像を見つけることである。
【００４４】
画像インタプリタ・モジュール３０４は、状況を解釈して、当該状況に対する正確な解釈を与える
【００４５】
画像および状況の解釈は、例えば、米国特許第６７９２３３９号、バッソン他（Ｂａｓｓｏｎ  ｅｔ  ａｌ．）による発明の名称「Ａｒｔｉｆｉｃｉａｌ  ｐａｓｓｅｎｇｅｒ  ｗｉｔｈ  ｃｏｎｄｉｔｉｏｎ  ｓｅｎｓｏｒｓ」に説明されるような技術を使用して行われる。米国特許第６７９２３３９号は、車両用の状況コントローラを開示する。状況コントローラは、処理装置と、当該処理装置に結合されて、車両内の１つ以上の項目に関連付けられた画像を監視するための画像モニタとを含む。状況コントローラは、また、１つ以上の監視された項目に関連するメッセージを通信するための装置を含み、ここで、メッセージの内容は、少なくとも部分的には、１つ以上の監視された項目に基づいて、処理装置によって決定される。加えて、処理装置に結合されて、車両内の１つ以上の監視された項目に応じて、車両の少なくとも１つの機能を制御するためのコントローラが含まれる。
【００４６】
状況の意味解釈は、状況がどういう意味かを見つけることを示唆する。解釈の結果、例えば、イルカは船の近くで泳ぐ、または雷雨が近づいているので船は港へ急いで進んでいることを認識することになる。インタプリタは、ある場合において失われている状況を定義して、失われている部分を仮想画像を通じて補完することができる（例えば、船がある場合には、本システムは、船に向かって泳ぐ仮想のイルカを追加することができる）。
【００４７】
音声プロセッサ・モジュール３１２は、ツアー・ガイドのマイク３１１から受信した音声データを扱う。
【００４８】
音声データは、自動音声認識システム（ＡＲＳ）３１３を使用してテキストに書き換えられる。
【００４９】
結果生じたテキストは、音声インタプリタ・モジュール３１４へ渡される。音声インタプリタ・モジュールは、テキストのデータ（すなわち復号化されたテキスト）の意味インタプリタである。復号化されたテキストの意味解釈は、復号エラーの可能性を考慮し、たとえエラーがあっても、復号化された語句の意味論上の意味を埋め合わせる。復号化されたテキストの意味論上の意味を解釈することを可能にする数多くの方法が、文献に記載されている。
【００５０】
米国特許第６２３６９６８号、カネフスキー他(Ｋａｎｅｖｓｋｙ  ｅｔ  ａｌ．)による発明の名称「Ｓｌｅｅｐ  ｐｒｅｖｅｎｔｉｏｎ  ｄｉａｌｏｇ  ｂａｓｅｄ  ｃａｒ  ｓｙｓｔｅｍ」は、長距離の旅行中の運転または夜遅くに渡る運転中に運転手を起こしておくことができる自動対話システムを開示する。本システムは、自然対話車システムを使用して、様々な話題に関する運転手との会話を有している。本システムは、自動音声認識モジュールと、音声合成または記録された音声および場合によっては動的に組み合わされた音声合成器および記録された音声を含む音声生成モジュールと、自然言語処理モジュールとを含む。自然対話車システムは、運転手の答および答えの内容と共に運転手の声のパターンを分析して、運転中におきているかどうかを判断する。本システムは、運転手が眠りそうになっていると判断した場合には、運転手に警告して、会話の話題を変える。また、本システムは、運転手がアルコールまたは薬物の影響を受けているかどうかを検出してもよい。
【００５１】
画像再構築器モジュール３０５は、音声画像インタプリタの出力内のデータを使用して、画像を作成する。ＧＰＳセンサ３２３のデータを使用する。画像再構築器モジュールは、仮想画像を、本仮想画像上の仮想オブジェクトが何らかの現実のオブジェクトの近くにあるように閲覧者に見えるようなやり方で統合する。画像データベースから取得されたこの仮想画像は、仮想オブジェクトの位置に対応する画像に変換される。例えば、仮想画像が閲覧者から遠いところに位置するオブジェクトを表す場合には、仮想画像のサイズは縮小される。オブジェクトの位置によって画像を変換するアルゴリズムは、米国特許第６５９７４１０号、ドアニー他（Ｄｏａｎｙ  ｅｔ  ａｌ．)による発明の名称「Ｓｙｓｔｅｍ  ｆｏｒ  ｔｈｅ  ａｕｔｏｍａｔｉｃ  ａｄａｐｔａｔｉｏｎ  ｏｆ  ｐｒｏｊｅｃｔｏｒ  ｉｍａｇｅｓ  ａｎｄ  ａ  ｍｅｔｈｏｄ  ｆｏｒ  ｔｈｅ  ｉｍｐｌｅｍｅｎｔａｔｉｏｎ  ｔｈｅｒｅｏｆ」に記載のアルゴリズムも同様である。
【００５２】
この米国特許第６９５７４１０号は、画像が表示される画面のサイズおよび条件に適合するように、プロジェクタから発せされる投影画像を自動的に適合化するコンピュータ化されたプロジェクタ・システムを開示している。さらに、投影画像を、画像が投影される画面のサイズおよび構成に相関した形状および条件に自動的に適合化するコンピュータ化されたプロジェクタ・システムを使用する新規の方法を開示している。
【００５３】
ＧＰＳセンサ・データ３２３は、ディスプレイ上に表示されるであろう仮想オブジェクトの正確な位置を与える。
【００５４】
映像および音声データベースを使用して、表示３０６を作成する。音声および映像データは同期が取られる。仮想画像（例えば、トラ）を表示する場合、この仮想画像に関連した音声が再生される（例えば、トラのほえ声が再生される）。
【００５５】
プロジェクタ３０７は、重畳された画像を投影する。
【００５６】
主要構成要素
画像インタプリタ
図４は、画像インタプリタ・モジュールの機能を説明する。データ４００は、画像意味記述器４０１に入力される。画像意味記述器４０１は、画像４０２のグラフを使用して、画像の構成要素を何らかの一般的なカテゴリに関連付けることによって、画像を解釈する。例えば、石（ＳＴＯＮＥＳ）、砂（ＳＡＮＤ）…などのオブジェクトは、浜辺（ＢＥＡＣＨ）などのカテゴリに関連付けることができる。画像のグラフは、画像が互いにどのように結合しているかを反映する。例えば、イルカ（ＤＯＬＰＨＩＮ）は海（ＳＥＡ）に結合される（イルカ（ＤＯＬＰＨＩＮ）は海（ＳＥＡ）で見られるので）。太陽（ＳＵＮ）は海（ＳＥＡ）に結合される。なぜならば、太陽（ＳＵＮ）は早朝に海（ＳＥＡ）の上に昇るからである。太陽（ＳＵＮ）は空（ＳＫＹ）にも結合される。なぜならば、太陽（ＳＵＮ）は空（ＳＫＹ）にあるからである、といった具合である。
【００５７】
観察されたオブジェクトの位置の形式マップを４０３に示す。オブジェクトは、数多くのバリエーションを標準化されたやり方で表す何らかの形式言語で記述される。これは、変換および構文解析において使用される、本発明の分野の当業者には周知である標準的な処理である。本例において、何かが任意の窓越しに見える（車のサイド・ウィンドウまたはフロント・ウィンドウ）という意味状況は、形式的にＴＨＲＯＵＧＨ‐ＷＩＮＤＯＷと表すことができる。
【００５８】
４０５における意味画像シーケンスの形式記述は、ローカル・マップのデータベースからの情報と、Ｘオブジェクトのデータベースからのデータとを使用する。Ｘオブジェクトのデータベースは、ある場所で見つけるであろうあるオブジェクトを列挙する（例えば、ＤＯＬＰＨＩＮＳ（イルカ）ｉｎ  ａ  ＳＥＡ（海）  ｎｅａｒ  ａ  ＢＥＡＣＨ（浜辺））。
【００５９】
オブジェクトをクラスにグループ分けする一例を、４０４に示す。各オブジェクトは、１つのクラスに適合する。同一のクラスのオブジェクトをリンクする、関連特性のセットがある（例えば、波および水の画像は海（ＳＥＡ）というクラスにマッピングされ、浜辺の砂および石は浜辺（ＢＥＡＣＨ）というクラスにマッピングされる）。
【００６０】
「Ｘ  Ｏｂｊｅｃｔｓ‐ｃｌａｓｓ  ＯＮ‐ｃｌａｓｓ  ＳＥＡ‐ＴＨＲＯＵＧＨ‐ＷＩＮＤＯＷ」は、形式語ストリングの例である。この形式語ストリングは、特定の推定される句の意味を形式的なやり方で有する。
Ｘ  ｏｂｊｅｃｔｓ―例えば、イルカ
Ｃｌａｓｓ  ＯＮ―何かの上にあるオブジェクト（ここでは、海の中のオブジェクト）
Ｃｌａｓｓ  ＳＥＡ―海、海洋などがありうる
ＴＨＲＯＵＧＨ―越しに
ＷＩＮＤＯＷ―窓
解釈は、特定の語のシーケンスが形式的に（何らかのカテゴリの形式ストリングとして）どのように表現されるかによる。本例において、形式語ストリングは、「イルカは窓越しに海にいる」のように解釈できよう。
【００６１】
「ｃｌａｓｓ  ＳＥＡ‐ＬＯＣＡＴＥＤ‐ＮＥＡＲ‐ＢＥＡＣＨ」は、形式語ストリングの別の同様の例である。
ｃｌａｓｓ  ＳＥＡ―海または海洋、もしくは湖
ＬＯＣＡＴＥＤ―泳ぐ、位置するなど
ＮＥＡＲ―近く
ＢＥＡＣＨ―浜辺、港など
この形式語ストリングは、「イルカは港の傍の海洋で泳ぐ」のように解釈することができよう。
【００６２】
その後、この情報はまとめられて、画像再構築器３０５によって使用される。
【００６３】
音声意味インタプリタ
図５は、音声インタプリタ・モジュール３１４の機能を説明する。ＡＳＲによって生成されたテキスト・データ５００は、意味語句表現モジュール５０１に渡される。意味表示５０２の例として、「クラス  イルカは海で泳ぐことができる（ｃｌａｓｓ  ＤＯＬＰＨＩＮ‐ＣＡＮ‐ＳＷＩＭ  ＩＮ  ＳＥＡ）」が挙げられる。形式オブジェクト表現５０３は、解釈をより理解しやすい形式にする。オブジェクト５０４（例えば、動物または魚）は、動き５０５（例えば、泳ぐ）を位置５０６（例えば海）で行う可能性がある。推定イベントの検出５０７は、どのオブジェクトが表示されなければならないかを判断する。
【００６４】
画像再構築器３０５
図６は、画像再構築器モジュール３０５を説明する。これは、音声および画像インタプリタの出力内のデータを使用して、当該データを組み合わせて画像を作成する。
【００６５】
画像再構築器モジュール３０５に入力された第１の入力６００は、図５に説明されているような形式オブジェクト推定からなる（推定イベントの形式表現５０７）。
【００６６】
入力される第２の入力は、形式的な既存のシーケンスとＸオブジェクト６０１である。
【００６７】
コーディネータ・モジュール６０２は、背景に画像を調和させる。コーディネータ・モジュールは、イルカと海洋（イルカは海洋にいるので）などの関連付けられたイベントの対を調和させる。
【００６８】
第３の入力は、ＧＰＳ入力時間および閲覧者の頭の位置からである。
【００６９】
検索モジュール６０３は、入力からのデータを使用して、当該場合に最も合致するオブジェクトを見つける。本件において、これはイルカである。その後、再生成された画像は、変換モジュール６０４にて変換されて、何らかの現実のオブジェクトの実際の位置に対応する仮想画像を取得する。データベースから選ばれたオブジェクトは、変更されて、場面または背景に順応するようにする。例えば、泳ぐイルカのサイズは、調整される必要がある。さらなるステップにおいて、画像は窓上に統合されるか、画面６０５上に投影される。
【００７０】
仮想画像を生成するための方法
図７は、本発明に係る方法のフローチャートである。
【００７１】
ステップ７００：既存の画像を得る。既存の画像は周囲の環境において取り込まれる（例えば、ユーザが窓から見るであろう何か、例えば、海または海上の船）。
【００７２】
ステップ７０１：推定仮想画像についての情報を取り出す。このステップは、所定の環境において既に観測されている（そして実際には観測されていない）ものと関連付けることができる推定仮想画像についての情報を検索することからなる。この情報は、データベースから取り出される。例えば、海上の船の観測画像と関連付けられた推定仮想画像についての取り出された情報は、今現在は海にいないイルカ、鳥、または小船などであってもよい。これには、この地域で見ることができた推定画像の詳細についての履歴も含まれる。
【００７３】
ステップ７０２：推定仮想画像を生成する。ステップ７０１において取り出された情報に対応する仮想画像が生成される（例えば、イルカの画像がデータベース内で見つかる）。または利用可能な構成要素から作成される（例えば、ある構成要素として「人間」と、他の構成要素として「小さなボートに座っている」）。仮想画像は、この区域においてありうる画像の種類についての履歴を使用して生成される（例えば、青いイルカがこの区域においてよく泳いでいるので、黒いイルカではなく青いイルカの仮想画像が生成される）。
【００７４】
ステップ７０３：（複数の）閲覧者の頭の位置を検出する。１人または数人の閲覧者の頭および目の位置が、カメラまたは他の位置／移動検出センサを使用して検出される。
【００７５】
ステップ７０４：背景の位置に従って仮想画像を変換する。本ステップにおいて、仮想画像は変換されて、現実の画像と統合される。（複数の）閲覧者の現実の位置および閲覧の角度についての情報が使用される。現実に見られるオブジェクトの位置についての情報をも使用して、これらの画像を互いに異なる角度で同時に見る人々に対して、自然に同時に統合されているように見えるような形式で、仮想画像を提示する。
【００７６】
本発明を好ましい実施形態を参照して特に図示および説明してきたが、本発明の精神および範囲から逸脱することなく、形式上および詳細において様々な変更を行ってもよいことが理解されるだろう。
【図面の簡単な説明】
【００７７】
【図１】本発明に係るシステムの概略論理図である。
【図２】本発明に係るヘッド・マウント・ディスプレイの論理図である。
【図３】本発明の実行態様を示す
【図４】本発明に係る画像インタプリタを説明する。
【図５】本発明に係る意味インタプリタを説明する。
【図６】本発明に係る画像再構築器を説明する。
【図７】本発明に係る方法のフローチャートである。
【符号の説明】
【００７８】
１００  乗客
１０１  ツアー・ガイド
１０２  窓
１０３  プロジェクタ
１０４  イルカ
１０５  背景
１０６  ＣＰＵ
１０７  ＡＳＲ
１０８  ユーザ・カメラ
１０９  風景カメラ
１１０  マイク
１１１  ＴＴＳ
１１２  スピーカ
１１３  周囲画像
１２０  ＧＰＳ
【図１】
2008108246.tif 000003
【図２】
2008108246.tif 000004
【図３】
2008108246.tif 000005
【図４】
2008108246.tif 000006
【図５】
2008108246.tif 000007
【図６】
2008108246.tif 000008
【図７】
2008108246.tif 000009