(57)【要約】ポータブル電子装置は、実際の場面と、重ねられたコンピュータ生成されたオーバーレイ場面を見るための強化現実を見る機器を備えてなる。一の実施態様において、見る装置は、表示スクリーン（２）と半透明ミラー（３）を備えてなる。半透明ミラー（３）は、装置に回転式に取り付けられ、強化現実を見る位置と、表示された画像だけを見る位置間で回転してよい。別の実施態様において、実際の場面は透明表示スクリーンにより見られる。強化現実を見る場合、実際の場面における所定要素に対応するオーバーレイ場面における編成インジケータ（１３、１５、図５に示されていない）の手段によって、ユーザはオーバーレイ場面を実際の場面と編成する。装置は、位置を決定する手段（５０）を備えて設備されてもよく、それによって表示された画像の選択は装置の位置に依存して、表示するための画像が装置に局所的に記憶されるか、又はリモートサーバーからの無線によって送信される。さらに装置は、表示された画像の選択が装置の配位に依存するように、配位センサーで設備される。
2004534963.tif 000002
【特許請求の範囲】
【請求項１】
強化現実を見る機器の表示におけるオーバーレイ場面を調整するための方法であって、使用において実際の場面の所定要素と編成される、前記オーバーレイ場面に含まれる前記実際の場面における前記所定要素に対応する編成インジケータを生じることを特徴とする、方法。
【請求項２】
使用において実際の場面の所定要素と編成される、前記実際の場面における前記所定要素に対応する編成インジケータを備えてなる、強化現実場面を形成するために実際の場面との組合せに適しているオーバーレイ場面。
【請求項３】
実際の場面における所定要素に対応する編成インジケータを有する、前記実際の場面とオーバーレイ場面を見るために最適な強化現実を見る機器を設備したポータブル電子装置であって、前記強化現実を見る機器は表示スクリーンを備えており、前記装置は前記表示スクリーンがオーバーレイ場面を表示する第一モードと、前記表示スクリーンが非オーバーレイ場面を表示する第二モードを有することを特徴とする、ポータブル電子装置。
【請求項４】
前記見る装置は、ユーザは、オーバーレイ場面が前記表示スクリーンに表示された、前記実際の場面に重ねて見ることができる、第一位置と、前記ユーザが前記実際の場面を見ないで前記表示スクリーンを見ることができる、第二位置で配置可能な回転式に取り付けられた半透明ミラーをさらに備えてなることを特徴とする、請求項３に記載の装置。
【請求項５】
前記半透明ミラーの軸回転はモーター駆動式であることを特徴とする、請求項４に記載の装置。
【請求項６】
前記表示スクリーンは回転式に取り付けられていることを特徴とする、請求項４に記載の装置。
【請求項７】
前記表示スクリーンの軸回転はモーター駆動式であることを特徴とする、請求項６に記載の装置。
【請求項８】
前記第一モードの採用は前記半透明ミラーの第一回転位置に対応しており、前記第二モードの採用は前記半透明ミラーの第二回転位置に対応していることを特徴とする、請求項４に記載の装置。
【請求項９】
前記第一モードの採用は前記表示スクリーンの第一回転位置に対応しており、前記第二モードの採用は前記表示スクリーンの第二回転位置に対応していることを特徴とする、請求項６に記載の装置。
【請求項１０】
前記第一モードにおいて、前記表示スクリーンは透明であり、前記実際の場面は前記表示スクリーンにより見られてよく、さらに前記第二モードにおいて、前記実際の場面は前記表示スクリーンにより見られなくてもよいことを特徴とする、請求項３に記載の装置。
【請求項１１】
異なる実際の場面に各々が対応しており、前記異なる実際の場面のそれぞれの所定要素に対応する編成インジケータを各々が有する、複数のオーバーレイ場面を含む記憶手段と、前記ポータブル電子装置の前記位置の表示に対応している、前記複数のオーバーレイ場面の表示から選択するための選択手段を備えてなることを特徴とする、請求項３乃至１０のいずれか一項に記載の装置。
【請求項１２】
位置を決定する手段と前記選択手段に前記位置の表示を供給する手段を備えてなることを特徴とする、請求項１１に記載の装置。
【請求項１３】
配位センサーと前記選択手段に配位の表示を供給する手段を備えてなり、前記選択手段は前記配位の表示に対応していることを特徴とする、請求項１２に記載の装置。
【請求項１４】
配位の表示を生じるための配位感知手段と、位置の表示を生じる位置決定手段と、異なる実際の場面に各々が対応する、複数のオーバーレイ場面を含む記憶手段と、前記複数のオーバーレイ場面の表示から選択するための前記ポータブル電子装置の前記位置及び前記配位の表示に対応する選択手段を備えてなることを特徴とする、請求項３乃至１０のいずれか一項に記載の装置。
【請求項１５】
無線リンク上に表示するためのオーバーレイ場面を受信する手段をさらに備えてなることを特徴とする、請求項３乃至１０のいずれか一項に記載の装置。
【請求項１６】
位置を決定する手段と無線リンク上の配位の表示を送信する手段をさらに備えてなることを特徴とする、請求項１５に記載の装置。
【請求項１７】
配位センサーと無線リンク上の配位の表示を送信する手段をさらに備えてなることを特徴とする、請求項１６に記載の装置。
【請求項１８】
配位センサーを備えてなり、前記第一モードの採用は前記装置の第一配位に対応しており、前記第二モードの採用は前記装置の第二配位に対応することを特徴とする、請求項３に記載の装置。
【請求項１９】
請求項１５に記載のポータブル電子装置を備えてなる強化現実システムであって、提供手段は、各々が異なる実際の場面に対応し、各々がそれぞれの前記実際の場面における所定要素に対応する編成インジケータを含む複数のオーバーレイ場面を記憶する記憶手段と、さらに前記ポータブル電子装置上の表示における前記複数のオーバーレイ場面の一つを選択するための選択手段と、前記選択されたオーバーレイ場面は前記ポータブル電子装置に送信される手段を備えてなり、前記選択手段は、前記ポータブル電子装置の前記位置の表示に対応することを特徴とする、強化現実システム。
【請求項２０】
前記ポータブル電子装置は、さらに位置を決定するための手段と無線リンク上の位置の表示を前記提供手段に送信する手段を備えてなることを特徴とする、請求項１９に記載の強化現実システム。
【請求項２１】
前記ポータブル電子装置は、さらに配位センサーと、前記無線リンク上の配位の表示を前記提供手段に送信する手段を備えてなり、前記選択手段は、前記ポータブル電子装置の前記配位の表示に対応することを特徴とする、請求項２０に記載の強化現実システム。
【請求項２２】
請求項１７に記載のポータブル電子装置を備えてなる強化現実システムであって、提供手段は、各々が異なる実際の場面に対応する複数のオーバーレイ場面を記憶する記憶手段と、さらに前記ポータブル電子装置上の表示における前記複数のオーバーレイ場面の一つを選択するための選択手段と、前記選択されたオーバーレイ場面は前記ポータブル電子装置に送信される手段を備えてなり、前記選択手段は、前記ポータブル電子装置の前記位置及び配位の前記表示に対応することを特徴とする、強化現実システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、下記に限定しないが、特にポータブル無線通信機器で使用する強化現実（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ）のための方法、システム及び装置に関する。
【背景技術】
【０００２】
ヘッドアップディスプレーは、実際の場面に関するコンピューターに生成された情報を覆い、さらに、ユーザはユーザの目を実際の場面から遠ざけて回さずに、コンピューターに生成された情報を読むことができる。例えば、米国特許第６，０９１，３７６号明細書は、自動車正面のフロントガラスの外側視野に重なる関係に情報と電話の押しボタンが表示されることを可能にするために自動車で使用するための移動式電話の設備を開示している。表示される情報の種類の実施例は、呼び出しが発生し、呼び出しが発生しないとき、移動と距離の速度が移動した場合の電話番号と呼び出し時間である。
【０００３】
強化現実システムにおいて、コンピュータ生成画像は実際の場面を強調するために実際の場面上に覆われる。トラッキングシステムは、実際の場面とコンピュータ生成画像の精確な編成を提供するために使用される。例えば、米国特許第６，０６４，７４９号明細書は、カメラで撮像された実際の場面の画像分析に使用するトラッキングシステムを開示している。
【０００４】
実際の場面上におけるコンピュータ生成画像のオーバーレイ（ｏｖｅｒｌａｙ）は、一般的に、ユーザが半分が銀色掛かったミラーを通して実際の場面を見て、表示装置によって半分が銀色掛かったミラーに投影されたコンピュータ生成画像をユーザに反射する、半分が銀色掛かったミラーを使用して実行される。
【０００５】
発明の開示
本発明の目的は、強化現実システムと機器における改良を提供し、さらに強化現実システムと機器の使用方法の改良を提供することである。
【０００６】
本発明によると、強化現実を見る機器（ａｎ  ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ  ｖｉｅｗｉｎｇ  ａｐｐａｒａｔｕｓ）に表示するオーバーレイ場面の調整方法が提供され、オーバーレイ場面に包含される実際の場面の所定要素に対応する編成インジケータを生じて、編成インジケータは使用において、実際の場面の所定要素と編成されることを特徴とする。
【０００７】
本発明の別の態様によると、使用において、実際の場面の所定要素と編成される、実際の場面の所定要素に対応する編成インジケータを備えてなる、強化現実場面（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ  ｓｃｅｎｅ）を形成するために実際の場面との組合せに適切なオーバーレイ場面が提供される。
【０００８】
編成インジケータは、実際の場面の画像分析を行ない、オーバーレイ画像を分析された画像に適合する装置を必要とせずに、簡素で低コストな手法でユーザによってオーバーレイ場面と実際の場面を編成させることを可能にする。編成インジケータは、編成インジケータが編成されるべき実際の場面の要素をユーザが容易に認識できるように選択される。例えば、編成インジケータは目立つ形状を含んでもよい。編成インジケータは、オプションでユーザが編成を実行することを支援するテキストを含んでもよい。
【０００９】
本発明の別の態様によると、実際の場面の所定要素に対応する編成インジケータを有する、実際の場面とオーバーレイ場面を見るために適している、強化現実を見る機器を備えるポータブル電子装置が提供され、強化現実を見る機器は表示スクリーンを備えてなり、かかる装置は表示スクリーンがオーバーレイ場面を表示する第一モードを有し、さらに表示スクリーンが非オーバーレイ場面を表示する第二モードを有する。
【００１０】
かかるポータブル電子装置の手段によって、ユーザは強化現実場面を見ることが可能であり、オーバーレイ場面の編成インジケータの手段によって実際の場面をオーバーレイ場面と容易に編成することが可能である。さらに、かかるポータブル電子装置の手段によって、ユーザが表示スクリーンだけを見ているところから強化現実場面を見るように容易に変更可能であり、さらにその逆の場合も可能である。
【００１１】
一の実施態様において、強化を見る装置は、ユーザが、オーバーレイ場面が表示スクリーンに表示した、実際の場面に置かれて見ることができる第一位置において、さらにユーザが実際の場面を見ないで表示スクリーンを見ることができる第二位置において調節可能な回転式に取り付けられた半透明ミラーを備えてなる。例えば、第二位置において、半透明ミラーはポータブル電子装置の本体に対して位置してよく、さらに第一位置において、半透明ミラーはポータブル電子装置の本体から離れて回転してもよい。それによって、ユーザに、強化現実を見るモードと表示スクリーンだけが見られる表示だけを見るモードとを変換する簡素な手法が提供される。
【００１２】
半透明ミラーのオプションの軸回転はモーターにより駆動される。さらに、オプションで、第一モードの採用は、半透明ミラーの第一軸回転位置に対応しており、第二モードの採用は、表示スクリーンの第二軸回転位置に対応している。
【００１３】
ポータブル電子装置の別の実施態様において、第一モードでは、表示スクリーンは透明であり、実際の場面は表示スクリーンにより見られてもよく、第二モードでは、実際の場面は表示スクリーンにより見られないかもしれない。かかる第二モードにおいて、実際の場面の視野は、表示の電子制御によって、又は非オーバーレイ場面が表示上で見えるかもしれないような、表示背部に位置するマスク装置などの機械的な手段によって不明瞭であるかもしれない。それによって、ユーザに、強化現実を見るモードと表示スクリーンだけが見られる表示だけを見るモードとを変換する簡素な手法が提供される。
【００１４】
オプションで、ポータブル電子装置は、配位センサーと、装置の第一配位に対応する第一モードの採用と、及び装置の第二配位に対応する第二モードの採用を有する。
【００１５】
本発明の別の実施態様において、ポータブル電子装置は記憶手段と複数のオーバーレイ場面の表示を選択するための選択手段を備えてなり、かかる記憶手段は、異なる実際の場面に各々が対応しており、それら異なる実際の場面のそれぞれの所定要素に対応する編成インジケータを各々が有する、複数のオーバーレイ場面を含み、さらに選択手段はポータブル電子装置の位置の表示に対応する。かかる手段によって、ユーザは、装置の位置に適切であるオーバーレイ場面の選択を備えて、複数の強化現実場面のいずれか一つを見るための装置の使用が可能である。
【００１６】
オプションで、ポータブル電子装置は、位置を決定する手段と、選択手段に位置の表示を供給する手段を備えてなる。この手段によって、適切なオーバーレイ場面の選択は自動であり、位置の表示を提供することはユーザに要求する必要がない。
【００１７】
オプションで、ポータブル電子装置は配位センサーと、選択手段に配位の表示を供給する手段を備えてなる。この手段によって、配位に適切なオーバーレイ場面は選択されてもよい。
【００１８】
本発明の別の実施態様において、ポータブル電子装置は、配位の表示を生じるための配位感知手段と、位置の表示を生じる位置決定手段と、異なる実際の場面に各々が対応する、複数のオーバーレイ場面を含む記憶手段と、複数のオーバーレイ場面の表示から選択するためのポータブル電子装置の位置と配位の表示に対応する選択手段を備えてなる。かかるオーバーレイ場面は、ユーザーによってオーバーレイ場面の編成を必要としないでオーバーレイ場面が実際の場面と十分正確に編成する場合に表示される。
【００１９】
本発明の別の実施態様において、ポータブル電子装置は無線リンク上に表示するためのオーバーレイ場面を受信する手段を備えてなる。この手段によって、オーバーレイ場面はポータブル電子装置に記憶されることを必要としないが、無線リンク上のリモートサーバーから供給できるか、又は追加的若しくは更新されて、オーバーレイ場面はリモートサーバーから記憶されたオーバーレイ場面を含むポータブル電子装置に転送できる。
【００２０】
本発明の別の実施態様において、ポータブル電子装置は、位置を決定する手段と、オプションで、配位センサーと、及び位置とオプションで無線リンク上の配位の表示を送信する手段を備えてなる。この手段によって、位置とオプションで配位の表示を受信するリモートサーバーは、位置とオプションでポータブル電子装置の配位に適切なオーバーレイ場面を無線リンク上のポータブル電子装置に送信するために選択できる。
【００２１】
本発明の別の態様によると、表示のためにオーバーレイ場面を無線リンク上に受信する手段と、各々が異なる実際の場面に対応し、各々がそれぞれの実際の場面における所定要素に対応する編成インジケータを含む複数のオーバーレイ場面を有する記憶手段と、ポータブル電子装置上の表示における複数のオーバーレイ場面の一つを選択するための選択手段を含んでいる提供手段とを有するポータブル電子装置を備えてなる強化現実システムが提供され、選択手段は、位置とオプションでポータブル電子装置の配位の表示に対応しており、さらに選択されたオーバーレイ場面はポータブル電子装置に送信される。かかるシステムの実施態様において、位置とオプションで配位の表示は、位置とオプションで配位センサーを決定する手段を有する、ポータブル電子装置からの提供手段に送信される。代替として、位置はポータブル電子装置の外部の手段を使用して決定されてもよい。
【００２２】
本発明の別の態様によると、ポータブル電子装置を備えてなる強化現実システムが提供され、かかるポータブル電子装置は位置と配位センサーを決定する手段と、無線リンク上に位置と配位の表示を送信する手段と、表示のためのオーバーレイ場面を無線リンク上に受信するための手段を備え、さらに本システムは、各々が異なる実際の場面に対応する、複数のオーバーレイ場面を記憶するための記憶手段を有する提供手段を備えてなり、さらに提供手段は、ポータブル電子装置の位置と配位の表示に対応しており、ポータブル電子装置の表示において複数のオーバーレイ場面のうち一つを選択するための選択手段と、選択されたオーバーレイ場面をポータブル電子装置に送信するための手段を備えてなる。
【００２３】
本発明は添付図を参照しながら、実施例の手法によって説明される。
【００２４】
本発明を実行するためのベストモード
最初に、編成インジケータの概念が記載される。編成インジケータを有する強化現実場面を見るのに適しているポータブル電子装置が記載されるだろう。次いで、編成インジケータを用いる強化現実システム及びかかるポータブル電子装置が記載されるだろう。
【００２５】
図１を参照するに、ＬＣＤスクリーンなどの表示スクリーン２と半透明ミラー３を備えて成る強化現実を見る機器１の典型的な形態が例示される。半透明ミラー３の平面は、表示スクリーン２の平面とユーザの見る方向４に対して約４５度である。強化現実を見る機器１のユーザは、半透明ミラー３を見て、半透明ミラー３を通過する実際の場面を認識し、表示スクリーン２に表示されて半透明ミラー３によりユーザに向かって反射される、コンピュータが生成したオーバーレイ場面を認識する。かかる手法において、実存画面とオーバーレイ場面が組み合わせられる。参照を容易にするために、用語“半透明ミラー”が明細書の全体にわたって使用されて、半透明ミラーだけでなく任意の等価な構成部分をも包含することを主張する。
【００２６】
ユーザが実際の場面でオーバーレイ場面を編成させることができるために、オーバーレイ場面は、実際の場面の前もって定義した要素に相当する１つ以上の編成インジケーターを含んでいる。かかる編成インジケータの実施例は、図２Ｂ、３Ｂ及び１３Ｂに例示される。
【００２７】
図２を参照するに、図２Ａにおいて、実際の場面１０は、例えば、画廊で表示されるかもしれないような絵を含んでいる。図２Ｂにおいて、表示スクリーン２に表示された、コンピュータ生成されたオーバーレイ場面１１がある。オーバーレイ場面１１は、ユーザが実際の場面１０をオーバーレイ場面１１で編成できるように提供される、編成インジケータ１３を含んでいる。編成インジケータ１３は絵の周囲に対応する。オーバーレイ場面１１の残りは、絵の特定の部分に関する情報（そうでなければユーザによって気づかれないままかもしれない時計をこの場合指摘している）、作者の名前及び絵のタイトルを含んでいる絵の注釈を含む。図２Ｃは、強化現実場面１２を形成するために実際の場面１０の対応する要素と表示された編成インジケータ１３をユーザが編成する場合に、ユーザによって見られるような、実際の場面１０とオーバーレイ場面１１の合成視野を示す。
【００２８】
図３を参照するに、図３Ａにおいて、例えば、修理作業を行なうサービス技術者によって見られるように電子回路ボードを含む実際の場面１４がある。図３Ｂにおいて、表示スクリーン２に表示される、コンピュータ生成のオーバーレイ場面１５がある。オーバーレイ場面１５は、回路ボードの端に対応し、ユーザが実際の場面１４をオーバーレイ場面１５と編成できる、編成インジケータ１６を含む。オーバーレイ場面の残りは、電子回路ボードの特定部分に関する情報をユーザに提供する注釈を含んでいる（この場合、例示だけであり、調整がなされるべきところを指摘している）。図３Ｃは、強化現実場面１７を形成するために実際の場面１４の対応する要素と表示された編成インジケータ１６をユーザが編成する場合に、ユーザによって見られるような、実際の場面１４とオーバーレイ場面１５の合成視野１７を示している。
【００２９】
オーバーレイ場面を生成するためにオーバーレイ画像と組み合わせできる、実際の場面と、オーバーレイ画像と、及び編成インジケータの他の例は、表１に表示される。
【００３０】
編成インジケータを有する強化現実場面を見るために適するポータブル電子装置は、実施例として移動式電話を使用して記載される。図４を参照するに、表示スクリーン２と、表示画像だけを見る場合に表示スクリーン２と平行に位置することが可能であり、強化現実場面を見る場合に図４に描写されるように表示スクリーン２から遠方に回転可能である、回転式に取り付けられた半透明ミラー３を有する、移動式電話２０を概略する斜視図が例示される。
【００３１】
【表１】
2004534963.tif 000003
図５は、ユーザが強化現実場面を見ることができるように回転式に取り付けられた半透明ミラー３が、表示スクリーン２に関して約４５度の位置で回転軸５に関して回転した場合における、図４の移動式電話２０を概略する側面からの断面図を例示する。図５はまた、強化現実場面を見る場合のユーザの視線４を例示しており、視線は表示スクリーン２の表示表面に対して平行である。半透明ミラー３によって反射される表示された編成インジケータの画像が、半透明ミラー３により見られる実際の場面の所定要素と編成されるように、ユーザは移動式電話２０を移動させる。図６は、回転式に取り付けられた半透明ミラー３が、表示スクリーン２と平行に位置して、さらに実際の場面を伴わずに表示画面だけを見る場合ユーザの視線４を例示し、視線が表示スクリーン２の表示表面とほぼ垂直である、図４の移動式電話２０を概略する側面からの断面図を例示する。
【００３２】
任意で、表示スクリーン２によって表示される画像は、移動式電話２０の本体２１に関するか、又は表示スクリーン２に関する半透明ミラー３の角度に依存してもよい。図５及び６に例示の実施態様において、選択性のスイッチ手段６は、半透明ミラー３が表示スクリーン２に対して平行に位置するか、又は平行な位置から回転して位置するかどうかを検知する。スイッチ手段６が、半透明ミラー３が表示スクリーン２に平行して位置することを検知する場合、実際の場面を備えないで見るだけの目的の画像のみが、呼び出ししている場合に呼び出し情報として、表示スクリーン２に表示される。スイッチ手段６は、半透明ミラー３が平行位置から回転した位置にあることを検知する場合、編成インジケータを含む強化現実場面におけるオーバーレイ場面は表示スクリーン２に表示されてもよい。
【００３３】
任意で、回転軸５に関する半透明ミラー３の回転はモーターで駆動されてもよい。図５及び６に例示される実施態様において、選択的なモーター７は半透明ミラー３の回転を駆動する。
【００３４】
任意で、半透明ミラー３と表示スクリーン２の両者は、回転式に取り付けてもよい。図７を参照するに、第一回転軸５に関して回転してもよい半透明ミラー３と第二回転軸８に関して回転してもよい表示スクリーン２を有する移動式電話の側面からの断面図が例示されている。実施態様で、強化現実場面において、表示スクリーン２は、移動式電話の本体２２の表面に関しておよそ９０度で回転し、半透明ミラー３は表示スクリーン２に関しておよそ４５度で回転する。表示スクリーン２と半透明ミラー３は、強化現実場面を見るためのそれぞれの位置において、ユーザが見る視線４が本体２２を通過し、本体２２によって妨害されないように、移動式電話の本体２２に取り付けられている。半透明ミラー３によって反射する、表示された編成インジケータは、半透明ミラー３により見られる実際の場面の前もって定義した要素と編成するように、ユーザは、移動式電話を移動する。
【００３５】
任意に、図７に例示された移動式電話の表示スクリーン２によって表示された画像は、半透明ミラー３の角度に依存するか、又は移動式電話の本体２２に関して表示スクリーン２の角度に依存する。図７に例示された実施態様において、選択性のスイッチ手段６は、表示スクリーン２が本体２２から離れて回転した位置にあるかどうかを検知する。表示スクリーン２が本体２２から離れて回転していないことをスイッチ手段６が検知する場合、実際の場面を備えないで見るだけの目的の画像のみが、呼び出ししている場合に呼び出し情報として、表示スクリーン２に表示される。表示スクリーン２が本体２２から離れて回転した位置にあることをスイッチ手段６が検知する場合、編成インジケータを含んでいる強化現実場面におけるオーバーレイ場面は、表示スクリーン２上に表示されてもよい。代替として又は追加的に（例示されていない）、センサー又はスイッチ手段は、半透明ミラー３が表示スクリーン２に対して平行であるかどうか、さらに強化現実場面における非オーバーレイ画像若しくはオーバーレイ場面が適切に表示されるかどうかを検出するために組み込まれてもよい。
【００３６】
任意に、回転軸８と５のそれぞれに関する表示スクリーン２と半透明ミラー３の回転は、モーターによって駆動されてもよい。図７に例示される実施態様において、オプションのモーター７は表示スクリーン２と半透明ミラー３の回転を駆動する。
【００３７】
編成インジケータを有する強化現実場面を見るために適切なポータブル電子装置のさらなる実施態様が記載される。図１４を参照するに、固定された表示スクリーン２を有する移動式電話２０を概略する断面図が例示される。図１４はまた、強化現実場面を見る場合における、表示スクリーン２の表示表面に垂直である、ユーザの視線４を例示する。かかる実施態様において、オーバーレイ場面の要素が透明性を必要としないことを除いて、実際の場面が表示スクリーン２により見られてもよいように、強化現実場面を見ている場合に表示スクリーン２は透明である。かかる透明の表示スクリーン２は公知技術を使用してもよい。非オーバーレイ場面を見る場合、実際の場面は不明瞭である。不明瞭は様々な手段で達成されてもよく、例えば、表示スクリーン２はそれを不透明か半透明にするために電気的に変更されてもよく、又は機械的手段は実際の場面を不明瞭にするために使用されるかもしれない。図１４において、オプションのマスク装置８１は表示スクリーン２の背部に設置されて、８１で示された位置において実際の場面を不明瞭にし、実際の場面が透明の表示スクリーン２により見ることができる８１´で示される位置に表示スクリーン２から摺動してもよい。任意に、スイッチ手段８２は、マスク装置８１が実際の場面を不明瞭にする位置であるかどうかを検知するように提供されてもよい。実際の場面が不明瞭である場合、実際の場面を備えない、単独で見る目的の非オーバーレイ画像だけが、呼び出ししている場合に呼び出し情報として表示スクリーン２に表示される。実際の場面がマスク装置８１（８１´で示される位置）によって不明瞭にされないことをスイッチ手段８２が検知する場合、編成インジケータを含んでいる強化現実場面におけるオーバーレイ場面は表示スクリーン２に表示されてもよい。
【００３８】
移動式電話の配位と図５、６及び１４のユーザの視線から認識されるように、強化現実場面が図５と１４に例示されるように見られるか、又は非オーバーレイ画像が図６に例示されるように見られるかどうかによる異なる配位で移動式電話を保持することをユーザは希望してもよい。さらなるオプションは、移動式電話２０の配位を検知する配位センサー９の包含であり、それによって非オーバーレイ画像が表示スクリーン２に表示されるか、又は強化現実場面におけるオーバーレイ場面が表示されるかどうかを制御する。
【００３９】
図８を参照するに、移動式電話２０の主要な電気的な構成部分を概略するブロック図が示される。無線アンテナ３１はトランシーバ３２に接続されている。トランシーバ３２は、携帯電話ネットワークにおける無線操作を支援する。トランシーバは処理手段３３に接続される。トランシーバは受信データを処理手段３３に伝達し、処理手段３３はデータを転送するためのトランシーバに伝達する。処理手段３３は、表示のための画像を伝達する表示スクリーン２と、処理手段３３に移動式電話２０の配位の表示を配信するオプションの表示センサー９と、表示スクリーン２上で表示するための画像を記憶するメモリ手段３４と、ユーザが処理手段３３に指令を出してもよい手段によるキーボードなどのユーザ入力手段３６に接続される。回転式に取り付けられた半透明ミラー３を有する実施態様の場合において、処理手段３３は、さらに、表示スクリーン２に対して平行な位置と表示スクリーンに対して約４５度の位置間で半透明ミラー３を回転するプロセッサ手段３３に制御されているオプションのモーター７に接続される。処理手段３３はまたオプションのスイッチ手段６に接続されており、回転式に取り付けられた半透明ミラー３を有する実施態様の場合において、回転式に取り付けられた半透明ミラー３が表示スクリーン２に対して平行に位置するか又は表示スクリーン２から離れて回転しているかどうかの表示を処理手段３３に伝達し、さらに透明の表示スクリーン２とマスク装置８１を有する実施態様の場合において、マスク装置８１が実際の場面を不明瞭にしているかどうかの表示を処理手段３３に伝達する。
【００４０】
メモリ手段３４は、一つ以上の実際の場面に対応する、表示における一つ以上のオーバーレイ場面を含む。オーバーレイ場面は、メモリ手段３４に事前に記憶されてもよく、及び／又は無線によってリモートサーバーから移動式電話２０に送信されてもよく、トランシーバ３２によって受信されて、処理手段３３によってメモリ手段３４に記憶されている。
【００４１】
オーバーレイ場面又は非オーバーレイ画像が表示スクリーン２に表示されるかどうかの選択は、処理手段３３に送信されるユーザの指令によって、又は上に記載のような（存在する場合）半透明ミラー３の回転位置によって、又は（回転式に取り付けられている場合）表示スクリーン２の回転の位置によって、又は上に記載のような（存在する場合）ブランク装置８１の位置によって、又は上に記載のような配位センサー９からの表示によって、あるいはトランシーバ３２の手段のいずれかによって決定される。
【００４２】
表示における複数のオーバーレイ場面のうちの一つの選択は、処理手段３３に送られるユーザの指令によってなされる。この手法において、ユーザは、ユーザの位置とユーザが見たいと希望する場面に整合するオーバーレイ場面を選択してもよい。代替として、位置と実際の場面を整合するように表示におけるオーバーレイ場面の選択は、移動式電話２０と関連する装置を決定する位置によって決定される。
【００４３】
別の実施態様において、表示における複数のオーバーレイ場面のうちの一つの選択は、位置の表示に反応を示し、オプションで移動式電話２０の配位の表示に反応を示す。かかる実施態様において、配位の表示は例示された配位センサー９によって、又は第二の配位センサーによって生成されてもよい。
【００４４】
下記に記載される別の実施態様において、位置及び実際の場面と整合するために、さらにオプションで配位と適合するために表示におけるオーバーレイ場面の選択は、移動式電話とユーザから遠隔で決定される。２つのそのような感位置性実施態様が記載される。
【００４５】
図９を参照するに、移動式電話２０´の第一の感位置性実施態様が例示される。図８の実施態様と同一である図９の実施態様の要素は、再度記載されない。図９の実施態様は、二次アンテナ４１と二次トランシーバ４０を有することによって、図８の実施態様とは異なる。二次トランシーバ４０は、例えば、Ｂｌｕｅｔｏｏｔｈの無線基準に応じる、短範囲通信を支援する。移動式電話２０´は表示のためのオーバーレイ場面、又はメモリ手段３４に記憶された複数のオーバーレイ場面における特定の一つを表示する指令を遠隔の短範囲トランシーバから受信する。
【００４６】
図９の実施態様が使用できるシステムの実施例は、図１１で例示される。図１１を参照するに、画廊の部屋の平面図が例示される。この部屋は絵画６１を収容する。各絵画に隣接して位置しているものは、短範囲トランシーバ６２である。短範囲トランシーバは、ローカルエリアネットワーク（ＬＡＮ）６３を介してサーバー６４に接続される。移動式電話２０´は画廊を訪れる観客によってもたらされる。観客が各絵画６１に順番に接近して移動すると、近くの短範囲トランシーバ６２が移動式電話２０´の二次トランシーバ４０と通信できて、それによって移動式電話２０´の存在を認識する。移動式電話２０´の存在を認識することで、短範囲トランシーバ６２は、ＬＡＮ６３を介して移動式電話２０´の存在をサーバー６４に報告する。サーバー６４は、短範囲無線トランシーバ６２が移動式電話２０´の存在を報告することを認識することによって移動式電話２０´の位置を推定し、報告する短範囲トランシーバ６２に隣接する絵画に対応するオーバーレイ場面を部屋内の各絵画におけるオーバーレイ場面を含んでいる記憶メモリ６５から選択し、さらにサーバー６４は、移動式電話２０´に対する送信用の短範囲トランシーバー６２にオーバーレイ場面を転送する。
【００４７】
各記憶されたオーバーレイ場面は、隣接する絵画の所定の特質に対応する編成インジケータを含む。編成インジケータは、例えば、絵画の端に対応してもよい。オーバーレイ場面は二次トランシーバ４０によって受信され、移動式電話２０´の表示スクリーンに表示される。かかる手法において、移動式電話２０´は、移動式電話２０´の位置に依存する場面を表示する。観客が各絵画を見るために移動するにつれて、各絵画に最も近い短範囲トランシーバーは、最も近い絵画に適切なオーバーレイ場面を送信する。
【００４８】
観客は、近くの絵画の観客の視野で表示されたオーバーレイ場面の編成インジケータを編成するために移動式電話２０´の位置を決める。オーバーレイ場面は、例えば、絵画に対するコメントや絵画に対して特に興味のある特徴の強調などの注釈を含んでもよい。そのような注釈の実施例は、図２Ｂに含まれる。
【００４９】
ここで図１０を参照するに、移動式電話２０´´の第二の感位置性実施態様が例示される。図８の実施態様と同一である図１０の実施態様の要素は、再度記載されない。図１０の実施態様は、二次アンテナ５１と全地球測位システム（ＧＰＳ）レシーバ５０を有することによって、図８の実施態様とは異なる。ＧＰＳレシーバ５０は、移動式電話２０´´の位置を評価し、処理手段３３の位置を報告する。オプションの配位センサー９によって生じる配位の表示はまた、処理手段３３に報告されてもよい。
【００５０】
図１０の実施態様が使用できるシステムの実施例は、図１２で例示される。図１２を参照するに、図１０で例示される実施態様を有する、移動式電話２０´´が例示される。図１２を簡素にするために、移動式電話２０´´の要素は、アンテナ３１とＧＰＳレシーバ５０と二次アンテナ５１以外は、ブロック５２で共にグループ化される。移動式電話２０´´は、アンテナ５４とブロック５５によって図１２に表示された携帯電話ネットワークを介してサーバー５６と通信する。
【００５１】
移動式電話２０´´はその位置と、オプションでリモートサーバー５６に対する配位を報告する。サーバー５６は、ユーザの位置とオプションで配位に最も整合する場面を複数のオーバーレイ場面を含んでいる記憶メモリ５７から選択する。選択されたオーバーレイ場面は、オーバーレイ場面と実際の場面におけるユーザの視野間の整合を改良するために再サイズ化又はズーム（イン又はアウト）することによってオプションで変換してもよい。選択されて変換されたオーバーレイ場面は、移動式電話２０´´に転送される。
【００５２】
各記憶されたオーバーレイ場面は、移動式電話２０´´の位置において実際の場面における所定の特質に対応する、編成インジケータを含む。オーバーレイ場面は二次トランシーバ４０によって受信され、移動式電話２０´´の表示スクリーンに表示される。かかる手法において、移動式電話２０´´は、移動式電話２０´´の位置と、オプションで配位に依存する、場面を表示する。ユーザは、実際の場面における所定の要素に対応するユーザの視野で表示されたオーバーレイ場面の編成インジケータを編成するために移動式電話２０´´の位置を決める。かかる場面の実施例は、図１３Ａ、１３Ｂ及び１３Ｃに示される。図１３Ａは都市風景の実際の場面であり、図１３Ｂは、編成インジケータ７０が明白な屋根の上部に対応して、図１３Ｂの残りが観光客に関心のある場所名の注釈を含む、オーバーレイ場面である。図１３Ｃは、図１３Ａの実際の場面と図１３Ｂのオーバーレイ場面を含んでいる、強化現実場面を示す。
【００５３】
幾つかの適用において、位置と配位の表示が、ユーザが移動式電話を編成する必要のない適切なオーバーレイ場面の選択を可能にするために十分に正確である場合、オーバーレイ場面は編成インジケータを含むことを必要としない。
【００５４】
本開示を読むことで、当業者にとって別の修正が明白である。かかる修正は、すでにここに記載された特質に代わるか又は加えて使用されてもよい強化現実、ポータブル電子装置及び移動式電話の技術分野において周知である、他の特質を含んでもよい。
【００５５】
産業上の有用性
強化現実をみるためのシステムと、方法及び装置。
【図面の簡単な説明】
【００５６】
【図１】強化現実を見るための表示スクリーンと半透明ミラーの典型的な形態を例示する図である。
【図２Ａ】編成インジケータを含む強化現実場面の構成例を示す図である。
【図２Ｂ】編成インジケータを含む強化現実場面の構成例を示す図である。
【図２Ｃ】編成インジケータを含む強化現実場面の構成例を示す図である。
【図３Ａ】編成インジケータを含む強化現実場面の別の構成例を示す図である。
【図３Ｂ】編成インジケータを含む強化現実場面の別の構成例を示す図である。
【図３Ｃ】編成インジケータを含む強化現実場面の別の構成例を示す図である。
【図４】回転式に取り付けられた半透明ミラーを有し、強化現実場面を見るために設備された移動式電話を概略する斜視図である。
【図５】第一位置に配置された半透明ミラーを備える図４に示される移動式電話を概略する側面からみた断面図である。
【図６】第二位置に配置された半透明ミラーを備える図３に示される移動式電話を概略する側面からみた断面図である。
【図７】回転式に取り付けられた半透明ミラーと表示スクリーンを有し、強化現実場面を見るために設備された移動式電話を概略する側面から見た断面図である。
【図８】移動式電話の主要な電気的な構成部分を概略するブロック図である。
【図９】感位置性移動式電話の第一実施態様を概略するブロック図である。
【図１０】感位置性移動式電話の第二実施態様を概略するブロック図である。
【図１１】感位置性移動式電話の第一実施態様を使用するシステムを例示する図である。
【図１２】感位置性移動式電話の第二実施態様を使用するシステムを例示する図である。
【図１３Ａ】図１２のシステムにおいて感位置性移動式電話に表示される編成インジケータを含む強化現実場面の構成例を示す図である。
【図１３Ｂ】図１２のシステムにおいて感位置性移動式電話に表示される編成インジケータを含む強化現実場面の構成例を示す図である。
【図１３Ｃ】図１２のシステムにおいて感位置性移動式電話に表示される編成インジケータを含む強化現実場面の構成例を示す図である。
【図１４】透明な表示を備える移動式電話を概略する側面から見た断面図である。
【図１】
2004534963.tif 000004
【図２Ｂ】
2004534963.tif 000005
【図２Ｃ】
2004534963.tif 000006
【図３Ｂ】
2004534963.tif 000007
【図３Ｃ】
2004534963.tif 000008
【図１２】
2004534963.tif 000009
【図１３Ｂ】
2004534963.tif 000010
【図１３Ｃ】
2004534963.tif 000011
【国際公開パンフレット】
2004534963.tif 000012
2004534963.tif 000013
2004534963.tif 000014
2004534963.tif 000015
2004534963.tif 000016
2004534963.tif 000017
2004534963.tif 000018
2004534963.tif 000019
2004534963.tif 000020
2004534963.tif 000021
2004534963.tif 000022
2004534963.tif 000023
2004534963.tif 000024
2004534963.tif 000025
2004534963.tif 000026
2004534963.tif 000027
2004534963.tif 000028
2004534963.tif 000029
2004534963.tif 000030
2004534963.tif 000031
2004534963.tif 000032
2004534963.tif 000033
2004534963.tif 000034
2004534963.tif 000035
2004534963.tif 000036
2004534963.tif 000037
2004534963.tif 000038
2004534963.tif 000039
2004534963.tif 000040
2004534963.tif 000041
2004534963.tif 000042
2004534963.tif 000043
【国際公開パンフレット（コレクトバージョン）】
2004534963.tif 000044
【国際調査報告】
2004534963.tif 000045
2004534963.tif 000046
2004534963.tif 000047