(57)【要約】  携帯装置（１００）によって生成されたコンテンツを現実に投影するためのアクセサリ（２）は、携帯装置に機械的に取り付けるように構成されたハウジング（１０２）と、ハウジング内の観察光学素子（１０８）と、を備え、ハウジングは、シースルーディスプレイ（２３）を介して、携帯装置によって生成されたコンテンツの画像を現実に投影するように構成されている。いくつかのアプリケーションでは、携帯装置はスマートフォンである。
2019534493.tif 000002
【特許請求の範囲】
【請求項１】
携帯装置（１００）によって生成されたコンテンツを現実に投影するためのアクセサリ（２）であって、
前記携帯装置に機械的に取り付けるように構成されたハウジング（１０２）と、
前記ハウジング内の観察光学素子（１０８）と、
を備え、
前記ハウジングは、シースルーディスプレイ（２３）を介して、前記携帯装置によって生成されたコンテンツの画像を現実に投影するように構成された、アクセサリ。
【請求項２】
前記携帯装置（１００）がスマートフォンである、請求項１に記載のアクセサリ。
【請求項３】
電気信号を受信し、当該電気信号を前記観察光学素子によって現実に投影するための画像に変換するように構成されたコントローラ（２１）をさらに含む、請求項１または２に記載のアクセサリ。
【請求項４】
前記コンテンツが前記携帯装置の表示画面（２００）に表示され、前記観察光学素子（１０８）が、前記携帯装置の前記表示画面に表示される前記画像の少なくとも一部分を取得するように構成されると共に、前記画像の前記一部分を外部現実に投影するように構成される、請求項１から３のいずれか一項に記載のアクセサリ。
【請求項５】
前記シースルーディスプレイは半透明ミラー（１０６）である、請求項４に記載のアクセサリ。
【請求項６】
前記シースルーディスプレイは光導波路である、請求項４に記載のアクセサリ。
【請求項７】
空間内の既知の位置を有する携帯カメラ（１０１）によって撮像されたオブジェクトの空間内の位置を決定するための方法であって、
前記カメラの前記既知の位置を、前記オブジェクトに対する視線方向と組み合わせて使用すると共に、複数のオブジェクトの複数の画像とこれらのそれぞれの位置に関する情報とを含むデータベース内でレコードを見つけるために前記オブジェクトの前記画像と組み合わせて使用することと、
前記データベースから前記オブジェクトの位置を抽出することと、
を含む、方法。
【請求項８】
前記データベースから前記オブジェクトの高解像度画像を抽出することを含む、請求項７に記載の方法。
【請求項９】
前記カメラの前記位置から観察された前記オブジェクトの画像を作成するために、前記データベースから抽出された前記画像を変換することを含む、請求項８に記載の方法。
【請求項１０】
表示画面上に前記画像を表示することを含む、請求項７から９のいずれか一項に記載の方法。
【請求項１１】
前記画像を現実の画像に重ね合わせることを含む、請求項１０に記載の方法。
【請求項１２】
前記画像を現実に重ね合わせることを含み、前記表示画面がシースルーディスプレイである、請求項１０に記載の方法。
【請求項１３】
位置が既知のオブジェクトの画像を投影する方法であって、
複数のオブジェクトの複数の画像とこれらのそれぞれの位置に関する情報とを含むデータベース内でレコードを見つけるために前記オブジェクトの前記既知の位置を使用することと、
前記データベースから前記オブジェクトの位置を抽出することと、
前記画像を現実の上に重ねてシースルーディスプレイに表示することと、
を含む、方法。
【請求項１４】
データベースから、第１の既知の位置を有するオブジェクトの画像を抽出し、第２の既知の位置にあるシースルーディスプレイに表示する方法であって、前記データベースは、複数のオブジェクトの複数の画像およびこれらのそれぞれの位置を含み、前記方法は、
前記オブジェクトに対応するデータベース内のレコードを見つけるために前記オブジェクトの前記第１の既知の位置を使用することと、
前記データベースから前記オブジェクトの画像を抽出することと、
前記シースルーディスプレイの前記第２の既知の位置から観察されるように前記オブジェクトの画像を生成するように前記画像を変換することと、
変換された前記画像を、現実または現実の画像と重ね合わせてシースルーディスプレイ上に表示することと、
を含む、方法。
【請求項１５】
前記表示画像を電子的にズームインまたはズームアウトすることを含む、請求項１０から１４のいずれか一項に記載の方法。
【請求項１６】
オブジェクトとカメラとの間の距離を推定するための方法であって、
カメラによって取得されたオブジェクトの画像とディープラーニングとを使用することを含む方法。
【請求項１７】
前記オブジェクトが建物である、請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スマートフォンを用いた拡張現実アプリケーションに関する。
【背景技術】
【０００２】
拡張現実感は、現実を直接または間接的に見ることを使用し、現実は、追加の情報、通常はコンピュータ生成された情報を現実に重ね合わせることによってさらに増強される。現実を直接見ることを使用する装置は、典型的にはシースルーディスプレイ（Ｓｅｅ-Ｔｈｒｏｕｇｈ  Ｄｉｓｐｌａｙ）、すなわち半透明の鏡（通常コンバイナ（Ｃｏｍｂｉｎｅｒ）と呼ばれる）を含み、当該半透明の鏡を通して現実を観察し、重ね合わせた情報と組み合わせることができる。
【０００３】
これらの装置は典型的にはＧＰＳのような位置決め要素と、ジャイロ、加速度計および磁力計を更に含むＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ：慣性測定装置）のような方向要素とを含む。
【０００４】
そのような拡張現実感装置の例は、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ：ヘッドマウントディスプレイ）、例えば、マイクロソフトのＨｏｌｏＬｅｎｓである。これらの装置は、典型的には、通常のアイウェアと比較してかさばり、重く、快適性が低く、審美性が低く、高価である。これらの欠点は、ＨＭＤが広く消費者に受け入れられるのを妨げる主な障害の１つである。
【０００５】
これらの欠点を克服するために、拡張現実アプリケーションのために携帯スマートフォンを使用する試みがなされている。携帯スマートフォンには、カメラ、ＧＰＳ、ＩＭＵ、ディスプレイ、プロセッサ、およびワイヤレス接続が内蔵されており、消費者製品として広く使用されている。そのため、携帯スマートフォンは拡張現実感アプリケーションのプラットフォームとして適している。それにもかかわらず、携帯スマートフォンはそれらの表示画面上で現実の間接的な観察のみを可能にする。したがって、拡張現実感のためのスマートフォンアプリケーションが使用されるとき、重ね合わされた情報は、現実そのものではなく、スマートフォンカメラによって取得された現実の画像と組み合わされる。
【０００６】
拡張現実のための携帯スマートフォンアプリケーションは、例えば、ＬａｙａｒおよびＭｅｔａｉｏによって開発されたアプリケーションを含む。
【０００７】
現実を見ることは間接的である、すなわち現実自体とは対照的に現実の画像のみがスマートフォンの表示画面上に現れるので、上述のような携帯スマートフォンアプリケーションは、表示画像が２Ｄであるので、カメラの視野に依存する重大な欠点を有しており、このようなものは、距離感も、オブジェクトのサイズ感も与えず、方向付けを非常に困難にする。
【０００８】
スマートフォン上で拡張現実を提供するための別の試みは、透明な表示スクリーンを有するスマートフォンの導入である。例えば、レノボのＺｕｋ（ｈｔｔｐ：／／ｇａｄｇｅｔｓ．ｎｄｔｖ．ｃｏｍ／ｍｏｂｉｌｅｓ／ｎｅｗｓ／ｌｅｎｏｖｏｓ-ｚｕｋ-ｕｎｖｅｉｌｓ-ｔｒａｎｓｐａｒｅｎｔ-ｄｉｓｐｌａｙ-ｓｍａｒｔｐｈｏｎｅ-ｐｒｏｔｏｔｙｐｅ-７２８０４３）である。このアプリケーションでは、追加情報が表示画面に表示されている間、ユーザは透明なスクリーンを通して現実を見ることができる。主な欠点は、視差のために表示された情報を風景に合わせることができない、すなわち、スマートフォンが安定していてユーザが頭を動かすと、風景上の注釈の位置が変わることである。これは、スマートフォンのディスプレイが近くにある（通常２３ｃｍから３０ｃｍ）のに対し、風景が遠い（通常は数十メートルから数百メートル）ためである。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】レノボのＺｕｋ（ｈｔｔｐ：／／ｇａｄｇｅｔｓ．ｎｄｔｖ．ｃｏｍ／ｍｏｂｉｌｅｓ／ｎｅｗｓ／ｌｅｎｏｖｏｓ-ｚｕｋ-ｕｎｖｅｉｌｓ-ｔｒａｎｓｐａｒｅｎｔ-ｄｉｓｐｌａｙ-ｓｍａｒｔｐｈｏｎｅ-ｐｒｏｔｏｔｙｐｅ-７２８０４３）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、それ自体知られているように通常の携帯スマートフォンを拡張現実デバイスとして使用することによって上記の欠点を克服するが、現実の画像上というよりむしろ現実自体の上に重ね合わされる情報を組み合わせることのさらなる強化を伴う。このようにして、本発明は、以下で明らかになるように、重ね合わせを視差なしで組み合わせることを提供する。
【課題を解決するための手段】
【００１１】
本発明による拡張現実システムはまた、スマートフォン位置、カメラの向き、およびオブジェクト画像を使用して、建物などのユーザによる現実のオブジェクトの指定、およびストリートビューなどのデータベースからのその位置の抽出を可能にする。
【００１２】
同様に、オブジェクトの位置が分かっているとき、システムはユーザにオブジェクトを向けてそのオブジェクトを指定することができる。
【００１３】
どちらの場合も、オブジェクトが指定されると、そのオブジェクトの高解像度画像をストリートビューなどのデータベースから抽出できる。
【００１４】
オブジェクトの高解像度画像がデータベースから抽出されると、その画像を現実に重ね合わせることができ、ユーザによる電子ズームインおよびズームアウト操作を実行することが可能になる。
【００１５】
そのようなデータベースがない場合、ディープラーニング（すなわち、ヤン・ルクン、ヨシュア・ベンギオ＆ジェフリー・ヒントン、「ディープラーニング」、ネイチャー、ｖｏｌ．５２１、ｐｐ４３６‐４４４，２０１５）のような既知のトレーニング方法を使用して、画像に基づいて既知の座標に頼ることなく、オブジェクトの画像から、オブジェクトまでの距離を決定／推定できる。そのような方法を訓練するために、訓練アルゴリズムは、各画像内の少なくとも１つの目標位置への既知の深度（カメラからの画像内の点の距離）を有する大きなデータセットの画像が与えられる。このトレーニングセットから、アルゴリズムは、新しい画像内の所望の位置への距離推定のためのパラメータのセットを自動的に決定する。
【００１６】
本発明を理解し、実際にどのように実施することができるかを見るために、添付の図面を参照しながら、非限定的な例として実施形態を説明する。
【図面の簡単な説明】
【００１７】
【図１】ビューワが機械的に取り付けられているスマートフォンを示す本発明の概略図である。
【図２】本発明の第１の実施形態によるビューワの機能を示すブロック図である。
【図３】本発明の第２の実施形態による、スマートフォンの表示画面に対するビューワの光学部品を概略的に示す図である。
【図４】第２の実施形態による、関心領域に対応するスマートフォンの表示画面の一部を概略的に示す図である。
【図５ａ】第２の実施形態による、スマートフォンに取り付けられたビューワの絵図である。
【図５ｂ】スマートフォンの表示画面に関連してビューワの光学部品を絵で示している。
【図６】本発明の第３の実施形態を概略的に示すブロック図である。
【図７】本発明の異なる実施形態に従ってオブジェクトを指定することができる方法を簡潔化した流れ図である。
【発明を実施するための形態】
【００１８】
いくつかの実施形態の以下の説明では、２つ以上の図に現れるかまたは類似の機能を共有する同一の構成要素は、同一の参照符号によって参照される。
【００１９】
図１は、ビューワ２（アクセサリを構成する）が機械的に取り付けられているスマートフォン１００を示す本発明の実施形態を概略的に示す。ビューワ２は、図２に示すように、光学エンジン２２に結合されたコントローラ２１を含むハウジング１０２を含み、光学エンジン２２は、任意選択でＬｕｍｕｓ  ＯＥ-３２とすることができる（ｈｔｔｐ：／／ｌｕｍｕｓ-ｏｐｔｉｃａｌ．ｃｏｍ／＃ｐｌｘ＿ｐｒｏｃｕｃｔｓ＿ｓｅｃｔｉｏｎを参照）。光学エンジン２２は、部分的に透明であるシースルーディスプレイ（コンバイナ）２３を有する。これにより、ユーザは、現実の風景をシースルーディスプレイ２３を通して見ることができる。シースルーディスプレイ２３はまた、スマートフォン１００によって生成されたオーバーレイ情報を風景の上に投影するためにも使用される。
【００２０】
ビューア２の第１の実施形態は、図２にさらに詳細に示されている。コントローラ２１は、ＵＳＢレシーバ２５を有しており、ＵＳＢレシーバ２５は、スマートフォンＵＳＢポート（図示せず）に接続するように構成され、当該スマートフォンによって生成されたＵＳＢ信号を、その構成要素、すなわち、コントロール（Ｉ２Ｃ：Ｉｎｔｅｒ‐Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ。既知の技術）、パワー、ビデオに分割する。また、ＵＳＢレシーバは、ビデオ信号をパラレルの２４ビットＲＧＢ信号に変換する。この変換されたビデオ信号は、フレームレートコンバータ（ＦＲＣ：Ｆｒａｍｅ  Ｒａｔｅ  Ｃｏｎｖｅｒｔｅｒ）２６に伝達され、フレームレートコンバータ（ＦＲＣ）２６は、変換されたビデオ信号がＦＲＣ２６によって供給されるマイクロディスプレイ２７に適合するようにビデオフレームレートを増加させる。マイクロディスプレイ２７は、有機ＬＥＤ（ＯＬＥＤ：Ｏｒｇａｎｉｃ  ＬＥＤ）とすることができるが、ＬＣＯＳ（液晶オンシリコン：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｏｎ  Ｓｉｌｉｃｏｎ）であれば、より高い照度が達成される。マイクロディスプレイ２７がＬＣＯＳ技術上に構築されている場合、Ｉ２Ｃ信号は、マイクロディスプレイに照射するＬＥＤ３２の強度を制御するパルス幅変調器（ＰＷＭ：Ｐｕｌｓｅ  Ｗｉｄｔｈ  Ｍｏｄｕｌａｔｏｒ）２８に供給される。ＬＣＯＳマイクロディスプレイ２７は、結合型光学素子（Ｃｏｕｐｌｅｄ‐ｉｎ  ｏｐｔｉｃｓ）３０を介してシースルーディスプレイ２３に画像を送り、結合型光学素子３０は、マイクロディスプレイによって生成された画像をシースルーディスプレイに光学的に投影する。Ｉ２Ｃ信号は、マイクロディスプレイ２７およびＦＲＣ２６を制御するためにも使用される。マイクロディスプレイ２７がＯＬＥＤであるというあまり好ましくないケースでは、ＰＷＭ２８およびＬＥＤ３２は省かれ、Ｉ２Ｃ信号がＯＬＥＤを直接制御する。電力はＵＳＢレシーバ２５を介して関連する構成要素に、すなわち、マイクロディスプレイ２７およびＬＥＤ３２に供給される。あるいは、外部電池（図示せず）を使用してスマートフォン機の電池の消耗を最小限に抑えることができる。
【００２１】
あるいは、スマートフォンのＵＳＢインターフェースを使用する代わりに、Ｍｏｔｏ-Ｚインターフェース（ｈｔｔｐ：／／ｎｅｗａｔｌａｓ．ｃｏｍ／ｍｏｔｏ-ｚ-ｒｅｖｉｅｗ／４４４８５／）などの別のスマートフォン接続を使用することもできる。
【００２２】
シースルーディスプレイ２３に表示される画像は、好ましくは無限遠で現実の風景に重ね合わされるので、風景と重ね合わされた情報との間に視差は存在しない。
【００２３】
別の実施形態が図３および図４に概略的に示されている。ビューワ２のハウジング１０２は、直接またはアダプタを使用して、スマートフォン１００に機械的に取り付けられている。スマートフォンにアクセサリを取り付けるための機械的手段は当技術分野において公知である。例えば、Ｍｉｇｇｏ'ｓ  Ｐｉｃｔａｒ  ｉＰｈｏｎｅ（登録商標）カメラアクセサリー（ｈｔｔｐｓ：／／ｗｗｗ．ｄｐｒｅｖｉｅｗ．ｃｏｍ／ｎｅｗｓ／１２１９７６３８３５／ｍｉｇｇｏ-ｗａｎｔｓ-ｔｏ-ｄｓｌｒ-ｙｏｕｒ-ｉＰｈｏｎｅ-ｗｉｔｈ-ｔｈｅ-ｐｉｃｔａｒ-ｇｒｉｐ）またはＺｅｉｓｓのレンズアクセサリー（ｈｔｔｐｓ：／／ｐｅｔａｐｉｘｅｌ．ｃｏｍ／２０１６／０１／０６／ｚｅｉｓｓ-ｉｓ-ｊｕｍｐｉｎｇ-ｉｎｔｏ-ｔｈｅ-ｗｏｒｌｄ-ｏｆ-ｓｍａｒｔｐｈｏｎｅ-ｌｅｎｓ-ａｃｃｅｓｓｏｒｉｅｓ／）である。スマートフォンの表示画面２００に表示された情報（この例では、図４の関心領域２０１上の数字「１２３４」）は、ビューワ２によって現実の風景の上に投影される。これが行われる方法を次に説明する。
【００２４】
したがって、全体的に１０８として示される光学素子に向けてミラー１０４から光を向けるために、ビューワ２は、スマートフォンの表示画面２００に向けられた反射面を有するミラー１０４を含む。光学素子１０８は、スマートフォンの表示画面上に表示された情報の画像を、好ましくは無限遠で作成し、これによって風景との視差がなくなる。光学素子１０８は、当該光学素子１０８を上下に移動させるための集光機構（図示せず）と一体化または結合することにより、表示情報が無限遠からの距離、好ましくは数メートルまでの距離で現れるようにできるので、屋内アプリケーション用のビューアとして使用することができる。半透明ミラー（コンバイナ）１０６は、この画像を観察者の眼２０３に向ける。その結果、観察者は、半透明ミラー１０６を介して観察者からも見られる現実の風景の上に重ねて、投影された情報２００'を無限遠に見る。
【００２５】
この実施形態のより詳細な説明は、図５ａおよび５ｂに示される。ビューワ２はスマートフォン１００に取り付けられている。観察者２０３（図３）は、開口部１０３を通して風景と重ね合わせた情報を観察する。
【００２６】
光学素子１０８のさらなる詳細は図５ｂに示されている。光学素子１０８は、２つの同一のダブレット（ｄｏｕｂｌｅｔ）１０８'、１０８”を含み、ミラー１０４を介してダブレットでの合成後焦点面の像がスマートフォンの表示画面２００と一致するように設計される。その結果、スマートフォンの表示画面の画像が無限遠に作成される。図５ｂには、視野の端部における歪みおよび収差を補正するために使用される視野レンズ１０７も示されている。
【００２７】
この実施形態の典型的なパラメータは以下の通りである。
・関心領域２０１の寸法は、４０ｍｍ（水平）および２２．５ｍｍ（垂直）である。
・光学素子１０８は、典型的には７５ｍｍの焦点距離のものであるので、関心領域２０１は、３０°（水平）および１６．７°（垂直）の視野に投影される。
（垂直）。
【００２８】
別の実施形態は、マイクロディスプレイ２７の代わりに結合型光学素子３０（図２に示される）への入力としてスマートフォンの表示画面を使用する。
【００２９】
異なる視野をもたらすように異なるパラメータを有する同様の設計を行うことができることは当業者には明らかである。
【００３０】
図６は、結合型光学素子３０に結合されて、スマートフォン表示画面２００上の関心領域２０１からシースルーディスプレイ２３へ画像を直接投影する別の実施形態を示す。結合光学素子は、関心領域２０１の大きさに適合されている。シースルーディスプレイ２３は、Ｇｏｏｇｌｅ  Ｇｌａｓｓ、Ｅｐｓｏｎ  Ｍｏｖｅｒｉｏ、ＯＤＧ  Ｒ-７、Ｖｕｚｉｘ  Ｓｍａｒｔ  Ｇｌａｓｓｅｓなどのスマートメガネに使用される同様のシースルーディスプレイとすることができる。シースルーディスプレイは、上述したＬｕｍｕｓ  ＯＥ-３２（Ｌｕｍｕｓにより「ＬＯＥ」または「反射型光導波路」と呼ばれる）またはＭｉｃｒｏｓｏｆｔ  Ｈｏｌｏｌｅｎｓで使用されているものなどの導波路ベースのディスプレイの１つであり得る。
【００３１】
オブジェクト上に（現実にもその画像上にも）関連情報を重ね合わせるためには、オブジェクトを正しく指定すること、すなわちスマートフォンの位置、オブジェクトが見られる方向および距離、ならびにオブジェクトの画像を知るべきことが重要である。これはまた、異なる場所にいる他のビューワへのオブジェクトの指定を可能にするためにも重要である。場合によっては、例えば遠くから見たときに、図１の１０１として示されるスマートフォンカメラを使用する表示画面上でも裸眼でも、オブジェクトを鮮明に観察することができない。このような場合、ユーザに高解像度の画像を提供し、それを（ディスプレイ画面上または現実に）オブジェクト上に重ね合わせることも重要である。
【００３２】
画像を拡大／縮小する方法は２つある。「従来の」方法は、ズームレンズを使用することによって光学素子の焦点距離を変えるために光学ズームを使用することである。焦点距離が増加すると視野は狭くなり（「ズームイン」と呼ばれる）、焦点距離が短くなると視野は広くなる（「ズームアウト」と呼ばれる）。
【００３３】
デジタルカメラで一般的なもう１つの方法は、画像の一部分だけを見て、デジタル技術を使用してそれを拡大してすべての画面領域をカバーすることによって、画像を拡大することである。これは通常「電子ズーム」と呼ばれる。
【００３４】
以下のように、本発明は改善されたズーミングを提供する。オブジェクトが指定されると、そのオブジェクトの高解像度画像がデータベース（ストリートビューなど）から抽出され、現実（またはその画像）に重ね合わされる。このようにして、我々は、スマートフォンを有する観察者がオブジェクトの高解像度画像化を可能にしない距離に位置していても、オブジェクトの高解像度画像を見る能力を提供する。
【００３５】
説明したように、オブジェクトを指定できる方法は、次の２つの方法のいずれかで行うことができる。
【００３６】
１．図７に示すように、ユーザはビューワをオブジェクトに向ける。スマートフォンの位置および方向、ならびにスマートフォンカメラによって取得されたオブジェクトの画像は、ストリートビューなどのデータベースから、オブジェクトデータ、すなわち座標および画像を抽出するために使用される。これは次のようにして行うことができる。スマートフォンカメラの位置と方向を使用して、オブジェクトの粗い位置が計算される。スマートフォンカメラによって取得されたオブジェクトの画像は、この粗い位置でストリートビューデータベースの画像と照合され、オブジェクトはストリートビューデータベースで識別される。ストリートビューデータベースには、ストリートビューカメラの位置と共にカメラからオブジェクトまでの距離と方向が含まれている。このデータを使用して、オブジェクトの位置を特定することができる。
【００３７】
２．システムは、オブジェクトの既知の位置座標を使用してユーザをそのオブジェクトに向ける。既知の座標は、ストリートビューなどのデータベースにも送信される。
【００３８】
どちらの場合も、オブジェクトの高解像度画像がデータベースから抽出されると、その画像はスマートフォンの位置から見たように見え、現実に重ね合わされるように変換され、ユーザによる電子ズームインおよびズームイン操作を実行することが可能になる。
【図１】
2019534493.tif 000003
【図２】
2019534493.tif 000004
【図３】
2019534493.tif 000005
【図４】
2019534493.tif 000006
【図５ａ】
2019534493.tif 000007
【図５ｂ】
2019534493.tif 000008
【図６】
2019534493.tif 000009
【図７】
2019534493.tif 000010
【手続補正書】
【提出日】平成30年5月22日(2018.5.22)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スマートフォンを用いた拡張現実アプリケーションに関する。
【背景技術】
【０００２】
拡張現実感は、現実を直接または間接的に見ることを使用し、現実は、追加の情報、通常はコンピュータ生成された情報を現実に重ね合わせることによってさらに増強される。現実を直接見ることを使用する装置は、典型的にはシースルーディスプレイ（Ｓｅｅ-Ｔｈｒｏｕｇｈ  Ｄｉｓｐｌａｙ）、すなわち半透明の鏡（通常コンバイナ（Ｃｏｍｂｉｎｅｒ）と呼ばれる）を含み、当該半透明の鏡を通して現実を観察し、重ね合わせた情報と組み合わせることができる。
【０００３】
これらの装置は典型的にはＧＰＳのような位置決め要素と、ジャイロ、加速度計および磁力計を更に含むＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ：慣性測定装置）のような方向要素とを含む。
【０００４】
そのような拡張現実感装置の例は、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ：ヘッドマウントディスプレイ）、例えば、マイクロソフトのＨｏｌｏＬｅｎｓである。これらの装置は、典型的には、通常のアイウェアと比較してかさばり、重く、快適性が低く、審美性が低く、高価である。これらの欠点は、ＨＭＤが広く消費者に受け入れられるのを妨げる主な障害の１つである。
【０００５】
これらの欠点を克服するために、拡張現実アプリケーションのために携帯スマートフォンを使用する試みがなされている。携帯スマートフォンには、カメラ、ＧＰＳ、ＩＭＵ、ディスプレイ、プロセッサ、およびワイヤレス接続が内蔵されており、消費者製品として広く使用されている。そのため、携帯スマートフォンは拡張現実感アプリケーションのプラットフォームとして適している。それにもかかわらず、携帯スマートフォンはそれらの表示画面上で現実の間接的な観察のみを可能にする。したがって、拡張現実感のためのスマートフォンアプリケーションが使用されるとき、重ね合わされた情報は、現実そのものではなく、スマートフォンカメラによって取得された現実の画像と組み合わされる。
【０００６】
拡張現実のための携帯スマートフォンアプリケーションは、例えば、ＬａｙａｒおよびＭｅｔａｉｏによって開発されたアプリケーションを含む。
【０００７】
現実を見ることは間接的である、すなわち現実自体とは対照的に現実の画像のみがスマートフォンの表示画面上に現れるので、上述のような携帯スマートフォンアプリケーションは、表示画像が２Ｄであるので、カメラの視野に依存する重大な欠点を有しており、このようなものは、距離感も、オブジェクトのサイズ感も与えず、方向付けを非常に困難にする。
スマートフォン上で拡張現実を提供するための別の試みは、透明な表示スクリーンを有するスマートフォンの導入である。例えば、レノボのＺｕｋ（ｈｔｔｐ：／／ｇａｄｇｅｔｓ．ｎｄｔｖ．ｃｏｍ／ｍｏｂｉｌｅｓ／ｎｅｗｓ／ｌｅｎｏｖｏｓ-ｚｕｋ-ｕｎｖｅｉｌｓ-ｔｒａｎｓｐａｒｅｎｔ-ｄｉｓｐｌａｙ-ｓｍａｒｔｐｈｏｎｅ-ｐｒｏｔｏｔｙｐｅ-７２８０４３）である。このアプリケーションでは、追加情報が表示画面に表示されている間、ユーザは透明なスクリーンを通して現実を見ることができる。主な欠点は、視差のために表示された情報を風景に合わせることができない、すなわち、スマートフォンが安定していてユーザが頭を動かすと、風景上の注釈の位置が変わることである。これは、スマートフォンのディスプレイが近くにある（通常２３ｃｍから３０ｃｍ）のに対し、風景が遠い（通常は数十メートルから数百メートル）ためである。
米国特許出願公開２０１４／１０４６９２号明細書は、ヘッドマウント可能な表示装置を開示しており、当該装置は、ユーザの頭部へ搭載可能なフレームを備えており、ユーザの目の前に位置する目への表示位置を決めている。モバイルデバイス・ホルダーは、フレーム上でモバイルデバイスを保持している。保持されているモバイルデバイスのスクリーンの反射画像は、ユーザの視野上で投影されている。
米国特許出願公開２０１２／０５０１４４号明細書は、ウェアブル・ヘッドマウント拡張現実装置を開示しており、当該装置は、表示画面と、反射装置と、計算装置とを備えることで、ユーザは、現実の風景に重畳された、表示装置からの反射を見ることができる。
米国特許出願公開２０１４／１５２５３１号明細書は、モバイルデバイスからの画像を表示するヘッドマウント表示デバイスを開示している。
【０００８】
【特許文献１】米国特許出願公開２０１４／１０４６９２号明細書
【特許文献２】米国特許出願公開２０１２／０５０１４４号明細書
【０００９】
【特許文献１】レノボのＺｕｋ（ｈｔｔｐ：／／ｇａｄｇｅｔｓ．ｎｄｔｖ．ｃｏｍ／ｍｏｂｉｌｅｓ／ｎｅｗｓ／ｌｅｎｏｖｏｓ-ｚｕｋ-ｕｎｖｅｉｌｓ-ｔｒａｎｓｐａｒｅｎｔ-ｄｉｓｐｌａｙ-ｓｍａｒｔｐｈｏｎｅ-ｐｒｏｔｏｔｙｐｅ-７２８０４３）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、それ自体知られているように通常の携帯スマートフォンを拡張現実デバイスとして使用することによって上記の欠点を克服するが、現実の画像上というよりむしろ現実自体の上に重ね合わされる情報を組み合わせることのさらなる強化を伴う。このようにして、本発明は、以下で明らかになるように、重ね合わせを視差なしで組み合わせることを提供する。
【課題を解決するための手段】
【００１１】
本発明による拡張現実システムはまた、スマートフォン位置、カメラの向き、およびオブジェクト画像を使用して、建物などのユーザによる現実のオブジェクトの指定、およびストリートビューなどのデータベースからのその位置の抽出を可能にする。
【００１２】
同様に、オブジェクトの位置が分かっているとき、システムはユーザにオブジェクトを向けてそのオブジェクトを指定することができる。
【００１３】
どちらの場合も、オブジェクトが指定されると、そのオブジェクトの高解像度画像をストリートビューなどのデータベースから抽出できる。
【００１４】
オブジェクトの高解像度画像がデータベースから抽出されると、その画像を現実に重ね合わせることができ、ユーザによる電子ズームインおよびズームアウト操作を実行することが可能になる。
【００１５】
そのようなデータベースがない場合、ディープラーニング（すなわち、ヤン・ルクン、ヨシュア・ベンギオ＆ジェフリー・ヒントン、「ディープラーニング」、ネイチャー、ｖｏｌ．５２１、ｐｐ４３６‐４４４，２０１５）のような既知のトレーニング方法を使用して、画像に基づいて既知の座標に頼ることなく、オブジェクトの画像から、オブジェクトまでの距離を決定／推定できる。そのような方法を訓練するために、訓練アルゴリズムは、各画像内の少なくとも１つの目標位置への既知の深度（カメラからの画像内の点の距離）を有する大きなデータセットの画像が与えられる。このトレーニングセットから、アルゴリズムは、新しい画像内の所望の位置への距離推定のためのパラメータのセットを自動的に決定する。
【００１６】
本発明を理解し、実際にどのように実施することができるかを見るために、添付の図面を参照しながら、非限定的な例として実施形態を説明する。
【図面の簡単な説明】
【００１７】
【図１】ビューワが機械的に取り付けられているスマートフォンを示す本発明の概略図である。
【図２】本発明の第１の実施形態によるビューワの機能を示すブロック図である。
【図３】本発明の第２の実施形態による、スマートフォンの表示画面に対するビューワの光学部品を概略的に示す図である。
【図４】第２の実施形態による、関心領域に対応するスマートフォンの表示画面の一部を概略的に示す図である。
【図５ａ】第２の実施形態による、スマートフォンに取り付けられたビューワの絵図である。
【図５ｂ】スマートフォンの表示画面に関連してビューワの光学部品を絵で示している。
【図６】本発明の第３の実施形態を概略的に示すブロック図である。
【図７】本発明の異なる実施形態に従ってオブジェクトを指定することができる方法を簡潔化した流れ図である。
【発明を実施するための形態】
【００１８】
いくつかの実施形態の以下の説明では、２つ以上の図に現れるかまたは類似の機能を共有する同一の構成要素は、同一の参照符号によって参照される。
【００１９】
図１は、ビューワ２（アクセサリを構成する）が機械的に取り付けられているスマートフォン１００を示す本発明の実施形態を概略的に示す。ビューワ２は、図２に示すように、光学エンジン２２に結合されたコントローラ２１を含むハウジング１０２を含み、光学エンジン２２は、任意選択でＬｕｍｕｓ  ＯＥ-３２とすることができる（ｈｔｔｐ：／／ｌｕｍｕｓ-ｏｐｔｉｃａｌ．ｃｏｍ／＃ｐｌｘ＿ｐｒｏｃｕｃｔｓ＿ｓｅｃｔｉｏｎを参照）。光学エンジン２２は、部分的に透明であるシースルーディスプレイ（コンバイナ）２３を有する。これにより、ユーザは、現実の風景をシースルーディスプレイ２３を通して見ることができる。シースルーディスプレイ２３はまた、スマートフォン１００によって生成されたオーバーレイ情報を風景の上に投影するためにも使用される。
【００２０】
ビューア２の第１の実施形態は、図２にさらに詳細に示されている。コントローラ２１は、ＵＳＢレシーバ２５を有しており、ＵＳＢレシーバ２５は、スマートフォンＵＳＢポート（図示せず）に接続するように構成され、当該スマートフォンによって生成されたＵＳＢ信号を、その構成要素、すなわち、コントロール（Ｉ２Ｃ：Ｉｎｔｅｒ‐Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ。既知の技術）、パワー、ビデオに分割する。また、ＵＳＢレシーバは、ビデオ信号をパラレルの２４ビットＲＧＢ信号に変換する。この変換されたビデオ信号は、フレームレートコンバータ（ＦＲＣ：Ｆｒａｍｅ  Ｒａｔｅ  Ｃｏｎｖｅｒｔｅｒ）２６に伝達され、フレームレートコンバータ（ＦＲＣ）２６は、変換されたビデオ信号がＦＲＣ２６によって供給されるマイクロディスプレイ２７に適合するようにビデオフレームレートを増加させる。マイクロディスプレイ２７は、有機ＬＥＤ（ＯＬＥＤ：Ｏｒｇａｎｉｃ  ＬＥＤ）とすることができるが、ＬＣＯＳ（液晶オンシリコン：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｏｎ  Ｓｉｌｉｃｏｎ）であれば、より高い照度が達成される。マイクロディスプレイ２７がＬＣＯＳ技術上に構築されている場合、Ｉ２Ｃ信号は、マイクロディスプレイに照射するＬＥＤ３２の強度を制御するパルス幅変調器（ＰＷＭ：Ｐｕｌｓｅ  Ｗｉｄｔｈ  Ｍｏｄｕｌａｔｏｒ）２８に供給される。ＬＣＯＳマイクロディスプレイ２７は、結合型光学素子（Ｃｏｕｐｌｅｄ‐ｉｎ  ｏｐｔｉｃｓ）３０を介してシースルーディスプレイ２３に画像を送り、結合型光学素子３０は、マイクロディスプレイによって生成された画像をシースルーディスプレイに光学的に投影する。Ｉ２Ｃ信号は、マイクロディスプレイ２７およびＦＲＣ２６を制御するためにも使用される。マイクロディスプレイ２７がＯＬＥＤであるというあまり好ましくないケースでは、ＰＷＭ２８およびＬＥＤ３２は省かれ、Ｉ２Ｃ信号がＯＬＥＤを直接制御する。電力はＵＳＢレシーバ２５を介して関連する構成要素に、すなわち、マイクロディスプレイ２７およびＬＥＤ３２に供給される。あるいは、外部電池（図示せず）を使用してスマートフォン機の電池の消耗を最小限に抑えることができる。
【００２１】
あるいは、スマートフォンのＵＳＢインターフェースを使用する代わりに、Ｍｏｔｏ-Ｚインターフェース（ｈｔｔｐ：／／ｎｅｗａｔｌａｓ．ｃｏｍ／ｍｏｔｏ-ｚ-ｒｅｖｉｅｗ／４４４８５／）などの別のスマートフォン接続を使用することもできる。
【００２２】
シースルーディスプレイ２３に表示される画像は、好ましくは無限遠で現実の風景に重ね合わされるので、風景と重ね合わされた情報との間に視差は存在しない。
【００２３】
別の実施形態が図３および図４に概略的に示されている。ビューワ２のハウジング１０２は、直接またはアダプタを使用して、スマートフォン１００に機械的に取り付けられている。スマートフォンにアクセサリを取り付けるための機械的手段は当技術分野において公知である。例えば、Ｍｉｇｇｏ'ｓ  Ｐｉｃｔａｒ  ｉＰｈｏｎｅ（登録商標）カメラアクセサリー（ｈｔｔｐｓ：／／ｗｗｗ．ｄｐｒｅｖｉｅｗ．ｃｏｍ／ｎｅｗｓ／１２１９７６３８３５／ｍｉｇｇｏ-ｗａｎｔｓ-ｔｏ-ｄｓｌｒ-ｙｏｕｒ-ｉｐｈｏｎｅ-ｗｉｔｈ-ｔｈｅ-ｐｉｃｔａｒ-ｇｒｉｐ）またはＺｅｉｓｓのレンズアクセサリー（ｈｔｔｐｓ：／／ｐｅｔａｐｉｘｅｌ．ｃｏｍ／２０１６／０１／０６／ｚｅｉｓｓ-ｉｓ-ｊｕｍｐｉｎｇ-ｉｎｔｏ-ｔｈｅ-ｗｏｒｌｄ-ｏｆ-ｓｍａｒｔｐｈｏｎｅ-ｌｅｎｓ-ａｃｃｅｓｓｏｒｉｅｓ／）である。スマートフォンの表示画面２００に表示された情報（この例では、図４の関心領域２０１上の数字「１２３４」）は、ビューワ２によって現実の風景の上に投影される。これが行われる方法を次に説明する。
【００２４】
したがって、全体的に１０８として示される光学素子に向けてミラー１０４から光を向けるために、ビューワ２は、スマートフォンの表示画面２００に向けられた反射面を有するミラー１０４を含む。光学素子１０８は、スマートフォンの表示画面上に表示された情報の画像を、好ましくは無限遠で作成し、これによって風景との視差がなくなる。光学素子１０８は、当該光学素子１０８を上下に移動させるための集光機構（図示せず）と一体化または結合することにより、表示情報が無限遠からの距離、好ましくは数メートルまでの距離で現れるようにできるので、屋内アプリケーション用のビューアとして使用することができる。半透明ミラー（コンバイナ）１０６は、この画像を観察者の眼２０３に向ける。その結果、観察者は、半透明ミラー１０６を介して観察者からも見られる現実の風景の上に重ねて、投影された情報２００'を無限遠に見る。
【００２５】
この実施形態のより詳細な説明は、図５ａおよび５ｂに示される。ビューワ２はスマートフォン１００に取り付けられている。観察者２０３（図３）は、開口部１０３を通して風景と重ね合わせた情報を観察する。
【００２６】
光学素子１０８のさらなる詳細は図５ｂに示されている。光学素子１０８は、２つの同一のダブレット（ｄｏｕｂｌｅｔ）１０８'、１０８”を含み、ミラー１０４を介してダブレットでの合成後焦点面の像がスマートフォンの表示画面２００と一致するように設計される。その結果、スマートフォンの表示画面の画像が無限遠に作成される。図５ｂには、視野の端部における歪みおよび収差を補正するために使用される視野レンズ１０７も示されている。
【００２７】
この実施形態の典型的なパラメータは以下の通りである。
・関心領域２０１の寸法は、４０ｍｍ（水平）および２２．５ｍｍ（垂直）である。
・光学素子１０８は、典型的には７５ｍｍの焦点距離のものであるので、関心領域２０１は、３０°（水平）および１６．７°（垂直）の視野に投影される。
（垂直）。
【００２８】
別の実施形態は、マイクロディスプレイ２７の代わりに結合型光学素子３０（図２に示される）への入力としてスマートフォンの表示画面を使用する。
【００２９】
異なる視野をもたらすように異なるパラメータを有する同様の設計を行うことができることは当業者には明らかである。
【００３０】
図６は、結合型光学素子３０に結合されて、スマートフォン表示画面２００上の関心領域２０１からシースルーディスプレイ２３へ画像を直接投影する別の実施形態を示す。結合光学素子は、関心領域２０１の大きさに適合されている。シースルーディスプレイ２３は、Ｇｏｏｇｌｅ  Ｇｌａｓｓ、Ｅｐｓｏｎ  Ｍｏｖｅｒｉｏ、ＯＤＧ  Ｒ-７、Ｖｕｚｉｘ  Ｓｍａｒｔ  Ｇｌａｓｓｅｓなどのスマートメガネに使用される同様のシースルーディスプレイとすることができる。シースルーディスプレイは、上述したＬｕｍｕｓ  ＯＥ-３２（Ｌｕｍｕｓにより「ＬＯＥ」または「反射型光導波路」と呼ばれる）またはＭｉｃｒｏｓｏｆｔ  Ｈｏｌｏｌｅｎｓで使用されているものなどの導波路ベースのディスプレイの１つであり得る。
【００３１】
オブジェクト上に（現実にもその画像上にも）関連情報を重ね合わせるためには、オブジェクトを正しく指定すること、すなわちスマートフォンの位置、オブジェクトが見られる方向および距離、ならびにオブジェクトの画像を知るべきことが重要である。これはまた、異なる場所にいる他のビューワへのオブジェクトの指定を可能にするためにも重要である。場合によっては、例えば遠くから見たときに、図１の１０１として示されるスマートフォンカメラを使用する表示画面上でも裸眼でも、オブジェクトを鮮明に観察することができない。このような場合、ユーザに高解像度の画像を提供し、それを（ディスプレイ画面上または現実に）オブジェクト上に重ね合わせることも重要である。
【００３２】
画像を拡大／縮小する方法は２つある。「従来の」方法は、ズームレンズを使用することによって光学素子の焦点距離を変えるために光学ズームを使用することである。焦点距離が増加すると視野は狭くなり（「ズームイン」と呼ばれる）、焦点距離が短くなると視野は広くなる（「ズームアウト」と呼ばれる）。
【００３３】
デジタルカメラで一般的なもう１つの方法は、画像の一部分だけを見て、デジタル技術を使用してそれを拡大してすべての画面領域をカバーすることによって、画像を拡大することである。これは通常「電子ズーム」と呼ばれる。
【００３４】
以下のように、本発明は改善されたズーミングを提供する。オブジェクトが指定されると、そのオブジェクトの高解像度画像がデータベース（ストリートビューなど）から抽出され、現実（またはその画像）に重ね合わされる。このようにして、我々は、スマートフォンを有する観察者がオブジェクトの高解像度画像化を可能にしない距離に位置していても、オブジェクトの高解像度画像を見る能力を提供する。
【００３５】
説明したように、オブジェクトを指定できる方法は、次の２つの方法のいずれかで行うことができる。
【００３６】
１．図７に示すように、ユーザはビューワをオブジェクトに向ける。スマートフォンの位置および方向、ならびにスマートフォンカメラによって取得されたオブジェクトの画像は、ストリートビューなどのデータベースから、オブジェクトデータ、すなわち座標および画像を抽出するために使用される。これは次のようにして行うことができる。スマートフォンカメラの位置と方向を使用して、オブジェクトの粗い位置が計算される。スマートフォンカメラによって取得されたオブジェクトの画像は、この粗い位置でストリートビューデータベースの画像と照合され、オブジェクトはストリートビューデータベースで識別される。ストリートビューデータベースには、ストリートビューカメラの位置と共にカメラからオブジェクトまでの距離と方向が含まれている。このデータを使用して、オブジェクトの位置を特定することができる。
【００３７】
２．システムは、オブジェクトの既知の位置座標を使用してユーザをそのオブジェクトに向ける。既知の座標は、ストリートビューなどのデータベースにも送信される。
【００３８】
どちらの場合も、オブジェクトの高解像度画像がデータベースから抽出されると、その画像はスマートフォンの位置から見たように見え、現実に重ね合わされるように変換され、ユーザによる電子ズームインおよびズームイン操作を実行することが可能になる。
【手続補正書】
【提出日】平成30年8月24日(2018.8.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
携帯装置（１００）の表示画面に対して搭載して、前記携帯装置（１００）の前記表示画面上に表示されるコンテンツを現実に投影することにより、前記携帯装置を携帯拡張現実装置するためのアクセサリ（２）であって、
ハウジング（１０２）であって、当該ハウジングの表面と裏面にそれぞれ表開口と裏開口とを有し、前記表示画面の一部分に前記裏面を重ね合わせることで前記携帯装置に機械的に取り付けるように構成されたハウジング（１０２）と、
前記ハウジング内の観察光学素子（３０、１０４、２３、１０８）であって、前記携帯装置で生成されて、前記表示画面の前記一部分で表示されるコンテンツの画像を前記アクセサリの前記裏面を通して取得するように構成され、更に、前記携帯装置上に搭載された前記アクセサリで前記携帯装置を保持するユーザが、前記アクセサリの前記表開口を通して、前記現実に重ね合わされた前記コンテンツを見る部分的に透明なシースルーディスプレイ（２３）を介して、前記画像を前記現実に投影するように構成された前記観察光学素子と、
を備えた、アクセサリ。
【請求項２】
前記携帯装置（１００）がスマートフォンである、請求項１に記載のアクセサリ。
【請求項３】
携帯装置（１００）の表示画面に対して搭載して、前記携帯装置（１００）の前記表示画面上に表示されるコンテンツを現実に投影することにより、前記携帯装置を携帯拡張現実装置するためのアクセサリ（２）であって、
前記携帯装置に機械的に取り付けるように構成されたハウジング（１０２）と、
前記ハウジング内のコントローラ（２１）であって、前記コンテンツを表す電気信号を前記携帯装置から受信し、当該電気信号を画像に変換するように構成されたコントローラ（２１）と、
前記ハウジング内の観察光学素子（３０、２３）であって、前記携帯装置上に搭載された前記アクセサリで携帯装置を保持するユーザが、前記アクセサリの前記表開口を通して、前記現実に重ね合わされた前記コンテンツを見る部分的に透明なシースルーディスプレイ（２３）を介して、前記画像を前記現実に投影するように構成された前記観察光学素子と、
を備えた、アクセサリ。
【請求項４】
前記コントローラ（２１）は、前記携帯装置のデータバスに接続されており、前記コントローラ（２１）は、前記コンテンツを表すデータ信号を前記携帯装置から受信し、前記コンテンツを表す前記画像を表示するマイクロディスプレイ（２７）に変換されたビデオ信号を供給し、
前記観察光学素子は、結合型光学素子であり、当該結合型光学素子は、前記シースルーディスプレイ（２３）に対して、前記マイクロディスプレイによって生成される前記画像を光学的に投影する、
請求項３に記載のアクセサリ。
【請求項５】
前記マイクロディスプレイ（２７）は、液晶オンシリコンであり、前記データ信号は、パルス幅変調器（２８）に供給されて、前記マイクロディスプレイの照明の輝度を制御するように構成される、請求項４に記載のアクセサリ。
【請求項６】
前記観察光学素子は、結合型光学素子（３０）であり、当該結合型光学素子は、関心領域（２０１）から直接的に前記コンテンツを表す前記画像を前記シースルーディスプレイに投影し、前記結合型光学素子は、前記関心領域の大きさに適合する、請求項３から５のいずれか一項に記載のアクセサリ。
【請求項７】
前記シースルーディスプレイは半透明ミラー（１０６）である、請求項１から６のいずれか一項に記載のアクセサリ。
【請求項８】
前記シースルーディスプレイは光導波路である、請求項１から６のいずれか一項に記載のアクセサリ。
【請求項９】
前記観察光学素子は、
前記表示画面（２００）に向けられた反射面を有することにより、光を前記表示画面から光学素子（１０８）に向けることができ、当該光学素子は、好ましくは無限遠で前記表示画面上に表示される前記コンテンツの前記画像を作成するように構成された、ミラー（１０４）と、
前記ユーザ（２０３）の目に前記画像を向けるコンバイナ（１０６）と、
を備える、請求項１および請求項１に従属する請求項２、７、８のいずれか一項に記載のアクセサリ。
【請求項１０】
前記光学素子（１０８）は、一対の光学ダブレット（１０８'、１０８”）を有し、当該光学ダブレットは、前記ミラー（１０４）を通じて、タブレットでの合成後の焦点面の像が前記表示画面（２００）と一致するように構成される、請求項９に記載のアクセサリ。
【請求項１１】
前記光学素子（１０８）は、当該光学素子を移動させるための集光機構と一体化または結合することにより、表示された情報が、無限遠よりも近い距離、好ましくは数メートルまで屋内アプリケーション用のビューアとして使用することができる、請求項９または１０に記載のアクセサリ。
【請求項１２】
更に、前記光学素子の視野の端部における歪みおよび収差を補正するように構成される視野レンズ（１０７）を備える、請求項１および請求項１に従属する請求項２、７、８のいずれか一項に記載のアクセサリ。
【請求項１３】
携帯装置（１００）の表示画面に対して搭載して、前記携帯装置（１００）の前記表示画面上に表示されるコンテンツを現実に投影することにより、前記携帯装置を携帯拡張現実装置するためのアクセサリ（２）であって、
前記携帯装置に機械的に取り付けるように構成されたハウジング（１０２）と、
観察光学素子（３０、２３）であって、前記携帯装置を保持するユーザが前記現実に重ね合わされた前記コンテンツを見る部分的に透明なシースルーディスプレイ（２３）を介して、前記携帯装置によって生成された前記コンテンツの画像を前記現実に投影するように構成された前記観察光学素子と、
を備え、
前記光学素子は、
ミラー（１０４）および一対の光学ダブレット（１０８'、１０８”）であって、前記ミラーは、前記表示画面（２００）に向けられた反射面を有することにより、光を前記表示画面から光学素子（１０８）に向けることができ、前記一対の光学ダブレットは、前記ミラー（１０４）を通じて、タブレットでの合成後の焦点面の像が前記表示画面（２００）と一致するように構成される、前記ミラー（１０４）および前記一対の光学ダブレット（１０８'、１０８”）と、
前記ユーザ（２０３）の目に前記画像を向けるコンバイナ（１０６）と、
を備える、アクセサリ。
【請求項１４】
更に、前記光学素子の視野の端部における歪みおよび収差を補正するように構成される視野レンズ（１０７）を備える、請求項１３に記載のアクセサリ。
【請求項１５】
前記ハウジングは、前記表示画面の縮小部分の画像を取得できるように配置されており、前記表示画面の残りの部分は、前記ハウジングによっては覆い隠さない、請求項１および請求項１に従属する請求項２、７、８のいずれか一項に記載のアクセサリ。
【請求項１６】
ユーザによるアクセサリの移動を容易にし、現実に投影された前記表示画面の前記縮小部分を変えることができるような、フリーアタッチメントが前記携帯装置に対して取り付けられるように構成されている、請求項１５に記載のアクセサリ。
【請求項１７】
更に、前記携帯装置によって表示された特定のオブジェクトの高解像度画像を取得し、当該高解像度画像を現実に重ね合わせるように構成された、請求項１から１６のいずれか一項に記載のアクセサリ。
【請求項１８】
データベースから前記オブジェクトの前記高解像度画像を抽出し、当該画像を変換することによって、前記携帯装置の位置から見えるようになり、ユーザよって電子ズームインおよび電子ズームアウトの操作が可能になる、請求項１７に記載のアクセサリ。
【請求項１９】
携帯装置の表示画面によって表示される現実の画像コンテンツに対して投影する方法において、
請求項１のアクセサリを取得するステップと、
前記アクセサリの前記ハウジング（１０２）を前記携帯装置に取り付けることにより、前記アクセサリの裏面の裏開口が前記表示画面の一部分と重ね合わせるステップと、
手で前記携帯装置を留めることにより、前記表示画面が、前記携帯装置の前に搭載された前記アクセサリで、ユーザの目（２０３）の方向に向くようにするステップと、
前記アクセサリの表面の表開口（１０３）を通して見ることにより、前記ハウジング内の観察光学素子（３０、１０４、２３、１０８）を介して前記現実に重ね合わせられた前記コンテンツの前記画像を見るステップであって、前記観察光学素子は、部分的なシースルーディスプレイ（２３）を介して前記現実に前記画像を投影する、前記見るステップと、
を備える方法。
【国際調査報告】
2019534493.tif 000011
2019534493.tif 000012
2019534493.tif 000013
2019534493.tif 000014