(57)【要約】【概要】    クリップオンユニットを着脱可能に支持するように構成されたハウジング(31)と、ユーザがシーンを観察するハウジング内の出口窓(30)および入口窓(30')と、ハンドヘルド装置に結合するための通信インターフェース(71、74)と、カメラ窓(36)を介してユーザによって観察されたシーンを撮像し、シーンの画像をハンドヘルド装置に伝達するように構成されたハウジング内のカメラ(37)とを有する、着脱可能な眼鏡装着拡張現実(AR)装置およびクリップオンユニットを提供する。視線ガイドユニット(39)は、ユーザの視野に少なくとも1つのマーカを表示し、ユーザの視線をシーン内の指定された特徴に向け、ハウジング内の光学系(40)は、ユーザが見るシーンに重ねるための距離でマーカを投影する。【選択図】図１
2021524066.tif 000002
【特許請求の範囲】
【請求項１】
クリップオンユニットを有する、取り外し可能な眼鏡搭載拡張現実(AR)装置であって、該装置(10)は、クリップオンユニットを支持するように構成されたハウジング(31)と、ユーザがシーンを観察するハウジング内の出口窓(30)および入口窓(30')と、ハンドヘルド装置に結合するための通信インターフェース(71, 74)と、カメラ窓(36)を通してユーザが観察したシーンを撮像し、前記シーンの画像を前記ハンドヘルド装置に搬送するように構成されたカメラ(37)と、シーン内の指定されたフィーチャに向かってユーザの視線（ラインオブサイト）を向けるためのユーザの視野における少なくとも1つのマーカを表示するための視線ガイドユニット(39)と、およびユーザが見るシーンに重畳するための距離で前記マーカを投影するための前記ハウジング内の光学系(40)と、を備え;前記クリップオンユニット(50)は、使用者が着用する眼鏡フレームの前にAR装置を取り外し可能に取り付けるように構成され、出口窓を使用者の視線と整列させるために眼鏡フレームに対して装置を横方向に変位させることを可能にすることを特徴とする装置。
【請求項２】
前記クリップオンユニット(50)は、使用者が着用する眼鏡の前に取り付けるように合された第1の部材(51)と、装置の取り付けブラケット(32)に取り付けることができ、取り付けられた装置を前記眼鏡内の接眼レンズに対して横方向に移動させて、出口窓を使用者の視線と整列させることができるように、第1の部材に対して移動可能な第2の部材(57)とを，含む請求項1に記載の装置。
【請求項３】
前記第1部材(51)は、装置の装着ブラケットに取り付けるように構成された一対の電機子(60)にヒンジで取り付けられ、クリップアーム(65)は、第1部材に取り付けられ、それに対して横方向に変位可能である請求項1または2に記載の装置。
【請求項４】
クリップアームは、その対向する端部がそれぞれのアーマチュア(58)に向かって付勢されるように弾性的に付勢され、これにより、ユーザが着用する眼鏡(11)が、クリップアームとアーマチュアとの間で、装置の出口窓を眼鏡接眼レンズの前方にして把持されることを可能にし、同時に、支持体および取り付けられた装置が、出口窓(30)をユーザの視線と整列させるために横方向に移動されることを可能にする請求項3に記載の装置。
【請求項５】
前記クリップアーム(65)は、前記支持体(51)に取り付けられた一対のナックル(53)内に、それに対して回転可能かつ軸方向に平行移動可能に取り付けられた細長い直線部分を含む、請求項3または4に記載の装置。
【請求項６】
前記クリップアーム(65)は、ばね(67)によってアーマチュア(58)に向かって付勢されている、請求項4に記載の装置。
【請求項７】
前記装置は、遠隔ユーザから伝達された情報を表示するように構成されたマイクロディスプレイ(39)をさらに含む、請求項1〜6のいずれか1項に記載の装置。
【請求項８】
前記マイクロディスプレイは、前記視線（ラインオブサイト）のガイドユニットとして動作するように構成される、請求項7に記載の装置。
【請求項９】
前記視線ガイドユニットは、マイクロディスプレイであることを特徴とする請求項1〜6のいずれか1項に記載の装置。
【請求項１０】
前記視線ガイドユニットは、レチクルであることを特徴とする請求項1〜7のいずれかに記載の装置。
【請求項１１】
前記装置の動きを追跡し、それによって前記ローカルユーザの頭部の動きを追跡するためのIMU (慣性磁気ユニット)(70)をさらに含む、請求項1から10のいずれか1項に記載の装置。
【請求項１２】
前記通信インターフェースが無線である、請求項1〜11のいずれか1項に記載の装置。
【請求項１３】
前記通信インターフェースは有線である、請求項1〜11のいずれか1項に記載の装置。
【請求項１４】
前記クリップオンユニットは、前記装置から取り外し可能である、請求項1〜13のいずれか1項に記載の装置。
【請求項１５】
前記クリップオンユニットは、前記装置と一体である、請求項1〜13のいずれか1項に記載の装置。
【請求項１６】
ユーザ(12)が着用する眼鏡フレーム(11)に取り付けられた拡張現実装置(10)において、ローカルユーザ(12)とカメラとによって見られるそれぞれの視野を整列させる方法であって、カメラ(37)によって観察された場面を第1のデジタル画像として捕捉するステップと、カメラからのシーンの第1のデジタル画像をそのタッチスクリーン上に表示するための手持ち通信装置(19)へ搬送するステップと、タッチスクリーン上に、関心のある第1の特徴と正確に空間的に整列した証印を重ね合わせ、必要であれば、証印が関心のある第1の特徴と整列するまで、第1のデジタル画像をドラッグするステップと、これにより、ユーザ(12)とカメラから見たそれぞれの視野が位置合わせされるステップとからなり、カメラ(37)とユーザとが異なるウィンドを介してシーンを見て、ユーザの目がシーン上に投影されたマーカと整列してシーンを見て、ユーザの視線をシーン内の関心のある第1の特徴に向ける方法。
【請求項１７】
請求項1〜15のいずれか1項に記載のアセンブリを装着しているローカルユーザ(12)とリモートユーザ(21)との間でデジタル画像を対話式に伝達する方法であって、前記アセンブリ内のローカルユーザ(12)およびカメラによって見られるそれぞれの視野を整列させるために請求項16に記載の方法を実行し、前記第1のデジタル画像を、リモートユーザによって見られるディスプレイデバイスに伝達して、前記リモートユーザが、前記ローカルユーザによって観察されるのと同様の空間的整列で前記シーンおよび関心のある第1の特徴を見るようにする方法。
【請求項１８】
前記携帯通信装置(19)において、前記シーンにおける関心のある第2の特徴に前記ローカルユーザを向けるために、前記シーンの前記第1のデジタル画像上に重畳されるように、前記マイクロディスプレイ上に表示するためのナビゲーション補助を受信することをさらに含む、請求項17に記載の方法。
【請求項１９】
前記ナビゲーション補助手段は、前記第2の関心特徴と位置合わせされた前記第1のデジタル画像上に重ね合わされるマークである、請求項18に記載の方法。
【請求項２０】
前記ナビゲーション補助手段は、前記第2の関心特徴が前記第1のデジタル画像に存在しない場合に、前記視線を変更するように前記ローカルユーザに指示する、請求項18に記載の方法。
【請求項２１】
第3の画像が、リモートユーザによって使用されるリモート通信デバイス(22)からハンドヘルド通信デバイス(19)に伝達される、請求項17〜20のいずれか1項に記載の方法。
【請求項２２】
コンピュータ上で実行されたときに、請求項17から21のいずれか1項に記載の方法を実行するプログラムコードを代表するデータを記憶するコンピュータ読み取り可能メモリ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、光学ヘッドマウント型ディスプレイに関し、特に、ユーザの眼鏡に取り付けるためのポータブル拡張現実感(AR)デバイスに関する。
【背景技術】
【０００２】
ARシステムは、ある期間、航空のためのヘルメット搭載システムとして実装されており、戦闘機パイロットが、現実にオーバーレイされたオブジェクト関連情報を指定し、表示することを可能にする。このような装置の一例は、Gentex Scorpion(商標)であり、これは、パイロットが、単に、関心のあるターゲットまたはポイントを「見る」ことによって、高度の精度でターゲットを指定することを可能にする。ARシステムは、Microsoft Hololens(商標)などのヘッドマウントシステムのようなアイウェアとしても使用されている。両方の実施は、高価であり、扱いにくい。サイズおよびコストを克服するために、Vuzix(登録商標)などの、AR機能を内蔵した専用の眼鏡も開発されている。例えば、Vuzix Blade https://www.vuzix.com/products/blade-smart-glasses を参照（非特許文献１）。
【０００３】
HYPERLINK "https://www.vuzix.com/products/blade-smart-glasses" 
さらなる試みには、標準的なアイウェアに組み込まれた着脱可能なモジュールの開発が含まれる。例えば、ソニー: https://techcrunch.com/2014/12/17/sony-glasses-attach/(Link) （非特許文献２）
およびArduino: https://hackaday.io/project/12211-arduino-glasses-a-hmd-for-multimeter（非特許文献３）。これらのモジュールの両方は、側部に取り付けられ、すなわち、眼鏡フレームの側部アームに取り付けられ、AR情報をユーザの目に向けるための光学系を含む。ソニーモジュールは、シースルーではなく、したがって、AR情報を実際のシーンにオーバーレイすることはできない。Arduinoモジュールは参照スルーであるが、実際のシーンでAR情報を整列させるメカニズムは含まれていない。また、モジュールには、景観上にAR情報を投影するためのシースルーディスプレイも装備されている。これらの光学系、特にシースルーディスプレイは、ユーザの目の位置と位置合わせされる必要があり、ユーザは頭の形状、特に瞳孔距離(PD)が異なるので、モジュール設計は、目の位置に関係なく、モジュールが異なるユーザによって使用され得るように、この多様性を考慮に入れなければならない。1つの解決策は、広範囲のユーザに適合することができるように、眼球運動ボックスを増加させて光学系を設計することである。眼球運動ボックスまたは射出瞳は、ディスプレイ全体を見るために眼球を置くことができる領域である。このような解は光学設計を複雑にし、システムをより大きく重くする。別の可能な解決策は、光学系をユーザの目に対して左右に移動させるための位置合わせシステムを追加することであり得る。しかしながら、モジュールは眼鏡サイドアームに取り付けられているので、モジュールを左右に移動させるには、複雑でかさばる機構が必要となる。また、 HYPERLINK "https://techcrunch.com/2014/12/17/sony-glasses-attach/"  HYPERLINK "https://hackaday.io/project/12211-arduino-glasses-a-hmd-for-multimeter" サイドマウントモジュールの別の欠点は、ユーザの周辺視覚をブロックすることである。周辺視覚は、背景の感覚および状況認識を提供する際に、周辺の動きの識別において重要な役割を果たす。周辺視覚を遮断することは、ユーザに不便感を与え、場合によっては、ユーザの安全性に悪影響を及ぼすことがある。
【０００４】
WO 2017/142480（特許文献１）は、ホスト眼鏡上またはヘルメット上に取り外し可能に取り付けられる、モジュール式ヘッドアップ拡張現実感(AR)ディスプレイシステムを開示している。このシステムは、プロセッサモジュールと、バッテリモジュールと、プロセッサとバッテリとの間に配置されたトランキングモジュールと、ディスプレイ(投影)モジュールとを含む。プロセッサおよびバッテリモジュールは、ホスト眼鏡の別個のテンプルピースに取り付け可能であり、一方、トランキングモジュールは、その前部フレーム部材に取り付け可能であり、バッテリをプロセッサに接続する役割を果たす。投影モジュールの本体は、ユーザの目に近接した透視プリズムを有する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】WO 2017/142480
【非特許文献】
【０００６】
【非特許文献１】Vuzix Blade https://www.vuzix.com/products/blade-smart-glasses
【非特許文献２】ソニー: https://techcrunch.com/2014/12/17/sony-glasses-attach/(Link)
【非特許文献３】Arduino: https://hackaday.io/project/12211-arduino-glasses-a-hmd-for-multimeter
【発明の概要】
【０００７】
上記の制限の少なくともいくつかに対処するために、本発明は、眼鏡フレームの前面にクリップオンするように寸法決めされた着脱可能なARモジュールを提案する。ユーザの目に対するモジュールの左右の位置合わせは、クリップの一部であるコンパクトな機構によって行われる。その結果、シースルーディスプレイはユーザの目の前に正確に配置され、小さなサイズのアイモーションボックスで十分であり、コンパクトで低コストの光学系の設計を可能にする。これは、ユーザの周辺視野を制限することなく、また、ユーザの眼鏡のテンプルピースにディスプレイ光学系または電子機器のいずれかを取り付ける必要なしに達成され、したがって、このテンプルピースは、その接眼レンズが平坦または処方レンズを有するか、またはレンズを有さない従来の軽量眼鏡であってもよい。
【図面の簡単な説明】
【０００８】
本発明を理解し、それが実際にどのように実行され得るかを見るために、添付の図面を参照して、非限定的な例としてのみ、実施形態を説明する:
【０００９】
【図１】は本発明による装置を装着しているユーザの絵画的表現である;
【００１０】
【図２】は本発明によるシステムの機能を示すブロック図である;
【００１１】
【図３ａ】および
【図３ｂ】は、それぞれ後方および前方から見たときの着脱可能な装置の絵画的表現である;
【００１２】
【図３ｃ】は後方から見たときの、取り外し可能な装置の部分的に切り取られた図であり、そこに含まれる光学系の部分的な詳細を示す;
【００１３】
【図３ｄ】は光学系の概略図である;
【００１４】
【図４ａ】および
【図４ｂ】は、それぞれ、装置をユーザの眼鏡の前面に取り付けるために使用されるクリップオンユニットの組み立てられた分解図を示す;
【００１５】
【図５】は、マイクロディスプレイの画面上に現れ得る例示的な注釈を示す;
【００１６】
【図６ａ】および
【図６ｂ】は、それぞれ、無線構成および有線構成のデバイスのブロック図である;
【００１７】
【図７】は、デバイスカメラの視野(FOV)を示す;
【００１８】
【図８】は、デバイスカメラとスマートフォンディスプレイとの間の初期位置合わせのためにスマートフォン・アプリケーションと共に実行される手順の流れ図であり、
【００１９】
【図９】は、遠隔ユーザに関心対象の位置を伝えるためにスマートフォン・アプリケーションと共に実行される手順の流れ図である。
【発明を実施するための形態】
【００２０】
いくつかの実施形態の以下の説明では、2つ以上の図に現れるか、または同様の機能を共有する同一の構成要素は、同一の参照符号によって参照される。
【００２１】
図1は、ローカルユーザ12を構成する観察者によって着用される眼鏡フレーム11の前部に着脱可能にクリップ装着される、本発明によるAR装置10を示す。このような手段により、装置は、ローカルユーザの目の前に直接取り付けられ、ユーザが出口窓13を通してシーンを観察することを可能にする。また、ローカルユーザは、着脱可能な装置10によって目に投影され、現実の場面に重ね合わされたグラフィック注釈（グラフィカル・アノテーション）を見ることができる。使用者の眼鏡のテンプルピース(サイドアーム)に装置またはその構成要素を取り付ける必要はない。
【００２２】
図2は、典型的なシナリオにおいて装置10を使用するシステム20を概略的に示す。ローカルユーザ12は、インターネットなどの通信チャネル17を介して遠隔局16と通信するローカル局15に位置する。この目的のために、装置10は、例えば、BluetoothＴＭ又はWiFiを介して、又はUSBケーブルのような有線接続を介して、ローカルのスマートフォン19に無線で通信する。遠隔局16に位置する遠隔ユーザ21は、スマートフォン22またはインターネットなどの通信インターフェースを有するPCなどの遠隔通信デバイスを使用して、ローカル局15と無線で通信する。
この構成の典型的な使用は、例えば、ローカルユーザ12が技術者修理装置であり、リモートユーザ21がより高いサポートレベルのエンジニアであるリモートサポートである。
【００２３】
図3aは、装置10の背面図を示す絵画的表現である。ローカルユーザ12は、出口ウインドウ30を介して実シーンを見ると共に、このシーン上にオーバーレイされたグラフィカル・アノテーションを見る。これらの注釈は、マーク、テキスト、図形等を含むことができる。外付け装置は、ユーザのメガネの前面に装置10が刈り込まれることにより、後述の図4a及び図4bを参照しながら、クリップオン装置をサポートするための固定実装ブラケット32を備えたハウジング31を備えている。任意選択で、デバイス10をスマートフォン19に結合するために、USBコネクタ34が設けられる。
【００２４】
図3bは、正面から見た、すなわちローカルユーザ12に向かって見た、取り外し可能な装置10の正面図を示す。ウインドウ36が設けられ、このウインドウを通して、装置の内部に配置され、図3cに概略的に点線で示されている内蔵カメラ37が、外部シーンを画像化する。また、入射窓30'も示されており、シーンからの光は入射窓30'を通過し、ユーザによって観察される。
【００２５】
図3cは、デバイス10の内部構造をより詳細に示す。プリント回路基板(PCB)38は、着脱可能装置の電子動作のための電子回路を支持する。PCB 38には、USBコネクタ34、マイクロディスプレイ39、および内蔵カメラ37も接続されている。カメラ37は、ローカルユーザ12によって観察されるビューのカメラウィンドウ36を通して広角の静止画又はビデオ画像を取得するように構成される。その機能は、図5、図6及び図7を参照して以下に更に説明される。実用化された実施形態では、Misumi MD-B31107U-77、1/6インチカラーデジタルカメラモジュールが、内蔵USB接続と共に使用された。このカメラのその他の特徴は:
フレームサイズ:1920×1080 pixels、画素サイズ:1.4μm×1.4μm、
レンズ: f=1.83mm, F/2、視野: H:70°、V:42.7°、D:77.3°である。
マイクロディスプレイ39は、以下の主な特性を有する高輝度モノクロディスプレイである。
画素数: 304x256
Pixel size: 12 μm x12 μm
有効面積: 3.648mm x 3.972 mm
【００２６】
装置10は、図3dに示す光学系40を収容しており、この光学系は、2つのダブレット41、41′及び組み合わせプリズム42を含んでいる。ダブレット41、41'は、21mmの等価焦点距離を有する複合対物レンズを生成する。マイクロディスプレイ39の発光面は、ディスプレイの画像が無限遠に生成されるように、この組み合わされた対物レンズの焦点面に配置され、それによって、ローカルユーザ12は、現実のシーン上に投影されたディスプレイ上の画像を見る。スクリーンの典型的な画像は、図5に「A」として示される十字形マーカを含み、これは、ローカルユーザが自分の視野内の物体を指定するために使用する。画像は、矢印で示されるように、最初に結合プリズム42の鏡面45によってさらに折り畳まれ、次に、ディスプレイ39からの光がローカルユーザの目に到達することを可能にする部分鏡面46によってローカルユーザ12の目に向けられ、同時に、ローカルユーザが、図3bの出口窓30を介して部分鏡面46を透過した実際の場面を見ることを可能にする。典型的には、部分鏡面46は、〜50%の反射率及び〜50%の透過率を有する。結合されたダブレットの焦点距離は21mmであるので、ディスプレイスクリーンは、H: 10×V: 8.3度(対角13度)の視野を捕捉する。光学設計は、ローカルユーザに4.5mm直径のアイモーションボックスを可能にする。
【００２７】
図4aおよび4bは、クリップオンユニット50の組み立てられた分解図をそれぞれ示し、それによって、デバイス10は、ローカルユーザの眼鏡11に取り付けられ、それと整列される。クリップオンユニット50は、それぞれのヒンジジョイントを形成するようにそれぞれのピンを収容するそれぞれのナックル52及び53を対向する側面に有する細長い平面状支持体51を備える。ナックル52は、開口スロット54を有する一対の変位したC字形の円筒ソケットの形態であり、その間に上方に突出するアバットメント55が取り付けられている。他方のヒンジ要素は細長いピン56であり、その長さに沿って、ピン56及び基部57が一端からナックル52内に挿入されてヒンジを形成することができるように、スロット54よりも僅かに小さい厚さを有する基部57が溶接されている。ナックル52の反対側では、基部51は、一対の下方に突出するアーマチュア58を支持し、その端部は、軟らかいプラスチック又はゴムで形成された保護スリーブ59で覆われている。ピン56及び取り付けられたベース部分57をナックル52に挿入した後、上方に延びる一対の電機子60が、その両端でピン56に溶接される。各電機子60は、図3aに示すように、クリップ50を装置10の取付ブラケット32にねじ(図示せず)によって取り付けることができるように開口61を有する。
【００２８】
ナックル53は、細長い直線部分および下方に依存するアームを有するクリップアーム65を支持し、その端部はそれぞれ、軟らかいプラスチックまたはゴムで形成された保護スリーブ66で覆われている。クリップアーム65は、ナックル53に取り付けられたとき、端部66が接極子58の保護された端部59に当接するような寸法にされている。クリップアーム65の細長い直線部分は、中空コア68及び側部69及び70を有するコイルばねの形態のL字形ばね要素67を支持する。直線部に固定された上方に突出するハンドル71は、側部70の支持体として機能し、他方の側部69は、基部51によって支持される。ナックル53の内側にヒンジピンを形成するクリップアーム65を取り付けるためには、成形前に挿入するか、クリップアームを位置決めした後にのみナックルを形成することができる。
【００２９】
使用時には、上述したように装置10を上方に延びるアーマチュア60に取り付けた後、組立体は、下方に突出するアーマチュア58の後部とクリップアーム65の前部との間のばね67の弾性力の下で、フレーム11が把持された状態で、ローカルユーザの眼鏡にクリップオンされる。このようにしてローカルユーザの眼鏡に取り付けられると、装置10は、ナックル52内でのピン56の移動の自由のために横方向に移動することができる。ばね67の側部69は、基部57に適度な力を加え、これは、一方では、ピン56の望ましくない回転および横方向の移動を妨げ、一方では、眼鏡フレーム11に対して装置10を横方向に移動させるように、所望のときに、局所ユーザがピンを前後に移動させることを可能にする。注目すべきは、開口部61は丸いように示されているが、それらは細長くすることができ、アーマチュア60は、眼鏡フレーム11に対する装置10の少量の垂直上下移動を可能にするように、ばね付勢ボルトを用いて装置に取り付けることができる。これにより、図5を参照して以下に説明するように、装置をローカルユーザの目に対して位置合わせするように適切に調整することができる。クリップオンユニットは、装置から取り外し可能であってもよく、または装置と一体であってもよい。いずれの場合も、クリップオンユニットは、装置を眼鏡フレームの前に取り外し可能に取り付けることができ、装置の出口窓をユーザの視線と位置合わせするために眼鏡フレームに対して横方向に変位可能にする。
【００３０】
図5は、マイクロディスプレイ画面の中心に位置する「A」として示される十字、別のマークB、およびスクイググルCを含む、マイクロディスプレイ39の画面上に現れ得る例示的な注釈を示す。注釈は、ローカルスマートフォン19によって実行されるソフトウェアアプリケーションの制御下で表示され、このアプリケーションは、図面の図6aおよび6bを参照して、以下に説明されるように、装置10に結合される。十字Aは、マイクロディスプレイ39がローカルユーザの視線に対して適切に中央に位置合わせされていることを示し、ローカルユーザの目がリモートオブジェクトに向けられたときに、マイクロディスプレイスクリーンの中心に位置する十字Aがリモートオブジェクトの中心に現れるようにする。
【００３１】
図6aおよび図6bは、それぞれ無線および有線構成における装置10のブロック図である。
したがって、図6aを参照すると、上述したような光学系40は、そのスクリーン画像が外部シーン上にオーバーレイされたマイクロディスプレイ39をローカルユーザ12の眼に投影する。参照が既になされているカメラ37に加えて、装置10は、装置の運動を追跡し、それによってローカルユーザの頭部運動を追跡するための慣性磁気ユニット70も含む。マイクロディスプレイ39、カメラ37、およびIMU 70は、マイクロコントローラ72内に実装されたUSBハブ71に接続される。この目的のために、カメラ37は、UVC標準USBインタフェース73を有する。マイクロコントローラ72はまた、RFアンテナ75を介して低エネルギー(LE)ブルートゥース(登録商標)ユニット74との双方向通信のためにデータを処理する。Bluetooth(登録商標)ユニット74は、ローカルスマートフォン19内のBluetooth(登録商標)ユニット76と通信する。内蔵バッテリ77は、装置コンポーネントに電力を供給する。
【００３２】
図6bは、USB有線通信を使用する代替実施形態を示す。マイクロコントローラ72は、ディスプレイ39およびIMU 70をそれぞれUSBハブ71に接続するSPIドライバおよびUSB対SPIコンバータ77、77'を含む。USBハブ71は、USBケーブルを介してローカルスマートフォン21に接続される。スマートフォンのバッテリーを補うために、オプションのバッテリーパック77を使用してもよい。
【００３３】
動作説明
上述したように、スマートフォン19と組み合わされた着脱可能な装置10は、ローカルユーザ12、例えば、機器オペレータ又は技術者が、通常のオーディオ通信に加えて、視覚情報及びガイダンスを使用して、インストラクタ又は高級エンジニアであり得るリモートユーザ21と通信することを可能にする。
効果的に通信するために、遠隔ユーザ21は、どのポイントまたはオブジェクトがローカルユーザ12によって見られているかを正確に知っていなければならない。これは、ローカルユーザ12がカメラ37で画像(またはビデオ)を掴み、それをリモートユーザ21に送ることによって行われる。ローカルユーザ12は、出口窓30を通して直接物体を見るが、カメラ37は窓36を通して物体を見るので、ディスプレイスクリーン39の中心に位置する十字A(図5)を、図面の図8を参照して以下でより詳細に説明するように、カメラ37の視線と位置合わせすることからなる初期位置合わせが必要である。
【００３４】
図7は、カメラ視野(FOV)80を描いており、上述のように、70°x42°である。スマートフォン19の画面には、実際には、カメラ視野80の縮小された領域が表示される。図中81で示した縮小領域をスマートフォンFOVと呼びます。カメラ視野80のどの領域がスマートフォンに表示されるかは、アライメント処理によって決定される。この例では、電話機に表示されるカメラ視野の部分は35°x35°です。スマートフォン画面上に表示される縮小領域の中心を十字Dで示し、カメラFOV 80内に完全に存在するが、スマートフォンFOV 81内では部分的にしか見えない物体を構成する機器コンソール82も示されている。また、ノブ83およびねじ頭部84が示されており、これらは共に装置コンソール82の一部である。
【００３５】
アライメントを開始する前に、図に示すように、スマートフォンに表示されるカメラFOVの縮小領域81は、カメラFOV 80を中心としている。これは、スマートフォン・アプリケーションの制御下で行われ、スマートフォン・アプリケーションは、スマートフォン・スクリーンのピクセル解像度および中心を知り、カメラFOVのピクセル解像度および中心も知る。ローカルユーザは、マイクロディスプレイ39の中心に位置するローカルマークAを、スクリューヘッド84のような装置コンソール82の識別可能な点に向けることにより、図8に示すようにアライメント処理を開始し、スマートフォンを用いて画像をつかむ。
【００３６】
ローカルユーザ12は、カメラ画像がスマートフォン画面上に現れるようにカメラ画像を見て、マークDが同じ識別可能な点を指していることを検証する。そうでない場合、ユーザは、アライメントが達成されるまで、マークDに対して画面上の画像をドラッグし、アライメントを保存する。このプロセスは、満足のいく整列が達成されるまで、それ自体を繰り返すことができる。位置合わせプロセスは、実際には、マークDによって指定されるカメラFOVの中心の、スマートフォンディスプレイの中心に対するx-yオフセットを決定し、これは、ローカルスマートフォン19がデバイス10内のカメラ37と適切に位置合わせされることを確実にするために適用される必要がある。
【００３７】
典型的な動作を実証するために、ローカルユーザ12が、観察されるオブジェクト、すなわち機器コンソール82に関する命令を必要とするオペレータであると仮定する。視覚的な通信を可能にするために、遠隔ユーザ21は、ローカルユーザ12がどこを正確に見ているかを知る必要があり、その代わりに、他の場所を見るために彼に送る必要がある。これは以下のように行われる:
ローカルユーザ12は、ローカルマークAを機器コンソール82の識別可能な点、例えばノブ83に向け、画像をつかみ、ローカル・スマートフォン・アプリケーションを介してリモートユーザ21に送信する。
リモートユーザ21は、リモートスマートフォンまたはPCのいずれかで、別の点、例えば、スクリーン画像内のねじ頭部84をマークする。これは、遠隔ユーザが、遠隔スマートフォンのタッチスクリーン上の指またはスタイラスを用いて、またはローカルスマートフォン19から伝達された画像が表示されるPC上のマウスを用いて、ねじ頭84を指し示すことによって行われる。このマークは、遠隔マークと呼ばれ、その位置は、ローカルユーザ12に送り返され、それが関連する物体または特徴がマイクロディスプレイ39の視野内に現れる場合、マイクロディスプレイ39(図5のB)上に表示される。
【００３８】
遠隔マークがマイクロディスプレイ39の視野(10°×8.3°)内にある場合、ローカルユーザが視線を移動させることによってローカルマークAをスクリューヘッド84に向けると、遠隔マークがローカルユーザ12によって見られるスクリューヘッド84上に現れる。
遠隔ユーザがローカルユーザの注意を向けたいカメラFOV内の位置がマイクロディスプレイ39の視野外にある場合、ローカルスマートフォン19内のソフトウェアアプリケーションは、マイクロディスプレイ39上に矢印または同等のナビゲーション補助を表示して、ユーザを正しい位置に向ける。
ローカルユーザは、ローカルマークをスクリューヘッド84に向けることによって、自分に送られた位置をさらに確認することができる。リモートユーザは、必要に応じて、確認または訂正を送信することができる。
あるいは、リモートユーザ21は、図5のマークCのような、ディスプレイ上の正しい位置に現れるより詳細なグラフィック・マークを送ることができ、したがって、例えば、リモートユーザは、ユーザの注意を向けたいフィーチャのアウトラインまたはアウトラインをマークしたり、補足情報をスケッチしたりすることができる。
【００３９】
別の方法として、又は付加的に、ローカルユーザが現在、正しい関心点に位置合わせされていることを遠隔ユーザに確認する必要なフィードバックを、IMU 70センサ又は画像を用いた標準的な追跡技術を用いて達成することができる。あるいは、画像データを使用して、リモートマークを正しい位置に配置することができる。
IMUと画像の任意の組み合わせを追跡、すなわちIMUのみ、画像のみ、またはその両方に使用できることは明らかである。
両方の場合において、装置は、各時点においてマークがそれらの対応する物体上に投影されるように画像を追跡する。
あるいは、通信帯域幅が許すならば、リアルタイムのビデオ伝送が使用されてもよい。
【００４０】
上記の使用、すなわち、メンテナンス目的のためのローカルユーザとリモートユーザとの間の通信は、一例に過ぎない。屋外ナビゲーション(都市または農村)、環境上に仮想オブジェクトを投影するための屋内AR、およびゲーム(ポケモンなど)など、多くの他の用途も可能である。処理は、ローカルで実行することも、外部サーバーをサポートして実行することもできる。
【００４１】
ローカルユーザとリモートユーザ間の通信の厳密な性質にかかわらず、リモートユーザがローカルユーザと同じシーンを確実に見るためには、デバイスを整列させる必要があります。これは、ローカルユーザの視線が確立され、関心対象がユーザの視線と整列されることを必要とする。説明される実施形態では、これは、ローカルユーザによって観察されるシーン上に距離を置いて投影される十字線などの画像を表示するマイクロディスプレイを使用して行われる。したがって、マイクロディスプレイ39は、ユーザの視野の中心にマークを表示してユーザの視線をシーンに向けるための視線ガイドユニットを構成する。マイクロディスプレイはまた、リモートユーザによってローカルスマートフォンに伝達される画像を投影する役割も果たす。ただし、リモートユーザからマークを受信する必要がないアプリケーションがある場合があります。このような場合、マイクロディスプレイおよび視線ガイドユニットは、光学系40の焦点でエッチングまたは他の方法で形成されるレチクルのような他の形態をとり、無限遠でローカルユーザによって見えるようにする必要がない場合がある。
【００４２】
本発明によるハンドヘルド通信装置は、典型的には、適切にプログラムされたスマートフォンである。しかしながら、それは、同様に、通信インターフェースと、マイクロディスプレイ画像に対してカメラ画像を移動させる能力とを有する、任意の携帯型、好ましくはハンドヘルド型のコンピュータであってもよい。この目的のために、ハンドヘルド通信デバイスは、典型的には、画像をドラッグするためのタッチスクリーンを有する。しかし、ハンドヘルド通信デバイスは、マウスまたは他のポインティングデバイスを使用して表示画像を移動させることを可能にするために、適切なソフトウェアの下で動作することができる。したがって、本発明および添付のクレームのコンテキスト内では、「コンピュータ」という用語は、CPU、ディスプレイ、GUI (グラフィカル・ユーザー・インターフェース)および通信インターフェースを有する任意の装置を包含することを意図している。
【００４３】
同様に、本発明は、本発明の方法を実行するために、ハンドヘルド通信デバイス内の処理ユニットによって読み取り可能なコンピュータプログラムを企図する。本発明はさらに、本発明の方法を実行するために機械によって実行可能な命令のプログラムを有形に具現化する機械可読メモリを企図する。
【図１】
2021524066.tif 000003
【図２】
2021524066.tif 000004
【図３ａ】
2021524066.tif 000005
【図３ｂ】
2021524066.tif 000006
【図３ｃ】
2021524066.tif 000007
【図３ｄ】
2021524066.tif 000008
【図４ａ】
2021524066.tif 000009
【図４ｂ】
2021524066.tif 000010
【図５】
2021524066.tif 000011
【図６ａ】
2021524066.tif 000012
【図６ｂ】
2021524066.tif 000013
【図７】
2021524066.tif 000014
【図８】
2021524066.tif 000015
【図９】
2021524066.tif 000016
【国際調査報告】
2021524066.tif 000017
2021524066.tif 000018
2021524066.tif 000019