(57)【要約】  拡張現実（ＡＲ）サービス提供案内が、ディスプレイとカメラとをもつモバイルデバイス３０、９０を使用する。ＡＲコンテンツ８０を、カメラによってキャプチャされたライブビデオフィード９６と整合させるために、同時位置特定及びマッピング（ＳＬＡＭ）などのコンピュータビジョン（ＣＶ）処理１０２が実施される。整合されたＡＲコンテンツは、モバイルデバイスのディスプレイ上に表示される。一例では、モバイルデバイスは、透明ディスプレイ９２、９４とカメラ２０とをもつヘッドアップディスプレイ（ＨＵＤ）９０である。別の例では、モバイルデバイスは、前面ディスプレイ３４と後向きカメラ３６とをもつセルフォン又はタブレットコンピュータ３０である。ＡＲコンテンツ８０は、ＡＲコンテンツをサービスコールの記録されたビデオ４０と整合させる（７０）ためにＣＶ処理５４によって生成される。整合させること（７２）は、ユーザ入力によってサービスコールの記録されたビデオにおいて特定された関心ロケーション（ＬＯＩ）を整合させることを含む。
2021500690.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実（ＡＲ）ベースのサービス提供案内デバイスであって、前記ＡＲベースのサービス提供案内デバイスは、
ディスプレイとカメラとを備えるモバイルデバイスと、
ＡＲコンテンツを、前記モバイルデバイスの前記カメラによってキャプチャされたライブビデオフィードと整合させることと、前記モバイルデバイスの前記ディスプレイ上に、前記ライブビデオフィードと整合された前記ＡＲコンテンツを表示することとを行うために、コンピュータビジョン（ＣＶ）処理を実施するようにプログラムされた電子プロセッサと
を備える、拡張現実（ＡＲ）ベースのサービス提供案内デバイス。
【請求項２】
整合された前記ＡＲコンテンツが、前記ＣＶ処理によって、前記ライブビデオフィードにおいて特定された関心ロケーション（ＬＯＩ）と整合された、マーカーを含む、
請求項１に記載のＡＲベースのサービス提供案内デバイス。
【請求項３】
整合された前記ＡＲコンテンツが、前記ＣＶ処理によって、前記ライブビデオフィードにおいて特定された前記関心ロケーション（ＬＯＩ）と整合された、アノテーションを含む、
請求項１又は２に記載のＡＲベースのサービス提供案内デバイス。
【請求項４】
前記アノテーションが、部品番号アノテーション、コンピュータ支援設計（ＣＡＤ）図面若しくはＣＡＤ図面部分、又はＣＡＤアニメーションである、
請求項３に記載のＡＲベースのサービス提供案内デバイス。
【請求項５】
前記モバイルデバイスがヘッドアップディスプレイ（ＨＵＤ）を備え、前記ディスプレイが透明ディスプレイであり、前記カメラが、前記透明ディスプレイを通して見る前記ＨＵＤのユーザの視点に対応する前記ライブビデオフィードをキャプチャするように配置され、
前記電子プロセッサが、前記ＨＵＤの前記透明ディスプレイ上に前記ライブビデオフィードを表示することなしに、前記透明ディスプレイ上に、前記ライブビデオフィードと整合された前記ＡＲコンテンツを表示するようにプログラムされた、
請求項１から４のいずれか一項に記載のＡＲベースのサービス提供案内デバイス。
【請求項６】
前記モバイルデバイスがセルラー電話（セルフォン）又はタブレットコンピュータを備え、前記ディスプレイが、前記セルフォン又は前記タブレットコンピュータの前面上に配設された不透明ディスプレイであり、前記カメラが、前記セルフォン又は前記タブレットコンピュータの反対側の裏面上に配置された後向きカメラであり、
前記電子プロセッサが、前記セルフォン又は前記タブレットコンピュータの前記不透明ディスプレイ上に、前記後向きカメラによってキャプチャされた前記ライブビデオフィードと整合された前記ＡＲコンテンツと、前記ＡＲコンテンツのアンダーレイとしての前記ライブビデオフィードとの両方を表示するようにプログラムされた、
請求項１から４のいずれか一項に記載のＡＲベースのサービス提供案内デバイス。
【請求項７】
前記電子プロセッサが、前記ＡＲコンテンツを、前記モバイルデバイスの前記カメラによって作り出された前記ライブビデオフィードの代わりに使用されるプレビュービデオと整合させるために、前記ＣＶ処理を実施することと、前記モバイルデバイスの前記ディスプレイ上に、前記プレビュービデオと整合された前記ＡＲコンテンツと、前記ＡＲコンテンツのアンダーレイとして表示される前記プレビュービデオとの両方を同時に表示することとによって、サービス提供プレビューを実施するようにさらにプログラムされた、
請求項１から６のいずれか一項に記載のＡＲベースのサービス提供案内デバイス。
【請求項８】
前記電子プロセッサが、
前記ＡＲコンテンツを、前記モバイルデバイスの前記カメラによって作り出された前記ライブビデオフィードと整合させるために、前記ＣＶ処理を実施するようにプログラムされた、サーバコンピュータと、
前記サーバコンピュータに、前記モバイルデバイスの前記カメラによって作り出された前記ライブビデオフィードを送信することと、前記サーバコンピュータから、前記ライブビデオフィードと整合された前記ＡＲコンテンツを受信することと、前記モバイルデバイスの前記ディスプレイ上に、前記ライブビデオフィードと整合された前記ＡＲコンテンツを表示することとを行うようにプログラムされた、前記モバイルデバイスのプロセッサと
を備える、
請求項１から７のいずれか一項に記載のＡＲベースのサービス提供案内デバイス。
【請求項９】
前記ＣＶ処理が、前記ＡＲコンテンツを、前記モバイルデバイスの前記カメラによって作り出された前記ライブビデオフィードと整合させるための同時位置特定及びマッピング（ＳＬＡＭ）処理を含む、
請求項１から８のいずれか一項に記載のＡＲベースのサービス提供案内デバイス。
【請求項１０】
前記ＡＲコンテンツの少なくとも一部分を、ユーザ入力によってサービスコールの記録されたビデオにおいて特定された少なくとも１つの関心ロケーション（ＬＯＩ）と整合させることを含む、前記ＡＲコンテンツを前記サービスコールの前記記録されたビデオと整合させることを含む動作によって、前記ＡＲコンテンツを生成するために、ＣＶ処理を実施するようにプログラムされたコンピュータをさらに備える、
請求項１から９のいずれか一項に記載のＡＲベースのサービス提供案内デバイス。
【請求項１１】
拡張現実（ＡＲ）ベースのサービス提供案内方法であって、前記ＡＲベースのサービス提供案内方法は、
コンピュータを使用して、サービスコールの記録されたビデオにおける少なくとも１つの関心ロケーション（ＬＯＩ）を特定する、前記コンピュータにおけるユーザ入力を受信する動作と、ＡＲコンテンツの部分を前記少なくとも１つのＬＯＩと整合させることを含む、前記ＡＲコンテンツを前記サービスコールの前記記録されたビデオと整合させるためにコンピュータビジョン（ＣＶ）処理を実施する動作とを有する、ＡＲコンテンツをオーサリングするステップと、
電子プロセッサ、及びディスプレイとカメラとを備えるモバイルデバイスを使用して、オーサリングされた前記ＡＲコンテンツを、前記モバイルデバイスの前記カメラによって作り出されたライブビデオフィードと整合させるために、前記電子プロセッサを使用してコンピュータビジョン（ＣＶ）処理を実施するステップと、前記モバイルデバイスの前記ディスプレイ上に、前記ライブビデオフィードと整合されたオーサリングされた前記ＡＲコンテンツを表示するステップとを有する、オーサリングされた前記ＡＲコンテンツを提示するステップと
を有する、拡張現実（ＡＲ）ベースのサービス提供案内方法。
【請求項１２】
前記少なくとも１つのＬＯＩと整合された前記ＡＲコンテンツの前記部分が、部品番号アノテーション、コンピュータ支援設計（ＣＡＤ）図面アノテーション、及びＣＡＤアニメーションアノテーションのうちの１つ又は複数を含む、
請求項１１に記載のＡＲベースのサービス提供案内方法。
【請求項１３】
前記モバイルデバイスがヘッドアップディスプレイ（ＨＵＤ）を備え、前記ディスプレイが透明ディスプレイであり、前記カメラが、前記透明ディスプレイを通して見る前記ＨＵＤのユーザの視点に対応する前記ライブビデオフィードをキャプチャするように配置され、オーサリングされた前記ＡＲコンテンツを提示するステップが、
前記ＨＵＤの前記透明ディスプレイ上に前記ライブビデオフィードを表示することなしに、前記透明ディスプレイ上に、前記ライブビデオフィードと整合された前記ＡＲコンテンツを表示するステップ
を有する、請求項１１又は１２に記載のＡＲベースのサービス提供案内方法。
【請求項１４】
前記モバイルデバイスがセルラー電話（セルフォン）又はタブレットコンピュータを備え、前記ディスプレイが、前記セルフォン又は前記タブレットコンピュータの前面上に配設された不透明ディスプレイであり、前記カメラが、前記セルフォン又は前記タブレットコンピュータの反対側の裏面上に配置された後向きカメラであり、オーサリングされた前記ＡＲコンテンツを前記提示するステップが、
前記セルフォン又は前記タブレットコンピュータの前記不透明ディスプレイ上に、前記後向きカメラによってキャプチャされた前記ライブビデオフィードと整合された前記ＡＲコンテンツと、前記ＡＲコンテンツのアンダーレイとしての前記ライブビデオフィードとの両方を表示するステップ
を有する、請求項１１又は１２に記載のＡＲベースのサービス提供案内方法。
【請求項１５】
前記電子プロセッサと前記モバイルデバイスとを使用して、オーサリングされた前記ＡＲコンテンツを、前記モバイルデバイスの前記カメラによって作り出された前記ライブビデオフィードの代わりに使用されるプレビュービデオと整合させるために、前記ＣＶ処理を実施することと、前記モバイルデバイスの前記ディスプレイ上に、前記プレビュービデオと整合されたオーサリングされた前記ＡＲコンテンツと、オーサリングされた前記ＡＲコンテンツのアンダーレイとして表示される前記プレビュービデオとの両方を同時に表示することとによって、サービス提供プレビューを実施するステップ
をさらに有する、請求項１１から１４のいずれか一項に記載のＡＲベースのサービス提供案内方法。
【請求項１６】
前記電子プロセッサは、オーサリングされた前記ＡＲコンテンツを、前記カメラによって作り出された前記ライブビデオフィードと整合させるために前記ＣＶ処理を実施するために使用されるサーバコンピュータと、前記モバイルデバイスの前記ディスプレイ上に、前記ライブビデオフィードと整合されたオーサリングされた前記ＡＲコンテンツを表示するために使用される前記モバイルデバイスのプロセッサとを備え、前記ＡＲベースのサービス提供案内方法は、
前記モバイルデバイスから前記サーバコンピュータに前記ライブビデオフィードを通信するステップと、
前記サーバコンピュータから前記モバイルデバイスに前記ライブビデオフィードと整合されたオーサリングされた前記ＡＲコンテンツを通信するステップと
をさらに有する、請求項１１から１５のいずれか一項に記載のＡＲベースのサービス提供案内方法。
【請求項１７】
前記ＡＲコンテンツを前記サービスコールの前記記録されたビデオと整合させるために実施される前記ＣＶ処理が、同時位置特定及びマッピング（ＳＬＡＭ）処理を含み、
オーサリングされた前記ＡＲコンテンツを、前記モバイルデバイスの前記カメラによって作り出されたライブビデオフィードと整合させるために実施される前記ＣＶ処理が、ＳＬＡＭ処理を含む、
請求項１１から１６のいずれか一項に記載のＡＲベースのサービス提供案内方法。
【請求項１８】
サービス提供案内のために拡張現実（ＡＲ）コンテンツをオーサリングするためのＡＲコンテンツオーサリングデバイスであって、前記ＡＲコンテンツオーサリングデバイスは、
コンピュータと、
ＡＲコンテンツオーサリング方法を実施するための、前記コンピュータによって読取り可能及び実行可能な命令を記憶する非一時的記憶媒体とを備え、前記ＡＲコンテンツオーサリング方法が、
サービスコールの記録されたビデオにおける少なくとも１つの関心ロケーション（ＬＯＩ）を特定する、前記コンピュータにおけるユーザ入力を受信するステップと、
ＡＲコンテンツの部分を前記少なくとも１つのＬＯＩと整合させるステップを有する、前記ＡＲコンテンツを前記サービスコールの前記記録されたビデオと整合させるためにコンピュータビジョン（ＣＶ）処理を実施するステップとを有する、
ＡＲコンテンツオーサリングデバイス。
【請求項１９】
少なくとも１つのＬＯＩを特定する前記ユーザ入力を受信することが、
前記サービスコールの前記記録されたビデオにおける前記ユーザ入力を受信することであって、前記記録されたビデオにおける少なくとも１つのＬＯＩを示す、前記記録されたビデオによってキャプチャされたユーザ動作を検出するために、前記コンピュータによってＣＶ処理が実施される、受信することを含む、
請求項１８に記載のＡＲコンテンツオーサリングデバイス。
【請求項２０】
前記ＣＶ処理が、同時位置特定及びマッピング（ＳＬＡＭ）処理を含む、
請求項１８又は１９に記載のＡＲコンテンツオーサリングデバイス。
【請求項２１】
前記ＡＲコンテンツオーサリング方法が、前記サービスコールの前記記録されたビデオと、整合された前記ＡＲコンテンツとを、
プレビュービデオを含む保守プロシージャＡＲライブラリ構成要素、又は
医療イメージングデバイスの電子サービスログに記憶された、前記記録されたビデオと、整合された前記ＡＲコンテンツとを含むＡＲサービスログエントリ
のうちの１つとして記憶するステップをさらに有する、
請求項１８から２０のいずれか一項に記載のＡＲコンテンツオーサリングデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
以下は、一般に現場サービス提供（ｓｅｒｖｉｃｉｎｇ）技術に関し、より詳細には、医療イメージングデバイス及びシステムサービス提供技術、拡張ビジョン技術、並びに関連技術に関する。
【背景技術】
【０００２】
医療イメージングデバイスは、磁気共鳴イメージング（ＭＲＩ）デバイス、透過型コンピュータ断層撮影（ＣＴ）イメージングデバイス、陽電子放射断層撮影（ＰＥＴ）イメージングデバイス及び単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ）イメージングのためのガンマカメラなどの放射イメージングシステムなど、極めて複雑なシステム、単一のデバイスにおいて複数のモダリティを与えるハイブリッドシステム、例えばＰＥＴ／ＣＴイメージングデバイス又はＳＰＥＣＴ／ＣＴイメージングデバイス、並びに、一般に画像誘導治療（ｉＧＴ）デバイスと呼ばれる、生検又は他の介入医療プロシージャを案内するために設計されたイメージングデバイスを含む。これらは、例示的な例にすぎない。
【０００３】
現代の医療イメージングデバイス及びシステムは、保守の観点から異例の課題を提示する。これらは、一般に、多種多様な目的のための多数のサブシステムを含み、これらのサブシステムは、例えば、患者を載せ、イメージング検査エリアに移送し、その後、降ろすための機械及び電気機械システム、ＣＴイメージングデバイスの場合のＸ線管アセンブリ及びＸ線検出器アレイ、同じくＣＴの場合の回転ガントリーアセンブリ、ＰＥＴイメージングデバイスの場合の放射線検出器モジュールの環状リング、ガンマカメラの場合の放射線検出器ヘッド及び患者を中心としてそのヘッドを操作するための関連するロボットハードウェア、ＭＲＩの場合の超電導磁石及び関連する液体ヘリウムタンク及び／又は他のクリオスタットハードウェア、コンピュータ化されたコントローラ、制御ボタン、スイッチ、タッチセンシティブディスプレイなどのユーザインターフェーシング構成要素などを含む。医療イメージングデバイスのサービス提供は、通常、現場において、すなわち、医療イメージングデバイスが配備された病院又は他の医療施設において実施されなければならない。その上、病院及び他の医療施設は、患者にイメージング又は画像誘導治療を提供するために、これらのデバイスがほぼ連続的に利用可能であることを期待するので、サービス提供ダウンタイムを最小限に抑えることが極めて望ましい。
【０００４】
また、サービス提供の見地からのさらなる困難は、医療イメージングデバイスが、通常、製造業者によるほぼ恒常的な開発下にあり、様々なオプション構成要素及び構成要素パッケージを伴って販売され、結果として、同じ形式／モデルの医療イメージングデバイスの異なる配備された取付けでは、同じ形式／モデルにもかかわらず、医療イメージングデバイスがいつ製造されたかに応じて、及び顧客がどのオプションを購入することを決めたかに応じて、異なる構成要素を有する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
これらの考慮事項により、サービス担当者が、現場において遭遇するあらゆる潜在的保守タスクに関して完全に精通することは、特に難しくなる。サービス担当者は、書かれたサービスマニュアル及び／又はコンピュータ支援設計（ＣＡＤ）図面を調べるが、これらは、経時的に古くなり、又はいくつかのオプション構成要素を含めることができないことがある。ＣＡＤ図面の場合、サービス担当者は、参照されるべきである正しい図面（構成要素、バージョンなど）を確認するのが困難である。さらに、サービスマニュアルが現場サービス担当者によって書かれない場合、マニュアルは、現場サービス提供を実施するときにのみ明らかになる態様を扱うことができず、例えば、特定の構成要素は、現場においてアクセスすることが困難であるが、この困難は、サービスマニュアルを起草する設計技師によって認識されない。
【０００６】
現場におけるサービス担当者にとっての別のリソースは、サービスを受ける特定の構成要素、デバイスなどを専門とする専門家への電話又はビデオ会議アクセスである。これは、専門家の貴重な時間を占有し、現場サービス人員と専門家との間の協調を必要とし、専門家がサービス提供時間中に「オンコール（ｏｎ  ｃａｌｌ）」でなければならないか、コールのための日／時が、前もってスケジュールされなければならないかのいずれかである。さらに、専門家は、限られた情報を有し、それに基づいて支援を与える。この情報は、一般に、サービス人員によって与えられる構成要素及びその環境の口頭説明と、場合によっては、セルラー電話（セルフォン）又は他のモバイルデバイスの内蔵カメラを使用して与えられる構成要素のビデオとを含む。サービス人員から専門家に状況データを転送する際に、及び／又はサービス人員に専門家のアドバイスを伝達する際に、重要な情報が失われ得る。
【０００７】
以下に、新規の改善されたシステム及び方法を開示する。
【課題を解決するための手段】
【０００８】
１つの開示される態様では、拡張現実（ＡＲ）ベースのサービス提供案内（ｓｅｒｖｉｃｉｎｇ  ｇｕｉｄａｎｃｅ）デバイスが、ディスプレイとカメラとを備えるモバイルデバイスと、ＡＲコンテンツを、モバイルデバイスのカメラによってキャプチャされたライブビデオフィード（ｌｉｖｅ  ｖｉｄｅｏ  ｆｅｅｄ）と整合させることと、モバイルデバイスのディスプレイ上にライブビデオフィードと整合されたＡＲコンテンツを表示することとを行うために、コンピュータビジョン（ＣＶ）処理を実施するようにプログラムされた電子プロセッサとを備える。
【０００９】
別の開示される態様では、ＡＲベースのサービス提供案内方法が、コンピュータを使用して、サービスコールの記録されたビデオにおける少なくとも１つの関心ロケーション（ＬＯＩ）を特定する、コンピュータにおけるユーザ入力を受信する動作と、ＡＲコンテンツの部分を少なくとも１つのＬＯＩと整合させることを含む、ＡＲコンテンツをサービスコールの記録されたビデオと整合させるためにＣＶ処理を実施する動作とを有する、ＡＲコンテンツをオーサリングする（ａｕｔｈｏｒ）ステップと、電子プロセッサ、及びディスプレイとカメラとを備えるモバイルデバイスを使用して、オーサリングされたＡＲコンテンツを、モバイルデバイスのカメラによって作り出されたライブビデオフィードと整合させるために、電子プロセッサを使用してＣＶ処理を実施するステップと、モバイルデバイスのディスプレイ上に、ライブビデオフィードと整合されたオーサリングされたＡＲコンテンツを表示するステップとを有する、オーサリングされたＡＲコンテンツを提示するステップとを有する。
【００１０】
別の開示される態様では、サービス提供案内のためのＡＲコンテンツをオーサリングするためのＡＲコンテンツオーサリングデバイスが、開示される。ＡＲコンテンツオーサリングデバイスは、コンピュータと、ＡＲコンテンツオーサリング方法を実施するための、コンピュータによって読取り可能及び実行可能な命令を記憶する非一時的記憶媒体とを備え、ＡＲコンテンツオーサリング方法は、サービスコールの記録されたビデオにおける少なくとも１つのＬＯＩを特定する、コンピュータにおけるユーザ入力を受信するステップと、ＡＲコンテンツの部分を少なくとも１つのＬＯＩと整合させるステップを有する、ＡＲコンテンツをサービスコールの記録されたビデオと整合させるためにＣＶ処理を実施するステップとを有する。
【００１１】
１つの利点は、サービス担当者にリアルタイム自動支援を与えることにある。
【００１２】
別の利点は、サービスコールを支援するために、リアルタイム拡張現実（ＡＲ）コンテンツを与えることにある。
【００１３】
別の利点は、サービスコールを支援するために、サービス人員の視点から提示され、実施されるべきサービス動作と緊密に統合されたリアルタイムＡＲコンテンツを与えることにある。
【００１４】
別の利点は、サービスコールを支援するために、ＡＲコンテンツを組み込んだプレビューモードに切り替わる能力と組み合わせて、リアルタイムＡＲコンテンツを与えることにある。
【００１５】
別の利点は、適切なＡＲコンテンツを自動的に決定するためにリアルタイムビデオフィードを活用する、リアルタイムＡＲコンテンツを与えることにある。
【００１６】
別の利点は、ＡＲベースのサービス命令をオーサリングするためのデータを与えるために、既存のサービスコールを活用することにある。
【００１７】
別の利点は、既存のＡＲベースのサービス命令の更新を効果的にオーサリングするためのデータを与えるために、既存のサービスコールを活用することにある。
【００１８】
所与の実施形態は、上記の利点のいずれをも与えないか、又は上記の利点のうちの１つ、２つ、３つ以上又はすべてを与え、及び／或いは当業者が、本開示を読み、理解すると明らかになるような他の利点を与える。
【００１９】
本発明は、様々な構成要素及び構成要素の配置の形態、並びに様々なステップ及びステップの配置の形態をとる。図面は、好ましい実施形態を示すためのものにすぎず、本発明を限定するものと解釈されるべきではない。
【図面の簡単な説明】
【００２０】
【図１】拡張現実（ＡＲ）ベースのサービス命令をオーサリングするためのデータを与えるために、医療イメージングデバイスに対する保守を実施するためのサービスコールを活用するための実施形態を、そのデータを使用するＡＲコンテンツオーサリングデバイスの図式表現とともに、概略的に示す図である。
【図２】図１のＡＲコンテンツオーサリングデバイスのより詳細な実施形態を概略的に示す図である。
【図３】図１及び図２のＡＲコンテンツオーサリングデバイスによってオーサリングされたＡＲコンテンツを配信するための、ＡＲベースのサービス命令配信デバイスを概略的に示す図である。
【発明を実施するための形態】
【００２１】
本明細書で開示される改善では、拡張現実（ＡＲ）ベースのサービスマニュアルのためのＡＲコンテンツをオーサリングするための基礎を与えるために、医療イメージングデバイスに対する保守を実施するためのサービスコールの（随意にオーディオを含む）ビデオ記録が活用される。サービスコールは、通常のカメラを使用して記録され、又は深度情報を与えるために、ステレオカメラが使用され、及び／又はレンジカメラが使用される。単一の（非レンジ）カメラが使用される場合、技術者が動き回るにつれて、異なるバンテージポイント（ｖａｎｔａｇｅ  ｐｏｉｎｔ）から深度情報が抽出される。カメラは、サービス人員の「一人称（ｆｉｒｓｔ−ｐｅｒｓｏｎ）」ビューを与えるために頭部装着される。サービスコール中に、ポインタが随意に、関心ロケーション（ＬＯＩ）をマークするために使用され、及び／又は、記録のために、流れている口頭解説を与える。
【００２２】
サービスコールの記録されたビデオを、同じ又は同様の保守タスクを対象とする将来のサービスコールをサポートするためのＡＲコンテンツに変換するために、オーサリングシステムが使用される。オーサリングシステムは、サービス人員のロケーションと顕著な環境（例えば、サービス提供される構成要素及び場合によっては隣接する構成要素）とを同時にマッピングするために、同時位置特定及びマッピング（ＳＬＡＭ）アルゴリズムなどのコンピュータビジョン（ＣＶ）技術を使用する。抽出されたマップは、記録されたビデオ中の構成要素を、構成要素のコンピュータ支援設計（ＣＡＤ）図面と整合させるために、及びＬＯＩを３次元空間に空間中で位置決めするために使用され得る。次いで、人間のエディタが口頭説明オーバーレイを追加する（又は、これは、書かれたサービスマニュアルのテキスト音声転写（ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ  ｔｒａｎｓｃｒｉｐｔｉｏｎ）を使用して行われる）。人間のエディタはまた、適宜に、ＬＯＩマーカーを示すオーバーレイを追加し、随意に、部品番号、ＣＡＤ図面、ＣＡＤアニメーション又は他の視覚に訴えるもの（ｖｉｓｕａｌ）を示すポップアップウィンドウ、主要な部品のカラー化された強調表示など、サービス技術者を支援する他のＡＲコンテンツを追加する。現場での使用を容易にするために、様々な停止ポイントが、ＡＲコンテンツに追加され、及び／又は、ＡＲコンテンツは、エピソードにセグメント化され、エピソードは、異なる順序で再生（すなわち非線形再生）されて、異なる順序でステップが実施されるサービスコールのハンドリングを可能にすることができる。
【００２３】
オーサリングされたＡＲベースのサービスマニュアルコンテンツを使用するために、サービス技術者は、サービス下の構成要素のサービス人員の実際のビューに重畳されるように、ＡＲオーバーレイをＨＵＤの透明スクリーン上に提示する、透明ディスプレイを有するヘッドアップディスプレイ（ＨＵＤ）（すなわち、シースルー（ｓｅｅ−ｔｈｒｏｕｇｈ）ディスプレイ）を着用する。ＨＵＤは、技術者のビューをキャプチャするカメラをさらに備え、ＡＲコンテンツオーバーレイ（及び、与えられた場合、オーディオ再生）を、サービス人員のリアルタイムビューと一致させるように、ＡＲコンテンツをこのリアルタイムビデオフィードと整合させるためにＳＬＡＭアルゴリズムを適用する。
【００２４】
随意に、サービス人員は、重畳ＡＲコンテンツを伴って、ＡＲコンテンツをオーサリングするために使用されるサービスコールのあらかじめ記録されたビデオが表示される、プレビューモードを選択することができる。このようにして、サービス人員は、保守タスクのステップがどのように実施されるかのプレビューを見ることができる。有利には、ＡＲ処理は、このプレビューモードでは、（ｉ）ＡＲコンテンツを、ライブビデオフィードではなくプレビュービデオと整合させるためにＳＬＡＭ処理を実施することと、（ｉｉ）透明ディスプレイ上にアンダーレイとして、あらかじめ記録されたビデオコンテンツを表示することとを除いて、変更されない。
【００２５】
さらなる企図された変形実施形態では、適切なＡＲコンテンツを自動的に取り出して、提示するために、ライブビデオフィードを処理して、特定の構成要素又は副構成要素を特定する。
【００２６】
例示的な実施形態では、ＨＵＤはシースルーディスプレイを採用し、シースルーディスプレイは、有利には、サービス人員がリアルタイムで構成要素を直接観測することを可能にするために、ＡＲコンテンツオーバーレイを除いて透明である。この変形実施形態では、ＨＵＤは、（ビデオ拡張現実として知られる）ＡＲコンテンツのアンダーレイとして、ライブビデオフィードが表示される不透明ディスプレイを採用し、この変形実施形態では、サービス人員は、リアルタイムビデオフィード表示を観察することによって、サービス提供されている構成要素を間接的に「見る」。
【００２７】
別の企図された変形実施形態では、ＨＵＤの代わりに、ＡＲコンテンツは、セルフォン又は他のモバイルデバイスのディスプレイスクリーン上に表示され得、リアルタイムビデオフィードを生成するために、たいていのセルフォン及び他のモバイルデバイスに設けられた内蔵カメラを活用する。この場合、デバイスは、セルフォンディスプレイ上にアンダーレイとしてライブビデオフィードを表示することによって、ビデオ拡張現実において動作する。
【００２８】
開示される手法は、ＡＲベースのサービスマニュアルを更新するためにも使用され得る。例えば、サービス人員が、例えば、サービス提供されている特定の配備された医療イメージングデバイスの構成要素における代替部品の使用により、予期しない問題に遭遇した場合、ＨＵＤのカメラによって与えられたライブフィードがオーサリングシステムとともに使用されて、この代替部品に適した更新されたＡＲコンテンツを作り出す。
【００２９】
図１を参照すると、サービスコールを記録するためのシステムが示されている。例示的なサービスコールの対象は、イメージングデバイス１０であり、この例示的な例では、イメージングデバイス１０は、透過型コンピュータ断層撮影（ＣＴ）イメージングガントリー１２と、陽電子放射断層撮影（ＰＥＴ）イメージングガントリー１４とを備えるハイブリッドイメージングデバイスであり、すなわち、例示的なイメージングデバイスは、ＣＴ／ＰＥＴイメージングデバイス１０である。より一般的には、サービスコールの対象は、任意のタイプのイメージングデバイス、例えば、スタンドアロンＰＥＴ又はスタンドアロンＣＴイメージングデバイス、磁気共鳴イメージング（ＭＲＩ）デバイス、単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ）イメージングのためのガンマカメラ、画像誘導治療（ｉＧＴ）デバイスなどである。さらにより一般的には、開示されるＡＲベースのサービス提供案内デバイス及び方法は、現場で実施されるサービス提供のための任意のタイプのシステム又はデバイスに適用され、例えば、放射線治療送出デバイス（ｒａｄｉａｔｉｏｎ  ｔｈｅｒａｐｙ  ｄｅｌｉｖｅｒｙ  ｄｅｖｉｃｅ）、磁石などの調査デバイス、低温システム、工場ロボットシステム、処理炉などに適用される。サービスコールは、ビデオを記録することが可能であり、好ましくは、好都合なフォームファクタを有するモバイルカメラ１８を使用して記録される。例示的な例では、モバイルカメラ１８は、眼鏡２１に搭載されたステレオカメラ２０を備える。ステレオカメラ２０は、左眼カメラ２２と右眼カメラ２４とを備え、それにより、有利に、人間の両眼視をシミュレートするためにステレオビデオを取得する。ステレオカメラ２０を眼鏡２１に搭載することによって、モバイルカメラ１８は、「一人称」を与え、眼鏡２１が、サービス提供を実施する（又は、サービス提供の実施に参加する）サービス人員によって着用された場合、サービスコールの記録されたビデオは、有利には、サービス人員の視点又はバンテージポイントからのものである。構造的支持として眼鏡２１を採用する例示的なモバイルカメラ１８の代わりに、別のアイウェアフォームファクタ、例えばゴーグルが使用され、或いはヘッドバンド又はヘルメットなどに搭載されたカメラが、サービスコールのビデオを記録するために同様のバンテージ（ｖａｎｔａｇｅ）を与えることができる。ステレオカメラ２０を使用することによって、記録されたビデオは、有利には、本質的に両眼であり、３次元（３Ｄ）情報を抽出するための深度情報を与えることができる。ただし、代替実施形態では、単眼カメラが採用され、この場合、コンピュータビジョンは、概して、（サービス提供中のサービス人員の頭部の移動による）カメラの自然な移動によって与えられる異なるバンテージポイントに基づく３Ｄ情報を抽出することができる。別の企図された変形実施形態として、従来の光学カメラが、深度情報を与えるためにレンジカメラによって拡張される。
【００３０】
例示的なアイウェア搭載カメラ２０をもつモバイルカメラ１８に関する困難は、モバイルカメラ１８が、電子プロセッサを搭載するための限られた支持構造を与えることであり、すなわち、眼鏡２１上に、ビデオ生成及び随意の処理をハンドリングするための十分な処理能力をもつマイクロプロセッサ又はマイクロコントローラを組み込むことが困難であることである。このことは、例示的な実施形態では、例示的なセルラー電話（セルフォン、これは、アプリケーションプログラム又は「アプリ」を実行する能力があるときはスマートフォンと呼ばれることがある）又はタブレットコンピュータなど、モバイルデバイス３０とワイヤレス通信しているモバイルカメラ１８を有することによって対処される。ワイヤレス接続３２は、非限定的な例示として、Ｂｌｕｅｔｏｏｔｈ（商標）ワイヤレス接続、ＷｉＦｉ接続、又は他の短距離又は中距離ワイヤレス接続である。ワイヤード接続も企図され、例えば、ＵＳＢケーブルが、モバイルカメラ１８をモバイルデバイス３０と物理的に接続する。例示的なモバイルデバイス３０は、モバイルデバイス３０の前面上に配設された不透明ディスプレイ３４、及びモバイルデバイス３０の反対側の裏面上に配置された（図１では見えないように遮断され、したがって想像線で示されている）後向きカメラ３６など、一般的な構成要素を備える。そのようなモバイルデバイスにとって一般的であるように、ディスプレイ３４は、好ましくは、タッチセンシティブディスプレイ、例えば、静電容量式タッチセンシティブディスプレイ、又は表面弾性波（ＳＡＷ）ディスプレイであり、その結果、ユーザは、アプリケーションプログラム（「アプリ」）を実行すること、入力を与えること、「ソフト」キーボードを動作させることなどのために、タッチによってモバイルデバイス３０と対話することができる。
【００３１】
記録されたビデオ４０は、ワイヤレス接続３２を介してアイウェアベースのモバイルカメラ１８からモバイルデバイス３０に送信される。モバイルデバイス３０は、一般に、オーディオ成分を記録されたビデオ４０に与えるために使用されるマイクロフォン３８をも備え、又は代替的に、マイクロフォンが眼鏡２１に搭載され（図示せず）、別の代替として、記録されたビデオ４０は記録された音を有しない（映像のみ）。サービスコールの記録中に、モバイルデバイス３０は、随意に、例えば他のアプリを実行することによって、他のタスクを実施している。例えば、セルフォンの形態のモバイルデバイス３０は、サービスコールについてリモートの専門家４２（例えば、実施されている特定のサービスに関する、及び／又はサービスを受けている特定のデバイス１０又はそのデバイスの構成要素に関する専門的な知識をもつ人間の専門家）と電話で話し合うために使用される。
【００３２】
次に説明されるように、記録されたビデオ４０は、後続のサービスコール中での使用のために、拡張ビジョン（ＡＲ）コンテンツをオーサリングするための基礎を与える。この目的で、図１に概略的に示されているように、記録されたビデオ４０は、ＡＲコンテンツオーサリング方法５４を実施するための、非一時的記憶媒体（図示せず、ハードディスクドライブ、ＲＡＩＤ、又は他の磁気記憶媒体；フラッシュメモリ、ソリッドステートドライブ、又は他の電子記憶媒体；光ディスク又は他の光記憶媒体；それらの様々な組合せなど）から読み取られた命令を実行する、コンピュータ５２の形態のＡＲコンテンツオーサリングデバイス５０に転送される。ＡＲコンテンツオーサリングは、例えば、ＡＲコンテンツ（例えば、コンピュータ支援設計（ＣＡＤ）図面５６からとられた部品番号アノテーション、ＣＡＤ図面又はＣＡＤ図面の部分を示すピクチャインピクチャ（ＰＩＰ）ウィンドウ、或いはＣＡＤ図面５６から生成されたアニメーションなど）を、記録されたビデオ４０と整合させるために、同時位置特定及びマッピング（ＳＬＡＭ）処理などのコンピュータビジョン（ＣＶ）処理を使用して、ＣＡＤ図面５６を、記録されたビデオ４０に空間的に登録することを伴う。
【００３３】
図１が、サービスコールのビデオ４０をキャプチャするための１つの例示的な配置を示すにすぎないことを理解されたい。すでに述べたように、他のタイプのアイウェア又はヘッドウェア（例えばゴーグル、ヘッドバンド、ヘルメットなど）が、サービス提供プロセスの一人称ビューを与えるためのモバイルカメラ１８のための支持構造として働き、さらに、すでに述べたように、ステレオカメラ２０は、別のタイプのカメラ、例えば、単眼カメラ、カメラとレンジカメラとの組合せなどによって置き換えられる。他の実施形態では、サービスコールの記録されたビデオは、サービス人員の一人称ビューからのものでない。例えば、代替の実施形態では、モバイルカメラはモバイルデバイス３０を備え、モバイルデバイス３０の裏面上に配置された後向きカメラ３６がサービスコールを記録するためのカメラとして働く。この場合、バンテージは、一人称でないことになるが、サービス人員（又はアシスタント）は、サービスプロセス全体又は関心のサービスプロセスの部分（例えば困難な部分）のみを記録するように適宜に後向きカメラ３６を向けるようにモバイルデバイス３０を保持することができる。
【００３４】
ＡＲコンテンツをオーサリングするのを支援するために、いくつかの実施形態では、サービスコールの記録されたビデオ４０によってキャプチャされたサービス提供を実施するサービス人員は、ポインタ６２又は他の弁別的ポインティング機構（いくつかの例では、サービス人員の指又は手にすぎないことがある）を使用して関心ロケーション（ＬＯＩ）６０を能動的に指す。他の実施形態では、ＬＯＩは、記録されたビデオ４０を記録した後に、例えば、ユーザが、記録されたビデオ４０のフレーム中のＬＯＩをマークするためにコンピュータ５２の１つ又は複数のユーザ入力デバイス（例えば、例示的なキーボード６４及び／又はマウス６６）を操作することによって、ラベリングされる。
【００３５】
次に図２を参照しながら、非一時的記憶媒体（図示せず）から読み取られた命令を実行するコンピュータ５２によって実施されるＡＲコンテンツオーサリングデバイス５０の例示的な実施形態が説明される。ＡＲオーサリングプロセス５４は、記録されたビデオ４０と、（随意に、構成要素の部品番号、３Ｄレンダリング、アニメーションなどのデータを含む）ＣＡＤ図面５６など、ＡＲコンテンツを生成するための情報とを入力として受信する。動作７０において、イメージングデバイス１０の様々な構成要素（図１参照、より一般的には、サービス提供を受けるシステム又はデバイスの様々な構成要素）が、コンピュータビジョン（ＣＶ）処理を使用して、記録されたビデオ４０にマッピングされる。好ましい実施形態では、マッピング動作７０は、サービス人員のロケーション（一人称ビデオを仮定して、又は記録されたビデオ４０がモバイルデバイス３０によって取得された場合、モバイルデバイス３０のロケーション）と、一方では、構成要素又はデバイス１０上の基準ポイントとを、記録されたビデオ４０の連続フレームによって与えられる観測のシーケンスのコンテンツに最適にマッピングするために、ベイズ推定又は別の機械学習技法を採用する同時位置特定及びマッピング（ＳＬＡＭ）処理を使用して、実施される。随意に、ＣＡＤ図面５６によって与えられる構成要素基準ポイントの空間レイアウトなどのアプリオリに知られている情報が、マッピング７０を改善するために使用される。ＳＬＡＭ処理タスクは、確率論的定式化Ｐ（ｃ１（ｔ），ｃ２（ｔ），．．．，ｃｎ（ｔ），ｐ（ｔ）｜ｆ１，．．．，ｆｔ）によって数学的に定式化され、ここで、ｃ１（ｔ），ｃ２（ｔ），．．．，ｃｎ（ｔ）は、時間ｔにおける構成要素又はデバイス１０の基準ポイントのロケーションであり（ここで、一般性の喪失なしに、ｎ個の基準ポイントが仮定される）、ｐ（ｔ）は、時間ｔにおけるサービス人員のロケーションであり、ｆ１，．．．，ｆｎは、時間ｔまでの記録されたビデオ４０のフレームである。ロボットビジョンマッピング、自動運転車両ナビゲーション技術などのための知られている様々なＳＬＡＭアルゴリズムが、マッピング動作７０を実施するために好適に適用される。動作７２において、ＬＯＩは、（例えば、記録されたビデオ４０からのビデオフレームを表示し、ユーザがマウス６６を使用してＬＯＩ上をクリックすることを可能にすることによって）（１つ又は複数の）ユーザインターフェーシングデバイス６４、６６を介してユーザから受信されるか、又はＳＬＡＭ処理７０中に記録されたビデオ４０から自動的に抽出される。この後者の手法は、記録されたビデオ４０において少なくとも１つのＬＯＩ（例えば、図１に示されている例示的なＬＯＩ６０）を示す、記録されたビデオ４０によってキャプチャされたユーザ動作（例えば、ポインタ６２を使用して指すこと、図１参照）を検出するために、コンピュータ５２によってＳＬＡＭ又は他のＣＶ処理を実施することを伴う。この示されたＬＯＩ６０は、次いで、ＳＬＡＭ処理７０においてマッピングされるべき基準ポイント（ｃＬＯＩ（ｔ））のうちの１つになる。
【００３６】
動作７４において、ＳＬＡＭ処理７０及びＬＯＩ指定７２の結果を使用して、ＡＲコンテンツが、記録されたビデオ４０と整合される。例えば、ＣＡＤ情報の部品番号でＬＯＩを「ラベリング」するように、部品番号アノテーションなどのアノテーション、ＰＩＰウィンドウとして示されるＣＡＤ図面又はＣＡＤ図面部分、又はＰＩＰウィンドウとして示されるＣＡＤアニメーションが、ＬＯＩにおいて又はＬＯＩの極めて近くに追加される。より高度な手法では、主要な部品或いは部品組合せ又はアセンブリのワイヤフレーム図面が、ＣＡＤ図面５６から抽出され、ＡＲコンテンツとしてオーバーレイされ、この場合も、ＳＬＡＭ処理７０及びＬＯＩ指定７２によるマッピング出力を使用して、記録されたビデオ４０に示されている（１つ又は複数の）部品の実際の画像と整合される。このようにオーサリングされたＡＲコンテンツは、随意に、（例えば、部品アセンブリの異なる部品を区別するために異なる色を使用して）カラーコード化されるか、又は場合によっては強調表示される。口頭ナレーションの形態のＡＲコンテンツも、追加される。この場合、ＡＲコンテンツは、記録されたビデオ４０を作成するフレームの時間シーケンスと整合する、時間的シーケンスを有することが仮定され、ナレーションは、様々なサービス提供タスクがビデオ中で実施されるときと、時間的に同期するように追加される。随意の動作７６において、ＡＲコンテンツは、停止ポイントを追加すること及び／又はＡＲコンテンツを独立したエピソードにセグメント化することによって、時間的にセグメント化される。例えば、サービス提供が、サービス提供を必要とする第２のアセンブリをあらわにするために、第１のアセンブリをデバイス１０から取り外すことを伴う場合、第１のアセンブリの取外しは１つのエピソードであり、あらわにされた第２のアセンブリのサービス提供は、別個の異なるエピソードである。手動動作を可能にするためにＡＲコンテンツ時間進行を停止することを可能にするために、停止ポイントが追加され、例えば、取付け前に部品に注油する必要がある場合、注油プロセス中に停止ポイントを追加することは道理にかなう。
【００３７】
得られたオーサリングされたＡＲコンテンツは、保守プロシージャＡＲライブラリ構成要素８０を形成する。いくつかの実施形態では、本明細書で後で説明されるように、ＡＲライブラリ構成要素８０は、図２に概略的に示されているプレビュービデオ４１として（随意に、ＡＲコンテンツオーサリング動作７６と同様に、セグメント化及び／又は停止ポイントを追加した後に）記憶された、記録されたビデオ４０を含むか、又はそれへのアクセスを有する。このプレビュービデオ４１は、与えられた場合、サービス人員による要求時に、重畳ＡＲコンテンツを含むサービス提供プロシージャのプレビューを与えるために使用される。
【００３８】
全体的なＡＲ保守プロシージャライブラリの一部として、ＡＲライブラリ構成要素８０は随意に、動作８２において、サービス提供動作の知覚可能なシーケンスのＡＲサポートを与えるために他のＡＲライブラリ構成要素とさまざまにリンクされる。例えば、図１のＣＴガントリー１２のＸ線管を交換するプロセスについて考える。このサービス提供は、Ｘ線管にアクセスするためにＣＴガントリー１２を開くことと、Ｘ線管を取り外すことと、場合によっては、新しいＸ線管の何らかのセットアップ又は設定を実施することと、新しいＸ線管を取り付けることと、次いでＣＴガントリー１２を再構築することとを伴う。これらのステップの各々は、１つの手法では、別個のＡＲライブラリ構成要素によってサポートされ、次いでそれらが互いに好適にリンクされる。したがって、サービス人員は、ＣＴガントリーを開くことのＡＲコンテンツライブラリ構成要素を最初にロードし、観察し、これが完了すると、次のライブラリ構成要素（例えば新しいＸ線管を設定すること）が、自動的にリンクされ、起動されるなどである。変形実施形態では、リンキング動作８２は、ビデオコンテンツに基づいて自動化され、例えば、ＡＲコンテンツライブビデオフィードの再生中（図３を参照する、本明細書の後の説明を参照）、ライブビデオフィードはＣＶ処理を使用して分析されて、サービス提供下の特定のモデル、タイプ、又は他の固有の構成要素を検出し、次いで、その特定のモデル、タイプ、又は他の固有の構成要素のための正しいＡＲライブラリ構成要素を呼び出す。
【００３９】
図３を参照すると、図２に関して説明されたＡＲコンテンツオーサリングによって生成されたＡＲライブラリ構成要素８０は、後続のサービスコール（すなわち、図１に関して説明された記録されたビデオ４０を生成するために記録されたサービスコールの後で実施されるサービスコール）を実施するサービス人員に好適に提示される。ＡＲコンテンツは、ステレオカメラ２０が搭載された眼鏡２１の形態の例示的なヘッドアップディスプレイ（ＨＵＤ）９０など、好適なモバイルデバイスを使用して提示される。したがって、ＨＵＤ９０は、図１に関してすでに説明されたアイウェアベースのモバイルカメラ１８と同様であることがわかるが、ＨＵＤ９０は透明ディスプレイをさらに備え、例示的な場合には、眼鏡２１の左眼フレームにおいて搭載された左透明ディスプレイ９２と、眼鏡２１の右眼フレームにおいて搭載された右透明ディスプレイ９４とを備える。したがって、ＨＵＤ９０はシースルーＡＲディスプレイを構成し、シースルーＡＲディスプレイでは、ユーザ（例えばサービス人員）は、透明ディスプレイ９２、９４を通して観察することによって、実際のシーンを直接見て、一方、透明ディスプレイ９２、９４上にＡＲコンテンツを表示することによって、ＡＲコンテンツは、この実際に観察されたシーンに重畳される。例示的な眼鏡ベースのＨＵＤ９０は、一例であり、多数の他のＨＵＤ設計が企図される。変形実施形態では、ＨＵＤは、左眼と右眼の両方にわたって延在する単一のレンズをもつゴーグルを採用し、この実施形態では、透明ディスプレイは、左眼と右眼の両方にわたって同様に延在する単一の透明ディスプレイである。
【００４０】
シースルーＡＲディスプレイは、サービス人員が、その人の視覚によって与えられる最大視力を有するように、実際のシーンを直接見る（例えば、サービス提供されている構成要素を実際に見る）という点で非常に大きな利点を有する（サービス人員が、近視であるか或いは場合によっては処方眼鏡又はコンタクトを必要とする場合、サービス人員は、好適に、ＨＵＤ９０を使用するとともに処方コンタクトを着用するか、又は、随意に、透明ディスプレイ９２、９４を形成するガラスが、眼の処方（ｏｃｕｌａｒ  ｐｒｅｓｃｒｉｐｔｉｏｎ）を組み込むように変更されるかのいずれかである）。しかしながら、代替実施形態では、ビデオＡＲディスプレイを採用することが企図される。この代替実施形態では、透明ディスプレイ９２、９４は、ステレオカメラ２０によってキャプチャされた実際のシーンのビデオフィードを表示する、不透明ディスプレイによって置き換えられる。その場合、表示されたビデオフィードは、表示されたＡＲコンテンツのアンダーレイとして働く。ビデオＡＲディスプレイを使用したこの手法は、一般に、ビデオディスプレイが、より粗い解像度のものになることになり、及び／又は、例示的なシースルーＨＵＤ９０によって与えられる実際のシーンの直接ビューと比較して、他の光学的低下を有するという欠点を有する。
【００４１】
サービスプロシージャをサポートするためのＡＲコンテンツを与えるために、ライブビデオフィード９６が、Ｂｌｕｅｔｏｏｔｈ（商標）又は別の短距離から中距離のワイヤレス通信プロトコルを介して（又は、代替的に、ワイヤードＵＳＢ又は他のワイヤード接続を介して）モバイルデバイス３０（例えばセルフォン又はタブレットコンピュータ）に通信され、モバイルデバイス３０は、ライブビデオフィード９６を、例えば、４Ｇなどのセルラー通信プロトコルを介して、或いはインターネットサービスプロバイダ（ＩＳＰ）へのＷｉＦｉリンク及び／又は病院電子ネットワークなどを介してサーバコンピュータ１００に中継する。サーバコンピュータ１００は、ＡＲライブラリ構成要素８０のＡＲコンテンツをライブビデオフィード９６にマッピングし、エージェント（この実施形態ではＨＵＤ９０）を位置特定するように、整合１０２を実施するために、非一時的記憶媒体（図示せず、ハードディスクドライブ、ＲＡＩＤ、又は他の磁気記憶媒体；フラッシュメモリ、ソリッドステートドライブ、又は他の電子記憶媒体；光ディスク又は他の光記憶媒体；それらの様々な組合せなど）に記憶された命令を実行する。整合１０２は、前に説明されたマッピング７０（図２参照）と同様にＳＬＡＭ処理によって実施される。ライブビデオフィード９６にマッピングされたＡＲコンテンツは、好適に、ＡＲライブラリ構成要素８０において定義されたＡＲコンテンツ、例えば、部品番号アノテーション、ＣＡＤ図面又はＣＡＤ図面の部分を表示するアノテーション付きピクチャインピクチャ（ＰＩＰ）ウィンドウ、及び／又は口頭ナレーションが付随するＣＡＤアニメーションなどを含む。例えば、整合されたＡＲコンテンツは、ＳＬＡＭ処理によって、ライブビデオフィード９６において特定されたＬＯＩと整合された、マーカーを含む。別の例として、整合されたＡＲコンテンツは、ＣＶ処理１０２によって、ライブビデオフィード９６において特定されたＬＯＩと整合されたアノテーション（部品番号アノテーション、ＣＡＤ図面又はＣＡＤ図面部分、或いはＣＡＤアニメーションなど）を含む。
【００４２】
得られたＡＲコンテンツ１０４は、４Ｇ、ＷｉＦｉ／ＩＳＰ／インターネット又は他の通信経路を介してモバイルデバイス３０に送信され、次には、Ｂｌｕｅｔｏｏｔｈ（商標）又は他の短距離から中距離のワイヤレス通信を介してモバイルデバイス３０からＨＵＤ９０に送信される。ＨＵＤ９０において、ＡＲコンテンツ１０４は、サービス人員が、透明ディスプレイ９２、９４を通して見るとき、サービス人員が見る実際のシーンのビュー上に重畳されるものとして視覚的に知覚する不透明又は半透明なテキスト及び／又は画像として、透明ディスプレイ９２、９４上に表示される（ビデオＡＲディスプレイが採用される代替実施形態では、ライブビデオフィード９６はアンダーレイとして表示され、ＡＲコンテンツ１０４がそのアンダーレイの上に重畳される）。
【００４３】
ＨＵＤ９０は、随意に、制御のためのユーザインターフェースを備える。例示的な一実施形態では、これは、モバイルデバイス３０上で動作するＡＲユーザインターフェース（ＵＩ）アプリケーションプログラム（「ＡＲ  ＵＩアプリ」）１０６として実施される。ＡＲ  ＵＩアプリ１０６を介して、サービス人員は、ＡＲコンテンツをオン又はオフにすること（例えば、後者は、サービス人員が、ＡＲコンテンツの支援を必要としないことを確信している場合、及び／又は、ＡＲコンテンツが、サービス提供されている構成要素を見えないように遮断している場合、有用である）、特定のＡＲコンテンツエピソードを実行すること、ＡＲコンテンツを休止すること（この場合も、ＡＲコンテンツは、概して、ライブビデオフィード９６と同期する時間シーケンスとして提示される）、ＡＲコンテンツの輝度、透過性、及び／又は他の表示特性を調節すること、オーディオナレーションをオン又はオフにすることなどを選択することなど、様々な制御動作を実施することができる。いくつかの実施形態では、ＡＲ  ＵＩアプリ１０６は、サービス人員がＡＲコンテンツと対話するための１つ又は複数の機構を与え、例えば、ＨＵＤ９０が注視追跡技術を備える場合、好適な制御機構は、ＡＲコンテンツ要素（例えば、ＰＩＰウィンドウ、部品番号アノテーションなど）に注視を向け、次いで、コマンドを話すためのものであり、コマンドは、マイクロフォン３８によって検出され、話されたコマンドを解釈するために音声認識（ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ）によって処理される。話されたコマンドを介してではなく、ユーザコマンドは、代わりに、モバイルデバイス３０のタッチセンシティブディスプレイ３４上に表示されたソフト制御（ボタン、スイッチ、ソフトキーボードなど）を介して入力される。これらは、例示的なユーザインターフェーシング能力及び制御入力機構にすぎず、より一般的には、ＡＲコンテンツの提示を制御するために好適に使用される実質的に任意のタイプのユーザインターフェーシング能力及び／又は制御入力機構が採用される。
【００４４】
引き続き図３を参照すると、いくつかの実施形態では、サービス提供プレビューが与えられる。すでに言及されたように、プレビュービデオ４１はこの目的で与えられ、プレビュービデオ４１は、何らかの随意の処理（例えば停止ポイントの挿入及び／又はエピソードへのセグメント化、図２の動作７６参照）を用いて（図２に関して前に説明された）ＡＲコンテンツ８０をオーサリングするための基礎として使用された、記録されたビデオ４０を含む。プレビューモードを採用するために、ユーザは、動作１１０において、例えばＡＲ  ＵＩアプリ１０６を使用して、プレビューを要求する。応答する動作１１２において、サーバコンピュータ１００は、プレビューモードに切り替わるように命令される（例えば、コマンドが、ライブビデオフィード９６をサーバ１００に伝達するために使用される同じ４Ｇ又は他の通信経路に沿って送られ、随意に、プレビューモードに切り替わったとき、サーバへのライブビデオフィードのこの通信はオフにされる）。コマンド１１２は、サーバに、ＡＲ整合プロセス１０２に対する変更１１４を実施させる。この変更は、ＡＲコンテンツがプレビュービデオ４１と整合されるように、ライブビデオフィード９６の代わりにプレビュービデオ４１を使用することと、ＡＲコンテンツのアンダーレイとしてプレビュービデオ４１を追加することとを有する。アンダーレイプレビュービデオとともにプレビュービデオと整合されたＡＲコンテンツのこの合成は、次いで、モバイルデバイス３０に送信されるＡＲコンテンツ１０４になる。モバイルデバイス３０において、動作１１６において、重畳ＡＲコンテンツをもつプレビュービデオは、モバイルデバイスのディスプレイ３４上に表示される（同時に、ＨＵＤ９０へのＡＲコンテンツフィードはオフにされる）。次いで、サービス人員は、無関係のＡＲコンテンツが透明ディスプレイ９２、９４上に現れることによって妨害されることなしに、モバイルデバイス３０のディスプレイ３４上でプレビューを観察することができる。モバイルデバイス３０のディスプレイ３４上でのプレビューの表示は、このコンテンツがもはやステレオカメラ２０からのライブビデオフィードと空間的に整合されないので、概して好ましいが、別の実施形態では、透明ディスプレイ９２、９４上にプレビューを表示することが企図される。
【００４５】
図３の例示的な実施形態は、計算的に複雑なＳＬＡＭ処理１０２を実施するために、サーバコンピュータ１００を採用し、これは、モバイルデバイス３０及びＨＵＤ９０が、限られた処理能力を有する場合に有益である。同様に、ＡＲ  ＵＩアプリ１０６を実行するモバイルデバイス３０を使用してユーザインターフェーシングを与えることは、モバイルデバイス３０のタッチセンシティブディスプレイ３４及び随意に他の特徴（例えばマイクロフォン３８）を活用して、ユーザフレンドリインターフェースシングを与える。代替実施形態では、これらの動作／処理は、場合によっては分散される。１つの企図される実施形態では、すべての処理及びユーザインターフェーシングがＨＵＤと統合され、ＨＵＤは、この企図される実施形態では、単一ユニットＡＲベースのサービス提供案内デバイスを提供するために、ＡＲライブラリ構成要素８０を記憶する（又は、クラウドサーバからこのコンテンツをダウンロードする）ためのフラッシュメモリなどを備える。別の変形実施形態として、動作１０２は、モバイルデバイス３０において、ＡＲライブラリ構成要素８０を使用して実施され、ＡＲライブラリ構成要素８０は、全体がモバイルデバイス３０にダウンロードされるか又はクラウドサーバからストリーミングされるかのいずれかである。これらは、同じく例示的な変形実施形態にすぎない。
【００４６】
その上、例示的なＨＵＤ９０は、ＡＲコンテンツを提示する別のモバイルデバイスによって置き換えられる。例えば、モバイルデバイス３０、例えばセルフォン又はタブレットコンピュータは、ＡＲコンテンツを提示するように働く（この変形実施形態では、ＨＵＤ９０は省略される）。モバイルデバイス３０を使用して、サービスコールをサポートするＡＲコンテンツを提示するために、サービス人員は、後向きカメラ３６をサービス提供されている構成要素に向け、ライブビデオフィード９６は後向きカメラ３６によって記録される。サーバコンピュータは、ＡＲコンテンツを生成するためにすでに説明された動作１０２を介してライブビデオフィードを処理し、それをモバイルデバイス３０に返送し、モバイルデバイス３０は、ＡＲコンテンツが重畳されたライブビデオフィード９６を表示する（又は、代替的に、ライブビデオフィード９６へのＡＲコンテンツの重畳は、サーバコンピュータ１００において実施され、サーバコンピュータ１００は次いで、アンダーレイライブビデオフィードが合成されたＡＲコンテンツを返送する）。有利には、サービス人員は、後向きカメラ３６が、サービス提供されている構成要素に向けられた状態で、モバイルデバイス３０のディスプレイ３４を観察することができ、その結果、モバイルデバイス３０は、ビデオＡＲディスプレイとして動作する。
【００４７】
図１と図３とを比較参照すると、いくつかの実施形態では、ＡＲコンテンツサポートにおいて使用されたＨＵＤ９０は、図１の記録されたビデオ４０を記録するためのモバイルカメラ１８としても使用され得、すなわち、ＨＵＤ９０は、図１のモバイルカメラ１８の代わりに使用され得ることが理解されよう。そのような相互運用性は、以下の貴重な利点を有する。サービスコール中にＨＵＤ９０によってキャプチャされたライブビデオフィード９６は、随意に図１の記録されたビデオ４０として使用されて、更新された又は追加のＡＲコンテンツを生成するために図２のようにさらなるＡＲオーサリングを実施するための基礎として働き得る。例えば、ＣＴガントリー１２のＸ線管を交換する前の例では、ＡＲコンテンツを与えるためにＨＵＤ９０を使用するサービス人員が、ＡＲコンテンツを作成するために記録されたサービスコール中で取り付けられたモデルとは異なる、新しいモデルのＸ線管を有すると仮定する。この場合、サービス人員は、新しいモデルのＸ線管を取り付けるときに、ライブビデオフィード９６を記録することができる。これは、図１に関して前に説明したように、リモートの専門家４２からの電話アドバイスを得ることを伴う。新しいモデルのＸ線管の取付けの記録されたライブビデオフィード９６は、次いで、図２のＡＲコンテンツオーサリングを実施するための基礎として働く記録されたビデオ４０になる。その後、新しいモデルのＸ線管が後続のサービスコールにおいて取り付けられるとき、新しいモデルのＸ線管に適した新たにオーサリングされたＡＲコンテンツが、ＡＲベースの案内を与えるために使用され得る。図２のように更新ＡＲコンテンツオーサリングを実施する際に、動作８２において、所与の後続のサービスコールのために、どのモデルのＸ線管が取り付けられているかに応じて古いモデルの管の取付けをサポートするためのＡＲコンテンツ又は新しいモデルの管の取付けをサポートするＡＲコンテンツのいずれかをロードするリンクが、追加され得る。このリンクは手動である（例えば、ユーザは、正しいＡＲサポートコンテンツをロードするために、ＡＲ  ＵＩ１０６を介してＸ線管モデル番号を入力する）か、又は自動である（例えば、サービス人員がＸ線管を最初に注視したとき、モデル番号又はモデルを区別する特徴が、ＣＶ処理を介して検出され、取り付けられているＸ線管のための正しいＡＲコンテンツにリンクするために使用される）。
【００４８】
例示的な実施形態では、図２のＡＲコンテンツオーサリング方法５４は、図３に関して説明されたようにＡＲベースのサービス命令の送出において後で使用するためのＡＲコンテンツ８０を生成するために、医療イメージングデバイスを修理又は保守するために実施されたサービスコールの記録されたビデオ４０を処理する。しかしながら、図２のＡＲコンテンツオーサリング方法５４は、追加又は代替として、実施された保守又は修理アクションをイメージングデバイス１０に反映するためにアノテーション付きＡＲログエントリを作成することなど、他の目的のために、記録されたビデオ４０を処理するために適用される。オーサリングされたＡＲコンテンツは、保守を検証し、計画される保守の要件を相関させるためのツールを与えるために、保守チェックの記録として使用され得る。
【００４９】
保守又は修理ログ記録適用例において、ＡＲコンテンツログエントリは、一般に、動作７２、７４において作成されたＡＲコンテンツアノテーションとともに、記録されたビデオ４０を含み、（記録されたビデオ４０とＡＲアノテーションとを含む）ＡＲコンテンツログエントリは、好適に、イメージングデバイス１０の電子サービスログに記憶される。ＬＯＩ指定動作７２は、サービス人員がサービス提供したロケーションを特定するために、サービスコールの完了の直後にそのサービス人員によって実施され、動作７４は、サービス人員が、部品番号アノテーション、実施されたサービス及び／又はそのサービスの何らかの異例の態様の口頭及び／又はテキスト（随意に音声テキスト）口頭及び／又はテキスト説明、検査された構成要素の記録されたビデオの拡張として働くサービス人員によってもたらされた検査観測結果など、ＡＲコンテンツを追加することを伴う。これらの実施形態では、ユーザ動作７２、７４は、例えば、サービス人員によって携帯されたタブレットコンピュータ、セルフォン、又は他のポータブル電子デバイス上で実施される。何らかのアノテーション付きＡＲコンテンツが、自動的に生成され、例えば、タイムスタンプ情報、サービス担当者の識別情報（代替的に、これは手動で追加されるＡＲコンテンツであり得る）、構成要素のＣＶベースの自動識別情報、又は記録されたビデオ４０中に出現する他の物体などを追加する。
【００５０】
本発明は、好ましい実施形態に関して説明された。上記の詳細な説明を読み、理解した他者は、変更及び改変に想到する。本発明は、すべてのそのような変更及び改変が、添付の特許請求の範囲又はそれの均等物の範囲内に入る限りにおいて、それらの変更及び改変を含むものと解釈されるものである。
【図１】
2021500690.tif 000003
【図２】
2021500690.tif 000004
【図３】
2021500690.tif 000005
【国際調査報告】
2021500690.tif 000006
2021500690.tif 000007
2021500690.tif 000008