(57)【要約】      （修正有）【課題】複合システムの構成要素を動かすタスク実行中、ユーザの動作及び／又は位置の測定値を含む、感知された入力を提供するように構成される１以上のセンサを含むシステムを提供する。【解決手段】システムは、電子的なリソースの作業を識別するための感知された入力の重要性を示す既知のパターンを識別する測定値を含む、感知された入力を処理するように構成される、フロントエンドシステム１０２を含む。フロントエンドシステム１０２は、入力を形成及び通信し、電子的なリソースに作業を実行させて、出力を生成させるように構成される。作業は、測定値に基づいて、タスクの実行中のユーザの動きを決定すること、又はタスクの実行に関する処理変数を計算することを含む。そして、フロントエンドシステム１０２は、電子的なリソースからの出力を受信し、その出力をディスプレイ装置１１０、音声出力装置、又は触覚センサに通信する。【選択図】図１
2014232531.tif 000002
【特許請求の範囲】
【請求項１】
複合システムを動かすタスクをユーザが実行する間の、前記ユーザの動作又は位置のうちの少なくとも１つの測定値を含む、感知された入力を提供するように構成される１以上のセンサ（１０６）と、
前記１以上のセンサ（１０６）に結合されて、前記感知された入力を受信して処理するように構成されるフロントエンドシステム（１０２）であって、前記感知された入力に、実行される電子的なリソースの作業（６０２）を識別するための、前記感知された入力の重要性を示す既知のパターンを識別するための前記測定値が含まれている、フロントエンドシステム（１０２）と
を備えたユビキタスナチュラルユーザシステム（１００）であって、
前記フロントエンドシステム（１０２）は、前記電子的なリソースに前記作業（６０２）を実行させて出力を生成させるような入力を形成して通信するように構成され、前記作業（６０２）は、前記測定値を含む前記感知された入力に基づいて、前記タスクの実行の間の前記ユーザの動きを決定すること、又は前記タスクの実行に関係する処理変数を計算することを含み、
前記フロントエンドシステム（１０２）は、前記電子的なリソースから前記出力を受信して、前記出力をディスプレイ装置（１１０）、音声出力装置、又は触覚センサに通信し、それによって前記ユーザが前記タスクを実行することにおいて電子的なリソースにアクセスする又は当該電子的なリソースを使用することを可能にするように構成される、
ユビキタスナチュラルユーザシステム（１００）。
【請求項２】
前記タスクは、前記ユーザの定義された動きを含む又は意味するタスク定義を有し、
前記フロントエンドシステム（１０２）が前記入力を形成して通信するように構成されることは、前記電子的なリソースに、前記ユーザの動きを決定すること、さらに決定された前記動きを前記定義された動きと比較すること、及び前記比較に基づいて前記タスクの実行と前記タスク定義との適合性を決定することを含む前記作業（６０２）を実行させるように、前記入力を形成して通信するように構成されることを含み、
前記フロントエンドシステム（１０２）が前記出力を受信して通信するように構成されることは、前記適合性の表示を受信して通信するように構成されることを含む、
請求項１に記載のユビキタスナチュラルユーザシステム（１００）。
【請求項３】
前記フロントエンドシステム（１０２）が前記入力を形成して通信するように構成されることは、前記電子的なリソース又は別の電子的なリソースに、前記感知された入力に基づいて人間工学的なリスクの評価の実行を実行させる又は容易にさせるように、前記入力又は別の入力を形成して通信するように構成されることを含む、請求項１に記載のユビキタスナチュラルユーザシステム（１００）。
【請求項４】
前記タスクは、前記複合システムの構成要素の上に留め具を設置することを含む前記タスクの実行の間に、前記留め具に与えられるトルク、揺れ動く力、又は前負荷を含む処理変数の処理要件を特定するタスク定義を有し、
前記フロントエンドシステム（１０２）が前記入力を形成して通信するように構成されることは、前記電子的なリソースに、前記処理変数を計算すること、さらに計算された前記処理変数を特定された前記処理要件と比較すること、前記比較に基づいて計算された前記処理変数と特定された前記処理要件との適合性を決定することを含む前記作業（６０２）を実行させるように、前記入力を形成して通信するように構成されることを含み、
前記フロントエンドシステム（１０２）が前記出力を受信して通信するように構成されることは、前記適合性の表示を受信して通信するように構成されることを含む、
請求項１に記載のユビキタスナチュラルユーザシステム（１００）。
【請求項５】
前記１以上のセンサ（１０６）は、前記タスクの実行の間の前記ユーザの筋活動の測定値を提供するように構成される筋活動センサを含み、
前記フロントエンドシステム（１０２）が前記入力を形成して通信するように構成されることは、前記電子的なリソースに、筋活動の前記測定値に基づいて前記処理変数を計算することを含む前記作業（６０２）を実行させるように、前記入力を形成して通信するように構成されることを含む、
請求項４に記載のユビキタスナチュラルユーザシステム（１００）。
【請求項６】
前記フロントエンドシステム（１０２）が前記出力を通信するように構成されることは、前記ディスプレイ装置（１１０）を含む個人用ディスプレイシステム（１１０）による表示のために前記出力を通信するように構成されることを含み、前記個人用ディスプレイシステムは、前記ディスプレイ装置（１１０）によって表示される前記出力によって拡張される、環境のライブビュー又は直視的なビューを生成する又は可能にするように構成される、
請求項１に記載のユビキタスナチュラルユーザシステム（１００）。
【請求項７】
複合システムを動かすタスクをユーザが実行する間の、前記ユーザの動作又は位置のうちの少なくとも１つの測定値を含む感知された入力を、１以上のセンサ（１０６）によって提供することと、
前記測定値を含む前記感知された入力を受信して処理することであって、前記測定値は、実行される電子的なリソースの作業（６０２）を識別するための、前記感知された入力の重要性を示す既知のパターンを識別する、受信して処理することと、
前記電子的なリソースに前記作業（６０２）を実行させて出力を生成させるように、入力を形成して通信することであって、前記作業（６０２）は、前記測定値を含む前記感知された入力に基づいて、前記タスクの実行の間の前記ユーザの動きを決定すること、又は前記タスクの実行に関係する処理変数を計算することを含む、形成して通信することと、
前記電子的なリソースから前記出力を受信して、前記出力をディスプレイ装置（１１０）、音声出力装置、又は触覚センサに通信し、それによって前記ユーザが前記タスクを実行することにおいて電子的なリソースにアクセスする又は当該電子的なリソースを使用することを可能にすることと
を含む方法。
【請求項８】
前記タスクは、前記ユーザの定義された動きを含む又は意味するタスク定義を有し、
前記入力を形成して通信することは、前記電子的なリソースに、前記ユーザの動きを決定すること、さらに決定された前記動きを前記定義された動きと比較すること、前記比較に基づいて前記タスクの実行と前記タスク定義との適合性を決定することを含む前記作業（６０２）を実行させるように、前記入力を形成して通信することを含み、
前記出力を受信して通信することは、前記適合性の表示を受信して通信するように構成されることを含む、
請求項７に記載の方法。
【請求項９】
前記タスクは、前記複合システムの構成要素の上に留め具を設置することを含む前記タスクの実行の間に、前記留め具に与えられるトルク、揺れ動く力、又は前負荷を含む処理変数の処理要件を特定するタスク定義を有し、
前記入力を形成して通信することは、前記電子的なリソースに、前記処理変数を計算すること、さらに計算された前記処理変数を特定された前記処理要件と比較すること、前記比較に基づいて、計算された前記処理変数と特定された前記処理要件との適合性を決定することを含む前記作業（６０２）を実行させるように、前記入力を形成して通信することを含み、
前記出力を受信して通信することは、前記適合性の表示を受信して通信することを含む、請求項７に記載の方法。
【請求項１０】
前記測定値を提供することは、筋活動センサによって、前記タスクの実行の間の前記ユーザの筋活動の測定値を提供することを含み、
前記入力を形成して通信することは、前記電子的なリソースに、筋活動の前記測定値に基づいて前記処理変数を計算することを含む前記作業（６０２）を実行させるように、前記入力を形成して通信することを含む、
請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、タスクの実行に関し、具体的には、複合システムの構成要素の上でのタスクの実行をサポートするユーザの追跡に関する。
【０００２】
航空機などの多くの現代の複合システムは、概して、構成要素、サブシステムなどから成る。各々のサブシステムは、それぞれの部品から成り、かつ各々の部品はそれぞれの特徴を含む。複合システムの部品は、任意の数のサブシステムに組み立てることができ、サブシステムは今度は複合システムに組み立てられる。航空機の文脈においては、１以上の部品又はサブシステムは、しばしば、作業ラインで交換可能なユニット（ＬＲＵ）として言及される航空機のモジュール式構成要素として設計されることがあり、単独の航空機のそのような構成要素は、任意の数のＬＲＵ及び他の部品又はサブシステムを含む。
【０００３】
複合システムの上での作業は、しばしば、技術者、メカニックなどを含む任意の数の作業者によって実行される生産前、生産中、及び生産後の活動を含む。例えば、複合システムの生産中又は生産後の段階において、作業者は、構築、修理、及び／又は保守活動などの任意の数の活動を実行する。様々な実施例において、航空機又は航空機の構成要素の工学的な設計の要件又は意図を、構築し、創造し、さもなければ完成させるための指示を正式なものにする作業計画にしたがって、これらの及び類似の活動が実行される。工学的な設計は、航空機の仕様、公差、目的、材料、又は他の態様を示す１組の要件を含む。作業計画は、作業者たちによって遂行される１組の命令を一緒に備える一連の作業指示を含み、各々の作業指示は、１以上の作業タスクを含み、それらの作業タスクのうちのいくつかは、それら自身の処理要件を含む。
【０００４】
多くの複合システムは、工学的な設計の要件を満たす精密な環境を要求し、その環境は、伝統的に、作業者たちに、いくつかは非常に特別な、及びいくつかは高価で繰り返し発生する校正を要求するツールの完全な装備を使用することを要求してきた。これは、しばしば、高価なツール、及びそれぞれの校正用紙で雑然としている作業環境をもたらし、スケジューリングされたタスクの待ち行列を通して移動しなければならないツールの処理能力を低減させた。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
それゆえ、上述した問題の少なくとも一部と、起こりうる他の問題とを考慮するシステムと方法を有することが望ましい。
【課題を解決するための手段】
【０００６】
本発明の例示的な実施態様は、概して、複合システムの上で実行されるタスクをサポートする作業者などのユーザを追跡するためのシステム及び方法を対象とする。例示的な実施態様のシステム及び方法は、作業者及び彼らの環境を一緒にしてタスクを遂行するように導く。いくつかの実施例において、システム及び方法は、作業者が、タスクの目的を遂行するために、より廉価でより一般的なツール及び器具を使用することを可能にする。
【０００７】
例示的な実施態様にしたがって、作業者は、彼らの環境の中において複合システムの部品の上のタスクを実行することができる。例示的な実施態様のシステム及び方法は、センサシステムと、作業者、彼らの環境、及び／又は彼らの環境との相互作用を感知するための携帯型の計算及びネットワークのシステムを統合する。その後、システム及び方法は、同じ若しくは別のタスクを実行する同じ又は別の作業者をサポートするユーザ、環境、又は相互作用に基づいて、１以上の電子的なリソースと相互作用する。
【０００８】
いくつかの実施例において、システム及び方法はさらに、直観的で自然な相互作用モデル及び相互作用的な様式を利用する新しいユーザインターフェースを提供し、時に、そのシステムは、ユビキタスナチュラルユーザ（ＵＮＵ）システムとして本明細書の中で言及される。例示的な実施態様のＵＮＵシステムは、ディスプレイ装置を含む拡張現実感（ＡＲ）眼鏡などの個人用のディスプレイシステムを含む拡張現実感システムの一部を形成し、そのシステムは、手を使わない相互作用及び協力的情報共有を可能にする。いくつかの実施例において、ＵＮＵシステムは、他の能動的又は受動的な個人用のディスプレイシステムを採用する。
【０００９】
例示的な実施態様の一態様にしたがって、ユーザは、航空機の構成要素などの複合システムの構成要素に対して作業するタスクを実行するように作業を課される。ＵＮＵシステムは、タスクの実行中にユーザの動作及び／又は位置の測定値を含む感知された入力を提供するように構成される１以上のセンサを含む。ＵＮＵシステムはまた、センサに結合され、かつ電子的なリソースの作業を識別するための感知された入力の重要性を示す既知のパターンを識別する測定値を含む、感知された入力を受信して処理するように構成されるフロントエンドシステムを含む。
【００１０】
フロントエンドシステムは、入力を形成及び通信して、電子的なリソースに作業を実行させ、出力を生成させるように構成される。作業は、測定値に基づいて、タスクの実行中のユーザの動きを決定すること、又はタスクの実行に関係する処理変数を計算することを含む。そして、フロントエンドシステムは、電子的なリソースからの出力を受信して、その出力をディスプレイ装置、音声出力装置、又は触覚センサに通信するように構成される。
【００１１】
一実施例において、タスクは、ユーザの定義された動きを含む又は意味するタスク定義を有する。この実施例において、フロントエンドシステムは、ユーザの動きを決定することと、決定された動きと定義された動きとを比較することと、比較に基づいてタスクの実行がタスク定義に適合していることを決定することを含む作業を、電子的なリソースに実行させるように、入力を形成及び通信するように構成される。また、この実施例において、フロントエンドシステムは、適合性の表示を受信し及び通信するように構成される。
【００１２】
一実施例において、フロントエンドシステムは、電子的なリソース又は別の電子的なリソースに、感知された入力に基づく人間工学的なリスクの評価の実行を実行又は促進させるように、入力又は別の入力を形成し通信するように構成される。
【００１３】
一実施例において、タスクは、複合システムの構成要素の上の留め具の設置を含むタスクの実行の間に留め具に与えられるトルク、揺れ動く力（ｓｗａｇｅ  ｆｏｒｃｅ）、又は予め加えられた負荷を含む、処理変数の処理要件を特定するタスク定義を有する。この実施例において、フロントエンドシステムは、電子的なリソースに、処理変数を計算することと、計算された処理変数と特定された処理要件とを比較することと、比較に基づいて計算された実行変数が特定された処理要件に適合していることを決定することを含む作業を実行させるように、入力を形成し通信するように構成される。また、この実施例において、フロントエンドシステムは、適合性の表示を受信し及び通信するように構成される。
【００１４】
さらなる実施例において、センサは、タスクの実行中のユーザの筋活動の測定値を提供するように構成される筋活動センサを含む。このさらなる実施例において、フロントエンドシステムは、電子的なリソースに、筋活動の測定値に基づく処理変数の計算を含む作業を実行させるように、入力を形成し通信するように構成される。
【００１５】
さらなる実施例において、フロントエンドシステムは、視覚的な刺激、音声のフィードバック、又は触覚のフィードバックを受信して通信し、計算された処理変数が特定の処理要件と適合していることを、ユーザに通知するように構成される。
【００１６】
一実施例において、フロントエンドシステムは、ディスプレイ装置を含む個人用のディスプレイシステムによって、表示のための出力を通信するように構成される。この実施例において、個人用のディスプレイシステムは、ディスプレイ装置によって表示される出力により拡張された、ライブビュー又は直視型のビューを発生又は可能にするように構成される。
【００１７】
例示的な実施例の他の態様において、改良された方法及びコンピュータ可読型記憶媒体が、複合システムの構成要素の上で実行されるタスクをサポートするユーザを追跡するために提供される。コンピュータ可読型記憶媒体は、プロセッサによる実行に反応して、設備に、複合システムの構成要素を動かすタスクをユーザが実行する間のユーザの動作又は位置のうちの少なくとも１つの測定値を含む、１以上のセンサから感知された入力を少なくとも受信させ、電子的なリソースの作業を識別するための感知された入力の重要性を表示する既知のパターンを識別する測定値を含む、感知された入力を処理させる、コンピュータ可読型プログラムコードを含む。コンピュータ可読型プログラムコードはさらに、設備に、電子的なリソースに作業を実行させて出力を生成させるような入力を形成及び通信させ、この作業には、測定値に基づいて、タスクの実行中のユーザの動きを決定することと、タスクの実行に関係する処理変数の計算とが含まれ、さらにコンピュータ可読型プログラムコードは、設備に、電子的なリソースからの出力を受信させ、その出力をディスプレイ装置、音声出力装置、又は触覚センサに通信させる。本明細書の中で議論される特徴、機能、及び利点は、様々な例示的な実施態様において単独で実現可能であるか、又はさらに別の例示的な実施態様において組み合わせることができ、このような例示的な実施態様のさらなる詳細は、後述の説明及び添付図面において見ることができる。
【００１８】
上で述べたように、本開示の例示的な実施態様を一般的な用語で説明したが、後述では添付図面を参照し、これらの図面は、必ずしも正確な縮尺で描かれていない。
【図面の簡単な説明】
【００１９】
【図１】図１は、本例示的な実施態様による、ユビキタスナチュラルユーザ（ＵＮＵ）システムの図解である。
【図２】図２は、拡張現実感システムの形をとるＵＮＵシステムの一例示的な実施態様の図解である。
【図３】図３は、本例示的な実施態様による、フロントエンドシステムの図解である。
【図４】、
【図５】、
【図６】、及び
【図７】図４、図５、図６、及び図７は、本例示的な実施態様による、センサシステム、分析システム、実行システム、及び評価システムのそれぞれを図解している。
【図８】図８は、一例示的な実施態様による、航空機の生産及び保守方法を示す流れ図である。
【図９】図９は、一例示的な実施態様による、航空機のブロック図である。
【発明を実施するための形態】
【００２０】
添付図面を参照して、本開示のいくつかの実施態様について、以下でより詳しく説明するが、添付図面には本開示のすべての実施態様が示されているわけではない。実際、本開示の様々な実施態様は、多くの異なる形で具現化することができ、ここで説明される実施態様に限定されるものと解釈されるべきではなく、むしろ本開示が包括的で完全となるように、かつ当業者に本開示の範囲を十分に伝えるために、これらの実施態様が提供される。例えば、特に明記されない限り、第一番目、第二番目などの言及は、特定の順序を意味するものと解釈されるべきではない。また、何か別のもの（特に明記されない限り）の上にあるとされるものが代わりに下にあってもよく、逆もまた同じである。同様に、何か別の物の左にあるとされる物が代わりに右にあってもよく、逆もまた同じである。全体を通して、類似の参照番号は類似の要素を示している。
【００２１】
本発明の例示的な実施態様は、概して、１以上の電子的なリソースと相互作用するためのユビキタスナチュラルユーザ（ＵＮＵ）システムに関する。いくつかの例示的な実施態様は、概して、複合システムの構成要素の上で実行されるタスクをサポートするユーザ（例えば、作業者）を追跡するためのシステム及び方法であり、システム及び方法は、ＵＮＵシステムと統合され得る。ＵＮＵシステムは、概して、ユーザ、ユーザの環境、及び／又はユーザとその環境との相互作用を感知するように構成される。ユーザ、環境、又は相互作用の特性を示す情報は、分析されて、１以上の電子的なリソースに実行させ、それによりそれぞれのリソースと相互作用させることができる１以上の作業が識別される。これらの作業は、実行され、将来の結果を改良し、任意の必要な又はさもなければ望ましい作業上の変化のためのタイムリーな情報を提供するために、さらなる評価に対する先の分析へとフィードバックされる。
【００２２】
図１は、本開示の例示的な実施形態による、ＵＮＵシステム１００を図解している。例えば、ＵＮＵシステムは、情報を送信し、受信し、及び／又は出力するための１以上のインターフェースに接続され、又はさもなければ結合されるフロントエンドシステム１０２を含む。インターフェースは、１以上の、通信インターフェース１０４、センサ１０６、及び／又はユーザインターフェースを含む。通信インターフェースは、ＵＮＵシステムの他の要素へ及び／又は他の要素から、１以上のリソースホストシステム１０８などへ及び／又はから、情報を送信及び／又は受信するように構成される。
【００２３】
通信インターフェース１０４は、物理的（有線）及び／又は無線通信リンクにより情報を送信し及び／又は受信するように構成される。これらの無線通信リンクは、殊に、任意の数の３ＧＰＰ又は４ＧＰＰ無線アクセス技術、ＵＭＴＳ、ＵＴＲＡ、ＧＳＭ（登録商標）無線アクセス技術、ＣＤＭＡ２０００無線アクセス技術、ＷＬＡＮｓ（例えば、ＩＥＥＥ８０２．ｘｘ、例えば、８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、８０２．１１ｎ）、ＷｉＭＡＸ、ＩＥＥＥ８０２．１６、無線ＰＡＮｓ（ＷＰＡＮｓ）（例えば、ＩＥＥＥ８０２．１５、Ｂｌｕｅｔｏｏｔｈ（登録商標）、低電力型のＢｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ、ＵＷＢ、Ｗｉｂｒｅｅ、Ｚｉｇｂｅｅ（登録商標））、近距離無線通信技術などの、任意の数の種々の無線アクセス技術を実装するように構成されている。
【００２４】
フロントエンドシステム１０２はまた、感知した入力をＵＮＵシステム１００に提供する１以上のセンサ１０６に結合される。センサ、及びいくつかの実施例においては通信インターフェース１０４は、概して、フロントエンドシステムが、検出し、認識し、及び様々な電子的なリソースと相互作用するために、ナチュラルユーザインターフェースのディスプレイを動作させるために必要な入力を提供する。ナチュラルユーザインターフェースは、無関係な装置及び入力様式を除去し、役割（又は、クリアランスレベル）及びユーザの視界に対して調整された、地理時間的及びタスクが顕著な相互作用を可能にする。
【００２５】
センサ１０６は、搭載型のセンサ、非搭載型のセンサ、センサコンセントレータ（ｓｅｎｓｏｒ  ｃｏｎｃｅｎｔｒａｔｏｒｓ）、センサアグリゲータ（ｓｅｎｓｏｒ  ａｇｇｅｒｇａｔｏｒｓ）などを含む。適切な種類のセンサの例は、ユーザの生理的状態のセンサ、ユーザの動きを追跡するセンサ、ユーザの認識を追跡するセンサ、環境状態センサ、環境を追跡するセンサなどである。
【００２６】
ユーザの生理的状態の適切なセンサの例は、温度センサ（例えば、温度計、熱電対）、心拍数センサ、呼吸センサ、発汗センサ、筋活動（例えば、ＥＭＧ−筋電図検査、ＭＭＧ−機械筋運動記録法）センサ、歪センサ、血圧センサなどを含む。生理的状態の適切なセンサの他の例は、カメラ（例えば、デジタルカメラ、赤外線カメラ、熱カメラ、深度認識又は距離カメラ、ステレオカメラ）、音声センサ（例えば、マイクロホン）などを含む。ユーザの動きを追跡する適切なセンサの例は、位置センサ（例えば、ＧＰＳ、慣性航法、ワイファイに基づく位置決め、ＲＦＩＤに基づく位置決め）、動作センサ（例えば、加速度計）、方位センサ（例えば、ジャイロスコープ、コンパス、磁気探知機）、慣性計測装置（ＩＭＵｓ）、圧力センサ、筋活動センサなどを含む。ユーザの動きを追跡する適切なセンサの他の例は、画像センサ（例えば、カメラ）、音声センサなどを含む。ユーザの認識を追跡する適切なセンサの例は、注意センサ、フォーカスセンサなどを含み、少なくともそれらのうちのいくつかは、適切なアルゴリズムにしたがって処理される１組のユーザの動き（例えば、微小な表情、ジェスチャー、タスクに関する相対的な動作）に対する１以上のセンサを含む。
【００２７】
適切な環境状態センサの例は、画像センサ（例えば、カメラ）、音声センサ、位置センサ、時計、カレンダー、温度センサ、湿度センサ、光センサ、距離／深度センサ、３次元（３Ｄ）スキャナー、レーザー計測センサなどを含む。環境を追跡する適切なセンサの例は、画像センサ、音声センサ、カレンダー、時計、光センサなどを含む。とりわけ、１つの種類のセンサ１０６の例は、等しく、種々の目的に対して使用され得る様々なセンサのような別の種類のセンサの例となる。適切なセンサの他の例は、傾きセンサ、ランドマークシステム、動力計、距離測定センサ、光ファイバーのセンサなどを含む。さらにまた、いくつかの実施例において、通信インターフェース１０４は、ローカルキャッシュ又はバックエンド情報システムなどの１以上の電子的なリソースからの情報を提供するためのセンサとして機能する。
【００２８】
フロントエンドシステム１０２はまた、ディスプレイ装置１１０、スピーカなどの音声出力装置、ヘッドホンなど、力、振動、又は動きなどの触覚的なフィードバックを提供するように構成される触覚センサなどの、情報を出力し及び／又は入力するための１以上のユーザインターフェースに結合される。ディスプレイ装置は、ユーザに対して情報を提示し又は表示するように構成され、さらにいくつかの実施例においては、着用できる（例えば、頭に据える）又は手で握る個人用のディスプレイシステムのディスプレイ装置を含む。適切な個人用のディスプレイシステムの例は、眼鏡、安全用ゴーグル、コンタクトレンズなどの形において提供されるものなど、画像プロジェクター、ビデオプロジェクター、任意の数の他の能動的又は受動的ディスプレイシステム、レーザーポインターなどの、個人用、個人的な共有（リンクされた個人）、又は公的個人用ディスプレイシステムを含む。他の実施例において、ディスプレイ装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、プラズマディスプレイパネル（ＰＤＰ）などの、より平凡なディスプレイ装置を含み、ディスプレイ装置は、個人用のディスプレイシステム（例えば、スマートホン、タブレットコンピュータ）の形をとるかもしれないし、とらないかもしれない。
【００２９】
ユーザインターフェースはまた、１以上のユーザ入力インターフェースを含む。これらのユーザ入力インターフェースは、有線又は無線であり、処理、記憶、及び／又は表示などのための情報を、ユーザからＵＮＵシステム１００の中へと受信するように構成される。ユーザ入力インターフェースの適切な例は、マイクロホン、画像又はビデオキャプチャー装置、キーボード又はキーパッド、ジョイスティック、タッチセンシティブサーフェス（タッチスクリーンとは別個の、又はタッチスクリーンに統合されたもの）、生体認証センサーなどを含む。通信インターフェースと同様に、いくつかの実施例において、ユーザ入力インターフェースは、ユーザからの情報を直接に提供するためのセンサとして機能する。
【００３０】
上で示唆されたように、例示的な実施態様のＵＮＵシステム１００は、１以上のリソースホストシステム１０８と通信するように構成され、かつ１以上のリソースホストシステム１０８は、電子的なリソースを管理するように構成される。ホストシステムのいくつかの例は、１以上のネットワークをつなぐなど、ＵＮＵシステムからは離れており、一方、ホストシステムの他の例は、ＵＮＵシステムに対してローカルに接続されている。適切な電子的なリソースの例は、概して、ソフトウェアに基づくシステムを含むが、電子的なリソースは、ＵＮＵシステムの用途に応じて変化する。いくつかの実施例において、リソースホストシステムは、ファイル記憶装置、データベース記憶装置、クラウド記憶装置などの、電気的リソースによってアクセス可能な適切な記憶装置を含む。
【００３１】
適切なソフトウェアに基づくシステム（電子的なリソース）の例は、情報システム、建物管理システム、コンピュータ援用デザイン（ＣＡＤ）などを含む。適切な情報システムの例は、トランザクション処理システム、オフィスシステム、意思決定支援システム、知識管理システム、データべース管理システム、オフィス情報システムを含む。適切な情報システムの他の例は、データウェアハウス、リソース計画システム、企業システム、専門家システム、サーチエンジン、地理情報システム、地球情報システム、オフィス自動化システムなどを含む。
【００３２】
リソースホストシステム１０８は、ＵＮＵシステム１００とは別に示されているが、様々な実施例において、ＵＮＵシステムは、１以上のリソースホストシステムを含む。同様に、センサ１０６及びディスプレイ装置１１０が、ＵＮＵシステムの部分として示されている一方で、１以上のセンサ及び／又はディスプレイ装置は、１以上の非搭載型のセンサの場合などのように、別のものであるが通信することはできる。
【００３３】
図２は、拡張現実感システムの形におけるＵＮＵシステム２００の一例示的な実施態様の図解である。示されるように、ＵＮＵシステムは、コンピュータシステム２０２を含み、コンピュータシステム２０２は、いくつかの実施例において、図１のＵＮＵシステム１００のフロントエンドシステム１０２及び通信インターフェース１０４を実装するように構成される。いくつかの実施例において、コンピュータシステムは、スマートホン、タブレットコンピュータなどの、携帯型ハードウェアベース電子装置を備え、含み、又はその中に埋め込まれる。コンピュータシステムは、（有線又は無線によって）１以上の着用（例えば、頭に据える）又は手で握る個人用のディスプレイシステムに結合される。いくつかの実施例において、個人用のディスプレイシステムは、拡張現実感（ＡＲ）眼鏡、安全用のゴーグル、コンタクトレンズなど（概して、ＡＲ眼鏡２０４）の形をとり、ディスプレイシステムは、環境の中でユーザによって着用される。いくつかの実施例において、ＵＮＵシステムは、ＡＲ眼鏡の中へ統合される。
【００３４】
コンピュータシステム２０２及び／又はＡＲ眼鏡２０４（又は他の個人用のディスプレイシステム）は、（有線又は無線によって）感知した入力をコンピュータシステムに提供するように構成される、１以上のセンサ（例えば、センサ１０６）が装備され又は結合される。例えば、上で示唆したように、センサは、ユーザの環境をスキャンして、環境の中の対象物の表面上の点の測定値を提供するように構成される、３Ｄスキャナー２０６などの環境状態センサを含む。これらの測定値は、ユーザの環境の点群又は他の３Ｄモデルを発生するなどの、任意の数の種々の目的に対して使用される。
【００３５】
センサはまた、ユーザの動きを追跡するセンサ及び／又は環境状態センサのように構成される１以上のカメラ２０８を含む。カメラは、ユーザ及び／又はユーザの物理的、現実の環境の画像又はビデオを捕えるように構成され、いくつかの例においては、カメラはそうすることによってユーザのジェスチャーを捕える。いくつかの実施例において、センサは、いくつかの例において、任意の数の適切なジェスチャー認識技術にしたがって、ユーザのジェスチャーを捕えるように構成されるユーザの動きを追跡する他のセンサを含む。適切なセンサの例は、１以上の加速度計２１０（動作センサ）、ジャイロスコープ２１２（方位センサ）、ＩＭＵｓ２１４、光ファイバーセンサ２１６、筋活動（例えば、ＥＭＧ）センサ２１８などを含む。例えば、付加的に又は代替的に、センサは、ユーザからの音声コマンドなどの音声を捕えるように構成されるマイクロホン２２０などの音声センサを含む。
【００３６】
センサは、任意の数の種々の形をとり、いくつかの実施例において、ユーザの指、手首、腕、足首、脚、ウエスト、又は胴などの上に、ユーザが着用することが可能である。いくつかの実施例において、ＡＲ眼鏡２０４は、３Ｄスキャナー２０６及びカメラ２０８が装備され、３Ｄスキャナー及びカメラは、ユーザの視点から測定値及び画像／ビデオを提供することを可能にする。いくつかの実施例において、ＡＲ眼鏡及び／又はコンピュータシステム２０２は、様々な、加速度計２１０、ジャイロスコープ２１２、ＩＭＵ（ｓ）２１４、及び／又はマイクロホン２２０が装備される。いくつかの実施例において、コンピュータシステムは、様々な、加速度計、ジャイロスコープ、ＩＭＵ（ｓ）、光ファイバーセンサ２１６、及び／又は筋活動（例えば、ＥＭＧ）センサ２１８が装備された、有線手袋、腕章、又はユーザが着用可能な他の装置又はシステムに結合される。適切な有線手袋の１つの例は、Ｆｉｆｔｈ  Ｄｉｍｅｎｓｉｏｎ  Ｔｅｃｈｎｏｌｏｇｉｅｓによる、５ＤＴデータグローブウルトラである。さらに、適切な腕章の１つの例は、Ｔｈａｌｍｉｃ  Ｌａｂｓ  Ｉｎｃ．による、ＭＹＯジェスチャー制御腕章である。
【００３７】
いくつかの実施例において、カメラ２０８及び／又はマイクロホン２２０は、ユーザの画像／ビデオ及び／又は音声を提供するように構成される、生理的状態センサとして構成される。または、コンピュータシステム２０２及び／又はＡＲ眼鏡２０４は、感知されたユーザの入力特性を提供するように構成される、１以上の他の生理的状態センサが、（有線又は無線によって）装備又は結合される。様々な実施例における、この感知された入力は、ユーザの認識を許容する。
【００３８】
いくつかの実施例において、コンピュータシステム２０２及び／又はＡＲ眼鏡２０４は、ユーザの位置の測定値を提供するように構成される、１以上の位置センサ２２２が、（有線又は無線によって）装備又は結合される。上で示されたように、適切な位置センサの例は、ＧＰＳをサポートするもの、慣性航法、ワイファイに基づいた位置決め、ＲＦＩＤに基づいた位置決めなどを含む。
【００３９】
ＡＲ眼鏡２０４（又は他の個人用のディスプレイシステム）は、ユーザの環境のライブビュー又は直視型のビューを発生し、又はさもなければユーザの環境のライブビュー又は直視型のビューを可能にする。ＡＲ眼鏡はまた、電子的なリソースによる情報の出力などの、コンピュータシステム２０２（例えば、ＵＮＵシステムを実装している）からの情報のための、ディスプレイ装置２２４（例えば、ディスプレイ装置１１０）を含む。この点に関して、環境のライブビュー又は直視型のビューは、コンピュータシステムからの情報によって拡張される。いくつかの実施例において、コンピュータシステム又はＡＲ眼鏡は、視聴することが可能な及び／又は触覚で感知することができるフィードバックを提供するための、１以上の音声出力装置、触覚センサをさらに含み、又はさもなければそれらと通信するように構成される。このフィードバックは、ディスプレイ装置による所定の視覚的なフィードバック又は情報に加えて、またはそれに代えて提供される。
【００４０】
上で示唆され、かつ下で説明されるように、コンピュータシステム２０２からの情報は、１以上のセンサ２０６乃至２２０からの感知された入力に応じて、それらのセンサのうちのいくつかはＡＲ眼鏡２０４及び／又はコンピュータシステムに装備され、他のものはＡＲ眼鏡２０４及び／又はコンピュータシステムに結合される。１つの特定の実施例において、コンピュータシステムからの情報は、ユーザの視点に応じて変化し、それらの情報は、カメラ２０８などのセンサからの感知された入力に反映される。いくつかの他の実施例において、コンピュータシステムは、複数のＡＲ眼鏡に結合され、これらの実施例において、コンピュータシステムからの情報は、それぞれのユーザの視点に応じてＡＲ眼鏡の各々に対して変化する。
【００４１】
図３は、一例示的な実施形態による、フロントエンドシステム３００を図解する。図３のフロントエンドシステム３００は、図１のＵＮＵシステム１００のフロントエンドシステム１０２の一例であり、いくつかの実施例において、図２のＵＮＵシステム２００のコンピュータシステム２０２によって実装される。フロントエンドシステムは、ユーザと１以上の電子的なリソースとの相互作用を履行するための１以上の機能又は作業を実行するための、任意の数の種々のサブシステム（各々の個別のシステム）を含む。例えば、示されるように、フロントエンドシステムは、センサシステム３０２、分析システム３０４、実行システム３０６、及び／又は評価システム３０８を含む。センサシステム、分析システム、実行システム、及び評価システムが、フロントエンドシステムの部分として示される一方で、１以上のそれぞれのシステムは、むしろフロントエンドシステムからは分離している可能性もあり、しかし１以上のそれぞれのシステムは、フロントエンドシステム又はＵＮＵシステムにさえも通信可能である、ということは理解されるべきである。さらに、サブシステムのうちの１以上は、他のサブシステムとは関係しない別々のシステムとして機能し又は作業する、ということは理解されるべきである。そして、ＵＮＵシステムは、図３に示されるものとは別の１以上の付加的な又は代替的なサブシステムを含み得る、ということは理解されるべきである。
【００４２】
下で非常に詳細に説明されるように、センサシステム３０２は、概して、１以上のセンサ（例えば、センサ１０６）からの感知された入力を受信するように構成され、感知された入力は、ユーザ、ユーザの環境、及び／又はユーザの環境に対する相互作用の特性を示す情報を含む。分析システム３０４は、この特性情報を処理して既存の知識と関係づけ、特性情報の意図、目的、又は重要性を識別し、かつその重要性に基づいて、実行システム３０６が１以上の電子的なリソースに実行させる１以上の作業を識別する。評価システム３０８は、必要不可欠な分析を実行し、将来の作業を改良するためのフィードバックを返す。ここで、図４、図５、図６、及び図７を参照すると、それらの図は、本開示の例示的な実施態様による、センサシステム、分析システム、実行システム、及び評価システムのそれぞれの特定の適切な例を図解している。
【００４３】
図４は、一例示的な実施態様による、センサシステム４００を図解する。上で示したように、センサシステム４００は、図３のフロントエンドシステム３００のセンサシステム３０２の一例である。センサシステムは、１以上のセンサ（例えば、センサ１０６）からの感知された入力を受信して集めるように構成される。センサは、概して、ユーザ、ユーザの環境、及び／又はユーザの環境に対する相互作用を感知するように構成され、それらの感知された入力は、ユーザ、ユーザの環境、又はユーザの環境に対する相互作用の特性である。いくつかの実施例において、センサシステムは、様々な感知された入力を使用し、ユーザ、ユーザの環境、又はユーザの環境に対する相互作用の特性を示す情報を導き出す。その後、示されるように、センサシステムは、様々な感知された入力（個別のものか、混合されたものとして）を処理するように構成される１以上の検出器４０２を含み、１以上の検出器４０２は、それぞれの検出アルゴリズムにしたがって導き出された感知された入力を形成する。あるいはいくつかの実施例において、感知された入力は、１以上の導き出された感知された入力へと分類される。
【００４４】
検出器４０２は、生の感知された入力を受信し、顕著な情報及び情報の組を識別し、適切な計算、変形、及び組み合わせを提供する。ＵＮＵシステム１００は、伸長性の手段を提供し、起動上のブートストラップ（ｂｏｏｔｓｔｒａｐ）を通じて、必要に基づいた動的再構成プロセスを通じて（装置の電力、興味の対象及び文脈のアイテムを追跡するための潜在性などのいくつかの要因に基づいて）、及び／又は直接オペレータが選択することを通じるなどして、検出器をアップデートする。いくつかの実施例において、１より大きい数のセンサから感知された入力は、検出器を実施し、又は検出器の性能を改良するために使用される。後者の例は、関連性の高い航空機のための航空機準備リスト（ＡＲＬ）と同時に、列線交換ユニット（ＬＲＵ）のための感知された無線自動識別（ＲＦＩＤ）及び対象文字認識（ＯＣＲ）の使用であり、一方、航空機においては、電気設備（ＥＥ）のベイ（ｂａｙ）が対象物（ＬＲＵ）を検出し、関係性の高い情報を回収する。
【００４５】
図４に示されるように、適切な検出器４０２の例は、色検出器、形状検出器、対象検出器、会話検出器（例えば、言語／方言検出、ムード検出、ストレス検出、エンゲージメント検出）、顔検出（例えば、表情検出、ムード検出、ストレス検出、エンゲージメント検出）を含む。適切な検知器の例はまた、動作検出器、アイデンティティー検出器、及び／又はヒューマンキャラクタライザーなどの１以上の他の検出器を含む。この点に関して、ヒューマンキャラクタライゼーションは、例えば、ロールキャラクタライゼーション、地理的な及び／又は時間のローカライゼーション、言語／方言キャラクタライゼーション、ストレスレベル（例えば、測定可能な要因、歴史的な情報との相互関係）、エンゲージメント検出器（例えば、測定可能な要因、歴史的な情報との相互関係）などを含む。
【００４６】
センサシステム４００によって、受信されたもの（生の感知された入力）及び任意の導き出されたもの（処理された感知された入力）を含む感知された入力は、ユーザ、ユーザの環境、又はユーザの環境に対する相互作用の特性を示す情報を含む。そして、センサシステムは、この特性の情報を、分析、評価などのために、フロントエンドシステムの他のサブシステムへパスする。
【００４７】
図５は、一例示的な実施態様による、分析システム５００を図解し、分析システム５００は、図３のフロントエンドシステム３００の分析システム３０４の一例である。分析システムは、概して、特性の情報（例えば、生の感知された入力、処理された感知された入力）を受信し、それぞれの情報を連続的に追跡し相互に関係づけて、その重要性（意図）を識別し、その重要性から電子的なリソースの作業を識別する。例えば、分析システムは、対象の認識及び追跡を採用し、航空機の上の構成要素を識別し、その後、対象の認識及び追跡は、ユーザが、３Ｄスペース（及び時間）の範囲内の構成要素と相互作用し、又はユーザのタスクに関係する視界の中の興味のアイテムを識別することを、可能にする動的に生成されたユーザインターフェースを提供するように使用される。
【００４８】
示されるように、分析システム５００は、情報モデル及び／又は歴史的な意図の作業の関連性の永続化ストア５０４に結合される、任意の数の認識装置５０２を含む。認識装置は、それぞれの意図のアルゴリズムにしたがって特性の情報を受信して処理し、１以上の既知のパターンを識別するように構成され、パターンは、特性の情報の重要性（意図）を表示する。いくつかの実施例において、１以上の認識装置は、永続化ストアからの適切な情報モデルを使用して、特性の情報を処理する。
【００４９】
分析システム５００によって識別されるパターンは、普遍的に適用されるもの（例えば、人間の手のオブジェクト、自動車のオブジェクト、停止ジェスチャー）、ドメインに依存するもの（例えば、７３７ＮＧ着陸灯を交換する、特別の作業力ジェスチャーを停止する、航空機のタクシングジェスチャーを停止する）、及び／又はユーザ固有のもの（例えば、スケジューリングされたブレイク、日和見的な電子データの移送、能力的な障害のために必要とされる特別なツール、ユーザのタスクシート）を含む。いくつかの実施例において、様々な認識装置５０２が相互依存する。これらの実施例において、複数の認識装置の間の相互依存性は、例えば、１以上の認識装置に関わる地理的及び／又は時間的な制約が結果に影響を与える例におけるように、文脈に対して敏感である。示されるように、適切な認識装置の例は、文脈管理、ジェスチャー認識、音声認識（例えば、文章と会話の間）、オブジェクト認識、ムード認識、及び／又は行動認識を含む。適切な認識装置の他の例は、点群認識、疲労認識、フォーカス認識、ユーザの位置、ツールの位置、オブジェクトの追跡、適用力の追跡、タスクの追跡、及び／又は様々な識別子（例えば、音声のプリント、指のプリント、熱署名、顔認識）を含む。
【００５０】
より具体的な実施例として、ジェスチャー認識のための認識装置５０２（ジェスチャー認識装置）を考える。ジェスチャー認識装置は、ユーザの物理的な環境の範囲内の画定された３Ｄ地理領域（例えば、幅、長さ、高さ）の範囲内の対象物（例えば、手）の動きを認識するように構成される。直方体状の領域が画定され、机の上の仮想のキーボードを実装し、直方体の上に空間的に配置される立方体状の領域が画定され、他のジェスチャーが受け入れられ、そして、空間的に直方体の右側に配置される球が画定され、より直接的に建物管理システムとつながって、建物の照明を制御する。各々の領域は、典型的な座標系（例えば、ｘ、ｙ、ｚ）の中で表現される、幅、長さ、及び高さなどによる、任意の数の種々のやり方において画定されるが、領域はまた、状況又は文脈に敏感なユーザインターフェース（ＵＩ）の仕立て方を生み出すなどのように、日にち、時間、地理的な座標などの付加的なパラメータを含む。
【００５１】
永続化ストア５０４は、どの特性の情報が処理されるかにしたがって、１以上の、情報モデル、過去の意図作業のペア、及び／又は他の情報のための記憶装置を含む。永続化ストアは、アプローチ及び成功基準の歴史的記録、並びに個別の及び／又は役割によって重みづけされ、及びおそらくまた関係する要因（例えば、位置、時間、装備の利用可能性など）によって分類される性能測定基準を提供する。一実施例において、永続化ストアによって記憶される情報は、図３の評価システム３０８などの評価システムによって維持される。認識装置５０２と組み合わされて、永続化ストアは、フロントエンドシステム及びそれによってＵＮＵシステムの性能を、追跡し、計測し、及び改良する手段を提供する。
【００５２】
より具体的な実施例において、認識装置５０２によって処理された特性の情報（例えば、生の感知された入力、処理された感知された入力）及び特性の情報から識別された重要性は、バイナリー形式において簡略化され、特性意図のペア（ＣＩＰ）を形成する。ＣＩＰは、電子的なリソースの作業に関連付けられ、関連付けられた作業ＣＩＰのペア（ＯＣＩＰ）を形成し、ＯＣＩＰは、一実施例において、永続化ストア５０４によって記憶される意図作業のペアに反応する。例示的な実施態様にしたがって、１以上のＯＣＩＰｓは、認識に対する、作業に対する、などの検出の範囲内の一連の機能のためのユニークな指紋を形成する。そして、いくつかの実施例において、この指紋及び／又は１以上のそのＯＣＩＰ（ｓ）は、個別及び／又は役割による１以上の性能測定基準に基づいて重みづけされ、おそらくまた関連する要因（例えば、位置、時間、装備の利用可能性など）によって分類される。
【００５３】
認識装置５０２は、歴史的な重要性のための永続化ストア５０４に対する識別された重要性と、１以上の意図作業のペア（例えば、ユニークな指紋を形成する１以上のＯＣＩＰｓ）に基づいた関連する作業とを比較する。一実施例において、各々の認識装置は、作業を比較し、同一性、作業の提案、及びおそらく他の重みづけ（例えば、ユーザ、役割）に基づいて重みづけされた評価を生み出すように構成される。その後、分析システム５００は、分析、オプション、結果、及び他のユーザフィードバック（例えば、聴覚の、視覚の、触覚の）を含む作業の情報を、例えば１以上の電子的なリソースによる作業の実行、及び電子的なリソースからの任意の対応する出力の提示のために、フロントエンドシステムの他のサブシステムへパスする。
【００５４】
図６は、一例示的な実施態様による、実行システム６００を図解し、実行システム６００は、図３のフロントエンドシステム３００の実行システム３０６の一例である。実行システムは、概して、作業の情報を受信し、１以上の電子的なリソースに、それらに基づいて１以上の作業を実行させるように構成される。様々な実施例において、実行システムは、特性の情報（生の感知された入力、処理された感知された入力）、先の成功パターン、アルゴリズムの作業などに基づいて、作業を実行させる。作業は、文脈、必要性、緊急性、コンピュータの能力、バッテリの寿命などの複数の要因に依存する。
【００５５】
実行システムは、任意の数の作業エンジン６０２を含み、作業エンジン６０２の各々は、それぞれのアルゴリズムにしたがって作業の情報を処理し、１以上の電子的なリソースに対する入力を形成し、それぞれのリソースに１以上の作業を実行させるように構成される。様々な実施例において、作業エンジンは、システム由来の作業６０２ａ、及び／又はユーザがリクエストした作業６０２ｂのためのものを含むが、様々な例において、システム由来の作業は、代わりにユーザがリクエストしたものになるか、又はユーザがリクエストした作業は、代わりにシステム由来のものになる。
【００５６】
システム由来の作業エンジン６０２ａは、概して、例えば分析システム３０４によって、特性の情報から識別された重要性（意図）に関連する作業が実行されるように構成される。ユーザがリクエストした作業エンジン６０２ｂは、反対に、概して、ユーザによって特定的にリクエストされた作業が実行されるように構成される。示されるように、システム由来の作業の適切な例は、役割ベースのアクセスコントロール（ＲＢＡＣ）、ＵＩを仕立てること、情報検索を仕立てること、情報送達を仕立てることなどを含む。システム由来の作業の例はまた、役割ベースの品質保証のモニタリング／検査、音声入力処理（例えば、音声コマンド）、視覚的な入力の処理（例えば、ジェスチャー、３Ｄ時空処理）、動き（又は動作）入力処理（例えば、ジェスチャー）、センサのリクエストなどを含む。システム由来の作業の他の例は、自動記録（例えば、クオリティーコントロール、システム記録）、システム校正、仮想音声／視覚補助、品質保証（ＱＡ）記録、文脈追跡改良などを含む。
【００５７】
ユーザがリクエストした作業の例は、情報、処理、表示、通信、ドキュメンテーションなどに対するリクエストを含む。ユーザがリクエストした作業の例はまた、ＵＩの操作に対するリクエスト、対象物を追跡／モニターするリクエスト、通知／警告に対するリクエストなどを含む。ユーザがリクエストした作業の他の例は、アクチュエータの校正、音声／ビデオの記録、静止画の記録、仮想音声／視覚接続の確立、適用される留め具のトルクの記録、記録のプレイバックなどを含む。
【００５８】
作業エンジン６０２によって形成される入力は、それぞれのローカル又は遠隔リソースホストシステム１０８によって管理される適切な電子的なリソースに対して通信され、特定の作業を実行させる。電子的なリソースは、今度は、作業のその実行からの出力を生み出し、例えば、そのディスプレイ装置１１０、スピーカ、ヘッドホンなどによる、ＵＮＵシステム１００による出力のための作業エンジンに対して出力を返す。
【００５９】
図７は、一例示的な実施態様による、評価システム７００を図解し、評価システム７００は、図３のフロントエンドシステム３００の評価システム３０８の一例である。評価システムは、概して、おそらく分析システムによるその派生と同様に、作業に関係する成功基準に対して実行された作業を評価するように構成され、将来の結果の実行及び効率を改良する。示されるように、評価システムは、情報モデル及び／又は歴史的な意図作業関係の永続化ストア７０４に結合される任意の数の管理／評価エンジン７０４を含む。いくつかの実施例において、永続化ストア７０４は、分析システム５００の永続化ストア５０４によって記憶された情報に対応するか又はさもなければ当該情報を維持する。分析システムの永続化ストア５０４と同様に、その後、評価システムの永続化ストア７０４は、どの特性の情報が処理されるかにしたがって、過去の意図作業のペア、及び／又は他の情報のための記憶装置を含む。永続化ストアは、アプローチ及び成功基準の歴史的記録、個別の及び／又は役割によって重みづけされ、及びおそらくまた関係する要因（例えば、位置、時間、装備の利用可能性など）によって分類される性能測定基準を提供する。
【００６０】
管理／評価エンジン７０２は、永続化ストア７０４によって記憶される情報モデル及び意図作業のペアを管理するように構成される、モデル管理及び関係管理エンジンなどの管理エンジンを含む。管理／評価エンジン７０２はまた、分析システム５００によって識別されるものなどの、特性の情報の重要性（意図）を追跡するように構成される評価エンジンを含む。そして、管理／評価エンジンは、例えば、実行システム６００によるなどの、電子的なリソースがそれに基づいて実行されるところの、重要性及び作業（例えば、システム由来の、ユーザがリクエストした）の間の相互関係を評価するように構成される評価エンジンを含む。
【００６１】
示されるように、管理／評価エンジン７０２の適切な評価エンジンの例は、ムード、行動などを追跡するためのものを含み、同様に、ムード、行動などと電子的なリソースの作業との間の相互関係を評価するためのものが含まれる。適切な評価エンジンの他の例は、文脈、ジェスチャー、音声、対象物、点群、疲労、フォーカス、ユーザの位置、ツールの位置、適用される力、タスクなどを、追跡し及び／又はそれらの相互関係を評価するためのものを含む。様々な実施例において、管理／評価エンジンによって実行される評価は、上述した性能測定基準に基づいて重みづけを生み出すことを含み、それらの重みづけは、様々な例において、永続化ストア７０４によって記憶される１以上の意図作業のペア（例えば、ＯＣＩＰｓ）に対して適用され、それによって、将来の結果の実行及び効率を改良する。
【００６２】
例示的な実施態様のＵＮＵシステム１００及び方法は、例えば、航空機又は任意の数の他の構造物などの複合システムの文脈の中などにおいて、様々な潜在的用途の中での使用を見つけることができる。複合システムは、概して、システム、サブシステム、アセンブリ、サブアセンブリ、構成要素など（各々は、概して、「サブシステム」である）から成っている。各々のサブシステムは、それぞれの部品から成り、かつ各々の部品はそれぞれの特徴を含む。複合システムの部品は、任意の数のサブシステムに組み立てることができ、サブシステムは今度は複合システムに組み立てられる。航空機の文脈においては、１以上の部品又はサブシステムは、しばしば、作業ラインで交換可能なユニット（ＬＲＵ）として言及される、航空機のモジュール式構成要素として設計されることがあり、単独の航空機のそのような構成要素は、任意の数のＬＲＵ及び他の部品又はサブシステムを含む。任意の複合システムそのもの、又は任意のそのサブシステム、（サブシステムの）部品、（部品の）特徴などを、概して、複合システムの「構成要素」又は「部品」と呼ぶことがある。
【００６３】
適切な用途の一つの例は、航空機などの複合システムの生産前、生産中、生産後の段階において、実行されるものなどの工学的な活動のサポートである。適切な用途の別の例は、複合システムの構成要素の上で実行される、生産前、生産中、又は生産後の段階のタスクなどのタスクのサポートである。そこで、図８及び図９を参照すると、例示的な実施態様は、図８に示される航空機の製造及び保守方法８００、及び図９に示される航空機９００の文脈の中において使用され得る。生産前の段階において、例示の方法は、航空機の仕様及び設計８０２、製造順序及び処理計画、及び材料の調達８０４を含む。生産中の段階では、航空機のサブシステム及び構成要素の製造８０６と、システムインテグレーション８０８とが行われる。その後、生産後の段階において、航空機９００は認可及び納品８１０を経て運航８１２される。顧客による運航中（これもまた、生産後）に、航空機は定期的な整備及び保守８１４（改造、再構成、改修なども含み得る）が予定されている。
【００６４】
例示の方法８００の各プロセスは、システムインテグレーター、第三者、及び／又はオペレーター（例えば顧客）によって実行または実施され得る。本説明の目的のために、システムインテグレーターは例えば、任意の数の航空機メーカー、及び主要システムの下請業者を含むことができ、第三者は例えば、任意の数のベンダー、下請業者、及び供給業者を含むことができ、オペレータは例えば、航空会社、リース会社、軍事団体、サービス機関などであり得る。
【００６５】
図９に示されるように、例示的な方法８００によって生産される例示的な航空機９００は、複数のシステム９０４（各々は、サブシステム又はより一般的には構成要素）及び内装９０６（それぞれの構成要素を含む）を伴った機体９０２を含む。高レベルシステム９０４の例は、推進システム９０８、電気システム９１０、油圧システム９１２、環境システム９１４などのうちの１以上を含む。任意の数の他のシステム９０４が含まれてもよい。航空宇宙産業の例を示したが、本開示の原理は、船舶及び自動車産業などの他の産業にも適用可能である。
【００６６】
本明細書の中において開示されるＵＮＵシステム１００及び方法は、生産前、生産中、及び／又は生産後の段階のうちの任意の１以上を含み、例示的な生産及び保守の段階のうちの任意の１以上の段階において使用されるように特定される。実施例は、図２、すなわちＵＮＵシステム２００の形において参照されて示され説明される、ＵＮＵシステムの実施態様の文脈の中で、以下に説明される。しかしながら、シナリオは、他の種類の個人用ディスプレイシステムを伴ったものを含んで、より一般的でより具体的なＵＮＵシステムの実施態様に対して、適用可能であるということは、理解されるべきである。
【００６７】
例えば、生産前又は生産中の段階において、ＵＮＵシステム２００は、現実世界の環境におけるジェスチャーを使用して、仮想的なオンザフライ設計、及びモックアップに対するリアルタイムでの工学的な変更を可能にするように使用される。その使用は、それによって、設計作業の質を単純化し、ストリームライン化し、及び改良し、それらの製品のための顧客の協力及びバイイン（ｂｕｙ−ｉｎ）を高め、費用を低減する。例えば、１つのシナリオにおいて、ＵＮＵシステムを装備したユーザ（例えば、エンジニア）は、ＡＲ眼鏡２０４を着用して航空機の内装のモックアップの中を歩くことができ、ＡＲ眼鏡２０４は、３Ｄスキャナー２０６、カメラ２０８などのセンサが装備され又は結合される。カメラは、ユーザのジェスチャーを捕えるように構成される。いくつかの実施例においてはまた、ＵＮＵシステムは、１以上の、加速度計２１０（動作センサ）、ジャイロスコープ２１２（方位センサ）、ＩＭＵｓ２１４、光ファイバーセンサ２１６、筋活動（例えば、ＥＭＧ）センサ２１８などの、ユーザのジェスチャーを捕えるように構成される、１以上の付加的な又は代替的なセンサを含む。
【００６８】
モックアップ内装の中を歩く間、ユーザは（例えば、音声コマンド、ジェスチャーなどを通じて）、コンピュータシステム２０２に対して、３Ｄスキャナー２０８が内装の中の対象物の表面の上の点の測定値（又は測定）をスキャンして提供するように指示することができる。より一般的に、３Ｄスキャナーは、ユーザの環境の中の対象物の表面の上の点の測定値を提供し、又はわずかにより具体的には、複合システムの構成要素のモックアップの表面の上の点の測定値を提供するように仕向けられる。
【００６９】
コンピュータシステム２０２は、３Ｄスキャナー２０６からの測定値を含む感知された入力を受信して処理し、適切な電子的なリソースの作業を識別するための感知された入力の重要性を表示する、既知のパターンを識別する。コンピュータシステムは、入力を形成して通信し、電子的なリソースに作業を実行させる。入力は、測定値を含み、かつ作業は、測定値に基づく点群の生成、及び内装（又はより一般的には、ユーザの環境の中の対象物）の適切な３Ｄモデル（例えば、３ＤＣＡＤモデル）に対する点群の変形を含む。例えば、より具体的には、測定値は、点群を発生する適切な電子的なリソースに対して入力され、その後、同じ又は別の電子的なリソースが、内装のモックアップの適切な３Ｄモデルに対する点群を変形し、それらの点群は、将来の使用のために記憶される。様々な実施例において、内装のモックアップ及びそれゆえその３Ｄモデルは、ワイヤーフレーム、固体、フォトリアリスティックビューなどによって、特定の種類の座席配置を反映し、また、座席、カーペットなどの種類のような内装のモックアップの他の質を反映する。
【００７０】
さらに、上の実施例のシナリオに対して、ＵＮＵシステム２００を装備した同じ又は別のユーザは、ディスプレイ装置２２４を含むＡＲ眼鏡２０４を着用して、航空機のがらんどうの胴体を歩くことができる。別の実施例において、コンピュータシステムは、ＡＲ眼鏡のディスプレイ装置に加えて又は代えて、プロジェクターと通信するように構成される。この歩行の間に、ユーザは（例えば、音声コマンド、ジェスチャーなどを通じて）、コンピュータシステム２０２に、実物大の寸法における表示のために内装のモックアップの３Ｄモデルを出力するように指示することができる。より一般的には、ＵＮＵシステムは、電子的なリソースからの３Ｄモデルを含む出力を受信し、３Ｄモデルが複合システムの構成要素である場合に、ディスプレイ装置による表示のために、その出力を通信するように構成される。
【００７１】
ＡＲ眼鏡２０４は、がらんどうの胴体のライブビュー又は直視的なビューを発生し又はさもなければ可能にし、胴体は、ＵＮＵシステム２００のコンピュータシステム２０２からの内装のモックアップの３Ｄモデルによって拡張される。より一般的には、ＵＮＵシステムは、３Ｄモデルによって拡張されているがらんどうの空間のライブビュー又は直視的なビューを伴って、ユーザの環境が構成要素の配置のために設計された複合システムのがらんどうの空間を含む例において、表示のために出力を通信するように構成される。一実施例において、ＵＮＵシステムは、それぞれのディスプレイ装置２２４を含み、がらんどうの胴体を通って歩いているそれぞれのユーザ（同じ環境の中のユーザ）によって着用される、複数のＡＲ眼鏡を含み、又はＡＲ眼鏡に結合される。この実施例において、ＵＮＵシステムは、３Ｄモデルを各々のＡＲ眼鏡のディスプレイ装置に対して出力するように指示される。それぞれのディスプレイ装置によって表示される３Ｄモデルは、がらんどうの胴体（ユーザの環境）に固定されているが、胴体（環境）の範囲内のそれぞれのユーザの視点に応じて、ＡＲ眼鏡の各々に対して変化する。
【００７２】
ＵＮＵシステム２００はさらに、ユーザがリアルタイムで内装のモックアップの３Ｄモデルに対して工学的な変化をもたらすことを可能にし、その変化は、ユーザの要求が満たされることをより確実にする。一実施例において、ＵＮＵシステムを装備したユーザは、ジェスチャーを使用し、彼らの手を叩く、つまむ、大声を出すなどによって、表示された３Ｄモデルを変化させ、３Ｄモデルによって表現されている内装のモックアップの１以上の対象物の、構成、形状、態度、位置、色の組み合わせなどを変化させる。ユーザは、ジェスチャーを使用して、座席をつまみそれを外側へと拡大し、又はそれを除去するために指を滑らせる。ジェスチャーは、１以上の適切なセンサ２０８乃至２１８によって捕えられ、コンピュータシステム２０２に提供（感知された入力として）される。より一般的には、適切なセンサは、３Ｄモデルの部分を変形させることを示しているユーザのジェスチャーを捕えるように構成され、かつ感知された入力は、センサからの捕えられたジェスチャーを含む。
【００７３】
コンピュータシステム２０２は、捕えられたジェスチャーを含む感知された入力を処理し、適切な電子的なリソースに、ジェスチャーによって示された変形を実行させるように入力を形成して通信する。電子的なリソースは、変形された３Ｄモデル又は３Ｄモデルの変形された対象物（例えば、座席）を、コンピュータシステムに戻すように出力する。すなわち、出力は、３Ｄモデルの変形された部分を少なくとも含み、その出力は、今度は、変形された部分を含んだ３Ｄモデルの表示のためにＡＲ眼鏡２０４のディスプレイ装置２２４に出力される。変形は、それらが行われる時にリアルタイムで示され、例えば比較目的などのために、３Ｄモデルの相互作用又はバージョンとして電子的なリソースによって記憶される。
【００７４】
一実施例において、航空機又はその構成要素のうちの１以上の作業を反映する１以上の情報モデルは、さらに適切な電子的なリソースに対して引き出され、電子的なリソースは、航空機／構成要素の作業をシミュレートする。シミュレーションの間又はその後、電子的なリソースは、シミュレーションの結果をコンピュータシステム２０２に出力し、コンピュータシステム２０２は、今度は、結果をＡＲ眼鏡２０４のディスプレイ装置２２４を通してユーザに出力する。より一般的には、ＵＮＵシステムは、複合システムの作業の電子的なリソースのシミュレーションからの出力を受信し、ディスプレイ装置による表示のために出力を通信するように構成される。
【００７５】
表示されているシミュレーションの出力に加えて又は代えて、出力は、音声出力装置、触覚センサなどの他のユーザインターフェースに提供される。音声出力装置は、ユーザに音声のフィードバックを提供し、触覚センサは、ユーザに触覚のフィードバックを提供し、例えば、シミュレーションの間の又はシミュレーションの結果として、ユーザにある種のイベントを警告し、かつシミュレーションは、ＡＲ眼鏡２０４のディスプレイ装置２２４からの視覚的なフィードバック又は他の情報に加えて若しくは代えて提供される。適切なイベントの例は、構成要素の間の衝突若しくは他の対立又は干渉を含み、そのような課題の解決を容易にする。
【００７６】
いくつかの実施例において、ＵＮＵシステム２００は、ユーザの役割に基づいて、ユーザに表示される３Ｄモデル及び／又は他の情報を仕立てる。すなわち、コンピュータシステム２０２は、それぞれのユーザによって着用されるそれぞれの複数のＡＲ眼鏡２０４の複数のディスプレイ装置２２４による表示のために出力を通信するように構成され、ディスプレイ装置の各々に対する出力は、それぞれのユーザの役割に応じて変化する。航空機製造業者の代表及び顧客の両方がＡＲ眼鏡を着用しているような場合、コンピュータシステムは、代表のＡＲ眼鏡に３Ｄモデルだけではなく利用可能性データも表示させることができ、顧客のＡＲ眼鏡が３Ｄモデルのみを表示する一方で、顧客の過去の好みなどを思い出させる。
【００７７】
例えば、航空機の生産中又生産前の段階において、ＵＮＵシステム２００は、構築活動、修理活動、及び／又は保守活動などの、任意の数の活動をサポートするために使用される。様々な実施例において、航空機又は航空機の構成要素の工学的な設計の要件又は意図を、構築し、創造し、さもなければ完成させるための指示を正式なものにする作業計画にしたがって、これらの及び類似の活動が実行される。工学的な設計は、航空機の仕様、公差、目的、材料、又は他の態様を示す１組の要件を含む。作業計画は、作業者たちによって遂行される１組の命令を一緒に備える一連の作業指示を含み、各々の作業指示は１以上のタスクを含む。タスクは、作業者の特定の及び繰り返される目的、動作、又は活動を表現する、作業者によって実行される活動又は１組の活動である。
【００７８】
いくつかの実施例において、タスクは、複合システムの構成要素に対して作業をするユーザの１以上の定義された動作を含み又は意味するように定義され、かつ、いくつかのタスクに対しては、ユーザは、１以上のツール（例えば、手作業のツール、パワーツール）を使用してそれぞれの活動を実行する。例えば、ユーザは、構成要素を置く、配置する、又は組み立てる、構成要素を設置する又は取り外す、構成要素の中に孔を開ける、構成要素の上に留め具を設置する、構成要素の一部分に突き刺す又は一部分を取り去るなどのタスクが与えられる。
【００７９】
いくつかの実施例において、タスクは、持ち上げる、握る、頭上作業をする、押す／引く、曲げる、ひざまずくなどの、作業者を人間工学的なリスクにさらす種類の１以上の定義された動きを含み又は意味するタスク定義を有している。持ち上げることは、作業者がいくつかの回数において重量を持ち上げることを含む。握ることは、作業者がグリップ（例えば、手のグリップ、つまむグリップ、指／親指の押圧）を使用して、いくつかの回数において所定量の力を適用することを含む。頭上作業は、いくつかの回数の各々において所定量の時間だけ、作業者が、彼らの手を頭上に持ち上げることを含む。押す／引くは、作業者が、いくつかの回数において所定量の力を伴って、押す／引く（例えば、片手で／両手で、水平に押す／引く、片腕で／両腕で、垂直方向に押す／引く）ことを含む。曲げることは、作業者が、いくつかの回数の各々において所定量の時間だけ、彼らの胴を前に曲げる（例えば、４５度以上）ことを含む。そして同様に、ひざまずくことは、作業者が、いくつかの回数の各々において所定量の時間だけ、ひざまずくことを含む。
【００８０】
いくつかの実施例において、タスク定義は、複合システムに対して作業をしているユーザのための１以上の処理要件を特定し、処理要件は、いくつかの例において、適切なツール（例えば、手のツール、パワーツール）を使用することを含む。上で示唆されたように、例えば、これらは、構成要素を、置くこと、配置すること、又は組み立てること、構成要素を設置すること又は取り外すこと、構成要素の中に孔を開けること、構成要素の上に留め具を設置すること、構成要素の一部分に突き刺すこと又は一部分を取り去ることなど、に対する要件を含む。より具体的な実施例において、留め具を設置することに対する作業タスクは、トルク、揺れ動く力、及び／又は留め具に対して適用される前負荷などの、タスクの実行に関係する処理変数のための要件を含む。
【００８１】
例えば、１つのシナリオにおいて、ＵＮＵシステム２００が装備されＡＲ眼鏡２０４を着用しているユーザ（例えば、作業者）は、作業現場に入り作業計画において定義されたタスクを実行する。コンピュータシステム２０２及び／又はＡＲ眼鏡は、コンピュータシステムがユーザを認識するための感知された入力を提供する、１以上のセンサが装備され又は結合される。いくつかの実施例において、コンピュータシステムは、カメラ２０８にユーザの顔の画像を捕えさせ、及び／又はマイクロホン２２０にユーザの音声を捕えさせ、それらの画像及び音声は、感知された入力としてコンピュータシステムに提供される。または、コンピュータシステムは、他の物理的な状態のセンサに、感知されたユーザの入力特性を提供させる。これらの実施例におけるコンピュータシステムは、感知された入力を受信して処理し、顔認識、音声プリントなどに基づいて、ユーザを認識するように構成される。コンピュータシステムはさらに、ユーザに作業をさせる、及び／又は日常の安全のメッセージ、過去に問題を有していたものに注意するように思い出させるものなどを含む、日々の作業のためのアジェンダを提供するなど、認識されたユーザに基づいて１以上の適切な電子的なリソースと通信することができる。
【００８２】
ユーザは、定義されたタスクを実行するために準備するので、センサは、コンピュータシステム２０２が適切な電子的なリソースと通信するための感知された入力を提供し、ユーザをユーザがタスクを実行するために要求されたアイテムを見つけるように仕向ける。コンピュータシステムはさらに、ユーザにタスクを実行するための既知の作業領域の表示を提供し、ＡＲ眼鏡２０４のディスプレイ装置２２４に対して、それぞれの領域への道筋を出力する。一実施例において、コンピュータシステムは、位置センサ２２２にユーザの位置の測定値を提供させ、測定値は、感知された入力としてコンピュータシステムに提供される。コンピュータシステムは、感知された入力を受信して処理し、ユーザの位置からそれぞれの領域までの道筋を計算する。前のように、ディスプレイ装置に加えて又は代えて、コンピュータシステムは、出力が表示されるためのプロジェクターと通信する（いずれの例においても、出力は、ユーザの環境の直視的なビュー又はライブビューを拡張する）。
【００８３】
コンピュータシステム２０２は、位置センサ２２２に、ユーザが動くにしたがってユーザの位置を追跡する測定値を提供させ、測定値は、（感知された入力として）コンピュータシステムに提供され、及びコンピュータシステムによって処理され、ユーザがいつ作業領域に接近しているかを決定する。コンピュータシステム２０２は、適切な電子的なリソースと通信し、与えられたタスクに関係する参考資料又は他の情報を提供する。その後、ユーザが作業領域又はその近傍の範囲内に到着すると、コンピュータシステムは、参考資料及び他の関係する情報を、順次に、文脈に敏感なやり方などにおいて、ＡＲ眼鏡２０４のディスプレイ装置２２４に出力する。
【００８４】
ユーザが作業領域の中又はその近傍の範囲内にいる一方で、コンピュータシステム２０２は、カメラ２０８に、例えばユーザの視点から、ユーザ及び／又は彼らの環境の画像又はビデオを自動的に捕えさせる。ユーザの視点がユーザがタスクを実行するために相互作用しなければならない対象物の領域に向けられると、コンピュータシステムは、感知された入力を受信して処理し、対象物を認識し、適切な電子的なリソースと通信し、それぞれの対象物を強調するユーザの直視を拡張する視覚的な刺激を出力する。いくつかの実施例において、視覚的な刺激は、対象物のステータスを反映するようにカスタマイズされる特性（例えば、色、影、パターン、強調、方向）を有する。コンピュータシステムはさらに、ステップ毎のタスク／動き（視覚的に及び／又は聴覚的に）を出力し、様々な例においてさらなる視覚的補助を出力する。例えば、この視覚的／聴覚的補助は、タスク／動きの実行を図解する補助するビデオ、又は構成要素の組み立てをアニメで示すことを含み、おそらく、実行されているタスク／動き、補助するノート、タスク／動きの根拠を説明するナレーションなどを伴う。
【００８５】
ユーザは（例えば、音声コマンド、ジェスチャーなどを通じて）、コンピュータシステム２０２が電子的なリソースと通信するように指示し、それによって興味の対象物に関する情報を提供し、情報は、その後、コンピュータシステムがＡＲ眼鏡２０４のディスプレイ装置２２４に対して出力する。例えば、ユーザは、「フラップスラット電気ユニットを見つけろ」などの音声コマンドを話すことができ、音声コマンドは、マイクロホン２２０によって捕えられ処理されて、コンピュータシステムに、適切な電子的なリソースと通信させ、ユーザの直視的なビューを拡張してそれぞれのフラップスラット電気ユニット（ＬＲＵ）を強調する視覚的な刺激を出力させる。自動的に又はユーザの指示に反応して、コンピュータシステムは、視覚的な刺激の特性をカスタマイズし、ＬＲＵのステータスを反映し又はＬＲＵに関する情報を提供する。
【００８６】
ユーザがタスクを実行すると、コンピュータシステム２０２は、様々なセンサに、コンピュータシステムがタスクの実行を追跡するための、感知された入力を提供させる。例えば、コンピュータシステムは、カメラ２０８に、自動的にユーザがタスクを実行しているビデオを捕えさせる。例えば、付加的に又は代替的に、コンピュータシステムは、加速度計２１０、ジャイロスコープ２１２、ＩＭＵ２１４、光ファイバーセンサ２１６、筋活動（例えば、ＥＭＧ）センサ２１８、又は他の適切なセンサに、ユーザの動作及び／又は位置の測定値を提供させ、測定値は、ユーザの１以上の動きの特性である。これは、ユーザが持ち上げる、握る、頭上作業する、押す／引く、曲げる、ひざまずくなどの測定値の特性を含む。いくつかの実施例において、筋活動センサは、ユーザの筋活動の測定値を提供し、その測定値に基づいて、持ち上げられた重量、握りの力、及び／又は押す／引く力が、計算される。
【００８７】
コンピュータシステム２０２がタスクの実行を追跡するときに、又は追跡した後に、コンピュータシステムは、記憶及びリコールなどの任意の数の種々の目的のために、適切な電子的なリソースに対してビデオ及び／又は他の感知された入力を出力する。例えば、コンピュータシステムは、実行の評価目的で、電子的なリソースにビデオ及び／又は他の感知された入力を出力する。上で示されたように、タスクは、定義されたユーザの動きを含む又は意味するように定義される。また上で示されたように、感知された入力は、ユーザの動作及び／又は位置の測定値を含み、測定値は、ユーザの１以上の動きの特性である。その後、いくつかの実施例において、コンピュータシステムは、電子的なリソースが、タスクの実行中のユーザの１以上の動きを決定し、決定された動きをタスク定義のそれぞれの定義された動きと比較するための、ビデオ及び／又は他の感知された入力を出力する。電子的なリソースは、比較に基づいて、その定義を伴うタスクのユーザの実行の適合性を決定し、決定は、それによってユーザの実行の評価を可能にする。
【００８８】
いくつかの実施例において、コンピュータシステム２０２は、人間工学的な評価目的で、電子的なリソースに対して、ビデオ及び／又は他の感知された入力を出力する。上で示唆されたように、ユーザの動作及び／又は位置は、異なる種類の動きの特性であり、動きのうちのいくつかは、作業者を人間工学的なリスクにさらす。それゆえ、コンピュータシステムは、電子的なリソースに対して、ビデオ及び／又は他の感知された入力を提供し、電子的なリソースは、ビデオ及び／又は感知された入力に基づいて、人間工学的なリスクの評価の実行を実行する又は容易にするように構成される。
【００８９】
いくつかの実施例において、コンピュータシステム２０２は、検査目的で、電子的なリソースに対して、ビデオ及び／又は他の感知された入力を出力する。上で示唆されたように、タスク定義は、複合システムの構成要素に対して作業をしているユーザのための処理要件を特定する。例えば、留め具の設置のためのタスクは、トルク、揺れ動く力、及び／又は留め具に対して適用される予めかけられる力などの、処理変数のための要件を含む。その後、いくつかの実施例において、コンピュータシステムは、トルク、揺れ動く力、及び／又はユーザによって（直接的に又はツールを使用して）留め具に対して適用される前負荷を含む、測定値に基づいて電子的なリソースが任意の数の種々の処理変数を計算するところの、筋活動の測定値を出力する（ビデオ及び／又は他の感知された入力に加えて又は代えて）。電子的なリソースは、計算された処理変数と、タスク定義のそれぞれの特定された処理要件とを比較する。電子的なリソースは、比較に基づいて、それぞれの特定された処理要件に対する計算された処理変数の適合性を決定し、決定は、それによって、その処理要件に対するタスクの検査を可能にする。
【００９０】
電子的なリソースは、ユーザがタスクを実行する間又はその後における、その評価又は検査の結果を生み出して出力する。ユーザがタスクを実行している間に結果が出力される場合は、結果は、その定義及び特定された処理要件にしたがってなど、ユーザのタスクの適正な実行を容易にする。しかしながら、もう一つの場合には、結果は、それぞれのタスクに応じる同じ又は別のタスクの同じ又は別のユーザの適正な実行を容易にする。いくつかの実施例において、自動化されたタスク完了の認識は、ペーサーボード（ｐａｃｅｒ  ｂｏａｒｄｓ）、進捗のダッシュボード、完了メトリックソフトウェアなどを駆動し、認識は、リアルタイムの生産のステータスを改良する助けとなる。
【００９１】
電子的なリソースは、任意の数の種々の評価及び検査の結果を生み出す。例えば、電子的なリソースは、１以上の、ユーザの決定された動き、タスク定義のそれぞれの動き、及び／又はそれらの比較に基づくその定義に対するタスクのユーザの実行の適合性の表示を生み出す。別の実施例において、電子的なリソースは、１以上の、計算された処理変数（例えば、トルク、揺れ動く力、前負荷）、タスク定義によって特定されるそれぞれの処理要件、及び／又はそれらの比較に基づくそれぞれの処理要件に対する計算された処理変数の適合性の表示を生み出す。いくつかの実施例において、タスク定義又は処理要件に対する適合性の表示は、完全に順守、部分的に順守、又は順守されていないなどの、それぞれの適合性の範囲によって区別される、複数の関係するレベルの中で反映される。
【００９２】
いくつかの実施例において、電子的なリソースは、評価又は検査の結果を、コンピュータシステム２０２に対して出力し、コンピュータシステム２０２は、今度は、ＡＲ眼鏡２０４のディスプレイ装置２２４を通じて、及び／又は他のユーザインターフェース（例えば、音声出力装置、触覚センサ）を通じて、ユーザに対して結果を出力する。結果は、数字による又は文字によるフィードバックとして出力される。付加的に又は代替的に、結果は、視覚的な刺激、音声の刺激、及び／又は触覚的な刺激として出力され、それらの刺激は、いくつかの実施例において、タスク定義又は処理要件に対する適合性のレベルを反映する。例えば、留め具の設置の文脈において、コンピュータシステムは、視覚的な刺激、音声のフィードバック、及び／又は触覚のフィードバックを、ユーザに出力し、それは例えば、ユーザに計算された処理変数（例えば、トルク、揺れ動く力、前負荷）が特定の処理要件を順守していることを通知する。
【００９３】
例示的な実施態様のやり方において実行された、評価、検査、及び他の同様な作業はまた、ユーザが評価、検査、又は他の処理を待つ代わりに彼らの作業に集中し続けることを可能にし、そのことは、重要な時間の節約、より良い構築の質、及び／又はユーザに対する認識の途絶の低減をもたらすことができる。さらに、ユーザがブレイクをとるイベントにおいて、又はさもなければ邪魔が入る場合（例えば、ＵＮＵシステム２００は不具合を経験する）、ユーザの環境は捕えられる。タスクに戻るとすぐに、ビデオが再生されて、ユーザが彼らが邪魔される前の損傷されていない文脈を有する手順のポイントまで戻る助けとなる。
【００９４】
ビデオ及び他の情報を含むタスクの記録の記憶は、上述したものに加えて又は代えて任意の数の他の処理を可能にする。例えば、データ分析を使用する電子的なリソースは、逸脱を探してこれらの記録をスキャンし、同様に、将来の活動の処理の改良の中に自動的に含まれる改良を探してスキャンを行う。タスクの各々の例が実行される時は、記録され、様々なタスクにおける改良のための機会の新しい領域を強調する、複合の、実物のような「バリューストリームマップ（ｖａｌｕｅ  ｓｔｒｅａｍ  ｍａｐ）」の中の表示のために出力される。
【００９５】
ＵＮＵシステム２００はさらに、適切な電子的なリソースを介して、他のユーザ（例えば、エンジニア、プランナー）に対するオンザフライのアクセスを可能にする。ユーザは、それによって、タスク又はタスクを伴う問題を処理するために、他者からの補助と協力し、又はさもなければ補助を受け入れる。この協力の間に、ユーザは、彼らの相互作用を容易にする文脈的な又は他のサポートする情報を他のユーザに提供するように、コンピュータシステム２０２に指示する。航空機の運航の間でさえ、これはスタッフ同士の協力を可能にする。例えば、ＵＮＵシステムを装備した客室乗務員は、「私は、もっとコーヒーが欲しい」などの音声コマンドを話すことで、コンピュータシステムに、適切な電子的なリソースと通信させ、コーヒーに最も近い別の客室乗務員又は航空会社のスタッフを探し出し、１人の客室乗務員がコーヒーを求めているという通知又は他の表示を出力させる。このシナリオの中の拡張現実感システムはまた、上述した７５３の出願の中において開示されるシステムの態様から利益を受けることができる。さらに、上で示唆されたように、ＵＮＵシステム２００は、ユーザを、タスクを実行するために必要なアイテムを探し出すことができる場所へ導く。これは、在庫品目を含み、コンピュータシステム２０２は、適切な電子的なリソースと通信し、在庫品目のための様々な活動を実行する。適切な活動の例は、在庫管理、自動リコンサイル消費活動、セット／リセット最小／最大在庫レベル、再発注点などを含み、消費された在庫に対して支払うなどの活動を行う。これは、サプライチェーンを消費のプル信号に同調させ、そのことは、ジャストインタイムの供給を容易にする。
【００９６】
ＵＮＵシステム１００（及び、その例であるＵＮＵシステム２００）及び例示的な実施態様の方法はまた、様々な他の潜在的な用途における使用を見つける。ＵＮＵシステムは、視覚的な及び物理的なものを組み合わせて、例えば、使用の時間及び点において、及び文脈に敏感なやり方で、仮想的な情報の要素を伴うユーザの物理的な環境を拡張することなどによって、情報のキッティング（ｋｉｔｔｉｎｇ）の中の用途を有する。
【００９７】
別の実施例において、例示的な実施態様のＵＮＵシステム１００は、事故調査における用途を有する。この点に関して、点群は、記録され、無数の潜在的なイベントが手元にある状況の原因となる場合の調査を通知するための、種々のアルゴリズムをモデル化する分析のための、デブリフィールドから発生する。
【００９８】
さらに別の実施例において、ＵＮＵシステム１００は、感情、ユーザの意図／行動の中において、用途を有する。ジェスチャー、言葉の感情的な刺激、微小な表情などは、文脈のための要素である。この情報は、文脈的な情報の中へと戻され、必要性に対する予期的な能力を通知する。エンゲージメントは判定され、情報及び／又はユーザインターフェースは、アップデート（さらなる助け／情報を提供する）され、及び／又は専門家に対する結びつきが形成される（前回に何が役立ったかを思い出す）。
【００９９】
他の実施例において、ＵＮＵシステム１００は、仮想的なガイドの補助、及び／又は計算するリソースを借りるための、携帯の、メッシュのネットワークの中に用途を有する。さらにまた別の実施例において、ＵＮＵシステムは、人間の体の動きの追跡の中に用途を有し、例えば、指定された作業領域に入らない場合、又は滞留時間が特定の作業に対する予期される閾値に合致しない場合、警告を発生するなどを行う。
【０１００】
本開示の例示的な実施態様にしたがって、ＵＮＵシステム１００及びリソースホストシステム１０８、及びそれらのそれぞれのサブシステムは、様々な手段によって実装される。同様に、ＵＮＵシステム２００、及びフロントエンドシステム３００、センサシステム４００、分析システム５００、実行システム６００、及び評価システム７００の例は、それらのそれぞれのサブシステム、要素、及びそれらと同様なもの（例えば、コンピュータシステム２０２）の各々を含んで、例示的な実施態様にしたがった様々な手段によって実装される。システム、サブシステム及びそれぞれの要素を実装するための手段は、単独のハードウェア、あるいは、コンピュータで読込可能な記憶媒体からの１以上のコンピュータプログラムコード命令、プログラム命令又は実行可能なコンピュータで読込可能なプログラムコード命令の指示下にあるハードウェアを備えることができる。
【０１０１】
一実施例では、本明細書の中において図示及び記載されるシステム、サブシステム、及びそれぞれの要素として機能するか、又はそうでない場合にそれらを実装するように構成される１以上の装置が提供される。複数の装置を含む実施例では、それぞれの装置は、有線又は無線ネットワークなどを介して直接的に又は間接的になど、任意の数の異なる方法で、互いに接続され、又はそうでない場合は通信することができる。
【０１０２】
概して、本発明の例示的な実施態様の装置は、１以上の固定又は持ち運び可能な電子装置を備える、含む、又はそのような電子装置内において実施され得る。好適な電子機器の例は、スマートホン、タブレット型コンピュータ、ノート型コンピュータ、デスクトップコンピュータ、ワークステーションコンピュータ、サーバコンピュータなどを含む。装置は、メモリ（例えば、記憶装置）に接続されたプロセッサ（例えば、プロセッサユニット）などの任意の数の構成要素の各々うちの１以上を備えてもよい。
【０１０３】
プロセッサは、概して、例えば、データ、コンピュータで読込可能なプログラムコード、命令（ソフトウェア、ファームウェアなどの、概して「コンピュータプログラム」）などの情報、及び／又は他の適する電子情報を処理できる任意のハードウェアである。具体的には、例えば、プロセッサは、プロセッサに搭載された状態で記憶された又はそうでない場合はメモリ（同じ又は別の装置の）に記憶された、コンピュータプログラムを実行するように構成することができる。プロセッサは、特定の実装態様に応じて、任意の数のプロセッサ、マルチプロセッサコア、又は他の何らかの種類のプロセッサとしてもよい。さらに、プロセッサは、単一のチップ上に主要プロセッサと共に１以上の二次プロセッサが存在する任意の数の異種プロセッサシステムを使用して実施してもよい。別の実施例としてプロセッサは同一形態の複数のプロセッサを含む対称型マルチプロセッサシステムであってもよい。さらに別の実施例では、プロセッサは、１以上の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などとして実施される、又はそうでない場合はそれらを含むことができる。ゆえに、プロセッサは１以上の機能を実行するためのコンピュータプログラムを実行できるが、種々の実施例のプロセッサは、コンピュータプログラムの支援がなくとも１以上の機能を実行することができる。
【０１０４】
メモリは、概して、データ、コンピュータプログラム及び／又は一時的な及び／又は永続的な他の適する情報などの情報を記憶できる任意のハードウエアである。メモリは、揮発性及び／又は不揮発性メモリを含み、固定でも取り外し可能でもよい。適切なメモリの例は、ランダムアクセスメモリ（RAM）、読出し専用メモリ（ROM）、ハードドライブ、フラッシュメモリ、サムドライブ、取り外し可能なコンピュータディスケット、光ディスク、磁気テープ又はそれらの何らかの組み合わせを含む。光ディスクには、コンパクトディスク−リードオンリーメモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−リード／ライト（ＣＤ−Ｒ／Ｗ）、及びＤＶＤが含まれる。種々の例では、メモリはコンピュータで読込可能な記憶媒体と呼ばれ、情報を記憶できる永続的装置として、一の場所から別の場所へ情報を伝送できる電子的な一時的な信号などのコンピュータで読込可能な伝送媒体と区別することができる。本明細書に記載されるコンピュータで読込可能な媒体は、概して、コンピュータで読込可能な記憶媒体又はコンピュータで読込可能な伝送媒体を指している。
【０１０５】
メモリに加えて、プロセッサは、情報をディスプレイ、伝送、及び／又は受信するための１以上のインターフェースに接続することもできる。インターフェースは、１以上の、通信インターフェース１０４、センサ１０６（例えば、センサ２０６乃至２２０）、及び／又はユーザインターフェースを含み、それらの例は、通信インターフェース１０４、センサ１０６、及び／又はユーザインターフェース（ディスプレイ装置１１０、例えば、ディスプレイ装置２２４を含む）を参照しながら上で説明された。
【０１０６】
上述のように、プログラムコード命令は、本明細書に記載されるシステム、サブシステム及びそれらに対応の要素の機能を実施するために、メモリに記憶されてプロセッサにより実行される。理解されるように、任意の適切なプログラムコード命令は、コンピュータで読込可能な記憶媒体からコンピュータ又はその他のプログラム可能な装置にローディングされ、ここに特定される機能を実施する手段となるように特定のマシンが制作される。また、これらのプログラムコード命令は、コンピュータで読み取り可能な記憶媒体に記憶することができ、この記憶媒体は、コンピュータ、プロセッサ、又はその他のプログラマブルな装置を特定の方式で機能させることにより特定のマシン又は特定の製造品を生成することができる。コンピュータで読込可能な記憶媒体に記憶された命令は、製造品を生産することができ、この製造品は本明細書に記載される機能を実施するための手段となる。プログラムコード命令をコンピュータで読込可能な記憶媒体から読み出してコンピュータ、プロセッサ、又はその他のプログラマブルな装置に読み込むことにより、コンピュータ、プロセッサ、又はその他のプログラマブルな装置上で又はそれらにより実行される作業を実行するコンピュータ、プロセッサ、又はその他のプログラム可能装置を構成することができる。
【０１０７】
一の命令が一度に読み出され、ローディングされ且つ実行されるように、プログラムコード命令の読み出し、ローディング及び実行を連続して行うことができる。いくつかの例示的実装態様では、複数の命令をまとめて読み出し、ローディングし及び／又は実行するために、読み出し、ローディング、及び／又は実行を並行して行なうことができる。コンピュータ、プロセッサ、又はその他のプログラマブルな装置により実行される命令が本明細書に記載される機能を実施するための作業を提供するように、プログラムコード命令の実行により、コンピュータで実施されるプロセスが生成される。
【０１０８】
プロセッサによる命令の実行、又はコンピュータで読込可能な記憶媒体での命令の記憶により、特定の機能を実行するための作業の組み合わせがサポートされる。さらに、１以上の機能、及び機能の組み合わせは、特殊目的ハードウェアに基づくコンピュータシステム及び／又は特定の機能を実行するプロセッサ、或いは特殊目的ハードウェアとプログラムコード命令との組み合わせによって実施することができることも理解されたい。
【０１０９】
これらの開示内容に関連して、上述の説明及び添付図面に提示された教示の恩恵を有する本発明の多数の修正例及び他の実装態様が、当業者には想起されるであろう。したがって、本発明は開示した特定の実装態様に限定されるものでなく、変形及び他の実装態様は特許請求の範囲に含まれることを意図しているものと理解されたい。さらに、上述の説明及び添付図面は、要素及び／又は機能の特定の例示的な組み合わせに照らして実施形態を説明しているが、特許請求の範囲から逸脱せずに、別の実施形態によって要素及び／又は機能の異なる組み合わせが提供されてもよいと解されるべきである。これに関しては、たとえば、明確に上述した要素及び／又は機能とは異なる要素及び／又は機能の組み合わせもまた考えられ、添付の請求項の範囲のいくつかの項に記載される。ここでは特定の用語が使用されるが、それらは、一般的及び説明的な意味でのみ使用されており、限定を目的とするものではない。
【符号の説明】
【０１１０】
１００  ＵＮＵシステム
１０２  フロントエンドシステム
１０４  通信インターフェース
１０６  センサ
１０８  リソースソフトシステム
１１０  ディスプレイ装置
２００  ＵＮＵシステム
２０２  コンピュータシステム
２０４  ＡＲ眼鏡
２０６  ３Ｄスキャナー
２０８  カメラ
２１０  加速度計
２１２  ジャイロスコープ
２１４  ＩＭＵ
２１６  光ファイバーセンサ
２１８  筋活動（例えば、ＥＭＧ）センサ
２２０  マイクロホン
２２２  位置センサ
２２４  ディスプレイ装置
３００  フロントエンドシステム
３０２  センサシステム
３０４  分析システム
３０６  実行システム
３０８  評価システム
４００  センサシステム
４０２  検出器
５００  分析システム
５０２  認識装置
５０４  永続化ストア
６００  実行システム
６０２  作業エンジン
６０２ａ  システム由来の作業
６０２ｂ  ユーザがリクエストした作業
７００  評価システム
７０２  管理評価エンジン
７０４  永続化ストア
８００  航空機の製造及び保守方法
８０２  仕様及び設計
８０４  材料の調達
８０６  サブシステム及び構成要素の製造
８０８  システムインテグレーション
８１０  認可及び納品
８１２  運航
８１４  整備及び保守
９００  航空機
９０２  機体
９０４  システム
９０６  内装
９０８  推進システム
９１０  電気システム
９１２  油圧システム
９１４  環境システム
【図１】
2014232531.tif 000003
【図２】
2014232531.tif 000004
【図３】
2014232531.tif 000005
【図４】
2014232531.tif 000006
【図５】
2014232531.tif 000007
【図６】
2014232531.tif 000008
【図７】
2014232531.tif 000009
【図８】
2014232531.tif 000010
【図９】
2014232531.tif 000011
【外国語明細書】
2014232531000001.pdf
2014232531000002.pdf
2014232531000003.pdf
2014232531000004.pdf