(57)【要約】      （修正有）【課題】ロボットアームを用いる、航空機の状態監視及び／または自動化された航空機乗組員を提供する。【解決手段】航空機のフライトコントロールシステム１１６に命令を通信するように構成されたコアプラットフォーム１０２と、命令を実行しデータを収集するためにコアプラットフォーム１０２に動作可能に連結された作動システムであって、フライトコントロールシステム１１６に対応する１つ以上の操縦席計器５５８を視覚的に特定するように構成された光学センサ、作動システムが１つ以上の操縦席計器５５８と接触したときに力を測定するように構成された力センサ５５２、並びに、光学センサ及び力センサ５５２によって収集されたデータに基づいて、１つ以上の操縦席計器５５８の位置、タイプ、及びポジションをマッピングするデータ取得システムとを備える作動システム。【選択図】図６
2019048618.tif 000002
【特許請求の範囲】
【請求項１】
航空機内で使用される乗組員自動化システム（１００）であって、
１つ以上のインターフェース（２３４）を介して複数のシステムまたはサブシステムを動作可能に接続し、且つ、
少なくとも部分的には飛行状態データに基づいて前記航空機のフライトコントロールシステムに命令を通信する
ように構成されたコアプラットフォーム（１０２）と、
前記命令を実行しデータを収集するために前記コアプラットフォーム（１０２）に動作可能に連結された作動システムであって、
前記フライトコントロールシステムに対応する１つ以上の操縦席計器（５５８）を視覚的に特定するように構成された光学センサ、
前記作動システムが前記１つ以上の操縦席計器（５５８）と接触したときに力を測定するように構成された力センサ（５５２）、
並びに、前記光学センサ及び圧力センサによって収集されたデータに基づいて、前記１つ以上の操縦席計器（５５８）の位置、タイプ、及びポジションをマッピングするデータ取得システムとを備える作動システムと、
を備える、乗組員自動化システム（１００）。
【請求項２】
前記光学センサは、赤外線カメラ及び視覚カメラのうちの１つである、請求項１に記載の乗組員自動化システム（１００）。
【請求項３】
前記力センサ（５５２）が、コントローラ（４０２）によって個別に操作される１つ以上の指部を備える、請求項１または２に記載の乗組員自動化システム（１００）。
【請求項４】
各指部がそれぞれ力センサ（５５２）を備える、請求項３に記載の乗組員自動化システム（１００）。
【請求項５】
前記作動システムが、操縦席環境内で自由度６で動作するように構成されたロボットアーム（５５０）を備える、
請求項１から４のいずれか一項に記載の乗組員自動化システム（１００）。
【請求項６】
前記光学センサ及び前記力センサ（５５２）は、前記ロボットアーム（５５０）の遠位端に配列されていてよく、前記遠位端は、前記１つ以上の操縦席計器（５５８）を画像化し前記１つ以上の操縦席計器（５５８）と接触するように構成されている、請求項５に記載の乗組員自動化システム（１００）。
【請求項７】
前記航空機に固有の情報を決定するため、前記コアプラットフォーム（１０２）に動作可能に連結されたナレッジ取得システム（１１４）をさらに備える、請求項１から６のいずれか一項に記載の乗組員自動化システム（１００）。
【請求項８】
前記航空機の前記１つ以上の操縦席計器（５５８）を監視して飛行状態データを生成するために、前記コアプラットフォーム（１０２）に動作可能に連結された認知システムをさらに備える、請求項１から７のいずれか一項に記載の乗組員自動化システム（１００）。
【請求項９】
操縦士と前記乗組員自動化システム（１００）の間のインターフェース（２３４）を提供し、前記操縦士に対してデータを表示して前記操縦士からの命令を受け取るために、前記コアプラットフォーム（１０２）に動作可能に連結されたマンマシンインターフェース（２３４）をさらに備える、請求項１から８のいずれか一項に記載の乗組員自動化システム（１００）。
【請求項１０】
前記作動システムが、前記１つ以上の操縦席計器（５５８）のうちの対応する計器と相互作用するように構成されたマルチツールが遠位端にあるようにして構成されている、請求項１から９のいずれか一項に記載の乗組員自動化システム（１００）。
【請求項１１】
航空機内で使用するために乗組員自動化システム（１００）を実装する方法であって、
前記航空機の機首方位を変更する命令を受信することと、
１つ以上の操縦席計器（５５８）を操作するように構成されたロボットアーム（５５０）を作動させることと、
前記航空機の機首方位を変更するように構成されたノブに、前記ロボットアーム（５５０）で接触することと、
前記ノブの接触のための測定された力プロファイルが、保存されている力プロファイルの値と一致するかを判定することと、
命令に含まれる前記機首方位を反映するために前記ノブを回転することと、を含む、方法。
【請求項１２】
前記ノブに接触する前に第１の機首方位を読み取ることをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記第１の機首方位の読み取り値と命令に含まれる前記機首方位とに基づいて、命令に含まれる前記機首方位を達成するのに必要な変更量を計算することをさらに含む、請求項１２に記載の方法。
【請求項１４】
前記ノブの回転後に第２の機首方位を読み取ることと、
前記第２の機首方位を前記命令に含まれる機首方位と比較することと、
をさらに含む、請求項１１から１３のいずれか一項に記載の方法。
【請求項１５】
前記第２の機首方位が命令に含まれる前記機首方位と一致しないのを判定することと、
前記第２の機首方位の読み取り値と命令に含まれる前記機首方位とに基づいて、命令に含まれる前記機首方位を達成するのに必要な第２の変更量を計算することと、
をさらに含む、請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
政府の権益に係る記載
本発明は、国防高等研究計画局（ＤＡＲＰＡ）によって交付された、契約番号ＨＲ００１１−１５−Ｃ−００２７による米国政府の支援を受けて行われた。米国政府は、本発明に関して一定の権利を有する。
【０００２】
本開示は、フライトコントロール用のシステム、方法、及び機器の分野に関し、具体的には、画像化モダリティと力感知モダリティが統合されたロボットアームを用いた、航空機状態の監視及び／または自動化された乗組員を提供するための、システム、方法、及び機器に関する。
【背景技術】
【０００３】
操縦席における自動化に関する近年の知見によって、操縦室にさらなる機能を追加するという以前のアプローチは、複雑性を増大させ、自動化への過度の依存を生じさせるものであり、特に危機的な事態における作業負荷を必ずしも削減しないということが示されてきた。さらなる課題としては、航空電子機器の製造業者が、高度な信頼性と検証可能性を提供するために、いかなる所望の改良に関しても、厳密な要件に基づいた設計及び変更指示を導入してきたということがある。このように、伝来の航空機は一般的に法外にコストがかかるものであり、要件、検証、及び検査への多額の資本投資を必要とする。
【０００４】
バージニア州マナッサスのオーロラフライトサイエンシズコーポレーションは、過去に、ダイヤモンドＤＡ４２ツインスター機を離陸、巡航及び着陸中に操作することが可能な、右席用操縦補助装置を開発した。右席用操縦補助装置は、Ｃｅｎｔａｕｒという名称であり、元の型式証明に影響することなく、ＤＡ４２機へのインストール及び取り外しが可能である。したがって、航空機の元の証明は維持される。Ｃｅｎｔａｕｒは、機械式作動による主操縦装置とそれ自体の一式の航空電子機器とを含んでおり、監督者役の操縦士と一緒に、または完全に無人の航空機として、使用され得る。例えば、Ｃｅｎｔａｕｒは、飛行機の後部座席にいる操作者が、飛行計画をラップトップコンピュータ上で管理しながら、飛行させてよい。Ｃｅｎｔａｕｒは多くの機能を提供しているが、一定の欠点もまた有している。具体的には、（１）Ｃｅｎｔａｕｒのハードウェアは他の航空機に移植可能ではなく、ソフトウェアが他の設備に対してプラグアンドプレイの拡張可能性もない、（２）Ｃｅｎｔａｕｒシステムの部品は侵襲的（ｉｎｖａｓｉｖｅ）であり、この航空機（即ちＤＡ４２）に非常に固有のやり方で、既存の航空電子機器の配線に干渉する必要がある、（３）Ｃｅｎｔａｕｒでは、搭乗している操縦士が操作者となって飛行計画の管理といったタスクを実施することが可能でない、（４）Ｃｅｎｔａｕｒは、Ｃｅｎｔａｕｒ自体が操作している航空機に関する知識を取得しない。
【０００５】
したがって、多額の出費や証明書の再取得なしに、新たな設備の迅速な導入、安全性の増大、機能性の伸長、及び操縦士の作業負荷の軽減を可能にする、オープンアーキテクチャシステムの必要性が存在している。実際上デジタルフライトエンジニアの役割を果たし得る、継続的な航空機状態の監視と情報の増強を、操縦士に対して提供する必要性も、また存在している。本書で開示されるものといった乗組員自動化システムは、これらの必要性に対処し、新たな設備が、証明に関する最低限の負荷で迅速に導入されるのと同時に、機体間で移植可能であること（例えば、一時的なインストール）を可能にする。検討されるように、乗組員自動化システムは、様々なエンドユーザに対して顕著な利点を提供することができる。一例としての応用は航空機の操作を含むが、航空機の操作においては、疲労と退屈が乗組員の注意力を低下させ得る。このような場合、乗組員自動化システムは、操縦士に警報を発することによって、また特定の例においては航空機の制御を引き継ぐことによって、運航におけるリスクを低減するのである。他の例示的な応用として、人為的エラーの可能性によって、現在は、航空機の広範な利用（例えば、低高度での運航）が限定されているケース、同期した運航、無人飛行、有人飛行の先導による無人編隊、及び広範なデータの記録によるデブリーフィング機能の向上がある。
【発明の概要】
【０００６】
本開示は、フライトコントロール用のシステム、方法、及び機器を対象としており、具体的には、画像化モダリティと力感知モダリティが統合されたロボットアームを用いた、航空機状態の監視及び／または自動化された航空機乗組員を提供するための、システム、方法、及び機器を対象としている。
【０００７】
第１の態様によると、航空機内で使用される乗組員自動化システムは、１つ以上のインターフェースを介して複数のシステムまたはサブシステムを動作可能に接続し、且つ、少なくとも部分的には飛行状態データに基づいて航空機のフライトコントロールシステムに命令を通信するように構成されたコアプラットフォームと、命令を実行しデータを収集するためにコアプラットフォームに動作可能に連結された作動システムであって、フライトコントロールシステムに対応する１つ以上の操縦席計器を視覚的に特定するように構成された光学センサ、作動システムが１つ以上の操縦席計器と接触したときに力を測定するように構成された力センサ、並びに、光学センサ及び圧力センサによって収集されたデータに基づいて、１つ以上の操縦席計器の位置、タイプ、及びポジションをマッピングするデータ取得システムとを備える作動システムと、を備える。
【０００８】
ある態様では、光学センサは、赤外線カメラ及び視覚（光学）カメラのうちの１つである。
【０００９】
ある態様では、力センサは、コントローラによって個別に操作することができる、１つ以上の指部を備える。
【００１０】
ある態様では、各指部は、それぞれの力センサを備える。
【００１１】
ある態様では、作動システムは、操縦席環境内で自由度６で動くように構成された、ロボットアームを備える。
【００１２】
ある態様では、光学センサ及び力センサは、ロボットアームの遠位端に配列されており、この遠位端は、１つ以上の操縦席計器を画像化し、これらと接触するように構成されている。
【００１３】
ある態様では、乗組員自動化システムは、その航空機に固有の情報を決定するためにコアプラットフォームに動作可能に連結された、ナレッジ取得システムをさらに備える。
【００１４】
ある態様では、ナレッジ取得システムは、１つ以上の操縦席計器の力プロファイルに対応する、力の値のマトリクスにアクセスするように構成されている。
【００１５】
ある態様では、コントローラは、それぞれの力プロファイルに基づいて１つ以上の操縦席計器から１つの操縦席計器を特定するため、力センサからの測定データを、力の値のマトリクスと比較するように構成されている。
【００１６】
ある態様では、ナレッジ取得システムは、１つ以上の操縦席計器のレイアウトに対応する、画像データのマトリクスにアクセスするように構成されている。
【００１７】
ある態様では、コントローラは、レイアウトに従った操縦席計器の位置に基づいて、１つ以上の操縦席計器から１つの操縦席計器を特定するため、光学センサからの測定データを、画像データのマトリクスと比較するように構成されている。
【００１８】
ある態様では、乗組員自動化システムは、航空機の１つ以上の操縦席計器を監視して飛行状態データを生成するために、コアプラットフォームに動作可能に連結された、認知システムをさらに備える。
【００１９】
ある態様では、乗組員自動化システムは、操縦士と乗組員自動化システムの間のインターフェースを提供し、操縦士に対してデータを表示して操縦士からの命令を受け取るために、コアプラットフォームに動作可能に連結された、マンマシンインターフェースをさらに備える。
【００２０】
ある態様では、マンマシンインターフェースは、タッチスクリーンディスプレイを含む。
【００２１】
ある態様では、作動システムは、１つ以上の操縦席計器に対応する機器と相互作用するように構成された、マルチツールを遠位端に持つように構成されている。
【００２２】
第２の態様によると、航空機内で使用するために乗組員自動化システムを実装する方法は、航空機の機首方位を変更する命令を受信することと、１つ以上の操縦席計器を操作するように構成されたロボットアームを作動させることと、航空機の機首方位を変更するように構成されたノブに、ロボットアームで接触することと、ノブの接触のための測定された力プロファイルが、保存されている力プロファイルの値と一致するかを判定することと、命令に含まれる機首方位を反映するためにノブを回転することと、を含む。
【００２３】
ある態様では、方法は、ノブに接触する前に第１の機首方位を読み取ることをさらに含む。
【００２４】
ある態様では、方法は、第１の機首方位の読み取り値と命令に含まれる機首方位とに基づいて、命令に含まれる機首方位を達成するのに必要な変更量を計算することをさらに含む。
【００２５】
ある態様では、方法は、ノブの回転後に第２の機首方位を読み取ることと、第２の機首方位を命令に含まれる機首方位と比較することとをさらに含む。
【００２６】
ある態様では、方法は、第２の機首方位が命令に含まれる機首方位と一致しないのを判定することと、第２の機首方位の読み取り値と命令に含まれる機首方位とに基づいて、命令に含まれる機首方位を達成するのに必要な第２の変更量を計算することをさらに含む。
【００２７】
本発明の一実施形態は、航空機内で使用される乗組員自動化システムを含む。この乗組員自動化システムは、１つ以上のインターフェースを介して複数のシステムまたはサブシステムを動作可能に接続し、且つ、少なくとも部分的には飛行状態データに基づいて航空機のフライトコントロールシステムに命令を通信するように構成されたコアプラットフォームと、命令を実行しデータを収集するためにコアプラットフォームに動作可能に連結された作動システムであって、フライトコントロールシステムに対応する１つ以上の操縦席計器を視覚的に識別するように構成された光学センサ、作動システムが１つ以上の操縦席計器と接触したときに力を測定するように構成された力センサ、並びに、光学センサ及び圧力センサによって収集されたデータに基づいて、１つ以上の操縦席計器の位置、タイプ、及びポジションをマッピングするデータ取得システムとを備える作動システムと、を備える。光学センサは、赤外線カメラ及び視覚カメラのうちの１つであってよい。力センサは、コントローラによって個別に操作することができる、１つ以上の指部を含んでいてよい。各指は、それぞれ力センサを含んでいてよい。作動システムは、操縦席環境内で自由度６で動くように構成された、ロボットアームを含んでいてよい。光学センサ及び力センサは、ロボットアームの遠位端に配列されていてよく、この遠位端は、１つ以上の操縦席計器を画像化し１つ以上の操縦席計器と接触するように構成されている。乗組員自動化システムは、その航空機に固有の情報を決定するためにコアプラットフォームに動作可能に連結された、知識取得システムもまた含んでいてよい。知識取得システムは、１つ以上の操縦席計器の力プロファイルに対応する、力の値のマトリクスにアクセスするように構成されていてよい。コントローラは、それぞれの力プロファイルに基づいて１つ以上の操縦席計器から１つの操縦席計器を特定するため、力センサからの測定データを、力の値のマトリクスと比較するように構成されていてよい。知識取得システムは、１つ以上の操縦席計器のレイアウトに対応する、画像データのマトリクスにアクセスするように構成されていてよい。コントローラは、レイアウトに従った操縦席計器の位置に基づいて、１つ以上の操縦席計器から１つの操縦席計器を特定するため、光学センサからの測定データを、画像データのマトリクスと比較するように構成されていてよい。乗組員自動化システムは、航空機の１つ以上の操縦席計器を監視して飛行状態データを生成するために、コアプラットフォームに動作可能に連結された、認知システムもまた含んでいてよい。乗組員自動化システムは、操縦士と乗組員自動化システムの間のインターフェースを提供し、操縦士に対してデータを表示して操縦士からの命令を受け取るために、コアプラットフォームに動作可能に連結された、マンマシンインターフェースもまた、含んでいてよい。マンマシンインターフェースは、タッチスクリーンディスプレイを含んでいてよい。作動システムは、１つ以上の操縦席計器のうちの対応する計器と相互作用するように構成された、マルチツールを遠位端に持つように構成されていてよい。
【００２８】
本発明の別の実施形態は、航空機内で使用するために乗組員自動化システムを実装する方法を含む。この方法は、航空機の機首方位を変更する命令を受信することと、１つ以上の操縦席計器を操作するように構成されたロボットアームを作動させることと、航空機の機首方位を変更するように構成されたノブに、ロボットアームで接触することと、ノブとの接触に関して測定された力プロファイルが、保存されている力プロファイルの値と一致するかを判定することと、命令に含まれる機首方位を反映するためにノブを回転することと、を含む。方法は、ノブに接触する前に第１の機首方位を読み取ることもまた含んでいてよい。これによって、操作が改良される。方法は、精度を向上させるため、第１の機首方位の読み取り値と命令に含まれる機首方位とに基づいて、命令に含まれる機首方位を達成するのに必要な変更量を計算することも、また含んでいてよい。方法は、ノブの回転後に第２の機首方位を読み取ることと、第２の機首方位を命令に含まれる機首方位と比較することも、また含んでいてよい。方法は、第２の機首方位が命令に含まれる機首方位と一致しないのを判定することと、第２の機首方位の読み取り値と命令に含まれる機首方位とに基づいて、命令に含まれる機首方位を達成するのに必要な第２の変更量を計算することも、また含んでいてよい。
【００２９】
本開示のこれらの利点及び他の利点は、以下の明細書と添付の図面を参照することによって、容易に理解され得るであろう。
【図面の簡単な説明】
【００３０】
【図１ａ】例示の乗組員自動化システムのブロック図を示す。
【図１ｂ】図１ａのサブシステム間の、例示の情報データの流れを示す。
【図１ｃ】例示のコアプラットフォームのブロック図を示す。
【図２】例示のコアプラットフォームのアーキテクチャの図を示す。
【図３ａ】経路アプリケーションが示されている、第１の例示のマンマシンインターフェースを示す。
【図３ｂ】手順チェックリスト及び航空機の健全性警報画面が示されている、第２の例示のマンマシンインターフェースを示す。
【図４】例示の認知システムのブロック図を示す。
【図５ａ】例示の主作動システムを示す。
【図５ｂ】例示の主作動システムを示す。
【図５ｃ】例示の補助作動システムを示す。
【図６】ロボットアームを用いた、例示の乗組員自動化システムの図を示す。
【図７ａ】画像化システムによってキャプチャされた、例示の画像を示す。
【図７ｂ】図７ａの画像の、例示の再フォーマット画像を示す。
【図７ｃ】図７ｂの再フォーマット画像から抽出した、例示のデータを示す。
【図７ｄ】画像化システムによってキャプチャされた、別の例示の画像を示す。
【図７ｅ】図７ｄの画像の、例示の再フォーマット画像を示す。
【図８ａ】ロボットアームを用いた乗組員自動化システムを実装する、例示の方法を示す。
【図８ｂ】ロボットアームを用いた乗組員自動化システムを実装する、例示の方法を示す。
【発明を実施するための形態】
【００３１】
本開示の好適な実施形態が、以下で添付の図面を参照して説明されてよい。以下の記載では、周知の機能及び説明は詳細には記載されない。なぜならばそれらは、不必要な詳細によって本開示を不明確にし得るからである。本開示には、以下の用語と定義が当てはまるものとする。
【００３２】
本書で使用する場合、「回路」（ｃｉｒｃｕｉｔｓ及びｃｉｒｃｕｉｔｒｙ）という用語は、物理的な電子構成要素（即ちハードウェア）、並びにハードウェアの設定を行い、ハードウェアによって実行され、及び／または他の態様でハードウェアに関連していてよい、任意のソフトウェア及び／またはファームウェア（コード）を表す。本書では、例えば、特定のプロセッサ及びメモリが、第１のセットをなす１つ以上の行のコードを実行するときに第１の「回路」を備えており、第２のセットをなす１つ以上の行のコードを実行するときに第２の「回路」を備えていてよい。
【００３３】
本書で使用する場合、「及び／または」は、「及び／または」でつながれているリスト中の項目のうちの任意の１つ以上を意味する。例えば、「ｘ及び／またはｙ」は、３つの要素からなる集合｛（ｘ），（ｙ），（ｘ，ｙ）｝のうちの、任意の要素を意味する。言い換えれば、「ｘ及び／またはｙ」は、「ｘ及びｙのうちの片方または両方」を意味する。別の例として、「ｘ，ｙ及び／またはｚ」は、７つの要素からなる集合｛（ｘ），（ｙ），（ｚ），（ｘ，ｙ），（ｘ，ｚ），（ｙ，ｚ），（ｘ，ｙ，ｚ）｝のうちの、任意の要素を意味する。言い換えれば、「ｘ，ｙ及び／またはｚ」は、「ｘ，ｙ及びｚのうちの１つまたはそれ以上」を意味する。本書で使用する場合、「例示的」という用語は、「非限定的な例（ｅｘａｍｐｌｅ、ｉｎｓｔａｎｃｅ、またはｉｌｌｕｓｔｒａｔｉｏｎ）の役割を果たす」ことを意味する。本書で使用する場合、「例えば」という用語（ｅ．ｇ．及びｆｏｒ  ｅｘａｍｐｌｅ）は、１つ以上の非限定的な例（ｅｘａｍｐｌｅ、ｉｎｓｔａｎｃｅ、またはｉｌｌｕｓｔｒａｔｉｏｎ）のリストを開始するものである。
【００３４】
本書で使用する場合、値（または値の範囲）を修飾または記載するときの「約」及び「およそ」という用語は、その値または値の範囲にまずまず近接していることを意味する。したがって、本書に記載されている実施形態は、記載の値及び値の範囲のみに限定されるのではなく、むしろまずまず有効である乖離を含むものである。本書では、回路または装置は、機能を実行するために必要なハードウェアと（必要な場合には）コードを備えているときにはいつでもその機能を実行するために「動作可能」なのであって、それは、その機能の実行が（例えばユーザが設定可能な設定や工場出荷時の設定（ｆａｃｔｏｒｙ  ｔｒｉｍ）などによって）無効化されているか、または有効化されていないことには無関係である。
【００３５】
本書で使用する場合、「航空ビークル」及び「航空機」という用語は、限定しないが、従来型の滑走路を使う航空機と、垂直離着陸（ＶＴＯＬ）式の航空機の両方を含む、飛行可能な機械を指す。ＶＴＯＬ式の航空機は、固定翼航空機（例えばハリアージェット）、回転翼機（例えばヘリコプター）、及び／またはティルトローター／ティルトウイング式の航空機を含み得る。
【００３６】
本書で使用する場合、「通信する」及び「通信している」という用語は、（１）発信元から送信先までデータを送信、もしくは他の態様で伝達すること、及び／または（２）データを、送信先まで伝達するために、通信用の媒体、システム、チャンネル、ネットワーク、装置、回線、ケーブル、ファイバー、回路、及び／またはリンクに送達することとの両方を含む。本書で使用する場合、「データベース」という用語は、関連するデータの体系化された集合体を意味しており、データまたはその体系化された集合体が表示されている態様は、問わない。例えば、関連するデータの体系化された集合体は、表、マップ、グリッド、パケット、データグラム、フレーム、ファイル、電子メール、メッセージ、文書、レポート、リスト、または任意の他の形態で表されたデータのうちの１つ以上の形態であってよい。
【００３７】
本書に記載されているのは、特に、操縦士の補助者（即ち副操縦士）またはフライトエンジニアの役割を果たすように構成されたシステムである。こうした乗組員自動化システムは、飛行の正しいフェーズにおいて必要な飛行作業及び飛行計画作業、チェックリスト、並びに手順を自動的に実行しながら、離陸から着陸まで航空機を操作する一方で、不測の事態を検知してそれに対応するように構成されていてよい。同時に、操縦士（例えば人間の操縦士または操作者）は、乗組員自動化システムに動作可能に連結された直感的に操作できるマンマシンインターフェースを通じて、途切れなく情報を与えられていてよい。即ち、乗組員自動化システムは、操縦士に対してリアルタイムで情報及び／またはフィードバックを提供し得る。例えば、乗組員自動化システムは、遂行中の手順に関する、航空機の状態を表示し得る。乗組員自動化システムは、所望であれば、ロボットアクチュエータを通じて航空機の制御を取り戻すように構成されていてよい。
【００３８】
そうすることによって、操縦士が、高次の意思決定及び飛行計画の策定といった、人間に最も適したタスクを実施することが可能になる。しかし、例えば、制御装置の操作、チェックリストの実行、並びに航空機のエンジン及び性能のデータの監視といった、自動化に最も適したタスクは、乗組員自動化システムによってハンドリングされてよい。加えて、乗組員自動化システムは、特定の航空機に共通のシステム障害、または特定の空港において航空管制が通常どのようにして経路を決めるかといった、操縦士にとって現在は利用不可能であるか、または経験によってのみ得られる、外部の情報にアクセスする機能を有していてよい。乗組員自動化システムは、補助者として、または主たる操縦士として動作するように構成されていてよい。それによって、そのように構成されている場合には、人間の操作者がいる必要性が完全に取り除かれる。代わりに、乗組員自動化システムが、航空機の実際の制御を司ることなく、航空機状態の監視と情報の増強を、継続的に提供する役割を果たしてもよい。例えば、乗組員自動化システムは、チェックリスト、計器、エンジン状態、空域、飛行状態などを監視する、操縦士にとっての「第２の目」の役割を果たしてよい。
【００３９】
侵襲的で、インストールに関する相当な専門技術を必要とし、かつ各航空機固有である、既存のロボット式の自動操縦システム及び操縦補助システムとは異なり、本開示の一態様による乗組員自動化システムは、迅速で非侵襲的なインストールを可能にする、システムアーキテクチャ及びナレッジ取得システムを用いている。この迅速で非侵襲的なインストールによって、広範な使用が促進され、乗組員自動化システムを様々な航空機での使用に素早く適合させることが可能になっている。さらに、乗組員自動化システムのデータ収集システムと認知システムは、既存のロボット式自動操縦の場合のように、ＧＰＳ、加速、配向、及び機首方位に限定されない。実際、乗組員自動化システムは、スタンドアロンのセンサと計器画像データのキャプチャとの両方を用いて、測定、検出、またはさもなければ操縦士の入力を受信することによって、既存のデータ収集システム及び認知システムの機能を超越し、航空機の性能をより良くキャプチャするのである。さらに、乗組員自動化システムのコアプラットフォーム、並びに主フライトコントロール作動システム及び補助フライトコントロール作動システムの設計によって、様々な航空機間での移植性が可能になっている。このように、既存のロボット式自動操縦システムまたは操縦補助システムとは異なり、乗組員自動化システムは、一時的にインストールされてよく、航空機に対して侵襲的な改変を行うことなく、航空機から航空機へと容易に移転されてよい。乗組員自動化システムは、そのモジュラー式の設計を通じて、航空機の進化につれて陳腐化する単一点型の解決方法を設計する可能性をさらに低減させる。
【００４０】
乗組員自動化システムのサブシステム間の組み合わせによって、操縦士に、航空機の物理的状態に関する高忠実度の知識が与えられ、例えば予測モデルに基づいた、予期された状態からのいかなる乖離であっても、操縦士に通知されるのである。こうした状態の認識は、操縦士にとっての有用な情報へと直接変換され得る。例えば、進展中の緊急事態への警報、燃料状態の計算、着氷状態の通知などである。例えば、乗組員自動化システムは、チェックリスト、計器、エンジン状態、空域、飛行状態などを監視することによって操縦士に助言を行う、デジタルフライトエンジニアの役割もまた果たしてよい。
【００４１】
既存の航空機に非侵襲的にインストールされ得るこの同乗式の乗組員自動化システムは、視覚的に及び他のセンサを介して航空機の状態を認知し、航空機の状態ベクトル及び他の航空機情報を導出し、予期された航空機状態からのいかなる乖離も、操縦士または管制塔に通信する。乗組員自動化システムは、非侵襲的に（例えば認知システムを介して）インストールされ得るが、代替的に侵襲的であってもよい。例えば、乗組員自動化システムは、例えば航空機状態監視システムを介して、操縦席計器パネルと電子的に（例えば計器パネルの裏面を介して）連結されていてよい。代わりに、乗組員自動化システムは、一体的であって、航空機の製造中に恒久的にインストールされてもよい。乗組員自動化システムは、作動システムと連携して、航空機の制御をさらに司り、航空機を自律的に航行させてよい。
【００４２】
システムレベルアーキテクチャ
飛行作業の実行に関する任務と作業負荷を分担するために、乗組員自動化システム１００は、航空機の型式、モデル、またはタイプに関わらず飛行中に操縦士が日常的に実施するであろう作業が、実行できなくてはならない。一態様による乗組員自動化システム１００の例示のシステムアーキテクチャを、図１ａ〜図１ｃに示す。図１ａに示すように、コアプラットフォーム１０２は、１つ以上のインターフェースを介して他のサブシステム同士を接続する、中心的なサブシステムの役割を果たしてよい。各サブシステムは、有線及び／または無線の通信プロトコルとハードウェアを用いて、ソフトウェア及び／またはハードウェアのインターフェース１５６を通じて互いに通信し得る。図１ｂは、様々なサブシステム間の、情報（例えばデータ）のフローの例を示す。
【００４３】
乗組員自動化システム１００は、以下に列挙するものといった複数のサブシステムに動作可能に連結された、コアプラットフォーム１０２を備えていてよい。乗組員自動化システム１００の複数のサブシステムのそれぞれは、モジュラー式であってよく、それによって、乗組員自動化システム１００全体が、迅速に、他の航空機に実質的に移植され得る。例えば、様々なサブシステムが、１つ以上のソフトウェア及び／またはハードウェアのインターフェース１５６を使って、コアプラットフォーム１０２を介して、互いに着脱可能かつ通信可能に連結されていてよい。しかしある態様では代わりに、乗組員自動化システム１００は、航空機のシステムと一体化されていてよく、それによって、飛行機内の全てのセンサと表示器を直接使用し得る。例えば、航空機自動化システム１００またはその構成要素は、航空機の設計中及び製造中に、航空機に一体化されてよい。
【００４４】
複数のサブシステムは、例えば、認知システム１０６、作動システム１０８、マンマシンインターフェース（ＨＭＩ）システム１０４、及びフライトコントロールシステム１１６を含んでいてよく、これらのそれぞれが、コアプラットフォーム１０２に動作可能に連結されていてよい。ある態様では、別の航空機状態監視システムを使用することによって、認知システム１０６の必要性が軽減または取り除かれてよい。例えば、乗組員自動化システム１００は、計器パネルと（例えば通信可能にまたは電子的に）連結していてよいか、または航空機もしくはそのシステムと他の態様で一体化されていてよい。しかし予期され得るように、そうした一体化は、航空機またはその配線に一定の変更を必要とする可能性が高い。乗組員自動化システム１００及び／またはコアプラットフォーム１０２は、ナレッジ取得システム１１４及び通信システム１２２もまた備えていてよいか、これらに動作可能に連結されていてよい。モジュラー式の構成によって、操作者が不要なシステムもしくはモジュールを取り外す／無効にするか、またはさらなるシステムもしくはモジュールを追加する／インストールすることがさらに可能になっている。例えば、乗組員自動化システム１００が、ＨＭＩシステム１０４を介して操縦士に情報を提供するようにのみ構成されている（即ち、航空機を制御する機能がない）ときには、重量、コスト、及び／または電力消費を削減するため、作動システム１０８が取り外されるか、または無効にされていてよい。したがって、乗組員自動化システム１００は、その構成に応じて、本開示の主旨と範囲から逸脱することなく、より少ないまたはさらなるモジュール、構成要素、もしくはシステムを持つようにして構成されていてよい。
【００４５】
運航中、フライトコントロールシステム１１６は、別のサブシステム（例えば認知システム１０６）からの情報データに基づいて航空機状態を導出し、航空機の安定性が維持される態様で（例えば動的に）動作するよう、別のサブシステム（例えば、作動システム１０８）に指示をする。例えば、フライトコントロールシステム１１６は、コアプラットフォーム１０２からビークルモード命令と設定データを受信してよい一方、フライトコントロールシステム１１６が生成したステータス及び命令の情報を、コアプラットフォーム１０２に対して送信してよい。例えば、コアプラットフォームは、少なくとも部分的には飛行状態データに基づいて、航空機のフライトコントロールシステム１１６に対して１つ以上の命令を通信するように、構成されていてよい。この飛行状態データは、航空機状態監視システム１１２、認知システム１０６、またはこれらの組み合わせから得られたものであってよい。
【００４６】
フライトコントロールシステム１１６は、固定翼機及び回転翼機で使われているものといった、既存のフライトコントロール装置またはシステムを含んでいてよいか、またはこれらと通信してよい。通信システム１２２は、乗組員自動化システム１００が、例えばネットワークを介して（遠隔の装置を含む）他の装置と通信するのを可能にする。通信システム１２２は、コアプラットフォーム１０２から通信命令と設定データを受信してよい一方、通信システム１２２からのステータス及び応答の情報を、コアプラットフォーム１０２に対して送信してよい。
【００４７】
コアプラットフォーム１０２
図２は、例示のコアプラットフォーム１０２のアーキテクチャの図を示す。ビークルに依存しない乗組員自動化システム１００を可能にするために、コアプラットフォーム１０２は、当初の移行及びセットアップのフェーズを通じて、特定の航空機または構成に固有であるように作られていることができるミドルウェアを提供するか、または他の態様でその役割を果たしてよい。言い換えれば、ミッションコントロールシステム１１０が、一式の操作用アプリケーション２０２に対してサービスを提供するオペレーティングシステム２０６を設けていて、一式のハードウェアインターフェース２０４またはＨＭＩシステム１０４のうちの１つ以上に対して信号を出力する一方、これらのアプリケーションを有効にするために必要なデータを収集し記録していてよい。
【００４８】
コアプラットフォーム１０２は、全体的なシステムの状態を判定するため、認知システム１０６及びＨＭＩシステム１０４からの入力を取得したナレッジベースと合成する、主要な自律的主体及び意思決定者の役割を果たしてよい。コアプラットフォーム１０２は、さまざまなセンサのセットからの入力を処理し、結果として得られる情報を集約して、現在の航空機状態を理解してよい。結果として得られる情報は、乗組員自動化システム１００による、操縦士の意図、システムの健全性、及び適切な航空機の手順の理解を含む、航空機固有のファイルと比較され得る。これらが、乗組員自動化システム１００の状態の推定に関わるからである。結果として得られる状態のナレッジ、及びこれに関連した助言が、ＨＭＩシステム１０４を介して人間の操縦士に渡され得るか、またはある態様では、自律的な動作を可能にするために、フライトコントロールシステム１１６及び／または作動システム１０８に渡され得る。乗組員自動化システム１００はさらに、後で分析するために、所与の飛行のログを生成し得る。このログは、詳細な訓練及び運航の飛行デブリーフィングを提供し得る、操縦士訓練を容易にするために使用され得る。ログは、例えば、運航品質保証分析、整備分析などと関連して使用され得る。
【００４９】
示されるように、コアプラットフォーム１０２は、ミッションコントロールシステム１１０及びフライトコントローラ１１８を備えていてよい。これらのそれぞれは、１つ以上のソフトウェア及び／またはハードウェアのインターフェース１５６を介して、互いに、及び他のサブシステムと、通信するように構成されている。インターフェース１５６は、ハードウェア（例えば恒久的なまたは着脱可能なコネクタ）とソフトウェアの組み合わせであってよい。コアプラットフォーム１０２は、航空機の状態と手順の状態を追跡する様々なソフトウェアプロセス、並びにトレンド分析（予測的警告）及び機械学習ルーティンのための任意のモジュールを持っていることができる。ある態様では、乗組員自動化システム１００、及び／またはコアプラットフォーム１０２は、リソースのコンフリクトを解消するための物理的な装置の構成またはユーザの介入を必要とすることなしに、乗組員自動化システム１００内のサブシステムのハードウェア構成要素の発見を容易にする、コンピュータバス及び（例えばインターフェースとしての）仕様を用いていてよい。こうした構成は、「プラグアンドプレイ」と呼ばれ得る。このように、ユーザが、コアプラットフォーム１０２を介して、実質的な改造または一体化の取り組みを必要とすることなく、乗組員自動化システム１００との間で、システムまたはサブシステム（例えばモジュール）を容易に追加または取り外しし得る。
【００５０】
コアプラットフォーム１０２からの出力は、ＨＭＩシステム１０４に対するメッセージを提供するために使用され得る。メッセージは、例えば、チェックリストの進捗、不測の事態の開始、警報の惹起などを表し得る。コアプラットフォーム１０２は、例えば性能レビュー機能を提供し、飛行中のリセットに対する頑健性を提供するための、フライトデータレコーダーもまた含み得る。ハードウェア及び様々なコンピュータはまた、高耐久化されて、認知用コンピュータといった他の装置とハウジングをシェアしていてもよい。以下で検討するように、コアプラットフォーム１０２は、全地球測位システム（ＧＰＳ）／慣性航法装置（ＩＮＳ）システム１５４、及びパワーマネジメントシステム（例えば２８Ｖ直流電源）と動作可能に連結されていてよい。コアプラットフォーム１０２は、例えば性能レビュー機能を提供し、飛行中のリセットに対する頑健性を提供するための、フライトデータレコーダーもまた含み得る。
【００５１】
ミッションコントロールシステム１１０は、概して、ミッションマネジャー１３２、標準インターフェース１３０（例えばＳＴＡＮＡＧインターフェース）、状態認識マネジャー１５８、及び他の操作用構成要素１２０（例えば、ハードウェアコントローラ及びソフトウェアコントローラ、並びに／またはインターフェース）を備える。これらのそれぞれは、１つ以上のデータバス１２４を介して互いに動作可能に連結されている。コアプラットフォーム１０２がオープンアーキテクチャであることによって、データバス１２４を介してシステムから受信した、さらなるデータの組み込みが可能になっている。ある態様では、ミッションコントロールシステム１１０は、飛行状態データを収集するため、ビークルシステムのインターフェースを介して航空機の１つ以上の操縦席計器に連結されていてよい。他の態様では、ミッションコントロールシステム１１０は、航空機状態インターフェースを通じ、航空機状態監視システム１１２を介して、飛行状態データを収集してよい。航空機状態監視システム１１２は、航空機との、及び／または認知システム１０６との直接の接続を介して、飛行状態データを収集または生成してよい。
【００５２】
示されるように、ミッションコントロールシステム１１０は、補助作動システム１０８ｂ（例えば、自立運航が望ましいとき）、認知システム１０６、並びに、マンマシンインターフェース１２６（例えば操縦士からの入力を伝達し、操縦士に対して情報を表示するソフトウェア及び／またはハードウェア）及び地上局１２８を含むＨＭＩシステム１０４と、動作可能に連結されていてよい。ミッションコントロールシステム１１０は、ミッションマネジャー１３２を介してフライトコントローラ１１８と通信していてよい。
【００５３】
フライトコントローラ１１８は、例えば、自動操縦マネジャー１３４、及びビークルマネジャー１３６を備え得る。ビークルマネジャー１３６は、概して航行の責任を負っていてよく、航空機の位置及び状態を判定していてよい。ビークルマネジャー１３６は、認知モジュール１３８を介して認知システム１０６から受信した情報、及びナビゲーションモジュール１４０を介してＧＰＳ／ＩＮＳシステム１５４から受信した情報を使用して、航空機の推定された状態を決定する、状態推定モジュール１４２に連結されていてよい。
【００５４】
自動操縦マネジャー１３４は、例えば、ビークルマネジャー１３６及びミッションコントロールシステム１１０から受信した情報に基づいて、概して航空機の飛行を制御する責任を負っていてよい。自動操縦マネジャー１３４は、特に、フライトコントロールシステム１５２を制御する。フライトコントロールシステム１５２は、新しいか、または既存のもの（で、フライトコントローラ１５０を備えるもの）であってよい。乗組員自動化作動モジュール１４４及び航空機作動モジュール１４６も同様である。乗組員自動化作動モジュール１４４は、主作動システム１０８ａを制御し得る。一方で、航空機作動モジュール１４６は、航空機の制御装置１４８（例えば、様々な操縦翼面及びアクチュエータ）を制御し得る。
【００５５】
ある態様では、フライトコントローラ１１８の構成要素は、フライトコントロールシステム１１６の一定の構成要素と重複していてよい。例えば、（冗長性が望まれておらず、非侵襲的な一体化が可能な）ある態様では、コアプラットフォーム１０２は、既存の航空機用ソフトウェア及び／またはハードウェアのうちのあるものを活用してよく、それによって、一定のフライトコントローラ１１８の構成要素及び／またはＧＰＳ／ＩＮＳシステム１５４といった、さらなるハードウェアの必要性が取り除かれる。
【００５６】
オープンアーキテクチャ
コアプラットフォーム１０２は、乗組員自動化システム１００の、中心となるサブシステム、またはインターフェースの役割を果たし、オープンアーキテクチャによって、残りのサブシステム（例えば個別のアプリケーション）に接続し、これらを制御する。残りのサブシステムは、例えば、（あらゆる飛行計画機能を含む）フライトコントロールシステム１１６、ＨＭＩシステム１０４、作動システム１０８（例えば、所望に応じて自律動作を提供する主作動システム及び補助作動システム）、認知システム１０６、ナレッジ取得システム１１４、並びに他のサブシステム２３６を含む。このように、乗組員自動化システム１００の他のハードウェアの制御は、特定のハードウェアに固有の個別のアプリケーションを介して提供されてよい。それによって、新しいシステムまたは他の外部の飛行計画支援技術との迅速な一体化が可能になる。
【００５７】
コアプラットフォーム１０２のアーキテクチャによって、新しい航空機に移行するとき、または新しい飛行計画機能／設備を一体化するときの、迅速な移植可能性及び拡張性が可能になる。こうして、乗組員自動化システム１００がその航空機に固有の情報、もしくはそれ以外でその航空機に必要とされている情報を取得するのを可能にするため、または新しい設備を設けるのを可能にするために、アプリケーションが用いられてよい。例えば、移行及びセットアップは、コアプラットフォーム１０２内、または他のサブシステム内で動作する、個別のアプリケーションによってハンドリングされ得る。これらのアプリケーションは、航空機固有の機能を表すと共に、増加していく乗組員自動化システム１００の機能のライブラリを表しており、飛行計画、航空機の要件、または乗組員の要件に応じて交換され得る。ある態様では、移行プロセスは、（手順エディタといった）乗組員自動化システム１００の外部のソフトウェアアプリケーションによって支援されてよい。
【００５８】
航空機データ構造２０８オペレーティングシステム２０６は、操作用アプリケーション２０２と、ハードウェアインターフェース２０４と、ナレッジ取得システム１１４といった他のサブシステムとを相互接続する、ミドルウェアの役割を果たす。オペレーティングシステム２０６は、ナレッジデータベース２１０、手順データベース２１２、及び状態データベース２１４を含んでいてよい、航空機データ構造２０８を使用し得る。
【００５９】
航空機データ構造２０８によって、コアプラットフォーム１０２が航空機のシステム、その構成、及び安全運航の維持に必要な手順、並びに、その航空機の免許操縦士が所持すると期待されるであろう他の全てのナレッジ及び専門技術の完全な理解を進展させるのを可能にすることで、ビークルに依存しない乗組員自動化システム１００が促進される。航空機データ構造２０８に、現在操作されている航空機に関する必要情報（例えばフライトコントロールモデル、操作手順、航空機システムなど）、内部の状態センサから受信したデータ、及び他のサブシステムまたはセンサを含む、ナレッジ取得システム１１４（以下で検討する）が追加されてよい。
【００６０】
航空機データ構造２０８は、ナレッジ取得フェーズ（例えば当初のセットアップ）の間に、データの追加を受けて、特定の航空機に適合するようになることができ、それによってその航空機の操作に必要な、全ての情報を含むようになる。例えば、新しい航空機に移行するとき、ナレッジ取得システム１１４は、（例えば操縦席計器といったコントローラ／読み出し機器の）レイアウト、性能パラメータ、及び航空機の他の特性を判定するために、所定の作業を実施してよい。所定の作業は、例えば、（１）航空機システムモデルであって、どのシステムが機載されているか、システムがどのように構成されているか、作動リミット、などについて乗組員自動化システム１００に通知する航空機システムモデルの生成、（２）正常状態及び非正常状態における航空機の操作方法を乗組員自動化システム１００に通知する手順の体系化（チェックリストの体系化をさらに含む）、（３）航空機の飛行方法及び、どの航空機の構成に何の性能を要求するかを乗組員自動化システム１００に通知する空力モデル、並びに（４）ミッション運用に関する情報、を含み得る。
【００６１】
コアプラットフォーム１０２は、この情報を、一式の内部情報センサからのデータと組み合わせることができる。これによって冗長性及びシステムの頑健性も向上し、乗組員自動化システム１００による、航空機状態及びシステムステータスの高度に正確な推定の生成、並びに予期された挙動からの乖離の特定が可能になる。運航中、特に乗組員自動化システム１００、認知システム１０６、ＨＭＩシステム１０４、及び乗組員自動化システム１００の内部状態感知によって収集されたリアルタイムのデータを用いて、データ構造が動的に更新される。所与の航空機用の航空機データ構造２０８に対してデータが追加されると、航空機データ構造２０８は、航空機ライブラリ内で保持され、乗組員自動化システム１００が利用可能な全ての他の同型同モデルの航空機に対して、使用され得る。乗組員自動化システム１００によってさらなるデータが生成及び／または収集されるのにつれて、航空機データ構造２０８は、さらに精緻化され得る。
【００６２】
操作用アプリケーション２０２
コアプラットフォーム１０２は、乗組員自動化システム１００に対して複数の操作用アプリケーション２０２を提供し得る。そうした操作用アプリケーション２０２の例は、限定しないが、正常運航アプリケーション２１６、異常検出アプリケーション２１８、緊急操作アプリケーション２２０、情報・監視・偵察（ＩＳＲ）アプリケーション２２２（例えばＩＳＲオービット）、トレンド認識アプリケーション２３８、または、空中給油アプリケーション３１６といった飛行計画に固有の他の作業用アプリケーション２２４を含み得る。
【００６３】
正常運航アプリケーション２１６は、乗組員自動化システム１００が、離陸から着陸まで不測の事態が全くないという前提で、所定の飛行計画で飛行するのを可能にする。正常運航アプリケーション２１６は、特定の飛行フェーズで必要とされるような、正常な飛行作業の持続的な実行に特化している。所定の飛行計画は、天候、航空交通管制の命令、航空交通量などといった予期せぬ障害によって、飛行中に変更されてよい。
【００６４】
異常検出アプリケーション２１８は、機械学習技法を用いて、航空機状態を監視し、クラスタ化し、センサの入力を分類して非正常状態の存在を検出し、不測の事態が発生したかどうかを特定する。異常検出アプリケーション２１８は、感知した状態を、特定の航空機に関する操作用書類の中で規定された一式の閾値と比較するように（例えば、所定の対気速度やエンジン温度などを絶対に超過しないように）構成されている。異常検出アプリケーション２１８はまた、感知した状態を、乗組員自動化システム１００が利用可能なさらなる情報と比較し、所定の閾値または動的に規定される閾値（例えば警報閾値など）に達するのに応じて警報または他のメッセージを生成するようにも、構成されていてよい。
【００６５】
不測の事態の場合には、緊急操作アプリケーション２２０が、航空機の安全な運航を維持するため、または安全に飛行方向を転換するために、緊急操作アプリケーション２２０によって規定された必要な所定のチェックリスト、手順、及びアクションを実行する。とりわけ、予期された性能からの逸脱が観察された場合には、操縦士は、非正常状態であるという警報を受けることができ、それによって潜在的なミスが軽減されるか回避される。航空機が特定の操作上のエラー（例えば操縦士が誘発する振動）の影響を受けやすい場合、乗組員自動化システム１００は、こうした事象を特定し緩和することができる。異常が検出された場合、緊急操作アプリケーション２２０は、ＨＭＩシステム１０４を介して操縦士への通知及び操縦士との相互作用を行い、最終的に、この異常に対処するために必要な手順を実行する。最後に、ＩＳＲアプリケーション２２２及び飛行計画に固有の他の作業用アプリケーション２２４は、ミッションに関わる操作を実行するための、指示、アルゴリズム、または情報を提供してよい。
【００６６】
トレンド認識アプリケーション２３８は、例えばナレッジ取得システム１１４に基づく機械学習を使用して開発された、トレンド分析を提供する。ある態様では、トレンド認識アプリケーション２３８は、異常検出アプリケーション２１８に対して、データを供給するか、または他の方法でトリガを行う。例えば、トレンド認識アプリケーション２３８が望ましくないトレンドを検出した場合には、このトレンドには異常というフラグが立てられ、異常検出アプリケーション２１８に報告される。
【００６７】
ハードウェアインターフェース２０４
操作用アプリケーション２０２に関する様々な情報は、例えば、主作動インターフェース２２６、補助作動インターエース２２８、航空機状態インターフェース２３０、ＨＭＩインターフェース２３２、及び他のインターフェース２３４を介して、主作動システム１０８ａ、補助作動システム１０８ｂ、認知システム１０６、航空機状態監視システム１１２、ＨＭＩシステム１０４、及び他のサブシステム２３６の間で通信される。
【００６８】
マンマシンインターフェース（ＨＭＩ）システム１０４
ＨＭＩシステム１０４は、操縦士（例えば、搭乗しているにせよ遠隔であるにせよ、人間の操縦士）のための、制御及び通信用のインターフェースを提供する。ＨＭＩシステム１０４は、操縦士が乗組員自動化システム１００を管理するのを可能にする、飛行計画管理者の役割を果たすように構成することが可能である。ＨＭＩシステム１０４は、グラスコックピット、無人航空機（ＵＡＶ）地上局、及び電子化フライトバッグ（ＥＦＢ）の要素を組み合わせて、操縦士と乗組員自動化システム１００との間で、効果的で、効率的で、待ち時間耐性がある通信を可能にすることができる。一般的に言うと、ＥＦＢとは、乗組員が従来は紙資料を用いて遂行されてきた様々な機能を実施するのを可能にする、電子情報管理装置である。ＨＭＩシステム１０４は、タッチスクリーン式グラフィカルユーザインターフェース（ＧＵＩ）及び／または音声認識システムに基づき得る、マンマシンインターフェース１２６を含んでいてよい。マンマシンインターフェース１２６は、例えば、タブレットコンピュータ、ラップトップコンピュータ、スマートフォン、またはこれらの組み合わせを用いていてよい。マンマシンインターフェース１２６は、操縦士の好みに応じて、操縦士の近くに（例えば、チェックリストがしばしばそうであるようにヨーク上に、またはニーストラップ上に）固定されていることができる。マンマシンインターフェース１２６は、操縦席に着脱可能に連結されていてよいか、またはある態様では、操縦席に一体化されたディスプレイ（例えば既存のディスプレイ）を用いていてよい。
【００６９】
図３ａは、シングルスクリーンのタッチインターフェース及び音声認識システムを有する、マンマシンインターフェース１２６の一例を示す。ＨＭＩシステム１０４は、操縦士と乗組員自動化システム１００との間の主な通信チャネルとしての役割を果たし、操縦士が乗組員自動化システム１００との間でタスクの命令とフィードバックまたは指示の受領を行うこと、操縦士と乗組員自動化システム１００との間のタスクの配分を変更すること、及び乗組員自動化システム１００で、現在、操作用アプリケーション２０２のうちのどれを有効にするかを選択することを可能にする。
【００７０】
図１ｂに示すように、ＨＭＩシステム１０４は例えば、サブシステムからコアプラットフォーム１０２を介してステータス情報を受信してよく、その一方で、ＨＭＩシステム１０４によって生成されたかまたは操縦士によって入力された、モード命令をコアプラットフォーム１０２に対して送信してよい。操縦士は、遠隔（例えば地上または別の機内）であるか、または搭乗して（即ち機内に）いてよい。このように、ある態様では、ＨＭＩシステム１０４は、通信システム１２２を介してネットワーク経由で遠隔的に円滑化されてよい。
【００７１】
マンマシンインターフェース１２６
図３ａ及び図３ｂに示すように、マンマシンインターフェース１２６は、タブレットベースのＧＵＩ及び、音声通信を可能にする音声認識インターフェースを用いていてよい。マンマシンインターフェース１２６の目的は、操縦士が人間のフライトエンジニアまたは副操縦士と相互作用するのと近いやり方で、操縦士がコアプラットフォーム１０２のナレッジベースと相互作用できるようにすることである。
【００７２】
マンマシンインターフェース１２６は、乗組員自動化システム１００の現在状況（その現在の設定と責任範囲）と共に、操作用アプリケーション２０２のうちのどれが現在インストールされており、操作用アプリケーション２０２のうちのどれが実行中であるか、及びこれらのアプリケーションが有効である場合、操作用アプリケーション２０２がどのアクションを取っているか、を表示することが可能である。マンマシンインターフェース１２６のＧＵＩディスプレイは、操縦士のアイウェアに関係なく可視であるように適合している、暗視ゴーグルであってもよい。音声認識システムは、操縦室でチェックリストをやり通してコミュニケートする際に人間の乗組員が使うのと、同じタイプの音声コミュニケーションを再現するように使用されてよい。ある態様では、システムが命令の認識に失敗するか、または不適切な操作モードに変更してしまう可能性を最小限に抑えるため、音声認識は、操縦士のチームが使うのと同じコミュニケーション体系の基準に限定されてよい。音声認識システムは、音声訓練プロトコルを通じて、所与の操縦士の発話を習得／認識するように構成されていてよい。例えば、操縦士は、音声認識システムが操縦士の方言に熟達し得るように、所定の原稿で発話してよい。
【００７３】
マンマシンインターフェース１２６は、乗組員自動化ステータスアプリケーション３０２経由による乗組員自動化システム１００全体、認知ステータスアプリケーション３０４経由による認知システム１０６、（当てはまる場合には）自動操縦アプリケーション３０６経由による自動操縦、ＧＰＳステータスアプリケーション３０８経由によるＧＰＳ／ＩＮＳシステム１５４、及び任意の他のアプリケーションまたはシステムのステータス情報３１０、をそれぞれ含む、様々な操作のステータス及び／または詳細を提供してよい。マンマシンインターフェース１２６のディスプレイは、操縦士によってカスタマイズされてよい。例えば、操縦士は、ディスプレイアイコン及び／または操作用アプリケーション２０２のうちのあるものを、追加、再編成、または削除したいと思うかもしれない。これらは、選択とドラッグの操作を通じて、または乗組員自動化設定アプリケーション３１２を通じて、遂行されてよい。マンマシンインターフェース１２６はさらに、航空機の操作ステータスに関して操縦士に通知し、操縦士に指示または助言を与えてよい。
【００７４】
示されるように、マンマシンインターフェース１２６には、経路タブ３２８、手順タブ３３０、較正タブ３３２、及びアプリケーションタブ３３４といった、様々な選択可能なタブが付いたツールバーが設けられていてよい。例えば、操縦士がアプリケーションタブ３３４を選択すると、マンマシンインターフェース１２６は、例えば正常運航アプリケーション２１６、緊急操作アプリケーション２２０、乗組員自動化設定アプリケーション３１２、測定アプリケーション３１４、及び空中給油アプリケーション３１６を含む、乗組員自動化システム１００に（例えばコアプラットフォーム１０２に）インストールされた、様々な操作用アプリケーション２０２を表示してよい。
【００７５】
乗組員自動化設定アプリケーション３１２を選択すると、操縦士が、乗組員自動化システム１００の設定を変更、再割り当て、もしくは別様に編集すること、及び／または操作用アプリケーション２０２をインストールすることが可能になる。測定アプリケーション３１４を選択することによって、マンマシンインターフェース１２６に、例えば位置、方向、速度、高度、ピッチ、ヨーなどを含む、航空機の様々な運航状態を表示させてよい。認知システム１０６または別のセンサによって収集されてよい航空機の様々な運航状態は、（例えば操縦士の好みの設定に従って、）英数字としてまたは図式ダイヤルとして表示されてよい。最後に、空中給油アプリケーション３１６のアイコンを選択することで、乗組員自動化システム１００に、空中給油作業を促進または連携して行うための所定のプロトコルを実施させてよい。例えば、空中給油アプリケーション３１６が選択されると、乗組員自動化システムは、給油を促進するために別の航空機と連携して、給油を促進するために必要なチェックリスト（航空機の位置、対気速度、燃料ハッチの開放などの確保）を実行してよい。乗組員自動化システムによるミッション作業の実施を可能にする、さらなるミッション用アプリケーションが含まれてよい。
【００７６】
操縦士が経路タブ３２８を選択すると、マンマシンインターフェース１２６は、様々なウェイポイント３２０に関連する飛行経路に沿った航空機の現在位置を表すアイコン３２２が付いた、エリアマップ３２６を表示してよい。アイコン３２２を選択（例えばタップ、クリック、など）することによって、航空機の様々な運航状態を提供する、対話ウィンドウ３２４を表示させてよい。エリアマップ３２６は、マップ制御ウィンドウ３１８を用いて、保存、エクスポート、回転、またはパンされてよい。エリアマップ３２６は、静止画像またはデータセット（もしくはデータベース）として保存または（例えば通信システム１２２を介して）エクスポートされてよい。操縦士が較正タブ３２２を選択すると、マンマシンインターフェース１２６は、航空機の較正を表示してよい。操縦士は、これによって航空機をさらに変更することが可能になり得る。
【００７７】
ＨＭＩシステム１０４は、チェックリストの検証及びコアプラットフォーム１０２からの健全性の警報、並びに航空機状態（例えば燃料消費量及び予測残存航続距離）の予測と共に、故障の事後診断及び偏差警報（例えば、「左エンジンの排気温度計が正常を５°超えて上昇中」）を含む、直感的なディスプレイ及びインターフェースを提供し得る。したがって、図３ｂに示すように操縦士が手順タブ３３０を選択すると、操縦士はチェックリストの項目をレビュー及び監視することができると共に、あらゆる健全性警報をレビューすることができる。実際、ＨＭＩシステム１０４の機能は、例えば、操縦士用運航ハンドブック（ＰＯＨ）から事前にインポートした情報に基づいて、認知システム１０６がチェックリストの項目の完了を認知するとその項目を完了としてマーキングし、アイテムが完了していないときには操縦士に警報を発して、チェックリストの監視及び／または実行を促進することである。乗組員自動化システム１００は、現在のシステム状態を、ＰＯＨ及び他のナレッジ源に基づいて予期されたシステム状態と比較してシステムの健全性の監視も行い、不測の事態に対する適切な対応に誘導する。ある態様では、チェックリストのアクションが実施された際に、操縦士とコアプラットフォーム１０２のどちらかがそのアクションを承認することができる。ＨＭＩシステム１０４は、必要に応じて、自動的に正しいチェックリストに進む。ＨＭＩシステム１０４は、放置されたチェックリストの項目、正常範囲外の値を示している計器、または（例えば）一連のウェイポイントとして入力し得る、航空機が飛行計画に沿って進行する際に予測される事象に対して、操縦士の注意を向けるため、視覚警報及び聴覚警報を発し得る。例えば、示されるように、タスクが完了したか、完了しつつあるか、または完了する必要があるか（例えば、完了したものを含めるための「チェックマーク」アイコン、「進行中」アイコン、及び「要完了」アイコン）を示すタスクリストが、計器のそばに設けられていてよい。同様に、範囲外にある運航条件が１つ以上存在することを表す１つ以上の対応するアイコンを伴う、健全性に対する危険要因のリストが設けられてよい。例えば、燃料レベルが低下している場合のために、燃料レベル低下アイコンを伴う燃料残量警告灯が設けられていてよい。
【００７８】
タスク配分
ＨＭＩシステム１０４は、操縦士が乗組員自動化システム１００によって実行される作業を制限することを可能にし得る（該当する場合）。ＨＭＩシステム１０４は、操縦士と乗組員自動化システム１００の間のタスクの配分、この両者の責任範囲、及びこの両者間の情報のコミュニケーションを規定してよく、それによって操縦士にとっての協力的なチームメイトの役割を果たす。このように、乗組員自動化システム１００は、構成に応じて、純粋にアドバイザーとしての役割（即ち航空機に対する制御は一切なし）、完全に自律的な役割（即ち、操縦士の介入なしにフライトコントロール装置を制御する）、またはフライトコントローラを制御する能力を持ったアドバイザーとしての役割で、動作してよい。ＨＭＩシステム１０４はさらに、操縦士が移行フェーズを経ることができるように、設計されていてよい。移行フェーズでは、運航の各側面のうちのどれに対して、乗組員自動化システム１００が責任を持つかを、操縦士が特定する。例えば、ＨＭＩシステム１０４は、タスクリストであって、そのリスト中の所与のタスクに関して乗組員自動化システム１００と操縦士のどちらが責任を持つかを操縦士が選択し得る、タスクリストを表示してよい。タスクリストは、以下で記載する手順エディタから、ＨＭＩシステム１０４に提供されてよい。航空機データ構造２０８がデータの追加を受けてより精緻化され、それによって操縦士の乗組員自動化システム１００に対する信頼が高まると、操縦士は、主担当モード（ｐｒｉｍａｒｙ  ｍｏｄｅ）から監督者モード（即ち、完全に自律的な役割）に移行して、乗組員自動化システム１００がさらなる作業を実施することを許可してよい。この監督者モードでは、操縦士による相互作用は高次の目標ベースのレベルにあってよく、ＨＭＩシステム１０４は、それらのタスクを補助すると共に、トラブルシューティングのために他のレベルにおける操作者の洞察の余地を残す。上記のように、ある態様では、すべてのタスクが操縦士によって実施され、乗組員自動化システム１００にアドバイザー役を務めさせてよい。
【００７９】
モードの認識
あらゆる自動化システムを用いる際のリスクは、操縦士の側でモードの混同が起きる可能性（例えば、操縦士が、あるタスクについて自動化システムが対応すると思い込んで怠ってしまう場合）である。ＨＭＩシステム１０４は、最初に正しい機能、及び乗組員自動化システム１００と操縦士との間の上記のタスク配分を生成することによって、そうしたモードの混同を回避する。実際、ＨＭＩシステム１０４は、マンマシンインターフェース１２６を介して、操縦士が直接、乗組員自動化システム１００に命令して乗組員自動化システム１００を設定することを可能にしており、操縦士が確実にモードを認識するために乗組員自動化システム１００が何のアクションをとっているかを理解するのに必要な情報を表示するのである。言い換えれば、モードの認識とは、概して、システムのモードと操作者が予期する操作モードとが、一致している状態を指している。マンマシンインターフェース１２６は、乗組員自動化システム１００がどのモードで動作しているかを、操縦士が常に認識していることを確実にするために、必要な情報を表示し得る。さらに、ＨＭＩシステム１０４は、個別のミッション用アプリケーション（例えば、操作用アプリケーション２０２）に対する、ヒューマンインターフェースの役割を果たす。
【００８０】
航空機状態監視システム１１２
航空機状態監視システム１１２は、リアルタイムの航空機状態を収集、判定、または他の態様で認知する。上記のように、航空機状態監視システム１１２は、特に、航空機との直接の接続（例えば航空機と一体化されているか、または別様に航空機と有線接続されている）を通じて、または認知システム１０６を介して、リアルタイムの航空機状態を認知し得る。認知システム１０６が使用されている場合、航空機状態監視システム１１２は、専用のコントローラ（例えばプロセッサ）を含んでいてよいか、または認知システム１０６のコントローラ４０２を共有していてよい。認知システム１０６は、例えば、操縦席計器に表示される飛行状態情報を読み取って理解するために、視覚システム、聴覚システム、及び識別アルゴリズムの組み合わせを用いてよい。例示の操縦席計器は、例えば、高度計、対気速度計、垂直速度計、１つ以上のコンパスシステム（例えば磁気コンパス）、１つ以上のジャイロスコープシステム（例えば姿勢指示器、機首方位指示器、旋回計）、１つ以上の操縦指示システム、１つ以上のナビゲーションシステム（例えば超短波全方向式無線（ＶＯＲ）、無指向性無線標識（ＮＤＢ））などを含む。認知システム１０６は、プロセッサ並びに、ピクセル密度、凝視（ｇｌａｒｅ）の頑健性、及び冗長性を最大化するようにして計器パネルに照準された、１つ以上の光学センサ（例えば３つ以上の軽量機械視覚カメラ）を含んでいてよい。１つ以上の光学センサは、例えばイーサネットを介して認知用コンピュータに有線接続されていてよい。１つ以上の光学センサは、計器パネルの視線上に設置されるべきであるが、操縦士を妨害しないようにしなくてはならない。
【００８１】
認知システム１０６によって認知された飛行状態データは、符号化され、リアルタイムでコアプラットフォーム１０２に提供されてよい。コアプラットフォーム１０２がオープンアーキテクチャであることによって、認知システム１０６によって生成された飛行状態データを増補するために、データバス１２４を介して受信したさらなるデータを組み込むことが可能になる。図１ｂに示すように、例えば、航空機状態監視システム１１２及び／または認知システム１０６は、コアプラットフォーム１０２から命令及び設定データを受信する一方、認知システム１０６が収集したまたは航空機状態監視システム１１２が別様に収集した、ステータス及び飛行状態の情報（例えば飛行状態データ）を、コアプラットフォーム１０２に対して送信し得る。
【００８２】
図４は、特にコアプラットフォーム１０２（これはフライトコントロールシステム１１６といった他のサブシステムに連結されている）、ＧＰＳ／ＩＮＳシステム１５４、及び任意の他の入力システム４１２と動作可能に連結された、認知システム１０６の一例を示す。認知システム１０６は、操縦席のレイアウトから航空機状態を導出するのに使用され得る飛行状態データを生成するために、特に操縦席計器を視覚的に及び／または聴覚的に監視する。操縦席のレイアウトは、基本的なアナログの航空機用計器から、高度に一体化されたグラスコックピット式の航空電子機器一式までの幅があってよい。認知システム１０６は、対気速度及び高度といった物理的な状態を導出するのに加えて、燃料計及び無線機といった航空機システムに固有の計器の監視もまた行って、作動システム１０８のステータス及び配置に関する補助的なフィードバックを提供してよい。
【００８３】
示されるように、認知システム１０６は、データベース４０４に動作可能に連結された認知コントローラ４０２、並びにカメラ４１０（視覚システムで使用）、マイクロフォン４０８（聴覚システムで使用）、及び／または他のセンサ４０６（例えば温度センサ、位置センサ、慣性センサなど）といった、複数のセンサを備えていてよい。認知コントローラ４０２は、例えば、複数のセンサ、データベース４０４、並びにＧＰＳ／ＩＮＳシステム１５４及び他の入力システム４１２といった外部構成要素から受信した情報と操作された情報とに基づいて、飛行状態データをコアプラットフォーム１０２に対して供給する（または別様に指示する）ように構成されたプロセッサであってよい。
【００８４】
視覚システム
視覚システム１０６は、操縦席計器上に表示されているものを読み取ることによって航空機の状態を持続的に監視するため、もしかしたらモーションキャプチャマーカーを含む、単眼または立体視式のシステムを用いていてよい。ある態様では、ある光景に関する２つのバンテージポイントからの情報を比較することによって、２つのパネルにおける対象物の相対的位置を検査することで、３Ｄ情報が抽出され得る。視覚システムは、計器（グラスゲージ、物理的な蒸気圧力計など）及びスイッチ、並びに、様々な照明条件及び操縦席のレイアウトと大きさにおけるそれらのポジションを、正確に監視するために使用され得る。立体視式システム及び／またはマーカーを使用することによって、任意のロボット構成要素と操縦士との間の衝突を防止するための感知も、また提供される。
【００８５】
視覚システムは、一組の高解像度ステレオカメラ、及び／またはＬＩＤＡＲ式レーザスキャナを用いていてよい。システムは、全ての飛行計器からのデータを認識可能であってよく、スイッチ、ノブ、及び航空機固有のシステムの状態（例えば燃料残量）を表示するゲージの状態を導出してよい。システムは、操縦士のアクションに由来する微小な変化を検出するのに十分な解像度でパネルの状態を認識することも、また可能であってよい。認知システム１０６のコンピュータ上の機械視覚アルゴリズムは、計器（ゲージ、表示灯、偏流修正角用計器盤、グラスコックピット内のプライマリ・フライト・ディスプレイまたは多機能ディスプレイの個別の要素）、並びにスロットルレバー、トリム設定、スイッチ、及びブレーカーといった機械的アイテムを読み取り、コアプラットフォーム１０２に対してリアルタイムの操縦席状態の更新を提供する。
【００８６】
認知システム１０６は、基本的なアナログの航空機用計器から、高度に一体化された「グラスコックピット」式の航空電子機器一式までの幅がある操縦席のレイアウトから、航空機状態を導出することが可能であってよい。視覚システムを通じて、航空機からのデータ供給の必要は取り除かれる。それによって、航空機間の移植性が可能になり、増大する。しかし、可能な場合には、乗組員自動化システム１００は、（例えばデータポートを通じて）航空機のデータ供給装置にも連結されていてよい。さらに、コアプラットフォーム１０２に関して記載された、アプリケーションによる手法を使用することで、内在する種々の操作用アプリケーション２０２を用いて、種々の操縦席レイアウトに取り組み、これらを理解することができる。例えば、乗組員自動化システム１００は、図式ダイヤル（例えば、アナログの「蒸気式」ゲージ、またはそれをデジタルで模したもの）であれ、グラスコックピットであれ、計器上に表示される値を導出するための測定アプリケーション３１４を用いていてよい。このアプローチによって、乗組員自動化システム１００が、特に操縦席に表示される気象レーダー、交通ディスプレイ、及び地形図を監視する操作用アプリケーションを実行することも、また可能になる。
【００８７】
乗組員自動化システム１００を移植可能にするため、新しい操縦席のレイアウトを迅速に習得して、計器の位置及び目盛り、またはユニットに関する微妙な差異を体系化するプロセスが、認知システム１０６の設計によって対処されている。例えば、当初のナレッジ取得フェーズ中に、計器及びスイッチの位置及び目盛りを、特定の航空機のために符号化及び検証し、図式ダイヤルのゲージであれ、ＣＲＴディスプレイであれ、ＬＣＤであれ、図式ダイヤル（円形ダイヤル）または数字（グラスコックピット）の位置を抽出するリアルタイムのタスクを軽減することができる。操縦席機器が区分ごとの平面構造になっていることによって、認知システム１０６が（例えばホモグラフィ法を使って）画像を解釈し、当初のナレッジ取得フェーズ中に生成されたマッピング済みデータと対照して登録することが可能になる。こうして、ライブの画像を登録して過去に注記されたモデルと比較することが可能になり、それによってデータの解釈が大いに単純化される。
【００８８】
作動システム１０８
所望であれば、作動システム１０８は、航空機の飛行及び操作全体を誘導するためにコアプラットフォーム１０２を介して命令されたアクションを実行する。乗組員自動化システム１００の作動システム１０８は、航空機の飛行及び動作全体を誘導するためにコアプラットフォーム１０２によって命令されたアクションを、操縦士が実施する作業を邪魔することなく、実行する。図１ｂに示すように、例えば、作動システム１０８は、コアプラットフォーム１０２から作動命令と設定データを受信してよい一方、作動システム１０８によって生成されたステータス及び応答の情報を、コアプラットフォーム１０２に対して送信してよい。
【００８９】
有人航空機の操縦席は、人間の到達範囲（ｒｅａｃｈ  ｅｎｖｅｌｏｐｅ）に合わせて設計されており、したがって、全ての操縦席制御装置は、同じ程度にサイズ決めされたロボット／機械のマニピュレータによって到達可能である。しかし、高重力環境及び振動環境において考えられ得る１つ１つの操縦席の１つ１つのスイッチ、ノブ、レバー、及びボタンを、緊急操作に必要な迅速な実行速度で作動させることが可能なマニピュレータは、乗組員自動化システム１００にとって望ましいものよりも、さらに高価で、重量がかさみ、侵襲的であるだろう。
【００９０】
航空機間の移植性をもっと効率的に実現するために、乗組員自動化システム１００は、主操縦装置（スティック／ヨーク、スティック、サイドスティックまたはコレクティブ、方向舵ペダル、ブレーキ、及びスロットル）の作動と、二次操縦装置（例えばスイッチ、ノブ、ロッカー、ヒューズなど）の作動とが、分離されていてよい。この手法によって、航空機の進化と共に陳腐化してしまう、単一点型の解決方法を設計する可能性が低減される。このように、乗組員自動化システム１００は、操縦席内のアクチュエータを物理的に制御するために、主作動システム１０８ａ及び補助作動システム１０８ｂを用いていてよい。具体的には、操縦士による主操縦装置及び二次操縦装置の使用を分かりにくくすることなしに、主作動システム１０８ａは主操縦装置を作動させてよく、一方で補助作動システム１０８ｂは二次操縦装置を作動させてよい。主作動システム１０８ａ及び補助作動システム１０８ｂは、操縦中に、今日の操縦室に存在する全ての標準的な制御装置をまとめて作動させるように構成されている。
【００９１】
以下で検討するように、主作動システム１０８ａは、主操縦装置（スティック／ヨーク、スティック、サイドスティックまたはコレクティブ、方向舵ペダル、ブレーキ、及びスロットル）を作動させることを目的としているが、一方で補助作動システム１０８ｂは、二次操縦装置（例えばスイッチ、ノブ、ロッカー、ヒューズなど）といった、主作動システム１０８ａでは容易にアクセスできない制御装置を作動させることを目的としている。
【００９２】
主作動システム１０８ａ
主作動システム１０８ａは、航空機を安全に操作するために必要な一組の制御装置を目的としている。図５ａ及び図５ｂに示すように、主作動システム１０８ａは、関節式アーム５０２（例えばロボット式の付属物または「アーム」）、並びに、主操縦装置（ヨーク、スティック、サイドスティックまたはコレクティブ、方向舵ペダル、ブレーキ、及びスロットル）及び他の到達が容易な制御装置を作動させるスティック／ヨークアクチュエータ５１０を有する、フレーム５１６を含んでいる。アクチュエータは、電気的、空気圧的、及び／または油圧的技法のうちの１つを通じて駆動され得る、線形（直線）アクチュエータ、回転（円形）アクチュエータ、振動アクチュエータのうちの１つであってよい。
【００９３】
フレーム５１６は、標準的航空機の座席内にフィットするように、サイズ決め及び形状決めされていてよい。この目的のため、フレーム５１６の設置面積は、平均的な人間が「着席した」ときの占有面積と、ほぼ同じであるかそれより小さいものでなければならない。作動システム１０８は、軽金属、金属合金、及び／または複合材料を用いて製造されていてよい。
【００９４】
スティック／ヨークアクチュエータ５１０スティック／ヨークアクチュエータ５１０は、スティック／ヨーク把持部５１２を使って、航空機の既存のスティック／ヨーク５１４に連結され、スティック／ヨーク５１４と係合していてよい。スティック／ヨーク把持部５１２は、ユニバーサルであって、様々な形態のスティック／ヨーク、及び／または制御輪と係合し得るようにして、サイズ決め及び形状決めされていてよい。スティック／ヨークアクチュエータ５１０は、スティック／ヨーク５１４を、前方、後方、左、右、及びそれらの中間に動かすように構成されていてよい。スティック／ヨーク把持部５１２は、スティック／ヨーク５１４上に配置されたボタン及び／またはスイッチを作動させるための１つ以上のアクチュエータを備えるように、さらに構成されていてよい。
【００９５】
関節式アーム５０２アクチュエータが制御する関節式アーム５０２は、通常は副操縦士の両腕が占有している空間を占有するようにしてサイズ決め、形状決め、及び構成されていてよく、それによって航空機間での移植性が確保される。複数の運動の自由度（ＤＯＦ）による動作を可能にするため、関節式アーム５０２は、複数のヒンジ関節またはピボット関節５０６を使って接合された（線形、湾曲、または角度付きの）、複数のアームセグメントを備えていてよい。関節式アーム５０２は、その遠位端に把持部５０４を備えていてよい。把持部５０４は、多自由度接続を介して関節式アーム５０２に連結されていてよい。関節式アーム５０２のベースは回転可能であってよく、可動式ベース５０８を介してフレーム５１６に摺動可能に連結されていてよい。例えば、関節式アーム５０２は、フレーム５１６に固定されていてよい下側ベース５０８ｂに摺動可能に連結された上側ベース５０８ａに、連結されていてよい。上部ベース５０８ａは、下部ベース５０８ｂに対して、例えばレールと玉軸受の組み合わせを用いて摺動してよい。ある態様では、上側ベース５０８ａは、Ｘ軸とＹ軸の両方に沿って、下部ベース５０８ｂに沿って摺動してよい。
【００９６】
関節式アーム５０２は、エンコーダ（例えばツインの１８ビットエンコーダ）を備えていることができ、そのそれぞれの自由度によって、関節式アーム５０２の正確な位置決めが確保される。ヒンジ関節またはピボット関節５０６に、内部クラッチが設けられていてよく、それによって、所望の場合には、関節式アーム５０２を損傷することなく、操縦士が関節式アーム５０２に過大な力を加えてよい。こうしたケースでは、乗組員自動化システム１００は、エンコーダを用いて関節式アーム５０２のポジションまたは位置を決定してよい。
【００９７】
把持部５０４は、例えばスロットルレバーなどと、連結されているかまたは他の態様で係合しているように構成されていてよい。把持部５０４によって、力及び圧力の検出もまた与えられてよく、それによって、乗組員自動化システム１００が、操縦アクチュエータがどのように把持されているかを推定することと、操縦アクチュエータを適切に動かすための動作を調整することが可能になる。この動作が実行された後は、この同じフィードバックが、所望のスイッチ設定が達成されたかどうかを判定するために使用されてよい。ある態様では、関節式アーム５０２には、関節式アーム５０２が標的を発見して標的に命中させることができるようにするための電子装置（例えば自動誘導装置）が装着されていてよい。
【００９８】
補助作動システム１０８ｂ
一般的に航空機の型式とモデルを超えて同じ近辺に位置している主操縦装置とは異なり、二次操縦装置（例えば、航空電子機器、スイッチ、ノブ、ロッカー、トグル、カバー付きスイッチ、ヒューズなど）の位置は、航空機によって一貫していないか空間的に限定されていない。
【００９９】
補助作動システム１０８ｂは、主作動システム１０８ａによって容易にアクセスできない制御装置の作動を目的としている。例えば、あるスイッチは機長のすぐ頭上のオーバーヘッドパネル上にある可能性さえあるが、このことが（特に乱気流の飛行条件において）ロボットアームでこれらのスイッチを操作することを困難にしている可能性がある。したがって、あるアクチュエータは上記の主作動システム１０８ａに対して割り当てられていてよく、一方で他のアクチュエータは、自己完結式の補助作動システム１０８ｂに対して割り当てられていてよい。
【０１００】
補助作動システム１０８ｂは、対象のパネルに直接装着され、操作している特定のパネルに合わせて較正された、適応性のあるＸＹプロッターまたはガントリーシステムの形態で提供されてよい。補助作動システム１０８ｂは、好ましくはユニバーサルであり、サイズ変更可能である。例示のＸＹプロッターを、図５ｃに示す。ＸＹプロッターは、プロッターのレール５２０の役割を果たす四角いフレームと、対象の制御装置を操作することが可能な複数のインターフェース（例えばスイッチアクチュエータ５３２及びノブアクチュエータ５３０）を持つ回転可能マルチツール５２８と、Ｙ軸の一式のレール５２２及びＸ軸の一式のレール５２４に沿って、フレーム内でこのマルチツール５２６を動かす制御システムとを備えていてよい。
【０１０１】
使用の際、プロッターは、マルチツール５２８を該当箇所まで動かし、正しいマニピュレータインターフェースを選択し、対象の二次操縦装置を操作する。例えば、マルチツール５２８は、スイッチアクチュエータ５３２を使用してバイナリスイッチ及び／またはカバー付きスイッチを切り替えることができ、ノブアクチュエータ５３０を使用してノブを回すことができる。スイッチアクチュエータ５３２及び／またはノブアクチュエータ５３０は、回転可能なスイッチアーム５３４といった関節部材または回転部材を介して、マルチツール５２８に連結されていてよい。
【０１０２】
使用していない際は、マルチツール５２６は、パネルの障害にならないように、ホームポジションに戻っていて（例えば、遠方の角に自動的に導かれて）よい。マルチツール５２６にはセンサ（例えば近接センサ）が設けられており、それによってマルチツール５２６は、操縦士の手を検出すると、邪魔にならないところに移動することができる。新しい航空機上におけるプロッターの初期セットアップ中に、二次操縦装置パネルの位置、タイプ、及びポジションが符号化されてよい。特定の二次操縦装置が符号化されると、その設定を航空機データ構造２０８内に保存しておき、乗組員自動化システム１００が同じ航空機かまたは同じタイプの航空機にインストールされたときにロードすることができる。ある態様では、例えばフットペダル（例えばブレーキ及び／または方向舵ペダル）といった、操縦席の足置き場（ｆｏｏｌｗｅｌｌ）内に配置されたコントローラを作動させるために、さらなるアクチュエータが設けられていてよい。
【０１０３】
ロボットアーム５５０
図６に提示されているブロック図は、ロボットアーム５５０を用いた開示のロボットシステムの機能要素を示している。ロボットアーム５５０は、例えば、図５ａの関節式アームのいくつかの特徴を用いている。関節式アーム５０２に関連して記載されているインターフェース及び制御装置は、本書に記載のさらなる特徴と同様、ロボットアーム５５０にとって利用可能である。ロボットアーム５５０は、関節式アーム５０２の代替物として使用されてよいか、または関節式アーム５０２に追加して使用されてよい。関節式アーム５０２をロボットアーム５５０で代替している実施例では、ロボットアーム５５０は、関節式アーム５０２の上記の機能と共に、以下で記載するさらなる機能を提供するように構成されている。
【０１０４】
過去のシステムは固定式カメラに限定されており、タッチ機能が欠如していた。開示されるのは、画像化機能が一体化された機能的付属品（例えば把持部）を備えるロボットアームに固有のアーキテクチャ及び方法であって、移動式ロボットアーム５５０に固有の基準（ｆｉｄｕｃｉａｌ）システムの使用に匹敵する。さらに、操作を実施する方法と共に、ロボットの挙動を教示する方法が、開示のロボットアーム５５０を用いて検討される。
【０１０５】
本書に記載の実施例では、ロボットシステムは、画像感知機能及び力感知機能が一体化されているとして記載されている。具体的には、ロボットアーム５５０は、自動化された航空機の環境において１つ以上のプロセスを作動させるために、画像データ及び力データを収集し解析するように最適化されている。
【０１０６】
本書に記載されるように、ロボットアーム５５０は、従来型のロボットアームに比べてより増強された機能を提供するものであり、過去には利用不可能であったロボットシステムによる航空機の自動化機能を利用可能にしている。実施例では、ロボットアームは、操縦席計器５５８及びそれに対応するディスプレイ５６０といった航空機の光景を画像化するために使用される、カメラを含んでいる。ロボットアーム５５０は、ロボットアーム５５０の動作中に、所望の接触力に関する閉ループ制御と共に接触力データの収集を可能にするために、力を感知する指部もまた含んでいる。
【０１０７】
ロボットシステムの機能面は、力センサ５５２、画像キャプチャシステム５５４（例えば視覚システムといったカメラ）、及び様々な複合インターフェース作業を実施する１つ以上のコントローラによって、特徴づけられる。さらに、ロボットシステムは、コントローラ（例えばフライトコントロールシステム１１６）、ルーティンリスト、データ取得システム、及びデータ分析システム（例えば力及び画像のデータ用）のうちの１つ以上と通信する。例えば、力センサ５５２及び画像キャプチャシステム５５４は、操縦席計器（例えばスイッチ、ダイヤル、ノブ、など）を操作するために、コントローラ（例えばコアプラットフォーム１０２）に対して情報を提供し、計器が正しく特定されることを確実にすると共に、作業の前、中、及び後の計器の状態に関する判定を行うことができる。例えば、あるスイッチが、操縦席の特定のエリアに位置していることができる。その距離及び位置は、画像化システム５５４によって特定される。コントローラは、スイッチを操作する命令の受信を受けて、ロボットアーム５５０をスイッチまで動かすための、最適な方法（例えばロボットアームの軌道、現在の位置からスイッチまでの距離）を決定することができる。コントローラはさらに、この反応の１つ以上のパラメータ（例えば、スイッチの状態に関する予期された変化、スイッチを作動するために必要な最小限の力、など）を決定することができ、これらのパラメータに対応するセンサからの情報を監視することができる。
【０１０８】
ある実施例では、特定の計器（例えばスイッチ）に関連するパラメータのライブラリまたはマトリクスは、コントローラがアクセスできるメモリ５５６内に保存することができる。図６には、メモリ５５６はロボットアーム５５０と共に配列されているとして示されているが、メモリ５５６は、コアプラットフォーム１０２と一体化されているか、遠隔に位置している（例えばネットワーク経由でアクセスされる）か、などであることができる。操作が予期したとおりに実行されているかどうかを検証するため、監視されたパラメータをパラメータのライブラリと比較することができる。メモリ５５６内に保存された一式のパラメータを有しないスイッチ（例えば、新たな計器及び／またはカスタム仕様の計器）を作動させる命令といった一実施例では、コントローラは、動作中にセンサが取得した情報に従って、パラメータのマトリクスを作成することができる。他の例では、特定のスイッチの反復作動といった動作中に、スイッチに関連するマトリクスを更新し、取得したデータに基づいて精緻化することができる。ある実施例では、取得した情報がマトリクス内のパラメータから乖離している場合、別のシステム（例えばリモートコントローラ）もしくは操作者（例えば操縦士）に対して警報が送信され得るか、または故障が生じたか、スイッチに欠陥があるか、操作が失敗か、などを判定するためのさらなる情報の要求が（例えば別のカメラに対して）送信され得る。
【０１０９】
操縦席計器５５８の物理的なロボット操作を誘導する力の機能と画像化の機能とを統合することによって、自動操縦パネルまたは飛行管理システム（ＦＭＳ）といった複合インターフェースの理解と操作が可能になっている。パネル、システム及び計器の動作状態は、画像化を通じてキャプチャすることができ、ボタン、スイッチなどの作動中に、ロボットアーム５５０によって検証することができる。具体的には、ロボットアーム５５０は、力センサ５５２がキャプチャした力プロファイルまたは圧力プロファイルを認識することによって、軌道、アクション、または状態を確認することができる。
【０１１０】
ロボットアームに装着されたカメラによって、画像化システム５５４が、操縦席内の複数の視点からの様々な見え方を手に入れることが可能になる。例えば、操縦席環境では、計器は、人間の操作者の到達範囲及び姿勢に適合するため、垂直、水平、または様々な角度で配向することができる。ロボットアーム５５０に装着されたカメラは、操縦席内の様々な位置及び角度から、表面及び計器を見ることができる。ロボットアーム５５０は、こうして、静止した視界からでは遮蔽されているかもしれない計器を見るためと、飛行中に操縦士の視界を遮ることを避けるために、操縦席の周囲を移動することができる。このように、本書に記載のロボットアーム５５０の柔軟性は、従来型のシステムの固定的に装着されたカメラから逸脱したものになっており、本書に記載の多数の利点を有している。
【０１１１】
ロボットアーム５５０に装着された画像システム５５４及び力センサ５５０からの情報は、操縦席及び関連する計器の２次元モデル及び３次元モデルを構築及び／または検証するために用いられ得る。実施例では、ロボットアーム５５０が、操縦席要素の位置、ポジション、状態、などを検証する機能は、力センサ５５２によって与えられる。この機能は従来は、画像化センサによってのみ可能なものであった。例えば、この情報によって、特定のスイッチが上がっているか下がっているか、点灯か消灯か、特定の色になっているか、などをコントローラが判定することができる。
【０１１２】
力センサ５５２は、様々な日常定型業務の実施中に、マッピングされた光景を持続的に監視し、認証することができる。実施例では、あるアクションの実施には、軌道及び力の予測が含まれ得る。力センサ５５２からの情報は、既知の、及び／または計算された、及び／または推定された計器５５８の状況（例えば、状態や関連するディスプレイ５６０）と併せて、（例えばマトリクス内の１つ以上のパラメータによって提供される）接触軌道を測定及び／または検証するのに使用される。例えば、ボタンを押下するのは、壁を押すのとは異なる接触プロファイルを有し、接触の際の力フィードバックの量は、力センサ５５２が作用している表面のタイプを特定するのに使用することができる。
【０１１３】
本開示は、ロボットアーム５５０に取り付けられた、操作可能な付属物、付属物の一式、または他のエンドエフェクタ（例えば、ロボットアームの端部の把持ツール）に対して付与されている、視覚機能及び接触機能について記載している。これら２つのセンサモダリティは、ＡＬＩＡＳロボットアームが遂行できる作業の種類を拡大するものであり、それによって、固定カメラに依存する、及び／または力感知機能が欠如している、ロボットアームの機能が拡張される。
【０１１４】
具体的には、これら２つのモダリティによって、自動操縦パネルまたは飛行管理システムといった航空機上の複合インターフェースの操作を、特定し／マッピングし／認識し／作動させることが可能になっている。これらのパネルを操作することは、視覚によって推進される条件付きロジックを必要とする（例えば、ＦＭＳスクリーンを読み取ってシステムの状態を導出する）。これらのパネルは、文字が小さいか、または他の態様で、固定した位置または遠隔の位置に装着したカメラからは視覚的に遮蔽されていてよい。本システムの鍵となる特徴は常に視覚的認知であったが、一方で特に複合インターフェースの操作に向けてロボット誘導による視覚を使用することによって、顕著な利点が与えられ、システムアーキテクチャが増強され、機能が拡張されて操縦席環境内の計器の理解の正確さと深さが確保される結果となる。
【０１１５】
例えば、タッチ感度によって、操縦席計器５５８の制御装置を特定してモデルを検証するための、第２の、独立したデータ経路が提供される。具体的には、ロボットアーム５５０に装着されたカメラと他のカメラによって、組み込み及び検証テストがリアルタイムで行われる。例えば、持続的に監視されるシステムによって、予測された接触軌道と力のプロファイルが実現されたことが検証され、特定の計器が正確に動作していることが検証される。ある実施例では、システムは、システム自体の操作即応性を計測するために、キャプチャしたデータを用いることができる。この方法で、監視された情報を保存されているパラメータとを比較して、保存されている値や、適切な軌道を計算するためのシステムの機能や、作動システムの忠実度などを検証することができる。１つ以上のパラメータが閾値量の範囲外にあることが判明した場合、警報を与え、さらなる情報に対する要求を行い、アクションを反復する及び／または取り消すことなどができる。
【０１１６】
ある実施例では、主作動システム１０８ａは、自動操縦、ＦＭＳ、及び無線／トランスポンダーを観察し操作するのに使用された。ロボットアーム５５０（主作動システム１０８ａであれ、それとは別になっているロボットアームであれ）に装着された画像化設備は、操縦席のいたるところに配置及び配向されることによって、単一のカメラでこれらの表面を観察することが可能になっている。例えばＦＭＳは、固定カメラの装着点からは視覚不能であるかもしれない。なぜならば、カメラが操縦席のスロットルレバーの後に装着されているかもしれないからである。画像センサと力センサを一体化することによって、インターフェース（例えばボタン、スイッチ、ノブ、ＦＭＳの画面インターフェース）を観察し、インターフェースと相互作用するための柔軟性と、計器（例えば自動操縦システム）の種々の状態への理解が大きく強化される。
【０１１７】
実施例では、カメラは、画像を分析及び／または操作して標準化されたビューを作成するために、コントローラにデータを送信する。標準化されたビューは、１つ以上のシステムによって容易に読み取り可能なフォーマットであることができる。例えば、（図７ａ及び図７ｄに示す）装置及び／または制御装置の生のカメラ画像を再フォーマットして、画像の要素を、１つ以上の物理的及び／または視覚的制御装置（例えばボタン、ダイヤル、スイッチなど）を含むパネルとして認識可能なようにすることができる。１つ以上の制御装置のそれぞれは、数値の表示値といった、１つ以上の表示に対応していることができる。
【０１１８】
図７ａから図７ｃに示す実施例では、カメラが制御装置の画像をキャプチャし（図７ａ）、その画像に対してエッジ検出アルゴリズムが実施される（図７ｂ）。こうしたプロセスは、特定及び／または分析の日常定型業務のいたるところで増加（ｉｎｃｒｅｍｅｎｔ）され得る。図７ｃに示すとおり、システムは、制御装置上に提示されエッジ検出アルゴリズムを介して変換された情報を、認識することが可能である。図７ｃの実施例では、制御パネル上のＬＣＤディスプレイからキャプチャされた数字２、４、及び９が特定され、ＲＡＳシステムによって分析される。こうしてこの情報は、本書に記載の自律的システムの実施を、通知し制御するのに使用され得る。図７ｄに、操縦席制御装置一式のさらなる図を示す。上記で説明したように、エッジ検出アルゴリズムの適用によって、バーチャルで解析可能な（ｐａｒｓａｂｌｅ）画像（図７ｅ）が生成される。この画像は、視覚システムの処理と分析における、中間ステップの役割を果たす。
【０１１９】
コントローラは、制御装置を特定しデジタル化して、表示を行い、それによってコントロールシステムの分析（例えばプロセッサによる、またはコンピュータのディスプレイ上に提示される、など）用にコンピュータ可読な出力が生成され得るように構成されている。例えば、カメラは力センサ５５２と共に配列されているので、操縦席計器５５８の見え方は、ロボットアーム５５０の配向とともに変化するであろう。このように、コントローラは、画像化された装置、光景、計器などの理解が、視点や見る角度に関りなく強化されるように、制御装置及び／またはディスプレイのうちの１つ以上をスケール変更し再配向して、所望のレイアウト／フォーマット／機構にするように構成されている。分析が実施されると、コントローラは、応答が要求されているかどうか、及びどのアクションが適切であるかを、その情報に基づいて決定することができる。
【０１２０】
有利には、画像の再フォーマット処理によって、相対的な配向に関わらず、システムが特定の制御装置及び／またはディスプレイを認識することが可能になる。言い換えれば、操縦席計器５５８の画像はあらゆる角度及び／または距離から取ることができ、それでもなおコントローラが、画像化された要素を特定及び／または操作して認識し、それによってその計器を既知の計器の画像の一覧と比較することが可能なのである。従って、固定カメラ及び／または、ロボットアーム５５０から遠隔して位置するカメラは必要とされず、従来型のシステムと比較した利点となっている。
【０１２１】
力センサ５５２は、スイッチ、ボタン、または他の同様な制御装置を作動させるための隆起部があるように構成されていることができる。ある実施例では、ロボットアーム５５０は、ダイヤルの操作、パネルの開放、及び／または操縦席内で有用であり得る他のアクションといった一連のアクションが可能な、１つ以上の指部を含んでいる。例えば、このシステムの機能をさらに増強するため、指部のうちの１つ以上が、力感知機能を有していることができる。
【０１２２】
例示の操作では、選択された命令は、ロボットアーム５５０の予想される接触及び／または軌道を確認するために取得して分析することが可能な、１つ以上のデータ点に対応していてよい。標的である操縦席計器５５８が一般的なロッカースイッチである実施例では、スイッチを起動する際に、予想される力プロファイルに関する経験的証拠を保存することができる。例えば、タッチセンサがスイッチからの抵抗を受けることによって、接触時には、力の量は増大するであろう。当初の抵抗を乗り越えると、タッチセンサが抵抗がほとんどまたは全く感知しない期間を経るようにして、スイッチは所定の場所に素早く進むであろう。スイッチが静止すると、スイッチが完全に起動されていることを確実にするため、タッチセンサは、一定のレベルの力を維持するであろう。このとき、タッチセンサがかけている力の量は、作動アームがスイッチに対して与えている力のレベルを反映したものであるだろう。これは、スイッチが完全に押圧されていることを表す。
【０１２３】
この力のデータは、カメラからの画像データと組み合わされて、計器のレイアウトをマッピングする（例えば初めて実施した場合もしくは特定の計器に関するデータが存在しない場合）か、または保存されている操縦席計器５５８のレイアウト、その相対的位置、機能などを検証及び／または精緻化するか、のどちらかのために使用される。
【０１２４】
接触軌道のデータの平均及び標準偏差は、複数の試行（例えば、Ｖｏｌｐｅ  ７３７の操縦席計器上の「ＦＭＳホールド」ボタンを繰り返して押下する試み）からのデータによって得ることができる。力の値は、計算されたものや推定されたものといった、概算のものであることができる（例えば、センサによる詳細な較正が全く実施されなかった場合）。力センサ５５２によって取得されたデータは、測定された接触事象のライブラリを作成するのに使用され得る。さらにまたは代わりに、このライブラリは、計器の操作に関するロボットの性能を統計的に規定するため、即ち証明のための目的で、使用することができる。こうして、接触事象の記録を取ることによって、航空機の操縦席に印加される接触力を統計的に規定するために、タッチセンシングを使用することができる。これは、証明のための取り組みにとって、有益であり得る。言い換えれば、システムは、例えば後続の各工程でロボットアーム５５０が印加する力の平均及び標準偏差を与えることによって、統計的に規定されたロボットの動作能力を示す、取得データを使用することができるのである。ライブラリは、本書に記載のとおり、システムの機能性を評価するためにロボットの現在の性能と比較するのにも、また使用され得る。
【０１２５】
画像化センサのデータ及び力センサのデータは、命令を実行するための情報を与えるものとして記載されているが、別の情報または冗長的な情報の収集用に、さらなるセンサまたは代わりのセンサが使用され得る。ある実施例では、ロボットアーム５５０の軌道や配向などを決定するために、慣性運動センサ、加速度計、機械的測定システム、または他のセンサを使用することができる。
【０１２６】
本書に記載のロボットアーム５５０は、より拡張性のあるロボット式ソリューションの一態様であることができる。例えば、ロボットアーム５５０は、航空機、または自動化機能を必要としている同様の対象システムにインストールされたシステムの一部であることができる。例えば、１つ以上の付属物上で画像化センサと力センサが一体化された可動ロボットアームは、対象物が固定的に装着されたカメラから視覚的に遮蔽されている環境における計器、及び／または、視覚とタッチとロボットの動作との間で緊密な連結を必要とする複合的で多状態のインターフェースを、操作するのに有用である。
【０１２７】
ロボットアーム５５０の一端において、把持部といったロボット付属物は、一体化された画像化センサ及び力センサを含んでいることができる。ある実施例では、画像化機能を円滑化して位置の決定を強化するため、操縦室計器５５８内に視覚的な基準マーカーを含んでいることができる。視覚的な基準マーカーは、例えばバーコード及び／またはＱＲコードといった、２次元の機械可読マーカーを含んでいてよい。システムには、ロボット動作、力、及び視覚の各モダリティを緊密かつシームレスに一体化して、動作環境のより完全で有用な画像を生成するための、ソフトウェアが一体化されている。
【０１２８】
例示の操作方法では、図８ａに示すように、コアプラットフォームから受信する命令は「ルーティン」と呼ばれている。ルーティンは、「アクション」と呼ばれる選択された作業を実施するため、ロボットアーム５５０の複数のステップを要求してよい。メインの機能である「航空機監視」は、１つ以上のルーティンに対応する命令を受領し、これらのルーティンを実施するため、個別のアクションを待ち行列に入れる。画像データを処理する「エンドエフェクタ認知」を操作することによって、「読み取り」アクションが実施される。指部／付属物／隆起部などの力を測定するため、「タッチセンサ」が呼び出される。「モータスレッド」は把持部及び線形レールモータを操作し、「ＵＲロボット」は、操縦席環境の周囲を自由度６で動作することが可能な、ロボットアーム５５０を操作する。
【０１２９】
図８は、「航空機の機首方位を１５５度にセットせよ」という命令に関する、例示のルーティンのフローチャートを表す。このルーティンは、ロボットアーム５５０を使用して、自動操縦機能に関する１つ以上の操縦席計器５５８（例えば、航空機の機首方位を調整するためのノブ）を操作することによって、完了することができる。例示のルーティンは、以下で概説する下記のアクションからなる。ブロック８００で、航空機の機首方位を変更する命令がシステム（例えばフライトコントロールシステム１１６）に与えられる。これに応答して、ブロック８０２でロボットアーム５５０が作動される。ブロック８０４で、システムは、画像化センサ５５４によって、自動操縦装置上で現在の機首方位命令を読み取るのに十分な画像データをキャプチャする。ブロック８０６で、システムは、現在の機首方位と命令に含まれる機首方位の変更とに基づいて、必要な変更量（例えばどれだけノブを回転させるか）を計算する。ブロック８０８で、ロボットアーム５５０は延長され、ノブに接触（例えばノブを把持、ノブにタッチ、など）する。ブロック８１０で、力センサ５５２からの測定されたセンサデータに基づいて、測定されたデータとメモリ５５６に保存されているデータとの比較が行われる。例えば、特定のノブを把持して回転するためには、閾値量の力が必要であってよい。その情報は、その作業が１度だけ実施されるのを確実にするために、メモリ５５６に保存されてよい。
【０１３０】
ブロック８１２では、システムが、ノブに対して適切な力が印加されているかどうかを判定する。ノーの場合、ノブとの接触を再確立するため、方法はブロック８０８に戻る。イエスの場合、方法はブロック８１４に進む。ブロック８１４では、ノブが回転され機首方位の変更が実施される。ノブがどこまで回転されるかの程度は、機首方位変更の計算と、併せて比較とに基づく。ブロック８１６では、変更された機首方位が画像化センサ５５４によって読み取られ、適切な機首方位が実現されたかどうかが判定される。ノーの場合には、方法はブロック８０４に戻る。ブロック８０４では、方法が再度進行するのにつれて、元の機首方位、現在の機首方位、及び必要とされる変更量が再評価される。イエスの場合には、動作は完了し、ブロック８２０において、システムは新しい命令のための監視を継続する。
【０１３１】
一般的に、アクションは、「動き」か「読み取り」のどちらかからなる。動きは、ロボットアーム５５０の動作を指す。読み取りは、（例えば画像または力のデータを用いた）世界に関する情報の取得を指す。各個別のアクションのパラメータは、データ構造の中に内包されている。あるアクションが複数の操作からなることは、留意されたい。例えば、ノブを回転することは、待ち行列内に並んでいる一連のアクションを必要とする。即ち、ロボットをノブのところまで移動する、把持部を開く、把持部を閉じる、力センサからのフィードバックを介してノブを把持していることを検証する、ノブを回転する、及びノブを解放する、である。ノブの所望の最終状態が達成されたことを確実にするために、画像化システム５５４によって追跡検証が実施され得る。
【０１３２】
複合操縦席インターフェース（例えばＦＭＳ）の操作を可能にすることによって、ロボットアーム５５０が、拡張された機能を提供する。例えば、ロボット副操縦士を用いているが、ロボット副操縦士がフライトコントロールシステムを使わないバージョンである（例えば、フライトコントロールのないバージョンのソフトウェア及び／またはハードウェアである）航空機では、本書で開示されるモダリティ間の複雑な相互作用によって操縦士が機能喪失に陥った場合には、ロボットアーム５５０が自動操縦、ＦＭＳ、及びトランスポンダーを操作するように構成されている。実施例では、各センサから収集された力及び画像のデータを監視することによって、ロボットシステムは、ロボットアーム５５０の状態及び／またはアクションを自己監視することができる。例えば、ロボットシステムが「ポジションＡ」へ移動する命令を受けている場合には、画像化システム５５４は、関連する光景Ａを観察しなければならない。ロボットアーム５５０が光景Ａを見ていることが画像データの分析によって検証されない場合、自己監視システムは、ロボットアーム５５０の状態を判定するためにさらなるデータを取得することができるか及び／または較正ルーティンを実行することができる。
【０１３３】
ロボットアーム５５０に視覚と触覚を追加することによって、より広範囲の操縦席及び計器を見ること、操縦席の複合インターフェースを操作すること、及びロボットアームの性能を検証するために冗長性のある方法を提供することといった、過去には不可能であるかまたは信じ難かった新たなユースケースが展開される。開示されるシステムをこうしてインストール及び操作するのは、従来型のシステムと比べて著しく手間が少ない。コストとシステムの設置面積を節約することは、複数の市場（例えば、民間、防衛、航空全般など）において、様々な理由で有益であり得る。
【０１３４】
ナレッジ取得システム１１４
ナレッジ取得システム１１４は、乗組員自動化システム１００による航空機固有の情報の決定を可能にするのに必要な、ナレッジベースを収集及び／または生成する。これは、航空機の性能特性、限界、チェックリスト、及び手順（緊急時手順を含む）、及び航空機内の不測の事態を規定する基準に関するナレッジを含む。このデータは、（例えばマニュアルや操縦士のブリーフィングや操縦士の運航ハンドブックからの）符号化されたデータと、飛行中に（例えばセンサを介して）取得したデータとの組み合わせから導出されてよく、それによってオフラインの機械学習及びトレンド分析が支援される。符号化されるデータは、手順内及び手順間双方の、手順の内容とタスクのフローを記載した、．ｘｍｌフォーマットでロードされてよい。
【０１３５】
図１ｂに示すように、例えば、ナレッジ取得システム１１４は、コアプラットフォーム１０２から動作命令を受信してよい一方、ナレッジ取得システム１１４によって生成された設定データ並びにステータス及び応答の情報を、コアプラットフォーム１０２に対して送信してよい。
【０１３６】
知識取得システム１１４の操作は、概して３つのプロセスに分割し得る。これらは、限定しないが例として、航空機システムのモデリング、手順の体系化、及び空力モデリングを含む。航空機システムのモデリングのプロセスは、乗組員自動化システム１００に対して、利用可能な機載システム、その機載システムをどう設定するか、作動の限界、などに関する情報を提供する。手順の体系化のプロセスは、乗組員自動化システム１００に対して、正常な状況及び非正常な状況における航空機の操作に関する情報を提供する。手順の体系化は、例えば、チェックリストの体系化を含んでいてよい。最後に、空力モデリングのプロセスは、乗組員自動化システム１００に対して、航空機の飛行、並びに所与の航空機のタイプ及び構成に関してどのような性能が予期されるか、に関する情報を提供する。
【０１３７】
ナレッジ取得フェーズの間に、事態が異常または不測の事態であるとみなされるのは、どのような状況下であるのかを規定することも、また行われなければならない。これらの状況は、エンジンの速度超過または制限対気速度の超過といったように、しばしば個別のものである。乗組員自動化システム１００は、機械学習を使って、操縦士によって行われた一連の飛行中操作を観察することによって、空力モデル及び制御モデルを微調整することができる。この情報は、飛行力学データ、操作限界、手順、航空機システム、及びレイアウト、並びに他の関連するデータを含む。乗組員自動化システム１００は、文書化された情報に加えて、過去の事象及びより熟練した操縦士の経験に基づいて、情報を体系化してもよい。機械学習によって、ナレッジ取得プロセスを効率的かつ迅速に実施するのが可能になる。
【０１３８】
操縦士が典型的な飛行プロファイルの動きを行う際、乗組員自動化システム１００の認知システム１０６及び作動システム１０８を使用して、飛行機の操縦席またはリアルなシミュレータの計器及び制御装置が監視される。操縦士のアクションを観察することによって、乗組員自動化システム１００が、所与の操作に関する円滑で熟達した制御を操縦士から直接習得し、模倣することが可能になる。このプロセスは、運航というものが、所与の事態において何をなすべきかという点で高度に構造化されているという事実によって恩恵を受けている。その結果、機械学習によって、何かをどのようにして実行すべきかということを体系化することが可能になっている。
【０１３９】
航空機のデータ構造２０８へのデータの追加は、拡張可能マークアップ言語（ＸＭＬ）を使って達成され得る。具体的には、フィールドとデータツリーのセットを含む、ＸＭＬのデータ構造が用いられてよく、このフィールドとデータツリーのセットは、データが追加されたときには、コアプラットフォーム１０２に航空機の設定と操作を行うことを可能にする。ある態様では、乗組員自動化システム１００は、自然言語の解釈による飛行関連文書及び／またはソフトウェアツールを用いていてよく、それによって人間がデータを効率的かつ正確に入力することが可能になる。
【０１４０】
ある態様では、飛行機に依存しない特徴が一式、生成され、符号化されてよい。例えば、着陸装置の格納、多発機におけるエンジン停止の手順、及び失速回復のような手順は、多くのタイプの航空機を通じて同様であり、特定の機体に関して最小限の変更しか必要としないであろう。さらに、（超過禁止速度といった）基本的な機体の制限は、特定の数だけ入力されればよく、それらはフライトマニュアルから、ごくわずかな時間で入力することができる。
【０１４１】
手順エディタ
移行期間中に、例えば文書化された書類（例えば、操縦士の操縦ハンドブック、整備マニュアルなど）を使用するのと共に、航空機の操作を直接監視することを通じて、航空機に固有の情報が収集されてよい。このナレッジ取得プロセスのアウトプットは、コアプラットフォーム１０２に関連して上記された航空機データ構造２０８である。この航空機データ構造２０８には、操作手順、利用可能なシステムとその設計、操縦席のレイアウト、及び航空機の安全な操作に必要なすべての他の情報が含まれていてよい。ある態様では、乗組員自動化ソフトウェア開発キットによって、ソフトウェア／フライトコントロール技術者が、１日あたり１つの航空機用サブシステム（例えば電気または油圧）を規定し、コーディングし、ユニットテストすることが可能になってよい。乗組員自動化ソフトウェア開発キットは、飛行マニュアルの手順を、Ｍａｔｌａｂ  Ｓｔａｔｅ  Ｆｌｏｗ及びＳｉｍｕｌｉｎｋと適合性がある状態機械に変え、次いでこの手順をコアプラットフォーム１０２に含めるためにＣ言語で自動コード化できるようにするための、ツールを提供することができる。乗組員自動化ソフトウェア開発キットは、ユニットレベル用のテストコード、及びコアプラットフォーム１０２とのテスト用のインターフェースもまた生成してよい。例えば、手順エディタは、タスクリストであって、そのリスト中の所与のタスクに関して乗組員自動化システム１００と操縦士のどちらが責任を持つかを操縦士が選択し得る、タスクリストを提供してよい。
【０１４２】
フライトコントロールのナレッジ取得
フライトコントロールのナレッジ習得の最初のステップは、Ａｔｈｅｎａ  Ｖｏｒｔｅｘ  Ｌａｔｔｉｃｅ（ＡＶＬ）法を使用して、無次元安定微係数（ｓｔａｂｉｌｉｔｙ  ｄｅｒｉｖａｔｉｖｅｓ）の形態で数学的モデルを生成する。このモデルは、飛行中に操縦士によって使用され、精緻化される。主フライトコントロール機構の較正が済むと、特定の安定微係数を割り出すように設計された飛行操作のシーケンスを実施するために、システムＩＤトレーナーアプリケーションが使用され得る。このデータは、コントローラで使用するため、自動的に処理されて更新済み安定微係数となる。コントローラは、オートチューナーを使用し得る。飛行に先立ってコントローラが適切に実施する検証ステップと、同じ更新済み安定微係数が、自由度６のシミュレーションで使用される。フライトコントロールのナレッジ取得を実施するさらなる利点は、それによって、正規の手順のナレッジが大量に精緻化され、組み込まれるのが可能になることである。手順には個別のステップが並べられているが、こうしたステップをどうやって実行するか（例えば、ステップ間でどのくらい長く待つべきか、またはスロットルをどれだけ急に上げるべきか）という詳細は、見当たらなくてよい。
【０１４３】
航空機の飛行性能特性のリバースエンジニアリング
機載のデータ取得ユニットを通じて測定し得る航空機の性能特性は、一般的に、航空機や航空電子機器の製造業者によって、占有すべきものと考えられている。この情報は、フライトシミュレーション、航空機の健全性の監視、航空機の開発、及び他の多くのことに利用され得る。現在、機上でのデータ取得の利用を望んでいる第三者は、データの独占的な性質による制約を受けている。この制約は、スタンドアロンの航空機センサを一式使用することを通じて、部分的にのみ克服されてきた。これらの市販のセンサの一式は、操縦席計器及び操縦士の入力を通じて利用可能なデータのごく一部の測定のみを行う。しかし、乗組員自動化システム１００は、航空機の飛行性能特性を判定するのに様々なセンサを利用するので、航空ビークルの性能特性を実質的にリバースエンジニアリングするのである。乗組員自動化システム１００は、スタンドアロンのセンサと、操縦席計器の画像を通じたデータのキャプチャと、入力制御装置との組み合わせを通じて、航空機の情報を収集する。
【０１４４】
実施例
本開示の諸態様は、乗組員自動化システム１００がどのようにして操縦士と相互作用し、飛行計画を実行し、運航タスクを実行し、システムの稼働中、離陸時、飛行計画の稼働中、並びに異常検出時及び対処中において不測の事態に対応し得るかを説明する、以下の例示の飛行計画を通じて説明され得る。しかし、本教示は、本実施例で使用されているものに限定されるべきではない。
【０１４５】
システムの稼働及び離陸
操縦士は、航空機の左座席に着席し、シートベルトを締め、マンマシンインターフェース１２６を自身の横に居心地のよい形で置き、乗組員自動化システム１００のアプリケーションを起動する。アプリケーションは、一連の電源投入時診断を立ち上げ、実行する。機械的インターフェースの電源が入り、較正が行われる。マンマシンインターフェース１２６に、テストの成功を確認し、操縦士に乗組員自動化システム１００の稼働を確認させる質問のメッセージが表示されてよい。操縦士は、アプリケーションタブ３３４を介してその日の飛行計画を選択する。乗組員自動化システム１００は、チェックリストの監視のために使用されてよい。操縦士がエンジンのスタートを選択し、乗組員自動化システム１００は、一連のエンジンスタートのアクションを開始してよい。実際にスタートする前に、最終的な確認が求められる。一方、操縦士は、管制塔に承認（ｃｌｅａｒａｎｃｅ）を求めてよく、訓練エリアまでの飛行計画を受領する。
【０１４６】
エンジンスタートが完了すると、乗組員自動化システム１００は、操縦士に対して成功を報告してよく、例えば、（聴覚的に、またはマンマシンインターフェース１２６を介して）「タキシング準備ＯＫ」と報告してよい。操縦士はタキシング許可（ｃｌｅａｒａｎｃｅ）を要求し、乗組員自動化システム１００は、タキシング許可が聞こえたのを受けて、タキシング許可を文字化し、確認のため操縦士に対して表示する。次に、操縦士はアプリケーション上の「許可を受けてタキシング」ボタンを押し、乗組員自動化システム１００が、割り当てられた滑走路へのタキシングを行う。一方、操縦士は交通を監視する。滑走路末端で、操縦士は乗組員自動化システム１００に対して、離陸前チェックを実施するよう言語で命令を出す。システムは、必要なチェックを全て完了し、操縦士に対して、フライトコントロールといった重大な項目に関して手動でダブルチェックをするよう促す。例えば、乗組員自動化システム１００は、人間の操作者がチェックリストを実行するのを監視して、「チェックリスト完了」と出力するか、または飛行計画もしくはエラーを特定してよい。
【０１４７】
操縦士は、さらなる許可を受領した後、乗組員自動化システム１００に対して、航空機を誘導して滑走路上で待機（ｌｉｎｅ−ｕｐ  ａｎｄ  ｗａｉｔ）させ、そのあと最終的には離陸させるよう命令を出す。乗組員自動化システム１００は、主作動システム１０８ａを介してスロットルを前方に押し、認知システム１０６を介してエンジンと操縦席の計器を視覚的にチェックし、ＨＭＩシステム１０４を介して速度を声出し確認し、現在の重量、バランス、及び密度高度にとって適切な速度で回転する。操縦士は、スティック／ヨーク５１４に手を載せておき、乗組員自動化システム１００の入力を確認し、マッスルメモリーを保持する。乗組員自動化システム１００は、現在の状況に従って航空機の性能を確認し、予期される上昇率からの乖離が少しでもあれば報告する。上昇中の操縦士の作業負荷は、乗組員自動化システム１００によって削減されており、それによって、便数の多い空域において交通に目をやるための注意喚起時間（即ち、目を計器ではなく前方に向ける）を増やすことが可能になる。乗組員自動化システム１００は、所与のチェックリスト、航空機、または場所に関する、熟達した操縦士の助言もまた行ってよい。例えば、特定の空港において、乗組員自動化システム１００が人間の操作者に対して、「この滑走路からの出発角度（ｄｅｐａｒｔｕｒｅ  ａｎｇｌｅ）は急」といった、空港に固有の情報を教示してよい。
【０１４８】
飛行計画の稼働
乗組員自動化システム１００は、上昇の最高部で航空機を水平飛行させ、飛行計画の第１のウェイポイントに向かいながら、トリムとパワーの設定を調整する。乗組員自動化システム１００は、巡航中、全ての操縦席計器を視覚的に監視し続け、常時、エンジン及び航空機の性能を予期された値と比較し、少しでも乖離があれば操縦士に警報を発する。
【０１４９】
航空機は、訓練エリアに到着しその日の飛行計画を開始する。しかし航空機は、飛行計画の実施中に、計器気象状態（ＩＭＣ）が氷点下の温度である、そびえ立つ積雲内に入る。操縦士は、マンマシンインターフェース１２６のインターネット・リレー・チャット（ＩＲＣ）用ウィンドウを介して、この悪天候の上方に出るために２４，０００フィートに上昇する許可を地上に要求し、受領する。ある態様では、乗組員自動化システム１００が、地上に対して許可を要求する。
【０１５０】
異常の検出及び対応
しばらくすると、乗組員自動化システム１００は、上昇している中で、表示されている対気速度が、該当するピッチ及びパワーの設定に関してモデリングされた対気速度から徐々に乖離してきて、予期された値よりも低い値を示すのを検知し得る。これは、ピトーヒータが故障しており、ピトー管が氷結したという兆候である。この操縦士は、この航空機を飛行させたことが１００時間未満しかなく、このモデルのピトーヒータが頼りにならないと言われていることを認識していない。この操縦士は、対気速度計がノミナル値よりも低い傾向を示すことに、まだ気づいていない。
【０１５１】
しかし、乗組員自動化システム１００は、対気速度のデータが残りの飛行データ及び内部飛行ダイナミクスモデルと比べて異常であるということを認識し、操縦士に対して「対気速度計が故障」であることを聴覚的な警報を発する。操縦士は、対気速度の情報が現在頼りにならないことは認識するが、一方、航空機が計器の示す速度よりも速く飛んでいるのか遅く飛んでいるのかについては確信がない。
【０１５２】
乗組員自動化システム１００は、過去の異常のデータベースを利用して、一式の手順オプションを提示し、このエリアにおける最低安全高度（例えば８，０００ｆｔ）を強調する。操縦士は、より低い高度（例えば１０，０００ｆｔ）に至る翼のレベル、ピッチ、及びパワー降下という結果になる、最も控え目なオプションを選択する。乗組員自動化システム１００は、パワーを和らげ、ピッチをわずかに下げ、降下を開始する。１５，０００フィートにわたって降下している間に、ピトー管は再びオンラインになる。１０，０００フィートの地点で安定すると、乗組員自動化システム１００は、航空機を正しい水平な位置に保持する。一方、操縦士は、飛行計画に復帰する前に事態の評価を行う。
【０１５３】
乗組員自動化システム１００は、その日の飛行計画が完了すると、自動着陸手順を実行し得る。例えば、乗組員自動化システム１００は、航空機が最初の降下を開始してよい所定のウェイポイントまで、航空機をナビゲートし得る。降下中、乗組員自動化システム１００は、飛行状況を監視し、滑走路の位置を同定してよい。最終アプローチが済むと、乗組員自動化システム１００は、航空機を減速させ、最終的には航空機を着陸させる。乗組員自動化システム１００が着陸が実行不能（例えば障害物があったり飛行状況が不適合）だと判断した場合、乗組員自動化システム１００は、アプローチ失敗用ルーティンまたは他の不測事態用ルーティンを開始し得る。例えば、乗組員自動化システム１００は、同じ場所への着陸を再試行するか、または航空機を代替着陸地へとナビゲートし得る。代替着陸地に航空機を着陸させるための例示のシステムは、「自律的貨物搬送システム」と題する、共有の米国特許公開第２０１５／０３２３９３２号によって開示されている。
【０１５４】
乗組員自動化システム１００及び派生技術は、航空機及びフライトシミュレータの広い範囲にわたって適用され得る。航空機の飛行試験から導出された飛行性能特性は、操縦士の訓練に使われるフライトシミュレータの忠実度を向上させるのに使用することができる。フライトシミュレータが実際の航空機の性能データにアクセスできるようにすることは、フライトシミュレータの操作者たちにとって莫大な価値がある。乗組員自動化システム１００の別の利点は、空力性能及び飛行操作の品質に影響し得るセンサ及びアンテナの追加といったように、航空機が特別な飛行計画用に改造されているとき（例えば航空機の開発時）に、飛行性能特性を作り上げる機能があることである。加えて、乗組員自動化システム１００がキャプチャしたデータは、整備の必要性を感知する故障予測技術を用いて、航空機の健全性の監視のために使用することができる。
【０１５５】
乗組員自動化システム１００は、民間航空機の運航の安全性と有用性をさらに進める一方、人間の作業コストを大幅に節約する。例えば、乗組員自動化システム１００は、安全性及び効率性の向上のため、並びにこの先進的操縦士補助技術のコスト節約のため、長距離の航空貨物キャリアに応用されてよい。さらに、例えばこの最高度の状態機械は、飛行中の操縦士の訓練ツールの役割を果たしてよいか、または、従来、操縦士１人の航空機であったものについて、第２の目を提供し安全システムの役割を果たしてよい。マンマシンインターフェース１２６の一部は、全ての有人飛行操作を効率化するものであり、マルチクルーの操作でさえ効率化する。
【０１５６】
上記の特許及び特許公報の内容は、参照により、全体として本明細書に援用される。部品や特徴などの具体的な配設に関連して様々な実施形態が記載されてきたが、これらは全ての可能な配設または特徴を網羅することを意図しておらず、当業者には、実際に多くの他の実施形態、修正形態、及び変形形態が究明可能であろう。したがって、本発明が上記で具体的に記載されたものとは別の態様で実施され得ることは、理解すべきである。
【図１ａ】
2019048618.tif 000003
【図１ｂ】
2019048618.tif 000004
【図１ｃ】
2019048618.tif 000005
【図２】
2019048618.tif 000006
【図３ａ】
2019048618.tif 000007
【図３ｂ】
2019048618.tif 000008
【図４】
2019048618.tif 000009
【図５ａ】
2019048618.tif 000010
【図５ｂ】
2019048618.tif 000011
【図５ｃ】
2019048618.tif 000012
【図６】
2019048618.tif 000013
【図７ａ】
2019048618.tif 000014
【図７ｂ】
2019048618.tif 000015
【図７ｃ】
2019048618.tif 000016
【図７ｄ】
2019048618.tif 000017
【図７ｅ】
2019048618.tif 000018
【図８ａ】
2019048618.tif 000019
【図８ｂ】
2019048618.tif 000020
【外国語明細書】
2019048618000001.pdf
2019048618000002.pdf
2019048618000003.pdf
2019048618000004.pdf