研開でのAI研究紹介～2021年度AI分野、有人支援ロボット分野ミニワークショップ～

2022/2/16
宇宙航空研究開発機構
研究開発部門 第三研究ユニット
石濱 直樹

研究テーマ（抜粋）
知能を人から機械へもたせることによる最適な自律ハイブリッドシステムの実現～地上・搭載を適材適所に活用した最適なシステム～
テーマ

課題①：
センシング技術課題②：
状態推定技術課題③：
計画・状況予測技術

我々の研究概要
深層学習を用いてSAR画像から特定船舶を識別。オンボードでの識別を可能とする

説明

深層学習を用いて月面画像からクレーター・ボルダーの識別が出来るエコシステムの開発

説明

軸推定

深層学習を用いてデブリ対象物（衛星・ロケット上段）の画像から軸を推定

説明

再使用ロケット故障診断

再使用ロケットの再整備期間・コストの大幅低減実現にむけたヘルスマネージメント（故障診断）

説明

宇宙機（搭載）故障診断

レジリエンス宇宙機（例：HTV-X）の自在性を上げるために、故障している誘導制御・推進系のみを識別

衛星の故障診断

人工衛星衛星運⽤におけるテレメのトレンド監視を⾃動化・省⼒化

熱状態推定

衛星の熱状態が推定でき、将来の熱の状況を予測可能とする熱モデルを構築

衛星衝突回避運用予測

デブリの衝突可能性を予測し、自動で回避計画を生成

衛星群の観測運用計画の最適化

コンステレーション衛星の観測運用計画を最大化する最適な運用計画を生成

識別（分類・検出）課題④：
自律システムの信頼性・安全性技術

予測困難な不確実性を含んだAI自律システムの信頼性・安全性論証

2021年度AI分野、有人支援ロボット分野ミニワークショップ©JAXA

説明2

テーマ１：センシング（分類・検出）＠船舶識別■ Motivation
・Pirates and illegal fishery do not transmit the AIS signal, and they may camouflage AIS information in somecases→ The maritime security would like to classify/find ships without using AIS■ Objective
・Constructing a system that classifies the position, length, and type of ships from SAR images for early detectionof suspicious ships■ Overview of the system
FPGA

2021年度AI分野、有人支援ロボット分野ミニワークショップ©JAXA3

テーマ２：センシング（分類・検出）＠クレーター検出■ Motivation
・The evidence of volatiles (such as water) was discovered from the LCROSS mission by NASA・ We need to create a safe exploration map for the rover, but human is a hard task/high cost to classify
craters/boulders.

■ Objective
・Constructing a system that classifies existence, center position, and diameter of various size/form (1px~)
obstacles (craters/boulders) from an optical image.

■ Overview of the system
・Obstacles detection subsystem (ODS)
classifies the existence, center position,and diameter of each obstacle even if
appearing in only one pixel from an
optical image.
・Generating annotated data subsystem(GAD) inspects the classified results
based on neurons' decision validity, finetune on web site by human and adds thecleansing data to the data set.
2021年度AI分野、有人支援ロボット分野ミニワークショップ©JAXA4

テーマ３：センシング（軸推定）■ Motivation
・Space debris is a non-functioning artifact in earth orbit, and the number of these artifacts is increasing rapidlydepending on space development progresses→ JAXA must attempt to remove space debris by causing re-entry or moving it into a disposal orbit.

■ Objective・Constructing a system that estimates the 6-DoF pose for axisymmetric objects from the optical camera withhigh accuracy considering uncertainty for the mission.

■ Overview of the system
512 px𝑥

14 parameters

𝑍𝑊𝑢 𝑧

𝑍

Overlay estimation

𝑊𝑢 𝑧

𝑥

…
𝑥

Optical data(simulation)

…

𝑥𝑢 𝑧

…

512 px

𝑢 𝑧

𝑢 𝑧𝑢

𝑊𝑥𝑢𝑏

𝑊𝑧

𝑧
𝑓 𝑢𝑍𝑏

Our system (Deep Learning with Bayesian)
2021年度AI分野、有人支援ロボット分野ミニワークショップ©JAXARelation position:
𝑥, 𝑦, 𝑧[m]Direction unit vector:
𝑛 ,𝑛 ,𝑛Rotation around travel:
𝜃 [deg]Uncertainty:
𝑥 ,𝑦 𝑧 ,𝑛 ,𝑛 ,𝑛 ,𝜃Output5

テーマ４：状態推定（故障診断）＠ロケット
JAXAの再使⽤ロケット研究

RSRエンジン地燃

再使⽤ロケット実験機(RV-X)

 整備コストが再使⽤ロケット運⽤の鍵
 ⽀配要因はフライト間におこなわれるエンジン点検(取り外し/分解点検/再取り付け)→AIを⽤いてエンジン点検の⾼度化を⽬指す
2021年度AI分野、有人支援ロボット分野ミニワークショップ©JAXACALLISTO実験機
再使⽤ロケット整備6

テーマ４：状態推定（故障診断）＠ロケット
純データ駆動型⼿法[Sato(M)+ 2019]

Temperature
Temperature[Tsutsumi+ 2020]

-100

0

100

200

Time, sec

300400

時系列全体を⾒渡して変化を抽出（DTW距離と位相⾯を⽤いた時系列⽐較）

瞬間値（局所的）な変化を抽出（インバリアント分析による異常検知）シミュレーション併⽤型（モデルベース）⼿法[Satoh(D)+ 2020][Omata+ 2020]

複数センサの挙動を利⽤したシミュレータ構築とデータ同化による燃料漏洩の検知・診断・センサ最適化
パラメータの⾃動合わせこみ
2021年度AI分野、有人支援ロボット分野ミニワークショップ©JAXA[Omata+ 2022] (in print)

複数の不確実性の⾒積りとRV-X地上燃焼試験への適⽤7

テーマ５：信頼性・安全性■ Motivation
・It is necessary to explain whether the image processing model is confident or not in the task where the accuracyof image classification is low due to noisy image, low resolution, or low training data.
→ It is required to explain whether the output is confident or not with "Convincing" Explanation.

■ Objective
・Constructing a system that explains the certainty and rationale for ship classification of SAR image.

■ Overview of the system (under study)

𝑥𝑍𝑊𝑢 𝑧

𝑍𝑊𝑢 𝑧𝑥𝑥…

…

SAR image…

𝑥𝑢 𝑧𝑢 𝑧𝑢 𝑧𝑢𝑊𝑥𝑢𝑏𝑊𝑧

𝑍𝑧
𝑓 𝑢

Ship class: "Tanked"
Because: XXX is YYY𝑏

Our system (Deep Learning)
2021年度AI分野、有人支援ロボット分野ミニワークショップ©JAXA

8

テーマ５：信頼性・安全性■ Conventional methods

Applied to SAR image•The explanation is insufficient
if people do not understand what
the area of interest is pointing to.

•It cannot be divided into
explainable parts if the amountof information in the image is
not large enough.

Grad-CAM

ProtoPNet
Original image

Original image
Part attention

fromTraining dataset

Part attention
fromTraining dataset

Grad‐cam: Visual explanations from deep networks via gradient‐based localization,R. R. Selvaraju, M. Cogswell,et al. InICCV, pages 618–626, 2017.
ProtoPNet: This Looks Like That: Deep Learning for Interpretable Image Recognition, C.Chen, et al., 2019.

2021年度AI分野、有人支援ロボット分野ミニワークショップ©JAXA

What is a convincing explanation
for an unfamiliar image unlikecamera image?
9