人工衛星の撮影する高解像度画像の応用と柏キャンパス運用局への期待
吉川一朗 新領域創成科学研究科 複雑理工学専攻
yoshikawa@edu.k.u-tokyo.ac.jp
横矢直人（複雑理工学専攻), 出口敦（社会文化環境学専攻）
1号機

Xバンド

２号機 Sバンド

深層学習技術に基づくく画像解析
東日本大震災の津波被害の調査（家屋）火災保険会社に需要あり

人工衛星 通信アンテナ＠柏キャンパス（H31.4）
2021/01/14 15:40-15:55 講演６ 人工衛星の撮影する高解像度画像の応用と柏キャンパス運用局への期待

はじめに、Sun

Mercury

Venus

人工衛星を用いた宇宙惑星科学の研究方法の一例を紹介
EarthMars

何がプラズマトーラスの変動を駆動しているのか？

オーロラの周期変動

人工衛星「ひさき」（2013-present)

太陽風の変動トーラスの変動
木星オーロラ太陽風(Yoshikawa et al., 2016 GRL)

トーラス

2021/01/14 15:40-15:55 講演６ 人工衛星の撮影する高解像度画像の応用と柏キャンパス運用局への期待人工衛星「ひさき」

宇宙望遠鏡「ひさき」と地上大型望遠鏡の連携ー 木星衛星イオの火山噴火を予測し、見たいシーンを人工衛星で撮影 ー

１００分で地球を１周⑦衛星コマンド送信

東京大学

知識のインプット

マンパワーに依存

迅速とは程遠い！
⑤科学的知見に基づく
衛星運用プラン作成①データ送信⑥リクエスト
ISAS/JAXA

迅速④インターネットで公開
迅速
迅速
迅速

②受信データ③受信データの処理

サイネット
木星衛星イオの火山の様子 赤外線画像

Jan. 14Jan. 15 Jan. 16

研究者

Jan. 22 Jan. 26
地上望遠鏡局
＠スペイン、ハワイ等

2021/01/14 15:40-15:55 講演６ 人工衛星の撮影する高解像
度画像の応用と柏キャンパス運用局への期待

太陽風＆惑星間空間の情報
NASA＆NICT④木星到達時刻と規模を予測惑星科学の研究者は惑星大気/プラズマに起こる見たい現象の始まり（兆候）を検知し、現象の一部始終を記録する努力を続けています。
木星のオーロラの様子
この努力の仕方（人工衛星ならびにデータ収集一式）を社会インフラとして利用できないか？と常々考えていました。

地吸周辺のプラズマの様子

柏キャンパスの衛星運用局

2021/01/14 15:40-15:55 講演６ 人工衛星の撮影する高解像度画像の応用と柏キャンパス運用局への期待

JAXAの衛星運用室

東京大学工学系研究科の開発した「ほどよし１号」の運用

マウナ・ロア（ハワイ島）火山

西パプア（インドネシア）
違法伐採の監視

柏キャンパス スマートアンテナ局（衛星運用室）

現状学生２名で運用

マナグア（ニカラグア）
火山（観光地）S-, X-バンドアンテナ（柏キャンパス.
国立大学改革強化促進補助金（H30),
超小型衛星開発拠点設置事業（H26H30）にて整備. R3.3に３号機を増設予定.

コア・カラマット（パキスタン）
海岸線

衛星画像を用いた研究活動

2021/01/14 15:40-15:55 講演６ 人工衛星の撮影する高解像度画像の応用と柏キャンパス運用局への期待1. コロナ禍の航空産業

2021/01/14 15:40-15:55 講演６ 人工衛星の撮影する高解像度画像の応用と柏キャンパス運用局への期待• Figure 1. 7-day moving average of the number of commercial flights perday (UCT time), which includes commercial passenger flights, cargo flights,charter flights and some business jet flights based on [1].

飛ぶ予定のない航空
機はどこに？
予備の駐機場を準備している空港（国）は？
航空機のメンテ部品はどこに集めるのが得策か？

2021/01/14 15:40-15:55 講演６ 人工衛星の撮影する高解像度画像の応用と柏キャンパス運用局への期待人工衛星の撮影した画像から、主要空港の状況を調査

Figure 2. The coordinate locations of 100
large airports selected globally for thisstudy.

Figure 6. An example of the result of
airplane detection in a satellite imageof Tokyo International Airport (HND) inAugust 2020.

2021/01/14 15:40-15:55 講演６ 人工衛星の撮影する高解像度画像の応用と柏キャンパス運用局への期待

YOLOv4 : 物体を検出する機械学習モデル
一枚の写真の中の物体を検出するYOLOシリーズの最新版です。YOLOv3までの作者のJoseph Redmonは2020年2月に開発終了を発表しており、YOLOv4はDarknetのWindows版を開発しているAlexey
Bochkovskyによって開発されました。（YOLOv4 : 物体を検出する機械学習モデル - axinc – Mediumより引用）

2021/01/14 15:40-15:55 講演６ 人工衛星の撮影する高解像度画像の応用と柏キャンパス運用局への期待

Figure 5. The overview
framework of our method basedon YOLO-v4 for satellite imagery

アジア主要空港

欧州主要空港Figure 7. Results of the number of airplanes detected atfour Asian airports (PEK, HND, ICN, DEL) since January
2018 to November 2020.

Figure 8. Results of the number of airplanes detected at four
European airports (MUC, LHR, LGW, CDG) since January
2018 to November 2020.

アジアの空港、ミュンヘン空港はコロナ禍の初期に駐機数が増えている。
2021/01/14 15:40-15:55 講演６ 人工衛星の撮影する高解像度画像の応用と柏キャンパス運用局への期待北アメリカ主要空港

アフリカ主要空港

Figure 9. Results of the number of airplanes detected at four
North American airports (YYZ, ORD, LGA, HAV) sinceJanuary 2018 to November 2020.

Figure 10. Results of the number of airplanes detected
at four African airports (JNB, CMN, ALG, NBO) sinceJanuary 2018 to November 2020.

オークランド、トロント空港はコロナ禍の初期に駐機数が増えている。
2021/01/14 15:40-15:55 講演６ 人工衛星の撮影する高解像度画像の応用と柏キャンパス運用局への期待2. 地球観測を支える画像再構成 の紹介

2021/01/14 15:40-15:55 講演６ 人工衛星の撮影する高解像度画像の応用と柏キャンパス運用局への期待

地球観測を支える画像再構成
都市画像

Cuprite Hills,
富士山火口
Nevada, US• 衛星画像には，センサ特性や大気条件に起因する不完全性が存在• 欠損（雲）• ノイズ• 低解像度• 数理最適化・機械学習・信号処理により，不完全な多次元観測データから元の信号を復元• 人の視覚を超えるセンシング技術の高度化

左：雲の除去，中央：SAR画像のノイズ除去，右：ハ
イパースペクトル超解像（鉱物の同定）

2021/01/14 15:40-15:55 講演６ 人工衛星の撮影する高解像
度画像の応用と柏キャンパス運用局への期待学習データ不要な深層学習画像融合
低空間・高波長分解能画像

RGB画像

低解像度ハイパースペクトル画像

融合画像

パンシャープニング

ハイパースペクトル超解像

高空間・低波長分解能画像

パンクロマティック画像

低解像度マルチスペクトル画像

高解像度ハイパースペクトル画像

高解像度マルチスペクトル画像• 深層畳み込みニューラルネットワークの特性を生かした学習データ不要な画像
融合に基づく超解像技術を開発 Uezato, Hong, Yokoya, He (ECCV2020)• 複数の画像融合タスクで世界最高性能を実現
2021/01/14 15:40-15:55 講演６ 人工衛星の撮影する高解像
度画像の応用と柏キャンパス運用局への期待小型衛星衛星群

データ解析・サービス提供に注力（まだ完成していない）

迅速な物体検知と衛星運用の統合⑥次の衛星に衛星コマンド送信④機械学習等使った判断
衛星運用プラン作成①データ送信衛星事業者⑤リクエスト
実社会の関心ごとを抽出し、地理座標に表現③優先順位に従い、転送②受信データの処理

受信データの処理

高速通信

2021/01/14 15:40-15:55 講演６ 人工衛星の撮影する高解像度画像の応用と柏キャンパス運用局への期待〇検索ワードのランキング〇
ニュースワードSNS, インターネット

まとめ と 展望より踏み込んだ人工衛星の活用
ー 迅速な事象検知と「今必要な」データを取る衛星運用 ー

1号機 Xバンド
２号機 Sバンド• 衛星運用設計に人工知能（Artificial Intelligence;AI）を用い、超小型衛星群による地球規模の計測を自律化を目指しています。
●見たいものを逃さない●事後解析から予測へ（プロ野球中継のコメンテータ的な活動からの脱却）• 人工衛星を開発するチーム、搭載カメラを開発するチーム、人工知能を用いた物体検知を得意とするチー
ム、このようなデータを活用できるチームに柏キャンパスのインフラを組み合わせた衛星観測網を整備し、社会インフラとして活用したい。
●東大工学系の開発した「ほどよし１号」の運用による実績あり
2021/01/14 15:40-15:55 講演６
キャンパス運用局への期待

人工衛星の撮影する高解像度画像の応用と柏