空間情報学ユニット
Geoinformatics Unit

横矢 直人
Naoto Yokoya

with contributions from Wei He,
Bruno Adriano, Gerald Baier, and Junshi Xia

大規模自然災害への対応に寄与する空間情報解析技術の開発
今期の成果

光学
• 分類向き• 天候に左右SAR・光学データ融合により、不完全な地球観測画像から迅速な建物被害分類と土砂災害検出を実現

SAR（合成開口レーダ）• 全天候型• 非直感的全天候型土砂災害検出

建物被害分類• AI（機械学習）と異種データ融合により不完全なSAR・光学画像から建物被害を４段階で分類する手法を開発• 2018年スラウェシ島地震による建物被害の分類に応用し、インドネシア政府に解析結果を提供（東北大との共同）
Destroyed
DamagedPossibly damaged• 後方散乱メカニズムの変化を考慮したSAR画像処理により、全天候下で土砂災害を検出する手法を開発• 様々な土砂災害を検出可能（例：豪雨による土石流や、地震による山腹崩壊）• 災害直後の検出を実現（東北大、東工大との共同）

被災後

被災後

WorldView-2 imagery © DigitalGlobeWorldView-2 imagery © DigitalGlobe

被災前

被災前
6月7日

土石流領域

9月17日
9月28日
災害発生

山腹崩壊領域

10月1日
10月1日

WorldView-2 imagery © DigitalGlobeWorldView-2 imagery © DigitalGlobe

ALOS-2 imagery © JAXA; Rendering © RIKEN AIP

2018年スラウェシ島地震による建物被害の分類

平成30年7月豪雨による土石流の検出

IEEE国際コンペを主催

Multi-view
semantic stereo

AI
X
Numerical
Simulation• AIとシミュレーションの
平成29年7月九州北部豪雨の例
統合による衛星画像を用いた土砂災害把握の高度化（R-CCSとの共同）• 衛星画像から災害発生箇所だけでなく、土砂堆積量や浸水深度を推定
衛星画像

http://www.grss-ieee.org/community/technical-committees/data-fusion/
Pairwisesemantic stereo

北海道胆振東部地震による山腹崩壊の検出

今後の展望

大規模衛星画像集合から、AIにより都市の３次元モデルと土地被覆分類図を同時推定（JHU, IARPAとの共同）
Single-view
semantic 3D

ALOS-2 imagery © JAXA; Rendering © RIKEN AIP

3D point cloudclassification

土砂堆積物深度

浸水深度

災害状況把握を支える基盤技術
衛星画像認識衛星画像修復・再構成

Optical (T1)

Optical (T2)

Berlin端成分の反射スペクトル[3]et al.
Schmitt

学習
SAR

Groundtruth

含有率分布1光合成植生

SAR (T2)

時系列SAR画像のノイズ除去• SAR・光学画像を用いたマルチモーダル深層学習によりSAR
画像のみで高精度な土地被覆分類を実現（DLR、TUMとの共同）• 反射スペクトルデータベースと超多波長画像の不一致に対応する物質・含有率分解手法を開発（IEEE TIP）

0光学Amsterdam
Rome

超多波長画像Madrid非光合成植生• 時間方向を考慮したGANによるSAR・光学画像変換• 低ランクテンソル解析によるSAR・光学画像ノイズ除去/雲と雲影の同時除去（IEEE TGRS, ICASSP, CVPR）

1
Lignin0Al-OH

Reference

SAR・光学画像変換

土壌予測
SAROurs

時系列光学画像の雲・雲影除去

マルチモーダル学習による土地被覆分類

10

超多波長画像を用いた物質・含有率分解

B. Adriano, J. Xia, G. Baier, N. Yokoya, S. Koshimura, “Multi-source data fusion based on ensemble learning for rapid building damage mapping during the 2018 Sulawesi earthquake and tsunami in Palu, Indonesia,” submitted to Remote Sensing, 2019.
B. Adriano, N. Yokoya, M. Matsuoka, S. Koshimura, “A pixel-object method for detecting landslides using multi-temporal SAR intensity,” submitted to Remote Sensing, 2019.
W. He, Q. Yao, C. Li, N. Yokoya, and Q. Zhao, “Non-local meets global: An integrated paradigm for hyperspectral denoising,” Conference on Computer Vision and Pattern Recognition (CVPR), 2019.
W. He, L. Yuan, and N. Yokoya, “Total-variation-regularized tensor ring completion for remote sensing image reconstruction,” International Conference on Acoustics, Speech, and Signal Processing (ICASSP), 2019.
D. Hong, N. Yokoya, J. Chanussot, and X. X. Zhu, “CoSpace: Common subspace learning from hyperspectral-multispectral correspondences,” IEEE Transactions on Geoscience and Remote Sensing, 2019.
D. Hong, N. Yokoya, J. Chanussot, and X. X. Zhu, “An augmented linear mixing model to address spectral variability for hyperspectral unmixing,” IEEE Transactions on Image Processing, vol. 28, no. 4, pp. 1923-1938, 2018.
D. Hong, N. Yokoya, N. Ge, J. Chanussot, and X. X. Zhu, “Learnable manifold alignment (LeMA): A semi-supervised cross-modality learning framework for land cover and land use classification,” ISPRS Journal of Photogrammetry and Remote Sensing, vol. 147, pp. 193-205, 2018.
W. He and N. Yokoya, “Multi-temporal Sentinel-1 and -2 data fusion for optical image simulation,” ISPRS International Journal of Geo-Information, vol. 7, no. 10, pp. 389, 2018.
N. Yokoya, P. Ghamisi, J. Xia, S. Sukhanov, R. Heremans, I. Tankoyeu, B. Bechtel, B. Le Saux, G. Moser, and D. Tuia, “Open data for global multimodal land use classification: Outcome of the 2017 IEEE GRSS Data Fusion Contest,” IEEE J. Sel. Topics Appl. Earth Observ. Remote Sens., vol. 11, no. 5, pp. 1363-1377, 2018.