衛星画像の時系列変化説明に向けたLVLMの比較

衛星データは，空間分解能と波長分解能の両面で飛躍的な進歩を遂げ，利用者が入手することのできる衛星データの種類も多くなった．中でも，撮影時期の異なる2枚の衛星画像（以下，二時期衛星画像）を用いた変化検出は，災害による被害状況の分析[1]に用いられるなど，実応用上も重要な役割を果たしている．二時期衛星画像からの変化検出として，従来はエッジ情報に基づいたハイライト[2]や，マルチスペクタルデータに基づいた面積変化量の検出[3]などが検討されてきた．しかし，このような変化の検出だけではなく，その変化を言語化し，一般利用者にも直感的に理解可能な形式にすることが望ましい．二時期衛星画像の時系列的変化説明の例を図1に示す．ここでは，荒れ果てた並木道が住宅地に変わっていることが説明されている．このような時系列変化説明生成に向けた既存データセットとして，Chenyangら[4]のLevir-CC1）が存在する．しかし，その説明は変化箇所を端的に描写1）https://github.com/Chen-Yang-Liu/RSICCThedesolatetree-linedstreethasbeentransformedintoabustlingresidentialneighborhoodwithhousesandparkedcars.化前，右の衛星画像は変化後を示す．した文となっている．時系列変化説明として，変化箇所の描画だけでは不十分であり，変化の内容や程度における重要度を言語化することが望ましい．たとえば，図1では，並木道から住宅地へのインフラ面での変化は，周辺の木々の増減といった自然環境の変化よりも重要度が高いと考えられる．そのため，変化の説明としてもこの点を強調した形で書かれることが望ましい．一方で，詳細な時系列変化説明を含むデータセットを新たに人手で構築するには，コストや所要時間という点で限界がある．そこで，本研究では二時期衛星画像の時系列変化説明データセットを効率的に構築することを最終的な目標として，Large-scaleVision-LanguageModels(LVLMs)によって生成した時系列変化説明の精度比較を行う．評価実験の結果，正解センテンス中の名詞網羅率においては，LLaVA-1.5[5]に二時期衛星画像を同時入力する手法が最も優れており，説明が事実に基づいているかという点，画像の詳細な情報が含まれているかという点において，GPT-4-vision-preview[6]に二時期衛星画像を同時入力する手法が最も優れていることを確認した．