ビジネスの常識を変える生成 AI 特集

急速に広まる生成 AI の市場適用

LLM と画像分析を活用した被災状況の把握
谷 真宏

寺尾 真枌 尚弥

柴田 剛志

先崎 健太

ロドリゲス ロイストン

要 旨
近年の豪雨災害の激甚化や近い将来における巨大地震発生への懸念を背景に、災害対策のより一層の強化が求められています。災害発生時においては、避難誘導や救助活動などの初動を迅速に行い、被害を最小化できるよう、被災状況を素早く的確に把握することが重要です。本稿では、災害発生時に集まる膨大な被災現場の画像を活用し、大規模言語モデル（Large Language Model、LLM）と画像分析により被災状況を把握する技術について紹介します。

Keyｗords

大規模言語モデル／LLM／画像分析／画像検索／位置推定／クロスビュー照合／防災／災害対策／被災状況把握

る被災現場の画像（スマートフォン、ドライブレコーダー、街1. まえがき

頭カメラなど）には、詳細な被災状況や場所の情報が含ま近年、豪雨災害の激甚化や巨大地震の発生など、世界のれているため、現場画像の活用が期待されています。

多くの地域で自然災害の頻度や深刻さが増しています。こ

本稿では、初動の迅速化に向けて、膨大な現場画像かうした災害発生時には、被災者の避難誘導や救助活動などら被災状況の把握に必要な画像を素早く的確に探し出し、の初動を迅速に行えるよう、被災状況を素早く的確に把握それらを番地レベルの正確さで地図上に表示する被災状することが極めて重要です。しかし、災害発生時に関係省庁

況把握技術について紹介します。

が公開している降水量分布や震度分布、住民から寄せられる被害や安否についてのテキスト情報には、詳細な被災状

2. 技術の特長

況や場所の情報は十分に含まれておらず、迅速な初動の実被災状況把握技術により、膨大な現場画像から利用者現にはいまだ課題があります。一方、自治体などへ提供されフリーワードで探す

画像検索AI（LLM活用・画像分析）

浸水した道路倒壊した建物利用者が探したい場面に絞り込み

位置推定AI（クロスビュー照合）

画像で探す
この画像と似た場面を探してほしい

被災場所を地図上に番地レベルで表示
地図データ© OpenStreetMap

画像の出典：東北大学・岡谷研究室

膨大な現場画像

図1

被災状況把握技術の概要
NEC技報／Vol.75 No.2／ビジネスの常識を変える生成AI特集

47急速に広まる生成 AI の市場適用

LLM と画像分析を活用した被災状況の把握が必要な画像を探し出し、地図上に表示することができまて、街の広い範囲をカバーする上空画像や地図データと照す（図1）。第 2 章では、これを実現する画像検索 AIと位合（クロスビュー照合）することで、現場画像の場所を番置推定 AIの特長を説明します。

地レベルの正確さで推定し、地図上に表示することができます。
災害時などの緊急時に提供される現場画像には、必ず2.1 画像検索 AI
画像検索では、大規模言語モデル（Large Language

しも位置情報が付与されておらず、被災場所の特定が難Model、以下、LLM）による言葉の意味解釈と画像分析にしい場合があります。これまで NEC は、衛星画像や航空よる画像の類似性判定を活用することで、膨大な現場画像の写真などの上空画像を活用して場所を推定する技術を開中から利用者の意図に合う画像を探し出すことができます。

発してきました1）が、今回、地図データの地理情報を合わ

従来、画像を検索するためには画像認識技術が広く用せて活用することで、世界最高水準の照合精度を達成 2）

いられてきましたが、あらかじめ学習した特定の対象物しし、災害時の現場画像でも高精度に場所を推定することか認識できず、探し出せる画像が限られていました。そのが可能になりました。

ため、災害の種類、規模や被災地域、事態の進行状況に本技術は、現場画像から道路、建物、信号機などの領域よって多様化する利用者の意図に応じて、的確に調査するを自動抽出し、地図のレイアウト情報（道路や建物などのことが難しいという課題がありました。

形状や配置）と照合することで場所を推定します。これに本技術では、LLMを活用することで、利用者が自由に入より、地震の際は建物よりも損壊リスクの低い道路の情報力可能なフリーワードによってさまざまな対象物を現場画を積極的に用い、水害の際は道路よりも冠水リスクの低い像のなかから探し出すことができます。更に、画像分析を併

建物の情報を用いて照合することで、建物の一部倒壊や用することで、言葉では表現が難しい場面でも、利用者が探道路の一部浸水がある現場画像でも高精度に撮影場所をしたい場面を画像で指定することによって類似した画像に推定することができます。

絞り込むことが可能です。このようにフリーワードによる検索と画像による検索を組み合わせることで、利用者の意図に合う画像を的確に探し出すことができるため、さまざまに変化する被災状況に素早く対応することができます。

3. アプリケーション
本技術を用いて大量の現 場画像から被災状況を把握するアプリケーションを図 2に示します。利用者とシステムとの対話的なやりとりによって画像が絞り込まれ（画2.2 位置推定 AI
位置推定では、被災場所が分からない現場画像につい

図248面左）、絞り込まれた画像の場所が地図上に表示されます

被災状況把握のアプリケーション

NEC技報／Vol.75 No.2／ビジネスの常識を変える生成AI特集

急速に広まる生成 AI の市場適用

LLM と画像分析を活用した被災状況の把握（画面右）。図 2の例では、まず、フリーワード入力によって「倒壊した建物」の画像を探し出しています。更に、検索結果のなかから被害が大きい画像を選んで指定することで、被害の度合いのような言葉では表現しにくい状況まで関連 URL
NEC、大規模言語モデル（LLM）と画像分析により被災状況を把握する技術を開発
https://jpn.nec.com/press/202308/20230825_02.html

考慮して画像を絞り込むことができます。検索された画像は、位置推定によって得られた情報に基づいて地図上に表示されます。このように、本技術を用いることによって、利用者が調べたいさまざまな被災状況を素早く把握することができるようになります。

4. むすび
本稿では、災害発生時の膨大な被災現場の画像を活用し、LLMと画像分析により素早く的確に被災状況を把握する技術について紹介しました。NEC は今後、本技術を実用化し、災害発生時の避難誘導や救助活動をはじめとする初動の迅速化を目指します。また、LLM や画像分析技術の活用シーンを広げていくことで、社会の安全・安心、利便性の向上に貢献していきます。

参考文献
1）NEC プレスリリース： NEC、景観画像の場所を衛星画像や航空写真から推定する技術を開発，2022.2

https://jpn.nec.com/press/202202/20220210_03.html

2）Royston Rodrigues ， Masahiro Tani：SemGeo:
S e m a n t i c K e y w o r d s f o r C r o s s -V i e w I m a g e

Geo-Loc alization，IC A SSP 2023 - 2023 IEEE
International Conference on Acoustics, Speechand Signal Processing (ICASSP)，2023.6

https://ieeexplore.ieee.org/document/10094763

執筆者プロフィール
谷 真宏

寺尾 真

ビジュアルインテリジェンス研究所
ディレクター

ビジュアルインテリジェンス研究所
ディレクター

枌 尚弥

柴田 剛志

ビジュアルインテリジェンス研究所
研究員

ビジュアルインテリジェンス研究所
シニアプロフェッショナル先崎 健太

ロドリゲス ロイストン

ビジュアルインテリジェンス研究所
プロフェッショナル

NEC Laboratories Singapore
Senior Researcher

NEC技報／Vol.75 No.2／ビジネスの常識を変える生成AI特集

49

NEC 技報のご案内
NEC 技報の論文をご覧いただきありがとうございます。
ご興味がありましたら、関連する他の論文もご一読ください。

NEC技報WEBサイトはこちら
NEC技報（日本語）NEC Technical Journal（英語）Vol.75 No.2 ビジネスの常識を変える生成AI特集〜社会実装に向けた取り組みと、それを支える生成AI技術〜

ビジネスの常識を変える生成 AI 特集によせて
生成 AI 技術への取り組み 〜基盤から応用、ルール作りまで〜◇ 特集論文急速に広まる生成 AI の市場適用
NEC における生成 AI の取り組みについて

電子カルテと医療文書の作成支援による医師業務効率化
映像× LLM による報告書作成業務の自動化
映像分析と生成 AI によるリアル世界の行動理解
サイバー脅威インテリジェンス生成自動化
生成 AI の社内活用を進める NEC Generative AI Service（NGS）
ソフトウェア・システム開発への生成 AI の活用
LLM と MI で革新する素材開発プラットフォーム
LLM と画像分析を活用した被災状況の把握

生成 AI の可能性を高める基盤技術
日本語性能に優れた NEC の大規模言語モデル（LLM）
NEC の生成 AI を支える国内企業で最大規模の AI スーパーコンピュータ
より安全な大規模言語モデル（LLM）を目指してデータを秘匿したまま連携できる連合学習技術と LLM への適用可能性
大規模言語モデル（LLM）による Few-shot クラスタリングの可能性

オープンドメイン常識推論のための知識拡張型プロンプト学習
AI 連携とオーケストレーションのための基盤ビジョン LLM
クエリを考慮した新規手法により関連する企業データを減らし LLM API の使用コストを最適化

AI 技術が社会へ浸透するために

AI 標準化・ルールメイクに関する動向と NEC の取り組み
人権尊重に向けた NEC の AI ガバナンスの取り組み
RCModel を用いた AI リスクマネジメントのための人材育成事例◇ NEC Information

2023 年度 C&C 賞表彰式典開催

Vol.75 No.2
（2024年3月）
特集TOP