DEIM2021 J11-1

ヒューマンコンピュテーションを利用した
自然災害被災写真の位置情報の推定手法
金承彦†

松原 正樹††

森嶋厚行††† 筑波大学 情報学群知識情報・図書館学類 〒 305-8550 茨城県つくば市春日 1-2†† 筑波大学 図書館情報メディア系 〒 305-8550 茨城県つくば市春日 1-2
E-mail: †seungun.kim.2020b@mlab.info, ††{masaki,mori}@slis.tsukuba.ac.jp
あらまし

自然災害による災害状況の把握は, 行政の災害対応への重要な段階の 1 つである. 災害発生後, 多くの人々が SNS 上に被害状況を写した写真を投稿しており, これらは災害状況の把握を行うための貴重な情報源となり得る.
しかし, このような投稿写真には位置情報が付与されていないことが多く, 位置情報が無い写真と実際の撮影地点を直接結びつけることは次の 2 つの理由から困難である. (1) 様々な角度や高さから撮影される. (2) 災害により, 地図上に描かれている建物と情報が異なる. 本論文ではこれらの問題に対するヒューマンコンピュテーションによる解決方法の可能性を探る. 具体的には, 人間に写真の鳥瞰図を描いてもらい, 建物の位置関係を考慮した類似度の検索により撮影地点の推定を行う.
キーワード ヒューマンコンピュテーション, 手書き地図, 被害写真, 位置情報, 災害情報把握

1 はじめに
自然災害の発生時, 災害の被害情報を迅速に収集し, 状況の把握を行うことは人命救助を行うことと同様に政府の災害対応への重要な段階の 1 つである. 行政は状況を把握するために多くの場合, 災害分野の専門家による被害調査の実施によって災害の被害情報を収集する. これらの調査結果は概ね正確であるが,自然災害の長期化によって調査に時間がかかってしまうことや,多くの専門家を継続的に雇用するための人的資源の都合上, 現状の収集手法は迅速な被害状況の把握に繋がっていないことが問題点として挙げられている.
しかし災害は発生から刻一刻と状況が変化していくため, 行政が柔軟に災害対応をしていくためには, 被害情報がリアルタイムに収集されることが望まれる.
そこで先行研究では, 情報収集のプラットフォームとして

SNS(ソーシャルネットワークサービス) に着目した研究が行われてきた. これに基づき, 災害発生時の迅速な被害情報の収集を行うために, 本研究では SNS から災害関連情報を入手することが有効な手段であると考えた.

SNS の投稿にはテキストと投稿写真が付与されているが,SNS 上では災害発生時, 多くのユーザが自然災害の被災写真(図.1) をリアルタイムで投稿しており, これらの写真には被災地の様々な場所での被害に関する情報が含まれていることから,
私たちは投稿写真を利用して自然災害時に被害を受けた地点を迅速に把握することに着目した.
しかし, 写真が付与されていないものも含めた SNS の多くの投稿は, 位置情報が付与されていないことが多く, また, 位置情報が付与されていない写真から直接, 撮影地点を特定することは以下の 2 つの理由から困難であることが予想される.

図 1 実際に SNS 上に投稿されている写真の例 (ぼかし済み)

第一に, 投稿された全ての写真は, ユーザによって様々な角度や高さで撮影されているからである. したがって, 調査対象となる被害地域についての, ユーザが撮影する可能性のある全ての角度, 高さを考慮した写真のデータセットを事前に取得する必要があるが, 全ての地域にこのようなデータセットが存在する
わけではないため利用することが難しいと考えられる.
第二に, 自然災害により, 投稿写真内に写っている建物の状況
が地図上の情報と一致しない可能性があるからである. 浸水や倒壊などによって, 投稿された写真は自然災害が発生する前に撮影された写真とは外観が異なっていたり, 地図上の建物などの情報と一致しない可能性があるため, 対象地域の地図を撮影
地点特定の手がかりにすることは難しい.
以上に述べた理由から, SNS 上に投稿される位置情報が付与されていない投稿写真は利用が難しく, 災害の被害情報の収集において不適なデータとして扱われ, 災害状況の把握に利用されることは少ない. しかし, このような投稿写真の撮影地点を推定することが可能になれば, SNS 上のより多くの投稿から災害の被害情報を入手することができ, 現状よりも早い段階での被害状況の把握に繋がることが期待される.

図を入手するタスクを行う. 人間は, 写真内の建物同士の位置関係を認識し, 自然災害が発生する前から存在していた建物を補完する能力に長けていると期待される.
フェーズ 2: 計算機によって手描き地図と合致する地点を災
害発生区域の地図上から検索する. 正解地点の地図の断片を特定するには, 手描き鳥瞰図と地図の断片の類似性を測定する必
図2

提案手法の全体像要がある. これは, 地図の断片と完全に合致する手描き鳥瞰図が存在しないためである. このフェーズでは, 写真内の建物の位置

本論文では, 自然災害の状況下で撮影された投稿写真の位置情報を推定するためのヒューマンコンピュテーションを利用した手法についての検討を行う. ヒューマンコンピュテーションの利用にあたって, 本研究では位置情報が付与されていない SNSの投稿写真の撮影地点を特定する際の 2 つの問題点を解決し,特定を可能にするために人間に備わっている計算機に勝っている能力に注目する.
第一に, 人間に備わっている空間認識能力に着目する. 人間は,二次元上に表現される地図と地図に対応した地点の立体的視点
を相互に補完し, 繋ぎ合わせる能力を持つ. この空間認識能力を利用することで, 三次元の投稿写真から二次元の上空から見た鳥瞰図に変換することができるのではないかと考えた. 写真から撮影地点周辺の鳥瞰図を作成することが可能であれば, 建物と道路の位置関係のみを抽出することができ, 撮影地点の特定関係に基づく類似度の指標を示す.
本提案手法は, 既存研究と異なり, 自然災害における SNS を活用した被害状況の把握において, 写真が位置情報を持つことを前提としない. したがって, 従来の手法では不適なデータとして扱われていた位置情報が付与されていない災害関連の投稿写
真の撮影地点を特定することによって, 災害時にこのような投稿も位置情報が付与されている情報として扱うことを可能とす
る. これにより, SNS 上の投稿から従来よりも多くの災害の被害情報を収集することが可能となり, 迅速な災害状況の把握に繋がることが期待される.
本論文の構成は次の通りである. まず, 第 2 章では関連研究について述べる. 次に第 3 章ではフェーズ 1, 第 4 章ではフェーズ

2 の実験の内容と結果についてそれぞれまとめる. 最後に, 第 5章で結論について述べる.

の手がかりとなることが期待される.
第二に, 人間の景色の状態を補完する能力に着目する. 災害時

2 関連研究に撮影される写真は, 浸水によって道路が水で見えなくなってしまったり, 倒壊によって建物が崩れていまっているような状

2. 1 自然災害情報の重要な情報源としての SNS の使用

態が写し出されていることが予想される. しかし, 人間は被災写

Kryvasheyeu らは, 2012 年にニューヨークに上陸したハリ真を見て, 浸水しているがここは道路である, という様に災害がケーン「サンディ」による, Twitter での現地ユーザのハリケー

起こる前の状態に補完することができる.

ンに関係したツイートアクティビティと 1 人あたりの被害の関したがって, これら 2 つの能力を利用し, 写真の撮影地点を係性についての分析を行った [1]. 被害に関するデータソースは,推定することで, このような写真からの災害の被害情報の入手

住宅の所有者と賃貸人に対する連邦緊急事態関連庁 (FEMA)を可能とし, 現状よりも多くの災害の被害情報を取得できるこの世帯支援助成金と, 全米の洪水, 住宅, 商用, 車両, 海上保険のとが期待される.

請求の増減の記録を利用した.

本研究では, 先に述べた人間の空間認識能力などを利用した

これらの調査の結果, ツイートアクティビティと 1 人当たり

ヒューマンコンピュテーションを活用した手法の実現可能性のの被害には正の相関があることが算出された. これによって, 自検証を行うことを目的とする. 具体的には, SNS 上に投稿され然災害発生時, 被害の度合いによって多くのユーザが Twitterている被災写真から人間によって鳥瞰図を作成し, 作成されたに情報を投稿していることがわかった. そして, 以上の研究結果

鳥瞰図を災害発生地域の地図の断片との類似度を測定することから, SNS は災害発生時期の迅速な被害の評価を行うのに有効で写真の撮影地点の推定を行う.

なプラットフォームであると示されている.

本研究の裏側には以下の 2 つの仮説が存在する.
仮説 1: 人間は, 写真から建物の位置関係を認識することができる.

また Middleton らは ユーザが投稿したテキストからの災害発生地点の推定を行った [2]. 2012 年に発生したハリケーン「サンディ」において, ニューヨークで上陸した期間中で「ﬂood」

仮説 2: 人間は, 写真内に写っている建物の被災状況を認識のキーワードが含まれた 1 時間あたりの投稿の 18,000 件にうし, 自然災害が発生する前に存在していた建物として被災した

ち, 位置情報が付与されていた投稿は 1 パーセントであったと

建物の状態を補完することができる.

いう調査結果から位置情報を利用せず, テキスト中に存在する

本研究では, これらの仮説の真偽を明らかにするための実験を行い, 提案手法の実現可能性を検証する.

場所を表すキーワードの自然言語処理による抽出を行うことで位置情報の推定を行った. また, 地域の固有の地名や名称の収集

本提案手法は 2 つのフェーズで構成されている (図 2).

についてはボランタリー地理情報 (VGI) を利用することで, 地

フェーズ 1: SNS 上に投稿される写真を見て, その場所の手域固有の地名などのキーワードのデータセットの必要性を回避書き鳥瞰図を描くように人間に依頼し, 投稿写真の手書き鳥瞰

した.

位置情報を利用した関連研究では,Fohringer らは位置情報が力によって行っているが, 本研究では, 撮影地点の推定に人間が付与された投稿写真を使用し, 水害時における浸水マップを作描いた鳥瞰図と対象地域の地図の断片の, それぞれの建物の位成するための手法と SNS 上から位置情報が付与された災害関置関係を比較することで撮影地点を推定できるか検証した.

連写真をフィルタリングするツールを提案した [3]. そしてこれらを用いて, 写真からどの程度浸水しているかの推定を災害の専門家によって行い, 地図上にマッピングしていくことで災害発生地域の浸水マップを作成した.
これらの関連研究と本研究との違いは, 災害発生時の災害関連情報の収集において, 位置情報が付与されていない投稿写真を対象としている点である. 本研究では位置情報が付与されていない投稿写真にも被害状況マップを作成などといった災害関連情報を把握する上で重要な情報が含まれていることがあり,
迅速な情報収集のために活用できる可能性がある, ということに着目した. これを踏まえ, 本研究では位置情報が付与されていない投稿写真を災害関連情報に活用するために, このような写
真の撮影地点を推定する手法を示している.
本研究の提案手法の実現により, 位置情報が付与されていな
い投稿写真から位置情報を推定することができれば, 先に挙げ

2. 3 ロボット制御における手書き地図の利用
Skubic らは, ロボットの移動制御において, 初心者が容易に操作可能となるインターフェースを作成するために, 道のりが描かれた人間が描いた手書き地図による制御の手法を示した.
ロボットが動作する空間の手描きの地図を人間に作成してもらい, 室内空間におけるロボットの動きを制御した [5].

Parekh は, 人間が描くロボットの移動制御に利用される, 人間が描いた手書き地図の建物と, ロボットの移動軌道が描かれた地図を対応付け, 手書き地図内に描かれた建物の種類を認識させた. これを利用して, 地図に描かれたロボットの移動軌道を分析し, 手書き地図に描かれた建物を障害物と認識させ, 手書き
地図上にロボットの移動経路を新たに描く手法を提案した [6].
これらの関連研究とは, 人間が作成する手書き地図を利用している点で関連性があるが, 本研究とはこれらの関連研究の結たような関連研究の手法と体系的に組み合わせることで現状よ果で示された, 人間が描く鳥瞰図は計算機上で認識可能であるりも早い段階で被害状況マップを作成することが可能になるとという結果を踏まえ, 人間に備わっている空間認識能力によっ期待される.

て SNS 上に投稿された写真から鳥瞰図を描くことができるかを調査した点が異なる.

2. 2 写真からの撮影地点の特定
Venkatagiri ら は, 専門家と群衆のクラウドソーシングによる, 写真の撮影地点の特定に関する手法を提案した [4].
ジャーナリズムなどでは SNS からの写真やビデオを証拠として活用することが近年増加しているが, 写真には加工や再利用されているなどの不確実性があることから, 写真の信頼性を証明する必要がある. 写真の信頼性を保証するために撮影位置特定の専門家による写真に映り込んでいるランドマークや道路標識を手がかりとした検証が行われているが, 決定的な証拠がない場合, 広い範囲を力づくで探さなければならないことから,多くのコストがかかる.
そこで専門家が群衆とリアルタイムで画像の地理的位置を特定できるシステムを開発することで, 専門家とクラウドソーシ
ングの両方の利点を統合, 検索領域を大幅に絞り込み, 多くの写真の地理的位置の特定に成功した. 具体的な手法には, 専門家が描いた鳥瞰図の群衆との共有, 地図をグリッドで分断することによるタスクの分担, 専門家が注目している箇所をヒートマッ
プで表現することによる群衆が注目すべき箇所の提示と共有,の 4 つが挙げられる.
写真から位置情報を推定するという点で本研究と非常に関連性が深い研究であるが, 第一に, 写真の鳥瞰図を群衆が作成する点で異なる. 本研究では専門家でなくても人間に備わっている
空間認識能力を利用することで, 写真から鳥瞰図を作成することは可能であるかどうかを仮説を検証することで調査している.
もし本研究による検証で群衆による鳥瞰図の作成が可能であれ
ば, 専門家の負担が更に削減されることが期待される.
第 二 に, 位 置 特 定 に 計 算 機 を 利 用 し て い る 点 で 異 な る.

Venkatagiri らは写真の撮影地点の推定を専門家と群衆の協2. 4 画像の類似度計算
Conseil らは手話の画像のモーメントを抽出し, SVM による分類と認識を行った. それに伴い, クラス分けされた手話の画像
から Hu モーメントと Zernike モーメントを個別に抽出し, 認
識率の比較を行った [7]. Zernike モーメントとは回転不変だが移動と拡大縮小に弱い特徴量である. 対して Hu モーメントは回転不変に加え, 移動と拡大縮小にも不変であるという特徴がある.
実験の結果, Hu モーメントを使用した際は 93 パーセント,

Zernike モーメントは 96 パーセントと, わずかに Zernike モー
メントの結果が上回ったが, どちらも高い精度での認識を可能とした.
本研究で扱う, 人間が作成する鳥瞰図は人によって描画範囲の縮尺が変わってしまったり, 常に地図の中心に描画するとは限らないため, 類似度を比較する際, 移動や拡大縮小に対して不変な特徴量を抽出する必要がある. したがって本研究では, これらのモーメントは画像の特徴量を抽出する際に有効な指標であるという関連研究の結果を踏まえて, ポリゴンの画像の類似度
測定の指標に Hu モーメントを使用し, 人間が作成する鳥瞰図
と地図の断片の, それぞれの Hu モーメントによる類似度測定を行っている.

3 フェーズ 1: 人間による鳥瞰図作成
3. 1 実験

本実験のフェーズ 1 では人間が描く手書き鳥瞰図の特徴を明らかにし, 実際の地図の断片との比較を行うことで本研究の仮説が正しいかどうか, つまりヒューマンコンピュテーションに

図 3 タスクインターフェース

よるアプローチが投稿写真内の撮影地点と一致する地図の断片を推定することに対して効果的であるかの検証をするために実験を行った.
本実験では, 人間が描く手書き鳥瞰図の特徴を明らかにすることで, 手書き鳥瞰図には仮説に示した人間の得意な空間認識能力が反映されているかどうかについての調査を行う.
その後, 作成されたそれぞれの鳥瞰図を以下の 3 つの項目を用いて研究者が評価を行う.

(1) 写真から鳥瞰図を描画できている

図 4 実験に使用した写真の一覧 (ぼかし済み)(2) 浸水した道路を道路として描画している(3) 対象地域の住宅地図と比較して正しく鳥瞰図を描画できている(1) と (2) はそれぞれ仮説 1, 仮説 2 の検証するための項目である. また, (3) は手書き鳥瞰図と地図の断片の比較の際に, どれほど比較対象の地図を再現できているかを検証するための項
目である.

SNS の投稿写真から手書きの鳥瞰図を作成してもらうために, 参加者には実際に自然災害後に Twitter 上にアップロード
された複数の写真に対して 1 枚ずつ鳥瞰図を描くように依頼する. 参加者は Web ベースのプレゼンテーションソフトのシステ
ム画面上に存在する道路や建物を表すオブジェクトをドラッグ,拡大, および回転することで鳥瞰図を作成する (図 3).

3. 2 結果 : 鳥瞰図作成実験 (フェーズ 1)

多くの投稿写真は人間の視点で撮影されており, 人間に備わっている空間認識能力によって参加者全員が建物の位置関係を認識し, 三次元の写真を上空から見た二次元の鳥瞰図に変換する
ことができた. したがって, これらの結果によって仮説 1 に挙げた「人間は建物の位置関係を認識することができる」は真であることが示唆された. ただし, 人によっては描画した建物の数に違いがあり, 地図の見た目に差が生じた.
また, 災害の写真内に写っている道路は全て浸水し, 水で隠れているが, 参加者たちはそれが道路であることを認識し道路として補完した鳥瞰図を作成することができた. したがって, 仮説

2 に挙げた「人間は自然災害が発生する前に存在していた建物を補完することができる」は真であることが示唆された.
以上のことから人間は災害の被災写真からその撮影地点の鳥

鳥瞰図描画実験 (フェーズ 1) では 7 人の参加者が災害時に瞰図を作成することは可能であり仮説は真であることが示唆さTwitter 上で実際に投稿された図 4 の 10 枚の写真から各々のれたが, 人によっては描画した建物の数に違いがあり, 地図の見鳥瞰図を作成した.

た目に差異が生じるということがわかった.

1

図 5 の通り, 7 人全ての参加者が 10 枚の災害時の投稿写真から, それぞれの鳥瞰図を作成することができた.
次に, 人間が描いた全写真の鳥瞰図の評価項目の結果を表 1
に示す.
評価項目

(1) 写っている建物の位置関係を鳥瞰図上に表現できている(2) 道路が浸水していても鳥瞰図上で道路として描画している(3) 対象地域の住宅地図と比較して、描画している建物の数が等しい
1：https://twitter.com

3. 3 実験結果のまとめ
本実験のフェーズ 1 の結果を以下に示す.
人間は三次元の景色の写真から鳥瞰図を作成することができ,仮説が真であることが示唆されたが, 人によって縮尺や描く建物の数に違いが生じたため, 人間が描く鳥瞰図は必ずしも同じにならなかった.

3. 4 議論

本実験のフェーズ 1 では, 人間によって SNS に投稿されている写真の場所の鳥瞰図を作成してもらうタスクを行った. その図5

参加者が作成した鳥瞰図の一覧

後, 人間によって作成された鳥瞰図の特徴を調べ, 提唱した仮説が考えられる. したがって写真の画角の範囲では正しい鳥瞰図が正しいか否かを検証した. その結果, 仮説は真であると判明しを参加者は描いたということになるが, 同地点の地図と比較すたが, 同時に人間が作成する鳥瞰図には様々な違いが存在する

ると写真に写っていない建物は描画できていなかった.

ことも判明した.

第二に人によって描く鳥瞰図の範囲や縮尺が異なることも建具体的な違いとしては, 人間による鳥瞰図の作成実験におい物の数に違いを生じさせた原因として考えられる. 実際に作成て実際に作成された鳥瞰図を比較した結果, 人間によって認識された鳥瞰図を比較してみると, 人によって視認できる最も遠される建物の数に違いがあるということがわかった.

い建物まで描画している人もいれば, 目の前の建物のみを描画

この原因として考えられることに, 第一に写真の画角によっした人もいた. また, 道路が写真の端に位置しているような写真て, 実際には近くにあるはずの建物が見えていないということ

では, 図のように道路の両端の建物を描画している人もいれば,

表 1 参加者が作成した鳥瞰図の評価の一覧. (1)(2)(3) は各評価項目を表しており, 研究者が A-G の参加者ごとに鳥瞰図を項目別に

YES/NO で評価した.
写真 1

(1)

(2)

写真 2

(3)

(1)

(2)

写真 3

(3)

(1)

(2)

(3)

A YES YES YES YES YES YES YES YES YESYES YESNOYES YES YES

C YES YES YES YES YESBYES YESNONOYES YESNOD YES YES YES YES YESNOYES YESNOE

YES YESNOYES YESNOYES YES YESFYES YESNOYES YES YES YES YESNOG YES YES YES YES YES YES YES YES

NO

写真 4

(1)

(2)

写真 5

(3)

(1)

(2)

(3)

A YES YES YES YES YESNOYES YESNOB

YES YESNOYES YESNOC YES YES YES YES YESNOYES YES

NO

NO

(1)

と B で建物の数に違いがある

写真 6

(2)

YES YES

(3)

図 6 写真 10 の参加者 A と参加者 B : 全体的に類似しているが、A

図7 前 処理

D YES YES YES YES YES YES YES YES YES

し, 複数の鳥瞰図を収集することが考えられる. 人間が作成す

E

YES YES YES YES YES YES YES YES YES

る鳥瞰図は必ずしも正しい建物の位置関係を表現しているとはF

YES YES YES YES YES YES YES YES YES

限らないため, 1 枚の投稿写真から複数のワーカに鳥瞰図を作

G YES YES YES YES YES
写真 7

NO

YES YES

(3)

(1)

写真 8

NO

成してもらい複数の鳥瞰図の候補を得る, ということが解決策の 1 つとして考えられる. これによって, 作成された多くの鳥瞰

写真 9

(2)

(3)

(1)

(3)

図の候補の共通点を見つけたり, 別のワーカに写真と作成され

A YES YESNOYES YES YES YES YES YES

た鳥瞰図の候補を見せ, 最も正しいと思う鳥瞰図を多数決で決BNO

YES YES YES YES YES YES

定するといったタスクを個別に設定することで, 複数の鳥瞰図(1)

YES YES(2)(2)

C YES YES YES YES YES YES YES YES YES
D YES YES YES YES YESNOYES YES YESEYES YES YES YES YES YES YES YES YESFYES YES YES YES YES YES YES YES

G YES YESNOYES YESNOから最も正しいと思われる鳥瞰図を作成することができる.
第二に鳥瞰図の作成タスクをクラウドソーシングする際に,NO

ワーカへの鳥瞰図の作成手順の説明を細かく指示を行い, 作成

YES YES YES

された鳥瞰図の違いを小さくすることが考えられる. 実験では多くの人が, 写真に写っている全ての建物を忠実に描こうとし

写真 10

(3)

ていた. そして実際に実験で使用した投稿写真では, 目の前の建A YES YES YES

物と遠くの建物ははっきりと確認できるが, これらの間にある

(1)

(2)

NO

建物ははっきりと確認できないものもあった. その結果, 曖昧なC YES YES YES

描画になってしまい描画する建物の数に違いが生じてしまった.

D YES YES YES

したがってこれらを解決するために, タスクの説明の際に遠く

B

YES YESEYES YESNOFYES YES YES

G YES YES YES

片側の建物のみを描画している人も見られた.
第三に, 参加者が写真から見えない建物を自身の想像力によっの建物は描画せず確実に視認できる建物のみを描画したり, 撮
影地点から一定の周囲までを描画するように指示することなどが有効であると考えた.

4 フェーズ 2：手書き鳥瞰図と地図の断片の類似度
測定実験て, 新たに書き足してしまっていたり, 無くしてしまったりしているということが考えられる.

4. 1 実験

図 6 を参照すると, 実際に道を挟んで左側の駐車場に挟まれ本実験で利用する正解地点の地図の断片は、国土地理院 2 のている建物は 2 つあるが, 参加者 B は 1 つだと判断して描画し地理院地図 vector [8] をもとに投稿写真の撮影地点を切り取る

た. したがって, 人間のはっきりと確認ができない建物の描画のことで地図の断片を作成した.

精度は低下してしまうことが判明した.
したがって, 鳥瞰図の描画結果の違いを少なくするために, 今
後人間に写真から鳥瞰図を作成するタスクを行う際には以下の2 つの点を考慮したタスク設計を検討していく必要がある.

またフェーズ 1 の地図の断片との比較にあたり, 以下の前処理を人間が作成した鳥瞰図に行い地図と条件を揃えた (図 7).

(1) 本実験の比較に用いる地図には駐車場の描画が無いため,人間が作成した鳥瞰図の駐車場の表記を比較の際に削除する.

第一に鳥瞰図の作成タスクをクラウドソーシングすることによって, 1 枚の投稿写真から複数の人間に鳥瞰図を作成を依頼

2：https://www.gsi.go.jp/top.html

(2) 類似度判定には道路を考慮していないため, 道路のオブジェクトを削除する.

(3) 地図の断片との比較の際, 対象地域を同じにするために,同じ写真の鳥瞰図同士を比較して, 描画範囲を一致させるために一部の鳥瞰図を切り取る.
フェーズ 1 で作成された手書き鳥瞰図と地図の断片の類似性を測定するために, それぞれに描画されている建物のオブジェ
クトの重心を繋いで図形を生成する処理を手描き鳥瞰図と地図の断片の 2 つの地図内で行い, 2 つの図形を生成する. ただし地図に描かれている建物が 2 つのみで図形を生成できない場合は代わりにそれらを繋いだ線分を生成する. そして次に説明する手法を用いて類似性を測定する.
生成した図形や線分の類似性を測定するための提案手法とし

図 8 各写真の地図の断片て Hu モーメントによる類似度算出の手法を利用した. 人間が作成する鳥瞰図は作成者によって描く建物の位置や大きさが異なるため, 類似度を測定する際には, これらに対して不変な値を計算する必要がある. Hu モーメントとは画像を行列変換した
際の画像行列によって求められる不変量のことで以下の 7 つを組み合わせたものである. Hu モーメントは直線移動, 回転, 拡
大縮小に不変な値をとり, これによって算出される値を用いて

2 つの画像の類似度を算出する. この値は 0 に近いほど類似した組み合わせであることを指す.
その後, 参加者らによって描かれた手書き鳥瞰図と正解地点を含んだ地図の断片の候補らの類似度の測定を 1 枚ずつ行い, 1
枚の手書き鳥瞰図につき地図の断片の候補の数だけ類似度を算出した. その後類似度を高い順にソートし, 正解地図の断片との類似度が最も高い, 上位 20 パーセント以上に正解地図の断片が存在する, 上位 30 パーセント以上に正解地図の断片が存在す
る, の 3 項目で評価した.

図の断片の類似度を測定し, 人間が作成する鳥瞰図と住宅地図の断片 (図 8) がどれくらい類似しているか実験を行った.
類似度の測定では, 使用した地図の仕様上, 2 番の地図から取得することができた重心が 1 つのみとなり図形や線分を生成することができなかった. また, 人間が描いた鳥瞰図のうち参加者

D の 5, 7, 参加者 E の 5, 7, 9, 参加者 F の 5, 7 の鳥瞰図は描かれた建物が 1 つのみであったため図形や線分の生成ができな
かった.
図形や線分が作成できた 63 枚の鳥瞰図のうち, 正しい地図の断片との類似度が最も高くなったのは 6 枚で約 9.5 パーセントであった. また, 上位 20 パーセント以上になるのは 21 枚で約33 パーセント, 上位 30 パーセント以上となるのは 31 枚で約 49パーセントとなり, 本研究の提案手法では正解の地点の地図の断片と最も高い類似度を示した組み合わせは全体の 10 パーセ
ント以下で一意に定まらなかったが, 正解の候補を 1 つではな

ϕ(1) = (η20 + η02 )ϕ(2) = (η20 − η02 )で 7 人の被験者によって作成された鳥瞰図と撮影地点の住宅地

22+ 4η11

く上位 30 パーセントまで出していいとするならば, 人間が描く

ϕ(3) = (η30 − 3η12 )2 + (3η21 − η03 )2

鳥瞰図と正しい地図の断片の組み合わせで全体の半分ほどまで

ϕ(4) = (η30 + η12 )2 + (η21 + η03 )2

絞り込むことができた.

ϕ(5) = (η30 − 3η12 )(η30 + η12 )[(η30 + η12 ) − 3(η21 + η03 ) ]2

2+(3η21 − η03 )(η21 + η03 )[3(η30 + η12 )2 − (η21 + η03 )2 ]ϕ(6) = (η20 − η02 )[(η30 + η12 )2 − (η21 + η03 )2 ]本実験のフェーズ 2 の結果を以下に示す.
類似度測定をする際に, 人間が描く 1 つの鳥瞰図に対して複+4η11 (η30 + η12 )(η21 + η03 )ϕ(7) = (3η21 − η03 )(η30 + η12 )[(η30 + η12 )4. 3 実験結果のまとめ

2

数の地図の断片が高い類似度を示した. したがって鳥瞰図は必−3(η21 + η03 )2 ] − (η30 − 3η12 )(η21 + η03 )ずしも正解の地図の断片と一意に定まるわけではない.

[3(η30 + η12 ) − (η21 + η03 ) ]4. 4 議2

2

論

フェーズ 2 では, Pyhton の OpenCV 3 によって実装されてい本実験のフェーズ 2 では, 人間が描いた鳥瞰図と写真の撮影

るこれらの Hu モーメントを用いた画像の類似度測定の手法を

地点の地図の断片の類似度を測定することで, 鳥瞰図が実際の用いて, 2 つの図形や線分の類似度を算出することで手書き鳥地図をどれほど忠実に再現しているかを調査した. この結果, 1

瞰図と地図の断片の比較し, 手書きの鳥瞰図がどれほど地図の枚の鳥瞰図に対して多くの地図の断片が高い類似度を示し, 現

断片と類似しているか検証を行う.

在の提案手法のみでは撮影地点の地図の断片を一意に特定する

4. 2 実 験 結 果
地図の断片の類似度測定実験 (フェーズ 2) では, フェーズ 1
3：https://opencv.org/

ことは難しいことがわかった.
考えられる原因として地図の断片の候補は類似したものが多いため, 多くの地図の断片の候補と鳥瞰図の類似度が高くなったためだと考えた. そのため, 建物の位置関係のみではなく写図 9 断片 A と断片 B は類似しているが B は道路を挟んでいる

真から得られる他の情報も類似度の測定において考慮すること
で地図の断片の候補を絞ることが可能か検証する必要があると考えている.
建物の位置情報以外の情報として考えられるものに, 地図上の道路や建物の種類などが挙げられる. 例えば, 図 9 では断片

A と断片 B の建物の位置関係が似ており, 現在の手法では類似度が高くなることが予想されるが実際の地図上は異なる地点であると考えられる. また, 類似度の測定において建物の種類を考慮するために住宅地図データベースなどを利用し, 道路と同様, 建物の種類に関する情報によって地図の断片の候補を絞る
ことも同時に検討する必要がある.

5 おわりに本論文は, 自然災害発生時の状況で位置情報が付与されていない投稿写真の撮影地点を推定するためのヒューマンコンピュ
テーションを活用した手法の実現可能性を探り, 人間が写真から鳥瞰図を作成するにあたっての仮説の検証と鳥瞰図と対象地
域の地図の断片の類似度比較を行うための 2 つの予備実験の結果を示した.
実験の結果, 人間は被災写真から建物の位置関係を認識し, 道
路や建物の損壊を補完しながら鳥瞰図として表現することが可能であることがわかり, 提唱した 2 つの仮説は真であることが示唆された. しかし, 人間によって写真に対しての認識に差が少なからず生じるため, 必ずしも作成者全員が同じ鳥瞰図を描くとは限らないという結論に至った. これらの鳥瞰図の差異を少なくするために, 今後人間に写真から鳥瞰図を作成するタスクを行う際にはこれらを考慮したタスク設計を検討していくことが必要である.
鳥瞰図と地図の断片の類似度測定実験では, 現在の提案手法では類似した候補が数多く算出されることから, 一意に正解の地点の断片と結びつけることは難しいという結論に至った. したがって今後, 多くの地図の断片の候補を絞っていく手法を検討していく必要がある.
謝

辞本研究の一部は JST CREST JPMJCR16E3 の支援を受けたものである．ここに謝意を示す．

文

献[1] Yury Kryvasheyeu, Haohui Chen, Nick Obradovich, Esteban Moro, Pascal Van Hentenryck, James Fowler, andManuel Cebrian. Rapid assessment of disaster damage using social media activity. Science advances, Vol. 2, No. 3,

p. e1500779, 2016.
[2] Stuart E Middleton, Lee Middleton, and Stefano Modaﬀeri.
Real-time crisis mapping of natural disasters using social
media. IEEE Intelligent Systems, Vol. 29, No. 2, pp. 9–17,
2013.
[3] J Fohringer, D Dransch, H Kreibich, and Kai Schröter. Social media as an information source for rapid ﬂood inundation mapping. Natural Hazards and Earth System Sciences(NHESS), Vol. 15, pp. 2725–2738, 2015.
[4] Sukrit Venkatagiri, Jacob Thebault-Spieker, Rachel Kohler,
John Purviance, Rifat Sabbir Mansur, and Kurt Luther.
Groundtruth: Augmenting expert image geolocation withcrowdsourcing and shared representations. Proceedings of
the ACM on Human-Computer Interaction, Vol. 3, No.
CSCW, pp. 1–30, 2019.
[5] Marjorie Skubic, Sam Blisard, Andy Carle, and Pascal Matsakis. Hand-drawn maps for robot navigation. In AAAI
Spring Symposium, Sketch Understanding Session, p. 23,
2002.
[6] Gaurav Parekh, Marjorie Skubic, Ozy Sjahputera, andJames M Keller. Scene matching between a map and ahand drawn sketch using spatial relations. In Proceedings
2007 IEEE International Conference on Robotics and Automation, pp. 4007–4012. IEEE, 2007.
[7] Simon Conseil, Salah Bourennane, and Lionel Martin. Comparison of fourier descriptors and hu moments for hand posture recognition. In 2007 15th European Signal Processing
Conference, pp. 1960–1964. IEEE, 2007.
[8] 国土地理院. 地理院地図 vector. https://maps.gsi.go.jp/
vector/#7/36.104611140.084556/&ls=vstd&disp=1&d=l.
(Accessed on 12/1/2020).