# [A33] メモリーグラフ:景観の時間変化をアーカイブする新 しい写真術

○北本 朝展 1) 2) 3)

1) ROIS-DS 人文学オープンデータ共同利用センター, 〒101-8430 東京都千代田区一ツ橋 2-1-2

2) 国立情報学研究所, 3) 総合研究大学院大学

E-mail: kitamoto@nii.ac.jp
## Memorygraph: A New Photographic Technique for Archiving the Temporal Change of the Landscape

KITAMOTO Asanobu 1) 2) 3)

1) ROIS-DS Center for Open Data in the Humanities, 2-1-2, Hitotsubashi, Chiyoda-ku, Tokyo, 101-8430 Japan

2) National Institute of Informatics, ${ }^{3)}$ SOKENDAI

## 【発表概要】

メモリーグラフとは、同一構図かつ多時点の写真を撮影することで、景観の時間変化を重ねて記録する新しい写真術である。この写真術は古写真を用いたフィールドワーク、災害のビフォ一・アフター写真、コンテンツツーリズムと聖地巡礼写真など、様々な目的に利用できる可能性を有する。本発表ではこの写真術を実現するモバイルアプリ「Memorygraph」のデータモデルや機能を紹介するとともに、モバイルアプリ開発の難しさや今後の課題などにも触れる。

## 1. はじめに

メモリーグラフとは、同一構図かつ多時点の写真を撮影することで、景観の時間変化を重ねて記録する新しい写真術である。[1,2]。 こうした写真術そのものは昔から存在しているが、メモリーグラフの新しいところは、その操作を単純化するだけでなく、成果を簡単に共有する仕組みを実現した点にある。

複数の画像を重ねて時間変化を観察するために、昔から多くの技術が開発されてきた。映画や動画については、エジソンによる「キネトグラフ」やリュミエール兄弟による「シネマトグラフ」に端を発し、現在は秒速数百万コマに達する超高速カメラも存在するなど、短時間の時間変化を連続的に観察する技術は画期的な進歩を遂げた。それに対し、より長時間の観察を目的とする写真術にタイムラプスがある。固定カメラを使い、フレームレー 卜を大きく落として撮影し、それを再生時に早送りすることで、長時間の緩やかな時間変化も直感的に観察できるようになる。

しかしタイムラプスは、固定カメラがなければ撮影が難しいという問題がある。そこでメモリーグラフは、この固定カメラという条件を外すと同時に、任意の撮影間隔で定点観測を実現する方法を提案する。すなわち、カメラのファインダー上に過去の写真を半透明で重ね、現在の風景と構図を合わせてシャッターを押すという方法である。アイデアとしては極めてシンプルであるが、ファインダー をプログラマブルに書き換え可能なスマートフォンの登場によって初めて実現できた新しいカメラという面もある。古写真のフィールドワーク、災害のビフォー・アフター写真、 コンテンツツーリズムと聖地巡礼写真など、一見すると全く異なる分野の利用が、実はシンプルなメカニズムで統一的に扱えるという点が、メモリーグラフの面白いところである。

## 2. メモリ一グラフの利用

## 2. 1 メモリーグラフの概要

メモリーグラフ[3]は、カメラのファインダ一を積極的に活用する。従来のカメラでもグリッドなどを構図のガイドとして表示する機能は存在したが、メモリーグラフはさらに進んでファインダー上に「次に撮影すべき写真」 を構図のガイドとして表示する。そしてファインダーの透明度を変化させながら、ファイ

ンダーの向こう側の景観とガイドを重ね合わせ、両者が一致する構図で写真を撮影する。

同一構図かつ多時点の写真には 2 通りの活用方法がある。第一が定点観測写真（タイムラプス）としての活用である。例えば地域の古写真を題材に景観変化を調べるフィールドワークから、今後のまちづくりの議論の題材を集める活動が進行中である。また災害のビフォー・アフター写真から、災害復興状況をビジュアルに確認することもできる。第二が写真の一致をエビデンスとする測位ツールとしての活用である。古写真の撮影位置を推定するフィールドワークや、各地のポイントを巡回した証拠として写真を利用するフォトオリエンテーリング（フォトロゲインニング） コンテンツツーリズムにおける聖地巡礼などはそれらの一例である。そこで以下では文化、災害、観光というメモリーグラフの主な利用分野に関する事例を紹介する。

## 2. 2 古写真を用いたフィールドワーク

メモリーグラフは、もともと古写真の撮影位置を推定するという問題への解法として誕生したものである。GPS が存在しない時代に撮影された写真は位置情報を持たず、キャプションから判明するのも曖昧な地名程度のことが多い。こうした場合に古写真の撮影位置を推定する方法として用いられるのが、いわゆる「同ポジ（同一ポジション）」写真、つまり現代でも同一構図の写真が撮影可能な位置を特定するという方法である。写真の一致

は偶然に生じる可能性が低いため、撮影位置の一致に関する強力なエビデンスとなる。

同ポジ写真は従来型カメラでも撮影できないことはないが、カメラファインダー内の景観と写真を比較しながら一致させるのは難易度が高い作業である。その理由は、この作業には、古写真の空間的な構図を覚えるという短期記憶のスキルだけでなく、古写真の 2 次元配置と現在景観の 3 次元配置 (の 2 次元投影）を脳内で回転させながら一致させるというメンタルローテーションのスキルも同時に要求されるからである。一方メモリーグラフは、写真をファインダー上に半透明表示するため、上記のスキルがなくても、高精度の重衩合わせを高速に行えるようになった。

こうしたメリットを活用し、古写真を用いたフィールドワーク（メモリーハンティング） を東京、京都、長崎などで展開中である[4]。 メモリーグラフを活用すると古写真と現在の景観の間に生じた変化を詳細に観察できるため、景観の中で変わった部分と変わらない部分を明確に区別できるという効果が得られた。

## 2. 3 災害のビフォー$\cdot$アフター写真

災害の被害や復興をビジュアルに見せるために、変化前のビフォー写真と変化後のアフター写真を同一構図で比較する表現が、災害アーカイブではよく用いられる。メモリーグラフはこのような目的にも気軽に活用できる。例えば阪神淡路大震災から 20 年を機に神戸市が公開したオープンデータ『阪神・淡路大震

図 1. 神戸における被苂直後と 20 年後の景観を比較したビフォー・アフター写真「阪急会館前」。左図出典：『阪神・淡路大震災「1.17 の記録」』、右図 2015 年撮影。
災「1.17 の記録」』を利用して、神戸で被災直後の写真と現在の景観とを比較するフィー ルドワークを実施した。震災から既に 20 年が経過しているため、景観が完全に変わってしまい、被災直後の痕跡を発見することが難しい場所があった。しかし景観の細部をよく観察してみると、地元の人々が地震前の痕跡を再現しようと努力している場所もあることに気づく（図 1）。

## 2. 4 コンテンツツーリズムと聖地巡礼写真

コンテンツツーリズムとは、コンテンツの舞台である土地を訪れる観光を指す。メモリ ーグラフはこうした観光を支援するツールとしても使える。例えば映画やドラマのシーンが撮影された現地、あるいはアニメのシーンの参考となった現地を訪れる観光行動を「聖地巡礼」と呼ぶ。わざわざ現地まで自分が移動し、コンテンツのシーンをファインダーに差し込み、それに近い景観を自分で撮影することは、そこにかつて存在したであろら人物の視線と自分自身の視線とをぴったり重ねることができたことを意味する。写真の一致というエビデンスは、過去の人々と同じ空間を共有し再体験しているという確信を強めるのである。このようにメモリーグラフは、過去を再体験するためのツールにもなる。

## 3. メモリーグラフの設計と構築

## 3. 1 メモリーグラフのデータモデル

メモリーグラフの設計の核となるのがデー タモデルである。まずメモリーグラフを理解するうえで重要な概念を以下に述べる。

シーン : 同一構図で撮影した写真の集合。べ ースイメージとフォトからなる。

ベースイメージ : シーンに最初に加える画像である。デフォルトではこれを位置合わせの基準画像とし、ファインダーに表示する。

フォト：ファインダーに表示された画像と構図を合わせて撮影した写真である。

プロジェクト : シーンをグルーピングして整列したものであり、ローカルプロジェクト、クラウドプロジェクト、公開プロジェクトの 3種類がある。

GPS ログ : ユーザの位置情報を等間隔で計測した軌跡データ。ユーザが記録開始すれば端末内に保存され、さらにユーザの明示的な操作によってサーバにアップロードできる。

これらの基本的なオブジェクトはそれぞれメタデータを保持可能であり、REST APIへの $\mathrm{read} / \mathrm{write}$ 操作を、認証・認可を通して行う。 このようにメモリーグラフでは、個々の写真がオブジェクト間のネットワークの中に埋め込まれており、この点が個々の写真が独立しているフォトグラフとの大きな相違点である。

## 3.2 メモリーグラフの機能

メモリーグラフの中核的な機能は、一枚の写真を基準画像としてファインダー上に半透明で表示し、それに構図を合わせてユーザがシャッターを押すと、ファインダーとフォトのぺアが（必要に応じてメタデータを付与して）保存されるという機能である。このコア機能を取り巻く様々な拡張機能が、メモリー グラフの有用性を高めることになる。

第一の拡張は、写真をグルーピングして管理する機能である。この機能を担うプロジェクトは、リスト表示や地図表示などの基本的な写真一覧・検索機能を持ち、テーマごとに写真をグルーピングする目的に使える。

第二の拡張は、ネットワークを通してデー 夕を共有する機能である。ローカルプロジェクトは端末内で完結するが、クラウドプロジエクトを活用すれば複数の端末でデータを共有でき、さらに公開プロジェクトを活用すれば複数ユーザでデータを共有できる。

第三の拡張は、ユーザのアクティビティを記録する機能である。プライバシーポリシー を遵守した上で、ユーザ行動を研究のために記録し分析するための機能である。

## 3. 3 メモリーグラフのアプリ開発

メモリーグラフは 2013 年 11 月頃に着想を得て Android アプリの開発を開始した。その後まもなくGoogle Play で公開し、その後に何回ものバージョンアップを繰り返しているも

のの、現段階でも本格的な公開には至っていない。このように開発が「難航」している原因を以下で簡単に分析してみたい。

第一の問題が設計の難しさである。現在のメモリーグラフは実質的に Version 3（名称としては Memorygraph 2) であるが、このようにバージョンアップを繰り返しているのは、 データモデルに不備が見つかるからである。問題の本質を誤解したままデータモデルを構築すると、その後の機能拡張で行き詰る。そして問題を再考してみると、以前のデータモデルの設計に問題があったことを認識するのである。アプリでは確かにユーザ向け機能やインタフェース (View) も重要だが、やはりデータモデル (Model) の適切な設計から出発すべきというのが、我々が得た教訓である。

第二の問題がクロスプラットフォーム開発である。よほどリソースが豊富なチームでなければ、Android とiOS という 2 つの世界のネイティブアプリを並行開発し、絶え間ない仕様変更に追従していくのは困難である。その解決策として期待されるクロスプラットフオーム開発環境に、最近ようやく有望な候補が登場した。それが Google による Flutter である。我々は Flutter に望みを託し、2019 年前半から、開発済みの Android アプリを Flutterに移行する作業を開始し、近日中に完了する見込みである。もしメモリーグラフが両方の世界で使えるようになれば、普及の加速を現実的な目標とすることができる。

## 4. おわりに

最後にメモリーグラフを実用化するための技術的課題と組織的課題に言及したい。

第一の課題が画像マッチングである。メモリーグラフはファインダーとフォトのマッチングを手動に頼っているが、これをアルゴリ
ズムで支援できればアプリの難易度低下に大きな効果がある。こうした画像マッチングを扱う研究は多数あるが、撮影時間間隔が大きい場合（例えば 100 年間）や、撮影条件が大きく異なる場合（例えば昼と夜や睛と雨）のマッチングは簡単ではない。もしロバストな画像マッチング手法を開発できれば、メモリ ーグラフのユーザエクスペリエンスの改善に大きく寄与する可能性がある。

第二の課題がサービスの運用である。アプリが本格的に普及すれば、利用規約やプライバシーに問題が生じる使い方も出てくるだろう。こうした問題への対応は個人の努力で可能な範囲を超えており、組織的な活動が不可久になってくる。汎用性の高いツールの持続可能性をどう高めるか。これは研究成果の社会実装に関わる課題として、引き続き検討していく必要がある。

## 参考文献

[1] 北本朝展, "災害の非可逆性とアーカイブの精神一デジタル台風・東日本大震災デジタルアーカイブ・メモリーグラフの教訓"，デジタルアーカイブ・ベーシックス 2 災害記録を未来に活かす, 今村文彦監修／鈴木親彦責任編集（編）, pp. 169-197, 勉誠出版, ISBN 978-4-585-20282-0, 2019 年 8 月.

[2] 北本朝展, "デジタル人文学: コンテンツの「解釈」を重視したメディア技術の展開"，精密工学会画像応用技術専門委員会第 5 回定例研究会「クリエイティブ・コンテンツ： ファッション, 伝統工芸, 観光・メディア」, pp. 1-10, 2015 年 1 月.

[3] メモリーグラフ,

https://mp.ex.nii.ac.jp/mg/ (閲覧 2020/2/25)

[4] メモリーハンティング, http://dsr.nii.ac.j p/memory-hunting/(閲覧 2020/2/25)