# 「記憶の解涷」 : カラー化写真をもと にしだフロー"の生成と記境の継承 "Rebooting Memories": Generation of "FLOWING" and Inheritance of the Memories based on Colorized Photographs

抄録：本稿では、デジタルアーカイブ／社会に“ストック”されていた白黒写真をAI 技術でカラー化し、ソーシャルメディア／実空間に“フロー”を生成する活動について報告する。被写体が備えていたはずの色彩を可視化することによって、白黑写真の凍り ついた印象が解かされ、鑑賞者は、写し込まれているできごとをイメージしやすくなる。このことは、過去のできごとと現在の日常との心理的な距離を近づけ、対話を誘発する。こうして生成された“フロー”においては、活発なコミュニケーションが創発し、情報の価値が高められる。この方法は、貴重な資料とできごとの記憶を、未来に継承するための一助となり得る。

Abstract: In this paper, we explain an activity to generate "FLOWING" in social media / real space by colorizing black-and-white photographs "stocked" in digital archives / society with AI technology. By visualizing the colors of the objects in the photographs, the "frozen" impressions of blackand-white photographs are "rebooted" and viewers can imagine the subjects of the photographs. Therefore, the past events get closer to the present daily lives and dialogues are triggered in social media / real space. The generated "FLOWING" arises emerging communications and enhances the value of information. This method will be one of the effective ways to help inherit precious materials and memories of past events in the future.

キーワード : 写真、カラー化、人工知能、AI、デジタルアーカイブ、記憶、継承

Keywords: Photographs, Colorization, Artificial Intelligence, AI, Digital Archives, Memory, Inheritance
## 1. はじめに

戦争・災害など過去のできごとの「実相」 ${ }^{[1]}$ は、多様な人々の視点を内包した多面的なものである。正確な資料を多面的に網羅したデジタルアーカイブは、この「実相」を伝えていく基盤として重要である。しかし、こうしたデジタルアーカイブは、いまだ十分に利活用されていないことが指摘されている ${ }^{[2]}$ 。この点を解決するためには、アーカイブされた資料の貴重さを社会にアピールし、利活用に向けたモティベーションを形成する必要がある。

現代の社会においては、“ストック”されたデータそのものに加えて、適切な情報デザインにより“フロー”を生成し、コミュニケーションを創発することに価値が見いだされる ${ }^{[3]}$ 。従って、デジタルアーカイブ／社会において“ストック”されている資料を“フロー”化し、そこから創発するコミュニケーションによって、情報の価値を高めることが望まれる。

筆者らは、こうしたアプローチを「記憶の解凍」と名付け、情報デザイン・コミュニティデザインの手法
を用いて、さまざまな活動を実践している。本稿ではそのうち、人工知能 (AI) 技術を応用して白黒写真をカラー化し、ソーシャルメディア／実空間に“フロー” を生成する活動について報告する。

被写体が備えていたはずの色彩を可視化することによって、白黑写真の涷うういた印象が解かされ、鑑賞者は、写し达まれているできごとをイメージしやすくなる。このことは、過去のできごとと現在の日常との心理的な距離を近づけ、鑑賞者どうしの対話を誘発する。つまり、白黒写真をカラー化することで“フロー” が生成しやすくなるのである。この“フロー”においては、活発なコミュニケーションが創発し、情報の価値が高められる。その結果として、貴重な資料とできごとの記憶が、未来に継承されていくことになる。

なお、本稿は、筆者らの既発表の論文 ${ }^{[4]}$ (CC-BY 4.0 で公開）をべースに、加筆修正を施したものである。

## 2. 白黒写真のカラー化

## 2.1 カラー化の意義と方法

戦前・戦中の写真はもっぱらモノクロフィルムで撮影されている。従って、この時期のできごとは概ね、白黑の静止画で記録されているといえる。スマートフォンのカメラを携え、カウシの動画で日常を記録している私たちは、色彩・動きを伴わない白黒写真に、 あたかも凍りういているような印象を抱く。このことが、写し达まれた過去のできごとと、現在を生きる私たちの日常との距離を遠ざけ、自分ごととして考えるきっかけを奪っているのではないだろうか。

筆者らはこの問題意識のもと、2016年 12 月から、飯塚らが開発した AI 技術 ${ }^{[5]}$ を応用し、白黒写真のカラー 化を始めた。この技術は、約 230 万組の白黒・カラー 写真から学習した AIによって、白黒写真を着彩するというものである。このソフトウェアはウェブサービス化されており、容易に利用することができる。ただ、以下に示す 2 つの不満点がある。

## 1. 計算リソースを節約するため、入力画像のピクセル サイズが縮小される

## 2. 人工物のカラー化は苦手なため、不自然に色付けさ れることがある

筆者らはこれらの点を解消するために、自動カラー 化した画像を元の白黒画像にオーバーレイして、色彩のみを反映させることにより、ピクセルサイズを復元している。さらに、資料をもとにしてできる限り色調を補正し、より自然な印象に近づけている。

## 2.2 カラー化写真の例

図 1 に、呉からみた広島原爆のきのこ雲の元写真・ カラー化写真を示す。グレーのグラデーションで表現されていた過去の空が、現在の青空のように着彩されている。また、山や海面などの色彩も、私たちが日頃目にするものである。このように、被写体が備えていたはずの色彩を可視化することによって、過去にも、現在と変わらない日常があったことが実感しやすくなる。この例では、原爆投下当日の呉と私たちの日常が重ね合わされ、 この日起きたできごとを、よりイメージしやすくなっている。

図 2 と図 3 に、 100 年以上前の日本で撮影された白黒写真・カラー化写真を示す。人と背景の色彩が可視化されることにより、静止している背景と、動いている人物の差異が強調され、人の姿が前景に浮かび上がっている。 カラー化によって、過去の「人物」が、現在の私たちと変わらない「人間」であることが、実感されやすくなる。

図 4 は、空襲で炎上する呉の街の白黒写真・カラー 化写真である。炎の色彩が可視化されることにより、背景から浮かび上がり、動きと熱をイメージしやすくなっている。過去の火焱の写真をカラー化すると、私たちが頻繁に目にする、現在の火災の写真と似た印象に変化する。私たちは、見知らぬ誰かが体験している災いがリアルタイムに共有され、自分ごととして感じられる時代を生きている。同じように、カラー化された火災の写真は同時性を備え、過去の人々の恐怖を、現在の私たちに伝えてくるのた。

ここまでに示した例のように、白黒写真のカラー化は、現在の私たちの日常と、写し込まれた過去のできごとの距離を近づけ、イメージさせやすくする。遠い昔のできごとが同時性を備えて、現在の日常と地続きになり、自分ごととして感じられるようになる。このことにより、写し込まれたできごとについての対話が誘発されるたろう。

次章では、カラー化した写真をもとにした“フロー”生成の方法と、そこから創発するコミュニケーションについて説明する。

## 3. カラー化写真をもとにした“フロー”の生成 3.1 ソーシャルメディアの“フロー"

ソーシャルメディアのタイムラインに投稿される現在のカウ்・写真は、自明的に同時性を備えている。過去の白黒写真をそのまま投稿した場合、その凍りういた印象は、ユーザの意識のなかで、タイムラインをうリリズさせるはずである。白黒写真をカラー化することで、このプリ・ズを回避し、写真に写し込まれたできごとの印象を解がて、ユーザの身の回りの時間の流れ＝“フロー”に合流させることができるのではないだろうか。

筆者らはこの推測に基づき、主にパブリックドメインの写真をカラー化し、Twitterに投稿することで“フロー”を生成する活動を続けている。

ユーザからは大きな反響があり、ほぼすべての写真が 100 1,000 回程度リツイート・イイネされ、多数のリプライが付く。このことは、カラー化写真を起点にした Twitter 上の “フロー”において、活発なコミュニケー ションが創発していることを示している。

また、2016年 12 月から 2019 年 3 月までの期間に、約 1 億回のインプレッションがあった。さらに、同期間において、筆者の Twitter アカウントのフォロワー数は、約 3,000 人から約 28,000 人に増加した。これらのことから、カラー化写真が、多数の Twitter ユーザに支持されていることが伺える。
筆者らは活動の初期において、カラー化写真を Twitter にそのまま投稿していた。しかしユーザの反応から、投稿に際して「自動カラー化」であることを明示し、さらに、元の白黒写真・参照元を示す必要があることがわかってきた。そこで、筆者らは以下のルールを設定した。投稿の例を図 5 に示す。

## 1.「Automatic Image Colorization」の透かしを付加

## 2.「ニューラルネットワークによる自動色付け+手動補正」とツイートに記載

## 3. 元の白黒写真・参照元 URL をリプライに記載

さらに、できごとの同時性を高めるため、撮影日が明らかな写真については、「○○年前の今日」とツイート本文に記載し、撮影日と同じ日付に投稿することにした。

## 3.2 創発したコミュニケーションの例

カラー化写真をもとにしたフフロー”からは、写真そのものについての感想、撮影地の特定、写し込まれたできごとの時代考証など、さまざまなコミュニケー ションが創発している。

図 6〜8に、創発したコミュニケーションの例を示す。図 6 のツイートにおいて、筆者は、現在の鳥居が赤色であることから、AIが誤った色を付けたと判断し、「機械の限界」と表現した。しかしその後、図 7、 8 のように、鳥居の色の妥当性について考察するリプライが付いた。そこで、図 9 に示した着彩写真と比較してみると、実際の鳥居の色を元にして手作業で付けられた色と、自動カラー化後の色が似ていることがわかった。

この事例では、カラー化写真を元に生成された“フロー”から活発なコミュニケーションが創発し、元資料に対する考察が促された。その結果、「鳥居は赤い」 といった先入観が覆され、逆にそうした先入観を持たないAIだからこそ、学習結果に従って、素直に“自然な色”を付けられたのではないか、という洞察も得られた。これは、元の白黒写真からは得られない知見ではないだろうか。

図 10 は、2018 年 8 月 6 日、広島原爆の日に「72 年前の今日」の写真としてツイートした、被爆 1 年後の焼け野原を見つめるカップルの写真である。これは、筆者らがこれまでに投稿したうち、最も反響が大きかったものであり、本稿執筆時点において 18,354 回リツイート・37,671 回イイネされ、4,520,576 回のインプレッションがあり、86件のリプライが付いている。

図 11 にリプライの例を示す。このように、リプライ
には、戦争と平和、核兵器と社会の関わりなどについて、ユーザの意見を述べたものが多く含まれていた。 さらにユーザ間においても、リプライがスレッド化するなど、活発なコミュニケーションが創発した。多くの人々が「広島原爆」を意識する日に、同時性を備えたカラー化写真がタイムラインに流れたことにより、強い共感を含む“フロー”が生じたのではないだ万うか。

さらにこのツイートは、マスメディアを起点とした “フロー”も生み出した。このツイートに関する記事が新聞に掲載されたところ、写真についての詳細な情報が、読者である沼田清氏（共同通信社）から寄せられた。以下にその概要を示す。

## ・共同通信社が 1946 年 8 月 5 日以前に撮影したもの \\ $\cdot$ 被爆 1 周年 ・終戦 1 周年に向けた企画取材で、全国 の関係地に取材手配した中の一枚 \\ ・胡町の福屋百貨店から南東方向を俯瞰したもので、後方の山は広島湾の金輪島

・ カップルの頭上に写っている新築の建物は旅館であり、改築を経て、飲食店として現存

このカラー化写真を元に生成された“フロー”から、活発なコミュニケーションが創発し、戦争と平和、核兵器と社会の関わりについての、ゆたかな対話が生みだされた。さらに、この“フロー”がソーシャルメディアからマスメディアへと拡がった結果、写真についての詳細な情報が得られた。

ここまでに示した事例から、筆者らの方法によって、 “ストック”された資料が“フロー”化され、創発したコミュニケーションによって、情報の価値が高められていると推測できる。

## 3.3 実空間の“フロー”

筆者らは広島において、戦前に撮影された写真を力ラー化し、直接の対話の場をつくりだすことで、実空間における“フロー”を生成する活動を進めている。

広島平和記念公園が所在する地区はかつて、4,400 人の市民が暮らす繁華街・中島地区だった。そこにあった、現在の私たちと変わらない平和な暮らしは、原爆投下によって永遠に喪われた。近年、この地区における被爆遺構の発掘調査が進み、かつての街のようすが明らかになりつつある ${ }^{[6[[]]}$ 。この中島地区で営まれていた生活の息づかいをカラー化で再現することによって、これまで関心を持たなかった人々も原爆の残酷さを自分ごととして想像しやすくなり、共感とともに受け止めてもらえるのではないだろうか。

そこで筆者らは、中島地区の元住民に協力を得て、戦前に撮影された白黑写真をカラー化し、所有者との直接の対話を続けてきた。以下にその手順を示す。

## 1. 白黒写真の所有者に同意を得る

2. 現物の写真をスマートフォンアプリで非接触スキャンし、デジタルデータ化する

3. 自動カラー化したのちに、高解像度化とおおまかな色補正を施す

4. 白黒写真・カラー化写真のセットを、フォトアルバムサービスにアップロードし、アーカイブ化する

## 5. 所有者に、フォトアルバム上のカラー化写真をタブ レット端末で鑑賞してもらい、写真にまつわる想い出 や、当時の記憶を語つてもらう

6. 対話から得られた情報をもとにして、さらに色補正を重ね、所有者の記憶の中の色彩に近づけていく

図 12 のように、手順のうち $3 、 4$ 以外は、実空間で進められる。3.2 節の事例とは対照的に、対面のコミュニケーションを生み出す点と、その結果をもとにして色の再現度を向上させる点に特徴がある。

図 13 に、演井德三氏から提供された元写真・カラー 化写真を示す。演井氏は原爆投下により家族全員を喪ったが、疎開先に持参していたアルバムが手元に残された。このカラー化写真を鑑賞した濱井氏からは、以下のコメントが得られた ${ }^{[8]}$ 。(以下引用：下線は筆者)。

“家族が一堂に会した写真に「本当にきれい。昨日の上う」。かつて広島市内にあった桜の名所・長寿園での花見の場面では、背景の青々とした杉に「杉鉄砲でよう遊んだなあ」とほほ笑んだ。「長寿園までの道に弾薬庫があって幼心に怖かった」と新たな記憶もよ从がえった。

この事例においては、「青方とした (杉)」という要素が着彩によって可視化されたことで、演井氏の涷うていた記憶が解かされ、「杉鉄砲」「長寿園」などにまつわる、戦前の記憶がよみがえっている。カラー化写真をもとにした対話を終えた演井氏は、家族との楽しい想い出がよみがえったことを、とても嬉しく思うと述べた。

3.2 節の事例では、できごとの当事者ではないユー ザ間のコミュニケーションが創発し、情報の価值が高められていた。一方、この事例においては、当事者との信頼関係に基づく直接の対話によって記憶が解凍され、写真にまつわる隠れたエピソードが掘り起こされ
ている。

図 14 に、高橋久氏から提供された元写真・カラー 化写真と、色補正のプロセスを示す。上から元の白黒写真 (手順 1)、AI で自動色付けしたのち、高解像度化を施したもの（手順 2) である。筆者らはこの段階において、写っている花をシロツメクサであると判断し、花畑の黄色味を弱めた (手順3)。このバージョンを家族とともに鑑賞した高橋氏からは、以下のコメントが得られた ${ }^{[9]}$ (以下引用：下線は筆者)。

“一面に咲く花の中で、両親と祖母、弟と高橋さんの5人がほほ笑む写真。「これは多ンポポだった」。記憶をたぐり寄せながら高橋さんが指さした。庭田さんがシロツメクサだと思い达んでいた小さな花だ。

このコメントは、カラー化写真をもとにした直接の対話が、「タンポポだった」という、高橋氏の涷うていた記憶を解かi、想い出がよみがえったことを示している。図 14 の最下段に、この高橋氏のコメントをもとに、さらに色補正を施したもの（手順 6）を示す。 なお、高橋氏は年齢を重ねるとともに口数が減り、 このカラー化写真に自身が写っていることを認識しているのかどうかについても、判然としない状態にあった。しかし、カラー化写真を囲む対話の場においては、原爆で喪った両親・弟との楽しい想い出について、活き活きと語りはじめた。このことから、カラー化写真のみでは記憶は解凍されなかったこと、親密な対話の場こそが、高橋氏の記憶をよみがえらせるために、重要な要素であったことが伺える。高橋氏が過去の記憶を語りはじめ、筆者らとの対話が生まれたことについて、同席した高橋氏の家族は驚き、大きな喜びを示した。

これらの事例から、筆者らの方法によって、個人蔵の写真＝社会に“ストック”されていた資料が実空間で“フロー”化されており、創発したコミュニケーションによって、所有者の記憶がよみがえっていると推測できる。

本節で説明した活動は、その後も多くの中島地区の元住民の協力のもと、写真についての隠れたエピソー ドを掘り起こし、情報としての価値を高めるとともに、世代を越えて記憶を継承する対話の場をつくりだしてきた。さらに筆者らは、写真提供者と筆者らの間で生まれた“フロー”を社会に拡げていくために、映像作品の制作と国内外での上映 ${ }^{[10]}$ 、カラー化写真展示会

実）表示するスマートフォンアプリのリリース ${ }^{[12]}$実施し、好評を得ている。
筆者らの活動によって、かつての平和な暮らしが、 たった一発の原子爆弾によって一瞬のうちに奪われたという事実を、自分ごととして想像しやすくなる。より多くの人々がこの“フロー”に参加することによって、平和を希求する被爆者の想いは共感とともに社会に拡がり、その記憶は未来へ継承されていくだろう。

## 4. おわりに

本稿では、デジタルアーカイブ／社会に“ストック” されていた白黒写真を AI 技術でカラー化し、ソーシャルメディア／実空間に“フロー”を生成する活動について述べてきた。被写体が備えていたはずの色彩を可視化することによって、白黒写真の凍りついた印象が解かされ、鑑賞者は、写し込まれているできごとをイメージしやすくなる。このことは、過去のできごとと現在の日常との心理的な距離を近づけ、対話を誘発する。こうして生成された“フロー”においては、活発なコミュニケーションが創発し、情報の価値が高められる。筆者らの方法は、貴重な資料とできごとの記憶を、未来に継承するための一助となり得る。

## 註・参考文献

[1] 湯崎稔. 広島における被爆の実相. 1978. 歴史評論, Vol.336, p.12-28.

[2] 今村文彦, 柴山明寛,佐藤翔輔. 東日本大震災記録のアーカイブの現状と課題. 2014. 情報の科学と技術, Vol.64, No.9, p.338-342.
[3] ケヴィン・ケリー（著）, 服部桂（訳）、イインターネット〉 の次に来るもの未来を決める 12 の法則. 2016, NHK出版, 403 p.

[4] 渡邊英徳.「記憶の解凍」資料の“フロー”化とコミュニケー ションの創発による記憶の継承. 2018, 立命館平和研究：立命館大学国際平和ミュージアム紀要, vol.19, p.1-12.

[5] Satoshi Iizuka, Edgar Simo-Serra, Hiroshi Ishikawa. Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification. ACM Transaction on Graphics (Proc. of SIGGRAPH). 2016, vol.35, no.4,\#110.

[6] 石丸紀興. 発掘地層からみる広島平和記念公園における都市の重層構造に関する研究. 2000, 都市計画論文集, Vol.35, p.103-108.

[7] 水川恭輔, 明知隼二, 爆心地下に眠る街, 中国新聞. 2018-0723 , 朝刊, 16-17面.

[8] 城戸良彰. 被爆前の営み鮮やか広島女学院高生写真カラー化記憶掘り起こし継承, 中国新聞. 2017-12-30, 朝刊, 第一社会面

[9] 土屋香乃子。よみがえる被爆者の心の色 AIで写真カラー 化 $\rightarrow$ 聞き取りで補正広島の高校生. 朝日新聞. 2018-08-03,夕刊, 1 面.

[10] Anju Niwata \& Tetsuya Yamaura. "Rebooting Memories": Hiroshima's time advancing and breathing by colorized photographs.2018-11-21.PLURAL+ Screening and Discussion,Paley Center for Media, New York, US.

[11] 東京大学大学院情報学環・学際情報学府. 広島テレビ新社屋「記憶の解凍」展覧会. 2019-01-22. http://www.iii.u-tokyo. ac.jp/research/180122rebootmemories (参照 2019-03-31)

[12] 渡邊英徳, 庭田杏珠.「記憶の解凍」ARアプリ. 2018-02-01. https://wtnv-lab.github.io/rebootingMemories/（参照 2019-0331)

図1「呉からみたきのこ雲」の元写真・カラー化写真

図2

「1908年の日本」(Arnold Genthe) の元写真・カラー化写真

図3「1914 18年の日本」(Elstner Hilton: A.Davey提供) の元写真 ・ カラー化写真

図4 炎上する呉の街（「呉戦災を記録する会」ウェブサイトより）の元写真・カラー化写真

図5 カラー化写真のTwitter投稿例

図6 鳥居の写真のツイート

図7 ユーザによる考証の例-1

図8 ユーザによる考証の例-2

図9 鳥居の着彩写真

図10「被爆地のカップル」(共同通信社) のカラー化写真のツイートの例

図11 リプライの例

図12 カラー化写真を元にした対話のようす

図13「戦前の広島」(湞井德三氏提供) の元写真・カラー化写真

図14「戦前の広島」(高橋久氏提供) の元写真・カラー化写真

図15 カラー化写真展示会全景

図16 展示会における戦争体験者の対話