画像電子学会第4回デジタルミュージアム・人文学（DMH）研究会

浮世絵 AR によるストリートミュージアムの試み－

現在と過去を調和させる AI コンテンツ生成手法を目指して
佐野 睦夫†―松田 展‡†大阪工業大学情報科学部 〒573-0196 大阪府枚方市北山 1-79-1‡大阪工業大学大学院情報科学研究科 〒573-0196 大阪府枚方市北山 1-79-1
E-mail:†mutsuo.sano@oit.ac.jp, ‡m1m22a26@st.oit.ac.jp

あらまし
近年，博物館のコンテンツを，XR 技術により，現地で体験できるアプリケーションが，観光目的や教育目的で盛んに開発されてきている．特に，GPS や QR コード認識，ランドマーク認識により位置やアイテム情報を取得して，史跡コンテンツを，VR 技術で再現させたり，AR 技術で史跡の情報を付加したりする技術が一般的に使われている．しかしながら，これらの技術は，現地での現在のシーンに，過去の情報を重ねて示すには十分であるが，現在のシーンのアイテムを過去のアイテムに置き換え，対比させ，その違いに気づかせる教育や観光イ
ベントに対しては困難である．本研究では，現在のシーンと過去の画像に対して，深層学習により，セマンティックな解釈を行い，アイテムを置き換えることにチャレンジする．さらに，敵対的生成ネットワークにより，浮世絵などの過去の作品のテイストを融合させるアート作品としての可能性も示す．
キーワード
AR，浮世絵変換，敵対的生成ネットワーク，画像セグメンテーション

A study on Street Museum based on Ukiyo-e AR- Aiming for AI content generation method that harmonizes the present scene and thepast picture Mutsuo SANO†

Hiraku MATSUDA‡†Faculty of Information Science and Technology, Osaka Institute of Technology
1-79-1 Kitayama, Hirakata-City, Osaka, 573-0196 Japan‡Graduate School of Information Science and Technology, Osaka Institute of Technology
1-79-1 Kitayama, Hirakata-City, Osaka, 573-0196 JapanE-mail:†mutsuo.sano@oit.ac.jp , ‡m1m22a26@st.oit.ac.jp

Abstract In recent years, applications that allow users to experience museum contents locally using XR technology havebeen actively developed for tourism and educational purposes. In particular, technology that acquires location and item
information by GPS, QR code recognition, and landmark recognition, reproduces historical site content with VR technology,and adds historical site information with AR technology is commonly used. However, these techniques are sufficient tosuperimpose past information on the current scene in the field, but they are difficult for them to replace the current scene itemswith past items according the semantic interpretation automatically, compare the current with the past, and make users awareof their difference for education and sightseeing. In this research, we challenge to perform semantic interpretation and replace
items by deep learning for the current scene and past images. In addition, we show the possibility of art works that fuse thetaste of past works such as ukiyo-e by adversarial generative networks.
Keyword AR，Ukiyo-e Transformation，Generative Adversarial Network, Image Segmentation
的 地 周 辺 に あ る Wi-Fi の ア ク セ ス ポ イ ン ト か ら の 電 波

1. は じ め に
近年，博物館や図書館などでアーカイブされてい強度を利用して地図と連携し位置を特定したり，写真る 歴 史 的 な コ ン テ ン ツ を ，現 地 で 身 近 に 体 験 で き る XRなどのランドマーク認識に基づきコードレスで目的地アプリケーション（ストリートミュージアム）が，観を と 特 定 し ， 史 跡 コ ン テ ン ツ を ， VR 技 術 で 再 現 さ せ

光 目 的 や 教 育 目 的 で 開 発 さ れ て き て い る [1][2][3]． 目

た り ， AR 技 術 で 史 跡 の 情 報 を 付 加 し た り す る も の が37

画像電子学会第4回デジタルミュージアム・人文学（DMH）研究会

一般的である．しかしながら，これらの技術は，シー浮世絵への画風の変化が少ないように見受けられる．

ンの構成要素である任意のセマンティックス単位の置き換えは困難であり，現在のシーンの意味をもったア

3.ア イ テ ム 単 位 の 置 換 え 手 法 と そ の 評 価

イテムを部分的に過去のアイテムに置き換え，他のア図３にアイテム単位の置換え手法の流れを示す．

イテムと対比させ，その違いを楽しんだり，新しい発見をしたりするアプリケーションをつくることは難し
い ．本 研 究 で は ，現 在 の シ ー ン と 過 去 の 画 像 に 対 し て ，深層学習により，セマンティックな解釈を行い，任意のアイテムを置き換えるプラットフォームの構築にチャレンジする．さらに，敵対的生成ネットワークにより，過去の作品の画風を融合させるアート作品としての可能性も示す．我々は今，現在の水辺の都市大阪の風景と江戸時代の風景の任意の構成要素（橋や建物など）を置き換えすることより，さらに，画風も変換することにより，どのような新しい価値が生まれるのかを検討している，本報告では，いくつかの試みを紹介する．

図 3

2.原 風 景 の 画 風 変 換 と そ の 課 題
敵 対 的 生 成 ネ ッ ト ワ ー ク （ GAN: Generative

アイテム単位の置換え手法の処理の流れ＜インスタンスセグメンテーション＞

Adversarial Network） に お い て ， 画 像 デ ー タ の 外 見 的

図 4 に 示 す よ う に ，本 研 究 で は ，Instance Segmentation

特 徴 （ ス タ イ ル ） を 変 換 す る CycleGAN の 仕 組 み を 活の 代 表 的 な 検 出 手 法 で あ る Mask R-CNN[6]を 用 い る ．

用することにより，画像全体の画風を変換することが処理結果を図 4 に示す．

可 能 で あ る [4]．図 1 に 原 風 景（ 水 都 大 阪 コ ン ソ ー シ ア
ム 公 式 写 真 素 材 集 [5]を 利 用 ）， 図 2 に 浮 世 絵 へ の 画 風変換の例を示す．

図 1

図 4 インスタンスセグメンテーションの適用例

原風景（水都大阪コンソーシアム）＜３次元構造推定と変換＞
現在の画像のアイテムと過去のアイテムを入れ替えるにあたり，過去のアイテムの形状を適切に変形させる た め 消 失 点 の 検 出 が 必 要 に な る ．消 失 点 の 計 算 に は ，Krishnendu Chaudhury ら が 研 究 を 行 っ た RANSAC ベ ー
ス で の 算 出 [7]を 用 い る ．こ の 手 法 は ，画 像 に 対 し て エッジ検出を行った後，ランダムな 2 つのエッジを用いて RANSAC モ デ ル で 消 失 点 を 探 索 す る ． RANSAC と図 2 浮 世 絵 画 風 変 換 （ CycleGAN）

はランダムに抽出したデータから外れ値を除外し学習する手法である．

全体の画風（スタイル）が一様に浮世絵調になって＜合成画像＞いるのが確認される．しかし，人工的に作られたビル

本研究では，過去の画像（浮世絵画像）として，大群は，水辺や空などの自然の要素よりも，相対的に，38

画像電子学会第4回デジタルミュージアム・人文学（DMH）研究会

阪 市 立 図 書 館 デ ジ タ ル ア ー カ イ ブ 「 雑 喉 場 (浪 花 百き換えるプラットフォームを構築し，その可能性につ景 )」 な ど を 用 い ， 合 成 を 行 っ た 結 果 を 図 5 に 示 す ．

い て 示 し た ． さ ら に ， CycleGAN に よ り ， 全 体 に 浮 世
絵スタイルを施すことにより，より江戸時代が感じられるコンテンツ変換の可能性も示した．今後，印象評
価を重ねつつ，現在と過去のシーンの違いを楽しんだ
り，新しい発見をしたりするアプリケーションの可能性について検討を加えていく．さらに，過去の作品のテイストを融合させるアート作品としての可能性も検証していく予定である．
また，我々は，都市の水辺に焦点をあてて，癒しコンテンツとしての可能性も検討している．浮世絵は，鮮やかな原色というよりも，少しかすみがかかった落ち着いた画風となっている．水辺は水面のゆらぎがあり，また，浮世絵としても，曲線的なゆらぎの特徴を図 5 江戸時代の浮世絵の建物と現在のある有している．心拍計測などを用いた生理的計測によりシーンを合成した画像客観的な検証も加えていく予定である．
本変換により，現在のシーンを活かしつつ，浮世絵本研究を進めるにあたり，今の水辺の写真データとの建物がより自然な形で鑑賞できる．ができているこ

し て 水 都 大 阪 コ ン ソ ー シ ア ム 様 [5] に ， 浮 世 絵 画 像 デとが確認される．

ー タ と し て ， 大 阪 市 立 図 書 館 様 [8]と 株 式 会 社 今 井 様[10]に 感 謝 致 し ま す ．

4.置 き 換 え た シ ー ン に 対 す る 画 風 変 換
図の置き換えたシーンに対して，画像全体に浮世絵のスタイル変換を適用した結果を，図 6 に示す．

文献[1] 柴 田 史 久 ，”応 用 １：モ バ イ ル AR 位 置 情 報 に 基
づ く AR シ ス テ ム ，” 情 報 処 理 Vol.51 No.4 Apr.,
pp.385-391(2010) .
[2] ス ト リ ー ト ミ ュ ー ジ ア ム ，https://www.streetmuseum.jp/about/ (2022.12.18) .
[3] Yahoo! ブ ラ ウ ザ ア プ リ ,” 写 真 か ら 施 設 名 や 観 光
名 所 を 識 別 す る ,画 像 認 識 モ デ ル と シ ス テ ム 紹 介 ”，
https://techblog.yahoo.co.jp/entry/202212013037955
9/ (2022.12.1)[4] Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A.
Efros,"Unpaired Image-to-Image Translation using
Cycle-Consistent Adversarial Networks," CVPR2017[5] 水 都 大 阪 コ ン ソ ー シ ア ム 公 式 写 真 素 材 集 ，
https://www.suito-osaka.jp/gallery/index.html[6] Kaiming He， Georgia Gkioxari， Piotr Dollár， RossGirshick ： Mask R-CNN ， IEEE International
Conferenceon
ComputerVision(ICCV),
pp.2961-2969 (2017)[7] Krishnendu Chaudhury ， Stephen DiVerdi ， Sergey
Ioffe：AUTO-RECTIFICATION OF USER PHOTOS，IEEE International Conference on Image Processing(ICIP) (2014). ．
[8] 大 阪 市 立 図 書 館 デ ジ タ ル ア ー カ イ ブ ，「 雑 喉 場(浪 花 百 景 )」http://image.oml.city.osaka.lg.jp/archive/detail?cls=ancient&pkey=p0125001，（ 閲 覧 日 ： 2020 年 2 月 5 日 ）[9] University of California, Berkeley,
http://efrosgans.eecs.berkeley.edu/cyclegan/pretraine
d_models，（ 閲 覧 日 ： 2022 年 1 月 31 日 ）図 6 置換え画像に浮世絵変換をした結果
水面や空などが浮世絵のスタイルに変換され，全体としてより調和した感覚が得られている．浮世絵変換に は ， 学 習 画 像 と し て ， 浮 世 絵 画 像 が 562 枚 ， 通 常 の写 真 が 6287 枚 の 計 6849 枚 [9]を 用 い た ．

5.ま と め本研究では，都市部の水辺のシーンを取り上げ，現在のシーンと江戸時代の浮世絵画像に対して，深層学習により，セマンティックな解釈を行い，アイテムを置

39

画像電子学会第4回デジタルミュージアム・人文学（DMH）研究会[10] 株 式 会 社 今 井 ， https://www.d-imai.com/history/ ，（ 閲 覧 日 ： 2022 年 2 月 5 日 ）40