2021 年度情報処理学会関西支部 支部大会

B-08

観光地のリアルタイム状況説明システムの検討
Real-Time Situation Description System for Tourist Spots

1.

河中 昌樹 †冨田 周作 †⋆中村 優吾 ‡諏訪 博彦 †⋆

安本 慶一 †⋆

Masaki Kawanaka

Shusaku Tomita

Yugo Nakamura

Hirohiko Suwa

Keiichi Yasumoto

はじめに報も追加したうえで，観光地を代表するテンプレート画

近年，スマートフォンなどのモバイル端末の普及に伴像の画像変換を行い，リアルタイムな観光地の状況を説う情報通信技術 (ICT: Information and Communication

明する画像を生成する．具体的には，テンプレート画像

Technology) の活用は，日常生活の様々な場面に利便性にセマンティックセグメンテーションを適用することで，をもたらしている. 観光分野でも，スマートフォンを用

テンプレート画像に存在する物体ごとにクラス分けを行いて様々な情報を提供する観光支援を行うシステム [1, 2]う．その後，それぞれのクラスごとに観光地のオブジェが提案されている．このようなシステムでは，リアルタクト群や環境センサの情報を用いて画像変換を行う．

イムの観光地情報が必要であり，観光地の情報収集を行

本稿の構成は以下の通りとする．第 2 章では，画像変うゲーミフィケーションを用いた参加型センシング手法

換に必要な技術であるセマンティックセグメンテーショ[3] が提案されている．この参加型センシングにおいてンや画像変換技術について述べる．第 3 章では，提案シは，個人が撮影した写真などをそのまま共有する手法がステムの目的と想定環境，アプローチを述べる．第 4 章採用されている．しかしながら，この場合，プライバシ

では画像変換アルゴリズムについて検討し，第 5 章では保護の観点からサーバに個人的な写真や音声などのデー本稿のまとめと今後の展望について述べる．

タを共有することとなりプライバシー保護の観点からリスクを伴う．そこで，プライバシ保護をしながらをリアルタイムに情報共有するために，画像データを直接共有するのではなく，画像に含まれるコンテキストのみを共有することを検討する．
検討技術として，一次データを直接共有するのではな
く，個々に学習された機械学習モデルの重みパラメタのみを交換・統合する Federated Learning に注目する [4]．
冨田ら [5] は，観光ビッグデータの収集を目的に，観光

2.

関連研究

本研究では，テンプレート画像の物体ごとに適切な画像変換を行うことで，観光地を代表するテンプレート画像から現在の状況を説明する画像を生成する．そこで，本章では，画像内の特徴や意味が類似した部分領域に画像を分割するセグメンテーションと画像変換技術について説明を行う．その後，関連研究の課題について述べる．

2.1

セグメンテーション

地において撮影した画像に写っているオブジェクト群の画像内の特徴や意味が類似した部分領域に画像の分リストを出力するモデルをユーザの端末間の Federated

割を行う処理はセグメンテーションと呼ばれる．セグ

Learning により学習する手法を提案している．このモデメンテーションは，セマンティックセグメンテーション

ルにより，観光客は自身の写真を提供することなく，写(Semantic Segmentation)[6]，インスタンスセグメンテー

真をモデルに入力して得られる出力（オブジェクトのリション (Instance Segmentation)[7]，パノプティックセグ

スト）のみを参加型センシングプラットフォームに提供メンテーション (Panoptic Segmentation)[8] に分類されすることで、プライバシーアウェアな情報提供が可能にる．セマンティックセグメンテーションは，同じクラスのなる．

物体が隣接する場合に，それらの物体を個別に認識する

本研究では，観光客が撮影したリアルタイム画像からことができない．一方，インスタンスセグメンテーショ

コンテキストを抽出し，そのコンテキストから生成されンは，同じクラスの物体が隣接する場合に，それらの物る画像を各観光地のベース写真に重畳して表示する手法

体を個別に認識することが可能である．パノプティックを提案する．提案手法では，ユーザが撮影した観光地のセグメンテーションは，上記の 2 つのセグメンテーショ

写真に冨田らの研究 [5] で構築されたモデルを適用するンを組み合わせたものである．本研究では，同じクラスことで得られる観光地のオブジェクトリストからコンテの場合には同様の画像変換を行うため，セマンティックキストを抽出する．さらに，環境センサから得られた情セグメンテーションを利用する．

†‡⋆

奈良先端科学技術大学院大学，Nara Institute of Scienceand Technology
九州大学，Kyushu University
理化学研究所, RIKEN

2.2

セマンティックセグメンテーション

機械学習を用いたセマンティクセグメンテーションとして最も広く認知されているものに Fully Convolu-tional Network (FCN) がある [6]．FCN は，全結合層をCyclyGAN[13] と Conditional GAN を組み合わせた手持たずに畳み込み層のみで構成されており，入力画像の法である．入力画像とドメイン情報を含むラベルベクト

pixel 単位でどのクラスに属するかの分類を行う．その後，ルを取り込むことで 1 つの Generator を用いて画像の変Encoder-Decoder 構造を用いた FCN である Segnet[9] や換を行う．

FCN で有効性が示された skip connection を更に用いた
U-net[10] を用いたセマンティックセグメンテーションがStarGAN の Discriminator と Generator の目的関数LD と LG はそれぞれ以下のように表される．

提案されている．

2.3

GAN を用いた画像変換

LD = −Ladv + λcls Lrcls(4)

LG = Ladv + λcls Lfcls + λrec Lrec

(5)

Generative Adversarial Networks (GAN) は入力画像に対応する出力を生成する Generator とその入出力のペ

ここで，Ladv は Wasserstein GAN の目的関数に Gradi-

アが本物かの判別を行う Discriminator を競わせながらent Penalty を適用した損失関数，Lrcls は Discriminator

学習を行う手法である [11]．GAN は，従来の画像生成の Domain Classiﬁcation Loss，Lfcls は Generator の Do-モデルと比較して鮮明で本物らしい画像を生成すること

main Classiﬁcation Loss，Lrec は Reconstruction Loss，が可能な手法である．GAN は，入力画像を任意の画像

λcls と λrec は重み係数を示す．ドメインラベルを c，xに変換することを目的とした画像変換にも利用されていの元のドメインラベルを c′ とすると，Ladv ，Lrcls ，Lfcls ，る [12, 13, 14]．

Lrec はそれぞれ以下のように表される．
Ladv =Ex [Dsrc (x)] − Ex,c [Dsrc (G(x, c))][]2− λgp Ex̂ (∥∇x̂ Dsrc (x̂)∥2 − 1)

(6)ある [12]．Conditional GAN は，生成したい画像のラLrcls =Ex,c′ [− log Dcls (c′ | x)](7)

ベル情報を入力に加えることで出力する情報を制御する

Lfcls =Ex,c [− log Dcls (c | G(x, c))]2.4

pix2pixIsola らが提案した pix2pix は，ペアとなる訓練データの対応関係を学習する汎用的な Conditional GAN で′方法である．pix2pix の Generator は U-net 構造であり，Discriminator は PatchGAN である．PatchGAN は入出Lrec =Ex,c,c′ [∥x − G (G(x, c), c )∥1 ]力のペアを N×N に分割し，分割した画像の入出力のペ

ここで，∥・∥2 は L2 ノルムを示す．

アごとに本物かを判別する．pix2pix は，従来の画像生

2.6

成モデルの問題点であった出力画像がぼやける点を解消

(8)
(9)

関連研究の課題

セマンティックセグメンテーションを行う際の問題点として，観光地に特化したクラス分けが行われていないしている．
∗pix2pix の目的関数 G は，Genertor を G，Discrim-点が挙げられる．公開されているセマンティックセグメ
ンテーション用のデータセットの多くは，クラスの分類

inator を D とすると以下のように表される．

が細分化されていることが多い．そのため，本研究のよG∗ = arg min max LcGAN (G, D) + λLL1 (G)G

D(1)

ここで，LcGAN (G, D) は Adversarial Loss，LL1 (G) はL1 損失，λ は重み係数を示す．入力画像を x，教師画像を y ，ランダムノイズを z とすると LcGAN (G, D) とLL1 (G) は以下のように表される．

LL1 (G) =Ex,y,z [∥y − G(x, z)∥1 ]

画像変換のデータセットとして，全ての観光地にカメラを設置し，日時や混雑度などが違う画像として収集し，アノテーションを行うことは現実的ではない．そのため，画像変換を行う必要があるが，テンプレート画像から現(2)(3)

ここで，E[・] は期待値，∥・∥1 は L1 ノルムを示す．

2.5

像変換を行う物体でクラスを統合する必要がある．また，既存の画像変換に用いられているデータセットを用いてLcGAN (G, D) =Ex,y [log D(x, y)]+Ex,z [log(1 − D(x, G(x, z))]

うに同じ傾向で画像変換を行う場合には，事前に同じ画StarGAN

Choi らによって提案された StarGAN は，異なる複数のドメインに画像変換を行う GAN であり，入力画像の男性の髪色や表情などを変化させることが可能である [14]．StarGAN は異なるドメインに画像変換を行う

在の情報を一度に反映させる画像変換を行うためのデータセットは存在しない．そのため，観光地のテンプレー
ト画像から現在の状況を説明する画像を生成するためには，セマンティックセグメンテーションによって得られたクラスごとに画像変換を行う機械学習モデルを構築し，それらの画像を最終的に統合する必要がある．

3.

提案システムの概要と想定環境

本章では，提案システムの目的と想定環境について述べる．提案するシステムの概要図を図 1 に示す．

3. これらの情報と GAN を用いて画像を変換

⼊⼒
観光地Aの最新状況（オブジェクトのリストや環境センサの情報）

まず，観光エリアを代表するテンプレート画像にセマンティックセグメンテーションを適用し，特徴や意味が提案システム

観光地Aのテンプレート画像

クラスごとに画像変換を適⽤

セマンティック
セグメンテーション

類似した複数のクラスに画像を分割する．ここでのクラ
観光地のテンプレート
画像の集合

スは，適切な画像変換を行うことが可能になるように画像の分割を行う．例えば，樹木や芝生はセグマンティック
セグメンテーションでは別のクラスに分類されることが多いが，本研究では，樹木も芝生は季節などによって同出⼒じ傾向で変化するため，同じクラスとしてクラス分類を最新情報を反映した観光地Aの画像行い，同様の画像変換を適用する．次に，観光オブジェ
クト認識モデル [5] を用いて，ユーザが撮影した写真か

図 1: 本システムの概要図

ら観光オブジェクトのリストを取得する．また，環境センサから混雑度や天気などの情報も同様に取得する．最3.1

提案システムの概要

提案システムは，観光オブジェクト群や環境センサから得られた情報を用いて，テンプレート画像を画像変換することで観光地のリアルタイムな状況を示す画像の生後に，観光エリアを代表するテンプレート画像のクラスごとに適切な観光オブジェクトのリストと環境センサの情報と GAN を用いて画像変換を行う．

4.

アルゴリズムの検討成を行う．従来の観光地の情報を提供するシステム [15]

本章では，3.3 のアプローチを実現するためにセマン

では，事前に撮影された写真を用いて観光地について説

ティックセグメンテーションとそれぞれのクラスごとに明を行っている．しかし，実際に観光地を観光すると提適用する GAN を用いた画像変換について検討を行う．

供された情報との乖離が発生する可能性がある．事前に撮影された画像の代わりに，ユーザが撮影した写真を用いる方法が考えられるが，プライバシーの問題がある．
そこで，提案システムでは，ユーザが撮影した観光地の写真からユーザの端末内で自動生成した観光地のオブジェクトリスト（冨田らの手法 [5] を使用）を用いて現在の状況を示す画像を生成することで，提供する写真と実際に観光した際の状況の乖離を小さくする．

3.2

想定環境

4.1

セマンティックセグメンテーションにおけるパネル分類

本章では，奈良県を想定環境とし，奈良公園，春日大社，東大寺を観光エリアとする．観光エリアを代表するテンプレート画像を図 2 に示す．図 2 に示す画像に対して，セマンティックセグメンテーションを適用することで，特徴や意味が類似したクラスごとに画像を分割する．
データセットには，Stanford Background Dataset [16]を利用した．本データセットは，715 枚の画像で構成さ

本研究では，観光地を代表するテンプレート画像を画れ，それぞれのラベルは Amazon’s Mechanical Turk を像変換することで観光地の現在の状況を説明する画像の用いてラベル付けが行われている．画像のピクセルごと生成を行うことを想定する．そのため，観光地を代表すに，空，木，道，草，水，建物，山，前景のオブジェクるテンプレート画像の他に，現在の状況を説明する観光トのラベルが付与されている．本システムでは，これら地のオブジェクトのリストや環境センサから得られる情のラベルを用いて 4 つのパネルを作成し，それぞれに画報が必要である．テンプレート画像は観光地ごとに事前像変換を行う．ここで示すパネルは，同様の方法を用いに用意する必要がある．観光オブジェクトのリストには，て画像変換を行うクラスをまとめたものとする．１つ目

樹木などの固定されたオブジェクトの情報や群衆や動物のパネルは，天気パネルであり，空ラベルを利用する．

や雲などの移動するオブジェクトが含まれる．環境セン2 つ目のパネルは，季節パネルであり，木，草，水，山

サでは，天気や群衆などのリアルタイムの情報を得るこ

ラベルを利用する．3 つ目のパネルは混雑度ラベルであとが可能であると想定する．

り，道ラベルを利用する．最後のパネルは物体パネルで提案システムのアプローチあり，建物ラベルと前景のオブジェクトラベルを利用す

本研究のアプローチを以下に示す．

る．機械学習のモデルは U-net，目的関数はクロスエン

3.3

1. 観光エリアを代表するテンプレート画像にセマン
ティックセグメンテーションを適用

2. 観光オブジェクトのリストと環境センサの情報を取得

トロピー，最適化手法は Adam[17] を利用した．また，バッチサイズは 16 とし，学習回数は 100 epoch とした．
図 2 の画像をセマンティックセグメンテーションを用いて変換した結果の一部を図 3 に示す．図 3 より，天気(a) 奈良公園(b) 春日大社(c) 東大寺図 2: 奈良県を代表する観光エリアの画像

パネルは概ね正しく分類できていることが分かる．しか生成を行う．

し，季節パネルでは，芝生部分を物体パネルと誤認識し(1) 天気パネル: 天気パネルでは，晴れ，曇りの 2 つのていることが分かる．また，混雑パネルでは，道路の模状態を変化させることで現在の観光地の天気に近い画像

様によっては物体パネルと誤認識している．最後に，物の生成を行う．学習用のデータセットには，晴れと曇りの体パネルは，建物については概ね分類できているが，鹿画像がそれぞれ 5000 枚ずつで構成されている Weatherなどの前景のオブジェクトは正しく分類できていないこ

Image Dataset[19] を利用する．本データセットは，対とが分かる．これは，学習用のデータセットに鹿が存在応するペア画像は存在しないため，pix2pix を用いて学しないため，何と分類すれば良いか分からないためだと習することが困難である．そのため，異なるドメインに考えられる．本実験では，データセットの量が少なかっ画像変換を行う CyclyGAN と太陽光センサや観光オブたため，学習が十分に行われていない可能性が考えられジェクト群の雲の情報を用いて画像変換を行う．

る．この問題に対しては，鹿のデータの追加や画像の回(2) 季節パネル: 季節パネルでは，春，夏，秋，冬の 4

転やノイズを注入するなどの Data Augmentation[18] をつの状態を変化させることで現在の観光地の季節に近い用いることで分類精度が向上する可能性がある．

画像の生成を行う．文献 [13] では，夏と冬の画像の変換

4.2

テンプレート画像の画像変換手法の検討を目的とした画像変換用のデータセットとして，Flickr

本研究では，テンプレート画像のパネルごとに画像変API を用いて，yosemite と datataken をタグ指定し画像換を行うことで観光地の現在の状況を説明する画像を生のダウンロードを行っている．本システムでは，夏と冬の成する．冨田らの構築したモデル [5] を用いて，ユーザ画像だけではなく，春と秋のデータについても datatakenが撮影した写真から得られる観光地のオブジェクトリスを変更することで入手し，構成されたデータセットを用

トには，観光地の風景や写っている観光者の人数から，いてモデルの学習を行う．その後，異なる複数のドメイ

現在の天気，季節，混雑度などの情報を得ることができンに画像変換を行う必要があるため，StarGAN と観光ることを想定する．これらの情報と環境センサから得らオブジェクト群から植物の色の情報を用いて画像変換をれる現在の情報を用いて，現在の状況を説明する画像の行う．

:天気パネル:季節パネル:混雑パネル:物体パネル

図 3: セマンティックセグメンテーションの結果(3) 混雑度パネル: 混雑度パネルでは，人間の人数を変化させることで現在の観光地の混雑度に近い画像の生成を行う．学習用のデータセットは，画像内の物体を除去する深層学習 [20] を用いて，人間の人数が異なる対応装を行い，観光地の現在の状況を説明する画像の生成が可能であるか検討する予定である．

参考文献あるデータセットを作成を行い，pix2pix の学習を行う．

[1] Shogo Isoda, Masato Hidaka, Yuki Matsuda, Hi-

その後，pix2pix と観光オブジェクト群と環境センサのrohiko Suwa, and Keiichi Yasumoto. Timeliness-

混雑度データを用いて混雑度を表現するように画像変換

aware on-site planning method for tour navigation.

を行う．

Smart Cities, Vol. 3, No. 4, pp. 1383–1404, 2020.

(4) 物体パネル: 物体パネルは，時間の流れによって[2] Masato Hidaka, Yuki Kanaya, Shogo Kawanaka,

急激に変化するものではないため，本システムでは画像

Yuki Matsuda, Yugo Nakamura, Hirohiko Suwa,変換を行わない．

Manato Fujimoto, Yutaka Arakawa, and Keiichi(5) 全体パネル: 全体パネルでは，すべてのパネルにYasumoto. On-site trip planning support system

共通する明るさについて画像変換を行う．学習用のデー

based on dynamic information on tourism spots.

タセットには，101 個のウェブカメラで撮影された，時Smart Cities, Vol. 3, No. 2, pp. 212–231, 2020.

間の経過によって明るさの異なる画像が含まれる 8571枚のデータセットを利用する [21]．本システムでは，明[3] Shogo Kawanaka, Yuki Matsuda, Hirohiko Suwa,

るさが異なる対応あるデータを用いて pix2pix の学習をManato Fujimoto, Yutaka Arakawa, and Keiichi

行う．その後，pix2pix と環境センサの光情報を用いてYasumoto.

適切な明るさに画像変換を行う．

tourism: An experimental study of the eﬀects on

5.

おわりに

本稿では，観光オブジェクト認識モデルが構築されていると仮定し，観光地の現在の状況を説明するシステムの検討を行った．想定環境として，奈良県を対象とし，その中で春日大社，奈良公園，東大寺を対象観光エリアとし，セマンティックセグメンテーションを用いたパネル分類や観光エリアごとのテンプレート画像の画像変換手法について検討を行った．今後の研究では，セマンティッ
クセグメンテーションの性能の向上や画像変換手法の実

Gamiﬁed participatory sensing intourist behavior and satisfaction. Smart Cities,Vol. 3, No. 3, pp. 736–757, 2020.
[4] H. Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, and Blaise Agüera y Arcas.
Communication-eﬃcient learning of deep networks
from decentralized data. Proceedings of the 20 thInternational Conference on Artiﬁcial Intelligenceand Statistics (AISTATS), Vol. 54, , 2017.

[5] Shusaku Tomita, Yugo Nakamura, Hirohiko Suwa,and Keiichi Yasumoto. 観光オブジェクト認識モデ
ルのユーザ参加型構築手法の提案. DICOMO, 2021.

In 2017 IEEE International Conference on Computer Vision (ICCV), pp. 2242–2251, 2017.
[14] Yunjey Choi, Minje Choi, Munyoung Kim, Jung-[6] Jonathan Long, Evan Shelhamer, and Trevor Dar-Woo Ha, Sunghun Kim, and Jaegul Choo. Star-rell. Fully convolutional networks for semantic segmentation. In 2015 IEEE Conference on Com-gan: Uniﬁed generative adversarial networks forputer Vision and Pattern Recognition (CVPR),

IEEE/CVF Conference on Computer Vision andpp. 3431–3440, 2015.

Pattern Recognition, pp. 8789–8797, 2018.

multi-domain image-to-image translation. In 2018[7] Yi Li, Haozhi Qi, Jifeng Dai, Xiangyang Ji, and[15] 阪口大弥, 泉朋子, 仲谷善雄. 場の雰囲気にもとづく

Yichen Wei. Fully convolutional instance-aware

散策観光支援システム. 情報処理学会 全国大会 講

semantic segmentation.

演論文集, 2015.

In 2017 IEEE Confer-ence on Computer Vision and Pattern Recognition(CVPR), pp. 4438–4446, 2017.

Koller. Decomposing a scene into geometric and[8] Alexander Kirillov, Kaiming He, Ross Girshick,Carsten Rother, and Piotr Dollár.
segmentation.

Panoptic

In 2019 IEEE/CVF Conference

on Computer Vision and Pattern Recognition(CVPR), pp. 9396–9405, 2019.

Cipolla. Segnet: A deep convolutional encoderdecoder architecture for image segmentation.
IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, No. 12, pp. 2481–2495,
2017.
[10] O. Ronneberger, P.Fischer, and T. Brox.

U-net: Convolutional networks for biomedical image
segmentation. In Medical Image Computing andComputer-Assisted Intervention (MICCAI), Vol.
9351 of LNCS, pp. 234–241. Springer, 2015.
[11] Ian Goodfellow, Jean Pouget-Abadie, Mehdi
Mirza, Bing Xu, David Warde-Farley, SherjilOzair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. In Advances in Neural
Information Processing Systems, 2014.
[12] Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, andImage-to-image translation

with conditional adversarial networks.

semantically consistent regions.

In 2009 IEEE

12th International Conference on Computer Vision, pp. 1–8, 2009.
[17] Diederik P. Kingma and Jimmy Ba. Adam: Amethod for stochastic optimization. In 3rd Inter-[9] Vijay Badrinarayanan, Alex Kendall, and Roberto

Alexei A. Efros.

[16] Stephen Gould, Richard Fulton, and Daphne

In 2017IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 5967–5976, 2017.
[13] Jun-Yan Zhu, Taesung Park, Phillip Isola, andAlexei A. Efros. Unpaired image-to-image translation using cycle-consistent adversarial networks.

national Conference on Learning Representations,
ICLR, 2015.
[18] Shorten C. and Khoshgoftaar T.M. A survey onimage data augmentation for deep learning. J BigData, 2019.
[19] Cewu Lu, Di Lin, Jiaya Jia, and Chi-Keung Tang.
Two-class weather classiﬁcation. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, No. 12, pp. 2510–2524, 2017.
[20] Yu Zeng, Zhe Lin, Jimei Yang, Jianming Zhang,
Eli Shechtman, and Huchuan Lu. High-resolution
image inpainting with iterative conﬁdence feedback and guided upsampling. In Computer Vision– ECCV 2020, pp. 1–17. Springer International
Publishing, 2020.
[21] Pierre-Yves Laﬀont, Zhile Ren, Xiaofeng Tao,
Chao Qian, and James Hays. Transient attributes
for high-level understanding and editing of outdoor scenes. ACM Trans. Graph., Vol. 33, No. 4,2014.