テンプレート画像とコンテキスト情報を用いた観光地の現況画像の自動生成法の提案
河中 昌樹1

中村 優吾2

諏訪 博彦1,3

安本 慶一1,3

概要：スマートフォンを用いて観光地の情報を提供する観光支援システムが多く提案されているが，これらのシステムの多くは，観光地の最新の状況（現況）を提供できていない．リアルタイムに観光地の情報を取得するために，観光している人に観光地の現在の写真を共有してもらう方法があるが，提供者のプラ
イバシー情報が漏洩するリスクが伴う．そこで我々は，ユーザが撮影した写真を直接共有するのではく，
オブジェクト認識モデルを写真に適用して取得可能な観光地のコンテキスト情報（天気や混雑，動植物などのオブジェクト等）のみを共有するというアプローチを検討している．本研究では，観光地の最新のコンテキスト情報が共有されるという前提のもと，観光地のテンプレート画像とコンテキスト情報から観光地の現況画像を自動生成する手法を提案する．提案手法は，テンプレート画像にセマンティックセグメン
テーションを適用し，各セグメントごとにコンテキスト情報を考慮して画像変換を行うことで，観光地の現況画像の自動生成を行う．評価実験より，提案手法により生成された画像は観光地の現況をユーザに適切に伝えることが可能であることが示された．

Automatic generation of up-to-date tourist spot images using
template images and context information
Masaki KAWANAKA1

Yugo NAKAMURA2

1. はじめに

Hirohiko SUWA1,3

Keiichi YASUMOTO1,3を直接共有するのではなく，画像に含まれるコンテキストのみを共有する方法が考えられる．

近年，スマートフォンを用いて情報を提供する観光支援

画像に含まれるコンテキストを抽出するためにオブジェシステムが提案されている [1, 2]．磯田ら [1] は，観光ス

クト認識モデルが利用可能である．観光や地域に特化したポットごとに時間や天気などを考慮した評価値から複数のオブジェクト認識モデルを構築するには多数の写真を使っ

次訪問スポットを推薦する観光客の意思決定支援システム

た学習が必要であるが，学習のために写真を提供させるを提案している．このシステムでは，推薦の際に，ユーザとプライバシー情報が漏洩してしまう．そこで，プライバが次訪問スポットについて知るためにリアルタイムの観光

シーに配慮してオブジェクト認識モデルを学習する方法と情報が必要となる．リアルタイムの観光情報を取得する方

して，プライバシーを含むデータを直接学習データとして法としてカメラを各観光地に設置することが考えられる

用いずに，各端末で学習された機械学習モデルの重みパラが，設置・維持コストの点から現実的ではない．

メータを交換・統合する連合学習（Federated Learning）がこの問題に対し，河中ら [3] は，観光地の情報収集を行注目されている [4]．冨田ら [5] は，観光客端末間での近距

うゲーミフィケーションを用いた参加型センシング手法を

離直接通信を活用した連合学習に基づくユーザ参加型オブ

提案している．しかし，この手法では，個人が撮影した写

ジェクト認識モデル構築手法を提案している．この手法で真を直接共有するため，写真提供者のプライバシーが漏洩は, すれ違った他の観光客が持つモデルの重みパラメタをするリスクが生じる．プライバシー保護を行いながらリア

受信し，自分のモデルに統合することで，ユーザが撮影しルタイムに情報を共有するために，ユーザが撮影した写真

た観光地の写真を提供することなく，観光地のコンテキス
ト情報を抽出するオブジェクト認識モデルの学習を可能と

12
3

奈良先端科学技術大学院大学, Nara Institute of Science andTechnology
九州大学, Kyushu University
理化学研究所, RIKENする．しかし，この研究では，抽出したコンテキスト情報
をどのように観光地の現況を伝えるために共有するのかま況を説明する方法を検討する．

⼊⼒

観光支援システムの多くは，観光地のホームページの写

観光地Aの最新状況（オブジェクトのリストや環境センサの情報）

真や前もって撮影した観光地を代表する写真を用いて観光提案システムセマンティック
セグメンテーション

コンテキストごとに画像変換を適⽤地を紹介する．しかし，これらの写真では観光地の現在の観光地Aのテンプレート画像

観光地のテンプレート
画像の集合

状況は考慮されていないため，季節感や混雑度などの動的な情報をユーザに伝えることができない．市民参加型写真収集アプリ [7] や観光地の情報収集を行うゲーミフィケー
ションを用いた参加型センシング手法 [3] を用いることで，出⼒

最新の観光地の情報を反映した写真を収集することが可能

最新情報を反映した観光地Aの画像であるが，ユーザが撮影した写真を直接共有することはプ

図 1

システムの概略図

ライバシー情報漏えいのリスクが伴う．
そこで我々は，観光客が撮影した観光地の現在の状況をでは考慮していない．

示す画像からコンテキストを抽出し，コンテキストのみをそこで，我々は，観光客が撮影した観光地の現在の状況

収集することで，プライバシーを保護しながら観光地の最（現況）を示す画像からコンテキストを抽出し，各観光地

新状況の収集を行う．その後，テンプレート画像の特徴やのテンプレート写真に反映させるシステムを提案してい意味が類似した部分領域ごとにコンテキスト情報を用いてる [6]. 本システムの概略図を図 1 に示す．本システムで画像変換を行い，観光地の現況画像を自動生成する．そのは，観光地を代表するテンプレート画像にセマンティック

ため，以下の節では，特徴や意味が類似した部分領域に分セグメンテーションを適用し，反映したいコンテキストの割するセグメンテーションと画像変換技術であるスタイル

各要素（混雑や天気，季節を反映する樹木など）に対応す変換について述べる．

るセグメントの画像変換を行い，観光地の現況を説明する
画像を生成する．

2.2 セグメンテーション

本稿では，実際にテンプレート画像に対してコンテキス

画像を特徴や意味が類似した部分領域に分割する処理はト情報に基づく画像変換を行い，コンテキストを反映した

セグメンテーションと呼ばれる．画像の分割方法によっ画像を共有する具体的な手法を提案する．提案システムでて様々なセグメンテーション法が提案されている [8–10]．

は，テンプレート画像の特徴や意味が類似した部分領域ご

本研究では，同じ物体には同様の画像変換を行うため，物とにユーザから収集したコンテキスト情報を用いて画像変体のクラスごとに画像の分割を行うセマンティックセグ

換を行い，観光地の現況画像を自動生成する．

メンテーション [8] を利用する．機械学習を用いたセマン

提案システムの有効性を評価するために，生成された観

ティックセグメンテーションとして最も広く認知されてい光地の現況画像を見た時に，観光地の状況がユーザにどのるものに Fuuly Convolutional Network (FCN) が提案されように認識されるのか評価した．その結果，概ねシステムている．FCN は，畳み込み層のみで構成されており，入力が提供したい情報をユーザに伝えることが可能であること

画像のピクセル単位でクラス分類を行う手法である．そのが明らかになった．

後，FCN で有効性が示された skip connection を更に導入

2. 関連研究
本章では，観光地コンテキストの共有に関する従来手法

した U-net [11] や Encoder-Decoder 構造を用いた FCN である segnet [12] を用いたセマンティックセグメンテーショ
ンが提案されている．

を整理したうえで，提案手法で利用する技術について述べる．

2.3 スタイル変換
スタイル変換とは，物体の位置情報などの構造を担保す

2.1 観光地コンテキストの共有

るコンテンツ画像と画風を示すスタイル画像を入力とし現在地から離れた場所の状況を説明する際には，状況をて，コンテンツ画像の構造とスタイル画像の画風を持った

文章で説明する方法やその場所の写真を提供する方法が一

画像を生成する手法である [13]．この手法では，CNN を般的である．一度も訪問したことがない場所に対しては，用いてコンテンツ画像の構造とスタイル画像の画風を持っ文章で説明する方法では，状況を理解することが困難であた画像に近くなるようにホワイトノイズを更新する．このる一方，画像を用いて説明する方法では，状況を理解する

時，物体の形状を保つための損失関数であるコンテンツ誤ことが容易であると考えられる．本論文で対象としている

差 Lcontent とコンテンツ画像に画風を反映させるための損

観光分野のシステムでは，一度も訪問したことがない場所

失関数であるスタイル誤差 Lstyle を用いて以下の損失関数について説明する場合が多いと考えられるため，画像で状を最小化するように学習を行う．

Ltotal = αLcontent + βLstyle

(1)

表 1
クラス分類

空の色

紺碧, 天色, 空色

雲の色

白い雲, 黒い雲

雲量多い, 普通, 少ない

樹木クラス

葉の状態

画風が反映されにくくなる．一方，β を α 比較して大きく桜, 黄葉, 新緑, 紅葉

芝生クラス

芝生の状態

新緑, 黄化すると画風が強く反映されるが，物体の位置や形状が失わ

混雑クラス

混雑状態

非常に多い, 多い, 普通,

全てのクラス

明るさ

ここで，α と β は重み係数であり，コンテンツ誤差 Lcontent

空クラス

東大寺のオブジェクトリスト
サブクラス
要素

とスタイル誤差 Lstyle の比重を決定する．例えば，α を βと比較して大きくすると物体の位置や形状が頑健になるが，れる．コンテンツ誤差 Lcontent は，l 層目の i 番目のチャネ
ルの j に位置するコンテンツ画像の特徴マップ Pijl と生成画像の特徴マップ Fijl を用いて以下のように表される．

Lcontent (⃗p, ⃗x, l) =)2
1 ∑( lFij − Pijl
2

(2)

i,j

少ない, 非常に少ない
明るい, 少し明るい,
普通, 少し暗い, 暗いテキスト情報を用いて画像変換を適用する．最後に図 2 右に示すように，適用結果の画像を 1 枚に統合し，明るさとここで，p⃗ はコンテンツ画像，⃗x は生成画像を示す．また，コントラストを変換することで観光地の現況画像を生成

スタイル誤差 Lstyle は，チャネル間の相関を示すグラム行

する．

列を用いて以下のように表される．

Lstyle (⃗a, ⃗x) =L∑

3.2 オブジェクトリスト
w l El

(3)

l=0

El =

∑(
)2
1
Glij − Alij
4Nl2 Ml2

提案手法では，観光地を代表するテンプレート画像を観
光地のコンテキスト情報を用いて画像変換することで観光

(4)

i,j

地の現況画像を自動生成を行う．そのため，テンプレート
画像に対して，観光地のコンテキストに対応するオブジェ

ここで，⃗a はスタイル画像，wl は各層の重み，Nl と Ml はクトのリストが必要である．図 3 に異なる時期に撮影しそれぞれ特徴マップの数とサイズ，Glij と Alij はそれぞれた東大寺の写真を示す．左は 2021 年 7 月に撮影したもの，

生成画像とスタイル画像のグラム行列を示す．

右は 2022 年 4 月に撮影したものである．左右の写真の違入力画像に対応する出力を生成する Generator とその入いとして，天気，樹木や芝生の状態，混雑度，時間帯が挙出力のペアが本物かの判別を行う Discriminator を競わせげられる．そのため，これらのコンテキスト情報を反映しながら学習を行う手法である GAN [14] などを活用した手ている表 1 のような観光地のオブジェクトリストと考え法も提案されており，質の高いスタイル変換が可能になっられる．本論文では，それぞれのサブクラスが持つ要素はている [15, 16]．

One-hot ベクトルであると仮定する．そのため，空の色に

3. 提案システム
本章では，提案システムと想定環境について述べる．提案するシステムの概要図を図 2 に示す．

おいては，空色，天色，紺碧が重複することは考えない．

3.3 セグメンテーション
提案手法は，観光地を代表するテンプレート画像を使って現況画像を生成する．この時，テンプレート画像に対し

3.1 提案システムの概要
提案システムの目的は，観光地の現況を観光者に伝えるてセマンティックセグメンテーションを適用し，特徴や意
味が類似した複数のクラスに分割する．

ことである．この目的を達成するため，提案手法では，観セマンティックセグメンテーションは，DNN を用いた

光者が撮影した写真を直接共有するのではなく，オブジェ

方法と手作業で行う方法がある．DNN を用いた方法は，

クト認識モデルを用いて画像に含まれるコンテキストのみ

画像を入力するだけで自動的に特徴や意味が類似した複数を共有する．

のクラスに分割することが可能であるが，それぞれの想定

オブジェクト認識モデルによって出力される観光地のコ環境に適した正解ラベルを大量に用意する必要がある．本

ンテキスト情報と対象とする観光地のテンプレート画像を研究では，テンプレート画像は頻繁に更新されるものでは用いて観光地の現況画像を自動生成することで，観光地のないため，高精度に特徴や意味が類似したクラスに分割が現況を観光者に伝える．提案システムは，図 2 左に示すよ

可能な手作業のセマンティックセグメンテーションを用い

うに事前に撮影したテンプレート画像にセマンティックセることとした．東大寺のテンプレート画像に手作業でセマグメンテーションを適用して，特徴や意味が類似した複数

ンティックセグメンテーションを適用した結果を図 4 にのクラス（セグメント）に画像を分割する．その後，図 2

示す．セマンティックセグメンーションは，観光地のオブ中央に示すように，それぞれのセグメントに観光地のコン

ジェクトリストのクラス分類と同様に空クラス，樹木クラ観光オブジェクトリストの
空の情報

適切な空に
差し替え

観光オブジェクトリストの明るさの情報観光オブジェクトリストの
樹木と芝生の情報

明るさと
コントラストを変換

スタイル変換観光オブジェクトリストの
混雑度情報

人のシルエット
画像を重畳

図 2

本システムの概要図

テンプレート画像と観光地のコンテキスト情報（オブジェクトリスト）を用いてセグメントごとに画像変換を行う．画像変換手法については，次章で詳しく述べる．

4. コンテキスト情報に基づく画像変換
本章では，テンプレート画像をセマンティックセグメン
テーションによって分類したクラスごとに適用する画像変
図 3

時期による観光地の違い

換について詳しく述べる．本システムを用いて観光地のオ
ブジェクトリストを反映させた結果を図 5 に示す．図 5 を: 空クラス: 樹⽊クラス: 芝⽣クラス: 混雑クラス

生成するために，どのような画像変換を各クラスごとに適用するのかを以下に述べる．

4.1 空クラス
空クラスでは，オブジェクト認識モデルによって得られる空と雲の状態によって，適切な空に置き換える．そのため，空の色，雲の色，雲量の全ての組み合わせを含む 18 枚の空画像を用意する．
空クラスのオブジェクトリストに基づいてテンプレー
ト画像の空を置き換えた結果を図 6 に示す．画像は左から，元画像，天色+白い雲+雲量少し，紺碧+白い雲+雲量
普通，空色+雨雲+雲量多いの結果を示す．空クラスを変換することによって, 天気の印象が変わっていることが分
図 4

セマンティックセグメンテーションの結果

かる．観光地のより詳細な情報を考慮するためには，用意する空画像を増やしたり，空クラスのオブジェクトリスト

ス，芝生クラス，混雑クラスに分類を行った．
提案手法では，オブジェクト認識モデルによって，観光に基づいて，GAN などを使って空画像を生成する方法が考えられる．

地のコンテキスト情報が取得可能であると仮定し，観光者
は，自身が撮影した写真をオブジェクト認識モデルに入力

4.2 樹木と芝生クラス

して観光地のオブジェクトリストを取得する．オブジェク

樹木クラスと芝生クラスでは，オブジェクト認識モデル

ト認識モデルを用いて，写真に含まれるオブジェクトを検によって得られる葉や芝生の状態に近づくように，スタ出する研究は盛んに行われており，高精度な検出が可能で

イル変換を行う．スタイル変換には，create ML の Style

ある [17, 18].

元画像

空⾊+⽩い雲+雲少ない+桜+⻩化+⾮常に混雑の結果

図 5

元画像

紺碧+⽩い雲+雲普通+紅葉+
混雑度普通＋少し明るいの結果

天⾊+⿊い雲+雲多い+⻩葉+⻩化+
⾮常に少ない+少し暗いの結果

提案システムを用いた画像変換の結果

空⾊+⽩い雲+雲少ないの変換結果

図 6

紺碧+⽩い雲+雲普通の変換結果

天⾊＋⿊い雲＋雲多いの変換結果

空クラスの画像変換の結果

Transfer を用いてスタイル変換を行う．学習には 500 回パ

画像の混雑状態を変化させた結果を図 8 に示す．画像は左ラメータの更新を行い，ハイパーパラメータである Style

から，150 人の追加，80 人の追加, 10 人の追加した場合のStrength と Style Density はデフォルトのまま使用した．

結果を示す．結果より，人を配置する場所によって適切な樹木クラスと芝生クラスのオブジェクトリストに基づい

サイズで重畳できていることが分かる．

てテンプレート画像の葉と芝生の状態を変化させた結果を
図 7 に示す．画像は左から，元画像，桜への変換，紅葉へ

4.4 全体クラスの変換，芝生を黄化させた結果を示す．スタイル変換を用

全体クラスでは，オブジェクト認識モデルによって得られいることで，テンプレート画像の木や芝生の形状を保持しる明るさ情報から現在の時間帯に近づくように画像変換を行たまま，任意のスタイルに変換できていることが分かる．

う．明るさの変換方法として，openCV の convertScaleAbsを用いて明るさとコントラストを調整した．

4.3 混雑クラス

全体クラスのオブジェクトリストを用いてテンプレート

混雑クラスでは，オブジェクト認識モデルによって得ら

画像の明るさを変化させた結果を図 9 に示す．画像は左かれる混雑状態に近づくように画像変換を行う．混雑度の表

ら，明るい，少し明るい，少し暗いの結果を示す．明るさ

現方法として，道がどのくらい混んでいるかを人の増減でを暗くすることで日が落ちて夕方や夜に近づいているよう表す方法が考えられる．そこで，オブジェクト認識モデル

な表現が可能である．

によって得られる 5 段階の混雑度情報 (非常に多い，多い，
普通，少ない，非常に少ない) に応じて，人のシルエットを

5. 評価実験

混雑クラスに重畳する．そのため，テンプレート画像に人

本実験の目的は，提案システムで作成した画像をユーザのシルエットを適切なサイズで重畳する必要がある．そこが見た時に，伝えたい情報が正しく伝わっているかを評価

で，テンプレート画像に写っている人のサイズを用いて，することである．提案システムを用いて生成した画像に座標ごとの適切なサイズの計算を行った．テンプレート画

ついて，ユーザがどのように感じるかを Yahoo! クラウド

像に写っている人のサイズは，YOLOv3 [18] を用いて出力ソーシングを利用して調査した．本実験では，それぞれのされる bounding box の大きさを用いる．異なる y 座標にコンテキストによって，目的とする情報が正しく伝わって位置する人の bounding box のサイズの関係から y 座標といるかを確認するために，テンプレート画像に対して 1 種

人の大きさの関係を一次関数で表現することが可能である．

類のコンテキストのみ変化させたものをユーザに提示す混雑クラスのオブジェクトリストと bounding box のサる．そのため，表 1 より，空クラス 18 種類（空の色の総イズと y 座標の関係を示す一次関数を用いてテンプレート

数 × 雲の色の総数 × 雲量），樹木クラス 4 種類，混雑状態

元画像

桜への変換結果

図 7

元画像

紅葉への変換結果

芝⽣の⻩化の変換結果

樹木クラスと芝生クラスの画像変換の結果

150⼈のシルエットを追加した結果

図 880⼈のシルエットを追加した結果

10⼈のシルエットを追加した結果

混雑クラスの画像変換の結果

5 種類，明るさ 5 種類のテンプレート画像から 1 つの要素

樹木に対する結果（図 11）より，春を代表する桜の場合が変化した計 32 枚の画像を用意した．400 人に対して，テには，ほぼ全ての人が春と回答していた．また，同様に秋ンプレート画像と比較して 1 つの要素が変化した画像を 1

を代表する黄葉と紅葉の場合には，ほぼ全ての人が秋と回枚提示し，空クラスでは天気，樹木クラスでは季節，混雑答していた．しかし，新緑については想定していた春以外

状態では混雑度，明るさでは時間帯についての質問を答えの回答が多かった．これは，一般的な樹木の葉の色と新緑

るタスクを 9 枚の画像が終わるまで行った．9 枚の画像のの色が似ているため，夏などの季節の回答が増えたと考え

うち 1 枚はチェック設問であり，写真の右上に記載した文られる．この問題を回避するためには，新緑についてはよ

字を正しく回答しなかった場合には，回答としての信頼度

り高精度な画像変換を適用し，若葉のみずみずしい葉を表がないとして，その人のデータは全て破棄した．空クラス

現する必要がある．

の場合には，天気として晴れ，曇り，雨の選択肢，樹木ク

混雑度に対する結果（図 12）より，混雑クラスに重畳

ラスでは，季節として春，夏，秋，冬の選択肢，混雑クラする人数が最も少ない 10 人の場合には，普通や少ないの

スでは混雑度として非常に多い，多い，普通，少ない，非回答が多い．一方，混雑クラスに重畳する人数が最も多い

常に少ないの選択肢，明るさでは，時間帯として朝，昼，150 人の場合には，非常に多いや多いの回答が多く，人数

夕方，夜の選択肢を用意した．

の増加によって混雑していると認識する人が増えることを空クラスに対する実験結果を図 10 に示す．空の色に対確認した．また，混雑の評価として「非常に少ない」の回する結果（図 10 左）より，空の色によって天気が変わると答が少ない点については，テンプレート画像に写っている

回答する人は少ないことが分かった．しかし，雲の色に対人物の影響があると考える．そのため，「非常に少ない」をする結果（図 10 真ん中）より，雲の情報は天気に与える表現するためには，テンプレート画像にあまり人が写らな影響が大きく，雲の色が白色の場合には，多くの画像で晴いものを使用する方法や機械学習を用いて人物を削除するれであると回答することが多い．一方で，雲の色が黒色の方法が考えられる．

場合には，晴れと回答する回数が減少し，曇りや雨などと全体クラスの明るさに対する結果（図 13）より，明る回答することが多い．このことから，黒い雲は雨雲などをさが最も明るい変換の結果では，朝や昼などの回答が多く連想し，曇りや雨の回答が増加したと考えられる．また，なっている．一方，明るさが最も暗い変換の結果では，夕雲量に対する結果（図 10 右）より，雲の量については，雲方と夜の回答が増える傾向だった．しかし，明るさを変化が少ない時は晴れが多く，雲と空の比率が同じぐらいの場させるだけでは，朝と昼の違いを表現することが難しいこ

合には，晴れと曇りで意見が割れることが分かった．これとが分かった．そのため，朝と昼を区別するためには，太は，人の感性によって晴れと曇りだと判断基準が異なるた

陽の位置などの明るさ以外の要素を取り入れる必要があるめだと考えられる．

と考えられる．また，観光地によっては，街灯などの点灯

元画像明るくした結果

図 9

図 10

少し明るくした結果

全体クラスの画像変換の結果

空クラスに対するクラウドソーシングの結果

1.0

1.0

0.8

0.8

0.6

0.6

0.4

0.4

0.2

0.2

0.0

0.0
図 11

樹木クラスに対するクラウドソーシングの結果

2022/05/23 23:45

少し暗くした結果

図 13

全体クラスに対するクラウドソーシングの結果

visualization (6).svg

し，各クラスごとにコンテキスト情報を考慮して画像変換を行うことで，観光地の現況画像の自動生成を行った．評価実験より，概ねシステムが提供したい情報をユーザに伝えることが可能であることが明らかになった．今後の課題
として，本手法を様々な観光地への適用し評価することや，実際の観光客の写真にオブジェクト認識モデルを適用して
図 12

混雑クラスに対するクラウドソーシングの結果抽出したコンテキスト情報から画像を生成し評価することなどが挙げられる．

場所がある場合には，セマンティックセグメンテーション
によって事前に点灯場所の位置を特定しておいて，点灯場
所付近は明るくするなどの工夫が必要であると考える．

6. おわりに本研究では，テンプレート画像とコンテキスト情報を用いた観光地の現況画像の自動生成法の提案を行った．テン
プレート画像にセマンティックセグメンテーションを適用

謝辞
本研究は JSPS 科研費 JP21H03431 の助成を受けたもの
です．
参考文献
[1]

Shogo Isoda, Masato Hidaka, Yuki Matsuda, HirohikoSuwa, and Keiichi Yasumoto. Timeliness-aware on-site

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

planning method for tour navigation. Smart Cities,
Vol. 3, No. 4, pp. 1383–1404, 2020.
Masato Hidaka, Yuki Kanaya, Shogo Kawanaka, Yuki
Matsuda, Yugo Nakamura, Hirohiko Suwa, Manato Fujimoto, Yutaka Arakawa, and Keiichi Yasumoto. On-site
trip planning support system based on dynamic information on tourism spots. Smart Cities, Vol. 3, No. 2, pp.
212–231, 2020.
Shogo Kawanaka, Yuki Matsuda, Hirohiko Suwa, Manato Fujimoto, Yutaka Arakawa, and Keiichi Yasumoto.
Gamiﬁed participatory sensing in tourism: An experimental study of the eﬀects on tourist behavior and satisfaction. Smart Cities, Vol. 3, No. 3, pp. 736–757, 2020.
Brendan McMahan, Eider Moore, Daniel Ramage, SethHampson, and Blaise Aguera y Arcas. Communicationeﬃcient learning of deep networks from decentralized
data. In Artiﬁcial intelligence and statistics, pp. 1273–
1282. PMLR, 2017.
Shusaku Tomita, Jose Paolo Talusan, Yugo Nakamura,
Hirohiko Suwa, and Keiichi Yasumoto. Fedtour: Participatory federated learning of tourism object recognition models with minimal parameter exchanges between
user devices. In 2022 IEEE International Conference on
Pervasive Computing and Communications Workshops
and other Aﬃliated Events (PerCom Workshops), pp.
667–673. IEEE, 2022.
河中昌樹, 冨田周作, 中村優吾, 諏訪博彦, 安本慶一. 観光
地のリアルタイム状況説明システムの検討. 2021 年度 情報処理学会関西支部 支部大会 講演論文集, No. 2021, 09
2021.
松田裕貴, 河中祥吾. Web ブラウザ上で動作する市民参加
型写真収集アプリの開発と運用. 第 27 回社会情報システ
ム学シンポジウム（ISS27）, No. 2021, pp. 1–5, 01 2021.
Evan Shelhamer, Jonathan Long, and Trevor Darrell.
Fully convolutional networks for semantic segmentation.
IEEE Transactions on Pattern Analysis and MachineIntelligence, Vol. 39, No. 4, pp. 640–651, 2017.
Yi Li, Haozhi Qi, Jifeng Dai, Xiangyang Ji, and Yichen
Wei. Fully convolutional instance-aware semantic segmentation. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4438–4446,
2017.
Alexander Kirillov, Kaiming He, Ross Girshick, Carsten
Rother, and Piotr Dollar. Panoptic segmentation. In
Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June
2019.
Olaf Ronneberger, Philipp Fischer, and Thomas Brox.
U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pp.
234–241. Springer, 2015.
Vijay Badrinarayanan, Alex Kendall, and Roberto
Cipolla. Segnet: A deep convolutional encoder-decoderarchitecture for image segmentation. IEEE Transactions
on Pattern Analysis and Machine Intelligence, Vol. 39,
No. 12, pp. 2481–2495, 2017.
Leon A Gatys, Alexander S Ecker, and Matthias Bethge.
Image style transfer using convolutional neural networks.
In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2414–2423, 2016.
Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza,
Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron
Courville, and Yoshua Bengio. Generative adversarial
nets. Advances in neural information processing sys-

[15]

[16]

[17]

[18]

tems, Vol. 27, , 2014.
Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A
Efros. Image-to-image translation with conditional adversarial networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp.
1125–1134, 2017.
Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A
Efros. Unpaired image-to-image translation using cycleconsistent adversarial networks. In Proceedings of theIEEE international conference on computer vision, pp.
2223–2232, 2017.
Joseph Redmon, Santosh Divvala, Ross Girshick, and Ali
Farhadi. You only look once: Uniﬁed, real-time object
detection. In Proceedings of the IEEE conference on
computer vision and pattern recognition, pp. 779–788,
2016.
Joseph Redmon and Ali Farhadi. Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767,
2018.