2023 年度情報処理学会関西支部 支部大会

G-19

観光地オブジェクト認識モデル構築のための端末間通信型連合学習におけるデジタルサイネージ活用法の検討
Exploring Utilization of Digital Signage in Inter-device Communication Federated Learning
for Tourism Object Recognition Model Construction
酒井 裕基 †Yuki Sakai

1.

Francis Jerome Tiausas†

はじめに

新型コロナウイルス感染症 (COVID-19) の世界的な拡大により，経済的に最も大きな影響を被った業界のひと

諏訪 博彦 †

安本 慶一 †

Hirohiko Suwa

Keiichi Yasumoto

間通信型の連合学習を提案している．しかしながら，簡単な分類問題であっても、モデルの精度が向上しにくいという欠点を有している．

つである観光業においては，IoT を活用した新たな付加

そこで，本研究では，近隣のモバイル端末から送信さ価値を観光客に提供するサービスが求められている．特れたモデルパラメタを保管するデジタルサイネージを各に，スマートフォンに代表されるエッジデバイスのハー観光スポットに配置することで，各モバイル端末が間接ドウェア性能向上や 5G などの帯域幅の広い次世代ネッ的に取得することのできるモデルパラメタの個数を増加

トワークの普及により，観光客のスマートフォン上で動させることにより，最終的に構築されるモデルの精度向作する，人工知能（AI）を活用した多様な観光サービス上を図る手法について提案する．また，その有効性につが提案されている [1][2]．

いて簡易的な評価を行った結果を報告する．

AI サービスの高度化に伴い，AI を構築する技術であ

本稿の構成は以下の通りである．まず，2 章で本研究る深層学習においては，訓練データの規模や，訓練デーの関連研究について述べ，3 章では問題設定を提示する．

タを提供する学習参加者数が，年々増加している．しか4 章では本提案手法が採用する，統合後モデル精度予測し，クラウドサーバ（以降，単にサーバと呼ぶ）が各学に基づくモバイル端末の操作選択手法について述べる．

習参加者から収集した訓練データを自身の学習モデルに5 章ではシミュレーションの概要とその結果を紹介し，投入することでモデルの学習・構築を進める従来の中央最後に，6 章で本稿をまとめる．

集中型の学習手法では，サーバ内でのモデルの学習過程や訓練データの送信過程において，訓練データに含まれる学習参加者のプライバシ情報がサーバや他の学習参加者に漏洩する恐れがある．
上記の問題を解決する深層学習手法として，Google はFederated Learning（連合学習）を提案している [3]．連

2.

関連研究

本章では，関連研究として，観光地オブジェクト認識モデルを構築する上で適用可能な連合学習手法について述べる．

2.1

階層型連合学習

合学習では，学習参加者が自身の訓練データを用いてデモデルの学習に参加するモバイル端末の移動に対応

バイス内に存在するローカルモデルの学習を行ったのち，した連合学習の手法として，モバイル端末とサーバがサーバが各学習参加者から学習済みのローカルモデルの直接的に接続されておらず，階層的なネットワークによパラメタを収集・統合することにより，グローバルモデり接続された階層型連合学習（Hierarchical Federatedルの構築を行う．各学習参加者の訓練データは外部に対Learning）があげられる．

して秘匿されると同時に，最終的にサーバで構築される

Yu ら [5]，および Farcas ら [6] は，現実的な階層型連グローバルモデルは，各学習参加者の訓練データを間接合学習フレームワークを提案している．この階層型連合的に利用しているとみなせることから，連合学習はモデ

学習のシステムアーキテクチャは，従来の連合学習の構ルの精度向上とプライバシ保護を両立した学習手法とい成要素であるサーバ，モバイル端末に加え，ゲートウェえる．

イまたはアクセスポイント（以降，単にゲートウェイと我々の先行研究 [4] は，観光分野へ連合学習を適用す呼ぶ）により構成されている．指定エリア内の複数個所ることを前提に，従来の連合学習フレームワークを改良に配置されたゲートウェイでは，各時刻ごとに近隣のモし，遅延耐性ネットワーク (DTN) を活用することによバイル端末を選択し，そのモバイル端末群からモデルパり，サーバが介在することなくモデルの構築を行う端末

ラメタを収集し，集約したうえでサーバへと送信するこ†

奈良先端科学技術大学院大学，Nara Institute of Scienceand Technologyとにより，グローバルモデルを得る．この手法は，ネットワーク構成の変化に柔軟に対応できる一方で，従来手法と同様に最終的なモデルの構築にサーバを要するのに加え，モバイル端末・ゲートウェイ間の通信範囲に特段の制約がなく，場合により 4G LTE，5G 等の広域・遠距離できない．
以上より，A 内の全端末の集合 C は，式（1）のようにあらわされる．

通信を用いることから，サーバを活用することなく DTNのみでモデルの構築を図る本研究の目的とは異なる．

2.2

端末間通信型連合学習

C = Cm ∪ Cs

(1)

想定環境における時間を一定時間間隔の時刻の有限富田ら [4] は，観光オブジェクト認識モデルを構築す集合 T として表す．t ∈ T における cm ∈ Cm の位置ることを念頭に，DTN を活用したすれ違い通信により，を pos(cm , t) とする．時刻 t において，二つのモバイル近隣のモバイル端末間でローカルモデルのパラメタの交端末 cm , c′m が互いに通信可能な範囲 Rmm にいる場合，換・統合操作を繰り返す連合学習フレームワークを提案

互いにコンタクトしているとみなし，そのコンタクトをしている．この手法は，複数のモバイル端末のみでモデcnmm (cm , c′m , t) と表すと，二つの移動端末間のコンタルの学習・構築が完結し，サーバとの広域・遠距離通信

クトの集合 CNmm は，式 (2) のように表される．

を必要としないことから，低コストかつロバストなモデCNmm = {cnmm (cm , c′m , t) | cm , c′m ∈ Cm , t ∈ T,ル学習を実現している．
一方で，評価のためのシミュレーション実験では，現|pos(cm , t) − pos(c′m , t)| ≤ Rmm }(2)

実の AI サービスで用いられているデータセットと比しまた，cs ∈ Cs の位置を pos(cs ) とおく．時刻 t におてカテゴリサイズの小さいデータセットである CIFAR-

いて，デジタルサイネージ cs ，モバイル端末 cm が互い10[7] を用いているにもかかわらず，最終的に各モバイルに通信可能な範囲 Rsm にいる場合，互いにコンタクト端末内で構築されるモデル精度は 60%前後にとどまってしているとみなし，そのコンタクトを cnsm (cs , cm , t) といる．このモデルの精度は，他端末とのコンタクト回数表す．このとき，二つの移動端末間のコンタクトの集合や，すれ違い通信によって入手したモデルの訓練データ

CNsm は，式 (3) のように表される．の多様性に依存していると考えられることから，さらにモデルの精度を向上させるためには，より多様なモデルのパラメタを入手できる機会を設けることが必要である．

CNsm = {cnsm (cs , cm , t) | cs ∈ Cs , cm ∈ Cm , t ∈ T,|pos(cs ) − pos(cm , t)| ≤ Rsm }そこで，本研究では，富田ら [4] の想定環境を拡張し，モバイル端末のモデルを保管するデジタルサイネージを(3)

各観光エリア内に配置し，各モバイル端末が他のモバイ以上より，全ての端末間で発生するコンタクトの集合

ル端末に加え，デジタルサイネージとも通信することに

CN は，式 (4) のように表される．

より，より多くのモデルパラメタを入手できる連合学習の手法について検討する．

3.

問題設定

本研究が想定する環境の要素とその定義を，表 1 に示す．
観光エリア A 内には，連合学習に参加できる十分な性

CN = CNmm ∪ CNsm

モバイル端末 cm ∈ Cm はモデル学習用の訓練データを持つ一方で，デジタルサイネージは訓練データを収集しない．このことから，A 内の端末が保有する訓練デー
タの集合 D は，式 (5) のように表される．

能を有したスマートフォン等のモバイル端末（移動端末）を保有する観光客が複数存在する（一人あたり 1 台保有するとする）．A 内のモバイル端末の集合を Cm とする．
各観光客は A 内を自由に移動することが可能である．
観光スポット a ∈ A は，観光客が認識したい固有の認識オブジェクト種類の集合 Oa を有する．また，a は，特定の場所に固定設置された，内部ストレージを有する1 台のデジタルサイネージ（固定端末）を有する．A 内のデジタルサイネージの集合を Cs とする．デジタルサ

(4)

D=

∪D cm

(5)

cm ∈Cmobile

各モバイル端末 cm ∈ Cm は，自身の保有する訓練デー
タ Dcm で学習した観光オブジェクト認識モデル Mcm を所持している．Mcm にはユーザがオブジェクト認識したいエリア Acm ⊆ A が設定されている．その観光オブジェクトの種類の集合 Ocm を式 (6) で定義する．
∪OaO cm =(6)

イネージは，近隣のモバイル端末と通信し，そのモバイa∈Acm

ル端末が保有しているモデルを取得・保管することが可

モバイル端末 cm ∈ Cm は，連合学習開始時点で，ベー能であるが，他のデジタルサイネージと通信することはスモデルとして自身のオブジェクト認識モデル Mcm を内部ストレージに保存する．なお，新たにモデルを保管
表 1: 想定環境の要素一覧及びその定義

しようとするとストレージ容量 Scs を超えると判断され要素

定義

A

観光スポットの集合（観光エリア）

Acm

移動端末 cm が認識能力を強化したいスポット

1 台のモバイル端末が複数の端末とコンタクトした場

Oa

認識オブジェクトの集合

合，その中から 1 台の端末と通信し，その端末の種類に

O cm
Cm

移動端末 cm の認識対象オブジェクトの集合

対応する操作を実行することが可能であるとする．このCs

固定端末の集合

制約を二値変数 xcnmm (cm ,c′m ,t) ，xcnsm (cs ,cm ,t) を用いて式 (7)(8) で定義する．

移動端末の集合C

全端末の集合Rmm

移動端末間の通信可能範囲

Rsm

移動端末・固定端末間の通信可能範囲

Dc

端末 c 内の訓練データ

D

環境内の訓練データの集合

Mc m

移動端末 cm が所有するモデル

Mc s

固定端末 cs が所有するモデルの集合

Wc

モデル Mc の重みパラメタ

T

想定環境内の時刻 t の集合

pos(cm , t)

時刻 t での移動端末 cm の位置

pos(cs )固定端末 cs の位置る場合は，cm は 1. の操作を実行することができない．

∀cs ∈ Cs , ∀cm ∈ Cm , ∀t ∈ T∑
xcnsm (cs ,cm ,t) ≤ 1

移動端末間のコンタクト集合
時刻 t での固定端末 cs ，cnsm (cs , cm , t)

移動端末 cm のコンタクト

(7)

(8)

cnsm (cs ,cm ,t)∈CNsm

移動端末 c′m のコンタクトCNmm

xcnmm (cm ,c′m ,t) ≤ 1′cnmm (cm ,c′m ,t)∈CNmm ,cm ̸=cm

時刻 t での移動端末 cm ，cnmm (cm , c′m , t)

∀cm , c′m ∈ Cm , ∀t ∈ T∑

これらの二値変数は，モデル共有の判断に用いる変数であり，2 端末間でモデル共有を行う場合は 1，共有しない場合は 0 の値をとる．

CNsm

移動端末・固定端末間のコンタクトCN

全端末のコンタクト集合

本研究では，各モバイル端末の通信回数，消費電力をScs

固定端末 cs のストレージ容量最小化しながらモデルの改善度合いを最大化することを保有している．時刻 t で他のモバイル端末 c′m ∈ Cm の間で 1 対 1 のコンタクトが発生した場合，モバイル端末

cm は，以下の操作のうちいずれかを実行することができる．

目指しているため，モバイル端末は，コンタクト発生時にモデル精度向上に効果的な操作の選択を行うことが必要となる．Mc に Mc ′のパラメタを統合することによるモデル精度の改善度合いを Improve(Mc , Mc ′ ) として，本問題の目的関数を式 (9) に表す．

1. それぞれのモデルのパラメタである Wcm ，Wc′m を統合する

maximize{

ト認識モデルを保有しない．時刻 t でモバイル端末 cm ，cs ∈Cs cm ∈Cm t∈T cnsm (cs ,cm ,t)∈CNmm mcs ∈Mcs

デジタルサイネージ cs の間で 1 対 1 のコンタクトが発

xcnsm (cs , cm , t) · Improve(Mcm , mcs )} (9)生した場合，モバイル端末 cm は，以下の操作のうちいsubject to(7), (8)ずれかを実行することができる．

2. デジタルサイネージに保管されている，他モバイル
端末 c′m のモデル Mc′m を新たな自身のモデル Mcmとして置き換える

3. 何もしない
1. の操作により，モバイル端末 cm からモデル Mcm を受信した場合，デジタルサイネージ cs は，Mcm を新たに

∑xcnmm (cm , c′m , t) · Improve(Mcm , Mc′m )+∑ ∑ ∑∑∑各デジタルサイネージ cs ∈ Cs は，自身のオブジェクする∑ ∑cm ∈Cm c′m ∈Cm t∈T cnmm (cm ,c′m ,t)∈CNmm

2. 何もしない

1. 自身のモデル Mcm をデジタルサイネージに送信∑

なお，本研究では，デジタルサイネージの通信回数や消費電力については，議論の対象外である．

4.

精度予測に基づく操作選択

富田ら [4] は，自分と相手のモデルの精度から統合前後の精度の変化を予測する回帰モデルを作成し，このモデルを活用することにより，モデルの精度情報を端末間で交換することで自身にとって有用なモデルパラメータを選択する手法を提案している．

本提案手法においても，この統合後モデルの精度予測手法を活用してコンタクト発生時のモバイル端末の操作選択を実施する．具体的には，他モバイル端末とのコンタクト発生時には，自身のモデル精度と相手のモデル精度を精度予測回帰モデルに投入し，自身のモデルの精度が向上されると判断される場合のみモデルパラメタの統合を実施する．また，デジタルサイネージとのコンタクト発生時には，サイネージの内部ストレージに保存されている全てのモデルパラメタの精度情報を取得し，最も統合後のモデル精度が向上すると考えられるモデルパラメタを選択して，自身のモデルに統合する．なお，統合

図 1: 本シミュレーションが想定する観光エリア

後に作成されるいずれのモデルよりも，現時点での自身のモデルの精度が明らかに高いと判断される場合は，モ東大寺エリア

デルの統合を行わず，自身のモデルパラメタをデジタル𝐶東大寺

サイネージに送信する．

奈良公園エリア

5.

シミュレーション実験と評価

端末間連合学習にデジタルサイネージを導入すること
𝐶奈良公園の有効性を評価するために，現実的なユースケースシナリオに基づいたシミュレーション実験を実施し，端末間春日大社エリアのコンタクト回数の評価を実施した．本章では，ユース𝐶春日大社

ケースシナリオと実験概要，評価結果について述べる．

5.1

ユースケースシナリオ
図 2: デジタルサイネージの配置図

本シミュレーションは，想定環境として，奈良市内の特定の観光エリア集合（図 1）内に存在する 3 つの観光スポット，奈良公園・東大寺・春日大社を対象としている．

• c東大寺：東大寺中門付近

モバイル端末を保有した観光客は，各観光スポットを巡• c春日大社：春日大社車御祓所付近りながら，自らの撮影した画像データにラベリングを行い，訓練データとして自身が予め受け取ったベースモデ

各サイネージは，モデルの学習に用いる訓練データは保ルの学習に利用する．観光客のモバイル端末は，移動中有していないが，近隣のモバイル端末から送信されたモ

10 秒おきに近隣のモバイル端末やデジタルサイネージデルを内部ストレージに保管している．それぞれのサイのうちのひとつと相互に通信し，必要に応じてモデルパ

ネージは，要求のあったモバイル端末に対し，保管してラメタの取得・自身のモデルの更新を行うことで，最終いるモデルの複製を送信することができる．デジタルサ

的に各スポットに固有のオブジェクトを認識できるモデ

イネージが保管しているモデルは，取得後 1 日を経過しルの構築を目指す．

た時点で消去される．

具体的なオブジェクトとしては，以下のようなものを想定している．

• O奈良公園：{ 牡鹿, 牝鹿, 小鹿, 鹿煎餅の売店, ...}• O東大寺：{ 仏像, 池, 鯉, 桜, 牡鹿, 牝鹿...}• O春日大社：{ 藤, 鳥居, 池, 鯉, 社, ...}
3 つの観光スポットには，人流が多いと考えられる地
点にサイネージ c奈良公園 ，c東大寺 ，c春日大社 がそれぞれ配置されている（図 2）．各サイネージの具体的な配置場所
を，以下に示す．

• c奈良公園：バス停「県庁東」付近

5.2

シミュレーション実験の概要と評価方法

シミュレーション実験では，ユースケースにおけるモバイル端末間のコンタクト回数，およびモバイル端末・デジタルサイネージ間のコンタクト回数を評価した．
シミュレーションに当たっては，株式会社 Agoop が提供するモバイル端末の移動軌跡データ，ポイント型流動人口データ [8] を使用した．2020 年 11 月 1 日から 2020年 11 月 30 日までの 6 時から 18 時の時間帯で，図 1 のエリア内に存在したユーザの中から，観光客と推測されるものを抽出し，1876 人分の移動軌跡データを得た．ポイント型流動人口データで得られる軌跡データは，実世界の軌跡データと比べて少ないことから，これら１か月

the frequency of contact with signagethe frequency of contact with other device

15000
12500
10000
7500
5000
2500
00250

500

750

1000
userid1250

1500

average:38.631130063965884
variance:3209.064929068941

500

average:2013.3150319829424
variance:3557712.400435252

17500

400
300
200
1000

1750

0250

500

750

1000
userid

1250

1500

1750

図 3: 端末別の他モバイル端末とのコンタクト回数

図 4: 端末別のデジタルサイネージとのコンタクト回数分のデータを 1 日分のデータとして扱い，実世界におけ

表 2: 各サイネージのコンタクト回数
サイネージ コンタクト回数る観光客の移動データとした．10 秒おきに各ユーザの座標を取得し，半径 50m 以内に他のユーザまたはデジタ

c奈良公園

13598

ルサイネージが存在する場合にコンタクトが発生したと

c東大寺

53296

みなし，その回数を計測した．

c春日大社

5578

5.3

シミュレーション結果

モバイル端末間のコンタクト回数は，合計で 3,772,350配置すれば，各モバイル端末がより多様なモデルパラメ回となった．モバイル端末 1 台ごとの他モバイル端末とタを取得できると考えられる．また，デジタルサイネーのコンタクト回数を，図 3 に示す．グラフの横軸は，端ジとのコンタクトを経験したモバイル端末が他のモバイ末に固有のユーザ ID を表している．なお，ここでは，文ル端末とコンタクトすることで，デジタルサイネージを字列のユーザ ID を 0 から 1875 までの整数に置換して設置したことによる影響が，エリア内のモバイル端末全いる．また，縦軸は，他モバイル端末とのコンタクト回体に波及することが予想される．その結果として，モデ数を表している．他モバイル端末とのコンタクトが 1 回ルパラメタの交換・統合回数が増加し，最終的に各モバ以上発生したモバイル端末は，全 1,876 台のうち 1,755

イル端末内で構築されるモデルの精度が向上すると考え台であった．

られる．

一方で，モバイル端末・デジタルサイネージ間のコンタクト回数は，合計で 72,472 回となった．モバイル端

6.

おわりに

末 1 台ごとのデジタルサイネージとのコンタクト回数を，

本稿では，観光地においてオブジェクト認識モデルを

図 4 に示す．グラフの横軸は，端末に固有のユーザ ID構築することを想定し，構成要素として新たにデジタルを表している（図 3 と同様）．また，縦軸は，デジタルサイネージを追加した端末間連合学習の手法について提サイネージとのコンタクト回数を表している．デジタル

案した．この狙いは，近隣モバイル端末から送信されたサイネージとのコンタクトが 1 回以上発生したモバイルモデルを一時的に保管するデジタルサイネージを追加す

端末は，全 1,876 台のうち 1,289 台であった．また，デることにより，学習に参加するモバイル端末が近隣端末ジタルサイネージ 1 台ごとのモバイル端末とのコンタクとの通信を通して得られるモデルパラメタの数を増加さ

ト回数を，表 2 に示す．

せることで，最終的に構築されるオブジェクト認識モデ以上の結果から，モバイル端末・デジタルサイネージルの精度を向上させることにある．

間のコンタクト回数は，モバイル端末間のコンタクト回

本提案手法の有効性を検証するため，実際のユース数と比べて小さいものの，全体の 約 2/3 の モバイル端末ケースを想定し，デジタルサイネージを追加した環境下がデジタルサイネージとコンタクトできていることが分での端末間のコンタクト回数を計測する簡易的な評価をかった．デジタルサイネージは複数のモデルを保管でき実施した．その結果として，多くの端末がデジタルサイるため，デジタルサイネージを人流の多い適切な場所にネージとコンタクトしていることが確認された．デジタルサイネージは，多くのモデルを保管できるため，端末

Arya Mazumdar, and Tajana Rosing.

間でのモデルパラメタ統合回数が増加し，最終的にモバ

HFL: Eﬃcient and Robust Asynchronous Federated

イル端末内で構築されるモデルの精度が向上すると考え

Learning in Hierarchical IoT Networks. In Proceed-られる．

ings of the 8th ACM/IEEE Conference on Internetof Things Design and Implementation, 2023.

一方で，本稿におけるシミュレーションは，端末間のコンタクト回数のカウントに留まっており，実際に行われるモデルの統合回数やモデル精度の変化については検証できていない．このため，今後は，各モバイル端末にオブジェクト認識モデルを対応付けてより実践的なシミュレーションを行い，どのようにモデルが交換され，モデルの精度が変化するかを分析することで，本提案手法の有効性を検証する予定である．
謝辞

Async-[6] Allen-Jasmin Farcas, Myungjin Lee, Ramana Rao
Kompella, Hugo Latapie, Gustavo De Veciana,and Radu Marculescu. MOHAWK: Mobility andHeterogeneity-Aware Dynamic Community Selection for Hierarchical Federated Learning. In Proceedings of the 8th ACM/IEEE Conference on Internet of Things Design and Implementation, pp.
249–261, 2023.

本研究は JSPS 科研費 JP21H03431 の助成を受けたも[7] CIFAR-10 and CIFAR-100 datasets. https://www.のです．

cs.toronto.edu/~kriz/cifar.html.

参考文献[1] Diego R Toubes, Noelia Araújo Vila, and Jose A
Fraiz Brea. Changes in consumption patterns andtourist promotion after the COVID-19 pandemic.
Journal of Theoretical and Applied Electronic Commerce Research, Vol. 16, No. 5, pp. 1332–1352,2021.
[2] Raﬀaele Filieri, ElettraD Amico, Alessandro Destefanis, Emilio Paolucci, Elisabetta Raguseo. Artiﬁcial intelligence (AI) for tourism: an Europeanbased study on successful AI tourism start-ups.
International Journal of Contemporary Hospitality
Management, Vol. 33, No. 11, pp. 4099–4125, 2021.
[3] Liu Yang Chen Tianjian Yang, Qiang and Yongxin
Tong. Federated Machine Learning: Concept andApplications.

Accessed:

2023-07-18.

ACM Transactions on Intelligent

Systems and Technology (TIST), Vol. 10, No. 2, pp.
1–19, 2019.
[4] Shusaku Tomita, Jose Paolo Talusan, Yugo Nakamura, Hirohiko Suwa, and Keiichi Yasumoto. FedTour: Participatory Federated Learning of Tourism
Object Recognition Models with Minimal Parameter Exchanges between User Devices. In 2022 IEEE
International Conference on Pervasive Computing
and Communications Workshops and other Aﬃliated Events (PerCom Workshops), pp. 667–673.
IEEE, 2022.
[5] Xiaofan Yu, Ludmila Cherkasova, Harsh Vardhan,
Quanling Zhao, Emily Ekaireb, Xiyuan Zhang,[8] 流動人口データ．株式会社 Agoop. https://agoop.
co.jp/service/dynamic-population-data/. Accessed: 2023-07-18.