端末間の近距離通信を使った Federated Learning による観光オブジェクト認識モデルの参加型学習法とその評価
冨田 周作1,2

中村 優吾3

諏訪 博彦1,2

安本 慶一1,2

概要：観光地の多様なコンテキストの認識には，観光客が持つ写真等のデータを使って学習した認識モデ
ルが必要となるが，そのためには個人データに含まれるプライバシに配慮する必要がある．この問題は，Federated Learning で解決できる可能性がある．しかし，Federated Learning は，十分な計算能力を備えた集約サーバの設置が前提であり，モデル構築のために，観光客端末と集約サーバ間の通信および端末上のモデル更新が高頻度に行われると，端末での通信コスト（電力・通信費等）が大きくなり観光客の不満が生じてしまう．本研究では，観光客端末間での近距離直接通信を活用した Federated Learning に基づくモデル構築の手法を提案する．提案手法では，すれ違った他の観光客が持つモデルの重みパラメタを受信し自分のモデルに統合する．提案手法では, 端末同士がすれ違った際に，性能向上に有効かどうかを，モデルの学習度合いを表す少ない情報の交換を行うことで事前判定し，有効と判断された場合にのみ，モデルパラメタの受信・統合を実行することで，限られた通信回数および少ない消費電力で自身のモデル性
能を効率的に向上させる．実在する観光地を想定し，そこでの実際のモバイルユーザのトレースデータを使ったシミュレーション実験を行い，10 オブジェクトを識別する CNN モデル（初期精度は 12.22%）の識別精度向上度合いを，モデル統合回数を 40 回に制限した上で評価した．結果，すれ違った相手とある確率でモデル交換するゴシッププロトコルに基づいた手法では 1%程度（平均精度 12.45%）の精度向上に留まったのに対し，事前判定で統合の有無を決定する提案手法は，平均精度を 172%（平均精度 33.24%）と大きく向上可能なことが分かった．

1. はじめに度やイベントの有無，天気，景観など）をリアルタイムに認識することが挙げられる．観光地のコンテキスト認識に

近年，観光サービスにおける AI の活用が促進されていは，物体認識モデルを使用し，映像や写真から認識した物

る [1]．例として，ユーザが SNS に投稿した情報や行動履体群から，総合的にコンテキストを推定する方法が有望で歴から観光スポットの推薦や観光情報を提供するスマート

ある．観光地は固有の観光オブジェクト (鹿などの野生動

フォンアプリ「Deaps」[2] がある．また，欧州で提唱され物，寺社仏閣といった建造物，桜や紅葉と言った景観，そたスマートツーリズムは，高度な ICT を活用したサービの他文化遺産等) を含む．そのため，それら多種多様な物

スを統合することで，新たな観光体験を創出することが目体の認識モデルの構築には多様で膨大なデータを使った学指されている [3]．国土交通省観光庁による令和３年版観習が必須である．そのデータの収集には，大企業等が保有

光白書*1 では，観光のトレンドの変化についての調査結果するビッグデータや個人のスマートフォンに保存されていを報告しており，近年，滞在型観光，分散型旅行，近場でる写真・映像等の活用が望ましい．しかし，プライバシ等の旅行，オンラインツアーといった新たな多様な旅行スタの問題でこれらのデータを使ったモデルの学習は難しいのイルが人気になっていることが報告されている．このようが現状である．

に，観光客や観光スタイルの多様化に対応するために，観Google が提案した Federated Learning citeMcMahan

光 AI の開発・活用が今後加速していくと予想される．観は，上記の問題を解決できる可能性がある点で近年大きな

光 AI の主要な機能として，観光地のコンテキスト（混雑

注目を集めている．Federated Learning は，各端末が所持1

しているデータをその端末上で学習し，モデルのみを集約

23*1

奈良先端科学技術大学院大学，Nara Institute of Science andTechnology
理化学研究所 革新知能統合研究センター (AIP)，RIKEN, Center
for Advanced Intelligence Project (AIP)
九州大学，Kyushu University
https://www.mlit.go.jp/kankocho/news020 00447.html

サーバに集約・統合することで間接的に全端末のデータを学習する．モデルの重みパラメタや勾配のみが外部（サーバ）に送信され，学習データは送信されないため，プライバシ情報が漏洩しにくいという特徴を持つ．Federated Learningのに対し，提案アルゴリズムでは 33.24%（172%の向上）

を観光オブジェクト認識モデルの構築に適用する場合，観となり，提案手法の有効性が示された．

光客の写真が学習対象となる．Federated Learning に参本稿の構成は以下の通りである．2 章では，本研究に関加する観光客が多い程，多様な観光オブジェクトに認識す連する既存研究について概説する．3 章では，本研究の想るモデルが構築される．しかし，集約サーバの維持運用コ

定環境およびシナリオを説明し，問題設定を行う.4 章で提ストに加え，観光客端末のサーバとの高頻度で大容量の広案手法を述べ，5 章ではシミュレーション実験と評価，6 章

域無線通信が必要となり，通信コスト（通信費，消費電力

でその考察を述べる．7 章で，本稿のまとめを述べる．

等）が増加する．上記を踏まえ，Federated Learning に基づいて観光オブジェクト認識モデルを構築するにあたり，（課題 1）コストが高い広域無線通信および集約サーバを使用しないこと，（課題 2）限られたモデル更新回数（限られ2. 関連研究
本章では，端末間の通信を活用した Federated Learning
によるモデル構築手法の既存研究について述べる．

た通信コスト）で統合後モデルの精度が最大化されるようモデル統合相手を選ぶこと，の２つの課題を設定する．
本研究では，上記課題 1，2 を解決する手法を提案する．
課題 1 に対しては，観光客端末間の近距離直接通信（WiFi

Direct や BLE など）によりモデルパラメタを送受信し統合する．課題 2 に対しては，モデルパラメタの通信前に少2.1 近隣端末間の Federated Learning
Lee [6] らはモバイル端末間の通信のみで Federated
Learning を実施する手法を提案している．Lee らの提案した Opportunistic Federated Learning [6] では，モバイ
ル端末が移動中に他端末と出会った際，モデルを相手端末ない情報の交換により更新後のモデルの精度を予測し，精に送信しその内部データを学習させる．相手データ学習後度向上の可能性が高い相手とパラメタの送受信を行う．

にその勾配を返し，相互の学習で得られた勾配の平均でモ

課題 1 に対して，著者らは，本研究の先行研究として，

デルを更新する．この処理が同端末間で複数回実行され，端末間の直接通信を前提としたモデル更新手法 [4] を提案

相手データが学習される．また，自身のモデルに適した相している．モデルの重みパラメタを平均化する FedAvg [5]手を選択するために自身の認識対象のラベルと相手の所持を基とした幾つかのモデル統合法を提案し，様々な学習度

データのラベルが類似した相手に対し学習処理が行われる．

合いのモデルの組合せに対し，単純平均で統合する場合にこの手法に対し，本研究では，同端末間での通信コストを精度が向上する組合せが最多になること，統合前の２モデ抑制するために勾配ではなくモデルの重みパラメタを使用

ルの精度から統合後モデルの精度が予測可能であることをする．また，相手の選択方法として，所持データのラベル示した．

ではなく相手のモデル性能に基づいて端末を選択する．

課題 2 の解決は本稿の主題であり，課題 1 に対する先行

Lee らの実験では，画像分類タスクにおいて認識対象の研究の結果を活用して解決する．具体的には，先行研究 [4]ラベルが異なるモデルを多数使用し，モバイル端末の移動の内容に基づいて，観光客の移動を考慮したモデル更新ア

データを生成して任意のモデルを訓練する実験が行われルゴリズムを提案する．提案アルゴリズムでは，観光客がた．端末間の近距離通信に基づくため，広域無線通信によすれ違う際に互いのモデルの認識精度の情報のみを交換

る電力消費が抑制される．しかし，入力データに対する勾し，その情報から統合後の精度を予測する．そして，統合配を平均する FedSGD [5] を更新手法として採用している．

後の精度が，設定した閾値より高い場合，モデルの重みパ

そのため，相互の所持データに対する勾配が更新に必要

ラメタを受け取り単純平均で統合する．これにより，精度となり，データ数が多い程勾配の通信回数が増加する．ま向上に有用なモデルのみを統合することができ，各端末のた，十分な更新には多端末との通信が必要となり，近距離

総合的な消費電力を抑制する．

通信における電力消費も多くなる．そのため，Federated

提案アルゴリズムの評価のため，実在する観光地におけ

Learning で必要となる通信量を削減する研究 [7] が行われる実際のモバイルユーザのトレースデータを使ったシミュている．本研究では，通信コスト抑制とモデル精度の向上

レーションを実施した．シミュレーションでは，各ユーザを両立する手法を検討しており，通信コストを考慮する点に精度が異なる初期モデル（10 オブジェクトを認識する

で Lee らの手法と異なる．

CNN モデル）を割り当て，すれ違いが発生したユーザ間でモデル更新を試みる．モデル統合回数を 40 回に制限し，ゴシッププロトコルに基づいた手法（出会った相手とある

2.2 サーバを部分的に用いる Federated Learning
Chen [8] らは，本来の Federated Learning [9] において確率でモデル交換する）と本提案アルゴリズムを適用した必須となる集約サーバへの依存度を低下させる手法を提案

シミュレーションをそれぞれ実施し比較した．結果，初期している．この手法では，集約サーバへのアクセスが困難

モデルの平均精度 12.22%に対し，ゴシップ手法では全体な端末も訓練への参加が可能になるように，互いに近距離の平均精度が 12.45%（1%の向上）でほぼ変化しなかったに位置するエッジ端末間のローカルネットワークでモデルを集約している．各端末にも集約サーバと類似した処理を実行させることで，集約サーバが全てのエッジ端末を網羅できない状態でも全体の端末のモデルの訓練を可能として

表 1: 想定環境に登場する記号一覧
要素

定義

A

観光エリアの集合

いる．しかし，この手法は近隣の全エッジ端末と通信する

Ac

認識能力を強化したいエリア

ため，端末数の規模に応じて通信回数が増加する．そのたOaa ∈ A 内の認識オブジェクトの集合

め，モデル集約の際の電力消費等のコストが増大する．

Oc

認識強化オブジェクトの集合

Cstationary

固定端末の集合

2.3 ブロックチェーンを用いた Federated Learning
Kim [10] ら は ，ブ ロ ッ ク チ ェ ー ン に よ る Federated
Learning（BlockFL）を提案している．BlockFL では，

Cmobile

移動端末の集合

集約サーバ内でのグローバルモデル構築が必要ない．集約

D

全データ

サーバをブロックチェーンで代用し，各端末のモデル更新

Mc

端末 c が持つモデル

情報を記録したブロックを生成する．そのブロックの情報

Wc

モデル Mc の重みパラメタ

から各端末内で共通のグローバルモデルを構築し，再度T

想定環境内の時間 t の集合

ローカルで学習を繰り返す．これにより，各ローカル端末
がグローバルモデルを持つため，集約サーバの必要性が無C

全端末の集合R

端末が通信可能な範囲

Dc

端末 c が持つデータの集合

pos(c, t)

端末 c の時刻 t の位置

cn(c, c′ , t)

時刻 t での端末 c，c′ のコンタクトCN

全端末のコンタクト

くなる．しかし，グローバルモデル構築には，全端末のモ
デル更新後のパラメタの差分が必要であり多数端末が参加

衆，屋台など）や固定されたオブジェクト（建物，鳥居，する場合，グローバルモデル構築のためのパラメタの差分樹木など）が該当する．A の観光エリア間及び内部には，が揃うまで時間がかかる．そのため，全体の処理時間が長

複数の観光客が滞在及び移動をしており，各観光客はスくなる．

マートフォン等のモバイル端末を所持する．これらの集合
を Cmobile とする．各観光客はモバイル端末を 1 台のみ持

2.4 既存手法に対する本研究の位置づけ
基本的に Federated Learning はモデルを集約するサーつと想定する．また，観光エリアにはサイネージ等の固定バが必要となるが，これらの関連研究のように集約サーバ

定環境 A 内に存在する端末の集合 C を式 (1) で表記する．

端末も配置されており，その集合を Cstationary とする．想への依存性を低減または皆無にする手法も複数提案されている．しかし，端末間のネットワークの固定が必要な手法
や，間接的に集約サーバが必要となる手法，訓練全体で多くの端末との複数回の近距離通信が必要な手法等，通信環
境が比較的安定する中での手法が多く，通信環境が全体的に不安定な環境での適用は困難である．本研究で提案する手法では，端末間の直接通信により通信環境に依存しない

Federated Learning を実施し，また，モデル統合回数を制限し，その制限のもとでモデルの精度の最大化を目的としている点で，既存研究と異なる．

3. 問題設定，課題とアプローチ
本章では，想定環境と問題設定，ユースケースシナリオ
について述べる．

3.1 想定環境と問題定義
本研究では，Federated Learning に基づいて観光オブジェクト認識モデルをユーザ参加型で構築するための手法の実現を目指している．表 1 に想定環境で登場する要素およびその内容を示す．

C = Cstationary ∪ Cmobile(1)

想定環境におけるタイムスロット (時刻) の集合を T とすると，端末 c ∈ Cmobile は，t ∈ T 毎に位置が変わる．cの t での位置を pos(c, t) と表記する．t における c, c′ が互
いに通信可能な範囲 R にいる場合，それらが互いにコンタ
クトしているとみなし，そのコンタクトを cn(c, c′ , t) とする．全コンタクトの集合 CN を式 (2) で表す．

∪

CN =

cn(c, c′ , t)(2)c,c′ ∈C,t∈T

各モバイル端末 c ∈ Cmobile は学習データを所持しているが，固定端末 c ∈ Cstationary は所持しない．各端末

c ∈ C の所持データを Dc と表記すると，c ∈ Cmobile では
Dc ̸= ∅，c ∈ Cstationary では Dc = ∅ となる．想定環境内の全データを D として式 (3) で定義する．

D=

∪

Dc

(3)

c∈Cmobile

固定端末 Cstationary を除く各端末 c ∈ C は自身のデー想定環境とする観光エリアの集合を A とする．それぞタ Dc で学習した観光オブジェクト認識モデル Mc を所持

れの観光エリア a ∈ A には認識したい観光オブジェクトのしており，Mc の重みパラメタ Wc を他の観光客の重みパ

集合 Oa が存在している．Oa はオブジェクト（動物，群

ラメタ Wc′ と統合する．各端末 c が持つモデル Mc には認識したい観光エリア Ac ⊆ A が設定されおり，その観光オ
ブジェクトの集合 Oc を式 (4) として定義する．

Oc =

∪

WiFi-Direct を使用する．
各モバイル端末のユーザは，観光前に自宅等の通信状態が安定する場所で，限定数の観光オブジェクトのデータ

Oa

(4)

a∈Ac

について訓練済みのベースモデルをダウンロードしている．各ユーザはこのベースモデルに自身でアノテーション

観光客のコンタクトに関して，時刻 t で 1 対 1 の観光客したデータを訓練させてから観光を始める．観光中にものコンタクトが発生した場合，両者の端末間で重みパラメ

データ増加が予想されるため，観光後はその追加データのタの通信が可能とする．任意の端末が複数の端末と通信が訓練を自宅や充電スポット等の電力確保が可能な場所で可能な状況にある場合においては，その中の 1 つと通信す行う．観光前に自身の所持データがないのユーザについてる．これを二値変数 xcn(c,c′ ,t) を用いて式 (5) として定義

はベースモデルのダウンロード後に観光を開始する．各観する．式 (5) では，xcn(c,c′ ,t) は端末間の通信の有無を表す

光エリアの敷地内にはサイネージが 1 台設置されており，変数であり，端末 c と他端末 c′ との間で通信する場合は

xcn(c,c′ ,t) = 1，通信しない場合は xcn(c,c′ ,t) = 0 となる．

∑

xcn(c,c′ ,t) ≤ 1, ∀c ∈ C, ∀t ∈ T(5)cn(c,c′ ,t)∈CN,c̸=c′

本研究では消費電力抑制も考慮するため，各端末の重み
パラメタの通信可能な回数を L と表記する．この制約を式(6) として表現する．
∀c ∈ C,∑c奈良公園 , c東大寺 , c春日大社 がある．これらは学習デー
タは持たないが，観光エリア内の一部のオブジェクトに対して認識可能なモデルを持つとする．
図 1 に前述の端末群によるシナリオを示す．想定シナリ
オでは端末 c1 の観光客が近鉄奈良駅から奈良公園，東大寺，春日大社の順に観光し，その途中で他の観光客とコンタクトする．これらのコンタクトを活用し他のモデルにア
クセスしながら c1 の観光オブジェクトモデルを更新する．

xcn(c,c′ ,t) ≤ L(6)

また，c1 の他のモバイル端末やサイネージにおいても同様に，コンタクトが生じた場合に相手のモデルにアクセスしcn(c,c′ ,t)∈T

本研究では，各端末の通信回数の最小化とモデルの改善度合いの最大化のために精度向上に効果的なコンタクトの更新を行う．想定シナリオでは，それぞれの端末が他の端末とのコンタクトを活用してモデルを更新を繰り返す．

選択が必要となる．Mc に Mc′ のパラメタを統合すること!"#7 (!& , !1 )*8 : 13時13分

によるモデル精度の改善度合いを Improve(Mc , Mc′ ) として，本問題の目的関数を式 (7) に表す．

M aximize∑ ∑ ∑!"#< (!& , !8 )*3 : 14時03分
東⼤寺!"#$ (!& , !( )*& : 12時15分∑!"#5 (!& , ! 奈良公園)*0 : 12時49分!"#> (!& , !; )*? : 14時20分!"#: (!& , ! 東大寺)*; : 13時34分
奈良公園

c∈C c′ ∈C{c} t∈T cn(c,c′ ,t)∈CN

xcn(c,c′ ,t) · Improve(Mc , Mc′ )(7)!"#/ (!& , !0 )*1 : 12時25分!"#2 (!& , !3 )*( : 12時45分!"#$$ (!& , ! 春日大社)*&& : 15時14分

春⽇⼤社

subject to (5), (6)3.2 想定シナリオ!"#@ (!& , !A)*A : 14時42分!"#$B (!& , !? )*&C : 15時00分

図 1: c1 と各デバイスのコンタクト

上記の想定環境に基づく想定シナリオ [11] について述べる．想定シナリオでは奈良県内の観光エリア (奈良公園，
東大寺，春日大社) が対象としている．各観光エリアには各エリアを特徴付ける観光オブジェクトが存在している．
これらの集合を以下の O奈良公園 ,O東大寺 , O春日大社 とする．

3.3 課題とアプローチ
3.3.1 本研究の課題
本研究の想定環境・シナリオでの観光オブジェクト認識
モデル構築について以下の 2 点の課題が挙げられる．

O奈良公園 = { 牡鹿, 牝鹿, 小鹿, 鹿煎餅の売店,...}O東大寺 = { 仏像, 池, 鯉, 桜, 牡鹿, 牝鹿...}前述の想定環境に関して，モデル更新に従来の Federated
Learning [5][9] を活用する場合，全端末がアクセス可能なO春日大社 = { 藤, 鳥居, 池, 鯉, 社,...}
また，観光エリア内では観光客が所持するモバイル端末

集約サーバが必要となる．しかし，観光客の数が膨大にな

c1 , c2 , c3 , c4 , c5 , c6 , c7 , c8 , c9 が移動および滞在し，互いの観負荷が集中する．そのため，従来の集約サーバを活用する

光オブジェクト認識モデルの重みパラメタを通信する．モ

手法では，学習可能なモデル数の制限や更新頻度の低下がデルのパラメータは少なくとも数 MB のサイズとなるた発生する．これらの制限を抑制するには，（課題 1）集約

め，ユーザ同士がすれ違う短時間で通信を完了するためにサーバを経由しない他端末へのアクセスとモデル更新が必

ると，集約サーバやそのアクセスに必要なネットワークに要となる．

𝑡$

また，本研究では観光オブジェクト認識モデルとして

CNN モデルによる画像分類モデルを採用している．CNN
モデルは数十 MB 以上のデータである場合が多いためモデ
ル更新で生じる通信の消費電力も大きい．Lee [6] らは，端

𝑡!

𝑤!

𝑡"

𝑤!#

統合

𝑐!

𝑐!

𝑐!

𝑐𝑛(𝑐! , 𝑐" , 𝑡! )𝑐"

末間での訓練で直接通信を複数回実行するため通信処理で

𝑤!##

統合

𝑐𝑛(𝑐! , 𝑐% , 𝑡" )𝑐%

多くの電力を消費する．観光客は常に端末の充電が可能で𝑤"あるとは限らないため，端末の電力消費抑制が求められる．
そこで，（課題 2）モデルの重みパラメタの通信回数を最図 2: モデルの重みパラメタ統合の更新例

小限に抑えながら精度を最大にする手法が必要である．

3.3.2 課題へのアプローチ
課題 1 に対して，他の端末のモデルにアクセスする方法として，端末間で直接通信をする方法（WiFi Direct やBLE の使用を想定している）が挙げられる．端末での直接𝑤%

4.2 統合対象の選択方法
本研究の課題 2 に関して，統合後の精度予測によって，統合対象を精度向上に有効なモデルに限定し精度の最大化ができると述べた．本節では，精度向上に有効なモデルの通信を主なアクセス方法とすることでネットワークや集約

選択方法を提案する．統合対象の選択には，オブジェクト

サーバへの負荷が減り，より多くの観光客がモデルの訓練

認識モデルとは別に，統合後の精度変化 (向上または低下)に参加できると考える．

を予測するモデルを使用する．端末間のコンタクト時に精

課題 2 に対して，最小の通信で最大の精度を得る方法と度変化予測モデルを使用し，精度向上が予測された場合，して，統合後のモデルの精度の予測を挙げる．精度予測に相手の重みパラメタを統合対象として選択する．精度変化

より，統合後の精度が向上するモデルが選択できるため，予測モデルにより，精度向上に有効なモデルの選択が可能

通信対象の選択が可能となる．また，モデル統合においてとなる．先行研究 [4] では，自身と相手のモデルの精度かも，精度向上に効果的な統合方法を活用することで，モデら統合後のモデルの精度予測が可能になることが示唆されルの精度をより少ない通信回数で最大化できると考える．

た．そのため，精度変化予測モデルの入力をコンタクトし

4. 提案手法

た 2 端末間のオブジェクト認識モデルの精度とする．2 端末間での精度共有にも端末間の直接通信を活用するが，モ本研究の課題となる課題 (1)，(2) を解決する手法として，ユーザの端末間での直接的な通信を活用した Federated

デルパラメタと比較し非常に小さいデータとなるため，精度共有時に消費する電力は考慮しないものとする．

Learning に基づくモデル構築の手法を提案する．本章では，その提案手法について述べる．

4.3 モデル更新アルゴリズム
上記の手法によるモデル更新アルゴリズムを Algorithm

4.1 重みパラメタの更新処理
本研究で想定するモデル更新の概略図を図 2 に示す．本
提案手法では他端末とコンタクトしたタイミングで相互の端末間で通信し，モデルの重みパラメタを取得する．パラメタの取得後，自らのパラメタに対して Federated Learningに基づいた方法で統合する．Federated Learning のモデ
ル統合方法には，主に FedSGD [5] と FedAvg [5] が提案されている．FedSGD では，モデルへの入力に対する勾配の平均を計算するため，データ数に応じて集約サーバとの通信回数が増加する．一方で FedAvg は，各端末のデータ
学習後の重みパラメタを集約し平均するため，FedSGD と比較して通信回数が少ない．そのため課題 1 に関して，本研究では FedAvg に基づく統合方法を採用した．統合方法
としては，本研究の先行研究 [4] で最も良い結果が得られた，重みパラメタを単純平均する方法を使用する．図 2 の更新例に示すように，コンタクト相手のモデルの重みパラメタを受信し，自身の分と単純平均で統合した後で，そのパラメタを自身のモデルに適用する．

1 に示す．Algorithm 1 は，任意の端末 c が別端末 c′ とコンタクトした際の c 内の処理を表す．Algorithm1 では，時刻 t における重みパラメタ Wct , Wct′ とその精度 Qtc , Qtc′ お
よび通信回数上限 Ltc を使用する．また，1 行目で最初に全端末 C の精度分布を取得*2 しており，その分布から通信相手に選ぶモデルの精度の閾値 threshold を決定する．２行
目で自身の精度 Qtc と通信可能回数 Ltc から，c が c′ の重み
パラメタを受信できる回数 receive と，c′ からパラメタの要求に対し送信できる回数 transmit を決定する．５行目
において観光客のコンタクト cn(c, c′ , t) が発生を判定し，６行目で精度変化予測モデル accuracyRegressor で統合
後の精度 predictAcc を予測する．その値が threshold を超えた場合，９行目で相手 c′ から重みパラメタを受信し単純平均で統合・更新し次の 10 行目で receive を 1 つ減らす．
超えない場合は threshold を下げる．17 行目で統合後パ
ラメタ Wct+1 のモデルの精度が threshold または統合前の*2

各端末のモデル精度は，モバイルアプリを介してクラウドサーバに定期的にアップロードされると想定している．

Algorithm 1 モデル更新アルゴリズム
Require: {Wct , Wct′ , Qtc , Qtc′ , Ltc |c, c′ ∈ C, t ∈ T }Ensure: Wc that obtained other Wc′ .
1: threshold ← determinT hreshold(getAllAccuracy(C))
2: receive, transmit ← limitConf ig(Qtc , Ltc )3: continueT our ← true
4: while continueT our do
5:
if cn(c, c′ , t) then6:predictedQ ← Qtc + accuracyRegressor(Qtc , Qtc′ )7:
if predictedQ > threshold then8:
if receive > 0 then9:
Wct+1 ← (Wct + Wct′ )/2
10:
receive ← receive − 1
11:
end if12:
else
13:
threshold ← downT hreshold(Qtc )14:continue15:
end if16:
mergedQ ← evaluate(Wct+1 )
17:
if (mergedQ > threshold) ∨ (mergedQ > Qtc ) then18:
threshold ← upT hreshold(Qtc )
19:
else
20:
threshold ← downT hreshold(Qtc )21:
end if22:
Qt+1← mergedQc23:
end if24:
continueT our ← decideContinueT our(c)25:
if continueT our = f alse then
26:
break
27:
end if28:
Lt+1← receive + transmit
c29:
receive, transmit ← limitConf ig(Qt+1, Lt+1)cc
30: end while

表 2: 抽出オブジェクトパターン 1

イルカ，ライオン，山，ヤシ，橋，紅葉，
平野，オレンジ，路面電車，城パターン 2

きのこ，高層ビル，ラクダ，ロケット，松，家，蘭，チンパンジー，ランプ

パターン 3

観賞魚，雲，蜂，アライグマ，ウサギ，狼，恐竜，リス，カップ，バラ

純平均で統合した．本実験でのモデル更新アルゴリズムでは threshold を全体のモデル精度の中央値に設定し，中央値よりも高い精度のモデルの場合はその精度に設定した．

downT hreshold 関数に関しては，関数が実行された時点での精度の 0.9 倍，upT hreshold 関数については 1.1 倍になるよう threshold を設定している．シミュレーション開
始時やモデル更新後の receive と transmit の設定方法としては，transmit がモデルの精度に比例して変化するようにしており，通信可能回数と transmit の差を recieve とした．また，提案手法の他に，モデル通信・更新を実施するコンタクトを 10%の確率でランダムに選択する手法でのシミュレーションも実行し，提案手法と比較した．
これら 2 つの手法のシミュレーションを各コンタクトに対して時系列順に実行した．また，モデルは約 58.9MB のデータであり 18 回送信または受信すると約 1GB 通信したことになるため，通信量を送信と受信合わせて 2GB，多くても 2.5GB 以内に収まるように通信回数上限を 40 回にした．提案手法では通信可能回数を 40 回，出会った相手とある確率でモデル交換するゴシッププロトコルに基づい

精度 Qtc より高いかを判定し，高い場合は threshold を 18た手法では受信と送信の回数をそれぞれ 20 回とした．シ行目で上げて低い場合は 20 行目で下げる．更新処理後は，ミュレーション後，全モデルの平均精度を求め，その変化を更新し，統合後の精28 行目で残りの通信可能回数 Lt+1
c
t+1
度 Qt+1と残りの通信回数
Lからreceive と transmitccを 29 行目で再設定する．端末 c の観光客が観光を終えるを評価した．実験では，本研究で想定する観光写真データの代わりとして，動物や自動車等の 10 種類のオブジェク
トで構成される cifar10*3 を使用した．

までコンタクト時にこれらの処理を繰り返す．

5. シミュレーション実験
前章の提案手法に対して，人の移動データに基づくモデ5.2 人流データ
シミュレーション実験では株式会社 Agoop が提供する「ポイント型流動人口データ」[12] を使用した．2020 年 10

ル更新シミュレーションを実施した．本章では，シミュ

月 31 日から 2020 年 11 月 30 日までの 6 時から 18 時の時

レーション内容およびその評価について述べる．

間帯での図 4 のエリアのトレースデータから観光客と思われるユーザを抽出し，1,900 人分のデータを得た．日毎に

5.1 シミュレーション実験の概要と評価方法

おけるユーザ数が少なく 2 日以上に渡るユーザの追跡がで前章のモデル更新アルゴリズムによるモデルへの影響のきないので，これら 1 ヶ月分のデータを 1 日のデータとし評価のために，前節の人流データと精度変化予測モデルをて扱った．また，各ユーザの座標に対しその半径 50m 以

用いて各ユーザのモデル構築シミュレーションを実施し内に別ユーザがいた場合コンタクトしたとみなし，時系列た．本シミュレーションの概略図を図 3 に示す．図 3 のよに沿ったコンタクトのログデータを作成した．

うに，各時刻における全ユーザに対して，コンタクトが生じたユーザ間で Algorithm 1 を適用しモデル更新を実行する．モデルは CNN での画像分類モデルを使用し，シミュレーション内のモデル更新では，相互の重みパラメタを単

5.3 精度変化予測モデルの構築
先行研究 [4] では，自身と相手のモデル統合後の精度向*3

https://www.cs.toronto.edu/ kriz/cifar.html

12時00分00秒のユーザ配置

12時00分10秒の
ユーザ配置

𝑐$

𝑐$

𝑐$
𝑐#

12時00分20秒の
ユーザ配置

𝑐"

通信可能範囲
(50m)

𝑐"

𝑐"

𝑐#

𝑐#
𝑐!

𝑐!

𝑐!

図 3: シミュレーション実験の概要
ンタクト相手のモデル精度となっており，これらの差が大きい程統合後の精度変化が大きく見られる．図 5 の精度変化データに基づいて，自分と相手のモデル精度から統合後の自分のモデル精度の変化を予測するサポートベクタ回帰
モデルを構築した．この回帰モデルの性能評価のために，牛や海等の 100 種類のオブジェクトを含む画像データセッ
ト cifar100*4 から表 2 に示す 3 パターンの 10 種類のオブジェクトのデータセットを抽出し，先行研究 [4] と同様のモデル統合実験を行い図 6 に示す精度変化データを回帰モ
デル評価用として使用した．評価指標として平均絶対誤差
図 4: シミュレーション範囲(MAE) を使用しており，構築した回帰モデルを各パターンで評価した結果，パターン 1 では 5.249%，パターン 2
では 5.393%，パターン 3 では 5.860%となった．
5.4 各ユーザへのモデル割り当て
シミュレーションでは 1,900 人分のモデルを構築した．
本実験で使用したモデルは，先行研究 [4] と同様の VGG16モデルである．cifar10 の 60,000 枚の画像から 50,000 枚
を学習用とし，重複が無いように各モデルに学習データを分配した．残りの 10,000 枚の画像は，シミュレーション
後の各モデルの精度評価に使用した．また，実環境においては数枚の画像を持つユーザが多数を占めることが予想される．各モデルへのデータ分配は，少ないデータを持つ人
程その人数が多く，反対に多くのデータを持つユーザ程少
なくなるようにした．データ分配後にモデルを学習・評価
した結果，各モデルの精度は図 7 の分布となった．図 7 より，全体で 10%〜15%の精度のモデルが多くなり，これら

図 5: 先行研究 [4] の実験結果における精度変化度合い
上を，向上・低下・変化なしの 3 種類で表現した散布図を示していた．本稿では，図 5 に示すような，自身のモデ
ルに相手のモデルを統合した際の精度の差分を利用する．

ownAccuracy が自分のモデル精度，otherAccuracy がコをシミュレーションでの初期モデルとした．

5.5 シミュレーション結果
各パターンのシミュレーション実験の結果，各ユーザのモデルの精度分布は図 8 の分布となった．図 8a より，ゴ*4

https://www.cs.toronto.edu/ kriz/cifar.html

(a) パターン 1 での統合結果(b) パターン 2 での統合結果(c) パターン 3 での統合結果

図 6: 各パターンのオブジェクト認識モデルの精度変化度合い
活用したパターン (本提案手法) が 20.79%高い結果となった．本提案アルゴリズムにおいて精度変化予測モデルは，モデル向上に有効な相手を選択するために使用していた．
ゴシップ手法の場合と比較し最終的に得られた平均精度が向上していたことから，シミュレーションにおいて，精度変化予測モデルによって各モデルの精度向上に有効なモデル選択が行われていたと考える．

図 7: シミュレーション前の精度に対するモデルの分布

6.2 モデル精度の最大値の変化
初期モデルの最大精度は 31.04%であり，ランダムでコンタクトを選択した場合は 25.55%に低下し，提案アルゴ
リズムの場合は 35.99%に向上した．図 7 より，精度が低いモデルほどその数が多いため，ランダムにモデル更新すると高精度のモデルが低い精度のモデルを多く統合し，そシップ手法でモデル更新を実施した場合，全モデルの平の精度を低くしたと考える．しかし，提案アルゴリズムに均精度は 12.45%となり，図 7 のシミュレーション前の平おいては，モデル統合後の精度が向上する可能性のあるモ

均精度 12.22%に対して 1.88%の精度向上が見られた．まデルを選択する．そのため，自身の精度を低下させるモデ

た，初期モデルの最大精度は 31.04%であるのに対し，シルとの統合は比較的に発生しなかったと考える．モデル全ミュレーション後のモデルの最大精度は 22.41%に低下し体に対して継続した精度向上が行われたため，シミュレー

た．一方で，本提案手法を適用した結果は，図 8b より平ション後の最大精度が向上したと考える．

均精度が 33.24%となり，シミュレーション前の平均精度の 172%向上した．モデルの最大精度も 35.99%となり，平
均精度・最大精度共に初期モデルを上回った．

6. 考察

7. おわりに
本稿では，観光客の所持データを使った観光オブジェク
ト認識モデル構築の手法を提案した．提案手法では観光客の所持データに含まれるプライバシ情報を保護しながらそ本章では，前章のシミュレーション実験で得た結果について考察する．

れらの学習を行うために，Federated Learning に基づく
モデル更新手法を採用した．具体的には，観光客のコンタ
クトが生じた時に相互端末がモデルの重みパラメタを通信

6.1 精度変化予測モデルの効果

し単純平均での統合後，そのパラメタを自身のモデル内に本シミュレーション実験では，2 つの手法のシミュレー

適用する手法である．また，通信回数削減のために統合後

ションにおいて精度変化予測モデルを使用したパターンの精度変化を予測し，向上が見込まれる相手に対してのみと使用しなかったパターンに分けられる．両パターンとも

重みパラメタを通信するアルゴリズムを提案した．シミュモデルの重みパラメタの単純平均でモデルを更新したが，レーション実験では，本提案手法とランダムにモデルを更シミュレーション後の平均精度は，精度変化予測モデルを

(a) ゴシップ手法で更新した結果(b) 本提案手法を適用した結果

図 8: シミュレーション後の精度に対するモデルの分布
新する手法でシミュレーションを実施し，最終的な精度の[6]

平均で評価した．結果としては，ランダムで更新する手法
では 12.45%，本提案手法では 33.24%となり，シミュレー
ション前のモデルの平均精度が 12.22%だった点を考慮す
ると，提案手法を適用した場合の精度向上が大きく見られ[7]た．この結果より，事前にパラメタ統合後の精度を予測することで，限定された通信回数の下で精度向上に効果的なモデルの選択が可能になると考える．
本シミュレーションでは全体的に精度の低いモデルを使用したため，高い精度のモデルがシミュレーション環境に[8]含まれた場合の検証も必要となる．今後は，高精度モデルの追加や観光客数の変更等，様々な条件におけるシミュ
レーションを実施し，本提案手法の効果を検証する．

[9]

謝辞
本研究は JSPS 科研費 JP21H03431 の助成を受けたも

[10]

のです．
参考文献
[1]

[2]
[3]

[4]

[5]

[11]

国 土 交 通 省 観 光 庁. AI(人 工 知 能) 等 導 入 に よ る 旅 行
サービスの高度化事業調査報告書. https://www.mlit.

go.jp/kankocho/content/001330607.pdf, 2019. Accessed: 2021-03-12.
BOLDRIGHT. Deaps. https://deaps.com. Accessed:
2021-07-15.
Ulrike Gretzel, Marianna Sigala, Zheng Xiang, andChulmo Koo. Smart tourism: foundations and developments. Electronic markets, Vol. 25, No. 3, pp. 179–
188, 2015.
冨田周作, 中村優吾, 諏訪博彦, 安本慶一ほか. 観光オ
ブジェクト認識モデルのユーザ参加型構築手法の提案.
DICOMO2021 論文集.
H. Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, and Blaise Agüera y Arcas.
Communication-eﬃcient learning of deep networks
from decentralized data. Proceedings of the 20 th International Conference on Artiﬁcial Intelligence andStatistics (AISTATS), Vol. 54, , 2017.

[12]

Sangsu Lee, Xi Zheng, Jie Hua, Haris Vikalo, andChristine Julien. Opportunistic federated learning: An
exploration of egocentric collaboration for pervasive
computing applications. In 2021 IEEE International
Conference on Pervasive Computing and Communications (PerCom), pp. 1–8, 2021.
Sohei Itahara, Takayuki Nishio, Yusuke Koda,
Masahiro Morikura, and Koji Yamamoto. Distillationbased semi-supervised federated learning forcommunication-eﬃcient collaborative training with
non-iid private data. IEEE Transactions on Mobile
Computing, pp. 1–1, 2021.
Mingzhe Chen, H Vincent Poor, Walid Saad, andShuguang Cui. Wireless communications for collaborative federated learning in the internet of things. IEEE
Communications Magazine, Vol. 58, No. 12, pp. 48–54,
2020.
Qiang Yang, Yang Liu, Tianjian Chen, and Yongxin
Tong. Federated machine learning: Concept and applications. ACM Transactions on Intelligent Systems
and Technology, Vol. 10, No. 2, pp. 1–19, 2019.
Hyesung Kim, Jihong Park, Mehdi Bennis, and SeongLyun Kim. Blockchained on-device federated learning.
IEEE Communications Letters, Vol. 24, No. 6, pp.
1279–1283, 2019.
冨田周作, 中村優吾, 諏訪博彦, 安本慶一. Federated learning over dtn によるオブジェクト認識モデルの地域間での共有手法の検討. 2020 年度 情報処理学会関西支部 支部大会 講演論文集, Vol. 2020, , 2020.
Agoop サービス製品. https://www.agoop.co.jp. Accessed: 2021-07-15.