観光オブジェクト認識モデルのユーザ参加型構築手法の提案
冨田 周作1,2

中村 優吾3

諏訪 博彦1,2

安本 慶一1,2

概要：近年，個人が撮影した写真などプライバシ情報を含むデータそのものをサーバに集約することなく，認識モデルの構築に必要なパラメータを用いて機械学習を行う手法として Federated Learning が注目を集めている．しかし，Federated Learning は，大きな計算能力と記憶容量を備えた集約サーバの設置が前提となっており，観光情報提供のシナリオにおいては，観光客が持つ端末と集約サーバ間の通信や端末上でのモデル更新が高頻度に行われるため，ユーザ端末の大幅な電力消費が発生する．そのため，これらの負担を抑制しつつ，効率的にモデル構築するための手法が必要となる．本研究では，観光客が持つ端末間での直接的な通信を活用した Federated Learning に基づくモデル構築の手法を提案する．また，より少ない
通信回数で，認識モデルの精度を効率的に向上させるために，FedAvg(モデルパラメタを平均する方法) に基づくモデル統合手法の特性を網羅的に調査した．評価実験では，10 クラスのオブジェクトのデータセッ
トである Cifar10 の一部を訓練した CNN モデルを 231 個構築し，各組み合わせのモデル統合で得られる
accuracy を記録した．評価結果より，VGG16 の全体のパラメタ同士を単純平均で統合する場合，37315
パターンで最も多く accuracy が統合前の自身のモデルと比較して向上した．この結果に関して，FedAvg
を適用する相手のモデルの accuracy が自身のモデルよりも高い場合 accuracy が向上する傾向にあり，相手のモデルパラメタの統合の判断が可能となることを示した．

Proposal of Participatory Training Method for Tourism Object
Recognition Model
SHUSAKU TOMITA1,2

YUGO NAKAMURA3

1. はじめに
近年，医療や農業等の様々な分野で徐々に AI が普及す

HIROHIKO SUWA1,2

KEIICHI YASUMOTO1,2

学習した AI の構築が困難となっている．社会全体の膨大なデータから汎化性能の高い AI を構築するには，データのプライバシ保護が課題となる．

るようになり，観光業界でも AI を活用した観光サービス

上述の課題の解決に向けて，Google が Federated Learn-の高度化が進んでいる [1]．このような AI の活用が今後増

ing を提案している [2]．この手法では，分散したエッジ端

加すると予想されるが，AI の構築には大量のデータが必末のデータを端末上で訓練し，そのモデルを集約サーバに要となる．そのため，大企業等が保有するビッグデータや集約することで間接的に全デバイスのデータを訓練してい個人が所持するスマートフォン内の写真や検索履歴等も対る．訓練データではなくモデルのパラメタや勾配のみが外象とできることが望まれる．しかし，これらのデータには部に送信されるため，訓練データのプライバシ保護が可能

プライバシを含むデータも存在し，使用方法によってはプとなる．しかし，十分な計算能力と記憶容量を備えた集約

ライバシの侵害に繋がる可能性がある．社会全体には大量

サーバの設置が前提となる．

のデータが存在するが，プライバシ保護のためにそれらをFederated Learning の観光分野での活用において，観光

奈良先端科学技術大学院大学，Nara Institute of Science andTechnology
理化学研究所 革新知能統合研究センター (AIP)，RIKEN, Center
for Advanced Intelligence Project (AIP)
九州大学，Kyushu University
現在，マルチメディア, 分散, 協調とモバイルシンポジウム
Presently with DICOMO2021

地のコンテキスト認識のための観光地特有のオブジェクト

1

2

3
†1

(鹿，神社など) 認識モデルを観光客が持つ写真データから構築するシナリオを考える．観光客の所持データを使用するためには Federated Learning が有効であり，モデル構築に参加する観光客が多い程，多様な観光オブジェクトに対応するモデルの構築が可能となる．しかし，モデル更新のの内容，6 章にその結果についての考察を概説する．7 章

ために集約サーバとの高頻度・大容量の長距離無線通信がでは，本稿のまとめと今後の展望について述べる．

必要となり，観光客端末の電力を多大に消費するとともに，通信費を増加させる．端末の電力消費抑制とモデルの性能向上を両立する手法が必要となる．

2. 関連研究
本研究が対象とする Federated Learning の概念は，デー

本研究では，観光客の端末間での直接的な通信を活用しタセンタ以外の場所に分散しているデータを漏洩のリス

た Federated Learning に基づくモデル構築手法を提案す

クを最小限に抑えた上で機械学習モデルの訓練に用いるる．また，より少ない通信回数でモデルの精度を向上させために Google により提案された．Yang[3] らは Federated

るために，モデルパラメタのみ使用する FedAvg をベース

Learning の先行研究について調査しており，その概念，分類，とする複数の統合手法の特性を網羅的に調査した．提案手

定義，応用事例を述べている．Yang[3] らによると，Feder-

法における統合手法では，モデルパラメタを加算により統ated Learning は Horizontal Federated Learning，Vertical

合するが，モデルの出力層とその他の層のパラメタをそれFederated Learning 及び Federated Transfer Learning の 3

ぞれ異なる比率または等しい比率で加算する手法を複数導種類に分類される．これらの手法は訓練対象のデータとそ入した．各統合手法による精度への影響を調査し，精度向の内部に存在する特徴量の取りうる範囲の違いによって上に有効な統合手法を検討した．提案するモデル構築手法

分類されるが，いずれもモデルを集約するサーバが存在すとしては，観光客同士がすれ違う時 (以降コンタクトと呼るという共通点を持ち，全体の処理に重要な役割を担ってぶ) に自分と相手のモデルパラメタを統合し自身のモデルいる．

を更新する．コンタクトの繰り返しで，観光客の移動と共Lee[4] らは集約サーバを使用せずにエッジ端末間の通にすれ違う複数の観光客端末のモデルとの統合が可能とな

信で Federated Learning を実施する手法を提案している．

る．また，相互のモデルの認識能力を維持できる FedAvg

Lee らの提案した Opportunistic Federated Learning[4] は，をベースとするモデルパラメタの統合方法を活用すること

エッジ端末のユーザ毎に認識対象が異なる場合でも，それで，少ない通信回数でモデルの精度を大きく向上できるこ

ぞれの認識対象に合わせた訓練を可能とする手法である．

とが期待される．端末間の近距離直接通信及びモデル統合

この手法では，通信可能な距離に位置するエッジ端末間でにより，各観光客の端末の電力消費を抑制する効率的なモのみ訓練を実行し，それ以外の端末とは訓練しない．実験

デル構築が可能になると考える．

では，画像分類タスクにおいて認識対象のラベルが異なる評価実験では，モデルのタスクを画像分類とし，独自にモデルを多数生成し，エッジ端末の移動シミュレーション構築した CNN14 層モデルと既存の VGG16 の 2 種類のモに基づいて対象のモデルを訓練する実験を行なっている．

デルに，本稿で述べる 3 種類の統合手法を適用した場合のエッジ端末間での近距離通信を活用しているため，通信に

accuracy を取得した．また，鹿や車等の 10 クラスのオブ

よる電力消費が抑制される手法となっている．しかし，モジェクトのデータで構成される Cifar10 を使用し，クラス

デルの更新手法として FedSGD[2] に関連した手法を採用ごとにデータ数を変えた 231 パターンのデータセットをしており，訓練データをモデルに入力して得られる勾配を別々に訓練したモデルを 231 個生成した．個々のモデルに主に通信している．そのため，相互の端末内のデータに対

対し，同一のモデルも含め全てのモデルの組み合わせの統する勾配が更新に必要となり，データ数が多い程互いの勾合を行い accuracy が統合前より向上したパターンの総数

配を通信する回数が増加する．また，十分な更新のためにで評価した．その結果，VGG16 のモデルを単純平均した

多くの端末との勾配の通信が必要であり，通信の回数が制場合，統合後の accuracy が向上する組み合わせが最も多限されていないため近距離通信における電力消費が多く

く全 53361 パターンの中から 37315 パターン得られた．まなる．

た，この組み合わせの結果に関して，FedAvg を適用する

Lalitha[5] らは，集約サーバが設置されないネットワーク

相手のモデルの accuracy が自身のモデルよりも高い場合，のノード間で行う分散学習について，ネットワークの任意

自身の accuracy が向上する傾向があった．この傾向より，のノードの近傍ノードに対し，各近傍ノード内のデータ分

コンタクト相手のモデルの accuracy 等に基づく統合の判布に関する情報を活用することにより，対象ノードに適し断が可能となることが示唆された．

たモデルを選択する手法を提案している．しかし，この手本稿の構成は以下の通りとする．第 2 章では，Federated

法では前提としてネットワークのノード間の通信経路が固Learning に関する関連研究について概説する．第 3 章で定されており，エッジ端末等の移動が予想されるノード間

は，観光分野における本研究の想定環境について述べ，そで構成される環境に対しては適用することが困難である．

の環境に沿ったシナリオと問題設定を述べる．第 4 章でChen[6] らは，オリジナルの Federated Learning[3] におは，提案手法について述べ，統合時におけるパラメタの更いて重要な集約サーバへの依存度を低下させる手法を提案

新方法及び統合方法について概説する．5 章では評価実験している．この手法では，集約サーバへのアクセスが困難

な端末も訓練への参加が可能になるように，互いに近距離

表 1
要素に位置するエッジ端末間のローカルネットワークでモデルを集約している．各端末にも集約処理を実行させること
で，集約サーバが全てのエッジ端末を網羅できない状態で想定環境に登場する記号一覧
定義

A

観光エリアの集合

Ac

認識能力を強化したいエリア

Oa

認識オブジェクトの集合

Oc

認識強化オブジェクトの集合

この手法は，近隣の通信可能な全てのエッジ端末と通信す

Cstationary

固定端末の集合

るため，端末数に応じて通信回数が増加する．そのため，

Cmobile

移動端末の集合

モデル集約の際に生じる電力消費等のコストが増大する．

C

全端末の集合Kim[7] らは，ブロックチェーンを活用することで特定R端末が通信可能な範囲

Dc

端末 c が持つデータの集合

D

全データ

も全体の端末のモデルの訓練を可能としている．しかし，のサーバにおけるグローバルモデルの構築を必要としない手法として，BlockFL を提案している．BlockFL は，集約Mc

端末 c が持つモデル

サーバをブロックチェーンで代用し，各端末のモデルの更Wc

モデル Mc のパラメタ

新情報を記録したブロックを生成する．そのブロックの情

T

想定環境内の時間 t の集合報をもとに各端末内で共通のグローバルモデルを構築し，pos(c, t)

端末 c の時刻 t の位置

cn(c, c′ , t)

時刻 t での端末 c，c′ のコンタクトCN

全端末のコンタクト

再度ローカルで訓練を繰り返す．これにより，各ローカル
端末がグローバルモデルを持つことになるため，集約サーバの必要性が無くなる．しかし，グローバルモデルの構築

合 Oa が存在している．Oa には移動するオブジェクト（動には，全端末のモデル更新後のパラメタの差分が必要があ

物，群衆，屋台など）や固定されたオブジェクト（建物，鳥り，多数の端末が BlockFL に参加する場合，グローバルモ

居，樹木など）が含まれる．A の観光エリア間及び内部にデル構築のためのパラメタの差分が揃うまでに時間がかかは，複数の観光客が滞在及び移動をしており，各観光客はる．そのため，BlockFL のアルゴリズム全体の処理時間がスマートフォン等のモバイル端末を所持している．モバイ

遅くなる．

ル端末の集合を端末 Cmobile とする．また，各観光客はモ

これらの関連研究では，Federated Learning に関する

バイル端末を 1 台のみ持つ．モバイル端末の他には，サイ概念や手法について研究されている．基本的に Federated

ネージ等の固定位置にある端末の集合 Cstationary がある．

Learning ではモデルを集約するサーバが必要となるが，集以上より，想定環境内に分散する端末の集合 C を式 (1) で約サーバへの依存性を低減する手法も複数提案されている．

表す．

しかし，端末間のネットワークの固定が必要な手法や，間接的に集約サーバが必要となる手法，訓練全体で多くの端末との複数回の近距離通信が必要な手法等，通信環境が比較的安定する中での手法が多く，通信環境が全体的に不安定な環境での適用は困難である．本研究で提案する手法では，端末間の直接的な通信によって通信環境に依存しない

Federated Learning を実施し，端末間の通信回数の制限により電力消費を抑制しながら各モデルの精度を最大にすることを目的としている点で，既存研究と異なっている．

3. 問題設定
本章では，本研究におけるユーザ間のオブジェクト認識
モデルの構築手法を検討する前提となる想定環境とシナリ
オ，その中で対象となる課題について述べる．

3.1 想定環境と問題定義
本研究では，Federated Learning に基づいて観光オブジェクト認識モデルをユーザ参加型で構築するための手法の実現を目指している．表 1 に想定環境の要素とその説明を示す．

C = Cstationary ∪ Cmobile(1)

想定環境におけるタイムスロット (時刻) の集合を T とすると，c ∈ Cmobile は，t ∈ T によって位置が変化する．
そのため，c の t における位置を pos(c, t) と表記する．時
刻 t にある端末 c と別の端末 c′ が互いに通信可能な範囲 Rにいる場合，それらの端末が互いにコンタクトしているとみなし，cn(c, c′ , t) と表記する．全てのコンタクトの集合

CN を式 (2) として定義する．

∪

CN =

cn(c, c′ , t)(2)c,c′ ∈C,t∈T

各モバイル端末 c ∈ Cmobile が収集・所持しているデー
タを Dc と表記する．固定端末はデータを収集しない．そのため，c ∈ Cmobile においては Dc ̸= ϕ，c ∈ Cstationaryにおいては Dc = ϕ となる．以上より，想定環境内に存在する全てのデータを D として式 (3) で定義する．

D=

∪

Dc

(3)

c∈Cmobile

各端末 c ∈ C は独自のデータ Dc で学習した観光オブ想定環境である観光エリアの集合を A とする．それぞれ

ジェクト認識モデル Mc を保有しており，Mc のパラメタの観光エリア a ∈ A には認識したい観光オブジェクトの集

Wc を Federated Lerning に基づく方法で他のパラメタ Wc′

能力を強化したい観光エリアが設定されており，Ac ⊆ A

O春日大社 = { 藤, 鳥居, 池, 鯉, 社,...}
観光エリア間及び内部では，観光客が所持するスマーとする．Ac 内のオブジェクトの集合 Oc を式 (4) で定義

トフォン等のモバイル端末 c1 , c2 , c3 , c4 , c5 , c6 , c7 , c8 , c9 がする．

移動し，互いの観光オブジェクト認識モデルのパラメタと統合する．ここで，各端末 c が持つモデル Mc には認識

Oc =

∪

Oa

(4)

の通信を行う．図 1 に示す通り，各端末が所持する観光a∈Ac

エリア毎の写真データの数は均一でない．各端末のモデ

時刻 t で任意の端末と他の端末の 1 対 1 のコンタクトがルはそれぞれが保存している写真データについて訓練済発生した場合，両方の端末間でパラメタの通信が可能とすみであるとする．データを所持していない端末に関してる．複数の端末と通信が可能な状況にある場合においては，未訓練の状態であるとする．また，各観光エリアには，その中の 1 つのみと通信可能とする．この制約を二値

は，土産店等の敷地内にサイネージが 1 台設置されており，

変数 xcn(c,c′ ,t) を用いて式 (5) として定義する．

c奈良公園 , c東大寺 , c春日大社 とする．これらのサイネー∑

xcn(c,c′ ,t) ≤ 1, ∀c ∈ C, ∀t ∈ T(5)cn(c,c′ ,t)∈CN,c̸=c′

式 (5) において，xcn(c,c′ ,t) は端末間の通信の有無を表す変数であり，端末 c と任意の端末 c′ との間で通信を行う
場合は xcn(c,c′ ,t) = 1，通信しない場合は xcn(c,c′ ,t) = 0 となる．

ジには写真データは保存されていないが，観光エリア内の一部のオブジェクトに対する認識能力があるモデルを持つ．
想定シナリオでは，端末 c1 のユーザの行動に着目す
る．各モバイル端末のユーザは最初図 2 のように点在しており，時間の経過と共に移動する．対象の c1 のユー
ザは図 2 の左側に位置する近鉄奈良駅付近から図 2の 右 下 側 に あ る 春 日 大 社 ま で 移 動 す る ．そ の 途 中 で ，

消費電力抑制のため，各端末が他の端末のパラメタを統合できる最大回数を L と表記する．この制約は式 (6) として記載できる．

∀c ∈ C,∑

ユーザ及びサイネージとコンタクトし，端末間での通xcn(c,c′ ,t) ≤ L(6)

本研究の目的は，通信回数を抑制しながら，モデルの改善度合いを最大化するようように，モデルパラメタの交換を行うコンタクトを選択することである．Mc に Mc′ のパラメタを統合することによるモデル精度の改善度合いをImprove(Mc , Mc′ ) と表記する．この時，本問題の目的関数は以下の式 (7) のように表現することができる．

M aximize

ながら c1 の観光オブジェクトモデルが更新される．また，

c1 の他のモバイル端末やサイネージにおいても同様に，他の端末とのコンタクトが生じた場合に相互のモデルにアクセスし更新を行う．想定シナリオでは，それぞれの端末が他の端末とのコンタクトを活用してモデルを更新する．

3.3 課題とアプローチ
3.3.1 本研究における課題∑

本研究で対象とする課題として以下の 2 点が挙げられる．

c∈C c′ ∈C{c} t∈T cn(c,c′ ,t)∈CN

xcn(c,c′ ,t) · Improve(Mc , Mc′ )信が可能なタイミングを複数回設ける．他のユーザ及びサイネージとのコンタクトを活用し他のモデルにアクセスしcn(c,c′ ,t)∈T∑ ∑ ∑奈良公園，東大寺，春日大社を観光し，図 3 の通りに

c3 , c4 , c奈良公園 , c7 , c2 , c東大寺 , c5 , c6 , c9 , c8 , c春日大社 の本研究の想定環境に関して，各観光客のモデル更新に従(7)subject to (5), (6)来の Federated Learning[2][3] を活用する場合，全端末がアクセス可能な集約サーバが必要となる．しかし，観光客の数が膨大になると，集約サーバやそのアクセスに必

3.2 想定シナリオ

要なネットワークに負荷が集中する．そのため，従来の本研究における先行研究 [8] で，前節の想定環境に基Federated Learning の集約サーバを活用する手法では，モづく想定シナリオについて述べている．想定シナリオのデルの訓練に参加可能な端末数の制限や，更新頻度の低下

概略図を図 1 に示す．シナリオ内では奈良県奈良市を対が発生する．そのため，（課題 1）集約サーバを経由しな象としており，奈良公園，春日大社，東大寺を観光エリ

い他の端末へのアクセスを解決しなければならない．

アとしている．観光エリアにはそれぞれ観光オブジェク

また，本研究では観光オブジェクト認識モデルとしてトが存在しており，観光エリアを特徴づけるオブジェク

CNN モデルを採用しており，CNN モデルは数十 MB 以トであるとする．これらのオブジェクトの集合を以下の上のパラメタを持つ場合が多いため，1 回のモデル更新に

O奈良公園 ,O東大寺 , O春日大社 とし，一部のオブジェク

おけるモデルパラメタの通信に消費する電力が多くなる．

トは観光エリア間で重複している．

Lee[4] らの手法では，端末間での訓練で直接的な通信を複O奈良公園 = { 牡鹿, 牝鹿, 小鹿, 鹿煎餅の売店,...}O東大寺 = { 仏像, 池, 鯉, 桜, 牡鹿, 牝鹿...}

数回行っており，通信毎に多くの電力が消費される．観光
客は端末の充電が可能な場所に滞在しているとは限らない奈良県の観光エリア

東⼤寺

奈良公園
!東⼤寺

：春⽇⼤社のデータ!$：東⼤寺のデータ

!%

!&

!'

訪問

春⽇⼤社
!奈良公園

!"

：奈良公園のデータ

!#
!(

!)

!春⽇⼤社

!*
図 1

シナリオの概略図法として，統合後のモデルの精度を予測する方法を挙げる．
東⼤寺

精度の予測により，統合後の精度が向上するモデルが選択!'できるため，通信対象を限定した精度が最大化が可能とな

! 東大寺
!%

!&

移動開始地点

!"

!

!$

!#

る．また，モデル統合においても，精度向上に効果的な統!(合方法を活用することで，モデルの精度をより少ない通信

奈良公園

回数で最大化できると考える．

奈良公園

!*

!)
春⽇⼤社

⽬的地点

!

春日大社

4. 提案手法
前章の課題 (1)，(2) を解決する手法として，ユーザの端末間での直接的な通信を活用した Federated Learning に基

図 2づくモデル構築の手法を提案する．

各ユーザ及びサイネージの初期位置𝑡$!"#7 (!& , !1 )*8 : 13時13分

𝑡!

𝑡"!"#< (!& , !8 )*3 : 14時03分
東⼤寺𝑤!
!"#$ (!& , !( )*& : 12時15分!"#5 (!& , ! 奈良公園)*0 : 12時49分!"#> (!& , !; )*? : 14時20分!"#: (!& , ! 東大寺)*; : 13時34分

𝑤!#

統合

𝑐!

𝑐!

奈良公園

!"#/ (!& , !0 )*1 : 12時25分!"#2 (!& , !3 )*( : 12時45分!"#@ (!& , !A)*A : 14時42分

春⽇⼤社

各端末の位置とコンタクト

図 4

𝑐𝑛(𝑐! , 𝑐% , 𝑡" )𝑐%𝑤"!"#$B (!& , !? )*&C : 15時00分

図 3

𝑐!

𝑐𝑛(𝑐! , 𝑐" , 𝑡! )𝑐"!"#$$ (!& , ! 春日大社)*&& : 15時14分

𝑤!##

統合

𝑤%

モデルパラメタ統合の概略図

ため，端末の電力消費の抑制が求められる．電力消費の抑制のため，（課題 2）モデルパラメタの通信回数を最小限に抑えながら精度を最大にする手法を考案する必要がある．

3.3.2 各課題に対するアプローチ

4.1 モデルパラメタの更新処理
本稿で想定するモデルの統合の概略図を図 4 に示す．本
提案手法では他の端末とコンタクトしたタイミングで端課題 1 に対して，集約サーバの介在なしで他の端末のモ末間で通信し，モデルのパラメタを取得する．パラメタのデルにアクセスする方法として，端末間で直接通信する方

取得後，自らのパラメタと Federated Learning に基づく法を採用する（WiFi Direct や BLE の使用を想定してい方法で統合する．Federated Learning には主に FedSGD[2]る）．端末での直接通信を主なアクセス方法とすることでと FedAvg[2] が提案されている．FedSGD では，データをネットワークや集約サーバに依存することが無くなり，よ

モデルに入力した際の勾配の平均を計算しており，デー

り多くの観光客がモデルの訓練に参加できると考える．

タ数に応じて集約サーバとの通信回数が増加する．一方

課題 2 に対して，最小の通信回数で最大の精度を得る方

で FedAvg は，各エッジ端末で訓練した後のモデルパラメ

表 2

モデル間の統合におけるパラメタの比率
出力層以外
出力層

統合方法 (1)1

0.5

統合方法 (2)1

ラベル毎のデータ数の比

統合方法 (3)0.5

0.5

は，コンタクトした 2 端末間のオブジェクト認識モデルの精度や画像枚数などのデータであり，互いにこれらの情報を共有することで統合後の精度の変化を予測する．これらの精度や画像枚数などのデータの共有にも端末間で直接通信するが，モデルパラメタと比較し非常に小さいデータとなると予想されるため，データ共有時に消費する電力は考タを集約し平均するため，FedSGD と比較して通信回数が少ない．そのため本研究では，通信コストの抑制を考慮
し，FedAvg に基づくモデルパラメタの統合に着目する．

慮しないものとする．

5. 評価実験

図 4 より，c1 に着目した場合，移動中に他の観光客の端前章で概説した提案手法に対して，独自の 14 層モデル

末 c2 , c3 , ... とコンタクトし，その際に相手のモデルパラメと VGG16 の場合でそれぞれ評価実験を実施し，2 種類のタ w2 , w3 , ... を取得する．c1 のモデルパラメタ w1 と取得

モデルにおける各統合手法による統合後の accuracy の変したパラメタを FedAvg に基づく方法で統合し，w1 を更化を評価した．実験では，10 クラスのオブジェクトを内包

新して新たなパラメタ w1′ を得る．以降のコンタクトでは，
統合後のパラメタ w1′ , w1′′ , ... を自身のパラメタとして更新

した Cifar10 データセットに関して 231 個のモデルを訓練していく．他の端末のモデルパラメタの取得を通信可能な録した．本章では，評価実験の内容及び評価方法について

タイミングで実行することで，ネットワークの状態に依存

述べる．

し，モデル間で各統合手法を適用した際の accuracy を記

しないモデル更新が可能となる．また，端末間の直接的な近距離通信を主に活用することで，広域ネットワーク内の5.1 初期モデルの生成初期モデルの生成には，CNN モデルを使用しており，独遠距離通信で消費する電力の抑制ができる．

自に構築した 14 層モデルと VGG16 の 2 種類を使用した．

4.2 モデルパラメタの統合方法

独自の 14 層モデルについては，9 層の畳み込み層，1 層

本稿で提案するモデルパラメタの統合方法について述べの全結合層，4 層の最大プーリング層で構成されており，る．提案する統合方法では，出力層と出力層以外の層で異パラメタは Glorot の一様分布に基づいて初期化している．

なる割合または同様の比率での統合をしており，表 2 に示

VGG16 については，全結合層を除いた層の ﬁne tuning をす比率で 2 個のモデル間のパラメタを統合している．

行っており，全結合層は本来の 3 層 [9] から 1 層に変更した．

また，統合方法の概要を図 5 に示す．統合方法 (1) によ

そのため，VGG16 のモデルは 13 層の畳み込み層，1 層のる統合では，出力層のパラメタの単純平均を計算し，その全結合層，5 層の最大プーリング層で構成される．VGG16

他の層はパラメタの和を計算している．統合方法 (2) によの ﬁne tuning では，ImageNet データセットを学習したパる統合では，各出力クラスに対応するパラメタ (図 5 におラメタを使用した．これら 2 種類のモデルに関して，最適

ける紫，緑，赤のエッジの重み) に対して，出力クラスに化関数は確率的勾配降下法 (stochastic gradient descent)，

応じたラベルのデータ数の加重平均で統合しており，その損失関数は categorical crossentropy を使用して訓練を実

他の層は統合方法 (1) と同様に和を計算している．データ

施した．
本研究では，観光オブジェクトのデータを対象とする

統合方法 (3) は FedAvg に最も近い統合方法であり，パラ
メタ全体の単純平均を計算している．

が，評価実験では Cifar10*1 を使用して提案手法の評価を行った．Cifar10 の 60000 枚のデータセットの内 50000 枚

4.3 統合対象の選択方法

を訓練用，残りの 10000 枚をテスト用に割り当てた．訓練

本研究の課題 2 に関して，統合後の精度予測によって，用のデータから，ラベル毎にデータ数の多さが異なるデー

統合対象を精度向上に有効なモデルに限定し精度の最大化

タセットを複数用意し，それぞれのデータセットを訓練できると述べた．本節では，精度向上に有効なモデルを選したモデルを生成した．ラベル毎のデータ数の多さは，少択する手法について提案する．

数，中程度，多数で分けており，少数では 0〜1000 枚，中

統合対象の選択には，オブジェクト認識モデルとは別に，程度では 1001〜3000 枚，多数では 3001〜5000 枚の範囲で統合後の精度の変化 (向上または低下) を予測するモデルをランダムにデータを割り当てている．これら 66 通りの各使用する．統合対象の選択方法としては，端末間のコンタ

組み合わせに対して 3 パターンのデータセットを作成し，クト時に精度変化予測モデルを使用し，精度の向上が予測

198 パターンのデータセットが作成されそれぞれを訓練しされた場合，相手のモデルパラメタを統合対象として選択たモデルを生成した．また，accuracy が著しく低いモデルする．精度変化予測モデルの使用により，精度向上に有効なモデルの選択が可能となる．精度変化予測モデルの入力*1

https://www.cs.toronto.edu/ kriz/cifar.html

統合⽅法(1)

統合⽅法(2)

統合⽅法(3)

⾃⾝のモデル
クラス出⼒

全結合層

畳み込み層

1倍

0.5倍

1倍

統合
1倍
畳み込み層

全結合層

畳み込み層

0.5倍

1倍
畳み込み層

0.5倍

0.5倍

統合

全結合層

全結合層

畳み込み層

クラス出⼒のエッジ毎にデータ数で加重平均

統合
クラス出⼒のエッジ毎にデータ数で加重平均

全結合層

0.5倍
畳み込み層

0.5倍
全結合層

クラス出⼒

相⼿のモデル

図 5 出力層と出力層以外の層のパラメタの統合方法を統合した場合の評価のために，ラベル毎のデータ数の多表 3 accuracy が向上したパターン数

14 層モデル

VGG16

統合方法 (1)

11750

15442

統合方法 (2)

11960

15516

統合方法 (3)

3277

37315

さが 0〜10 枚と 11 枚〜100 枚の範囲となる組み合わせに対し全 33 パターンのデータセットを訓練したモデルも生成した．実験では，2 種類の CNN モデル (14 層独自モデ
ルと VGG16) に対しこれらの 231 個のモデルを生成し統合を行った．各モデルが訓練したデータセット間には重複するデータも含まれる．各モデルの訓練にあたりエポック

ターンと最も多い結果となった．VGG16 で統合方法 (3) を

数は 100 回を上限としたが，訓練データに対する損失値が適用した場合に関して，accuracy が向上したパターンと低向上したエポックがある場合，そのモデルの訓練を終了す下したパターン，変化しなかったパターンの散布図を図 7るようにした．

に示す．図 7 において，ownAccuracy と otherAccuracy はそれぞれ自身のモデルとコンタクト相手のモデルのテスト

5.2 実験方法と評価方法

データに対する accuracy である．図 7 では，コンタクト

図 6 に評価実験の概要を示す．実験では，複数のモデ相手の accuracy が自身より高い場合に統合後の accuracy

ルから 1 個を選択し，自身のモデルも含め全モデルとの統の向上が見られる．反対に，自身の accuracy より低いモ

合処理を実施した．この統合処理を全モデルで実施したたデルを統合すると統合後の accuracy が低下する傾向にあめ，53361 パターンのモデル統合を各統合手法で実施した．

るが，一部では向上したパターンも含まれる．

この評価実験を 14 層モデルと VGG16 に基づく CNN モデ
ルで別々に行い，各パターンの統合モデルで cifar10 から抽出した 10000 枚のテストデータを分類した際の accuracyを記録した．

6. 考察
本章では，評価実験で得られた結果と，図 7 の散布図についての考察を述べる．

評価方法としては，統合前の自身のモデルと統合後のモデルのテストデータに対する accuracy の差分を求め，統合後で accuracy が向上したパターン数で評価した．

6.1 accuracy が向上したパターン数のモデル毎の差評価結果において，全体的に VGG16 のモデルで統合した方が accuracy が向上するパターン数が多い結果となった．

5.3 評価結果

モデルによってこのような差が生じた要因として，VGG16

評価実験の結果，表 3 の通りに accuracy が向上したパの ﬁne tuning が考えられる．VGG16 の方では，ImageNet

ターンが見つかった．表 3 より，統合方法 (1) と統合方の 1000 クラスのオブジェクトを訓練したパラメタを初期法 (2) では，両モデルの場合で accuracy が向上したパターパラメタに使用しており，訓練前でもある程度特徴抽出がンが統合方法 (2) の方が多い結果となった．また，統合方

可能な状態であった．そのため，Cifar10 の訓練では，各モ

法 (3) に関しては，14 層モデルについては評価結果の中でデルが同じ特徴を抽出するパラメタを各データセットに合は 3277 パターンと最も少なく，VGG16 の方では 37315 パ

わせて調整し，統合時には互いのパラメタの調整前と調整後の変更分が統合されたと考える．統合前のパラメタに対

① cifar10で訓練
231パターン② 全組み合わせでモデルを各統合⽅法で統合
統合⽅法(1)

統合⽅法(2)③ accuracyを記録

統合⽅法(3)

VGG16(ImageNet学習済み)

231パターン

14層のモデル(Glorotの⼀様分布で初期化)

図 6

評価実験の概略図

たと考える．これらの方法では，出力層となる全結合層の統合比率のみが異なっており，それ以外の層となる畳み込
み層については同じ比率で統合していた．各モデルは畳み込み層が 9 層もしくは 13 層であるのに対し，全結合層は1 層のみであったため，出力層の統合比率の変化による影響が少なかったと考える．
統合方法 (3) を適用した結果については，他の方法と比較すると 14 層モデルと VGG16 の間で accuarcy が向上したパターン数の差が最も大きく，評価結果における最小値と最大値が得られた．統合方法 (1) と比較して統合方法 (3)は出力層以外の層の統合比率のみが異なっているため，本稿の実験においては畳み込み層の統合比率が影響していると考える．統合方法 (1) では，パラメタ間で和を計算しており畳み込み層による空間方向の特徴抽出の効果が直接影響するが，統合方法 (3) では比率が 0.5 であり，それらの特徴が半減された状態で統合されたと考える．VGG16 では，
図 7 各モデル統合後の accuracy の変化

前述のようにパラメタの差分が統合されているとすると，統合方法 (3) でも基盤となる特徴抽出には差分の平均だけ影響する．統合方法 (1) と比較して，畳み込み層におけるして，統合された変更分のみパラメタが変化するため，基盤となる特徴抽出に基づいた分類がされ accyracy の向上が多く見られたと考える．一方で，14 層モデルは Glorotの一様分布で初期化したため，各モデルの訓練でそれぞれのデータセットに基づいた独自の特徴抽出をするパラメタが生成される．このようなパラメタが統合されると，互いの特徴抽出の過程に悪影響を与え，分類に有効な特徴抽出

差分の影響が緩和された状態で統合されるので accuracyが向上するパターンが多くなったと考える，しかし，14 層
モデルの統合では，独自の特徴抽出を行うパラメタが統合されており，互いの特徴抽出処理全体に影響を与える．統合方法 (3) により，相互のパラメタの抽出する特徴が半減される状態で統合されるため，有効な特徴抽出がより困難となり accuracy が向上するパターンが減少したと考える．

が困難になると考える．

6.3 accuracy が向上するモデルパラメタの組み合わせ
6.2 統合方法によるモデルパラメタへの影響
表 3 の評価結果より，統合方法 (1) と統合方法 (2) を比較すると，accuracy が向上したパターン数に変化が見られたが，全体の統合パターン数に対して小さい変化であったため，これら 2 つの方法についてはほぼ同等の結果となっ図 7 では，統合手法 (3) で VGG16 を統合する場合について，モデルパラメタの組み合わせ毎の accuracy の変化を散布図で表した．この散布図において，自身のモデル
よりも accuracy が高いモデルのパラメタを統合すると，

自身のモデルの accuracy も向上する傾向が見られた．ま参考文献

た，自身のモデルの accuracy が高い程，相手のモデルの[1]

accuracy が自身と比較し低い場合でも accuracy の向上パ
ターンが見られた．全体的に accuracy が向上しており，

Improve(Mc , Mc′ ) が向上するパターンが多くなるため，[2]

式 (7) での最大化に有効であると考える．精度変化予測モデルの構築においても，図 7 の結果を訓練データとすれば，自身と相手の accuracy から統合後の accuracy を予測するモデルの構築が期待できる．

[3]

7. おわりに[4]

本稿では，観光オブジェクト認識モデルのユーザ参加型構
築に向けて，端末間での直接的な通信を活用した Federated

Learning に基づくモデルの構築手法を提案した．手法の概[5]

要としては，2 人の観光客のコンタクトが発生した際に，互いの端末がモデルパラメタを通信及び統合し，統合後の[6]

パラメタを自身のモデルパラメタとして更新する手法である．また，最小限の通信でモデルの精度を最大化する統合
方法及びモデルの検討のために，FedAvg に基づいた統合[7]

手法の特性を評価実験で網羅的に調査した．評価実験では，

Cifar10 で構成される 231 パターンのデータセットを訓練した 2 種類の CNN モデルに対して，それぞれ 3 種類の方法[8]で統合した．統合方法は，FedAvg に関連した方法であり，出力層とその他の層で統合する比率が異なる手法を 3 種類用意し評価実験を行った．評価方法としては，各モデルと統合方法の組み合わせ毎に，accuracy が向上したパターン数で評価した．結果としては，VGG16 で ﬁne tuning を実施したモデルの全パラメタを単純平均した場合，53361
パターンのモデルの組み合わせの中から 37315 パターンでaccuracy が向上し最大のパターン数を得た．この結果に関して，各統合後の accuracy の差分を散布図に表し，その傾向を図 7 として可視化した．この散布図より，自身のモデルに対して相手のモデルの accuracy が高い場合，統合後の accuracy が向上する傾向にあった．また，図 7 の結果を活用して，統合前のモデルの精度から統合後の精度の予測が可能となることが示唆された．
今後は，評価実験で得られた統合後の accuracy の変化の傾向をベースに，モデルパラメタ統合後の精度変化予測モデルの構築を検討する．更に，実際の観光オブジェクトに対する認識モデルをモバイル端末等に搭載し，提案手法に基づいた観光オブジェクト認識モデルの構築実験を行う．
謝辞 本研究成果の一部は国立研究開発法人情報通信研究機構 (NICT) の委託研究「スマートコミュニティを支える高信頼ネットワーク構成技術の研究開発」により得られたものです．

[9]

国土交通省観光庁. AI(人工知能) 等導入による旅行サー
ビスの高度化事業調査報告書. https://www.mlit.go.
jp/kankocho/content/001330607.pdf, 2019. Accessed:
2021-03-12.
H. Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, and Blaise Agüera y Arcas.
Communication-eﬃcient learning of deep networks fromdecentralized data. Proceedings of the 20 th International
Conference on Artiﬁcial Intelligence and Statistics (AISTATS), Vol. 54, , 2017.
Qiang Yang, Yang Liu, Tianjian Chen, and Yongxin Tong.
Federated machine learning: Concept and applications.
ACM Transactions on Intelligent Systems and Technology, Vol. 10, No. 2, pp. 1–19, 2019.
Sangsu Lee, Xi Zheng, Jie Hua, Haris Vikalo, and Christine Julien. Opportunistic federated learning: An exploration of egocentric collaboration for pervasive computing
applications. arXiv preprint arXiv:2103.13266, 2021.
Anusha Lalitha, Osman Cihan Kilinc, Tara Javidi, andFarinaz Koushanfar. Peer-to-peer federated learning ongraphs. arXiv preprint arXiv:1901.11173, 2019.
Mingzhe Chen, H Vincent Poor, Walid Saad, andShuguang Cui. Wireless communications for collaborative federated learning in the internet of things. arXiv
preprint arXiv:2006.02499, 2020.
Hyesung Kim, Jihong Park, Mehdi Bennis, and SeongLyun Kim. Blockchained on-device federated learning.
IEEE Communications Letters, Vol. 24, No. 6, pp. 1279–
1283, 2019.
冨田周作, 中村優吾, 諏訪博彦, 安本慶一ほか. Federated
learning over dtn によるオブジェクト認識モデルの地域間での共有手法の検討. 2020 年度 情報処理学会関西支部 支部大会 講演論文集, Vol. 2020, , 2020.
Karen Simonyan and Andrew Zisserman. Very deep
convolutional networks for large-scale image recognition.
arXiv preprint arXiv:1409.1556, 2014.