セキュアマルチパーティ計算を用いたエッジシステムに対する機械学習法の
開発
研究代表者
共同研究者
共同研究者

宮島
重井
宮島

洋文
徳貴
廣美

長崎大学 情報データ科学部 准教授
鹿児島大学大学院理工学研究科 工学専攻
鹿児島大学 名誉教授

教授

1 研究の背景と目的
情報化社会を支える基盤技術の一つであるクラウドコンピューティングの利用が拡大している. 一方, ク
ラウドに接続される利用者の端末や機器の数が増加すると, その能力の低下が低下する [1]. この問題を改善するためのアーキテクチャの一つとして, エッジコンピューティングシステムが提案されている. これは, 従来システムで遠くに置かれているメインサーバの情報処理を, ユーザに近い場所(エッジ)に置かれたローカルサーバに肩代りさせて, 情報のやりとりをショートカットするモデルである. 一方で, クラウドシ
ステムにおいては外部サーバにてデータを扱うことから, ユーザが情報漏洩等のリスクを懸念する場合がある [1-3]. 本研究では, このようなエッジシステムにおいて, 今日の人工知能の基盤技術の一つである機械学習について, データの安全性を考慮した手法についての研究を行う. ここで, サーバ上のデータに対する安全性を高める手法として, SMC (Secure Multiparty Computation） [4-7], 準同型暗号 [8], 連合学習
[9-11] などが提案されている. しかしながら, 通常の機械学習手法は, これらのデータの安全性を高める手法を適用することができるとは限らない. そのため, これらのデータの安全性を高める手法に合わせた機械学習のアルゴリズムについての研究が進められてきた [12-17].
本研究では, エッジシステムにおいて, SMC と組み合わせることでデータの安全性を考慮した機械学習のアルゴリズムについての研究を行った. 研究成果としては, いくつかの基本的な機械学習手法について,
SMC と組み合わせたアルゴリズムを提案し, また, 数値実験によりそれらの提案手法の有効性を検証した.

2 準備
ここでは, 本研究で扱った SMC による分散処理計算の概要について説明する. また, 本研究で扱った機械学習手法である Back Propagation (BP)法, および Neural Gas (NG) 法の概要について説明する.
2-1 Secure Multiparty Computation の概要
SMC においては, 秘匿分解データを使った分散処理計算によりデータの安全性を高める[4-7]. ここで,本研究において用いる秘匿分解データを使った分散処理計算の概略について説明する. ここでは, 図 1 に示
す𝑄 + 1個のサーバ(サーバ 0 と𝑄個のエッジ)からなるシステムを例として, 任意の実数データ𝑥に対する任意の関数𝑓(𝑥)の計算について説明する.

図1

本研究における分散処理計算の概略

1
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

はじめに, 実数データ𝑥について, ∑𝑄𝑞=1 𝑥 (𝑞) = 𝑥 を満たす𝑄個の実数値𝑥 (1) , ⋯ , 𝑥 (𝑄) をランダムに選択し,サーバ 0 を除く各サーバに送る. サーバ𝑞 (𝑞 = 1, ⋯ , 𝑄)では𝑥 (𝑞) のみが格納されているとき, 他の実数値
𝑥 (1) , ⋯ , 𝑥 (𝑞−1) , 𝑥 (𝑞+1) , ⋯ , 𝑥 (𝑄) はサーバ𝑞内部には格納されていないため, サーバ内部𝑞の情報のみでは実数データ𝑥を復号化することができない.
次に, 関数𝑓(𝑥)の計算結果を求める. ここで, 関数𝑓(𝑥)に対して∑𝑄𝑞=1 𝑓𝑞 (𝑥 (𝑞) ) = 𝑓(𝑥) を満たす𝑄個の関数𝑓1 (𝑥 (1) ), ⋯ , 𝑓𝑄 (𝑥 (𝑄) )を定義する. サーバ𝑞 (𝑞 = 1, ⋯ , 𝑄)内部では 𝑓𝑞 (𝑥 (𝑞) ) を計算し, 結果をサーバ 0 に送る. サーバ 0 では, 他のサーバから送られた計算結果を統合し, 計算結果𝑓(𝑥) = ∑𝑄𝑞=1 𝑓𝑞 (𝑥 (𝑞) )を得る. このとき, 計算の途中経過において元のデータ𝑥は復号化されておらず, また, 各サーバではデータ𝑥の断片的な情報のみが格納されているため, データ𝑥を復号化することができない.
問題は, 関数𝑓(𝑥)に対して適切な計算処理𝑓1 (𝑥 (1) ), ⋯ , 𝑓𝑄 (𝑥 (𝑄) )をどのように定義するかである. 本研究では, いくつかの基礎的な機械学習手法について, このような分散処理により実現する. この処理過程においては, 各サーバはデータの断片的な情報以外は知ることができず, データの秘匿性が保持される.

2-2 階層型ニューラルネットワークと BP 法の概要
ここでは, 図 2 に示す 3 層の階層型ニューラルネットワークに対する出力の計算, および機械学習手法の一つである BP 学習について説明する [18]. ここで, 以降では, 任意の自然数𝑖 に対して 𝑍𝑖 = {1,2, ⋯ , 𝑖},
𝑍𝑖∗ = {0,1, ⋯ , 𝑖} とおく.

図 2 3 層の階層型ニューラルネットワークの概略
図 2 は, 入力要素数𝑛, 出力要素数𝑆, 中間層ニューロ数𝑃である 3 層の階層型ニューラルネットワークの例である. {𝑤𝑖𝑗 |𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ } と {𝑣𝑠𝑖 |𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ } をそれぞれ中間層と出力層の重みとする. 入力 𝒙 =(𝑥1 , ⋯ , 𝑥𝑛 ) が与えられたとき, ニューラルネットワークの出力ℎ1 (𝒙), ⋯ , ℎ𝑆 (𝒙)は次式により計算される.
1(1)(𝑖 ∈ 𝑍𝑃 )𝑧𝑖 (𝒙) =𝑛
1 + exp(− ∑𝑗=0 𝑤𝑖𝑗 𝑥𝑗 )1
(2)(𝑠 ∈ 𝑍𝑆 )ℎ𝑠 (𝒙) =1 + exp(− ∑𝑃𝑖=0 𝑣𝑠𝑖 𝑧𝑖 (𝒙))ここで, 𝑥0 = 1, 𝑧0 (𝒙) = 1 とする.
重み{𝑤𝑖𝑗 |𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ }, {𝑣𝑠𝑖 |𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ } の決定方法として, BP 法が広く用いられている. 学習用デー
タ𝑋 = {𝒙𝑙 , 𝒅(𝒙𝑙 )|𝑙 ∈ 𝑍𝐿 }が与えられたとする. ここで, 𝒅(𝒙𝑙 ) = (𝑑1 (𝒙𝑙 ), ⋯ , 𝑑𝑆 (𝒙𝑙 ))は入力𝒙𝑙 = (𝑥1𝑙 , ⋯ , 𝑥𝑛𝑙 )に対する理想的なニューラルネットワークの出力とする. このとき, 学習における評価関数が次式により与えら
れる.
𝑆
𝐿
(3)
1
2
𝐸 = ∑ ∑(𝑑𝑠 (𝒙𝑙 ) − ℎ𝑠 (𝒙𝑙 ))𝐿
𝑙=1 𝑠=1

2
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

式(3)に対する最小化問題を解くことにより, 重み{𝑤𝑖𝑗 |𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ }, {𝑣𝑠𝑖 |𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ } を適切な値に決定することができる. そのような手法の一つとして, BP 法が提案されている. BP 法においては, 式(3)に示
す評価関数を重み 𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ ), 𝑣𝑠𝑖 (𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ ) で 1 階微分することにより, 以下のような重みの更新式を得る [18].
𝑆(4)
𝑤𝑖𝑗 ← 𝑤𝑖𝑗 + 𝐾𝑤 ∑(𝑑𝑠 (𝒙𝑙 ) − ℎ𝑠 (𝒙𝑙 ))ℎ𝑠 (𝒙𝑙 )(1 − ℎ𝑠 (𝒙𝑙 ))𝑣𝑠𝑖 𝑧𝑖 (𝒙𝑙 )(1 − 𝑧𝑖 (𝒙𝑙 ))𝑥𝑗𝑙
𝑠=1

𝑣𝑠𝑖 ← 𝑣𝑠𝑖 + 𝐾𝑣 (𝑑𝑠 (𝒙𝑙 ) − ℎ𝑠 (𝒙𝑙 ))ℎ𝑠 (𝒙𝑙 )(1 − ℎ𝑠 (𝒙𝑙 ))𝑧𝑖 (𝒙𝑙 )(5)

ここで, 𝐾𝑤 , 𝐾𝑣 は学習係数を表す.
BP 法の概略を以下に示す.
[BP 法の概略]
学習用データ : 𝑋 = {𝒙𝑙 , 𝒅(𝒙𝑙 )|𝑙 ∈ 𝑍𝐿 }重み : {𝑤𝑖𝑗 |𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ }, {𝑣𝑠𝑖 |𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ }最大学習回数 : 𝑇, しきい値 : 𝜃
Step 1重み{𝑤𝑖𝑗 |𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ }, {𝑣𝑠𝑖 |𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ } の各値をランダムに設定する. 𝑡 ← 0とする.
Step 2
学習用データの中からデータを選択する. (データ𝒙𝑙 , 𝒅(𝒙𝑙 ) (𝑙 ∈ 𝑍𝐿 )が選択されたとする)
Step 3式(4), (5)に従い, 各重みを更新する.
Step 4式(3)に従い, 学習用データに対する平均二乗誤差𝐸を計算する. 𝐸 < 𝜃または𝑡 = 𝑇ならば学習終了, それ以外の場合は𝑡 ← 𝑡 + 1として Step 2 へ.
BP 法を実行することで, 与えられた学習用データ𝑋 = {𝒙𝑙 , 𝒅(𝒙𝑙 )|𝑙 ∈ 𝑍𝐿 } の入出力関係を表すニューラルネ
ットワークの重み{𝑤𝑖𝑗 |𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ }, {𝑣𝑠𝑖 |𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ } を得ることができる.

2-3 NG 法の概要
ここでは, 機械学習手法の一つである NG 法について説明する [19]. NG 法が実現するベクトル量子化は,大量のデータを少数のデータで近似するものである. ここでは, データ𝑋 = {𝒙𝑙 |𝑙 ∈ 𝑍𝐿 }を有限個の参照ベク∗
トルの集合𝑊 = {𝒘𝑖 |𝑖 ∈ 𝑍𝑟 }で近似する場合について説明する. 𝑒𝑖 (𝒙) ∈ 𝑍𝑟−1
をデータ𝒙に対する近傍ランクとす る . つ ま り , 𝒘𝑖 は デ ー タ 𝒙 に 対 し て𝑒𝑖 (𝒙) + 1 番 目 に 近 い 参 照 ベ ク ト ル で あ る . 任 意 の デ ー タ 𝒙𝑙 =(𝑥1𝑙 , ⋯ , 𝑥𝑛𝑙 ) (𝑙 ∈ 𝑍𝐿 )と任意の参照ベクトル𝒘𝑖 = (𝑤𝑖1 , ⋯ , 𝑤𝑖𝑛 ) (𝑖 ∈ 𝑍𝑟 ) の近さをユークリッド距離‖𝒙𝑙 − 𝒘𝑖 ‖ で定義するとき, データ𝑋を参照ベクトルの集合𝑊で近似する度合いの評価関数として, 以下のように与えることができる.
𝑛𝐿𝑟(6)1
exp(−𝑒𝑖 (𝒙𝑙 )/𝜆)2𝑙
𝐸 = ∑∑ 𝑟
∑(𝑥
−
𝑤
)
𝑖𝑗
𝑗
∑𝐼=1 exp(−𝑒𝐼 (𝒙𝑙 )/𝜆)𝐿
𝑙=1 𝑖=1

𝑗=1

ここで, 𝜆は定数値である.
式(6)に対する最小化問題を解くことにより, 参照ベクトル{𝑤𝑖𝑗 |𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑟 }を適切な値に決定することができる. そのような手法の一つとして, NG 法が提案されている. NG 法においては, 式(6)に示す評価関数に対する 1 階微分を用いることで, 以下のような参照ベクトルの更新式を得る [19].
𝑒𝑖 (𝒙𝑙 )(7)
𝑤𝑖𝑗 ← 𝑤𝑖𝑗 + 𝜀 ⋅ exp (−) ⋅ (𝑥𝑗𝑙 − 𝑤𝑖𝑗 )𝜆3
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

ここで, 𝜀は学習係数を表す.
NG 法の概略を以下に示す.
[NG 法の概略]
学習用データ : 𝑋 = {𝒙𝑙 |𝑙 ∈ 𝑍𝐿 }参照ベクトル : {𝑤𝑖𝑗 |𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑟 }最大学習回数 : 𝑇
Step 1
参照ベクトル{𝑤𝑖𝑗 |𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑟 } の各値をランダムに設定する. 𝑡 ← 0とする.
Step 2
学習用データの中からデータを選択する. (データ𝒙𝑙 (𝑙 ∈ 𝑍𝐿 )が選択されたとする)
Step 3式(7)に従い, 各参照ベクトルを更新する.
Step 4𝑡 = 𝑇ならば学習終了, それ以外の場合は𝑡 ← 𝑡 + 1として Step 2 へ.
NG 法を実行することで, 与えられた学習用データ𝑋 = {𝒙𝑙 |𝑙 ∈ 𝑍𝐿 }を近似する参照ベクトルの集合𝑊 ={𝒘𝑖 |𝑖 ∈ 𝑍𝑟 } を得ることができる. また, 𝜆 → 0とすると, NG 法は k-means 法と一致する.

3 提案手法
ここでは, 本研究で扱った, SMC による秘匿分散処理計算に基づく BP 法および NG 法の概要について説明する.
3-1 秘匿分散処理計算に基づく BP 法と NG 法
BP 法は, 教師あり学習手法として広く知られている. また, NG 法は, 教師なし学習手法として広く知られている. ここでは, SMC と組み合わせることでデータの安全性を高めた BP 法および NG 法の提案手法について述べる.
3-1-1 秘匿分散処理に基づく BP 法の提案手法
SMC においては, 秘匿分解データを使った秘匿分散処理計算によりデータの安全性を高める. ここでは,
BP 法において与えられた学習用データ𝑋 = {𝒙𝑙 , 𝒅(𝒙𝑙 )|𝑙 ∈ 𝑍𝐿 }を以下のように𝑄個に分解し, 各サーバに分けて保存する.
𝑄(8)𝑙(𝑞)𝑙(𝑙 ∈ 𝑍𝐿 , 𝑗 ∈ 𝑍𝑛 )𝑥𝑗 = ∏ 𝑥𝑗
𝑞=1
𝑄

(9)

(𝑞)

𝑑𝑠 (𝒙𝑙 ) = ∑ 𝑑𝑠 (𝒙𝑙 ) (𝑙 ∈ 𝑍𝐿 , 𝑠 ∈ 𝑍𝑆 )
𝑞=1

また,

重み{𝑤𝑖𝑗 |𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ },{𝑣𝑠𝑖 |𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ }は以下のように𝑄個に分解し, 各サーバに分けて保存す

るものとする.
𝑄(𝑞)

𝑤𝑖𝑗 = ∏ 𝑤𝑖𝑗(10)(𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ )

𝑞=1
𝑄

(11)

(𝑞)

𝑣𝑠𝑖 = ∏ 𝑣𝑠𝑖 (𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ )𝑞=1

以降では, 式(8)-(11)により分解されたデータおよび重みを用いた BP 法の提案手法について述べる.
4
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

はじめに, データを復号化することなくニューラルネットワークの出力ℎ1 (𝒙𝑙 ), ⋯ , ℎ𝑆 (𝒙𝑙 )を求める方法について議論する. 式(8)-(11)を用いることで, 入力𝒙𝑙 (𝑙 ∈ 𝑍𝐿 )に対する式(1)の計算は以下のように書き換えることができる.
1(12)(𝑖 ∈ 𝑍𝑃 )𝑧𝑖 (𝒙𝑙 ) =(𝑞) 𝑙(𝑞)𝑄𝑛1 + exp (− ∑𝑗=0 ∏𝑞=1 𝑤𝑖𝑗 𝑥𝑗 )ここで, 式(12)の計算結果𝑧𝑖 (𝒙𝑙 )を以下のように𝑄個に分解し, 各サーバに分けて保存する.
𝑄

𝑧𝑖

(𝒙𝑙 )

(13)

(𝑞)

= ∏ 𝑧𝑖 (𝒙𝑙 ) (𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ )𝑞=1

このとき, 入力𝒙𝑙 (𝑙 ∈ 𝑍𝐿 )に対する式(2)の計算は以下のように書き換えることができる.
1(𝑠 ∈ 𝑍𝑆 )ℎ𝑠 (𝒙𝑙 ) =(𝑞) (𝑞)𝑄
1 + exp (− ∑𝑃𝑖=0 ∏𝑞=1 𝑣𝑠𝑖 𝑧𝑖 (𝒙𝑙 ))(14)式(12)-(14)において, 入力データ𝒙𝑙 (𝑙 ∈ 𝑍𝐿 )は復号化されていない. そのため, 式(12)-(14)を用いることで, 入力データ𝒙𝑙 (𝑙 ∈ 𝑍𝐿 )を復号化することなく, ニューラルネットワークの出力ℎ1 (𝒙𝑙 ), ⋯ , ℎ𝑆 (𝒙𝑙 )を求めることができる.
また, 式(14)の計算結果ℎ𝑠 (𝒙𝑙 )を以下のように𝑄個に分解し, 各サーバに分けて保存する.
𝑄

ℎ𝑠

(15)

(𝑞)

(𝒙𝑙 )

= ∏ ℎ𝑠 (𝒙𝑙 ) (𝑠 ∈ 𝑍𝑆 )𝑞=1

このとき, 式(3)に示す評価関数の値は, 次式により求めることができる.
𝑆

𝑄

𝑙=1 𝑠=1

𝑞=1

𝐿

2

(16)

1
(𝑞)
(𝑞)
𝐸 = ∑ ∑ {∑ (𝑑𝑠 (𝒙𝑙 ) − ℎ𝑠 (𝒙𝑙 ))}𝐿

通常の BP 法においては, 式(3)に示す評価関数を重み 𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ ), 𝑣𝑠𝑖 (𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ ) で 1 階微分(𝑞)することにより, 重みの更新式を得る [5]. そこで, 式(16)に示す評価関数を 𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ , 𝑞 ∈ 𝑍𝑄 ),
(𝑞)

(𝑞)

𝑣𝑠𝑖 (𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ , 𝑞 ∈ 𝑍𝑄 ) で 1 階 微 分 す る こ と に よ り , 以 下 の よ う な 𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ , 𝑞 ∈ 𝑍𝑄 ) ,(𝑞)

𝑣𝑠𝑖 (𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ , 𝑞 ∈ 𝑍𝑄 ) に対する更新式を得る.
𝑄
𝑄
𝑆
(𝑞)
(𝑞)
(𝑞) 𝑙
(𝑞) 𝑙
(𝑞) (𝑞)𝑙𝑙𝑤𝑖𝑗 ← 𝑤𝑖𝑗 + 𝐾𝑤 ∑ {∑ (𝑑𝑠 (𝒙 ) − ℎ𝑠 (𝒙 ))} ℎ𝑠 (𝒙 )(1 − ℎ𝑠 (𝒙 )) {∏ 𝑣𝑠𝑖 𝑧𝑖 (𝒙𝑙 )} (1𝑠=1 𝑞=1𝑞=1− 𝑧𝑖 (𝒙𝑙 ))𝑥𝑗𝑙
𝑄
𝑄
𝑆
(𝑞)

(𝑞)

(17)

(𝑞) (𝑞)= 𝑤𝑖𝑗 (1 + 𝐾𝑤 ∑ {∑ (𝑑𝑠 (𝒙𝑙 ) − ℎ𝑠 (𝒙𝑙 ))} ℎ𝑠 (𝒙𝑙 )(1 − ℎ𝑠 (𝒙𝑙 )) {∏ 𝑣𝑠𝑖 𝑧𝑖 (𝒙𝑙 )} (1
𝑠=1

𝑞=1

𝑞=1
𝑄
(𝑞) 𝑙(𝑞)− 𝑧𝑖 (𝒙𝑙 )) {∏ 𝑤𝑖𝑗 𝑥𝑗
𝑞=1

}) ⋅

1
(𝑞)

𝑤𝑖𝑗

𝑄

(18)

(𝑞)
(𝑞)
(𝑞)
(𝑞)
𝑣𝑠𝑖 ← 𝑣𝑠𝑖 + 𝐾𝑣 {∑ (𝑑𝑠 (𝒙𝑙 ) − ℎ𝑠 (𝒙𝑙 ))} ℎ𝑠 (𝒙𝑙 )(1 − ℎ𝑠 (𝒙𝑙 ))𝑧𝑖 (𝒙𝑙 )
𝑞=1
𝑄

𝑄

1
(𝑞)
(𝑞)
(𝑞) (𝑞)= 𝑣𝑠𝑖 (1 + 𝐾𝑣 {∑ 𝛼 (𝑑𝑠 (𝒙𝑙 ) − ℎ𝑠 (𝒙𝑙 ))} ℎ𝑠 (𝒙𝑙 )(1 − ℎ𝑠 (𝒙𝑙 )) {∏ 𝑣𝑠𝑖 𝑧𝑖 (𝒙𝑙 )}) ⋅ (𝑞)
𝑣𝑠𝑖
𝑞=1
𝑞=1

ここで, 𝐾𝑤 , 𝐾𝑣 は学習係数を表す.

5
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

(𝑞)

(𝑞)

式(17), (18)を用いることで, 分解された重み 𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ , 𝑞 ∈ 𝑍𝑄 ), 𝑣𝑠𝑖 (𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ , 𝑞 ∈ 𝑍𝑄 )に対する BP 法を実現することができる. このとき, BP 法で必要な情報は式(12)-(18)により求めることができ, データおよび重みを復号化することなく計算することができる.

(a) 重みの更新量の計算(b) 重みの更新
図 2 秘匿分散処理に基づく BP 法の提案手法の概略
図 2 に, 秘匿分散処理に基づく BP 法の提案手法の概略を示す. 提案手法においては, 各サーバ内部において分解されたデータおよび重みを用いた計算を行い, これらの計算結果をサーバ 0 に送る. サーバ 0 においては, 各サーバから送られてきた計算結果を統合することで, 式(17), (18)中の重みの更新量を計算する(図 2 (a)を参照). また, サーバ 0 で計算された重みの更新量を各サーバに送り, 各サーバ内部において,分割された重みの更新を行う (図 2 (b)を参照).
また, BP 法よりも能力の高い機械学習手法として, Particle Swarm Optimization (PSO)を組み合わせた
機械学習手法がある [20]. 本研究では, PSO と組み合わせた機械学習手法について, 秘匿分散処理に基づ
くアルゴリズムの提案を行った. この提案手法においては, 図 2 に示す BP 法と同様に, サーバ 0 で PSO による重みの更新量を計算し, 重みの更新量の計算結果を各サーバに送り, 各サーバ内部で重みを更新する.
3-1-2 秘匿分散処理に基づく NG 法の提案手法
ここでは, NG 法において与えられた学習用データ𝑋 = {𝒙𝑙 |𝑙 ∈ 𝑍𝐿 }を以下のように𝑄個に分解し, 各サーバに分けて保存する.
𝑄
(19)
𝑙(𝑞)
𝑙
(𝑙 ∈ 𝑍𝐿 , 𝑗 ∈ 𝑍𝑛 )𝑥𝑗 = ∑ 𝑥𝑗
𝑞=1

また, 参照ベクトル{𝑤𝑖𝑗 |𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑛 }は以下のように𝑄個に分解し, 各サーバに分けて保存するものとす
る.
𝑄
(𝑞)

𝑤𝑖𝑗 = ∑ 𝑤𝑖𝑗(20)(𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑛 )𝑞=1

データ𝒙𝑙 = (𝑥1𝑙 , ⋯ , 𝑥𝑛𝑙 ) (𝑙 ∈ 𝑍𝐿 )と参照ベクトル𝒘𝑖 = (𝑤𝑖1 , ⋯ , 𝑤𝑖𝑛 ) (𝑖 ∈ 𝑍𝑟 )の距離‖𝒙𝑙 − 𝒘𝑖 ‖は, 式(19), (20)により分解されたデータと参照ベクトルを用いると次式により求めることができる.
2
𝑄
𝑛
(21)
(𝑞)
𝑙(𝑞)
𝑙
2
‖𝒙 − 𝒘𝑖 ‖ = ∑ (∑ (𝑥𝑗 − 𝑤𝑖𝑗 )) (𝑙 ∈ 𝑍𝐿 , 𝑖 ∈ 𝑍𝑟 )
𝑗=1

𝑞=1

‖𝒙𝑙 − 𝒘𝑖 ‖2 距離をもとに, データ𝒙𝑙 (𝑙 ∈ 𝑍𝐿 )に対する参照ベクトル𝒘𝑖 (𝑖 ∈ 𝑍𝑟 )の近傍ランク𝑒𝑖 (𝒙𝑙 )を求める.
このとき, 式(6)に示す NG 法の評価関数の値は, 次式により求めることができる.
2
𝑄
𝑛
(22)
𝐿
𝑟
1
exp(−𝑒𝑖 (𝒙𝑙 )/𝜆)(𝑞)𝑙(𝑞)𝐸 = ∑∑ 𝑟∑ (∑ (𝑥𝑗 − 𝑤𝑖𝑗 ))∑𝐼=1 exp(−𝑒𝐼 (𝒙𝑙 )/𝜆)𝐿
𝑙=1 𝑖=1

𝑗=1

𝑞=1

6
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

通常の NG 法においては, 式(6)に示す評価関数を参照ベクトル 𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑛 ) で 1 階微分することにより, 式(7)に示す参照ベクトルの更新式を得る [6]. そこで, 式(22)に示す評価関数を 𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑛 )(𝑞)

で 1 階微分することにより, 以下のような 𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑛 , 𝑞 ∈ 𝑍𝑄 ) に対する更新式を得る.
(𝑞)

(𝑞)

𝑤𝑖𝑗 ← 𝑤𝑖𝑗 + 𝜀 ⋅ exp (−𝑒𝑖 (𝒙𝑙 )) ⋅ (𝑥𝑗𝑙 − 𝑤𝑖𝑗 )𝜆(23)

ここで, 𝜀は学習係数を表す.
(𝑞)式(23)を用いることで, 分解された参照ベクトル 𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑛 , 𝑞 ∈ 𝑍𝑄 ) に対する NG 法を実現することができる. このとき, NG 法で必要である各データと参照ベクトルの距離は式(21)により求めることができ, データおよび参照ベクトルを復号化することなく計算することができる.

(a) 参照ベクトルの更新量の計算(b) 参照ベクトルの更新
図 3 秘匿分散処理に基づく NG 法の提案手法の概略
図 3 に, 秘匿分散処理に基づく NG 法の提案手法の概略を示す. 提案手法においては, 各サーバ内部において分解されたデータおよび参照ベクトルを用いた計算を行い, これらの計算結果をサーバ 0 に送る. サー
バ 0 においては, 各サーバから送られてきた計算結果を統合することで, 式(22)中の参照ベクトルの更新量を計算する (図 3 (a)を参照). また, サーバ 0 で計算された参照ベクトルの更新量を各サーバに送り, 各
サーバ内部において, 分割された参照ベクトルの更新を行う (図 3 (b)を参照).

3-2 秘匿分散処理計算に基づく BP 法と NG 法の改善手法
3-1 に示す提案手法は, 分解された重みまたは参照ベクトルをパラメータとした機械学習である. しかしながら, この場合, 重みまたは参照ベクトルの分解数が増えるとパラメータ数が増える. パラメータ数が増えると, 機械学習における計算時間の増加などの問題が起こる. また, 図 2 および図 3 に示すサーバ間の通信も多くなる.
3-2-1 秘匿分散処理に基づく BP 法の改善手法
(𝑞)

(𝑞)

3-1-1 に示す BP 法の提案手法においては, 更新する重み𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ , 𝑞 ∈ 𝑍𝑄 ), 𝑣𝑠𝑖 (𝑠 ∈ 𝑍𝑆 , 𝑖 ∈𝑍𝑃∗ , 𝑞 ∈ 𝑍𝑄 ) の 個 数 は (𝑃(𝑛 + 1) + 𝑆(𝑃 + 1))𝑄 個 で あ る . 一 方 で , 従 来 の BP 法 に お い て 更 新 す る 重 み
𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ ), 𝑣𝑠𝑖 (𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ )の個数は𝑃(𝑛 + 1) + 𝑆(𝑃 + 1)個である. つまり, 式(8)-(11)に示すデータおよび重みの分解数𝑄が多いほど, 更新する重みの個数が多くなる. 更新する重みの個数が多いと, 計
算時間の増加などの問題がある. また, 図 2 (b)について, サーバ 0 は𝑄個のサーバに対して通信を行う必要があるため, データおよび重みの分解数𝑄が多いほどサーバ間の通信回数が多くなる.
ここでは, 3-1-1 に示す手法よりも, 更新する重みの個数を削減した改善手法について述べる.
式(4), (5)に示す重み𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ ), 𝑣𝑠𝑖 (𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ )の更新式は, 式(8)-(15)を用いると, 次式のように書き換えることができる.

7
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

𝑆

𝑄

𝑄

(24)

(𝑞)
(𝑞)
(𝑞) (𝑞)Δ𝑤𝑖𝑗 = (1 + 𝐾𝑤 ∑ {∑ 𝛼 (𝑑𝑠 (𝒙𝑙 ) − ℎ𝑠 (𝒙𝑙 ))} ℎ𝑠 (𝒙𝑙 )(1 − ℎ𝑠 (𝒙𝑙 )) {∏ 𝑣𝑠𝑖 𝑧𝑖 (𝒙𝑙 )} (1
𝑠=1

𝑞=1

𝑞=1
𝑄

𝑄
(𝑞) 𝑙(𝑞)− 𝑧𝑖 (𝒙𝑙 )) {∏ 𝑤𝑖𝑗 𝑥𝑗

𝛽1} ⋅ {∏(𝑞)

𝑞=1 (𝑤𝑖𝑗 )

𝑞=1

2 })

𝑄

𝑄

𝑄

(𝑞)
(𝑞)
(𝑞) (𝑞)Δ𝑣𝑠𝑖 = (1 + 𝐾𝑣 {∑ 𝛼 (𝑑𝑠 (𝒙𝑙 ) − ℎ𝑠 (𝒙𝑙 ))} ℎ𝑠 (𝒙𝑙 )(1 − ℎ𝑠 (𝒙𝑙 )) {∏ 𝑣𝑠𝑖 𝑧𝑖 (𝒙𝑙 )} ⋅ {∏𝑞=1

(𝑞)
𝑞=1 (𝑣𝑠𝑖 )

𝑞=1
𝑄

𝑄

(𝑞)

(𝑞)

𝑞=1

𝑞=1

(25)
2 })

(26)

1
(𝑞)
(𝑞)
∏ 𝑤𝑖𝑗 ← ∏ 𝑤𝑖𝑗 × Δ𝑤𝑖𝑗 ×
𝛼𝛽1𝑄
𝑞=1
𝑞=1
𝑄
𝑄
∏ 𝑣𝑠𝑖 ← ∏ 𝑣𝑠𝑖 × Δ𝑣𝑠𝑖 ×

𝛽2

(27)

1

𝛼𝛽2𝑄

ここで, 𝛼, 𝛽1 , 𝛽2 はランダムに選ばれた実数値であり, 分解データと重みを秘匿するために使用する. このとき, 任意の整数値𝑞0 ∈ 𝑍𝑄 に対して, 次式(28)は式(26)を満たし, 次式(29)は式(27)を満たす.
1
(28)
(𝑞)
𝑤𝑖𝑗 × Δ𝑤𝑖𝑗 × 𝑄 (𝑞 = 𝑞0 )
(𝑞)
𝛼𝛽1
𝑤 ←{
𝑖𝑗

(𝑞)

(𝑞 ≠ 𝑞0 )1(𝑞)(𝑞 = 𝑞0 )𝑣𝑠𝑖 × Δ𝑣𝑠𝑖 ×(𝑞)
𝛼𝛽2𝑄
𝑣𝑠𝑖 ← {
𝑤𝑖𝑗

(𝑞)

𝑣𝑠𝑖

(29)

(𝑞 ≠ 𝑞0 )

(𝑞 )

(𝑞 )

つまり, 式(28), (29)により𝑤𝑖𝑗 0 (𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ ), 𝑣𝑠𝑖 0 (𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ ) を更新することは, 通常の BP 法において重み{𝑤𝑖𝑗 |𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ }, {𝑣𝑠𝑖 |𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ }を更新することと等価となる.

(a) 重みの更新量の計算(b) 重みの更新
図 4 秘匿分散処理に基づく BP 法の改善手法の概略
図 4 に, 秘匿分散処理に基づく BP 法の改善手法の概略を示す. 提案手法においては, 各サーバ内部において分解されたデータおよび重みを用いた計算を行い, これらの計算結果をサーバ 0 に送る. サーバ 0 においては, 各サーバから送られてきた計算結果を統合することで, 式(24), (25)に示す重みの更新量を計算す
る (図 4 (a)を参照). また, サーバ 0 で計算された重みの更新量をサーバ𝑞0 にのみ送り, サーバ𝑞0 内部にお
(𝑞 )

(𝑞 )

い て , 重 み 𝑤𝑖𝑗 0 (𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ ) , 𝑣𝑠𝑖 0 (𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ ) の 更 新 を 行 う
(𝑞 )

(𝑞 )

𝑤𝑖𝑗 0 (𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ ), 𝑣𝑠𝑖 0 (𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ )(𝑞)( 図 4 (b) を 参 照 ). こ の と き ,(𝑞)以外の重み𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ , 𝑞 ≠ 𝑞0 ), 𝑣𝑠𝑖 (𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ , 𝑞 ≠8
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

(𝑞 )

(𝑞 )

𝑞0 )は更新しない. つまり, 更新する重み𝑤𝑖𝑗 0 (𝑖 ∈ 𝑍𝑃 , 𝑗 ∈ 𝑍𝑛∗ ), 𝑣𝑠𝑖 0 (𝑠 ∈ 𝑍𝑆 , 𝑖 ∈ 𝑍𝑃∗ )の個数は𝑃(𝑛 + 1) +𝑆(𝑃 + 1)個であり, データおよび重みの分解数𝑄の個数には依存しない.

3-2-2 秘匿分散処理に基づく NG 法の改善手法(𝑞)3-1-2 に示す NG 法の提案手法においては, 更新する参照ベクトル𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑛 , 𝑞 ∈ 𝑍𝑄 )の個数は𝑟𝑛𝑄個である. 一方で, 従来の NG 法において更新する参照ベクトル𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑛 )の個数は𝑟𝑛個である. つまり, 式(19), (20)に示すデータおよび参照ベクトルの分解数𝑄が多いほど, 更新する参照ベクトルの個数が多くなる. 更新する参照ベクトルの個数が多いと, 計算時間の増加などの問題がある. また, 図 3 (b)について, サーバ 0 は𝑄個のサーバに対して通信を行う必要があるため, データおよび参照ベクトルの分解数
𝑄が多いほどサーバ間の通信回数が多くなる. ここでは, 3-1-2 に示す手法よりも, 更新する重みの個数を削減した改善手法について述べる.
式(7)に示す参照ベクトル𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑛 ) の更新式は, 式(19), (20)を用いると, 次式のように書き換えることができる.
𝑄(30)
𝑒𝑖 (𝒙𝑙 )(𝑞)𝑙(𝑞)Δ𝑤𝑖𝑗 = 𝜀 ⋅ exp (−) ∑ (𝑥𝑗 − 𝑤𝑖𝑗 )
𝜆
𝑞=1

𝑄

𝑄
(𝑞)

(31)

(𝑞)

∑ 𝑤𝑖𝑗 ← ∑ 𝑤𝑖𝑗 + Δ𝑤𝑖𝑗
𝑞=1

𝑞=1

このとき, 任意の整数値𝑞0 ∈ 𝑍𝑄 に対して, 次式(32)は式(31)を満たす.
(𝑞)
𝑤𝑖𝑗 + Δ𝑤𝑖𝑗 (𝑞 = 𝑞0 )(𝑞)𝑤𝑖𝑗 ← { (𝑞)(𝑞 ≠ 𝑞0 )
𝑤𝑖𝑗

(32)

(𝑞 )

つまり, 式(32)により𝑤𝑖𝑗 0 (𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑛 )を更新することは, 通常の NG 法において参照ベクトル{𝑤𝑖𝑗 |𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑛 }を更新することと等価となる.

(a) 参照ベクトルの更新量の計算(b) 参照ベクトルの更新
図 5 秘匿分散処理に基づく BP 法の改善手法の概略
図 5 に, 秘匿分散処理に基づく NG 法の改善手法の概略を示す. 提案手法においては, 各サーバ内部において分解されたデータおよび参照ベクトルを用いた計算を行い, これらの計算結果をサーバ 0 に送る. サー
バ 0 においては, 各サーバから送られてきた計算結果を統合することで, 式(30)に示す重みの更新量を計算する (図 5 (a)を参照). また, サーバ 0 で計算された参照ベクトルの更新量をサーバ𝑞0 にのみ送り, サー(𝑞 )バ𝑞0 内部にお いて , 参照 ベクトル 𝑤𝑖𝑗 0 (𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑛 )の更新を 行う ( 図 5 (b) を参照). このとき ,(𝑞 )𝑤𝑖𝑗 0 (𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑛 )(𝑞)以外の参照ベクトル𝑤𝑖𝑗 (𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑛 , 𝑞 ≠ 𝑞0 )は更新しない. つまり, 更新する参照(𝑞 )ベクトル𝑤𝑖𝑗 0 (𝑖 ∈ 𝑍𝑟 , 𝑗 ∈ 𝑍𝑛 )の個数は𝑟𝑛個であり, データおよび重みの分解数𝑄の個数には依存しない.
9
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

3-3 数値実験
ここでは, 提案手法と, データを分割しない従来手法の比較のために, 数値実験を行った結果を掲載する.
3-3-1 BP 法における比較
ここでは, 2-2 に示す BP 法の従来手法, および 3-1-1, 3-2-1 に示す BP 法の提案手法を用いて, べンチマ
ークデータである Iris データに対して 5-fold cross validation による検証を行い, 更新する重みの個数,
学習用データおよびテスト用データに対する誤分類率の比較を行った [21]. ここで, Iris データのデータ
数は 150, 入力要素数は 4, 分類数は 3 である. 実験条件は, 中間層ニューロ数が 10, 最大学習回数 50 万回, しきい値は 0.03 とした. また, 提案手法については, データおよび重みを 5 個に分割した.
表 1 に, 各手法における, 更新する重みの個数, 学習用データおよびテスト用データの誤分類率(%)を示す. ここで, 表 1 中の# Para は 1 度に更新する重みの個数, Learn は学習用データに対する誤分類率(%),
Test はテスト用データに対する誤分類率(%)を示す. 表中の各値は 20 回試行の平均値である.
表 1 BP 法を用いた数値実験の結果# ParaLearn
Test
従来手法 (2-2)
83
1.6
3.4
提案手法 (3-1-1)
415
2.2
4.9
提案手法 (3-2-1)
83
1.7
3.5
表 1 より, 更新する重みの個数は, 3-1-1 に示す提案手法は 2-2 に示す BP 法の手法よりも多いが, 3-2-1に示す提案手法は 2-2 に示す BP 法の提案手法と同等の個数である. また, 学習用およびテスト用データに対する誤分類率は, 3-1-1 および 3-2-1 に示す提案手法は 2-2 に示す BP 法の従来手法と同等の分類精度を示している.
3-3-2 NG 法における比較
ここでは, 2-3 に示す NG 法の従来手法, および 3-1-2, 3-2-2 に示す NG 法の提案手法を用いて, 表べンチ
マークデータである Iris データに対するクラスタリングを行った [21]. 実験条件は, 参照ベクトルの個数
を 3, 最大学習回数は 15000 とした. 提案手法については, データおよび参照ベクトルを 5 個に分割した.
表 2 に実験結果を示す. ここで, 表 2 中の# Para は 1 度に更新する参照ベクトルの個数, MR はクラスタ
リングによるデータの分類を行った結果に対する誤分類率(%), MSE は式(6), (22)に示す評価関数の値(× 10−3 )を示す. 表中の各値は 20 回試行の平均値である.
表 2 NG 法を用いた数値実験の結果# ParaMR
MSE
従来手法 (2-2)
12
4.1
6.46
提案手法 (3-1-1)
60
4.1
6.49
提案手法 (3-2-1)
12
4.1
6.43
表 2 より, 更新する参照ベクトルの個数は, 3-1-2 に示す提案手法は 2-3 に示す NG 法の手法よりも多いが, 3-2-2 に示す提案手法は 2-3 に示す NG 法の提案手法と同等の個数である. また, データの誤分類率および評価関数の値については, 3-1-2 および 3-2-2 に示す提案手法は 2-3 に示す BP 法の従来手法と同等の分類精度を示している.

4 まとめ
本研究では, エッジシステムにおいて機械学習を安全に行う方法として, SMC と組み合わせた機械学習のアルゴリズムについての研究に取り組んだ. 提案モデルにおいては, 機械学習における学習用データおよびパラメータが複数に分解されて管理されている状況を想定し, これらのデータおよびパラメータを復号化することなく BP 法および NG 法による機械学習を実現するアルゴリズムについての研究を行った. 著者らは提10
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

案手法の一つとして, 分解したパラメータすべてを更新する機械学習アルゴリズムを提案した. この提案手法においてはデータおよびパラメータは復号化されないためにデータの安全性が高められている. また, この提案手法は BP 法および NG 法における機械学習の理論に即しており, 数値実験においても従来手法と同等の高い精度を示した. しかしながら, この手法においては, 更新するパラメータの個数が多くなり, 計算手
順の増加やサーバ間の通信回数の増加が懸念される. そこで, パラメータ数について考慮した改善手法を提案した. この提案手法においては, 複数に分解したパラメータのうち一部のみを更新することでパラメータ数を抑える. この提案手法においてはデータおよびパラメータは復号化されないためにデータの安全性が高められている. また, この提案手法は従来の BP 法および NG 法における機械学習の計算と等価であり, 数値
実験においても従来手法と同等の高い精度を示した.
今後の課題としては, 他の機械学習手法についても, SMC と組み合わせることでデータの安全性を高めた
アルゴリズムについても検討する必要がある.

【参考文献】[1] C. C. Aggarwal, et.al.,”Privacy Preserving Data Mining: Models and Algorithms”, ISBN 978-0387-70991-8, Springer-Verlag, 2009.
[2] A. Shamir, “How to share a secret”, Comm. ACM, vol. 22, no. 11, pp.612-613, 1979.
[3] A. Beimel, “Secret-sharing schemes: a survey”, Proc. of the Third international conference on
Coding and cryptology (IWCC 11), 2011.
[4] D. Evans, et.al., “A Pragmatic Introduction to Secure Multi-Party Computation”, Foundations
and Trends in Privacy and Security, vol.2, Issue 2-3, pp. 70-246, 2022.
[5] R. Canetti, U. Feige, O. Goldreich, and M. Naor, Adaptively secure multi-party computation,
STOC’ 96, pp. 639-648, 1996.
[6] R. Cramer, et.al., “General secure multi-party computation from any linear secret-sharing
scheme”, EUROCRYPT’, pp.331-339, 2000.
[7] A. Ben-David, et.al., “Fair play MP: a system for secure multi-party computation”, ACM CCS’ 08,
pp. 257-266, 2008.
[8] C. Gentry, “Fully Homomorphic Encryption Using Ideal Lattices”, STOC2009, pp.169-178, 2009.
[9] Q. Yang, et.al.,”Federated Machine Learning : Concept and Applications”, ACM Trans. Intell. Syst.
Technol., vol. 10, no. 2, Article 12, 2019.
[10] J. Koneˇcn´y, et.al.,”Federated Learning: Strategies for Improving Communication Efficiency”,
arXiv:1610.05492, 2017.
[11] B. McMahan, et.al., ”Communication-Efficient Learning of Deep Networks from Decentralized
Data”, Proc. of Machine Learning Research, vol. 54, pp.1273-1282, 2017.
[12] J. Yuan, et.al., ”Privacy Preserving Back-Propagation Neural Network Learning Made Practicalwith Cloud Computing”, IEEE Trans. On Parallel and Distributed Systems, Vol. 25, issue 1, pp.
212-221, 2013.
[13] N. Schlitter, “A Protocol for Privacy Preserving Neural Network Learning on Horizontal
Partitioned Data”, Privacy Statistics in Databases (PSD), 2008.
[14] X. Ma, et.al., ”Privacy preserving multi-party computation delegation for deep learning in cloudcomputing”, Information Sciences, vol. 459, pp. 103-116, 2018.
[15] O. Nassef, et.al., ”A survey: Distributed Machine Learning for 5G and beyond”, Computer
Networks, 108820, ISSN 1389-1286, 2022.
[16] J. Duan, et.al., ”Privacy-preserving and verifiable deep learning inference based on secretsharing”, Neurocomputing, vol. 483, pp.221-234, 2022.
[17] X. Yin, et.al., ”A Comprehensive Survey of Privacy-preserving Federated Learning: A Taxonomy,
Review, and Future Directions”, ACM Computing Surveys, vol.54, no. 6, pp. 1-36, 2022.

11
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

[18] M. M. Gupta, et.al.,”Static and Dynamic Neural Networks”, IEEE Pres, Wiley-Interscience, 2003.
[19] T. M. Martinetz, et.al.,” ’Neural-Gas’ Network for Vector Quantization and its Application toTime-series Prediction”, IEEE Trans. Neural Network, vol. 4, no. 4, pp. 558-569, 1993.
[20] J. Kennedy, et.al.,” Particle swarm optimization”, Proc. International Conference on Neural
Networks, pp.1942-1948, 1995.
[21]
UCI
RepositoryofMachineLearning
Databases
andDomainTheories,
https://archive.ics.uci.edu/ml/datasets.php.

〈発
題

名

Learning
algorithms
forvectorquantization
using
verticallypartitioned data with IoT
IoT に対する安全な PSO を用いた学習法の提案
Securely Distributed Computation with
Divided Data for Particle Swarm
Optimization
Federated Learning with Divided Datafor BP
秘匿分解データを用いた新しい機械学習
The generalized BP method of secret
distributed processing with divided
data
Machine Learning with Distributed
Processing using Secure Divided Data:
Towards Privacy-Preserving Advanced AI
Processing in a Super-Smart Society

表

資

料〉

掲載誌・学会名等

発表年月

Artificial Life and Robotics,
pp.283-290
第 74 回電気・情報関係学会九州支部連合大会
International MultiConferenceof Engineers and Computer
Scientists
International MultiConferenceof Engineers and Computer
Scientists
第 189 回マルチメディア通信と分散処理研究発表会

2021 年 9 月
2021 年 10 月

2021 年 10 月
2021 年 12 月

International
Symposiumon
Artificial Life and Robotics

2022 年 1 月

Journal of Networking and
Network Applications, vol.2,
issue.1, pp.48-60

2022 年 4 月

Securely Distributed Computation with
Divided Data and Parameters for Hybrid
Particle Swarm Optimization
秘匿分解データによる BP 学習アルゴリズ
ムの改善Secure Distributed Processing of BP
with updatable decomposition Data
Secure Distributed Processing of NG
with Updatable Decomposition Data andParameters
Simplified
SecureDistributed
Processing of BP with Decomposition
Data
秘匿分散処理による機械学習法の計算量削減
秘匿分解データによる BP 学習アルゴリズ
ムの計算量削減

IAENG International Journal ofComputer
Science,vol.49,no.1, pp.61-68
IAENG International Journal ofApplied Mathematics, vol.52,
no.3, pp.541-549
第 38 回ファジィシステムシンポジ
ウムTransactions on Engineering
Technologies, pp.1-15
International Conference on
Networking
andNetwork
Applications
International
Symposiumon
Nonlinear Theory and Its
Applications
バイオメディカル・ファジィ・シス
テム学会年次大会
日本知能情報ファジィ学会誌,
vol.35, no.1, pp.506-510

Scalability improvement of simplified,

Recent Progress in Nonlinear

SecureLearning
Systemsusing
Vertically Partitioned Data with IoT

2021 年 8 月

2022 年 5 月

2022 年 9 月
2022 年 9 月
2022 年 10 月
2022 年 12 月

2022 年 12 月
2022 年 12 月
2023 年 2 月
2023 年 4 月

12
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

secure distributed processing withdecomposition data
NeuralGas
andK-Means
Methods
Improving the Computational
Complexity for Secure Distributed
Processing

Theory and Its Applications,vol.14, no.2, pp.140-151
Biomedical Soft Computing andHuman Sciences, vol.28, no.1,
pp.15-22

in print(2023 年 3 月 掲載決定)

13
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度