連合学習におけるLoRAの統合数と精度の関係の検証

連合学習（FederatedLearning）は、データ共有の制約が厳しい環境で、複数のクライアントが協力してモデルを学習するための手法として注目されている[1]。例えば、複数の医療機関が患者データを共有せずに診断モデルを学習する場合や、複数の企業が競争力を保ちながらデータ分析モデルを構築する場合などが想定される。このような場面では、各クライアントが独自のデータを持ちながらも、単一のクライアントのデータだけでは十分なモデル性能が得られない場合が多い。一方で、データ共有の制約があるため、クライアント間で共有されるのは学習したモデルの重みや勾配情報に限られる。連合学習により、各クライアントはローカルデータを共有せずにプライバシを保護しつつ、学習した情報を集約することによって単独のクライアントでは得られない高性能なモデルを構築することが可能となる。LoRA（Low-RankAdaptation）[2]は、LLMの効率的な学習手法として提案され、連合学習環境においても通信コストを削減しつつ高いモデル性能を維持する技術として注目されている[3,4]。LoRAを活用した連合学習では、複数のクライアントがそれぞれのデータで学習したLoRAの重みをサーバに送信し、それらを統合してグローバルモデルを更新する。この統合には、通常、FedAvg（FederatedAveraging）[5]が使用される。FedAvgは統合時に重みの算術平均を計算する手法で、広く採用されている。しかし、クライアント数が増加するにつれ、性能がどのように変化するかの検証が行われていなかった。本研究は、連合学習におけるLoRAの統合数の増加がモデル性能に与える影響を定量的に評価することを目的とする。連合学習が適用される多くの場面において、クライアント間のデータ分布が同一であるという仮定が成り立つことを考慮する。この仮定の下、一つのデータセットをランダムに分割して対応するLoRAの学習に用い、FedAvgによって統合する形で実際の応用場面を再現し、その性能を検証する。検証の結果、FedAvgを適用する際、LoRAの統合数の増加につれモデルの性能が低下する傾向が見られた。この結果は、LoRAの統合における新たな手法の必要性を示唆しており、今後の効率的な連合学習モデルの設計に向けた新たな指針を提供するものである。