本研究では、大規模言語モデル（LLM）の連合学習におけるLoRAの統合数がモデル性能に与える影響について検証する。LLMに基づく連合学習の多くは、複数のクライアントがローカルデータを用いてLoRAを学習し、その重みを統合することでグローバルモデルを構築する。しかし、LoRAの統合数が増加するにつれ、モデル性能の低下が予想されるため、その定量的評価と原因の解析が必要である。本研究では、データ分布が同一であることを仮定し、テキスト要約タスクおよび数学的推論タスクを対象に実験する。その結果、LoRAの統合数が増加するにつれてモデル性能が低下する傾向が観察された。特に数学的推論タスクでは、統合数の増加によって正解率が顕著に低下した。これらの結果は、従来の統合手法であるFedAvgがLoRA重みの統合において性能劣化を招くことを示しており、統合手法の改善が求められることを示唆する。

連合学習（FederatedLearning）は、データ共有の制約が厳しい環境で、複数のクライアントが協力してモデルを学習するための手法として注目されている[1]。例えば、複数の医療機関が患者データを共有せずに診断モデルを学習する場合や、複数の企業が競争力を保ちながらデータ分析モデルを構築する場合などが想定される。このような場面では、各クライアントが独自のデータを持ちながらも、単一のクライアントのデータだけでは十分なモデル性能が得られない場合が多い。一方で、データ共有の制約があるため、クライアント間で共有されるのは学習したモデルの重みや勾配情報に限られる。連合学習により、各クライアントはローカルデータを共有せずにプライバシを保護しつつ、学習した情報を集約することによって単独のクライアントでは得られない高性能なモデルを構築することが可能となる。LoRA（Low-RankAdaptation）[2]は、LLMの効率的な学習手法として提案され、連合学習環境においても通信コストを削減しつつ高いモデル性能を維持する技術として注目されている[3,4]。LoRAを活用した連合学習では、複数のクライアントがそれぞれのデータで学習したLoRAの重みをサーバに送信し、それらを統合してグローバルモデルを更新する。この統合には、通常、FedAvg（FederatedAveraging）[5]が使用される。FedAvgは統合時に重みの算術平均を計算する手法で、広く採用されている。しかし、クライアント数が増加するにつれ、性能がどのように変化するかの検証が行われていなかった。本研究は、連合学習におけるLoRAの統合数の増加がモデル性能に与える影響を定量的に評価することを目的とする。連合学習が適用される多くの場面において、クライアント間のデータ分布が同一であるという仮定が成り立つことを考慮する。この仮定の下、一つのデータセットをランダムに分割して対応するLoRAの学習に用い、FedAvgによって統合する形で実際の応用場面を再現し、その性能を検証する。検証の結果、FedAvgを適用する際、LoRAの統合数の増加につれモデルの性能が低下する傾向が見られた。この結果は、LoRAの統合における新たな手法の必要性を示唆しており、今後の効率的な連合学習モデルの設計に向けた新たな指針を提供するものである。