連合学習におけるLoRAの統合数と精度の関係の検証

本研究では、大規模言語モデル（LLM）の連合学習におけるLoRAの統合数がモデル性能に与える影響について検証する。LLMに基づく連合学習の多くは、複数のクライアントがローカルデータを用いてLoRAを学習し、その重みを統合することでグローバルモデルを構築する。しかし、LoRAの統合数が増加するにつれ、モデル性能の低下が予想されるため、その定量的評価と原因の解析が必要である。本研究では、データ分布が同一であることを仮定し、テキスト要約タスクおよび数学的推論タスクを対象に実験する。その結果、LoRAの統合数が増加するにつれてモデル性能が低下する傾向が観察された。特に数学的推論タスクでは、統合数の増加によって正解率が顕著に低下した。これらの結果は、従来の統合手法であるFedAvgがLoRA重みの統合において性能劣化を招くことを示しており、統合手法の改善が求められることを示唆する。