計算資源が限られた複数組織での出力選択による協働の検討

近年，自然言語処理分野において大規模ニューラルモデルが様々なタスクで高い性能を達成している．その背景には，より多くの訓練データを用いて，より大きなモデルを訓練することで，モデルの性能がべき乗則に従って向上し続けることが期待できるという実験的知見がある[1]．今後も高性能モデルの実現を目的とした訓練データやモデルサイズのさらなる大規模化が進む可能性は十分考えられる．こうした大規模モデルの開発には多くの計算資源が必須となるため，潤沢な計算資源を持つ一部の企業や研究機関（大組織）のみがモデル開発を行っているというのが実情である．しかし，大学の研究室など計算資源が潤沢ではない組織（小組織）が高性能なモデルの開発に関与できないという状況は望ましくない[2]．限られた計算資源を最大限に活用する方法を模索し，より広く多くの研究者や開発者がモデルの性能向上において競争力を持つことは重要である．では，どのようにすれば計算資源で劣る組織が性能の高いモデルを開発することができるだろうか．本稿では，計算資源で劣る複数の小組織が力を合わせた場合に，大組織が作るモデルに匹敵する性能を達成できるかどうかを検証する．具体的には，独立に訓練された少訓練データかつ小サイズの小モデル群と多訓練データかつ大サイズの単独大モデルの性能比較を行う．本稿では，小モデル群の活用方法として，各小モデルの出力の中から最適であると推定される出力を小モデル群全体の出力として採用するという戦略をとる．訓練済みモデルを多数集め，それらのモデルの出力の中から最適であると推定される出力を選択するという戦略は，各モデルの訓練は独立に行うことができるという点で有用である．モデルの訓練を独立に実行できることには二つの利点がある．一つ目は，訓練データの共有が不要な点である．これによりプライバシー保護が必要な組織（例：医療機関，金融機関など）が持つデータを活用できる．二つ目は，他の組織の開発やモデル共有後の工程に対する考慮が不要な点である．個々の組織は，既存のモデル開発ノウハウをそれぞれの状況に合わせて自由に適用することができる．本稿では，英日翻訳タスクを題材として小組織群と大組織間の比較を行った．模擬実験としての簡易化のために，以下の制約のもとに実験を行った．•各小組織は，大組織用の訓練データを等分割したものの一部を訓練データとして用いる．•訓練，推論の独立性は保った上で，小組織間で同一の実験設定を用いる．実験の結果，複数の小モデルの出力集合に対して，参照なし評価指標を用いた出力選択を行ったところ，大モデル（小モデル単体と比較して10倍の訓練データ量かつ3倍のモデルサイズ）の性能に匹敵する結果となった．