計算資源が限られた複数組織での出力選択による協働の検討

潤沢な計算資源を持たない組織一つでは，高性能な大規模ニューラルモデルの開発は困難である．本稿では，そのような組織がそれぞれ開発したモデルを集結させて組み合わせた場合の性能は，潤沢な計算資源を使い一箇所で訓練されたモデルの性能に匹敵するのかどうか検証する．実験では，独立に訓練された少訓練データかつ小サイズの小モデル群と，多訓練データかつ大サイズの単独大モデルの英日翻訳の性能比較を行った．実験の結果，小モデル群が生成する複数の出力の中から適切な出力を選択した場合，小モデル単体と比較して10倍の訓練データ量かつ3倍のモデルサイズの大モデルの能力に匹敵する性能を達成した．