どうやって大規模トレーニングで最適な学習ポリシーを見つける方法
大規模トレーニングで最適な学習ポリシーを見つける方法は、提案された目的関数を最大化することから始まります。この目的関数は、LMの学習を「損失圧縮」として捉え、データの圧縮率を最大化するものです。次に、導出した定理である「Learning Law」が重要です。これにより、最適な学習プロセスにおいてすべての例が同じ寄与度を持つことが示されます。実験では、近似的な最適学習ポリシーが見つかりました。