確率的丸めを用いた言語モデルの量子化を意識した学習

デルを適応させる[9]。近年、大規模言語モデル(LLMs)の各パラメータ最近、QAT手法であるBitNet[10,11]は、フル精の重みを二値や三値に量子化することで、推論時の度（FP32）のトランスフォーマーを二値(binary)まメモリ使用量を大幅に削減できることが報告されてたは三値(ternary)モデルに量子化する試みを行っいる。しかし、これらのモデルの学習には依然とした。この手法では、重み行列の値を{-1,0,1}に制約て多くのメモリが必要である。その理由の一つは、しながら、フル精度モデルと同程度性能を維持してこれらのモデルを学習する際に、Straight-Throughいる。図1(a)に、BitNetのような従来のQAT手法Estimator(STE)に必要な、(量子化されていない)高の学習プロセスを示す。量子化された重みと入力を精度の重み行列を保持する必要があるからである。基に損失を計算した後、バックプロパゲーションそこで本研究では、学習時のメモリ使用量を削減すを通じてその損失が高精度の元の重みに伝播され、るため、バックプロパゲーションにおいてSTEを用Straight-ThroughEstimator(STE)[12]を用いて重みがいずに、量子化された低精度の重み行列を直接更新更新される。この高精度の重みは、各学習ステップすることを試みる。具体的には、確率的丸めを利用で再度量子化される必要がある。この反復プロセスすることで、低ビットの重みを用いる際に生じる情は、量子化が微分不可能であることから[13]、特別報の損失を防ぐ。LLaMA構造の言語モデルを用いな勾配蓄積手法を必要とする。その結果、高精度のた実験の結果、低精度の重みのみでの学習が可能で重み行列を学習全体を通じて保持する必要があり、あることが明らかになった。これが大きなメモリ消費につながる。特に、QATをLLMに拡張する場合、実用的な利