ニューラルスケーリング則
一般的に、ニューラルネットワークモデルは、モデルの大きさ、訓練データセットの大きさ、訓練コスト、訓練後の性能という4つのパラメータにより特徴付けられる。4つのパラメータは実数として正確に定義することができ、また単純な統計則に従うことが経験的に知られている。これらのパラメータは通常、 N , D , C , L {\displaystyle N,D,C,L} (パラメータ数、データセットの大きさ、計算コスト、損失)と表記される。