ニューラルスケーリング則
ニューラルネットワークモデルの性能は、与えられた入力から、どれほど正確に出力を予測できるかで評価される。一般的な評価指標としては以下がある。
識別タスクにおける、正解率、適合率、再現率、F1 スコア(英: accuracy, precision, recall, F1 score)
回帰タスクにおける、平均二乗誤差(MSE)や平均絶対誤差(MAE)
言語モデルにおける、トークンあたりの負の対数尤度(パープレキシティの対数)
他のモデルに対するイロレーティング(例: コンピュータチェスや人間による評価)
モデルの性能は、より多くのデータ、より大きなモデル、異なる訓練アルゴリズムの併用、過適合の防止、検証データセットによる早期終了により改善することができる。