ニューラルスケーリング則
ほとんどの場合、モデルの大きさとはパラメータ数を指す。しかし、Mixture-of-Expert モデルといったスパースモデルにおいてはその限りではない。スパースモデルの推論には、パラメータ全体の一部のみが利用される。それと比べて、他のほとんどのニューラルネットワークモデル(Transformer など)では、常にすべてのパラメータを利用して推論が行われる。