大規模言語モデル
通常、LLMの訓練では、全精度または半精度の浮動小数点数(float32とfloat16)が使用される。float16は16ビット(つまり2バイト)なので、たとえば10億個のパラメータは2ギガバイトのサイズとなる。典型的な最大級のモデルは1,000億個のパラメータを持ち、ロードするのに200ギガバイトを必要とするため、ほとんどの一般向けコンピュータの能力を超えたものとなる。訓練後の量子化(英語版)(Post-training quantization)は、訓練済みモデルの性能をほとんど維持したまま、パラメーターの精度を下げることで、必要なサイズを削減することを目的としている。量子化の最も単純な形は、すべての数値を所定のビット数に切り捨てるだけである。これは、層ごとに異なる量子化コードブックを使用することで改善できる。さらに、パラメータごとにさまざまな精度(英語版)を適用し、特に重要なパラメータ(外れ値の重み)にはより高い精度を確保することで、さらなる改善をはかることができる。
量子化モデルは通常は凍結され、量子化前のモデルだけがファインチューニングされるが、量子化モデルも引き続きファインチューニングが可能である。
『あまり無理をしなければ、笑顔のままだ。しかし(予期せぬ)プロンプトを与えると突然、狂気、奇妙な思考過程、そして明らかに人間ではない理解といった巨大な裏の顔を覗かせる』。
対照的に、「LLMは理解力を欠く」派の支持者の中には、既存のLLMは「既存の文章を単に練り直し、組み替えているだけ」であると考えたり、既存のLLMが予測能力、推論能力、主体性、説明可能性において依然として欠点を抱えていることを指摘したりする人もいる。たとえば、GPT-4は計画やリアルタイム学習においてもっともな欠陥がある。生成的LLMは、訓練データでは正当化(英語版)されないような事実を自信をもって主張することが観察されており、この現象は「幻覚」として知られている。神経科学者のテレンス・セジュノウスキー(Terrence Sejnowski)は、「LLMの知性に関する専門家の意見の相違は、自然の叡智に基づく私たちの古い考え方が十分ではないことを示唆している」と主張している。
ここで、 x {\displaystyle x} をパラメータ数、 y {\displaystyle y} をモデルの性能とする。
y = average P r ( correct token ) {\displaystyle y={\text{average }}Pr({\text{correct token}})} のとき、 ( log  x , y ) {\displaystyle (\log x,y)} は指数曲線(1でプラトーに達する前)となり、創発のように見える。
y = average log  ( P r ( correct token ) ) {\displaystyle y={\text{average }}\log(Pr({\text{correct token}}))} のとき、 ( log  x , y ) {\displaystyle (\log x,y)} のプロットは直線(0でプラトーに達する前)となり、創発には見えない。
y = average P r ( the most likely token is correct ) {\displaystyle y={\text{average }}Pr({\text{the most likely token is correct}})} のとき、 ( log  x , y ) {\displaystyle (\log x,y)} はステップ関数となり、創発のように見える。