小規模言語モデル

小規模言語モデル（しょうきぼげんごもでる、Small Language Model, SLM）は、言語やテキストの生成を含む人間の自然言語処理のために設計された人工知能言語モデルである。大規模言語モデル（LLM）と異なり、小規模言語モデルは規模と範囲がはるかに小さい。

通常、LLMのトレーニングパラメータは数千億であり、一部のモデルでは1兆パラメータを超えることがある。LLMが膨大なサイズである理由は、大量の情報を抱えることで、より良いコンテンツを生成するモデルであることによる。その分、膨大な計算能力が必須であり、個人がコンピュータ1台だけでGPUを利用して大規模言語モデルをトレーニングすることは不可能である。

一方、小規模言語モデルは、通常数百万から数十億の範囲で、はるかに少ないパラメータを使用しする。これにより、単一のコンピュータやモバイルデバイスなどのリソースが限られた環境でトレーニングやホストをより実現可能にしている。小さいため、PCやスマホ内で完結が可能であり、デリケートなデータを扱う分野にも向いている。特定の分野に範囲を絞り込むことによるメリットがあり、小規模なデータセットでトレーニングすることで、「ハルシネーション」を起こしにくくできる。

 関連項目 

 エッジコンピューティング
 GPT-4o mini
 Claude Haiku
 Microsoft Phi
 Apple Intelligence
 Llama
 Gemini Nano
 Sakana AI

 出典 

Category:言語モデル
Category:自然言語処理