PaLM
PaLM (Pathways Language Model, パスウェイズ言語モデル) は、Googleが開発した大規模言語モデル(LLM)のひとつ。最新版はGoogle I/O 2023で発表されたPaLM2。
同社が2021年に発表した会話に特化したLLM、LaMDAと異なり、より幅広い利用を想定して開発された。2023年3月にGoogleはデベロッパー向けにPaLMの一部APIを一般公開した。
Googleの最高経営責任者(CEO)であるサンダー・ピチャイ氏は2023年3月31日、The NewYork TimesのAI関連の取材に応じChatGPTなどの画期的なAIサービスが誕生したことに嬉しさを感じているとした上で、自社の会話型AIサービスであるBard(バード)にPaLMを導入することを示唆した。現在、BardはLaMDAの軽量版を基に開発されているが、これが実現すれば大幅に性能が上がる可能性を秘めているとサンダー・ピチャイ氏は期待を示した。これは、Googleが会話型AI市場への参入の遅れの他、Bardの性能が市場の期待よりも低く、ChatGPT一強の状態になることを危惧したものだとThe NewYork Timesは解説している。
2023年4月10日、GoogleはBardに対して基盤となるLLMをLaMDAからPaLMへと変更するアップデートを展開した。この結果、事前情報の通り計算や倫理的な考え方がより高度になったとしている。
2023年5月10日、Google I/Oにてベースの大規模言語モデルをPaLMからPaLM2へと移行することを発表し、同時配信が開始された。これにより、日本語と韓国語に対応したほか、より高度な論理的思考や文脈の読み取りが可能となり、なぞなぞなどの曖昧な情報から答えを生成できるようになった。
Googleが開発しているLaMDAは会話に特化したLLMだが、PaLMは会話に加え文章の生成や分類といった能力に長けているより高性能なLLM。性能指標のひとつであるパラメーターの数は5400億で、競合のGPT-3(パラメーター数1750億、後継であるGPT-3.5は3550億)やLLaMA(同650億)、自社のLaMDA(同1370億)と比べると大きく上回る。そのため質疑応答や文脈読解などNLP(自然言語処理)の能力が大幅に向上し、先述のLLMやMetaが開発したLLaMAを上回る性能を獲得しているとGoogleは主張している。また最新版のPaLM2は、100以上の言語に対応したことで、多言語翻訳が可能となった。さらに文脈の読み取りや計算能力、論理的思考などが強化され、ことわざやなぞなぞ、隠喩や慣用句などが理解できるようになったとしている。ただ、パラメーターの増加によって必要処理能力の増大などの課題もあり、その点LLaMAは意図的にパラメーターを減らすことにより単体GPUで動くように設計されている。GPT-3などのLLMに匹敵する性能を持っていることが大学や企業の研究で明らかになっている他、単体GPUで動作するため家庭用PCで運用が可能。