GPT-3から我々は何を学べばいいのか
What we learn from advent of GPT-3

言語商会

山本代表

和英

豊橋技術科学大学大学院工学研究科博士後期課程システム情報工学専攻修了。博士（工学 )。1996 年～ 2005 年株
式会社国際電気通信基礎技術研究所（ATR)、2002 年～ 2020 年長岡技術科学大学、2020 年から言語商会（個人事業者 )。自然言語処理のコンサルタント及び研究開発に従事。
yamamoto@jnlp.org

1

Renard Hodges. “But it turns out that they’re

はじめに

actually from another dimension, and they were

本稿では、今年の自然言語処理界隈で大きな話題とtrapped here after their portal closed.”

なった GPT-3 について議論する。はじめに、GPT-3

The herd, which has been estimated to be inの概略を紹介した上で、GPT-3 が自然言語処理産業にthe hundreds, are being held captive by the Inca

どのような影響を与えるかについて考察する。そして、

tribe who discovered them. The tribe believes

今後も続くであろうこのようなシステムについて、産業

the unicorns are their ancestors, and will release

界としてどのように解釈したらいいのかについて私見を

them only if they’re given vast quantities of述べる。

money and alcohol.

2020 年６月にアメリカ・サンフランシスコの非営“We don’t have much choice,” said Hodges. “Ifという言語モデルの API

we don’t give them what they want, the unicorns

利組織 OpenAI が GPT-3［1］を限定公開した。この API は、英単語や短いテキスト

will kill us all.”を入力すると、入力に関連したそれらしいテキストを自When asked if the team was afraid of the動で生成し、出力する。この API が公開されると、多unicorns, Hodges said, “We have absolutely

くの開発者がこの API を使ったデモサイトを公開した。

nothing to fear. Our armor is made from the

例 え ば、［2］ に よ れ ば、 下 記 の 入 力 テ キ ス ト をfinest titanium.”

GPT-3 に与えることでこのような出力が得られたと報また、別のサイト 1 では、任意の英単語を URL に付告している。

加してアクセスすると以下のようにその単語に関連のあ（入力テキスト）

短いテキストと言うる短いテキストの出力が得られる 2。

In a shocking finding, scientist discovered a

よりは、格言、あるいはツイート風の短文と呼んだほう

herd of unicorns living in a remote, previouslyがいいかもしれないが、こちらも驚くほど自然な出力とunexplored valley, in the Andes Mountains. Even

なっている。

more surprising to the researchers was the factthat the unicorns spoke perfect English.
（出力テキスト）“At first we thought they were just very goodat speaking English,” said team leader Dr.

332

1

https://thoughts.sushant-kumar.com/

2

私が試したところ、同じ URL で繰り返しアクセスすると異なる出力結果が得られた。また、日本の地名などあまりコーパスに高頻度で出現しないと思われる英単語を入力すると、入力とあまり関係のないテキストが出力された。ただしこの場合も文としては流暢である。

（入力単語：microsoft)“Bill Gates wishes he’d gotten［Vista］right.

2

GPT-3 の発表は多くの人を熱狂させ、ブログや技術

I got beaten by［Windows 7］before it evencame out. It’s my competitive advantage—

one year delay.”

GPT-3 の特徴と問題点

記事、Twitter で多くの人が言及した。日本でもかなりの人が GPT-3 について述べていたが、聞くところによるとアメリカではさらに多くの反響があったようだ。哲（入力単語：chicken)

学者が GPT-3 についてどう考えているのかといった記“When the chicken is out in the yard, it’s a事［3］ まで登場したのを見ると、ニューラルネットワー

wrong answer. When the chicken is in theクを用いた機械翻訳（NMT) が出現した時と一般の反応

coop, he is back to being a right answer.”が似ている気がする。
反響の中には、GPT-3 を劇的な進化と呼ぶ人もいまた、この API を使って文章を生成するだけでなく、た［4］。この記事にあるように、GPT-3 の登場によってプログラムコードや楽譜を自動的に生成したとするデモ

自然言語処理で小論文や業務レポートを代筆することがサイトも登場して多くの人を驚かせた。プログラムコーできるようになったかのような印象を受けた人も多かっ

ドの出力については、自然言語を入力するとソースコーたように思う。
確かに、前述したようなきれいな英文が自動で出力段として使えるのではないかと指摘する声も見られた。

されることは驚きだが、その一方で、私の知る限り日本

GPT-3 は Web サ イ ト か ら 数 年 に わ た っ て 収 集 しの自然言語処理関連の研究者の反応は比較的冷静に見えた Common Crawl と い う デ ー タ セ ッ ト を 使 っ て いる。私もその一人だが、一般の反応にあるような、自然る。このコーパスは 45TB のサイズがあり、ここから言語処理で劇的な進化が起こったと考えている研究者

570GB を抜粋してモデルの学習に使っている。このはそれほど多くないようだ。これは GPT-3 の開発者に規模は、Wikipedia 全英語テキストの約 130 倍であり、とっても同様の認識のようで、OpenAI の CEO である抜粋であっても相当な規模である。このデータセットを

Sam Altman 氏は Twitter で「GPT-3 には限界があり、用いて、ある単語列に後続する単語を予測するという方3と言っている。
深刻な弱点もある」

法（自己回帰型言語モデル）で教師なし学習を繰り返す

GPT-3 の最大の特徴はモデルがとにかく巨大であることで言語モデルを学習している。後述するようにシスということである。このことは、図１に示す通りモデルテムは最大で 1750 億もの膨大なパラメータを持ち、が有するパラメータ数を比較するとよく分かる。2018

各パラメータは膨大な計算によって調整されていく。最終的に得られたパラメータ群に基づいてテキストの生成を行う。

3

https://twitter.com/sama/status/
1284922296348454913

図１ 言語モデルのパラメータ数比較（https://towardsdatascience.com/gpt-3-the-new-mighty-language-model-from-openai-a74ff35346fc より引用）

YEAR BOOK 2O2O 333

5

産業日本語関連ドが得られるということで効率的なプログラミングの手

年の GPT（初代）のパラメータ数は 1.1 億、GPT-2

識を保持してはいない。ただし、膨大な規模のコーパスは 15 億なのに対し、前述したとおり GPT-3 のパラメー中には「キリンの目は二つ」といった常識の断片が膨大タ数は最大で 1750 億と一気に GPT-2 の 100 倍以に含まれている可能性が高く、GPT-3 はそれら常識を上に増大しており、これは BERT や ROBERTa など他モデルのパラメータ調整の形で獲得していると解釈するの言語モデルと比較しても多いのは一目瞭然である。まこともできる。ただし、少なくともそれら常識間にどのた扱う単語（トークン）数も、GPT-2 では 1024 単語ような関係があるかや、調整の結果獲得したパラメータだったのが GPT-3 では 2048 単語に増えている。ま群は何も体系立っていないので、GPT-3 が獲得したもた単語埋め込みのベクトル次元も GPT-2 で 1600 だっのを整理された知識と呼ぶことはできない。

たのが GPT-3 では 12288 になった。さらに、デコー

また、GPT-3 は「空はなぜ青いのか？」のような複ド層が GPT-2 では 48 層だったのが GPT-3 では 96

雑な質問にはうまく答えることができない。さらに、す層となっている。以上のように、GPT-3 では多くの点べてをテキストデータから学習することから、その言語でモデル自身が大規模化している。その一方で、基本的データに含まれているであろう偏見や差別、あるいはな構造は Transformer から変更はなく、GPT-2 をは誤った知識に対しても同様に学習を行ってしまい、何らじめとする従来の言語モデルと比較して画期的な構造のかの仕組みで学習対象から排除するという仕組みは持っ改良があった訳ではない。ていない。

以上のように、GPT-3 はモデルの大規模化を最大のもう一つ、使う側にとって実用上重要な課題はその時特徴にして構築され、その結果テキスト生成分野で大き間的、及び経済的負荷の大きさである。各種の報告によな進展があった。しかしその一方でいくつかの問題点れば、最大規模で GPT-3 を計算するには日本円にしてが指摘されている。これらのうち本質的に重要なのは、約５億円のコストがかかり、仮に１台の GPU でこの計

GPT-3 はコーパス中の言語出力を模倣しているだけで算を行うと約 355 年の計算量が必要だそうだ。また、何ら理解をしておらず、また常識も持っていないという1750 億パラメータのモデルを用いて 100 ページの問題である。

文書を生成するのに、0.4 キロワット時の電力が必要とモデルの構造から明らかなように、GPT-3 はどのよ説明されており、これも実用上は現実的な電力量ではな

うな質問に対しても尤もらしく回答をする。例えば、英い。これらの数値から判断すると、すでに個人や小規模に よ れ ば、How many eyes

事業者が行うことができるシステム規模を超えており、

does a giraffe have? に対しては A giraffe has two

また大企業であってもこの時間的・経済的コストに見合eyes. と正しく回答することができる。これは GPT-3

う出力が得られているとは考えにくい。このことから、に常識があるからではなく、おそらくデータセット中多くの企業にとってはしばらくの間は高みの見物でいいにある程度類似した文が含まれているからだと推察すように思う。ただし、計算コストの問題は継続的に改善る。その一方で、非常識な質問、例えば How manyされる傾向にあるので、その意味では将来的に軽減されeyes does my foot have? という質問をしたとしてていく可能性が高い。

Independent の 記 事［5］も、GPT-3 は Your foot has two eyes. という、一見尤もらしいがナンセンスな回答を出力してしまう。この回答はコーパス中に存在している文とは考えにくいのGPT-3 をどう解釈すべきかで、GPT-3 が本当に文生成をしている証左にもなって最後に、自然言語処理の産業応用の立場から GPT-3いる が、いずれにしても GPT-3 が常識を理解していをどう捉えればいいのかについて考察する。これまでにるとは言えない。

述べてきた通り、GPT-3 は文法的にはほぼ問題ない英4

以上のように、少なくとも GPT-3 は明示的な形で常4334

3

英文法を明示的に教えず膨大な事例のみを与えるだけでGPT-3 が質問の回答方法を完璧に理解していること自体は驚きである。

文を出力することができ、また入力として与えた英文や英単語に関連した文や文章を生成することができる。
n-gram から始まる言語モデルの歴史の中で、常識の欠如を除けばほぼ人間並みの自然な文章を出力することができるようになったという意義は大きく、GPT-3 は言いう需要は大きいと考えられるのでこの方面の発展に期語モデルとして完成に近づいたと言っていいと思う。ま待したい。

た、現在は英語を対象にしているが、膨大な規模の日本語コーパスで同様のことを行えば同様に流暢な日本語文を出力させることはおそらく可能であろう。

4

おわりに

しかし、GPT-3 はあくまでも言語モデルであって言

本稿では GPT-3 という言語モデルについて議論し語生成器ではない。簡単に言えば、GPT-3 は英語の語た。今後おそらく OpenAI や他の大企業からさらに大彙や文法、表現の言い回しなどを習得しただけで、どん規模化、もしくは改良された言語モデルを続々と発表しな内容の文章を書いたらいいかという訓練を行った訳でてくることが予想される。しかし、前章で議論したようはない。あるいは、どんな話題でも適当に話を合わせるに現状の言語モデルは常識を持たず、出力に強い制御をことができるロボットができたというだけで、人間が書かけられないことから直ちに代筆する機械にはなりえいてほしいことをおおまかに伝えたらその内容を文章化ず、このため産業への影響は今のところ軽微ではないかしてくれる訳ではない。このことから、GPT-3 が直ちと考えている。ただしこれら一連の言語モデルがテキスに小論文や業務レポートを書けると考えるのは早計であト校正として使えるようになれば需要は大きいと予想さるように思う。

れるので、今後の進展にぜひ期待したい。

我々は通常、文書作成する際には何か書きたいことが参考文献

計算機に与えることで計算機に「代筆」させたいと我々［1］Tom B. Brown et al. Language Models areは期待するが、今の段階ではこれが可能になったとは思

Few-Shot Learners. arXiv, 2005.14165v4,えない。GPT-3 は入力として英文や英単語を入力させ2020.

るが、これは生成する文章の分野や話題を提示している

https://arxiv.org/abs/2005.14165

だけで、生成する文章についてこれ以上の制御を行って［2］安藤隆史．「GPT-3」は思ってたより「やばい」もいない。すなわち、GPT-3 は生成文章のシナリオを制のだった。話し言葉でプログラミングまでこなす御できず、生成文章について緩い制約のみを与えているAI.

だけである。よって、この話題であればどんな文章でもhttps://cubeglb.com/media/2020/07/22/

いいから書いてほしい、といった特殊な状況を除けば「代gpt-3-gamechanger/筆」の役割は果たしていない。
それでは GPT-3 はただのおもちゃかと言えばそうと［3］Justin Weinberg. Philosophers On GPT-3（updated with replies by GPT-3).

も言い切れない。前述したように生成内容を強く制御でhttp://dailynous.com/2020/07/30/

きないことは、表現の多様性や独創性を生み出す必要

philosophers-gpt-3/

がある創作活動においては逆に利点となり得る。例え［4］小林 雅一．AI の「自然言語処理」技術がここにきば、日本語で言えば短いテキストを生成する創作であて劇的な進化を遂げている .

る俳句、短歌、詩の生成などは大いに可能性があるし、https://gendai.ismedia.jp/articles/-/74699

キャッチコピーの自動生成にも使える可能性がある。ま［5］Adam Smith. GPT-3: ‘MIND-BLOWING’

た、GPT-2 発表の時点から指摘されているように人間

AI TOOL CAN DESIGN WEBSITES ANDと同程度の流暢さを持つダミー文章の生成にも使えるの

PRESCRIBE MEDICINE.

で、ブログやツイートの自動生成に使える可能性が高い。

https://www.independent.co.uk/life-style/

さらに、これだけ強力な言語モデルであるので、工夫

gadgets-and-tech/news/gpt3-ai-tool-をすれば私は文章添削・校正に使える可能性があるよう

designs-websites-medicine-a9627966.htmlに思う。ただしこれには多少の工夫が必要で研究が必要であるが、文章を正しく書く、あるいはきれいに書くとYEAR BOOK 2O2O 335

5

産業日本語関連

明確に、あるいは漠然と持っているはずである。これを