言語処理学会理事会主催 緊急パネル
緊急パネル:ChatGPTで自然言語処理は終わるのか？
● ファシリテーター○ 乾 健太郎 氏（東北大）● パネリスト○ 黒橋 禎夫 氏（京大）○ 相良 美織 氏（バオバブ）○ 佐藤 敏紀 氏（LINE）○ 鈴木 潤 氏 （東北大）○ 谷中 瞳 氏 （東大）
● 3月14(火) 13:10-13:50, H会場（劇場ホール）○ Slack: #0314-1310-緊急パネル-h会場（質問はこちらへ）○ Twitter: #ChatGPTで自然言語処理は終わるのか1

言語処理学会第29回年次大会 (NLP2023)
緊急パネル：ChatGPTで自然言語処理 終わる か？

ChatGPTに関する調査結果
2023.03.14版

東北大学
データ駆動科学・AI教育研究センター
大学院情報科学研究科
鈴木潤●未公開 (2023.03.14 緊急パネル当日現在)

詳細

ChatGPT●

主にOpenAIが公式に公開している文書 (blog記事, 論文,preprint) から得られた情報を掲載●●

作成元である

一部 新聞社 報道記事, ChatGPT 作成に関与したっぽい人
Twitter投稿 など 情報も含む (但し書きあり)

注意点
●

●
●

元 情報源に誤りがある場合もありえる=> 本資料 情報が100%正しいこと 担保 できない
情報 更新が早い で時間とともに正しくなくなるかも憶測など (結果としてそれが事実でも) 含めていない
言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わる

か？ ||| Jun Suzuki ||| 2023.03.14

5

ChatGPT と ？

https://chat.openai.com/chat

一言で言うと●(人間 直感に合う)
対話形式 プロンプトを受け付ける言語モデル●

対話形式 => 暗にマルチターン●「対話(チャット)」に最適化 <=> これまでプロンプトエンジニアリングが可能なことを示唆「文章補完」に最適化

言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理

終わる

か？ ||| Jun Suzuki ||| 2023.03.14

6

なにがすごい？

●モデル/サービス●

ChatGPT●

客観的な評価がないで．．．

すごさ (注目度) を説明する根拠

ChatGPT sets record for fastest-growing user base
(Reuters記事から取得)

http://reuters.com/technology/chatgpt-sets-record-fastest-growing-user-base-analyst-note-2023-02-01/●

月間アクティブユーザー数1億達成：2ヶ月
TikTok9ヶ月●

Instagram
2年半(=> 何かユーザー 心にささった で利用されたと考えられる）
言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わるか？ ||| Jun Suzuki ||| 2023.03.14

7

利用に関して●利用方法：現在大きく3種類●

Webブラウザ経由（無料版）https://chat.openai.com/chat• 2022.11.30 開始●

上

有料版 https://chat.openai.com/chat 最初 左下Upgrade to Plus をクリック• 2023.02.01 開始 月額$20●

API https://openai.com/api/• 2023.03.01 開始 $0.0002 / 1000 token●

データ再利用 規約 https://openai.com/policies/api-data-usage-policies●●

有料版/API モデル 学習に 使われない
但し不正利用や監視目的で一定期間保存 かつ みられる可能性
言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わるか？ ||| Jun Suzuki ||| 2023.03.14

8

ややこしい事情①●

https://platform.openai.com/docs/model-index-for-researchers
https://platform.openai.com/docs/models/

論文で モデル名 と OpenAI APIで モデル名=> 対応しないも を誤用している場合がある
論文

名前で

GPT
GPT-2
GPT-3
CodeX
InstructGPT(ChatGPT)

進化

OpenAI API

名前で進化davinci
code-davinci-002
text-davinci-002 (FeedME)
text-davinci-003 (PPO)
gpt-3.5-turbo (chat optimized)

言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わる

か？ ||| Jun Suzuki ||| 2023.03.14

9強化学習部 ざっくり説明

https://openai.com/blog/chatgpt/

人間が頑張るも● プロンプト作成● いい感じ 出力● 出力 ランキング

モデル学習● SFT (supervised fine tuning)● RM (reward mode)● PPO (proximal policy optimization)
言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わるか？ ||| Jun Suzuki ||| 2023.03.14

10ややこしい事情②
時間と共にどんどん変わる●

リリースノート
https://help.openai.com/en/articles/6825453-chatgpt-release-notes● 1月以降ぐらいからChatGPT分析論文がarXivに多く 投稿○ 例：A Multitask, Multilingual, Multimodal
Evaluation of ChatGPT on Reasoning,
Hallucination, and Interactivity
https://arxiv.org/abs/2302.04023●(注意) 12月から2月まで 検証論文 結果
在 モデルに当て まらない可能性がある
言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理

現終わるか？ ||| Jun Suzuki ||| 2023.03.14

11

Limitations●

https://openai.com/blog/chatgpt/

いいわけ
●
●

もっともらしく聞こえるが不正確/無意味な回答をすることがある
入力された文章 変化に敏感• 少し 変化で全然違うことを言う 答えられたり知らないといったり●●●過剰に冗長な出力を返すことがある
本来曖昧な質問に 質問することが理想だが現状 ユーザー 意図をなんとか推測(?)して回答する
不適切なリクエストを拒否するように工夫しているが有害な入力分に回答してしまうことがある

言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わる

か？ ||| Jun Suzuki ||| 2023.03.14

12

影響/波及効果 使用禁止
●

論文執筆
●

共同声明：「AIツールを論文著者として記載すること できない」

https://publicationethics.org/cope-position-statements/ai-author

●

教育現場
●

●

利用を申告

https://2023.aclweb.org/blog/ACL-2023-policy/

日経新聞 2023.03.06
https://www.nikkei.com/article/DGXZQOGN02EEV0S3A200C2000000/「ChatGPT、米国 学校に波紋「思考奪う」「新潮流」」

企業 (情報漏洩●(参考) ACL-2023：AIアシスタント観点)

日経新聞 2023.03.12
https://www.nikkei.com/article/DGXZQOUC069HD0W3A300C2000000/「ChatGPT 、などが利用制限
ルール作り急ぐ」
言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わる

か？ ||| Jun Suzuki ||| 2023.03.14

13

影響/波及効果 利用促進●

API公開以降ChatGPTを使ったサービスやアプリが多く開発公開されている●

例：Slack連携，Line連携など多すぎるで割愛

言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わる

か？ ||| Jun Suzuki ||| 2023.03.14

14

まとめ●

論文 preprintといった詳細な公開情報が未公開●定量的な評価がまだ不十分●

実社会で実応用が先行して実施

言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わるか？ ||| Jun Suzuki ||| 2023.03.14

15

既知問題

●

情報正確性

●

データ汚染

言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わる

か？ ||| Jun Suzuki ||| 2023.03.14

16

謎そ 1
●

なぜ英語以外言語でもいい感じに動く か？

言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わるか？ ||| Jun Suzuki ||| 2023.03.14

17

謎そ 2
●

なぜ gpt-3.5-turbo
1/10な か?

API料金

言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理

text-davinci-003

終わるか？ ||| Jun Suzuki ||| 2023.03.14

18

謎そ 3
●

「ChatGPT InstructGPTとほぼ同じ処理をしてます」と書いてありますが実際に 人間が感じる出力 良さ 結構違う気もします．そ 違い どこでうまれている か？
●●

強化学習している量が違う？
データ 作り方がたまたまうまくいっている？

言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わるか？ ||| Jun Suzuki ||| 2023.03.14

19

LLM+Instruction tuning 民主化●

動き

OPT-IML: Scaling Language Model Instruction Meta
Learning through the Lens of Generalization
https://arxiv.org/abs/2212.12017●

学習済みモデル●OPT-IML 30B

HuggingFace Model Hub に公開済み

https://huggingface.co/facebook/opt-iml-30b●

175B モデル

リクエストベース (公開されていない)

言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わるか？ ||| Jun Suzuki ||| 2023.03.14

20

LLM+Instruction tuning 民主化●

OpenChatKit https://github.com/togethercomputer/OpenChatKit
●

●

動きデモ

https://huggingface.co/spaces/togethercomputer/OpenChatKit

学習済みモデル●●●20 B Model
4300万インストラクションで学習
HuggingFace Model Hub で公開済み
https://huggingface.co/togethercomputer/GPT-NeoXT-Chat-Base-20B

言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わる

か？ ||| Jun Suzuki ||| 2023.03.14

21

●残り別詳細資料にて

言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わるか？ ||| Jun Suzuki ||| 2023.03.14

22

Special Thanks●Takumi Ito, Hiroto Kurita, Tatsuki Kuribayashi,
Benjamin Heinzerling, Sho Yokoi, Reina Akama, Ikumi Ito, GoroKobayashi, Sosuke Kobayashi, Daiki Shiono,
Subaru Kimura(Tohoku NLP Group)

言語処理学会第29回年次大会 (NLP2023) 緊急パネル：ChatGPTで自然言語処理終わるか？ ||| Jun Suzuki ||| 2023.03.14

23

パネリストから論点共有

ChatGPTで自然言語処理 終わる か？
黒橋 禎夫
京都大学 教授／NII 所長特別補佐（2023/4から NII 所長／京都大学 特定教授）

言語処理学会第 29回年次大会 緊急パネル (2023/03/14)

ChatGPTで自然言語処理 終わる か？

YES
ChatGPT+

旧来NLP

形態素解析、構文解析、省略解析 …
関係抽出、要約、 MT、対話システム …

数年後に 、１年後にも26

新しい自然言語処理
もっと人間や社会へ向かうも• 脳神経科学と 関係• 人 感情• 人 理解、納得、説得• AI Native世代 教育、批判的思考• 情報 信頼性、関係付け（参照）涵養27

そ ために• LLMが完全にオープンであること• また、ChatGPTにおける日本語コーパス 圧倒的に少ない• 日本文化や経済安全保障視点• 良質で十分な日本語テキスト（＋英語テキスト）で学習したオープンな大規模言語モデルを日本が持つ必要性

28

JST 先端科学技術委員会 AI・情報分野委員会 調査・提言•••（とりまとめ 東京大学 川原圭博 教授）

オープンな基盤モデル ビジネス・学術研究・国民生活にも今後大きく影響するも、アカデミアや日本企業単体で 研究開発 厳しい。
基盤モデル 研究環境 (1)モデル研究、 (2)コーパス、 (3)大規模計算基盤、 (4)それを支える多く エンジニア が不可欠。
イノベーションに繋げるに 、 (5)ルール・倫理面で 整理と (6)ビジネス創出・スタートアップ創出・人材育成 も必要。

• コーパスの質と量がモデルの良し悪しを決める• 企業のデータは外に出にくい。
• ヒューマンフィードバックなど新たなアノテーションも必要。

LLM 登場までに 、基本的な深層学習 発展に加え、ブレークスルーに繋がる諸技術が発明され幾つも組み合わさることで進展。

コーパス

モデル

研究

ビジネス創出・スタートアップ支援

整備

AI研究開発と計算基盤

改良・カスタマイズ

ELSI
• 倫理
• ルールメイキング

大規模計算基盤

並列計算・プログラミング
エンジニアリング

活用
ビジネス創出

各種基盤モデル

論文化されない知見蓄積・エンジニア育成
多様な研究

※ 国内

AI・情報研究者数十名へヒアリングをもとに作成• 文章生成（要約、言い換え、情報整理・応答、創作）、 RPA（ロボティック・プロセス・オートメーション）・コンテンツ制作・カスタ
マーサポート

言語モデルに限らず基盤モデル
大きく影響（GPU数万枚規模）

モデル 基礎研究、コンパクト化、マルチモーダル化など多く課題が残る• プロンプトエンジニアリング• 事業ドメインごと ファインチューニング
• 日本語精度向上

他研究分野にも• マテリアルズ・インフォマティクス• オペレーションズ・リサーチ• インタラクション・ロボット• 人文社会科学における分析作業

29

まとめ
• ChatGPTをディスっても仕方がない• 旧来 NLP

終わるが、新しいNLPが始まる（ただしそれをNLPとよぶか ？）• みんなでオープンなLLMを作ろう！

（我が国でも大きなムーブメントとなりつつある）
30

ChatGPT

言語を理解している

谷中 瞳
東京大学大学院情報理工学系研究科講師

か?

構成性と体系性：人間らしい言語理解のキーワード
構成性 (compositionality)
人は任意に与えられた言葉の意味を構成要素に分解し、それらを組み合わせることで理解することができる例）これまでに青色の犬を実際に見たことがなくても、「青色の犬」という言葉がどのようなものを指すのかは「青色」と「犬」という要素に分解して組み合わせることで頭の中でイメージできる。

構成性と体系性：人間らしい言語理解のキーワード
体系性 (systematicity)[Fodor and Pylyshyn,1988]
ある処理ができれば関連した処理もできるという人間の認知能力
80〜90年代にコネクショニズム、現在のニューラルネットを批判する文脈で提起された問題例）John loves Annという文を理解できる人は、Ann loves Johnという文も構成性に基づいて理解できる。

ChatGPTは言葉を体系的に理解できている？

LLM周辺

論点

提供

佐藤 敏紀
LINE株式会社 / Data Scienceセンター/ AI Dev室

言語処理学会第 29回年次大会 緊急パネル (2023/03/14)ChatGPTで自然言語処理 終わる か？
〜ビジネスサイドからみた今後起こり得る変化〜
相良 美織
株式会社バオバブ 代表取締役

言語処理学会第 29回年次大会 緊急パネル (2023/03/14)

●

盛り上がってくる
次 ３つと現時点で 予測○ 1. 自分たちも大規模言語モデル開発しよう○ 2. ChatGPT API使ってなんらか アプリケーション開発・サービス展
開○ 3. 企業がインハウスでChatGPT活用、及び第3者によるコンサルテー
ション●

機械学習やプログラミングなしに自然言語で入力・出力できる画期的。（が、実際に 難しい。なぜなら制限条件を言語化しロジカルに指示を書ける人が一般的に 意外に少ないから）個人的に こ 入力・出力データが自然言語処理 研究に（逆向けに）ゆさぶりをかけ、そしてさらに他 分野（心理など）へ 普及が進め 楽しそう！と考えている

●

データ作成

緊急パネルへ ご参加🌺
ありがとうございました
今夜 参加者交流イベントでもぜひ議論を続けてください！
Slack: #0314-1310-緊急パネル-h会場#ChatGPTで自然言語処理 終わる か