「高度な電卓」としての
人工知能：
生成AIと教育持橋大地
国立 統計数理研究所
daichi@ism.ac.jp
都立小石川中等教育学校PTA
2023-11-11(土)自己紹介
l 持橋大地

国立 統計数理研究所 准教授(立川市)
l 専門：自然言語処理、機械学習、
人工知能– 自然言語処理: 英語や日本語のような言語をコンピュータで扱う分野、計算言語学ともいう– 計量政治学、音楽情報科学、心理統計学、...
などとも共同研究していますl 1973年 横浜生まれ

経歴
l 小石川高校卒業 44期– 合唱部で指揮者でした
l これまで:NAISTの様子– 東大文三入学 ; 文学部進学コース– 教養学部 基礎科学科第二に進学 (理転, 定員2名)– 奈良先端科学技術大学院大学 (NAIST) 大学院に進学 博士(理学)– ATR 音声言語研究所– NTT コミュニケーション科学基礎研究所– 統計数理研究所 (2011年〜)

著書 (大きな書店に置いてあります)小石川SSHでの講演
l 2022年-2023年に、小石川4年生向けにスーパーサイエンスハイスクールの講演をしました
l 「見えないデータを推定する」
http://chasen.org/~daiti-m/paper/
KoishikawaSSH-2023.pdf でスライドを公開「見えないデータ」を推定する
持橋大地
統計数理研究所
daichi@ism.ac.jp
都立小石川中等教育学校SSH
2023-9-6 (水)小石川高校の思い出
l 生徒を紳士として大人扱いし、信頼してくれる伝統
l 制服なしl 自由なカリキュラム (高3は講座制で、ほぼ大学)– 高3では、週3登校で6限のドイツ語だけ来る
クラスメートがいた
l 模試をしない、絶対に校内順位を出さない– 漫画などではよくやっていますが...
– 地味ですが素晴らしい配慮

進学についてl 予備校等は通わず、Z会と月刊『大学への数学』などで勉強
l C組からは東大に学部3人、大学院も含めると5人が進学
à 当時では非常に多い– もし同じ割合なら、学年で27〜45人が進学
実際は学年で10人くらい– 賢いクラスというわけではなく、
学力はむしろブービー賞という噂だった

小石川の思い出 (2)l 小石川では、高三は1月にセンター試験が終わった

後は基本的に休み– 一週間くらいだけ授業があり、参加は自由
l 漢文の三浦先生の最後の授業は先生と生徒4人だけで、教室の真ん中で行い、濃密で非常に高度な授業でした– クラスから出た国立大学准教授3名は、その中に結構含まれていた気がします公立高校と研究者
l 有名な研究者は、公立高校の出身が多い– 日本のノーベル賞28人中25人が公立
l 非常に優秀な人は、公立の出身が多い印象– 県千葉、東葛飾、高岡、岐阜、姫路西、
松山東、戸山、…
l おそらく、尻を叩かない＆周りに合わせず自立する必要があることが原因ではないか今日の予定l 前半：ChatGPTのデモ＆生成AIとは何か

質疑応答 (前半分)l 後半：生成AIと教育
質疑応答 (後半分)

ChatGPTのデモ
l ChatGPT: OpenAI社が2022年11月に公開した

対話型の人工知能 (Artificial Intelligence, AI)
https://chat.openai.com/

Wikipediaには当然あるが、知らないと言っている

??

「も」が一文字多いが、あまり認識していない

渤海使について解答していない

画像生成・音楽生成労働者風元大統領

ゴッホ風道頓堀画像生成・音楽生成
DeepBach (2016年)

生成AIについて

歴史的必然としてのAI
l 社会で解くべき問題が、非常に複雑化– 住民への電子アンケート、1000名分の意見をどうやって要約したらよい？
– この興味深いYouTube動画に、韓国語の字幕をつけたい！
– 部署のWebサイトを公開してセキュリティを維持する方法は？
– 桜新町から新御茶ノ水までの最短経路は？
l Yahoo知恵袋、Stack Overflowなどでの無数のQA
à 自動化しないと手に負えない「生成AI」とこれまでのAI
l 人工知能研究自体は、非常に古くからある– 地下鉄の経路検索アルゴリズムなどが代表例
l これまでのAI：目的が最初から明確– 中国語から英語への機械翻訳– 似た好みを持つ映画の推薦アルゴリズム
l 生成AI：汎用性が高い– 一つの大規模なモデルで、指定した言語にテキストをその場で翻訳 [たとえばヒンディー語]– 普通の言葉で、AIにさせたいことを説明すればよい [専門的には “in-context learning”という]

用語についてl 「生成AI」の特徴は、汎用的であること：「汎用AI」(general-purpose AI)といってもよいl なぜ「生成」？
– この後説明するように、データの生成モデルに基づいた方法のため– 生成モデルなので、データを作り出せるà 言語的応答の生成
à 画像の生成l それまでのAIは、画像àラベルのように人の教えた
正解を学ぶモデルのことが多かった背景の技術的革新
l 〜1990年代：論理とルールによる人工知能– 例外が多数あり、実用的ではなかった
l 2000年代：統計的機械学習の登場– 人工知能の問題を数学的に定式化することで、より広い問題を正確に解くことが可能に– 問題の設計に高度な数学的スキルが必要
l 2010年代：深層学習の登場– ニューラルネットにより、複雑な処理が可能に
l 2022年：対話型人工知能の登場– 言葉で話せば問題を解いてくれるアシスタント

生成AIの中身は？
l 生成AIは、要するに計算機上のプログラム
l 「モデル」とよばれる基本的なアルゴリズムがある• 言語生成Transformer、LSTM• 音楽生成• 画像生成 拡散モデル、畳み込みNN

ChatGPTの中身
ChatGPT ＝ 大規模言語モデル＋
対話チューニングl 言語モデルとは？
l 対話チューニングとは？

言語モデルとは？
アメリカ の 首都 は

「北京と比べると..」

[ ？ ]
確率
ワシントン 0.00128
東部
0.00035北京
0.00002l 言語モデル＝テキストを予測(生成)するモデル
l 予測候補に確率が与えられる– 正解の確率を最大にするように、モデルを学習
l どうやって予測する？

最も簡単な場合: nグラムモデル
アメリカ の 首都 は [ ？ ]ワシントン 14回
東部
3回
北京
1回
l 最も簡単には、“ワシントン”の確率はp(ワシントン|アメリカの首都は)＝14/(14+3+1)＝ 0.777l この3つ以外の候補(たとえば“人口”)もありうる
ため、実際の確率はもっと小さい– こうした確率を精密に求める数学があるnグラムモデルからの生成例

l 持橋 (2007)からの例：森鴎外『舞姫』を学習

Transformer (2017年登場)

岡崎(2023)より引用

l 現在の大規模言語モデルの基本モデル
l 最初に単語をベクトルに変換してから、

注意機構
という

l 次の単語を予測しやすいように以前の単語を重み付け得られた注意機構の例

l 文脈に応じて、it が適切な単語に注意を払っている

注意機構ほかについて
l 実際には、注意機構は複数準備する(たとえば16種類)
à 文法的注意、意味的注意、知識的注意などが自動的に学習される
l 単語の順番を考慮するため、位置符号化という連続値を単語に与える
l 最終的なニューラルネットワークは、超複雑に単語のベクトル化
l これらはすべて、内部的には単語を

実数のベクトルとして表現・処理しています– ベクトル＝数値の集まり (数百個くらい)– 「単語埋め込み」ともいわれる(x3 , y3 )(x2 , y2 )<latexit sha1_base64="i9bVmXmqORMN6w3/LWox3ZAZ6s4=">AAAHa3ichZXPTxNBFMcfoBTxByAXox6ITQkmppm2JhpPoJJIIKS0FtoAaTrLbN10f2V3W/oj/Qe8evCgHjTxYPwzvPgPeOBPMMYTJl48+HZ2m227D9imnZn3Pt/X92ZmZ7ita67H2MnE5NSly9OJmSuzV69dvzE3v3Bz17WajiJKiqVbTpnXXKFrpih5mqeLsu2ImsF1sccbz3z/Xks4rmaZL72OLQ6NWt3UVE2peWiqrLSruQedau5+dT7J0kw+S/FOJuwkIXzy1sLUMhzAEVigQBMMEGCCh30dauDiZx8ywMBG2yH00OZgT5N+AX2YRW0TKYFEDa0N/K3jaD+0mjj2Y7pSreC/6Ph1ULkEKfaDfWGn7Dv7yn6yf2fG6skYfi4dbHmgFXZ17vWt4t8LVQa2HryKVOcoONLn1+SBCo9lLRrWZkuLX6USxG91354WnxRSvWX2if3C+j6yE/YNKzRbf5TPO6LwTkY/Qo2KbQtbBZI4wz0cDTLl6OtJaz/MJuLbBNkmuA7BdQiuS3BdgjsmuGOCUwlOJbgGwTUIbo3g1ghug+A2CG6T4DYJrkxwZYKrEFyF4BjBsRjHw/X19yG1rjxc18AfX08ud/HALwi/gTs2Ig7kOE7ZmKM2wgUWinRjpEuSfm4e1j/MDmxx2p+lAT+siOx9QqXLd56jZVw37KGU+VjF+TMqLqK1LldymI6sccXWSFaRZmssp2HVdpi/gj4dT5btGLE+tqM4jtdjVIGgCjHquTxtkpCVtIrns3/uBas5OPGDPIJTifZk/bh4/2TGb5t4ZzebzuTS2Z2HydWn4U00A3fgHqxg/EewCi9w/kuYgwFv4D18mP6dWEzcTtwN0MmJULMII08i9R/siIP7</latexit><latexit sha1_base64="U4U3YPcOUjgA3sqwXWWmHkTXPEw=">AAAHa3ichZXNbtNAEMenLTSlfLSlFwQcKqJURULRxiCBOLVAJapWVZqQNlFbRba7DlYc27KdNB/KC3DlwAE4gMQB8RhceAEOfQSEOBWJCwfGa0dOstPiKNndmd9/MrO73tVcy/QDxk4mJqcuXJxOzVyavXzl6rW5+YXru77T9HRe0h3L8cqa6nPLtHkpMAOLl12Pqw3N4nta/Wno32txzzcd+0XQcflhQ63ZpmHqaoCmykq7qtzrVJW71fk0yzLxLMmdXNxJQ/zknYWpZTiAI3BAhyY0gIMNAfYtUMHHzz7kgIGLtkPooc3Dnin8HPowi9omUhwJFa11/K3haD+22jgOY/pCreO/WPj1ULkEGfadfWan7Bv7wn6wv2fG6okYYS4dbLVIy93q3KsbxT//VTWwDeBlojpHoSF9fk0BGPBI1GJiba6whFXqUfxW981p8XEh01tmH9lPrO8DO2FfsUK79Vv/tMMLb0X0I9QY2Law1SGNM9zD0SBTDX09Ye3H2SR8myDbBNchuA7BdQmuS3DHBHdMcAbBGQRXJ7g6wa0R3BrBbRDcBsFtEtwmwZUJrkxwFYKrEBwjOCZxWry+4T6k1lWL1zXyy+upiV088HPC38AdmxAHYixTLuZojnCRhSJ9ifRJMswtwPqH2YFNpsNZGvDDisTeJ1SWeOc1tIzrhj2UMi9VnD+j4iJaa2Ilh+nEKiu2RrJKNFtjOQ2rtuP8dfRZeLJsS8T62I7ScLwuUQWCKkjUM3HapEERtIHnc3juRas5OPGjPKJTifYoYVy8f3Ljt43c2VWyuftZZedBevVJfBPNwC24AysY/yGswnOc/xLm0IDX8A7eT/9KLaZupm5H6ORErFmEkSeV+QfehIP5</latexit>

“原子力”

“ポチ”

“犬” = (x1 , y1 )y1<latexit sha1_base64="hy/MFDZKFq9qrC1Pi872ojQ2hjA=">AAAHbHichZXPaxNBFMdfW21q/dFWPQhFKIaGChJmo6AIQqsWLC0lTUyb2pawu52NSza7y+4mzQ/yD3gWPIiCggfxz/DiP+Chf4IIXip48eDb2Q2bZF7rhmRm3vt8X96bmZ3RXMv0A8aOx8Ynzp2fTE1dmL546fKVmdm5q9u+0/B0XtIdy/HKmupzy7R5KTADi5ddj6t1zeI7Wu1J6N9pcs83Hft50Hb5QV2t2qZh6mqAphePlloV5U67otyuzKZZlolnQe4ocScN8ZN35iYysA+H4IAODagDBxsC7Fuggo+fPVCAgYu2A+iizcOeKfwcejCN2gZSHAkVrTX8reJoL7baOA5j+kKt479Y+PVQuQCL7Dv7zE7YN/aF/WB/T43VFTHCXNrYapGWu5WZVzeKf/6rqmMbwMtEdYZCQ/rsmgIw4IGoxcTaXGEJq9Sj+M3Om5Piw8JiN8M+sp9Y3wd2zL5ihXbzt/5pixfeiuiHqDGwbWKrQxpnuIujfqYa+rrC2ouzSfgWQbYIrk1wbYLrEFyH4I4I7ojgDIIzCK5GcDWCWyG4FYJbI7g1glsnuHWCKxNcmeB2CW6X4BjBMYnT4vUN9yG1rlq8rpFfXk9N7OK+nxP+Ou7YhNgXY5lyMUdziIssFOlLpE+SYW4B1j/I9m0yHc5Snx9UJPYeobLEO6+hZVQ36KGUeani/CkVF9FaFSs5SCdWWbExlFWi2RjJaVC1Geevo8/Ck2VTIlZHdpSG41WJKhBUQaKeitMmDTlBG3g+h+detJr9Ez/KIzqVaE8ujIv3jzJ628id7VxWuZvNbd1LLz+Ob6IpmIdbsITx78MyPMP5L2EONryGd/B+8lfqemo+dTNCx8dizTUYelKZf6f1hD4=</latexit><latexit sha1_base64="m6kC/l6C7jyfGD7T3c1x1gmgVDA=">AAAHZXichZVBTxNBFMcfoBRRBNQYEw8SG4inZraaaDyBSiKBkNJaKAHS7CyzddPt7mZ3W2ibfgETr3LwpIkH48fw4hfwwCcwxiMmXjz4dnabbTsP3Kadmfd+/9f3ZmZnuGdbQcjY6dj4xKXLk5mpK9NXr81cn52bv7EduE3fEGXDtV2/wvVA2JYjyqEV2qLi+UJvcFvs8PrzyL/TEn5guc6rsO2Jg4ZecyzTMvQQTaV2VavOZVmOyWdB7WhJJwvJU3DnJ5ZgHw7BBQOa0AABDoTYt0GHAD97oAEDD20H0EWbjz1L+gX0YBq1TaQEEjpa6/hbw9FeYnVwHMUMpNrAf7Hx66NyARbZd/aZnbFv7Av7yf6eG6srY0S5tLHlsVZ41dk3d0p//qtqYBvC61R1gYIjfXFNIZjwRNZiYW2etERVGnH8VufkrPS0uNhdYh/ZL6zvAztlX7FCp/Xb+LQliu9l9EPUmNi2sDUgizPcxVE/U46+rrT2kmxS/pggjwmuTXBtgusQXIfgjgjuiOBMgjMJrk5wdYJbIbgVglsjuDWCWye4dYKrEFyF4HYJbpfgGMExhePJ+kb7kFpXnqxr7FfXk8td3PcLwt/AHZsS+3KsUh7maA1xsYUiA4UMSDLKLcT6B9m+TaWjWerzg4rU3iNUtnznOVpGdYMeSllQKi6cU3EJrTW5koN0alUVG0NZpZqNkZwGVZtJ/gb6bDxZNhVidWRHcRyvKlSRoIoK9UKeNlnIS9rE8zk69+LV7J/4cR7xqUR78lFcvH+00dtG7Wznc9rDXH7rUXb5WXITTcFduA8PMP5jWIaXOP9lzKEGb+EdnEz+yMxkbmVux+j4WKK5CUNP5t4/JoCCNg==</latexit>0x1<latexit sha1_base64="HEw7b8vMzH1qejvjxAKvcEA62ZE=">AAAHZXichZXPTxNBFMcfoBQRBNQYEw8SGoinZlpNNJ5AJZFASGktlABpdpbZuul2d7O7Lf2R/gMmXuXgSRMPxj/Di/+AB/4CYzxi4sWDb2e32bbzwG3amXnv8319b2Z2hruW6QeMnY2NT1y5OpmaujZ9fWb2xtz8ws1d32l4uijpjuV4Za75wjJtUQrMwBJl1xNanVtij9eeh/69pvB807FfBW1XHNW1qm0apq4FaCq2KtnKfJplmHwW1U427qQhfvLOwsQKHMIxOKBDA+ogwIYA+xZo4OPnALLAwEXbEXTR5mHPlH4BPZhGbQMpgYSG1hr+VnF0EFttHIcxfanW8V8s/HqoXIRl9p19ZufsG/vCfrK/F8bqyhhhLm1seaQVbmXuzd3in/+q6tgG8DpRXaLgSF9eUwAGPJG1mFibKy1hlXoUv9k5PS8+LSx3V9hH9gvr+8DO2Fes0G7+1j/tiMJ7Gf0YNQa2TWx1SOMMd3HUz5SjryutvTibhG8RZIvg2gTXJrgOwXUI7oTgTgjOIDiD4GoEVyO4NYJbI7gNgtsguE2C2yS4MsGVCW6f4PYJjhEcUzger2+4D6l15fG6Rn51PbncxX2/IPx13LEJcSjHKuVijuYQF1ko0ldInyTD3AKsf5Dt21Q6nKU+P6hI7D1CZcl3nqNlVDfooZR5peL8BRUX0VqVKzlIJ1ZVsTWUVaLZGslpULUd56+jz8KTZVsh1kd2FMfxukIVCKqgUC/kaZOGnKQNPJ/Dcy9azf6JH+URnUq0JxfGxfsnO3rbqJ3dXCb7MJPbeZRefRbfRFNwD5bgAcZ/DKvwEue/hDlU4S28g9PJH6nZ1O3UnQgdH4s1t2DoSd3/Bx9/gjU=</latexit>

学習された単語ベクトル (一部)
ディレクター [0.0015758 -0.15125 0.21817 -0.12623 0.13215 0.10187
0.080754 -0.024508 -0.048359 -0.13401 -0.14256 0.083109 0.30153.. -0.077481 -0.15859 0.1278 0.028061 -0.15356 -0.11111 0.29463]
幕下 [-0.18127 -0.16785 0.0039202 0.17829 -0.21384 0.094747
0.29718 0.5263 -0.30177 0.11019 0.16902 -0.30849 -0.19053 -0.11944.. 0.093231 0.87569 0.025137 0.0011367 -0.025216 -0.12178 0.1811]
正義 [0.002604 0.00062024 -0.025644 -0.082722 0.077728 0.0087165
0.049547 -0.025976 -0.095092 -0.067749 0.013562 0.060091 0.053064].. 0.0228 -0.041253 0.1974 -0.10254 -0.029888 0.033918 0.21347
静岡 [0.039938 0.10639 -0.021873 -0.014316 0.015339 0.044891
0.0024299 -0.0086346 -0.054358 -0.022956 -0.058226 -0.011501.. -0.005193 -0.081363 -0.033958 -0.058588 -0.080491 0.09922]
高まる [0.036186 0.033845 -0.018044 -0.034166 -0.021112 0.0028494
0.12283 -0.090323 -0.029995 0.037449 -0.030411 0.014132 0.040336.. 0.00908 0.0084737 -0.007582 -0.14347 0.029086 0.14277 0.11097]

単語ベクトルの分布 (英語)l 300次元の単語ベクトルの上位1000語
を、t-SNEで2次元に描画l 意味的な
かたまりがみられる単語ベクトルの分布 (拡大図)単語の類似度の計算
l 単語ベクトルが似ていれば、意味が似ている→ ベクトルの角度を比べれば、意味の似ている
単語がわかる% similar.py model 静岡
静岡 -> 1.0000
滋賀 -> 0.8056
島根 -> 0.7873
岐阜 -> 0.7834
神奈川 -> 0.7770
大分 -> 0.7758
山梨 -> 0.7742
岡山 -> 0.7680
鳥取 -> 0.7622 ...

% similar.py model 正義
正義 -> 1.0000
幸福 -> 0.7800
唱え -> 0.7677
なき -> 0.7549
理想 -> 0.7538
われわれ -> 0.7431
信じる -> 0.7320
連帯 -> 0.7303
観 -> 0.7095 ...

オーストリア -> 0.5114
ハンブルク -> 0.5023
プラハ -> 0.4984
近郊 -> 0.4964

即位 -> 0.5201
称号 -> 0.5180
王妃 -> 0.5170
王位 -> 0.5095

単語の「比例関係」の計算
~ ~

~ ~

こちらも, 学習するテキストを増やすとより正確になります ∗70 . こうした単l 単語ベクトルの間には、 a : b = c : d

語ベクトルの演算はすべて, 単語ベクトルの長さを 1 に規格化した上で行ってい<latexit sha1_base64="ygm76h2lhst1sDWZUG/C7kedCos=">AAAIEXichZXPaxNBFMdfWzW1/miqF8FLMUQ8hUkUlYLQqAVLS0kT06Y0JexsJ+2STXbZ3fxc9h/w6sGDJwUR8S/wJnoRxKNK/wTxWMGLB9/ObsiPfWl3SXbmvc/37XszOzPc1DXbYexoanrmzNlzsdnzcxcuXro8H1+4smUbTUsVRdXQDavEFVvoWkMUHc3RRcm0hFLnutjmtUe+f7slLFszGk+drin26spBQ6tqquKgqRLPlltCdZWy1dSFy0zHc9Opu6LjeUvSwb0H8qlOAva9SjzBUkxei9FGOmwkILxyxsJMGcqwDwao0IQ6CGiAg20dFLDx3oU0MDDRtgcu2ixsadIvwIM51DaREkgoaK3h/wH2dkNrA/t+TFuqVXyLjj8LlYuQZN/ZO3bMvrD37Bf7NzGWK2P4uXTxyQOtMCvzz64V/p6qquPTgcOB6gQFR/rkmhyown1Zi4a1mdLiV6kG8Vu9F8eFpXzSvcles99Y3yt2xD5jhY3WH/XNpsi/xOhJOd4CI5WhhU8VEjjGLvb6uXL0udLqhfkM+FGFIfsW3hrmeIhqRfYMaE+M0CHe1SG4LsF1Ca5HcD2CaxNcm+CqBFclOJvgbIKrEVyN4LIElyW4VYJbJbg1glsjuBLBlQhuh+B2CI4RHItwPPwO/G+emn8ezn/gj847lyum7xeEv46rY0CUZT9KmZijNsIFFoq0I6RNkn5u/koYZvu2KO2PUp8fVgzsHqHS5f7C0TKuG/ZQylyk4tyEigtyVdfHKhlYo4r1kawGmvWxnIZVG2H+Kvp03MU2IsTK2BfFsb8SofIElY9Qj+WulICMpKu4V/l7bDCb/dMlyCPYvWhPxo+LZ116/GSLNrYyqfTtVGbzTmL5YXjqzcJ1uAG3MP49WIYnOP5FzOEtfIMf8DP2PPYh9jH2KUCnp0LNVRi5Yl//A7m0s4I=</latexit>の関係が成り立つことが知られているる (単位超球面上のベクトルとして計算を行っている) ことに注意してください.

contrast (vectors9,"日本", "東京", "フランス")⇒ パリ -> 0.5812
リヨン -> 0.5394
マルセイユ -> 0.5321
トゥールーズ -> 0.5123
ニース -> 0.5098
ストラスブール -> 0.4985
ナント -> 0.4955
ディジョン -> 0.4722
ブリュッセル -> 0.4655
ボルドー -> 0.4468
マドリード -> 0.4367

contrast (vectors9,"日本", "聖子", "アメリカ")⇒ リンダ -> 0.4708
ジャネット -> 0.4679
マライア -> 0.4667
マリリン -> 0.4603
ジョニー -> 0.4508
ビリー -> 0.4478
テイラー -> 0.4402
ロジャー -> 0.4344
パウエル -> 0.4299
タウンゼント -> 0.4274
ディーン -> 0.4265∗70 松田聖子に対応するアメリカの歌手として一位になった “リンダ” は, 形態素解析の都合で切れていますが, 「リンダ・ロンシュタット」のことではないかと考えられます.

Transformerのポイント
l 動作は、すべて確率をもとに動いている– 実際に生成された言葉以外にも、二番目、三番目、…に確率が高い候補がいつも存在l 言葉は数値(ベクトル)で表現されている– 意味が似た言葉は、似たベクトル– 数値が少し違うと、全然違う言葉の確率が高くなることがある

対話チューニングとは？
l 実際のChatGPTの動作は、質問に対して適切に応答しているようにみえる– 偶然ではなく、人間がそう設計している

対話チューニングの例

岡崎(2023)より引用※ プロンプト＝言語モデルへの指示

学習に使われているデータ
l 2020年のGPT-3の場合、データの種類

単語数

全体での割合Web上のテキスト

4100億語 60%

WebText2データセット

190億語 22%

Books1データセット

120億語 8%Books2データセット

550億語 8%

Wikipedia全体

30億語 3%– データ量は圧縮状態で45TB (45,000GB)、
約5000億語(トークン)– 現在のモデルは、さらに大量のテキストを使用

QA (1)
Ｑ: ChatGPTはなぜ間違うのか？
Ａ:– ChatGPTは、「知識」と「言葉」を区別していない– 大雑把にいうと、「雰囲気」で理解している– 論文の検索など専門的な領域では、結果を出す
際に根拠も含めて出力するモデルもある(Microsoft Bingなどは、一般的な質問にも根拠を出して答える)– 正しく答える方法は、研究が進められている

QA (2)
Ｑ: 同じことを聞いていても答えが違うのはなぜか?
Ａ:– 言葉は数値で表されているので、ちょっとした差で出力が違うことがある– むしろ、機械が言葉の意味が「同じであること」
をこれだけ理解している方が不思議– 実際に何が起こっているかは、専門家にもほとんどわかっていないQA (3)
Ｑ: 文系学部に進んだ場合、数学・統計学・情報学のリテラシーを適宜習得していくことは可能？
Ａ:– ある程度はできるが、初歩的なレベル以上に行くのは難しい– 経済学部以外で高度な数学を使えているのは、観察範囲では東大文Iの最上位層など、ごく一部• 注: 文Iに合格するには、数学が相当できる必要– ただし、歴史や文学に興味のある人が全員理系に行く必要はないのではないか(難しい問題)QA (4)
Ｑ: AIに関連する職につくために、適した大学や学部学科の特色はある?
Ａ:– 今の中高生が社会に出るころには、「AI」は当たり前になっている可能性が高い– 「データサイエンス学部」はあるが、各分野に吸収される可能性があり、むしろ望ましい• 滋賀大学データサイエンス学部• 横浜市立大学データサイエンス学部• 東京大学工学部計数工学科、京都大学工学部
情報学科数理工学コース (本丸)

生成AIと教育

生成AIについての疑問
l 生成AIは、最終的にどうなるのか？

人間を超えるのか？
l 生成AIとどう付き合っていけばいいいのか？
l 生成AIがあれば学力は不要なのか？

見たような風景？
l AIについて、同じような懸念が最近あった à 将棋AIl 将棋棋士はいらなくなるのでは..？
l ゲームAIの歴史– 1997年: IBMのDeep Blueがチェス世界チャンピオンに勝利– 2012年: 電王戦で将棋AIが米長邦雄に勝利– 2016年: GoogleのAlphaGoが囲碁トップのイ・セドルに勝利

AIと将棋l 人間は将棋を指さなくなったか？à No!
l 将棋界は、何事もなかったかのように存在
l 将棋のように勝敗が客観的に決まる人工的なゲーム

でさえ、人が指す意味は失われていない– 自動車と100m走の関係– AI同士の対戦
à 人間には理解できない「天上の棋譜」に意味があるか？

将棋AIの限界
角換わり戦法についての
藤井・豊島の意見(水匠＝将棋AI)

l NHK “将棋フォーカス” 2023年9月3日「AI研究が変えていく戦法」
l 人間は直感で手を捨てることで、機械より深く読めている可能性があるコンパイラとAI
l コンピュータは、二進数の機械語しか理解しない– “01101 01111” à「レジスタAXに15を足す」
l 通常は、人間はプログラミング言語でプログラム
を書き、コンパイラとよばれるプログラムで機械語に変換する
doublehpy̲probability (int w, ngram *node, hpy̲parameter *param){
double c; restaurant *word;
if ((word = find̲word̲id (node->words, w)) == NULL)
c = 0;else
c = word->ncounts - param->d[l] * word->ntables;
return (c + (param->theta[l] + param->d[l] * node->ntables)* hpy̲probability(w, node->parent, param))/ (node->ncounts + param->theta[l]);}à “11001011 0100..”

コンパイラとAI (2)l コンパイラは、かつて人工知能だと思われていたà 理論の進展により、プログラミング言語が
文脈自由文法(CFG)で表現できることがわかり、
曖昧性のない実行が可能に
l 同様に、いま摩訶不思議な人工知能と思われているものも、動作原理がわかると当たり前の道具になる可能電子レンジの例
l 昔、最初に電子レンジが出たころ、– これで何でもできる！
– 調理は不要！
何でも自動的に作ってくれる！
といった広告があった

電子レンジの例 (2)←「至高のもやし
炒め」
もやしとラード
を事前にレンジでチンするのがポイントl 今はどうなっているか？

à 非常に便利な道具の一つ
l 電子レンジがないと難しいレシピも現れてきているここまでのまとめ
l 社会の複雑化と技術の進歩により、必然的に生成AIは生まれたl さらに科学が進歩して、内部原理が解き明かされると、生成AIは電子レンジや電卓のように当たり前になる可能性がある
l AIがいくら賢くても、将棋のように人間が考える
意味は変わらないこれまでとの違い
l AIの動作は固定ではなく、学習できる

AIと人間の共進化– 将棋ではすでに行われて当たり前になっている(例: elmo囲い)
l ただし、AIは人間が設計したものなので、一定の限界がある

AIは人間を超えるか？
l AIが自分のプログラムを自分で書き換えて、「進化」したとする
手塚治虫『火の鳥』
人間はそのAIの言うことをより、人工知能
受け入れるか？
ハレルヤ
l 完全なる独裁者– これを防ぐために、自由主義が生まれたはず– 人間はAIを妄信せず、理解の及ぶ範囲に止めるはず (ただし、共進化することはある)

AIが得意なこと、人間が得意なこと
l AIが得意なこと：– 大量のデータ処理– 思い込みのない判断
l 人間が得意なこと：– 個別の品質の向上(絵、小説、政策)– 社会的経験を踏まえた、新しいアイデアl 共進化ができるとよい(AIの助けがないとできない判断)

AIが陥りやすい危険l 差別的バイアスの増幅– 職業の男女イメージ、人種差別など
データに存在するバイアスを再生産してしまう
l 小さいが重要なデータ (意見など) の見落とし
l 重要な言葉の翻訳漏れ
l ...
– これらはもちろん対策の研究が進んでいるQA (5)
Ｑ: 人がプログラミングをしないで、AIを使って自動化する方法はあるのでしょうか？
Ａ:– 実際にその方向に進みつつあり、多くの人が使っているVisual Studio CodeにはCo-Pilotが搭載されている– ただし、生成されたコードを理解できる必要がある– コードを理解せず、そのまま信じるのはあまりに危険例: ビット演算
a = “¥1¥2¥3¥010¥6¥4¥011__¥7¥5”[n*0x5300000>>28]；

l は、n=2aについてaを一瞬で返すC言語のコード– n=4ならa=2, n=512ならa=9, ... を短縮表記– 数学的には、「M系列」という理論が基礎
l これをAIが返したときに、そのまま使ってよいか？
l 上は極端な例だが、「文系だからプログラミングを理解しないでよい」ということにはならない

雑談l 森毅 (数学者/京大名誉教授)によると、数学の試験における「伝説の良問」は問題とその解答をすべて示した上で、「この解答から本質的に重要な3行を選べ」という問題、とのこと– 選ぶだけでなく、理由を書くことにしてもよい– 理解の深さが問われる!

ChatGPTでの例
l ChatGPTですら、プログラミングを理解してAIの裏の動作を考えれば、できることが広がる

https://zenn.dev/u̲u/articles/54902c757ffce5 より中高生は生成AIを使ってよい?
l 個人レベルでは、どんどん使ったらよいと思う– ただし管理上は困るため、学校で禁止するのは一定の理由がある
l むしろ、AIの穴をどんどん発見してほしいl AIを補助にして、自分の理解力・想像力を発達させていって欲しい全体のまとめl AIは「高度な電卓」のようなもので、人間の補助
l 確率をベースにして動作しており、常に完全ではないので、間違うことも多々ある
l 人間が考えることを捨ててAIの結果を妄信しない
限り、支配される心配はない– AIの内部動作がどうなっているかは、「知性の構造」を明らかにすることと等しく、非常に興味深い研究テーマ(自然言語処理もその一部)