ChatGPT「さくっと」とは？
興味のある分野について、さくさくと勉強が進むように作成された調べ方ガイド（パスファインダー）です。
みなさんの学習支援を行う図書館学生サポーターが作成しました。
ぜひ学習の際に参考にしてください。

図書館学生サポーター 城間

はじめにChatGPTとは、OpenAIによって開発された大規模言語モデルの一種であり、圧倒的な対話能力、問題解決力を持った技術・サービスです。ChatGPT公開後わずか２ヶ月で全世界での利用者数が1億人に達し、社会を変革しうる技術として注目されています。今回は、そのChatGPTの仕組みについて迫ります。
ChatGPTを学ぶために① ChatGPTのための深層学習基礎知識編
ChatGPTは、深層学習に関する様々な技術が組み合わさったものです。
ChatGPTについての理解を深めるためには、それら要素技術についてある程度知っていると分かりやすいです。ここでは、まず深層学習について説明し、そこからChatGPTの要素技術の中でも特に重要な「Transformer」、「事前学習・転移学習」について説明します。
GPTの主な技術構成

GPT深層学習

ChatGPT

Transformer

事前学習・転移学習

深層学習
深層学習とは、人間が行う、物体を認識することや文字を読むことなどのタスクをコンピュータで再現する機械学習と呼ばれる技術の一種です。深層学習は、人の神経細胞であるニューロンを模した人口ニューロンを複数繋げたニューラルネットワークが基本となっており、特にニューラルネットワークを多数繋げたものを深層学習モデ
ルといいます。

Transformer
Transformerとは、自然言語処理の分野で大きな成果を上げている深層学習モデルです。2017年に発表された「Attention Is All You Need」という論文の中で初めて登場しました（論文の詳細は参考文献参照）。このモデルの特徴は「SelfAttention機構」と呼ばれる構造です。この構造により文中の単語間の関係性を数値化することで、より高精度な文章理解を行うことが可能になります。応用分野も幅広く、機械翻訳や文章生成など様々なタスクで成功を収めています。

事前学習・転移学習
深層学習のモデルは、特定のタスクが解けるように学習を行うのですが、十分な能力を得るためにはとても時間がかかります。そのため、事前に大量のデータで学習を行わせたモデルを使ってタスクを解かせる方法があります。また、事前学習したモデルに対して比較的少量の新しいデータを用いて別のタスクに適用することを転移学習（Fine tuning）といいます。

ChatGPTを学ぶために② GPTとChatGPT

GPT
GPTとは、（Generative Pretrained Transformer）の略で、Transformerがベースになっている大規模事前学習を行った生成モデルです。上二つの技術を元に、生成タスクを解くような仕組みになっています。文章を生成するとき、入力された文章から次に来るべき単語を予測します。予測には、文法が正しいかや文脈にあっているかなどが評価され、確率的に生成されます。さらに、ユーザーは生成された文章を制御するために様々なテクニックを使うことができます。例えば、あるキャラク
ターの口調に似せたりすることが可能です。

ChatGPT
ChatGPTは、名前の通りGPTを対話タスク用に特化させたモデルとなっています。訓練に使うデータには対話データを用いています。また、ChatGPTでは人間のフィードバックを活用してモデルを学習するReinforcement Learning HumanFeedback（RLHF）という技術も組み込んでおり、この技術によってモデルが差別的・攻撃的な発言をしない、人に寄り添った対話を行うことができるようになります。
ChatGPTに関するキーワード
機械学習、深層学習、自然言語処理、大規模言語モデル
学習のために①①一般向けに書かれた本
大規模言語モデルは新たな知能か――ChatGPTが変えた世界 (岩波科学ライブラリー) 岩波書店
• 岡野原大輔著• ISBN: 9784000297196• 請求記号 戸畑：408 I-3 319 飯塚：408 I-2 319• 資料ID 戸畑：001117891 飯塚：006088196
ChatGPTに関する動向と仕組みが数式なしで解説されています。今回の記事をより詳しく知りたい方にピッタリです。

学習のために②②学び初めにお勧めの本
ディープラーニングG (ジェネラリスト) 検定公式テキスト 翔泳社• 浅川伸一 [ほか] 著• ISBN：9784798157559• 請求記号 戸畑：548.91 A-20 飯塚：548-91 A-33
• 資料ID 戸畑：001109577 飯塚：006079087
ChatGPTを勉強する前に、深層学習についての知識をある程度知っておくと理解が深まると思います。ディープラーニング協会が実施しているG検定では、AIに関する基本的な概念を学べるので、初学者の方にピッタリです。

③理解を深めるための本・論文など
ソフトウェア開発にChatGPTは使えるのか? : 設計からコーディングまでAIの限界を探る 技術評論社• 小野哲著• ISBN：9784297136154• 請求記号 戸畑：549.963 O67 飯塚：549.963 O67• 資料ID 戸畑：001117946
飯塚：006088383
ChatGPTの、特にプログラミングでの活用に書かれた本です。ChatGPTにコードを生成してもらうことやドキュメントを自動生成してもらうことなどが書かれています。また、LangChainと呼ばれるChatGPTの機能を拡張するために必要なライブ
ラリの使い方も掲載されているので、ChatGPTで何か作りたい方にピッタリです。

④最新情報が確認できる資料・サイトなど
IBIS2023チュートリアル「大規模言語モデル活用技術の最前線」稲葉道将
https://speakerdeck.com/1never/ibis2023tiyutoriaru-da-gui-moyan-yu-moderuhuo-yong-ji-shu-nozui-qian-xian
2023年10月29日に開催された学会で発表された資料です。ChatGPTについての活用技術が紹介されています。ChatGPTの中身を知らなくても使えるノウハウが多くあるので、要チェックです。

⑤その他辞書・じてん・ハンドブック・有用なツール・Webサイト等「ChatGPT」って何？ ～いまからでも大丈夫！ 初心者にもよくわかる基本解説！
【レビュー】 - 窓の杜. （2023/11/15参照）
https://forest.watch.impress.co.jp/docs/review/1499657.html

関連する研究室・個人・団体
東京大学 松尾研究室
毎年夏に深層学習に関する外部向けの無料講座を開催しています。今年は大規模言語モデル（LLM）に関する講座でした。
参考文献⚫ 大規模言語モデルは新たな知能か――ChatGPTが変えた世界 (岩波科学ライブラリー) 岡野原大輔著 岩波書店
⚫ ChatGPT https://chat.openai.com/ （2023/11/02 アクセス）⚫ Ashish et al. Attention is all you need. Advances in Neural
Information Processing Systems 30 (NIPS 2017)
PDF
https://proceedings.neurips.cc/paper_files/paper/2017/file/3f
5ee243547dee91fbd053c1c4a845aa-Paper.pdf

Web解説記事 Ellery. Attention Is All You Needを解説する①. 株式会社SOARIG ブログ （2023/11/22アクセス）
https://www.soarig.co.jp/post/%E8%AB%96%E6%96%87%E8%A7%A3%E8%AA%AC-attention-is-all-youneed%E3%82%92%E8%A7%A3%E8%AA%AC%E3%81%99%E
3%82%8B