2025年版：大規模言語モデルについて学ぶロードマップ


https://qiita.com/aokikenichi/items/b5b6a400ef0a15c02097

以前これを書きましたがそのUpdate版

```plantuml
@startuml

start
:まずChat系で色々試す;
:生成AIとは;
if (purpose) then (business)
    :社内導入について;
else (engineer)
    :LLMとは;
    switch (purpose)
    case (理論系)
        :ゼロからのTransformer;
        :自然言語処理の教科書;
        :IT TEXT 自然言語処理の基礎;
    case (コード実装系)
        :ゼロから作る
        Deep Learning ❷
        ―自然言語処理編;
        :hugging face 講座; 
        :大規模自然言語処理入門;
        :大規模自然言語処理入門II;
    case (アプリ実装系)
        :N/A;
    endswitch


@enduml
```

# 入門
## まずChat系で色々試す

無料版でも機能が上がってきたので、

ChatGPTでもGeminiでもCopilotでもClaudeでもPerplexityでもGrokでも何でもいいから試せばいいと思う。
OOの目的にはXXがいいとか言うけれどどれもすぐVersionUpするし、そんなのに悩むくらいなら使いましょう。一応よく言われるのが、

|サービス|特徴|
|---|---|
|ChatGPT|万能な優等生型|
|Gemini|検索に強い。Googleサービスとの連携|
|Copilot|Microsoftサービスとの連携|
|Claude|文章表現に強い|
|Perplexity|調査者に強い（と言われてきたが各社Deep Research系が出てきたので微妙か）|
|Grok|Twitter内容を認識できる。無料ながら各社有料モデルに匹敵の性能|

特にこだわりがないなら利用者が一番多いし、情報も一番多いChatGPTをひとまず試せば良いのかなと。それでも悩むというならばGMOさんの

https://tenbin.ai/

があります。無料で、ChatGPT, Gemini,　Claude, Perplexity, DeepSeek, PLaMoの一部有料のモデルも試せる。

習うより慣れろと思いますが、プロンプトをどうしたら、とか悩むならば

https://ascii.jp/serialarticles/3001017/

この記事の内容を試していけばいいと思う。

https://amzn.to/43QGq0G

私は『面倒なことはChatGPTにやらせよう』で本格にChatGPTを始めた。1年前の本にはなっていますが、類書が多数出ているものの痒いところに手が届く丁寧な作りで内容は古びていないと思う。

## 生成AIとは

生成AIの流れとかも抑えておきたいというならば、Microsoftの畠山さんの記事なので、Microsoft Copilotによりますが、Microsoftの

https://speakerdeck.com/dahatake/chatgpt-dezi-fen-noshi-shi-gadoule-sikunarunokawokao-erunetaji-2023nian-12yue-baziyon

がいい。毎月更新しているみたい。関連ドキュメントも参考になる

https://speakerdeck.com/dahatake

# ビジネス利用
## 社内導入について

そんなこんなでChatGPTの話などを社内でしていると、「お前社内導入やれ」なんて無茶振りがくるでしょう。

<a href="https://www.tokyo-cci.or.jp/chusho/tcci_generativeai_guide_for_smes_ver06.pdf" target="_blank"><img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/116049/f4b3b2c2-94aa-42a3-8585-4f9b635ad13f.png"/></a>

がいい。中小企業向けですが、特に中小企業に限らずビジネス用途に必要なことが書かれています。

Geminiの「企業向け Gemini 活用ガイド」

https://cloud.google.com/resources/intl/ja-jp/gemini-handbook-jp-2024?hl=ja

Geminiの「生成AI活用事例集」

https://cloud.google.com/learn/intl/ja-jp/genai-case-study?hl=ja

連絡先登録は必要ですが無料で利用可能です。

書籍ですと、日立さんの

<a href="https://amzn.to/49jTOJT" target="_blank"><img src="https://m.media-amazon.com/images/I/81QdCpTuTWL._SY522_.jpg" width=150 /></a>

が導入に向けての要点などがわかりやすく良いと思います。

# エンジニア向け
## LLMとは

東大松尾研のLLM講座の資料が公開される時がありますが現在は利用不可（2024年度の講座が終わったらまた公開してくれるといいな。

https://weblab.t.u-tokyo.ac.jp/lecture/course-list/large-language-model/

この講座タイトルや講師名でググると結構公開してくださっている資料もありますが、代替としては例えば、

https://speakerdeck.com/kyoun/llm-introduction-ses2023

2023年版にはなりますがNTTさんが公開してくれているこの資料が概要を掴むのには良いかと。

## 理論

まずはTransformerを知りたいですよね。私はこれが一番わかった気がする。Attention Is All You Needを解説した英語記事の和訳。

https://zenn.dev/skypenguins/articles/a7b4cfee63b67c

そして、まずはLLMの基礎として自然言語処理全体について

<a href="https://amzn.to/4heTRe1" target="_blank"><img src="https://m.media-amazon.com/images/I/7124AiSmM9L._SY522_.jpg" width=150/></a>

はこれがわかりやすいと思う。
もう一段踏み込んでガッツリには

<a href="https://amzn.to/3Dy1cHX" target="_blank"><img src="https://m.media-amazon.com/images/I/61+t5UM-NzL._SY522_.jpg" width=150/></a>

が定番ですかね。
大規模言語モデルの理論のテキストって日本語では知りうる限りないので、あとはQiita, Zennあたりの解説記事や論文を読むしか。でも今はChatGPTで論文を翻訳・解説してくれるしね。

## コード実装

<a href="https://amzn.to/4byXURh" target="_blank"><img src="https://m.media-amazon.com/images/I/91mDaVkbmwL._SY522_.jpg" width=150/>

LLMではなく、自然言語処理をDeep Learningでどう扱うか。Transformerの基礎もあるしね。

https://huggingface.co/learn/nlp-course/ja/chapter1/1

Hugging Faceの自然言語処理入門コース。自然言語処理というよりTransformersライブラリの使い方って感じ。ページ作成中や、コードが古いページもあったりだったけれど私が1年くらい前に試したときは。でも無料なのでひとまず試してみたらいいと思う。

<a href="https://amzn.to/41S9NNx" target="_blank"><img src="https://m.media-amazon.com/images/I/91D8pDhoI5L._SY522_.jpg" width=150/></a>

<a href="https://amzn.to/41UT38k" target="_blank"><img src="https://m.media-amazon.com/images/I/81r-rAfx62L._SY522_.jpg" width=150/></a>

Transfomersライブラリ周りを一通り試せる本です。一部有料のAPI利用もありますが、Google Colaboratoryで簡単に試せます。

## アプリ実装系

LangChainなどのところは私がほとんど経験がないので別の方の記事などをあたってください。
一応、

<a href="https://amzn.to/41Pnpcl" target="_blank"><img src="https://m.media-amazon.com/images/I/81rwnwg6fEL._SY522_.jpg" width=150/></a>

を勉強中です。

# その他
## 情報収集

東大松尾研のリサーチャーの方の情報収集記事がQiitaにあったのですが最新版はZennに移ったみたい。

https://zenn.dev/mkj/articles/1357a7ea2970c4

全部だと膨大。研究者じゃなければ全部追う必要はないと思うけれど情報ソースとして。

https://note.com/komori_takuo/n/n8433de4720a0

政府・与党の動向