0から学んだLLM ~GW 1週間の学習記録~

# はじめに
本記事はLLMについてGW（ゴールデンウイーク）期間の **5/1~5/6** で私が学んだことをアウトプットする記事です。

そのため**正確な理解・説明でない場合や不十分である可能性があります。**
もしもご参考になる場合は十分にご注意いただくようお願いいたします。

今回の学習のゴール設定としては**自分の想像したFinetuning手法を実装できるようになる土台を作ることにあります。**（当然のことながら精度は求めてません。もちろん精度が上がる個人的手法を偶然にでも見つけることができたなら非常にハッピーですが、1週間程度の期間では非現実的です。）

まず初めに、今回の学習にとって必要不可欠であった書籍・動画について感謝を述べると同時にご紹介させていただきます。

### [Build a Large Language Model (From Scratch)](https://www.amazon.co.jp/-/en/Sebastian-Raschka/dp/1633437167)
[日本語版はこちら](https://www.amazon.co.jp/%E3%81%A4%E3%81%8F%E3%82%8A%E3%81%AA%E3%81%8C%E3%82%89%E5%AD%A6%E3%81%B6%EF%BC%81LLM-Compass-Books%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BA-Sebastian-Raschka/dp/4839987807)

本書籍は*Sebastian Raschka*氏によって書かれた書籍です。
はじめにLLMとその歴史、Transformerアーキテクチャについて詳しく解説があり、次いでGPT-2を例としたDecoderモデルの概要・作成手順、最後にFinetuningの手法について非常に細かく解説があります。
本書籍の素晴らしい点はいくつもありますが、個人的に最も素晴らしいと思った部分は**細かく分割された段階的説明**がされていることです。
そのためよく目にするネット上のTransformer・Decoderについての説明では、例えば「Masked Multi-Head Attentionを通って、正規化して・・・」のような説明であり、初学者の身からするとかなり複雑で難しく、理解をするまでに大量の時間を要します。（それらの説明が良くないという訳ではありません。むしろ専門的な知識を有する方にとっては簡潔で分かりやすい可能性があります。）
一方で本書籍では下記の様な流れを追ってMulti-Head Attentionについて説明がなされます。
```mermaid
flowchart LR
    A[単純化されたSelf-Attention] --> B[Self-Attention] --> 
    C[Causal Attention] --> D[Multi-Head Attention]
```
更に付けくわてこれらの各ステップごとに実装されるPytorchのコードもあり、体系的に内部で何が行われているのかを学ぶことができます。

### [Building LLMs from scratch](https://www.youtube.com/watch?v=Xpr8D6LeAtw&list=PLPTV0NXA_ZSgsLAr8YCgCwhPIJNNtexWu)
本Youtube動画は、先ほどの書籍を参考に*Raj Dandekar*氏が説明する*Vizuara*チームの作成した動画です。
この動画も初学者に対して分かりやすく体系立てて作成されており、再生リスト自体は約40本存在しますが苦にならない動画です。
書籍と併用して進めると、より解像度が高く理解を深めることができるかと思います。
特に最近ではYoutubeの動画にも自動翻訳機能が付き、ある程度日本語での理解も可能なため初学者でも十分についていける内容になっています。

# おことわり
前書きにも記載させていただきましたが、本記事は私の学習の記録をアウトプットしたものになっています。
そのため各説明は**正確な理解・説明でない場合や不十分である可能性があります。**
また、本記事を見ればLLMについて深く理解できるものでもなく「こういう勉強方法もあるんだな」くらいの感覚でご覧いただければと思います。

# 目次
<dl>
  <dt>1. 学習を始めた背景</dt>  
  <dt>2. 重要な用語</dt>  
  <dt>3. Nishika主催のトレーニングコンペでFinetuning練習</dt>
  <dt>4. 終わりに</dt>
</dl>


# 1. 学習を始めた背景
私が本学習を始めた理由はLLMについてきちんと理解したいと思ったからです。  

初めてLLMに触れたのは今から約1年前の2-3月ごろであり、当時はTransformerについてどころかモデルの名前（GPT, llamaなど）も、プロンプトという用語の名前も知らないところからスタートしました。（ChatGPTすらほとんど触れたこともありませんでした。）

最初は教えて頂いた Langchain からスタートし、2ヶ月ほどしたころには**何となく触れる状態**になっていました。（例えば、文字列埋め込んで検索かければ類似度が出るんだなぁくらいです。）

それから数か月経ち、業務内外で何度かLLMについて説明をする機会はあり、そこで初めて自分は**LLMについてではなくLLMの使い方しか学んでいない**ことに気づきます。

これらが（もちろんまだ理由はありますが長くなるため割愛）本学習をスタートした背景になります。
もっと自信を持ってLLMを説明したいというのが私の1つのモチベーションです。

# 重要な用語
LLMについて理解するために特に重要な用語をいくつか列挙します。
ここでは詳細な説明は特に行いません。
仮に書くとなっても最初にご紹介した書籍や動画の劣化版コピペになる可能性が高いためです。

しかし、以下に列挙する用語を理解できると多くのネット上の記事や論文で何が言いたいかというのがよりハッキリと理解できる様になると思います。

#### Transformerアーキテクチャ
(最近ではTransformerと書くとライブラリと混同しがちなので、ここではアーキテクチャを付けてます。)

Google DeepResearchが発表した[Attention Is All You Need](https://arxiv.org/abs/1706.03762)という論文で紹介されたアーキテクチャです。
現在存在する多くの生成AIモデルはこのアーキテクチャを参考にしています。
現時点で178,000回の引用がされているようです。
[Google Scholarで被引用数をご確認ください！](https://scholar.google.com/scholar?hl=ja&as_sdt=0%2C5&q=attention+is+all+you+need&btnG=&oq=attention+is)

#### Encoderモデル（アーキテクチャ）
TransformerアーキテクチャのEncoder部分のみを採用したアーキテクチャです。代表的なモデルにはBERTがあり、よくBERT系列という呼び方を見ることもあるかと思います。

基本的な学習時には文章全体の内、一部分のトークンをMASK化という処理を行い、そこに入るトークンを予測する学習を行います。

このモデルの大きな特徴**は文章全体を見て予測する**というアプローチを取ることにあります。
したがって感情分類などの次のトークンを予測する必要はなく、文全体を俯瞰して判断する必要性があるときに本領発揮します。

#### Decoderモデル（アーキテクチャ）
TransformerアーキテクチャのDecoder部分のみを採用したアーキテクチャです。代表的なモデルにはGPTがあり、よくGPT系列という呼び方を見ることもあるかと思います。

Encoderモデルとは違って**次に来るトークンを予測する**というアプローチをとります。
基本的な学習時には、1トークン生成させ、またそれをインプットに付け足して学習させ・・・という学習方法を行います。モデルが出力したトークンを再び学習の為にインプットさせる手法のため**自己回帰型**とも呼ばれます。

このように学習したDecoderモデルは次に来るトークンを予測することが得意な為、ChatGPTのようなチャット型モデルによく使用されます。

-----
例えば、How are you ? という文章がある場合

|Input|Output|
|---|---|
|How|are|
|How are|you|
|How are you|?|

--> How are you ?

-----

#### Attention機構
LLMが文脈の理解を行う為に必要な重要な機構です。
よくある例として、英単語の**bank**を使用します。

この**bank**と言う単語は「銀行」と言う意味と「土手・岸」という意味を持ちますが、この単語1つだけでは現在使われている**bank**がどんな意味なのかを知ることは出来ません。前後の文章があって初めて意味を持ちます。

----
- The bank of the river. (岸)
- Money in the bank. (お金)
----

Attention機構ではsequenceから、Q,K,Vを算出・利用して最終的な各単語のAttention Scoreを算出し、このスコアが単語間の関連性を表すことにより、その単語の意味を取得します。
* Q = クエリースコア
* K = キースコア
* V = バリュースコア

ちなみにこのQ,K,Vの考え方はデータベース理論から来ており、Qが現在注目しているトークン、Kが検索をかけるトークン、Vがそれに対応する値という意味合いだそうです。

#### Embedding（埋め込み・埋め込み表現）
Embeddingとは各トークンを高次元ベクトル上に配置することです。
この配置される位置は各トークンの意味に基づいており、近しい意味を持つトークンは近しい座標に配置されます。

このEmbeddingによってモデルは各トークンの持つ意味やその近しさを得ることができます。

この部分についてより詳しく知りたい方はCohereの[LLM University](https://cohere.com/llmu/sentence-word-embeddings)のEmbeddingについての記事をご参照ください。

#### Attention Mask
Attention Maskは学習時にLLMに渡したくない部分をマスクする（隠す）ために使用されるものです。
基本的には(0/1)テンソルです。

このテンソルはAttentionの重みに対して使用され、Encoderモデルの場合はPaddingなどで付け足した本文ではない部分、Decoderモデルの場合はモデルにとって未来部分をマスクさせるために使用されます。

この部分についての正確かつ簡単な説明は私には難しいため紹介までに留めて、割愛をさせていただきます。
参考書籍のCausal Attentionの部分では、図や具体例、実装コードを使用して詳細に解説されている為、そちらをご参照ください。


# 3. Nishika主催のトレーニングコンペでFinetuning練習
これまで学習した内容を活かして、Nishikaのトレーニングコンペを使用してFTの練習を行います。
Nishikaのコンペサイトはこちらです。

[[Training] AIは芥川龍之介を見分けられるのか？](https://competition.nishika.com/competitions/akutagawa_pra/summary)


:::note warn
既にお分かりかと思いますが、本記事内の内容だけではFinetuningを行うには知識不足です。
これを実施するためには最初に記載した参考書籍や動画、ネット上の記事（HuggingFaceなど）などを参考に学習する必要性があります。
:::


#### コンペ概要
このコンペでは与えられた小説の内容から、その小説の作者が**芥川龍之介**なのか**それ以外**なのかを0,1で分類するコンペです。

データには小説本文とlabelだけがある、とてもシンプルな内容です。


#### 方針概要
今回はあくまでもFinetuningの基本的な方法を学ぶことに念頭を置いています。
したがって精度を求める為にハイパーパラメーターのチューニングなどは行っておらず、最低限必要な内容のみをまとめています。

環境はGoogle Colabです。


## やってみる
https://colab.research.google.com/drive/1WLPqkVtmyY7AX3vEGR7ax8vJa4ihCWS8?usp=sharing
#### 1. ファイルのセット
まずはGoogle Drive上に必要なファイルを揃えます。

1. **akutagawa**という名前のフォルダーを作成します。
1. Nishikaのサイトからデータをダウンロードします。
1. akutagawa配下に**data**という名前のフォルダーを作成し、データを入れます。
1. akutagawa配下にColab Notebookを作成し任意の名前を付けます（例えば First_FT.ipynb ）。

akutagawa配下は以下の様な構造になっているかと思います。

```
.
├── First_FT.ipynb
└── data
    ├── train.csv
    ├── test.csv
    └── sample_submission.csv
```


#### 2. Notebook内環境を整える
Google ColabではNotebook内での環境をランタイムを起動する度に整える必要性があります。

1. Notebookを起動する前にランタイムをT4 GPUに設定しておきます。（私はPROですが、無料ユーザーでも扱えると思います）
1. Google Driveをマウントし、akutagawa配下に移動します。
    ```python
    import os
    from google.colab import drive

    drive.mount('/content/drive')
    os.chdir('/content/drive/My Drive/akutagawa')

    !pwd
    ```
    
1. 必要なパッケージをインストールします。
    ```python
    !pip install -qU datasets evaluate
    !pip install ipadic fugashi unidic_lite
    ```

#### データを用意する
モデルを訓練するために使用するデータを用意します。
ここでの目的は基本的なFT手法を学ぶことにあるため、EDA（探索的データ分析）や前処理と言ったような事前に行うべき一連の処理を省いています。
また、使用するデータ量も削減して実行していることにご注意ください。

1. データを読み込む
    ```python
    import pandas as pd
    
    df = pd.read_csv('data/train.csv')
    df.head()
    ```
1. Datasetを作成する
    datasetsライブラリのDatasetを作成します。これを使用することで後のデータ処理が高速になります。詳しい内容は[HuggingFaceのドキュメント](https://huggingface.co/docs/datasets/about_arrow)をご参照ください。
    ```python
    from datasets import Dataset
    
    train_json = {
        "context": list(df.body),
        "label": list(df.author)
        }
    
    dataset = Dataset.from_dict(train_json)
    
    print(type(dataset))
    # 期待される出力例: <class 'datasets.arrow_dataset.Dataset'>
    ```

1. データ量を減らす（今回は精度は求めていないので）
    ```python
    seed = 22 # シード値

    # 300件に削減
    dataset = dataset.shuffle(seed=seed).select(range(300))
    ```

#### Token化処理
1. Tokenizerをロードします。
    今回は**bert-base-japanese**を使用します。
    ```python
    from transformers import AutoTokenizer

    model_name = "cl-tohoku/bert-base-japanese"
    
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    ```
  
1. tokenizeする関数を作成し、datasetsのmap関数でトークン化処理を行います。
    ```python
    def tokenize_function(examples): # examplesはDatasetの各要素
        return tokenizer(
            examples["context"], # 先ほど作成したDatasetを思い出してください。contextには小説本文が入っています。
            padding="max_length", # Padding（埋め合わせ）をtoknizerの最大長に合わせます。（BERTは 512 ）
            truncation=True, # 切り捨てを行います。
            )
        
    # Datasetではmap()を使用することで高速に処理することが可能です。
    train_tokenized = dataset.map(tokenize_function, batched=True)
    
    print(len(train_tokenized))
    ```

1. 訓練用と検証用に分けておきます。
    ```python
    # 訓練用と検証用に分割します。
    # これは必須の処理ではないですが訓練の改善点を見つける為に重要な処理です。
    # pandas Dataframeと同じようにtrain_test_splitが扱えます。

    splited_tokenized_dataset = train_tokenized.train_test_split(test_size=0.2, seed=seed)
    train_tokenized = splited_tokenized_dataset["train"]
    eval_tokenized = splited_tokenized_dataset["test"]

    print(len(train_tokenized))
    print(len(eval_tokenized))
    ```

#### 事前学習済みモデルのロード
FTを行う事前学習済みモデルをロードします。
前ステップでロードしたTokenizerのモデル名と同じであることに注意します。
```python
import torch
from transformers import AutoModelForSequenceClassification

device = "cuda" if torch.cuda.is_available() else "cpu"


model = AutoModelForSequenceClassification.from_pretrained(
    model_name,
    num_labels=2, # 今回は2値分類
    device_map=device
    )
```

#### Training Argumentsの作成
今回のFTではTrainerを使用します。
Trainerに渡すTraining Argumentsの作成を行います。

1. 評価メトリクスを設定する
    ```python
    import numpy as np
    import evaluate
    
    # 評価メトリクスを作成します。
    # 今回はf1を使用します。
    
    metric = evaluate.load("f1")
    
    def compute_metrics(eval_pred):
        logits, labels = eval_pred # 評価データに対するモデルの予測結果と正解ラベルを取得
        predictions = np.argmax(logits, axis=-1) # 最も予測確率の高いlogitのインデックスを取得する
        return metric.compute(predictions=predictions, references=labels) # 計算
    ```

1. TrainingArgumentsを設定する
    ```python
    from transformers import TrainingArguments

    training_output_dir = "/tmp/test_trainer" # 訓練内容の保存先 Path
    
    training_args = TrainingArguments( 
        output_dir=training_output_dir,
        eval_strategy="steps",
        per_device_train_batch_size=8,
        per_device_eval_batch_size=8,
        logging_steps=10,
        num_train_epochs=3,
        report_to="none",
        max_steps=500, # 最大ステップ数
        save_steps=250,
        load_best_model_at_end=True,
        metric_for_best_model="f1", # f1スコアが最も良い状態の物を選択する
        )
    ```

#### Trainerを作成
Trainerを作成します。
今回はearly atopを使用していること注意してください。
```python
from transformers import EarlyStoppingCallback, Trainer

    trainer = Trainer(
        model=model,
        args=training_args,
        train_dataset=train_tokenized,
        eval_dataset=eval_tokenized,
        compute_metrics=compute_metrics,
        callbacks=[EarlyStoppingCallback(early_stopping_patience=50)], # early stop
        )
```

#### Trainerによる訓練

Trainer.train()を実行することで訓練が開始されます。
```python
trainer.train()
```


#### モデルを保存
最後にモデルを保存します。
trainer.save_model()を使用します。
```python
save_models_path = "./My_model/First_FT" # モデルの情報の保存先
trainer.save_model(save_models_path)
```

## テストデータを予測
せっかくコンペのデータを使用して練習をしているので、精度は求めていませんがテストデータを予測して提出までやっていきたいと思います。

まずはテストデータをロード -> トークン化までは訓練同様です。
こうして得られたtokenizedデータセットをtrainer.prediction()に入れてあげることでテストデータに対するlogitsを得られます。

```python
test_df = pd.read_csv('data/test.csv')

test_json = {
    "context": list(test_df.body)
    }

test_dataset = Dataset.from_dict(test_json)

test_tokenized = test_dataset.map(tokenize_function, batched=True)

predictions = trainer.predict(test_tokenized)

# モデルの予測 (logits) から最も確率の高いクラスIDを取得
preds = np.argmax(predictions.predictions, axis=-1)

# submitするファイルを作成します。
submit_sample = pd.read_csv('data/sample_submission.csv')
submit_sample["author"] = preds
submit_sample.head()

submit_sample.to_csv("My-first-submit.csv", index=False)
```

#### 結果を見てみる
さて、気になる提出結果ですが下記のようになっています。

![スクリーンショット 2025-05-09 013052.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3491855/4a288507-71e0-4398-802e-b1ed55ce38e0.png)


精度は悪いですが、目的であるFTは無事に行われていそうです。


# 4. おわりに
本記事では私の学習内容のアウトプットを行い、簡単なFinetuningまで行いました。
ここからは精度や効率をより高めるためにデータをよく調べることや、カスタムアーキテクチャを実装するなどまだまだやるべきこと、学ぶべきことは多くあります。

しかし、LLMの裏側を理解し基本的なFinetuningの手法を学んだことで今までモヤモヤしていた部分が多少なりとも晴れ、以前よりも解像度高くネット上の多くの素晴らしい記事や論文見ることができるようになりました。

ここまで読んでくださった読者の皆様にとってLLMについての学習の1つの指針になることができれば幸いです。


# 参考
1. [Build a Large Language Model (From Scratch)](https://www.amazon.co.jp/-/en/Sebastian-Raschka/dp/1633437167)
1. [Building LLMs from scratch](https://www.youtube.com/watch?v=Xpr8D6LeAtw&list=PLPTV0NXA_ZSgsLAr8YCgCwhPIJNNtexWu)
1. [LLM University](https://cohere.com/llmu)
1. [AI SHIFT Kaggleで学んだBERTをfine-tuningする際のTips②〜精度改善編〜](https://www.ai-shift.co.jp/techblog/2145)
1. [Learn PyTorch for Deep Learning: Zero to Mastery book](https://www.learnpytorch.io/)
1. [HuggingFace LLM Cource]()