言語処理100本ノック(2020)-77: ミニバッチ化(TensorFlow)

[言語処理100本ノック 2020 (Rev2)](https://nlp100.github.io/ja/)の[「第8章: ニューラルネット」](https://nlp100.github.io/ja/ch08.html)の[77本目「ミニバッチ化」](https://nlp100.github.io/ja/ch08.html#77-%E3%83%9F%E3%83%8B%E3%83%90%E3%83%83%E3%83%81%E5%8C%96)記録です。バッチサイズの値で精度が変わることもあって意外と侮れないという記憶があります。プログラムの課題としては非常に簡単。
[記事「まとめ: 言語処理100本ノックで学べることと成果」](https://qiita.com/FukuharaYohei/items/6f0af3c4e270d8af2d99)に[言語処理100本ノック 2015](http://www.cl.ecei.tohoku.ac.jp/nlp100/)についてはまとめていますが、追加で差分の[言語処理100本ノック 2020 (Rev2)](https://nlp100.github.io/ja/)についても更新します。

# 参考リンク

|リンク|備考|
|:--|:--|
|[77_ミニバッチ化.ipynb](https://github.com/YoheiFukuhara/nlp100-2020/blob/main/08.%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88/77_%E3%83%9F%E3%83%8B%E3%83%90%E3%83%83%E3%83%81%E5%8C%96.ipynb)|回答プログラムのGitHubリンク|
|[言語処理100本ノック 2020 第8章: ニューラルネット](https://qiita.com/nymwa/items/9c8484ff511123e03ba8)|(PyTorchだけど)解き方の参考|
|[【言語処理100本ノック 2020】第8章: ニューラルネット](https://qiita.com/yamaru/items/b54989d772c4323bde69)|(PyTorchだけど)解き方の参考|
|[まとめ: 言語処理100本ノックで学べることと成果](https://qiita.com/FukuharaYohei/items/6f0af3c4e270d8af2d99)|言語処理100本ノックまとめ記事|

# 環境
後々GPUを使わないと厳しいので、Goolge Colaboratory使いました。Pythonやそのパッケージでより新しいバージョンありますが、新機能使っていないので、プリインストールされているものをそのまま使っています。

|種類|バージョン|内容|
|:--|:--|:--|
|Python|3.7.12|Google Colaboratoryのバージョン|
|google|2.0.3|Google Driveのマウントに使用|
|tensorflow|2.6.0|ディープラーニングの主要処理|

# [第8章: ニューラルネット](https://nlp100.github.io/ja/ch08.html)
## 学習内容
> 深層学習フレームワークの使い方を学び，ニューラルネットワークに基づくカテゴリ分類を実装します．

## ノック内容
> 第6章で取り組んだニュース記事のカテゴリ分類を題材として，ニューラルネットワークでカテゴリ分類モデルを実装する．なお，この章ではPyTorch, TensorFlow, Chainerなどの機械学習プラットフォームを活用せよ．

### [77. ミニバッチ化](https://nlp100.github.io/ja/ch08.html#77-%E3%83%9F%E3%83%8B%E3%83%90%E3%83%83%E3%83%81%E5%8C%96)
> 問題76のコードを改変し，B事例ごとに損失・勾配を計算し，行列Wの値を更新せよ（ミニバッチ化）．Bの値を1,2,4,8,…と変化させながら，1エポックの学習に要する時間を比較せよ．

# 回答
## 回答結果
学習時に時間を出してくれています。

```:結果
Batch Size: 1
10684/10684 [==============================] - 34s 3ms/step - loss: 0.6843 - acc: 0.7841 - val_loss: 0.5251 - val_acc: 0.8151
INFO:tensorflow:Assets written to: ./tmp/01-0.53/assets
Batch Size: 2
5342/5342 [==============================] - 18s 3ms/step - loss: 0.4889 - acc: 0.8316 - val_loss: 0.4714 - val_acc: 0.8376
INFO:tensorflow:Assets written to: ./tmp/01-0.47/assets
Batch Size: 4
2671/2671 [==============================] - 10s 4ms/step - loss: 0.4527 - acc: 0.8498 - val_loss: 0.4526 - val_acc: 0.8466
INFO:tensorflow:Assets written to: ./tmp/01-0.45/assets
Batch Size: 8
1336/1336 [==============================] - 5s 4ms/step - loss: 0.4386 - acc: 0.8548 - val_loss: 0.4446 - val_acc: 0.8481
INFO:tensorflow:Assets written to: ./tmp/01-0.44/assets
Batch Size: 16
668/668 [==============================] - 3s 5ms/step - loss: 0.4323 - acc: 0.8575 - val_loss: 0.4409 - val_acc: 0.8540
INFO:tensorflow:Assets written to: ./tmp/01-0.44/assets
Batch Size: 32
334/334 [==============================] - 2s 6ms/step - loss: 0.4294 - acc: 0.8589 - val_loss: 0.4391 - val_acc: 0.8540
INFO:tensorflow:Assets written to: ./tmp/01-0.44/assets
Batch Size: 64
167/167 [==============================] - 2s 9ms/step - loss: 0.4279 - acc: 0.8593 - val_loss: 0.4382 - val_acc: 0.8548
INFO:tensorflow:Assets written to: ./tmp/01-0.44/assets
Batch Size: 128
84/84 [==============================] - 1s 15ms/step - loss: 0.4272 - acc: 0.8597 - val_loss: 0.4378 - val_acc: 0.8555
INFO:tensorflow:Assets written to: ./tmp/01-0.44/assets
```

## 回答プログラム [77_ミニバッチ化.ipynb](https://github.com/YoheiFukuhara/nlp100-2020/blob/main/08.%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88/77_%E3%83%9F%E3%83%8B%E3%83%90%E3%83%83%E3%83%81%E5%8C%96.ipynb)
GitHubには確認用コードも含めていますが、ここには必要なものだけ載せています。

```python
import tensorflow as tf
from google.colab import drive

drive.mount('/content/drive')
LOG_DIR = './logs'

%load_ext tensorboard

def _parse_function(example_proto):
    # 特徴の記述
    feature_description = {
        'title': tf.io.FixedLenFeature([], tf.string),
        'category': tf.io.FixedLenFeature([], tf.string)}
  
  # 上記の記述を使って入力の tf.Example を処理
    features = tf.io.parse_single_example(example_proto, feature_description)
    X = tf.io.decode_raw(features['title'], tf.float32)
    y = tf.io.decode_raw(features['category'], tf.int32)
    return X, y

BASE_PATH = '/content/drive/MyDrive/ColabNotebooks/ML/NLP100_2020/08.NeuralNetworks/'

def get_dataset(file_name):
    ds_raw = tf.data.TFRecordDataset(BASE_PATH+file_name+'.tfrecord')

    #shuffleはここを見て理解。データ件数取る方法がわからず、1000件に設定
    #https://qiita.com/exy81/items/d1388f6f02a11c8f1d7e
    #return ds_raw.map(_parse_function).shuffle(1000).batch(32)
    return ds_raw.map(_parse_function).shuffle(1000)

train_ds = get_dataset('train')
valid_ds = get_dataset('valid')

model = tf.keras.Sequential(
    [tf.keras.layers.Dense(
        4, activation='softmax', input_dim=300, use_bias=False, kernel_initializer='random_uniform') ])
model.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['acc'])

%tensorboard --logdir $LOG_DIR

callbacks = []
callbacks.append(tf.keras.callbacks.TensorBoard(log_dir=LOG_DIR))
callbacks.append(tf.keras.callbacks.ModelCheckpoint('./tmp/{epoch:02d}-{val_loss:.2f}'))

for i in range(8):
    batch_size = 2 ** i
    print('Batch Size:', batch_size)
    model.fit(train_ds.batch(batch_size), 
              epochs=1, 
              validation_data=valid_ds.batch(batch_size), 
              callbacks=callbacks)
```

## 回答解説
### データセット取得関数
データセット取得する関数で、今まではバッチサイズを32で固定化して渡していましたが、その部分を除外。

```python:
def get_dataset(file_name):
    ds_raw = tf.data.TFRecordDataset(BASE_PATH+file_name+'.tfrecord')

    #return ds_raw.map(_parse_function).shuffle(1000).batch(32)
    return ds_raw.map(_parse_function).shuffle(1000)
```

### 学習時
学習時に`batch`関数を使ってバッチサイズを渡します。

```python:
for i in range(8):
    batch_size = 2 ** i
    print('Batch Size:', batch_size)
    model.fit(train_ds.batch(batch_size), 
              epochs=1, 
              validation_data=valid_ds.batch(batch_size), 
              callbacks=callbacks)
```