言語処理100本ノック(2020)-78: GPU上での学習(TensorFlow)

[言語処理100本ノック 2020 (Rev2)](https://nlp100.github.io/ja/)の[「第8章: ニューラルネット」](https://nlp100.github.io/ja/ch08.html)の[78本目「GPU上での学習」](https://nlp100.github.io/ja/ch08.html#78-gpu%E4%B8%8A%E3%81%A7%E3%81%AE%E5%AD%A6%E7%BF%92)記録です。Google Colaboratory使っているので、やり方は非常に簡単です。ですが、個人的に消化不良でCPUより処理時間が長くなってしまっています。やり方は間違っていないはずなのですが、時間が遅くなっている以上、間違っている？今回、自分自身が学習したい内容ではないので、気にせずに先に行きます。

[記事「まとめ: 言語処理100本ノックで学べることと成果」](https://qiita.com/FukuharaYohei/items/6f0af3c4e270d8af2d99)に[言語処理100本ノック 2015](http://www.cl.ecei.tohoku.ac.jp/nlp100/)についてはまとめていますが、追加で差分の[言語処理100本ノック 2020 (Rev2)](https://nlp100.github.io/ja/)についても更新します。

# 参考リンク

|リンク|備考|
|:--|:--|
|[78_GPU上での学習.ipynb](https://github.com/YoheiFukuhara/nlp100-2020/blob/main/08.%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88/78_GPU%E4%B8%8A%E3%81%A7%E3%81%AE%E5%AD%A6%E7%BF%92.ipynb)|回答プログラムのGitHubリンク|
|[言語処理100本ノック 2020 第8章: ニューラルネット](https://qiita.com/nymwa/items/9c8484ff511123e03ba8)|(PyTorchだけど)解き方の参考|
|[【言語処理100本ノック 2020】第8章: ニューラルネット](https://qiita.com/yamaru/items/b54989d772c4323bde69)|(PyTorchだけど)解き方の参考|
|[まとめ: 言語処理100本ノックで学べることと成果](https://qiita.com/FukuharaYohei/items/6f0af3c4e270d8af2d99)|言語処理100本ノックまとめ記事|
|[GPUを使用する](https://www.tensorflow.org/guide/gpu?hl=ja)|TensorFlow公式ガイド|

# 環境
GPUを使うので、Google Colaboratory使いました。Pythonやそのパッケージでより新しいバージョンありますが、新機能使っていないので、プリインストールされているものをそのまま使っています。

|種類|バージョン|内容|
|:--|:--|:--|
|Python|3.7.12|Google Colaboratoryのバージョン|
|google|2.0.3|Google Driveのマウントに使用|
|tensorflow|2.6.0|ディープラーニングの主要処理|

# [第8章: ニューラルネット](https://nlp100.github.io/ja/ch08.html)
## 学習内容
> 深層学習フレームワークの使い方を学び，ニューラルネットワークに基づくカテゴリ分類を実装します．

## ノック内容
> 第6章で取り組んだニュース記事のカテゴリ分類を題材として，ニューラルネットワークでカテゴリ分類モデルを実装する．なお，この章ではPyTorch, TensorFlow, Chainerなどの機械学習プラットフォームを活用せよ．

### [78. GPU上での学習](https://nlp100.github.io/ja/ch08.html#78-gpu%E4%B8%8A%E3%81%A7%E3%81%AE%E5%AD%A6%E7%BF%92)
> 問題77のコードを改変し，GPU上で学習を実行せよ．

# 回答
## 回答結果
GPUを認識していることを示している箇所。

```:結果
[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]
```

## 回答プログラム [78_GPU上での学習.ipynb](https://github.com/YoheiFukuhara/nlp100-2020/blob/main/08.%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88/78_GPU%E4%B8%8A%E3%81%A7%E3%81%AE%E5%AD%A6%E7%BF%92.ipynb)
GitHubには確認用コードも含めていますが、ここには必要なものだけ載せています。ほとんど前回と同じです。

```python
import tensorflow as tf
from google.colab import drive

drive.mount('/content/drive')
LOG_DIR = './logs'

# Check if GPU is available
tf.config.list_physical_devices('GPU')

def _parse_function(example_proto):
    # 特徴の記述
    feature_description = {
        'title': tf.io.FixedLenFeature([], tf.string),
        'category': tf.io.FixedLenFeature([], tf.string)}
  
  # 上記の記述を使って入力の tf.Example を処理
    features = tf.io.parse_single_example(example_proto, feature_description)
    X = tf.io.decode_raw(features['title'], tf.float32)
    y = tf.io.decode_raw(features['category'], tf.int32)
    return X, y


BASE_PATH = '/content/drive/MyDrive/ColabNotebooks/ML/NLP100_2020/08.NeuralNetworks/'

def get_dataset(file_name):
    ds_raw = tf.data.TFRecordDataset(BASE_PATH+file_name+'.tfrecord')

    #shuffleはここを見て理解。データ件数取る方法がわからず、1000件に設定
    #https://qiita.com/exy81/items/d1388f6f02a11c8f1d7e
    return ds_raw.map(_parse_function).shuffle(1000).batch(32)


train_ds = get_dataset('train')
valid_ds = get_dataset('valid')

callbacks = []
callbacks.append(tf.keras.callbacks.TensorBoard(log_dir=LOG_DIR))

model.fit(train_ds, 
          epochs=30, 
          validation_data=valid_ds, 
          callbacks=callbacks)
```

## 回答解説
### GPU選択
Google ColaboratoryのメニューでRuntime -> Change Runtime Type からGPUを選択するだけです。

### デバイス確認
GPUを認識しているか確認するコード。[「GPUを使用する」](https://www.tensorflow.org/guide/gpu?hl=ja)を参考にしました。

```python:
tf.config.list_physical_devices('GPU')
```

GPUを認識していますね。

```:結果
[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]
```

### 訓練時間
`%%time`を使って時間計測。

```python:
%%time
model.fit(train_ds, 
          epochs=30, 
          validation_data=valid_ds, 
          callbacks=callbacks)
```

GPUの方が遅い・・・。なんででしょう？5分ほど調べてわからなかったので、先に進めます。

```:比較
GPU 30 epochs
CPU times: user 56.6 s, sys: 13.7 s, total: 1min 10s
Wall time: 1min 4s

CPU 30 epochs
CPU times: user 32.1 s, sys: 6.74 s, total: 38.8 s
Wall time: 35.6 s
```