低容量VRAM Quadro RTX 各種トラブル

# 今回の対象はRTX A2000
- ただし、１２GB版ではなく、６GB・・・ノートPCみたいな。
- セットアップ等のトラブルは前回掲載の4000とかぶるところあり

## 関連記事

https://qiita.com/Manyan3/items/5b63cc88ebd6c13bb20a

## Ubuntu22.04LTSインストール

:::note info
インフォメーション
- Nouveau は問題なく動作
- CUDA Toolkitセットアップ時にグラフィックドライバセットアップ可能
- 4000と同じようなクセあり
:::

## CUDA インストールはまリスト

|Geforce 3000/4000|Quadro RTX4000|Quadro RTXA2000|
|:--:|:--:|:--:|
|CUDA 11.8|CUDA 11.8|CUDA 11.8|
|535ドライバok|ドライバ入らない|ドライバ入らない|
|CUDA 最低ライン|CUDA 最低ライン|CUDA 最低ライン|
|11.8※|12.4※|12.3|

:::note info
※補足
- 4000系でも後発・先発で12up要求の可能性
- RTX 4000では535で使っているCUDAライブラリの要求でコケた
- 手動・または下記のような荒業で直している事例もあり
:::

### nvidia-smi/nvcc -V
- 通常は特段問題なくインストールできますが、このような荒業も・・・
- 新しいCUDAツールキットでセットアップでは問題ないようです。



## ドライバ適用例

<details open><summary>nvidia-smi結果例</summary>

- CUDA 12.3

```Ubuntu:ターミナル
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 545.23.08              Driver Version: 545.23.08    CUDA Version: 12.3     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA RTX A2000               On  | 00000000:01:00.0  On |                  Off |
| 30%   58C    P2              66W /  70W |   2306MiB /  6138MiB |    100%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+

                                                                                         
+---------------------------------------------------------------------------------------+
| Processes:                                                                            |
|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
|        ID   ID                                                             Usage      |
|=======================================================================================|
|    0   N/A  N/A      1023      G   /usr/lib/xorg/Xorg                          144MiB |
|    0   N/A  N/A      1285      G   /usr/bin/gnome-shell                        117MiB |
|    0   N/A  N/A      2650      G   ...irefox/3836/usr/lib/firefox/firefox      409MiB |
|    0   N/A  N/A      8295      C   python                                     1586MiB |
+---------------------------------------------------------------------------------------+
```

- CUDA 12.4

```Ubuntu:ターミナル
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.54.14              Driver Version: 550.54.14      CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA RTX A2000               Off |   00000000:01:00.0  On |                  Off |
| 30%   59C    P2             66W /   70W |    2213MiB /   6138MiB |    100%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
                                                                                         
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A      1073      G   /usr/lib/xorg/Xorg                            282MiB |
|    0   N/A  N/A      1289      G   /usr/bin/gnome-shell                          165MiB |
|    0   N/A  N/A      2024      G   ...irefox/3836/usr/lib/firefox/firefox        166MiB |
|    0   N/A  N/A      7508      C   python                                       1586MiB |
+-----------------------------------------------------------------------------------------+

```

</details>


# 重い画像処理例 Stable Diffusion
**6GBの場合、本家では動作せず、フォーク版が楽です**

https://github.com/hanrai/stable-diffusion-low-vram


## インストール後のトラブルシュートのリファレンス

https://note.com/hakonatunakann/n/n19826390ff2f

https://qiita.com/sanato_kumara/items/d3450b5b2f80912aca2c

- お二方の記事で解決しないようなエラーの場合

### No module named ‘pytorch_lightning.utilities.distributed　エラー

```Ubuntu:ターミナル
pip install pytorch_lightning==1.9
pip install omegaconf
pip install plexif

```
- pytorch-lightningだとだめなんだ・・・

```Ubuntu:公式
pip install lightning

```

<details><summary>出力例</summary>

![seed_36_00009.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2155177/0d5e8fbd-a572-59f2-2fac-b19dfab272b7.png)



</details>

# 6GBの場合　まとめ
- ガッツリ重めの画像や言語処理はちょっと厳しいかも・・・コスパ的にGeforceかも
- ただしQuadroなので、それに適切な処理なら力を発揮
- 12GBであれば本家も動作し、AI関連は概ね問題ないはず