Cephパフォーマンステスト

https://qiita.com/shimeji_k/items/81a0dac0f33187b5f61e


ようやくデバイスが届いたので
-------

CephのSSDとHDDのパフォーマンスの確認をしようと思います。

2028TP-DC1Rに
Intel X520-DA4を各ノードにインストール

まずはCephのPublicとClusterのIPを割り振り（VMとCorosyncは後回し　1Gbpsのまま）

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4067323/34075307-429b-428a-bb68-2bd61fadea5e.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4067323/72ea2d5f-9371-4141-a8bd-c9ef350df65a.png)


SSHでどこか一つのノードに入って
SSD用のルールとHDD用のルールを作成
```
# ceph osd crush rule create-replicated replicated_ssd default host ssd
# ceph osd crush rule create-replicated replicated_hdd default host hdd
```

プール名は適当に
`lvm-ceph-ssd`と`lvm-ceph-hdd`と名付けました

設定はSSDプールHDDプール共に
size2のmin2


### ディスク読み書き速度比較（ceph-hdd ST300MP0006×12）

| テスト項目 | KDiskMark (Read MB/s) | KDiskMark (Write MB/s) | CrystalDiskMark (Read MB/s) | CrystalDiskMark (Write MB/s) |
| :--------- | :-------------------- | :--------------------- | :-------------------------- | :--------------------------- |
| SEQ1M Q8T1 | 534.97                | 284.36                 | 700.76                      | 297.79                       |
| SEQ1M Q1T1 | 188.46                | 334.93                 | 180.92                      | 289.69                       |
| RND4K Q32T1 | 75.47                 | 18.36                  | 147.86                      | 19.99                        |
| RND4K Q1T1 | 2.34                  | 17.90                  | 3.76                        | 13.59                        |

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4067323/a5680f14-83fc-4dca-9dcd-36c1029248fa.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4067323/262ccf91-56aa-400f-996e-5911319e13d5.png)


### ディスク読み書き速度比較（ceph-ssd  HP S750×6 + fanxiang S101Q）

| テスト項目 | KDiskMark (Read MB/s) | KDiskMark (Write MB/s) | CrystalDiskMark (Read MB/s) | CrystalDiskMark (Write MB/s) |
| :--------- | :-------------------- | :--------------------- | :-------------------------- | :--------------------------- |
| SEQ1M Q8T1 | 463.48                | 604.56                 | 745.58                      | 565.99                       |
| SEQ1M Q1T1 | 121.86                | 580.36                 | 186.36                      | 565.99                       |
| RND4K Q32T1 | 177.88                 | 90.26                  | 111.52                      | 65.83                        |
| RND4K Q1T1 | 3.60                  | 56.35                  | 3.90                        | 15.42                        |

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4067323/8dfe54d1-d28f-4743-ae0c-14b4ddbccdd3.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4067323/ba2444f8-5d4a-481e-b03d-2c9f788e5216.png)



SSDで作ったCephが異様に遅い。。。。
DRAMキャッシュがないSSDだからかな？
あと、SSDは同じサイズとはいえ混在させているのも問題かもしれない


### ノードにSSDとHDDを分散してベンチ

#### 4ノード
DL360Gen9  SSD 3台 HDD 3台
DL380Gen10 SSD 3台 HDD 3台
2028TP-DC1R(A) SSD 3台 HDD 3台
2028TP-DC1R(B) SSD 3台 HDD 3台

設定はSSDプールHDDプール共に
size4のmin3


### ディスク読み書き速度比較（ceph-hdd ST300MP0006×12）

| テスト項目 | KDiskMark (Read MB/s) | KDiskMark (Write MB/s) | CrystalDiskMark (Read MB/s) | CrystalDiskMark (Write MB/s) |
| :--------- | :-------------------- | :--------------------- | :-------------------------- | :--------------------------- |
| SEQ1M Q8T1 | 620.33                | 216.84                 | 600.37                      | 187.96                       |
| SEQ1M Q1T1 | 173.40                | 194.96                 | 194.87                      | 181.31                       |
| RND4K Q32T1 | 72.72                 | 10.09                  | 109.86                      | 11.79                        |
| RND4K Q1T1 | 2.50                  | 9.31                  | 3.82                        | 7.39                        |

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4067323/8f5d5940-1cdc-433e-ac6e-871fbe4c08e2.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4067323/5cd0a5d4-d951-4607-be43-110e1c71721a.png)


### ディスク読み書き速度比較（ceph-ssd  HP S750×6 + fanxiang S101Q）

| テスト項目 | KDiskMark (Read MB/s) | KDiskMark (Write MB/s) | CrystalDiskMark (Read MB/s) | CrystalDiskMark (Write MB/s) |
| :--------- | :-------------------- | :--------------------- | :-------------------------- | :--------------------------- |
| SEQ1M Q8T1 | 1,057.89                | 388.15                 | 1050.70                      | 378.54                       |
| SEQ1M Q1T1 | 268.03                | 377.22                 | 361.56                      | 361.56                       |
| RND4K Q32T1 | 272.33                 | 82.99                  | 148.10                      | 62.17                        |
| RND4K Q1T1 | 6.30                  | 59.41                  | 3.93                        | 15.48                        |

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4067323/6a2392e8-a28e-405a-8965-d6b194407583.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4067323/a60d9825-156d-4193-8523-977ead926f23.png)


ノード分けた場合ベンチ結果SSDの大勝利？？
DRAMキャッシュ無しなのに・・・

まだCacheチューニングとかしていないけどCephはノード増やして行くほうがスループット上る感じですね



続きたいかも