Oracle Cloud Infrastructure: VM.Standard.E5.Flex インスタンス の IOPS テスト 


参考資料：

[Oracle Cloud: 超高パフォーマンス・ボリュームで 100万IOPS, 5GB/sスループット出してみてみた](https://qiita.com/shirok/items/d8b8ee14fd9fb371d882)

今回は、次の要件で最大 250,000 IOPSが出るかを検証してみました。

・VM.Standard.E5.Flex
・12 OCPU（ネットワーク帯域幅 12Gbps）
・Block Volume 30TB （3TB ✕ 10 Volume、複数ストライプ化）
・VPU（30）

# コンピュート・インスタンス作成

今回テスト対象コンピュート・インスタンス VM.Standard.E5.Flex は、2023年から提供される新しいシェイプとなります。128のOCPUを持つ、前世代のE4 Standardベア・メタル・インスタンスと比較すると、E5 Standardベア・メタル・インスタンスには192のOCPU (192コアまたは384スレッド)があり、コア当たり33%を超えるパフォーマンスを実現します。現時点では（2024年5月）、Japan East (東京)リージョンで利用できます。

VM.Standard.E5.Flexの詳細仕様については、[インスタンス・シェイプのパフォーマンスの詳細](https://docs.oracle.com/ja-jp/iaas/Content/Compute/References/computeshapes.htm)を参考してください。


![Snipaste_2024-05-10_10-57-31.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2534261/d3b18a52-7ba4-ae2c-6efa-5867affe5732.png)

・すべてのシェイプの参照画面

![Snipaste_2024-04-22_17-00-36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2534261/f5c2b6d7-7ee5-bfb7-0ca0-3833b69866f7.png)



・コンピュート・インスタンスの作成画面

:::note info
ブロック・ボリューム管理プラグインON: iSCSIアタッチメント・タイプを使用してアタッチされた超高パフォーマンスで構成されたボリュームに必要です。
:::


![Snipaste_2024-04-22_17-03-11.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2534261/cc1d0bd2-ef43-c241-c945-80bf429833cf.png)

![Snipaste_2024-04-18_17-24-29.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2534261/e9e5699f-b6ad-e4e0-a3e5-109b4efd312b.png)

![Snipaste_2024-04-18_17-24-43.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2534261/a7f20934-a7a7-e0db-3ed9-9cc3ee546b67.png)


・コンピュート・インスタンスの作成完了画面

![Snipaste_2024-04-22_14-26-51.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2534261/d011e31e-e410-8d4f-cc3f-e0a499f36113.png)

# ブロック・ボリューム作成とアタッチ

## ブロック・ボリューム作成

ブロック・ボリュームの設定については、今回は 10つの ロック・ボリュームで 次のように設定します。

・VPU/GB: 30
・ボリューム・サイズ(GB): 3072 （3TB）
・ボリューム当たりの最大IOPS: 125,000

超高パフォーマンスのブロック・ボリュームの特性については、[OCI ドキュメント](https://docs.oracle.com/ja-jp/iaas/Content/Block/Concepts/blockvolumeultrahighperformance.htm)を参考してください。

・ブロック・ボリュームの作成画面

![Snipaste_2024-04-22_14-19-31.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2534261/18f32e07-4a90-c67a-12da-cedb8fbe1f44.png)

・ブロック・ボリュームの作成完了画面

![Snipaste_2024-04-22_14-24-00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2534261/e28bb3e0-0b4a-fd8e-97d3-164a09e25805.png)

## ブロック・ボリュームのアタッチ

作成した10つのブロック・ボリュームをアタッチします。

・ブロック・ボリュームのアタッチ画面

![Snipaste_2024-04-22_14-28-47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2534261/3cc7104e-c543-cea0-f94e-39858da9a857.png)

・ブロック・ボリュームのアタッチ完了画面

![Snipaste_2024-04-22_14-37-05.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2534261/db8f2597-7b4c-8b2e-4e43-58a784759784.png)

# 論理ボリューム(LV)作成

## 物理ボリューム(PV)確認

sdb - sdi までの10つのボリュームが追加されていることを確認できます。

1. lsblk確認

    ```
    [root@iops-test ~]# lsblk
    NAME               MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
    sda                  8:0    0 46.6G  0 disk
    ├─sda1               8:1    0  100M  0 part /boot/efi
    ├─sda2               8:2    0    1G  0 part /boot
    └─sda3               8:3    0 45.5G  0 part
      ├─ocivolume-root 252:0    0 35.5G  0 lvm  /
      └─ocivolume-oled 252:1    0   10G  0 lvm  /var/oled
    sdb                  8:16   0    3T  0 disk
    sdc                  8:32   0    3T  0 disk
    sdd                  8:48   0    3T  0 disk
    sde                  8:64   0    3T  0 disk
    sdf                  8:80   0    3T  0 disk
    sdg                  8:96   0    3T  0 disk
    sdh                  8:112  0    3T  0 disk
    sdi                  8:128  0    3T  0 disk
    sdj                  8:144  0    3T  0 disk
    sdk                  8:160  0    3T  0 disk
    ```

2. pvs 確認

    ```
    [root@iops-test ~]# pvs -a
      PV         VG        Fmt  Attr PSize  PFree
      /dev/sda1                 ---      0     0
      /dev/sda2                 ---      0     0
      /dev/sda3  ocivolume lvm2 a--  45.47g    0
      /dev/sdb                  ---      0     0
      /dev/sdc                  ---      0     0
      /dev/sdd                  ---      0     0
      /dev/sde                  ---      0     0
      /dev/sdf                  ---      0     0
      /dev/sdg                  ---      0     0
      /dev/sdh                  ---      0     0
      /dev/sdi                  ---      0     0
      /dev/sdj                  ---      0     0
      /dev/sdk                  ---      0     0
    ```

## 物理ボリューム(PV) 作成

1. 物理ボリューム(PV)を作成

   -vオプションを指定してコマンドを実行し、詳細情報を取得します。

    ```
    [root@iops-test ~]# pvcreate -v /dev/sd{b,c,d,e,f,g,h,i,j,k}
      Wiping signatures on new PV /dev/sdb.
      Wiping signatures on new PV /dev/sdc.
      Wiping signatures on new PV /dev/sdd.
      Wiping signatures on new PV /dev/sde.
      Wiping signatures on new PV /dev/sdf.
      Wiping signatures on new PV /dev/sdg.
      Wiping signatures on new PV /dev/sdh.
      Wiping signatures on new PV /dev/sdi.
      Wiping signatures on new PV /dev/sdj.
      Wiping signatures on new PV /dev/sdk.
      Set up physical volume for "/dev/sdb" with 6442450944 available sectors.
      Zeroing start of device /dev/sdb.
      Writing physical volume data to disk "/dev/sdb".
      Physical volume "/dev/sdb" successfully created.
      Set up physical volume for "/dev/sdc" with 6442450944 available sectors.
      Zeroing start of device /dev/sdc.
      Writing physical volume data to disk "/dev/sdc".
      Physical volume "/dev/sdc" successfully created.
      Set up physical volume for "/dev/sdd" with 6442450944 available sectors.
      Zeroing start of device /dev/sdd.
      Writing physical volume data to disk "/dev/sdd".
      Physical volume "/dev/sdd" successfully created.
      Set up physical volume for "/dev/sde" with 6442450944 available sectors.
      Zeroing start of device /dev/sde.
      Writing physical volume data to disk "/dev/sde".
      Physical volume "/dev/sde" successfully created.
      Set up physical volume for "/dev/sdf" with 6442450944 available sectors.
      Zeroing start of device /dev/sdf.
      Writing physical volume data to disk "/dev/sdf".
      Physical volume "/dev/sdf" successfully created.
      Set up physical volume for "/dev/sdg" with 6442450944 available sectors.
      Zeroing start of device /dev/sdg.
      Writing physical volume data to disk "/dev/sdg".
      Physical volume "/dev/sdg" successfully created.
      Set up physical volume for "/dev/sdh" with 6442450944 available sectors.
      Zeroing start of device /dev/sdh.
      Writing physical volume data to disk "/dev/sdh".
      Physical volume "/dev/sdh" successfully created.
      Set up physical volume for "/dev/sdi" with 6442450944 available sectors.
      Zeroing start of device /dev/sdi.
      Writing physical volume data to disk "/dev/sdi".
      Physical volume "/dev/sdi" successfully created.
      Set up physical volume for "/dev/sdj" with 6442450944 available sectors.
      Zeroing start of device /dev/sdj.
      Writing physical volume data to disk "/dev/sdj".
      Physical volume "/dev/sdj" successfully created.
      Set up physical volume for "/dev/sdk" with 6442450944 available sectors.
      Zeroing start of device /dev/sdk.
      Writing physical volume data to disk "/dev/sdk".
      Physical volume "/dev/sdk" successfully created.
    ```


2. PV作成確認

    ```
    [root@iops-test ~]# pvs
      PV         VG        Fmt  Attr PSize  PFree
      /dev/sda3  ocivolume lvm2 a--  45.47g    0
      /dev/sdb             lvm2 ---   3.00t 3.00t
      /dev/sdc             lvm2 ---   3.00t 3.00t
      /dev/sdd             lvm2 ---   3.00t 3.00t
      /dev/sde             lvm2 ---   3.00t 3.00t
      /dev/sdf             lvm2 ---   3.00t 3.00t
      /dev/sdg             lvm2 ---   3.00t 3.00t
      /dev/sdh             lvm2 ---   3.00t 3.00t
      /dev/sdi             lvm2 ---   3.00t 3.00t
      /dev/sdj             lvm2 ---   3.00t 3.00t
      /dev/sdk             lvm2 ---   3.00t 3.00t
    ```

## ボリューム・グループ(VG)

1. ボリュームグループ volgroup01 を作成
    
    新しく作成した物理ボリュームを使用してボリューム・グループ(VG)を作成します。

    ```
    [root@iops-test ~]# vgcreate -v volgroup01 /dev/sd{b,c,d,e,f,g,h,i,j,k}
      Wiping signatures on new PV /dev/sdb.
      Wiping signatures on new PV /dev/sdc.
      Wiping signatures on new PV /dev/sdd.
      Wiping signatures on new PV /dev/sde.
      Wiping signatures on new PV /dev/sdf.
      Wiping signatures on new PV /dev/sdg.
      Wiping signatures on new PV /dev/sdh.
      Wiping signatures on new PV /dev/sdi.
      Wiping signatures on new PV /dev/sdj.
      Wiping signatures on new PV /dev/sdk.
      Adding physical volume '/dev/sdb' to volume group 'volgroup01'
      Adding physical volume '/dev/sdc' to volume group 'volgroup01'
      Adding physical volume '/dev/sdd' to volume group 'volgroup01'
      Adding physical volume '/dev/sde' to volume group 'volgroup01'
      Adding physical volume '/dev/sdf' to volume group 'volgroup01'
      Adding physical volume '/dev/sdg' to volume group 'volgroup01'
      Adding physical volume '/dev/sdh' to volume group 'volgroup01'
      Adding physical volume '/dev/sdi' to volume group 'volgroup01'
      Adding physical volume '/dev/sdj' to volume group 'volgroup01'
      Adding physical volume '/dev/sdk' to volume group 'volgroup01'
      Creating volume group backup "/etc/lvm/backup/volgroup01" (seqno 1).
      Volume group "volgroup01" successfully created
    ```

2. VG作成確認

    vgs コマンドを使用すると、作成したボリュームグループの属性を表示できます。
    
    ```
    [root@iops-test ~]# vgs
      VG         #PV #LV #SN Attr   VSize   VFree
      ocivolume    1   2   0 wz--n-  45.47g      0
      volgroup01  10   0   0 wz--n- <30.00t <30.00t
    ```

## ストライプ化論理ボリューム(LV)作成

1. 論理ボリューム(LV)作成

    ストライプサイズが 4 キロバイトの 10 つのストライプがある、全てのボリューム・サイズを使用するリニア論理ボリューム(LV)を作成します。
    
    ```
    [root@iops-test ~]# lvcreate -v -i 10 -I 4 -l 100%FREE -n striped_logical_volume volgroup01
      Converted 100% of FREE (7864310) extents into 7864310 (with mimages 1 and stripes 10 for segtype striped).
      Creating logical volume striped_logical_volume
      Archiving volume group "volgroup01" metadata (seqno 1).
      Activating logical volume volgroup01/striped_logical_volume.
      activation/volume_list configuration setting not defined: Checking only host tags for volgroup01/striped_logical_volume.
      Creating volgroup01-striped_logical_volume
      Loading table for volgroup01-striped_logical_volume (252:2).
      Resuming volgroup01-striped_logical_volume (252:2).
      Wiping known signatures on logical volume volgroup01/striped_logical_volume.
      Initializing 4.00 KiB of logical volume volgroup01/striped_logical_volume with value 0.
      Logical volume "striped_logical_volume" created.
      Creating volume group backup "/etc/lvm/backup/volgroup01" (seqno 2).
    ```

2. LV作成確認

    volgroup01 VG内に含まれるすべての論理ボリュームが表示されます。
    
    ```
    [root@iops-test ~]# lvdisplay /dev/volgroup01
      --- Logical volume ---
      LV Path                /dev/volgroup01/striped_logical_volume
      LV Name                striped_logical_volume
      VG Name                volgroup01
      LV UUID                EDd8Me-oiYP-DvCu-D0LB-gD3i-Qd1I-Zyd37C
      LV Write Access        read/write
      LV Creation host, time iops-test, 2024-04-22 07:01:41 +0000
      LV Status              available
      # open                 0
      LV Size                <30.00 TiB
      Current LE             7864310
      Segments               1
      Allocation             inherit
      Read ahead sectors     auto
      - currently set to     256
      Block device           252:2
    ```

3. LVタイプ表示

    ```
    [root@iops-test ~]# lvs -o name,segtype /dev/volgroup01/striped_logical_volume
      LV                     Type
      striped_logical_volume striped
    ```

# FIOコマンド使用してブロック・ボリューム・パフォーマンス・テスト

Linuxベース・インスタンスでブロック・ボリューム・パフォーマンス・テストを行うためのサンプルFIOコマンドを参照して FIOコマンドで IOPSとスループットのパフォーマンス・テストをします。

## FIO インストール

1. FIO インストール

    ```
    [root@uhp-inst ~]# sudo yum install php-cli fio gnuplot -y
    	This system is receiving updates from OSMS server.
        Last metadata expiration check: 0:11:42 ago on Thu 18 Apr 2024 08:49:07 AM GMT.
    	Dependencies resolved.
    	================================================================================================================================================
    	Package                          Architecture      Version                                           Repository                           Size
    	================================================================================================================================================
    	Installing:
    	fio                              x86_64            3.19-4.el8                                        ol8_appstream-x86_64                538 k
    	gnuplot                          x86_64            5.2.4-3.el8                                       ol8_appstream-x86_64                911 k
    	php-cli                          x86_64            7.2.24-1.module+el8.2.0+5510+6771133c             ol8_appstream-x86_64                3.1 M
    	Installing dependencies:
    
    	・・・
    	Complete!
    ```

2. FIO インストール確認

    ```
    [root@uhp-inst ~]# fio -h
    fio-3.19
    fio [options] [job options] <job file(s)>
      --debug=options	Enable debug logging. May be one/more of:
    			process,file,io,mem,blktrace,verify,random,parse,
    			diskutil,job,mutex,profile,time,net,rate,compress,
    			steadystate,helperthread,zbd
      --parse-only		Parse options only, don't start any IO
      --merge-blktrace-only	Merge blktraces only, don't start any IO
      --output		Write output to file
      --bandwidth-log	Generate aggregate bandwidth logs
      --minimal		Minimal (terse) output
      --output-format=type	Output format (terse,json,json+,normal)
      --terse-version=type	Set terse version output format (default 3, or 2 or 4)
      --version		Print version info and exit
      --help		Print this page
      --cpuclock-test	Perform test/validation of CPU clock
      --crctest=[type]	Test speed of checksum functions
      --cmdhelp=cmd		Print command help, "all" for all of them
      --enghelp=engine	Print ioengine help, or list available ioengines
      --enghelp=engine,cmd	Print help for an ioengine cmd
      --showcmd		Turn a job file into command line options
      --eta=when		When ETA estimate should be printed
                		May be "always", "never" or "auto"
      --eta-newline=t	Force a new line for every 't' period passed
      --status-interval=t	Force full status dump every 't' period passed
      --readonly		Turn on safety read-only checks, preventing writes
      --section=name	Only run specified section in job file, multiple sections can be specified
      --alloc-size=kb	Set smalloc pool to this size in kb (def 16384)
      --warnings-fatal	Fio parser warnings are fatal
      --max-jobs=nr		Maximum number of threads/processes to support
      --server=args		Start a backend fio server
      --daemonize=pidfile	Background fio server, write pid to file
      --client=hostname	Talk to remote backend(s) fio server at hostname
      --remote-config=file	Tell fio server to load this local job file
      --idle-prof=option	Report cpu idleness on a system or percpu basis
    			(option=system,percpu) or run unit work
    			calibration only (option=calibrate)
      --inflate-log=log	Inflate and output compressed log
      --trigger-file=file	Execute trigger cmd when file exists
      --trigger-timeout=t	Execute trigger at this time
      --trigger=cmd		Set this command as local trigger
      --trigger-remote=cmd	Set this command as remote trigger
      --aux-path=path	Use this path for fio state generated files
    
    Fio was written by Jens Axboe <axboe@kernel.dk>
    ```

## IOPS パフォーマンス・テスト

IOPSパフォーマンスをテストするには、次のFIOサンプル・コマンドを使用します。コマンドを直接実行することも、コマンドを使用してジョブ・ファイルを作成してからそのジョブ・ファイルを実行することもできます。

### Sequential Reads テスト

データベース・ワークロードなど、順次アクセス・パターンを利用できるワークロードに対しては、順次読取りをテストすることにより、このパターンのパフォーマンスを確認できます。
順次読取りをテストするには、次のコマンドを実行します:

```
[root@iops-test ~]# fio --filename=/dev/volgroup01/striped_logical_volume --direct=1 --rw=read --bs=4k --ioengine=libaio --iodepth=256 --runtime=120 --numjobs=4 --time_based --group_reporting --name=iops-test-job --eta-newline=1 --readonly
iops-test-job: (g=0): rw=read, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=256
...
fio-3.19
Starting 4 processes
Jobs: 4 (f=4): [R(4)][2.5%][r=1550MiB/s][r=397k IOPS][eta 01m:58s]
Jobs: 4 (f=4): [R(4)][3.3%][r=1610MiB/s][r=412k IOPS][eta 01m:57s]
Jobs: 4 (f=4): [R(4)][4.1%][r=1300MiB/s][r=333k IOPS][eta 01m:56s]
Jobs: 4 (f=4): [R(4)][5.0%][r=1491MiB/s][r=382k IOPS][eta 01m:55s]
Jobs: 4 (f=4): [R(4)][5.8%][r=1456MiB/s][r=373k IOPS][eta 01m:54s]
Jobs: 4 (f=4): [R(4)][6.6%][r=1221MiB/s][r=313k IOPS][eta 01m:53s]
Jobs: 4 (f=4): [R(4)][7.4%][r=1391MiB/s][r=356k IOPS][eta 01m:52s]
Jobs: 4 (f=4): [R(4)][8.3%][r=1625MiB/s][r=416k IOPS][eta 01m:51s]
Jobs: 4 (f=4): [R(4)][9.1%][r=1325MiB/s][r=339k IOPS][eta 01m:50s]
Jobs: 4 (f=4): [R(4)][9.9%][r=1298MiB/s][r=332k IOPS][eta 01m:49s]
Jobs: 4 (f=4): [R(4)][10.7%][r=1497MiB/s][r=383k IOPS][eta 01m:48s]
Jobs: 4 (f=4): [R(4)][11.6%][r=1489MiB/s][r=381k IOPS][eta 01m:47s]
Jobs: 4 (f=4): [R(4)][12.4%][r=1293MiB/s][r=331k IOPS][eta 01m:46s]
Jobs: 4 (f=4): [R(4)][13.2%][r=1318MiB/s][r=337k IOPS][eta 01m:45s]
Jobs: 4 (f=4): [R(4)][14.0%][r=1587MiB/s][r=406k IOPS][eta 01m:44s]
Jobs: 4 (f=4): [R(4)][14.9%][r=1305MiB/s][r=334k IOPS][eta 01m:43s]
Jobs: 4 (f=4): [R(4)][15.7%][r=1502MiB/s][r=384k IOPS][eta 01m:42s]
Jobs: 4 (f=4): [R(4)][16.5%][r=1207MiB/s][r=309k IOPS][eta 01m:41s]
Jobs: 4 (f=4): [R(4)][17.4%][r=1395MiB/s][r=357k IOPS][eta 01m:40s]
Jobs: 4 (f=4): [R(4)][18.2%][r=1402MiB/s][r=359k IOPS][eta 01m:39s]
Jobs: 4 (f=4): [R(4)][19.0%][r=1401MiB/s][r=359k IOPS][eta 01m:38s]
Jobs: 4 (f=4): [R(4)][19.8%][r=1668MiB/s][r=427k IOPS][eta 01m:37s]
Jobs: 4 (f=4): [R(4)][20.7%][r=1279MiB/s][r=328k IOPS][eta 01m:36s]
Jobs: 4 (f=4): [R(4)][21.5%][r=1487MiB/s][r=381k IOPS][eta 01m:35s]
Jobs: 4 (f=4): [R(4)][22.3%][r=1389MiB/s][r=356k IOPS][eta 01m:34s]
Jobs: 4 (f=4): [R(4)][23.1%][r=1398MiB/s][r=358k IOPS][eta 01m:33s]
Jobs: 4 (f=4): [R(4)][24.0%][r=1400MiB/s][r=358k IOPS][eta 01m:32s]
Jobs: 4 (f=4): [R(4)][24.8%][r=1408MiB/s][r=360k IOPS][eta 01m:31s]
Jobs: 4 (f=4): [R(4)][25.6%][r=1422MiB/s][r=364k IOPS][eta 01m:30s]
Jobs: 4 (f=4): [R(4)][26.4%][r=1330MiB/s][r=341k IOPS][eta 01m:29s]
Jobs: 4 (f=4): [R(4)][27.3%][r=1385MiB/s][r=354k IOPS][eta 01m:28s]
Jobs: 4 (f=4): [R(4)][28.1%][r=1532MiB/s][r=392k IOPS][eta 01m:27s]
Jobs: 4 (f=4): [R(4)][28.9%][r=1354MiB/s][r=347k IOPS][eta 01m:26s]
Jobs: 4 (f=4): [R(4)][30.6%][r=1436MiB/s][r=368k IOPS][eta 01m:24s]
Jobs: 4 (f=4): [R(4)][31.4%][r=1315MiB/s][r=337k IOPS][eta 01m:23s]
Jobs: 4 (f=4): [R(4)][32.2%][r=1484MiB/s][r=380k IOPS][eta 01m:22s]
Jobs: 4 (f=4): [R(4)][33.1%][r=1437MiB/s][r=368k IOPS][eta 01m:21s]
Jobs: 4 (f=4): [R(4)][33.9%][r=1484MiB/s][r=380k IOPS][eta 01m:20s]
Jobs: 4 (f=4): [R(4)][34.7%][r=1441MiB/s][r=369k IOPS][eta 01m:19s]
Jobs: 4 (f=4): [R(4)][35.5%][r=1465MiB/s][r=375k IOPS][eta 01m:18s]
Jobs: 4 (f=4): [R(4)][36.4%][r=1186MiB/s][r=304k IOPS][eta 01m:17s]
Jobs: 4 (f=4): [R(4)][37.2%][r=1504MiB/s][r=385k IOPS][eta 01m:16s]
Jobs: 4 (f=4): [R(4)][38.0%][r=1396MiB/s][r=357k IOPS][eta 01m:15s]
Jobs: 4 (f=4): [R(4)][38.8%][r=1435MiB/s][r=367k IOPS][eta 01m:14s]
Jobs: 4 (f=4): [R(4)][39.7%][r=1404MiB/s][r=359k IOPS][eta 01m:13s]
Jobs: 4 (f=4): [R(4)][40.5%][r=1416MiB/s][r=363k IOPS][eta 01m:12s]
Jobs: 4 (f=4): [R(4)][41.3%][r=1461MiB/s][r=374k IOPS][eta 01m:11s]
Jobs: 4 (f=4): [R(4)][42.1%][r=1358MiB/s][r=348k IOPS][eta 01m:10s]
Jobs: 4 (f=4): [R(4)][43.0%][r=1281MiB/s][r=328k IOPS][eta 01m:09s]
Jobs: 4 (f=4): [R(4)][43.8%][r=1566MiB/s][r=401k IOPS][eta 01m:08s]
Jobs: 4 (f=4): [R(4)][44.6%][r=1419MiB/s][r=363k IOPS][eta 01m:07s]
Jobs: 4 (f=4): [R(4)][45.5%][r=1401MiB/s][r=359k IOPS][eta 01m:06s]
Jobs: 4 (f=4): [R(4)][46.3%][r=1249MiB/s][r=320k IOPS][eta 01m:05s]
Jobs: 4 (f=4): [R(4)][47.1%][r=1418MiB/s][r=363k IOPS][eta 01m:04s]
Jobs: 4 (f=4): [R(4)][47.9%][r=1501MiB/s][r=384k IOPS][eta 01m:03s]
Jobs: 4 (f=4): [R(4)][48.8%][r=1376MiB/s][r=352k IOPS][eta 01m:02s]
Jobs: 4 (f=4): [R(4)][49.6%][r=1423MiB/s][r=364k IOPS][eta 01m:01s]
Jobs: 4 (f=4): [R(4)][50.4%][r=1389MiB/s][r=356k IOPS][eta 01m:00s]
Jobs: 4 (f=4): [R(4)][51.2%][r=1438MiB/s][r=368k IOPS][eta 00m:59s]
Jobs: 4 (f=4): [R(4)][52.1%][r=1348MiB/s][r=345k IOPS][eta 00m:58s]
Jobs: 4 (f=4): [R(4)][52.9%][r=1506MiB/s][r=386k IOPS][eta 00m:57s]
Jobs: 4 (f=4): [R(4)][53.7%][r=1132MiB/s][r=290k IOPS][eta 00m:56s]
Jobs: 4 (f=4): [R(4)][54.5%][r=1401MiB/s][r=359k IOPS][eta 00m:55s]
Jobs: 4 (f=4): [R(4)][55.4%][r=1465MiB/s][r=375k IOPS][eta 00m:54s]
Jobs: 4 (f=4): [R(4)][56.2%][r=1608MiB/s][r=412k IOPS][eta 00m:53s]
Jobs: 4 (f=4): [R(4)][57.0%][r=1406MiB/s][r=360k IOPS][eta 00m:52s]
Jobs: 4 (f=4): [R(4)][57.9%][r=1313MiB/s][r=336k IOPS][eta 00m:51s]
Jobs: 4 (f=4): [R(4)][58.7%][r=1412MiB/s][r=361k IOPS][eta 00m:50s]
Jobs: 4 (f=4): [R(4)][59.5%][r=1451MiB/s][r=371k IOPS][eta 00m:49s]
Jobs: 4 (f=4): [R(4)][61.2%][r=1313MiB/s][r=336k IOPS][eta 00m:47s]
Jobs: 4 (f=4): [R(4)][62.0%][r=1417MiB/s][r=363k IOPS][eta 00m:46s]
Jobs: 4 (f=4): [R(4)][62.8%][r=1612MiB/s][r=413k IOPS][eta 00m:45s]
Jobs: 4 (f=4): [R(4)][63.6%][r=1386MiB/s][r=355k IOPS][eta 00m:44s]
Jobs: 4 (f=4): [R(4)][64.5%][r=1345MiB/s][r=344k IOPS][eta 00m:43s]
Jobs: 4 (f=4): [R(4)][65.3%][r=1228MiB/s][r=314k IOPS][eta 00m:42s]
Jobs: 4 (f=4): [R(4)][66.1%][r=1653MiB/s][r=423k IOPS][eta 00m:41s]
Jobs: 4 (f=4): [R(4)][66.9%][r=1395MiB/s][r=357k IOPS][eta 00m:40s]
Jobs: 4 (f=4): [R(4)][67.8%][r=1373MiB/s][r=351k IOPS][eta 00m:39s]
Jobs: 4 (f=4): [R(4)][68.6%][r=1395MiB/s][r=357k IOPS][eta 00m:38s]
Jobs: 4 (f=4): [R(4)][69.4%][r=1344MiB/s][r=344k IOPS][eta 00m:37s]
Jobs: 4 (f=4): [R(4)][70.2%][r=1487MiB/s][r=381k IOPS][eta 00m:36s]
Jobs: 4 (f=4): [R(4)][71.1%][r=1404MiB/s][r=359k IOPS][eta 00m:35s]
Jobs: 4 (f=4): [R(4)][71.9%][r=1142MiB/s][r=292k IOPS][eta 00m:34s]
Jobs: 4 (f=4): [R(4)][72.7%][r=1586MiB/s][r=406k IOPS][eta 00m:33s]
Jobs: 4 (f=4): [R(4)][73.6%][r=1402MiB/s][r=359k IOPS][eta 00m:32s]
Jobs: 4 (f=4): [R(4)][74.4%][r=1458MiB/s][r=373k IOPS][eta 00m:31s]
Jobs: 4 (f=4): [R(4)][75.2%][r=1382MiB/s][r=354k IOPS][eta 00m:30s]
Jobs: 4 (f=4): [R(4)][76.0%][r=1464MiB/s][r=375k IOPS][eta 00m:29s]
Jobs: 4 (f=4): [R(4)][77.5%][r=1355MiB/s][r=347k IOPS][eta 00m:27s]
Jobs: 4 (f=4): [R(4)][78.3%][r=1282MiB/s][r=328k IOPS][eta 00m:26s]
Jobs: 4 (f=4): [R(4)][79.2%][r=1292MiB/s][r=331k IOPS][eta 00m:25s]
Jobs: 4 (f=4): [R(4)][80.0%][r=1411MiB/s][r=361k IOPS][eta 00m:24s]
Jobs: 4 (f=4): [R(4)][80.8%][r=1606MiB/s][r=411k IOPS][eta 00m:23s]
Jobs: 4 (f=4): [R(4)][81.7%][r=1310MiB/s][r=335k IOPS][eta 00m:22s]
Jobs: 4 (f=4): [R(4)][82.5%][r=1393MiB/s][r=357k IOPS][eta 00m:21s]
Jobs: 4 (f=4): [R(4)][83.3%][r=1368MiB/s][r=350k IOPS][eta 00m:20s]
Jobs: 4 (f=4): [R(4)][84.2%][r=1462MiB/s][r=374k IOPS][eta 00m:19s]
Jobs: 4 (f=4): [R(4)][85.0%][r=1326MiB/s][r=339k IOPS][eta 00m:18s]
Jobs: 4 (f=4): [R(4)][85.8%][r=1620MiB/s][r=415k IOPS][eta 00m:17s]
Jobs: 4 (f=4): [R(4)][86.7%][r=1357MiB/s][r=347k IOPS][eta 00m:16s]
Jobs: 4 (f=4): [R(4)][87.5%][r=1264MiB/s][r=324k IOPS][eta 00m:15s]
Jobs: 4 (f=4): [R(4)][88.3%][r=1362MiB/s][r=349k IOPS][eta 00m:14s]
Jobs: 4 (f=4): [R(4)][89.2%][r=1389MiB/s][r=356k IOPS][eta 00m:13s]
Jobs: 4 (f=4): [R(4)][90.0%][r=1564MiB/s][r=400k IOPS][eta 00m:12s]
Jobs: 4 (f=4): [R(4)][90.8%][r=1400MiB/s][r=358k IOPS][eta 00m:11s]
Jobs: 4 (f=4): [R(4)][91.7%][r=1261MiB/s][r=323k IOPS][eta 00m:10s]
Jobs: 4 (f=4): [R(4)][92.5%][r=1591MiB/s][r=407k IOPS][eta 00m:09s]
Jobs: 4 (f=4): [R(4)][93.3%][r=1412MiB/s][r=362k IOPS][eta 00m:08s]
Jobs: 4 (f=4): [R(4)][94.2%][r=1296MiB/s][r=332k IOPS][eta 00m:07s]
Jobs: 4 (f=4): [R(4)][95.0%][r=1488MiB/s][r=381k IOPS][eta 00m:06s]
Jobs: 4 (f=4): [R(4)][95.8%][r=1191MiB/s][r=305k IOPS][eta 00m:05s]
Jobs: 4 (f=4): [R(4)][96.7%][r=1418MiB/s][r=363k IOPS][eta 00m:04s]
Jobs: 4 (f=4): [R(4)][98.3%][r=1463MiB/s][r=374k IOPS][eta 00m:02s]
Jobs: 4 (f=4): [R(4)][99.2%][r=1291MiB/s][r=330k IOPS][eta 00m:01s]
Jobs: 4 (f=4): [R(4)][100.0%][r=1412MiB/s][r=361k IOPS][eta 00m:00s]
iops-test-job: (groupid=0, jobs=4): err= 0: pid=14954: Mon Apr 22 07:06:36 2024
  read: IOPS=360k, BW=1408MiB/s (1476MB/s)(165GiB/120001msec)
    slat (nsec): min=1072, max=2386.6k, avg=7330.83, stdev=12773.30
    clat (usec): min=175, max=260820, avg=2833.59, stdev=10392.72
     lat (usec): min=198, max=260823, avg=2841.05, stdev=10392.58
    clat percentiles (usec):
     |  1.00th=[   627],  5.00th=[  1156], 10.00th=[  1401], 20.00th=[  1696],
     | 30.00th=[  1876], 40.00th=[  2057], 50.00th=[  2212], 60.00th=[  2376],
     | 70.00th=[  2573], 80.00th=[  2868], 90.00th=[  3294], 95.00th=[  3752],
     | 99.00th=[  5473], 99.50th=[  6783], 99.90th=[206570], 99.95th=[210764],
     | 99.99th=[248513]
   bw (  MiB/s): min=  705, max= 2085, per=100.00%, avg=1408.05, stdev=79.86, samples=956
   iops        : min=180638, max=533958, avg=360459.83, stdev=20444.23, samples=956
  lat (usec)   : 250=0.01%, 500=0.55%, 750=1.00%, 1000=1.76%
  lat (msec)   : 2=33.59%, 4=59.38%, 10=3.42%, 20=0.02%, 50=0.03%
  lat (msec)   : 100=0.01%, 250=0.24%, 500=0.01%
  cpu          : usr=6.22%, sys=67.87%, ctx=1458981, majf=0, minf=1083
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.1%
     issued rwts: total=43243975,0,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=256

Run status group 0 (all jobs):
   READ: bw=1408MiB/s (1476MB/s), 1408MiB/s-1408MiB/s (1476MB/s-1476MB/s), io=165GiB (177GB), run=120001-120001msec

```

### IOPS パフォーマンス・テスト結果

IOPS パフォーマンスは、次の iops 行を見ると、max=533958、avg=360459.83 であることを確認できます。

```
   iops        : min=180638, max=533958, avg=360459.83, stdev=20444.23, samples=956
```

# 付録：「より高いパフォーマンス」の IOPS パフォーマンス・テスト結果

ブロック・ボリューム「より高いパフォーマンス」（VPU：20）オプションは、75 IOPS/GBで、ボリューム当たり最大50,000 IOPSまでの線形パフォーマンス・スケールを提供します。

[より高いパフォーマンス ブロック・ボリュームの詳細](https://docs.oracle.com/ja-jp/iaas/Content/Block/Concepts/blockvolumehigherperformance.htm)

アタッチされたすべてのブロック・ボリュームのパフォーマンス VPU：30 を VPU：20 に変更し、IOPSをもう一度テストしてみました。

![Snipaste_2024-04-23_11-05-45.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2534261/d139ed8a-3acf-9177-bdb1-535fe34d5784.png)


```
[root@iops-test ~]# fio --filename=/dev/volgroup01/striped_logical_volume --direct=1 --rw=read --bs=4k --ioengine=libaio --iodepth=256 --runtime=120 --numjobs=4 --time_based --group_reporting --name=iops-test-job --eta-newline=1 --readonly
iops-test-job: (g=0): rw=read, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=256
...
fio-3.19
Starting 4 processes
Jobs: 4 (f=4): [R(4)][2.5%][r=1717MiB/s][r=440k IOPS][eta 01m:58s]
Jobs: 4 (f=4): [R(4)][3.3%][r=1457MiB/s][r=373k IOPS][eta 01m:57s]
Jobs: 4 (f=4): [R(4)][4.1%][r=1532MiB/s][r=392k IOPS][eta 01m:56s]
Jobs: 4 (f=4): [R(4)][5.0%][r=1353MiB/s][r=346k IOPS][eta 01m:55s]
Jobs: 4 (f=4): [R(4)][5.8%][r=1526MiB/s][r=391k IOPS][eta 01m:54s]
Jobs: 4 (f=4): [R(4)][7.4%][r=1565MiB/s][r=401k IOPS][eta 01m:52s]
Jobs: 4 (f=4): [R(4)][8.3%][r=1290MiB/s][r=330k IOPS][eta 01m:51s]
Jobs: 4 (f=4): [R(4)][9.1%][r=1558MiB/s][r=399k IOPS][eta 01m:50s]
Jobs: 4 (f=4): [R(4)][9.9%][r=1345MiB/s][r=344k IOPS][eta 01m:49s]
Jobs: 4 (f=4): [R(4)][11.6%][r=1470MiB/s][r=376k IOPS][eta 01m:47s]
Jobs: 4 (f=4): [R(4)][12.4%][r=1377MiB/s][r=353k IOPS][eta 01m:46s]
Jobs: 4 (f=4): [R(4)][13.2%][r=1379MiB/s][r=353k IOPS][eta 01m:45s]
Jobs: 4 (f=4): [R(4)][14.0%][r=1380MiB/s][r=353k IOPS][eta 01m:44s]
Jobs: 4 (f=4): [R(4)][14.9%][r=1398MiB/s][r=358k IOPS][eta 01m:43s]
Jobs: 4 (f=4): [R(4)][15.7%][r=1419MiB/s][r=363k IOPS][eta 01m:42s]
Jobs: 4 (f=4): [R(4)][16.5%][r=1405MiB/s][r=360k IOPS][eta 01m:41s]
Jobs: 4 (f=4): [R(4)][17.4%][r=1408MiB/s][r=361k IOPS][eta 01m:40s]
Jobs: 4 (f=4): [R(4)][18.2%][r=1336MiB/s][r=342k IOPS][eta 01m:39s]
Jobs: 4 (f=4): [R(4)][19.0%][r=1367MiB/s][r=350k IOPS][eta 01m:38s]
Jobs: 4 (f=4): [R(4)][19.8%][r=1387MiB/s][r=355k IOPS][eta 01m:37s]
Jobs: 4 (f=4): [R(4)][20.7%][r=1595MiB/s][r=408k IOPS][eta 01m:36s]
Jobs: 4 (f=4): [R(4)][21.5%][r=1321MiB/s][r=338k IOPS][eta 01m:35s]
Jobs: 4 (f=4): [R(4)][22.3%][r=1261MiB/s][r=323k IOPS][eta 01m:34s]
Jobs: 4 (f=4): [R(4)][24.0%][r=1634MiB/s][r=418k IOPS][eta 01m:32s]
Jobs: 4 (f=4): [R(4)][24.8%][r=1268MiB/s][r=325k IOPS][eta 01m:31s]
Jobs: 4 (f=4): [R(4)][25.6%][r=1504MiB/s][r=385k IOPS][eta 01m:30s]
Jobs: 4 (f=4): [R(4)][26.4%][r=1378MiB/s][r=353k IOPS][eta 01m:29s]
Jobs: 4 (f=4): [R(4)][28.1%][r=1282MiB/s][r=328k IOPS][eta 01m:27s]
Jobs: 4 (f=4): [R(4)][28.9%][r=1443MiB/s][r=369k IOPS][eta 01m:26s]
Jobs: 4 (f=4): [R(4)][29.8%][r=1401MiB/s][r=359k IOPS][eta 01m:25s]
Jobs: 4 (f=4): [R(4)][30.6%][r=1446MiB/s][r=370k IOPS][eta 01m:24s]
Jobs: 4 (f=4): [R(4)][31.4%][r=1364MiB/s][r=349k IOPS][eta 01m:23s]
Jobs: 4 (f=4): [R(4)][32.2%][r=1459MiB/s][r=374k IOPS][eta 01m:22s]
Jobs: 4 (f=4): [R(4)][33.1%][r=1371MiB/s][r=351k IOPS][eta 01m:21s]
Jobs: 4 (f=4): [R(4)][33.9%][r=1539MiB/s][r=394k IOPS][eta 01m:20s]
Jobs: 4 (f=4): [R(4)][34.7%][r=1295MiB/s][r=331k IOPS][eta 01m:19s]
Jobs: 4 (f=4): [R(4)][36.4%][r=1442MiB/s][r=369k IOPS][eta 01m:17s]
Jobs: 4 (f=4): [R(4)][37.2%][r=1480MiB/s][r=379k IOPS][eta 01m:16s]
Jobs: 4 (f=4): [R(4)][38.0%][r=1559MiB/s][r=399k IOPS][eta 01m:15s]
Jobs: 4 (f=4): [R(4)][38.8%][r=1159MiB/s][r=297k IOPS][eta 01m:14s]
Jobs: 4 (f=4): [R(4)][39.7%][r=1443MiB/s][r=369k IOPS][eta 01m:13s]
Jobs: 4 (f=4): [R(4)][40.5%][r=1415MiB/s][r=362k IOPS][eta 01m:12s]
Jobs: 4 (f=4): [R(4)][41.3%][r=1440MiB/s][r=369k IOPS][eta 01m:11s]
Jobs: 4 (f=4): [R(4)][42.1%][r=1329MiB/s][r=340k IOPS][eta 01m:10s]
Jobs: 4 (f=4): [R(4)][43.8%][r=1339MiB/s][r=343k IOPS][eta 01m:08s]
Jobs: 4 (f=4): [R(4)][44.6%][r=1393MiB/s][r=357k IOPS][eta 01m:07s]
Jobs: 4 (f=4): [R(4)][45.5%][r=1453MiB/s][r=372k IOPS][eta 01m:06s]
Jobs: 4 (f=4): [R(4)][46.3%][r=1407MiB/s][r=360k IOPS][eta 01m:05s]
Jobs: 4 (f=4): [R(4)][47.1%][r=1496MiB/s][r=383k IOPS][eta 01m:04s]
Jobs: 4 (f=4): [R(4)][47.9%][r=1486MiB/s][r=380k IOPS][eta 01m:03s]
Jobs: 4 (f=4): [R(4)][48.8%][r=1401MiB/s][r=359k IOPS][eta 01m:02s]
Jobs: 4 (f=4): [R(4)][49.6%][r=1420MiB/s][r=364k IOPS][eta 01m:01s]
Jobs: 4 (f=4): [R(4)][50.4%][r=1347MiB/s][r=345k IOPS][eta 01m:00s]
Jobs: 4 (f=4): [R(4)][52.1%][r=1184MiB/s][r=303k IOPS][eta 00m:58s]
Jobs: 4 (f=4): [R(4)][53.7%][r=1504MiB/s][r=385k IOPS][eta 00m:56s]
Jobs: 4 (f=4): [R(4)][54.5%][r=1383MiB/s][r=354k IOPS][eta 00m:55s]
Jobs: 4 (f=4): [R(4)][55.4%][r=1280MiB/s][r=328k IOPS][eta 00m:54s]
Jobs: 4 (f=4): [R(4)][56.2%][r=1387MiB/s][r=355k IOPS][eta 00m:53s]
Jobs: 4 (f=4): [R(4)][57.0%][r=1356MiB/s][r=347k IOPS][eta 00m:52s]
Jobs: 4 (f=4): [R(4)][57.9%][r=1556MiB/s][r=398k IOPS][eta 00m:51s]
Jobs: 4 (f=4): [R(4)][58.7%][r=1426MiB/s][r=365k IOPS][eta 00m:50s]
Jobs: 4 (f=4): [R(4)][59.5%][r=1349MiB/s][r=345k IOPS][eta 00m:49s]
Jobs: 4 (f=4): [R(4)][60.3%][r=1442MiB/s][r=369k IOPS][eta 00m:48s]
Jobs: 4 (f=4): [R(4)][61.2%][r=1380MiB/s][r=353k IOPS][eta 00m:47s]
Jobs: 4 (f=4): [R(4)][62.0%][r=1261MiB/s][r=323k IOPS][eta 00m:46s]
Jobs: 4 (f=4): [R(4)][62.8%][r=1492MiB/s][r=382k IOPS][eta 00m:45s]
Jobs: 4 (f=4): [R(4)][63.6%][r=1488MiB/s][r=381k IOPS][eta 00m:44s]
Jobs: 4 (f=4): [R(4)][64.5%][r=1373MiB/s][r=352k IOPS][eta 00m:43s]
Jobs: 4 (f=4): [R(4)][65.3%][r=1189MiB/s][r=304k IOPS][eta 00m:42s]
Jobs: 4 (f=4): [R(4)][66.1%][r=1603MiB/s][r=410k IOPS][eta 00m:41s]
Jobs: 4 (f=4): [R(4)][66.9%][r=1256MiB/s][r=322k IOPS][eta 00m:40s]
Jobs: 4 (f=4): [R(4)][67.8%][r=1638MiB/s][r=419k IOPS][eta 00m:39s]
Jobs: 4 (f=4): [R(4)][68.6%][r=1192MiB/s][r=305k IOPS][eta 00m:38s]
Jobs: 4 (f=4): [R(4)][69.4%][r=1438MiB/s][r=368k IOPS][eta 00m:37s]
Jobs: 4 (f=4): [R(4)][70.2%][r=1483MiB/s][r=380k IOPS][eta 00m:36s]
Jobs: 4 (f=4): [R(4)][71.1%][r=1369MiB/s][r=350k IOPS][eta 00m:35s]
Jobs: 4 (f=4): [R(4)][71.9%][r=1471MiB/s][r=377k IOPS][eta 00m:34s]
Jobs: 4 (f=4): [R(4)][72.7%][r=1439MiB/s][r=368k IOPS][eta 00m:33s]
Jobs: 4 (f=4): [R(4)][73.6%][r=1368MiB/s][r=350k IOPS][eta 00m:32s]
Jobs: 4 (f=4): [R(4)][74.4%][r=1387MiB/s][r=355k IOPS][eta 00m:31s]
Jobs: 4 (f=4): [R(4)][75.2%][r=1245MiB/s][r=319k IOPS][eta 00m:30s]
Jobs: 4 (f=4): [R(4)][76.0%][r=1426MiB/s][r=365k IOPS][eta 00m:29s]
Jobs: 4 (f=4): [R(4)][76.9%][r=1506MiB/s][r=386k IOPS][eta 00m:28s]
Jobs: 4 (f=4): [R(4)][77.7%][r=1280MiB/s][r=328k IOPS][eta 00m:27s]
Jobs: 4 (f=4): [R(4)][79.2%][r=1553MiB/s][r=398k IOPS][eta 00m:25s]
Jobs: 4 (f=4): [R(4)][80.0%][r=1299MiB/s][r=333k IOPS][eta 00m:24s]
Jobs: 4 (f=4): [R(4)][80.8%][r=1526MiB/s][r=391k IOPS][eta 00m:23s]
Jobs: 4 (f=4): [R(4)][81.7%][r=1462MiB/s][r=374k IOPS][eta 00m:22s]
Jobs: 4 (f=4): [R(4)][82.5%][r=1353MiB/s][r=346k IOPS][eta 00m:21s]
Jobs: 4 (f=4): [R(4)][84.2%][r=1379MiB/s][r=353k IOPS][eta 00m:19s]
Jobs: 4 (f=4): [R(4)][85.0%][r=1339MiB/s][r=343k IOPS][eta 00m:18s]
Jobs: 4 (f=4): [R(4)][85.8%][r=1361MiB/s][r=348k IOPS][eta 00m:17s]
Jobs: 4 (f=4): [R(4)][86.7%][r=1318MiB/s][r=337k IOPS][eta 00m:16s]
Jobs: 4 (f=4): [R(4)][87.5%][r=1419MiB/s][r=363k IOPS][eta 00m:15s]
Jobs: 4 (f=4): [R(4)][88.3%][r=1448MiB/s][r=371k IOPS][eta 00m:14s]
Jobs: 4 (f=4): [R(4)][89.2%][r=1538MiB/s][r=394k IOPS][eta 00m:13s]
Jobs: 4 (f=4): [R(4)][90.0%][r=1134MiB/s][r=290k IOPS][eta 00m:12s]
Jobs: 4 (f=4): [R(4)][90.8%][r=1566MiB/s][r=401k IOPS][eta 00m:11s]
Jobs: 4 (f=4): [R(4)][91.7%][r=1443MiB/s][r=369k IOPS][eta 00m:10s]
Jobs: 4 (f=4): [R(4)][92.5%][r=1472MiB/s][r=377k IOPS][eta 00m:09s]
Jobs: 4 (f=4): [R(4)][93.3%][r=1235MiB/s][r=316k IOPS][eta 00m:08s]
Jobs: 4 (f=4): [R(4)][94.2%][r=1407MiB/s][r=360k IOPS][eta 00m:07s]
Jobs: 4 (f=4): [R(4)][95.0%][r=1382MiB/s][r=354k IOPS][eta 00m:06s]
Jobs: 4 (f=4): [R(4)][96.7%][r=1477MiB/s][r=378k IOPS][eta 00m:04s]
Jobs: 4 (f=4): [R(4)][97.5%][r=1391MiB/s][r=356k IOPS][eta 00m:03s]
Jobs: 4 (f=4): [R(4)][99.2%][r=1394MiB/s][r=357k IOPS][eta 00m:01s]
Jobs: 4 (f=4): [R(4)][100.0%][r=1242MiB/s][r=318k IOPS][eta 00m:00s]
iops-test-job: (groupid=0, jobs=4): err= 0: pid=8886: Tue Apr 23 03:11:40 2024
  read: IOPS=361k, BW=1409MiB/s (1477MB/s)(165GiB/120001msec)
    slat (nsec): min=1081, max=2735.1k, avg=7068.71, stdev=12244.34
    clat (usec): min=175, max=261563, avg=2831.68, stdev=10547.13
     lat (usec): min=194, max=261567, avg=2838.87, stdev=10546.99
    clat percentiles (usec):
     |  1.00th=[   519],  5.00th=[   947], 10.00th=[  1254], 20.00th=[  1614],
     | 30.00th=[  1844], 40.00th=[  2040], 50.00th=[  2212], 60.00th=[  2376],
     | 70.00th=[  2573], 80.00th=[  2868], 90.00th=[  3392], 95.00th=[  3916],
     | 99.00th=[  5669], 99.50th=[  6915], 99.90th=[206570], 99.95th=[210764],
     | 99.99th=[248513]
   bw (  MiB/s): min=  703, max= 2133, per=100.00%, avg=1410.04, stdev=80.11, samples=956
   iops        : min=180122, max=546200, avg=360970.53, stdev=20507.11, samples=956
  lat (usec)   : 250=0.01%, 500=0.89%, 750=1.93%, 1000=2.91%
  lat (msec)   : 2=32.34%, 4=57.36%, 10=4.25%, 20=0.03%, 50=0.03%
  lat (msec)   : 100=0.01%, 250=0.25%, 500=0.01%
  cpu          : usr=6.39%, sys=65.13%, ctx=1795198, majf=0, minf=1082
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.1%
     issued rwts: total=43277400,0,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=256

Run status group 0 (all jobs):
   READ: bw=1409MiB/s (1477MB/s), 1409MiB/s-1409MiB/s (1477MB/s-1477MB/s), io=165GiB (177GB), run=120001-120001msec
```

IOPS パフォーマンスは、次の iops 行を見ると、max=546200, avg=360970.53 であることを確認できます。

```
   iops        : min=180122, max=546200, avg=360970.53, stdev=20507.11, samples=956
```

超高パフォーマンス（VPU:30）のテスト結果（max=533958, avg=360459.83）とは、ほどんど変わっていません。それは、今回利用したインスタンスのネットワーク帯域幅 12 OCPU（12 Gbps、1536MiB/s）というボトルネックがあると考えています。