ループ処理を行った際のCPUの負荷

[Laravelでスケジュールの並列実行](https://qiita.com/horikeso/items/952c6141b6264ee839ea)で並列処理バッチを作ってみて
どんな感じの負荷にになるのかと思い試してみました。

同時実行数を増やしても均等に割り振られているようなので問題ないのかもしれませんが、CPUに負荷はかかっているみたいなのでスリープを入れてやると良いのかもしれません。（**システム周りについては全くの素人ですので見当違いなことを記載しているかもしれませんし、どのように対応すべきなのかはわかりません。**）

後述の実行結果から

* スクレイピング等のバッチでは取得までに時間がかかるのでCPUの負荷はあまり気にしなくても良いかもしれません。

* 容量の大きいCSV等のファイルを処理する場合は試していませんが行を取得するのに時間はかからないような気がしますのでその際は10ミリ秒程のスリープを入れてやると良いかもしれません。(バッチとして行うので時間は長くなっても構わない前提です。単純に1行10ミリ秒とすると200万行では5時間30分ほどになります)

**追記**

NI（Nice値）が低いほど優先度が高い。
-20（優先度高い）～19（低い） デフォルト0
システムに関わる重要なプロセスは優先度が高くなっている。
均等割になったのはNIが同じだから。
バッチ等でロードアベレージだけが高くなるのは問題がない。（きちんとCPUが使い切れている）
なので処理実行時のみCPU使用率だけが高いのは問題ないそうです。
バッチ処理はNice値を大きくしておくと尚良いらしいです。


## 同時実行数を1つで実行してみる

```php
protected function schedule(Schedule $schedule)
{
    $time = Carbon::now()->format('H:i');

    $schedule->command('command:batch 1')->dailyAt($time)->runInBackground();
}
```

処理内容

```php
public function handle()
{
    $id = $this->argument('id');
    $save_file_path = __DIR__.'/save'.(string)$id.'.csv';
    $file = new \SplFileObject($save_file_path, 'w');// ファイルは作成してくれます。

    $row = ['dataA', 'data,B', 'data"C'];

    for ($i = 0; $i < 10000000; $i++)
    {
        $file->fputcsv($row);
    }
}
```

```
# top
top - 01:54:54 up  2:38,  0 users,  load average: 0.95, 0.48, 0.48
Tasks:  36 total,   2 running,  34 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us, 53.4 sy,  0.0 ni, 46.6 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  1019648 total,   219500 free,   358640 used,   441508 buff/cache
KiB Swap:  1162264 total,  1140644 free,    21620 used.   237744 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
 1114 root      20   0  293360  40952  16444 R 52.7  4.0   1:30.39 php
```

# 同時実行数を3つで実行してみる

```php
protected function schedule(Schedule $schedule)
{
    $time = Carbon::now()->format('H:i');

    $schedule->command('command:batch 1')->dailyAt($time)->runInBackground();
    $schedule->command('command:batch 2')->dailyAt($time)->runInBackground();
    $schedule->command('command:batch 3')->dailyAt($time)->runInBackground();
}
```

```
# top
top - 01:03:06 up  1:46,  0 users,  load average: 3.00, 2.91, 1.97
Tasks:  40 total,   4 running,  36 sleeping,   0 stopped,   0 zombie
%Cpu(s):  1.7 us, 97.7 sy,  0.0 ni,  0.6 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  1019648 total,    70216 free,   417968 used,   531464 buff/cache
KiB Swap:  1162264 total,  1161736 free,      528 used.   169580 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
  597 root      20   0  293360  40736  16228 R 32.6  4.0   5:11.17 php
  599 root      20   0  293360  40860  16352 R 32.6  4.0   5:11.15 php
  602 root      20   0  293360  40716  16204 R 32.6  4.0   5:11.12 php
```

## 同時実行数を6つで実行してみる

```php
protected function schedule(Schedule $schedule)
{
    $time = Carbon::now()->format('H:i');

    $schedule->command('command:batch 1')->dailyAt($time)->runInBackground();
    $schedule->command('command:batch 2')->dailyAt($time)->runInBackground();
    $schedule->command('command:batch 3')->dailyAt($time)->runInBackground();
    $schedule->command('command:batch 4')->dailyAt($time)->runInBackground();
    $schedule->command('command:batch 5')->dailyAt($time)->runInBackground();
    $schedule->command('command:batch 6')->dailyAt($time)->runInBackground();
}
```

```
# top
top - 01:15:43 up  1:59,  0 users,  load average: 6.07, 4.15, 2.62
Tasks:  46 total,   7 running,  39 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.3 us, 99.3 sy,  0.0 ni,  0.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  1019648 total,    84728 free,   488796 used,   446124 buff/cache
KiB Swap:  1162264 total,  1145304 free,    16960 used.   104888 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
  789 root      20   0  293360  40692  16188 R 16.7  4.0   0:49.57 php
  795 root      20   0  293360  40880  16312 R 16.7  4.0   0:49.55 php
  800 root      20   0  293360  40936  16368 R 16.7  4.0   0:49.54 php
  785 root      20   0  293360  40684  16176 R 16.3  4.0   0:49.56 php
  791 root      20   0  293360  40948  16440 R 16.3  4.0   0:49.55 php
  798 root      20   0  293360  40832  16328 R 16.3  4.0   0:49.55 php
```

## 同時実行数を6つでループ処理の中に1ミリ秒のスリープを入れて実行してみる

処理内容

```php
public function handle()
{
    $id = $this->argument('id');
    $save_file_path = __DIR__.'/save'.(string)$id.'.csv';
    $file = new \SplFileObject($save_file_path, 'w');// ファイルは作成してくれます。

    $row = ['dataA', 'dataB', 'dataC'];

    for ($i = 0; $i < 10000000; $i++)
    {
        usleep(1000);// 1ミリ秒
        $file->fputcsv($row);
    }
}
```

```
# top
top - 01:34:58 up  2:18,  0 users,  load average: 0.69, 0.58, 1.05
Tasks:  46 total,   7 running,  39 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us, 23.3 sy,  0.0 ni, 76.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  1019648 total,    83288 free,   489700 used,   446660 buff/cache
KiB Swap:  1162264 total,  1145324 free,    16940 used.   103676 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
  996 root      20   0  293360  40820  16312 R  4.3  4.0   0:19.27 php
 1003 root      20   0  293360  40776  16272 R  4.3  4.0   0:19.20 php
 1006 root      20   0  293360  41048  16480 R  4.3  4.0   0:19.24 php
  999 root      20   0  293360  40784  16276 R  4.0  4.0   0:19.24 php
 1009 root      20   0  293360  41108  16604 R  4.0  4.0   0:19.21 php
 1011 root      20   0  293360  40888  16380 R  4.0  4.0   0:19.26 php
```

## 同時実行数を6つでループ処理の中に10ミリ秒のスリープを入れて実行してみる

処理内容

```php
public function handle()
{
    $id = $this->argument('id');
    $save_file_path = __DIR__.'/save'.(string)$id.'.csv';
    $file = new \SplFileObject($save_file_path, 'w');// ファイルは作成してくれます。

    $row = ['dataA', 'dataB', 'dataC'];

    for ($i = 0; $i < 10000000; $i++)
    {
        usleep(10000);// 10ミリ秒
        $file->fputcsv($row);
    }
}
```

```
# top
top - 02:37:51 up  3:21,  0 users,  load average: 0.08, 0.23, 0.17
Tasks:  46 total,   7 running,  39 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us,  3.7 sy,  0.0 ni, 96.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  1019648 total,   157072 free,   431344 used,   431232 buff/cache
KiB Swap:  1162264 total,  1084464 free,    77800 used.   169756 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
 1285 root      20   0  293360  40876  16368 R  1.0  4.0   0:02.77 php
 1278 root      20   0  293360  41032  16524 R  0.7  4.0   0:02.76 php
 1281 root      20   0  293360  40900  16392 R  0.7  4.0   0:02.77 php
 1288 root      20   0  293360  40964  16456 R  0.7  4.0   0:02.76 php
 1291 root      20   0  293360  40952  16448 R  0.7  4.0   0:02.75 php
 1293 root      20   0  293360  40744  16236 R  0.7  4.0   0:02.74 php
```