Laravel大量データ処理の最適化 

# はじめに
実務でLaravelでチャットシステムを開発した際に、大量のデータをデータベースに保存する処理があり、その際に行ったデータベースの最適化についての備忘録を残しておきます。今回はデータベース処理の最適化で使われるうちの、「チャンク処理」と「バルク処理」について説明していきます。間違っているところなどありましたら、易しくご教授いただけると大変ありがたいです。

# Eloquentモデル、チャンク処理、バルク処理の違い
それぞれの違いについて、詳細に解説をしますが、始めに主な違いについて表にまとめておきます。下の表を見てわかるように、この中ですとバルク処理が一番速度も速く低いメモリ量で処理をすることが可能です。

▼表
(例)10,000件のユーザーデータを登録する場合
| 方法 | クエリ数 | メモリ使用量 | 速度 | モデルイベント |
| ---- | ---- | ---- | ---- | ----
| Eloquentモデル | 10,000 | 高い | 非常に遅い |動作する|
| チャンク処理 | 依然として多い | 制御可能 | 中程度 |動作する|
| バルク操作 | 1〜10程度 | 低い | 非常に高速 |動作しない|


# Eloquentモデルでの処理
まず初めにLaravelでDB操作でよく使用されるEloquentモデルでの処理を確認してみます。1000件のユーザーデータをDBに挿入し、その際のメモリの消費量と速度を実際に確認します。
今回はデバッグでClockWorkを使用しています。


### 1. コードの準備
まず、ユーザーデータを1000件作成しデータベースに保存するコードを記述します。

▼特徴
- 各レコードごとにクエリが実行される(1000クエリ)
- 大量処理の場合は、処理が遅い
- トランザクション、タイムスタンプが自動的に処理される

```php
 // ユーザーデータを1000個生成する
$users = [];

for ($i = 1; $i <= 1000; $i++) {
    $username = 'user' . $i . '_' . substr(md5(mt_rand()), 0, 5);
    $email = 'user' . $i . '_' . substr(md5(mt_rand()), 0, 6) . '@example.com';
    
    $users[] = [
        'username' => $username,
        'email' => $email,
    ];
};


clock()->event('eloquent_operation')->begin('Eloquent全件取得');
// 1件ずつ保存
foreach ($users as $user) {
    ChatUser::create($user);
}
clock()->event('eloquent_operation')->end();
```

### 2. clockWorkで確認
▼処理速度・メモリ使用量

- 処理速度: **4562ms**
- メモリ使用量: **34MB**

![スクリーンショット 2025-02-20 222336.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3935088/4eda8edd-d622-4107-a45f-c880d51b4494.png)

▼データベース処理
- クエリ数: **1002件**
- データベース処理時間: **3457ms**

![スクリーンショット 2025-02-20 222540.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3935088/1f07de67-f989-4d1e-8084-6ce23c82e15b.png)


# チャンク処理
続いて、チャンク処理を確認してみます。チャンク処理とは**大量のデータを小さなグループに分割して処理する**方法のことを指します。

### 1. コードの準備
先程と同じようにユーザーデータを1000件作成しデータベースに保存するコードを記述します。

▼特徴
- メモリ使用量を制御できる
- 大量データでもタイムアウトしにくい
- モデルの機能は維持される
- **各レコード単位でのクエリは依然として発生する**

```php
// チャンク処理
clock()->event('chunk_operation')->begin('チャンク処理');

// 全データを一度に生成せず、チャンクごとに処理
for ($chunk = 0; $chunk < 50; $chunk++) { // 20件×50=1000件
    // このチャンクのデータだけを生成
    $chunk_users = [];
    for ($i = 1; $i <= 20; $i++) {
        $index = $chunk * 20 + $i;
        $chunk_users[] = [
            'username' => 'user' . $index . '_' . substr(md5(mt_rand()), 0, 5),
            'email' => 'user' . $index . '_' . substr(md5(mt_rand()), 0, 6) . '@example.com',
        ];
    }
    
    foreach ($chunk_users as $user) {
        ChatUser::create($user);
    }
    
    // チャンク処理後にメモリを解放
    unset($chunk_users);
}

clock()->event('chunk_operation')->end();
```

### 2. clockWorkで確認
▼処理速度・メモリ使用量

- 処理速度: **3059ms**
- メモリ使用量: **32MB**

![スクリーンショット 2025-02-20 224218.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3935088/4da459a8-99a6-4a14-9a16-6eff635623c8.png)

▼データベース処理
- クエリ数: **1002件**
- データベース処理時間: **1911ms**

![スクリーンショット 2025-02-20 224230.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3935088/b8545a85-6420-4469-b783-00d1e4e3bf8e.png)


# バルク処理
続いて、バルク処理を確認してみます。バルク処理とは、**個別の操作をまとめて一括で行う方法**のことを指します。

### 1. コードの準備
先程と同じようにユーザーデータを1000件作成しデータベースに保存するコードを記述します。

▼特徴
- 最も高速（1回のクエリで多数のレコードを処理）
- クエリビルダを使用
- メモリ効率が良い
- **モデルイベントが発火しない**

```php
// ユーザーデータを1000個生成する
$users = [];

for ($i = 1; $i <= 1000; $i++) {
    $username = 'user' . $i . '_' . substr(md5(mt_rand()), 0, 5);
    $email = 'user' . $i . '_' . substr(md5(mt_rand()), 0, 6) . '@example.com';
        
    $users[] = [
        'username' => $username,
        'email' => $email,
    ];
};


// Clockworkでイベント計測
clock()->event('bulk_insert')->begin('バルク挿入処理');

// バルク挿入実行
DB::table('users')->insert($users);

clock()->event('bulk_insert')->end();
```

### 2. clockWorkで確認
▼処理速度・メモリ使用量

- 処理速度: **287ms**
- メモリ使用量: **22MB**

![スクリーンショット 2025-02-20 223159.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3935088/336fad69-2584-4ea7-aaa2-2ac5f58afa1c.png)



▼データベース処理
- クエリ数: **3件**
- データベース処理時間: **21ms**

![スクリーンショット 2025-02-20 223215.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3935088/614a5681-f076-4585-a474-f70dd113ad83.png)

# 結果まとめ
やはり一目瞭然でわかるように、今回はバルク処理がずば抜けて高速で、メモリ消費量も抑えられることがわかりました。今回は1000件のみのデータベース操作でしたが、10000件、それ以上にデータ数が増えていくと、違いがもっとわかるかと思います。

| 方法 | クエリ数 | メモリ使用量 | 速度 |
| ---- | ---- | ---- | ---- | 
| Eloquentモデル | 1002件 | 34MB | 4562ms |
| チャンク処理 | 1002件 | 32MB | 3059ms | 
| バルク操作 | 3件 | 22MB | 287ms |

# いつどの処理を使うべきか
紹介した3つの方法で、どの場面でその処理が適しているのでしょうか？いろいろ意見はあると思いますが、何点か挙げていきます。

### 1. Eloquentモデル
(例)ユーザー登録時（イベント発火、バリデーションが必要）
- 少量のデータ処理(数百件程度)
- モデルイベント、リレーションなどが重要
- 開発の読みやすさなどを優先する

### 2. チャンク処理
(例)数万件のユーザーにポイント付与
- 大量データの読み取りと処理（数千〜数万件）
- メモリ使用量を制限する必要がある
- モデル機能を維持しながら大量データを扱う

### 3. バルク処理
(例)数十万件の商品データ一括保存
- 非常に大量のデータ操作（数万〜数百万件）
- 最高速のパフォーマンスが必要
- シンプルな一括操作（挿入/更新/削除）

# おわりに
データベースの最適化はまだまだ多くの手法があると思うので、引き続き学んでいきたいと思います。最後までご覧いただきありがとうございました！