機械学習のためのソフトウェアテスト入門

## はじめに

本記事では、**Kaggleや機械学習プロジェクトで「今すぐ活用できる」テストコードのレシピ**を紹介します。型チェック、入出力の検証、再現性確保、データやモデル出力の妥当性確認など、基本的かつ汎用的な手法をまとめました。これらを導入することで、開発効率と品質が大幅に向上します。


## なぜ「ソフトウェアテスト」が必要なのか

機械学習の分野で「テスト」と聞くと、モデル評価（ホールドアウトや交差検証）が思い浮かびます。もちろんこれらは重要ですが、日々の開発サイクルでは、モデル・データ・コードを安定的に改善・運用するためのソフトウェアテストが求められます。

以下のような経験はありませんか？

- 前処理を少し変えたらモデル出力が意図せぬ形に変化してしまった 
- データのshapeやdtypeが想定外になっていた  
- パラメータ（コンフィグ）を更新したが、変更が狙い通りに反映されているか不明  
- 乱数シードを固定したはずなのに結果が再現できなくなった

これらは、モデル以外の領域（データ、コード）でも基礎的なテストを行えば未然に防げることが多くあります。



## 機械学習プロジェクトにおける3つのテスト対象

機械学習開発では、主に以下の3つの観点でテストを考えられます。



### 1. モデルのテスト
機械学習プロジェクトやKaggleコンペの文脈で「テスト」といえば、真っ先に思い浮かぶのはモデル性能の評価でしょう。ホールドアウト法や交差検証法を用いてモデルの精度を測り、「Trust CV」「CVとLB（リーダーボード）スコアの相関を確認する」などはKaggle界隈でよく耳にするフレーズです。

モデル評価は、単にスコアを算出するだけではありません。エラー分析を通してモデルが苦手とするケースを把握したり、出力値の範囲や分布を確認したり、さらにはLLM（大規模言語モデル）の出力文字列が期待通りの制約を守っているかを検証するなど、多面的なテストが行われます。

この記事では、一般的なモデル評価手法そのものには深く踏み込みませんが、テストコードを用いたモデルテストの実践的な手法を紹介します。[「メタモルフィックテスト・ニューロンカバレッジ・最大安全半径」](https://qiita.com/mkt_hanada/items/c416d3d4494ecc4217e3)など、機械学習領域で議論される高度なテスト技術も、広義にはモデルテストに含まれます。

### 2. データのテスト  

モデルを支える土台としてデータの品質保証は不可欠です。「データテスト」は、欠損値や外れ値がないか、データ型や分布が期待通りになっているかを自動的に検証するプロセスを指します。EDA（探索的データ解析）で手動で確認していた事柄を、テストコードを活用して継続的かつ再現性のある形で行うことが可能です。


### 3. コードのテスト  
通常「テストコード」と聞くと、機能要件を満たしているかを検証するプロダクトコード用のテストを書くことを思い浮かべるでしょう。本記事では、この「コードのテスト」をメインテーマとして取り上げます。

前処理関数、ハイパーパラメータを管理するコンフィグ、メトリクス計算用のユーティリティ関数など、モデル周辺を支えるすべてのコードが正しく動作しているかを自動的に確認することで、開発効率と信頼性が飛躍的に高まります。


本記事では、これら3つの側面から、実用的なテストコードの書き方とサンプルコードを紹介します。


## ディレクトリ構成例

以下は、テストコードを整理する際の参考ディレクトリ構成です。
```
project/
├─ requirements.txt
├─ data/
│  ├─ processed_data.npy
│  └─ cleaned_data.csv
├─ scripts/
│  ├─ __init__.py
│  └─ generate_data.py
├─ src/
│  ├─ __init__.py
│  ├─ data_processing.py
│  ├─ models.py
│  └─ utils/
│     ├─ __init__.py
│     ├─ config.py
│     └─ metrics.py
└─ tests/
   ├─ __init__.py
   ├─ test_data/
   │  ├─ __init__.py
   │  ├─ test_numpy_data.py
   │  └─ test_pandas_data.py
   ├─ test_models/
   │  ├─ __init__.py
   │  └─ test_monotonic.py
   └─ test_code/
      ├─ __init__.py
      ├─ test_convert_data.py
      ├─ test_config.py
      ├─ test_random_seed.py
      ├─ test_standardize.py
      └─ test_custom_metric.py
```

詳細は、下記のGitHubレポジトリをご参照ください：

https://github.com/Isaka-code/ml-testing-recipes


## ソースコードの紹介

### テスト用データ生成スクリプト（`scripts/generate_data.py`）

```python
# scripts/generate_data.py
import numpy as np
import pandas as pd
import os

os.makedirs("data", exist_ok=True)

# Numpyデータ生成 (1000 x 20)
processed_data = np.random.rand(1000, 20)
np.save("data/processed_data.npy", processed_data)

# Pandasデータ生成
df = pd.DataFrame({
    "id": range(1000),
    "feature1": np.random.randn(1000),
    "feature2": np.random.randn(1000),
    "target": np.random.randint(0, 2, size=1000)
})
df.to_csv("data/cleaned_data.csv", index=False)

print("Data generated successfully.")
```

### プロダクトコード例

**データ前処理（`src/data_processing.py`）:**
```python
import numpy as np

def convert_data(input_data):
    return list(input_data)

def standardize(data):
    data = np.array(data, dtype=float)
    mean = np.mean(data)
    std = np.std(data)
    return (data - mean) / (std if std != 0 else 1.0)
```

**モデルクラス（`src/models.py`）:**
```python
class SimpleModel:
    def predict(self, x):
        return x * 1.0
```

**コンフィグクラス（`src/utils/config.py`）:**
```python
class Config:
    @classmethod
    def load(cls, path):
        c = cls()
        c.learning_rate = 0.01
        return c
```

**カスタムメトリクス（`src/utils/metrics.py`）:**
```python
def custom_metric(y_true, y_pred):
    correct = sum(t == p for t, p in zip(y_true, y_pred))
    return correct / len(y_true) if len(y_true) > 0 else 0.0
```

### テストコード例

**Numpyデータのテスト（`tests/test_data/test_numpy_data.py`）:**
データshapeが想定通りか、欠損値・NaNが混入していないかをチェックします。
また、CI環境などでデータがない場合はskipifでテストをスキップします。
```python
import os

import numpy as np
import pytest

DATA_PATH = "data/processed_data.npy"


@pytest.mark.skipif(not os.path.exists(DATA_PATH), reason="data file not found")
def test_numpy_data_shape():
    data = np.load(DATA_PATH)
    assert data.shape == (1000, 20), "入力データのshapeが想定と異なります"


@pytest.mark.skipif(not os.path.exists(DATA_PATH), reason="data file not found")
def test_numpy_data_no_nan():
    data = np.load(DATA_PATH)
    assert not np.isnan(data).any(), "NaNが含まれています"
```

**Pandasデータのテスト（`tests/test_data/test_pandas_data.py`）:**
列名やデータ型が期待通りか、欠損値がないかなどを検証します。
データがなければスキップすることで、CI上でもテストが滞りません。
```python
import os

import pandas as pd
import pytest

CSV_PATH = "data/cleaned_data.csv"


@pytest.mark.skipif(not os.path.exists(CSV_PATH), reason="data file not found")
def test_pandas_data_columns():
    df = pd.read_csv(CSV_PATH)
    expected_cols = ["id", "feature1", "feature2", "target"]
    assert list(df.columns) == expected_cols, "列名が想定と異なります"


@pytest.mark.skipif(not os.path.exists(CSV_PATH), reason="data file not found")
def test_pandas_no_nulls():
    df = pd.read_csv(CSV_PATH)
    assert not df.isnull().values.any(), "欠損値が存在します"
```

**モデル単調性テスト（`tests/test_models/test_monotonic.py`）:**
特定のモデルでは、入力のある特徴量が増加した場合、出力が単調増加すべきなどのドメイン知識がある場合があります。そのような特性をテストで保証します。
```python
from src.models import SimpleModel

def test_model_monotonic_increase():
    model = SimpleModel()
    inputs = list(range(1, 101))
    outputs = [model.predict(i) for i in inputs]
    assert all(x <= y for x, y in zip(outputs, outputs[1:])), "モデル出力が単調増加になっていません"
```

**型変換テスト（`tests/test_code/test_convert_data.py`）:**
前処理や特徴量エンジニアリング時に、入力型や返り値の型が期待通りかをテストします。
```python
from src.data_processing import convert_data

def test_convert_data_type():
    input_data = (1, 2, 3)
    output = convert_data(input_data)
    assert isinstance(output, list), "返り値がlistではありません"
    assert output == [1, 2, 3], "変換結果が期待と異なります"
```

**コンフィグテスト（`tests/test_code/test_config.py`）:**
コンフィグファイルやクラスを使用してハイパーパラメータを管理する場合、値の更新が正しく反映されるかテストで確認します。
```python
from src.utils.config import Config

def test_config_values():
    cfg = Config.load("config.yaml")
    assert cfg.learning_rate == 0.01, "learning_rateが想定値と違います"
```

**乱数の再現性テスト（`tests/test_code/test_random_seed.py`）:**
乱数シードを固定しているにも関わらず、再現性が損なわれるケースを防ぐため、一定の種で実行した結果が変わらないことをテストします。
```python
import random

def test_random_seed():
    random.seed(42)
    seq1 = [random.random() for _ in range(10)]

    random.seed(42)
    seq2 = [random.random() for _ in range(10)]

    assert seq1 == seq2, "同じseedでも結果が再現できません"
```

**標準化処理テスト（`tests/test_code/test_standardize.py`）:**
前処理（標準化など）後に、平均や分散が意図通りになっているかをテストします。
```python
import numpy as np
from src.data_processing import standardize

def test_standardize():
    data = np.random.rand(1000)
    transformed = standardize(data)
    assert abs(np.mean(transformed)) < 1e-7, "平均が0に近くありません"
    assert abs(np.std(transformed) - 1) < 1e-7, "標準偏差が1になっていません"
```

**カスタムメトリクステスト（`tests/test_code/test_custom_metric.py`）:**
独自メトリクス関数が、想定した入力に対して正しい値を返すことを確認します。
```python
from src.utils.metrics import custom_metric

def test_custom_metric():
    y_true = [0, 1, 1, 0]
    y_pred = [0, 1, 0, 0]
    score = custom_metric(y_true, y_pred)
    expected_score = 0.75
    assert score == expected_score, f"メトリクス値が想定外です: {score}"
```

## 実行手順

1. 必要なライブラリをインストールします。`requirements.txt`を用意してあるので、以下のコマンドでインストールできます。
   ```bash
   pip install -r requirements.txt
   ```

2. テスト用データを生成します。
   ```bash
   python scripts/generate_data.py
   ```

3. テストを実行します。
   ```bash
   pytest
   ```

データが存在すればデータテストも実行され、ない場合はスキップされます。CI環境でデータ生成を行わない場合でも、該当テストはエラーではなくスキップに留まるため、ワークフローが止まらず柔軟です。


## おわりに

ここで紹介したテストコード例はあくまで基礎的なものですが、「ソフトウェアテスト」を機械学習プロジェクトに導入することで、開発者体験が劇的に向上します。より複雑なモデルや特殊なデータ形式、CI/CDパイプラインとの統合など、プロジェクトのニーズに合わせてテスト戦略を発展させてください。

また、本記事で紹介したソースコードはある種の「養殖物」です。実際の「天然物」のソースコード（プロダクトコード、テストコード）は下記をご覧いただければと思います。

https://github.com/Isaka-code/llm-20-questions

これは、筆者が[「Kaggle LLM 20 Questions」](https://www.kaggle.com/competitions/llm-20-questions)で金メダルを獲得したソリューションのGitHubレポジトリです。完璧なお手本ではありませんが、時間的制約や不可避な混乱の中で、実際のプロジェクトを進めながら生み出された成果物です。
これからもソフトウェアテストについての理解を深めて、Kaggleや機械学習プロジェクトを通して洗練させていきたいと思います。


## 参考にしたもの
https://docs.pytest.org/

https://qiita.com/icoxfog417/items/67764a6756c4548b5fb8

https://qiita.com/mkt_hanada/items/c416d3d4494ecc4217e3

https://qiita.com/tokumoto/items/cd3d17cae3b099badaf6

https://speakerdeck.com/hitsuji1991/ml-software-test-metamorphic

https://thenerdstation.medium.com/how-to-unit-test-machine-learning-code-57cf6fd81765

https://www.digiarc.aist.go.jp/publication/aiqm/guideline-rev4.html

https://jstqb.jp/dl/JSTQB-Syllabus.Foundation_CT-AI_v1.0.J01.pdf

https://github.com/qa4ai/Guidelines/tree/main

https://citadel-ai.com/ja/blog/2022/07/19/machine-learning-systems-and-testing-2-4/

https://www.veriserve.co.jp/asset/approach/column/ai/advanced-tech-ai05.html

https://www.nogawanogawa.com/entry/machinelearning_testing

[『AIソフトウェアのテスト――答のない答え合わせ [4つの手法] (AI/Data Science実務選書)』](https://www.amazon.co.jp/AI%E3%82%BD%E3%83%95%E3%83%88%E3%82%A6%E3%82%A7%E3%82%A2%E3%81%AE%E3%83%86%E3%82%B9%E3%83%88%E2%80%95%E2%80%95%E7%AD%94%E3%81%AE%E3%81%AA%E3%81%84%E7%AD%94%E3%81%88%E5%90%88%E3%82%8F%E3%81%9B-4%E3%81%A4%E3%81%AE%E6%89%8B%E6%B3%95-AI-Data-Science%E5%AE%9F%E5%8B%99%E9%81%B8%E6%9B%B8/dp/4865942912)


[『ソフトウェア工学から学ぶ 機械学習の品質問題』](https://www.amazon.co.jp/dp/4621305735)

[『単体テストの考え方/使い方』](https://www.amazon.co.jp/%E5%8D%98%E4%BD%93%E3%83%86%E3%82%B9%E3%83%88%E3%81%AE%E8%80%83%E3%81%88%E6%96%B9-%E4%BD%BF%E3%81%84%E6%96%B9-Vladimir-Khorikov/dp/4839981728/)

[『テスト駆動開発』](https://www.amazon.co.jp/%E3%83%86%E3%82%B9%E3%83%88%E9%A7%86%E5%8B%95%E9%96%8B%E7%99%BA-Kent-Beck/dp/4274217884/ref=sr_1_1?adgrpid=139211758767&dib=eyJ2IjoiMSJ9.Pk4ofweQS507cMVk6LHoAuae6xZdw_Gq3clm8BWYyCnYPWWB2cpSHbyZStDlytGvsAFx2esE5t6ErZWYxTfXGaYfwbqXHzXdbv3_uEuGta3N_a8k2EiBZXu_a5aPfqZXogAwKaYJEWSgdwdtjNFT6TmrJ4IawQtrpPt8cqEcGRVh77Z2zy_ndQjqQmMHEer6HvkOA_7EHX9n6At6Nj96X4qY82RYP2IpkZsvTQQoYoWm9DrHYdsMM5w8k96FOll0r0D2HpbpMFsxtjM4JeVu3N5SGX_ZJDhmO961xiGqoS0.YCVQlIBFgFgZM4T1Qb0BS9OtycSHUWkpleHfeFtMvOY&dib_tag=se&hvadid=651693312418&hvdev=c&hvlocphy=1009524&hvnetw=g&hvqmt=e&hvrand=10881548172883788350&hvtargid=kwd-612958987109&hydadcr=26499_11748701&jp-ad-ap=0&keywords=%E3%83%86%E3%82%B9%E3%83%88%E9%A7%86%E5%8B%95%E9%96%8B%E7%99%BA&qid=1733016374&sr=8-1)

[『テスト駆動Python 第2版』](https://www.amazon.co.jp/%E3%83%86%E3%82%B9%E3%83%88%E9%A7%86%E5%8B%95Python-%E7%AC%AC2%E7%89%88-Brian-Okken/dp/4798177458/ref=sr_1_1?adgrpid=68463497459&dib=eyJ2IjoiMSJ9.QPOesUh8_p330WsfLqORup1UnL3Lq49Ir8TkqYMN6l64YKxzTlbpd4yqamMEU5TCkO8OHP4yL5yrlnXsprqGeeAFNHkD79HkEaBreFS0HCGzzHSHt2NTGsP_NFLg9N8y2QLvwuN0aD8FwrCJ52jj1OCLiSg_2H701cjhBiX8fNAyWhUvc-Vthtz_LbkJlIvJonmTr0vMjJP5v5HIVVHE_cHK-ZpDHK4ESPGdEX63yW6859H8qnBVBa4hIyn69g0VL3U6NtogxrqFQwo2x0vMJkZw3y8qH00T7aOc7Ok4v4Y.oFfwxhM2Tzu85wi3IsNCu9iGYK3v1cZDTYabin7JJD8&dib_tag=se&hvadid=679005104155&hvdev=c&hvlocphy=1009524&hvnetw=g&hvqmt=e&hvrand=3090936721518053714&hvtargid=kwd-727764885339&hydadcr=4074_13378663&jp-ad-ap=0&keywords=%E3%83%86%E3%82%B9%E3%83%88%E9%A7%86%E5%8B%95+python&qid=1733016442&sr=8-1)

[『【この1冊でよくわかる】 ソフトウェアテストの教科書 [増補改訂 第2版]』](https://www.amazon.co.jp/%E3%80%90%E3%81%93%E3%81%AE1%E5%86%8A%E3%81%A7%E3%82%88%E3%81%8F%E3%82%8F%E3%81%8B%E3%82%8B%E3%80%91-%E3%82%BD%E3%83%95%E3%83%88%E3%82%A6%E3%82%A7%E3%82%A2%E3%83%86%E3%82%B9%E3%83%88%E3%81%AE%E6%95%99%E7%A7%91%E6%9B%B8-%E5%A2%97%E8%A3%9C%E6%94%B9%E8%A8%82-%E7%AC%AC2%E7%89%88-%E5%B8%83%E6%96%BD/dp/481560875X)


[『VTuberサプーが教える！　Python　初心者のコード／プロのコード』
第7章 バグがあるかも？　テストコードを書こう！](https://www.amazon.co.jp/VTuber%E3%82%B5%E3%83%97%E3%83%BC%E3%81%8C%E6%95%99%E3%81%88%E3%82%8B%EF%BC%81-Python-%E5%88%9D%E5%BF%83%E8%80%85%E3%81%AE%E3%82%B3%E3%83%BC%E3%83%89%EF%BC%8F%E3%83%97%E3%83%AD%E3%81%AE%E3%82%B3%E3%83%BC%E3%83%89-%E3%82%B5%E3%83%97%E3%83%BC/dp/4297142856)

[『現場のPython──Webシステム開発から、機械学習・データ分析まで』
第16章 データサイエンスのためのテスト入門 pandasやNumPyのテスト機能を使って快適に実験](https://www.amazon.co.jp/%E7%8F%BE%E5%A0%B4%E3%81%AEPython%E2%94%80%E2%94%80Web%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E9%96%8B%E7%99%BA%E3%81%8B%E3%82%89%E3%80%81%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%83%BB%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E6%9E%90%E3%81%BE%E3%81%A7-%E6%A0%AA%E5%BC%8F%E4%BC%9A%E7%A4%BE%E3%83%93%E3%83%BC%E3%83%97%E3%83%A9%E3%82%A6%E3%83%89/dp/4297144018/ref=sr_1_3?dib=eyJ2IjoiMSJ9.SnJFWnXPu5pYXohIPHuHlBoTHgW3frkszdI89i5CLwKwoYB-AmG34VTJyLRPF_6KnT1rdp3CzCcnadfJ8q_bmMgADK8DP70rPFWu61kcQi72Uukv9-3YQb-o3_BFSafMRZe-QBZzCxMOwbBdF8x3xDn20vdD68fC2XanOD89UdvAHACmIDr8qK0OZw5Af3ho_46gD340L6Xx-vyHo_HAxS7c2kT16XxzRW6sVztKSWU.cwQywl7yOz0e4qMj9fgqCrBm43CvvZAZYlpRwcg_Xbs&dib_tag=se&qid=1732940399&s=books&sr=1-3&text=%E6%A0%AA%E5%BC%8F%E4%BC%9A%E7%A4%BE%E3%83%93%E3%83%BC%E3%83%97%E3%83%A9%E3%82%A6%E3%83%89)


[『【Pythonプログラミング入門】テストコードの書き方を解説！(pytest) 〜VTuberと学習〜 【初心者向け】』](https://www.youtube.com/watch?v=Hl8UNYrp0Vg&ab_channel=Python%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0VTuber%E3%82%B5%E3%83%97%E3%83%BC)

[『TDD Boot Camp 2020 Online #1 基調講演/ライブコーディング』](https://www.youtube.com/watch?v=Q-FJ3XmFlT8&ab_channel=TDDBC-Online)