MNISTデータベース

**MNIST手書き数字データベース**（, MNISTはModified National Institute of Standards and Technologyの略）は、さまざまな画像認識の学習に広く使用されている手書き数字画像のデータセット。1998年にヤン・ルカン等が、畳み込みニューラルネットワークの性能評価のために、NISTが作成した手書き数字画像のデータセットから一部を切り抜き、画像の大きさをそろえ、画像が中心に来るように調整して作成した。機械学習分野での学習や評価に広く用いられている。

## 概要
MNISTデータベースは、NISTの2つのデータベース（Special Database 1とSpecial Database 3）の組み合わせからなる画像群のサブセットを加工して作られている。NISTの2つのデータベースはそれぞれ、高校生と米国国勢調査局の従業員が手で書いた数字の画像で構成されている。

MNISTデータベースは、もともとNISTが保有していたデータセットに含まれるサンプルを再構成することによって作成されたデータベースである。元のデータセットでは、学習データセットが国勢調査局の従業員から取得したものであるのに対し、評価データセットは米国の高校生から取得したものであるため、MNISTデータベースの作成者のヤン・ルカン等は、そのままでは機械学習の実験には適さないと感じていた。また、NISTのデータベースに含まれる画像は当初白黒であったが、28x28ピクセルの範囲に収まるようにサイズが正規化され、グレースケール画像になるようアンチエイリアス処理も行われた。

MNISTデータベースには、60,000枚の訓練用画像と10,000枚の評価用画像が含まれている。訓練用画像の半分と評価用画像の半分をNISTの訓練データセットから取得し、残りの半分をNISTの評価データセットから取得した。データベースの作成者のヤン・ルカン等は、データベースで評価した手法の一覧を公開している。論文では、サポートベクターマシンを使用して誤検知率0.8％という実験結果を発表している。また関連して、EMNISTと呼ばれるMNISTに類似した拡張データセットも2017年に公開されている。このデータセットには手書きの数字と文字が含まれており、240,000枚の訓練用画像と40,000枚の評価用画像が含まれる。

ヤン・ルカン等は1995年に20x20ピクセルの同じ枚数のMNISTデータセットを作っていて、1998年に28x28ピクセルに直して現在の形になっている。

なお、テストデータセット内の画像にはほとんど読み取れないような識別難度の高いものも含まれている。明らかにラベルを振り間違えているものが存在することも指摘されている。

## データ拡張

多くの場合、データ拡張としてランダムな歪み加工を施したデータを用いてモデルを学習させる。使用されるデータ拡張の手法はアフィン変換または弾性歪み（elastic distortion）が多い。データ拡張の手法の差が誤検知率に大きく影響している。

## MNISTによる性能評価の歴史
かつてMNISTデータベースのWebサイトにアップされていた一覧によれば、最も悪い誤検知率は12％だった。これは、データの前処理をすることなく単純な線形分類器を使用して分類した場合である。

* 1998年、ヤン・ルカン等がMNISTを作成した際に発表した畳み込みニューラルネットワークのLeNet-5の誤判定率は0.8%だった。データ拡張はアフィン変換を使用している。
* 2003年、マイクロソフトの研究者等がデータ拡張の手法として弾性歪みを発表し、2層パーセプトロンで誤判定率が0.7%、畳み込みニューラルネットワークで誤判定率が0.4%になった。この手法で、3層パーセプトロンで誤判定率が0.49%、6層パーセプトロンで誤判定率が0.35%になることが2010年に報告されている。

訓練データとテストデータを固定して、テストデータの結果でモデル選択を行う方法は、テストデータに対して学習を行っていて、交差検証が機能していない。これ以降の研究の誤検知率は真の誤検知率から乖離していることに注意が必要である。

* 2004年、3層パーセプトロンを改変したLIRAと呼ばれる新しい分類器では誤検知率が0.63％だった。
* 2006年、誤検知率0.39%のモデルが発表された。
* 2011年、従来の最良の結果を改善して誤検知率0.27％を達成したことが、同様のニューラルネットワークを用いた研究で報告された。
* 2012年に発表された研究では、ニューラルネットワークを組み合わせるを用いて、MNISTデータベースで「人間に近いパフォーマンス」の誤検知率0.23％を達成した。同じ論文で、他の認識タスクでも人間の2倍のパフォーマンスを達成している。
* 2013年、DropConnectと呼ばれる正則化手法を用いたニューラルネットワークで、誤検知率0.21％を達成したとする研究も現れた。
* 2016年時点で、単一の畳み込みニューラルネットワーク(CNN)を用いた実験に限ると、誤検知率0.25％が最も良い。
* 2018年8月時点で、データ拡張を使用せずにMNISTで学習した単一の畳み込みニューラルネットワークの最高精度もまた、誤検知率0.25％である。単一のCNNに限らなければ、Parallel Computing Center（ウクライナのフメリニツキー）が、5つのCNNを用いたアンサンブル学習により誤検知率0.21％を達成している。
* 2018年には、バージニア大学の研究者が、3種類のニューラルネットワーク（fully connected, recurrent, convolutional）を並列させたネットワークを用いて誤検知率0.18％を達成したと発表している。

## 分類器と性能の一覧
本データセットを用いて評価された機械学習手法とその誤検知率を、分類器の種類別に表している。

## QMNIST
**QMNIST**はMNISTの厳密なスーパーセットとなる手書き文字画像データセットである。

MNISTは1990年代にNISTデータセットから構築された。しかしその正確な構築手順は記録として残っておらず、またNISTデータセットに存在した他の手書き文字画像やラベル情報も失われている。失われた構築法を再現し元のNISTデータセットから更なるデータを追加することでMNISTの上位互換（スーパーセット）となることを意図し構築されたデータセットがQMNISTである。

QMNISTはtrain/test合計で1074人計12万個の手書き文字画像から構成されており、1人当たり100~130個の画像が含まれている。

## pMNIST
*permuted MNIST* (**pMNIST**) タスクはピクセル並び替えにより空間情報が失われたMNISTの分類タスクである。MNISTは2次元の画像であり隣接ピクセル同士に文字ごとで異なる相関がある。ゆえにConvのような空間に関する帰納バイアスを利用して効率的に解くことができる。ある種のタスクではそのような空間情報によるバイアス無しでの性能評価が望ましい（例: 長系列予測）。pMNISTではピクセルの位置を完全にシャッフルしたうえで固定し、これを用いた分類タスクとする。これにより文字ごとの隣接ピクセル間相関差が消滅し、空間バイアスのないデータセットによるモデル評価が可能になる。

## 関連項目
* データセット
*
* 
* 
* OCR
* KMNIST - 2018年に発表されたひらがな崩し字のデータセット

## 脚注

### 注釈

### 出典

## 参考文献
* 
* 

## 外部リンク
* MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges - ヤン・ルカンが2025年1月まで配布していた公式ページのウェイバックマシンの記録
* ylecun/mnist · Datasets at Hugging Face - ヤン・ルカンがHugging Faceで配布しているもの
* Neural Net for Handwritten Digit Recognition in JavaScript a JavaScript implementation of a neural network for handwritten digit classification based on the MNIST database
* Visualization of the MNIST database groups of images of MNIST handwritten digits on GitHub