画像を扱う機械学習のためのデータセットまとめ

マシンビジョン分野で、個人的に使ってみたい気になったデータセットをまとめました。実際に業務で使用する場合は各データセットのライセンス条項をよく確認してください。

英語で検索する場合は、`datasets` `open data` `image processing` `machine learning` 等で検索するといいと思います。

検索で引っかかったマイナーなものを重点的に調べました。

## ImageNet
2009年のCVPRにてプリンストン大学のチームが公開したのがきっかけで発展した、1400万枚超の画像と意味を示すタグのデータセットです。100万枚ほどはバウンディングボックスのアノテーション付きです。

http://www.image-net.org/
タグを検索するとこのように画像の一覧と配下のキーワードが表示されます。これだけでも楽しい。
<img width="983" alt="2018-01-09_17-32-07_ImageNet Tree View 🔊(1).png" src="https://qiita-image-store.s3.amazonaws.com/0/77793/666a2090-0a95-cbea-57f3-109b85dfee47.png">



あまりに膨大な量なので一括ダウンロードはではなく、ダウンロードURLを取得して必要なものだけダウンロードする形になると思います。ググるとダウンロードの方法が沢山見つかります。

## Open Images Dataset
オープンデータとなっている画像に対して、Googleによってバウンディングボックスのアノテーションがつけられたデータセットです。
https://github.com/openimages/dataset
ライセンスは、画像は[CC BY 2.0](https://creativecommons.org/licenses/by/2.0/deed.ja)、アノテーション情報は[CC BY 4.0](https://creativecommons.org/licenses/by/4.0/deed.ja)とあります。

## Food-101
スイスのチューリッヒ工科大学のコンピュータビジョン研究チームが公開しているデータセットです。
クラス分けのタグ情報が付加された食べ物の画像です。5GBの一括ダウンロードです。
https://www.vision.ee.ethz.ch/datasets_extra/food-101/

## CIFAR-10 / CIFAR-100
あのAlexNetのAlex Krizhevsky氏のグループが公開しているデータセットです。
10クラス分類と100クラス分類の画像データセットです。
http://www.cs.toronto.edu/~kriz/cifar.html

## PASCAL VOC
アノテーション付きの画像データセットです。
http://host.robots.ox.ac.uk/pascal/VOC/

２００５年から２０１２年まで精度を競い合うコンペのためのデータセットが配布されており、それぞれデータセットが今でもダウンロード可能です。
<img width="842" alt="2018-01-09_17-24-46_PASCAL VOC2011 Example Images.png" src="https://qiita-image-store.s3.amazonaws.com/0/77793/068808bc-1b3b-a06b-f385-58235d8d1011.png">

## COCO - Common Object in Context
セマンティックセグメンテーション情報(いわゆるアノテーション／ラベリングよりも詳しい、画素レベルでの物体認識情報)が付加されたデータセットです。

http://cocodataset.org/
<img width="656" alt="2018-01-09_17-42-51_COCO - Common Objects in Context.png" src="https://qiita-image-store.s3.amazonaws.com/0/77793/c08c99d2-b750-1eac-1269-7e6b7f837e85.png">

## KITTI Vision Benchmark
ドイツのカールスルーエ工科大学とアメリカ・シカゴにある豊田工業大学シカゴ校のチームによる、自動車ビジョンのための画像データセットです。
http://www.cvlibs.net/datasets/kitti/
動画がよりわかりやすいです。自動車を取り巻くあらゆる環境情報が同梱されているようです。
https://youtu.be/KXpZ6B1YB_k


## Daimler Urban Segmentation Dataset
Cityscapesの元になったデータセットでしょうか。都市画像のデータセットです。
http://www.6d-vision.com/scene-labeling
https://youtu.be/W3KALabTY64

## Cityscapes dataset
ドイツのダイムラー社、マックス・プランク研究所、ダルムシュタット工科大学のチームが公開しているデータセットです。
ドイツの50都市の画像にセマンティックセグメンテーション情報と距離情報が付加されたデータセットです。
自動運転系ではこの中では一番新しいようです。

https://www.cityscapes-dataset.com/examples/

## Flickr Logos dataset
http://image.ntua.gr/iva/datasets/
アテネ工科大学のThe Image and Video Analysis(IVA)チームが提供するデータセットです。

ロゴのデータセットは矩形のアノテーション付き
http://image.ntua.gr/iva/datasets/flickr_logos/
<img width="1017" alt="2018-01-09_16-38-22_Flickr Logos dataset  IVA.png" src="https://qiita-image-store.s3.amazonaws.com/0/77793/706e255e-04f1-d77f-939c-268cd00b0669.png">

他にも、300万枚以上の世界中、またはヨーロッパの都市の写真がジオタグ付きで提供されています。

## DAGM 2007
http://resources.mpi-inf.mpg.de/conferences/dagm/2007/prizes.html
ドイツのシンポジウムで開催されたコンペ用のデータセットです。
工業用部品の表面の欠陥を検出するという目標で、基本画像１０００枚と人工的につけられた欠陥を含む150枚の画像が含まれています。

<img width="550" alt="2018-01-15_14-10-58_DAGM 2007.png" src="https://qiita-image-store.s3.amazonaws.com/0/77793/c053abca-7d28-17f8-4c98-f19752875ff2.png">


## The GRIMA X-ray database
チリ・カトリック大学工学部教授のDomingo Mery氏の研究室Webサイト。
GRIMAというのはチリ・カトリック大学コンピュータサイエンス学部の機械知能グループの略称だそうです。

約2万枚の５つのカテゴリ(鋳物や溶接など)に分けられた工業製品のX線画像が含まれています。
http://dmery.ing.puc.cl/index.php/material/gdxray/

## LV SEGMENTATION CHALLENGE
３Dセグメンテーションのデータセット
登録が必要です。

http://smial.sri.utoronto.ca/LV_Challenge/Data.html



## 楽天データセット
楽天が公開しているデータセットです。大学及び公的研究機関向けで利用には登録が必要です。
画像以外のものがほとんどですが、レシピ画像やEC商品画像、アノテーション付き文字画像なども含まれています。

https://rit.rakuten.co.jp/data_release_ja/
https://www.nii.ac.jp/dsc/idr/rakuten/rakuten.html


## データセットのまとめ記事(+おまけ)

この記事はおそらく今後更新されませんが、以下のまとめならどんどん新しい情報が入ってくるかもしれません。

* 上海交通大学のXiaming Chenさんのまとめ <br> https://github.com/caesar0301/awesome-public-datasets#image-processing <br>画像に限らないのですが、非常によくまとまっています。
* mrgloomさんのまとめ <br> セマンティックセグメンテーションの論文集とデータセットがまとまっています。<br> https://github.com/mrgloom/awesome-semantic-segmentation#datasets
* arXivTimes/datasets <br> https://github.com/arXivTimes/arXivTimes/tree/master/datasets <br> 主にお二人で更新しているavXiv論文まとめのgithubページですが、datasetのページがすごく充実しているのに驚き。
* カーネギーメロン大学のコンピュータビジョンのページ。<br> http://www.cs.cmu.edu/~cil/v-images.html <br> 2004年から更新が止まっていますがインターネットの黎明期からの更新と思うと興味深い。時代を感じます。
* Who is the best at X ? <br> http://rodrigob.github.io/are_we_there_yet/build/#datasets<br>データセットではなく、ディープラーニングの分類精度まとめです。各データセットのあらゆる分類手法別の精度が一覧で確認できます。手動で集めたのかな。すごい。
* ロシアの[infoculture](https://www.infoculture.ru/) という会社の創業者であるIvan Begtinさんのまとめ
<br>https://github.com/infoculture/awesome-opendata-rus