人工知能技術戦略会議等主催

第1回AIチャレンジコンテスト
表彰式

プレゼンター（敬称略、五十音順）

安西 祐一郎人工知能技術戦略会議 議長、独立行政法人日本学術振興会 理事長

大崎 真孝
エヌビディア合同会社 日本代表 兼 米国本社副社長

大渕 栄作
株式会社ディジタルメディアプロフェッショナル 常務取締役開発統括部長

齊藤 秀
株式会社オプト 最高解析責任者CAOデータサイエンスラボ代表

成田 一生
クックパッド株式会社 最高技術責任者

宮内 淑子
株式会社ワイ・ネット 代表取締役社長

2AIチャレンジコンテスト

概要■趣旨
国内の学生・社会人を幅広く対象として、先端的な人工知能技術の開発とビッグデータ活用の能力を競う場として、「AIチャレンジコンテスト」を開催。
人工知能技術を開発し活用できる人材の発掘や、実際的な課題・データを対象とした研究開発や優れた参加者の技術・アイデア等から波及する人材育成効果を期待。

■テーマ
料理画像jpgデータからの、①料理の領域の検出②料理の種類の分類■データ
10万枚の料理画像データ（クックパッド社御提供）（開催主体）
・主催 人工知能技術戦略会議、内閣府、文部科学省
・協賛
・後援 総務省、経済産業省、情報通信研究機構、理化学研究所、産業技術総合研究所、科学技術振興機構、新エネルギー・産業技術総合開発機構、情報処理学会、電子情報通信学会(パターン認識・メディア理解研究会)、電子情報通信学会(食メディア研究会)

コンテスト概要部門①料理領域検出部門②料理分類部門

課題

各画像における料理領域の特定

各画像の料理の分類

データ

３万枚の料理画像と料理領域の情報

７万枚の料理画像と25種の料理カテゴリの情報

人工知能技術戦略会議 議長賞（入賞者中の特に優れた人1名を審査）

賞

最高精度賞

アイデア賞

1位：賞金20万円（DMP社提供）

1位：賞金10万円（クックパッド社提供）+ノベルティ（各社提供）

2,3位：nintendo New3DS-LL（DMP社提供）
4,5位：nintendo 2DS（DMP社提供）
6-10位：ノベルティ（各社提供）

最高精度賞

アイデア賞

1位：NVIDIA TITAN X（NVIDIA社提供）

1位：賞金10万円（クックパッド社提供）+ノベルティ（各社提供）

2,3位：GeForce GTX 1060 6GB（NVIDIA社提供）
4,5位：GeForce GTX 1060 3GB（NVIDIA社提供）

2,3位：nintendo New3DS-LL（DMP社提供）
4,5位：nintendo 2DS（DMP社提供）
6-10位：ノベルティ（各社提供）

2,3位：GeForce GTX 1060 6GB（NVIDIA社提供）
4,5位：GeForce GTX 1060 3GB（NVIDIA社提供）

提出物

予測結果

予測結果
＋レポート

予測結果

予測結果
＋レポート

評価

精度上位１０名

基準精度以上の優れた５名を審査

精度上位１０名

基準精度以上の優れた５名を審査

1

審査員９名（敬称略、五十音順）○ 安西 祐一郎 氏
人工知能技術戦略会議 議長、独立行政法人日本学術振興会 理事長

井崎 武士 氏
エヌビディア合同会社 ディープラーニング部 部長

大渕 栄作 氏
株式会社ディジタルメディアプロフェッショナル 常務取締役開発統括部長

齊藤 秀 氏株式会社オプト 最高解析責任者CAOデータサイエンスラボ代表成田 一生 氏
クックパッド株式会社 最高技術責任者

服部 幸應 氏学校法人服部学園 服部栄養専門学校 理事長・校長

宮内 淑子 氏株式会社ワイ・ネット 代表取締役社長

山田 誠二 氏
国立情報学研究所 教授、人工知能学会 会長

大和 喜一 氏株式会社IDCフロンティア 技術開発本部 R&D室 主任研究員

2

課題内容（①料理領域検出部門）■データ
学習画像：2万枚
評価画像：1万枚（0, 0）

xy■課題
画像に対して、料理が写っている領域（1つ以上）を、bounding box = (x,y, width, height) として割り当てる。

heightwidth■評価関数
mean average precision（MAP）を使用。
bounding box

3課題内容（②料理分類部門）■データ
学習画像（ラベル付き）：1万枚
学習画像（ラベル無し）：5万枚
評価画像：1万枚■課題
画像に対して、25種類のカテゴリ（サンドイッチ、スライスパン、素麺、うどん、クリームパスタ、トマトパスタ、カレー、リゾット、寿司、味噌汁、ポタージュスープ等）の中から、1つカテゴリを付与する。

4

開催結果

コンテストの総参加者数 :631 名
予測結果の総提出件数：2732 件（開催期間：平成29年1月10日～3月31日の１２週間、８１日間）

5アンケート結果■作業時間
平均：62.75時間

最大： 230時間■感想• とてもおもしろいコンテストで、大量な実データが入手できることやほかの方と公平にスコア比較できることが、勉強と研究のモチベーションにつながります。今後もぜひ開催してください。計算資源で差がつくコンテストだと思いました。楽しかったです。このような機会を提供していただきありがとうございます。
• Cookpadの画像データという現実世界のデータを解析でき、とてもいい経験になりました！

• 面白いテーマがあれば今後もぜひ参加させていただきたいと思います。こういった機械学習系のコンテストが日本でももっと盛んになると良いなと思います。
• もう少しコンテスト期間が長いとよかったかも。画像認識は既に手法がかなり確立されてきているタスクだと思いますが、ラベルなしの訓練データが明示的に与えられているところが工夫のしどころとして面白いと思いました。
色々と大変でしたが、とても勉強になったと思います。
• 事前にCoodPadのMeetUpにて、コンテストルールの疑問点を聞けたのが、今回のアイディアに繋がりました。
Deep Learningでの画像認識は初めての経験だったのですが、画像認識部門は典型的かつ良質なデータだったこともあり初心者にも取り組みやすい課題でした。
• 問題設定が非常に実践的で面白かったです．また勉強してチャレンジしたいです．最終日に過去の高精度のやつを出してスコアがあがったり、頑張りで精度が上がったりなど、スコアはあくまで参考なのだと思いました。コンテ
スト形式で同じ課題を他の方と競争する形でやるのは, ここまではいけるはずという目標がはっきりするので, チャレンジしがいがある. 最初はpythonのコードも殆ど分からない素人でしたが、コンテストを通して多くを学習できたと感じています。有意義な時間でした。
6

（１）料理領域検出部門
最高精度賞 １位

（１）料理領域検出部門
最高精度賞 １位

チーム オリンパス・Eren人工知能技術戦略会議主催

AIチャレンジコンテスト（第1回）（１料理領域検出部門）最高精度賞
オープン

・YOLO物体認識フレームワークを利用
・全世界Deep Learningコミュニティの活発、技術のキャッチアップが重要

・End-to-Endな学習、再現性があり・画像と正解ラベルさえ用意できれば、良い結果が得られる
・今回は３回の繰り返しFine-tuning学習を実施
・データの収集管理、製品化向け圧縮と高速化、法律面
・日本でのDeep Learning技術者間の交流をもっとデータ

ノウハウ

オリンパス・Eren チーム代表：李禎1

（１）料理領域検出部門
アイデア賞 １位

（１）料理領域検出部門
アイデア賞 １位

相﨑 友保（Izktmys）

⼈⼯知能技術戦略会議主催
AIチャレンジコンテスト（第1回）(1)料理領域検出部⾨レポート

YOLOv2による料理領域検出

相﨑 友保
1

畳み込み層22(1×1×30)

畳み込み層 21(3×3×1024)

畳み込み層20(3×3×1024)

畳み込み層19(3×3×1024)

畳み込み層18(3×3×1024)

畳み込み層17(1×1×512)

畳み込み層16(3×3×1024)

畳み込み層15(1×1×512)

畳み込み層14(3×3×1024)

最大値プーリング

畳み込み層13(3×3×512)

畳み込み層12(1×1×256)

畳み込み層11(3×3×512)

畳み込み層10(1×1×256)

畳み込み層9(3×3×512)

最大値プーリング

畳み込み層8(3×3×256)

畳み込み層7(1×1×128)

畳み込み層6(3×3×256)

最大値プーリング

畳み込み層5(3×3×128)

畳み込み層4(1×1×64)

畳み込み層3(3×3×128)

最大値プーリング

畳み込み層2(3×3×64)

最大値プーリング

畳み込み層1(3×3×32)

⼊⼒画像(416×416×3)

⼀般物体検出アルゴリズムによる料理領域検出 Deep Learningによる一般物体検出アルゴリズムであるYOLOv2†を実装【 特徴 】ワンショット方式の物体検出CNNで、高速【 概要 】ブロックに切り分け、ブロック毎にそのブロック内に中⼼がある「矩形座標」と「矩形内に物体が存在する確率」、「物体のクラス確率」を算出†︓Joseph Redmon, Ali Farhadi, "YOLO9000: Better, Faster, Stronger" arXiv:1612.08242v1 [cs.CV] 25 Dec 2016

（フィルタ幅×フィルタ高さ×出⼒チャンネル数）※各畳み込み層の後に、batch normalization層を入れる※各batch normalization層の後に、bias層を入れる
2※各bias層の後に、活性化関数leaky reluを使用

データ利⽤⽅法の⼯夫点
 左右反転による訓練データの増量

オリジナル画像左右反転画像

 データクレンジング
 料理画像以外を削除
例）train_263.jpg

 画像サイズよりも料理領域サイズの⽅が⼤きいデータを削除例）train_4678.jpg• 画像サイズ︔280×273 ＜ 料理領域サイズ︔766×1023

 料理領域サイズが0であるデータを削除

train_263.jpg

例）train_4234.jpg• 料理領域（x:686, y:136, width:0, height:0）

 料理領域の座標が負のデータを修正例）train_63.jpg• 修正前︔（x:-3, y:1, width:1001, height:1501）• 修正後︔（x:0, y:1, width:998, height:1501）
3

モデリングの工夫点①
 Dimension Cluster k-meansクラスタリングを用いて「よく使われるanchor boxのサイズ」を事前に決定する手法
 13 × 13のブロック、 K = 5でk-meansを実⾏
•
•
•
•
•

width:4.30, height:3.81
width:7.48, height:9.25
width:9.34, height:4.50
width:12.51, height:9.24
width:12.69, height:12.48

 Multi-Scale-Training

 YOLOv2はFully Convolutional Networks構造のため⼊⼒画像のサイズは可変 学習時に複数サイズの画像を交互に⼊⼒する事でロバスト性向上• 10イテレーション毎に画像サイズを変更• 画像サイズは5種類–––––

288 × 288
320 × 320352 × 352
384 × 384
416 × 416

4

モデリングの工夫点②【 課題 】単⼀画像に複数の料理領域がある場合、検出精度が低い事が判明【 対策 】単一画像に複数の料理領域がある訓練データのみで再学習を実施

5

料理領域検出結果

6

（２）料理分類部門
最高精度賞 １位

（２）料理分類部門
最高精度賞 １位

チーム ケ～ン

AIチャレンジコンテスト
チーム：ｹ~ﾝ

料理分類部門：1位
料理領域検出部門：2位
東京大学 相澤・山﨑研究室
伊神 大貴，井上 直人，小川 徹，竹木 章人，
松井 勇佑，山﨑俊彦，相澤 清晴

料理分類部門-25クラス-10,000枚のラベル付き画像-50,000枚のラベル無し画像

2料理分類部門-25クラス-10,000枚のラベル付き画像-50,000枚のラベル無し画像→頑張って使っても精度上がらない…

3

提案手法
でぃーぷらーにんぐ

10,000枚のラベル付き画像のみ使う(GPU) Power is Justice!!
4アンサンブル学習
独立に識別器を学習し，予測結果を統合する
Classifier 1

入力

Classifier 2

⊕

出力

…
Classifier N
5Power is Justice.
Model

使用した個数出力の重み

ResNet50-A2

1/3

ResNet50-B

1

1/3

ResNet101

11ResNet152

1

1ResNet200

11DenseNet161

51/5

DenseNet169

51/5

DenseNet201

51/5

PyramidNet300

51/5

PyramidNet450

51/531個のモデルのアンサンブル
6

結論
綺麗なデータセットは重要

7

結論
綺麗なデータセットは重要(GPU) Power is Justice!!

8

結論
綺麗なデータセットは重要(GPU) Power is Justice!!
(GPU) Power is Justice!!
9（２）料理分類部門
アイデア賞 １位

（２）料理分類部門
アイデア賞 １位

増田 知彰（Tomo）

第1回 AIチャレンジコンテスト
料理分類部門 アイデア賞-ゼロからいかに深層学習を学ぶか-

増田 知彰

自己紹介
NTTコミュニケーションズ (※コンテストは個人参加)
増田 知彰 |@tomo_makesオン:
IoT関連のBizDev
Product Management

オフ:
Weekend Maker/Programmer
データ分析/機械学習
OSS活動(非コーディング主体)

最終モデルと結果

10th/138 (78.4%)

Keras/TensorFlowで、Pseudo-labelling + Knowledge distillation, Blending(6model出力線形回帰)を実施

1. Pseudo-labelling

3. Blending 6 models
InceptionV3

InceptionV3

fine-tuned

ImageNetResNet50
fine-tuned

XceptionV1

転移学習

fine-tuned

XceptionV1
fine-tuned

ラベル無50,000枚

InceptionV3
fine-tuned

偽ラベル
50,000枚

2. Knowledge distillation
ラベル付、偽ラベルを4:1〜3:1で混合
バッチ学習し、6モデル生成
InceptionV3
ImageNet

InceptionV3
fine-tuned

ResNet50
ImageNetResNet50
fine-tuned

XceptionV1
ImageNet

転移学習

XceptionV1

XceptionV1
fine-tuned

Dense 1

ラベル付
10,000枚

4. Predict
Test Set
ラベル無10,000枚

予測結果

fine-tuned

XceptionV1
fine-tuned

ラベル付
10,000枚学習

Tips- ラベル付9,000枚を学習/1,000枚を検証用- 各学習時のReal-time Augmentation(Test-time Augmentationは効果なし)- L2正則化、バッチ正則化使用- SGD学習率固定 or スケジューリング- Jupyter Notebookの活用- Slackによる学習監視 などでも、2ヶ月前は何ひとつ知りませんでした

https://www.flickr.com/photos/54144062@N03/5561412422/

精度 4%から78%にいたる2ヶ月
ゼロからいかに深層学習を学ぶか

予測精度
履歴

6 models blending ● 78.9%[暫定3位]● 77.4% Xception● 73.1% InceptionV3 fine-tuning

学習意欲(ハンズオンでできること/できないことを見極めたい)● 59.6% VGG16 fine-tuning+
各段階に必要な自習リソース● 37.6% 簡単なCNNモデル(自己課題に適用できるレベル)
1/27
IDCF+
貸出
● 4% エラー
財布を気にせぬGPUリソース
1102030405060 DAY
自習を使った実践
日本語
主に英語リソース+
ブログ, arxiv論文
限られた時間、刻々と変わる Coursera/Udacity 書籍「ゼロから作るdeep learning」「実装ディープラーニング」など
一部経験ありMOOCs fast.ai part I
ランキングの刺激
Kaggle Forum, twitter等

それならみんなできるのでは?
Repeatableにするために必要なこと- 実務/中級レベルリソースへのアクセス- 実践を通した学習機会
https://www.flickr.com/photos/46650205@N08/4601859272/

取り組み予定
2月の私と同じように学ぼうとした人が、最短距離で自分の課題に適用できるレベルへ進めるように。
より日本で人工知能活用が熟し、かつ諸外国に遅れをとらないためにできること- fast.ai Kaggle元CSO Jeremyの実践的Deep Learningコース. University of San Franciscoでの講義をMOOCs化
http://course.fast.ai/- Part I (18hrs) 字幕日本語訳完了- Part II (17hrs) 公開後翻訳予定 =実践的な実務/中級リソースが揃う- コンテスト取組、学習経緯の記事化(権利関係が許す限り)- 教育/交流の日本語コミュニティ化(構想段階)

活動への賛同、有形無形のご支援、または私がお役に立てる何かは@tomo_makes までご連絡ください人工知能技術戦略会議
議長賞

人工知能技術戦略会議
議長賞

チーム ケ～ン人工知能技術戦略会議等主催

第1回AIチャレンジコンテスト
表彰式