ChainerでYOLO

# はじめに

[YOLO](http://pjreddie.com/darknet/yolo/)とはYou Only Look Onceの略とのことですがまあ当て字ですかね。速度に特化した画像検出・認識用ニューラルネットワークで、Cベースの[darknet](http://pjreddie.com/darknet/)というフレームワーク上に構築されています。元論文は[こちら](https://arxiv.org/abs/1506.02640)です。特徴は、全画像からいきなりクラス確率と物体のバウンディングボックス座標を推論する点です。R-CNNなどと違って複数の候補領域に対して何度も推論しないでよいので、Look Onceだから速い、というわけですね。

TensorFlowに変換した例はすでにあるようなので、今回はchainer化をしてみます。Cで組まれているものをわざわざスクリプト言語に変換するのは中身を理解するためです。今回の記事では学習済の係数を使った推論のみを行いますが、論文を読んだ感じだと学習手順が最大の特徴の一つに思われるので、そのうちトレースしたいです。

コードは[こちら](https://github.com/ashitani/YOLO_chainer)を参照してください。

# 学習済係数データの取得

YOLOには通常サイズ、small、tinyなどがあるようですが今回はtinyだけを変換します。

tiny-yoloとyolo-tinyはバージョン違いの別物みたいです。tiny-yoloのほうがBatchNormalizationとかを使っていて今風ですが、今回はtensorflowモデルにすでに変換されている、古い方のyolo-tinyを使います。

TensorFlow版のyolo-tinyの係数は[こちら](https://drive.google.com/file/d/0B2JbaJSrWLpza0FtQlc3ejhMTTA/view)にあるので、係数をnumpyで吐き出します。

```py
import tensorflow as tf
from YOLO_tiny_tf import *
import numpy as np

c=YOLO_TF()
with c.sess.as_default():
    for v in tf.trainable_variables():
        name = v.name
        ary = v.eval()
        np.save("npy/"+name, ary)
```

これでnpyフォルダ以下にnumpy形式で係数が書き出せます。tf.trainable_valiables()で、chainerでいうところのLinkに含まれるパラメータをリストアップできます。eval()はchainerでいうところのdataですね。

なお、[YOLO_tensorflow](https://github.com/gliese581gg/YOLO_tensorflow/)では係数をテキストで書き出すように[改造したdarknet](https://github.com/gliese581gg/YOLO_tensorflow/tree/master/YOLO_weight_extractor)をつかってdarknetからの係数変換を行っています。

# Chainer化

これをchainerに変換していきます。

yolo-tinyの構成はgithubの履歴をたどると[これ](https://github.com/pjreddie/darknet/blob/8f1b4e0962857d402f9d017fcbf387ef0eceb7c4/cfg/yolo-tiny.cfg)ですね。3x3 convolutionとmax poolingを繰り返すかんじです。この記述にならってせっせとChainを記述します。

これぐらい段数が多くてもとのモデルがわかってる場合は、KerasみたいにLinkとFunctionの区別をしないでSequentialに書けるほうが楽ですね。

さて、こうやって組んだChainの係数を差し替えるわけですが、ChainerはDefine by run なので、いちどForward演算をしないとそもそもWやbなどにアクセスできません。今回はいちど０行列をつっこんでForwardしたあとに重みを書き換えました。initialW,initial_biasなどで指定してもよいのだろうとは思います。

Convolution_2dの重みは、TensorFlowとChainerとでは順番がだいぶ違って、

- TensorFlow: [カーネル縦、カーネル横、出力チャネル、入力チャネル]
- Chainer: [出力チャネル、入力チャネル、カーネル縦、カーネル横]

というように並んでいるので、気をつけて並び替えします。全結合も縦横が逆ですね。

また、leaky_reluのslopeが、chainerのデフォルトは0.2ですが、YOLOは0.1なのに注意です。

Chainの記述と変換用のコードは[こちら](https://github.com/ashitani/YOLO_chainer/blob/master/YOLOtiny_chainer/YOLOtiny.py)です。smallなど他のバリエーションも同様にできるはずです。


# 出力の解釈

Pascal VOCという20クラス分類問題のデータセットに対して係数は最適化されています。

全画面を7x7のグリッドに区切り、グリッドごとのクラス確率と、そのグリッド内に中心をもつバウンディングボックスを1グリッドにつき最大2つずつ、そして、その2つのバウンディングボックス信頼度、というすべての情報を直接推論します。

バウンディングボックスの座標は中心位置のx,yをグリッドサイズで0から1.0に正規化した数値、サイズは幅と高さを画像サイズで0から1.0に正規化した数値の平方根になっています。平方根にする理由は、サイズが大きくなったときの誤差のペナルティを減らしたいからだそうです。

最終段の出力ベクトルは、

- 7x7x20  のグリッドごとの20クラスの確率
- 7x7x2   の各グリッドに２組のバウンディングボックスごとの信頼度
- 7x7x2x4 の各グリッドに２組のバウンディングボックス座標（0-1で正規化してある）

という順番で並んでいるので、reshapeしたあと、信頼度の高いバウンディングボックスを特定して、その座標とクラスを取り出します。

推論時はクラス確率とバウンディングボックスの信頼度を乗算してしきい値で切ればよいですが、学習時は重要なところだけロス関数に乗りやすいような工夫をするそうです。

# 使用例

Flickrの Commercial use & mods allowed 画像から適当に試してみます。

[Train](https://www.flickr.com/photos/matsuyuki/25580943304/in/photolist-EYv2dC-dj4Ybg-9yNyTe-hc5JkA-47RuAi-dso4VK-dwzQpQ-4JX6k4-4rQVwQ-nDKcLa-47RuKz-ivEMSu-aJVGMP-bvVx1q-B7i9Q6-defSSm-pivskE-5iAf2-6ahftF-9HFXL9-opSeGF-6TgFe-4JX6ov-4YjhJW-rBe2EP-62kLM-4K2jWy-oPRirw-pLM7Td-2uADBQ-aiSmKz-asunvR-6Nq4N-6yu7LL-GDNvG2-47Rufr-6jqZtn-6PbXJd-p5bZD4-rjKrfd-GDNvtg-m9k3hx-pTSrgH-oRh4mf-7a8Yrb-CbtJW-oggcmT-4P2qF-ebe4LN-8UFEM)
![train_marked.png](https://qiita-image-store.s3.amazonaws.com/0/30340/e04468ed-87c1-cd83-dca6-3dde42ca373d.png "train_marked.png")
いいですね。

[Sheep](https://www.flickr.com/photos/superfuzzbm/5230934459/in/photolist-8YeUza-JbsQL-dmkaw-9VghX6-dB6CB-76pi7m-55t8E6-nhrYQz-eUFqsx-5wAwgP-adE2rd-5qrwcX-eUSVPq-hbVVjX-p5ZSpa-8EbWtH-9XrT8z-kbVRSa-7rVAhj-bmzpQk-D7tBY-ptkS2J-6cFJiY-r6MSqF-6BUUqf-4iDRzy-qAP3vd-6BQLhx-kbW1me-9GDYP2-58JsbD-7ryeqP-ncHTJg-8k68E-amDBg2-8ZPMTh-kbXotj-5fvp6o-eGwTZw-7cgU7Q-preScA-k6ngT-DZteTk-eenmC-rhiCiM-qRTXRr-655frr-6hteyd-nL3S54-nNydQT)
![sheep_marked.png](https://qiita-image-store.s3.amazonaws.com/0/30340/cded373f-b578-8ca9-6898-6906c9dbc6a5.png "sheep_marked.png")
めっちゃ羊です。

[Bicycle](https://www.flickr.com/photos/salim/158780905/in/photolist-f2N2P-ndUfBY-6mtbYc-5Nihze-oHtMZ6-ccNu1C-g8Bktb-njvDDT-rtCqGn-h3KDEM-7eKYFk-nUiRMB-rVCpb-edfuEY-ewdvhp-4oGgE-vKvFz-eUzcBm-c3RrMY-6Mw4d5-axiQ2z-qWH3YT-9mdaE-81xh6Y-oz9sx7-6Wf1h7-6TNaBU-7r352v-7vuw6o-potoA-53hN4q-7MvQKH-5r2CVV-6Cctny-6C8kVT-5RpTZc-e9cCB-7xwjRR-7ePfVQ-iCGZH-PYhkL-8afGXv-5fygx-FJsdJ-o95vE-fkfGzR-z2sYJV-eUnPye-4nBoHY-dtm8mP)
![bicycle_marked.png](https://qiita-image-store.s3.amazonaws.com/0/30340/fa6e7266-0920-e63c-3b59-2098ff344aa5.png "bicycle_marked.png")
ちょっと人のバウンディングボックスがずれました。群衆は引っかかりませんね。

[Birds](https://www.flickr.com/photos/ben124/6240127790/in/photolist-avqhAb-4VBura-Hhh59S-8okVSZ-bqd8q7-DP8HD-2bVjy3-58kycc-arHRmR-9bNosn-8p5zx5-acxRsq-cZtBKq-8oncyY-aL4ZCX-8okU8F-HQEF93-bgocKK-9bRsBN-arHRst-f7ALi9-arHRgX-Hhh5xN-545RCM-9bNovp-bjo9R-Jwt9no-JKYVsb-8okVrX-5M6pYF-8op6QE-HbQcBf-cZtLbW-HbQbgQ-cZt7PY-4JiQ3n-cUGbA9-7dhJfo-4QD1re-7qNhQA-Jwt9fE-HSGk8W-9bNoux-4roNwF-8okSQ4-af8tr6-o4ijxN-avqhsj-aL4YVK-mPv3wD)
![birds_marked.png](https://qiita-image-store.s3.amazonaws.com/0/30340/4865b83e-cf20-9216-e8ba-147e53557817.png "birds_marked.png")
右のひとも見つけてほしいところですが。しきい値を下げれば出てくるかな。

[Cat](https://www.flickr.com/photos/ivva/9725314122/in/photolist-fPoM4G-d55j3Y-gepJf2-ajyBYj-J21a9R-5rjoU-pezWuf-65fjVh-fNpw7f-jQGjjt-8XGDKR-JWEQ-4DTznL-cgE8rJ-5zbuA9-fXRSo-9Bhoqj-85Cihv-97SVrH-6za3em-dJNGUc-e5Nk39-4qfFXo-5wy5Sk-4SxWCr-pbNEGz-ajyAM1-qWFs4R-5pzxuY-4WHNSC-4WDvkp-7f7qVK-jQHaxM-eeDNhC-4fMoF8-kUgwo-dUc3Rq-mJacdB-a9mSXv-6j8y5z-nY2Hu9-b91XbZ-9dxDnZ-6eJjmt-6piJqY-9y7NBv-aVEDxZ-cHLp5J-u8CFHt-BZEnp)
![cat_marked.png](https://qiita-image-store.s3.amazonaws.com/0/30340/a34eae42-d5a2-5fbb-e2e0-b6de06744ae0.png "cat_marked.png")
めっちゃ猫です。

[PottedPlant](https://www.flickr.com/photos/mrsdkrebs/7665383518/in/photolist-cFn6sN-4ZgtyF-8N8mh-abvHun-cyN4P-6w2EwF-a1e4xi-5xG81k-abyyoq-aocZKe-a1gVY9-8BPkMQ-b3AdyF-ajvv7x-Gs3oKQ-fE2z8M-a6gZbw-9Yxf9s-3286zE-nqBR3o-4LxcvK-8wnnBG-4HpSwY-6dghww-pSviVA-8wjmL2-bqMyYR-wz6u9-7NHEr1-psKwB5-7NDGaz-7NDGfx-okH7US-7NHErY-7NDGjK-3Nstdv-7NHEtU-9L6fPu-4S2ok8-3eQBWz-mBS3U2-4ucnSH-phFSMU-pXAK38-djC3cB-nJ7b6j-587J3a-8xUhC-GKVKHw-8tgwoC)
![plant_marked.png](https://qiita-image-store.s3.amazonaws.com/0/30340/3d9778c2-c6cb-eaa5-3164-cf56604d68fb.png "plant_marked.png")
まあこんなもんでしょうか。。

# 感想

論文にしつこいぐらい繰り返し書いてあるように、１つのネットワークでいきなりバウンディングボックスの座標まで出力するという大胆なつくりです。その大胆なアイデアをちゃんと動くようにするための学習過程がポイントと思います。

一方でこれまた論文にも書いてあるように、バウンディングボックスの精度は、とくにtinyではそれほどよくありません。このあたりは用途次第とは思います。

TensorFlowとchainerのモデル変換ははじめてやりましたが、係数の並び方だけ注意すればできそうですね。汎用ツールもやればできると思いますが、趣味の範疇は超えそうです。

# 追記

YOLOはver2というのが出ています。
- [ペンパイナッポーとアッポーペンを識別する(ChainerでYOLO ver2)](http://qiita.com/ashitani/items/566cf9234682cb5f2d60)
- [leetenkiさんの学習までふくむ実装](https://github.com/leetenki/YOLOv2)
もご興味あれば参照ください。