Microsoft Lobeを顔コレデータセット（KaoKore Dataset）を用いて画像分類してみる

### Microsoftの機械学習モデル「Lobe」、プログラミングゼロで便利でした。

無料で試せるというLobe(https://lobe.ai/)。
ホームページもわかりやすい。
(Windows、Macに対応）

こちらQiitaの記事[Microsoftの機械学習モデル作成アプリケーション「Lobe」はラベル当たり5枚の画像があれば始められる](https://qiita.com/ma2shita/items/f5c4ecd79e44ba41065f)にも紹介されているが、**最低5枚**の画像があれば学習が始められる。

今回はwindows PCを用いて顔コレデータセット（KaoKore Dataset）(後述)を用いてLobeを試してみる。

### Lobeダウンロード
Lobeの[ホームーページ](https://lobe.ai/)の「ダウンロード」をクリック。
メールアドレスなどを記入すると現在公開されているベータ版をダウンロードすることができる。

![download.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684711/6a0b63a0-6e54-f16c-a00c-6b26d255f5fd.png)

ダウンロードした"Lobe.exe"を起動してダウンロードを行う（「Next」ボタンを何回か押してダウンロード）。

### 顔コレ
[顔コレデータセット（KaoKore Dataset）](http://codh.rois.ac.jp/face/dataset/)とは、日本の絵巻物や絵本に登場する様々な[顔貌画像「顔コレ（顔貌コレクション）](http://codh.rois.ac.jp/face/)を、機械学習に利用しやすい形式で提供されたデータセット。2020年9月にはv1.2が、顔貌数が8,573から8,848件に増えた。

データセットはgithub[rois-codh/kaokore: Dataset for the Collection of Facial Expressions from Japanese Artwork](https://github.com/rois-codh/kaokore)で公開されており、以下内容が公開されている。

* 顔貌画像（画素：256×256）の所在情報（URL）をまとめたテキストファイル
* 専門家が付与した属性情報（メタデータ）をまとめたテキストファイル
* 機械学習のためのラベルとデータ分割を指定するCSVファイル

百聞は一見にしかず。
とにかく眺めるだけでも面白いデータセットである。
化身にアノテーションされているのがたまりません。
![kaokore.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684711/67836109-d32d-ed16-5142-9da1d5f93c63.png)

今回はこのデータセットから試しに

* 男性タグの画像:20枚
* 女性タグの画像:20枚
* 鬼タグの画像:20枚

を用いることにする。
各画像をそれぞれフォルダに分ける。

### さっとくLobeを起動
右上の「import」ボタンから「Dataset」を選択
![label_import.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684711/5330576e-ddad-7011-20cd-ad1532266b8e.png)

![dataset.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684711/978d35a3-4e61-6a64-1cb2-42d22912f569.png)

フォルダを選択すると、

* フォルダ名をラベルに利用するか(Label Using Folder Name)
* マニュアルでラベル名を付与するかを選択(Label Manually) 

が選択。今回はフォルダ名をラベルとして利用する。
![label.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684711/3d8f8e09-135c-a11e-575c-5613a9e26c93.png)


なんだか面白い顔が並んでいてワクワクする。

![images.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684711/6019dde9-9fb5-f828-2054-99a7d928af8e.png)

画像をアップロードすると気が付くと学習が開始される
（20枚のうち、自動で16枚を学習、4枚を評価に分けてくれる）。
問題が簡単だったのか精度100%のようである。
（どのような深層学習のネットワークが使われているかなどは、画面上からはわからない）

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684711/332550a9-30e7-3dbf-ac28-770b29b5be0b.png)

### play（予測）を試してみる。

左側の「play」をクリック。
学習で用いていない画像をドラッグアンドドロップしてみる。

![predict.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684711/a716da8f-cea3-c6f3-d317-690ec1d21995.png)
確かに「女性」と正しく判定している。

カメラを起動させて、自分の顔が「化身」と分類されるかもすぐに試せそうです（怖くてまだ試せていない）。

~~学習モデルをどのようにダウンロードして利用するのかわかっていませんが（ご存じの方教えてください）、~~
↓追記しました。(2020/11/25)
TensorFlowのモデル（TensorFlow 1.15）として利用できるため、Raspberry Piなどで試せるようです。

### 学習済みモデルのExportなど（追記2020/11/25）
左上のハンバーガーメニューをクリックすると「Export」ボタンが。
![export.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684711/c8ab492d-68b2-8231-86aa-4ad3ed61d461.png)
Export方法は3種類。
![kinds.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684711/51cdbb67-89db-e628-8e00-d66ddb31108a.png)

ちなみにこちらの記事:[画像認識の機械学習を、無料で誰でも簡単に作れる「Microsoft Lobe」](https://www.atmarkit.co.jp/ait/articles/2011/18/news024.html)に記載されているが、
左上のハンバーガーメニューにある「Project settings」で2種類のモデルを選択することが出来る。
（Lobeが転移学習であることがわかる。）

![setting.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684711/9cb44354-67a1-24cc-64e2-b65c3414d16c.png)

* ［Optimize for Accuracy］（精度優先）： ResNet-50 V2（デフォルト）
* ［Optimize for Speed］（速度優先）： MobileNet V2


### 今後

ホームページを見ると、物体検出やデータ分類などがcomming soonのようなので、
公開され次第、試していきたいです。

![future.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684711/6daf9fab-a91d-f292-70b0-00d4eeb9da40.png)


### 参考文献・記事
ありがとうございました！

* [Microsoftの機械学習モデル作成アプリケーション「Lobe」はラベル当たり5枚の画像があれば始められる](https://qiita.com/ma2shita/items/f5c4ecd79e44ba41065f)
* KaoKore: A Pre-modern Japanese Art Facial Expression Dataset[https://arxiv.org/abs/2002.08595]
* [rois-codh/kaokore: Dataset for the Collection of Facial Expressions from Japanese Artwork](https://github.com/rois-codh/kaokore)
* [画像認識の機械学習を、無料で誰でも簡単に作れる「Microsoft Lobe」](https://www.atmarkit.co.jp/ait/articles/2011/18/news024.html)