DS-12

ConvDeconvNetの効率的モバイル実装による画像変換・物体検出・領域分割リアルタイムiOSアプリ群
丹野 良介，泉 裕貴，柳井 啓司(電気通信大学)
1. はじめに

2. モバイル実装ワークフロー
・ Caffe2C / Chainer2C・ ConvDeconvNetによる画像生成，領域分割のiOS実装− 深層学習フレームワークCaffe/Chainerで学習したネットワークをiOS/Androidで動作可能なC言語コードに自動変換− オリジナルの順伝搬演算ライブラリとリンク → 高速動作可能− 画像変換をpair画像で学習pix2pix[2]・ 線画着色，領域分割− pix2pixをUnpairに拡張CycleGAN[3]・ 素材クラスの変換(マテリアル変換)

Encoder・ マルチスレッド

Decoderx2− Multi Style Transfer[4]− BlasLibrary (iOS)− Neon (Android)の効率的な利用x・ [1]のネットワークの拡張，単一モデルで複数のスタイルを任意重みで合成・ 高速化の工夫− 事前計算− Sparse Relu
− Subpixel Conv
(Pixel Shuffler)− 九州大学内田研とのコラボ研究[6, 7]
・ 情景画像内の文字隠蔽ネットワーク- PS2-22で中身のポスター発表中！

3. pix2pix[2]・ Generative Adversarial Network(GAN)・ pix2pix- 用意したサンプルデータ群に似たデータを生成- pair画像間の違いを学習して，その差を補う形で画像を出力
・ 従来，似た問題設定でも個別のモデルで扱われていた-> 似たタスクを1つのモデルで変換できるようにする
ex. 線画着色，領域分割，カラー化…
・Generatorにノイズではなく，変換前の画像も入力
・ Discriminatorに損失関数そのものを学習- G: Generator(生成器): ランダム生成ベクトルを入力，サンプル群に似たデータを出力することで，Dを騙すことを目的- D: Discriminator(識別器): 受取ったデータが，サンプル群のデータ(real)か，Gにより生成されたデータ(fake) か識別することを目的・ GANは，以下の価値関数で表現されるミニマックスゲームとして定式化:
D(discriminator)

real image

1(Real)0(fake)1(real)正しいpairの場合

偽のpairの場合

G

VS.

(generator)

Dfake image(discriminator)G(generator)

random v

fake image

Discriminator training
Generator training

GとDを競争させることでお互いに強くなっていく

Real or Fake ?

D(discriminator)

Real or Fake ?

4. CycleGAN[3]【1】Cycle GANによる素材クラス変換（マテリアル変換）
GAN loss
Fabric to Leather

実験・ Train- UFMD(岡谷ら)Real leather- 1000 images *2classor・ Test
Fake leather- FMD

Constant loss

結果GAN loss

Leather to FabricLeather - > Metal

Real Fabricor
Fake FabricCycleGAN
Content

Metal Style Result

Constant loss

元に戻せる範囲内で変換

Randominitializedimage

StyleTransfer

F: fabric to leather G: leather to fabric

最適化
結果

6. 九州大学内田研とのコラボ研究[6, 7]

5. Multi Style Transfer[4]・ 情景画像内の文字を隠蔽するネットワークのモバイル実装担当- 文字有画像を入力すると，文字部分が隠蔽されて出力されるよう学習

・ 学習データ- Train: Flickr 3019枚+ ICDAR 229枚
・ [1]の拡張- Test: ICDAR 233枚
・ 単一モデルで・ CNN構造
複数のスタイルをU-Netを利用
任意重みで合成
Style

・ Neural Style Transfer(Gatys et al, 2015)− 画像の形状を保持したまま画風を変換− 順伝搬及び誤差逆伝播を複数回繰り返す− GPUで画像の生成に数十秒程度
・ Fast Style Transfer[1]− 特定の画風変換を準伝搬で行う CNN を学習−非常に高速に画像を変換可能− 1 つのモデルで単一の画風変換のみ学習− 消費メモリの増大，学習に時間要【2】Cycle GANとStyle Transferの比較
Style Transfer
CycleGAN・ 最適化
・ 学習- 画像ペア- 画像集合のペア
・ 構造の維持・ 構造の維持- Feature mapの類似度- 復元可能な範囲
・ 素材の変換・ 素材の変換- Style vector の類似度
- D1GANContentSkip Connection

・ 画像サイズが同じものを深い層から段階的に統合
・ 局所的特徴を保持したまま全体的位置情報の復元を可能に

・ PS2-22で中身のポスター発表中！

参考文献[6] T. Nakamura et al.: Scene Text Eraser, ICDAR, 2017.
[1] J. Johnson et al.: Perceptual Losses for Real-Time Style Transfer and Super-Resolution, ECCV, 2016.
[2] I. Phillip et al.: Image-to-Image Translation with Conditional Adversarial Networks, CVPR, 2017.
[7] 中村 俊貴 他: 畳みこみニューラルネットワークを用いた情景画像[3] J. Zhu et al.: Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks, ICCV, 2017. 内の文字隠蔽, MIRU, 2017.
[4] K. Yanai et al.: Conditional Fast Style Transfer Network, ICMR, 2017[5] K. Yanai et al.: Efficient Mobile Implementation of a CNN-based Object Recognition System, ACM MM, 2016.

DS-12ConvDeconvNetの効率的モバイル実装による画像変換・物体検出・領域分割リアルタイムiOSアプリ群
丹野 良介，泉 裕貴，柳井 啓司(電気通信大学)
はじめにデモ動画

・ ConvDeconvNetによる画像生成，領域分割のiOS実装− 画像変換をpair画像で学習pix2pix[2]・ 線画着色，領域分割

Encoder− pix2pixをUnpairに拡張CycleGAN[3]・ 素材クラスの変換(マテリアル変換)

Decoderx2x− Multi Style Transfer[4]・ [1]のネットワークの拡張，単一モデル
で複数のスタイルを任意重みで合成− 九州大学内田研とのコラボ研究[6, 7]
・ 情景画像内の文字隠蔽ネットワーク- PS2-22で中身のポスター発表中！

線画着色

マルチスタイル変換 (PS3-27で発表予定！)
Conditional Fast Style Transfer Network

領域分割

素材クラス変換（マテリアル変換）
Fabric to Glass

Stone to Wood

Fabric to Leather
Metal to FabricFabric to Water

Wood to Stone

Paper to Leather

Leather to Glass

文字隠蔽（九大内田研とのコラボ） (PS2-22で発表中！)

アプリダウンロード• 画像認識アプリ(公開済)

DeepFoodCam• 画像変換アプリ(公開済)

DeepStyleCam
PS2-22で中身の発表中！

Apple版のみ