研 究 講 演

研 究 講 演あなた専用のお手本映像で上達支援
深層学習によるメディア生成の可能性

Ge nerative p ersonal ass i s t anc e wi t h audi o and v i s ual e x am p l e s
D ee p l e a r ni n g o pe ns th e w a y to inno vative media generatio nの動作例を示します。本システムでは、
まず、ユーザの顔表情を題を解決するために、深層学習における新たな情報伝播方法をカメラで撮影して現状把握を行います。次に、この情報を元に考案し、多様な入力状態の理解と具体的な情報提示とを一体解析を行うことで各ユーザの現状に最適な理想状態を求め、ど的なモデルで実現することを可能にしました。の顔パーツをどのぐらい修正すればよいかということを矢印で提示します。具体的な情報が与えられているので、ユーザはこの指示に従って顔パーツを動かすことで理想状態に近づくことができます。同じような方式は、上手な話し方の練習など、音声に対しても適用することができます。

卓 弘 Ta k uh i ro K a n e k oプ ロフィー ル
NTT コミュニケーション科学基礎研究所 メディア情報研究部 研究員。
2012年東京大学工学部卒業。2014年同大学大学院情報理工学系研究科修士課程修了、2017年博士課程入学。2014年日本電信電話株式会社入社。コンピュータビジョン、画像処理、音声信号処理、機械学習の研究に従事。2012年日本機械学会畠山賞受賞。同年ICPR2012 Best
Student Paper Award受賞。電子情報通信学会会員。

上記のアプローチの鍵は、システムがメディア生成を通していかにユーザに寄り添えるか、ということです。そのための必須技術として、私たちは、インタラクティブに操作しながら理想像をメディア情報研究部

金子

深 層 学 習 によるメディア 生 成 の 今 後 の 展 望

探索・提示する方法[2]、肉声と見分けのつかない音声の合成

多 様な入 力 状 態 への 対 応と具 体 的な情 報 提 示

方法[3]なども考案してきています。これらは、上達支援だけにと上記のようなシステムを実現するためには、二つの点で技術どまらずユーザが思い描くようなメディアを生成するために無く的な難しさがありました。一つ目は多様な入力状態への対応でてはならない技術です。私たちは、どのようなものが生成できたす。このシステムが対象としている人は千差万別であり、最適なら嬉しいかという想像力と、深層学習を用いたメディア生成にフィードバックも個人ごとに異なります。従来のフィードバックシ関する知見と経験とを積み重ねながら、将来的には、ユーザのステムはルールベースで入出力関係を定めるものが主で、多あらゆる要望に応えられる、極めて高品質なメディア情報を生様な入力状態に対応するためには数多くのルールを人手で作成できる技術の確立を目指しています。

成する必要がありました。二つ目の難しさは、入力に対して単に認識するだけではなく、それを元に具体的な情報提示を行う点です。従来の画像認識技術では、クラス（例えば表情）の識別や特徴的な点（例えば顔パーツ）の検出などを行うことはできましたが、提示すべき情報の生成は困難でした。私たちは、この問深 層 学 習 の 広がりしたりといった方法がよくとられます。前者は個人に合った具体

近年、深層学習と呼ばれる技術の著しい発展により、少し前的な指示が得られる点、後者は自己解決できる点で有用ですまでは想像もつかなかったことが実現されつつあります。メディが、一方で、前者は詳しい人を探し出すことが難しく、後者は特ア生成はその代表例であり、例えば、任意の乱数から本物と見定の個人を対象にしたものではないため自身のケースにうまく分けのつかないような画像を生成する技術など、世界中で驚く当てはまる情報を見つけ出すことが難しいという問題がありまような研究成果が報告され始めています。同じ深層学習でも、す。このような問題に対し、私たちは、前者の利点である「個人数年前までは、画像識別や音声認識など比較的正解が明確な性」「具体性」と後者の利点である「自己解決性」の両者を満た問題に対して精度を向上させる研究が主でしたが、近年は、深すものとして、「あなた専用のお手本映像の生成」
システムの実層学習ならではの表現能力の高さを活かし、新たな概念・モデ現を目指しています。

⌮᝿ീ⏕ᡂ౛ձᣦ♧ࡢᥦ♧ከᵝ࡞ධຊ≧ែධຊ≧ែ࡟ᛂࡌ࡚ࠕ࠾ᡭᮏᫎീࠖ⏕ᡂ⮬ᕫゎỴᛶලయᛶ図1：「あなた専用のお手本映像の生成」
システム（例：顔の表情改善の場合）なってきています。

Ⰻ࠸➗㢦㸟┿㢦Ѝ➗㢦➗㢦ղࣇ࢕࣮ࢻࣂࢵࢡ⏕ᡂճᣦ♧㏻ࡾ࡟ಟṇ⏕ᡂ౛ղ⌮᝿ീࡢᥦ♧ձ࣓࡛࢝ࣛ᧜ᙳ

ಶேᛶ

ル構造を導入することで、より複雑な問題も解決できるように

Ⰻ࠸⾲᝟࡟
ࡋࡓ࠸͐

ཱྀඖࡢᣑ኱ᅗཱྀゅࡢୖ᪼ࢆ
▮༳࡛ᣦ♧

図2：表情改善のためのフィードバックシステムの動作例

あなた専 用 の お 手 本 映 像 の 生 成
上 達 支 援 のためのメディア 生 成

10

図１に提案システムのコンセプトを示します。このシステムで「ボールを速く投げたい」「英語をきれいに発音したい」「印象は、ユーザが与えたメディア情報（画像や音声）を元に解析を行の良い表情にしたい」など「何かをしたい」という時に、「どうすれうことで「個人性」を実現し、具体的な指示や理想像を提示すば良いのかやり方が分からない…」といった経験は誰しもがしたることで「具体性」を実現し、さらにこれらの処理を自動的に行うことがあるのではないでしょうか。このような時には、詳しい人にことで「自己解決性」を実現します。図２に、実際に私たちのグ教えを乞うたり、自身で書物やインターネットを頼りに情報を探ループが考案した表情改善のためのフィードバックシステム[1]オープンハウス 2017

関 連 文 献[1] T. Kaneko, K. Hiramatsu, K. Kashino, “Adaptive visual feedback generation for facial expression improvement with multi-task
deep neural networks,” in Proc. 24th ACM International Conference on Multimedia (ACMMM), pp. 327-331, 2016.
[2] T. Kaneko, K. Hiramatsu, K. Kashino, “Generative attribute controller with conditional ﬁltered generative adversarialnetworks,” in Proc. 30th IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017 (to appear).
[3] T. Kaneko, H. Kameoka, N. Hojo, Y. Ijima, K. Hiramatsu, K. Kashino, “Generative adversarial network-based postﬁlter for
statistical parametric speech synthesis,” in Proc. 42nd IEEE International Conference on Acoustics, Speech and Signal
Processing (ICASSP), pp. 4910-4914, 2017.

Copyright (C) 2017 NTT Communication Science Laboratories

オープンハウス 201711