プロジェクト報告書 Project Report

提出日(Date)

2019/01/16

AI するディープラーニング
AI Love Deep learning
1016163 濱口和希 Kazuki Hamaguchi

1. 背景
世界が情報化社会に移り変わる中，大量のデータを処理するための手法として機械学習は日々発展を続けてきた．

3. 課題解決のプロセスとその結果
3.1 グループ A：声質変換
3.1.1 先行事例

その中で，企業が持つビッグデータの存在とその価値が周

一般に利用されている声質変換の１つに，入力音声を一知されるようになると，機械学習は一気に注目を集め，様々度テキストに変換させ，変換させたテキストから合成音声な企業で導入されるようになった．ビッグデータを扱う上を出力する手法がある．ここで，入力音声を一度テキストで，特に適しているとされたのがディープラーニングであに変換する段階を音声認識とする．また，テキストから合る．ディープラーニングは機械学習技術の一つで，ニュー成音声を出力する段階をテキスト音声合成

ラルネットワークという人間の神経構造を模した機械学習(Text-to-speech: TTS) とする．そして，この音声認識とモデルのうち，隠れ層という層をいくつか重ねたものを指テキスト音声合成を組み合わせた手法をテキストベース変す．層を重ねることで，データを分析するために必要な要換手法とする．

素とその関係を,より多くかつ複雑に蓄積することができ

このテキストベース変換手法にはいくつかの問題がある．

るようになっている．ディープラーニングの精度は用意す

まず，テキストベース変換手法では，音声認識とテキストる学習データ量に左右されるため，限られたデータ量でよ

音声合成の 2 つの段階を経る必要がある．そのため，音声り精度を上げるための研究開発が進められている．本プロの入力から出力までが遅くなるという問題がある．実際に，ジェクトでは，このディープラーニングを用いて新たな問テキストベース変換手法を用いた「ゆかりねっと」という題解決に挑むことを全体の目標とする．

ツールでは，音声の入力から出力までに約 5 秒から 8 秒の2. 基礎知識の習得とテーマ時間を必要とする．また，音声認識では，音の途切れで，4 月から 5 月は，主に基礎的な知識習得と先行研究調査に取り組んだ．

文章と次文章の判断をしている．したがって，一定時間以上連続して話していると，音声認識精度が落ちてしまう．

基礎的な知識として，Python によるプログラミングとデその結果，誤認識が発生しやすくなる．さらに，変換させィープラーニングの初歩を参考書[1]を使用し学んだ．

たテキストから合成音声を出力する際，テキスト音声合成

Python は機械学習に関するライブラリが充実しているため，を用いる．合成音声が必要となるため特定の人物の声に変

本プロジェクトで主に使用する言語として採用した．プロ

換する際は，その人の合成音声を作成する必要がある．そグラミングの学習においては参考書[1]のサンプルコードのため，変換先として，既に合成音声として作成されていを参考にし，動かすことによって行った．先行研究調査はる，SofTalk や VOICEROID に限られる．これらが，我々が論文や書籍，Web などの情報を参考にし，各自で情報をま改善すべき問題である．

とめた．その後，全体で一人ずつテーマを決めるため，プ

3.1.2 目標設定

レゼンテーションをし，ブレインストーミングを行った．

グループ A の目的は，テキストベース変換手法よりも高その結果，「声質変換」と「姿勢推定」の２つにテーマが性能な声質変換手法を開発することである．その後，テキ絞られたため，各自の希望によりどちらかに配属され，課ストベース変換手法と開発した変換手法をグループ内で検題解決を行うこととなった．

証して，性能評価を行う．

3.1.3 音声を直接変換するメリット習を行った．そして，入力話者の基本周波数・メルケプス

我々は，入力音声を直接変換し，合成音声を出力する手トラムが，目標話者の基本周波数・メルケプストラムに近法で声質変換に取り組む．入力音声を直接変換し，合成音づいているのかを，変換された基本周波数・メルケプスト声を出力する手法を直接変換手法とする．テキストベース

ラムと，目標話者の基本周波数・メルケプストラムで比較変換手法ではなく，直接変換手法に取り組むことにより，し，誤差を算出した．この誤差が小さくなれば小さくなる

現状における問題点の改善が図れると考えられる．

ほど，変換の精度が向上する．高品質化モデルの学習では，まず，直接変換手法では，入力から出力にかかる時間が目標話者の音声データから，意図的に低品質にしたスペク短縮される．テキストベース変換手法を用いた「ゆかりねトル包絡と高品質なスペクトル包絡を作成し，低品質なスっと」というツールでは，音声の入力から出力までに約 5ペクトル包絡を高品質なスペクトル包絡に変換できるよう秒から 8 秒の時間を必要とする．しかし，直接変換手法のに学習させた．

先行事例であるディープラーニングを用いた声質変換シス
テム[2][3]では，入力から出力までの遅延が約 3 秒から 4秒である．また，テキストベース変換手法では，音声認識の段階で誤認識が発生していた．しかし，直接変換手法では音声をテキストに変換しないため，誤認識は発生しない．
さらに，テキストベース変換手法では，音声の変換先がSofTalk や VOICEROID に限られていた．そのため，SofTalkや VOICEROID に収録されていない特定の個人の声や，アニメキャラクターなどの声に変換することが難しい．
しかし，直接変換手法内の変換方法に，自分の音声をまるで特定の人物が話したかのように変換し，かつ変換先の対象を自由に変更する方法[3]がある．したがって，この手法を用いることで自由な対象への声質変換ができると考えられる．
現状，直接変換手法には，様々な種類の変換方法がある．
例えば，隠れマルコフモデル (Hidden Markov Model：HMM)

図 1 開発したモデル

を 用 い る 方 法 ， 混 合 ガ ウ ス モ デ ル (Gaussian Mixture

最終的には，実際に構築したモデルを利用し，声質変換Model： GMM) を用いる方法，ディープニューラルネットワを行い，変換した音声を流すことまでを行うことができた．

ーク (Deep Neural Network) を用いる方法などがある．そ3.2 グループ B：姿勢推定の中でも，DNN は HMM に比べ，より自然な合成音声を出力3.2.1 先行研究できる[4]．また，DNN は GMM と比べ，より高精度な変換がモーションキャプチャは，スポーツのフォームや日常生可能である[5]．以上より我々は，DNN を用いた手法での開活の仕草のデータ収集などの研究目的にも多く利用される発を前提とする．など，バーチャルリアリティに関わらず様々な分野を支え3.1.4 開発した手法と結果ている．モーションキャプチャを機械学習によって行う試

開発した手法では，先行事例[2][3]を参考にして低品質な声質変換モデル，高品質化モデルの実装を行った．モデルの全容は図 1 に示す．
低品質な声質変換モデルの学習では，入力話者と目標話者のパラレルデータからそれぞれの基本周波数・メルケプストラムを抽出し，入力話者が目標話者に近づくように学

み が 盛 ん に 行 わ れ て い る ． 例 と し て ， Zhe Cao ら のOpenPose[6]は映像に移った人間の各関節の二次元位置を推定することができる．また，Weipeng Xu らの Mo2Cap2[7]は，つば付き帽の先に下向きのカメラを付けることで全身を映し，三次元姿勢を推定する．

3.2.2 従来の手法における問題

現在のモーションキャプチャの手法では，精度を向上させようとするほどセンサを増やす必要があり，費用や管理データ収集には，全方位カメラと KinectV2 を用いる．全方位カメラで動画を撮影し，KinectV2 で動画における各フレームに対する関節の角度の収集を行う．

システムのコストが問題となる．正面からのセンサを用いこれらのデータを用いて畳み込みニューラルネットワー

る場合，少ないセンサで全身の動きをとることができるが，クの訓練と調整を行う．その後，今回は歩行のみの姿勢推移動範囲がセンサの範囲内に制限されてしまう．また，正定に限定し，Unity の 3D モデルを用いて，全方位カメラの面からのセンサが全身を認識することができ，かつ対象が映像から畳み込みニューラルネットワークを用いた推定を十分に動き回れるような比較的広いスペースも必要になる．

行い 3D モデルに反映させる．

以上のモーションキャプチャの問題は，一般にバーチャル3.2.5 実験リアリティが普及する上での課題となっている．
3.2.3 検討した機械学習手法

実験環境は．まずコンピュータのスペックはメインメモ
リ 64GB，プロセッサは Intel Core i7-7700k，グラフィッグループ B では，前方 360 度撮影できる全方位カメラをクボードは GeForce GTX1080Ti である．OS は Ubuntu17.10

用いて姿勢推定することによって大掛かりな機材や撮影すを使用した．また，TensorFlow 上で実行される高水準なニる上で妨げとなる第三者からの計測を必要としないモーシューラルネットワーク用のライブラリである Keras と，ョンキャプチャができると考え，我々はディープラーニン

TensorFlow や Keras で実装したモデルの様々なデータを可

グと全方位カメラを用いた姿勢推定を提案する．

視化するライブラリである tensorboard を追加した．

3.2.4 提案するアイデア

モデルの入力は映像とし，出力は quaternion の形式の関我々は，モーションキャプチャや姿勢推定の調査，画像節角度とした．入力の一次元目は 15 フレーム分，二次元目処理の手法である畳み込みニューラルネットワークの構築

および三次元目はそれぞれ映像の縦と横のピクセル数であ及 び デ ー タ の 収 集 の た め に 参 考 文 献 [1] と 先 行 事 例る．出力の一次元目は 15 フレーム分，二次元目は 11 の関[7][8][9]を用いた.

節(腰，肩，ひじ，手首，足の付け根，膝)の角度を quaternion

畳み込みニューラルネットワークは画像認識の分野で精で表現する．

度が高く，深い層での学習が比較的安定する DenseNet と呼全てにおいて epoch 数は 300 とし，ResNet およびいくつばれるモデルを用いる．DenseNet の構造を図 2 に示す．

かの DenseNet を学習させた．ResNet の学習時間は約 14 時間，DenseNet の学習時間は約 41 時間となった．何度か仮実験を行い，正則化しなければ過学習を起こしてしまうことがわかった為，L1 正則化および Dropout をモデルに追加して本番の実験を行った．
我々は二種類の検証を行った．一つ目は tensorboard を利用して誤差を定量的に測る方法，二つ目は学習済みのモデルが出力した関節のデータを Unity で読み込み，Unity上のモデルをその関節データに従って動かしてどれだけ自然かを主観的に判断する方法である．tensorboard ではト
レーニングデータと検証用データそれぞれの平均絶対値誤差と Loss を 1epoch 毎にプロットして監視を行った．
3.2.6 結果と考察

ResNet を使っての学習の結果，Loss がほぼ一定の値に収束した．しかし各クォータニオンの誤差の値が大きいことから，上手く学習ができなかった．また Loss が収束し，現図 2 DenseNet の第 l 層から l+4 層の構造

状これ以上の学習を行うことができないため，データまたし簡略化を行うことによりプロジェクトの目標を達成できはモデルに対しての改善が必要であることが分かった．

ると考えられる．

次に，層を深くすることのできる DenseNet を用いて学習参考文献した結果，ResNet と同様に Loss が収束した．だが，ResNet[1] 斎藤 康毅, ゼロから作る Deep Learning -Python でと比較して少しは改善されたが，良い精度ではなかった．

学ぶディープラーニングの理論と実装, オライリー・ジャ

出力を分析した結果，手首の精度が著しく低いことがわかパン, 2016．

った．原因として考えられることは，Kinect から取得され[2] Hiho「ディープラーニングの力で結月ゆかりの声になたデータの精度が低いということである．期待する出力とってみた」, 2018．

して与えているデータの精度が低いため，ネットワークか[online]https://blog.hiroshiba.jp/became-yuduki-yuka

ら出力されるデータの精度も低くなる．また，歩行というri-with-deep-learning-power/

タスクにおいて，手首の動きは重要なパラメータでないと

2018 年 7 月 20 日アクセス判断したため，予測するパラメータから手首を除いて学習[3] Yoshikazu Oota「「ディープラーニングの力で結月ゆすることとした．

かりの声になる」ための基礎知識とコマンド操作」, 2018

手首を除いて学習した場合においても，同様に Loss は収[online]https://qiita.com/atticatticattic/items/575d

束した．手首を除いて学習した DenseNet は，手首を含んで71dab4ee716e4969

学習したモデルと比較して，少し精度が改善された．手首

2018 年 7 月 20 日アクセス

を除いて学習することで多少の改善は見られたが，全体的[4] Lifa Sun，Kun Li，Hao Wang，Shiyin Kang， and Helenな精度としては依然低いままであり，著しく精度の低いパMeng, “Phonetic posteriorgrams for many-to-one voice

ラメータを除いても，精度が改善されていないため，モデconversion

ルの表現力を増す必要があると考えた．そこで，各関節あMultimedia and Expo (ICME), 2016 IEEE International

たりに使うパラメータを増やすために，関節を上半身と下Conference on, pp. 1-6．2016．

半身に分割することとした．

[5] 廣芝 和之, 能勢 隆, 宮本 颯, 伊藤 彰則, 小田桐

without

paralleldatatraining,”

関節を分割して学習した結果においても Loss は収束し

優理 「畳込みニューラルネットワークを用いた音響特徴量

た．関節を分割して学習した DenseNet は手首を除いて学習変換とスペクトログラム高精細化による声質変換」, 研究したモデルと比較して，精度が悪化した．

報 告 音 声 言 語 情 報 処 理 , Vol. 2018-SLP-122, No. 27,

このような様々な方法を用いて実験を行ったものの，いpp.1-4．June 2018.

ずれも良い精度を出すことができず，今回の目標に達する[6] Zhe Cao，Tomas Simon，Shih-En Wei，Yaser Sheikh．

結果を出すことはできなかった．

Realtime Multi-Person 2D Pose Estimation using Part

4. 今後の課題

Affinity Fields. arXiv:1611.08050． 2016．

今後の課題として，グループ A では声質変換のバリエー[7] Xu，Weipeng，Chatterjee，Avishek，Zollhoefer，Michael，ションを増やして行く必要があると考える．例えば，ささRhodin，Helge，Fua，Pascal，Seidel，Hans-Peter，Theobalt，やき声や叫び声，歌うなどの声を収録し変換してみる必要

and Christian ． Mo2Cap2: Real-time Mobile 3D Motionがある．また，リアルタイム性を持たせることができなか

Captureった．そのため，リアルタイム性を持たせた上での変換速

arXiv:1803.05959．2018．

度も計測する必要がある．

[8] Kaiming He,Xiangyu Zhang,Shaoqing Ren,Jian Sun Deep

グループ B では，今回の目標を達成することができなか

ResidualwithaCap-mounted

Learningfor

Fisheye

ImageCamera.

Recognition.

ったが，今後の課題として目標に達成する十分な結果を得

arXiv:1512.03385. 2015．

るには，入力部分の学習の妨げとなる情報を取り除き，更[9] Gao Huang,Zhuang Liu,Laurens van der Maaten,Kilian

なるモデルの表現力の向上や,タスクに必要な情報を取得

Q. Weinberger Densely Connected Convolutional Networks.
arXiv:1608.06993. 2016．