ディープラーニング声質変換OSS「yukarinライブラリ」関連記事等一覧

#はじめに

ヒホさん開発のディープラーニング声質変換OSSである[「誰でも好きなキャラになれる」レポジトリ　become-yukarin](https://github.com/Hiroshiba/become-yukarin)などのいわゆる「yukarinライブラリ」の記事をまとめました。あなたも声質変換に挑戦してみませんか？

#yukarinライブラリのユーザーコミュニティ

yukarinライブラリのユーザーコミュニティはこちらです。きりさんさんやatticさんが中心となって、メンバーが数十人で、活発にyukarinライブラリなどの意見交換が行われています。

[yukarinライブラリディスコード](https://discord.gg/dQz2hBT)

#環境構築について(今のところグーグルコラボラトリーとWindowsとUbuntuによる方法があります。最近WSL2でも可能になったようです。(yukarinライブラリでは未検証))

##グーグルコラボラトリーでお手軽実行するための方法

atticさんによるもの。WindowsでGPUがなくても大丈夫です。
12時間までGPUの機械学習環境が無料で使えるグーグルコラボラトリーで、声質変換の学習や実行ができます。

第一段のみの学習
[GPUがなくても、Google Colaboratory で結月ゆかりの声になりたい](https://qiita.com/atticatticattic/items/e9eb4a24d63dc7ec1e58)

第一段・第二段学習をさせる完全版はこちら。
[「GPU・Linuxがなくても、Google Colaboratoryで『Yukarinライブラリ』を使いたい」]
(https://qiita.com/atticatticattic/items/0fa84cb6e7d60c56d37d)

##Windowsでの環境構築や学習するための方法

BURIによるWindows環境でのyukarinライブラリの学習挑戦記。原因不明のエラーが出たり、遅かったりしますので、あまりお勧めしません。yukarinライブラリディスコードにも資料があります。

[Windowsで誰でも好きなキャラの声になれるyukarinライブラリを動かしてみた。]
(https://qiita.com/BURI55/items/7bcac3ef68114c193344)

Windows にYukarinライブラリ（https://www.nicovideo.jp/watch/sm35735482）
を導入する際にひたすら躓いたので、覚書としてまとめる。
追記：精度を上げるための試行と躓きの記録も追加した。

だそうで、ピポッ(@pipo_lll)さんのまとめ。ツイッターをトゥギャッターでまとめたもの。
   
[Windowsに『Yukarinライブラリ』（become-yukarin, yukarin）を導入した](https://togetter.com/li/1520579)

##Ubuntuで本格的に学習や実行するための環境構築の方法

become-yukarinの学習や実行に必要なUbuntu他の環境構築は以下の記事が参考になります。特に最後のものは参考になります。

[「ディープラーニングの力で結月ゆかりの声になる」ためのLinux環境構築(RTX対応)【Ubuntu 19.04】by attic](https://qiita.com/atticatticattic/items/8826a81badeea21a7175)

[「ディープラーニングの力で結月ゆかりの声になる」環境構築【Ubuntu Server v18.10】by sakamotothogo](https://qiita.com/sakamotothogo/items/322012f1a462f27188bf)]

[【Quick Start】ディープラーニングで結月ゆかりの声になる on Ubuntu18.04 by nullpo24](https://nullpo24.hatenablog.com/entry/2019/02/22/225311)

[「ディープラーニングの力で結月ゆかりの声になる」ためのLinux環境構築【Ubuntu 17.10】by attic](https://qiita.com/atticatticattic/items/575d71dab4ee716e4969)

[初めての「誰でも好きなキャラの声になれる」ディープラーニング声質変換環境構築【Ubuntu 18.04LTS】by BURI](https://qiita.com/BURI55/items/92ba127c7beb95b2b3f0)

#yukarinライブラリの学習方法や実行について

##become-yukarinの基礎知識と実行方法(旧版)

atticさんによるbecome-yukarinの基礎知識と学習方法や実行方法です。
最近、学習第一段階の機能向上版である[誰でも好きなキャラになれるリポジトリ yukarin](https://github.com/Hiroshiba/yukarin)がヒホさんにより公開されましたので、第一段に関しては、yukarinをご使用ください。そのため、この解説は古いので、次の解説をご覧ください。

[「ディープラーニングの力で結月ゆかりの声になる」ための基礎知識とコマンド操作]
(https://qiita.com/atticatticattic/items/f1e4c671d73d815bbad2)



###yukarinライブラリの解説(最新版)

atticさんによるyukarinライブラリによる声質変換の解説です。これが最新版です。

[『Yukarinライブラリ』 yukarin, become-yukarin 概要・リポジトリ関係を整理してみた](https://qiita.com/atticatticattic/items/7c668dd5cf8a78ea1094)

[『Yukarinライブラリ』become-yukarin, yukarin コマンド解説](https://qiita.com/atticatticattic/items/37441f3be6916cd1e73a)

[Yukarinライブラリ用の音声収録方法の紹介(動画)](https://www.youtube.com/watch?v=_DR-8ial54E&feature=youtu.be)


##yukarinライブラリのエラーメッセージについて

yukarinライブラリのエラーメッセージについてatticさんがまとめてくれました。

[『誰でも好きなキャラの声に』 become-yukarin, yukarin のトラブルシューティング]
(https://qiita.com/atticatticattic/items/13b31069d50dd9c0d922)

##yukarinライブラリ関連ツール

###yukarinライブラリジェネレータ

AIきりたんさんによるYukarinライブラリのデータ準備やディープラーニングのためのコマンドのジェネレーターです。

[yukarinライブラリジェネレータ](http://aikiritan.html.xdomain.jp/)

##yukarinライブラリの声質変換結果の客観評価と向上の一手法
atticさんによるもの。

[Yukarinライブラリ用 パラレルデータ評価ツール](https://qiita.com/atticatticattic/items/848869a32413a378ee6d)

##yukarinライブラリの性能向上について

第一段階・第二段階の性能向上の実験レポートはこちらです。

[「ディープラーニングの力で結月ゆかりの声になる」ための第1段の高音質化](https://qiita.com/atticatticattic/items/6d9e29d88e556911d9a3)

[『ディープラーニングの力で結月ゆかりの声になるリポジトリ』のパラメータチューニング(第一段階編)](https://qiita.com/sunnyyone/items/f85c26d6149a200ed119)

[『ディープラーニングの力で結月ゆかりの声になるリポジトリ』の性能アップ (音質+速度)](https://qiita.com/sunnyyone/items/87abfe9a6ccadebe4e4c)

#yukarinライブラリのリアルタイム声質変換について(暫定)

atticさんによるbecome-yukarinのipynbブランチを利用したリアルタイム声質変換の実験はこちらです。最近ヒホさんがリアルタイム声質変換ライブラリを大幅にバージョンアップして
[ディープラーニング声質変換を使って、リアルタイムで声質変換する realtime-yukarin](https://github.com/Hiroshiba/realtime-yukarin)を完成し公開されました。こちらをご利用ください。

[『ディープラーニングの力で結月ゆかりの声になるリポジトリ』の ipynb ブランチのリアルタイム変換サンプル](https://qiita.com/sunnyyone/items/87abfe9a6ccadebe4e4c)

#become-yukarinの応用例

##become-yukarinのdockerイメージ作成

become-yukarinを使ってキズナアイ*1になってみた人の作成したdockerイメージ
[GitHub](https://github.com/YUzushio/become-yukarin-docker)

[変換結果](https://drive.google.com/file/d/1L2IIUWS-ZfL9wcuJqH6Gj0ES1caJ6Cs5/view)

*1キズナアイはVtuberである。

##become-yukarinを参考に声質変換したもの

todaさんによるものです。※コードは別なようです。
[できるだけ楽に結月ゆかりになりたい](https://qiita.com/toda_necgene/items/bfd5da79cdbfdc3be6c6)

##become-yukarinの学生レポート

はこだて未来大学の学生だったhamaさんが実習でbecome-yukarinを使って茜ちゃん*1になったレポート。

[プロジェクト報告書(グループ)](http://www.fun.ac.jp/~sisp/old_report/2018/06/document06_A.pdf)

[プロジェクト報告書(個人)](http://www.fun.ac.jp/~sisp/old_report/2018/06/project06.pdf)

[ポスター](http://www.fun.ac.jp/~sisp/old_report/2018/06/poster06_A.pdf)

[Github](https://github.com/HamaguchiKazuki/become-yukarin)

*1 琴葉茜は企画開発元AI発売元AHSの音声合成ソフトウェアのキャラクターである。

#ヒホさん自身のコンテンツ

##ヒホさんのブログ

研究成果をまとめています。

[ヒホさんのブログ](https://blog.hiroshiba.jp/)

[声優統計コーパスをアライメントしてみる](https://blog.hiroshiba.jp/sandbox-alignment-voice-actress-data/)

[DeepLearningでも声質変換したい！](https://blog.hiroshiba.jp/voice-conversion-deep-leanring-and-other-delusions/)

[Chainerを使った研究開発時のクラス設計](https://blog.hiroshiba.jp/class-design-at-research-and-development-using-chainer/)

[ディープラーニングの力で結月ゆかりの声になってみた](https://blog.hiroshiba.jp/became-yuduki-yukari-with-deep-learning-power/)

[CycleGANノンパラレル結月ゆかり声質変換やってみた](https://blog.hiroshiba.jp/became-yuduki-yukari-with-cycle-gan-power/)

[CREPE(A Convolutional REpresentation for Pitch Estimation)使ってみた](https://blog.hiroshiba.jp/using-crepe/)

[ディープラーニングの力で人工知能になって結月ゆかりと会話してみた](https://blog.hiroshiba.jp/talk-to-yuduki-yukari-with-deep-learning-power/)

[「結月ゆかり」とお喋りできるイベントの舞台裏](https://blog.hiroshiba.jp/backstage-of-talking-event-with-yuzuki-yukari/)

[リアルタイム声質変換ライブラリ「Realtime Yukarin」を公開しました](https://blog.hiroshiba.jp/realtime-yukarin-introduction/)

[ディープラーニングで歌声音声合成エンジンを自作する](https://blog.hiroshiba.jp/create-singing-engine-with-deep-learning/)

##ヒホさんのツイッター

ヒホさんの最新状況はこちら。

[ヒホさんのツイッター](https://twitter.com/hiho_karuta)

※質問は[ヒホさんのGithub](https://github.com/Hiroshiba)の各issueに飛ばしてほしいとのことです。(要githubアカウント)

##ヒホさんのマストドン

研究とはあまり無関係につぶやいています。たまに研究のことも。

[ヒホさんのマストドン](https://best-friends.chat/@hiho_karuta)

##ヒホさんの欲しいものリスト

研究に必要なもの

[ヒホさんの欲しいものリスト](https://www.amazon.co.jp/registry/wishlist/3M3PLC2G2ANNB/ref=cm_sw_r_cp_ep_ws_8PIwAb9G957VA)

##ヒホさんのGithub

研究成果

[ヒホさんのGithub](https://github.com/Hiroshiba)

[誰でも好きなキャラの声になれるリポジトリ become-yukarin](https://github.com/Hiroshiba/become-yukarin)

[誰でも好きなキャラの声になれるリポジトリ yukarin](https://github.com/Hiroshiba/yukarin)

[ディープラーニング声質変換を使って、リアルタイムで声質変換する realtime-yukarin](https://github.com/Hiroshiba/realtime-yukarin)

##ヒホさんの毎日生放送(要ニコ生アカウント)

[ヒホさんのニコニコ生放送コミュニティ　ヒホの開発最前線](https://com.nicovideo.jp/community/co3686550)

毎日夜23時過ぎから1時間ほどプログラミング生放送をされています。今現在はSTARGANを使った演技音声合成に取り組まれています。

##[ヒホさんのQiita](https://qiita.com/Hiroshiba)

基本書かないらしいですが、たまに書いています。

[ディープラーニングを使って自分を模した人工知能を作って会話してみた]

(https://qiita.com/Hiroshiba/items/b4daca0176af5fd352a2)

#become-yukarinの研究

DMV(ドワンゴメディアビレッジ)の廣芝さんたちがbecome-yukarinについて研究して論文を出しています。解説記事もあります。

[記事　変換と高精細化の2段階に分けた声質変換](https://dmv.nico/ja/casestudy/2stack_voice_conversion/)

[記事　統計的声質変換を行うための知識と手法](https://dmv.nico/ja/articles/2stack_voice_conversion_article/)

[日本語論文　畳込みニューラルネットワークを用いた音響特徴量変換と
スペクトログラム高精細化による声質変換](https://dmv.nico/assets/img/casestudy/2stack_voice_conversion/paper.pdf)

[ポスター](https://dmv.nico/assets/img/casestudy/2stack_voice_conversion/poster.pdf)

英語論文 Two-Stage Sequence-to-Sequence Neural Voice Conversion with Low-to-High Definition Spectrogram Mapping

[https://link.springer.com/chapter/10.1007/978-3-030-03748-2_16](https://link.springer.com/chapter/10.1007/978-3-030-03748-2_16)

[https://www.researchgate.net/publication/328875143_Two-Stage_Sequence-to-Sequence_Neural_Voice_Conversion_with_Low-to-High_Definition_Spectrogram_Mapping](https://www.researchgate.net/publication/328875143_Two-Stage_Sequence-to-Sequence_Neural_Voice_Conversion_with_Low-to-High_Definition_Spectrogram_Mapping)

# ニコニコ動画やYoutubeの関連動画(一部)

- **[ヒホ さん](https://www.nicovideo.jp/user/10967825)**

[ディープラーニングの力で結月ゆかりの声になってみた](https://www.nicovideo.jp/watch/sm32724409)

[【自己紹介】関西弁のゆかりさんがVtuberになりたいようです](https://www.nicovideo.jp/watch/sm33527293)

[【VR音ゲー】ゲームにちょっと自信のあるゆかりさんがBeat Saberでドヤってきます](https://www.nicovideo.jp/watch/sm33595335)

[【ゆかりさんの声で】チュルリラ・チュルリラ・ダッダッダ！歌ってみた【おまけもあるよ】](https://www.nicovideo.jp/watch/sm33680154)

[ディープラーニングを使って結月ゆかりの声で歌ってみた【音程改善】](https://www.nicovideo.jp/watch/sm33677204)

[ゴミ箱乗せたゆかりさんのコメント返し！](https://www.nicovideo.jp/watch/sm33879122)

[ディープラーニングの力で人工知能になって結月ゆかりと会話してみた](https://www.nicovideo.jp/watch/sm34712379)

- **[AI.きりたん さん]

- (https://www.nicovideo.jp/user/25592551)**

ニコ生

[私、ボイスロイドになります！！【ディープラーニングで結月ゆかりの声になるリポジトリ】](https://www.nicovideo.jp/watch/sm34712010)

[【東北きりたん】SAKURAスキップ【歌ってみたボイスロイド】](https://www.nicovideo.jp/watch/sm34745847)

[人工知能なきりたんがビートセイバーやります！](https://www.nicovideo.jp/watch/sm34881052)

YouTube

[【自己紹介】東北きりたん、Vtuberになります！](https://www.youtube.com/watch?v=koB5eNOu3jo&feature=youtu.be)

(※[チャンネル]

(https://www.youtube.com/channel/UC0v_L5gggYNXxIkTyk3VBUw/videos)で生放送を行っています。アーカイブもあります。)

- **[HelloWorld さん]

ニコ生

- (https://www.nicovideo.jp/user/725056)**
[ディープラーニングの力で結月ゆかりの声になってみたを動かした](https://www.nicovideo.jp/watch/sm33962300)

[ゆかりソースを使って音質変換に挑戦する#1](https://www.nicovideo.jp/watch/sm33974796) 

[ゆかりソースを使って音質変換に挑戦する#2](https://www.nicovideo.jp/watch/sm34010134)

[ゆかりソースを使って音質変換に挑戦する#3](https://www.nicovideo.jp/watch/sm34127445)

[ゆかりソースを使って音質変換に挑戦する(音声プロット)](https://www.nicovideo.jp/watch/sm34174153)
[ゆかりソースを使って音質変換に挑戦する(音声プロット2)](https://www.nicovideo.jp/watch/sm34179010)
[ゆかりソースを使って音質変換に挑戦する#4](https://www.nicovideo.jp/watch/sm34194658)
[ゆかりソースを使って音質変換に挑戦する#5](https://www.nicovideo.jp/watch/sm34202036)
[ゆかりソースを使って音質変換に挑戦する#5_2](https://www.nicovideo.jp/watch/sm34214534)
[ゆかりソースを使って音質変換に挑戦する#6](https://www.nicovideo.jp/watch/sm34369070)
[ゆかりソースを使って音質変換に挑戦する#7(卓上防音壁設計)](https://www.nicovideo.jp/watch/sm34800680)
[ゆかりソースを使って音質変換に挑戦する#7.5](https://www.nicovideo.jp/watch/sm34820134)
[ゆかりソースを使って音質変換に挑戦する#7.5調整版2](https://www.nicovideo.jp/watch/sm34829972)
[ゆかりソースを使って音質変換に挑戦する#8](https://www.nicovideo.jp/watch/sm34963760)
[ゆかりソースを使って音質変換に挑戦する#9	](https://www.nicovideo.jp/watch/sm34969998)
(※挑戦するシリーズは 現在 #9 まであります)-
- **[トーダ さん](https://www.nicovideo.jp/user/20229339)**
[結月ゆかりになる　RTA　1：49：50](https://www.nicovideo.jp/watch/sm34356037)
- **[BURI](https://www.nicovideo.jp/user/16655791)**
[さとうささらになるためにまずはアナコンダを入れる](https://www.nicovideo.jp/watch/sm32852616)
[さとうささらになるために声質変換について調べる	
](https://www.nicovideo.jp/watch/sm35234796)
#Webメディア掲載
GIGAZINE 様[ディープラーニングでリアルタイムに声をボカロのものに変換する試み](https://gigazine.net/news/20180220-ai-voice-change/)
ニコニコニュースORIGINAL 様[VOICEROID・結月ゆかりと会話したすぎて“人工知能になった”勇者現る…！ 斜め上を行く発想に「闇が深い」「どういうことなの」と震える声多数](https://originalnews.nico/175142)
#おわりに
他にも関連記事や動画など見つけたとか編集リクエストやコメントにて教えてください。
それではよい声質変換ライフを。
更新履歴
2019/06/12/ attiさんの助言と提供によりニコニコ動画の動画を追加することができました。他いろいろ追記。まだ未完成。
2019/06/14　ヒホさんのブログ・github・Qiita追加。英語論文追加。とりあえず完成。
2019/06/17　東北きりたんのyoutube追加
2019/06/28　エラーメッセージについて追加
2019/07/11　yukarinライブラリ関連などについて追加
2019/09/15　リファクタリング　atticさんの記事追加
2019/12/01　atticさんの記事追加
2020/06/05　ヒホさんの記事など細かいところリファクタリング
2020/07/02　Windowsでの挑戦記を追加。細かいところリファクタリング。