1STUDIO NEUTRINO

NEUTRINO – NEURAL SINGING SYNTHESIZER
1

はじめにNEUTRINO - NEURAL SINGING SYNTHESIZER をダウンロードいただき誠にありがとうございます。
NEUTRINO はニューラルネットワークを用いた歌声シンセサイザーです。

楽譜から発声タイミング・音の高さ・声質・声のかすれ具合などをニューラルネットワークで推定します。上記の推定されたパラメータを元に vocoder で音声を合成します。

実際に歌手が楽曲を歌ったデータから特徴を抽出しており、本人の声質だけではなく癖・歌いまわしなども再現しています。歌詞とメロディーを入力するだけで簡単に歌わせることができます。
実在の歌手に依頼するような感覚で制作を進めることができます。
NEUTRINO の正式リリースより一年が経ち、第二世代（Muon / ミューオン）へと進化いたしました。アルゴリズム・モデルなど全面的にリニューアルを実施しました。

第二世代（Muon / ミューオン）では最新の生成モデル、Diffusion モデルを採用し、より肉声感の高い歌唱表現豊かな音声の生成が可能になりました。推論の度に音声が変化、品質・処理速度を変更可能になるなど機能面でもパワーアップしております。
本ソフトの名称はまだ聴いたことのない様な楽曲・ジャンルを開拓してほしいという思いを込めて名付けました。あなたの創作・発見の一助になれば幸いです。
SHACHI@STUDIO NEUTRINO

１

NEUTRINO – NEURAL SINGING SYNTHESIZER
2 インストールとセットアップ
任意のフォルダにダウンロードしたファイルを解凍してください。
下記手順を実行後、サンプルの音声ファイル（sample1.wav / sample1_world.wav）が output フォ
ルダ以下に出力されていれば正常に動作しています。
Windows 版
Run.bat をダブルクリックで実行してください。

macOS 版
Run.sh をターミナルで実行してください。
※参考（ターミナルを現在のフォルダで起動する方法）
https://applech2.com/archives/38328374.html

online 版
下記 URL を参考にオンライン版のセットアップを行ってください。
https://studio-neutrino.com/561/

アンインストールの際はフォルダを削除してください。
2023 年 4 月現在、1 名の歌声ライブラリ（めろう/ Merrow）が同梱されています。
その他の歌声ライブラリに関しては、別途ダウンロードの上、model フォルダ以下にコピーしてご利用ください。
制作した音声ファイルについては、各歌声ライブラリの利用規約の範囲でご利用ください。
詳細は model フォルダ以下の各歌声ライブラリ付属の license ファイルをご覧ください。

２

NEUTRINO – NEURAL SINGING SYNTHESIZER
3 クイックスタートWindows 版

楽譜ファイル（MusicXML）の作成
楽譜の作成には MuseScore（https://musescore.org/ja）を推奨しています。
[ファイル]->[エクスポート]でファイルの種類を非圧縮 MusicXML ファイルにすることで MusicXML 形式のファイルを出力できます。
MuseScore などの楽譜作成ソフトで楽譜ファイル（musicxml 形式）を作成します。
作成した楽譜ファイルを score/musicxml 以下に配置します。

NEUTRINO の設定ファイルの編集
Run.bat をメモ帳などのテキストエディタで開きます。
BASENAME=sample1 となっている部分を作成した musicxml の名前に変更します。
“.musicxml”の部分は不要です。



コマンドプロンプトの起動
次にコマンドプロンプトを現在のフォルダで起動します。
NEUTRINO のディレクトリに移動し、エクスプローラのアドレスバーに「cmd」と入力して Enter を入力します。

Run.bat を実行
コマンドプロンプト上で"Run.bat"と入力します。
生成処理が順番に進んでいきます。
output 以下に音声ファイルが出力されます。
log を出力する場合は、"Run.bat > log.txt"などと入力してください。

３

NEUTRINO – NEURAL SINGING SYNTHESIZER

４

NEUTRINO – NEURAL SINGING SYNTHESIZER
macOS 版


楽譜ファイル（MusicXML）の作成
楽譜の作成には MuseScore（https://musescore.org/ja）を推奨しています。
[ファイル]->[エクスポート]でファイルの種類を非圧縮 MusicXML ファイルにすることで MusicXML 形式のファイルを出力できます。
MuseScore などの楽譜作成ソフトで楽譜ファイル（musicxml 形式）を作成します。
作成した楽譜ファイルを score/musicxml 以下に配置します。

NEUTRINO の設定ファイルの編集
Run.sh をテキストエディタで開きます。
BASENAME=sample1 となっている部分を作成した musicxml の名前に変更します。
“.musicxml”の部分は不要です。

ターミナルを現在のディレクトリで起動
次にターミナルを現在のディレクトリで起動します。
※参考（ターミナルを現在のフォルダで起動する方法）
https://applech2.com/archives/38328374.html

Run.sh を実行
ターミナル上で「sh Run.sh」と入力します。
生成処理が順番に進んでいきます。
output 以下に音声ファイルが出力されます。
log を出力する場合は、"sh Run.sh > log.txt"などと入力してください。

online 版
セットアップ
下記 URL を参考にオンライン版のセットアップを行ってください。
https://studio-neutrino.com/561/



楽譜ファイル（MusicXML）の作成
楽譜の作成には MuseScore（https://musescore.org/ja）を推奨しています。
[ファイル]->[エクスポート]でファイルの種類を非圧縮 MusicXML ファイルにすることで MusicXML 形式のファイルを出力できます。
MuseScore などの楽譜作成ソフトで楽譜ファイル（musicxml 形式）を作成します。

５

NEUTRINO – NEURAL SINGING SYNTHESIZER
作成した楽譜ファイルを score/musicxml 以下にアップロードします。
オンラインで生成
Colab 上で BASENAME を変更し順番に実行してください。

６

NEUTRINO – NEURAL SINGING SYNTHESIZER
4 モジュールリファレンス
musicXML_to_label
楽譜ファイル（musicxml）をニューラルネットワークの入力に用いるラベルファイル（full ラベル、mono ラベル）に変換します。
SUFFIX
読み込むファイルの拡張子を設定します。
デフォルトでは”*.musicxml”のファイルを読み込みます。
"*.xml"の拡張子のファイルを読み込む際は、SUFFIX を xml に変更してください。

NEUTRINO Diffusion
楽譜情報が記載されたラベルファイルから発声タイミング、音の高さ・音色などをニューラ
ルネットワークで推定します。
ModelDir
使用する歌声ライブラリを設定します。（MERROW or NAKUMO など）

NumThreads
使用するプロセッサ数を設定します。
GPU 利用時は GPU の設定が優先されます。

InferenceMode
処理速度・品質を設定します。（4: advanced、3: standard、2: elements）
Advanced
InferenceMode=4、高品質・48kHz、GPU 向け
Standard
InferenceMode=3、通常版・48kHz、CPU 向け（Passmark score 10000~）
Elements
InferenceMode=2、高速・24kHz、ローエンド CPU 向け（Passmark score 2500~）
ご利用の PC のスペック・用途に応じてご利用ください。
※参考（CPU 性能比較表【2023 年最新版】）
https://pcfreebook.com/article/450856544.html
７

NEUTRINO – NEURAL SINGING SYNTHESIZER
StyleShift
楽譜全体を指定のキー分だけ上げて推定を行い、ピッチ変更機能で指定のキー分下げる処理を行います。
Run.sh の”StyleShift”の項目を-5～5 ぐらいの整数値に設定してお試しください。
例えば”2″に設定すると 2 個上のキーの歌い方、”-2″にすると 2 個下のキーの歌い方をキーを変えずに出力することができます。上手く使うことで、得意な音域の歌い方にしたり、低いキーの落ち着いた歌い方を出すことができます。
"StyleShift=-1", "StyleShift=0", "StyleShift=1"のように三パターンを出力し、それぞれの良い部分をピックアップすることで複数テイクを収録したような状態にすることも可能です。

NSF - Neural Source Filter
音の高さ・声質から音声波形をニューラルネットベースのボコーダーで生成します。
NumThreads
使用するプロセッサ数を設定します。
GPU 利用時は GPU の設定が優先されます。

InferenceMode
処理速度・品質を設定します。（4: advanced、3: standard、2: elements）
詳細は NEUTRINO Diffusion の項目をご覧ください。

PitchShiftNsf
ピッチを変更します。
単位は半音単位となっており、"1.0"に設定すると 1 個上のキーの高さ、"-1.0"に設定すると 1 個下のキーの高さになります。
上手く使うことで、推奨音域外の音を歌わせることが可能です。

WORLD
音の高さ・声質・声のかすれ具合から音声波形を信号処理ベースのボコーダーで合成します。
NSF と比較してレガシー・伝統的なボコーダーの音色の音声が特徴です。またピッチシフト・
フォルマントシフトなどの加工に強く、適正音域から大きく外れた音声にも強いです。
NumThreads
使用するプロセッサ数を設定します。

８

NEUTRINO – NEURAL SINGING SYNTHESIZER
PitchShiftWorld
ピッチを変更します。
単位は半音単位となっており、"1.0"に設定すると 1 個上のキーの高さ、"-1.0"に設定すると 1 個下のキーの高さになります。
上手く使うことで、推奨音域外の音を歌わせることが可能です。



FormantShift
声質を変更します。
上げると子供のような幼い声、下げると大人のような声になります。

SmoothPitch
ピッチを滑らかにします。
0～100[%]の間で強さを設定できます。

SmoothFormant
フォルマントを滑らかにします。
0～100[%]の間で強さを設定できます。



EnhanceBreathiness
息成分の強さを設定します。
0～100[%]の間で強さを設定できます。

９

NEUTRINO – NEURAL SINGING SYNTHESIZER
5 動作環境

必要動作環境OS: Windows 10 / 11、macOS (Apple Silicon / Intel): オンライン（Google Colab）、Linux（Ubuntu）

CPU: Intel Core i3、AMD RYZEN 3、Apple M1

RAM: 8GB 以上

GPU（オプション）: NVIDIA 製の GPU（4GB）

ストレージ: 10GB 以上の空き容量

推奨動作環境OS: Windows 10 / 11、macOS (Apple Silicon): オンライン（Google Colab）、Linux（Ubuntu）

CPU: Intel Core i5、AMD RYZEN 5、Apple M1

RAM: 12GB 以上

GPU: NVIDIA 製の GPU（6GB）

ストレージ: 15GB 以上の空き容量

6 備考
NSF についてメモリ使用量は、楽譜中のフレーズの⾧さに依存します。 休符またはブレス記号で囲まれた区間が 1 フレーズとなります。メモリ / GPU メモリが少ない場合、動作しない可能性がありますのでご注意ください。

GPU についてWindows 版の一部機能（GPU による高速レンダリング）をご利用いただくには【NVIDIA 製の GPU】が必要です。ご利用の前に NVIDIA のドライバーを最新のものへアップデートをしてください。
※参考:アップデート方法
https://volx.jp/geforce-driver-update
複数枚の GPU でのレンダリングにも対応しており、基本設定はマルチ GPU 設定になっております。NEUTRINO のオプション（-m）をシングル GPU（-g {GPU 番号}）に変更することで指定した GPU が自動選択されます。もし複数枚 GPU での処理が上手くいかない場合はこちらをお試しください。
１０

NEUTRINO – NEURAL SINGING SYNTHESIZERNVIDIA 製の GPU が見つからない場合、「CPU モードで実行します」というメッセージと共に CPU での処理に自動で移行します。オプション(-m)を外すことでも CPU モードで動作させることができます。
オンライン版について
オンライン版では NEUTRINO の全機能をご利用いただけます。ウェブブラウザ上で動作が完結し Cloud GPU による高速レンダリングをご利用いただけます。スマートフォンでも動作いたしますのでよろしければお試しください。
オンライン版のセットアップ手順はこちらの記事をご覧ください。
https://studio-neutrino.com/561/



その他詳細は下記記事をご覧ください。
NEUTRINO Diffusion - Muon v2.x 系アップデート
https://studio-neutrino.com/1591/



使用可能な文字一覧
https://studio-neutrino.com/downloads/manual/phoneme_list.pdf

MusicXML について
https://studio-neutrino.com/332/



NEUTRINO 各 Version 置き場
https://studio-neutrino.com/535/

ローカル PC の Linux（Ubuntu）にインストール
https://studio-neutrino.com/596/

１１

NEUTRINO – NEURAL SINGING SYNTHESIZER
7

よくある質問

入力可能な歌詞について「未定義の歌詞、もしくは歌詞が入力されていない音符があります。該当の音符の歌詞をひらがな・カタカナに修正してください。」というエラーメッセージが表示された場合、音声の生成自体が停止されます。
こちらのエラーが表示される場合、「ひらがな・カタカナ以外の歌詞が入力されている音符」、もしくは「何も歌詞が入力されていない音符」が楽譜中にあります。musicXMLtoLabel の実
行ログに該当の音符の小節番号・歌詞が表示されておりますので、ひらがな、もしくはカタカナの歌詞に修正してください。
「」のように何も表示されていない場合は空白の歌詞（歌詞が入力されていない）の音符がありますので、そちらも適宜歌詞を入力してください。

8

学習データについて
モデルの学習には声優・演者様の許諾の上収録した音声データ、もしくは大学などの公的機関から公開されている音声データのみを利用しております。既存の学習済みモデルは利用しておらず、上記データを用いてフルスクラッチで学習を行っております。権利的・倫理的にクリーンなモデルとなっており、安心してご利用いただけます。

9

声質変換ツール（VC ツール）でのご利用について機械学習を用いた声質変換ツールでの NEUTRINO の利用を禁止させていただいております。
詳細は下記の利用許諾契約書をご覧ください。
https://studio-neutrino.com/downloads/manual/EULA_NEUTRINO.pdf

10 お願い感想や要望、バグなどございましたらメール又は Twitter の DM からお願いします。

１２

NEUTRINO – NEURAL SINGING SYNTHESIZER
11 ご支援PIXIV FANBOXPIXIV FANBOX（https://shachi-neutrino.fanbox.cc/）にて日頃の製作の進捗などを投稿しております。
いただいた支援金は、活動費・機器購入費・収録関連費に充てさせていただきます。
もしよろしければこちらからご支援よろしくお願いいたします。

ニコニコモンズ
ニコニ・コモンズに「NEUTRINO - Neural Singing Synthesizer -」を登録しております。
ニコニコに作品を投稿する際は親作品に登録していただければ幸いです。
NEUTRINO - Neural Singing Synthesizer https://commons.nicovideo.jp/material/nc287428

12 製作者へ連絡
製作者:

SHACHI@STUDIO NEUTRINO

mail:support@studio-neutrino.com

HP :https://studio-neutrino.com

twitter:

https://twitter.com/SHACHI_NEUTRINOPIXIV FANBOX:

https://shachi-neutrino.fanbox.cc/

ニコニコモンズ:

https://commons.nicovideo.jp/material/nc287428

１３