Confidential

人とAIがともに音楽を作り出す未来に向けた歌声合成の取り組み
ヤマハ株式会社 研究開発統括部
才野 慶二郎1

本日の概要Confidential

自己紹介

才野 慶二郎（41）• ヤマハ株式会社 研究開発統括部• 歌声合成技術開発など

今日の話題• 『研究がプロダクトになるまで』• 「生成AI」の使い方に関するヤマハ株式会社の事例紹介• 特に、今日は歌声合成に関する部分にフォーカスしてご紹介2Outline

Confidential• 歌声合成技術とは何で、ヤマハは何を目指しているのか• 具体的な、未来を見据えた歌声合成研究の取り組み• 具体例1：VOCALOID β-STUDIO• 具体例2：TransVox（なりきりマイク）

• むすび

3

Outline

Confidential• 歌声合成技術とは何で、ヤマハは何を目指しているのか• 具体的な、未来を見据えた歌声合成研究の取り組み• 具体例1：VOCALOID β-STUDIO• 具体例2：TransVox（なりきりマイク）

• むすび

4

ヤマハ株式会社

Confidential

コーポレートスローガン

感動を・ともに・創る楽器•

アコースティック楽器•

デジタル楽器•etc「音源技術」の挑戦の歴史

音響ほか
5

DTM (Desktop Music)

Confidential

DTM = 生演奏ではなくPCの中で行われる音楽制作
電子楽器の音源技術により、演奏だけでなく制作が大きく発展「最後に残された聖域」「伴奏は作れるがボーカルは作れない」時代が長く続いた
6

ヤマハの歌声合成にかける思い

Confidential

人間の歌声という非常に魅力的な音楽表現をどうにかしてデジタルで実現したい
この想いは技術開発開始当初から現在に至るまで変わっていない
時代ごとに、そのとき使える技術を駆使した研究開発を継続

7

Outline

Confidential• 歌声合成技術とは何で、ヤマハは何を目指しているのか• 具体的な、未来を見据えた歌声合成研究の取り組み• 具体例1：VOCALOID β-STUDIO• 具体例2：TransVox（なりきりマイク）• さいごに

8

具体例1：VOCALOID β-STUDIO

Confidential

従来のDTM歌声合成の当たり前を改めて問う歌声合成の提案

9

VOCALOID β-STUDIO

Confidential

What is this?

VOCALOID製品開発（現在）と並行して行う研究開発（未来）の一環製品としてのVOCALOID
実装開発
（現在）

技術としてのVOCALOID
研究開発
（未来）

10

VOCALOID β-STUDIO

Confidential

コンセプトムービー11

VOCALOID β-STUDIO

Confidential

Why?

• AI時代のDTM用歌声合成ソフトの在り方を模索し、オープンに問うための『研究スタジオ』• 研究段階の試作ソフトを数量限定で無償配布（不定期抽選）• 想定ユーザーは音楽表現の意思・意図を持ったクリエイター• 参加者様への期待は機能要望というよりは、とにかく音楽を生み出すこと• 2023年8月22日に始動、2024年3月31日までの期間限定プロジェク
ト12

VX-βの特徴

Confidential

AIによってもたらされる価値が最大化されるような試作

プラグイン
VX-β

【合成エンジン】
製品VOCALOIDと比べて元歌唱者らしさをより強く表現するようなチューニング

DAWのピアノロール

VX-β同梱
ボイスバンク【UI/UX】
一般的な楽器音シンセのようなプラグインとして動作（世の中のあらゆる歌声合成ソフトの常識＆制約「専用エディタ＝ピアノロールが必須」を疑うアプローチ）【ボイスバンク】
多くのユースケースをカバーするように幅広く・多数搭載（ナチュラル寄り⇔キャラ寄り、男声⇔女声、日⇔英、絵あり⇔絵なしなど）

13

研究と製品のはざま

Confidential

製品開発• 既に形になって走っている中で大胆な変更は大変

研究• 自由度は高いが、製品としての落とし込みは大変• 「技術的強み」「ユーザーニーズ」のにらみ合い状態（？）

VOCALOID β-STUDIO• 既存製品にあえて縛られない形で研究的・挑戦的な試作を公開• 「おいしいところ」はユーザーに発見してもらうという姿勢• 今年度いっぱい（今月末まで！）の活動の知見を踏まえて今後の製品開発につなげていく
14

具体例2：TransVoxConfidential

音声入力による歌声合成（≒声質変換）

15

TransVox

Confidential

What is this?

音声入力による歌声合成（≒声質変換）

特長「カラオケルームで楽しく使える！」• 低遅延（理論値で48ms）• 雑音＝BGMまわりこみなどへの耐性

16TransVox

Confidential

技術面
Encoder

Decoder

https://www.yamaha.com/ja/about/research/reports/23_transvox/

17

「TransVox」と「なりきりマイク」

Confidential

サービス「なりきりマイク」

歌声変換技術「TransVox」…

企画「しゃべる！ふじっぴー」
18

TransVox開発～なりきりマイクローンチの経緯

Confidential（アーカイブ資料では非公開とさせていただきます）

19

TransVox開発～なりきりマイクローンチの経緯

Confidential（アーカイブ資料では非公開とさせていただきます）

20

TransVox

Confidential

実地実験の繰り返し• 研究所（オフィス）で改良 ←→ カラオケ屋さんで実験• とくにがんばったのは、遅延と耐雑音性• 「本当の意味で楽しめる」ところまでもっていくことを意識

21

TransVox

Confidential• 反響• テレビ取材：たくさん• スッキリ，ラヴィット，王様のブランチ，etc...

• Web記事：たくさん• AVWatch，ITMedia，日経Web, Persolはたわらワイド, etc...

• SNSの反響：たくさん• 「ELTでいっぱいの部屋で、曲の履歴もELTで埋め尽くされて、大好きなもっちーの声で歌えて…幸せでした！」• 振り返り• 社内デモで仲間を増やすことには、大きな効果があった• 自分たちだけではこのスピードや規模では進められなかった
22

Outline

Confidential• 歌声合成技術とは何で、ヤマハは何を目指しているのか• 具体的な、未来を見据えた歌声合成研究の取り組み• 具体例1：VOCALOID β-STUDIO• 具体例2：TransVox（なりきりマイク）

• むすび

23

むすび

Confidential• ヤマハが考える、AIという技術との付き合い方• 芸術（音楽）を意思をもって生み出すのは、人間• AIと人間が影響しあって何かを生み出すという形を目指す• 研究からプロダクトへ（まだまだ、本当の製品にはなってないが…）• 利用者のマインドを研究者自身がもつこと• 才野持論：手がけてる自分自身が、誰より楽しめるか？

• いろんな人を巻き込むこと

24