3-7-3

スペシャル・セッション〔ここまで来た声質変換技術 -実用可能性の視点からの現状認識と将来展望-〕

歌声インタフェース：
歌声を対象とした信号処理とそれに基づくインタフェース構築∗◎中野 倫靖, 後藤 真孝 (産業技術総合研究所)

1

はじめにコンテンツが数多く存在する点である [10]．

近年，音楽情報処理分野の発展 [1, 2] と共に，歌声に関する研究活動が世界的に活発に取り組まれ [3–5]，学術的な観点からだけでなく，産業応用的な観点からも注目を集めている．そうした歌声に関する研究は，歌声固有の特徴に関する基礎研究から応用研究まで多岐に渡る．そこで我々は，文献 [3, 6, 7] において，そうした歌声に関する幅広い研究を「歌声情報処理」と名付け，同分野のさらなる発展を目指してきた．
ここで，歌声信号処理技術を様々なユーザに使ってもらうためには，ユーザ視点での問題発見を含め，対象ユーザの特性に合わせてインタフェース構築することが重要である．現在，プロ（レコーディングエンジニア等）向けのインタフェースは既に多く存在する（音高補正ツール Auto-tune 等）．しかし，それらは専門家向けが中心で，音楽に詳しく高度な機能を熟知していることを前提とする場合が多く，エンドユーザ向けのインタフェースは少ない．一方で，近年はエンドユーザが気軽に歌を発表したり，それを聴いて楽しんだりする文化が広がっていることから，今後はそのようなエンドユーザも歌声信号処理技術を活用できるインタフェースの構築が重要になってくる．
我々は，歌声信号処理に基づくインタフェース構築やインタラクションによって，人々の音楽生活をより豊かにする研究アプローチを「歌声インタフェース」と名付ける．歌声インタフェースという用語自体はユーザを限定するものではないが，本稿では，エンドユーザと歌との関わり合い方の未来を切り拓くことを目指した我々の歌声インタフェースの研究事例を中心に紹介する．

2

2007 年に VOCALOID2「初音ミク」[11] が発売されて以降，歌声合成ソフトウェアを用いて歌声コンテンツ制作を楽しむユーザが急増し，その利用拡大に対して技術的，社会的，文化的に注目されてきた．例えば，2013 年 7 月時点では，ニコニコ動画で「VOCALOID」を検索クエリー（タグ検索）とすると，約 27 万曲が検索結果として得られる．さらに，そうしたコンテンツを制作するユーザが増えただけでなく，それを楽しむリスナーも増えている．3200
曲以上が 10 万回，170 曲以上が 100 万回，上位 10 曲が 500 万回を超えて再生され，1000 万回以上再生された動画も存在する．
それと並行して，様々なエンドユーザが歌ったコンテンツも，Web 上で大量に公開されるようになった．
これらはニコニコ動画では「歌ってみた」と呼ばれていて，投稿数や再生数の観点からは，VOCALOIDによる作品以上に人気がある．2013 年 7 月時点で約63 万曲が検索結果として得られ，4650 曲以上が 10万回，200 曲以上が 100 万回，上位 5 曲が 500 万回を超えて再生されている．
これらの投稿数の推移に関しては，「歌ってみた」に特化したものではないが，文献 [10] でも分析されている．歌声合成や「歌ってみた」に基づく作品を楽しむリスナーが増加した結果，そうしたエンドユーザによる作品が音楽 CD として市販され，その一部が商業音楽ヒットチャート上位にランクインする等 [12]，広く受け入れられてきた．

歌声インタフェース

3

歌声インタフェースの研究分野では，様々な研究者が異なる課題に取り組んでおり，大別して，歌声や音エンドユーザを対象とする重要性楽に関する「創作」を支援するアプローチと，「鑑賞」近年，動画コミュニケーションサイト「ニコニコを支援するアプローチとがある．本章では，前者の動画（http://www.nicovideo.jp/）」等で，エンド「創作」を支援するアプローチに関する我々の研究事

ユーザが歌を発表し（以降，歌声コンテンツと呼ぶ），例を紹介し，その実現に必要な歌声信号処理技術にそれを聴いて楽しむ文化が広がっている．ここで特徴ついても述べる．

的なのは，歌声コンテンツのメインボーカルとして

以下，3.1 では，「歌ってみた」のような自分自身の合成された歌声が用いられることが日常的となった歌声によるコンテンツ制作を支援するインタフェース

点 [8, 9] と，ある一つの曲（一次コンテンツ）を対象

VocaReﬁner について述べる．3.2 では，歌声合成ソフトウェアによるコンテンツ制作を支援するために，として，それを様々なユーザが自分なりに歌った二次∗Singing Interface: Signal Processing for Singing Voices and Its Interface Development. by NAKANO,
Tomoyasu and GOTO, Masataka (National Institute of Advanced Industrial Science and Technology(AIST))

日本音響学会講演論文集- 1465 -

2013年9月

Clickable lyrics

phonetic aligment
F0power
voice timbre changes

Fig. 1 VocaReﬁner: 複数回の歌唱を統合できる歌声生成インタフェース [14, 15]
ユーザの歌い方を真似ることが可能な歌声合成イン
タフェース VocaListener について述べる．3.3 では，その歌声コンテンツの魅力を上げるために，ユーザの歌唱力を向上する支援インタフェース MiruSinger について述べる．MiruSinger では，音楽 CD のボーカルの歌声や，自分自身の歌声を客観的な情報（F0 とビブラート区間）を見ながら聴くこともできるため，歌声の「鑑賞」支援という側面も持っている．最後に，3.4 では，音楽のドラムパターンに着目して，それを歌（口ドラム）で検索しながらドラムパートを差し替えて編曲するインタフェース Voice Drummerについて述べる．
その他，本稿では紙面の制約から充分に紹介できないが，後者の歌声の「鑑賞」を支援するアプローチ
に関しては，声質の似た歌声がメインボーカルの楽曲を探す音楽情報検索インタフェース VocalFinder [13]が挙げられる．また，ニコニコ動画上の歌声合成楽曲の視聴支援をする Web サービス Songrium [10] でFig. 2 VocaListener: ユーザの歌い方を真似ることが可能な歌声合成インタフェース [16]部分のみを統合する処理が必要となる．しかし従来，そういった複数回歌われた歌声の扱いを視野に入れた研究はなく，複数回歌唱の効率的な録音方法，それらの効果的な統合方法を実現した．

VocaReﬁner では，歌詞中の文字を指定することで，そこから歌を録音できる効率的な録音を可能とした．
これによって，歌い間違えても即座に当該箇所から歌い直すことができる．そして，これらの録音における歌詞の各文字の時刻を自動推定することで，複数回の歌唱を音素単位で対応付けることができ，効率的である．さらに，それら複数回の歌唱を音の三要素（音高・音量・音色）に分解して，優れた要素を音素単位で組み替えて統合することができるようになった．

VocaReﬁner では，歌声特有の特性である「歌詞」に着目することで，インタラクティブで効率的な録音を実現した点が特に新しい．
3.2

は，オリジナル楽曲とそれから派生した作品群を可VocaListener: ユーザの歌い方を真似ることが可能な歌声合成インタフェース

視化し，その派生の種類によって，「歌ってみた」は「VocaListener」(図 2) は ，ユ ー ザ の 歌 声 の 音「青」のように色を変えて表示する．ユーザは，「歌っ高と音量を真似るように，市販の歌声合成ソフトてみた」の派生作品群が多ければ，そのオリジナル楽ウェアのパラメータを自動推定できる歌声合成イ曲が歌ってみたくなる曲である，と知ることができ，ンタフェースである [16]．従来必要だった歌声合一種の「鑑賞」を支援するインタフェースとしても捉成パラメータの長時間の調整や楽譜の入力が不要えられる．

であり，お手本を歌うだけで，人間らしい自然な3.1

VocaRefiner: 複数回の歌唱を統合できる歌声生成インタフェース「VocaReﬁner」(図 1) は，歌声に特化して複数回の歌唱を効率的に録音するためのインタフェースであり，さらにそれらの優れた部分を統合して一つの歌声を作る歌声生成インタフェースである [14, 15]．
質の高い歌を生成するためには，ミスや乱れのない歌声が望ましいが，人間が歌う場合には，一度の歌唱で完璧に歌唱できないことが多い．そこで，何度も歌い直して録音した後，それを切り貼りして優れた

日本音響学会講演論文集

歌声が容易に合成できる．合成結果の具体例は ，

http://staﬀ.aist.go.jp/t.nakano/VocaListener/ で視聴することができる．
本インタフェースでは，合成された歌声の音高と音量が，入力されたユーザの歌声とより近くなるように，歌声合成パラメータを繰り返し更新（反復推定）した．歌声と歌詞の高精度な自動対応付け機能を持
ち，歌詞のどこをいつ歌っているかを対応付けることで，各音節の高さを推定し，音符化して歌声合成用の楽譜表現を生成可能にした．さらに，ユーザによる合- 1466 -

2013年9月

Fig. 3 MiruSinger: 歌唱力向上支援インタフェー
ス [19]

Fig. 4

成結果の微調整にも対応し，ユーザの歌唱力を補正

3.4

Voice Drummer: 口（くち）ドラムによるドラム譜入力インタフェース [25]して合成する機能も実現した [16]．

Voice Drummer: 口（くち）ドラムによるドラム譜入力インタフェース

関連研究としては，反復推定をせずに，ユーザの「Voice Drummer」(図 4) は，ドラム音を真似た歌声から抽出した音高や音長などを直接歌声合成シ「ドンタンドドタン」のような口ドラム（ボイスパーステムに与えた事例 [17] があったが，それに比べてカッション）によって，ドラム譜の入力を可能にする合成結果を再度分析するという点が新しい．さらに，インタフェースである [25]. 擬音語で発声された口ド2008 年に実現された VocaListener はその後拡張され，2010 年には，ユーザの歌声の声色変化も真似る歌声

ラムは，事前に用意したドラムパターンのデータベー合成システム「VocaListener2」[18] に発展している．

テンポで歌われたかを自動的に認識・検索し，結果をVocaListener では，入力となる歌声の質が合成結果に影響するため，自分の望む入力を VocaReﬁner にリアルタイムに可視化してフィードバックする．既存よって制作することも有効である．

能も持つ．

3.3

MiruSinger: 歌唱力向上支援インタフェース「MiruSinger」(図 3) は，既存の楽曲の歌い方をお手本として歌を練習したい時に，その楽曲のボーカ
ルパートの F0 を分析して可視化し，ユーザの歌声と比較表示できる歌唱力向上支援インタフェースである [19]．既存楽曲の混合音中のボーカルパートの F0とビブラート区間を表示して，ユーザの歌声をリアルタイムに可視化してフィードバックして比較できる．
これにより，ユーザはどれぐらい自分の音高が外れているかがわかり，目標とすべき音高もわかる．
歌唱力を自動的に評価するインタフェースとしては，カラオケの採点機能が普及しており，そこでは主に評価用の楽譜情報（音高）からの差異に基づいてスとマッチングしながら，どのパターンがどのようなの楽曲のドラムパートだけを差し替えて編曲する機本インタフェースでは，ドラム音の内部表現として「ドン」「タン」のような擬音語表現を採用し，音声認識用の HMM を活用してドラムパターンデータベース中のどのパターンがユーザの口ドラムと最も一致するかを求めた点が新しい．人によって擬音語表現には個人差があるため，バスドラムとスネアドラムの口ドラムとして出現しやすい表現を調査して，認識用の辞書に登録した [25]．
関連研究として，擬音語表現に近い発声や，ドラム音を音響的に模倣した音声 (Beatboxing) による音楽検索インタフェース [26, 27] 等があった．

3.5

歌声を対象とした信号処理「歌声」を対象とした信号処理は，「話声」を扱う採点している．一方，上記の MiruSinger では，楽譜音声信号処理に共通する点も多い．すなわち，音高情報を用いていない点，お手本を既存楽曲中のボー（F0 ），音量，音色（スペクトル包絡，群遅延），音カルとできる点が特長である．歌唱力向上支援イン

素時刻の推定が基本的に必要な技術である．さらに，

タフェースの関連研究には，ユーザ歌唱の分析結果そのような基本技術に加えて，音楽特有・歌声特有のをリアルタイムに可視化してフィードバックする事性質を考慮して，分析やモデル化を行う場合がある．

例 [20–23] や，歌唱力補正をする事例 [24] がある．

例えば，伴奏が含まれていること，メロディーや音楽歌唱力を向上したり，歌唱の表現力を増すことを支的なリズムを持つこと，歌声特有の F0 動特性や共振援するこのようなインタフェースは，VocaReﬁner や特性（Singer’s Formant）を持つこと，歌唱様式や表VocaListener を使う上でも有効である．

情付けの違いによって，歌い方や発声のされ方に様々

日本音響学会講演論文集- 1467 -

2013年9月

なバリエーションがあることである [3, 28]．
このような歌声を対象とした信号処理技術に関して我々は，口ドラム認識 [25]，歌唱力評価 [29]，ブレス検出 [30]，歌声専用音響モデルによる歌詞アライン
メント [16]，声色変化に応じたスペクトル包絡の変形 [18]，スペクトル包絡推定 [31]，F0 推定 [15]，群遅延推定 [15] を開発し，これまでに述べた歌声インタフェース構築の基盤技術として用いている．

おわりに4

本稿では，「歌声インタフェース」と名付けた研究アプローチについて述べ，歌の創作と鑑賞を支援する様々な研究事例を紹介した．また，エンドユーザと歌声コンテンツの関わり方の現状や，歌声に関する信号処理技術についても説明した．
歌声信号処理技術が世の中で広く活用されるためには，様々なユーザを対象とした多様な歌声インタフェースが必要である．本稿で述べた歌声インタフェー
スにおいて，VocaReﬁner では 1 度で完璧に歌えない
ユーザ，VocaListener や Voice Drummer では楽譜に不慣れなユーザ，MiruSinger では自分の好きな歌手の歌で練習したいユーザにとって，これまでにない方法で歌の創作や楽譜入力，歌の練習が可能になった．
今後，歌声インタフェース自体の機能を豊かで高度にしていくだけではなく，それを使うユーザ自身の歌唱力や表現力等も向上できるような研究も重要になる．歌声インタフェースを使っているうちに歌声に関するユーザの技能が向上し，新たな歌唱表現を追求したり，音楽に関する理解が深まったりできるようになると，単に技術のみが高度化していくのではない未来が切り拓ける．このように，人間と技術が相互に向上し合う未来へ向けて，歌声信号処理と歌声インタフェースを両輪として共に重視した研究開発が，様々な研究者によってより活発に取り組まれていくことが望まれる．
謝辞

本研究の一部は，JST CREST プロジェクト（CrestMuse, OngaCREST）による支援を受けた．

参考文献[1] 後藤真孝，平田圭二：解説 “音楽情報処理の最近の研究”，日本音響学会誌，60, 675–681 (2004).
[2] 後藤真孝：未来を切り拓く音楽情報処理，情処研報 2013MUS-99 (2013).
[3] 後藤真孝 他：解説 “歌声情報処理の最近の研究”，日本音響学会誌，64, 616–623 (2008).
[4] 河原英紀：歌声情報処理の最新動向，電気学会誌，130, 360–363 (2010).
[5] 剣持秀紀：解説 “歌声合成技術の動向–「初音ミク」を支える技術–”，日本音響学会誌，67, 46–50 (2011).
[6] M. Goto et al.: Singing Information Processing Basedon Singing Voice Modeling, Proc. of ICASSP 2010, pp.
5506–5509 (2010).

日本音響学会講演論文集[7] 後藤真孝 他：歌声情報処理: 歌声を対象とした音楽情報処理，情処研報 2010-MUS-86，No. 4, pp. 1–9 (2010).
[8] 後藤真孝：初音ミク，ニコニコ動画，ピアプロが切り拓いた
CGM 現象，情報処理，53, 466–471 (2012).
[9] 伊藤博之：初音ミク as an interface，情報処理，53, 477–483(2012).
[10] M. Hamasaki and M. Goto: Songrium: A Music Browsing Assistance Service Based on Visualization of Massive Open Collaboration Within Music Content Creation
Community, Proc. of WikiSym + OpenSym 2013 (2013).
[11] クリプトン：VOCALOID2 初音ミク（HATSUNE MIKU），
http://www.crypton.co.jp/mp/pages/prod/vocaloid/cv01.jsp.
[12] H. Kenmochi: VOCALOID and Hatsune Miku Phenomenon in Japan, Proc. of InterSinging 2010, pp. 1–4(2010).
[13] H. Fujihara et al.: A Modeling of Singing Voice Robust
to Accompaniment Sounds and Its Application to Singer
Identification and Vocal-Timbre-Similarity-Based MusicInformation Retrieval, IEEE Trans. on Audio, Speech,and Language Processing, 18, 638–648 (2010).
[14] 中野倫靖，後藤真孝：VocaRefiner: 歌を歌って歌い直して統合できる新しい歌声生成インタフェース，WISS 2012 講
演論文集，pp. 1–6 (2012).
[15] T. Nakano and M. Goto: VocaRefiner: An Interactive
Singing Recording System with Integration of Multiple
Singing Recordings, Proc. SMAC-SMC2013 (2013).
[16] 中野倫靖，後藤真孝：VocaListener：ユーザ歌唱の音高および音量を真似る歌声合成システム，情報処理学会論文誌，52,3853–3867 (2011).
[17] J. Janer et al.: Performance-Driven Control for SampleBased Singing Voice Synthesis, Proc. of DAFx-06, pp.
41–44 (2006).
[18] 中野倫靖，後藤真孝：VocaListener2: ユーザ歌唱の音高・音量に加えて声色変化も真似る歌声合成システム，情処学論，
54, 1771–1783 (2013).
[19] T. Nakano et al.: MiruSinger: A Singing Skill Visualization Interface Using Real-Time Feedback and Music
CD Recordings as Referential Data, Proc. of ISM 2007
Workshops, pp. 75–76 (2008).
[20] D. M. Howard and G. F. Welch: Microcomputer-based
Singing Ability Assessment and Development, Applied
Acoustics, 27, 89–102 (1989).
[21] 平井重行 他：歌の調子外れに対する治療支援システム，電子情報通信学会論文誌，J84-D-II, 1933–1941 (2001).
[22] D. Hoppe et al.: Development of Real-Time Visual Feedback Assistance in Singing Training: a Review, Journalof Computer Assisted Learning, 22, 308–316 (2006).
[23] O. Mayor et al.: Performance Analysis and Scoring ofthe Singing Voice, Proc. AES 35th Int’l. Conf. (2009).
[24] K. Nakano et al.: Vocal Manipulation Based on Pitch
Transcription and Its Application to Interactive Entertainment for Karaoke, LNCS: Haptic and Audio Interaction Design, Vol. 6851, pp. 52–60 (2011).
[25] 中野倫靖 他：口ドラム認識手法とそのドラム譜入力システムへの応用，情処学論，48, 386–397 (2007).
[26] O. Gillet and G. Richard: Indexing and Querying Drum
Loops Databases, Proc. of CBMI 2005 (2005).
[27] A. Kapur et al.: Query-by-Beat-Boxing: Music Retrieval
for the DJ, Proc. of ISMIR 2004, pp. 170–177 (2004).
[28] 中野倫靖：歌声分析・歌声合成，電子情報通信学会知識ベース 2 群（画像・音・言語）− 9 編（音楽情報処理） (2010).
[29] 中野倫靖 他：楽譜情報を用いない歌唱力自動評価手法，情処学論，48, 227–236 (2007).
[30] T. Nakano et al.: Analysis and Automatic Detection ofBreath Sounds in Unaccompanied Singing Voice, Proc.
of ICMPC 2008, pp. 387–390 (2008).
[31] T. Nakano and M. Goto: A Spectral Envelope Estimation Method Based on F0-Adaptive Multi-Frame Integration Analysis, Proc. of SAPA-SCALE 2012, pp. 11–16 (2012).

- 1468 -2013年9月