MiruSinger:
歌を「歌って/聴いて/描いて」見る歌唱力向上支援インタフェース
中野 倫靖†

後藤 真孝††

平賀 譲†

MiruSinger: A Singing Skill Visualization Interface
for Singing, Listening, and Drawing SongsTOMOYASU NAKANO†

1MASATAKA GOTO††YUZURU HIRAGA†

はじめにA

歌唱力を向上させたり、個性的で魅力溢れる歌い方を1オクターブ低く歌った

B

音楽CDから抽出した
F0 軌跡実現させたりするためには、優れた歌唱者や自分がどのように歌っているのかを理解できることが望ましい。例
えば、歌唱から音符列をイメージできること、また、各音をどのように歌っているかを認識・理解できることなどである。音符への変換は、歌唱や楽器演奏の経験が少D

C修正の参考にする
歌唱音声の F0 軌跡

I

なく、音楽的な訓練を受けたことがない人には困難だが、E各音の歌われ方は比較的容易に認識できると考えられる。

FGH

楽譜がイメージできなくてもカラオケで歌うことはできる人がこれに相当する。しかし、大まかな音の流れは認識できても、その詳細については意識していない、もしくは気付かないことも多い。例えば、ビブラート (音高の周期的・規則的な変動) のある歌唱を聴いて心地良い

図 1: MiruSinger の表示画面例（描いて見るモード）

2

MiruSinger の機能と感じても、「ビブラートがあった」ことはあまり意識しMiruSinger は、歌唱の F0 軌跡を見ながら歌ったりていない場合などである。このような意識していなかっ(歌って見るモード)、聴いたり (聴いて見るモード)、描た歌唱の特徴 (歌い方) を認識・理解できることは、歌唱いたり (描いて見るモード) できる。これら各機能は、表力の向上や魅力的な歌い方の実現につながると考える。

示画面例 (図 1) の右下⃝
I の “Sing”, “Listen”, “Draw” のそこで本研究では、ユーザが歌を歌ったり聴いたりすボタンを押すことで、それぞれ呼び出せる。

るだけでなく、「見る」歌唱力向上支援インタフェース

図 1 上部は、以下の 2 つのウィンドウで構成される。

MiruSinger を提案する。歌を「見る」従来のシステム• 楽譜ウィンドウ (図 1: ⃝)A

としては、鼻歌 (ハミング) を音符列に変換する楽譜作

中央縦長のバー (⃝)
B が現在時刻を表し、入力された成ソフトウェア、カラオケの自動採点システムにおける音声や収録音声の F0 がその右から左へと流れてゆく。

歌唱の点数化やビブラート検出 [1]、「調子外れ」の治療縦軸は音高で、軌跡が上にあるほど高い音となる。

支援システムにおける音高 (F0 ) 可視化 [2] などがある。

• パワーウィンドウ (図 1: ⃝)C

MiruSinger は、歌唱の音高を軌跡として可視化 (F0 軌

中央縦長の白いバー (⃝)
D の中に、入力された声の大跡) し、歌唱への理解を支援する。さらに、これまで考えられていなかった「描く」インタラクションを導入することで、音楽 CD からのボーカル抽出の精度向上と F0軌跡への理解をより深めることを考える。

きさ (パワー) が着色して表示される。時間とともに左へと流れてゆき、発声音量の適切さをチェックできる。
さらに、音高可視化に加えて、収録済みの歌唱 (過去の自分や音楽 CD に含まれるボーカル) と、現在の自分† 筑波大学 図書館情報メディア研究科のどこが違うのかを比較するために、それぞれの歌唱とGraduate School of Library, Information and Media
Studies, University of Tsukuba

その F0 軌跡を同時に提示できる機能を実装した。本論†† 産業技術総合研究所

National Institute of Advanced Industrial Science andTechnology (AIST)

文では、それぞれ聴覚ゴースト・視覚ゴーストと呼ぶ。
以下、各機能と利用可能なゴーストについて述べる。

2.1

歌って見るモード

箇所を探し、修正後の F0 軌跡をマウスの左ドラッグでユーザがマイクから入力した歌唱の F0 軌跡を、リアルタイムに描画する機能である。図 1⃝
F の “Sing” 部から、録音ボタン ● を押して録音を開始する。ビブラーる。このように、F0 をリアルタイムに描画することで、歌い方がおかしかった瞬間にその部分を認識できる。
ゴーストには、聴覚・視覚ゴーストともに利用可能
で、図 1 左下⃝
E の、“Ghost” 部から読込 (“Read”)、解析(“Analyze”) 1 、選択 (“A(solo)” / “A(All)” / “V(solo)”)できる。“A” は聴覚ゴーストで、“A(solo)” は推定されたF0 とその高調波構造から再合成した歌唱、“A(All)” は解析対象そのままの歌唱 (や音楽 CD) である。また、“V”は視覚ゴーストを表し、“V(solo)” は F0 軌跡である。

2.2

して再選択される。ボーカルが含まれない区間は、マウスの右ドラッグで F0 軌跡を削除できる。録音ボタン ●で修正を反映したのち再生して確認できる。ただし、

F0 軌跡を何の基準もなしに修正することは難しいので、最も最近「歌って見るモード」でこの対象をゴーストとして歌唱した際の F0 軌跡が同時に青で描画されるようにした。対象ボーカルの声が高くてユーザがその音高で歌えない場合でも、低く歌えば F0 は高さが異なる同じ軌跡を描くため、参考として利用できる (図 1)。
描くという作業には、対象をより注意深く見る・聴くことが求められるため、F0 推定精度向上のみでなく、歌唱に対する新たな気付きや理解を促進できると考える。

3

聴いて見るモード▲

トが検出された場合は、その区間が着色されて提示され描くことで、その付近で優勢な F0 がボーカルの F0 とMiruSinger の実現方法
マイクからの単独歌唱からリアルタイムに F0 を推定り、図 1⃝
G の “Listen” 部の読込 (“Read”) ボタンで対象する技術、複数の楽器音が混在する音源 (音楽 CD) かを選択してから、“solo”(再合成歌唱) か “All”(そのままらボーカルを抽出する技術、ビブラートを検出する技術の歌唱 / 音楽 CD) のどちらかで再生する。聴覚・視が必要である。それぞれ、入力信号中で最も優勢な (パ覚ゴーストともに利用可能であり (“A(solo)” / “A(All)”ワーの大きい) 高調波構造を求める手法 [4]、混合音中で/ “V(solo)”)、聴覚ゴーストのみを聴くこともできる。

最も優勢な音高を推定する手法 (PreFEst)[5]、推定され歌唱力評価において、複数人が歌った歌唱を相対的にた F0 軌跡の 1 次差分の短時間フーリエ変換によってビ評価 (順位付け) すると、聴取者が原曲を知らず、メロブラートらしさを得る手法 [3] を用いた。ただし、混合

ディ・歌唱者の性別・歌詞の言語が一定の条件下では聴音からの F0 推定では、中高域で最も優勢な高調波構造取者間の評価には高い相関があることが明らかになってを持つ F0 がボーカルの F0 であると仮定した。

▲

収録済みの歌唱を聴きながら F0 軌跡を見る機能であいる [3]。すなわち、そのようなデータセットを用意して聴いて見れば、良い歌い方が分かる可能性がある。

4

おわりに歌を「見る」ことを「歌う」「聴く」「描く」と併用

2.3

描いて見るモード

した歌唱理解・歌唱力向上を支援するインタフェース

音楽 CD に含まれるボーカルの F0 推定結果をマウス

MiruSinger を提案した。描くインタラクションの導入に操作で修正できる機能である。ボーカル以外に複数音源より、普段見慣れない歌唱の F0 軌跡への慣れ、歌唱へが含まれる音楽 CD からボーカルの F0 を自動推定するの理解の促進、音楽 CD からのボーカル抽出の精度向上

ことは（ボーカルが含まれているかどうかの判断を含めに同時に対処できた。今後は、インタフェースの有効性て）非常に困難であるが、歌ったり聴いたりしながら見の評価、音高以外の歌唱情報 (声質など) の視覚化、歌唱て描くことで、ボーカルの抽出精度を向上させる。ここ

力自動評価機能の実装などに取り組む予定である。

では、これまでゴーストであった図 1⃝
E の “Ghost” 部が参考文献修正対象となる。“V(All)” を選択すると、楽譜ウィンド[1] 株式会社ヤマハ, 神谷, 橘: カラオケ装置, 特開 2005–107337(2005).
[2] 平井 他: 歌の調子外れに対する治療支援システム, 信学論, Vol.
J84-D-II, No.09, pp.1933–1941 (2001).
[3] 中野 他: 楽譜情報を用いない歌唱力自動評価手法, 情処学論,
Vol.48, No.1、pp.227–236 (2007).
[4] 後藤 他: 自然発話中の有声休止箇所のリアルタイム検出システ
ム, 信学論, Vol. J83-D-II, No.11, pp.2330–2340 (2000).
[5] 後藤: 音楽音響信号を対象としたメロディーとベースの音高推定,信学論, Vol. J84-D-II, No.1, pp.12–22 (2001).

ウ (⃝)
A に、F0 候補が全て灰色で描画され、現在選ばれている F0 は赤で描画される (図 1)。“V(solo)” を選択した場合は、現在選ばれている F0 のみが描画される。
図 1 右下⃝H の “Draw” 部にあるスライダで修正したい1 現在の実装では、ゴーストの解析 (F 抽出、全 F 候補の高調波00構造抽出、再合成) は、オフラインで処理している。