「インタラクション，97」 平成9年2月

歌唱トレーニングシステムVSGの改良
片寄晴弘＊ 平井重行＊ 村尾忠寮＊＊ 金森務＊ 井口征士＊＊イメージ情報科学研究所 ＊＊愛知教育大学
katayose＠image−lab．or．jp
我々はトビジュアルフイ⊥ドバックと各種診断機能により，ゲーム間感覚で音痴（調子外れ）を改善するためのシネ
テムVSGの開発を行ってきた．本稿では，最近改良を行った，
1）邦楽等，ピッチが微妙に変化する対象の登録とな

ぞり∴2）各私診断のためのパターン認識処理，3）追従型カラオケを中心にシステムを紹介する・

SomeImprovementofSinglngTralnlngSystemVSG ●●●WehavebeendevelopingSipglngTlainlngSystemVSGbasedonvisualfeedbackandvariousdiagnose・Thispaper
introducesl）tracemdefortraditionalvocalmeldiesasshownin‖hougaku■■，2）patternrecognitionforsinging
diagnosis，and3）a由ptive鱒ARAOKEfunction，Whichhavebeenrecendyengagedin・

1．はじめに

2．システム概要

日本語で俗に言う音痴（調子外れ）は音楽教育

図1にシステムの概略を示す．この図に示すよにおける重要な問題である．最近の研究で，歌のうにシステムはピッチ抽出センサとMacintoshコ

苦手な人でも言語のアクセント制御を行っている

ンピュータとマルチメディアビジュアルプログラ

ことから，トレーニングによって音痴がなおるとミング環境MAXおよびMAXプログラムから構成いうことが明らかになってきた．我々は，自分のされる．プログラムについては，処理負荷の関係発声状態を視覚的にフィードバックし，さらに上，シューティングゲームとトレーニングモードゲーム感覚で，歌唱のトレーニングを行うことの出来るVoiceShootingGame（以下，VSG）の開発を行っている［1】．同様のシステムとしては，
Howardらが1987年にSingard［2］というシステムを発表を行っているが，1）歌唱ピッチのグラ．フィツク阜での表示，、2）白線ピッチの表示，
3）区間内での平均ピッチの計算とそれに基づい

図1．システムの概略

た評価という機能に限定されている．また▲，．At血でしか使用できないこととピッチ抽串の不安定さのプログラムを別々に分けて構成している．

が問題となっ七いた．その他の関連システムとし初期バージョンで持たせた機能（Shgardとの差てはぁラオケに了亨ユーズメント機能を盛り込ん違）としては次のようなことがらがあげられる．

だ「セガキラ」一が存在するが，歌唱のトレーニン

1）目標ピッチの音としての出力と音色の変更

グを目指したもので′はない．

2）シューティングゲームとしての要素の追加

本稿では，システムの概要を紹介した上で，最3）ユーザによる簡易な教師データ記述

近開発を宿らた診断機能，追従型カラオケ機能に

4）なぞりモード

ついて述べる．

その後，追加・強化した機能としては
5）邦楽等，ピッチが微妙に変化する対象の登録
一143−

■ Ft18 Edtt M8W M8X Font 肌n加WS Opt10nSとなぞり

VS6vOISenSO「6ノ2l6）各種，診断のためのパターン認
識処理

Voicee。Shootingt■ ：■・り． 王7）追従型カラオケ

GameE

Y併01H．Kabyoso−SHねしY．Aonoがある．このうち，追従型カラオケ

SPACEKEY；スタート／ストッブ
TA8KEY；軌道面面オン／オフ

については1993年に発表した別個の■巨コ

ほ■：I■．1マシンで■亭亭■モオン亡した■●にピッサケフl鯵シ1−ティング伽lこと抽り▲すシステム【3】を上記フレームワークで讐仁当たった vo−CeSh00tingG8meは ち一Fのマモ実施できるように改良を行ったもの…え如ニ表芸こ モーF

視…鸞ルチーダ■・‥。・・ニである．

口 ＝ング綿うシステ昏です

輌（ピッチ〉がサンプル Scα・今 夕ーゲいに当た居F巨亘□芸諾チが研ぎ

巨或 High＄Cαe㌫評

2．1ピッチ抽出センサ
リアルタイムのピッチ抽出装置は 苫㌫

巨璽堅：］ 匝］
＿叫仇一宣へr・−− √ヽ〆

さまざまなものが開発されており，巨頭簡単に入手することができる．しか 巨悪′■、 〟ヤノ｝∵r一正ノー′J■■t■・

しながら，L安価なものは別途ローバスフィルタを使用する必要があった

り，音声を対象とした場合，高周波

図2．VoiceShootingGameの画面を含む発音（「い」や「え」の発音）の誤認識が問題になることが多かった．そこで，音声信号をして，ターゲットに当たったとき（肉を食べたと2つに分け，2種類の遮断周波数を持った周波数きに）得点が加算されるようになっている．ター

可変型ローバスフィルタ（男性の標準設定で場合ゲットが当たらずに通り過ぎたときには減点されで100Hzと400Hz）に通し，それぞれのゼロクロる．ここでは，肉を表示するかどうかのモードをスインターバルを計算することによ？てもとめら選択することができ，聴覚情報にのみに基づいたれた周波数のうち，低い周波数を優先して抹用す

ゲームの使用も可能である．また，プレーヤはるという方式に基づいたハードウエアピッサ抽出

Macintoshの内部音源を用いて，各種楽器音を選択センサを開発した．本センサは上記問題に強く，することができる．ガイド音の音列情報についてまた，比較的安価に実現できるという特徴を有しは，ピッチと曹長を一つのセットとするデータ形ている．なお，本センサからの出力はピッチくセ式をテキストライタ等で容易に作成することが可ント単位）と振幅であり，ⅦDIのポリフォニック能である．

プレッシャーの形式で送信している．

2．2VocieShootingGame
VocieShootingGameの画面を図2に示す．voice
ShootingGameはその名の通り，声でシューティングを行うゲームである．モードとして図2に示したタイプの他に，戦闘機でターゲットを打ち落とすというものもある．ゲームの動作について簡単に説明を行う．ゲームをスタートするとガイド音とともにターゲット（ここでは肉）および雲が画面の右から左ヘスクロールするようになっている．プレーヤはブタの位置を音程でコントロール

図3．Hなぞりけの一例

ー144−

2．3カウンセリング

1）ノートオンイベント

音痴（調子外れ）を治して行くための特徴的な音の開始点でのピッチをノート音イベントとしVSGの使用法を示す．て扱えるようになれば，コンピュータ音楽等幅広0）クライアントにピッチ変化のある言葉を話さい応用が考えられる．歌声を対象とした場合，ポせて，ピッチの制御が可能なことを納得してもら

ルタメントやビブラートによるピッチの変化を新

●

ヽ︹ノ l

たな音のイベントと見るかどうかを自由に設定で︶音の表示はまずは，本人の声を使用し，徐々きることが望ましい．ここでは，ある程度の音量に他の人，人間の声から離れた昔を使用する．

が確保されたところで，ノートオンイベントを出

2）普の提示時間を変える．

力し，音量が十分に下がるまで，あるいはノート

3）ビジュアルフィードバックを徐々にはずす

オンイベントを出力してからの経過時間がユー

4）シューティングゲームで遊ぶ

ザーが設定した時間を越えるまで出力ゲートを閉

5）ガイド音を徐々になくして，最終的には追従じるにするという方法を用い，上記機能を実現し型カラオケ（ピッチがあわないと伴奏データが出ている．

ない）を楽しむ．

2）演奏技法a）ビブラート

3．改良
3．1トレースモード

発声音のピッチ抽出はハードウエアで行われている．ビブラートについてはそのセンサから出力

民謡等日本の邦楽においては，，各種技法，唱法されたピッチのデータの揺れを計算することによのほとんどが，伝承という形で引き継がれていり求められる．方法としては，ピッチ時系列デーる．楽譜に明に記載されない部分が表現の根幹とタのPe嶽ToPe波の周期を求めるのとして微分倍なっている部分も多く，効率的な学習法が模索さのゼロクロス周期を計算している．ビブラートのれていた．トレースモードはこのような微妙な表

振幅は，一定間隔内の馳止の振幅という算出して現の学習を支援するためのモードである．

いる．ビブラートとして認識するにあたり，次のまず，アプリケーションからマッキントッシュ2つの条件を設定している．

内のサウンドドライバーを用いて手本となるデー

ピッチの揺れの周波数1以上の場合タの入力を行っておく．そのデータを再生し，ピッチの揺れの振幅が開催以上の場合ピッチ抽出センサを用いることにより，手本とな（開催はユーザが設定できる．Difaultはるデータの昔高及び音量データを取得しておく．

20centである）これらの条件にマッチしない場合，トレーニング時には手本データを再生すると同時ビブラートとしては認識しない．Mにおける具に，音高及び音量を視覚的に提示し，「なぞり」体的な実現例を図4に示す．

を行っていく．ビブラートやポルタメントの他，

b）ポルタメント

演奏上の微妙な表現を視覚を通じて定量的に把達

認識方法としてはビブラートと同じく簡易なもすることが可能であり，後述のパターン認識に基のであり，ピッチ時系列データの微分値を取り，づいた診断のほか，独習にも効果が期待されてい300ms内の平均値が間借以内の値であればポルタメる．

ントとみなすことにする．間借はユーザが定義で3．2診断機能きるようになっている．間借を，30−100の範囲と開発当初のVSGでは，ピッチとガイド音のズレすることで比較的安定にポルタメントが検出できが上下50cent以内に収まるかどうかという基準で正ることを確認している．MAXにおける具体的な実しい音高か否かの判別を行っていた．今回，より現例を図5に示す．

高次での診断を行うために以下のようなパターン

3）テンプレートマ、1チング
上記のような一括りの演奏技法以外に固有の歌判別の機能をインプリメントした．

−145−

する．マッチングを行う個々のテンプレートは可変長であり，複数のパターンの同時検出が可能である．現在使用している計算機環境（MCentds650）
では，30msごとに新しいイベントが入力されており，テンプレート長の総計としては，約6秒（210イベント）を持つことができる．大量データの処理への対策としてパターンマッチングに関しては別途ハードウエア化を検討している．
3）診断

上記の技法の認識の組み合わせおよび教師データと入力データとのズレに基づいた歌唱の診断機能を実現した．診断は事後に提示すると1いう形だけでなく，ゲームでのリアルタイムフィードバックを行うことにより，楽しみながら歌唱制御の訓練を行うということが可能である．

図4．ビブラートの検出

4．追従型カラオケ

4．1 ピッチ訓練としてのシステム3章で述べたノートオンイベント検出機能を利用することにより，正確に発声した場合に伴奏をつける，というカラオケシステムを容易に実現できる．
メロディとそれに伴うコードをデータとして与えておき，登録されていたメロディと入力される歌唱ピッチを照合し，その照合位置における伴奏コードが演奏するというのが基本コンセプトである．但し，どのメロディの普にもコードが伴奏されるわけではない．曲の始めはシステムがカウントを取り，曲のデータによっては前奏のコードが伴奏される．
その後，ユーザが歌を入力していくが，あらかじめ設定されたキーとなる音に対する伴奏コードしか演奏されない．キーの音が正しく認識されて始めて伴奏がつくことになる．要するに，カラオケのルール
として調子よく歌うためには，どれだけテンポに唱技法の実現度具合（類似性）を計測するために合った位置に正しい音が出せるか，ということにか相互相関に着目したテンプレートマッチング機構かっており，これによりVSGとしてのゲーム性が実を用意した．ユーザはMAXプログラム上で，現されている．

machingというパッチヤーを選択し，実際の歌唱例4．1 自然な追従型カラオケを与えるだけで，テンプレートを作成することができる．ピッチ・音量のデータシーケンスに対

自動伴奏は音楽情報処理の分野で積極的に取り組し，新たなイベントが入るごとに；それぞれピッまれてきた対象の一つである．自動伴奏システムのチ・音量時系列とテンプレートとの類似性を計算

多くは，入力された楽器音のピッチが確定してから−146−演奏位置を認識を行うと処理を行っている．この原行く予定である．
診断機能の各節で述べた特徴量は正確に歌うとき

理による追従型の歌唱伴奏システムも提案されている【4】が，実際の歌唱においては，ポルタメント等の基本情報となることには間違いないが，音楽のうにみられるピッチ変動のため，音の立ち上がり時にまさと直接的に結びつくものではない．今後は，さピッチを確定するのは困難である．結果的に，歌唱まざまに実験を重ねながら歌のうまさの客観的な測を対象をする場合には唱歌風に歌わないとうまくシ定法を確立して行きたい．

ステムが動作しないという制約があった．我々は，音量の立ち上がりに基づいてスケジューリング■を参考文献行い，アタックから100m経過したところから平均【1］片寄他：MAXを利用したVoiceShootingGame，によって安定したピッチを求め，それに基づいて歌情報処理学会研究報告，音楽情報科学，MUS−11，7唱位置を確認するという方式に基づいた追従型カラ（1995）

オケシステムを開発した［3］．スケジューリングに【2］第14回国際音楽教育リサーチセミナー及び歌用いるデータはメロディから母音でつながるシーケ

唱障垂児（音痴）に関する国際シンポジウム委員会

ンスを外したものを用いているため，安定してスケ編資料集（1992）

ジューリングが可能となっている．このシステムで［3］H．Katayoseetal．：VirtualPerfbrmer，Proc．Intl．

は，歌唱者のテンポの変化，間の挿入，フレーズのComputerMusicConf．，PP．138−145（1993）

抜かしなどに対応し，他のシステム比べて，自然な【4］W．Inoue，S．HashimotoandS．Ohteru：AComputer

形七追従することができる．

Music System

このうち，テンポの変化，間の挿入に追従した追forHumanSinglng，Proc．Intl．ComputerMusicConf．，

従型カラオケをVSGの一つの機能として実現した．

pp．150−153（1993）

この追従型カラオケは歌唱者がテンポや間に変化を【5】村尾忠廣：調子外れを治す，音楽之友社（1996）

つけながら伴奏をひっぱていくことが可能である．
そして，どれだけのキーを外したかが，歌唱者に提謝辞示される．

本研究の一部は中山隼雄科学技術文化財団の助成によるものです．

5．おわりに本稿では，ビジュアルフィードバックにより、歌唱のトレーニングをおこなうVSGの現状について紹介した．本システムは，MAXを用いており，使用法に応じて容易にプログラムを拡張していくことが出来る．今後は，歌唱のうまさを評価するための診断機能をより強化するにするとともに「楽しみながらうまくなる」という意味でゲーム性の向上をはかって行一きたいと考えている．さらに，著者の一人
は音楽教育学を専門としており，既にカウンセリン

グを通じての音痴治療の事例を蓄積しつつある【5】．今後，これらの知見に基づいたカウンセリン
グの方法論を確立し，教育現場での実用化を進めて＊ イベントが検出されたと同時に和音をならすということに加え，現状テンポに基づいて，アルペジオ等の時系列音イベント発生させること−147−