1408

日本バーチャルリアリティ学会誌第 13 巻 3 号 2008 年 9 月

特集

インタラクション技術の新展開

特集 ■インタラクション技術の新展開

音楽鑑賞・音声入力をより豊かに～能動的音楽鑑賞インタフェースと音声補完シリーズ～

後藤真孝

産業技術総合研究所

GOTO MASATAKA

2．能動的音楽鑑賞インタフェース

1．はじめに音楽や音声の音響信号を自動的に認識・理解できる

我々は 2003 年に，従来の受動的な鑑賞とは違う，能技術は日々進歩しているが，エンドユーザは，まだそ動的な音楽鑑賞を可能にするエンドユーザ向け音楽インの恩恵を充分には享受していない．そのためには，日タフェースを実現する研究アプローチを提唱した [3]．そ常的な場面で効果的に使える音楽インタフェース，音して，これを「能動的音楽鑑賞インタフェース」と名付

声インタフェースの研究が重要となる．本解説では，

けて，音楽音響信号理解に基づく様々な事例を実現する

そうした音響信号の自動理解技術が実際にエンドユー研究を進めている [1]．ここでの「能動的」という言葉は，ザの役に立ち，重要であることを示すために我々が取音楽の創作は意味せず，音楽鑑賞を楽しむ上でのあらゆり組んでいる二つの研究アプローチ「能動的音楽鑑賞る能動的なインタラクション ( 音楽再生中の新たな支援インタフェース」[1] と「音声補完シリーズ」[2] を紹や加工，楽曲の検索やブラウジング等 ) を意味する．
「音介する．

楽との能動的なインタラクション」というと，通常は，「能動的音楽鑑賞インタフェース」は，「音楽音響音楽家だけが可能な楽しみだと考えられがちである．し信号理解研究が，音楽の聴き方をどのように豊かにでかし，音楽家でない普通の人達が音楽を聴く行為は，必きるか」を明らかにする取り組みである．例えば，楽ずしも受動的とは限らない．例えば，生演奏を聴きなが曲構造を見ながら楽曲内で興味のない区間を簡単に飛ら，手拍子や歓声等によって能動的に働きかけたり，コばしたり，楽曲中の楽器の音色を変更したり，音楽コンパクトディスク (CD) やプレイリスト上での楽曲の再レクションをブラウジングして興味のある楽曲やアー生順を自分で決めたり，音質調整つまみで周波数特性をティストに出会ったりするためのインタフェース等を調整したりすることは，一種の能動的なインタラクショ実現してきた．

ンと言える．本研究では，それをさらに発展させ，既存一方，「音声補完シリーズ」は，「ユーザに意図的に非の楽曲のモノラル音響信号を入力として，音楽的要素 ( サ

言語情報を発声してもらうことで，音声の持つ潜在能力ビ区間やメロディー，ドラム音等 ) を自動的に理解するをどのように引き出せるか」を明らかにする取り組みで技術によって，より能動的で豊かな音楽の聴き方を可能ある．
例えば，言い淀むと助けてくれる音声インタフェーにすることを目指している．以下，具体的な事例を文献

ス機能や，不自然な非言語情報によって人間同士の会話[1] から抜粋して紹介する．

中に音声認識が利用できる音声インタフェース機能等を2.1実現してきた．

SmartMusicKIOSK: サビ出し機能付き音楽試聴機

いずれも音楽鑑賞や音声入力をより豊かにするインタ

楽曲構造を利用することで，ポピュラー音楽の楽曲内ラクション技術であり，本解説では，こうした各事例の部のブラウジングや楽曲の試聴を容易にする音楽再生イ紹介を通じて，その背後にある「音楽・音声インタラクンタフェースである．図 1 下側の「サビ出しボタン (NEXTション」に関する我々の考え方を議論していく．

CHORUS)」を押すことで，次のサビの先頭へジャンプ ( 瞬8特集

JVRSJ Vol.13 No.3 September, 2008

インタラクション技術の新展開

図3
図1

SmartMusicKIOSK

9141

Drumix

音楽再生中にドラムスの音量や音色，ドラムパターンを能動的に変更できる

視覚化された楽曲の繰り返し構造（上側の「音楽地図」ウィンドウ）を見ながら，楽曲の様々な箇所を自在に行き来して能動的に聞くことが出来るが歌詞上で容易にわかるようになる．さらに，画面に表示された歌詞上の任意の単語をクリックすることで，その単語の位置へジャンプして再生することも可能である．
2.3

Drumix : ドラムパートのリアルタイム編集機能付

き音楽再生インタフェース
あたかも他のドラマーが違うドラムパターンで演奏しているかのように，楽曲を再生中にリアルタイムにドラムパートを加工できる音楽再生インタフェースである．
図 3 上側のウィンドウにより，楽曲再生中にそのバスドラムとスネアドラムの音量や音色を変更することができ
図2

LyricSynchronizer ＊口絵にカラー版掲載

る．さらに，下側のウィンドウを使うと，ドラムパター再生位置の色が変わる歌詞をクリックしてジャンプすることで，楽曲のン ( ここではバスドラムとスネアドラムの演奏パターン )様々な箇所の歌詞を自在に行き来して能動的に聴くことができるを容易に編集したり引用したりすることが可能である．
このようにユーザは Drumix を用いることで，既存の楽時に早送り ) することができ，自分でサビを探す煩わし曲の再生中に気ままにドラムスの音色やパターンを変えい作業から解放される．また，図 1 上側には楽曲中の繰る能動的なインタラクションを楽しむことができる．

り返し構造を視覚化した「音楽地図」が表示されており，ユーザはこれを見ながら興味のない区間を容易に飛ばす

2.4

Musicream: 楽曲との能動的で多様な出会い方をことができる．
「音楽地図」の横軸は時間軸で楽曲全体可能にする総合的な音楽再生インタフェースを表示しており，最上段がサビ区間の繰り返し構造を，エンドユーザが抱く「何か聴きたい」「思い通りに聴きその下の 5 段が他の様々な長さの区間の繰り返し構造をたい」という欲求を満たすことができる音楽検索・再生表している ( 各段で着色された区間同士が類似していてインタフェースである．これは，従来の音楽再生インタ繰り返しを表す )．従来の音楽再生インタフェースでは，フェースで典型的であった「曲名やアーティスト名を列楽曲単位でしか興味のない音楽を飛ばせなかったのに対挙する」という固定概念から脱却し，能動的で自由度のし，SmartMusicKIOSK によって初めて，楽曲内部の興高い音楽再生を実現することを目指したものである．ま

味のない箇所も容易に飛ばすことが可能になった．

ず，「何か聴きたい」という欲求を満たすために，様々な楽曲に容易に出会うことができる機能を提供する．図 4

2.2 LyricSynchronizer: 歌詞と楽曲との自動的な時刻同期

右側を楽曲群 ( 円盤 ) が上から下へ次々と流れ，ユーザがカラオケのように楽曲の再生と同期して色が変わる歌楽曲を何気なく手に取って聞くことで，未知の楽曲に能詞を表示するシステムである．図 2 のように，既存の楽曲動的に出会うことができる．その楽曲が気に入ったら，から抽出した歌声とその歌詞のテキストを自動的に同期流れている他の楽曲にそれを接触させることにより，雰させて着色することで，楽曲中のどこが再生されているか囲気の似た楽曲だけを選択的に次々とくっつけられる

910142

日本バーチャルリアリティ学会誌第 13 巻 3 号 2008 年 9 月

特集

(a)

図4(b)

Musicream ＊口絵にカラー版掲載

インタラクション技術の新展開

音声補完：全部を思い出せなくて言い淀むと計算機側が残りを補って手助けをしてくれる

音声シフト：意図的に声の高さを変えることで入力モードを発話ごとに切り替えられる

音楽コレクションをブラウジングして未知の楽曲に能動的に出会うことができる( 制御可能な類似楽曲検索に相当する )．次に，「思い通りに聴きたい」という欲求を満たすために，複数のプレイリスト間の再生順を指定するような自由度の高いプレ(c)

音声スタータ：言い淀んだ後だけ音声認識することで雑音の誤検出を防止する

イリスト編集を可能にする．そして，Musicream 上のすべての操作を記録することで，あたかもタイムマシンを使ったかのように，過去の画面を呼び出したり，そこから新たな未来を作ったりできる．各円盤はその楽曲全体の雰囲気 ( 曲調 ) を表す楽曲特徴量に基づいて着色し，楽曲間の類似度はその特徴量同士の類似度とした．

(d)

音声スポッタ：言い淀んだ後に高い声で発声した箇所だけ音声認識する

3．音声補完シリーズ

図5

音声補完シリーズ

我々は，音声が言語情報と非言語情報を同時に伝達で3.1きることが本質的で重要であり，音声の持つ潜在能力を音声補完引き出すための鍵が非言語情報にあると考えて，それを音声入力時に，あるフレーズの一部しか思い出せず有効活用する一連の音声インタフェース機能を「音声補に断片だけを言って言い淀むと，音声入力システム側が完シリーズ」と称して実現してきた [2]．従来の音声認識その残りを補って入力することを可能にする機能である研究の多くは，音韻や単語のような言語情報をいかに音( 図 5 (a))．例えば，ユーザが単語発声途中に「うただー」

声から得るかに焦点を当てて，認識率の向上を競ってきのように有声休止 ( 下線で示す ) によって言い淀むと，た．そうした技術は重要ではあるものの，認識率を高く「宇多田ヒカル」を含む補完候補の一覧 ( 図 6) を見るこするだけでは不十分であり，音声認識を利用したインタとができる機能を提供した．これにより，入力中に困っフェースはまだまだ使いにくい．そこで我々は，従来はて言い淀めば手助けが受けられる使いやすい音声入力が誤認識を招く一因として嫌われていた非言語情報 ( パラ実現できた．

言語情報も含む ) を，ユーザに特定のルールに沿って意3.2

図的に発声してもらうことで，従来なかったような使い音声シフトやすい音声インタフェース機能を実現する新たな研究ア

ユーザが声の高さを意図的に変えることで，音声認識プローチに取り組んでいる．具体的な非言語情報として時の入力モードを切り替えることを可能にする機能であは，書き言葉にはない，音声に特有の言い淀み ( 有声休止 )る．声の高さは通常の音声認識では使われていないが，と声の高さ ( 基本周波数 ) の二つを推定する ( ここでは有音声シフトではこれを活用し，普通に発声した発話と故声休止を「母音の引き延ばし」の意味で用いる )．以下

意に高く発声した発話を異なる入力モードに割り当てる

では，それらを活用する「音声補完」「音声シフト」「音ことで，音声のみでモード指定と情報入力とを同時に行

声スタータ」「音声スポッタ」の四つを紹介する．

うことを可能にした．例えば，音声ディクテーションに

10

特集

JVRSJ Vol.13 No.3 September, 2008

インタラクション技術の新展開

4.1

11143

音を効果的に視覚化する

2 章，3 章で紹介したインタフェースの多くは，音楽・音声を対象としているにも関わらず，視覚的な画面表示を効果的に活用している．これは，目には見えない「音」を扱う上で，その内容に関するインタラクションを容易にするためには，「音」だけの提示では困難だからである．また，「音」は静止画と違い，その内容を把握するには，通常はその長さだけ再生時間を要してしまう性質

図 6 「うただー」と言い淀んで音声補完候補が表示された例

があり，視覚化は大切となる．
おいて，「改行」と普通に発声するとその文字が入力さ

特に音楽の場合，楽曲が内在している情報 ( 音楽的要

れ ( 文字入力モード )，「改行 」を故意に高く発声 ( 斜体 で素 ) を適切に視覚化して，インタラクションの対象とし示す ) すると行末が改行される ( コマンドモード ) 機能て操作可能にしなければ，何度も再生を繰り返すことにが実現できた ( 図 5 (b))．

なり，効率が悪くなる．再生しながらリアルタイムに操作する場合もあるが，過去に再生した部分を操作しよう

3.3

音声スタータとすると，視覚化なしでは記憶する負担が大きくなって非定常雑音下で頑健な音声認識を実現するために，言しまう．さらに，より積極的に視覚化を使い，本来は，い淀んだ後だけ音声認識することで雑音の誤検出を防止

その音の長さ分の再生時間をかけて再生しないと把握でする機能である．従来，雑音下での音声認識では，発話きない内容を，再生する前に理解できるようにすると効区間の切り出しミスが誤認識に与える影響が大きかった．

果的である．例えば，2.1 節では，音楽地図により，楽そこで，雑音下で話し始めるときには，必ず「えー」や曲全体の繰り返し構造やサビの位置を見ただけですぐに「んー」のような有声休止によって発話の頭で言い淀むこ把握できることで，興味のないところを飛ばして，効率とをルールとするインタフェースを実現した ( 図 5 (c))．通の良い再生を可能にした．2.2 節でも，歌詞を手がかり常，雑音中にはそうした言い淀みに似た音は含まれないとすることで，全体を再生しなくても，再生位置の変更ため，様々な物音が鳴っても発話区間と誤らずに適切にを可能にした．2.4 節では，円盤の色が楽曲全体の雰囲無視できる．これにより，ユーザは発話開始時点を音声気 ( 曲調 ) の手がかりとなっており，楽曲を再生する前だけで明示的に指示でき，従来，ボタン操作等による指示に，ある程度の選別を可能にした．

でハンズフリーの利点が失われていた問題を解決できた．
4.2
3.4

音声スポッタシンプルにした上でユーザに協力を求める「音楽・音声インタラクション」で困るのは，ユーザが，通常の会話に現れないような「母音を延ばして言い淀今何をすればよいかがわからない状態になってしまうこ

んだ後に故意に高い声で発声された特殊な発話」だけをとであり，それを避けるためには，インタラクションをスポッティングして音声認識対象とみなすことで，マイシンプルにした上で，ユーザに協力を求めるとよい．そク入力だけで人間同士の会話中の音声認識対象箇所を同のために，2 章，3 章のような複数の個別事例として実定できる機能である ( 図 5 (d))．例えば，「えー，今日は何現しているのは，それらすべてを統合した複雑なインタ日 」のように，有声休止の後に入力したい文章を故意にフェースを目指すよりも，適切だと言える．

高く発声すれば，計算機が「今日は何日」の部分だけを特に音声の場合，音声対話は自然ではあっても自由度認識し，その答えを教えてくれる．こうした日時，天気，が高すぎて，インタフェースとして実現されると，ユーニュースの問い合わせに関する情報支援や，楽曲再生のザは何を発声してよいかわからなくなることが多い．例

曲名指定等が，会話中に音声だけで実現できた．

えば，3.1 節の音声補完では，言い淀めば手助けをしてくれるという，人間同士の対話で経験している自然な4．議論ルールを取り入れたが，ここで重要なのは，音声対話こうした一連の音楽・音声に関するインタラクションを直接実現したのではなく，音声対話の一場面をインタを研究する上で，我々が日頃大切だと思っている考え方フェース機能として適切に抽象化してルール化したことを議論する．

である．結局音声対話であってもユーザに協力してもら

11

日本バーチャルリアリティ学会誌第 13 巻 3 号 2008 年 9 月

特集

う必要があるのであれば，いっそのこと最初から音声イ

2 章で紹介した能動的音楽鑑賞インタフェースの一部

ンタフェース機能のルールを明示し，それに沿って発声は，音楽をより楽しめるようにするだけでなく，音楽をしてもらう方がよい．自然な音声インタフェースというより深く理解できるきっかけを与えてくれる可能性があことで，音声対話を目指す研究も大切ではあるものの，る．これは「音楽理解力拡張インタフェース」や「音楽現状で実用的なインタフェースとして活用してもらうに理解力向上インタフェース」という新たな研究アプロー

は，他の計算機インタフェースと同様に，固有のルールチに発展していくと考えられる [1]．今後，多くの研究者を明示的にユーザに理解してもらうのが有効である．

が様々な形で取り組むことで，日常生活での音楽の聴き

12144

インタラクション技術の新展開

さらに，ルールとして明確になっていれば，人間が未方がより多様で豊かに変化していくことを期待したい．

経験だった不自然なルールであっても，ユーザは使いやまた，3 章で紹介した音声補完シリーズは，言語情報とすいと感じることもある．3.4 節の音声スポッタは，そ非言語情報の両者を的確に認識して活用していたが，音うした不自然さを敢えて利用し，人間同士の会話中に通声はその両者を同時に伝達できることが本質であり，そ常出現しない発話，つまり，不自然な発話をユーザに言っこにこそ音声インタフェースの優位性がある [2]．今後，てもらうことで，人間同士の会話に干渉せずに様々な支音声の持つ大きな潜在能力を引き出す多様な音声インタ援が提供できた．こうした研究は，自然なルールだけにフェース機能が研究されていくことを期待したい．

視野を狭めていたのでは，決して生まれなかった．
謝辞
4.3 「点」だけでなく「面」を作る

本解説で紹介した研究事例を共同研究した秋葉 友良 氏，ある一つの研究事例で示せる研究思想は限られてい伊藤 克亘 氏，奥乃 博 氏，尾本 幸宏 氏，北山 広治 氏，後る．特に論文の場合には紙面が限られていることも影響

藤 孝行 氏，小林 哲則 氏，速水 悟 氏，藤原 弘将 氏，吉井

し，個々の事例でインタフェースとして具体化でき，実和佳 氏 ( 五十音順 ) に感謝する．その研究の一部は，科学証できる範囲は，できるだけ大きくすることは心掛けつ

技術振興機構 CrestMuse プロジェクトによる支援を受けた．

つも，限界があるからである．
参考文献

むしろ，個々の事例を「点」とみなし，複数の事例を積み重ねることで点と点を結んで「線」を作り，さら[1] 後藤 真孝：音楽音響信号理解に基づく能動的音楽鑑に様々な方向の線を増やして「面」を作ることで，より賞インタフェース，情報処理学会 音楽情報科学研究

大きな思想を伝える研究アプローチが大切だと考えてい会 研究報告，2007-MUS-70-9, pp.59-66 (2007)

る．点だけでは，その研究の持つメッセージや将来性が[2] 後藤 真孝：非言語情報を活用した音声インタフェー

伝わりにくい場合もあるが，面にすることで，より的確ス，情報処理学会 音声言語情報処理研究会 研究報告，2004-SLP-52-7, pp.41-46 (2004)に理解され，研究コミュニティで共有されやすくなる．
逆に，点の研究から出発するときでも，最初から面とし[3] 後 藤 真 孝：SmartMusicKIOSK: サ ビ 出 し 機 能 付ての貢献に発展しやすいよう心掛けている．2 章の「能き音楽試聴機，情報処理学会論文誌，Vol.44, No.11,動的音楽鑑賞インタフェース」や，3 章の「音声補完シ

pp.2737-2747 (2003)

リーズ」の一連の事例は，こうした研究ポリシーから生まれてきた．

【略歴】
後藤真孝（GOTO Masataka）

5．おわりに産業技術総合研究所主任研究員

本解説では，音響信号の自動理解技術が切り開く新し1998 年 早稲田大学大学院理工学研究科博士後期課程修い「音楽・音声インタラクション」の研究事例と考え方了．博士 ( 工学 )．同年，電子技術総合研究所 (2001 年にを紹介してきた．自動理解技術の進歩は著しいが，人間産業技術総合研究所に改組 ) に入所，2005 年より現職．の理解能力と比べれば，現在の理解技術にはまだまだ制

2000 年から 2003 年まで JST さきがけ研究 21 研究員，約も多く，性能も不十分である．今後，より多様で高機2005 年から筑波大学連携大学院准教授，2008 年から統能なインタフェースを実現するには，自動理解結果に誤計数理研究所客員准教授を兼任．科学技術分野の文部科りが含まれていても役に立つような応用上の工夫や，音学大臣表彰 若手科学者賞，ドコモ・モバイル・サイエ

響信号理解技術のさらなる発展が必要である．

ンス賞 基礎科学部門 優秀賞等 22 件受賞．

12