デモンストレーション：若手による研究紹介 V浜中 雅俊

筑波大学／科学技術振興機構 さきがけ

西村

東京情報大学明高江洲 弘

慶應義塾大学大学院理工学研究科

平井 重行

京都産業大学理学部コンピュータ科学科

糸山 克寿

京都大学大学院情報学研究科

吉野 祥之

東京大学大学院学際情報学府

梶原 祥平

九州大学大学院芸術工学府

釘本 望美

関西学院大学理工学部

勝本 道哲

情報通信研究機構ユニバーサルメディア研究センター超臨場感基盤グループ

中野 倫靖

筑波大学大学院図書館情報メディア研究科

伊藤 直樹

北陸先端科学技術大学院大学知識科学研究科

中村 俊介

九州工業大学 ヒューマンライフ IT 開発センター

長澤 槙子

お茶の水女子大学大学院人間文化研究科数理情報科学専攻

柴田 光太郎

関西学院大学理工学部

あらまし 本デモセッションでは，音楽情報処理の研究分野における若手研究者のさらなる発展に向けて，若手による研究事例をデモンストレーション形式で紹介する．

Demonstrations: Introduction of Researchby Young Researchers V
Masatoshi Hamanaka

University of Tsukuba / Presto, Japan Science and Technology Agency

Akira Nishimura
Hiroshi Takaesu

Tokyo University of Information Sciences
Graduate School of Science and Technology, Keio University

Shigeyuki Hirai
Katsutoshi Itoyama

Department of Computer Science, Faculty of Science, Kyoto Sangyo University
Graduate School of Informatics, Kyoto University

Akiyuki Yoshino
Shohei Kajiwara

Graduate School of Interdisciplinary Information Studies, The University of Tokyo
Graduate School of Design, Kyushu University

Nozomi Kigimoto
Michiaki Katsumoto

School of Science and Technology, Kwansei Gakuin University
National Institute of Information and communications Technology

Tomoyasu Nakano
Naoki Itou

Graduate School of Library, Information and Media Studies, University of Tsukuba
School of Knowledge Science, Japan Advanced Institute of Science and Technology

Shunsuke Nakamura
Makiko Nagasawa

The Center for Human Quality on Life through IT, Kyushu Institute of Technology
Graduate Division of Mathematics and Computer Science, Ochanomizu University

Kotaro Shibata

School of Science and Technology, Kwansei Gakuin University

Abstract Toward further progresses of young researchers in the field of music information processing, we
introduce case studies of demonstrations.

1

はじめに

リングリスト参加者に限らず，デモセッションに関してご意見，ご希望のある方は，是非お寄せいただきたい．
浜中 雅俊
我々がデモセッションを開始した目的の一つは，たとデモセッションは，音楽情報科学研究会の若手企画の
え未完成のシステムでも発表して，議論する機会を作一環として 2004 年に初回が開催されて以来，今回で 5ることで，研究上有益なアドバイスを得たり，より作品
回目の開催となり「恒例」と呼ばれるようになった．今の完成度を高めるアイディアを得るというものであった
回は，過去最多の 14 件のデモ発表がエントリーされ，が，3 年間経ってみて当初の目的は果たせたであろうか．
さらに数件のデモ発表が飛び入り参加する予定となって多くのデモ発表が我々の期待以上に完成度の高いものでいる．飛び入り参加というのは，前回から導入したシスあったため，完成度を高めるという効果は少なかったか
テムで，原稿締め切りからデモセッション開催当日までもしれないが，多くの有益なアドバイスを得られたのでの間も引き続きデモ発表の募集を行い，その間に参加しはなかろうか．私自身は，この 3 年間の間，本研究会のた人にも，他の参加者と同様のスペースを用意するもの
デモセッション以外にも様々な場所でデモ展示をする機である．つまり，デモセッションの募集は発表当日まで会に恵まれたが，やはりこの研究会でのデモセッション
継続的に行い，原稿締め切りに間に合ったデモ発表につは格別であると考えている．なにが格別かと言うと，通いては正式エントリーとし，残念ながら原稿が間に合わ
常の展示会では，さっと見てすぐに次のデモ展示に行っなかった人や，原稿締め切り以降に申し込まれた人につてしまう方が多いが，このデモセッションではデモを見いても，飛び入り参加として歓迎している．
た後，必ずと言っていいほどほとんどの方が一言コメン
これらデモセッションの参加募集のしくみは，募集をトを述べてくれることである．また，非常に長い時間を継続的に行うことで，できる限り多くの人に参加してほかけて議論をしてくれる見学者も多い．これは，見学さしいとの思いから自然発生的にできたものである．通常れる方の多くが音楽に非常に強い関心を持ち，展示しての口頭発表のいわゆる締め切りと異なり一見複雑に思えいる各システムにも強い関心を持って接していただいてるかもしれないが，これまでも何件か，デモ発表が出来いるからだと思っている．熱心に，ご意見ご指導いただ
るかどうかぎりぎりの方に参加の機会を提供することがく皆様に心からお礼申し上げる次第である．
できたことから今後も続けていきたいと思っている．デ
我々がデモセッションを開始した当初には予期していモセッションに興味はあるが，まだ参加したことのない
なかったこととして，デモセッションによる集客効果が人には，是非ともこれらのしくみをうまく利用して発表あげられる．デモセッションは，もともと集客力の高いして頂けると幸いに思う。尚，デモセッションに興味の
夏の研究会に相乗りする形となっており，デモセッショ
ある方は，このデモセッションの原稿の末尾に案内があンにより果たしてどのぐらい集客が増加しているかは不るので，デモセッションのメーリングリストへの参加を明であるが，おそらく増加方向に働いていると考えられ検討していただきたい．デモセッションに関する案内がる．これまでデモセッションの発表者やデモのタイトル受け取れるだけでなく，意見交換や研究会に参加できなの発表は，原稿締め切り後に発表者が全員確定してからかった人用にデモ発表の様子が伝わるように記録した写行っていたため，研究会の約 1ヶ月前となっていた．開真や動画の公開などに使用されている．
催地が関東や関西などの場合にはそれでも問題はなかっ
さて，今回のデモセッションは，会場の広さが前回にたが，今回の研究会は，宿泊前提の地方開催で，1ヶ月前
比べて約 3 倍，展示時間が約 2 倍と，これまでにない大では宿泊や航空機の予約が困難となる可能性があった．
きな枠を設定していただいた．ご支援いただいた方々にそこで，デモセッションプログラムを確定した人の分かあらためてお礼申し上げる次第である．しかし，地方開ら随時公開するという速報形式を試みた．今回初めての催ということも影響してか募集当初は，数件しか発表申試みであるため，関係者には少なからずご迷惑をおかけ
し込みがなく，大きな会場を埋められるか，いささか不した．速報形式を提案し実現にあったった北原鉄朗氏に安であったが，デモ参加者による積極的な渉外活動が行感謝する．
われた結果，発表件数は期待以上の 14 件となった．こ
今回のデモ参加者の特徴は，これまで大半を占めてのような渉外活動だけでなく，デモセッションで必要ときた情報系の研究者だけでなく，芸術系の方が何名か加される様々な仕事は，若手の各自が自発的に担当し，遂
わってきてくれたことである．芸術系の方々にご参加い
行されているというのもデモセッションの特徴である．
ただきたいという期待は，デモセッションの開始当初か
このような進め方は，誰かが強力なリーダシップを発揮
らあり，これまでも何回か芸術系の方から連絡を受けたする方法に比べて，時間がかかるという欠点はあるが，ことはあったが，多くの場合は参加には至らなかった．
これまでとりまとめを担当してきた私自身が楽になると今後，ますます様々な分野の様々な方にご参加いただき，いうだけでなく，様々な人の様々なアイディアを反映で情報系や芸術系など垣根なく議論できる場を提供していきるという利点もある．たとえば，前述のデモ発表の写くことができれば幸いに思う．また，デモ展示という形
真や動画を記録しメーリングリスト内部向けに限って公式だけでなく，討論形式，発表形式，コンサート形式な開するというアイディアも，たまたまデモセッションにど様々な形で異分野の人と積極的に交流できる場が実現
参加できなかった方から寄せられたものであった．メー
できればさらに幸いに思う．

2

音響透かしを用いたカラオケ歌詞表示システム ユーザの走行ピッチに応じた楽曲の提示
西村明, 坂本真一高江洲 弘，大野 将樹，斎藤 博昭
本デモセッションでは，ユーザの動作する速さに合っ(1) はじめにた楽曲を提示するシステムを紹介する．ユーザの走行
メディアデータ自体にディジタルデータを埋め込み、 ピッチ (一分間あたりの歩数) を楽曲の BPM(Beat Per
必要な時に検出して利用する技術はデータハイディング Minute) に対応させることで，ユーザに楽しく運動をしとよばれる。音響信号へのデータハイディングの応用と てもらうことを目的としている．
して、伴奏音楽に歌詞表示のためのデータを埋め込み、スピーカから再生した後にマイクで収音し、伴奏に同期 (1) システム概要
本システムは，ランニングをしながら音楽を聞くユー
して歌詞を表示するシステムを試作した。
ザを対象とし，ユーザの走行ピッチに基づいて楽曲提示(2) 従来技術との比較する．本システムは走行ピッチ測定部，楽曲提示部の 2
MIDI データや、MP3 などの圧縮音ファイルに、付 つから構成されている．(図 1)
帯的に歌詞データを取り込み、再生時に同期して表示す
走行ピッチ測定部は加速度センサを用い，足が地面にる手法はすでに実用化されているが、この場合、伴奏音 つく瞬間を検知することで，ユーザの走行ピッチを測定の再生と歌詞の表示は、同一機器で行われる。一方、本 する．
試作システムでの歌詞の表示は、伴奏音を再生する機器
楽曲提示部は，測定した走行ピッチに基づいて楽曲をから空間的および情報ネットワーク的に独立しており、 選択し，再生する．楽曲を再生しているときも，システ
同時かつ広範囲に利用できる。
ムはユーザの測定部は常に測定を行い，ユーザの走行
スピーカ再生音へのデータハイディング技術は、既に ピッチが変化した場合は，再生する楽曲を走行ピッチにいくつか報告されているが、スピーカにマイクを近接さ 合った楽曲に自動的に変更する．(図 2)せる必要があったり、広範囲な音響信号に適用可能かど
うか、また残響音や背景雑音の付加に対する頑強性については、定量的評価が行われていない。

(3) 本試作システムの特徴
本試作システムで採用したデータハイディング手法
は、反射や残響音、マイクやスピーカの周波数特性歪、マイクへの過大入力によるクリッピング歪などに対して頑強であり、試作システムはパソコン用の安価なスピー
カとマイクを用いても、動作可能であることを示してい
図 1: システム概要る。さらに埋め込みデータの検出時には、隣接する狭帯
域間に共通する振幅変動を打ち消すことにより、歌声が (2) 課題と今後の展望
マイクに付加されても、ある程度までデータ検出が可能
楽曲の BPM は予め入力する必要があるので，これをである点も特徴である。
自動で取得する機能を追加すること，また，再生する
楽曲を変更する際，曲のどの部分であってもが突然切り替わってしまうので，楽曲の変更方法を改良することが課題である．さらに今後の展望としては，テンポ以外のユーザの情報，例えば脈拍や走行距離からユーザの疲れ具合を推定し，その状況に合った楽曲を提示するなど，よりユーザが楽しいと思えるを楽曲の提示手法を考えて
図 1: 試作システムのスクリーンショット. マイク収音さいきたい．
れた伴奏に合わせてリアルタイムに歌詞が表示される.
参考文献[1] “スピーカ再生音に同期した音響電子透かしを用いる情報
提示 —カラオケ歌詞表示システム—”，西村 明, 坂本真一, 音楽情報科学研究会資料，Vol.71, (2007).

図 2: システム使用風景

3

ユビキタスコンピューティングシステムにおけ 楽器音イコライザ：ハードウェアフェーダを用るサウンドインタフェースの活用 - 浴室の例 いた直感的操作の実現
平井重行
ユビキタス環境の一種であるスマートホーム研究として，浴室を対象にした様々な研究開発を行っている．浴室のアプリケーションとしては，安全・安心，健康管理・増進，アメニティ・エンタテインメント，の 3 つの方向があると考えている．本研究では，浴室での入浴者の行
動計測を行い，その情報をサウンドや音楽として表現するインタラクティブシステムを構築し，これら 3 つの方向性を実現するアプローチを試みている．図 1 にその概要を表す．発表では，浴槽を利用したシステムと，浴室内の物品を利用するシステムの 2 つについて，デモムー
ビーを交えて内容を紹介し，サウンド・音楽を利用した
インタフェース研究とその応用性について議論する．

糸山 克寿，後藤 真孝，奥乃 博
ミックス済みの音楽音響信号から楽器パートごとの信号を分離して，もう一度ミックスして聴くことのできるシステム，楽器音イコライザ [1, 2] を紹介する．帯域ごとのバランスを調節するグラフィックイコライザとは異なり，本システムでは楽器ごとのバランス調整を行うため，ユーザはより直感的なリミックスが可能となる．
図 1 に楽器音イコライザのインタフェースを示す．本
システムを MIDI コントローラ BCF2000 と接続することで，画面上からだけでなく，フェーダを操作すること
ででも音量バランスを操作できる．手でフェーダを直接操作できるために，マウスで画面上のスライダを動かすよりも自由度が高く直感的な操作が可能になる．また，
このフェーダはモーターが内蔵されており，画面上での操作とフェーダでの操作を相互にフィードバックさせることができる．

図 1: 本研究システムの利用イメージ(1) 浴槽を利用したシステム
一つ目のシステムは，浴槽内の湯水を介して浴槽や給湯器で入浴者の状態を計測し，サウンドや音楽で表現する．一般に普及している給湯器に組み込まれている水圧センサ（湯はり量設定目的）を利用すれば，入浴者が湯水をかき回す動作が計測できることから，入浴中の状態を計測する．同じセンサで微小水位変化を計測すると呼吸も計測できる．また市販の心拍計測機能付き浴槽を利用すれば入浴中の心拍数も利用できる．このように，浴槽内の行動や生理指標を元にしたサウンド生成・表現を行う．入浴者自身がサウンドを楽しむと同時に浴室外でそのサウンドを聞くことで入浴状況が把握できる仕組み
図 1: 楽器音イコライザの GUI（上）と MIDI コント
である．
ローラ BCF2000（下）(2) 浴室内の物品を利用したシステム

二つ目のシステムは，浴槽外で体を洗っている場合 参考文献
等の前述のシステムでは把握できない行動を計測する． [1] K. Itoyama, M. Goto, K. Komatani, T. Ogata, and
H. G. Okuno, “Integration and Adaptation of Harここでは，将来的にバーコードの代わりにパッシブ型
monic and Inharmonic Models for Separating PolyRFID タグが普及するという前提で，浴室内の物品にタ
phonic Musical Signals”, in Proc. ICASSP, pp. I-57–
I-60, 2007.
グが付随している環境を想定している．壁裏や床下から[2] 糸山 克寿，後藤 真孝，駒谷 和範，尾形 哲也，奥乃 博，
物品の場所を計測することで，様々な行動で利用される“多重奏音楽音響信号の音源分離のための調波・非調波モ
デルの制約付きパラメータ推定”，情処研報 2007-MUS物品が認識できるので，その情報をサウンド・音楽を制
70-13, Vol. 2007, No. 37, pp. 81–88.
御する．応用方法は前者のシステムと同様である．

4

u-soul silent music player:超音波を用いた 独りヒップホップマシン
空間的な音楽演出システム

梶原 祥平
誰でもヒップホップミュージシャンの気分を疑似体験で
吉野 祥之，苗村 健
きるシステムとして制作した。また、体験者の声を素材
近年，聞きたい人にのみ付加的な音情報をスポット的として扱うことで、体験者の個性を反映することができに提示する研究が進められている．筆者らはその一手法
るシステムを目指した。
として，可聴音を超音波に変換して空間中に伝播させ，ユーザの耳元に設置した超音波マイクで集音した情報 (1) システム構成
を，可聴音に復調して聞かせる u-soul システムを提案
Max/MSP のプログラムにより声をヒップホップ的トしてきた [1]．本システムは，超音波に変調した情報を ラックに随時変調する、様々な音響エフェクトを付加するといった音の処理を行っている。
ユーザの耳元で取得・復調して提示することにより，またビデオカメラが、レコードラベルの色を認識し、• システムを身につけた人にのみ音情報を提示できる
Jitterのプログラムにより色の情報と、その位置変化の• 音像が空間中に定位しているように知覚される
Max/MSP での音響エフェクトのパラ
情報とを抽出し、という特徴を持つ．筆者らは本デモ展示にあたり， uメータに関連づけている。
soul システムの上記 2 点の特徴を理解してもらうため，ユーザが各パートごとに超音波に変調された音楽に対し， (2) 機能解説
キー操作によって音像の移動などの演出を楽しむ u-soul
1. トラックメイク機能
silent music player（以下 u-soul smp）を構築した．
体験者がマイクに向かってしゃべると、声がラップ及
図 1 に u-soul smp の概要図を示す．本デモではユー びヒップホップ的トラックに随時変調されて出力される。
ザを取り囲むようにスピーカを 4 つ配置する．スピーカ 出力されるヒップホップ的トラックの全ての音が体験者
からは超音波に変調された音楽が発信されており，ユー の声を素材として、それを変調してできている。
生成されるトラックは声を変調したドラム音、ベース
ザはヘッドホン型の受信装置を身につけることで音楽を聴く．発信される音楽は 4 つのパートからなり，各ス 音、ラップから構成されていて、ラップパートは、黒人
ピーカには予め変調・録音された各パートの音源が割り の低い声のラップに聞こえるように、しゃべった声の再
生速度を遅くして、低い声に変調されて出力される。
当てられている．
2. DJ 機能
ユーザは受信装置を身につけることで，4 パートの音
三種類のレコードを自作似非ターンテーブル（テレビ楽による合奏を聴く．各パートの音像はスピーカに定位の回転台の中央にレコードをはめる軸を取り付けただけしているように知覚され，ユーザが頭を振る，スピーカのもので、本物のターンテーブルと違いレコード針はつを動かすなどの行為を行うと自然に音像が移動するのをいていない）の上で操作することで三種類の音響エフェ
体験することができる．また，ユーザは手元のキーを押 クトをトラックに付加することができる。
すことにより，ランダムに選ばれるパターンに従って各
a. ブルーのレコード
音源間にボリュームの傾斜を生じさせ，音が空間中を移トラックに対してローパスフィルターをかけること動するような演出を能動的に行うことができる．
ができる。レコードを回転させることでカットオフ
周波数を変化させることができる。
b. ピンクのレコード
レコードを実際に針がついた本物のターンテーブル
上で擦ることで発せられるスクラッチノイズを、発生させることができる。
c. イエローのレコード
レコードを回転させることでトラックのピッチを変化させることができる。

図 1: u-soul smp 概要図
謝辞 有益なコメントをいただいた橋田朋子氏，原島博教授に感謝する．

参考文献[1] 吉野祥之，苗村 健：u-soul:超音波を用いた音像提示イ
ンタフェース，インタラクション , A-122, pp. 69 – 70
(2007).

図 1: 《独りヒップホップマシン》システム構成図5

モーションキャプチャを用いたピアノ演奏動作 球形スピーカによる全方位音響装置の試作の CG 表現と演奏との同期処理
勝本 道哲
釘本望美，山本和樹，武田晴登， 我々は，超臨場感音響の実現に向け，発音源に忠実な
片寄晴弘，長田典子，巳波弘佳 音響を放射可能な音響装置の研究開発を行っており，そモーションキャプチャシステムを用いてリアルな演奏 の中の一つの解として全方位に異なる周波数をを放射す
動作の CG アニメーションを出力するとともに，テンポ るスピーカを試作したので紹介する．バイオリン等の楽をインタラクティブに取得し，演奏動作のリアルタイム 器は周波数の放射指向性が異なっており通常のスピーカ
レンダリングを行うことで，音楽と同期したピアノ演奏 では再現が難しいとされている [1]．この現象を再現す
るとで，忠実な音響表現の有効性を検証するために，簡CG アニメーションを出力するシステムを提案する．
易実験として水平方向に異なる周波数を放射するスピー(1) ピアノ演奏アニメーションの作成方法
カを試作し，その評価を行った．
ピアノ演奏アニメーションの作成手順を示す．

(1) 球形スピーカの概要
図 1 に試作球形スピーカとシステムの概略を示す．本
試作では，球形状のエンクロージャに計 17 個のラウドスピーカを設置し，それぞれが独立した音響を再生する構成となっている．複数チャンネルを再生するためにデジデザイン社の DAW を利用した．赤道面には中心より
45 度づつ計 8 個のスピーカが取り付けてあり，北半球には赤道より 45 度，北極点より 90 度づづ 4 個のスピー
カと北極点に 1 個のスピーカが設置されている．南半球の 4 個のスピーカは北半球と赤道に対し対象に設置し，
南極点はケーブルダクトとなりスピーカは設置されていない．

(2) 指の動きのアニメーション作成(2) デモ音源収録と簡易主観評価

1. まずピアノ演奏時の指の動きを，モーションキャプ
チャを使用して取得する．指の関節部分に光学式マーカを取り付け，3 次元位置座標を計測する．
2. 取得したデータを CG モデルに適用する．今回は片手あたり 16 関節およびボーン（関節と関節を結ぶ線分）を配したモデルを使用する．

評価用の音源は無教響室にて，楽器を持った演奏者は椅子に座り，楽器のサウンドホールが赤道上に並んだマ
イクうちの正面マイクに向く状態を保ち収録されている．今回の試作において，水平方向 8 分割でも効果を得られることが主観評価で得られたので，本デモセッショ
ンにおいてもその効果の調査を行う．

(3) 鍵盤の動きのアニメーション作成
ピアノ鍵盤のモーションは演奏データから作成する．
モーションキャプチャ撮影前に MIDI (Musical Instrument Digital Interface) のノート・ナンバと各鍵のボーンの動きを予め関連づけておくことで，MIDI データに対応した鍵盤の動作を生成できる．

(4) 手と鍵盤の動きの合成

図 1: System

手の動作とピアノ鍵盤の動作を合成することによりピ 参考文献
[1] H.N. フレッチャー，T.D. ロッシング著，岸 憲史，久保アノ演奏アニメーションを表現できる．音については，
田 秀美，吉川 茂訳， 楽器の物理学 ，シュプリンガー・
フェアラーク東京，p.285, 2002.
モーションキャプチャ撮影時に録音した MIDI データをピアノ演奏アニメーションと同期させて再生させる．

(5) インタラクティブピアノ演奏 CG アニメー
ションの作成前処理として，楽譜と事前にモーションキャプチャで取得した実演奏の時刻との対応表を用意する．外部から
オンラインで入力される拍打データからテンポを推定し，対応表をもとに楽譜に対応したモーションデータを決定しレンダリングを行う．拍ごとにテンポを変化させながらリアルな指の動きを再現することができた．

6

MiruSinger: 歌を「歌い/聴き/描き」ながら 歌唱とリズムタップによるハイブリッド入力型
Voice-to-MIDI システム
見る歌唱力向上支援インタフェース
中野倫靖，後藤真孝，平賀譲
伊藤直樹，西本一志
歌唱力を向上させたり、個性的で魅力溢れる歌い方を歌唱と同時にフレーズの各音のセグメンテーション情
実現させたりするために、優れた歌唱者 (音楽 CD 中の 報を入力することで変換精度の改善を目指した Voiceボーカル) や自分の歌を「見て」、どのような歌い方で to-MIDI（鼻歌入力）システムについてデモを行う．
あるかの理解を支援するインタフェースのデモを行う。

(1) はじめに(1) 機能Voice-to-MIDI は，特に楽器演奏が苦手であったり音MiruSinger は、歌唱の F0 軌跡 (音高軌跡) を見なが 感などの能力がないユーザにとって，思い描いたフレーら歌ったり (歌って見るモード)、聴いたり (聴いて見る ズを入力・記録するために有効な手法であるが，既存シモード)、描いたり (描いて見るモード) できる。これ ステムでは，1 音ごとのセグメンテーションが上手くでら各機能は、表示画面例 (図 1, I) の “Sing”, “Listen”, きず，1 音が複数音に変換されたり，複数音が 1 音に変“Draw” のボタンを押すことで、それぞれ呼び出せる。 換されることがあり，それが音数の誤変換に加えて音高
歌って見る マイク入力歌唱の F0 軌跡とビブラート区 の誤変換の原因にもなっていた．そこで，筆者らは，歌唱中，各音の発音開始と同時にボタンや鍵などをタップ
間をリアルタイムに描画する機能
聴いて見る 収録済みの歌唱 (過去の自分や音楽 CD に することで，各音のセグメンテーション情報を明示的に含まれるボーカル) を聴きながら F0 軌跡を見る機能 入力することで解決を図った．
描いて見る 音楽 CD に含まれるボーカルの F0 推定結(2) 試作システム
果をマウス操作で修正できる機能
試作システム [1] は，各セグメントの発音開始や音長などはタップタイミングから取得し，音高のみを歌声から取得する (図 1) 仕組みとし，最終的にこれらの情報を合わせて MIDI データに出力するハイブリッドなシステムとした．またタップに MIDI キーボードを用いた
場合は，ベロシティ情報が入力可能となり，加えて現在のバージョンでは複数鍵を切り替えながらタップすることにより音長をレガートに入力することも可能となっている．

(3) 評価など本手法は，特にセグメンテーションが難しい歌詞歌
唱のような発音が制限されない歌唱に対して有効であることが実験により分かっている．一方で歌唱とタップの同時入力に対する負荷や適応性などについてはまだ十分な評価ができておらず，本デモにおいても議論できれば幸いである．なお http://www.jaist.ac.jp/ nitou/ACE2007/forACE2007.html で サ ン プ ル MIDI
データを公開中である．

図 1: MiruSinger の表示画面 (描いて見るモード)(2) 実現方法
マイクからの単独歌唱からリアルタイムに F0 を推定する技術、複数の楽器音が混在する音源 (音楽 CD) からボーカルを抽出する技術、ビブラートを検出する技術が必要である。それぞれ、入力信号中で最も優勢な (パワーの大きい) 高調波構造を求める手法 [1]、混合音中で最も優勢な音高を推定する手法 (PreFEst)[2]、推定された F0 軌跡の 1 次差分の短時間フーリエ変換によってビブラートらしさを得る手法 [3] を用いた。ただし、混合音からの F0 推定では、中高域で最も優勢な高調波構造を持つ F0 がボーカルの F0 であると仮定した。
参考文献[1] 後藤他: 自然発話中の有声休止箇所のリアルタイム検出
システム, 信学論, Vol. J83-D-II, No.11, pp.2330–2340(2000).
[2] 後藤: 音楽音響信号を対象としたメロディーとベースの音
高推定, 信学論, Vol. J84-D-II, No.1, pp.12–22 (2001).
[3] 中野他: 楽譜情報を用いない歌唱力自動評価手法, 情処学論, Vol.48, No.1, pp.227–236 (2007).

参考文献[1] 伊藤直樹，西本一志: MIDI シーケンスデータの 2step 打
ち込み法への鼻歌による音高入力の適用: 情報処理学会
研報, EC-5, pp.43-48, 2006.

7

KaguraIrish: 踊って演奏する楽器

ポピュラー音楽を対象とした楽曲クラスタリン
中村 俊介，竹井 将紫 グの可視化

踊って演奏する楽器『KaguraIrish』を紹介する．即興演奏を行うためには，音楽理論と演奏技術の習熟といった高度な音楽リテラシーが重要である．また，カメラを入力装置にして音を出すインタラクティブ作品はこれまでに多く発表されているが，制作者による音と映像の影響が強すぎて体験者の表現とは言い難い場合や，アート
作品として複雑な表現になるあまり何度もやってみたいという気持ちが起こらなくなってしまう場合もある．そこで我々は，制作者の表現を削った簡潔な仕組みで，誰もがすぐに何度でも楽しく踊り演奏できる，ということに着目し，踊って演奏する楽器『KaguraIrish』の制作を行った．

長澤 槙子，渡辺 知恵美，伊藤 貴之
我々はポピュラー音楽を対象に，楽曲と作曲者，ヒット曲，年代，ユーザの好みの楽曲との関係のマイニングを行うことを目的とし，楽曲のクラスタリングを行っている．本稿では，コード進行に着目して楽曲のクラスタ
リングを行った結果 [1] を，平安京ビュー [2] を用いて可視化を行った結果を紹介する．

(1) 平安京ビューとは

図 1 に平安京ビューを用いてクラスタリング結果を可視化したものを示す．平安京ビューとは，階層型データを構成する葉ノードをアイコンで表示し，枝ノードを入れ子状の長方形の枠で表現するというものであり，階層(1) KaguraIrish の仕組み
型データを可視化するための手法である．本研究では，
図 1 に，KaguraIrish の基本的な仕組みを示す．画面 各クラスタを長方形の枠で表現し，楽曲ごとにアイコン
内を分割して複数の楽器を並べる．カメラに向かって動 を色分けすることによって可視化を行った．
くと，動きの場所に応じてそれぞれの楽器の発する音階を決定する．それらを繰り返し行うことで音が連なり音楽となる．音楽理論を適用した仕組みのため，どのように動いても不快な音楽になることはない．また，動きは
画像処理を加えられて画面に反映される。

(2) KaguraIrish の内容
以下に，KaguraIrish のコンテンツ要点を示す．
1. アイルランドの伝統舞踊と音楽をテーマとする．
2. 楽音はすべて体験者の身体の動きから生成する．
3. 短い小曲をメドレー形式でエンドレスに連ねる．
4. 主なリズムはリール，ジグ，ホーンパイプ，エアー．
5. 主な楽器はフィドル，ティンホイッスル，ブズーキ， 図 1: 平安京ビューによるクラスタリング結果の可視化
アコーディオン，バゥロン，イリアンパイプス，ハ(2) クラスタリング結果の分析
ンマーダルシマー．
可視化結果より，同一楽曲のクラスタや作曲者が同一のもので構成されているクラスタの識別が容易に行え
る．さらに，同じ色のアイコンがどのように分散しているかを見ることで，一つの楽曲を構成するものがどのよ
うに分散しているかを見ることが可能である．
本研究では，クラスタリング結果を可視化すること
で，他属性との相関関係についての考察を行った．コー
ド進行や楽曲間の類似度といった，人間の主観や感性により評価の異なる可能性のあるものに対して，評価を可視化結果を見た人の判断に任せられるといった点で可視化は有効であると考えられる．
謝辞 本研究を進めるにあたり，ご助言いただいた静岡文化芸術大学の長嶋洋一教授に感謝致します．

参考文献[1] 長澤槙子，渡辺知恵美，伊藤貴之：ポピュラー音楽クラスタ
リングのための近親調を用いたコード 進行類似度の提案，
音楽情報処理学会研究報告，Vol.2007，No.37，pp69-76，
2007[2] 伊藤貴之，山口裕美，小山田耕二：長方形の入れ子構造による階層型データ視覚化手法の計算時間および画面占有面積の改善，可視化情報学会論文集，Vol.26，No.6，
pp.51-61，2006

図 1: KaguraIrish
参考文献[1] 中村俊介，身体の 動きを 音楽と 映像に 変え る『 神楽KaGuRa- 』，日本ソフトウェア科学会 ISS 研究会，2005.

8

エントロピーを用いたリアルタイムメロディ予 FATTA: 自動タイムスパン木獲得システム
測システム
浜中 雅俊
我々はこれまで，音楽理論 GTTM に基づき，タイム
スパン木を自動で獲得する音楽分析システム ATTA を構築しててきた [1]1 ．ATTA を用いて，正しい分析結果を得るためには，46 個の調節可能なパラメータの値を適切に設定しなければならず，多大な労力が必要となるという問題があった．そこで我々は，分析の結果得られたタイムスパン木を用いて，タイムスパン木の安定度
および拍節構造の安定度を評価するアルゴリズムを与えることで，ATTA の各パラメータの値を自動的に最適化するシステム FATTA を構築した [3]．

柴田光太郎, 橋本寿政, 北原鉄朗, 片寄晴弘
MIDI キーボードからのメロディ入力に対して, N gram モデルを用いてリアルタイムで後続音を N -gram
予測し, さらにエントロピー値からメロディのジャンルを推定するシステムを紹介する.
本システムは, ジャンルごとに構成したメロディライ
ンの N -gram モデル (N =3) を持っている. MIDI キー
ボードからのメロディ入力に対してリアルタイムで後続音の予測を行い, また小節単位での最尤音列の予測も行う. 予測のためのパラメータとして, 音高と音価を単独
または組み合わせて使用する. また, 入力メロディに対して N -gram モデルごとにエントロピー (情報の不確かさ) を計算する. エントロピーは, 入力メロディとモデ
ル学習に用いたメロディの傾向が似ているほど低い値を示すので, どのジャンルに似ているかをリアルタイムに観察することができる.

(1) ATTA
図 1 に，ATTA(Automatic Time-span Tree Analyzer) のパラメータ設定のための，グラフィカルユー
ザインタフェース（GUI）を示す．

図 1: ATTA のパラメータ設定のための GUI(2) FATTA
図 2 に FATTA(Full Automatic Time-span Tree Analyzer) による分析の結果得られたタイムスパン木を示す．
1
1

1
1
1, 3b

1, 3b

1, 3b
1

3b

1, 3b

1
1, 3b
1, 3b

1

1

1, 3b
1

1
3b

1
1
1

1, 3b
1

3b

1
1

1, 3b

1

1

1

図 2: FATTA による分析結果
参考文献[1] 浜中雅俊, 平田圭二, 東条敏: 音楽理論 GTTM に基づ
くグルーピング構造獲得システム, 情報処理学会論文誌,
Vol. 48, No. 1, pp. 284–299, 2007.
[2] ISMIR2007: http://ismir2007.ismir.net/[3] 浜中雅俊, 平田圭二，東条 敏: タイムスパン木獲得シス
テムの完全自動化，2007-MUS-71-16, Vol. 2007, 2007.

図 1: システム概要

1 本年度は，音楽情報検索に関する国際会議 ISMIR2007 （ 8thInternational Conference on Music Information Retrieval ）において，チュートリアルおよびデモ発表を予定している [2]．

9

おわりに

る。それによって、研究者間のネットワークが充実する
ことは、特に若手の研究者にとっては非常に有意義であ中野倫靖
る。また、企画・立案の機会を得て、そういった能力を「デモンストレーション：若手による研究紹介」も今
伸ばせることも重要であり、リーダーシップを身につけ
回で 5 回目を迎え、14 件の正式エントリーに加えて、ることにもつながる。
当日の飛び入り参加も何件か予定されており、過去最高
一流の研究者は、コミュニケーション能力、企画・立の発表件数となった (日程の都合上、発表を断念せざる
案能力、リーダーシップにも長けていることが望ましを得なかった方々がいたことを記す)。今回も、ソフト・
く、企画に携わることでの能力向上は、研究者としてのハード両面から構成された魅力的なシステムが揃ってお成長と言える。特に、研究職を目指す博士課程の学生にり、当日のセッションが非常に楽しみである。
とって、上述の能力は非常に重要であり、積極的な企画
過去の発表件数を振り返ってみると、7 件 (1 回目: 2004
運営は、採用を決断するための重要な要素となり得るの年)、8 件 (2 回目: 2005 年)、10 + 8 件 (3, 4 回目: 2006
ではないだろうか。まだ本企画での発表経験がない方で年)、14 件 (今回) となっており、本企画が順調に成長し企画に携わりたい方は、本章末尾に載せた連絡先にぜひていることが分かる。さらに、開催毎に新規発表者の参ご連絡いただきたい。
加があり、その数も今回は過去最多の 10 件であった。
今回を含めた計 5 回のデモセッションにおいて、聴取
このような発表経験者の増加によって、発表者自身やそ者・発表者・企画者の全てを経験してきて、毎年恒例のの研究室の後輩の方などが、次回以降のデモセッション
企画として開催できるネットワークが形成できているこへ参加する傾向が見られ、その結果、恒例の企画としてと、本企画の特長が有効に機能していること、聴取者・十分に機能できるようになってきたと言えるだろう。ま
発表者・企画者が成長できる場であることを十分感じてた、過去のデモセッションに参加 (聴取、発表、企画) しいる。特に、現時点では「デモシステムの開発が前提でた方々が、他学会等で本企画を精力的に宣伝していただ
ある方」の発表の場として有効に機能している。
けたことも、このような成長を促した要因と言える。
今後は、本企画を「デモシステムを開発しようとは
本企画は、「過去に発表済みのシステムを発表可能」
思っていなかった方」がシステム開発を考える機会とな「開発途中/一発ネタのシステムを発表可能」という 2 つり得ればと思う。例えば、信号処理をメインに研究しての特長によって、音情研の発展の一助となることを目指
いる方、心理学的観点からの研究を行っている方が、高している。具体的には、発表者・聴取者・企画者につい度な信号処理技術や心理学的な知見を組み込んだシスて、以下に述べるような機会をそれぞれ提供することテムを考えることで、システム開発に特化しているだで、音情研全体として成長することを期待している。
けでは到達しえない領域を切り開くことにつながるの
まず、聴取者にとって、過去に見逃した興味深いシスではないだろうか。また、いわゆるユーザのためのインテムに触れる機会、インスピレーションを得る機会とな
タフェースだけでなく、被験者実験を効率的に行うためる。本企画は、音楽を素材とした魅力的なシステムのの新しいインタフェース等も興味深い。本企画への参加
数々を、開発途中のシステムまで含めて体験できる非常を通して、自分の研究であればどのようなデモが出来るに貴重な場と言えるだろう。
かを考えてみて欲しい。もちろん、システム開発をメイ
また、発表者にとっては、音楽情報科学のプロ達とのンに考えていない方がデモを行うのは容易とは言えな
有意義な議論の機会、より良いシステムを開発するため
いが、本企画では完璧なシステムである必要はない。まの意見交換の機会となる。私自身も、本デモセッション
た、メーリングリスト等の発表者間ネットワークを活用での発表を通して、有意義な議論ができ、また様々な意
して、実装における疑問や議論等を若手企画全体として見を得ることで、非常に良い刺激を得ることが出来た。
サポートできればと考えている。
さらに、発表経験の少ない学生にとっては貴重な発表練
本企画によって、研究者の成長と音情研の発展、また、習の機会となる。前述の特長によって、音情研への参加
音楽を扱うからこそ生まれるような、新しい発想やシス経験がない研究者も参加しやすく、本デモセッションでテムの実現を願う。
の発表が音情研デビューという方も多い。
最後に、企画者にとっても成長する機会であることをSigmus 若手企画メーリングリスト参加者募集
忘れてはならない。そもそも、本企画が成り立つために
Sigmus 若手企画メーリングリストは、これまでのデは、十分な発表件数が必要であり、より魅力的な企画とモセッションに参加いただいた方々に登録いただいていなるためには、多様な観点からの発表構成となることるもので、デモセッションの事務連絡および、今後の若が望ましい。成長途中である本企画で発表件数を確保す
手企画の相談、連絡等を行っています。年齢等制限あり
るには、研究室内や音情研といった身近なコミュニティ
ません。今後の企画に参加したいと思っている方は是非だけでなく、様々な研究者とのコミュニケーションが重メーリングリストに加わってみませんか。
要である。言い換えれば、本企画が他学会・他分野にお問い合わせ先：ける発表にも広く視野を持てるようになる機会と、研究者とのコミュニケーションの機会を提供していると言え10

浜中雅俊（hamanaka[at]iit.tsukuba.ac.jp [at] →@）