マン・マシン協調による採譜システム
半田 伊吹, 木下 智義, 武藤 誠, 坂井 修一, 田中 英彦
東京大学大学院工学系研究科〒 113-8656 東京都文京区本郷 7-3-1
fhanda,kino,muto,sakai,tanakag@mtl.t.u-tokyo.ac.jp

あらまし :
従来提案されている計算機による採譜シ ステムは 、処理全般を計算機に委ねるのが 主流であった。しかし 、そのようなシ ステムでは 人間が 容易に 知り得るような情報も計算機では 認識が 困難である場合もあり、精度の高い採譜は 実現しがたかった 。筆者らは認識率のより高いシ ステムを目指し 、人と計算機が お互いに得意とする作業を分担し 、協調し て情報を補完し あ う採譜シ ステムを提案する。また 、そのよ うなシ ステムに 必要とされ る計算機と人間の インターフェースについての検討を行う。
キーワード : 採譜、マン・マシンシステム

Intelligent music transcription system withhuman assistance
HANDA Ibuki, KINOSHITA Tomoyoshi, MUTO Makoto,SAKAI Shuichi and TANAKA Hidehiko

The university of Tokyo
7-3-1 Bunkyo-ku, Tokyo, 113-8656
fhanda,kino,muto,sakai,tanakag@mtl.t.u-tokyo.ac.jp

Abstract:

We have proposed OPTIMA, a system for music scene analysis. The systemsometimes misses musical notes. It can be said that complete transcription is dicultfor a music transcription system wchich depends on only computational processes. So,
we propose a man-machine system so that quality of transcription may inprove. Thesystem contains man-machine interface, and human and machine co-operates in musictranscription. We discuss abstract of the system and what kind of tasks can be set on
human and computer.

Key Words:

music transcription, man-machine system

11. はじ めにg]f4`GA

計算機の音楽の世界への応用は 様々な試みがなされており、演奏され た楽曲の音響信号から楽譜を生成するいわゆる自動採譜に関する研究もなされている。採譜への応用も念頭に お い た 音 楽 情 景 分 析 の 処 理モデ ル で あ る(1)(2)OPTIMAは 、入力を多角的に解析し 、その結果を統合することにより最尤推定像を得ることで精度の高い出力を行うとい う特徴を備えているが 、それでもなお認識精度は 実用上十分とは言えず、改善が課題となっている。

VKOGÎé1zêäéÁå
2Rf#âö ë
図 1.

OPTIMA の他にも、採譜に挑戦するシステムが 提案されているが 、実用的な段階には 達し ていないよ うである。計算機による音楽認知が 難し い理由は 単に 計算量の問題だけではなく計算機の性能が 向上すれば 解決され るというものではない。音響信号に 対し てど のよ
うにアプ ローチすれば 精度のよい認識ができるかが明らかにされていないのである。

Îé1zÇö éê¿ßÆ¿ßùâë
Îé1zéL<éÇêë½z¸ë

人間による楽曲の把握のしかた¸I¸À>

:o2Il

では 、完全に 計算機のみに よって採譜を 行
うのではな く、人間と 計算機が 協調すること
で 採譜の 精度の 向上は 図れ な いであろ うか 。
計算機では 実装が 困難な処理であっても人間にとっては 容易で あることもあり、また 逆に人間は 不得手であるが 計算機が 得意とする処理もあるはずである。

±@µG.

本稿では 、採譜作業の全てを計算機に 委ねることはせず、計算機と人間が 強調し て 採譜を行うシ ステムを提案し 、そのシ ステムの全体像とマン・マシン間のインターフェース、および 人間や計算機に対し て無理のない役割分担についての考察を 行う。また 、計算機へ負担させるべき事項についての基礎的な実験を行った結果の考察を述べる。

Ï
¿´

I

2. 計算機と人間の協調による採譜

図 2.

h211i 人 間に とって 容 易な 処 理
一口に 人間が 採譜を 行うと言ってもその人の音楽的な知識や経験の度合によって困難さは 著しく異なる。経験豊富な 人は 少々複雑な 楽曲であろうと一度聴いただけでそれを譜面に落とすことができるであろうが 、そのようなことができる人は限られている。

h212i

提案する採譜システムの概要

計 算 機に とって 容 易な 処 理
ある音が 単独に 与えられたときにそれを他の音に 音程的に 関係づけずに 、それ 自身とし て聴いて 、し か もそ の 音の 音名を 正し く名指す、いわゆる絶対音感を人間が 会得するには聴覚的弁別の素質と訓練とが 必要とされ る。ところが 計算機にとっては 時間や 周波数といった物理量の計測は 得意な分野である。一般に 楽
曲中では 複数の音の倍音成分が 重なりあってし まうため原因推定が 困難になり採譜が 難しくなっているが 、それでもある微小時間の周波数成分の分布といった人間では 知り得ないようなことも計算機ではしっかり把握できる。

一方、特に音楽的経験のない人にとっても 、何か新し い楽器がある時刻から鳴り始めればそのことに 気付くであろうし 、また別のある楽器が 周期的に リズ ムを刻んで 鳴っていればそのことに 気付くで あ ろ う。図 1に 示すよ うに 、人間は楽曲中に 含まれ る非常に抽象度の高い情報も比較的容易に 取得する能力を 持っていると考えられる。

2h213i シ ステムの 概要
採譜に 必要な情報とは 、訓練を積んでいない人間の知り得る情報ほど に 抽象度が 高いものではな く、また物理的特徴ほど に抽象度の低いものでもない 。つまり、先に 述べた 人間と 計算機に とって得やすい情報の中間に位置するということができよう。OPTIMA など の音楽情景分析システムは 、抽象度の低い物理的特徴量から 出発し て 、より抽象度の高い知識を 見出し ていくとい う方針を 採っている。情景分析とい う
言葉の本義からするとこの方針はもっともであるが 、採譜を行うことに 重点を 置くと別のアプ ローチが可能であろう。つまり、「 情景分析 」の結果を採譜に 活用し てし まうとい う方法も浮かんでくるのである。

象にし 、またど のような楽曲に 対し て採譜を行うものであるか 述べておく。現時点ではシステムの提案段階で今後対象が 多少変更することは 免れないであろうが 、最初に 明確なビジョンを 持って研究を 進めるべきであると 考
えここでまとめておく。
まずユーザについては 、音楽の専門家ではないが 義務教育程度の音楽の知識を有する人を対象とする。
採譜の対象となる楽曲については 、唱歌に簡単な 伴奏をつけたもの (音声は 対象とし ていな いので 楽器に 置き 替え て 演奏し た もの)を想定し ている。使用する楽器は 基音に 対して非整数倍の成分をほとんど 持たないものとする。

採譜シ ステムを作るということに的を絞れ
ば 、人間にとっては 比較的に 容易に 知り得るよ うな情報であっても計算機では 抽出困難なものに 関し ては計算機で不十分な認識処理を行って精度を 下げ るよりは 、人間が 計算機を支援し て精度の高い認識が 可能となったほ うが実用的といえよう。

3.

インターフェース

ここでは計算機と人間がど のようなやりとりをど のようにするかについて検討する。
まず 大前提となることは 、人間の行うべき作業が 極端に 繁雑になってはいけないとい うことである。人間だけで採譜を行う場合よりも面倒なものになっては 本末顛倒である 。そこで 、システムには 、そこで 、採譜シ ステムを新たな視点から 構築し ようと考え計算機と人間の協調による採譜システムを提案する。

 人間のみが 採譜を行う場合より、より多提案するシステムの概要を図 2に示す。

くの情報が得られる

 人間のみが 採譜を行う場合より少ない作

まず対象となる音楽音響信号は 、人間の耳によって聴取され 、計算機には 符合化され たデータとして入力される。

業量で採譜が行えるといった仕様が 要求され る。ここでは 特に 後者を満たすことを考えることとする。

楽曲を聴いた人間は 、そこに 含まれ る情報を意識的あるいは 無意識的に 見出し 、ときには 情動を 揺さぶられ ることもあるし 、はっきり認識し つつも感性には影響をあまり受けない場合もある。楽曲の特徴として

例えば 図 3の よ うな 楽 曲を 認 識す る 際に 、計算機上では図 4のように時間、音高で区切った空間を埋める問題とし て処理し ているとする 。このとき 、計算機が マト リックスを 示してあとは人間が 穴を埋めてくれれば 計算機への負担は 少ないが 、人間にとっての負担は 大きい。音楽の専門的知識がない人間でも容易にできることといえば 、音が 鳴っているか 否かの判断や音高の変化のおおまかな判断くらいであろう。そこで 、図 5に示すように 、計算機は 発音時刻の候補を示し 、人間はそこに 音の有無および 音高について一つ前の発音とのおおまかな 相対関係 (つまり上行し たか 下行し たか ) だけを 入力するよ うなシ ステムが 要求仕様を満たすと考えられ る。計算機側が 担う発音時刻の特定は 、抽象度の低い情報から得ることの比較的容易な問題であると考えら
れ 、次節で簡単な検証を行う。

物理的特徴 音楽音響信号の周波数スペクトルの特徴 、すなわち音楽音響信号を物理的な音として捉えたときの特徴
音楽理論的特徴 楽曲を楽譜として表現したと
きに 、楽譜上に現れる特徴
感性的特徴 人間が楽曲を聴いたときに受ける印象や感想の 3 種類を 挙げ ることができる(3)。これらは明確な区分があるわけではないが 、この分け方に従うと計算機は物理的特徴を正確に認識することを得意とし 、人間は 音楽理論的特徴を計算機よりはるかに 的確に捉えられ るのは先に 述べた通りである。そこで 、計算機と 人間はお互いの得た知識をやりとりし 、最終的に 得た知識をもとに計算機が 採譜結果を出力するシステムを提案する。

人間が 入力する情報の うち 、単音が 鳴っているの否かの情報は 非常に 重要である。このよ うに 計算機にとっては 大変有用な 情報を人間が 簡単に 入力できるよ うな インターフェー

h214i 対象とな るユーザ と 楽曲
本稿
で 提案するシ ステムがど のようなユーザを対3

3mJ
mkk mkUmJ Um mJm mJ
 3 4 m/
< mJ<

k kk <
mkk mk mkk mk mk m
mkk mkk /
 4 m/

k kk kk kkk kk kkk < l<k k

図 3.

図 6.

譜例 a

譜例 b¸

時間を t 、周波数を f とし て 、時間{周波数解析の 結果求められ たパワー (スペ クト ログラム) を P (t; f ) とする。発音時刻検出のための関数 Q を以下のように定義する。
Q(t) =X (t; f ) (P (t; f ) 0 P (t 0 1; f ))

1 (1)

f.
図 4.

ただし抽象化された楽曲
 (t; f ) =8<:P (t; f ) 0 P (t 0 1; f ) > 00;

P (t; f ) 0 P (t 0 1; f )  0(2)

Q(t) 0 Q(t 0 1) > 0
Q(t + 1) 0 Q(t)  0

1 1 1 1 1 1 1 1 (3)Q(t) > Q0

このようにし て発音時刻を検出することにし 、実際に 簡単な 例に 対し て 予備実験を 行った 。まず、図 6に 示す 譜例をピ ア ノで 演奏した 入力に 対し て 図 7のよ うな スペ クト ログ ラムを求める。次にこれをもとに 式 (1)〜(3) によって発音時刻を 求める 。得られ た結果は 表1に示す。1 分あたり四分音符 120 拍の速度で曲は 演奏されているので 、正確に 発音時刻の検出が行われたことが うかがえる (なお、本来の発音時刻より少しずれ た結果になっているのは 誤検出ではな く、元の演奏に 意図的に 発音時間のゆらぎを加えているためである)。
こ の 実 験では 正解の 得られ る閾 値 Q0 の 設
定範囲も 広く実用に 適する印象を 受け たが 、複数楽器の合奏にこの処理を施し て発音時刻を検出し よ うとし たところ 、閾値の設定のしかたによってとりこぼし が あったり ノイズを拾ってし まったりといった不都合が 生じ てしまった。式 (1) のように評価指標を 1 次元に落とし てし まっているためにこのよ うな 困難が生じ ているのでないかと 考えており、検討を要する。
h412i 音 源・音 高の 同 定
ある発音時
刻に 着目し て 、その時刻にど んな楽器がど んな音高で 鳴ったのか 同定できれば 採譜できたことになる。図 8に示すように楽器によってその周波数成分 (基音のパワーに 対する倍音のパワーや時間変化) は異なる。使用が想定される楽器の周波数成分の特徴のテンプレ ート を

.
図 5.

1;である。Q(t) を参照し て 、以下の条件を満たす時刻 t を発音時刻とする。

G.é°¸Ïé°

計算機の出力情報と人間の入力情報スが望まれる。

4. 計算機上で実装可能な技術
本節では 、前節で 例示し た イン ターフェース機構の基礎となる計算機側での処理について述べる。ユーザ (人間) が 簡単に石を置くような感覚で 音の有無や上行・下行の情報を 入れられ るためには 、発音の起こる時刻を計算機側で認識し はっきり線引きし て提示することが 要求され る 。線引きがはっきりし ていれば 単純な穴埋め問題に 帰着し 、ユーザが 与えるヒントを受けて再び 計算機の出番となりその問題を解くことになる。

h411i

発音時刻の 抽出
発音時刻を 抽出するためには 、音響信号に Q 値が 一定のバンド パスフィルタバン クを介し て得たスペク
ト ログ ラムを用いることにする。時間と周波数は 不確定性原理の関係にあり、両者の分解能を同時に 高めることは 不可能である。時刻の検出を目的とし ているので 、ここで用いる
スペクトログラムは Q 値を低くして周波数分解能が悪く時間分解能が良いものとする。

4

HT
GS
WG
PE
[43;/6スペクトログラム (Q 値の小さい場合)

HTGS
WG
PE
[

図 7.

43;/6VKOG

表 1. 発音時刻
取得番号 時刻 (ms)

1937

62493

73200

83450

93951

104201[14695PE1186

4WG

3VKOG

GS446

HT0243;/61VKOG

図 8.

周波数成分の特徴の例

予め用意し ておき 、実際の周波数成分と比較することで音源・音高が同定できるであろう。
ここで 用いる周波数成分は 、図 7のよ うな 周
波数分解能の低いスペクトログラムではなく、図 9のよ うな 高い Q 値のフィル タに よって 得られた周波数分解能の高いスペクト ログ ラムも用いて得られると考えている。
発音時刻においては 、図 10に示すように全ての周波数成分が 新規に生起するのとは限らず 以前の 周波数成分が 継続する場合もあ る 。
このことに 注意し なければ ならないが 、発音時刻を予め抽出することによって周波数成分が 生 起し たか 否か を 判 断 す る 時 刻が 限 定 さ
れ 、計算量が 少なくかつ確度の高い成分抽出が可能となるであろう。

図 9.

スペクトログラム (Q 値の大きい場合)に 計算機に 処理を委ねたシ ステムに 比べ 、認
知科学や計算機科学の観点からは 消極的でつまらないものという印象を与えかねない 。しかし 、ど のよ うな情報を得ると認識精度が 向上するのかという見識が 、本シ ステムの実装を行う上で得られ るであろうから 、結果として 学問的に も 意義のあ る研究で あ る 。また 、物理的な 特徴量と 、人間が 言語をもって辞す

5. おわりに
本稿では 、計算機だけでは 困難な採譜処理に 人間の助けを加えて構築する採譜シ ステムを提案し た 。この手法により認識精度が 従来より高い採譜シ ステムができるものと考えられる。
このよ うに 機能の面で 優れていても 、完全5HTGSWGPE[îïÒÚ_,[½ÂÙé_,[½VKOG

図 10.

新規の発音と継続音るような高度な情報を統合する機構を採譜システムに導入することは新奇であると考えている。
今後は 計算機による発音時刻検出の確度向上と 、発音時刻が 与えられ たときの音源・音高同定モジュールの開発 、および 操作性の良い イン ターフェースの模索を進めていく予定である。
文献(1) 柏野邦夫, 中臺一博, 木下智義, 田中英彦: 「 音楽 情 景 分 析 の 処 理 モ デ ル OPTIMA に お ける 単 音 の 認 識 」, 電 子 情 報 通 信 学 会 論 文 誌,
Vol.J79-DII, No.11, pp. 1751{1761, 1996
(2) 柏野邦夫, 木下智義, 中臺一博, 田中英彦: 「 音楽 情 景 分 析 の 処 理 モ デ ル OPTIMA に お ける 和 音 の 認 識 」, 電 子 情 報 通 信 学 会 論 文 誌,
Vol.J79-DII, No.11, pp. 1762{1770, 1996
(3) 武藤誠, 木下智義, 半田伊吹, 坂井修一, 田中英彦: 「 音楽音響信号からの 楽曲の感性的特徴の抽出 」, 情報処理学会平成 11 年後期全国大会講演論文集 (2), 4G-6, pp. 2-11{2-12, 1999

6