音楽情景分析における楽音認識と自動採譜
海野 由紀子 鈴木 啓高

斎藤 博昭

中西 正和

慶應義塾大学 理工学部 数理科学科
はじめに音楽情報処理の分野でいう「 自動採譜」とは，コンピュータが音楽の演奏を聞いてそこから楽譜 (に相当する情報) を作り出すことをいう．これまでの音楽の分析・認識と自動採譜の研究は，サンプ ラや DAT に演奏情報 (音の強弱や発音時間) をあらかじ め用意しておき，常に一定の演奏情報を扱うものがほとんどであった．しかし ，人間の演奏は一定ではない．そこ
で本稿では人間の演奏から得られ る音楽音響信号を入力として音楽の分析・認識と自動採譜を行う．音楽の分析・認識の内容は「 楽音 (音階を持つ音) の音高認識」，「 拍子・小節認識」，「 調性認識」を行うものとする．
2.
自動採譜システム
自動採譜のタスクは，楽音への群化，音楽的分析，楽譜出力の 3 つに分けることができる [1]．楽音の群化とは，主に基本周波数の認識をして，1 つの楽音を1 つの楽音として聞くことであり，音高 (ピッチ) の認識がこれに当たる．楽音の群化により得られた音の羅列に対して，リズム (拍や拍子) の認識や調性 (コード ) 認識など ，音楽的な解析を伴った分析を続いて行う．これが音楽的分析で，楽譜の表記のために必要というだけでなく，信号処理部における誤認識を補償するための処理とし ても重要である．このような分析を行った上で，記譜に関する処理を施し ，楽譜として出力する．以上が採譜処理の流れである．
1.

実装方法
電子楽器のアナログ出力端子 (LINE OUT) を DATLink[4] に繋ぎ ，演奏から得られる音楽音響信号をデジタル化 (標本化，量子化) し 処理を行う．
3.

音高認識
デジタル化された音響信号の基本周波数 (ピッチ)を抽出し音階に割り当てる．基本周波数の抽出にはスペクトル解析を用いる．図 1 にスペクトルの解析により基本周波数を求める手順を示す．短区間に分割するための窓関数はハミング 窓を用いる．抽出し た基本
周波数は等分平均律による全音階を参照し [3]，音階上に同定され る．本稿において処理対象とする演奏は単旋律のものとし ，楽音の範囲は C3 do 〜 C6 doとする．

Tonal Music Recognition and Automatic Music Transcription in Auditory Scene Analysis
Yukiko Unno Hirotaka Suzuki
Hiroaki Saito
Masakazu Nakanishi
Department of Computer Science, Faculty of Science andTechnology, Keio University 3-14-1 Hiyoshi, Kohoku-ku,Yokohama, Kanagawa 223, Japan
Tel: 045-563-1141(ex.3765)(Email: funi, hiro, hxs, czlg@nak.ics.keio.ac.jp)

フーリエ変換
2乗和dB♪ 音響データ ♪

時間窓(パワースペクトル)(スペクトル)Hz

逆フーリエ変換
基本周波数抽出ピーク検出

対数演算(基本周期)(対数スペクトル)(ケプストラム)ms

図 1: スペクトル解析による基本周波数の抽出
拍節認識
次に ，音高認識で得られた楽音を時間軸上に割り当てる作業を行う．演奏の各音の長さを認識するためには ，固定の閾値でデ ータを振り分けていく必要がある．本稿においては ，電子楽器の メト ロノーム機
能 (以下クロックという) を閾値設定として使用する．
閾値はクロックのテンポにより，以下の式に定める．
閾値は 1 拍に入るデータ数となる．

Frequency)
Threshold = 60  (SamplingTempo
次に ，得られた音長から小節線が 引かれ る場所を求める．この処理を行うにあたり，本稿においては拍節認識構造を提案し ，この構造に基づき演奏が 何拍子であるかを決める．拍節認識構造とは楽曲演奏 (ドラムパターンなど も含む) に対して，人間が持つ小節感覚を考慮し ，演奏の各フレ ーズのまとまりに優先順位を付け，拍節の認識に繋げ るものである．ここまでの処理により，楽音が時間軸上に並ぶこととなる．
調性認識
音高認識により得られた音高列を用いて調性の認識を行う．本稿においては，吉野・安部の調性認識モ
デル [2] により提案された階層的全音階フレームを導入し 評価を行う．階層的全音階フレームとは，長調のものと短調のものと 2 種類あり，入力メロディが全種の調それぞれに対し てど の程度適合するかを数値化する評価システムである．適合性の判断は，全音階の主音，属音，3 度音 (以上が主和音構成音)，4 度音 (下属音)，6 度音，2 度音，7 度音，非全音階音がこの順序で階層的に判断に関わる．つまり，ある調の解釈において，階層の上位の音高の出現頻度が高く，階層の最下位の音高 (非全音階音) の出現頻度が 低い程，メロディがその調に適合しているとして高い評価値を与える．本稿の調性認識処理は，演奏音が音高認識により順次音階上に同定され る度に ，全調の階層的全音

階フレームを通り各調の重み付けを行うものとする．
最終的に重み値 (評価値) が 最高であった調を，入力演奏の調とする．図 2 に階層的全音階フレ ームを用いた調性認識処理の概念図を示す．
入力：構成音データ

結果
上記の条件の下で得られた採譜結果を以下に示す．

G4! ! !

3! !( !( !

2! ! !

! !( 2!( !

|}! ! 2!

! ! !

! ! !

! ! !

|}

Major Key Frame
主音2度音 3度音 4度音 属音

6度音

7度音

(+ 9) (+ 1) (+ 4) (+ 3) (+ 8) (+ 2) (+ 1)

重み付け処理G|}(重み加算)

非全音 非全音非全音 非全音 非全音(- 30) (- 30)(- 30) (- 30) (- 30)

Minor Key Frame

調の決定

主音 2度音 3度音 4度音 属音 6度音

7度音(+ 9) (+ 1) (+ 4) (+ 3) (+ 8) (+ 2)

(+ 1)

非全音

非全音 非全音非全音 非全音(- 30)(- 30) (- 30)(- 30) (- 30)|}

図 4: 採譜結果
拍節認識により，演奏は 3 拍子と認識された．また，
調性認識においては「 ヘ長調 」が 評価値 127 で最も高く，続いて「 変イ長調」(評価値 69)，ト 長調 (評価値 21) の順で調性名が得られた．

(出力：評価値)結論
採譜結果が演奏通りの楽譜であるかを，図 3 と図 4を比較して考える．連続音の表記法は異なるが，図 3の楽譜 (実験用に与えられた楽譜) に忠実な演奏と図4 の楽譜 (採譜結果) に忠実な演奏は同じ 演奏となる．
よって，演奏通りの採譜結果が得られたと言える．また，調性認識の結果も「ヘ長調」という正しい調性名が得られた．
5.

図 2: 全音階フレームによる調性認識処理の流れ
自動採譜処理音響デ ータ全体に対し てそれぞれの処理が 終了したら，調性認識処理で評価値が最高であった調を演奏の調性とし ，音高認識や拍節認識で得られた結果を譜面とし て出力する．譜面出力には MusicTEX を用いる．
実験

4.

YAMAHA W{7 シンセサイザを演奏楽器とし て使用した．演奏の内容を以下の表 1 と楽譜を図 3 に示す．
表 1: 実験のサンプル
量子化

48 kHz
16 bit

演奏曲

ふるさと

標本化

3 拍子

拍子
調性ヘ長調

クラリネット (音源 no.G072)

音色

60 (bpm)

テンポ

1 拍毎に発音
レベル 3

クロック
クロック音量3

G4! ! !

G

2! ! !

!.

!( !

!.

2!( !

! ! 2!

! ! !

図 3: 「 ふるさと 」の楽譜

".

".

おわりに
音楽情報処理の分野において，それぞれの認識システムが独立して研究されているなか，本稿では「 音楽認識」のインテグレーションシステムを提案することができた．また，「 入力を一定の演奏情報に限定しない 」という本来の目的も達成でき，人間の演奏に必ず存在するずれや不定な発音時間にもある程度対応できた．しかし「 認識率」と「 処理の対象とする音楽音響信号の制約条件」の関係は未だ反比例にあり，今後も処理の対象とする音楽音響信号の範囲を広げること，リアルタイム性を意識することなど ，より実用的な自動採譜シ ステムの構築にはより一層の思案が必要である．
6.

参考文献[1] 片寄 晴弘, \自動採譜 (概論)", bit 別冊コンピュー
タと音楽の世界, pp.74{88, 1998.
[2] 吉野 厳, 阿部 純一. \調性認識：メロデ ィの調を解釈する計算モデル ", bit 別冊コンピュータと音楽の世界, 共立出版株式会社, pp.117{131, 1998.

[3] Tim Kientzle, \A Programmer's GUIDE TO
SOUND", ADDISON{WESLEY, 1997.
[4] DAT{Link http://www.tc.com/