音楽情報処理最前線 !

第１8 回
未来の音楽の楽しみ方、作り方はどう変わるのか ?
コンピュータは音楽を理解できるようになるのか ?
コンピュータを使って音楽を研究する「音楽情報処理」という研究分野が、世界的に注目を集めています。
本連載では、そうした最先端の研究事例を紹介していきます。

自分の好きなあの曲を勝手にリミックス ～楽器パートの音量を操作する「楽器音イコライザ」
ギターの音量だけを増やしたいけれど、グラフィックイ
コライザではピアノやスネアドラムの音量まで増やしてしまう。様々な楽器音が混ざった音楽の音響信号を分離することで、さまざまな楽器パートの音量をピンポイントで変更できる「楽器音イコライザ」
を紹介します。

混ざった音をばらばらに分離する
楽器ごとの音量を操作するためには、楽曲の音響信号と楽譜をもとに、様々な楽器音が混ざった音をひとつひとつの音符単位にあらかじめ分離する必要がある。楽器音イコライザでは、これらの分離音を楽器やグループごとにまとめておき、楽器ごとの音量操作を行う。

ミキシング後の音楽を編集

楽器音は、バイオリンやフルートなどの明確な音の高さを持つものとスネアドラムなどの音の高さが曖昧なものの、大きく２つ「この曲が気に入っているけれど、ギターが引っ込みすぎていのグループに分けられる。音の高さが明確な音には、ちょうどそる。ギターだけの音量を増やしたい」、「練習用にドラム音だけの高さの周波数成分の他に、その整数倍の高さの成分（倍音）がを消したマイナスワン録音を作りたい」などと考えたことはない

含まれており、これを調波構造と呼ぶ。一方、音の高さが明確でだろうか。ミキシング前のマルチトラックデータがあれば簡単なない音は調波構造を持たない。調波構造以外の音の成分を非調ことだが、市販の楽曲はミキシング後の混ざった音響信号しかな波成分とここでは呼ぶ。

いために難しい。今回は、こんな悩みを解決する技術「楽器音イ調波構造のみ、または非調波成分のみからなる楽器音も多いが、コライザ」を紹介する。

ピアノのように、調波構造と非調波成分を併せ持つ（鳴り始めに楽器音イコライザはグラフィックイコライザのようにスライダが並んだインタフェース（図 1 ）を持つが、操作できるのは周波

弦をハンマーが叩くときには非調波音を、弦が振動しているときには調波音を発する）楽器音もある。

数帯域毎の音量ではなく、楽器ごとの音量である。これによっ

このように異なる性質を持つ様々な楽器音を統一的に扱うたて、ドラムとギターの音量を増やして楽曲をロック風に変えたり、め、我々は図 2の「調波・非調波統合モデル」を提案した。図の左

楽器の練習用にマイナスワン録音を作ったり、ということもでき側はピアノのパワースペクトル（脚注1）で、等間隔の縞模様で表る。図 1では単純なインタフェースを用いているが、高度な機能される調波構造と、時間軸の始めと終わりで縦方向にぼんやりとを持つ DAW を用いれば、マルチトラックデータと同様に扱える。

広がる非調波成分が含まれていることが分かる。このような構造「音源分離とその応用」 音楽の音響信号（混合音）を楽器パートへと分離することで、音量操作によるリミックス、楽器パート消去によるマイナスワン音源の生成、DAWへの楽曲制作素材としての入力など、様々に応用できる。

図 1 「楽器音イコライザのインタフェース」
各スライダやスイッチは楽器の音量などと対応づけられている。DAW の音量操作部分だけを抜き出したものと考えるとよいだろう。

096

2010.04

図 2 「調波・非調波統合モデル」
図の左側はピアノのパワースペクトルで、等間隔の縞模様で表される調波構造と、時間軸の始めと終わりで縦方向にぼんやりと広がる非調波成分が含まれていることが分かる。多くの楽器音は、これらの組み合わせでできている。図の右側の調波・非調波統合モデルは、調波構造モデルと非調波モデルを足し合わせたもので、調波構造モデルは「縞模様」を、非調波モデルは「ぼんやりと広がる」部分を表すのに適した作りになっている。音符一つ分の楽器音のパワースペクトルをこのモデルに与えると音の高さや倍音成分の減衰の早さなどのパラメータを抽出することができる。
様々な楽器音の混合音に対しては、音符の数だけモデルを用意することでそれぞれの音からパラメータを抽出でき、このパラメータ抽出作業の結果として分離した楽器音が得られる。

dtm magazine糸山 克寿

後藤 真孝

奥乃 博

（いとやま かつとし）（ごとう まさたか）（おくの ひろし）

2008 年京都大学大学院情報学研究科修士課 程修了。現在、同大学院情報学研究科博士課程に在籍。ピアノやギター、ドラムなどの様々な楽器音を分析し、音源分離や楽器音再合成、検索などに応用する研究に取り組んでいる。

1998 年早稲田大学大学院理工学研究科博士後期課程修了。博士（工学）。現在、産業技術総合研究所情報技術研究部門メディアインタラクション研究グループ長。2007 年～2008 年度音楽情報科学研究会主査。計算機によって実世界の音楽・音声コンテンツを自在に扱える技術の確立を目指し、音楽・音声の音響信号の自動理解と、それに基づくユーザインタフェースの研究を中心に、様々な研究課題に取り組んでいる。

1972 年東京大学教養学部基礎科学科卒業．博士（工学）。2001 年より、京都大学大学院情報学研究科知能情報学専攻教授。
「音を聞き分けて」環
境を理解する音環境理解を目指して、音声認識、音楽認識、環境音認識の研究を行っており、聖徳太子のように同時発話を聞き分けるロボット
聴覚、音楽を自分の耳で聞いて合奏する音楽ロボットなどの研究に取り組んでいる。

「音楽情報科学研究会」へ参加してみませんか ?
情報処理学会 音楽情報科学研究会（SIGMUS）
は、コンピュータと音楽とが関わり合うあらゆる場面を活動対象とする学際的研究会で、年 5回の研究発表会を開催しています。研究会に会員登録すると、研究発表会の参加費が無料になるだけでなく、過去の全研究発表会の論文のダウンロードなどの特典があります。研究会の登録方法や研究発表会の開催に関する最新情報な
どは http://www.sigmus.jp/ をご覧ください。

は多くの楽器音に当てはまる。図の右側の調波・非調波統合モデ

現在のところは全ての楽器の楽譜が必要だが、分離したい楽器のルは、調波構造モデルと非調波モデルを足し合わせたもので、調楽譜だけを用意すればその楽器音とそれ以外の楽器音へと分離を波構造モデルは「縞模様」を、非調波モデルは「ぼんやりと広がる」

行うような拡張を進めており、最終的には楽譜を必要としない手部分を表すのに適した作りになっている。音符一つ分の楽器音の法を目指す。

パワースペクトルをこのモデルに与えると楽器音から音の高さや倍音成分の減衰の早さなどのパラメータを抽出することができる。
様々な楽器音の混合音に対しても、音符の数だけモデルを用意分離だけでなく、楽器音の分析・合成へすることでそれぞれの音からパラメータを抽出できる。抽出され本記事では、楽器音量操作を行う楽器音イコライザと音源分離たパラメータに基づいてパワースペクトル中の特定の音符に対応のための調波・非調波統合モデルについて述べたが、これらの技する部分だけを通過させる「フィルタ」を作り、これらのフィルタ術は他の場面にも活用できる。調波・非調波統合モデルは楽器音で混合音を分離する。の特徴を抽出し、その特徴を持つ音を再合成することができるた

現状の楽器音イコライザの課題の一つは、楽譜が必要というめ、複数の楽器音から抽出したパラメータを混ぜて楽器音をモー点である。調波・非調波統合モデルを用いて混合音を分析する

フィングしたり、音高やベロシティと調波・非調波統合モデルのためには、モデル一つ一つの「初期配置」、つまり大雑把な発音時パラメータを対応づけて仮想的なMIDI音源を構築したり、といっ刻や音高などを与える必要がある（図 3）。常に一つだけの音しかたことが可能になる。例えば、
レス・ポールの録音を分析して、「レ演奏されていないのであれば発音時刻や音高を計算機で推定するス・ポールの音色や演奏テクを再現する」
ギター音源、なんてものは容易だが、同時に演奏される楽器や和音が増えると、その推のができているかもしれない。

定は極めて困難になる。このような問題（多重音解析）の研究も進められているが、その精度は4 和音で 80 〜 85%、6 和音で 60 〜70% 程度と、未だに十分なものではなく、和音にドラム音などの非調波音が混ざるとこの精度はさらに低下する。楽器音イコライ
ザではこの問題に対処するため楽譜を与えることでモデルの初期配置を決定する。この楽譜としては、標準MIDIファイルを用いた。

※脚注 1 パワースペクトル：音響信号を分析し、各時刻（横軸）での周波数成分（縦軸）の強度を色の濃さで表した画像。
▼参考文献：
参考文献：糸山 克寿、後藤 真孝、駒谷 和範、尾形 哲也、奥乃 博：楽譜情報を援用した多重奏音楽音響信号の音源分離と調波・非調波統合モデルの制約付パラメータ推定の同時実現、情報処理学会論文誌、Vol.49、No.3、pp.1465-1479、Mar 2008．

図 3 「楽譜によるモデルの初期配置決定」 調波・非調波統合モデルを最初に配置する時刻と周波数を決めるため、楽譜を使う。時刻や周波数が正確なものでなくても、ある程度正しければパラメータ抽出処理中にこれらは修正される。さらに、事前に作成した楽器ごとのモデルパラメータ DB を用いて、モデルパラメータの初期値を設定する。パラメー
タ DB を使うことで、分離処理の計算量を減らすだけでなく、複数の楽器がユニゾンしている場合などでもそれらを精度良く分離させることが可能になる。

dtm magazine

2010.04097