情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2B-31
2019/3/6

MFCC を距離尺度に用いた GA によるエレキギターの音色再現システムの開発
有山 大地†1,a)

安藤 大地†1

串山 久美子†1

概要：エレキギターの音作りは一般的にアナログのアンプ，エフェクタなどを用いて行われ，その組み合わせは膨大な数に上り，演奏者やエンジニアが求めている音色を得るために大きな労力を必要とする．例えば，憧れのギタリストの音色を再現したいという場合，まず同一の機材の入手，加えてステージセッティングの画像などからエフェクタのツマミの位置を推測する必要があり，手動での再現のプロセスは困難なものである．そこで音色再現の問題を解決するため，機械学習により手持ちの機材から様々なエフェクタ・パラメータの組み合わせを自動的に評価することで，同一機材・同一設定を用いずに音色を再現するシステムの開発を行っている．また，システムの開発を通した手法の研究を行っている．本稿ではギターエフェクトの一つである「ディストーションエフエクト」を中心に，開発したシステムによって再現された音色の再現度について行ったアンケート調査をもとに，開発中の再現手法ついて考察を行う．

1. はじめにエレキギターという楽器は，弦の振動をボディを通したる．しかし，パラメータの組み合わせや，エフェクタの組み合わせは近現代の音楽シーンにおいて限りなく巨大化している．

空気振動経由で発音するのではなく，マグネティックピッ

そのため，例えば憧れのギタリストの音色を再現したい

クアップの電磁誘導を使い直接電気信号に変換するというという場合，機材の情報やアンプ，エフェクタ接続順，つ特性がある．そのため「エレキギター」と「ギターアンプ」

まみの位置などの写真によるパラメータ推定が必須であの間に「エフェクタ」と呼ばれる波形を加工する装置を繋り，これらの情報なしには再現が困難である．多くのギタぎ，音に様々な変化をもたらすことが可能である．

リストは自ら，あるいは熱心な研究者の推測によって，「アエレキギターの音を決定する大きな要素としては，「パーンプ」「ピックアップ」「エフェクタ」の組み合わせを公開

ツ」「ギターアンプ」「ピックアップ」「エフェクタ」の 4 つしている．しかし，実際に公開された組み合わせを試してを挙げることができる．そして自分が目指す音を再現するも，多くの場合期待した結果は得られない．というのも，作業を「音作り」と呼び，音作りはこの 4 要素の組み合わ

ギターの音色とは演奏者の癖や，使用している機器の個体せで行われる．この 4 要素はそれぞれ膨大な数が存在し，差によって微妙な違いが生じてくるためである．また，プ

また，「ギターアンプ」と「エフェクタ」はそれぞれ無段階

ロのギタリストの使用する機材は非常に高価な品・ワンオで調節できる複雑な複数のパラメータを持つ． エレキギ

フ品・希少品である可能性もあり，そもそも手に入れるこターの音作りは一般的に「エフェクタ」を複数台接続してとが困難な場合も容易に想像できる．

行われ，演奏者やエンジニアが求めている音色を得るためには非常に労力がかかる．

1.2 目的と手法

1.1 背景と問題点

為，「パーツ」「アンプ」「ピックアップ」「エフェクタ」等のそこで本研究では，エレキギターの音作りを手助けする音作りの指標として，一般的に好まれているのは，「プロ組み合わせが一切不明である状況においても理想とするギギタリスト」と呼ばれる人々の音作りである．多くのユーターの音色を再現できるシステム，つまり機材や環境に左ザは，自らエフェクタを用意し，パラメータを調節するこ右されない音色再現のシステムをすることを目指している．とで，自分の目指すギタリストの音色を模索することにな

また，本研究で想定する状況では，前述の「パラメータの組み合わせが限りなく多様化する」という大きな問題が†1a)

現在，首都大学東京システムデザイン研究科
scarcement0623@gmail.com© 2019 Information Processing Society of Japan

浮上する．音色再現システムを開発するに当たり，このパ

580

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2B-31
2019/3/6

ラメータの多様化に対応することも大きな課題の一つであ間距離を算出する方法としては Eearth Movers Distanceる．そこで，開発するシステムは可能な限り自動化される（EMD）を採用することとした．

ことが望ましい．自動化の手法としては，現在「進化論的ユークリッド空間におけるベクトル間の距離の測り方と計算」を採用している．理想とする音色を目標音源としてしてはユークリッド距離が挙げられるが，ここで注意すべ入力し，これを正解としてパラメータを変化させ，自動的き点は，ユークリッド距離は単純にベクトル間の距離を 1な探索を行うという手法である．

対 1 で測る点である．抽出した MFCC は 40 本のベクトル

2. 音色の類似度の測定が並んでいる状態になっているため，目標となる音声の 40本と，自身の持つギターの音声の 40 本のデータのサンプル再現手法について，まずはどのような形に録音データを箇所が一致していない場合，正しく距離を測る事が出来な変換し，どのような尺度で類似度を測るかについて述べる．

い．音源に僅かでもずれが生じた場合正しく距離を測れな音色の類似度を測定する為には，目標となる録音と自分い方法は，実際の使用シーンを考えると合理的ではない．の所有するギターの録音の 2 つのデータを入力としてとそこでベクトル並びの集合の類似度を測る手法としてり，何らかの形で比較することになる．一般的な再生/録EMD を採用した．EMD は Rubner らによって提唱された

音環境を想定すると，録音データは非圧縮の PCM 音源で手法 [1] で，ある点からある点への輸送量という視点で集ある WAV 形式のデータを利用することになる．

合間の類似度を測る事が出来る．

しかしながら WAV 形式の音声データは非常にデータ量が多く，例えば音楽制作で多く使われる解像度では 1 秒間

4. 機械学習によるパラメータの自動推定に 1,411,200（bit）のデータを持つ．ここで，再現したいの3 節で検討した距離尺度を用い，その有効性を検証するは波形そのものではなく，その音色「らしさ」であること為，これを評価関数として機械学習によるパラメータ推定に注意する．したがって「らしさ」を表す重要な音響特徴システムを構築した．機械学習の手法については，本研究量を抽出し，その類似度により機械学習を行う必要がある．

では遺伝アルゴリズムを採用した．遺伝アルゴリズムは多そこで，本研究では音色の類似度に特化した音響特徴量点同時探索であるため，エレキギターのエフェクトパラとして，Mel-Frequency Cepstrum Coeﬃcients（MFCC）メータのような多峰性が予測される問題に適していると考を選択した．MFCC とは主に人間の喋り声を対象に開発えられる．以下にその手順について述べる．

されたので，音声から声道特徴量を強調して取り出し，音声を人間の知覚に特化した形で圧縮できるという特徴がある．通常１つの短い音声を対象に変換が行われ，その特徴量を 12 次元の実数ベクトルで表すことができる．
しかし，ギターの音源のような長さ不明のデータ全体をまとめて 12 次元に圧縮した場合，計算時間や処理するデータ量を推定することが難しくなる．また，もともと MFCCは声道特徴量を抽出するという意図から窓サイズが大きい音声を圧縮することは想定されていない．そこで窓サイズを小さくし，ベクトルの遷移として表現する必要があった．FFT の制約からサンプル数を 2 のべき乗個に区切る必要があるため，音源データを 4096 個ずつ（約 0.1 秒分に相当する）のグループに分け，入力音源の中心の 163,840データ（約 4 秒）分 MFCC の計算を行った．つまり一つの音源データから MFCC として 12 次元のベクトルが 40本抽出される．これでどのような長さの音声データを入力しても 480 個の浮動小数点数で MFCC が抽出されるようになった．

3. 距離尺度の検討

図 1

遺伝アルゴリズムによるパラメータ推定の流れ特徴量として音声データを 12 個の浮動小数点数からなまず，「目標とする音源」と「自身の所有するギターの音る 40 セットのデータに圧縮したが，このベクトル特徴量源」の 2 つの音源を用意する．前者を評価の基準とし，後を用いて，教師データとの類似度（距離）を適切に算出す者にランダムなエフェクトをかけて類似度の比較を行うたる必要がある．様々な手法を試した結果，抽出した MFCCめである．用意する音源は計算領域を揃える為，所謂「CD© 2019 Information Processing Society of Japan581

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2B-31
2019/3/6

音質」と呼ばれるサンプルレート 44,100Hz の wav 形式に次世代のうち 1 つは最も類似度の高かった個体をそのまま限る．また，エレキギターの音声はその性質上モノラル引き継ぐ．続いて全体の 8 割の個体は類似度を基に算出し1ch であるため，目標とする音声もこれに準拠するものとたスコアを基準として，ルーレット選択方式で選んでいく．

する．音声の処理には青木による C 言語のライブラリ [2]

N 番目のスコア s(n) を求める式は f emd を EMD によっを利用した．て導かれた距離として，以下の通り設定した．

検証を行うために自由にパラメータを変更できるディス
ト―ションエフェクタを C++にて実装した．実装したエs(n) = 100/f emd + 1(1)

フェクタはハードクリッピングによる歪み，レベルに加え上式よりスコアの最大値は 100 となり，類似度が低いほどて 10 帯域のイコライザ，コンプレッサーをパラメータとしスコアは小さくなる．また，スコアの合計を f sum としたて持つ．イコライザはピーキングフィルタを使用し，中心場合に，各個体がルーレット盤面に占める割合 f (n) は次

周波数はギターの周波数特性を考慮し，31.25Hz，61.5Hz，式で求められる．

125Hz，250Hz，500Hz，1kHz，2kHz，4kHz，8kHz，16kHzに設定した．強度は-12.0dB から 12.0dB の間を浮動小数

f sum =n
∑

s(i)

(2)

i=1

点数でとる．
続いて「自身の所有するギターの音源」に対してランダ

f (n) = s(n)/f sum(3)

ムなパラメータのディスト―ションを適用して第一世代を

ここで，0 から f sum までの数字をランダムに生成し，生成する．1 世代を n 個の個体と設定した場合，n セット上式をもとに対応する染色体の選択を行う．染色体の交叉のパラメータが生成され，自動的にナンバリングされ，wavは 2 点交叉を用いて行った．ルーレット選択によって個体形式で書きだされる．用語の混乱を避ける為，ここで生成を順に 2 つずつ選び，これを親として交配を行った．染色されるパラメータ 1 つ 1 つを遺伝子，1 音声分のパラメー

体を交叉する点数は 2 点で固定であるが，交叉する範囲はタの集まりを染色体，染色体とそれを用いて出力される音ランダムに決定される．

響をまとめて個体と呼ぶ．

個体は歪み，レベル，10 帯域のイコライザ，コンプレッサーの合計 14 個の遺伝子を持つ．つまり交叉する点の候補は 13 カ所から選ぶことができる．そこで 1 から 13 までのランダムな数値を 2 つ生成し，その数値を基に 2 点交叉を行う区切りを決定した．これを個体の数が第一世代と同じになるまで行う．エリート選択した 1 つの個体を除き，残るすべての個体に対して突然変異の判定を行う．突然変異は各個体の遺伝子の合計からランダムに任意の数の遺伝子を変異させる．この突然変異の確率 f mutation は大向図 2 生成されるパラメータと書き出される wav ファイルのイメージ

続いて書き出された wav ファイルを読み込み，2 節で説明した方法で MFCC を抽出する．MFCC は 1 つの wav
ファイルにつき 40 本の 12 次元ベクトルで表され，同一のtxt ファイルにまとめて書き出される．txt ファイルは 40
本ごとに改行され，wav ファイルごとのデータの区切りを持つ．ここで同時に「目標とする音源」についても MFCCを抽出し，比較用のデータの準備を行う．
表 1 抽出される MFCC の一例による研究 [4] を参考に，遺伝子のビット長を L として次式で求められる．

f mutation = 1/L(4)

また局所的最適解からの脱出を狙い，全体の約 2 割を新規の個体と置き換える．突然変異を終えたところで世代の生成は完了とし，再度類似度の計算を行う．これを繰り返して最適解を導く．
実際の運用シーンでは，エフェクタの個々のパラメータはそこまで精度が高い実数である必要はない．またギターのエフェクタの場合，一つのエフェクタを駆動するパラメータの数は少なくパラメータ間の関係性にそこまで気をこれらの抽出された MFCC について EMD による距離使う必要はない．そこで低精度の組合せ最適化として計算の測定を行い，類似度を求める．求めた類似度はテキストコストが一番低い遺伝的アルゴリズムを今回は採用した．

データとして書きだされ，第二世代以降はこれを基に世代の交配を行う．実装は伊庭による解説 [3] を参考に，予備実験の結果も考慮し行った．次世代に残す個体はエリート選択方式とルーレット選択方式の両方を用いて選択する．

© 2019 Information Processing Society of Japan

5. 自動推定の実験
設定した距離尺度が適切であるか検証する為，実際の使用シーンを想定した状況で 3 種類の実験を行った．

582

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

5.1 実験 1：同一のギターを用いた再現実験

2B-31
2019/3/6

ることが見て取れる．

まず同一のギターを用いて，正しくパラメータの推定がこの実験により，遺伝アルゴリズムによるパラメータ推行えるか実験を行った．1 世代の個体数を 100 個体に設定

定が，異なる特徴を持つギター間の音色の再現においてもし，100 世代まで交配を行った．結果を表 2 に示す．

一定の効果を持つことが確認された．

表 2

同一ギターを用いた自動再現の結果

5.3 実験 3：市販のエフェクターを用いた再現実験
最後に実際に市販され，広く使用されている歪みエフェ
クタ 5 種類を目標として，開発した自動再現システムを用

表 2 における「目標音源」は自作のディスト―ションエフェクトを適用した音源，「元の音源」はエフェクトを適用いて音色の再現が可能か実験を行った．なお，エフェクタのパラメータは全てのつまみを 12 時とした．
全ての実験において 1 世代の個体数は 100 個体，100 世する前の音源，「再現音源」は自動推定を行い 100 世代目で最も類似度が高いと判定された音源である．
「元の音源」

代まで交配を行った．と「目標音源」の距離は 191.4 と大きな数値になっている

5.3.1 BOSS:DS-1
BOSS のエフェクター「DS-1」*3 を目標とし，再現を行っことがわかる．これに遺伝アルゴリズムによって自動的に推定されたパラメータを適用することにより，距離を 3.9た．結果を表 5 に示す．と大きく縮めることに成功している．求められたパラメー

表 5 DS-1 を目標とした自動再現

タも「目標音源」と近いものが推定できている．
続いて各音源のパワースペクトルの類似度をコリレーション分析によって求めた結果を表 3 示す．

5.3.2 BOSS:MT-2
BOSS のエフェクター「MT-2」*4 を目標とし，再現を行っ

表 3 各音源のパワースペクトルの類似度をコリレーション分析によって求めた結果た．結果を表 6 に示す．
表 6

コリレーション分析における類似度は 1 で完全一致であMT-2 を目標とした自動再現

5.3.3 ELECTRO-HARMONIX:Big Muﬀ

り，「再現音源」と「目標音源」の類似度は非常に高い数値

ELECTRO-HARMONIX の エ フ ェ ク タ ー「Bigを示していることがわかる．これにより波形的な側面からMuﬀ」*5 を目標とし，再現を行った．結果を表 7 に示す．

も MFCC と EMD を距離尺度に用いた自動推定の有効性

表 7 Big Muﬀ を目標とした自動再現を確認できた．

5.2 実験 2：異なる特性を持つギターでの再現実験
続いて低音に特徴のある中空構造のギター*1 （以下 A）と，高音に特徴のあるソリッドギター*2 （以下 B）の 2 つ異なるギターを用いても再現が可能であるか実験行った．

5.3.4 Pro Co:RAT
Pro Co のエフェクター「RAT」*6 を目標とし，再現を行った．結果を表 8 に示す．

1 世代の個体数を 100 個体に設定し，100 世代まで交配

表 8 RAT を目標とした自動再現を行った．結果を表 4 に示す．
表 4 異なるギターを用いた自動再現の結果

5.3.5 IBANEZ:TS808
IBANEZ のエフェクター「TS808」*7 を目標とし，再現を行った．結果を表 9 に示す．
表 4 における「目標音源」は B のクリーン音源，「元の音
表 9 TS808 を目標とした自動再現源」は A のクリーン音源，「再現音源」は自動推定を行い

100 世代目で最も類似度が高いと判定された音源である．
高音に特徴のある B の音色に合わせ，A の 1k-4kHz が強調されるようにイコライザが適用され，距離が縮まってい*1*2

Gibson ES-335
ELK Deluxe© 2019 Information Processing Society of Japan

*3
*4
*5
*6
*7

https://www.boss.info/jp/products/ds-1/
https://www.boss.info/jp/products/mt-2/
https://kcmusic.jp/ehx/big-muﬀ-pi.html
https://www.ratdistortion.com/
https://www.ibanez.com/jp/products/detail/ts808 99.html

583

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2B-31
2019/3/6

表 106. 考察

TS808 を目標とした 0 次項を加えた自動再現実験 3 について，すべての機種について多少の差はあるものの，開発した手法で距離を縮め，同一機材，同一設定を用いずに類似度を高めることができることを示した．実験の成果について中学校・高等学校で軽音楽部に所属する（或いはしていた）複数人にアンケートでの聞き取り調査を行ったところ，概ね再現できているとの回答を得た．
しかし，比較的歪みの量が少ない「TS808」について，71.5 ％の人が似ていない，或いはどちらかといえば似ていないと回答した．このほかにも歪みの量が少ない場合に再現が不安定になるケースが確認できており，今回改めて特前と比べ，距離は相対的に離れており，パラメータにも差が出ていることがわかる．0 次項を考慮した音源について再び聞き取り調査を行ったところ，0 次項を加えていないものと比べ，やや類似度が高まったとのフィードバックを受けた．このことから 0 次項に関してギター音色の再現において有用である可能性が示された．MFCC の 0 次項の取り扱いについては今後さらなる検証を行う予定である．

7. DAW プラグインへの移植

徴量について見直しを行った．表 3 はクリーンの音源とディスト―ションエフェクトを掛けた音源の 2 つについて，抽出したケプストラムの 0 次から 19 次までの 20 次元分を比較したものである．

Steinberg*8 の提供する SDK である「VST SDK3.6」を元にコーディングを行った．「VST SDK3.6」は C++で記述されるため，4 節までで開発したシステムをほぼそのまま統合することができた．
大きな違いは入出力デバイスの管理やデータサイズの設定をホストとなるアプリケーションに依存する事である．
これまでは wav データのサイズ分のバッファをとり，すべての処理を終えた段階で音声を出力していたが，DAW プラグインとして実装することで，音声は最低限の作業バッファを通過する過程で処理され，入力とほぼ同時に出力される．これによってリアルタイムでのエフェクトの適用を実現している．先読みなどの処理が必要なエフェクトの場合，この入力の処理を変更する必要があるが，今回は 4 節で実装したものと同一の計算で問題ない．
また，「VST SDK3.6」にはデフォルトで GUI の機能が

図 320 次元分のケプストラムの比較備わっている．移植に伴い，推定後のパラメータをこのGUI で微調整できるようにした．実装した GUI を用いる
音声認識の分野では通常抽出したケプストラムのうちの1 次項から 12 次項までの値を特徴量として用いるため，本研究でもそれに従い同じ条件で比較した．表 3 から確認でことで，DAW 上で計算に必要な音源の書き出しから，染色体・個体・世代数の設定をシームレスに行うことができる．

8. おわりにきる通り，13 次項以降の数値は双方殆ど変動もなく，ギターの音源においても 13 次項以降は無視できるように思われる．
一方で一番左の 0 次項は大きく変動している．0 次項は「各周波数帯域の平均エネルギーの集合」と相関があるとされ，信頼性の低さから通常は除外される．この 0 次項については音声認識の分野では様々な議論がある．清華大学のチェンらによる研究 [5] では，パワー係数を考慮することで中国語の音節の 誤りを約 10 ％低減できるとしている．ギターの音色についても歪みの量が多いほど音圧が上昇し，この音圧と「各周波数帯域の平均エネルギーの集合」には強い相関があることが分かった．そこで実験 3 の「TS808」について，MFCC の 0 次項も加えた状態で再現を行った．
その結果を表 10 に示す．
比較するベクトルの次元が増えた為，0 次項を考慮する© 2019 Information Processing Society of Japan

本研究では PCM 音源から MFCC を抽出し，EMD を用いて類似度を測定することでエフェクトの掛けられたエレキギターの音色の類似度を測る手法を提案した．また，遺伝アルゴリズムを手法として選択することで，音色の再現に必要な要素を統合的なパラメータとして設定し，目標とするパラメータの自動推定を行うシステムの開発を通して新たな再現手法を提案した．
現在はシステムにハードクリッピングによるディスト―ションエフェクトを中心としたエフェクトのみを実装しているため，再現には限界があるが，今後扱うエフェクトを増やすことでより正確な再現が可能になると考える．ギターの音色という物理的でありながら個人の印象に左右さ*8

ドイツのソフトウェア会社，オーディオドライバに関する規格のASIO や，音楽ソフトウェアに関するプラグイン規格の VST を策定している

584

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

図 42B-31
2019/3/6

DAW のプラグインとして実装された本システムの GUIれるものを再現するにあたり，本研究で提案した手法は，組み合わせの多様化や環境などの制約にとらわれない新たな音色再現の手法として提案できる可能性を持つと考える．直近の課題としては，エフェクトやその他の要素，例
えばユーザの聴覚印象フィードバックを受けた音色の感情的な側面などについても組み合わせ，複合的な実験を重ねていく予定である．
参考文献
[1]

[2]
[3]
[4]

[5]

[6]

Goossens, Yossi Rubner, Carlo Tomasi, and Leonidas
J. Guibas.: A Metric for Distributions with Applications to Image Databases, Proceedings of the 1998 IEEE
International Conference on Computer Vision,pp.59-66(1998).
青木直史：C 言語ではじめる音のプログラミング，オーム社 (2008).
伊庭斉志：C による探索プログラミング 基礎から遺伝的アルゴリズムまで，オーム社 (2008).
大 向 一 輝: 分 散 遺 伝 的 ア ル ゴ リ ズ ム に お け る 最適 な 交 叉 率 お よ び 突 然 変 異 率 (online), 入 手 先⟨http://mikilab.doshisha.ac.jp/dia/monthly/monthly99/19990830/ohmukai 21.pdf⟩ (1999.08).
Fang Zheng, Guoliang Zhang and Zhanjiang Song.:
COMPARISON OF DIFFERENT IMPLEMENTATIONS OF MFCC, J. Computer Science and Technology.(2001).
中西正洋, 門田暁人, 松本健一, 井上克郎: ギターの演奏情報の抽出と分析, 情報処理学会第 59 回全国大会 (1999).

© 2019 Information Processing Society of Japan585