2021 年度 若手・女性研究者奨励金 レポート

研究課題

機械学習を用いた楽器の発音機構の解明と音色の工学的評価

キーワード①三線、②連成振動、③機械学習研究者の所属・氏名等
フリガナ
氏 名
配付時の所属先・職位等（令和 3 年 4 月 1 日現在）

現在の所属先・職位等（令和 4 年 7 月 1 日現在）

プロフィール

1．研究の概要

ニシミヤ コウジロウ
西宮 康治朗青山学院大学 理工学部 助教
青山学院大学 理工学部 助教
2006 年 3 月 学習院大学理学部物理学科卒業。薄板内を伝搬するラム波の光学的可視化とその応用を研究。2006 年 4 月より筑波大学大学院システム情報工学研究科に院進学し、2011 年 3 月に同研究科で博士（工学）を取得。超音波工学と楽器音響の２つの分野を研究。
2011 年 4 月～2016 年 3 月までシュルンベルジェ株式会社にて油田開発の為の超音波センサの開発に従事。2016 年 9 月より青山学院大学
理工学部にて助教となる。現在は広く音響工学全般の研究を行い、中でも楽器音響を主としている。

本研究では日本における民族楽器の一つであり沖縄の伝統弦楽器である三線を研究対象とする。三線の構造はFig.1の通りであり、他の弦楽器と比べて棹の占める体積の割合が大きく、この棹が音色において最も重要であるという見解が職人や演奏家の間で古くから存在する。
一方楽器音響分野では弦楽器の音色を構成する主要因は弦・駒・響板とされており棹の影響は科学的に未解明な領域となっている。そこで本研究では棹の影響も含めた三線の発音機構を解明する。さらに、聴覚を通して得られる身体情報を脳波計測により評価し、同時に聴取実験による主観的な音色の表現を評価する。すなわち本研究では楽器から発する音の伝達モデルとしてFig.
2のように考える。楽器から発する音響信号（①）が人の聴覚を通して身体情報として脳（②）に影響を与え、さらに感性により音色を思考の中で表現（③）
Fig.1 三線の構造する。この音響信号（①）と脳波形（②）を同列の入力として捉え、感性による音色の表現（③）を出力とし、この関係に機械学習を適用する。これにより、音色を工学的な表現にとどめることなく、感性的な評価も含めて“音色をデザイン”することを目指す。
以上が本研究の最終的なゴールであり、本年度はまず物理的な三線音の音響信号を機械学習により分類し、棹や胴などが三線音の中のどこに影響を与えてFig.2 楽器音の伝達モデルいるのかを把握することを目的とする。

2．研究の動機、目的

本研究が目指す最終的な目標は、楽器の各部位の物理的振動が音色に及ぼす影響について、工学的な音色の表現に留まらず、人の感性も考慮した「感覚的な音色」の表現にまで拡張し、定量的に評価を行う事である。
楽器は太古より世界各地で人類により創造されてきた、種々の発音機構を備えた構造物であり、人類が積み重ねてきた経験と知識により多くの質の高い楽器が作られてきた。しかし、現在ほぼ完成されている楽器(例えばピアノやヴァイオリン)でもその発音機構を詳細に説明する事は現代の科学技術を持ってしても非常に難しい。その要因の一つに、楽器の各部位の至るところで非線形性を有するという点が挙げられる。非線形性にも様々あるが、楽器共通の重要な点の一つとして、例えば各部位の不完全な結合がある。楽器の各部位は機械・建築構造物のように機械的あるいは化学的な結合をしていない事が多く、例えば弦楽器の場合、弦と駒と響板は弦の張力によって“強く”抑えられているが、完全に結合しているわけではない。このような完全ではない結合により様々な現象が生じ、振動の伝搬において複雑な振る舞いを起こす。その為各部位が音色に与える影響を正確に記述するのが困難となっている。
一方、楽器音響の研究における根本的な需要は何よりも「より良い音色を奏でる楽器を作る為にはどうすれば良いか？」という事に尽きる。それを考慮すると楽器の発音機構を解明するだけでは不十分であり、解明した機構を基に、特定の音色に対する解を与えなければならない。しかし現在、楽器の発音機構のみの研究、あるいは音色における感性的な表現における研究と、両者それぞれの研究は盛んにされているものの、楽器一つを対象にしてこれらを一連の流れとして統括した研究はあまり見られていない。上述した需要に対する解を与える為には、両者を包含した統括的研究が必要だと考えられる。そこで本研究では楽器の発音機構を解明するところから始め、さらにその特定の音色を、人が感じる感覚的な音色に対してフィードバック出来るところまで発展させたいと考えている。

3．研究の結果

異なる三線の音色（音響信号）を機械学習により分類するため、共同研究先の三線職人（照屋勝武三線店）の協力を経て実験を行った。異なる型４種の三線（真壁（まかび）型・与那城（ゆなぐしく）型・江戸与那（えどゆな）型・久場春殿（くばしゅんでぃん）型）と、真壁型の胴を使い棹だけ変えた３種（真壁型・与那城型・久場春殿型）の条件で実験を行った。弾弦は研究者自身（三線歴約 10 年）が行い、１弦の開放弦を 80～90 回程弾弦し、コンデンサマイクロフォンを三線から 30cm 離して計測を行った。得られたデータのうち 6 割を教師データとし、残りの 4 割を評価用データとして CNN (畳み込みニューラルネットワーク)を用いて分類を行った。分類には画像認識において高い精度を持つ Google Net を用いた。入力には、時間－周波数領域を２次元的に可視化出来るスペクトログラムを用いた。Fig.3 に各条件における代表例として１つずつスペクトログラムを示す。左段が異なる４種の三線音の結果で、右段が同一の胴で異なる棹の３条件の結果を示す。横軸が周波数を示し、縦軸が時間で 0 秒付近で弾弦されている。色がパワーを示し、黄色ほど大きなパワーを表す。１弦の開放弦の音高はC3(130 Hz のド) であり、130 Hz の整数倍の数多くの倍音が確認出来る。縦軸の時間方向に伸びている様子が各倍音の余韻の長さを示しており、1000 Hz 強程度までは 2 秒近く余韻があるが、それ以上の高周波成分では余韻は短く、弾弦直後にすぐに減衰する様子が見られる。左段の異なる三線においては、棹および胴それぞれが異なるため、これらのスペクトログラムの中には棹と胴の両方の影響が含まれている。一方で右段では同一の胴を使用しており変えているのが棹だけであるため、スペクトログラムの違いには棹の影響のみが含まれていると考えられる。そこで、これらのスペクトログラム画像そのものを入力とし、上述の CNN の手法で分類を行った結果を Fig. 4 に示す。左段が異なる４種の三線の結果で、右段が同一の胴で棹が異なる三線の結果である。今回、スペクトログラムの中の周波数領域に注目し、減衰の違いが分かりやすかった低周波数領域（1500 Hz 未満）と、高周波成分まで含む 5000 Hz 未満の画像それぞれで CNN を行った。表の見方は、各行が真のクラスを示し、各列が予測されたクラスを示す。これより、左上から右下の対角線上の数値が高いほど正答率が高い事を示している。
各行の全ての数値の合計が全評価データ数である。真値を予測出来た数に対する全評価データ数の割合として正答率を表の右に示す。5000 Hz 未満の結果では、正答率の低い結果も見られた。異なる三線においては真壁型が 67.7 %で、同一の胴で棹が異なる三線では与那城型が44.1 %であった。これら以外はほぼ 90%以上の正答率であった。これに対し、低周波数部分だけを強調した画像では全体的に正答率が向上した。つまり、多くの三線で 1500 Hz 未満の成分が三線音の特徴の多くを表していることを意味する。一方、例えば異なる三線の久場春殿型
では 1500 Hz 未満の方が正答率が低いが、これは Fig.3 にあるスペクトログラムより久場春殿型のみ 3000 Hz 付近に余韻の長いピークが観測出来る。これは恐らく胴の影響であると考えられるが、このような目立った特徴がある場合は当然 1500 Hz 未満の領域ではこれが反映されないために正答率が下がったと考えられる。また、同一の胴で棹が異なる三線では、胴の影響はなく棹の影響だけであるため予測が難しいと考えたが、与那城型以外で高い正答率が得られた。これは、棹の影響も三線音の中に十分含まれている事が示唆される結果である。

Fig.3 各種三線音のスペクトログラム

Fig.4 三線音のスペクトログラムを入力としてCNNの分類結果

今回のスペクトログラムからは、どこが棹の影響かを直接判断するのが困難であったが、その中でも一番判断しやすい特徴が余韻（減衰率）であった。各条件で倍音ごとに余韻の長さがやや異なる傾向が見られた。一方今回の評価では、棹の形状・材質の双方が異なるもので試したことから、減衰率に寄与するパラメータを詳細に評価することとした。３種の異なる木材を用いて、棹に加工する前の原木の状態における減衰率と、それを同一の型の棹に加工して三線として組み立てられた状態で弾弦した時の三線音の減衰率を評価した結果、原木の状態の減衰率と三線音の減衰率に相関が見られた。これより、三線音の減衰には木材の影響も大きい可能性があることが分かった。これら減衰率を評価した内容は下記の論文(※)として掲載された。しかし、まだ三線音を特徴付ける全てのパラメータを評価出来たわけではなく、今後も三線音に寄与する他のパラメータを解析し、より具体的に三線音を構成する要因を解明していく。そしてその後、三線音が人の感性に与える影響に対して感性工学的に評価を行っていく。
※西宮康治朗，照屋武志，羽地龍志，谷口真吾，“三線の棹材に用いられる木材の動的ヤング率と減衰係数の評価および楽器としての音響特性評価”，木材学会誌，Vol. 68, No. 1, p.43-52 (2022)

4．研究者としてのこれからの展望

本研究が対象としている「民族楽器」について、現在世界中に存在する多くの民族楽器が演奏家や職人の減少によりその存続が危ぶまれており、楽器自体の価値を向上させ、職人や演奏家の地位を確立する事が強く求められている。民族楽器は楽器であると同時にその土地の文化そのものでもあり、人類の歴史の一部である。地味ではあるが、民族楽器の存続は人類にとって大きな課題なのである。例えば比較的新しい楽器であるサクソフォンは、1840 年代に生まれたにも関わらず今や世界中で使われる主要な楽器の一つとなっている。サクソフォンがここまで成功出来た理由は、クラシックをはじめマーチングバンドやジャズなど、世界共通の音楽に使われたという点にある。これはつまりサクソフォンの音色が世界で使われる様々な音楽に馴染みやすかったという事である。これを顧みると、民族楽器においても楽器の構造を正確に把握した上でその音色の特徴を評価し、世界で親しまれている音楽に溶け込めるように音色を改善していく事が必要なのである。民族楽器は上述のようにその土地の文化そのものでもあり、その伝統は継承しなければならないが、同時に外に向けた動きを活発にする事で初めてその文化が発展していくものであると私は考えている。研究手法の工夫や独創性、発展性なども述べたが、私の本研究に対する根底のモチベーションはここにあり、人類が築き上げてきた民族楽器という素晴らしい文化でもあり歴史でもあり、構造物としても一級品の創造物を、永く世に残していきたいと強く想って、日々研究に取り組んでいる。
研究というものはそもそも、人類（ひいては他の生物も全て含む）がより幸せに暮らしていく為に行う営みであると私は考えている。その為、研究は常に「人」が最終地点にある。だからこそ、如何に科学的な難題にチャレンジしようとも、それが人の為になるかどうかを常に考える事が重要であると（少なくとも工学者という立場から）私は考えている。目先の成果や役職や研究費の獲得のみならず、常に人の幸せを念頭に置きながら研究を続ける姿勢を持ち続けること、そして、教育者としてその想いを後世に伝えることが、私の目指す研究者像である。

5．支援者（寄付企業等や社会一般）等へのメッセージ

本研究を行うにあたり、研究費をご援助下さいました日本私立学校振興・共済事業団の皆様
ならびにご寄付を下さりました企業や個人の皆様に、心より御礼申し上げます。まだ拙いながらも一生懸命に研究を行い、僅かばかりの成果も少しずつ出せております。本研究成果は皆様のご協力のおかげに依るところが何よりも大きく、本支援が無ければ達成出来ませんでした。
私の研究は最先端の分野というわけではありませんが、人の心に響く音楽を広めるためにも様々な方面から研究を進めております。音楽は直接人の命を救うものではないかもしれませんが、言葉の壁を越え世界中で親しまれているものであり、音楽を聴いて心を豊かにする事自体が平和な世界の創出にかけがえのないものであると信じております。この信念の一部を今回具体化させて貰いました事に、改めまして心よりお礼申し上げます。ありがとうございました。そして今後とも引き続き、何卒宜しくお願い申し上げます。