情報処理学会第 79 回全国大会

5L-04
既存楽曲の再生に合わせた即興演奏の支援システム
吉館要†1†2 深山覚†2 後藤真孝†2†1筑波大学大学院 システム情報工学研究科†1 産業技術総合研究所†2
1. 序論
本稿では，即興演奏をする上で必要な専門知識や技能を持たない演奏者でも，既存楽曲の再生に合わせて自分の演奏音を重ねるように即興演奏を楽しむことが可能な即興演奏支援システムを提案する．従来，与えられた楽譜通りに演奏する支援システム[1]や，既存楽曲の再生に合わせない即興演奏支援システム[2][3]は研究されていた．しかし，既存楽曲の再生に合わせて演奏者が即興演奏をしようとすると，時々刻々と変化する音楽内容に協和するようにその場で次の音を図 2 プロジェクタで協和音の鍵盤位置に光を照射している様子考えて弾く必要があり，従来研究の方法では支援ができなかった．そこで本研究では，一緒に演奏したい既存楽曲の楽譜・標準 MIDI ファイルがない状況でその音響信号のみが与板には，次にどの鍵盤が光るかが事前にわかるように照射さえられたときに，その再生に合わせて即興で鍵盤楽器を演奏れる．ユーザはそれを見ながら即興演奏を行う．システムはユする支援をするシステムを提案する．本システムは，(1)楽曲ーザの演奏を MIDI 信号として取得し，その演奏された音高との音響信号を解析してそれと協和する音高を推定する機能，再生時刻毎の協和音を比較して，不協和音と判断される音(2)協和音の音高に対応する鍵盤位置を鍵盤上に直接提示

高を近傍の協和音へと修正し，音響信号として出力する．

する機能，(3)不協和となる音高を自動で補正する機能，とい

2.1

協和音の推定方法

う 3 つの機能によって，ユーザの専門知識や技能を補完する．
(1)と(2)の機能によって協和する音が把握でき，(3)の機能によって演奏誤りを補ってもらいながら演奏できるため，初学者が困難だった既存楽曲の再生に合わせた即興演奏を気軽に楽しむことが可能となる．
本稿では，まず提案システムの概要について説明した後，個々の機能について詳細な説明を行う．

2. 既存楽曲の再生に合わせた即興演奏の支援図 3 協和音推定の概要

提案システムの概要を図 1 に示す．システムのユーザは任本システムでの協和音推定の概要を図 3 に示す．本研究

意の楽曲の音響ファイルを指定する．システムは指定されたでは協和音を，文献[4][5]で議論されている「不協和度」が小楽曲を解析し，再生時刻毎に協和する音高の推定を行う．ユさ い 音 と し た ． 「 不 協 和 度 」 は 知 覚 的 協 和 (sensoryーザがシステムのインタフェースを介して楽曲を再生すると，consonance)と呼ばれる知覚的な快・不快を表わす度合いにそれに合わせて協和する音に対応する鍵盤が，図 2 のように基づいている．知覚的協和は，一般に音楽的場面における着色されて光って見えるように，鍵盤楽器上部に設置したプ協和である音楽的協和(musical consonance)とは異なる．しかロジェクタから照射される．さらに鍵盤楽器前方に設置した白し「西洋のポリフォニー音楽や和声的音楽における音楽的協和は，明らかに複合音の知覚的協和に基づいて」[6]いること

図 4 不協和度曲線

図 1 提案システムの概要
A system for assisting improvisation along with playback of existing music†1 Graduate School of Systems and Information Engineering, University of Tsukuba†2 National Institute of Advanced Industrial Science and Technology (AIST)

2-103

Copyright 2017 Information Processing Society of Japan.
All Rights Reserved.

情報処理学会第 79 回全国大会

から，本研究では即興演奏時の音の協和の度合いの指標として用いた．
2.1.1 協和度クロマベクトル
ユーザが演奏しうる各音高に対する協和音の推定を行うために「協和度クロマベクトル」と呼ぶ音響特徴量を提案する．
これは不協和度曲線[4][5]（図 4）を用いて算出する．不協和度曲線は，同時に発音する 2 つの調波楽器音の間の音程と不協和度（不協和感の強さ）の関係を表す曲線である．この図 5 スペクトルと不協和度曲線との曲線は，完全 5 度(7 半音)やオクターブ(12 半音)などの音楽畳み込み積分に基づく協和度の推定的に協和する音程で谷を持つだけでなく，強く協和するほど違いを把握して弾く鍵盤を選択できる点が重要である．協和

急峻な谷となって極小値をとる．
不協和度曲線を用いた協和音の推定方法を図 5 に示す．

音の中でもコードの構成音や主旋律に使われている音はよりある音高に対応する対数周波数ω0 に値を持つデルタ関数と，強い協和度を持ちやすい．また，協和度が他より低い音を意せた場合に楽曲中に発音されている他の音とどれだけ不協

2.3 演奏に含まれる不協和音の協和音への自動補正

不協和度曲線との畳み込み積分をすると，音高ω0 を発音さ図的に利用して多様な演奏を楽しめる．

和が生じるかを求めることができる．そこで，既存楽曲の対数協和音の位置が鍵盤上に示されていても，ミスタッチなど周波数スペクトルと，不協和度曲線との畳み込み積分を計算

でそれ以外を弾いてしまうと不協和音が発生してしまう．そこする．その結果得られる曲線で極小値を取る音高は，そのとで演奏中に含まれる不協和音を，近傍の協和音へと補正す

きの再生されている楽曲中のすべての音高（周波数成分）とるオプション機能を設けた．補正先には，打鍵場所から±2 半協和する音高である可能性が高い．そこで二次微分を計算し音の範囲の中で，協和度と打鍵場所からの距離による重みをそれらの谷の急峻度合いを求めることで，音高毎の協和度と加えた値が最大となる鍵盤とした．

した．

3. 結論

このように求めた協和度の曲線を，通常のクロマベクトルを本稿では，既存楽曲の再生に合わせた即興演奏の支援シ計算する元の周波数スペクトルに見立てて，クロマベクトルをステムを提案した．提案システムの実装を行い，不協和音に求める．これにより，各音名に対応する協和度が全オクターブ相当する鍵盤を打鍵した際にも再生楽曲に協和する音へとに渡って足し合わされるため，良く協和すると音名ほど大きな補正されて出力できることを確認した．今後は，提案した協和値をとるクロマベクトルが得られる．本研究ではこれを「協和度度クロマベクトルの有用性を検証するとともに，システムのユクロマベクトル」と名付けた．時刻毎の協和度クロマベクトルにーザビリティの向上に取り組む予定である．

おいて大きな値を持つ上位 6 個の音名を選択し，それらをそ謝辞: 本研究の一部は JST CREST 及び ACCEL の支援を受けた．インタフェースの実装にはゲームとメディアアートのための C++ライブラリ「Siv3D」(http://play-siv3d.hateblo.jp/)を用いた．の時刻で楽曲と協和する音としてユーザに提示する．
2.1.2 調・コードの活用
本システムではさらに，効果音や打楽器音の影響を低減するため，調およびコードを推定し，調のスケールとコードの構
成音の協和度が高くなるように協和度クロマベクトルに重み付

参考文献
[1]

けした．調やコードは楽器発音時に変化するので，楽曲中の発音時刻を推定した．隣接する発音時刻間のクロマベクトルを計算し，それらを観測系列とする隠れマルコフモデルにより[2]

調とコードを推定した．
2.2

[3]

鍵盤の協和度の提示

本システムではプロジェクタを用いて，協和音に対応する鍵盤を協和度に対応した明るさで光らせる．加えて鍵盤の奥[4]に白板を設置し，そこには現在の再生時刻から数秒先までの協和度の変化も合わせて表示する．これによって鍵盤付近か[5]ら目を離さずに，次にどの鍵盤が協和するのかを把握しながら演奏できる．
光る明るさが協和度に対応するので，ユーザが協和度の2-104[6]

R. B. Dannenberg, M. Sanchez, A. Joseph, P. Capell, R. Joseph,and R. Saul: "A Computer-Based Multi-Media Tutor for
Beginning Piano Students" Journal of New Music Research, 19(2-3), pp. 155–173, 1990.
F. Pachet: "The Continuator: Musical Interaction With Style"
Journal of New Music Research, 32 (3), pp. 333–341, 2003.
石田 克久, 北原 鉄朗, 武田 正之:N-gram による旋律の音楽的適否判定に基づいた即興演奏支援システム, 情報処
理学会論文誌，Vol.46, No.7, pp.1548–1559, 2005.
藤澤 隆史, Norman D. Cook, 長田典子, 片寄晴弘: “和音性についての定量的評価モデル” 情報処理学会研究報告,
2006-MUS-66, No. 14, pp.99-104, 2006.
藤澤 隆史, Norman D. Cook: “和音性の計算法と曲線の描き方 : 不協和度・緊張度・モダリティ” 関西大学総合情報学部紀要, 2006-07-12, No. 15, 2006.
ダイアナ ドイチュ (寺西 他 訳): “音楽の心理学（上）” 西村書店, pp.25, 1987.

Copyright 2017 Information Processing Society of Japan.
All Rights Reserved.