情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-48
2023/3/1

即興演奏初心者のための多様なリズム発想支援システム
樋口寧々†1

宮下芳明†1

概要：本稿では即興演奏におけるリズムに着目し，即興演奏初心者が自力で多様なリズムを思いつけるようになることを目的としたシステムを提案する．本システムではシステムとユーザが掛け合いをし，システムはユーザが演奏した旋律のリズムのみを多様に変換した旋律を奏でる．この掛け合いの中で，ユーザのリズムの引き出しが増えることを目指す．

1. はじめに演奏者自身が作曲と演奏を同時に行う行為を即興演奏という．即興演奏では，音楽のジャンルごとに好まれる旋律と好まれない旋律が存在している．旋律とは，音高とリズムに音楽的表現意図を与えたものであり，連続した旋律によって音楽が奏でられる．即興演奏では，演奏者自身が旋律を作曲することで奏でる音楽を作り出している．
初心者が演奏を行いながら音高やリズムを考え旋律を作ることは容易ではない．そのため，作曲の経験がない楽器演奏者は気軽に即興演奏を始めづらい．また，始めたての頃は音高やリズムに迷いやすいため演奏にためらいが生じ，

図 1

提案システムさらに，与えた音楽的表現意図に対し自信がもてない．そのため，即興演奏について学ぶには，経験者からの指導を受けるか，複数人で即興演奏を行うセッションに参加する

2. 関連研究などの方法がある．しかし，始めたばかりで他人に即興演

2.1 掛け合いをするシステム

奏を聞かせることは心理的ハードルが高い．音高を補正す

Pachet[1]の Continuator は，ユーザの演奏と似た演奏をシるシステムを用いることで，ある程度心理的ハードルを下ステムが出力する．これによりユーザは，自分と似た演奏げられるが，八分音符の連続など単調なリズムを繰り返すをする他者と掛け合いをしているかのような体験ができる．

傾向があり，未だ課題が残る．

ユーザはこの体験を，良いフレーズとは何か考えたり，新本稿では，多様なリズムをユーザ自身が思いつけるようしいフレーズのアイデアを得たりするために活用できる．になることを目的とするリズム発想支援システム（図 1）

また，Continuator はあらかじめシステムに音楽素材を学習を提案する．本システムでは，システムとユーザが交互にさせるモードも備えている．このモードは例えば事前にバ1 つの旋律を奏であう．このような行為を掛け合いという．

ッハの前奏曲をシステムに学習させておき，ユーザが和音システムは，ユーザが入力した旋律の音高を保持しながら，を演奏した際，システムに和音をバッハ風のアルペジオでリズムのみをずらした旋律を奏でる．この掛け合いを通し演奏させるなどの活用ができる．て，単調なリズムの旋律を少しアレンジすることで，多様柏崎ら[2]は，ネットワークを介したセッションを行う際なリズムの旋律が作り出せることをユーザに示す．これにに，演奏者に独自のコード進行とテンポを許すセッションより，ユーザが様々なリズムを自ら進んで試すためのモチシステムを開発した．従来のネットワークを介するセッシベーションが上がると考えられる．その結果，システムにョンシステムではネットワークの遅延を考慮し，ユーザは変換されたリズムをユーザが楽しみながら次々と取り入れ，セッション相手の演奏を一定の周期遅らせた演奏を聴いてユーザのリズムの引き出しが増えると期待できる．

旋律を返していた．このようなセッションを行う際は，共通のコード進行やテンポで演奏する必要がある．しかし，演奏者に独自のコード進行とテンポを許すセッションシス
テムでは，各演奏者がそれぞれ異なるコード進行とテンポ†1 明治大学© 2023 Information Processing Society of Japan671

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

で演奏しながらセッションできる．これを実現するために，

2B-48
2023/3/1

ィックノートで意図的に音を外せるようにした[6]．

システムではユーザの演奏情報をそのまま送信するのでは

竹内ら[7]の Two Finger Piano は，あらかじめ楽譜に記さなく，打鍵された音がコード上でどのような調性を持ってれた音長と音高をデータとして記しておき，演奏時には音いるかという情報を用い，相手が選択している調での演奏量，テンポ，伴奏と旋律のどちらを強調するかという情報に聴こえるように旋律を変換して送信する．テンポについを 2 本指による演奏で入力するシステムである．演奏時はても同様に，相手が選択しているテンポに合うようにシス

テンポと全体的な音量は右手の指 1 本で，メロディと伴奏テム上で変換される．このような仕組みにより，ユーザはのバランスは左手の指 1 本で入力する．このようなシステ

それぞれ自分の好きな調，テンポで演奏しているにも関わムにより，実践してみたい演奏表現があるものの楽器の技らず，セッション相手が自分に合わせて演奏しているかの術が伴わないユーザでも表現を楽しむことができ，さらにように感じることができる．

音楽解釈の研究や音楽教育の場でも活用できる．また，奥2.2 音高を補正するシステム

平ら[8]の sfp は，前述の Two Finger Piano におけるインタ

石田ら[3]の ism は，ユーザが演奏した旋律の妥当性を N-フェースを向上させたものである．sfp では Two Finger

gram によって判断する．このとき妥当でないと判断した場

Piano とは異なり，指 1 本でピアノを演奏する．また，事前合，妥当な旋律になるようユーザが入力した旋律の音高をに楽譜情報をデータとして記す際，プロセス制御などで用補正する．この補正により本来なら不自然な旋律でも自然いられる PID 制御を導入し，どのような演奏表情をつけるな旋律に聞こえるため，即興演奏に不慣れなユーザの即興かについてのデータを用いてスケジューリングを行う点も，演奏に対する抵抗感を軽減できた．しかし，ゆくゆくはシ

Two Finger Piano と異なる．

ステムに頼らずに自力で即興演奏ができるようになること

柳川ら[9]の即興演奏における演奏補正システムは，アベを望むユーザのために，ユーザ自身の即興演奏技術を向上

イラブル・ノート・スケール（楽曲の各時点において協和させるシステムの実現が望まれた．

度が高い音）外の音が打鍵された際，スケール内の音に補大島ら[4]による Coloring-in-Piano は，事前に登録された正するが，スケール外の音を補正しすぎる「過補正」を問

楽曲の音高情報に基づき，どの鍵を打鍵しても正しい音が題視している．そこで，既存楽曲のデータベースから，様々鳴るように補正する．ただし，音の大きさや音の区切り方，な条件下でのアベイラブル・ノート・スケール外の音が演音の繋ぎ方などの演奏表現はユーザ自身がコントロールす

奏される頻度を算出し，使用頻度が低い条件下でスケールる．このシステムにより，ピアノ講師が高度な技巧を求め外の音が打鍵されたときのみ補正する手法をとった．このられる楽曲の模範演奏をするとき，楽曲を完璧に弾けなく手法により，アベイラブル・ノート・スケール外の音が残ても演奏表現を生徒に提示することができる．なお，っていても違和感を感じさせることなく，表現の幅を狭めColoring-in-Piano では演奏時に 1 本指，2 本指，5 本指のいずに即興演奏を支援できる．

ずれかで演奏する選択肢があり，どの選択肢を選んだとき

2.3 即興演奏を学べるシステム

思い通りの表現ができるか評価されている．その結果，参宮下ら[10]の Thermoscore では，アベイラブル・ノート・加者が 5 本指で演奏したとき，通常のピアノと同程度に演スケール以外の音が打鍵されたとき，鍵盤に貼り付けたペ奏への表情づけができることが示された．また，通常のピルチェ素子を熱することによって，打鍵された音が協和しアノでは演奏が困難な楽曲を扱う場合は， 2 本指もしくはないことをユーザに知らせる．即興演奏においてアベイラ

5 本指で演奏した方が参加者の意図に近い演奏ができるこ

ブル・ノート・スケールに該当する音を弾くことで協和すとが明らかになった．

る響きが得られるが，スケール外の音を使用してはいけな

谷井ら[5]の INSPIRATION は，ユーザが入力した大雑把いわけではない．そこで Thermoscore は，ユーザにアベイな音の高低位置やテンポ，音の強さなどの大まかな演奏表

ラブル・ノート・スケール外の音を打鍵する余地を残して情を保持したまま，入力を適切な演奏に変換して出力する．

いる．さらに，スケール外の音が打鍵された場合，鍵盤がこのシステムにより，音楽経験や音楽の知識が乏しいユー

熱くなることで不協和な響きが得られる音を打鍵する時間

ザでも，ある程度の意思を反映した，音楽的に適切な旋律の長さが短くなるよう，設計されている．この仕組みによを奏でることができる．また，システムが生成した旋律が，りユーザは，楽曲の各時点においてどのような音が協和すユーザ自身が自ら生み出した旋律であるかのような印象をるのか学ぶことができ，即興演奏の技術を磨ける．

周囲に与えることが示された．実際に INSPIRATION で演

北原ら[11]が開発した ismv は，ism と同様にユーザが演奏した実験参加者からは，システムが生成した旋律に自身奏した旋律が音楽的に妥当なものであるか，N-gram によっの意思が反映されていて楽しい，音楽知識がなくても即興て判定する．このとき妥当でないと判断した場合，鍵盤を演奏を楽しめる，コード進行に音楽的な豊かさを感じるな振動させる．ismv は旋律の妥当性を N-gram によって判断どの感想が得られた．また，谷井らは，前述の INSPIRATIONするため，事前に演奏すべき旋律が決まっていない即興演を改良し，音の響きを濁らせるアボイドノートとクロマテ奏に適用できる．また，演奏終了後にユーザが入力した旋© 2023 Information Processing Society of Japan672

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-48
2023/3/1

律をピアノロールで閲覧する機能も備えており，不適切だ選択肢の提示である．ユーザは必ずしもシステムが奏でるった箇所や，どの音を弾くとより良い演奏になったのかをリズムをそのまま覚え，真似をすることは求められない．

確認できる．このようなシステムによってユーザが楽しみ掛け合いの中で，ユーザの気に入るリズムが奏でられたとながら，効率的に即興演奏の練習ができることが示された．

き，そのリズムを取り入れて演奏するか否かは，ユーザ自一方で，振動によってリアルタイムで改善箇所が提示され身に委ねられている．ユーザが好みのリズムのみを演奏にたとき，演奏に活かす余裕がないなどの課題も見られた．

適宜取り入れる過程を繰り返すことで，ユーザのリズムの2.4 リズムに着目したシステム引き出しが増えることを目指す．

竹川ら[12]はピアノ初心者によるリズムの学習を支援するために，打鍵位置，運指情報，そしてリズム情報を鍵盤3.2 実装
Theory Board では事前に調を指定しパッドを押下すると，やその周辺にプロジェクタで投影するシステムを開発した.

調に合った和音または和音の構成音が演奏できる．Theory

このシステムには打鍵および離鍵タイミングが正確である

Board の真ん中には液晶があり， 液晶より左のパッドを押かチェックし結果を表示する機能や，足ペダルでメトロノ下すると調に合った和音が鳴る．液晶より右のパッドのうームの速度を変更できる機能なども搭載されている.実際

ち和音のパッドと一致した色のものを押下すると，和音のに システムを使用したピアノ初心者は，30 分程度の練習構成音が 4 オクターブ分鳴る．

でモーツァルトのトルコ行進曲の冒頭 18 小節を，打鍵やリズムをほぼミスすることなく弾けるようになった.

リズム変換パターンは 3~5 音からなる単調な入力リズムと，入力リズムをずらして多様なリズムに変更した出力リ

徳井[13]は GAN のアルゴリズムを拡張し，新奇性の高ズムの組で構成されている．本システムにはあらかじめ，いリズムを生み出すように方向づけした音楽生成手法を提約 50 種類のリズム変換パターンを登録した．このリズム案した.この手法では EDM（Electric Dance Music）の生成を変換パターンは，ジャズ・スタンダード・バイブル[15]に収想定し，EDM としてラベル付けされた MIDI データ集を学録された楽曲のうち，20 曲のリズムを使用して作成した．

習用データとして使用する．そしてどのジャンルとも識別

これは特にジャズにおいて．楽譜には四分音符や八分音符がつかないリズムほど高く評価しつつ，同時にダンスミュの連続など単調なリズムで記載されているが，演奏時にはージックらしいリズムであるか検証できるように拡張した演奏者が独自に多様なリズムに変更するケースが多いため

GAN のフレームワークを作成した．その結果，ダンスミュである．ジャズ・スタンダード・バイブルの収録曲も，楽ージックのリズムらしさは保持しつつ，学習データに含ま譜は単調なリズムで記されているが，プロが多様なリズムれるどのジャンルにも属さない新奇なリズムが生成された.に変更して演奏した音源が多数存在する．そこでプロによるリズムを楽譜に起こし，ジャズ・スタンダード・バイブ

3. 提案システム
3.1 システム概要

ルの単調な楽譜と比較した．そしてリズムを 3~5 音に切り分けた中から一部を採用し，ジャズ・スタンダード・バイブルの単調なリズムを入力リズム，プロが多様に変更した

本システムでは，irijule の Theory Board[14]（図 2）を用

リズムを出力リズムとして，リズム変換パターンを登録しいる．Theory Board は事前に選択した調に合う音のみが鳴た．リズム変換パターンは，後述する EDIT モードでユーるキーボードであり，これを使用すると即興演奏中に意図ザが追加できる．

せず不協和音を鳴らす心配が要らず，リズムに集中できる．

3.3 使用方法

本システムはユーザが演奏した旋律の音高を保持したま本システムでは，ユーザとシステムで掛け合いができる

ま，リズムのみ変換した旋律を奏でる．即興演奏初心者はPLAY モード，リズム変換パターンを新たに追加できる

八分音符の連続など，単調なリズムを繰り返す傾向がある

EDIT モード，既に登録されているリズム変換パターンをが，この単調なリズムをシステムが多様なリズムに変換し確認できる VIEW モードが使用できる．各モードは画面右出力する．この出力との掛け合いを続ける中で，ユーザが上の切替ボタンを押下することで切り替えられる．各モー自力で多様なリズムを思いつけるようになることを狙う．

ドの詳細を下記に示す．

リズムの変換のために，システムは初心者が弾きがちな単

3.3.1 PLAY モード

調なリズムと，リズム変換後の多様なリズムを組にした，PLAY モードでは，ユーザとシステムの掛け合いができリズム変換パターンを多く保持している．この単調なリズる．PLAY モード画面を図 3 に示す．まずユーザは録音ボムをユーザが掛け合いの中で弾いたとき，システムは保持タンを押下し旋律を演奏する．演奏を終えた後，再生・停している情報に基づいてリズムを変換する．なお，ユーザ

止ボタンを押下すると，ユーザが入力したリズムを多様なが弾いたリズムがリズム変換パターンに含まれない場合，リズムに変換した旋律が奏でられる．これを繰り返して掛変換は行われず，ユーザが弾いた通りに出力される．

け合いをする．また，システムの出力が終わると，入力リ

ただし，システムによって変換されたリズムはあくまで© 2023 Information Processing Society of Japan

ズムと出力リズムをピアノロール形式で可視化したものが673

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-48
2023/3/1

掛け合いにおいて，複数の出力リズムを持つ入力リズムが演奏された際には，どの出力リズムに変換するかランダムで決定する．また，既に登録されているリズム変更パターンを重複して記載し WRITE ボタンを押下した場合，この登録は反映されない．
リズムの記載には画面下の音符，休符，タイが描かれた
図 2

Theory Board

ボタンを使用する．音符と休符は，入力したい音符または休符が描かれたボタンを押下してから五線譜をクリックす
ると，クリックした場所に記載される．タイは，タイが描かれたボタンを押下した後，五線譜上の音符を 2 つ連続してクリックすると記載できる．また，1 小節に記載したい音符が多く，小節の幅が足りないときは，小節線の上の円をドラッグすることで小節の幅を変更できる．
3.3.3 VIEW モード
VIEW モードでは，既に登録されているリズム変換パタ

図 3

PLAY モード画面ーンを確認できる．VIEW モード画面を図 5 に示す．上段の五線譜には登録されたリズム変換パターンの入力リズムが表示され，下段の五線譜には出力リズムが表示される．
画面左の 2 組の左右ボタンのうち，上段の左右ボタンを押下することで，登録されているリズム変換パターンを順に確認できる．また，1 つの入力リズムに対して複数の出力リズムが登録されている場合，下段の左右ボタンを押下することで，登録された出力リズムを順に確認できる．

図 4

EDIT モード画面

4. 作例
システムによる変換例を図 6,7,8 に示す．各図の上段はユーザが演奏した旋律，下段がシステムによってリズムが変換され奏でられた旋律である．リズム変換パターンは既存の楽曲をプロが演奏した音源を参考に作成したが，既存の楽曲を楽譜通りに奏でても，参考にした音源と同一の旋律にはならない．それは，旋律を 3~5 音のリズムに切り分けていることと，1 つの入力に対して複数の出力が登録されていることによる．例えば，図 6 の①，②はいずれも四図 5

VIEW モード画面

分音符 4 連続の入力だが，複数の出力リズムが登録されており，①’，②’のような異なる旋律が出力されることがあ表示される．ユーザはこの表示を確認することで，自身のる．そのため，ユーザにあらかじめ弾きたい曲と理想のアリズムとシステムのリズムを比較でき，改善点を見出すヒレンジがあっても，想定通りの出力を得ることはできない．

ントが得られる．

しかし，本システムは即興演奏しながら使用することを想3.3.2 EDIT モード定しているため，特定の曲の再現は目指していない．即興

EDIT モードでは，リズム変換パターンを新たに追加で演奏において本システムを用いることで，単調なリズムがきる．EDIT モード画面を図 4 に示す．画面上の 2 段の五ユーザにとって予想外で多様なリズムに変換されるため，線譜のうち，上段に入力リズムを，下段に出力リズムを記

リズム触発システムとして使用できる．

載した後 WRITE ボタンを押下し，新たなリズム変換パタ

図 6 の事例では四分音符と八分音符の単調な入力が，跳ーンを登録する．これにより，掛け合いにおいて上段に記ねるようなリズムに変換されている．図 7 の事例の出力で載した入力リズムをユーザが演奏した際，システムは下段は入力リズムを先取りするノリが付加され，旋律の勢いがの出力リズムに変換するようになる．なお，1 つの入力リ増している．図 8 の事例では図 7 とは対照的に，入力リズズムに対して，複数の出力リズムを登録することもできる．

ムを遅らせ，のんびりした印象の旋律に変わっている．

© 2023 Information Processing Society of Japan674

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-48
2023/3/1

6. まとめ
本稿では，単調なリズムを繰り返してしまいがちな即興演奏初心者が，多様なリズムを思いつけるようになることを目的としたシステムについて述べた．ユーザが演奏した旋律のリズムをシステムが変更し奏でることで，掛け合いを通してユーザのリズムの引き出しが増えることを期待し
図 6

四分音符と八分音符の連続を入力した例ている．今後，より多くの入力に対応できるようリズム変換パターンを追加するとともに，システムの有用性について評価する．

参考文献
[1]

図 7

“It Don’t Mean a Thing”の一節を入力に使用した例

図 8“On the Sunny Side of the Street”の一節を入力に使用した例

5. 制約と展望
本システムとの掛け合いを通してユーザのリズムが多様なものになったか否かは，ユーザ自身の評価に委ねられている．しかし，即興演奏初心者にとって自身のリズムがどのくらい多様になったか評価するのは難しい．よって，ユーザのリズムの多様さを数値化し，評価できるようになることが望ましい．リズムの多様さが数値化できれば，ユー
ザの入力リズムが単調なときのみリズムを変換する機能などが実装できる．さらに，ユーザのモチベーション維持や，学習効率の向上も期待できる．
リズム変換パターンの追加や選定も今後の課題である．
ユーザによる様々な演奏に対応してリズムを変換するには，より多くのリズム変換パターンの登録が求められる．一方，リズム変換パターンの登録については，EDIT モードを使用したユーザによる追加も重要な要素だと考えている．本システムのユーザが複数人に及ぶ場合，ユーザが各々リズム変換パターンを登録し，変換パターンが記載されたファイルを共有することで，多くのリズム変換パターンを集められる．また，現段階ではジャズの楽曲を基にリズム変換パターンを登録しているが，ユーザが好みのジャンルの楽Francois Pachet, Beyond the Cybernetic Jam Fantasy: TheContinuator. IEEE engineering in medicine and biology magazine:
the quarterly magazine of the Engineering in Medicine & Biology
Society, Vol.24, No.1, pp.31-35 (2004).
[2] 柏崎紘一, 山本欧. 演奏者に独自のコード進行とテンポを許すセッションシステム. 情報処理学会研究報告音楽情報科学,Vol.2002, No.123, pp.23-28 (2002).
[3] 石田克久, 北原鉄朗, 武田正之. ism：即興演奏支援のためのリアルタイム旋律補正システム. 情報処理学会研究報告ヒューマンコンピュータインタラクション, Vol.2003, No.111,pp.9-14 (2003).
[4] 大島千佳, 宮川洋平, 西本一志. Coloring-in Piano 表情付けに専念できるピアノの提案. 情報処理学会研究報告, Vol.2001,No.103, pp.69-74 (2001).
[5] 谷井章夫, 片寄晴弘. 音楽知識と技能を補うピアノ演奏シス
テム"INSPIRATION". 情報処理学会論文誌, Vol.43, No.2,pp.256-259 (2002).
[6] 谷井章夫, 片寄晴弘. 演奏システム INSPIRATION の改良-SMF データのインポート機能と音高置換処理の検討. 情報処
理学会論文誌, Vol.46, No.3, pp.849-858 (2005).
[7] 竹内好宏, 片寄晴弘. Two Finger Piano による曲想の表現. 情報処理学会研究報告音楽情報科学, Vol.1995, No.74, pp.37-44(1995).
[8] 奥平啓太, 片寄晴弘. 指一本によるピアノ演奏システム：sfp.
情報処理学会研究報告ヒューマンコンピュータインタラクシ
ョン, Vol.2002, No.9, pp.55-62(2002).
[9] 柳川貴央, 北原鉄朗, 武田正之. 即興演奏における演奏補正システム. 第 64 回全国大会講演論文集, Vol.2002, No.1, pp.910 (2002).
[10] 宮下芳明, 西本一志. 温度で制約を緩やかに提示するシステ
ム Thermoscore を用いた即興演奏支援. 情報処理学会研究報
告, Vol.2004, No.90, pp.13-18 (2004).
[11] 北原鉄朗, 石田克久, 武田正之. 振動機能付鍵盤楽器「ぶるぶるくん」を用いた即興演奏支援システム. 情報処理学会研究報告, Vol.2005, No.45, pp.25-30 (2005).
[12] 竹川佳成, 寺田努, 塚本昌彦. リズム学習を考慮したピアノ演 奏学習支援システムの設計と実装. 情報処理学会論文誌,
Vol.54, No.4, pp. 1383-1392(2013).
[13] 徳井直生. AI は創造性を持ちうるか – 生成的敵対ネットワー クを拡張したリズム生成モデルを実例に. KEIO SFC
JOURNAL, Vol.20, No.2, pp.152-174(2020).
[14] Irijule. https://www.irijule.com/, (参照 2022-12-20).
[15] 納浩一. ジャズ・スタンダート・バイブル〜セッションに役立つ不朽の 227 曲. リットーミュージック(2010).

曲を参考にリズム変換パターンを追加することで，システムの出力がよりユーザの理想に近づくことも期待できる．

© 2023 Information Processing Society of Japan675