情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-292023/3/1

色相表示による音程可視化・音感向上のために合奏状況を再現するシステムの設計と提案
関根 美幸†1,a)

伊藤 正彦†1,b)

概要：広く普及しているチューナーは入力中の音程のみを可視化するため，練習曲で苦手とする箇所を把握することが難しい．また，演奏の本番ではチューナーではなく指揮者を見ながら演奏するため，チューナーを見ず，周囲で自身と異なる楽器や異なる音程の音が演奏されている中で，正しい音程で演奏できるように練習する必要がある．そこで本稿では，自身が演奏した音のずれを可視化することで練習曲の中で苦手とする箇所を把握でき，合奏の周囲音に自身が演奏するべき音を重ねた音を聞きながら練習を行うことで合奏練習の効率化を行うシステムを提案する．本研究では，このシステムの妥当性及び評価実験の手法を確立するために予備実験を行った．その結果，提案手法は従来手法に比べて半音以内に収まった音程のずれを改善する傾向がみられた．今後は予備実験の結果を踏まえて，評価実験を行う予定である．

1. はじめにると仮説を立てた．
二つ目は，音感向上のための練習及びシステムからの離多くの管楽器練習者は楽曲の練習中，譜面台にチュー脱の実現することである．そのために，合奏時の周囲の音ナーを置きながら演奏を行う．このチューナーはディスプに自身が演奏するべき音を重ねた音を演奏する機能を実装

レイにメーターの針が左右に振れることで音程を示すもの

した．自身が演奏するべき音の音量は調整可能であり，こである．しかし，チューナーは現在演奏している音の音程の音量を変更することで補助の強さを変更しながら合奏練のずれを把握することは可能だが，練習全体や練習曲で自習を行うことができる．段階的に補助を軽減することで，身が苦手とする箇所を把握することは難しい．そのため，チューナーを使用せずとも聴こえる音から音程を修正でき練習者が自身の不得意とする箇所を記憶できず，得意な箇る能力を向上できると仮説を立てた．

所ばかり練習してしまう可能性がある．
また，本番の演奏ではチューナーではなく指揮者を見て

2. 関連研究

演奏することが求められるため，チューナーを見ずに正し管楽器の学習支援の研究においては，特定の楽器に特化い音程で演奏できるよう練習する必要がある．更に，本番した先行研究は多い [1], [2], [3] ．これらの研究では従来のの演奏では周囲で自身と異なる楽器や異なる音程の音が演練習に補助の情報提供を行うものが多い．しかし，補助を奏されているため，自身が演奏する音や周囲の音を聴いて，提供する目的は補助によって改善された演奏を，補助を完正しい音程で演奏する技術を向上させる必要がある．

全に取り去っても続けられるようになることであり，補助

これらの知見に基づき本研究では，二つの機能要件を備を同じ強さで提供し続けてしまうと練習者の習熟が停滞しえたデスクトップ上で動作するチューナーを設計・実装してしまう [4]．そのためには，補助の強さを強制的またはた．一つ目は，苦手箇所を把握できることである．そのた練習者が自発的に小さくするように設計する必要がある．

めに，音程のずれの大きさを色相で示す機能及び練習曲の例えば [4] の学習支援システムは，現在提供されている補各音符の音程のずれを可視化する機能を実装した．この機助の強さを示すことで補助からの離脱を考慮している．

能によって自身の音程のずれを印象強く練習者の音程のず[4] ではシステムからの離脱方法を二つ挙げている．一れを提示したり，各音符の音程のずれを可視化したりでき，つ目は模範や現状の提示を軽減するシステムで，練習の中その結果従来のチューナーより苦手箇所を把握しやすくなで習熟度が向上した箇所から提供する補助が自動的に軽減されていく．二つ目は模範や現状の提示情報を使わないよ†1a)b)

現在，北海道情報大学
s1921258@s.do-johodai.ac.jp
imash@do-johodai.ac.jp© 2023 Information Processing Society of Japan

うに促すシステムであり，補助を使用しないことで得点が加算されたり，補助を使用することで得点が減算またはペ591

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-29
2023/3/1

ナルティが課されたりすることで実現される．本研究の提練習者 (管楽器中級者と定義する) を対象としている．な案システムでは後者を採用した．

お，本研究では正しい音程であるかの判断基準を正しい音

後者の方法では練習者が補助を見たくなくても視界に程から上下 5 セント*1 以内とした．

入ってしまうといった利用者の意図に反して補助が利用さ

また，本システムの到達目標は，管楽器中級者が合奏時れる可能性及び，利用者がどの程度補助を利用したかを判や本番の演奏時など，チューナーを使用せず周囲で自身と別する必要性がある点が示唆されていた．そのため本研究異なる楽器や異なる音程の音が鳴っている状況でも，正しでは，補助の強さ及び有無を選択して利用者が利用したいい音程で演奏ができるようになるための練習の効率を向上

場合のみ提供することで，利用者の意図に沿った補助を提させることである．そのために，必要となる提案システム供する．加えて，補助の強さを常に提示することで，補助の機能を以下に示す．の強さを小さくするよう促し，補助の強さと利用回数を記録する．

(1) 音程可視化機能：入力された音声から音名を推定し，正しい音程との差を視覚的に可視化する機能．更にこの可なお， [4] とは現在提供されている補助の強さを示すこ

視化を色相で行うことで，練習者が演奏している音程のずとで補助の強さを小さくするよう促す点は共通している

れの大きさをリアルタイムに印象強く把握できるようにが，本研究では視覚に加え聴覚においても補助を行っていなる．

る点で異なる．

(2) 苦手箇所可視化機能：練習曲の中で自身が苦手とす[5] は管楽器初心者の学習支援を行っており，横軸を時る箇所を把握するために，練習曲の各音符でどの程度音程間とし縦軸を音高としたグラフによる音高提示とシステムがずれていたかを提示する機能．また，練習曲全体で音程の演奏によるガイド音の提示を行っており，習熟度によっが合っていた度合いを得点として表示することで，練習をて補助を段階的に軽減することでシステムからの離脱を考通した曲全体の習熟度も把握できる．

慮している．本研究とは練習者の習熟度に応じて補助の強(3) 合奏練習機能：聴覚的補助を提供した合奏練習を行さを変更するのではなく，現在提供されている補助の強さう機能．合奏音に自身が演奏するべき音 (補助音) を重ねてを示すことで補助の強さを小さくするよう促す点で異な再生することで，周囲で異なる楽器や音が演奏されていてることに加え，視覚による音高提示が色相によって提供さも正しい音程で演奏する技術を向上させる練習を行うことれる点，聴覚による補助が合奏状況の周囲音を含む点で異ができる．補助音の音量は調節可能として，補助の強さをなる．

提示することで補助からの離脱を促す．

[3] は視覚的及び聴覚的な補助情報であるマルチモーダ(4) 演奏モードの切替機能：補助の有無及び強さを自由

ル情報を用いてバイオリンの学習支援を行っており，視覚に設定して練習ができる練習モードと，苦手箇所を把握す的補助として音の出だしの音程のずれを履歴として表示るために補助なしで演奏を行い習熟度を可視化するためのし，聴覚的補助としてシステムが演奏している音の音程のテストモードを切り替える機能．練習モードは 10 分間にずれを答えるクイズを実装することで，視覚的補助のみの設定されており，終了後はテストモードに切り替えること

提供よりもマルチモーダル情報の提供の方が学習効果が高が推奨される．

いことを検証している．本研究でもマルチモーダル情報の(5) 各種ログ取得機能：提案システムの妥当性を検証す提供を行っているが，視覚的補助は履歴として残らず更新

るため，演奏した音程や押下したボタンの情報を取得するされ続ける点及び，聴覚情報が合奏時の周囲の演奏音を含機能．

む点で異なる．

提案システムの練習モードの画面を図 1 に示す．

[1], [2] ではシステムからの離脱が考慮されていないた
め，この点で本研究と異なる．また，前述した先行研究の3.2 システム構成

うち [5] 以外は特定の楽器を対象とした学習支援を行ってA. 音程の表示: マイクから入力された音声から，音名いる．本研究は対象とする楽器を限定していない点でこれと周波数を表示している．表示は 300 ミリ秒に 1 回更新さらの先行研究と異なる．

れる．練習者は通常後述の M を眺めながら演奏を行うが，3. 設計と実装
3.1 方針

音程が正しい音程から半音以上ずれてしまった場合は半音違いの音程を基準に色相が変更されるため，この情報の方が有用になる．

本研究の提案システムは，極端に高いまたは低い音以外は演奏できるが，チューナーを使用せずに音程を修正する

B. チューナー起動: 音声の入力と練習時間のカウントを開始し，後述の L 及び M を表示する．

ことが困難である，あるいはチューナーを使用せずとも正しい音程の音を演奏できるが合奏時に自身の音を十分に聴き取れないため正しい音程で演奏することが難しい管楽器© 2023 Information Processing Society of Japan

C. チューナー停止: 視覚による補助機能である A，L，*1

1 オクターブを 1200 で割った数値．C と C#といった半音間は100 セントである．

592

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-292023/3/1の平均値が正しい音程から 5 セント以内に収まった音符の数を得点として表示する．折れ線グラフの例を図 2 を以下に示す．

図 1

提案システムの画面 (楽譜部分にモザイク処理を行った)

M を全て非表示にする．このボタンを押下しても演奏中の

図 2

習熟度表示画面 (楽譜部分にモザイク処理を行った)

ログ取得のためチューナーは起動状態のままであるが，視覚的補助が完全に取り去られることを練習者に端的に伝えるため，ボタン上のテキストは「チューナー停止」とした．

D. 補助レベル変更: 聴覚補助の補助音の大きさを変更する．この機能によって聴覚による補助の強さを変更できる．補助の強さは「強」「中」「弱」「無」の 4 段階があり，「強」は合奏音が小さく，補助音が大きい．「中」は「強」より合奏音が大きく補助音が小さく，「弱」は「中」より補助音が小さい．
「無」は補助音が演奏されず，合奏音のみが習熟度表示画面では上下にスクロールすることで演奏曲全ての音程のずれの推移を確認できる．なお，正しい音程から 50 セント以上ずれた場合，該当音符のグラフは描画されない．

L. 凡例: 音程の色相可視化の凡例を示す．表示される色相はずれの大きさに対して，7 種類が割り当てられている．
音のずれ大きさと色相の対応を，図 3 に示す．

演奏される．

E. 現在の補助レベル表示: 現在選択している補助の強さを表示する．

G. ユーザー変更: 練習者の名前を F に入力した値に変更する．この操作は練習開始前に行う．

H. 聴覚補助の開始: E に示された補助レベルに従って，合奏音と補助音を重ねて再生する．

I. 聴覚補助の停止: H によって再生された音声を停止する．

J. 残り時間の表示: 練習できる残り時間をカウントダウンして表示する．練習時間は 600 秒間に設定されている．
図 3

残り秒数がが 0 秒になると A に「停止しました」と表示

色相表示の凡例

し，後述の L 及び M を非表示とすることで，練習時間が経過したことを示す．

K. テスト開始: 提案システムには練習モードとテスト

M. 色相による音程可視化: 図 3 に従って，入力された音声の音程のずれの大きさを色相で提示する．

モードがある．練習モードでは A や M による視覚補助やログ記録: 入力された周波数と音名，操作したボタンのD や H による聴覚補助を自由に利用でき，利用者が補助種類及び補助レベルの強さをタイムスタンプとともに記録を利用しながらシステムから離脱することを目指す．テスする．

トモードでは練習者の習熟度を可視化ことを目的としており，合奏音のみを一度だけ再生し，練習者は合奏音に合わ

4. 評価実験せて補助を一切利用せず演奏を行う．その後，演奏全体で本稿では，提案システムの妥当性と評価実験の手法を確の音程のずれの推移を示した折れ線グラフと，音程のずれ立するために予備実験を行った．予備実験の様子を図 4 に© 2023 Information Processing Society of Japan593

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-292023/3/1

す．なお，指向性のマイクを楽器のベルに貼付することで音声を入力した．

図 4

実験の様子

示す．
ここで，被験者の上達速度は人によって異なることに注目したい．そのため，従来手法のみまたは提案手法のみで練習を行った二群の間で比較を行うと，従来手法と提案手法の効果の違いを厳密に比較することができない [6]．その

図 6

提案手法の練習の様子

図 7

従来手法の練習の様子

ため，今回の予備実験では，練習者が一般的なチューナーを使用する従来手法と提案手法を交互に行い，従来手法と提案手法のテストモードの結果の差に着目した．

練習楽曲：練習楽曲として，スコットランドの民謡曲である蛍の光を使用した．使用される音は中音域がほとんで予備実験で検証した項目を以下に示す．

あり，管楽器中級者であれば，10 分程度の練習で一通り演(1) 従来手法と提案手法のテストモードの結果の差から奏できる程度の難易度である．なお，筆者は実験が開始さ提案手法の有効性が確認できるか(2) 提案手法で視覚的補助と聴覚的補助が使用され，有用であったかれるまでにこの楽曲を暗記していた．なお，提案システムの実装の都合上，筆者はトランペットの楽譜をホルンの楽譜に読み替えて演奏している．
実験の流れ：練習者には実験前にマウスピースを鳴らし4.1 実験内容たり，楽器を吹いたりする時間が 5 分程度与えられていた．

被験者：被験者は著者 1 名で，使用楽器はホルンであっ実験は 1 タームあたり 10 分間の練習を 6 回繰り返し，奇た．著者は 13 年前から 3 年間ホルンを演奏している．10 年

数タームは提案手法で演奏を行い，偶数タームは従来手法間のブランクがあり，最後に練習したのは 2 日前であった．

で練習を行った．1 ターム目開始前及び各タームの終了時

従来手法：従来手法では，視覚的補助及び聴覚的補助はに提案システムのテストモードを合計 7 回利用した．練習提供されず，図 5 示すチューナーをノートパソコンに立て者は指定された楽曲の演奏の質を上げる練習のみを行い，かけて使用した．楽譜はノートパソコン上に表示した．

楽曲と全く関係のない練習を行うことは禁止されていた．

4.2 実験結果
各タームのテストモードの得点の推移を図 8，音程のずれが半音以内に収まった個数の推移を図 9，音程のずれの大きさの推移を図 10 に示す．*2
また，各音符の音程のずれの大きさの推移をタームごとに算出し，その回帰直線の傾きを図 11 に示す．この値が大
きい音符は，練習を通して音程のずれが改善していると考えられる．図 11 の値が著しく大きかった 4 箇所について，
図 5

実験で使用したチューナー該当する音符を図 12 に示す．傾きの分布を図 13 に示す．
ここでは 0 以上の値が多いと，練習を通して音程のずれが提案手法：提案手法では，提案システムの練習モードを改善した音符の個数が多いと考えられる．今回は図 13 で視覚的補助及び聴覚的補助の有無や強さを自由に変更しな値が 0 以上となった音符は全体の約 6 割で，0 未満となっがら利用でき，図 5 に示したチューナーは使用しなかった．

た音符は全体の約 4 割であった．

聴覚的補助は練習者の頭上のスピーカーから十分な音量で*2再生された．楽譜はノートパソコン上に表示した．
提案手法及び従来手法の練習の様子を図 6 及び図 7 に示

© 2023 Information Processing Society of Japan

従来手法で用いたチューナーは A の音の周波数が 442Hz であったことに対し提案システムの A の音の周波数は 440Hz であったが，今回の実験の分析に与える影響は軽微であり，誤差の範囲に収まることを確認した．

594

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-29
2023/3/1

なお，3 ターム目と 4 ターム目は機材の都合により正常に記録できなかったことより，除外した．そのため，分析には練習開始前及び提案手法 1 回目後，従来手法 2 回目後，提案手法 3 回目後及び従来手法 3 回目後のテストモードの結果を用いている．
また，全タームにおいて聴覚的補助の利用状況を以下図図 1114 に示す．今回視覚的補助は全ての奇数タームで利用さ各音符の音程の改善度合いれ，停止されることはなかった．

図 12

図 8

実験を通して著しく音程が改善した箇所

各タームの得点の推移
図 13

図 9

各音符の音程の改善度合いの分布

音程のずれが 50 セント以内に収まった個数

図 14

聴覚的補助の利用状況提案手法においては上昇傾向をもつため，提案手法の練習後は音程のずれが小さくなっていると考えられる．なお，全体を通して得点が下降しているのは疲労のためであると考えられる．また，図 9 より，音程のずれが半音以内に収まった個数は練習を通してほぼ横ばいであったが，図 10 より，演奏全体のずれの大きさは提案手法において減少傾向
図 10

音程のずれの絶対値の平均値の推移がみられた．よって，提案手法は音程が半音以上ずれる音を修正する傾向は認められなかったが，半音以内に収まっている音程のずれを修正する傾向は認められ，それは従来4.3 考察手法よりも大きいと考えられる．

図 13 の値が 0 以上となった音符の数が全体の 6 割であ図 14 から練習が進むにつれて聴覚的補助を利用する回ることから，練習を通して音程のずれが改善した音符は，数が増えていることから，実験が進むにつれ練習者は視覚音程のずれが悪化した音符よりも多く，音程のずれは練習的補助ではなく聴覚的補助を用いて音程を合わせることを全体を通して改善していた．

試みている．更に，図 11 の値が極端に大きくなっている

図 8 より，得点は従来手法においては減少傾向をもつが，© 2023 Information Processing Society of Japan

上位 4 か所のうち 3 か所は，同じ音程の音符が連続する箇

595

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-29
2023/3/1

所の最後の音符であった．以上より，聴覚的補助を利用した結果，自身または周囲の音を聴いて音程を合わせる技術が向上したため，同じ音符が続く箇所の後半は音程を合わせられるようになったと仮説を立てることができる．このことは再度実験を行うことで検証したい．
また，提案手法は従来手法に比べて一か所を集中的に練習する傾向がみられた．これはチューナーだと一瞬しか音程のずれが確認できないような長さが短い音符であっても，提案手法の色相による音程表示だと印象強く音程のずれを提示できたためであったように感じた．視覚的補助が苦手箇所の把握に貢献しているかは，再度実験を行うことで更に検証したい．

5. まとめ本研究では，練習曲の中で苦手とする箇所を把握でき，音感を向上させ合奏練習の効率化を行うためのシステムの設計及び実装を行った．実験からは提案手法が従来手法と比べて，半音以内に収まっている音程のずれを修正する傾向が認められた．本実験では被験者が 1 名であったこと，実験中の記録の一部が分析に使用できなかったことから，今後は被験者数を増やし，本システムの妥当性を更に検証したい．
また，本システムの聴覚的補助を利用することで音程のずれを聴覚的に修正できる技術が向上すること，苦手箇所の可視化によって練習効率が向上することは本実験ではまだ仮説に過ぎないため，今後の実験で更に検証したい．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

玉渕誠人，蔡 敏雅，阿部 亨，菅沼拓夫： AR を用いた初学者向けトロンボーン演奏学習支援システムの提案，第82 回全国大会講演論文集， Vol. 2020, No. 1, pp. 717–718(2020).
泰えりか，青柳龍也： トランペットのロングトーン練習に対する即時フィードバック自動生成の研究，研究報告音楽
情報科学，Vol. 2017-MUS-115, No. 31 (2017).
齊藤 塁，竹川佳成，平田圭二： バイオリン初心者のためのマルチモーダル情報提示によるポジショニング学習支援システムの設計と実装， Vol. 2018-HCI-176, No. 1 (2018).
竹川佳成，寺田 努，塚本昌彦： システム補助からの離脱を考慮したピアノ演奏学習システムの設計と実装，コン
ピュータ ソフトウェア， Vol. 30, No. 4, pp. 51–60 (2013).
池田絵里，竹川佳成，平田圭二： 管楽器初心者を対象とした音高正誤判定能力向上のための学習支援システム，情報処理北海道シンポジウム 2014 (2014).
宮下芳明： インタラクション研究でのシングルケース実験についての考察，エンタテインメントコンピューティング
シンポジウム 2019，pp. 248–254 (2019).

© 2023 Information Processing Society of Japan596