情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-202024/2/28

Aqua Tambourine：カラオケを盛り上げるための伴奏楽器の提案
堀江 歩†1西本一志†1

概要：カラオケを盛り上げるためにタンバリンやマラカスなどの打楽器がよく用いられる．しかし，歌唱者の歌唱を盛り上げるようにこれらの楽器を上手く演奏するためには，演奏経験やリズム感などが必要不可欠となる．そこで本研究では楽器演奏に馴染みの無い人間でも簡単かつ適切に伴奏できるような非歌唱者用伴奏楽器を提案する．提案シ
ステムである Aqua Tambourine では，奏者がタンバリンを振る動作から得た振動周波数によって，奏者が演奏しようとしているビートを推定し，歌唱中の楽曲に合わせた適切なタイミングで演奏音を出力する．本稿では，AquaTambourine の構成と，これを用いた現在進行中の実験結果の一部について報告する．

1. はじめにができるだろう．
しかしながらこれらのパーカッションは，誰でもすぐにカラオケは日本発のレジャーであり，今や世界各国で親演奏できるとは言え，歌唱者の歌唱に合わせて違和感なくしまれている．カラオケで歌唱し自己表現することで満足上手に演奏することは難しい．やはり楽器の演奏経験やリ感を得たり，他人と息を合わせて歌唱することによって親ズム感が必要不可欠である．西堀らの演奏系の遅延に関す睦を深めたり，大声で歌うことでストレスを発散したりと，る研究[2]によれば，音楽の合奏時の演奏の遅延が 50ms 程

様々な楽しみ方がある．近年では「ひとりカラオケ」とい度になると演奏に悪影響が出はじめ，80ms を越えると演奏う，1 人だけでストイックに歌唱すること自体を楽しむス困難になることが確認されている．カラオケで初めてパータイルも普及しつつあるが，カラオケという娯楽の大きなカッションを演奏するような初心者にとって，タイミング魅力は，やはり複数人で盛り上がることによる一体感であの誤差を 50ms 以下に抑えることはきわめて困難である．

ろう．同じ空間に親しい人たちが集まり，様々な楽曲を歌っ大きなタイミングのずれを含んだ下手な伴奏をしてしまうたり，聞いたりすることでその集団全員が楽しい雰囲気をと，歌唱者の歌唱に悪影響を及ぼし，場の雰囲気や一体感味わうことができる．

を損なう可能性がある．このように，単にタンバリンやマこのようにコミュニケーションの場として魅力的なカラカスなどのパーカッションを用意するだけでは，むしろラオケだが，いくつかの問題も存在する．その 1 つが，歌好ましくない結果をもたらす危険性がある．なんらかの支唱者とそれ以外の聴衆の温度差である．歌唱者には「歌う」援が必要である．という役割があるが，聴衆には明確な役割が無く，多くの通常の楽器演奏支援システムにおいては，支援されつつ場合自分が次に歌う楽曲を探す作業に専念し，歌唱者の歌も奏者が独自の演奏表現を創造できるようにすることが必唱をなおざりにしか聞いていない．このような温度差があ要であり，そのために必要十分な操作自由度を残す必要がる状況は，歌唱者のモティベーションを低下させ，一体感ある[3]．奏者に与えられる自由度が高いほど，多様な表現の醸成に悪影響を及ぼす．

を実現できるようになる反面，操作（演奏）は一般に困難

そこで，歌唱者の歌唱行為に聴衆も積極的に参加できるになる．一方，カラオケにおける伴奏のためのパーカッショようにするための手段として，多くのカラオケ店にはタンン演奏で，奏者の独自な表現を発揮する必要性はほとんどバリンやマラカスなどのパーカッションが用意されている．

無い．カラオケではあくまで歌唱者のパフォーマンスが優これらのパーカッションは，誰でも容易に音を出せ，簡単先されるべきである．聴衆によるパーカッション演奏に求なリズムならばすぐに演奏することが可能である．それゆめられるのは，少なくとも歌唱者の邪魔をしないレベルのえ，演奏経験が無い者でも，歌唱者に合わせて合奏するこ

正確な演奏をすることと，さらにできれば歌唱者の歌唱をとができる．また佐久間らの研究[1]によれば，パーカッ盛り上げることであるが，これは演奏音に頼らずとも，視ション演奏における演奏者の意図の伝達には聴覚情報だけ

覚情報での楽しさの表現で事足りるし，むしろその方が効ではなく視覚情報の影響が大きいことが確認されている．

果的であろう．そこで本稿では，カラオケでの伴奏に特化

特に「楽しげ」な演奏表現は，視覚情報によって伝達されしたタンバリン型リズム楽器 Aqua Tambourine を提案する．

る部分が大きいことが示唆されている．ゆえに，これらの備え付けのパーカッションを用いて聴衆が楽しげに演奏す2. 関連研究と本研究の位置づけ

れば，場を盛り上げ一体感を醸成することに寄与すること

2.1 演奏支援機能付きの楽器†1 北陸先端科学技術大学院大学 先端科学技術研究科
Graduate School of Advanced Science and Technology, Japan Advanced
Institute of Science and Technology© 2024 Information Processing Society of Japan

ピアノやヴァイオリン，トランペットなどの伝統的な楽器は，多種多様な楽曲を演奏することができ，自由自在に

718

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-20
2024/2/28

演奏表情を創作することもできるように，非常に高い操作

奏には，通常の楽器演奏とは根本的に異なる特徴がある．

自由度を有している．それがゆえに高い表現力を持つが，具体的には，以下の 3 点である i：

その副作用として演奏が困難になる．それらの自由度の中⚫には，常に必要無いような自由度が含まれることがある．
そこで，必要の無い自由度を削減することで楽器の演奏を音楽的な知識も経験も特に保有していない．
⚫

容易にし，実行すべきこと（だけ）を直接実行することができるようになる[3]．楽器の演奏支援機能は，多くの場合このような考えに基づいてデザインされている．

カラオケの伴奏者は，伴奏楽器演奏の初心者であり，カラオケの伴奏者は，伴奏楽器の演奏に習熟することを特に望んでいない．

⚫

カラオケの伴奏者は，自分の音楽的な創造性を発揮することを特に望んでいない．

たとえば大島らによる Coloring-in Piano（CiP）[4]は，ク

カラオケにおける伴奏の役割は，あくまで場を盛り上げる

ラシック音楽に代表される再現演奏を支援することに特化ことである．つまり伴奏者は，音楽の創造的表現や学習をした楽器である．再現演奏とは，作曲者が作成した楽譜に楽しみたいのではなく，その場しのぎの演奏でカラオケを書かれた音列を，奏者が完璧に再現することを求められる盛り上げ，皆と楽しむことを求めている．ゆえに，たとえ演奏である．ゆえに再現演奏では，奏者には「どの音高の簡易な表記法であったとしても，読譜などの音楽的知識を音を演奏するか」に関する自由度は一切与えられていない．

必要とする手法は好ましくないと考える．一方，ボタンをそこで CiP では，楽器から奏鳴させる音の選択に関する自1 つ押せば正しい伴奏が再生されるような手法は，特に視由度を除去した．演奏する楽曲の音高列情報をあらかじめ覚的な意味での場の盛り上げや歌唱者との一体感の醸成に入力しておき，奏者から「次の音を発音せよ」という指示貢献できないので，やはり好ましくない．

がある都度，入力されている音高列情報の音が順番に出力

そこで本研究では，演奏者の意図をある程度くみ取りつされる．ただし，個々の音をいつ，どのような強さで発音つも歌唱者のリズム感を乱さないために正確な演奏を出力するかなどの演奏表情の創作に必要な情報は，すべて奏者でき，しかも「いかにもノリノリで演奏している」というが入力した通りに出力される．こうして，奏者を「次に奏視覚 的表 現を 可 能に する ， 電子 パー カッ シ ョン “Aqua

鳴させる音の正しい選択」のための操作から解放すること

Tambourine”を提案する．これにより，素人の伴奏が生み出により，奏者は独自の演奏表情の創作のみに専念できるよす拙いリズム感や音色が歌唱者の歌唱を阻害することなく，うになる．

歌唱者とパーカッション演奏者を含む聴衆全員が互いに楽

このように，従来の演奏支援機能付きの楽器の研究は，奏者による創造的表現を支援するためのものが多い．
2.2 カラオケにおける伴奏の支援

しめるようなエンタテインメントを実現する．

3. Aqua Tambourine

栗原ら[5]は，カラオケの歌唱者だけでなく，聴衆が能動本章では，2.3 節で述べたカラオケにおける伴奏演奏の特的に参加し，場を盛り上げることに適した電子タンバリン徴に基づいて構築した，カラオケ伴奏用に特化したパー型カラオケ支援システム「スマートタンバリン」を開発しカッション楽器である Aqua Tambourine について説明する．

た．演奏支援のための機能としては，タンバリン譜を「参この名称の意味は，Air Guitar のような一切実体がない仮想考」として表示する機能を実装している．簡易的な譜面を楽器よりは実体があるものの，本物の楽器よりは仮想的な用意して画面表示することで，知らない楽曲でも演奏でき楽器であるという意味を表現するために，Air（空気）よりるようにしている．場を盛り上げるための機能としては，も実体感はあるが明確な形を伴う実体が無い Aqua（水）と過剰に大きな音にならないように自動的に音量を制御する形容したものである．

機能と，タンバリンを叩くと光る機能を実装している．こ図 1 に Aqua Tambourine のシステム構成を示す．伴奏者

れら 3 つの機能により，タンバリン奏者はある程度正しいが使用する演奏デバイスには，市販の半月型タンバリンの演奏を歌唱者の歌唱を邪魔することなく行え，かつ聴衆がシンバルを固定して音が鳴らないように加工し，マイコン伴奏者として参加していることを歌唱者や他の聴衆に視覚モジュール M5StickC Plus[6]をタンバリンの筐体に組みつ的にも知らせることができるようになる．スマートタンバ

けたものを使用する．このマイコンモジュールには IMU セリンを使用した評価実験の結果，通常のタンバリンよりもンサ ESP32 が内蔵されており，加速度と角速度を計測できカラオケが盛り上がったという結果が得られた．

る．取得した加速度と角速度のデータは，Bluetooth 通信で2.3 本研究の位置づけPC（Microsoft Surface）に送信される．

本研究では，カラオケにおける歌唱への伴奏を対象とし演奏者が演奏デバイスを振って演奏を行うと，その振動た支援機能を持つ，タンバリン型のリズム楽器を実現するデータが PC に送られる．通常の電子タンバリンを実装すことを目指す．この楽器においても，奏者の演奏意図を（ある場合であれば，この振動データからピークを検出し，各る程度）反映可能とする必要があるのは従来の支援楽器とi これらの条件にあてはまらない，熟達した演奏技術を持つような伴奏同様である．しかしながら，カラオケの場における伴奏演者などがいる可能性もあるだろう．しかしそのような伴奏者に対しては，特に支援の必要は無いので，通常のタンバリンを使用してもらえば© 2024 Information Processing Society of Japan719

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-202024/2/28のビートのいずれを演奏したいかを選択して入力するだけの選択スイッチと機能的には同等である．しかしながら，3 つのスイッチのいずれかを選択して押すだけの操作では，歌唱を盛り上げたり一体感を醸成したりすることは難しい．
そこでこのデバイスを振って出力したいビートを選択するようにすることで，実際には演奏していないにもかかわらず，あたかも演奏しているかのように振る舞うことが可能となり，歌唱者のリズム感を乱さないような演奏を出力するとともに，視覚的効果によって場を盛り上げ，一体感を図 1

Aqua Tambourine の構成醸成できるようになることが期待される．

4. ビート推定のための周波数帯調査
ピークのタイミングでシンバル音をピークの振幅に応じた

本提案システムでは，タンバリンに取り付けた M5StickC音量で出力することになるだろう．しかしこのような電子

Plus の IMU センサで計測した 6 軸の加速度・角速度デー

タンバリンでは，演奏技術が未熟な伴奏者は適切な演奏をすることができない．
Aqua Tambourine では，ピークのタイミングでそのまま演奏音を出力することはしない．代わりに，まず連続するピークの時間間隔から，演奏デバイスが振られている振動の周波数を算出する．この周波数を，現在歌唱中の楽曲のカラオケデータから取得できる BPM（Beats per minute）情報と照合し，演奏者がどのようなビートで演奏しているつもりなのかを推定する．たとえば，60BPM の楽曲を歌唱中に4Hz 前後の周波数で演奏デバイスが振動していることが検知された場合，1 拍あたりに 4 回の発音，すなわち 16 ビート（Sixteen beat）の演奏を行っているつもりであると推定する．この結果に基づき，歌唱中のカラオケの演奏に合った正確なテンポとタイミングで 16 ビートのタンバリン演奏音を出力する．ゆえに，この 16 ビートの演奏音は，演奏者が出力する振動のピークとは必ずしも一致せず，むしろ不安定な演奏の場合，ほとんどのピークから若干ずれたタイミングで発音されることになるだろう．
ビート推定は，基本的には各ビート間の境界となる閾値周波数と現在の周波数とを比較することで行われる．ただし，閾値を単一の固定値にすると，意図しない頻繁なビートの移り変わりが生じる可能性が高くなる．例えば，演奏者が 4 ビートと 8 ビートの境界閾値近傍の周波数でタンバリンを振り続けていると，4 ビートと 8 ビートが頻繁に入れ替わって出力されてしまう．そのため Aqua Tambourine
では，各ビート間の閾値周波数にヒステリシスを導入している．たとえば 4 ビートの演奏と推定されている状態から8 ビートに移行する際の閾値周波数は，逆に 8 ビートから4 ビートに移行する際の閾値周波数よりも高い周波数に設定する．これにより，ビートの境界周波数近傍での演奏にタから振動の周波数を算出し，演奏者の意図するビートの種類を推定する．この機能の実装にあたり重要なのは，演奏リズムのブレをある程度把握しておくことである．例えば，60BPM の楽曲に合わせて 4beat でタンバリンを正確に振った場合の周波数は 1Hz になる．しかし，特に演奏の初心者がタンバリンを完全に正確なリズムで振ることは不可能なため，1Hz 前後に数値がぶれることが予想される．よってビートを推定するためには，それぞれのビートに対応した演奏者のリズムのブレを含めた周波数帯をあらかじめ調査しておく必要がある．そのため予備実験を行った．
予備実験では，楽曲音源の再生に合わせて 6 軸センサを取り付けたタンバリンを振るように実験協力者に指示した．
これを 4 ビート／8 ビート／16 ビートの 3 パターン行った．実験参加者は北陸先端科学技術大学院大学の学生 6 人であり，パーカッション経験者 2 人，音楽経験者 2 人，音楽未経験 2 人である．実験は大学院内にある防音室内で行った．再生する楽曲は GreeeeN の「キセキ」（90BPM）とした．
取得した周波数の分布を図 2 に示す．また各ビートの演奏における平均周波数と標準偏差σ，1.5σ区間を表 1 に示
す．4 ビートの場合は周波数の平均は 1.55Hz（理論値は1.5Hz）で，標準偏差は 0.4Hz 程度であった．8 ビートの場
合は周波数の平均は 3.11Hz（理論値は 3Hz）で，標準偏差は 0.6Hz 程度であった．16 ビートの場合は周波数の平均は6.84Hz（理論値は 6Hz）で，標準偏差は 1.94Hz 程度であった．表 1 に示すように，おおむね各ビートの平均周波数±1.5σの周波数付近に，隣接するビート間の境界を設定することが妥当であると考えられる．これらの結果から，提案システムでは，平均周波数±1.5σ区間をそれぞれのビートの基本的な推定範囲にすることとした．

よる不安定な推定の切り替わりを抑制している．
現在の Aqua Tambourine は，4 ビート／8 ビート／16 ビー

5. 実験（途中経過）

トの 3 種類のビートのいずれであるかを推定する機能だけ構築した Aqua Tambourine システムを実際にカラオケのを備えている．つまり Aqua Tambourine は，これら 3 種類伴奏に使用する実験を実施している．この実験は現在進行© 2024 Information Processing Society of Japan720

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

図 22B-20
2024/2/28各ビートごとの周波数分布
図3

表1

実験の様子

各ビートごとの平均周波数・標準偏差・1.5σ区良を加えたうえで，実際のカラオケ環境にて本システムを間（単位は Hz）
平均周波数

標準偏差

1.5σ区間

4 ビート

1.55

0.40

0.95～2.16

8 ビート

3.11

0.60

2.21～4.01

16 ビート

6.84

1.94

3.93～9.76

中であるため，本章では現在までに完了した一部の実験結用いた評価実験を行う．Aqua Tambourine によって一般的なタンバリンよりもカラオケを盛り上げられるか，パーカッション演奏者は楽しめるかなどについて評価していく予定である．
謝辞

実験に協力いただいた皆さんにお礼申し上げます．

果のみを紹介する．シンポジウムでの発表では，全部の実験結果と，それに基づく考察も報告する．
現在までに 3 名 1 組での実験を 1 回実施し，アンケート参考文献[1]による評価を行った．実験協力者は，いずれも北陸先端科
学技術大学院大学の学生であり，実験は学内の防音室で実[2]施した．カラオケシステムとしては，楽曲の MIDI データを再生し，歌詞表示をするだけのシンプルなシステムを開[3]発し，実験に用いた．実験では，3 人の実験協力者がそれ
ぞ れ 歌 唱 者 ， 聴 き 手 ， 通 常 の タ ン バ リ ン 奏 者 ， Aqua
Tambourine 奏者の役割を 1 回ずつ担当してもらった．実験の様子を図 3 に示す．

[4]

実験終了後に，アンケート調査を行った．その結果， 3人の内 2 人から，演奏難易度や演奏に対する抵抗感などの項目に関し，Aqua Tambourine の方が通常のタンバリンより[5]も良いという評価を得た．しかし，もう 1 人からはビート推定の精度の悪さや通常のタンバリンとの操作性の違いから低評価を受けた．これらの評価を踏まえ，現在システムの改良を進めている．

[6]

佐久間真理，大串健吾：パーカッション演奏における演奏者の意図の伝達 ‐視覚と聴覚の相互作用‐，日本音響学会誌，50 巻 8 号，pp.613-622，1994．
西堀佑，多田幸生，曽根卓朗：遅延のある演奏系での遅延の認知に関する実験とその考察，情報処理学会研究報告，Vol.
2003-MUS-53，No. 9，pp.37-42，2003．
Nishimoto, K., Oshima, C., and Miyagawa, Y.: Why Always
Versatile?: Dynamically Customizable Musical Instruments
Facilitate Expressive Performances, Proc. the 3rd Int’l Conf. on
New Instruments for Musical Expression (NIME03), pp.164-169,
2003.
大島千佳，西本一志，宮川洋平，白崎隆史：音楽表情を担う要素と音高の分割入力による容易な MIDI シーケンスデータ作成システム，情報処理学会論文誌，Vol.44，No.7，pp.17781790，2003．
栗原拓也, 横溝有希子, 竹腰美夏, 馬場哲晃,北原鉄郎：スマー
トタンバリン：音と光で場を盛り上げるカラオケ支援システム，情報処理学会研究報告，Vol.2017-MUS-114，No.3，pp.1-5，
2017．
ス イ ッ チ サ イ エ ン ス ： M5Stickc Plus ， https://www.switchscience.com/products/6470 （2023 年 12 月 17 日閲覧）

6. おわりに本研究ではカラオケ伴奏用に特化したタンバリン型リズ
ム楽器 Aqua Tambourine を提案した．今後はシステムに改© 2024 Information Processing Society of Japan721