情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-25
2023/3/1

振動触覚フィードバックを用いたDJ サポートシステムの開発
西門亮†1徳井直生†1

概要： クラブ DJ はパフォーマンス中に処理すべき視聴覚情報が非常に多い. 流れる曲の音量調整や, 次にかける曲のテンポ合わせは聴覚により処理を行い, 曲選びや音量のツマミ操作は視覚により処理を行う. 熟達した DJ は経験や場数から複雑な処理を適切に行うが, 経験の浅い初心者の DJ の場合, 情報量の多さに適切に情報を処理しきれず,アクシデントやミスの原因となってしまう. この問題に対し, 上述した視聴覚に比べ意識されることの少ない触覚に着目し, 振動触覚を用いたフィードバックシステムの開発を行う. それに加え, DJ が操作するコントローラー情報をリアルタイムで識別する独自システムを制作し, DJ パフォーマンス中の情報を触覚に共有し, アクシデントを防⽌する等の表現⽀援を行うシステムを提案する.

1. はじめに

パフォーマンスではこれらの機材を用いて, まず 1 つ目

ナイトクラブやイベントにて, その場の雰囲気や客層にのターンテーブルや CDJ から曲を流し, ミキサーで曲の合わせた選曲を行い, フロアに曲をミックスして流すこと音量や高音, 中音, 低音それぞれの帯域(以下「3 バンドで場を盛り上げるクラブ DJ のパフォーマンスには, 処理EQ」)の強さを調整してフロアに音を流す. ある程度曲がすべき視聴覚情報が非常に多い. フロアに流れる音や次に流れたら自分のタイミングで次に流す曲を選び, 2 つ目のかける音の大きさの調整や, 曲をミックスするためのテン再生機で現在流れている曲とのテンポを合わせ(以下「ビポ合わせは聴覚により処理が行われ, 曲選びや扱う機材のートマッチング」), ミキサーで現在かかっている曲にアパラメーター操作を行うフェーダーやノブといったつまみクセントになるように各音域や音量の上げ下げといった調の確認は視覚により処理が行われる. 熟達した DJ は自身節を行う. 最後にキリがよいタイミングで, 先に再生されの経験や場数により, これらの情報を適切に扱い自身のパていた曲の音と次に流す曲の存在感を逆転させるかのようフォーマンスを行う. しかし初心者の DJ の場合, 情報量のに, じっくりまたは素早く音量などを切り替えることで曲多さに適切に情報を処理しきれず, アクシデントやミスのの「ミックス」を行う. 自分の持ち時間の間, 時間が許す原因となってしまう.

限りこれらのフローを繰り返し行うことで DJ のパフォー本研究では, 上記の視聴覚情報に比べ意識されることのマンスとなる.の起源から現在に至るまで, 音楽を再生すない触覚に着目し, パフォーマンスの際に必要であると考る媒体がレコードから CD や USB に変化しようとも, PCえられる情報をとりまとめ, それらを振動触覚により情報の出現や技術革新による機材の機能拡張があろうとも,伝達を行うことで DJ パフォーマンスをサポートするデバ「2 つ以上の再生機と一つのミキサー」という構成と「曲イスおよびシステムの開発を行った.

をミックスする」というパフォーマンスの形は, 基本的に2. 研究背景不変である.
クラブ DJ は曲を自在に操り, 自らの表現へと昇華させてクラブ DJ はパフォーマンスの際, ブースの中で何をして場を盛り上げるが, そのパフォーマンスは, ギターやピアいるのだろうか. 一般的な DJ ブースには, DJ が曲を再生すノなどの楽器の演奏形態とは異なり, 非常に複雑である.

るためのレコードの再生機であるターンテーブルや, USB

クラブ DJ のパフォーマンスでは少なくとも 2 つの曲をや CD 等の記憶媒体にある曲を読み込んで再生する CDJ と同時に操るため, それぞれの曲の展開や BPM, それらを調呼ばれる再生機, そして再生機から出力される音を混ぜて整するための機材のパラメーター, さらにオーディエンスフロアに出力するためのミキサーが設置されている(図 1).

が今流れている曲に乗っているか常に把握する必要がある. これらの情報は視聴覚にて並列して処理されている.
視覚(図 2 黄丸)は再生機にてかける曲の選択(ターンテー
ブルであれば自身が持ち込んだレコードの中から, CDJ の場合は液晶に表示されている記憶媒体に保存されている曲プレイリストの中から)や曲の再生箇所を決めるため, ミ

図1一般的な DJ ブースにおける機材構成・配置

キサーをはじめとする機材のフェーダーやボタンやつまみ†1 慶應義塾大学 政策・メディア研究科© 2023 Information Processing Society of Japan223

情報処理学会 インタラクション 2023
IPSJ Interaction 2023の状態などを確認するため, またフロアにいるオーディエ

1B-25
2023/3/1を可能としたシステム[3]などが発表されている.

ンスが現在流れている曲に対して乗れているか確認をする
ため. 聴覚(図 2 青丸)はフロアに流れている曲の音量の確認や, 今流れている曲と次に流す曲のミックスがしやすいようにするためビートマッチング, 音域の調整をするために使われる.

図3

図2

Multitouch interactive DJing surface の UI [1]

DJ パフォーマンスにおいて意識される視聴覚情報

熟達しているクラブ DJ らは場数や経験から, 処理能力を

図4

More DJ techniques on the reactable [3]高めることで問題なくパフォーマンスを行い, フロアにいるオーディエンスを盛り上げる. しかし, 経験や場数が少その他にも, 手首に加速度センサーを取り付けることでないクラブ DJ はどうだろうか.前述されたクラブ DJ のパ開発されたソフトと連携を行うことで, ジェスチャーで音フォーマンスの一連のフローを文章化するとシンプルな行のボリュームの操作やエフェクトをかけるデバイス[4](図為に見えるかもしれない. しかし, いざパフォーマンスを5)や, DJ ブースに置かれているターンテーブル上のコントするとなった場合, 大量の視聴覚情報を適宜処理しなけれロールバイナル(専用のソフト上で DJ を行うために時系列ばならない. 経験や場数が少ないクラブ DJ からすると非情報が音として記録されているレコード)にプロジェクシ常に複雑で難易度の高い行為であることがわかる. これら

ョンを行うことで曲の再生箇所や音の波形情報を視覚的には, 人間に備わる五感のうちの 2 つに, 2 つ以上の曲という伝えるシステム[5](図 6)などが発表されている.

同系統の情報が集約しているため複雑化しているというのが問題であると考えられる.
この問題に対し, 視聴覚以外で意識されることが少ない触覚に着目し, パフォーマンスにおいて必要な情報をとりまとめ伝達する. それにより, 第 2 の視聴覚の役割を与えることで複雑性を取り除き, パフォーマンスにおけるサポートを可能とすることで解決できるのではないかと考えた.
図5

Wearable DJ system:

A new motion-controlled DJ system [4]3. 先行事例
上述の研究背景を基に, DJ と HCI の組み合わせや音楽と触覚フィードバックの観点から, 今現在研究やメーカーの立場からどのようなアプローチがあるか調査と分析を行った.
3.1 DJ と HCI
DJ パフォーマンスを他の演奏行為と線引きをせず, HCI

図6

DiskPlay: in-track navigation on turntables [5]における人間と計算機の関係性を絡めることで, 過去様々なアプローチが行われている. 従来の機材に囚われず, 開

3.2 音楽と触覚フィードバック発されたソフトウェア上で簡素な UI を自身で組むことでDJ ではない楽器などを用いて演奏をする際は, スイング直感的に DJ が行えるようにするシステム[1](図 3)や, ポンなどを重視するようなジャズであったり, 具体的な型がな

ペウファブラ大学の音楽技術グループが開発した卓上型電い即興音楽ではない場合, 多くの演奏者はメトロノームを子楽器である Reactable[2](図 4)を用いて DJ のような演奏用いて自身の演奏速度が一定であることを確認しながら演© 2023 Information Processing Society of Japan224

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-25
2023/3/1

奏を行う. 演奏のテンポを確認する, もしくは周りの楽器とのテンポの同期を図るためのデバイスの研究として, バイオリンの場合では肩当の中にテンポの情報伝達を行う振動子が内蔵され[6], ギターの場合ではフレットを操作する腕の上腕[7]に装着するといった試みがある(図 7).
図 10

Traktor Kontrol S4 MK3[10]また, Denon 社の SC5000M Prime[11]や Rane 社 ONE[12]ではホイール部分が回転するのとともに, ホイール上部にレコードを模したパーツがあることによりターンテーブルでのレコードを扱うかのような触覚フィードバックを得るこ
図7

楽器とそれぞれに適した振動子とその配置[6,7]とを可能としている.

演奏に対する触覚フィードバックの他, 単純に音楽における体験や理解度を高めるためのデバイスもある. ジャケットの中に数十個の小型スピーカーを仕込むことで音楽を体験するという取り組み[8](図 8)や, 「聴覚障害のある人と一緒に音楽を楽しむ」というのを目的に, 振動スピーカーなどを用いることで視覚と触覚で感じられる球体型のス

図 11SC5000M Prime[11]図 12 ONE[12]ピーカー[9](図 9)がある.
3.4 分析
本節では DJ と HCI, 音楽と触覚フィードバック, DJ 機材における触覚の 3 つの観点から先行事例を調査した. 調査の結果, 研究背景にて述べた問題の解決のため以下のことが述べられると考える.
図8

Live Jacket[8]DJ と HCI の文脈では, デバイスやシステムを様々な観点からアプローチが試みられているが, 技術が先行しているがため, 今あるクラブにおける DJ ブースへの導入が難しいものが多い. 平面にプロジェクションされた UI での操作をするシステムや, ある程度の広い平面の確保を前提としたデバイス, 機材へのプロジェクションを行うために天井にプロジェクターを設置する必要があるものなど. 実際のクラブ現場でこのシステムを使用することができるかと問われた場合, 現場での裁量権がイベントの主催者と同等

図9Sound Hug[9]かそれ以上でない限り導入が非常に難しいものがほとんどである. そのため, 本研究の問題を解決するのであれば,

3.3 DJ 機材における触覚クラブの現場の機材や構成などを大きく変えることなく運

近年, DJ の機材やソフトウェアを提供するメーカーがプ用することができるのを前提に設計する必要がある.

ロトタイプではなく, 既製品として触覚的なアプローチを

音楽と触覚フィードバックについては, 各楽器や演奏,行っているものが多くなってきている. Native Instruments

パフォーマンスにより, フィードバックを最大限生かせる社の Traktor Kontrol S4 MK3[10]と呼ばれる DJ 機材では, タことができる人間の部位が異なっていることに加え, 伝達ーンテーブルのプラッターを模したホイール部分が曲の流すべき, もしくはするとよい情報も一定ではない. そのたれるスピードに追従し回転したり, 自分があらかじめ設定め, ユーザーが潜在的に必要であると考えられる情報を選してある曲の頭出し再生する箇所が流れそうになったとき定し, 生かすことでよい触覚フィードバックができるのでに振動することで DJ に対してフィードバックするというはないかと考えられる.

機能が内蔵されている.

最後に DJ 機材における触覚にて取り上げた機材についてだが, 個々人がホームパーティーや小規模のイベントで使© 2023 Information Processing Society of Japan225

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-25
2023/3/1用するのであれば特に述べることはないが, こちらも DJ行ったアンケートや先行事例の調査を基に, 触覚フィードと HCI と同様, 機材の裁量権は基本的にイベント主催者おバックを行うデバイスのイメージ図を制作した(図 13).

よび会場の人間が取り仕切るため導入は難しい. また, 触覚フィードバックとして, パフォーマンスのサポートという面では機能が限定的すぎるため, 幅広い情報を伝達することで本研究の問題の解決に導けるのではないかと考える.

4. 設計
研究背景や先行事例を踏まえ, 本研究の問題に対しどのようなデバイスやシステムを用い, 開発することにより解図 13

触覚デバイスイメージ図(左:掌側, 右:手の甲側)決することができるか考察行った.
先ず考察するにあたり, HCI コミュニティに向けた DJ 技

デバイスの形状としては, 掌に情報伝達を行うための振術開発における 10 原則[13]を参考し, HCI や学術面のみな動子を装着し, 手の甲側に無線通信でシステムからの情報らず, 実際にクラブで活動を行うクラブ DJ に対しアンケを受信するためのレシーバが来る形を想定した.

ート調査を行った. 質問内容としては DJ 経験年数や主に手に装着する形のデバイスにした理由として, 人間の体プレイするジャンル, DJ を行う頻度や具体的な機材構成,の中で触覚を感じる感覚器において, 手がほかの部位よりパフォーマンス中によく起こしてしまうミスやその頻度,も多いのに加え, クラブ DJ が DJ 機材を扱う際に触れるほ

それらのミスをどのような触覚フィードバックがあれば防ぼすべての接点が手であるからである. 機材と人間の接点ぐサポートをすることができるかといった項目を設けた.に近い距離からフィードバックすることにより, 直感的な情報伝達を可能として, 他感覚とすみ分けた状態で情報処

HCI コミュニティに対する DJ 研究の 10 の提言(意訳) [13]理ができると考察した.

1. 人間である DJ よりも技術的に優位に立たなければならない

また, 振動触覚として伝達する情報はアンケートや先行

2. DJ が知覚できない感覚を表面化する事例の調査を基に, 以下の 4 つフィードバックする.

3. オーディエンスに最終決定権はゆだねてはならない
4. 瞬間的ではなく全体の流れを基にすべし

音量の大きさ(各 ch):5. 選曲は経験とその背景も基づいている

フェーダーの上がり下がり関係なく, 音が入力されてない時が

6. フロアで踊っている人だけではなく全体を俯瞰すべしあるので, 入出力される音を振動としてフィードバックする.

7. 生体情報の取り扱いはストーリーを再考せよ

3 バンド EQ のかかり具合(各 ch):

8. DJ がもつ権利とプライバシーを尊重しなければならない

ミキサーで処理された各帯域の音を個別に振動に変換し, 聴覚

9. DJ 本来の行為を大きく阻害してはいけない

ではできない帯域ごとの音を振動としてフィードバックする.

10. 情報は与えても何をすべきかを伝えてはいけない

曲のテンポ(各 ch):
聴覚で感じるテンポとすみ分けをするため, 入力された曲の結果としては 30 名の DJ から回答があり, その中でもどのような触覚フィードバックが DJ パフォーマンスのサポー

テンポをパルスとして振動してフィードバックする.
ミキシングする 2 つの曲の BPM が離れていた際のアラート:

トになるかという質問に対しては以下のようにデバイスや2 つの曲をミックスしているとだんだんと気づかずに BPM がシステムの設計に大きなヒントとなる意見もあった.

ずれていくので, 三連符の音を振動に変換しアラートする.

アンケート回答の一部・ミキシング時に, 片側と比較してどれだけ音量が出ているかのフィードバックがあるといい.

5. 実装
前節の設計を基に, 振動触覚フィードバックを行うデバ

・音割れやハウリングの危険性があるときに振動で知らせる.

イスと, それを制御するためのシステム開発を行った.

・フィルターのかけ間違いで音が出ないことがあるので,

5.1 デバイス音量がどれくらい出ているかフィードバックがあると良い.

振動触覚フィードバックを行うデバイスの実装において,・縦フェーダーとクロスフェーダーが正しく機能しているか

M5Stack 社 が 発 売 す る 開 発 ボ ー ド で あ る M5Atom

どうかを教えてくれるもの.

Lite[14](以下「M5Atom」)に加え, BitTradeOne 社が発売する・キックの振動が触覚的にわかるとミックスの質が上がる

hapStak[15]を用いてデバイスの開発を行った(図 14).

(ボタンに触れると, Mix する 2 曲のキックが感じられる etc).

© 2023 Information Processing Society of Japan226

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

図 14

1B-25
2023/3/1

図 17制作したデバイス

制作したデバイスを装着している様子

M5Atom(図 15)は Wi-Fi と Bluetooth を内蔵した ESP32 が5.2 システム搭載されており, 無線通信を可能としている. その特性をデバイスにフィードバックする情報の管理や制御するシ生かし, M5Atom を 1 つのオーディオユニットとして組みステムとして, Cycling '74 社の Max8 にて実装を行った(図込むことにより, Bluetooth で接続可能な仮想スピーカーと18).

して PC から扱うことが可能である.

図 15

M5Atom Lite
図 18

制作したシステム UI

また, hapStak は一般的な振動モーターに比べ, 再現可能な周波数帯域が広い. そのため本来であれば複数の振動モ本システムは大きく分けて 2 つのパートに分かれており,ーター(ERM)やリニア振動子(LRA)を使用しなければでき「Feedback System」と「Mapped Controller」となっている.

なかった周波数での振動を hapStak 単体でカバーすること「Mapped Controller」のパートでは, 接続されている DJ 機が可能である(図 16).

材の MIDI 情報を取得し, UI 上に再現したミキサーにマッピングをすることで, 現在操作されているパラメーターの識別を行い, フィードバックする情報の種類を決定する.
「Feedback System」のパートでは, 前節の振動触覚として伝達する情報にて述べた 4 つの情報の処理を行い, 入出力される音, 処理される音, 曲のテンポがパルスとして変換された音, アラート音をデバイスに送信できるようにする.
システム内でこの 2 つのパートが連携し, 処理した情報をデバイスに送信することによって, フィードバックする

図 16

hapStak の再現可能な周波数帯域[15]情報の切り替えを行い, 触覚フィードバックを可能とする(図 19).

この 2 つを組み合わせることにより, 一つの Bluetooth で接続可能なウーファーユニットのようなものになる. デバイ
スと PC と接続を行い曲などの音を再生することによって,hapStak が入力される音を再生し振動としてフィードバックすることを可能とした. そして, hapStak を掌に, M5Atomを手の甲に配置してベルトに固定し, 左右それぞれの手に装着することで(図 17), それぞれの手で操作するパラメー
ターの情報を振動触覚としてフィードバック可能とする.
図 19© 2023 Information Processing Society of Japan

システムフローイメージ図227

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

6. 評価
デバイスやシステムを制作したのち, 現役でクラブ DJ 数人に対して装着してパフォーマンスをさせたところ, 「テンポを耳だけではなく触覚として提示されることにより,

1B-25
2023/3/1

今後はさらに現役のクラブ DJ や経験の浅い DJ の意見や様々な DJ システムの意匠をくみ取り, クラブ DJ のサポートとなるよう研究を行い, デバイスやシステムの開発・改良を進めたい.

心理的な安心感がえられた」「フロアが盛り上がりすぎてヘッドフォンからの音が確認できない場合にサポートとなる」
といった好印象のフィードバックがあった. また, 経験の浅い DJ にもデバイスを装着してパフォーマンスをしてもらった際, 「今流れている曲のテンポを触覚情報として処理し, 次に流す曲をヘッドフォンで聞きながら触覚情報に合わせる形で合わせることによりミックスが簡単にできるようになった」「可能であればこれを使って実際に現場でパフォーマンスがしたい」といった評価を得た.
しかし, これらはあくまで定性的な評価であり, 定量的な評価として本研究の問題を解決したとは述べられない.
そのため, デバイス装着時(聴触覚)と非装着時(聴覚)による触覚フィードバックが DJ ミックス与える有意差を検証することを予定している. フローとしては以下のとおりである.
1.

被験予約日確定後, 使用する DJ 機材と操作方法の説明ドキ
ュメントと音楽経験等のアンケート, 使用する楽曲のデータを送付

2.

当日改めてミキサーや再生機の説明+使用するデバイスに関する説明

3.

機材の慣らしとして 10 分の練習

4.

デバイスを非装着時と装着時のミックス(約 10 分*2 回)を2 回(計 40 分ほど/各試行ごとに任意休憩)

5.

終了後, 操作感のアンケートを実施

6.

デバイス装着時非装着時に録音したそれぞれのミックス
音源のミックスポイントを経験者 DJ に聞いてもらい,どちらのミックスの方が違和感ないか評価

以上の検証を踏まえ, 検証フローの 6 番にて経験者 DJ がデバイス装着時のミックスポイントが優れているという回
答が非装着時のものよりも多ければ, 本研究の問題を解決したと述べることができる.

7. まとめクラブ DJ のパフォーマンスにおける視聴覚情報の複雑性に対し, 振動触覚フィードバックを用いることで, パフォーマンスのサポートを行うデバイスおよびシステムの開発を行った. 従来の実際の現場での使用が難しいものや, DJ謝辞

本研究は森泰吉郎記念研究振興基金研究助成金より支援を受け, 機材やソフトウェア等の支出をした.謹
んで感謝の意を表する．

参考文献
Lopes, Pedro & Ferreira, Alfredo & Madeiras Pereira, Joao.
(2010). Multitouch interactive DJing surface.
[2] “reactable”, http://reactable.com/, (参照 2022-12-19).
[3] Hansen, K. F., & Alonso, M. (2008). More Dj Techniques On The
Reactable. Zenodo.
[4] Tomibayashi, Y., Takegawa, Y., Terada, T., & Tsukamoto, M.
(2009). Wearable DJ System: A New Motion-Controlled DJ
System. Proceedings of the International Conference on Advancesin Computer Enterntainment Technology, 132–139. Athens,
Greece: Association for Computing Machinery.
[5] Heller, F., & Borchers, J. (2012). DiskPlay: In-Track Navigation
on Turntables. Proceedings of the SIGCHI Conference on HumanFactors in Computing Systems, 1829–1832. Austin, Texas, USA:
Association for Computing Machinery.
[6] Thorn, Seth & Lahey, Byron. (2019). A Haptic-Feedback Shoulder
Rest for the Hybrid Violin.
[7] Giordano, Marcello & Wanderley, Marcelo. (2015). Follow theTactile Metronome: Vibrotactile Stimulation for Tempo
Synchronization in Music Performance.
[8] 博報堂, “博報堂, 音楽を“身体”に着ることで, どこでもライブ体験を実現する ジャケット型ウェアラブルデバイス「LIVE JACKET」を開発~メディアアーティスト/筑波大助教 落合陽一氏・株式会社 GO との協業で実現~”.
https://www.hakuhodo.co.jp/news/info/38600/, (参照 2022-1219).
[9] Pixie Dust Technologies, Inc. “SOUND HUG”,
https://pixiedusttech.com/technologies/sound-hug/, (参照 202212-19).
[10] Native Instruments, “Traktor Kontrol S4”,https://www.nativeinstruments.com/jp/products/traktor/dj-controllers/traktor-kontrols4/, (参照 2022-12-19).
[11] Denon DJ, “SC5000M Prime”,
https://www.denondj.com/jp/sc5000m-prime-sc5000mprimexjp/,(参照 2022-12-19).
[12] RANE, “ONE”, http://rane-dj.jp/products/8-products/36-one/, (参照 2022-12-19).
[13] Gates, C., Subramanian, S., & Gutwin, C. (2006). DJs’
perspectives on interaction and awareness in nightclubs.
Proceedings of the 6th ACM Conference on Designing Interactive
Systems - DIS ’06. Presented at the the 6th ACM conference.
[14] M5STACK, “ATOM Lite ESP32 IoT Development Kit”,
https://shop.m5stack.com/products/atom-lite-esp32-developmentkit/, (参照 2022-12-20).
[15] BitTradeOne, “触感デバイス開発/体感モジュール”hapStak””,
https://bit-trade-one.co.jp/hapstak/, (参照 2022-12-20).
[1]

ブースの機材構成を大きく変えることのない, 直感的にフィードバックをうけられるデバイスおよびシステムしたことにより, クラブ DJ のパフォーマンスを変えることなく振動触覚フィードバックによるサポートを実現している.

© 2023 Information Processing Society of Japan

228