情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2C-692024/2/28

指向性スピーカーと Azure Kinect DK を用いた観客の踊り支援システムの提案
髙梨大†1

渡邉鋼太郎†1

小原開†1

柴田莉紗子†1

概要：ナイトクラブ文化はテクノロジーの発達とともに進化し、より多くの観客を踊らせるための工夫が行われてきた。それは DJ 機材の発達やサウンドシステムの発達によってなされるものや照明や映像など、観客を踊らせることに対し多岐にわたる工夫が行われてきた。しかし、そういったシステムやテクノロジーの活用はナイトクラブにいる観客全員に対するものが多く、DJ の選曲と嗜好が異なることで踊れない観客などに対し個別に支援するものは少ない。 本研究では、Azure Kinect DK のボディートラッキングモデルを使用し、観客の踊りをリアルタイムで検知する。
その情報を元に、踊っていない観客に対し指向性スピーカーを用いて異なる音楽をかけることで踊れない観客を個別に支援するシステムを提案する。

1. はじめに心となってクラブシーンを形成しつつあるが、未だ発展途中でありナイトクラブへ行き馴染みのない人の、更なる流DJ とは観客がいて、はじめて成り立つパフォーマーであ入が必要になっている。このように、ナイトクラブへ行きり[1]、双方の関係性は DJ を起点としたナイトクラブ文化

馴染みのない人が DJ のパフォーマンスを観て、聴く中でが誕生して約 120 年たった今もなお、変わらずあり続ける。

自身の嗜好に合わず踊れない状況からナイトクラブを離れ

特に、DJ は観客を踊らせるために選曲を行い、観客はそのてしまうことは、今後のナイトクラブシーンを活性化して選曲をもとに踊るといった相互のインタラクティブなやりいく際の大きな痛手となる。以上から、DJ の選曲が合わず取りによって関係構築がなされてきた。しかし、その一方に踊れない人やフロア全体を見ながらパフォーマンスをすで昨今では新型コロナウイルスの影響により、それ以降日ることが難しい DJ に対し指向性スピーカーを用いた DJ パ

本のナイトクラブにおける DJ と観客の関係性は大きな転フォーマンスにおける支援システムの開発を行った。また、換期にある。最近では、ナイトクラブを形成してきた往年

Azure Kinect DK のボディートラッキングモデルを用いたの世代の人々がシーンを離れ、若年層が中心となってナイ踊れない人を自動で検知するシステムの開発も行ったこと

トクラブ文化を形成しはじめている。この、若年層を中心で、クラブ内で DJ のパフォーマンス中に踊れていない人に間口が広がりつつあるナイトクラブの体験では、あらたをリアルタイムに自動で検知し、的確に踊れるための音をめて DJ の選曲が大きな鍵となる。その理由として、若者特定の個人に対し再生することが可能となった。このようの中には現状ナイトクラブへ行き馴染みの無い人も含まれなシステムの制作を通して、音楽的嗜好が異なることで踊ており、それらの嗜好を全て汲み取った上での選曲が必要れない観客を個別に支援することを目指す。とされている点がある。だが、現状として観客の嗜好全てを汲み取った選曲、およびパフォーマンスを行うことは非常に難しい。そこで、本研究では指向性スピーカーを扱い、

3. 先行事例・先行研究

DJ が嗜好を汲み取りきれずに踊れていない人を支援する

本項では、本研究に類似したシステムの比較、分析を行う。

ためのシステム開発を行った。

また、本研究と類似したシステムに関しての調査結果を以下で示す。

2. 研究背景

3.1 情報伝達と指向性スピーカー
指向性スピーカーを活用して、集団の中から特定の個人をDJ は、パフォーマンスをする際に観客の踊りなどを中心対象に支援する試みは様々なされている。認知症患者を対とした視覚情報を頼りに、選曲やミックス作業を行ってい象に指向性スピーカーを用いてお気に入りの曲を直接照射る。[2]この一連の流れを通して、DJ と観客の音楽を介したする研究がなされており、施設内の別患者や介護者に負担相互交流的なやり取りは形成される。そういったナイトクをかけず、患者の行動的・心理的な症状が緩和されたといラブ文化において、本研究では DJ の選曲が合わないことう結果が報告されている。[3]また、手術現場における指示で踊れない観客を受容できているのかといった点に疑問を伝達システムとして、指向性スピーカーを用いた伝達デバ抱いた。前述したように、現在のナイトクラブは若者が中イスが考案されている。指示が特定の医療スタッフに直接†1 慶應義塾大学© 2024 Information Processing Society of Japan930情報処理学会 インタラクション 2024
IPSJ Interaction 2024

伝達されることで、現場で指示が混線することなく安全でスムーズな治療が可能になる。[4]上記二つの研究事例はい
ずれも、複数人が活動する場で特定の人物に絞った情報伝達の事例を示しており、ナイトクラブなど多くの人が訪れる場でも特定の人物に絞ったアプローチができる可能性を示している。
3.2 Kinect による動体検知
Kinect を用いたボディートラッキングもさまざまな研究が行われている。ある研究では、歩行障害のリハビリテーションの一つである歩行分析が Kinect で可能であることが示された。[5]上記の研究は Kinect によるボディートラッキングが信用できるものであることを示しており、ナイトクラブで踊っている人と踊っていない人の判定にも応用できると考えられる。
3.3 指向性スピーカーと Kinect を併用した実例

2C-69
2024/2/28

4. 実装
研究背景や先行事例を踏まえ、デバイスの作成とシステムの実装を行った。システムの全体の流れとしては 90 度回転するデバイスがカメラでフロアにいる人を監視し、踊っているかどうかの判定を行う。対象者が踊っていない場合には指向性スピーカーから音楽を再生し、それ以外の判定の場合は音楽を停止している。
4.1 デバイスの作成
デバイスは主に Azure Kinect DK、ムービングライト、指向性スピーカーで構成され、一部分解したムービングライ
トに Azure Kinect DK と指向性スピーカーを取り付けることで作成している。しかし、その状態では不安定なため 3Dプリンターで作成した専用のカバーをかけ、全部品を固定している。

Kinect による動体検知と指向性スピーカーによる個人への直接的な音声アプローチを組み合わせた例として、鑑賞者の行動に応じて選択的に情報を伝達する広告システムが考案されている。鑑賞者に忖度したアプローチが取れるようになることで、広告効果の増大が期待されている。[6]上記の研究は Kinect によるモーショントラッキングと指向性スピーカーを併用することで、鑑賞者の動きに対応した音声的なアプローチが可能になることを示している。この技術を活用することで、クラブ内で踊っていない人だけを検知して特定の個人に対して音楽を再生することが可能となる。
3.4 AI DJ Project

図 2 カバーなしの状態のデバイス

モーショントラッキング・ボディートラッキングを DJ パフォーマンスに応用するシステムの例として、AI DJ Project— A dialogue between AI and a human[7]が挙げられる。 このシステムは、観客の体の動きの量に応じた選曲を行うことで聴衆をより楽しませることを目的としている。本研究では指向性スピーカーを用いて個人へのアプローチを可能にすることで、上記の研究とは異なる方法で聴衆を楽しませることを目的とする。

図 3 カバーありの状態のデバイス
4.1.1 Azure Kinect DK
Azure Kinect DK[8]は深度センサー、空間マイク配列とビデオ カメラ、および方位センサーを備えたオールインワンの小型デバイスである。本研究では本デバイスのボディー
図 1 AI DJ プロジェクトのパフォーマンス画像

トラッキングモデルを使用し、人の踊り (動き) の判定を行う。ナイトクラブという照明が暗い空間で使用でき、ボディートラッキングモデルを備えているといった点で本デ© 2024 Information Processing Society of Japan931

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2C-69
2024/2/28

バイスを選定した。
4.1.2 ムービングライト
ムービングライトである AMERICAN DJ 社の STINGER
SPOT [9]ムービングヘッドを使用し、ライトやレンズ部分を取り外し指向性スピーカーや Azure Kinect を取り付けた。
DMX で回転の角度の幅やスピードを制御できる点やある程度重量のあるものを動かせる点で本デバイスを使用した。
4.1.3 指向性スピーカー
指向性スピーカーは、出音が拡散せずに直線的に進むという特徴を持ち、特定の人や場所に音を届けるのに適している。本研究では予算や大きさの関係から有限会社トライス

図 5 踊っていない判定時のスクリーンショット

テート(Tristate)社のパラメトリック・スピーカー実験キット[10]を選定した。
4.2 システム
システムとしては主に「踊りの判定」、「ムービングライトの制御」、「オーディオの再生停止」の 3 つのモジュールで構成されている。各デバイス、モジュール間でのやり取りは下図のシステム図の通りである。

図 6 踊っている判定時のスクリーンショット
4.2.2 オーディオの再生停止
踊っていない場合には指向性スピーカーの音楽を再生し、それ以外の判定の場合は音楽を停止している。音楽の再生には Cycling '74 社の Max8 を用いており、「踊っている」、
図 4 システム図「踊っていない」の状態を TouchDesigner 側から常に OSC通信で受信している。踊っている場合には音楽を再生し、4.2.1 踊りの判定

それ以外の場合は音楽を停止している。

Azure Kinect DK のボディートラッキングモデルを使用し、カメラに映る人の各関節の座標情報を取得する。取得したx、y、z 座標が規定の秒数内でどのくらいずれたのかを、各座標の規定秒数内での差分を取ることで計算し、その合計値が一定の値を超えていれば踊っている (動いている) と判定する。差分の計算は x、y、z 座標の規定秒数内での最大値と最小値の減算によって算出している。計算とシステ
ムの UI(図 5, 図 6) は Derivative 社の TouchDesigner を用

図 7 オーディオ再生システムの UIいて作成した。
4.2.3 ムービングライトの制御
ムービングライトの制御は照明器具の調光や調色などの制御を行うための通信規格である DMX を用いている。踊っていない場合にはライトの回転を停止し、それ以外の状態ではライトを回転させる。こちらも TouchDesigner を用いて制御している。

© 2024 Information Processing Society of Japan932

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2C-69
2024/2/28

5. 実験
デバイスやシステムを制作した後に、本デバイスとシステ
ムを用いて実験(パフォーマンス)を行い、その際に観客に対しアンケート調査を行なった。被験者は前述したナイトクラブで間口が広がりつつある若年層を対象とした。
5.1 実験概要
大学生 10 名に対し、パフォーマンスを兼ねた実験を行っ

図 8 「パフォーマンスを通して踊れましたか？」という質問に対する回答た。本システムやパフォーマンスの概要を説明した後、1 人あたり 2-3 分間本システムを観客として体験し、以下の質表 1 アンケート結果

問項目を含むアンケートに回答してもらった。

行ってみたいと思った

思わなかったアンケートの質問項目

踊れた

2人

2人

•

楽器経験はありますか？

部分的に踊れた

4人

1人•

ナイトクラブに行ったことがありますか？

踊れなかった1人

0人•

行ったことがあると回答した方Ø

どのくらいの周期でナイトクラブに行きますか？(例. 毎月行く)Ø

6. まとめなぜナイトクラブに行きますか？(例. 踊りたい

ナイトクラブで音楽的嗜好が異なることで踊れない観客から) パフォーマンスを楽しめましたか？

に対し、指向性スピーカーと Azure Kinect DK のボディー•

パフォーマンスを通して踊れましたか？

トラッキングモデルを用いて踊れるように支援するシステ•

これを通してクラブに行ってみたいと思いました

ムを開発した。実験の結果、本システムは多くの被験者のか？

動きを引き出したことから、個別に踊りを支援するシステ

パフォーマンスの中で踊れない / 踊れないポイント

ムとして有効である可能性が示唆された。今回の反省点とはありましたか？

して、選曲と時間が実験用にチューニングされていたこと感想を教えてくださいが挙げられる。実際のクラブのように、より偏ったジャン••ルの音楽がより長くパフォーマンスされる環境下では踊っ
5.2 評価ていない人がより顕在化するため、本システムがより有効

アンケートの結果を以下で示す。被験者の 90%が「パフォに機能したのではないかと推測される。また DJ が指向性ーマンスを通して踊れましたか？」という質問に対し、「踊スピーカーから出力される音を選択できるようにすることれた」、「部分的に踊れた」と回答していた。また、「部分的で、観客を踊らせるためのより効果的なアプローチが可能に踊れた」と回答した 5 人のうち 4 人が「これを通してクになるのではないかと推測された。DJ 技術やサウンドシスラブに行ってみたいと思いましたか？」という質問に対しテムからの工夫と異なり、個別具体的な踊りの支援ができて「行ってみたいと思った」と回答していた。本システム

るデバイスおよびシステムは、これまでナイトクラブで疎は踊れない観客を個別に支援することを目的としているた外感を感じていた人に新たな活路を見出す装置となっていめ、「部分的に踊れた」と回答した人のうち「行ってみたいる。今後はさらに実際のナイトクラブで検証を行い、シスと思った」と回答した人が多かったという結果は本システ

テムの改良を進めたい。

ムの有効性を示している。また、「感想を教えてください」という質問項目に対しても、ナイトクラブ未経験者から「シンプルに自分にダイレクトに届いた音に驚きましたし、自然と踊ろうという気になりました。」という回答があり、前述したナイトクラブへ行き馴染みのない人の更なる流入につながるのではないかと考えている。

© 2024 Information Processing Society of Japan933

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2C-692024/2/28参考文献[1]沖野修也. (2005). DJ 選曲術 何を考えながら DJ は曲を選びそしてつないでいるのか? リットーミュージック.
[2] Carrie Gates, Sriram Subramanian, and Carl Gutwin. 2006. DJs'perspectives on interaction and awareness in nightclubs. In
Proceedings of the 6th conference on Designing Interactive
systems (DIS '06). Association for Computing Machinery, NewYork, NY, USA, 70–79. https://doi.org/10.1145/1142405.1142418.
[3] Yuko Nishiura, Minoru Hoshiyama, Yoko Konagaya. Gait Analysis
Parameter Study Using Xbox Kinect Aimed at Medical
Rehabilitation Tool. Evergreen 9 (2), 511-518, 2022-06.
[4] 大谷拓也, 孫瀟, 小川駿也, 鈴木滋英, 山田晃久, 小西瑶果,清水智壮, 正宗賢, 村垣善浩, 高西淳夫. 任意の対象人物への非装着型音声伝達システムのための基礎検討. 第 38 回日本ロボット学会学術講演会予稿集. 2021 年 39 巻 4 号 p. 363366.
[5] Basari, Prasetyo Alexander. Gait Analysis Parameter Study Using
Xbox Kinect Aimed at Medical Rehabilitation Tool. Evergreen 9(2), 511-518, 2022-06.
[6] 池田輝政, 遠藤正隆, 中嶋裕一, 三浦哲郎, 菱田隆彰. 顧客の意思を忖度するディジタルサイネージ広告システム. エンタ
テインメントコンピューティングシンポジウム 2017 論文集
2017 439-440, 2017-09-09.
[7] Nao Tokui. “AI DJ Project”. https://naotokui.net/ja/works/ai-djproject-2016-ja/. (参照 2023-12-22)[8] Microsoft Azure. “Azure Kinect DK”.
https://azure.microsoft.com/ja-jp/products/kinect-dk. (参照 202312-22)[9] サウンドハウス. STINGER SPOT ムービングヘッド.
https://www.soundhouse.co.jp/products/detail/item/234964/. (参照2023-12-22)[10]秋月電子通商. パラメトリック・スピーカー実験キット.
https://akizukidenshi.com/catalog/g/gK-02617/. (参照 2023-1222)© 2024 Information Processing Society of Japan934