WISS 2022

骨格推定と組込マイコンを活用した LED 衣装のシミュレーションシステムの構築
高田 莉子 高垣 泰地 瀬川 典久 ∗概要. 最近では,「e-テキスタイル」という布に LED やセンサ, マイクロチップを埋め込んだ繊維素材が注目されている. 情報を集積伝搬する機能を持たせ, 遠隔で管理・制御することができる.[1]. 本稿ではステージの衣装で e-テキスタイルを用いた衣装を想定し, 骨格推定と組み込みマイコンを活用した LED シミュレーションシステムの提案とプロトタイプシステムの実装を示す. 具体的には, ダンスの動画から MoveNet で骨格推定を行い, 音楽のタイミングに合わせて光らせる部位（本実験では手首）とフレームをプログラムすると, マーカーをつけたシミュレーション動画を出力する. 動画確認からそのまま M5 Stick へデータを転送し,シミュレーション動画のように M5 Stick から LED を光らせることができるシステムを作成する.

1

はじめに定したら、衣装に組み込まれたマイコンに光らせるタイミングを転送 する（図 2）。

最近では,「e-テキスタイル」という布に L E Dやセンサ, マイクロチップを埋め込んだ繊維素材が注目されている. 情報を集積伝搬する機能を持たせ,遠隔で管理・制御することができる [1]. [1]. 本稿
ではステージの衣装で e-テキスタイルを用いた衣装を想定し, 骨格推定と組み込みマイコンを活用した
LED シミュレーションシステムの提案とプロトタイプシステムの実装を示す. 具体的には, ダンスの動画から MoveNet で骨格推定を行い, 音楽のタイミングに合わせて光らせる部位（本実験では手首）とフレームをプログラムすると, マーカーをつけたシミュレーション動画を出力する. 動画確認からそのまま M5 Stick へデータを転送し, シミュレーション動画のように M5 Stick から LED を光らせることができるシステムを作成する.

2

5. マイコンからの再生指示で音楽が再生し、実際のダンスと同期させながら LED が点滅する。

図 1. デザインプロセスとシミュレーション

図 2. 衣装への LED 点滅プログラムの転送および実行

システム概要本システムを実現するために、次のようなワークフローを考えた。

1. 対象となるダンス動画をあらかじめ撮影する
2. 演出家は、ダンス動画を確認しながら、どのタイミングで衣装を光らせるかを決定する。

3. 2. で決めたタイミングの情報をシステムに入力し、ダンス動画を用いてどのように LED が光るかをシミュレーションし、演出を確認する（図 1）。

4. 2. と 3. を繰り返し、光らせるタイミングを決Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗京都産業大学

本システムは、3. の”デザインプロセスとシミュレーション”および 4. の M5Stick を用いたダンスと LED の同期システム”から構成される。
以下の章で、それぞれについて述べる。

33.1

プロトタイプ実装
ダンス動画を用いた LED 点灯シミュレーションシステム

本システムは、演出家が、ダンス音楽のタイミングに合わせて光らせるタイミングを決定し、そのタイミングを用い、ダンス動画上に仮想的に LED を点滅させ、演出を確認する。
演出家は、ダンス動画を撮影して, 各自が利用する動画編集ソフト (例：Adobe Premiere ,DaVinci
Resolve 等) に読み込ませる.

WISS 2022

演出家は, その動画をチェックしながらどのタイミングで衣装の LED を光らせるかを決定し, 本シミュ
レーションシステムに光らせるタイミングを入力する (図 3).

3.2

M5Stick を用いたダンスと LED の同期システム

M5StickC を用いて、ダンスと同期する LED 点滅システムを実装する。M5Stick には、(1)LED 点滅シミュレータで決定したタイミングデータの受信機能 (2) ダンサーが PC に対して音楽再生をスタートさせる機能が、あらかじめ実装されている。
最初に、演出家が作成した、シミュレーション動画の確認後、そのタイミングデータを、衣装に装着する予定の M5StickC に BLE 通信を用いダウンロードする。

図 3. 光らせるフレームの決定

本システムは、そのタイミングデータに沿って、撮影した動画上に仮想的に LED 描画を行う。本システムは、骨格推定システムを用いて人間の光らせる場所を決定し, 仮想的に LED を光らせる動画を生成し、出力する。
出力された動画を再度, 動画編集ソフトに読み込ませ, あらかじめ撮影した動画と比較することで, シミュレーションの内容を確認し, 演出プランを確定させる (図 4).

ダウンロード終了後、ダンサーが M5 Stick のボタンを押すと、BLE 通信で PC に起動合図が送られる。
受信した PC は、すべての M5Stick に LED 点灯システムの起動をおくる。その際、すべての M5Stickは、PC のスレッドで同期管理される。また、音楽再生のタイミングとも同期される。
しばらくして、PC から音楽が再生され、M5Stickのディスプレイが、音楽と同期しながらシミュレーション動画のように光らせることができる.(図 5)M5Stick は、外部ポートを持っているため、衣装に実装した LED と連結させることで、衣装も同様に光らせることが可能になる。

図 5. (左)M ５ Stick の LED 点灯とダンスの同期

図 4. シミュレーション確認

本研究では, 骨格推定を行うために,MoveNet を採用した [2].MoveNet は,google が開発した骨格推定を行う機械学習モデルで, 動きの激しい動作に対して正確に骨格推定を行える特徴を持つ [3]. で公開されている MoveNet のサンプルプログラムを用い,ダンス動画の骨格推定を行い, 左右の手首を任意のフレームでピンクに表示させる. 必要なパッケージの環境は, 以下の通りに設定した (表 1）.
利用パッケージバージョン

tensorﬂow
tensorﬂow-hub
opencv-python
onnxruntime

2.7.0
0.12.04.5.4.58
1.9.0

表 1. 本プロトタイプ構築に用いた主要パッケージ一覧

4(右)LED 点灯

まとめと今後の課題

本稿では, 骨格推定 MoveNet と組み込みマイコン M5 を活用した,e-テキスタイルを用いた衣装およ
びその LED 点滅演出のシミュレーションシステムの実装を行った.
プロトタイプシステムでは,MoveNet を用いた骨格推定を活用し, 演出家が光らせる任意のフレームを決定すると, シミュレーションを行う. また, その時刻情報を M5SticC へ転送し, 光らせることが可能になった.
今後の課題は, 着用実装したダンスの動画を撮影し, シミュレーション動画と比較し, 評価を行うことである。そして、実際に e-テキスタイルの衣装を創作し, 着用実装した実験行う予定である。

骨格推定と組込マイコンを活用した LED 衣装のシミュレーションシステムの構築

謝辞
本研究は、JSPS 科研費 20K11780 の助成および（株）数理設計研究所の研究助成金のの助成を受けたものです。

参考文献[1] 池 上 大 輔.
スマートテキスタイルについて. http://www.aichi-inst.jp/other/up_docs/
no124_05.pdf.
[2] Google Research. MoveNet: Ultra fast andaccurate pose detection model. https://www.
tensorflow.org/hub/tutorials/movenet.
[3] 高 橋 か ず ひ と.
MoveNet-Python-Example.
https://github.com/Kazuhito00/
MoveNet-Python-Example.