情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5D112022/2/21

時代劇舞台でのチャンバラ効果音を自動再生する「刀剣ライブ」システムの提案
細田 菜未1水野 慎士1,a)

概要：本研究では，時代劇舞台でのチャンバラにおいて，刀に関する効果音をインタラクティブに自動再生する「刀剣ライブ」システムの提案と開発を行った．このシステムでは，慣性センサを装着した専用のチャンバラ刀を用いる．そして，各チャンバラ刀のセンサデータを単独で解析するだけでなく，複数のチャンバラ刀のセンサデータを統合した解析も行う．これにより，「振る」「斬る」「刺す」といったチャンバラ刀の個別動作だけでなく，防御や鍔迫り合いなどで生じる「接触」といった複数のチャンバラ刀の相互作用を伴う動作の識別が可能となる．そして，それぞれの動作に応じた効果音を再生することで，時代劇舞台のチャンバラシーンにおける適切な効果音をインタラクティブに自動付加することを実現した．

1. はじめにときの納刀音といった刀の単独動作に加えて，刀同士が接触するときの金属音を自動的に発生させる．これを実現す

近年の演劇では，舞台演出においてデジタル技術が幅広るために，慣性センサを装着した専用のチャンバラ刀を開く活用されている．レーザ光線等を用いた立体的映像演出発するとともに，各チャンバラ刀のセンサデータを収集しは従来から行われてきているが，大規模な舞台では物理的て，個別および総合的にセンサデータを解析して刀の状態な大道具の代わりにプロジェクションマッピングや LEDを識別するシステムの開発も行った．

パネルを用いて舞台背景を表現する手法が一般的に用いら道具にセンサを取り付けて道具の状態を解析する研究れるようになった．舞台「魔界転生」[1] では，実際の役者は，これまでにもいくつか報告されている．和田らは慣性に加えて LED パネルに役者の映像を表示することで集団センサを用いてテニスラケットの動きを分析して，競技力を表現している．

を向上を図る手法を開発している [2]．清水らは慣性セン

一方，デジタル技術をさらに進めたインタラクション技

サを用いてスイング中のバッドの挙動を計測して定量化す術を活用した舞台の事例は多くない．舞台「魔界転生」でる研究を行った [3]．これらはいずれも，単独のラケットやは役者に装着したマーカを用いて照明位置を制御しているバットのみで道具の状態を解析している．

が，制御は単純で活用場面もごく一部である．そして，映本研究のように刀剣を模したおもちゃにセンサを搭載し像表示や音声再生のタイミングは多くの場合は手動であたものもいくつか存在する．ハピネットの「サムライ刀」

る．例えば，舞台のチャンバラシーンでは，担当者が役者[4] は刀の柄の部分だけを形にしたおもちゃだが，先端に赤の演技や刀剣の動きに合わせて効果音を手動で付加する．

外線センサを取り付けることで振った先に物があるかを感

そのため，チャンバラとその効果音が一致しない音ズレが知する．そして，物の存在に応じて風切り音や切り裂き音発生する場合がある．

を自動的に発生させる．ただし，こちらも単独の刀剣だけ

そこで，本研究では特に時代劇舞台のチャンバラシーンで状態を解析している．

における効果音に着目する．そして，デジタル技術を用いバットや刀などの道具の状態を単独で解析する既存研究てチャンバラ刀の状態を取得することで，チャンバラシーに対して，本研究では刀の状態を単独および複合的に解析，ンでの効果音をインタラクティブに自動付加する「刀剣ラ識別する．これにより，刀同士の接触といった刀同士の相イブ」システムの提案を開発を行った．

互作用を伴う動作の識別が可能となり，その結果として舞「刀剣ライブ」システムでは，刀を振り下ろしたときの風切り音，刀で斬ったときの切り裂き音，刀を鞘に納めた
1a)

台のチャンバラシーンで用いる主要な効果音をインタラク
ティブに自動付加することを実現している．

愛知工業大学情報科学部
s mizuno@aitech.ac.jp© 2022 Information Processing Society of Japan677

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

図 1

5D11
2022/2/21

システム構成図 2

2. システム構成

チャンバラ刀「刀剣ライブ」システムは，慣性センサを装着した複数のチャンバラ刀と，各チャンバラ刀のセンサ情報の収集と解析および効果音再生を行う PC で構成されている．図 1にシステム構成を示す．
チ ャ ン バ ラ 刀 の 柄 の 部 分 に は M5Stick を 装 着 す る ．

M5Stick は慣性センサやマイクなどを内蔵しており，Bluetooth や Wi-Fi によるワイヤレス通信が可能なマイコンである．重量は 20g 程度で，バッテリも内蔵されているため，チャンバラ刀に装着してもチャンバラ動作に特に支障

図 3

1 回の「振り下ろす」動作中の 3 軸加速度の変化の様子はない．
各チャンバラ刀に装着した M5Stick は，Bluetooth で PCと接続されている．そして，取得した慣性センサデータを一人がチャンバラ刀で様々な動作を行いながら実験的に求めた．

逐次 PC に送信する．そして，PC では M5Stick から送信されたセンサデータを個別および複合的に解析すること

3.2 「振り下ろす」動作の識別で，各チャンバラ刀の個別状態および複合的状態をリアルセンサを装着したチャンバラ刀を用いて，様々な方向でタイムで識別して，その状態に応じた効果音を再生する．

「振り下ろす」動作を何度も試行して，3 軸の加速度の変化

3. センサ情報を用いた刀の状態の識別
3.1 概要の様子を調べた．
図 3 に 1 回の「振り下ろす」動作中の 3 軸の加速度の変化の例を示す．「振り下ろす」方向によって加速度の変化

本研究で識別する単独の刀の状態は「振り下ろす」「斬の仕方は異なるが，3 軸の加速度のうち，x 軸の加速度はる」「納刀」の 3 種類である．これらの 3 種類の刀の状態「振り下ろす」方向にあまり影響を受けることなく，すべては，各チャンバラ刀に装着したセンサデータを個別に解析の試行で瞬間的には −3.00G 以下の値を取った．垂直方向することで，リアルタイムで識別する．に 10 回，左右の斜め方向にそれぞれ 10 回，合計 30 回の一方，チャンバラ刀同士が「接触」する状態の識別は個別のセンサデータの解析だけで行うことは困難である．そこで，複数の刀剣のセンサデータに基づく識別を行う．例
えば，2 本のチャンバラ刀で同時に「斬る」動作が発生し試行において，x 軸の加速度の最小値の平均値は −4.02G，標準偏差は 0.61G であった．
以上から，x 軸方向の加速度が −3.00G 以下となったとき，「振り下ろす」動作が行われたと判断する．

た場合には「接触」が発生したと判断する．
図 2 に柄の部分に M5Stick を装着したチャンバラ刀を示

3.3 「斬る」動作の識別

す．M5Stick はチャンバラ刀の鍔付近に装着している．そセンサを装着したチャンバラ刀を用いて，マットを対象して，センサデータとして慣性センサで得られる 3 軸の加物として「斬る」動作を何度も試行して，3 軸の加速度の速度を用いる．センサ値の 3 軸は図に示した通りに設定し変化の様子を調べた．ている．そして，Bluetooth を用いたシリアル通信で毎秒60 回の頻度でセンサ情報を PC に逐次送信する．

図 4(a) に 1 回の「斬る」動作中の 3 軸の加速度の変化の例を示す．「斬る」動作では，刀が対象物に当たったときに以降の節では，センサデータに基づく刀の各状態の識別x 軸の加速度が大きく変化する．ただし，「振り下ろす」場方法を述べる．なお，各方法の手順は，剣道 2 段の著者の合とは異なり，変化が正負の両方向に生じるとともに，そ© 2022 Information Processing Society of Japan678

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5D112022/2/21

本研究のシステムでは，複数のチャンバラ刀に装着したセンサデータを 1 台の PC に集めながら，各チャンバラ刀のセンサデータを個別に解析しながら動作をリアルタイムで識別している．そのため，各チャンバラ刀の動作の発生タイミングを比較することも可能である．そこで，本研究では 3.3 節で述べた「斬る」動作が複数の刀で同時に発生したとき，「接触」動作が行われたと判断する．ただし，完全に同時に起きた場合だけでなく，発生時刻のある程度の(a) 加速度ずれも許容する．ずれの許容時間は実験的に 0.2 秒とした．
システムでは，一つのチャンバラ刀で「斬る」動作が発生したとき，ずれの許容時間だけ他のチャンバラ刀の動作判定を待つ．そして，許容時間内に他のチャンバラ刀でも「斬る」動作が発生したとき，刀同士の「接触」動作が発生したと判断する．許容時間内で他のチャンバラ刀で「斬る」動作が発生しなければ，一つのチャンバラ刀で「斬る」動作が発生したと判断する．

(b) 加速度の 2 階微分
図 4

1 回の「斬る」動作中の 3 軸加速度とその 2 階微分の変化の様子

4. 実験
提案手法を検証するために，システムを実装して実験を行った．チャンバラ刀は竹製のものと樹脂製のものを 1本ずつ用いており，それぞれに M5Stick を装着している．の変化量も試行によって大きく変化する．そのため，「振PC のシステムは C++で実装しており，各動作を識別したり下ろす」動作のような加速度のしきい値処理では「斬る」ときの効果音の発生のために OpenAL を用いている．そ動作の識別は困難であった．

して，剣道経験のある 2 名の被験者がそれぞれチャンバラ

そこで，加速度の変化を微分する処理を適用した．図4(b) に 1 回の「斬る」動作中の 3 軸の加速度の変化を 2 階刀を持って，チャンバラシーンで想定される各動作を行った．図 7 に実験中の様子を示す．

微分した例を示す．2 階微分を行った場合，10 回の「斬る」「振り下ろす」動作の識別はほぼ完全に正しく識別する

動作のすべての試行で 2 階微分の最大値が 5.00 以上となっことができた．ただし，振り下ろしの判定は動作の最後でた．平均値は 14.28，標準偏差は 7.09 であった．

刀を止める動きに基づくことになり，効果音の発生が実際以上から，x 軸方向の加速度が 2 階微分の値が 5.00G 以上となったとき，「斬る」動作が行われたと判断する．の動作よりも少し遅れた．これを改善するには，振り下ろし動作中の識別を行う手法を開発する必要がある．
「斬る」動作は 80%程度の精度で正しく識別することが3.4 「納刀」動作の識別
センサを装着したチャンバラ刀を用いて，「納刀」動作を何度も試行して，3 軸の加速度の変化の様子を調べた．

できた．マットなどに対する「斬る」動作は，実際にしっかりと刀を当てることができるが，チャンバラシーンでは刀を人に直接当てることは望ましくない．そのため，刀を図 5 に 1 回の「納刀」動作中の 3 軸の加速度の変化の例

寸止めする必要があり，それをしっかり実施すればかなりを示す．腰に差した鞘に対する「納刀」動作では，刀が図高い精度で「斬る」動作の識別が可能であった．ただし，6 に示すような向きになるため，直前に x 軸の加速度の値しっかりとした寸止めは剣道の基礎技量が必要になるたが正となる．そして，「納刀」動作の完了時に y 軸の加速め，「斬る」動作の識別は剣道経験の有無によってかなり変度が大きく変化する．

化する可能性がある．

以上から，x 軸方向の加速度が正である状態が 1.7 秒以「接触」動作は 20%程度の低い識別精度であった．こ

上継続し，y 軸方向の加速度が 2 階微分の値が 3.00G 以上

れは，刀同士の接触位置が先端か鍔元か，また互いに斬りとなったとき，「納刀」動作が行われたと判断する．

合った接触か一方の斬りを避けるための接触かで，取得する加速度が大きく変化するためであった．その結果，一方

3.5 刀同士の「接触」動作の識別の刀の「斬る」動作が検出されず，結果として他方の「斬チャンバラシーンでは，お互いに斬り合って刀と刀がぶる」動作だけが識別される結果となった．「斬る」動作の識つかったり，一方が刀で斬りかかってきたときにもう一方別範囲を広げれば「接触」動作の識別は容易になるが，一が刀で防御するときなどに「接触」動作が起こる．

方で「斬る」動作の誤検出が多くなる．そのため，「接触」© 2022 Information Processing Society of Japan679

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5D112022/2/21

図 5 「納刀」動作の加速度の値(a) 「振り下ろす」

図 6 「納刀」動作の様子

動作の識別を「斬る」動作の延長としてだけではなく，別の特徴量も用いて行う必要があると思われる．
「納刀」動作は 80%程度の精度で正しく識別することができた．ただし，10%程度は「斬る」と識別されてしまった．なお，抜刀を激しく行うことでも「納刀」と識別される場合が多いが，同じ効果音が発生しても違和感はなかっ(b) 「斬る」

たため，大きな問題はないと考えている．

5. まとめ本研究では，演劇舞台のチャンバラシーンにおいて，刀に関する効果音をインタラクティブに自動再生する「刀剣ライブ」システムの提案と開発を行った．システムを実装した実験では，ある程度の精度で想定通りのタイミングで効果音をインタラクティブに自動発生できることを確認し(c) 「接触」た．しかし，特に「接触」判定の精度が不十分であり，実用のためには他の動作の識別方法の変更を含めて全体的に改良する必要がある．
今後の課題としては，各動作の識別方法の改良や変更，刀の他の状態の識別，映像との組み合わせ，3 本以上の刀を用いた実験などが挙げられる.
参考文献[1][2][3]

舞 台「 魔 界 転 生 」, 入 手 先 ⟨https://makaitensho.jp/⟩(2021.12.20).
和田智仁, 村上俊祐, 高橋仁大: 慣性センサを用いたテニス
ラケットの動き分析, 日本体育学会大会予稿集, 70, 228-2(2019).
清水雄一, 鳴尾丈司, 柴田翔平, 矢内利政: 慣性センサを用いた野球スイングにおけるバッド挙動の計測, 日本機械学会シンポジウム：スポーツ工学・ヒューマンダイナミク
ス 2015, A-21 (2015).

© 2022 Information Processing Society of Japan(d) 「納刀」
図 7

[4]

実験中の様子Happinet: サムライ刀,入手先 ⟨http://www.happinettoys.com/products/?c=3&w=g&g=27⟩ (2021.12.20).

680