1C1-09
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

第 28 回日本バーチャルリアリティ学会大会論文集（2023 年 9 月）

マイクを利用した模擬刀と身体の接触判定システムの提案
Proposal of a Contact Judgment System between a Simulated Sword and a Body using a Microphone
前田裕作 1)，佐藤神威 2)，櫻井翔 1)，広田光一 1)，野嶋琢也 1)
Yusaku MAEDA, Kamui SATO, Sho SAKURAI, Koichi HIROTA, and Takuya NOJIMA
1) 電気通信大学
2) 電気通信大学

大学院情報理工学研究科情報学専攻

情報理工学域Ⅰ類（〒182-0035 東京都調布市調布ケ丘 1-5-1{maeda_yusaku, Sato_Kamui, sho, hirota}@vogue.is.uec.ac.jp, tnojima@nojilab.org）
概要：スポーツにおいて身体運動能力はプレイヤー間の差の要因となる．Augmented Sports はスポー
ツとゲーム技術を融合し，身体運動能力によらず楽しめるように拡張したスポーツの形態である．
著者らは剣術競技にバーチャルパラメータ（VP）を導入し，身体運動能力をバーチャルに補えるようにした競技 Parablade を提案した．本研究では剣術競技における VP の付与がユーザの戦術に及ぼす影響を調査するとともに，VP を実際の競技で運用するうえで必要となる，マイクを用いた模擬刀による身体への衝突判定技術の開発を行った．この技術により模擬刀が相手身体にあたったかどうかを判定し，VP にもとづくパラメータ更新が行われる．実験の結果，適切な VP の付与はユーザの攻撃間隔を変化させたとともに，マイクを用いた接触判定手法が実現可能であることを確認した．
キーワード：人間拡張，Augmented Sports，Parablade

1. はじめにメージを与え，プレイヤー間の身体運動能力差の溝を埋め剣道やフェンシングをはじめとした剣術競技では，有ることを狙う．ただし Augmented Sports における VP は，効部位への一撃に対して判定をとる試合ルールや間合い実際の競技中のイベントを実時間で反映させる高速な実を読みあう駆け引きが特徴となっている[1][2]．一方で体時間処理が必要である．また VP の更新計算は暗算で実行格による的の大小や，試合における瞬間的な動作・判断できるほどに簡単ではないため，現実の競技中のイベントは身体能力や経験に頼るところが大きく，体格差・身体を計算機に取り込むための接触判定技術の開発が必要に能力差・経験量によるプレイヤー間の差が大きくなりがなる．今回われわれは，センサとしてマイクの検出範囲のちである．もちろんこのことは，トレーニングなどを通じ広さと脱着の容易さに注目し，マイクを用いた接触判定技てその差を埋める努力に繋がる，スポーツの魅力の一部と術の開発を試みた．またこの技術は，剣術競技における審も言うことができる．しかし，例えば大人と子供のような判の自動化，ヒューマンエラーの防止にも貢献すると期待圧倒的な体格差を前にしては，競技へのモチベーションすされる．本研究では Parablade の提案に際し，剣術競技にら失わせかねない．スポーツにおける身体運動能力差によおけるパラメータの付与がユーザの戦術に及ぼす影響をる悪影響を低減する研究分野として，Augmented Sports調査するとともに，基礎技術としてマイクを用いた模擬刀が存在する．Augmented Sports は既存スポーツを VR/ARの高速接触判定技術の開発を行う．

技術やデジタルゲーム技術と融合し，バーチャルパラメータ（VP）の付与などを通じて身体能力差を補い，身体能力や体格差によらず楽しめるように拡張したスポーツの形態である[3]．

2. 先行研究
Augmented Sports の先行研究として，Kadri Rebane らはドッジボールに VP を付与することで Augmented Sports

本研究では剣術競技を Augmented Sports として拡張しとして拡張した，Augmented Dodgeball[3]を提案している．

た競技「Parablade」を提案する．VP の導入によりプレイ

Augmented Dodgeball では HP（体力），ATK（攻撃力），ヤーの身体運動能力を補うとともに，いままでの競技ではDEF（防御力）の３つの VP が設定されたロールが用意さ導入されなかった打撃部位や打撃の強さといった要素をれ，各プレイヤーは自分に合ったロールを選択すること試合に反映する．VP により，1 回の打撃の攻撃力やダメーで身体能力のバーチャルな増強を可能にしている．

ジ量を調整し，物理的な身体運動能力以上に相手側へのダⒸ 2023 日本バーチャルリアリティ学会

本提案では Augmented Dodgeball で提案される３つの VP-1C1-09-1C1-09に加えて，攻撃の間隔に作用する VP である AGI を導入

3.3 ダメージ計算式することで剣術競技に適した Augmented Sports 化を図る．

通常ダメージにおけるダメージ計算式は式（1）として剣術競技における接触判定技術として，SASSEN[4]が挙表される．式（1）の各パラメータや定数は，HP を 200 とげられる．この競技では圧力センサを内蔵した剣である

した際に三撃以上を必要とするように設定することで，SASSEN 刀によって接触を検出している．ただし接触物VP の影響が反映されるようにしている．𝐷は発生したダメが身体か否か，どの身体部位かを検出することはできなージ， 𝑝は打撃の強さ（0.5 ≤ 𝑝 ≤ 1.0），𝑑𝑏𝑡𝑦𝑝𝑒 はタイプ相い．また，e-コンバット[5]では防具に圧力センサを組み性によるダメージボーナス（0.75 ≤ 𝑑𝑏𝑡𝑦𝑝𝑒 ≤ 1.5），𝑑𝑏𝑏𝑜𝑑𝑦

込むことで打撃部位や強さを検出している．しかし検出は部位ダメージ倍率（0.9 ≤ 𝑑𝑏𝑏𝑜𝑑𝑦 ≤ 1.5）である．また，範囲は圧力センサで覆われた部分に限られ，全身への適プレイヤーの VP を参照する項として𝑃𝐴𝑇𝐾 は攻撃側プレイ用は動きやすさに影響を及ぼす．本研究ではマイクの検ヤーの ATK の値（20 ≤ 𝑃𝐴𝑇𝐾 ≤ 125），𝑃𝐷𝐸𝐹 は防御側プレ出範囲の広さと脱着の容易さに注目し，打撃音を識別すイヤーの DEF の値（20 ≤ 𝑃𝐷𝐸𝐹 ≤ 75）である．

ることで全身を覆わずとも打撃の有無と打撃部位が判定できる，マイクを用いた接触判定技術の実装を目指す．

𝑃𝑃

𝐷 = (15 + 𝐴𝑇𝐾 ) × 𝑝 × 𝑑𝑏𝑏𝑜𝑑𝑦 × (1 − 𝐷𝐸𝐹) × 𝑑𝑏𝑡𝑦𝑝𝑒
5100(1)

3. Parablade
Parablade は VP を導入することで身体能力のバーチャルな増強を可能にした，Augmented Sports 化された剣術競技である．VP の効果により身体能力差を縮小し，初心者も経験者も同時に楽しむことができるような競技の実現

ダメージ計算の例として，𝑃𝐴𝑇𝐾 = 50, 𝑃𝐷𝐸𝐹 = 20, 𝑝 = 1.0,𝑑𝑏𝑡𝑦𝑝𝑒 = 1.0, 𝑑𝑏𝑏𝑜𝑑𝑦 = 1.5, の場合，ダメージ𝐷は式（2）として表され，𝐷 = 30として 30 ダメージが発生する．

を狙う．また剣での打撃部位や打撃の強さなどの要素をダメージ計算に反映させ，単純な打撃の成否にとどまらない，𝐷 = (15 +505) × 1.0 × 1.5 × (1 −20100) × 1.0 = 30 （2）

真剣の試合で想定される要素を取り入れることも企図している．

ダメージによる HP の減少は，攻撃を受ける前の HP

3.1 VP の導入
Parablade では HP/ATK/DEF/AGI の 4 つのパラメータを導入し，相手の HP を 0 にすると勝利となる HP 制を導入する．プレイヤーはスキルポイント（SP）を有し，を𝐻𝑃𝑏𝑒𝑓𝑜𝑟𝑒 ，攻撃を受けた後の HP を𝐻𝑃𝑎𝑓𝑡𝑒𝑟 とおくと，式（3）として表される．𝐻𝑃𝑎𝑓𝑡𝑒𝑟 について𝐻𝑃𝑎𝑓𝑡𝑒𝑟 ≤ 0となったときに敗北となる．

SP を割り振ることで各パラメータを調整できる．これに𝐻𝑃𝑎𝑓𝑡𝑒𝑟 = 𝐻𝑃𝑏𝑒𝑓𝑜𝑟𝑒 − 𝐷より，プレイヤーは身体能力や戦術に合ったバーチャル(3)な身体拡張が可能となる．SP の割り振りによる VP の調整後，VP の値に応じてプレイヤーのキャラクタータイ

4. VP の付与がユーザの戦術に及ぼす影響調査

プが決定される．攻撃/防御/スピード/バランスの４つの4.1 実験目的タイプから構成され，バランスタイプを除く異なるタイ

剣 術 競 技 を Augmented Sports と し て 拡 張 し た 競 技

プ間においてタイプ相性を設定し，タイプ相性によるダ

Parablade において，設定したルールが破綻しないか検証メージボーナスとして試合に反映する．例えば，攻撃タを行った．同時に，Augmented Sports における VP の付与

イプからスピードタイプへの攻撃ではダメージボーナスがユーザの戦術行動に及ぼす影響について調査を行った．

が大きくなり，攻撃タイプから防御タイプへの攻撃はダ

4.2 実験内容
実験は被験者 2 人 1 組で行い，被験者 2 人にそれぞれメージボーナスが小さくなる．

VP を割り振った状態で剣術競技を行ってもらった．今回

3.2 ダメージの発生条件
プレイヤーへのダメージの発生条件は通常ダメージ，使用した VP の割り振りは攻撃タイプ，防御タイプ，スピ部位ダメージ倍率，出血ダメージの３つからなる．通常ードタイプの 3 種類に分かれている．これはプログラム

ダメージは相手に攻撃を当てることで発生し，3.3 で述べ上でのシミュレーションを元にタイプ間で 3 すくみの相るダメージ計算式に従ったダメージが与えられる．部位性（攻撃>防御>スピード>攻撃）を形成するように設定しダメージ倍率では身体部位ごとに異なるダメージ倍率がた．被験者ペアにすべての組み合わせとなる 9 条件につい設定されており，打撃部位に応じた倍率がダメージ計算て試合を行ってもらった．VP の割り振りは各試合前に被式に反映される．頭や首など致命傷になる部位ほど倍率

験者に提示した．このとき，もう一方の被験者から見えなが高く，足や腕では倍率を低く設定する．出血ダメージ

いように提示を行った．試合は実験者の目測で判定を行い，は通常ダメージで一定以上のダメージを与えたときに発どちらか一方の HP が 0 を下回ることで終了とした．
また，生し，一定の間隔でダメージが発生し続ける．

試合内容は動画として記録を行い，この動画を元に被験者の攻撃間隔，攻撃部位，試合時間を測定した．本実験では，Ⓒ 2023 日本バーチャルリアリティ学会-1C1-09-1C1-09
4 組計 8 名(男性ペア 3 組，男女ペア 1 組，22-29 歳)についBて実験を行った．

表 1：各タイプ間の勝率
攻撃
防御スピードA

4.3 実験手順
まず剣術競技と使用する SASSEN 刀，および導入するVP についての説明を行った．次に，Augmented Sports とし

攻撃
防御
スピード

62.5%
37.5%
0%

100%
25%75%て拡張前の剣術競技の体験を行った．終了後，休憩をはさんで本番を行った．本番では試合前に使用する VP の割り振りを相手プレイヤーから見えないように被験者に提示した後，どちらか一方の被験者の HP が 0 を下回るまで試合を行った．試合後は両被験者の呼吸が整うまで休憩をとり，全９試合をランダムな順で行った．
4.4 実験結果と考察
各タイプの勝率を表 1 に示す．表 1 は行方向(A)のタイ
プについて列方向(B)のタイプと戦った際の勝率を表している．タイプ間の相性について，3 すくみの相性となることを想定していたが十分な再現には至らなかった．中でも防御タイプがどのタイプにも不利な状況になった．これは，被験者にとって攻撃を受ける行為に対する心理的負担が

図 1：各タイプにおける被験者の攻撃間隔大きかった可能性が考えられる．実験では攻撃を受けた被験者は相手から距離を取る行動をとることが多く，防御タから構成されるマイクユニット（PMU）を作成し，打撃音イプの戦術として想定していたカウンター攻撃の傾向はを音声認識として識別することで打撃の有無と打撃部位見られなかった． 実競技において 3 すくみの相性を形成の特定を行う．PC 上のプログラムで武器側/防具側の双するためには，プレイヤーに対して防御力が上がっている方から打撃が確認されたときプレイヤーへの接触としてことを示すフィードバックを行い，攻撃を受けることに対判定する．

する負担を減らすことが必要であると言える．また，被験者の攻撃間隔を図 1 に示す．タイプを要因とする 1 元配

6. PMU における打撃音の音声認識置分散分析の結果 1%水準で有意であり，shaffer 法で多重

6.1 音声認識の学習手法比較した結果，攻撃タイプと防御タイプ，攻撃タイプとスPMU における打撃音の音声認識のモデル構造は 2 次ピードタイプの組み合わせにおいて 5％水準で有意差が見元畳み込みニューラルネットワークとして，2 次元畳みられた．3 つのタイプのうち，攻撃の間隔に関する AGI パ込み層，全結合層，出力層から構成される．音声データ

ラメータはスピードタイプのみ異なる値を設定していた．の前処 理とし て 1 秒間の 生音声 データ に窓 サイズをそのため，スピードタイプは他のタイプと比較して攻撃間30ms，窓間隔を 20ms の窓関数を適用した FFT を実行

隔が短くなることを想定していたが，防御タイプとスピーし，幅 43，高さ 49 のスペクトログラムを生成した．学ドタイプの間には有意差が見られなかった．
これは AGI パラメータによる影響の他に，防御タイプでは DEF パラメータが上昇することで相手の攻撃を防ぐ意識が薄れ，攻撃頻度が増加したことが考えられる．一方，攻撃タイプと防御タイプの攻撃間隔に有意差が見られたことについては，ATK パラメータを上昇させたことにより，相手に確実に攻撃を通そうとするユーザ行動を起こしていることが想定される．このように，VP の付与はプレイヤーの行動に影響を及ぼす可能性があることが示された．

5. 接触判定技術の開発
接触判定システムの構成は図 2 (a)のようになっている．
図 2 (b)に示す SASSEN 刀による武器側の判定と，図 2(c)に示すマイクユニット（PMU）による防具側の判定の 2つからなる．武器側では SASSEN 刀を基本デバイスとして用い，圧力センサから打撃の有無と強さを検出する．
防具側では２つのマイクと１つのマイクロコントローラⒸ 2023 日本バーチャルリアリティ学会-1C1-09-

図 2：接触判定技術の構成

1C1-09

図 3：打撃音の分類精度

図 4：再学習後における打撃音の分類精度習に用いる音声データは，訓練データと検証データとテ

7. まとめストデータを 8:1:1 の割合として分割を行い，学習率は本研究では，剣術競技を Augmented Sports として拡張

初めの 12000 回は 0.001，終わりの 3000 回は 0.0001 とした競技「Parablade」の提案を行った．Augmented Sports 化して設定し，合計 15000 回の学習ループを実行した．に伴う VP の付与がユーザの行動に及ぼす影響を調査した

6.2 データセットの収集

結果，VP の付与はユーザの攻撃間隔を変化させ，戦術性音声認識の学習に用いるデータセットは SASSEN 刀にに影響を及ぼす可能性があることが示された．また，基礎よる打撃音を録音することで作成した．各音声ファイル技術としてマイクを用いた模擬刀の高速接触判定技術のはサンプリング周波数 44.1kHz，サンプルサイズ 2bytes，開発を行い，PMU による打撃部位判定の実現可能性が見ステレオ形式からなる１秒間の wav ファイルとして保存られた．

した．PMU を改造した録音装置を前腕に装着した状態で今後は VP の調整を繰り返すことで適切なタイプ相性を小手/前腕/上腕/剣への打撃の４パターンと，無音状態，形成する．また，PMU による部位判定の改善と全身へのその他の音を合わせた計６パターンについて合計 109.4 分適応を行うとともに SASSEN 刀とあわせた接触判定シス間の録音を行った．

テムの開発を行う．そして，競技におけるダメージ処理

6.3 分類精度や VP の管理を行うゲームプログラムを作成し，Parablade

学 習 結 果 を図 3 に示 す ．学 習 に お ける 分 類 精度 は72.9%であり，分類器としての精度は低かった．特に身体への接触となる小手/上腕/前腕への打撃では他の身体部位の打撃との誤分類が多くみられ，音声認識による部位判定では打撃音に加えて他の音声情報を追加するような工のシステムを作成する．

8. 謝辞
本研究の遂行にあたって，全日本 SASSEN 協会の本村隆馬氏，鋤先星汰氏に多大なご協力をいただきました．この場を借りて御礼申し上げます．

夫が必要であると考えられる．
6.4 音源情報の追加
分類精度向上の工夫として，SASSEN 刀の先端にスピーカを設置し，10kHz の音を再生させ続けることで打撃の強さによらない音源情報を追加した．この状態で小手/前腕/上腕への打撃と無音状態，その他の５パターンにつ

参考文献[1] 笹川スポーツ財団．剣道．https://www.ssf.or.jp/ssf_eyes/dictionary/kendo.html (visited 2023/07/20)[2] 笹川スポーツ財団．フェンシング．
https://www.ssf.or.jp/ssf_eyes/dictionary/faencing.html

いて合計 89 分間の録音を行い，再度学習を行った．

(visited 2023/07/20)

6.5 再学習による分類精度
再学習の結果を図 4 に示す．平均分類精度は 88.1%で[3] Kadri Rebane, Takahiro Kai, Naoki Endo, Tomonari Imai,
Takuya Nojima, Yohei Yanase. Insights of the augmented

あり，分類精度の向上が見られた．録音装置装着部位であ

dodgeball game design and play test. AH '17: Proceedings

る前腕における分類精度は 93.33%，小手/上腕を録音装置

of the 8th Augmented Human International Conference.

隣接部位として１つにまとめた際の分類精度は 93.98%にもおよび，装着部位と隣接部位を分ける簡易的な部位判定として実現可能性が見られた．PMU は各部位に装着を想2017. Article No.12. Pages 1–10

[4] 一般社団法人 全日本サッセン協会. LED・圧力/加速度センサー付き SASSEN ver.3.

定しており，装着部位ごとに学習を行っていくことで全身を対象とした接触判定が実現できると考えられる．

https://sassen.jp/digital_sword_ver3/ (visited 2023/07/20)[5] 超人スポーツ協会. e-コンバット 交陣.
https://superhuman-sports.org/sports/kozin.php(visited2023/07/20)Ⓒ 2023 日本バーチャルリアリティ学会-1C1-09-