四国地区

教育システム情報学会 2022年度学生研究発表会

MR 環境を活用したバスケットボールの着眼点の改善支援
Support for improvement of gaze point in a basketball match using
the MR environment
山岡凛*1， 竹内寛典*1，松浦健二*1，
Rin Yamaoka*1，Hironori Takeuchi*1，Kenji Matsuura*1*1 徳島大学*1Tokushima University
Email: c611801508@tokushima-u.ac.jp
あらまし：バスケットボールでは，実空間上で経時変化する対峙相手の動作や他の敵・味方プレイヤの動作を見ながら瞬時に次のプレイを判断・反応する．つまり注視する主対象に対して複眼的に複数の対象を捉える必要がある．そこで本研究では，複合現実デバイスを用いて，一人称視点でのモデル注視点の学習に加えて，周辺視の注視対象位置にも着目した学習支援環境を設計する．
キーワード：バスケットボール，学習支援，注視点，HoloLens2，アイトラッキング，ハンドトラッキン
グ

1．はじめに2022 年度に入り，新型コロナウィルス感染症の影
響も変化してきているものの，それまでの電子化の浸透の恩恵が各分野で縮退することはない．スポー
ツにおいても，実際のトレーニング環境でなくても，特定の能力，例えば認知技能習得を促進できる電子化環境が期待される．特に，身体接触を伴うチームスポーツでは，仮想空間での疑似動作やその後の視野など，概念的な学習に大きな期待が寄せられている．N 対 N で行われる集団対戦型スポーツでは位置関係や試合状況は著しく変化するため，個々の選手が次の行動に対して正確で早急な判断が必要となる．
本研究ではチームスポーツの典型ともいえるバスケ
ットボールを取り上げる．
熟練者と初学者においては，動向注視からの状況判断に違いがあるものと考えるが，視線の振る舞いに関する複数対象への注意を促進する援境の設計・実装行うことが，本研究の目的である．これまで学
習支援研究は．実際の運動に対する技術的な提案 (1)などいくつか見られるものの，当該状況に対する注視点を学習支援する試みはあまり見られず，本研究では，三次元空間を前提とする特徴を有する．
本研究では一人称視点の動画に対する，注視点を学習支援する環境の設計と開発を進めてきた(2)．現
在，医療や作業等で試験的導入が進みつつある MR（Mixed Reality ，複合現実）デバ イス と して，
HoloLens2(図 1)がある．様々な用途が考案されているが，付加機能として，視線検知：アイトラッキン
グと手の運動追跡：ハンドトラッキングがあり，これらは並行利用可能である．そこで，動画等の学習対象場面に対して，これら二つの機能を同時利用した学習支援，特に主眼と副眼を意識した注視点の学習支援を目指す．将来的には，実際のコートでの応用を試みていく予定であるが，現時点では室内での実験環境での利用とする．

229

図 1 HoloLens2 の外観

2. 学習支援環境の設計と実装
2.1 バスケットボールの学習支援
バスケットボールの学習支援の研究として，仮想オフェンスを用いてフェイントを繰り返す映像をいてディフェンスを支援することで学習効果が得られた研究(3)がある．この研究における仮想オフェンスは，OpenPose(4)を使用してリアルな動作を分析し，抽出された座標データに基づいてボーンフレームで実装されている．その表現は黒地に骨格として抽象化されており，方向性が想像しにくく，実際の身体の動きとは多少異なるように見える．そこで，本研
究では実試合中の一人称視点での映像を学習用に用い，MR デバイスによって学習用映像を目の前の空間上に配置することとした．
2.2 アイトラッキングとハンドトラッキング
本研究で使用する HoloLen2 の機能である視線追跡機能(eyertracking API，30FPS )を用いて，両眼の視線座標を取得する際， 左右取得可能であるが本研究は両眼の座標の平均座標を注視点とした．さらに手

四国地区

教育システム情報学会 2022年度学生研究発表会

追跡機能(handtracking API)の副次機能としてハンドレイ機能があり，これを応用して周辺視野内での意識すべき副注視対象領域に手をかざすという実装で，学習支援システムに取り入れる．丁度バスケットボールのディフェンダがハンズアップしているような状況になる．注視すべき主対象と副対象を同時に取得できることになる．概念的な説明を図 2 に示す．
開発には，Unity と Visual Studio 環境を用いて行った．

図 2 本研究で使用する HoloLens2
2.3 熟練者視点と学習者視点
バスケットボールのゲームに参加しているプレイ
ヤの一人称視点での映像を用いて，HoloLens2 内での映像提示を熟練者に行う．その際，熟練者の視線情報(主視点)を時系列座標データとして取得する．
また，ハンドレイ機能により，同時にハンドレイの示す座標データ(副視点)も取得する．用いる映像における，主視点・副視点それぞれに対しての全熟練者データの平均をモデルデータとする．学習者は，同じ動画に対して同様に視聴し，熟練者と同様に主視点と副視点をデータ取得する．これにより系列データ間の距離を計算することができるようになる．

支援システムが学習用映像を空間内に提示し，初学者はそれを認識し視聴する．本研究では，映像には 3 種類用意し，アプリケーション起動時に，空間上に配置した３つのボタンから一つを選択することで，当該映像が表示される．
本研究では，映像が比較的短時間であることと，学習初期においては，情報過多とならないことを優先して，フィードバックを事後に非同期で行う．すなわち，映像終了時に初学者データと学習データに一定以上の距離があるかを判定し，結果を学習者に重畳表示する．距離が離れていた場合，円状のオブジェクトを強調表示して視線誘導による学習を施す．
すなわち，熟練者と初学者の視線（主視点）とハンドレイ（副視点）を区別可能状態で表示し，それぞれ熟練者との違いを認識させることが可能である．
映像は繰り返し視聴可能である．距離によって色の変更，映像の一時停止を可能としている．これらの機能実現により，主視点の評価と，副視点の評価を紐づけながら実現することができ，他ドメインに対しても応用可能な技術となることが期待される．

4．おわりに
本研究では，バスケットボール選手の複眼的な注視点の認知技能を高める学習支援環境として，MR デバイスとしての HoloLens2 を用いた学習支援システ
ムを設計・構築した．本研究の一人称映像のシーンは，プレイヤによって見え方が異なるため，これは攻守によって異なる．したがって学習効果を測定する際にはさまざまな映像コンテンツを収集し，プレイヤの状況に応じてこのアプローチの妥当性または不十分性を確認する必要があると考える．

2.4 動的時間伸縮法を用いた視点間距離異なる長さの時系列のデータ間距離（類似度）を求める手法として，Dynamic Time Warping（動的時間伸縮法）(5)を用いる．DTW は 2 つの時系列の各点間距離を総当たり計算し，最短となるパスを求める．
データ間の累積距離を最小化するように時系列デー
タの長さを時間軸方向に調整する性質があり，時間軸上の変化に対応できるため，長さの異なるデータに対しても類似度を算出できる．時系列データの類似性は幾つか選択可能であるが，本研究での映像が短時間であることも考慮した．

3．システム設計と開発
学習用のモデル映像の再生，計測される視線とハンドレイ座標データの分析・処理やフィードバックの提示などの支援システムは HoloLens2 のみで全て実現可能なため，スタンドアロンのアプリケーションとして開発し，デバイス上にデプロイした．汎用コンピュータと USB でデバイス接続すれば，汎用コンピュータ上でも HoloLens2 内の描画画面内を同時確認することも可能である．

230

謝辞
本研究は JSPS 科研費 22K12314 の助成を受けたものです．
参考文献(1) 大芝健允， 幸田尚也， 松浦健二， 谷岡広樹， 後藤田中， 和田智仁: “バスケットボールにおけるソフトウェアオフェンス構築とその評価”， 教育システム
情報学会 2019 年度学生研究発表会， pp． 203–204(2020)．
(2) 山岡凛，松浦健二，竹内寛典: ”バスケットボールにおけるプレイヤ注視点の学習支援環境”， 教育システム
情報学会学生研究発表会，pp．213–214 (2021)．
(3) 山本連平， 松浦健二， 谷岡広樹， 和田智仁， 後藤
田中: “バスケットボールの１対１におけるディフェンス注視点の学習支援環境”， 教育システム情報学会
学生研究発表会， pp． 231–232 (2021)．
(4) 中井眞人， 角田善彦， 孫財東， 村越英樹， 林久志，網代剛:“OpenPose によるバスケットボール投入予測”， 人工知能学会第 32 回全国大会， pp．3 (2018)(5) 櫻井保志， Christos Faloutso， 山室雅司: “ダイナミックタイムワーピング距離に基づくストリーム処理”， 電子情報通信学会論文誌 D， 情報・システム，
Vol． 92， No． 3， pp．338–350 (2009)．