情報処理学会 インタラクション 2017
IPSJ Interaction 20173-403-43
2017/3/2

全天球カメラと VR 装置を活用した
テニス用 E-learning システムの開発と効果検証
見城航†1,a)小方博之†1

概要：本研究ではテニスを例題として VR 装置を活用した運動体験型の E-learning システムを開発し，その知覚運動体験に現実との相違があるか検証した．また運動学習環境においてスローモーション加工をした全天球カメラ映像を使い，それらが初心者に対して学習支援効果があるかを検証した．その結果，本システムの知覚運動体験は現実と違和感がないレベルである事を確認し，スローモーション加工をした全天球カメラ映像は，学習支援ツールとしての効果がある可能性を確認できた．

Development and Validation of E-learning Training System
for Tennis Using VR Headsets and Omnidirectional Camera
WATARU KENJO†1,a)

HIROYUKI OGATA†1

Abstract: In this paper, we developed an E-learning training system for tennis using virtual reality headsets, and measured thedifference of the perception training experience there from the "true" reality. We also played the immersive video in slow motionin the learning environment, and verified whether they have effects for beginners. As a result, we verified that the perceptual
training experience in this system was almost the same level with the "true" reality, and confirmed the possibility that playing theimmersive video in slow motion has effect as a learning support tool.

1. は じ め にとしての可能性を示唆したものである[5]．また近年では，
HMD が低コストかつ高解像度表示になり，様々な分野でスマートフォンやパソコンの普及に伴い， E-learning はの応用が見られる．NTT データ社では VR 技術を用いたプ社内研修など様々な場面で活用されるようになった．しかロ野球選手向けのトレーニング用 E-learning システムを開し，講師と学習者が直接やりとりを行う対面型授業などは発し，選手は投手の動作の特徴や球筋，バッティングのタデジタル化しにくく，E-learning 化が難しいといわれている

イミングなどを確認出来る[6]．しかし，このシステムは球[1]．これを演繹すると，講師から動き等の指導を直接受けを打つなどのインタラクションができない点で，知覚だけるスポーツスクールでの指導を E-learning 化するのもまた，に留まっていると言え，運動学習の体験までは実現していチャレンジングな課題と考えられる．またスポーツスクー

ない．

ルには，

そこで本研究はテニスを題材にし，VR を活用して実際

l

通学時の移動費や時間の無駄にボールを打ち返すことで体験的に運動学習が可能な

l

コーチ毎の指導の質のバラつき

E-learning のシステムを開発する事を第一の目的とする．図l

受講人数増加による学習効果の低下

1 にシステムのイメージを示す．

l

集団では個人に合わせた学習レベルの調整が不可能と言った課題がある．このような指導の E-learning 化が実現できれば，l

自宅で学習が可能

l

指導の質の安定l

マンツーマンによる学習効果の向上l

個人に合わせた学習レベルの調整が可能

等のメリットが生じ，これにより上述の課題を解決できる．
一方，スポーツシステムに関連してバーチャルリアリテ
ィ（VR）を身体反応の測定研究[2, 3]や，運動療法への応用研究[4]に活用した事例が見られるようになり，実践的な知覚運動体験が可能になりつつある．CAVE を使ったテニスの環境提示システムの研究は，打球に対する知覚特性を

図 1

VR を活用したテニス用運動体験型 E-learning システ

評価し VR のスポーツ学習への応用性の高さと，学習教材†1 成蹊大学
Seikei Universitya) wataken8odd7@gmail.com© 2017 Information Processing Society of Japanムのイメージ
Figure 1

Concept of the proposed tennis E-learning systemusing VR813

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-403-43
2017/3/2

3. [A] Input（ 映 像 評 価 ） 実 験
また，テニスなどの球技では，ボールの軌道に慣れない初心者が無理にボールに合わせてスイングする事で悪いフォームが身についてしまう問題がある．そこで，本研究ではスポーツの体験的な運動学習環境の再現に，CG ではな
く全天球カメラ映像を加工して使うことを試み，よりリアルな環境で初心者に正しいフォームを学習させることを狙う．全天球動画であれば，撮影したボールの動画をスロー再生させる等の加工をすることが出来る．これを応用すると，例えば「ウィンブルドンのコートの上で，プロの200km/h のサーブを，全く同じ軌道のまま 20km/h になるまでスロー再生する事によって，初心者でもプロのボールを見切れるようになる．」といったことも再現できる．
以上の点を踏まえ，本研究では全天球映像のスロー再生をテニスのショットに応用する際に，学習支援ツールとし

3.1 事 前 準 備
撮影を行ったテニスコートの概形を図 3 に示す．コートのベースラインと右側のシングルスラインの交点（図 3 の①）に三脚を設置し，そこに地面からレンズまでの高さが170cm となるよう全天球カメラ SAMSUNG GEAR360 を取り付け，2k-60fps の画質で撮影した．コートの反対側からプレーヤがサービスを打ち，カメラ位置での打ち返しが適当な映像を選んで実験に使用した．
撮影したサービス映像の１つを Samsung Gear 360 Action
Director にて編集し，100%・50%・25%・10%の 4 種類の再生速度の動画を作成した．またこの時，再生速度の変化のタイミングは，サーバのラケットにボールが接触してから，相手コートで 2 バウンドするまでを対象にした．て効果を発揮するかどうかを検証する事を第二の目的とする．

2. 研 究 構 想
図 2 は本システムの知覚運動体験の流れを示したものである．右向きの矢印は PC からの映像を HMD に表示させそれを人が知覚する流れである．左向きの矢印はモーションコントローラが人の運動を検知し PC に情報を伝える流れである．

図 3
Figure 3
図 2
Figure 2

本システムの知覚運動体験の流れ

Framework of the perceptual exercise experience ofthe proposed system

E-learning としての実用性を考えた場合，まず全天球映像を HMD で呈示したものを，人間が自然に知覚できるかどうかの検証，すなわち「情報の Input の検証実験」が必要である．そしてその上で，このシステムを使用した時に発現する運動技能が現実と同様のものかの検証，すなわち「情報の Output の検証実験」が必要である．
これらの 2 点を確認した上で，全天球映像のスロー再生が，初心者の学習支援ツールとしての機能や効果があるかどうかを検証する．
これを受け，本研究では以下の手順で実験をする[A] Input（映像評価）実験[B] Output（運動技能出力検証）実験[C]初心者のスロー再生ストローク実験© 2017 Information Processing Society of Japan

撮影を行ったテニスコートの概形
Position for recording in the tennis court

3.2 実 験 手 順
参加者は大学生 11 名（年齢 21~26，男性 10 名，女性１名，平均身長 172.1cm[s.d.=8.19]）であった．
参加者は起立姿勢で HMD を装着し，作製した 4 種類の映像をランダムな順番でそれぞれ１回ずつ視聴した．１つの視聴が終わるごとに，HMD を外しアンケートに回答してもらうようにした．アンケートの作成には，井田らがCAVE をスポーツ学習に応用する際の，基本的な認知特性を調べるのに使用した質問項目[5]を参考にした．アンケー
トは，映像の「臨場感・立体感・画質」とボールの「存在感・速度感・軌道の見やすさ」を７段階評価（中央値４）する項目，「高さ・酔い」の違和感の有無を回答する項目，およびその他の気になった点を記述回答する項目で構成されている．
3.3 結 果表 1 に，映像・ボール・違和感に関する回答集計結果を814

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-403-43
2017/3/2

示す．違和感の自由記述欄には，「バウンドの際の音ズレ」と「テニスボールの打球音の違和感（軟式テニス用のボールを打ったみたいな音）」の 2 つの記入があった．

4.1.2 ラケットコントローラの作成
付属のモーションコントローラでは，グリップ部分や重量・バランスが本物のラケットと異なり，スイング時に違和感を覚える事が予期されるため，本実験では専用のラケ

表 1
Table 1

映像評価アンケートの結果ットコントローラを作成した．本物のテニスラケットを切断・加工し，モーションコントローラを固定した．また，

Result of image evaluation questionnaire
違和感

映像自体

ボール(有の人数)※（）は臨場立体

標準偏差感感1005.7

5.3%

(1.3)

再50

生

存在

速度

感

感

3.2

4.5

5.5

4.5

(0.8)

(1.3)

(1.3)

(1.0)

(1.3)

5.1

5.4

3.4

5.2

4.2

5.3

%

(0.7)

(1.2)

(1.3)

(0.6)

(1.5)

(1.3)

速

25

5.4

5.2

3.0

5.6

3.5

6.3

度%

(0.7)

(0.6)

(1.1)

(1.2)

(1.7)

(0.8)

10

4.2

4.9

2.8

5.0

2.1

6.0

%

(1.2)

(1.2)

(1.5)

(1.8)

(1.3)

(0.9)

画質

高酔

さい

10

10

10

10

映像にはこれに CG のラケットデータを合成することで，より現実に近いインタフェースを再現した．

軌道

3.4 考 察図 4

どの再生速度でも映像の画質の評価平均は 3.0 前後と中央値よりも低いものの，100%再生での臨場感や立体感の評

Figure 4

自作のラケットコントローラ
Racket controller used in the experiment

価平均は 5.5 前後と中央値よりも高いことから，本システ
ムは現実にかなり近い知覚が得られると考えられる．

4.1.3 Unity での開発

また，再生速度 100%の映像に比べ，50%では 0.8，25%

先のコントローラを使用しユーザがボールを打つ体験

では 1.8，10%では 1.5 だけ軌道の見やすさの数値が向上し，の可能なシステムを構築した．図 5 のように映像を元に CG

スロー再生はボール軌道の認知をしやすくする効果が期待ボールの 3 次元軌道を作成し，その映像のタイミングに合されることも確認できた．しかしここで，10%再生は 25%わせ，ボールを出現・移動させることでラケットとボール再生に比べて軌道の見やすさが劣り，臨場感が低下する点の接触を違和感なく表現できるようにした． CG ボールとも見られた．これはバウンド音の音ズレや，フレーム数のの入れ替えは，映像のボールが 1 バウンドした後のボール低下が原因だと考えられる．よって 15fps 以下の全天球映が，次の軌道頂点に差し掛かるポイントで行った．全天球像はユーザにとって不自然な運動知覚となり，避けるべき映像のボールはユーザが移動しても距離感が固定されていだと考えられる．

たが，CG ボールは固定が出来なかったため，ユーザの立ち位置を固定した．

4. [B] Output（ 運 動 技 能 出 力 検 証 ） 実 験
4.1 事 前 準 備ストロークの映像を E-learning で使用できるように，コントローラの作成と Unity での学習システム開発を行った．
以下にその手順を示す．
4.1.1 映像作成
映像は次の手順で撮影した．テニスコートのベースラインとセンターマークの交点（図 3 の②）に三脚を設置し，審判台の位置から球出しを行い，それを反対側のコートのプレーヤがストロークした．その他の条件は 3 章のサービスの撮影と同様に設定した．
スピードメータを使用しボールの速度を測定したところ40km/h だった．

© 2017 Information Processing Society of Japan

図 5

映像のボールと CG ボールの 3 次元軌道の様子

Figure 5

Visualization of the real and the simulated
trajectories of balls

815情報処理学会 インタラクション 2017
IPSJ Interaction 2017

4.2 実 験 手 順

3-403-43
2017/3/2

疎外感の数値の平均は 2.67[s.d.=0.471]と低かった．

参加者はテニス経験者 3 名（年齢 20~22，男性 3 名，身コーチによるストロークのチェックでは，特に現実との長 172.0cm[s.d.=4.32]，テニス経験 3~9 年）であり，以下の大きな違いの指摘はなかった．むしろ，「VR システムでも手順で使用感のアンケートと，フォームの映像判定を行っ

各プレーヤの癖が解析できる程である」との評価もあった．

た．
参加者は立ち位置を固定した状態で，本ストロークシス4.4 考 察

テムを再生速度 100％条件下で自由に体験してもらった．

距離感の違和感に関しては，事前に立ち位置を参加者に違和感があった場合には，使用中や使用後に口頭で答えて指示したものの，何度もストロークをしている内にユーザもらうようにした．また実験最後には，現実のテニスと比の立ち位置が自然とズレたことが原因だと考えられる．実較して，VR 機材等が身体にどれほど疎外感を感じさせる

際，立ち位置をストロークの度に修正したらこの違和感はかを 7 段階評価（中央値 4）で答えてもらうようにした．

解消した．この課題はシステムのプログラムの修正によっ一方，参加者の許可の下，実験室に三脚とカメラを設置て容易に解決可能である．

し，参加者が VR を使ってストロークをする様子を，図 6

スイングスピードが速いとボールとの接触が検出できなのように背面と側面から撮影した（画質 1080p-60fps）．そい問題は，CG のラケットとボールとの接触を検知する際して現実のコートでも同様の条件でストロークの様子を撮のマージンが小さかった事が原因だと考えられる．

影し，比較しやすいようにこれら 2 つの映像を左右に並べ参加者の使用感と，コーチによるストロークの指摘のどた 1 つの動画（画質 1080p-60fps）に合成した．この動画をちらからも大きな違和感がなかったことから，本システムフォームの指導経験があるテニスコーチ 2 名に視聴してもでは，ほぼ現実のテニスと同じように運動技能が発揮できらい，「現実のテニスと同じように運動技能が発揮できていると考えられる．

るか」を中心に評価していただいた．動画の再生には，40インチのディスプレイを使用した．

5. [C] 初 心 者 の ス ロ ー 再 生 ス ト ロ ー ク 実 験
5.1 事 前 準 備
実験[B]にて，ユーザの立ち位置によって距離感に問題が発生する点が見られたため，HMD の位置情報を元にボールの出現位置を設定する修正を行った． またラケットとボールの接触検知のマージンも修正した．
4 章で撮影したストローク映像を 3 章と同様に編集し，100%・50%・25%の 3 種類の再生速度の動画作成した．ここで 10％の動画は無くし，またこの映像に合わせ CG ボールが出現するよう，4 章の手順と同様に開発を行った．
5.2 実 験 手 順
今回の実験は，全天球映像のスロー再生が本システムの知覚運動体験において，学習支援ツールとしての機能や効果があるかどうかを検証する目的で行った．
参加者はテニス初心者 2 名（年齢 22，男性 2 名，平均身長 173.0[s.d.=5.72]，どちらもテニス経験 2 週間程度）であった．

図 6
Figure 6

プレーヤの撮影位置

Positions of the cameras to record player's motion

参加者には再生速度 100%の打球を 10 球視聴してもらった後，1 分の休憩を挟みながら 100%・50%・25%のボールを 10 回ずつストロークする実験を 2 セット行ってもらった．

4.3 結 果テニスプレーヤからは以下のような指摘があった．
l

画質が低いのが気になったl

突然ボールが CG に切り替わるので驚いたl

最初のみ距離感に違和感があった（数球で慣れた）l

スイングスピードが速すぎると当たらなかった© 2017 Information Processing Society of Japan

違和感に関しては，実験終了後，特に気になった点を口頭で答えてもらうようにした．
5.3 結 果表 2 に参加者 A, B のヒット回数と，合計の結果を示す．

816

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

表 23-403-43
2017/3/2

ヒット回数と打率の結果動が出来ない問題がある．位置を固定の制限を解消するた

Table 2Frequency and average of hitting of subjects

めにも，移動可能な全天球カメラや，映像処理技術が必要

被験者

100％再生だと言える．

50％再生

25％再生

12/20

14/20

14/20

(0.60)(0.70)(0.70)

14/20

16/20

13/20

(0.70)(0.80)(0.65)

26/40

30/40

27/40

(0.65)(0.75)(0.68)

(打率)
A

B

計

謝 辞 本研究にご協力いただきました成蹊大学 法学部 堺広志教授に感謝申し上げます．

参考文献
[1]
[2]

それぞれから以下のようなコメントがあった．
A

再生速度 25%ではタイミングがとりづらかった．

B

再生速度 50％が最も打ちやすかった．また 50%と 25%[3]では手を見る余裕ができ，ボールを最後まで目視できた．
5.4 考 察合計の結果，再生速度 100%に比べ 50%では 0.1，25%で

[4]

[5]

は 0.03 だけ打率が向上し，スロー再生による打率の向上をある程度確認できた． 2 名の意見から，初心者にとって最もストロークしやすい再生速度の打球は 25％ではなく，50％と言える．映像のボールは 40km/h であるため，単純に計算すると 20km/h のボールが打ちやすいとも考えられ[6]

日本イーラーニングコンソシアム.“e ラーニング導入ガイド”.
(2004)
Benoit Bideau, Franck Multon, Richard Kulpa, Laetitia Fradet,
Bruno Arnaldi, Paul Delamarche. “Using virtual reality to analyze
links between handball thrower kinematics and goalkeeper’sreactions”. Neuroscience Letters 372(1-2),pp.119-122. (2004)
Toshio Tsuji, Yusaku Takeda, Yoshiyuki Tanaka. “Analysis ofmechanical impedance in human arm movements using a virtualtennis system”. Biological Cybernetics, November 2004, Volume91, Issue 5 pp.295-305. (2004)
田中聡,山田英司,森田伸,田仲勝一,乗松尋道,和田隆広,塚本一義. “バーチャルリアリティ技術を応用した運動療法 —バーチャルスポーツの開発と臨床応用—”. 第 40 回日本理学療法学術大会 抄録集,Vol.32,Suppl,No.2. (2007)
井田博史,福原和伸,高橋まどか,石井源信,井上哲理. “没入型 3次元映像呈示におけるテニス打球に対する知覚”. スポーツ
心理学研究,第 37 巻,第 1 号,pp.1-11. (2010)
NTT データ.“世界初，プロ野球球団が監修した VR［バーチャルリアリティー］技術による選手のトレーニングシステムを提供開始”.
http://www.nttdata.com/jp/ja/news/release/2016/090500.html.
(参照 2016-12-20)

るが，スロー再生による重力の感じ方の変化や，スロー再生時の音ズレや音質の変化も要因として影響してくると考えられる．よって一概に 50％にすれば初心者がストロークしやすいと結論付けるのは難しい．よってこのスロー再生による人間の知覚運動体験は，条件を組み替えながら今後も研究していく必要があると考えられる．

6. お わ り に本研究ではテニスを例題に VR を活用した運動体験型のE-learning システムを開発し，その知覚運動体験に現実との相違があるかの検証を行った．また運動学習環境においてスローモーション加工をした全天球カメラ映像を使い，それらが初心者に対して学習支援効果があるかを検証した．
その結果，本システムの知覚運動体験は現実と違和感がないレベルであり，スローモーション加工をした全天球カメ
ラ映像は，学習支援ツールとしての効果がある可能性を確認できた．
しかし一方で課題も残されている．特に動画の画質やフレームレートに関しては品質が足りていないためコンテンツの作成にはよりハイスペックなカメラの導入が必要であると考えられる．また全天球映像の弱点として，視点の移© 2017 Information Processing Society of Japan

817