コミュニケーションの未来を描く基礎研究

スポーツ脳科学

アスリート

VR

スポーツ選手の脳情報処理過程を解明する
バーチャルリアリティ技術
き む らとしたか † 1

み か みだん †2

木村 聡貴

スポーツで勝つためには，頑健な「体」だけでなく，優れた「技」や動じない「心」を備えることが重要です．これらは脳の情報処理によって支えられていますが，従来の計測手法でその仕組みに迫るには限界があります．NTTコミュニケーション科学基礎研究所では，バーチャルリアリティ技術を用いて，スポーツ選手の生体情報をセンシングし，勝つための脳情報処理のエッセンスを解読することをめざしています．

三上たかはしこうすけ † 2

か し のま き お†1/高橋 康輔

弾 /柏野 牧夫

NTTコミュニケーション科学基礎研究所†2
NTTメディアインテリジェンス研究所†1

スポーツパフォーマンスを向上させる

さまざまな運動データや生体情報を選ために，「技」や「心」の脳情報処理

手に負担なく計測するにはウェアラブ

スポーツ選手が試合に勝つために的なエッセンスを解読し，それに基づルセンシング技術が肝となりますし，は，いわゆる「心 ・ 技 ・ 体」の各要素いた効果的な支援技術を開発し，最終得られた知見を効果的に選手にフィーを総合的に高める必要があります．こ的に脳機能の改善を促すことをめざ

ドバックするには情報処理や工学的なのうち，「体」すなわち筋力や心肺機（1）す，「スポーツ脳科学」プロジェクトノウハウが必要となります．本稿で紹能などフィジカルな側面については，に取り組んでいます（図 ₁ ）．一言で介するバーチャルリアリティ（VR:

運動生理学やスポーツ医学の研究からいえば，「スポーツで勝てるように脳Virtual Reality）技術も，こうした取さまざまな知見が得られており，トを鍛える」研究です．この取り組みをり組み，特に「技」や「心」の脳情報レーニングなどに活用されています．

推進するには，脳科学的な手法だけで処理の仕組みを解明するうえで強力な一方，身体を巧みに操作したり，状況なく，ICTのノウハウや技術を包括的ツールになると考えています．

を的確に認識し何をすべきか瞬時に判に活用することが不可欠です．
例えば，

スポーツ脳科学プロジェクト

断したり，あるいはプレッシャーに左右されないなど，「技」や「心」の側面を鍛えることも重要です．こうした体

巧みな動作や状況把握，緊張 ・ リラッ

筋力
心肺機能障害予防

クスなどの機能は脳が司っているので，「技」や「心」の問題は脳科学，すなわち脳の情報処理の問題ととらえることができます．
しかしながら，「技」や「心」に関する脳情報処理の仕組みについては，これまでに知見も少なく，本質的な理解は十分ではありません．
それゆえ，どうすればこれらの側面をく，経験論的あるいは試行錯誤的なト26

やる気
緊張・リラックス
駆け引き

…

…

（脳科学×ウェアラブル×ICT）

図1

NTT技術ジャーナル 2016.9

巧みな協調運動
正確な状況把握
瞬時の意思決定スポーツ脳科学

レーニングに陥ることも少なくありま
このような観点から，NTTでは，心脳情報処理の問題強化できるのか客観的な根拠が乏しせん．

…

技

スポーツ脳科学プロジェクトのスコープ

特 集

表

VR技術をスポーツ脳科学に活用する
スポーツの「技」や「心」のエッセ

スポーツ計測環境のメリット・デメリット
実験室VR

実環境

条件統制

◎○×

リアリティ

×○

◎

ンスを解読していくためには，まずス
ポーツ中の生体情報（筋活動や心拍，呼吸，動作など＊ 1 ）を計測する必要のある視覚体験が得られる点です．最です．
ここでは詳しくは述べませんが，があります．そのアプローチは大きく

近では，没入感の高いヘッドマウント

鍵になるのは，意識的な認知や判断を2 つあります． 1 つは，これまでも主ディスプレイ（HMD: Head Mounted

介さない「無意識的で素早い」脳情報流であった実験室環境での計測です．

Display） と 組 み 合 わ せ て， 例 え ば処理過程です．打撃に限らず，さまざ

ただし，このアプローチは，計測条件

ジ ェ ッ ト コ ー ス タ ー 搭 乗（Galaxy

まなスポーツ場面で瞬時の意思決定はを厳密に統制できる一方で，扱える運Studio，サムスン電子ジャパン社）や重要なファクターです．私たちは，動や状況が実際のスポーツシーンから高所（VR ZONE，お台場ダイバーシ

VR技術を用いた打撃シーンを題材に，乖離しがちであり，スポーツの限られティ）を体験できる技術やサービスもこうした無自覚な（潜在的）脳情報処た側面しかとらえられないという問題登場し，ユーザのリアルな反応を実現理の仕組みを探ろうとしています．

があります．

しています．スポーツシーンへの応用

NTTコミュニケーション科学基礎

一方，近年では，多種多様な無線セも あ り， 例 え ばSTRIVR Labs社 の研究所とNTTメディアインテリジェ

ンサ ・ ウェアラブルセンサ技術の進展

VRシステムは，アメリカンフットボーンス研究所が開発した打撃用VRシスによって，実際のスポーツフィールド

ル選手目線の360度実写映像をHMDでテムでは，被験者はHMDを装着して，で生体情報を計測することができるよ体感することができます．VRのもう打者目線で打撃シーンを体験できます

1 つのメリットは，コンピュータグラ（図 2 ）．仮想空間の球場は，実写画像

電性ファブリックhitoe などのウェアフィックス（CG）と組み合わせれば，とCGを組み合わせてリアルに合成しラブルセンサを用いて，スポーツ実環視覚環境を任意に操作できる点です．ています．また，ボールの軌道は事前境でのデータ取得に取り組んでいま

これにより，リアリティの高い仮想環に取得した投球データに基づいてCGす ．ただし，このアプローチは，実境を実現できるだけでなく，意図的ににより描画しており，同時に撮影され験室計測とは逆に，リアルな計測がで実環境ではありえない視覚状況を設定た投手映像の動きに合わせて投げ込まきる一方で，計測条件を統制しきれなすることも可能です．これらのVRのれます．加えて，被験者が着用していいデメリットがあります．一般に，実メリットを活かして（表），私たちは，るスーツ各所とバットには無線 9 軸

際のスポーツ場面でパフォーマンスに十分なリアリティを持ちつつ条件を統慣性センサが取り付けられており，打影響を及ぼし得る要因はさまざまあり制したスポーツVR環境を構築して，者とバットの挙動がリアルタイムで仮ますので，観測された現象との関連性そのときの生体反応を計測する試みを想空間のアバターに反映されます．こを読み解くのは必ずしも容易ではあり進めています．

れにより，被験者は仮想空間内で実際（2）うになってきました ．私たちも，導Ⓡ（3）ません．このように，実験室計測と実環境計測では，リアリティや条件統制

VR技術の活用例に打撃することができ，バットとボールの当たり方に応じて打球が飛んでいに関してトレードオフがありますの

野球の打者は，投球リリースからおきます．本システムでは，打者頭部ので，研究目的に応じて使い分ける必要よそ0.5秒以内という厳しい時間的制

位置 ・ 向きに合わせて右目 ・ 左目にが出てきます．

約＊2の中で，バットを操作することそこで私たちは，リアリティと条件が求められます．しかし，ボールの動統制のトレードオフを補う第 3 の計

きを知覚し見極めてからバットを振る測アプローチとして，VR環境を活用までには0.5秒以上を要しますので（4），することに取り組んでいます．VR環

この比較的「時間のかかる意識的な」境を用いるメリットの 1 つは，臨場感対応だけで打撃を達成するのは不可能＊1＊2

一見末梢の情報を観測しているように見えますが，これらの生体情報は脳の活動を通して表出されるものですので，ある程度脳の機能を推定することができます．
初速140 km/hの投球が打者に到達するまでの時間は約0.4秒，120 km/hの変化球の場合でも約0.5秒しかありません．

NTT技術ジャーナル 2016.927

コミュニケーションの未来を描く基礎研究

各々適切な映像を提示するため，仮想動作計測用スーツ

空間内の任意の位置から適切な奥行き実写とCGを組み合わせて，リアルなフィールドや投球映像を実現

HMD

感覚を伴って映像を見ることができ，被験者はあたかもバッターボックスに立っているかのような，高臨場な打撃シーンを実現しています（5）．
本VRシステムを用いて野球経験者

打者の動作や生体応答を計測と未経験者で計測した生体応答の例を球の変化やタイミングなどを任意に操作

図 3 に示します．被験者には，ストラ打者とバットの挙動が仮想空間に反映

イクあるいはボールとなる速球あるいはカーブがランダムに提示され，スト両者の関係から，脳の情報処理メカニズムを解析

図2

ライクのときは打撃するように教示さ打撃用VRシステムれました．図 3（a）は，このときに記

投球リリース ホームベース通過
（m）
0.05

経験者

投球動作開始
（m）
0.05

頭位置

00

−0.05

−0.05

−0.10

−0.10

−0.15
−0.20
（m）
0.30

−0.15

後ろ

−0.20
（m）
0.30

高い

足位置
呼吸

0.20

0.20

0.10

0.10

00

−0.10（mV）
0.15−0.10（mV）
0.15

0.10

0.10

0.05

0.05

00

−0.05

−0.05

−0.10
−4.0

未経験者

−3.0

−2.0

−1.0

0

−0.10
1.0（s） −4.0

−3.0

投球リリースからの時間

−2.0

−1.0

01.0（s）

01.0（s）

投球リリースからの時間（a） ストライクボール打撃時の動作と呼吸応答
経験者

（m）
0.10

頭位置

00−0.10

−0.10

−0.20

−0.20

−0.30
−4.0

後ろ

−0.30
−3.0

−2.0

未経験者

（m）
0.10

−1.0

01.0（s）−4.0

投球リリースからの時間

ストライク
ビーンボール
−3.0

−2.0

−1.0

投球リリースからの時間（b） ストライクボール打撃時とビーンボール（頭部に向かってくる球）時の動作

図328

NTT技術ジャーナル 2016.9

VR打撃時の生体応答

特 集録されたストライク速球試行時の頭とムでは動作と呼吸のみを対象としてい足の動き，および呼吸の波形を例示しますが，例えば筋活動や眼球運動などています．頭の動きをみると，経験者のデータと組み合わせれば，力の入れでは投球リリース前から動きが滑らか方や力み具合，視線，メンタル状態なに変化している一方で，未経験者ではど，より多角的にパフォーマンスとのリリースに反応するような動作になっ関連性を調べることも可能です．ウェている（準備動作が見られない）のがアラブルセンシング技術や視覚情報操分かります．また，経験者では打撃タ作とうまく組み合わせることで，実験イミングに合わせて呼吸（呼気）も合室や実環境からのアプローチでは見出わせている様子が分かります．
さらに，せなかった一流選手の優れた「技」やこの課題中に時々ビーンボール（頭部「心」の本質や，その背後にある脳情に向かってくるボール）を与えると（図報処理メカニズムの解明が一層進み，3（b）の赤波形），経験者は頭を後ろにひいてはそうした知見に基づいた効果

動かして上手く回避している一方で，的な上達法の提案に結びつくと期待さ未経験者では回避動作が間に合わなれます．

かったり不十分であったりする様子が見てとれます．

また，本VRシステムは，脳科学のためのツールとしてだけでなく，トこれらのデータは，スポーツ選手のレーニングやコーチングなどにも利用特徴を示すだけでなく，VR環境ならできます．例えば，打者はよく対戦投ではの知見ももたらしています．例え

手の研究をしますが，通常はフィール

ば，ビーンボール条件は，倫理的な問ド外から撮影したビデオ映像を用いる

題のため実環境で行うことはほぼ不可のが一般的です．打者視点のリアルな能であり，私たちの知る限り，こうし投球映像体験は，このような用途に有た知見はありません．
今後，例えばボー益と思われます．さらに，打者視点映ルを任意に消したり，配球を操作した像をコーチと共有すれば，より実践的りすれば，打者はどの時点までの情報な指導につながるかもしれません．まで軌道を予測しているのか，情動（恐た，動作計測と連動させれば，苦手な怖）が打撃履歴にどのように影響する

投手や球種に対する打撃トレーニングのかなど，実環境では観測できない（あに用いることもできるでしょう．さらるいは再現性良く観測しづらい）知見に，こうしたインタラクティブなVRもさらに得られるでしょう．

技術は，スポーツに限らず，リハビリ今後の展開
近年，VR環境を用いてスポーツをテーションやエンタテインメントなどの分野でも新しい価値やコンテンツを提供できると思われます．

評価する試みが始まっています（6）．しかし，多くは「実環境を模倣する」こ

本研究の一部は，科学技術振興機構とをめざしており，前述のような，意CRESTの助成を受けました．

図的に情報を操作する使い方はほとん■参考文献

どなされていません．また，観測対象も，運動の結果（動作など）が主であり，その背後にある生体情報はあまり扱われていません．本稿のVRシステ

向, 1- 2 月号, No.148, pp.23-26, 2015.
（3） 井 尻 ・ 木 村 ・ 塚 田 ・ 中 島 ・ 河 西 ・ 住 友 ・ 柏
野：“ウェアラブル生体電極を利用して運動中の選手のコンディションを推定する,” ス
ポーツ工学 ・ ヒューマンダイナミクス2015講演論文集, 2015.
（4） 井尻：“野球の打撃におけるタイミング制御,”
バ イ オ メ カ ニ ク ス 研 究, Vol.19, No.3,pp.165-171, 2015.
（5） D. Mikami, M. Isogawa, K. Takahashi, H.
Takada, and A. Kojima: “Immersive Previous
Experience in VR for Sports Performance
Enhancement,” Proc. of icSPORTS2015,Lisbon, Portugal, Nov. 2015.
（6） B. Bideau, R. Kulpa, N. Vignais, S. Brault, F.
Multon, and C. Craig：“Using virtual reality
to analyze sports performance,” IEEE
Computer Graphics and Applications, Vol.30,
No.2, pp.14-21, 2010.

（1） 木村 ・ 持田 ・ 井尻 ・ 柏野：“情報科学でスポーツパフォーマンス向上を支援する,” 電子情報 通 信 学 会 通 信 ソ サ イ エ テ ィ マ ガ ジ ン,
No.37, pp.23-28, 2016.
（2） 相馬：“スポーツにおける情報活用─オリン
ピックから健康づくりまで─,” 科学技術動（上段左から）木村  聡貴/ 高橋  康輔（下段左から）三上  弾/ 柏野  牧夫

VR技術を用いてスポーツ選手の優れた脳情報処理の仕組みを解明する研究はまだ始まったばかりです．今後，センシング技術やICTとうまく組み合わせることによって，その理解を進めていきます．

◆問い合わせ先

NTTコミュニケーション科学基礎研究所
人間情報研究部
TEL 046-240-3681
FAX 046-240-4721
E-mail kimura.toshitaka lab.ntt.co.jp

NTT技術ジャーナル 2016.929