2023.11.22
MSIISM Conference

アスリートの潜在脳機能の解明とトレーニング
意識に上らない，無自覚的な柏野 牧夫
日本電信電話(株) コミュニケーション科学基礎研究所 柏野多様脳特別研究室長・NTTフェロー
東京大学大学院 教育学研究科 客員教授
Partly supported byCopyright 2023 NTT CORPORATION

熟達者でさえ主観(イメージ)と客観(実際の動き)は乖離
極短時間(< 0.5 s)での複雑な神経情報処理→ 意識では間に合わないイメージや身体特性は人それぞれ → 唯一の正解はない→ 潜在脳機能が鍵実環境で潜在脳機能を研究する#$!"“If you want to study a river, you don’t take out a bucketful of water and stare at it on the shore.”!(

Alan Watts (1915-1973)! %&'当事者の現場研究室

本質的問題の発見()

認知神経科学的原理解明*+,*(! %&-• 身体技能の熟達と不調
プロ野球球団, NTT東・西野球部

1 NTT CORPORATION

1010

日本ソフトボール協会• 心身相互作用❌

Real-world
body-mind! %&.
reading & modulation• 個人間相互作用
Docomo Team Dandelion Racing,+/01
Snowboard Big Air
Reﬂective marker

発達障害

難聴

(自閉スペクトラム症)(人工内耳、隠れ難聴)(3

妥当性・有効性の検証
音楽

Copyright 2023 NTT CORPORATION! %&422-

Scene camera

Eye camera"

メニュー• 技の本質（“センス”）を捉える- 野球打者の視線• 技を鍛える- 可視化・可聴化，リアル・ヴァーチャルシミュレータ• 勝てる心身の状態を捉える- eスポーツ・スノーボード・カーレースの実環境計測
Copyright 2023 NTT CORPORATION

4

バッティング時の視線
プロ野球一軍選手A

Copyright 2023 NTT CORPORATION

プロ野球二軍選手B5

because its contribution was relatively small compared to thehead rotation. The eﬀect of the head translation on the balldirection (θ ball ) is taken into account because it was calculatedon the basis of scene camera images mounted on the participant’shead. The data of the left-handed batters were inverted to fit thiscoordinate system.
The head direction (θ head ) indicates the angle between thehead direction and the Xfield axis. Three out of eight motion
markers attached on the helmet formed a transverse plane, andthe head direction was calculated on the basis of the positions of
the three markers projected on the ground. The motion capture
data were resampled to match the sampling frequency of the eyeposition data. The ball (θ ball ) and gaze (θ eye ) directions weredefined relative to the head direction (θ head ). The ball positions
were manually digitized from the footage of the scene camera
and interpolated with third-order spline interpolation so as tomatch the sampling frequency of the gaze position data. Thegaze position data were exported as x-y coordinates in the scene
camera image and smoothed with a second-order Savitzky-Golay
filter with a window size of nine points. Finally, the ball andgaze position expressed in the scene camera coordinates were

レベルによるサッカード開始タイミングの違い

80

4060

q eye

30

40

20
20

10Angle (°)

80
60
40
200-500-400-300

-200

-100

0080

40

60

30

40

20
20

100-500

-400

-300

-200

-100

0-400

-300

-200

-100

0080

視線の動き
q head + q eye

Angle (°)

0-500

50

Freq. of 1st saccades (% of trials)

Angle (°)

50

100
60

Angle (°)

q head60

プロ野球ファーム選手B
100

Freq. of 1st saccades (% of trials)

プロ野球レギュラー選手A

ボールの動きq head + q ball

6040

予測的サッカード20

q ball – q eye-400-300-200-100

Time from bat-ball contact (ms)Copyright 2023 NTT CORPORATION

00-500Time from bat-ball contact (ms)FIGURE 3 | Geometry of parameters. Directions of Yfield axes are parallel tothe pitcher-home plate directions, and Xfield axis is vertical to Yfield axis. The
origin of the Xfield -Yfield coordinate was set in the center of the head. θ eye , eyeposition; θ ball , ball direction relative to head center; θ head , head direction (anglesubtended by head direction and Xfield axis).

Kishita, Ueda, Kashino (2020a)
Front. Sports Act. Living

6個人差を詳しくみると…
某プロ野球球団選手39名(育成〜一軍)

育成選手C
一軍選手A

🔺
吉田正尚（推定）• サッカードが遅いほど優れた打者であると単純には言えない

視覚情報を運動に反映できない時間帯• 各打者の特性に依存- 経験に基づく予測の重み- 身長，身体能力• 伸びしろの予測に有益個人の特性(リソース)をうまく活用できるように適応 →成功Copyright 2023 NTT CORPORATION

一軍選手B

早すぎ

7

メニュー
• 技の本質（“センス”）を捉える- 野球打者の視線• 技を鍛える- 可視化・可聴化，リアル・ヴァーチャルシミュレータ• 勝てる心身の状態を捉える- eスポーツ・スノーボード・カーレースの実環境計測
Copyright 2023 NTT CORPORATION

8

投球フィードバックシステム潜在脳機能の顕在化

Copyright 2022 NTT CORPORATION

9相手投手シミュレータ

わかる ≠ できる
潜在学習

Copyright 2021 NTT CORPORATION

10VRを活用した選手評価

Pelvis rotation
Pelvis rotation
velocity
in Relative veloc
骨盤の水平方向回転速度(rad/s)velocity(rad/s) Relative
velocity(rad/s)whole body (ratio) whole body (調整能力が打撃の鍵
タイミング予測・調整能力が打撃の鍵
パワーがあれば打てるのか？
Slow ball

日本リーグ1部若手選手

Unskillfulbatter
Skillful batter

Arms

0r Wait)0

Adjustment time (Go or Wait)

TrunkLegs
1

Slow ball
0.2

タイミング調整
Trunk
Fast ball
能力：高Slow ballLegs
1

Slow ball

0.4

0.6

0.8

Time to ball release (s)

1.0

0.5
00

15 日本リーグ一部若手選手J
Assumeddecision time (just after the ball release)
100Arms

Fast ball

ランダム投球に対する打球速度 (km/h)

Fast ballball
15 Fast日本代表選手E

0.5

Unskillful batter

速球・遅球ランダム投球に対する打撃時の身体の動き

5

1

Slow ball

日本リーグ1部若手選手
山田恵里選手(日本代表)

10LegsAdjustment time (Go or Wait)
Fast ballSlow ball

0.2

0.4

0.6

0.8

Time to ball release (s)

1.0

0.5
0

[ Nasu et al.,タイミング調整
2017 ]
能力：低Fast ballSlow ball

We assessed
eﬀect of pitching motion information on batting timing
5control by manipulating pitching motion appearance in virtual environment.

8

1.0

00

0.2

0.4
0.4

0.6
0.6

0.8
0.8

1.0
1.0

0

0.2

0.4

0.6

0.8

1.0(km/h)Time 静止した球を打つ時のスイング速度
towrtballballrelease
release(s)(s))[ Nasu et al., 2017 ]Nasu
et al., 2017 ]Assumedrelease)
er the ballrelease)decision time (just after the [ballTime
toTimetoballrelease
(s)
Time
wrt
ball
release
リリースからの時間(s)(s)
wrtballballrelease
release(s)Nasu, Yamaguchi, Kobayashi, Saijo, Kashino, KimuraNasu, Yamaguchi, Kobayashi, Saijo, Kashino, Kimura(2020) Front.
Act. Living
Nasu,SportsYamaguchi,Kobayashi, Saijo, Kashino, Kimura(2020) Front. Sports Act. Living
Copyright 2021 NTT CORPORATION
11[実打実験のデータ]
11(2020) Front. Sports Act. Living

Virtual reality system for softball batting
Copyright 2023 NTT CORPORATION

12タイミング調整能力(ピーク)：低タイミング調整能力(動き出し)：
低タイミング調整能力(動き出し)：
高

空振り率

空振り率

選手のタイプ・レベルの判別, 才能発掘

タイミング調整能力(ピーク)：高オンライン修正
能力：高タイミング調整能力（動き出し）[実打実験のデータ]
Copyright 2023 NTT CORPORATION

タイミング調整能力（ピーク）Nasu, Yamaguchi, Kobayashi, Saijo, Kashino, Kimura(2020) Front. Sports Act. Living

13メニュー• 技の本質（“センス”）を捉える- 野球打者の視線• 技を鍛える- 可視化・可聴化，リアル・ヴァーチャルシミュレータ• 勝てる心身の状態を捉える- eスポーツ・スノーボード・カーレースの実環境計測
Copyright 2023 NTT CORPORATION

14

成果概要

iSciencell

勝てる脳の状態 (eスポーツ)
eスポーツ競技において勝敗と直接関連する脳活動が試合の直前に現れる
eスポーツ競技において勝敗と直接関連する脳活動が試合の直前に現れ
ArticleNeural oscillation amplitude in the frontal cortex
ことを発⾒。その脳活動に基づいて⾼精度（80%）で勝敗予測が可能にことを発⾒。その脳活動に基づいて⾼精度（80%）で勝敗予測が可能
predicts esport results

Fp1

Fpz

eスポーツ上級者から対戦中の脳波(EEG)を計測

Fp1

試合中の試合中のEEGを計
EEGを計測測Fpz

Fp2

F3

F4

Fp2
F3
F4時間(s)時間(s)OPEN ACCESS

発見1: 勝敗と直接関連する脳活動が試合の直前に出現

発⾒１
発⾒１

発見2: 試合前の脳波から勝敗を高精度に(約80%)予測可能

Sorato Minami,
Ken Watanabe,
Naoki Saijo, Makio
Kashino機械学習

発⾒２発⾒２
機械学習

sorato.minami.yg@hco.ntt.co.
jp

入力データ
入力データ
（脳波）
Winners have increased（脳波）
frontal gamma power inHighlights

the first pre-round of amatch
Winners have increased
frontal alpha power in thethird pre-round of a match

決定木1

決定木2
決定木3
決定木12の結果から決定木2

1の結果からIndividual differences in
弱点を補う
strategic decisions
correlated with frontal
gamma power

分類1

弱点を補う
1の結果から弱点を補う
分類2

決2の結果から弱点を補う
分類3

分
分類1
分類2
多数決で予測値決定
多数決で予測値決定
ModelLR
SVM LightGBM
Model0.784LR 0.796
SVM Lig
Accuracy 0.769

Individual differences inemotional control
correlated with frontal
alpha power

eスポーツ上級者からeスポーツ上級者から脳波(EEG)を計測脳波(EEG)を計測
Copyright 2023 NTT CORPORATION

Accuracy 0.769 0.784
0γα
勝敗と関連する試合前の試合前の脳波データから勝敗勝敗と関連する試合前の試合前の脳波データから脳活動を発⾒を⾼精度(80%)で予測可能に
Minami, Watanabe,
Saijo, Kashino (2023) iScience
Minami,Watanabe, Saijo, Kashino (2023) IEEE CoG
脳活動を発⾒を⾼精度(80%)で予測
15

勝てる脳と身体の状態(スノーボードビッグエア)
これまでの研究内容

これまでの研究内容

国内トップ20選手らによる最高峰の大会で生理・動作計測

発見1: 勝者は交感神経系優位,それに伴い動作が変化

発見2: 勝者の脳はリラックス状態③脳波と順位の関係

コースの特定位置で瞬目
位置は選手間で共通

n トップスノーボーダーは試技前に交感神経活動が優位な状態に遷移し、滑⾛速度やスピン動作を速め、スピン開始タイミングを早めることによって、⾼いパフォーマンスを発揮
n 試技前の脳活動はリラックスして、思考や感情に捕らわれていない状態の⽅が成績がよい︕︖
n ⾼いパフォーマンスを発揮する前の脳は“cool”だが、体は“hot (fight)”な状態か︕︖

Copyright 2023 NTT CORPORATION
Copyright 2023 NTT CORPORATION※NTTコミュニケーション科学基礎研究所 オープンハウス2023 にて研究展⽰
Matsumura,
Watanabe, Minami, Saijo,
Matsumura, Watanabe, Minami, Saijo,
https://www.kecl.ntt.co.jp/openhouse/2023/exhibition_15.html
n トップスノーボーダーは試技前に交感神経活動が優位な状態に遷移し、滑⾛速度やス
Ooishi, Kashino (2022) SfN
Ooishi, Kashino (2023) IBRO
16 4
速め、スピン開始タイミングを早めることによって、⾼いパフォーマンスを発揮

フォーミュラカー運転中の瞬⽬パターンと認知状態の解明

瞬目パターンと認知状態(スーパーフォーミュラ)indreading
発⾒１
中の瞬⽬パターンと認知状態の解明
発見1: 瞬目位置に明確なパターンが存在

⾞の挙動と同時記録して解析

|

|

|

| |

|

発⾒２

|

|

|

月次成果登録・Nishizono et al. 2023

|||||

|

フォーミュラカー運転中のドライバーの瞬目を計測|

月次成果登録・Blink!
Nishizono et al. 2023, iScience

発⾒１||||

Training / Valudation data|

個⼈依存の⽣理学的要因
運転⾏動に伴う2つの認知状態

極限状態かつ複雑な⾃然タスク中のデータがTransfer Learning ofDCNN model
瞬⽬に現れる速い変化を含む認知状態の推移を捉え、実環境での認知状態の読み取り⼿法に新たな道を開いた

自発的瞬目を画像処理でロバストに検出，車の挙動と合わせて解析
Training Phase

|Open

⾞両加

Figure 1. Driving task and eyeblink signatures during(A) Formula car driving task.
(B) From the acquired eyetracker video images and car tenormalized to the maximum traveled distance in the lap.
(C) Depiction of smaller SPIKE-distancevs. larger SPIKE-d
報道(国内17,海外30)(D–I) Data of three drivers in one representative course (Fuj(black) and null distribution (gray) of SPIKE-distance, (F) Ey
lap time length, and (I) Piecewise SPIKE-distances within fabars indicate across-lap mean G SEM. Asterisks indicate||

瞬⽬頻度 ラップタイム

発⾒２
瞬⽬パターンを決める3要因を||ドライバーの意識に上ることのない| ⾃発的瞬⽬(まばたき)を検出| | | ||

コース上の瞬⽬位置に明確なパターン(瞬⽬位置の偏り)を発⾒
発見2: 瞬目パターンを決める3要因を特定

Real-world body-mind reading
Blink!

Blinking

コース上の瞬⽬位置に明確なパターン

Nishizono, Saijo, Kashino (2023) IEEE SMC

Copyright 2023 NTT CORPORATION

Individual difference

Lap paceroad with pedestrians and obstacles. We considere
help identify the relationships between driving and

Car acceleration

瞬⽬頻度 ラップタイム
⾞両加速度
運転行動に伴う認知状態の変化

In this study, we analyzed eyeblink timing and car coreproducible eyeblink patterns during Formula caplained by known blink-modulating effects? Import
Nishizono, Saijo, Kashino(2023)
iScience
may serve
to capture
the hard-to-reach temporal ev

17

スポーツアナリティクスはどう進化するか？

• スポーツアナリティクス1.0• スポーツアナリティクス2.0- ボールの挙動， 身体動作

- 生理状態も加え，脳と心を推定- 人間の原理に基づく予測- ビッグデータの統計解析表層から本質へ

本質を理解し，選手に応じて伝えられるアナリストやコーチが不可欠
Copyright 2023 NTT CORPORATION

18

スポーツを超えて• 意のままに操る・上手くなる・新たな自己に気づく → それ自体が快 (喜び,ウェルビーイング)

教育, 健康, リハビリ,…

• 「身体」は意思決定やコミュニケーションなどスポーツ以外でも潜在的に重要な役割を果たす(しかしオンラインでは軽視)• AI: 人間とのインタフェース, シンボル・グラウンディング, 生体情報の利用

Copyright 2023 NTT CORPORATION

19