ビッグデータ駆動型眼球運動トレーニングシステムの開発
研究代表者
共同研究者
共同研究者
共同研究者

山青福北本 倫 也
柳 西 蔵
森聡
出 勝 也

関西学院大学工学部 教授
駒澤大学グローバル・メディア・スタディーズ学部 講師
香川大学創造工学部 講師
視機能トレーニングセンターJoyVision 代表

1 はじめに人が感覚器官から得る情報のうち，視覚が約 90%を占めると言われるが[1]，その働きは多様である．この問題あるいは障害として最も知られるのは眼光学に基づく視力で，眼鏡等の物理的な手段で改善される．一方，いわば「視る力」ともいうべき，6 本の外眼筋に支えられる眼球を，協調して収縮・弛緩させて運動させる筋肉の働きも重要である．
近年，外眼筋（図 1 左）を協調して収縮・弛緩させる働きによる眼球運動に問題があり「読み」や球技が苦手な児童が多く見られる．しかし，眼球運動をトレーニングすることで，中学生以降でも改善されることが報告されている[3]．たとえば，文章を読むには正確に素早く視線を移動させジャンプさせる必要があるが，眼球運動が苦手なために，文字を読み飛ばす，隣の行に眼が飛ぶ，１行読み終わってまた同じ行の頭に戻る，などの問題が生じる．この原因として，スマートフォンなどの画面の小さい電子機器を子どもの頃から見ていたり，外の広い場所で遊ぶ機会が少なかったりすることで，眼球運動の力が弱くなっていることが挙げられており，抜本的な改善が望まれている．この症状の改善は，海外では，Doctor of Optometry（検眼士）という資格をもつ専門家によりなされているが，国内では，海外で学んだ限られた専門家によってのみ実施されている．

「視る力」には6本の筋肉の協調が重要

跳躍性眼球運動のトレーニング例

図 1: 眼球の構造と，眼球運動のトレーニング（共同研究者 北出の著書[2]より）眼球運動の検査およびトレーニングでは，被トレーニング者に課題を与え（図 1 右など），その時の眼球運動を専門家である検査者が観察し，問題点の有無や種別を判断する．これまで，この眼球運動トレーニングは，専門家の経験に基づく定性的な検査・評価が中心であった．著者らの先行研究では，視線計測装置とカメラ，眼球運動トレーニングを統合したシステムを開発し，得られた視線・頭部回転データから，眼球運動のエラーを定量的に評価できる検査指標として，眼球運動のズレ，頭部の運動の大きさ・頻度の 3 つの指標を開発した[4]．また，グランフロント大阪において幅広い年齢層の来場者を対象に数十人のデータを計測・分析し，これらの指標の有効性を明らかにした．具体的には，この検査指標それぞれが，年齢とともに成長する眼球運動の特性を捉えていることを明らかにした．さらに，機械学習で処理を行った結果，専門家の判断と一致することも明らかにしており，これにより，診断の自動化が可能となった[5]．しかし，検査指標の開発・評価は健常者を対象として行っており，提案した検査指標では十分対処できない可能性もある．
そこで本研究では，小学校の通級指導教室を対象に，ビッグデータ駆動型の眼球運動トレーニングシステムを開発した．これは，小学校に装置を設置して日常的にシステムを利用するなかで，動画を視聴すること

1
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

で眼球運動トレーニングを実施し，その眼球運動のデータを計測し，オンラインでデータを収集し，データベース化するシステムである．以下ではまず，本研究で開発したシステムについて述べる．次に，開発したシステムで児童が自分自身で眼球運動トレーニングできるように，UX デザインを導入してシステムを改良した．また，これらを踏まえてシステムの運用評価を行い，システムの有用性を検証した．

2 システム開発
2-1 ハードウェア概要
子どもたちの親しみやすさを考慮し，丸みをおびた形状，やわらかな色合いの専用筐体のプロトタイプを開発した（図 2）[6]．小学校の机上に設置することを想定した場合の限界の大きさである 17.3 インチディスプレイ（cocopar JSJ-173）と PC(Intel, NUC 11 RNUC11PAHI50000)，視線計測装置（tobii 社 Eye Tracker5），web カメラ（ロジクール社 C922n）を一体化させ，専用筐体に収めた．そして，映像コンテンツを再生し，視線計測装置で計測したデータを記録するアプリケーションを Unity Technologies 社の Unity
2020.3.18f1 と Tobii 社が提供している Tobii Unity SDK for Desktop を用いて開発した．

図 2: 眼球運動トレーニングシステム用のハードウェア
このシステムを用いて計測した例を図 3 に示す．このシステムでは，ディスプレイの解像度を 1920 x 1080で固定しており，ディスプレイの左下を原点として，注視点の座標を取得した．例では，オブジェクトは 4〜16 秒，18〜31 秒，33〜46 秒，49〜62 秒で水平方向，垂直方向，左斜め下方向，右斜め下方向に移動しており，このオブジェクトを注視させた際の注視点の x 座標を左図に，y 座標を右図にそれぞれプロットしており，視線計測できている．
px
192018001600
140012001000
800
600
40020000px
1000
80060040020010203040506070s

00102030405060s
70

図 3: システムで計測した視線データの例
2-2 クラウドプラットフォームの開発
眼球運動特性や利用状況などを収集・分析し，将来的には，眼球運動能力向上に伴うトレーニングメニューの変更や，新たなコンテンツにフィードバックできるように，Google 社の Firebase を用いて，家庭や学校に設置した機器で計測した眼球運動データをクラウドにアップロードできるプラットフォームを開発した．
具体的には，2-2 の PC で動作させるアプリケーションで，図 4 のように，ログイン画面やユーザ選択画面を設けた．家庭ごとに 1 つのアカウントを提供し，兄弟や親子でシステムを使用してもらうことを想定してい2
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

るため，アカウントごとに複数のユーザを作成できるようにし，家族で使い分けられるようにした．また，クラウドにアップロードさせたデータを管理するために，図 5 のような管理画面を開発し，図 3 のような計測された眼球運動データをアップロードしたり，必要に応じていつでもダウンロードしたり，分析したりできるプラットフォームとした．この画面は Microsoft 社の Edge などの一般的なブラウザの画面から閲覧できるため，特定の PC を利用する必要はない．

図 4: クラウドシステムへのログイン画面とユーザ選択画面

図 5: クラウドシステムの管理画面
2-3 コンテンツ開発
ワークブック等の紙ベースのトレーニング[3 など]にモーショングラフィックスの手法を取り込み，発達障害の児童の注意をひき，継続的に楽しめるようなコンテンツを制作するための目安となるフォーマットを定めた．このフォーマットを基に制作することで，制作者が異なったとしても，先行研究で開発した検査指標を用いて眼球運動を評価でき，全ての動画で同一の分析を行えるようにした．
具体的には，跳躍性・追従性眼球運動を対象とし，それぞれに対応したフォーマットを定めた（表 1）．基
本仕様として，動画制作には Adobe 社の After Effects 2021 を用い，30 fps の動画で長さを 2 分未満，フレーム幅・高さを 1920 x 1080 px とした．また，動画コンテンツを制約の緩い，自由に作成できるトレーニングシーンと，検査指標を用いるために制約の厳しい検査シーンに分割した．
このフォーマットを基に，協力者 4 人に動画コンテンツの制作を依頼した．制作した動画の例を図 6 に示
す．映像中のキャラクタなどのターゲットを目で追うことでトレーニングを行う．たとえば図 6 上では，画面中にきつねがランダムな位置に表示されるため，その位置を追うことで跳躍視のトレーニングができる．
図 6 下では，画面中におばけがスーッと移動しながら表示されるため，その位置を追うことで追従視のトレーニングができる．

3
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

表 1: コンテンツ開発のためのフォーマット

図 6:コンテンツ例（上：跳躍視トレーニング，下：追従視トレーニング）

3 UX デザインの導入
3-1 リサーチ
2 章でシステム開発を行ったが，小学生の児童は視線計測に慣れていないため，実験者が補助しながら計測しなければ，視線を正確に計測できず，眼球運動特性の判断も難しくなる．そこで，ユーザエクスペリエンス(UX)デザインの手法を取り入れ，児童が楽しみながら 1 人でもトレーニングできる眼球運動トレーニン
グシステムを開発することとした．
この第 1 ステップとして，まず，眼球運動トレーニングシステムを大阪府の和泉市立国府小学校の通級指導教室に設置し，ユーザリサーチを行った．実験期間は 2022 年 7 月 4 日から 7 日の 4 日間であった．ここでは，実験者が児童を補助しながら，児童が 1 人で操作するにあたって，どのような課題があるのかを調査した．
調査の結果，たとえば視線を計測できるように，椅子の位置や，ディスプレイの傾きを調整する必要があった．この課題解決のため，まずユーザリサーチによって明らかになったユーザ層から，メインペルソナ（左図）およびサブペルソナ（右図）を作成した（図 7）．とくに，メインペルソナのような元気があり，多動的な児童でも計測範囲内でトレーニングできる必要がある．そこで，眼球運動トレーニングシステムを使いトレーニングするまでの行動や感情をカスタマージャーニーマップで表した（図 8）．以下では，これらを踏まえて児童の好みに合わせて，システム開発に反映させる．ここでは特に，PC の操作にそれほど慣れていなくても，キーボードで操作しなくてもシステムを利用できるようにすることに重点を置いている．

4
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

図 7: 通級指導教室での UX 向上のために作成したペルソナ

図 8: メインペルソナのジャーニーマップ
3-2 デザインとインプリメンテーション
メインペルソナが毎日 1 人でトレーニングを行うためには，ゲーム性を持ったトレーニングシステムを開発する必要があると考えた．そのため頭の位置を誘導するゲームシーンのデザインを検討するために，デザイン案を 9 つ作成した（図 9）．次にデザイン案の中から，好きなもの 2 つ選択させるアンケートを和泉市立国府小学校の児童らに実施した．実施したのは 2022 年 11 月 22 日であった．
調査の結果，人気であった上位 2 つの 7（焼肉）と 9（顔はめパネル）を採用し，システムに実装した（図10, 11）．図 10 の焼肉では，上から見た頭部位置が肉で，設定範囲がフライパンで表示されており，フライパンで肉が焼ける位置に頭部を移動させることで，頭部の位置を適切に調整させている．図 11 の顔はめパネ
ルも同様に，顔の位置を移動させてパネルにはめるようにさせることで，頭部の位置を適切に調整させている．
3-3 評価実験開発したプロトタイプを実装し，運用実験を行った．実験期間は 2022 年 12 月 13 日，14 日の 2 日間であった．その結果，すべての児童が 7 秒間指定の範囲に頭部を入れ，トレーニングが開始されたため，頭部位置を誘導することに成功していると言える．また，児童はオブジェクトが頭部に対応して動いているのを楽しんでいる様子が見られた（図 12）．

5公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

図 9: 頭部位置誘導シーンのスケッチ

図 10：実装した頭部位置誘導シーン（焼肉）図 11：実装した頭部位置誘導シーン（顔はめパネル）

図 12：実験者による計測実験の様子

6
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

4 システム運用評価
4-1 運用評価の概要
2 章および 3 章で開発したシステムを和泉市立国府小学校に設置し，システムの運用評価を行った．トレーニング・計測を行うための動画は，図 6 に加え，跳躍性眼球運動と追従性眼球運動をそれぞれ 3 種類ずつ用意した．使用する動画の種類やトレーニング回数，トレーニングを行う時間などは指定せずに設置と使用方法等の説明のみ行い，児童たちの自主性に任せて機材を利用してもらった．評価期間は，2023 年 1 月 30 日から 2023 年 3 月 20 日の土日祝日を除いた 35 日間であった．
4-2 計測精度の評価
まず，UX デザインの評価として，児童 1 人で操作できるかを調査した．調査は，上記の期間の前半，1 月30 日から 2 月 13 日の期間とした．この期間では，24 人で合計 135 回トレーニングが行われていた．計測
範囲内から出ずにトレーニングを行えていたのかを分析するために，総フレーム数に対する注視点座標が出力されたフレームの割合を注視割合として算出した（図 13）．7 月は著者らが椅子の配置やディスプレイの傾きなどを調節した．12 月は口頭で補助を行った．1 月は現地に行っておらず，補助なしの場合であった．
図 13 から 7 月，12 月，1 月それぞれの注視割合の平均が 93.3 ％と 88.7 ％と 75.8 ％であった．そのため，著者らの補助がなくても，子どもが 1 人で使える眼球運動トレーニングシステムを開発できた．
実際の計測例を図 14 に示す．3 章で述べた UX デザインの手法を導入したシステム開発により，補助者ありの場合とほぼ同様の精度で視線計測できた．

7⽉計測

12⽉計測

1⽉計測

図 13: 補助の有無による計測精度の違い

12月

1月

図 14: 補助の有無による視線計測結果例

7
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

4-3 運用結果
前節で述べたように，一定の精度で視線計測できていたことが明らかになったため，より長期間システムを設置運用することにした．実験期間中のトレーニング実施者は 31 人，行われたトレーニングの総回数は368 回であった．
ユーザごとのトレーニング回数を図 15 に示す．専門家によると，眼球運動トレーニングは毎日朝と晩の 1
日 2 回を 2 か月ほど継続して行うことが最も理想であることから，トレーニング効果の有無を判断するため，トレーニング回数が多く，かつ期間中に継続的にシステムを使用していた協力者 8 人（図 15 のオレンジ表示）の計測データを対象に分析を行った．

図 15: ユーザ毎のトレーニング回数
分析対象とした 8 人をトレーニング回数の多い協力者から順に協力者 A〜H とし，トレーニング効果の分析には先行研究で開発された跳躍性眼球運動の指標である Seo を用いた．Seo は注視点と 2 つのマーカーを結ぶ直線の間の距離の最大値と最小値の全試行での中央値である．検査では右上-左下間を跳躍は 10 往復，追従は 3 往復して動くマーカを目で追うため，2 方向（以下 右上→左下を方向①，左下→右上を方向②とする）に分けて指標の値を算出した．また，協力者ごとにトレーニング回数と指標の値の相関係数を求めた．Seoは値が 0 に近づくほど理想的な眼球運動であると言えるため，負の相関が見られることを予想していたが，実際はほとんど相関がない，または正の相関が見られた．また，図 15 で示したように，トレーニングシステムをある程度継続して行っていた児童が全体の 25.8％しかいない点が課題として考えられた．本来トレーニングは毎日 1 日 2 回を継続して行うことが理想であるが，最大でも児童のシステム利用日数は 33 日間であり，実施期間であった 35 日間毎日システムを利用した児童はおらず，最初の数日のみシステムを利用していた児童が多く見られた．
表 2: よく利用していたユーザの眼球運動特性

4-4 データ分析
4-3 節で示したように,トレーニング回数と検査指標の値には相関がみられなかったが，これは，トレーニング効果が見られなかったという結果を意味する．そこで，より詳細な原因を探るためにデータ分析を行った．

8
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

まず，原因の 1 つ目として，今回運用評価を行った小学校では通常からビジョントレーニング等の取り組みをしており，実験期間が年度末であったことから，実験協力者の眼球運動能力が想定されていた学習に障がいを抱える児童の能力よりも既に向上していたことから検査指標の値に大きな変化が現れなかったと考えられる．
また 2 つ目として，眼球運動能力は十分にあるのに対して，計測に対する姿勢に問題があり本来の能力を示す値が出ていない場合が多いのではないかと考えた．例として以下は検査毎の協力者 A の跳躍における Seoの値の推移を以下に示す（図 16）．これを見ると，計測毎に検査指標の値の大きさに波があることが分かる．

図 16: 協力者 A の日毎の計測結果
そこで，図 16 で眼球運動エラーの値が小さかったときと大きかったときの跳躍視の計測データの比較を行うと図 17 のようになった．また，跳躍視の計測データの比較を行うと図 18 のようになった．いずれも，日によっては，指定された回数，眼を動かせていないことを示唆する結果である．

図 17: 眼球運動エラーの値が小さかったときと大きかったときの計測データの比較（跳躍視）図 18: 眼球運動エラーの値が小さかったときと大きかったときの計測データの比較（追従視）表 2 で示したように，分析不可能データが複数見られたが（例えば計測結果がトレーニング効果の分析に使用できたのは，計測回数に対して協力者 C は跳躍が 75％，追従が 71％，協力者 H は跳躍が 63％，追従が9
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

50％分のデータのみであった），これらの結果においても，コンテンツ動画を十分に見ていなかった可能性がある．具体的には，表 1 に示したように，トレーニング効果の分析に使用するデータは，トレーニングシーンのあとに表示される計測シーンでの視線の動きであり，計測シーンが再生される時に表示画面をほぼ見ていない，または指示通りに跳躍・追従を行っていないと指標の値は算出されない．そのため，児童が真面目に計測に臨んでいない場合があることが原因であると考えられる．

6 おわりに
本研究では，これまで取り組んできた眼球運動トレーニングシステムの研究成果を発展展開させるとともに，社会実装に近づけることを目的に，ビッグデータ駆動型の眼球運動トレーニングシステムを開発した．
まず，クラウドプラットフォームの開発と，コンテンツ開発を行い，小学校の通級指導教室にシステムを設置できるようにした．また，このプロトタイプシステムの運用試験を行ったところ，画面の角度の調整や，椅子の高さの調整など，視線計測をスムーズに行う必要があることが分かったため，UX デザインの手法を導入し，とくに楽しみながら頭部位置の調整できるようにすることで，自分自身でシステムを利用していても，高精度で視線計測できるようにした．そして，これらを踏まえて実際にシステムの運用評価を行った結果，児童が自分自身で視線計測しても十分な精度であることが明らかになった一方，集中力が途切れるなどして眼球運動特性が低く計測されてしまうことがあることも明らかとなった．
日本人は縦書きを読み，漢字かな交じり文を読むため，世界的にみても珍しい眼球運動特性をもつ．現在は、より広い視野角の湾曲ディスプレイを用いて、眼球運動特性の差が出やすいシステムの研究開発も進めている[7]。これらの研究成果を踏まえて今後は，本独自技術をさらに発展させて，社会実装も進めたい．

【参考文献】[1] 照明学会: 室内照明のガイド, 電気書院, (1978).
[2] 北出 勝也: 米国ビジョントレーナーが教える 眼を動かすだけで 1 分間超集中法, 光文社, (2020).
[3] 北出 勝也: 発達の気になる子の学習・運動が楽しくなるビジョントレーニング, ナツメ社,(2015).
[4] 福森 聡, 喜多 亮介, 青柳 西蔵, 山本 倫也, 北出 勝也: 眼球運動検査・トレーニングのための検査指標の開発, ヒューマンインタフェース学会論文誌, Vol.24, No.2, pp.121-132, (2022).
[5] 小倉 紀音, 福森 聡, 青柳 西蔵, 山本 倫也, 北出 勝也: 眼球運動の検査・トレーニングのための頭部回転検査指標の開発; ヒューマンインタフェースシンポジウム 2021 論文集, pp.505-510 (2021).
[6] 中尾 歩, 青柳 西蔵, 山本 倫也, 北出 勝也, 井阪 幸恵: 通級指導教室の児童に向けた眼球運動トレーニングシステムの開発, ヒューマンインタフェースシンポジウム 2022 論文集, pp.549-552, (2022).
[7] 小倉 紀音, 中尾 歩, 福森 聡, 山本 倫也: 広視野角の眼球運動を対象とする検査・トレーニングシステムの開発, 情報処理学会第 85 回全国大会講演論文集, pp.4-115-4-116, (2023).

〈発題名

眼球運動検査・トレーニングのための検査
指標の開発
通級指導教室の児童に向けた眼球運動トレーニングシステムの開発
眼球運動のトレーニングが勉強と運動の未来を切り開く
広視野角の眼球運動を対象とする検査・トレーニングシステムの開発
京阪神で醸成される大学発スタートアッ
プ・エコシステムに期待が高まる

表資料〉

掲載誌・学会名等

発表年月

ヒューマンインタフェース学会論
文誌
ヒューマンインタフェースシンポ
ジウム 2022 論文集

2022 年 5 月
2022 年 9 月

Forbes JAPAN 2023 年 1 月号

2022 年 11 月

情報処理学会第 85 回全国大会講演
論文集

2023 年 3 月

Forbes JAPAN Web

2023 年 3 月

10
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度