ディープラーニングを利用した顔画像による着席状態の集中度解析

1

平⽯研究室
Shen Jinjian（シン キンケン）
G21606

2

背景´

⽇本国内2020年１⽉以降,感染者が確認され始め，２⽉から全国で患者が散発し，政府は全国学校臨時休業を要請した．
2022年3⽉の時点で，世界の感染者の合計数は５億を突破した．

´

ユニセフが発表した新しいデータによると,新型コロナウイルスのパンデミックにより,世界で1億7000万⼈以上の⼦どもたちの通う学校が約1年間にわたって休校状態となっていた．
さらに，約2億2000万⼈,約7⼈に1⼈の⼦どもが，対⾯学習の4分の3以上を受けられなかった．

3

遠隔授業の形式
コロナの影響で対⾯授業からオンライン授業の割合が多くなった．遠隔授業の形式は，オンライン授業（同期型）とオンデマンド授業（⾮同期型）の２つに分けることができる．
´ オンライン授業では，ZoomやSkypeのようなテレビ会議システムを利⽤した遠隔授業である．
´ オンデマンド授業は動画配信サービスを利⽤し，決められた配信期間中に映像を閲覧する形式の授業である．

4

遠隔授業の問題´基本的には1⼈で授業を受けるため，怠(なま)けていても誰からも注意されることもない．（オンライン授業）´教室のような緊張感がないため，モチベーションを保つのが難しいということもある．（オンライン授業）´⾃⼰管理ができないとやらないままになってしまう可能性があり．（オンデマンド授業）

5⽬的´オンライン授業中の学⽣の状態の把握は難しいのが現状である．
´集中や散漫等の状態を確認できれば，授業内容で補⾜説明が必要な場合や，学⽣の興味の状態などを把握することが可能となり，授業を効率的に実施（じっし）することができるものと考えられる．

6

関連研究
´集中や散漫等の状態を検出する⼿段は様々である．
例えば，脳波による解析を⾏なった研究や, 座圧センサを利⽤した着席者の疲労状態の解析や，⼀点注視型タスクにおける周辺視野（しや）への視覚刺激（しげき）提⽰が集中度を利⽤した研究などが存在する．

7

関連研究︓機械学習による座圧センサを利⽤した着席者の疲労状態の解析（ LI 2021）´ 関連研究では座圧センサーを利⽤して，２⼈の被験者の⾯圧中⼼位置の変化のデータを収集した．
´ そのデータの変動の⼤きさから，集中状態と疲労状態を分類し，３種類の機械学習⼿法を利⽤して，授業を受けている時の状況，レポート作成時の状況，コンピュータゲームを実⾏している時の状況の3つの状態でデータを収集し，それらのデータに対してSVM，RF，また，LSTMによる分析を実施した．
´ それにより，3種類の機械学習⼿法を利⽤して，それらの状態を⾃動的に分類することができることを明らかにした．

8

関連研究︓⼀点注視型タスクにおける周辺視野への視覚刺激提⽰が集中度に及す影響（桑原 樹蘭 ２０１８）´ 関連研究では⼈間の視野には中⼼視野と周辺視野の2つの領域（りょういき）か存在する，中⼼視野は解像度（かいぞうど）が⾼く細部まで認識することを得意としており．
周辺視野は対象物の全体像を瞬時に知覚することを得意とする視野範囲である．
´ 関連研究ではタスクにおける視線移動があったために，周辺視野へ視覚刺激を提⽰し，その刺激量を徐々に減衰（げんすい）させることで集中が増加するのではないかという仮定をもとに実験を⾏ってきた．
´ 結果︓PC作業時の周辺視野に単純な視覚刺激を提⽰することで作業効率（集中度）を向上するのに効果がある．
´ （中⼼を⾒ると、集中状態を判断する︔周辺を⾒ると、散漫状態を判断する．）

9

本研究ついて´ 利⽤者の集中度の基準となるデータとして，簡易脳波センサと座圧センサを利⽤した．
´ 簡易脳波センサによって利⽤者の集中や散漫の状態を検出することが可能であり，座圧センサによって利⽤者の疲労の状態を検出することができる．
´ 座圧センサや脳波センサを使わないで，受講者の集中や疲労の状態を把握することが本研究の⽬的．
´ 着席者の顔画像を収集し，各センサによって得られた集中度との関連性の学習を⾏なった．
´ 利⽤者の顔画像を元にディープラーニングを利⽤した着席者の集中度の解析を試みる．
´ 利⽤者の視線と顔画像をディープラーニングを分析して、⽐較する．

10

使⽤機材とソフトウエア´脳波センサ（ MindWave Mobile ）´座圧センサ（SRソフトビジョン）´OpenFace´WEKA´利⽤したディープラーニング（LeNet、AlexNet）´RANDOMFORST（視線解析利⽤）11

画像
座圧センサの重⼼座標
WEKAのディープラーニ
ン グ （ Lenet,Alexnet など）を利⽤して機械学習基準として脳波センサの集中度
OpenFaceの視線座標

集中や散漫の検出

12

脳波センサ

本 研 究 で は 脳 波 セ ン サ と し て ， MindWave Mobile を 利 ⽤ した．MindWave Mobile はNeurosky社によって開発された脳波センサです．
´Attention 集中度のレベルを測定する．ベータ波を中⼼とした脳波の変化量からリアルタイムで測定します。
´Meditation リラックス度のレベルを測定します。主にアルファ波を中⼼とした脳波の変化量からリアルタイム測定します。

脳波データ（集中度）

13

集中度

Attention

1009080706050403020

0 時間

20406080100120140

図は被験者のドラマを視聴（しちょう）する際の集中値を測定したものである．横軸（よこじく）は時間を分単位で⽰したものであり，縦軸（たてじく）は集中値の平均値を⽰している．データは1秒間隔で測定しており，毎秒を⽰している．

14

座圧センサ
座圧センサとしてSRソフトビジョンを利⽤した．この座圧センサでは，専⽤のソフトウエアを利⽤して圧⼒分布に加え，圧⼒値，⾯圧中⼼位置をリアルタイムに可視化することができる．データを収集する頻度は⾃由に設定することが可能である．

面圧中心位置SRソフトビジョン

専用のソフトウエア座圧中⼼位置標準偏差による疲労分析

15

座圧中⼼位置標準偏差
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
00

時間102030405060

図は被験者がゲームをしている際の座圧を測定したものである．横軸（よこじく）は時間を分単位で⽰したものであり，縦軸（たてじく）は座圧中⼼位置標準偏差の平均値を⽰している．データは５秒間隔で測定しており，１分間の平均値を⽰している．値は座圧測定画⾯で⽰した座標値の平均である．

顔画像と視線16

本研究では，顔認識と着席者の視線計測のために，Googleによって開発されたFaceNetアルゴリズムを基（もと）にしたOpenFaceを利⽤した．OpenFace
では顔の⽴体的情報を取得し，眼，⿐，あごの輪郭，および，視線データを毎秒30枚顔画像収集することができる．図はOpenFaceの実⾏の様⼦である．

WEKA
17

Wekaは、ニュージーランドのワイカト⼤学で開発した機械学習ソフトウェアで、Javaで書かれている．データ解析と予測モデリングのための視覚化ツールとアルゴリズムの集合体である．

WEKAのソフトウェアの画⾯

18

本研究利⽤したディープラーニング´ LeNet
LeNet は畳み込みニューラルネッ
トワークの最初の提案および実装であり、初めてのディープラーニング化を⾏った研究であった。LeNet の構造は全体で畳み込み層が2層、サブサンプリング層が2層、全結合層が3層、そして出⼒層という構造であるため,7層から成り⽴っている．

19

本研究利⽤したディープラーニング´ SqueezeNet は、カリフォルニ
ア⼤学バークレー校、およびスタンフォード⼤学の研究者によって開発されました。 深さが18層の畳み込みニューラル ネッ
トワークです。100万枚を超えるイメージで学習させた事前学習済みのネットワークを、ImageNet データベースから読み込むことができます。

20

本研究利⽤したディープラーニング´ FaceNet
FaceNetはGoogleが開発された，⼈の顔の画像から特徴を認識するために使⽤されるディープ ニューラルネットワーク
で す ． Siamese( シ ャ ム ) Network を ベ ー ス に し て お り 、
⼊⼒画像がどのクラスに属（ぞく）するかではなく、画像同⼠が似ているか似てないかを表す距離を学習します．

21

RANDOMFORST´ ランダムフォレストは、2001年にレオ・ブレイマンによって提案された機械学習のアルゴリズムであり、分類、回帰、クラスタリングに⽤いられる．決定⽊を弱学習器とするアンサンブ
ル学習アルゴリズムであり、この名称は、ランダムサンプリングされたトレーニングデータによって学習した多数の決定⽊を使⽤することによる．

22

実験Aの⽅法´ ⽬的︓脳波データと座圧データの関連性について´ 本研究では１⼈の被験者（25歳，男⼦留学⽣）に対して1回の実験を⾏なった．
´ 被験者は脳波センサを装着し，椅⼦の上に座圧センサを敷（し）いた状態で，30分のゲーム（任天堂switchのmonster
hunter rise ）をしました.その時の座圧センサデータと脳波データを収集した．
´ 座圧データに関しては5秒に1回のデータを収集するように設定し，脳波データも5秒毎にデータを保存するように設定した．

23グラフの設定
グラフは脳波データによる集中度１分間の平均値を⽰している．

50

集中度Attention

4540353025201510500時間

5101520253024

グラフの設定グラフは座圧データによる⾯圧中⼼位置の標準偏差１分間の平均値を⽰している．
⾯圧中⼼位置の標準偏差0.70.60.50.40.30.20.1
00時間

51015202530

25（グラフの分析）´

時間が経過するにしたがって，座圧センサの疲労度が上がると、脳波データの集中度が下がる状態と確認された．

⾯圧中⼼位置の標準偏差0.80.60.40.200時間510集中度

15202530202530

Attention

504030201000時間

5101526

実験Bの⽅法´ ⽬的︓顔画像と脳波センサ、座圧センサの関連性について．
´ 本研究では1⼈の被験者（26歳，男⼦留学⽣）に対して２回の実験を⾏なった．
´ 被験者は脳波センサを装着し，椅⼦の上に座圧センサを敷いた状態で，30分のドラマ（アメリカン・ホラー・ストーリー）を視聴してもらい，その時のセンサデータと顔画像を収集した．
´ 座圧データに関しては5秒に1回のデータを収集するように設定し，顔画像も5秒毎にデータを保存するように設定した．

27

データ収集の様子

28

グラフの設定左は１回⽬の実験の結果であり，右は２回⽬の実験の結果を⽰している．それぞれ上のグラフは脳波データによる集中度，下のグラ
フは座圧データの１分毎の標準偏差の値

１回目の脳波データ（上）と座圧データ（下）2回目の脳波データ（上）と座圧データ（下）29

グラフの分析

１回⽬の実験の結果を⾒ると，時間が経過するにしたがって，脳波による集中度は下がる傾向があり，それに伴って座圧データは⼤きな値が⾒られ，疲れる傾向が⾒られる．

１回目の脳波データ（上）と座圧データ（下）グラフの分析30

⼀⽅， 2回⽬の結果では，１回⽬とは逆に，徐々に集中度の値が⾼くなる傾向が⾒られ，座圧データは，さほど変化は⾒られない．つまり， １回⽬は，最初に集中し，徐々に疲れて集中が減少するパターンであり， 2回⽬は，最初はあまり集中できず，徐々に集中していくパターンである．

2回目の脳波データ（上）と座圧データ（下）ディープラーニングによる分析

31´本研究では機械学習ソフトウエアのWeka を利⽤して，１回⽬の実験の顔画像を利⽤して分類モデルの⽣成を⾏ない，２回⽬のデータを利⽤して，その分類モデルの評価を実施した．（number ofepochs 10;batchsize 100）

32⼊⼒データの説明
脳波データと座圧データを元に，収集した顔画像を，ディープラーニングによる分析を行うために，集中状態と散漫状態に分類する．
A区間は疲れもなく完全に集中した状態であり，逆に，D区間は完全に疲れていて集中が途切れ状態であるため，A区間の顔画像データ（84枚）を集中状態とし，D区間の顔画像データ（60枚）を散漫状態として分類を行なった．
１回目の脳波データ（上）と座圧データ（下）33

⼊⼒データの説明
2回目の実験では，C区間（12-28分）は集中していると同時に疲れてない状態であり， A（0-6分），B（8-12分），D（28-30分）区間は，集中も途切れ，疲れも見られる状態を表しているため，C区間の顔画像データ（192枚）を集中状態とし，A，B，D区間の顔画像データ（108枚）を散漫状態として分類した．

2回目の脳波データ（上）と座圧データ（下）⼊⼒データの説明
34

脳波データと座圧データを元に，収集した顔画像を，ディープラーニングによる分析を⾏うために，集中状態と散漫状態に分類する．
左の顔画像は集中している状態、右の顔画像は散漫状
態．

集中の顔画像

散漫の顔画像ディープラーニングによる分析
35

それぞれのモデルの分類精度を示している．LeNetは非常に精度 が 高 く ， FaceNet と SqueezeNet の 精 度 は 低 い 結 果 と な った．FaceNetとSqueezeNetの精度の低い原因は，識別の特徴量が多いため，データ量が少なくいために，学習の実行が十分でなかったことが考えられる．

モデル

分類精度

LeNet

99.12

FaceNet57.68

SqueezeNet

52.62

36

実験Cの⽅法´⽬的︓OpenFaceの視線と顔画像の関連性について．
´本研究では 2⼈の被験者（A: 26歳男⼦留学⽣,B: 24歳男⼦留学⽣）に対して１回の実験を⾏なった．
´被験者は脳波センサを装着し，椅⼦の上に座圧センサを敷いた状態で，40分の授業（中国の近代歴史）を視聴してもらい，その時のセンサデータと顔画像を収集した．

データ収集の設定

37• 座圧データに関しては 1秒 に 1回 の デ ー タを収集し、そして1分間の⾯圧中⼼位置標準偏差を計算した• 脳 波 デ ー タ は 1秒 に 1回のデータを収集し、毎分間の平均値を計算した．
• 顔画像も１秒毎にデータを保存するように設定した

グラフの設定38

左は被験者Aの実験の結果であり，右は被験者Bの実験の結果を⽰している．それぞれ上段のグラフは脳波データによる集中度，中段のグラフは座圧データの１分毎の標準偏差の値を，下段のグラフは顔画像の視線データ（視線の座標）の１分毎の標準偏差の値である．

被験者Aの実験の結果のグラフ

被験者Bの実験の結果のグラフ

グラフの分析
39

被験者Aの実験の結果を⾒ると，時間が経過するにしたがって，脳波による集中度と視線の標準偏差は下がる傾向があり，それに伴って座圧データは⼤きな値が⾒られ，疲れる傾向が⾒られる．

被験者Aの実験の結果のグラフ

グラフの分析40

⼀⽅，被験者Bの結果では，被験者Aとは逆に，徐々に集中度と視線の値が⾼くなる傾向が⾒られ，座圧データは，さほど変化は⾒られない．つまり，被験者Aは，最初に集中し，徐々に疲れて集中が減少するパターンであり，被験者Bは，最初はあまり集中できず，徐々に集中していくパターンである．
被験者Bの実験の結果のグラフ

ディープラーニングによる分析

41´本研究では，ディープラーニングを利⽤し，10-foldcross validationで評価を⾏った．これは訓練データセッ
トを10個のサブセットに分割し，そのうち9個で学習し残り1個で検証する⽅法である．そのサイクルを10回繰り返すものである．
´本研究では，実⾏可能であった2つのモデルを利⽤して評価を実施した．

⼊⼒データの説明
42

被験者Aにおいて，A区間（０-27分）は集中していると同時に疲れてない状態であり，B 区間（27-34分)はやや疲れが⾒られる状態である．C区間(34-40分)は，集中も途切れ，疲れた状態を表している．したがって，A 区間は疲れもなく完全に集中した状態であり，逆に，C区間は完全に疲れていて集中が途切れた状態である
ため，A 区間の顔画像データ（1208枚）を 集中状態とし，C区間の顔画像データ（420枚）を散漫状態として分類を⾏なった．

⼊⼒データの説明
43

被験者Bでは，BとC区間（5-40分）は集中していると同時に疲れてない状態であり， A（０-5分）区間は，集中できず，疲れてない状態を表しているため，BとＣ区間の顔画像データ（2100枚）を集中状態とし，A区間の 顔 画 像 デ ー タ （ 300 枚 ）を散漫状態として分類した．

44

⼊⼒データの説明

集中している同時に疲れてないの状態の動画．

45

⼊⼒データの説明

集中してない同時に疲れたの状態の動画．

ディープラーニングによる分析46LeNet での分類精度は82.427%であった．しかし，下のグラフからほとんどの画像が集中として判断されており，散漫を散漫と判断できた割合が23/727で，3.16%とかなり低い結果となった．
下のグラフはLeNetの混合⾏列
集中

散漫

集中

3299（TP）

2(FN)

散漫

704（FP）

23(TN)

47

視線データによる分析
機械学習の⼿法を利⽤して，被験者の集中の状態をラン
ダムフォレストの10-fold cross validationを分析した．精度は94.87％であった．散漫の状態の分類も72.7%と⽐較的⾼い精度での分類が可能であった．
集中

散漫

集中

90585（TP）

2182(FN)

散漫

3166（FP）

8441(TN)

48

まとめ´ 実験Aでは，脳波データと座圧データの関連性について分析した．
´ 実験Bでは，脳波センサと座圧センサの値を基準として，集中度解析を⾏なった．
´ 実験Cでは，脳波センサと座圧センサの値を基準として，顔画像と視線の分析を⾏なった．
´ 顔画像と視線を分析して、集中度の判断を⾼い精度での分類が可能であった．