最終報告

非認知能力の育成環境の解明による人の社会的能力の向上
研究代表者：大森 隆司 玉川大学 教授
共同研究者：長井 隆行
中村 友昭
岡 夏樹
金井 玲奈

大阪大学大学院 教授
電気通信大学大学院 准教授
宮崎産業経営大学 教授
桜美林大学 助教

1. 研究の背景と達成目標
情報通信技術の幅広い普及により社会の高度情報化が進む中、「生き抜く力」の要因として既存の学力以外に「非認知能力」が注目されている．非認知能力とは，実行力・対話力・自尊心などの社会場面で自己情動管理の能力（社会情動スキルともいわれる）を表し，学力以上にその人物の将来の業績・収入・社会的地位などに影響するとされている．非認知能力は乳幼児期から小学校低学年の時期に大きく成長するとされ，その成長を促す教育方策の解明は知識の獲得が容易な情報社会化が進行する現代の要請といえる．
しかし，非認知能力は定量化が難しい．通常の学力はテストで測ることができるが，非認知能力に対応する心情・意欲といった心の姿勢の育成状態は教員が子どもの生活・授業態度などの観察から感覚的に評価するしかなく，定量性・客観性に課題があると同時に，評価する側の個人差も考える必要がある．また，教員は多忙で労力・時間に限界があり，クラスなどの多人数の非認知能力の評価は難しい．この困難の原因の本質は，非認知能力が，さらにはより広く学びの活動が科学の対象となっていないことによると考える．非認知能力は熟練教員が見れば判定可能と言われることから，個々人の行動にそれが表れているはずである．しかし個人の行動のデータ化は容易ではなく，客観的な評価は現状ではほぼ不可能である．
一方で最近の人工知能(AI)による画像認識は大きく進歩しており，映像からの人の検出や表情・姿勢・動作などの行動特徴の自動抽出が可能になってきた．非認知能力を熟練教員が視覚的に判読可能であるなら，センシングと AI により客観的かつ定量的に推定可能になる可能性がある．個々の人物の行動特徴を抽出してビッグデータ化できるなら，現代のデータ科学は非認知能力をも明文化できると期待できる．
本研究ではこのような考えから，学びの活動の映像によるセンシングシステムを開発し，子どもの行動からその心的状態として「関心」を推定し，さらにその環境と合わせて分析することで，非認知能力を推定する手法の開発を進めた．当初は，対象を就学前の幼稚園児として，幼稚園での保育場面の映像からの行動センシングを試みた．しかし，幼稚園での保育活動はあまりに自由度が高く，先端 AI による画像認識手法を用いても子どもの行動の安定した抽出は困難であった．そこで，本研
究では対象を小学生・中学生の学校の教室での授業場面として，個々人の授業参加度を推定する手法を開発し，さらにクラス全体の総体としてその場で行われている学びの活動の種類を分類して非認知能力を推定する行動センシングの実現を目指した．また，本研究の成果を非認知能力の育成に資する環境整備の手段として，計測された授業の特徴を教員にフィードバック(FB)することで授業の質を向上する情報サービスの試行を目標とした．

2. 主な研究成果と社会、学術へのインパクト本研究の社会へのインパクトは，教育実践現場での教員の授業遂行技能を科学の対象とする手法の実現にある．それは，①関心センサの開発と非認知能力の行動特徴抽出，②教員への FB 情報の抽出と授業改善実践，という二つの要素の組み合わせにより，実現されている．

① 関心センサの開発と非認知能力の行動特徴抽出
生徒数 35 人程度の標準サイズの学校の教室で，授業中にクラス全体の児童生徒の教室内の位置と顔情報を抽出する教室センシングシステムを開発した．授業で行われる多様な学びの活動に対応した顔と視線の動きから，個々の児童生徒のその瞬間の関心対象の推定が可能となった．シ
ステムは持ち運び可能かつ低コストで運用可能であり，幅広い教育の実践現場に導入可能である．
そして，本システムで得られた児童生徒の関心と教員の動きから，教員の働き掛けに対するクラス全体の反応を定量的に評価する手法を開発し，さらに個々の児童生徒の授業参加度を推定する
ことに成功した．
従来，クラス全体の反応，ひいてはそれが表す授業の成功/失敗の程度は，担当教員が自身の経験に基づき判断するしかなかった．それが，授業の映像から客観的かつ定量的に推定できるようになることは，授業という学校教育の基本的な活動をデータに基づく科学的な理解の対象とする手段の実現である．
また，このシステムで抽出される児童生徒の集団活動に対する参加度は，学びという行為への個人の姿勢という非認知能力の一つの表れと考えられる．それが，多様な学びの活動に対して客観的かつ定量的に抽出できることは，逆にその児童生徒の意欲を引き出す活動の推定，ひいては非認知能力を伸ばす環境特性の理解につながる．これを機械的な手段で実現できることは，教育環境をデータに基づき改善するための強力な手段となろう.
② 教員へのフィードバック情報の抽出とスケール可能な授業改善実践
教員の働き掛けに対するクラス全体の反応は，授業において教員が児童生徒を引き付ける技能の指標と考えられる．現在，そのような実践的な技能は熟練教員による評価および指導，さらには教育個人の試行錯誤以外に改善の方法はない．しかし熟練教員による指導の回数は限られ，さらにその評価は属人的である．これを，教員個人が自身の授業の映像からの客観的かつ定量的なデータから評価・改善でき，さらにそのデータが蓄積できることは，教育実践にインパクトのある科学的な手法の導入となる．
本研究ではその具現化として，小学校の授業における熟練教員と新任教員の働き掛けの特徴を数値化し，両者を比較したうえで，新任教員に FB することによる授業改善を試みた．結果，新任教員は自身が認識していない自身の癖を指摘され，次回の授業でそれを改善する努力を行った．
これにより，本研究で開発した技術により熟練教員の実践技能を新任教員，さらには教職志望の学生に伝えることが可能であることが示唆された．
実践的にうまい授業は，児童生徒に「面白い」と思える学びを体験させることに繋がり，さらに面白い学びの体験の蓄積はいずれ児童生徒に定着して学びに対する主体的な姿勢に繋がると考える．その実現の道筋が示せたことが，本研究の社会に対する最大のインパクトであると考える．
3. 研究成果

A) 教室センシングによる関心センサシステムの開発
本研究で求めるものは，教育実践の現場データからの非認知能力の推定およびその FB を通した授業改善に有効な特徴量である．従来，教室での個々の学びの活動での児童生徒の状態を推定する研究は多くある．しかし授業には多くの活動が含まれ，計測された児童生徒の状態はその活動とのセットで解釈する必要がある．しかし授業の活動を自動的に抽出する手法は少なく，従来は人が活動を判断したうえでの児童生徒の状態の解釈であった．
この問題に対して本研究は，授業全体を通した映像からクラス全体の児童生徒と教員の顔情報を抽出し，その特徴量から学びの活動の分類と児童生徒の関心を介して授業参加度を推定する．ただし，計測できるのは行動の物理量であり，そこからその人物の心的過図１ 分析対象となる授業映像の一場面程，人物像，成長などを評価するには，人の学習行動のモデル化が不可欠である．そこまで踏み込んだシステム開発を行うことが，本研究の難しさである．
教室センシングの普及を考えると，本システムは低コスト・持ち運び可といった運用の容易性も求められる．システムの各部品は顔情報抽出を除き市販品で先端技術とは言えないが低コストである．それにも関わらず，教室の広さの空間で児童生徒の位置と顔情報を取得できるという点で，他にはない新技術である．

B) 非認知能力の行動特徴としての授業分節化と授業参加度の抽出
教室センシングシステムで得られた顔情報から，集団活動への参加度の指標として教員と児童生徒の間の行動の同期や関心の集中を抽出する技術を開発した．主要な成果は，(1)抽出された顔の数からの授業の学びの活動の分節化，(2)児童生徒の視線の集中からの教員－児童生徒の相互作用の抽出，(3)板書場面における児童生徒の顔の動きパターンからの個々人の授業参加の推定，の３点である．
(1) 抽出された顔の数からの授業の学びの活動の分節化
授業には多くの学びの活動が含まれ，そのそれぞれで児童生徒に期待される振る舞いは異なる．
そのため，児童生徒の行動特徴を考える前に，その瞬間に行われている学びの活動を分類する手法が求められる．図２は小学 2 年生の授業全体で検出された顔の数の推移と活動記述の一例である．
図 2(a)の青線は教室前方からの映像から抽出された顔の数，橙線は教室後方からの顔の数である．
明らかに学びの活動ごとに検出される顔の数が異なっている．同 2(b)はそれを機械学習手法(a) 個々の学びの活動に対応して顔の検出数が異なっている．
(b) 機械学習による活動分類
図２ 小学 2 年生の授業での顔検出数の推移と学びの活動の分類

VBGMM(Variational Bayesian Gaussian Mixture)で分類したもので，横軸は前方からの顔検出数，縦軸は後方からの顔検出数で，3 カテゴリのデータの混合分布となっている．それらは(1)教員主導：教員が前で説明して児童生徒がそれを聞く，(2)生徒主導：GW による生徒達の主体的な活動，(3)個別作業：配布された課題への取り組みなど個々人による作業，に対応することが判った．この分類は，人手による分類に対して精度 79%と活動分類には十分である．

(2) 教員の行動に対する児童生徒の視線の集中からの教員－児童生徒の相互作用の抽出抽出された顔はカメラからの距離が判るため，教室内の個々の生徒の位置・顔向き・視線が抽出できる．その情報から教室内の状況を再構成すると，図３(a)に示すようなクラス内の児童生徒の配置と顔向き・視線の集中状態が抽出できる．図 3(a)のうち左は視線が収束した瞬間を，右は視線が(a)クラス内の児童生徒の配置と視線 (b)クラスの関心の集中と教員行動の関係(c) 教員の板書時間中のある生徒の顔の上下方向の動き
図 3 クラス内の顔の位置と視線からの教員と児童生徒のインタラクションの質の推定．

発散した瞬間の例である．直線が集中する場所は多くの児童生徒が見ている場所であり，それが狭い領域に集中したときは児童生徒がその場所の何かを注視していることを示している．そこで，視線の交点群の中心をクラスの関心の焦点と呼び，その点群の位置の標準偏差により生徒達の関心集中の程度とした．
図 3(b)はある授業の 10 分程度の時間中の関心集中の程度（オレンジの線，低いほど集中）と各瞬間の教員の行動（青色）の時間経過の例である．横軸は時間（秒）であり，赤枠の区間に教員は生徒に 2 回語り掛け，それに呼応してクラス全体の関心が大きく集中（値が低下，図中↓矢印）し，その前後で集中が大きく緩和（値が増加）している．同様のことは学年の異なる他のクラスでも観察された．従来，教員の働き掛けに対する児童生徒の関心集中は当然のことと考えられてきたが，それを客観的に定量化できたことで，クラスにおける授業の質の指標の一つとしての利用が期待できる．
(3) 板書場面における児童生徒の顔の動きパターンからの個々人の授業参加の推定
授業の活動の一つとして，教員による板書と児童生徒によるその筆記は欠かせない．図 3(c)は，教員が板書中(図 3(b)青枠の区間)のある生徒の顔の上下方向の位置の変化を示している．生徒は筆記のために黒板とノートを交互に見て顔が上下に動くことから，赤枠の部分のように間欠的に顔の抽出の成功/不成功が発生している．これよりこの生徒はこの時間中も授業に参加していることが推定できる． これを，クラスの多数の児童生徒で観察すると，単なる筆記だけでなく，集中の継続/途切れなど児童生徒の状態とそれを引き起こす教員の行動特徴との関係が抽出できると期待される．

C) 教員向けのフィードバック情報の抽出と授業改善の試行ある授業で，図 2 に示したような分節化ができず，教員研修の指導担当教員からは改善の必要性の指摘があった．そこで，その指摘事項を教員本人に FB した翌週に同教員の授業を再度計測して教員行動の変化を分析した．その結果，図 4，図 5 に示すような改善が見られた．
図 4 は FB 前後での顔検出数と機械学習による分類の変化である．FB 前の授業では困難であった分節化(図 4(a))が，FB 後の授業(b)で分節化できている（図 4(b)）．分節化が可能となった要因は，

教員が指摘事項を意識して児童への働きかけを変化させたためと考えられる．その行動変化の客観量が図 4(a),(b)の右側の顔検出数の 2D プロットである．FB の前後で学びの活動の明確な変化（メ(a) 1 回目の授業での顔検出数．
単調なため顔抽出数が単峰性で分節化困難．
(b) FB 後の授業での顔検出数．メ
リハリが増して顔抽出数が二峰性となり，活動の変化が明確になった．

図 4 顔検出数からの授業メリハリの数値化．

(a)

熟練教員の 10 分間の顔の向き．70°～+50°の範囲で教室を満遍なく見ている．

(b)

フィードバック前の新任 3 年目の教員の顔向き．青枠，緑枠のそれぞれの区間で顔向きに偏りがある．

(c)

フィードバック後の新任教員の顔向き．見る範囲が広がり，頻度も増えている．しかし熟練教員と比較するとまだ少ない．

図 5 熟練教員および新任３年目の教員の 10 分間の顔向きの比較リハリと呼ぶ）に応じて分布が変化しており，それが学びの活動の分節化の成功につながっている．
同様の FB 前後の教員の行動変化は，図 5 に示す 10 分間の顔向きの比較にも見ることができる．
新任 3 年目の教員は 1 回目の授業では顔向きに偏りがあったが（図 5(b)），FB 後に児童生徒を見る範囲が広がり，頻度も増加している(図 5(c))．しかし，同じ学年を対象とした熟練教員の授業における顔向きの動き（図 5(a)）と比べるとまだ少ない．どの程度の顔の動きが適切であるかは不明
だが，顔向きという判り易い行動の質を指標化できる可能性がある．ただそのためには，より多くのサンプルで評価することが必要であり，今後もデータの蓄積を続けていく．
4. 今後の展開
本研究で開発した教室センシングシステムは，教育の実践現場での実用による授業の質の改善が最終目標である．現状では，技術的な可能性が示され，一部の教育現場で試行された段階である
が，いずれは多くの方々にその有用性が認識されて，機能を充実させたシステムが多くの教育現場に導入されて授業改善，さらにはより良い学びの活動を通じての非認知能力の長期的な育成につながる環境が実現されることを望んでいる．そのような夢に向けて，本研究は今後も以下の展開を計画している．
第一は，技術的には本システムの完成度を高め，現場のニーズに応える高機能化・操作容易性の実現が必要である．そして，現場の教員が有用と感じるレベルの製品に仕上げたい．
第二は，本システムの社会普及のための努力の継続である．現状では，一部の学校のみでの試行であるが，それをより広く普及されるために新技術の導入に積極的な私学や塾に導入していただいてその有用性を一般に認識していただき，いずれは公教育への導入を目指したい．大きな課題は個
人情報に対する懸念であろう．児童生徒本人および保護者に納得くいただける安全対策と運用規則の確立が課題である．

発表実績
【論文】
1. Muhammad Attamimi, Takashi Omori:The study of attention estimation for child-robot
interaction scenarios, Bulletin of Electrical Engineering and Informatics, Vol. 9, No. 3, pp.
1220~1228, June 2020
2. ISSN: 2302-9285, DOI: 10.11591/eei.v9i3.2035
3. Ichikawa J., Fujii K., Nagai T., Omori T., & Oka N. (2021). Quantitative analysis of
spontaneous sociality in children’s group behavior during nursery activity. PLOS ONE, Vol. 16,No. 2, e0246041, https://doi.org/10.1371/journal.pone.0246041
4. 山田徹志，宮田真宏，大森隆司：子どもの関心を推定する為のセンシングシステムの開発－
試験実装による位置・向き情報の検出精度評価 －，日本システムデザイン学会誌,Vol.1,No.1,pp.65-71, 2021
5. 山田徹志，宮田真宏，中村友昭，前野隆司，大森隆司：機械学習を用いた「子どもの育ち」の可視化－位置・向き情報を用いた関心推定の試み－，日本教育工学会論文誌 Vol.45，
No.4,365-376，2021
6. Masahiro Miyata, Tetsuji Yamada, Takashi Omori:Estimating Child’s Participation to Class
Activity from Teaching Scene Image Analysis, Life Tech 2022, 20220309 (reviewed)
IEEE LifeTech 2022 Outstanding Paper Awards for Oral Presentation
7. Mayuko Maruyama,Masahiro Miyata,Tetsuji Yamada,Takeshi Aihara,Takashi Omori :Estimating children's classroom participation using machine learning methods, NCSP2023,
2023
8. 萬處修平,岡 夏樹,松島 茜,深田 智,吉村優子,川原功司,田中一晶：主観情報入力型 BERT による発話の意味理解：自己注意の連鎖に注目した内部表現の分析, 認知科学 Vol.31, No.1,
pp.205-224, 2024.
【学会発表】
1. Morita K., Oka N., Tanaka K., Miyata M., and Omori T., Estimating children's intrinsic
motivation during class based on face orientation and gaze information, The 35th Annual
Conference of the Japanese Society for Artificial Intelligence,4N1-IS-3a-02, 2021, June 8-June
11, 2021.
2. 宮田真宏，山田徹志，大森隆司:顔情報を用いた授業中の子どもの特性リフレクションシステムの開発，教育システム情報学会研究会，2021 教育システム情報学会 2021 年度研究会優秀賞
3. 大森隆司，山田徹志，宮田真宏，丸山真優子，石渡一郎：「行動センシングが開く新たなエビデンスに基づく子どもの学びの理解」，教育工学会大会自主企画セッション，20220320
4. 丸山真優子，宮田真宏，山田徹志，相原 威，大森隆司：機械学習を用いた子どもの授業参加
推定の試み，A10-02，日本教育工学会 2022 秋季全国大会，20220910
5. 井口丈琉，阿部香澄，中村友昭，長井隆行：遠隔保育ロボットによる日常的な発達支援のための遊び選出システム，日本ロボット学会学術講演会，3A1-01，2023
6. 油川さゆり, 高平小百合, 鈴木美枝子, 小酒井正和, 小原一仁, 大森隆司：プログラミング的思考を育む活動の行動分析-低学年の上位と下位の行動の違い-, 第 19 回子ども学会議, 2023,優秀発表賞【特許】
1. 大森隆司，山田徹志：「情報処理装置、情報処理方法、及びプログラム」, 第 7321437 号，
令和 5 年 8 月 8 日,
【その他】
1. 油川さゆり，高平さゆり，鈴木美枝子，小酒井正和，小原一仁，大森隆司：PC に依存しない
幼児・低学年のプログラミング教育カリキュラム，第 15 回情報システム教育コンテスト(ISECON2022），最優秀賞
2. 江口悦弘：ICT 活用教育の最新トレンド―生成 AI，教育データ利活用，PC 教室の再活用―,p.14-31,日経パソコン 教育と ICT，No.28, 日経 BP, 2024 年 4 月