情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-81
2020/3/9

模擬授業訓練システムのための教員行動可視化に関する研究
WANG yuchen1,a)

大井翔1,b)松村耕平1,c)

野間春生1,d)

概要：新任教員は，大学における教職課程を受講し，大学を卒業したのち小・中・高等学校の教育機関では，毎年新任教員の採用が行われる．新任教員には，社会経験のある新任教員，非常勤講師や常勤講師などの実践経験のある新任教員，大学や大学院を卒業後に採用された新任教員がいる．特に，大学や大学院を卒業後に採用された新任教員に着目すると，実践に立つことができるのは，教職課程の教育実習の期間であり，取得免許に応じて 2 週間から 1 か月ほどである．この間に，新任教員は指導教諭から授業での改善点や注意点などを学ぶことができるが，指導教諭も同一の空間にいる状態であり，実際の現場の空間とは異なる．他にも模擬授業などにより授業の流れなどを学習することができるが，児童や生徒の反応もな
く，実際の現場とは大きく異なる．そのため，実践現場において新任教員は，一人で上手く授業をコントロールするかどうかは未知数である．新任教員の授業の質を向上させるためには，(1) 実際の現場に近い環境で訓練を行うこと，(2) 教員の行動を定量的に把握すること，(3) 授業を客観的に振り返り気づきを得ることは重要である．本研究では，(3) に着目し，模擬授業を振り返り，新任教師自身に気づきを与えるシステムの開発を検討する．模擬授業中の新任教員および熟練教員の行動パターンを Spatial Temporal
Graph Convolutional Networks を用いて抽出し，教員行動を可視化する．実験として，教職授業を受講している学生 8 名に対して，本システムで可視化した模擬授業を提示し，システムの評価を行った．

1. はじめに新任教員は，大学における教職課程を受講し，大学を卒業したのち小・中・高等学校の教育機関では，毎年新任教員の採用が行われる．新任教員には，社会経験のある新任教員，非常勤講師や常勤講師などの実践経験のある新任教員，大学や大学院を卒業後に採用された新任教員がいる．
特に，大学や大学院を卒業後に採用された新任教員に着目すると，実践に立つことができるのは，教職課程の教育実習の期間であり，取得免許に応じて 2 週間から 1 か月ほどである．この間に，新任教員は指導教諭から授業での改善点や注意点などを学ぶことができるが，指導教諭も同一の空間にいる状態であり，実際の現場の空間とは異なる．他に

図 1 模擬授業訓練システム

も模擬授業などにより授業の流れなどを学習することができるが，児童や生徒の反応もなく，実際の現場とは大きく異かは未知数である．新任教員の授業の質を向上させるためなる．実践授業に近い経験としては，塾の講師などが挙げには，図 1 に示すように (1) 実際の現場に近い環境で訓練られるが，学校現場と異なり，授業に対して前向きに取りを行うこと，(2) 教員の行動を定量的に把握すること，(3)組む生徒がほとんどである．そのため，実践現場において授業を客観的に振り返り気づきを得ることは重要である．

新任教員は，一人で上手く授業をコントロールするかどう

本研究では，(3) に着目し，模擬授業を振り返り，新任教師自身に気づきを与えるシステムの開発を検討した．模擬授

1a)b)c)d)

立命館大学 情報理工学部
is0441kk@ed.ritsumei.ac.jp
SHO.OOI@outlook.jp
matsumur@acm.org
hanoma@fc.ritsumei.ac.jp© 2020 Information Processing Society of Japan

業中の新任教員および熟練教員の行動パターンを Spatial

Temporal Graph Convolutional Networks (ST-GCN) を用いて抽出し，教員行動を可視化し，8 名に可視化システムを見てもらいシステムの評価を検討する．

771

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-81
2020/3/9

2. 関連研究2.1 振り返り学習に関する研究
井越らは大学病院にいる新人看護師の’ 気づき’ に着目し、模擬病室における新任看護師のトレーニング姿と指導看護師の教導する様子をカメラで撮影する。その静止画像や動画を用いて新人看護師と指導者の振り返りを行っていた。結果として新人看護師は普段で意識できなった点を気づき、自身の行動についても認識し、説明·理解をできてい図 2た。また、この振り返りの動画や画像を見て，今後はどう10 種類の教員行動いう行動を取るべきのかに関しても深く省みることができた。さらに指導者側も新人看護師に対して気づきが多くなるような環境調整を行い、指導を明確化かつ具体化するような姿勢を示した。これにより、振り返り学習はどのような不可欠なものであるのかを示した。

2.2 授業ビデオによる授業分析及び改善に関する研究
教員の授業を評価するに関して、吉田らは中·高等学校の理科授業に着目し、従来の授業研究で積極性がなかったのは教員達が授業公開するのを嫌がっているからであると彼達は述べた。この研究では、研究授業用のビデオをいくつを撮影し、研究員達 (研究推進員会の方々) に分析してもらって事前に作成した「時系列評価シート」、「観点別評価シート」を記入させ、最後に「総合評価表」で総合的評価と本時の目標達成程度という 2 点で教師の力量を測定できる。さらに、上述のシートについて整理し、今後の授業改善方法と優れた授業構成・指導特性を協議するというような評価方法を用いた。結果的には教師に最善の授業方法について考えらせることができたし、授業の構成や指導に関するのも考えを深められた。
しかし、撮影した映像を分析し、評価する人研究推進員会の方々に限られているので、いつも教師の授業姿をフィー

図 3 評価システムの仕組み

ドバックする時間的余裕がないと思う。すなわち、定量化分析になっていないということである。さらに、新しく入ってきた新任教員として教壇にしっかり立てるかどうか

3. 提案手法

はまだ未知数であるのに，本当に彼達の目の前に授業構成

我々はこれまでに，ST-GCN を用いて図 2 に示す 10 種などを語ってもいいだろうかという問題点が存在する。

類の教員の行動に対して，行動の分類・認識について検討し，平均認識精度は 88.9% であった [12]．さらに，熟練教

2.3 行動認識に関する研究
行動認識の研究として，ユビキタスセンシング系とウェ員と新任教員の行動パターンを抽出し，図 3 に示す手順で，教員行動の定量的な評価手法について検討している [13]．

アラブルセンシング系に大きく分類される．ユビキタスセ

本研究では，これまでに教員行動を自動で分類したモデ

ンシング系は，RGB ビデオベース，スケルトンシーケンルを用いて，実際の模擬授業に対して，適用しどのようなスベースなどの手法があり，外観や奥行きなどの複数の行動をしているのか模擬授業の可視化し，フィードバック特徴量によって行動認識する [3], [4], [5], [6], [7]．スケルするためのビデオを作成した．図 6 に，模擬授業を可視化

トンシーケンスベースの行動認識として，骨格の相対位した結果の一部を示す．

置 [8], [9]，骨格の軌跡の共分散行列 [10]，深層学習ベースの手法がある [11], ?．

さらに、ここで認識に用いられる共通パターンは新任教師の動作によって異なり、熟練教師と新任教員の動作を比較して同じく動作するところを共通パターンとして認識© 2020 Information Processing Society of Japan772情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-81
2020/3/9

図 5 模擬授業の可視化

図 4 模擬授業の可視化
図 6 模擬授業の可視化

してそれを手本とする、後者が新しく取る行動をニューパターンとして認識する。認識されたニューパターンはどの科目によりの影響と関係ないことが証明された。そして、共通パターンに似ているのかを判断し、共通パターンであ認識に用いられるパータンの長さを大きくすれば大きくする限りに「propattern」として可視化ビデオ左側に呈示るほど全体の正確率が上がっていく。原因としては 2 点がされ、さもなければ「new pattern」として出力される。

あると考えられる。一つ目は、新任教員でありながら豊富

4. 実験な経験を持ち、授業での表現も熟練教師に近い存在が新任データセットの中に含まれている。二つ目は、今回の実験

本研究では，実験として著者の一人が実施している教職における使われている新任データセットの動作パータンが授業である「情報科教育法 b」における模擬授業に対して，熟練データセットより多いのため、熟練教師を新任教員に解析を行い，可視化をした．その後，授業を可視化した結誤認する可能性がある。

果を各受講生にフィードバックし，フィードバックした可さらに、実験のフィードバックとして 10 人の被験者にア視化したビデオに関して，アンケートを実施した．模擬授ンケートを実施した。結果としては、本研究で呈示された業に関しては，15 分間の模擬授業で，テーマは全員「アナ可視化機能について「役に立つ」と答えた人は全員であり、ログとディジタルの違い」についての模擬授業であり，パ図??に示されている。また、もしこの可視化機能の実用化ソコンなどの機器は用いず，チョークと黒板を用いる模擬を実現できれば、人間と機械をどちらのフィードバックを授業であった．また，受講生は 10 名である．

受け入れたいのかのような質問をした。結果として図??に5. 結果と考察
本研究では、録画の中にある新任教員の姿を認識させ、STG-CN によって 10 人のビデオデータを分析し、出力さ示され、機械と人間を選んだ人数は両方とも二人である。
アンケートの全体としては記述必須問題と記述自由問題に分けられている。自由記述問題は以下となる。

(1) 何がわかりにくいと思いましたのかを教えてください

れたデータを用いて被験者に分かりやすいフィードバックビデオを作成した。実験に参加させた 10 人の高校教師の中に理解科目を担当している教員が多く、全ての科目を収(2) 今後の可視化機能向上するのため、意見があれば教えてください

録してないのために分析を行っていない科目に関してはプ

記述必須問題として以下のように取り上げた。

ログラムの正答面で多少な心配があったが、実際に示され(1) この可視化機能について役に立つと思いますかた () データでは 88.9 パーセントの正答率を抑えることで(2) なぜそのように答えたのかについて詳しく記述して© 2020 Information Processing Society of Japan773

情報処理学会 インタラクション 2020
IPSJ Interaction 2020ください(3) このシステムで自分自身の授業を振り返ってみて、気づいた点などについて記述してください。

(4) この可視化システムでは他に何の情報があれば自身の成長に繋がりますか。

2P-81
2020/3/9

畳み込みニューラルネットワークを用いて教員の動作を 10種類に分類し、熟練教師とのデータセットを比較して重複回数が多いパターンを共通パターンとして新任教員のデータと比べる。そこから出したパターンを「new pattern」と「pro pattern」で呈示する。次に、このふたパターンの割(5) 教科教育法の模擬授業で、今回のシステムを使うこ合で点数を示すというのを実行した。こういう言った機能とに対して意見を書いてください（使うべきか使わないべで教員の行動ついて客観的な評価ができ、評価から熟練教きか。その理由）師との差を点数で示されている。

(6) 今回、ビデオカメラの認識には 10 種類の行動（「手を謝辞 A4 横型に対するガイドを基に，本稿を作成した．

広げる」「両手を挙げる」「左手を挙げる」「右手を挙げる」

クラスファイルの作成においては，京都大学の中島 浩氏「両手を揺らす」「右手を揺らす」「左手を揺らす」「立ってにさまざまなご教示を頂き，さらに BiBTEX 関連ファイル話す」「板書をする」「生徒を当てる」）を採用しています。の利用についても快諾頂いたことを深謝する．また，A4

模擬授業において、何か他に分析の対象として必要な行動横型に対するガイドを作成された当時の編集委員会の担当はあると思いますか？

者に深謝する．

(7) 従来、教師の授業を評価するのは人が行っています。
例えば、授業アンケートであったり、教採の模擬授業など。

参考文献

今後のシステムでは、システムがある程度動きや声の出し[1]方などから評価を行うことになりますが、あなた自身はどのように考えていますか？

(8 上述した問題をなぜそのように答えたのかについて記述してください。
最後に、この研究に関して向上できる点を幾つ述べる。
今回では、分析要素として教員の音声を取り入れていない[2][3]のため、新任教員に喋る時の声の大きさや何の内容を喋る時にどういう動作をしているのかなどのものを可視化機能で呈示されていなかった。実際にアンケートの必須問題そ[4]の (4) で言及されたので、これからの実用性を踏まえてスケルトンベース方法などを用いてうまく分析したいと考えている。次に、可視化ビデオで示されたパータン認識では、アルファベットのようなものが出てるが、それは視聴者に[5]多少わかりにくい面があった、それを文字と変わるや被験者に一つ一つのアルファベットを表示する表を配るなどの[6]ことを工夫して改善したいと考えている。また、可視化機能における新任教師がどこに立つと一番いいのかや黒板に振り返る回数などの細かい部分を呈示させて欲しいという貴重な意見をいただいたので、これから拡張機能や改善点[7]について検討したいと考えている。

6. まとめ[8]

本研究において、学校に入った新任教員を対象として授業のやり方に関してフィードバックすることを目的としている。目的を達成するために、[9](1) 本番に近い授業環境で実験を行うこと(2) 授業データを用いて教員の定量評価を行うこと[10](3) 可視化機能によって新任教員に熟練教師間の違いところを呈示させることという三つの固まりに分けて考えた。本研究では、Spa-tial Temporal Graph Convolutional Networks という空間© 2020 Information Processing Society of Japan[11]

井越寿美子, 内山美枝子, 笠井美香子, 佐藤富貴子, 広川佐代子, 伊藤千恵美, 田中京子, 青木萩子, 齋藤君枝, 定方美恵子, 関井愛紀, 後藤雅博, 佐山光子新潟大学医歯学総合病院看護部，新潟大学医学部保健学科”行動画像を用いた振り返り学習による看護技術トレーニング効果” 第 42 回日本看護学会−看護管理−学術集会
吉田 勝哉”授業ビデオによる授業分析及び授業改善に関する研究”
K. Simonyan and A. Zisserman， Two-stream convolutional networks for action recognition in videos， Advances in neural information processing systems，pp.568576，2014．
A. Tran，L. Bourdev，R. Fergus，L. Torresani and M.
Paluri， Learning spatiotemporal features with 3d convolutional networks， Proceedings of the IEEE international conference on computer vision，pp.4489-4497，
2015．
L. Wang，Y. Qiao and X. Tang， Action recognition withtrajectory-pooled deep-convolutional descriptors， Proceedings of the IEEE conference on computer vision andpattern recognition，pp.4305-4314，2015．
L. Wang， Y. Xiong，Z. Wang，Y. Qiao，D. Lin，X.
Tang and L. Van Gool， Temporal segment networks:
Towards good practices for deep action recognition，Proceedings of the European Conference on Computer
Vision (ECCV)，pp.20-36，2016．
Y. Zhao，Y. Xiong，L. Wang，W.Zhirong，X. Tang andD. Lin， Temporal action detection with structured segment networks， Proceedings of the IEEE International
Conference on Computer Vision，pp.2914-2923，2017．
J. Wang，Z. Liu，Y. Wu and J. Yuan， Mining actionlet ensemble for action recognition with depth cameras，
2012 IEEE Conference on Computer Vision and Pattern
Recognition，pp.1290-1297，2012．
皆本光，佐野睦夫，大井翔， 調理リハビリテーションのための行動認識手法， 第 78 回全国大会講演論文集，pp.263-264，2016．
M. E. Hussein，M. Torki，M. A. Gowayyed and M. ElSaban， Human action recognition using a temporal hierarchy of covariance descriptors on 3d joint locations，Twenty-Third International Joint Conference on Artificial Intelligence，2013．
A. Shahroudy，J. Liu，N. Tian-Tsong and G. Wang，

774情報処理学会 インタラクション 2020
IPSJ Interaction 2020

[12]

[13]

2P-81
2020/3/9

NTU RGB+ D: A large scale dataset for 3D human activity analysis， Proceedings of the IEEE conference on
computer vision and pattern recognition，pp.1010-1019，
2016．
大井翔，姚舜禹，野間春生: 模擬授業支援システムのための ST-GCN に基づく教師行動分類の検討, 電子情報通信学会−教育工学研究会 (ET), 2019．
姚舜禹，大井翔，野間春生: 熟練・新任教師の動作パターンに基づく教師行動の定量的評価手法, 電子情報通信学会−教育工学研究会 (ET), 2019．

© 2020 Information Processing Society of Japan775