DEIM Forum 2014 F1-5

講義型授業における受講状態推定手法
清野

悠希†

佐藤

哲司††

† 筑波大学情報学群知識情報・図書館学類 〒 305-8550 つくば市春日 1-2†† 筑波大学図書館情報メディア系 〒 305-8550 つくば市春日 1-2
E-mail: †{seino,satoh}@ce.slis.tsukuba.ac.jp
あらまし 近年，大学等の教育機関において授業の質向上を狙いとしたファカルティ・ディベロップメント（以下 FD）
が盛んに取り組まれている．本研究では，受講者一人一人の受講状態をリアルタイムに講師へフィードバックすることを目的に，受講者の負担が少ないセンサーを用いて受講状態を推定する手法を提案する．受講者一人一人の受講状態をモデル化し，受講者の体重移動と姿勢変位を計測するセンサを用いて受講状態をモニタリングする. それにより，受講者が講師の話に集中している「傾聴」および，演習問題などに集中して取り組んでいる「作業」など，受講状態を推定できことを，いくつかの実験によって明らかにする．
キーワード

教育工学, ファカルティ・ディベロップメント, センサ

1. は じ め に
授業の質を向上させることを目的として，教育の現場ではの分析，それらに関する考察を行う 5 章は全体のまとめである．

2. 関 連 研 究

様々な取り組みがなされている．2008 年に大学設置基準が改定

受講者の集中状態を外部から観測するための研究はこれまでされ，「大学は，当該大学の授業の内容及び方法の改善を図るたにも多く行われており，本研究と同様の狙いをもつものに以下

めの組織的な研修及び研究の実施に努めなければならない」とのような例がある．

いう文言が 25 条第二項に盛り込まれた [1]．これによりファカ

金田らは読み聞かせ中の児童を対象として，ステレオカメラ

ルティ・ディベロップメント（以下 FD）は，それまでの「大学と加速度センサを用いて集中度の検出を行った [6]．これは，部の自発的な取り組み」という扱いから「義務」に変わり，高等屋の前方に 1 つ，後方に 2 つのカメラを設置し，また児童の教育に FD は必須のものとなった．そのため，多くの大学には一人ひとりに加速度センサを装着しそれぞれのセンサデータか

FD を統括する委員会が設置され，受講者に対して定期的に授ら集中度の検出を試みたものである．後方のカメラから各児童

業評価アンケートを実施し，その結果を授業にフィードバックの位置，前方のカメラからは表情を取得して笑顔度を算出するするなど、授業の質を向上することを目的に様々な取り組みがことができ，笑いと動作による集中度の検出を成功させた例で為されている．

ある．

大学において行われている授業改善の取り組みとして主流と尾林らは運転中のドライバの集中力の評価を目的として，視なっているのはアンケート調査である [2] [3] [4]．頻度としては

線計測装置とモーションキャプチャによる手法を提案した [7]．

授業の実施期間内に 1 回ないしは 2 回というものが多く，結果この研究ではドライバにマーカーをつけ，それを 11 台のカメは集計されて講師や学生にフィードバックされるが、調査結果

ラで撮影することによりマーカーの三次元座標を計測，アイの利用に関する明確なガイドラインは存在しない。このため、マークレコーダ（視線計測装置) のデータと共に，ドライビン

多くの大学では、調査結果の利用方法やデータのマイニング方

グシュミレータで発生するイベントとの相関を調査している．

法について、様々な取り組みを模索しているのが現状である。

結果として複数のセンサに同じタイミングで現れる波形の変化

本研究では、受講者の受講状態をリアルタイムに講師にフィーを明らかにしたが，運転中という緊迫した状況を対象とした研ドバックし、時々刻々変化する受講者個人個人の状態を講師が究であるため，同じ手法を受講状態の計測に用いても必ずしも把握する方法を提案する。提案法では、受講者にとって負担の良い結果は得られないと考えられる．

少ないセンサーを複数使用して、受講者が講義に集中している五味らは e-learning 受講時の学習者の集中状態検出のため，「傾聴」、あるいは、演習問題などの課題に取り組んでいる「作学習者の頭部，肩，腰など 9 点にマーカーをつけ，ステレオカ

業」などの受講状態を把握する。これによって、一人一人異なメラを用いた座標の取得を行った．集中状態・非集中状態の判る受講者の受講状態を客観的かつ即時的に把握し、講師への別は可能であったものの，集中状態では学習者は前傾姿勢をとフィードバックを実現する。

り，非集中状態はのけぞった姿勢をとるといった極めて大まか

本論文では，2 章でセンサを用いて集中度の測定を行った先な結果であった．

行研究を挙げ，それらの手法や目的について述べた後，3 章で濟田らはリアルタイムの配信型授業において授業参加者の顔本研究の提案手法について集中状態の定義と使用するセンサ類が見えないことによる講師の不安解消を目的とした，参加者のの説明を行う．4 章では提案手法の評価実験の方法とその結果集中状態フィードバックを試みている [8]．この研究では参加者

のいる部屋にカメラを設置し，顔検出等を用いて参加者の集中応じて，補足の説明や発展問題への手がかりを教授するなど，状態を判別するものである．非対面型の授業を対象とし，講師多様な形態が存在する．講師は，受講者の反応を見ながら，この不安解消を目的とした研究であるため本論文のねらいからは

れらの様々な形態を適宜選択して，最大限の授業効果が得られ大きくそれるが，受講者の集中状態フィードバックがよい結果るように授業をデザインしているといえる．しかしながら，授をおさめた一例である．

業全体にわたって受講者の反応を瞬時に短時間で把握すること

西村らは受講者のペンに無線センサを装着し，照度，振動，は，授業経験が豊富なベテラン講師にとっても難しい課題であ

温度をそれぞれ取得・分析するという手法を提案した [9]．しかる．本研究では，受講者の反応を講師が観察する一助とするこ

し，これはあくまで新手法の提案に過ぎず，また，振動から受とを目的に，受講者の受講状態を推定する手法を検討する．そ講者が文字を書いているか否か判別することはできたものの，のための受講状態として， 受講者には以下の 4 種類の状態が照度と温度については集中状態の検出に使用していないなどのあると仮定する．

•

傾聴：講師の話に耳を傾け，内容を追っている状態

河野らは高校生 104 人を対象として気功の鍛錬と脳波の変化•

黙考：話を聞くことをやめ，考えにふけっている状態の関係について研究を行った [10]．著者によると厳密には気功•

上の空 ：何も聞かず，考えず．呆けている状態の鍛錬とはリラックス状態に入ることではなく，熟練の気功師•

睡眠：受講者が意識を失い，寝ている状態

では気功中のα波は小さくなることが多いとのことではあるが，そこで，講師が必要とする状態の変化について考える．

課題が残っている．

初習者たる高校生の段階では気功を行うことと集中状態になる
ことはほぼ同じとみなしてよいようである．この研究は 104 名

講師が受講者に対して起こすアクションは，内容の補足・再確認，指名，課題の提示，，などが挙げられる．

について 4 年間の継続的な測定を行っており，脳波からの集中

このとき，講師が授業に役立てることのできる状況は，受講度の算出などは行っていないものの，ヒアリングの結果から，者が話の内容なから離れてしまう状態を察知し，的確な補足を

集中度の測定に有効であることは確からしいということがわ

入れる状況，または，離れていた受講者が再び講義に引き寄せかる．

られたタイミングを知ることで，受講者の興味を引くことので

2. 1 本研究の位置づけ

きる話題を知るといったものと思われる．

このように，これまでも集中状態の検出を目的としてセンサ

これを踏まえると，講師が授業を行う際に必要としているのからの信号を解析する研究は多数行われているが，授業改善のは，各アクションをするためにきっかけとなるような情報であための講師へのフィードバックを目的として挙げた研究はほとると予測される．即ち，受講者が講師の話に興味をもって聞いんど知られていない．また，受講者の状態についても，授業中ているか否かを判別することにより，講師は話題の組み立てをの講師の動作と対応付けた状況設定などは行われておらず，セ臨機応変に変更し，より受講者の印象に残る講義づくりを行う

ンサデータと直結した 1 次元的な指標や特定の行為を行っていことができると考えられる．

るかの二値的なものである．
本研究では受講者の負担が小さい複数のセンサを用いて，受講者の授業への参画度を客観的に計測，評価する受講状態の推以上のことから，本研究では「傾聴」と「黙考」の 2 つの状態について状態判別を試みる．

4. 1 セ ン サ

定法を提案する. ここで受講状態とは受講者一人ひとりが講師

本研究では利用者への精神的，身体的な負担が軽いこと，及の話を傾聴している，あるいは自分の考えや作業に没頭していび入手が容易であることを要件としてセンサの選定を行った．

るなど，授業に対する取り組み状況を言う．それらの受講状態

以下の 2 種のセンサについて実際にデータを計測し有効性を検の違いをセンサを用いて計測し，受講状態の違いをセンシング

討する．

データから判別できるかを明らかにすることを目的とする．

1 章で述べた受講者のモニタリングと講師へのフィードバッ

4. 1. 1 重心センサ
重心動揺のセンサとしては任天堂製バランス Wii ボードをクを達成するため，受講者を複数のセンサーを用いてセンシン使用する．バランス Wii ボードは Bluetooth で PC に接続す

グし，それが受講状態のモニタに適した手法であると証明する

ることができるため，値を取得するためのライブラリが多数リことを目標とする．また受講状態の把握という使用環境の想定

リースされている．本研究では WiiFlash Server を PC で実行

上．マーカーをつけるなど受講者側への負担が少ないセンサをし，バランスボードの値を取得する [11]．バランスボードは椅用いることを最重視する．

子の上に設置し，受講者の重心移動を測定する．

3. 受講者の状態をセンサデータから判別する手法の提案
4. 講義型授業における受講状態モデル
講義型授業では，講師が板書等を伴いながら知識を受講者に伝授すること， 伝授した知識が受講者に定着したことを確認するための演習問題への取り組み， 受講者の質問や受講状態に

4. 1. 2 重心の算出
バランスボードからは隅の 4 点にかかる荷重が出力される．
各点を A D とし，図に示す．
ここでは簡単化のために，x 方向，y 方向の加重平均によってそれぞれの重心座標を算出する．バランスボードの大きさ
は縦 (A-D 間)30cm, 横 (A-B 間)50cm であるため，バランス
ボード中心を原点として重心 P の座標を P (x, y) と表すとき，

x は-25 から+25，y は-15 から+ 5 の値をとる．バランスボー

図1

バランスボード

図3

距離センサ

y
4. 1. 4 距離の算出
距離センサは対象物との距離に応じた電圧を出力するが，そB
Y

P(X,Y)

Aの値は線形ではない [12]．使用した GP2Y0A21 の距離-出力電300x

圧曲線を以下のグラフに示す．

X

C

D
500

図 2 バランスボードの寸法と重心

ド全体にかかる重量を W ，A D の各点にかかる荷重 (kg) は

WA , WB , WC , WD とすると，
W = WA + WB + WC + WD

(1)
図 4 距離-出力電圧曲線という式が成り立つ．ここで，x 軸方向，y 軸方向それぞれの重量の差を求めるために，上下・左右方向に分割したそれぞれ

2 つのセンサの値を合計し，その差を求める．

出力曲線の特性上，目標物との距離が 5cm 以下となった場
合は計測不可能となるため，センサの設置にあたっては受講者

Wx = (WA + WD ) − (WB + WC )(2)

Wy = (WA + WB ) − (WC + WD )(3)の体とセンサが接近しすぎないよう注意が必要である．出力電圧 V から距離 R(cm) への変換式はデータシートに記載されている次式を使用する [13]．なお，この式における V は A/D 変

全重量にしめる各方向の重量差の割合を重心の遷移の割合とし換器によって得られた 0 から 1023(10 ビット) の値である．

て扱うと，各座標の値はその最大値をかけることで求められる．

R=

Wx
∗ 25
x=
W

(4)

Wy
∗ 15
W

(5)

y=

6787
−4
V −3

(6)

また，距離センサはノイズの影響が大きく，計測値に極端な本研究ではこのようにして重心の算出を行った．この算出法により，バランスボードの中心を原点として x, y 軸のそれぞれにセンチメートル単位の座標が取得できる．

ぶれが生じる場合がある．このため，ノイズの影響を抑えるために前後 4 点を含む合計 9 点の平均を常時とり続け，波形の平滑化を行った．

5. 実装と評価

4. 1. 3 姿勢の計測
受講者と机の距離を検出するため，SHARP 製赤外線測距モジュール GP2Y0A21 と Arduino を用いる．距離に応じてモジュールから出力される電圧を Arduino の A/D 変換器で読み取り，シリアル通信で PC 側に送信する．モジュールは机のへりに仰角をつけて設置し，受講者の上体と机の距離を測定する．

5. 1 実験における受講状態の実現
前章で述べたとおり，この研究では「傾聴」と「作業」の２
つの状態判別を試みる．実験参加者はそれぞれ以下の 2 課題に取り組むことで，2 つの状態を実現することとした．
「傾聴」の状態は講師の話を聞きながら話の内容を整理し，ノートをとるなどしている状態である．そこで実験では早稲

田大学が iTunes U で公開しているオープンコースウェアから(cm)「脳の構造と機能」[14] の授業を選択し，実験協力者にはそのビデオを見てノートを作成させた．
「作業」の状態は，受講者が外部からの入力をとらず，課題の解決に集中している状態である．
実験では 100 マス計算のワークシートを用意し，計測の間 1 から 10 までのいずれかの値の掛け算を解き続けた．なお，実験
協力者は 3 名，それぞれの測定時間は各 6 分間である．

5. 2 実 験 環 境(1/10sec)(a) 傾聴時(cm)

図 5 センサの構成

実験システムは開発言語として Java を使用し，統合開発環
境 eclipse 上で実装を行った．バランスボードからの値の取得に(1/10sec)

は WiiFlash Server から出力される数値をソケット通信によって読み取った．距離センサから出力される電圧は Arduino uno(b) 作業時の A/D 変換器を通して 10 ビットの数値としてシリアル通信でPC 側に送られ，Java からはシリアル通信を用いて読み取った．

図7

協力者 A のセンサデータ

これらのセンサの値は 100ms ごとに記録される．なお，標準Java にはシリアル通信を行うためのクラスは搭載されていな

5. 3. 2 実験の手順

いため，Java Communications API の外部実装である RXTX「傾聴」の実験ではまず実験協力者がバランスボード上に座ライブラリを使用した．測定値は csv 形式で日付，バランス

り，ペンを持った状態であることを確認し，ワイヤレスヘッド

ボード右上センサ値，バランスボード左上センサ値，バランス

フォンを装着する．次に「はじめ」の合図とともに授業ビデオ

ボード右下センサ値，バランスボード左下センサ値，距離の順を再生し，同時にセンサデータの取得を開始する．6 分経過後，に保存される．

データの記録をやめ，「やめ」の合図でビデオの再生を止める．

5. 3 計測「傾聴」の実験終了後，休憩と説明を行った後に「作業」の5. 3. 1 センサ類の配置実験を行う．

実験におけるセンサの配置を図 6 に示す．

「作業」の実験では，100 ます計算の用紙を足し算，割り算，
掛け算それぞれ二枚ずつ用意し，同じ種類の問題が続かないよ
うに重ねたものを実験協力者の机に設置する．その後，できるだけ多くのマスを埋めることを実験協力者に伝え，了解が得ら

距離センサ

れたら「はじめ」の合図で計測を開始する．
「傾聴」同様に，6分間経過後に「やめ」の合図とともにデータの記録を停止する．
これらのセンサデータは CSV ファイルとして保存される．
実験終了後，重心センサの項で述べた方法で重心を求め，ファY

イルに追記する．後の処理では荷重量ではなくこの重心の座標を使用する．

X

5. 4 データの分析
重心センサ

図 6 センサの配置

三人の実験協力者 A,B,C に対して実験協力を依頼し，傾聴状
態，黙考状態のそれぞれについて計測を行ったところ，図 7,8,9のデータが得られた．図の縦軸は時間で，単位は 1/10 秒であ椅子の上にバランスボードを設置し，実験協力者はその上に座る形で計測を行う．距離センサは机のへりに固定され，実験協力者の上体との距離を出力する．

る．横軸は変位で，単位は cm である．

X と Y で値が大きく異なっているのは，実際のバランスボー
ドの大きさにそって重心をプロットしているためである．距離センサの値には前述のとおり 9 点平均による平滑化がなされているが，はじめと終わりの各 4 点については値が足りないため．

(cm)

平均の範囲を縮小して計算を行った．なお，図中の距離センサ
波形は 9 点平均化を行った後のものである．

5. 4. 1 測定データの分析
データの分析にあたっては，傾聴と作業の 2 つの状態での 3人分の測定データ測定データからの特徴抽出を目的として，ここではスペクトル解析を適用する．
(1/10sec)

Mathematica は数式処理ソフトウェアではあるが，多くの統計パッケージや強力なベクトル計算能力を備えた多目的な解析ツールである．本研究では，数式処理ソフトウェア Mathe-(a) 傾聴時

matica を使用して測定データのフーリエ変換と相関係数を算
出した．

(cm)

5. 4. 2 スペクトル解析
センサから得られた波形データをフーリエ変換して周波数ス
ペクトルとして表すことで，個々のデータに共通する性質を可視化する．周波数スペクトルとは，もとの波形がどのような周波数の三角関数の和で表すことができるかを表現したものである [15]．
測定した距離，重心 X 軸，重心 Y 軸のそれぞれに対してこ(1/10sec)の処理を適用した．
例として実験協力者 A の傾聴時距離センサの出力を下図に示す．

(b) 作業時

図 8 協力者 B のセンサデータ(cm)(1/10sec)

図 10 実験協力者 A 傾聴時の距離センサ振幅スペクトル(a) 傾聴時

5. 4. 3 状態推測可能性の検証
実験協力者 3 名の受講状態ごとの測定データの周波数特性が(cm)

類似していれば，それらの特性を用いた受講状態推定が可能となる．その傾向を調査するため，周波数スペクトルを 1 次ベク
トルとみなし，相関係数の計算を行った．
なお、受講中の姿勢変化というデータの性質上、特徴が現れるのは極めて低い周波数となると考え、3Hz 以上の値を削除して相関係数の計算を行った。
相関係数を以下の表に示す．
(1/10sec)

被験者間の相関係数の平均は 0.65，受講状態間の平均は 0.67となった．

(b) 作業時

結果として，重心 X 軸のデータでは受講者間の相関係数のほうが大きくなったものの，距離・重心 Y 軸では受講状態間の相図 9 協力者 C のセンサデータ

関係数が大きかった．これは重心 X 軸のデータでは受講状態に共通する周波数特性があったが，距離・重心 Y 軸では受講状態ごとの周波数スペクトルの差異よりも協力者の差異が大きい結
表 1 距離センサ周波数スペクトル 実験協力者間相関
傾聴

作業

A,B

0.65 0.99600

B,C

0.42 0.85840

A,C

0.37

0.87

平均

0.48

0.91

平均

果となったことを示している．また，全体としても距離・重心

Y 軸と同様の傾向を示している．

6. 結
0.69

論

データ解析手法としてスペクトル解析を用いたが，今回の実験では横方向の重心移動でのみ各受講状態の共通する特性の存在が示唆された．重心の左右方向の挙動を細かく分析すること
で，受講状態を判別する手がかりとすることができる見通しが立った．
しかし，他のデータでは個人差が大きく出ているため，スペ表 2 距離センサ周波数スペクトル 受講状態間相関係数

A
傾聴, 作業 0.83

B

C

平均

0.77 0.63 0.74

クトル解析ではセンサデータから有意な差を発見することはできなかった．
今後は波形に大きなギャップが生じるタイミングとその振れ幅について分析を行ってゆきたいと思う．頷きの検出が最初のステップとなる．傾聴時の受講者は講師の話す内容について無意識のうちにリアクションをとっているのではないか，との仮説を立て，傾聴時は頷き動作が行われるが，作業時は行われな

表 3 重心センサ X 軸 周波数スペクトル 実験協力者間相関係数
傾聴

作業

いと推測してその実証を試みたい．
そこで，はじめに行うのは頷きの有無の確認となる．

A,B

0.59 0.71

B,C

0.75 0.59

講義中の受講者をカメラで撮影し，講師が説明している場合

A,C

0.67 0.77と課題を課した場合の２つの状態で，頷きの頻度を目視で計測

平均

0.67 0.69 0.68

する．２つの状態で頻度に差があった場合，今回と同様の計測システムで頷き動作が波形にどのように現れるか確認し，その機械的な判別を実現したいと思う．

表 4 重心センサ X 軸 周波数スペクトル 受講状態間相関係数

A
傾聴, 作業 0.45

B

C

平均

0.65 0.68 0.59

表 5 重心センサ Y 軸 周波数スペクトル 実験協力者間相関係数
傾聴

作業

A,B

0.74 0.62

B,C

0.61 0.40

A,C

0.38 0.73

平均

0.58 0.58 0.58

表 6 重心センサ Y 軸 周波数スペクトル 受講状態間相関係数

A
傾聴, 作業 0.91

B

C

平均

0.58 0.56 0.69

文

献[1] 文部科学省. 大学教員のファカルティディベロップメントにつ い て. http://www.mext.go.jp/b_menu/shingi/chukyo/
chukyo4/003/gijiroku/06102415/004.htm.
[2] 福島大学. Fd 報告書. http://www.fukushima-u.ac.jp/for_student/fd/fd.html.
[3] 筑波大学. ファカルティ・ディベロップメント. http://www.
tsukuba.ac.jp/education/fd.html.
[4] 明治大学教育開発・支援センター. 「授業改善のためのアンケート」実施の趣旨及び「授業改善のためのアンケート」実施の趣旨及び要領. http://www.meiji.ac.jp/edu/fd/enqute/
6t5h7p000000btkd-att/shushi.pdf.
[5] 東洋大学. 授業評価アンケートの活用方法. http://www.toyo.
ac.jp/uploaded/attachment/1090.pdf.
[6] 金田重郎, 上坂和也, 今城和宏, 三本貴裕, 新谷公朗, 糠野亜紀.
ステレオカメラと加速度センサを用いた読み聞かせに対する子どもの集中度分析手法. 情報処理学会研究報告. コンピュータと教育研究会報告, Vol. 2010, No. 2, pp. 1–8, may 2010.
[7] 尾林史章, 小澤愼治, 小塚一宏. ドライバの挙動の計測と運転に対する集中力の評価指標の提案 (its ポジショニング, 一般). 電子情報通信学会技術研究報告. ITS, Vol. 110, No. 150, pp. 37–42,
jul 2010.
[8] 濟田武志, 矢内浩文. 授業参加者の集中状態を判別する動画像処
理. 電子情報通信学会技術研究報告. HCS, ヒューマンコミュニ
ケーション基礎, Vol. 103, No. 742, pp. 83–87, mar 2004.
[9] 簡易無線センサによる授業集中度測定の提案. 電子情報通信学会, 2011.
[10] 河野貴美子, 外山美恵子. 高校生における気功の鍛錬とその効果第 2 報 (研究発表, 第 21 回生命情報科学シンポジウム). Journal of International Society of Life Information Science,Vol. 24, No. 1, pp. 204–209, mar 2006.
[11] Thibault Imbert. Wiiflash server :wiimote and flash. http://wiiflash.bytearray.org/.
[12] SHARP. Gp2y0a21yk optoelectronic device. http://www.
sharpsma.com/webfm_send/1208.
[13] テック ハ ン ド. 赤 外 線 距 離 計 を 作って み る. http://www.
techand.jp/Digital/Arduino/DistanceLCD.html.
[14] 早稲田大学. 早稲田大学 opencourseware. http://www.waseda.
jp/ocw/.
[15] 日野幹雄. スペクトル解析. 統計ライブラリー. 朝倉書店, 1977.