二人組共同作業における頭上カメラを用いた協力度推定
Estimation of Cooperation Level in Pair Work Using Top-view Image
坂口 勝哉 1∗
Katsuya Sakaguchi1

嶋田 和孝 1,2
Kazutaka Shimada1,2

九州工業大学大学院情報工学府
Kyushu Institute of Technology2
九州工業大学大学院情報工学研究院
2
Kyushu Institute of Technology
11

Abstract: In this paper, we discuss features for estimating a cooperation level in pair work. Inour method, we focus on a top-view image for the estimation. The task is a cooperation work thattake place in front of a whiteboard by two persons. We extract the standing location, operation
ratio and head direction of each person from the top-view image. The goal of our study is toprovide the cooperation level that is estimated by the three features to teachers. The result of thisstudy is useful for education support systems and project based learning.

1

はじめに

近年，Faculty Development と呼ばれる教員が授業内容の方法を改善し向上させるための取り組みが注目されている．そこで，講義動画を用いて受講者の反応からインタラクションを検出し，教員の授業内容の改善に役立てる研究が行われている [1]．また，従来の講義や演習とは異なる授業形式である PBL(Project-BasedLearning)[2] が各種教育機関で実施されている．PBLとは，課題解決型学習のことを指し，学生がチームを組んで一つのプロジェクトを遂行することで，課題の解決力，問題発見力，分析力などの総合的な力を習得することが目的である．しかし，このような授業形態において教員が複数のグループを同時に指導することは困難であり，自由度の高いインタラクション環境下での教育支援システムが求められている．
本研究では，人物の立ち位置・作業中の動作・頭部方向などの非言語情報に着目し，頭上カメラを用いることで多人数インタラクションにおけるグループワークの協力度推定を目指している．本稿での協力度とは，作業における成果物のような結果ではなく，作業過程においてどの程度の協調性を持って取り組めているかの度合を指す．提案手法を実現するにあたり，まず二人一組でのホワイトボードを用いた実験環境を作成し，協力度推定に必要な特徴量を調査し，分析する．また，取得した特徴量を用いて Adaboost による協力度推定を行い，重回帰分析により協力度のモデルを検討する．
∗ 連絡先： 九州工業大学大学院情報工学府〒 820-8502 福岡県飯塚市川津 680-4
E-mail: k sakaguchi@pluto.ai.kyutech.ac.jp

2

関連研究

人間の行動や仕草から，場の状況や参加者の感情の推定を試みる研究は，これまでにも盛んに行われている．
高嶋ら [4] は，6 人会話における場の活性度と非言語情報による相関関係をモデル化し，場の活性度検出を試みている．しかし，各種センサを用いて非言語情報を取得しているために，センサを装着する煩わしさや心理的な負担が問題として挙げられる．一方で，Grafsgaard
ら [3] は学習者の正面に設置したカメラによって姿勢を推定することで，学習者の関心と感情を推定する手法を提案している．また，学習者の姿勢特徴と関心や感情との重要な関係があることを明らかにしている．このようにセンサを用いずに人物の特徴量を取得する際には，画像処理によって視線や表情などの情報を取得する手法が用いられる．しかし，複数人が映り込むような環境においては遮蔽物や別の人物が学習者の前に映り込み，隠れが生じる問題がある．我々は，このような問題に対して頭上カメラを用いることで，隠れとセンサの問題を解消している．
Dinesh ら [5] は，グループワークにおける行動パターンと社会心理学の関連性について研究しており，個人がグループに対して与える影響や，グループが個人に与える影響について，グループ間の対話や視線特徴を用いて分析している．しかし，参加者全員が座った状態のグループワークであり，動きのあるインタラクションに対しては述べられていない．本研究では，ホワイトボードを用いた二人組共同作業において，非言語情報による協力度推定を行う．

3

提案方法

提案手法では，Microsoft 社の Kinect を頭上方向に設置し，被験者の作業を記録する．その後，記録された映像から，人物の立ち位置・作業中の動作・頭部方向の 3 つの非言語情報を取得する．そして，取得した特徴量と客観的評価による協力度を比較することで，グループワークにおける協力度を推定する．
図 2: 頭部方向推定

3.1

非言語情報の利用

図１に示すように，Kinect を用いて頭上方向から撮影する．立ち位置の座標取得に関しては，まず Kinectの深度情報をもとに人物の頭部領域を抽出する．そして，得られた頭部領域の重心点を人物の立ち位置として取得し，各フレームにおける立ち位置を記録する．作
業中の動作に関しては，板書による動作や指さし指示の動作に着目し，これらの動作をグループワークにおける作業と考える．これらの作業の動作開始から終了までの総フレーム数を記録することで全作業時間の作業の様子を記録する．なお，作業割合に関してはフレー
ム単位で人手によってラベル付け (0: 指差し状態，1:板書状態，2: その他) をした．

図 1: 人物領域の抽出例
頭部方向に関しては，図 2 に示すように，頭部領域の中心点を軸とし，前方領域を (1) から (5) の 5 分割に，後方領域すべてを (6) としてフレーム単位でそれぞれの人物が 6 方向のどの視線番号を向いているかを記録した．頭部領域の形状を用いて人物の頭部方向の自動推定を試みたが，人手によるアノテーションデー
タを正解データとして精度を比較したところ，平均で46.8 ％の結果となった．これは，被験者が画面の枠外に出てしまう場合や，頭部形状の抽出に深度データを用いているために，立ち位置によっては歪みが生じたためである．そこで，今回は人手によるアノテーションデータを採用した．

3.2

具体的な特徴量

前節で述べた人物の立ち位置と作業の総フレーム数
及び頭部方向より，以下の特徴の抽出を行う．
立ち位置のばらつき: 立ち位置の平均座標からの距離の標準偏差 σ を求める．σ の値が大きければ，グループワークにおいて，その人の動きが活発であることがを意味する．
立ち位置の中央割合: x 座標に着目し，どちらの人物がより長い時間，中央部分に寄っていたかの割合とする．
人物間の平均距離: 全フレームでの二人の人物の距離の平均値を求める．
グループワークの作業割合: 全作業時間における作業時間 (0:指差し状態＋ 1:板書状態) の割合とする．
頭部回転回数: 前後フレーム間において頭部方向の番号が違えば 1 回とし，全フレームおけるその総数を記録する．
連続注視割合: n フレーム以上連続して同じ頭部方向である場合の回数を記録する．例えば 3 フレーム以上の場合，(1) → (1) → (1)…で 1 回とし，次に(1) 以外の視線番号が 3 フレーム以上連続した際に 2 回とする．n は 3，5，10 の 3 種類を用いる．
視線配分: 全フレームにおける各視線番号の出現する割合とする．
パートナー方向注視割合: 相手側の視線番号を向いてる割合．例えば，左側に位置する人物は (1) ＋(2) ＋ (3) と (4) ＋ (5) の割合を，右側に位置する人物は (1) ＋ (2) と (3) ＋ (4) ＋ (5) としてその割合を求める．

3.3

機械学習による協力度推定

抽出した特徴量に機械学習アルゴリズムを適用することで最適な学習器を作成し，作成した学習器を用いて協力度を推定する．学習器には機械学習アルゴリズ
ムの Adaboost[6] を用いる．Adaboost とは，統計的学習手法 boosting の１つで，Freund らが提案した機械学習アルゴリズムである．Boosting とは，単純な予測が可能な弱分類器を組み合わせて，より高精度な分類器を作成する手法の１つであり，本研究では弱識別器として C4.5 アルゴリズム [8] を用いる．C4.5 は，Quinlanらが考案した決定木アルゴリズムであり，属性とクラスで構成されたデータを与えることで，判別ノードと葉 (クラス) からなる決定木形式で分類器を作成する．

表 1: グループ A〜E の結果
顔見知り

評価

標準偏差 σ

中央割合

A1(男)
A2(男)
B1(男)
B2(女)
C1(男)
C2(女)
D1(男)
D2(男)
E1(女)
E2(女)

5/5
5/5
5/5
5/5
3/1
4/2
4/5
4/5
4/3
5/4

31.97/37.80
32.13/53.12
35.68/34.98
26.07/39.17
13.35/17.07
41.56/23.95
42.45/46.63
26.29/45.35
18.42/15.08
33.00/24.37

1.4/1.2
98.6/98.2
30.0/26.7
70.0/73.3
5.6/0.094.4/100.0
0.0/16.7
100/83.3
15.6/14.4
84.4/85.6

平均距離356.2/354.7
395.5/387.3
429.3/446.5
356.6/343.2
266.5/270.8

表 2: グループ F〜J の結果
作業割合

初対面評価

標準偏差 σ中央割合

44.4/41.1
62.2/81.1
47.8/60.0
57.8/40.0
27.8/5.6
38.9/42.2
12.2/58.9
54.4/47.8
35.5/15.5
62.2/50.0

F1(男)
F2(女)
G1(男)
G2(女)
H1(男)
H2(男)
I1(男)
I2(女)
J1(男)
J2(女)

4/3
3/2
4/2
4/4
3/3
4/3
4/4
4/4
4/1
4/1

22.97/33.68
18.22/19.12
20.72/20.71
14.91/36.02
9.96/21.58
21.22/18.12
22.65/31.25
20.44/15.94
30.48/16.42
23.39/14.11

59.3/100.0
40.7/0.0
2.1/68.8
97.9/31.2
0.0/1,9100.0/98.1
0.0/0.0100/100.0
82.2/100.0
17.8/0.0

また，ステップワイズ法により重回帰分析を行い協力度をモデル化する．なお，機械学習の実装及び協力度推定にはオープンソフトウェアである Weka[7] を使用する．

4実験

二人組共同作業におけるグループワークの協力度の推定するにあたり，ホワイトボードを用いた協力実験を行った．

4.1

実験設定

被験者二人にホワイトボードを用いて 2 つの段階で作業を行わせた．まず，初めの段階ではこちらが用意したテーマに対して，思いつくキーワードをそれぞれ個別に挙げさせた．今回の実験では『夏』または『秋』というテーマで実験を行った．実際に，『夏』をテーマとした場合に被験者が挙げたキーワードは，花火，祭り，夏休みなどであった．次の段階では，さきほど挙げたキーワードをもとに，カテゴリ分けの作業を行わせた．これは例えば，花火，祭り，夏休みという 3 つのキーワードに対してイベントというカテゴリでまとめることを意味する．キーワードをどのような基準でカテゴリ化するかは，被験者たちが話し合いで決定させた．

4.2

実験環境

どちらも作業時間を 3 分間とし，それぞれ 2 分が経過した時点で残り時間を通知した．これを，全被験者16 人の計 10 グループ (A〜J グループ，被験者名は A
１，A2，B1，…) に対して行い，A〜E のグループは顔見知り同士で，F〜J のグループは初対面同士で実験を行った．そして，実験後にすべての被験者に対して 5
段階評価で協力度の自己評価を行わせた．しかし，ア

平均距離395.8/358.6
328.7/339.7
312.5/308.4
353.0/341.3
370.8/356.3

作業割合64.4/23.7
6.8/18.6
41.7/6.25
47.9/54.1
28.8/22.6
35.8/28.8
55.6/44.4
51.1/42.2
13.3/2.2
44.4/20.0

ンケートの自己評価と客観的評価に乖離が発生していたため，今回は客観的 5 段階評価を採用した．この理由としては，パートナーに気をつかい評価をよく見せようとする傾向がみられたことが考えられる．それぞれのグループにおいて，録画した 1800 フレームのうち10 フレーム毎に画像を取得し，合計 180 枚の画像を前半と後半のそれぞれ 90 枚ずつに分割して特徴量を抽出した．これは，連続するフレーム間では特徴の変化が少ないためである．その後，客観的評価を基準として，抽出した特徴量と比較することで協力度の推定を行った．

4.3

結果

実験の結果を，立ち位置・作業割合と協力度の関係，頭部方向と協力度の関係について検証する．

4.3.1

立ち位置・作業割合の結果

立ち位置と作業割合における実験結果を，グループ A〜E の結果を表 1 に，グループ F〜J の結果を表 2 に示す．特徴量の表記は，前半/後半としている．立ち位置のばらつきである標準偏差 σ を求めたところ，グルー
プ A や B のように協力度の評価が高い人物と，C1 やグループ J のように評価が低い人物の値に大きな違いがみられた．つまり，協力度の評価が高いとされた人物ほど，グループワーク中によく動いていたことが分かる．これは，作業が順調に進んでいる際に，ホワイトボードを見回す機会が増えたことや，様々な動作が増えることで，頭部や身体が大きく動いたことが理由として挙げられる．また，A2 や C2 のように話の進行や板書を進んで行うリーダー役となるような人物は，立ち位置がより中央に位置する傾向がみられた．それに加えて，グループ E のように女性同士のグループワー
クでは，二人の人物間の平均距離が近くなることが分かった．
グループワークの作業時間に関しても，グループ Aや B のように評価が高い人物ほど作業時間の割合が高く，C1 やグループ J のように評価が低いほど作業時間の割合が少ないことが分かった．なお，グループのメンバーが互いに顔見知りでも初対面でも特徴量には差はみられなかった．

4.3.2

頭部方向の結果

頭部方向の実験結果については，すべての特徴量において協力度との関係がみられなかった．この理由として，協力度が高いグループほど板書による作業時間が増加するために同じ方向を見続ける割合が多くなるのに対して，協力度が低いグループにおいては，何もすることなくただ目の前のホワイトボードを見つめる時間が増えたため，両グループに差異が生まれなかったのだと考えられる．

4.3.3

機械学習による協力度推定結果

使用するデータは，全 10 グループ 20 人分のデータをそれぞれ前半と後半に分割した，計 40 データとする．まず，Adaboost による学習器を用いて (a:協力的，b:非協力的，c:どちらでもない) の 3 段階評価へ分類した．特徴量には，立ち位置のばらつきである標準偏差σ と作業割合を選択し，20 分割交差検証で協力度を推定した．

おわりに

本研究では，多人数インタラクションにおけるグループワークの協力度を推定する手法を提案した．二人組共同作業による非言語情報と協力度の関係を分析し，各人物の協力度を推定した．その結果，人物の立ち位置や作業時間の割合が大きく影響していることが分かった．しかし，視線情報については予想していたような結果が得られず，今後は視線情報と他の特徴量との関連性を分析する必要がある．また，三人組以上の人数におけるグループワークの協力度の推定方法も検証していきたい．

参考文献[2] 井上 明: PBL 情報教育の学習効果の検証, 情報処理学会研究報告, 情報システムと社会環境研究報告 (2007)

表 3 の行が正解クラスを示しており，列が決定木による予測結果を示す．結果として，77.5 ％の精度で識別できたことが分かる．ただし，a: 協力的なデータが大部分を占めており，さらなるデータの収集が必要である．これは，今回の実験設定のような二人組の共同作業空間においては，必然的に協力的な環境になりやすいことが原因として考えられる．
次に，すべての非言語情報を用いて協力度の 5 段階評価の値を目的変数として重回帰分析を行った．分析の際には，ステップワイズ法により最適な特徴量を選択した．立ち位置のばらつきである標準偏差 σ と作業割合が説明変数として選択され，協力度は式 (1) のように表される．

+ 0.0353 × 作業割合

5[1] 山根卓也, 中村和晃, 上田真由美, 鯨木雅之, 美濃導彦:
講義中の行動分析に基づく講師受講者間インタラクションの検出, 人工知能学会 第 60 回先進的学習科学と工学研究会 (2010)

表 3: 実験結果
a b c
a 25 1 1
b 1 4 2
c1 3 2

協力度 = 1.256 + 0.0415 × 立ち位置のばらつきσ(p <.001) となった. また，修正済み決定係数 (AdjR2 )は 0.649 と高く，非言語情報を用いることで協力度を説明できていることがわかる．しかし，今回のケース
では評価値として一人の観察者によってアノテートされた客観的評価にもとづいて分析しているため，評価が偏っている可能性がある．そこで，今後は複数人の観察者に評価値のアノテーションをしてもらい，その評価の一致度をもとに非言語情報との相関関係を分析したい．

(1)式 (1) において，それぞれの標準回帰係数は，立ち位置のばらつきが 0.371 (p <.005)，作業割合が 0.572[3] Joseph F. Grafsgaard, Kristy Elizabeth Boyer, et al:
Analyzing Posture and Aﬀect in Task-Oriented Tutoring, Proceedings of the 25th Florida Artificial Intelligence Research Society Conference (2012)．
[4] 高嶋和毅, 藤田和之, 横山ひとみ, 伊藤雄一, 北村喜文:
6 人会話における非言語情報と場の活性度に関する検討, 電子情報通信学会技術研究報告 信学技報 112(176),
49-54 (2012)[5] Dinesh Babu Jayagopi, Dairazalia Sanchez-Cortes, etal.: Linking Speaking and Looking Behavior Patterns
with Group Composition, Perception, and Performance, Proceedings of the International Conference
on Multimodal Interaction (2012)[6] J. R. Quinlan: Experiments with a new boosting algorithm, In Proceedings of ICML (1996)[7] Garner, Stephen R: Weka: The waikato environment for knowledge analysis, Proceedings of the New
Zealand computer science research students conference (1995)[8] Freund, Yoav, Robert E. Schapire: C4.5 Programsfor Machine Learning, Morgan Kaufmann Publishers,
pp.57-64 (1993)