情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2P05
2018/3/5

非言語インタラクションに着目した
チュータリング会話の計測と評価
辻本 海成1,a)

角 康之1,b)

概要：本研究では，チュータリング中の非言語情報を計測し，その情報からチュータリング中の重要なシーンを推定する手法を提案する．非言語情報の中でも，チューターやチューティのチュータリングへの参与度や発話交代，頭部方向を手がかりとしてチュータリングの分析を行うことで，効率よく重要なシーンの推定ができると考える．あるチュータリングを題材に予備検討を行い，チュータリング中のチューターとチューティの頭部方向や参与度からチュータリングのシーン推定をすることの可能性を議論する．

Measurement and Evaluation of Tutoring Conversation
Based on Non-verbal Interactions
Kaisei Tsujimoto1,a)Yasuyuki Sumi1,b)

Abstract: In this paper, we propose a method to capture non-verbal interaction data in tutoring and estimate important scenes in tutoring from the data. We think that it is possible to estimate important scenes
eﬃciently by analyzing tutoring with tutor and tutee participation, turn-taking and head direction as a clue.
We discuss the possibility of estimating the tutoring scene from the head direction and participation of thetutor and tutee in tutoring by a preliminary examination.

1. はじめにしたチュータリング活動を行った．その結果，学習者にはチュータリングによるメタ認知の促進効果や，学習意欲の人が行う会話は，知識伝達や意思疎通などの手段であり，向上効果が得られる可能性を示唆した [1]．メタ学習ラボ

最も盛んに行われているコミュニケーションの 1 つであでは，大学 2 年生以上の学生チューターがチューティ（主る．会話の中で我々は言語情報はもちろん，視線，ジェスに大学 1 年生）に対して 1 対 1 のチュータリングという形

チャ，うなずき，あいづちといった非言語情報によってさで学習支援を行っている．椿本らは，メタ学習ラボにおけ

まざまな意図を伝える．我々が交わしている非言語情報にるチュータリングにおいて，学習意欲の向上効果などがあは一定のパターン（アイコンタクトのタイミングや量，手ることを，言語情報ベースで示している．しかし，チューの位置，発話のタイミングなど）がある．さらに，非言語タリング中の共同注視や発話交代のタイミングなど非言語情報をお互いに無意識のうちに利用し，会話の制御を行っ情報の観点からは議論されていない．

たり，自身の気持ちを伝えたりする．

そこで本研究では，Kinect v2 センサー（以下，Kinect

知識伝達の形態として，近年ではピア・チュータリングと示す）を用いて，チュータリング中の非言語インタラク（以下，チュータリングと示す）の試みが注目されつつあション（非言語情報）を計測しチュータリング会話における．椿本らは学生中心とした学習支援組織とそのためのる特徴的なふるまいの議論や評価を非言語情報の観点から空間である「メタ学習ラボ」を構築し，メタ学習を目的と行う．また，会話における重要なふるまいをラベル化し，

1a)b)

公立はこだて未来大学
Future University Hakodate
k-tsujimoto@sumilab.org
sumi@acm.org© 2018 Information Processing Society of Japan

チュータリング振り返り支援になるシステムや，チュータリングを採点するシステムを目指す．チュータリング中に発生するインタラクションにおける非言語情報を分析し，811

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2P05
2018/3/5

議論することによって，将来的に人とコンピュータのイン情報から良いチュータリングのパターンが判別できると考

タラクションへ応用する際の手がかりが得られると期待える．非言語情報の中でも特に，頭部方向や発話交代，発する．

話量，頭部や手の位置に注目する．注目した非言語情報を2. 関連研究

手がかりに，チュータリングにおける重要なシーンの抽出を目標とする．また抽出できた重要なシーンからチュータ

会話の中で交わされるインタラクションに含まれる非言リング振り返りシステムやチュータリングの良い，悪い場

語情報を対象とした研究は，これまでもいくつかなされて面を推定するシステムやチュータリング終了時にチュータきた．聞き手の視線に注目し，その人が会話に参加していリングの質についてのスコアが判定されるシステムの実現るかどうかの推定を試みたもの [2] や医者と患者の 2 者間を目指す．の会話を対象とし，そこで行われるインタビューを要約す

ほかにも，2 者の手や頭の動きに注目し発話交代との関るために，対話データから複数の対話コーパスを生成し，連性を探る．特に手や頭がチュータリングの作業をしていボトムアップ的に分析する方法を提案したもの [3] がある．

る空間（紙やラップトップ PC が置かれている空間）に入

複数人で行われる会話を対象とした研究もなされてきりこんだ回数や時間，タイミングに注目する．本研究ではた．大塚らは，会話の構造の推論を行うための確率的な枠

この空間を Shared Space と呼ぶ．

組みを，会話参加者の視線，頭部方向および発話の有無に基づいて提案した [4]．Nakano らは，会話優位性を自動推3.1 Shared Space定するために，他人から集めた視線の量，互いに注目した

本研究では Shared Space という言葉を定義する．Shared

視線の量，発話量，沈黙を破る発話を行った量の 4 つのパSpace とはチュータリングにおいて，チューターとチューラメーターに着目したモデルを提案した [5]．

ティの間の机の上の空間のことを指す（図 1 の紫色で表会話における非言語情報を取得し議論する試みとしてした空間）．またチュータリング中，チューターやチューSumi らは IMADE（Interaction Measurement, Analysis,ティの手や頭が Shared Space 内へ入ることをコミット

and Design Environment）ルームを提案した [6]．IMADE（Commit）すると呼ぶ．この空間は，Edward Hall が提案

ルームには非言語情報を含むインタラクション行動を記録した Intimate Space[7] と共通するところが多いと考える．

するために，環境カメラやマイク，モーションキャプチャ，Intimate Space は，ある人から 45cm までの距離の空間でアイマークレコーダ，データ統合と閲覧用サーバが設置さあり，手で相手に触れられるぐらいの距離感をもつ空間れていた．IMADE ルーム内においてインタラクションをである．チュータリング中は通常，お互いが近くに座る

計測する際は，被験者（被インタラクション計測者）は，が，お互いが触れ合うような位置には座らない．しかし，それぞれ自分の体にモーションキャプチャ用トラッカーやチュータリング中において相手に向けて手を出すことや頭アイマークレコーダ，マイクを装着していた．

を前に出すことが全くないわけではない．つまり，普段は本研究では，モーションキャプチャシステムやアイマーPersonal Space にいる相手がチュータリング中に Intimate

クレコーダなどを備えた IMADE ルームではなく Kinect

Space へ侵入してくる場面が存在することになる．このよを利用する．Kinect は IMADE ルームに比べて，低コスうな行為は社会的な活動においては一般的に異例とされ，トでインタラクションが計測可能である．またインタラクチュータリング中においても同様であると考える．よって，ションを計測する際に，被験者へ一切センサ類を取り付けShared Space へコミットすることは，コミットを行ったずに計測することになる．これにより，被験者へ変な非日人のチュータリング参与度が上がったと考えられる．ただ常感を与えることなくインタラクションが計測できると考し本研究ではチューターとチューティの 2 者の共同作業とえる．

いう点に注目するため，Edward Hall が提案した Intimate

3. 非言語インタラクションに注目したチュー
タリング会話の評価
本研究では，Kinect を用いてチュータリングを計測し，Space をそのまま利用せず，Shared Space を定義した．

4. チュータリング計測法と分析法
4.1 チュータリング設定環境

Sumi らが提案した iCorpusStudio[6] をもとに非言語情報被験者は，2 人とする．メタ学習ラボと同様，PC やメモの観点から議論を行う．チュータリングなど人が人に何か用紙，教科書等を被験者 2 人の前に置く．また被験者 2 人を教える環境において，教える側（チューター）がついついの距離もメタ学習ラボと同様に設定する．Kinect は被験者話しがちになる．しかし，チューティが主体的に話したり2 人の正面に向かって設置する．設置する高さは，机に向作業をしたりすることが望ましく，そのことがチューティかって座った被験者の目線程度とする．の学びにつながると考える．このことから，チュータリン
グの発話内容や作業内容まで分析を行わなくても，非言語© 2018 Information Processing Society of Japan812

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2P05
2018/3/5

頭部方向を 3 次元空間上で示したものである．チュータリングを行っている 2 人はそれぞれ黄色と緑色の球体と円柱で表される．頭を表す球体から伸びている赤色の矢印は頭部方向を表す．また 2 人それぞれの手の位置も白色の球体で表されている．

図 1 Shared Space のイメージFig. 1 Image of Shared Space4.2 非言語情報計測システム
Kinect と Microsoft 社が提供する SDK を利用して，被センシング者のスケルトン情報と顔の方向，音声方向を計測するシステム（以下，計測システムと示す）を実装した．
計測システムで計測する非言語情報の詳細は次のとおり

図 2

Kinect に対応したモーションデータユーティリティ

Fig. 2 Kinect-compatible Motion Data Utilityである．スケルトン情報は，各関節の 3 次元空間座標の集まりである．顔の方向は，Kinect の SDK に含まれる Faceを利用して計測する．Face で得られる情報には，顔パーツ（目，鼻，口角）の位置や顔の状態（笑顔，眼鏡の有無，目の開閉など）などが含まれているが，本研究では Face に含まれる顔の向きを利用する．Face で得られる顔の向きはクォータニオンで表されている．ただし，後述する CSVファイルに書き出す際はオイラー角に変換する．音声方向は，Kinect の正面を 0 度として左右の方向を-50 度から 50度の範囲を 1 度刻みで計測する．
計測システムで計測したデータは，次項で述べる iCor-pusStudio モーションデータユーティリティで利用するた

図 3

図 2 時点での現実空間の様子

Fig. 3 Context of real space at the time of Fig.2

めに CSV 形式で出力する．出力するデータは頭部や首，手を表す 3 次元空間座標と頭部方向である．頭部方向は roll,pitch, yaw で表されたオイラー角の形で出力する．また，音声方向データは同じく Kinect で取得できる音圧データとともに，発話している時間とその方向を表した CSV 形式で出力する．この情報から発話交代のタイミングが得られる．またいずれのデータも時間情報とともに出力する．

頭部方向を表すために，プラグインでは回転を表すオイ
ラー角から方向ベクトルを導く処理を行う．方向ベクトルを導く処理は，頭部座標からの相対座標を表した方向ベクy z )T とし，ラジアンで表されたオイ
ラー角 pitch と yaw を用いて，トルを v = ( xx = sin (yaw) × L
4.3 iCorpusStudio モーションデータユーティリティ
前項で得られた，CSV ファイルと Sumi らが提案した

iCorpusStudio を利用し，3 次元空間内に頭部や手の位置と頭部方向のモデルを出現させる．具体的には iCorpusStu-dio のモーションデータユーティリティプラグインでこの機能は実装されている．しかし，Sumi らが提案したもの

y = sin (pitch) × L
z = cos (yaw) × cos (pitch) × Lとする（ただし L は定数）．頭部座標と得られた v を用いて頭部方向を表すベクトルを描画する．

では Kinect に対応しておらず，また頭部方向を読み込む

iCorpusStudio のモーションデータプラグインでは，各機能が実装されてない．そこで，Kinect に対応したプラグオブジェクト（先述の球体や円柱など）の衝突判定やオブインを実装した．

ジェクト同士の距離などを計算する機能がある．それを利本研究で追加実装したモーションデータユーティリティ用し，共同注視や Shared Space へのコミットを自動的にプラグインのイメージを図 2 に示す．これは Kinect の前検出する．それらの機能を利用して Shared Space へのコでチュータリングを行う 2 人（図 3）の頭部や手の位置とミットの検出を試みたものを図 4 に示す．

© 2018 Information Processing Society of Japan813

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2P05
2018/3/5

る状態で右方向に頭を向けたことになり，頭部方向ベクトルの y 成分が正の値をとるということは，Kinect に向かっている状態で上方向に顔を向けたことを表す．

図 4 iCorpusStudio の利用例

Fig. 4 Application example of iCorpusStudio

5. チュータリング計測とシーン推定

図 6

赤色の線が yaw 方向，緑色の線が pitch 方向を表す

5.1 データ収集
予備実験として，メタ学習ラボのチューターではない被頭部方向を表したグラフ

Fig. 6 Head direction data in time series: the red line represents the yaw direction, and the green line represents

験者にチュータリングを行ってもらい，提案した計測手法

the pitch directionで計測した（図 5）．被験者はいずれも 20 代男性であった．チューターは Kinect に向かって左側，チューティはKinect に向かって右側に座ってもらった．チューティがチュータリングへ持ち込んだ相談内容はプログラミングに関するものであり難易度は初級であった．相談内容の問題は紙に印刷されたものであった．チュータリングの長さは30 分ほどであった．

チューティのグラフに注目すると，おおむね x 方向 y 方向ともに負の値をとっている．このことから，このチューティはおおむね左下方向を見ていることがわかる．つまり，チューターの手元方向や Shared Space へ注視をおおむね向けていたと考えられる．また図 6 の区間 A で示した場面ではチューターが 1 人で問題を解いており，問題の紙がチューターの前に置かれていた．その時チューティは特に何もしないシーンであった．図 6 の区間 B で示した場面では，問題の紙がチューターとチューティの間に置かれていた．この時はチューターとチューティでお互い説明したり，紙に書き込んだりしたシーンであった．このように，頭部方向ベクトルから大まかなチュータリングの場面推定ができると考える．

図 5

実験環境：手前がチューター，奥がチューティ
左手前に Kinect が置かれている

5.3 Shared Space へのコミット抽出
図 7 にチュータリング中に発生したコミットの時系列

Fig. 5 Experiment environment: the front person is tutor, the

データを示す．各ラベル行が表すコミットは上から，チューback person is tutee and Kinect is put on left front side

ターの右手，チューターの左手，チューターの両手（右手と左手の AND をとったもの），チューティの右手，チューターの頭，チューティの頭である．赤色のラベルがコミッ

5.2 頭部方向からチュータリングのシーン推定
チューターとチューティそれぞれの頭部方向ベクトルのトを表し，黄色のラベルがコミットを行っていない状態を表す．

向きを表したグラフを図 6 に示した．図 6 の中で 2 つある

今回 Shared Space へのコミットを図 8 で示した青線のグラフのうち上のグラフはチューティの頭部方向を表して長さで検出した．青線の長さはチューターとチューティそおり，下のグラフはチューターの頭部方向を表している．

れぞれの手の座標から図 8 上の赤い円までの距離である．

グラフの緑色領域は，頭部方向ベクトルの要素が正の値で赤い円はチューターとチューティを結ぶ線分の垂直二等分あることを示し，紫色領域は負の値であることを示す．ま線（図 8 の黄線）上の適当な位置に設定した．青線の長さた，頭部方向ベクトルの x 成分（図 6 の赤線）は yaw 方向が一定の閾値以下になるとコミットしたという様に検出の回転を表し，頭部方向ベクトルの y 成分（図 6 の緑線）した．

は pitch 方向の回転を表す．つまり，頭部方向ベクトルのチューターがチューティに対して説明を行うシーン（図 9）x 成分が正の値をとるということは，Kinect に向かっていでは，チューターのコミットが多いが，一方でチューティの© 2018 Information Processing Society of Japan814

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2P05
2018/3/5

図 7 ラベルデータとして出力した Shared Space へのコミットの時系列データ

Fig. 7 Label data in time series about Commitment to Shared Space from tutor andtutee

図 8Shared Space へのコミット検出法イメージ

Fig. 8 Image of detecting method of commitment to SharedSpace

図 10 チューティのコミットメントのシーンの一例

Fig. 10 An example of a scene that Commitment to Shared
Space from tutee

コミットは少ない．このようなシーンである場合，チューターが一方的な説明をしている可能性が高いと考えられる．

6. おわりに本研究では，Kinect を用いてチュータリングを計測し，iCorpusStudio をもとに非言語情報の観点から議論を行った．今回は，Shared Space へのコミットを主に注目し，重要なシーンを抽出できることを確認した．また頭部方向ベクトルの値の時系列データから，チュータリングの大まかなシーン推定ができることも確認した．
しかし，Kinect の精度が原因で今回はチューターの頭部方向がほとんど計測することができなかった．これは，Kinect に向かって顔を見せる必要があるが，書く作業が多図 9 チューターが一方的な説明をしているシーンの一例

いため下を向くことが多く，Kinect に向かって顔を向けらFig. 9 An example of a scene that a tutor explains unilaterallyれなかったためであると考える．今後は Kinect の設置方法を再検討するか openpose[8] を利用することを検討する

チューティがコミットを行うシーン（図 10）の多くは必要があると考える．

チューターの説明の途中や問題を解くシーンで見られる．

Shared Space へのコミットから重要なシーンの抽出が

また図 9 のシーンに比べ，チューティの発話に対してチュー可能であることは示唆したが，発話交代のタイミングとのターが発話で反応することが多い．このようなシーンに関連もあると考える．現状発話ラベルの出力を行っているは，チューティの反応を見てチューターがチュータリングが，Kinect の精度の低さやノイズが原因で良いものを得らの方針を変化させる場合があるため重要であると考えられれていない．よって，発話ラベルの処理法や音声取得法のる．さらに，チューティのコミットが行われている最中に再検討が今後必要であると考える．また今回の予備検討でチューターのコミットが行われると，チューターとチューは，Shared Space へのコミットの検出のための閾値を手作

ティで議論が行われる可能性があり，より多くのチュー業で主観的に設定した．今後，Shared Space をより明確にティの情報が引き出されるため，さらに重要なシーンであ定義し，客観的に閾値を設定できるようにしたい．

ると考えられる．

© 2018 Information Processing Society of Japan

重要なシーンを抽出するための手がかりとして今後は，

815

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2P05
2018/3/5

会話の主導権にも注目したい．沈黙を破る発話の量や，断続的に発話する量，沈黙から発話までのタイミングに注目し，会話の主導権をどちらが握っているかを推定していきたい．
今後は，さらにチュータリングの計測を重ねて，共通してみられる特徴的なふるまいや個人差がみられるふるまいを発見したい．それらから，さらなるチュータリング中における重要なシーンの抽出や抽出精度を上げていきた
い．またメタ学習ラボのチューターにも協力をお願いし，チュータリングの計測を行いたい．そこから，メタ学習ラボのチューターとそうでない人の教え方に差異があるかどうかなどの新たな知見も獲得できると予想する．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]
[8]

椿本弥生, 大塚裕子, 高橋理沙, 美馬のゆり. 大学生を中心とした持続可能な学習支援組織の構築とピア・チュータリング実践. 日本教育工学会論文誌, Vol. 36, No. 3, pp.
313–325, 2012.
Yukiko I. Nakano and Ryo Ishii. Estimating user’s engagement from eye-gaze behaviors in human-agent conversations. In Proceedings of the 15th International Conference on Intelligent User Interfaces, IUI ’10, pp. 139–148,
New York, NY, USA, 2010. ACM.
Kenji Mase, Yuichi Sawamoto, Yuichi Koyama, TomioSuzuki, and Kimiko Katsuyama. Interaction pattern andmotif mining method for doctor-patient multi-modal dialog analysis. In Proceedings of the ICMI-MLMI ’09
Workshop on Multimodal Sensor-Based Systems andMobile Phones for Social Computing, ICMI-MLMI ’09,pp. 6:1–6:4, New York, NY, USA, 2009. ACM.
大塚和弘, 竹前嘉修, 大和淳司, 村瀬洋. 複数人物の対面会話を対象としたマルコフ切替えモデルに基づく会話構造の確率的推論. 情報処理学会論文誌, Vol. 47, No. 7, pp.
2317–2334, jul 2006.
Yukiko Nakano and Yuki Fukuhara. Estimating conversational dominance in multiparty interaction. In Proceedings of the 14th ACM International Conference on Multimodal Interaction, ICMI ’12, pp. 77–84, New York, NY,USA, 2012. ACM.
Yasuyuki Sumi, Masaharu Yano, and Toyoaki Nishida.
Analysis environment of conversational structure withnonverbal multimodal data. In International Conference
on Multimodal Interfaces and the Workshop on Machine
Learning for Multimodal Interaction, ICMI-MLMI ’10,
pp. 44:1–44:4, New York, NY, USA, 2010. ACM.
Edward T. Hall. The hidden dimention. Doubleday &Company, Inc., 1966.
Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh.
Realtime multi-person 2D pose estimation using partaﬃnity fields. CoRR, Vol. abs/1611.08050, 2016.

© 2018 Information Processing Society of Japan

816