情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20005
2020/3/9

チュータリング対話の質評価に寄与する非言語情報の検討
辻本 海成1,a)

角 康之1,b)

概要：本稿は，大学生同士のピアチュータリング対話を題材とし，対話者の非言語行動から対話の質を評価する方法の可能性を検討する．大学生同士の学び合いの環境を良くしていくには，チューター（教える側）の技能を高め，それを継承していくことが重要である．したがって，チューター達は互いの技能を観察・評価し合い，真似すべき良い指導方法や，逆に避けるべき指導方法を指摘し，言語化していくことが重要である．そのためには，蓄積されたチュータリング対話のデータから，指導方法として良いシーンや悪いシーンを特定し，それらの理由を説明する原理を導き出すことが望まれる．本稿では，それらの手掛かりとして，チュータリングに参加している二者（チューターとチューティ）の非言語行動の量と時系列パ
ターンに着目し，それらの組み合わせから対話シーンごとの質を数量化する方法を提案する．具体的には，計測された二者それぞれの発話と手作業，そしてそれらの共起に関する 14 の説明変数を使って，チュー
タリングのシーン毎の質を推測することを試みた．チュータリングデータからの注目すべきシーンの抽出と，それぞれのシーンの質評価には，熟練チューターに協力してもらった．それらのデータを利用して，チュータリングの質評価に寄与しうる説明変数の検討を行うために，説明変数間の相関分析，主成分分析，そして，質を評価するための回帰分析を行った．その結果，回帰式の作成にはまだ十分な結果は得られていないが，チューティ（学ぶ側）の関与が多く観察されるシーンが高く評価される，というチューター達の暗黙的な理解との符合を示唆する結果が得られた．

1. はじめに明できることが望ましい．そこで本稿では，チュータリン
グに参加している二者（チューターとチューティ）の非言本研究は，1 対 1 で実施される大学生のピアチュータリ

語行動の量と時系列パターンに着目し，それらの組み合わ

ングを題材とし，チュータリング内で観察できる対話者のせからチュータリング対話の質を数量化する方法を提案す

非言語行動からチュータリング対話の質評価を目指す．こる．ただし，メタ学習ラボのチュータリングは 60 分で実

こでは，椿本らが構築した学習支援組織「メタ学習ラボ」

施されるものであり，チュータリング全体を一意に良い・[1] にて行われるチュータリングを対象として議論を進め悪いと評価することは難しい．このことを踏まえて本稿でる．メタ学習ラボは，著者らの所属する公立はこだて未来

は，チュータリング対話から意味のあるシーンを抽出して，大学に 2012 年から導入された学生を中心とした学習支援

それらのシーンごとの質を数量化する方法を提案する．

組織である．メタ学習ラボに所属する学生チューター（教本稿では，はじめに，対象とするチュータリングや非言える側）は，自身のチュータリングスキルアップのために，語情報などの基本アイデアを述べる．つぎに，当事者であ自身が実施したチュータリングの振り返りやチューター

るチューターのスキル向上を図りつつ，チュータリング対同士でお互いのチュータリングを観察・評価することが多話から意味のあるシーンを得る試みである，チュータリン

い．もちろん，チュータリングの振り返りや他人のチュー

グ振り返りワークショップについて述べる．最後に，ワータリングを評価することは，メタ学習の観点からも評価者

クショップで得られたシーンや熟練チューターから得たそのチュータリング技術向上につながると考える．しかしなれぞれのシーンに対する評価データとチュータリング内でがら，そのプロセスは現状チューター自身の経験などに頼観察できる非言語情報から，チュータリング対話の質評価

られることが多い．本来ならば，チューターとして良い・に寄与しうる要素の検討について述べる．

悪いチュータリングはどのようなものなのかを客観的に説

ただし，本研究は，チュータリング内で観察できる非言語情報からチュータリング対話の質評価を実施し，チュー

1

a)
b)

公立はこだて未来大学
Future University Hakodate
k-tsujimoto@sumilab.org
sumi@acm.org© 2020 Information Processing Society of Japan

ター間にある暗黙的なチュータリングに対する理解の言語化を目指したものであり，チューティ（教えられる側）に

39

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

与える学習効果については扱わない．

2. 関連研究2.1 非言語インタラクションに関する研究

INT20005
2020/3/9

る．なぜならば，チュータリングは 1 対 1 会話であり，会話の優位性をとることはその会話を主導していると考えることができ，会話への積極性が高いと考えられるからである．

会話の中で交わされるインタラクションに含まれる非言
語情報を対象とした研究は，これまでもいくつかなされて

2.2 非言語情報を取得し議論する試み

きた．会話の中におけるジェスチャー研究を行っている人

会話における非言語情報を取得する試みとして Sumi らは物として Kendon が知られている [2]．会話参加者に注目

IMADE（Interaction Measurement, Analysis, and Design

し，その人が会話に参加しているかや会話への参与度，会Environment）ルームを提案した [17]．IMADE ルームに話の主導権の推定を試みたもの [3][4][5] がある．また，医は非言語情報を含むインタラクション行動を計測するた者と患者の 2 者間の会話を対象とし，そこで行われるイ

めに，環境カメラやマイク，モーションキャプチャ，アイ

ンタビューを要約するために，対話データから複数の対話

マークレコーダ，データ統合と閲覧用サーバが設置されてコーパスを生成し，ボトムアップ的に分析する方法を提案

いた．IMADE ルーム内においてインタラクションを計測したもの [6] もある．複数人会話における非言語情報やイする際は，被験者（被インタラクション計測者）は，それ

ンタラクションに注目した研究 [7] や，その中でも視線に着ぞれ自分の体にモーションキャプチャ用トラッカーやアイ目した研究もある [8][9][10]．また Matsumura らは，ジェマークレコーダ，マイクを装着していた．

スチャーの共起性パターンを用いて聞き手の共感を分析し取得したビデオなどを分析するツールも過去にいくつかた [11]．このように，インタラクションにおける非言語情

提案されてきた．Burr はビデオを閲覧しながらアノテー

報の重要性は広く認知されていると考える．

ションする作業の効率化を目指した VACA と呼ばれるシ

複数人で行われる会話を対象とした研究もなされてきステムを提案した [18]．また，Sumi らは先述の IMADE

た．大塚らは，会話の構造の推論を行うための確率的な枠ルームと同時に会話の構造分析を行うソフトウェア環境

組みを，会話参加者の視線，頭部方向および発話の有無に

iCorpusStudio を提案した [17]．この iCorpusStudio の特基づいて提案した [12][13]．Inoue らは，リアルな人型ロ

徴は，映像・音声の閲覧やラベリング作業を可能にするだ

ボットと人との 1 対 1 会話において，聞き手の会話への参けでなく，非言語情報間の時間構造分析を行うためのラベ与度へ与える要因について分析し，結果として笑い，あいル間演算や身体動作， 視線移動などの数値データ間計算をづちを打つこと，うなずきが参与度と関連することを示唆容易にし，非言語構造パターン解釈のための仮説検証を支した [14]．

援する点である．

会話の優位性（dominance）を推定する研究として参考にした研究は次の通りである．Rienks は会話の優位性

2.3 会話参加者のスキル推定に関する研究（dominance）を発話に関する非言語情報や話者が行った会話参加者のスキルを推定する研究もこれまでにいくつ質問の数から推定するモデルを Support Vector Machine

かなされてきた．コミュニケーション能力に着目した研究を用いて提案した [15]．この研究で得られた分類器でのとしては，岡田ら [19] の研究が挙げられる．岡田らは，複会話優位性の推定正解率は 75% であり，この研究で取り数人対話における会話参加者が表出するマルチモーダル情上げられた非言語情報の中で最もモデルに寄与した要素

報（単語の品詞・発話ターン・韻律情報・頭部動作量）とは floorgrab であった．floorgrab は沈黙を破る発話として

人事採用経験者による評定をもとにコミュニケーション能Rienks によって定義されたものであり，本稿においても会力を推定するモデルを構築した．また石井らは，発話交替

話の優位性に大きく影響を与える floorgrab の考えを利用

時の視線遷移に着目して複数人対話における会話参加者のする．また Nakano らは，複数人会話の優位性を視線情報

共感スキル推定モデルを構築した [20]．この推定モデルは，と発話交替パターンから推定する手法を提案した [16]．そ会話における参与役割を考慮して構築されたものであり，

こで Nakano らは他人から集めた視線の量，互いに注目し視線パターン以外の非言語的特徴量を用いた推定モデルよた視線の量，発話量，沈黙を破る発話を行った量の 4 つのりも推定制度が高いことが示されている．本稿は，会話参パラメーターを説明変数とした回帰分析を行った．Nakano

加者の一般的なコミュニケーション能力といったスキルでらが試みた会話優位性のモデル化を回帰分析から行う考はなく，1 対 1 のチュータリングを対象とし，チュータリ

えを本稿でも参考にする．ただし，本稿で扱うチュータリ

ングにおける 2 人のインタラクションからチュータリング

ングにおいて，視線を集めたりお互いに注目することは少の質を推定するモデル構築を試みる．

ないと考えたため，後述する視線情報を拡張した共同作業
空間を用いて議論を行う．また本稿では，会話の優位性をチュータリングにおける会話への積極性と読み替えて考え© 2020 Information Processing Society of Japan

2.4 チュータリングの分析やモデル化に関する研究
稲葉らは，協調学習における学習者間のインタラクショ

40

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20005
2020/3/9

ンと学習効果の関連性に注目し，インタラクションを抽象

タリングロールプレイは，学習支援組織メタ学習ラボ所属

化して望ましいインタラクションと比較し学習過程の分

チューターの教育を目的とした模擬チュータリングのこと

析・評価を行うシステムを提案した [21]．この研究では，である．本稿におけるチュータリングでは，教える側の人

協調学習者の複雑なインタラクションを抽象化する方法ををチューター，教えられる側の人をチューティと呼ぶ．

提案し，対話プロトコルとして扱う．さらに，学習者に特定の学習効果がある学習理論に基づいた典型的なインタラ
クションパターンと学習者間の対話プロトコルを比較でき

3.2 着目する非言語情報
本稿で着目する非言語情報は，発話と作業空間への手のる方法を提案した．稲葉らは，学習者間のインタラクショ

入り込み，頭部方向の 3 つである．発話から導き出せる発ンを主に言語情報を用いて分析しているが，本稿ではより話交替という現象は，複数人会話の中で，会話参加者の会話

単純で量的に分析できる非言語情報を用いて分析する．さへの主導権を推定する際によく利用されるモダリティであらに，稲葉らは学習理論から導いたインタラクションパ

る．さらに，本稿では発話交替と同様に，チュータリング

ターンをいわば正解データとして扱っているが，本稿は実という場面においては，2 人の作業空間への手の入り込みも際にチュータリングを実施している人の評価を正解データ

チュータリングの評価するために重要であると考える．共として扱うボトムアップ的なアプローチを試みる．

同作業を行う複数人の間に生まれる空間に注目した研究はGrafsgaard は，チュータリング内での非言語行動の分以前にもなされている．共同作業において Scott は，テー析やモデル化をマルチモーダルな観点から行った [22]．こ

ブル上の領域には personal，group，storage の 3 つの領域の研究では，オンラインで行われるチュータリングにおいが存在することを提唱した [23]．Scott は，3 つの領域をうて，チュータリングを受ける人（本稿でいうチューティのまく活用しながら共同作業者はお互いのインタラクション

こと）の非言語行動に注目されていた．注目した非言語行を構築していることを示唆した．ここでは，主に共同作業

動は，顔の表情や姿勢，ジェスチャーであった．本稿では，を行う場であるとされている group 領域に着目して，発話チュータリングという性質から発話に関するモダリティも（会話空間へのアクセス）と同様に作業（作業空間へのアク重要であるという観点から，身体的なモダリティだけでなセス）についても考慮する．そこから，作業に対する主導

く発話も含めて議論を行う．

権や積極性も表せると考える．ここで扱うチュータリング

3. 基本アイデア

において作業空間は，チュータリングに利用する教材や，ノート・ホワイトボード等の書き込むもの周辺であるとす

本研究では，1 対 1 で行われるチュータリングを対象に，る．さらに，ただ作業空間への手の入り込みに着目するの

非言語情報の観点からチュータリングの質を評価する．しではなく，チューターとチューティの注視方向についても

かし，チュータリングを評価する際，チュータリング全体考える．具体的には，2 人が作業空間へ共同注視しているを対象に 1 つの評価を与えることは難しいと考えられる．

場合（これを共同作業空間と呼ぶことにする）について着例えば，チュータリングの全体の印象はそこまで良くない

目する．つまり，共同作業空間とは，チューターとチューが，ある部分は非常に良いチュータリングができていた場

ティの共同注視が行われている作業空間を指す（図 1）．

合，どのように評価するかは評価者に大きく依存すると考える．そこで，チュータリングの中で見られる良い・悪い
シーンとそこで観測できる非言語情報をもとに，チュータ
リング評価の要因となる非言語情報を見つける．具体的なアプローチとして本稿では，チュータリングを意味のある（注目できる）シーンごとに区切り，そのシーンについてチュータリングスコアをつける．それぞれのスコア付けされたシーンから，チュータリングの質に影響を与える非言
語的ふるまいといった要素を明らかにすることを目指す．

3.1 チュータリングについて

図 1 作業空間と共同作業空間

チュータリングには様々な種類の形態が存在するが，本稿では 1 対 1 で行われるピア・チュータリング（本稿では，
単にチュータリングと呼んでいる）を対象とする．特に，公4. チュータリングデータ収集

立はこだて未来大学内に設置された学習支援組織メタ学習

ここでは，チュータリングビデオの収集からチュータリラボに所属するチューター同士が実施したチュータリング

ングをシーンごとに区切り，そのシーンについてスコア付

ロールプレイを本稿の分析対象とする．ここでいうチューけを行うまでの手法について述べる．さらに，チュータリ© 2020 Information Processing Society of Japan41

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20005
2020/3/9

ングビデオに付与した非言語情報に基づいたラベルデータ性を持った複数のチューターが関わることで，よりチューについても説明する．

タリングの評価に適したシーンの抽出が可能であると考える．さらに，ただ機械的にチュータリングのシーン抽出

4.1 チュータリングビデオの収集を行う方法に比べて，チューターの技術向上を目指した

チュータリングビデオの撮影は，図 2 に示した環境でチュータリングワークショップを実施する方法のほうが，行う．撮影に使用するカメラは GoPro HERO7 Black と研究実施者とチューターの双方にメリットがあり持続可能

するが，特にカメラの画角を広角とせず通常の画角で撮なデータ収集ができる可能性があると考えられる．以下に影する．また音声の録音のために IC レコーダー（SONY

今回実施したチュータリング振り返りワークショップの概

ICD-UX560F）をチューターとチューティそれぞれに身に要を述べる．
チュータリング振り返りワークショップは，メタ学習ラ

着けてもらう．

ボのチューターに集まってもらい，チュータリングビデオ
に対して頭出しやコメントができるプラットフォームを利用してもらう場とした．チュータリングの振り返りができるプラットフォームは，チャットサービスと動画共有サー
ビスを利用した，チュータリング動画に対してコメントができるものである．このプラットフォームの目的は，撮影されたチュータリングビデオにおいて気になったシーンの頭出しを行いコメントをすることで，チュータリング事例集の作成をすることである．
図 2 データ計測環境

具体的な利用例を以下に述べる．

( 1 ) 動画共有サービスにあるチュータリング動画を閲覧
本稿では，公立はこだて未来大学内に設置された学習する．

支援組織メタ学習ラボに所属するチューターが実施した( 2 ) チュータリングビデオの中で気になるシーンの頭出し

チュータリングロールプレイを対象にチュータリング動画を行いチャットサービスへ共有する（図 3 左）．

の撮影を行う．各チュータリングセッションの長さは，メ( 3 ) 頭出しされたチュータリングシーンの投稿に対してコ

タ学習ラボで通常行われているセッションの時間と同じメントをする（図 3 右）．

60 分とする．収集するチュータリングビデオは 4 本とし，

( 4 ) 他の人が頭出ししたシーンへのコメントや，自身のコチュータリングのトピックは数学とプログラミング 2 つず

メントへの返信を行い議論をする（図 3 右）．

つとした．

( 5 ) 上記を繰り返す．

4.2 シ ー ン 抽 出 を 目 的 と し た チ ュ ー タ リ ン グ ワ ー ク
ショップ
チュータリングをシーンごとに区切るために，チュータ
リング振り返りワークショップを実施する．このワークショップは，実際にチュータリングを行っているチュー
ターに参加してもらい，チューターのチュータリング技術向上を図りつつ，注目できるチュータリングシーンを得ようとする試みである．具体的には，撮影したチュータリン
グビデオに対してシーンの頭出しを行い，シーンとそれに対するコメントを書き込み，チューター間で共有できる取り組みである．この取り組みによってチューターには頭出しされたチュータリングシーンとそれに対するコメント

図 3

チュータリングシーンの頭出しとそれに対するコメントの例が得られ，チュータリング事例集として活用できると考える．また，研究実施者は，実際にチュータリングを実施す

今回実施したワークショップには 10 人のメタ学習ラボ

るチューターによって区切られたチュータリングシーンがチューターが参加した．振り返りの対象としたチュータリ

得られる．

ングセッションは前節で述べた 4 本であった．また，ワー収集したチュータリングビデオを筆者が個人的に区切っ

クショップの全体の長さは 120 分とし，内訳はシーンの頭て評価を行う方法に比べて，チュータリングに対する専門

出し（40 分）・頭出しされたシーンへのコメント（50 分）
・© 2020 Information Processing Society of Japan42

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20005
2020/3/9

ワークショップに関するアンケート回答（30 分）であった．
このワークショップで得られるチュータリングシーンへのスコア付けは，アンケート形式で収集する．アンケートの構成は，ある一定の長さに区切られたチュータリングビ
デオに対して質問を 1 つとした．各ビデオに対して，このチュータリングを他のチューターへ勧めるかどうかを 5 段
階のリッカート尺度で質問する．ここで得られたリッカー
ト尺度の値（5 に近い方が良いと判断された高いスコア）をそのシーンのスコアとみなす．ただし，チューター間での評価が分かれるシーンはチュータリングシーンのデータセットから除くことにする．つまり，本稿で用いるチュー
タリングシーンはチューター間評価の分散が小さいものを利用する．

4.3 作成するラベルデータ

図 4

ワークショップ実施の様子されたシーンが存在したということである．

本稿では，チュータリングにおける非言語情報をハンド

このチュータリングワークショップは，ただ機械的にラベリングで収集する．最初に，チュータリング内で観察

チュータリングのシーンを抽出するのではなく，チューできる基本的な非言語情報をラベリングする．今回作成すターのチュータリングスキル向上を図りつつ，注目できるるラベルは以下のとおりである．

チュータリングシーンを得ようとする試みであった．そこ• チューターとチューティの発話ラベル

で，このワークショップに参加したチューターの印象の概• チューターとチューティの作業ラベル

要を以下に述べる．はじめに，この試みがチュータリング• チューターとチューティの注視方向ラベル

スキル向上につながりそうか質問したところ，図 5 に示

なお，注視方向ラベルについては，作業空間を注視していした通りおおむね良い評価が得られた．次に，このワークる場合と相手の顔を注視している場合を記録する．

ショップの所感を質問した．参加したチューターからは，さらに，Sumi らが提案した iCorpusStudio[17] を用いて，「単純に他のチューターの考えを知ることができる機会が

上記ラベル同士の演算を行う．本稿では以下の非言語情報

貴重で，さらにそれが目に見える形で残ることが良い」とやラベルをラベル同士の演算から得る．

いう意見や「チャットサービスを使うため議論に時間的制• 共同作業空間ラベル

約がないことがじっくりコメントができる環境を作り出せ• チューターとチューティが共同作業空間で作業をしてている」といった意見が得られた．しかし，「頭出しされたいるラベル• チューターとチューティが沈黙（1000ms）を破った
回数• チューターとチューティが発話と作業を同時に行っているラベルシーンだけを見てもチュータリングの流れがわかりにくい
ため戻る必要がある」という意見や「対面での議論で感じる緊張感や手軽さが，文章で表現しないといけないこの試
みでは薄い気がした」といった意見も得られた．これらの結果から，ただ機械的にチュータリングのシーン抽出を行• チューターがチューティの顔を見た回数

う方法に比べて，チューターのチュータリングスキル向上• 発話交替の回数を図りながら注目できるチュータリングシーンの抽出がで• チューターとチューティの平均発話長きたと考える．

• チューターとチューティの平均作業長

5. チュータリングワークショップの結果実施したチュータリングワークショップの結果とそこで得られたチュータリングシーンについて述べる．今回ワークショップに参加したメタ学習ラボのチューターは 10 人であった．ワークショップ内で頭出しされたシーンは 21シーンであり，シーンへのコメント投稿数は 54 であった．
ここで用意したチュータリングビデオは 4 本の間に頭出しされたシーンの数に大きな違いは見られなかった．つまり，各チュータリングビデオそれぞれに，ある程度頭出し© 2020 Information Processing Society of Japan

図 5

ワークショップに対する印象を 5 段階のリッカート尺度で質
問した結果

43

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20005
2020/3/9得られたチュータリングシーン 21 シーンの中から，シーる発話の回数であった．このことは，沈黙が存在する（発ンの重複を除いた 15 シーンを選び，後日，メタ学習ラボ

話をするチャンスがある）にもかかわらず，その沈黙をのチューターにスコアをつけてもらった．前章で述べた通チューターが破り，会話の主導権を握るシーンが見られる

り，アンケート形式でメタ学習ラボのチューター 6 人にスと，悪いチュータリングと評価されると考えられる．つまコア付けを行ってもらった．さらに，チューター間で評価

り，チューターが主導的なチュータリングシーンに対してが分かれるチュータリングシーンは分析の対象外とした．

悪いチュータリングであると評価されることが示唆された．

その結果，10 シーンのチュータリングシーンが得られた．
また，それぞれのシーンの長さは 1 分程度から 2 分程度であった．

6. 非言語情報とチュータリング評価
6.1 各非言語情報とチュータリングスコアの間に見られる相関

6.2 チュータリング評価モデルの作成
6.1 節で，チュータリングスコアと各非言語情報それぞれの関連性を明らかにするために相関分析を行ったが，相関分析では各要素同士にある 1 対 1 の関連性しかわからな
い．ここでは，目的変数をチュータリングスコアとし，説明変数をチュータリング内でみられる非言語情報の要素とチュータリングの中で観察できる非言語情報とチュー

してチュータリング評価モデルとなる回帰式を得る試みに

タリングスコアそれぞれの関連性を明らかにするために，ついて述べる．回帰式を得るための手段として重回帰分析

チュータリングスコアと 4.3 節で示した非言語情報の相関を検討したが，図 6 に示した相関分析の結果の通り，説明分析を行った．チュータリングスコアについては 1 から 5

変数間にかなり相関が認められた．つまり，説明変数間にまでの整数で表された値，各非言語情報についてはそれぞ

多重共線性がみられると考える．そこで本稿では，4.3 節

れの値をチュータリングシーンの長さで割りチュータリン

で示した非言語情報で主成分分析を行った．

グシーン間で正規化したものをそれぞれ利用した．相関分
析の結果は図 6 に示した．図 6 の中で赤色に塗られた部

表 1 主成分の寄与率と累積寄与率（累積寄与率が 0.8 を超えた後の分は負の相関が認められる値（r < −0.4），緑色に塗られ主成分は省略した）
第 1 主成分

た部分は正の相関が認められる値（r > 0.4）を示した．

第 2 主成分

第 3 主成分

標準偏差

2.58

1.73

1.24

はじめに，チュータリングの評価に良い影響を与えると

寄与率

0.477

0.214

0.109

考えられる要素について議論する．チュータリングスコ

累積寄与率

0.477

0.691

0.800

アと正の相関が認められた要素は，チューティの作業量・チューティが沈黙を破る発話の回数・チューティが発話と主成分分析を行った結果，チュータリング内で観察でき作業を同時に行う量・発話交替の回数の 4 つであった．こる非言語情報を説明する主成分は 3 つ得られた（表 1）．たれらから，チューティが多く会話の主導権を確保することだし，今回利用する主成分は，説明率 0.1 以上の主成分とやチューティ自身の作業が多いことが，チュータリングへした．また各主成分と非言語情報との主成分負荷量を表 2

良い影響を与えられると考えられる．つまり，チューティに示した．

が主導的なチュータリングシーンに対して良いチュータリ

得られた各主成分が何を表しているか，主成分負荷量かングであると評価されることが示唆された．このことは，ら考察する．はじめに，第 1 主成分はチュータリングに対チュータリングが学びの場であり，課題を解決したい側

する積極性を表していると考える．第 1 主成分において，（つまり，チューティ）がチュータリング内で積極性を望ま正の値をとる主成分負荷量はすべてチューターが行う動作

れていることと直感的に合う結果が得られたと考える．

に見られた．一方で，負の値をとる主成分負荷量はチュー

また，発話交替の回数にスコアと正の相関が認められた

ティが行う動作と発話交替の回数に見られた．このことかことについて述べる．発話交替の回数と，チューティの作ら，第 1 主成分はチューターが行動するほど正の値をとり，業量・チューティの発話と作業を同時に行う量に正の相関

チューティが行動するほど負の値をとると考えられる．つが認められ，チューターの作業量・チューターがチューティ

まり，この主成分はチュータリングにおける積極性を表し，の顔を見た回数に負の相関が認められた．これらから，発チューターが積極的な場合は正の値，チューティが積極的

話交替が多く行われるシーンはチューティが教材に対してな場合は負の値をとる主成分であると考える．

作業を行うシーンが多いと考えられる．つまり，発話交替

つぎに，第 2 主成分は 1 回に行う発話や作業の長さを表が多いシーンはチューティ主導となっている場合が多いた

していると考える．第 2 主成分において，チューター平均

めチュータリングのスコアが高くなると考える．

発話長・チューター平均作業長・チューティ平均発話長につぎに，チュータリングの評価に悪い影響を与えると考顕著な値の主成分負荷量が見られた．つまり，この主成分

えられる要素について議論する．チュータリングスコア

は 1 回に行う発話や作業が長いほど負の値をとると考えらと負の相関が認められた要素は，チューターが沈黙を破れる．

© 2020 Information Processing Society of Japan44

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20005
2020/3/9

図 6
表 2 主成分負荷量
第 1 主成分
第 2 主成分

相関分析の結果

ターの発話量とチューターの平均発話長が正の値でなおか
第 3 主成分

つ，チューティの発話量が負の値であることが確認できる．
また，チューティが沈黙を破る発話回数と発話交替の回数

チューターの発話量

0.839

0.380

0.345

チューティの発話量-0.692-0.645-0.120

チューターの作業量

0.858-0.1810.230

チューティの作業量-0.930

0.209

0.150

0.364

0.285

-0.178-0.843-0.023

0.370

0.848

0.247

0.189

-0.922

0.189

0.114

切片

3.72

0.125

29.74

0.000

顔を見た回数0.626-0.347-0.428

第 1 主成分-0.412

0.127

-3.25

0.002

発話交替の回数-0.655

0.293

0.586

第 2 主成分-0.240

0.127

-1.90

0.066

第 3 主成分

0.261

0.127

2.06

0.046

チューティによる沈黙を破る発話回数

つまり，第 3 主成分はチューティの会話への積極性を表すと考えられる．しかし，ここで着目した主成分負荷量は第チューターの作業発話同期成分はチューター主導の会話の中でチューティが多く会話のターンを取ろうとしたかを表す主成分であると考える．

チューターによる沈黙を破る発話回数が正の値であることが確認できる．このことから，この主1 主成分や第 2 主成分における主成分負荷量に比べて絶対値が小さいため，そもそも影響が少ない主成分である．

チューティの作業発話同期

表 3

チューターが相手のチューターの
平均発話長

0.326

-0.560

0.537

0.244

-0.8450.339-0.130-0.964-0.002

主成分を説明変数とした回帰分析の結果
係数
標準誤差
t値
p値

チューターの平均作業長

表 4 回帰分析の統計データ
重決定 R20.321

チューティの
平均発話長

補正 R2

チューティの平均作業長
第 1 主成分の解釈-0.694-0.142-0.412

0.269

観測数

43

有意 F

0.002

チューターが積極的な場合は正の値，
チューティが積極的な場合は負の値をとる

第 2 主成分の解釈

1 回の発話や作業が長いほど負の値をとる

主成分分析を行った後，目的変数をチュータリングスコ

第 3 主成分の解釈

チューティの会話への積極性を表す

アとし説明変数を主成分分析で得られた 3 つの主成分とした回帰分析を行った．チュータリングのスコアを y ，第 1

最後に，第 3 主成分はチューターの発話が多い中でチューティが多く発話したかを表していると考える．第 3 主成分において，注目できる主成分負荷量はチューター発話量・チューティ発話量・チューティが沈黙を破る発話回数・発話
交替の回数・チューター平均発話長と考えられる．チュー© 2020 Information Processing Society of Japan

主成分から第 3 主成分までを x1 から x3 とした場合，以下の回帰式

y = −0.412x1 − 0.240x2 + 0.261x3 + 3.72が得られた．回帰分析の結果は表 3 に示した．また，回45情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20005
2020/3/9

帰分析の統計データを表 4 に示した．この回帰分析の観おいてチューターはチューティの課題に対する問題やそ測数は 43 であり決定係数 R2 は 0.321，有意 F は 0.002 での背景を聞き出してチュータリング全体の計画を立てるあった．

必要がある．そのため，導入フェーズにおいてチューター得られた回帰式それぞれの係数に着目すると，第 1 主成はチューティに対して多くの質問を行い，メモを取るなど

分と第 2 主成分は負の相関が，第 3 主成分は正の相関があの作業をする．一方で，実装フェーズにおいてチューター

る．つまり，チューターの積極性と 1 回の発話や作業の短は，チューティの課題解決の補助をする立場になるため，さに負の相関が，チューティの会話への積極性に正の相関

チューターが積極的に発話や作業をしないことが求められがそれぞれチュータリングスコアとの間に見出される．

る．本稿で分析に利用したデータセットのフェーズ別内訳

得られた式の中で注目すべき傾向について議論する．まは，導入が 3 シーンで実装が 7 シーンであった．つまり，ず，第 1 主成分とその係数に注目する．第 1 主成分はチュー

同じ高スコアのチュータリングシーンであっても，チュー

タリングに対する積極性を表す主成分であり，チューター

ターに求められるふるまいの違いから，チューターが積極が積極的な場合は正の値，チューティが積極的な場合は負的なシーンとそうでないシーンが混ざったと考えられる．

の値をとる主成分であった．この第 1 主成分の係数は負の今後は，各フェーズごとに分析を行い，フェーズ間で得ら値であったため，チューターが積極的な場合はスコアが下れる回帰式に差が生まれるかを確かめていきたい．

がると考えることが可能である．つまり，チューティが積極的なチュータリングのほうがチュータリングスコアが高7. おわりにくなる傾向が示唆された．さらに，この傾向は 6.1 節で議

本稿では，非言語情報の観点からチュータリングの評価

論した内容とそこまで相違は無いように見られる．また第をするためにチュータリングの質（スコア）に影響を与え

1 主成分の係数は 1% 水準で有意差が確認できたため，強る非言語情報について議論した．まずチュータリングの中

い傾向であると考える．つぎに，第 3 主成分とその係数にで注目できるシーンとそのシーンに対するスコアを得る

着目する．第 3 主成分はチューティの会話への積極性を表ためにチュータリングワークショップを行った．つぎに，す主成分であった．この第 3 主成分の係数は正の値であっチュータリングスコアとそのチュータリング内でみられるたため，チューティが会話への積極性をみせるとスコアが非言語情報との関連性を調べるために主成分分析と回帰分上がることが示唆された．この結果は，先ほど述べた第 1

析を行った．主成分分析と回帰分析を行った結果，高い決

主成分に関する傾向と同じ傾向であった．しかし，得られ定係数をもった回帰式は得られなかったが，チューティに2た回帰式に対する決定係数 R が低いことや，第 2 主成分

積極性が見られるチュータリングに高いスコアがつけられに対応する偏回帰係数が 0 である帰無仮説を棄却できてる可能性が示唆された．

いないことから，この回帰式でチュータリングのスコアと今後は，より統計的に有意なチュータリング評価モデル

非言語情報の関連性をすべて表したとは考えにくい．ただを作成するために，チュータリングの質に影響を与える非し，チュータリング評価は非言語情報のみでなく言語情報

言語的ふるまいや要素を検討する．その際，チュータリン

も含めて行うものであることを鑑みると，非言語情報のみ

グ全体の平均モデルを作るのではなく，チューターの役割

2で求めた回帰式の決定係数 R が低いことはそこまで的外に応じたフェーズに分割して検討することが重要であるとれではないと考える．

考える．

最後に，本稿で行った回帰分析で当てはまりの良い結果

次に，非言語情報から作成したチュータリングの質評価が得られなかった原因について議論する．原因の 1 つ目と式を実際のチュータリング現場で利用し，その評価式で得して，チュータリングを説明する説明変数の不足が考えらられたチュータリングスコアをチューターに評価してもれる．本稿では 4.3 節で述べた要素を説明変数として主成らうことで，チュータリングの質評価式の妥当性を評価し分分析を行った．しかしながら，主成分を説明変数としたたい．また，Higuchi ら [24] が提案した振り返りシステム

回帰分析で得られた式では，チュータリングのスコアに影のように，チュータリングに影響を与える非言語情報を手響を与える要素の説明が完全にはできなかった．今後，新掛かりとした，チュータリング振り返りシステムを実現したな説明変数の候補を言語情報（例えば，発話の中でもあたい．

いづちは区別する）を含めて検討していく必要がある．原謝辞 本研究を実施するにあたり，ご討論頂いた公立は

因の 2 つ目としては，今回チュータリングワークショップ

こだて未来大学教授冨永敦子先生と同准教授中村美智子先で得たチュータリングシーンの内容に大きな差があったこ

生に感謝する．また，チュータリングビデオや評価データとである．本稿で対象としたチュータリングは，導入・実の収集にご協力頂いたメタ学習ラボチューターのみなさま

装・まとめ 3 つのフェーズで構成されている．ここで問題に感謝する．

となることは，3 つのフェーズ間でチューターに期待されるふるまいが異なることである．例えば，導入フェーズに© 2020 Information Processing Society of Japan46

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20005
2020/3/9

参考文献
[1]

[2]
[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

椿本弥生, 大塚裕子, 高橋理沙, 美馬のゆり. 大学生を中心とした持続可能な学習支援組織の構築とピア・チュータリング実践. 日本教育工学会論文誌, Vol. 36, No. 3, pp.
313–325, 2012.
A. Kendon. Gesture: Visible Action as Utterance. Cambridge University Press, 2004.
Yukiko I. Nakano and Ryo Ishii. Estimating user’s engagement from eye-gaze behaviors in human-agent conversations. In Proceedings of the 15th International
Conference on Intelligent User Interfaces, IUI ’10, pp.
139–148, New York, NY, USA, 2010. ACM.
Ryo Ishii and Yukiko I. Nakano. An empirical study ofeye-gaze behaviors: Towards the estimation of conversational engagement in human-agent communication. In
Proceedings of the 2010 Workshop on Eye Gaze in Intelligent Human Machine Interaction, EGIHMI ’10, pp.
33–40, New York, NY, USA, 2010. ACM.
Misato Yatsushiro, Naoya Ikeda, Yuki Hayashi, andYukiko I. Nakano. A dominance estimation mechanism
using eye-gaze and turn-taking information. In Proceedings of the 6th Workshop on Eye Gaze in Intelligent
Human Machine Interaction: Gaze in Multimodal Interaction, GazeIn ’13, pp. 13–18, New York, NY, USA,
2013. ACM.
Kenji Mase, Yuichi Sawamoto, Yuichi Koyama, Tomio
Suzuki, and Kimiko Katsuyama. Interaction pattern andmotif mining method for doctor-patient multi-modal dialog analysis. In Proceedings of the ICMI-MLMI ’09
Workshop on Multimodal Sensor-Based Systems andMobile Phones for Social Computing, ICMI-MLMI ’09,
pp. 6:1–6:4, New York, NY, USA, 2009. ACM.
Justine Cassell, Yukiko I. Nakano, Timothy W. Bickmore, Candace L. Sidner, and Charles Rich. Non-verbal
cues for discourse structure. In Proceedings of the 39th
Annual Meeting on Association for Computational Linguistics, ACL ’01, pp. 114–123, Stroudsburg, PA, USA,2001. Association for Computational Linguistics.
Yukiko I. Nakano, Gabe Reinstein, Tom Stocky, and Justine Cassell. Towards a model of face-to-face grounding.
In Proceedings of the 41st Annual Meeting on Association for Computational Linguistics - Volume 1, ACL’03, pp. 553–561, Stroudsburg, PA, USA, 2003. Association for Computational Linguistics.
Pernilla Qvarfordt and Shumin Zhai. Conversing withthe user based on eye-gaze patterns. In Proceedings of
the SIGCHI Conference on Human Factors in Computing Systems, CHI ’05, pp. 221–230, New York, NY, USA,2005. ACM.
Roel Vertegaal, Robert Slagter, Gerrit van der Veer, Gerrit van der Veer, and Anton Nijholt. Eye gaze patterns
in conversations: There is more to conversational agentsthan meets the eyes. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI’01, pp. 301–308, New York, NY, USA, 2001. ACM.
Kohei Matsumura, Yasuyuki Sumi, and Mitsuki Sugiya.
Analyzing listeners’ empathy by their nonverbal behaviors in bibliobattle. Journal of Information Processing,Vol. 25, pp. 361–365, 2017.
大塚和弘, 竹前嘉修, 大和淳司, 村瀬洋. 複数人物の対面会話を対象としたマルコフ切替えモデルに基づく会話構造の確率的推論. 情報処理学会論文誌, Vol. 47, No. 7, pp.
2317–2334, jul 2006.
Kazuhiro Otsuka, Hiroshi Sawada, and Junji Yamato.
Automatic inference of cross-modal nonverbal interac-© 2020 Information Processing Society of Japan

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

tions in multiparty conversations: ”who responds towhom, when, and how?” from gaze, head gestures, andutterances. In Proceedings of the 9th International Conference on Multimodal Interfaces (ICMI 2007), pp. 255–
262. ACM, 2007.
Koji Inoue, Divesh Lala, Shizuka Nakamura, Katsuya
Takanashi, and Tatsuya Kawahara. Annotation andanalysis of listener’s engagement based on multi-modal
behaviors. In Proceedings of the Workshop on Multimodal Analyses Enabling Artificial Agents in HumanMachine Interaction, MA3HMI ’16, pp. 25–32, New
York, NY, USA, 2016. ACM.
Rutger Rienks and Dirk Heylen. Dominance detection
in meetings using easily obtainable features. In Steve
Renals and Samy Bengio, editors, Machine Learning forMultimodal Interaction, pp. 76–86, Berlin, Heidelberg,
2006. Springer Berlin Heidelberg.
Yukiko Nakano and Yuki Fukuhara. Estimating conversational dominance in multiparty interaction. In Proceedings of the 14th ACM International Conference on
Multimodal Interaction, ICMI ’12, pp. 77–84, New York,NY, USA, 2012. ACM.
Yasuyuki Sumi, Masaharu Yano, and Toyoaki Nishida.
Analysis environment of conversational structure withnonverbal multimodal data. In International Conference on Multimodal Interfaces and the Workshop on
Machine Learning for Multimodal Interaction, ICMIMLMI ’10, pp. 44:1–44:4, New York, NY, USA, 2010.
ACM.
Brandon Burr. Vaca: A tool for qualitative video analysis. In CHI ’06 Extended Abstracts on Human Factors
in Computing Systems, CHI EA ’06, pp. 622–627, New
York, NY, USA, 2006. ACM.
岡田将吾, 松儀良広, 中野有紀子, 林佑樹, 黄宏軒, 高瀬裕,
新田克己. マルチモーダル情報に基づくグループ会話におけるコミュニケーション能力の推定. 人工知能学会論文
誌, Vol. 31, No. 6, pp. AI30–E 1–12, 2016.
石井亮, 熊野史朗, 大塚和弘. 話者継続・交替時における参与役割に応じた視線行動に基づく共感スキルの推定.
ヒューマンインタフェース学会論文誌, Vol. 20, No. 4, pp.
447–456, 2018.
稲葉晶子, 大久保亮二, 池田満, 溝口理一郎. 協調学習におけるインタラクション分析支援システム. 情報処理学会論文誌, Vol. 44, No. 11, pp. 2617–2627, nov 2003.
Joseph F. Grafsgaard. Multimodal analysis and modeling of nonverbal behaviors during tutoring. In Proceedings of the 16th International Conference on Multimodal Interaction, ICMI ’14, pp. 404–408, New York,NY, USA, 2014. ACM.
Stacey D. Scott, M. Sheelagh T. Carpendale, andKori M. Inkpen. Territoriality in collaborative tabletop
workspaces. In Proceedings of the 2004 ACM Conference on Computer Supported Cooperative Work, CSCW
’04, pp. 294–303, New York, NY, USA, 2004. ACM.
Keita Higuchi, Ryo Yonetani, and Yoichi Sato. Egoscanning: Quickly scanning first-person videos with egocentric elastic timelines. In Proceedings of the 2017 CHI
Conference on Human Factors in Computing Systems,
CHI ’17, pp. 6536–6546, New York, NY, USA, 2017.
ACM.

47