社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

複数人におけるクイズ対話を対象とした主観的難易度の推定大村舞†嶋田 和孝†† 九州工業大学 情報工学部 知能情報工学科〒 820–8502 福岡県飯塚市川津 680–4
E-mail: ††shimada@pluto.ai.kyutech.ac.jp
あらまし

本論文では，3 名によるクイズ対話を対象とし，それぞれが対話で感じた主観的な難易度を推定する手法について提案する．提案手法では，(1) 発話に関する特徴，(2) 沈黙に関する特徴，(3) オーバーラップに関する特徴の 3 つを利用する．発話特徴としては，発話の時間長や形態素数，前後の発話の分布などを利用する．沈黙特徴としては，沈黙の数や時間の長さなどを利用する．オーバーラップ特徴としては，その頻度や時間の平均，分散などを利用する．これらの特徴について特徴選択を行い，機械学習器である C4.5 と SVM に適用して，主観的難易度を推定する．実験の結果より，特徴選択をした C4.5 が正解率の面でも推定誤差の面でも最も高い精度を得た．
キーワード 主観的難易度，クイズ対話，発話，沈黙，オーバーラップ

Estimation of Subjective Impressions of Diﬃculty in Quiz Dialogue
Mai OMURA† and Kazutaka SHIMADA†† Department of Artiﬁcial Intelligence, Kyushu Institute of Technology
680–4 Kawazu Iizuka Fukuoka, 820–8502 Japan
E-mail: ††shimada@pluto.ai.kyutech.ac.jp
Abstract In this paper, we propose a method for estimating subjective impressions of diﬃculty in quiz dialogue.
The quiz dialogue consists of utterances from three persons. Our method applies three features, utterance, silence and overlap features, to machine learning. The utterance feature set consists of length of each utterance,
the number of morphemes and so on. The silence and overlap feature sets also include the similar features to theutterance feature. We select appropriate features from them, and apply the selected features to C4.5 and SVM. In
the experiment, C4.5 with the selected features produced the best performance in them.
Key words Subjective impressions of diﬃculty, Quiz dialogue, Utterance, Silence, Overlap

1. ま え が きめている．
「学習者の主観的な評価」は，教師が学習者の様子などから判断していると考えられる．しかし，e-Learning で利用

近年，人間と対話を行う対話エージェントの研究が盛んに行されるシステムでは一般的な対面授業とは異なり，学習者の様なわれている．人間がどのように感じているのか，あるいは対子を基にした評価がないため，学習者が「難しい」と感じてい話はどのような状況であるのかを検出・推定することができれるのか，「易しい」と感じているのかを判断することが難しい．

ば，対話エージェントによる適切な対応が可能になる．例えば，

そこで，学習者が感じている「難しさ」「易しさ」を，システム

対話エージェントが，状態を踏まえた上で適切な発話をするこが学習者の様子から推定する研究が行われている [6], [11]．とができれば，より表現豊かな対話のできるエージェントにな

中村ら [11] は，擬人化エージェント間の音声対話場面を対象ると期待される．そのため，対話の雰囲気や話者の感情といっとして，対話内容に対して難しいと感じていたか否かを，時間た状態の推定について研究が行われている [7], [12]．

区分ごとの非言語動作の頻出頻度を基に推定している．繁田

また，近年の教育分野への IT 化の導入に伴い，e-Learning

ら [6] は，英語のリスニング教材を対象として，学習内容に対が多く利用されている [9]．e-Learning では，情報通信技術をして主観的に感じた「簡単」，「難しい」の評価を，眼球運動の利用することで，時間や場所に制約されないといった利点があ特徴から推定を行っている．これらの研究では，ユーザの動作る．一般的に対面授業では，「学習者の学習の理解度」，「学習者や眼球運動といった特徴を用いて推定している．しかし，エーの主観的な評価」を基に講義内容を適宜調節しながら授業を進

ジェントや人間同士のやりとりで最も重要な要素の一つである—1—

対話データ
特徴抽出
発話・沈黙・オーバーラップ

参加者３

対話データ 1
・・・・・
・・・・・

C さん

特徴選択

特徴抽出

対話 1 における参加者１の特徴

分類器
C4.5 or SVM

対話データ 2・・・・・・・・・・
対話 2 における参加者１の特徴

人物ごとではなく対話ごとの特徴

参加者２

B さん

主観難易度
難易度 1 〜 4特徴抽出

特徴抽出

参加者１A さん図 1 主観的難易度推定の概要．
図2

参加者３

D さん

特徴抽出

参加者２

E さん

同じ特徴データ 参加者１
ではない
A さん

対話から対象者についての特徴を抽出．

対話から得られる特徴を考慮していない．もし，対話からの特徴を用いてシステム利用者が難しいと感じていたか否かを推定（ 1 ） 発話に関する特徴することができれば，実際の人間同士の対話のように，ユーザ（ 2 ） 沈黙に関する特徴が難しいと感じていたか否かを推定することができ，例えば，（ 3 ） オーバーラップに関する特徴

e-Learning など，さまざまな対話的なシステムへ応用ができる．
これらの研究では，1 対 1 の人間対エージェントを想定して研究されている．一方で，人間同士の対話ややりとりを分析し，その結果を対話システムに組み込むことができれば，より自然これらの特徴に加えて，全体の対話時間，対話者全員の発話の合計も特徴として加える．主観的難易度は個人が感じる評価であるため，抽出する特徴は，図 2 のように主観的難易度を推定したいある対話に参加している人に対して，その参加者ごとのな対話エージェントが実現できる．本研究では，人が対話中な特徴をその対話のみから抽出して用いる．例えば，A さんがどに，その対話や内容はどの程度難しいと感じたかの評価を「他の対話」に存在していても，その「他の対話」から A さん「主観的難易度」と定義する．クイズを解くタスク (以降，クイズ対話) を対象とし，複数人対話からの特徴を基にした主観的難易度の推定の有効性について検証する．の特徴を抽出し，A さん用の特徴データを作成するのではなく，現在の対象となっている対話からしか特徴を抽出しない．これは前述したように，本研究では個人用のモデルを構成した上での主観的難易度推定ではなく，前述のように一般的な主観的難2. 主観的難易度の推定法の概要

易度推定を目的としているためである．各特徴の詳しい説明は

本節では，複数人によるクイズ対話を対象とした主観的難易

3. 1 節から 3. 3 節で行う．

度の推定手法の概要を述べる．提案手法の概要を図 1 に示す．
提案手法では，クイズ対話から「発話についての特徴」，「沈黙についての特徴」，「オーバーラップについての特徴」の 3 つの特徴量を抽出する．そして，抽出した特徴から有効な特徴を選別し，それらを機械学習に適用することで，主観的難易度を推定する．
本研究では，汎用的な主観的難易度を推定することを目的とする．そこで，「すべての人は主観的難易度の程度によって同じような対話の特徴を表出させる」と仮定し，個人用の分類器をそれぞれ作成するのではなく，全体の事例を基に分類器を作成する．例えば A さん固有の特徴，B さん固有の特徴を探しだ
し，それぞれのモデルを構成することが目的ではなく，多くの人が「難しい」あるいは「易しい」と感じるときに現われる一般的な特徴とその特徴を基にしたモデルの構成が本研究の目的である．以降の節では，推定手法に適用する特徴とその選択手法について説明する．

3. 1 発話に関する特徴
発話とは，対話中における発言のことを指す．発話に関する特徴として，(1) 発話の時間長・頻度，(2) 発話の形態素および(3) 前後の発話についての分布を用いる．
3. 1. 1 発話の時間長・頻度
発話に関する特徴として，発話の時間長と頻度を特徴として用いる．発話の時間長とは，発話自体の時間長のことを指す．
対話中の対象者の発話について以下の特徴を抽出する．

•

発話時間長の総和

•

発話の頻度

•

n 秒以上である発話の頻度 (n = 0.5, 1.0, 3.0, 5.0)•

発話時間長の最大と最小•

発話時間長の平均と分散•

全体時間に対する発話時間長の割合

発話時間長の総和とは，対話中における対象者の発話の時間長の合計である．発話の頻度とは，対話中における対象者の発話の回数である．単純な発話の頻度のみではなく，0.5 秒以上，3. 特 徴 抽 出

1.0 秒以上，3.0 秒以上，5.0 秒以上の時間長である発話の頻度

本研究では，対話データから対話に関する特徴を抽出し，抽も特徴として加える．発話時間長の平均 (U tAve) は，発話時出した特徴を基に機械学習を行う．主観的難易度推定に用いる
特徴は大きく分けて以下の 3 つとなる．

間長の総和を発話の頻度で割った式 1 で求まる値とする．

U tAve =発話の時間長の合計
発話の頻度

(1)

—2—

全体時間に対する時間長の割合 (U tRatio) は，式 2 で求まる値

A 外国の作品ですか？

である．

B は 確か これは外国の作品です

U tRatio =発話の時間長の合計
全体の対話時間

C カタカナですか？漢字ですか？
B えー 一応和訳だと思います

時間長の分散 (U tV ar) は，式 1 で求めた値を平均 u とし，対図 3 自分の発話であるか否かの分布の例

象者の発話時間を ui (i = 1, 2 · · · n, n は発話の頻度) としたといやき，式 3 で求まる値である．

∑n
U tV ar =i=1

(ui − u)2n自分，他，（自分），他，他

A 海外の作品(2)

薄い

田舎 田舎な感じ
田舎？

(3)

また，対話全体での発話のばらつきを考慮するため，対話の序イメージは？

図4 沈黙の例

盤，中盤，終盤での発話の頻度，発話の時間長の総和，発話時間長の平均も特徴として加える．

発話を見ると「自分，他，(自分)，他，他」という分布になっ

3. 1. 2 発話の形態素ている．各発話についてのこの分布の総和を特徴して用いる．

発話に関する特徴として，形態素数を特徴として用いる．形「自分の発話」か「他の発話」の 2 通りであるので，1 つの発話態素への分割は MeCab（注 1）を用いる．対象者の発話の形態素数について 24 = 16 通り のパターンが考えられる．よって，対象について以下の特徴を抽出する．

者につき 16 個の特徴を持つことになる．

•

形態素数の総和と名詞の総和

3. 2 沈黙に関する特徴•

形態素数が n 個以上である発話の数 (n = 5, 10, 15, 20)

沈黙とは，発話と発話との間の発話していない区間のことを•

形態素数の最大と最小指す．図 4 のような対話で示すと，沈黙は点線の区間である．

•

形態素数の平均本研究における沈黙は，対象者が発言していない区間を対象とまた，事前の対話分析により，主観的難易度が高く評価されする（注 2）．この沈黙について以下の特徴を抽出する．

るほど，同じ形態素が頻出されやすい傾向が見られた．そこで，•

沈黙時間の総和

発話中の形態素の重複に関して以下の特徴を用いる．

•沈黙の頻度

•他の発話に同じ形態素が含まれていた発話の数•n 秒以上の沈黙の頻度 (n = 0.5, 3.0, 5.0, 10.0)•

全発話の形態素集合の数•

沈黙時間の最大と最小•

全発話数に対する「他の発話に同じ形態素が含まれてい•

沈黙時間の平均と分散•

全体時間に対する沈黙時間の割合•

発話時間長に対する沈黙時間の割合

た発話の数」の割合•

形態素数の総和に対する「全発話の形態素集合の数」の割合

沈黙時間の総和とは，対話中における対象者の沈黙時間の合計

形態素集合とは，同じ発話から重複したものを取り除いたものである．沈黙の頻度とは，対話中における対象者の沈黙の回数である．全発話の形態素のリストを構成し，重複を取り除いたである．単純な沈黙の頻度のみではなく，さらに 0.5 秒以上，ものの数が「全発話の形態素集合の数」である．この数は，形3.0 秒以上，5.0 秒以上，10.0 秒以上の時間長である沈黙の頻

態素数の総和との差が大きいほど形態素が重複しており，上で度も特徴として加える．沈黙時間の平均や分散，全体時間に対示した後半 2 つの特徴は値が小さいほど形態素が重複しているする沈黙時間の割合，発話時間長に対する沈黙時間の割合は発ことになる．また，全発話の形態素の集合の中でも「重複数が話に関する特徴と同様に求める．

最も大きかった形態素の数」と「重複数が最も小さかったも形また，対話のどのような場面で沈黙が生じているかも難易度態素の数」も特徴として用いる．の推定に貢献すると考えられる．例えば，序盤の沈黙よりも終3. 1. 3 前後の発話の分布

盤の沈黙の方が参加者が難易度が高いと感じている状態かもしコールセンターのような 1 対 1 の対話では，自分の発話か相れない．そこで，対話全体での沈黙のばらつきを考慮するため，手の発話しかなく，それぞれが順番に交替しながら対話してい対話の序盤，中盤，終盤での沈黙の頻度，沈黙時間の総和，沈くモデルを当てはめやすい．しかしながら，本研究で扱うよう黙時間の平均も特徴として加える．

な複数人による対話では，必ずしもそれぞれが順番に交代しな

3. 3 オーバーラップに関する特徴

がら発話を繰り返すとは限らない．同じ人が続けて発話を繰りオーバーラップとは，発話と発話が重なった区間のことを指返すこともあれば，複数人中の一部のみが発話する可能性もあす．本研究におけるオーバーラップは，対象者が発話しているる．この特徴を考慮するため，「対象者の発話から前後 2 発話が際に他の参加者との発話が被っている区間のことを指す．この自分の発話であるか否かの分布」を特徴として加えた．各発話

オーバーラップについて以下の特徴を抽出する．

について，前後の発話が「自分の発話」か「他の発話」か分布•

オーバーラップ時間の総和を見る．図 3 の対話の場合，四角で囲まれている発話は前後 2•

オーバーラップの頻度（注 1）：http://code.google.com/p/mecab/（注 2）：対象者の沈黙中に他の話者が発言しているかどうかは考慮していない．

—3—

A が主観的難易度推定の対象者だと仮定

回答者
説明者

オーバーラップしたBCマイク

なんか意味としては なんかA

回答者

正解
単語

うん

図6

数字が入っていることわざ

頭上方向からのクイズ対話の配置．

オーバーラップされた

図 5 オーバーラップした・オーバーラップされた．

•回答者

n 秒 以 上 で あ る オ ー バ ー ラップ の 頻 度 (n=正解単語（サッカー）

0.5, 1.0, 3.0, 5.0)•

オーバーラップ時間の最大と最小•

オーバーラップ時間の平均と分散•

全体時間に対するオーバーラップ時間の割合•

発話時間長に対するオーバーラップ時間の割合

説明者
回答者

図7

クイズ対話の様子．

オーバーラップ時間の総和とは，対話中における対象者のオーバーラップ時間の合計である．オーバーラップの頻度とは，各クラスと相関が高く，特徴のサブセット間では相関が低くな対話中における対象者のオーバーラップの回数である．単純なるようなサブセットは良い特徴のサブセットであると仮定し，オーバーラップの頻度のみではなく，さらに 0.5 秒以上，1.0 秒そのようなサブセットを高く評価する．CFS は式 4 のように定以上，3.0 秒以上，5.0 秒以上の時間長であるオーバーラップの式化される．

頻度も特徴として加える．ここでも，平均や割合は発話や沈黙に関する特徴の場合と同じように算出する．

[CF S = maxSk√]

rcf1 + rcf2 + · · · + rcfk
k + 2(rf1 f2 + · · · + rfi fj + · · · rfk f1 )(4)

また，発話や沈黙の場合と同様に，対話全体でのオーバーラップのばらつきを考慮するため，対話の序盤，中盤，終盤

ここで，Sk は特徴のサブセットであり，rcfi はクラス c と特でのオーバーラップの頻度，オーバーラップ時間の総和，オー徴 fi との相関，rfi fj は特徴 fi と特徴 fj との相関を表わす

バーラップ時間の平均も特徴として加える．
また，オーバーラップが発生した状態に関する特徴を用いる．

(fi , fj ∈ Sk )．

5. 実

験

オーバーラップの状態として「自分が発話をしたことによりオーバーラップが起きた」場合と「自分が発話している最中に他の人が発話したことによりオーバーラップが起きた」場合が考えられる．そこで，前者を「オーバーラップした」，後者を「オーバーラップされた」と呼ぶ．図 5 の対話例で説明する．Aを対象者としたとき，「なんか意味としては なんか」という発言に対して，最初のオーバーラップは A が発言したためにオーバーラップが起きたので「オーバーラップした」となり，後のオーバーラップは B が後から発言したためにオーバーラップが起きたので「オーバーラップされた」となる．この 2 つの頻度を特徴として用いる．

主観的難易度推定の手法について有効性を検証するため，クイズ対話を収録し，実験を行なった．本節では，まず，本研究にて収録したクイズ対話について述べ，実験結果と考察を述べる．

5. 1 対話データの作成
実験データは，複数人によるクイズ対話である．クイズ対話
では，考える，悩む，相談するといった様子が比較的現われやすく，主観的難易度を個人が評価しやすいと考えられる．
本実験で行ったクイズ対話の内容は「指定された単語を対話を通じて当てる」といった形式のものである．クイズ対話は 3人 1 グループで行う．この 3 人を図 6 のように配置する．実際の図 7 にクイズ対話の様子を示す．一方の側にいる 1 人 (以下4. 特徴の選択方法
前節で述べた特徴の総数は 108 個になる（注 3）．しかし，すべての特徴が主観的難易度 の推定に有効であるとは限らない．そこで，適切な特徴を選択したのち分類器を作成することにする．
最も有効であると評価された特徴のサブセットを求め，このサブセットから分類器を学習する．特徴のサブセットを評価方法として Correlation-based Feature Selection(CFS) [1] を用いる．
この評価方法は，各特徴間の冗長性具合からそれぞれの特徴の予測能力を踏まえることで，特徴のサブセットを評価している．

説明者) のみに見えるホワイトボードに正解単語を提示し，質問・対話のやり取りを通じながら，残りの 2 人 (以下回答者)に当ててもらうという流れである．説明者は，対話の最初に提示したヒントを最初に言い，以降は回答者からの質問にのみ解答するという制限を加えている．回答者から正解単語が言われた，あるいは制限時間である 210 秒を越えたら終了とする．1
グループにつき 3 問取り組んでもらった．この対話を中央に配置されたマイクで収録した．
クイズ対話終了後，参加者全員に各問題の主観的難易度について以下の 4 段階で評価をしてもらった．

（注 3）：前節で説明した項目の合計ではなく，すべての特徴を累計した数である

難易度 1 「簡単だった」

ことに注意．

難易度 2 「やや簡単だった」—4—

表 3 評価結果．

表 1 主観的難易度の評価結果．
訓練
テスト

難易度 1

難易度 2 難易度 3 難易度 4

27

16

難易度 1

27

611

利用した特徴

正解率108C4.5no select

38.89

1.13

合計C4.5do select

50.00

0.96

36

SVMdo select

50.00

1.35

38

難易度 2 難易度 3 難易度 48

合計10

表 2 1 グループ分の対話データの一部．
話者

開始時間

C

1.340

終了時間 発話時間

発話内容

推定誤差

訓練用のデータを機械学習で学習し，分類器を作成する．そし3.410

2.070 最初のヒントは スポーツて，テストデータの主観的難易度の評価を分類器によって推定し，実際の主観的難易度の評価と比較する．

A

2.410

3.020

0.610 うんB

2.430

3.080

0.650 はいB

4.440

6.720

2.280 はい それは きゅ 球技ですかA

5.880

6.860

0.980 スポーツかあC

7.510

8.660

1.150 それは球技じゃありません

A

8.695

9.445

0.750 球技じゃないA

10.71011.42

0.710 球技じゃないA

12.72513.6550.930 球技じゃないスポーツA

14.23014.8900.660 格闘技?

C

15.58016.5400.960 格闘技に近いですA

16.56017.5100.950 格闘技に近いB

16.95517.6750.720 近いです

...

...

...

... ...

主観的難易度の推定結果の評価は正解率と推定誤差の 2 点で行う．正解率とは，推定結果と実際の主観的難易度の一致度である．一方で，推定誤差とは以下の式で求められる値である．

√ ∑ni=1

R=(ai − pi )2n(5)ここで ai は実際の主観的難易度の評価値，pi は提案手法における主観的難易度の推定値である (いずれも n = 1, 2, · · · , n であり，n はテストデータ数である)．
式 5 は 実 際 に 得 ら れ た 主 観 的 難 易 度 の 評 価 値 ai (i =1, 2, · · · , n) と本手法における主観的難易度の推定値 pi (i =1, 2, . . . , n) との差の二乗平均平方根である (n はテストデータ

難易度 3 「まあまあ難しかった」
難易度 4 「難しかった」

数)．この推定誤差 R は，推定の誤りの程度を示すものである．
本実験では，「難易度 1」から「難易度 4」までの 4 クラスの分

評価は，上から順に主観的難易度が低く，下の方の評価である類について評価する．このとき，「難易度 1」と評価していたもほど主観的難易度は高いものとする．本手法では前述のようにのを「難易度 4」と推定するものよりも，「難易度 1」と評価し「すべての人は主観的難易度の程度によって同じような対話のていたものを「難易度 2」と推定するような分類器のほうが本特徴を表出させる」と仮定している．そのため，1 グループにつき，3 問 × 3 人 = 9 の主観的難易度の事例を得ることになる．
機械学習の訓練用のデータとして 12 グループ，テストデータとして 4 グループ分の収録を行った．各参加者の判断した主観的難易度の分布は表 1 のようになった．
収録した対話をテキストデータとして書き起した．作成した書き起しデータの一部を表 2 に示す．発話は 0.3 秒以上の沈黙研究の目的に適していると判断しため，評価尺度 R を用いることにした．

5. 3 実験結果と考察
実験結果を表 3 に示す．正解率については，特徴選択をした

C4.5 および SVM がしていない場合と比較して高い値を示した．この結果は特徴選択の有効性を示している（注 4）．
ここで，特徴選択をした C4.5 と SVM についてその内訳をがあれば，2 つの発話として分割した．また，対話データの範みる．C4.5do select の推定結果が表 4 であり，SVMdo select の囲は，説明者がヒントに関する発話をしてから，回答者から正推定結果が表 5 である．この 2 つの表から分かるように，C4.5解のワードが出るあるいは制限時間を経過する直後の発話までと比較して，SVM は大きな間違いが多いことが分かる．例えとした．

ば，難易度 4 を難易度 1 と 3 つの事例で誤っている．これは，5. 2 実 験 設 定
対話データから特徴量を抽出し，機械学習に適用した．分類
器としては C4.5 [4] と SVM [5] を採用し，特徴選択も含め実装には Weka [2] を利用した．実験で比較するのは以下の 3 種類

そのため，C4.5 と比較して，SVM は推定誤差が大きくなっている（表 3 を参照）．
次に，特徴選択について述べる．最も評価の良かった分類器

C4.5do select について，選択された特徴は以下のようなものでである．

C4.5no select

特徴選択をしていない C4.5 と比較しても同様の傾向があった．

機械学習アルゴリズムに C4.5 を用い，特徴選択をせずに学習
C4.5do select 機械学習アルゴリズムに C4.5 を用い，特徴選択あった．

•全体のクイズ時間•

全体の発話数してから学習SVMdo select 機械学習アルゴリズムに SVM を用い，特徴選•

最小の発話の時間長•

沈黙の総時間

択してから学習•前後 1 つの発話が他の人の発話である発話の数

ここで，「特徴選択をせずに学習」というのは 4. 節で評価したサブセットを用いるのではなく，3. 節で取り挙げた全特徴 108個を用いて学習することを指す．作成した対話データのうち，（注 4）：特徴選択をしていない SVM についても評価したが同様の結果が得られている．

—5—

表4

主観的難易度の推定結果 C4.5do select ．
推定て，さらに詳細な特徴量の分析が必要である．
今回は発話や沈黙に関する長さや時間などの非言語的な特徴

難易度 1

難易度 2

難易度 3

難易度 4

難易度 15220

難易度 20222

難易度 30443

難易度 40127のみで推定をしたが，どのような発話がなされたか，というのも重要な特徴である．特定の手がかり語に代表されるような言語特徴の導入は重要な課題である．また，対話には発話の情報だけでなく，さまざまなマルチモーダル的な情報が含まれている．我々は，これまでに，対話参加者の動きや姿勢に基づく対表 5 主観的難易度の推定結果 SVMdo select ．
推定•

いの協力度を推定する手法 [8]，発話に含まれる笑いの情報を考

難易度 1

難易度 2

難易度 3

難易度 4

慮した場の盛り上がり推定 [10] の研究を行っている．それ以外

難易度 1

7020

難易度 2にも視線 [3] など，対話参加者の状態を推定するための情報源

1

122

難易度 3

1434

難易度 4

3007

全発話数に対する「同じ形態素が含まれていた発話の数」の割合•

形態素数の総和に対する「全発話の形態素集合の数」の割合•

話分析手法 [13], [14] や参加者の立ち位置や距離感などからお互

対話の始め，中頃，終盤での沈黙時間選択された特徴は，主に「発話に関する特徴」「沈黙に関する特徴」であり，「オーバーラップに関する特徴」は選択されていなかった．実際のクイズ対話中でも，主観的難易度を高く評価していた人は低く評価していた人よりも沈黙が長い傾向や，発話の頻度が多い傾向が見られたため，発話や沈黙の特徴が主に選択されたと考えられる．オーバーラップについて，主観的難易度の推定に有効であると判断されるためには，さらにオーバーラップが起きたときの発話内容や前の沈黙に着目すべきであると考える．主観的難易度の評価を高く評価していた人の傾向として，独り言のようにつぶやいている最中にオーバーラップが起きたというものがあった．したがって，「発話中の形態素が少ない発話」で起きたオーバーラップ，「長い沈黙が発生したのち」のオーバーラップなど詳細に，かつ「発話」や「沈黙」と組み合わせて主観的難易度の分析を行う必要がある．
選択された特徴を見ると，「発話に関する特徴」の中でも単純な発話の時間長・頻度についての特徴よりも，前後の発話に関する特徴や形態素の重複に関する特徴が主に選択されていた．
単純な数のみに着目するよりも，対話の流れがどういうものなのか，何を発言していたのかに着目した特徴でないと主観的難易度の推定に有効に働かないと考えられる．

6. ま と め
本稿では，クイズ対話を対象とした主観的難易度の推定手法について述べた．対話からの特徴として，発話，沈黙，オーバーラップに関する特徴から選出されたものを分類器に適用し，主観的難易度を推定した．特徴選択は有効に機能したが，正解率は 50%で，十分なレベルとは言いがたい．実験の結果から，は多くある．このような情報の統合的利用も今後の課題である．
文

献[1] M.A. Hall. Correlation-based feature subset selection formachine learning. Master’s thesis, Ph.D thesis, Universityof Waikato, 1998.
[2] Mark Hall, Eibe Frank, Geoﬀrey Holmes, Bernhard
Pfahringer, Peter Reutemann, and Ian H. Witten. The weka
data mining software: An update: Sigkdd explorations.
ACM SIGKDD Explorations Newsletter, Vol. 11, No. 1, pp.
10–18, 2009.
[3] Dineshbabu Jayagopi, Dairazalia Sanchez-Cortes, Kazuhiro
Otsuka, Junji Yamato, and Daniel Gatica-Perez. Linking
speaking and looking behavior patterns with group composition, perception, and performance. In Proceedings of the14th ACM international conference on Multimodal interaction, ICMI ’12, pp. 433–440, 2012.
[4] Ross Quinlan. C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers, 1993.
[5] V. N. Vapnik. Statistical Learning Theory. Wiley, 1999.
[6] 繁田亜友子, 濱本和彦, 野須潔. 英語リスニング電子教材を対象とした眼球運動分析による学習者の主観難易度の推定. 東海大学
紀要. 開発工学部, Vol. 20, pp. 117–125, 2011.
[7] 豊田薫, 宮越喜浩, 山西良典, 加藤昇平. 発話状態時間長に着目した対話雰囲気推定. 人工知能学会論文誌, Vol. 27, No. 2, pp.
16–21, 2012.
[8] 坂口勝哉, 嶋田和孝. 二人組共同作業における頭上カメラを用いた協力度推定. Technical report, 人工知能学会先進的学習科学と工学研究会, SIG-ALST, 2013.
[9] 日本イーラーニングコンソシアム. e ラーニング白書 2008/2009年版. 東京電機大学出版局, 2008.
[10] 嶋田和孝, 楠本章裕, 横山貴彦, 遠藤勉. 複数人談話における笑いの情報を考慮した盛り上がり判定. 電子情報通信学会, 言語理解とコミュニケーション研究会 (NLC), NLC2012-7, pp. 25–30,2012.
[11] 中村和晃, 角所考, 正司哲朗, 美濃導彦, 澤木美奈子, 南泰浩, 前田英作. 擬人化エージェントとの音声対話時におけるユーザの非言語動作からの難/易及び興味/退屈の推定. 電子情報通信学会
論文誌 A, 基礎・境界, Vol. 95, No. 1, pp. 85–96, 2012.
[12] 多田和彦, 矢野良和, 道木慎二, 大熊繁. 感情遷移における急激な韻律特徴変化の検出による感情遷移判別. 知能と情報 :日本知能情報ファジィ学会誌 : Journal of Japan Society for
Fuzzy Theory and Intelligent Informatics, Vol. 22, No. 1,
pp. 90–101, 2010.
[13] 小松和朗, 嶋田和孝, 遠藤勉. 多人数インタラクション評価のための姿勢推定. 電子情報通信学会, ヒューマンコミュニケーショ
ン基礎研究会 (HCS),, pp. 25–30, 2012.
[14] 小松和朗, 嶋田和孝, 遠藤勉. 話者の頭部及び姿勢変化に着目した複数人対話分析. 火の国情報シンポジウム 2013, 2013.

主観的難易度の推定には，単純な時間長や頻度に関する特徴よりも，形態素の重複や発話の前後に着目した特徴の方が有効に働くことが分かった．推定精度向上のためには，これらについ—6—