言語処理学会 第25回年次大会 発表論文集 (2019年3月)

ニューラルネットワークと相互評価法を用いた自由記述アンケー
トからの単語評価
大谷 崇文 1
椎名 広光 2
小林 伸行 3岡山理科大学大学院 総合情報研究科 情報科学専攻 1
岡山理科大学 総合情報学部 情報科学 2
山陽学園大学 地域マネジメント学部 地域マネジメント学科 3

i18im02ot@ous.jp1 , shiina@mis.ous.ac.jp2 , kob nob@sguc.ac.jp3 ,1

はじめに互評価法について，以下に述べる．

(1) コメントを構成する単語のランク推定：評価コメン
大学の授業アンケートのような小規模であっても，トからコメントを構成する単語のランク推定を行う．

自由記述式のアンケート評価は難しい．これまで，アンケートの自由記述を評価する手法について，一部の(1-1) シードデータで使用した評価コメントから名詞・動詞・形容詞の単語を抽出し，コメントの評価値をそアンケートのシードデータから全体を評価する手法をれに含まれている単語の評価ランクとする．

コメントと単語の評価を相互に繰り返して評価する手(1-2) 単語ごとの評価ランクが複数の可能性があるので，単語ごとの評価ランク頻度から単語ランク分布を法 [1] を提案している．また，ニューラルネットワークなどの様々な機械学習を利用した評判分析が新しく行われてきており，同様な方式でも講義のコメントを作成する．単語ランク分布は，対象となる単語 wk を含むコメントの評価ランクを i(= 1, …, M ，M = 6)評価することができるのではないかと考えて，Longとして評価ランクの出現ごとにランク i を中心としたShort Term Memory[2](以下 LSTM) を利用した講義コメント評価に関する研究を進めている．
アンケート自体の評価の他に，キーワードなど単語µi (= i)，分散を σ 2 の正規分布 ϕ(x; µi , σ 2 ) と，単語wk ごとの評価ランク頻度を Nwk (i) を掛け合わせたの評価が人によって評価どのように変化するかなどのϕ(x; µi , σ 2 ) · Nwk (i) で求める．
(1-3) 全評価ランクの正規分布を合成して混合正規分布単語の評価に興味がもたれる。本研究では，自由記述を作成し，単語ランク分布とする．混合正規分布の混アンケートの評価とそれに表れる単語の評価を抽出に合数 (ランク数と同じ) を M ，パラメータ αi をランクついて提案する．なお，使用したデータは，岡山理科大学総合情報学部情報科学科の 2014 年度春学期 (4 月〜9 月) の中間段階 (15 回中 8 回目の時期) に講義アン

i に対する正規分布の重みとした混合正規分布 pwk (x)∑Mを次式で定義する．初期値については， i=1 αi = 1となるように設定する．

ケートで実施された自由回答項目を利用した．調査対象とした教員は 15 人，講義の科目数は 41 科目，アンpwk (x) =ケート回答数は 1678 個である．なお，講義アンケー
トのコメントはそれのみを取得しているため関連する評価値の取得をしていない．そこで，コメントのみの100 件を 12 人の人手で 1 から 6 の 6 段階のランクを付して，シードデータとしている．

M∑

αi · ϕ(x; µi , σ 2 ) · Nwk (i)i=1(1-4) 単語ランク分布から最大ランクを単語ランク推定値とする．また，単語「説明」を例に混合正規分布による単語ランク分布を図 2 に示す．
Rwk = argmaxi=1,...,M pwk (i)2

単語とコメントの相互評価法
コメントとコメントを構成する単語の評価は，相互に評価しあう方法を用いている．評価のシードから相(2) 未評価コメントのランク推定：単語ランク分布から未評価コメントのコメントランク分布を作成し，コメントランク分布から，最大ランクをコメントランク推定値とする．

― 1375 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

図 2: コメントランク分布
図 1: 単語「説明」の単語ランク分布∑(2-1) コメント cl のコメントランク分布 Pcl を作るには，コメント内の係り受けを考慮する必要がある．まず構成している単語 wk のランク i での単語ランク分
布の確率 pwk (i) に 1 を加算し，係り受け情報を反映させるため，コメント内に含まれる係り受け関係にある単語のランクごとに確率同士に重みを掛け合わせ∏
Ncl (i) = wk ∈cl (pwk (i) + 1)，コメントのランクごと

cl ∈W (wk ) Pcl (x) 作成し，(2-1) と同様にランクごとの分布 (Nw′ k (1), Nw′ k (2), . . . , Nw′ k (M )) を求め，EM アルゴリズムを用いてランク数を混合数とした混合正規分布で近似する．なお，W (wk ) は，単語 wk を含むコメント集合を表し，混合正規分布は重みの合計が∑M
i=1 γi = 1 となるように正規化する．コメント「演習は多いが，楽しい」のコメントランク分布を図 2 に示す．の分布 (Ncl (1), Ncl (2), . . . , Ncl (M )) を作る．次に，コメントのランクごとの分布を EM アルゴリズムを用

pwk (x) =M∑

γi · ϕ(x; µi , σ 2 ) · Nw′ k (i)いてランク数を混合数とした混合正規分布で近似し，∑M
またその重みの合計 i=1 βi = 1 となるように正規化(4) ランク分布のパラメータ推定: 各コメントのランする．

ク推定を行うには，人手によるコメント評価との推定

Pcl (x) =M∑

i=1との差が小さいランク推定を行う必要がある．本研究βi · ϕ(x; µi , σ ) · Ncl (i)2では，(1) の重み αi と正規分布の分散 σ 2 のパラメー

i=1

タを推定差が少なるように最急降下法による近似解で(2-2) コメントランク推定値 Rcl を (1-4) と同様にコメ推定する．初期値はランダムで５回発生させ，最急降ントランク分布から最大ランクを計算する．

下法による近似解が最も良いものを使用している．

Rcl = argmaxi=1,...,M Pcl (i)(3) 全コメントのランク推定：全コメントに対するコ3構成

メントランク推定とそれを構成する単語に対する単語ランク推定を交互に繰り返して，全コメントランク推定値の改善がなくなるまで繰り返す．繰り返しの停止
後，コメントランク分布と単語ランク分布から最大ランクを最終的なコメントと単語のランク推定値とする．

(3-1) 全コメントに対して (2-1) と同じように，コメン
ト cl のコメントランク分布 Pcl を更新する．
(3-2) 全 コ メ ン ト に 対 す る コ メ ン ト ラ ン ク 分 布を 用 い て ，コ メ ン ト を 構 成 す る 単 語 の 単 語 ラ ンク 分 布 を 更 新 す る ．単 語 wk の 属 す る コ メ ン ト
cl の コ メ ン ト ラ ン ク 分 布 Pcl を た し 合 わ せ て

自由記述評価のための LSTM の
コメントデータを分かち書き処理を行い単語に区切り，コメントの 1 から 6 のランクを 0 から 1 に正規化する．学習モデルはバッチサイズを 10，初期の学習率を 0.001，LSTM 層数を 1 として，入力層にコメントデータを入力する．バッチサイズ分のコメントを単語単位で順に入力する．中間層は embed 層と LSTM層で構成し，各ブロックで出力層にその時点での評価を出力する．また，次の時間方向に出力を受け渡す．

LSTM 層には dropout を適用し，活性化関数にはシグモイド関数を用いる．出力層ではコメントの最後の― 1376 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

単語の出力をコメントに対するランクの推定結果として出力する．損失関数には MSE(平均二乗誤差) を用

表 1: コメント評価のクローズドテスト (評価と推定いて出力結果と人手によるランクとの差からロス率を値間の相関)算出しパラメータの更新を行う．パラメータ更新にお評価者ける確率勾配法は Adam を用いる．学習を繰り返し

A
B
C
D
EF
G
H
I
JK
L
平均

行うエポック数は 10 とする．推定処理 (テスト段階)
は，0 から 1 で極性値 p を得る．その値 p を変換関数⌈ 10·(p+0.2)⌉ で 6 クラスに分類し推定ランクとする．
2
人手で評価されているコメントを相互評価法とLSTM による評価法で評価するクローズドテストを行った．クローズドテストの結果のうち人手の評価と推定の相関と MSE を表 1 に示す．表 1 の相関係数の平均は相互的手法では 0.569，LSTM による評価法では 0.849 であった．また，MSE については，一貫して LSTM による評価法の方が小さい値となっており，

相関係数
相互評価法 LSTM
0.773
0.864
0.482
0.813
0.359
0.894
0.573
0.813
0.521
0.846
0.475
0.850
0.284
0.841
0.734
0.907
0.779
0.756
0.535
0.877
0.657
0.889
0.661
0.841
0.569
0.849

MSE(平均二乗誤差)
相互評価法 LSTM
0.062
0.024
0.120
0.018
0.072
0.010
0.102
0.023
0.071
0.011
0.114
0.014
0.067
0.008
0.075
0.019
0.050
0.028
0.120
0.017
0.047
0.012
0.058
0.016
0.080
0.017

相関と MSE の結果からも LSTM による評価法の方が良い精度であると考えらえる．一方，未評価コメント手法を単独で使用した場合では平均 2.790 と 2.316 にに対する評価結果 (表 2 の 2,3 列目) から LSTM の方対して，学習データの繰込み方式では 3.408 となってが低く推定すると考えられる．

おり，単独で使用するよりも高い評価となっている．

(2) コメントから単語の評価

4

コメントと単語の相互評価法でのコメントから単語へ学習データの繰込み方式の評価 (第 2 章 (1)) を用いて，LSTM で評価されたコ

未評価コメントへの LSTM による評価法は低い推メントから単語の評価を推定する．

定をする傾向があることから，新たに評価したコメン

相互評価法，学習データを繰込んだ LSTM によるトのうち k 個を取り出して，新しい学習データとして評価法の 2 種類の単語の評価の違いを表 3 に示す．

繰込んで学習し，学習と評価を繰り返していく，学習データの繰込み方式を提案する．以下に，学習データ5の繰込み方式による機械学習の手順を説明する．

(1) 学習データの繰込み方式による機械学習の手順 (11):初期学習としては，人手による評価の付いたコメン
トを学習器 LSTM を用いて学習し，学習器 LSTM でコメントと単語の推定評価
未評価コメントと単語の推定に対する評価を述べる．

(1) 未評価コメントのランク推定に関して●未評価コメントへの推定の平均は学習データ繰込み未評価コメントを評価する．

による LSTM が 3.48 であり，相互評価法の 2.790 と(1-2):学習データに新たに評価した k 個のコメントをLSTM のみの 2.316 に対して全体的に高い評価になる

併合して新しい学習データを作る．併合できる場合は傾向が見られた．

(1-3) の学習と推定を行う．新しい学習 k 個が学習デー「数学が実際にどのように利用されているかがわか●タに併合できなくなった場合は停止する．

る」のような単語数の多いコメントはポジティブなコ(1-3):併合した新しい学習データを学習器 LSTM で学習を行い，新しい学習データに含まれない未評価コメ

メントであっても，LSTM のみの推定では 1.750 と推ントの推定を行う．推定を行った後，(1-2) に戻る．

による LSTM では 4.417 となっており評価が向上し

本研究では，コメント総数 1678 個，人手による学習コメント 100 個，新たに学習データに繰込むコメン

定ランクが低くなる傾向があったが学習データ繰込みていると考えられる．
「声が小さい．数字を入れた計算を教えてほしい」の●

ト数 k = 100 個として評価実験を行った．未評価コメ

ように学習データ繰込みによる LSTM は 2.500，相互ントの評価推定値を表 2 の 4 列目に示す． 未評価コ

評価法は 1.167 であり，ネガティブなコメントに対すメントの全部の平均は，相互評価法と LSTM によるる推定も高くなる傾向が見られる．

― 1377 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 2: 未評価コメントのランク推定の平均
コメント

相互評価法

LSTM のみ

わかりやすいと思います
板書がよい
授業が分かりやすい
黒板を消すのが速い
CG の作り方を学べる
数学が実際にどのように利用されているかがわかる
実技教科なので，演習や課題で技術が身につく
課題の答え合わせをしっかりやってほしい
声が小さい．数字を入れた計算を教えてほしい
声がとおっていない，ききづらい，生徒をみない
未評価コメントの平均

4.500
2.167
4.333
2.333
3.333
4.500
2.833
1.167
1.167
1.583
2.790

3.500
3.167
3.083
3.000
3.000
1.750
1.583
1.500
1.583
1.000
2.316

学習データ繰込みによる LSTM
(繰込み数 k = 100)
4.667
2.750
4.333
3.167
3.583
4.417
4.000
3.000
2.500
1.667
3.408

表 3: 単語ランク推定
単語課題
丁寧
声
交流話
簡単板書
教員

A
55111521B
55265525C44114431···························

相互評価法
J K L
5 255 541 221 325 225 442 225 2
2

平均
4.33
4.75
1.75
3.17
3.00
4.50
2.58
2.67

分散
1.22
0.190.35
3.31
2.17
0.42
0.91
2.56(2) 単語ランク推定に関してA
551425546B
55445545

学習データ繰込みによる LSTM
C · · · J K L 平均
4 ··· 5 44 4.584 ··· 5 44 4.673 ··· 2 2
3 2.583 ··· 3 33 3.673 ··· 4 33 3.423 ··· 5 44 4.25
4 ··· 4 33 4.08
3 ··· 3 44 4.17

分散
0.24
0.22
0.91
0.39
0.91
0.52
0.58
0.47

今後の課題

全体的に学習データ繰込みによる LSTM の方が推定●られる．

LSTM による評価と LSTM による繰込み学習では繰込み学習の方が評価が高くなる傾向が見られる．ま「課題」の平均は相互評価法が 4.33，学習データ繰

た，相互的手法と LSTM による繰込み学習の評価結果

込みによる LSTM は 4.58 であり，「丁寧」の平均は相では，全体的に評価が高くなる傾向が見られるが 2 つ互評価法が 4.75，学習データ繰込みによる LSTM はの評価にあまり差は見られない．今後はコメントデー4.67 と，両手法による推定ランクの差はあまり見られタに含まれる単語に対して，単語の入力ごとに推定評ない単語もある．

価を抽出を行ったが，LSTM のみだけで単語の評価推「板書」の平均は相互評価法では 2.58，学習データ定を行っていきたい．

ランクの平均は高くなり，分散は小さくなる傾向が見●●繰込みによる LSTM は 4.08 であり，学習データ繰込みによる LSTM の方がより高い評価となる単語も見られる．
「教員」のように相互評価法ではランク平均は 2.67，

参考文献

分散は 2.56，学習データ繰込みによる LSTM の方で[1] 大谷, 椎名, “単語ランクに確率分布を用いた自由回答文解析,” 平成 29 年度（第 68 回）電気・情はランク平均は 4.17，分散は 0.47 であり学習データ

報関連学会中国支部連合大会，R17-27-05, 2017.

●

繰込みによる LSTM の方がランク平均が高くなった
単語の分散は学習データ繰込みによる LSTM の方が小さくなる傾向が見られる．

[2] Greﬀ, K. et al, “LSTM:A Search Space
Odyssey,” IEEE Transactions on Nenural Networks and Learnig Systems, Vol.28, Issue10, pp.
2222-2232, 2017.

― 1378 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.