2023年5月28日 13:30-15:30

多次元項目反応理論による短歌の評価傾向の分析
川島寛乃（慶應義塾大学）hironok@sfc.keio.ac.jp
持橋大地（統計数理研究所）daichi@ism.ac.jp

1

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

概要
短歌の評価傾向の分析として，複数の短歌作品に対する複数の評価者の評価の定量的な分析手法を提案• 短歌評価データ
大学の短歌会に所属する40名の評価者が100 首の短歌に対して7 段階の数値で「良い–悪い」「好き–嫌い」を評価• 多次元の項目反応理論を用いて短歌の潜在的な優劣，各評価者の評価傾向を分析する手法を提案• 短歌の評価要因の分解• 短歌の作者ごとの傾向分析• 評価者や評価者のグループの評価傾向の相違の比較が可能に
2

背景

3

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

背景 | 短歌• 短歌とは？
• 5–7–5–7–7 の韻律を基本とする歌体の1つ• 短歌の評価• 1つの作品のみまたは 1人の評価者のみが評価を行うのではなく，複数の作品に対して複数の評価者が評価を行うことが一般的• 歌会：複数の参加者が短歌を持ち寄り相互に評価• 歌壇や短歌賞：複数の選者が複数の投稿作品を評価

歌会（「塔」短歌会HPより）

朝日歌壇（朝日新聞より）
4

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

背景 | 短歌の評価の俯瞰的な分析
作品と評価者を一対一として考える
複数の作品に対する複数の評価者の評価を総合的に考慮• 過去の短歌に関する研究• 特定の作者年代の作品を対象に文学的に掘り下げる研究が大半• 問題点• 十分な量の短歌の評価データが研究資源として存在しない• 歌会の記録の大半は電子データとして残らない・公表されない• 短歌賞等の選考記録は公開されない、選外の作品は掲載されない• 多数多の短歌作品–評価者データの分析手法が確立されていない

5

本研究で扱う短歌評価データ

6

概要

背景データ項目反応理論

提案手法

分析1:短歌まとめ

Appendix

短歌の段階反応評価データ• 複数の短歌に対して複数の評価者が段階カテゴリーの離散数値評価を行ったデータ• カテゴリ数 C = 5 の場合• N 件の短歌作品: {s1, · · · , sN }• J人の評価者: {u1,··· ,uJ}
• 短歌 si への評価者 uj のC 段階カテゴリー c ∈ {1,··· ,C} の評価値: xij• 評価データ全体: X = {xij} (i = 1··· ,N , j = 1···J)7項目反応理論（IRT）

8

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

項目反応理論（IRT）
Item Response Theory; IRT [3]• テストを作成・運用・評価するための数理モデルを用いた現代テスト理論の1つ• テスト項目に対する受験者の回答 (反応)を，受験者の能力を表す潜在変数と項目の特性を表すパラメータで定義される確率モデルで表現• IRTのメリット[6]1. 異なる項目で構成されたテストを受験した場合も同一尺度上で能力を測定可能

2. 個々の項目やテスト全体の能力測定精度を分析可能
3. 欠測データの扱いが容易
9

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

項目反応理論（IRT）• 二値反応データ（正誤）を扱う場合→

基本的な項目反応モデル• 反応が C 段階カテゴリー c ∈ {1···C} の段階データ→

多値型項目反応モデル•段階反応モデル[5]

10

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

項目反応モデル（二値反応データ）• 潜在的な特性(latent trait) θ を導入• 異なる能力・背景を持つ受験者集団の結果比較を可能に• 受験者 siの能力とテスト項目 uj の性質(易しい/難しい)を表現• 能力θの受験者(被験者) が問題 j に 正解する確率• θ : 被験者母数; a, bj: 項目母数
• 能力θが問題の難易度 bj より大きいと正解する確率が上昇• a : 確率の上がり方の急さを表現• bj: 項目jの性質(易しい/難しい)• Ψ(x):標準正規分布の累積確率密度関数/ロジスティック関数• 本研究ではロジスティック関数を採用

11

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

段階反応モデル（多値反応データ）• 評価値が (評価値 ≥ c) となる確率のθに関する関数• 受験者 sj がテスト項目 ui に対して, カテゴリc ∈ {1,··· ,C}と反応する確率

ただし

12

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

項目反応曲線• Item Characteristic Curve; ICC• 縦軸に pc (θ)，横軸にθを配して描画した曲線• 評価値が (評価値 ≥ c) となる確率のθに関する関数• 評価者の傾向を分析する際に用いる

13

提案手法:

多次元項目反応理論を用いた短歌の段階評価データの分析

14

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

多次元項目反応理論による短歌評価の分析• 通常のIRT: 各受験者が潜在的な能力θを保有• テスト項目(問題)に対する受験者の反応データ↓推定• 各受験者の持つ潜在的な能力θ
• テスト項目 j の特性 a, bj• 提案手法: 各短歌が潜在的な優劣(良し悪し)θを保有• 評価者の短歌へ対する反応データ↓推定• 各短歌の持つ潜在的な優劣θ• 評価者の特性 a, bj

15

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

短歌，評価者パラメータ• 優劣θの短歌に対する 評価者 j(j = 1···J) の各カテゴリ c ∈ {1,··· ,C} への反応曲線• 反応の閾値 bjc は評価者 j ごと/反応カテゴリcごとに異なる• 曲線の傾き aj は式 (5) のの差が負になることを避けるために評価者 j ごとに1つとする• aj は各評価者の判断のぶれの大きさに相当• bjc は評価者jが評価cを与える閾値に相当

16

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendixθの次元数• 通常のIRT分析ではθの次元数は 1, 2 次元に設定• θの次元数の多次元化⭕ θで表される各短歌の潜在的な「特徴」を複数の要素に分解して表現可能に❌ 推定に要する計算量が増大❌ 結果の解釈が困難に• 本研究におけるθ の次元数
• 1 次元のθおよび2次元のθ = (θ1, θ2) (※3次元以上も可能;検討中)

17

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix(評価値 ≥ c) となる確率のθに関する関数• θが1次元の場合(7)• θが2次元の場合

θ = (θ1, θ2)(8)θの線形モデル↓• 学習されたwとθの内積 wTθが大きいほど評価値は高くなる• 重みベクトルwjは評価者ujごとに推定

18

概要

データ

背景

項目反応理論

提案手法

分析1:短歌Appendix

まとめ

各評価者の評価方向, グループ化• wjは各評価者の評価方向 φj で表すことができる• 評価方向ベクトルの分布に関する制約:••

長さは対数正規分布
角度はvon Mises-Fisher分布

Canonicalな方向(期待値)： (1,0)
1• 評価者の所属や性別など属性情報が明らかである場合，グループごとのφjのvon Mises- Fisher分布(vMF分布)[4]を用いて評価方向の傾向を数値的に比較可能• vMF（方向データに対する確率分布）の確率密度関数• μ: 平均方向• κ :集中度パラメータ• I0(κ) : 第 1 種変形ベッセル関数

19

概要

背景

データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

パラメータの推定• 短歌評価データX = {xij}(i = 1···N, j = 1···J)からθi, aj, bjc を推定•

各短歌の θiおよび各評価者の aj , bjc をまとめて(i = j ···J,c = 2···C) とするの同時確率

•

対数尤度

•

データ X をもとに式(13)を最大化するθi, aj, bjcを求める(13)•

a の事前分布として対数正規分布+vMF 分布を設定
20

概要

データ

背景

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

パラメータの推定
通常の推定手法••••

θ が正規分布 N(0, 1) に従うことからθを周辺化
式(15) を近似的に計算式(15)を最大化するパラメータ a, b を推定した上で潜在変数 θ を求める[1]↓点推定した不確定な a, b から θ を復元するよりも，直接 θ, a, bを 同時に推定した方が良い推定値が求められる

本研究•

ガウス分布のランダムウォークを用いた Metropolis-Hastings 法(MCMC) により，式 (15) を直接最適化
21

提案手法を用いた分析

22

概要

背景データ

項目反応理論

提案手法

分析
分析1:短歌
1:短歌

まとめ

Appendix

提案手法を用いた分析• 分析1: 短歌の評価
大学短歌会所属者を中心に被験者を募り独自に収集• 評価者数:40人• 評価対象の短歌: 100首
• 評価段階:7 (良い7-悪い1/好き7-嫌い: 1)• 評価数
4,000件 x 2 = 8,000＜より規模が大きく疎なデータ，欠損値も含む＞• 分析2: 映画の評価
ミネソタ大学の GroupLens が管理・公開する映画レビューのデータセットMovieLens 100K Dataset(1998/4) [2]• 評価者数:943人• 評価対象の映画: 1,682件• 評価段階:5 (良い:5 – 悪い: 1)• 評価数:
100,000件
23

概要

背景データ

項目反応理論

提案手法

分析
分析1:短歌
1:短歌

Appendix

まとめ

分析1: 短歌評価データ• 評価データ（計4,000件 x 2）*評価時にコメントも収集• 「良い（7）- 悪い（1）」→ 短歌good-bad評価• 「好き（7）- 嫌い（1）」→ 短歌like-dislike評価• 評価対象の短歌：100 件• 評価者: 40 名

世間的に評価されている作品(1)49件、(2) 31件

歌歴の浅い作者の作った世間的には評価されていない作品 (3) 20件

24θが1次元の場合の分析結果

25

概要

背景データ

項目反応理論

提案手法

分析
分析1:短歌
1:短歌

まとめ

Appendix

短歌good-bad評価, like-dislike評価の関係• good-badのθとlike-dislikeのθには相関関係（R = 0.88 ）• 著名な歌人の作品（ や ）のθ値は歌歴の浅い人の作品（ ）に比べて大きい
現代的な作品知名度の高い作品

数式の必然性

現代的でない読み慣れない26

概要

背景データ

項目反応理論

提案手法

分析
分析1:短歌
1:短歌

Appendix

まとめ

評価者の項目反応曲線
・θの値が小さいほど最低評価値 p1(θ)の確率が高い
・θ の値が大きいほど最高評価値 p7(θ)の確率が高い↓
good–bad, like–dislike評価ともに安定した評価

θ値の大小と pc(θ) に上述の関係性が見られない↓
評価データにおける全体的な評価傾向から外れた評価を行っている
27

θが2次元の場合の分析結果

28

概要

背景データ

項目反応理論

提案手法

分析
分析1:短歌
1:短歌

まとめ

Appendix

短歌good-bad評価のθ1, θ2の値

オノマトペやリフレイン表現

29

概要

背景データ

項目反応理論

提案手法

分析
分析1:短歌
1:短歌

まとめ

Appendix

短歌like-dislike評価のθ1, θ2の値

30

概要

データ

背景

項目反応理論

提案手法

分析
分析1:短歌
1:短歌

まとめ

Appendix

作者に関する分析• 評価対象100首のうち同一作者の作品•

山中智恵子 7 首，穂村弘 4 首，早坂類 4 首
その他は 26 名 2 首，71 名 1 首• 山中の作品••

評価者のコメント：
古典的な作品に対しGood-bad評価: θ1, θ2ともに大きい
Like-dislike評価: θ1は小さく θ2は大きい 「わからない」「現代短歌のほうが読み慣れているので 評価しづらい」

作者別の傾向の違いを分析するためにはより多くの同一作者の作品に対する評価データが必要

31

概要

背景

データ

項目反応理論

提案手法

分析
分析1:短歌
1:短歌

まとめ

Appendix

評価者グループの傾向• 短歌good-bad評価の場合• 所属短歌会、年齢、性別のグループ間で評価傾向に差異

32

概要

背景

データ

項目反応理論

提案手法

分析
分析1:短歌
1:短歌

まとめ

Appendix

評価者グループの傾向• Like-dislike評価の場合• Good-bad評価に比べ所属短歌会、年齢、性別グループ間ともに大きな差異は見られない→ より個人的な好みが評価に反映されている

33

まとめ

34

概要

背景データ項目反応理論

提案手法

分析1:短歌まとめ

Appendix

まとめ• 短歌作品の段階評価データに対して項目反応理論に基づいた分析手法を提案• 短歌の潜在的優劣を表すθ，評価者の傾向 a, b をパラメータとして推定• 独自に収集した短歌データにおいて分析を実施
今後の展望・予定• θをより高次元（3次元以上）にした場合の各次元の要素の分析• θの値との短歌作品の内容（使用されている単語）との関係性に•関する分析
短歌以外の短型文学（俳句や川柳など）で同様の分析

35

謝辞• 本研究は，科研費・学術変革 (B)「情動をもたら す言
語芸術の脳科学」(研究課題 21H05061) に助成していただきました

36

参考文献
[1] Bock, R. D. and Aitkin, M.: Marginal maximum likeli- hood estimation of item parameters: Application of an EM algorithm,
Psychometrika, Vol. 46, No. 4, pp. 443– 459 (1981).
[2] Harper, F. M. and Konstan, J. A.: The movielens datasets: History and context, Acm transactions on in- teractive
intelligent systems (tiis), Vol. 5, No. 4, pp. 1–19 (2015).
[3] Lord, F. M.: Applications of item response theory to practical testing problems, Routledge (2012).
[4] Mardia, K. V., Jupp, P. E. and Mardia, K.: Directional statistics, Vol. 2, Wiley Online Library (2000).
[5] Samejima, F.: Estimation of latent ability using a re- sponse pattern of graded scores., Psychometrika mono- graphsupplement (1969).
[6] Ueno, M., Songmuang, P., Okamoto, T. and Nagaoka, K.: Item response theory with assessors’ parameters of peer
assessment，IEICE TR[7] 野口あや子: 歌集『くびすじの欠片』，短歌研究社 (2009).
[8] 黒瀬珂瀾: 歌集『黒燿宮』，ながらみ書店 (2002).
[9] 栗木京子: 歌集『水惑星』，雁書館 (1984).
[10] 中学教科書: 国語 2 年，光村図書 (2020).
[11] 山田 航: 桜前線開架宣言，左右社 (2015).
[12] 服部真里子: 歌集『行け広野へと』，本阿弥書店 (2014). ANSACTIONS on Inf. Syst, pp. 377–388 (2008).

37

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

分析2: 映画の評価• 評価データ 100,000件• 各映画に対して付与された評価数 1〜583件 (平均59.5件)• 各評価者の評価数 20〜737件 (平均106.0件)• 評価対象の映画：1,682 件• 1922年〜1998年公開の作品• 22種類のジャンルが0個以上付与される (最大6, 平均1.72)• 評価者: 943 名• 属性情報: 性別，年齢，職業，Zipコード• 職業はar`st, doctorなど21種類(other, noneを含む)

38

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

θが1次元の場合• レビュー数が多い作品の方がθの値が大きい• 公開年が古い作品の方がθの値が大きい

39

概要データ背景項目反応理論

提案手法

分析1:短歌まとめ

Appendix

θが1次元の場合• θの値が大きい作品• 古典的な名作，戦争や生命,子供向けのコメディ映画(一部)など• θの値が小さい作品•ホラー映画，シリーズものなど
大地のうた
カサブランカ
シンドラーのリスト

40

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

θが1次元の場合 | 評価者の項目反応曲線• 職業や性別特有の項目反応曲線の特徴は見られず

41

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

θが2次元の場合

新しい
前衛的

古い
大衆的

42

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

映画評価の2次元θのジャンル別の表示
新しい
前衛的

古い
大衆的

新しい
前衛的

古い
大衆的

43

概要

背景データ

項目反応理論

提案手法

分析1:短歌まとめ

Appendix

映画評価の職業別の評価方向• Scien`st, Writer, Ar`st など→θ2の高い作品 (前衛的)を評価• Doctor, Execu`ve, Homemaker など→ θ2の低い作品 (大衆的)を評価
新しい
前衛的

古い
大衆的

新しい
前衛的

古い
大衆的

44