情報処理学会研究報告
IPSJ SIG Technical Report

多次元項目反応理論による短歌の評価傾向の分析
川島 寛乃1,a)

持橋 大地2,b)

概要：短歌は日本の伝統的な詩形の一つであり，これまで文学としての研究は行われてきているが，その評価について定量的な研究は行われていない．そこで本研究では，複数の短歌について複数の評価者が「良い–悪い」および「好き–嫌い」の軸で K 段階の評価を付与した短歌の評価データに対して，多次元の項目
反応理論に基づき，短歌の潜在座標および各評価者の評価傾向を分析する手法を提案する．多次元項目反応理論における潜在変数の次元数を変化させることで，短歌の評価に影響する要因の分解や，作者ごとの短歌の傾向の分析，評価者のグループ間の相違を統計的に比較することが可能になった．
キーワード：短歌，評価者モデル，段階評価，項目反応理論，潜在変数モデル

A Statistical Analysis of Ratings for Japanese Short Songs
using Multi-dimensional Item Response Theory
代の作品の傾向について，文学的に掘り下げる研究がその1. はじめに大半であった．その原因としてまず第一に，十分な量の短

短歌は 5–7–5–7–7 の韻律を基本とする日本の最も古典的歌の評価データが研究資源として存在しないことが挙げらな歌体の一つであり，国語教育で扱われるだけでなく，新れる．歌会ではその都度複数の評価がされるものの，これ聞や雑誌の歌壇，宮中行事の歌会始など，作品とその評価らはデータ化されておらず，各賞や歌壇での選は一部を除を日常的に目にする機会が多い文学の一つである．短歌でいてその詳細な過程が非公開である．また各選考で共通のは各作品が短いために，評価の際に 1 つの作品のみ，また評価指標が使われているわけではなく，評価自体にも作品

は 1 人の評価者のみが評価を行うのではなく，複数の作品の良し悪しの他に，各評価者の好みや評価の厳正さといっに対して複数の評価者が評価を行うことが一般的である．

た傾向が多分に含まれている．このため多対多の作品–評

例えば，参加者がそれぞれ自作の短歌を持ち寄って評し合

価データは十分な量を得るのが難しく，さらにその評価にう歌会では，自分が複数首の短歌を詠むだけでなく，参加関する分析手法も確立されていないのが現状である．

者の相互評価によって複数首の歌を選びあう．このとき，そこで，本研究ではまず多数多の短歌–評価者データと基本的に短歌作品と評価者は，多数対多数の構造においてして，特定の大学の短歌会所属者を中心とする 45 名の評価

評価が行われる．また多くの短歌賞では，複数の短歌を収者がそれぞれ 100 首の短歌に対して，7 段階の数値で「良めた歌集 または複数の短歌からなる作品群 に対して複い–悪い」「好き–嫌い」の評価をした短歌評価データを収

数人の選者が評価を行う選考形式がとられている．新聞の集した．本研究ではこの短歌評価の段階カテゴリーデー

歌壇欄においても，毎週応募される多数の短歌作品に対しタに対して，項目反応理論（Item Response Theory; IRT）てそれぞれ数名の選者が複数の句を選び，評する形式が一[3] の段階反応モデル [5] を用いた短歌作品および評価者の分析方法を提案する．項目反応理論は本来はテストの問題（項目）とその受験者の回答（反応）データに基づいてテストを分析・運用するためのテスト理論の 1 つであり，受験者のテスト項目への反応を受験者の特徴 (能力) を表す
潜在変数と，項目の特徴を表す困難度や識別力といったパラメータで定義される確率モデルで表現する．特に本研究では，θ を多次元化することで単純な優劣でない軸を抽出することを目的とする．本研究ではこの考え方に沿って，
短歌評価データの各評価者を項目，各短歌への評価を反応とみなす．つまり，短歌に対する評価者の反応を，各短歌作品の特徴を表す潜在変数 θ と，評価者の特性を表すパラ
メータ a, b で定義される確率モデルで表現する．

*1

*2

*3

般的である ．このように，短歌の評価を俯瞰的に分析する上では作品と評価者を一対一だけで考えるのではなく，複数の作品に対する複数の評価者の評価を総合的に考慮する必要があると考えられる．
しかし，これまでの短歌に関する研究は，特定の作者や年
1

2

a)
b)
*1
*2
*3

慶應義塾大学大学院 政策・メディア研究科
Graduate School of Media and Governance, Keio University
統計数理研究所
The Institute of Statistical Mathematics
hironok@sfc.keio.ac.jp
daichi@ism.ac.jp
迢空賞，詩歌文学館賞，齋藤茂吉短歌文学賞など
角川短歌賞，短歌研究賞など
朝日歌壇，読売歌壇

c 1959 Information Processing Society of Japan⃝1

情報処理学会研究報告
IPSJ SIG Technical Report

実験では，上述の短歌評価データ（「良い–悪い」「好き–嫌い」）について提案手法を適用し，短歌作品の潜在的な優劣および各評価者の傾向について，短歌作品や評価者の属性情報も用いながら分析を行った．またより規模が大きく，疎な段階評価データとして，1,682 件の映画作品に対して943 人の評価者が 5 段階の評価を実施している映画評価の公開データセット MovieLens 100K[2] を用いて同様の実験を行い，作品および評価ユーザに関して統計的な傾向を取り出すことができた．

(a) 1 次元の θ の項目反応曲線．

2. 項目反応理論（IRT）
項目反応理論（Item Response Theory; IRT）[3] は，テストを作成・運用・評価するための数理モデルを用いたテスト理論の 1 つであり，テスト項目に対する受験者の回答（反応）を，受験者の能力を表す潜在変数と項目の特性を表すパラメータで定義される確率モデルで表現する．IRT(b) 縦軸の確率を対数で表示したもの．

は (1) 異なる項目で構成されたテストを受験した場合も同

図 1: 各段階への反応確率を表す θ の項目反応曲線．

一尺度上で能力を測定可能，(2) 個々の項目やテスト全体の能力測定精度を分析可能，(3) 欠測データの扱いが容易，などの利点があり [6]，国際コミュニケーション英語能力テ*4 や IT パスポート試験*5 など現代の様々なスト（TOEIC）

大規模試験において広く実用化されている．
項目反応理論では，基礎的な項目反応モデルではテスト項目に対する受験者の反応が正誤の二値の反応データを扱

この関数を縦軸に pj (θ)，横軸に θ を配して描画した曲線（図 1a）は項目特性曲線（item characteristic curve; ICC）と呼ばれ，評価者の傾向を分析する際に用いられる．本研
究では可視性向上のため，図 1a の項目反応曲線の縦軸を対数にして図 1b のようにしたものを図として用いる．

2.2 段階反応モデル (段階反応データ)

う．反応が C 段階カテゴリー c ∈ {1 · · · C} の段階データ

本研究では，短歌評価データとして段階反応データを扱である場合には，多値型項目反応モデルが用いられる．

うため，多値型の項目反応モデルとして知られる段階反応

2.1 項目反応モデル (2 値反応データ)

モデル [5] を用いる．

項目反応理論では，異なる能力・背景を持つ受験者集団
におけるテスト結果の比較を可能にするために，受験者の段階反応モデルでは，評価値が (評価値 ≥ c) となる確率の θ に関する関数をp∗c (θ) = Ψ(a(θ − bc ))集団に依存しない潜在的な特性 θ を導入する．θ は直接観(4)測できない個人の潜在特性（latent trait）であり，受験者

si の能力とテスト項目 uj の性質 (その項目が易しいのか，
難しいのか) を表現するために，能力 θ の個人が問題 j に正解する確率を
pj (θ) = Ψ(a(θ − bj ))(1)と表す．このとき受験者 sj がテスト項目 ui に対してカテ
ゴリ c ∈ {1, · · · , C} と反応する確率はp(uj=c |θ) = pc (θ) = p∗c (θ) − p∗c+1 (θ)となる．ただし，で与える．これは項目反応関数と呼ばれる．θ は被験者母

p∗1 = 1, p∗C+1 = 0

数，a, bj は項目母数と呼ばれ，式 (1) は能力 θ が問題の難
易度 bj より大きいと正解する確率が上がることを意味している．この際，a は確率の上がり方の急さを表現している．Ψ(x) には標準正規分布の累積確率密度関数∫ x
N(t | 0, 1)dt
Ψ(x) =(6)である．

3. 短歌の段階評価データ
本研究では，短歌作品と評価者が多対多の関係になり，

(2)

−∞

かつ各評価が段階カテゴリーの離散数値となる短歌評価
データを扱う．段階カテゴリーの離散数値評価とは，例えまたはロジスティック関数

1
Ψ(x) =
1 + e−x(5)

ば 5 段階の悪い–良いの反応データ「悪い（1-2-3-4-5）良(3)い」のような多値の段階的な評価のことをさし，評価者には最も良い悪いと思った場合には「1」，最も良いと思ったが用いられ，本研究では後者を採用した．

場合には「5」をつけてもらうように指示する．データの*4

一例を表 1 に示す．

*5

https://www.iibc-global.org/toeic.html
https://www3.jitec.ipa.go.jp/JitesCbt/

c 1959 Information Processing Society of Japan⃝

このとき N 件の短歌作品を {s1 , · · · , sN }，J 人の評価

2

情報処理学会研究報告
IPSJ SIG Technical Report

表 1: 短歌評価データの一例（カテゴリ数 C = 5 の場合）．
短歌 si に対する評価者 uj の評価を xij と表す．
短歌作品 \ 評価者

3

4

5

· · · x1j

s2
..
.

1
..
.

3
..
.

4
..
.

· · · x2j
.
..
. ..

si

xi1 xi2 xi3 · · · xij

要素を表現することが可能であるが，一方で推定に要する計算量が増大し，また結果の解釈が難しくなるため，通常

u1 u2 u3 · · · uj

s1

表現することが可能になる．次元数が高くなるほど複雑なの項目反応理論分析では θ の次元数は 1 次元，または 2 次
元に設定される．そこで本研究でもデータが大きくない
こともあり，分析時に，θ の次元数を 1 次元および 2 次元

者 を {u1 , · · · , uJ } と し ，短 歌 si に 対 す る 評 価 者 uj のC 段階カテゴリー c ∈ {1, · · · , C} の評価値を xij とする．評価が存在しない場合は，xij = 0 とする．N 件の短歌作品に対する J 人の評価者の評価データ全体をX = {xij } (i = 1 · · · , N, j = 1 · · · J) とし，本研究ではこれを作品–評価者数が多対多の段階評価データとして扱う．

4. 多次元項目反応理論による短歌の段階評価データの分析θ = (θ1 , θ2 ) とする．
4.3.1 θ が 1 次元の場合
θ が 1 次元のとき，段階反応モデルで評価値が (評価値 ≥c) となる確率の θ に関する関数は，前章で述べた式 (4) となる．θ を多次元とする場合に比べ，1 次元の θ は解釈がしやすく，特に 1 つの作品に対して「良い–悪い」「好き–嫌い」など複数の評価値が得られている場合にその関係性を比較する際にも用いることができる．また，評価者ごとに
横軸に θ の値，縦軸に確率をとり，図のように 5 の各評価
値 c への反応確率 pc (θ) を表す項目反応曲線を描画し，評価者の反応傾向を分析することが可能となる．
4.3.2 θ が 2 次元の場合
θ が 2 次元のとき，式 (4) は ηc = aT bc を用いて本研究では項目反応理論の段階反応モデルを応用し，前p∗c (θ) = Ψ(aT (θ − bc )) = Ψ(aT θ + ηc )章で述べた表 1 のような，作品–評価者が多対多である短(8)

歌評価データに対して，作品の潜在的な特徴および評価者となる．このとき p∗c (θ) は θ の線形モデルであり，重みベの傾向に関する分析を行う手法を提案する．

クトル w = (w1 , w2 ) を用いると4.1 短歌パラメータ θip∗c (θ) = Ψ(wT θ + ηc )前章で述べた通り，通常の IRT ではテスト項目に対す(9)

る受験者の反応データから，各受験者の持つ潜在的な能力と 表 現 で き る ．2 次 元 の 各 θi = (θ1 , θ2 ) お よ び wj =θ，テスト項目 j の特性 a, bj を推定する．本研究では項目
反応理論の基礎的な考え方を短歌の評価に適用するにあたり，各短歌作品 si ごとに短歌の潜在的な優劣（能力）を表す θi が存在すると考え，表 1 のような段階評価データ
X = {xij } (i = 1 · · · N, j = 1 · · · J) から θi を推定する．

(w1 , w2 ) は図 2 のように図示し，短歌作品や評価者の評価傾向を把握することができる．
式 (9) において，学習された w と θ の内積 wT θ が大きいほど評価値は高くなる．θ が 2 次元の場合の重みベクト
ル w は，θ が 1 次元の場合の aj と同様に評価者 uj ごとに推定される．wj の極座標は

4.2 評価者パラメータ aj , bjc(

短歌の評価にあたり，各評価者の評価は評価者の好み・嗜好に左右されるだけでなく，「厳しい, 甘い」「ぶれやすい, ぶれにくい」などの評価の反応傾向にも影響を受けると考えられる．そこで各評価者の反応傾向を表現するために，本研究では評価データ X より，優劣 θ の短歌に対する評価者 j(j = 1 · · · J) の各カテゴリ c ∈ {1, · · · , C} への反応曲線を

p∗c (θ) = Ψ(aj (θ − bjc ))(7)のように，パラメータ aj , bjc (c = 2 · · · C) で表現する．反応の閾値 bjc は評価者 j ごとおよび反応カテゴリ c ごとに異なるが，曲線の傾き aj は式 (5) の p∗c (θ) − p∗c+1 (θ) の差

wj =

w1
w2

)

(

√
=

w12 + w22

4.3 θ の次元数)

w1 +w22√ w2 2 2
w1 +w2(= aj

cos ϕjsin ϕjf (x|µ, κ) =exp(κ cos(x − µ))2πI0 (κ)(11)となる．このとき µ は平均方向，κ は集中度パラメータを表す．I0 (κ) は第 1 種変形ベッセル関数である．

θ の次元数を多次元化することによって，θ によって表される各短歌の潜在的な「特徴」を複数の要素に分解して

c 1959 Information Processing Society of Japan
⃝

)

(10)
のようになり，1 次元の場合と同様に識別パラメータ ajと，各評価者の評価方向 ϕj で表すことができる．
評価者の所属や性別などの属性情報が明らかである場合，
属性グループ t に含まれる評価者 {v1 , · · · , vmt } の評価方
向 {ϕ1 , · · · , ϕmt } より，グループごとに ϕj の von MisesFisher 分布（vMF 分布）[4] を描画して評価方向の傾向を数値的に比較することができる．vMF 分布は方向データ
に対する確率分布であり，確率密度関数はが負になることを避けるために評価者 j ごとに 1 つである．

aj は各評価者の判断のぶれの大きさに相当し，bjc は評価
者 j が評価 c を与える閾値に相当する．

√ w2 1

3

情報処理学会研究報告
IPSJ SIG Technical Report∫p(X|a, b) =p(X, θ|a, b)dθ
∫

=

(15)
p(X|θ, a, b)p(θ)dθを近似的に計算し，式 (15) を最大化するパラメータ a, bを推定した上で潜在変数 θ を求める [1]．しかし，点推定
した不確定な a, b から θ を復元するよりも，直接 θ, a, b を同時に推定した方が良い推定値が求められるとの考えか
ら，本研究ではガウス分布のランダムウォークを用いた

Metropolis-Hastings 法 (MCMC) により，式 (15) を直接最適化する．

5. 分析 1: 短歌の評価
本章では，前章で提案した項目反応理論に基づく手法を
図 2: 各短歌の 2 次元 θi = (θ1 , θ2 ), 各評価者の重みベクト

用いて短歌評価データを分析した結果について述べる．

ル wj の分布例．wj の色は評価者の属性の相違を表す．

5.1 短歌評価データ
本研究では短歌評価データとして，100 件の短歌に対して 40 名の評価者が「悪い（1）–良い（7）」，および「嫌い4.4 尤度関数（1）–好き（7）」をそれぞれ 7 段階の数値で評価した反応

本研究では，表 1 のような短歌評価データ X = {xij }(i =1 · · · N, j = 1 · · · J) から，θi , aj , bjc を推定する．xij は短歌
si に対する評価者 uj のカテゴリ c ∈ {1, · · · , C} の評価値を表す．この時各短歌の θi および各評価者の aj , bjc をまとJ
めて Θ = {θi }Ni=1 ，a = {aj }j=1 , b = {bjc }(i = j · · · J, c =2 · · · C) とすると，X と Θ の同時確率は
p(X, Θ | a, b) =N∏p(θi )

i=1

J ∏
C
∏

pc (θi )I(xij =c)

データを用いた．本研究ではこれらのデータをそれぞれ短歌 good–bad 評価，短歌 like–dislike 評価と呼び区別する．
各評価者は全ての短歌に対して必ず 2 種類の評価値を付与
し，評価数はそれぞれの評価で 4,000 件となった．また分析時に利用するために，評価者には評価時に各短歌について思ったことや感想，連想されたイメージなどを自由に記述してもらっている．
評価対象の短歌は多様な年代・作風・力量の作品を含め(12)

るために，内訳は

j=1 c=1を設定する．本研究ではデータ X をもとに，式 (13) を最(1) 『桜前線開架宣言』[11]（49 件）(2) その他の短歌集や教科書（31 件）(3) 『「塔」若葉集』（20 件）の 3 つからなっている．(1)『桜前線開架宣言』は歌人・山田航による現代の歌人 40 名の経歴および作品の解説書であり，世間的に評価されている現代の名短歌である．(2) その他の短歌集や教科書は，(1) よりも古い時代の世間的に評価されている名短歌である．(3) の「塔」は短歌結社*6 であり，若葉集は会誌の中で入会から 1 年と短歌暦の浅いメン
バーが作品を掲載する欄である．そのため，(3) は (1),(2)よりも素人に近い人間の作った世間的には評価の定まっていない短歌である．(3) の作者は不明とする．選出した短歌の一部を表 2 に示す．
評価者は京大短歌会および早稲田大学短歌会 (短歌会サークル) の所属者を中心に募り，属性として (a) 所属短歌会，(b) 性別，(c) 年齢の情報を収集した．本稿では個人情報保護のため，評価者の年齢情報を「2X 歳」のように表記する．各属性の人数の内訳を図 5 に示す．

大化するパラメータ θi , aj , bjc を求める．

5.2 θ が 1 次元の場合の結果となり，対数尤度はL = log p(X, Θ | a, b)
[
]
N
J ∑
C
∑
∑
=
log p(θi ) +I(xij = c) log pc (θi )
i=1

=

N
∑

[

j=1 c=1
J ∑C∑

1
I(xij = c)
− θi2 +
2
j=1 c=1i=1{}]log Ψ(aj (θi − bjc )) − Ψ(aj (θi − bjc+1 ))(13)となる．このとき 2 次元の θ = {θ1 , θ2 } においては，θ1 に
全体的な優劣が反映されるようにするため，a の事前分布
として対数正規分布+vMF 分布

log p(a) = −(log r)2 /2 + a1 /r(r = ||a||2 )(14)

4.5 パラメータの推定

短歌 good–bad 評価，短歌 like–dislike 評価データに対し項目反応理論では通常パラメータ θ, a, b を推定する際に，

θ が正規分布 N(0, 1) に従うことから，θ を周辺化して

c 1959 Information Processing Society of Japan
⃝*6「塔」短歌会 https://toutankakai.com/

4情報処理学会研究報告
IPSJ SIG Technical Report

表 2: 短歌評価データに含まれる短歌，およびその属性情報の例．
作品

出典

作者

2x-5y=0 ピーチミントのガム噛みながら三月の真っただ中を落ちてゆく雲雀、あるいは光の溺死
心沁む青山なりし夕日の村夕日みぬ方くだりきしかな
観覧車回れよ回れ想ひ出は君には一日我には一生
何年も同じコメント年賀状「今年は飲もう」今年も書き足す
行ってきますと自分に伝えただいまと自分を迎える単身赴任(1) 桜前線開架宣言(1) 桜前線開架宣言(2) その他の短歌集や教科書(2) その他の短歌集や教科書(3)「塔」若葉集(3)「塔」若葉集

野口あや子
服部真里子
山中智恵子
栗木京子
–
–

図 3: θ が 1 次元の場合の短歌 good–bad 評価および短歌 like–dislike 評価データから推定された 100 首の短歌の θi の値．
て前章で提案した多次元項目反応理論を用い，1 次元の短長，「塔」の選者などを務める京大短歌会出身の歌人であ歌パラメータ θ および評価者パラメータ a, b を推定した結り，「観覧車」の短歌は清新な青春歌を持ち味とする栗木果について述べる．短歌 good–bad 評価，短歌 like–dislike

京子の代表的な作品である．正岡子規（1867–1902 年）は評価データにおいて，各短歌 si に対して推定した 1 次元の明治を代表する歌人・俳人であり，「くれなゐの」の短歌

各 θi の値を横軸・縦軸に取り描画した結果を図 3 に示す．
5.2.1 good–bad 評価と like–dislike 評価の相関
結果の分析および解釈のために，複数の点に対してその短歌内容および作者情報（括弧の中に記載）を明記した．
図 3 のように，短歌 good–bad 評価データから推定した θの値と，短歌 like–dislike 評価データから推定した θ の値には相関関係が見られ，2 値間の相関係数は R = 0.88 となった．また good–bad 評価，like–dislike 評価ともに，著
名な歌人の作品である (1)『桜前線開架宣言』（図 3，青丸）
および (2) その他の短歌集や教科書（図 3，赤菱形）から選出した短歌の θ の値が大きく，歌暦の浅い (3)『
「塔」若葉集』
（図 3，緑×）の短歌は good–bad 評価，like–dislike
評価ともに θ の値が小さい傾向が見られた．
5.2.2 good–bad 評価の 1 次元 θ 値について
good–bad 評価の θ の値が最も大きくなった短歌は，「観覧車回れよ回れ想ひ出は君には一日我には一生」（栗木京子）[9]，次いで「くれなゐの二尺伸びたる薔薇の芽の針
やはらかに春雨のふる（正岡子規）」であった．栗木京子（1954 年–）は「読売新聞歌壇」選者，現代歌人協会理事

は中学の教科書 [10] や資料集などでも引用される作品であc 1959 Information Processing Society of Japan⃝る．このように good–bad 評価の θ 値が大きくなった作品
は，短歌としての評価が確立されている，短歌を嗜んでいる人間であれば一度は目にしたことのあるような著名な作品が多くなった．
一方で (1)『桜前線開架宣言』，(2) その他の短歌集や教科書から選出した作品ながら good–bad 評価の θ 値が小さかった短歌として，「２ｘ−５ｙ＝０ ピーチミントのガム
噛みながら（野口あや子）」があった．この短歌は野口あや子（1987 年–）の第一歌集 [7] に含まれる，数式を含む斬新な作品であるが，「関数」の必然性に疑問を呈するコメント
が多く見受けられ，good–bad 評価値が低くなった．同様に good–bad 評価の θ 値が小さかった短歌として，「郊外のショッピングモールへ近づけば満州国に来た心地する」(桜前線開架宣言, 松木秀）がある．
5.2.3 like–dislike 評価の 1 次元 θ 値について
like–dislike 評価の θ の値が最も大きくなった短歌は，「三
月の真っただ中を落ちてゆく雲雀、あるいは光の溺死」（服部真里子, 2014 年）[12]，次いで「明け方に翡翠のごと口づ

5情報処理学会研究報告
IPSJ SIG Technical Report

図 4: 各評価者の good–bad 評価（左），like–dislike 評価（右）の項目反応曲線の一例．各グラフの横軸は θ の値，縦軸は評価値が c と反応する確率 pc (θ) を表す．
けをくるるこの子もしづかにほろぶ」（黒瀬珂瀾, 2002 年）

る，京大短歌会出身の歌人である．このように like–dislike[8] であった．服部真里子（1987 年–）は「未来」短歌会に所属する，早稲田大学短歌会出身の歌人である．「三月の」の短歌は第二十一回日本歌人クラブ新人賞、第五十九回現代歌人協会賞を受賞した第一句集の巻頭を飾る代表的な作品である．黒瀬珂瀾（1977 年–）は「未来」短歌会に所属す

評価の θ 値が大きくなった短歌は，good–bad 評価の θ 値

c 1959 Information Processing Society of Japan⃝が大きくなった短歌に比べるとどちらかといえば，現代を活躍する現代的な作風の名歌ともいえる作品であった．これは，評価者の多くが大学生であったことも大きい．

like–dislike 評価の θ 値が小さかった短歌として，「心沁6情報処理学会研究報告
IPSJ SIG Technical Report

図 5: 短歌 good–bad, like–dislike 評価の評価者の属性内訳．
む青山なりし夕日の村夕日みぬ方くだりきしかな」（山中評価ではより全体的な評価傾向と矛盾のない評価を行って智恵子）があった．「心沁む」の短歌は，女流前衛歌人の代いる一方で，like–dislike ではその傾向への一致度がわずか表的存在である山中智恵子（1925–2006 年）の作品であるに緩やかになっていることを表す．

が，現代短歌に比べると表現が大学生にとって古風・難解

図 4 の項目反応曲線はあくまでも本研究で用いた短歌評であるが故に like–dislike 評価の評価値が小さくなったと価データに対して得られたものであるため，全体的な傾向いえる．同じ作者の作品では「きびたきのきてついばむはに一致していることが正しい評価を行っているということ

あらはなるまひるのことば早瀬の恋」や，「若夏の青梅選むではない．特に good–bad 評価に比べ like–dislike 評価は各

こずゑには脳 (なづき) も透きて歌ふ鳥あり」などの作品も評価者の好みが反映されるために，good–bad 評価に比べ同様に，like–dislike 評価の θ 値が小さくなった．

て評価者の属性によって推定された θ の値には大きな差が5.2.4 各評価者の項目反応曲線 pc (θ)
評価者ごとに横軸に θ の値，縦軸に各評価値 c への反応
確率 pc (θ) をとった項目反応曲線を描画すると，図 4 のようになった．図において，例えば水色の曲線「1」は，それぞれの評価者が横軸の θ 値の短歌に対して，評価値 = 1 をつける反応確率 p1 (θ) を表す．θ の値が小さいほど最低評
価値 p1 (θ)（水色）の確率が高く，θ の値が大きいほど最高
評価値 p7 (θ)（ピンク）の確率が高くなるのが，good–bad
評価，like–dislike 評価ともに安定した評価であると言える．逆に，θ 値の大小と pc (θ) に上述の関係性が見られない場合は，評価データにおける全体的な評価傾向から外れた評価を行っているということができる．ID:1 の評価者
は，good–bad 評価，like–dislike 評価ともに項目反応曲線が安定しており，全体の評価傾向と矛盾のない good–bad
評価および like–dislike 評価をしている．また，それぞれの評価値の反応確率がだいたい同じくらいの値になっていることから，7 段階の評価値 1〜7 をバランス良く付与した評価を行っていることがわかる．ID:7 および ID:8 評価
者は，最小・最大の評価値 p1 (θ)（水色），p7 (θ)（ピンク）はそれぞれ矛盾なく評価しており，特に ID:8 の評価者はその傾向が強い．一方で中間の評価値 p2 (θ)〜p6 (θ) の曲線
はそれぞれ重なりあい，明瞭な識別をしない結果となっている．ID:21 の評価者は ID:1 の評価者と同様 good–bad
評価，like–dislike 評価ともに項目反応曲線が安定しているが，それぞれの評価値の反応確率は特に like–dislike 評価においては大きな差が見受けられる．ID:30 の評価者も同様に good–bad 評価，like–dislike 評価ともに項目反応曲線が安定しているが，各評価値への反応確率が good–bad 評価
では高くはっきりとしているのに対し，like–dislike 評価では低めでゆるやかな曲線となっている．これは，good–bad

生じることが考えられる．項目反応曲線の描画では，評価

c 1959 Information Processing Society of Japan
⃝

者間の評価の類似性や多様性を確認し，全体的な評価傾向との相違を明示的に比較可能になることが重要である．

5.3 θ が 2 次元の場合の結果
短歌 good–bad 評価における 2 次元 θ のパラメータ推
定 結 果 に つ い て ，各 短 歌 の θi = (θ1 , θ2 )，各 評 価 者 の

wj = (w1 , w2 ) の推定結果を図 6 に示す．同様に短歌
like–dislike 評価の結果を図 7 に示す．
5.3.1 短歌 good–bad 評価の 2 次元 θ 値について
図 6 より，good–bad 評価において推定された 2 次元 θ値のうち，θ1 は短歌の出典が (1) 桜前線開架宣言，(2) その他の短歌集や教科書である短歌は大きく，(3)「塔」若葉集である短歌は小さくとなる傾向にあった．最も θ1 が大きい
短歌は「観覧車」，次いで「切り終へて」，「三月の」の短歌であり，一方 θ1 が最も小さい短歌は「とりとめのなく」「何
年も同じコメント」「自分への土産」の短歌であった．また審査員の評価方向を表す評価ベクトル wj = (w1 , w2 )（図 6における矢印）はいずれも θ1 軸に対して正の向きを指す
結果となった．これより，θ1 軸は，短歌作品の good–bad
評価に直結する表現の巧みさ・素人さ–玄人さ加減を表す
評価基準として機能していると考えられる．
図 6 の縦軸 θ2 の値には，短歌の出典に関して全体的には大きな傾向の違いは見られなかった．一方で θ2 の値が小さい短歌に着目したとき，「パチンコ屋の上にある月 とおく
とおく とおくとおくとおくとおく海鳴り（永井祐）」，「さ
ようならいつかおしっこした花壇さようなら息継ぎをしないクロール（山崎聡子）」，「どんな目にあいましたかセルレ
セルナルレ月夜に濡れる青いブローチ（早坂類）」，「僕たちの痛い粒子を比べればほとむほとむと鳴る島宇宙（成瀬しのぶ）」，のように，オノマトペやリフレイン表現を用いて

7

情報処理学会研究報告
IPSJ SIG Technical Report

図 6: 短歌 good–bad 評価における各短歌の θi = (θ1 , θ2 )，各評価者の wj = (w1 , w2 )．

図 7: 短歌 like–dislike 評価における各短歌の θi = (θ1 , θ2 )，各評価者の wj = (w1 , w2 )．
いる作品が多く見受けられた．短歌 good–bad 評価におけていることは興味深い．反対に θ1 の値が小さかった短歌

る 2 次元の θ1 , θ2 軸の解釈を表 3 に示す．

のうち，(3)「塔」若葉集以外の出典のものとして「心沁む5.3.2 短歌 like–dislike 評価の 2 次元 θ 値について
図 7 より，like–dislike 評価において推定された 2 次元 θの θ1 の値は，good–bad 評価の結果と同様に短歌の出典が(1) 桜前線開架宣言，(2) その他の短歌集や教科書である短歌は大きく，(3)「塔」若葉集である短歌は小さくなる傾向にあった．これより，good–bad と同様に θ1 軸は，短歌作
品の良し悪しに関する評価基準として機能していると考えられる．最も θ1 の値が大きい短歌は「三月の真っただ中を落ちてゆく雲雀、あるいは光の溺死（服部真里子）」，次
いで「問十二夜空の青を微分せよ街の明りは無視してもよい（川北天華）」，「観覧車回れよ回れ想ひ出は君には一日
我には一生（栗木京子）」となり，good–bad とやや異なっ

青山なりし夕日の村夕日みぬ方くだりきしかな（山中智恵

c 1959 Information Processing Society of Japan⃝子）」「昏れおちて蒼き石群 (いはむら) 水走り肉にて聴きしことばあかるむ（山中智恵子）」，「人と見る夢ならばまず届
かない夢だと思え 花は一輪（早坂類）」などがあった．これらの短歌には評価コメントとして，一首内に同じ単語が複数回登場する表現の荒さや「教条的であまり面白みがない」などの意見が挙げられていた．

θ2 の値については，短歌の出典が (1) 桜前線開架宣言の短歌は全体的に大きく，(3)「塔」若葉集の短歌は全体的に小さい傾向があった．θ2 の値が最も大きな値となったのは「どの家もがらす戸棚に人形を隠し、かくしてゆふだちは来ぬ（吉田隼人）」，次いで「少年のサフラン摘みの帰りゆ8情報処理学会研究報告
IPSJ SIG Technical Report

表 3: 短歌 good–bad 評価の 2 次元 θ 値の解釈．
2 次元 θ

小さい

大きい

θ1

作品の質が低い作品の質が高いθ2

現代的, オノマトペ・リフレイン

古典的

表 4: 短歌 like–dislike 評価の 2 次元 θ 値の解釈．
2 次元 θ

小さい

大きい

θ1

作品の質が低い作品の質が高い

θ2

現代的

古典的

きそれからながき島のたそがれ（杉崎恒夫）」であり，ほかにも旧かな遣いの古風的な表現の作品が多く見受けられた．一方 θ2 の値が最も小さくなったのは「問十二夜空の青を微分せよ街の明りは無視してもよい（川北天華）」，次
いで「低音でゆっくり話すきみの声アルペジオのように夏が昏れゆく（小島なお）」であり，ほかに「2x-5y=0

グループ化することができ (図 5a)，good–bad 評価，like–dislike 評価ともに京大グループ（青）と早稲田大グループ（黄色）で評価方向の分布に違いがみられた．
評価者の年齢グループについては，本実験で用いた短歌評価の評価者の年齢は最年少で 18 歳，最年長で 29 歳であり， 18–19 歳，20–21 歳， · · · , 28-29 歳，不明，の 6 つのグ
ループに区切り (図 5b)，分析を行った．年齢別のグルー
プでは good–bad 評価，like–dislike 評価ともに年代ごとに評価方向の分布に違いがみられ，特に like–dislike ではその差が大きかった．
評価者の性別グループは，女性（26 人），男性（10 人），不明（4 人）の 3 つにグループ化することができ (図 5c)，性別ごとのグループの評価方向には，good–bad 評価，like–dislike
評価ともに大きな違いは見られなかった．

6. 分析 2: 映画評価の分析

ピー

本章では，段階反応評価データへの多次元項目反応理論

チミントのガム噛みながら（野口あや子）」や「生年と没年分析の有効性を検証するために，より規模が大きく，疎で結ぶハイフンは短い誰のものも等しく（岡野大輔）」など，

ある段階評価データとして映画評価の公開データセット

全体的に革新的で斬新な表現の作品が多い傾向にあった．

MovieLens 100K のデータ*7 に対する同様の分析を行った．

これより，θ2 軸には，作品の古風性–現代性が反映されて

6.1 映画評価データいると考えられる．短歌 like–dislike 評価における 2 次元の θ1 , θ2 軸の解釈を表 4 に示した．

5.3.3 短歌の作者について評価対象の短歌 100 首のうち，同じ作者の作品数は山中智恵子 7 首，穂村弘 4 首，早坂類 4 首，その他は 26 名 2
首，71 名 1 首であった．含まれる作品数の多い山中，穂村，早坂の短歌の 2 次元 θ = {θ1 , θ2 } に色をつけ描画した結果を図 8 に示す．短歌 good–bad 評価（図 8a）において，含まれる作品数が最も多かった山中智恵子の作品（青丸）は全体的に θ1 の値が大きい傾向があった．θ1 軸は短
歌の良し悪し評価に直結する作品の完成度を表す要素指標であると考えられ，女流前衛歌人の代表的存在である山中の短歌作品の多くが “良い”短歌と認識・評価されていると言える．一方短歌 like–dislike 評価 (図 8b) でも，θ1 軸は作品の完成度を表す指標として機能していると考えられるが，山中の作品は θ1 値は小さく，θ2 の値が大きい傾向にあった．これは，現在大学短歌会に所属しており現代的な作品を目にすることの多い評価者達が古典的な作品に対して「わからない」「現代短歌のほうが読み慣れているので評価しづらい」など，必ずしも肯定的ではない評価を行っているからであると考えられる．穂村の作品は good–bad（図 8a），like–dislike(図 8a) のいずれにおいても θ1 値が高い傾向にあった．早坂の作品はいずれにおいても θ1 , θ2 の値に明示的な傾向は見られなかった．
5.3.4 評価者の属性グループについて
本研究では評価者の属性として，(1) 所属短歌会，(2) 性別，(3) 年齢に基づいてそれぞれグループ化した．各グルー
プについて vMF 分布を描画した結果を図 9, 図 10 に示す．
評価者の所属短歌会グループについては京大短歌会（20人），早稲田大学短歌会（16 人），その他（4 人）の 3 つに

c 1959 Information Processing Society of Japan⃝

MovieLens はミネソタ大学の研究室グループ GroupLensが管理・公開する映画レビューのデータセットである [2]．
データを収集した期間に応じて複数の規模のデータセットが公開されており，本研究では MovieLens 100K Dataset（1998 年 4 月公開）を映画評価データとして分析に用いた．
映画評価データには 1,682 件の映画に対して 943 人の評価
ユーザが悪い (1)–良い (5) の 5 段階の数値で評価をした計

100,000 件の評価データが含まれる．各映画作品に対して付与された評価数は最小で 1 件，最大で 583 件，平均で59.5 件である．また各評価者が任意の映画について行った評価の数は 1 人あたり最小で 20 件，最大で 737 件，平均で 106.04 件である．
評価対象の映画はいずれも 1922 年から 1998 年に公開された作品であり，属性データとして作品タイトル，映画公
開日のほかに IMDb の URL，ジャンルが含まれる．ジャンルは「Action」, 「Advemture」，「Commedy」など 22 種類があり， 各映画に対して 0 個以上が付与されている．
作品に応じていずれのジャンルにも当てはまらない場合，
もしくは複数のジャンルに当てはまる場合があり，1 つの作品に付与されるジャンル数は最小で 0，最大で 6，平均で 1.72 件であった．
評価ユーザの属性情報としては，性別，年齢，職業，Zip
コードが含まれている．性別は「F（女性）」「M（男性）」のいずれかが必ず付与され，職業には「administrator」，「artist」，「doctor」など「other」「none」を含む 21 種類のラベルが付与されている．

*7

https://grouplens.org/datasets/movielens/

9情報処理学会研究報告
IPSJ SIG Technical Report(a) 短歌の good–bad 評価．

(b) 短歌の like–dislike 評価．

図 8: 短歌 good–bad, like–dislike 評価における作者別の各短歌の 2 次元 θ = {θ1 , θ2 }．

図 9: 短歌の good–bad 評価の 2 次元 θ の各グループの評価方向 ϕ の平均 (上段)，vMF 分布（下段）．

6.2 θ が 1 次元の場合の結果

きい傾向にあった．これは興行が成功したり，有名な名作

映画評価データに対して，多次元項目反応理論を用い，であったり評価が高い映画ほどレビュー数が多い傾向が1 次元の映画パラメータ θ および評価者であるユーザのパラメータ a, b を推定した結果について述べる．各映画作品
に対して縦軸に付与された評価の数（レビュー数），横軸に映画の公開年，推定した 1 次元の θ の値を色で表した結果を図 11 に示す．
6.2.1 映画評価の 1 次元 θ 値について
図 11 より，レビュー数の多い映画の多くは θ の値が大あるためであると考えられる．θ の値が小さかった・大きc 1959 Information Processing Society of Japan⃝

かった作品 10 件を表 5 に示す．最も評価が高いと言える

θ 値が大きかった作品には，Pather Panchali （大地のうた，1955），Casablanca（カサブランカ, 1942），Schindler’sList(シンドラーのリスト, 1993）など古典的な名作，戦争や生命など壮大なテーマの作品が多くみられた．また Santa
with Muscles （1996）， Wrong Trousers （ペンギンに気をつけろ!, 1993）など子供向けのコメディ映画も含まれた．

10

情報処理学会研究報告
IPSJ SIG Technical Report

図 10: 短歌の like–dislike 評価の 2 次元 θ の各グループの評価方向 ϕ の平均 (上段)，vMF 分布（下段）．

θ 値の小さい作品はいずれも評価のレビュー数が少ない傾向にあった．
作品のジャンルについては，ジャンルごとの 1 次元 θ の
平均は表 7 のようになり， Horror（ホラー），Children（子供向け），Fantasy（ファンタジー）などの θ 値が小さ
く，Documentary（ドキュメンタリー），War（戦争），Film
Noir（フィルム・ノワール）*8 などの θ 値が大きい傾向にあった．全体的に θ 値の高いジャンルは該当する映画数が少なく，また，Film Noir は 1940–50 年代と古い映画が中心であるため，評価対象の映画候補が他ジャンルよりも選別されていると言える．
6.2.2 各ユーザの項目反応曲線 pc (θ)
評価ユーザごとの項目反応曲線の一例を図 12 に示す．
各グラフ下部の括弧の中の数字はそのユーザが投稿したレビュー数を表す．図 12 の上から 1, 2 段目の 4 人は，1–5の評価が θ の値と対応しており，中でも ID:102 のユーザ
は 1–5 の評価値を偏らずに付与している．ID:171 のユー
ザも他の評価値に比べると，中間的な評価値である 3 を付与しない傾向にある．3,4 段目のユーザは，最小・最大の評価値 1, 5 は矛盾なく評価しているものの，中間の評価値
2〜4 については緩やかな曲線が重なる形になっており，θ
の値と評価値が明確に対応していない結果となっている．
項目反応曲線の形とユーザの属性である性別，職業，Zip
Code，レビュー数には明示的な違いは見られなかった．

*8

1940 年代から 1950 年代後半にハリウッドでさかんに作られた
犯罪映画，ハードボイルド映画 hardboiled ‐ detective ﬁlm のジャンル．

c 1959 Information Processing Society of Japan⃝

表 5: 映画評価の 1 次元の θ 値が大きい・小さい作品．
作品名 (公開年)

レビュー数

Pather Panchali (1996)
8
Casablanca(1942)
243
Wrong Trousers, The(1993)
118
Schindler’s List (1993)
298
Saint of Fort Washington, The(1993)
2
World of Apu, The(1996)
6
Santa with Muscles(1996)2
Shawshank Redemption, The(1994)
283
Prefontaine(1997)
3..
.
Mr. Magoo(1997)
12
Amityville 1992: It’s About Time(1992)
5
Best of the Best 3: No Turning Back (1995) 6
Being Human(1993)
4
Dunston Checks In(1996)7
Bird of Prey(1996)
1
Amityville II: The Possession(1982)
14
Turbo: A Power Rangers Movie(1997)
5
Children of the Corn: The Gathering (1996) 19
Naked in New York (1994)
2

θ
1.552
1.436
1.419
1.402
1.395
1.381
1.354
1.343
1.338
..
.
−1.430−1.448−1.468−1.469−1.490−1.493−1.530−1.554−1.568−1.8506.3 θ が 2 次元の場合の結果
θ が 2 次元の場合のパラメータ推定結果について，各映画作品の θi = {θ1 , θ2 }, および各評価者の wj = (w1 , w2 )の推定結果を図 13 に示す．横軸は θ1 , 縦軸は θ2 の値を表し，各点および色は映画作品とその公開年，灰色の矢印は評価者のベクトルを表す．また 2 次元 θ の推定結果について各映画とそのレビュー数を描画した結果を図 14 に示す．

11

情報処理学会研究報告
IPSJ SIG Technical Report

図 11: 映画評価における各作品のレビュー数（縦軸），映画の公開（横軸）および 1 次元 θ の値．

図 12: 各評価ユーザの項目反応曲線の一例．各グラフの横軸は θ の値，縦軸は評価値が c と反応する確率 pc (θ) を表す．

c 1959 Information Processing Society of Japan⃝12

情報処理学会研究報告
IPSJ SIG Technical Report

表 6: 映画評価データにおいて各ジャンルに含まれる作品
数と 1 次元の θ の値の平均．
ジャンル
FilmNoirWar
DocumentaryMusicalMystery
Drama
Romance
Animation
Crime
Thriller
SciFi
Adventure
ComedyActionFantasyChildren
Horror

作品数
24
71
50
56
61
725
247
42
109
251
101
135
505
251
22
122
92

θ の平均
0.583
0.464
0.388
0.279
0.277
0.272
0.225
0.222
0.211
0.103
0.093
0.015
0.006
−0.054−0.178−0.181−0.206

表 7: 映画評価の 2 次元 θ 値の解釈．

2 次元 θ

小さい

大きい

θ1

作品の質が低い作品の質が高いθ2

古い・大衆的新しい・前衛的図 13 より，大半の評価者の wj は θ1 軸の値が大きくなる方向に向かっており，これより θ1 軸が短歌分析時と同様に作品の良い，悪い評価に直結する質の高低を表していると言える．最も θ1 の値が大きかった映画は戦争映画に分類される Schindler’s List であり，次いで子供向けのアニメー
ションコメディ作品 The Wrong Trousers ，その後は The

Saint of Fort Washington（聖者の眠る街），Casablanca（カサブランカ，The Shawshank Redemption （ショーシャン
クの空に) など古典的な名作映画が続いた．θ1 の値が最も小さかった 2 作品はホラー映画シリーズの Amityville II:

The Possession ，Amityville: A New Generation であり，
他にもシリーズものの作品が多い傾向があった．公開年の古い映画は推定された θ1 の値が大きい傾向にあり，これは評価が高くない古い映画はデータ収集時に鑑賞されることなく自然淘汰された結果であると考えられる．また図 14より，レビュー数の多い作品は θ1 の値が大きい傾向にあった．これは，評価の高い映画ほど興行成績やその内容が話題となり鑑賞・レビューする人も多いためであると考えられる．
最も θ2 の値が大きかった作品はコメディ・風刺映画のFear of a Black Hat であり，次いでミュージカル・ロマン
スの Top Hat ，短編映画 Grosse Fatigue が続いた．最も
θ2 の値が小さかった作品はコメディドラマ The Big Bang
Theory, フランス映画の La Collectionneuse ，ロマンス映
画の Rough Magic などであった．

c 1959 Information Processing Society of Japan
⃝

図 13: 映画評価結果に基づく各映画の θi = (θ1 , θ2 ) および各評価者の wj = (w1 , w2 ) の推定結果．

6.3.1 映画のジャンルについて
各映画の θ1 , θ2 の値についてジャンルごとに色分けした結果を図 15 に示す．ジャンルごとに明瞭な差はなかった
が，評価の著しく低い作品が含まれる Horror（左上）やChildren（子供向け）（左下）は θ1 が小さい傾向があった．
対象の作品数が多い Commedy（中央上）やドラマ Drama（中央下）は全体的に広く分布しており，θ1 , θ2 の値に明示的な特徴は得られなかった．評価の高い作品が多く含まれる Documentary や FilmNoir は全体的に θ1 の値が大きい
傾向にあった．
6.3.2 評価者ユーザの属性グループについて評価ユーザの属性グループのうち職業ごとのグループの傾向を分析するため，各職業グループの評価方向 ϕ およびその平均を描画した結果の一部を図 16 に示す．いずれの図においても灰色の太矢印は全ての評価者の評価方向 ϕj の平均を表し，緑色の太矢印はそれぞれの職業グループの評価
者の評価方向の平均を表す．図 16 より，Scientist，Writer,
Artist などの職業グループは全体平均よりもθ2 の高い作品を評価する傾向にあった．一方で Doctor，Executive,
Homemaker などの職業グループは全体平均よりもθ2 の低い作品を評価する傾向にあった．

7. まとめ短歌は日本の伝統的な詩形の一つであり，これまで文学としての研究は行われてきているが，その評価について定
量的な研究は行われておらず，定量的な比較・分析手法も確立されていなかった．そこで本研究では，短歌作品への段階評価データを用いて項目反応理論に基づいた解析を行い，短歌の評価と評価者の分析を行う手法を提案した．
項目反応理論は現代テスト理論の 1 つであり，テスト結果に基づく各問題（項目）への受験者の回答（反応）デー
タを用いて，受験者の潜在的な能力 θ およびテスト問題の傾向 a, b パラメータを推定し，問題や受験者に関する分析13

情報処理学会研究報告
IPSJ SIG Technical Report

図 14: 映画評価結果に基づく各短歌の θi = (θ1 , θ2 ) および各評価者の wj = (w1 , w2 ) の推定結果．

図 15: 映画評価の 2 次元 θ のジャンル別の表示．
を行う．本研究ではこれを短歌の評価に応用した．本研究

潜在変数 θ の次元数は 1 次元 θ, 2 次元 θ = {θ1 , θ2 } の 2

では複数の短歌に対する複数の評価者による 7 段階の「良通りを試し，1 次元の場合には「良い–悪い」「好き–嫌い」

い–悪い」および「好き–嫌い」の評価値を評価データとし，の評価値の関係性や，評価者ごとの項目反応曲線を，2 次

短歌の潜在的な良し悪しを表す潜在的な θ，評価者の傾向

元の場合には各次元の値の解釈と評価者の評価傾向に関す

a, b をパラメータとして推定し，推定されたパラメータをもとに短歌情報，評価者情報と照らし合わせて，短歌作品への評価および評価者に関する分析を行った．

る分析を行った．

c 1959 Information Processing Society of Japan⃝

また提案手法の有効性をより大規模かつ疎な段階評価
データで検証するために，公開された映画評価データセッ

14

情報処理学会研究報告
IPSJ SIG Technical Report

図 16: 映画評価の 2 次元 θ の評価者の評価方向 ϕ の職業別の平均．
ト MovieLens 100K を用いて同様の分析を行った．
その結果，1 次元の θ の分析では「良い–悪い」「好き–嫌
い」といった評価値の関係性を数値的に比較し，また評価者ごとの項目反応曲線を描くことで評価反応の傾向を分析することができた．2 次元 θ の分析では，評価の要素を 2

[7]
[8]
[9]
[10]
[11]
[12]

野口あや子： 歌集『くびすじの欠片』，短歌研究社 (2009).
黒瀬珂瀾： 歌集『黒燿宮』，ながらみ書店 (2002).
栗木京子： 歌集『水惑星』，雁書館 (1984).
中学教科書： 国語 2 年，光村図書 (2020).
山田 航： 桜前線開架宣言，左右社 (2015).
服部真里子： 歌集『行け広野へと』，本阿弥書店 (2014).

次元に分解して解釈し，作品の作者や評価者の年齢・性別・職業などの属性のグループ別の評価傾向を分析することができた．
謝辞

本研究は，科研費・学術変革 (B)「情動をもたらす言語芸術の脳科学」(研究課題 21H05061) に助成していただきました．
参考文献
[1]

[2]

[3]
[4]
[5]

[6]

Bock, R. D. and Aitkin, M.: Marginal maximum likelihood estimation of item parameters: Application of an
EM algorithm, Psychometrika, Vol. 46, No. 4, pp. 443–
459 (1981).
Harper, F. M. and Konstan, J. A.: The movielens
datasets: History and context, Acm transactions on interactive intelligent systems (tiis), Vol. 5, No. 4, pp.
1–19 (2015).
Lord, F. M.: Applications of item response theory topractical testing problems, Routledge (2012).
Mardia, K. V., Jupp, P. E. and Mardia, K.: Directional
statistics, Vol. 2, Wiley Online Library (2000).
Samejima, F.: Estimation of latent ability using a response pattern of graded scores., Psychometrika monograph supplement (1969).
Ueno, M., Songmuang, P., Okamoto, T. and Nagaoka,
K.: Item response theory with assessors parametersof peer assessment，IEICE TRANSACTIONS on Inf.
Syst, pp. 377–388 (2008).

c 1959 Information Processing Society of Japan⃝

15