DEIM Forum 2014 C3-6

概念語に関する順序付け知識のオンデマンド獲得
仁科

俊晴†

吉永

直樹††

鍜治

伸裕††

豊田 正史††† 東京大学大学院 情報理工学系研究科 〒 113–8654 東京都文京区本郷 7–3–1†† 東京大学 生産技術研究所 〒 153–8505 東京都目黒区駒場 4–6–1
E-mail: †{nishina,ynaga,kaji,toyoda}@tkl.iis.u-tokyo.ac.jp
あらまし 出張先の宿泊地を決める場合など，複数候補を様々な観点（「安さ」，「近さ」など）から順序付けして比較し，それに基づいて意思決定を行う場面は多い．この時，多くの候補と観点を考慮することでより良い選択が可能になるが，あらゆる候補や観点を予め想定することは難しい．本稿では，順序付け知識獲得のオンデマンドな支援を目的として，ユーザが与えた複数の概念語をもとに，順序付けする際の観点となる形容詞をオンデマンドで自動収集する手法を提案する．得られた形容詞の妥当性を人手で評価するとともに [7] の手法を用いて概念語の順序付けを行い，得られた順序付けを人手でつけた順序付けと比較することで評価する．
キーワード

知識獲得，情報抽出，テキストマイニング

1. は じ め に
我々は日常生活の中で，複数の物事に対して順序関係を与え度を示すスコアに用いる理由は，概念語と多く共起をしている
観点は概念語の性質を記述している可能性が高く，順序付けをする際の観点として適切であると考えたためである．

ることによって情報を整理し，意思決定に利用している．例え実験では，入力として概念語集合を与え，提案手法によってば，外出中に食事を安くしようと思ったとき，日頃食べている

スコア付けされた観点をスコアの降順で 10 件出力した．評価

料理の「食事代の安さ」を考慮して食べる料理を決めることが方法は 4 人の評価者による出力の適切さの判定から計算したあるだろう．このように，関心のある性質の程度で物事を順序

precision@n (n=1,5,10) を利用した．比較手法として比較文に付けし，情報を整理することは，適切な行動を判断する上でしよる観点の絞り込みを行わない手法を用い，同様の評価を行う

ばしば必要であり，特に，大量の情報が存在する現代においてことで，提案手法の有用性を確認した．その後，得られた観点重要であると考えられる．

に基づいて概念語集合を [7] の手法によって順序付けして評価

以上のことから，計算機により自動的に物事の順序付けを行した．

うことは有用であると考えられるが，その実現のためには 2 つ

本稿の流れは以下の通りである．まず 2 章で本研究で取り組の課題が存在する．1 つ目は概念語集合を順序付けするためのむタスクについて説明する．次に，3 章で提案手法について述

適した観点を列挙するということであり，2 つ目は実際にどのべ，4 章ではその評価を行う．5 章で [7] の手法を利用して概念ように順序付けを行うかということである．我々は，後者の課

語集合を本研究で得られた観点に基づいて順序付けする．そし題に関しては先行研究 [7] で取り組んでおり，本研究では 1 つて，6 章で関連研究について述べる．最後に，7 章でまとめと目の課題に焦点を当てて研究を進める．

今後の課題について述べる．

そこで本研究では複数の概念語を順序付けする際に適した観点 (形容詞) を獲得し，その観点に基づいて順序付けをすることを提案する．提案手法により，人々が物事の選択をする際に候補や観点の補完をすることができるため，人々はより良い意思決定を行うことが可能になると期待できる．

2. タスク設定
本章では，本研究で取り組むオンデマンドな知識獲得のタスクについて具体例を用いて説明する．
本研究では，例えば，入力として「ウマ」，「サル」，「トカゲ」，

提案手法では，比較文を用いることで観点の絞り込みをした「ネコ」のようなあるカテゴリを想起することのできる複数の後，与えられた概念語集合と観点との共起頻度を用いることで概念語を入力として与え，それらを順序付けする際に適した観順序付けをする際の観点としての適性度をスコア付けし，適切点（「可愛い」や「大きい」など）を出力するタスクを考える．

な観点を獲得する．次に，先行研究 [7] の手法を用いて獲得しなお，観点は与えられた概念語に共通する性質の程度を表す形

た観点と，観点の反義語との相互情報量をそれぞれ計算するこ

容詞とし，概念語は与えられた観点において相互に順序付け可とで概念語の順序付けを行う．観点と観点の反義語を合わせて能な名詞（句）とする

本研究では対義形容詞対と呼ぶ．
比較文を用いて観点の絞り込みを行う理由は，順序付けに適

3. 提 案 手 法

した観点は比較文で出現するという直感に基づくものであり，我々は，(1) 比較文を用いた順序付け観点の絞り込み (2) 概

比較文で概念語と共起している観点のみをスコア付けの対象と念語集合に存在する各概念語との共起頻度に基づくスコア付け，する．また，与えられた概念語集合と観点との共起頻度を適性という二つの処理を行うことによって与えられた概念語集合を化する理由は，（1）複数の概念語間で共通している性質は各概念語と多く共起をしやすく，（2）類似する概念語同士はそれぞれ似たような形容詞と多く共起をしやすい，という二つの直感に基づくものである．入力された概念語の順序付けに適した形容詞であるかを評価するために，概念語との共起頻度をもとに形容詞をスコア化する．計算されたスコアが高い形容詞ほどより順序付けの観点として適したものとする．単純に概念語と観点との共起頻度だけを求めると「すごい」のような高頻度な観点が上位にくることになり，入力で与えた概念語集合に特徴的(a) 形容詞との直接の係り受け関係がある場合な観点を獲得することは難しい．
そこで，スコア付けには単語同士の結びつきの強さを示す相互情報量を用いることで，観点の出現頻度を考慮したスコア付けを行う．観点のスコアは以下のように計算する．

Score(観点) =1 ∑PMI(概念語n , 観点)
|N |

(1)

P (概念語, 観点)
P (観点)P (概念語)

(2)

n ∈ N

PMI(概念語, 観点) = log2(b) 形容詞と間接的に係り受け関係がある場合

図1

比較文の獲得例

ここで，N は概念語集合を表しており，|N | はその要素数，P (・)は単語の出現確率を示す．このようにして得られたスコアの高い形容詞を出力とする．なお，共起頻度をカウントする際の共順序付けする際に適した観点をウェブテキストから獲得する手法を提案する．本章では 2 つの手順についてその詳細を説明する．

3. 1 比較文を用いた観点の絞り込み
順序付けに適した観点は比較文で出現している可能性が高いという直感のもと，比較文を用いた観点の絞り込みを行う．具
体的には，与えられた概念語を含む比較文で出現している観点のみを出力の対象とする．これにより，順序付けの観点として適していない形容詞（「ない」や「そっくりだ」など）を候補から除外する
本研究での比較文の定義は，以下の 3 つの条件を全て満たす場合のものとする．

(1) 1 文中で，ある形容詞に対して 2 つの概念語がそれぞれ係り受け関係にある．

(2) 片方の概念語が形容詞と主格係り受け関係，もしくは「方（ほう）が」を挟んで形容詞と係り受け関係にある(3) もう片方の概念語の同一文節内に助詞「より」を含んでいる，もしくは「比較」，「比べる」を挟んで形容詞と係り受け関係にある
具体的な例を図 1(a) と図 1(b) に示す．以上のようにして概念語を順序付けする際の観点となりうる形容詞の候補を獲得する．
図 1 を例とすると，入力に「クジラ」もしくは「イヌ」が含まれている場合，形容詞「大きい」は出力される観点の候補として挙がることになる．

3. 2 共起頻度に基づく観点のスコア付け
絞り込まれた観点について，与えられた概念語集合を順序付けする際の観点として適性度をスコア付けする．概念語との共起頻度によって順序付けする際の観点としての適性度をスコア

起関係として同一文内共起を用いる．共起頻度を文の数で割ることで P (概念語, 観点) を求める．
このようにして得られたスコアをもとに降順で観点を出力することによって与えられた概念語を順序付けする際の観点として適性なものを獲得する．

4. 順序付け観点獲得の評価実験
本章では，前章で述べた提案手法を用いて概念語集合からそれらを順序付けする際に適切な観点の獲得を行う．スコアの上
位 10 件の適合率をベースラインと比較することで提案手法の有用性について検証する．概念語と形容詞の共起頻度の計算に用いるウェブテキストは，2006 年 2 月から 2012 年７月までに書かれたブログ記事 (約 2 億記事，19 億文) を利用した．また，形
態素解析には Kaji らの手法 [4]，係り受け解析には Yoshinagaらが開発した J.DepP [5] [6] を利用した．

4. 1 評価用データの作成
入力として与える複数の概念語に共通の観点が存在しなければ正しく評価することができないため，共通の観点を持つ類似した概念語の集合を予め作成する．本研究では，2009 年のブロ
グ記事からランダムに 1/10 抽出したデータをもとに作成された単語クラスタをもとに同一クラスタ内に存在する概念語から入力となる概念語集合を作成した．なお，クラスタリング手法には Brown クラスタリング [1] を使用した．
概念語集合は，以下のように作成した．まず，概念語を出現頻度順に並べ，類義語が存在しそうな概念語を選択する．次に，選択した各概念語の属するクラスタに着目し，クラスタ内に存在する概念語を頻度順に並べ，入力として与えた概念語と類似する概念語を選択し，最終的な概念語集合を作成する．例えば，
入力として「クジラ」を与えた場合，「動物」というカテゴリが

カテゴリ

概念語集合

動物

ネコ, ライオン, クマ, ウシ, ネズミ, クジラ, キリン, イヌ, ゾウ, サル

乗り物

飛行機, 電車, バス, 船, 新幹線, タクシー, 自転車, ヘリコプター, 自動車

酒ビール, ワイン, 焼酎, カクテル, シャンパン, ウイスキー, ハイボール チューハイ, マッコリ

食べ物

カレー, 焼きそば, ハンバーガー, チャーハン, パン, 寿司, ピザ, ステーキ パスタ, ラーメンスポーツ

野球, ゴルフ, サッカー, テニス, プロレス, 相撲, バレー, 水泳, ラグビー, ボクシング

果物

ナシ, マンゴー, リンゴ, ミカン, モモ, レモン, カキ, イチゴ, グレープフルーツ, パイナップル

家具

ストーブ, エアコン, ミシン, 扇風機, ドライヤー, ヒーター

職業

パティシエ, アーティスト, ミュージシャン, 力士 パイロット, ピアニスト, エンジニア, ボクサー, セラピスト, ジョッキー, レーサー

国

アメリカ, ロシア, 中国, イギリス, フランス, ブラジル, インド, カナダ, イタリア, ドイツ

都市

大阪, 京都, 横浜, 名古屋, 沖縄, 福岡, 札幌, 神戸, 仙台

貴金属

ネックレス, 指輪, イヤリング, ピアス, ブレスレット

コンピュータ パソコン, カメラ, プリンター, スマートフォン, カーナビ, ビデオカメラ
ゲーム機

ＤＳ, Ｗｉｉ, ＰＳＰ, ファミコン

服

スーツ, 着物, 浴衣, シャツ, ジャージ, パーカー, セーター, カットソー

企業

アマゾン, ヤフー, グーグル

楽器

ギター, ピアノ, バイオリン, フルート, チェロ, トランペット, オルガン, ウクレレ

花サクラ, ウメ, モミジ, チューリップ, アジサイ, コスモス, イチョウ, ヒマワリ, タンポポ

消耗品

シャンプー, トイレットペーパー, ティッシュ, ストロー運動

ダイエット, 筋トレ, ジョギング, ウォーキング, エクササイズ

賭博

パチンコ, 競馬, 競艇, パチスロ

嗜好品

タバコ, コーヒー, 茶, チョコレート, コーラ, ビール, ガム

お菓子チョコレート, アイスクリーム, ホットケーキ, ポップコーン, ポテトチップス, アップルパイ

記念日

バレンタインデー, ホワイトデー, クリスマス, ハロウィン, バースデー, イースター

建物

学校, ホテル, スーパー, マンション, コンビニ, カフェ, 幼稚園, レストラン, ジム

科目

数学, 歴史, 古典, 地理, 音楽, 政治

野球チーム

ソフトバンク, カープ, ライオンズ, ベイスターズ
表 1 概念語集合の組み合わせ想起できるので，動物名を同一クラスタから選択する．
以上の手続きにより，26 セットの概念語集合を作成した．本研究で入力として与えた概念語集合を表 1 に示す．

てスコア付けした手法をベースライン，比較文を利用した手法
を提案手法として適合率の比較をした．表 2 に提案手法とベースラインによって獲得された観点の適合率の平均 precision@n

また，本研究のタスクでは観点は形容詞と定義しているが，の評価値を示す．正例条件について，「全員」は 4 人全ての評価

表記の違い (「おおきい」と「大きい」など) により出力が複数

者順序付け可能な観点と判定した場合を正例とした時の適合率，となるのは実験の評価上好ましくない．また，表記の違いによ「1 人以上」は少なくとも 1 人の評価者が順序付け可能な観点

り共起頻度が分散することもスコア付けの観点からして好ましであると判定した場合を正例とした時の適合率を示す．適合率

くない．

の平均をみると precision@n は全ての場合において提案手法のそこで，表記を漢字に統一した．また，形容詞と反義形容詞

ほうがベースラインより優っているという結果になった．こののペア（「大きい」と「小さい」）も観点としては同意であるとことから，比較文によって観点を絞り込むことが順序付け観点

考え，出現頻度の高いほうに頻度情報を統合し，出力の対象をの獲得においては有用であることがわかった．

削減した．
上記の処理によって頻度情報を統合した後，出現頻度上位

1,000 件の形容詞を出力の対象となる観点とした．

表 3 には各カテゴリごとに獲得された観点の具体例を示す．
なお，表 3 は提案手法の precision@10 での評価の値を降順に並べている．適合率の高い概念語集合に着目をすると，食べ物

4. 2 評 価 方 法

や都市や乗り物など日常生活において比較する機会の多いもの獲得された観点が概念語を順序付けする際の観点として適切が上位に来ていることがわかる．また，実際に獲得された観点であるかを precision@n で評価した．各概念語集合に対してスをみてみると，概念語集合によって特徴的な観点が獲得できてコアの上位 10 件の観点に関して 4 人の評価者によって判定をいることがわかる．しかしながら，食べ物に関しては「美味い」

行い，最上位の適合率 (precision@1)，上位 5 件までの適合率「美味しい」，都市に関しては「暖かい」「暖かだ」といった同(precision@5)，全ての出力に対する適合率 (precision@10) に義語も多く含まれているということも分かった．

ついて評価者の平均を計算した．

4. 3 実 験 結 果
比較文による観点の絞り込みを行わずに，全ての観点につい4. 4 誤 り 分 析
前節の実験において，全ての評価者によって順序付けの観点として適していないと判定されたものについてその原因を場合

p@1

p@5

p@10

正例条件

ベースライン 提案手法 ベースライン 提案手法 ベースライン 提案手法

全員

35.6

41.3

40.2

49.4

39.3

44.2

1 人以上

50.0

57.7

60.0

69.2

61.5

61.5

表 2 precision@n による獲得された観点の適合率の評価
カテゴリ

形容詞リスト食べ物

美味い, 美味しい, 美味だ, 満腹だ, 旨い, ヘルシーだ, ジューシーだ, たっぷりだ, リーズナブルだ, 高級だ

都市

蒸し暑い, 肌寒い, 寒い, 暖かい, 恋しい, 有名だ, 近い, 暖かだ, 世話だ, 行方不明だ

乗り物

快適だ, 高速だ, 間近だ, 大形だ, うるさい, 便利だ, 危ない, 速い, 近い, 騒がしいゲーム機

ソフトだ, 夢中だ, 欲しい, 手軽だ, しょぼい, おもろい, めんどい, 面白い, 格段だ, 新しい

果物

甘酸っぱい, ジューシーだ, みずみずしい, 酸っぱい, フレッシュだ, さわやかだ, 美味しい, 爽やかだ, 小振りだ, 辛い野球チーム

好調だ, 強い, 有利だ, 苦しい, 熱い, 予想外だ, 厳しい, 楽しみだ, 明らかだ, 酷い

スポーツ

夢中だ, メジャーだ, 盛んだ, 好きだ, 熱い, 面白い, おもろい, 熱心だ, 大好きだ, 大嫌いだ

記念日

特別だ, 待ち遠しい, 盛大だ, スペシャルだ, 素敵だ, 寂しい, 可愛い, 近い, めでたい, いいだ

科目

無知だ, 偉大だ, 苦手だ, 興味深い, 難解だ, 身近だ, 緻密だ, 重要だ, 顕著だ, 深い賭博詳しい, 健全だ, 熱い, 堅実だ, 有利だ, 好きだ, 面白い, 簡単だ, 忙しい, おもろい

企業

便利だ, 詳しい, 可能だ, 正確だ, 格安だ, 詳細だ, 高い, 簡単だ, 巨大だ, 見易い

お菓子

香ばしい, 美味しい, 美味だ, 買い込んだ, 美味い, ヘルシーだ, 辛い, 大好きだ, たっぷりだ, 控え目だ酒

美味い, 美味しい, 旨い, 美味だ, 苦い, リーズナブルだ, ぴったりだ, リッチだ, 豊富だ, 辛い

動物

愛らしい, 賢い, でっかい, 可哀相だ, 可愛い, 大喜びだ, 巨大だ, 大形だ, そっくりだ, 器用だ

貴金属

可愛い, 欲しい, 高価だ, 細い, いいだ, クールだ, 地味だ, 大切だ, 美しい, 大事だ花

黄色い, 鮮やかだ, 可憐だ, 綺麗だ, 淡い, 見事だ, 青い, 真っ赤だ, 眩しい, 華やかだ

コンピュータ 便利だ, 大形だ, 高価だ, 手軽だ, 新しい, 好調だ, 欲しい, ソフトだ, 高速だ, 見易い
服

薄手だ, タイトだ, 洒落だ, 寒い, 赤い, シンプルだ, 色っぽい, 地味だ, 欲しいぴったりだ

運動

健康だ, ハードだ, 手軽だ, 最適だ, きつい, 軽い, しんどい, 気持ち良い, 有効だ, 楽だ

国

盛んだ, 優位だ, 根強い, 厳格だ, 有名だ, 強固だ, 深刻だ, 貧乏だ, 著しい, 興味深い

楽器

多彩だ, 重厚だ, 力強い, 素晴らしい, 上手だ, 美しい, 巧い, 素敵だ, シンプルだ, ステキだ

嗜好品

苦い, ほのかだ, 買い込んだ, 美味い, 格別だ, 旨い, 美味しい, マイルドだ, 辛い, 冷たい

家具

寒い, 暖かい, 快適だ, うるさい, 冷たい, 苦手だ, 邪魔だ, 臭い, 気持ち良い, 欲しい

職業

優秀だ, 若い, 素晴らしい, 最高だ, 未熟だ, 孤独だ, 好きだ, 過酷だ, 真剣だ, 抜群だ

建物

高級だ, 買い込んだ, おしゃれだ, 便利だ, 普通だ, 格安だ, 騒がしい, 近い, 一緒だ, 親切だ

消耗品

細い, 上手だ, 柔らかい, 痒い, 軽い, 便利だ, 優しい, 楽だ, 大人しい, 薄い
表 3 獲得された具体的な観点分けした．本節では，その原因について報告をする．

際にも除外されなかったと考えられる．そして，共起頻度をもカテゴリ自体の不適格さとにした計算の結果，高スコアになったため出力されたと考え

今回は同種の概念語を獲得するために Brown クラスタリング

られる．単語についてはカテゴリにおける特徴的な単語であるを利用しランダムに概念語集合を作成した．その中で適合率のため，スコア付け方法を改善するだけでは除去が難しいと考え低い結果となったカテゴリは表 2 より消耗品や建物や家具などられる．そのため，新たな観点の絞り込み手法を検討する必要が挙げられる．これらは適合率が上位の乗り物や食べ物とは違がある．

い，概念語同士を比較，順序付けする機会がそもそも少ない．

観点の不明瞭さ

その結果，それらのカテゴリとの結び付きが強い形容詞が順序

表 3 における，科目の「顕著だ」や国の「深刻だ」などがそれ付けをする際の観点としては不適切なものであったということにあたる．本来ならば主格を伴って用いられる形容詞を単体でが考えられる．

順序付けの観点として利用することは難しいと考えられる．こ

比較文と同じ構文を持つ文章の解決としてはフレーズ（「デフレが深刻だ」など）を観点と

表 3 に着目をすると，比較文による観点の絞り込みを行っていして獲得することが有効だと考えられる．

るにもかかわらず，比較文で出現しにくいと考えられる観点が獲得された．例えば，ゲーム機における「ソフトだ」，都市における「行方不明だ」がそれにあたる．これらについては以下のような文章で共起をしていた．

•

少年は東京より行方不明だ

これは比較文と同じ構文を持っているため，観点の絞り込みの5. 概念語の順序付けの評価実験
本章では，先行研究 [7] で提案した順序付け手法を用いて複数の概念語の順序付けを行う．さらに，人手で順序付けされた複数の概念語との順位相関係数を求めることにより，評価する．
先行研究 [7] では与えられた概念語と形容詞に対し，以下の式

カテゴリ

観点 (反義形容詞)

カテゴリ

形容詞

ρ (平均)乗り物

速い (遅い)

動物

可愛い

0.405

スポーツ

メジャーだ (マイナーだ)

乗り物

快適だ

0.542

運動

面白い (つまらない)

速い

0.856

国

貧乏だ (裕福だ)

酒

美味しい

0.095

都市

寒い (暑い)

食べ物

美味しい

0.399

貴金属

高価だ (安価だ)

リーズナブルだ

0.577

メジャーだ

0.748

コンピュータ 高価だ (安価だ)ゲーム機

面白い (つまらない)，新しい (古い)企業

便利だ (不便だ)，簡単だ (複雑だ)賭博

面白い (つまらない)，簡単だ (複雑だ)科目

苦手だ (得意だ)

野球チーム

好調だ (不調だ)，強い (弱い)

スポーツ
果物
国

表 4 カテゴリと観点の組み合わせs(概念語，形容詞) = P M I(概念語，形容詞)−P M I(概念語，反義形容詞)

面白い

0.48

酸っぱい

0.649

美味しい

0.409

有名だ

0.591

貧乏だ

0.105

都市

寒い

0.917

貴金属

高価だ

-0.174コンピュータ 高価だ

(3)

0.696

しょぼい

-0.162面白い-0.233を用いてスコア付けを行い，このスコアに従って順序付けを行

ゲーム機

新しい

0.894

う．PMI の算出にあたっては概念語と形容詞 (または反義形容

企業

便利だ

1.000

簡単だ

0.000

詞) との間の共起頻度を計算する必要があるが，我々は先行研

巨大だ

0.667

花

綺麗だ

0.571

賭博

好きだ

0.100

究 [7] の結果に従い，概念語と形容詞の係り受け関係を共起として考え，その頻度を前述のブログ記事を用いて算出した．手法の詳細については先行研究 [7] を参照されたい．

5. 1 評価用データ
実験に先立ち，評価用のデータを作成した．実際に順序付けお菓子する対象となる概念語集合は表 1 に掲載している概念語集合を

面白い

0.100

簡単だ

-0.146

美味しい

0.574

大好きだ

0.612

使用する．順序付けをする観点となる形容詞は観点の獲得実験

記念日

素敵だ

0.441

で全ての被験者が順序付け可能な観点と評価した観点を利用す

科目

苦手だ

0.591

重要だ

0.337

野球チーム

好調だ

0.757

強い

0.811

酷い

0.400

る．このようにして作成し，概念語集合とと観点のペアを表 4に示す．また，括弧内に記入されている形容詞は反義形容詞である．これらのペアを評価用データとし，順序付けをした．

5. 2 評 価 尺 度

表5

被験者の付けた順位の平均順位相関係数

提案手法によって得られた順位と人手によって作成された順
序付けの相関を，スピアマンの順位相関係数を用いて評価した．
本研究におけるスピアマンの順位相関係数 ρ は，順序付けをする概念語の総数を N ，順位相関を求める 2 つの順列を X と Y ，

X と Y における概念語 i の順位差を Di ，X と Y において同るものであるため，被験者が与えた順序付けとの相関は，各被験者による順序付けとの順位相関係数の平均を算出することで評価した．

5. 3 各順序付け対象における被験者間の一致度

順位の概念語の個数をそれぞれ nx と ny としたときのそれら与えられた各概念語集合の順序付けにおいて，人々の間でどの順位を ti と tj (i=1,2,...,nx ： j=1,2,...,ny ) としたとき，以れだけ一致度が異なるかを計るために，被験者同士の順序付け

下のように計算する．

ρ =Tx + Ty −
2

√

Di2
i=1

(4)

Tx Ty

N −N −3

Tx =の間の相関を評価した．表 5 に，被験者の順位相関係数の平均∑N

12N3 − N −でその値を示す．

∑nx(t3 − ti )i=1 iを示す．なお，相関係数の上位 5 位と下位 5 位については太字

(5)

∑ny

(t3 − tj )
i=1 j
Ty =
(6)
12
順位相関係数は -1 <= ρ < 1 までの値をとる．0 <= |ρ| < 0.2はほぼ相関なし，0.2 <= |ρ| < 0.4 は低い相関あり，0.4 <= |ρ|< 0.7 は相関あり，0.7 <= |ρ| < 1 は高い相関あり，と評価される．ρ が負の場合は負の相関について同様のことがいえる．
なお，スピアマンの順位相関係数は 2 つの順位の相関を求め

相関係数の高い順序付け結果となった組み合わせに見られる傾向は二つあると考えられる．まず，一つ目は順序付け対象となる概念語の数が少ないカテゴリが上位に来やすいということである．例えば，企業の便利さの順序付け結果は全ての被験者で結果が同じ（相関係数 1) であったり野球チームの強さも相関係数が高い結果となっている．これは，カテゴリ「企業」に
は 3 つしか概念語，「野球チーム」には 4 つしか順序付け対象が存在していないため，順序付けの一致する可能性が高くなると形容詞

上限値 手法 [7]

動物

可愛い

0.654

0.050

ついて検証する．表 6 に被験者によってつけられた順序と提案

乗り物

快適だ

0.777

0.385

手法によって順序付けされた順序との順位相関係数を示す．ま

速い

0.917

0.09

た，全てのありうる順序付けを考慮することで計算した順位相

酒

美味しい

0.528

-0.144

関係数の平均値の上限値も併せて示す．なお，表 7 と表 8 に具

食べ物

美味しい

0.733

-0.108

リーズナブルだ

体的な順序付け結果を載せる．

0.796-0.651

メジャーだ

0.888

0.021

面白い

0.773

0.155

酸っぱい

0.828

0.763

著者の知る限り，本研究のように複数のインスタンスを入力

スポーツ
果物

6. 関 連 研 究

美味しい

0.741

0.278

として与え，インスタンス間に共通する性質を表す形容詞を獲

国

貧乏だ

0.585

-0.151

得し，順序付けタスクに応用した研究はこれまで存在していな

都市

寒い

0.917

0.375

いが，類似するインスタンスや関係性を共通パターンによって

貴金属

高価だ

0.478

-0.311

獲得するというタスクについてはいくつか研究がなされている．

コンピュータ

高価だ

0.825

0.335

以下ではそれらの研究について簡単に紹介する．

ゲーム機

しょぼい

0.355

0.355

面白い

0.25

0.05

新しい

0.948

0.743

巨大だ

0.75

0.750

獲得することで同じ意味カテゴリに属する固有名詞（ディズ

企業

Wang らはウェブページ上の構造に着目し，入力インスタン
スに共通するラッパー（wrapper）で囲われたインスタンスを

便利だ

1

0.5

ニーの映画名など）の獲得を提案している [8]．本研究では共通

簡単だ

0.5

0.5

するパターン（形容詞）についてスコア付けをしているため，

花

綺麗だ

0.806

0.517

彼らの研究とは異なっていると言える．

賭博

簡単だ

0.495

-0.068Pantel らは入力としてある二項関係（is-a など）を持つペア

好きだ

0.55

0.45

（cat，animal など）を与え，共起する文脈パターン（A such

面白い

0.55

0.35

簡単だ

0.495

0.395

美味しい

0.793

-0.139を提案している [9]．この研究では本研究と同様にインスタンス

大好きだ

0.807

0.105

からパターン（また，その逆）を獲得する際に PMI を用いた

記念日

素敵だ

0.702

0.307

スコアリングを行っているが，本研究は比較文を利用したフィ

科目

重要だ

0.712

-0.236

ルタリングを行っていることから，より順序付けタスクに特化

苦手だ

0.835

0.435

した手法であるといえる．

酷い

0.724

0.571

好調だ

0.898

0.326

強い

0.924

0.724

0.725

0.234

お菓子

野球チーム

平均
表6

ングの場合の二通りを比較し，反義形容詞を利用する有用性に

カテゴリ

各形容詞に基づいて順序付けされた相関係数とその平均

as B など）をもとに同様の関係性を有するペアを獲得する手法

7. お わ り に本研究では，複数の概念語を順序付けする際に適した観点 (形容詞) を獲得する手法を提案した．実験では，比較文による観点の絞り込みを行うことで適合率が向上していることが分かっ言える．二つ目は定量的に評価できる観点であるということでた．このことから比較文による観点の絞り込みが順序付けの観ある．例えば，都市や乗り物の概念語の数は多いが，定量的に点を獲得する際に有用であることが分かった．また，獲得され評価できる気温や速度に基づく順序付けであるため，相関係数

た具体的な観点に着目をすると概念語集合によって特徴的な観が高くなっている．

点が獲得されたことも分かる．さらに先行研究 [7] を用いて各一方，相関係数が低い順序付けの結果となった組み合わせに見られる傾向としては，相関係数が高い順序付けとは逆に主観観点に対して概念語の順序付けを行い観点ごとに異なる順序が得られていることを確認した．

に基づく順序付けであるということである．簡単さや面白さと今後の課題としては以下の 4 点が挙げられる．

いった人によって基準が異なる観点をもとに順序付けした結果，

1 つ目はスコア付けの計算方法の再考である．表 2 をみると，相関係数が低くなったと考えられる．また，貴金属のような概全体の傾向として適合率の高さは precision@5，precision@10，

念語によって程度の強さに大きな幅がある（例えば，指輪とひprecision@1 の順であった．順序付けの観点として適切なものほと言でいっても高いものから低いものまで多く存在する）もの

ど高スコアになる設計を行ったため，本来であれば precision@1

を順序付けすると値段という定量的な観点にも関わらず，相関の適合率が最も高くならなければならない．これについては，係数は低くなることがわかる．

出現頻度の低い特徴的な観点ほど各概念語との相互情報量は高5. 4 順序付け結果

くなりやすいことが原因として考えられる．よって観点の出現

反義形容詞が定義されいている形容詞に着目し，単一形容詞

頻度が低い場合はスコアも低くなるようにするなどの設定をすによるスコアリングの場合と，対義形容詞対を用いたスコアリる必要がある．

2 つ目は観点の再考である．今回は順序付けの観点として形

速さ

快適さ

順位

オラクル

概念語

オラクル

概念語

1

飛行機

新幹線

飛行機

新幹線

2

新幹線

自転車

新幹線

バス

3

ヘリコプター 船

タクシー

電車

4

電車

ヘリコプター 電車

飛行機

5

自動車

飛行機

バス

船

6

タクシー

タクシー

船

自転車

7

船

自動車

ヘリコプター

タクシー

8

バス

電車

自動車

自動車

9

自転車

バス

自転車

ヘリコプター

相関係数

0.917

0.09

0.777

0.385

表 7 乗り物に関する順序付け
酸っぱさ

美味しさ

順位

オラクル

概念語

1

レモン

グレープフルーツ ナシ

マンゴー

2

グレープフルーツ

レモン

モモ

ナシ

3

パイナップル

イチゴ

パイナップル

パイナップル4

ミカン

パイナップル

イチゴ

リンゴ

5

イチゴ

ミカン

リンゴ

カキ

6

マンゴー

マンゴー

マンゴー

ミカン

7

ナシ

リンゴ

ミカン

イチゴ

8

リンゴ

ナシ

グレープフルーツ

グレープフルーツ

9

カキ

モモ

カキ

モモ

10

モモ

カキ

レモン

レモン

0.763

0.741

0.278

相関係数 0.828

オラクル

概念語

表 8 果物に関する順序付け

容詞の性質を利用したが，一形態素のみでは「深刻だ」のように観点としては抽象的すぎるものが多い．そこで，例えばフレーズ（「給料の高さ」や「体長の長さ」）に拡張し，観点の曖
昧性をなくすことで順序付けの観点を獲得する際の適合率が向上すると考えられる．

3 つ目は新たな観点の絞り込み操作の検討である．今回は比較文を利用して観点の絞り込みを行ったが，比較文以外にも同位表現（〜と〜は同じくらい〜だ）や，最上表現（〜は〜の中で最も〜だ）などの文章では順序付けの観点が出現しやすいと考えられる．今後はこのような新たな手がかりを組み合わせることで観点の絞り込みをすることを検討する．
最後に，今回は適合率のみで評価を行ったが，被験者にカテゴリから想起される形容詞を挙げてもらうことで再現率についても検証する必要があると考えられる．

文

献[1] P. F. Brownm V. J. Della Pietra, P. V. deSouza, J. C. Lai,and R. L. Mercer. Class-based n-gram models of natural
language Computational Linguistics; vol. 18, pp. 467–479,
1992.

[2] Yarowsky, D. Unsupervised Word Sense Disambiguation
Rivaling Supervised Methods. In Proceedings of ACL; pp.
189–196, 1995.
[3] John R Taylor. Linguistic Categorization. Oxford: Clarendon Press, 1989.
[4] Nobuhiro Kaji and Masaru Kitsuregawa. Eﬃcient Word
Lattice Generation for Joint Word Segmentation and POS
tagging in Japaneses. In Proceedings of IJCNLP, October
2013.
[5] Naoki Yoshinaga and Masaru Kitsuregawa. Kernel Slicing: Scalable Online Training with Conjunctive Features.
In Proceedings of COLING, pp. 1245–1253, 2010.
[6] Naoki Yoshinaga and Masaru Kitsuregawa. Polynomial toLinear: Eﬃcient Classiﬁcation with Conjunctive Features.
In Proceedings of EMNLP; pp. 1542–1551, 2009.
[7] 仁科俊晴，吉永直樹，鍜治伸裕，豊田正史. 対義形容詞対との相
互情報量を利用した概念語の順序付け WebDB Forum; 2013.
[8] Richard C. Wang and William W. Cohen. Languageindependent set expansion of named entities using the web.
In Proceedings of ICDM; pp. 342–350, 2007.
[9] Patric Pantel and Marco Pennacchiotti. Espresso: Leveraging generic patterns for automatically harvesting semantic
relations. In Proceedings of COLING/ACL; pp. 358–365,
2006.