人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-01

時系列データの探索的分析を支援する可視化システム:
記事と時系列データのアラインメント方式の提案
Visualization System for Exploratory Analysis of Time-series Data:
Alignment Method between Articles and Time-series Data
内藤 峻 1∗ 古田 遼樹 2 松下 光範 3
Shun Naito1 Ryoki Furuta2 Mitsunori Matsushita3
関西大学大学院 総合情報学研究科
Graduate School of Informatics, Kansai University2
数研出版株式会社
2
Suken Shuppan
3
関西大学 総合情報学部
3
Faculty of Informatics, Kansai University
1

1

Abstract: The goal of our study is to support a user’s analysis of time-series data in an exploratory manner. Such exploratory analysis requires repeated access to various types of information related to the user’s interests such as texts and numerical data. To support such theuser’s analysis, we have proposed a system that visualizes temporal changes in time-series dataand presents the causes of those changes with the data. In this paper, we improve the system byadding an alignment function between news articles and time-series data. By using this function,
the user can find articles that relates to the time-series data easily.

1

はじめに

タのアラインメント方式を提案する．この方式をシステムに組み込むことにより，効率的に時系列データと文章を対応付けることができる．さらに，新たに実装したインタフェースの機能について述べる．

時系列データとは，熊本地震の被害者数や気温など
時間の経過に伴って変化するデータである．このような時系列データは意思決定や問題解決の場面で役立てられている [1]．意思決定や問題解決の場面では，時系
列データの値の変化やその変化の要因を分析すること
で，有益な情報や新たな知見を得ることが重要である．
しかし，このような時系列データの分析は仮説の生成や検証を探索的に繰り返す負荷の高い作業であるため，ユーザがこのような探索行為を円滑に行うことが難しいという問題がある．そこで本研究では，ユーザの興
味や関心に応じて様々なモダリティの情報へのアクセスを繰り返しつつ時系列データを分析するための支援システムの実現を目指している．その端緒として，著者らはこれまでに，新聞記事と地図，統計データを対象に，ユーザが時系列データの経時的変化とその変化の要因を把握できるようにする可視化インタフェース
を提案してきた [2][3]．本稿では，そのインタフェースに組み込む機能の 1 つとして，新聞記事と時系列デー2

図 1 に本システムの目指す構成を示す．現状のシス
テムは新聞記事 DB，統計 DB，地図 DB を人手で作成している．人手での作成は，効率性や網羅性，リアルタ
イム性の点で問題がある．そのため，システムに用いるデータは WEB から抽出することを考えている．新聞記事 DB には，クローラを用いてあるトピックに関する記事を収集し，スクレイピング技術を用いて本文や見出しを抽出する．また，抽出された見出しや本文から自然言語処理技術を用いて日付や国名，出来事に関する文を抽出することを考えている．統計 DB や地図 DB は，オープンデータとの連携を検討している．

∗ 連絡先： 関西大学大学院総合情報学研究科知識情報学専攻〒 569-1095 大阪府高槻市霊仙寺町 2-1-1
E-mail: mat@res.kutc.kansai-u.ac.jp-

システムの全体像とこれまでの取
り組み

1

-

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-01

図 2: システムの全体像
アイコンに対応する記事が表示される．さらに，グラフペイン (図 2–B) には，複数の統計グラフと凡例が提示されるようになっている．ユーザは凡例の左にあるチェックボックスに比較したい国を選択することでグラフペインに複数の統計グラフを描画することができる．これにより，ユーザは興味を持った国同士の統計量の変化を比較することで他国からの影響や規模を詳しく知ることができる．
現状のシステムには，トピックを選択する機能や地図上のアイコン，複数の統計グラフを描画する機能は実装されていないが，将来的にはこれらの機能を全て実装するつもりである．
図 1: システムの構成

2.1

2.2

システムの全体像

図 3 に，本研究で対象とするデータの関連性を示す．
システムの機能は，図 3 に示される情報アクセス行為を行えるように実装された．グラフペインには，ユー
ザによって選択された日付を表示する青い線 (図 2-À)と記事の有無を表すアノテーション (図 2-Á) が表示されている．ユーザは青い線を左右にドラッグして日付を選択することができる．日付を選択すると，その時点の統計量が地図にマッピングされる．これによって，ユーザはグラフを見て興味を持った時点の統計量の変化が地理的な影響を受けいているのか，周辺の国に影響を与えているのか，把握することができる (図 3-À)．
また，青い線をアノテーションに重ねると，その時点で起こった出来事について記述された記事がハイライトされる．これによって，ユーザはグラフを見て興味を持った時点の統計量の変化の理由や背景を知ることができる (図 3-Å) ．さらに，地図にマッピングされた国はクリックすることができる．国をクリックすると，

著者らは，ユーザが効率的に時系列データを分析することができる可視化システムについて研究している．
図 2 に理想のシステムの全体像を示す．システムは，トピックを選択する選択ボックス (図 2–I) ，地図を表示
する地図ペイン (図 2–A) とグラフを表示するグラフペイン (図 2–B) ，記事を表示する記事ペイン (図 2–C)で構成されている．選択ボックスには，「エボラ出血熱」
や「台風」といったトピックがプルダウン形式で表示される．ユーザがトピックを選択すると，そのトピックに関連する統計量がグラフとしてグラフペインに描画され，同時に地図ペインには関連する地図を，記事
ペインには関連する記事が表示される．また，地図 (図2–A) に記事の有無を表すアノテーションとしてアイコンが付与されている．地図上のアイコンは文献 [4] を参考に，5 種類 (理由，背景，状況，出典，その他) を考えている．ユーザがアイコンをクリックすると，その-これまでの取り組み2-

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-01

たり，センサを用いて取得される．そのため，これらのデータは正確である．
地図は地球や地表，架空の世界の全部もしくは一部
を平面上に縮尺表現したものである．例えば，地球全体もしくは大部分を表現している世界地図や統計デー
タを地図上に表した統計地図などがこれに当たる．地図は空間的な位置関係や方向，距離，面積，形，高さを知る上で有用である．また，ある時点の統計量を地
図にマッピングすることで，出来事の規模や地理的な広がりを把握できるといった特徴を持っている．
これらの情報はそれぞれ単体でも用いることができるが，ユーザの興味となる要素をトリガとしてインタ
ラクティブに情報を提示することで，円滑な情報アクセスが可能なインタフェースを実現できると考えている．
図 3 で示したデータの関係性から，ユーザは，統計
地図を見て出来事の地理的な影響や規模を把握しつつ，新たに統計値がマッピングされた国や統計量の特徴的な変化に興味を持ち，その理由や背景を知るために新聞記事を参照する (図 3-Â)．また，新聞記事で言及されている出来事に興味を持ち，その出来事の地理的な影響や規模を把握するために統計地図を参照する (図3-Ä)．本研究では，このような情報アクセスを行える
ように，システムの機能をデザインした．これによって，ユーザの探索行為を円滑にする．

図 3: 対象とするデータの関係性
その国の統計量がグラフとしてグラフペインに描画される．これによって，ユーザは興味を持った国の統計量の変化を詳しく見ることができる (図 3-Á) ．加えて，記事をクリックすると，記事に含まれる日付がグラフ上に表示される．これによって，ユーザは記事を見て興味を持った出来事がグラフのどの時点で起こったのか把握することができる (図 3-Ã) ．
残りの新聞記事から地図へのアクセスと地図から新聞記事へのアクセスを行うユーザの振る舞いと機能 (図3-Âと図 3-Ä) については，3 節で述べる．
現状のシステムでは，記事の有無を表すアノテーショ
ン (図 2-Á) は，人手で記事の本文を見て日付を抽出し，グラフの日付と対応付けられている．人手での対応付
けは効率性や網羅性，リアルタイム性に欠けるという問題がある．4 節では，この問題を解決するために，記事の有無を表すアノテーションの付与の自動化について検討した方式について報告する．

3

新聞記事と地図との間のインタラ
クション

3.1

デザイン指針3.2

本システムでは，対象データとして 2014 年の西アフ
リカエボラ出血熱流行に関する統計データ 1 とそれに言及している新聞記事データを用いた 2 ．統計データ
は，2014 年 3 月 22 日から 2014 年 11 月 26 日までの日付と累計患者数，各国の感染者数を csv 形式のデータとして纏めたものである．新聞記事データには，2014
年 10 月 9 日から 2014 年 10 月 30 日までの毎日新聞の記事 (計 18 記事) を用いた．次に，これらの記事からエボラ出血熱について書かれた記事を選び，その記事から出来事に関する文のみを抜き出した．さらに，その文から出来事が起こった日付と場所を示す国名を抜き出し，抜き出した出来事に関する文章の統計量名，を付与したものを csv 形式のデータとして用意した．日
付は記事に含まれている「数字＋日」を抽出し，年と月を加え「年/月/日」とデータを正規化した．出来事に関する文は，「米国内で初めてエボラ出血熱の感染が確認されていたリベリア人男性 (42) が８日朝，南部テ
キサス州ダラスの病院で死亡した」といった文の一段落分を抽出した．国名は，本文中の「米国」や「リベ

本節では，先行研究で検討した新聞記事と統計デー
タ，地図の特徴とデザイン指針について述べる [3]．
新聞記事は，ある時期における出来事やその出来事が起こった原因，場所，統計量，その統計量の具体的な値への言及や予測，記者の意見などが書かれている．
そのため，出来事が起こった理由や背景を理解する上で有用である．しかし，新聞記事に書かれている統計量の値は近似値が用いられているため正確でなかった
り，記者の観点で纏められていたりするため，客観性に欠ける．
統計データは，ある観測された場所において，ある
時点の事象について測定された値である．例えば，人口統計や外国為替相場の推移などがこれに当たる．こ
れらの統計データの値は，政府や国際連合の専門機関などが実施している厳密な環境において観測されてい-実装

1 http://ja.wikipedia.org/wiki/2014 年の西アフリカエボラ出
血熱流行
2 現在は，統計量名の種類としてエボラ感染者数のみしか対応し
ていない

3

-

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-01

リア」等の名詞を抽出し，「米国」や「米」，「アメリカ」
な動向には，人間が視覚的に捉えるグラフの挙動を説など同じ国のことを指し示している表現は「アメリカ」
明するのに適切なテキストが生成される．
といったように 1 つの単語に統一した．統計量名は，本また，Ahmad らや Boyd は時系列データに Wavelet
文の「死亡した」や「死者」といった語句から「エボラ解析を行い，グラフの特徴を特定し，自然言語テキス
死者数」，「感染が確認された」や「感染者数」といったトを生成する手法 [7][8] を，馬野らは全体的傾向と局所語句から「エボラ感染者数」を人手で判断し，統計量的特徴を組み合わせて時系列データ全体を言葉で表現の名称を付与した．また，統計量名がない場合は「非する手法を各々提案している [9]．
統計情報」とした．記事ペインの各記事のスニペット
これらの手法を用いることで，時系列データと記事には，これらの情報がタグ付けられている．
のアラインメント行うことも考えられるが，日付や変3.1 節で述べたデザイン指針に基づき実装した機能に動の曖昧な表現についてはほとんど考慮されていない．
ついて述べる．ユーザが国をクリックすると，その国本研究は，自然言語表現の中でも期間と変動の曖昧名が含まれる記事がハイライトされる機能を実装した． な表現に着目し，グラフの各始点と終点との一致度をシステムは，国がクリックされたことを判断すると，選算出することでアラインメントを試みる点が先行研究択された国名を記事モジュールへと引き渡す．記事モと異なる．
ジュールは引き渡された国がタグ付けられている記事
時系列データと文書を組み合わせるには，文書中にをハイライトする．これにより，ユーザは地図を見て含まれる時系列データに言及した文章から，該当する
興味を持った国に関する統計量の変化の理由や背景を時系列データの箇所を特定する必要がある．例えば「中把握することができる．
国経済の先行き不透明感から日経平均株価は 1 月 7 日
記事をクリックすると，その記事に含まれる国がハに 18000 円を割り込んだ」という文章の場合，日付に関する表現（i.e., 「1 月 7 日」）と値に関する表現（i.e.,
イライトされる．システムは，記事がクリックされたことを判断すると，データがタグ付けられた記事のス「18000 円」）から対応する時系列データ（i.e., 日経平
ニペットから記事中に含まれる国を地図モジュールへ
均株価データ）の該当する箇所を特定し，時系列デーと引き渡す．地図モジュールは引き渡された国をハイタと文書の紐付け処理（以下，アラインメントと記す）
ライトする．これにより，ユーザは興味を持った記事を行う．しかし，文書中の表現は必ずしも明確な数値の出来事の影響や規模を把握することができる．
で記述されるわけではなく，「中国経済の先行き不透明
感から，日経平均株価は １月初頭 に 大きく下落 した」のように，下線部のような曖昧な表現を用いて期間や4 新聞記事と時系列データのアライ 値の変動が記述される場合も多い．このような文章からアラインメントを行うには，これらの表現を解釈し，ンメント方式
該当する箇所を特定する必要がある．本稿では，このような文章に含まれる曖昧表現として日付に関する曖
4.1 対象とする課題
昧表現（e.g., 「中旬」「初頭」）と値の変動に関する曖
現状のシステムでは，時系列データと文書との対応
昧表現 (e.g., 「上昇」「下落」）のふたつに着目し，こ付けは人手に委ねられており，効率性や網羅性の点でれらから時系列データの該当箇所を特定する方式につ問題がある．この問題を解決するため，本研究では新いて検討する．
聞記事やブログなど時系列データの変化の理由や背景が記述された文書が，時系列データのどの期間に対応しているのかを自動的に推定し，それらを紐付けて提4.2 提案手法
示する手法の実現を目指す．
図 4 に，グラフで表現した時系列データとそれに言時系列データと文書を対応付けるための研究は多数及したふたつの文章を示す．図 4 中の (α) と (β) の文
行われている．例えば，小林らはグラフで示された数
書では変動に関してどちらも「下落した」と言う表現
値情報を自然言語テキストで説明する手法を提案してが用いられているが， (α) の文章が紐付けられるべきいる [5]．提案手法は選択体系機能言語理論を用いてグは図 4-A の領域であり，(β) の文章が紐付けられるべラフの特徴と言語表現の関係を分析し，それに基づき
きは図 4-B である．このようなアラインメントを行う
テキストを生成している．また，日経平均株価のグラ
場合，文書に含まれる変動に関する表現と日付に関す
フとその動向を説明するテキストを用いてグラフとテキストが協調的に提示される手法を提案している [6]． る表現の両方を満たす箇所を時系列データから特定することになる．ここで，「下落した」という表現を解釈
この手法では，長期的な動向には，グラフの表示状態
する場合，
(β)
のような場合には時系列データの値は必に合わせてテキストを要約し，提示している．短期的
ずしも単調減少するわけではなく，その途中で一旦上

-

4

-

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-01

図 4: 時系列データと文書の対応
図 5: 期間のファジィ集合

昇に転じている場合も該当するため，単調減少している箇所のみをアラインメントの候補にするのではなく，(1) 領域内で単調減少している割合が高い，(2) 領域内
で始点の値が最も高く終点の値が最も低い，というふたつの条件を満たす領域を選択する必要がある．本研
究では，時系列データを極値で分割し，任意の二つの極値の間の時系列データを候補としてアラインメント
対象の文章に照らして「変動に関する一致度」と「日付に関する一致度」のふたつを算出し，それらの値の積が最も高くなる期間をアラインメントを行う最尤期間とする．
この方式では，任意のふたつの日付 dA , dB (dA < dB )で挟まれた期間 [dA , dB ] の時系列データを対象として，変動に関する一致度 Cf と期間に関する一致度 Cd を求め，それらの積を文書との一致度 C とする．Cf は[dA , dB ] で変動に対する曖昧表現を満たす区間の割合である．日付 d の時系列データの値を f (d) とすると，例えば「下落した」の場合は， [dA , dB ] において f (dA ) が最大かつ f (dB ) が最小という条件の下で，
f (d) < f (d + 1)(但し dA ≤ d < dB ) となる部分区間の割合を Cf とする．また，期間に関する一致度 Cd
は，日付に関する曖昧表現を日付の始点と終点を表す
ファジィ集合を各々 Ms (d)，Me (d) として（図 5 参照），Cd ＝ Ms (dA ) × Me (dB ) で算出する．これらから， C = Cf × Cd を算出し，それが最も高い値とな
る [dA , dB ] を最尤区間とする．

4.3

表 1: 文章（A）に対するアラインメント候補
順位
期間
一致度
1 位 11/1 - 11/11
0.80
2 位 11/2 - 11/11
0.70
3 位 11/4 - 11/11
0.60
4 位 11/1 - 11/14
0.54
5 位 11/2 - 11/18
0.47
用いて，これらのアラインメントを試みた．文章（A）
に対するアラインメント候補上位 5 件の期間及び一致
度 C を表 1 に，各々の文章の最尤区間をグラフで示したものを図 6 に示す．図 6 の結果から目視ではあるが，それぞれの文章が各時系列データの該当する箇所に対応付けられていることがわかる．しかし，一致度の算
出するにあたり，「末」や「初頭」など短い期間に関する一致度が全体的に低くなるとともに，候補数が極端に少なる傾向が見受けられた．これは，ファジィ集合に設定する日付を変更すると確信度が大きく変化するからである．今後は，より多様な時系列データと文章を対象としてアラインメントを行い，提案手法の精緻化を目指す．加えて，システムによって提示されたアラインメント候補の妥当性を検証するために被験者実験を行う必要があると考えている．これにより，人間が言語を介して行っている知的情報処理により近いアラインメント候補を求めることができる．

評価と考察

5

提案手法を用いたシミュレーションとして，時系列データとしてマネースクウェア・ジャパンの HP(http://www.m2j.co.jp/market/historical.php) で公開されている米ドル/円の為替レートのうち 2014 年 10 月
1 日から 11 月 28 日までのデータを，それに言及する
文章として WEB 上から取得した（A）「11 月上旬は
上昇した」
（B）
「10 月末は下落した」の 2 つの文章を

-

おわりに

本稿では，時系列データの探索的分析を支援するシ
ステムの実現に向けて時系列データと新聞記事をアラインメントする方式を提案した．この方式をシステムに組み込むことにより，効率的に時系列データと文章を対応付けることができる．また，これまでの取り組

5-

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-01

図 6: 推定された最尤アラインメント期間

みとこれから目指すシステムの全体像について述べた．
さらに，インタフェースに地図と記事に相互にアクセスできる機能を実装した．これにより，興味を持った国に関する統計量の変化の理由や背景を把握したり，記事の出来事の影響や規模を把握したりできる．現在のプロトタイプシステムは，「エボラ出血熱」というトピッ
クのみしか対応していないが，同じ要素を持つ「熊本地震」や「台風の被害」などのトピックにも応用することができるため，他のトピックも分析できるようにするつもりである．今後の展望としては，システムに必要な新聞記事のデータを Web から自動で収集する仕組みを検討している．具体的には，クローラとスクレイ
ピング技術を用いてニュースサイトから記事の本文を抽出することを考えている．これにより，熊本地震のようなトピックを分析する人がリアルタイムな情報を見て分析を行うことができたり，システムの自動化に繋がったりする．さらに，グラフペインに複数の統計グラフを描画する機能を実装しようと考えている．時
系列データの分析をする場面では，1 つのデータを見るだけでなく複数のデータを比較し，相関や違いを見ることが重要である．この機能により，ユーザは複数の統計データを比較することが可能になる．

the 2015 Conference on Technologies and Applications of Artificial Intelligence, pp. 227–231(2015)[3] 内藤峻, 松下光範: 時空間動向情報を対象とした探索的データ分析のための可視化インタフェースの提案, ARG 第 6 回 Web インテリジェンスとイン
タラクション研究会, No.6, pp. 31–36 (2015)[4] 松下光範，加藤恒昭：言語情報と数値情報の相補的利用を目指した可視化手法，第 21 回人工知能学会全国大会，3H8-3 (2007)[5] 小林一郎: グラフ情報の自然言語処理に関する研究 日本ファジィ学会誌, Vol.12, No.3, pp.406–416(2000)[6] 小林 一郎, 渡邉 千明, 奥村 奈穂子: グラフとテキストの協調による知的な情報提示手法: 日経平均
株価テキストとグラフの提示を例にして, 情報処理学会論文誌, Vol. 48, No. 3, pp.1058–1070 (2007)[7] Saif Ahmad, Paulo C F de Oliveira, Khurshid
Ahmad: Summarization of Multimodal Information, Proc. 4th International conference on Language Resources and Evaluation, pp.1049–1052(2004)

謝辞
本研究の遂行にあたり，文部科学省科学研究費 (課題番号：15H02780) の助成を受けた．記して謝意を表す．

[8] Sarah Boyd: TREND: A System for Generating Intelligent Descriptions of Time-Series Data,
Proc. IEEE International Conference on Intelligent Processing Systems (1998)

参考文献[9] 馬野 元秀, 小泉 尚之, 篠原 貴之, 瀬田 和久: 全体
的傾向と局所的特徴に基づく時系列データの言葉による表現, 第 22 回ファジィ システム シンポジ
ウム 講演論文集, pp.343–346 (2006)[1] 藤本和則, 木村 陽一, 松下 光範, 庄司 裕子: 意思
決定支援とネットビジネス, オーム社 (2005)[2] Naito, S., Matsushita, M.: Supporting Consecutive Data Exploration by Visualizing Spatiotemporal Trend Information, in Proceedings of

-

6

-

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-02

レビュー閲覧履歴からの価値観モデリングを用いた情報推薦システム
Recommender System Using Personal Values-based User Modelingfrom Browsing History of Customer Reviews
高間 康史 1∗
Yasufumi Takama1

清水 涼人 1
Suzuto Shimizu1

首都大学東京システムデザイン研究科
Graduate School of System Design, Tokyo Metropolitan University
1

1

Abstract: This paper proposes a method for generating a user model reflecting user’s personalvalues from user’s browsing histories of customer reviews. This paper also proposes a recommendation method using the personal values-based user model. Existing recommendation methods suchas collaborative filtering and content-based filtering tend to be less accurate for new users anditems due to the lack of information about them. The personal values-based recommender system
is expected to realize more precise recommendations for new users. As a customer review contains
reviewer’s evaluation of an item and its attributes, the proposed method estimates attributes on
which a target user put high priority when evaluating items from customer reviews the user refers
to for his/her decision making. This paper examines the eﬀectiveness of the proposed method withuser experiments.

1

はじめに

一つであり，情報推薦に応用する手法が近年研究されている [2, 7]．価値観とは物事を評価する際に個人ある
いは社会などが採用する優先順序や重みづけの体系であり，こだわりとみなすこともできる．従って，ユー
ザの価値観を適切にモデル化することができれば，単なる人気アイテムではなく，ロングテールでもユーザが好むアイテムの推薦など，情報推薦が本来必要とされる場合に有効性が期待できる．また，個人の価値観が意思決定に安定して反映されるのであれば，少数の情報からユーザモデルを構築できる可能性もある．この点に関して，服部らが提案している評価一致率を用いた価値観モデル [2] では，少ない嗜好情報やインタラ
クションからモデル構築が可能であることが報告されており，本稿でもこれを採用する．
ユーザモデル構築に用いる情報として，先行研究 [3]ではユーザが投稿したレビューを用いている．しかしこの手法では，レビューを投稿していない新規ユーザに対しては価値観モデルを作成できないため，cold-start問題には対応できない．また，そのアイテムに対する総合評価と各属性に対する評価をユーザから明示的に取得し，価値観モデルを構築するアプローチも存在する
が [2]，各属性に対して評価を行うことはユーザにとって負荷の高い作業であり，モデルの作成のコストが増大する．

本稿では，レビューを評価した履歴に基づきユーザの価値観をモデル化する手法を提案し，情報推薦に適用してその有効性を示す．情報推薦は，ユーザが好む情報やアイテムなどをシステムから提示するための技術であり，膨大な情報にアクセス可能な現代社会にとって必要不可欠な基盤技術となっている．Web 上には多様なオンラインショッピングサイトやレビューサイトが存在し，満足度ランキングやベストセラーなどといった非個人化推薦も含めれば，多種多様な情報推薦技術がすでに実用化されている．しかし，個人に適応した推薦を行うためには対象ユーザに関する多くの情報が必要であり，新規に利用を開始したユーザに対して適切な推薦を行えないという問題が指摘されている [11]．
また，十分な推薦精度を得るためには，一般に多くの情報を必要とする．これらの問題を解決し，情報推薦システムの適用範囲を広げるために，より少ない情報から推薦を行う必要性が高まっている [5]．
より少数の情報から安定したユーザモデルを獲得するために，本稿では価値観に着目する．価値観は個性や嗜好などとともに，意思決定に影響を与える要因の∗ 連絡先：首都大学東京システムデザイン研究科〒 191-0065 東京都日野市旭が丘 6-6
E-mail: ytakama@tmu.ac.jp

-

7

-

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-02

そこで，本稿ではレビューをユーザが閲覧するという行為から，ユーザの価値観をモデル化する手法を提案する．ユーザはレビュー文章や属性別評価などの情報を閲覧し，そのレビューおよび言及されているアイ
テムに対し評価や選択などを行う．これらの情報から，ユーザの評価とレビュー内で示されている評価を好評・不評に分類し，評価一致率を用いてユーザのアイテム
選択における価値観をモデル化する．提案手法では，レビューを書いていない新規ユーザに対しても価値観モデルを作成可能であり，またレビュー閲覧はオンライン
レビューサイトなどで一般的な行為であるため，コスト面での効率化も期待できる．先行研究 [12] では，ユー
ザに提示するレビューを事前に決定していたが，提案手法では，ユーザの評価情報から次に提示するレビュー
を動的に決定することで，システム構築コストの削減とユーザ価値観の素早い推定を目指す．レビューの提示方法に関して，動的提示とランダム提示の 2 種類でユーザモデルを作成し，アンケート回答との比較や評価件数の観点などから比較を行う．
アイテム推薦に関する評価実験では，提案手法を用いて作成したユーザモデルに基づく推薦，ランダム提示を用いて作成したユーザモデルに基づく推薦，満足度ランキングに基づく推薦の 3 種類を実施し，その結果を比較して提案手法の有効性を示す．

2

関連研究

2.1

情報推薦

ザに対する推薦が困難という cold-start[11] 問題や，評価情報の不足による sparsity 問題などが指摘されている．内容ベースフィルタリングは新規ユーザであっても嗜好情報が取得できれば推薦可能である一方，コンテンツに関する情報が場合によっては取得困難であるといった欠点がある．

2.2

通常の情報推薦システムではユーザの嗜好を推定し，利用するのに対し，個性や価値観といった，意思決定に影響を与える他の要因に着目した研究もおこなわれている．心理学などの分野において，価値観を構成する要因である Rokeach Value Survey[10] や，個性を構成する要因である Big Five[1] などが知られており，これらに基づきユーザの価値観や個性を分析するアプロー
チが有名であるが，情報推薦への応用を考えた場合，対象アイテムの評価により直結した要素に基づきユーザの価値観や個性をモデル化する方が好ましい．このようなアプローチとして，伊藤らは主成分分析を用いて評価傾向が類似するユーザを求め，推薦に利用する手法を提案している [4]．また，アイテムの評価に関連する属性に基づき価値観や個性を捉えるアプローチも存在する．Wu らは重要な属性について多様なアイテムを推薦する手法を提案しており，多様性の度合いは，ユー
ザの個性と多様性に対する要求との関係に基づいて決定している [13]．
服部らは，アイテムの持つ属性が，ユーザの意思決定において重視される度合いを表す指標として評価一
致率（rate matching rate, RMRate）を提案している[2]．この手法では，ユーザのアイテムに対する評価極性（好評または不評）とアイテムの各属性に対する評
価極性を用いて，属性ごとの評価一致率を計算しユーザモデルを作成する．ユーザ ui のアイテム xj への評
価極性を pij ，アイテムの属性 ak への評価極性を pkij とすると，ui の ak における評価一致率 RM Rik は式 1 で算出される．Ii は ui が評価したアイテム集合，δ(x, y)
は x と y の値が等しい時 1，異なる時に 0 を返す関数とする．

現在では多くの Web サイトで情報推薦技術が使用されている．例を挙げると，Amazon や楽天ショッピ
ングサイトなどでは TOP ページにユーザに対するお勧めアイテムを掲載しており，情報推薦の使用頻度は多くなってきている．
情報推薦の代表的な手法として，協調フィルタリン
グ [9] と内容ベースフィルタリング [8] が挙げられる．
協調フィルタリングは，同一サービスを利用する多数
ユーザの行動履歴に基づいてユーザ間の類似度を計算する．この計算結果を利用して，「類似ユーザのアイテムに対する嗜好は類似する」という仮定に基づき推薦対象ユーザが未評価のアイテムに対する評価を予測する．
内容ベースフィルタリングは，アイテムのコンテンツに関する情報を利用した推薦手法である．コンテンツに関する情報としては，映画についてはジャンルや監督，主演など，画像などに対しては付与されたタグ，
文書であれば含まれる単語などが利用される．ユーザ
が好む情報を推定し，これをコンテンツとして持つアイテムを推薦する．協調フィルタリングではコンテンツに関する情報が不要という利点がある一方，新規ユー-

価値観モデリングと情報推薦∑
RM Rik =kxj ∈Ii δ(pij , pij )

|Ii |

(1)

価値観モデルの情報推薦における活用方法として，内容ベースの推薦手法や協調フィルタリングに適用した手法が提案されている. 内容ベースの推薦手法では，外部にある映画データベースを利用した情報推薦システ
ムにおいて，推薦対象ユーザの評価一致率が高い属性について，ユーザが過去に評価した映画の属性値を持
つ映画を検索し，推薦アイテムを取得している [2]．

8-

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-02

協調フィルタリングに価値観モデルを適用したシス
テム（価値観モデルベース CF）[6] では，推薦対象ユー
ザと他のユーザの価値観に基づくユーザモデルの相関係数を計算し，これをユーザ間の類似度として近傍ユーザを求める．通常のユーザベース CF とは，相関係数の求め方が異なるだけであり，予測評価値の計算などは通常のユーザベース協調フィルタリングと同様である．
価値観モデルベース CF を用いることで，低い評価値が付与されている場合の予測精度向上などの結果が得られている [6]．また，ユーザモデルの次元数はアイテ
ムの評価に関する属性数と同じであり，これは一般的なレビューサイトでは数種類と少ない．従って，ユー
ザ間類似度に利用する行列はユーザ・アイテム行列よりも密な行列となるため，類似度を計算可能なユーザ数が増加するという利点もある．

3

レビュー閲覧履歴からの価値観モ
デリング

3.1

価値観モデリングのためのレビュー提示質」についての評価が書かれており，ユーザは「画質」にこだわりを持ってデジタルカメラを購入したと推測できる．実際には，レビューテキストを解析して言及されている属性およびその評価極性を抽出するのではなく，レビューに付与された評価値を利用する．従って，総合評価だけでなく属性別評価も利用可能なオン
ラインサイトを対象とする．
上述の通り，提案手法においてユーザはレビュー記
事を読んでアイテムを評価するが，評価一致率の計算
はレビューに付与されている属性評価値に基づき行う．
従って，価値観モデリングを効率的かつ精度よく行う
ために，ユーザに提示すべき有用なレビューの条件を
以下のように定義する．

1. レビュー内容と属性別評価の極性が一致していること
2. 特定の属性に対して根拠を示し言及していること
3. 全属性が高評価（低評価）に偏っていないこと(1) に関して，提案手法では属性別評価に基づき評価一致率を計算するため，レビュー内容と属性別評価が対応しないものは適さない．また，(2) に関しては，どの属性にも根拠が言及されていないレビューは属性に関し有用な情報を提供していないため適さない．(3) については，例えば属性別評価が全て 5 のレビューを参考にしてアイテムを評価した場合，どの属性に着目したかが判断できないため，価値観モデリングには適さない．
先行研究 [12] では，デジカメに関するレビュー 3 件
を 1 組とし，合計 20 組のレビューセットを作成して，ユーザモデリングおよびその結果を用いたアイテム推薦についてのユーザ実験を行っている．20 名のユーザに対し実験を行った結果，満足度ランキング上位のアイテムと同程度の推薦精度が得られることを示している．
これに対し本稿では，固定的なレビューセットを用いるのではなく，対象ユーザの価値観モデルを逐次更新しながらその値に基づき提示レビューを決定する，動的なレビュー提示手法を提案する．これにより，ユー
ザの価値観モデルをより効率的に構築可能となる効果
だけでなく，事前にレビュー組を作成する必要がない
ことからシステム構築コストの削減効果も期待できる．
動的レビュー提示によるユーザモデル構築のフロー
チャートを図 2 に示す．最初に提示するレビューに関しては，ユーザの回答情報を得られていないためラン
ダムに 3 件選択し，1 組として提示する．その際，どの属性も必ず 1 件以上は言及されているレビュー組となるようにする．提示されたレビューに対し，ユーザは評価を行う．具体的には，参考になったレビューを一つ選択するとともに，対象アイテムに対する評価を5 段階（5:高評価）で回答する．

評価一致率に基づく価値観モデリングでは，アイテ
ムに対する総合評価だけでなく，各属性に対する評価も必要とする．これらの情報を取得する方法として，前述のとおりユーザに直接尋ねる明示的手法，ユーザが投稿したレビューを利用する暗黙的手法が提案されている．近年，属性毎の評価も付与されているオンライン
レビューサイトが多く存在し，その場合には暗黙的手法が利用可能である．また，価値観モデリングでは少数のレビューからでもモデリング可能であることが報告されている [2] が，通常レビュー投稿者よりもレビュー
閲覧のみを行うユーザの方が多数である．レビュー閲
覧者は，レビュー記事の中で自身がこだわりを持つ属性についての言及や評価を確認し，意思決定に利用していると想定される．従って，レビュー閲覧履歴から
モデリングを行うことができれば，適用範囲を拡大する効果が期待できる．

図 1: ユーザによるレビュー評価の例.
提案手法のコンセプトを図 1 に示す．図ではユーザがデジタルカメラの評価情報として，レビュー 1 を参考に購入した場合を想定している．レビュー 1 には「画

-

9

-

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-02

ビュー程ユーザが参考にする傾向がみられたことから，
文書長も考慮に入れている．
終了条件に関して，本稿の評価実験では 20 回のレビュー提示を終了条件としたが，推定が完了した属性数などを終了条件とすることも考えられる．
なお，ユーザに提示したレビューのうち，ユーザが選択したものは以降の提示対象から除外する．評価しなかったものに関しては，他のレビューとの比較では参考になる可能性があると考え，以降の提示対象とすることにより，収集したレビューの有効活用を図る.

৫઩嵑嵛崨嵈઀ં
௬੼
௬੼⼀致率更新
終了
条件︖

઀ં嵔崻嵍嵤ৠ৒

3.2

終了
図 2: 動的レビュー提示のフローチャート.
評価が得られるたび，式 1 に基づき各属性の評価一致率を更新する．2 組目以降に提示するレビューは，更新された評価一致率に基づき決定する．提示するレビューの選択に関して，こだわりの強い属性を早期に推論するため，その時点での評価一致率が高い属性に着目し，その属性に関して好不評両方のレビューを同時に提示する．これにより，当該属性に関するユーザフィード
バックを効率的に獲得する効果が期待できる．
具体的には，推定対象となっている属性の中で評価一致率が最も高い属性に着目し，以下の条件を満たす様に提示するレビュー 3 件を決定する．ここで，評価一致率の推定には 7 件程度の投稿レビューが得られれば十分という先行研究 [2] の知見に基づき，ユーザからの評価が 10 件得られた属性については，その時点で評価一致率を固定し，推定対象から除外する．これは，なるべく多くの属性について効率よく推定を行うためである．

1. 着目した属性について好評，不評のレビューをそれぞれ 1 件以上提示する．
2. (1) を満たす中で，式 2 の値が高いレビュー r を提示する．
∑
Score(r, ui ) =k2
k {|er − er |} · RM Rik

Nr

log nr(2)

ここで，対象ユーザを ui ，r の属性 ak に付与されている評価値を ekr ， r の全属性の平均評価値を er ，文
字数を nr ，言及されている属性数を Nr とする．先行研究 [12] の実験結果を分析した結果，文章量の多いレ

情報推薦システムへの適用

ユーザモデルを用いた推薦では， 推薦対象ユーザ ui
に対し各アイテム xj のスコアを式 3 の様に定め，このスコアが高い順に推薦する．xj が所属するカテゴリ c
における属性 ak の平均評価値を ekc ，アイテム xj に対する ak の平均評価値を ekj とする．これらは提示用に収集したレビューのみから求めるのではなく，オンラ
インサイトに登録されている全アイテム・レビューから求めることが望ましい．スコアの計算においては，対象ユーザ ui の全属性に対する平均評価一致率以上の評
価一致率を取る属性だけを使用する．

Score(xj , ui , c) =∑2
{ekj − ekc } · RM Rik(3)

ak ∈Ai∑}{al ∈A RM Ril
Ai = ak |RM Rik ≥
|A|

4

評価実験

4.1

実験概要

(4)

提案手法の有効性を検証するため， 20 人の実験協力者を対象として評価実験を行った．実験は，3.1 節で述べたレビュー提示によるユーザモデリングフェーズと，3.2 節で述べたアイテム推薦フェーズからなる．
モデリングフェーズでは，提案する動的提示手法と，提示するレビューをランダムに決定する手法（ランダム提示）の 2 種類の手法を用い，その結果を比較する．両提示手法において，異なるホテル 3 件に対するレビュー
1 件ずつを組み合わせて 1 組とし，20 組について評価を行ってもらう．
実験には，ホテルレビューサイト 4travel1 からレビ
ューとホテルの情報を収集し，データセットを構築して用いた．総レビュー数は 592 件である．評価一致率を求めるためには，属性評価を好評・不評の二値に変換
1 http://4travel.jp/- 10 -

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-02する必要がある．そのため，レビュー毎に属性評価の平均値を求め，平均値以上の属性を好評，平均値未満の属性を不評と判定した．また，4travel に掲載されているホテルの属性別評価の一つに「バリアフリー」があるが，今回の実験協力者においてはバリアフリーに着目してホテルを選択することはないと判断し，除外した．

表 2: アイテム推薦に用いたデータセット．
グループ
観光 A
観光 B
ビジネス A
ビジネス B

動的提示
大阪・兵庫・京都
沖縄
神奈川
兵庫・京都

ランダム提示沖縄
大阪・兵庫・京都
兵庫・京都
神奈川

表 1: 実験計画．
グループ
観光 A
観光 B
ビジネス A
ビジネス B

動的提示
東京・神奈川北海道
大阪・京都
東京・愛知・福岡

ランダム提示北海道
東京・神奈川東京・愛知・福岡
大阪・京都

ホテル利用目的としてビジネスと観光の 2 種類を想定し，それぞれについて地域の異なるデータセットを 2種類ずつ構築した．実験におけるデータセットと提示手法の組み合わせ（実験計画）を表 1 に示す．実験協
力者は 5 名ずつ，表に示すグループのいずれかに振り分けられ，ユーザモデル構築のためにレビューを閲覧する．この時，データセットや提示手法の順番に偏りが出ないようにラテン方格計画を用いて調整している．
アイテム推薦フェーズでは，動的提示，ランダム提示それぞれにより構築したユーザモデルを用いてホテルの推薦を行う．各ユーザモデルについて 10 件ずつホテルを推薦する他，レビューサイトにおいて公開されている地域ごとの満足度ランキングを用いて 10 件の推薦を行う．推薦対象として，モデリングフェーズとは異なる地域のホテルからデータセットを作成した．作
成したデータセットと実験条件の組み合わせを表 2 に示す．総アイテム数は 3176 件である．なお，価値観モ
デルはユーザのこだわりを推定することが目的である
ため，全ての属性において評価の高いホテルは推薦対象にふさわしくないと考える．そこで，全属性の評価
が 5 段階で 4 以上のホテルは推薦対象から除外する．
3 つの手法それぞれについて 10 件の推薦アイテムを決定した後，どの手法で推薦されたものかをわからないように統合して実験協力者に提示して，好評・不評のいずれかで評価してもらった．なお，複数の手法で同じアイテムが推薦対象となる場合もあるため，実験協力者に提示するアイテムは 30 件未満となる場合も
ある．

4.2

モデリング結果の評価

モデリング結果の一例として，観光 A グループの実
験協力者 5 名について動的提示，ランダム提示で得られたユーザモデル（評価一致率）を表 3, 4 にそれぞれ示す．括弧内の数値は，ユーザが選択したレビュー中で言及されていた回数を示す．両表で，同じ ID は同一の実験協力者に対応する．
実験後にアンケートを実施し，実験協力者が興味あると回答した属性は表中で太字にしてある．興味はな
くても意思決定に影響を与えている属性の存在や，レビューの書き方によっては参考にならない場合などもあるため，アンケート結果が正解とは必ずしも言えな
いと考えるが，評価一致率が 0.7 以上の場合にこだわりがある属性と判断した場合，表 3 ではアンケート結
果と推定結果が一致する場合（正解）が 5 回，表 4 では 2 回となっている．また，ユーザが興味あると回答しなかった属性で評価一致率が 0.7 以上となっている
場合を誤検出とみなすと，表 3 では 4 件，表 4 では 6
件，反対に興味ある属性で評価一致率が 0.7 未満となる場合を見逃しとみなすと，それぞれ 11 件，14 件あることがわかる．
同様にして，4 つのグループについて正解，誤検出，見逃しの回数を集計した結果を表 5 に示す．これより，
ランダム提示の方が動的提示よりもアンケート回答に一致する結果が得られている．また，両提示手法に共通する傾向として，アンケート結果を正解とみなした
場合には誤検出よりも見逃しの方が多い結果となっている．この理由として，例えば表 3，4 では，実験協力
者 2 はアクセス，コスパについて興味ありと回答しているが，両提示手法で評価一致率は 0.7 未満であり，レビュー中での言及回数も 10 回未満と少なめになっている．従って，推定に必要な情報が十分取得できなかったことが原因の一つとして考えられる．前述の通り先行研究では，投稿レビューの場合には 7 件以上で推定可能とされているが，閲覧履歴の場合は本人が記述したレビューではないため，より多くのレビュー閲覧履
歴を必要とする可能性があると考える．
実験協力者全グループについて，興味があると回答した属性について得られた評価一致率の平均を表 6 に示す．表より，0.7 以上となったのはランダム提示手法のビジネス B グループだけであるが，全てのグループについてランダム提示の方が評価一致率が高くなっている．

- 11 -

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-02

表 3: 観光 A・動的提示の実験結果．
ID
1
2
3
4
5

アク
セス
0.500
(10)
0.375
(8)
0.444
(8)
0.600
(10)
0.800
(15)

コスパ

接客

部屋

風呂

食事

0.429
(7)
0.667
(6)
0.625
(8)
0.600
(10)
0.000
(4)

0.800
(12)
0.900
(15)
1.000
(12)
0.900
(12)
0.500
(14)

0.500
(15)
0.300
(17)
0.400
(17)
0.300
(17)
0.300
(15)

0.800
(10)
0.500
(8)
0.571
(7)
0.429
(7)
0.200
(11)

0.800
(11)
0.700
(10)
0.700
(10)
0.429
(7)
0.500
(4)

表 5: アンケート回答との対応（正解/誤検出/見逃し）．
グループ
動的提示 ランダム提示
観光 A
5/4/11
2/6/14観光 B
4/2/107/4/7
ビジネス A
1/6/12
4/3/9
ビジネス B
5/4/5
8/5/2
合計
15/16/38
21/18/32

表 6: 興味がある属性の平均評価一致率．
グループ
動的提示 ランダム提示
観光 A
0.536
0.547
観光 B
0.567
0.675
ビジネス A
0.483
0.636
ビジネス B
0.538
0.744

表 4: 観光 A・ランダム提示の実験結果．
ID
1
2
3
4
5

アク
セス
0.333
(6)
0.571
(7)
0.500
(2)
0.400
(10)
0.667
(6)

コスパ

接客

部屋

風呂

食事

1.000
(2)
0.500
(6)
0.750
(8)
0.875
(8)
0.714
(7)

0.700
(10)
0.455
(11)
0.556
(9)
0.289
(7)
0.727
(11)

0.273
(11)
0.642
(14)
0.643
(14)
0.455
(11)
0.143
(14)

0.636
(11)
0.583
(12)
0.583
(12)
0.500
(14)
0.385
(13)

0.600
(15)
0.385
(13)
0.533
(15)
0.833
(18)
0.750
(16)

表 7 は，高評価一致率の属性について，実験協力者が選択したレビューで言及されていた回数を比較している．表より，こだわりありと推定された属性については，十分な数のレビューが収集されており，推定の信頼性という点では効果があると考える．以上より，動的提示手法ではこだわりがありそうな属性に注目して効率的に情報を収集可能である一方，ランダム提示と比較して属性の見逃しが発生しやすいといえる．推薦システムでの利用を考えた場合，対象ユーザがこだわりを持つ属性をすべて明らかにしてから推薦を行いたい場合にはランダム提示の方が適しているといえるが，少数の属性で十分な場合，迅速に推薦を行いたい場合には動的提示の方が適していると考える．

4.3

アイテム推薦結果の評価

各手法による推薦精度を表 8 に示す．推薦精度は，提示したアイテムのうちユーザが好評と判断したアイテ
ムの割合である．表より，ランダム提示，動的提示ともに満足度ランキングによる推薦よりも良い結果が得られていることがわかる．この結果より，レビュー閲
覧履歴から価値観モデルを構築するアプローチは情報推薦に有効といえる．

動的提示はランダム提示よりも推薦精度が低くなっているが，これはユーザモデリングの実験結果と同様，
効率を優先した結果であると考える．

5

むすび

本稿では，ユーザがレビューを閲覧・評価した履歴に基づき価値観をモデル化する手法を提案した．提案
手法では，ユーザが参考にしたレビューにおける属性
評価の極性と，アイテムに対し下した総合評価の極性に基づき，評価一致率を計算する．得られたユーザモ
デルに基づき，推薦アイテムを決定する手法，評価一
致率が高くなる可能性のある属性を優先的に推定するために，提示するレビューを動的に決定する手法を提案した．
ユーザ実験により提案手法を評価した結果，レビュー
閲覧履歴から構築したユーザモデルに基づく推薦の精度は満足度ランキングによる推薦を上回る結果が得られた．また，レビューの動的提示手法では，ランダム提示手法よりも推薦精度などは低下する結果となったが，評価一致率の高い属性については十分なユーザフィー
ドバックが得られており効率的なモデリングには効果があることを示した．
従来の価値観モデリング手法では，対象ユーザが投稿したレビューや，興味ある属性についての明示的なフィードバックを必要とした．これに対し，本研究で着目したレビュー閲覧はオンラインショッピングサイ
トなどで多数ユーザにより一般的に行われる行為であるため，価値観モデリングに基づく情報推薦システムの適用範囲拡大に貢献することが期待できる．

- 12 -

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-02[7] M. A. S. N. Nunes, R. Hu: Personality-based
Recommender Systems: an Overview, RecSys’12, pp. 5–6, 2012.

表 7: 高評価一致率の属性におけるレビュー数の比較．
提示条件
動的提示
ランダム提示

グループ
観光
ビジネス
合計

評価一致率
0.7 以上0.8 以上0.7 以上0.8 以上10 件以上2817139

表 8: 推薦精度の比較．
動的提示 ランダム提示
0.720
0.800
0.630
0.710
0.675
0.755

10 件未満202112[8] F. Pachet, P. Roy, D. Cazaly: A combinatorial
approach to content-based music selection, IEEE
International Conference on Multimedia Computing and Systems, pp. 457–462, 1999.
[9] P. Resnick, N. Iacovou, M. Suchak, P. Bergstrom,
J. Riedl: GroupLens: an open architecture forcollaborative filtering of netnews, 1994 Conference on Computer Supported Cooperative Work,
pp. 175–186, 1994.

満足度
0.670
0.580
0.625

[10] M. Rokeach: The Nature of Human Values, New
York: The Free Press, 1973.

謝辞
本研究は JSPS 科研費 JP16K12535 の助成を受けた
ものです．

参考文献
[1] P. T. Costa, R. R. McCrae: Revised NEO Personality Inventory (NEO-PI-R) and NEO FiveFactor Inventory (NEO-FFI), Psychological Assessment Resources, 1992.
[2] S. Hattori, Y. Takama: Recommender system employing personal-value-based user model,
Journal of Advanced Computational Intelligenceand Intelligent Informatics, Vol. 18, No. 2, pp.
157–165, 2014.

[11] A. I. Schein, A. Popescul, L. H. Ungar, D. M.
Pennock: Methods and metrics for cold-start recommendations, Special Interest Group on Information Retrieval, pp. 253–260, 2002.
[12] 清水涼人, 服部俊一, 高間康史: レビュー閲覧履歴
からの価値観に関するユーザモデル構築手法の提案, 第 28 回人工知能学会全国大会, 3B4-OS-10b-3,
2014.
[13] W. Wu, L. Chen, L. He: Using Personality to
Adjust Diversity in Recommender Systems, 24th
ACM Conf. on Hypertext and Social Media, pp.
225-229, 2013.

[3] 服部俊一, 高間康史: 属性に対する価値判断に基づ
く評判情報からのユーザモデル作成手法, 第 97 回
数理モデル化と問題解決研究発表会, No. 14, 2014.
[4] 伊藤ゆかり, 波多野賢治, 松本尚宏: 商品の価値とユーザの嗜好を考慮した商品推薦システムの提案, 電子情報通信学会第二種研究会技術報告, vol.
WI2201027, pp.101–106, 2010.
[5] 神嶌敏弘: 推薦システムのアルゴリズム (1), 人工知能学会誌, Vol. 22, No. 6, pp. 826–837, 2007.
[6] 三澤遼理, 服部俊一, 高間康史: 価値観に基づくユー
ザモデルによる協調フィルタリングの拡張手法の提案, 第 28 回人工知能学会全国大会 (JSAI2014),
1H4-NFC-01a-5, 2014.

- 13 -

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-03

語の分散表現と上位下位関係―研究動向と今後への試案―
Recent Research Trends and Proposal of Distributional Word
Representations for Hypernymy Detection
鷲尾光樹 1∗
Koki Washio1
東京大学大学院総合文化研究科
Graduate School of Arts and Sciences, The University of Tokyo
1

1

Abstract: Distributional representation for words is an important model of word senses whichreflects several types of semantic relations, not only similarity relations. In this paper, we provide an
overview of unsupervised/supervised approaches with word distributional representations to detect
hypernym-hyponym relations and a recently reported problem associated with these approaches.
Moreover, we propose a future research direction to solve this problem and prove the validity ofthis direction with small experiments.

1

はじめに

語の分散表現では、分布意味論に基づいて、語の分
布の情報からベクトルを作成し、単語ベクトルとして語の意味を表現する [22][7]。単語ベクトル間の距離などを用いて、語の意味の類義性などが判断できること
から、語の分散表現は質問応答システムや情報抽出な
どの様々なタスクに貢献している。また、語の分散表
現はコーパスから自動的に獲得できるため、人手で作成したリソースに存在しない語に対応できることも大きな利点となっている。近年では、語の類義関係に留
まらず、アナロジーなど、単語間の様々な意味関係を分
散表現を用いて推測するという意味タスクの研究がなされている。そのような研究の一つとして、分散表現を用いた二語の上位下位関係の推測・学習が注目されている。これは、「動物」が「犬」の上位語であり、「犬」が「動物」の下位語であるというような意味関係を、それぞれの語の分散表現から推定するタスクである。
本稿では、分散表現からある二語の上位下位関係を推測する研究と問題点について概観し、今後の研究の方向性を提案するとともに、その提案の妥当性を裏付ける簡単な実験の報告を行う。

2

分散表現

分布意味論においては、語の出現文脈によって、単語の意味を捉えるため、分散表現を獲得する際は、ま∗ 連絡先： 東京大学総合文化研究科言語情報科学専攻〒 153-8902 東京都目黒区駒場 3-8-1
E-mail: kkwashio3333@gmail.com

ず単語の分布を見る際の文脈を規定する。文脈に何を用いるかは様々だが、代表的なものとしては、近傍共起や依存構造に基づく関係を利用するものが挙げられる。近傍共起では、対象の語の前後数語を文脈窓として共起を測る。一方、依存構造においては、主語と動詞の関係など、文中において対象の単語が他の語とどのように関わっているかを文脈として用いる。分散表現の性質はこのような文脈の選択により決定される。たとえば、文脈窓を採用した場合は話題的・領域的な類似性がベクトル空間上で表現され、依存構造などの統語的な文脈を用いた場合は、語の品詞などを考慮した
機能的な類似性が捉えられるという報告がある [9]。しかし、様々な意味タスクにおける性能の良さや、コー
パスを処理するコストの低さから、自然言語処理における分布意味論の分野では文脈窓が用いられることが多い。
以上から、本稿では文脈窓の利用を前提としつつ、本節においては二つの分散表現の獲得法について説明する。一つは共起頻度に基づく古典的な共起頻度ベクトル（カウントベースの分散表現）であり、もう一つは
近年台頭してきたニューラルネットワークによる学習から獲得する単語埋め込みベクトル（ニューラルベー
スの分散表現）である。
なお、本稿では以下の記法を用いる。単語 w の集合
を VW 、単語の文脈（文脈窓中に出現する語）c の集合
を VC とし、w の単語ベクトルを w⃗ 、文脈 c の単語ベクトルを ⃗c とする。また、コーパスで観察された w とc の共起 (w, c) の集合を D とし、コーパスで観察された要素の頻度を返す関数を f とする。

- 14 -

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-03

2.1

カウントベースの分散表現

カウントベースの分散表現獲得では、文脈に基づいて共起頻度を集計し、|VW | × |VC | の共起頻度行列 Mを作成する。単語 w に該当する行を行列 M から切り出すことで、単語ベクトル w⃗ が得られる。カウントベー
スの分散表現は、高次元でスパースな表現であり、Mのほとんどの要素は 0 である。また、後に述べるニュー
ラルベースの分散表現と異なり、カウントベースの分
散表現においては w⃗ の各次元が単語 w と文脈 c の結びつきの強さを表しており、各次元の持つ意味が明確であることが特徴である。
行列 M の要素として、生の共起頻度をそのまま用いた場合、w や c の頻度のばらつきが単語ベクトルに悪影響を及ぼす可能性がある。このような問題を回避するために、共起頻度行列 M の各要素を以下で定義される PMI(pointwise mutual information, 相互情報量) に変換することがよく行われる。

P M I(w, c)

P (D = 1|w, c) =P (w, c)= log2
P (w)P (c)f (w, c)|D|= log2f (w)f (c)P P M I(w, c) =arg max(P M I(w, c) ≤ 0)

P M I(w, c) (P M I(w, c) > 0)

PPMI は生の共起頻度を用いるより、様々な意味タ
スクにおいて良い成績を残す一方で、低頻度な w や c
を含むペアに高い値を返してしまうバイアスがあることが知られている [12]。
また、行列 M のスパースネスを解消するために、特異値分解によって |VW | × |VC | の行列 M を |VW | × d（d は数百次元）に圧縮して用いることもある。この場
合、文脈 c を表していた単語ベクトルの各次元の意味は失われる。

2.2

1
1 + exp(−w⃗ · ⃗c)のようにモデル化すると、目的関数は、

PMI は w と c が共起する確率からそれぞれの出現確率を差し引いており、正確に二語の結びつきの強さを測ることができる。しかし、w と c の共起が観察されなかった場合、P M I(w, c) = −∞ になるため、実際は以下の PPMI(positive pointwise mutual information, 正の相互情報量) が用いられることが多い。
{
0を働かせることはできない。本稿では、文献 [14] と文献 [15] で提案された、ネガティブサンプリングを用いた SkipGram モデル（SGNS）を説明する。SGNS は意味タスクにおいて汎用的に用いられている分散表現
獲得法である。
SGNS は、コーパスで観察された共起 (w, c) に対し、
d 個のユニットからなる隠れ層を持つニューラルネット
ワークの入力層に、w に該当する次元のみ 1（他の次元は 0) の |VW | 次元 one-hot ベクトルを配置し、出力層には c に該当する部分のみ 1 の |VC | 次元 one-hot ベ
クトルを配置して学習を行う。その結果において、入力層側にある |VW | × d のパラメータ行列の w に該当する行を単語ベクトル w⃗ 、出力層側にある d × |VC | のパラメータ行列の c に該当する列を文脈ベクトル ⃗c とみなす1 。
以下では SGNS の目的関数について説明する。いま、(w, c) が D に含まれる確率を、

ニューラルベースの分散表現

ニューラルベースの分散表現獲得では基本的に、ニューラルネットワークの入力層と出力層に単語や文脈を配置して学習を行い、d 次元の隠れ層を低次元で密な単語の表現として取り出す。カウントベースの分散表
現とは対照的に、各次元の意味は不明瞭であり、直観

w,⃗
⃗ c

∏

P (D = 1|w, c)(w,c)∈D∑= arg max
w,⃗
⃗ c

log

(w,c)∈D1⃗ · ⃗c)1 + exp(−wとなる。このままだと、すべての (w, c) に対し P (D =1|w, c) = 1 になってしまうパラメータが存在するため、各 (w, c) に対し、D に存在しない k 個のペア（(w, c1 ), ...,
(w, ck )）を負例として考慮して学習する。cj は P (c) の
3/4 乗に従ってサンプリングを行う。負例の集合を D′とすると、ネガティブサンプリングを用いた場合の目的関数は、

arg maxw,⃗⃗ c∏(w,c)∈D= arg maxw,⃗
⃗ c

P (D = 1|w, c)∏

P (D = 0|w, c)(w,c)∈D ′∑log(w,c)∈D

1·
1 + exp(−w⃗ · ⃗c)

k
∑

log
3

(w,c)∼P (c) 4 ∈D ′1
1 + exp(w⃗ · ⃗c)となる。この目的関数を確率的勾配降下法などを用いて最適化すると、d 次元の単語埋め込みベクトルが得られることになる。
ニューラルベースで獲得した低次元で密な分散表現
はカウントベースの分散表現と同様に、様々な意味タ
スクに用いることができる。
1 w の one-hot ベクトルに入力層側のパラメータ行列をかけると、
d 次元の単語埋め込みベクトル w⃗ が得られる。

- 15 -

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-03

2.3

カウントベース vs. ニューラルベース

文献 [2] では、様々な類義語の認識やアナロジーの計算などの様々な意味タスクにおいて、カウントベースの分散表現とニューラルベースの分散表現を用いた際の性能が比較されており、基本的にはニューラルベー
スの分散表現の性能が良いと報告されている。
一方で、ニューラルベースの分散表現獲得法がカウントベースの獲得法よりアルゴリズムとして優れているという主張に疑問を投げかける、Levy らによる一連の報告がある [11][10][13]。
たとえば、文献 [11] では、SGNS などの word2vec 系の分散表現獲得法は、カウントベースの PMI 行列を行列分解していることと等価であると述べられている。
この報告によると、SGNS の目的関数を展開し、w⃗ · ⃗cで微分することで、()
f (w, c) · |D|− log kf (w) · f (c)= P M I(w, c) − log kw⃗ · ⃗c =logが得られる。このとき、SGNS における入力層側のパラメータ行列を W 、出力層側のパラメータ行列を C とすると、Wi · Cj = P M I(wi , cj ) − log kとなる。この式の右辺はカウントベースの共起頻度行
列 M の各要素を PMI 行列に変換し、各要素からネガ
ティブサンプリングに用いた負例ペアの数の対数をとった値を差し引いた行列である。結局、SGNS で行われている最適化は、単語ベクトルと文脈ベクトルの内積が PMI 行列の各要素から log k を引いた値になるように学習しているということになる。以上のことから、
SGNS は特異値分解とは異なるが、同じ行列分解の一種とみなすことができる2 。
また、ニューラルベースの分散表現が注目された理由のひとつに、アナロジーの計算ができることが挙げられる。アナロジーの計算とは、たとえば、「女性」のベクトルから「男性」のベクトルを引き「王様」のベクトルを足すと、「女王」のベクトルに非常に近いベク
トルになるというものであり、ニューラルベースの分
散表現は意味関係を簡単な足し引きで表現できると言われていた [14][15][16]。しかし、アナロジーを計算するための式を改良することで、ニューラルベースの分散表現とカウントベースの分散表現の両表現でアナロ
ジータスクの性能が向上し、またそれぞれの表現を用いた際の性能が拮抗するという報告がある [10]。この
2 word2vec 系でも CBoW モデルや、別のニューラルネットワー
クモデルでは事情が異なる。一方、同じくニューラルベースの分散表現獲得法である GloVe は、行列分解とみなせるとの報告がある[20]。

ことから、アナロジーの計算に必要な情報は、ニューラルベースの分散表現のベクトル空間のみにおいて捉えられているわけではなく、カウントベースの分散表現獲得法でも捉えられていることがわかる。
さらに、文献 [13] では、SGNS などのニューラルベー
スの分散表現獲得法に実装されているネガティブサン
プリングやサブサンプリング（高頻度語の文脈からの確率的な排除）などを、分散表現獲得の際のハイパーパラメータとみなし、同等の処理ををカウントベースの分散表現獲得法にも適用することで、様々な意味タ
スクにおける両分散表現の性能が拮抗するという実験結果が報告されている。この結果を踏まえて Levy ら
は、ニューラルベースの分散表現の優位性は、アルゴ
リズムそのものが優れているのではなく、獲得手法にデフォルトで設定されているハイパーパラメータが性能の向上に寄与した結果であり、カウントベースの分
散表現獲得法とニューラルベースの分散表現獲得法に本質的な差はないと結論づけている。一方で Levy ら
は、SGNS は分散表現の獲得が早く、かつ、非常にロ
バストな表現であり、意味タスクにおいて際立った性能を出すことは少ないが、性能が急激に落ちることもなく、実験を行う際のベースラインとして優れていると報告している。
以上の一連の報告から、カウントベースの分散表現とニューラルベースの分散表現のどちらが優れているかは一概に論じることが難しく、意味タスクごとに最適な分散表現とハイパーパラメータを探索することが重要であることがわかる。

3

上位下位関係の学習

上位下位関係を分散表現から学習する場合、類義関係などの対称的な意味関係と異なり、二つの分散表現に対して非対称な指標や関数を求める必要がある。本節では、2 節の手法を用いて獲得した分散表現を用いて語の上位下位関係を学習するための二つのアプロー
チ（教師なし学習と教師あり学習）と、文献 [12] で報告された教師あり学習の問題点について概観する。

3.1

教師なし学習分散表現を用いた上位下位関係推測研究の初期においては、二語の分布の包含性を測る指標が研究されていた。これらの一連の研究は、内省的な分析に基づいた指標の提案を行うものであり、訓練データを利用した機械学習によらないという意味で、上位下位関係の教師なし学習と呼ばれている。このアプローチにおいては、基本的に以下の二つの分布意味論的直観が前提とされている。

- 16 -

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-03• 分布一般性 (Distributional generality)[22]invCL(w1 , w2 )√= ClarkeP (w1 , w2 )(1 − ClarkeR(w1 , w2 ))• 分布包含仮説 (Distributional inclusion
hypotheses)[5]分布一般性とは、意味の広い語はコーパス上に広く分布するという直観である。たとえば、「動物」という単語は「犬」という単語に比べて、「犬」とは共起しにくそうな「泳ぐ」や「飛ぶ」といった単語とも共起するはずである。この直観をもとに、広く分布する語はより上位語らしく、分布が狭い語はより下位語らしいと判断することができる。一方、分布包含仮説とは、ある二語が上位下位関係にあるならば、下位語の出現文
脈がある程度上位語の出現文脈に含まれているという直観である。たとえば、「犬」は「走る」や「吠える」などと共起するはずだが、「動物」も同様の文脈に出現するはずである。ここから、分布の包含関係を見ることで、上位下位関係を判断できると期待できる。この二つの前提のもとで、二語の分散表現の各次元の値を見比べることで、上位下位関係性を判断するための指標が提案されてきた。なお、教師なし学習においては各次元の意味が明確である必要があるため、基本的に分散表現はカウントベースのものを用いる。以下では、代表的な指標を紹介する。なお、以降では w1 と w2 の二語を扱うとする。w⃗i = (wi1 , ..., win ) であり、関数 Fをベクトルの 0 ではない素性の集合を返す関数とする。
分布意味論的観点から提案された最初の指標は、W eedsという指標である [22]。
∑i∈F (w1 )∩F (w2 ) w1i∑
W eedsP (w1 , w2 ) =i∈F (w1 ) w1i∑
i∈F (w1 )∩F (w2 ) w2i∑
W eedsR(w1 , w2 ) =i∈F (w2 ) w2i
これは、情報検索などの評価指標として用いられる precision と recall を二語の関係性を捉える際に適用し、分布の包含性を捉えようとしたものである。いま w1 が下
位語、w2 が上位語であるとすると、下位語の分布は上位語の分布にある程度包含されるため、W eedsP の値
は 1 に近づき、W eedsR の値は 0 と 1 の間に収まるという指標である。判別においては、W eedsP のみ、あるいは W eedsP − W eedsR を用いて、閾値を設定して上位下位関係の有無を判断する。
Weeds から派生した指標として、Clarke[3] と invCL[8]という指標がある。
∑
i∈F (w1 )∩F (w2 ) min(w1i , w2i )∑ClarkeP (w1 , w2 ) =i∈F (w1 ) w1i∑
i∈F (w1 )∩F (w2 ) min(w1i , w2i )∑ClarkeR(w1 , w2 ) =i∈F (w2 ) w2i

Clarke は W eeds に近い指標であり、ClarkeP のみ、
あるいは ClarkeP − W eedsR を用いて、閾値を設定する。invCL は W eeds や Clarke と異なり、下位語が上位語にどれだけ包含されているかのみならず、下位語の出現文脈の以外の上位語の分布の広さを考慮した指標になっている。invCL も閾値を設定して、二語の上位下位関係の有無を判断させる。
また、invCL のような指標の派生として、以下の様な指標も考えることができる [21]。
∑simdif f (w1 , w2 ) = ∑i∈F (w1 )∪F (w2 ) max(w1i , w2i )∑·i∈F (w1 )∪F (w2 ) min(w1i , w2i )i∈F (w2 )−F (w1 ) w2i −∑∑i∈F (w1 )−F (w2 ) w1i

i∈F (w1 )∪F (w2 ) max(w1i , w2i )これは Jaccard 尺度（第 1 項）と分布が重なっていな
い部分の文脈の広さの差（第 2 項）の積である。つまり、二語がどれくらい似ているかと上位語と下位語にどれくらい分布の広さに差があるかを考慮している。
また、ここでは深く触れないが、w1 と w2 の分布の包含を測る際、AP(Average Precision) を応用すること
で、w1 が w2 とより結びつきが強い文脈語と共起する
場合により重みを割り振った、balAP inc という指標もある [7]。
教師なし学習の性能を測るために、Erk が行った実
験 [4] を参考にして、以下の実験を行った。対象の語を動詞にしぼり、BNC(British National Corpus) コーパ
ス前半の 5000 万語から、動詞の主語と目的語を依存構
造文脈として集計し、PPMI 行列を作成した。データセットしては、WordNet3.0 から同義語集合を一つしか持たない単義の動詞と、その直接の上位語のペアを正
例とし、負例は下位語と上位語の正例以外の組み合わせにより作成した。条件ごとに、負例から正例と同じ数のペアをランダムにサンプリングし、それぞれの指標を用いて最適な閾値を設定した場合の正解率は以下のようになった。なお、W eeds と Clarke に関してはprecision から recall を引いたものをを指標として用いている。
表 1: 教師なし学習の性能
全負例 負例 1 負例 2
W eeds
0.74
0.59
0.83
Clarke
0.74
0.61
0.83
invCL
0.71
0.64
0.83
simdif f
0.74
0.64
0.83

負例 3
0.72
0.72
0.65
0.72

全負例はすべての負例ペア、負例 1 はちぐはぐな上- 17 -

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-03

位下位関係のペア、負例 2 は下位語同士のペア、負例 3
は上位語同士のペアからそれぞれサンプリングした場
合の正解率である。ちぐはぐな上位下位関係のペアとは、下位語の集合と上位語の集合から、それぞれ一語ずつ抜き出し、正例にないペアを作ることによって作り出した負例である。用いるデータセットにもよるが、頻度の少ない下位語同士のペアを負例と判断するような簡単な場合（負例 2）を除くと、分布の包含関係に基づく指標は、だいたい 6 割から 7 割 5 分くらいの正解率であることがわかる。
また、分布包含仮説に依拠せず、文脈語の分布に着目した指標として、文献 [19] で提案された SLQS という指標がある。この指標は、上位語はより広い意味を持つ文脈語と共起し、下位語は狭い意味を持つ文脈と共起するという直観に基づいている。たとえば、「動物」という語は「走る」や「飛ぶ」といった一般的な語と共起するが、「犬」は「吠える」などの具体的な語と共起しやすい。このような直観に基づけば、二語がよく共起する文脈語のベクトルを見て、それらのエントロ
ピーを比べることで上位下位関係性が特定できるはずである。SLQS では、対象の語と結びつきが強い上位
N 個の文脈語のエントロピーを計算し、その中央値をとって比較する。いま、文脈語ベクトル ⃗c = (c1 , ..., cn )のエントロピーを以下のように定義する。

H(c) = −n∑

3.3

p(ci |c) · log2 (p(ci |c))i=1p(ci |c) は文脈語 c の頻度と各共起頻度の割合である。
これを MinMax スケーリングにより 0 から 1 の値を取るようにスケーリングし、その値を Hn (c) と定義すると、単語 wi の文脈語のエントロピーの中央値は、
Ewi = M eN
j=1 (Hn (cj ))と定義される。ただし、M e は中央値を返す関数である。このとき SLQS は、

SLQS(w1 , w2 ) = 1 −

Ew1
Ew2

となる。SLQS(w1 , w2 ) > 0 のとき、w1 は w2 の下位語と判断される。

3.2

差をとったり、二つのベクトルを結合して特徴量とする方法の性能がいいことが知られている。
教師あり学習の性能を確認するために、以下の上位
下位関係性の二値分類実験を行った。
分散表現には、BNC 約 1 億語から、前後二語の文脈窓を採用した SGNS を用いて獲得したものを用いた3 。
データセットには BLESS[1] を用いた。このデータセッ
トは曖昧性のない 200 語の名詞について、上位下位関係や類義関係、部分全体関係、ランダムな関係にある語などを収集して作成されたものである。
BLESS において、上位下位関係にある 1337 ペアから、分散表現が獲得できた 1155 ペアを正例として扱い、同じく分散表現が獲得できた上位下位関係以外の名詞
ペアを負例とした。正例ペアと同じ数だけ負例ペアをサンプリングし、SGNS によって獲得した 500 次元の単語ベクトルの差を特徴量として、10 分割交差検定のロジスティック回帰を行う。これを 50 回繰り返したとき、平均スコアとして 0.93 の分類正解率、0.93 の F 値、
また、ペアに割り当てた確率をもとにデータを並べ替
え AP(Average Precision) を計算したところ、0.97 をマークした。文脈や分散表現の性質、用いているデー
タセットが異なるものの、教師あり学習は 3.1 節で紹介した教師なし学習の手法よりも良い成績を残している。

教師あり学習分散表現を用いた上位下位関係の教師あり学習では、二つの単語ベクトルに何らかの演算を施して特徴ベク
トルとして扱い、二語が上位下位関係を持つか否かの二値分類を学習する。学習アルゴリズムには、SVM を用いるもの [18][23]、ロジスティック回帰を用いるもの[18] などがある。二つのベクトルに施す演算としては、教師あり学習の問題点

教師あり学習は高い分類精度を誇る一方で、上位語に位置しやすい単語を覚えているだけであるという問題点が指摘されている。文献 [12] では、このような教師あり学習の振る舞いを調べるために、様々なデータセットを用いて二つの実験が行われている。
ひとつは、訓練データとテストデータの単語ペアの語彙の重なりをなくして分類を行う実験である。これによって、教師あり学習の分類性能が大きくに下がり、
データセットによっては教師なし学習を下回るの性能になってしまうことが観測されている。また、二つのベクトルの差や結合を用いた場合と、上位語のみを用いて学習した場合の性能の比較を行うと、性能差がごく小さいことがわかった。この実験によって、教師あり学習は下位語の情報をほぼ無視していることが明らかになった。
もうひとつの実験は、様々な条件で学習を行った分類器に、ちぐはぐな上位下位関係のペアを判断させる実験である。ちぐはぐな上位下位関係を誤って正例として分類してしまう割合を match error として算出し、様々なモデルで recall との相関を調べたところ非常に強い相関があり、matcherror = 0.935 · recall と線形回帰できてしまうことが明らかになった。つまり、正3 分散表現の獲得には、Omer Levy が公開している hyperwordsを用いた。https://bitbucket.org/omerlevy/hyperwords- 18 -

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-03

しく上位下位関係を持つペアを正例として多く分類できる分類器は、その分、ちぐはぐな上位下位関係を持つペアも誤って正例として分類してしまうことになる。
これらの実験から文献 [12] は、教師あり学習では典型的な上位語を覚えているだけであり、二語の関係性は学習できていないと結論づけている。
この結論を追証するために、3.2 節で行った実験と、コーパスや分散表現は同じ条件で、訓練データとテス
トデータの語彙の重なりをなくした場合の結果を以下に示す。
表 2: 教師あり学習における語彙の重なりの影響
重なりあり 重なりなし ∆
分類正解率
0.93
0.68
0.25
F値
0.93
0.61
0.32
AP
0.97
0.77
0.20
（∆ は「重なりあり」と「重なりなし」の差を表す）

正例と判断してしまう割合が減少することが考えられ
る4

4.2

上位下位関係認識の教師あり学習においては、特徴
量として二つのベクトルの差や結合を用いるだけでは、二語の関係性を学習できていないことがわかっている[12]。これに対しては、上位下位関係に関して分布的な意味付けがより明確な特徴を用いることによって、二語の関係性の学習を促進できる可能性がある。そのような特徴として、今まで研究されてきた教師なし学習の指標を挙げることができる。これらの指標を特徴として採用することで、二語の分布の包含関係や形状の違いなどの関係性が学習されるはずである。

4.3
表 5 を見ると重なりがある場合と重なりがない場合に性能差があることがわかる。教師あり学習が二語の関係性を学習できていないとすると、そのようなモデ
ルは訓練データにない語彙に対応できない。これは、コーパスからの自動的学習のそもそものメリットである、「人手によるリソースに存在しない語彙に対応できる」という点においては致命的である。

4

考察と今後の方向性

実験

これらのアプローチの妥当性を検討するために、3.1節で述べたような、教師なし学習として提案された指標群を、教師あり学習における特徴量として採用した
場合の性能評価を行った。
分散表現として BNC 約 1 億語から前後二語の文脈
窓を共起として獲得した PPMI 行列を採用し、データセットは 3.2 節と同じく BLESS における名詞ペアを用いた。
特徴量としては以下のものを採用した。

• 二語の類似度： cos 類似度

3.3 節で述べたような教師あり学習の典型的な上位語の記憶という問題への対処としては、二つの方向性が考えられる。ひとつは分散表現獲得法の最適化であり、もうひとつは学習法の見直しである。

4.1

学習法の見直し• 分布の包含関係：W eedsP/R, ClarkeP/R, invCL• 分布の形状： 二語の分布のエントロピーの差と比、それぞれのベクトルにおいて値が高い上位 50
次元の値の平均の差

分散表現の最適化• 文脈の分布: SLQS

分散表現は、語の文脈によって語の意味を表現するという分布意味論に基づいて獲得されるが、そのモデル自体が特定の意味タスクを志向しているわけではない。よって、ある意味タスクの性能の向上のためには、それぞれの意味タスクが着目している語の意味の側面
を正しく反映するようなハイパーパラメータの調整や、モデルそのものの変更が必要になる。たとえば、上位
下位関係の認識においては話題的・領域的な類似性だ
けでなく、語の機能的な類似性も見る必要があるはずである。現在は他の様々な意味タスクでの性能の良さ
や処理コストの低さから文脈窓を用いられることが多いが、上位下位関係認識においては、文脈に依存構造を採用することによって、ちぐはぐな上位下位関係を

まず、二語の類似度を見るために cos 類似度を特徴として考慮し、分布の包含関係を見るために、W eedsP/R、ClarkeP/R、invCL を採用した。また、分布の形状の違いを見るために二語の分布のエントロピーの差と比、それぞれの単語ベクトルにおいて値が高い上位 50 次元の値の平均の差を採用した。これは上位語は分布がなだらかで広く、下位語は狭い文脈にしか出現しないという直観に基づく。さらに結びつきが強い文脈語の分布を見るために SLQS を特徴として考慮する。これによって、二語の分散表現から 10 次元の特徴ベクトルを算出することができる。
4 ただし、大規模コーパスに対し依存構造解析を行うコストや、精度の良いパーサーが存在する言語の少なさを考えると、文脈窓の採用には妥当性がある。

- 19 -

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-03

5

表 3: 提案手法における語彙の重なりの影響
重なりあり 重なりなし ∆
分類正解率
0.61
0.55
0.06
F値
0.59
0.50
0.09
AP
0.64
0.59
0.05
表 4: cos 類似度のみ (baseline)
重なりあり 重なりなし
分類正解率
0.54
0.49
F値
0.51
0.41
AP
0.56
0.56

おわりに

本稿では、分散表現を用いてある語のペアが上位下
位関係を持つか否かを判別する研究とその問題点を概観した。今後の研究の方針として、二語の分散表現の差をや結合を用いて教師あり学習を行った場合、二語の関係性を学習できないが、分散表現から分布的特徴を適切に抽出すれば、二語の関係性の学習を促進できることを示した。これからは、上位下位関係の認識に最適な分散表現の獲得法と、影響力のある分布的特徴を模索していきたい。

∆
0.05
0.10
0.0

この特徴ベクトルをもとに、上位下位関係のペアを正例として、正例と負例の数を揃えてロジスティック回帰を行い、10 分割交差検定を行った場合の性能と、3.3 節で行った実験と同様に、訓練データとテストデー
タの語彙の重なりをなくした場合の性能を比較すると、
表 3, 表 4 のようになった。
なお、baseline は cos 類似度のみを用いた場合とした。提案手法はいずれの場合でもベースラインを上回
りつつ、SGNS よりも語彙の重なりの影響が少ないことがわかる。この結果から、二語の関係性としての意
味付けが明確なものを特徴量に用いると、性能は低い
ものの、語彙の重なりの影響が少ないことがわかる。
さらに、SGNS で獲得した二語の単語ベクトルの差に、今回算出した特徴ベクトルを結合して学習した場
合の性能（SGNS+提案手法）と、単語ベクトルの差のみを特徴ベクトルとして学習した場合の性能（SGNSのみ）を比較した。訓練データとテストデータの語彙の重なりをなくした際の結果は以下のようになった。

謝辞
本研究に関して、終始あたたかくご指導ご鞭撻をして頂き、また本稿の執筆の機会を与えてくださった、東京大学大学院総合文化研究科加藤恒昭教授に心より感謝いたします。

参考文献

表 5: 提案手法を付加した場合の性能
SGNS のみ SGNS+提案手法
分類正解率
0.68
0.73
F値
0.61
0.68
AP
0.77
0.83
提案手法の特徴ベクトルを従来の教師あり学習の特徴ベクトルに結合した場合、正解率、F 値、AP において性能が向上している。この結果から、従来の特徴ベクトルに教師なし学習の指標を付加することで、二語の関係性の学習が促進されていることがわかる。これによって、教師あり学習の際に、上位下位関係に関して意味付けが明確な分布的特徴を用いることで、二語の関係性の学習が可能であることが示された。

- 20 -[1] Baroni, M., Lenci, A.: How we BLESSed distributional semantic evaluation., In Proc. ofthe ofthe GEMS 2011Workshop on GEometrical
Models of Natural Language Semantics, pp. 1–10
(2011)[2] Baroni, M., Dinu, G., Kruszewski, G.: Dont
count, predict! a systematic comparison ofcontext-counting vs. context-predicting semantic vectors., In Proc. of the Annual Meetingof the Association for Computational Linguistics(ACL), Vol. 2, long paper, pp. 238–247 (2014)[3] Clarke, D.: Context-theoretic semantics for natural language: an overview., In Proc. of the
EACL 2009Workshop on GEMS: GEometrical
Models of Natural Language Semantics, pp. 112–119 (2009)[4] Supporting inferences in semantic space: representing words as regions., In Proc. of the International Conference on Computational Semantics(ICCS), pp. 104–115 (2009)[5] Geﬀet, M., Dagan, I.: The distributional inclusion hypotheses and lexical entailment., In
Proc. of the Annual Meeting of the Association
for Computational Linguistics(ACL), pp. 107–
114 (2005)

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第13回)
SIG-AM-13-03[6] Goldberg, Y., Levy, O.: word2vec explained: deriving mikolov et al. s negativesampling., arXiv
preprint, arXiv:1402.3722. (2014)[7] Kotlerman, L., Dagan, I., Szpektor, I., Geﬀet,M., Directional Distributional Similarity for Lexical Inference., Natural Language Engineering,Vol. 16(4), pp. 359–389 (2010)[8] Lenci, A., Benotto, G.: Identifying hypernyms
in distributional semantic space., In SEM 2012
The First Joint Conference on Lexical and Computational Semantics, Vol. 2, pp. 75–79 (2012)[9] Levy, O., Goldberg, Y.: Dependencybased wordembeddings., In Proc. of the Annual Meetingof the Association for Computational Linguistics(ACL), Vol. 2, Short Paper (2014)[10] Levy, O., Goldberg, Y.: Linguistic regularities
in sparse and explicit word representations., In
Proc. of the Conference on Computational Natural Language Learning., pp. 171-180 (2014)[11] Levy, O., Goldberg, Y.: Neural word embeddings
as implicit matrix factorization., In Advances in
Neural Information Processing Systems 27: Annual Conference on Neural Information Processing Systems 2014, pp. 2177-2185 (2014)[12] Levy, O., Remus, S., Biemann, C., Dagan, I.: Do
Supervised Distributional Methods Really Learn
Lexical Inference Relations?, In Proc. of the2015 North American Chapter of the Association
for Computational Linguistics(NAACL): Human
Language Technologies, pp. 970–976 (2015)[13] Levy, O., Goldberg, Y., Dagan, I. Ramat-Gan, I.:
Improving distributional similarity with lessons
learned from word embeddings., Transactions of
the Association for Computational Linguistics, 3(2015)[14] Mikolov, T., Chen, K., Corrado, G. S., Dean,
J.: Eﬃcient estimation of word representations
in vector space., CoRR, abs/1301.3781. (2013)[15] Mikolov, T., Sutskever, I., Chen, K. Corrado,
G. S., Dean, J.: Distributed representations ofwords and phrases and their compositionality., In
Advances in neural Information Processing Systems, pp. 3111–3119 (2013)[16] Mikolov, T., Yih, W., Zweig, G.: Linguistic
regularities in continuous space word representations., In Proc. the Conference of the North
American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 746–751 (2013)[17] Pennington, J., Socher, R., Manning, C.: Glove:
Global vectors for word representation., In Proc.
of the Annual Meeting of the Association for
Computational Linguistics and the 7th International Joint Conference on Natural Language
Processing, Vol. 2, Short Paper (2015)[18] Roller, S., Erk, K., Boleda, G.: Inclusive yet
selective: Supervised distriubtional hypernymy
detection., In Proc. of the International Conference on Computational Linguistics(COLING),
pp. 1025–1036 (2014)[19] Santus, E., Lenci, A., Lu, Q., Walde, S.: Chasing hypernyms in vector spaces with entropy., In
Proc. ofn the Conference of the European Chapter of the Association for Computational Linguistics, pp. 38–42 (2014)[20] Suzuki, J., Nagata, M.: A Unified Learning
Framework of Skip-Grams and Global Vectors.,
In Proc. of the 53rd Annual Meeting of the
Association for Computational Linguistics andthe 7th International Joint Conference on Natural Language Processing (ACL/IJCNLP), Vol. 2,
Short Paper (2015)[21] 鷲尾光樹 , ベクトル空間表現における動詞の意味
関係の現れ, 東京大学教養学部教養学科超域文化科学分科 卒業論文 (2015)[22] Weeds, J., Weir, D., McCarthy, D.: Characterising measures of lexical distributional similarity., In Proc. of the International Conference on
Computational Linguistics(COLING), pp. 1015–
1021(2004)[23] Weeds, J., Clarke, D., Reﬃn, J., Weir, D., Keller,
Bill.: Learning to distinguish hypernyms and cohyponyms., In Proc. of the International Conference on Computational Linguistics(COLING):
Technical Papers, pp. 2249–2259 (2014)- 21 -