言語処理学会 第24回年次大会 発表論文集 (2018年3月)

サンプリング戦略に基づく単語ベクトルの意味成分とスタイル成分の分離
赤間 怜奈 †1†
1

横井 祥 †‡2‡東北大学小林 颯介 ∗4∗

理化学研究所 AIP センター

35

田 然 †5

乾 健太郎 †‡6

株式会社 Preferred Networks{ reina.a, yokoi, kento.w, tianran, inui}@ecei.tohoku.ac.jp, 4 sosk@preferred.jp
12

渡邉 研斗 †3
6

はじめに
近年，対話の応答文生成などの文生成タスクでは，生成する文の意味（何を伝えるか）だけでなく，話者の性別や年齢 [1]，敬意 [2,3]，感情 [4]，性格 [5,6] など，文のスタイル（どう表現するか）を制御する研究が増えている．しかし，これらの既存研究は敬意表現などスタイルの一側面を限定的にモデル化しており，スタイルとして考えられる多種多様な特徴をトップダウンに網羅できていない．仮に，スタイルとして考えられる種々の特徴を網羅した語の分散表現を教師なし学習できれば，スタ

図1

イルに関する様々な言語学的仮説の検証という学術的貢献や，意味とスタイルの類似性を捉えた単語ベクトル空間．

多種多様なスタイルを自在に制御できる対話システムの実現といった実用的貢献が期待できる．このような動機から，本研究では，多種多様なスタイルを捉えた単語ベクトル空間の教師なし学習を試みる．我々が期待するスタイルの単語ベクトル空間とは，（「意味」は近くとも）「スタイル」が大きく異なる “俺”と “私” は遠くに配置され，（「意味」は異なっているとしても）「スタイル」が似ている “俺” と “だぜ” が近くに配置されるよ図2

ターゲット単語に対する文脈単語の予測範囲とその性質．ターゲット単語の周辺にある文脈単語の予測を重要視すうな空間である（図1，右下）．
本研究では，「スタイル」の類似性を捉えるベクトル空間をることで「意味」を捉えた単語ベクトルが学習される（赤色）．

構築するに当たり，「同一発話内に含まれる単語は同一のスタ発話内の全文脈単語を均等に予測するように単語ベクトルを学習することで「スタイル」の類似性を捉えられると考えらイルを持つ」という仮定を置く*1 ．この仮定の上で，スタイルれる（青色）．

が似た単語同士は，共通の単語をそれぞれの同一発話内で見つ表記・実験設定

2

けている可能性が高い．たとえば “俺” と “だぜ” は似たスタイルを持つと考えられるが，これらの語はそれぞれが “お袋” と本研究で使う記号の定義

いう共通の単語と発話内で出会っていると考えられる．以上の発話内の単語の並びにしたがって単語に添え字を付ける．た考察から，同一発話内の単語を予測できるようなベクトルを構

とえば wi は発話内の i 番目の単語を表す．とくに，注目して成することで，スタイルの類似性を捉えた単語ベクトル空間をいるターゲット単語を wt で表す．すなわち wt+1 はターゲッ作ることを試みる（図2の青色，3.2 節）．

ト単語の次の単語を表す．

一方で，いわゆる「意味」を捉えるための単語ベクトルの学習

データセットでは，同一発話内のすべての単語を予測する能力ではなく，ごく近傍の単語を予測する能力を重視する（図2の赤色，3.1 節）．
そのため，図2から分かるように，「近傍の単語を予測する能力」「発話内のスタイルの一貫性」を手がかりにスタイルベクトルを構築したいので，扱うコーパスは発話単位（たとえばかぎ括弧）が多く出てくるものが望ましい．我々は学習用コーパスを持つベクトルは，意味性とスタイル性の両方が混ざった状態として，ショートストーリー（SS）のデータを用いた．SS はになっていることが懸念される．

Web 上に投稿された漫画やアニメなどの二次創作の物語であ

そこで本研究では，図2の色の濃さの比率に応じて，周辺単り，それぞれの作品はかぎ括弧で囲まれた登場人物の発話が連語を予測するベクトルの「意味」部分と「スタイル」部分を使なっている．ここから，かぎ括弧で囲まれた文をそれぞれ 1 発い分ける工夫を施した．作成した単語ベクトルは，意味を表す話として抽出し，約 30M 発話を用意した．なお，この内 1, 000次元とスタイルを表す次元に分かれており，それぞれの情報を発話を評価用のデータとして無作為に除外した．集められた発独立に利用できる．さらに提案手法は，スタイルを捉えるため話に対し，品詞情報の付与などの一般的な前処理をおこなったの既存研究 [1,6] のように同一の文体で統一された教師データ上で，スタイルを学習しやすくするために “わ + よ + ね” のよを必要せず，生コーパスを使った学習が可能である．

うな文末表現の連結 [1] を施した．学習には，コーパス内での*1 既存研究 [1,2,7] でも，「発話内でスタイルは一貫している」ことを暗黙的に出現頻度が 5 以上の単語を用い，結果として語彙数は約 10 万仮定している．となった．

1― 718 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表1 予備実験の結果

予備実験：アプローチの妥当性の検証

3

パラメータ

予備実験として，「近傍文脈」に基づく意味ベクトルの学習

文脈 Cwtと，「発話内スタイル一貫性」に基づくスタイルベクトルの学#1#2#3#4

近傍⽂脈に基づく意味ベクトルの学習本研究では，分布仮説 [8,9] に基づき「意味」を捉えた単語ベクトルの構築手法として Mikolov らの Skip-gram モデル [10]3.2を用いる．Skip-gram モデルは，ターゲット単語 wt に対する

有無無無アの類似度平均

0.419
0.399
0.352
0.205

0.190
0.201
0.274
0.409

発話内の⼀貫性に基づくスタイルベクトルの学習の類似性を捉えた単語ベクトルを構築し，その性質を検証する．

は文脈の窓幅）の予測可能性を手掛かりに，意味情報や統語情具体的には，Skip-gram の枠組みにおいて，窓幅 δ を発話の先報を分散表現として学習している．具体的には，以下の予測確頭・末尾まで広げ，発話内の（ターゲット単語を除く）全単語率を最大化することで単語ベクトルを学習する．

exp(v ⊤wt ṽ c )⊤ ṽ )
exp(v′w′ cw ∈V{wt±d | 0 < d ≤ 5}
{wt±d | 0 < d ≤ 5}
{wt±d | 0 < d ≤ max}
{wt±d | 10 < d ≤ max}

発話内の単語ペ

次に，「発話内のスタイルの一貫性」を手がかりに，スタイル

文脈単語たち Cwt = {wt±d | 0 < d ≤ δ}（d は wt との距離，δ

P (c|wt ) = ∑

ρ

プリング

習を素朴に行い，図2に示した直観の妥当性を確認する．

3.1

評価尺度

δ のサン

{wt±d | 0 < d ≤ max} を文脈 Cwt として，これらを均等に予．この測するように単語ベクトル v wt を学習する（図2の水色）処理により，発話内の単語たちが位置によらず似た予測学習を(1)行うことになり，結果としてベクトル空間上で近くに配置されることを期待している．

ここで，c は各文脈単語 c ∈ Cwt を表し，v wt は単語 wt のベ

ここで，前節での検証から，ターゲット単語の近傍単語を文クトル，ṽ c は単語 c を予測するベクトルである．V は語彙の脈 c として学習を行うと「意味」の類似性が学習されやすいこ単語集合を表す．学習高速化のため，Mikolov らと同様に負例とが予想される．そこで，意味の類似性を捉えずにスタイルだ

サンプリングにより近似を行った*2 ．

けを考慮したベクトルを学習する素朴な工夫として，近傍の単Mikolov らの実装では，学習時に 0 < δ ≤ ∆（∆ は最大窓幅）の範囲で δ を一様分布に従ってサンプリングし，wt との距離 d が小さい文脈語 c ほど高頻度で学習される．たとえば∆ = 5 の場合，wt±1 は必ず学習されるが，wt±5 は 0.2 の確率で学習される．このように，一般的な設定の Skip-gram モデル

語を取り除いた {wt±d | 10 < d ≤ max} を文脈 Cwt とした手法も用意する．
本節の予備実験では，δ の値を広げた発話内で均等な予測学習を行うことで，発話内単語のスタイルの類似性を捉えやすくなるかを検証する．また，前節で検証された，近い文脈単語でにより学習される単語ベクトルは，ターゲット単語により近いの学習では意味を捉えやすくなる，という結果を考慮し，逆に，文脈単語の予測を特に重視している（図2の赤色）．

近い文脈単語を除くことによるスタイル情報の学習への影響も最初の予備実験として，δ のサンプリングを用いた単語ベク観察する．そこで，この実験では，テストデータ中の各発話内トルの学習，すなわち「近い文脈単語を重視する」学習によっの全単語ペアのコサイン類似度の平均を計算することで，各学て，「意味」を捉えやすくなるかを検証する．単語ベクトルが習方法における単語ベクトルがスタイルの類似性をより良く捉意味の類似性を捉えているか定量評価するために，日本語単えているか定量的に計測する．

語類似語データセット [11,12] を用いた意味的類似度（wordsimilarity）タスクで実験を行った．このデータセットは，名詞，動詞，形容詞，副詞それぞれについての単語ペアの集合からな

表1の下 2 列に，文脈 Cwt を {wt±d | 0 < d ≤ max} にした時と，{wt±d | 10 < d ≤ max} にした時に学習された単語ベク
トルの評価結果を示した．まず，周辺単語 {wt±d | 0 < d ≤ 5}

り，各単語ペアに対して作業者が類似度を付与してある．そのを文脈単語 Cwt にして学習したベクトル（表1,# 2）と比較

人手による類似度と，単語ベクトルを用いて計算した類似度をすると，文脈単語を発話の先頭，末尾まで広げる（表1,# 3）比較し，順位相関係数を計算する．本研究ではスピアマンの順ことで，平均類似度が大きくなっていることがわかる．更に，位相関係数 ρ を用いる．ρ は −1 から 1 の値をとり，1 に近い{wt±d | 10 < d ≤ max} を文脈単語 Cwt にして単語ベクトルほど相関が強く，すなわちモデルが意味の関連性をよく捉えて（表1,# 4）を学習すると，平均類似度はより大きくなった．こいることを示唆する．本研究では各品詞のセットについての ρ

れらの結果は，意味的類似性に深く関わる学習要素である近傍のマクロ平均を評価値として用いた．の周辺単語を除外し，発話全体の文脈単語を予測するように単表1の上 2 列に，δ を一様サンプリングした学習の単語ベクト語ベクトルを学習することで，意味情報の代わりにスタイル情ル（表1,# 1）と，δ を 5 に固定した単語ベクトル（表1,# 2）の報を重視して学習できる可能性を示唆している．

順位相関係数 ρ を示した．この表より，δ をサンプリングした

実際に，発話内の単語 {wt±d | 0 < d ≤ max} を文脈とした時モデルの順位相関係数 ρ が大きいことがわかる．これは，ターは，単語 “俺” のベクトル空間における類似単語として “だぜ”

ゲット単語の近傍の文脈単語を重視して予測することが，「意のようなスタイルが類似した単語が上位になる傾向が見られた味」を捉えた単語ベクトルを学習する上で重要であることを示が，同時に “私” のような意味としても類似した単語も上位類唆している．

似単語となる傾向が見られた．一方で，{wt±d | 10 < d ≤ max}

*2 ターゲット単語 wt と文脈単語 c のペアに対して負例を 5 単語サンプリング

を文脈とした学習結果についても類似単語を確認すると，意味する．サンプリングにはユニグラム確率を 0.75 乗した分布を用いる．ベク
トルの次元数は 300 とする．以降，全ての単語ベクトルの学習に，これらのパラメータを用いる．

的に類似した単語は減少し，スタイル的に類似した単語がより

2― 719 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

とが重要であることが示唆されている（図2の赤色）．そこで本研究では，意味情報をスタイル成分 y wt から上手く分離するために，ハイパーパラメータ γ を固定せず一様分布に従い [1 : 5]の範囲で γ をサンプリングすることで，wt との距離が近い文脈単語ほど (v wt の学習に使われるようにする．この工夫により，意味ベクトル成分 xwt は近傍の文脈単語を重視して学習することになる．

意味とスタイルベクトルの定性的分析

5

本研究では，学習された意味ベクトル xwt とスタイルベク
トル y wt がそれぞれ意味の類似性とスタイルの類似性を捉え

図3 提案する単語ベクトルの概念図ているかを定性的に分析*3 する．具体的には，5 つの単語 “俺”，“ぜ”，“くださる”，“ほな”，“サンタ” を分析対象に，ベクトル多く観察できた．

空間におけるコサイン類似度が大きい単語を見ることで，空間4

提案⼿法内で近くに位置する単語を観察する．

予備実験より，(1)「意味」の類似性を捉えるには特に近傍に

表2に3.1節で学習した 2 種類の意味ベクトルと，提案手法に位置する単語を重要視した周辺単語の予測が有効であり，(2)より得られた意味ベクトル xwt の 3 種類のベクトル空間上に「スタイル」の類似性を捉えるには発話内の（ターゲット単語をおける分析対象の単語とのコサイン類似度が大きい上位 8 件の除く）全単語を均一に予測することが有効であるという，図2の単語を示す．この表より，予備実験で得られた意味ベクトルは，直観が妥当であることを確かめた．予備実験では意味の類似性

意味とスタイルの類似性を同時に捉えているのに対し，提案手を除外してスタイルの類似性のみを学習するために，周辺単語法で得られた意味ベクトル xwt では，期待通りスタイルの類似を文脈単語から除外するという素朴な手法を用いた．しかし，性が薄れている．たとえば，xwt では “俺” と似た単語から “オ「発話内のスタイルは一貫している」と本研究では仮定していメー” のような粗雑なスタイルの単語が類似しなくなった．

るため，周辺単語もスタイルの類似性を捉えるための情報にな

次に，表3に3.2節で学習した 2 種類のスタイルベクトルと提りうるはずである．とは言え，単純に近傍の単語も文脈語に追案手法により得られたスタイルベクトル y wt の 3 種類のベク加するだけでは，分離したいはずの意味情報までもが混じってトル空間上における分析対象の単語とのコサイン類似度が大き学習されてしまう．そこで本研究では Skip-gram を拡張し，タい上位 8 件の単語を示す．この表と表2を比較する．例えば，分ーゲット単語 wt から文脈単語 c までの距離 d によって学習す析対象の単語 “俺” について着目すると，意味ベクトル xwt のる単語ベクトルの位置を変えることで，意味とスタイルの類似空間では一人称を表す “僕” や “あたし” など意味的に似た語性を上手に分離しながら同時に学習する．との類似度が高いが，スタイルベクトル y wt の空間では “あいつ” や “テメェ” など粗野な印象を受ける単語との類似度が高図3に提案手法の概略を示した．提案手法では，意味とスタイいことが確認できる．

ルの情報を独立に表現するために，単語ベクトル v wt を，意味以上より，提案手法により意味ベクトル xwt からはスタイを表す次元成分 xwt とスタイルを表す次元成分 y wt に切り離ルの類似性が薄れ，スタイルベクトル y wt からは意味の類似性す（文脈単語 c のベクトル ṽ c も同様に x̃c と ỹ c に切り離す）．

v wt = xwt ⊕ y wt

(2)ṽ c = x̃c ⊕ ỹ c(3)が薄れたことが定性的に観察できた．しかし，提案手法でえられたスタイルベクトル空間 y wt において，“サンタ” のようなスタイルとは関係なさそうな単語と類似した単語を列挙したとここで，⊕ はベクトルの連結を表す．本研究では，xwt と y wt

ころ，“トナカイ” や “プレゼント” のように「トピック」が似の次元数をそれぞれ 50 次元と 250 次元にした．

た単語の類似度が高くなる様子が見られた．本研究で「スタイターゲット単語の周辺単語を文脈とした時は，意味ベクトルルは発話内で一貫している」と仮定してスタイルベクトルを学

xwt とスタイルベクトル y wt の両方を学習し，ターゲットから習したが，「発話内で一貫している」のはトピックも同様であ一定以上の距離にある単語を文脈としたときはスタイルベクトるため，トピックもスタイル情報として学習されたと考えられ

ル y wt だけを学習すればよい．つまり，提案手法における予測る．これは「発話内の一貫性」に基づくモデリングでは当然起確率 P (c|wt ) は整数のハイパーパラメータ γ を定義することこりうる結果であり，文書情報（文書全体でトピックは一貫しで以下のように定式化できる．ているが，スタイルの一貫性はない）などを利用することで解 ∑ exp(v wt ⊤ṽ c )w′ ∈V exp(v w′ ⊤ṽ c )P (c|wt ) = ∑ exp(y wt ⊤ỹ c )w′ ∈V exp(y w′ ⊤ỹ c )(d ≤ γ)

決できる可能性がある．

(4)

おわりに

6(γ < d)

なお，予測確率の計算コスト上の問題から3.1節と同様に，負例

本研究では，「分布仮説」と「発話内のスタイルの一貫性」にサンプリングによる近似を行った．

基づき，単語の意味成分とスタイル成分を捉えたベクトル空間

また，3.1節の予備実験の結果より，意味ベクトルを学習する*3 なお，予備実験で採用した二種類の評価尺度（語の意味的類似度タスクの性能，および，発話内の単語ペアの類似度の平均）については省略する．

上で，ターゲット単語の近傍の文脈単語を重視して予測するこ3― 720 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表2 意味ベクトル空間における分析対象の単語とコサイン類似度が大きい上位 8 単語

δ のサンプリング無 δ のサンプリング有意味ベクトル

予備実験＃ 2：C ∈ 予備実験＃ 1：C ∈{wt±d | 0 < d ≤ 5} {wt±d | 0 < d ≤ 5}

提案手法：xwt

手法

俺/名詞
おまえ/名詞
僕/名詞
おいら/名詞
あたし/名詞あたい/名詞
オメー/名詞
私/名詞
オメェ/名詞
おまえ/名詞
おいら/名詞
僕/名詞
あたし/名詞
あたい/名詞私/名詞
オメエ/名詞
オメー/名詞
きみ/名詞
おまえ/名詞
おいら/名詞
僕/名詞
あたし/名詞おら/名詞
父さん/名詞
彼女/名詞

ぜ/文末
ぞ/文末
からな/文末たぜ/文末けどな/文末だぜ/文末がな/文末
よな/文末
ぜ/助詞
ぞ/文末
からな/文末けどな/文末たぜ/文末がな/文末
べ/文末
わ/文末よな/文末
ぞ/文末たぜ/文末けどな/文末の/文末
わ/文末
わよ/文末
からさ/文末けどね/文末

単語
くださる/動詞
下さる/動詞まし/文末なさる/動詞
頂戴/名詞
ちょうだい/名詞
くだす/動詞くだ/名詞
ませ/文末
下さる/名詞
まし/文末
頂戴/名詞
ちょうだい/名詞
なさる/名詞クダサイ/名詞
くだ/名詞
くだく/動詞下さる/動詞
ほしい/形容詞
欲しい/形容詞
形式/名詞
法/名詞
くれる/動詞
調査/名詞
ね/文末

ほな/接続詞
ほんなら/接続詞
ええ/形容詞
ほんま/名詞
へん/助動詞ホンマ/名詞
や/助動詞
やろ/助動詞
ホンマに/副詞
ほんなら/接続詞
ほんじゃ/接続詞
ええ/形容詞
ほんで/接続詞
ほんま/名詞ホンマ/名詞
や/助動詞
よろしゅう/形容詞
引き続き/副詞
とりあえず/副詞
各自/名詞
ひとまず/副詞
よしっ/感動詞
さてと/感動詞
取り敢えず/副詞次第/名詞

サンタ/名詞
サンタクロース/名詞
トナカイ/名詞
プレゼント/名詞
クリスマス/名詞
クロース/名詞
メリークリスマス/名詞
サンタコス/名詞
クリスマスカード/名詞
サンタクロース/名詞
トナカイ/名詞
明石家/名詞プレゼント/名詞
クリスマス/名詞
メリークリスマス/名詞
コウノトリ/名詞
クロース/名詞パン/名詞
会長/名詞
クリスマス/名詞
プロデューサー/名詞
うどん/名詞
幽霊/名詞
グッズ/名詞
部長/名詞

表3 スタイルベクトル空間における分析対象の単語とコサイン類似度が大きい上位 8 単語

{wt±d | 10 < d}スタイルベクトル{wt±d | 0 < d}

予備実験＃ 4：C ∈ 予備実験＃ 3：C ∈提案手法：y wt

手法

俺/名詞
おまえ/名詞
ぜ/助詞
ねぇ/助動詞
オメー/名詞ねえ/助動詞ぜ/文末
ちまう/動詞
ねぇよ/文末おまえ/名詞オフクロ/名詞
でねぇよ/文末
ゃねぇよ/名詞
ねーからよ/文末
ちまう/動詞
あいつ/名詞ピーピー/名詞
おまえ/名詞
あいつ/名詞
オメー/名詞
そいつ/名詞
親父/名詞
テメェ/名詞アイツ/名詞ねぇ/助動詞

ぜ/文末
だぜ/文末
たぜ/文末
ぜ/助詞
ぞ/文末
からな/文末じゃねえか/文末
けどな/文末ないぜ/文末だぜ/文末ぜ/助詞
ちまう/助詞ねえぜ/文末ねえ/助動詞
たぜ/文末
ねぇ/助動詞
ねぇからよ/文末
だぜ/文末たぜ/文末
ぜ/助詞
じゃねえか/文末
ぞ/文末
じゃねぇか/文末
ちまう/動詞からな/文末単語
くださる/動詞
下さる/動詞まし/文末
なさる/動詞ますから/文末
くだす/動詞ちょうだい/名詞
頂戴/名詞
くだ/名詞
下さる/動詞ます/助動詞です/助動詞ます/文末ますから/文末ましたら/文末まし/助動詞カンパーイ/名詞
下さる/動詞ます/助動詞
ので/助詞です/助動詞
どうぞ/副詞まし/助動詞ませ/助動詞くだす/動詞

ほな/接続詞
ほんなら/接続詞
ええ/形容詞ホンマ/名詞やろ/助動詞
ほんま/名詞
へん/助動詞や/助動詞
やな/文末
ええ/形容詞や/助動詞
おおきに/副詞
さかい/文末
しゃあない/形容詞
や/文末
たろか/文末オモロ/名詞
ほんなら/接続詞
ええ/形容詞
しゃあない/形容詞
ほんじゃ/接続詞
ほなら/接続詞
へん/助動詞
ほんま/名詞さかい/助詞サンタ/名詞
サンタクロース/名詞
トナカイ/名詞
プレゼント/名詞
クリスマス/名詞
ソリ/名詞
クロース/名詞
クリスマスカード/名詞
メリークリスマス/名詞
プレゼント/名詞
ナイトキャップ/名詞
メルシー/名詞
サンタクロース/名詞
クリスマス/名詞
プリッツェン/名詞
トナカイ/名詞トナ/名詞
サンタクロース/名詞
トナカイ/名詞
プレゼント/名詞
クリスマス/名詞
枕元/名詞
ブリッツェン/名詞
仮想/名詞
イヴ/名詞

参考⽂献

を，大規模発話コーパスを用いた教師なし学習により獲得することを試みた．具体的には，Skip-gram モデルを拡張し，単語[1] Chiaki Miyazaki, Toru Hirano, Ryuichiro Higashinaka, Toshiro
Makino, and Yoshihiro Matsuo. Automatic conversion of sentenceend expressions for utterance characterization of dialogue systems. InPACLIC2015, pages 307–314, 2015.
[2] Rico Sennrich, Barry Haddow, and Alexandra Birch. Controlling politeness in neural machine translation via side constraints. In NAACLHLT2016, pages 35–40, 2016.
[3] Xing Niu, Marianna Martindale, and Marine Carpuat. A study ofstyle in machine translation: Controlling the formality of machinetranslation output. In EMNLP2017, pages 2804–2809, 2017.
[4] Zhiting Hu, Zichao Yang, Xiaodan Liang, Ruslan Salakhutdinov, andEric P. Xing. Toward controlled generation of text. In ICML2017,pages 1587–1596, 2017.
[5] Francois Mairesse and Marilyn Walker. Personage: Personality generation for dialogue. In ACL2007, pages 496–503, 2007.
[6] Marilyn A Walker, Grace I Lin, and Jennifer Sawyer. An annotatedcorpus of film dialogue for learning and characterizing character style.
In LREC2012, pages 1373–1378, 2012.
[7] Di Wang, Nebojsa Jojic, Chris Brockett, and Eric Nyberg. Steering
output style and topic in neural response generation. In EMNLP2017,
pages 2130–2140, 2017.
[8] Zellig S Harris. Distributional structure. Word, 10(2–3):146–162, 1954.
[9] John Rupert Firth. Papers in Linguistics 1934-1951. Oxford University Press, 1957.
[10] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey
Dean. Distributed representations of words and phrases and theircompositionality. In NIPS2013, pages 3111–3119, 2013.
[11] 堺澤勇也 and 小町守. 日本語動詞・形容詞類似度データセットの構築. In 言語処
理学会第 22 回年次大会, pages 258–261, 2016.
[12] Yuya Sakaizawa and Mamoru Komachi. Construction of a Japaneseword similarity dataset. arXiv preprint arXiv:1703.05916, 2017.の意味の類似性を捉えた次元と，スタイルの類似性を捉えた次元に分けることで，二つの情報を独立に表現した．また，学習時に使用する文脈単語のサンプリングを調整することで，意味とスタイルの違いを学習する仕組みを提案した．定性分析の結果，得られた意味ベクトルは “俺” と “僕” などの意味が類似した単語群が近づく空間となり，反対にスタイルベクトルでは“俺” と “だぜ” のようなスタイルが類似した単語群が近づく空間となっていることが観察できた．ただし，得られたスタイル
ベクトル空間では “サンタ” と “クリスマス” のような同じトピックの単語群も近づく空間であるということも，確認できた．
今後は，単語ベクトルの定量評価や，トピックも考慮できるように提案ベクトル表現を拡張したい．更には，それらのベクトル表現を対話システムに組み込む予定である．
謝辞 本研究の一部は，豊田中央研究所および文部科学省科研費 15H01702 の支援を受けた．

4― 721 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.