DEIM Forum 2017 P6-5

ユーザレビューの分散表現を用いた主観的特徴の意味演算による観光スポット検索システム
吉田 朋史†

北山 大輔††

中島 伸介†††

角谷和俊††††† 工学院大学大学院工学研究科 〒 163–8677 東京都新宿区西新宿 1–24–2†† 工学院大学情報学部 〒 163–8677 東京都新宿区西新宿 1–24–2††† 京都産業大学コンピュータ理工学部 〒 603–8555 京都市北区上賀茂本山†††† 関西学院大学総合政策学部・社会情報学研究センター 〒 669–1337 兵庫県三田市学園 2–1
E-mail: †em15020@ns.kogakuin.ac.jp, ††kitayama@cc.kogakuin.ac.jp, †††nakajima@cse.kyoto-su.ac.jp,††††sumiya@kwansei.ac.jp
あらまし

観光スポットが持つ様々な特徴の中で，タグなどのメタデータでは推測困難な「夜景が美しい」「待ち合わせ場所に向いている」などの主観的特徴を考慮した観光スポット検索システムを提案する．提案システムでは，文書の分散表現獲得手法である Paragraph Vector を用いて観光スポットに対して投稿されたユーザレビューから生成した各スポットの特徴ベクトルと，ユーザが入力したキーワードをレビュー中に含むスポットの特徴ベクトルを用いて生成した入力キーワードの特徴ベクトルによる意味演算を行うことで，ユーザの入力キーワードが表す主観的特徴を考慮した観光スポット検索を行う．
キーワード

観光スポット検索，分散表現，ユーザレビュー「大阪市」，カテゴリタグ「観光施設・名所巡り」などが付与さ

1. は じ め にれている．一方，「梅田 BIGMAN」は JR 大阪駅近郊の待ち合観光地に関する情報を収集する上で，Web 上に存在する情わせ場所としても著名なスポットであるが，「大阪市」や「観光報の重要性は年々高まっている．Sanderson ら [1] や Gravano

施設・名所巡り」などの付与されたタグから「待ち合わせ場所」

ら [2] の研究結果によれば，検索エンジンを用いた Web 検索のという特徴を類推することは困難であり，投稿されたレビュー20 ％近くは特定の場所に関係する問い合わせであると言われなどを実際に精読しない限りは「待ち合わせ場所」という特徴ており，Web 上で観光情報を検索するユーザが求める情報を適をユーザが知ることは困難であると考えられる．

切に提示することは情報検索・情報推薦システムにとって重要なタスクであると考えられる．

このような「待ち合わせ場所」や「景色が綺麗」などの特徴を，本研究ではスポットの主観的特徴と定義する．主観的特徴（注 1）

やは観光スポットが持つ機能や観光地としての役割に関連する特TripAdvisor（注 2）などの観光情報サイトが普及し，これらのサイ

このようなユーザからの需要に応えて，近年じゃらん

徴であり，ユーザがその観光スポットを訪問する目的や，訪問トには観光スポット（以下スポットと表す）についての情報やすることで得られる感情・印象などを表す特徴であると考えら

ユーザレビューが数多く投稿されている．一般的な観光情報サれる．また，これらの主観的特徴はスポットの所在地や所属カ

イトでは，スポットの特徴を表現するメタデータとしてスポッテゴリなどの客観的かつ普遍的な情報から類推することが困難

トの所在地を表す地域タグ（都道府県など）や種類を表すカテであり，ユーザレビューや SNS への投稿などユーザの主観的ゴリタグ（「寺社仏閣」など）が付与されており，ユーザが目的な印象や個人的な体験についての記述が多く含まれるテキストに合うスポットを検索する際は，キーワードによる検索とこれに含まれやすいと考えられる．

らのタグによる絞り込みを組み合わせて使うことが多いと考えられる．

このような主観的特徴を考慮した観光スポットの検索手法として，我々はある観光スポットと主観的特徴が類似する他

しかし，スポットが持つ特徴には所在地やカテゴリから推測の地域・カテゴリに属する観光スポットの検索手法を提案しすることが困難な特徴も存在し，これらの特徴を考慮したス

た [3]．文献 [3] で提案した手法では，文書を表現する特徴ベク

ポット検索を行う際には地域タグやカテゴリタグに基づく検索トル（分散表現）をニューラルネットワークによって学習するが有効に働かない事が考えられる．例えば，大阪府大阪市にParagraph Vector モデル [4] を用いて，ある観光スポットに対所在する観光スポット「梅田 BIGMAN」は大型液晶ディスプして投稿されたユーザレビューを学習データとして各観光スレイを備えたイベントスペースであり，じゃらんでは地域タグ

ポットやスポットに付与された地域タグ・カテゴリタグの特徴ベクトルを算出する．算出した観光スポットの特徴ベクトルと（注 1）：http://www.jalan.net/kankou/

地域タグ・カテゴリタグの特徴ベクトルで加減算を行い，演算（注 2）：https://www.tripadvisor.jp/

結果のベクトルと各スポットの特徴ベクトル間のコサイン類似度を算出することで，他の地域・カテゴリにおいて入力スポットと主観的特徴が類似するスポットを検索する（このような演算方法は入力クエリの意味を考慮したベクトル演算と考えられるため，本研究ではこのような演算方法を意味演算と呼ぶ）．
例えば，東京都内において「梅田 BIGMAN」と同様に待ち合わせ場所として著名な観光スポットを検索したい場合には，“梅図 1 提案手法の概念図

田 BIGMAN− 大阪府 + 東京都” のようなベクトルの加減算を行い，演算結果のベクトルとコサイン類似度が高い観光スポットとして「ハチ公の銅像」や「西郷隆盛像」のような東京都内において待ち合わせ場所として著名な観光スポットを抽出することを目指した．
文献 [3] での実験結果から，Paragraph Vector モデルはスポットの主観的特徴を考慮した特徴ベクトルを算出できること，Paragraph Vector モデルで算出したベクトル同士の演算によって精度良く意味演算が行えることが確認された．一方，文献 [3]で提案した手法の問題点として以下のような点が確認された．
（ 1 ） 考慮したい主観的特徴を持つ何らかのスポットをユーザが事前に把握している必要がある（ 2 ） 地域タグ・カテゴリタグが表す特徴以外を全て主観的特徴とみなしてしまう（1）については，提案手法では入力スポットと他の地域・カテゴリにおいて主観的特徴が類似するスポットを検索するため，入力スポットの主観的特徴がどのような特徴であるかをユーザが把握している必要がある．例えば「待ち合わせ場所」という主観的特徴に基いてスポットの検索を行う場合には，「ハチ公の銅像」や「梅田 BIGMAN」など待ち合わせ場所として著名なスポットをユーザが入力スポットとして選定する必要がある．
このため，考慮したい主観的特徴は明確だがその主観的特徴を持つスポットの具体例が想起しにくい場合には，提案手法による検索が行いづらいことが想定される．
（2）については，提案手法は Paragraph Vector モデルで算出した観光スポットの特徴ベクトルに含まれる特徴の種類が「地域的特徴」「カテゴリ的特徴」「主観的特徴」の 3 種類であるという仮定に基づいている．しかし，実際にユーザレビュー中に含まれる記述にはこの 3 種類以外のスポットの主観的特徴への言及が含まれると考えられる．例えば，特定の季節に訪れやすいスポットでは「夏」「雪」「寒い」など季節に関する言及が含まれやすく，巨大な観光スポットに対しては「大きい」「広い」などスポット自体の大きさ・広さに関する言及が含まれやすいことが考えられる．Paragraph Vector モデルは文書中で（ 1 ） 任意の観光スポット名と考慮したい主観的特徴に関するキーワードをユーザが入力し，各スポットに対するレビュー文中での入力キーワードの単語頻度を算出（ 2 ） 算出した単語頻度が一定の閾値以上のスポットの特徴ベクトルを抽出し，これらのベクトルの平均値などを用いて入力キーワードの特徴ベクトルを算出（ 3 ） 入力された観光スポットの特徴ベクトルと算出したキーワードの特徴ベクトルの加算を行い，演算結果のベクト
ルと各スポットの特徴ベクトル間でのコサイン類似度に基づきユーザへの提示スポットを抽出
例えば，「ディズニーランド」と同種のテーマパークの中で，ジェットコースターなどのアトラクション要素が少なくよりキャラクターに特化したテーマパークを検索したい際は，レビュー中での単語「アトラクション」の単語頻度に基づき抽出したス
ポットの特徴ベクトルを用いて「アトラクション」の特徴ベク
トルを算出し，“ディズニーランド + アトラクション” のようなベクトル同士の加算を行うことで，ディズニーランドと比較してより「アトラクション」に特化したスポットを検索する．
提案手法の概念図を図 1 に示す．
本研究では，スポットの特徴ベクトルを用いた主観的特徴の特徴ベクトル算出手法について，(1) 各ベクトルの相加平均（2）ベクトルの各次元の最大値に対する割合に基づく重み付き平均(3) 入力キーワードの単語頻度に基づく重み付き平均の 3 手法を提案し，各手法によるスポット検索の精度を実験により評価する．
本論文の構成は下記のとおりである．2 節では，関連研究との比較を通して本研究の位置付けについて述べる．3 節では，Paragraph Vector モデルを用いた観光スポットの特徴ベクトルの算出について述べる．4 節では，3 節で算出したスポットの特徴ベクトルを用いた主観的特徴に関するキーワードの特徴ベクトルの算出について述べる．5 節では提案システムによる観光スポットの検索例を，6 節ではまとめと今後の課題について述べる．の各単語の出現確率に基づき文書の特徴ベクトルを学習するため，これらの主観的特徴として適切でないと考えられる特徴の類似によってもベクトル間の類似度が上昇する可能性が考えられる．
そこで，本研究ではこのような問題点を改善することを目的として，Paragraph Vector モデルにより算出した各スポットの特徴ベクトルを用いて任意の主観的特徴の特徴ベクトルを動的に算出し，ある観光スポットと比較して対象の主観的特徴を強く持つ他の観光スポットを検索する手法を提案する．提案手法の具体的なアルゴリズムを以下に示す．

2. 関 連 研 究
観光情報の検索・推薦に関する関連研究として，土田ら [5] はword2vec による地域を表す単語の加算による他の地域における類似スポットの発見手法を，石野ら [6] はガイドブックなどでは知ることが難しい観光スポットの詳細な情報を効率良くユーザに提示するための情報拡張システムを，伊達ら [7] はブログ記事から観光スポットの印象を表す単語を抽出し印象に基づく観光スポット推薦手法を提案している．また，あるドメインに対応するコンテンツを別のドメインから発見するような，相対的検索やアナロジー検索に関する研究も存在する．Nakajima
ら [8] は，あるドメインの空間を別のドメインに写像することで 2 つのドメインの相対的関係性を用いて検索する手法を提案している．また，Kato ら [9] は 2 つのキーワードとその関係を表すキーワードに着目し，その関係キーワードを Web 検索結果から自動的に抽出する手法，および関係キーワードを用いその関係となる別のキーワードを発見する手法を提案している．

図 2 Paragraph Vector モデルによる「ハチ公の銅像」の特徴ベクト
ル生成例
表 1 「ハチ公の銅像」と類似度が高いスポット

本研究はこれらの先行研究で議論されていなかった観光スポッ

スポット名

トの主観的特徴に着目し，先行研究例の少なかった Paragraph

ハチ公の銅像

Vector モデルの観光スポットへの適用を試みている点や，観光類似度 地域

カテゴリ- 渋谷区 観光施設・名所巡り

モヤイ像

0.7825 渋谷区 観光施設・名所巡り

ハチ公ファミリーレリーフ

0.6197 渋谷区 その他

スポットの主観的特徴を表すベクトルを動的に生成し，ベクト

西郷隆盛像

0.5719 台東区 観光施設・名所巡り

ルの加算による意味演算として観光スポットの相対的検索を試

梅田 BIGMAN

0.4992 大阪市 観光施設・名所巡り

みる点でこれらの研究と異なる．

大館駅前ハチ公像

0.4675 大館市 観光施設・名所巡り

3. Paragraph Vector モデルによる観光スポットの特徴ベクトル算出
Paragraph Vector モデルは，Mikolov らによって考案された単語の特徴ベクトル学習手法である word2vec [10] を拡張し，Le ら [4] によって提案された文書の特徴ベクトル学習手法である．Paragraph Vector モデルでは「同じ文脈で出現する単語いての記述を多く含んでおり，Paragraph Vector モデルがこのようなレビュー中の記述に基づきスポットの主観的特徴を考慮した特徴ベクトルを生成できていると考えられる．

4. 主観的特徴に関する入力キーワードの特徴ベクトル算出は類似した意味を持つ」というハリスの分布仮説 [11] に基づ

この節では，3 節で算出した各スポットの特徴ベクトルを用き，「ある文書中である単語列が与えられた時，次に出現するいて，ユーザが入力した主観的特徴に関するキーワードの特単語を予測する」というタスクをニューラルネットワークに学

徴ベクトルの算出について述べる．本研究では，投稿されたレ習させることで，文脈や単語の語順を考慮した文書の特徴ベク

ビュー中での入力キーワードの単語頻度を考慮して観光スポットルを生成することが出来る．Paragraph Vector モデルでは，トを抽出し，抽出したスポットの特徴ベクトルを用いてキー生成した文書の特徴ベクトルを文書の分散表現（Distributedワードの特徴ベクトルを算出する．本研究では，式 1 の条件式Representation）と呼ぶ．

を満たすあるスポット s の特徴ベクトル vs を，入力キーワー観光スポットへの Paragraph Vector モデルの適応手法として，我々は [3] において，ある観光スポットに対して投稿された全レビュー文を 1 文書とみなし各文書を Paragraph Vector モデルの学習データとして各スポットの特徴ベクトルを生成する手法を提案した．図 2 に示すように，「ハチ公の銅像」の特徴ベクトルを生成する際には「ハチ公の銅像」に対して投稿された全てのユーザレビューを連結したものを「ハチ公の銅像」に対応する 1 文書とみなし，Paragraph Vector モデルによって学習したこの文書の分散表現を「ハチ公の銅像」の特徴ベクトルとする．表 1 は，国内の代表的な観光情報サイトであるじゃらんに掲載されている 43,759 件の観光スポットに対して投稿された 1,481,831 レビューを学習データに用いた Paragraph Vector
モデルにおいて，「ハチ公の銅像」の特徴ベクトルとコサイン類似度が高い特徴ベクトルを持つ観光スポット上位 5 件である．
「ハチ公の銅像」は待ち合わせ場所として全国的に著名な観光スポットであり，これは「ハチ公の銅像」に付与された「渋谷区」などの地域タグや「観光施設・名所巡り」などのカテゴリタグだけでは予測することが難しい「ハチ公の銅像」の主観的特徴であると考えられる．表 1 より，「ハチ公の銅像」の類似スポットとして「モヤイ像」「西郷隆盛像」「梅田 BIGMAN」などの待ち合わせ場所として同様に著名な観光スポットが抽出されている．これらのスポットはレビュー中に待ち合わせにつドの特徴ベクトル算出に用いるスポットの特徴ベクトルとして抽出する．

Vkw = {vs |tf (s, kw) >= θtf }

(1)

ここで，tf (s, kw) はスポット s に投稿された全レビュー中での入力キーワード kw の単語頻度の合計値，θtf は単語頻度に関する閾値，Vkw は式 1 の条件を満たす特徴ベクトルの集合を表す．例えば，キーワード「夜景」の特徴ベクトルの算出には，投稿された全レビュー中での「夜景」の単語頻度の合計値が閾値 θtf 以上のスポットを用いる．
我々は文献 [3] において観光スポットに付与された地域タグやカテゴリタグの算出手法を比較検討し，対象のタグが付与されたスポットの特徴ベクトルを相加平均する手法が最も精度良く意味演算が行えることを実験的に確かめた．一方，相加平均による地域・カテゴリタグは意味演算に与える影響度が小さすぎるという欠点も実験結果から同様に明らかとなった．この結果に基づき，本研究では入力キーワードの特徴ベクトル vkwの算出手法として，入力キーワードがレビュー中に含まれるスポットの特徴ベクトルの相加平均を基本とし，新たに提案する各次元の最大値や単語頻度などによる重み付き平均を含めた 3つの手法をそれぞれ 4.1 節，4.2 節，4.3 節で提案する．算出した入力キーワードの特徴ベクトルと対象の観光スポットの特徴ベクトルの加算を行うことで，対象の観光スポットと比較して入力キーワードが表す主観的特徴を強く持つ他の観光スポットを検索する．

4. 1 相加平均による入力キーワードの特徴ベクトル式 2 は，集合 Vkw に含まれる全てのベクトルの相加平均を用いた入力キーワードの特徴ベクトル算出式である．ここで，|Vkw | は集合 Vkw に含まれるスポット数を表す．
vkw =∑1vs|Vkw | v ∈Vs(2)kw

4. 2 各次元の最大値に基づく重み付き平均による入力キー
ワードの特徴ベクトル
特徴ベクトル vsi の次元数を N ，n 次元目の値を dvsi n ，集図3

提案する観光スポット検索システムのユーザインタフェース

合 Vkw に属する全スポットの特徴ベクトルの n 次元目の値の表2

集合を Dn ，Dn の最大値を max Dn とした時，集合 Vkw に属

スポット名する特徴ベクトル si の n 次元目の重み w(si , n) と，w(si , n)

出雲大社を用いた重み付き平均で計算される vkw の n 次元目の値 dn は式 3，4 で表される．

dvsi nw(si , n) =max Dn(3)∑|Vkw |

i=1 w(si , n)dvsi n∑|Vkw |
i=1 w(si , n)dn =(4)式 4 で算出した vn を用いて，vkw は式 5 で表される．

(v kw = d1···

d2dn···

提案システムによる “明治神宮 + 恋愛” の検索結果
元順位 相加平均

最大値

単語頻度

15△5△8△7東京大神宮

5△3△4△4川越氷川神社

55△26△30△38櫛田神社（富山県）

16△5△10△11榎原神社

50△33△41△41熱田神宮

2

▽1△0

▽1宮崎神宮3△0△0△1北海道神宮

4

▽1

▽1

▽3武蔵一宮氷川神社

14△2△4▽3橿原神宮8▽1▽5▽13)TdN(5)

4. 3 単語頻度に基づく重み付き平均による入力キーワード

平均により算出された入力キーワードの特徴ベクトル，4.2 節で示した各次元の最大値に基づく重み付き平均により算出された入力キーワードの特徴ベクトル，4.3 節で示した単語頻度にの特徴ベクトル式 6 は，スポット si に投稿された全レビュー（総単語数 |si |）基づく重み付き平均により算出された入力キーワードの特徴ベ

中での入力キーワード kw の単語頻度に基づいたスポット si のクトルのいずれかを用い，3 手法のどれを用いるかは選択する

重み wsi の算出式である．

ことが出来る．

wsi =tf (si , kw)
log10 |si |提案システムを用いたスポット検索結果例として，表 2 に東(6)

京都内の著名な神社である明治神宮を入力スポットとした “明治神宮 + 恋愛” の検索結果を示す．表中の各観光スポットのコ算出した重みを用いた集合 Vkw 内の特徴ベクトルの重み付き平サイン類似度に基づく順位は Paragraph Vector モデルで特徴均として，入力キーワードの特徴ベクトルを式 7 で算出する．

ベクトルを作成した全 43,759 スポット中での順位を表す．ま∑|Vkw |vkw =i=1 wsi vsi∑|Vkw |i=1 wsi

た，表中の記号はそれぞれの手法で算出した入力キーワード(7)「恋愛」の特徴ベクトルを用いた加算による順位付け結果が「元順位」に比べて何位分上昇/下降したかを表している．例えば，

5. 提案システムによる観光スポット検索「△5」は「元順位」に比べて順位が 5 位上昇したことを，「▽5」提案する観光スポット検索システムのユーザインタフェースは「元順位」に比べて順位が 5 位下降したことを表している．

を図 3 に示す．図の左部では提案システムの入力スポットとし

表 2 において，全ての手法による順位付けで順位が上昇して利用可能なスポットの一覧を検索することが可能であり，各た「出雲大社」「川越氷川神社」などの 5 つのスポットはいずスポットのカテゴリ・地域・レビュー数などが補足情報としてれも縁結びや恋愛成就などで著名な神社であり，入力キーワー表示される．図の中央上部は入力スポットと入力キーワードをド「恋愛」との関連が深いスポットであると考えられる．一方，システムへの入力部である．
「検索」ボタンをクリックすること「熱田神宮」「宮崎神宮」など前述したスポット以外の 5 つのスで入力スポットと入力キーワードの特徴ベクトルを算出しベク

ポットは縁結びや恋愛成就などの特徴を一般に持たないと考えトル間の加算を行い，加算結果のベクトルとの類似度に基づきられているスポットである．この結果から，“明治神宮 + 恋愛”検索されたスポットが中央下部の地図上に表示される．検索にの演算を行うことで縁結びや恋愛成就などの「恋愛」と関連す用いる入力キーワードの特徴ベクトルは，4.1 節で示した相加る主観的特徴を考慮した観光スポット検索が行えていると考え

られる．

6. ま と め
本稿では，観光スポットが持つ様々な特徴の中でタグなどのメタデータでは推測困難な「夜景が美しい」「待ち合わせ場所に向いている」などの主観的特徴を考慮した観光スポット検索を行うため，Paragraph Vector モデルにより算出した各スポットの特徴ベクトルを用いて任意の主観的特徴の特徴ベクトルを動的に算出し，ある観光スポットと比較して対象の主観的特徴を強く持つ他の観光スポットを検索する手法を提案した．今後の課題として，提案した観光スポット検索手法によるスポット検索手法の精度を定量的に評価する実験を行う予定である．また，使用するユーザ個々人の嗜好を考慮したよりパーソナライズされたオブジェクト検索を行えるよう改善することが考えられる．提案手法ではベクトル空間モデルに基づく特徴ベクトルを用いたコサイン類似度による検索を行ったが，この特徴ベク
トルはユーザレビューから抽出したオブジェクトが持つ特徴のみを考慮して算出されているためユーザ個々人の嗜好は反映されていない．しかし，本研究で定義する主観的特徴は本来ユー
ザが対象オブジェクトを実際に利用することでユーザが得られる印象・感情・体験などを表すため，オブジェクトを検索するユーザ個々人の嗜好と組み合わせて用いることでより効果的な検索が行えると考えられる．

謝辞

本研究の一部は，平成 28 年度科研費基盤研究 (B)(課題番号：26280042) によるものです．ここに記して謝意を表すものとします．

文

献[1] Mark Sanderson and Janet Kohler. Analyzing geographicqueries. In Proceedings of the SIGIR 2004 Workshop on
Geographic Information Retrieval, 2004.
[2] Luis Gravano, Vasileios Hatzivassiloglou, and Richard
Lichtenstein. Categorizing web queries according to geographical locality. In Proceedings of the Twelfth International Conference on Information and Knowledge Management, CIKM ’03, pp. 325–333, 2003.
[3] 吉田朋史, 北山大輔. ユーザレビューの分散表現を用いた役割的に類似する観光スポット検索手法. 観光情報学会第 14 回研究発
表会講演論文集, pp. 78–81, 2016.
[4] Quoc V. Le and Tomas Mikolov. Distributed representations of sentences and documents. In Proceedings of the31th International Conference on Machine Learning, ICML
2014, pp. 1188–1196, 2014.
[5] 土田崇仁, 遠藤雅樹, 加藤大受, 江原遥, 廣田雅春, 横山昌平, 石川博. Word2vec を用いた地域やランドマークの意味演算. DEIM
Forum 2016 最終論文集, pp. H5–1, 2016.
[6] 石野亜耶, 藤井一輝, 藤原泰士, 前田剛, 難波英嗣, 竹澤寿幸. 旅行ブログエントリと質問応答コンテンツを利用した旅行ガイド
ブックの情報拡張. 人工知能学会論文誌, Vol. 29, No. 3, pp.
328–342, 2014.
[7] 伊達賢志, 北須賀輝明, 糸川剛, 有次正義. 旅先での観光地選
び支援のためのブログを用いた観光地の印象抽出手法. マルチ
メディア、分散協調とモバイルシンポジウム 2011 論文集, pp.
1566–1579, 2011.

[8] Shinsuke Nakajima and Katsumi Tanaka. Relative queries
and the relative cluster-mapping method. In YoonJoon
Lee, Jianzhong Li, Kyu-Young Whang, and Doheon Lee,editors, Database Systems for Advanced Applications: 9thInternational Conference, DASFAA 2004, Jeju Island, Korea, March 17-19, 2003. Proceedings,, pp. 843–856. Springer
Berlin Heidelberg, 2004.
[9] Makoto P. Kato, Hiroaki Ohshima, Satoshi Oyama, andKatsumi Tanaka. Query by analogical example: Relational
search using web search engine indices. In Proceedings ofthe 18th ACM Conference on Information and Knowledge
Management, pp. 27–36, 2009.
[10] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado,and Jeﬀ Dean. Distributed representations of words andphrases and their compositionality. In Advances in Neural
Information Processing Systems 26, pp. 3111–3119. 2013.
[11] Zellig S Harris. Distributional structure. Word, Vol. 10, No.
2-3, pp. 146–162, 1954.