# ソーシャルメディアにおける単語の一般的ではない用法の検出

\begin{abstract}
青木 竜哉 $\dagger$ ・笹野 遼平 $\dagger \dagger \cdot$ 高村 大也 ${ }^{\dagger,+\dagger \dagger} \cdot$ 奥村 学 $\dagger,+\dagger \dagger \dagger$
ソーシャルメディアにおいては，辞書に掲載されているような用法とは全く異なる 使われ方がされている単語が存在する。本論文では，ソーシャルメディアにおける 単語の一般的ではない用法を検出する手法を提案する。提案手法では，ある単語が 一般的ではない使われ方がされていた場合，その周辺単語は一般的な用法として使 われた場合の周辺単語と異なるという仮説に基づいて，着目単語とその周辺単語の 単語ベクトルを利用し, 注目している単語の周辺単語が均衡コーパスにおける一般的な用法の場合の周辺単語とどの程度異なっているかを評価することにより，一般的ではない用法の検出を行う、ソーシャルメディアに打いて一般的ではない用法を 持つ 40 単語を対象に行った実験の結果，均衡コーパスと周辺単語ベクトルを用いる 提案手法の有効性を確認できた。また，一般的でない用法の検出においては，単語 ベクトルの学習手法, 学習された単語ベクトルの扱い方, 学習コーパスを適切に選択することが重要であることがわかった.

キーワード：分散表現，Skip-gram, 非一般的用法
\end{abstract
## Detecting Nonstandard Word Usages on Social Media

Tatsuya Aoki ${ }^{\dagger}$, Ryohei Sasano ${ }^{\dagger \dagger}$, Hiroya Takamura ${ }^{\dagger, \dagger \dagger \dagger}$ and Manabu Okumura ${ }^{\dagger, \dagger \dagger \dagger \dagger}$

We focus on nonstandard usages of common words on social media, where words, sometimes, are used in a totally different manner from that of their original or standard usage. In this work, we attempt to distinguish nonstandard usages on social media from standard ones in an unsupervised manner. We also constructed new Twitter dataset consisting of 40 words with nonstandard usages and then used the dataset for evaluation in an experiment. For this task, our basic idea is that nonstandard usage can be measured by the inconsistency between the target word's expected meaning and the given context. For this purpose, we use context embeddings derived from word embeddings. Our experimental results show that the model leveraging the context embedding outperforms other methods and also provide us with findings, for example, on how to construct context embeddings, and which corpus to use.

Key Words: Word Embedding, Skip-gram, Non-standard Word Usage


## 1 はじめに

Twitter に代表されるソーシャルメディアにおいては，辞書に掲載されていない意味で使用されている語がしばしば出現する。例として，Twitter から抜粋した以下の文における単語「鯖」 の使われ方に着目する.

（1）今日、久々に鯖 ${ }_{1}$ の塩焼き食べたよとても美味しかった

（2）なんで、急に鯖 2 落ちしてるのかと思ったらスマップたっったのか (`q ${ }^{\prime}$ )文 (1) と文 (2)には，いずれも鯖という単語が出現しているが，その意味は異なり，文(1)における鯖 1 は, 青魚に分類される魚の鯖を示しているのに対し, 文 $(2)$ における鯖 2 は, コンピュー タサーバのことを意味している。ここで，「鯖」という語がコンピュータサーバの意味で使用されているのは，「鯖」が「サーバ」と関連した意味を持っているからではなく，単に「鯖」と 「サーバ」の読み方が似ているためである。このように，ソーシャルメディアにおいては，既存の意味から派生したと考えられる用法ではなく，鯖のような音から連想される用法，チートを意味する升のような既存の単語に対する当て字などの処理を経て使用されるようになった用法,企業名 Apple Inc. を意味する林檎など本来の単語を直訳することで使用されるようになった用法などが見られ，これらの用法は一般的な辞書に掲載されていないことが多い. 文 (2)における鯖 2 のように，文中のある単語が辞書に掲載されていない意味で使用されていた場合, 多くの人は文脈から辞書に載っている用法 ${ }^{1}$ と異なる用法で使用されていることには気付くことができるが，その意味を特定するためには，なんらかの事前情報が必要であることが多い．特に， インターネットの掲示板では，援助交際や危険ドラッグなどの犯罪に関連する情報は隠語や俗語を用いて表現される傾向にある (山田, 安彦, 長谷川, Michal, 中村, 佐久田 2016). しかし,全体として, どのような単語が一般的ではない意味で使われているかということを把握することは難しい.

本研究では，このような性質を持つ単語の解析の手始めとして, ソーシャルメディアにおいて辞書に掲載されていない意味で使用される場合があることが分かっている単語を対象に，ソー シャルメディア中の文に出現する単語の一般的ではない用例の検出に取り組む。ここで，単語の用法が一般的かそうでないかというような情報を多くの語に対し大量にアノテーションするコストは非常に大きいと考えられることから，本研究では教師なし学習の朹組みでこの問題に取り組む，検出の手がかりとして，まず，非一般的用法で使用されている単語は，その単語が一般的用法で使用されている場合と周辺文脈が異なるであろうことに着目する。具体的には,単語の用法を判断する上で基準とするテキスト集合における単語の用法と, 着目している文中での用法の差異を計算し，これが大きい場合に非一般的用法と判断する．以下，本稿では単語


の用法を判断する上で基準とするテキスト集合のことを学習コーパスと呼ぶ. 非一般的用法を適切に検出するためには，学習コーパスとして，一般的用法で使用される場合が多いと考えられるテキスト集合を用いることが重要であると考えられることから，提案手法では，学習コー パスとして，新聞やインターネットを始めとする様々な分野から偏りなくサンプリングされたテキストの集合である均衡コーパスを使用する。また，提案手法における，学習コーパスと評価用データにおける単語の使われ方の差異の計算には, Skip-gram Negative Sampling (Mikolov, Sutskever, Chen, Corrado, and Dean 2013) によって学習された単語ベクトルを使用する.

## 2 評価データの作成

本研究では，一般的ではない用法が存在する単語を対象として，文中における対象単語が一般的な用法かそうでないかをアノテートしたデータセットを新たに作成した. 作成したデータセットは, コンピュータ, 企業・サービス名, ネットスラングのドメインに出現した語から, 非一般的用法として使用されることのある 40 語を含んだデータセットである。データのソースとして Twitterを使用し， 2016 年 1 月 1 日から 2016 年 1 月 31 日に投稿されたツイートを対象としてデータセットを作成した．Twitter をデータのソースとして選択した理由は，Twitterにおいては，ある語が一般的な用法として使われる場合とそうでない場合が混在していると考えたためである.

データセットの作成に先立ち，以下の条件を全て満たす語を対象語を選定した.

（1）コンピュータ，企業・サービス名，ネットスラングのドメインにおいて一般的ではない用法として使用される場合があることが分かっている語

(2) ウェブ上に一般的ではない用法の説明が存在している語

(3) 均衡コーパスにおける出現頻度が 100 以上の語

本研究では，コンピュータ，企業・サービス名からそれぞれ 10 語ずつ，ネットスラングから 20 語，合計 40 語を対象語として選定した。選定した 40 語の一覧を表 1 に示す。

データセットの作成においては，まず，選定した 40 語が含まれるッイートに対して形態素解析を行い，選定した単語が一般名詞であると解析されたツイートを無作為に 100 ツイート選択した。形態素解析には， $\mathrm{MeCab}^{2}$ を使用し，IPA 辞書 3 を用いた。次に，選択したツイートにおいて, 選定した単語が一般的な用法として用いられているか, 固有表現の一部となっているか, 一般的ではない用法として用いられているかという判断を 2 人のアノテータによって人手


表 1 選定した 40 語とその一般的ではない用法の説明

うな事例を示す。また，いずれかのアノテータが，与えられた情報だけからはツイート中で使用されている対象語の用法を決定できないと判断したツイート (96ツイート) ${ }^{4}$ は，データセットから除外した。アノテーションが一致したツイートのうち, 2 人のアノテータが一般的な用法として用いられていると判断した事例と，一般的ではない用法として用いられている判断した事例の集合を最終的なデータセットとした ${ }^{5}$. 本アノテーションにおけるカッパ係数は 0.808 であった。表 2 に，作成したデータセットの概要を示す.

作成したデータセットでは，単語ごとにラベルの偏りが見られた。 アノテーションの結果に基づいて， 40 語を，一般的な用法の事例が多い単語, 非一般的用法として用いられている事例が多い単語，それ以外の単語の 3 つに分類した。具体的には， 7 割以上が一般的用法としてアノテーションされた単語を一般的ラベル優勢， 7 割以上が非一般的用法としてアノテーションされた単語を非一般的ラベル優勢，それ以外をラベル偏りなしとしてクラス分けを行った．表 3 に，アノテーション対象とした語の一覧をクラスごとに示す。また，表 4 に，各クラスごとにアノテーションされた一般的用法, 非一般的用法の内訳を示す.

作成したデータセットは各単語に対する学習データ数が少ないため, 教師あり学習のための

表 2 作成したデータセットの概要

表 3 アノテーション対象とした 40 語の内訳

\right)\right.\rfloor$ の中の「茸」のような，顔文字の一部となっている事例などが含まれる.

5 固有表現の一部となっている事例を除いたのは, 将来的に固有表現認識を行うことにより機械的に除外できると考えたためである。
}
表 4 クラスごとのデータセット内訳

学習コーパスとして使用するには，デー夕量の観点から適切ではないと考える。そのため, 本研究では, 教師なし学習に基づいた単語の一般的ではない用法の検出手法を提案し, 本デー夕セットを評価用のデータセットとして用いる.

## 3 単語の一般的ではない用法の検出

提案手法では，もしある単語が一般的ではない用法として使われた場合，その周辺単語は一般的な用法として使われた場合の周辺単語と異なるという考えに基づき, 単語の一般的ではない用法の検出を行う。 提案手法は単語の分散表現を活用したものであるため, 本節では, まず,単語の分散表現を学習する手法として広く使われている Skip-gram の説明を行い，その後に提案手法の具体的なモデルの説明を行う.

## 3.1 Skip-gram with Negative Sampling (SGNS)

Skip-gram (Mikolov et al. 2013) とは, 単語の分散表現を学習する手法の一つとして広く使われており, 学習コーパスから主に単語の共起情報を学習し, 学習コーパス内に出現した単語をべクトルとして表現する手法である. Skip-gram では，訓練データにおける単語列を $w_{1}, w_{2}, \ldots$, $w_{T}$, 窓幅を $m$ とした時, $\frac{1}{T} \sum_{t=1}^{T} \sum_{-m \leq i \leq m, i \neq 0} \log p\left(w_{t+i} \mid w_{t}\right)$ が大きくなるように学習される. $W$ を訓練データにおける語彙とした時, $p\left(w_{k} \mid w_{t}\right)$ は次の式によって表される：

$
p\left(w_{k} \mid w_{t}\right)=\frac{\exp \left(v_{w_{t}}^{I N} \cdot v_{w_{k}}^{O U T}\right)}{\sum_{w \in W} \exp \left(v_{w_{t}}^{I N} \cdot v_{w}^{O U T}\right)}
$

Skip-gram は, 着目単語の周辺単語を予測するモデルである. 各単語は入力側の単語ベクトル $v^{I N}$ と出力側の単語ベクトル $v^{O U T}$ で表現され, 確率値の計算には, これらが使用される.

Mikolov et al. (2013) は, Skip-gramの学習時における計算コストを削減するために Skip-gram with Negative Sampling (SGNS) を提案した. SGNS では, 学習コーパス内で単語 $w_{t}$ が $w_{k}$ の近くに出現していた場合, $\log \sigma\left(v_{w_{t}}^{I N} \cdot v_{w_{k}}^{O U T}\right)+\sum_{n=1}^{N} \mathbb{E}_{w_{n} \sim Z(w)} \log \sigma\left(v_{w_{t}}^{I N} \cdot-v_{w_{n}}^{O U T}\right)$ が大きくなるようにそれぞれの単語に対応するべクトルが学習される。たたし， $\sigma$ はシグモイド関数を表す. SGNSでは, $N$ 個の単語を確率分布 $Z$ から抽出し, これらを学習における負例単語として
扱う. その結果, 単語 $w_{t}$ と単語 $w_{t}$ の近くに出現した単語 $w_{k}$ については, $\log \sigma\left(v_{w_{t}}^{I N} \cdot v_{w_{k}}^{O U T}\right)$ の値が大きくなるようにそれぞれのべクトルが学習され, 単語 $w_{t}$ と負例単語 $w_{n}$ につては, $\log \sigma\left(v_{w_{t}}^{I N} \cdot v_{w_{n}}^{O U T}\right)$ が小さくなるように学習される.

単語間の類似度を測定するのにあたっては，入力側の単語べクトル $v^{I N}$ 間における類似度を測る手法が広く用いられている。入力側の単語ベクトル $v^{I N}$ は多くの研究で広く活用されているのに対して, Mitra, Nalisnick, Craswell, and Caruana (2016) や Press and Wolf (2017) などのように，出力側の単語べクトル $v^{O U T}$ を効果的に活用している研究は少ない。一方で, Levy ら (Levy and Goldberg 2014)は, Shifted Positive Pointwise Mutual Information (SPPMI) と SGNS の等価性を示しており，これによると，SGNS において $v^{I N}$ と $v^{O U T}$ を使用することは, SPPMI を学習した際の単語の共起情報を参照することに関連し, これはある着目単語とその周辺単語のつながりの強さを計算することを意味する．以上より，これまで述べたような入出力単語べクトルの学習過程およびSPPMI と SGNS の等価性を考慮すると, ある単語 $w_{t}$ が訓練デー夕内で単語 $w_{k}$ が共起されやすいかどうかを測るためには, 従来の研究で多く見られるような $v_{w_{t}}^{I N}$ と $v_{w_{k}}^{I N}$ を用いた余弦類似度を用いる手法だけではなく, 入力側と出力側の単語ベクトルを用いた $\sigma\left(v_{w_{t}}^{I N} \cdot v_{w_{k}}^{O U T}\right)$ を活用する手法も，単語間の類似度を計算する上では考慮するべきであると考えられる。

## 3.2 提案手法

本研究では，SGNS の学習メカニズムを考慮して，非一般的用法の検出を試みる。具体的には, まずSGNS を用いて均衡コーパスから単語の分散表現を学習し, 続いて学習したべクトルを用いて着目単語とその周辺単語のべクトル間の内積値を算出し, その値が小さい場合, その着目単語の用法は一般的ではないと判断する，均衡コーパスは，言語全体を把握するために偏りなくサンプリングされたテキストの集合であることから，均衡コーパスを用いることで，単語の用法の一般性がより反映された単語べクトルの学習が行われると考えられ, 上述の内積値が高い事例は一般的, 低い事例は一般的ではない用法と判断することができると考えられる.図 1 に提案手法の概要を示す.

提案手法では, SGNS によって単語ベクトルを学習し, 学習された着目単語の入力側の単語べクトル $v^{I N}$ と, 周辺単語の出力側の単語ベクトル $v O U T$ の類似度の加重平均に基づいて, 単語の非一般的な用法を検出する。この過程で計算される類似度の加重平均を，単語の使われ方に対する一般性スコアと定義する。一般性スコアとして, 着目単語とその周辺単語との類似度の加重平均を採用している理由は, 本研究で使用したSGNS の学習過程では, 着目している単語と距離の近い単語に重みを付けた学習が行われているためである (Levy, Goldberg, and Dagan 2015).

窓幅を $m$, 着目単語との距離を $d$ と定義すると, 加重平均の重み $\alpha$ は, $\alpha=m+1-d$ によっ

図 1 提案手法の概要

て計算される整数値とする。ただし, $d$ は, 着目単語を基準として, 何単語離れているかを表す整数値である. 文中の着目単語を $w_{t}$ とし, 着目単語の入力側の単語ベクトルを $v_{w_{t}}^{I N}, w_{t}$ を基準として前後 $m$ 単語の単語集合を $\mathbf{w}_{\mathbf{c}}$, 各周辺単語 $w_{j} \in \mathbf{w}_{\mathbf{c}}$ の出力側の単語ベクトルを $v_{w_{j}}^{O U T}$, その重みを $\alpha_{w_{j}}$ と表すと, 提案手法では, 次の式 (1)で計算されるスコアによって, 着目単語 $w_{t}$ が一般的な使われ方かどうかを判断する：

$
\frac{\sum_{w_{j} \in \mathbf{w}_{c}} \sigma\left(v_{w_{t}}^{I N} \cdot v_{w_{j}}^{O U T}\right) \times \alpha_{w_{j}}}{\sum_{w_{j} \in \mathbf{w}_{c}} \alpha_{w_{j}}}
$

ただし，式 (1)における $\sigma$ はシグモイド関数を表す。窓幅内に出現した未知語に対しては，未知語のトークンに対応する単語ベクトル $v_{u n k}^{O U T}$ を用いる。 なお, この $v_{u n k}$ は, 単語べクトルの学習に使用したコーパス内における低頻度語に対応する単語ベクトルである。式 (1)において, シグモイド関数を使用している理由は，SGNS の学習過程における非線形関数としてシグモイド関数が使用されていたためである ${ }^{6}$. 算出された一般性スコアが小さい場合, 着目単語の使われ方は非一般的であり，また反対に大きい時には，その使われ方は一般的であるとみなす.

## 3.3 比較手法

本研究における提案手法には，3つの特徴がある。一つ目は単語べクトルを学習する際に均衡コーパスを使用する点，二つ目は一般性スコアを計算する際に使用する単語ベクトルとして
^{6}$ https://code.google.com/archive/p/word2vec/
}
$v^{I N}$ だけではなく $v^{O U T}$ も使用する点, 三つ目は一般性スコアの計算に加重平均を採用している点である。これらの特徴が非一般的な用法を検出するにあたり有用であるかを，比較実験を通して検証する。

提案手法では，学習コーパスの用法と評価用データセットにおける用法との差異を一般性スコアとして計算している。この学習コーパスに含まれる単語の用法が非一般的用法検出を行う際の基準となるため，検出精度に大きく影響すると考えられる．そこで，本研究では， 4 種類の異なる性質のコーパスを用意し，どのコーパスで単語ベクトルを学習するのが本タスクにより適しているかを調査する。表 5 に，各コーパスの内容を示す 7 .

提案手法は，一般的に使用される $v^{I N}$ だけではなく， $v^{O U T}$ も使用している. $v^{O U T}$ の有用性を検証するため, 従来研究 (Neelakantan, Shankar, Passos, and McCallum 2014; Gharbieh, Virendra, and Cook 2016) で用いられている手法と同様に， $v^{I N}$ のみを用いた手法との比較を行った. この比較手法では, 式 (1)における $\sigma\left(v_{w_{t}}^{I N} \cdot v_{w_{j}}^{O U T}\right)$ を, 余弦類似度 $\frac{v_{w_{t}}^{I N} v_{w_{j}}^{I N}}{\left.\|v_{w_{t}}^{I N}\right.\| \times\left.\|v_{w_{j}}^{I N}\right.\|}$ として一般性スコアを計算した。さらに, SGNS 以外の手法で学習した単語ベクトルでの実験結果を比較するために，相互情報量を用いて学習した単語ベクトルに対して，特異値分解 (SVD) によって次元削減を行った単語べクトルを使用した手法 (Levy et al. 2015; Hamilton, Clark, Leskovec, and Jurafsky 2016) による実験も行った. この時, 式 (1)における $v_{w_{t}}^{I N}, v_{w_{j}}^{O U T}$ は, それぞれ, SVD によって特異值分解されたあとの $t$ 成分, $j$ 成分の値とする. 相互情報量には, Positive Pointwise Mutual Information (PPMI) を使用した。また，SVDを用いた手法においても，一般性スコアの計算には余弦類似度を用いた ${ }^{8}$.

3.2 節で述べたように, 式 (1)の $\alpha$ は, 着目単語を基準とした時の, 周辺単語との距離に対する重みである。この重み付けの有効性を調査するため，重み付けを行わず，式 (1)において $\alpha=1$ とした場合との比較実験を行った.

これらに加えて, 式 (1)における周辺単語 $\mathbf{w}_{\mathbf{c}}$ から, 機能語である助詞, 助動詞, 接続詞と

表 5 学習に使用したコーパスの内容

^{7}$ Web コーパスの収集には, Kawahara and Kurohashi (2006)の手法を用いた. Wikipedia は， 2016 年 7 月時点での Wikipedia の記事を https://dumps.wikimedia.org/jawiki/からダウンロードしたものである。新聞については，毎日新聞，日経新聞，読売新聞を対象とした。

$8 v^{I N}$ のみを用いた手法およびSVDを用いた手法において，類似度関数として余弦類似度の代わりにシグモイド関数を使用した場合においても実験を行ったが，この時の評価値は余弦類似度を用いた場合よりも低い値となった。
}

して使われている単語を除いた条件での実験も行った. 図 1 にも示した通り, 実際のテキストにおける周辺単語 $w_{j}$ は, 助詞をはじめとする機能語にもなり得る。しかし, 機能語の単語べクトルと着目単語の単語べクトルとの類似度は, 着目単語の用法の判断において効果的な要素ではない可能性が考えられる。 そこで, 周辺単語 $w_{j} \in \mathbf{w}_{\mathbf{c}}$ から機能語を排除した時の部分集合 $\mathbf{w}_{\mathbf{c}^{\prime}} \subseteq \mathbf{w}_{\mathbf{c}}$ を用いて式 (1)を計算するモデルにおいても実験を行った. (Mikolov et al. 2013) は,高頻度語のもつ情報量は低頻度語のもつ情報量よりも少ないという仮定に基づき，Skip-gram の学習時にサブサンプリングによって学習コーパス中に出現する単語の出現頻度に応じて文中からコーパス内の単語それぞれを確率的に除外した上で学習を行っているが 9 , 多くの機能語は高頻度語に該当することから類似した処理であると言える。

さらに，ニューラルネットの層の深さが検出精度に関係するか調査するため, 文脈をべクトル化する手法として提案されている context2vec (Melamud, Goldberger, and Dagan 2016)との比較も行う. 提案モデルが 1 層の浅いニューラルネットモデルであるのに対して, context2vec は Bi-directional LSTM (Bi-LSTM) を活用した多層のモデルである. また, Skip-gram が, 着目単語の前後密幅分の周辺単語を用いて着目単語を予測するのに対して, context2vecでは, 入力文の左から着目単語まで，および右から着目単語までを使用して予測を行うという違いがある. context2vec では, 文全体の単語埋め込みを Bi-LSTM に入力し, 着目単語の左側, および右側の Bi-LSTM の出力層を結合し, 2 層の多層パーセプトロンに入力し, その出力層（文脈ベクトル）を用いて，着目単語を予測するモデルである，本タスクにおいては，文脈ベクトルと着目単語の単語ベクトルの内積に対してシグモイド関数を適用した値を一般性スコアとして扱う.

## 4 実験

## 4.1 実験設定

単語ベクトルの学習にあたっては, 次元を 300 とした。また, 各コーパスにおいて, 出現頻度が 5 回未満の単語は，<unk>に置き換えて学習を行った. SGNS による単語ベクトルの学習には, Python ライブラリの一つである gensim (Řehůřek and Sojka 2010)による実装を使用し， ネガティブサンプリングの数を 10 とした. SVDによる単語ベクトルの学習には, Levy et al. （2015）の実装 10 を使用した．学習 epoch 数は 5 とした，また，単語べクトルを学習する際の窓幅は $2,5,10$ としてそれぞれ実験を行った.

context2vec の学習にあたっては， ネガティブサンプリング数を 10 , 最適化手法には Adam (Kingma and Ba 2015) を使用した，学習率は $10^{-3}$ として学習を行った．その他の隠れ層や単
^{9}$ Mikolov et al. (2013) における 2.3 節に詳細が記述されている.

10 https://bitbucket.org/omerlevy/hyperwords
}
表 6 context2vec のパラメータ

語ベクトルの次元などの詳細なパラメータを表 6 に示す.また, 学習の効率化のため, 実験に使用するコーパスのうち, BCCWJ と Web は中規模, Wikipedia と Newspaper は大規模なコー パスであるとみなし, 中規模コーパスで学習する際には, ミニバッチ数 100 , 学習 epoch 数 10 , 5 回未満の出現頻度の単語を<unk>と置き換えて学習を行い, 大規模コーパスで学習する際には, ミニバッチ数 500 , 学習 epoch 数 5,10 回未満の出現頻度の単語を<unk>と置き換えて学習を行った。

評価には，テストセットの各事例で計算された一般性スコアを昇順にソートし，一般性スコアが低い順に非一般的用法として分類した時の平均適合率を使用する。さらに，これらの実験に加えて， 3.3 節に示した機能語を使用しない場合における実験も行う。また, 誤り分析を行うため，任意の値を閥値として設定し，計算された一般性スコアが閥値を下回った場合には非一般的用法, それ以外は一般的用法と分類する実験を行った. 間值には, 分類時に非一般的用法を正例とした時に計算される $\mathrm{F}$ 値が最も大きくとなるような閾値を使用した.

## 4.2 結果

表 7 に実験結果を示す。表 7 における weighted および uniform は, それぞれ，着目単語の周辺単語に対する重み付けを行った場合，行わない場合に対応する。また，ダガー $(\dagger)$ は，提案手法である BCCWJを用いた時の SGNS IN-OUT weighted モデルによる実験結果と，有意水準 $5 \%$ で並べ替え検定を行った際に，統計的有意差が確認できたことを示している．太字は，SGNS IN-OUT，SGNS IN-IN，SVD モデルによって得られた平均適合率のうち，設定された各窓幅 2 , 5,10 ごとでの実験結果を比較した際に最も平均適合率が高いことを示す.

## 4.2.1 各モデルごとの実験結果の比較

表 7 より, 最も高い平均適合率を達成したモデルは, 学習コーパスとして Wikipediaを使用した時の context2vec であり，その値は 0.845 であった．提案手法である SGNS IN-OUT weighted モデルは，学習コーパスとして BCCWJを使用し，窓幅を 5 と設定した時に最も高い平均適合率を達成し，その値は 0.839 であった. context2vec を用いた場合の平均適合率は 0.803 から 0.845
表 7 各モデルによる平均適合率

と高い値で安定していることがわかるため, ニューラルネットの層の深さは検出精度に貢献すると考えられる。実駼結果から，提案手法であるSGNS IN-OUT のような層が浅いモデルでも，単語ベクトルの学習手法, 学習された単語ベクトルの扱い方, 学習コーパスを適切に選択することで, 層が深いモデルと同等の性能を達成できることがわかった.

次に，設定された各空幅ごとでの性能を比較する，表 7 において，各モデルによって得られた平均適合率のうち, 空幅 $2,5,10$ ごとでの実験結果を比較すると, それぞれで最も平均適合率が高かったモデルは, 全て BCCWJを学習コーパスとして使用した際の SGNS IN-OUT モデルであった。これより, BCCWJと SGNS IN-OUTを用いることによって，単語ベクトルの学習に使用する窓幅に関わらず高い平均適合率を達成する傾向があるといえる。また，窓幅を 2 と設定した場合の実験結果では, 全 12 モデル中 11 モデルに打いて, 重み付けによる平均適合率の減少が見られた。モデルが参照できる周辺単語が少ない場合では, 重み付けによって着目単語周辺の機能語が強調されてしまい, これが悪影響となって平均適合率が減少した可能性が高い. この点は, 後述の機能語を使用しないモデルにおける実験結果との関連があると考えられる。

## 4.2.2 機能語を使用しないモデルにおける実験結果

表 8 に，一般性スコアの計算時に機能語を使用しないモデルにおける平均適合率を示す。多ガー (†) は, 提案手法である BCCWJを用いた時の SGNS IN-OUT weighted モデルによる実験結果と, 有意水準 $5 \%$ で並べ替え検定を行った際に, 統計的有意差が確認できたことを示している.表 8 より，機能語を使用しない場合においては，提案手法である SGNS IN-OUT weighted モデ

ルが最も高い平均適合率を達成した。これは, 空幅を 5 と設定し, 学習コーパスとして BCCWJ 使用したモデルであり, 平均適合率は 0.857 であった.

表 7 , 表 8 より，一般性スコアの計算時に機能語を使用しないことで，全 76 モデル中 48 モデルにおいて, 平均適合率の向上が確認された. このうち, 12 モデルにおいて, 機能語を使用しない場合の平均適合率と，機能語を使用した場合の平均適合率との間に統計的有意差が確認された.この有意差が確認されたモデルを表 9 に示す. なお, 26 モデルでは, 機能語を使用しないことで平均適合率の値が減少し， 2 つのモデルでは，平均適合率に変化がなかった．特に， context2vec を用いた 4 モデルでは機能語を使用しないことで平均適合率が減少する傾向にある.

表 8 機能語を使用しないモデルにおける平均適合率

表 9 機能語を使用するモデルと使用しないモデルでの平均適合率に統計的有意差が見られたモデル

 \\

\cline { 2 - 4 } & Wikipedia & 10 &  \\

\cline { 2 - 5 } & Web & 10 & 有り \\

context2vec は，単語埋め込みを行った後，その情報を Bi-LSTM，多層パーセプトロンに入力し着目単語の予測を行うモデルである。この時に，機能語を使用しないことによって，Bi-LSTM の言語モデルとしての働きを弱め, 結果として予測がうまくいかなかったと考えられる. 最もスコアが向上したモデルは，空幅を 10 と設定し，学習コーパスとして Webを用いた時の SVD weighted モデルであり， 0.144 ポイントの向上が見られた．また，最もスコアが減少したモデルは，学習コーパスとしてWebを用いた時の context2vecで， 0.414 ポイントの減少が見られた.以上の実験結果より，機能語の扱い方を考慮することが平均適合率の向上に貢献する可能性が高いと考えられる。

次に，設定された各密幅ごとでの性能を比較する。表 8 において，各モデルで得られた平均適合率のうち，窓幅 $2,5,10$ ごとでの実験結果を比較した際に，最も平均適合率が高かったモデルは，それぞれ BCCWJを学習コーパスとして使用した際のSGNS IN-OUT モデルであり，実験結果の大まかな傾向は 4.2.1 項にあるものと同様であることがわかる.また，窓幅を 2 と設定した場合の実験結果に着目すると, 重み付けによる平均適合率の減少が見られたモデルは,全 12 モデル中 3 モデルであり，4.2.1 項で見られた重み付けによる悪影響が軽減していることがわかる。これは，空幅が小さい設定においては，機能語による悪影響があったことを示唆している。

## 4.2.3重み付けの有無に関する実験結果の比較

表 7 より，重み付けを行うモデル (weighted) と行わないモデル (uniform) 間における平均適合率の変化を調査すると, 36 モデル中 22 モデルが重み付けを行うことによって平均適合率が向上している。また, 13 モデルでは平均適合率が減少し, 1 つのモデルでは平均適合率の変化が見られなかった，表 8 に示した機能語を使用しない条件での実験結果では，重み付けを行うことによって 36 モデル中 30 モデルにおいて平均適合率が向上した. 4 モデルにおいては平均適合率が減少し，2つのモデルでは平均適合率の変化が見られなかった。重み付けの有意性を調査するため, これらの実験結果に対して検定を行ったところ，重み付けを行うモデルによって得られた平均適合率と, 行わないモデルによって得られた平均適合率との間に統計的有意差が確認されたのは， 72 ペアのうち 36 ペアだった。検定結果を表 10 に示す ${ }^{11}$. 全てのパターンで統計的な有意差は見られなかったものの, 提案手法を使用するにあたっては, 着目単語からより近い周辺単語が本タスクを解く上での手がかりとなっていることがわかった.
$ 機能語」は機能語を使用しないモデルに該当する. チェックマーク $(\checkmark)$ は，重み付けを行うモデルによって得られた平均適合率が，行わないモデルによって得られた平均適合率よりも統計的に有意であることを表す。ただし，ダブルダガー (‡) は，重み付けを行わないモデルによって得られた平均適合率が，重み付けを行うモデルによって得られた平均適合率よりも統計的に有意であることを示す.
}

## 4.2.4 各モデルにおける平均適合率の最高値の比較

表 11 に，これまでの実験において各モデルで達成した平均適合率の最高値と実験設定をまとめる。ダガー (†)は，提案手法である SGNS IN-OUTによって得られた実験結果と，有意水準 $5 \%$ で並べ替え検定を行った際に，統計的有意差が確認できたことを示している．提案手法である SGNS IN-OUT モデルで得られた平均適合率と比較手法で得られた平均適合率との間に，統計的有意差が確認されたのは SVD モデルと SGNS IN-IN モデルであった. これらの結果から，本タスクにおいては， $v^{I N}$ だけではなく $v^{O U T}$ も使用することが平均適合率の向上に寄与していることがわかる。また，SGNS IN-IN モデルとSVD モデルにおける平均適合率の間で検定を行ったところ $\mathrm{p}$ 値は 0.089 であった。実験結果では，SGNS を用いた手法の方がより高い平均適合率を達成する傾向にあるが, その差は有意なものではなかった.

続いて，各手法ごとでの実験設定に着目する，SGNS を用いる手法では，学習コーパスとして BCCWJ を使用，重み付けを適用し，機能語を使用しないことで，高い平均適合率を達成する傾向にある。また，SVD および context2vec を用いる手法では Wikipediaを学習コーパスとして使用し, 機能語を使用することで最も高い平均適合率を達成している. より高い平均適合率

表 10 重み付けによる統計的有意性の調査

表 11 各モデルにおいて平均適合率が最も高かった時の実験設定

が達成することができる学習コーパスは, 単語ベクトルの学習手法ごとに異なることから, 各手法に適した学習コーパスを選択することが必要であると考えられる。

## 4.3 誤り傾向と正解例・誤り例の分析

これまでの実験では，評価データ中の文書に対して，各手法によって計算された一般性スコアを用いてソートした時のランキングに対する評価を行った。本節では，誤り分析のため，ある間値を設定し，計算された一般性スコアが間値を下回った場合には非一般的用法，それ以外は一般的用法と分類する実験を行った。本実験では，閾值を 0.001 から 1.000 の範囲で 0.001 刻みで設定し，それぞれの値をもって分類を行った時，分類時に計算される $\mathrm{F}$ 値が最も大きくとなるような閾値を使用した。

表 12 に，各モデルごとで上述の閾値を用いた場合に計算される適合率，再現率， $\mathrm{F}$ 値を示す.太字は，各評価指標において最も性能が高いことを示し， ダガー (†) は，提案手法である SGNS IN-OUT モデルによる実験結果と，有意水準 $5 \%$ で並べ替え検定を行った際に，統計的有意差が確認できたことを示している。なお，実験には表 11 に示したモデルを使用した．実験結果から，提案手法によって得られた $\mathrm{F}$ 值が，各モデルによって得られた $\mathrm{F}$ 值の中で最も高く，その値は 0.796 であった。また, 適合率が最高値となったモデルは, 提案手法である SGNS IN-OUT であり，再現率が最高値となったモデルは context2vec を用いた手法であった.

次に，表 3 に示したそれぞれのクラスごとに対する評価値を調査する。作成したデータセットでは，単語ごとにラべルの偏りが見られ，表 3 では，アノテーション対象とした 40 語がどちらのラベルに偏りがあったか，もしくは偏りがなかったかの 3 クラスを示した. クラスごとでの各評価値の変化を調査するため, 各クラスごとでの適合率, 再現率, $\mathrm{F}$ 値を計算した. なお,実験に使用した䦭値は上述の実験と同値である。これらの結果を表 13 に示す.ダガー $(\dagger)$ は,提案手法である SGNS IN-OUT モデルによる実験結果と，有意水準 $5 \%$ で並べ替え検定を行った際に，統計的有意差が確認できたことを示している。非一般的ラベル優勢クラスにおける適合率はそれぞれのモデルにおいて高い傾向にある一方で，一般的ラベル優勢クラスにおける適合率は低い傾向にあり，評価値の偏りが見られた。これらの結果より，全体の $\mathrm{F}$ 値が大きくなるような閥値を設定すると, 多くの人が一般的ではない用法として扱うような単語に対する検

表 12 各モデルによって計算された非一般的ラベルに対する適合率・再現率・F 値

表 13 各クラスごとの適合率・再現率・F 値

出はうまくいくものの, 少数の人のみが使用しているような用法を持つ単語については, 誤検出が多いということがわかった.

続いて，提案手法による実験結果に対する定性的評価を行う，提案手法によって検出できた一般的ではない用法の例を次に示す.

(i) うちの場合林檎は父が触ったことないし、Android 端末いっぱい買って...

(ii）... 国立駅弁よりすこし高いくらいかなでもそこにいったって好きな研究室いけるとも...

(iii) 光村雨チケ今回何枚取れるかなー久しぶりだから泥率上げてくれるよね?

(iv) ... やっぱり LT で他全員でガン芼してるのが一番強いんじゃないかな

（v) 鯖落ちだあああああああああああああああガチマに潜るなああああああああああ

(i), (ii) の中の「林檎」や「駅弁」は，一般的ラベル優勢の単語に対しても一般的ではない用法を検出することができた例である。また, (iii), (iv) 中の「泥」や「芋」のように，表 2 に示したような用法とは異なる一般的ではない用法に対しても，これを正しく検出することができた ${ }^{12}$. (v)の例は, context2vec を用いた手法で検出できなかったが，提案手法において検出が成功した事例である。 context2vec は入力文全体を考慮する手法であるが，この事例は，全体を考慮することによって誤りとなった事例だと考えられる。一方で，提案手法は，着目単語の前後密幅分の周辺単語に着目するため, 周辺単語以外の情報に影響されずに, 正しく検出することができたと考えられる。

次に，提案手法によって検出できなかった一般的ではない用法を示す.

(vi) ニコ動で実況者がワードバスケットやってて草

(vii) 55 連でテレーゼ、エクセ、ユイ、虹星 1 。引きは微妙だけど一番欲しかった...

(viii) あ〜、なんたこの気持ち。変なの荣葶。醜い感情は押し殺せばいいか

(ix) 零十サンの規制してしまった時用垢。本垢フォローもよろしくでっす！！

（x）養分辞めたい吸収される側から…する側になるためには…カガ・カネが必要…

(vi)の例のように, 着目単語の周辺単語が少ない場合において, 検出できなかった事例を確認した. しかし, (v)の例のように, 周辺単語が少ないにも関わらず検出できた例も確認されているため，周辺単語の情報が少ない場合には，モデルの出力が不安定となると考えられる．次に, (vii) 中の,「ユイ」,「エクセ」などのように, 着目単語の近くの周辺単語が低頻度語・未知語に該当する場合において，検出できない事例を確認した。提案手法では，未知語が出現した場合には，予め学習された未知語に該当する単語べクトルを使用しているが，このような事例に対応するためには, 未知語の性質を考慮した個別な処理等が必要とされる。続いて, (viii), (ix) の例のように, 着目単語の周辺単語として着目単語そのものが出現していた場合に, 検出に失敗する傾向が見られた。これは, SGNS の学習過程より, 着目単語自身の $v^{I N}$ と $v^{O U T}$ の内積値が高く計算される傾向にあることから ${ }^{13}$ ，全体的な一般性スコアが高く計算され，これが要因となって検出に失敗したと考えられる。また， $(\mathrm{x})$ の例は，提案手法で検出できなかったが，context2vec を用いた手法において検出が成功した事例である。提案手法は着目単語から固定空幅分の周辺単語しか考慮しない手法である。そのため, (x)の例のように, 着目単語と離れた位置にある「カネ」のような, 単語の用法を判断する上で手がかりとなる要素を考慮することができず，検出に失敗したと考えられる，一方で，context2vec は，文脈全体を考慮するモデルであるため，検出に成功したと考えられる．

## 4.4 混同行列による誤りの傾向分析

本節では，表 12 に示した実験結果に対して，混同行列を用いた誤りの傾向分析を行う。ここでは，提案手法に加えて，表 11,12 より,これまでの実験で性能が高かった context2vecにおける分析も行う．表 14,15 に，それぞれの実験結果に対する混同行列を示す。本タスクにおける誤りとしては，表中の右上に該当する非一般的用法であるにも関わらずこれを検出できないような「見逃し」と，表中の左下に該当する一般的用法であるにも関わらず非一般的用法として判断してしまう「誤検出」の 2 パターンが存在する.

表 14 提案手法における混同行列

表 15 context2vecにおける混同行列

$ と $v O U T$ の内積値を計算したところ, ある着目単語自身の $v^{I N}$ と $v^{O U T}$ の内積値は, 着目単語の $v^{I N}$ とそれ以外の単語の $v^{O U T}$ の内積値の平均値よりも高い傾向にあった。該当した事例は，10,000 件中 9,997 件であった。なお，任意の単語自身の $v^{I N}$ と $v^{I N}$ の余弦類似度は常に 1 であるため, SGNS IN-IN モデルにおいても本文中と同様の問題がある.
}
表 14 より，提案手法では，見逃しが 220 件，誤検出が 332 件であった。また，表 15 より，比較手法である context2vec を用いた手法では，見逃しが 192 件，誤検出が 384 件であった. これらを比較すると, 提案手法は, 見逃しが多く誤検出が少ない手法, context2vec を用いた手法は，反対に，誤検出が多く見逃しが少ない手法であると言える.

本タスクにおける誤りパターンである「見逃し」と「誤検出」のどちらがリスクとみなすかは，本研究を適用するアプリケーションに依存する。例として，本研究を一般的ではない用法の辞書の作成に応用した場合を考える。このような辞書の作成においては，見逃された用法をコーパスから探すことは難しい一方で，誤って一般的ではないと判断された語を人手で確認することは容易である。したがって，本研究を一般的ではない用法の辞書作成に応用した場合には，相対的に「見逃し」が少ない手法が望ましいと考えられる，次に，本研究を一般的ではない用法も解釈するような対話システムの作成に応用した場合を考える。このような対話システムでは，一般的ではない用法を検出できなかった場合と比べ，一般的な用法を誤って解釈した場合の方が，システムへの信頼性が低下しやすいと考えられる。したがって，対話システムに応用した場合には「誤検出」の少ない手法の方が望ましいと考えられる。

## 4.5 提案手法・context2vecにおいてともに誤りを出力した事例

本節では， 4.3 節で行った実験結果のうち，提案手法および context2vec を用いた手法において, 両方のモデルで共通した誤り事例に対する分析を行う。両モデルにおける共通の誤り事例は 235 件あり，そのうち，「見逃し」に該当するものが 84 件，「誤検出」に該当するものが 151 件であった，例として，表 16 に，誤りを出力した 20 件を示す.

まず，表中において「見逃し」に該当する (1)～(10) に着目する。（1〜(3) は，着目単語が文の後半に位置していた事例である。このような事例に対して, 提案手法においては, 扱える周辺単語の情報が少ないため, モデルの出力が不安定となることが検出失敗の要因であると推測される．context2vec を用いた手法では，入力ツイート中の文脈を考慮することができると考えられるが，周辺単語の情報量の不足による影響が少なからずあったと推測される．また， (4) (6) 中の「シャロン」,「ノンノ」,「グラブル」など, 着目単語の周辺単語として, 学習コーパス中における未知語または低頻度語に該当する単語が出現した場合に，モデルが正しく検出できない傾向が見られた。これは，提案手法および context2vec に限らず，機械学習を用いた手法における未知語の扱い方に関連する問題だと考えられる。この点については, 例えば固有表現解析, 係り受け解析, 形態素解析などによって得られた結果を追加情報を活用することで, 未知語による悪影響を軽減できる可能性がある. さらに, (7) (8)のように, 着目単語の周辺単語として, 着目単語自身が出現している場合にも検出に失敗しやすいことがわかった。このような場合において， 4.3 節の実験結果では，提案手法による一般性スコアが高く計算される傾向にあることを示したが，context2vec を用いた手法においても同様の問題があった．また，評価
表 16 提案手法および context2vec を用いた手法において誤りを出力した事例

データ中のアノテーションにはミスが見られ，これによって誤りと判定される事例が確認された.(9) 中の「尼」は固有表現の一部であり, (10) 中の「安価」は一般的用法として扱われていると考えられる。

次に，「誤検出」に該当する $(11) \sim(20)$ に着目する. (11)～(13) は，「見逃し」のパターンと同様に, 着目単語の周辺単語の情報が少ない場合において誤りとなった事例であり,このような場合には， モデルの出力が不安定となることがわかった，(14)（18)のように，着目単語の周辺単語として，人名や地名などの固有表現が出現した際に，モデルが誤りを出力する事例を確認した。これは，学習モデルにおける未知語や低頻度語の扱い方に関連する問題であると考えられる。この点については, 文脈中に出現する固有表現に関する知識など, 何らかの追加情報を活用することで，このような事例を正しく判断することができると考えられる。また， (9), (10)の事例と同様に，アノテーションのミスによって誤りと判定されている事例が確認された. (19) 中の「蔵」は固有表現の一部であり, (20) 中の「草」は非一般的用法として扱われていると考えられる。

## 5 関連研究

本研究と関連している自然言語処理の研究分野として, 新語義検出 (新納, 佐々木 2012) や新語義の用例のクラスタリング (Lau, Cook, McCarthy, Newman, and Baldwin 2012) が挙げられる.しかし, 本研究で扱う表現は, 特定のドメインにおいて語義が変化するという性質を持つため, これらの一般的な語義に着目した研究とは枠組みが異なる. また, Bamman, Dyer, and Smith (2014) は, 話者の地域によって, 語の持つ意味が異なるという点に着目し, 状況に応じた語の意味表現ベクトルを獲得する手法を提案している．本研究も同様に，同一語の用法の違いに着目しているが, Bamman らが地域ごとの語の使われ方の違いに着目しているのに対し, 本研究では語の使われ方が一般的であるかそうでないかに着目する。また, Multi-Word Expression やイディオムのような形で表される単語の用法分類も行われてきた (Kiela and Clark 2013; Salehi, Cook, and Baldwin 2015; Li and Sporleder 2010). 本研究では, 単語の用法の一般性という点に着目しているため, 対象としている現象の性質という点で, これらは本研究とは異なる.

Web 上で使用される単語の一般的ではない用法に関する研究もいくつか存在する. Cook, Lau, McCarthy, and Baldwin (2014) は, 辞書に採録されていないような単語の用法の検出を行っている. Cook らが Web 上のテキストを対象としているのに対して, 本研究では, ソーシャルメディアにおける単語の非一般的用法に着目している. Sboev (2016) は，インターネットにおいてのみ使われる中国語の俗語表現の分析を行った。山田他 (2016) は，有害情報を表す隠語に焦点を当てて，隠語を概念化するフレームワークを提案し，隠語表現の分類を行った．山田らは，隠語の知識を含んだ辞書を作成し，分類タスクを解いたが，作成した辞書のみでは隠語表現の多様性の対応に不十分であったと報告している。本研究は, 単語の一般的ではない用法の検出を行うことに主眼をおいているため，表現の分析に重きをおいているSboev の研究とは目的が異なる。また，山田らが有害情報を表す隠語に着目しているのに対して，本研究では，隠語のみならず，俗語や若者言葉のような，本来の単語の意味が変化して使われるようになった表現に着目している。加えて, 山田らがドメインに特化した知識を用いているのに対し, 本研究で提案する手法ではそのような知識を必要としないという違いがある. 松本, 土屋, 芋野, 吉田,北 (2017) は，若者言葉を代表とする俗語を対象として，それを感性評価軸とその俗語が持っている意味べクトルを用いることによって，俗語を標準語へ変換する手法を提案した．松本らが着目している単語は, 臆病の意味で使用される「チキン」というように，その表現の意味する概念に対して感性的要素が含まれるような単語であった。しかし, 本研究で着目している単語については,「サーバ」の意味で使用される場合の「鯖」など, 必ずしも感性的な印象が付与されるとは限らないため, この点で松本らの研究と着目対象とする単語の性質が異なる.

また, 近年, 単語の分散表現を活用した研究は多肢に渡っており, 時間変化による意味変化や地域による単語の使われ方の変化, 単語の持つ感情極性の変化を分析するような研究でも広く
使われている技術である (Mitra, Mitra, Riedl, Biemann, Mukherjee, and Goyal 2014; Kulkarni, Al-Rfou, Perozzi, and Skiena 2015; Frermann and Lapata 2016; Eisenstein, O'Connor, Smith, and Xing 2010; Hamilton et al. 2016; Yang and Eisenstein 2016). さらに，一般的な多義性を扱うための分散表現 (Neelakantan et al. 2014; Vilnis and McCallum 2015; Athiwaratkun and Wilson 2017; Fadaee, Bisazza, and Monz 2017) や文脈をうまく表現するための分散表現 (Melamud et al. 2016; Peters, Neumann, Iyyer, Gardner, Clark, Lee, and Zettlemoyer 2018)なども研究されてきたが, 本研究の目的は, ある特定領域で別の意味を持つ単語の検出であるため, これらの研究とは目的が異なる. 本研究で着目する出力側の単語べクトル $v O U T$ を活用した研究は少ないが， $v^{O U T}$ を効果的に使うことで，文書のランキングや (Mitra et al. 2016) 言語モデルの改善 (Press and Wolf 2017; Kobayashi, Okazaki, and Inui 2017)に有効だったと報告されている.また, Yamada, Shindo, Takeda, and Takefuji (2017) は本研究で用いたSGNS を単語に対する知識表現も学習できるように拡張し， $v^{I N}$ は単語ベクトルを， $v^{O U T}$ は $v^{I N}$ に対応する単語の知識表現を学習することによって, Semantic Textual Similarity, Entity Linking, そして Factoid 型質問応答の 3 つのタスクにおいて State-of-the-art を達成している.

## 6 まとめ

本研究では, ソーシャルメディアにおいて辞書に掲載されていない意味で使用される場合があることが分かっている単語を対象に，単語の一般的ではない用法の自動検出を行った. 提案手法では, Skip-gram with Negative Sampling を用いて均衡コーパスから学習した単語べクトルを用いて, 着目単語の単語べクトルと着目単語の周辺単語の単語ベクトルの内積に対してシグモイド関数を適用した値の加重平均を, 着目単語の用法の一般性スコアとして扱い, 一般性スコアが高い場合に一般的, 低い場合に非一般的と判断する.この際, 従来の研究で一般的に用いられている $v^{I N}$ だけではなく, $v^{O U T}$ を組み合わせて使用した。

事前に選定した 40 語を対象に，与えられた文における用法が一般的であるかそうでないかアノテーションしたデータセットを用いた評価実験の結果, 均衡コーパスから学習されたべクトルを使用し, さらに $v O U T$ ベクトルと加重平均を一般性スコアの計算に活用することで, 高い精度を達成できることを示した. この結果, 出力側単語べクトル $v^{O U T}$ が, 文中のある単語とその周辺単語を参照するようなタスクにおいて有用であることを可能性を示している．また，着目単語の周辺単語に対して, それらと着目単語との距離に応じて, 単語ベクトルの重み付けを行うことによって評価値の向上が見られたことから, 着目単語と距離の近い周辺単語が一般的ではない用法の検出において，より重要な手がかりとなっていると考えられる。 さらに，提案手法においては，一般性スコアの計算時に機能語を使用しないことで評価値の向上が見られたから, 機能語が持つ情報は一般的ではない用法の検出においては重要ではない可能性があると

## 思われる。

本研究は, ソーシャルメディア上で一般的ではない使われ方がされている語の分析の手始めとして取り組んだ。本研究で提案した手法を拡張することにより，ソーシャルメディアにおける単語の用法の分析に貢献できると期待される。本研究における評価実験は, 作成したデー夕セットを用いたクローズドな問題設定だったが，提案手法によって計算された一般性スコアに対して闇值推定を施すことにより，未知のデータから一般的ではない用法を抽出するなど，オー プンな問題設定に対しても適用可能だと考えられる。ソーシャルメディアにおいて, どのくらいの語が非一般的用法で用いられているかの分析や，単語の一般的ではない用法の検出だけではなく, その意味の自動獲得などが, 本研究のさらなる発展として考えられる.

## 謝 辞

本論文の一部は, The 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP 2017) で発表したものです (Aoki, Sasano, Takamura, and Okumura 2017).

## 参考文献

Aoki, T., Sasano, R., Takamura, H., and Okumura, M. (2017). "Distinguishing Japanese Nonstandard Usages from Standard Ones." In Proceedings of EMNLP '17, pp. 2323-2328.

Athiwaratkun, B. and Wilson, A. (2017). "Multimodal Word Distributions." In Proceedings of ACL '17, pp. 1645-1656.

Bamman, D., Dyer, C., and Smith, N. A. (2014). "Distributed Representations of Geographically Situated Language." In Proceedings of ACL '14, pp. 828-834.

Cook, P., Lau, J. H., McCarthy, D., and Baldwin, T. (2014). "Novel Word-sense Identification." In Proceedings of COLING '14, pp. 1624-1635.

Eisenstein, J., O’Connor, B., Smith, N. A., and Xing, E. P. (2010). "A Latent Variable Model for Geographic Lexical Variation." In Proceedings of EMNLP '10, pp. 1277-1287.

Fadaee, M., Bisazza, A., and Monz, C. (2017). "Learning Topic-Sensitive Word Representations." In Proceedings of $A C L^{\prime}$ '17, pp. 441-447.

Frermann, L. and Lapata, M. (2016). "A Bayesian Model of Diachronic Meaning Change." Transactions of the Association for Computational Linguistics, 4, pp. 31-45.

Gharbieh, W., Virendra, B., and Cook, P. (2016). "A Word Embedding Approach to Identifying Verb-Noun Idiomatic Combinations." In Proceedings of the 12th Workshop on Multiword Expressions, pp. 112-118.

Hamilton, W. L., Clark, K., Leskovec, J., and Jurafsky, D. (2016). "Inducing Domain-Specific Sentiment Lexicons from Unlabeled Corpora." In Proceedings of EMNLP '16, pp. 595-605.

Kawahara, D. and Kurohashi, S. (2006). "Case Frame Compilation from the Web using HighPerformance Computing." In Proceedings of LREC '06, pp. 1344-1347.

Kiela, D. and Clark, S. (2013). "Detecting Compositionality of Multi-Word Expressions using Nearest Neighbours in Vector Space Models." In Proceedings of EMNLP '13, pp. 1427-1432.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of ICLR '15.

Kobayashi, S., Okazaki, N., and Inui, K. (2017). "A Neural Language Model for Dynamically Representing the Meanings of Unknown Words and Entities in a Discourse." In Proceedings of IJCNLP '17, pp. 473-483.

Kulkarni, V., Al-Rfou, R., Perozzi, B., and Skiena, S. (2015). "Statistically Significant Detection of Linguistic Change." In Proceedings of $W W W$ '15, pp. 625-635.

Lau, J. H., Cook, P., McCarthy, D., Newman, D., and Baldwin, T. (2012). "Word Sense Induction for Novel Sense Detection." In Proceedings of EACL '12, pp. 591-601.

Levy, O. and Goldberg, Y. (2014). "Neural Word Embedding as Implicit Matrix Factorization." In Proceedings of NIPS '14, pp. 2177-2185.

Levy, O., Goldberg, Y., and Dagan, I. (2015). "Improving Distributional Similarity with Lessons Learned from Word Embeddings." Transactions of the Association for Computational Linguistics, 3, pp. 211-225.

Li, L. and Sporleder, C. (2010). "Linguistic Cues for Distinguishing Literal and Non-Literal Usages." In Proceedings of COLING '10, pp. 683-691.

Maekawa, K., Yamazaki, M., Maruyama, T., Yamaguchi, M., Ogura, H., Kashino, W., Ogiso, T., Koiso, H., and Den, Y. (2010). "Design, Compilation, and Preliminary Analyses of Balanced Corpus of Contemporary Written Japanese." In Proceedings of LREC '10, pp. 1483-1486.

松本和幸, 土屋誠司, 芋野美紗子, 吉田稔, 北研二 (2017). 感性を考慮した日本語俗語の標準語変換. 人工知能学会論文誌, 32 (1), p. WII-A_1-12.

Melamud, O., Goldberger, J., and Dagan, I. (2016). "context2vec: Learning Generic Context Embedding with Bidirectional LSTM." In Proceedings of CoNLL '16, pp. 51-61.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Proceedings of NIPS '13, pp. 3111-3119.

Mitra, B., Nalisnick, E. T., Craswell, N., and Caruana, R. (2016). "A Dual Embedding Space Model for Document Ranking." arXiv: 1602.01137.

Mitra, S., Mitra, R., Riedl, M., Biemann, C., Mukherjee, A., and Goyal, P. (2014). "That's Sick Dude!: Automatic Identification of Word Sense Change Across Different Timescales." In Proceedings of ACL '14, pp. 1020-1029.

Neelakantan, A., Shankar, J., Passos, A., and McCallum, A. (2014). "Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space." In Proceedings of EMNLP '14, pp. 1059-1069.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of NAACL:HLT '18, pp. 2227-2237.

Press, O. and Wolf, L. (2017). "Using the Output Embedding to Improve Language Models." In Proceedings of EACL'17, pp. 157-163.

Řehůřek, R. and Sojka, P. (2010). "Software Framework for Topic Modelling with Large Corpora." In Proceedings of Workshop on NewChallenges for NLP Frameworks, pp. 45-50.

Salehi, B., Cook, P., and Baldwin, T. (2015). "A Word Embedding Approach to Predicting the Compositionality of Multiword Expressions." In Proceedings of NAACL-HLT '15, pp. 977-983.

Sboev, A. (2016). "The Sources of New Words and Expressions in the Chinese Internet Language and the Ways by Which They Enter the Internet Language." In Proceedings of PACLIC '16, pp. 355-361.

新納浩幸，佐々木稔 (2012). 外れ値検出手法を利用した新語義の検出. 自然言語処理，19, pp. 303-327.

Vilnis, L. and McCallum, A. (2015). "Word Representations via Gaussian Embedding." In Proceedings of ICLR' 15 .

山田大，安彦智史，長谷川大，MichalPtaszynski，中村健二，佐久田博司 (2016). ID 交換掲示板における書き込み有害性評価に向けた隠語概念化手法の提案. 言語処理学会第 22 回年次大会発表論文集, pp. 49-50.

Yamada, I., Shindo, H., Takeda, H., and Takefuji, Y. (2017). "Learning Distributed Representations of Texts and Entities from Knowledge Base." Transactions of the Association for Computational Linguistics, 5, pp. 397-411.

Yang, Y. and Eisenstein, J. (2016). "Overcoming Language Variation in Sentiment Analysis with Social Attention." arXiv:1511.06052.

## 略歴

青木竜哉：2016 年筑波大学情報学群情報メデイア創成学類卒業. 2018 年東京

工業大学工学院博士前期課程修了. 同年より, 同大学院博士後期課程に在籍.

笹野遼平：2009 年東京大学大学院情報理工学系研究科博士課程修了. 京都大学特定研究員, 東京工業大学助教を経て, 2017 年より名古屋大学准教授. 博士 (情報理工学). 自然言語処理, 特に述語項構造解析に関する研究に従事.言語処理学会, 情報処理学会, 人工知能学会各会員.

高村大也：1997 年東京大学工学部計数工学科卒業. 2000 年同大大学院工学系研究科計数工学専攻修了 (1999 年はオーストリアウィーン工科大学にて研究). 2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学)。2003 年から 2010 年まで東京工業大学精密工学研究所助教. 2006 年にはイリノイ大学にて客員研究員. 2010 年から 2016 年まで同准教授. 2017 年より同教授および産業技術総合研究所人工知能センター知識情報研究チー 么研究チーム長. 計算言語学, 自然言語処理を専門とし, 特に機械学習の応用に興味を持つ。

奥村学：1962 年生. 1984 年東京工業大学工学部情報工学科卒業. 1989 年同大学院博士課程修了. 同年, 東京工業大学工学部情報工学科助手. 1992 年北陸先端科学技術大学院大学情報科学研究科助教授, 2000 年東京工業大学精密工学研究所助教授, 2009 年同教授, 現在は, 科学技術創成研究院教授. 2017 年より, 理化学研究所革新知能統合研究センター (AIP) 客員研究員を兼務.工学博士. 自然言語処理, テキスト要約, 語学学習支援, テキスト評価分析, テキストマイニングに関する研究に従事. 情報処理学会, 電子情報通信学会,人工知能学会, AAAI, ACL, 認知科学会, 計量国語学会各会員.