DEIM Forum 2017 F7-1

ニューラルネットワークを用いた系列ラベリングによる単語分割手法
篠原

正太†

山名

早人††,†††† 早稲田大学基幹理工学研究科 〒 169–8555 東京都新宿区大久保 3-4-1†† 早稲田大学基幹理工学術院 〒 169–8555 東京都新宿区大久保 3-4-1††† 国立情報学研究所 〒 101–8430 東京都千代田区一ツ橋 2-1-2
E-mail: †{shinohara,yamana}@yama.info.waseda.ac.jp
あらまし

日本語を対象とした自然言語処理では多くの場合，事前に形態素解析により意味を持つ最小の単位である

形態素に分割され特徴量として利用される．形態素解析処理には単語ラティス上の経路予測や点予測に基づく手法が広く用いられている．また形態素解析を単語分割と品詞推定の 2 つの処理に分けて，それぞれについても研究が行われている．昨今の単語分割に関する研究では，ニューラルネットワークを用いた系列ラベリングによる手法が多く提案されている．しかし，ニューラルネットワークのモデルの過学習や，小規模なコーパスにおける学習では有用な特徴量が得られない問題がある．そこで本研究では，ニューラルネットワークを用いた系列ラベリングによる手法をベースとして，コーパスの規模に依存しない単語分割手法を提案する．5 つのデータセットを用いた評価実験の結果，既存のニューラルネットワークを用いた手法に対して提案手法では，F1 が平均 94.43 から 96.00 へ向上したことにより有効性を確認した．
キーワード 自然言語処理，テキストマイニング
は点予測に基づく手法が用いられている．MeCab や JUMAN

1. は じ め にでは，単語ラティスの生成の際に辞書と呼ばれる単語の品詞等

日本語を対象とした自然言語処理では多くの場合，事前にテの情報が必要となる．これらの解析精度を高めるためには，辞キストデータを形態素解析により形態素ごとに分割し特徴量と書のメンテナンスやコーパスのアノテーションが必要となり，して利用する．形態素とは，言語で意味を持つ最小単位のこと

人手でこれらを行う場合コストがかかる．

であり，形態素解析ではテキストデータを形態素ごとに分割し，それぞれの形態素の読みや原形，品詞，活用の種類を判別する．
自然言語のテキストデータを形態素ごとに分割することで，文や文書を形態素の集合や系列データとして扱うことができる．
それにより，文や文書を高次元のベクトルで表現でき，文書分類や機械翻訳など様々なタスクに適用することができる．また
系列データとして扱うことで，言語モデルなどに応用することができる．

また，形態素解析を単語分割と品詞推定の 2 つの処理に細分化して，それぞれについても研究が行われている．昨今の単語分割に関する研究では，ニューラルネットワークを適用した研究が多くなされている．ニューラルネットワークのモデルでは，
ネットワーク構造によるハイパーパラメータのチューニングが必要となるが，高次元で疎な特徴量から低次元で密な特徴量を獲得することができる．これにより，従来の特徴量エンジニア
リングを自動化し，有用な特徴量の獲得が期待できる．ニュー

一般的に形態素解析処理には，1) 単語ラティス上の経路予

ラルネットワークを適用した研究の中でも，特に系列ラベリン

測 [1] [3] [4] や，2) 点予測 [5] に基づく手法が広く用いられていグ問題として扱う手法が多く提案されている [2] [6] [7] ．系列ラ

る．単語ラティス上の経路予測とは，単語の候補を列挙したグベリングによる単語分割では，入力文の各文字の系列に対して，

ラフ構造である単語ラティスに対し，最適な経路を予測するこS(Simple), B(Beginning), M(Middle), E(End) などのラベルとで形態素解析を行う手法である．また点予測とは，単語の境列を推定することによって分割を行う．しかし，既存研究では界を分類するための素性として，周囲の単語境界や品詞等の推

ニューラルネットワークのモデルの過学習や，小規模なコーパ定値を利用せずに，周囲の文字列の情報のみを利用する手法でスにおける学習では有用な特徴量が得られない問題がある．

ある．実際に，既製の形態素解析ツールである MeCab

（注 1）

や

そこで本研究では，ニューラルネットワークを利用して系列

JUMAN （注 2） には単語ラティス上の経路予測，KyTea （注 3） にラベリング問題として扱う手法をベースとして，過学習を回避
し，コーパスの規模に依存しない単語分割手法を提案する．提（注 1）：MeCab, http://taku910.github.io/mecab/ （2016/12/09 アクセス）（注 2）：日 本 語 形 態 素 解 析 シ ス テ ム JUMAN, http://nlp.ist.i.kyoto-

案手法では，モデルの学習時に，入力文の一部の文字を学習時に出現していない未知の文字として学習することで，過学習を

u.ac.jp/index.php?cmd=read&page=JUMAN （2016/12/09 アクセス）

回避し，小規模なコーパスに対しても有用な特徴量の獲得を（注 3）：京都テキスト解析ツールキット KyTea,

図る．

http://www.phontron.com/kytea/index-ja.html （2016/12/09 ア ク セス）

本稿は以下の構成をとる．まず，2. で関連研究について述べ，

3. で提案手法について説明する．そして，4. で，実験・評価をべて有用な特徴量が得られにくい点や，小規模なコーパスにお行い，最後に，5. でまとめる．

いて学習が困難であり性能が劣化する点などが問題点として挙2. 関 連 研 究
本節では，本研究に関連する研究について説明する．2. 1 でげられる．

3. 提 案 手 法は形態素解析における高速な単語ラティス生成手法，2. 2 では

本節では，ニューラルネットワークにおいて過学習の問題

深層ニューラルネットワークによる日本語単語分割手法についや小規模なコーパスにおいて学習が困難であることに対して，て説明する．

コーパスの規模に依存せず学習可能な単語分割手法について

2. 1 形態素解析における高速な単語ラティス生成手法
鍛冶ら [1] は，解析精度を犠牲にすることなく高速に単語ラティスを生成する手法を提案した．従来の単語ラティスの生成述べる．まず，3. 1 で提案手法の概要について説明する．次に，

3. 2 で提案手法であるニューラルネットワークを用いた系列ラ
ベリングによる単語分割について説明する．

方法には，辞書引きと文字種に基づくヒューリスティックの組

3. 1 概み合わせや，単語ラティス生成のための枝刈りアルゴリズムな

2. において，関連研究として単語分割および形態素解析の研どがあるが，前者は未知語に対して脆弱であり，後者は O(n2 )究について述べた．しかし，それぞれの研究において以下の問の時間計算量が発生してしまう問題がある．

題点が存在する．

そこで，鍛冶らが提案した段階的単語ラティス生成アルゴリ
ズムでは，単語ラティスを構成する単語と品詞タグを独立に生

要1) 特徴量に辞書を用いる場合，辞書にない単語に対して脆
弱 [1]成する．単語分割モデルでは，系列ラベリングにより単語分割を行っており，学習には構造化パーセプトロンを用いている．
品詞タグ生成モデルは，多クラス線形モデルを構築して，学習

2) 過学習の問題や小規模なコーパスにおける学習が困難 [2]提案手法では，これらの問題について以下のように対応する．

には平均化パーセプトロンを用いている．単語分割モデルと品詞タグ生成モデルはそれぞれ O(n) で計算できる．そのため，

1) 辞書を用いずに周辺の文字と文字種のみを入力とするこ

単語分割モデルを用いて，スコア上位 α 件の単語分割結果の和とで，辞書にない単語に対しても頑健に分割できるよう

集合 W を求め，品詞タグ生成モデルを用いて，各単語 w ∈ Wにする．

に対してスコア上位 β 件の品詞タグ集合 T を生成した場合でも，O(αβn) の時間計算量で計算できる．また生成された単語
ラティスについても，正解の単語分割結果のカバー率を下げる
ことなく，枝刈りアルゴリズムと比べて単語ラティスのサイズを減らすことができた．
ここで鍛冶らは，全体の解析精度を上げるために単語分割モデルの特徴量として辞書を用いているため，辞書に登録されていない単語に対して脆弱になると考えられる．

2. 2 深層ニューラルネットワークによる日本語単語分割

2) 入力文字をある確率に従って未知の文字として学習する
ことで，未知の入力に対しても頑健なモデルの学習や過学習の回避を図る．
具体的な提案手法は以下の手順に沿う．

1. 系列ラベリング問題として扱うため，周辺の文字と文字種を入力として，ニューラルネットワークモデルにより，対象の文字に対する各ラベル S, B, M, E の生起確率を求める．

北川ら [2] は，深層ニューラルネットワークを利用した日本
語単語分割手法を提案した．これまで，深層ニューラルネット

2. 得られたラベルの生起確率と学習データより求めたラ

ワークを用いた中国語の単語分割の手法は数多く提案されてベルの遷移確率を用いて，動的計画法の Viterbi アルゴ

いた [6] [7] ．そこで，日本語単語分割における深層ニューラル

リズムにより，入力文字列に対する最適なラベル列を求ネットワークの構造による特性を調査し性能の評価を行った.

める．

北川らは，単語分割を系列ラベリング問題として扱い，周辺

3. ラベル列より単語分割結果を得る．

の文字列を入力として，対象の文字のラベルの確率分布を出力とするニューラルネットワークモデルを用いた．また日本語には，中国語などとは異なり，平仮名やカタカナなどの文字種が3. 2 ニューラルネットワークを用いた系列ラベリングによる単語分割存在するため，文字 embedding と文字種 embedding を結合し本項では，提案手法であるニューラルネットワークを用いた系

たベクトルを入力とした．評価実験の結果，既成のソフトウェ

列ラベリングによる単語分割について説明する．まず，3. 2. 1 でアである KyTea ほどの精度は出ないまでも，学習データが十分

系列ラベリングによる単語分割について説明する．次に，3. 2. 2にある場合には，同程度の精度で解析ができることが分かった．

で動的計画法による最適なラベルの選択方法について説明する．

北川らの研究から，日本語に深層ニューラルネットワークを適用した場合，従来の特徴量エンジニアリングによる手法に比最後に，3. 2. 3 で確率的文字種スケーリングによる効果的な学
習方法について説明する．

3. 2. 1 系列ラベリングによる単語分割
提案手法では，単語分割を系列ラベリング問題として扱う．
それぞれの文字には，S(Simple), B(Beginning), M(Middle),

E(End) のいずれかのラベルが付けられる．ここで，S は 1 文
字で 1 単語であること，B, M, E はそれぞれ，2 文字以上で 1単語である文字列の先頭，中間，終端を表す．
提案手法で用いたニューラルネットワークの構造を図 1 に示す．ニューラルネットワークモデルでは，各文字を入力として 4 種類のラベルの生起確率を出力する．文字数 n の入力文 c1:n の各文字 ci (1 ≦ i ≦ n) に対する入力は，ウィン
ドウサイズを k (k ∈ Nodd = { x | x は奇数 }) とすると，(ci− k−1 , . . . , ci , . . . , ci+ k−1 ) となる．また文頭と文末にはそれ
2

2

ぞれ文頭記号と文末記号を付加する．
まず，入力である (ci− k−1 , . . . , ci , . . . , ci+ k−1 ) のそれぞれの
2

2

文字を，実数値ベクトルである embedding に変換する．文字ci に対する次元数 d の embedding xi ∈ Rd は，次元数 dc の文字 embedding xci ∈ Rdc と次元数 dp の文字種 embedding

xpi ∈ Rdp を連結したベクトルであり，式 (1) により表現する．
[
]
xc i
xi =
(1)
xp i
ここで，d = dc + dp である．文字集合を C ，その次元を |C|

図 1 ニューラルネットワークを用いた単語分割とすると，文字 c ∈ C に対する文字 embedding xc ∈ Rdc は，
ルックアップテーブル M c ∈ Rdc ×|C| によりマッピングされる．同様に，文字種集合を P ，その次元を |P | とすると，文文字 ci の各ラベルの生起確率 y i ∈ R|T | を求める．

字種 t ∈ T に対する文字種 embedding xp ∈ Rdp は，ルック

y i = sof tmax(W 2 hk1 + b2 )アップテーブル M p ∈ Rdp ×|P | によりマッピングされる．提ここで，{S, B, M, E} のラベル集合を T ，その次元を |T | とす

案手法では文字種として，平仮名，カタカナ，漢字，数字，ア

ると，W 2 ∈ R|T |×d は重み行列，b2 ∈ R|T | はバイアスを表す．

ルファベット，その他，文頭，文末の 8 種類を用いた．これにより，入力 (ci− k−1 , . . . , ci , . . . , ci+ k−1 ) に対する embedding
22(xi− k−1 , . . . , xi , . . . , xi+ k−1 ) が得られる．
2

ニューラルネットワークの学習の際には，出力 y i と正解ラベル分布 li ∈ R|T | の交差エントロピー誤差を目的関数とする．
交差エントロピー誤差関数を式 (5) に示す．

2

次に，得られた embedding を隠れ層の 1 層のノードとして，

loss =

隣接する 2 つのノードを連結することにより 2 層のノードを求めていく．隣接する 2 つのノードを hL , hR ∈ Rd とすると連結したノード hP ∈ Rd は式 (2) により表現できる．

[
hP = g(W 1

hL

hR

∑

−li log y i(5)i

この目的関数を最小化するように，誤差逆伝搬によりニューラ
ルネットワークのパラメータである M c , M p , W 1 , W 2 , b1 , b2]
+ b1 )(4)(2)

を更新する．

3. 2. 2 動的計画法による最適なラベルの選択は重み行列，b1 ∈ R はバイアス，g(·)

式 (4) によって求めたラベルの生起確率 y i を用いて，入力

は sigmoid などの非線形関数を表す．この操作を隠れ層のノー文に対して最適化されたラベル列を求める方法について説明すドが 1 つになる，k 層まで繰り返し行う．したがって，隠れ層る．ラベル列の最適化には動的計画法の 1 つである Viterbi アの数を l ∈ [1, k] とすると，l 層の隠れ層の j 番目のノード hlj

ルゴリズムを用いる．

ここで，W 1 ∈ R

d×2d

d

は式 (3) により表現できる．





hl−1

j

 + b1 )g(W 1 
hlj =
hl−1
j+1



x
i− k+2j−3
2i 番目までの文字列に対するラベル列を s1:i = s1 , . . . , si ，i番目の文字のラベル si を k とした場合，ラベル列 s1:i を生成す

(l =
| 1)

(3)

(l = 1)

そして，k 層の隠れ層のノード hk1 を用いて，式 (4) により，る最大確率を vik と表す．このとき，i + 1 番目の文字のラベルlsi+1 を l とすると，ラベル列 s1:i+1 を生成する最大確率 vi+1

は漸化式を用いて，式 (6) により表すことができる．
lvi+1= y i+1 (l) max{Akl vik }
s1:i

(6)

ここで，Akl はラベル列が k から l へ遷移する確率を表す．こ

表1 実験環境

れにより，動的計画法を用いてアルゴリズム 1 により入力文

項目

値

c1:n に対する最適なラベル列 s1:n を求めることができる．

CPUIntel Core i7-5820K

メインメモリサイズ

16GB

Algorithm 1 Viterbi アルゴリズム

GPU

NVIDIA Quadro K5200

Require: c1:n

GPU メモリサイズ

8GB

1: y 1 ⇐ LabelEstimator(c1 )表 2 各データセットに含まれる文数

2: for j = 1 to |y 1 | do
3:

v1j ⇐ y 1 (j)// ラベル列をメモ化

訓練

開発

評価

3,764

4: end forKC

30,6084,027

5: for i = 2 to n do

KNBC

3,453

384

348

47,547

6,586

5,741

6:

y i ⇐ LabelEstimator(ci )

BCCWJ

7:

for j = 1 to |y i | doKC(tiny)

3,060

402

376

BCCWJ(tiny)

4,754

658

574

for each v ′ ∈ vi−1 do
if vij < v ′ × yi (j) thenvij ⇐ v ′ × yi (j)// i 番目までのラベル列をメモ化

8:
9:
10:

k

dc

dp

θ

KC

5

100

10

0.10

KNBC

5

100

10

0.25

BCCWJ

5

100

10

0.05

KC(tiny)

5

100

10

0.25

BCCWJ(tiny)

5

100

10

0.25

end if

11:

end for12:13:

表 3 各データセットで採用したパラメータend for

14: end for// メモ化したラベル列を返す

15: return max(vn )3. 2. 3 確率的文字種スケーリングによる学習
小規模なコーパスにおいても効果的にニューラルネットワーク
モデルの学習を行う，確率的文字種スケーリング (Probabilistic

Character-type Scaling) について説明する．

へ の 入 力 は ，各 文 字 ci の 周 辺 の 文 字 列 の embedding(xi− k−1 , . . . , xi , . . . , xi+ k−1 ) である．しかし，確率的文字種2

スケーリングを用いた場合には，式 (7) のように各文字 ci を確率 θ (0 ≦ θ ≦ 1) により，未知の文字 cU として embedding xiに変換する．





x
c

i







 xp ixi = 




x
U







 xp
i

4. 1 データセット
本稿では，評価実験に用いるデータセットとして，京都大学

式 (1) で 説 明 し た よ う に ，ニュー ラ ル ネット ワ ー ク

2

1.17.0 [11] を用い，実験環境を表 1 に示す．

テキストコーパス version 4.0 [8]，京都大学 NTT ブログコー
パス version 1.0 [9]，現代日本語書き言葉均衡コーパス [10] の3 つを用いた．以下では，それぞれ KC, KNBC, BCCWJ と表記し，各コーパスは訓練，開発，評価用に分割して利用する．
また，KC と BCCWJ において，訓練，開発，評価データの文数がそれぞれ 10%となるようにランダムサンプリングした小規
模コーパス KC(tiny), BCCWJ(tiny) を用いた．各コーパスに含まれる文数を表 2 に示す．

(ri > θ)(7)(ri ≦ θ)4. 2 各種パラメータの調整
ニューラルネットワークモデルのハイパーパラメータである，ウィンドウサイズ k ，文字 embedding の次元数 dc ，文字ここで，xU は未知の文字 cU の embedding，ri (0 ≦ ri ≦ 1)

種 embedding の次元数 dp ，確率的文字種スケーリングの閾値は各文字 ci ごとに生成した一様乱数である．xU は通常の文字θ の調整を行う．各種パラメータは，開発データセットにおいてと同様に，ルックアップテーブル M c により設定する．これにF1 が一番高かった値を採用した．ウィンドウサイズ k は，隠れより，文字と文字種情報の重み付けや動詞の活用語尾の変化な

層が深くなり勾配消失により学習が進まなくなることを防ぐた

どの学習などが期待でき，過学習を回避し小規模なコーパスに

め，Chen ら [6] の設定である 5 を採用した．文字 embedding

おける効果的な学習を図る．

の次元数 dc は 10, 20, 30, 50, 100 から，文字種 embedding の次元数 dp は 5, 10, 15, 20 から，確率的文字種スケーリングの4. 評価・実験閾値 θ は 0.00, 0.05, 0.10, 0.15, 0.20, 0.25, 0.30 からそれぞれ

本節では，提案手法の実験と評価について述べる．まず，4. 1

選択した．dc , dp については，既存研究 [2] [6] [7] から上記の範で評価実験に用いるデータセットについて説明する．次に，4. 2

囲で必要十分であると考えた．θ については 0.30 より高い値にで各種パラメータの調整について説明する．そして，4. 3 で実設定すると，文字情報の欠落により十分学習できないため上記

験結果について述べる．

の範囲を用いた．それぞれのデータセットにおいて調整したパ評価指標として，単語分割結果の単語単位での適合率と再現率の調和平均である F1 を用いた．また，実装には Chainer

ラメータを表 3 に示す．また最適化には Adam を利用しているが，パラメータは Chainer のデフォルト設定を用いた．

表 4 既存手法との F1 の比較

related work

proposed

Method

KC

KNBC

BCCWJ

Kaji [1]

97.94

93.92

98.10

KC(tiny) BCCWJ(tiny)
N/A

N/A

Kitagawa [2]

97.36

88.62

97.64

93.38

95.17

NN(char)

97.60

90.74

98.72

93.25

95.44

NN(char+chartype)

97.82

91.33

98.76

94.04

95.92

NN(scaling)

97.84

92.71

98.89

94.78

96.58

表 5 既成ソフトウェアとの F1 の比較

softwareproposed

Method

KC

KNBC

BCCWJ

KC(tiny) BCCWJ(tiny)

JUMAN

97.73

96.26

N/A

97.64

N/A

MeCab

97.87

95.38

98.62

97.64

98.47

Kytea

98.20

93.50

99.05

94.61

97.02

NN(scaling)

97.84

92.71

98.89

94.78

96.58

表 6 学習時間の比較 (分)Methodrelated work
proposed

KC

KNBC

BCCWJ

Kitagawa [2]

1,716

113

2,910

KC(tiny) BCCWJ(tiny)
229

287

NN(char)

320

23

386

29

40

NN(char+chartype)

426

33

516

43

60

NN(scaling)

426

33

538

41

60

4. 3 実 験 結 果

表 7 解析速度の比較 (文/秒)

評価実験では，比較手法として，鍛冶ら [1]，北川ら [2] の手

Method法を用いた．ここで，鍛冶ら [1] の手法との比較は論文の値を参照したが，形態素解析手法であることから，単語分割が正し

software

いかつ品詞タグが正しいものを正解とした．また，北川ら [2]の手法については，最も精度の高かった LSTM モデルを提案

related work

手法と同様に実装し評価した．各種ハイパーパラメータ k, dc ,dp は北川ら [2] の設定した 5, 100, 10 を用いた．

proposed

提案手法については，文字 embedding のみで学習したモデ

Analysis Speed

JUMAN

2,100

MeCab

29,000

Kytea

3,200

Kaji [1]1,400

Kitagawa [2]12NN(char)8

NN(char+chartype)7

NN(scaling)7

ル，文字と文字種 embedding で学習したモデル，文字と文字種

embedding で確率的文字種スケーリングを用いて学習したモKC(tiny) などの小規模のデータセットにおいては，提案手法

デルの 3 つの手法について評価した．以下それぞれ NN(char),の方が高い F1 を得られた．

NN(char+chartype), NN(scaling) と表す．
4. 3. 1 既存手法との比較結果
既存手法と F1 を比較した結果を表 4 に示す．結果から，KC,

KNBC, BCCWJ のデータセットについては，鍛冶らの手法の方が F1 が高くなったが，同じニューラルネットワークを用いた北川らの手法と比べて向上が見られた．KNBC のデータセッ
トにおいて，鍛冶らの手法と F1 に差が見れられのは，データセットが少ないため辞書により得られる特徴が強く影響したと考えられる．また，KNBC,KC(tiny),BCCWJ(tiny) の 3 つの小規模なデータセットについては，提案手法である確率的文字
種スケーリングによる F1 の向上がより顕著に確認できた．

4. 3. 2 既存ソフトウェアとの比較結果
また，既存の JUMAN, MeCab, KyTea の 3 つのソフトウェ
アと F1 を比較した結果を表 5 に示す．JUMAN と MeCab に
ついては既に学習済みのモデルを用いているため，どのデー
タセットに対しても F1 が高い結果となっている．KyTea に関しては，各データセットごとに学習したモデルを利用したが，4. 3. 3 ニューラルネットワークの学習時間の比較提案手法と北川ら [2] の手法の学習時間の比較を表 6 に示す．
ここで，各手法はエポック数を 100，バッチサイズを 100 とした場合の結果を示している．北川らの手法で用いている LSTM
モデルでは，一つ前の中間層が次の中間層への入力となるため学習に多くの時間がかかっている．提案手法では，NN(char) とNN(char+chartype) で文字種 embedding の有無が学習時間に影響している．対して，NN(char+chartype) と確率的文字種
スケーリングを適用した NN(scaling) との差はほとんど見られなかった．

4. 3. 4 解析速度の比較
解析速度の比較を表 7 に示す．提案手法については，解析速度の高速化は考慮していないので低い値となっている．時間計
算量についても，北川らの手法が O(n) で実行できるのに対し，提案手法ではウィンドウサイズ k のとき，O(k 2 n) となってしまう．そのため，実用的な解析速度を得るために高速化や時間計算量について考慮する必要があると考えられる．

表 8 未知語カバー率の比較

proposed

Method

KC

KNBC

BCCWJ

NN(char)

97.07

88.32

98.09

91.72

93.41

NN(char+chartype)

97.34

89.01

98.34

93.02

94.95

NN(scaling)

97.37

91.16

98.36

93.58

95.27

4. 3. 5 未知語カバー率の比較提案手法における未知語カバー率の比較を表 8 に示す．ここで，未知語とは訓練データ中に存在しない単語であり，未知語[5]

カバー率とは評価用データセット中の未知語全体に対する正し
く分割された未知語の割合である．確率的文字種スケーリングを適用することで未知語カバー率においても向上が見られた．
また表 4 と比較すると，未知後カバー率の向上が F1 に大きく

[6]

影響していることが分かった．

5. ま と め
本稿では，コーパスの規模に依存せず学習可能な単語分割手法について提案した．具体的には，入力文字をある確率に従っ[7]て未知の文字として学習することで，未知の入力に対しても頑健なモデルの学習や過学習の回避を図った．評価実験の結果，[8]

既存のニューラルネットワークを用いた手法 [2] に対して提案
手法では，F1 が平均 94.43 から 96.00 へ向上したことにより有効性を確認した．しかし，特徴量エンジニアリングによる手法[9]と比べて，精度の向上の必要性があると考えられる．今後の課題としては，解析速度の向上，品詞タグ付け，辞書情報を利用した学習方法の検討などが挙げられる．
[10]

文

献

[1] 鍜治伸裕, 喜連川優: ”形態素解析における高速な単語ラティス
生成”, 人工知能学会論文誌, Vol.29, No.2, pp.268-276, 2014.
[2] 北川善彬, 小町守: ”深層ニューラルネットワークを利用した日
本語単語分割”, 言語処理学会 第 22 回年次大会 発表論文集,
pp.933–936, 2016.
[3] Kaji Nobuhiro and Kitsuregawa Masaru: ”Eﬃcient Word
Lattice Generation for Joint Word Segmentation and POS
Tagging in Japanese.”, IJCNLP, pp.153-161, 2013.
[4] Morita Hajime, Kawahara Daisuke and Kurohashi Sadao:”Morphological Analysis for Unsegmented Languages us-[11]

KC(tiny) BCCWJ(tiny)

ing Recurrent Neural Network Language Model”, EMNLP,
2015.
Neubig Graham, Nakata Yosuke and Mori Shinsuke:”Pointwise prediction for robust, adaptable Japanese morphological analysis”, Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics:
Human Language Technologies: short papers-Volume 2,
pp.529–533, 2011.
Chen Xinchi, Qiu Xipeng, Zhu Chenxi and Huang Xuanjing:”Gated recursive neural network for Chinese word segmentation”, Proceedings of Annual Meeting of the Association
for Computational Linguistics. pendency parsing using twoheterogeneous gated recursive neural networks. In Proceedings of the Conference on Empirical Methods in Natural
Language Processing, 2015.
Zheng Xiaoqing, Chen Hanyang and Xu Tianyu: ”DeepLearning for Chinese Word Segmentation and POS Tagging.”, EMNLP, pp.647–657, 2013.
Kurohashi Sadao and Nagao Makoto: ”Building a Japaneseparsed corpus while improving the parsing system”, Proceedings of The 1st International Conference on Language
Resources & Evaluation, pp.719–724, 1998.
Hashimoto Chikara, Kurohashi Sadao, Kawahara Daisuke,
Shinzato Keiji and Nagata Masaaki: ”Construction of a
Blog Corpus with Syntactic, Anaphoric, and Sentiment Annotations”, Journal of Natural Language Processing, Vol.18,
No.2, pp.175–201, 2011.
Maekawa Kikuo, Yamazaki, Makoto, Ogiso Toshinobu,
Maruyama Takehiko, Ogura Hideki, Kashino Wakako,
Koiso Hanae, Yamaguchi Masaya, Tanaka Makiro and
Den Yasuharu: ”Balanced corpus of contemporary written Japanese”, Language Resources and Evaluation, Vol.48,
No.2, pp.345–371, 2014.
Tokui Seiya, Oono Kenta, Hido Shohei and Clayton Justin:”Chainer: a Next-Generation Open Source Framework for
Deep Learning”, Proceedings of Workshop on Machine
Learning Systems (LearningSys) in The Twenty-ninth Annual Conference on Neural Information Processing Systems(NIPS), 2015.