部分的かつ曖昧なラベル付き構造データからのマルコフ条件付確率場の学習
坪井 祐太 †1,3
鹿島
小 田 裕 樹†1 日本アイ・ビー・エム株式会社

久 嗣 †1
森信 介 †2
松本 裕治 †3

†2 京都大学†3 奈良先端科学技術大学院大学

コーパスのアノテーション作業では、重要な部分のみへのラベル付与が効率的であり，また一部のラベルが一つに決定できずラベルの曖昧性が残ってしまうことが発生する．本研究では，このような部分的かつ曖昧なラベルが付与された学習データを使用してマルコフ条件付確率場を学習する方法を提案する．日本語単語境界認識の分野適応における部分的アノテーションと英語品詞タグ付けデータに存在する曖昧なアノテーションに対して実験を行い，本手法の有効性を検証した．
キーワード：部分的かつ曖昧なアノテーション，構造出力問題，条件付確率場

Training Conditional Random Fields using Partial and Ambiguous Structured Labels
Yuta Tsuboi †1,3 , Hisashi Kashima †1 , Shinsuke Mori †2 ,Hiroki Oda and Yuji Matsumoto †3†1 IBM Japan, Ltd.

†2 Kyoto University†3 Nara Institute of Science and Technology

We address corpus building situations which we only annotate important part of given
data, or which we cannot resolve label ambiguities with reference to the linguistic context.
We proposed a parameter estimation method for Conditional Random Fields (CRFs) using
the partial and ambiguous annotations of structured data. We show the promising results ofour method applied to the domain adaptation task of Japanese word segmentation and Partof Speech tagging task using the ambiguous tags in Penn Treebank Corpus.
Keywords: Partial and Ambiguous Annotations, Structured Output Learning, Conditional
Random Fields

1. は じ め に慮したパラメータ推定である．構造内の各要素に相互関係がある問題で有効な手法であるため，品詞タグ付

近年，構造を出力とする問題を扱う識別モデルが発け9) ，単語分割問題8),12) ，構文解析21) ， 固有表現抽

展し，多くの自然言語処理の問題に応用されるように

出16) ， 対訳語対応付け22) など，自然言語処理の様々なった．構造を出力する問題とは，例えば日本語の単な問題に応用されている．

語分割タスクは，２つの文字の境界を入力単位とし，識別モデルの教師付き学習では，入力と出力の対を文の各文字境界列に対応する単語境界・非境界ラベル

学習データとしてモデルのパラメータを推定する．構列を出力する問題として扱うことができる．また，品造出力でも出力が構造を持っている点を除けば同じ枠

詞タグ付与問題は文を構成する単語列を入力列とし，組みで学習は定義される．しかし，自然言語処理の応

各単語に対応する品詞のタグ列を出力する問題として用では入力と出力構造の対が完全に与えられず，出力考えることが出来き，係り受け解析は入力文の単語列

構造の一部のみが与えられたり，出力構造の一部が 2に対応する依存木構造を出力する問題と考えることがつ以上の候補を持ち曖昧性を持ったラベルで与えられできる．

ることも想定される．

構造出力を扱う識別モデルは条件付確率場（Con-

出力構造の一部のみが与えられる例としては，既存

ditional Random Fields:CRF）9) に始まり， パーセの自然言語処理システムの分野適応がある．適応しプトロン5) ，マージン最大化20) アルゴリズムなどがたいテキストの文中でも，特に重要な部分にアノテー提案されている．これまでの構造の各要素を独立に学ションをして学習データを作成する方が文全体にアノ習する手法との大きな違いは，構造全体の整合性を考テーションをするより効率的である．2.1 節では統計

的日本語単語分割の分野適応時の作業コスト削減を実現する，部分的なアノテーション付与方法を紹介する．

が皮膚を強くこ

すり傷

ついてしまっ感染，角膜のこすり傷，角膜潰瘍，

また，タスク自身の曖昧性やアノテーション作業者⃝

皮膚に切り傷やすり傷を負った場合の習熟度によって曖昧性を持ったラベルが構造の一部⃝

泥まみれの深いすり傷や，皮下深くに付与されることがある．2.2 節では，よく知られた

図1

KWIC 形式アノテーション UI

Penn Treebank 英語品詞タグ付きコーパスにおいて品詞タグが複数候補付与されている単語があることを能な事が多い．森11) は適応先の分野単語リストが出現

例に曖昧性のあるアノテーションを説明する．

する文脈を評価する KWIC（KeyWord in Context）

これらの不完全なアノテーションは，これまでの構

形式の UI を提案した．分野単語リストのエントリ「す造出力学習手法では想定されていなかった．そこで，り傷」の UI での表示例を図 1 に示す．アノテーショ

3 節で問題を定式化し，4 節で部分的かつ曖昧なアノン作業者は文字列「すり傷」が適応先テキストの各文

テーションを用いて CRF を学習する方法を提案する．

脈で実際に単語として使用されている箇所に印を付け提案手法は動的計画法を用いることでマルコフ性を仮る．1 行目は 2 単語「こする」と「傷つく」の一部，2定できる問題においては多項式時間で計算できる．

行目は単語「こすり傷」の一部であるため，最後の 2

提案手法の有効性を確認するために，5 節で提案手

行にのみ正しい単語境界であることを示す印を付けて法を日本語単語分割の分野適応と品詞タグ付けに適用いる．この UI は文字列領域に対するアノテーション

した実験結果を示す．5.1 節では，選択的サンプリン

を YES/NO 入力に単純化することで作業を効率化しグ法によって重要な単語のみをアノテーションするこており，他の自然言語処理タスクにおいても有用な方とで文全体をアノテーションするのに比べて 1/10 の法である．例えば，品詞タグ付けは名詞か否か，係り作業量で大きな学習効果が得られたことを報告する．

受け付与は単語間の構文的依存関係の有無を文脈を見

5.2 節では，品詞タグ付けタスクにおいて曖昧なアノながら二値判断する作業へと分解することが可能で，テーションのまま学習する事によって安定的な性能がこの UI を適用できる．この UI は重要な部分だけをア得られることを示す．

ノテーションすることで文全体へのアノテーションに

6 節で関連研究を紹介し，最後に 7 節では結論と今後の展望について述べる．

2. 部分的かつ曖昧なアノテーション

比べて作業量削減効果があるだけでなく，部分的なアノテーションを許すことで作業者が自信の無い部分は無理に判断する必要がないためノイズとなるアノテー
ションの追加を防止する効果も期待できる．一般的な

2.1 部分的なアノテーション

分野適応時には，アノテーション作業は分野知識はあ

本節では，部分的なアノテーションを付与することるが言語学的知識の無い複数人で行うことが多いため，で分野適応において効率的なアノテーション作業が行

この特徴は非常に重要である．

える例を示す．本稿での自然言語処理システムの分野

また，分野適応においては既存のシステムが存在す適応の目的は，特定の（適応元）分野の学習データ、まることが期待できるので，事例に対して既存のシステ

たは既存の言語処理システムを活用し、処理対象の（適ムで何らかの優先度を付与して部分アノテーションを応先）データでの性能を向上させることである．森11)

付与することもできる．選択的サンプリングや能動学の日本語単語分割のためのユーザーインターフェース

習の研究によると，優先度の高い事例に対して集中的（UI）を例として紹介する．

に正解を付与して学習データを作成することで少な

日本語や中国語のように分かち書きされていない言

いアノテーション量で効率的に性能向上を得られるこ

語では，単語境界を求めることは単純ではなく，周辺とが知られている．構造出力タスクでは，各事例の構

文脈を考慮した上で適切に決定する必要がある複雑な造内のアノテーションすべき要素を選択することにな問題であるため，統計モデルが活用されている．しかる1),3),14),17) ．上記の UI の場合には，文脈を優先順し，統計的手法では言葉の使われ方の違いによって，位付けしてユーザに表示することで確認する文脈数をしばしば学習データと異なる分野のデータで性能劣化減らすことが可能になる．

が発生する．単語分割では特に元の分野では観測され上記の方法で，文全体の単語境界を指定する作業になかった未知語の出現が分割誤りの主原因となる．

比べ，部分的にアノテーションされた適応先の文は比一方で，現実の適応時には適応先分野の専門用語辞

較的低コストで作成することが出来る．単語分割以外

書や製品名一覧が分野特有の単語リストとして使用可の分野適応においても，構造全体のアノテーションに表1

Penn Treebank コーパスの頻度 3 以上の曖昧な品詞タグ例．
頻度

15
10
7
4
3
3

単語

品詞

data
more
pending
than
tradingbroker-dealer

NN|NNSJJR|RBR
JJ|VBG
IN|RB
NN|VBG
JJ|NN

説明するが，一般の木構造などにも適用できる．
入力列 x=(x1 , x2 , · · · , xT ) ∈ X を入力列 xt ∈ X
を要素とする列構造，ラベル列 y=(y1 , y2 , · · · , yT ) ∈Y をラベル変数 yt ∈ Y の列とすると，教師付き構造
出力学習は写像 X → Y を学習する問題として定義できる．例えば日本語の単語分割タスクでは x は文字境界を表す変数の列，ラベル列 y は単語境界の有無を表すラベル変数の列☆☆ であり，品詞付与問題では，

比べ部分的アノテーションは効率的に作成することがx は文の各単語を表す変数の列，y は対応する品詞タ出来ると考える．

グの列である．

2.2 曖昧なアノテーション

次に，y の一部だけが与えられたデータを表現する

本稿で扱う曖昧なアノテーションとは，ラベル列なために，L=(L1 , L2 , · · · , LT ) を入力 x の各点 t が取どの構造を持った学習データのある事例の要素に付与り得るラベル変数の値集合 Lt ∈ 2Y − {∅} の列とすされるべきラベルの候補が複数存在する場合に，そのる．例えば 2.1 節の KWIC 形式の UI で長さ 6 文字

候補ラベル集合を指す．

(文字境界数 = 5) の文字列に部分的にアノテーション

例えば，Penn Treebank の品詞タグ付きデータでしたとすると，L = ({⃝, ×}, {⃝}, {×}, {⃝} , {⃝, ×})は，次のような曖昧なアノテーションが存在する：|

That/DT suit/NN is/VBZ pending/VBG|JJ ./.

{z}

部分的なアノテーション

ただし，各単語のスラッシュ後の英字は品詞タグでそとなる．ただし，t = 2 から t = 4 までがアノテーショ

れぞれ DT：限定詞，NN：名詞単数，VBZ：動詞 3

ンした単語の文字境界であり，単語境界と非単語境界

人称単数現在形，VBG：動名詞または動詞現在分詞，のラベルを ⃝ と × とする．また，2.2 節の曖昧な品

JJ：形容詞を示す．縦棒はタグの曖昧性を示し，この詞タグの例を表現すると，t = 4 にのみ複数のラベル

例では “pending” の品詞タグは “VBG または JJ” と(VBG,JJ) を含む L と書ける:

してアノテーションされていることを意味する☆ ．

L = ({DT}, {NN}, {VBZ}, {VBG, JJ} , {.})|

曖昧なアノテーションは，タスクおよびアノテーショ
ン手順の曖昧さ，作業者の習熟度などにより発生する．
理想的な学習データとしては全てのアノテーションの
曖昧性が人手によって解決されていることが期待されるが，Penn Treebank コーパスの様に明確にタグ付け基準が定められている場合ですら，表 1 に示すような品詞に曖昧性を含む文が 100 文以上存在する．ただし，NNS:名詞複数，RBR:副詞比較級，IN:前置詞または従属接続詞，RB:副詞である．

{z}

曖昧なアノテーション

なお，列構造全体が全てアノテーションされたデータ
は，t = 1, · · · , T の全てで要素サイズ |Lt | = 1 である L で表現される．
以上のように定義すると，本稿で扱う教師付き学習
問題は N 個の部分的で曖昧なアノテーションが付与された構造データ D = {(x(n) , L(n) )}N
n=1 を用いてラベル付与器を学習する問題と言える．

4. 周辺尤度最大化による条件付確率場の学習

さらに，意味を扱う情報抽出などのタスクでは作業者が曖昧性を判断できないケースがしばしば発生する．
このように，人手によるラベル付きデータの作成過程
では曖昧なアノテーションが付与される可能性は高く，学習アルゴリズムはこれらに対応する必要がある．

本節では，曖昧かつ部分的なアノテーションを活用した CRF の学習方法を提案する．Φ(x, y) : X × Y →ℜd を入力列 x とラベル列 y の組から d 次元の任意の素性ベクトルへの写像，„ ∈ ℜd をモデルのパラメー
タベクトルとする．CRF は x が与えられた時の y の3. 問題の定式化
本節では，部分的なアノテーションや曖昧なアノテー
ションを学習データに用いた，構造出力問題を定式化

条件付確率を次式でモデル化する．
e„·Φ(x,y)，(1)
P„ (y|x) =Z„,x,Yただし，ベクトル v と w の内積を v · w とし，分母する．本研究では，特に入出力構造を列構造に限って☆☆
☆

ただし，Penn Treebank コーパスでは，タグの候補が複数ある場合の記述の順番は重要ではなく，その順番には一貫性は無い15) ．

文字の前が単語境界か否かを各文字に付与する Peng ら12) の単語分割問題の定式化では，単語境界があることが自明である
文の最初の文字にもラベルを付与することになり冗長であるため，本稿では上記の定式化を採用した．

は確率（和が 1）にするための正規化項
X

微分は次式で与えられる．
∂RL(„)∂„
e„·Φ(x,y)Z„,x,Y =y∈Yである．また，„ が与えられたもとでは，ラベル列はŷ = argmax P„ (y|x) で予測する．

=−

ベル列 y が必要になるため，y の一部だけが与えられた L から直接学習することが出来ない．素朴には，

L に適合するあらゆるラベル列の集合を YL としたとき，ラベル列 y ∈ YL を適度に重み付けして全てを学
習データとする方法が考えられる．しかし，ありえる
ラベル列の数は |YL | = |L1 | × |L2 | × · · · |LT | であり，

|Lt | > 1 となる t の数に対して指数的に増加してしまい，明示的にラベル列を列挙して学習データとする方
法は汎用性が無い．
そこで，効率的に上記の計算を行う方法を考える．
まず，集合 YL の分布をモデル化した周辺分布：
X

X

P„,L (y|x(n) )Φ(x(n) , y)!

y∈Y (n)
L

n=1

y∈Y

オリジナルの CRF では，学習データ (x, y) にはラP„ (YL |x) =NXXP„ (y|x

(n)

)Φ(x

(n)

, y)

−

y∈Y

„
,
σ2

(4)

ただし，

e„·Φ(x,y)Z„,x,YL
は L に適合するラベル列 YL のみで正規化した条件
P„,L (y|x(n) ) =付分布である．式（4）は最適解で 0 となるので，目的関数の最大化は P„,L (YL |x) と P„ (Y |x) の下での素性の期待値が等しくなるようにパラメータ „ を選択していると言える．
式（3,4）はラベル列の集合 Y , YL での和を含むが，先に述べたように明示的にラベル列集合を列挙して評価することは現実的でない．そこで，マルコフ性を仮P„ (y|x)定することで動的計画法により効率的に計算する方法

y∈YLを考える．このモデルのパラメータ „ の最尤推定値はを以下に示す．なお，以下の説明では 1 次のマルコフ

次式の対数尤度を最大化することで得られる:モデルを説明するが，2 次以上のマルコフモデルやセ

LL(„) =NX

ln P„ (YL(n) |x(n) )

(2)

n=1

X X
N

=

X³

X × Y と隣接するラベル変数の組の素性 g(yt−1 , yt ) :ln Z„,x(n) ,Y (n) − ln Z„,x(n) ,Y

Y × Y を考え，その線形結合を ﬃ(xt , yt−1 , yt ) =

´
．

L

n=1

式（2）は，与えられた x に対する y の条件付確率P„ (y|x) を重みとして YL 全てを学習データにしていることに相当する．
式（2）はパラメータ „ に関して凸であり，通常の CRF と同様に勾配法によって大域最適解が得られる18) ．CRF の学習では最尤推定による過学習を防ぐために，パラメータの事前分布 P („) と式（2）を合わせて „ の事後確率 LL(„) + ln P („) を目的関数とし，これを最大化する MAP 推定が用いられる．5
節の実験では，平均 0，分散 σ 2 の正規分布を事前分布とし，次式の正則化項付き対数周辺尤度関数を目的関数とした．
N ³
X

f (xt , yt ) + g(yt−1 , yt ) と書く．すると，素性ベクトルは Φ(x, y) =

PT +1
t=1

ﬃ(xt , yt−1 , yt ) と分解できる．

ただし，ラベル列の先頭と末尾を表す特別なラベルをそれぞれ S と E とするとき，ﬃ(xt , yt−1 , yt ) は先頭

t = 1 で ﬃ(xt , S, yt )，末尾 t = T + 1 で g(yt−1 , E)と定義する．
式（3,4）の第 1,2 項を効率的に計算するポイン
トは，ラベル列ごとの再計算を避けるためにある„, x, L に対して行列 α„,x,L [t, j], β„,x,L [t, j] をあらかじめ計算することである．なお，Y の和の計算時はL = (Y, · · · , Y ) とすればよい．これはよく知られた
Forward-Backward アルゴリズムを制約 L を満たす
ように拡張したものであり，α は t = 1, · · · , T ，β は

t = T + 1, · · · , 1 の順で以下のように計算する．

RL(„)
=

1 次のマルコフモデルでは，(x, y) の各点 t において，入力変数とラベル変数の組の素性 f (xt , yt ) :ln P„ (y|x(n) )n=1 y∈Y (n)LN=

ミマルコフモデル16) にも容易に拡張可能である．

ln Z„,x(n) ,Y (n) − ln Z„,x(n) ,YL

n=1

ただし „ に依らない定数 ln 1 − ln

√

´

−

||„||2，2σ 2(3)2πσ は省略した．

式（3）と共に，勾配法では必要になる式（3）の偏α„,x,L [t, j]



0




=

„ · ﬃ(xt , S, j)

if j ∈/ Lt
else if t = 1

X α[t−1,i]+„·ﬃ(x ,i,j)

t

e
else

ln
i∈Lt−1

表 2 単語分割タスクのデータ．

β„,x,L [t, j]



0




=

if j ∈/ Lt„ · g(j, E)

else if t = T + 1

X „·ﬃ(x ,j,k)+β[t+1,k]

t

e
else

ln

A
B
C
D

分野

分割済

会話文
会話文
医療マニュアル医療マニュアル

⃝
⃝
⃝
×

文数
11,7001,300
1,000
53,834

単語数
145,925
16,34829,216
N/Ak∈Lt+1

以降，α, β, Z の添え字 „, x, L は誤解の無い範囲で省

応先での単語分割性能の向上である．

略する．行列 α[t, j]（β[t, j]）は各点 s でラベル ys が

入力文字境界を表す二値素性としては，各文字境

Ls に含まれる点 t までの前（後）からの部分ラベル列

界に隣接する文字及び字種ユニグラムと文字境界のの中で，yt = j である全ての部分ラベル列の指数の和

前後 2 文字の領域に含まれる文字及び字種 n グラムの対数値☆ を格納している．α, β の計算量は O(T |Y |2 )（n = 2, 3）を使用した．字種素性は字種が異なる文である．

字境界では単語境界になりやすい事前知識を反映した

最後に，対数尤度（式（3））とその偏微分（式（4））

もので，字種はひらがな，カタカナ，漢字，英字，アを α, β を使って計算する方法を示す．式（3）の Z のラビア数字，記号からなる．たとえば，字種のひらが対数は α, β を使って次式で得られる：
X

なを H，漢字を C とすると，文字列「やすり傷」の

eαθ,L [T,j] + „ · g(j, E),

ln Z„,YL = lnj∈LT

また，式（4）の第 1,2 項は同様に次式で計算出来る．
X

P„,L (y|x)Φ(x, y)

y∈YL

=

T
X
X

+

X

X

γL (t, j)f (xt , j) +i∈Lt−1εL (t, i, j)g(i, j) D での頻度を用いて素性選択をした．具体的には，CAと CD をそれぞれデータ A と D における素性の出現

εL (T, i, E)g(i, E)

ただし，γ„,x,L 及び ε„,x,L は次式の周辺確率である（上式で下付きの „, x は省略した）．

γ„,x,L (t, j) = P„,L (yt = j|x)
= eα[t,j]+β[t,j]−ln ZYLε„,x,L (t, i, j) = P„,L (yt−1 = i, yt = j|x)
= eα[t−1,i]+„·ﬃ(xt ,i,j)+β[t,j]−ln ZYL
以上の方法で，式（3,4）は O(T |Y |2 ) で計算出来る．

験

5.1 部分的単語分割からの学習
本節では，日本語単語分割の分野適応のシナリオにおいて，部分的アノテーションを付与した際の提案法の性能を実データにより検証する．
本実験では適応元のデータとして日常会話辞書7) の例文を用いた．適応先のデータには家庭用医療マニュアル4) の文を用いた．適応元の全てのデータ（A，B）と適応先の 1000 文（C）は人手により単語に分割されている (表 5.1 参照)．本実験での分野適応の目的
は，アノテーション済みの適応元のデータに加え，部
分的アノテーションをした適応先データを使用して適☆

|HC，HH|H，H|HC} である．ただし，「|」は注目す メータ数を減らすためにテストデータではない A と

i∈LT

5. 実

り，| り傷，やす | り，す | り傷，H|，|H，HH|，H|H，る文字境界との相対位置を示す補助記号である．パラ

t=1 j∈Lt

中央文字境界を表す素性は { す |，| り，やす |，す |

数値計算時にはオーバーフローを防ぐための工夫が必要になる．
詳細は文献 19) の 1.4.6 章を参照．

頻度としたとき，式 CA + 0.5CD ≥ 2 を満たす素性のみを用いた．最終的な入力素性数は 298, 363 である．
性能評価には標準的な再現率（R）と精度（P）の調和平均値 F = 2RP/(R + P ) を用いた．ただし，正解単語数
× 100,
全単語数
正解単語数
× 100．
P =システムの出力単語数

R=

また，実験では 1 次のマルコフモデルの CRF を実装した．適応元のモデルは学習用データ A を使って学習し，開発用データ B で性能を評価し最適なハイパーパラメータ σ を決定した．σ = 1.75 の時，デー
タ B で最高の性能 F = 97.56 となり，以降このモデ
ルを CRFS とする．
適応先データ中での単語リスト中の単語の出現箇所
をサンプリング手法により選択した部分的アノテーションから学習した CRFT の性能を確認した．
本実験では，適応先データ C を，C1）部分的アノテーション用及び学習用 500 文と C2）評価対象 500
文に分け 2 分割交差検定を行った．単語リストとしては，適応元データ A には出現しない適応先 C1 の単語集合を使用した．この単語リストのエントリ数は交差検定の各分割の平均で 948.5 であった．単語リストの各単語についてアノテーションする出現箇所数を 1

実験で変化させた単語リスト中の単語アノテーション箇所数（交差検定での平均値）．

96

argmax

95

mrg

94
93
92

回 (a1 ) または最高 2 回 (a2 ) と変化させ，部分的アリを確認できない場合を想定し，アノテーション数を100 から 900 に変化させて性能を評価した．表 5.1 に

5
8
60

p/

14

35

48

/1

co

m

習結果を評価した．また，単語リストの全てのエント

a2

a1

/9

80

90

70

60

10

.5

0

0

0

0

0

0

0

0

0

0

ノテーションが付与された文を学習データに追加し学

50

100-900
948.5
1,355
14,60830

最高 1 回
1回
最高 2 回
全出現

97

/全単語
0.6%-6.1%
6.5%
9.3%
100%

40

総数

20

100-900
a1
a2
comp

エントリ毎

F

表3

単語アノテーション数

図2

単語リストの一部にアノテーションした時の性能（交差検定
での平均値）．

単語リストのエントリ毎のアノテーション箇所数（エ表 4 品詞タグ付けタスクの学習データ．

ントリ毎），平均総単語アノテーション数（総数），C1の全単語出現数の平均（14,608）との比率（/全単語）
を示す．

実験 1

品詞が曖昧な単語を含む文品詞がすべて一意に定まった文

実験 2
118 文
1480 文2960 文

表 5.1 の comp を除き，選択的サンプリング法により各単語の出現箇所に優先順位付けをした．選択的サの変化を示している．提案手法を選択的サンプリング

2)
ンプリングの指標にはラベルエントロピー:
X

手法と組み合わせることで，6.5%(a1 ) 及び 9.3%(a2 )P„ (yts |x) ln P„ (yts |x)H(yts ) =yts ∈Ytsを用いた．ただし入力 x の t から s までの長さ s−t+1の部分ラベル列を yts = (yt , yt+1 , · · · , ys ) ∈ Yts とす
る．注意する点として，能動学習の文脈では学習とサンプル選択を交互に行うことを想定しているが，本実験ではラベルエントロピーが高い順に一度に設定数のアノテーション箇所を選択した．なぜなら，CRF の最適化には時間がかかるため，繰り返し学習を行うことはインタラクティブなアノテーションシステムでは現実的でないからである．
提案法（以下 mrg ）と比較のため，部分的アノテー
ション L に適合するラベル列 YL 中，CRFS で最も確率の高いラベル列を学習データとして使用する手法（以下 argmax ）を実装した．適応先のデータは限られておりハイパーパラメータの開発用に適応先データは使えない場合を想定し，CRFS と同じ σ = 1.75 を使用した．
まず最初に，CRFS は適応元での性能（F = 97.56）に比べて，適応先では大きく性能が低下した（F =92.23）．一方，文全体をすべて単語分割した適応先データ（C1）500 文のみを使用した学習により性能はF = 95.91 に向上した．さらに，文全体を単語分割
済み適応先データ（C1）と適応元データ（A）を両方使用した学習が最も良い性能を示した（F = 96.74）．
この性能を comp として適応先データを追加した性能の上限として参照点とする．
図 2 はアノテーション単語数を変化させた時の性能のアノテーション数で comp の性能向上の内 63% 及び 73% が得られた．また，argmax との比較では Lに適合するラベル列 y の分布を考慮した提案手法は，
分布のピークの y のみを正解として使用した argmaxに比べて常によい性能を示した．

5.2 曖昧な品詞タグからの学習
本節では曖昧な品詞タグを使用した品詞タグ付けの実験結果を示す．
本実験では，Penn Treebank コーパス品詞タグ付
けデータ10) の品詞が曖昧なアノテーションが含まれている 118 文を使用した．以降，この文を品詞曖昧文と呼ぶ．曖昧にアノテーションされた単語は全 82 種類である（例：表 1）．本実験での目的は，これらの単語に対して品詞が一意に定まっている文（品詞一意
文）と品詞曖昧文を合わせて学習データとしたときの，品詞タグ付け性能の向上である．実験で学習に使用した文数を表 4 に示した．
各単語を表す入力素性は，単語自身の文字列，単語末尾 1,2,3 文字列，先頭が大文字，先頭が数字，先頭が大文字かつドット（．
）を含む，全て大文字，全て小文字，ハイフン（-）を含む，句読点を含む，文の最後が “,”，“?”，“!” で終わる，を表す二値素性である．
頻度 2 以上の素性のみを用いて入力素性数は 14, 391であった．なお，Penn Treebank では句読点自身が品詞タグとなっているが記号タグ (SYM) としてまとめた．
提案手法の比較対象として，118 文に含まれる曖昧なタグをルールにより一意に定める方法を用いた．曖

表5

品詞タグ付けタスクの実験結果（試行 5 回の平均）．

では短い単語同士を長い単語として認識する誤りによ

正解率

り性能低下が起きていた．理由の一つとしては，500

実験 1

全体
曖昧語

実験 2

全体
曖昧語

提案法
94.27473.272
94.98276.242

ランダム

94.27471.582
94.98
74.276

記述順
94.26272.65894.97475.28

頻度順
94.27471.68
94.97674.326から 700 までの間にラベルエントロピーにより選択された単語の単語長が他の間隔より長いことがあげられる．単語内の文字境界は非単語境界としてアノテーションされるため，長い単語が学習データに多く出現

昧なタグの決定には，1) ランダム，2) タグが記述さすることで単語境界に比べて非単語境界に重点を置れた順☆ ，3) コーパスでのタグ頻度順，を用いた．評

いて学習されてしまったと考えられる．ラベルエント

価には学習データとは別の品詞一意文 11, 840 文を用

ロピーは最優先で難しい文脈（たとえば，隣接する単い，評価指標には語と字種が同じ場合）の単語出現箇所を選択し，第 2

全単語品詞タグ正解数
全体正解率 =，
全単語出現数
1 X w の品詞タグ正解数
曖昧語正解率 =，|A|
w の出現数w∈Aにラベルのエントロピーが大きくなりやすい長い単語を選択するため，500 ∼ 700 間に長い単語が選択されていた．結果的に，単語非境界ラベルが学習データを用いた．ただし，A は曖昧な品詞アノテーションがに偏って与えられたため，性能が劣化したと考えられ存在する単語 82 個の集合である．

る．学習データがサンプリング法によって本来の分布

表 5 にデータを換えた 5 回の試行の平均結果を示す．

から偏ってしまうことは一般的に起こる問題であるが，曖昧なアノテーションが付与された単語が学習データ

文全体のアノテーションに比べて部分的アノテーショ

数の中で少ないため，全体の正解率の向上にはそれほ

ンでは文のどこにアノテーションを行うかによってもど寄与しなかった．しかし，曖昧な品詞アノテーショ

データに偏りが生じるため，偏りの補正が今後の重要ンがあった個々の単語の正解率（曖昧語正解率）では，な課題である．

提案手法により性能向上が観察された．タグ記述順は，
曖昧語正解率に関してはランダム，頻度順に比べて良6. 関 連 研 究

い性能を示したが全体正解率では他に劣った．一方，

構造出力タスクにおいて部分構造を選択する選択サ提案手法は安定して他の手法より良いまたは同じ程度

ンプリングまたは能動学習手法の先行研究1),3),14),17)の性能を示した．

は，いずれも各部分構造は独立に学習することが出来

5.3 議

論

る問題を仮定していた．提案手法は要素間の依存関係

両実験とも，提案法により部分的アノテーションやがある構造出力問題ではより適切な学習アルゴリズム

曖昧なアノテーションを用いて効果的に学習することであると言える．Culotta6) らは CRF を活用したイが出来ていることが確かめられた．

ンタラクティブなアノテーションシステムの研究にお5.1 節の実験では，部分的なアノテーション以外のいて，部分的なアノテーションを満たすラベル列を修部分のラベルの曖昧性を保持する方法が，既存のモデ

正し作業量を減らす方法を提案している．この手法で

ルでラベルを付与し固定的なアノテーションとして学は，最終的には文全体のラベルが修正されることを仮習データとした方法に比べて良い性能を得ることが出定しており，CRF は通常通り学習される．作業者がす来た．5.2 節の実験でも，決定的なルールによって曖

べてのラベルを修正できない場合には部分的アノテー

昧なラベル候補から一つに決めて学習データとする方ションが残るため，提案手法を組み合わせることが有法に比べて，自然にラベルの曖昧性を扱う提案手法に効である．Pereira ら13) は，部分的に構成素領域がアよって安定した性能を得られることが確かめられた．

ノテーションされた構文木から確率的文脈自由文法の一方で，5.1 節の実験では，単語リストによる部分獲得方法を提案した．Pereira らの手法は木構造出力

的アノテーションの追加に関して必ずしも性能が単における部分的アノテーションからの生成モデルの学調増加しない現象が観察され，単語アノテーション数

習と考えられ，提案法に置き換えることで識別モデル

500 ∼ 800 間では逆に性能の一時的低下が発生したによる構文解析が可能になる．

（図 2）．500 と 800 の分割結果を比較したところ，800☆

Penn Treebank コーパスでは曖昧な場合のタグ記述順は優先度を表すものではない15) としているが，このルールではアノテーション作業者が何らかの意思を持ってタグの順番を決めていると仮定している．

7. 結論と今後の展開
本研究では，現実でのアノテーション作業により付与されうる曖昧かつ部分的なアノテーションを使用した条件付確率場のパラメータ推定法を提案した．計算機実験により，提案法が大きくアノテーション作業を減らすと共に性能を向上させることを確かめられた．
提案する学習法は，構文解析，情報抽出など，その他の構造出力タスクにも応用可能である．しかし，対訳語対応付け22) などマルコフ性を仮定できない他の
自然言語処理の問題では，あらゆるラベル構造の割り
当てスコアの総和を動的計画法で計算することが出来ない．提案法は確率モデルに基づいており総和の計算を含むため適用することは出来ないが，これらの識別構造問題で曖昧で部分的なアノテーションが与えられた際の学習方法は興味深い今後の研究テーマである．

参 考 文 献1) Anderson, B. and Moore, A.: Active Learningfor Hidden Markov Models: Objective Functions and Algorithms, Proceedings of the 22ndInternational Conference on Machine Learning, pp.9–16 (2005).
2) Anderson, B., Siddiqi, S. and Moore, A.: Sequence Selection for Active Learning, Technical ReportCMU-IR-TR-06-16, Carnegie Mellon
University (2006).
3) Argamon-Engelson, S. and Dagan, I.: CommitteeBased Sample Selection for Probabilistic Classiﬁers, Journal of Artiﬁcial Intelligence Research, Vol.11, pp.335–360 (1999).
4) Beers, M.H.: メルクマニュアル医学百科―最新
家庭版，日経 BP 社 (2004).
5) Collins, M.: Discriminative Training Methodsfor Hidden Markov Models: Theory and Experiments with Perceptron Algorithms, Proceedings of the Conference on Empirical Methods
in Natural Language Processing (2002).
6) Culotta, A., Kristjansson, T., McCallum, A.
and Viola, P.: Corrective Feedback and Persistent Learning for Information Extraction, Artiﬁcial Intelligence Journal, Vol.170, pp.1101–
1122 (2006).
7) Keene, D.，羽鳥博愛，羽鳥博愛，伊良部祥子（編）：会話作文英語表現辞典，朝日出版社 (1992).
8) Kudo, T., Yamamoto, K. and Matsumoto,Y.: Appliying Conditional Random Fields toJapanese Morphological Analysis, Proceedingsof Empirical Methods in Natural Language Processing (2004).
9) Laﬀerty, J., McCallum, A. and Pereira,F.: Conditional Random Fields: Probabilistic
models for segmenting and labeling sequencedata, Proceedings of the 18th International
Conference on Machine Learning (2001).
10) Marcus, M.P., Marcinkiewicz, M.A. and Santorini, B.: Building a Large Annotated Corpus

of English: The Penn Treebank, Computational
Linguistics, Vol.19, No.2 (1993).
11) Mori, S.: Language Model Adaptation witha Word List and a Raw Corpus, Proceedingsof the 9th International Conference on Spoken
Language Processing (2006).
12) Peng, F., Feng, F. and McCallum, A.: Chinese Segmentation and New Word Detection
using Conditional Random Fields, Proceedingsof the International Conference on Computational Linguistics (2004).
13) Pereira, F. C. N. and Schabes, Y.: InsideOutside Reestimation from Partially Bracketed
Corpora, Proceedings of Annual Meeting Association of Computational Linguistics, pp.128–
135 (1992).
14) Roth, D. and Small, K.: Margin-based Active
Learning for Structured Output Spaces, Proceedings of the European Conference on Machine Learning, Springer, pp.413–424 (2006).
15) Santorini, B.: Part-of-Speech Tagging Guidlines for the Penn Treebank Project, Universityof Pennsylvania, 3rd revision, 2nd printing edition (1995).
16) Sarawagi, S. and Cohen, W.W.: Semi-Markov
Conditional Random Fields for Information
Extraction, Advances in Neural Information
Processing Systems (2005).
17) Scheﬀer, T. and Wrobel, S.: Active learning ofpartially hidden markov models, Proceedings ofthe ECML/PKDD Workshop on Instance Selection (2001).
18) Sha, F. and Pereira, F.: Shallow Parsing with
Conditional Random Fields, Proceedings of Human Language Technology-NAACL, Edmonton, Canada (2003).
19) Sutton, C. and McCallum, A.: An Introduction to Conditional Random Fields for Relational Learning, Introduction to Statistical Relational Learning (Getoor, L. and Taskar, B.,eds.), MIT Press (2006).
20) Taskar, B., Guestrin, C. and Koller, D.: MaxMargin Markov Networks, Proceedings of theConference on Neural Information Processing
Systems Conference (2003).
21) Taskar, B., Klein, D., Collins, M., Koller, D.
and Manning, C.: Max-Margin Parsing, Proceedings of the Conference on Empirical Methods in Natural Language Processing (2004).
22) Taskar, B., Lacoste-Julien, S. and Klein, D.:
A Discriminative Matching Approach to Word
Alignment, Proceedings of the Conference on
Empirical Methods in Natural Language Processing (2005).