# 商品の属性値抽出タスクにおけるエラー分析

新里 圭司 $\dagger$ ・関根聡 $\dagger$ ・村上 浩司 $\dagger$
}

本稿では商品の属性値抽出タスクにおけるエラー分析のひとつの事例研究について 報告する。具体的には, 属性値辞書を用いた単純な辞書マッチに基づく属性値抽出 システムを構築し, 人手により属性値がアノテーションされたコーパスに対してシ ステムを適用することで明らかとなる False-positive, False-negative 事例の分析を 行った. 属性値辞書は商品説明文に含まれる表や箇条書きなどの半構造化デー夕を 解析することで得られる自動構築したものを用いた。 エラー分析は実際のオンライ ンショッピングサイトで用いられている 5 つの商品カテゴリから抽出した 100 商品 ページに対して行った。そして分析を通してボトムアップ的に各事例の分類を行っ てエラーのカテゴリ化を試みた。本稿ではエラーカテゴリおよびその実例を示すた けでなく，誤り事例を無くすために必要な処理・データについても検討する。

キーワード：商品の属性値抽出, オンラインショッピング, エラー分析, エラーのカテゴリ化
## Error Analysis on Product Attribute Value Extraction

\author{
KeIdi Shinzato $^{\dagger}$, Satoshi SeKine ${ }^{\dagger \dagger}$ and Koji Murakami ${ }^{\dagger}$
}

This paper reports error analysis results on the product attribute value extraction task. We built the system that extracted attribute values from product descriptions by simply matching the descriptions and entries in an attribute value dictionary. The dictionary is automatically constructed by parsing semi-structured data such as tables and itemizations in product descriptions. We run the extraction system on the corpus where product attribute values were annotated by a single subject, and then investigated false-positives and false-negatives. We conducted the error analysis procedure on 100 product pages extracted from five different product categories of an actual e-commerce site, and designed error type categories according to the results of the error analysis on those product pages. In addition to show the error type categories and their instances, we also discuss processing and data resources required for reducing the number of error instances.

Key Words: Product Attribute Value Extraction, Online Shopping, Error Analysis, Error Type Category


## 1 はじめに

場所や時間を気にすることなく買い物可能なオンラインショッピングサイトは重要なライフラインになりつつある。オンラインショッピングサイトでは商品に関する説明はテキスト形式で提供されるため, この商品説明文から商品の属性-属性值を抽出し構造化された商品デー夕を作成する属性值抽出技術は実世界でのニーズが高い。ここで「商品説明文から商品の属性值を抽出する」とは, 例えばワインに関係した以下の文が入力された時, (生産地, フランス), (ぶどう品種, シャルドネ), (タイプ, 辛口) といった属性と属性值の組を抽出することを指す.

・フランス産のシャルドネを配した辛ロワイン.

このような商品の属性值抽出が実現できれば, 他の商品のレコメンドやファセット検索での利用，詳細なマーケティング分析1等が可能になる。

商品の属性値抽出タスクは従来より多くの研究がなされており, 少数のパターンにより属性値の獲得を試みる手法 (Mauge, Rohanimanesh, and Ruvini 2012), 事前に人手または自動で構築した属性値辞書に基づいて属性値抽出モデルを学習する手法 (Ghani, Probst, Liu, Krema, and Fano 2006; Probst, Ghani, Krema, Fano, and Liu 2007; Putthividhya and Hu 2011; Bing, Wong, and Lam 2012; Shinzato and Sekine 2013)，トピックモデルにより属性値を獲得する手法(Wong， Wong, and Lam 2008) など様々な手法が提案されている.

本研究の目的は商品属性値抽出タスクに内在している研究課題を洗い出し, 抽出システムを構築する上でどのような点を考慮すべきか，またどの部分に注力するべきかという点を明らかにすることである。夕スクに内在する研究課題を洗い出すため, 属性-属性値辞書に基づく単純なシステムを実装し，このシステムが抽出した結果の False-positve, False-negative 事例の分析を行った．エラー分析という観点では，Shinzato らがワインとシャンプーカテゴリに対して得られた結果から無作為に 50 件ずつ False-positive 事例を抽出し，エラーの原因を調査している (Shinzato and Sekine 2013). これに対し本研究では 5 の商品カテゴリから 20 件ずつ商品ペー ジを選びだして作成した 100 件のデータ（2,381文）を対象に分析を行い，分析を通してボトムアップ的に各事例の分類を行ってエラーのカテゴリ化を試みた。システムのエラー分析を行い, システム固有の問題点を明らかにすることはこれまでも行われてきたが，この規模のデー夕に対して商品属性値抽出タスクに内在するエラーのタイプを調查し，カテゴリ化を行った研究は筆者らの知る限りない.

後述するように, 今回分析対象としたデータは属性-属性値辞書に基づく単純な抽出システムの出力結果であるが，これは Distant supervision (Mintz, Bills, Snow, and Jurafsky 2009)に基づく情報抽出手法で行われる夕グ付きコーパス作成処理と見なすことができる。したがって，

本研究で得られた知見は商品属性値抽出タスクだけでなく, 一般のドメインにおける情報抽出タスクにおいても有用であると考えられる。

## 2 分析対象データ

楽天データ公開 2 より配布されている商品データから, 論文 (Shinzato and Sekine 2013) を参考に，ワイン, シャンプー, プリンターインク, Tシャツ, キャットフードカテゴリに登録されている商品ページを無作為に 20 件ずつ, 計 100 件抽出した。 そして，抽出したぺージをブロック要素タグ，記号3を手がかりに文に分割した。

カテゴリ毎に分析対象とした属性を表 1 に示す。これらの属性は論文 (Shinzato and Sekine 2013) で抽出対象とされたものに以下の修正を加えたものである.

・同じ意味を表す属性名を人手で統合した.

・誤った属性を人手で削除した。
- ブランド名, 商品名, メーカー名などの重要な属性が抽出対象となっていなかったので, これらを分析対象として加えた。

続いて, 各商品ページのタイトル, 商品説明文, 販売方法別説明文に含まれる属性値を 1 名の作業者によりアノテーションした。アノテーション時には, 後述する 3.2.1節の方法で作成した属性-属性值のリストを提示し, これらと類似する表現をアノテーションするよう依頼した。 また。アノテーションにあたり作業者に以下の点を指示した.

長い表現をとる属性値を $v$, 任意の語を $w$ とした時, 表現「 $w$ の $v$ が属性値として見なせる

場合, $w$ もまた属性值として見なせる場合であっても「 $w$ の $v$ を 1 の属性値としてアノテーションする。例えば「フランスのブルゴーニュ産ワインです」という文があった場合,「フランス」，「ブルゴーニユ産」をそれぞれアノテーションするのではなく，「フ

表 1 対象カテゴリ, 対象属性および対象データの規模. 商品ページ数は各カテゴリ共に 20 件.


$3 \llbracket, \rrbracket, \circ, ?, !, ग, ※, \bigcirc, \bigcirc, O, \star, \uparrow$,
『』) に出現している場合は区切らない.
$\mathbf{\square}, \square, \boldsymbol{\nabla}, \nabla, \boldsymbol{\Delta}, \triangle, \diamond, \diamond, 《, \gg, \ll$. ただし, これらが括弧内（「」,

ランスのブルゴーニュ産」をアノテーションする.

記号で区切る記号を挟んで属性値が列挙されている場合は別々にアノテーションする。例えば，「フランス・ブルゴーニュ産ワインです」という文があった場合, 記号「・」で区切り，

「フランス」，「ブルゴーニュ産」をそれぞれアノテーションする。ただし固有名詞 (e.g.,「カベルネ・ソーヴィニョン」), 数値 (e.g.,「3,000 ml」), サイズ (e.g., 「19.5×24.1×8.0 $\mathrm{cm}\rfloor$ ), 数値の範囲 (e.g., 「10〜15cm」) の場合は例外とし, 記号があっても区切らない.括弧の扱い括弧の直前，中にある表現が共に属性值と見なせる場合は別々にアノテーションする。例えば「ブルゴーニュ (フランス) のワインです.」の場合,「ブルゴーニュ」,「フランス」を個別にアノテーションする。一方,「シャルドネ $(100 \%)\rfloor$ の場合は,「シャルドネ $(100 \%)$ 」をアノテーションする.

以上の作業により得られた分析対象データの規模を表 1 の文数および属性値数列に示す. カテゴリ毎に文数およびアノテーションされた属性值数に差があることがわかる.

## 3 商品の属性値抽出システム

本節では商品の属性值を商品説明文から抽出するシステムについて述べる。本研究で用いる情報抽出システムは，オンラインショッピングサイト上の商品データの特徴を考慮したものであるため, まず商品データの特徴について整理する.

(a) 表

(b) 箇条書き

図 1 商品ページ中に含まれる半構造化データ（枠で囲まれた部分）

## 3.1 商品データの特徵

オンラインショッピングサイト上の商品データの特徵として以下の点が挙げられる.

(1) 商品カテゴリ数が多い.

（2）一部の商品ぺージには表や箇条書きなどの形式で整理された属性情報が含まれている.一般にオンラインショッピングサイトの商品カテゴリ数は多く，例えば，今回分析対象とした楽天では 4 万以上のカテゴリが存在する。そのため, それぞれのカテゴリにおいて学習デー夕を準備することはとてもコストの高い作業となるため現実的ではない.その一方で，一部の商品ページにおいては，図 1 に挙げたように商品の属性情報が表や箇条書きなどを使って整理されている場合がある. これら半構造化データはショッピングサイトに出店している店舗ごとにその形式が異なるものの，いくつかのパターンを用いれば，そこから属性-属性値情報をある程度の精度で抽出することができる。例えば, Shinzato ら (Shinzato and Sekine 2013) は簡単な正規表現パターンを適用することで，ワインとシャンプーカテゴリに対して $70 \%$ 程度の精度で属性-属性値辞書が構築できたと報告している。

## 3.2 抽出システム

タスクに内在する研究課題を明らかにするためには, 少なくとも 2 つの方法が考えられる。 1 つは複数のシステムを同じデータで実行し, 多くのシステムがエラーとなる事例の分析を通してタスクの研究課題を明らかにする方法である。もう1つはシステムがシンプルでどのような動きになっているかをグラスボックス的に分析できるものを実行し，その結果を基に課題を明らかにする方法である。今回の商品属性值抽出夕スクは, 標準的な夕グ付きコーパスや属性値抽出のためのソフトウェア等が公開されているわけではないため, 多くのシステムを実行させることは現実的ではない. そこで，今回のエラー分析は 2 つ目の方法により行った. 具体的には, 商品ページに含まれる半構造化データから属性-属性値辞書を自動構築し, この辞書を使った辞書マッチによって商品ページのタイトル, 商品説明文, 販売方法別説明文から属性値を抽出する。この辞書マッチに基づくシステムは, 辞書に属性値が登録されているか否かで属性値の抽出を行うためエラーの原因の特定が容易である。このような単純なシステムのエラー分析を行うことで，このタスクに含まれるエラーのタイプおよびその割合が明らかとなり，この結果は複雑なシステムを実装する際も，その素性の設計や重みの調整などに役立つと考えられる。

近年, 図 2 に示すような Distant supervision に基づく情報抽出手法が多く提案されている (Mintz et al. 2009; Wu and Weld 2010; Takamatsu, Sato, and Nakagawa 2012; Ritter, Zettlemoyer, Mausam, and Etzioni 2013; Xu, Hoffmann, Zhao, and Grishman 2013). これらは Freebase や Wikipediaの Infoboxなどの人手で整備された辞書を活用してテキストデータに対し自動でアノテーションし，これを訓練データとして抽出規則を学習する。本手法で Freebase や Wikiepdia の Infoboxを用いない理由は, これら辞書にはオンラインショッピングで有用となる商品の属

抽出モデル

図 2 Distant supervision の流孔

性-属性值が記述されていない商品カテゴリが多く, 教師データを自動構築する際の辞書デー夕としては利用できないためである。

本手法は単純なものであるが, これは Distant supervision における初期タグ付きデータ作成部分に相当する（図 2 の破線の部分），多くの手法では，この後, 固有表現抽出と組み合わせたフィルタリングや，統計量を用いたフィルタリング等の処理を行ってタグ付きコーパスから False-positive, False-negative を減らすように工夫している (Roth, Barth, Wiegand, and Klakow 2013). そのため, 本研究で得られたエラー分析の結果は商品の属性値抽出のみならず, Distant supervision に基づく一般の情報抽出タスクにおいても， どのようなエラーについて後続のフィルタリング処理で考慮しないといけないのかを示唆する有用な知見になると考えられる．

以下, 属性-属性値辞書の構築方法, および辞書に基づく属性値抽出方法について述べる。

## 3.2.1 属性-属性値辞書の構築

属性-属性值辞書の構築は Shinzato らの手法 (Shinzato and Sekine 2013) に基づいて行った. この手法は「属性-属性値の抽出」，「同じ意味を持つ属性の集約」の 2 つの処理からなる.

属性-属性值の抽出前述したように一部の商品ぺージには表や箇条書きなどの半構造化デー夕が含まれており，辞書の構築にはこれらのデータを利用する。まずドメイン特有の属性を得るため，正規表現パターン $<\mathrm{TH} . * ?>.+?</ \mathrm{TH}>$ を使って表のヘッダーから属性を獲得する（<TH> は表のヘッダーを表す HTML タグ)，獲得された属性のうち「保存方法」「その他」「商品説明」「広告文責」「特徴」「仕様」は適切な属性と見なせないため除く.

続いて属性-属性值の組を抽出するため, 以下の正規表現パターンを商品ページに適用し, [ANY] にマッチした表現を $[$ ATTR $]$ に対応する属性の値として抽出する.

P1: $\quad<\mathrm{T}(\mathrm{H} \mid \mathrm{D}) . * ?>[\mathrm{ATTR}]</ \mathrm{T}(\mathrm{H} \mid \mathrm{D})><\mathrm{TD} . * ?>[\mathrm{ANY}]</ \mathrm{TD}>$

P2: $\quad[\mathrm{P}][$ ATTR $][\mathrm{S}][$ ANY $][\mathrm{P}]$

P3: $\quad[\mathrm{P}][$ ATTR $][$ ANY $][\mathrm{P}]$

P4: $[$ ATTR $][S][A N Y][A T T R][S]$

ここで [ATTR] は事前に獲得しておいた属性を表す文字列, [ANY] は任意の文字列, [P] はO，

字を表す.なお $\mathrm{P} 4$ において, [ANY] は最初に出現した $[$ ATTR] の値とする.

抽出された属性-属性値の組に対して, それらを表や箇条書きなどの形式で記述した店舗の異なり数を計数する。この店舗の異なり数を以降では店舗頻度と呼ぶ. この店舗頻度が高いほど抽出された属性-属性値が正しい関係にあることが報告されており (Shinzato and Sekine 2013),次節で述べる属性値抽出システムでは, 店舗頻度を用いて属性値の曖昧性解消を行っている。

同じ意味を持つ属性の集約前述の方法で抽出した属性-属性値には属性の表記に摇れがある. これは商品データを店舗が記述するための標準的な方法（規則）がないためである。例えば,「イタリア」「フランス」はワインカテゴリにおいて「生産地」であるが, 店舗 $m_{1}$ は「生産地」,店舗 $m_{2}$ は「生産国」として記述することがある. そこで Shinzato らは「属性 $a, b$ が同一の半構造化データに出現しておらず， $a, b$ が店舗頻度の高い同一の属性値をとる場合， $a, b$ は同義である」という仮説を用いて表記の摇れた属性の認識・集約を行っている。具体的には，まず，店舗頻度が $N$ を超える属性-属性值を対象に, 同じ属性値を持つ属性のベクトル $\left(a_{1}, a_{2}\right)$ を生成する. そして，属性 $a_{1}, a_{2}$ が同一の半構造化デー夕に含まれているかどうかチェックし，含まれていなければそれらを同義語と見なす. $N$ は $N=\max \left(2, M_{S} / m\right)$ で求まる値であり， $M_{S}$ は対象カテゴリにおいて半構造化データを提供している店舗数を表す。 $m$ は店舗頻度の間値を決定するパラメータであり, 本手法では経験的に 100 としている.この処理により, 例えばワインカテゴリであれば $v_{1}=$ (生産国, 生産地 $), v_{2}=$ (ぶどう品種, 品種) が得られる. 得られた属性のべクトルの集合 $\left(\left.\{v_{1}, v_{2}, \cdots\right.\}\right)$ を $S_{a t t r}$ で表す.

続いて, 属性ベクトルの集合 $S_{a t t r}$ の中で類似度の高い属性のベクトル同士をマージする. 例えば, (地域,生産国,生産地)は, (地域,生産国), (生産国,生産地)をマージすることで得られる. ベクトル間の類似度はコサイン尺度で求め, マージ処理は類似度の最大值が 0.5 を下回るまで繰り返し行う。この閾値 0.5 は経験的に決定した.

以上の操作を楽天市場のワイン, シャンプー, プリンターインク, $\mathrm{T}$ シャツ, キャットフードカテゴリに登録されている商品データに対して適用した. 獲得された属性-属性値をカテゴリ毎に 400 件無作為に抽出し, 正しい関係になっているかどうかを 1 人の被験者により評価した.獲得された属性-属性値の数, および正解率を表 2 に示す. T シャツカテゴリで極端に低い精度

(43.5\%) が得られたが，それ以外は Shinzato らの報告と同程度，もしくはより高い精度が達成できていることがわかる.

最後にワインカテゴリに対して獲得された属性-属性值の例を表 3 に示す. 括弧（[ ] ）内の数字は店舗頻度を表す。

## 3.2.2 属性値の抽出

まず入力文を形態素解析し，属性-属性値辞書中の属性値と最長一致した形態素列を対応する属性の値として抽出する。この時, 抽出された属性值からさらに別の属性値を取ることは考えない。また，誤抽出の影響を少なくするため属性值が数值のみからなる場合は抽出しなかった。形態素解析器には JUMAN 7.014を用いた。一部の表現は複数の属性の値となることがあるため抽出時に曖昧性を解消する必要がある。例えば「 $55 \mathrm{~cm} 」$ は $\mathrm{T}$ シャカテゴリの属性「身幅」,

表 2 属性-属性値の数と正解率

表 3 ワインカテゴリに登録された商品データから自動構築した属性-属性値辞書の例

 \\

[ ] 内の数字は店舗頻度を表す.
^{4}$ http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN
}
「着丈」のどちらの値にもなりえる。本システムでは店舗頻度が高いほど自動抽出された属性属性值の信頼性が高いことに注目し, 複数の属性が考えられる場合は店舗頻度の高い属性の値として抽出した。先程の例の場合，(身幅， $55 \mathrm{~cm}$ )の店舗頻度は 35 , (着丈， $55 \mathrm{~cm}$ )の店舗頻度は 7 であるため, T シャツカテゴリでは, 表現「55 cm」は「身幅」の属性値として常に抽出される.

## 4 エラー分析

2節で述べたデー夕に対し属性值の抽出を行った時の True-positive/False-positive/False-negative の事例数および精度 (Prec.) と再現率 (Recall) を表 4 に示す. 5 カテゴリ中 3 カテゴリでは, 辞書の正解率は $80 \%$ に近かったにも関わらず，それらを用いて行った自動抽出の精度は $50 \%$ 程度であることがわかる.

以下では，まず，False-positive, False-negativeの事例について分析し，各エラーを除くためにどのような処理・データが必要となるかを検討する， 4.3 節では，エラー分析を通して得られた知見のうち, Distant supervision に基づく一般の情報抽出タスクにおいても有用なものについて考える。

## 4.1 False-positive の分析

False-positive となった 1,057 事例について, 以下の項目を順次チェックすることで分類を試みた。

（1）誤った属性-属性値に基づいて属性値が抽出されている

(2) 属性値を抽出するべき商品ぺージでない

(3) 商品と関係ないパッセージから属性値が抽出されている

分類の結果を表 5 に示す。表より誤った辞書エントリに起因する誤抽出が多いことがわかる.各チェック項目の詳細については 4.1.1 節, 4.1.2 節, 4.1.3 節で述べる.

表 4 True-positive/False-positive/False-negative の数および精度と再現率

表 5 事前チェック項目の該当事例数

 & ワイン & シャンプー &  & $\mathrm{T}$ シャツ &  \\

チェック項目 (1), (2), (3) をパスした抽出結果は, 適切な商品ページの適切なパッセージから適切な属性-属性値に基づいて抽出されたものであるにも関わらず誤抽出と判断されたものである。そこで，残った事例を調査し，何が原因なのかを検討した。この結果については 4.1.4 節で述べる。

## 4.1.1誤った属性-属性值に基づいて属性値が抽出されている

属性値の抽出は商品ページの半構造化データより構築した辞書に基づいて行っている. 辞書は自動構築しているため，誤った属性-属性值の組も含まれている。そこでまず，誤った属性-属性値に基づいて抽出された結果であるかどうかを確認した。この項目に該当する事例数は 712 であり，False-positive 事例の $67.4 \%$ に相当する。自明ではあるが，高い精度で辞書を構築することが，辞書べースの情報抽出システムにおいて重要であることがわかる。

この項目に該当する事例を減らすためには辞書構築の方法を見直す必要がある．今回は表・箇条書きデータに注目して辞書を構築しているため，辞書構築の精度を改善するためには，商品ページ中のこれら半構造化データの解析をより正確に行う必要があるだろう。また，表・箇条書き以外の手がかり（例えば語彙統語パターン）を取り入れることも辞書構築の精度向上に有効であると考えられる。

次に人手でチェックするなどして属性-属性值辞書に含まれる誤ったエントリを削除した場合,辞書マッチに基づく抽出システムの精度がどの程度改善されるのかについて確認する。誤った属性-属性値に基づいて抽出されてしまった事例を除いた後, 再度計算したカテゴリ毎の精度を表 6 に示す. 表 4 および表 6 を比べると，平均で精度が $45.2 \%$ から $71.6 \%$ に改善されていることがわかる。この結果から，エントリが全て正しい辞書を用いたとしても 3 割程度は誤抽出となることがわかる。
表 6 エントリが全て正しい辞書を用いた場合の精度

## 4.1.2属性値を抽出するべき商品ページでない

楽天では商品ページを商品カテゴリに登録する作業は店舗によって行われており，そこには誤りが含まれている。そこで誤って分析対象カテゴリに登録された商品ぺージかどうかを確認した，誤ったカテゴリに登録されている商品ぺージは今回のデータセット中に 4 件 5 あり, そこに含まれる False-positive 事例数は 53 件 $(5.0 \%)$ であった。

このような誤りを除くためには，与えられた商品ページが商品カテゴリに該当するものであるかどうかを判定する処理が必要である．例えば，村上ら（村上，関根 2012)は辞書に基づく方法で商品ページが正しい商品カテゴリに登録されているかを判定する手法を提案している。このような手法を用いることで，この項目に該当する事例を減らすことができると考えられる.

## 4.1.3商品と関係ないパッセージから属性値が抽出されている

商品ページには当該ページで販売している商品以外のことについて記述されることも多い.例えば，商品ぺージ閲覧者を店舗サイト内で回遊させるために，当該ぺージで販売されている商品以外の商品の広告を掲載していたり，検索結果に頻繁に表示されるようキーワードスタッフィングが行われている商品ページがある。 そこで 3 番目の項目として, 当該ぺージにて販売されている商品に関係ないパッセージから属性値抽出が行われたかどうかを確認した。結果, 99 件 $(9.4 \%)$ の事例がこの項目に該当した。このうち 90 件は以下のような他の商品へのナビゲー ションであった（括弧内はカテゴリ名）.

$\cdot$ その他のシャンパンタイプ\&スパーク\&ワイン関連はコチラをクリック ※順次追加中! (ワイン)

・ ミルボンメーカー一覧はこちら（シャンプー）
- 色違い”ナチュラル色” ', THERE ARE WAVES NAT', クルーネック Tシャツ（T シャツ）

・《チャオ缶国産原産国》(キャットフード)
$ シャツカテゴリに帽子, キーホルダーが登録されていた.
}
他の商品ページへのリンクが埋め込まれているかどうかの確認や, 他の商品へのナビゲーションは複数の商品ページに対して設置されることが多いため，商品ぺージのテンプレートを認識した結果を利用することで，このような事例は減らせるのではないかと考えられる。

残りの 9 件はキーワードスタッフィングが行われた領域から抽出されたものであった. 前処理としてキーワードスタッフィングが行われているかどうかを判定することで，これらの事例を削除することが期待できる.

## 4.1.4 残りの誤り事例はどんなものか？

ここまでの項目をパスした抽出結果は, 適切な商品ページの適切なパッセージから適切な属性-属性値に基づいて抽出されたものであるが誤抽出となった事例である。このような誤りは 193 件 $(18.2 \%)$ あり，これら事例を重複を考慮して分類すると表 7 のようになった.

以下エラータイプ毎に事例を列挙するとともに，エラーを除くために必要となる処理・デー 夕について検討する。

人手アノテーションと部分一致人手アノテーションと部分一致している事例が 84 件あった. このうち以下の例のように正解とみなしても問題ない事例が 37 件あった（太字が人手アノテー

表 7 各商品カテゴリにおける誤りの種類とその事例数.

 & ワイン & シャンプー &  & T シャツ &  \\

ション, 下線が自動抽出結果).

・ドメーヌ・レ・グリフェはボジョレーの南産地に位置する歴史あるドメーヌです。
- 国内製製造国ヘアケア品
- 薄手のコットン素材素材で着心地抜群。
- 表記 Lサイズ

これらは「どのような表現を属性値として抽出するか」という属性値の定義と関係している．定義は抽出結果を利用するアプリケーションに依存する部分であり, アプリケーションによっては上に挙げた抽出結果でも問題ない場合がある。そのため, これらは False-positiveであるが, ほぼ正解と見なしても問題ないと考えられる.

残りの 47 件中 41 件はシャンプーの成分に関するものであり, 以下の例のように人手アノテー ションと部分一致しているものの，これが抽出されても意味をなさないものであった.

・ 2 -アルキル - N - カルボキシメチルヒドロキシエチルイミダゾリニウムべタイン、ラウロイルメチルーB－アラニン成分 N A 液、ヤシ油脂肪酸アミドプロピルベタイン液このような事例は属性-属性値辞書のカバレージを改善することで減らせると考えられる.

他のエンティティの部分文字列からの抽出次に多かった誤りは他のエンティティの部分文字列から抽出している事例であり 40 件あった. これらはエンティティのタイプから組織名やイベント名, 型番, ブランド名などの固有表現, ドメイン固有の用語, 一般的な名詞句に分類できた.固有表現の一部から抽出されていた例を示す（太字が固有表現相当の表現）.
- フランス産地革命の戦いの舞台にもなった歴史あるシャトー。

・また、フランスで最も古いＡＯＣ、ブランケット・ド・リムー産地を産出します。
- 醸造方法もシャトー・マルゴー産地と同じ手法をとって、セカンドながらも品質は他の特級シャトーに匹敵するほどです。
- 2011 年度のトロフィー・リョン・ボジョレー産地・ヌーヴォーコンクールでは見事金賞を受賞!
- 1 円 3 個までリピート歓迎 CANON (キヤノン) 対応の純正互換インクカートリッジBCI - 6 PM（残量表示機能付）（関連商品 B C I - 6 B Kュラ- B C I - 6 C BCI - 6 M BCI -6 Y $\quad$ BCI -6 PC $\quad$ BCI -6 PM $\quad$ BCI $-6 \mathrm{R} \quad$ B C I - 6 G)
- アメリカンイーグル (AMERICAN EAGLE)は、ABERCROMB I Eブランド

\& FITCH(アバクロンビー\&フィッチ）と並んで人気のカジュアルブランドで、北米では 800 店舗の直営店を持っています。

・ ブラック色メタルページ正規ライセンスTシャツ販売

このような事例は全部で 25 件あり，前処理として固有表現認識を行い，固有表現の一部からは
属性値を抽出しない, 等のルールを適用することで事例を減らすことができると考えられる。 たた，ブランド名等は従来の固有表現タイプではカバーされていないため, 従来にはない夕イプの固有表現の認識技術が求められる.

次にドメイン固有の用語から抽出していた例を示す.

・ ボジョレー産地・ヌーヴォー2 013 年（新酒）!

・ パーマ・デジパー（デジタルパーマ）・縮毛矯正ストレートパーマエアウエーブ・水成分パーマ・フィルムパーマなどパーマのウエーブを長持ちさせたい方に。

このような例は全部で 12 件であった. 固有表現の場合と同様に，ドメイン毎に専門性の高い用語を抽出するなどし, 用語の部分文字列からは属性値を抽出しないなどのルールを設ける必要があると考えられる。

最後に名詞句の一部から抽出されていた事例を示す.このような事例は以下の 3 件であった.

・ 2 位にルイ・ロデレール・ブリュット、 7 位にテタンジュ・ブリュットなど大手のシャンパンタイプハウスも名を連ねています。

・ ジョエル・ファルメ氏が引き継いたころは、栽培した葡萄をシャンパンタイプメーカーに売っていましたが、現在は、葡萄の栽培・醇造・瓶詰めまで行うＲＭ（レコルタン・マニピュラン) です。
- アメリカ製造国各種機関で厳しい環境基準をクリアした分解作用で污れだけ分解してくれるから髪や頭皮を傷めません。

これらを除くためには名詞句の構造を解析し, 主辞以外の部分からは属性値を抽出しない, 等の処理が考えられる。

当該商品の属性値の説明とは関係ない記述からの抽出このような事例は 37 件あった. 以下に例を示す。

・ スペイン産地のロマネ・コンティで知られるヴェガ・シシリア社がハンガリーで造るワイン。

・ 米国ではアメリカンイーグル、アバクロ、GAPブランド（ギャップ）は３大アメカジブランドとして、3つとも同じくらいの知名度となっています。
- M，L モデル着用サイズ：M（モデル身長： $170 \mathrm{CM}$, 体重：58 K , ウ

首周り：37 CM)
- 成猫体重 $1 \mathrm{KG}$ 内容量当り 1 日約 1.4 袋を目安として、1 日の給与量を 2 回以上に分けて与えてください。

・レビューで $5 \%$ 粗脂肪 OF F ククーポン!

上の例からわかるように，ワインはワイナリーに関する記述から， T シャツはブランドの説明

およびモデルの体型に関する記述から，キャットフードはその利用方法やクーポンに関する記述から誤った情報が抽出されている。このような誤抽出を除くためには, 商品ページ内の各文が何について言及しているのかといった文中の主題を認識する必要がある.

属性値の多義性に起因する誤抽出このような事例は 33 件あった. この中で最も多かったタイプはサイズに関する属性値であり, 16 件であった。以下に例を示す.

- 54 . $5 \mathrm{CM}_{\text {身幅 }}$

1つ目の例のように，サイズに関する情報は属性名とともに属性値が記述されることがあるため, 属性名に相当する表現と属性値がどのくらい離れた場所に記述されているか, という指標を考慮することで誤りを減らせる可能性がある．２つ目の例は表のセルに記述されたものであった. そのため，表形式で記述されたデータの理解も重要な処理と考えられる.

次に多かったタイプは割合に関する表現であった。このタイプの事例は 9 件であった。以下にその例を示す。

- 粗たん白質： $4.0 \%$ 以上粗脂肪、粗脂肪： $0.1 \%$ 以上、粗緎維： $0.1 \%$ 以下、粗灰分：1.0\%以下、水分：9 4.0\%以下、エネルギー：約 $15 \mathrm{KCAL}$ ／袋
- $0.05 \%$ 以上粗脂肪

1つ目の例のように混合比が素材と一緒に併記されることがある。そのため, 素材に相当する表現の間に挟まれる割合表現を抽出対象としないことでエラーを減らせると考えられる。サイズ同様，割合についても 2 つ目の例のように属性名にあたる表現と併記されることがあるため,属性名との距離を考慮することである程度事例数を減らすことが期待できる。また割合も表形式のデータで記述されることがあるため, 表デー夕の理解は重要であろう.

以下は本来であれば，ワインの属性「タイプ」の値として抽出されるべきであるが，地名として抽出されてしまった例である.

・NYタイムズで、ベストシャンパーニュ産地（４０ドル以下）に選ばれました。
- モエ・シャンドン・ドンペリニョンの最高級品、通称「ドンペリ・ゴールド」最高の葡萄を熟成させ生産量が極めて少なく本場フランスと日本でしか手に入れることのできない究極の「公のシャンパーニユ産地」と呼ばれています。

このような地名に関係した誤りは 3 件あり, サイズ，割合表現についで多かった。最初の例は $\lceil 40$ ドル以下」, 次の例は「幻の」や「フランスと日本でしか手に入れることのできない」という表現から「シャンパーニュ」が「地名」ではなく「タイプ」の意味で使われていることがわかる.このことから, 属性値の周辺の語彙を見ることで多義性解消を行う従来手法で解決できそうである。しかし従来手法は機械学習に基づくものが多く, 教師データを曖昧性のある属性
值ごとに作成するのは膨大なコストがかかる。 そのため, 教師なし学習に基づく解消方法が求められる。

メトニミーに起因する誤抽出このタイプに該当する事例は 5 件あり，すべて「ボジョレー」に関するものであった。以下に例を示す.

・本物のボジョレー産地の味わいを感じさせてくれる、自然派!

・ ボジョレー産地に求める要素をすべて備えていると言っても過言ではありません。

「ボジョレー」はワインの産地の 1 つであるが，ここでは産地としてではなく，「ボジョレー産のワイン」という意味で用いられている。咧は「の味わい」という表現に注目することで 「産地」でないことがわかる。 その一方で下の例は文単体では「産地」という理解も可能である. しかしながら，当該文の直前の文が「彼らのスタイルは飲み心地が良く、フルーティで果実味が豊か。」であることを考えると「産地」ではないことがわかる。このタイプのエラー事例を減らすには，ある表現がメトニミーなのかどうかを判定する処理が必要であり，さらに 2 つ目の例のように一文中の情報では判定できない事例もあるため, 文を跨いだ解析が求められる.

形態素解析器の過分割による誤抽出形態素解析器により過分割されたために誤って抽出された事例が 1 件あった。以下に示す.

## ・トカイ・フルミント・ドライ・マンデュラス品種［２０００６］（オレムス）

マンデュラス (mandulas) とはハンガリー語でアーモンドを意味する語である. 形態素解析器の辞書にマンデュラスが登録されていなかったため，過分割されてしまい誤った属性値が抽出されていた。しかしながら，マンデュラスのような語が形態素解析器の辞書にあらかじめ登録されていることは期待できないため，あるドメインに関するテキスト集合から自動的に語彙を獲得し, 形態素解析器の辞書を動的に拡充する手法 (例えば, 村脇らの手法 (村脇, 黒橋 2010)) が必要であると考えられる。

商品ページ内の誤った情報からの抽出誤った情報が商品ページに記述されており, そこから誤った属性值が抽出されている事例が 1 件あった. 以下に示す.

$\cdot$アリミノミントシャンプー フローズンクール $220 \mathrm{ML}$ 容量

商品タイトルには $1000 \mathrm{ml}$ と記述されており, 商品画像も $1000 \mathrm{ml}$ のものであったことから $220 \mathrm{ml}$ は誤りであることがわかった。このように抽出元となるテキストの信頼度や，画像データなどのテキスト以外の情報を考慮することも精度の向上に必要である.

## 4.2 False-negative の分析

False-negative に該当する事例は全部で 831 件あった，分析にあたり，まず，キャットフードカテゴリについては全 18 件, キャットフード以外のカテゴリからは無作為に 50 件ずつ選び出した。そして，以下の条件のいずれかに一致する事例を削除して残った 188 件について分析を行った.
- 誤ったカテゴリに登録された商品ページ.
- 人手アノテーションと部分一致し，かつ正解と見なしても問題ないもの.

分析の結果, False-negative 事例は (1) 異表記すら辞書に含まれていない, (2) 異表記は辞書に含まれている，(3) 抽出手法の問題の 3 種類に分類できた。本節では各タイプについて述べる.

## 4.2.1異表記すら辞書に含まれていない

当該表現たけけでなく, その異表記すら辞書に含まれていない事例が 100 件 $(53.2 \%)$ あった.表 8 に異表記が辞書に含まれていない属性値のタイプと例を示す。組織名, 地名, 割合表現, 人名など既存の固有表現のタイプが見てとれる。そのため, 固有表現のタイプと属性の間に変換ルールを設けることで，辞書に含まれていない属性值についても固有表現認識技術を用いることで抽出できる可能性がある。しかしながら, この操作によって False-positive の数が増えてしまう可能性があることに留意する必要がある.

表 8 異表記すら辞書に含まれていない属性値の例

 \\

## 4.2 .2 異表記は辞書に含まれている

属性値自身は辞書に含まれていないが，その異表記が辞書に含まれている事例は 69 件 $(36.7 \%)$ あった．異表記のタイプ，各タイプの数および例を表 9 に示す. 空白，中黒，ハイフンの有無や入れ替わり, 長音とハイフンの入れ替わり, 接辞の有無, 翻字の違い, 小数点の扱い, 送り仮名の有無など，テキスト中と辞書中の表現の柔軟なマッチングを行うことで改善できる事例が多いことがわかる，その一方で，略語，翻訳，言い換えなど事前の知識獲得処理を必要とする事例も見られる。

## 4.2.3 抽出手法の問題

辞書に正しい属性-属性値の組が登録されているにも関わらず 3 節で述べた手法の問題により抽出されなかった事例が 19 件 $(10.1 \%)$ あった。この中で最も多かったタイプは数値単体からなる属性値であった（13 件)，誤抽出の影響を減らすため数値のみの属性値は抽出しないようにしたことが原因である，数値に関する抽出手法を洗練することで，このタイプの誤りは減らせると考えられる。

残り 6 件のうち 3 件は，辞書エントリとテキストの最長一致による属性値抽出方法が問題となっていた，具体的には，正解の属性値（例えば，(メーカー, デミコスメティクス)）よりも文字列長の長い誤った属性値（例えば，(メーカー, 日華化学株式会社デミコスメティクス)）が先に抽出されてしまい，正しい属性値が抽出されなくなっていた。文字列長だけではな

表 9 テキスト中の表現と辞書エントリの表記の違い

 & 18 & P I XUS $990 \mathrm{I}$ & P I XUS 990 I \\

く, 属性-属性値としての正しさも考慮に入れて抽出を行うことで改善できる可能性がある.

残りの 3 件は属性値に多義性がある場合であった。属性値抽出を行う際, 店舗頻度をもとに多義性解消を行っているが，この処理が誤っていた。そのため, 店舗頻度だけでなく, 前後の文脈を考慮するなどして多義性解消を行う必要があると考えられる。

## 4.3 Distant supervision に基づく一般の情報抽出タスクに対して有用な知見

一般に Distant supervision に基づく情報抽出手法では, Freebase や Wikipedia の Infobox などの人手で整備された辞書に登録されているエンティティ（もしくはエンティティの組）がテキストに出現している際，エンティティに紐づいている辞書内の情報（例えば，エンティティのタイプやエンティティ間の関係）を当該テキストに付与することで教師データを自動的に作成する。例えば Distant supervisionの考え方を一般的な関係抽出タスクに初めて用いた Mintz ら (Mintz et al. 2009)の手法では，まず固有表現抽出器をテキストに対して適用し, 任意の文 $s$ に固有表現 $e_{1}, e_{2}$ が含まれ，かつ Freebase に< $e_{1}, e_{2}, r>$ というレコードが登録されている時, 文 $s$ を関係 $r$ の学習データとして利用する。

Distant supervision に基づく方法で教師データを作成する際, エンティティの誤認識が問題となる. どのような誤認識のタイプがあるのか, という点で 4.1 .4 節で述べた以下のエラーカテゴリは Distant supervision に基づく一般の情報抽出においても有用な知見になると考えられる.
- 他のエンティティの部分文字列からの抽出
- 形態素解析器の過分割による誤抽出
- 属性値の多義性に起因する誤抽出

・メトニミーに起因する誤抽出

「他のエンティティの部分文字列からの抽出」に関しては, 固有表現の認識を事前に行うことで, ある程度の誤認識は減らせるかもしれない. しかしながら, 4.1.4節で述べたように, 従来の固有表現抽出で定義されたタイプ以外の表現の認識も求められることから, 依然としてこの問題点は考慮する必要がある。「形態素解析器の過分割による誤抽出」についても, 固有表現の認識に失敗する可能性があるため, タグ付け対象となるテキストのドメインに特化した表現の自動獲得手法が求められる。

関係抽出では「文に 2 つのエンティティが含まれている」という条件が各エンティティの多義性解消の手がかりになると考えられるが，この条件だけで全ての多義性を解消できるとは考えにくい.また, 固有表現抽出のような 1 つエンティティを対象としたタスクの場合は上述の条件が適用できない。そのため，「エンティティがどの意味で用いられているのか」を認識することが一般の情報抽出においても重要である。このことから，「属性値の多義性に起因する誤抽出」および「メトニミーに起因する誤抽出」で列挙した事例については, 商品属性值抽出タスクに限らず，一般の情報抽出においても考慮する必要があるだろう。

エンティティの誤認識以外には，エンティティが出現しているにも関わらず認識されない

False-negative の問題がある。この問題のうち, 異表記が辞書に含まれているエンティティについては 4.2.2 節で得られた結果が役立つと考えられる。この結果は, 辞書中とテキスト中の表現のマッチングを行う際，どのような「ずれ」について考慮しなければならないか，を検討する 1 つの知見になりえる.

## 5 おわりに

本稿では商品の属性値抽出タスクにおけるエラー分析のひとつの事例研究について述べた. まず，楽天市場のワイン，シャンプー，プリンターインク， Tシャツ，キャットフードカテゴリに登録された商品データ 100 件に対して, 人手で属性值のアノテーションを行った。次に属性-属性值辞書に基づく情報抽出システムを実装し，このシステムを属性値がアノテーションされた商品データに対して適用した。その結果明らかとなる False-positive, False-negtive 事例を調査し, 各事例をそのエラーのタイプに応じて分類した. こjすることで, 商品属性值抽出夕スクに内在する研究課題を洗い出し, 抽出システムを構築する上でどのような点を考慮するべきか，またどのような点に注力するべきかという部分を明らかにした。

本研究で行ったエラー分析の結果, より高い精度で属性値を抽出するためには, 以下の処理・ データが必要になることがわかった.
- 質とカバレージの高い属性-属性値辞書

・適切でない商品カテゴリに登録されている商品ページの検出
- 商品ページで販売されている商品と関係のあるパッセージの同定

・ブランド名や商品名といったオンラインショッピングに特化した固有表現の認識
- 商品説明文中の主題の認識
- 属性値を抽出する際の多義性解消技術
- メトニミーの認識
- 商品説明文中に含まれる表形式データの解釈
- 知識獲得 (新規辞書エントリの獲得, 辞書エントリの同義語獲得, 形態素解析辞書の動的な拡張)

・ 辞書エントリとテキスト中の表現の柔軟なマッチング

エラー分析に用いた属性值抽出システムは, Distant supervision における夕グ付きデータ作成方法と見なせる。そのため, 今後は本稿で挙げた問題点を考慮した高品質な夕グ付きコーパス作成方法を実装し, それを基にした機械学習べースの属性値抽出システムの開発を考えている.

## 参考文献

Bing, L., Wong, T.-L., and Lam, W. (2012). "Unsupervised Extraction of Popular Product Attributes from Web Sites." In Proceedings of the 8th Asia Information Retrieval Societies Conference, pp. 437-446.

Ghani, R., Probst, K., Liu, Y., Krema, M., and Fano, A. (2006). "Text Mining for Product Attribute Extraction." ACM SIGKDD Explorations Newsletter, 8 (1), pp. 41-48.

Mauge, K., Rohanimanesh, K., and Ruvini, J.-D. (2012). "Structuring E-Commerce Inventory." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 805-814.

Mintz, M., Bills, S., Snow, R., and Jurafsky, D. (2009). "Distant Supervision for Relation Extraction without Labeled Data." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1003-1011.

村上浩司, 関根聡 (2012). カテゴリに強く関連する語の発見と商品データクリーニングへの適用. 言語処理学会第 18 回年次大会発表論文集, pp. 195-198.

村脇有吾, 黒橋禎夫 (2010). 形態論的制約を用いたオンライン未知語獲得. 自然言語処理, 17 (1), pp. 55-75.

Probst, K., Ghani, R., Krema, M., Fano, A., and Liu, Y. (2007). "Semi-supervised Learning of Attribute-value Pairs from Product Descriptions." In Proceedings of the 20th International Joint Conference in Artificial Intelligence, pp. 2838-2843.

Putthividhya, D. and Hu, J. (2011). "Bootstrapped Named Entity Recognition for Product Attribute Extraction." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1557-1567.

Ritter, A., Zettlemoyer, L., Mausam, and Etzioni, O. (2013). "Modeling Missing Data in Distant Supervision for Information Extraction." In Transactions of the Association of Computational Linguistics - Volume 1, pp. 367-378.

Roth, B., Barth, T., Wiegand, M., and Klakow, D. (2013). "A Survey of Noise Reduction Methods for Distant Supervision." In Proceedings of the 2013 Workshop on Automated Knowledge Base Construction, pp. 73-78.

Shinzato, K. and Sekine, S. (2013). "Unsupervised Extraction of Attributes and Their Values from Product Description." In Proceedings of the 6th International Joint Conference on Natural Language Processing, pp. 1339-1347.

Takamatsu, S., Sato, I., and Nakagawa, H. (2012). "Reducing Wrong Labels in Distant Supervi-
sion for Relation Extraction." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 721-729.

Wong, T.-L., Wong, T.-S., and Lam, W. (2008). "An Unsupervised Approach for Product Record Normalization across Different Web Sites." In Proceedings of the 23rd AAAI Conference on Artificial Intelligence, pp. 1249-1254.

Wu, F. and Weld, D. S. (2010). "Open Information Extraction Using Wikipedia." In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, pp. 118-127.

Xu, W., Hoffmann, R., Zhao, L., and Grishman, R. (2013). "Filling Knowledge Base Gaps for Distant Supervision of Relation Extraction." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 665-670.

## 略厤

新里圭司：2006 年北陸先端科学技術大学院大学情報科学研究科博士後期課程

修了. 博士 (情報科学). 京都大学大学院情報学研究科特任助教, 特定研究員を経て，2011 年から楽天技術研究所．自然言語処理，特に，知識獲得，情報抽出, 評判分析の研究に従事.

関根聡：New York University, Associate Research Professor. 1998 年 NYU Ph.D.. 松下電器産業, University of Manchester, ソニー CSL, MSR, 楽天技術研究所ニューヨークなどでの研究職を歴任. ランゲージ・クラフト代表.専門は自然言語処理, 特に情報抽出, 固有表現抽出, 質問応答の研究に従事.村上浩司: 2004 年北海道大学大学院工学研究科博士課程単位取得退学. ニュー ヨーク大学コンピュータサイエンス学科, 東京工業大学統合研究院, 奈良先端科学技術大学院大学情報科学研究科を経て 2010 年より楽天技術研究所ニュー ヨークに所属. 博士 (工学). 自然言語処理の研究に従事.

$(2015$ 年 5 月 21 日受付 $)$
$(2015$ 年 8 月 6 日再受付)
$(2015$ 年 11 月 3 日採録)