類似度に基づく訓練データの獲得とスペック情報の抽出
嶋田 和孝
遠藤 勉
九州工業大学 情報工学部 知能情報工学科
はじめに   

近年のの急速な普及により，世界中から発信された膨大な電子化文書へのアクセスが可能になった．しかしながら，そのような膨大な情報源から，必要な情報のみを的確に得ることは困難を極める．的確な情報を得るために，テキストを対象とした文書分類や情報の抽出などの様々な技術が注目され，研究されている．しかしながら，上に存在するのはテキスト情報だけではなく，表や画像など様々な表現形式が使用されている．ここで，表形式で記述された情報について着目する．従来の情報検索システムなどでは，表はテキストとして扱われることが多かった．表は属性と属性値によって構造化された情報であり，その特性を考えると，表をテキストとして扱うのではなく，テキスト部分と切り離し，表として認識し，利用することが情報検索システムなどの精度向上に繋がる．また表は情報間の関係を記述するのに適した表現形式であり，上に存在する文書から表を抽出することは，や質疑応答システム，要約処理などのための重要なタスクの一つである．
本稿では，電子化された情報の一つである，製品のスペック情報の抽出について議論する．一般に，パソコンやデジタルカメラ，プリンタなどの製品の機能や装備などのスペック情報は表形式で記述される．本稿ではこれらの表形式で記述されたスペック情報を性能表と呼ぶことにする．その例を図 に示す．性能表を扱う理由としては，      



ポータルサイトの存在
現在，上には，数多くの製品情報に関するポータルサイトやオンラインショッピングサイトが存在する ．これらのサイトで，ユーザが製品を比較する際に最も重要な情報の一つが性能表である．多くの製品は頻繁に最新機種が発表され，その度に性能表を人手で収集するのはコストがかかる．膨大なページの中から製品のスペック情報を的確に抽出することは，そのようなポータルサイトの自動構築のために大きな意義を持つ．



製品情報のデータベース化
性能表は表形式で記述されているので，表領域が正しく特定されれば，属性と属性値の切り分けや対応付けなどの解析が比較的容易で，製品データベースの自動獲得が可能になる．これらのデータを利用し，ユーザの要求に合致した製品を選択するシステムなどの構築が可能になる ．

などが挙げられる．

価格     や    など．



 パソコンの性能表の例

図上に存在する文書を性能表を含んでい
本稿では，る文書と含んでいない文書に分類するタスクを考える．
このタスクにおいて，分類を行う場合に問題となるのが，データ中の正例 性能表を含んでいる文書 の数である．
上に存在する膨大な文書のうち，求めている文書，すなわち正例の数は極端に少ないことが多い．本タスクのための実験データを収集した結果，正例は全体の 〜程度しか存在しないことが確認されている ．そのため，少ない訓練データで分類器を作成した場合，訓練データ中に十分な正例が存在しないことが原因で，適切な分類器が作成されないことがある．本稿では，この問題を解決するために，訓練データ中の正例を基にラベル無しデータから新たな正例を獲得する手法を提案する．
得られたデータと既存の訓練データを統合し，分類器を生成することで，より精度の高い分類を目指す．





提案手法の処理の流れを図 に示す．まず，訓練データから任意の正例を つ抽出する．その正例とラベル無しデータ中の文書の類似度を測定する．閾値以上の類似度を持つ文書に対して投票を行い，その文書とさらに類似した文書が存在しないかをチェックする．類似した文書が存在すれば，同様にその文書に投票をする．この処理を繰り返し，最終的にある閾値以上投票された文書を正例だと判断し，その文書群を利用して，分類器を作成する．その分類器を使用して，既存の訓練データを仮の評価データと見立てて評価する．類似度に関する閾値を下げながら同様の処理を行い，新たな訓練データを獲得する．

  得られた分類器を用いてラベル無しデータを分࡜ࡌ࡞ήߒ࠺࡯࠲

類する．得られた分類結果をそれぞれのラベル無しデータの仮クラスとする．

છᗧߩᱜ଀ࠍ᛽಴⸠✵࠺࡯࠲㘃ૃᐲ᷹ቯ࡮ᛩ␿  仮クラスの付与されたラベル無しデータを訓練ಽഀోߡߩᱜ଀⽶଀ߩඨಽ⽶଀ߩඨಽ

データに含め，ᱜ଀ߣ㘃ૃᐲߩ㜞޿ᢥᦠ

仮クラスを入れ替えることでマージンを最大化できるペアを見つけ，入れ換える．入れ換えられたデータセットを用いて，による再学習を行う．この処理の際に，ラベル無しデータ中の正例および負例の分布を考慮する ．

઒ߩ⸠✵࠺࡯࠲

ಽ㘃ེ૞ᚑ
1 ߟ೨ߩ⚿ᨐߣᲧߴ㧘ᡷᖡߐࠇࠆ߹ߢ➅ࠅ㄰ߔ઒ߩ⹏ଔ࠺࡯࠲⹏ଔ  入れ換えるペアがなくなるまで   を繰り⸠✵࠺࡯࠲ߣ₪ᓧߐࠇߚ࠺࡯࠲ࠍ⛔ว

返す．

ᣂߒ޿⸠✵࠺࡯࠲ಽ㘃ེ૞ᚑ 処理の概要

分類器と素性選択 
" #$ 

本節では，使用する分類器とその分類器に用いる素性の選択方法について述べる．分類器にはおよびを利用する．素性選択には，正規化した    を用いる．

 !    は   % らが考案した &'     ()  を起源とする，超平面による特徴空間の分割法であり，現在，二値分類問題を解決するための最も優秀な学習モデルの一つとして知られている *．  は訓練サンプル集合からマージン最大化と呼ばれる戦略を用いて，線形識別関数
Ü + Û  Ü ,のパラメータを学習する．ここで， Üは入力ベクトルである．Û と  がマージン最大化戦略の際に学習されるパラメータであり，  Ü      となる．

,    - !'# .
  % *" #$ "" #$
が提案した理論を基にによって具体化されたは，法と呼ばれる，与えられたラベル無しデータの分布に注目し，ラベル無しデータの誤分類の最小化を目的とする学習方法をに適用し，拡張したもので，学習時にラベル無しデータの分布を考慮する事で分類精度を上げる手法である．この手法により，少量の訓練データで高精度の分類器を生成することが可能になる．以下にのアルゴリズムを示す．

"  訓練データを基に素性選択



"

続いて，およびのための素性選択について述べる．本研究では，以下の条件を全て満たすものを素性候補とした．

⹏ଔ࠺࡯࠲⹏ଔ

図 によって分類器を再生成する．

  マージン内のラベル無しデータのうち，各々の⛔ว で分類器を生成する．



表の属性欄中に出現する単語
一定長以内の文章中に出現する単語
性能表が存在する文書および性能表が存在しない文書内で顕著または限定的に出現する単語

これらの条件に基づき，素性となる候補を文書から抽出する．条件  では表中の要素を属性および属性値に切り分ける必要がある．ここでは，一般に殆どの性能表は第 列目 最左列 に属性が現れ，それより右側の列に属性値が存在するという経験則から，最左列の要素を属性だと解釈する．素性候補の抽出は，以下の手順で行われる．

/ (" 0 文書から "1203 タグで記述された領域を抽出する．
/ "1203 タグ中の各 "4 タグ中の初めの "5
タグの内容を抽出する．
./ 得られた文字列が  文字以内であれば，形態素解析 を行い，素性候補を抽出する．  文字という制約は経験的に定められた．

らが表抽出処理に拡張し，素性選択には，正規化した    法を用いる．ここで，本研究では，素性候補の抽出条件を考慮する．すなわち，素性の候補となる単語 としては，文書  中の タグにおける最左列の単語のみを利用する．さらに，これを学習用に拡張し，       とする．ここで，  は性能表を含む文書群，  は求めている製品の性能表を含まないもしくは性能表以外のテーブルを含む文書+"1203

 一般には，ラベル無しデータ中の正例および負例の分布比率は未知なため，訓練データ中の正例と負例の比率などを参考にして求められた予測比率を利用し，パラメータが調整されることが多い．
 形態素解析には奈良先端科学技術大学で開発された「茶筌」を用いた．     

群である．具体的には，以下の式で各語の重みが算出される．
++

 ¾

 ¾

  ,         + 

ただし，+ +¾


+

¾

    

  

ここで閾値以上の値を持つ    および   を類似度計算や分類器作成のための素性として扱う．

類似度に基づく訓練データの獲得

現在設定しているタスクでは，サンプリングした訓練データ数が少ない場合に，正例が極端に少ないという問題がある．実験に使用したデータの場合，正例の全体に占める割合は， 〜程度である．訓練データ中の正例が極端に少ない場合，それらを使用して得られた分類器の精度も悪くなる．そこで，ラベル無しデータから，新たな正例を獲得する．
提案手法では，正例同士は類似しているという仮定に基づき，訓練データ中の任意の正例とラベル無しデータの類似度を測定することで，ラベル無しデータから新たな正例を獲得する．具体的な処理の流れを以下に示す．

 





訓練データから正例を

 つ抽出する．

その正例とラベル無しデータ中の文書の類似度を測定する．

デジタルカメラ

プリンタ

.
*

*
.

.
*

いる文書数
性能表を含んでいない文書数



訓練データを正例の全てと負例の半分，例の半分，に分割する ．

 負 で得られた文書と のデータを仮の訓練データとして分類器を作成する．
得られた分類器で を評価する．

を適度に下げ， から繰り返す．

各繰り返しごとのの結果を比較し，その精度が改悪される場所を探す．

 データセット

パソコン
性能表を含んで,  .

ここで，     は   および  における単語 の  値である．また，   および  は，
  および  に属する文書の総数を表す．最終的な重みは以下の式で求める．
 表改悪される直前に獲得された文書を正例とみなして訓練データ中に追加する．

上記の手法で獲得された新たな訓練データを用いて分類器を作成し，評価データを分類・評価する．  において，改悪されたかどうかの基準はいくつか考えられるが，ここでは，適合率が低下する場合を「改悪された」と定義する．これは，の評価において適合率が低下するということは，負例を誤って正例として抽出した可能性が高いと考えられるためである．

実験.

本節では，評価実験について述べる．実験対象となる製品は，パソコン，デジタルカメラおよびプリンタの種類とした．実験データは，実際のから得られた文書群からランダムに抽出された文書を使用した．
文書からランダムに抽出した文書を訓練データとし，残りの文書を評価データとした．評価データのうち，文書をラベル無しデータとして提案手法に利用した．データ中の正例と負例の内訳を表 に示す．
但し，性能表を含んでいない文書群中には，別の製品の性能表が含まれている．例えば，デジタルカメラの場合は，性能表を含んでいない文書にフィルムカメラやビデオカメラなどの性能表が含まれていることがある．
評価には以下の尺度を用いた．

666


666
66

66
666

適合率 

再現率 

抽出された文書中で性能表を含んでいる文書の数抽出された文書の総数抽出された文書中で性能表を含んでいる文書の数

 + ,
閾値
以上の類似度を持つ文書群に対して
  閾値 以上の文書それぞれとラベル無しデー
提案手法で用いる分類器には  を利用した．提案
タ中の文書の類似度を測定する．
手法のは 6/ を初期値とし， 6/6 ずつ下げて， 6/.閾値

以上の類似度を持つ文書に投票する．

性能表を含んでいる文書の総数

値 

閾値
以上の文書が存在すればその文書に投票する．

投票数が閾値 以上の文書を正例として抽出する．

 この処理は初めの  回のみ．すなわち，繰り返し中で  および は変化しない       



 

製品

評価尺度

パソコン

適合率
再現率値

 
 
6/
6/**

6/6
6/6
6/*
6/*.

7

デジカメ

適合率
再現率値

7

プリンタ

表

適合率
再現率値

7

 実験結果

 提案手法
6/.
6/
6/..
6/.
6/

6/** 


まで繰り返した．類似度の測定には，  尺度を用いた．
以 は訓練データから抽出された正例と類似度が上だと判断された文書数のとした．最終的な評価デー
タの分類実験では，，提案手法を基に獲，，得した訓練データを用いた場合の提案手法を基に獲得した訓練データを用いた場合の，の つを比較した．提案手法とで使用したラベル無しデータは同じものである．実験結果を表に示す．表中の太字は各評価尺度での最高値を表す．
パソコンの場合は，提案手法とを組み合わせたものが，デジタルカメラとプリンタの場合は提案手法が最も高い 値を得た．提案手法およびに共通に比べ，再現率が大きく上昇することするのは，である．これは，提案手法では訓練データの獲得処理が，の場合は法による学習が有効に機能していることを表している．適合率は，どの場合においてもが最も高くなるが，これは他の手法に比べ，再現率が極端に低いためである．この実験結果より，提案手法の有効性が確認された．
今後の課題としては，提案手法における，最適な閾値の推定が挙げられる．実際，現在の手法では，最適な閾値だとされた場合においても，負例を正例だと判断し，訓練データと統合する場合がある．より精度を向上させるには，最適な閾値をいかに自動的に推定するかが課題となる．

"
"



7

8.
  ". """" #$





おわりに

本稿では，製品のスペックを記述した表を含む文書の抽出処理について述べた．サンプリングされた訓練データが少ない場合，負例に対して正例が極端に少ないという問題点の解決方法について提案した．実験の結果，通常のに比べ，提案手法もしくは提案手法とを組み合わせた手法が高い 値を得た．今後の課題としては，提案手法における閾値の推定法についての改良などが挙げられる．



参考文献

7"

 / (#/ 0 )     9!  # :   #   ! ;/ <  

. "
6/.
6/*
6/
6/*
6/.
6/*6
6/**66/*
6/**

 提案手法  6/.6

 

6/*
6/**
6/6
6/
6/*

        
/ *=.6 66/
 >/ <  1/ " % #  -/ 1 !/ < :'  ?
  :' !'  #  #     / <               !"# /*= 66./. "/ - !'#/ " #$  :  : ?  ##@  # # $ ' ! #/ <     $  % 
 &  ' / 66=6 / 5/ A  1/ 9 ' B/   / 2/ 9:/"  ?  #     ' :#/<     (  
%& )*    *   +
    + / .= 66./
 >/ !'   "/ 3 / A #@  ##'' C     % #)#' # #D# E##/ <   & ,- .  /0 1   / .=..
66./
 >/ !'   "/ <  "/ 3 / :' #'
' C  :'  #@  #/ <   %'!)  / .= 66./* / F/   %/   ' " / )
/
 G/
 -/ (/ 1 ' !      #  ! :     ! ;/ <   "  2+   %  66/ 林晃司 嶋田和孝 遠藤勉/ 機械学習を用いた ;;;からの製品性能表の分類と抽出/ 言語処理学会第 6回年次大会 / *..=*. 66/