社団法人電子情報通信学会

           信学技報

         からの性能表抽出のためのキーワード獲得と重み付け晃司Ý

林嶋田和孝Ý

遠藤勉Ý

九州工業大学情報工学部知能情報工学科〒  福岡県飯塚市大字川津             上の製品の性能などを記述した表を用いた製品選択支援システムの構築を行っている．
 上の表は  の   タグを用いて記述されるが，   タグは表を記述する以外にも，レイアウトを整えたりする場合にも頻繁に用いられる．ある特定の領域においては，   のがレイアウト目的で使われているとの報告もある．そのため，  文書中の   タグが表なのか，それとも他の目的で使用されているのかを判別する必要がある．本論文では，  からの性能表抽出のためのキーワード生成の手法についあらまし 我々は現在，て提案する．キーワードの重み付けには，エントロピーを用いた手法とベイズの定理を用いた手法の二つを検証した．
実験により，それぞれの重み付けによる表抽出の精度について考察する．
キーワード 表抽出，キーワード獲得，重み付け              Ý Ý    Ý    ! " # $ "   % #
  " & '  ( ) *                    ! "         !"#  "$ %  # & 
 '            #   '   #       "    '   ( '    #  " "   "        ' )  & '   &  !"  ' '   )            
   " & *  & ##
 はじめに
近年のインターネットの急速な普及により，職場や家体的データが載せられている．しかし，データが載せられているだけで，どの項目がその製品の特徴となるかは製品性能表を見ただけでは一般的には判断しにくい．あ, を購入しようとしていると仮定すると，, メーカのサイトから製品性能表

庭にいながら世界中から発信された情報にアクセスできるユーザがる環境が整ってきた．これに伴い，紙面で伝えられていそのユーザは多くのた情報の電子化が進んでいる．電子化されるようになっなどを含んだ様々な情報を抽出し，比較する必要がある．

た情報の

しかしながら，多数の製品性能表から求めている製品+ つとして，図 +に示すような製品の性能や機能などを記述した表（以下，製品性能表と呼ぶ．）が挙を探し出すことは一般に労力がかかる．その理由としてげられる．製品性能表には，その製品に関する様々な具は，

 関 連 研 究
従来の表解析に関する研究は，文書イメージ.1/ やプレ.2/ を扱ったものが多い．ネットワークの普及により，  上の表を扱っている研究も多く存在す
る .+/.+ /.++/．  文書では，表は   タグを用いて記述される．しかし，この   タグは文インテキスト書のレイアウトを整えるためにも頻繁に使われ，ある特  タグが表として用いられているのは全体の (程度であるとの報告もある .+/． ,ら .+/ の研究では，航空会社の表を対象とした  上か定の領域では，らの表抽出・解析手法が述べられている．表抽出は，人手で作成されたルールやヒューリスティックなどによって行われている．これらのルールを対象となるドメイン毎に作り替えることはコストがかかり，また，図作成者にある程度の専門的知識も必要となるなどの問

製品性能表の例

題がある．機械学習などを用いた表抽出の研究として+（ ） 各サイトでは自社製品の特徴は述べられているが，他社製品などとの比較はあまりなされていない．

（ ( ） 要求と製品の特徴を関連づけるには，その製品（ ） 各サイトごとに様々な表現方法がある．

# ら .+ / や 3 ら .++/ による研究がある．
# ら .+ / の研究では，表のレイアウト的な情報や表は，中に存在するコンテンツ（画像があるか文字があるかなど）の情報を素性とし，決定木とサポートベクターマシに対してある程度知識が必要である．

ンの二種類の機械学習の手法について比較・考察していなどが挙げられる．ユーザの要求を満足させるには，複る．

数のサイトから情報を抽出し，統合する必要がある．まの認識やクラスタリングを行う手法を提案している．こた，各々の製品の相対的な特徴正しく抽出できたとしてれらの研究の目的は，も，表を提示するだけでは，ユーザにとって読みやすい本当に表であるかどうかを判定することである．我々の情報であるとは限らない．

目的は，現在構築中の製品選択支援システムの入力デー

我々は，複数の製品性能表を解析し，各々の製品デー

3 ら .++/ は，  アルゴリズムを用い，表タの自動獲得であり，

  タグで囲まれた領域が，  タグで囲まれた場所がタを比較することで特徴データを抽出し，その特徴デー表かそうでないかの判定ではなく，その領域が性能表でタを用いたランキング，文章や表，グラフといった複数あるかどうかを判定することである．の形式で出力する製品選択支援システムの開発を進めて キーワード抽出と重み付け.-/.0/．図 -に本システムの概要を示す．システムは  で記述された製品性能表を各メーカのサイトいるから抽出し，それらを解析することで表を表構造へ変換する．得られた表構造中の数値データや文字データを比較し，それぞれの製品の相対的な特徴データを抽出し，ユーザの要求に応じてスコア付けを行う．その特徴データを基に文章生成と表の再構成，グラフ生成を行ない，(複数の形式を統合した要約を出力する．図 は我々が開発した製品選択支援システムである．
本稿では，この製品選択支援システムの性能表抽出処
理のためのキーワード獲得とその重み付け処理について提案する．重み付けは，エントロピーによる手法とベイズの定理を用いた手法の二種類について行い，その精度1を比較・考察する．図 は本稿で述べる性能表抽出処理の流れである．

まず，企業のサイトから性能表を抽出する必要がある．
これらのサイトからの ページ抽出は既存のダウンローディングソフトを用いている．本節では，まずキーワード候補の抽出処理について述べる．続いて，得られたキーワード候補に対する重み付け処理について述べる．
重み付け手法としては，エントロピーを用いる手法とベイズの定理を用いる手法の二種類がある．

  キーワード抽出
 で記述された領域が表であるかどうかを判

別するために，我々は表判別のためのキーワードを作成した．キーワードの定義は+
4
〜 54）（ - ） 一定長以内の文章中に出現する単語（ ( ） 性能表が存在するページ内で顕著または限定的（ ） 性能表の項目欄中に出現する単語（図

システムの概要

WWW resource
WebSiteWeb Page図

性能表抽出の流れ

文書にどれだけ偏って出現するかを情報理論のエント
図

ロピーの考え方を用いて数値化することができる．その製品選択支援システム

数値を基にキーワード候補からキーワードを抽出する．
キーワード抽出の手順を以下に示す．に出現する単語とする．この定義に基づき，

 文書から性能表抽出のためのキーワード候補を抽出する．実際の抽出処理は以下の手順で行われる．

+  文書から   タグで記述された（ ）領域を抽出する．

+  文書群 8     からキーワー（ ）ド候補を抽出する．

-（ ） キー ワー ド 候 補 の 各 文 書 9 : を計算する．

(（ ） 文書群

 における頻度を性能表が存在する文書群

 と-   タ グ 中 の 各 6 タ グ 中 の 初 め （ 1 ） 文書群 におけるキーワード候補  の重みの 4 タグの内容を抽出する．
 と文書群  におけるキーワード候補  の重み（ ( ） 得られた文字列が -7 文字以内であれば，形態 を以下の式で計算する．
そうでない文書群に分割する．

（ ）素解析を行い，キーワード候補を抽出する．

形態素解析には奈良先端科学技術大学で開発された「茶筌」.7/ を用いた．

  エントロピーによる重み付け得られたキーワード候補に対して重みを計算し，その重みを基にキーワードを抽出する．情報理論的な観点から語の特定性を考えれば，ある単語が文書集合中の各 
 8    8   ここで，                    

 は文書群  もしくは  における文であり，

書の総数である．
ここで，性能表を含む文書中の  タグ内に顕著に存在する語をキーワードと呼ぶ．キーワードの重みは， 

8  9:   で求める．一方，  タグ内に顕著に性能表を含まない文書中の存在する語をノイズワードと呼ぶ．ノイズワードの重8 9:みは，      で求める．ここで，   および    は，文書群  もしくは  中の単語  を含む文書の数である．

9:

9:ベイズの定理による重み付け

ベイズの定理はパターン認識・分類の世界でよく知. / 8 .  /
9  :  9  : 8 +られた確率ベースの手法である
いて，

（ 9  : 8 +．

）は事前確率と呼ばれる．事前確率と条件付き確率密度分布

9  : （）が事前に得られる場合，単語がク9   : は次の式で求められ に属する事後確率ラス におる．

9   : 8 9  :9 9:   :ここで，9 :8


9 : 9 :
9 : 8 +(（ ） 次の式を計算する．

 8 ヒットしたキーワードの数
キーワードの総数
 8 ヒットしたノイズワードの数
ノイズワードの総数

1（ ） 得られた値に対して次の式を計算する．

 8   

（ 7 ）  が閾値 + 以上であれば，その 文書  に性能表が含まれているとして抽出する．
  表領域抽出

続いて，表領域の抽出処理について述べる．表領域抽出とは，フィルタリングによって抽出された書の中から性能表である

 文  タグ領域を抽出することを指す．表領域抽出は，キーワードのみで処理される．表領域抽出処理の手順を以下に示す．

+  文書  から   タグで記述され（ ）た領域- を抽出する．

  タグ中の 4 タグの内容を抽出し，（ ）キーワードが一つも含まれていない場合はその領域を破棄する．

(  に対して，その領域中に存在するキー  を計算する．
ワードの重みの総和  8 ¾  9  : 8 +となる．ここで，  タグ中の 4 タグの内容を抽出す（ ）であり，

-（ ）る．

 はキーワード群である．

ここで，8    である．すべての単語に対して，各クラスでの事後確率を求める．我々は

上記の式で，ある単語 を考えたとき，得られる事後確率9  : をその単語の重みとする．すなわち，ある単語 のキーワードとしての重みは，  8 9  : であり，ノイズワードとしての重みは， 
 8 9  :となる．

 性能表抽出処理

1

図 で示したように，抽出処理は，フィルタリングと表領域抽出の二つのプロセスからなる．

  フィルタリング

1  が 最 大 に な る 領 域  に つ い て， の値が閾値 - 以上であれば，その領域 （ ） に存在する性能表として抽出する．ここで，- 8 キーワードの重みの総和-をである．

 実験・考察
製品性能表の抽出処理を評価するために

7 つのサイト- 文書を抽出した．このうち，性能表を含む文書の数は + ，含まない文書の数は + である．また，性能表を含む + 文書は性能表だけで構成されているわから 文書のフィルタリングを行う．
ここで，フィルタリングとは，全  文書から性能表を含む  文書のみを抽出することを指す．フィけではなく，文書中に文字や画像，性能表ではない表もルタリングでは，前節で獲得されたキーワードとノイズまない

まず，初めに含んでいる．これらの- 文書のうち， + 文書をキーワード抽出と重み付けアルゴリズムのための訓練データとして用いた．訓練データは性能表を含む7 文書と含7 文書で構成されている．実験はフィルタリン

 文書を抽出する． グと表領域抽出処理について行った．
まず，  文書のフィルタリングについて述べる．
フィルタリングの流れを以下に示す．
（ + ）  文書  から   タグで記述され評価尺度としては，情報検索などの分野でよく用いられワードを用いて，性能表を含むた領域を抽出する．

る再現率，適合率および 値 を用いた．

   閾値 + 再現率 適合率  値文書の数
9: 8 正しく抽出された性能表を含む文書の数

表

再現率

-7
((7文書の数
9 : 8 正しく抽出された
抽出された全ての文書の数
 値 8   ; 9++  : 適合率

 は適合率と再現率の相対的な重みを表す．一般的にはこの  を 7 として扱う．これは再現率と適合率を同の前処理である．つまり，適合率よりも再現率が重視さ 8 1 として， 値 を計算する．これにより， 値 は再現率重視の評価値となる．
表

エントロピーを用いたキーワードとノイズワードお+1されたキーワードおよびノイズワードの重みの場合で はキーワードの数， はノイズ+ はフィルタリング処理で用いるワードの数を表す．

-閾値である．表 のキーワード数およびノイズワード数
は，エントロピーを用いた重み付けによって得られた全(キーワードおよびノイズワードの数である．表 のキーワードは，9 :  7 かつ性能表を含む文書群

 の半分以上の文書に出現した語，ノイズワードは，
 かつ性能表を含まない文書群  9:71

 以上に出現した語である．表 のキーワードは，の  かつ性能表を含む文書群  の  9:

7以上に出現した語，ノイズワードは，かつ性能表を含まない文書群+ + + <2

ベイズの定理00-
07700+ < <<+<<(2<-   
適合率
値<2<<2<<0<<<0<<2<02<01<02

9 : -7の場合の方が良い結果を得られた．エントロピーによる! および !

ドおよびノイズワードの重みはある程度の範囲に正規化

 の  以上に出現した語である．ベイズの定理を用いた場合のは重みの種類を示しており，<+(<+20<20 0  閾値

いて，表 および表 は，ベイズの定理を用いて作成ある．表中の0
0+(0-20-++ 重み 再現率
- ! +  <-2! +  < <( ! +  <1(! +  <71 ! +  <0! <<< +7 ! +  <<
! <<
<0
2 ! <0 <0<<! <<<0-

よび重みによる実験結果を表 および表 に示す．続(エントロピー-7((7 文書から表領域を特定し，性能表を抽出する際
+ + <7<-     閾値 + 再現率 適合率  値

表じに扱うことを意味する．しかし，フィルタリングは，れる．そこで，ここではエントロピー! は， (( 節で示したベイズの定理で得られた確率そのものを重みとして用いた! はある単語  のキーワードとしての重ものである．

みをノイズワードの重みで割ったもの，およびその逆を計算した場合に得られる値を重みとしたものである．す! においては，  
 8 9  :
 8 9  :であり，! においては9 :   8 9 : 
 8 9 :9 :なわち，である．
実験結果により，エントロピーを用いた手法よりもベイズの定理を用いた手法の方が高い再現率および適合! のように重みの範囲を 〜∞に拡張するよりも 〜 + とした !
率を得た．ベイズの定理を利用した場合，手法も理論的には重みの範囲は〜∞であり，キーワーされた値の方が良い結果を得られることが確認された．
エントロピーによる手法では，キーワードおよびノイズワードを全て使った場合の方が若干精度がよいが，有意な差であるとはいえず，キーワードおよびノイズワードを追加することの有意性は低い．ベイズの定理を利用した手法では，むしろキーワードおよびノイズワード数を増加させた方が全体の精度が落ちる傾向がみられた．これにより，提案した手法，特にベイズの定理を用いた手法は少ないキーワードおよびノイズワードで，性能表を含んだ

 文書のフィルタリングが行えることが確認された．
続いて，表領域抽出処理について述べる．フィルタリングによって得られた結果を用いて表領域を抽出した．エントロピーを用いた手法では，

 8 ( およ 8 +7 でもっともフィルタリングの精度が良かった閾値 + 8 -7 の実験結果を用いた．同様にベイズのび表

ベイズの定理   
適合率
値

  + 重み 再現率
- ! +  < +! +  <7( ! <- < <! <-
<201 ! 0( < 27! 02<0<7 ! 2 + ! 0
<0
2 ! 7  + ! 2( + 閾値

表  表領域抽出処理閾値<00<0<1(<(<00(<01+07200(<エントロピー+ 再現率 適合率

-7 <(<2<

いた手法の双方とも高い再現率と適合率が得られ，提案手法の有効性が確認された．また，抽出処理全体が，比較的少ないキーワードおよびノイズワードで実現できることも実験により確かめられた．
現在，エントロピーによる手法を他種類の製品の表に移行した際の精度について検証している.(/．同様にベイズの定理を用いた手法が他種類の製品の表にどれだけ有効であるかの評価を行う必要があるだろう．また，提案した二手法以外の機械学習アルゴリズムを用いたキーワード獲得および重み付けなども今後の課題の一つである．表領域抽出処理では，若干再現率が適合率を下回る傾向が見られた．これは，表領域抽出処理で用いる閾値の決め方に問題があるためだと考えられる．より高い再現率および適合率を性能表抽出処理で得るためには，閾値の決め方も含めた表抽出処理の改良が必要であり，これも今後の課題に挙げられる．
文献                  ! "  # $!  %"閾値 + 再現率 適合率&'())) ** ++, )))
7 <7 +  - ./0/   1    2    &  
 #!  * !3!    4 4
定理を用いた手法では， 8 +< および  8 +7
4  $!  $- "&'( )) ** )5+ ))で閾値 + 8 7 の実験結果を用いた．表領域の特定
 林晃司，嶋田和孝，遠藤勉 666 からの製品性能表抽処理においても，ベイズの定理を用いた手法の方が，高出，第 5 回言語処理学会年次大会， '"$5， ))．
  / 7 2  8 "*    ( 6 い再現率および適合率を得た．エントロピーを用いた手 /   *      !  $!  法およびベイズの定理を用いた手法の双方とも適合率に
 8!/  7 !    7  9 :&& ** ;比べ，再現率が若干低い．これは表領域抽出処理で用い< )))た閾値 - の決め方に問題があるためだと考えられる．
松本裕治，北内啓，山下達雄，平野喜隆，松田寛，高岡
この閾値 - の決定法は今後の課題の一つである．
一馬，浅原正幸 日本語形態素解析システム「茶筌」
総じて，フィルタリングにおいても，表領域抽出処理
*==!    ! >*=  #  
においても，高い再現率および適合率を得ることがで+   ' ? "     "  2 "    
きた．性能表抽出処理で用いるキーワードおよびノイズ
 ! @      # $!     ,
ワードの追加は精度向上には有効ではなく，少ないキー- /     - " ** ;) 555
ワードおよびノイズワードで実現できることが確認さ,  $@@    8 A/ "       9 
れた．ベイズの定理においては，フィルタリングでほぼ/  *3    3!       4 + の  値 を得た．実験により，提案した手法の有効  !  "    , **  55,性が確認された．
< 嶋田和孝 遠藤勉 特徴化された表データからの要約文生
成処理 信学技報 "555 **  555
 お わ り に5 徳永建伸 情報検索と言語処理 言語と計算  東京大学出版 555
本稿では，現在構築中の製品選択支援システムの入力)
?
6     / - !       部にあたる，  上からの製品性能表抽出処理のため
**!     !   6  $! のキーワード獲得手法とその重み付け処理について述べ 1 9  &     6 6     ! た．キーワードの重み付けは，エントロピーを用いた手))
法とベイズの定理を用いた手法で行い，その精度を比較  ?  2 4    /> 1#! した．フィルタリングでは，ベイズの定理を用いた手法
    6 6 6  9 "  
により，ほぼ +の  値 を得た．表領域抽出処理にお$!  $- "&'( )) **  ))いても，エントロピーを用いた手法，ベイズの定理を用表  表領域抽出処理

ベイズの定理+