言語処理学会 第９回年次大会 発表論文集 （  年  月）

ÏÏÏ からの製品性能表抽出

林 晃司 嶋田和孝 遠藤 勉 
九州工業大学大学院情報工学研究科情報科学専攻

九州工業大学情報工学部知能情報工学科

はじめにタグのみでその領域がテーブルであるか否かを判断する事は出来ない．
 上のテーブル検出・分類については幾つかの研究がなされている   ．  ら   は対象領域に特化したテーブル検出を行った． ら   は一般的な領域から広くテーブルを取得し，テーブル検出用データベースの構築を行っている．しかし，テーブルに含まれる情報の有用性を示唆した上でテーブル抽出を行う研究はなされているが，その抽出されたテーブルの具体的な活用手段については余り議論されていな
い．
筆者らは現在， 上の情報抽出・要約・統合研究の一環として，複数のパソコン  の性能表を抽出し，各  の特徴を抽出・比較する事によりユーザの要求に合致した  選択を支援するシステムの構築を進めている ．ここに，製品購入を目的とし，上より情報収集を行おうとするユーザがいると仮定する．ユーザは  ，  などの検索エンジンを利用して，もしくはメーカのウェブサイトにアクセスして製品情報を取得する．このプロセスを複数回繰り返し，幾つかの製品情報が手元に集まったとしても，収集した情報群の比較というさらに困難な作業が存在する．我々はこの様な情報群を有効に活用する事でもたらされる利便性を考慮し，本システムの開発を行っている．
システムの概要を図 に示す．まず， より収集された  ドキュメント群はフィルタリングによる選別を経て，性能表を含むドキュメントが性能表抽出処理へと渡される．性能表はメーカによって表記ス
タイルや項目名などの書式が異なる為，表構造と呼ばれるデータ構造へと正規化を行う ．得られた表構造中のデータを比較し，各製品の相対的な特徴にユーザの要求を反映したスコアリングを行い，スコアの序列に準じて，表の再構築，文章の生成，グラフ生成などの複数の形式を統合させた要約形式の製品仕様をユーザへと提供する．図  は我々が開発した製品選択支援システムである．
従来の研究において筆者らは，システムの処理対象を他種類の製品性能表へと拡張する際のコスト削減を狙い，性能表抽出への手掛かりとして用いるキーワー

インターネットならびに    の普及により，誰でも手軽に膨大な電子化文書へとアクセス出来る環境が整ってきた．しかしながら，には多種多様の情報が共存する為，必ずしも欲しい情報のみを正しく検索・収集出来る訳では無い．また，仮に情報を収集出来たとしても，その量が膨大であれば閲覧は困難を極める． 上の情報検索においては単なる情報収集技術のみでは無く，収集した情報をいかに効率良く利用出来るかについても考慮されるべきである．
 上の情報の中でも，この要求に高い意義が持たれるものの一種に「製品性能表」がある．製品性能表とは製品の仕様書を電子化し，テーブル形式で記述したものを指す．図 に例を示す．

図  製品性能表
ウェブドキュメントは  タグによって論理構造を形成している．テーブル領域はテーブル記述用タグ
 〜  にてマークアップされ，プレーンテキストに比べ  ソース内からの領域把握は容易である．また，テーブルは相互関係やコンテンツの要約・推移などに用いられ，保持する情報量は極めて高い．しかし，同時に タグは文書の調子を整えたり，レイアウト補正などにも用いられる為，       

図  システム概略
よってドキュメント内の性能表の有無を推定しなければならない．単一ドキュメント内に複数存在するテーブルの中から性能表を抽出する必要がある．
本研究では単語の頻度情報を特徴量とし，抽出に用いるキーワードを生成している．フィルタリング及び性能表抽出の詳細は  節にて述べる．

¾º¾

キーワードの定義

テーブル内に生起する単語の中でも，性能表の項目名は非常に特徴的な情報となり得る．よって，性能表抽出に必要なキーワードは¯ 項目欄に位置する，テーブルの最左列¯ 一定長以内の文章中おいて顕著，または限定的に出現すると定義される．
この定義に基づき，学習用ドキュメント群 よりキーワード候補の抽出を行う．定義を候補抽出の条件として扱い， においてこの条件を満たす文字列に対し形態素解析を行い，キーワード候補を抽出する．形態素解析には奈良先端科学技術大学で開発された「茶筌」
  を用いた．
次に，得られた候補に対して重みを加味する．情報理論の観点から語の特定性を考えれば，ある単語がドキュメント集合内の各ドキュメントにどれだけ偏って出現するかはエントロピーの概念より数値化する事が出来る．その数値を基にキーワード候補からキーワードを抽出する．ここで，ドキュメント群 を性能表が存在するドキュメント群 とそうでないドキュメン
ト群  に分割する．ドキュメント群
 における
キーワード候補 の重み とドキュメント群 におけるキーワード候補 の重み を以下の式で計算する．

図  製品選択支援システム
ドの自動生成法を提案した !．しかし，製品領域を に限定した場合においては手動によるキーワード生成とほぼ同一の精度を達成できたものの，実際にこの手法が他種製品へと拡張可能かといった評価は行っていなかった．
本稿では，このキーワード自動生成法の他種製品拡張への可能性について考察すると共に，製品領域に特化しない抽出規則の導入を目指す．

キーワードの自動生成¾º½

テーブルの氾濫

前述の通り，性能表は タグにて記述されている．性能表抽出とはこの タグでマークアップされた部分を抜き出す作業である．しかし，ある領域に特化したドキュメント群においては，ドキュメン
ト 件あたり " 個の タグが存在し，実際にテーブルとして用いられているものは  割に満たないという報告もある  ．この事から，フィルタリングに





   #    #    $タグ以降にキーワードの定義を満たす単語が                 

存在するか否かを調べる．存在すれば単語をキーワードとしてへ遷移，存在しなければ終了する．
´¾µ 決定されたキーワードを含み，かつキーワードへの距離が最短のテーブルを探し，仮取得する．



´¾º½µ テーブルは入れ子構造を成す場合があるので，基本的にキーワードに対し最も近い タグが候補として挙げられる．最も近いテーブルが選出されればへ遷移する．
´¾º¾µ テーブルがキーワードを含んで閉じて タグ いればテーブルを仮取得し， へ遷移．テー
ブルが条件を満たさない場合はその次にキーワードに近いテーブルについてへ再帰する．



であり， はドキュメント群
 もしくは  におけるドキュメントの総数である．
キーワードの重みは，   #  ¢で求める．一方，性能表を含まないドキュメント中の %&'タグ内に顕著に存在する語をノイズワードと呼ぶ．ノイズワードの重みは，  ¢ # で求める．ここで， および
は，ドキュメント群
 もしくは  中の単語 を含むドキュメントの数である．この重みについて，上位  位の単語をキーワードとみなす．同様に，上位 位の単語をノイズワードとして用いる．

 抽出処理¿º½フィルタリング   

｛ を求め，∈   ｝  ｛   ×

 × 



実験と考察

以下においてフィルタリング及び性能表抽出の評価実験を行い，その結果について考察する．今回扱う製品種類は ，デジタルカメラ デジカメ ，()(，プリンタの  種類とした．これら各製品ドキュメント群
において，まずは学習データを抽出対象の製品性能表を含むもの，及び含まないものに分類し，それぞれ ，及び  の数は製品種類によっ 件ずつ用意した．て異なる．この学習データから，キーワード自動生成法によってキーワード  個，及びノイズワード  個を選出し，これらを参照してフィルタリング及び性能表抽出を行った．
まずはフィルタリングの実験内容について説明する．
今回，" 節にて述べたフィルタリングの規則 ， 及び  を考案するにあたり，，デジカメ，()( の 
種類の製品ドキュメント群を用いた．これらの規則の正当性を評価する為に，プリンタ製品のドキュメント群を用いた．正解，ノイズはそれぞれ ，  件ずつ用意した．精度評価には，情報検索分野において一般的な評価尺度である再現率，適合率及び * 値を用いた．

  ｝  ≠  ＝ が閾値を超えれば，ドキュメント内に性能表が存在するとみなす．閾値は任意の値を持つが，フィルタリングの性質上，再現率を優先した値を選択する．

¿º¾




処理  にて用いる閾値の選択については，フィルタリングにてある程度のノイズを除去出来たと仮定した上で，かつ，次行程の表構造生成モジュールへ渡す
データの高い信頼性を獲得する為，ここでは適合率向上を狙った閾値選択を考慮する．

 ∈総和   ∈｛    ｝ が閾値を越えれば性能表であるとみなして抽出，閾値以下であればテーブルを破棄し，へと戻り処理を繰り返す．

´¿µ 仮取得したテーブル領域に存在するキーワードの重みのここでは前節にて自動生成されたキーワード及びノイズワードを用いて，ドキュメント内に性能表が存在するか否かの判定を行う．判定のルールは以下の通りである．
ドキュメント  におけるキーワードの定義を満たす
単語  について，

 ソ ー ス を 走 査 的 に 解 析 し ，´½µ ド キュメ ン ト の

ここで，性能表抽出

性能表抽出は以下の  つのプロセスにて構成される．
´½µ テーブル内にキーワードが存在するか

再現率  

正しく抽出されたドキュメント数

適合率   

正しく抽出されたドキュメント数

性能表を含むドキュメント数抽出された全てのドキュメント数 値   ´¾µ キーワード間最短テーブルの検索，仮取得 × ×  * 値の式における は  及び  の相対的な重みを表す．フィルタリングでは再現率を優先し， #"! とした．表 はデータの内訳，また表 は閾値によるフィ´¿µ 仮取得テーブルの閾値判定段階を追って具体的な処理内容を説明する．

 +表  閾値に伴うフィルタリングの精度変化閾値                               
 
 
 
            

デジカメ                                           プリンタ                                                                                                               

印はその製品における最大ルタリングの精度の変化を示したものである．
次に，フィルタリングの実験結果を用いて性能表抽出を行う．ここでは，フィルタリング行程にて最良の精度を持つ結果 プリンタ，閾値#" ，*#$$", を用いた．表抽出の閾値は   ∈とし，* 値は

適合率を優先し， #" にて評価した．結果を表  に示す．
実験結果について考察する．これまで  製品のみを対象としていた本手法を他種類製品に拡張した場合においても $,程度の精度が達成された．この事から，本稿にて提案したキーワード自動生成法の有用性が確認された．しかし，各製品種類を比較してみると，製品によって最良の精度を持つ閾値の差が激しい事が分かる．これについては，フィルタリングの規則が正解及びノイズ各々の特徴を把握しきれていないと推測され，フィルタリング規則の再検討が求められる．また，
性能表抽出処理におけるノイズ誤認及び抽出洩れについては，様々なテーブルの書式に対応した表抽出アルゴリズムの具体化が今後の課題となる．

表  データの内訳
製品種類    

デジカメ            プリンタ    

表  実験結果

正解
フィルタリング
性能表抽出

ノイズ      

$



値

おわりに

本稿では，これまで  製品のみを処理対象としていた性能表抽出処理の他種類製品への拡張を目指し，領域依存しない普遍的な特徴からのキーワード生成及びフィルタリング規則の考案について述べた．抽出処理に用いるキーワードはエントロピーによる重み付け学習から自動生成し，キーワードの重みを考慮した規則によりフィルタリングを行った．これらの手法を用いた評価結果は $,の精度を達成した．
今後はフィルタリング規則の改良を展望とすると共に，表抽出処理の最適化，及び本手法とは異なるアプローチとの比較考察なども研究視野に入れている．

参考文献             !  "  # $ "   %&'())) ** ++ , )))
 - .   / 0 !"   ** "    "    . $ "  12 &  .  . " )) 03/4/!   & !  1#"   !
*"5"    .  . . $ "  $0 &'()) ** )6 +)) 6
7 森松俊允，福本篤史，嶋田和孝，遠藤 勉 製品性能表を用いた製品選択支援システムの構築，電気関係学会
九州支部連合大会，))
8 福本篤史，嶋田和孝，遠藤 勉 製品性能表からの表構
造生成，電気関係学会九州支部連合大会，))
+ 林 晃司，嶋田和孝，遠藤 勉 . ページからの製品性能表抽出，第 ) 回電子情報通信学会九州支部学生会，
 111，))
, 松本裕治，北内啓，山下達雄，平野喜隆，松田寛，高岡一馬，浅原正幸 日本語形態素解析システム「茶筌」
*99"":*9