(57)【要約】【課題】人手によるルールの作成や学習データの生成を必要とせず、低いメンテナンスコストで商品情報抽出ルールを生成することができるようにする。【解決手段】ページ間共通箇所特定部２５によって、商品詳細情報ページ群のうちの所定割合以上の商品詳細情報ページにおいて、同一文字列が同一箇所に共通して出現するページ間共通箇所を特定する。商品属性値抽出箇所判定部２７によって、商品属性毎に、商品属性値抽出箇所候補、及び該商品属性値抽出箇所候補の周辺から特定されたページ間共通箇所と、商品属性の前記商品属性特徴とを比較することによって、商品属性値抽出箇所候補が商品属性の属性値の抽出箇所であるか否かを判定する。商品情報抽出ルール生成部２８によって、商品属性毎に判定された属性値の抽出箇所の各々と商品属性の商品属性名とのペアを、商品情報抽出ルールとして生成する。【選択図】図１
2013143021.tif 000002
【特許請求の範囲】
【請求項１】
商品属性特徴受付手段によって、商品属性毎に、前記商品属性の属性値の周辺に出現する文字列の特徴、前記属性値の少なくとも一部として出現する文字列の特徴、及び前記属性値の出現位置に関するページ構造情報の特徴の少なくとも一つを含む商品属性特徴を受け付けるステップと、
ページ受付手段によって、商品の詳細情報が記載された抽出対象となる複数の商品詳細情報ページからなる商品詳細情報ページ群を受け付けるステップと、
ページ間共通箇所特定手段によって、前記商品詳細情報ページ群のうちの所定割合以上の商品詳細情報ページにおいて、対応する箇所に対応する文字列又は画像が共通して出現するページ間共通箇所を特定するステップと、
商品属性値抽出箇所判定手段によって、前記商品属性毎に、前記商品詳細情報ページ群に出現する文字列及び該文字列の出現箇所を商品属性値抽出箇所候補として、前記商品属性値抽出箇所候補、及び該商品属性値抽出箇所候補の周辺から特定された前記ページ間共通箇所と、前記商品属性の前記商品属性特徴とを比較することによって、前記商品属性値抽出箇所候補が前記商品属性の属性値の抽出箇所であるか否かを判定するステップと、
商品情報抽出ルール生成手段によって、前記商品属性毎に判定された前記属性値の抽出箇所の各々と前記商品属性の商品属性名とのペアを、商品詳細情報ページから商品に関する情報を抽出する際に用いられる商品情報抽出ルールとして生成するステップと、
を含む商品情報抽出ルール生成方法。
【請求項２】
ページ分類手段によって、前記商品詳細情報ページ群を、商品詳細情報ページの類似性に基づいて分類するステップを更に含み、
前記ページ間共通箇所特定手段によって特定するステップは、前記商品詳細情報ページ群の分類毎に、前記分類に属する前記商品詳細情報ページのうちの所定割合以上の商品詳細情報ページにおいて、前記ページ間共通箇所を特定し、
前記商品属性値抽出箇所判定手段によって判定するステップは、前記商品詳細情報ページ群の分類毎に、前記分類に属する前記商品詳細情報ページに出現する文字列及び該文字列の出現箇所を商品属性値抽出箇所候補として、前記商品属性値抽出箇所候補が前記商品属性の属性値の抽出箇所であるか否かを前記商品属性毎に判定し、
前記商品情報抽出ルール生成手段によって生成するステップは、前記商品詳細情報ページ群の分類毎に、前記分類に属する商品詳細情報ページから商品に関する情報を抽出する際に用いられる前記商品情報抽出ルールを生成する請求項１記載の商品情報抽出ルール生成方法。
【請求項３】
商品属性毎に、前記商品属性の属性値の周辺に出現する文字列の特徴、前記属性値の少なくとも一部として出現する文字列の特徴、及び前記属性値の出現位置に関するページ構造情報の特徴の少なくとも一つを含む商品属性特徴を受け付ける商品属性特徴受付手段と、
商品の詳細情報が記載された抽出対象となる複数の商品詳細情報ページからなる商品詳細情報ページ群を受け付けるページ受付手段と、
前記商品詳細情報ページ群のうちの所定割合以上の商品詳細情報ページにおいて、対応する箇所に対応する文字列又は画像が共通して出現するページ間共通箇所を特定するページ間共通箇所特定手段と、
前記商品属性毎に、前記商品詳細情報ページ群に出現する文字列及び該文字列の出現箇所を商品属性値抽出箇所候補として、前記商品属性値抽出箇所候補、及び該商品属性値抽出箇所候補の周辺から特定された前記ページ間共通箇所と、前記商品属性の前記商品属性特徴とを比較することによって、前記商品属性値抽出箇所候補が前記商品属性の属性値の抽出箇所であるか否かを判定する商品属性値抽出箇所判定手段と、
前記商品属性毎に判定された前記属性値の抽出箇所の各々と前記商品属性の商品属性名とのペアを、商品詳細情報ページから商品に関する情報を抽出する際に用いられる商品情報抽出ルールとして生成する商品情報抽出ルール生成手段と、
を含む商品情報抽出ルール生成装置。
【請求項４】
コンピュータに、請求項１又は２記載の商品情報抽出ルール生成方法の各ステップを実行させるための商品情報抽出ルール生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品情報抽出ルール生成方法、装置、及びプログラムに係り、特に、ECサイトの商品詳細情報ページ群から、商品情報抽出ルールを生成する商品情報抽出ルール生成方法、装置、及びプログラムに関する。
【背景技術】
【０００２】
一般的なEC（electronic commerce）サイトでは、商品を検索するためのキーワードを入力したり、カテゴリを選択したりするためのページ、検索結果やカテゴリの選択結果の一覧を表示するページ、個々の商品の詳細な情報を掲載するページ（以下、商品詳細情報ページと記述する）、会員登録や商品の購入等の手続きを行うページ、及びサイトの使い方等を案内するページ等が存在する。
【０００３】
上記ECサイトの商品詳細情報ページから、そのページに掲載された商品の商品名、価格、商品説明文などの商品情報（以下、上述した各種名称を商品属性名、それに対応する値を商品属性値、商品属性名と商品属性値のペアを商品属性と記述する。）を取得する従来方法としては以下のようなものがある。
【０００４】
ECサイトごとに、商品説明ページの構造に合わせ取得したい商品情報がある箇所を示す正規表現とその商品属性名を記述した商品情報抽出ルールを手動で作成し、その商品情報抽出ルールを与えられた商品詳細ページに対して適用し、商品情報を抽出する方法が知られている。
【０００５】
また、広くWebページからの情報抽出を行う方法として、Webページとそこから抽出したい情報およびその出現箇所を学習データとして与え、機械学習により自動で情報抽出ルールを生成する方法があり（非特許文献１）、これを用いて商品情報の抽出ルールを生成することも可能である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Myllymaki and J. Jackson. Robust web data extraction with XML path expressions. Technical Report RJ 10245, IBM, 2002年.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、人手で商品情報抽出ルールを作成する方法では、次のような課題がある。
【０００８】
Webページの記述に用いられるHTMLの知識が作成者に求められると共に、多くのサイトを対象として抽出を行いたい場合にはそのサイトごとのルールを人手により作成する必要があり、また、サイトのデザイン変更等が生じた場合にはルールを再度作り直す必要がある、という課題がある。これらの課題のため、ルール作成のメンテナンスコストが大きい。
【０００９】
また、上記の非特許文献１に記載されている、学習データを与え機械学習によりルールを生成する方法でも、抽出対象サイトを拡充したい場合や、ルールを作成済みのサイトに変更が起きた場合には学習データを生成するための人手が必要であり、やはりメンテナンスコストが大きい。
【００１０】
本発明は上記事情に鑑みてなされたものであり、人手によるルールの作成や学習データの生成を必要とせず、低いメンテナンスコストで商品情報抽出ルールを生成することができる商品情報抽出ルール生成方法、装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の商品情報抽出ルール生成方法は、商品属性特徴受付手段によって、商品属性毎に、前記商品属性の属性値の周辺に出現する文字列の特徴、前記属性値の少なくとも一部として出現する文字列の特徴、及び前記属性値の出現位置に関するページ構造情報の特徴の少なくとも一つを含む商品属性特徴を受け付けるステップと、ページ受付手段によって、商品の詳細情報が記載された抽出対象となる複数の商品詳細情報ページからなる商品詳細情報ページ群を受け付けるステップと、ページ間共通箇所特定手段によって、前記商品詳細情報ページ群のうちの所定割合以上の商品詳細情報ページにおいて、対応する箇所に対応する文字列又は画像が共通して出現するページ間共通箇所を特定するステップと、商品属性値抽出箇所判定手段によって、前記商品属性毎に、前記商品詳細情報ページ群に出現する文字列及び該文字列の出現箇所を商品属性値抽出箇所候補として、前記商品属性値抽出箇所候補、及び該商品属性値抽出箇所候補の周辺から特定された前記ページ間共通箇所と、前記商品属性の前記商品属性特徴とを比較することによって、前記商品属性値抽出箇所候補が前記商品属性の属性値の抽出箇所であるか否かを判定するステップと、商品情報抽出ルール生成手段によって、前記商品属性毎に判定された前記属性値の抽出箇所の各々と前記商品属性の商品属性名とのペアを、商品詳細情報ページから商品に関する情報を抽出する際に用いられる商品情報抽出ルールとして生成するステップとを含む。
【００１２】
また、本発明の商品情報抽出装置は、商品属性毎に、前記商品属性の属性値の周辺に出現する文字列の特徴、前記属性値の少なくとも一部として出現する文字列の特徴、及び前記属性値の出現位置に関するページ構造情報の特徴の少なくとも一つを含む商品属性特徴を受け付ける商品属性特徴受付手段と、商品の詳細情報が記載された抽出対象となる複数の商品詳細情報ページからなる商品詳細情報ページ群を受け付けるページ受付手段と、
【００１３】
前記商品詳細情報ページ群のうちの所定割合以上の商品詳細情報ページにおいて、対応する箇所に対応する文字列又は画像が共通して出現するページ間共通箇所を特定するページ間共通箇所特定手段と、前記商品属性毎に、前記商品詳細情報ページ群に出現する文字列及び該文字列の出現箇所を商品属性値抽出箇所候補として、前記商品属性値抽出箇所候補、及び該商品属性値抽出箇所候補の周辺から特定された前記ページ間共通箇所と、前記商品属性の前記商品属性特徴とを比較することによって、前記商品属性値抽出箇所候補が前記商品属性の属性値の抽出箇所であるか否かを判定する商品属性値抽出箇所判定手段と、前記商品属性毎に判定された前記属性値の抽出箇所の各々と前記商品属性の商品属性名とのペアを、商品詳細情報ページから商品に関する情報を抽出する際に用いられる商品情報抽出ルールとして生成する商品情報抽出ルール生成手段と、を含んで構成されている。
【００１４】
本発明によれば、商品属性特徴受付手段によって、商品属性毎に、前記商品属性の属性値の周辺に出現する文字列の特徴、前記属性値の少なくとも一部として出現する文字列の特徴、及び前記属性値の出現位置に関するページ構造情報の特徴の少なくとも一つを含む商品属性特徴を受け付ける。ページ受付手段によって、商品の詳細情報が記載された抽出対象となる複数の商品詳細情報ページからなる商品詳細情報ページ群を受け付ける。
【００１５】
そして、ページ間共通箇所特定手段によって、前記商品詳細情報ページ群のうちの所定割合以上の商品詳細情報ページにおいて、対応する箇所に対応する文字列又は画像が共通して出現するページ間共通箇所を特定する。商品属性値抽出箇所判定手段によって、前記商品属性毎に、前記商品詳細情報ページ群に出現する文字列及び該文字列の出現箇所を商品属性値抽出箇所候補として、前記商品属性値抽出箇所候補、及び該商品属性値抽出箇所候補の周辺から特定された前記ページ間共通箇所と、前記商品属性の前記商品属性特徴とを比較することによって、前記商品属性値抽出箇所候補が前記商品属性の属性値の抽出箇所であるか否かを判定する。
【００１６】
そして、商品情報抽出ルール生成手段によって、前記商品属性毎に判定された前記属性値の抽出箇所の各々と前記商品属性の商品属性名とのペアを、商品詳細情報ページから商品に関する情報を抽出する際に用いられる商品情報抽出ルールとして生成する。
【００１７】
このように、商品属性特徴とページ間共通箇所とを用いて、商品属性値抽出箇所候補が商品属性の属性値の抽出箇所であるか否かを判定することにより、人手によるルールの作成や学習データの生成を必要とせず、低いメンテナンスコストで商品情報抽出ルールを生成することができる。
【００１８】
また、本発明の商品情報抽出ルール生成プログラムは、コンピュータに、上記の商品情報抽出ルール生成方法の各ステップを実行させるためのプログラムである。
【発明の効果】
【００１９】
以上説明したように、本発明の商品情報抽出ルール生成方法、装置、及びプログラムによれば、商品属性特徴とページ間共通箇所とを用いて、商品属性値抽出箇所候補が商品属性の属性値の抽出箇所であるか否かを判定することにより、人手によるルールの作成や学習データの生成を必要とせず、低いメンテナンスコストで商品情報抽出ルールを生成することができる、という効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施の形態の商品情報抽出ルール生成装置の機能的構成を示すブロック図である。
【図２】商品詳細情報ページの一例を示す図である。
【図３】商品属性特徴の一例を示す図である。
【図４】ページ間共通箇所を特定する方法を説明するための図である。
【図５】テキストノード全体で文字列が同一となるページ間共通箇所を示す図である。
【図６】商品情報抽出ルールの一例を示す図である。
【図７】本発明の第１の実施の形態の商品情報抽出ルール生成装置における商品情報抽出ルール生成処理ルーチンの内容を示すフローチャートである。
【図８】本発明の第２の実施の形態の商品情報抽出ルール生成装置の機能的構成を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２２】
［第１の実施の形態］
＜システム構成＞
本発明の第１の実施の形態に係る商品情報抽出ルール生成装置１００は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する商品情報抽出ルール生成処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、入力部１０、及び演算部２０を含んだ構成で表すことができる。
【００２３】
入力部１０には、商品情報の抽出対象となるＥＣサイトの複数の商品詳細情報ページからなる商品詳細情報ページ群が入力される。例えば、図２に示すような商品詳細情報ページのデータが入力される。また、入力部１０には、図３に示すような、商品属性名と商品属性値に関する特徴とからなる商品属性毎の商品属性特徴が入力される。商品属性値に関する特徴は、商品属性値の周辺に出現する文字列の特徴、商品属性値の少なくとも一部として出現する文字列の特徴、及び商品属性値の出現位置に関するページ構造情報の特徴の少なくとも一つを含んでいる。例えば、商品属性が価格であれば、商品属性特徴として、文字列「価格」や通貨記号が商品属性値の前後に現れやすいことを示すページ間共通箇所の文字列の特徴、商品属性値が数字およびカンマ，コロン等からなる文字列であることを示す属性値文字種の特徴、ＨＴＭＬタグの属性に「ｐｒｉｃｅ」という文字列が現れやすいという特徴が入力される。なお、ページ間共通箇所の文字列の特徴は、商品属性値の一部として出現する文字列の特徴であってもよい。また、ページ間共通箇所の文字列の特徴が、商品属性の属性値の周辺に出現する文字列の特徴、又は属性値の少なくとも一部として出現する文字列の特徴の一例であり、属性値文字種の特徴が、属性値の少なくとも一部として出現する文字列の特徴の一例であり、ＨＴＭＬタグの属性に現れる文字列の特徴が、属性値の出現位置に関するページ構造情報の特徴の一例である。
【００２４】
演算部２０は、商品詳細情報ページ受付部２１、商品詳細情報ページ記憶部２２、商品属性特徴受付部２３、商品属性特徴記憶部２４、ページ間共通箇所特定部２５、ページ間共通箇所記憶部２６、商品属性値抽出箇所判定部２７、商品情報抽出ルール生成部２８、及び商品情報抽出ルール記憶部２９を備えている。
【００２５】
商品詳細情報ページ受付部２１は、入力部１０により入力された商品詳細情報ページ群を受け付け、商品詳細情報ページ記憶部２２に格納する。
【００２６】
商品属性特徴受付部２３は、入力部１０により入力された商品属性特徴を受け付け、商品属性特徴記憶部２４に格納する。
【００２７】
ページ間共通箇所特定部２５は、商品詳細情報ページ記憶部２２に格納された商品詳細情報ページ群を取出し、商品詳細情報ページ群内で同一の文字列が同一箇所に共通して表れる箇所を特定し、ページ間共通箇所としてページ間共通箇所記憶部２６に格納する。
【００２８】
ページ間共通箇所は、例えば、以下のように特定する。まず、商品詳細情報ページをHTMLパーサで読み込み、ドキュメントツリーのテキストノードを文字列の単位とし、その文字列の出現箇所を、そのテキストノードにルートから至るまでのパス上に出現するノード名をデリミタで区切り並べたものとして表わし、文字列とその文字列の出現箇所を示すラベルとのペアの集合に置き換えた上で、各ペアについて、商品詳細情報ページ群における、当該ペアが現れる商品詳細情報ページの割合を求め、割合が閾値を超えたときに、当該ペアを、共通に表れる文字列及び箇所（ルートからの同一パス）を示すペア（ページ間共通箇所）として採用する。
【００２９】
また、本実施の形態では、テキストノードの全体だけではなく、テキストノードの前方からの文字列あるいは後方からの文字列が一致するケースを求める。前者をプレフィックスと呼び、後者をサフィックスと呼ぶ。
【００３０】
プレフィックスの抽出方法としては、商品詳細情報ページ群を置き換えた、文字列とその文字列の出現箇所を示すラベルとのペアの集合において、同じ出現箇所（ルートからの同一パス）を示すラベルが存在する場合に、そのペアの文字列で前方から文字列長を一文字ずつ増やしながら部分文字列を取出し、その部分文字列の一致確率が1または一定の値以上である最長部分文字列を特定し、特定された最長部分文字列の文字列長が一定の範囲であれば、その部分文字列と出現箇所を示すラベルとのペアを、ページ間共通箇所として抽出する方法がある。サフィックスの抽出方法については、部分文字列の取出しを文字列の後方から行うことにより、プレフィックスと同様に抽出することができる。
【００３１】
テキストノード以外、例えば画像などを扱うときには、IMG要素のsrc属性の値をテキストノードの値として置き換え、同様に処理することができる。
【００３２】
ここで、図４（Ａ）、（Ｂ）の２つの商品詳細情報ページを比較するケースを考える。
【００３３】
図４（Ａ）の商品詳細情報ページから取得される文字列と文字列の箇所のペアは以下である。
【００３４】
/html/head/title/text() :花柄ワンピース
/html/body/img/text() : /img/site_log.jpg
/html/body/b/text():ようこそ花子さん
/html/body/h1/text() :花柄ワンピース
/html/body/img/text() ：/img/product/a12345.jpg
/html/body/table/tr/th/text() ：価格
/html/body/table/tr/td/text() ：9,800円税込
/html/body/div/b/text() ：お店からのコメント
/html/body/div/p/text() ：かわいい小花模様のワンピースです．シフォンならではの透明感のある柔らかな質感です．
【００３５】
図４（Ｂ）の商品詳細情報ページから取得される文字列と文字列の位置のペアは以下である。
【００３６】
/html/head/title/text() :格子模様ワンピース
/html/body/img/text() : /img/site_log.jpg
/html/body/b/text():ようこそ太郎さん
/html/body/h1/text() :格子模様ワンピース
/html/body/img/text() ：/img/product/b567811.jpg
/html/body/table/tr/th/text() ：価格
/html/body/table/tr/td/text() ：8,800円税込
/html/body/div/b/text() ：お店からのコメント
/html/body/div/p/text() ：秋色のモダンな格子柄．すとんとしたシンプルなシルエットが大人の雰囲気です．
【００３７】
テキストノード全体が同じ文字列であるときに共通箇所として特定する場合には、上記の２つの商品詳細情報ページでの共通箇所として以下が得られる。
【００３８】
/html/body/img/text() : /img/site_log.jpg
/html/body/table/tr/th/text() ：価格
/html/body/div/b/text() ：お店からのコメント
【００３９】
プレフィックス、またはサフィックスが一致するときに共通箇所として特定する場合には、上記の２つの商品詳細情報ページでの共通箇所として以下が得られる。
【００４０】
/html/body/b/text():ようこそ
/html/body/img/text() ：/img/product/
/html/head/title/text() :ワンピース
/html/body/b/text():さん
/html/body/h1/text() :ワンピース
/html/body/table/tr/td/text() ：00円税込
/html/body/div/p/text() ：です．
【００４１】
上記は、２つの商品詳細情報ページ間で比較を行ったものであり、同様の比較を複数の商品詳細情報ページ間で行うことで、商品詳細情報ページ群で共通して現れる箇所を特定することができる。
【００４２】
商品属性値抽出箇所判定部２７は、商品詳細情報ページ記憶部２２から商品詳細情報ページを取出し、すべての文字列を商品属性値抽出箇所候補として、商品属性特徴記憶部２４に商品属性特徴が記憶された商品属性毎に、当該商品属性値抽出箇所候補の値、および当該商品属性値抽出箇所候補の周辺から特定されたページ間共通箇所の値の特徴が、当該商品属性の商品属性特徴と合致するか否かにより、当該商品属性値抽出箇所候補が、当該商品属性の商品属性値抽出箇所であるかどうかを判定する。
【００４３】
図５に示す商品詳細情報ページから、上記図３に示す商品属性特徴を用いて、商品属性抽出箇所を判定する場合について説明する。上記図５の太字部分は、ページ間共通箇所特定部２５でページ間共通箇所として判定された箇所を表している。
【００４４】
まず、ページ間共通箇所特定部２５で特定されたページ間共通箇所のうち、テキストノードの全体が同一であるとして特定されたページ間共通箇所の場合には、各商品ごとの属性値が記載されている可能性は低いと推定されるため、商品属性値抽出箇所候補から除去する。
【００４５】
テキストノードの全体が同じ文字列となるページ間共通箇所を除いた商品属性値抽出箇所の候補は下記である。
【００４６】
/html/head/title/text() :花柄ワンピース
/html/body/b/text():ようこそ花子さん
/html/body/h1/text() :花柄ワンピース
/html/body/img/text() ：/img/product/a12345.jpg
/html/body/table/tr/td/text() ：9,800円税込
/html/body/div/p/text() ：かわいい小花模様のワンピースです．シフォンならではの透明感のある柔らかな質感です．
【００４７】
このうち例えば、「/html/body/b/text():ようこそ花子さん」はその値自身も周辺文字列も商品属性抽出特徴に当てはまらないため、商品属性値である可能性は低いと判定される。一方で、「/html/body/table/tr/td/text() ：9,800円税込」については、そのサフィックスが商品属性「価格」の特徴的な文字列を含み、かつ、同じテーブル要素の兄弟である、「/html/body/table/tr/th/text() ：価格」がページ間共通箇所であって、商品属性「価格」の特徴的な文字列を含むことから、商品属性「価格」に対する商品属性値抽出箇所であると判定される。
【００４８】
このようにして商品属性値抽出箇所として判定されるのは、上記商品属性「価格」に対するものほか、商品属性「商品名」に対して「/html/body/h1/text() :花柄ワンピース」、商品属性「商品画像」に対して「/html/body/img/text() ：/img/product/a12345.jpg」、商品属性「商品説明文」に対して「/html/body/div/p/text() ：かわいい小花模様のワンピースです．シフォンならではの透明感のある柔らかな質感です．」が商品属性値抽出箇所として判定される。
【００４９】
商品情報抽出ルール生成部２８は、商品属性値抽出箇所判定部２７の商品属性毎の判定結果に基づいて、商品属性名と商品属性値抽出箇所とのペアとしたものを商品情報抽出ルールとして生成して、商品情報抽出ルール記憶部２９に格納する。このとき、商品情報抽出ルールの表現としては、商品詳細情報ページをHTMLパーサで読み込み、ドキュメントツリー上の特定のノードの位置を指定することを目的とした構文であるXpath（http://www.w3.org/TR/xpath/）を用いることで汎用的なルールとすることが可能である。例えば、図６に示すように、商品属性値抽出箇所をXpathにより記述した商品属性抽出ルールが生成される。
【００５０】
＜商品情報抽出ルール生成装置の作用＞
第１の実施の形態に係る商品情報抽出ルール生成装置１００に、ユーザが入力部１０を操作することにより商品属性毎の商品属性特徴が入力されると、商品情報抽出ルール生成装置１００は、商品属性特徴受付部２３により、入力された商品属性毎の商品属性特徴を受け付けて、商品属性特徴記憶部２４に格納する。また、商品情報抽出ルール生成装置１００に、ユーザが入力部１０を操作することにより商品情報の抽出対象となる商品詳細情報ページ群が入力されると、商品情報抽出ルール生成装置１００において、図７に示す、商品情報抽出ルール生成処理ルーチンが実行される。
【００５１】
まず、ステップＳ１０１で、商品詳細情報ページ受付部２１によって、入力された商品詳細情報ページ群を受け付けて、商品詳細情報ページ記憶部２２に格納する。
【００５２】
次のステップＳ１０２では、ページ間共通箇所特定部２５によって、商品詳細情報ページ記憶部２２に格納された商品詳細情報ページ群から、ページ間共通箇所を特定し、ページ間共通箇所記憶部２６に格納する。
【００５３】
そして、ステップＳ１０３では、商品属性特徴記憶部２４に商品属性特徴が記憶されている商品属性のうち、処理対象とする商品属性を１つ設定する。ステップＳ１０４では、商品属性値抽出箇所判定部２７によって、商品詳細情報ページ群に含まれる文字列を商品属性値抽出箇所候補とし、当該商品属性値抽出箇所候補の周辺から上記ステップＳ１０２で特定されたページ間共通箇所と、処理対象の商品属性の商品属性特徴とを用いて、当該商品属性値抽出箇所候補が、処理対象の商品属性に対する商品属性値抽出箇所であるか否かを判定する。
【００５４】
次のステップＳ１０５では、商品属性特徴記憶部２４に商品属性特徴が記憶されている商品属性の全てについて上記ステップＳ１０４の処理を実行したか否かを判定する。上記ステップＳ１０４の処理を実行していない商品属性が存在する場合には、上記ステップＳ１０３へ戻り、当該商品属性を処理対象として設定する。一方、全ての商品属性について上記ステップＳ１０４の処理を実行した場合には、ステップＳ１０６へ進む。
【００５５】
ステップＳ１０６では、上記ステップＳ１０４の商品属性毎の判定結果に基づいて、商品属性名と商品属性値抽出箇所とのペアからなる集合を、商品情報抽出ルールとして生成して、商品情報抽出ルール記憶部２９に格納し、商品情報抽出ルール生成処理ルーチンを終了する。
【００５６】
以上説明したように、第１の実施の形態に係る商品情報抽出ルール生成装置によれば、商品属性ごとの抽出文字列の特徴や抽出箇所の周辺に現れる文字列の特徴等といった商品属性特徴を準備し、この商品属性特徴と、商品情報を抽出したい商品詳細情報ページ集合に含まれるページの相互比較によって得られるページ間共通箇所とを用いて、商品情報抽出ルールを自動生成することで、人手によるルールの作成や学習データの生成を必要とせず、低いメンテナンスコストで商品情報抽出ルールを生成することができる。
【００５７】
［第２の実施の形態］
＜システム構成＞
次に、第２の実施の形態に係る商品情報抽出ルール生成装置について説明する。なお、第２の実施の形態に係る商品情報抽出ルール生成装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。
【００５８】
第２の実施の形態では、商品属性特徴の各々に信頼度を与えて、信頼度の高い商品属性値抽出箇所を取り出すようにしている点が、第１の実施の形態と異なっている。
【００５９】
上記図３の商品属性「価格」の例のように、商品属性特徴が複数種類存在すること（例えば、属性値文字種、ページ間共通箇所、ＨＴＭＬタグの属性に現れやすい文字列）や、ページによって違う箇所が商品属性値と判定される可能性があるため、商品属性特徴の種類ごとにその商品属性特徴の信頼度を重みとして与える。
【００６０】
商品属性値抽出箇所判定部２７は、商品属性特徴の種類毎に与えられた信頼度を用いて、商品属性値抽出箇所の候補の得点を算出し、当該得点が閾値以上となる信頼度の高い商品属性値抽出箇所の候補を、商品属性値抽出箇所と判定する。
【００６１】
ここで、商品属性値抽出箇所候補の得点は、商品属性毎に、例えば、以下のように算出される。
【００６２】
まず、各商品詳細情報ページで、当該商品属性の商品属性特徴にあてはまるラベルと文字列のペアについて、商品属性特徴の種類ごとに与えられた信頼度に基づき、その文字列がどれくらい商品属性値らしさかを示す点数をつける。そして、上記の第１の実施の形態と同様に、ページ間共通箇所及び商品属性特徴をもとに、商品属性値抽出箇所の候補を作成する。
【００６３】
次に、全ての商品詳細情報ページにおいて得られた商品属性値抽出箇所の候補を集計し、商品属性値抽出箇所の全候補を得る。
【００６４】
そして、商品属性値抽出箇所の全候補の各々について、全ての商品詳細情報ページにおいて付与された当該商品属性値抽出箇所の候補の点数の合計を、当該商品属性値抽出箇所の候補の得点として算出する。
【００６５】
なお、上記の第２の実施の形態に係る商品情報抽出ルール生成装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００６６】
このように、商品属性特徴の種類毎に商品属性値らしさを示す点数を予め与えておき、商品属性特徴にあてはまるラベルと文字列のペアに対して、当該商品属性特徴に応じた点数をつけて、商品属性値抽出箇所の候補について得られる得点を用いることにより、商品属性値抽出箇所であるか否かを精度よく判定することができる。
【００６７】
なお、上記の実施の形態では、商品属性特徴の種類毎に点数をつけた場合を例に説明したが、これに限定されるものではない。例えば、商品属性特徴の同一種類の中でも、更に特徴毎（例えば、属性値文字種の「数値」、「カンマ」、「コロン」）に点数をつけるようにしてもよい。
【００６８】
［第３の実施の形態］
＜システム構成＞
次に、第３の実施の形態に係る商品情報抽出ルール生成装置について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００６９】
第３の実施の形態では、商品詳細情報ページを、ページの類似性に基づいて分類している点と、商品詳細情報ページの分類ごとに、商品情報抽出ルールを生成している点とが、主に第１の実施の形態と異なっている。
【００７０】
図８に示すように、第３の実施の形態に係る商品情報抽出ルール生成装置３００の演算部３２０は、商品詳細情報ページ受付部２１、商品詳細情報ページ記憶部２２、商品属性特徴受付部２３、商品属性特徴記憶部２４、ページ分類部３２３、分類結果記憶部３２４、ページ間共通箇所特定部３２５、ページ間共通箇所記憶部３２６、商品属性値抽出箇所判定部３２７、商品情報抽出ルール生成部３２８、及び商品情報抽出ルール記憶部３２９を備えている。
【００７１】
ページ分類部３２３は、商品詳細情報ページ記憶部２２に記憶された商品詳細情報ページ群を、ページの類似性により分類し、分類ごとにラベルを付与して、ラベルが付与された商品詳細情報ページ群を分類結果記憶部３２４に記憶する。なお、以下では、分類方法の一例として、ページ構造を用いて分類する場合について説明する。
【００７２】
ここで、商品詳細情報ページ群の分類は、例えば、非特許文献２（折原 大, 内海 彰, HTMLタグを用いたWebページのクラスタリング手法, 情報処理学会論文誌, 49(8), 2910-2921,2008年）に記載された手法を用いて行えばよく、以下のように行われる。
【００７３】
まず、分類対象となる各商品詳細情報ページｉをＨＴＭＬタグの情報を用いた特徴ベクトルＤｉで表現する。例えば、ＨＴＭＬタグの頻度に基づく特徴ベクトル、又はＨＴＭＬタグの木構造に基づく特徴ベクトルを生成する。
【００７４】
次に、上記の特徴ベクトルを用いて、各商品詳細情報ページ間の距離を計算する。例えば、特徴ベクトルＤｉを用いて、各商品詳細情報ページ間の距離ｄ（Ｄｉ，Ｄｉ）を求める。本実施の形態では、以下の（１）式に示すように、多次元のユークリッド空間の距離を用いる。
【００７５】
【数１】
2013143021.tif 000003
【００７６】
そして、商品詳細情報ページ間の距離ｄ（Ｄｉ，Ｄｉ）を用いて、クラスタリングを行う。本実施の形態では、商品詳細情報ページ群の個々の商品詳細情報ページをクラスタとする初期状態から距離の小さい２つのクラスタを順次併合していく、凝集型階層的クラスタリング法を用いる。ここで、併合されたクラスタと他のクラスタとの距離の再計算手法については、最短距離法、最長距離法、群平均法、重心法、Ｗａｒｄ法などの従来既知の手法を用いればよい。
【００７７】
ページ間共通箇所特定部３２５は、商品詳細情報ページの分類毎に、分類結果記憶部３２４から、当該分類のラベルから付与された商品詳細情報ページの集合を取出し、商品詳細情報ページの集合内で同一の文字列が同一箇所に共通して表れる箇所を特定し、ページ間共通箇所として、当該分類のラベルと共にページ間共通箇所記憶部３２６に格納する。
【００７８】
商品属性値抽出箇所判定部３２７は、商品詳細情報ページの分類毎に、分類結果記憶部３２４から、当該分類のラベルから付与された商品詳細情報ページの集合を取出し、すべての文字列を商品属性値抽出箇所候補として、商品属性特徴記憶部２４に商品属性特徴が記憶された商品属性毎に、当該商品属性値抽出箇所候補の値、および当該商品属性値抽出箇所候補の周辺であって、かつ、当該分類のラベルのページ間共通箇所の値の特徴が、商品属性特徴と合致するか否かにより、当該商品属性値抽出箇所候補が、当該分類に属する商品詳細情報ページに対する商品属性抽出箇所であるかどうかを判定する。
【００７９】
商品情報抽出ルール生成部３２８は、商品詳細情報ページの分類毎に、商品属性名と当該分類に対する商品属性値抽出箇所とのペアとしたものを、当該分類に属する商品詳細情報ページに対する商品情報抽出ルールとして生成して、商品情報抽出ルール記憶部３２９に格納する。
【００８０】
なお、上記の第３の実施の形態に係る商品情報抽出ルール生成装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００８１】
このように、商品詳細情報ページ群をページ構造に基づいて分類し、商品詳細情報ページの分類毎に商品情報抽出ルールを生成することにより、より適切な商品情報抽出ルールを自動生成することができる。
【００８２】
本発明は、上記実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００８３】
例えば、類似する文字列が同一箇所に共通して出現する箇所を、ページ間共通箇所として特定するようにしてもよい。この場合には、類似する単語を格納した単語辞書を用いて、ページ間の同一箇所に出現する文字列が類似するか否かを判断するようにすればよい。
【００８４】
また、上記の第３の実施の形態において、ページの類似性による分類として、ページに含まれる文字列の類似性により、商品詳細情報ページ群を分類するようにしてもよい。
【００８５】
また、上述の商品情報抽出ルール生成装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００８６】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【産業上の利用可能性】
【００８７】
本発明は、商品詳細情報ページから商品に関する情報を抽出する際に用いられる商品情報抽出ルールの自動生成方法として利用可能である。
【符号の説明】
【００８８】
１０   入力部
２０、３２０  演算部
２１   商品詳細情報ページ受付部
２３   商品属性特徴受付部
２５、３２５  ページ間共通箇所特定部
２７、３２７  商品属性値抽出箇所判定部
２８、３２８  商品情報抽出ルール生成部
１００、３００商品情報抽出ルール生成装置
３２３ ページ分類部
【図１】
2013143021.tif 000004
【図２】
2013143021.tif 000005
【図３】
2013143021.tif 000006
【図４】
2013143021.tif 000007
【図５】
2013143021.tif 000008
【図６】
2013143021.tif 000009
【図７】
2013143021.tif 000010
【図８】
2013143021.tif 000011