(57)【特許請求の範囲】
【請求項１】
サイト構造抽出手段によって、複数のページを含むＷｅｂサイトの分類対象ページのページ文書から、前記分類対象ページに到達するまでに経由する各ページに関する情報、あるいは前記分類対象ページを経由して到達する各ページに関する情報を表すサイト構造情報を抽出するステップと、
形態素解析手段によって、前記サイト構造抽出手段によって抽出された前記サイト構造情報に対して形態素解析を行うステップと、
素性抽出手段によって、前記形態素解析手段による形態素解析結果から得られる複数の形態素から、名詞句をつないでいる記号の形態素を除いた複数の形態素の表記と、当該複数の形態素の出現順序とを表わす素性を抽出するステップと、
分類手段によって、学習用文書から前記素性を用いて予め機械学習された、ページ文書が複数のカテゴリの何れに属するか否かを分類するための分類モデルと、前記素性抽出手段によってサイト構造情報から抽出された素性であり、名詞句をつないでいる記号の形態素を除いた複数の形態素の表記と当該複数の形態素の出現順序とを表わす素性とに基づいて、前記分類対象ページのページ文書が前記複数のカテゴリの何れに属するかを分類するステップと、
を含む文書分類方法。
【請求項２】
複数のページを含むＷｅｂサイトの分類対象ページのページ文書から、前記分類対象ページに到達するまでに経由する各ページに関する情報、あるいは前記分類対象ページを経由して到達する各ページに関する情報を表すサイト構造情報を抽出するサイト構造抽出手段と、
前記サイト構造抽出手段によって抽出された前記サイト構造情報に対して形態素解析を行う形態素解析手段と、
前記形態素解析手段による形態素解析結果から得られる複数の形態素から、名詞句をつないでいる記号の形態素を除いた複数の形態素の表記と、当該複数の形態素の出現順序とを表わす素性を抽出する素性抽出手段と、
学習用文書から前記素性を用いて予め機械学習された、ページ文書が複数のカテゴリの何れに属するか否かを分類するための分類モデルと、前記素性抽出手段によってサイト構造情報から抽出された素性であり、名詞句をつないでいる記号の形態素を除いた複数の形態素の表記と当該複数の形態素の出現順序とを表わす素性とに基づいて、前記分類対象ページのページ文書が前記複数のカテゴリの何れに属するかを分類する分類手段と、
を含む文書分類装置。
【請求項３】
コンピュータを、
複数のページを含むＷｅｂサイトの分類対象ページのページ文書から、前記分類対象ページに到達するまでに経由する各ページに関する情報、あるいは前記分類対象ページを経由して到達する各ページに関する情報を表すサイト構造情報を抽出するサイト構造抽出手段、
前記サイト構造抽出手段によって抽出された前記サイト構造情報に対して形態素解析を行う形態素解析手段、
前記形態素解析手段による形態素解析結果から得られる複数の形態素から、名詞句をつないでいる記号の形態素を除いた複数の形態素の表記と、当該複数の形態素の出現順序とを表わす素性を抽出する素性抽出手段、及び
学習用文書から前記素性を用いて予め機械学習された、ページ文書が複数のカテゴリの何れに属するか否かを分類するための分類モデルと、前記素性抽出手段によってサイト構造情報から抽出された素性であり、名詞句をつないでいる記号の形態素を除いた複数の形態素の表記と当該複数の形態素の出現順序とを表わす素性とに基づいて、前記分類対象ページのページ文書が前記複数のカテゴリの何れに属するかを分類する分類手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書分類方法、装置、及びプログラムに係り、特に、Ｗｅｂサイトのページ文書が何れのカテゴリに属するかを分類する文書分類方法、装置、及びプログラムに関する。
【背景技術】
【０００２】
文書中の単語のn-gramを利用して文書を分類する分類方法が知られている（例えば、特許文献１）。この分類方法では、特定のカテゴリに出現しやすい単語のn-gramを学習してモデルを作成している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】平野耕一、古林紀哉、高橋淳一、「日本語圏ブログの自動分類」、情報処理学会研究報告、2005年
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、文書中の単語全てのn-gramを手掛かりとして文書分類する場合、本文のカテゴリと関連の無い語が大量に含まれてしまい、ノイズとなってしまう。その結果、分類性能が低下する、という問題がある。
【０００５】
例えば、図５に示すテキストは、『ワンピース』カテゴリの文書中の本文だが、『ネックレス』、『ベルト』、『アクセサリー』、『ショートパンツ』など、『ワンピース』に関連するが他のカテゴリ名になっている単語や、他のカテゴリとも強く関連する単語が多く出現する。本文にはこのような単語が多く出現するため、分類誤りの原因となり、分類性能が低下してしまう。
【０００６】
本発明は、上記の事情を鑑みてなされたもので、Ｗｅｂサイトのページ文書を精度良く分類することができる文書分類方法、装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために本発明に係わる文書分類方法は、
サイト構造抽出手段によって、複数のページを含むＷｅｂサイトの分類対象ページのページ文書から、前記分類対象ページに到達するまでに経由する各ページに関する情報、あるいは前記分類対象ページを経由して到達する各ページに関する情報を表すサイト構造情報を抽出するステップと、
形態素解析手段によって、前記サイト構造抽出手段によって抽出された前記サイト構造情報に対して形態素解析を行うステップと、
素性抽出手段によって、前記形態素解析手段による形態素解析結果から得られる複数の形態素から、名詞句をつないでいる記号の形態素を除いた複数の形態素の表記と、当該複数の形態素の出現順序とを表わす素性を抽出するステップと、
分類手段によって、学習用文書から素性を用いて予め機械学習された、ページ文書が複数のカテゴリの何れに属するか否かを分類するための分類モデルと、前記素性抽出手段によってサイト構造情報から抽出された素性であり、名詞句をつないでいる記号の形態素を除いた複数の形態素の表記と当該複数の形態素の出現順序とを表わす素性とに基づいて、前記分類対象ページのページ文書が前記複数のカテゴリの何れに属するかを分類するステップと、
を含む。
【０００８】
本発明に係わる文書分類装置は、
複数のページを含むＷｅｂサイトの分類対象ページのページ文書から、前記分類対象ページに到達するまでに経由する各ページに関する情報、あるいは前記分類対象ページを経由して到達する各ページに関する情報を表すサイト構造情報を抽出するサイト構造抽出手段と、
前記サイト構造抽出手段によって抽出された前記サイト構造情報に対して形態素解析を行う形態素解析手段と、
前記形態素解析手段による形態素解析結果から得られる複数の形態素から、名詞句をつないでいる記号の形態素を除いた複数の形態素の表記と、当該複数の形態素の出現順序とを表わす素性を抽出する素性抽出手段と、
学習用文書から素性を用いて予め機械学習された、ページ文書が複数のカテゴリの何れに属するか否かを分類するための分類モデルと、前記素性抽出手段によってサイト構造情報から抽出された素性であり、名詞句をつないでいる記号の形態素を除いた複数の形態素の表記と当該複数の形態素の出現順序とを表わす素性とに基づいて、前記分類対象ページのページ文書が前記複数のカテゴリの何れに属するかを分類する分類手段と、
を含んで構成されている。
【０００９】
本発明に係わるプログラムは、
コンピュータを、
複数のページを含むＷｅｂサイトの分類対象ページのページ文書から、前記分類対象ページに到達するまでに経由する各ページに関する情報、あるいは前記分類対象ページを経由して到達する各ページに関する情報を表すサイト構造情報を抽出するサイト構造抽出手段、
前記サイト構造抽出手段によって抽出された前記サイト構造情報に対して形態素解析を行う形態素解析手段、
前記形態素解析手段による形態素解析結果から得られる複数の形態素から、名詞句をつないでいる記号の形態素を除いた複数の形態素の表記と、当該複数の形態素の出現順序とを表わす素性を抽出する素性抽出手段、及び
学習用文書から素性を用いて予め機械学習された、ページ文書が複数のカテゴリの何れに属するか否かを分類するための分類モデルと、前記素性抽出手段によってサイト構造情報から抽出された素性であり、名詞句をつないでいる記号の形態素を除いた複数の形態素の表記と当該複数の形態素の出現順序とを表わす素性とに基づいて、前記分類対象ページのページ文書が前記複数のカテゴリの何れに属するかを分類する分類手段
として機能させるためのプログラムである。
【発明の効果】
【００１０】
以上説明したように、本発明の文書分類方法、装置、及びプログラムによれば、Ｗｅｂサイトのページ文書から抽出されるサイト構造情報から素性を抽出して、ページ文書が複数のカテゴリの何れに属するかを分類することにより、Ｗｅｂサイトのページ文書を精度良く分類することができる、という効果が得られる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係るページ文書分類装置の構成を示す概略図である。
【図２】入力されるページ文書を示す図である。
【図３】パンくずリストの例を示す図である。
【図４】本発明の実施の形態に係るページ文書分類装置における文書分類処理ルーチンの内容を示すフローチャートである。
【図５】テキストの例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１３】
＜システム構成＞
本発明の実施の形態に係るページ文書分類装置１００は、ＷｅｂサイトのＨＴＭＬテキストであるページ文書が入力され、予め人手で用意された複数のカテゴリの中で、どのカテゴリに属するかの分類結果を出力する。このページ文書分類装置１００は、ＣＰＵと、ＲＡＭと、後述する文書分類処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図１に示すように、ページ文書分類装置１００は、入力部１０と、演算部２０と、出力部３０とを備えている。
【００１４】
入力部１０は、分類対象として入力された、複数のページで構成されるＷｅｂサイトのあるページのＨＴＭＬテキストであるページ文書を受け付ける。例えば、図２に示すようなＨＴＭＬテキストが、分類対象のページ文書として入力される。
【００１５】
演算部２０は、テキスト解析部２１、サイト構造抽出部２２、形態素解析部２３、素性抽出部２４、モデル記憶部２５、及び分類部２６を備えている。
【００１６】
テキスト解析部２１は、入力されたページ文書のＨＴＭＬテキストを解析し、サイト構造、本文、タイトルなどの切り出しを行う。
【００１７】
サイト構造抽出部２２は、テキスト解析部２１の解析結果に基づいて、入力されたページ文書のＨＴＭＬテキスト中のサイト構造情報を抽出する。サイト構造情報とは、分類対象ページに到達するまでに経由する各ページに関する情報を表し、例えば、ＨＴＭＬテキスト中のパンくずリスト部分から取得される。
【００１８】
商品ページなどはサイト構造情報を持っており、サイト構造情報に基づいて、Ｗｅｂサイトのトップページから当該商品のページへたどり着くまでに経由したページの情報を利用する。Ｗｅｂサイトのトップページから当該商品のページまで到達する間には、当該商品に関連のあるページを多く経由する事になるため、サイト構造情報から、当該商品のカテゴリと関連の深いキーワードを得ることができる。本実施の形態では、サイト構造情報として、パンくずリストを利用する場合を例に説明する。
【００１９】
サイト構造抽出部２２は、例えば、図３に示すようなパンくずリストを、サイト構造情報として抽出する。パンくずリストには、上記図３の例のように、サイトのトップページから当該ページまでに経由した各ページに関する情報が記されている。
【００２０】
形態素解析部２３は、サイト構造抽出部２２によって抽出されたサイト構造情報を表わすテキストを、既存の技術である形態素解析によって単語に区切り、さらに各単語に品詞を付与し、出力する。例えば、「トップ  ＞  鞄・財布  ＞  トートバッグ」というサイト構造情報のテキストが入力されると、形態素解析結果として、「トップ（名詞）/  （空白）/＞（Symbol）/  （空白）/鞄（名詞）/・（Symbol）/財布（名詞）．．．」が得られる。
【００２１】
素性抽出部２４は、サイト構造抽出部２２で抽出したサイト構造情報（パンくずリスト）を形態素解析した結果から得られる複数の形態素から、名詞句をつないでいる記号の形態素を除いた複数の形態素の表記と、当該複数の形態素の出現順序とを表わす素性を抽出する。
【００２２】
例えば、サイト構造「サイトトップ＞婦人装飾小物＞ハンドバッグ」から、素性として「（サイトトップ（婦人装飾小物（ハンドバッグ）））」が抽出される。なお、「家電＞掃除機＞商品A」のようなサイト構造があった場合、「家電→掃除機→商品A」の順番で出現したことが分かるような素性であれば、他の素性であってもよい。
【００２３】
モデル記憶部２５には、予め用意された複数のカテゴリ毎に、分類モデルが記憶されている。モデル記憶部２５に記憶される分類モデルは、複数のカテゴリ毎に学習部（図示省略）によって学習されたものである。
【００２４】
学習部は、カテゴリ毎に、学習用文書であるページ文書群から得られた正例の学習データ（当該カテゴリに属するページ文書から得られる素性）及び負例の学習データ（当該カテゴリに属しないページ文書から得られる素性）を用いて、機械学習によって、入力されたページ文書が当該カテゴリに属する否かを分類するための分類モデルを作成して、モデル記憶部２５に記憶する。例えば、１０個のカテゴリに分類したい場合、１０個のカテゴリそれぞれについて分類モデルを作成する。機械学習アルゴリズムとしては、例えばサポートベクトルマシン（SVM）やMarkov Logic Network (MLN)などのアルゴリズムを利用することができる。
【００２５】
分類部２６は、周知の技術である「one-versus-rest」に従って、学習器で作成した各カテゴリの分類モデルと、素性抽出部２４で抽出された素性とに基づいて、入力されたページ文書ごとに、ページ文書が属するカテゴリを出力する。具体的には、１０個のカテゴリについて作成した10個の分類モデルの各々を用いてスコア値を各々算出し、各カテゴリの中で最も大きなスコア値をつけたカテゴリを、当該ページ文書が属するカテゴリとする。
【００２６】
なお、学習器で、多値分類を行うための分類モデルを作成して、入力されたページ文書ごとに、素性抽出部２４で抽出された素性に基づき、多値分類を行うようにしてもよい。
【００２７】
分類部２６による分類結果として、入力されたページ文書とカテゴリとのペアが、出力部３０より出力される。
【００２８】
＜ページ文書分類装置の作用＞
次に、本実施の形態に係るページ文書分類装置１００の作用について説明する。まず、Ｗｅｂサイトから得られる学習用文書としての複数のページ文書である文書群と、当該複数のページ文書の各々が、予め用意された複数のカテゴリの何れに属するかを示す教師情報とがページ文書分類装置１００に入力されると、ページ文書分類装置１００の学習部によって、カテゴリ毎に分類モデルが作成され、モデル記憶部２５に格納される。
【００２９】
そして、複数のページから構成されるＷｅｂサイトの分類対象のページ文書がページ文書分類装置１００に入力されると、ページ文書分類装置１００によって、図４に示す文書分類処理ルーチンが実行される。
【００３０】
まず、ステップＳ１０１において、入力部１０により入力されたページ文書を受け付ける。そして、ステップＳ１０２において、テキスト解析部２１によって、上記ステップＳ１０１において入力されたページ文書のテキスト解析を行う。ステップＳ１０３では、サイト構造抽出部２２によって、上記ステップ１０２の解析結果に基づいて、ページ文書からサイト構造を抽出する。
【００３１】
そして、ステップＳ１０４では、形態素解析部２３によって、上記ステップＳ１０３で抽出したサイト構造のテキストに対して、形態素解析処理を行う。次のステップＳ１０５では、素性抽出部２４によって、上記ステップＳ１０３におけるサイト構造の形態素解析結果に基づいて、素性を抽出する。ステップＳ１０６では、分類部２６によって、上記ステップＳ１０５で抽出された素性と、モデル記憶部２５に記憶された各カテゴリの分類モデルとに基づいて、ページ文書が、どのカテゴリに属するか分類する。ステップＳ１０７において、上記ステップＳ１０６の分類結果とページ文書とを出力部３０により出力して、文書分類処理ルーチンを終了する。
【００３２】
以上説明したように、本実施の形態に係るページ文書分類装置によれば、Ｗｅｂサイトのページ文書から抽出されるサイト構造情報から素性を抽出して、ページ文書が複数のカテゴリの何れに属するかを分類することにより、Ｗｅｂサイトのページ文書を精度良く分類することができる。
【００３３】
従来技術ではページ文書のＨＴＭＬテキストの本文（DESCRIPTION）から、例えば「（バーバリーブロッサム（の（ランウェア（にも（登場（し（た（バッグ（の（ミニサイズ（が（登場（。））））））））））））…」のような素性を抽出していたが、本実施の形態では、サイト構造（TOPIC_PASS）に着目し、例えば「（サイトトップ（婦人装飾小物（ハンドバッグ）））」といった素性を抽出することにより、ノイズを少なく学習を行うため、分類性能の向上が可能になる。
【００３４】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００３５】
例えば、サイト構造情報として、分類対象ページに到達するまでに経由する各ページに関する情報を表わすものに限定されるものではなく、分類対象ページを経由して到達する各ページに関する情報を表すサイト構造情報を抽出するようにしてもよい。パンくずリストがないＨＴＭＬテキストであれば、ページ文書のＴＨＭＬテキストに含まれるリンク構造を抽出し、リンク先の各ページのタイトルをトピックとして、サイト構造情報を作成し、作成されたサイト構造情報から素性を抽出するようにしてもよい。
【００３６】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００３７】
１０   入力部
２０   演算部
２１   テキスト解析部
２２   サイト構造抽出部
２３   形態素解析部
２４   素性抽出部
２５   モデル記憶部
２６   分類部
３０   出力部
１００ ページ文書分類装置
【図１】
0005648008.tif 000002
【図２】
0005648008.tif 000003
【図３】
0005648008.tif 000004
【図４】
0005648008.tif 000005
【図５】
0005648008.tif 000006