(57)【要約】【課題】少量の学習データで、レビュー文書であるか否かを適切に分類することができるようにする。【解決手段】文分割部２２によって、特定対象に関する情報が記載されたレビュー文書を含む複数の学習用のブログ文書の各々を、文単位で分割する。形態素解析部２３によって、各文に対して形態素解析処理を行い、素性抽出部２４によって、学習用のブログ文書の各文について、文の特徴を示す素性を抽出する。学習部２５によって、レビュー文書である学習用のブログ文書の各文について抽出された素性の各々を正例の学習データとし、レビュー文書でない学習用のブログ文書の各文について抽出された素性の各々を負例の学習データとして、入力された文がレビュー文書内の文であるか否かを分類するための分類モデルを学習する。【選択図】図１
2013131073.tif 000002
【特許請求の範囲】
【請求項１】
文分割手段によって、特定対象に関する情報が記載されたレビュー文書を含む複数の学習用文書の各々を、文単位で分割するステップと、
素性抽出手段によって、前記文分割手段によって分割された前記学習用文書の各文について、前記文の特徴を示す素性を抽出するステップと、
学習手段によって、前記複数の学習用文書の各文について抽出された前記素性の各々に基づいて、入力された文が前記レビュー文書内の文であるか否かを分類するための分類モデルを学習するステップと、
を含む分類モデル学習方法。
【請求項２】
前記学習手段によって学習するステップは、前記レビュー文書である前記学習用文書の各文について抽出された前記素性の各々を正例の素性とし、前記レビュー文書でない前記学習用文書の各文について抽出された前記素性の各々を負例の素性として、前記分類モデルを学習する請求項１記載の分類モデル学習方法。
【請求項３】
前記学習手段によって学習するステップは、前記学習用文書の各文のうちの前記特定対象に関する情報が記載されたレビュー文の各々について抽出された前記素性の各々を正例の素性とし、前記学習用文書の各文のうちの前記レビュー文でない文の各々について抽出された前記素性の各々を負例の素性として、前記分類モデルを学習する請求項１記載の分類モデル学習方法。
【請求項４】
入力文分割手段によって、入力された文書を、文単位で分割するステップと、
入力素性抽出手段によって、前記入力文分割手段によって分割された前記文書の各文について、前記素性を抽出するステップと、
分類手段によって、請求項１〜請求項３の何れか１項記載の分類モデル学習方法によって学習された前記分類モデルと、前記入力素性抽出手段によって抽出された各文の前記素性とに基づいて、前記文書の各文について、前記レビュー文書内の文であるか否かを分類するステップと、
判定手段によって、前記分類手段によって分類された前記文書の各文の分類結果に基づいて、前記入力された文書が前記レビュー文書であるか否かを判定するステップと、
を含むレビュー文書分類方法。
【請求項５】
前記文書を、ブログ文書とした請求項１〜請求項３の何れか１項記載の分類モデル学習方法。
【請求項６】
特定対象に関する情報が記載されたレビュー文書を含む複数の学習用文書の各々を、文単位で分割する文分割手段と、
前記文分割手段によって分割された前記学習用文書の各文について、前記文の特徴を示す素性を抽出する素性抽出手段と、
前記複数の学習用文書の各文について抽出された前記素性の各々に基づいて、入力された文が前記レビュー文書内の文であるか否かを分類するための分類モデルを学習する学習手段と、
を含む分類モデル学習装置
【請求項７】
コンピュータに、請求項１、２、３、又は５記載の分類モデル学習方法、あるいは請求項４記載のレビュー文書分類方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分類モデル学習方法、装置、プログラム、及びレビュー文書分類方法に係り、特に、文書がレビュー文書であるか否かを分類するための分類モデル学習方法、装置、プログラム、及びレビュー文書分類方法に関する。
【背景技術】
【０００２】
blog等の文書中の単語の分布を利用して、文書を分類する分類方法がある（例えば、非特許文献１）。この分類方法では、特定の分野に出現しやすい単語とそうでない単語があり、それらの分布を利用して分野ごとに文書を分類している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】平野耕一、古林紀哉、高橋淳一、「日本語圏ブログの自動分類」、情報処理学会研究報告、2005年
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、blog等のソーシャルメディアにおいて得られる文書がレビュー文書であるか否か分類する場合、文書が様々な書式で書かれる為に分類器を作成する際の学習データを大量に作成するのが非常に困難であり、また、少量の学習データではレビュー文書であるか否か適切に分類することができない、という問題がある。
【０００５】
本発明は、上記の事情を鑑みてなされたもので、少量の学習データで、レビュー文書であるか否かを適切に分類することができる分類モデル学習方法、装置、プログラム、及びレビュー文書分類方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明に係る分類モデル学習方法は、文分割手段によって、特定対象に関する情報が記載されたレビュー文書を含む複数の学習用文書の各々を、文単位で分割するステップと、素性抽出手段によって、前記文分割手段によって分割された前記学習用文書の各文について、前記文の特徴を示す素性を抽出するステップと、学習手段によって、前記複数の学習用文書の各文について抽出された前記素性の各々に基づいて、入力された文が前記レビュー文書内の文であるか否かを分類するための分類モデルを学習するステップと、を含む。
【０００７】
本発明に係る分類モデル学習装置は、特定対象に関する情報が記載されたレビュー文書を含む複数の学習用文書の各々を、文単位で分割する文分割手段と、前記文分割手段によって分割された前記学習用文書の各文について、前記文の特徴を示す素性を抽出する素性抽出手段と、前記複数の学習用文書の各文について抽出された前記素性の各々に基づいて、入力された文が前記レビュー文書内の文であるか否かを分類するための分類モデルを学習する学習手段とを含んで構成されている。
【０００８】
本発明に係る分類モデル学習方法及び分類モデル学習装置によれば、文分割手段によって、特定対象に関する情報が記載されたレビュー文書を含む複数の学習用文書の各々を、文単位で分割する。素性抽出手段によって、前記文分割手段によって分割された前記学習用文書の各文について、前記文の特徴を示す素性を抽出する。
【０００９】
そして、学習手段によって、前記複数の学習用文書の各文について抽出された前記素性の各々に基づいて、入力された文が前記レビュー文書内の文であるか否かを分類するための分類モデルを学習する。
【００１０】
このように、レビュー文書を含む学習用文書の各々を文単位に分割し、学習用文書の各文について抽出された素性の各々に基づいて、分類モデルを学習することにより、少量の学習データで、レビュー文書であるか否かを適切に分類することができる分類モデルを得ることができる。
【００１１】
本発明に係るレビュー文書分類方法は、入力文分割手段によって、入力された文書を、文単位で分割するステップと、入力素性抽出手段によって、前記入力文分割手段によって分割された前記文書の各文について、前記素性を抽出するステップと、分類手段によって、上記の分類モデル学習方法によって学習された前記分類モデルと、前記入力素性抽出手段によって抽出された各文の前記素性とに基づいて、前記文書の各文について、前記レビュー文書内の文であるか否かを分類するステップと、判定手段によって、前記分類手段によって分類された前記文書の各文の分類結果に基づいて、前記入力された文書が前記レビュー文書であるか否かを判定するステップと、を含む。
【００１２】
本発明に係るレビュー文書分類方法によれば、入力文分割手段によって、入力された文書を、文単位で分割する。入力素性抽出手段によって、前記入力文分割手段によって分割された前記文書の各文について、前記素性を抽出する。
【００１３】
そして、分類手段によって、学習された前記分類モデルと、前記入力素性抽出手段によって抽出された各文の前記素性とに基づいて、前記文書の各文について、前記レビュー文書内の文であるか否かを分類する。判定手段によって、前記分類手段によって分類された前記文書の各文の分類結果に基づいて、前記入力された文書が前記レビュー文書であるか否かを判定する。
【００１４】
このように、レビュー文書を含む学習用文書の各文について抽出された素性の各々に基づいて学習した分類モデルを用いて、入力された文書がレビュー文書であるか否かを判定することにより、少量の学習データで、レビュー文書であるか否かを適切に分類することができる。
【００１５】
本発明に係るプログラムは、コンピュータに、上記の分類モデル学習方法、あるいは上記のレビュー文書分類方法の各ステップを実行させるためのプログラムである。
【発明の効果】
【００１６】
以上説明したように、本発明の分類モデル学習方法、装置、及びプログラムによれば、レビュー文書を含む学習用文書の各々を文単位に分割し、学習用文書の各文について抽出された素性の各々に基づいて、分類モデルを学習することにより、少量の学習データで、レビュー文書であるか否かを適切に分類することができる分類モデルを得ることができる、という効果が得られる。
【００１７】
また、本発明のレビュー文書分類方法及びプログラムによれば、レビュー文書を含む学習用文書の各文について抽出された素性の各々に基づいて学習した分類モデルを用いて、入力された文書がレビュー文書であるか否かを判定することにより、少量の学習データで、レビュー文書であるか否かを適切に分類することができる、という効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態に係るレビュー文書分類装置の構成を示す概略図である。
【図２】入力されるブログ文書を示す図である。
【図３】レビュー文と非レビュー文とを説明するための図である。
【図４】（Ａ）入力されるブログ文書を示す図、（Ｂ）文に分割した結果を示す図、及び（Ｃ）各文について抽出された素性を示す図である。
【図５】各文に対する分類結果を示す図である。
【図６】本発明の実施の形態に係るレビュー文書分類装置における学習処理ルーチンの内容を示すフローチャートである。
【図７】本発明の実施の形態に係るレビュー文書分類装置における文書分類処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２０】
＜システム構成＞
本発明の実施の形態に係るレビュー文書分類装置１００は、ソーシャルメディア（例えば、ブログ)において得られたブログ文書が入力され、特定対象（例えば、店舗や商品)に関する客観的な情報または主観的な情報（例えば、口コミ情報などの意見）が記載されたレビュー文書であるか否かの判定結果を出力する。１つのブログ文書は１つ以上の文からなるテキストデータである。このレビュー文書分類装置１００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン及び文書分類処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図１に示すように、レビュー文書分類装置１００は、入力部１０と、演算部２０と、出力部３０とを備えている。
【００２１】
入力部１０は、学習用文書として入力された複数のブログ文書からなる文書群を受け付ける。例えば、ブログ文書として図２に示すようなデータを入力することができる。入力部１０は、学習用文書としてのブログ文書と共に、当該ブログ文書が、特定対象に関するレビュー文書であるか否かを示す教師情報の入力を、ブログ文書毎に受け付ける。
【００２２】
また、入力部１０は、分類対象として入力されたブログ文書を受け付ける。
【００２３】
なお、入力されるブログ文書は形態素解析済みであってもよく、この場合には、後述する形態素解析部２３、３２を省略することができる。
【００２４】
演算部２０は、文書データベース２１、文分割部２２、形態素解析部２３、素性抽出部２４、学習部２５、及びモデル記憶部２６を備えている。
【００２５】
文書データベース２１は、入力部１０により受け付けた学習用文書としての複数のブログ文書からなる文書群及びブログ文書毎の教師情報を記憶する。
【００２６】
文分割部２２は、文書データベース２１に記憶された文書群の各ブログ文書を、文単位に分割する。文分割の方法は既知の技術を用いればよく、例えば句読点や改行などが出現する箇所で分割すればよい。また、ブログ等のソーシャルメディアで得られる文書を利用する際には、顔文字、絵文字等が文区切りに利用されていることが多い。そのため、絵文字や顔文字を文区切りに利用してもよい。
【００２７】
形態素解析部２３は、各ブログ文書について、分割された文ごとに、既存の技術である形態素解析によって、当該文を単語に区切り、さらに各単語に品詞を付与し出力する。たとえば、ブログ文書が、「 表参道に行ったところ、すごい行列だったので覗いてみたら新商品の発売が始まっていました。買うつもりはなかったのですが、ついつられて、A社の新商品を買ってしまいました。・・・」である場合、 形態素解析結果として、「・・・（略）・・・A社（名詞）/の（格助詞）/新商品（名詞）/を（格助詞）/買（動詞語幹）/っ（動詞活用語尾）/て（動詞接尾辞）/しま（動詞語幹）/い（動詞活用語尾）/ました（動詞接尾辞）・・・（略）・・・」が得られる。
【００２８】
素性抽出部２４は、各ブログ文書について、分割された文ごとに、形態素解析によって得られた結果を利用して、機械学習に用いる、文の特徴を示す素性を作成する。例えば、文の素性として、文中の形態素の頻度分布（ヒストグラム)などを用いる。
【００２９】
レビュー文書には特定の感性表現および評価表現が多く出現することがある。そのため、感性表現・評価表現の有無および種類を素性として利用してもよい。また、顔文字・絵文字等を素性として利用してもよい。
【００３０】
また、ブログのようなソーシャルメディアのテキストでは、複数の文にまたいで評価している場合がある。そのため、前後の文の評価表現、形態素の頻度などを素性として利用しても良い。
【００３１】
素性抽出部２４は、図３に示すように、レビュー文書であるブログ文書中の文をすべてレビュー文とし、レビュー文の素性を、正例の学習データとしてメモリ（図示省略)に記憶する。また、素性抽出部２４は、非レビュー文書であるブログ文書中の文をすべて非レビュー文とし、非レビュー文の素性を、負例の学習データとしてメモリに記憶する。ブログの場合１文書当たり約１０文存在する為、例えば、１０００文ほど必要な学習であれば、１００個のブログ文書あれば、適切に学習できるようになる。
【００３２】
学習部２５は、学習用文書である文書群から得られた正例の学習データ（レビュー文の素性）及び負例の学習データ（非レビュー文の素性）を用いて、機械学習によって、入力された文がレビュー文書内の文であるか否かを分類するための分類モデルを作成して、モデル記憶部２６に記憶する。機械学習アルゴリズムとしては、例えばサポートベクトルマシン（SVM）やMarkov Logic Network (MLN)などのアルゴリズムを利用することができる。
【００３３】
モデル記憶部２６に記憶される分類モデルは、例えば、各素性に関する重みの数値を格納したものである。
【００３４】
また、演算部２０は、文分割部３１、形態素解析部３２、素性抽出部３３、分類部３４、及びレビュー文書判定部３５を備えている。なお、文分割部３１は、入力文分割手段の一例であり、素性抽出部３３は、入力素性抽出手段の一例である。
【００３５】
文分割部３１は、文分割部２２と同様に、図４（Ａ）に示すような入力された分類対象のブログ文書を、図４（Ｂ）に示すように文単位に分割する。
【００３６】
形態素解析部３２は、形態素解析部２３と同様に、分類対象のブログ文書について、分割された文ごとに、形態素解析によって、当該文を単語に区切り、さらに各単語に品詞を付与し出力する。
【００３７】
素性抽出部３３は、分類対象のブログ文書について、図４（Ｃ）に示すように、分割された文ごとに、形態素解析によって得られた結果を利用して、素性抽出部２４と同様に、文の特徴を示す素性を作成する。
【００３８】
分類部３４は、例えば、分類対象のブログ文書の各文について、例えば、抽出された素性を示す数値に、分類モデルが持つ対応する重みを乗算した数値の各々を要素とする特徴ベクトルを用いて、サポートベクトルマシンのアルゴリズムにより、当該文が、レビュー文書内の文であるか否かを分類する。これによって、図５に示すように、各文が、レビュー文であるか、非レビュー文であるかに分類される。
【００３９】
レビュー文書判定部３５は、分類対象のブログ文書について、レビュー文と分類された文の割合が、閾値以上である場合には、レビュー文書であると判定し、閾値未満である場合には、非レビュー文書であると判定する。
【００４０】
レビュー文書判定部３５による判定結果が、出力部３０より出力される。
【００４１】
＜レビュー文書分類装置の作用＞
次に、本実施の形態に係るレビュー文書分類装置１００の作用について説明する。まず、学習用文書としての複数のブログ文書である文書群と、当該複数のブログ文書の各々がレビュー文書であるか否かを示す教師情報とがレビュー文書分類装置１００に入力されると、レビュー文書分類装置１００によって、入力された文書群及び教師情報が、文書データベース２１へ格納される。そして、レビュー文書分類装置１００によって、図６に示す学習処理ルーチンが実行される。
【００４２】
まず、ステップＳ１０１において、文書データベース２１から１つのブログ文書を取り出す。そして、ステップＳ１０２において、文分割部２２によって、上記ステップＳ１０１において取り出されたブログ文書を、文単位で分割する。ステップＳ１０３では、形態素解析部２３によって、ブログ文書の各文に対して、形態素解析処理を行う。
【００４３】
次のステップＳ１０４では、素性抽出部２４によって、ブログ文書の各文について、上記ステップＳ１０３で得られた形態素解析結果に基づいて素性を抽出し、ステップＳ１０５において、当該ブログ文書がレビュー文書であれば、上記ステップＳ１０４で抽出された各文の素性を、レビュー文の素性（正例の学習データ）としてメモリに記憶し、当該ブログ文書が非レビュー文書であれば、上記ステップＳ１０４で抽出された各文の素性を、非レビュー文の素性（負例の学習データ）としてメモリに記憶する。
【００４４】
ステップＳ１０６では、文書データベース２１に記憶されている全てのブログ文書について、上記ステップＳ１０１〜Ｓ１０５の処理を実行したか否かを判定し、上記ステップＳ１０１〜Ｓ１０５の処理を実行していないブログ文書が存在する場合には、上記ステップＳ１０１へ戻り、当該ブログ文書を取り出す。一方、全てのブログ文書について、上記ステップＳ１０１〜Ｓ１０５の処理を実行した場合には、ステップＳ１０７へ進む。
【００４５】
ステップＳ１０７において、学習部２５によって、メモリに記憶された正例の学習データ及び負例の学習データを用いて、機械学習によって、分類モデルを学習し、ステップＳ１０８において、モデル記憶部２６に分類モデルを格納し、学習処理ルーチンを終了する。
【００４６】
そして、分類対象のブログ文書がレビュー文書分類装置１００に入力されると、レビュー文書分類装置１００によって、図７に示す文書分類処理ルーチンが実行される。
【００４７】
まず、ステップＳ１１１において、入力部１０により入力されたブログ文書を受け付ける。そして、ステップＳ１１２において、文分割部３１によって、上記ステップＳ１１１において入力されたブログ文書を、文単位で分割する。ステップＳ１１３では、形態素解析部３２によって、ブログ文書の各文に対して、形態素解析処理を行う。
【００４８】
次のステップＳ１１４では、素性抽出部３３によって、ブログ文書の各文について、素性を抽出する。ステップＳ１１５では、分類部３４によって、ブログ文書の各文について、上記ステップＳ１１４で抽出された素性と、モデル記憶部２６に記憶された分類モデルとに基づいて、当該文が、レビュー文であるか非レビュー文であるか分類する。
【００４９】
そして、ステップＳ１１６では、レビュー文書判定部３５によって、上記ステップＳ１１５でレビュー文であると分類された文の割合に基づいて、ブログ文書がレビュー文書であるか否かを判定する。ステップＳ１１７において、上記ステップＳ１１６の判定結果を出力部３０により出力して、文書分類処理ルーチンを終了する。
【００５０】
以上説明したように、本実施の形態に係るレビュー文書分類装置によれば、レビュー文書を含む学習用のブログ文書の各々を文単位に分割し、レビュー文書であるブログ文書の各文について抽出された素性の各々を正例の学習データとし、非レビュー文書であるブログ文書の各文について抽出された素性の各々を負例の学習データとして、分類モデルを学習することにより、少量の学習データで、レビュー文書であるか否かを適切に分類することができる分類モデルを得ることができる。
【００５１】
また、レビュー文書を含む学習用のブログ文書の各文について抽出された素性の各々に基づいて学習した分類モデルを用いて、入力されたブログ文書がレビュー文書であるか否かを判定することにより、少量の学習データで、レビュー文書であるか否かを適切に分類することができる。
【００５２】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００５３】
例えば、学習用のブログ文書の各文について、特定対象に関する客観的な情報又は主観的な情報が記載されたレビュー文であるか、あるいは非レビュー文であるかを手入力するようにしてもよい。この場合には、学習用のブログ文書の各文のうちレビュー文の各々について抽出された素性の各々を正例の学習データとし、学習用のブログ文書の各文のうち非レビュー文の各々について抽出された素性の各々を負例の学習データとして、学習部によって分類モデルを学習するようにすればよい。
【００５４】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００５５】
１０   入力部
２０   演算部
２１   文書データベース
２２、３１    文分割部
２３、３２    形態素解析部
２４、３３    素性抽出部
２５   学習部
２６   モデル記憶部
３４   分類部
３５   レビュー文書判定部
１００ レビュー文書分類装置
【図１】
2013131073.tif 000003
【図２】
2013131073.tif 000004
【図４】
2013131073.tif 000005
【図５】
2013131073.tif 000006
【図６】
2013131073.tif 000007
【図７】
2013131073.tif 000008
【図３】
2013131073.tif 000009