(57)【要約】【課題】学習データの正例と負例のバランスを調整することができ、レビュー文書であるか否かを精度よく分類することができるようにする。【解決手段】評価文抽出部２３によって、レビュー文書を含む複数の学習用のブログ文書の各々から評価文を抽出して評価文書を作成する。素性抽出部２４によって、複数の学習用文書の各々から作成された評価文書の各々について素性を抽出する。学習部２５によって、レビュー文書である学習用のブログ文書について抽出された素性の各々を正例の素性とし、非レビュー文書である学習用のブログ文書について抽出された素性の各々を負例の素性として、入力された文書がレビュー文書であるか否かを分類するための分類モデルを学習する。【選択図】図１
2013131074.tif 000002
【特許請求の範囲】
【請求項１】
評価文抽出手段によって、特定対象に関する情報が記載されたレビュー文書を含む複数の学習用文書の各々から、予め定められた評価表現を含む評価文を抽出するステップと、
素性抽出手段によって、前記評価文抽出手段によって前記評価文が抽出された前記複数の学習用文書の各々について、前記学習用文書から抽出された前記評価文からなる文書の特徴を示す素性、又は前記学習用文書の特徴を示す素性を抽出するステップと、
学習手段によって、前記レビュー文書である前記学習用文書について抽出された前記素性の各々を正例の素性とし、前記レビュー文書でない前記学習用文書について抽出された前記素性の各々を負例の素性として、入力された文書が前記レビュー文書であるか否かを分類するための分類モデルを学習するステップと、
を含む分類モデル学習方法。
【請求項２】
文分割手段によって、特定対象に関する情報が記載されたレビュー文書を含む複数の学習用文書の各々を、文単位で分割するステップと、
評価文抽出手段によって、前記複数の学習用文書の各々から、予め定められた評価表現を含む評価文を抽出するステップと、
素性抽出手段によって、前記評価文抽出手段によって前記評価文が抽出された前記複数の学習用文書の各々について、前記学習用文書から抽出された前記評価文の各々の特徴を示す素性、又は前記学習用文書の各文の素性を抽出するステップと、
学習手段によって、前記複数の学習用文書の各評価文又は各文について抽出された前記素性の各々に基づいて、入力された文が前記レビュー文書内の文であるか否かを分類するための前記分類モデルを学習するステップと、
を含む分類モデル学習方法。
【請求項３】
前記学習手段によって学習するステップは、前記レビュー文書である前記学習用文書の各評価文又は各文について抽出された前記素性の各々を正例の素性とし、前記レビュー文書でない前記学習用文書の各評価文又は各文について抽出された前記素性の各々を負例の素性として、前記分類モデルを学習する請求項２記載の分類モデル学習方法。
【請求項４】
前記学習手段によって学習するステップは、前記学習用文書の各評価文又は各文のうちの前記特定対象に関する情報が記載されたレビュー文の各々について抽出された前記素性の各々を正例の素性とし、前記学習用文書の各評価文又は各文のうちの前記レビュー文でない文の各々について抽出された前記素性の各々を負例の素性として、前記分類モデルを学習する請求項２記載の分類モデル学習方法。
【請求項５】
入力素性抽出手段によって、入力された文書内の前記評価文からなる文書の特徴を示す素性、又は前記入力された文書の特徴を示す素性を抽出するステップと、
分類手段によって、請求項１記載の分類モデル学習方法によって学習された前記分類モデルと、前記入力素性抽出手段によって抽出された前記素性とに基づいて、前記入力された文書が前記レビュー文書であるか否かを分類するステップと、
を含むレビュー文書分類方法。
【請求項６】
入力文分割手段によって、入力された文書を、文単位で分割するステップと、
入力素性抽出手段によって、前記入力された文書から抽出される前記評価文の各々の素性、又は前記入力された文書の各文の素性を抽出するステップと、
分類手段によって、請求項２〜請求項４の何れか１項記載の分類モデル学習方法によって学習された前記分類モデルと、前記入力素性抽出手段によって抽出された各評価文の前記素性又は各文の前記素性とに基づいて、前記入力された文書の各評価文又は各文について、前記レビュー文書内の文であるか否かを分類するステップと、
判定手段によって、前記分類手段によって分類された各評価文の分類結果又は前記文書の各文の分類結果に基づいて、前記入力された文書が前記レビュー文書であるか否かを判定するステップと、
を含むレビュー文書分類方法。
【請求項７】
特定対象に関する情報が記載されたレビュー文書を含む複数の学習用文書の各々から、予め定められた評価表現を含む評価文を抽出する評価文抽出手段と、
前記評価文抽出手段によって前記評価文が抽出された前記複数の学習用文書の各々について、前記学習用文書から抽出された前記評価文からなる文書の特徴を示す素性、又は前記学習用文書の特徴を示す素性を抽出する素性抽出手段と、
前記レビュー文書である前記学習用文書について抽出された前記素性の各々を正例の素性とし、前記レビュー文書でない前記学習用文書について抽出された前記素性の各々を負例の素性として、入力された文書が前記レビュー文書であるか否かを分類するための分類モデルを学習する学習手段と、
を含む分類モデル学習装置
【請求項８】
コンピュータに、請求項１〜請求項４の何れか１項記載の分類モデル学習方法、あるいは請求項５又は６記載のレビュー文書分類方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分類モデル学習方法、装置、プログラム、及びレビュー文書分類方法に係り、特に、文書がレビュー文書であるか否かを分類するための分類モデル学習方法、装置、プログラム、及びレビュー文書分類方法に関する。
【背景技術】
【０００２】
blog等の文書中の単語の分布を利用して、文書を分類する分類方法がある（例えば、非特許文献１）。この分類方法では、特定の分野に出現しやすい単語とそうでない単語があり、それらの分布を利用して分野ごとに文書を分類している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】平野耕一、古林紀哉、高橋淳一、「日本語圏ブログの自動分類」、情報処理学会研究報告、2005年
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、blog等のソーシャルメディアにおいて得られる文書から、レビュー文書を抽出する場合、レビュー文書になりえる文書数が、非レビュー文書と比べて少ない。例えば、飲食店に関するブログの内、全体の８割が非レビュー文書であり、レビュー文書は全体の２割程度しか存在しない。そのため、学習器を利用する際に正例と負例のバランスが悪くなり、学習結果として得られる分類モデルの分類性能の低下を招く場合がある。
【０００５】
本発明は、上記の事情を鑑みてなされたもので、学習データの正例と負例のバランスを調整することができ、レビュー文書であるか否かを精度よく分類することができる分類モデル学習方法、装置、プログラム、及びレビュー文書分類方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために第１の発明に係る分類モデル学習方法は、評価文抽出手段によって、特定対象に関する情報が記載されたレビュー文書を含む複数の学習用文書の各々から、予め定められた評価表現を含む評価文を抽出するステップと、素性抽出手段によって、前記評価文抽出手段によって前記評価文が抽出された前記複数の学習用文書の各々について、前記学習用文書から抽出された前記評価文からなる文書の特徴を示す素性、又は前記学習用文書の特徴を示す素性を抽出するステップと、学習手段によって、前記レビュー文書である前記学習用文書について抽出された前記素性の各々を正例の素性とし、前記レビュー文書でない前記学習用文書について抽出された前記素性の各々を負例の素性として、入力された文書が前記レビュー文書であるか否かを分類するための分類モデルを学習するステップと、を含む。
【０００７】
第２の発明に係る分類モデル学習装置は、特定対象に関する情報が記載されたレビュー文書を含む複数の学習用文書の各々から、予め定められた評価表現を含む評価文を抽出する評価文抽出手段と、前記評価文抽出手段によって前記評価文が抽出された前記複数の学習用文書の各々について、前記学習用文書から抽出された前記評価文からなる文書の特徴を示す素性、又は前記学習用文書の特徴を示す素性を抽出する素性抽出手段と、前記レビュー文書である前記学習用文書について抽出された前記素性の各々を正例の素性とし、前記レビュー文書でない前記学習用文書について抽出された前記素性の各々を負例の素性として、入力された文書が前記レビュー文書であるか否かを分類するための分類モデルを学習する学習手段と、を含んで構成されている。
【０００８】
第１の発明に係る分類モデル学習方法及び第２の発明に係る分類モデル学習装置によれば、評価文抽出手段によって、特定対象に関する情報が記載されたレビュー文書を含む複数の学習用文書の各々から、予め定められた評価表現を含む評価文を抽出する。素性抽出手段によって、前記評価文抽出手段によって前記評価文が抽出された前記複数の学習用文書の各々について、前記学習用文書から抽出された前記評価文からなる文書の特徴を示す素性、又は前記学習用文書の特徴を示す素性を抽出する。
【０００９】
そして、学習手段によって、前記レビュー文書である前記学習用文書について抽出された前記素性の各々を正例の素性とし、前記レビュー文書でない前記学習用文書について抽出された前記素性の各々を負例の素性として、入力された文書が前記レビュー文書であるか否かを分類するための分類モデルを学習する。
【００１０】
このように、学習用文書から評価文を抽出し、評価文が抽出された複数の学習用文書の各々について抽出された素性の各々に基づいて、分類モデルを学習することにより、学習データの正例と負例のバランスを調整することができ、レビュー文書であるか否かを精度よく分類することができる。
【００１１】
第３の発明に係る分類モデル学習方法は、文分割手段によって、特定対象に関する情報が記載されたレビュー文書を含む複数の学習用文書の各々を、文単位で分割するステップと、評価文抽出手段によって、前記複数の学習用文書の各々から、予め定められた評価表現を含む評価文を抽出するステップと、素性抽出手段によって、前記評価文抽出手段によって前記評価文が抽出された前記複数の学習用文書の各々について、前記学習用文書から抽出された前記評価文の各々の特徴を示す素性、又は前記学習用文書の各文の素性を抽出するステップと、学習手段によって、前記複数の学習用文書の各評価文又は各文について抽出された前記素性の各々に基づいて、入力された文が前記レビュー文書内の文であるか否かを分類するための前記分類モデルを学習するステップと、を含む。
【００１２】
このように、レビュー文書を含む学習用文書の各々を文単位に分割すると共に、学習用文書から評価文を抽出し、評価文が抽出された学習用文書の各文について抽出された素性の各々に基づいて、分類モデルを学習することにより、学習データの正例と負例のバランスを調整することができ、レビュー文書であるか否かを精度よく分類することができる。
【００１３】
第４の発明に係るレビュー文書分類方法は、入力素性抽出手段によって、入力された文書内の前記評価文からなる文書の特徴を示す素性、又は前記入力された文書の特徴を示す素性を抽出するステップと、分類手段によって、上記第１の発明に係る分類モデル学習方法によって学習された前記分類モデルと、前記入力素性抽出手段によって抽出された前記素性とに基づいて、前記入力された文書が前記レビュー文書であるか否かを分類するステップと、を含む。
【００１４】
このように、レビュー文書を含む学習用文書のうち、評価文が抽出された学習用文書について抽出された素性の各々に基づいて学習した分類モデルを用いて、入力された文書がレビュー文書であるか否かを判定することにより、正例と負例のバランスを調整した学習データで、レビュー文書であるか否かを精度よく分類することができる。
【００１５】
第５の発明に係るレビュー文書分類方法は、入力文分割手段によって、入力された文書を、文単位で分割するステップと、入力素性抽出手段によって、前記入力された文書から抽出される前記評価文の各々の素性、又は前記入力された文書の各文の素性を抽出するステップと、分類手段によって、第３の発明に係る分類モデル学習方法によって学習された前記分類モデルと、前記入力素性抽出手段によって抽出された各評価文の前記素性又は各文の前記素性とに基づいて、前記入力された文書の各評価文又は各文について、前記レビュー文書内の文であるか否かを分類するステップと、判定手段によって、前記分類手段によって分類された各評価文の分類結果又は前記文書の各文の分類結果に基づいて、前記入力された文書が前記レビュー文書であるか否かを判定するステップと、を含む。
【００１６】
このように、レビュー文書を含む学習用文書のうち、評価文が抽出された学習用文書の各文について抽出された素性の各々に基づいて学習した分類モデルを用いて、入力された文書がレビュー文書であるか否かを判定することにより、正例と負例のバランスを調整した学習データで、レビュー文書であるか否かを精度よく分類することができる。
【００１７】
第６の発明に係るプログラムは、コンピュータに、上記の分類モデル学習方法、あるいは上記のレビュー文書分類方法の各ステップを実行させるためのプログラムである。
【発明の効果】
【００１８】
以上説明したように、本発明の分類モデル学習方法、装置、及びプログラムによれば、学習データの正例と負例のバランスを調整することができ、レビュー文書であるか否かを精度よく分類することができる、という効果が得られる。
【００１９】
また、本発明のレビュー文書分類方法及びプログラムによれば、正例と負例のバランスを調整した学習データで、レビュー文書であるか否かを精度よく分類することができる、という効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施の形態に係るレビュー文書分類装置の構成を示す概略図である。
【図２】入力されるブログ文書を示す図である。
【図３】（Ａ）入力されるブログ文書を示す図、（Ｂ）形態素解析結果を示す図、及び（Ｃ）評価文書を示す図である。
【図４】本発明の第１の実施の形態に係るレビュー文書分類装置における学習処理ルーチンの内容を示すフローチャートである。
【図５】本発明の第１の実施の形態に係るレビュー文書分類装置における文書分類処理ルーチンの内容を示すフローチャートである。
【図６】本発明の第２の実施の形態に係るレビュー文書分類装置の構成を示す概略図である。
【図７】レビュー文書と非レビュー文書から得られる学習データを説明するための図である。
【図８】各評価文について抽出された素性を示す図である。
【図９】各評価文に対する分類結果を示す図である。
【図１０】本発明の第２の実施の形態に係るレビュー文書分類装置における学習処理ルーチンの内容を示すフローチャートである。
【図１１】本発明の第２の実施の形態に係るレビュー文書分類装置における文書分類処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２２】
[第１の実施の形態]
＜システム構成＞
本発明の第１の実施の形態に係るレビュー文書分類装置１００は、ソーシャルメディア（例えば、ブログ)において得られたブログ文書が入力され、特定対象（例えば、店舗や商品)に関する客観的な情報または主観的な情報（例えば、口コミ情報などの意見）が記載されたレビュー文書であるか否かの判定結果を出力する。１つのブログ文書は１つ以上の文からなるテキストデータである。このレビュー文書分類装置１００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン及び文書分類処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図１に示すように、レビュー文書分類装置１００は、入力部１０と、演算部２０と、出力部３０とを備えている。
【００２３】
入力部１０は、学習用文書として入力された複数のブログ文書からなる文書群を受け付ける。例えば、ブログ文書として図２に示すようなデータを入力することができる。入力部１０は、学習用文書としてのブログ文書と共に、当該ブログ文書が、特定対象に関するレビュー文書であるか否かを示す教師情報の入力を、ブログ文書毎に受け付ける。
【００２４】
また、入力部１０は、分類対象として入力されたブログ文書を受け付ける。
【００２５】
なお、入力されるブログ文書は形態素解析済みであってもよく、この場合には、後述する形態素解析部２２、３１を省略することができる。
【００２６】
演算部２０は、文書データベース２１、形態素解析部２２、評価文抽出部２３、素性抽出部２４、学習部２５、及びモデル記憶部２６を備えている。
【００２７】
文書データベース２１は、入力部１０により受け付けた学習用文書としての複数のブログ文書からなる文書群及びブログ文書毎の教師情報を記憶する。
【００２８】
形態素解析部２２は、各ブログ文書について、分割された文ごとに、既存の技術である形態素解析によって、当該文を単語に区切り、さらに各単語に品詞を付与し出力する。たとえば、ブログ文書が、図３（Ａ）に示すように、「A社の新商品を買ってしまいました。・・・」である場合、 形態素解析結果として、図３（Ｂ）に示すように、「A社（名詞）/の（格助詞）/新商品（名詞）/を（格助詞）/買（動詞語幹）/っ（動詞活用語尾）/て（動詞接尾辞）/しま（動詞語幹）/い（動詞活用語尾）/ました（動詞接尾辞）・・・（略）・・・」が得られる。
【００２９】
評価文抽出部２３は、各ブログ文書について、形態素解析結果に基づいて、予め用意された評価表現が出現する評価文のみを抽出して、図３（Ｃ）に示すような評価文のみで構成された評価文書（非評価文が取り除かれた文書）を作成することにより、評価文のみで構成された評価文書の集合を作成する。このとき、当該評価文書の集合から、評価文の出現しない文書は削除される。
【００３０】
ここで、評価文は非レビュー文書と比べると、レビュー文書に多く出現する傾向にある。
入力された学習用のブログ文書から、非評価文を抜き取ることで、評価文書の集合中の非レビュー文書の割合を減少させることが可能になる。
【００３１】
評価表現はあらかじめ作成した評価表現の辞書に基づいて取得される。評価表現の辞書には、例えば、「美味しい」、「綺麗」、「美しい」、「可愛い」、「おしゃれ」、「大きい」、「小さい」、「少ない」、「態度が悪い」、「汚い」、「まずい」などが含まれる。対象がブログのようなソーシャルメディアである場合、顔文字や絵文字、記号などを評価表現として利用しても良い。
【００３２】
素性抽出部２４は、各ブログ文書について、作成された評価文書ごとに、形態素解析によって得られた結果を利用して、機械学習に用いる、文書の特徴を示す素性を作成する。例えば、文書の素性として、文書中の形態素の頻度分布（ヒストグラム)などを用いる。
【００３３】
レビュー文書には特定の感性表現および評価表現が多く出現することがある。そのため、感性表現・評価表現の有無および種類を素性として利用してもよい。また、顔文字・絵文字等を素性として利用してもよい。
【００３４】
素性抽出部２４は、レビュー文書であるブログ文書から作成された評価文書の素性を、正例の学習データとしてメモリ（図示省略）に記憶する。また、素性抽出部２４は、非レビュー文書であるブログ文書から作成された評価文書の素性を、負例の学習データとしてメモリに記憶する。
【００３５】
学習部２５は、学習用文書である文書群から得られた正例の学習データ（レビュー文書から作成された評価文書の素性）及び負例の学習データ（非レビュー文書から作成された評価文書の素性）を用いて、機械学習によって、入力された文書がレビュー文書であるか否かを分類するための分類モデルを作成して、モデル記憶部２６に記憶する。機械学習アルゴリズムとしては、例えばサポートベクトルマシン（SVM）やMarkov Logic Network (MLN)などのアルゴリズムを利用することができる。
【００３６】
モデル記憶部２６に記憶される分類モデルは、例えば、各素性に関する重みの数値を格納したものである。
【００３７】
また、演算部２０は、形態素解析部３１、評価文抽出部３２、素性抽出部３３、及び分類部３４を備えている。なお、素性抽出部３３は、入力素性抽出手段の一例である。
【００３８】
形態素解析部３１は、形態素解析部２２と同様に、分類対象のブログ文書について、形態素解析によって、当該文書を単語に区切り、さらに各単語に品詞を付与し出力する。
【００３９】
評価文抽出部３２は、評価文抽出部３２と同様に、分類対象のブログ文書について、形態素解析結果に基づいて、予め用意された評価表現が出現する評価文のみを抽出して、評価文書（非評価文が取り除かれた文書）を作成する。このとき、分類対象のブログ文書が評価文の出現しない文書である場合には、後段の処理を行わずに、非レビュー文書であると分類すればよい。
【００４０】
素性抽出部３３は、分類対象のブログ文書から作成された評価文書について、形態素解析によって得られた結果を利用して、素性抽出部２４と同様に、文書の特徴を示す素性を作成する。
【００４１】
分類部３４は、例えば、分類対象のブログ文書から作成された評価文書について、例えば、抽出された素性を示す数値に、分類モデルが持つ対応する重みを乗算した数値の各々を要素とする特徴ベクトルを用いて、サポートベクトルマシンのアルゴリズムにより、当該文書が、レビュー文書であるか否かを分類する。
【００４２】
分類部３４による分類結果が、出力部３０より出力される。
【００４３】
＜レビュー文書分類装置の作用＞
次に、第１の実施の形態に係るレビュー文書分類装置１００の作用について説明する。まず、学習用文書としての複数のブログ文書である文書群と、当該複数のブログ文書の各々がレビュー文書であるか否かを示す教師情報とがレビュー文書分類装置１００に入力されると、レビュー文書分類装置１００によって、入力された文書群及び教師情報が、文書データベース２１へ格納される。そして、レビュー文書分類装置１００によって、図４に示す学習処理ルーチンが実行される。
【００４４】
まず、ステップＳ１０１において、文書データベース２１から１つのブログ文書を取り出す。そして、ステップＳ１０２において、形態素解析部２２によって、上記ステップＳ１０１において取り出されたブログ文書に対して、形態素解析処理を行う。
【００４５】
次のステップＳ１０３では、評価文抽出部２３によって、上記ステップＳ１０３で得られた形態素解析結果と、予め用意した評価表現の辞書とに基づいて、ブログ文書から評価文を抽出し、評価文書を作成する。ステップＳ１０４では、素性抽出部２４によって、上記ステップＳ１０３で作成された評価文書について、上記ステップＳ１０２で得られた形態素解析結果に基づいて素性を抽出し、ステップＳ１０５において、当該ブログ文書がレビュー文書であれば、上記ステップＳ１０４で抽出された評価文書の素性を、レビュー文書の素性（正例の学習データ）としてメモリに記憶し、当該ブログ文書が非レビュー文書であれば、上記ステップＳ１０４で抽出された評価文書の素性を、非レビュー文書の素性（負例の学習データ）としてメモリに記憶する。
【００４６】
ステップＳ１０６では、文書データベース２１に記憶されている全てのブログ文書について、上記ステップＳ１０１〜Ｓ１０５の処理を実行したか否かを判定し、上記ステップＳ１０１〜Ｓ１０５の処理を実行していないブログ文書が存在する場合には、上記ステップＳ１０１へ戻り、当該ブログ文書を取り出す。一方、全てのブログ文書について、上記ステップＳ１０１〜Ｓ１０５の処理を実行した場合には、ステップＳ１０７へ進む。
【００４７】
ステップＳ１０７において、学習部２５によって、メモリに記憶された正例の学習データ及び負例の学習データを用いて、機械学習によって、分類モデルを学習し、ステップＳ１０８において、モデル記憶部２６に分類モデルを格納し、学習処理ルーチンを終了する。
【００４８】
そして、分類対象のブログ文書がレビュー文書分類装置１００に入力されると、レビュー文書分類装置１００によって、図５に示す文書分類処理ルーチンが実行される。
【００４９】
まず、ステップＳ１１１において、入力部１０により入力されたブログ文書を受け付ける。そして、ステップＳ１１２において、形態素解析部３１によって、上記ステップＳ１１１において入力されたブログ文書に対して、形態素解析処理を行う。
【００５０】
次のステップＳ１１３では、評価文抽出部３２によって、上記ステップＳ１１２で得られた形態素解析結果と、予め用意した評価表現の辞書とに基づいて、ブログ文書から評価文を抽出し、評価文書を作成する。
【００５１】
次のステップＳ１１４では、素性抽出部３３によって、上記ステップＳ１１３で作成されたブログ文書の評価文書について、素性を抽出する。ステップＳ１１５では、分類部３４によって、上記ステップＳ１１４で抽出された素性と、モデル記憶部２６に記憶された分類モデルとに基づいて、当該ブログ文書が、レビュー文書であるか分類する。
【００５２】
そして、ステップＳ１１６では、上記ステップＳ１１５の分類結果を出力部３０により出力して、文書分類処理ルーチンを終了する。
【００５３】
以上説明したように、第１の実施の形態に係るレビュー文書分類装置によれば、複数の学習用のブログ文書の各々から評価文を抽出し、評価文が含まれていた学習用のブログ文書から作成された評価文書の各々について抽出された素性の各々に基づいて、分類モデルを学習することにより、学習データの正例と負例のバランスを調整することができ、レビュー文書であるか否かを精度よく分類することが可能な分類モデルを学習することができる。
【００５４】
また、レビュー文書を含む学習用のブログ文書のうち、評価文が含まれていた学習用のブログ文書から作成された評価文書について抽出された素性の各々に基づいて学習した分類モデルを用いて、入力されたブログ文書がレビュー文書であるか否かを判定することにより、正例と負例のバランスを調整した学習データで、レビュー文書であるか否かを精度よく分類することができる。
【００５５】
［第２の実施の形態］
＜システム構成＞
次に、第２の実施の形態に係るレビュー文書分類装置について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００５６】
第２の実施の形態では、ブログ文書を文単位で分割し、各文の素性を抽出して、分類モデルの学習を行っている点が、第１の実施の形態と異なっている。
【００５７】
図６に示すように、第２の実施の形態に係るレビュー文書分類装置２００の演算部２２０は、文書データベース２１、文分割部２２２、形態素解析部２２、評価文抽出部２３、素性抽出部２２４、学習部２２５、及びモデル記憶部２６を備えている。
【００５８】
文分割部２２２は、文書データベース２１に記憶された文書群の各ブログ文書を、文単位に分割する。文分割の方法は既知の技術を用いればよく、例えば句読点や改行などが出現する箇所で分割すればよい。また、ブログ等のソーシャルメディアで得られる文書を利用する際には、顔文字、絵文字等が文区切りに利用されていることが多い。そのため、絵文字や顔文字を文区切りに利用してもよい。
【００５９】
素性抽出部２２４は、各ブログ文書について、作成された評価文書の評価文ごとに、形態素解析によって得られた結果を利用して、機械学習に用いる、文の特徴を示す素性を作成する。例えば、文の素性として、文中の形態素の頻度分布（ヒストグラム)などを用いる。
【００６０】
また、ブログのようなソーシャルメディアのテキストでは、複数の文にまたいで評価している場合がある。そのため、前後の文の評価表現、形態素の頻度などを素性として利用しても良い。
【００６１】
素性抽出部２２４は、図７に示すように、レビュー文書であるブログ文書から抽出された各評価文の素性を、正例の学習データとしてメモリ（図示省略）に記憶する。また、素性抽出部２２４は、非レビュー文書であるブログ文書から抽出された各評価文の素性を、負例の学習データとしてメモリに記憶する。
【００６２】
学習部２２５は、学習用文書である文書群から得られた正例の学習データ（レビュー文書から抽出された評価文の素性）及び負例の学習データ（非レビュー文書から抽出された評価文の素性）を用いて、機械学習によって、入力された文がレビュー文書内の文であるか否かを分類するための分類モデルを作成して、モデル記憶部２６に記憶する。
【００６３】
また、演算部２２０は、文分割部２３１、形態素解析部３１、評価文抽出部３２、素性抽出部２３３、分類部２３４、及びレビュー文書判定部２３５を備えている。なお、文分割部２３１は、入力文分割手段の一例であり、素性抽出部２３３は、入力素性抽出手段の一例である。
【００６４】
文分割部２３１は、文分割部２２２と同様に、入力された分類対象のブログ文書を、文単位に分割する。
【００６５】
形態素解析部３１は、形態素解析部２２と同様に、分類対象のブログ文書について、分割された文ごとに、形態素解析によって、当該文を単語に区切り、さらに各単語に品詞を付与し出力する。
【００６６】
素性抽出部２３３は、分類対象のブログ文書について、図８に示すように、抽出された評価文ごとに、形態素解析によって得られた結果を利用して、素性抽出部２２４と同様に、文の特徴を示す素性を作成する。
【００６７】
分類部２３４は、例えば、分類対象のブログ文書の各評価文について、例えば、抽出された素性を示す数値に、分類モデルが持つ対応する重みを乗算した数値の各々を要素とする特徴ベクトルを用いて、サポートベクトルマシンのアルゴリズムにより、当該評価文が、レビュー文書内の文であるか否かを分類する。これによって、図９に示すように、各評価文が、レビュー文であるか、非レビュー文であるかに分類される。
【００６８】
レビュー文書判定部２３５は、分類対象のブログ文書について、レビュー文と分類された評価文の割合が、閾値以上である場合には、レビュー文書であると判定し、閾値未満である場合には、非レビュー文書であると判定する。
【００６９】
レビュー文書判定部２３５による判定結果が、出力部３０より出力される。
【００７０】
＜レビュー文書分類装置の作用＞
次に、第２の実施の形態に係るレビュー文書分類装置２００の作用について説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【００７１】
まず、レビュー文書分類装置２００によって、図１０に示す学習処理ルーチンが実行される。
【００７２】
まず、ステップＳ１０１において、文書データベース２１から１つのブログ文書を取り出す。そして、ステップＳ１０２において、文分割部２２２によって、上記ステップＳ１０１において取り出されたブログ文書を、文単位で分割する。ステップＳ１０２において、形態素解析部２２によって、上記ステップＳ１０１において取り出されたブログ文書の各文に対して、形態素解析処理を行う。
【００７３】
次のステップＳ１０３では、評価文抽出部２３によって、上記ステップＳ１０３で得られた形態素解析結果と、予め用意した評価表現の辞書とに基づいて、ブログ文書から評価文を抽出する。ステップＳ２０２では、素性抽出部２２４によって、上記ステップＳ１０３で抽出された評価文の各々について、上記ステップＳ１０２で得られた形態素解析結果に基づいて素性を抽出し、ステップＳ２０３において、当該ブログ文書がレビュー文書であれば、上記ステップＳ２０２で抽出された評価文の素性を、レビュー文の素性（正例の学習データ）としてメモリに記憶し、当該ブログ文書が非レビュー文書であれば、上記ステップＳ２０２で抽出された評価文の素性を、非レビュー文の素性（負例の学習データ）としてメモリに記憶する。
【００７４】
ステップＳ１０６では、文書データベース２１に記憶されている全てのブログ文書について、上記ステップＳ１０１、Ｓ２０１、Ｓ１０２、Ｓ１０３、Ｓ２０２、Ｓ２０３の処理を実行したか否かを判定し、上記ステップＳ１０１、Ｓ２０１、Ｓ１０２、Ｓ１０３、Ｓ２０２、Ｓ２０３の処理を実行していないブログ文書が存在する場合には、上記ステップＳ１０１へ戻り、当該ブログ文書を取り出す。一方、全てのブログ文書について、上記ステップＳ１０１、Ｓ２０１、Ｓ１０２、Ｓ１０３、Ｓ２０２、Ｓ２０３の処理を実行した場合には、ステップＳ１０７へ進む。
【００７５】
ステップＳ１０７において、学習部２２５によって、メモリに記憶された正例の学習データ及び負例の学習データを用いて、機械学習によって、分類モデルを学習し、ステップＳ１０８において、モデル記憶部２６に分類モデルを格納し、学習処理ルーチンを終了する。
【００７６】
そして、分類対象のブログ文書がレビュー文書分類装置２００に入力されると、レビュー文書分類装置２００によって、図１１に示す文書分類処理ルーチンが実行される。
【００７７】
まず、ステップＳ１１１において、入力部１０により入力されたブログ文書を受け付ける。そして、ステップＳ２１１において、文分割部２３１によって、上記ステップＳ１１１において入力されたブログ文書を、文単位で分割する。ステップＳ１１２において、形態素解析部３１によって、上記ステップＳ１１１において入力されたブログ文書の各文に対して、形態素解析処理を行う。
【００７８】
次のステップＳ１１３では、評価文抽出部３２によって、上記ステップＳ１１２で得られた形態素解析結果と、予め用意した評価表現の辞書とに基づいて、ブログ文書から評価文を抽出する。
【００７９】
次のステップＳ２１２では、素性抽出部２３３によって、上記ステップＳ１１３で抽出されたブログ文書の各評価文について、素性を抽出する。ステップＳ２１３では、分類部２３４によって、ブログ文書の各評価文について、上記ステップＳ２１２で抽出された素性と、モデル記憶部２６に記憶された分類モデルとに基づいて、当該評価文が、レビュー文であるか非レビュー文であるか分類する。
【００８０】
そして、ステップＳ２１４では、レビュー文書判定部２３５によって、上記ステップＳ２１４でレビュー文であると分類された評価文の割合に基づいて、ブログ文書がレビュー文書であるか否かを判定する。ステップＳ２１５において、上記ステップＳ２１４の判定結果を出力部３０により出力して、文書分類処理ルーチンを終了する。
【００８１】
以上説明したように、第２の実施の形態に係るレビュー文書分類装置によれば、レビュー文書を含む学習用のブログ文書の各々を文単位に分割すると共に、学習用のブログ文書から評価文を抽出し、学習用のブログ文書の各評価文について抽出された素性の各々に基づいて、分類モデルを学習することにより、学習データの正例と負例のバランスを調整することができ、レビュー文書であるか否かを精度よく分類することが可能な分類モデルを学習することができる。
【００８２】
また、レビュー文書を含む学習用のブログ文書から抽出された各評価文の素性の各々に基づいて学習した分類モデルを用いて、入力されたブログ文書がレビュー文書であるか否かを判定することにより、正例と負例のバランスを調整した学習データで、レビュー文書であるか否かを精度よく分類することができる。
【００８３】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００８４】
例えば、評価文を含む学習用のブログ文書から、非評価文を取り除かないようにしてもよい。すなわち、学習用のブログ文書から非評価文を取り除いた評価文書を作成せずに、評価文を含まない学習用のブログ文書を、学習用のブログ文書の集合から削除するだけでもよい。上記の第１の実施の形態のように文書を文に分割しない場合には、評価文を含むブログ文書について文書の素性を抽出して、分類モデルを学習すればよい。また、分類対象のブログ文書について文書の素性を抽出し、分類モデルを用いて、当該ブログ文書がレビュー文書であるか否かを分類すればよい。また、上記の第２の実施の形態のように文書を文に分割する場合には、評価文を含むブログ文書について各文（評価文、非評価文)の素性を抽出して、分類モデルを学習すればよい。また、分類対象のブログ文書について各文の素性を抽出し、分類モデルを用いて、当該ブログ文書の各文がレビュー文であるか否かを分類し、レビュー文であると分類された文の割合に基づいて、当該ブログ文書がレビュー文書であるか否かを判定すればよい。
【００８５】
また、上記の第２の実施の形態において、学習用のブログ文書の各評価文について、特定対象に関する客観的な情報又は主観的な情報が記載されたレビュー文であるか、あるいは非レビュー文であるかを手入力するようにしてもよい。この場合には、学習用のブログ文書の各評価文のうちレビュー文の各々について抽出された素性の各々を正例の学習データとし、学習用のブログ文書の各文のうち非レビュー文の各々について抽出された素性の各々を負例の学習データとして、学習部によって分類モデルを学習するようにすればよい。また、評価文を含む学習用のブログ文書から非評価文を取り除かない場合には、評価文を含む学習用のブログ文書の各文について、レビュー文であるか、あるいは非レビュー文であるかを手入力するようにしてもよい。
【００８６】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００８７】
１０   入力部
２０、２２０  演算部
２１   文書データベース
２２、３１    形態素解析部
２３、３２    評価文抽出部
２４、３３、２２４、２３３  素性抽出部
２５、２２５  学習部
２６   モデル記憶部
３４、２３４  分類部
１００、２００レビュー文書分類装置
２２２、２３１文分割部
２３５ レビュー文書判定部
【図１】
2013131074.tif 000003
【図２】
2013131074.tif 000004
【図３】
2013131074.tif 000005
【図４】
2013131074.tif 000006
【図５】
2013131074.tif 000007
【図６】
2013131074.tif 000008
【図８】
2013131074.tif 000009
【図９】
2013131074.tif 000010
【図１０】
2013131074.tif 000011
【図１１】
2013131074.tif 000012
【図７】
2013131074.tif 000013