(57)【要約】【課題】テキスト分類処理の精度や効率の向上を図る。【解決手段】分類構造データにおける検証対象階層の検証対象分類項目の検証正例学習データと検証負例学習データとを使用して検証対象分類項目についての分類器を生成する分類器生成部と、分類構造データにおける検証対象階層の検証対象分類項目の検証正例テストデータ又は検証負例テストデータを使用して分類器の適合度を計算する適合度計算部と、適合度に基づいて検証対象階層における検証対象分類項目の採用を判断する階層設定部と、を備える。【選択図】図１
2017027495.tif 000002
【特許請求の範囲】
【請求項１】
データを分類する先である分類項目及び分類項目の階層を示す分類構造データの検証を行う検証装置において、
前記分類構造データに属するラベルのうち正解ラベルが付与された検証教師データのうち、前記分類構造データにおける検証対象階層の分類項目のうち検証対象分類項目の識別番号を含む正解ラベルが付与された正例の前記検証教師データである検証正例学習データと、前記検証対象分類項目の識別番号を含まない正解ラベルが付与された負例の前記検証教師データである検証負例学習データとを使用して、前記検証対象分類項目についての分類器を生成する分類器生成部と、
前記検証教師データのうち、前記正例の検証教師データであって前記検証正例学習データと異なる前記検証教師データである検証正例テストデータ、又は、前記負例の検証教師データであって前記検証負例学習データと異なる前記検証教師データである検証負例テストデータを使用して、前記分類器生成部により生成された前記分類器の適合度を計算する適合度計算部と、
前記適合度計算部により計算された前記適合度に基づいて、前記検証対象階層における前記検証対象分類項目の採用を判断する階層設定部と、
を備える検証装置。
【請求項２】
前記分類構造データにおける上位の階層から下位の階層へと順番に前記検証対象階層を検証し、不採用と判断された前記検証対象分類項目に属する下層の分類項目に対しては前記検証の手順を実行しないで不採用とする、
請求項１に記載の検証装置。
【請求項３】
請求項１又は２のいずれか１項に記載の検証装置と、
前記検証装置による分類項目検証結果が反映された分類構造データの分類器を使用して、入力データの分類を行う分類部と、
を備える分類システム。
【請求項４】
前記分類部は、前記分類構造データにおける最上位階層から前記入力データの分類を開始し、分類成功の分類項目に属する一つ下層の分類のみを順次行う、
請求項３に記載の分類システム。
【請求項５】
データを分類する先である分類項目及び分類項目の階層を示す分類構造データの検証方法において、
検証装置が、前記分類構造データに属するラベルのうち正解ラベルが付与された検証教師データのうち、前記分類構造データにおける検証対象階層の分類項目のうち検証対象分類項目の識別番号を含む正解ラベルが付与された正例の前記検証教師データである検証正例学習データと、前記検証対象分類項目の識別番号を含まない正解ラベルが付与された負例の前記検証教師データである検証負例学習データとを使用して、前記検証対象分類項目についての分類器を生成する分類器生成ステップと、
前記検証装置が、前記検証教師データのうち、前記正例の検証教師データであって前記検証正例学習データと異なる前記検証教師データである検証正例テストデータ、又は、前記負例の検証教師データであって前記検証負例学習データと異なる前記検証教師データである検証負例テストデータを使用して、前記分類器生成ステップにより生成された前記分類器の適合度を計算する適合度計算ステップと、
前記検証装置が、前記適合度計算ステップにより計算された前記適合度に基づいて、前記検証対象階層における前記検証対象分類項目の採用を判断する階層設定ステップと、
を含む検証方法。
【請求項６】
請求項５に記載の検証方法により分類構造データの検証を行う検証ステップと、
分類部が、前記検証ステップによる分類項目検証結果が反映された分類構造データの分類器を使用して、入力データの分類を行う分類ステップと、
を含む分類方法。
【請求項７】
データを分類する先である分類項目及び分類項目の階層を示す分類構造データの検証を行うためのコンピュータプログラムであって、
前記分類構造データに属するラベルのうち正解ラベルが付与された検証教師データのうち、前記分類構造データにおける検証対象階層の分類項目のうち検証対象分類項目の識別番号を含む正解ラベルが付与された正例の前記検証教師データである検証正例学習データと、前記検証対象分類項目の識別番号を含まない正解ラベルが付与された負例の前記検証教師データである検証負例学習データとを使用して、前記検証対象分類項目についての分類器を生成する分類器生成ステップと、
前記検証教師データのうち、前記正例の検証教師データであって前記検証正例学習データと異なる前記検証教師データである検証正例テストデータ、又は、前記負例の検証教師データであって前記検証負例学習データと異なる前記検証教師データである検証負例テストデータを使用して、前記分類器生成ステップにより生成された前記分類器の適合度を計算する適合度計算ステップと、
前記適合度計算ステップにより計算された前記適合度に基づいて、前記検証対象階層における前記検証対象分類項目の採用を判断する階層設定ステップと、
をコンピュータに実行させるためのコンピュータプログラム。
【請求項８】
前記コンピュータプログラムの実行結果である分類項目検証結果が反映された分類構造データの分類器を使用して入力データの分類を行う分類ステップ、
をさらにコンピュータに実行させるための請求項７に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データの分類技術に関する。
【背景技術】
【０００２】
従来のテキスト分類技術として、例えば特許文献１，２が知られている。特許文献１のテキスト分類技術では、階層化されたカテゴリにテキストを分類する。特許文献２のテキスト分類技術では、文書の階層型分類において、情報のカテゴリを、検索に関連する情報を含むバイナリツリーのノードを含むバイナリツリーとして構成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２５１９７５号公報
【特許文献２】特開２００６−１８８２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述した従来のテキスト分類技術では、階層化されたカテゴリにおいて階層が深くなるにつれて分類精度が低下する場合があった。また、カテゴリの階層構造が大規模になると、実際の分類に不要のカテゴリも含まれる事象が発生して分類処理の効率が悪くなる可能性があった。
【０００５】
本発明は、このような事情を考慮してなされたものであり、テキスト分類処理の精度や効率の向上を図ることができる、検証装置、分類システム、検証方法、分類方法、及びコンピュータプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
（１）本発明の一態様は、データを分類する先である分類項目及び分類項目の階層を示す分類構造データの検証を行う検証装置において、前記分類構造データに属するラベルのうち正解ラベルが付与された検証教師データのうち、前記分類構造データにおける検証対象階層の分類項目のうち検証対象分類項目の識別番号を含む正解ラベルが付与された正例の前記検証教師データである検証正例学習データと、前記検証対象分類項目の識別番号を含まない正解ラベルが付与された負例の前記検証教師データである検証負例学習データとを使用して、前記検証対象分類項目についての分類器を生成する分類器生成部と、前記検証教師データのうち、前記正例の検証教師データであって前記検証正例学習データと異なる前記検証教師データである検証正例テストデータ、又は、前記負例の検証教師データであって前記検証負例学習データと異なる前記検証教師データである検証負例テストデータを使用して、前記分類器生成部により生成された前記分類器の適合度を計算する適合度計算部と、前記適合度計算部により計算された前記適合度に基づいて、前記検証対象階層における前記検証対象分類項目の採用を判断する階層設定部と、を備える検証装置である。
（２）本発明の一態様は、上記（１）の検証装置において、前記分類構造データにおける上位の階層から下位の階層へと順番に前記検証対象階層を検証し、不採用と判断された前記検証対象分類項目に属する下層の分類項目に対しては前記検証の手順を実行しないで不採用とする、検証装置である。
【０００７】
（３）本発明の一態様は、上記（１）又は（２）のいずれかの検証装置と、前記検証装置による分類項目検証結果が反映された分類構造データの分類器を使用して、入力データの分類を行う分類部と、を備える分類システムである。
（４）本発明の一態様は、上記（３）の分類システムにおいて、前記分類部は、前記分類構造データにおける最上位階層から前記入力データの分類を開始し、分類成功の分類項目に属する一つ下層の分類のみを順次行う、分類システムである。
【０００８】
（５）本発明の一態様は、データを分類する先である分類項目及び分類項目の階層を示す分類構造データの検証方法において、検証装置が、前記分類構造データに属するラベルのうち正解ラベルが付与された検証教師データのうち、前記分類構造データにおける検証対象階層の分類項目のうち検証対象分類項目の識別番号を含む正解ラベルが付与された正例の前記検証教師データである検証正例学習データと、前記検証対象分類項目の識別番号を含まない正解ラベルが付与された負例の前記検証教師データである検証負例学習データとを使用して、前記検証対象分類項目についての分類器を生成する分類器生成ステップと、前記検証装置が、前記検証教師データのうち、前記正例の検証教師データであって前記検証正例学習データと異なる前記検証教師データである検証正例テストデータ、又は、前記負例の検証教師データであって前記検証負例学習データと異なる前記検証教師データである検証負例テストデータを使用して、前記分類器生成ステップにより生成された前記分類器の適合度を計算する適合度計算ステップと、前記検証装置が、前記適合度計算ステップにより計算された前記適合度に基づいて、前記検証対象階層における前記検証対象分類項目の採用を判断する階層設定ステップと、を含む検証方法である。
【０００９】
（６）本発明の一態様は、上記（５）の検証方法により分類構造データの検証を行う検証ステップと、分類部が、前記検証ステップによる分類項目検証結果が反映された分類構造データの分類器を使用して、入力データの分類を行う分類ステップと、を含む分類方法である。
【００１０】
（７）本発明の一態様は、データを分類する先である分類項目及び分類項目の階層を示す分類構造データの検証を行うためのコンピュータプログラムであって、前記分類構造データに属するラベルのうち正解ラベルが付与された検証教師データのうち、前記分類構造データにおける検証対象階層の分類項目のうち検証対象分類項目の識別番号を含む正解ラベルが付与された正例の前記検証教師データである検証正例学習データと、前記検証対象分類項目の識別番号を含まない正解ラベルが付与された負例の前記検証教師データである検証負例学習データとを使用して、前記検証対象分類項目についての分類器を生成する分類器生成ステップと、前記検証教師データのうち、前記正例の検証教師データであって前記検証正例学習データと異なる前記検証教師データである検証正例テストデータ、又は、前記負例の検証教師データであって前記検証負例学習データと異なる前記検証教師データである検証負例テストデータを使用して、前記分類器生成ステップにより生成された前記分類器の適合度を計算する適合度計算ステップと、前記適合度計算ステップにより計算された前記適合度に基づいて、前記検証対象階層における前記検証対象分類項目の採用を判断する階層設定ステップと、をコンピュータに実行させるためのコンピュータプログラムである。
（８）本発明の一態様は、上記（７）のコンピュータプログラムにおいて、前記コンピュータプログラムの実行結果である分類項目検証結果が反映された分類構造データの分類器を使用して入力データの分類を行う分類ステップ、をさらにコンピュータに実行させるためのコンピュータプログラムである。
【発明の効果】
【００１１】
本発明によれば、テキスト分類処理の精度や効率の向上を図ることができるという効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る分類システム１を示す構成図である。
【図２】本発明の一実施形態に係る分類構造データの構成例を示す図である。
【図３】本発明の一実施形態に係る検証方法のフローチャートである。
【図４】本発明の一実施形態に係る分類構造データに対する分類項目検証結果の反映例を示す図である。
【図５】本発明の一実施形態に係る分類方法のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照し、本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る分類システム１を示す構成図である。図１に示す分類システム１は、検証モジュール１１と、分類器生成モジュール１２と、コンテンツ分類モジュール１３と、学習データベース（学習ＤＢ）１４を備える。
【００１４】
［学習データベース］
学習ＤＢ＿１４は、分類構造データ及び教師データを格納する。分類構造データは予め作成されて学習ＤＢ＿１４に格納される。分類構造データの作成には、例えば、グラウンデッド・セオリー・アプローチ（Grounded Theory Approach）技術を利用することができる。
【００１５】
分類構造データは、データを分類する先である分類項目及び分類項目の階層を示すデータである。図２は、本実施形態に係る分類構造データの構成例を示す図である。図２において、分類構造データは、第１階層から第３階層までの３つの階層を有し、階層毎に分類項目を有する。
【００１６】
図２に示す分類構造データにおいて、第１階層の分類項目は「音楽」であり、第１階層の分類項目「音楽」の識別番号は「１」である。第１階層の分類項目「音楽」に属する下層である第２階層の分類項目は「ジャンル」と「音色」であり、該第２階層の分類項目「ジャンル」の識別番号は「１」であり、該第２階層の分類項目「音色」の識別番号は「２」である。第２階層の分類項目「ジャンル」に属する下層である第３階層の分類項目は「クラシック」と「ポップス」であり、該第３階層の分類項目「クラシック」の識別番号は「１」であり、該第３階層の分類項目「ポップス」の識別番号は「２」である。第２階層の分類項目「音色」に属する下層である第３階層の分類項目は「くらい」と「明るい」と「暖かい」であり、該第３階層の分類項目「くらい」の識別番号は「１」であり、該第３階層の分類項目「明るい」の識別番号は「２」であり、該第３階層の分類項目「暖かい」の識別番号は「３」である。
【００１７】
図２に示す分類構造データは、例えばテキストデータを音楽のジャンルや印象で分類する場合に利用される。図２に示す分類構造データにおいて、第１階層は、分類対象のテキストデータのうちトピックが「音楽」であるテキストデータを分類する先となる。第２階層は、トピックが「音楽」であるテキストデータのうち「ジャンル」又は「音色」に関するテキストデータを分類する先となる。第３階層は、トピックが「音楽」であるテキストデータであって「ジャンル」又は「音色」に関するテキストデータのうち「ジャンル」又は「音色」の具体的な分類項目に関するテキストデータを分類する先となる。
【００１８】
図２に示す分類構造データによって分類されたテキストデータには、分類された先の分類項目の識別番号から構成されるラベルが付与される。図２には、第３階層まで分類されたテキストデータに対して付与されるラベル「１１１」，「１１２」，「１２１」，「１２２」及び「１２３」が示される。例えば、テキストデータ「私の好きな音楽はクラシック」に対して、分類結果のラベル「１１１」が付与される。テキストデータ「暖かい音色の音楽が好き」に対して、分類結果のラベル「１２３」が付与される。また、第２階層まで分類されたテキストデータとして、例えば「私は音楽ならどんなジャンルでも好き」に対して、分類結果のラベル「１１」が付与される。また、第１階層まで分類されたテキストデータとして、例えば「私は音楽が好き」に対して、分類結果のラベル「１」が付与される。
【００１９】
教師データは、学習ＤＢ＿１４内の分類構造データに属するラベルのうち正解ラベルが付与されたテキストデータである。教師データのテキストデータは、例えば、一般大衆に対して実施されたアンケートの回答として自由記述された文章のテキストデータである。該テキストデータに対して分類構造データに属する正解ラベルが付与されたデータが、教師データとして利用される。例えば、人間がテキストデータを分析して該テキストデータの正解ラベルを判断し、判断結果の正解ラベルを該テキストデータに付与する。
【００２０】
［分類器生成モジュール］
分類器生成モジュール１２は、学習ＤＢ＿１４内の分類構造データ及び教師データを使用して分類器を生成する。分類器生成モジュール１２は、学習ＤＢ＿１４内の分類構造データにおけるラベル毎に、教師データを仕分ける。図２に示す分類構造データの例では、８個のラベル「１」，「１１」，「１２」，「１１１」，「１１２」，「１２１」，「１２２」及び「１２３」の各々で、教師データが仕分けされる。
【００２１】
ラベル毎の教師データの仕分けでは、仕分け対象ラベルに対して、教師データに付与された正解ラベルと仕分け対象ラベルを比較し、両者が一致した教師データと両者が不一致した教師データとに仕分ける。例えば仕分け対象ラベル「１１１」に対して、学習ＤＢ＿１４内の教師データのうち、ラベル「１１１」が付与された教師データを仕分け対象ラベル「１１１」の正例データグループにグルーピングし、ラベル「１１１」が付与されていない教師データを仕分け対象ラベル「１１１」の負例データグループにグルーピングする。また、例えば仕分け対象ラベル「１１」に対して、学習ＤＢ＿１４内の教師データのうち、ラベル「１１」が付与された教師データを仕分け対象ラベル「１１」の正例データグループにグルーピングし、ラベル「１１」が付与されていない教師データを仕分け対象ラベル「１１」の負例データグループにグルーピングする。また、例えば仕分け対象ラベル「１」に対して、学習ＤＢ＿１４内の教師データのうち、ラベル「１」が付与された教師データを仕分け対象ラベル「１」の正例データグループにグルーピングし、ラベル「１」が付与されていない教師データを仕分け対象ラベル「１」の負例データグループにグルーピングする。
【００２２】
分類器生成モジュール１２は、分類器生成対象ラベルの正例データグループと負例データグループを使用して、分類器生成対象ラベルについての分類器を生成する。分類器生成対象ラベルについての分類器は、分類対象のテキストデータが分類器生成対象ラベルに該当するか否かを判定する機能を有する。分類器として、例えば、ＳＶＭ（Support Vector Machine）や「Bayesian Network」などの分類器を利用してもよい。又は、分類器生成対象ラベルの正例データグループから正例ベクトルを生成し、分類器生成対象ラベルの負例データグループから負例ベクトルを生成し、正例ベクトルと負例ベクトルのベクトル類似度に基づいて分類器を生成してもよい。
【００２３】
［検証モジュール］
検証モジュール１１は、学習ＤＢ＿１４内の分類構造データの検証を行う。図３を参照して検証モジュール１１の動作を説明する。図３は、本実施形態に係る検証方法のフローチャートである。図３に示す検証方法の手順（ステップＳ１１１〜Ｓ１１４）は、分類構造データにおける上位の階層から下位の階層へと順番に実行される。例えば、図２に示す分類構造データに対して、最初に第１階層に対してステップＳ１１１〜Ｓ１１４を実行し、次いで第２階層に対してステップＳ１１１〜Ｓ１１４を実行し、最後に第３階層に対してステップＳ１１１〜Ｓ１１４を実行する。
【００２４】
分類構造データの検証には検証教師データを使用する。検証教師データは、例えば、直近の一定期間（例えば、直近の半年間）に実施されたアンケートの回答として自由記述された文章のテキストデータに対して、分類構造データに属するラベルのうち正解ラベルが付与されたテキストデータである。例えば、人間がテキストデータを分析して該テキストデータの正解ラベルを判断し、判断結果の正解ラベルを該テキストデータに付与する。検証教師データは、学習ＤＢ＿１４に格納されている。検証教師データは、学習ＤＢ＿１４に格納されている教師データのうち、全ての教師データであってもよく、又は、一部の教師データであってもよい。
【００２５】
（ステップＳ１１１）検証モジュール１１は、分類構造データにおける検証対象階層の分類項目のうち検証対象分類項目に対して、検証教師データの仕分けを行う。検証教師データの仕分けでは、検証対象分類項目に対して、検証対象分類項目の識別番号を含む正解ラベルが付与された検証教師データと、検証対象分類項目の識別番号を含まない正解ラベルが付与された検証教師データとに仕分ける。例えば、図２に示す分類構造データの第２階層の分類項目「ジャンル」が検証対象分類項目である場合、該分類項目「ジャンル」の識別番号「１」を含むラベル「１１」，「１１１」又は「１１２」が付与された検証教師データと、該分類項目「ジャンル」の識別番号「１」を含まないラベル「１」，「１２」，「１２１」，「１２２」又は「１２３」が付与された検証教師データとに仕分ける。検証対象分類項目の識別番号を含む正解ラベルが付与された検証教師データは、検証対象分類項目の検証正例データグループにグルーピングされる。検証対象分類項目の識別番号を含まない正解ラベルが付与された検証教師データは、検証対象分類項目の検証負例データグループにグルーピングされる。
【００２６】
検証モジュール１１は、検証対象分類項目の検証正例データグループ内の検証教師データを所定の比率で検証学習データと検証テストデータに仕分ける。検証モジュール１１は、検証対象分類項目の検証負例データグループ内の検証教師データについても、該同じ比率で検証学習データと検証テストデータに仕分ける。例えば、検証対象分類項目の検証正例データグループ内の全検証教師データのうち、９０％の検証教師データを検証対象分類項目の検証正例学習データグループにグルーピングし、残りの１０％の検証教師データを検証対象分類項目の検証正例テストデータグループにグルーピングする。同様に、検証対象分類項目の検証負例データグループ内の全検証教師データのうち、９０％の検証教師データを検証対象分類項目の検証負例学習データグループにグルーピングし、残りの１０％の検証教師データを検証対象分類項目の検証負例テストデータグループにグルーピングする。
【００２７】
（ステップＳ１１２）検証モジュール１１は、検証対象分類項目の検証正例学習データグループ及び検証負例学習データグループを使用して、分類器生成モジュール１２により、検証対象分類項目についての分類器を生成する。検証対象分類項目についての分類器は、分類対象のテキストデータが検証対象分類項目に該当するか否かを判定する機能を有する。
【００２８】
（ステップＳ１１３）検証モジュール１１は、検証対象分類項目の検証正例テストデータグループ又は検証負例テストデータグループを使用して、検証対象分類項目についての分類器の適合度を計算する。分類器の適合度の例１〜４を以下に挙げる。
【００２９】
（分類器の適合度の例１）
分類器の適合度の例１は正解率（Accuracy）である。正解率は、次式で表される。
正解率=（TP+TN）／（TP+FP+TN+FN）
【００３０】
（分類器の適合度の例２）
分類器の適合度の例２は真陽性率（True Positive Rate）である。真陽性率は、次式で表される。
真陽性率＝TP／（TP+FN）
【００３１】
（分類器の適合度の例３）
分類器の適合度の例３は偽陰性率（False Negative Rate）である。偽陰性率は、次式で表される。
偽陰性率＝FN／（TP+FN）
【００３２】
（分類器の適合度の例４）
分類器の適合度の例４は精度（Precision）である。精度は、次式で表される。
精度＝TP／（TP+FP）
【００３３】
上記の分類器の適合度の例１〜４において、ＴＰ（True positives）は、検証正例テストデータグループの検証教師データを分類器に適用した結果、正しく正例と判定された検証教師データの個数である。ＴＮ（True negatives）は、検証負例テストデータグループの検証教師データを分類器に適用した結果、正しく負例と判定された検証教師データの個数である。ＦＰ（False positives）は、検証負例テストデータグループの検証教師データを分類器に適用した結果、誤って正例と判定された検証教師データの個数である。ＦＮ（False negatives）は、検証正例テストデータグループの検証教師データを分類器に適用した結果、誤って負例と判定された検証教師データの個数である。
【００３４】
なお、上記の分類器の適合度の例１〜４のうち、いずれか一つのみを分類器の適合度に使用してもよく、又は、いずれか複数を分類器の適合度に使用してもよい。
【００３５】
（ステップＳ１１４）検証モジュール１１は、検証対象分類項目についての分類器の適合度に基づいて、当該分類器の合否を判定する。例えば、上記の分類器の適合度の例１〜４のうち、いずれか一つのみ又はいずれか複数を評価し、評価の結果、適合度が良好である場合に合格と判定する。例えば、上記の分類器の適合度の例１〜４のうち、少なくともいずれか一つの適合度が良好である場合に合格と判定してもよい。又は、上記の分類器の適合度の例１〜４の全てが良好である場合にのみ合格と判定してもよい。適合度の評価方法として、例えば、適合度と所定の閾値との大小比較が挙げられる。
【００３６】
検証モジュール１１は、検証対象分類項目についての分類器が合格である場合に、当該検証対象分類項目を採用する。一方、検証モジュール１１は、検証対象分類項目についての分類器が不合格である場合に、当該検証対象分類項目を不採用とする。
【００３７】
なお、不採用とされた検証対象分類項目に属する下層の分類項目に対しては、上記のステップＳ１１１〜Ｓ１１４を実行しないで、不採用としてもよい。
【００３８】
検証モジュール１１は、不採用とする検証対象分類項目を分類器生成モジュール１２へ通知する。分類器生成モジュール１２は、学習ＤＢ＿１４内の分類構造データ及び教師データを使用して分類器を生成する際に、検証モジュール１１から不採用として通知された分類項目を、削除したり又は判定不能項目にしたりする。
【００３９】
図４は、本実施形態に係る分類構造データに対する分類項目検証結果の反映例を示す図である。図４には、上記の図２に示す分類構造データに対して、検証モジュール１１による分類項目検証結果が反映された例が示される。図４の例では、検証モジュール１１によって第２階層の分類項目「音色」が不採用と決定された。また、第２階層の分類項目「音色」が不採用と決定されために、第２階層の分類項目「音色」に属する下層である第３階層の分類項目「くらい」，「明るい」及び「暖かい」の全てが不採用と決定された。これにより、分類器生成モジュール１２は、上記の図２に示す分類構造データについての分類器を生成する際に、第２階層の分類項目「音色」並びに第３階層の分類項目「くらい」，「明るい」及び「暖かい」を削除する。又は、分類器生成モジュール１２は、上記の図２に示す分類構造データについての分類器を生成する際に、第２階層の分類項目「音色」並びに第３階層の分類項目「くらい」，「明るい」及び「暖かい」を判定不能項目にする。
【００４０】
［コンテンツ分類モジュール］
コンテンツ分類モジュール１３は、分類器生成モジュール１２によって生成された分類器を使用して、入力データのテキストデータを分類する。コンテンツ分類モジュール１３は、該分類の結果を示す分類結果データを出力する。分類結果データは、例えば、入力されたテキストデータの分類が成功したラベルが、該テキストデータに付与されたデータである。
【００４１】
図５を参照して、本実施形態に係るコンテンツ分類モジュール１３の動作を説明する。図５は、本実施形態に係る分類方法のフローチャートである。
【００４２】
（ステップＳ２０１）コンテンツ分類モジュール１３は、入力データとしてテキストデータ（入力テキストデータ）を受信する。
【００４３】
（ステップＳ２０２）コンテンツ分類モジュール１３は、分類器を使用して、入力テキストデータに対し、分類構造データにおける最上位階層の分類を行う。分類器は、入力テキストデータが分類対象階層である最上位階層の分類項目に該当するか否かを判定する。分類器は、分類項目の判定結果として「該当」又は「非該当」を出力する。
【００４４】
例えば、図４に示す分類項目検証結果の反映された分類構造データについての分類器は、入力テキストデータが第１階層の分類項目「音楽」に該当するか否かを判定する。分類器は、分類項目「音楽」の判定結果として「該当」又は「非該当」を出力する。なお、最上位階層に複数の分類項目が存在する場合には、分類器は、最上位階層の複数の分類項目の各々について、入力テキストデータが分類項目に該当するか否かを判定する。分類器は、各分類項目の判定結果として「該当」又は「非該当」を出力する。
【００４５】
（ステップＳ２０３）コンテンツ分類モジュール１３は、分類器による分類対象階層の分類の結果が成功であるかを判断する。分類器から出力された分類項目の判定結果が「該当」である場合、当該分類項目の分類の結果は成功である。分類器から出力された分類項目の判定結果が「非該当」である場合、当該分類項目の分類の結果は失敗である。
【００４６】
コンテンツ分類モジュール１３は、分類対象階層において少なくとも一つの分類項目の分類の結果が成功である場合に、分類成功であると判断する。分類成功である場合、ステップＳ２０４へ進む。一方、コンテンツ分類モジュール１３は、分類対象階層において全ての分類項目の分類の結果が失敗である場合に、分類失敗であると判断する。分類失敗である場合、ステップＳ２０６へ進む。分類失敗である場合には、当該分類対象階層に属する下層の分類は実行しない。
【００４７】
（ステップＳ２０４）コンテンツ分類モジュール１３は、分類構造データにおける最下位階層の分類まで終了したかを判断する。最下位階層の分類まで終了した場合にはステップＳ２０６へ進む。一方、最下位階層の分類まで終了していない場合にはステップＳ２０５へ進む。
【００４８】
（ステップＳ２０５）コンテンツ分類モジュール１３は、分類器を使用して、入力テキストデータに対し、分類成功の分類項目に属する一つ下層の分類を行う。
【００４９】
例えば、図４に示す分類項目検証結果の反映された分類構造データについての分類器の場合において、第２階層の分類項目「ジャンル」の分類が成功したときは、入力テキストデータに対して、第２階層の分類項目「ジャンル」に属する一つ下層である第３階層の分類項目「クラシック」及び「ポップス」の各々の分類を行う。分類器は、入力テキストデータが第３階層の分類項目「クラシック」に該当するか否かと、入力テキストデータが第３階層の分類項目「ポップス」に該当するか否かを判定する。分類器は、第３階層の分類項目「クラシック」の判定結果として「該当」又は「非該当」と、第３階層の分類項目「ポップス」の判定結果として「該当」又は「非該当」を出力する。
【００５０】
なお、分類器は、分類項目検証結果に従って削除したり又は判定不能項目にしたりした分類項目については分類を実行しない。例えば、図４に示す分類項目検証結果の反映された分類構造データにおいて、第２階層の分類項目「音色」並びに第３階層の分類項目「くらい」，「明るい」及び「暖かい」は、分類項目検証結果に従って削除された又は判定不能項目にされた分類項目である。これにより、第２階層の分類項目「音色」並びに第３階層の分類項目「くらい」，「明るい」及び「暖かい」については、分類器による分類が実行されない。
【００５１】
ステップＳ２０５の後、ステップＳ２０３に戻る。
【００５２】
（ステップＳ２０６）コンテンツ分類モジュール１３は、入力テキストデータに対する分類の結果を示す分類結果データを出力する。コンテンツ分類モジュール１３は、例えば、全ての分類成功の分類項目のラベルを入力テキストデータに付与したデータを分類結果データとして出力する。
【００５３】
上記の図５に示す分類方法によれば、分類構造データにおける上位階層の分類成功の分類項目に対して、さらにその下層の分類項目の分類を行う。これにより、分類構造データにおける階層構造を考慮しないで各階層の分類項目で独立に分類を行うよりも、テキスト分類処理の効率を向上させることができる。
【００５４】
本実施形態によれば、例えば図４に示す分類項目検証結果の反映された分類構造データについての分類器によって、入力テキストデータが第１階層の分類項目「音楽」に該当すると判定された場合、第２階層の分類項目「ジャンル」及び「音色」のうち、分類項目「ジャンル」のみの分類が実行され、分類項目「音色」の分類は実行されない。さらには、第２階層の分類項目「音色」に属する第３階層の分類項目「くらい」，「明るい」及び「暖かい」の全ての分類が実行されない。
【００５５】
図４に示す分類項目検証結果の反映された分類構造データにおいて第２階層の分類項目「音色」は、検証モジュール１１による適合度の判定の結果から不採用とされた分類項目である。したがって、第２階層の分類項目「音色」の分類を実行しないことにより、誤った分類結果を出力することを防止できると共に、テキスト分類処理の効率が向上する。さらに、第２階層の分類項目「音色」に属する第３階層の分類項目「くらい」，「明るい」及び「暖かい」についても分類を実行しないことにより、誤った分類結果の出力の防止と、テキスト分類処理のさらなる効率向上を図ることができる。
【００５６】
上述したように本実施形態によれば、テキスト分類処理の精度や効率の向上を図ることができるという効果が得られる。また、本実施形態によれば以下に示すような効果が得られる。
【００５７】
一般的に分類構造データは、下層になるほど分類項目数が多くなる。このことから、分類構造データの下層になるほど分類項目一つあたりの学習データ数が減少するので、分類器の分類精度が下がる傾向にある。一方、分類項目一つあたりの学習データ数の減少を防ぐために、分類構造データの階層構成や学習データ数の下限が定められていると、自動的に分類器を生成してテキストデータの分類処理を行うことができない場合が発生しやすくなるので、使い勝手が悪い。
【００５８】
しかし、本実施形態によれば、分類構造データの分類項目のうち、検証教師データに適合する分類項目のみの分類を行う分類器を生成することができるので、分類器が分類を行う分類項目については分類精度を高く保つことができる。例えば、検証教師データとして、実際に分類器で分類する対象となる分類対象テキストデータに類するテキストデータを使用することにより、分類対象テキストデータに適合する分類項目の分類精度を高く保った分類器を生成することが可能になる。例えば、アンケートの回答として自由記述された文章のテキストデータを分類する場合、検証教師データとして、直近に実施された該アンケートにより収集された該テキストデータを検証教師データに使用することが挙げられる。これにより、実際に分類の対象になるアンケート回答のテキストデータに適合する高精度の分類器を生成することが可能になる。
【００５９】
また、例えば、様々な分野のテキストデータから生成された大規模な分類構造データから、特定の分野のテキストデータを分類するための分類器を生成すると分類処理の効率が悪い分類器になりやすい。例えば、分類対象の特定の分野とは無関係の分類項目の分類処理を行う分類器となって、分類処理に余計な時間がかかる等、分類処理の効率が悪くなる。
【００６０】
しかし、本実施形態によれば、分類対象の特定の分野のテキストデータを検証教師データに使用することにより、該特定の分野のテキストデータに適合する分類項目のみの分類を実行する分類器を生成することができる。これにより、分類処理に余計な時間がかからない等、分類処理の効率の良い分類器を生成することが可能になる。
【００６１】
上述の実施形態では、検証モジュール１１が適合度計算部および階層設定部に対応し、分類器生成モジュール１２が分類器生成部に対応し、コンテンツ分類モジュール１３が分類部に対応する。
【００６２】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００６３】
また、上述した分類システム１の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disk）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００６４】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００６５】
１…分類システム、１１…検証モジュール（適合度計算部、階層設定部）、１２…分類器生成モジュール（分類器生成部）、１３…コンテンツ分類モジュール（分類部）、１４…学習データベース（学習ＤＢ）
【図１】
2017027495.tif 000003
【図２】
2017027495.tif 000004
【図３】
2017027495.tif 000005
【図４】
2017027495.tif 000006
【図５】
2017027495.tif 000007