(57)【特許請求の範囲】
【請求項１】
ディスカッションの健全度を算出するディスカッション健全度算出装置であって、
ディスカッションの特徴を表す表層的特徴量を算出して該表層的特徴量に基づいて前記ディスカッションの健全度を定量化する健全度定量化部と、
テキスト特徴に基づいて前記ディスカッションの健全度に関する分類結果を得るテキスト分類部と、
前記定量化された健全度を前記分類結果に基づいて補正し、当該補正された健全度を前記算出する健全度となす補正部とを備えることを特徴とするディスカッション健全度算出装置。
【請求項２】
前記補正部は、前記分類結果が所定基準で健全度が高い（又は、低い）ことを示している場合にそれぞれ、前記定量化された健全度をより高く（又は、より低く）するように補正することを特徴とする請求項１に記載のディスカッション健全度算出装置。
【請求項３】
前記テキスト分類部が、
前記ディスカッションよりそのテキスト特徴として、前記ディスカッションに含まれる各単語の重要度を要素とする単語特徴ベクトルを生成する単語特徴ベクトル生成部と、
前記単語特徴ベクトルに基づいて前記ディスカッションが健全か否かを分類する健全分類器と、
前記単語特徴ベクトルに基づいて前記ディスカッションが荒れているか否かを分類する荒れ分類器とを含み、
前記補正部は、
前記健全分類器が健全であると分類し、且つ前記荒れ分類器が荒れていないと分類した場合を、前記分類結果が所定基準で健全度が高いことを示している場合となし、
前記健全分類器が健全でないと分類し、且つ前記荒れ分類器が荒れていると分類した場合を、前記分類結果が所定基準で健全度が低いことを示している場合となすことを特徴とする請求項２に記載のディスカッション健全度算出装置。
【請求項４】
前記健全分類器及び荒れ分類器がそれぞれ、所与の学習用ディスカッションに健全か否か及び荒れているか否かのラベルが予め付与されたものを用いて、所与の統計的機械学習によって構築されることを特徴とする請求項３に記載のディスカッション健全度算出装置。
【請求項５】
前記健全度定量化部は、前記所与の学習用ディスカッションに健全度として所定値が予め付与されたものを用いて、表層的特徴量と健全度との対応関係を多変量解析によって学習することによって構築されることを特徴とする請求項４に記載のディスカッション健全度算出装置。
【請求項６】
前記健全分類器及び前記荒れ分類器は、前記所与の学習用ディスカッションに予め付与された健全度に「高」、「中」及び「低」の三段階の区別を設けることで構築され、
前記健全度分類器は前記所与の学習用ディスカッションを、健全度が「高」のディスカッションを正例、健全度が「中」又は「低」のディスカッションを負例として用いて構築され、
前記荒れ分類器は前記所与の学習用ディスカッションを、健全度が「低」のディスカッションを正例、健全度が「中」又は「高」のディスカッションを負例として用いて構築されることを特徴とする請求項５に記載のディスカッション健全度算出装置。
【請求項７】
前記補正部がさらに、前記算出する健全度として前記補正された健全度に代えて前記定量化された健全度又は前記得られた分類結果に基づく健全度を、所定基準に従って採用することを特徴とする請求項３ないし６のいずれかに記載のディスカッション健全度算出装置。
【請求項８】
前記健全度定量化部は、健全度として所定値が予め付与された所与の学習用ディスカッションを用いて、表層的特徴量と健全度との対応関係を多変量解析によって学習することによって構築され、
前記健全分類器は、前記所与の学習用ディスカッションに第一基準で正例又は負例を予め付与したものを用いて前記所与の統計的機械学習によって構築され、
前記荒れ分類器は、前記所与の学習用ディスカッションに第二基準で正例又は負例を予め付与したものを用いて前記所与の統計的機械学習によって構築され、
前記ディスカッションより前記算出された表層的特徴量を、前記所与の学習用ディスカッションの表層的特徴量の頻度分布にて参照して得られる頻度に基づいて、前記定量化された健全度に対する信頼度を算出する健全度信頼度算出部と、
前記ディスカッションより前記生成された単語特徴ベクトルと、前記所与の学習用ディスカッションを構成する単語の統計量と、の距離を所定基準で測定し、前記得られた分類結果に対する信頼度を当該測定された距離として算出する分類結果信頼度算出部と、をさらに備え、
前記補正部がさらに、前記算出する健全度として前記補正された健全度に代えて、前記健全度に対する信頼度と、前記分類結果に対する信頼度と、に対する所定基準の判定に従って、前記定量化された健全度又は前記得られた分類結果に基づく健全度を採用することを特徴とする請求項７に記載のディスカッション健全度算出装置。
【請求項９】
前記分類結果信頼度算出部が、前記ディスカッションに含まれる各単語を、前記所与の学習用ディスカッションにおける単語の頻度分布にて参照して得られる頻度に基づいて前記分類結果に対する信頼度を算出する、又は、前記所与の統計的機械学習がSVMであって、前記所与の学習用ディスカッションにて構築された分離超平面と、前記単語特徴ベクトルと、の距離に基づいて前記分類結果に対する信頼度を算出することを特徴とする請求項８に記載のディスカッション健全度算出装置。
【請求項１０】
所定のNGワードリストを参照して前記ディスカッション中に出現するNGワードの種類数xを求めて、該種類数xに応じて前記補正部を制御する手法選択部をさらに備え、所定の自然数n及びm(n＜m)に対して、前記手法選択部は、
x＜nの場合には、前記補正部が前記定量化された健全度を前記算出する健全度として採用するよう制御し、
x＞mの場合には、前記補正部が前記得られた分類結果に基づく健全度を前記算出する健全度として採用するよう制御し、
n≦x≦mの場合には、前記補正部が前記補正された健全度を前記算出する健全度として採用するよう制御することを特徴とする請求項１ないし６のいずれかに記載のディスカッション健全度算出装置。
【請求項１１】
ディスカッションの健全度を算出するディスカッション健全度算出プログラムであって、
ディスカッションの特徴を表す表層的特徴量を算出して該表層的特徴量に基づいて前記ディスカッションの健全度を定量化する健全度定量化ステップと、
テキスト特徴に基づいて前記ディスカッションの健全度に関する分類結果を得るテキスト分類ステップと、
前記定量化された健全度を前記分類結果に基づいて補正し、当該補正された健全度を前記算出する健全度となす補正ステップと、をコンピュータに実行させることによって、当該コンピュータをディスカッション健全度算出装置として機能させることを特徴とするディスカッション健全度算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスカッション健全度定量化に関し、特に、オンライン掲示板等で交わされるユーザ同士のディスカッションが健全に盛り上がっているか・荒れているかを判定するため、発言間の類似性や参加ユーザ数、発言数や発言内の文字数といった表層的特徴に加え、テキスト特徴を基に、ディスカッション全体の健全度を定量化する、ディスカッション健全度算出装置及びプログラムに関するものである。
【背景技術】
【０００２】
これまで活用されていたオンライン掲示板に加え、近年のSNS（ソーシャル・ネットワーキング サービス；Social Networking Service）登録ユーザの増加により、一般ユーザであってもオンラインでディスカッションを行うことが容易になった。これらの環境で交わされるユーザ同士のディスカッションには、健全に盛り上がるディスカッションもあれば、正常に進行されない（荒れている）ディスカッションもある。
【０００３】
後者としては、具体的には、他の参加ユーザの発言を理解できない、あるいは理解しようとしないことから言い争いへの発展、悪意をもった参加者による阻害等、ディスカッションを進めるにあたって有益でない発言が多くなる。正常に進行していないディスカッション（荒れているディスカッション）が多くなると、他のユーザがディスカッションに参加しなくなる一因、つまり、サービスを利用しなくなる一因となり、サービス運営者は、ディスカッションの場を健全に保つための行動が必要となる。
【０００４】
具体的には、荒れているディスカッションへの参加や、荒れる原因となった参加ユーザや発言の削除を行う。しかしながら、提供サービス内で行われている多数のディスカッションについて、健全に盛り上がっているか・荒れているかを判定するには、現状目視で確認する必要があり、多大なコストを要する。
【０００５】
これらの事情から、個々のディスカッションが健全に盛り上がっている度合いを定量化することは、ユーザ・サービス運営者双方にとって非常に重要である。当該定量化に関連する従来技術として、特許文献１，２及び非特許文献１，２に紹介される技術が挙げられる。
【０００６】
特許文献１の技術では、企業組織活動における対話行動を評価するために，被評価者の所属グループにおける対話行動事象の頻度を集計し、さらに新しい対話事象ほど情報量を大きく、またありきたりな対話事象ほど情報量を小さくすることにより、コミュニケーションの膠着状態を検出する。
【０００７】
非特許文献１の技術では、荒れていないディスカッション、および荒れているディスカッションに出現する単語を格納した辞書を予め準備し、入力されたディスカッション（例えば掲示板でのやり取り）中に当該辞書中の単語が出現するか、出現する際にはそれが連鎖するか、という基準に基づいてディスカッションの荒れている度合いを定量化する。
【０００８】
特許文献２又は非特許文献２の技術では、テキストでやり取りされるオンラインディスカッションから表層的特徴（文字数や単語数、動詞数や動詞の命令形出現回数等）を基に、ディスカッションの健全度を定量化する。ディスカッションが正常に進行している場合は健全度を高く、言い争いが発生している場合は健全度を低く推定する技術である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開2006-260102号公報「対話行動評価装置および方法」
【特許文献２】特開2012-14507号公報「ディスカッション健全度算出装置、ディスカッション健全度算出方法およびコンピュータプログラム」
【非特許文献】
【００１０】
【非特許文献１】Yu Ichifuji, Susumu Konno and Hideaki Sone, "A Method to Monitor a BBS Using Feature Extraction of Text Data," Proceedings of 3rd International Conference on Human.Society@Internet, LNCS 3597, pp.349-352, 2005.
【非特許文献２】武吉朋也、帆足啓一郎、松本一則、小野智弘、"表層的特徴に基づくオンラインディスカッションの健全度定量化手法"、WebDB Forum2010
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、当該従来技術では必ずしも適切にディスカッションの健全度を定量化できるとは限らなかった。
【００１２】
特許文献１の技術では、対話行動が発生したか、またその対話行動が組織内外の人物によるものであるかによって対話行動を評価するため、健全に盛り上がっているか・荒れているかを判定できない。
【００１３】
非特許文献１の技術では、予め構築したNGワード（例えば「死ね」、等）が出現するかによるため、これらNGワードを格納した辞書中の単語が出現しない場合には、正しく健全度を定量化できない。具体的には、例えば「死ね」や「黙れ」といった乱暴な言葉で無くとも、語感として丁寧に誹謗中傷する場合や、互いに相いれず平行線が続いているケースについては、荒れている度合いを正しく定量化できない。さらに、人手で辞書を整備する必要があるため、そのためのコストを要する。
【００１４】
特許文献２又は非特許文献２の技術では、表層的特徴を基に健全度を定量化する。しかしながら、場合によっては、表層的特徴のみで抽出できないケース、例えばテキスト特徴のみによって健全/荒れが判定できるケースが存在し、このような場合には取りこぼす可能性もありうる。
【００１５】
上記従来技術の課題に鑑みて、本発明の目的は、ディスカッションの健全度を適切に算出することのできるディスカッション健全度算出装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１６】
上記目的を達成するため、本発明は、ディスカッションの健全度を算出するディスカッション健全度算出装置であって、ディスカッションの特徴を表す表層的特徴量を算出して該表層的特徴量に基づいて前記ディスカッションの健全度を定量化する健全度定量化部と、テキスト特徴に基づいて前記ディスカッションの健全度に関する分類結果を得るテキスト分類部と、前記定量化された健全度を前記分類結果に基づいて補正し、当該補正された健全度を前記算出する健全度となす補正部とを備えることを特徴とするを第一の特徴とする。
【００１７】
また、本発明は、前記補正部は、前記分類結果が所定基準で健全度が高い（又は、低い）ことを示している場合にそれぞれ、前記定量化された健全度をより高く（又は、より低く）するように補正することを特徴とするを第二の特徴とする
【００１８】
また、本発明は、前記テキスト分類部が、前記ディスカッションよりそのテキスト特徴として、前記ディスカッションに含まれる各単語の重要度を要素とする単語特徴ベクトルを生成する単語特徴ベクトル生成部と、前記単語特徴ベクトルに基づいて前記ディスカッションが健全か否かを分類する健全分類器と、前記単語特徴ベクトルに基づいて前記ディスカッションが荒れているか否かを分類する荒れ分類器とを含み、前記補正部は、前記健全分類器が健全であると分類し、且つ前記荒れ分類器が荒れていないと分類した場合を、前記分類結果が所定基準で健全度が高いことを示している場合となし、前記健全分類器が健全でないと分類し、且つ前記荒れ分類器が荒れていると分類した場合を、前記分類結果が所定基準で健全度が低いことを示している場合となし、前記健全分類器及び荒れ分類器がそれぞれ、所与の学習用ディスカッションに健全か否か及び荒れているか否かのラベルが予め付与されたものを用いて、所与の統計的機械学習によって構築され、前記健全度定量化部は、前記所与の学習用ディスカッションに健全度として所定値が予め付与されたものを用いて、表層的特徴量と健全度との対応関係を多変量解析によって学習することによって構築されることを第三の特徴とする。
【００１９】
また、上記目的を達成するため、本発明は、ディスカッションの健全度を算出するディスカッション健全度算出方法であって、ディスカッションの特徴を表す表層的特徴量を算出して該表層的特徴量に基づいて前記ディスカッションの健全度を定量化する健全度定量化ステップと、テキスト特徴に基づいて前記ディスカッションの健全度に関する分類結果を得るテキスト分類ステップと、前記定量化された健全度を前記分類結果に基づいて補正し、当該補正された健全度を前記算出する健全度となす補正ステップとを備えることを第四の特徴とする。
【００２０】
さらに、上記目的を達成するため、本発明は、ディスカッションの健全度を算出するディスカッション健全度算出プログラムであって、前記各ステップをコンピュータに実行させることによって、当該コンピュータをディスカッション健全度算出装置として機能させることを第五の特徴とする。
【発明の効果】
【００２１】
前記第一、第四又は第五の特徴によれば、表層的特徴量から定量化した健全度を、テキスト特徴に基づく分類結果に基づいて補正することで、ディスカッションより両特徴を組み合わせて用いて適切な健全度を算出することができるようになる。
【００２２】
前記第二の特徴によれば、分類結果がある程度顕著に健全度が高い又は低いことを示している場合に健全度をより高く又はより低く補正するので、テキスト特徴を加味すべき場合に加味することで適切な健全度を算出することができるようになる。
【００２３】
前記三の特徴によれば、所与の統計的機械学習によって単語特徴ベクトルからディスカッションが健全であるか否か及び荒れているか否かを両結果を分類結果として得て、両結果の整合が取れる場合をテキスト特徴を加味すべき適切な場合として採用できるようになると共に、予め健全度が付与された所与の学習用ディスカッションを用いて多変量解析で学習しておくことにより表層的特徴量から健全度を定量化し、適切な健全度を算出することができるようになる。
【図面の簡単な説明】
【００２４】
【図１】第一実施例に係るディスカッション健全度算出装置の機能ブロック図である。
【図２】第一実施例に係るディスカッション健全度算出方法のフローチャートである。
【図３】健全度定量化部の機能ブロック図である。
【図４】テキスト分類部の機能ブロック図である。
【図５】分類結果に基づいて健全度を補正する量の一例を場合分けで示した図表である。
【図６】健全度定量化モデル保存部並びに健全分類モデル保存部及び荒れ分類モデル保存部の構築の一例を概念的に説明するための図である。
【図７】第二実施例に係るディスカッション健全度算出装置の機能ブロック図である。
【図８】第二実施例に係るディスカッション健全度算出方法のフローチャートである。
【図９】第三実施例に係るディスカッション健全度算出装置の機能ブロック図である。
【図１０】第三実施例に係るディスカッション健全度算出方法のフローチャートである。
【発明を実施するための形態】
【００２５】
図1は、本発明の第一実施例に係るディスカッション健全度算出装置の機能ブロック図である。ディスカッション健全度算出装置1は、健全度定量化部2、テキスト分類部3及び補正部4を備え、ユーザが指定する等したディスカッションを読み込んでその健全度を算出する。
【００２６】
図2は、本発明の第一実施例に係るディスカッション健全度算出方法のフローチャートである。ステップS1にて、健全度定量化部2は、表層的特徴に基づいてディスカッションの健全度を定量化する。すなわちディスカッションより、予め定められたディスカッションの特徴を表す各種の指標としての、表層的特徴の各種の要素（例えば、発言間の時間間隔の平均値や各発言に含まれる命令形動詞数の平均値等）を表層的特徴量として算出し、予め当該各要素を説明変数としディスカッションの健全度を目的変数として構築しておいた学習モデルを用いて、健全度を定量化する。
【００２７】
ステップS2にて、テキスト分類部3は、テキスト特徴に基づいてディスカッションの健全度に関する分類を行う。ステップS3にて、補正部4は、健全度定量化部2の定量化した健全度を、テキスト分類部3における分類結果に基づいて補正して、ディスカッション健全度算出装置1が最終的に算出する値としての健全度を求める。
【００２８】
当該補正においては、テキスト分類部3の分類結果が健全度が顕著に高いことを示すものである場合には、定量化された健全度の値をさらに高くするように補正し、テキスト分類部3の分類結果が健全度が顕著に低いことを示すものである場合には、定量化された健全度をさらに低くするように補正する。当該健全度が顕著に高いか、及び顕著に低いか、の判定にはそれぞれ所定基準が用いられる。
【００２９】
なお、図2のフローにおいてステップS1とS2とは順番を入れ替えてもよい。当該各ステップにおける各部の処理の詳細は次の通りである。
【００３０】
図3は、健全度定量化部2の機能ブロック図である。健全度定量化部2は、指標算出部20、定量化部21及び健全度定量化モデル保存部22を含む。指標算出部20は、発言要素算出部25、発言間要素算出部26、ユーザ要素算出部27及び全体要素算出部28を含み、当該各部はディスカッションより所定の特徴を定量化してとらえるための各種の表層的特徴量を算出する。
【００３１】
ここで、指標算出部20の各部を説明するために、本発明における健全度算出対象のディスカッションにおけるデータ形式を説明する。ディスカッションは、少なくとも下記３つの情報により１つのエントリ（発言）が構成されたテキストであり、例えばソーシャルメディアやオンライン掲示板において蓄積されている。
(1) 発言ユーザ識別子：発言を行ったユーザを環境内で個別に識別可能なIDまたはユーザ名
(2) 発言日時：その発言が投稿された年月日、および時刻
(3) 発言内容：その発言が含むテキスト内容
【００３２】
発言要素算出部25は、各発言内容の規模を捉える要素を算出する。例えば、各発言内容の文字数、単語数、語彙数、各種品詞の出現回数などを算出する。当該算出は、発言が長い(発言内容の規模が大きい)場合には健全ではない可能性が高いという知見に基づく。
【００３３】
発言要素算出部25はまた、発言内容から読みとれるユーザの態度を捉える要素を算出する。例えば、発言内容に含まれる動詞の各種活用形の出現回数や、敬称表現、感嘆符及び疑問符の出現回数などを算出する。発言要素算出部25はさらに、発言内容の複雑さを捉える要素を抽出する。例えば、漢字、ひらがな及び数字といった各種文字種ごとの出現回数などを算出する。
【００３４】
発言間要素算出部26は、ディスカッションの進行速度を捉える要素として、例えば連続する発言間の時間間隔の逆数を算出する。また、発言間の内容の変化を捉える要素として、例えばディスカッション内の各発言においてそれまでは出現しなかったが、当該発言において初めて出現した単語数(新規出現単語数)や、隣接する発言間での文字数等の差及び共通する単語数等を算出する。さらに、ユーザ間のやりとりを捉える要素として、特定の１ユーザによる連続発言数や、特定の２ユーザにおいて発言が連続する数などを算出する。
【００３５】
ユーザ要素算出部27は、ディスカッションの円滑進行に関連するという知見に基づき、各ユーザの発言規模を捉える要素として、各ユーザの発言数や、語彙数などを算出する。また、各ユーザが注目されている度合いを捉える要素として、ディスカッション内で各ユーザ名（又はユーザＩＤ）が出現する回数及び発言数などを算出する。
【００３６】
なお、発言要素算出部25、発言間要素算出部26及びユーザ要素算出部27は上記算出する量につき、ディスカッション内での平均値、中央値、最大値、最小値及び分散をさらに算出して、表層的特徴量となす。
【００３７】
全体要素算出部28は、荒れたディスカッションはユーザが入り乱れ長文が連続する傾向にあるという知見に基づき、ディスカッション全体での規模を捉える要素、例えば、ディスカッション中の発言ユーザの総数や総語彙数などを抽出する。また、発言要素算出部25、発言間要素算出部26及びユーザ要素算出部27の抽出した各要素をディスカッション内で総計したものを抽出する。
【００３８】
全体要素算出部28はさらに、健全なディスカッションは特定ユーザ間でやりとりがなされて各ユーザは均等に発言し、また、あるテーマに即して進行する場合は結果的にテーマに関連した内容に偏るという知見に基づき、ディスカッション全体での偏りを捉える要素を抽出する。例えば、最多発言ユーザの発言数の全発言に占める割合や、全ユーザの発言内容に共通して出現する単語数などを抽出する。
【００３９】
以上のように、指標算出部20(の各部)は各種の知見に基づき、ディスカッションの健全度に関する何らかの特徴を捉えると想定される所定の各種の表層的特徴量（文字数や単語数、動詞数や動詞の命令形出現回数等）を抽出する。
【００４０】
定量化部21は、指標算出部20の算出した表層的特徴量より、ディスカッションの健全度を算出し、健全度定量化部2の出力となす。当該算出の際に、健全度定量化モデル保存部22に保存された健全度算出の所定のモデル及びパラメータを参照する。
【００４１】
健全度定量化モデル保存部22には、予めマニュアル作業等で健全度が付与された所定の複数のディスカッションに対して指標算出部20を適用して表層的特徴量を算出したものを学習データとして、表層的特徴量と健全度との対応関係を所定のモデルによって学習した結果が、パラメータなどとして保存されている。モデルとして例えば、多変量解析の一種である重回帰分析を利用することができ、学習されたモデルは以下の(式1)で表される。
【００４２】
【数１】
0005789549.tif 000002
【００４３】
ここで、yは健全度、cは切片、aiはi番目の表層的特徴量に対する偏回帰係数、xiはi番目の表層的特徴量、kは用いる表層的特徴量の総数を表す。こうして、健全度定量化モデル保存部22学習結果として保持されているパラメータc及び各aiと(数1)の健全度算出モデルとを利用して、定量化部21は抽出された表層的特徴量xiより健全度yを算出する。
【００４４】
なお、健全度定量化部2の詳細については特許文献２又は非特許文献２に詳しい。本発明における健全度定量化部2の構成に際しては、各種の表層的特徴量のうちの一部分のみを採用するようにしてもよい。
【００４５】
図4は、テキスト分類部3の機能ブロック図である。テキスト分類部3は、単語特徴ベクトル生成部30及び分類結果出力部31を含む。分類結果出力部31はさらに、健全分類モデル保存部33を含む健全分類器32と、荒れ分類モデル保存部35を含む荒れ分類器34と、を含む。
【００４６】
単語特徴ベクトル生成部30は、ディスカッションを読み込んで、後段の分類結果出力部31におけるテキスト分類手法の適用に必要な単語特徴ベクトルを生成する。当該ベクトルの構成要素には、ディスカッション内での単語出現頻度に基づいた各単語の重要度を表す特徴量（例えばTF-IDF：Term Frequency - Inversed Document Frequency）を採用することができる。
【００４７】
分類結果出力部31は、生成された単語特徴ベクトルを用いてディスカッションが健全/荒れであるかを分類し、当該分類結果を補正部4(図1)に出力する。この処理では、予め統計的機械学習（例えば、SVM：サポートベクトルマシンSupport Vector Machine）で構築した分類モデルに単語特徴ベクトルを代入することで分類結果を取得する。
【００４８】
なお具体的には、健全分類器32がディスカッションが健全であるか否かを分類し、荒れ分類器34がディスカッションが荒れているか否かを分類し、当該両分類結果を補正部4へと出力する。当該分類の際、健全分類器32は健全分類モデル保存部33に保存された健全に関する分類モデルを、荒れ分類器34は荒れ分類モデル保存部35に保存された荒れに関する分類モデルを、それぞれ参照することによって分類結果を得る。
【００４９】
補正部4は、健全度定量化部2の定量化した健全度（その値をβとする）をテキスト分類部3で得た分類結果に基づいて補正し、当該補正された健全度を最終的な健全度として出力する。
【００５０】
図5は当該分類結果に基づく健全度の補正量の一例を示す図表である。分類結果は図示するように[ケースa]、[ケースb]及び[ケースc]に場合分けされ、補正量は各場合に対して次のように定められる。
【００５１】
すなわち[ケースa]は、健全分類器32が「健全」と分類し、且つ荒れ分類器34が「荒れ以外」（荒れていない）と分類する場合であり、両分類結果の整合が取れており、分類結果全体としてディスカッションが健全である可能性がより高いと推測されるため、健全度が高くなるよう正の所定値αを加えて補正する。補正された健全度はβ＋αとなる。
【００５２】
一方で[ケースb]は、健全分類器32が「健全以外」（健全でない）と分類し、且つ荒れ分類器34が「荒れ」と分類する場合であり、両分類結果の整合が取れており、分類結果全体としてディスカッションが荒れ（の状態）である可能性がより高いと推測されるため、健全度が低くなるよう正の所定値αを減じて補正する。補正された健全度はβ−αとなる。
【００５３】
また、上記の場合以外の[ケースc]すなわち、健全分類器32が「健全」と分類し且つ荒れ分類器34が「荒れ」と分類した場合と、健全分類器32が「健全以外」と分類し且つ荒れ分類器34が「荒れ以外」と分類した場合とは、両分類結果の整合が取れておらず、分類結果全体としてディスカッションが健全又は荒れのいずれかである可能性が顕著に高いわけではないと推測されるため、健全度の補正量はゼロとする。すなわち、補正された健全度として健全度定量化部2の出力したβをそのまま採用する。
【００５４】
図3に示した健全度定量化部2における健全度定量化モデル保存部22と、図4に示したテキスト分類部3における健全分類モデル保存部33及び荒れ分類モデル保存部35とは、共通の所定の学習用のディスカッションを用いて構築する(当該各部に保存されるパラメータを定める)ことができる。
【００５５】
図6は当該構築の一例を概念的に説明するための図である。なお、当該構築は図2のフローを開始するのに先立って行うようにしてもよい。以下、図6を参照しながら当該構築について説明する。
【００５６】
共通の学習用のディスカッション(の全部)D0には、その各々に対して予め所定範囲の健全度、例えばその値yが所定範囲(0≦y≦100)にある健全度、がマニュアル付与されている。(1)に示すように健全度定量化モデル保存部22は、当該学習用ディスカッションD0を用いて構築され、前述の(式1)の各パラメータを保持する。
【００５７】
一方、当該学習用ディスカッションD0を用いて健全分類モデル保存部33及び荒れ分類モデル保存部35を構築するために、健全度yの値に「高」、「中」及び「低」の3段階の区別を設ける。例えば、値yが(0≦y≦100)の範囲内にある健全度に対して、(80＜y≦100)を「高」の範囲、(20＜y≦80)を「中」の範囲、(0≦y＜20)を「低」の範囲として定める。こうして、学習用ディスカッションD0は健全度「高」のディスカッションD1と、健全度「中」のディスカッションD2と、健全度「低」のディスカッションD3とに分けられる。なお、「高」及び「低」を定めると、「中」はそれら以外として自動で定まる。
【００５８】
当該学習用ディスカッションD0を用いてSVM等を学習して健全分類モデル保存部33及び荒れ分類モデル保存部35を構築する際に、正例及び負例を次のように定める。
【００５９】
(2)に示すように健全分類モデル保存部33の構築の際には、学習用ディスカッションD0のうち健全度が「高」のものD1を正例、健全度が「中」又は「低」のものD2及びD3(「高」以外のもの)を負例として利用する。(3)に示すように荒れ分類モデル保存部35の構築の際には、学習用ディスカッションD0のうち健全度が「低」のものD3を正例、健全度が「中」又は「高」のものD2及びD1(「低」以外のもの)を負例として利用する。
【００６０】
以上のように構築することで、学習用ディスカッションD0を共通利用できるために健全度のマニュアル付与の手間が低減されると共に、健全分類器32及び荒れ分類器34はそれぞれD1及びD3のような、顕著に健全である又は荒れ(の状態)であるディスカッションを正例として分類するようになり、補正部4も適切な推測に基づいた補正を行うことができるようになる。
【００６１】
以上、第一実施例を説明したが、第一実施例における変形として、分類結果出力部31は、健全分類器32又は荒れ分類器34のいずれか一方のみを含んで構成されていてもよい。この場合、ステップS3にて補正部4は、次のように補正すればよい。
【００６２】
健全分類器32のみの場合で、分類結果として「健全」であった場合は健全度に正の所定値αを加えて補正し、分類結果として「健全以外」であった場合は補正量をゼロとする、又は正の所定値αを減じて補正する。荒れ分類器34のみの場合で、分類結果として「荒れ」であった場合は健全度より正の所定値αを減じて補正し、分類結果として「荒れ以外」であった場合は補正量をゼロとする、又は正の所定値αを加えて補正する。
【００６３】
図7は、第二実施例に係るディスカッション健全度算出装置1の機能ブロック図である。図1に示した第一実施例に対する追加構成として、ディスカッション健全度算出装置1はさらに、健全度信頼度算出部5及び分類結果信頼度算出部6を備える。第二実施例において健全度定量化部2及びテキスト分類部3は、それぞれ健全度信頼度算出部5及び分類結果信頼度算出部6に対して当該各部が機能するために必要な所与のデータを出力する点を除いて、第一実施例と同様に機能する。
【００６４】
図8は、第二実施例に係るディスカッション健全度算出方法のフローチャートであり、図示するようにステップS10〜S30が順次実行される。ここで、ステップS10及びS20についてはそれぞれ、図２で説明した第一実施例におけるステップS1及びS2と共通(同一)であり、第一実施例に対する追加ステップとしてステップS11及びS21が存在し、第一実施例のステップS3の変形としてステップS30が存在する。なお、ステップS10とS20とは逆であってもよい。ステップS11はステップS10の後で且つステップS30の前であればよい。ステップS21はステップS20の後で且つステップS30の前であればよい。
【００６５】
ステップS11にて健全度信頼度算出部5は、ステップS10にて健全度定量化部2が定量化した健全度(第一実施例のステップS1と同一の健全度)に対する信頼度を算出する。具体的には、図3に示した健全度定量化モデル保存部22の構築に利用した学習用ディスカッションより、各種の表層的特徴量の値の頻度分布を集計しておき、健全度算出対象のディスカッションに対して図3に示した指標算出部20が算出した表層的特徴量が頻度分布上で出現する割合(確率)を表層的特徴量ごとに求めた後、全種類の表層的特徴量で所与の重みを付与して割合を集計した結果を信頼度とする。
【００６６】
すなわち、(式1)と共通の記号を利用して、全k種類の表層的特徴量に対し、i番目の表層的特徴量xiがディスカッションより指標算出部20により算出され、定量化部21により(式1)の健全度yが求まったとする。このとき、健全度yに対する信頼度r(y)は、i番目の表層的特徴量の学習用ディスカッションにおける頻度分布関数(又は規格化して確率分布関数)をFi、i番目の表層的特徴量に対する信頼度算出の重みをwiとすると、(式2)で与えられる。
【００６７】
【数２】
0005789549.tif 000003
【００６８】
なお、重みwiについては、所定の値を予め定めておく。特に、発言間要素算出部26の算出する表層的特徴量（例：発言間の時間間隔や同一ユーザによる連続発言数）はディスカッションの特徴を顕著に表しており、その他の表層的特徴量に対する重みをゼロとして、当該表層的特徴量のみで信頼度を算出してもよい。
【００６９】
なおまた、健全度信頼度算出部5は(式2)のように健全度に対する信頼度を算出することが可能なように、健全度定量化部2より各表層的特徴量xiを受け取ると共に、学習用ディスカッションを用いて健全度定量化モデル保存部22が構築された際に、併せて頻度分布関数(又は確率分布関数)Fiも求めておき、当該関数Fiの情報を予め保持しておくものとする。
【００７０】
ステップS21にて分類結果信頼度算出部6は、ステップS20におけるテキスト分類部3による分類結果(第一実施例のステップS2と同一の分類結果)に対する信頼度を算出する。この際、テキスト分類部3が分類結果を得る際に用いた情報を受け取り、信頼度を算出する。例えば、健全分類器32及び荒れ分類器34が統計的機械学習法のSVMとして構築されている場合、解析対象のディスカッションデータのSVMの分離超平面からの距離を信頼度として用いてもよい。
【００７１】
ステップS30にて補正部4は、ステップS1で健全度定量化部2の定量化した健全度と、ステップS10で健全度信頼度算出部5が算出した健全度の信頼度（その値をC1とする）と、ステップS2でテキスト分類部3が求めた分類結果と、ステップS20で分類結果信頼度算出部6が求めた分類結果の信頼度(その値をC2とする)と、に基づいて最終出力としての補正された健全度を求める。
【００７２】
なお、以降まず、テキスト分類部3が健全分類器32又は荒れ分類器34のうち一方のみを含んで構成されている場合について説明する。この場合、当該一方の分類器におけるSVMの分離超平面からの距離がステップS21で信頼度C2として求まっている。
【００７３】
ここで、各信頼度C1及びC2に対する所定の閾値をそれぞれβ1及びβ2として、予め設定しておき、次の(1)〜(3)の条件分岐に従って、補正部4は補正された健全度（最終出力）を求める。
【００７４】
(1)C1＞β1かつC2≦β2の場合、健全度定量化部2の定量化した健全度を最終出力となす。
(2)C1≦β1かつC2＞β2の場合、テキスト分類部3の分類結果より以下説明するように健全度を割り当てることで最終出力とする。
(3)上記(1)又は(2)以外の場合、すなわち「C1＞β1かつC2＞β2」又は「C1≦β1かつC2≦β2」の場合、第一実施例における補正部4(ステップS3)と同様の手法で最終出力を得る。
【００７５】
すなわち、(1)の場合は健全度定量化部2における健全度の信頼度が高く、テキスト分類部3における分類結果の信頼度が低いので、健全度定量化部2の結果のみを最終出力となし、(2)の場合はその逆であるので、テキスト分類部3の結果のみから最終出力を求め、(3)の場合はそれらのいずれにも該当しないので、第一実施例と同様とする。
【００７６】
なお(2)の場合、テキスト分類部3における健全分類器32又は荒れ分類器34の分類結果より次のように最終的な健全度を定める。具体的には、健全分類器32の場合で分類結果が「健全」であれば値が高い側の所定の健全度yhighを割り当て、分類結果が「健全以外」であれば値が低い側の所定の健全度ylowを割り当てる。また、荒れ分類器34の場合で分類結果が「荒れ」であれば値が低い側の所定の健全度ylowを割り当て、分類結果が「荒れ以外」であれば値が高い側の所定の健全度yhighを割り当てる。
【００７７】
なおまた、上記高い側及び低い側の所定の健全度yhigh及びylowについては、第一実施例において図6を用いて説明したように、共通の学習用ディスカッションを用いて健全分類モデル保存部33又は荒れ分類モデル保存部35を構築した場合であれば、予め付与された健全度y(例えば0≦y≦100)に対する３段階の区別として設けた「高」(例えば80＜y≦100)、「中」(例えば20＜y≦80)及び「低」(例えば0≦y＜20)のうち、「高」の範囲内の所定値でyhighを定め、「低」の範囲内の所定値でylowを定めてもよい。
【００７８】
次に、テキスト分類部3が健全分類器32及び荒れ分類器34の両方を含んで構成されている場合の、ステップS30での補正部4の処理について説明する。
【００７９】
この場合、ステップS21にて、健全分類器32のSVMにおける分離超平面からの距離として健全分類器32の結果に対する信頼度(その値をC21とする)と、荒れ分類器34のSVMにおける分離超平面からの距離として荒れ分類器34の結果に対する信頼度(その値をC22とする)と、が求まっている。
【００８０】
予め、健全分類器32の結果の信頼度C21に対する所定の閾値β21と、荒れ分類器34の結果の信頼度C22に対する所定の閾値β22と、を定めておく。ステップS30にて補正部4は、次の(4)〜(10)の条件分岐に従って、最終出力としての補正された健全度を定める。
【００８１】
(4)「C1＞β1」かつ「C21≦β21」かつ「C22≦β22」ならば、健全度の信頼度が高くテキスト分類結果の信頼度がいずれも低いので、健全度定量化部2の出力を用いる。すなわち、ステップS10の出力である健全度定量化結果を、そのまま最終的な健全度として出力する。
【００８２】
(5)「C1≦β1」かつ「C21＞β21」かつ「C22＞β22」ならば、健全度の信頼度が低く、テキスト分類結果の信頼度が共に高いので、テキスト分類部3の出力を用いる。すなわち、ステップS20の出力であるテキスト分類結果から、健全度を割り当て、最終的な健全度として出力する。具体的には、後述する第三実施例におけるステップS63(図10)にて、テキスト分類結果より健全度を３段階の所定値で割り当てるのと同様にする。
【００８３】
(6)『「C1＞β1」かつ「C21＞β21」かつ「C22＞β22」』、または、
『「C1≦β1」かつ「C21≦β21」かつ「C22≦β22」』、ならば、健全度の信頼度とテキスト分類結果の信頼度とが共に高い又は低いので、健全度定量化部2の出力とテキスト分類部3の出力との両者を用いて、第一実施例のステップS3と同様に補正する。
【００８４】
(7)「C1＞β1」かつ「C21≦β21」かつ「C22＞β22」ならば、健全度の信頼度が高く、健全分類器32の信頼度が低く、荒れ分類器34の信頼度が高いので、健全度定量化部2の出力を荒れ分類器34の出力で補正する。すなわち、荒れ分類器34の結果が「荒れ」ならば所定の補正値−α（α＞０）を健全度定量化部2の出力に加えることで、その値を減じて最終出力としての健全度とする。「荒れ以外」ならば、健全度定量化部2の出力をそのまま最終出力としての健全度とする。
【００８５】
(8)「C1＞β1」かつ「C21＞β21」かつ「C22≦β22」ならば、健全度の信頼度が高く、健全分類器32の信頼度が高く、荒れ分類器34の信頼度が低いので、健全度定量化部2の出力を健全分類器32の出力で補正する。すなわち、健全分類器32の結果が「健全」ならば所定の補正値α（α＞０）を健全度定量化部2の出力に加え、その値を増して最終出力としての健全度とする。「健全以外」ならば、健全度定量化部2の出力をそのまま最終出力としての健全度とする。
【００８６】
(9)「C1≦β1」かつ「C21≦β21」かつ「C22＞β22」ならば、健全度の信頼度が低く、健全分類器32の信頼度が低く、荒れ分類器34の信頼度が高いので、荒れ分類器34の出力から健全度を割り当てる。すなわち、荒れ分類器34の結果が「荒れ」ならば低い側の所定の値、例えば前述のylowを最終出力としての健全度とする。「荒れ以外」ならば中間に属する所定の値、例えば前述のyhighとylowとの中間の所定値を最終出力としての健全度とする。
【００８７】
(10)「C1≦β1」かつ「C21＞β21」かつ「C22≦β22」ならば、健全度の信頼度が低く、健全分類器32の信頼度が高く、荒れ分類器34の信頼度が低いので、健全分類器34の出力から健全度を割り当てる。すなわち、健全分類器34の結果が「健全」ならば高い側の所定の値、例えば前述のyhighを最終出力としての健全度とする。「健全以外」ならば中間に属する所定の値、例えば前述のyhighとylowとの中間の所定値を最終出力としての健全度とする。
【００８８】
以上の第二実施例における、ステップS21での分類結果に対する信頼度の別実施例を説明する。すなわち、超平面からの距離を信頼度として利用する代わりに、健全分類モデル保存部33及び荒れ分類モデル保存部35をそれぞれ構築する際の学習用ディスカッションを構成する単語の別種類の統計量を利用する。
【００８９】
具体的には、所与の学習用ディスカッションより単語J(J=1,2,3,...)の頻度分布関数(又は規格化して確率分布関数)G(J)を求め、健全度算出対象のディスカッションに含まれるＫ種類の各単語j(i)(i=1,2, ...,K)につき、所与の重みWj(i)を付与して、分類結果に対する信頼度Rを次の(式3)ように求める。単語抽出については後述の第三実施例における手法選択部7と同様に、本文データに対して形態素解析を適用すればよい。
【００９０】
【数３】
0005789549.tif 000004
【００９１】
当該頻度分布関数G(J)の情報等も、健全分類モデル保存部33及び荒れ分類モデル保存部35をそれぞれ構築する際に分類結果信頼度算出部6において共有するようにしておくものとする。
【００９２】
なお、図6の説明のように健全分類モデル保存部33及び荒れ分類モデル保存部35を共通の学習用ディスカッションで構築した場合は、頻度分布関数G(J)は両保存部で共通となるので、上記(1)〜(3)の場合分けを利用することとなる。学習用ディスカッションが共通していない場合は、両保存部で頻度分布関数G(J)が異なり、上記(4)〜(10)の場合分けを利用することとなる。
【００９３】
図9は、第三実施例に係るディスカッション健全度算出装置1の機能ブロック図である。図１に示した第一実施例に対する追加構成として、ディスカッション健全度算出装置1はさらに、手法選択部7を備える。
【００９４】
手法選択部7は、健全度算出対象のディスカッションを読み込み、当該ディスカッション中に出現するNGワードの種類数に基づき、最終出力としての健全度を算出する手法の選択を行い、当該選択に従って各部を機能させる指示情報を、健全度定量化部2、テキスト分類部3及び補正部4に出力する。すなわち、手法選択部7は各部(特に補正部4)を制御する。
【００９５】
当該選択においては、(1)健全度定量化手法のみで算出、(2)テキスト分類手法のみで算出、(3)当該両手法を組み合わせて算出、の3種類の中から所定基準に従って選択され、選択された場合に応じて次のような処理が行われる。
【００９６】
(1)の場合、健全度定量化部2は第一実施例と同様に機能するが、テキスト分類部3は処理を行わず(又は、行ったとしてもその結果が利用されない)、補正部4は健全度定量化部2の定量化した健全度をそのままの値で、補正された最終出力としての健全度となす。
【００９７】
(2)の場合、健全度定量化部2は処理を行わず(又は、行ったとしてもその結果が利用されない)、テキスト分類部3は第一実施例と同様に機能し、補正部4はテキスト分類部3による分類結果に基づいて補正された最終出力としての健全度を求める。
【００９８】
(3)の場合、健全度定量化部2、テキスト分類部3及び補正部4は第一実施例と同様に機能して、同様に補正された健全度を最終出力として与える。
【００９９】
図10は、第三実施例に係るディスカッション健全度算出方法のフローチャートである。以下、当該各ステップと共に図9の各部の処理の詳細を説明する。
【０１００】
フローが開始されるとステップS5にて、手法選択部7がディスカッション内のNGワードの種類数(xとする)を求める。この際まず、前述の少なくとも(1)発言ユーザ識別子、(2)発言日時及び(3)発言内容、を含んで構成されるディスカッションのうちの本文データ、すなわち(3)発言内容に対して形態素解析を適用して、単語を抽出する。次に、予め用意しておく所定のNGワードリストと照合を行い、NGワードの出現種類数xを求める。
【０１０１】
ステップS5で手法選択部7はさらに、所定の閾値n(自然数)に対して
x＜n  …(式4)
であるか否かを判断する。上記(式4)が真であればフローはステップS50へと、偽であればステップS6へと進む。
【０１０２】
ステップS50にて、手法選択部7は健全度定量化手法のみを適用して健全度を算出すべき旨を決定し、その指示情報を各部に送る。当該指示によって、テキスト分類部3はディスカッションに対する処理を省略する。ステップ51にて健全度定量化部2は、指示情報に従ってディスカッションの健全度を第一実施例と同様に(図2のステップS1と同様に)定量化する。ステップS53にて補正部4は、健全度定量化部2が定量化した健全度をそのままの値で最終出力としての補正された健全度となし、フローは終了する。
【０１０３】
一方、ステップS6では、手法選択部7はさらに、所定の閾値m(自然数であり、且つステップS5のnよりも大きい[m＞n])に対して、種類数xが、
x＞m  …(式5)
であるか否かを判断する。上記(式5)が真であればフローはステップS60へと、偽であればステップS70へと進む。なお、n≦x≦mの場合にステップS70へ進むこととなる。
【０１０４】
ステップS60にて、手法選択部7はテキスト分類手法のみを適用して健全度を算出すべき旨を決定し、その指示情報を各部に送る。当該指示によって、健全度定量化部2はディスカッションに対する処理を省略する。ステップS62にてテキスト分類部3は、指示情報に従ってディスカッションの分類結果を第一実施例と同様に(図2のステップS2と同様に)求める。
【０１０５】
ステップS63にて補正部4は、ステップS62でテキスト分類部3により得られた分類結果に基づいて最終出力としての補正された健全度を定める。具体的には、場合分け手法として図5の[ケースa]、[ケースb]及び[ケースc]の３つの場合分けを用いて、次のように３段階(高い、低い、中間)の所定値として健全度を定める。
【０１０６】
[ケースa]の場合は、分類結果が顕著に「健全」であるので、所定の高い値の健全度とする。[ケースb]の場合は、分類結果が顕著に「荒れ」であるので、所定の低い値の健全度とする。[ケースc]の場合は、分類結果が「健全」と「荒れ」との中間であるので、所定の中間の値の健全度とする。ステップS63の完了後、フローは終了する。
【０１０７】
なお、当該ステップS63での３段階の健全度は、図6にて説明した健全分類モデル保存部33及び荒れ分類モデル保存部35の構築の際の「高」、「中」及び「低」の範囲内の所定値をそれぞれ高い、中間及び低い健全度に利用するようにしてもよい。
【０１０８】
一方、ステップS70にて手法選択部7は、第一実施例と同様に健全度定量化手法とテキスト分類手法との両者を利用して補正によって健全度を算出すべき旨を決定し、その指示情報を各部に送る。以降のステップS71、S72及びS73は図1のステップS1、S2及びS3と同様であり、これらの完了後にフローは終了する。
【０１０９】
以上、第三実施例では、NGワードが他種類出現するディスカッションは荒れている可能性が高く且つ荒れている度合いをテキスト特徴で判定しやすいと考えられるため、このような場合は大きい方の閾値mによってステップS60以降のフローが選択されるようにする。また、NGワードが少数しか出現しないディスカッションはテキスト特徴では健全か荒れているかを判定しづらいと考えられるため、このような場合は小さい方の閾値nによってステップS50以降のフローが選択されるようにする。さらに、NGワードが多いとも少ないとも言えない場合は、両者を組み合わせた手法が有効と考えられるため、ステップS70以降が選択されるようにする。
【０１１０】
本発明は、コンピュータを図1、図7又は図9のディスカッション健全度算出装置1として機能させるプログラムとして実施してもよい。この場合、当該コンピュータは当該プログラムを読み込んで、図2、図8又は図10の各手順を実行する。健全度定量化モデル保存部22、健全分類モデル33及び荒れ分類モデル保存部35を構築することも、図2、図8又は図10の各手順に先だって当該プログラムによって実行してもよいし、構築結果を予めプログラム内に保持しておいてもよい。
【０１１１】
以上、本発明によれば、ディスカッションの健全度を適切に算出することができる。第一実施例において、健全度定量化部2は、多変量解析によって学習しておくことで、ディスカッションより算出した表層的特徴量より健全度を定量化する。テキスト分類部3は、統計的機械学習によって構築された健全分類器32及び荒れ分類器34を含み、単語特徴ベクトルを解析してディスカッションが健全か否か及び荒れか否かを、テキスト特徴に基づく分類結果として得る。補正部4は、定量化された健全度を分類結果に基づいて補正することで、表層的特徴に対してテキスト特徴をも加味した最終的な健全度を算出する。補正の際、分類結果が顕著に健全／荒れである場合に、定量化された健全度をより高く／低くするよう補正する。
【０１１２】
第二実施例及び第三実施例では、表層的特徴及びテキスト特徴のいずれを利用するかについてさらに選択的に場合分けが可能となり、適切な健全度を算出することができる。
【０１１３】
本発明の適用により、ディスカッションの健全度定量化結果を基に、健全に盛り上がっているディスカッション・荒れているディスカッションの判定が容易となるため、サービス運営者が場を健全に維持するためのコストを削減できる。
【０１１４】
また本発明の適用により、ユーザは、健全に盛り上がっているディスカッションのみを参照し、自身が参加しているディスカッションを進める上での参考にすることや、あるいはまだ参加していないディスカッションの健全度定量化結果を参照することで、参加するかどうかの判断基準を得られる。
【符号の説明】
【０１１５】
1…ディスカッション健全度算出装置、2…健全度定量化部、3…テキスト分類部、4…補正部、5…健全度信頼度算出部、6…分類結果信頼度算出部、7…手法選択部、20…指標算出部、21…健全度定量化部、22…健全度定量化モデル保存部、25…発言要素抽出部、26…発言間要素算出部、27…ユーザ要素算出部、28…全体要素算出部、30…単語特徴ベクトル生成部、31…分類結果出力部、32…健全分類器、33…健全分類モデル保存部、34…荒れ分類器、35…荒れ分類モデル保存部、
【図１】
0005789549.tif 000005
【図２】
0005789549.tif 000006
【図３】
0005789549.tif 000007
【図４】
0005789549.tif 000008
【図５】
0005789549.tif 000009
【図６】
0005789549.tif 000010
【図７】
0005789549.tif 000011
【図８】
0005789549.tif 000012
【図９】
0005789549.tif 000013
【図１０】
0005789549.tif 000014