(57)【要約】      （修正有）【課題】不必要な情報の抽出を抑えつつ、必要な情報を抽出する装置、システム、方法及びプログラムを提供する。【解決手段】判定装置２０は、データ収集部２２とスコア算出部２４と発言要否判定部２５と判定結果出力部２６とを有する。データ収集部２２は、複数の情報を収集する。スコア算出部２４は、複数の情報の収集に先立って収集された要否が分かっている情報を基として、データ収集部２２により収集された各情報の必要性の程度を示す値を算出する。発言要否判定部２５は、スコア算出部２４により算出された値が所定値以上であるか否かに基づき、各情報の要否を判定する。判定結果出力部２６は、複数の情報の中から、発言要否判定部２５により必要と判定された情報を抽出する。【選択図】図１
2016076172.tif 000002
【特許請求の範囲】
【請求項１】
複数の情報を収集する収集部と、
前記複数の情報の収集に先立って収集された要否が分かっている情報を基として、前記収集部により収集された各情報の必要性の程度を示す値を算出する算出部と、
前記算出部により算出された値が所定値以上であるか否かに基づき、前記各情報の要否を判定する判定部と、
前記複数の情報の中から、前記判定部により必要と判定された情報を抽出する抽出部と
を有することを特徴とする情報抽出装置。
【請求項２】
キーワードを設定する設定部を更に有し、
前記収集部は、前記設定部により設定されたキーワードにより、前記複数の情報を収集することを特徴とする請求項１に記載の情報抽出装置。
【請求項３】
前記複数の情報は、ネットワーク上に投稿された発言を含むことを特徴とする請求項１に記載の情報抽出装置。
【請求項４】
前記判定部は、前記各情報の要否の判定結果を、前記情報の要否の判定に再利用することを特徴とする請求項１に記載の情報抽出装置。
【請求項５】
前記算出部は、前記値を、前記発言を行ったユーザに対応する補正値により補正することを特徴とする請求項３に記載の情報抽出装置。
【請求項６】
前記複数の情報は、前記発言に付随する情報を含むことを特徴とする請求項３に記載の情報抽出装置。
【請求項７】
情報抽出装置と、該情報抽出装置に情報を提供する情報提供装置とを有する情報抽出システムであって、
前記情報抽出装置は、
複数の情報を収集する収集部と、
前記複数の情報の収集に先立って収集された要否が分かっている情報を基として、前記収集部により収集された各情報の必要性の程度を示す値を算出する算出部と、
前記算出部により算出された値が所定値以上であるか否かに基づき、前記各情報の要否を判定する判定部と、
前記複数の情報の中から、前記判定部により必要と判定された情報を抽出する抽出部とを有し、
前記情報提供装置は、
前記情報の要否の判定結果を、前記情報抽出装置に提供する提供部を有することを特徴とする情報抽出システム。
【請求項８】
情報抽出装置と、該情報抽出装置に情報を提供する情報提供装置とを有する情報抽出システムで実行される情報抽出方法であって、
前記情報抽出装置が、
複数の情報を収集する収集工程と、
前記複数の情報の収集に先立って収集された要否が分かっている情報を基として、前記収集工程にて収集された各情報の必要性の程度を示す値を算出する算出工程と、
前記算出工程にて算出された値が所定値以上であるか否かに基づき、前記各情報の要否を判定する判定工程と、
前記複数の情報の中から、前記判定工程にて必要と判定された情報を抽出する抽出工程とを含み、
前記情報提供装置が、
前記情報の要否の判定結果を、前記情報抽出装置に提供する提供工程を含むことを特徴とする情報抽出方法。
【請求項９】
複数の情報を収集する収集ステップと、
前記複数の情報の収集に先立って収集された要否が分かっている情報を基として、前記収集ステップにて収集された各情報の必要性の程度を示す値を算出する算出ステップと、
前記算出ステップにて算出された値が所定値以上であるか否かに基づき、前記各情報の要否を判定する判定ステップと、
前記複数の情報の中から、前記判定ステップにて必要と判定された情報を抽出する抽出ステップと
をコンピュータに実行させるための情報抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報抽出装置、情報抽出システム、情報抽出方法、及び情報抽出プログラムに関する。
【背景技術】
【０００２】
従来、ＳＮＳ（Social  Networking  Service）、ブログ、掲示板（ＢＢＳ：Bulletin  Board  System）等に投稿された発言を分析し、企業等のクライアントに対し、所望の情報を提示する技術が提案されている。例えば、特許文献１には、キーワードにより抽出された発言に対し、クラスタリングを適用することで発言を絞り込んだ後、ユーザのプロフィール等を分析することで、該発言で言及されているイベントの発生場所を特定する技術が開示されている。また、非特許文献１には、企業名や商品名をキーワードとして、ＳＮＳ、ブログ、掲示板等から発言を抽出し、抽出された発言を提示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２５５１号公報
【非特許文献】
【０００４】
【非特許文献１】“評Ｂａｎ（登録商標）”、［ｏｎｌｉｎｅ］、ＮＴＴアイティ株式会社  メディアアナリティクス事業部、［平成26年9月16日検索］、インターネット<http://www.hyohban.jp/>
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来の技術には、以下の様な問題点があった。例えば、特許文献１に係る技術では、発言の要否の情報をクラスタの形成に利用できないため、発言の分布に偏りがある場合に、必要な発言を正しく抽出することは困難である。特に、ＳＮＳでは、発言に字数制限がある場合が多く、分析に利用可能な情報量が少なくなるため、必要な発言を精度良く抽出することは困難となる。また、非特許文献１に係る技術では、必要な発言を抽出することができる反面、不必要な発言も、誤って多数抽出してしまうことがある。一例として、コンピュータセキュリティに関する情報を抽出しようとした場合を考える。多くのユーザは、“コンピュータセキュリティ”という言葉を、単に“セキュリティ”と略して用いることが多い。そのため、抽出に用いるキーワードとしては“セキュリティ”と設定することが適当であるが、このように設定した場合、コンピュータセキュリティに関する情報に加えて、防犯セキュリティに関する情報まで抽出されてしまうことがある。
【０００６】
開示の技術は、上記に鑑みてなされたものであって、不必要な情報の抽出を抑えつつ、必要な情報を抽出することができる情報抽出装置、情報抽出システム、情報抽出方法、及び情報抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本願の開示する情報抽出装置は、一つの態様において、複数の情報を収集する収集部と、前記複数の情報の収集に先立って収集された要否が分かっている情報を基として、前記収集部により収集された各情報の必要性の程度を示す値を算出する算出部と、前記算出部により算出された値が所定値以上であるか否かに基づき、前記各情報の要否を判定する判定部と、前記複数の情報の中から、前記判定部により必要と判定された情報を抽出する抽出部とを有する。
【０００８】
また、本願の開示する情報抽出システムは、一つの態様において、情報抽出装置と、該情報抽出装置に情報を提供する情報提供装置とを有する情報抽出システムであって、前記情報抽出装置は、複数の情報を収集する収集部と、前記複数の情報の収集に先立って収集された要否が分かっている情報を基として、前記収集部により収集された各情報の必要性の程度を示す値を算出する算出部と、前記算出部により算出された値が所定値以上であるか否かに基づき、前記各情報の要否を判定する判定部と、前記複数の情報の中から、前記判定部により必要と判定された情報を抽出する抽出部とを有し、前記情報提供装置は、前記情報の要否の判定結果を、前記情報抽出装置に提供する提供部を有する。
【０００９】
更に、本願の開示する情報抽出方法は、一つの態様において、情報抽出装置と、該情報抽出装置に情報を提供する情報提供装置とを有する情報抽出システムで実行される情報抽出方法であって、前記情報抽出装置が、複数の情報を収集する収集工程と、前記複数の情報の収集に先立って収集された要否が分かっている情報を基として、前記収集工程にて収集された各情報の必要性の程度を示す値を算出する算出工程と、前記算出工程にて算出された値が所定値以上であるか否かに基づき、前記各情報の要否を判定する判定工程と、前記複数の情報の中から、前記判定工程にて必要と判定された情報を抽出する抽出工程とを含み、前記情報提供装置が、前記情報の要否の判定結果を、前記情報抽出装置に提供する提供工程を含む。
【００１０】
また、本願の開示する情報抽出プログラムは、一つの態様において、複数の情報を収集する収集ステップと、前記複数の情報の収集に先立って収集された要否が分かっている情報を基として、前記収集ステップにて収集された各情報の必要性の程度を示す値を算出する算出ステップと、前記算出ステップにて算出された値が所定値以上であるか否かに基づき、前記各情報の要否を判定する判定ステップと、前記複数の情報の中から、前記判定ステップにて必要と判定された情報を抽出する抽出ステップとをコンピュータに実行させる。
【発明の効果】
【００１１】
本願の開示する情報抽出装置、情報抽出システム、情報抽出方法、及び情報抽出プログラムは、不必要な情報の抽出を抑えつつ、必要な情報を抽出することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施例１に係る情報抽出システムの構成を示す図である。
【図２】図２は、学習データの構成例を示す図である。
【図３】図３は、実施例１に係る情報抽出システムの学習フェーズにおける動作を説明するためのフローチャートである。
【図４】図４は、実施例１に係る情報抽出システムの判定フェーズにおける動作を説明するためのフローチャートである。
【図５】図５は、実施例２に係る情報抽出システムの構成を示す図である。
【図６】図６は、実施例２に係る情報抽出システムの判定フェーズにおける動作を説明するためのフローチャートである。
【図７】図７は、実施例３に係る情報抽出システムの構成を示す図である。
【図８】図８は、実施例３に係る情報抽出システムの判定フェーズにおける動作を説明するためのフローチャートである。
【図９】図９は、実施例３に係るスコア補正処理を説明するための図である。
【図１０】図１０は、情報抽出プログラムによる情報処理がコンピュータを用いて具体的に実現されることを示す図である。
【発明を実施するための形態】
【００１３】
以下に、本願の開示する情報抽出装置、情報抽出システム、情報抽出方法、及び情報抽出プログラムの実施例を、図面を参照しながら詳細に説明する。なお、以下の実施例により本願の開示する情報抽出装置、情報抽出システム、情報抽出方法、及び情報抽出プログラムが限定されるものではない。
【実施例１】
【００１４】
まず、本願の開示する一実施例に係る情報抽出システムの構成を説明する。図１は、実施例１に係る情報抽出システム１の構成を示す図である。図１に示す様に、情報抽出システム１は、学習フェーズを担う学習装置１０と、判定フェーズを担う判定装置２０とを有する。詳細については後述するが、学習装置１０は、発言のスコアを算出するために用いるパラメータ（以下、「学習モデル」と記す。）を作成及び更新する。判定装置２０は、キーワードを基に収集した発言のスコアを、学習モデルを用いて算出し、収集した発言の中から必要な発言を抽出して提示する。
【００１５】
学習装置１０は、学習データ入力部１１と学習データ変換部１２と学習モデル作成・更新部１３と学習モデル格納部１４とを有する。これら各構成部分は、一方向又は双方向に、信号やデータの入出力が可能な様に接続されている。
【００１６】
学習データ入力部１１は、学習データを入力データとして受け取る。図２は、学習データＤ１の構成例を示す図である。図２に示す様に、学習データＤ１は、データと、発言の要否を示すラベルとの組の集合である。また、データは、発言と、該発言に付随する情報との組である。発言に付随する情報は、例えば、発言の引用数、該発言をしたユーザのプロフィール、該ユーザの友人数等である。なお、図２では、コンピュータセキュリティに関する発言のラベルを「必要」とし、それ以外の発言のラベルを「不必要」とした場合を例示するが、他の方法で切り分けてもよい。
【００１７】
図２において、例えば、発言が“明日の11:00からサイバー攻撃が始まるらしい”であり、付随情報がそれぞれ、引用数“38”、プロフィール“セキュリティを研究しています。”、友人数“1249”である場合、コンピュータセキュリティに関する発言のため、ラベルとして“必要”が付与されている。これに対し、発言が“今日は雨かー”であり、付随情報がそれぞれ、引用数“0”、プロフィール“高校生です。”、友人数“34”である場合には、コンピュータセキュリティに関する発言ではないため、ラベルとして“不必要”が付与されている。
【００１８】
学習データ変換部１２は、学習データ入力部１１により入力された各学習データを、学習モデル作成・更新部１３にかけるために、特徴ベクトルと数値化されたラベル（以下、「数値化ラベル」と記す。）との組に変換する。ここで、特徴ベクトルとは、上記学習データの特徴をｎ次元の数ベクトルにより表記したものである。
【００１９】
データから特徴ベクトルへの変換については、学習データの内、文字で表される文字列データ（例えば、発言、プロフィール）と、数値で表される数値データ（例えば、引用数、友人数）とで異なる方法を採る。学習データ変換部１２は、文字列データを変換する際に、機械学習で一般的に用いられる方法（例えば、（ａ）形態素解析、（ｂ）ｎ−ｇｒａｍ、（ｃ）区切り文字）を利用する。
【００２０】
（ａ）形態素解析では、学習データ変換部１２は、文字列データを品詞に分割し、分割により得られた品詞を数ベクトルに変換する。例えば、文字列データが“今日は、サッカーを、する”の場合、「今日／は／、／サッカー／を／、／する」に分割された後に、数ベクトルに変換される。この様な形態素解析による特徴ベクトルへの変換は、日本語の文章に適している。
【００２１】
（ｂ）ｎ−ｇｒａｍでは、学習データ変換部１２は、文字列データを先頭から１文字ずつずらしながらｎ文字の文字列の組を作り、その組を数ベクトルに変換する。例えば、文字列データが“今日は、サッカーを、する”であり、かつ、ｎ＝６の場合、「今日は、サッ／日は、サッカ／は、サッカー／、サッカーを／サッカーを、／ッカーを、す／カーを、する」という６文字ずつの文字列の組が作成された後に、数ベクトルに変換される。この様なｎ−ｇｒａｍによる特徴ベクトルへの変換は、言語によらず利用可能である。
【００２２】
（ｃ）区切り文字では、学習データ変換部１２は、文字列データを、予め定めた区切り文字（例えば、空白、読点、カンマ等）により分割し、分割により得られた文字列データを数ベクトルに変換する。例えば、文字列データが“今日は、サッカーを、する”であり、かつ、区切り文字が読点“、”の場合、「今日は／サッカーを／する」に分割された後に、数ベクトルに変換される。この様な区切り文字による特徴ベクトルへの変換は、英語の文章に適している。
【００２３】
上述した様に、学習データ変換部１２は、要素に分割された文字列データを、数ベクトルとしての特徴ベクトルに変換するが、かかる変換には、例えば、２種類の方法がある。第１の方法は、（Ａ）各要素の出現回数をそのまま数ベクトルとする方法である。例えば、文字列データが“今日は、サッカーを、する”であり、かつ、（ａ）形態素解析を用いた場合、第１の方法では、（今日、は、サッカー、を、“、”、する、明日、も、したい）＝（１、１、１、１、２、１、０、０、０）なる数ベクトルが得られる。一方、第２の方法は、（Ｂ）出現回数に拘らず、出現する・しないを、１・０に対応させる方法である。例えば、文字列データが“今日は、サッカーを、する”であり、かつ、（ａ）形態素解析を用いた場合、第２の方法では、（今日、は、サッカー、を、“、”、する、明日、も、したい）＝（１、１、１、１、１、１、０、０、０）なる数ベクトルが得られる。
【００２４】
次に、上記数値データ（例えば、引用数、友人数）については、学習データ変換部１２は、引用数、友人数等の数値を、そのまま数ベクトルの値としてもよい。あるいは、学習データ変換部１２は、引用数、友人数等の数値に対し、何らかの演算（例えば、重み付け演算）を施した後に、演算後の数値を数ベクトルの値としてもよい。
【００２５】
そして、学習データ変換部１２は、上記文字列データから得られた数ベクトルと、上記数値データから得られた数ベクトルとを連結した数ベクトルを、学習データから変換された特徴ベクトルとする。入力された学習データは、例えば、特徴ベクトル＝（発言の数ベクトル、プロフィールの数ベクトル、引用数、友人数）＝（１、３、０、…、１、０、１、…、０、３０、２５）といった数ベクトルに変換される。
【００２６】
以上、データから特徴ベクトルへの変換について説明したが、学習データ変換部１２は、ラベルについても、学習モデル作成・更新部１３にかけるために、ラベルから数値化ラベルへの変換を行う。例えば、学習データのラベルが“必要”の場合、数値化ラベルは“１”に変換され、学習データのラベルが“不必要”の場合、数値化ラベルは“０”に変換される。
【００２７】
以下では、学習データ中のデータとして、発言の引用数やユーザの友人数といった発言に付随する情報を用いることの利点を説明する。一般に、特徴ベクトルの各成分の値は、必要と不必要との差が大きい程、必要な発言を、より精度良く抽出できる様になるが、引用数や友人数は、かかる特徴を有する傾向が強いと考えられる。なぜなら、必要な発言ほど、多くのユーザから引用される傾向があるため、引用数が多くなり易く、不必要な発言ほど引用され難いため、引用数が少なくなり易いからである。また、友人数に関しても、必要な発言を多くするユーザは、多くの他のユーザから注目されるため、友人数が多いという傾向があり、不必要な発言しかしないユーザは、他のユーザから注目されないため、友人数が少ないという傾向がある。従って、情報抽出システム１は、要否により数値に差の生じ易い引用数、友人数を用いることで、必要性の高い発言のみを、より高精度に抽出し易くなる。
【００２８】
学習モデル作成・更新部１３は、変換後の学習データ（特徴ベクトルと数値化ラベルとの組）を基に、ｎ次元の数ベクトル（ｎは自然数）により表される学習モデルの作成及び更新を行う。学習モデル作成・更新部１３は、学習モデルの作成及び更新に際し、教師あり学習を用いる。教師あり学習としては、例えば、ロジスティック回帰、パーセプトロン、Adaptive  Regularization  of  Weight  Vectors（ＡＲＯＷ）等が適用可能である。
【００２９】
学習モデルの作成の場合、学習モデル作成・更新部１３は、変換後の学習データを基に、学習モデルＭ１を新規に作成し、学習モデル格納部１４に出力する。学習モデルの更新の場合、学習モデル作成・更新部１３は、学習モデル格納部１４に格納されている既存の学習モデルを参照し、変換後の学習データを基に、該学習モデルを更新する。更新後の学習モデルＭ１は、学習モデル格納部１４に出力され、更新前の学習モデルに上書き保存される。
【００３０】
学習モデル格納部１４は、学習モデル作成・更新部１３にて作成または更新された学習モデルＭ１を格納する。学習モデル格納部１４は、例えば、MySQLやPostgreSQL等のデータベースであるが、表形式やテキスト形式での格納等、格納の形態は任意である。
【００３１】
判定装置２０は、キーワード設定部２１とデータ収集部２２とデータ変換部２３とスコア算出部２４と発言要否判定部２５と判定結果出力部２６とを有する。これら各構成部分は、一方向又は双方向に、信号やデータの入出力が可能な様に接続されている。
【００３２】
キーワード設定部２１は、発言の収集に用いるキーワードを設定する。該キーワードの設定は、情報抽出システム１の管理者等が事前に行ってもよいし、データを収集する度に随時行ってもよい。
【００３３】
データ収集部２２は、ＳＮＳ、ブログ、掲示板等を巡回し、キーワード設定部２１により設定されたキーワードを含む発言と、該発言に付随する情報との組（データＤ２）を収集する。なお、巡回対象のサイトは、情報抽出システム１の管理者等が事前にＵＲＬ（Uniform  Resource  Locator）等のリストにより指定するものとしてもよいし、データを収集する都度、随時指定するものとしてもよい。
【００３４】
データ変換部２３は、データ収集部２２により収集されたデータを、特徴ベクトルに変換する。変換の方法は、学習データ変換部１２と同様の方法を採ってもよいし、異なる方法を採ってもよい。変換により得られた特徴ベクトルは、変換前のデータと共に、後段のスコア算出部２４に出力される。
【００３５】
スコア算出部２４は、データ変換部２３から特徴ベクトルを入力すると、学習モデル格納部１４に格納されている学習モデルを参照し、データのスコアを算出する。例えば、スコア算出部２４は、上記特徴ベクトル（数ベクトル）と学習モデル（ｎ次元の数ベクトル）との内積を取り、その内積値をスコアとする。
【００３６】
発言要否判定部２５は、スコア算出部２４により算出されたスコアに基づき、収集されたデータに含まれる発言が必要であるか否かを判定する。例えば、発言要否判定部２５は、スコアが所定の閾値以上のデータの発言を必要な発言と判定する。
【００３７】
判定結果出力部２６は、データ収集部２２により収集されたデータの発言の中から、発言要否判定部２５により必要と判定された発言を抽出し、スコアが高い順にソートした上で画面に表示させる。
【００３８】
次に、動作を説明する。
【００３９】
まず、学習フェーズにおける動作を説明する。図３は、実施例１に係る情報抽出システム１の学習フェーズにおける動作を説明するためのフローチャートである。Ｓ１では、学習装置１０の学習データ入力部１１は、学習データを入力として受け取る。次に、学習データ変換部１２は、Ｓ１で入力された各学習データを、特徴ベクトルと数値化ラベルとの組（数ベクトル）に変換する（Ｓ２）。
【００４０】
Ｓ３では、学習モデル作成・更新部１３は、学習モデルの新規作成であるか否かを判定する。新規作成である場合（Ｓ３；Ｙｅｓ）には、学習モデル作成・更新部１３は、変換後の学習データから、発言要否の判定に用いるパラメータを算出し、学習モデルを作成する（Ｓ４）。Ｓ５では、学習モデル格納部１４は、Ｓ４で作成された学習モデルを格納する。
【００４１】
上記Ｓ３における判定の結果、新規作成でない場合（Ｓ３；Ｎｏ）には、学習モデル作成・更新部１３は、変換後の学習データから、発言要否の判定に用いるパラメータを算出し、学習モデルを更新する（Ｓ６）。
【００４２】
続いて、判定フェーズにおける動作を説明する。図４は、実施例１に係る情報抽出システム１の判定フェーズにおける動作を説明するためのフローチャートである。
【００４３】
まずＴ１では、キーワード設定部２１は、データ収集に用いるキーワードを設定する。次に、データ収集部２２は、Ｔ１で設定されたキーワードを基に、ラベル（必要または不必要）の判定対象となるデータを収集する（Ｔ２）。該データは、例えば、“サイバー攻撃されてる”という発言を含み、現時点ではラベルは付与されていない。
【００４４】
Ｔ３では、データ変換部２３は、Ｔ２で収集されたデータの各々を、特徴ベクトルに変換する。次に、スコア算出部２４は、図３のＳ５で格納された学習モデルを用いて、上記データ内の発言がどの程度必要であるかを示すスコアを算出する（Ｔ４）。スコアは、例えば、Ｔ３で得られた特徴ベクトルと図３のＳ５で格納された学習モデルとの内積値である。
【００４５】
Ｔ５では、発言要否判定部２５は、Ｔ４で算出されたスコアから、上記データ内の発言が必要であるか否かの判定を行う。具体的には、発言要否判定部２５は、Ｔ２で収集されたデータに含まれる発言の内、上記スコアが所定の閾値以上の発言を、必要な発言と判定する。
【００４６】
次に、判定結果出力部２６は、Ｔ５で必要と判定された発言を、情報抽出システム１の管理者や企業等のクライアントに対し、スコアの高い順に提示する（Ｔ６）。なお、提示は、必ずしもスコア順でなくてもよく、例えば、発言の日時の新しい順、引用数の多い順、友人数の多い順等であってもよい。また、判定結果出力部２６は、Ｔ５で必要と判定された発言に限らず、不要と判定された発言を併せて提示してもよいが、その際には、発言の要否を簡易迅速に識別可能とするため、色分け表示や網掛け表示により、不要な発言を必要な発言と区別することが望ましい。更に、上記提示の対象は、発言に限らず、発言以外のデータ（例えば、引用数、プロフィール、友人数）が併せて提示されるものとしてもよい。
【００４７】
以上説明した様に、情報抽出システム１は、判定装置２０と、判定装置２０に情報を提供する学習装置１０とを有する。判定装置２０は、データ収集部２２とスコア算出部２４と発言要否判定部２５と判定結果出力部２６とを有する。データ収集部２２は、複数の情報（例えば、データＤ２）を収集する。スコア算出部２４は、上記複数の情報の収集に先立って収集された他の情報（例えば、学習データＤ１内のデータ）の要否が分かっている情報（例えば、学習データＤ１）を基に作成される学習モデルを用いて、データ収集部２２により収集された各情報の必要性の程度を示す値（例えば、スコア）を算出する。発言要否判定部２５は、スコア算出部２４により算出された値が所定値以上であるか否かに基づき、上記各情報の要否を判定する。判定結果出力部２６は、上記複数の情報の中から、発言要否判定部２５により必要と判定された情報を抽出する。学習装置１０は、学習モデル格納部１４を有する。学習モデル格納部１４は、上記他の情報の要否の判定結果を、判定装置２０に提供する。
【００４８】
判定装置２０は、キーワードを設定するキーワード設定部２１を有し、データ収集部２２は、キーワード設定部２１により設定されたキーワードにより、上記複数の情報を収集する。また、上記複数の情報は、ネットワーク上に投稿された発言を含むものとしてもよい。更に、上記複数の情報は、上記発言に付随する情報を含むものとしてもよい。
【００４９】
上述した様に、情報抽出システム１は、キーワードで収集した発言に対し、教師あり学習を用いた分析を行い、必要性の程度を表すスコアの高い発言を抽出して提示する。具体的には、学習装置１０は、教師あり学習により、要否の判明しているデータを基に、分析に必要となる学習モデルを作成する。一方、判定装置２０は、要否の不明なデータに対して、上記学習モデルを適用することにより、必要性の程度を表すスコアを算出し、スコアの高いデータに対応する発言をスコア順に提示する。これにより、情報抽出システム１は、ＳＮＳ、ブログ、掲示板等の膨大な情報の中から、不必要な発言の誤抽出を抑えた上で、必要さの程度が高い発言から順に提示することができる。その結果、情報の提供及び取得の効率が向上する。
【００５０】
より具体的には、情報抽出システム１は、従来のクラスタリングに代わり、教師あり学習を用いる。クラスタリングでは、必要・不必要の情報はクラスタの形成に利用しないが、教師あり学習では、学習データ（必要であることが判明しているデータと、不必要であることが判明しているデータと）を基に、新たに収集されたデータを正確に分類できる様に学習する。これにより、例えば、発言の分析に利用するデータの分布に偏りが有る場合でも、情報抽出システム１は、分布に大きく影響されることなく、必要性の高い発言だけを精度良く抽出することができる。
【００５１】
また、情報抽出システム１は、発言の内容に加え、発言の引用数やユーザのプロフィール・友人数といった発言に付随する情報も対象として、教師あり学習を用いた分析を行う。これにより、例えば、ＳＮＳでの字数制限等により発言の文字数が少ない場合であっても、精度の良い抽出が可能となる。更に、情報抽出システム１は、スコアの高い順に発言を提示する。これにより、情報抽出システム１の管理者や企業等のクライアントは、必要さの度合いが高い発言から順に閲覧することができ、閲覧の効率化が実現される。
【実施例２】
【００５２】
次に、実施例２について説明する。図５は、実施例２に係る情報抽出システム２の構成を示す図である。図５に示す様に、実施例２に係る情報抽出システム２は、図１に示した実施例１に係る情報抽出システム１と同様の構成要素を複数含む。従って、実施例２では、実施例１と共通する構成要素には、同一の参照符号を用いると共に、その図示及び詳細な説明は省略する。図５において、実施例１と異なる機能を有する構成要素は、太線により示す。以下においては、この様な実施例２に係る情報抽出システム２の構成及び動作を、図５、図６を参照しながら、実施例１との相違点を中心として説明する。
【００５３】
発言要否判定部２８は、スコア算出部２４により算出されたスコアから、データ内の発言の要否を判定した後、該判定の結果を、学習装置１０側の学習データ入力部１１にフィードバックする。上記データは、対応する発言の要否を示すラベルと対応付けられ、学習データＤ１の一部として、学習モデルＭ１の更新に利用される。
【００５４】
次に、実施例２の動作を説明する。実施例２に係る学習フェーズと判定フェーズとの内、学習フェーズは、実施例１と同様であるので、その図示及び説明は省略し、判定フェーズについてのみ説明する。図６は、実施例２に係る情報抽出システム２の判定フェーズにおける動作を説明するためのフローチャートである。図６は、実施例１に係る動作の説明において参照した図４と、Ｔ１７の処理を除き同様である。従って、共通するステップには、末尾が同一の参照符号を付すと共に、その詳細な説明は省略する。具体的には、図６のステップＴ１１〜Ｔ１４、Ｔ１６の各処理は、図４に示したステップＴ１〜Ｔ４、Ｔ６の各処理にそれぞれ対応する。
【００５５】
Ｔ１７では、判定装置２０の発言要否判定部２８は、Ｔ１４で算出されたスコアから、データ内の発言の要否を判定する。その後、発言要否判定部２８は、要否を判定済みのデータとラベルとを、学習データ入力部１１にフィードバックする。フィードバックされたデータ及びラベルは、学習モデルＭ１の更新に利用される。
【００５６】
なお、上記フィードバックは、発言の要否判定の行われた全てのデータ及びラベルを対象として行ってもよいが、例えば、スコアがＮ以上のデータとＭ以下のデータとを対象とする等、一部のデータ及びラベルのみを対象として行ってもよい。ここで、Ｎ、Ｍは実数であり、Ｎ＞Ｍである。
【００５７】
上述した様に、実施例２に係る情報抽出システム２において、判定装置２０の発言要否判定部２８は、上記各情報の要否の判定結果を、学習モデルに反映（フィードバック）させる。すなわち、情報抽出システム２は、発言要否の判定結果を、新たな学習データの入力に用いる。これにより、情報抽出システム２は、スコア付けされたデータを、教師あり学習の学習データとして再活用することができる。従って、人手でデータにラベルを付与する場合等と比較して、学習データの収集に掛かるコストや時間が低減される。その結果、情報抽出システム２の効率的な運用が可能となる。
【実施例３】
【００５８】
次に、実施例３について説明する。図７は、実施例３に係る情報抽出システム３の構成を示す図である。図７に示す様に、実施例３に係る情報抽出システム３は、図１に示した実施例１に係る情報抽出システム１と同様の構成要素を複数含む。従って、実施例３では、実施例１と共通する構成要素には、同一の参照符号を用いると共に、その図示及び詳細な説明は省略する。図７において、実施例１と異なる機能を有する構成要素は、太線により示す。以下においては、この様な実施例３に係る情報抽出システム３の構成及び動作を、図７〜図９を参照しながら、実施例１との相違点を中心として説明する。
【００５９】
スコア算出部２９は、データ変換部２３から特徴ベクトルを入力すると、学習モデル格納部１４に格納されている学習モデルを参照し、データのスコアを算出する。スコア算出部２９は、該データ内の発言をしたユーザのＩＤが、後述するユーザリスト格納部２７に格納されている場合、算出されたスコアを補正する。
【００６０】
ユーザリスト格納部２７は、注目しているユーザを一意に識別可能なユーザＩＤと、各ユーザＩＤ毎に設定されたスコアの補正値とが対応付けられたユーザリストを格納する。該補正値は、利用者が任意に設定及び更新可能な実数である。また、該補正値は、全てのユーザＩＤに同一の値であってもよいし、ユーザＩＤ毎に異なる値であってもよい。なお、ユーザリスト格納部２７は、例えば、MySQLやPostgreSQL等のデータベースであるが、表形式やテキスト形式での格納等、格納の形態は任意である。
【００６１】
次に、実施例３の動作を説明する。実施例３に係る学習フェーズと判定フェーズとの内、学習フェーズは、実施例１と同様であるので、その図示及び説明は省略し、判定フェーズについてのみ説明する。図８は、実施例３に係る情報抽出システム３の判定フェーズにおける動作を説明するためのフローチャートである。図８は、実施例１に係る動作の説明において参照した図４と、Ｔ２４２の処理を除き同様である。従って、共通するステップには、末尾が同一の参照符号を付すと共に、その詳細な説明は省略する。具体的には、図８のステップＴ２１〜Ｔ２３、Ｔ２５、Ｔ２６の各処理は、図４に示したステップＴ１〜Ｔ３、Ｔ５、Ｔ６の各処理にそれぞれ対応する。
【００６２】
Ｔ２４１では、スコア算出部２９は、学習モデルを用いて、データ内の発言がどの程度必要であるかを示すスコアを算出する。次に、スコア算出部２９は、要否の判定対象のデータに対し、該データに対応するユーザＩＤが上記ユーザリストに登録されているか否かの判定を行う。なお、上記ユーザＩＤは、Ｔ２２で収集されたデータ内に含まれている。上記判定の結果、ユーザＩＤがユーザリストに登録されている場合、スコア算出部２９は、Ｔ２４１で算出されたスコアに、上記ユーザＩＤに対応する補正値を加算する（Ｔ２４２）。Ｔ２５では、発言要否判定部２５は、Ｔ２４２で補正されたスコアを基に、上記データ内の発言が必要であるか否かの判定を行う。
【００６３】
ここで、図９を参照し、実施例３に係るスコア算出部２９の処理を、より詳細に説明する。図９は、実施例３に係るスコア補正処理を説明するための図である。図９に示す様に、例えば、ユーザリストＬ１に、ユーザＩＤとして“user1”、“user13”、“user15”が登録され、対応する補正値として“1.0”、“0.5”、“0.5”が設定されているとする。この場合、ユーザＩＤ“user1”に関し、ユーザＩＤと判定対象のデータ及び補正前のスコアとは、例えば、（user1、特徴ベクトル、0.578）と表現することができる。ユーザＩＤ＝user1は、ユーザリストＬ１に登録されているため、スコア算出部２９は、user1に対応する補正値として、“1.0”を上記スコアに加算する。その結果、ユーザＩＤ、判定対象のデータ及び補正後のスコアは、（user1、特徴ベクトル、0.578+1.0=1.578）に更新される。
【００６４】
上述した様に、実施例３に係る情報抽出システム３において、スコア算出部２９は、上記値（スコア）を、上記発言を行ったユーザに対応する補正値により補正する。すなわち、情報抽出システム３は、学習モデルＭ１に加えて、事前に用意されたユーザ情報も考慮に入れて、一旦算出されたスコアを補正する。例えば、情報抽出システム３は、注目度の高いユーザ程、大きい補正値を設定しておき、正の実数によりスコアを補正することで、ユーザリストに格納されている（注目度の高い）特定のユーザの発言が、より抽出され易くなる。これにより、特に需要の高い情報が優先的に抽出されることとなり、情報の提示効率が向上する。その結果、情報抽出システム３の利便性が向上する。
【００６５】
なお、実施例３では、スコア算出部２９が、注目度の高いユーザの発言のスコアを増加させる補正を例示したが、これとは反対に、負の実数により、注目度の低いユーザのスコアを減少させる補正を行ってもよい。また、補正の方法についても、加算や減算に限らず、係数の乗算による重み付け等であってもよい。
【００６６】
（情報抽出プログラム）
図１０は、情報抽出プログラムによる情報処理がコンピュータ１００を用いて具体的に実現されることを示す図である。図１０に示す様に、コンピュータ１００は、例えば、メモリ１０１と、ＣＰＵ（Central  Processing  Unit）１０２と、ハードディスクドライブインタフェース１０３と、ディスクドライブインタフェース１０４と、シリアルポートインタフェース１０５と、ビデオアダプタ１０６と、ネットワークインタフェース１０７とを有し、これらの各部はバスＣによって接続される。
【００６７】
メモリ１０１は、図１０に示す様に、ＲＯＭ（Read  Only  Memory）１０１ａ及びＲＡＭ（Random  Access  Memory）１０１ｂを含む。ＲＯＭ１０１ａは、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３は、図１０に示す様に、ハードディスクドライブ１０８に接続される。ディスクドライブインタフェース１０４は、図１０に示す様に、ディスクドライブ１０９に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１０９に挿入される。シリアルポートインタフェース１０５は、図１０に示す様に、例えばマウス１１０、キーボード１１１に接続される。ビデオアダプタ１０６は、図１０に示す様に、例えばディスプレイ１１２に接続される。
【００６８】
ここで、図１０に示す様に、ハードディスクドライブ１０８は、例えば、ＯＳ（Operating  System）１０８ａ、アプリケーションプログラム１０８ｂ、プログラムモジュール１０８ｃ、プログラムデータ１０８ｄ、学習データ、学習モデル、補正値を記憶する。すなわち、開示の技術に係る情報抽出プログラムは、コンピュータ１００によって実行される指令が記述されたプログラムモジュール１０８ｃとして、例えばハードディスクドライブ１０８に記憶される。具体的には、上記各実施例で説明したキーワード設定部２１、データ収集部２２、データ変換部２３、スコア算出部２４、発言要否判定部２５、判定結果出力部２６の各々と同様の情報処理を実行する各種手順が記述されたプログラムモジュール１０８ｃが、ハードディスクドライブ１０８に記憶される。また、情報抽出プログラムによる情報処理に用いられるデータは、プログラムデータ１０８ｄとして、例えばハードディスクドライブ１０８に記憶される。そして、ＣＰＵ１０２が、ハードディスクドライブ１０８に記憶されたプログラムモジュール１０８ｃやプログラムデータ１０８ｄを必要に応じてＲＡＭ１０１ｂに読み出し、上記各種手順を実行する。
【００６９】
なお、情報抽出プログラムに係るプログラムモジュール１０８ｃやプログラムデータ１０８ｄは、ハードディスクドライブ１０８に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１０９等を介してＣＰＵ１０２によって読み出されてもよい。あるいは、情報抽出プログラムに係るプログラムモジュール１０８ｃやプログラムデータ１０８ｄは、ネットワーク（ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７を介してＣＰＵ１０２によって読み出されてもよい。
【００７０】
また、上述した情報抽出システム１、２、３の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的態様は、図示のものに限らず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することもできる。例えば、学習装置１０に関し、学習データ入力部１１と学習データ変換部１２とを１つの構成要素として統合してもよい。また、判定装置２０に関し、スコア算出部２４と発言要否判定部２５とを１つの構成要素として統合してもよい。反対に、学習データ変換部１２に関し、データを特徴ベクトルへ変換する部分と、ラベルを数値化ラベルへ変換する部分とに分散してもよい。更に、ハードディスクドライブ１０８を、情報抽出システム１、２、３の外部装置として、ネットワークやケーブル経由で接続する様にしてもよい。
【００７１】
更に、上記説明では、個々の実施例毎に個別の構成、及び動作を説明した。しかしながら、各実施例に係る情報抽出システムは、他の実施例に特有の構成要素を併せて有するものとしてもよい。また、実施例毎の組合せについても、２つに限らず、３つの組合せ等、任意の形態を採ることが可能である。例えば、実施例３のスコア補正機能を、実施例２に係る情報抽出システム２に適用してもよい。
【符号の説明】
【００７２】
１、２、３  情報抽出システム
１０  学習装置
１１  学習データ入力部
１２  学習データ変換部
１３  学習モデル作成・更新部
１４  学習モデル格納部
２０  判定装置
２１  キーワード設定部
２２  データ収集部
２３  データ変換部
２４、２９  スコア算出部
２５、２８  発言要否判定部
２６  判定結果出力部
２７  ユーザリスト格納部
１００  コンピュータ
１０１  メモリ
１０１ａ  ＲＯＭ
１０１ｂ  ＲＡＭ
１０２  ＣＰＵ
１０３  ハードディスクドライブインタフェース
１０４  ディスクドライブインタフェース
１０５  シリアルポートインタフェース
１０６  ビデオアダプタ
１０７  ネットワークインタフェース
１０８  ハードディスクドライブ
１０８ａ  ＯＳ
１０８ｂ  アプリケーションプログラム
１０８ｃ  プログラムモジュール
１０８ｄ  プログラムデータ
１０９  ディスクドライブ
１１０  マウス
１１１  キーボード
１１２  ディスプレイ
Ｃ  バス
Ｄ１  学習データ
Ｄ２  データ
Ｌ１  ユーザリスト
Ｍ１  学習モデル
Ｒ１  判定結果
【図１】
2016076172.tif 000003
【図２】
2016076172.tif 000004
【図３】
2016076172.tif 000005
【図４】
2016076172.tif 000006
【図５】
2016076172.tif 000007
【図６】
2016076172.tif 000008
【図７】
2016076172.tif 000009
【図８】
2016076172.tif 000010
【図９】
2016076172.tif 000011
【図１０】
2016076172.tif 000012