(57)【要約】【課題】高精度にデイリーワードを抽出する。【解決手段】素性抽出部１３４により、予め用意された抽出対象期間内に発信された文書であって、かつ、形態素解析済みの複数の文書中の文字列の各々について、素性を抽出し、識別モデル記憶部１３６に記憶されている識別モデルと、デイリーワード抽出部１３８により、抽出された素性とに基づいて、形態素解析済み文書中の文字列の各々がデイリーワードであるか否かを識別し、デイリーワードとして抽出する。【選択図】図３
2014106550.tif 000002
【特許請求の範囲】
【請求項１】
イベントを表す文字列であるデイリーワードか否かの情報が予め付された、複数の文書中の文字列の各々について、前記文字列の文脈情報を示す文字列を第１の素性として抽出すると共に、公的な文書について予め求められた各文字列の出現頻度情報に基づいて、前記文字列の出現頻度情報を第２の素性として抽出する素性抽出手段と、
前記素性抽出手段によって前記文字列の各々について抽出された第１の素性及び前記第２の素性と、前記文字列の各々についての前記デイリーワードか否かの情報とに基づいて、前記文字列がデイリーワードであるか否かを識別するための識別モデルを学習する学習手段と、
を含むデイリーワード学習装置。
【請求項２】
前記素性抽出手段は、前記文字列の各々について、前記第１の素性及び前記第２の素性を抽出すると共に、私的な文書に用いられる予め定められた複数の文字列の少なくとも１つとの共起を表す第３の素性、及び検索エンジンに用いられる予め定められた検索クエリを示す複数の文字列の少なくとも１つとの共起を表す第４の素性の少なくとも１つを抽出し、
前記学習手段は、前記素性抽出手段によって前記文字列の各々について抽出された前記第１の素性と前記第２の素性と前記第３の素性及び前記第４の素性のうちの少なくとも１つと、前記文字列の各々についての前記デイリーワードか否かの情報とに基づいて、前記識別モデルを学習する請求項１記載のデイリーワード学習装置。
【請求項３】
形態素解析済みの文書中の文字列の各々について、前記第１の素性及び前記第２の素性を抽出する素性抽出手段と、
請求項１又は２記載のデイリーワード学習装置において学習された前記識別モデルと、前記素性抽出手段により前記文字列の各々について抽出された前記第１の素性及び前記第２の素性とに基づいて、前記形態素解析済みの文書中の文字列の各々が前記デイリーワードであるか否かを識別して、デイリーワードである文字列を抽出する抽出手段と、
を含むデイリーワード抽出装置。
【請求項４】
素性抽出手段と、学習手段とを含む、デイリーワード学習装置におけるデイリーワード学習方法であって、
前記素性抽出手段により、イベントを表す文字列であるデイリーワードか否かの情報が予め付された、複数の文書中の文字列の各々について、前記文字列の文脈情報を示す文字列を第１の素性として抽出すると共に、公的な文書について予め求められた各文字列の出現頻度情報に基づいて、前記文字列の出現頻度情報を第２の素性として抽出し、
前記学習手段により、前記素性抽出手段によって前記文字列の各々について抽出された第１の素性及び前記第２の素性と、前記文字列の各々についての前記デイリーワードか否かの情報とに基づいて、前記文字列がデイリーワードであるか否かを識別するための識別モデルを学習する
デイリーワード学習方法。
【請求項５】
前記素性抽出手段は、前記文字列の各々について、前記第１の素性及び前記第２の素性を抽出すると共に、私的な文書に用いられる予め定められた複数の文字列の少なくとも１つとの共起を表す第３の素性、及び検索エンジンに用いられる予め定められた検索クエリを示す複数の文字列の少なくとも１つとの共起を表す第４の素性の少なくとも１つを抽出し、
前記学習手段は、前記素性抽出手段によって前記文字列の各々について抽出された前記第１の素性と前記第２の素性と前記第３の素性及び前記第４の素性のうちの少なくとも１つと、前記文字列の各々についての前記デイリーワードか否かの情報とに基づいて、前記識別モデルを学習する請求項４記載のデイリーワード学習方法。
【請求項６】
素性抽出手段と、抽出手段とを含む、デイリーワード抽出装置におけるデイリーワード抽出方法であって、
前記素性抽出手段により、形態素解析済みの文書中の文字列の各々について、前記第１の素性及び前記第２の素性を抽出し、
前記抽出手段により、請求項４又は５記載のデイリーワード学習方法において学習された前記識別モデルと、前記素性抽出手段により前記文字列の各々について抽出された前記第１の素性及び前記第２の素性とに基づいて、前記形態素解析済みの文書中の文字列の各々が前記デイリーワードであるか否かを識別して、デイリーワードである文字列を抽出する
デイリーワード抽出方法。
【請求項７】
コンピュータを、請求項１又は２記載のデイリーワード学習装置、又は請求項３記載のデイリーワード抽出装置を構成する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デイリーワード学習装置、デイリーワード抽出装置、方法、プログラムに係り、特に、入力文書中に出現するデイリーワードの抽出を行うためのデイリーワード学習装置、デイリーワード抽出装置、方法、プログラムに関する。
【背景技術】
【０００２】
デイリーワードとは、（１）ある短い期間において起こる事象（イベント）を表す文字列であり、かつ（２）公な情報となりやすい事象を表す文字列である。例えば、「発表」、「結婚」、「ランチ」、「バイト」、「来てる」は上記（１）の要件を満たしているため、デイリーワードの候補となる。なお、「結婚」は継続する事象だが、継続中においては「Ｘの夫は誰？」のような質問になりやすいと本発明においては仮定しているため、「結婚」は「結婚[発表／発覚]」の場合に使われやすいためデイリーワードの候補となる。
【０００３】
また、「発表」、「結婚」は公的な情報となるため、上記（２）の条件も満たしていることにより、デイリーワードとなる。しかし、「ランチ」、「バイト」、「来てる」は私的な情報となるため、上記（２）の条件を満たさないため、デイリーワードとはならない。
【０００４】
デイリーワードを検出する技術に近い従来技術として、バーストする分野（トピック）を推定するバーストトピック検出技術により、バーストする事象を推定する方法が知られている（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】“Finding Bursty Topics from Microblogs”Qiming Diao, Jing Jiang, Feida Zhu, Ee-Peng Lim, ACL 2012  http://www.mysmu.edu/faculty/jingjiang/papers/ACL'12.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１の手法においては、トピックモデルとＨＭＭによってバーストする箇所とそのトピックを検出するものであり、トピックモデルからバーストワードを検出することは可能であるが、デイリーワードはトピックを横断して出現するため、検出することは困難であるという問題がある。
【０００７】
本発明では、上記問題点を解決するために成されたものであり、高精度にデイリーワードを抽出するための識別モデルを学習することができるデイリーワード学習装置、方法、及びプログラムを提供することを目的とする。
また、高精度にデイリーワードを抽出するデイリーワード抽出装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明のデイリーワード学習装置は、イベントを表す文字列であるデイリーワードか否かの情報が予め付された、複数の文書中の文字列の各々について、前記文字列の文脈情報を示す文字列を第１の素性として抽出すると共に、公的な文書について予め求められた各文字列の出現頻度情報に基づいて、前記文字列の出現頻度情報を第２の素性として抽出する素性抽出手段と、前記素性抽出手段によって前記文字列の各々について抽出された第１の素性及び前記第２の素性と、前記文字列の各々についての前記デイリーワードか否かの情報とに基づいて、前記文字列がデイリーワードであるか否かを識別するための識別モデルを学習する学習手段と、を含んで構成されている。
【０００９】
本発明のデイリーワード学習方法は、素性抽出手段と、学習手段とを含む、デイリーワード学習装置におけるデイリーワード学習方法であって、前記素性抽出手段により、イベントを表す文字列であるデイリーワードか否かの情報が予め付された、複数の文書中の文字列の各々について、前記文字列の文脈情報を示す文字列を第１の素性として抽出すると共に、公的な文書について予め求められた各文字列の出現頻度情報に基づいて、前記文字列の出現頻度情報を第２の素性として抽出し、前記学習手段により、前記素性抽出手段によって前記文字列の各々について抽出された第１の素性及び前記第２の素性と、前記文字列の各々についての前記デイリーワードか否かの情報とに基づいて、前記文字列がデイリーワードであるか否かを識別するための識別モデルを学習する。
【００１０】
本発明によれば、デイリーワードか否かの情報が予め付された、複数の文書中の文字列の各々について、文字列の文脈情報を示す文字列を第１の素性として抽出すると共に、公的な文書について予め求められた各文字列の出現頻度情報に基づいて、文字列の出現頻度情報を第２の素性として抽出する。
【００１１】
そして、文字列の各々について抽出された第１の素性及び前記第２の素性と、文字列の各々についてのデイリーワードか否かの情報とに基づいて、文字列がデイリーワードであるか否かを識別するための識別モデルを学習する。
【００１２】
このように、各文字列について、デイリーワードか否かの情報と、文字列の文脈情報を示す文字列、及び公的な文書における文字列の出現頻度情報とに基づいて、識別モデルを学習することにより、高精度にデイリーワードを抽出するための識別モデルを学習することができる。
【００１３】
本発明のデイリーワード抽出装置は、形態素解析済みの文書中の文字列の各々について、前記第１の素性及び前記第２の素性を抽出する素性抽出手段と、請求項１又は２記載のデイリーワード学習装置において学習された前記識別モデルと、前記素性抽出手段により前記文字列の各々について抽出された前記第１の素性及び前記第２の素性とに基づいて、前記形態素解析済みの文書中の文字列の各々が前記デイリーワードであるか否かを識別して、デイリーワードである文字列を抽出する抽出手段と、を含んで構成されている。
【００１４】
本発明のデイリーワード抽出方法は、素性抽出手段と、抽出手段とを含む、デイリーワード抽出装置におけるデイリーワード抽出方法であって、前記素性抽出手段により、形態素解析済みの文書中の文字列の各々について、前記第１の素性及び前記第２の素性を抽出し、前記抽出手段により、請求項４又は５記載のデイリーワード学習方法において学習された前記識別モデルと、前記素性抽出手段により前記文字列の各々について抽出された前記第１の素性及び前記第２の素性とに基づいて、前記形態素解析済みの文書中の文字列の各々が前記デイリーワードであるか否かを識別して、デイリーワードである文字列を抽出する。
【００１５】
本発明によれば、形態素解析済みの文書中の文字列の各々について、第１の素性及び第２の素性を抽出し、デイリーワード学習装置において学習された識別モデルと、抽出された第１の素性及び第２の素性とに基づいて、文字列の各々がデイリーワードであるか否かを識別して、デイリーワードである文字列を抽出する。
【００１６】
このように、デイリーワードか否かの情報と素性に基づいて識別モデルを学習し、当該識別モデルを用いてデイリーワードを抽出することにより、高精度にデイリーワードを抽出することができる。
【００１７】
また、前記素性抽出手段は、前記文字列の各々について、前記第１の素性及び前記第２の素性を抽出すると共に、私的な文書に用いられる予め定められた複数の文字列の少なくとも１つとの共起を表す第３の素性、及び検索エンジンに用いられる予め定められた検索クエリを示す複数の文字列の少なくとも１つとの共起を表す第４の素性の少なくとも１つを抽出し、前記学習手段は、前記素性抽出手段によって前記文字列の各々について抽出された前記第１の素性と前記第２の素性と前記第３の素性及び前記第４の素性のうちの少なくとも１つと、前記文字列の各々についての前記デイリーワードか否かの情報とに基づいて、前記識別モデルを学習することができる。
【００１８】
また、本発明のプログラムは、コンピュータを、上記のデイリーワード学習装置、又はデイリーワード抽出装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１９】
以上説明したように、本発明のデイリーワード学習装置、方法、及びプログラムによれば、各文字列について、デイリーワードか否かの情報と、文字列の直前に存在する文字列、及び公的な文書における文字列の出現頻度情報とに基づいて、識別モデルを学習することにより、高精度にデイリーワードを抽出するための識別モデルを学習することができる。
【００２０】
また、本発明のデイリーワード抽出装置、方法、及びプログラムによれば、デイリーワードか否かの情報と素性に基づいて識別モデルを学習し、当該識別モデルを用いてデイリーワードを抽出することにより、高精度にデイリーワードを抽出することができる。
【図面の簡単な説明】
【００２１】
【図１】第１の実施の形態のデイリーワード学習装置の機能的構成を示すブロック図である。
【図２】正解ラベルと素性集合のペア集合の例を示す図である。
【図３】第１の実施の形態のデイリーワード抽出装置の機能的構成を示すブロック図である。
【図４】第１の実施の形態のデイリーワード学習装置における識別モデル学習処理ルーチンの内容を示すフローチャートである。
【図５】第１の実施の形態のデイリーワード抽出装置におけるデイリーワード抽出処理ルーチンの内容を示すフローチャートである。
【図６】デイリーワードの位置づけを示す図である。
【図７】第２の実施の形態のデイリーワード学習装置の機能的構成を示すブロック図である。
【図８】第２の実施の形態のデイリーワード抽出装置の機能的構成を示すブロック図である。
【図９】第２の実施の形態のデイリーワード学習装置における識別モデル学習処理ルーチンの内容を示すフローチャートである。
【図１０】第２の実施の形態のデイリーワード抽出装置におけるデイリーワード抽出処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２３】
＜システム構成＞
＜デイリーワード学習装置の構成＞
本発明の第１の実施の形態に係るデイリーワード抽出システムのデイリーワード学習装置について説明する。図１に示すように、本発明の第１の実施の形態に係るデイリーワード学習装置１００は、入力部１０と、後述する識別モデル学習処理ルーチンを実行する演算部２０と、出力部５０と、を備えている。
【００２４】
入力部１０は、キーボードなどの入力装置から、文書中の文字列にデイリーワードであることを示す情報（以下、正解ラベル）が付された、複数の形態素解析済みの文書データである教師付データと、新聞などの公的な文書を形態素解析した複数の形態素解析済み新聞データとを受け付ける。なお、入力部１０は、ネットワーク等を介して外部から入力されたものを受け付けるようにしてもよい。
【００２５】
また、教師付データとは例えば、「お笑い芸人のＸが＜ｄａｉｌｙ：結婚＞」のように、形態素解析済みの文書中のどの文字列がデイリーワードであるかを示した少量のデータである。
【００２６】
演算部２０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する識別モデル学習処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、形態素解析済み新聞データ記憶部３０と、単語頻度計測部３４と、頻度リスト記憶部３６と、教師情報付きデータ記憶部３８と、素性抽出部４０と、素性集合記憶部４２と、識別学習部４４とを含んだ構成で表すことができる。
【００２７】
形態素解析済み新聞データ記憶部３０には、入力部１０において受け付けた新聞などの公的な文書を形態素解析した複数の形態素解析済み新聞データが記憶されている。
【００２８】
単語頻度計測部３４は、形態素解析済み新聞データ記憶部３０に記憶されている複数の形態素解析済み新聞データの各々について、見出し部分のデータと、本文部分のデータとに分け、複数の形態素解析済み新聞データの各々の見出し部分のデータから、内容語である文字列の各々について、出現頻度を計測し、見出しにおける文字列の頻度リストを作成する。また、複数の形態素解析済み新聞データの各々の本文部分のデータから、内容語である文字列の各々について、出現頻度を計測し、本文における文字列の頻度リストを作成する。作成された見出しにおける文字列の頻度リスト及び本文における文字列の頻度リスト（以下、単語頻度リストとする）を頻度リスト記憶部３６に格納する。
【００２９】
頻度リスト記憶部３６は、単語頻度計測部３４から入力された単語頻度リストを記憶する。また、当該頻度リストを出力部５０により出力する。
【００３０】
教師情報付きデータ記憶部３８には、入力部において受け付けた複数の形態素解析済みの文書中の文字列に正解ラベルが付された教師付データが記憶されている。
【００３１】
素性抽出部４０は、教師情報付きデータ記憶部３８に記憶されている教師付データの形態素解析済みの文書に含まれる文字列の各々について、当該文字列の文脈情報を示す当該文字列の直前に存在する文字列を表す素性を抽出すると共に、頻度リスト記憶部３６に記憶されている単語頻度リストとに基づいて、当該文字列の見出しにおける頻度と本文における頻度を表す素性を素性集合として抽出し、正解ラベルと素性集合のペアにして、素性集合記憶部４２に出力する。なお、文字列の文脈情報を示す当該文字列の直前に存在する文字列を表す素性が第１の素性の一例であり、文字列の見出しにおける頻度と本文における頻度を表す素性が第２の素性の一例である。
【００３２】
具体的には、図２に示すように、教師付データとして「お笑い芸人のＸが＜ｄａｉｌｙ：結婚＞」のような文章があった場合において、当該教師付データに含まれる内容語である文字列（「結婚」）について、当該文字列を導くような文脈情報を示す文字列（例えば、「お笑い芸人のＸが」という文字列が直前に存在する）を素性１とし、当該文字列に対する公的な文書についての出現頻度情報（例えば、結婚が公的な文書の本文中に１００回出現）を素性２として抽出し、その素性の集合を正解ラベル（本実施例では１がデイリーワードを指し、０が非デイリーワードを指す）とペアにして出力する。
【００３３】
素性集合記憶部４２には、素性抽出部４０から入力された内容語である文字列の各々についての素性集合と正解ラベルとのペアが記憶されている。
【００３４】
識別学習部４４は、素性集合記憶部４２から正解ラベルと素性集合とのペアのすべてを読み込み、すべての正解ラベルと素性集合とのペアの各々に対し、高精度にデイリーワードを抽出するための識別モデルの学習を行い、学習した識別モデルを出力部５０により出力する。識別モデルの学習にはＳＶＭを用いる。なお、識別モデルの学習には最大エントロピーモデル、ナイーブベイズモデルなど、識別モデルの種別を問わず用いることが出来る。
【００３５】
＜デイリーワード抽出装置の構成＞
次に、本発明の第１の実施の形態に係るデイリーワード抽出システムのデイリーワード抽出装置２００の構成について詳細に説明する。図３に示すように、本発明の第１の実施の形態に係るデイリーワード抽出装置２００は、ＣＰＵとＲＡＭと後述するデイリーワード抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。このデイリーワード抽出装置２００は、機能的には図３に示すように入力部１１０と、演算部１２０と、出力部１５０とを備えている。
【００３６】
入力部１１０は、キーボードなどの入力装置から、形態素解析済み文書を受け付ける。なお、入力部１１０は、ネットワーク等を介して外部から入力されたものを受け付けるようにしてもよい。
【００３７】
演算部１２０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述するデイリーワード抽出処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図３に示すように、形態素解析済み文書記憶部１３０と、頻度リスト記憶部１３２と、素性抽出部１３４と、識別モデル記憶部１３６と、デイリーワード抽出部１３８とを含んだ構成で表すことができる。
【００３８】
形態素解析済み文書記憶部１３０には、入力部１１０において受け付けた形態素解析済み文書が記憶されている。
【００３９】
頻度リスト記憶部１３２には、デイリーワード学習装置１００において出力された単語頻度リストが記憶されている。なお、デイリーワード抽出装置２００が、デイリーワード学習装置１００の単語頻度計測部３４と同様に、形態素解析した複数の形態素解析済み新聞データから単語頻度リストを作成してもよい。
【００４０】
素性抽出部１３４は、形態素解析済み文書記憶部１３０に記憶されている形態素解析済み文書に含まれる内容語である文字列の各々について、当該文字列の文脈情報を示す当該文字列の直前に存在する文字列を表す素性を抽出すると共に、頻度リスト記憶部１３２に記憶されている単語頻度リストに基づいて、当該文字列の見出しにおける頻度と本文における頻度を表す素性を抽出して、内容語である文字列の各々に対する素性集合としてデイリーワード抽出部１３８に出力する。
【００４１】
識別モデル記憶部１３６には、デイリーワード学習装置１００において出力された識別モデルが記憶されている。
【００４２】
デイリーワード抽出部１３８は、素性抽出部１３４から入力された形態素解析済み文書に含まれる内容語である文字列の各々についての素性集合と、識別モデル記憶部１３６に記憶された識別モデルであるＳＶＭ識別器を用いて、入力された形態素解析済み文書に含まれる内容語である文字列の各々がデイリーワードであるか否かを識別し、デイリーワードであると識別された文字列のみをデイリーワードリストとして抽出して、出力部１５０により出力する。
【００４３】
＜デイリーワード学習装置の作用＞
次に、本発明の第１の実施の形態に係るデイリーワード学習装置１００の作用について説明する。デイリーワード学習装置１００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図４に示す識別モデル学習処理ルーチンが実行される。
【００４４】
まず、ステップＳ１００において、教師情報付きデータ記憶部３８に記憶されている文書中の文字列に正解ラベルが付された、複数の形態素解析済みの文書データである教師付データを読み込む。
【００４５】
次に、ステップＳ１０２において、形態素解析済み新聞データ記憶部３０に記憶されている新聞などの公的な文書を形態素解析した複数の形態素解析済み新聞データを読み込む。
【００４６】
次に、ステップＳ１０６において、ステップＳ１０２において得られた複数の形態素解析済み新聞データの各々について、見出し部分のデータと、本文部分のデータとに分け、複数の形態素解析済み新聞データの各々の見出し部分のデータから、内容語である文字列の各々について、出現頻度を計測し、見出しにおける文字列の頻度リストを作成する。また、複数の形態素解析済み新聞データの各々の本文部分のデータから、内容語である文字列の各々について、出現頻度を計測し、本文における文字列の頻度リストを作成する。
【００４７】
次に、ステップＳ１０８において、ステップＳ１００において得られた教師付データに含まれる内容語である文字列の各々について、当該文字列の文脈情報を示す当該文字列の直前に存在する文字列を表す素性を抽出すると共に、ステップＳ１０６において得られた単語頻度リストとに基づいて、当該文字列の見出しにおける頻度と本文における頻度を表す素性を抽出して素性集合とし、内容語である文字列の各々について、正解ラベルと素性集合をペアにして素性集合記憶部４２に格納する。
【００４８】
次に、ステップＳ１１０において、素性集合記憶部４２に記憶された文字列の各々についての素性集合と正解ラベルとのペアに基づいて、識別モデルの学習を行う。
【００４９】
次に、ステップＳ１１２において、ステップＳ１０６において得られた単語頻度リストと、ステップＳ１１０において得られた識別モデルを出力部５０により出力し、処理を終了する。
【００５０】
＜デイリーワード抽出装置の作用＞
【００５１】
次に、本発明の第１の実施の形態に係るデイリーワード抽出装置２００の作用について説明する。まず、入力部１１０により、デイリーワード学習装置１００により出力された単語頻度リストが入力され、頻度リスト記憶部１３２に記憶される。また、デイリーワード学習装置１００により出力された識別モデルが入力され、識別モデル記憶部１３６に記憶される。そして、入力部１１０により形態素解析済み文書が入力されると、形態素解析済み文書記憶部１３０に記憶され、デイリーワード抽出装置２００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図５に示すデイリーワード抽出処理ルーチンが実行される。
【００５２】
まず、ステップＳ２００において、識別モデル記憶部１３６に記憶されている識別モデルを読みこむ。
【００５３】
次に、ステップＳ２０２において、頻度リスト記憶部１３２に記憶されている単語頻度リストを読み込む。
【００５４】
次に、ステップＳ２０４において、形態素解析済み文書記憶部１３０に記憶されている形態素解析済み文書を読み込む。
【００５５】
次に、ステップＳ２０６において、ステップＳ２０４において得られた形態素解析済み文書に含まれる内容語である文字列の各々について、当該内容語である文字列の文脈情報を示す当該文字列の直前に存在する文字列を表す素性を抽出すると共に、ステップＳ２０２において得られた単語頻度リストに基づいて、当該文字列の見出しにおける頻度と本文における頻度を表す素性を抽出し、内容語である文字列各々の素性集合とする。
【００５６】
次に、ステップＳ２０８において、ステップＳ２０６において抽出された識別対象の内容語である文字列の素性集合と、ステップＳ２００において得られた識別モデルとに基づいて、当該文字列がデイリーワードか否かを識別する。
【００５７】
次に、ステップＳ２１０において、ステップＳ２０４において読み込んだ形態素解析済み文書に含まれる全ての内容語である文字列についてデイリーワードか否かの識別を行ったか判定する。すべての文字列についてデイリーワードか否かを識別した場合には、ステップＳ２１２に移行し、デイリーワードか否かの識別を行っていない文字列が存在する場合には、ステップＳ２０８に移行して当該文字列を識別対象の内容語である文字列として各処理を繰り返す。
【００５８】
次に、ステップＳ２１２において、ステップＳ２０８においてデイリーワードであると識別された文字列からなるデイリーワードリストを作成する。
【００５９】
次に、ステップＳ２１４において、ステップＳ２１２において作成されたデイリーワードリストを出力部１５０により出力して処理を終了する。
【００６０】
以上、説明したように、本発明の第１の実施の形態に係るデイリーワード学習装置によれば、各文字列について、デイリーワードか否かの情報と、文字列の直前に存在する文字列、及び公的な文書における文字列の出現頻度情報とに基づいて、識別モデルを学習することにより、高精度にデイリーワードを抽出するための識別モデルを学習することができる。
【００６１】
また、本発明の第１の実施の形態に係るデイリーワード抽出装置によれば、デイリーワードか否かの情報と素性に基づいて学習した識別モデルを用いてデイリーワードを抽出することにより、高精度にデイリーワードを抽出することができる。
【００６２】
また、本発明により、自然言語による質問文に対し、答えを探し出すために、リアルタイム性の高いソーシャルメディアか非リアルタイムなＷＥＢ記事のどちらを参照すべきか分類するに際し、デイリーワードが質問文に含まれればリアルタイムを参照するというように用いることができる。
【００６３】
また、本発明により、記事の出現数からバーストワードを検出すると真に意味のある情報が取得できるとは限らないという問題に対して、（非特許文献２：「マイクロブログ上の話題抽出とユーザの態度の分類に基づく流言検出支援システム」藤川,鍜治,吉永,喜連川  （DEIM2012)  http://www.tkl.iis.u-tokyo.ac.jp/top/modules/newdb/extract/1176/data/DEIM2012.pdf）デイリーワードと共起するバーストワードはより意味があるバーストワードであると仮定し、真に意味のあるバーストワードの抽出に用いることができる（図６）。
【００６４】
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００６５】
第２の実施の形態では、第１の実施の形態において抽出した素性に加えて、私的な文書に用いられる単語からなるプライベート単語リストの少なくとも１つとの文書内での共起を表す素性及び検索エンジンに用いられる検索クエリからなる検索クエリリストの少なくとも１つとの文書内での共起との文内での共起を表す素性を抽出する点が第１の実施の形態と異なっている。
【００６６】
＜デイリーワード学習装置の構成＞
本発明の第２の実施の形態に係るデイリーワード学習装置３００は、図７に示すように、入力部１０と、演算部２２０と、出力部５０とを備えている。
【００６７】
入力部１０は、キーボードなどの入力装置から、文書中の文字列にデイリーワードであることを示す情報（以下、正解ラベル）が付された、複数の形態素解析済みの文書データである教師付データと、新聞などの公的な文書を形態素解析した複数の形態素解析済み新聞データと、私的な文書について用いられる複数の単語からなるプライベート単語リストと、検索エンジンに用いられる検索クエリを示す複数の単語からなる検索クエリリストとを受け付ける。なお、入力部１０は、ネットワーク等を介して外部から入力されたものを受け付けるようにしてもよい。
【００６８】
演算部２２０の、プライベート単語リスト記憶部４６には、入力部１０において受け付けたプライベート単語リストが記憶されている。
【００６９】
演算部２２０の、検索クエリリスト記憶部４８には、入力部１０において受け付けた検索クエリリストが記憶されている。
【００７０】
演算部２２０の、素性抽出部２４０は、教師情報付きデータ記憶部３８に記憶されている教師付データに含まれる内容語である文字列の各々について、当該文字列の文脈情報を示す当該文字列の直前に存在する文字列を表す素性として抽出すると共に、頻度リスト記憶部３６に記憶されている単語頻度リストに基づいて、当該文字列の見出しにおける頻度と本文における頻度を表す素性を抽出し、プライベート単語リスト記憶部４６に記憶されているプライベート単語リストに基づいて、プライベート単語リストの少なくとも１つの単語との文書内での共起を表す素性と、検索クエリリスト記憶部４８に記憶されている検索クエリリストに基づいて、検索クエリリストの少なくとも１つの単語との文書内での共起を表す素性とを素性集合として抽出し、正解ラベルと素性集合とのペアにして、内容語である文字列毎に、素性集合記憶部４２に格納する。なお、プライベート単語リストの少なくとも１つの単語との文書内での共起を表す素性が第３の素性の一例であり、検索クエリリストの少なくとも１つの単語との文書内での共起を表す素性が第４の素性の一例である。
【００７１】
具体的には、対象となる内容語である文字列が、プライベート単語リストの少なくとも１つの単語と文書内で共起する場合には１の値を、当該内容語である文字列が、プライベート単語リストの少なくとも１つの単語と文書内での共起しない場合には０の値を素性として抽出する。また、対象となる内容語である文字列が、検索クエリリストの少なくとも１つの単語と文書内において共起する場合には１の値を、当該内容語である文字列が検索クエリリストの少なくとも１つの単語と文書内において共起しない場合には０の値を素性として抽出する。なお、プライベート単語リストの少なくとも１つの単語との文書内での共起を表す素性が１の場合には当該内容語である文字列がデイリーワードではないと学習される傾向があり、検索クエリリストの少なくとも１つの単語との文書内での共起を表す素性が１の場合には当該内容語がデイリーワードであると学習される傾向がある。
【００７２】
＜デイリーワード抽出装置の構成＞
本発明の第２の実施の形態に係るデイリーワード抽出装置４００は、図８に示すように、入力部１１０と、演算部３２０と、出力部１５０とを備えている。
【００７３】
演算部３２０のプライベート単語リスト記憶部１４０には、デイリーワード学習装置３００におけるプライベート単語リスト記憶部４６と同様の内容が記憶されている。
【００７４】
演算部３２０の検索クエリリスト記憶部１４２には、デイリーワード学習装置３００における検索クエリリスト記憶部４８と同様の内容が記憶されている。
【００７５】
演算部３２０の素性抽出部３３４は、形態素解析済み文書記憶部１３０に記憶されている複数の形態素解析済み文書に含まれる内容語である文字列の各々について、当該文字列の文脈情報を示す当該文字列の直前に存在する文字列を表す素性として抽出すると共に、頻度リスト記憶部１３２に記憶されている単語頻度リストに基づいて、当該文字列の見出しにおける頻度と本文における頻度を表す素性を抽出し、プライベート単語リスト記憶部１４０に記憶されているプライベート単語リストに基づいて、プライベート単語リストの少なくとも１つの単語との文書内での共起を表す素性を抽出し、検索クエリリスト記憶部１４２に記憶されている検索クエリリストに基づいて、検索クエリリストの少なくとも１つの単語との文書内での共起を表す素性を抽出し、素性集合として、デイリーワード抽出部１３８に出力する。
【００７６】
＜デイリーワード学習装置の作用＞
次に、本発明の第２の実施の形態に係るデイリーワード学習装置３００の作用について説明する。デイリーワード学習装置３００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図９に示す識別モデル学習処理ルーチンが実行される。  
【００７７】
ステップＳ３００において、プライベート単語リスト記憶部４６に記憶されているプライベート単語リストを読み込む。
【００７８】
ステップＳ３０２において、検索クエリリスト記憶部４８に記憶されている検索クエリリストを読み込む。
【００７９】
ステップＳ３０４において、ステップＳ１００において得られた複数の教師付データに含まれる内容語である文字列の各々について、当該文字列の文脈情報を示す当該文字列の直前に存在する文字列を表す素性として抽出すると共に、ステップＳ１０６において得られた単語リストに基づいて、当該文字列の見出しにおける頻度と本文における頻度を表す素性を抽出し、ステップＳ３００において得られたプライベート単語リストに基づいて、プライベート単語リストの少なくとも１つの単語との文書内での共起を表す素性を抽出し、ステップＳ３０２において得られた検索クエリリストに基づいて、検索クエリリストの少なくとも１つの単語との文書内での共起を表す素性を抽出し、素性集合とし、内容語である文字列の各々について、正解ラベルと素性集合のペアにして、素性集合記憶部４２に格納する。
【００８０】
＜デイリーワード抽出装置の作用＞
次に、本発明の第２の実施の形態に係るデイリーワード抽出装置４００の作用について説明する。まず、入力部１１０により、デイリーワード学習装置３００により出力された単語頻度リストが入力され、頻度リスト記憶部１３２に記憶される。また、デイリーワード学習装置３００により出力された識別モデルが入力され、識別モデル記憶部１３６に記憶される。そして、入力部１１０により形態素解析済み文書が入力されると、形態素解析済み文書記憶部１３０に記憶され、デイリーワード抽出装置４００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図１０に示すデイリーワード抽出処理ルーチンが実行される。
【００８１】
ステップＳ４００において、プライベート単語リスト記憶部１４０に記憶されているプライベート単語リストを読み込む。
【００８２】
ステップＳ４０２において、検索クエリリスト記憶部４８に記憶されている検索クエリリストを読み込む。
【００８３】
ステップＳ４０４において、形態素解析済み文書に含まれる内容語である文字列の各々について、当該内容語である文字列の文脈情報を示す当該文字列の直前に存在する文字列を表す素性を抽出すると共に、ステップＳ２０２において得られた単語頻度リストに基づいて、当該文字列の見出しにおける頻度と本文における頻度を表す素性を抽出し、ステップＳ４００において得られたプライベート単語リストに基づいて、プライベート単語リストの少なくとも１つの単語との文書内での共起を表す素性を抽出し、ステップＳ４０２において得られた検索クエリリストに基づいて、検索クエリリストの少なくとも１つの単語との文書内での共起を表す素性を抽出し、素性集合とする。
【００８４】
以上、説明したように、本発明の第２の実施の形態に係るデイリーワード学習装置によれば、私的な文書に用いられる単語との文書内での共起を表す素性、及び検索エンジンに用いられる検索クエリを示す単語との文書内での共起を表す素性を用いるため、私的な文書に用いられる単語である文字列との共起が低く、検索クエリを示す単語との共起頻度が高い文字列がよりデイリーワードとなるように学習することができ、より高精度にデイリーワードを抽出するための識別モデルを学習することが出来る。
【００８５】
また、本発明の第２の実施の形態に係るデイリーワード抽出装置によれば、デイリーワードか否かの情報と素性に基づいて識別モデルを学習し、当該識別モデルを用いてデイリーワードを抽出することにより、高精度にデイリーワードを抽出することができる。
【００８６】
なお、本発明は、上記実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上記の実施の形態では、演算部２０において、新聞等の形態素解析済みデータを入力として単語頻度リストを作成したが、これに限定されるものではなく、事前に作成した単語頻度リストを入力し、それを用いても良い。
【００８７】
また、上記の実施の形態では、文字列の文脈情報を示す当該文字列の直前に存在する文字列を表す素性を抽出したが、これに限定されるものではなく、文字列の文脈情報を示す文字列を素性として抽出すればよく、例えば、当該文字列の直後に存在する文字列を表す素性を抽出してもよい。
【００８８】
また、上述のデイリーワード学習装置１００及び３００、デイリーワード抽出装置２００及び４００は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００８９】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。また、本実施の形態のデイリーワード学習装置１００及び３００、デイリーワード抽出装置２００及び４００の各部をハードウエアにより構成してもよい。また、教師情報付きデータ、形態素解析済み新聞データ素性集合、頻度リスト、形態素解析済み文書、識別モデル、プライベート単語リスト、検索クエリリストが記憶されるデータベースとしては、ハードディスク装置やファイルサーバ等に例示される記憶手段によって実現可能であり、デイリーワード学習装置１００及び３００、デイリーワード抽出装置２００及び４００内部にデータベースを設けても良いし、外部装置に設けてもよい。
【符号の説明】
【００９０】
１０，１１０  入力部
２０，１２０，２２０，３２０       演算部
３０   新聞データ記憶部
３４   単語頻度計測部
３６   頻度リスト記憶部
３８   データ記憶部
４０，１３４，２４０，３３４       素性抽出部
４２   素性集合記憶部
４４   識別学習部
４６   プライベート単語リスト記憶部
４８   検索クエリリスト記憶部
５０，１５０  出力部
１００，３００       デイリーワード学習装置
１３０ 文書記憶部
１３２ 頻度リスト記憶部
１３６ 識別モデル記憶部
１３８ デイリーワード抽出部
１４０ プライベート単語リスト記憶部
１４２ 検索クエリリスト記憶部
２００，４００       デイリーワード抽出装置
【図４】
2014106550.tif 000003
【図５】
2014106550.tif 000004
【図７】
2014106550.tif 000005
【図８】
2014106550.tif 000006
【図９】
2014106550.tif 000007
【図１０】
2014106550.tif 000008
【図１】
2014106550.tif 000009
【図２】
2014106550.tif 000010
【図３】
2014106550.tif 000011
【図６】
2014106550.tif 000012