(57)【要約】【課題】高精度にデイリーワードを抽出する。【解決手段】形態素解析済みの少なくとも１つの文からなる文書について、デイリーワード抽出部３２により、日時を表さない文字列と、文字列に関する日時表現と、文字列に関する固有表現又は数とを同時に含む文字列のパターンを示す正規表現を用いて、正規表現と一致する部分における日時を表さない文字列を、イベントを表す文字列であるデイリーワードとして抽出する。【選択図】図１
2014119977.tif 000002
【特許請求の範囲】
【請求項１】
形態素解析済みの少なくとも１つの文からなる文書を記憶する記憶手段と、
前記記憶手段に記憶された前記文書について、日時を表さない文字列と、前記文字列に関する日時表現と、前記文字列に関する固有表現又は数とを同時に含む文字列のパターンを示す正規表現を用いて、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が予め定められた閾値以上となる文字列を、イベントを表す文字列であるデイリーワードとして抽出する抽出手段と、
を含むデイリーワード抽出装置。
【請求項２】
前記抽出手段は、公的な文書について予め求められた各文字列の出現頻度情報に基づいて、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が前記閾値以上となる文字列であって、かつ、前記文字列の前記公的な文書内の出現頻度が予め定められた閾値以上となる文字列を、前記デイリーワードとして抽出する請求項１記載のデイリーワード抽出装置。
【請求項３】
前記抽出手段は、前記公的な文書としての新聞の見出し部分について予め求められた各文字列の出現頻度情報、及び前記新聞の本文部分について予め求められた各文字列の出現頻度情報に基づいて、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が前記閾値以上となる文字列であって、かつ、前記文字列の新聞の見出し部分における出現頻度が予め定められた閾値以上、又は、前記文字列の新聞の本文部分における出現頻度が予め定められた閾値以上となる文字列を、前記デイリーワードとして抽出する請求項２記載のデイリーワード抽出装置。
【請求項４】
前記抽出手段は、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が前記閾値以上となる文字列であって、かつ、検索エンジンに用いられる予め定められた検索クエリを示す複数の文字列の少なくとも１つと共起する前記文字列を、前記デイリーワードとして抽出すると共に、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が前記閾値以上となる文字列であって、かつ、前記文字列の新聞の見出し部分における出現頻度が予め定められた閾値以上、又は、前記文字列の新聞の本文部分における出現頻度が予め定められた閾値以上となる前記文字列であって、かつ、私的な文書に用いられる予め定められた複数の文字列の何れとも共起しない前記文字列を、前記デイリーワードとして抽出する請求項３記載のデイリーワード抽出装置。
【請求項５】
形態素解析済みの少なくとも１つの文からなる文書を記憶する記憶手段と、抽出手段とを含む、デイリーワード抽出装置におけるデイリーワード抽出方法であって、
前記抽出手段により、前記記憶手段に記憶された前記文書について、日時を表さない文字列と、前記文字列に関する日時表現と、前記文字列に関する固有表現又は数とを同時に含む文字列のパターンを示す正規表現を用いて、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が予め定められた閾値以上となる文字列を、イベントを表す文字列であるデイリーワードとして抽出する
デイリーワード抽出方法。
【請求項６】
前記抽出手段は、公的な文書について予め求められた各文字列の出現頻度情報に基づいて、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が前記閾値以上となる文字列であって、かつ、前記文字列の前記公的な文書内の出現頻度が予め定められた閾値以上となる文字列を、前記デイリーワードとして抽出する請求項５記載のデイリーワード抽出方法。
【請求項７】
前記抽出手段は、前記公的な文書としての新聞の見出し部分について予め求められた各文字列の出現頻度情報、及び前記新聞の本文部分について予め求められた各文字列の出現頻度情報に基づいて、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が前記閾値以上となる文字列であって、かつ、前記文字列の新聞の見出し部分における出現頻度が予め定められた閾値以上、又は、前記文字列の新聞の本文部分における出現頻度が予め定められた閾値以上となる文字列を、前記デイリーワードとして抽出する請求項６記載のデイリーワード抽出方法。
【請求項８】
前記抽出手段は、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が前記閾値以上となる文字列であって、かつ、検索エンジンに用いられる予め定められた検索クエリを示す複数の文字列の少なくとも１つと共起する前記文字列を、前記デイリーワードとして抽出すると共に、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が前記閾値以上となる文字列であって、かつ、前記文字列の新聞の見出し部分における出現頻度が予め定められた閾値以上、又は、前記文字列の新聞の本文部分における出現頻度が予め定められた閾値以上となる前記文字列であって、かつ、私的な文書に用いられる予め定められた複数の文字列の何れとも共起しない前記文字列を、前記デイリーワードとして抽出する請求項７記載のデイリーワード抽出方法。
【請求項９】
コンピュータを、請求項１〜４の何れか１項記載のデイリーワード抽出装置を構成する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デイリーワード抽出装置、方法、プログラムに係り、特に、入力文書中に出現するデイリーワードの抽出を行うデイリーワード抽出装置、方法、プログラムに関する。
【背景技術】
【０００２】
デイリーワードとは、（１）ある短い期間において起こる事象（イベント）を表す文字列であり、かつ（２）公な情報となりやすい事象を表す文字列である。例えば、「発表」、「結婚」、「ランチ」、「バイト」、「来てる」は上記（１）の要件を満たしているため、デイリーワードの候補となる。なお、「結婚」は継続する事象だが、継続中においては「Ｘの夫は誰？」のような質問になりやすいと本発明においては仮定しているため、「結婚」は「結婚[発表／発覚]」の場合に使われやすいためデイリーワードの候補となる。
【０００３】
また、「発表」、「結婚」は公的な情報となるため、上記（２）の条件も満たしていることにより、デイリーワードとなる。しかし、「ランチ」、「バイト」、「来てる」は私的な情報となるため、上記（２）の条件を満たさないため、デイリーワードとはならない。
【０００４】
デイリーワードを検出する技術に近い従来技術として、バーストする分野（トピック）を推定するバーストトピック検出技術により、バーストする事象を推定する方法が知られている（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】“Finding Bursty Topics from Microblogs”Qiming Diao, Jing Jiang, Feida Zhu, Ee-Peng Lim, ACL 2012  http://www.mysmu.edu/faculty/jingjiang/papers/ACL'12.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１の手法においては、トピックモデルとＨＭＭによってバーストする箇所とそのトピックを検出するものであり、トピックモデルからバーストワードを検出することは可能であるが、デイリーワードはトピックを横断して出現するため、検出することは困難であるという問題がある。
【０００７】
本発明では、上記問題点を解決するために成されたものであり、高精度にデイリーワードを抽出するデイリーワード抽出装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明のデイリーワード抽出装置は、形態素解析済みの少なくとも１つの文からなる文書を記憶する記憶手段と、前記記憶手段に記憶された前記文書について、日時を表さない文字列と、前記文字列に関する日時表現と、前記文字列に関する固有表現又は数とを同時に含む文字列のパターンを示す正規表現を用いて、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が予め定められた閾値以上となる文字列を、イベントを表す文字列であるデイリーワードとして抽出する抽出手段と、を含んで構成されている。
【０００９】
本発明のデイリーワード抽出方法は、形態素解析済みの少なくとも１つの文からなる文書を記憶する記憶手段と、抽出手段とを含む、デイリーワード抽出装置におけるデイリーワード抽出方法であって、前記抽出手段により、前記記憶手段に記憶された前記文書について、日時を表さない文字列と、前記文字列に関する日時表現と、前記文字列に関する固有表現又は数とを同時に含む文字列のパターンを示す正規表現を用いて、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が予め定められた閾値以上となる文字列を、イベントを表す文字列であるデイリーワードとして抽出する。
【００１０】
本発明に係る抽出手段は、公的な文書について予め求められた各文字列の出現頻度情報に基づいて、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が前記閾値以上となる文字列であって、かつ、前記文字列の前記公的な文書内の出現頻度が予め定められた閾値以上となる文字列を、前記デイリーワードとして抽出するようにすることができる。
【００１１】
本発明に係る抽出手段は、前記公的な文書としての新聞の見出し部分について予め求められた各文字列の出現頻度情報、及び前記新聞の本文部分について予め求められた各文字列の出現頻度情報に基づいて、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が前記閾値以上となる文字列であって、かつ、前記文字列の新聞の見出し部分における出現頻度が予め定められた閾値以上、又は、前記文字列の新聞の本文部分における出現頻度が予め定められた閾値以上となる文字列を、前記デイリーワードとして抽出するようにすることができる。
【００１２】
本発明に係る抽出手段は、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が前記閾値以上となる文字列であって、かつ、検索エンジンに用いられる予め定められた検索クエリを示す複数の文字列の少なくとも１つと共起する前記文字列を、前記デイリーワードとして抽出すると共に、前記正規表現と一致する部分における前記日時を表さない文字列であって、かつ、出現頻度が前記閾値以上となる文字列であって、かつ、前記文字列の新聞の見出し部分における出現頻度が予め定められた閾値以上、又は、前記文字列の新聞の本文部分における出現頻度が予め定められた閾値以上となる前記文字列であって、かつ、私的な文書に用いられる予め定められた複数の文字列の何れとも共起しない前記文字列を、前記デイリーワードとして抽出するようにすることができる。
【００１３】
本発明によれば、形態素解析済みの少なくとも１つの文からなる文書について、日時を表さない文字列と、文字列に関する日時表現と、文字列に関する固有表現又は数とを同時に含む文字列のパターンを示す正規表現を用いて記正規表現と一致する部分における日時を表さない文字列であって、出現頻度が予め定められた閾値以上となる文字列を、イベントを表す文字列であるデイリーワードとして抽出する。
【００１４】
このように、日時を表さない文字列と、文字列に関する日時表現と、文字列に関する固有表現又は数とを同時に含む文字列のパターンを示す正規表現を用いて、正規表現と一致する部分からデイリーワードを抽出することにより、高精度にデイリーワードを抽出することができる。
【００１５】
また、本発明のプログラムは、コンピュータを、上記のデイリーワード抽出装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１６】
以上説明したように、本発明のデイリーワード抽出装置、方法、及びプログラムによれば、日時を表さない文字列と、文字列に関する日時表現と、文字列に関する固有表現又は数とを同時に含む文字列のパターンを示す正規表現を用いて、正規表現と一致する部分からデイリーワードを抽出することにより、高精度にデイリーワードを抽出することができる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施の形態のデイリーワード抽出装置の機能的構成を示すブロック図である。
【図２】第１の実施の形態のデイリーワード抽出装置におけるデイリーワード抽出処理ルーチンの内容を示すフローチャートである。
【図３】デイリーワードの位置づけを示す図である。
【図４】第２の実施の形態のデイリーワード抽出装置の機能的構成を示すブロック図である。
【図５】第２の実施の形態のデイリーワード抽出装置におけるデイリーワード抽出処理ルーチンの内容を示すフローチャートである。
【図６】第３の実施の形態のデイリーワード抽出装置の機能的構成を示すブロック図である。
【図７】第３の実施の形態のデイリーワード抽出装置におけるデイリーワード抽出処理ルーチンの内容を示すフローチャートである。
【図８】実験におけるデイリーワード抽出結果を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１９】
＜システム構成＞
本発明の第１の実施の形態に係るデイリーワード抽出装置について説明する。図１に示すように、本発明の第１の実施の形態に係るデイリーワード抽出装置１００は、入力部１０と、後述するデイリーワード抽出処理ルーチンを実行する演算部２０と、出力部５０と、を備えている。
【００２０】
入力部１０は、キーボードなどの入力装置から、複数の形態素解析済み文書を受け付ける。なお、入力部１０は、ネットワーク等を介して外部から入力されたものを受け付けるようにしてもよい。
【００２１】
演算部２０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述するデイリーワード抽出処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、形態素解析済み文書記憶部３０と、固有表現抽出部３１と、デイリーワード抽出部３２とを含んだ構成で表すことができる。
【００２２】
形態素解析済み文書記憶部３０には、入力部１０において受け付けた複数の形態素解析済み文書が記憶されている。
【００２３】
固有表現抽出部３１は、形態素解析済み文書記憶部３０に記憶されている複数の形態素解析済み文書について、固有表現（人名、組織名、人工物名などの固有名詞、日付表現（ＤＡＴＥ）、時間表現（ＴＩＭＥ））を抽出する。固有表現抽出の手法は、従来既知の手法を用いれば良い。本実施の形態の例では、ＣａｂｏＣｈａを用いている。
【００２４】
デイリーワード抽出部３２は、日時を表さない文字列と、当該文字列に関する日時表現と、当該文字列に関する固有表現又は数の表現とを同時に含む文字列のパターンを示す正規表現を用いて、形態素解析済み文書記憶部３０に記憶されている複数の文書について、正規表現のパターンと一致する部分から、日時を表さない文字列をデイリーワード候補として各々抽出する。正規表現として、例えば、「[ＤＡＴ]の[Ｘ]は[Ｙ]」という文字列のパターンを用いて、正規表現に一致する部分の文字列Ｘを普通名詞のデイリーワード候補として抽出する。また、正規表現として、「[ＤＡＴ]に[Ｘ]（する｜した）[Ｙ]」という文字列のパターンを用いて、正規表現に一致する部分の文字列Ｘを動作性名詞のデイリーワード候補として抽出する。なお、抽出対象となる文字列Ｘは、普通名詞及び動作性名詞の合算した出現頻度が予め定められた閾値以上の文字列Ｘのみを対象とする（本実施形態における閾値は１０回とする。）。
【００２５】
ここで、ＤＡＴは品詞が日時となる文字列か、固有表現抽出部３１において抽出された日付表現（ＤＡＴＥ）又は時間表現（ＴＩＭＥ）の文字列であり、文字列Ｘは、品詞が日時となる文字列以外の文字列であり、文字列Ｙは固有表現（人名、組織名、人工物名などの固有名詞）又は数の表現の文字列である。
【００２６】
デイリーワード抽出部３２は、デイリーワード候補の抽出結果に基づいて、デイリーワード候補として抽出された文字列であって、Ｎ回（例えば、１０回）以上抽出された文字列を、デイリーワードとして抽出し、デイリーワードリストとして出力部５０により出力する。
【００２７】
＜デイリーワード抽出装置の作用＞
【００２８】
次に、本発明の第１の実施の形態に係るデイリーワード抽出装置１００の作用について説明する。まず、入力部１０により、形態素解析済み文書が入力されると、形態素解析済み文書記憶部３０に記憶され、デイリーワード抽出装置１００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図２に示すデイリーワード抽出処理ルーチンが実行される。
【００２９】
まず、ステップＳ１００において、形態素解析済み文書記憶部３０に記憶されている複数の形態素解析済み文書を読み込む。
【００３０】
次に、ステップＳ１０１において、ステップＳ１００において得られた複数の形態素解析済み文書について、固有表現抽出を行う。
【００３１】
次に、ステップＳ１０２において、ステップＳ１００において得られた形態素解析済み文書について、「[ＤＡＴ]の[Ｘ]は[Ｙ]」という文字列のパターンの正規表現に一致する部分の各々から、文字列Ｘに該当する文字列を普通名詞のデイリーワード候補として抽出すると共に、「[ＤＡＴ]に[Ｘ]（する｜した）[Ｙ]」という文字列のパターンの正規表現に一致する部分の各々から、文字列Ｘに該当する文字列を動作性名詞のデイリーワード候補として抽出する。
【００３２】
そして、デイリーワード候補として抽出された文字列であって、１０回以上抽出された文字列を、デイリーワードとして抽出する。
【００３３】
次に、ステップＳ１０４において、ステップＳ１０２において抽出されたデイリーワードをデイリーワードリストとして出力部５０により出力して処理を終了する。
【００３４】
以上、説明したように、本発明の第１の実施の形態に係るデイリーワード抽出装置によれば、日時を表さない文字列と、文字列に関する日時表現と、文字列に関する固有表現又は数とを同時に含む文字列のパターンを示す正規表現を用いて、正規表現と一致する部分からデイリーワードを抽出することにより、高精度にデイリーワードを抽出することができる。
【００３５】
また、デイリーワードとなる文字列が示す対象が日毎に変化することを考慮して、日時表現と固有表現を同時に含む正規表現を用いることによりデイリーワードを高精度に抽出することができる。
【００３６】
また、「懇親会」や「誕生日」等の私的な情報も含めたデイリーワードを抽出することができる。
【００３７】
また、自然言語による質問文に対し、答えを探し出すために、リアルタイム性の高いソーシャルメディアか非リアルタイムなＷＥＢ記事のどちらを参照すべきか分類するに際し、本実施の形態において自動的に抽出されたデイリーワードリストを用いることにより、デイリーワードが質問文に含まれればリアルタイム性の高いソーシャルメディアを参照すべきであると分類することができる。
【００３８】
また、記事の出現数からバーストワードを検出すると真に意味のある情報が取得できるとは限らないという問題に対して、（非特許文献２：「マイクロブログ上の話題抽出とユーザの態度の分類に基づく流言検出支援システム」藤川,鍜治,吉永,喜連川  （DEIM2012)  http://www.tkl.iis.u-tokyo.ac.jp/top/modules/newdb/extract/1176/data/DEIM2012.pdf）デイリーワードと共起するバーストワードはより意味があるバーストワードであると仮定し、本実施の形態において自動的に抽出されたデイリーワードリストを、真に意味のあるバーストワードの抽出に用いることができる（図３）。
【００３９】
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００４０】
第２の実施の形態では、デイリーワード候補のうち公的な文書に出現する文字列のみをデイリーワードとして抽出する点が第１の実施の形態と異なっている。
【００４１】
＜デイリーワード抽出装置の構成＞
本発明の第２の実施の形態に係るデイリーワード抽出装置２００は、図４に示すように、入力部１０と、演算部１２０と、出力部５０とを備えている。
【００４２】
入力部１０は、キーボードなどの入力装置から、複数の形態素解析済み文書と、新聞の文書を形態素解析した複数の形態素解析済み新聞データとを受け付ける。なお、入力部１０は、ネットワーク等を介して外部から入力されたものを受け付けるようにしてもよい。
【００４３】
演算部１２０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述するデイリーワード抽出処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図４に示すように、形態素解析済み文書記憶部３０と、固有表現抽出部３１と、デイリーワード候補抽出部３４と、初期デイリーワードリスト記憶部３６と、形態素解析済み新聞データ記憶部３８と、単語頻度計測部４０と、頻度リスト記憶部４２と、デイリーワード抽出部４４と、を含んだ構成で表すことができる。
【００４４】
デイリーワード候補抽出部３４は、第１の実施の形態のデイリーワード抽出部３２と同様の処理を行って、形態素解析済み文書記憶部３０に記憶されている文書から、デイリーワード候補を抽出し、抽出されたデイリーワード候補からなる初期デイリーワードリストを、初期デイリーワードリスト記憶部３６に格納する。
【００４５】
初期デイリーワードリスト記憶部３６は、デイリーワード候補抽出部３４によって抽出されたデイリーワード候補からなる初期デイリーワードリストを記憶している。
【００４６】
形態素解析済み新聞データ記憶部３８には、入力部１０において受け付けた新聞の文書を形態素解析した複数の形態素解析済み新聞データが記憶されている。
【００４７】
単語頻度計測部４０は、形態素解析済み新聞データ記憶部３８に記憶されている複数の形態素解析済み新聞データの各々について、見出し部分のデータと、本文部分のデータとに分け、複数の形態素解析済み新聞データの各々の見出し部分のデータから、内容語である文字列の各々（例えば、「バイト」、「先発」）について、出現頻度を計測し、見出しにおける文字列の頻度リストを作成する。また、複数の形態素解析済み新聞データの各々の本文部分のデータから、内容語である文字列の各々について、出現頻度を計測し、本文における文字列の頻度リストを作成する。作成された見出しにおける文字列の頻度リスト及び本文における文字列の頻度リスト（以下、単語頻度リストとする）を頻度リスト記憶部４２に格納する。
【００４８】
頻度リスト記憶部４２は、単語頻度計測部４０から入力された単語頻度リストを記憶している。
【００４９】
デイリーワード抽出部４４は、初期デイリーワードリスト記憶部３６に記憶されている初期デイリーワードリストに含まれるデイリーワード候補の文字列の各々について、当該デイリーワード候補の文字列が動作性名詞におけるデイリーワード候補である場合には、頻度リスト記憶部４２に記憶されている単語頻度リストの内、見出しにおける文字列の頻度リストから得られる当該デイリーワード候補の文字列の出現頻度が、閾値（本実施例では１０回）以上であるかを判定し、当該デイリーワード候補の文字列が普通名詞におけるデイリーワード候補である場合には、頻度リスト記憶部４２に記憶されている単語頻度リストの内、本文における文字列の頻度リストから得られる当該デイリーワード候補の文字列の出現頻度が、閾値（本実施例では１０回）以上であるか否かを判定する。デイリーワード抽出部４４は、上記の出現頻度が閾値以上であると判定されたデイリーワード候補の文字列の各々をデイリーワードとして抽出し、デイリーワードリストとして出力部５０により出力する。一方、当該デイリーワード候補の文字列の出現頻度が、閾値未満である場合には、当該デイリーワード候補の文字列は、デイリーワードではないと判断され除外される。
【００５０】
＜デイリーワード抽出装置の作用＞
次に、本発明の第２の実施の形態に係るデイリーワード抽出装置２００の作用について説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【００５１】
まず、入力部１０により、新聞の文書を形態素解析した複数の形態素解析済み新聞データが入力されると、単語頻度計算部４０は、新聞データの各々について、見出し部分のデータと、本文部分のデータとに分け、複数の形態素解析済み新聞データの各々の見出し部分のデータから、内容語である文字列の各々について、出現頻度を計測し、見出しにおける文字列の頻度リストを作成する。また、単語頻度計算部４０は、複数の形態素解析済み新聞データの各々の本文部分のデータから、内容語である文字列の各々について、出現頻度を計測し、本文における文字列の頻度リストを作成し、頻度リスト記憶部４２に格納する。
【００５２】
そして、入力部１０により、複数の形態素解析済み文書が入力されると、形態素解析済み文書記憶部３０に記憶され、デイリーワード抽出装置１００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図５に示すデイリーワード抽出処理ルーチンが実行される。
【００５３】
ステップＳ１００において、形態素解析済み文書記憶部３０に記憶されている複数の形態素解析済み文書を読み込む。
【００５４】
ステップＳ２００において、頻度リスト記憶部４２に記憶されている単語頻度リストを読み込む。
【００５５】
ステップＳ１０１において、ステップＳ１００において得られた複数の形態素解析済み文書について、固有表現抽出を行う。
【００５６】
ステップＳ２０４において、ステップＳ１００において得られた複数の形態素解析済み文書について、「[ＤＡＴ]の[Ｘ]は[Ｙ]」という文字列のパターンの正規表現に一致する部分の各々から、文字列Ｘに該当する文字列を普通名詞のデイリーワード候補として抽出すると共に、「[ＤＡＴ]に[Ｘ]（する｜した）[Ｙ]」という文字列のパターンの正規表現に一致する部分の各々から、文字列Ｘに該当する文字列を動作性名詞としてのデイリーワード候補として抽出する。そして、デイリーワード候補として抽出された文字列であって、１０回以上抽出された文字列を抽出し、初期デイリーワードリストとして初期デイリーワードリスト記憶部３６に格納する。
【００５７】
ステップＳ２０６において、ステップＳ２０４で初期デイリーワードリスト記憶部３６に格納された初期デイリーワードリストに含まれるデイリーワード候補の文字列について、ステップＳ２００において得られた単語頻度リストに基づいて、デイリーワード候補の文字列が動作性名詞の場合、見出しにおける文字列の出現頻度が、閾値以上である否かを判定し、デイリーワード候補の文字列が普通名詞の場合、本文における文字列の出現頻度が、閾値以上であるか否かを判定し、上記の出現頻度が閾値以上であると判定されたデイリーワード候補の文字列をデイリーワードとして抽出する。
【００５８】
ステップＳ２０７において、初期デイリーワードリスト記憶部３６に格納された初期デイリーワードリストに含まれるデイリーワード候補の文字列の全てについて、上記ステップＳ２０６のデイリーワードの抽出処理を行ったか否かを判定する。すべてのデイリーワード候補についてデイリーワードの抽出処理を行った場合には、ステップＳ１０４に移行し、デイリーワードの抽出処理を行っていないデイリーワード候補の文字列が存在する場合には、ステップＳ２０６に移行して当該文字列を判定対象の文字列として上記の処理を繰り返す。
【００５９】
ステップＳ１０４において、ステップＳ２０６において抽出されたデイリーワードをデイリーワードリストとして出力部５０により出力して処理を終了する。
【００６０】
以上、説明したように、本発明の第２の実施の形態に係るデイリーワード抽出装置によれば、デイリーワード候補を抽出し、さらにデイリーワード候補のうち公的な文書に出現する文字列のみをデイリーワードとして抽出することにより、高精度にデイリーワードを抽出することができる。
【００６１】
また、新聞等の公性の強いリソースの中の頻度情報と照らし合わせることにより、デイリーワードとして抽出される文字列の公性を保証して、デイリーワードを抽出することができる。
【００６２】
また、公的な文書の頻度情報を用いることにより、デイリーワードとして私的な情報を過剰に獲得することを避けることが出来る。
【００６３】
次に、第３の実施の形態について説明する。なお、第１及び第２の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００６４】
第３の実施の形態では、デイリーワード候補を抽出し、公的な文書に出現する文字列であるか否かと、検索クエリとして用いられる単語と共起するか否かと、私的な文書に用いられる単語と共起するか否かとに基づいてデイリーワードを抽出する点が第２の実施の形態と異なっている。
【００６５】
＜デイリーワード抽出装置の構成＞
本発明の第３の実施の形態に係るデイリーワード抽出装置３００は、図６に示すように、入力部１０と、演算部２２０と、出力部５０とを備えている。
【００６６】
入力部１０は、キーボードなどの入力装置から、複数の形態素解析済み文書と、新聞の文書を形態素解析した複数の形態素解析済み新聞データと、私的な文書について用いられる予め定められた複数の単語からなるプライベート単語リストと、検索エンジンに用いられる検索クエリを示す予め定められた複数の単語からなる検索クエリリストとを受け付ける。なお、入力部１０は、ネットワーク等を介して外部から入力されたものを受け付けるようにしてもよい。
【００６７】
演算部２２０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述するデイリーワード抽出処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図６に示すように、形態素解析済み文書記憶部３０と、固有表現抽出部３１と、デイリーワード候補抽出部３４と、初期デイリーワードリスト記憶部３６と、形態素解析済み新聞データ記憶部３８と、単語頻度計測部４０と、頻度リスト記憶部４２と、デイリーワード抽出部４４と、プライベート単語リスト記憶部６０と、検索クエリリスト記憶部６２とを含んだ構成で表すことができる。
【００６８】
プライベート単語リスト記憶部６０には、入力部１０において受け付けたプライベート単語リストが記憶されている。
【００６９】
検索クエリリスト記憶部６２には、入力部１０において受け付けた検索クエリリストが記憶されている。
【００７０】
デイリーワード抽出部４４は、初期デイリーワードリスト記憶部３６に記憶されている初期デイリーワードリストに含まれるデイリーワード候補の文字列について、当該デイリーワード候補の文字列が、検索クエリリスト記憶部６２に記憶されている検索クエリリストに含まれる少なくとも１つの単語である文字列と、当該デイリーワード候補の文字列が含まれている形態素解析済み文書内で共起するか否かを判定し、共起すると判定された場合には、当該デイリーワード候補の文字列をデイリーワードとして抽出する。
【００７１】
当該デイリーワード候補の文字列が検索クエリリストに含まれる何れの文字列とも共起しない場合には、当該デイリーワード候補の文字列が動作性名詞におけるデイリーワード候補であれば、頻度リスト記憶部４２に記憶されている単語頻度リストの内、見出しにおける文字列の頻度リストから得られる当該デイリーワード候補の文字列の出現頻度が、閾値（本実施例では１０回）以上であるかを判定し、当該デイリーワード候補の文字列が普通名詞におけるデイリーワード候補であれば、頻度リスト記憶部４２に記憶されている単語頻度リストの内、本文における文字列の頻度リストから得られる当該デイリーワード候補の文字列の出現頻度が、閾値（本実施例では１０回）以上であるか否かを判定する。デイリーワード抽出部４４は、当該デイリーワード候補の文字列について、上記の出現頻度が閾値以上であると判定されると、当該デイリーワード候補の文字列が、プライベート単語リスト記憶部６０に記憶されているプライベート単語リストの何れの単語とも、当該デイリーワード候補の文字列が含まれている形態素解析済み文書内で共起しないか否かを判定し、何れの単語とも共起しないと判定された場合には、当該デイリーワード候補の文字列をデイリーワードとして抽出する。
一方、当該デイリーワード候補の文字列について、上記の出現頻度が、閾値未満である場合には、当該デイリーワード候補の文字列は、デイリーワードではないと判断され除外される。また、当該デイリーワード候補の文字列について、プライベート単語リスト記憶部６０に記憶されているプライベート単語リストの少なくとも１つの単語と、当該デイリーワード候補の文字列が含まれている形態素解析済み文書内で共起すると判定された場合には、当該デイリーワード候補の文字列は、デイリーワードではないと判断され除外される。
デイリーワード抽出部４４は、上記のデイリーワード抽出処理を、初期デイリーワードリスト記憶部３６に記憶されている初期デイリーワードリストに含まれる全てのデイリーワード候補の文字列の各々について繰り返し行い、抽出されたデイリーワードを、デイリーワードリストとして出力部５０により出力する。
【００７２】
＜デイリーワード抽出装置の作用＞
次に、本発明の第３の実施の形態に係るデイリーワード抽出装置３００の作用について説明する。なお、第１及び第２の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【００７３】
まず、入力部１０により、新聞の文書を形態素解析した複数の形態素解析済み新聞データが入力されると、新聞データの各々について、見出し部分のデータと、本文部分のデータとに分け、複数の形態素解析済み新聞データの各々の見出し部分のデータから、内容語である文字列の各々について、出現頻度を計測し、見出しにおける文字列の頻度リストを作成する。また、複数の形態素解析済み新聞データの各々の本文部分のデータから、内容語である文字列の各々について、出現頻度を計測し、本文における文字列の頻度リストを作成し、頻度リスト記憶部４２に格納する。
【００７４】
また、入力部１０により、プライベート単語リストが入力されると、入力されたプライベート単語リストをプライベート単語リスト記憶部６０に格納する。
【００７５】
また、入力部１０により、検索クエリリストが入力されると、入力された検索クエリリストを検索クエリリスト記憶部６２に格納する。
【００７６】
そして、入力部１０により、形態素解析済み文書が入力されると、形態素解析済み文書記憶部３０に記憶され、デイリーワード抽出装置３００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図７に示すデイリーワード抽出処理ルーチンが実行される。
【００７７】
ステップＳ１００において、形態素解析済み文書記憶部３０に記憶されている複数の形態素解析済み文書を読み込む。
【００７８】
ステップＳ２００において、頻度リスト記憶部４２に記憶されている単語頻度リストを読み込む。
【００７９】
ステップＳ３００において、プライベート単語リスト記憶部６０に記憶されているプライベート単語リストを読み込む。
【００８０】
ステップＳ３０２において、検索クエリリスト記憶部６２に記憶されている検索クエリリストを読み込む。
【００８１】
ステップＳ１０１において、ステップＳ１００において得られた複数の形態素解析済み文書について、固有表現抽出を行う。
【００８２】
ステップＳ２０４において、ステップＳ１００において得られた複数の形態素解析済み文書について、「[ＤＡＴ]の[Ｘ]は[Ｙ]」という文字列のパターンの正規表現に一致する部分の各々から、文字列Ｘに該当する文字列を普通名詞のデイリーワード候補として抽出すると共に、「[ＤＡＴ]に[Ｘ]（する｜した）[Ｙ]」という文字列のパターンの正規表現に一致する部分の各々から、文字列Ｘに該当する文字列を動作性名詞としてのデイリーワード候補として抽出する。そして、デイリーワード候補として抽出された文字列であって、１０回以上抽出された文字列を抽出し、初期デイリーワードリストとして初期デイリーワードリスト記憶部３６に格納する。
【００８３】
ステップＳ３０４において、ステップＳ２０４で初期デイリーワードリスト記憶部３６に格納された初期デイリーワードリストに含まれるデイリーワード候補の文字列について、ステップＳ３０２において取得した検索クエリリストに基づいて、検索クエリリストに含まれる少なくとも１つの単語である文字列と、当該デイリーワード候補の文字列が含まれている形態素解析済み文書内で共起するか否かを判定し、共起する場合には、該デイリーワード候補の文字列の各々をデイリーワードとして抽出する。
【００８４】
検索クエリリストに含まれる少なくとも１つの単語である文字列と共起しない場合には、ステップＳ２００において得られた単語頻度リストに基づいて、当該デイリーワード候補の文字列の見出し又は本文における文字列の出現頻度が、閾値以上である否かを判定する。
【００８５】
上記の出現頻度が閾値以上と判定された場合には、ステップＳ３００において取得したプライベート単語リストに基づいて、当該デイリーワード候補の文字列がプライベート単語リストに含まれる何れの単語とも共起しないか否かを判定し、何れの単語とも共起しないと判定されたデイリーワード候補の文字列をデイリーワードとして抽出する。
【００８６】
ステップＳ２０７において、初期デイリーワードリスト記憶部３６に格納された初期デイリーワードリストに含まれるデイリーワード候補の文字列の全てについて、上記ステップＳ３０４のデイリーワードの抽出処理を行ったか否かを判定する。すべてのデイリーワード候補についてデイリーワードの抽出処理を行った場合には、ステップＳ１０４に移行し、デイリーワードの抽出処理を行っていないデイリーワード候補の文字列が存在する場合には、ステップＳ３０４に移行して当該文字列を判定対象の文字列として上記の処理を繰り返す。
【００８７】
ステップＳ１０４において、ステップＳ３０４において抽出されたデイリーワードをデイリーワードリストとして出力部５０により出力して処理を終了する。
【００８８】
以上、説明したように、本発明の第３の実施の形態に係るデイリーワード抽出装置によれば、デイリーワード候補を抽出し、公的な文書に出現する文字列であるか否かと、検索クエリとして用いられる単語と共起するか否かと、私的な文書に用いられる単語と共起するか否かとに基づいてデイリーワードを抽出することにより、高精度にデイリーワードを抽出することが出来る。
【００８９】
＜実験例＞
本発明の効果を検証するため、本発明の第２の実施の形態で説明した手法を用いてデイリーワードを抽出する実験を行った。実験におけるデイリーワードの抽出結果を図８に示す。本実験においては形態素解析済みデータとしてｂｌｏｇのデータ（３５、２９４、６８４記事）を使用し、公的な文書として新聞のデータ（６００００文）を用いた。図８では、取り消し線が引いてある文字列は頻度情報に基づいて過剰に除去されたものを示しており、下線が引いてある文字列は、本来は除去されるべき文字列であるが、頻度情報に基づいて除去されずにデイリーワードとして抽出されたものを示している。図８に示す実験結果から、デイリーワードが高精度に抽出されることが分かった。
【００９０】
なお、各要素の１カラム目は入力されたｂｌоｇ中の記事における当該デイリーワード候補の文字列としての正規表現のマッチ数であり、２カラム目は新聞本文の頻度情報、３カラム目は新聞の見出しにおける頻度情報を表す。
【００９１】
なお、本発明は、上記の実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００９２】
例えば、上記の第２及び第３の実施の形態では、演算部１２０及び２２０において、新聞の文書の形態素解析済みデータを入力として単語頻度リストを作成したが、これに限定されるものではなく、事前に作成した単語頻度リストを入力し、それを用いても良い。
【００９３】
また、上記の第３の実施の形態では、検索クエリリストの少なくとも１つの単語と共起する文字列をデイリーワードとし、プライベート単語リストの少なくとも１つの単語と共起する文字列をデイリーワードから除外する場合を説明したが、これに限定されるものではない。例えば、検索クエリリストの少なくとも１つの単語と共起する文字列をデイリーワードとして抽出すると共に、新聞データにおける頻度情報に基づいて出現頻度が閾値以上である文字列をデイリーワードとして抽出してもよい。また、検索クエリリストとの共起を考慮せずに、新聞データにおける頻度情報に基づいて出現頻度が閾値以上であり、かつ、プライベート単語リストの何れの単語とも共起しない文字列をデイリーワードとして抽出してもよい。
【００９４】
また、上記の第３の実施の形態では、検索クエリリスト又はプライベート単語リストの少なくとも１つの単語と、デイリーワード候補の文字列が、当該文字列の含まれている文書内において共起したか否かを判定しているが、これに限定されるものではなく、当該文字列の含まれている文内において共起したか否かを判断してもよい。
【００９５】
また、本発明の実施の形態では、正規表現として、「[ＤＡＴ]の[Ｘ]は[Ｙ]」及び「[ＤＡＴ]に[Ｘ]（する｜した）[Ｙ]」の文字列のパターンを用いてデイリーワードを抽出するようにしたが、これに限定されるものではなく、日時を表さない文字列と、文字列に関する日時表現と、文字列に関する固有表現又は数とを同時に含む他の文字列のパターンを示す正規表現を用いてもよい。
【００９６】
また、上述のデイリーワード抽出装置１００、２００、及び３００は内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）を含むものとする。
【００９７】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。また、本実施の形態のデイリーワード抽出装置１００、２００、及び３００の各部をハードウエアにより構成してもよい。また、形態素解析済み新聞データ、頻度リスト、形態素解析済み文書、プライベート単語リスト、検索クエリリストが記憶されるデータベースとしては、ハードディスク装置やファイルサーバ等に例示される記憶手段によって実現可能であり、デイリーワード抽出装置１００、２００、及び３００内部にデータベースを設けても良いし、外部装置に設けてもよい。
【符号の説明】
【００９８】
１０   入力部
２０，１２０，２２０   演算部
３０   形態素解析済み文書記憶部
３１   固有表現抽出部
３２，４４    デイリーワード抽出部
３４   デイリーワード候補抽出部
３６   初期デイリーワードリスト記憶部
３８   形態素解析済み新聞データ記憶部
４０   単語頻度計測部
４２   頻度リスト記憶部
５０   出力部
６０   プライベート単語リスト記憶部
６２   検索クエリリスト記憶部
１００，２００，３００      デイリーワード抽出装置
【図１】
2014119977.tif 000003
【図２】
2014119977.tif 000004
【図４】
2014119977.tif 000005
【図５】
2014119977.tif 000006
【図６】
2014119977.tif 000007
【図７】
2014119977.tif 000008
【図３】
2014119977.tif 000009
【図８】
2014119977.tif 000010