(57)【要約】【課題】時事的表現を効果的に辞書データに登録し、社会の情勢に柔軟に対処し、テキストデータに対する分析の精度向上を図る。【解決手段】本発明の一態様は、コンピュータ１に、時事的内容を含むデータ種別に属すると予め設定されている時事データ１８１〜１８ｎを取得する機能１３、時事的な重要性を判断するために予め設定された時事登録条件に基づいて、時事データ１８１〜１８ｎの中から時事的表現を抽出する機能１４、時事的表現を、記録手段７に記録されている辞書データ６に登録する機能１６を実現させるためのプログラム４ｂである。【選択図】      図１
2005084788.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、
時事的内容を含むデータ種別に属すると予め設定されている時事データを取得する機能、
時事的な重要性を判断するために予め設定された時事登録条件に基づいて、前記時事データの中から時事的表現を抽出する機能、
前記時事的表現を、記録手段に記録されている辞書データに登録する機能
を実現させるためのプログラム。
【請求項２】
前記抽出機能は、前記時事データに所定数を超えて含まれている表現を抽出することを特徴とする請求項１記載のプログラム。
【請求項３】
前記抽出機能は、前記時事データに対する形態素解析によって未知表現と判断された表現を抽出することを特徴とする請求項１又は請求項２記載のプログラム。
【請求項４】
前記抽出機能は、所定の登録除外リストに含まれていない表現を抽出することを特徴とする請求項１乃至請求項３のいずれか１項に記載のプログラム。
【請求項５】
前記抽出機能は、前記辞書データに登録されていない表現を抽出することを特徴とする請求項１乃至請求項４のいずれか１項に記載のプログラム。
【請求項６】
コンピュータに、
前記時事的表現が所定の削除条件を満たす場合に、前記辞書データから前記時事的表現を削除する機能をさらに実現させることを特徴とする請求項１乃至請求項５のいずれか１項に記載のプログラム。
【請求項７】
前記取得機能は、前記時事的表現の登録後に新規の時事データを取得し、
前記削除機能は、前記新規の時事データに出現する頻度が所定値未満となった時事的表現を前記辞書データから削除する
ことを特徴とする請求項６記載のプログラム。
【請求項８】
前記削除機能は、前記辞書データに前記時事的表現が登録されて所定期間が経過した場合、前記辞書データから前記時事的表現を削除することを特徴とする請求項６又は請求項７記載のプログラム。
【請求項９】
時事的内容を含むデータ種別に属すると予め設定されている時事データを取得する手段と、
時事的な重要性を判断するために予め設定された時事登録条件に基づいて、前記時事データの中から時事的表現を抽出する手段と、
前記時事的表現を、記録手段に記録されている辞書データに登録する手段と
を具備することを特徴とする辞書登録装置。
【請求項１０】
コンピュータによる辞書登録方法において、
時事的内容を含むデータ種別に属すると予め設定されている時事データを取得し、
時事的な重要性を判断するために予め設定された時事登録条件に基づいて、前記時事データの中から時事的表現を抽出し、
前記時事的表現を、記録手段に記録されている辞書データに登録する
ことを特徴とする辞書登録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキストデータに対する分析に用いられる辞書データに、新たなデータを登録するためのプログラム及び辞書登録装置並びに方法に関する。
【背景技術】
【０００２】
概念定義辞書データを用いたテキストデータの分類において、概念定義辞書データを自動又は半自動で構築するための技術が検討されている。
【０００３】
例えば、特許文献１（特開２００１−８４２５０号公報）には、文書を形態素解析し、切り出された単語を頻度の多い順にならべ、予め設定した属性の言葉でまだ辞書登録されていないものを分野依存辞書に登録する。
【０００４】
また、例えば、特許文献２（特開平６−３４８７５５号公報）には、予め人間が読んで分類した文書を形態素解析し、唯一の分類にのみ現れる単語を、その分類に振り分けるためのキーワードとして辞書に登録する。
【特許文献１】特開２００１−８４２５０号公報
【特許文献２】特開平６−３４８７５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１では、一般的な文書における単語の出現頻度にしたがって辞書への登録が行われるため、時事的な単語のみではなく様々な単語が辞書に登録される。この場合、辞書に登録される単語数が増え、辞書の内容が複雑化し、時事的な単語のみを高精度に辞書に反映することにより社会の情勢に柔軟に対処することは困難である。
【０００６】
また、特許文献２では、辞書への新規登録前に、予め人間が文書を読んで分類する必要があり、単語の辞書登録に手間がかかる。
【０００７】
さらに、特許文献１、特許文献２などの従来の辞書では、登録された時事的な単語が不要になっても、辞書には不要となった時事的な単語が残る。このため、辞書に登録された単語数は増え、辞書の内容は複雑化する場合がある。
【０００８】
本発明は、以上のような問題に鑑みてなされたものであり、時事的表現を効果的に辞書データに登録し、社会の情勢に柔軟に対処し、テキストデータに対する分析の精度向上を図るプログラム及び辞書登録装置並びに方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明を実現するにあたって講じた具体的手段について以下に説明する。
【００１０】
本発明の一態様は、コンピュータに、時事的内容を含むデータ種別に属すると予め設定されている時事データを取得する機能、時事的な重要性を判断するために予め設定された時事登録条件に基づいて、時事データの中から時事的表現を抽出する機能、時事的表現を、記録手段に記録されている辞書データに登録する機能を実現させるためのプログラムである。
【００１１】
上記各機能は、辞書登録装置が具備するとしてもよい。また、このプログラムは、記録媒体に記録してコンピュータに適用するとしてもよい。コンピュータに、このプログラムが読み込まれ、実行されることで、辞書データに時事的表現を登録する辞書登録方法が実行される。
【発明の効果】
【００１２】
本発明においては、テキストデータの分析に用いられる辞書データに時事的表現を効果的に登録することができ、社会情勢に柔軟に対応させた有効な辞書データを構築することができ、テキストデータに対する分析の精度を向上させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００１４】
図１は、本実施の形態に係る辞書登録システムの構成の一例を示すブロック図である。
【００１５】
コンピュータ１は、テキストマイニングシステム２と辞書登録システム３として動作する。
【００１６】
コンピュータ１は、記録媒体４に記録されているプログラム４ａを読み込み、実行することにより、テキストマイニングシステム２として動作可能となる。
【００１７】
テキストマイニングシステム２は、分析対象データ５１〜５ｎ、辞書データ６などを記録する記録部７をアクセスする。記録部７は、コンピュータ１に具備される例えば内部メモリ、ハードディスクなどのような記録装置でもよく、コンピュータ１に外付けされる記録装置でもよく、コンピュータ１からネットワーク経由でアクセスされる記録装置でもよく、複数の記録装置であってもよい。
【００１８】
テキストマイニングシステム２は、データ入力部８、分析部９、データ出力部１０としての機能を実現する。
【００１９】
データ入力部８は、分析対象データ５１〜５ｎを記録部７から読み出し、分析部９に提供する。分析対象データ５１〜５ｎの一種としては、例えば、日報データ、電子メールなどがある。
【００２０】
図２は、分析対象データ５１〜５ｎの一例を示す図である。この図２の例では、分析対象データ５１〜５ｎには、題名、日付、本文が記載されている。
【００２１】
分析部９は、記録部７に記録されている辞書データ６を参照し、データ入力部８から受け付けた分析対象データ５１〜５ｎから辞書データ６に含まれている表現を抽出し、抽出結果を示す分析データ１１を記録部７に記録する。
【００２２】
なお、本実施の形態において、表現とは、単語、句、節、これらの各種の組み合わせなど、文章から切り出されるあらゆる単位を含むとする。
【００２３】
図３は、辞書データ６の一例を示す図である。この図３の例では、表現ＩＤ、表現見出し、表現、登録日時情報が辞書データ６に登録されている。
【００２４】
例えば、分析部９は、分析データ１１として、分析対象データ５１〜５ｎのどの部分の表現が抽出されたかを表すデータを作成する。
【００２５】
図４は、分析データ１１の一例を示す図である。この図４の例の分析データ１１は、分析対象データ５１〜５ｎに対して、辞書データ６に登録されている表現の表現ＩＤを付したデータである。
【００２６】
また、例えば、分析部９は、分析データ１１として、分析対象データ５１〜５ｎのうち辞書データ６に含まれている表現を含むデータのリストを作成する。
【００２７】
また、例えば、分析部９は、辞書データ６が形態素解析記号を含む場合には、分析対象データ５１〜５ｎに対して形態素解析を行った後に表現の抽出を行い、辞書データ６が形態素解析記号を含まない場合には、分析対象データ５１〜５ｎに形態素解析を行うことなく表現の抽出を行うとしてもよい。
【００２８】
また、例えば、分析部９は、分析データ１１として、抽出された表現の内容に基づいて、分析対象データ５１〜５ｎを分類した結果を表すデータを作成してもよい。
【００２９】
データ出力部１０は、例えばＣＲＴやプリンタなどの出力装置１２を用いて記録部７に記録されている分析データ１１を出力するための制御を行う。
【００３０】
コンピュータ１は、記録媒体４に記録されているプログラム４ｂを読み込み、実行することにより、辞書登録システム３として動作可能となる。
【００３１】
辞書登録システム３は、記録部７をアクセスし、取得部１３、抽出部１４、選択部１５、登録部１６、削除部１７としての機能を実現する。
【００３２】
取得部１３は、時事的内容を含むデータ種別に属すると予め設定されている時事データ１８１〜１８ｎを取得し、記録部７に記録する。例えば、放送メディアから提供されるデータ、新聞又は雑誌などの記事サイトのデータ、日報データ、メールマガジン、ニュース発信者から発信されるニュースデータ、複数のユーザに共有される電子メールなどが、時事的内容を含む種別のデータとして定義される。
【００３３】
抽出部１４は、記録部７に記録されている時事データ１９１〜１９ｎを参照し、時事的な内容か否かを判断するために予め定められている時事登録条件を満たす時事的表現（データ要素）を抽出し、抽出した時事的表現を含む候補データ１９を記録部７に記録する。
【００３４】
すなわち、抽出部１４は、時事データ１９１〜１９ｎに含まれている表現について、時事登録条件を用いて時事的な重要性を判断する。
【００３５】
本実施の形態では、抽出部１４は、時事データ１９１〜１９ｎに所定数以上含まれている表現であり、記録部７に記録されている登録除外リスト２０に含まれていない表現であり、辞書データ６に未登録の表現を、時事的表現として抽出し、この抽出された時事的表現を含む候補データ１９を記録部７に記録する。
【００３６】
このように、時事的表現として適切でないと予め設定された表現を登録除外リスト２０に登録し、この登録除外リスト２０に登録されている表現を抽出しないことにより、時事的表現として適切でない表現が辞書データ６に登録されることを防止することができる。また、既に辞書データ６に登録されている表現を抽出しないことにより、同じ表現が重複して辞書データ６に登録されることを防止できる。
【００３７】
なお、時事登録条件としては、例えば、時事データ１９１〜１９ｎに対する形態素解析により未知語と判断されたことを含めてもよい。これにより、例えば、「話」「こと」「今日」などのような、ただ単に出現頻度が高いだけの表現であって時事的ではない表現が抽出されることを防止できる。また、流行している商品名などの未知語を抽出することができる。
【００３８】
また、例えば、時事登録条件としては、時事データ１９１〜１９ｎに対する形態素解析により名詞と判断されたことを含めてもよい。なお、名詞は複数の名詞が組み合わされた複合名詞でもよい。例えば、「８月開催の世界選手権」「総選挙」などのように、時事的表現は名詞の場合が多い。したがって、名詞であることを時事登録条件に含めることで、時事的表現を適切に抽出するとともに、時事的でない表現が抽出されることを防止でき、時事的表現の抽出精度を向上させることができる。
【００３９】
例えば、時事登録条件としては、一定期間に得られた時事データ１９１〜１９ｎのうち所定件以上に出現することを含めてもよい。また、例えば、時事登録条件としては、一定期間に得られた時事データ１９１〜１９ｎの所定パーセント以上に出現することを含めてもよい。
【００４０】
これにより、時事的に重要性の高い表現を、高精度に時事的表現として抽出できる。
【００４１】
選択部１５は、候補データ１９に含まれている時事的表現を出力装置１２を用いて出力し、辞書データ６に登録する時事的表現の指定をユーザ２１の操作する入力装置２２から受け付ける。
【００４２】
そして、選択部１５は、ユーザ２１によって辞書データ６に登録するように指定された時事的表現を登録部１６に提供する。
【００４３】
なお、選択部１５は、候補データ１９に含まれている複数の時事的表現を出力し、出力された複数の時事的表現の中から辞書データ６に登録する時事的表現の指定を受け付けるとしてもよい。また、選択部１５は、候補データ１９に含まれている複数の時事的表現を一つ一つ出力し、個別に出力される時事的表現について個々に辞書データ６に登録するか否かの指定を受け付けるとしてもよい。
【００４４】
登録部１６は、選択部１５から時事的表現を受け付けると、固有の表現ＩＤを発番し、時事的表現と発番された表現ＩＤと登録日時情報とを辞書データ６に登録する。
【００４５】
削除部１７は、辞書データ６に登録された時事的表現が所定の削除条件を満たす場合、この時事的表現を時事的に重要でなくなったとして辞書データ６から削除する。
【００４６】
なお、本実施の形態では、削除部１７は、取得部１３によって取得された新規の時事データ２３１〜２３ｎに出現する頻度が所定値未満となった表現又は辞書データ６に時事的データとして登録されてから所定期間が経過した表現を、辞書データ６から削除するとする。
【００４７】
登録されてから所定期間経過した表現を辞書データ６から削除することにより、頻繁に使用される期間の過ぎた時事的表現を自動的に辞書データ６から削除できる。
【００４８】
なお、削除条件としては、例えば、ある期間に取得された時事データ２３１〜２３ｎ内に時事的表現の出現する日が所定日数よりも少なくなったことを含めてもよい。
【００４９】
図５は、本実施の形態に係る辞書登録システム３の表現登録処理の一例を示すフローチャートである。この図５では、時事的表現を一つ一つ出力し、ユーザ２１が辞書データ６に登録するか否か判断するとしてもよく、複数の時事的表現をリスト出力し、ユーザ２１がまとめて辞書データ６に登録するか否か判断するとしてもよい。
【００５０】
ステップＳ１において、取得部１３は、時事データ１８１〜１８ｎを取得する。
【００５１】
ステップＳ２において、抽出部１４は、記録部７に記録されている時事データ１９１〜１９ｎについて形態素解析を実行し、表現の切り出しを行う。
【００５２】
ステップＳ３において、抽出部１４は、切り出された表現の中から時事的表現か否か判断を行う表現をセットする。
【００５３】
ステップＳ４において、抽出部１４は、セットされた表現が時事登録条件を満たすか判断する。セットされた表現が時事登録条件を満たさない場合、次にステップＳ８が実行される。
【００５４】
セットされた表現が時事登録条件を満たす場合、ステップＳ５において、選択部１５は、セットされた表現をユーザ２１に提示する。
【００５５】
ステップＳ６において、選択部１５は、ユーザ２１がセットされた表現を登録する旨の指示をしたか判断する。セットされた表現を登録しない場合、次にステップＳ８が実行される。
【００５６】
セットされた表現を登録する場合、ステップＳ７において、登録部１６は、セットされた表現を時事的表現として表現ＩＤと登録日時情報とともに辞書データ６に登録する。
【００５７】
ステップＳ８において、抽出部１４は、切り出された全ての表現がセットされたか判断する。全ての表現がセットされた場合、処理は終了される。
【００５８】
全ての表現がセットされていない場合、ステップＳ９において、抽出部１４は、セットされていない表現をセットし、上記ステップＳ４以下の処理を繰り返す。
【００５９】
なお、この図５の例では、時事的表現を登録するか否かを、ユーザ２１が指示するとしているが、時事登録条件を満たす時事的表現は、自動的に辞書データ６に登録されるとしてもよい。この場合、ステップＳ４においてセットされた表現が時事登録条件を満たすと判断されると、ステップＳ７が実行される。
【００６０】
図６は、本実施の形態に係る辞書登録システム３の削除処理の一例を示すフローチャートである。この図６では、削除対象となる時事的表現を一つ一つ出力し、ユーザ２１が辞書データ６に削除するか否か判断するとしてもよく、複数の削除対象の時事的表現をリスト出力し、ユーザ２１がまとめて辞書データ６から削除するか否か判断するとしてもよい。
【００６１】
ステップＴ１において、削除部１７は、辞書データ６に登録されている表現の中から削除するか否か判断を行う表現をセットする。
【００６２】
ステップＴ２において、削除部１７は、セットされた表現が削除条件を満たすか判断する。セットされた表現が削除条件を満たさない場合、次にステップＴ６が実行される。
【００６３】
セットされた表現が削除条件を満たす場合、ステップＴ３において、削除部１７は、セットされた表現をユーザ２１に提示する。
【００６４】
ステップＴ４において、削除部１７は、ユーザ２１がセットされた表現を削除する旨の指示をしたか判断する。セットされた表現を削除しない場合、次にステップＴ６が実行される。
【００６５】
セットされた表現を削除する場合、ステップＴ５において、削除部１７は、セットされた表現と表現ＩＤと登録日時情報とを辞書データ６から削除する。
【００６６】
ステップＴ６において、削除部１７は、全ての辞書データ６の表現がセットされたか判断する。全ての表現がセットされた場合、処理は終了される。
【００６７】
全ての表現がセットされていない場合、ステップＴ７において、削除部１７は、セットされていない表現をセットし、上記ステップＴ２以下の処理を繰り返す。
【００６８】
なお、この図６の例では、時事的表現を削除するか否かを、ユーザ２１が指示するとしているが、削除条件を満たす時事的表現は、自動的に削除されるとしてもよい。この場合、ステップＴ２においてセットされた表現が削除条件を満たすと判断されると、ステップＴ５が実行される。
【００６９】
以上説明した本実施の形態では、辞書データ６に重要性の高い時事的表現が登録されるとともに、重要性の高くない時事的表現が削除され、辞書データ６の内容を社会の情勢に柔軟に対応させることができる。また、辞書データ６に時事情報を反映させるためのユーザの労力を軽減できる。これにより、テキストマイニングの実行結果の精度を向上させることができる。
【００７０】
なお、上記時事登録条件及び削除としては、上記の各条件を自由に組み合わせて定義することができる。条件の組み合わせ方法としては、「AND」、「OR」のいずれでも任意に選択できる。
【００７１】
本実施の形態に係るテキストマイニングシステム２及び辞書登録システム３の各構成要素は、同様の作用を実現可能であれば配置を変更させてもよく、また各構成要素を自由に組み合わせてもよく、いずれかの構成要素を削除してもよい。
【００７２】
また、本実施の形態に係るテキストマイニングシステム２及び辞書登録システム３では、複数のコンピュータにプログラム４ａ，４ｂが分散して配置され、互いに連携を取りつつ処理が実行されるとしてもよい。
【００７３】
本実施の形態に係るプログラム４ａ，４ｂは、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体４に書き込んでコンピュータ１に適用可能である。また、プログラム４ａ，４ｂは、通信媒体により伝送してコンピュータ１に適用することも可能である。コンピュータ１は、記録媒体４に記録されたプログラム４ａ，４ｂを読み込み、プログラム４ａ，４ｂによって動作が制御されることにより、上記の機能を実現する。
【００７４】
本実施の形態において、ソフトウェアにより実現される機能は、ハードウェアによって実現されるとしてもよい。
【産業上の利用可能性】
【００７５】
本発明は、辞書データを用いてテキストデータを分析するテキストマイニングの分野に有効である。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施の形態に係る辞書登録システムの構成の一例を示すブロック図。
【図２】分析対象データの一例を示す図。
【図３】辞書データの一例を示す図。
【図４】分析データ１１の一例を示す図。
【図５】同実施の形態に係る辞書登録システムの表現登録処理の一例を示すフローチャート。
【図６】同実施の形態に係る辞書登録システムの削除処理の一例を示すフローチャート。
【符号の説明】
【００７７】
１…コンピュータ、２…テキストマイニングシステム、３…辞書登録システム、４…記録媒体、４ａ，４ｂ…プログラム、５１〜５ｎ…分析対象データ、６…辞書データ、７…記録部、８…データ入力部、９…分析部、１０…データ出力部、１２…出力装置、１３…取得部、１４…抽出部、１５…選択部、１６…登録部、１７…削除部、１８１〜１８ｎ，２３１〜２３ｎ…時事データ、１９…候補データ、２０…登録除外リスト、２１…ユーザ、２２…入力装置
【図１】
2005084788.tif 000003
【図２】
2005084788.tif 000004
【図３】
2005084788.tif 000005
【図４】
2005084788.tif 000006
【図５】
2005084788.tif 000007
【図６】
2005084788.tif 000008