(57)【特許請求の範囲】
【請求項１】
複数の文書を、作成日時とともに保存する文書格納手段と、
文書格納手段に格納された文書に対して形態素解析を実行し、未登録語を切り出す形態素解析手段と、
前記形態素解析手段によって切り出された未登録語を、未登録語が切り出されたその文書の作成日時とともに保存する形態素解析結果保持手段と、
前記形態素解析結果保持手段へ漸次格納される各未登録語の格納数の推移を前記作成日時を基に監視し、格納の頻度が増加傾向にある未登録語を新語として特定する頻度監視手段と、
前記頻度監視手段によって特定された未登録語を利用者へ通知する文書提示手段と
を具備することを特徴とする未登録語提示装置。
【請求項２】
頻度監視手段によって特定された未登録語を形態素解析手段が用いる単語辞書へと登録する単語登録手段を設けたことを特徴とする請求項１記載の未登録語提示装置。
【請求項３】
複数の文書を、作成日時とともに保存する文書格納手段と、
文書格納手段に格納された文書に対して形態素解析を実行し、未登録語を切り出す形態素解析手段と、
前記形態素解析手段によって切り出された未登録語を、未登録語が切り出されたその文書の作成日時とともに保存する形態素解析結果保持手段と、
前記形態素解析結果保持手段へ漸次格納される各未登録語の格納数の推移を前記作成日時を基に監視し、格納の頻度が増加傾向にある未登録語を新語として特定する頻度監視手段と、
を具備することを特徴とする未登録語提示装置。
【請求項４】
コンピュータで実行されるプログラムによって未登録語を特定し、提示する未登録語提示方法であって、前記プログラムは、
複数の文書を、作成日時とともに文書格納手段に保存する文書格納ステップと、
前記文書格納手段に保存された文書に対して形態素解析手段により形態素解析を実行し、未登録語を切り出す形態素解析ステップと、
前記形態素解析ステップによって切り出された未登録語を、未登録語が切り出されたその文書の作成日時とともに形態素解析保持手段に保存する形態素解析結果保持ステップと、
頻度監視手段において、前記形態素解析結果保持ステップにおいて漸次格納される各未登録語の格納数の推移を前記作成日時を基に監視し、格納の頻度が増加傾向にある未登録語を新語として特定する頻度監視ステップと、
を具備することを特徴とする未登録語提示方法。
【請求項５】
複数文書から未登録語を特定し、文書格納手段を有する未登録語提示装置が実行する未登録語提示方法であって、
複数の文書を、作成日時とともに前記文書格納手段に保存する文書格納ステップと、
前記文書格納手段に格納された文書に対し形態素解析手段で形態素解析を実行し、未登録語を切り出す形態素解析ステップと、
前記形態素解析ステップによって切り出された未登録語を、未登録語が切り出されたその文書の作成日時とともに形態素解析保持手段に保存する形態素解析結果保持ステップと、
頻度監視手段で、前記形態素解析結果保持ステップにおいて漸次格納される各未登録語の格納数の推移を前記作成日時を基に監視し、格納の頻度が増加傾向にある未登録語を新語として特定する頻度監視ステップと、
を具備することを特徴とする未登録語提示方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、形態素解析を用いた未登録語提示装置に関する。
【０００２】
【従来の技術】
近年、ワープロ、電子ネットワーク等の普及に伴って、電子化された情報の量が増大しつつある。これらの電子化情報の中から利用者が必要な情報を得るための技術として、テキスト中の全ての文字列をキーとして検索が可能な、いわゆる全文検索の技術の研究が行なわれ、また実用化されつつある（文献１［根岸正光：フルテキスト・データベースの応用動向，情報処理，Ｖｏｌ．３３，Ｎｏ．４，ｐｐ．４１３−４２０（１９９２）］。文献２［菅野裕司，安藤敦：フルテキスト・データベースの技術動向，電子情報通信学会データ工学研究会報告，ＤＥ９０−３４，ｐｐ．３１−４０（１９９０）］）。
【０００３】
しかしながら前記従来技術すなわち全文検索においては、利用者が検索のためのキーを指定する必要があり、検索対象となる文書に関する知識を予め持っていることが必須となる。したがって、「現在注目を集めつつある技術についての情報が得たい」といった抽象的な要求に応えることはできない。
【０００４】
現在注目を集めつつある技術は、従来はあまり使われなかった新しい概念を示す用語（新語）によって表現されることが多く、最近に発行された文書や論文中にどのように新語が現れたかを調べることにより、明らかになると考えられる。そのためには、比較的に最近に発行された文書から新語を抽出することにより、前記の「現在注目を集めつつある技術についての情報が得たい」要求に応えることが可能となると考えられる。
【０００５】
ところで、文書中に現れる語の解析に関しては次のような形態素解析を用いる技術が知られている。
文献３［吉村，竹内，津田，首藤：未登録語を含む日本語文の形態素解析，情報処理学会論文誌，Ｖｏｌ．３０，Ｎｏ．３，（１９８９）］において論じられているように、日本語文の形態素解析時に、辞書に登録されていない記号列を未登録語として切り出す手法がいくつか提案されている。上記論文で述べられているように、漢字、ひらがな、カタカナ、アルファベット等の字種が変化する位置をもって単語の区切りとする手法や、予めいくつかの日本語文例を用意して統計的に存在する確率の高い記号列を未登録語として登録する手法が存在する。
【０００６】
さらに、文献４［武田，藤崎：統計的手法による漢字複合語の自動分割，情報処理学会論文誌，Ｖｏｌ．２８，Ｎｏ．９，（１９８７）］においては、日本語文の形態素解析時に、漢字複合語を適切に区切る手法が開示されている。例えば、「信頼性向上」を「信頼／性向／上」と区切るか「信頼性／向上」と区切るかの手法が示されている。この文献４の論文では、文献３の統計的手法と同様の考えに基づいて複合語の分割を行なう手法即ち予めいくつかの日本語文例を用意して、統計的に連続する確率の低い位置で区切る手法を提案している。
【０００７】
【発明が解決しようとする課題】
上記文献３あるいは文献４に示されているような統計的手法では、固定され、かつ限られた数の文例をもとに形態素解析を行なうことになる。したがって、本質的には固定化された辞書を持つ方法と同じものであるといえる。しかしながら、実際の文章では、日々新たな概念を表現するための新語が生まれ、その中のいくつかは継続的に使用されるようになる。
【０００８】
このような新たな概念を表現するための新語を正確に切り出すためには、上記従来の技術では、日々作成される文章を順次文例に追加し、統計的処理を行なう必要がある。これは、計算に必要なコストを考えると現実的でない。
さらに、上記文献３あるいは文献４記載の従来の統計的手法では、すべての文例を均等に扱う（文例に作成時間の概念がない）ため、新語を判断することができず、本発明が目指す「現在注目を集めつつあるトピックに関係する用語および文書を利用者に提示する」機能は実現できない。
【０００９】
本発明は上記問題点を解決するためになされたものである。即ち、本発明は、現在注目を集めつつあるトピックに関係する用語を利用者に提示することを目的とするものである。この目的は、継続的に作成（発行）される文書等最近の文書に現れる未登録語の発生頻度をリアルタイムに監視することにより、達成される。
【００１０】
【課題を解決するための手段】
本発明は、図１に示すように、複数の文書を、その文書の作成日時（発行日時）とともに保存する文書格納手段１１と、文書格納手段に格納された文書に対して形態素解析を実行し、未登録語を切り出す形態素解析手段１２と、形態素解析手段によって切り出された未登録語を、未登録語が切り出された文書の作成日時（発行日時）とともに保存する形態素解析結果保持手段１３と、形態素解析結果保持手段へ漸次格納される各未登録語の格納数の推移を作成日時（発行日時）を基に監視し、格納の頻度が際立って増加傾向にある未登録語を特定する頻度監視手段１４と、頻度監視手段によって特定された未登録語を利用者へ通知する文書提示手段とを具備する未登録語提示装置である。
【００１１】
また、本発明は、上記未登録語提示装置において、頻度監視手段によって特定された未登録語を形態素解析手段が用いる単語辞書へと登録する単語登録手段を付加した構成とすることができる。
【００１２】
【作用】
本発明では、例えば、ネットワーク環境あるいはＣＤ−ＲＯＭ等のメディアを介して新たに作成された文書を常に受け取り続け、文書格納手段１１に作成日時あるいは発行日時とともに格納する。そして、受け取り次第形態素解析手段１２により形態素解析処理により解析し、その結果を形態素解析結果保持手段１３に保持する。頻度監視手段１４は、形態素解析処理によって切り出されたすべての未登録語（新語候補）に出現時刻の属性を与え、時間推移に従って発生頻度を監視する。通常、意味のない未登録語は時間的に片寄って出現することはない。したがって、短期間のうちに頻繁に出現しだした未登録語は新語であると判断できる。このようにして得られる新語をシステムの利用者に文書提示手段により即座に通知する。
【００１３】
また、単語登録手段は、上記の新語を、形態素解析処理用単語辞書にフィードバックすることにより、形態素解析処理の精度を上げることを可能とするものである。
【００１４】
【実施例】
実施例の構成は、図２に示すように、文書格納手段２１、形態素解析手段２２、文書別未登録語保持手段２３１および未登録語別データ量推移保持手段２３２を有する形態素解析結果保持手段２３、データ量推移監視判定手段２４、および文書提示手段２５を備えてなるものである。
【００１５】
以下、図２の各構成要素について説明する。
文書格納手段２１は、文書データベース２９１、２９２…を含む電子ネットワーク２９あるいはＣＤ−ＲＯＭ等のメディアを介して、継続的に文書を受け取り、文書ＩＤによってテキスト情報および文書の作成日時（発行日時）を管理するデータベースである。
【００１６】
形態素解析手段２２は、文書格納手段２１が新たな文書を受け取り次第、各文書に対して形態素解析処理を施し、未登録語をすべて取り出すプログラムモジュールである。未登録語は、文書ＩＤおよび作成日時（発行日時）とともに文書別未登録語保持手段２３１に格納する。なお、通常の形態素解析処理で行なう、単語区切りの曖昧性の決定処理は行なわず、すべての単語候補を出力した上で、辞書に存在しないものを未登録語とする。
【００１７】
文書別未登録語保持手段２３１は、形態素解析手段２２から、文書ＩＤ、文書の作成日時（発行日時）および文書ＩＤによって特定される文書中に含まれる全未登録語を随時受け取り、文書ＩＤごとに管理するデータベースである。
【００１８】
未登録語別データ量推移保持手段２３２文書別未登録語保持手段２３１が保持する各未登録語に対して、その出現頻度を出現時間順に随時保持していくデータベースである。
【００１９】
データ量推移監視判定手段２４は、未登録語別データ量推移保持手段２３２のデータ（出現頻度）を監視し、短期間で出現頻度が著しく増加した（増加し続けている）未登録語を特定し、新語と判断するプログラムモジュールである。  文書提示手段２５に対して特定された新語および新語を含む文書ＩＤを通知する。
【００２０】
文書提示手段２５は、データ量推移監視判定手段２４から通知された文書ＩＤをもとに文書格納手段２１を検索することによって得られるタイトルおよびテキスト内容を表示し、また、通知された新語を表示するユーザインターフェースを持つプログラムモジュールである。
【００２１】
以上のように構成された実施例の処理の概略は、図３に示すとおりである。この処理は、文書格納手段２１が新たな文書を受け取るごとに繰り返し実行される。
ステップＳ１−１において、文書格納手段２１にり、文書の受け取りが行われる。
ステップＳ１−２において、形態素解析手段２２により、文書格納手段２１からの文書の形態素解析処理が行われる。
ステップＳ１−３において、形態素解析結果保持手段２３（文書別未登録語保持手段２３１、未登録語別データ量推移保持手段２３２）により、未登録語の保持の保持が行われる。
ステップＳ１−４において、データ量推移監視判定手段２４により、特徴的推移をとる未登録語の特定が行われる。
ステップＳ１−５において、文書提示手段２５により、特定された未登録語および未登録語を含む文書の利用者への提示が行われる。
【００２２】
文書格納手段２１に随時入力する文書の例として、特許庁から発行されるＣＤ−ＲＯＭ公報や、新聞社のデータベースから提供される新聞記事、学会のデータベースから提供される論文テキスト等が挙げられる。
図４（ａ）に、文書格納手段２１に格納される文書の例を示した。格納する際には、文書ＩＤが付加される。また、文書のテキスト内容（タイトルを含む）およびその作成日時（発行日時）が必須である。必要であれば、他の書誌的事項も格納する。
【００２３】
図４（ｂ）に、文書別未登録語保持手段２３１に保持されるデータのデータ構造例を示す。各行が１つの文書に対応するレコードを表し、各レコードは左から「文書ＩＤ」、「作成日時（発行日時）」、「未登録語」を格納するためのフィールドからなっている。
【００２４】
図５は、文書格納手段２１に新たに格納された文書中から未登録語を切り出し、文書別未登録語保持手段２３１に格納する処理のフローチャートである。これは、形態素解析手段２２によって行なわれる処理である。
図５において、まず、文書別未登録語保持手段２３１に新たなレコードを作成し、文書ＩＤをＩＤ用フィールドに格納する（ステップＳ２−１）。
次に、文書の作成日時（発行日時）を受け取り、上記レコードの作成日時用フィールドに格納する（ステップＳ２−２）。
文書内容に形態素解析処理を施し単語を切り出す（ステップＳ２−３）。ただし、単語区切りに曖昧性の生じるものは、すべての候補を出力する。切り出した単語を未登録の候補としてＷｏｒｄ  １，Ｗｏｒｄ  ２，  ・・・，Ｗｏｒｄ  ｎとする。
【００２５】
最初、変数ｍを１に設定する（ステップＳ２−４）。
変数ｍの指定するＷｏｒｄが未登録語か否かを、形態素解析用単語辞書２２１を参照して調べ（ステップＳ２−５）、未登録語であれば、上記レコードの未登録語用のフィールドにＷｏｒｄ  ｍを追加する（ステップＳ２−６）。ステップＳ２−５の判定で、未登録語ではなかったときには、すべての候補について処理が終わったか否を、ｍ＝ｎであるかにより調べ（ステップＳ２−７）、ｍ＝ｎでなければ、まだ未処理の語が残っているので、次の語を指定するため変数ｍをインクリメントし、ステップＳ２−５へ戻る。ｍ＝ｎとなったら終了する。
【００２６】
図５のフローチャートに従って、図４（ａ）の文書に対応するレコードが図４（ｂ）の先頭のレコードとして作成されたとする。図４（ａ）の文書に対して形態素解析を施し、得られた単語の中から未登録語として「ペンティアム」「価格破壊」等が得られ、未登録語のフィールドに格納される。なお、「価格」および「破壊」は辞書に存在するため未登録語としないが、「価格破壊」は通常辞書にないため未登録語となる。
【００２７】
なお、本実施例では、前記文献１や文献２のように未登録語の切り出しや複合語の区切りを一意に確定することを敢えて行なわず、可能性のある候補をすべて未登録語として保存する。未登録語であれば文献１の字種で区切る手法等から得られた候補をすべて新たな未登録語として保存する。複合語については、区切りの可能性のあるすべての組み合わせのうち辞書に存在しないものをすべて新たな未登録語として保存する。例えば、「信頼性向上」に対しては、「信頼性向」「性向上」「信頼性向上」のすべてを未登録語として保存する。したがって、本実施例では、従来技術の項で述べた計算コストの問題は生じない。
上述の可能性のある候補をすべて保存することは、文献５［増市、山浦、小山、舘野：形態素解析を用いた全文検索システムとその応用，情報処理学会第１０２回自然言語処理研究会，１０２−３，ｐｐ．１７−２４（１９９４，Ｊｕｌ）］等で論じられている、形態素解析結果を小容量で保存する技術によって実現可能である。
【００２８】
未登録語別データ量推移保持手段２３２のデータ構造例を図６に示す。各行が１つの未登録語に対応するレコードを表し、各レコードは左端が「未登録語」を格納するためのフィールド６１であり、次が、未登録語を既に文書提示手段２５で利用者に提示したか否かを示すフィールド６２で、「未提示」「提示済み」のいずれかが格納される。「提示済み」が格納されている場合、対応する未登録語をシステムが新語であると判断したことことを表す。以降は、Ｎ日前から現在までの各日ごとに対応する未登録語を含む文書のＩＤを格納するためのフィールド６３である。Ｎは整数値で、システムによって設定されるパラメータである。このデータ構造は、文書別未登録語保持手段２３１のデータ構造から容易に作成可能なものである。
【００２９】
図７は、データ量推移監視判定手段２４が、未登録語別データ量推移保持手段２３２のデータをもとに、未提示の未登録語のうち、短期間で出現頻度が著しく増加したものを特定し、新語と判断するアルゴリズムである。図中のＮは上記のＮ日前のＮの値であり、Ｍ（＜Ｎ）およびＬは整数値で、システムによって設定されるパラメータである。データ量推移監視判定手段２４は、未登録語別データ量推移保持手段２３２のデータが更新されるごとに図７のアルゴリズムを実行する。
【００３０】
図７のアルゴリズムにおいて、各未登録語をＷｏｒｄ１，Ｗｏｒｄ２，・・・，Ｗｏｒｄｎとする（ステップＳ３−１）。そして、未登録語別データ量推移保持手段２３２に保持されている未登録語の中からｍの値が１である未登録語を取り出す（ステップＳ３−２）。その未登録語Ｗｏｒｄｍは「提示済み」か否かを調べる（ステップＳ３−３）。「提示済み」であれば、次の未登録の処理のために、ｍをインクリメントとし（ステップＳ３−１０）、ステップＳ３−３に戻る。
ステップＳ３−３で「提示済み」ではない即ち「未提示」と判定されたときには、Ｎ日前からＭ＋１日前迄の各日についてＷｏｒｄｍの出現頻度（文書ＩＤの登録数）を数え平均値を求める（平均値をｚとする）（ステップＳ３−４）。
【００３１】
Ｍ日前から現在迄の各日についてＷｏｒｄｍの出現頻度（文書ＩＤの登録数）を数え平均値を求める（平均値をＺとする）（ステップＳ３−５）。
Ｚ＞ｚ×Ｌであるかを判定する（ステップＳ３−６）。即ち、未登録語の現れる頻度の増加の割合が所定の閾値Ｌより大きいか否かを判定する。判定の結果、Ｚ＞ｚ×Ｌでなかったときには、出現が増加しつつある語ではないので新語ではないとみなし、提示はせずにステップＳ３−９に進む。
ステップＳ３−６の判定の結果、Ｚ＞ｚ×Ｌであったときには、Ｗｏｒｄｍは出現頻度が増加しつつある新語であるとみなし、Ｗｏｒｄｍに対応するレコードに存在するすべての文書ＩＤとＷｏｒｄｍを文書提示手段６へ渡す（ステップＳ３−７）。
【００３２】
また、図６のＷｏｒｄｍに対応するレコードの提示済み／未提示フィールド６２の内容を「提示済み」とする（ステップＳ３−８）。
ｍ＝ｎであるかを調べることにより、未処理の未登録語が残っているか否かを判定する（ステップＳ３−９）。ｍ≠ｎであれば未処理の未登録語が残っているので、ｍをインクリメントすることにより次の未処理の未登録語を指定し（ステップＳ３−１０）、ステップＳ３−４に進む。ｍ＝ｎであれば処理を終了する。
なお、出現頻度の監視は、短期間についてのみ行なえば十分である。したがって、新語の候補として保存した未登録語は、短期間のみ保存し、一定期間（Ｎ日間）が過ぎれば破棄して構わない。
【００３３】
図８は、データ量推移監視判定手段２４によって新語と判断された未登録語を、文書提示手段２５が利用者に対して示した画面例である。各ウィンドウ８１、８２がそれぞれ一つの新語に対応している。利用者からの入力なしに、データ量推移監視判定手段２４から新語がわたされ次第ウィンドウを表示する。
各ウィンドウに８１、８２は、データ量推移監視判定手段２４からわたされた新語８１１、８２１と、文書ＩＤをもとに文書格納手段２１を検索することによって得られる、その新語を含む文書のタイトル一覧８１２、８２２が表示されている。
【００３４】
また、図９に示すように、タイトルの１つを指定する（マウスでクリックする）ことにより、文書格納手段２１から得られる文書内容を文書内容表示欄８１３、８２３に表示する。
【００３５】
以上のように本実施例では、継続的に作成（発行）される文書に現れる未登録語の発生頻度をリアルタイムに監視することにより、現在注目を集めつつあるトピックに関係する新語および文書を即座に利用者へ提示することが可能となる。
【００３６】
なお、以上に説明した実施例において、データ量推移監視判定手段２４によって特定された新語を形態素解析手段が用いる形態素解析用単語辞書２２１に登録する単語登録手段２６を付加する構成とすることができる。この構成によれば、上記の新語を形態素解析用単語辞書に自動的に登録することができ、形態素解析処理の精度を上げることができる。
【００３７】
【発明の効果】
以上のように本発明によれば、継続的に作成（発行）される文書に現れる未登録語の発生頻度を監視することにより、現在注目を集めつつあるトピックに関係する新語を特定することができ、また即座に利用者へ提示することが可能となる。
【図面の簡単な説明】
【図１】  本発明の構成を示すブロック図、
【図２】  本発明の実施例の構成を示すブロック図、
【図３】  実施例の概略の動作を示すフローチャート、
【図４】  （ａ）は文書格納手段２１に格納される文書の例、（ｂ）は文書別未登録語保持手段２３１に保持されるデータのデータ構造例、
【図５】  文書格納手段２１に新たに格納された文書中から未登録語を切り出し、文書別未登録語保持手段２３１に格納する処理のフローチャート、
【図６】  未登録語別データ量推移保持手段２３２のデータのデータ構造例、
【図７】  データ量推移監視判定手段２４の新語と判断するアルゴリズム、
【図８】  新語と判断された未登録語を、文書提示手段２５が利用者に対して示した画面例
【図９】  新語と判断された未登録語を、文書提示手段２５が利用者に対して示した画面例
【符号の説明】
１１…文書格納手段、１２…形態素解析手段、１３…形態素解析結果保持手段、１４…頻度監視手段、１５…文書提示手段。
【図１】
0003744560.tif 000002
【図２】
0003744560.tif 000003
【図３】
0003744560.tif 000004
【図４】
0003744560.tif 000005
【図５】
0003744560.tif 000006
【図６】
0003744560.tif 000007
【図７】
0003744560.tif 000008
【図８】
0003744560.tif 000009
【図９】
0003744560.tif 000010