(57)【要約】【課題】抽出された未知語を評価して辞書登録可否判断を自動的に行う方法を提供する。【解決手段】解析対象とする文書の分類を設定する分類設定機能と、カテゴリ毎に適当な検索サイトや何年分の登録情報までを対象とするのかを設定する検索条件設定機能と、文書を文字列として記憶する情報入力機能と、文字列から未知語を抽出する未知語抽出機能を備えた未知語登録装置において、検索する場合に、未知語をキーワードとして検索を行う検索機能と、検索結果の分析を行う検索結果分析機能と、分析結果をもとに基準に適応する場合に未知語を辞書へ登録する。【選択図】　図３
2004062262.tif 000002
【特許請求の範囲】
【請求項１】
解析対象とする文書の分類を設定する分類設定機能と、カテゴリ毎に適当な検索サイトや何年分の登録情報までを対象とするのかを設定する検索条件設定機能と、文書を文字列として記憶する情報入力機能と、文字列から未知語を抽出する未知語抽出機能を備えた未知語登録装置において、検索する場合に、未知語をキーワードとして検索を行う検索機能と、検索結果の分析を行う検索結果分析機能と、分析結果をもとに基準に適応する場合に未知語を辞書へ登録することを特徴とする未知語登録方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は辞書に語句を自動登録する方法に関し、特に未知語の登録可否を判定して自動登録する方法に関する。
【０００２】
【従来の技術】
従来は、特開平１１−８５７６１号公報に記載のような未知語登録方法が提案されていた。その手法とは、コンピュータにより入力された日本語文字列を辞書で参照しつつ形態素解析して文節に分かち書きし、該結果に基づいて前記辞書に存在しない未知語を、前記日本語文字列から抽出する。次に、抽出された未知語の連接語を少なくともひとつ抽出し、未知語に含まれる文字構成に基づき品詞を判定し、未知語の読みを推測した上で判定された品詞と読みを含めて未知語に関するデータを辞書に追加登録する方法であった。
【０００３】
【発明が解決しようとする課題】
しかし、上記未知語登録方法では、未知語の連接語を抽出し、属性データに基づいて品詞を判定させ、判定された品詞や読み等の未知語に関する情報を辞書へ登録することは可能であるが、該未知語の辞書登録可否判断を行わずにすべて登録していた。
【０００４】
本発明は、抽出された未知語を評価して辞書登録可否判断を自動的に行う方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、上記課題を解決するために、辞書登録対象となる未知語がどれくらい一般化した語であるのかを判断する材料として、対象数が多く情報の新しいＷｅｂサイトを利用する。Ｗｅｂサイトを利用する前条件として、分野特有の語句に対応させるため、未知語を抽出する前に予め文書をカテゴリ分けしておく。さらに、一時的な流行語を辞書登録対象から排除するために、検索結果のヒット件数やＷｅｂサイト登録日も辞書登録可否の判定条件に含める。判定条件として予めヒット件数のしきい値や、統計的処理を行った値を設定しておき、それに基づいて結果を判定し辞書登録可否を判定し、辞書登録可とされた語句を登録する。
【０００６】
【発明の実施の形態】
次に、本発明の実施例について、図面を参照して説明する。図１は本発明の実施例のブロックダイヤグラムを示す。
【０００７】
分類設定機能１は、語句の抽出を行いたい文書がどの分野に区分されるのかを判断し、カテゴリ分けを行う機能である。
【０００８】
検索条件設定機能２は、分類設定機能１でカテゴリ分けされた情報をもとに、対象となるネットワーク上の検索サイトを設定する機能である。また、カテゴリ毎に何年分の登録情報までを対象とするのかを設定する機能である。また、カテゴリ毎に辞書登録の可否を判断する材料となるしきい値を設定する機能である。情報入力機能３は、語句の抽出を行いたい文書を文字列として入力する機能である。
【０００９】
未知語抽出機能４は、すでに提案されている特開平１１−３３８８６３号公報に記載されているような従来の方法を用いて未知語の抽出を行う機能である。
【００１０】
検索機能５は、検索条件設定機能２で設定された検索サイトにて、未知語をキーワードとして検索を行い、設定された登録期間のみの結果を抽出する機能である。
【００１１】
検索結果分析機能６は、検索機能５で検索した結果をもとに、１ヶ月ごとのヒット件数の分布を解析する機能である。カテゴリ毎に検索結果を分析対象とする期間が異なるのであるが、例えば過去３年分の更新日時から情報を収集する場合、更新日が１、２ヶ月前の場合と３年前の場合では、後者のほうが過去に登録されていた情報が削除されている可能性があり、ヒット件数が少ないことは明らかであるため補正処理を行う。ここでは、補正率として３年前の結果に３倍、２年前に２倍、１年前に１倍かけることとする。
【００１２】
辞書登録の可否判定部７は、検索結果分析機能６で解析した結果をもとに辞書への登録可否を判定する機能である。ヒット件数がしきい値よりも低い場合は、一般的に普及されていない語句であると判断し、辞書登録対象とはしないこととする。設定したしきい値より高い場合には、未知語を辞書へ登録する対象とする。次に、一時的な流行語を辞書への登録対象から排除する場合、検索結果を分析し統計的に解析するのであるが、ここでは解析結果が正規分布となる場合には、辞書へ登録しないこととする。
【００１３】
図２にカテゴリ毎に検索サイトおよびの対象登録期間としきい値の例を表に示す。
【００１４】
図３に本発明の実施例における処理態様を表すフローチャートを示す。
【００１５】
カテゴリ分類の入力８で分類設定機能１により、未知語を抽出する文書のカテゴリを分類し結果を入力する。つぎに検索条件の設定９では、検索カテゴリ分類で入力された情報をもとに検索条件設定機能２を用いて、カテゴリ毎の適当な検索サイトを設定する。また、カテゴリ毎に検索結果の登録日の過去何年分を対象とするのかを設定する。つぎに情報入力１０で、未知語を抽出したい文書を情報入力機能３を用いて入力する。そして、未知語抽出１１により、既存の未知語抽出方法を用いて未知語抽出機能により未知語を抽出する。
【００１６】
検索実行１２では、検索条件の設定９で設定された検索サイトにて未知語をキーワードとして検索を実行する。
【００１７】
検索結果と閾値の比較１３では、検索条件の設定９で設定されたカテゴリ毎の閾値と検索結果の比較を行う。ここでは検索結果は、上記でも記載したように、１、２ヶ月前と３年前では、検索にヒットする件数が異なるのは明確であるため、検索結果を補正する必要がある。本発明では、補正率を用いて結果の補正を行う。そして、検索結果が閾値よりも小さい場合は辞書へ登録しないこととする（図３のフローチャートの１５）。
【００１８】
検索結果が閾値よりも大きい場合は、検索結果の分析１４を行う。ここでは、一時的な流行語を辞書へ登録することを排除するために、検索結果をもとに１ヶ月毎のヒット件数の分布がどのようになっているのかを解析する。統計学的に、正規分布においては、平均値±標準偏差の範囲内には全データの約６８％が含まれる傾向がある。
【００１９】
次に、検索結果の分析１４での解析結果を参照して、分析結果の判定１６で結果を判定する。本発明では、検索結果の分布が正規分布を示す場合には、ある特定の期間に約７０％の件数が集中するため、該未知語が一時的な流行語である可能性が高いと考え辞書への登録は行わないこととする（図３のフローチャート１５）。そして、分析結果が正規分布とならない場合には、辞書の登録対象と判断し、辞書へ登録することとする（図３のフローチャート１７）。
【００２０】
【発明の効果】
以上説明した如く、本発明によれば、対象の多いＷｅｂサイトを判断基準として利用することで、一般化しているか否かの判断をより適切に行うことができる。また、カテゴリ毎に適当な検索サイトを選択し、既存の新聞サイト等を利用することで簡易にその分野における適切な判断基準を利用することができる。
【図面の簡単な説明】
【図１】本発明の実施例のブロックダイヤグラムである。
【図２】カテゴリ毎の検索サイトと検索結果対象期間としきい値の対応表である。
【図３】本発明の実施例における処理態様を示す図である。
【符号の説明】
１…分類設定機能、２…情報入力機能、３…未知語抽出機能、４…検索条件設定機能、５…検索機能、６…検索結果分析機能、７…辞書登録の可否判定部、８…カテゴリの入力、９…検索条件の設定、１０…情報入力、１１…未知語抽出、１２…検索実行、１３…検索結果と閾値の比較、１４…検索結果の分析、１５…辞書へ非登録、１６…分析結果の判定、１７…辞書へ登録。
【図１】
2004062262.tif 000003
【図２】
2004062262.tif 000004
【図３】
2004062262.tif 000005