(57)【要約】【課題】コストが小さく、多用な文字種で構成された単語についても抽出が可能な未知語を高精度で抽出する。【解決手段】本発明は、クエリログが入力されると、該クエリログの１クエリをスペースで分割して得られる検索キーワードの異なりの集合である検索キーワード集合から未知語候補を抽出し、未知語候補から、未知語らしさを判定し、未知語を抽出し、基準辞書に登録する。未知語を抽出する際に、基準辞書に未登録で、所定の文字数以下、所定数以上のユーザが利用した、出現頻度が他の時間区間の出現頻度より大きくなる時間区間を持つ、バースト的に利用された単語を未知語として抽出する。【選択図】図１
2010176285.tif 000002
【特許請求の範囲】
【請求項１】
形態素解析に用いられる基準辞書に未知語を登録する未知語登録方法であって、
未知語候補獲得手段が、クエリログが入力されると、該クエリログの１クエリをスペースで分割して得られる検索キーワードの異なりの集合である検索キーワード集合から未知語候補を抽出し、未知語候補集合記憶手段に格納する未知語候補獲得ステップと、
未知語獲得手段が、前記未知語候補集合記憶手段に格納されている前記未知語候補から、未知語らしさを判定し、未知語を抽出して未知語集合記憶手段に格納する未知語獲得ステップと、
未知語登録手段が、前記未知語集合記憶手段に格納されている前記未知語を前記基準辞書に登録する未知語登録ステップと、
を行うことを特徴とする未知語登録方法。
【請求項２】
前記未知語獲得ステップにおいて、
前記クエリログから前記未知語候補集合記憶手段に格納されている前記未知語候補を入力したユーザの数をカウントし、該ユーザの数が所定の閾値以上であった場合に、前記未知語として抽出する
請求項１記載の未知語登録方法。
【請求項３】
前記未知語獲得ステップにおいて、
前記クエリログから前記未知語候補集合記憶手段に格納されている前記未知語候補の出現時刻を収集し、指定されたクエリ収集期間において、出現頻度が他の時間区間の出現頻度と比較して大きくなる時間区間を持つ未知語候補を未知語として抽出する
請求項１記載の未知語登録方法。
【請求項４】
前記未知語獲得ステップにおいて、
前記未知語候補集合記憶手段に格納されている前記未知語候補の集合と前記基準辞書とをマージして得られる暫定辞書を用いてコーパスの形態素解析を行い、該未知語候補の出現頻度をカウントし、該出現頻度が所定の閾値の範囲内であるものを未知語として抽出する
請求項１記載の未知語登録方法。
【請求項５】
前記未知語獲得ステップにおいて、
前記未知語候補集合記憶手段に格納されている前記未知語候補を、前記基準辞書を用いて形態素解析を行い、所定の品詞の組み合わせによって構成されているもの以外を未知語として抽出する
請求項１記載の未知語登録方法。
【請求項６】
前記未知語獲得ステップにおいて、
前記未知語候補集合記憶手段に格納されている前記未知語候補のうち、所定の閾値以下の文字数の未知語候補を未知語として抽出する
請求項１記載の未知語登録方法。
【請求項７】
形態素解析に用いられる基準辞書に未知語を登録する未知語登録装置であって、
クエリログが入力されると、該クエリログの１クエリをスペースで分割して得られる検索キーワードの異なりの集合である検索キーワード集合から未知語候補を抽出し、未知語候補集合記憶手段に格納する未知語候補獲得手段と、
前記未知語候補集合記憶手段に格納されている前記未知語候補から、未知語らしさを判定し、未知語を抽出して未知語集合記憶手段に格納する未知語獲得手段と、
前記未知語集合記憶手段に格納されている前記未知語を前記基準辞書に登録する未知語登録手段と、
を有することを特徴とする未知語登録装置。
【請求項８】
前記未知語獲得手段は、
前記クエリログから前記未知語候補集合記憶手段に格納されている前記未知語候補を入力したユーザの数をカウントし、該ユーザの数が所定の閾値以上であった場合に、前記未知語として抽出する手段、
前記クエリログから前記未知語候補集合記憶手段に格納されている前記未知語候補の出現時刻を収集し、指定されたクエリ収集期間において、出現頻度が他の時間区間の出現頻度と比較して大きくなる時間区間を持つ未知語候補を未知語として抽出する手段、
前記未知語候補集合記憶手段に格納されている前記未知語候補の集合と前記基準辞書とをマージして得られる暫定辞書を用いてコーパスの形態素解析を行い、該未知語候補の出現頻度をカウントし、該出現頻度が所定の閾値の範囲内であるものを未知語として抽出する手段、
前記未知語候補集合記憶手段に格納されている前記未知語候補を、前記基準辞書を用いて形態素解析を行い、所定の品詞の組み合わせによって構成されているもの以外を未知語として抽出する手段、
前記未知語候補集合記憶手段に格納されている前記未知語候補のうち、所定の閾値以下の文字数の未知語候補を未知語として抽出する手段、
のうち、少なくともいずれか１つを含む
請求項７記載の未知語登録装置。
【請求項９】
請求項１乃至６のいずれか１項記載の未知語登録方法の各ステップを実行するコンピュータを機能させるための未知語登録プログラム。
【請求項１０】
請求項９記載の未知語登録プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、未知語登録方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、形態素解析器で用いるための未知語（辞書未登録語）を自動的に収集し、形態素解析器の辞書へ登録する未知語登録方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
従来の未知語抽出技術として、単語の確率モデルを使用する手法がある。この手法では、単語を構成する文字列及び、単語が出現する文の確率モデルを利用することで、文字列の単語らしさを判定する（例えば、非特許文献１参照）。
【０００３】
また、形態素解析によって単語辞書に含まれないものについて未知語として抽出する手法がある。この手法では、形態素解析を利用し、解析できない文字列、またその周辺の単語を併せたものを未知語として抽出する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−３３８８６３号公報
【非特許文献】
【０００５】
【非特許文献１】永田昌明、"未知語の確率モデルと単語の出現頻度の期待値に基づくテキストからの語彙獲得"、情報処理学会論文誌 vol40. No.9, 1999
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記従来の確率モデルによる未知語抽出の手法では、モデルの学習に利用される単語分割済みコーパスを必要とするが、このコーパスを作成することはコストが大きい。また、このコーパスには現われないような新しいタイプの未知語の抽出ができない。
【０００７】
形態素解析による未知語抽出の手法では、同一字種文字列を一単語とみなすといった字種情報に基づいて未知語を抽出する方法が主にとられるが、この手法では多様な文字種で構成された単語についての抽出が難しい。
【０００８】
本発明は、上記の点に鑑みなされたもので、単語分割済みコーパスを不要とし、多様な文字種で構成された未知語であっても高精度で抽出することが可能な未知語登録方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
図１は、本発明の原理を説明するための図である。
【００１０】
本発明（請求項１）は、形態素解析に用いられる基準辞書に未知語を登録する未知語登録方法であって、
未知語候補獲得手段が、クエリログが入力されると（ステップ１）、該クエリログの１クエリをスペースで分割して得られる検索キーワードの異なりの集合である検索キーワード集合から未知語候補を抽出し、未知語候補集合記憶手段に格納する未知語候補獲得ステップ（ステップ２）と、
未知語獲得手段が、未知語候補集合記憶手段に格納されている未知語候補から、未知語らしさを判定し、未知語を抽出して未知語集合記憶手段に格納する未知語獲得ステップ（ステップ３）と、
未知語登録手段が、未知語集合記憶手段に格納されている未知語を基準辞書に登録する未知語登録ステップ（ステップ４）と、を行う。
【００１１】
また、本発明（請求項２）は、未知語獲得ステップ（ステップ３）において、
クエリログから未知語候補集合記憶手段に格納されている未知語候補を入力したユーザの数をカウントし、該ユーザの数が所定の閾値以上であった場合に、未知語として抽出する。
【００１２】
また、本発明（請求項３）は、未知語獲得ステップ（ステップ３）において、
クエリログから未知語候補集合記憶手段に格納されている未知語候補の出現時刻を収集し、指定されたクエリ収集期間において、出現頻度が他の時間区間の出現頻度と比較して大きくなる時間区間を持つ未知語候補を未知語として抽出する。
【００１３】
また、本発明（請求項４）は、未知語獲得ステップ（ステップ３）において、
未知語候補集合記憶手段に格納されている未知語候補の集合と基準辞書とをマージして得られる暫定辞書を用いてコーパスの形態素解析を行い、該未知語候補の出現頻度をカウントし、該出現頻度が所定の閾値の範囲内であるものを未知語として抽出する。
【００１４】
また、本発明（請求項５）は、未知語獲得ステップ（ステップ３）において、
未知語候補集合記憶手段に格納されている未知語候補を、基準辞書を用いて形態素解析を行い、所定の品詞の組み合わせによって構成されているもの以外を未知語として抽出する。
【００１５】
また、本発明（請求項６）は、未知語獲得ステップ（ステップ３）において、
未知語候補集合記憶手段に格納されている未知語候補のうち、所定の閾値以下の文字数の未知語候補を未知語として抽出する。
【００１６】
図２は、本発明の原理構成図である。
【００１７】
本発明（請求項７）は、形態素解析に用いられる基準辞書１１に未知語を登録する未知語登録装置であって、
クエリログ記憶手段１６からクエリログが入力されると、該クエリログの１クエリをスペースで分割して得られる検索キーワードの異なりの集合である検索キーワード集合から未知語候補を抽出し、未知語候補集合記憶手段１３に格納する未知語候補獲得手段１と、
未知語候補集合記憶手段１３に格納されている未知語候補から、未知語らしさを判定し、未知語を抽出して未知語集合記憶手段１５に格納する未知語獲得手段２と、
未知語集合記憶手段１５に格納されている未知語を基準辞書１１に登録する未知語登録手段３と、を有する。
【００１８】
また、本発明（請求項８）は、未知語獲得手段２において、
クエリログから未知語候補集合記憶手段１３に格納されている未知語候補を入力したユーザの数をカウントし、該ユーザの数が所定の閾値以上であった場合に、未知語として抽出する手段、
クエリログから未知語候補集合記憶手段１３に格納されている未知語候補の出現時刻を収集し、指定されたクエリ収集期間において、出現頻度が他の時間区間の出現頻度と比較して大きくなる時間区間を持つ未知語候補を未知語として抽出する手段、
未知語候補集合記憶手段１３に格納されている未知語候補の集合と基準辞書１１とをマージして得られる暫定辞書を用いてコーパスの形態素解析を行い、該未知語候補の出現頻度をカウントし、該出現頻度が所定の閾値の範囲内であるものを未知語として抽出する手段、
未知語候補集合記憶手段１３に格納されている未知語候補を、基準辞書１１を用いて形態素解析を行い、所定の品詞の組み合わせによって構成されているもの以外を未知語として抽出する手段、
未知語候補集合記憶手段１３に格納されている未知語候補のうち、所定の閾値以下の文字数の未知語候補を未知語として抽出する手段、
のうち、少なくともいずれか１つを含む。
【００１９】
本発明（請求項９）は、上記請求項１乃至６のいずれか１項記載の未知語登録方法の各ステップを実行するコンピュータを機能させるための未知語登録プログラムである。
【００２０】
本発明（請求項１０）は、上記請求項９記載の未知語登録プログラムを格納したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２１】
本発明では、未知語の抽出において正確な形態素で抽出するために、一つの複合語文節からなる検索キーワードの集合で入力されることの多いクエリログを利用する。
【００２２】
本発明では、入力されたクエリを最小単位にするためにスペース毎に分割し、分割されて得られた検索キーワードを未知語候補とする。当該未知語候補の中でも、所定の人数以上のユーザが入力しており、クエリ収集期間において、出現頻度が他の時間区間の出現頻度を比して大きくなる時間区間を持つ未知語候補を、未知語として抽出する。
【００２３】
その結果得られた未知語は入力間違えや、複数の複合語文節からなる文章であることが少なく、また、一形態素の性質を持っていると考えられる。
【００２４】
確率モデルによる未知語抽出の手法と比べ、単語分割済みコーパスを必要とせず、確率モデルに合わない新しいタイプの未知語を抽出できないという問題がない。また、形態素解析による未知語抽出の手法と比べ、多様な文字種で構成された未知語を抽出することが可能である。
【図面の簡単な説明】
【００２５】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における未知語登録装置の構成図である。
【図４】本発明の一実施の形態における未知語候補獲得部の動作を説明するための図である。
【図５】本発明の一実施の形態における未知語獲得部の動作を説明するための図である。
【図６】バーストを説明するための図である。
【発明を実施するための最良の形態】
【００２６】
以下、図面と共に本発明の実施の形態を説明する。
【００２７】
図３は、本発明の一実施の形態における未知語登録装置の構成を示す。
【００２８】
同図に示す未知語登録装置は、未知語候補獲得部１、未知語獲得部２、未知語登録部３、基準辞書１１、検索キーワード集合記憶部１２、未知語候補集合記憶部１３、暫定辞書１４、未知語集合記憶部１５、クエリログ記憶部１６、コーパス記憶部１７から構成される。ここで、基準辞書１１、検索キーワード集合記憶部１２、未知語候補集合記憶部１３、暫定辞書１４、未知語集合記憶部１５、クエリログ記憶部１６、コーパス記憶部１７は、データベースやファイル等の記憶媒体であり、検索キーワード集合記憶部１２、未知語候補集合記憶部１３、暫定辞書１４、未知語集合記憶部１５は、未知語候補獲得部１、未知語獲得部２で得られた情報が一時的に格納される。
【００２９】
未知語候補獲得部１は、クエリログ記憶部１６からクエリ、時刻情報、ユーザ情報（クエリを入力したユーザID）を含むクエリログが入力されると、クエリログから基準辞書１１に含まれないような未知語候補を収集し、未知語候補集合記憶部１３に格納する。
【００３０】
未知語獲得部２は、未知語候補獲得部１で収集された未知語候補から未知語を抽出して未知語集合記憶部１５に格納する。
【００３１】
未知語登録部３は、未知語獲得部２で抽出され、未知語集合記憶部１５に格納されている未知語を基準辞書１１に追加登録する。
【００３２】
以下に、上記の構成の動作を詳細に説明する。
【００３３】
最初に、未知語候補獲得部１について説明する。
【００３４】
図４は、本発明の一実施の形態における未知語候補獲得部の動作を説明するための図である。
【００３５】
未知語候補獲得部１は、クエリログ記憶部１６から未知語候補を抽出するものである。
【００３６】
ステップ２０１）  未知語候補獲得部１は、クエリログが入力されると、１クエリをスペースで分割して得られる検索キーワードの異なりの集合である検索キーワード集合を生成し、検索キーワード集合記憶部１２に格納する。
【００３７】
ステップ２０２）  未知語候補獲得部１は、検索キーワード集合記憶部１２から検索キーワードを読み出して、該検索キーワードに基づいて基準辞書１１を参照し、当該検索キーワードが基準辞書１１に含まれているかを判定し、含まれていなかった場合のみ、未知語候補とし、未知語候補集合記憶部１３に格納する。
【００３８】
次に、未知語獲得部２について説明する。
【００３９】
図５は、本発明の一実施の形態における未知語獲得部の動作を説明するための図である。
【００４０】
未知語獲得部２は、未知語候補集合記憶部１３から未知語候補集合を読み出し、未知語候補の文字数が所定の閾値以下であり、未知語候補を入力したユーザの数をカウントし、当該ユーザ数が所定の閾値以上であるものを抽出する。次に、未知語候補を一単語として暫定辞書１４に登録した状態でコーパス記憶部１７のコーパスに対し形態素解析を行い、未知語候補の出現頻度をカウントする。さらに、未知語候補それぞれに基づいて基準辞書１１を用いて形態素解析を行い、所定の品詞の組み合わせによって構成されているもの以外を抽出する。最後にクエリログの各クエリの時刻情報を参照して、クエリ収集期間において、出現頻度が他の時間区間の出現頻度と比して大きくなる時間区間を持つ未知語候補を、未知語として抽出する。
【００４１】
以下に、図５に沿って未知語獲得部２の動作を詳細に説明する。
【００４２】
ステップ３０１）  未知語獲得部２は、未知語候補集合記憶部１３から未知語候補集合を読み出して、当該未知語候補集合の文字数が所定の文字数以上の未知語候補を排除する。
【００４３】
ステップ３０２）  ステップ３０１で残った未知語候補のそれぞれについて、クエリログから、当該未知語候補を入力したユーザIDを抽出し、入力したユーザの人数をカウントし、ユーザの人数が所定の閾値以下の未知語候補を排除する。
【００４４】
ステップ３０３）  未知語獲得部２は、ステップ３０２で残った未知語候補を名詞と仮定して、当該未知語候補集合と基準辞書１１をマージし、暫定辞書１４に格納する。
【００４５】
ステップ３０４）  未知語獲得部２は、暫定辞書１４を用いてコーパス記憶部１７のコーパスの形態素解析を行う。
【００４６】
ステップ３０５）  未知語獲得部２は、形態素解析結果の中から、一形態素として出力された未知語候補集合に含まれる未知語候補の出現頻度をカウントし、所定の閾値の範囲外のものを排除する。
【００４７】
ステップ３０６）  未知語獲得部２は、ステップ３０５で残った未知語候補について、基準辞書１１を用いて形態素解析を行い、未知語候補を構成する形態素が所定の品詞の組み合わせによって構成されているものを排除し、メモリ（図示せず）に格納する。なお、ここで、品詞はユーザから予め指定されているものを記憶手段に格納して、これを読み出して用いてもよいし、入力手段（図示せず）から指定入力された品詞を用いても良い。
【００４８】
ステップ３０７）  未知語獲得部２は、クエリログ記憶部１６のクエリログから未知語候補それぞれの出現時刻を収集し、指定されたクエリ収集期間において出現頻度が他の時間区間の出現頻度と比して大きくなる時間区間を持つ未知語候補を、ステップ３０６で格納されているメモリから未知語として抽出する。このある時間区間における単語や文書の出現頻度が、他の時間区間の出現頻度に比べて大きくなる状態を『バースト』という。バーストの判定手法として「Jon Kleinburg, "Bursty and hierarchical Structure in Streams", Data Mining and Knowledge Discovery 7(4), pp373-397, Oct, 2004」などに記載されている手法がある。この文献では、バーストとは、時間軸に対し単語や文書が等間隔で出現する理想的な定常状態に対し、異常に短い時間間隔で単語や文書が出現する状態である。図６は、バーストを説明するための図である。未知語候補のクエリログにおける出現時間が図６にあるように、時刻ｔ１〜ｔ１０だとすると、この定常状態と比べて異常に近い時間間隔で出現する点がバーストであると判定される。バーストか非バーストかは各点に対して判定される。図６に示す例では、時刻ｔ４〜ｔ７間での４点がバーストであり、それ以外の点が非バーストであると判定された例である。
【００４９】
ステップ３０８）  未知語獲得部２は、ステップ３０７で抽出された未知語を未知語集合記憶部１５に出力する。
【００５０】
最後に、未知語登録部３が上記のように未知語獲得部２によって未知語集合記憶部１５に格納された未知語を基準辞書１１に追加登録する。
【００５１】
なお、上記の図４、図５に示す動作の各ステップを未知語登録プログラムとして構築し、未知語登録装置として機能するコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００５２】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００５３】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００５４】
本発明は、流行語などの未知の単語を特定する技術、特に、形態素解析に用いられる基準辞書に未知語を登録する技術に適用可能である。
【符号の説明】
【００５５】
１  未知語候補獲得手段、未知語候補獲得部
２  未知語獲得手段、未知語獲得部
３  未知語登録手段、未知語登録部
１１  基準辞書
１２  検索キーワード集合記憶部
１３  未知語候補集合記憶手段、未知語候補集合記憶部
１４  暫定辞書
１５  未知語集合記憶手段、未知語集合記憶部
１６  クエリログ記憶手段、クエリログ記憶部
１７  コーパス記憶部
【図１】
2010176285.tif 000003
【図２】
2010176285.tif 000004
【図３】
2010176285.tif 000005
【図４】
2010176285.tif 000006
【図５】
2010176285.tif 000007
【図６】
2010176285.tif 000008