(57)【要約】【課題】形態素解析装置で用いるための未知語を高精度で抽出する。【解決手段】本発明は、一つの複合語文節からなる検索キーワードの集合で入力されることの多いクエリログの１クエリをスペースで分割して得られる検索キーワードの異なりの集合である検索キーワード集合から未知語候補を抽出し、未知語候補の中から多用されているものを未知語として抽出し基準辞書に登録する。未知語抽出の方法として、未知語候補の集合と基準辞書とをマージして暫定辞書を生成し、該暫定辞書を用いてコーパスの形態素解析を行い、未知語候補の出現頻度をカウントし、該出現頻度が所定の閾値より多い未知語候補を未知語とする。または、未知語候補を検索クエリとして検索システムで検索を行い、検索結果件数が所定の閾値より多い未知語候補を未知語とする。【選択図】図１
2010140107.tif 000002
【特許請求の範囲】
【請求項１】
形態素解析に用いられる基準辞書に未知語を登録する未知語登録方法であって、
未知語候補獲得手段が、クエリログが入力されると、該クエリログの１クエリをスペースで分割して得られる検索キーワードの異なりの集合である検索キーワード集合から未知語候補を抽出し、記憶手段に格納する未知語候補獲得ステップと、
未知語抽出手段が、前記記憶手段に格納されている未知語候補の中から多用されているものを未知語として抽出し、前記記憶手段に格納する未知語抽出ステップと、
未知語登録手段が、前記記憶手段に格納されている未知語を前記基準辞書に登録する未知語登録ステップと、
を行うことを特徴とする未知語登録方法。
【請求項２】
前記未知語候補獲得ステップにおいて、
前記検索キーワード集合の各検索キーワードが前記基準辞書に含まれていない場合のみ、未知語候補とする、
または、
前記検索キーワード集合の各検索キーワードが動詞語幹と活用語尾、または、一形態素のみである場合は未知語候補とせず、それ以外の場合は未知語候補とする
請求項１記載の未知語登録方法。
【請求項３】
前記未知語抽出ステップにおいて、
前記記憶手段に格納されている前記未知語候補の集合と前記基準辞書とをマージして暫定辞書を生成し、該暫定辞書を用いてコーパスの形態素解析を行い、
前記未知語候補の出現頻度をカウントし、該出現頻度が所定の閾値より多い未知語候補を未知語として前記記憶手段に格納する
請求項１記載の未知語登録方法。
【請求項４】
前記未知語抽出ステップにおいて、
前記記憶手段に格納されている前記未知語候補を検索クエリとして検索システムで検索を行い、
検索結果件数が所定の閾値より多い未知語候補を未知語として前記記憶手段に格納する
請求項１記載の未知語登録方法。
【請求項５】
形態素解析に用いられる基準辞書に未知語を登録する未知語登録装置であって、
クエリログが入力されると、該クエリログの１クエリをスペースで分割して得られる検索キーワードの異なりの集合である検索キーワード集合から未知語候補を抽出し、記憶手段に格納する未知語候補獲得手段と、
前記記憶手段に格納されている未知語候補の中から多用されているものを未知語として抽出し、前記記憶手段に格納する未知語抽出手段と、
前記記憶手段に格納されている未知語を前記基準辞書に登録する未知語登録手段と、
を有することを特徴とする未知語登録装置。
【請求項６】
前記未知語候補獲得手段は、
前記検索キーワード集合の各検索キーワードが前記基準辞書に含まれていない場合のみ、未知語候補とする手段、
または、
前記検索キーワード集合の各検索キーワードが動詞語幹と活用語尾、または、一形態素のみである場合は未知語候補とせず、それ以外の場合は未知語候補とする手段
のいずれかを含む請求項５記載の未知語登録装置。
【請求項７】
前記未知語抽出手段は、
前記記憶手段に格納されている前記未知語候補の集合と前記基準辞書とをマージして暫定辞書を生成し、該暫定辞書を用いてコーパスの形態素解析を行い、該未知語候補の出現頻度をカウントし、該出現頻度が所定の閾値より多い未知語候補を未知語として該記憶手段に格納する手段を含む
請求項５記載の未知語登録装置。
【請求項８】
前記未知語抽出手段は、
前記記憶手段に格納されている前記未知語候補を検索クエリとして検索システムで検索を行い、検索結果件数が所定の閾値より多い未知語候補を未知語として該記憶手段に格納する手段を含む
請求項５記載の未知語登録装置。
【請求項９】
請求項５乃至８のいずれか１項に記載の未知語登録装置を構成する各手段としてコンピュータを機能させるための未知語登録プログラム。
【請求項１０】
請求項９記載の未知語登録プログラムを格納したことを特徴とするコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、未知語登録方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体に係り、特に、形態素解析装置で用いるための未知語を自動的に収集し、形態素解析装置の辞書に登録するための未知語登録方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
従来の未知語抽出技術として、単語の確率モデルを使用する手法がある。この手法では、単語を構成する文字列及び、単語が出現する文の確率モデルを利用することで、文字列の単語らしさを判定する（例えば、非特許文献１参照）。
【０００３】
また、形態素解析によって単語辞書に含まれないものについて未知語として抽出する手法がある。この手法では、形態素解析を利用し、解析できない文字列、またはその周辺の単語を合わせたものを未知語として抽出する（例えば、特許文献１参照）。
【特許文献１】特開平１１−３３８８６３号公報
【非特許文献１】永田昌明、"未知語の確率モデルと単語の出現頻度の期待値に基づくテキストからの語彙獲得"、情報処理学会論文誌、vol.40. No.9, 1999
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の確率モデルによる未知語抽出の手法では、モデルの学習に利用される単語分割済みコーパスを必要とするが、このコーパスを作成することはコストが大きい。また、このコーパスには現われないような新しいタイプの未知語の抽出ができない。
【０００５】
また、形態素解析による未知語抽出の手法では、同一字種文字列を一単語とみなすといった字種情報に基づいて未知語を抽出する方法が主にとられるが、この手法では多用な文字種で構成された単語についての抽出が難しい。
【０００６】
本発明は、上記の点に鑑みなされたもので、未知語を高精度で抽出することが可能な未知語登録方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
図１は、本発明の原理を説明するための図である。
【０００８】
本発明（請求項１）は、形態素解析に用いられる基準辞書に未知語を登録する未知語登録方法であって、
未知語候補獲得手段が、クエリログが入力されると、該クエリログの１クエリをスペースで分割して得られる検索キーワードの異なりの集合である検索キーワード集合から未知語候補を抽出し、記憶手段に格納する未知語候補獲得ステップ（ステップ１）と、
未知語抽出手段が、記憶手段に格納されている未知語候補の中から多用されているものを未知語として抽出し、記憶手段に格納する未知語抽出ステップ（ステップ２）と、
未知語登録手段が、記憶手段に格納されている未知語を基準辞書に登録する未知語登録ステップ（ステップ３）と、を行う。
【０００９】
また、本発明（請求項２）は、未知語候補獲得ステップ（ステップ１）において、
検索キーワード集合の各検索キーワードが基準辞書に含まれていない場合のみ、未知語候補とする、
または、
検索キーワード集合の各検索キーワードが動詞語幹と活用語尾、または、一形態素のみである場合は未知語候補とせず、それ以外の場合は未知語候補とする。
【００１０】
また、本発明（請求項３）は、未知語抽出ステップ（ステップ２）において、
記憶手段に格納されている未知語候補の集合と基準辞書とをマージして暫定辞書を生成し、該暫定辞書を用いてコーパスの形態素解析を行い、
未知語候補の出現頻度をカウントし、該出現頻度が所定の閾値より多い未知語候補を未知語として記憶手段に格納する。
【００１１】
また、本発明（請求項４）は、未知語抽出ステップ（ステップ２）において、
記憶手段に格納されている未知語候補を検索クエリとして検索システムで検索を行い、
検索結果件数が所定の閾値より多い未知語候補を未知語として記憶手段に格納する。
【００１２】
図２は、本発明の原理構成図である。
【００１３】
本発明（請求項５）は、形態素解析に用いられる基準辞書２に未知語を登録する未知語登録装置であって、
クエリログが入力されると、該クエリログの１クエリをスペースで分割して得られる検索キーワードの異なりの集合である検索キーワード集合から未知語候補を抽出し、記憶手段に格納する未知語候補獲得手段１０と、
記憶手段に格納されている未知語候補の中から多用されているものを未知語として抽出し、記憶手段に格納する未知語抽出手段２０と、
記憶手段に格納されている未知語を基準辞書２に登録する未知語登録手段３０と、を有する。
【００１４】
また、本発明（請求項６）は、未知語候補獲得手段１０において、
検索キーワード集合の各検索キーワードが基準辞書に含まれていない場合のみ、未知語候補とする手段、
または、
検索キーワード集合の各検索キーワードが動詞語幹と活用語尾、または、一形態素のみである場合は未知語候補とせず、それ以外の場合は未知語候補とする手段、のいずれかを含む。
【００１５】
また、本発明（請求項７）は、未知語抽出手段２０において、
記憶手段に格納されている未知語候補の集合と基準辞書２とをマージして暫定辞書を生成し、該暫定辞書を用いてコーパスの形態素解析を行い、該未知語候補の出現頻度をカウントし、該出現頻度が所定の閾値より多い未知語候補を未知語として該記憶手段に格納する手段を含む。
【００１６】
また、本発明（請求項８）は、未知語抽出手段２０において、
記憶手段に格納されている未知語候補を検索クエリとして検索システムで検索を行い、検索結果件数が所定の閾値より多い未知語候補を未知語として該記憶手段に格納する手段を含む。
【００１７】
本発明（請求項９）は、請求項５乃至８のいずれか１項に記載の未知語登録装置を構成する各手段としてコンピュータを機能させるための未知語登録プログラムである。
【００１８】
本発明（請求項１０）は、請求項９記載の未知語登録プログラムを格納したコンピュータ読取可能な記録媒体である。
【発明の効果】
【００１９】
本発明では、未知語の抽出において正確な形態素で抽出するために、一つの複合語文節からなる検索キーワードの集合で入力されることの多いクエリログを利用する。また、入力されたクエリを最小単位にするためにスペース毎に分割する。その結果得られた検索キーワードは、複数の複合語文節から構成されることは少なく、また、多用される場合は、一形態素の性質を持っていると考えられる。分割されて得られた検索キーワードを未知語候補として、その候補がどれだけ多用されて未知語であると判定できるかを２種類の方法で行う。
【００２０】
これにより、本発明によれば、確率モデルによる未知語抽出の方法と比べ、単語分割済みコーパスを必要とせず、確率モデルに合わない新しいタイプの未知語を抽出できないという問題がない。また、形態素解析による未知語抽出の手法と比べ、多様な文字種で構成された未知語を抽出することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、図面と共に本発明の実施の形態を説明する。
【００２２】
［第１の実施の形態］
図３は、本発明の第１の実施の形態における未知語登録装置の構成を示す。
【００２３】
同図に示す未知語登録装置は、クエリログ記憶部１、基準辞書２、暫定辞書３、コーパス記憶部４、キーワード集合メモリ５、未知語候補集合メモリ６、未知語集合メモリ７、未知語候補獲得部１０、未知語抽出部２０、未知語登録部３０から構成される。このうち、クエリログ記憶部１、基準辞書２、暫定辞書３、コーパス記憶部４は、ハードディスク装置等の記憶媒体であり、また、キーワード集合メモリ５、未知語候補集合メモリ６、未知語集合メモリ７は一時的に処理結果を格納するメモリである。
【００２４】
未知語候補獲得部１０は、クエリログ記憶部１から取得したクエリログに基づいて基準辞書２を参照し、当該基準辞書２に含まれないような未知語候補を収集し、未知語候補集合メモリ６に格納する。
【００２５】
未知語抽出部２０は、未知語候補集合メモリ６から未知語候補を取得して、その中から未知語を抽出し、未知語集合メモリ７に格納する。
【００２６】
未知語登録部３０は、未知語集合メモリ７から取得した未知語を基準辞書２に登録する。
【００２７】
以下に、各構成の動作を説明する。
【００２８】
未知語候補獲得部１０の動作を以下に示す。未知語候補獲得部１０は、クエリログ記憶部１のクエリログより未知語候補を抽出するものである。
【００２９】
図４は、本発明の第１の実施の形態における未知語候補獲得部の動作のフローチャートである。
【００３０】
まず、未知語候補獲得部１０は、クエリログ記憶部１からクエリログを取得し、１クエリをスペースで分割して得られる検索キーワードの異なる集合である検索キーワード集合を生成し、キーワード集合メモリ５に格納する（ステップ１０１）。
【００３１】
次に、キーワード集合メモリ５から検索キーワードを取得して未知語候補集合を生成し、未知語候補集合メモリ６に格納する（ステップ１０２）。その際、２つの方法が考えられる。
【００３２】
１つは、検索キーワードが基準辞書２に含まれなかった場合のみ、未知語候補とする方法である。もう一つは、検索キーワードに対し、基準辞書２を用いた形態素解析を行い、検索キーワードが動詞語幹と活用語尾、または、一形態素である場合は、未知語候補とせず、それ以外の場合、未知語候補とする方法である。
【００３３】
次に、未知語抽出部２０について説明する。
【００３４】
未知語抽出部２０では、未知語候補集合メモリ６から未知語候補を取得して、当該未知語候補を一単語として暫定辞書３に登録した状態で、コーパス記憶部４のコーパスに対して形態素解析を行い、未知語候補の出現頻度をカウントした結果に基づいて未知語集合を得る。
【００３５】
図５は、本発明の第１の実施の形態における未知語抽出部の動作のフローチャートである。
【００３６】
未知語抽出部２０は、未知語候補集合メモリ６に含まれる未知語候補を、名詞と仮定して基準辞書２の内容とマージした暫定辞書３を生成する（ステップ２０１）。次に、暫定辞書３を用いて、コーパス記憶部４のコーパスの形態素解析を行い（ステップ２０２）、その結果の中から一形態素として出力された未知語候補集合メモリ６に含まれる未知語候補の出現頻度をカウントする（ステップ２０３）。出現頻度が閾値以上の未知語候補を未知語として抽出し、未知語集合メモリ７に格納する（ステップ２０４）。
【００３７】
次に、未知語登録部３０について説明する。
【００３８】
未知語登録部３０は、未知語抽出部２０で抽出され未知語集合メモリ７に格納されている未知語を基準辞書２に登録する。
【００３９】
［第２の実施の形態］
本実施の形態は、未知語抽出部２０の処理が第１の実施の形態と異なる。
【００４０】
図６は、本発明の第２の実施の形態における未知語登録装置の構成を示す。同図において図３と同一構成要素には同一符号を付し、その説明を省略する。
【００４１】
同図に示す未知語登録装置は、クエリログ記憶部１、基準辞書２、キーワード集合メモリ５、未知語候補集合メモリ６、未知語集合メモリ７、未知語候補獲得部１０、未知語抽出部２５、未知語登録部３０から構成され、未知語抽出部２５は外部の検索システム４０に接続されている。
【００４２】
未知語候補獲得部１０と未知語登録部３０の処理は、第１の実施の形態と同様である。
【００４３】
未知語抽出部２５は、未知語候補集合メモリ６に格納されている未知語候補を検索クエリとして検索システム４０で検索し、その検索結果件数で未知語候補が未知語か否かを判定する。
【００４４】
図７は、本発明の第２の実施の形態における未知語抽出部の動作のフローチャートである。
【００４５】
未知語抽出部２５は、未知語候補集合メモリ６に格納されている未知語候補の中から処理対象の未知語候補Ｘを決定する（ステップ３０１）。未知語候補Ｘを検索クエリとして検索システム４０で検索を行う（ステップ３０２）。このとき、検索システム４０としてＷｅｂを対象とした検索エンジンを用いてもよい。検索システム４０から得られた検索結果件数と所定の閾値とを比較し、検索結果件数が閾値以上の場合は（ステップ３０３、Ｙｅｓ）、未知語候補を未知語として抽出し、未知語集合メモリ７に格納する。一方、検索結果件数が閾値より少ない場合は（ステップ３０３、Ｎｏ）、次の処理対象の未知語候補Ｘを決定し、上記の処理を繰り返す（ステップ３０１）。
【００４６】
また、上記の第１の実施の形態の図３、第２の実施の形態の図６の構成要素をプログラムとして構築し、未知語登録装置として利用されるコンピュータにインストールしてＣＰＵに実行させる、または、ネットワークを介して流通させることが可能である。
【００４７】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００４８】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００４９】
本発明は、形態素解析に用いられる辞書に未知語を登録する技術に適用可能である。
【図面の簡単な説明】
【００５０】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態における未知語登録装置の構成図である。
【図４】本発明の第１の実施の形態における未知語候補獲得部の動作のフローチャートである。
【図５】本発明の第１の実施の形態における未知語抽出部の動作のフローチャートである。
【図６】本発明の第２の実施の形態における未知語登録装置の構成図である。
【図７】本発明の第２の実施の形態における未知語抽出部の動作のフローチャートである。
【符号の説明】
【００５１】
１  クエリログ記憶部
２  基準辞書
３  暫定辞書
４  コーパス記憶部
５  キーワード集合メモリ
６  未知語候補集合メモリ
７  未知語集合メモリ
１０  未知語候補獲得手段、未知語候補獲得部
２０  未知語抽出手段、未知語抽出部
２５  未知語抽出部
３０  未知語登録手段、未知語登録部
４０  検索システム（検索エンジン）
【図１】
2010140107.tif 000003
【図２】
2010140107.tif 000004
【図３】
2010140107.tif 000005
【図４】
2010140107.tif 000006
【図５】
2010140107.tif 000007
【図６】
2010140107.tif 000008
【図７】
2010140107.tif 000009