(57)【要約】【課題】  未登録語のカテゴリを決定のための方法と装置を提供する。【解決手段】  この方法は、語構成規則に基づいて辞書から未登録語の同義語を選択するステップと、文集から未登録語のコンテキストの生成するステップと、未登録語のコンテキストと同義語に基づいて未登録語が属するカテゴリを決定するステップを含み、本発明による方法と装置によれば、未登録語のカテゴリをより効率的により正確に決定することができる。【選択図】  図２
2011118872.tif 000002
【特許請求の範囲】
【請求項１】
語構成規則に基づいて未登録語の同義語を辞書から選択するステップと、
文集から未登録語のコンテキストを生成するステップと、
未登録語のコンテキストと同義語に従って未登録語のカテゴリを決定するステップと
を含むことを特徴とする未登録語のカテゴリ決定方法。
【請求項２】
前記語構成規則が、語構成要素、要素属性および要素関係を含むことを特徴とする請求項１に記載の未登録語のカテゴリ決定方法。
【請求項３】
語構成規則に基づいて未登録語の同義語を辞書から選択するステップが、未登録語と１つ以上の語構成要素を共有する語を未登録語の同義語として辞書から選択するステップを含むことを特徴とする請求項２に記載の未登録語のカテゴリ決定方法。
【請求項４】
語構成規則に基づいて未登録語の同義語を辞書から選択するステップが、
未登録語の品詞を決定するステップと、
未登録語と１つ以上の語構成要素を共有する語を辞書から選択するステップと、
選択した全ての語から未登録語と同じ品詞を有する語を未登録語の同義語として選択するステップとを含むことを特徴とする請求項２に記載の未登録語のカテゴリ決定方法。
【請求項５】
文集から未登録語のコンテキストを生成するステップが、
文集から未登録語を検索するステップと、
ウィンドウ方式の適用により未登録語に隣接する文字を取り出すステップと、
取り出した未登録語に隣接する文字に語分割を実行するステップと、
語分割の後に得られた各語の重みを決定し、語分割の後に取得したそれぞれの語とそれらの重みを未登録語のコンテキストとして使用するステップとを含むことを特徴とする請求項１に記載の未登録語のカテゴリ決定方法。
【請求項６】
文集から未登録語のコンテキストを生成するステップが、
文集から未登録語を検索するステップと、
未登録語のコンテキストとして依存関係を用いるために、依存木方式によって未登録語の依存関係を分析するステップとを含むことを特徴とする請求項１に記載の未登録語のカテゴリ決定方法。
【請求項７】
未登録語のコンテキストと同義語に基づいて未登録語が属するカテゴリを決定するステップが、
同義語が属するカテゴリについて統計を取るステップと、
各カテゴリに含まれる全ての語のコンテキストを、各カテゴリのコンテキストとして、文集から生成するステップと、
未登録語のコンテキストと各カテゴリのコンテキストの間の類似度を計算するステップと、
最大の類似度を有するカテゴリを未登録語が属するカテゴリとして決定するステップとを含むことを特徴とする請求項１に記載の未登録語のカテゴリ決定方法。
【請求項８】
未登録語のコンテキストと同義語に基づいて未登録語が属するカテゴリを決定するステップが、
文集から同義語のコンテキストを生成するステップと、
未登録語のコンテキストと同義語のコンテキストの間の類似度を計算するステップと、
計算によって取得した類似度に基づいて、同義語から集合を抽出するステップと、
抽出した集合において同じカテゴリに属する同義語に対応する類似度を合計するステップと、
合計した類似度に基づいて未登録語が属するカテゴリを決定するステップとを含むことを特徴とする請求項１に記載の未登録語のカテゴリ決定方法。
【請求項９】
未登録語のコンテキストと同義語に基づいて未登録語が属するカテゴリを決定するステップが、
文集から同義語のコンテキストを生成するステップと、
未登録語のコンテキストと同義語のコンテキストの間の類似度を計算するステップと、
同義語が属するカテゴリについて統計を取るステップと、
同義語に関連付けた所定の重み係数を入力するステップと、
入力した所定の重み係数に基づいて、関連する同義語に対応する類似度に重みを加えるステップと、
重みが加えられた類似度に基づいて同義語から集合を抽出するステップと、
抽出した集合中、同じカテゴリに属する同義語に対応する重みが加えられた類似度を合計するステップと、
合計した類似度に基づいて未登録語が属するカテゴリを決定するステップを含むことを特徴とする請求項１に記載の未登録語のカテゴリ決定方法。
【請求項１０】
語構成規則に基づいて未登録語の同義語を辞書から選択する同義語選択部と、
文集から未登録語のコンテキストを生成するコンテキスト生成部と、
未登録語のコンテキストと同義語に従って未登録語のカテゴリを決定するカテゴリ決定部と
を備えることを特徴とする未登録語のカテゴリ決定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に情報処理分野に関し、特に、未登録語のカテゴリを決定するための方法と装置に関する。
【背景技術】
【０００２】
インターネットの普及および社会情報の増大傾向に伴い、テキスト情報がますます多くなり、それに伴いテキスト情報処理に関する社会の要求がますます高まってきている。人々は、自然言語を通してコンピュータと通信することを望み、多量のテキスト情報の自動処理を望んでいる。テキスト情報をより効果的に処理するためには、大量の言語データリソース（例えば辞書）を蓄積することが必要である。
しかしながら、文書処理のための主要な機器では、辞書は往々にして手作業で編集される。それはかなり時間を消費し非能率的である。
さらに、単語分割技術において、未登録語による分割エラーが、単語分割全体の回収率に非常に影響を与えると共に、続く文法および語義解釈の精度にさらに影響を与え、その結果として、情報処理に一定の障害が生じることになる。
その他の情報処理技術、例えば情報抽出において、未登録語の属性が極めて不明瞭であると、未登録語とその情報の不完全さのために情報抽出の結果が曖昧となるばかりでなく間違いさえも含むことになる。
よって、このことは、未登録語のカテゴリを決定するうえでに差し迫った問題である。
【０００３】
特許文献１（中国特許公開公報ＣＮ１７１７６７９号）は、品詞タグ付け方法を開示している。
この方法は、一区切りの単語に集合的にタグ付けするために、事前に記録されたキーワード−単語クラスリポジトリを主に使用する。一区切りの単語が特定のキーワードを含んでいれば、その一区切りの単語がキーワードに相応する品詞としてタグ付けされる。
【０００４】
特許文献２（米国特許公開公報ＵＳ２００６０１００８５６Ａ１）は、語義推測方法を開示している。この方法の基本思想は、ウェブ検索を通して各新語の用例を抽出し、既存の用例辞書に従ってその用例に基づいて語義クラス候補を抽出することである。その結果、複数の候補が存在する場合には、特定の文集において新語と最も高い共起頻度を有する語義クラスを選択する。
【０００５】
特許文献３（中国特許公開公報ＣＮ１３６９８７７号）は、新語のカテゴリを推測する方法を開示している。
この方法は、まず新語内の各文字に対する分離確率を決定し、次に、各カテゴリについての合計分離確率を形成するために、語カテゴリベースで各文字の確率を組み合わせる。
しきい値と合計確率の比較に基づいて、その確率がしきい値を越える語カテゴリを、それぞれ、複数文字語（multi-character word）のための可能なカテゴリとして追加する。
【０００６】
非特許文献１（ＮＡＡＣＬ  ＨＬＴ  ２００７の１８８−１９５ページのHybrid
Models for Semantic Classification of Chinese Unknown Words（中国語の未登録語の意味的な分類のための混合モデル）において、Ｘｉａｏｆｅｉ  Ｌｕ）は、人工のルール、統計的方法およびコンテキストに基づいて構築した混合型の品詞推測方法を提案している。そこでは、ルールと統計的方法は、コンテキストベースの方法に対して語義クラス候補を提供する。
【０００７】
非特許文献２（In Proceedings of the 2nd Chinese Language Processing
Workshopの７〜１４ページの2000. Sense-tagging Chinese Corpusにおいて、Chen, H.-H.とC.-C. Lin）は、中国語−英語辞典による相互翻訳を通した語義クラスタグ付け方法を提案している。この方法の基本ステップは以下の４つのステップを含む。
１）１つに新語を与え、所定の中国語−英語辞典に基づいてその語について全ての可能な英語翻訳を検索する。
２）ＷｏｒｄＮｅｔから全ての翻訳について対応する語義項目（semantic item）を検索する。
３）マッピングテーブルを検索し、ステップ２で得られた語義項目とＣｉｌｉｎの語義タグとのマッチングを行う。
４）語義曖昧性除去方法（semantic de-ambiguity methods）によってステップ３から得られた語義タグから１つを、最終結果として選択する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】中国特許公開公報ＣＮ１７１７６７９号
【特許文献２】米国特許公開公報ＵＳ２００６０１００８５６Ａ１
【特許文献３】中国特許公開公報ＣＮ１３６９８７７号
【非特許文献】
【０００９】
【非特許文献１】Ｘｉａｏｆｅｉ  Ｌｕ、HybridModels for Semantic Classification of Chinese Unknown Words（中国語の未登録語の意味的な分類のための混合モデル）、ＮＡＡＣＬ  ＨＬＴ  ２００７、１８８−１９５ページ
【非特許文献２】Chen, H.-H.とC.-C. Lin、In Proceedings of the2nd Chinese Language Processing Workshop、2000. Sense-tagging Chinese Corpus、７〜１４ページ
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、現在の技術のどれも、自動タグ付けを実現するために未登録語のカテゴリを効果的に決定するという課題を解決しない。
既存の技術は、一般に、新語についての品詞解析を実行するために事前に編集された辞書を使用する。そのため、タグ付け結果の妥当性は、対応する辞書あるいは知識ベースの構造に左右され、その性能は比較的低い。
【００１１】
従って、未登録語のカテゴリを効果的にかつ高い効率で決定する技術的解決方法が要望されている。
【課題を解決するための手段】
【００１２】
関連技術における上記の問題を解決するため、本発明の目的は、未登録語のカテゴリを決定するための方法と装置を提供することである。
【００１３】
本発明による未登録語のカテゴリ決定方法は、語構成規則に基づいて未登録語の同義語を辞書から選択するステップと、文集から未登録語のコンテキストを生成するステップと、未登録語のコンテキストと同義語に従って未登録語のカテゴリを決定するステップとを含む。
【００１４】
本発明による未登録語のカテゴリ決定装置は、語構成規則に基づいて未登録語の同義語を辞書から選択する同義語選択部と、文集から未登録語のコンテキストを生成するコンテキスト生成部と、未登録語のコンテキストと同義語に従って未登録語のカテゴリを決定するカテゴリ決定部とを備える。
【００１５】
本発明の他の特徴および利点は、添付図面を参照した本発明の好ましい実施の形態についての以下の説明から明らかになるであろう。
【発明の効果】
【００１６】
本発明によれば、未登録語のカテゴリをより効率的により正確に決定することができる。
【図面の簡単な説明】
【００１７】
上記から本発明を深く理解し、かつ以下の添付図面を参照しつつ説明を読むことにより、本発明の他の目的と効果がより明確となり、理解が容易となるであろう。
【図１】本発明の実施の形態による未登録語のカテゴリを決定する装置のブロック図である。
【図２】本発明の実施の形態による未登録語のカテゴリを決定する方法のフローチャートである。
【図３】本発明の他の実施の形態に従って未登録語のカテゴリを決定する方法のフローチャートを示す；
【図４】本発明の他の実施の形態による未登録語のカテゴリを決定する方法のフローチャートである。
【図５】本発明のさらに他の実施の形態による未登録語を決定する方法のフローチャートである。  上記の全ての添付図面において、同一の参照符号は、同じか類似の、或いは対応する特徴或いは機能を示す。
【発明を実施するための形態】
【００１８】
以下では、図面を参照しながら、本発明の各実施例について詳細に説明する。本発明の図面と実施例は例示的な説明のみを目的とし、本発明に対する保護の範囲を限定するものではないことを理解されたい。
【００１９】
明確化のため、まず本発明で使用する技術的用語について説明する。
【００２０】
１．辞書
辞書は、例えば、
【数１】
2011118872.tif 000003
（ｗｏｒｄ  ｗｏｏｄ）、ＨｏｗＮｅｔ、ＷｏｒｄＮｅｔなどの、一般に５００００以上のエントリを有する、未処理言語の中心語彙を記録する辞書を指す。辞書は１つ以上の語を含んでいる。各語に対して、品詞、カテゴリ、語義および例文などのような情報がタグ付けされている。テーブル１は、辞書のデータ構造の例を示している。ここでは、３つの語”北京”、”保健品”（健康管理用品）および”愉快”（幸福）が示され、各語がそれぞれ品詞とカテゴリを有する。
【００２１】
【表１】
2011118872.tif 000004
【００２２】
２．文集
文集はフリーテキストの集合である。フリーテキストは、文、段落、文章等であり、またそれらの任意の組合せである。
【００２３】
３．文字、直接要素および語
文字はテキストの最小単位である。例えば、中国語で、”天”、”我”および”好”が、それぞれ文字である。
【００２４】
直接要素：大きな単位を形成する小さな単位を大きな単位の要素と呼ぶ。従って、大きな単位を直接構成する小さな単位を大きな単位の直接要素と呼ぶ。
語の直接要素は音素あるいはその語より小さな語である。例えば、
【数２】
2011118872.tif 000005
の直接要素は、”科学”、
【数３】
2011118872.tif 000006
および”部”であり、”冰晶”の直接要素は、”冰”および”晶”である。
【００２５】
語は、１以上の文字によって形成される文字列であり、ある意味を有する。例えば、
【数４】
2011118872.tif 000007
は２文字で構成される語であり、
【数５】
2011118872.tif 000008
は３文字で構成される語である。
【００２６】
４．未登録語
未登録語は現在の辞書に含まれていない語である。
【００２７】
５．カテゴリ
カテゴリは、語義クラスと語義クラスより広い有効範囲を有す超クラス（supersense）を含む。
【００２８】
語義クラスは、例えば、”都市”、”感情”等である。語義クラスは、複数の語を含む。例えば、語”北京”と”上海”は、語義クラス”都市”に属する。語は複数の語義クラスを有する場合がある。例えば、語”腕”は、２つの語義クラス”身体部分”と”人間”を有する。
【００２９】
超クラスは語義クラスより広いカテゴリであり、例えば、”位置”、”物質”などである。”位置”は、語義クラス”都市”より広い範囲を有する。
【００３０】
本発明は、未登録語のカテゴリを決定する方法に関する。この方法は、語構成規則（word formation rule）に基づいて辞書から未登録語の同義語を選択するステップ、文集から未登録語のコンテキストを生成するステップ、及び未登録語のコンテキストおよび同義語に基づいて未登録語が属するカテゴリを決定するステップを有する。
【００３１】
本発明の実施の形態によれば、未登録語と１つ以上の語構成要素（word formation constituents）を共有する語は、未登録語の同義語として辞書から選択できることから、語構成規則に基づいて辞書から未登録語の同義語を選択する処理を実行する。本発明のさらに他の実施の形態によれば、語構成規則に基づいて辞書から未登録語の同義語を選択する処理は、以下のステップによって実現される。未登録語の品詞を決定するステップ、未登録語と１つ以上の語構成要素を共有する語を辞書から選択するステップ、選択した全ての語から未登録語と同じ品詞を有する語を未登録語の同義語として選択するステップを有する。
【００３２】
本発明の実施の形態によれば、文集から未登録語のコンテキストを生成する処理は、以下の、文集から未登録語を検索するステップ、ウィンドウ方式の適用により未登録語に隣接する文字を取り出すステップ、取り出した未登録語に隣接する文字に語分割を実行するステップ、語分割の後に得られた各語の重みを決定し、語分割の後に取得したそれぞれの語とそれらの重みを未登録語のコンテキストとして使用するステップによって実現される。本発明の他の実施の形態によれば、文集から未登録語のコンテキストを生成する処理は、以下の、文集から未登録語を検索するステップ、未登録語のコンテキストとして依存関係を用いるために、依存木方式によって未登録語の依存関係を分析するステップによって実現される。
【００３３】
本発明の実施の形態によれば、未登録語のコンテキストと同義語に基づいて未登録語が属するカテゴリを決定する処理は、同義語が属するカテゴリについて統計を取るステップ、各カテゴリに含まれる全ての語のコンテキストを、各カテゴリのコンテキストとして、文集から生成するステップ、未登録語のコンテキストと各カテゴリのコンテキストの間の類似度を計算するステップ、最大の類似度を有するカテゴリを未登録語が属するカテゴリとして決定するステップを含む。
本発明の他の実施の形態によれば、未登録語のコンテキストと同義語に基づいて未登録語が属するカテゴリを決定する処理は、文集から同義語のコンテキストを生成するステップ、未登録語のコンテキストと同義語のコンテキストの間の類似度を計算するステップ、計算によって取得した類似度に基づいて、同義語から集合を抽出するステップ、抽出した集合において同じカテゴリに属する同義語に対応する類似度を合計するステップ、合計した類似度に基づいて未登録語が属するカテゴリを決定するステップを含む。
本発明の他の実施の形態によれば、未登録語のコンテキストと同義語に基づいて未登録語が属するカテゴリを決定する処理は、文集から同義語のコンテキストを生成するステップ、未登録語のコンテキストと同義語のコンテキストの間の類似度を計算するステップ、同義語が属するカテゴリについて統計を取るステップ、同義語に関連付けた所定の重み係数を入力するステップ、入力した所定の重み係数に基づいて、関連する同義語に対応する類似度に重みを加えるステップ、重みが加えられた類似度に基づいて同義語から集合を抽出するステップ、抽出した集合中、同じカテゴリに属する同義語に対応する重みが加えられた類似度を合計するステップ、合計した類似度に基づいて未登録語が属するカテゴリを決定するステップを含む。
【００３４】
以下、本発明のそれぞれの実施の形態について詳細に説明する。
【００３５】
図１は、本発明の実施の形態による未登録語のカテゴリを決定するための装置１００のブロック図を示す。
【００３６】
本発明による未登録語のカテゴリを決定する装置１００は、同義語選択部１１０、コンテキスト生成部１２０およびカテゴリ決定部１３０を含んでいる。同義語選択部１１０は、語構成規則に基づいて辞書から未登録語の同義語を選択する。コンテキスト生成部１２０は、文集から未登録語のコンテキストを生成する。カテゴリ決定部１３０は、未登録語のコンテキストおよび同義語に基づいて未登録語が属するカテゴリを決定する。
【００３７】
本発明の実施の形態によれば、同義語選択部１１０は、未登録語と１つ以上の語構成要素を共有する語を未登録語の同義語として辞書から選択する手段を含むことが可能である。
本発明の実施の形態によれば、同義語選択部１１０は、未登録語の品詞を決定する手段と、辞書から未登録語と１つ以上の語構成要素を共有する語を選択する手段と、選択された全ての語から未登録語と同じ品詞を有する語を未登録語の同義語として選択する手段とを含むことも可能である。
【００３８】
本発明の実施の形態によるコンテキスト生成部１２０は、文集中の未登録語を検索する手段と、ウィンドウ方式の適用により未登録語に隣接する文字を取り出す手段と、取り出した未登録語に隣接する文字に語分割を実行する手段と、語分割の後に得られた各語の重みを決定し、語分割の後に取得したそれぞれの語とそれらの重みを未登録語のコンテキストとして使用する手段とを含むことが可能である。
【００３９】
本発明の実施の形態によるコンテキスト生成部１２０は、文集中の未登録語を検索する手段と、未登録語のコンテキストとして依存関係を用いるために、依存木方式によって未登録語の依存関係を分析する手段とを含むこともできる。
【００４０】
本発明の実施の形態によるコンテキスト生成部１２０は、文集から同義語のコンテキストを生成する手段をさらに含むことが可能である。
【００４１】
本発明の一実施の形態によれば、カテゴリ決定部１３０は、同義語が属するカテゴリについて統計を取る手段と、文集から各カテゴリに含まれる全ての語のコンテキストを、各カテゴリのコンテキストとして生成する手段と、未登録語のコンテキストと各カテゴリのコンテキストの類似度を計算する手段と、最大の類似度に相応するカテゴリを未知の語が属するカテゴリとして決定する手段とを含むことが可能である。
【００４２】
本発明の実施の形態によれば、カテゴリ決定部１３０は、未登録語のコンテキストと同義語のコンテキストとの類似度を計算する手段と、類似度に基づいて同義語から１つの集合を抽出する手段と、抽出した集合中の同じカテゴリに属する同義語に対応する類似度を合計する手段と、合計した類似度に基づいて未登録語が属するカテゴリを決定する手段とを含むことが可能である。
この実施の形態において、カテゴリ決定部１３０に含まれる、合計した類似度に基づいて未登録語が属するカテゴリを決定する手段は、Ｋ最近接アルゴリズムを実行する。
【００４３】
本発明の実施の形態によれば、カテゴリ決定部１３０は、未登録語のコンテキストと同義語のコンテキストの間の類似度を計算する手段と、同義語が属するカテゴリについての統計を取る手段と、同義語に関連する所定の重み係数を入力する手段と、入力した所定の重み係数に基づいて、関連する同義語に相応する類似度に重み付けをする手段と、類似度に基づいて同義語から集合を抽出する手段と、抽出した集合中の同じカテゴリに属する同義語に対応する重み付けされた類似度を合計する手段と、合計した類似度に基づいて未登録語が属するカテゴリを決定する手段とを含むことも可能である。
この実施の形態において、所定の重み係数の設定は以下のポリシーを満足する。
未登録語とカテゴリ内の語が最後の１文字と最後から２番目の文字を共有するならば、カテゴリに関連する所定の重み係数をλ１と設定する。
そうではなく、未登録語とカテゴリ内の語が最後の１文字と最初の１文字を共有するならば、カテゴリに関連する所定の重み係数をλ２と設定する。
そうではなく、未登録語とカテゴリ内の語が最初の１文字或いは最後の１文字を共有するならば、カテゴリに関連する所定の重み係数をλ３と設定する。
それ以外の場合、カテゴリに関連する所定の重み係数をλ４と設定する。
ここで、λ１≧λ２≧λ３≧λ４である。
この実施の形態において、カテゴリ決定部１３０に含まれる、類似度に基づいて同義語から集合を抽出する手段は、類似度を降順にソートする手段と、上位から順番に、所定数の類似度に対応する同義語を、集合に抽出する手段とを含むことが可能である。
【００４４】
図２は、本発明の実施の形態による未登録語のカテゴリを決定する方法のフローチャートを示す。
【００４５】
ステップ２０１において、語構成規則に基づいて、辞書から未登録語の同義語を選択する。
【００４６】
本発明の実施の形態による語構成規則は、語構成要素、要素属性および要素関係を含んでいる。語構成要素は、語を形成する文字および（または）直接要素等を含む。要素属性は、語の注釈、長さ、品詞を含む。また、要素関係は、語の各要素間の関係（例えば、並列、修飾、限定など）を含む。
【００４７】
一例において、未登録語と１つ以上の文字および（または）直接要素を共有する語が辞書から未登録語の同義語として選択される。
例えば、未登録語が”基”および”民”を含む２文字の”基民”であると仮定する。辞書において、文字”基”を含む語が
【数６】
2011118872.tif 000009
、”基本”、”奠基者”、”地基”であり、および”民”を含む語が”人民”（人々）および”民主”であると仮定すると、これらの語を全て未登録語”基民”の同義語とみなす。この時、同義語の集合は、｛
【数７】
2011118872.tif 000010
、”基本”、”奠基者”、”地基”、”人民”、”民主”｝となる。図３において示される例はこの実施の形態を記述している。
【００４８】
さらに、他の例において、名詞、形容詞、動詞などの未登録語の品詞が、まず決定され、その後、１以上文字および（または）直接要素を共有する語が辞書から選択される。そして、未登録語と同じ品詞を有する語が、未登録語の同義語として選び出される。図４および図５において示す例は、この実施の形態を記述している。
【００４９】
ステップ２０２で、未登録語のコンテキストを文集から生成する。
【００５０】
本発明の実施の形態によれば、語のコンテキストは、ウィンドウ（window）方式を適用することにより、依存木方式（dependent tree mode）あるいは当業者にとって既知の他の方式で生成される。
【００５１】
以下、ウィンドウ方式を適用して文書から所定の語のコンテキストをどのように取得するかについて説明する。
所定の語が
【数８】
2011118872.tif 000011
で、文集が複数の文を含むと仮定する。ここで、１文が
【数９】
2011118872.tif 000012
であり、ウィンドウのサイズを”６”に設定する。
【００５２】
まず、この語を文集内で検索する。
この例では、語
【数１０】
2011118872.tif 000013
が文
【数１１】
2011118872.tif 000014
に含まれることが検索される。
【００５３】
次に、語
【数１２】
2011118872.tif 000015
に隣接する文字がウィンドウ方式を適用することによって取り出される。
サイズ６のウィンドウは、文集中この語を含む文あるいは段落において、この語をカバーする方法で定義される。
この語をカバーする方式は、例えば、隣接する直前の３文字”好把握”および隣接する後続の３文字”毎个人”が、語
【数１３】
2011118872.tif 000016
を中心として取り出されること、あるいは、この語から始まって次に続く隣接する６文字”毎个人的人生”が取り出されること、あるいは、この語を最後として隣接する直前の６文字”一定好好把握”が取り出されること、あるいは、隣接する直前の１又は２文字と隣接する次の５又は４文字が取り出されること等を意味している。
【００５４】
ウィンドウのサイズと等しい数の文字を切り出した後、該当語に隣接する切り出し済みの語について語分割を実行する。
例えば、該当語（すなわち、
【数１４】
2011118872.tif 000017
）を中心として近接する直前の３文字”好把握”および近接する後続の３文字”毎个人”が切り出された場合、文字”好把握”および”毎个人”の２つのグループが取得され、その後、２つのグループの文字について語分割が実行され、例えば、以下の語分割結果が取得される。”好”、”把握”、”毎个”、”人”
【００５５】
次に、語分割後に取得されたそれぞれの語の重みが決定される。
語分割後に取得された結果は、対応するベクトル<v1, v2, ..., vn
>を有している。ここで、ｎはこの語の語分割結果の個数を示す。
上記の例においては、合計で４語の語分割結果がある。従って、ｎ＝４であり、viが対応する語の重み（ｉ＝１，・・・，ｎ）を示している。
例えば、ＴＦＩＤＦ−word frequency × inverse document frequency（語頻度×逆文書頻度）、ＢＯＯＬ（存在するかどうか）、ＩＤＦ−inverse document frequency（逆文書頻度）、ＰＭＩ-pointwise mutual information（自己相互情報量）等の複数の重み計算方法が存在する。
通常、語のコンテキストの出現回数はその語の意義の決定にほとんど寄与しない、一方それが出現するかどうかは決定的な重要性を有する。したがって、本発明の実施の形態においては、ＩＤＦ−inverse document frequency（逆文書頻度）が重みを計算するのに使用される。
【００５６】
上記の処理を通して、語分割後に取得された各語とそれらの重みが取得され、また、取得されたそれらの語および重みが対象となる語のコンテキストとして使用される。
【００５７】
その他に、文集中の未登録語の検索および依存木方式における未登録語の分析によって、分析によって取得された依存性が対象となる語のコンテキストとして使用される。
【００５８】
上記のコンテキスト生成方法を通して、未登録語のコンテキストが取得される。
【００５９】
ステップ２０３で、未登録語のコンテキストおよび同義語に基づいて未登録語が属するカテゴリを決定する。
【００６０】
未登録語のコンテキストおよび同義語に基づいて未登録語が属するカテゴリを決定する処理は、複数の方法で実現することが可能である。図３から図５の以下の詳細な説明において、未登録語のコンテキストと同義語に基づいて未登録語が属するカテゴリを決定する複数の実施例を示す。
【００６１】
図３において示す実施例において、まず、これらの同義語がそれぞれどのカテゴリに属するかを判定するために、未登録語の同義語について統計を取る。その後、それぞれのカテゴリのコンテキストを生成する。ここで、それぞれのカテゴリのコンテキストは、文集から生成されたそれぞれのカテゴリに包含されるすべての語のコンテキストに基づいて取得される。次に、関連技術における既知又は一般的な類似度計算方法を使用して、未登録語のコンテキストと各カテゴリのコンテキストの間の類似度を計算する。最後に、最大の類似度に対応するカテゴリを、未登録語が属するカテゴリとして決定する。
【００６２】
図４において示す実施例において、まず、同義語のコンテキストを文集から生成する。ここでは、ステップ２０２における未登録語のコンテキストを生成する場合と同じ実現方法と同じ用いる。その後、未登録語のコンテキストと同義語のコンテキストの間の類似度を計算する。計算した類似度に基づいて未登録語の同義語から集合（この集合は予め定めた数の同義語を含む）を抽出する。次に、抽出した集合中同じカテゴリに属する同義語に対応する類似度を合計する。最後に、合計した類似度に基づいて未登録語が属するカテゴリを決定する。
図４に示す実施例においては、例えば、Ｋ最近接（ＫＮＮ）アルゴリズム（K-nearest Neighbor algorithm）あるいは当業者にとって周知の他の方法を利用することができる。
【００６３】
図５において示す実施例においては、まず、文集から同義語のコンテキストを生成し、未登録語のコンテキストと同義語のコンテキストの間の類似度を計算する。
その後、重み係数を用いて計算した類似度を重み付けすることにより、最適な類似度結果を取得する。さらに、最適な類似度に基づいて未登録語が属するカテゴリを決定する。具体的には、まず、同義語のコンテキストを文集から生成する。未登録語のコンテキストと同義語のコンテキストの間の類似度を計算する。同義語が属するカテゴリについて統計を取る。同義語に関連した所定の重み係数を入力する。入力した所定の重み係数に基づいて関連する同義語に対応する類似度を重み付けする。
そして、重み付けした類似度に基づいて未登録語の同義語から集合（この集合は予め定めた数の同義語を含む）を抽出する。集合中同じカテゴリに属する同義語の重み付けした類似度を合計する。合計した類似度に基づいて未登録語が属するカテゴリを決定する。
【００６４】
以下、図３〜５の実施例について詳細に説明する。
【００６５】
図３は、本発明の他の実施例による未登録語のカテゴリを決定する方法のフローチャートを示す。
【００６６】
ステップ３０１で、未登録語を入力する。
【００６７】
この実施例においては、入力した未登録語が”冰晶”であると仮定する。
【００６８】
ステップ３０２で、未登録語と１つ以上の語構成要素を共有する語を、未登録語の同義語として辞書から選択する。
【００６９】
上述したように、語構成規則は、語構成要素、要素属性および要素関係等を含んでいる。一方、語構成要素は、語を形成する文字および（または）直接要素等を含んでいる。未登録語と辞書が与えられると、辞書中の語がその未登録語と１つ以上の語構成要素を共有すれば、それらは全て未登録語の同義語として認められ、同義語集合内に置かれる。上記は、語構成規則に基づいて辞書から未登録語の同義語を選択するのための具体的な実現方法と認められる。
【００７０】
以下に、同じ文字を共有する例を提示する。
例えば、未登録語が２文字”冰”および”晶”からなる”冰晶”であると想定する。
辞書中の文字”冰”を含む語が”冰刀”、
【数１５】
2011118872.tif 000018
、”冰雨”および”冰雪”であり、文字”晶”を含む語が”水晶”、”晶粒”および”晶体”あると想定すると、このとき、未登録語の同義語の集合={“冰刀”,
【数１６】
2011118872.tif 000019
,”冰雨”,”冰雪”,”水晶”,”晶粒”,”晶体”}となる。
【００７１】
ステップ３０３で、未登録語のコンテキストを文集から生成する。
【００７２】
未登録語のコンテキストは、ウィンドウ方式を適用することにより、依存木方式あるいは当業者に既知の他の方式で生成される。具体的な実現方法はステップ２０２において説明したので、ここでは説明を省略する。
【００７３】
ステップ３０４で、同義語が属するカテゴリについて統計を取る。このステップにおいては、未登録語のそれぞれの同義語のカテゴリを取得し、その後、それらについて統計を取り、それらの同義語が属する全てのカテゴリをそれぞれ決定する。
【００７４】
例えば、”冰刀”はカテゴリＣ１に属し、
【数１７】
2011118872.tif 000020
はカテゴリＣ２に属する。”冰雨”と”冰雪”はカテゴリＣ４に属する。また、”水晶”、”晶粒”、”晶体”はカテゴリＣ３に属する。
前述したように、辞書中の語はそれぞれ、品詞、カテゴリ、語義、例文及び他の情報のタグが付けられている。したがって、各語がどのカテゴリに属するかは直接辞書から導き出すことが可能である。さらに、語のカテゴリは手作業で設定することも可能である。
【００７５】
この例において、カテゴリＣ１に属する語が”冰刀”を含み、カテゴリＣ２に属する語が
【数１８】
2011118872.tif 000021
を含み、カテゴリＣ３に属する語が”水晶”、”晶粒”、”晶体”を含み、カテゴリＣ４に属する語が”冰雨”と”冰雪”を含む。
【００７６】
このことから、未登録語”冰晶”の同義語の属するカテゴリがそれぞれＣ１、Ｃ２、Ｃ３およびＣ４であることが取得される。
【００７７】
ステップ３０５で、各カテゴリ内に含まれる全ての語のコンテキストを、各カテゴリのコンテキストとして文集から生成する。
【００７８】
このステップでは、まず、それぞれのカテゴリ内に含まれている語を全て確定する。
例えば、カテゴリＣ１が”冰刀”の他に、さらに
【数１９】
2011118872.tif 000022
および”大刀”を含むとすると、Ｃ１＝｛”冰刀”、
【数２０】
2011118872.tif 000023
、”大刀”｝と記録する。
カテゴリＣ２が
【数２１】
2011118872.tif 000024
の他にさらに
【数２２】
2011118872.tif 000025
を含むとすると、
【数２３】
2011118872.tif 000026
と記録する。
一方、カテゴリＣ３が”水晶”、”晶粒”、”晶体”だけを含むならば、Ｃ３＝｛”水晶”、”晶粒”、”晶体”｝と記録し、カテゴリＣ４が”冰雨”、”冰雪”だけを含むならば、Ｃ４＝｛”冰雨”、”冰雪”｝と記録する。
【００７９】
ステップ２０２で説明したような文集から語のコンテキストを生成する方法によれば、上記４つ以上のカテゴリＣ１−Ｃ４内に含まれる各語のコンテキストが生成される。各カテゴリに含まれる全ての語のコンテキストは、各カテゴリのコンテキストとして考えられる。
例えば、カテゴリＣ１に含まれる
【数２４】
2011118872.tif 000027
のコンテキスト、”大刀”のコンテキスト及び”冰刀”のコンテキストは、共にカテゴリＣ１のコンテキストとすることができ、Ｃ１のコンテキスト＝｛”冰刀”のコンテキスト、
【数２５】
2011118872.tif 000028
のコンテキストおよび”大刀”のコンテキスト｝と記録する。
【００８０】
ステップ３０６で、未登録語のコンテキストと各カテゴリのコンテキストとの間の類似度を計算する。
【００８１】
前述したように、未登録語のコンテキストはベクトルと見なすことができ、かつカテゴリのコンテキストについてもそこに含まれるすべての語のコンテキストを組み合わせたものあることからベクトルと見なすことができる。
したがって、ベクトルのコサイン距離を利用して２つのベクトル間の類似度を計算することができる。
コサイン距離は、式（１）で表される。
【数２６】
2011118872.tif 000029
ここで、ＸとＹは２つのベクトルであり、ｎはＸとＹのベクトルの長さを示し、ｘｊとｙｊはＸベクトルとＹベクトル中のｊ番目の要素を示す。
【００８２】
本発明に関する例によれば、Ｘは未登録語のコンテキストであり、Ｙはカテゴリのコンテキストであり、一方、ｘｊとｙｊはＸとＹのコンテキスト中のｊ番目の要素に対応する重みをそれぞれ示している。
２つのコンテキスト内に含まれている要素の数が異なるならば、２つのベクトルの全ての要素が、新たなコンテキスト・ベクトルＸ’およびＹ’を再構成するために抽出される。
Ｘ’について、Ｘ’内の要素がＸ内に出現しなければ、対応する重みを０として設定する。
しかしながら、ＸとＹの間の類似度の計算は、式（１）によってＸ’とＹ’の間の類似度を計算することにより実施される。
上記のコサイン距離の計算を通して、未登録語のコンテキストとそれぞれのカテゴリのコンテキストの間の類似度は、次のように取得される。
Sim(context(冰晶），context(C1)) = 0.71，
Sim(context(冰晶），context(C2)) = 0.67，
Sim(context(冰晶)，context(C3))
= 0.81，
Sim(context(冰晶)，context(C4))
= 0.65，
ここで、context（冰晶）は、語（冰晶）のコンテキストを示し、context（Ｃ１）は、カテゴリＣ１のコンテキストを示す。そして、Ｓｉｍ（Ａ、Ｂ）は、ＡとＢの間の類似度を示す。
従って、未登録語”冰晶”のコンテキストとカテゴリＣ１、Ｃ２、Ｃ３、Ｃ４のコンテキスト間の類似度は、それぞれ、０．７１，０．６７，０．８１，０．６５である。
【００８３】
なお、２つの間の類似度については、当業者によって既知の他の方法によって計算することが可能である。
【００８４】
ステップ３０７で、最大の類似度に対応するカテゴリを未登録語のカテゴリとして決定する。
【００８５】
ステップ３０６で計算される類似度の比較によって、未登録語”冰晶”のコンテキストとカテゴリＣ３のコンテキストの間の類似度が最も高いことが分かる。その結果、未登録語”冰晶”のカテゴリはカテゴリＣ３として確定される。
【００８６】
図４は、本発明の他の実施の形態による未登録語のカテゴリを決定する方法のフローチャートを示す。
【００８７】
ステップ４０１で、未登録語を入力する。
【００８８】
この実施の形態においては、図３の実施の形態と同様に、受信した未登録語が”冰晶”であると仮定する。
【００８９】
ステップ４０２で、未登録語の品詞を決定する。
【００９０】
未登録語の品詞の決定するためには複数の方法が存在する。例えば、未登録語の品詞を既知の様々なモデルを使用して推測することも可能であるし、あるいは人為的なタグ付けによって決定することも可能である。この例において、未登録語”冰晶”の品詞が名詞であると仮定する。
【００９１】
ステップ４０３で、未登録語と語構成要素を共有する語を辞書から選択する。
【００９２】
例えば、ステップ３０２と同じように、未登録語が”冰晶”であると仮定すると、未登録語”冰晶”と１文字を共有する集合は｛”冰刀”、
【数２７】
2011118872.tif 000030
、”冰雨”、”冰雪”、”水晶”、”晶粒”｝であることが判定される。
【００９３】
この時、ステップ３０２と異なるのは、上記集合は未登録語の同義語として直接取得されず、かつステップ４０４における品詞フィルタリング処理が続いて実行されることである。
【００９４】
ステップ４０４で、未登録語と同じ品詞を持つ語を未登録語の同義語として上記選択した語から選び出す。
【００９５】
前述したように、語構成規則は、語構成要素、要素属性および要素関係を含んでおり、かつ要素属性は、語の注釈、長さ、品詞等を含んでいる。
図４の実施の形態においては、語構成規則中の品詞を利用して未登録語の同義語の選択を実行する。
【００９６】
この実施の形態においては、ステップ４０２から未登録語”冰晶”の品詞が名詞であることが決定でき、また集合{"冰刀",
【数２８】
2011118872.tif 000031
,"冰雨","冰雪","水晶","晶粒"}のそれぞれの語の品詞は辞書から取得できる。よって、ステップ４０４で、集合中の名詞が未登録語”冰晶”の同義語として選択される。
【００９７】
ステップ４０５で、未登録語のコンテキストを文集から生成する。
【００９８】
語のコンテキストは、ウィンドウ方式を適用することにより、依存木方式あるいは当業者にとって既知の他の方式で生成される。具体的な実現方法はステップ２０２において説明したので、ここでは説明を省略する。
【００９９】
ステップ４０６で、同義語のコンテキストを文集から生成する。
【０１００】
同義語のコンテキストは、ウィンドウ方式を適用することにより、依存木方式あるいは当業者にとって既知の他の方式で生成される。具体的な実現方法はステップ２０２において説明したので、ここでは説明を省略する。
【０１０１】
ステップ４０７で、未登録語のコンテキストと同義語のコンテキストの間の類似度を計算する。
【０１０２】
前述したように、未登録語のコンテキストはベクトルと見なすことができ、かつ同義語のコンテキストについてもベクトルと見なすことができる。したがって、ベクトルのコサイン距離の式（１）を利用して２つのベクトル間の類似度を計算することができる。
【０１０３】
本発明に関する例によれば、Ｘは未登録語のコンテキストであり、Ｙは未登録語の同義語のコンテキストであり、一方、ｘｊとｙｊはＸとＹのコンテキスト中のｊ番目の要素に対応する重みをそれぞれ示している。
上記のコサイン距離の計算を通して、未登録語のコンテキストとその同義語のコンテキストの間の類似度は、次のように取得される。
Sim(context(冰晶)，context(冰刀))
= 0.30，
Sim(context(冰晶)，context
【数２９】
2011118872.tif 000032
) = 0.67，
Sim(context(冰晶），context(水晶)) = 0.81，
Sim(context(冰晶），context(晶粒)) = 0.74，
Sim(context(冰晶），context(冰雨)) = 0.69，
Sim(context(冰晶)，context(冰雪))
= 0.56，
ここで、context(冰晶)は未登録語”冰晶”のコンテキストを示し、context(冰刀)は未登録語”冰晶”の同義語”冰刀”のコンテキストを示す。そして、Ｓｉｍ（Ａ、Ｂ）は、ＡとＢの間の類似度を示す。
従って、未登録語”冰晶”と同義語”冰刀”，
【数３０】
2011118872.tif 000033
，”水晶”，”晶粒”，”冰雨”，”冰雪”との間の類似度は、それぞれ、０．３０，０．６７，０．８１，０．７４，０．６９，０．５６である。
【０１０４】
ステップ４０８で、類似度に基づいて未登録語の同義語から１つの集合を抽出する。
【０１０５】
抽出される集合中の同義語の数を予め設定する。一例において、その集合は、所定数の同義語を含むように設定される。所定数は、未登録語の同義語の合計数以下の任意の数である。本実施の形態においては、所定数をＫとし、所定数が５であると仮定する。すなわち、Ｋ＝５と仮定する。
【０１０６】
まず、ステップ４０７で取得した類似度を、降順にソートする。
【０１０７】
本実施の形態においては、ステップ４０７で、計算された合計６つの類似度がある。降順にそれらをソートすることで、以下の順序を取得する。
０．８１，０．７４，０．６９，０．６７，０．５６
また、この順序の類似度に対応する同義語は、それぞれ、”水晶”、”晶粒”、”冰雨”、
【数３１】
2011118872.tif 000034
、”冰雪”、”冰刀”である。
【０１０８】
その後、上位から順番に、所定数の類似度に対応する同義語を、集合に抽出する。
【０１０９】
この実施の形態においては、所定数Ｋ＝５であり、未登録語について合計で６つの同義語があるので、降順にソートされた類似度のうち最初の５つの類似度、すなわち、０．８１、０．７４、０．６９、０．６７、０．５６が選択される。
そして、これらの類似度に対応する同義語”水晶”,”晶粒”,”冰雨”,
【数３２】
2011118872.tif 000035
,”冰雪”を集合に加えるために集合のメンバとして抽出する。
【０１１０】
ステップ４０９で、集合中、同じカテゴリに属する同義語に対応する類似度を合計する。
【０１１１】
このステップにおいて、まず、未登録語の同義語が属するカテゴリを決定する。それはステップ３０４の方法に従って実施され、それによってステップ３０４と同じ結果が得られる。すなわち、カテゴリＣ２に属する語が
【数３３】
2011118872.tif 000036
を含み、カテゴリＣ３に属する語は”水晶”、”晶粒”、”晶体”を含み、カテゴリＣ４に属する語が”冰雨”、”冰雪”を含む。
従って、ステップ４０８で抽出した集合に含まれる同義語は、それぞれ、Ｃ２、Ｃ３およびＣ４に属する。
【０１１２】
次に、未登録語のコンテキストと同じカテゴリに属する同義語のコンテキストの間の類似度を合計し、その結果として、未登録語とそれぞれのカテゴリの間の類似度を得る。例えば、以下のように未登録語とそれぞれのカテゴリの間の類似度を得る。
Sim(冰晶，C2)=Sim(context(冰晶)，context
【数３４】
2011118872.tif 000037
) = 0.67，
Sim(冰晶，C3)=Sim(context(冰晶)，context(水晶))+Sim(context(冰晶)，
context(晶粒)) = 1.55，
Sim(冰晶，C4)=Sim(context(冰晶)，context(冰雨))+Sim(context(冰晶)，
context(冰雪)) = 1.25
【０１１３】
ステップ４１０で、合計された類似度に従って未登録語のカテゴリを決定する。
【０１１４】
ステップ４０９で取得した未登録語とそれぞれのカテゴリの間の類似度をソートする。それにより、未登録語”冰晶”とカテゴリＣ３の間の類似度が最も高いことが分かる。その結果、カテゴリＣ３が未登録語のカテゴリとして決定される。
【０１１５】
さらに、本発明のいくつかの実施の形態においては、合計した類似度に基づいて未登録語が属するカテゴリを決定するのにその他のルールを利用することも可能である。
例えば、未登録語とそれぞれのカテゴリの間の最大の類似度が選択されないことがあるが、この場合、類似度中の中間の値に対応するカテゴリを未登録語のカテゴリとして決定する。
【０１１６】
図５は、本発明のさらに他の実施の形態による未登録語のカテゴリを決定する方法のフローチャートを示す。
【０１１７】
ステップ５０１で、未登録語を入力する。
【０１１８】
この実施の形態において、入力した未登録語が
【数３５】
2011118872.tif 000038
であると仮定する。
【０１１９】
ステップ５０２で、未登録語と１つ以上の語構成要素を共有する語を、未登録語の同義語として辞書から選択する。
【０１２０】
ステップ３０２と同じように、
ステップ５０２で語構成規則に基づいて選択された未登録語の同義語は、
【数３６】
2011118872.tif 000039
、”厂主”である。
【０１２１】
ステップ５０３で、未登録語のコンテキストを文集から生成する。
【０１２２】
未登録語のコンテキストは、ウィンドウ方式を適用することにより、依存木方式あるいは当業者にとって既知の他の方式で生成される。具体的な実現方法はステップ２０２において説明したので、ここでは説明を省略する。
【０１２３】
ステップ５０４で、同義語のコンテキストを文集から生成する。
【０１２４】
未登録語の同義語のコンテキストは、ウィンドウ方式を適用することにより、依存木方式あるいは当業者にとって既知の他の方式で生成される。具体的な実現方法はステップ２０２において説明したので、ここでは説明を省略する。
【０１２５】
ステップ５０５で、未登録語のコンテキストと同義語のコンテキストの間の類似度を計算する。
【０１２６】
このステップはステップ４０７と同様であるので、ここでは詳細を説明しない。ステップ５０５で、未登録語
【数３７】
2011118872.tif 000040
のコンテキストとその同義語のコンテキストの間の類似度が、次のように取得される。
【数３８】
2011118872.tif 000041
【０１２７】
ステップ５０６で、同義語が属するカテゴリについて統計を取る。
【０１２８】
このステップは、ステップ３０４において説明した方法で実現され、以下の結果を得る。
カテゴリＣ１に属する語は
【数３９】
2011118872.tif 000042
を含み、カテゴリＣ２に属する語は
【数４０】
2011118872.tif 000043
と
【数４１】
2011118872.tif 000044
を含み、カテゴリＣ３に属する語は
【数４２】
2011118872.tif 000045
を含み、そして、カテゴリＣ４に属する語は
【数４３】
2011118872.tif 000046
と”厂主”を含む。
【０１２９】
ステップ５０７で、同義語に関連する所定の重み係数を入力する。
【０１３０】
カテゴリの決定のために、語のコンテキストは非常に重要であり、また、同様に、語の構造情報は、カテゴリの判定にとって非常に重要である。従って、本発明は、混合類似度の概念、すなわち語の構造情報を用いて未登録語のコンテキストと同義語のコンテキストの間の類似度を重み付けすることを提案する。
本実施の形態において、語の構造情報は、例えば所定の重み係数λ（ｗ、ｗｉ）である。所定の重み係数を用いて未登録語のコンテキストと同義語のコンテキストの間の類似度に重みを加えることは、以下の式において示される。
【０１３１】
Sim(w, wi)
= λ(w,wi) * CTS(w, wi)                     
（2）
ここで、ｗは未登録語である。ｗｉは未登録語の同義語である。λ（ｗ、ｗｉ）は、未登録語ｗおよび同義語ｗｊの構造情報に基づく重み係数を指す。そして、ＣＴＳ（ｗ、ｗｉ）は、未登録語ｗのコンテキストとその同義語ｗｊのコンテキストの間の類似度を示す。
【０１３２】
重み係数を設定するには複数の方法を使用することが可能である。１つの実施例では、重み係数の設定は以下のポリシーを満足する必要がある。
未登録語ｗとその同義語ｗｊが最後の１文字と最後から２番目の文字を共有するならば、所定の重み係数λ（ｗ、ｗｉ）をλ１として設定する。
例えば、
【数４４】
2011118872.tif 000047
そうではなく、
未登録語ｗおよびその同義語ｗｊが最後の１文字と最初の１文字を共有しならば、所定の重み係数λ（ｗ、ｗｉ）をλ２として設定する。
例えば
【数４５】
2011118872.tif 000048
そうではなく、
未登録語ｗおよびその同義語ｗｊが最初の１文字或いは最後の１文字を共有するならば、所定の重み係数λ（ｗ、ｗｉ）をλ３として設定する。
例えば、λ（基民、市民）＝λ３
【０１３３】
それ以外の場合、重み係数λ（ｗ、ｗｉ）をλ４と設定する。
ここで、λ１≧λ２≧λ３≧λ４であり、対応する数字は試験を通して取得される。
【０１３４】
ステップ５０８で、所定の重み係数の用いて関連する同義語に対応する類似度に重み付けを行う。
【０１３５】
一例において、ステップ５０７によって、
【数４６】
2011118872.tif 000049
は、λ４＝０．３８２とそれぞれ設定され、
【数４７】
2011118872.tif 000050
はλ２＝１０と設定される。
【０１３６】
ステップ５０７によって取得した上記重み係数、およびステップ５０５によって取得した未登録語のコンテキストと同義語のコンテキストの間の類似度は、式（２）に適用され、その結果、以下に示すような重み付けされた類似度が得られる。
【数４８】
2011118872.tif 000051
【０１３７】
ステップ５０９で、類似度に基づいて未登録語の同義語から集合を抽出する。
【０１３８】
このステップはステップ４０８と類似している。まず、ステップ５０７で取得した重みが加えられた類似度を、降順にソートする。その後、上位から順番に、所定数の類似度に対応する同義語を、集合に抽出する。
【０１３９】
この実施の形態において、同様に設定回数Ｋ＝５と仮定しているので、降順にソートされた類似度のうち最初の５つの類似度、すなわち、３．０、０．１７２、０．１１５、０．１０３、０．０７６が選択される。
そして、これらの類似度に相応する同義語
【数４９】
2011118872.tif 000052
、”厂主”を集合に加えるために集合のメンバとして抽出する。
【０１４０】
ステップ５１０で、集合中、同じカテゴリに属する同義語に対応する類似度を合計する。
【０１４１】
このステップ５１０はステップ４０９に類似している。
【０１４２】
まず、ステップ５０６の結果から、抽出された集合中の
【数５０】
2011118872.tif 000053
および
【数５１】
2011118872.tif 000054
がカテゴリＣ２に属し、
【数５２】
2011118872.tif 000055
がカテゴリＣ３に属し、そして、
【数５３】
2011118872.tif 000056
と”厂主”がカテゴリＣ４に属することが分かる。
これにより、ステップ５０９で抽出された集合に含まれる同義語は、それぞれＣ２、Ｃ３およびＣ４に属し、かつ、これらのカテゴリがすなわち未登録語の候補カテゴリである。
【０１４３】
次に、未登録語のコンテキストと、同じカテゴリに属する同義語のコンテキストの間の類似度を合計し、その結果として、未登録語とそれぞれのカテゴリの間の類似度を取得する。例えば、以下のように類似度を取得する。
【数５４】
2011118872.tif 000057
【０１４４】
ステップ５１１で、合計された類似度に従って未登録語のカテゴリを決定する。
【０１４５】
ステップ５１０で取得した未登録語とそれぞれのカテゴリの間の類似度をソートする。これにより、未登録語
【数５５】
2011118872.tif 000058
とカテゴリＣ３の間の類似度が最も高いことが分かる。その結果、カテゴリＣ３が未登録語のカテゴリとして決定される。
【０１４６】
本発明によれば、未登録語の同義語を語構成規則に基づいて辞書から選択し、未登録語のコンテキストを文集から生成する。そして、未登録語のコンテキストおよび同義語に基づいて未登録語が属するカテゴリを決定する。
本発明は、関連技術における性能低下の問題を解決し、高いカバー範囲でカテゴリ選択を実現するために語構成規則に基づいて既存の辞書からどのように自動的に同義語を選択するかの問題を解決する。
そして、正確に語義類似度を計算するために語構造的情報およびコンテキスト情報をどのようにマージするかという問題を解決する。
【０１４７】
本発明による方法は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアとの組み合わせにとして実現することができる。ハードウェア部分は専用ロジックを使用して実装でき、ソフトウェア部分は、メモリ内に格納しておき、マイクロプロセッサ、パーソナルコンピュータ（ＰＣ）、メインフレーム等の適切な命令実行システムによって実行することができる。
【０１４８】
上記の説明では、本発明をより理解しやすくするため、本発明の実現には必須とされるが、当該技術に精通した当業者には広く知られている技術の詳細を一部省略している。
【０１４９】
本発明の説明は例示と説明を目的として記載したものであり、すべての実施例を網羅することや、本発明を上記の形態に限定することを意図するものではない。多数の変更や改変が可能なことは、当該技術の通常の技量を有する当業者には明らかであろう。
【０１５０】
したがって、上記の実施例は、本発明の原理と実用用途とをより明快に説明すると共に、本発明の精神から逸脱することなくなされたすべての変更および改変は付記される請求項に定義される本発明の保護範囲に含まれることを、当該技術の通常の技量を有する当業者が理解する上での助けとすることを目的として、選択され説明されたものである。
【０１５１】
さらに、上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、これに限定されない。
【０１５２】
（付記１）
語構成規則に基づいて未登録語の同義語を辞書から選択するステップと、
文集から未登録語のコンテキストを生成するステップと、
未登録語のコンテキストと同義語に従って未登録語のカテゴリを決定するステップと
を含むことを特徴とする未登録語のカテゴリ決定方法。
【０１５３】
（付記２）
前記語構成規則が、語構成要素、要素属性および要素関係を含むことを特徴とする付記１に記載の未登録語のカテゴリ決定方法。
【０１５４】
（付記３）
語構成規則に基づいて未登録語の同義語を辞書から選択するステップが、未登録語と１つ以上の語構成要素を共有する語を未登録語の同義語として辞書から選択するステップを含むことを特徴とする付記２に記載の未登録語のカテゴリ決定方法。
【０１５５】
（付記４）
語構成規則に基づいて未登録語の同義語を辞書から選択するステップが、
未登録語の品詞を決定するステップと、
未登録語と１つ以上の語構成要素を共有する語を辞書から選択するステップと、
選択した全ての語から未登録語と同じ品詞を有する語を未登録語の同義語として選択するステップとを含むことを特徴とする付記２に記載の未登録語のカテゴリ決定方法。
【０１５６】
（付記５）
文集から未登録語のコンテキストを生成するステップが、
文集から未登録語を検索するステップと、
ウィンドウ方式の適用により未登録語に隣接する文字を取り出すステップと、
取り出した未登録語に隣接する文字に語分割を実行するステップと、
語分割の後に得られた各語の重みを決定し、語分割の後に取得したそれぞれの語とそれらの重みを未登録語のコンテキストとして使用するステップとを含むことを特徴とする付記１に記載の未登録語のカテゴリ決定方法。
【０１５７】
（付記６）
文集から未登録語のコンテキストを生成するステップが、
文集から未登録語を検索するステップと、
未登録語のコンテキストとして依存関係を用いるために、依存木方式によって未登録語の依存関係を分析するステップとを含むことを特徴とする付記１に記載の未登録語のカテゴリ決定方法。
【０１５８】
（付記７）
未登録語のコンテキストと同義語に基づいて未登録語が属するカテゴリを決定するステップが、
同義語が属するカテゴリについて統計を取るステップと、
各カテゴリに含まれる全ての語のコンテキストを、各カテゴリのコンテキストとして、文集から生成するステップと、
未登録語のコンテキストと各カテゴリのコンテキストの間の類似度を計算するステップと、
最大の類似度を有するカテゴリを未登録語が属するカテゴリとして決定するステップとを含むことを特徴とする付記１に記載の未登録語のカテゴリ決定方法。
【０１５９】
（付記８）
未登録語のコンテキストと同義語に基づいて未登録語が属するカテゴリを決定するステップが、
文集から同義語のコンテキストを生成するステップと、
未登録語のコンテキストと同義語のコンテキストの間の類似度を計算するステップと、
計算によって取得した類似度に基づいて、同義語から集合を抽出するステップと、
抽出した集合において同じカテゴリに属する同義語に対応する類似度を合計するステップと、
合計した類似度に基づいて未登録語が属するカテゴリを決定するステップとを含むことを特徴とする付記１に記載の未登録語のカテゴリ決定方法。
【０１６０】
（付記９）
未登録語のコンテキストと同義語に基づいて未登録語が属するカテゴリを決定するステップが、
文集から同義語のコンテキストを生成するステップと、
未登録語のコンテキストと同義語のコンテキストの間の類似度を計算するステップと、
同義語が属するカテゴリについて統計を取るステップと、
同義語に関連付けた所定の重み係数を入力するステップと、
入力した所定の重み係数に基づいて、関連する同義語に対応する類似度に重みを加えるステップと、
重みが加えられた類似度に基づいて同義語から集合を抽出するステップと、
抽出した集合中、同じカテゴリに属する同義語に対応する重みが加えられた類似度を合計するステップと、
合計した類似度に基づいて未登録語が属するカテゴリを決定するステップを含むことを特徴とする付記１に記載の未登録語のカテゴリ決定方法。
【０１６１】
（付記１０）
所定の重み係数の設定が、
未登録語とカテゴリ内の語が最後の１文字と最後から２番目の文字を共有するならば、カテゴリに関連する所定の重み係数をλ１と設定し、
そうではなく、未登録語とカテゴリ内の語が最後の１文字と最初の１文字を共有するならば、カテゴリに関連する所定の重み係数をλ２と設定し、
そうではなく、未登録語とカテゴリ内の語が最初の１文字或いは最後の１文字を共有するならば、カテゴリに関連する所定の重み係数をλ３と設定し、
それ以外の場合、カテゴリに関連する所定の重み係数をλ４と設定する
ここで、λ１≧λ２≧λ３≧λ４である
ポリシーを満たすことを特徴とする付記９に記載の未登録語のカテゴリ決定方法。
【０１６２】
（付記１１）
類似度に基づいて同義語から集合を抽出するステップが、
類似度を降順にソートするステップと、
上位から順番に、所定数の類似度に対応する同義語を、集合に抽出するステップとを含むことを特徴とする付記８又は付記９に記載の未登録語のカテゴリ決定方法。
【０１６３】
（付記１２）
語構成規則に基づいて未登録語の同義語を辞書から選択する同義語選択部と、
文集から未登録語のコンテキストを生成するコンテキスト生成部と、
未登録語のコンテキストと同義語に従って未登録語のカテゴリを決定するカテゴリ決定部と
を備えることを特徴とする未登録語のカテゴリ決定装置。
【０１６４】
（付記１３）
前記語構成規則が、語構成要素、要素属性および要素関係を含むことを特徴とする付記１２に記載の未登録語のカテゴリ決定装置。
【０１６５】
（付記１４）
前記同義語選択部が、
未登録語と１つ以上の語構成要素を共有する語を未登録語の同義語として辞書から選択する手段を含むことを特徴とする付記１３に記載の未登録語のカテゴリ決定装置。
【０１６６】
（付記１５）
前記同義語選択部が、
未登録語の品詞を決定する手段と、
未登録語と１つ以上の語構成要素を共有する語を辞書から選択する手段と、
選択した全ての語から未登録語と同じ品詞を有する語を未登録語の同義語として選択する手段とを含むことを特徴とする付記１３に記載の未登録語のカテゴリ決定装置。
【０１６７】
（付記１６）
前記コンテキスト生成部が、
文集から未登録語を検索する手段と、
ウィンドウ方式の適用により未登録語に隣接する文字を取り出す手段と、
取り出した未登録語に隣接する文字に語分割を実行する手段と、
語分割の後に得られた各語の重みを決定し、語分割の後に取得したそれぞれの語とそれらの重みを未登録語のコンテキストとして使用する手段とを含むことを特徴とする付記１２に記載の未登録語のカテゴリ決定装置。
【０１６８】
（付記１７）
前記コンテキスト生成部が、
文集から未登録語を検索する手段と、
未登録語のコンテキストとして依存関係を用いるために、依存木方式によって未登録語の依存関係を分析する手段とを含むことを特徴とする付記１２に記載の未登録語のカテゴリ決定装置。
【０１６９】
（付記１８）
前記カテゴリ決定部が、
同義語が属するカテゴリについて統計を取る手段と、
各カテゴリに含まれる全ての語のコンテキストを、各カテゴリのコンテキストとして、文集から生成する手段と、
未登録語のコンテキストと各カテゴリのコンテキストの間の類似度を計算する手段と、
最大の類似度を有するカテゴリを未登録語が属するカテゴリとして決定する手段とを含むことを特徴とする付記１２に記載の未登録語のカテゴリ決定装置。
【０１７０】
（付記１９）
前記コンテキスト生成部が、文集から同義語のコンテキストを生成する手段を含み、
前記カテゴリ決定部が、
未登録語のコンテキストと同義語のコンテキストの間の類似度を計算する手段と、
計算によって取得した類似度に基づいて、同義語から集合を抽出する手段と、
抽出した集合において同じカテゴリに属する同義語に対応する類似度を合計する手段と、
合計した類似度に基づいて未登録語が属するカテゴリを決定する手段とを含むことを特徴とする付記１２に記載の未登録語のカテゴリ決定装置。
【０１７１】
（付記２０）
前記コンテキスト生成部が、文集から同義語のコンテキストを生成する手段を含み、
前記カテゴリ決定部が、
未登録語のコンテキストと同義語のコンテキストの間の類似度を計算する手段と、
同義語が属するカテゴリについて統計を取る手段と、
同義語に関連付けた所定の重み係数を入力する手段と、
入力した所定の重み係数に基づいて、関連する同義語に対応する類似度に重みを加える手段と、
重みが加えられた類似度に基づいて同義語から集合を抽出する手段と、
抽出した集合中、同じカテゴリに属する同義語に対応する重みが加えられた類似度を合計する手段と、
合計した類似度に基づいて未登録語が属するカテゴリを決定する手段とを含むことを特徴とする付記１２に記載の未登録語のカテゴリ決定装置。
【０１７２】
（付記２１）
所定の重み係数の設定が、
未登録語とカテゴリ内の語が最後の１文字と最後から２番目の文字を共有するならば、カテゴリに関連する所定の重み係数をλ１と設定し、
そうではなく、未登録語とカテゴリ内の語が最後の１文字と最初の１文字を共有するならば、カテゴリに関連する所定の重み係数をλ２と設定し、
そうではなく、未登録語とカテゴリ内の語が最初の１文字或いは最後の１文字を共有するならば、カテゴリに関連する所定の重み係数をλ３と設定し、
それ以外の場合、カテゴリに関連する所定の重み係数をλ４と設定する
ここで、λ１≧λ２≧λ３≧λ４である
ポリシーを満たすことを特徴とする付記２０に記載の未登録語のカテゴリ決定装置。
【０１７３】
（付記２２）
類似度に基づいて同義語から集合を抽出する手段が、
類似度を降順にソートする手段と、
上位から順番に、所定数の類似度に対応する同義語を、集合に抽出する手段とを含むことを特徴とする付記１９又は付記２０に記載の未登録語のカテゴリ決定装置。
【符号の説明】
【０１７４】
１１０：同義語選択部
１２０：コンテキスト生成部
１３０：カテゴリ決定部
１２０：コンテキスト生成部
【図１】
2011118872.tif 000059
【図２】
2011118872.tif 000060
【図３】
2011118872.tif 000061
【図４】
2011118872.tif 000062
【図５】
2011118872.tif 000063
【外国語明細書】
2011118872000001.pdf