(57)【要約】  本開示は分類器トレーニング方法、種類認識方法及び装置に関し、自然言語処理分野に属する。前記分類器トレーニング方法は、サンプル情報からターゲットキーワード付きのサンプル文節を抽出することと、各サンプル文節がターゲットとなる種類に属するか否かに基づいて、サンプル文節に対する二値ラベリングを行い、サンプルトレーニングセットを得ることと、サンプルトレーニングセット内の各サンプル文節に対する単語分割を行い、複数の単語を得ることと、複数の単語から少なくとも一つの特徴語を含む指定の特徴集合を抽出することと、指定の特徴集合における特徴語に基づいて、分類器を構築することと、サンプルトレーニングセット内の二値ラベリング結果に基づいて、分類器に対するトレーニングを行うこととを含む。指定の特徴集合における特徴語は、ターゲットキーワード付きのサンプル文節の単語分割結果により抽出して得られたものであるため、該分類器はターゲットキーワード付きの文節を正確に予測することができ、認識結果が正確である効果を達成している。【選択図】図１
2017535007.tif 000002
【特許請求の範囲】
【請求項１】
分類器トレーニング方法であって、
サンプル情報からターゲットキーワード付きのサンプル文節を抽出することと、
各前記サンプル文節がターゲットとなる種類に属するか否かに基づき、前記サンプル文節に対する二値ラベリングを行い、サンプルトレーニングセットを得ることと、
前記サンプルトレーニングセット内の各前記サンプル文節に対する単語分割を行い、複数の単語を得ることと、
前記複数の単語から少なくとも一つの特徴語を含む指定の特徴集合を抽出することと、
前記指定の特徴集合における前記特徴語に基づいて、分類器を構築することと、
前記サンプルトレーニングセット内の二値ラベリングの結果により、前記分類器に対するトレーニングを行うことと、
を含むことを特徴とする分類器トレーニング方法。
【請求項２】
前記複数の単語から指定の特徴集合を抽出することは、
カイ２乗検定によって前記複数の単語から前記指定の特徴集合を抽出すること、又は、
情報ゲインによって前記複数の単語から前記指定の特徴集合を抽出することを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記指定の特徴集合における前記特徴語に基づいて前記分類器を構築することは、
前記指定の特徴集合における前記特徴語により単純ベイズ分類器を構築することを含み、
各特徴語は、前記単純ベイズ分類器において互いに独立することを特徴とする請求項１に記載の方法。
【請求項４】
前記サンプルトレーニングセット内の二値ラベリング結果により前記分類器に対するトレーニングを行うことは、
前記単純ベイズ分類器における前記各特徴語に対して、前記サンプルトレーニングセット内の二値ラベリング結果により、前記特徴語付きの文節が前記ターゲットとなる種類に属する第１条件確率、及び前記特徴語付きの文節が前記ターゲットとなる種類に属しない第２条件確率を統計することと、
前記各特徴語、前記第１条件確率及び前記第２条件確率に基づき、トレーニング後の前記単純ベイズ分類器を得ることと、
を含むことを特徴とする請求項３に記載の方法。
【請求項５】
種類認識方法であって、
オリジナル情報からターゲットキーワード付きの文節を抽出することと、
抽出された前記文節における、前記ターゲットキーワード付きのサンプル文節の単語分割結果により抽出し得られた指定の特徴集合に属する特徴語に基づき、前記オリジナル情報の特徴集合を生成することと、
前記オリジナル情報の特徴集合を、前記指定の特徴集合における前記特徴語により予め構築されたトレーニング後の分類器に入力して予測することと、
前記オリジナル情報が前記ターゲットとなる種類に属し又は前記ターゲットとなる種類に属しないことを表現する前記分類器の予測結果を取得することと、
を含むことを特徴とする種類認識方法。
【請求項６】
前記オリジナル情報の特徴集合をトレーニング後の分類器に入力して予測することは、
前記オリジナル情報の特徴集合における各特徴語を、各特徴語の前記特徴語付きの文節が前記ターゲットとなる種類に属する確率である第１条件確率と前記特徴語付きの文節が前記ターゲットとなる種類に属しない確率である第２条件確率を含むトレーニング後の単純ベイズ分類器に入力し、前記オリジナル情報が前記ターゲットとなる種類に属する第１予測確率と前記オリジナル情報が前記ターゲットとなる種類に属しない第２予測確率を計算することと、
前記第１予測確率と前記第２予測確率の大小関係に基づき、前記オリジナル情報が前記ターゲットとなる種類に属するか否かを予測することと、
を含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記オリジナル情報が前記ターゲットとなる種類に属することが予測された場合、前記オリジナル情報からターゲット情報を抽出することをさらに含むことを特徴とする請求項５又は６に記載の方法。
【請求項８】
前記ターゲット情報は生年月日であり、
前記オリジナル情報からターゲット情報を抽出することは、
正規表現によって前記オリジナル情報から前記生年月日を抽出すること、又は、
前記オリジナル情報の受信日付を前記生年月日として抽出することを含むことを特徴とする請求項７に記載の方法。
【請求項９】
分類器のトレーニング装置であって、
サンプル情報からターゲットキーワード付きのサンプル文節を抽出するように構成された文節抽出モジュールと、
各前記サンプル文節がターゲットとなる種類に属するか否かによって、前記サンプル文節に対する二値ラベリングを行い、サンプルトレーニングセットを得るように構成された文節ラベリングモジュールと、
前記サンプルトレーニングセット内の各前記サンプル文節に対する単語分割を行い、複数の単語を得るように構成された文節の単語分割モジュールと、
前記複数の単語から、少なくとも一つの特徴語を含む指定の特徴集合を抽出するように構成された特徴語抽出モジュールと、
前記指定の特徴集合における前記特徴語により分類器を構築するように構成された分類器構築モジュールと、
前記サンプルトレーニングセット内の二値ラベリング結果に基づき、前記分類器に対するトレーニングを行うように構成された分類器トレーニングモジュールとを含むことを特徴とする分類器のトレーニング装置。
【請求項１０】
前記特徴語抽出モジュールは、カイ２乗検定によって前記複数の単語から前記指定の特徴集合を抽出するように構成され、
又は、
前記特徴語抽出モジュールは、情報ゲインによって前記複数の単語から前記指定の特徴集合を抽出するように構成されることを特徴とする請求項９に記載の装置。
【請求項１１】
前記分類器構築モジュールは、前記指定の特徴集合における前記特徴語により単純ベイズ分類器を構築するように構成され、各特徴語は前記単純ベイズ分類器において互いに独立することを特徴とする請求項９に記載の装置。
【請求項１２】
前記分類器トレーニングモジュールは、
前記単純ベイズ分類器における前記各特徴語に対し、前記サンプルトレーニングセット内の二値ラベリング結果に基づき、前記特徴語付きの文節が前記ターゲットとなる種類に属する第１条件確率、及び前記特徴語付きの文節が前記ターゲットとなる種類に属しない第２条件確率を統計するように構成された統計サブモジュールと、
前記各特徴語、前記第１条件確率及び前記第２条件確率によって、トレーニング後の前記単純ベイズ分類器を得るように構成されたトレーニングサブモジュールとを含むことを特徴とする請求項１１に記載の装置。
【請求項１３】
種類認識装置であって、
オリジナル情報からターゲットキーワード付きの文節を抽出するように構成されたオリジナル抽出モジュールと、
抽出された前記文節における、前記ターゲットキーワード付きのサンプル文節の単語分割結果により抽出して得られた指定の特徴集合に属する特徴語によって、前記オリジナル情報の特徴集合を生成するように構成された特徴抽出モジュールと、
前記オリジナル情報の特徴集合を、前記指定の特徴集合における前記特徴語によって予め構築されたトレーニング後の分類器に入力して予測するように構成された特徴入力モジュールと、
前記オリジナル情報が前記ターゲットとなる種類に属し又は前記ターゲットとなる種類に属しないことを表現する前記分類器の予測結果を取得するように構成された結果取得モジュールと、を含むことを特徴とする種類認識装置。
【請求項１４】
前記特徴入力モジュールは、
前記オリジナル情報の特徴集合における各特徴語を、各特徴語の前記特徴語付きの文節が前記ターゲットとなる種類に属する確率である第１条件確率と前記特徴語付きの文節が前記ターゲットとなる種類に属しない確率である第２条件確率を含むトレーニング後の単純ベイズ分類器に入力し、前記オリジナル情報が前記ターゲットとなる種類に属する第１予測確率と前記オリジナル情報が前記ターゲットとなる種類に属しない第２予測確率を計算するように構成された計算サブモジュールと、
前記第１予測確率と前記第２予測確率の大小関係に基づき、前記オリジナル情報が前記ターゲットとなる種類に属するか否かを予測するように構成された予測サブモジュールと、
を含むことを特徴とする請求項１３に記載の装置。
【請求項１５】
前記オリジナル情報が前記ターゲットとなる種類に属することが予測された場合、前記オリジナル情報からターゲット情報を抽出するように構成された情報抽出モジュールをさらに含むことを特徴とする請求項１３又は１４に記載の装置。
【請求項１６】
前記ターゲット情報は生年月日であり、
前記情報抽出モジュールは、正規表現によって前記オリジナル情報から前記生年月日を抽出するように構成され、
又は、
前記情報抽出モジュールは、前記オリジナル情報の受信日付を前記生年月日として抽出するように構成されたことを特徴とする請求項１５に記載の装置。
【請求項１７】
分類器トレーニング装置であって、
サンプル情報からターゲットキーワード付きのサンプル文節を抽出し、
各前記サンプル文節がターゲットとなる種類に属するか否かにより、前記サンプル文節に対する二値ラベリングを行い、サンプルトレーニングセットを取得し、
前記サンプルトレーニングセットにおける各前記サンプル文節に対する単語分割を行い、複数の単語を取得し、
前記複数の単語から、少なくとも一つの特徴語を含む指定の特徴集合を抽出し、
前記指定の特徴集合における前記特徴語によって、分類器を構築し、
前記サンプルトレーニングセット内の二値ラベリング結果に基づき、前記分類器に対するトレーニングを行うように構成された
プロセッサと、
前記プロセッサの実行可能なコマンドを記憶するメモリと、
を含むことを特徴とする分類器トレーニング装置。
【請求項１８】
種類認識装置であって、
オリジナル情報からターゲットキーワード付きの文節を抽出し、
抽出された前記文節における、前記ターゲットキーワード付きのサンプル文節の単語分割結果により抽出して得られた指定の特徴集合に属する特徴語によって、前記オリジナル情報の特徴集合を生成し、
前記オリジナル情報の特徴集合を、前記指定の特徴集合における前記特徴語によって予め構築されたトレーニング後の分類器に入力して予測し、
前記オリジナル情報が前記ターゲットとなる種類に属し又は前記ターゲットとなる種類に属しないことを表現する前記分類器の予測結果を取得するように構成された
プロセッサと、
前記プロセッサの実行可能なコマンドを記憶するメモリと、
を含むことを特徴とする種類認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は出願番号２０１５１０５１１４６８．１、出願日２０１５年０８月１９日である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、該中国特許出願の全ての内容はここで参考として本願に引用される。
【０００２】
本開示は自然言語処理分野に関し、特に分類器トレーニング方法、種類認識方法及び装置に関する。
【背景技術】
【０００３】
ショートメッセージ内容の認識と抽出は自然言語処理の実際的応用である。
【０００４】
誕生日等のショートメッセージを認識することを例として、関連技術は、複数のキーワードを予め設定し、ショートメッセージの内容に全部又は一部のキーワードが含まれているか否かを認識することにより、該ショートメッセージが生年月日付きのショートメッセージであるか否かを認識する認識方法を提供する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
キーワードを直接的に使用して種類認識を行うことが正しくない問題を解決するために、本開示は分類器トレーニング方法、種類認識方法及び装置を提供する。前記技術案は以下のとおりである。
【課題を解決するための手段】
【０００６】
本開示の実施例の第１様態によれば、
サンプル情報からターゲットキーワード付きのサンプル文節を抽出することと、
各サンプル文節がターゲットとなる種類に属するか否かによって、前記サンプル文節に対する二値ラベリングを行い、サンプルトレーニングセットを得ることと、
サンプルトレーニングセット内の各サンプル文節に対する単語分割を行い、複数の単語を得ることと、
複数の単語から少なくとも一つの特徴語を含む指定の特徴集合を抽出することと、
指定の特徴集合における特徴語によって、分類器を構築することと、
サンプルトレーニングセット内の二値ラベリング結果に基づき、分類器に対するトレーニングを行うことと
を含む分類器トレーニング方法を提供する。
【０００７】
好ましい実施例において、複数の単語から指定の特徴集合を抽出することは、
カイ２乗検定により複数の単語から指定の特徴集合を抽出すること、
又は、
情報ゲインによって複数の単語から指定の特徴集合を抽出することとを含む。
【０００８】
別の好ましい実施例において、指定の特徴集合における特徴語によって分類器を構築することは、
指定の特徴集合における特徴語により単純ベイズ分類器を構築することを含み、
各特徴語は単純ベイズ分類器において互いに独立する。
【０００９】
別の好ましい実施例において、サンプルトレーニングセット内の二値ラベリング結果に基づき、分類器に対するトレーニングを行うことは、
単純ベイズ分類器における各特徴語に対し、サンプルトレーニングセット内の二値ラベリング結果に基づき、特徴語付きの文節がターゲットとなる種類に属する第１条件確率、及び特徴語付きの文節がターゲットとなる種類に属しない第２条件確率を総計することと、
各特徴語、第１条件確率及び第２条件確率によって、トレーニング後の単純ベイズ分類器を得ることとを含む。
【００１０】
本開示の実施例の第２様態によれば、
オリジナル情報からターゲットキーワード付きの文節を抽出することと、
抽出された文節における、ターゲットキーワード付きのサンプル文節の単語分割結果に基づき抽出し得られた指定の特徴集合に属する特徴語によって、オリジナル情報の特徴集合を生成することと、
オリジナル情報の特徴集合を、指定の特徴集合における特徴語により予め構築されたトレーニング後の分類器に入力して予測することと、
オリジナル情報がターゲットとなる種類に属し又はターゲットとなる種類に属しないことを表現する分類器の予測結果を取得することとを含む種類認識方法を提供する。
【００１１】
別の好ましい実施例において、オリジナル情報の特徴集合をトレーニング後の単純ベイズ分類器に入力して予測することは、
オリジナル情報の特徴集合における各特徴語を、各特徴語の特徴語付きの文節がターゲットとなる種類に属する確率である第１条件確率と特徴語付きの文節がターゲットとなる種類に属しない確率である第２条件確率を含むトレーニング後の単純ベイズ分類器に入力し、オリジナル情報がターゲットとなる種類に属する第１予測確率とオリジナル情報がターゲットとなる種類に属しない第２予測確率を計算することと、
第１予測確率と第２予測確率の大小関係に基づき、オリジナル情報がターゲットとなる種類に属するか否かを予測することとを含む。
【００１２】
別の好ましい実施例において、該方法は、
オリジナル情報がターゲットとなる種類に属することが予測された場合、オリジナル情報からターゲット情報を抽出することをさらに含む。
【００１３】
別の好ましい実施例において、ターゲット情報は生年月日であり、
オリジナル情報からターゲット情報を抽出することは、
正規表現によってオリジナル情報から生年月日を抽出すること、
又は、
オリジナル情報の受信日付を生年月日として抽出することを含む。
【００１４】
本開示の実施例の第３様態によれば、
サンプル情報からターゲットキーワード付きのサンプル文節を抽出するように構成された文節抽出モジュールと、
各サンプル文節がターゲットとなる種類に属するか否かによって、サンプル文節に対する二値ラベリングを行い、サンプルトレーニングセットを得るように構成された文節ラベリングモジュールと、
サンプルトレーニングセット内の各サンプル文節に対する単語分割を行い、複数の単語を得るように構成された文節の単語分割モジュールと、
複数の単語から少なくとも一つの特徴語を含む指定の特徴集合を抽出するように構成された特徴語抽出モジュールと、
指定の特徴集合における特徴語により分類器を構築するように構成された分類器構築モジュールと、
サンプルトレーニングセット内の二値ラベリング結果に基づき、分類器に対するトレーニングを行うように構成された分類器トレーニングモジュールと、
を含む分類器のトレーニング装置を提供する。
【００１５】
別の好ましい実施例において、特徴語抽出モジュールは、カイ２乗検定によって複数の単語から指定の特徴集合を抽出するように構成され、
又は、
特徴語抽出モジュールは、情報ゲインによって複数の単語から指定の特徴集合を抽出するように構成される。
【００１６】
別の好ましい実施例において、分類器構築モジュールは、指定の特徴集合における特徴語により単純ベイズ分類器を構築するように構成され、各特徴語は単純ベイズ分類器において互いに独立する。
【００１７】
別の好ましい実施例において、分類器トレーニングモジュールは、
単純ベイズ分類器における各特徴語に対し、サンプルトレーニングセット内の二値ラベリング結果に基づき、特徴語付きの文節がターゲットとなる種類に属する第１条件確率、及び特徴語付きの文節がターゲットとなる種類に属しない第２条件確率を統計するように構成された統計サブモジュールと、
各特徴語、第１条件確率及び第２条件確率によって、トレーニング後の単純ベイズ分類器を得るように構成されたトレーニングサブモジュールとを含む。
【００１８】
本開示の実施例の第４様態によれば、
オリジナル情報からターゲットキーワード付きの文節を抽出するように構成されたオリジナル抽出モジュールと、
抽出された文節における、ターゲットキーワード付きのサンプル文節の単語分割結果により抽出して得られたものである指定の特徴集合に属する特徴語によって、オリジナル情報の特徴集合を生成するように構成された特徴抽出モジュールと、
オリジナル情報の特徴集合を、指定の特徴集合における特徴語によって予め構築されたトレーニング後の分類器に入力して予測するように構成された特徴入力モジュールと、
オリジナル情報がターゲットとなる種類に属し又はターゲットとなる種類に属しないことを表現する分類器の予測結果を取得するように構成された結果取得モジュールと、
を含む種類認識装置を提供する。
【００１９】
別の好ましい実施例において、特徴入力モジュールは、
オリジナル情報の特徴集合における各特徴語を、各特徴語の特徴語付きの文節がターゲットとなる種類に属する確率である第１条件確率と特徴語付きの文節がターゲットとなる種類に属しない確率である第２条件確率を含むトレーニング後の単純ベイズ分類器に入力し、オリジナル情報がターゲットとなる種類に属する第１予測確率とオリジナル情報がターゲットとなる種類に属しない第２予測確率を計算するように構成された計算サブモジュールと、
第１予測確率と第２予測確率の大小関係によって、オリジナル情報がターゲットとなる種類に属するか否かを予測するように構成された予測サブモジュールと、を含む。
【００２０】
別の好ましい実施例において、該装置は、
オリジナル情報がターゲットとなる種類に属することが予測された場合、オリジナル情報からターゲット情報を抽出するように構成された情報抽出モジュールをさらに含む。
【００２１】
別の好ましい実施例において、ターゲット情報は生年月日であり、
情報抽出モジュールは、正規表現によってオリジナル情報から生年月日を抽出するように構成され、
又は、
情報抽出モジュールは、オリジナル情報の受信日付を生年月日として抽出するように構成される。
【００２２】
本開示の実施例の第５様態によれば、
サンプル情報からターゲットキーワード付きのサンプル文節を抽出し、
各サンプル文節がターゲットとなる種類に属するか否かにより、サンプル文節に対する二値ラベリングを行い、サンプルトレーニングセットを取得し、
サンプルトレーニングセット内の各サンプル文節に対する単語分割を行い、複数の単語を取得し、
複数の単語から少なくとも一つの特徴語を含む指定の特徴集合を抽出し、
指定の特徴集合における特徴語によって、分類器を構築し、
サンプルトレーニングセット内の二値ラベリング結果に基づき、分類器に対するトレーニングを行うように構成された
プロセッサと、
プロセッサの実行可能なコマンドを記憶するメモリと、
を含む分類器トレーニング装置を提供する。
【００２３】
本開示の実施例の第６様態によれば、
オリジナル情報からターゲットキーワード付きの文節を抽出し、
抽出された文節における、ターゲットキーワード付きのサンプル文節の単語分割結果に基づき抽出して得られたものである指定の特徴集合に属する特徴語によって、オリジナル情報の特徴集合を生成し、
オリジナル情報の特徴集合を、指定の特徴集合における特徴語により予め構築されたトレーニング後の分類器に入力して予測し、
オリジナル情報がターゲットとなる種類に属し又はターゲットとなる種類に属しないことを表現する分類器の予測結果を取得するように構成された
プロセッサと、
プロセッサの実行可能なコマンドを記憶するメモリと、
を含み種類認識装置を提供する。
【発明の効果】
【００２４】
本開示の実施例に提供される技術案は以下の有益な効果を含むことができる。
【００２５】
サンプルトレーニングセット内の各サンプル文節に対する単語分割を行うことにより複数の単語を取得し、該複数の単語から指定の特徴集合を抽出し、指定の特徴集合における特徴語により分類器を構築し、単純に誕生日のキーワードを使用してショートメッセージの種類を分析するとき、認識結果が正しくない問題を解決し、指定の特徴集合における特徴語がターゲットキーワード付きのサンプル文節の単語分割結果により抽出し得られたものであるため、該分類器はターゲットキーワード付きの文節に対する正確な予測を出すことができ、認識結果が正確な効果を達成している。
【００２６】
理解すべきことは、以上の一般的な説明と後の詳細な説明は例示的なものに過ぎず、本開示を限定するものではない。
【図面の簡単な説明】
【００２７】
ここの図面は明細書に合せされ本明細書の一部を構成し、本開示に適合する実施例を示し、明細書と共に本開示の原理を解釈するのに用いられる。
【図１】一例示的実施例により示された分類器トレーニング方法のフローチャートである。
【図２】別の例示的実施例により示された分類器トレーニング方法のフローチャートである。
【図３】一例示的実施例により示された種類認識方法のフローチャートである。
【図４】別の例示的実施例により示された種類認識方法のフローチャートである。
【図５】一例示的実施例により示された分類器トレーニング装置のブロック図である。
【図６】別の例示的実施例により示された分類器トレーニング装置のブロック図である。
【図７】一例示的実施例により示された種類認識装置のブロック図である。
【図８】別の例示的実施例により示された種類認識装置のブロック図である。
【図９】一例示的実施例により示された分類器トレーニング装置又は種類認識装置に用いられるブロック図である。
【発明を実施するための形態】
【００２８】
ここで例示的な実施例について詳しく説明し、その実例は図面に示す通りである。下記の説明が図面に関わる時、別途に表示されない限り、異なる図面における同じ数字は同じ又は類似する要素を表示する。以下の例示的な実施例に説明される実施形態は本発明と一致する全ての実施形態を代表するわけではない。逆に、それらは添付の特許請求の範囲に詳細に記載された本発明の一部の態様と一致する装置と方法の例に過ぎない。
【００２９】
自然言語表現は多様性と複雑性を有するため、ターゲットキーワードを直接的に使用して種類認識を行うことは正確でない。例えば、「誕生日」又は「生まれ」というターゲットキーワード付きのショートメッセージは以下のとおりである。
【００３０】
ショートメッセージ１：「敏ちゃん、明日は彼の誕生日でないから、ケーキを買わないで。」
ショートメッセージ２：「あなた、今日はあなたの誕生日ですか」
ショートメッセージ３：「私の息子は去年の今日に生まれた。」
ショートメッセージ４：「５月２０日に生まれた赤ちゃんは皆幸運に恵まれる。」
【００３１】
上記４通のショートメッセージのうち、３通目のショートメッセージのみが有効生年月日付きのショートメッセージであり、その他の３通のショートメッセージはいずれも有効生年月日付きのショートメッセージではない。
【００３２】
ショートメッセージに対する正確な種類認識を行うために、本開示の実施例は分類器に基づく認識方法を提供している。該認識方法は、分類器に対するトレーニングを行う第１段階と、分類器を使用して種類認識を行う第２段階とを含む。
【００３３】
以下、異なる実施例を用いて上記二つの段階を説明する。
【００３４】
第１段階は、分類器に対するトレーニングを行う段階である。
【００３５】
図１は一例示的実施例により示された分類器トレーニング方法のフローチャートである。該方法は以下のステップを含む。
【００３６】
ステップ１０１において、サンプル情報からターゲットキーワード付きのサンプル文節を抽出する。
【００３７】
サンプル情報の種類は、ショートメッセージ、メール、ミニブログ又はインスタントメッセージング情報のいずれかであることが好ましい。本開示の実施例はサンプル情報の種類を限定しない。
【００３８】
各サンプル情報は少なくとも一つの文節を含む。そのうち、ターゲットキーワード付きの文節はサンプル文節である。
【００３９】
ステップ１０２において、各サンプル文節がターゲットとなる種類に属するか否かによって、サンプル文節に対する二値ラベリングを行い、サンプルトレーニングセットを得る。
【００４０】
ステップ１０３において、サンプルトレーニングセット内の各サンプル文節に対する単語分割を行い、複数の単語を得る。
【００４１】
ステップ１０４において、複数の単語から少なくとも一つの特徴語を含む指定の特徴集合を抽出する。
【００４２】
ステップ１０５において、指定の特徴集合における特徴語によって、分類器を構築する。
【００４３】
該分類器は単純ベイズ分類器であることが好ましい。
【００４４】
ステップ１０６において、サンプルトレーニングセット内の二値ラベリング結果に基づき、分類器に対するトレーニングを行う。
【００４５】
要するに、本実施例により提供される分類器トレーニング方法は、サンプルトレーニングセット内の各サンプル文節に対する単語分割を行うことにより複数の単語を取得し、該複数の単語から指定の特徴集合を抽出し、指定の特徴集合における特徴語により分類器を構築し、単純に誕生日というキーワードを使用してショートメッセージの種類を分析する時、認識結果が正しくない問題を解決し、指定の特徴集合における特徴語がターゲットキーワード付きのサンプル文節の単語分割結果により抽出し得られたものであるため、該分類器はターゲットキーワード付きの文節に対する正確な予測を出すことができ、認識結果が正確な効果を達成している。
【００４６】
図２は別の例示的実施例により示された分類器トレーニング方法のフローチャートである。該方法は以下のステップを含む。
【００４７】
ステップ２０１において、ターゲットキーワード付きの複数のサンプル情報を取得する。
【００４８】
ターゲットキーワードはターゲットとなる種類に関わるキーワードである。ターゲットとなる種類が有効生年月日付きの情報であることを例とする場合、ターゲットキーワードは「誕生日」と「生まれ」を含む。
【００４９】
ターゲットキーワード付きのサンプル情報が多ければ多いほど、トレーニングによって得られる分類器は正確である。サンプル情報の種類がショートメッセージである場合、例示的に、サンプル情報は、
サンプルメッセージ１：「敏ちゃん、明日は彼の誕生日でないため、ケーキを買わないで。」
サンプルメッセージ２：「あなた、今日はあなたの誕生日ですか」
サンプルメッセージ３：「私の息子は去年の今日に生まれた。」
サンプルメッセージ４：「５月２０日に生まれた赤ちゃんは皆幸運に恵まれる。」
サンプルメッセージ５：「私の息子が生まれた日は、ちょうど４月１日のエイプリルフールだった。」
…などを含み、ここで一つ一つ例を挙げない。
【００５０】
ステップ２０２において、サンプル情報からターゲットキーワード付きのサンプル文節を抽出する。
【００５１】
各サンプル情報は、句読点により分けられなかった文である少なくとも一つの文節を含む。例えば、
サンプルメッセージ１から抽出されたサンプル文節１：「明日は彼の誕生日でない」、
サンプルメッセージ２から抽出されたサンプル文節２：「今日はあなたの誕生日ですか」、
サンプルメッセージ３から抽出されたサンプル文節３：「私の息子は去年の今日に生まれた」、
サンプルメッセージ４から抽出されたサンプル文節４：「５月２０日に生まれた赤ちゃんは皆幸運に恵まれる」、
サンプルメッセージ５から抽出されたサンプル文節５：「私の息子が生まれた日」。
【００５２】
ステップ２０３において、各サンプル文節がターゲットとなる種類に属するか否かによって、サンプル文節に対する二値ラベリングを行い、サンプルトレーニングセットを得る。
【００５３】
好ましくは、二値ラベリングのラベリング値は１又は０であり、サンプル文節がターゲットとなる種類に属する時、１とラベリングし、サンプル文節がターゲットとなる種類に属しない時、０とラベリングする。
【００５４】
例えば、サンプル文節１は０と、サンプル文節２は０と、サンプル文節３は１と、サンプル文節４は０と、サンプル文節５は１とラベリングされる。
【００５５】
サンプルトレーニングセットは複数のサンプル文節を含む。
【００５６】
ステップ２０４において、サンプルトレーニングセット内の各サンプル文節に対する単語分割を行い、複数の単語を得る。
【００５７】
例えば、サンプル文節１に対する単語分割を行って、「明日」、「でない」、「彼」、「の」、「誕生日」の共５つの単語を取得し、サンプル文節２に対する単語分割を行って、「今日」、「あなた」、「の」、「誕生日」、「です」「か」の共６つの単語を取得し、サンプル文節３に対する単語分割を行って、「私」、「息子」、「は」、「去年」、「の」、「今日」、「生まれ」、「た」の共８つの単語を取得し、サンプル文節４に対する単語分割を行って、「５月」、「２０日」、「生まれ」、「た」、「赤ちゃん」、「皆」、「幸運に恵まれる」の共７つの単語を取得し、サンプル文節５に対する単語分割を行って、「私」、「息子」、「生まれ」、「日」の共４つの単語を取得する。
【００５８】
即ち、複数の単語は、「明日」、「でない」、「彼」、「の」、「誕生日」、「今日」、「です」、「あなた」、「か」、「私」、「息子」、「去年」、「生まれ」、「５月」、「２０日」、「赤ちゃん」、「皆」、「幸運に恵まれる」、「日」などを含む。
【００５９】
ステップ２０５において、カイ２乗検定又は情報ゲインによって複数の単語から指定の特徴集合を抽出する。
【００６０】
単語分割により得られた複数の単語内のある単語の重要性が高く、ある単語の重要性が低く、全ての単語が特徴語とするのに適するわけではないので、本ステップは異なる二つの方式により特徴語を抽出することができる。
【００６１】
第１方式は、カイ２乗検定によって、複数の単語からターゲットとなる種類の関連性の順位が前ｎ位の特徴語を抽出し、指定の特徴集合Ｆを形成する。
【００６２】
カイ２乗検定により、各単語とターゲットとなる種類との関連性を検出することができる。関連性が高ければ高いほど、該ターゲットとなる種類に対応する特徴語とするのに適する。
【００６３】
例示的に、カイ２乗検定によって特徴語を抽出する方法は以下のとおりである。
【００６４】
１．１  サンプルトレーニングセット内のサンプル文節の総数Ｎを統計する。
１．２  各単語のターゲットとなる種類に属するサンプル文節における表示頻度Ａ、ターゲットとなる種類に属しないサンプル文節における表示頻度Ｂ、ターゲットとなる種類に属するサンプル文節における非表示頻度Ｃ、ターゲットとなる種類に属しないサンプル文節における非表示頻度Ｄを統計する。
１．３  各単語のカイ二乗値は以下のように計算する。
2017535007.tif 000003
１．４  各単語の順番を、それぞれのカイ二乗値に従って大から小に配列し、前ｎ位の単語を特徴語として選択する。
【００６５】
第２方式は、情報ゲインによって複数の単語から情報ゲイン値の順位前ｎ位の特徴語を抽出し、指定の特徴集合Ｆを形成する。
【００６６】
情報ゲインは、単語のサンプルトレーニングセットに対する情報量を表示し、該単語の有する情報量が多ければ多いほど、特徴語とするのに適する。
【００６７】
例示的に、情報ゲインによって特徴語を抽出する方法は以下のとおりである。
【００６８】
２．１  ターゲットとなる種類に属するサンプル文節の個数Ｎ１、ターゲットとなる種類に属しないサンプル文節の個数Ｎ２を統計する。
２．２  各単語のターゲットとなる種類に属するサンプル文節における表示頻度Ａ、ターゲットとなる種類に属しないサンプル文節における表示頻度Ｂ、ターゲットとなる種類に属するサンプル文節における非表示頻度Ｃ、ターゲットとなる種類に属しないサンプル文節における非表示頻度Ｄを統計する。
２．３  情報エントロピーを計算する。
2017535007.tif 000004
２．４  各単語の情報ゲイン値を計算する。
2017535007.tif 000005
２．５  各単語の順番を情報ゲイン値に従って大から小に配列し、前ｎ位の単語を特徴語として選択する。
【００６９】
ステップ２０６において、指定の特徴集合における特徴語によって、単純ベイズ分類器を構築し、各特徴語は単純ベイズ分類器において互いに独立する。
【００７０】
単純ベイズ分類器は、各特徴語の第１条件確率と第２条件確率に基づいて予測を行う分類である。いずれかの特徴語に対して、第１条件確率は特徴語付きの文節がターゲットとなる種類に属する確率であり、第２条件確率は特徴語付きの文節がターゲットとなる種類に属しない確率である。
【００７１】
単純ベイズ分類器のトレーニング過程において、サンプルトレーニングセットによって、各特徴語の第１条件確率及び第２条件確率を計算しなければならない。
【００７２】
例えば、「今日」という特徴語付きのサンプル文節が１００個あり、そのうち、ターゲットとなる種類に属するサンプル文節が７３個、ターゲットとなる種類に属しないサンプル文節が２７個である場合、特徴語という「今日」の第１条件確率は０．７３、第２条件確率は０．２７である。
【００７３】
ステップ２０７において、単純ベイズ分類器における各特徴語に対して、サンプルトレーニングセット内の二値ラベリング結果に基づき、特徴語付きの文節がターゲットとなる種類に属する第１条件確率、及び特徴語付きの文節がターゲットとなる種類に属しない第２条件確率を統計し、
ステップ２０８において、各特徴語、第１条件確率及び第２条件確率によって、トレーニング後の単純ベイズ分類器を得る。
【００７４】
要するに、本実施例に提供される分類器トレーニング方法は、サンプルトレーニングセット内の各サンプル文節に対する単語分割を行うことにより複数の単語を取得し、該複数の単語から指定の特徴集合を抽出し、指定の特徴集合における特徴語により分類器を構築し、単純に誕生日のキーワードを使用してショートメッセージの種類を分析するとき認識結果が正しくない問題を解決し、指定の特徴集合における特徴語がターゲットキーワード付きのサンプル文節の単語分割結果により抽出し得られたものであるため、該分類器はターゲットキーワード付きの文節に対する正確な予測を出すことができ、認識結果が正確な効果を達成している。
【００７５】
本実施例は、さらにカイ２乗検定又は情報ゲインによってサンプルトレーニングセット内の各文節から特徴語を抽出し、分類の的確性に良好な役割を果たす特徴語を抽出することができ、単純ベイズ分類器の分類の的確性を向上している。
【００７６】
第２段階は、分類器を使用して種類認識を行う段階である。
【００７７】
図３は一例示的実施例により示された種類認識方法のフローチャートである。該種類認識方法に使用される分類器は、図１又は図２の実施例においてトレーニングされ得られた分類器である。該方法は以下のステップを含む。
【００７８】
ステップ３０１において、オリジナル情報からターゲットキーワード付きの文節を抽出する。
【００７９】
オリジナル情報は、ショートメッセージ、メール、ミニブログ又はインスタントメッセージング情報のいずれかであることが好ましい。本開示の実施例はオリジナル情報の種類を限定しない。各オリジナル情報は少なくとも一つの文節を含む。
【００８０】
ステップ３０２において、抽出された文節における、指定の特徴集合に属する特徴語によって、オリジナル情報の特徴集合を生成し、指定の特徴集合における特徴語はターゲットキーワード付きのサンプル文節の単語分割結果に基づき抽出し得られたものである。
【００８１】
ステップ３０３において、オリジナル情報の特徴集合を、指定の特徴集合における特徴語によって予め構築されたトレーニング後の分類器に入力して予測する。
【００８２】
好ましくは、該分類器は単純ベイズ分類器である。
【００８３】
ステップ３０４において、オリジナル情報がターゲットとなる種類に属し又はターゲットとなる種類に属しないことを表現する分類器の予測結果を取得する。
【００８４】
要するに、本実施例に提供される分類器トレーニング方法は、指定の特徴集合によって文節における特徴語を抽出し、オリジナル情報の特徴集合とした後、該特徴集合を指定の特徴集合における特徴語によって予め構築されたトレーニング後の分類器に入力して予測し、単純に誕生日のキーワードを使用してショートメッセージ種類の分析を行ったとき、認識結果が正しくない問題を解決し、指定の特徴集合における特徴語がターゲットキーワード付きのサンプル文節の単語分割結果により抽出し得られたものであるため、該分類器はターゲットキーワード付きの文節に対する正確な予測を出すことができ、認識結果が正確な効果を達成している。
【００８５】
図４は別の例示的実施例により示されたもう一つの種類認識方法のフローチャートである。該種類認識方法に使用される分類器は、図１又は図２の実施例におけるトレーニングを介して得られた分類器である。該方法は以下のステップを含む。
【００８６】
ステップ４０１において、オリジナル情報にターゲットキーワードが含まれているか否かを検出する。
【００８７】
好ましくは、オリジナル情報はショートメッセージである。例えば、オリジナル情報が「私の誕生日は７月２８日であり、今日は私の誕生日ではないよ！」である。
【００８８】
ターゲットキーワードはターゲットとなる種類に関わるキーワードである。ターゲットとなる種類が有効生年月日付きの情報であることを例とする場合、ターゲットキーワードは「誕生日」と「生まれ」を含む。
【００８９】
オリジナル情報にターゲットキーワードが含まれているか否かを検出し、含まれている場合は、ステップ４０２に入り、含まれていない場合は、後続の処理を行わない。
【００９０】
ステップ４０２において、オリジナル情報にターゲットキーワードが含まれている場合、オリジナル情報からターゲットキーワード付きの文節を抽出する。
【００９１】
例えば、オリジナル情報にターゲットキーワードである「誕生日」が含まれている場合、オリジナル情報から文節である「私の誕生日は７月２８日である」を抽出する。
【００９２】
ステップ４０３において、抽出された文節における指定の特徴集合に属する特徴語によって、オリジナル情報の特徴集合を生成し、指定の特徴集合における特徴語がターゲットキーワード付きのサンプル文節の単語分割結果に基づき抽出し得られたものである。
【００９３】
例えば、指定の特徴集合は、「明日」、「でない」、「彼」、「の」、「誕生日」、「今日」、「です」、「あなた」、「か」、「私」、「息子」、「去年」、「生まれ」、「日」などの特徴語を含む。
【００９４】
文節である「私の誕生日は７月２８日である」における指定の特徴集合に属する特徴語は、「私」、「の」、「誕生日」、「である」を含む。「私」、「の」、「誕生日」、「である」共４つの単語を含むものをオリジナル情報の特徴集合とする。
【００９５】
ステップ４０４において、オリジナル情報の特徴集合における各特徴語を、各特徴語の特徴語付きの文節がターゲットとなる種類に属する確率である第１条件確率と特徴語付きの文節がターゲットとなる種類に属しない確率である第２条件確率とを含むトレーニング後の単純ベイズ分類器に入力し、オリジナル情報がターゲットとなる種類に属する第１予測確率とオリジナル情報がターゲットとなる種類に属しない第２予測確率を計算する。
【００９６】
オリジナル情報の第１予測確率は、オリジナル情報の特徴集合における各特徴語の第１条件確率の積に等しい。
例えば、「私」の第１条件確率が０．６、「の」の第１条件確率が０．５、「誕生日」の第１条件確率が０．６５、「である」の第１条件確率が０．７である場合、オリジナル情報の第１予測確率＝０．６＊０．５＊０．６５＊０．７＝０．１１３７５である。
【００９７】
オリジナル情報の第２予測確率は、オリジナル情報の特徴集合における各特徴語の第２条件確率の積に等しい。
【００９８】
例えば、「私」の第１条件確率が０．４、「の」の第１条件確率が０．５、「誕生日」の第１条件確率が０．３５、「である」の第１条件確率が０．３である場合、オリジナル情報の第１予測確率＝０．６＊０．５＊０．６５＊０．７＝０．０２１である。
【００９９】
ステップ４０５において、第１予測確率と第２予測確率の大小関係によって、オリジナル情報がターゲットとなる種類に属するか否かを予測し、
第１予測確率が第２予測確率より大きい場合、予測結果はオリジナル情報がターゲットとなる種類に属することである。
【０１００】
例えば、０．１１３７５＞０．０２１であるため、オリジナル情報はターゲットとなる種類に属し、即ち、オリジナル情報は有効生年月日付きの情報である。
【０１０１】
第２予測確率が第１予測確率より大きい場合、予測結果はオリジナル情報がターゲットとなる種類に属しないことである。
【０１０２】
ステップ４０６において、オリジナル情報がターゲットとなる種類に属することが予測された場合、オリジナル情報からターゲット情報を抽出する。
【０１０３】
本ステップは以下のいずれかの実現方式を採用することができる。
【０１０４】
第１、正規表現によってオリジナル情報から生年月日を抽出する。
第２、オリジナル情報の受信日付を生年月日として抽出する。
第３、正規表現によってオリジナル情報から生年月日を抽出することを試し、正規表現によってオリジナル情報から生年月日を抽出できない場合、オリジナル情報の受信日付を生年月日として抽出する。
【０１０５】
要するに、本実施例に提供される種類認識方法は、指定の特徴集合によって文節における特徴語を抽出し、オリジナル情報の特徴集合とした後、該特徴集合を指定の特徴集合における特徴語によって予め構築されたトレーニング後の分類器に入力して予測し、単純に誕生日キーワードを使用してショートメッセージ種類の分析を行ったとき、認識結果が正しくない問題を解決し、指定の特徴集合における特徴語がターゲットキーワード付きのサンプル文節の単語分割結果により抽出し得られたものであるため、該分類器はターゲットキーワード付きの文節に対する正確な予測を出すことができ、認識結果が正確である効果を達成している。
【０１０６】
本実施例に提供される種類認識方法は、さらにオリジナル情報がターゲットとなる種類に属することを予測した後、オリジナル情報からターゲット情報を抽出することにより、生年月日、旅行日付などのターゲット情報に対する抽出を実現し、後続のリマインダー、カレンダーマーキングなどの自動生成機能に対しデータサポートを提供する。
【０１０７】
なお、上記実施例はいずれもターゲットとなる種類が有効生年月日付きの情報であることを例として説明したが、上記方法の応用はこの単一のターゲットとなる種類に限定されない。ターゲットとなる種類は、さらに有効旅行日付付きの情報、有効休暇日付付きの情報などであってもよい。
【０１０８】
以下は本開示に係わる装置の実施例であり、本開示方法の実施例を実行するのに用いることができる。本開示に係わる装置の実施例に開示されていない詳細については、本開示方法の実施例を参照する。
【０１０９】
図５は一例示的実施例により示された分類器トレーニング装置のブロック図であり、図５に示すように、該分類器トレーニング装置は、
サンプル情報からターゲットキーワード付きのサンプル文節を抽出するように構成された文節抽出モジュール５１０と、
各サンプル文節がターゲットとなる種類に属するか否かによって、サンプル文節に対する二値ラベリングを行い、サンプルトレーニングセットを得るように構成された文節ラベリングモジュール５２０と、
サンプルトレーニングセット内の各サンプル文節に対する単語分割を行い、複数の単語を得る文節の単語分割モジュール５３０と、
複数の単語から少なくとも一つの特徴語を含む指定の特徴集合を抽出するように構成された特徴語抽出モジュール５４０と、
指定の特徴集合における特徴語によって分類器を構築するように構成された分類器構築モジュール５５０と、
サンプルトレーニングセット内の二値ラベリング結果に基づき、分類器に対するトレーニングを行うように構成された分類器トレーニングモジュール５６０とを含むが、それに限定されない。
【０１１０】
要するに、本実施例に提供される分類器トレーニング装置は、サンプルトレーニングセット内の各サンプル文節に対する単語分割を行うことにより複数の単語を取得し、該複数の単語から指定の特徴集合を抽出し、指定の特徴集合における特徴語により分類器を構築し、単純に誕生日キーワードを使用してショートメッセージ種類の分析を行ったとき、認識結果が正しくない問題を解決し、指定の特徴集合における特徴語がターゲットキーワード付きのサンプル文節の単語分割結果により抽出し得られたものであるため、該分類器はターゲットキーワード付きの文節に対する正確な予測を出すことができ、認識結果が正確な効果を達成している。
【０１１１】
図６は一例示的実施例により示された分類器トレーニング装置のブロック図であり、図６に示すように、該分類器のトレーニング装置は、
サンプル情報からターゲットキーワード付きのサンプル文節を抽出するように構成された文節抽出モジュール５１０と、
各サンプル文節がターゲットとなる種類に属するか否かによって、サンプル文節に対する二値ラベリングを行い、サンプルトレーニングセットを得るように構成された文節ラベリングモジュール５２０と、
サンプルトレーニングセット内の各サンプル文節に対する単語分割を行い、複数の単語を得るように構成された文節の単語分割モジュール５３０と、
複数の単語から少なくとも一つの特徴語を含む指定の特徴集合を抽出するように構成された特徴語抽出モジュール５４０と、
指定の特徴集合における特徴語によって分類器を構築するように構成された分類器構築モジュール５５０と、
サンプルトレーニングセット内の二値ラベリング結果に基づき、分類器に対するトレーニングを行うように構成された分類器トレーニングモジュール５６０とを含むが、それに限定されない。
【０１１２】
特徴語抽出モジュール５４０は、カイ２乗検定によって複数の単語から指定の特徴集合を抽出するように構成され、又は、特徴語抽出モジュール５４０は、情報ゲインによって複数の単語から指定の特徴集合を抽出するように構成されることが好ましい。
【０１１３】
分類器構築モジュール５５０は、前記指定の特徴集合における特徴語により単純ベイズ分類器を構築するように構成され、各特徴語は単純ベイズ分類器において互いに独立することが好ましい。
【０１１４】
分類器トレーニングモジュール５６０は、
単純ベイズ分類器における各特徴語に対し、サンプルトレーニングセット内の二値ラベリング結果に基づき、特徴語付きの文節がターゲットとなる種類に属する第１条件確率、及び特徴語付きの文節がターゲットとなる種類に属しない第２条件確率を統計するように構成された統計サブモジュール５６２と、
各特徴語、第１条件確率及び第２条件確率によって、トレーニング後の単純ベイズ分類器を得るように構成されたトレーニングサブモジュール５６４と、
を含むことが好ましい。
【０１１５】
要するに、本実施例に提供される分類器トレーニング装置は、サンプルトレーニングセット内の各サンプル文節に対する単語分割を行うことにより複数の単語を取得し、該複数の単語から指定の特徴集合を抽出し、指定の特徴集合における特徴語により分類器を構築し、単純に誕生日キーワードを使用してショートメッセージ種類の分析を行ったとき、認識結果が正しくない問題を解決し、指定の特徴集合における特徴語がターゲットキーワード付きのサンプル文節の単語分割結果により抽出し得られたものであるため、該分類器はターゲットキーワード付きの文節に対する正確な予測を出すことができ、認識結果が正確な効果を達成している。
【０１１６】
本実施例は、さらにカイ２乗検定又は情報ゲインによってサンプルトレーニングセットの各文節から特徴語を抽出し、分類の的確性に良好な役割を果たす特徴語を抽出することができ、単純ベイズ分類器の分類の的確性を向上している。
【０１１７】
図７は一例示的実施例により示された種類認識装置のブロック図であり、図７に示すように、該種類認識装置は、
オリジナル情報からターゲットキーワード付きの文節を抽出するように構成されたオリジナル抽出モジュール７２０と、
抽出された文節における、ターゲットキーワード付きのサンプル文節の単語分割結果に基づき抽出し得られたものである指定の特徴集合に属する特徴語によって、オリジナル情報の特徴集合を生成するように構成された特徴抽出モジュール７４０と、
オリジナル情報の特徴集合を、指定の特徴集合における特徴語によって予め構築されたトレーニング後の分類器に入力して予測するように構成された特徴入力モジュール７６０と、
オリジナル情報がターゲットとなる種類に属し又はターゲットとなる種類に属しないことを表現する分類器の予測結果を取得するように構成された結果取得モジュール７８０とを含むが、それに限定されない。
【０１１８】
要するに、本実施例に提供される種類の認識装置は、指定の特徴集合によって文節における特徴語を抽出し、オリジナル情報の特徴集合とした後、該特徴集合を指定の特徴集合における特徴語によって予め構築されたトレーニング後の分類器に入力して予測し、単純に誕生日キーワードを使用してショートメッセージ種類の分析を行ったとき、認識結果が正しくない問題を解決し、指定の特徴集合における特徴語がターゲットキーワード付きのサンプル文節の単語分割結果により抽出し得られたものであるため、該分類器はターゲットキーワード付きの文節に対する正確な予測を出すことができ、認識結果が正確な効果を達成している。
【０１１９】
図８は一例示的実施例により示された種類認識装置のブロック図であり、図８に示すように、該種類認識装置は、
オリジナル情報からターゲットキーワード付きの文節を抽出するように構成されたオリジナル抽出モジュール７２０と、
抽出された文節における、ターゲットキーワード付きのサンプル文節の単語分割の結果に基づき抽出し得られたものである指定の特徴集合に属する特徴語によって、オリジナル情報の特徴集合を生成するように構成された特徴抽出モジュール７４０と、
オリジナル情報の特徴集合を、指定の特徴集合における特徴語によって予め構築されたトレーニング後の分類器に入力して予測するように構成された特徴入力モジュール７６０と、
オリジナル情報がターゲットとなる種類に属し又はターゲットとなる種類に属しないことを表現する分類器の予測結果を取得するように構成された結果取得モジュール７８０とを含むが、それに限定されない。
【０１２０】
好ましくは、特徴入力モジュール７６０は、
オリジナル情報の特徴集合における各特徴語を、各特徴語の特徴語付きの文節がターゲットとなる種類に属する確率である第１条件確率と特徴語付きの文節がターゲットとなる種類に属しない確率である第２条件確率を含むトレーニング後の単純ベイズ分類器に入力し、オリジナル情報がターゲットとなる種類に属する第１予測確率とオリジナル情報がターゲットとなる種類に属しない第２予測確率を計算するように構成された計算サブモジュール７６２と、
第１予測確率と第２予測確率の大小関係によって、オリジナル情報がターゲットとなる種類に属するか否かを予測するように構成された予測サブモジュール７６４とを含む。
【０１２１】
好ましくは、該装置は、
オリジナル情報がターゲットとなる種類に属することが予測された場合、オリジナル情報からターゲット情報を抽出するように構成された情報抽出モジュール７９０をさらに含む。
好ましくは、ターゲット情報は生年月日であり、
情報抽出モジュール７９０は、正規表現によってオリジナル情報から生年月日を抽出するように構成され、
又は、
情報抽出モジュール７９０は、オリジナル情報の受信日付を生年月日として抽出するように構成される。
【０１２２】
要するに、本実施例により提供される種類認識装置は、指定の特徴集合によって文節における特徴語を抽出し、オリジナル情報の特徴集合とした後、該特徴集合を指定の特徴集合における特徴語によって予め構築されたトレーニング後の分類器に入力して予測し、単純に誕生日キーワードを使用してショートメッセージ種類の分析を行ったとき、認識結果が正しくない問題を解決し、指定の特徴集合における特徴語がターゲットキーワード付きのサンプル文節の単語分割結果により抽出し得られたものであるため、該分類器はターゲットキーワード付きの文節に対する正確な予測を出すことができ、認識結果が正確な効果を達成している。
【０１２３】
本実施例により提供される種類認識装置は、さらにオリジナル情報がターゲットとなる種類に属することが予測された後、オリジナル情報からターゲット情報を抽出することにより、生年月日、旅行日付などのターゲット情報に対する抽出を実現し、後続のリマインダー、カレンダーマーキングなどの自動生成機能に対しデータサポートを提供する。
【０１２４】
上記実施例における装置について、各モジュールの操作を実行する具体的な形態は、すでに該方法に関する実施例において詳しく説明されたので、ここで詳細な説明を省略する。
【０１２５】
本開示の一例示的実施例は、本開示により提供される分類器トレーニング方法を実現可能な分類器トレーニング装置を提供し、該分類器トレーニング装置は、
サンプル情報からターゲットキーワード付きのサンプル文節を抽出し、
各サンプル文節がターゲットとなる種類に属するか否かによって、サンプル文節に対する二値ラベリングを行い、サンプルトレーニングセットを取得し、
サンプルトレーニングセット内の各サンプル文節に対する単語分割を行い、複数の単語を取得し、
複数の単語から少なくとも一つの特徴語を含む指定の特徴集合を抽出し、
指定の特徴集合における特徴語によって、分類器を構築し、
サンプルトレーニングセット内の二値ラベリング結果に基づき、分類器に対するトレーニングを行うように構成されたプロセッサと、
プロセッサの実行可能なコマンドを記憶するメモリとを含む。
【０１２６】
本開示の一実施例は、本開示により提供される種類認識方法を実現可能な種類認識装置を提供し、該種類認識装置は、
オリジナル情報からターゲットキーワード付きの文節を抽出し、
抽出された文節における、ターゲットキーワード付きのサンプル文節の単語分割結果に基づき抽出し得られたものである指定の特徴集合に属する特徴語によって、オリジナル情報の特徴集合を生成し、
オリジナル情報の特徴集合を、指定の特徴集合における特徴語によって予め構築されたトレーニング後の分類器に入力して予測し、
オリジナル情報がターゲットとなる種類に属し又はターゲットとなる種類に属しないことを表現する分類器の予測結果を取得するように構成されたプロセッサと、
プロセッサの実行可能なコマンドを記憶するメモリとを含む。
【０１２７】
図９は一例示的実施例により示される分類器トレーニング装置又は種類認識装置に用いられるブロック図である。例えば、装置９００は携帯電話、コンピューター、ディジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット型デバイス、医療器具、運動設備、パーソナルデジタルアシスタントなどであってもよい。
【０１２８】
図９に示すように、装置９００は、処理部材９０２、メモリ９０４、電源部材９０６、マルチメディア部材９０８、オーディオ部材９１０、入力／出力（Ｉ／Ｏ）インターフェース９１２、センサー部材９１４、及び通信部材９１６のうちの一つ又は複数を含むことができる。
【０１２９】
処理部材９０２は、通常、装置９００の全ての操作を制御し、例えば、表示、電話の呼び出し、データ通信、カメラ操作及び記録操作の関連操作を制御する。処理部材９０２は、上記方法の全部又は一部のステップを完成するために、コマンドを実行する一つ又は複数のプロセッサ９１８を含むことができる。なお、処理部材９０２は、その他の部材とのインタラクションが容易であるように、一つ又は複数のモジュールを含むことができる。例えば、処理部材９０２は、マルチメディア部材９０８と処理部材９０２とのインタラクションが容易であるように、マルチメディアモジュールを含むことができる。
【０１３０】
メモリ９０４は、装置９００における操作をサポートするように、様々な種類のデータを記憶するように構成される。これらのデータの実例は、装置９００において操作される如何なるアプリケーション又は方法のコマンド、連絡先データ、電話帳データ、メッセージ、画像、ビデオなどを含む。メモリ９０４は、如何なる種類の揮発性又は不揮発性メモリ又はそれらの組み合わせ、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクにより実現することができる。
【０１３１】
電源部材９０６は、装置９００の様々な部材に対し電力を提供する。電源部材９０６は、電源管理システム、一つ又は複数の電源、及びその他の装置９００に対する電力の生成、管理及び供給に関連する部材を含むことができる。
【０１３２】
マルチメディア部材９０８は、装置９００とユーザーの間の出力インターフェースを提供するスクリーンを含む。一部の実施例において、スクリーンは液晶ディスプレイ（ＬＣＤ）とタッチパネル（ＴＰ）を含むことができる。スクリーンにタッチパネルが含まれている場合、ユーザーからの入力信号を受信するために、スクリーンはタッチパネルに実現されることができる。タッチパネルは、タッチ、スワイプ及びタッチパネルにおけるジェスチャーを感知するために、一つ又は複数のタッチセンサを含む。タッチセンサは、タッチ又はスワイプ動作の境界を感知するとともに、タッチ又はスワイプ動作に関わる持続時間及び圧力を検出することができる。一部の実施例において、マルチメディア部材９０８は、フロントカメラ及び／又はバックカメラを含む。装置９００が操作モード、例えば撮影モード又はビデオモードである場合、フロントカメラ及び／又はバックカメラは外部のマルチメディアデータを受信することができる。各フロントカメラ及びバックカメラは、固定された光学レンズシステムであり、又は焦点距離と光学ズーム能力を有する。
【０１３３】
オーディオ部材９１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオ部材９１０は、マイクロフォン（ＭＩＣ）を含み、装置９００が操作モード、例えば、呼び出しモード、記録モード、音声認識モードである場合、マイクロフォンは外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ９０４に記憶され、又は通信部材９１６を介して送信される。一部の実施例において、オーディオ部材９１０は、さらにオーディオ信号を出力するスピーカーを含む。
【０１３４】
Ｉ／Ｏインタフェース９１２は、処理部材９０２と周辺インタフェースモジュールの間にインタフェースを提供し、上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン及びロックボタンを含むことができるが、それに限定されない。
【０１３５】
センサ部材９１４は、装置９００のために各方面の状態評価を提供する一つ又は複数のセンサを含む。例えば、センサ部材９１４は、装置９００のオン／オフ状態、部材の相対的位置決めを検出することができ、例えば、部材が装置９００のディスプレイ及びキーパッドであり、センサ部材９１４は、さらに装置９００又は装置９００の一つの部材の位置変化、ユーザーと装置９００との接触の存在又は不存在、装置９００の方角又は加速／減速及び装置９００の温度変化を検出することができる。センサ部材９１４は、近接センサを含むことができ、如何なる物理的接触がないとき、近傍物体の存在を検出するように構成される。センサ部材９１４は、さらにイメージングアプリケーションに用いられる光学センサ、例えば、ＣＭＯＳ又はＣＣＤイメージセンサを含むことができる。一部の実施例において、該センサ部材９１４は、さらに加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを含むことができる。
【０１３６】
通信部材９１６は、装置９００とその他の装置との有線又は無線方式による通信が容易であるように構成される。装置９００は、通信標準に基づく無線ネットワーク、例えば、Ｗｉ−Ｆｉ（登録商標）、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスすることができる。一例示的な実施例において、通信部材９１６は、放送チャネルを介して外部放送管理システムからの放送信号又は放送関連情報を受信する。一例示的な実施例において、通信部材９１６は、狭域通信を促進するために、さらに近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールにおいて、無線周波数認識（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）（登録商標）及びその他の技術に基づいて実現することができる。
【０１３７】
一例示的な実施例において、装置９００は、一つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又はその他の電子部品により実現することができ、上記分類器トレーニング方法又は種類認識方法を実行するのに用いられる。
【０１３８】
一例示的な実施例において、さらに、コマンドを含む非一時的なコンピュータ可読記憶媒体、例えば、コマンドを含むメモリ９０４を提供し、上記分類器トレーニング方法又は種類認識方法を完成するために、上記コマンドは装置９００のプロセッサ９１８により実行することができる。例えば、非一時的なコンピュータ可読記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク（登録商標）及び光データ記憶装置などであってもよい。
【０１３９】
当業者であれば、明細書を考慮しここに開示された発明を実践した後、本開示のその他の実施態様を容易に想到できる。本願は、本開示の如何なる変形、用途又は適応的変化を含むためのものであり、これらの変形、用途又は適応的変化は本開示の一般的な原理に準じ、本開示の開示されていない本技術分野における公知知識又は慣用の技術手段を含む。明細書と実施例は例示的なものに過ぎず、本開示の実際の範囲と精神は下記の特許請求範囲により与えられる。
【０１４０】
理解すべきことは、本開示は既に上記のように説明され、図面に示された正確な構造に限定されず、その範囲を逸脱しない限りにおいて様々な修正や変更を行うことができる。本開示の範囲は添付の特許請求範囲のみにより限定される。
【図１】
2017535007.tif 000006
【図２】
2017535007.tif 000007
【図３】
2017535007.tif 000008
【図４】
2017535007.tif 000009
【図５】
2017535007.tif 000010
【図６】
2017535007.tif 000011
【図７】
2017535007.tif 000012
【図８】
2017535007.tif 000013
【図９】
2017535007.tif 000014
【国際調査報告】
2017535007.tif 000015
2017535007.tif 000016
2017535007.tif 000017
2017535007.tif 000018