(57)【要約】      （修正有）【課題】単語表現を生成する方法、装置及びコンピュータ読み取り可能な記憶媒体を提供する。【解決手段】単語表現を生成する方法は、意味的類似度に基づいて目標形態素にクラスタリング処理を行って複数のクラスタリング結果を得、かつ目標形態素とクラスタリング結果と統合して、目標形態素の複数の意味項の単語表現を生成する。【効果】多義語の異なる意味項の単語表現を生成でき、かつ、計算量が小さく、効率が高いメリットがある。【選択図】図２
2019149161.tif 000002
【特許請求の範囲】
【請求項１】
予め収集したテキストデータからコーパスデータを取得するステップと、
前記コーパスデータ中の単語と、連語と、語列との内の少なくとも一つを含む形態素を所定言語モデルで定義された単語形式に変換するステップと、
意味的類似度に基づいて目標形態素をクラスタリング処理して、複数のクラスタリング結果を得、前記クラスタリング結果は目標形態素のコンテキストに現れた複数の形態素を含むステップと、
前記目標形態素をそれぞれ各クラスタリング結果と統合して、複数の統合結果を得、かつ前記統合結果中の形態素を、前記所定言語モデルで定義された単語形式に置き換えて、目標形態素の複数の拡張単語表現を得るステップと、
を含むことを特徴とする単語表現生成方法。
【請求項２】
目標形態素の複数の拡張単語表現を生成するステップの後、前記方法はさらに、
次元削減アルゴリズムによって、前記目標形態素の拡張単語表現に次元削減処理を行って、最終単語表現を生成することを含むことを特徴とする請求項１に記載の方法。
【請求項３】
予め収集したテキストデータからコーパスデータを取得する前記ステップは、
前記テキストデータを同じコードフォーマットに変換することと、
前記テキストデータにデータクレンジングを行うことと、
データクレンジング後の前記テキストデータを形態素に分割し、かつストップワードを除去して前記コーパスデータを得ることと、を含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記所定言語モデルで定義された単語形式は、
ワンホット表現と、分散表現と、を含むことを特徴とする請求項１に記載の方法。
【請求項５】
意味的類似度に基づいて目標形態素をクラスタリング処理して、複数のクラスタリング結果を得る前記ステップは、
目標形態素が所在するコーパスのコンテキストから意味素性を抽出するステップと、
抽出した意味素性に対してクラスタを行うことで複数のクラスタリング結果を得るステップと、を含むことを特徴とする請求項１に記載の方法。
【請求項６】
目標形態素をそれぞれ各クラスタリング結果と統合する前記ステップは、
各クラスタリング結果に対して、それぞれ目標形態素と当該クラスタリング結果中の形態素と統合して、統合結果を取得するステップを含むことを特徴とする請求項１に記載の方法。
【請求項７】
予め収集したテキストデータからコーパスデータを取得するコーパス獲得ユニットと、
前記コーパスデータ中の形態素を所定言語モデルで定義された単語形式に変換する変換ユニットであって、前記形態素は単語、連語、及び語列の内の少なくとも一つを含む単語表現変換ユニットと、
意味的類似度に基づいて前記目標形態素をクラスタリング処理して、複数のクラスタリング結果を得るクラスタユニットであって、前記クラスタリング結果は目標形態素のコンテキストに現れた複数の形態素を含むクラスタユニットと、
前記目標形態素をそれぞれ各クラスタリング結果と統合して、複数の統合結果を得、かつ前記統合結果中の形態素を、前記所定言語モデルで定義された単語形式に置き換えて、目標形態素の複数の拡張単語表現を得る単語表現生成ユニットと、
を含むことを特徴とする単語表現生成装置。
【請求項８】
次元削減アルゴリズムを利用して、前記目標形態素の拡張単語表現に次元削減処理を行って、最終単語表現を生成する次元削減処理ユニットをさらに含むことを特徴とする請求項７に記載の単語表現生成装置。
【請求項９】
前記単語表現生成ユニットは、各クラスタリング結果に対し、それぞれ目標形態素と当該クラスタリング結果中の形態素と統合して、一つの統合結果を取得することを特徴とする請求項７に記載の単語表現生成装置。
【請求項１０】
メモリ、プロセッサー、及びメモリに格納されかつ前記プロセッサーで実行可能なコンピュータプログラムを含み、
前記コンピュータプログラムは、前記プロセッサーに、請求項１ないし６のいずれか一項に記載の単語表現生成方法を実現させるためのものである、
ことを特徴とする単語表現生成装置。
【請求項１１】
コンピュータ読み取り可能な記録媒体であって、前記コンピュータ読み取り可能な記録媒体にコンピュータプログラムが格納されおり、前記コンピュータプログラムは、コンピュータに、請求項１ないし６のいずれか一項に記載の単語表現生成方法を実現させるためのものである、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１２】
コンピュータに、請求項1ないし６のいずれか一項に記載の単語表現生成方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自然言語処理技術分野に係わり、特に単語表現を生成する方法、装置及びコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
自然言語では、多義語が広く使用されている。例えば、異なるコンテキストと領域では、一つの単語が複数の意味項を持つ可能性があり、各意味項が一つの定義や語義に対応する。異なるコンテキストにおける多義語の語義を区別するには重要な意味があり、例えば、機械翻訳、テキスト自動要約、情報検索システム及びその他多くの自然言語処理のシステムに広く応用されている。
【０００３】
自然言語処理では、単語語義を表す一つの表現方法が単語ベクトルによる表現である。当該表現方法自身は多義語を表現することが困難である。一つの改善案は、各単語を異なるコンテキストにおいて異なる表現に変換し、かつ対応して複数の単語ベクトルをトレーニングして多義語の表現を実現することである。しかし、この改善案には計算量が大きく、時間がかかるなどの欠点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施例が解決しようとする技術問題は、単語表現を生成する方法、装置及びコンピュータ読み取り可能な記憶媒体を提供することで、多義語の異なる意味項の単語表現を生成し、かつ計算量が小さく、効率が高いメリットがある。
【解題を解決するための手段】
【０００５】
上記の技術課題を解決するために、本発明の実施例により提供された単語表現を生成する方法は、
予め収集したテキストデータからコーパスデータを取得するステップと、
前記コーパスデータ中の形態素（即ち、基本情報ユニット）を所定言語モデルで定義された単語形式に変換し、前記形態素は単語、連語、語列の内の少なくとも一つを含むステップと、
意味的類似度に基づいて目標形態素（即ち、目標基本情報ユニット)をクラスタリング処理して、複数のクラスタリング結果を得、前記クラスタリング結果は目標形態素のコンテキストに現れる複数の形態素を含むステップと、
前記目標形態素をそれぞれ各クラスタリング結果と統合して複数の統合結果を得、かつ前記統合結果中の形態素を、前記所定言語モデルで定義された単語形式に置き換えて、目標形態素の複数の拡張単語表現を得るステップと、を含む。
【０００６】
優先的に、上記方法において、目標形態素の複数の拡張単語表現を生成するステップの後、次元削減アルゴリズムを利用して、前記目標形態素の拡張単語表現に次元削減処理を行って、最終単語表現を生成する。
【０００７】
優先的に、上記方法において、予め収集したテキストデータからコーパスデータを取得する前記ステップは、前記テキストデータを同じコードフォーマットに変換するステップと、前記テキストデータにデータクレンジングを行うステップと、及びデータクレンジング後の前記テキストデータを形態素に分割し、かつストップワードを除去して前記コーパスデータを得るステップと、を含む。
【０００８】
優先的に、上記方法において、前記所定言語モデルによって定義される単語形式は、ワンホット表現と、分散表現と、を含む。
【０００９】
優先的に、上記方法において、意味的類似度に基づいて目標形態素をクラスタリング処理して、複数のクラスタリング結果を得る前記ステップは、目標形態素が所在するコーパスのコンテキストから、意味素性（即ち、語義的特徴又は意味的特徴）を抽出し、抽出した意味素性に対してクラスタリングを行うことで複数のクラスタリング結果を得ることを含む。
【００１０】
優先的に、上記方法において、目標形態素をそれぞれ各クラスタリング結果と統合する前記ステップは、各クラスタリング結果に対して、それぞれ目標形態素と当該クラスタリング結果中の形態素と統合して、統合結果を取得するステップ、を含む。
【００１１】
本発明の実施例はさらに単語表現生成装置を提供し、それは、
予め収集したテキストデータからコーパスデータを取得するコーパス獲得ユニットと、
前記コーパスデータ中の形態素を所定言語モデルで定義された単語形式に変換するものであって、前記形態素は単語、連語、語列の内の少なくとも一つを含む、単語表現変換ユニットと、
意味的類似度に基づいて前記目標形態素をクラスタリング処理して、複数のクラスタリング結果を得るものであって、前記クラスタリング結果は目標形態素のコンテキストに現れた複数の形態素を含む、クラスタユニットと、
前記目標形態素をそれぞれ各クラスタリング結果と統合して複数の統合結果を得、かつ前記統合結果中の形態素を、前記所定言語モデルで定義された単語形式に置き換えて、目標形態素の複数の拡張単語表現を得る単語表現生成ユニットと、を含む。
【００１２】
優先的に、上記単語表現生成装置において、さらに、
次元削減アルゴリズムを利用して、前記目標形態素の拡張単語表現に次元削減処理を行って、最終単語表現を生成する次元削減処理ユニット、を含む。
【００１３】
優先的に、上記単語表現生成装置において、前記単語表現生成ユニットは具体的に、各クラスタリング結果に対し、それぞれ目標形態素と当該クラスタリング結果中の形態素と統合して、一つの統合結果を取得する。
【００１４】
本発明の実施例はさらに単語表現生成装置を提供し、それは、メモリ、プロセッサー及びメモリに格納されかつプロセッサーで実行可能なコンピュータプログラムを含み、前記コンピュータプログラムは前記プロセッサーに実行された場合、上記の単語表現を生成する方法のステップを実現する、
さらに、本発明の実施例によりコンピュータ読み取り可能な記録媒体が提供され、前記コンピュータ読み取り可能な記録媒体にコンピュータプログラムが格納されており、前記コンピュータプログラムはプロセッサーにより実行された場合、上記の単語表現を生成する方法のステップを実現することができる。
【００１５】
従来技術と比べて、本発明の実施例による単語表現を生成する方法、装置及びコンピュータ読み取り可能な記憶媒体は、意味的類似度に基づいて目標形態素にクラスタリング処理を行って複数のクラスタリング結果を得、かつ目標形態素とクラスタリング結果と統合し、目標形態素の複数の意味項の拡張単語表現を生成する。本発明の実施例では、多義語の異なる意味項の単語表現を生成でき、かつ計算量が小さく、効率が高いメリットがある。
【図面の簡単な説明】
【００１６】
本発明の実施例の技術方案をより明確に説明するために、以下、本発明の実施例の説明に必要とされる添付図を簡単に紹介するが、明らかに、下記の図は本発明のいくつかの実施例のみであり、当業者にとって、高度な技術を必要としない前提において、これらの添付図によって他の添付図を得ることができる。
【図１】本発明の実施例に係る単語表現を生成する方法の応用シーンである。
【図２】本発明の実施例に係る単語表現を生成する方法のフローチャットである。
【図３】本発明の実施例におけるクラスタリング処理の例示図である。
【図４】本発明の実施例におけるクラスタ特徴と単語表現を統合する例示図である。
【図５】本発明の実施例に係る単語表現生成装置の構成図である。
【図６】本発明の実施例に係る単語表現生成装置のほかの構成図である。
【図７】本発明の実施例に係る単語表現生成装置のもう１つの構成図である。
【発明を実施するための形態】
【００１７】
本発明が解決しようとする技術課題、技術方案及び優れた点をより明確させるために、図面及び具体的な実施例を組み合わせて詳細な説明を行う。以下において、詳細な配置とユニットなどの特定な細部の記載は本発明の実施例を理解するために提供されたものである。このため、当業者にとって、本発明の趣旨の範囲内において、記載された実施例に対して種々の変形・変更が可能であることが自明である。また、明確及び簡潔のために、公知の機能と構造の説明を省略した。
【００１８】
いうまでもなく、明細書に記載された「１つの実施例」或いは「一実施例」は、実施例と関係する特定な特徴、構造又は特性が本発明のすくなくとも1つの実施例に含まれていることを意味する。このため、明細書に記載された「１つの実施例において」或いは「一実施例において」では、必ずしも同じ実施例を指すことではない。この他、これらの特定な特徴、構造又は特性は任意の適宜な方式で１つ又は複数の実施例に組み合わせられることも可能である。
【００１９】
本発明の各実施例において、下記各過程の番号は実行する順序を意味するではなく、各過程の実行順はその機能と固有論理とに確定されるべきであり、本発明の実施例の実行過程に対していかなる限定をするべきではない。
【００２０】
前述したように、多義語には複数の異なる意味項があり、違うコンテキストにおける多義語の語義を区別するには重要な意味がある。したがって、本発明の実施例は単語表現の方法を提案し、多義語に異なる意味項と対応する単語表現を生成することができ、かつ当該方法の計算量が相対的に小さく、かかる時間が短いので、単語表現の生成効率を高めることができる。
【００２１】
図1には、本願の単語表現を生成する方法を応用できる実施例の例示的なシステムアーキテクチャ100を示す。図1に示すように、システムアーキテクチャ100は端末デバイス101、102、103、ネットワーク104とサーバ105を含む。ネットワーク104は、端末デバイス101、102、103とサーバ105との間に通信リンクのメディアを提供するためである。ネットワーク104は、有線、無線通信リンク、又は光ファイバーケーブルなど、さまざまな接続タイプを含むことができる。
【００２２】
ユーザは、端末デバイス101、102、103を用いて、ネットワーク104を介してサーバ105とインタラクションし、テキストデータなどを送信する。端末デバイス101、102、103には、ファイル編集アプリケーション、情報検索アプリケーション、情報転送アプリケーションなど、さまざまな通信クライアントアプリケーションが実装されている。端末デバイス101、102、103は、ディスプレイを有し、かつ情報、ファイル送信する各種の電子デバイスであって、スマートフォン、タブレットPC、ラップトップPC、デスクトップPCなどを含むが、それらに限られない。
【００２３】
サーバ105は、単語表現を行うことが可能なサーバである。具体的に、サーバはネットワーク104によってテキストデータを収集して単語表現を生成することができ、例えば、インターネット上のウェブサイトからテキストデータを収集する。もちろん、端末デバイス101、102、103がテキストデータを収集してサーバ105に送信することも可能である。説明しておきたいのは、本願の実施例が提供する単語表現の方法は一般的にサーバ105で実行されるので、それ相応に、単語表示装置はサーバ105に設置されることができる。
【００２４】
図1中の端末デバイス、ネットワーク、サーバの数は例示のみであることを理解すべきである。実現のニーズに応じて、任意数の端末デバイス、ネットワーク、サーバを持つことができる。
【００２５】
図2には、本発明の実施例が提供する単語表現を生成する方法のフローチャットが示され、図2に示すように、当該単語表現の方法は、
ステップ201では、予め収集したテキストデータからコーパスデータを取得する。
【００２６】
本実施例では、当該単語表現を生成する方法は電子デバイス(例えば図1に示すサーバ105)で実行することができ、当該電子デバイスは有線接続方式や無線接続方式でネットワーク(例えばインターネット上のウェブサイト)からテキストデータを収集し、或いは端末デバイス101、102、103などによってテキストデータを収集してその電子デバイスに送信することができる。なお、上記無線接続方式は、3G/4G/5G接続、WiFi接続、Bluetooth(登録商標)接続、WiMAX接続、ZigBee接続、UWB(UltraWideBand)接続、及び現在知られている或いは将来開発される無線接続方式が含まれるが、これらに限定されない。
【００２７】
通常、ネットワークから収集されたテキストデータに複数のコード方法を用いた可能性があるため、ステップ201において、後続ステップ用のコーパスデータを生成するように、テキストデータを前処理する必要がある。具体的に、前処理は以下を含む。
【００２８】
1)コード統一：前記テキストデータを同じコードフォーマットに変換する。例えば、すべての全角文字を半角文字に変換し、かつテキストデータを例えばutf-8フォーマットに同じコードに変換する。
【００２９】
2)データクレンジング：前記テキストデータにデータクレンジングを行う。データクレンジングはテキストデータからテキスト解析に不要なノイズを移動削除し、実際の語義情報を含む内容のみを保留する。ここでのノイズは、通常、特殊記号、リンク、メール、絵文字、顔文字、HTMLタグ(例えば、<html>、<title>と<body>、<br>、<span>など)及びその他の記号、例えば、&lt、&gt、@、#、$、%、^、&、*、()、<>、{}、[]などである。
【００３０】
3)データ分割:データクレンジング後の前記テキストデータを形態素に分割し、かつストップワードを除去して前記コーパスデータを得る。例えば、文で分割した後、異なるシステム応用シーンによって形態素に分割、かつそのうちのストップワードを除去して、コーパスデータを取得する。ここで、前記形態素は単語、連語、語列の内の少なくとも一つを含む。ストップワードは通常、助詞、介詞、副詞などの実際の語義を持たない語彙、及び一部の高頻出語と低頻出語を含む。連語は通常2個或いはより多い単語を含み、語列は2個或いはより多い連語を含むことができる。具体的には、自然言語処理ツールキット(NLTK：Natural  Language  Tool  Kit)を用いてテキストを文に分割し、さらに文を単語分割器などのツールによって単語に分割することができる。また、後続のクラスタリング処理などのニーズに応じて、本発明の実施例は各単語に対して品詞タグ付け(例えば動詞、名詞等のタグ付け)を行うことができる。
【００３１】
ステップ202では、前記コーパスデータ中の形態素を所定言語モデルで定義された単語形式に変換して、前記形態素は単語、連語、語列の内の少なくとも一つを含む。
【００３２】
ここで、前記所定言語モデルによって定義される単語形式は、ワンホット表現(one-hot  representation)と分散表現(distributed  representation)を含む。
【００３３】
自然言語処理の分野では、単語をコンピュータにおける表現形式に変換する必要がある。通常は、one-hot  representationとdistributed  representationの２つの表現形式がある。ワンホット表現(one-hot  representation)は各単語をone-hotベクトルに表し、one-hotベクトルの次元は語彙テーブルのサイズである。分散表現(distributed  representation)は単語を分散表現(固定長さの連続した密ベクトル)、或いは単語ベクトル(word  embedding)に変換する。具体的には、前記コーパスデータに対して、例えば単語からベクトルへ(word2vec)のツールのような分散表現生成ツールを用いて、単語を単語ベクトルに変換することができ、各ベクトルは連続した浮動小数点値から構成する。
【００３４】
ステップ203は、意味的類似度(semantic  similarity)に基づいて目標形態素をクラスタリング処理して、複数のクラスタリング結果を得、前記クラスタリング結果は目標形態素のコンテキストに現れる複数の形態素を含む。
【００３５】
ここで、クラスタリング処理のステップは、目標形態素が所在するコーパスのコンテキストから、意味素性を抽出し、抽出した意味素性に対してクラスタリングを行うことで複数のクラスタリング結果を得ることを含む。実施方法として、本発明の実施例は潜在的ディリクレ分布(LDA、Latent  Dirichlet  Allocation)モデルを利用して前記クラスタリング処理を行うことが可能であり、具体的には、前記所定言語モデルで定義された単語形式に基づいて、前記形態素をベクトルに変換し、及び前記コーパスデータをベクトル行列に変換し、前記ベクトル行列をLDAモデルに入力し、前記目標形態素にクラスタリングを行い、複数のクラスタリング結果を出力する。
【００３６】
例えば、ステップ201で得られたコーパスデータ中の形態素をone-hotベクトル表現に変換することが可能である。各one-hotベクトルはW次元を含み、各次元が当該単語のコーパスデータにおける出現頻度である。Wはコーパスデータの語彙テーブルのサイズを表す。全部語彙の集合は、one-hot行列の形式でコーパスデータの表現を構成する。次に、genism実体で語義に基づくクラスタリングを実現でき、例えば、上記one-hot行列をLDAモデルに入力し、当該LDAモデルから出力された語義に基づくクラスタリングを取得する。クラスタリングの数は予め設定することが可能である。これらのクラスタリングは通常、単語IDによって構成される。図3はコンテキストによって意味に基づきクラスタリングを構築する例を示す。ここで、破線枠に選択された部分は前述した方法で計算して選出された形態素であって、形態素からなる集合301と302はそれぞれ目標単語の一つのクラスタリング結果であり、即ち、目標単語に対応する一つの語義のクラスタである。
【００３７】
ステップ204では、前記目標形態素をそれぞれ各クラスタリング結果と統合して複数の統合結果を得、かつ前記統合結果中の形態素を、前記所定言語モデルで定義された単語形式に置き換えて、目標形態素の複数の拡張単語表現を得る。
【００３８】
本発明の実施例では、各クラスタリング結果に対して、それぞれ目標形態素と当該クラスタリング結果中の形態素と統合して、統合結果を取得し、当該統合結果は形態素及び当該クラスタリング結果中の形態素を含む。次に、統合結果中の形態素を、すべて前記所定言語モデルで定義された単語形式に置き換えることで、目標形態素の複数の拡張単語表現を生成して、各拡張単語表現はそれぞれ目標形態素の一つの語義に対応する。
【００３９】
具体的に、本発明の実施例は統合結果中の形態素を分散表現又はワンホット表現に変換することができる。例えば、目標形態素に対してn+1個のクラスタ(cluster)を取得して、各クラスタリング結果にK個の単語が含まれ、各単語が変換された分散表現は128次元と仮設する。単語の単語表現(例えば分散表現或いはワンホット表現)を用いてクラスタリング結果中の対応する単語ベクトルIDを置換することによって、各クラスタリング結果を一つの高次元(K*128)のクラスタ特徴に表現し、図4中の枠402に示すcluster-0〜cluster-nのようなn+1個のクラスタ特徴を得ることができる。各クラスタ特徴をそれぞれ対応する目標単語の単語表現(図4中の枠401に示す単語表現)と統合し、枠403に示すようなn+1個の単語ベクトルを得ることができ、各単語ベクトルは共にK*128+128次元であり、このn+1個の単語ベクトルは目標形態素の拡張単語表現で、各拡張単語表現はそれぞれ目標形態素の一つの意味項と対応する。
【００４０】
以上のステップにより、本発明の実施例は意味的類似度に基づいて目標形態素にクラスタリング処理を行って複数のクラスタリング結果を得、かつ目標形態素とクラスタリング結果と統合し、目標形態素の複数の意味項の拡張単語表現を生成する。本発明の実施例は単一の目標形態素を、異なるコンテキストに対して異なる意味項をそれぞれ表現できる複数の形態素に拡張し、本発明の実施例は単語をクラスタしてから単語ベクトルと統合する方法で単語表現を生成ので、従来技術の複数の単語ベクトルをそれぞれ訓練する訓練過程を避けたため、計算量が小さく、生成効率が高いなどの長所を有する。
【００４１】
ステップ204で得られた単語表現の次元が高いことを考慮して、本発明の実施例は上記のステップ204の後、さらに次元削減アルゴリズムを利用して、前記目標形態素の拡張単語表現に次元削減処理を行って、最終単語表現を生成する。具体的には、主成分分析(PCA、Principal  Component  Analysis)アルゴリズムを用いて次元削減処理を行うことができ、出力結果は目標形態素に対する各意味項の最終単語表現である。上記次元削減処理によって、本発明の実施例は拡張単語表現に存在可能なデータが疎である問題を減少し、高次元ベクトルの演算性能を向上させる。
【００４２】
上記実施例による単語表現方法に基づき、本発明の実施例はさらにコンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータプログラムはプロセッサーに実行された場合、上記いずれかの方法実施例における単語表現を生成する方法のステップを実現する。
【００４３】
以上方法をもとに、本発明の実施例はさらに前記方法を実施するための装置を提供し、図5のように、本発明の実施例による単語表現生成装置500は以下を含む。
【００４４】
コーパス獲得ユニット501では、予め収集したテキストデータからコーパスデータを取得する。
【００４５】
単語表現変換ユニット502では、前記コーパスデータ中の形態素を所定言語モデルで定義された単語形式に変換し、前記形態素は単語、連語、語列の内の少なくとも一つを含む。
【００４６】
クラスタユニット503では、意味的類似度に基づいて目標形態素をクラスタリング処理して、複数のクラスタリング結果を得、前記クラスタリング結果は目標形態素のコンテキストに現れる複数の形態素を含む。
【００４７】
単語表現生成ユニット504では、前記目標形態素をそれぞれ各クラスタリング結果と統合して複数の統合結果を得、かつ前記統合結果中の形態素を、前記所定言語モデルで定義された単語形式に置き換えて、目標形態素の複数の拡張単語表現を得る。
【００４８】
ここで、前記所定言語モデルによって定義される単語形式は、ワンホット表現(one-hot  representation)と分散表現(distributed  representation)とを含むことができる。
【００４９】
上記のユニットにより、本発明の実施例の単語表現生成装置500は、目標形態素とクラスタリング結果とを統合することができ、さらに目標形態素の異なる意味項に対応する複数の拡張単語表現を生成することができ、計算量が小さく生成効率が高いという利点がある。
【００５０】
図6を参照して、本発明の実施例によるもう一つの単語表現生成装置600は、図5と類似したユニットを含む以外、さらに以下を含む。
【００５１】
次元削減処理ユニット505は、次元削減アルゴリズムを利用して、前記目標形態素の拡張単語表現に次元削減処理を行って、最終単語表現を生成する。
【００５２】
上記次元削減処理ユニット505によって、本発明の実施例は拡張単語表現に存在可能なデータが疎である問題を減少し、高次元ベクトルの演算性能を向上させる。
【００５３】
実現方法として、上記実施例が提供する単語表現生成装置500又は単語表現生成装置600の中に、前記コーパス獲得ユニット501は具体的に、前記テキストデータを同じコードフォーマットに変換することと、前記テキストデータにデータクレンジングを行うことと、及びデータクレンジング後の前記テキストデータを形態素に分割し、かつストップワードを除去して前記コーパスデータを得ることと、に用いられる。
【００５４】
ここで、以上実施例による単語表現生成装置500又は単語表現生成装置600のうち、前記クラスタユニット503は、目標形態素が所在するコーパスのコンテキストから、意味素性を抽出し、抽出した意味素性に対してクラスタリングを行うことで複数のクラスタリング結果を得る。
【００５５】
一つの実施方法として、本発明の実施例はLDAモデルを利用して前記クラスタリング処理を行うことが可能であり、この場合、前記クラスタユニット503は前記所定言語モデルで定義された単語形式に基づいて、前記形態素をベクトルに変換し、及び前記コーパスデータをベクトル行列に変換し、前記ベクトル行列をLDAモデルに入力し、前記目標形態素にクラスタリングを行い、複数のクラスタリング結果を出力する。
【００５６】
一つの実施方法として、上記実施例が提供する単語表現生成装置500又は単語表現生成装置600の中、前記単語表現生成ユニット504が具体的には、各クラスタリング結果に対して、それぞれ目標形態素と当該クラスタリング結果中の形態素と統合して、統合結果を取得する。
【００５７】
図7を参照して、本発明実施例はまた単語表現生成装置のハードウェア構造図を提供し、図7に示すように、当該単語表現生成装置700は、
プロセッサー702と、
コンピュータプログラムコマンドが格納されるメモリ704と、を含む。
【００５８】
ここで、前記コンピュータプログラムコマンドが前記プロセッサーにより実行された時に、前記プロセッサー702に、下記のステップ、即ち、
予め収集したテキストデータからコーパスデータを取得するステップと、
前記コーパスデータ中の形態素を所定言語モデルで定義された単語形式に変換し、前記形態素は単語、連語、語列の内の少なくとも一つを含むステップと、
意味的類似度に基づいて目標形態素をクラスタリング処理して、複数のクラスタリング結果を得、前記クラスタリング結果は目標形態素のコンテキストに現れる複数の形態素を含むステップと、
前記目標形態素をそれぞれ各クラスタリング結果と統合して複数の統合結果を得、かつ前記統合結果中の形態素を、前記所定言語モデルで定義された単語形式に置き換えて、目標形態素の複数の拡張単語表現を得るステップと、に実行させる。
【００５９】
さらに、図7に示すように、当該単語表現生成装置700はネットワークインターフェース701、入力手段703、ハードディスク705と表示デバイス706を含む。
【００６０】
上記各コンピュータとデバイスとの間にはバスアーキテクチャーを介して接続し合う。バスアーキテクチャーは任意数のコンポーネントインターコネクトされるバスとブリッジとを含むことができる。具体的には、プロセッサー702が代表する一つ又は複数の中央プロセッサー（CPU）及びメモリ704が代表する一つ又は複数のメモリの各種回路が接続されている。バスアーキテクチャーは周辺デバイス、定電圧器と電源管理回路などの各種ほかの回路を一緒に接続させることができる。理解できるように、バスアーキテクチャーはこれらのユニットの間の接続通信を実現するために用いられる。バスアーキテクチャーはデータバスのほか、電源バスと、制御バスと、状態信号バスとを含むことは当分野において公知され、詳細な説明を省略する。
【００６１】
前記ネットワークコンピュータ701はネットワーク（例えばインターネット、ローカルエリアネットワークなど）に接続されて、ネットワークから情報を受信し、受信した情報をハードディスク705に保存し、例えば受信したコーパスデータを生成するためのテキストデータをハードディスク705に保存する。
【００６２】
前記入力手段703は作業員より入力された各種のコマンドを受け取り、かつプロセッサー702に発送して実行される。前記入力手段703はキーボード又はクリックデバイス（例えばマウス、軌跡球（トラックボール）、接触感知板又はタッチスクリーンなど）を含む。
【００６３】
前記表示デバイス706は、プロセッサー702がコマンドを実行して取得した結果を表示することができ、例えば生成された目標形態素の拡張単語表現などを表示する。
【００６４】
前記メモリ704は、システム稼動時に必須なプログラムとデータ、及びプロセッサー702の計算過程における中間結果などのデータを格納するように用いられ。
【００６５】
理解できるように、本発明の実施例におけるメモリ704は揮発性メモリ又は不揮発性メモリでもよく、或いは揮発性メモリと不揮発性メモリとの両者を含むことが可能である。ここで、不揮発性メモリは読み出し専用メモリ（ROM）で、プログラマブル読み出し専用メモリ（PROM）で、消去可能なプログラマブル読み出し専用メモリ（EPROM）で、電気的に消去可能なプログラマブル読み出し専用メモリ（EEPROM）でもよい。揮発性メモリはランダムアクセスメモリ（RAM）でもよく、外部キャッシュとして用いられる。本明細書に記載の装置と方法のメモリ704はこれら及び任意のほかの適切な類型のメモリを含むが、限られることではない。
【００６６】
いくつかの実施形態において、メモリ704は以下の要素を格納しており、即ち、実行可能なモジュール又はデータ構造、或いはそれらのサブ集合又は拡張集合、例えば、オペレーティングシステム7041とアプリケーションプログラム7042である。
【００６７】
ここで、オペレーティングシステム7041は各種の基礎業務及びハードウェアに基づくタスクを実現するように、例えば枠組層、コアー層、駆動層など各種のシステムプログラムを含む。アプリケーションプログラム7042は各種のアプリケーション業務を実現するように、例えばブラウザー（Browser）などの各種アプリケーションプログラムを含む。本発明の実施例の方法を実現するプログラムはアプリケーションプログラム7042に含まれることが可能である。
【００６８】
本発明の上記実施例による方法はプロセッサー702に応用でき、或いはプロセッサー702によって実現できる。プロセッサー702は信号の処理能力を持つ集積回路チップであってもよい。実現過程では、上記方法の各ステップはプロセッサー702内のハードウェアの集積ロジック回路又はソフトウェア形式のコマンドによって完成できる。上記プロセッサー702は汎用プロセッサーで、デジタル信号処理器（DSP）で、特定用途向け集積回路（ASIC）で、現場で構成可能な回路アレイ（FPGA）で、個別ゲート又はトランジスタロジックデバイスで、個別ハードウェアユニットであってもよく、本発明の実施例に公開された各方法、ステップ及びロジックブロック図を実現又は実行できる。汎用プロセッサーはマイクロプロセッサー又はいかなる常用的なプロセッサーであっても良い。本発明の実施例より公開された方法のステップと結合して直接にできるのは、ハードウェアデコーダプロセッサーより実行して完成、又はデコーダプロセッサー内のハードウェア及びソフトウェアモジュールの組み合わせによって実行して完成することである。ソフトウェアモジュールはランダムメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリ又は電気的に消去可能なプログラマブルメモリ、レジスタなどの当分野において成熟された記録媒体に位置することが可能である。当該記録媒体はメモリ704にあり、プロセッサー702はメモリ704内の情報を読み取って、そのハードウェアと結合して上記方法のステップを完成する。
【００６９】
理解できるのは、本明細書に記載されたこれらの実施例に、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はその組み合わせによって実現できる。ハードウェアの実現について、プロセスユニットは１つ又は複数の特定用途向け集積回路（ASIC）、デジタル信号処理器（DSP）、デジタル信号処理デバイス（DSPD）、プログラマブルロジックデバイス（PLD）、フィールド プログラマブル ゲート
アレイ（FPGA）、汎用プロセッサー、コントローラ、マイクロコントローラ、マイクロプロセッサー、本願の前記機能を実現するためのほかの電子モジュール又は組み合わせに実現可能である。
【００７０】
ソフトウェアの実現について、本明細書に記載された前記機能を実行するモジュール（例えばプロセス、関数など）によって本明細書の前記技術を実現できる。ソフトウェアコードはメモリに格納、かつプロセッサーによって実行することが可能である。メモリはプロセッサー内又はプロセッサー外部において実現できる。
【００７１】
具体的には、前記コンピュータプログラムはプロセッサー702に実行された時に以下のステップを実現できる。
【００７２】
目標形態素の複数の拡張単語表現を生成するステップの後、次元削減アルゴリズムを利用して、前記目標形態素の拡張単語表現に次元削減処理を行って、最終単語表現を生成する。
【００７３】
具体的には、前記コンピュータプログラムはプロセッサー702に実行された時に以下のステップを実現できる。
【００７４】
前記テキストデータを同じコードフォーマットに変換するステップと、前記テキストデータにデータクレンジングを行うステップと、及びデータクレンジング後の前記テキストデータを形態素に分割し、かつストップワードを除去して前記コーパスデータを得るステップと、を含む。
【００７５】
具体的には、前記コンピュータプログラムはプロセッサー702に実行された時に以下のステップを実現できる。
【００７６】
目標形態素が所在するコーパスのコンテキストから意味素性を抽出するステップと、
抽出した意味素性に対してクラスタを行うことで複数のクラスタリング結果を得るステップと、を含む。
【００７７】
具体的には、前記コンピュータプログラムはプロセッサー702に実行された時に以下のステップを実現できる。
【００７８】
各クラスタリング結果に対して、それぞれ目標形態素と当該クラスタリング結果中の形態素と統合して、統合結果を取得する。
【００７９】
当業者にとって、本明細書により公開された実施例の各例示したユニット及びアルゴリズムステップと結合して、電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの結合によってを実現させることができる。これらの機能はハードウェア又はソフトウェアによって実行させることは、技術方案の特定応用や設計制約条件に決められる。当業者は特定された各応用に応じて異なる方法を用いて前記機能を実現できるが、この実現は本発明の範囲を超えるものと見なすべきではない。
【００８０】
当業者にとって、説明を便利と簡潔にするために、上記のシステム、装置とユニットの具体的な作業過程に関して、前記方法実施例における対応過程を参考でき、ここで贅言をしない。
【００８１】
本願より提供した実施例において、記載された方法と装置をほかの方法でも実現できることは言うまでも無い。例えば、上記記述された装置実施例は例示的のみであり、例えば、前記モジュールの区画はロジック機能区画のみであり、実際ではほかの区画方法で実現することも可能である。例えば、複数のモジュール又はユニットで結合又はほかのシステムに集成して、或いはある特徴が無視でき、又は実行されなくてもよい。もう1つ、示し又は議論された相互間の結合又は直接結合又は通信接続はコンピュータ、装置又はモジュールを介した間接結合又は通信接続であってもよし、電気的、機械又はほかの形式であってもよい。
【００８２】
前記分離部材として説明したユニットは物理的に分離されてもよいが、されなくてもよく、ユニットとして表示された部材ま物理ユニットであってもよいが、でなくてもよく、即ち1カ所に位置してもよく、複数のネットワークユニットに配布されてもよい。実際のニーズに応じてその一部又はすべてのユニットを選択して本発明の実施例方案の目的を実現することができる。
【００８３】
また、本発明の各実施例における各機能的なユニットを１つのプロセスユニットに集成することも可能が、各ユニットが物理的に単独で存在することも可能で、又は２つ或いは２つ以上のユニットが1つのユニットに集成することも可能である。
【００８４】
前記機能がソフトウェア機能ユニットの形式で実現し、かつ独立した製品で販売又は使用する場合に、コンピュータ読み取り可能記憶媒体に格納することができる。このような理解に基づき、本発明の技術方案の本質、或いは従来技術に対して貢献する部分、又は当該技術方案の一部をソフトウェアプロダクトの形式で実現することができ、当該コンピュータソフトウェアプロダクトは記録媒体に記憶されて、若干のコマンドを含んでコンピュータ装置（パーソナルコンピュータ、サーバ或いはネットワーク設備などでも可能）に本願の各実施例に記載した前記方法の全部又は一部のステップを実行させる。前記の記録媒体は以下を含む：USB、移動ハードディスク、ROM、RAM、磁気ディスク又は光ディスクなど各種のプログラムコードを記憶できる媒体を含む。
【００８５】
上記は本発明の具体的な実施方式であり、本発明の保護範囲はこれに限らず、当業者にとって、本発明に公開された技術範囲において、変化また入れ替えを容易に想起でき、いずれも本発明の保護する範囲に含まれる。そのため、本発明の保護範囲はクレームの保護範囲を元にすべきである。
【図１】
2019149161.tif 000003
【図２】
2019149161.tif 000004
【図３】
2019149161.tif 000005
【図４】
2019149161.tif 000006
【図５】
2019149161.tif 000007
【図６】
2019149161.tif 000008
【図７】
2019149161.tif 000009