(57)【要約】  本願の実施例には、意味分析方法、装置、および記憶媒体が提出され、ここで、該方法は、対話フローにおける各サンプル文に対して、サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、サンプル文の意味を表す文ベクトルを得ることと、文ベクトルを、サンプル文の各文脈文に対応する第１のデコーダモデルと、サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子と、単語に対応する第２の識別子とを得ることと、各第１のデコーダモデルに基づいて、第１の識別子の確率を得、各第２のデコーダモデルに基づいて、第２の識別子の確率を得て、ターゲット関数の値を決定することと、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行うことと、テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、テスト文の意味を表す文ベクトルを得ることと、を含む。
2020522817.tif 000002
【特許請求の範囲】
【請求項１】
メモリとプロセッサとを含むコンピュータデバイスに適用される意味分析方法であって、
対話フローにおける各サンプル文に対して、前記サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、前記サンプル文の意味を表す文ベクトルを得ることと、
前記サンプル文の文ベクトルを、前記サンプル文の各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得ることと、
前記サンプル文の文ベクトルを、前記サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得ることと、
各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定することであって、ここで、前記ターゲット関数の値は、前記サンプル文の文ベクトルが意味を示す正確さを指示するために使用されるものであることと、
前記ターゲット関数の値に基づいて、前記エンコーダモデルに対してパラメータトレーニングを行うことと、
テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、前記テスト文の意味を表す文ベクトルを得ることと、
を含むことを特徴とする意味分析方法。
【請求項２】
前記エンコーダモデルが畳み込みニューラルネットワークモデルを用いて、
前記対話フローにおける各サンプル文に対して、前記サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、前記サンプル文の意味を表す文ベクトルを得ることは、
前記サンプル文における各単語の単語ベクトルを、前記畳み込みニューラルネットワークモデルに入力して、前記畳み込みニューラルネットワークモデルにおける最後の層によって出力された前記サンプル文の文ベクトルを得ることを含む、
ことを特徴とする請求項１に記載の意味分析方法。
【請求項３】
前記サンプル文がｉ番目のグループの対話フローにおけるｊ番目の文である場合、前記サンプル文のｋ番目の単語の単語ベクトルは、
【数１】
2020522817.tif 000017
であり、ここで、ｗjk(i)は、前記サンプル文のｋ番目の単語の識別子であり、Ｅencoderは、前記畳み込みニューラルネットワークモデルの単語ベクトル行列である、
ことを特徴とする請求項２に記載の意味分析方法。
【請求項４】
前記第１のデコーダモデルと前記第２のデコーダモデルがいずれもディープニューラルネットワークモデルを用いて、
前記ターゲット関数の値に基づいて、前記エンコーダモデルに対してパラメータトレーニングを行うことは、
前記ターゲット関数の値に基づいて、前記エンコーダモデルにおける畳み込みニューラルネットワークモデルの単語ベクトル行列、畳み込みニューラルネットワークモデルの重み行列、畳み込みニューラルネットワークモデルのバイアスベクトルに対してパラメータトレーニングを行うことを含み、
前記方法は、
前記ターゲット関数の値に基づいて、前記第１のデコーダモデルと前記第２のデコーダモデルにおけるディープニューラルネットワークモデルの重み行列とディープニューラルネットワークモデルのバイアスベクトルに対してパラメータトレーニングを行うことをさらに含む、
ことを特徴とする請求項２に記載の意味分析方法。
【請求項５】
前記各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定することは、
前記サンプル文がｉ番目のグループの対話フローにおけるｊ番目の文である場合、前記サンプル文の文ベクトルｖj(i)が入力された条件で、各第１のデコーダモデルによって出力された文脈文に対する第１の識別子ｓj±q(i)の確率に基づいて、前記ターゲット関数の第１の項目
【数２】
2020522817.tif 000018
の値を計算することであって、ここで、ｑ＝１，２，…Ｑである、Ｎは、対話フローの総グループ数であり、Ｔは、ｉ番目のグループの対話フローに含まれる文の総数であることと、
前記サンプル文の文ベクトルｖj(i)が入力された条件で、各第２のデコーダモデルによって出力された前記サンプル文における単語に対応する第２の識別子ｗjk(i)の確率に基づいて、前記ターゲット関数の第２の項目
【数３】
2020522817.tif 000019
の値を計算することであって、ここで、Ｍは、前記サンプル文における単語の総数であることと、
前記第１の項目の値と前記第２の項目の値との合計を求め、前記ターゲット関数の値を得ることとを含む、
ことを特徴とする請求項１に記載の意味分析方法。
【請求項６】
前記テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、前記テスト文の意味を表す文ベクトルを得る前に、さらに
ユーザ側で入力された質問を前記テスト文とすることを含み、
前記テスト文の意味を表す文ベクトルを得る後に、さらに、
前記テスト文の文ベクトルに基づいて、質問ライブラリから予め記憶された質問をクエリし得ることと、
前記予め記憶された質問に対応する回答を前記ユーザ側に送信することと、を含む、
ことを特徴とする請求項１〜５のいずれか１項に記載の意味分析方法。
【請求項７】
意味分析装置であって、
対話フローにおける各サンプル文に対して、前記サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、前記サンプル文の意味を表す文ベクトルを得る符号化モジュールと、
前記サンプル文の文ベクトルを、前記サンプル文の各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得、前記サンプル文の文ベクトルを、前記サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得る復号化モジュールと、
各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定する生成モジュールであって、ここで、前記ターゲット関数の値は、前記サンプル文の文ベクトルが意味を示す正確さを指示するために使用されるものである生成モジュールと、
前記ターゲット関数の値に基づいて、前記エンコーダモデルに対してパラメータトレーニングを行うトレーニングモジュールと、
テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、前記テスト文の意味を表す文ベクトルを得るテストモジュールと、
を含むことを特徴とする意味分析装置。
【請求項８】
前記エンコーダモデルが畳み込みニューラルネットワークモデルを用いて、
前記符号化モジュールは、前記サンプル文における各単語の単語ベクトルを、前記畳み込みニューラルネットワークモデルに入力して、前記畳み込みニューラルネットワークモデルにおける最後の層によって出力された前記サンプル文の文ベクトルを得る、
ことを特徴とする請求項７に記載の意味分析装置。
【請求項９】
メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含むコンピュータデバイスであって、
前記プロセッサが前記プログラムを実行する場合、請求項１〜６のいずれか１項に記載の意味分析方法が実現される、
ことを特徴とするコンピュータデバイス。
【請求項１０】
コンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記プログラムがプロセッサによって実行される場合、請求項１〜６のいずれか１項に記載の意味分析方法が実現される、
ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１７年１０月１０日に中国特許局に提出された、出願番号が２０１７１０９３６２１１．Ｘであり、出願名称が「意味分析方法および装置」である中国特許出願の優先権を主張し、その全ての内容は、参照することにより本願に組み込まれる。
【０００２】
本願の実施例は、自然言語処理の技術分野に関し、特に、意味分析方法、装置、および記憶媒体に関する。
【背景技術】
【０００３】
ヒューマン・マシン・インタラクションをより良くするためには、通常、ユーザが入力した自然言語をモデルで処理することで、ユーザの意味を分析し獲得する必要がある。
【発明の概要】
【課題を解決するための手段】
【０００４】
本願の実施例には、コンピュータデバイスに適用される意味分析方法が提出されており、この方法は、
対話フローにおける各サンプル文に対して、前記サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、前記サンプル文の意味を表す文ベクトルを得ることと、
前記サンプル文の文ベクトルを、前記サンプル文の各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得、前記サンプル文の文ベクトルを、前記サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得ることと、
各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定することであって、ここで、前記ターゲット関数の値は、前記サンプル文の文ベクトルが意味を示す正確さを指示するために使用されるものであるここと、
前記ターゲット関数の値に基づいて、前記エンコーダモデルに対してパラメータトレーニングを行うことと、
テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、前記テスト文の意味を表す文ベクトルを得ることと、を含む。
【０００５】
本願の実施例には、意味分析装置が提出されており、この装置は、
サンプル文と、前記サンプル文の複数の文脈文とを含む対話フローにおける各サンプル文に対して、前記サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、前記サンプル文の意味を表す文ベクトルを得る符号化モジュールと、
前記サンプル文の文ベクトルを、前記サンプル文の各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得、前記サンプル文の文ベクトルを、前記サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得る復号化モジュールと、
各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定する生成モジュールであって、ここで、前記ターゲット関数の値は、前記サンプル文の文ベクトルが意味を示す正確さを指示するために使用されるものである生成モジュールと、
前記ターゲット関数の値に基づいて、前記エンコーダモデルに対してパラメータトレーニングを行うトレーニングモジュールと、
テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、前記テスト文の意味を表す文ベクトルを得るテストモジュールと、を含む。
【０００６】
本願の実施例には、メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含むコンピュータデバイスが提出されており、前記プロセッサが前記プログラムを実行する場合、上述の意味分析方法が実現される。
【０００７】
本願の実施例には、コンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体が提出されており、前記プログラムがプロセッサによって実行される場合、上述の意味分析方法が実現される。
【図面の簡単な説明】
【０００８】
本願の実施例の上記および／または付加的な態様や利点は、以下の図面を参照しながら実施例に対する説明から明らかになり、かつ理解しやすくなる。
【図１Ａ】本願の実施例によって提供される、意味分析方法の実施環境の概略図である。
【図１Ｂ】本願の実施例によって提供される、１つの意味分析方法のフローチャート概略図である。
【図２】本願の実施例によって提供される、もう１つの意味分析方法のフローチャート概略図である。
【図３】本願の実施例によって提供される、さらに１つの意味分析方法のフローチャート概略図である。
【図４】本願の実施例によって採用される、エンコーダ‐デコーダモデルの構成概略図である。
【図５】本願の実施例の意味分析方法が質問回答システムに適用されることの概略図である。
【図６】本願の実施例によって提供される、１つの意味分析装置の構成概略図である。
【図７】本願の実施例によって提供される、もう１つの意味分析装置の構成概略図である。
【図８】本願の実施例によって提供される、さらに１つの意味分析装置の構成概略図である。
【図９】本願の実施例によって提供される、コンピュータデバイスの構成概略図である。
【発明を実施するための形態】
【０００９】
以下では、本願の実施例が詳細に説明されており、前記実施例の例示が図面に示され、ここで、全体にわたって同一または類似の記号が同一または類似の要素や同一または類似の機能を有する要素を表している。図面を参照しながら以下に説明する実施例は、例示的なものであり、本願を解釈することを意図しており、本願を限定するものとして解釈されるべきではない。
【００１０】
以下、図面を参照しながら、本願の実施例の意味分析方法および装置について説明する。
【００１１】
実際の応用では、通常、リカレントニューラルネットワークをモデルとしたエンコーダ‐デコーダを用いて、分析対象の文に対して意味分析を行う。モデルをトレーニングする場合、ニューラルネットワークを用いたエンコーダは、シリアル計算をしなければならないため、エンコーダで受信された文の長さがｍ（即ち、ｍ個の単語を含む）である場合、ｍ個の時間ステップの計算時間が必要である。また、デコーダで受信されたこの分析対象の文が２ｋ個の文脈文を有し、ここで、文脈文の最大長さがｎであると仮定すると、２ｋ個のデコーダは並列に動作することができるが、各デコーダは文脈文をシリアルに処理しなければならないため、ｎ個の時間ステップの計算時間が必要である。ここから分かるように、１つの文だけに対して、全体の計算過程には、ｍ＋ｎ個の時間ステップが必要である。
【００１２】
したがって、文の長さが長い場合および／または文の数が大きい場合、モデルトレーニングの時間が長くなり、意味分析の効率が低くなる。
【００１３】
人工知能技術では、チャットロボットがユーザの意味を正確に理解して、ヒューマン・マシン・インタラクションをよりよく実現するようにするために、通常、大量のトレーニングデータを用いて、モデルに基づいて文の意味表現をトレーニングする必要がある。
【００１４】
関連技術では、通常、ｓｋｉｐ−ｔｈｏｕｇｈｔモデルを用いて文の意味表現をトレーニングし、このモデルは、リカレントニューラルネットワークに基づくエンコーダ−デコーダモデルである。エンコーダとデコーダは、いずれもリカレントニューラルネットワークを使用しているが、リカレントニューラルネットワークは並列に動作できず、演算効率が低くなり、かつ、動作時間と文の長さが線形関係にあり、つまり、文の長さが長く、トレーニングデータのデータ量が大きい場合、トレーニング時間が長くなるため、ｓｋｉｐ−ｔｈｏｕｇｈｔモデルを用いて文の意味表現をトレーニングする際に、より良いトレーニング結果を得るために、長いトレーニング時間が必要になってしまう。
【００１５】
上記の課題に対して、本願の実施例には、トレーニング時間を短縮して、処理効率を向上させるための意味分析方法が提出されている。
【００１６】
図１Ａは、本願の実施例によって提供される意味分析方法の実施環境の概略図である。ここで、コンピュータデバイス１０は、本発明のいずれかの実施例によって提供される意味分析装置１１を統合して、本発明のいずれかの実施例によって提供される意味分析方法を実現するために使用される。該コンピュータデバイス１０とユーザ端末２０は、ネットワーク３０を介して接続されており、前記ネットワーク３０は、有線ネットワークであってもよく、無線ネットワークであってもよい。
【００１７】
図１Ｂは、本願の実施例によって提供される１つの意味分析方法のフローチャート概略図である。
【００１８】
図１Ｂに示すように、この意味分析方法は、コンピュータデバイスに適用されており、次のステップを含む。即ち、
ステップ１０１で、対話フローにおける各サンプル文に対して、サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、サンプル文の意味を表す文ベクトルを得る。
【００１９】
文の意味表現をトレーニングする場合、トレーニングで使用されるデータセットは、自然対話のデータセットである。自然対話のデータセットは、複数のグループの対話フローからなり、各グループの対話フローは、２つのユーザ間の交互の対話からなり、ｉ番目のグループの対話フローは、
【数１】
2020522817.tif 000003
と表され、ここで、ｓj(i)は、ｉ番目のグループの対話フローにおけるｊ番目の文を表し、Ｔは、ｉ番目のグループの対話フローに含まれる文の数を表す。ｉ番目のグループの対話フローにおけるｊ番目の文について、この文は、複数の単語からなり、各単語は、それぞれ、
【数２】
2020522817.tif 000004
と表されてもよく、ここで、ｗjr(i)は、ｉ番目のグループの対話フローのｊ番目の文におけるｒ番目の単語を表し、Ｍは、ｉ番目のグループの対話フローのｊ番目の文に含まれる単語の個数を表す。
【００２０】
１つのグループの対話フローにおける複数の文について、各文は、サンプル文として使用されることができ、各サンプル文には、対応する複数の文脈文がある。本実施例では、対話フローにおける各サンプル文に対して、サンプル文における各単語の単語ベクトルをエンコーダモデルに入力してよく、エンコーダモデルの出力結果は、このサンプル文の意味を表す文ベクトルである。
【００２１】
ステップ１０２で、サンプル文の文ベクトルを、サンプル文の各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得、サンプル文の文ベクトルを、サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得る。
【００２２】
１つのグループの対話フローにおける各文について、その文の意味表現は、その文の文脈文と、その文におけるすべての単語とを決定した。例えば、「我吃了（私が食べました）」は、よく
【数３】
2020522817.tif 000005
への回答とするものであるため、「我吃了」という文の意味表現は、
【数４】
2020522817.tif 000006
と強い繋がりがあり、かつ、「我」、「吃」、「了」という３つの単語は、共同でこの文の意味表現を構成する。演算速度を高めるために、本実施例では、文脈文の文の識別子のみがこの文の文脈情報として使用され、単語の識別子がこの文の各単語として使用される。データ量が大きい場合、重複した文識別子が多いため、文の識別子に含まれる情報量は、文脈情報を表すのに十分である。
【００２３】
ここで、文の識別子は唯一であり、各文脈文は１つの文識別子に一意に対応する。相応的に、１つの文識別子に基づいて、１つのサンプル文の文脈文を一意に決定することができる。単語の識別子も唯一であり、単語の識別子に基づいて、文における単語を一意に決定することができる。
【００２４】
サンプル文の複数の文脈文について、各文脈文のために、１つの対応する第１のデコーダモデルをそれぞれ設定し、かつ、エンコーダから出力されたサンプル文の文ベクトルを、各文脈文に対応する第１のデコーダモデルにそれぞれ入力して、文脈文に対応する第１の識別子を得る。
【００２５】
サンプル文における各単語について、各単語のために、１つの対応する第２のデコーダモデルをそれぞれ設定し、かつ、エンコーダから出力されたサンプル文の文ベクトルを、各単語に対応する第２のデコーダモデルに入力して、サンプル文の各単語に対応する第２の識別子を得る。
【００２６】
ステップ１０３で、各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定する。
【００２７】
ここで、ターゲット関数は、トレーニング過程の正確さを監視し、モデルのトレーニング効果を評価するための尤度確率関数であってよい。ターゲット関数の値は、サンプル文の文ベクトルが意味を示す正確さを指示するために使用されるものであり、ターゲット関数の値が大きいほど、トレーニング結果がより正確であり、トレーニング効果がより良いということを示している。
【００２８】
本実施例では、サンプル文の文ベクトルを各第１のデコーダモデルと各第２のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子と、サンプル文における単語に対応する第２の識別子とをそれぞれ得るとともに、第１の識別子に対応する確率と、第２の識別子に対応する確率とを得ることもでき、さらに、第１の識別子に対応する確率と第２の識別子に対応する確率とを利用して、ターゲット関数の値を決定することができる。
【００２９】
説明すべきものとして、各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定するための具体的な過程は、後続に説明され、冗長性を避けるために、ここでは詳しく説明していない。
【００３０】
ステップ１０４で、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行う。
【００３１】
前述したように、ターゲット関数の値が大きいほど、モデルトレーニングの結果がより正確であるということを示しており、したがって、本実施例では、ターゲット関数の最大化を目的として、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行うことができる。
【００３２】
本願のいくつかの実施例では、ターゲット関数を最大化することにより、勾配降下法を用いて各モデルのパラメータをトレーニングすることができる。
【００３３】
具体的には、エンコーダモデルに対してパラメータトレーニングを行う過程は、次のように説明されてもよい。即ち、ａ、モデルの各パラメータに対して初期値を設定し、初期パラメータでサンプル文の文ベクトルを各デコーダに入力し、対応する文の第１の識別子と単語の第２の識別子を得て、第１の識別子の確率と第２の識別子の確率を得、さらに、第１の識別子の確率と第２の識別子の確率に基づいて、ターゲット関数の値を決定して、ターゲット関数の値が最大化に達するかどうかを判断する。ｂ、ターゲット関数の値が最大化に達していない場合、モデルの各パラメータを調整して、第１の識別子の確率と第２の識別子の確率に基づいてターゲット関数の値を再び計算して、新しいターゲット関数の値が最大化に達するかどうかを判断する。上記のステップｂが、ターゲット関数の値が最大化になるまで繰り返し実行されると、この場合の各パラメータ値は、このモデルの最適なパラメータ値になり、トレーニングによって得られた最終パラメータ結果として使用される。
【００３４】
ステップ１０５で、テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力し、テスト文の意味を表す文ベクトルを得る。
【００３５】
本実施例では、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行って、エンコーダモデルの各パラメータを得た後、さらに、得られたパラメータ値をエンコーダモデルに適用して、トレーニングされたエンコーダモデルを得る。トレーニングされたエンコーダモデルに基づいて、任意の文（テスト文と呼ばれ）に対して、テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力すると、このテスト文の意味を表す文ベクトルを正確に得ることができ、これによって、マッチングされた応答文がチャットロボットによって正確に出力されることに基礎が築かれている。
【００３６】
本実施例の意味分析方法は、対話フローにおけるサンプル文に対して、このサンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、サンプル文の意味を表す文ベクトルを得、さらに、サンプル文の文ベクトルを、各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得、および、このサンプル文の文ベクトルを、サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得、各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定し、さらに、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行い、テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、テスト文の意味を表す文ベクトルを得る。これにより、トレーニング過程では、第１のデコーダモデルは、文脈文の識別子を予測し得るために使用されるものであるため、１つの時間ステップの計算時間長だけが必要であり、文における各単語を予測し得る必要がある方式と比べて、トレーニング過程に必要な計算時間長が短くなり、（文の長さ）個の時間ステップから１つの時間ステップに短縮され、モデルトレーニングの長い時間による意味分析効率の低い技術課題が解決された。
【００３７】
上記の実施例においてサンプル文の文ベクトル、サンプル文の各単語の識別子及び各文脈文の識別子に基づいてターゲット関数を生成する具体的な実現過程をより明確に説明するために、本願の実施例には、別の意味分析方法も提供され、図２は、本願の実施例によって提供される、もう１つの意味分析方法のフローチャート概略図である。
【００３８】
図２に示すように、図１Ｂに示す実施例を基にして、ステップ１０３は、以下のステップを含んでもよい。
【００３９】
ステップ２０１で、サンプル文がｉ番目のグループの対話フローにおけるｊ番目の文である場合、サンプル文の文ベクトルｖj(i)が入力された条件で、各第１のデコーダモデルによって出力された文脈文に対応する第１の識別子ｓj±q(i)の確率に基づいて、ターゲット関数の第１の項目
【数５】
2020522817.tif 000007
の値を計算し、ここで、ｑ＝１，２，…Ｑであり、Ｎは、対話フローの総グループ数であり、Ｔは、ｉ番目のグループの対話フローに含まれる文の総数である。
【００４０】
ステップ２０２で、サンプル文の文ベクトルｖj(i)が入力された条件で、各第２のデコーダモデルによって出力されたサンプル文における単語に対応する第２の識別子ｗjk(i)の確率に基づいて、ターゲット関数の第２の項目
【数６】
2020522817.tif 000008
の値を計算し、ここで、Ｍは、サンプル文における単語の総数である。
【００４１】
ステップ２０３で、ターゲット関数の第１の項目の値と第２の項目の値との合計を求め、ターゲット関数の値を得る。
【００４２】
本実施例では、サンプル文の文ベクトルを、第１のデコーダモデルと第２のデコーダモデルにそれぞれ入力した後、対応する各文脈文の第１の識別子ｓj±q(i)の確率と、サンプル文における各単語の第２の識別子ｗjk(i)の確率とを得ることができる。さらに、得られた各文脈文の第１の識別子の確率と、サンプル文における各単語の第２の識別子の確率とを利用して、ターゲット関数の第１の項目
【数７】
2020522817.tif 000009
の値と、ターゲット関数の第２の項目
【数８】
2020522817.tif 000010
の値をそれぞれ得る。最後、得られた第１の項目の値と第２の項目の値との合計を求めると、ターゲット関数の値を得ることができ、ターゲット関数ｆ(ｊ)は、次の数式（１）として表されてもよい。
【００４３】
【数９】
2020522817.tif 000011
【００４４】
本実施例の意味分析方法は、各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得ることにより、ターゲット関数の値を決定する。これによって、演算の複雑さが低減されることができる。
【００４５】
上記の実施例をより明確に説明するために、本願の実施例には、また別の意味分析方法が提供され、図３は、本願の実施例によって提供される、さらに１つの意味分析方法のフローチャート概略図である。
【００４６】
図３に示すように、この意味分析方法は、コンピュータデバイスに適用されており、次のステップを含む。即ち、
ステップ３０１で、対話フローにおける各サンプル文に対して、サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、サンプル文の意味を表す文ベクトルを得る。
【００４７】
本願のいくつかの実施例では、エンコーダモデルは、畳み込みニューラルネットワークモデルを用いることができる。対話フローにおける各サンプル文に対して、サンプル文における各単語の単語ベクトルを畳み込みニューラルネットワークモデルに入力すると、畳み込みニューラルネットワークモデルにおける最後の層によって出力されたサンプル文の文ベクトルを得ることができる。
【００４８】
具体的には、サンプル文がｉ番目のグループの対話フロー中におけるｊ番目の文である場合、サンプル文のｋ番目の単語の単語ベクトルは、
【数１０】
2020522817.tif 000012
として表され、ここで、ｗjk(i)は、サンプル文のｋ番目の単語の識別子であり、Ｅencoderは、畳み込みニューラルネットワークモデルの単語ベクトル行列である。サンプル文における各単語の単語ベクトルを畳み込みニューラルネットワークモデルに入力すると、このサンプル文の意味を表す文ベクトルｖj(i)を得ることができる。
【００４９】
畳み込みニューラルネットワークにおける畳み込みカーネル（すなわち、フィルタ）のサイズは、ｔ＊ｔ（通常、ｔの値は３である）である。畳み込みニューラルネットワークにおける各畳み込みカーネルの間で並列計算を行うことができるので、ｔ個のタイムステップの計算時間長が必要である。既存の技術において、エンコーダは、シリアル計算をしなければならないため、（文の長さ）個の時間ステップの計算時間長が必要であるということと比較して、エンコーダの処理時間長が短縮される。
【００５０】
ステップ３０２で、サンプル文の文ベクトルを、サンプル文の各文脈文に対応する第１のデコーダモデルにそれぞれ入力して、文脈文に対応する第１の識別子を得て、サンプル文の文ベクトルを、サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力して、単語に対応する第２の識別子を得る。
【００５１】
ステップ３０３で、各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定する。
【００５２】
説明すべきものとして、本実施例におけるステップ３０２およびステップ３０３に対する説明は、上述した実施例におけるステップ１０２およびステップ１０３に対する説明を参照してもよく、その実現原理は同様であるため、ここでは詳しく説明していない。
【００５３】
ステップ３０４で、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行う。
【００５４】
本願のいくつかの実施例では、エンコーダモデルは、畳み込みニューラルネットワークモデルを用いて、第１のデコーダモデルと第２のデコーダモデルは、いずれもディープニューラルネットワークモデルを用いて、これによって、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行う際に、主にターゲット関数の値に基づいて、エンコーダモデルにおける畳み込みニューラルネットワークモデルの単語ベクトル行列、畳み込みニューラルネットワークモデルの重み行列、畳み込みニューラルネットワークモデルのバイアスベクトルに対してパラメータトレーニングを行う。さらに、ターゲット関数の値に基づいて、第１のデコーダモデルと第２のデコーダモデルにおけるディープニューラルネットワークモデルの重み行列とディープニューラルネットワークモデルのバイアスベクトルに対してパラメータトレーニングを行うようにしてもよい。
【００５５】
説明すべきものとして、ディープニューラルネットワークモデルと畳み込みニューラルネットワークモデルが当業者によく知られているネットワークモデルであるため、冗長な説明を避けるために、本願の実施例には、畳み込みニューラルネットワークモデルとディープニューラルネットワークモデルの原理が特に説明されていない。
【００５６】
図４は、本発明の一実施例によって採用されるエンコーダ‐デコーダモデルの構成概略図である。図４に示すように、対話フロー中のいずれかのサンプル文における各単語の単語ベクトル
【数１１】
2020522817.tif 000013
を畳み込みニューラルネットワークモデルに入力した後、そのサンプル文の文ベクトルｖj(i)を出力する。そして、このサンプル文の文ベクトルｖj(i)を、第１のデコーダモデルと第２のデコーダモデル（第１のデコーダモデルと第２のデコーダモデルは、いずれもディープニューラルネットワークモデルを用いる）にそれぞれ入力して、このサンプル文における各単語の第２の識別子ｗjk(i)と、このサンプル文の文脈文に対応する文の第１の識別子ｓj−q(i)、ｓj−1(i)、ｓj+1(i)、ｓj+q(i)などをそれぞれ得ることができ、各単語の第２の識別子ｗjk(i)の値と、各文脈文の第１の識別子ｓj±q(i)の値は、いずれも、モデルのトレーニング効果を監視および評価するように、ターゲット関数の値を計算するための監視情報として使用される。
【００５７】
ディープニューラルネットワークモデルを用いた各第１のデコーダモデルと第２のデコーダモデルの間で並列計算を行うことができ、かつ、各第２のデコーダモデルは文の識別子のみに対して予測を行うため、第２のデコーダモデルは、１つの時間ステップの計算時間長だけを必要とする。したがって、各グループの対話フローにおけるいずれか１つの文について、図４に示すようなエンコーダ‐デコーダモデルを用いると、（ｔ＋１）個の時間ステップの計算時間長だけを必要とし、ここで、ｔは、畳み込みニューラルネットワークモデルの畳み込みカーネルのサイズである。既存の技術における（サンプル文の長さ＋文脈文の中の最大の文の長さ）個の時間ステップの計算時間長と比較して、処理時間が短縮され、特に、文の長さや文の数が大きい場合、処理速度を高めて、処理時間が短縮され、処理効率を向上させる。
【００５８】
ステップ３０５で、ユーザ側で入力された質問をテスト文とする。
【００５９】
本願のいくつかの実施例では、ユーザ側は、ユーザ端末であってもよい。
【００６０】
ステップ３０６で、テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力し、テスト文の意味を表す文ベクトルを得る。
【００６１】
本実施例では、モデルのパラメータトレーニングが完了した後、ユーザがチャットロボットと対話したい場合、ユーザ側で入力された質問をテスト文とすることができ、例えば、ユーザが「ご飯を食べましたか？」を入力した場合、「ご飯を食べましたか？」という文をテスト文として、テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力し、さらに、このテスト文の意味を表す文ベクトルを得る。
【００６２】
ステップ３０７で、テスト文の文ベクトルに基づいて、質問ライブラリから予め記憶された質問をクエリし得る。
【００６３】
本実施例では、トレーニングによって得られたエンコーダモデルに基づいて、テスト文の文ベクトルを得た後、さらに、予め作成された質問ライブラリから、テスト文の文ベクトルの意味と同じまたは類似の予め記憶された質問を検索して、予め記憶された質問に基づいて、対応する回答を得ることができる。
【００６４】
ここで、質問ライブラリは予め作成されたものであり、取得された大量の対話フローに基づいて質問ライブラリを作成し、予め記憶された質問に対応する回答を対話フローから取得して質問ライブラリまたは対応する回答ライブラリに格納することができる。
【００６５】
ステップ３０８で、予め記憶された質問に対応する回答をユーザ側に送信する。
【００６６】
本実施例では、質問ライブラリからテスト文の文ベクトルと似たような予め記憶された質問がマッチングされた場合、さらに、予め記憶された質問に対応する回答を取得してユーザ側に送信する。さらに、予め記憶された質問に対応する複数の回答が取得される場合、複数の回答の中からランダムに１つの回答を選択してユーザ側に送信することができる。質問ライブラリから文ベクトルと似たような予め記憶された質問がマッチングされていない場合、関連技術を用いて意味分析を経てから、対応する回答を生成して、ユーザ側に送信することができる。
【００６７】
本実施例の意味分析方法は、畳み込みニューラルネットワークモデルをエンコーダモデルとして用いて、ディープニューラルネットワークモデルを第１のデコーダモデルと第２のデコーダモデルとして用いることにより、畳み込みニューラルネットワークモデルにおける各畳み込みカーネルの間で並列計算が可能となり、各第１のデコーダモデルと第２のデコーダモデルの間でも並列計算が可能となることで、処理速度を大幅に向上させ、処理時間を短縮し、処理効率を向上させることができる。ユーザ側で入力された質問をテスト文としてエンコーダモデルに入力することにより、テスト文の文ベクトルを得て、文ベクトルに基づいて質問ライブラリから文ベクトルと似たような予め記憶された質問をクエリし得て、予め記憶された質問に対応する回答をユーザ側に送信することで、ヒューマン・マシン・インタラクションの過程での回答と質問の間のマッチング度を向上させ、ユーザ体験を向上させることができる。
【００６８】
図５は、本願の実施例の意味分析方法が質問回答システムに適用されることの概略図である。図５に示すように、質問回答システムは、データ表示および受信モジュールと、類似質問推薦モジュールとを含む。類似質問推薦モジュールには類似質問判別モデルが含まれており、類似質問判別モデルには質問回答知識ライブラリも含まれている。ここで、質問回答知識ライブラリは、予め作成されたものであり、大量の対話フローが分析された後、いくつかの質問回答ペアを抽出することにより、質問回答知識ライブラリを構成している。個性的な質問について、例えば、「質問：おいくつですか？回答：今年は１８歳です。」「質問：ご飯を食べましたか？回答：夜の焼肉はとても美味しいです。」などの個性的な質問について、ユーザによって採用される問い合わせ方式は様々であるかもしれないが、どんな種類の問い合わせ方式であっても、質問によって表される意味は同じであり、本願の実施例の意味分析方法に基づいて、異なる問い合わせ方式での質問について、異なる質問をトレーニングされた符号化モデルに入力して、同じまたは類似した意味を表す文ベクトルを得ることができる。
【００６９】
図５に示すように、ユーザが質問回答システムに質問を提出する場合、ユーザによって提出された質問がデータ表示および受信モジュールに表示され、類似質問判別モデルに入力される。類似質問判別モデルは、まず、本願の実施例の意味分析方法を実行し、ユーザによって提出された質問の意味を表す文ベクトルを得て、得られた文ベクトルに基づいて、ユーザによって提出された質問と、予め作成された質問回答知識ライブラリにおける質問との間の類似度を分析して、ユーザによって提出された質問のために、意味と同じまたは類似の個性的な質問をマッチングする。質問回答知識ライブラリに存在しているある個性的な質問と、ユーザによって提出された質問との間の類似度が所定の閾値より高い場合、類似質問判別モデルは、このユーザの真実の意図がこの個性的な質問を問い合わせることであると判定する。さらに、類似質問推薦モジュールは、マッチングされた個性的な質問に基づいて、この個性的な質問に対応する少なくとも１つの回答からランダムに１つの回答を選択して、この回答をデータ表示および受信モジュールに送信し、データ表示および受信モジュールにより、その回答がユーザに表示される。
【００７０】
図５から分かるように、類似質問推薦モジュールは、回答生成モデルも含み、これにより、類似質問判別モデルが、クイズの知識ライブラリからユーザによって提出された質問の意味と同じまたは類似の個性的な質問をマッチングしていない場合、回答生成モデルに基づいて、ユーザによって提出された質問に対応する回答を生成し、生成された回答をデータ表示および受信モジュールにフィードバックして、その回答をユーザに表示する。
【００７１】
上述した実施例を実現するために、本願の実施例には、さらに、意味分析装置が提出されている。
【００７２】
図６は、本願の実施例によって提供される、１つの意味分析装置の構成概略図である。
【００７３】
図６に示すように、この意味分析装置６０は、符号化モジュール６１０と、復号化モジュール６２０と、生成モジュール６３０と、トレーニングモジュール６４０と、テストモジュール６５０とを含む。ここで、
符号化モジュール６１０は、対話フローにおける各サンプル文に対して、サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、サンプル文の意味を表す文ベクトルを得る。
【００７４】
復号化モジュール６２０は、サンプル文の文ベクトルを、サンプル文の各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得、サンプル文の文ベクトルを、サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得る。
【００７５】
生成モジュール６３０は、各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定し、ここで、ターゲット関数の値は、サンプル文の文ベクトルが意味を示す正確さを指示するために使用されるものである。
【００７６】
トレーニングモジュール６４０は、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行う。
【００７７】
テストモジュール６５０は、テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、テスト文の意味を表す文ベクトルを得る。
【００７８】
さらに、本願のいくつかの実施例では、エンコーダモデルは、畳み込みニューラルネットワークモデルを用いて、第１のデコーダモデルと第２のデコーダモデルは、いずれもディープニューラルネットワークモデルを用いることができる。エンコーダモデルが畳み込みニューラルネットワークモデルを用いる場合、符号化モジュール６１０は、具体的に、サンプル文における各単語の単語ベクトルを畳み込みニューラルネットワークモデルに入力して、畳み込みニューラルネットワークモデルにおける最後の層によって出力されたサンプル文の文ベクトルを得るために使用される。
【００７９】
具体的には、ｉ番目のグループの対話フローについて、サンプル文がｉ番目のグループの対話フローにおけるｊ番目の文である場合、サンプル文のｋ番目の単語の単語ベクトルは、
【数１２】
2020522817.tif 000014
として表されてよく、ここで、ｗjk(i)は、サンプル文のｋ番目の単語の識別子であり、Ｅencoderは、畳み込みニューラルネットワークモデルの単語ベクトル行列である。サンプル文における各単語の単語ベクトルを畳み込みニューラルネットワークモデルに入力すると、このサンプル文の意味を表す文ベクトルｖj(i)を得ることができる。
【００８０】
第１のデコーダモデルと第２のデコーダモデルがいずれもディープニューラルネットワークモデルを用いる場合、トレーニングモジュール６４０は、具体的に、ターゲット関数の値に基づいて、エンコーダモデルにおける畳み込みニューラルネットワークモデルの単語ベクトル行列、畳み込みニューラルネットワークモデルの重み行列、畳み込みニューラルネットワークモデルのバイアスベクトルに対してパラメータトレーニングを行い、および、ターゲット関数の値に基づいて、第１のデコーダモデルと第２のデコーダモデルにおけるディープニューラルネットワークモデルの重み行列とディープニューラルネットワークモデルのバイアスベクトルに対してパラメータトレーニングを行うために使用される。
【００８１】
さらに、本願のいくつかの実施例では、図７に示すように、図６に示す実施例を基にして、生成モジュール６３０は、
サンプル文がｉ番目のグループの対話フローにおけるｊ番目の文である場合、サンプル文の文ベクトルｖj(i)が入力された条件で、各第１のデコーダモデルによって出力された文脈文に対する第１の識別子ｓj±q(i)の確率に基づいて、ターゲット関数の第１の項目
【数１３】
2020522817.tif 000015
の値を計算する第１の生成ユニット６３１であって、ここで、ｑ＝１，２，…Ｑであり、Ｎは、対話フローの総グループ数であり、Ｔは、ｉ番目のグループの対話フローに含まれる文の総数である第１の生成ユニット６３１と、
サンプル文の文ベクトルｖj(i)が入力された条件で、各第２のデコーダモデルによって出力されたサンプル文における単語に対応する第２の識別子ｗjk(i)の確率に基づいて、ターゲット関数の第２の項目
【数１４】
2020522817.tif 000016
の値を計算する第２の生成ユニット６３２であって、ここで、Ｍは、サンプル文における単語の総数である第２の生成ユニット６３２と、
第１の項目の値と第２の項目の値との合計を求め、ターゲット関数の値を得る合計ユニット６３３と、を含む。
【００８２】
各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定することにより、演算の複雑さを低減することができる。
【００８３】
さらに、本願のいくつかの実施例では、図８に示すように、図６に示す実施例を基にして、この意味分析装置６０は、さらに、以下のモジュールを含んでもよい。
【００８４】
入力モジュール６６０は、ユーザ側で入力された質問をテスト文とする。
【００８５】
クエリモジュール６７０は、テスト文の意味を表す文ベクトルを得た後、テスト文の文ベクトルに基づいて、質問ライブラリから予め記憶された質問をクエリし得る。
【００８６】
送信モジュール６８０は、予め記憶された質問に対応する回答をユーザ側に送信する。
【００８７】
ユーザ側で入力された質問をテスト文としてエンコーダモデルに入力し、テスト文の文ベクトルを得て、この文ベクトルに基づいて、質問ライブラリから文ベクトルと似たような予め記憶された質問をクエリし得て、予め記憶された質問に対応する回答をユーザ側に送信することにより、ヒューマン・マシン・インタラクションの過程での回答と質問との間のマッチング度を向上させ、ユーザ体験を向上させることができる。
【００８８】
説明すべきものとして、上述した意味分析方法の実施例への説明は、本実施例の意味分析装置にも適用され、その実現原理が類似しているため、ここでは詳しく説明していない。
【００８９】
本実施例の意味分析装置は、対話フローにおけるサンプル文に対して、サンプル文における各単語の単語ベクトルを、エンコーダモデルに入力し、サンプル文の意味を表す文ベクトルを得、さらに、サンプル文の文ベクトルを、各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得、サンプル文の文ベクトルを、サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得、各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定し、さらに、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行い、テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、テスト文の意味を表す文ベクトルを得る。トレーニング過程では、第１のデコーダモデルは、文脈文の識別子を予測し得るために使用されるものであるため、１つの時間ステップの計算時間長だけが必要であり、文における各単語を予測し得る方式と比較して、トレーニング過程に必要な計算時間長が短くなり、（文の長さ）個の時間ステップから１つの時間ステップに短縮され、モデルトレーニングの長い時間による意味分析効率の低い技術課題が解決された。
【００９０】
上記の実施例を実現するために、本願の実施例には、コンピュータデバイスも提出されている。
【００９１】
図９は、本願の実施例によって提供される、コンピュータデバイスの構成概略図である。図９に示すように、このコンピュータデバイス９０は、メモリ９０１と、プロセッサ９０２と、メモリ９０１に記憶され、プロセッサ９０２で実行可能なコンピュータプログラム９０３とを含み、プロセッサ９０２がコンピュータプログラム９０３を実行する場合、前述の実施例で説明したような意味分析方法が実現される。
【００９２】
上記の実施例を実現するために、本願の実施例には、コンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体も提出されており、このプログラムがプロセッサによって実行される場合、前述の実施例で説明したような意味分析方法が実現される。
【００９３】
本明細書の説明では、参照用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、または「いくつかの例」などの説明は、この実施例または例に関連して説明された具体的な特徴、構造、材料、または特徴が本願の少なくとも１つの実施例または例に含まれるということを意味する。本明細書では、上述の用語の概略的な説明は、同じ実施例または例を対象とする必要はない。さらに、説明された具体的な特徴、構造、材料または特徴は、任意の１つまたは複数の実施例や例において適切な方法で結合されてもよい。また、互いに矛盾しない場合、当業者は、本明細書に記載された異なる実施例または例、および、異なる実施例または例の特徴を結合および組合してもよい。
【００９４】
さらに、「第１」、「第２」という用語は、説明の目的だけに用いられ、相対的な重要性を示すもしくは暗示するか、または、示された技術的特徴の数を暗黙的に示すと理解すべきではない。したがって、「第１」、「第２」と限定された特徴は、少なくとも１つのこの特徴を明示または暗黙的に含むことができる。特に明確かつ具体的な限定がない限り、本願の実施例の説明では、「複数」の意味は、少なくとも２つ、例えば、２つ、３つなどである。
【００９５】
フローチャート内のまたはここでは他の方法で説明される任意の過程または方法の説明は、カスタマイズの論理機能または過程のステップを実現するための１つまたは複数の実行可能な命令を含むコードを表すモジュール、セグメントまたは部分と理解されてもよい、また、本発明の好ましい実施形態の範囲は、別の実施形態を含み、ここでは、機能は、図示または説明された順序で実行されなくてもよいし、関連する機能に応じて基本的に同時にまたは逆の順序で実行されることも含まれている。これは、本願の実施例が属する当業者によって理解されるべきである。
【００９６】
フローチャートに示され、または本明細書で他の方式で説明された論理および／またはステップは、例えば、論理機能を実現するための実行可能な命令のシーケンスリストとして考えられてもよく、命令実行システム、装置またはデバイス（例えばコンピュータに基づくシステム、プロセッサを含むシステム、または命令実行システム、装置またはデバイスから命令を取得し実行できる他のシステム）によって使用され、またはこれら命令実行システム、装置またはデバイスと組み合わせて使用されるように、任意のコンピュータ読み取り可能な媒体に具体的に実装されてもよい。本明細書について言えば、「コンピュータ読み取り可能な媒体」は、命令実行システム、装置、またはデバイスによって実行され、またはこれらの命令実行システム、装置、またはデバイスと組み合わせて使用されるように、プログラムを含む、記憶、通信、伝播または転送することができる任意の装置であってもよい。コンピュータ読み取り可能な媒体のより具体的な例（非網羅的なリスト）は、１つまたは複数の配線を有する電気接続部（電子機器）、携帯型コンピュータディスクボックス（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能および編集可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ装置、および携帯型光ディスク読み取り専用メモリ（ＣＤＲＯＭ）を含む。また、コンピュータ読み取り可能な媒体は、例えば紙や他の媒体を光学的にスキャンし、続いて編集、解釈、または必要に応じて他の適切な方法で処理することで、電子的に前記プログラムを取得してコンピュータメモリに記憶することができるため、前記プログラムを印刷する紙または他の適切な媒体であってもよい。
【００９７】
本願の実施例の各部は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって実現されてもよいことを理解されたい。上記の実施形態では、複数のステップまたは方法は、メモリに格納され、適切な命令実行システムによって実行されるソフトウェアまたはファームウェアで実現されてもよい。例えば、ハードウェアで実現されると、他の実施形態と同様に、データ信号に論理機能を実現するための論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する専用集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのような本技術分野で公知されている技術のうちのいずれかまたはそれらの組み合わせで実現されることができる。
【００９８】
当業者は、上記実施例の方法によって携帯されるステップの全てまたは一部は、関連するハードウェアにプログラムによって指示することによって完了できるものであり、前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、このプログラムが実行される時に、方法の実施例のステップの１つまたはそれらの組み合わせを含む。
【００９９】
また、本願の各実施例における各機能ユニットは、１つの処理モジュールに統合されてもよく、各ユニットが個別に物理的に存在してもよいし、２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合されたモジュールは、ハードウェアの形式で実現されてもよく、ソフトウェア機能モジュールの形式で実現されてもよい。前記統合されたモジュールが、ソフトウェア機能モジュールの形式で実現され、かつ、独立した製品として販売または使用される場合、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。
【０１００】
上述の記憶媒体は、読み取り専用メモリ、磁気ディスク、または光ディスクなどであってもよい。以上では、本願の実施例が示され、説明されているが、理解すべきものとして、上述の実施例は例示的であり、本願に対する制限として理解できないし、当業者は、本願の実施例の範囲内で、上記の実施例を変更、修正、置換、変形することができる。
【符号の説明】
【０１０１】
10  コンピュータデバイス
11  意味分析装置
20  ユーザ端末
30  ネットワーク
90  コンピュータデバイス
610  符号化モジュール
620  復号化モジュール
630  生成モジュール
631  第１の生成ユニット
632  第２の生成ユニット
633  合計ユニット
640  トレーニングモジュール
650  テストモジュール
660  入力モジュール
670  クエリモジュール
680  送信モジュール
901  メモリ
902  プロセッサ
903  コンピュータプログラム
【図１Ａ】
2020522817.tif 000020
【図１Ｂ】
2020522817.tif 000021
【図２】
2020522817.tif 000022
【図３】
2020522817.tif 000023
【図４】
2020522817.tif 000024
【図５】
2020522817.tif 000025
【図６】
2020522817.tif 000026
【図７】
2020522817.tif 000027
【図８】
2020522817.tif 000028
【図９】
2020522817.tif 000029
【国際調査報告】
2020522817.tif 000030
2020522817.tif 000031
2020522817.tif 000032
2020522817.tif 000033