(57)【要約】      （修正有）【課題】自然言語質問回答システム用のトレーニングデータを提供する方法、装置、コンピュータ読み取り可能な記録媒体及び自然言語質問回答システムを提供する。【解決手段】方法は、質問−答えペア形式の、少なくとも１つの質問と対応する複数の答えを含むオリジナルトレーニングデータを受信するステップＳ１０１と、複数の答えのデータ品質を特定するステップＳ１０２と、データ品質に基づいて、複数の答えを第１タイプの実例または第２タイプの実例としてマークするステップＳ１０３と、複数の答えの中から、第１タイプの実例と第２タイプの実例とを選択して組み合わせることによって、複数の実例の組み合わせを取得するステップＳ１０４と、複数の実例の組み合わせがそれぞれに自然言語質問回答システムの時間順の各回のトレーニングのトレーニングデータに対応するように、複数の実例の組み合わせをオーダリングするステップＳ１０５と、を含む。【選択図】図１
2019192246.tif 000002
【特許請求の範囲】
【請求項１】
質問-答えペア形式の、少なくとも1つの質問と対応する複数の答えを含むオリジナルトレーニングデータを受信することと、
前記複数の答えのデータ品質を特定することと、
前記データ品質に基づいて、前記複数の答えを第１タイプの実例または第２タイプの実例としてマークすることと、
前記複数の答えの中から、第１タイプの実例と第２タイプの実例とを選択して組み合わせることによって、複数の実例の組み合わせを取得することと、
前記複数の実例の組み合わせをオーダリングし、オーダリングされた前記複数の実例の組み合わせがそれぞれに自然言語質問回答システムの時間順の各回のトレーニングのトレーニングデータに対応することと、を含み、
オーダリングされた前記複数の実例の組み合わせにおける前記第１タイプの実例の割合が単調に増加し、オーダリングされた前記複数の実例の組み合わせにおける前記第２タイプの実例の割合が単調に減少する、
自然言語質問回答システム用のトレーニングデータを提供する方法。
【請求項２】
前記複数の答えのデータ品質を特定することは、
前記複数の答えに対して語法分析を行って、その中に現れた各単語の単語頻度を特定することと、
前記各単語の単語頻度に基づいて、前記複数の答えを高品質の答えまたは低品質の答えとしてマークすることと、を含む請求項１に記載の方法。
【請求項３】
前記各単語の単語頻度に基づいて、前記複数の答えを高品質の答えまたは低品質の答えとしてマークすることは、
前記各単語の単語頻度を所定の単語頻度閾値と比較して、前記各単語を高頻度単語、低頻度単語、および極低頻度単語のいずれかとしてマークすることと、
前記複数の答えのうち低頻度単語を含む答えを高品質の答えとして特定することと、
前記複数の答えのうち高頻度単語および/または極低頻度単語のみを含み、低頻度単語を含まない答えを低品質の答えとして特定することと、を含む請求項２に記載の方法。
【請求項４】
前記複数の答えのデータ品質を特定することは、
前記複数の答えに対して文法分析を行って、前記複数の答えの語句スコアを特定することと、
前記語句スコアに基づいて、前記複数の答えを高品質の答えまたは低品質の答えとしてマークすることと、を含む請求項１に記載の方法。
【請求項５】
前記語句スコアに基づいて、前記複数の答えを高品質の答えまたは低品質の答えとしてマークすることは、
前記複数の答えの語句の長さを特定することと、
前記語句の長さに基づいて、前記複数の答えの語句スコアを重み付けることと、
前記複数の答えを、重み付けられた語句スコアに基づいて高品質の答えまたは低品質の答えとしてマークすることと、を含む請求項４に記載の方法。
【請求項６】
前記データ品質に基づいて、前記複数の答えを第１タイプの実例または第２タイプの実例としてマークすることは、
高品質の答えを第1タイプの実例としてマークすることと、
低品質の答えを第２タイプの実例としてマークすることと、を含む請求項２から請求項５のいずれかに記載の方法。
【請求項７】
オーダリングされた前記複数の実例の組み合わせのうちの第１の実例の組み合わせでは、前記第２タイプの実例より第1タイプの実例が少なく、オーダリングされた前記複数の実例の組み合わせのうちの最後の実例の組み合わせでは、第２タイプの実例より第１タイプの実例が多い請求項２から請求項５のいずれかに記載の方法。
【請求項８】
オーダリングされた前記複数の実例の組み合わせにおける前記第1タイプの実例の割合の増加率が、オーダリングされた前記複数の実例の組み合わせの番号とともに単調に増加し、オーダリングされた前記複数の実例の組み合わせにおける前記第２タイプの実例の割合の減少率が、オーダリングされた前記複数の実例の組み合わせの番号とともに単調に増加する請求項７に記載の方法。
【請求項９】
オーダリングされた前記複数の実例の組み合わせにおける前記第１タイプの実例および第２タイプの実例の割合と、オーダリングされた前記複数の実例の組み合わせの番号とが指数関数関係を満たす請求項８に記載の方法。
【請求項１０】
オーダリングされた前記複数の実例の組み合わせにおける前記第１タイプの実例および第２タイプの実例の割合と、オーダリングされた前記複数の実例の組み合わせの番号とがパワー関数関係を満たす請求項８に記載の方法。
【請求項１１】
質問−答え対形式の、少なくとも1つの質問と対応する複数の答えを含むオリジナルトレーニングデータを受信するように配置されるデータ受信部と、
複数の答えのデータ品質を特定するように配置される品質特定部と、
前記データ品質に基づいて、前記複数の答えを第１タイプの実例または第２タイプの実例としてマークするように配置されるマーク部と、
前記複数の答えの中から第１タイプの実例および第２タイプの実例を選択して組み合わせることで、複数の実例の組み合わせを取得するように配置される組み合わせ部と、
前記複数の実例の組み合わせが、それぞれに自然言語質問回答システムの時間順の各回のトレーニングのトレーニングデータに対応するように、前記複数の実例の組み合わせをオーダリングするように配置されるオーダリング部と、
オーダリングされた前記複数の実例の組み合わせを自然言語質問回答システムに提供するように配置されるトレーニングデータ提供部と、を含み、
オーダリングされた前記複数の実例の組み合わせにおける前記第１タイプの実例の割合が単調に増加し、オーダリングされた前記複数の実例の組み合わせにおける前記第２タイプの実例の割合が単調に減少する自然言語質問回答システム用のトレーニングデータを提供する装置。
【請求項１２】
非一時的コンピュータ読み取り可能な指示を記憶するメモリと、
前記コンピュータ読み取り可能な指示を実行するプロセッサであり、前記コンピュータ読み取り可能な指示が前記プロセッサによって実行されるときに、請求項１から請求項１０のいずれかの前記自然言語質問回答システム用のトレーニングデータを提供する方法を実行するプロセッサと、を含む、自然言語質問回答システム用のトレーニングデータを提供する装置。
【請求項１３】
非一時的コンピュータ読み取り可能な指示を記憶しており、前記非一時的コンピュータ読み取り可能な指示がコンピュータによって実行されるときに、請求項１から請求項１０のいずれかの自然言語質問回答システム用のトレーニングデータを提供する方法が実行される、コンピュータ読み取り可能な記録媒体。
【請求項１４】
請求項１１又は請求項１２に記載の自然言語質問回答システム用のトレーニングデータを提供する装置からトレーニングデータを受信し、前記トレーニングデータを利用して機械学習を行うように配置される自然言語質問回答トレーニング装置と、
ユーザによって入力される質問を受信し、トレーニングされた機械を利用して、ユーザによって入力される質問に対応する答えを自然言語形式で提供するように配置される自然言語答え提供装置と、を含む自然言語質問回答システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人工知能の分野に関し、より具体的には、自然言語質問回答システム用のトレーニングデータを提供する方法および装置、コンピュータ読み取り可能な記録媒体、及び自然言語質問回答システムに関する。
【背景技術】
【０００２】
近年、コンピュータ技術の継続的な発展に伴い、人工知能はより多くの分野で広く適用されてきている。自然言語質問回答システムは、人間の自然言語処理における、人工知能の応用であり、ユーザにより自然言語の形で記述される質問を受けることができ、大量のヘテロジニアスデータの中からユーザの質問に対する答えをサーチ、または推測し、自然言語の方式で答えを提供することができる。自然言語質問回答システムにより、ユーザは自然言語で質問し、正確で流暢な自然言語の回答を得ることができるため、ユーザは知識を習得しやすくなる。
【０００３】
自然言語質問回答システムでは、一般的にトレーニングデータをニューラルネットワークなどの分類器に予め入力してトレーニングする必要がある。ユーザから自然言語での質問を受ける時、入力された質問に対して、よくトレーニングされた分類器または事前設定された規則を利用して分析し、予め確立された知識ベースから対応する答えをサーチ、または推測し、言語の形式で質問に対する答えをユーザにプッシュする。既存の自然言語質問回答システムでは、トレーニングデータの品質は非常に厳格であり、良いトレーニング結果を得るためには、通常高品質のデータを使用してトレーニングを行う必要があるため、トレーニング段階で低品質のデータが直接に選別される。しかし、現在のビッグデータ時代では、トレーニングデータが非常に貴重であって、低品質データを十分に利用してトレーニングしないことは、多くの貴重な情報が失われることを意味し、それによって非常に大きなサンプルデータから選別する必要がある。
【０００４】
したがって、トレーニングデータを利用して自然言語質問回答システムにおける自然言語生成モデル対して更によくトレーニングして、ユーザがより簡単、全面的、かつ友好的に知識を得るように、高品質データおよび低品質データを適宜に使用して、自然言語質問回答システムにおいて自然言語生成タスクのトレーニングデータを提供するための方法および装置を提供することが望ましい。
【発明の概要】
【０００５】
上記の質問に鑑み、本発明は、自然言語質問回答システム用のトレーニングデータを提供する方法および装置、コンピュータ読み取り可能な記録媒体、及び自然言語質問回答システムを提供する。
【０００６】
本発明の一実施例により、質問-答えペア形式の、少なくとも1つの質問と対応する複数の答えを含むオリジナルトレーニングデータを受信することと、前記複数の答えのデータ品質を特定することと、前記データ品質に基づいて前記複数の答えを第１タイプの実例または第２タイプの実例としてマークすることと、前記複数の答えの中から、第１タイプの実例と第２タイプの実例とを選択して組み合わせることによって、複数の実例の組み合わせを取得することと、前記複数の実例の組み合わせをオーダリングし、オーダリングされた前記複数の実例の組み合わせがそれぞれに自然言語質問回答システムの時間順の各回のトレーニングのトレーニングデータに対応することと、を含み、オーダリングされた前記複数の実例の組み合わせにおける前記第１タイプの実例の割合が単調に増加し、オーダリングされた前記複数の実例の組み合わせにおける前記第２タイプの実例の割合が単調に減少する、自然言語質問回答システム用のトレーニングデータを提供する方法を提供する。
【０００７】
本発明の他の一実施例により、質問-答えペア形式の、少なくとも1つの質問と対応する複数の答えを含むオリジナルトレーニングデータを受信するように配置されるデータ受信部と、複数の答えのデータ品質を特定するように配置される品質特定部と、前記データ品質に基づいて、前記複数の答えを第１タイプの実例または第２タイプの実例としてマークするように配置されるマーク部と、前記複数の答えの中から第１タイプの実例と第２タイプの実例とを選択して組み合わせることで、複数の実例の組み合わせを取得するように配置される組み合わせ部と、前記複数の実例の組み合わせがそれぞれに自然言語質問回答システムの時間順の各回のトレーニングのトレーニングデータに対応するように、前記複数の実例の組み合わせをオーダリングするように配置されるオーダリング部と、オーダリングされた前記複数の組み合わせを自然言語質問回答システムに提供するように配置されるトレーニングデータ提供部と、を含み、オーダリングされた前記複数の実例の組み合わせにおける前記第１タイプの実例の割合が単調に増加し、オーダリングされた前記複数の実例の組み合わせにおける前記第２タイプの実例の割合が単調に減少する自然言語質問回答システム用のトレーニングデータを提供する装置を提供する。
【０００８】
本発明の更なる他の一実施例により、非一時的コンピュータ読み取り可能な指示を記憶するメモリと、前記コンピュータ読み取り可能な指示を実行するプロセッサと、を含み、前記コンピュータ読み取り可能な指示がプロセッサによって実行されるとき、本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する方法を実行する自然言語質問回答システムのトレーニングデータを提供する装置を提供する。
【０００９】
本発明の更なる他の一実施例により、非一時的コンピュータ読み取り可能な指示を記憶するコンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な指示がコンピュータによって実行されるとき、本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する方法が実行される。
【００１０】
本発明の更なる他の一実施例により、本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する装置からトレーニングデータを受信し、前記トレーニングデータを利用して機械学習を行うように配置される自然言語質問回答トレーニング装置と、ユーザによって入力される質問を受信し、トレーニングされた機械を利用して、ユーザによって入力される質問に対応する答えを自然言語形式で提供するように配置される自然言語答え提供装置と、を含む自然言語質問回答システムを提供する。
【００１１】
本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する方法および装置、コンピュータ読み取り可能な記録媒体、と自然言語質問回答システムによって、高品質データおよび低品質データを利用して適宜に組み合わせることができ、コース学習理論に基づいて各実例の組み合わせにおける高品質データと低品質データの割合を設定することで、コーパス内のトレーニングデータを十分かつ適宜に利用し、分類器モデルトレーニングの精度を向上することができる。
【図面の簡単な説明】
【００１２】
図面を参照して本発明の実施例を更に詳しく説明することにより、本発明の上記および他の目的、特徴、および利点が更に明らかになる。図面は、本発明の実施例への更なる理解を提供し、明細書の一部として構成され、本発明の実施例とともに本発明を説明するためのものであり、本発明を限定するものとして構成されない。図面において、同じ参照符号は一般的に同じ部品またはステップを示す。
【図１】本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する方法を示すフローチャートである。
【図２】本発明の実施例による前記複数の答えの中から第1タイプの実例および第２タイプの実例を選択して組み合わせて複数の実例の組み合わせを取得することを示す模式図である。
【図３】本発明の実施例による第１タイプの実例および第２タイプの実例の割合が満たすパワー関数関係を示す模式図である。
【図４】本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する装置の機能構成ブロック図を示す。
【図５】本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する装置の機能構成ブロック図を示す。
【図６】本発明の実施例による自然言語質問回答システムの機能構成ブロック図を示す。
【発明を実施するための形態】
【００１３】
以下、本開示の目的、技術案、および利点をより明らかにするために、図面を参照して本開示による例示的な実施例を詳しく説明する。記載された実施例は本開示の実施例の一部にすぎず、本開示の実施例の全てではないことは明らかであり、本開示はここに記載された例示的実施例によって限定されるものではないことを理解すべきである。本開示で説明された本開示の実施例に基づいて、当業者は創造的な労働を払っていない場合に得られたすべての他の実施例が本公開の保護範囲内に入るべきである。
【００１４】
まず、本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する技術の基本的な概念を簡単に説明する。前述のように、既存の自然言語質問回答システムのトレーニング段階では、低品質のデータを排除し、トレーニングに高品質のデータのみが利用されるため、大量のトレーニングデータが無駄になってしまう。したがって、高品質のデータと低品質のデータを適宜に使用して、それらに含まれた情報を十分に取得し、高品質のデータと低品質のデータのそれぞれの一部を選択して組み合わせて、トレーニングデータとして複数の実例の組み合わせを取得することで、トレーニングデータが無駄になってしまうことを回避することが望ましい。また、本発明のトレーニングデータを提供する技術は、コース学習理論を更に結合して、各実例の組み合わせにおける高品質のデータと低品質のデータの割合を適宜に設定し、オーダリングすることで、機械が容易から困難までの方式で学習を効率的かつ正確に完成するに適したトレーニングデータを提供する。
【００１５】
以下、図面を参照して本発明の実施例を詳しく説明する。
【００１６】
図１は本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する方法を示すフローチャートである。図１に示すように、本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する方法は以下のステップを含む。
【００１７】
ステップＳ１０１において、オリジナルトレーニングデータを受信する。前記オリジナルトレーニングデータは、質問-答えペア形式の、少なくとも１つの質問と対応する複数の答えとを含む。本発明の実施例では、オリジナルトレーニングデータが様々なソースから取得され得る。例えば、自然言語コーパスのオリジナルトレーニングデータ入力は、「Baidu Knower」のようなウェブサイトから取得することができる。他の例として、オリジナルトレーニングデータ入力は、複数のユーザの歴史質問/答えを記憶するサーバなどの装置から取得することができる。
【００１８】
オリジナルトレーニングデータは、少なくとも１つの質問と対応する複数の答えを含む質問-答えペア形式のデータであってもよい。表1は、オリジナルトレーニングデータ中の1つの質問である「魯迅の元の名前は何ですか？」とそれに対応する8つの答えを例示している。受信されたオリジナルデータ中の質問および答えの数が実際のニーズに従って選択されてもよく、本発明はそれに限定されないことを理解すべきである。
【表１】
2019192246.tif 000003
【００１９】
ステップＳ１０２において、前記複数の答えのデータ品質が特定される。オリジナルトレーニングデータは、複数の質問および対応する複数の答えを含む可能性があり、答えは高品質のデータまたは低品質のデータである可能性があることを理解すべきである。例えば、低品質のデータはノイズを含む答えまたは一方的な答えであり、高品質のデータは比較的に全面的かつ流暢な答えである。以下に説明する異なるタイプの答えの実例を選択して組み合わせるために、まず、各答えのデータ品質が特定されるべきである。本発明の実施例では、異なる判別基準に従って複数の答えのデータ品質を特定することができる。以下、本発明における前記複数の答えのデータ品質を特定する例示的な方法を、語法（lexical）分析と文法（sentential）分析との２つの観点から説明する。
【００２０】
本発明の一態様によれば、前記複数の答えに対して語法分析を行う方法を採用して、前記複数の答えのデータ品質を特定することができる。語法分析とは、文字系列を単語系列に変換して分析を行う手順であり、これにより、答えに現れる各単語に基づいて答えのデータ品質を特定できる。例えば、前記複数の答えに対して語法分析を行うことで、その中に現れる各単語の単語頻度を特定することができる。そして、前記各単語の単語頻度および予め設定された閾値に基づいて、前記複数の答えを高品質の答えまたは低品質の答えとしてマークする。
【００２１】
語法分析を利用してデータ品質を特定する1つの実施例として、前記複数の答えに対して語法分析を行って、現れる各単語の単語頻度を特定することができる。そして、各単語の単語頻度が所定の単語頻度区間内に入るかどうかを特定することができる。最後に、単語頻度区間内に入る単語を含む答えを高品質の答えとし、単語頻度区間内に入る単語を含まない答えを低品質の答えとする。
【００２２】
上記の表１の例示的な質問-答えペアの説明を参照すると、単語頻度区間を予め設定し、「周樹人」または「周樟寿」などの単語を当該単語頻度区間内に入っているものとしてマークし、他の補助語（particle）および機能語(function word)を当該単語頻度区間に入っていないものとしてマークすることができる。更に、「周樹人」または「周樟寿」を含む答えを高品質の答えとして特定し、「周樹人」または「周樟寿」を含まない答えを低品質の答えとして特定することで、各答えのデータ品質に対するを実現できる。
【００２３】
本発明者らは、上記の実施例で、単語を当該単語頻度区間内に入っているタイプおよび当該単語頻度区間内に入っていないタイプの２のタイプに分ける方式により、多数の答えが高品質の答えとして特定されるため、低品質である答えが高品質の答えと判別され、データ品質分割の精度が少々低下してしまうことを認識した。データの品質をより正確に特定するために、本発明の技術案は、各単語の単語頻度の基準を更に細分化し、上記の実施例における単語頻度区間内に入る範囲を更に２タイプの単語頻度に分割することができる。これにより、各答えに含まれる単語に対応する、より多くの単語頻度に基づいて、データの品質を特定する。
【００２４】
語法分析を利用してデータ品質を特定する別の実施例として、前記各単語の単語頻度を所定の単語頻度閾値と比較し、前記各単語を高頻度単語、低頻度単語、および極低頻度単語のいずれかとしてマークすることができる。そして、前記複数の答えにおいて低頻度単語を含む答えを高品質の答えとして特定し、前記複数の答えにおいて高頻度単語および/または極低頻度単語のみを含み、低頻度単語を含まない答えを低品質の答えとして特定することができる。
【００２５】
上記の表１の例示的な質問-答えペアの説明を参照すると、一般的に、「周樹人」を含む答えが公衆によく知られているため、「周樹人」が各答えに現れる頻度が高い可能性がある。しかし、真理は少数の人によって決められるのもであり、「周樟寿」の現れる頻度が「周樹人」より低いが、「周樟寿」を含む答えが、正確かつ全面的な答えに傾いている。従って、少なくとも２つの単語頻度判別閾値を予め設定し、「周樹人」を高頻度単語とし、「周樟寿」を低頻度単語としてマークし、その他の補助語および機能語などを極低頻度単語とマークすることができる。更に、「周樟寿」を含む答えを高品質の答えと特定し、「周樟寿」を含まない答えを低品質の答えと特定することで、各答えのデータ品質をより正確に特定することができる。
【００２６】
本発明の他の態様によれば、前記複数の答えに対して文法分析を行う方法を採用して、前記複数の答えのデータ品質を特定することができる。文法は、語句における述語、修飾語、その他の単語間の関係などの語句の構成性能を評価する指標であり、文法スコアによって答えがユーザにとって読みやすく理解しやすいものかどうかを特定する。したがって、文法スコアは答えのデータ品質を反映できる。以下、本発明の実施例による文法分析を採用して複数の答えのデータ品質を特定する方法を説明する。
【００２７】
文法分析を利用してデータの品質を特定する一実施例として、前記複数の答えに対して文法分析を行い、前記複数の答えの語句スコアを特定することができる。そして、前記語句スコア基づいて、前記複数の答えを高品質の答えまたは低品質の答えとしてマークする。例えば、Stanford  Parserツール（https://nlp.stanford.edu/software/lex-parser.shtmlへ参照）を採用して、各答えの語句のスコアを特定するように各答えの文法上の性能を評価できる。これに対して、1つの文法判別閾値を予め設定し、語句スコアが当該閾値を超えた答えを高品質の答えとして特定し、語句スコアが当該閾値を超えていない答えを低品質の答えとして特定することで、各答えのデータ品質の特定を実現できる。
【００２８】
一般的に、文法に優れた答えに対応する文法スコアが比較的に高い。しかし、本発明者らは、短い単語に対応する文法スコアも同じく高いものの、これらの短い単語が語句ほど表現および構成完備性上でユーザにとって受け入れやすく理解しやすいものではないことを認識した。したがって、各答えの文法スコアを取得した後、各答えが短い単語に属する可能性があるかどうかを更に特定し、これに応じて、各文法スコアを重み付け、最後に文法スコアの高い答えのうち短い単語である答えの割合を減らすことができる。
【００２９】
文法分析によってデータ品質を特定する更に他の実施例として、前記複数の答えの語句スコアを特定した後に、前記複数の答えの語句の長さを更に特定することができる。そして、前記語句の長さに基づいて、前記複数の答えの語句スコアが重み付けられる。最後に、前記複数の答えは、重み付けられた語句スコアに基づいて高品質の答えまたは低品質の答えとしてマークされる。
【００３０】
上記の表１の例示的な質問-答えペアに対する説明を参照すると、答え３-８に対応する文法スコアが比較的に高いが、答え３および４は短い単語であるため、それらの文法性能および構成完備性が低い。本発明の実施例の方法により、上記答え３および４を重み付けて、その文法スコアを下げることができる。これにより、短い単語である答えの割合を減らすことができる。同様に、残りの各答えを重み付けた後、重み付けられた各語句スコアに基づいて、各答えのデータ品質をより正確に特定することができる。
【００３１】
ステップＳ１０３において、前記データ品質に基づいて、前記複数の答えが第１タイプの実例または第２タイプの実例としてマークされる。異なる品質タイプのデータを適宜に利用することで貴重なトレーニングデータを十分に利用できることを考慮して、本発明は、各答えのデータ品質を特定した後に、各答えを異なる品質タイプとしてマークすることができる。これにより、その後に異なる品質タイプの答えの中からそれぞれに一部を選択し、組み合わせて、機械学習を行うために使用されるトレーニングデータ実例の組み合わせを取得する。例えば、上記のように特定された高品質の答えを第１タイプの実例としてマークし、上記のように特定された低品質の答えを第２タイプの実例としてマークすることができる。
【００３２】
ステップＳ１０４では、前記複数の答えの中から第１タイプの実例と第２タイプの実例を選択して組み合わせて、複数の実例の組み合わせを取得する。以下、図２を参照して当該ステップの概略的な過程を説明する。
【００３３】
図２は、本発明の実施例による前記複数の答えの中から第１タイプの実例と第２タイプの実例を選択して組み合わせて、複数の実例の組み合わせを取得することを示す模式図である。図２に示すように、複数の答えの中から第１タイプの実例と第２タイプの実例をそれぞれ選択して組み合わせて、実例の組み合わせ１乃至実例の組み合わせＮを取得する。図２における図形は、割合でプロットされたものではなく、第１タイプの実例および第２タイプの実例からそれぞれの一部を選択して組み合わせることに対する概略的な説明に過ぎないことは理解すべきである。また、各実例の組み合わせにおけるトレーニング実例の総数は、同じでもよく、異なってもよく、本発明はこれに限定されない。第１タイプの実例および第２タイプの実例からそれぞれの一部を選択して組み合わせることで複数のトレーニングデータ実例を取得した後に、対応する質問を結合し、これらの実例の組み合わせを利用して機械学習を行うことで、正確なトレーニングモデルを得ることができる。以下、本発明における、コース学習の概念を結合して、各実例の組み合わせ中の第１タイプの実例と第２タイプの実例の割合を設定する方法、および各実例の組み合わせをオーダリングする方法について、詳しく説明する。
【００３４】
機械学習は、人工知能の分野において、コンピュータが新しい知識またはスキルを取得するように人間の学習行動をどのようにシミュレートまたは実現するかを研究する技術であり、トレーニングデータを通じて自身の性能を不断に向上させていくものである。言葉は人間が他の種類と異なるという根本的な印であるため、機械学習を利用して自然言語の処理を実現することは、人工知能の最高のタスクと境界を体現している。本発明者らは、人間の学習および認知過程について、「コース学習」との方式で教育を受けている、即ち、簡単な知識を慎重に優先的に学習し、そして比較的に困難な知識の学習へだんだん移行することを認識した。機械学習と人間の学習過程との比較可能性を考慮して、本発明者らは、人間の認知学習過程を機械学習に適用し、学習対象（例えば、トレーニングデータなど）をそれらの難易度に従って分類し、機械にトレーニングデータを利用して容易から困難へ学習させることで、自然言語質問回答システム中の複雑な学習タスクを完成させる。以下、機械が対応する質問を結合してコース学習を行うためのトレーニングデータを提供するように、各実例の組み合わせ中の異なるタイプの実例の割合をどのように選択するかを、詳しく説明する。
【００３５】
図１に戻って、ステップＳ１０５において、前記複数の実例の組み合わせをオーダリングして、オーダリングされた前記複数の実例の組み合わせは、自然言語質問回答システムの時間順の各回のトレーニングのトレーニングデータにそれぞれ対応する。オーダリングされた前記複数の実例の組み合わせにおける前記第１タイプの実例の割合が単調に増加し、オーダリングされた前記複数の実例の組み合わせにおける前記第２タイプの実例の割合が単調に減少する。例えば、オーダリングされた複数の実例の組み合わせにおける各タイプの実例の割合が、線形的に単調に増加または減少してもよい。
【００３６】
図２に示すように、オーダリングされた複数の実例の組み合わせは、図２に示す実例の組み合わせ１乃至実例の組み合わせＮに対応してもよく、実例の組み合わせ１乃至実例の組み合わせＮのそれぞれが、自然言語質問回答システムの時間順の各回のトレーニングのトレーニングデータである。例えば、実例の組み合わせ１は、自然言語質問回答システムの初回のトレーニングに対応するトレーニングデータであり、実例の組み合わせＮは、自然言語質問回答システムの最後のトレーニングに対応するトレーニングデータであってもよい。更に、オーダリングされた複数の実例の組み合わせにおける第１タイプの実例の割合は単調に増加し（即ち、組み合わせの番号とともに単調に増加する）、オーダリングされた前記複数の実例の組み合わせにおける第２タイプの実例の割合は単調に減少する（即ち、組み合わせの番号とともに単調に減少する）。これにより、これらのオーダリングされた実例の組み合わせが時間順に自然質問回答システムにおける学習を始めようとする機械に入力されるとき、対応する質問を結合して、複数回のトレーニングによって、容易から困難への機械の学習過程を実現することができる。
【００３７】
一般的に言えば、低品質のデータに含まれる価値のある情報が比較的に少なく、比較的に学習しやすいデータである。高品質のデータに含まれる価値のある情報が比較的に多く、比較的に学習しにくいデータである。本発明の上記の実例の組み合わせのオーダリング方法によれば、トレーニング回数の増加に対応して、トレーニングデータの実例の組み合わせにおける低品質データが単調に減少し、高品質データが単調に増加する。これにより、簡単なデータから困難なデータへだんだん移行することが可能となり、機械に機械学習をより効率的かつ正確に完成させることができる。
【００３８】
好適には、初回のトレーニングおよび最後のトレーニングに使用される実例の組み合わせにおける第１タイプの実例および第２タイプの実例の相対数量関係を更に設定することで、より良い機械トレーニング効果を達成することができる。例えば、オーダリングされた複数の実例の組み合わせのうちの第１の実例の組み合わせでは、第２タイプの実例より第1タイプの実例が少なくなり、オーダリングされた複数の実例の組み合わせのうちの最後の実例の組み合わせでは、第２タイプの実例より第１タイプの実例が多くなるように、第１の実例の組み合わせ（実例の組み合わせ１）および最後の実例の組み合わせ（実例の組み合わせＮ）における二つのタイプの実例の相対数量関係を設定することができる。上記の設定規則によると、初期トレーニング時の第１タイプの実例（高品質の簡単な実例に対応する）は少なく、第２タイプの実例（低品質の簡単な実例に対応する）は多く、第１タイプの実例の割合が実例の組み合わせの番号とともに単調に増加し、第２タイプの実例の割合が実例の組み合わせの番号とともに単調に減少し、最終のトレーニング時の第１タイプの実例はが多く、第２タイプの実例が少ない。この方式で形成された実例の組み合わせは、機械がコース学習方法でトレーニングされることをより容易にし、これにより、より正確なトレーニングモデルを得る。これに代わって、初期トレーニング時の第１タイプの実例の割合が小さく、対応するトレーニング回数の増加とともにだんだん増加し、トレーニングが終了する際の第１タイプの実例の割合は第２タイプの実例よりはるかに大きくなるように、第1タイプの実例および第２タイプの実例の相対数量関係を設定することができる。
【００３９】
また、本発明者らは、第１タイプの実例の割合の単調増加かつ第２タイプの実例の割合の単調減少という設定規則に加えて、この二つのタイプの実例の割合の増加率/減少率も機械学習のトレーニング効果に対して非常に重要であることを認識した。従って、本発明は、オーダリングされた複数の実例の組み合わせにおける第1タイプの実例の割合の増加率が、オーダリングされた複数の実例の組み合わせの番号とともに単調に増加し、オーダリングされた複数の実例の組み合わせにおける第２タイプの実例の割合の減少率が、オーダリングされた複数の実例の組み合わせの番号とともに単調に増加する規則に従って、各タイプの実例の割合の増加率/減少率を設定することを提案する。この規則によって各実例の割合の増加率/減少率を設定することは、各実例の割合が線形的に増加/減少する方法に対して、機械に機械学習をより効率的かつ正確に完成させることができる。以下、本発明の実施例による上記の規則に採用される、各実例の組み合わせにおける二つのタイプの実例の割合の計算式を説明する。
【００４０】
本発明の一実施例によれば、オーダリングされた複数の実例の組み合わせにおける第１タイプの実例および第２タイプの実例の割合と、オーダリングされた複数の実例の組み合わせの番号とは、パワー関数関係を満たす。例えば、第１タイプの実例および第２タイプの実例の割合は、以下の式（１）および式（２）の関係を満たすことができる。
2019192246.tif 000004
【００４１】
ここで、ω1はオーダリングされた複数の実例の組み合わせにおける第１タイプの実例の割合を表し、ω2はオーダリングされた複数の実例の組み合わせにおける第２タイプの実例の割合を表し、epochtはｔ回目のトレーニング、即ちt番目の実例の組み合わせに対応しており、epochはトレーニングの総回数、即ち実例の組み合わせの総数に対応している。ここで、0≦ω1≦1かつ0≦ω2≦1。以下、図３を参照して、この例示的な関数関係を説明する。
【００４２】
図３は本発明の実施例による第１タイプの実例および第２タイプの実例の割合が満たすパワー関数関係を示す図である。図３に示すように、初期の数回のトレーニングに対応して、第１タイプの実例の割合が低く、第２タイプの実例の割合が高い。トレーニングの回数の増加とともに、第１タイプの実例の割合がだんだん増加し、第２タイプの実例の割合がだんだん減少する。最後の数回のトレーニングに対応して、第１タイプの実例の割合が高く、第２タイプの実例の割合が低い。また、曲線から、第１タイプの実例の割合の単調増加の増加率（曲線の傾き）もだんだん増加し、第２タイプの実例の割合の単調減少の減少率（曲線の傾き）もだんだん増加することが分かる。上記の設定規則に従って第１タイプのデータと第２タイプのデータとを組み合わせてオーダリングすることにより、より良いトレーニング効果を達成することができる。
【００４３】
本発明の他の実施例によれば、オーダリングされた複数の実例の組み合わせにおける第１タイプの実例および第２タイプの実例の割合と、オーダリングされた複数の実例の組み合わせの番号とが指数関数関係を満たす。例えば、第１タイプの実例および第２タイプの実例の割合は、以下の式（３）および式（４）の関係を満たすことができる。
2019192246.tif 000005
【００４４】
ここで、ω1はオーダリングされた複数の実例の組み合わせにおける第１タイプの実例の割合を表し、ω2はオーダリングされた複数の実例の組み合わせにおける第２タイプの実例の割合を表し、epochtはｔ回目のトレーニング、即ちt番目の実例の組み合わせに対応しており、epochはトレーニングの総回数、即ち実例の組み合わせの総数に対応しており、aは指数関数の漸増速度の未定係数を表し、ｂは指数関数のシフトの未定係数を表し、aとｂは、0≦ω1≦1かつ0≦ω2≦1を満たすように選択されている。上記のパワー関数関係を満たす割合選択と類似に、指数関数関係を満たすことも良いトレーニング効果を達成できる。
【００４５】
以上では、パワー関数と指数関数との２つの関数関係を挙げて本発明における第１タイプの実例および第２タイプの実例の割合選択を説明したが、当業者は、本発明がこれに限定されないことを理解すべきである。当業者は、他の非線形関数関係を満たすように、第１タイプの実例および第２タイプの実例の割合を選択することができる。これにより、機械がコース学習方式でトレーニングされることにより適した、トレーニングデータを提供することができる。
【００４６】
以上では、本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する方法を詳しく説明した。本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する方法により、高品質データと低品質データを適宜に利用して組み合わせ、コース学習理論に基づいて各実例の組み合わせにおける高品質データおよび低品質データの割合を設定することで、コーパス内のトレーニングデータを十分かつ適宜に利用し、分類器モデルトレーニングの精度を向上することができる。
【００４７】
以下、図４を参照して本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する装置を説明する。図４は、本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する装置の機能構成ブロック図を示す。図４に示すように、自然言語質問回答システム用のトレーニングデータを提供する装置４００は、データ受信部４０１、品質特定部４０２、マーク部４０３、組み合わせ部４０４、オーダリング部４０５、及びトレーニングデータ提供部４０６を含み得る。前記各部品の具体的な機能及び動作は、図１−図３について前述したものと基本的に同じであるので、以下に、繰り返しを避けるために、前記装置のみについて簡単に説明し、同じ詳細に対する詳しい説明は省略する。
【００４８】
データ受信部４０１は、オリジナルトレーニングデータを受信するように配置される。前記オリジナルトレーニングデータは、質問-答えペア形式の、少なくとも１つの質問と対応する複数の答えを含む。本発明の実施例では、データ受信部４０１は、異なるソースからオリジナルトレーニングデータを取得することができる。例えば、データ受信部４０１は、「Baidu Knower」などのウェブサイトから自然言語コーパスのオリジナルトレーニングデータ入力を取得することができる。他の例として、データ受信部４０１は、複数のユーザの歴史質問/答えを記憶可能なサーバなどの装置からオリジナルトレーニングデータを取得する。
【００４９】
品質特定部４０２は、複数の答えのデータ品質を特定するように配置される。例えば、品質特定部４０２は、語法分析および文法分析のうちの少なくとも１つに基づいて、複数の答えのデータ品質を特定することができる。具体的な詳細はここで省略する。
【００５０】
マーク部４０３は、前記データ品質に基づいて前記複数の答えを第１タイプの実例または第２タイプの実例としてマークするように配置される。例えば、マーク部４０３は、特定された高品質の答えを第１タイプの実例としてマークし、特定された低品質の答えを第２タイプの実例としてマークすることができる。
【００５１】
組み合わせ部４０４は、前記複数の答えから第１タイプの実例と第２タイプの実例を選択して組み合わせることで、複数の実例の組み合わせを取得するように配置される。例えば、組み合わせ部４０４は、図２に示すように、前記複数の答えから第１タイプの実例と第２タイプの実例を選択して組み合わせることで、複数の実例の組み合わせを取得することができる。
【００５２】
オーダリング部４０５は、前記複数の実例の組み合わせをオーダリングするように配置されており、オーダリングされた前記複数の実例の組み合わせは、それぞれに自然言語質問回答システムの時間順の各回のトレーニングのトレーニングデータに対応する。オーダリングされた複数の実例の組み合わせにおける前記第１タイプの実例の割合が単調に増加し、オーダリングされた複数の実例の組み合わせにおける前記第２タイプの実例の割合が単調に減少する。例えば、オーダリング部４０５は、コース学習の概念に基づいて各実例の組み合わせにおける第１タイプの実例および第２タイプの実例の割合を設定し、各実例の組み合わせをオーダリングすることができる。具体的な詳細について、ここで説明を省略する。
【００５３】
トレーニングデータ提供部４０６は、前記オーダリングされた複数の実例の組み合わせを自然言語質問回答システムに提供するように配置される。例えば、トレーニングデータ提供部４０６は、オーダリングされたトレーニングデータを学習を始めようとする機械に提供することにより、対応する質問を結合して容易から困難へ学習させることができる。機械学習の例として、オーダリングされたデータを、系列−系列（ｓｅｑ２ｓｅｑ）モデル、対抗（adversarial）トレーニングモデルなどのトレーニングを必要とする分類器モデルに提供することによって、トレーニングを通じて精度の高いトレーニングモデルを得ることができる。例えば、自然言語質問回答システムにおけるよくトレーニングされたモデルに基づいて、自然言語形式で表現される答えがユーザにプッシュされるように、よくトレーニングされた長期短期記憶ネットワーク（ＬＳＴＭ，Ｌｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙ）、生成式対抗ネットワーク（ＧＡＮ，Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ）などを取得する。系列−系列モデルおよび対抗トレーニングモデルについての詳細はここで説明しない。また、系列−系列モデル、対抗トレーニングモデルなどの分類器モデルを列挙したが、当業者は必要に応じて自然質問回答システムにおける機械学習に他の学習モデルを採用することもできる。
【００５４】
以上、本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する装置を詳しく説明した。本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する装置は、高品質データと低品質データを適宜に利用して組み合わせ、コース学習理論に基づいて各実例の組み合わせにおける高品質データと低品質データの割合を設定することができる。これにより、コーパス内のトレーニングデータを十分かつ適宜に利用し、分類器モデルトレーニングの精度を向上することができる。
【００５５】
以下、図５を参照して本発明の実施例による自然言語質問回答システムのトレーニングデータを提供する装置を説明する。図５は、本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する装置の機能構成ブロック図を示す。図５に示すように、自然言語質問回答システム用のトレーニングデータを提供する装置５００は、メモリ５０１とプロセッサ５０２とを含み得る。特に、図５に示す自然言語質問回答システム用のトレーニングデータを提供する装置５００の部品および構成は単なる例示的なものであり、制限的なものではなく、装置５００は、必要に応じて例えば入力機器、出力機器などの他の部品および構成を有しても良い。
【００５６】
メモリ５０１は、例えば揮発性メモリおよび/または不揮発性メモリなどの何れの形式のコンピュータ読み取り可能な記憶媒体であってもよい。前記揮発性メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）および/またはキャッシュ（ｃａｃｈｅ）などを含んでもよい。前記不揮発性メモリは、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク、フラッシュメモリ等を含んでもよい。１つまたは複数の非一時的コンピュータ読み取り可能な指示は、プロセッサ５０２で実行されるように、前記コンピュータ読み取り可能な記憶媒体に記憶されてもよい。
【００５７】
プロセッサ５０２は、中央処理装置（ＣＰＵ）またはデータ処理能力および/または指示実行能力を有する他の形式の処理装置であってもよく、所望の機能が実行されるように、制御装置５００内の他の部品を制御することができる。プロセッサ５０２は、上述の本発明の実施例の機能および/または他の所望の機能が実施されるように、メモリ５０１に記憶されている指示を実行することができる。例えば、プロセッサ５０２は、本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する方法が実行されるように、メモリ５０１に記憶されている指示を実行することができる。
【００５８】
以上、本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する装置を詳細に説明した。本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する装置は、高品質データと低品質データを適宜に利用して組み合わせ、コース学習理論に基づいて各実例の組み合わせにおける高品質データと低品質データの割合を設定することができる。これにより、コーパス内のトレーニングデータを十分かつ適宜に利用し、分類器モデルのトレーニングの精度を向上することができる。
【００５９】
以下、本発明の実施例によるコンピュータ読み取り可能な記録媒体について説明する。前記コンピュータ読み取り可能な記録媒体は、非一時的コンピュータ読み取り可能な指示を記憶するためのものであり、前記非一時的コンピュータ読み取り可能な指示がコンピュータによって実行されるときに、本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する方法を実行する。前記コンピュータ読み取り可能な記録媒体は、揮発性メモリおよび/または不揮発性メモリを含んでもよい。前記揮発性メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）および/またはキャッシュ（ｃａｃｈｅ）などを含んでもよい。前記不揮発性メモリは、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク、フラッシュメモリなどを含んでもよい。
【００６０】
以下、図６を参照して本発明の実施例による自然言語質問回答システムについて説明する。図６は本発明の実施例による自然言語質問回答システムの機能構成ブロック図である。図６に示すように、自然言語質問回答システム６００は、自然言語質問回答トレーニング装置６０１および自然言語答え提供装置６０２とを含むことができる。特に、図６に示す自然言語質問回答システム６００の部品および構成は単なる例示的なものであり、制限的なものではなく、自然言語質問回答システム６００は必要に応じて、例えば入力装置および出力装置などの他の部品および構成を有してもよい。
【００６１】
自然言語質問回答トレーニング装置６０１は、トレーニングされるべき機械であり、例えば、上述のような系列−系列モデル、対抗トレーニングモデルなどのモデルである。自然言語質問回答トレーニング装置６０１は、本発明の実施例による自然言語質問回答システム用のトレーニングデータを提供する装置からトレーニングデータを受信し、前記トレーニングデータを利用して対応する質問を結合して機械学習を行うように配置される。本発明による上述のような実例の組み合わせの例示的な割合設定およびオーダリング方法によって、トレーニング回数の増加とともに、トレーニングデータの実例の組み合わせにおける低品質データが単調に減少し、高品質データが単調に増加する。これにより、簡単なデータから困難なデータへだんだん移行しながらトレーニングを行え、機械に機械学習をより効率的かつ正確に完成させ、それによって、正確なトレーニングモデルを得る。
【００６２】
自然言語答え提供装置６０２は、ユーザが知識を得るように、ユーザによる自然言語形式で記述した質問を受け入れ、大量のヘテロジーニアスデータの中からユーザの質問に対する答えをサーチ、または推測し、最後に自然言語の方式で答えをユーザにプッシュすることができる。自然言語答え提供装置６０２は、ユーザによって入力された質問を受信し、トレーニングされた機械を利用して自然言語形式でユーザによって入力された質問に対応する答えを提供するように配置される。例えば、自然言語答え提供装置６０２は、予めトレーニングされた分類器モデルまたは予め設定された規則を利用して自然言語質問の構造化特徴を抽出し、そして当該構造化特徴に基づいて、予め確立された知識ベースの中から対応する答えのエンティティを検索、または推理することで得て（例えば、上記の表１中の質問-答えペアに現れた「周樹人」および「周樟寿」などの単語のエンティティ）、更に、本発明の予めトレーニングされた分類器モデルに基づいて、答えのエンティティを利用して、自然言語形式で表現される答えを生成する。自然言語答え提供装置６０２は、様々な方法で自然言語形式の答えをユーザにプッシュするためのディスプレイ、スピーカなどを含んでもよい。
【００６３】
以上、本発明の実施例による自然言語質問回答システムを詳しく説明した。本発明の実施例による自然言語質問回答システムは、機械に機械学習をより効率的かつ正確に完成させてるように、簡単なデータから困難なデータへだんだん移行しながら、トレーニングを行うことができ、それによって、より正確かつ流暢な、自然言語方式で表現される答えをユーザに提供する。
【００６４】
テスト検証
以下、本発明は、異なる実例の選択方式で第１タイプの実例および第２タイプの実例を組み合わせ、異なる実例の組み合わせ方式によるトレーニングデータを利用してトレーニングを行うことでトレーニングモデルを得た後に、当該トレーニングされたモデルを利用して、自然言語質問回答システムにおいて提供された答えの品質に対してテストを行う。これにより、各種の実例の組み合わせの方式に対応するトレーニングモデルの性能の高さを評価する。具体的には、各種の実例の選択方式は下記表２に示すようになっている。
【表２】
2019192246.tif 000006
【００６５】
まず、本発明は、自動評価方法により、トレーニングモデルのトレーニング品質を検証する。例えば、トレーニングされたモデルで提供される自然言語答えの性能を、正確度（Ａｃｃｕｒａｃｙ）および単語の重なり（ＷＢＭ）に基づいて判断することができる。正確度は、答えが標準的な答えのエンティティを含む場合を評価でき、単語の重なりは、生成された答えと標準的な答えの間の単語の重なりを評価することができる。テスト結果は下記表３に示すようになっている。
【表３】
2019192246.tif 000007
【００６６】
表３に示すように、本発明によって提案された、コース学習理論に基づいて第１タイプの実例および第２タイプの実例を選択して組み合わせ、オーダリングすることによって得られたトレーニングデータのトレーニングモデルは、多数の指標上で最良の結果を得た。例えば、Ｇｒａｍｍａｒ-ＣＬ組み合わせの方式でトレーニングされて得られた答えは、既存の方法より正確度が約6.8％高くなっている。
【００６７】
また、本発明は、人工的評価方法によってトレーニングモデルのトレーニング品質を更に検証する。例えば、トレーニングされた機械で提供された自然言語答えの性能を、正確性（ｃｏｒｒｅｃｔｎｅｓｓ）、流暢性（ｆｌｕｅｎｃｙ）、および一致性（ｃｏｈｅｒｅｎｃｅ）に基づいて判断することができる。正確性は、答えが正しいかどうかを評価でき、流暢性は、生成された語句の自然程度および文法の良さを評価でき、一致性は、生成された答えと質問の一致性を評価できる。テスト結果は下記表４に示すようになっている。
【表４】
2019192246.tif 000008
【００６８】
表４に示すように、本発明によって提案された、コース学習理論に基づいて第１タイプの実例および第２タイプの実例を選択して組み合わせ、オーダリングして得られたトレーニングデータに対応するトレーニングモデルは、多数の指標上で最良の結果を得た。
【００６９】
以上、具体的な実施例を結合して本発明の基本原理を説明したが、特に、本発明において言及された利点、優位性、効果等は単なる例示的なものであり、制限的なものではなく、これらの利点、優位性、効果等が本発明の各実施例に必要なものであると考えるべきではない。なお、上記開示の具体的な詳細は、例示および理解を簡単にするためのものに過ぎず、制限的なものではなく、上記詳細は、本発明が必ず上記具体的な詳細によって実現しなければならないことを限定しない。
【００７０】
本発明に係る部品、装置、デバイス、およびシステムのブロック図は単なる例示的なものであり、必ずブロック図に示される方式で接続、配置および構成されることを要求または暗示することを意図するものではない。これらの部品、装置、デバイス、およびシステムを任意の方式で接続、配置、および構成することができることは当業者に理解されるべきである。「含む」、「備える」、「有する」などの単語は、オープン形式な単語であり、「…含むが、これに限定されない」を指し、これと互換的に使用され得る。ここで使用される単語「または」と「および」は、単語「および/または」を意味し、文脈で明確に指示がない限り、これと互換的に使用され得る。ここで使用される「のような」は、「…のようだが、これに限定されない」などの語句を指し、互換的に使用され得る。
【００７１】
本発明におけるフローチャートおよび上記方法の説明は、単なる例示的なものであり、必ず提示された順序で各実施例が実行されることを要求または暗示することを意図するものではない。いくつかのステップは、並行的に、個別に、または他の適切な順序で実行されてもよい。なお、「その後」、「そして」、「次に」などの単語は、ステップの順序を限定することを意図しなく、これらの単語は、方法の説明を通読するように読者を導くためにのみ使用されている。
【００７２】
特に、本発明の装置および方法では、各部品または各ステップを分解および/または再結合することができる。これらの分解および/または再結合は、本発明と等価なものと見なされるべきである。
【００７３】
当業者が本発明を実施または使用することを可能にするように、開示された態様の上記説明を提供する。これらの態様に対する様々な修正は当業者にとって非常に明らかであり、ここで定義された一般的な原理は本発明の範囲から逸脱することなく他の態様に適用されてもよい。したがって、本発明は、ここで示された態様に限定されることを意図しなく、ここで開示された原理および新規な特徴と一致する最も広い範囲内にあることを意図する。複数の例示的な態様および実施例は以上で検討されたが、当業者はそれらのいくつかの変形、修正、変更、追加およびサブコンビネーションを認識すべきである。
【図１】
2019192246.tif 000009
【図２】
2019192246.tif 000010
【図３】
2019192246.tif 000011
【図４】
2019192246.tif 000012
【図５】
2019192246.tif 000013
【図６】
2019192246.tif 000014