(57)【要約】      （修正有）【課題】言語モデルによるテキストコンテンツの識別効果を向上させる言語モデルの訓練方法、装置、電子デバイス及び可読記憶媒体を提供する。【解決手段】訓練方法は、複数の文章のそれぞれから１段落のテキストをサンプリングして複数の段落のテキストを得て、複数の段落のテキストをスプライシングしてスプライシングテキストを得て、スプライシングテキストを言語モデルに入力し、言語モデルにより文章数の予測値を出力し、複数の文章の実際の文章数と文章数の予測値とに基づいて、所定訓練完了条件が満たされるまで言語モデルを訓練する。【選択図】図１
2022002088.tif 000002
【特許請求の範囲】
【請求項１】
言語モデルの訓練方法であって、
複数の文章のそれぞれから1段落のテキストをサンプリングして複数の段落のテキストを得るステップと、
前記複数の段落のテキストをスプライシングしてスプライシングテキストを得るステップと、
前記スプライシングテキストを言語モデルに入力し、前記言語モデルにより文章数の予測値を出力するステップと、
前記複数の文章の実際の文章数と前記文章数の予測値とに基づいて、所定訓練完了条件が満たされるまで前記言語モデルを訓練するステップと、を含む
方法。
【請求項２】
前記複数の文章のそれぞれから１段落のテキストをサンプリングして複数の段落のテキストを得るステップは、
文章データベースから前記複数の文章をランダムに選択するステップと、
前記複数の文章のそれぞれから少なくとも1つの文を含む１段落の連続したテキストをランダムにサンプリングするステップと、を含む
請求項1に記載の方法。
【請求項３】
前記複数の段落のテキストの文字数が所定の文字数以下である請求項1に記載の方法。
【請求項４】
前記複数の段落のテキストをスプライシングしてスプライシングテキストを得るステップは、
前記複数の段落のテキストにおける文の順序を乱し、順序が乱された文をスプライシングしてスプライシングテキストを得る、ことを含む
請求項1に記載の方法。
【請求項５】
前記言語モデルは、知識拡張語義表現ERNIEモデルを含み、
および/または、
前記方法は、更に、前記複数の段落のテキストにおける各文の文識別子を統一的な所定識別子に設定し、あるいは、前記スプライシングテキストにおける各文の文識別子を統一的な所定識別子に設定する、ことを含む
請求項1〜4のいずれか1項に記載の方法。
【請求項６】
前記所定訓練完了条件が満たされた後に、さらに、
前記言語モデルを用いて自然言語処理NLPタスクを行って処理結果を得るステップと、
前記処理結果と前記処理結果に対応する標識結果情報との差異に応じて、前記言語モデルにおけるパラメータ値を微調整するステップと、を含む
請求項1〜4のいずれか1項に記載の方法。
【請求項７】
言語モデルの訓練装置であって、
複数の文章のそれぞれから1段落のテキストをサンプリングして複数の段落のテキストを得るサンプリングユニットと、
前記複数の段落のテキストをスプライシングしてスプライシングテキストを得るスプライシングユニットと、
入力された前記スプライシングテキストを受け取り、文章数の予測値を出力する言語モデルと、
前記複数の文章の実際の文章数と前記文章数の予測値とに基づいて、所定訓練完了条件が満たされるまで前記言語モデルを訓練する訓練ユニットと、を備える
装置。
【請求項８】
前記サンプリングユニットは、具体的に、
文章データベースから前記複数の文章をランダムに選択し、
前記複数の文章のそれぞれから少なくとも1つの文を含む１段落の連続したテキストをランダムにサンプリングする、
請求項7に記載の装置。
【請求項９】
前記複数の段落のテキストの文字数は、所定の文字数以下である、
請求項7に記載の装置。
【請求項１０】
前記スプライシングユニットは、具体的に、
前記複数の段落のテキストにおける文の順序を乱し、順序が乱された文をスプライシングしてスプライシングテキストを得る、
請求項7に記載の装置。
【請求項１１】
前記言語モデルは、知識拡張語義表現ERNIEモデルを含み、
および/または、
前記装置は、更に、前記複数の段落のテキストにおける各文の文識別子を統一的な所定識別子に設定し、あるいは、前記スプライシングテキストにおける各文の文識別子を統一的な所定識別子に設定する識別子設定ユニットを備える、
請求項7〜10のいずれか1項に記載の装置。
【請求項１２】
前記言語モデルは、更に、所定訓練完了条件が満たされた後に、自然言語処理NLPタスクを行って処理結果を得、
前記装置は、更に、前記処理結果と前記処理結果に対応する標識結果情報との差異に応じて、前記言語モデルにおけるパラメータ値を微調整する微調整ユニットを備える、
請求項7〜11のいずれか1項に記載の装置。
【請求項１３】
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと通信接続されたメモリと、を備え、
前記メモリに前記少なくとも1つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサに請求項1〜6のいずれか１項に記載の方法を実行させる電子デバイス。
【請求項１４】
コンピュータに請求項1〜6のいずれか1項に記載の方法を実行させるためのコンピュータコマンドが記憶された非一時的なコンピュータ可読記憶媒体。
【請求項１５】
コンピュータに請求項1〜6のいずれか1項に記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コンピュータ技術分野に関し、具体的にディープラーニング技術分野及び自然言語処理技術に関し、特に言語モデルの訓練方法、装置、電子デバイス及び可読記憶媒体に関する。
【背景技術】
【０００２】
中国語自然言語処理（Natural Language Processing，NLP）分野では、大量の教師なしテキストを用いて言語モデルの自己教師付き事前訓練学習（pre-training）を行い、次に教師付きタスクデータを用いて言語モデルのパラメータ微調整（fine-tuning）を行うことは、現在のNLP分野における先進的な言語モデル訓練技術である。
【０００３】
従来技術では、言語モデルの訓練学習において、単文分類タスクにおける言語モデルの訓練が不足しているため、言語モデルに単文分類能力が不足し、テキストコンテンツに対する言語モデルの識別効果が制限されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示の複数の態様は、言語モデルによる段落全体のテキストコンテンツの分類を可能にし、テキストコンテンツに対する言語モデルの識別効果を向上させる言語モデルの訓練方法、装置、電子デバイス、および可読記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
第1態様によれば、複数の文章のそれぞれから1段落のテキストをサンプリングして複数の段落のテキストを得るステップと、前記複数の段落のテキストをスプライシングしてスプライシングテキストを得るステップと、前記スプライシングテキストを言語モデルに入力し、前記言語モデルにより文章数の予測値を出力するステップと、前記複数の文章の実際の文章数と前記文章数の予測値とに基づいて、所定訓練完了条件が満たされるまで前記言語モデルを訓練するステップと、を含む言語モデルの訓練方法を提供する。
【０００６】
第2態様によれば、複数の文章のそれぞれから1段落のテキストをサンプリングして複数の段落のテキストを得るサンプリングユニットと、前記複数の段落のテキストをスプライシングしてスプライシングテキストを得るスプライシングユニットと、入力された前記スプライシングテキストを受け取り、文章数の予測値を出力する言語モデルと、前記複数の文章の実際の文章数と前記文章数の予測値とに基づいて、所定訓練完了条件が満たされるまで前記言語モデルを訓練する訓練ユニットを備える言語モデルの訓練装置を提供する。
【０００７】
第3態様によれば、本開示は、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサと通信接続されたメモリとを備え、前記メモリに前記少なくとも1つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサに上述した態様および任意の可能な実施形態の方法を実行させる電子デバイスを提供する。
【０００８】
第4態様によれば、コンピュータに上述した態様および任意の可能な実施形態の方法を実行させるためのコンピュータコマンドが記憶された非一時的なコンピュータ可読記憶媒体を提供する。
【０００９】
上述の技術案から分かるように、本開示の実施形態は、複数の文章のそれぞれから１段落のテキストをサンプリングして複数の段落のテキストを得、前記複数の段落のテキストをスプライシングしてスプライシングテキストを得、次に前記スプライシングテキストを言語モデルに入力し、前記言語モデルにより文章数の予測値を出力し、更に前記複数の文章の実際の文章数と前記文章数の予測値とに基づいて、所定訓練完了条件を満たすまで前記言語モデルを訓練して訓練された言語モデルを得ることにより、訓練された言語モデルに段落全体のテキストコンテンツを識別し分類する能力を具備させ、言語モデルによるテキストコンテンツの識別効果を高めることができる。
【００１０】
また、本願で提供された技術案を採用することにより、訓練された言語モデルを後続のNLPタスクに使用する場合、NLPタスクの処理結果の正確性を効果的に向上させることができる。
【００１１】
理解すべきなのは、この部分で説明される内容は、本開示の実施形態の肝心又は重要な特徴を識別することを意図しておらず、本開示の範囲を制限することを意図していない。本開示の他の特徴は、以下の説明により容易に理解される。
【図面の簡単な説明】
【００１２】
本願の実施形態における技術案をより明確に説明するために、以下では、実施例又は従来技術の説明において使用すべき添付図面を簡単に説明するが、以下の説明における添付図面は本願の一部の実施例であり、当業者にとっては、創造的労力を払わない限り、これらの添付図面から他の添付図面を得ることもできることは明らかである。添付図面は、本発明をよりよく理解するためにのみ使用され、本開示の限定を構成するものではない。ここで、
【図１】本開示の第1実施形態に係る概略図である。
【図２】本開示の第2実施形態に係る概略図である。
【図３】本開示の第3実施形態に係る概略図である。
【図４】本開示の第4実施形態に係る概略図である。
【図５】本開示の第5実施形態に係る概略図である。
【図６】本開示の実施形態に係る言語モデルの訓練方法を実施するための電子デバイスの概略図である。
【発明を実施するための形態】
【００１３】
以下、図面に基づいて、本開示の例示的な実施例を説明する。理解を容易にするために、本開示の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本開示の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。
【００１４】
明らかに、説明された実施形態は本明細書の一部の実施形態であり、すべての実施形態ではない。本願の実施形態に基づいて、当業者が創造的な労働を行わないことを前提として取得した他のすべての実施形態は、本願の保護範囲に属する。
【００１５】
説明すべきなのは、本開示の実施形態に係る端末は、携帯電話、PDA（Personal Digital Assistant）、無線ハンドヘルドデバイス、タブレット（Tablet Computer）、PC（Personal Computer）、MP3プレーヤー、MP4プレーヤー、ウェアラブルデバイス（例えば、スマート眼鏡、スマートウォッチ、スマートブレスレットなど）、スマートホームデバイスなどのスマートデバイスを含んで良いが、これらに限定されない。
【００１６】
また、理解すべきなのは、本願中の専門語である「及び/又は」は、関連対象を描画する関連関係に過ぎず、三つの関係がある可能性を示す。例えば、A及び/又はBは、Aだけが存在すること、AとBが同時に存在すること、Bだけが存在する、という三つの状況を示すことができる。また、本願中の文字である「/」は、一般的に、前後の関連対象が「又は」の関係を有すると示す。
【００１７】
従来技術では、言語モデルの事前訓練学習において、単文分類タスクにおける言語モデルの訓練が不足しているため、言語モデルに単文分類の能力が不足しており、言語モデルによるテキストコンテンツの識別効果が制限されている。
【００１８】
本願は、上述の問題に対して、言語モデルによる段落全体のテキストコンテンツの分類を実現し、言語モデルによるテキストコンテンツの識別効果を高める言語モデルの訓練方法、装置、電子デバイス及び可読記憶媒体を提案する。
【００１９】
図１に示されたように、図1は本開示の第1実施形態に係る概略図である。
【００２０】
101において、複数の文章のそれぞれから1段落のテキストをサンプリングして複数のテキストを得る。
【００２１】
102において、前記複数の段落のテキストをスプライシングしてスプライシングテキストを得る。
【００２２】
103において、前記スプライシングテキストを言語モデルに入力し、前記言語モデルにより文章数の予測値を出力する。
【００２３】
104において、前記複数の文章の実際の文章数と前記文章数の予測値とに基づいて、所定訓練完了条件が満たされるまで前記言語モデルを訓練する。
【００２４】
ここで、上記101〜104は、反復的に実行されるプロセスであってよい。101〜104を反復的に実行することにより言語モデルの訓練を実現し、所定訓練完了条件を満たした時点で言語モデルの訓練を完了する。
【００２５】
オプションとして、本実施形態の1つの可能な実施形態では、前記所定訓練完了条件は、実際の需要に応じて設定することができ、例えば、前記複数の文章の実際の文章数と前記文章数の予測値との差が第1所定閾値、例えば2より小さいであること、及び/又は、言語モデルの訓練回数（すなわち、101〜104の反復実行回数）が第2所定閾値、例えば100万回に達することを含んで良い。
【００２６】
説明すべきなのは、101〜104の実行主体の一部または全部は、ローカル端末にあるアプリケーションであってもよく、ローカル端末にあるアプリケーションに設けられたプラグインやソフトウェア開発キット（Software Development Kit、SDK）などの機能ユニットであってもよく、ネットワーク側のサーバにある処理エンジンであってもよく、本実施形態では特に限定しない。
【００２７】
理解すべきなのは、前記アプリケーションは、端末上にインストールされたローカルアプリ（nativeApp）であってもよく、端末上のブラウザのウェブページアプリ（webApp）であってもよく、本実施形態ではこれを限定しない。
【００２８】
本実施形態では、複数の文章のそれぞれからサンプリングされた複数の段落のテキストをスプライシングし、言語モデルにスティッチングテキストの文章数（文章ソース数）を予測させ、言語モデルにより予測された文章数と実際の文章数とに基づいて言語モデルを訓練することにより、訓練された言語モデルに段落全体のテキストコンテンツを識別し分類する能力を具備させ、言語モデルによるテキストコンテンツの識別効果を向上させた。
【００２９】
また、本願で提供された技術案を採用することにより、訓練された言語モデルを後続のNLPタスクに使用する場合、NLPタスクの処理結果の正確性を効果的に向上させることができる。
【００３０】
オプションとして、本実施形態の1つの可能な実施形態では、101において、文章データベースからランダムに複数の文章を選択し、次に、前記複数の文章のそれぞれからランダムに１段落の連続したテキストをサンプリングすることができる。ここで、１段落の連続したテキストごとに少なくとも1つの文が含まれ、すなわち、各文章から選択された１段落のテキストに1つの文が含まれても良く、複数の連続した文が含まれても良く、例えば、2つまたは3つの連続した文が含まれてよい。
【００３１】
本実施形態では、文章データベースに多くの文章が含まれて良い。ここで、文章のジャンル、コンテンツ分類は、同一であっても異なっていてもよい。毎回に文章データベースからランダムに複数の文章を選択し、ランダムに前記複数の文章のそれぞれから１段落の連続したテキストをサンプリングして言語モデルの訓練に用いることで、言語モデルの異なるコンテンツに対する学習と分類能力を高めることができる。1つの文章中の連続したテキストはコンテンツ的に一貫し、語義的に関連しているため、各文章から連続したテキストをサンプリングして言語モデルの訓練に用いることにより、言語モデルの語義学習能力を向上させて異なる文が同一の文章に由来するか否かを正確に識別することに寄与することができる。
【００３２】
オプションとして、本実施形態の1つの可能な実施形態では、本開示の上述の実施形態における言語モデルは任意の言語モデルであってもよく、例えば、知識強化語義表現(Enhanced Representation from kNowledge IntEgration、ERNIE)モデルを採用してもよい。
【００３３】
ERNIEモデルは、大量のデータにおける実体概念などの事前語義知識をモデリングすることにより、完全な概念の語義表現を学習し、単語や実体概念などの語義単位をマスクすることによりERNIEモデルを事前に訓練することにより、ERNIEモデルによる語義知識単位の表現をより現実世界に近づけることができる。ERNIEモデルは、文字特徴の入力に基づいてモデリングすると同時に、事前語義知識単位を直接にモデリングし、より強い語義表現能力を有する。本実施形態では、ERNIEモデルを言語モデルとすることにより、ERNIEモデルの強い語義表現能力を利用して、段落全体のテキストのコンテンツを識別し分類することができ、ERNIEモデルのコンテンツ識別および分類効果をさらに高めることができる。
【００３４】
オプションとして、本実施形態の1つの可能な実施形態では、複数の文章からサンプリングされた複数の段落のテキストの文字数は、所定の文字数以下である。 当該所定の文字数は、前記言語モデルがサポートし得る最大文字数により設定してよい。例えば、前記所定の文字数は、前記言語モデルがサポートし得る最大文字数であってもよく、前記言語モデルによりサポートされる最大文字数の範囲内で、より良好な言語識別性能を具備し得る文字数であってもよい。当該文字数の具体的な値は、言語モデルの具体的なタイプおよび性能に基づいて決定されてもよい。或いは、前記所定の文字数は他の方法で決定されてもよく、本実施形態では、所定の文字数の具体的な決定方法および値については制限しない。
【００３５】
たとえば、ERNIEモデルの場合、512文字以下のテキストに対して優れた語義学習能力を有するため、複数の文章からサンプリングして得られる複数の段落のテキストの文字数を512文字以下とすることができる。これにより、512文字以下のスプライシングテキストを用いてERNIEモデルを訓練する際に、ERNIEモデルの語義学習能力を十分に利用し、ERNIEモデルの訓練効率及び訓練効果を向上させることができる。
【００３６】
オプションとして、本実施形態の1つの可能な実施形態では、102において、前記複数の段落のテキストにおける文の順序を乱し、順序が乱された文をスプライシングしてスプライシングテキストを得ることができる。
【００３７】
本実施形態では、前記複数の段落のテキストにおける文の順序を乱してからスプライシングを行って得られたスプライシングテキストにおいて、隣接する文の間に語義的な関連性が存在しないため、得られたスプライシングテキストを用いて言語モデルを訓練することにより、言語モデルのコンテンツ識別及び分類能力を向上させ、言語モデルの訓練効果を向上させることができる。
【００３８】
オプションとして、本実施形態の1つの可能な実施形態では、前記複数の段落のテキストにおける各文の文識別子（sentence embedding）を統一的な所定識別子、例えば0に設定しても良く、前記スプライシングテキストにおける各文の文識別子を統一的な所定識別子、例えば0に設定しても良い。
【００３９】
本実施形態では、複数の段落のテキストまたはスプライシングテキストにおける各文の文識別子を統一的な所定識別子に設定することにより、言語モデルが入力されたスプライシングテキストに幾つの文が含まれているかを知覚できず、スプライシングテキストにおける文が幾つの文章から抽出されたかを知覚しにくくなり、言語モデルの訓練効果を向上させた。
【００４０】
本開示の実施形態における言語モデルを訓練するために使用されるスプライシングテキストは、文を区別しないため、スプライシングテキストの段落全体のテキストを1つの文と見なすことができる。本開示の実施形態におけるスプライシングテキストに対するコンテンツ識別および分類は、単文分類と呼ぶこともできる。本実施形態に基づいて訓練された言語モデルは、単文分類タスクを行うために利用することができる。
【００４１】
図2に示されたように、図2は、本開示の第2実施形態に係る概略図である。
【００４２】
文章データベースからランダムに文章1、文章2、文章3、文章4という4つの文章を選択し、これら4つの文章のそれぞれから１段落の連続したテキストをランダムにサンプリングし、文章2からサンプリングされたテキストに2つの連続した文が含まれており、文章1、文章3、文章4からそれぞれ1文を採用すると仮定する場合に、これら4つの文章からサンプリングされた5つの文を順番を乱してスプライシングしてスプライシングテキストを得、5文の文識別子をそれぞれ0とし、次に、スプライシングテキストをERNIEモデルに入力し、ERNIEモデルによりこのスプライシングテキストの文章数、即ち幾つの文章から抽出されたかを予測して文章数の予測値Mを得、文章数の予測値Mと実際の文章数4とに基づいて、所定訓練完了条件が満たされるまで、例えばERNIEモデルが出力する文章数の予測値Mが4となるまで、或いは訓練回数が100万回に達するまでERNIEモデルを訓練する。
【００４３】
図3に示されたように、図3は本開示の第3実施形態に係る概略図である。
【００４４】
第1実施形態に基づいて、所定訓練完了条件を満たして訓練された言語モデルを得た後、教師付きNLPタスクにより言語モデルをさらに最適化し、NLPタスクにおける言語モデルの予測性能をさらに向上させることができる。
【００４５】
第2実施形態では、教師付きNLPタスクによる言語モデルの最適化は、具体的に以下のステップで達成され得る。
【００４６】
201において、訓練された言語モデルを用いてNLPタスクを行って処理結果を得る。
【００４７】
オプションとして、本実施形態の1つの可能な実施形態では、NLPタスクは、例えば、分類、マッチング、シーケンス標識などのNLPタスクのうちの何れか一つまたは複数であってもよく、本実施形態はこれを特に限定しない。それに応じて、処理結果は、具体的なNLPタスクの処理結果、例えば分類結果、マッチング結果、シーケンス標識結果などである。
【００４８】
オプションとして、本実施形態の1つの可能な実施形態では、201では、具体的には、訓練された言語モデルを用いて、分類、マッチング、シーケンス標識を実現するための他のネットワークモデル、例えば、畳み込みニューラルネットワーク（convolutional neural network、CNN）、長短期記憶（Long Short Term Memory、LSTM）モデル、単語集合（Bag of Word、BOW）モデルと組み合わせてNLPタスクを行って処理結果を得ることができる。たとえば、分類、マッチング、シーケンス標識を実現するための他のネットワークモデルは、言語モデルの出力に基づいて分類、マッチング、シーケンス標識などの処理を行って対応する分類結果、マッチング結果、シーケンス標識結果などの処理結果を得る。
【００４９】
202において、前記処理結果と前記処理結果に対応する標識結果情報との間の差異に基づいて、前記言語モデルにおけるパラメータ値を微調整し（fine-tuning）、すなわち、言語モデルにおけるパラメータ値を微調整する。
【００５０】
ここで、前記標識結果情報は、あらかじめ実行しようとするNLPタスクに対して人工で標識した正しい処理結果である。
【００５１】
ここで、上記201〜202は、反復的に実行されるプロセスであって良く、201〜202を反復的に実行することにより言語モデルを所定条件を満たすまで複数回に微調整し、言語モデルの微調整が完了する。
【００５２】
オプションとして、本実施形態の1つの可能な実施形態では、前記所定条件は、実際の必要に応じて設定されてもよく、例えば、前記処理結果と標識結果情報との間の差異が所定差異よりも小さいこと、第3所定閾値よりも小さいこと、および/または、言語モデルの微調整回数（すなわち、201〜202の反復実行回数）が第4所定閾値に達することを含んで良い。
【００５３】
本実施形態では、言語モデル全体の構造を変更することなく、教師付きデータ（すなわち標識結果情報）のNLPタスクにより言語モデルにおけるパラメータ値をさらに最適化することができ、各NLPタスクに応じて言語モデルの最適化反復を容易にし、言語モデルの予測性能を向上させることができる。
【００５４】
説明すべきなのは、前記の方法実施例について、説明を簡単にするために、一連の動作の組合せとして記述された。しかし、当業者であればわかるように、本願により幾つかのステップが他の順番を採用し、或いは同時に実行可能であるため、本願は説明された動作の順番に限定されない。次に、当業者であればわかるように、明細書に説明された実施例は何れも好適な実施例であり、関わる動作とモジュールが必ずしも本願に必要なものではない。
【００５５】
上述した実施形態では、それぞれの実施形態の説明に焦点が当てられており、ある実施形態において詳細に説明されていない部分は、他の実施形態の関連説明を参照してもよい。
【００５６】
図4に示されたように、図4は本開示の第4実施形態に係る概略図である。本実施形態の言語モデルの訓練装置300は、サンプリングユニット301、スプライシングユニット302、言語モデル303、および訓練ユニット304を含むことができる。ここで、サンプリングユニット301は、複数の文章のそれぞれから1段落のテキストをサンプリングして複数の段落のテキストを得る。スプライシングユニット302は、前記複数の段落のテキストをスプライシングしてスティッチングテキストを得る。言語モデル303は、入力された前記スプライシングテキストを受け取り、文章数の予測値を出力する。訓練ユニット304は、前記複数の文章の実際の文章数と前記文章数の予測値とに基づいて、所定訓練完了条件が満たされるまで前記言語モデル303を訓練する。
【００５７】
説明すべきなのは、本実施形態の言語モデルの訓練装置の実行主体の一部または全部は、ローカル端末上に配置されたアプリケーションであってもよく、ローカル端末にあるアプリケーションに設けられたプラグインやソフトウェア開発キット（Software Development Kit、SDK）などの機能ユニットであってもよく、ネットワーク側のサーバにある処理エンジンであってもよく、本実施形態では特に限定しない。
【００５８】
理解すべきなのは、前記アプリケーションは、端末上にインストールされたローカルアプリ（nativeApp）であってもよく、端末上のブラウザのウェブページアプリ（webApp）であってもよく、本実施形態ではこれを限定しない。
【００５９】
本実施形態では、複数の文章のそれぞれからサンプリングされた複数の段落のテキストにより、言語モデルにより予測された文章数と実際の文章数とに基づいて前記言語モデルを訓練することにより、訓練された言語モデルに段落全体のテキストのコンテンツを識別し分類する能力を具備させ、言語モデルによるテキストコンテンツの識別効果を向上させた。
【００６０】
また、本願で提供された技術案を採用することにより、訓練された言語モデルを後続のNLPタスクに使用する場合、NLPタスクの処理結果の正確性を効果的に向上させることができる。
【００６１】
オプションとして、本実施形態の1つの可能な実施形態では、前記サンプリングユニット301は、具体的に、文章データベースからランダムに前記複数の文章を選択し、前記複数の文章のそれぞれから少なくとも1つの文を含む１段落の連続したテキストをランダムにサンプリングする。
【００６２】
オプションとして、本実施形態の1つの可能な実施形態では、前記複数の段落のテキストの文字数は、所定の文字数以下である。当該所定の文字数は、前記言語モデルがサポートし得る最大文字数により設定してよい。例えば、前記所定の文字数は、前記言語モデルがサポートし得る最大文字数であってもよく、前記言語モデルによりサポートされる最大文字数の範囲内で、より良好な言語識別性能を具備し得る文字数であってもよい。当該文字数の具体的な値は、言語モデルの具体的なタイプおよび性能に基づいて決定されてもよい。或いは、前記所定の文字数は他の方法で決定されてもよく、本実施形態では、所定の文字数の具体的な決定方法および値については制限しない。
【００６３】
オプションとして、本実施形態の1つの可能な実施形態では、前記スプライシングユニット302は、具体的に、前記複数の段落のテキストにおける文の順序を乱し、順序が乱された文をスプライシングしてスプライシングテキストを得る。
【００６４】
オプションとして、本実施形態の1つの可能な実施形態では、前記言語モデル303は、任意の言語モデルであってもよく、例えばERNIEモデルを採用してもよい。
【００６５】
図5に示されたように、図5は本開示の第5実施形態に係る概略図である。図4に示す実施形態に加えて、本実施形態の言語モデルの訓練装置300は、前記複数の段落のテキストにおける各文の文識別子を統一的な所定識別子に設定し、或いは前記スプライシングテキストにおける各文の文識別子を統一的な所定識別子に設定する識別子設定ユニット401をさらに備えて良い。
【００６６】
オプションとして、図5を再び参照すると、本実施形態の1つの可能な実施形態では、前記言語モデル303は更に、所定訓練完了条件が満たされた後にNLPタスクを実行して処理結果を得ることができる。それに応じて、上述した実施形態の言語モデルの訓練装置300は、前記処理結果と前記処理結果に対応する標識結果情報との差異に基づいて、前記言語モデル303におけるパラメータ値を微調整する微調整ユニット402をさらに備えて良い。
【００６７】
説明すべきなのは、図1〜図3に対応する実施形態における方法は、上述した図4〜図5の実施形態により提供される言語モデルの訓練装置で実現されて良い。詳細な説明は、図1〜図3に対応する実施形態の関連内容を参照することができ、ここでは再度言及しない。
【００６８】
本開示の実施形態によれば、本開示は更に電子デバイス、およびコンピュータコマンドが記憶された非一時的なコンピュータ可読記憶媒体を提供する。
【００６９】
図6は本開示の実施形態に係る言語モデルの訓練方法を実施するための電子デバイスの概略図である。電子デバイスは、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、PDA、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータであることが意図される。電子デバイスは、様々な形式のモバイル装置、例えば、PDA、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似するコンピューティング装置を示してもよい。本文で示された構成要素、それらの接続及び関係、ならびにそれらの機能は例示にすぎなく、本明細書において説明及び／又は請求される本開示の実現を限定することが意図されない。
【００７０】
図6に示すように、この電子デバイスは、一つ又は複数のプロセッサ501、メモリ502、及び各構成要素に接続するための高速インターフェース及び低速インターフェースを含むインターフェースを備える。各構成要素は、異なるバスで相互接続され、そして、共通マザーボードに、又は必要に応じて、他の態様で実装されてもよい。プロセッサは、電子デバイス内で実行されるコマンドを処理してもよく、メモリに記憶される又はメモリ上で外部入力/出力装置（例えば、インターフェースに結合される表示装置）にグラフィカルユーザインターフェースのグラフィカル情報を表示するコマンドを含む。他の実施形態において、必要な場合に、複数のプロセッサ及び／又は複数のバスが、複数のメモリとともに用いられてもよい。同様に、複数の電子デバイスが接続されてもよく、それぞれのデバイスが必要な操作の一部を提供する（例えば、サーババンク、ブレードサーバの集まり、又はマルチプロセッサシステムとする）。図5において、一つのプロセッサ501を例とする。
【００７１】
メモリ502は、本開示で提供される非一時的コンピュータ可読記憶媒体である。なお、前記メモリには、少なくとも１つのプロセッサが本願に提供された言語モデルの訓練方法を実行するように、前記少なくとも１つのプロセッサに実行可能なコマンドが記憶されている。本開示の非一時的なコンピュータ可読記憶媒体は、本願に提供された言語モデルの訓練方法をコンピュータに実行させるためのコンピュータコマンドを記憶している。
【００７２】
メモリ502は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム、モジュール、例えば、本開示の実施例における言語モデルの訓練方法に対応するプログラムコマンド/モジュール（例えば、図4に示すサンプリングユニット301、スプライシングユニット302、言語モデル303、および訓練ユニット304）を記憶するために用いられる。プロセッサ501は、メモリ502に記憶されている非一時的ソフトウェアプログラム、コマンド及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記の方法実施例における言語モデルの訓練方法を実現する。
【００７３】
メモリ502は、プログラム記憶領域及びデータ記憶領域を含んでもよく、プログラム記憶領域はオペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶してもよく、データ記憶領域は本開示の実施形態により提供される言語モデルの訓練方法を実現する電子デバイスの使用により作成されたデータなどを記憶してもよい。また、メモリ502は、高速ランダムアクセスメモリを含んでもよく、さらに非一時的メモリ、例えば、少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の非一時的固体記憶装置を含んでもよい。幾つかの実施例において、メモリ502は、プロセッサ501に対して遠隔設置されたメモリを選択的に含んでもよく、これらのリモートメモリは、ネットワークを介して本開示の実施形態により提供される言語モデルの訓練方法を実現する電子デバイスに接続されてもよい。上記のネットワークの実例には、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。
【００７４】
言語モデルの訓練方法の電子デバイスは、更に、入力装置503と出力装置504とを備えても良い。プロセッサ501、メモリ502、入力装置503及び出力装置504は、バス又は他の手段により接続されても良く、図6においてバスによる接続を例とする。
【００７５】
入力装置503は、入力された数字又はキャラクタ情報を受信し、電子デバイスのユーザ設定及び機能制御に関連するキー信号入力を生成でき、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置504は、表示装置、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、及びプラズマディスプレイを含み得るが、これらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。
【００７６】
本明細書に説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及びコマンドを受信し、当該記憶システム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置にデータ及びコマンドを送信するようにつなげられた、特殊用途でもよく一般用途でもよい少なくとも一つのプログラマブルプロセッサを含む、プログラマブルシステム上で実行可能及び／又は解釈可能な一つ又は複数のコンピュータプログラムにおける実行を含んでもよい。
【００７７】
これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又は、コードとも称される）は、プログラマブルプロセッサの機械命令を含み、高水準のプロセス及び／又はオブジェクト向けプログラミング言語、及び／又はアセンブリ／機械言語で実行されることができる。本明細書で用いられる「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械可読信号としての機械命令を受け取る機械可読媒体を含むプログラマブルプロセッサに機械命令及び／又はデータを提供するのに用いられる任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、及びプログラマブル論理デバイス）を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために用いられる任意の信号を指す。
【００７８】
ユーザとのインタラクティブを提供するために、本明細書に説明されるシステムと技術は、ユーザに対して情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）、ユーザがコンピュータに入力を与えることができるキーボード及びポインティングデバイス（例えば、マウスや、トラックボール）を有するコンピュータ上に実施されることが可能である。その他の種類の装置は、さらに、ユーザとのインタラクションを提供するために使用されることが可能であり、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚的なフィードバック、聴覚的なフィードバック、又は触覚的なフィードバック）であり得、ユーザからの入力は、任意の形態で（音響、音声又は触覚による入力を含む）受信され得る。
【００７９】
本明細書に説明されるシステムと技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、当該グラフィカルユーザインターフェースもしくは当該ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。
【００８０】
コンピュータシステムは、クライアントとサーバーを含み得る。クライアントとサーバーは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント-サーバの関係を有するコンピュータプログラムによって生じる。
【００８１】
本開示の実施形態に係る技術案によれば、複数の文章のそれぞれからサンプリングされた複数の段落のテキストを使用して、言語モデルにより予測された文章数と実際の文章数とに基づいて前記言語モデルを訓練することにより、訓練された言語モデルに段落全体のテキストのコンテンツを識別し分類する能力を具備させ、言語モデルによるテキストコンテンツの識別効果を向上させた。
【００８２】
また、本願で提供された技術案を採用することにより、訓練された言語モデルを後続のNLPタスクに使用する場合、NLPタスクの処理結果の正確性を効果的に向上させることができる。
【００８３】
以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本開示に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本開示で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。
【００８４】
前記の具体的な実施形態は本開示の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本開示の精神及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本開示の保護範囲内に含まれるべきである。
【図１】
2022002088.tif 000003
【図２】
2022002088.tif 000004
【図３】
2022002088.tif 000005
【図４】
2022002088.tif 000006
【図５】
2022002088.tif 000007
【図６】
2022002088.tif 000008