(57)【要約】開示されている技術は、感情分析等の自然処理タスクを実行するために、計算コストが低く正確性がより低い単語袋詰め（ＢｏＷ）モデルと、計算コストが高く正確性がより高い長短期記憶（ＬＳＴＭ）モデルと、の組み合わせを使用することを提案する。コストが低く正確性がより低いＢｏＷモデルの使用は、本出願において「スキミング」と呼ばれる。コストが高く正確性がより高いＬＳＴＭモデルの使用は、本出願において「リーディング」と呼ばれる。開示されている技術は、確率ベースのガイダ（ＰＧＢ）を提供する。ＰＢＧは、ＢｏＷモデルの使用とＬＳＴＭモデルの使用とを組み合わせる。ＰＢＧは、確率閾値処理方策を使用して、ＢｏＷモデルの結果に基づいて、文を、ポジティブ又はネガティブであるとして信頼性高く分類するために、ＬＳＴＭモデルを呼び出すかどうかを決定する。開示されている技術はまた、ＢｏＷモデルとＬＳＴＭモデルとの間の関係を学習し、これらの２つのモデルのうちの１つのモデルのみを呼び出すようにトレーニングされる深層ニューラルネットワークベースの決定ネットワーク（ＤＤＮ）を提供する。
2020511720.tif 000002
【特許請求の範囲】
【請求項１】
複数の入力を含むデータセットに対して機械分類タスクを効率的に実行する、コンピュータにより実現される方法であって、
前記複数の入力に対して前記機械分類タスクを実行する第１の非再帰型ニューラルネットワークを通じて、前記複数の入力を処理することであって、前記第１の非再帰型ニューラルネットワークは、入力のベクトル埋め込みを平均化することにより、該入力の平均ベクトル表現を生成する、処理することと、
前記複数の入力の選択されたサブセットにおける入力に対して前記機械分類タスクを実行する第２の再帰型ニューラルネットワーク（ＲＮＮ）を通じて、前記複数の入力の前記選択されたサブセットをさらに処理することであって、前記複数の入力の前記選択されたサブセットの選択は、前記データセットにおける前記複数の入力に対して前記機械分類タスクを実行することにおける前記第１の非再帰型ニューラルネットワークの確信度を条件としてなされる、さらに処理することと、
を含む、方法。
【請求項２】
前記第１の非再帰型ニューラルネットワークは、単語袋詰めネットワーク、連続単語袋詰めネットワーク、スキップグラムネットワーク、又は畳み込みニューラルネットワークを含む、請求項１に記載の方法。
【請求項３】
前記第２のＲＮＮは、長短期記憶ネットワーク、ゲート付き再帰型ユニットネットワーク、又は準再帰型ニューラルネットワークを含む、請求項１に記載の方法。
【請求項４】
前記機械分類タスクは、入力を、第１のクラス又は第２のクラスに分類することである、請求項１に記載の方法。
【請求項５】
前記機械分類タスクは、
品詞（略してＰＯＳ）タグ付け、
チャンキング、
係り受け解析、
意味関連性、
テキスト含意、
音声認識、
機械翻訳、
テキスト要約、
質問回答、
画像キャプション付け、及び
テキストトゥスピーチ合成
のうちの少なくとも１つである、請求項１乃至４のうちのいずれか一項に記載の方法。
【請求項６】
前記第２のＲＮＮは、前記第１の非再帰型ニューラルネットワークよりも、少なくとも、３％正確であり、４倍計算コストが高い、請求項１乃至５のうちのいずれか一項に記載の方法。
【請求項７】
前記第１の非再帰型ニューラルネットワークの前記確信度が閾値未満である場合、前記第２のＲＮＮを選択することをさらに含む、請求項１乃至６のうちのいずれか一項に記載の方法。
【請求項８】
前記閾値は、単一の値である、請求項７に記載の方法。
【請求項９】
前記閾値は、２つの値の間の範囲である、請求項７に記載の方法。
【請求項１０】
前記第１の非再帰型ニューラルネットワークの前記確信度は、第１のクラス又は第２のクラスのいずれかに割り当てられる確率スコアを表す、請求項１乃至７のうちのいずれか一項に記載の方法。
【請求項１１】
前記複数の入力は文であり、前記機械分類タスクは、前記文を、ポジティブな感情クラス、ネガティブな感情クラス、非常にポジティブな感情クラス、非常にネガティブな感情クラス、ややポジティブな感情クラス、ややネガティブな感情クラス、及びニュートラルな感情クラスのうちの少なくとも１つに分類することである、請求項１乃至７のうちのいずれか一項に記載の方法。
【請求項１２】
言語的に複雑な文について前記第１の非再帰型ニューラルネットワークにより生成される確率スコアは、言語的に単純な文について前記第１の非再帰型ニューラルネットワークにより生成されるクラス確率よりも、少なくとも２０％低い、請求項１１に記載の方法。
【請求項１３】
前記第２のＲＮＮを用いて、前記言語的に複雑な文を、前記ポジティブな感情クラス、前記ネガティブな感情クラス、前記非常にポジティブな感情クラス、前記非常にネガティブな感情クラス、前記ややポジティブな感情クラス、前記ややネガティブな感情クラス、及び前記ニュートラルな感情クラスのうちの少なくとも１つに分類することをさらに含む、請求項１２に記載の方法。
【請求項１４】
文に対して分類タスクを効率的に実行するように並列に動作するプロセッサを有するニューラルネットワークベースの自然言語処理システムであって、
前記文を評価し、前記文の感情の確度を特定する確信度スコアを生成する第１の非再帰型ニューラルネットワーク手段であって、前記第１の非再帰型ニューラルネットワーク手段は、入力のベクトル埋め込みを平均化することにより、該入力の平均ベクトル表現を生成する、第１の非再帰型ニューラルネットワーク手段と、
前記第１の非再帰型ニューラルネットワーク手段により生成された前記確信度スコアを、閾値と比較し、該比較に基づいて、前記文が、第２の再帰型ニューラルネットワーク（ＲＮＮ）手段による補足的な評価を必要とするかどうかを判定するガイダ手段であって、
前記確信度スコアが前記閾値未満である場合、前記第２のＲＮＮ手段を用いて、前記文の感情を分類することと、
前記確信度スコアが前記閾値を超える場合、前記第２のＲＮＮ手段による前記補足的な評価を必要とすることなく、前記分類タスクについて、前記第１の非再帰型ニューラルネットワーク手段により生成された前記確信度スコアに依拠することと、
を含む、ガイダ手段と、
を有する、自然言語処理システム。
【請求項１５】
前記文は、言語的に複雑であり、ネガティブな構成要素及びポジティブな構成要素の共起、又は、ネガティブな単語及び逆接接続詞の複数の発生を含む、請求項１４に記載の自然言語処理システム。
【請求項１６】
前記第１の非再帰型ニューラルネットワーク手段は、前記文が言語的に複雑な文である場合、前記文が言語的に単純な文である場合よりも、２０％低い確信度スコアを生成する、請求項１４に記載の自然言語処理システム。
【請求項１７】
前記第１の非再帰型ニューラルネットワーク手段は、単語袋詰めネットワーク、連続単語袋詰めネットワーク、スキップグラムネットワーク、又は畳み込みニューラルネットワークを含む、請求項１４に記載の自然言語処理システム。
【請求項１８】
前記第２のＲＮＮ手段は、長短期記憶ネットワーク、ゲート付き再帰型ユニットネットワーク、又は準再帰型ニューラルネットワークを含む、請求項１４に記載の自然言語処理システム。
【請求項１９】
前記第２のＲＮＮ手段は、前記第１の非再帰型ニューラルネットワーク手段よりも、少なくとも、３％正確であり、４倍計算コストが高い、請求項１４に記載の自然言語処理システム。
【請求項２０】
前記第２のＲＮＮ手段を用いて、言語的に複雑な文の感情を、ポジティブ、ネガティブ、非常にポジティブ、非常にネガティブ、ややポジティブ、ややネガティブ、又はニュートラルであるとして分類することをさらに含む、請求項１４乃至１９のうちのいずれか一項に記載の自然言語処理システム。
【請求項２１】
前記分類タスクは、入力を、第１のクラス又は第２のクラスに分類することである、請求項１４乃至１９のうちのいずれか一項に記載の自然言語処理システム。
【請求項２２】
前記分類タスクは、
品詞（略してＰＯＳ）タグ付け、
チャンキング、
係り受け解析、
意味関連性、
テキスト含意、
音声認識、
機械翻訳、
テキスト要約、
質問回答、
画像キャプション付け、及び
テキストトゥスピーチ合成
のうちの少なくとも１つである、請求項１４乃至１９のうちのいずれか一項に記載の自然言語処理システム。
【請求項２３】
前記第１の非再帰型ニューラルネットワーク手段の前記確信度スコアが閾値未満である場合、前記第２のＲＮＮ手段を選択することをさらに含む、請求項１４乃至２２のうちのいずれか一項に記載の自然言語処理システム。
【請求項２４】
前記閾値は、単一の値である、請求項２３に記載の自然言語処理システム。
【請求項２５】
前記閾値は、２つの値の間の範囲である、請求項２３に記載の自然言語処理システム。
【請求項２６】
前記第１の非再帰型ニューラルネットワーク手段の前記確信度スコアは、第１のクラス又は第２のクラスのいずれかに割り当てられる確率スコアを表す、請求項１４乃至２２のうちのいずれか一項に記載の自然言語処理システム。
【請求項２７】
前記分類タスクは、前記文を、ポジティブな感情クラス、ネガティブな感情クラス、非常にポジティブな感情クラス、非常にネガティブな感情クラス、ややポジティブな感情クラス、ややネガティブな感情クラス、及びニュートラルな感情クラスのうちの少なくとも１つに分類することである、請求項１４乃至２２のうちのいずれか一項に記載の自然言語処理システム。
【請求項２８】
言語的に複雑な文について前記第１の非再帰型ニューラルネットワーク手段により生成される確率スコアは、言語的に単純な文について前記第１の非再帰型ニューラルネットワーク手段により生成されるクラス確率よりも、少なくとも２０％低い、請求項２７に記載の自然言語処理システム。
【請求項２９】
前記第２のＲＮＮ手段を用いて、前記言語的に複雑な文を、前記ポジティブな感情クラス、前記ネガティブな感情クラス、前記非常にポジティブな感情クラス、前記非常にネガティブな感情クラス、前記ややポジティブな感情クラス、前記ややネガティブな感情クラス、及び前記ニュートラルな感情クラスのうちの少なくとも１つに分類することをさらに含む、請求項２８に記載の自然言語処理システム。
【請求項３０】
請求項１乃至１３のうちのいずれか一項に記載の方法を実行するためのコンピュータ実行可能な命令を有する非一時的なコンピュータ読み取り可能な媒体。
【請求項３１】
請求項１４乃至２９のうちのいずれか一項に記載の自然言語処理システムを実現するコンピュータ実行可能な命令を有する非一時的なコンピュータ読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
開示されている技術は、知能の模倣のための、人工知能型コンピュータ及びデジタルデータ処理システム、並びに、対応するデータ処理方法及び製品（すなわち、知識ベースシステム、推論システム、及び知識獲得システム）に関し、不確実性を伴って推論するためのシステム（例えば、ファジー論理システム）、適応システム、機械学習システム、及び人工ニューラルネットワークを含む。開示されている技術は、自然言語処理タスクのために、長短期記憶（ＬＳＴＭ）ネットワークのような深層ニューラルネットワークを使用する。
【０００２】
（他の出願との相互参照）
本出願は、２０１７年１２月２２日に出願された米国特許出願第１５／８５３，５３０号及び２０１７年３月１５日に出願された米国仮特許出願第６２／４７１，９３４号に対する優先権を主張し、それらの内容は、全ての目的のために、それらの全体が参照により本明細書に組み込まれる。
本出願は、２０１７年１２月２２日に出願された米国特許出願第１５／８５３，５７０号の全体を、全ての目的のために、参照により組み込む。
【背景技術】
【０００３】
このセクションにおいて論じられている主題は、単にこのセクションにおいて述べられている結果として、従来技術であるとみなされるべきではない。同様に、このセクションにおいて述べられている又は背景として提供されている主題に関連付けられている問題は、従来技術において以前に認識されているとみなされるべきではない。このセクションにおける主題は、単に、特許請求される技術の実施形態に対応し得る異なるアプローチを表す。
【０００４】
自然言語処理（ＮＬＰ）における最近の深層学習の進歩は、計算コストにかかわらず、１つの目標すなわち最高水準の性能にフォーカスしている。我々は、深層ニューラルネットワークにより提供される高正確性を維持しつつ計算コストを低減する深層学習ベースのソリューションを提案する。どの文が容易又は難解であるかを高速ベースラインモデルに決定させることにより、我々は、単語袋（単語の袋）等の低コストの分類器が、難解な文から容易な文をどのように分離するかを学習することを示している。我々の結果は、（分類中に副次的結果としてもたらされる）確率の閾値処理が、正確性対節減時間指標に関して、ガイドされる方策を有しないことよりも性能が優れていることを見出した。
【０００５】
深層学習モデルは、人を超える性能に達するためのオールオアナッシングの探求において、より大きく、より良く、より高コストになってきている。自然言語処理（ＮＬＰ）において、しばしば、新たな付加は、その新規な最先端の設計の基礎を、複雑な言語タスクを本当にうまく解決する比較的狭い拡張に置いている。これは、意味知識の組み込み、辞書サイズの低減、又は、さらには辞書サイズの増大を含む。直感的には、このような付加は、このような付加が克服した特定の課題を有するデータポイントに対して、新たなシステムを用いるだけであろう。しかしながら、実際はそうではないことも多い。なぜならば、深層学習アルゴリズムは、与えられたデータポイント及びその難しさに気づかないでいるという不変量で、たいていはベンチマークされているからである。さらに、より深いことがより良いことを意味するという理解が増すにつれて、現行の最先端のシステムは、過剰であり、ほとんどのシナリオにおいて関連性がない可能性がある言語領域での狭い正確性改善を確保するための計算を無駄にする可能性がある。例えば、図３は、低コストのモデルが、（例えば、バックプロパゲーションを用いて、）感情分析のためにトレーニングされた場合、低コストのモデルが文をどのようにクラスタ化するかを示している。図３において、いくつかのクラスタが、いくつかのデータポイントが他のデータポイントよりも容易であること、及び、教師あり学習が特定の言語特性のクラスタ化を明らかにできること、を示すために、マークされている。
【０００６】
開示されている技術は、文が容易に分類できる場合及びそれが難しい場合を理解するための２つの異なる方法を提案する。開示されている技術は、低コストの単語袋詰め（スキミング（skimming））又は高コストのＬＳＴＭ（リーディング（reading））のいずれかを適用して、方法の決定に基づいて、文を分類する。第１の方法は、確信度の尺度として、単語袋詰めシステムの確率出力を使用する。第２の方法は、単語袋詰めが適切であり得る場合とＬＳＴＭが適切であり得る場合との間の関係を学習するための決定ニューラルネットワークを構築する。
【０００７】
どちらの方法も、ガイドされるベースライン方策を有しないことよりも性能が優れており、エンジニアリングチームのための相当の計算リソースを節減することができる。
【図面の簡単な説明】
【０００８】
本特許又は出願ファイルは、色付きの少なくとも１つの図面を含む。少なくとも１つの色付きの図面を伴う本特許又は特許出願公開公報の写しが、請求及び必要な手数料の支払いにより、特許庁により提供される。色付きの図面は、ＰＡＩＲにおいて「Supplemental  Content」タブを介して入手することもできる。図面において、同様の参照符号は、一般に、異なる図を通じて、同様の部分を指す。また、図面は、必ずしも縮尺通りではなく、代わりに、概して、開示されている技術の原理を示すことに対して強調がなされている。以下の説明において、開示されている技術の様々な実施形態が、図面を参照して説明される。
【図１】図１は、確率ベースのガイダが機械分類タスクを実行するための機械学習モデルの選択を自動化するシステムのアーキテクチャレベル概略図を示している。一実施形態において、機械分類タスクは、文の感情分類であってよい。感情分類タスクは、文を、ポジティブな感情又はネガティブな感情を有するとして、分類することを含み得る。他の実施形態において、感情分類タスクは、文を、非常にポジティブな感情、ややポジティブな感情、ニュートラルな感情、非常にネガティブな感情、又はややネガティブな感情を有するとして、分類することを含み得る。さらに他の実施形態において、追加のクラスラベル、より少ないクラスラベル、又は異なるクラスラベルが使用されてもよい。さらなる実施形態において、音声認識、機械翻訳、テキスト要約、質問回答、画像キャプション付け、及びテキストトゥスピーチ（ＴＴＳ）合成等、他の機械分類タスクが実行されてもよい。
【図２Ａ】図２Ａは、図１の確率ベースのガイダを用いた入力文の分類のためのプロセスステップを示すフローチャートである。
【図２Ｂ】図２Ｂは、感情分類タスクのためのプロセスステップを示すフローチャートである。
【図３】図３は、例示的なデータベースからの入力文に関する、単語袋詰め（略してＢｏＷ）モデルを用いた感情分類結果のグラフィカル図である。
【図４】図４は、ＢｏＷモデルの例示的なアーキテクチャである。
【図５】図５は、長短期記憶（略してＬＳＴＭ）モデルの例示的なアーキテクチャである。
【図６Ａ】図６Ａは、ＢｏＷモデルを用いた、例示的なデータベースからの入力文に関する感情予測結果のグラフィカル図である。
【図６Ｂ】図６Ｂは、図６ＡのＢｏＷモデルの出力層における予測された感情クラスに割り当てられた確率を示している。
【図７Ａ】図７Ａは、ＬＳＴＭモデルを用いた、例示的なデータベースからの入力文に関する感情予測結果のグラフィカル図である。
【図７Ｂ】図７Ｂは、図７ＡのＬＳＴＭモデルの出力層における予測された感情クラスに割り当てられた確率を示している。
【図８Ａ】図８Ａは、様々な確率区間における図６ＡのＢｏＷモデルの予測正確性を示すグラフである。
【図８Ｂ】図８Ｂは、ＢｏＷモデルについての閾ビンごとのデータ量を示すグラフである。
【図８Ｃ】図８Ｃは、図７ＡのＬＳＴＭモデルの予測正確性を示す、図８Ａと同様のグラフである。
【図８Ｄ】図８Ｄは、ＬＳＴＭモデルについての閾ビンごとのデータ量を示すグラフである。
【図９】図９は、決定ネットワークが、機械分類タスクを実行するための機械学習モデルの選択のために使用されるシステムのアーキテクチャレベル概略図を示している。一実施形態において、機械分類タスクは、文の感情分類であってよい。感情分類タスクは、文を、ポジティブな感情又はネガティブな感情を有するとして、分類することを含み得る。他の実施形態において、感情分類タスクは、文を、非常にポジティブな感情、ややポジティブな感情、ニュートラルな感情、非常にネガティブな感情、又はややネガティブな感情を有するとして、分類することを含み得る。さらに他の実施形態において、追加のクラスラベル、より少ないクラスラベル、又は異なるクラスラベルが使用されてもよい。さらなる実施形態において、音声認識、機械翻訳、テキスト要約、質問回答、画像キャプション付け、及びテキストトゥスピーチ（ＴＴＳ）合成等、他の機械分類タスクが実行されてもよい。
【図１０】図１０は、トレーニングデータベース及び検証データベースを作成するための、図９のシステムのスプリッタの動作を示している。
【図１１】図１１は、図１０に示されているスプリッタにより作成されたトレーニングデータベースを用いた、候補ニューラルネットワークモデルのトレーニングを示している。
【図１２】図１２は、図１０に示されているスプリッタにより作成された検証データを用いた、トレーニングされたニューラルネットワークモデルのテストを示している。
【図１３】図１３は、タスククラスラベルに取って代わる新たなモデルクラスラベルを有する検証データを生成するための、混同行列を用いた、図９におけるシステムのラベルトランスフォーマの動作を示している。
【図１４】図１４は、新たなモデルクラスラベルを有する検証データを用いた、図９の決定ネットワークのトレーニングを示している。
【図１５】図１５は、図９の決定ネットワークの例示的なアーキテクチャを示している。
【図１６】図１６は、図９の決定ネットワークを用いたモデル選択のためのプロセスステップを示すフローチャートである。
【図１７】図１７は、図１及び図９の機械学習システムを実現するために使用され得るコンピュータシステムの簡略化されたブロック図である。
【発明を実施するための形態】
【０００９】
詳細な説明
以下の説明は、当業者が開示されている技術を製造及び使用することを可能にするように提示されており、特定の用途及びその要件の文脈において提供されている。開示されている技術の主旨及び範囲から逸脱することなく、開示されている実施形態に対する様々な変更が、当業者には容易に明らかであり、本開示において規定されている一般的な原理は、他の実施形態及び用途にも適用可能である。したがって、開示されている技術は、例示されている実施形態に限定されるよう意図されるものではなく、本出願において開示されている原理及び特徴と整合する最も広い範囲に従うべきである。
【００１０】
（序論）
開示されている技術が解決しようとする技術的課題は、現在の深層ニューラルネットワークにより提供される正確性を維持しつつ、深層ニューラルネットワークベースの自然言語処理タスクに計算効率をどのようにもたらすかである。
【００１１】
この目的のために、開示されている技術は、感情分析等の自然処理タスクを実行するために、計算コストが低く正確性がより低い単語袋詰め（ＢｏＷ）モデルと、計算コストが高く正確性がより高い長短期記憶（ＬＳＴＭ）モデルと、の組み合わせを使用することを提案する。コストが低く正確性がより低いＢｏＷモデルの使用は、本出願において「スキミング」と呼ばれる。コストが高く正確性がより高いＬＳＴＭモデルの使用は、本出願において「リーディング」と呼ばれる。
【００１２】
開示されている技術は、確率ベースのガイダ（ＰＢＧ）を提供する。ＰＢＧは、ＢｏＷモデルの使用とＬＳＴＭモデルの使用とを組み合わせる。ＰＢＧは、確率閾値処理方策を使用して、ＢｏＷモデルの結果に基づいて、文を、ポジティブ又はネガティブであるとして信頼性高く分類するために、ＬＳＴＭモデルを呼び出すかどうかを決定する。ＰＢＧは、確信度の尺度として、ＢｏＷモデルの確率出力を使用し、その後、ＢｏＷモデルの確率出力が、設定された閾値未満である場合にのみ、ＬＳＴＭモデルを呼び出す。
【００１３】
開示されている技術はまた、（例えば、バックプロパゲーションを用いて、）ＢｏＷモデルとＬＳＴＭモデルとの間の関係を学習し、これらの２つのモデルのうちの１つのモデルのみを呼び出すようにトレーニングされる深層ニューラルネットワークベースの決定ネットワーク（ＤＤＮ）を提供する。すなわち、特定の入力について、ＤＤＮは、予めトレーニングされたモデルのアンサンブルから、適切なモデルを選択する。ここで、この選択は、計算コストを最小化し、分類正確性を最大化及び／又は維持することを条件として、なされる。一実施形態において、ＤＤＮは、繰り返しドロップアウト層、ＲｅＬＵ非線形層、及び全結合層を伴うＢｏＷモデルの上にスタックされた２層の多層パーセプトロン（ＭＬＰ）を含む。
【００１４】
ＰＢＧとは異なり、ＤＤＮは、（例えば、バックプロパゲーションを用いて）トレーニングされ得るニューラルネットワークベースのモデルである。ＰＢＧは、常にＢｏＷモデルを使用する必要があり、しばしば、ＢｏＷモデル及びＬＳＴＭモデルの両方を使用する。対照的に、ＤＤＮは、ＢｏＷモデルをスキップし、ＬＳＴＭモデルのみを使用すること、又は、ＬＳＴＭモデルがより良い結果をもたらす可能性が低いことを知っているので、ＢｏＷモデルで単に止めること、を決定することができる。
【００１５】
ニューラルネットワークベースのモデルは、それをトレーニングするために利用可能なデータと同程度に良好であるに過ぎない。大きなトレーニングセットを有することは、モデルの過剰適合を防止する。この目的のために、開示されている技術は、ＢｏＷモデル及びＬＳＴＭモデルを使用して、ラベル付けされたトレーニング例を自動的に生成し、ここで、ラベルは、混同行列に基づいて割り当てられる。次いで、ＤＤＮが、所与の文を分類するための適切なモデルを選択するという二次的な教師あり分類タスクについてトレーニングされる。混同行列は、２つのモデルが、文を、ポジティブ又はネガティブであるとして、どのくらいの頻度で正しく、また、誤って分類するかを識別する。次いで、ＤＤＮが、自動的にラベル付けされた文についてトレーニングされる。
【００１６】
開示されている技術は、その後、元々の完全なトレーニングセットから、新たなホールドアウト分割を作成する。完全なトレーニングセットは、モデルトレーニングセット（例えば、トレーニングデータの８０％）及び決定トレーニングセット（トレーニングデータの残りの２０％）を含む。まず、ＢｏＷモデル及びＬＳＴＭモデルが、ＤＤＮのためのラベルを生成するように、（例えば、バックプロパゲーションを用いて、）モデルトレーニングセットについてトレーニングされる。次いで、ＤＤＮが、（例えば、バックプロパゲーションを用いて、）決定トレーニングセットについてトレーニングされる。最後に、ＢｏＷモデル及びＬＳＴＭモデルが、ＤＤＮを固定したまま、完全なトレーニングセットについて微調整される。これは、ＤＤＮが、完全なトレーニングセットについて微調整されたモデルを汎化するのを助ける。
【００１７】
（システム概要−確率ベースのガイダ）
我々は、入力文の感情分類のためのシステムを説明する。システム及びプロセスが、図１を参照して説明される。図１は、一実施形態に従ったシステムのアーキテクチャレベル概略図を示している。図１は、アーキテクチャ図であるので、所定の詳細は、説明をより明確にするために、意図的に省略されている。
【００１８】
図１の説明は、次のように構成されている。まず、図の要素が説明され、続いてそれらの相互接続が説明される。次いで、システムにおける要素の使用が、より詳細に説明される。
【００１９】
図１は、システム１００を含む。システム１００は、機械学習システム１１０、１つ以上のネットワーク１２０、トレーニングデータベース１４２、検証データベース１４４、及び確率ベースのガイダ１３２を含む。他の実施形態において、システム１００は、推論（生成又はテスト）中に機械学習システム１１０をテストするために使用されるテストデータを含むテストデータベースも含む。
【００２０】
機械学習システム１１０は、単語袋詰め（略してＢｏＷ）モデル１１２及び再帰型ニューラルネットワーク（略してＲＮＮ）モデル１１４を含む。トレーニングデータベース１４２及び検証データベース１４４は、各文についてのポジティブな感情ラベル及びネガティブな感情ラベルを有する自然言語文等の感情分析データを含む。一実施形態において、トレーニングデータベース１４２及び検証データベース１４４は、英語文と、各文についてのポジティブな感情ラベル又はネガティブな感情ラベルと、を含む。ＢｏＷ１１２及びＲＮＮ１１４は、一度に、トレーニングデータベース１４２又は検証データベース１４４からの１つの文に対して、感情分類タスクを別々に実行する。ＢｏＷ１１２及びＲＮＮ１１４の両方とも、グラフィックプロセッサ装置（ＧＰＵ）等の様々なハードウェアプロセッサを実行することができる。ニューラルネットワークベースのモデルは、計算集約的な方法を伴う。ＧＰＵは、これらのタイプの計算に非常に適している。最近では、特殊化されたハードウェアが、ニューラルネットワークモデルを効率的にトレーニングするために、開発されている。
【００２１】
ＲＮＮ１１４等の再帰型ニューラルネットワーク（ＲＮＮ）は、可変長のシーケンス入力を処理する。これは、再帰型隠れ状態であって、この再帰型隠れ状態のアクティベーションが、直前のものに依存する、再帰型隠れ状態を使用する。より形式的には、入力シーケンス
【数１】
2020511720.tif 000003
を所与として、ＲＮＮは、t=1からTまで、隠れベクトルシーケンス
【数２】
2020511720.tif 000004
及び出力ベクトルシーケンス
【数３】
2020511720.tif 000005
を、以下のように更新する：
【数４】
2020511720.tif 000006
【００２２】
上記の数学的定式化において、Wは、重み行列を表し、bは、バイアスベクトルを表し、Hは、再帰型隠れ層関数である。
【００２３】
ＬＳＴＭモデル２４４等の長短期記憶（ＬＳＴＭ）は、ＲＮＮ１１４に関する強力な変形である。ＬＳＴＭは、連続した入力から連続した出力を生成するために、時間ステップで繰り返し訓練されるニューラルネットワークにおけるセルである。出力は、しばしば隠れ状態と呼ばれるが、これは、セルの記憶と混同されてはならない。入力は、前の時間ステップ及び現在の入力からの隠れ状態及び記憶である。セルは、入力活性化関数、記憶、及びゲートを有する。入力活性化関数は、入力を、tanh活性化関数については−１〜１等の範囲にマッピングする。ゲートは、記憶を更新し、記憶から隠れ状態出力結果を生成するために適用される重みを決定する。ゲートは、忘却ゲート、入力ゲート、及び出力ゲートである。忘却ゲートは、記憶を弱める。入力ゲートは、活性化された入力を、弱められた記憶と混合する。出力ゲートは、記憶からの隠れ状態出力を制御する。隠れ状態出力は、入力に直接ラベル付けし得る、あるいは、単語又は他のラベルを発するために又はラベルにわたる確率分布を生成するために、別のコンポーネントにより処理され得る。
【００２４】
入力ゲートは、以下のように表される、現在の入力xt及び前の隠れ状態ht-1のどれくらいが現在の記憶セル状態mtに入るかを制御する：
【数５】
2020511720.tif 000007
【００２５】
忘却ゲートは、現在の記憶セル状態mt及び前の記憶セル状態mt-1に対して作用し、以下のように表される、記憶セルの個々の成分を消去（ゼロに設定）するか又は保つかを決定する：
【数６】
2020511720.tif 000008
【００２６】
出力ゲートは、以下のように表される、記憶セルからの出力をスケーリングする：
【数７】
2020511720.tif 000009
【００２７】
ＬＳＴＭはまた、以下のように表される、現在の記憶セル状態mtのtanh（スカッシュ）変換によりスケーリングされた現在の隠れ状態htを出力する現在隠れ状態生成器を含み得る：
【数８】
2020511720.tif 000010
【００２８】
上記の式において、
【数９】
2020511720.tif 000011
は、要素ごとの積を表す。
【００２９】
ＢｏＷ１１２等の単語袋詰め（ＢｏＷ）モデルは、各特徴次元にわたる文の入力単語の平均を決定する。一実施形態において、ＢｏＷモデルは、単語埋め込みの平均値又は代表値を決定する（例えば、GloVe又はword2vec）。平均をとることは、低コストの演算であり得、文の次元数を、固定サイズのベクトルに低減することができる。ＢｏＷモデル又はその変形のいくつかの例は、Tomas  Mikolov,  Kai  Chen,  Greg Corrado,  and  Jeffrey  Dean.  2013a.  Efficient  Estimation  of  Word  Representations  in  Vector  Space.  In  ICLR  Workshop  Papers;  Tomas  Mikolov,  Ilya  Sutskever,  Kai  Chen,  Greg  Corrado,  and  Jeffrey  Dean.  2013b.  Distributed  representations  of  words  and  phrases  and  their  compositionality.  In  NIPS,  pages  3111‐3119;及び、Tomas  Mikolov,  Wen  tau  Yih,  and  Geoffrey  Zweig.  2013c.  Linguistic  regularities  in  continuous  space  word  representations.  In HLTNAACL.（これらは、本明細書に完全に記載されているかのように、全ての目的のために、参照により組み込まれる）により提案された、連続単語袋詰め（ＣＢｏＷ）モデル及びスキップグラムモデルを含む。ＣＢｏＷモデルは、文の文脈から単語を予測する。スキップグラムモデルは、単語から文の文脈を予測する。
【００３０】
ＢｏＷ１１２及びＲＮＮ１１４のトレーニング中、ネットワークは、トレーニングデータベース１４２から入力文を受け取り、感情分類タスクを実行するためにこれを処理する。検証中、ＢｏＷ１１２及びＲＮＮ１１４は、検証データベース１４４から入力文を受け取り、感情分類タスクを実行するためにこれを処理する。機械学習システム１１０、トレーニングデータベース１４２、検証データベース１４４、及び確率ベースのガイダ１３２は、１つ以上のネットワーク１２０を介して互いと通信する。
【００３１】
他の実施形態において、確率ベースのガイダ１３２は、音声認識、機械翻訳、テキスト要約、質問回答、画像キャプション付け、及びテキストトゥスピーチ（ＴＴＳ）合成等、他の機械分類タスクとともに使用されてもよい。
【００３２】
システム１００の高レベルの説明が提示された。次いで、説明は、システム１００の様々なコンポーネントの詳細な説明に移る。
【００３３】
（プロセスフロー）
図２Ａは、感情分類タスクのための入力文の処理を示すフローチャート２００Ａである。このプロセスは、ステップ２１０において、文が、ＢｏＷモデル１１２への入力として与えられたときに開始する。ステップ２１２において、ＢｏＷモデル１１２は、入力文を評価し、文の感情がポジティブ又はネガティブである確度を特定する確信度スコアを生成する。一実施形態において、確信度スコアの値は、０と１との間の実数値であり、予め設定され得る（例えば、０．５）。この実施形態において、０．５未満である確信度スコア値は、入力文が第１の感情クラスに属することを意味し、０．５を超える確信度スコアは、入力文が第２の感情クラスに属することを意味する。０．５により近い確信度スコア値、すなわち、０．４９又は０．５１は、ＢｏＷモデル１１２が、ポジティブ又はネガティブであるとして、入力文の感情に関してあまり確信していないことを意味する。０．５から遠く離れた確信度スコア値、すなわち、１又は０．９は、ＢｏＷモデルが、ポジティブ又はネガティブであるとして、入力文の感情に関して非常に確信していることを示している。
【００３４】
ステップ２１４において、ＢｏＷモデル１１２により生成された確信度スコアの値が、確率ベースのガイダ１３２により、設定された閾値（例えば、０．５）に対してチェックされる。一実施形態において、閾値は、単一の値である。例えば、（上述のように）０と１との間の確信度スコア値に対して、閾値は、第１の感情クラスについては０．４に、第２の感情クラスについては０．６に、設定され得る。そのような実施形態において、ＢｏＷモデル１１２により生成された確信度スコアが０．４未満である場合、確率ベースのガイダは、これを、第１の感情クラスにおける文の確信度が高い分類とみなす。同様に、０．６を超える確信度スコアは、ＢｏＷモデル１１２が、入力文を、第２の感情クラスに分類するのを確信していることを示す。ユーザ選好及び要求に基づいて、閾値の異なる値が選択されてもよいことが理解されよう。
【００３５】
確率ベースのガイダは、ＢｏＷモデル１１２により生成された確信度スコアを、設定された閾値と比較する。比較に基づいて、確信度スコアが閾値よりも高い場合、ステップ２１６において、ＢｏＷモードによる文の感情分類が受諾される。一方、比較に基づいて、確信度スコアが閾値よりも低い場合、ステップ２１８において、文が、ＲＮＮモデル１１４への入力として与えられる。次いで、ＲＮＮモデル１１４は、文の感情を、ポジティブ又はネガティブであるとして分類する。ステップ２２０において、ＲＮＮモデル１１４により生成された感情分類が受諾される。ステップ２２２において、システムは、感情分類のためのさらなる入力文が存在するどうかをチェックする。これが真である場合、２１２において、次の文が、ＢｏＷモードへの入力として与えられ、このプロセスが繰り返される。感情分類のためのさらなる入力文が存在しない場合、このプロセスは、ステップ２２４で終了する。
【００３６】
図２Ｂは、文感情分類タスクを示すプロセスフロー２００Ｂである。感情分類タスクは、文を、ポジティブな感情又はネガティブな感情を有するとして分類することを含み得る。他の実施形態において、感情分類タスクは、文を、非常にポジティブな感情、ややポジティブな感情、ニュートラルな感情、非常にネガティブな感情、又はややネガティブな感情を有するとして、分類することを含み得る。
【００３７】
文２３０が、ＢｏＷモデル１１２等の、ニューラルネットワークベースの第１の自然言語処理（ＮＬＰ）モデルへの入力として与えられる。ＢｏＷモデル１１２は、ステップ２３６において、単語袋感情分類確率「α」（アルファと読む）を生成する。確率ベースのガイダ１３２は、「α」の値を、設定された閾値「τ」（タウと読む）と比較して、入力文が、第１のＮＬＰモデルよりも正確性が高く計算コストが高い、ＬＳＴＭ２４４等の、ニューラルネットワークベースの第２のＮＬＰモデルによる補足的な評価を必要とするかどうかを判定する。「α」の値が閾値「τ」の値よりも大きい場合（ステップ２３８）、ＢｏＷモデル１１２による入力文２３０の感情分類が受諾される（ステップ２４０）。
【００３８】
分類確率「α」の値が閾値「τ」の値よりも小さい場合（ステップ２４２）、入力文２３０が、感情分類タスクのために、長短期記憶（ＬＳＴＭ）モデル２４４に送られる。次いで、ＬＳＴＭモデル２４４は、文の感情分類を生成し、ステップ２４６において、これが受諾される。
【００３９】
図３は、文を、ポジティブ又はネガティブであるとして分類する、ＢｏＷモデルの内部３００を示している。深層学習モデルを探求する１つの方法は、各文が隠れ層においてどのように表されるかをプロットすることによる。しかしながら、隠れ層は、しばしば高次元であるので、ｔ分布型確率的近傍埋め込み法（Ｔ−ＳＮＥ）等のアルゴリズムが、人間の精査を可能にするように、次元数を２次元（２Ｄ）に低減するために使用される。Ｔ−ＳＮＥは、次元数低減のための機械学習アルゴリズムであり、２次元又は３次元空間への高次元データの可視化を可能にする。
【００４０】
図３は、ＢｏＷモデル１１２の上の２層の多層パーセプトロン（ＭＬＰ）からの最終隠れ層の可視化である。図３における境界ボックスは、いくつかの重要な洞察を提供する。現実世界のデータは、異なるレベルの困難に直面する。いくつかの文は、容易に分類されるのに対し、他の文は、複雑な意味構造を含む。言語的に複雑な文は、ネガティブな構成要素及びポジティブな構成要素の共起を有する。さらに、言語的に複雑な文は、ネガティブな単語及び逆接接続詞の複数の発生を有する可能性がある。ＢｏＷモデル１１２等の計算コストがより低いモデルは、言語的に単純な文を、確信をもって分類することができる。しかしながら、コストがより低いモデルは、言語的に複雑な文に関して確信度がより低い分類スコアを生成する。一方、言語的に単純な文については、ＢｏＷモデル１１２等の計算コストがより低いモデルは、確信度が高い分類スコアを生成することができ、したがって、ＬＳＴＭモデル２４４等の計算コストが高いモデルは必要とされない。
【００４１】
（モデルアーキテクチャ）
図４は、ＢｏＷモデル１１２のアーキテクチャ４００である。一番下のボックスにおける単語埋め込みは、GloVe（Global  Vectors  for  Word  Representations）により初期化される。Word2Vec等の他の単語埋め込みモデルも、単語埋め込みを生成するために使用され得る。この後に、単語（単語袋）の平均値の計算とドロップアウトを伴う２層のＭＬＰとが続く。最上部における出力層は、入力文についてポジティブな感情分類又はネガティブな感情分類を生成する分類器である。これは、アーキテクチャ４００の１つの実施形態に過ぎない。他の実施形態において、任意の他の従来の又は将来開発されるＢｏＷアーキテクチャが、ここで使用されてもよい。このような実施形態は、開示されている技術の主旨及び範囲から逸脱することなく、当業者には容易に明らかであろう。
【００４２】
図５は、ＬＳＴＭモデル２４４のアーキテクチャ５００である。一番下のボックスにおける単語埋め込みは、上記のようにGloVeにより初期化される。勾配は、単語埋め込みを通じて追跡されない。双方向ＲＮＮが、ＢｏＷモデルと類似したやり方で、ＬＳＴＭセルとともに使用される。ＲＮＮの隠れ状態を使用して、平均値及び最大値を抽出する。この後に、ドロップアウトを伴う２層のＭＬＰが続く。最後に、出力層が、入力文の感情を、ポジティブ又はネガティブであるとして分類する。これは、アーキテクチャ５００の１つの実施形態に過ぎない。他の実施形態において、任意の他の従来の又は将来開発されるＲＮＮ又はＬＳＴＭアーキテクチャが、ここで使用されてもよい。このような実施形態は、開示されている技術の主旨及び範囲から逸脱することなく、当業者には容易に明らかであろう。
【００４３】
（検証結果）
以下の図は、検証データベース１４４に関するＢｏＷモデル１１２及びＲＮＮモデル１１４の性能を示している。
【００４４】
図６Ａは、ＢｏＷモデル１１２における最終隠れ層のＴ−ＳＮＥプロット６００Ａである。プロット６００Ａにおける各データポイントは文である。データポイントは色付きである。データポイントの中心は、ＢｏＷモデル１１２によるその予測を表す。青色は、文がポジティブな感情を表すことを意味し、赤色は、文がネガティブな感情を表すことを示す。中心を囲む線の色は、文の実際の感情ラベルを示す。これは、ＢｏＷモデル１１２が文の感情を正しく予測した場合及び間違っていた場合の精査を可能にする。
【００４５】
赤色の中心及び赤色の境界を伴うデータポイントは、モデルが、ネガティブな感情文を正しく予測したことを意味する真陰性を示す。赤色の中心及び青色の境界を伴うデータポイントは、モデルが、ポジティブな感情文をネガティブな感情文として誤って予測したことを意味する偽陰性である。青色の中心及び青色の境界を伴うデータポイントは、モデルが、ポジティブな文を正しく予測したことを意味する真陽性を示す。青色の中心及び赤色の境界を伴うデータポイントは、モデルが、ネガティブな感情文をポジティブな感情文として誤って予測したことを意味する偽陽性を示す。
【００４６】
プロット６００Ａの分析は、文が、文の言語的な複雑さに応じてクラスタに分類されることを示している。ＢｏＷモデル１１２により高確信度スコアで予測されたいくつかのクラスタは、単純な多様体に沿って存在する。他のクラスタは、より散らばっており、他のクラスタには、ＢｏＷモデル１１２により低確信度スコアが割り当てられている。文構造のさらなる分析は、ポジティブな構成要素及びネガティブな構成要素の両方を含む文が、ＢｏＷモデル１１２により正確に予測するのが難しいことを示した。
【００４７】
図６Ｂは、ＢｏＷモデル１１２の出力層における予測されたクラスに割り当てられた確率のプロット６００Ｂを示している。暗い青色のデータポイントは、文感情予測におけるモデルの高確信度を示すのに対し、明るい色のデータポイントは、文感情予測におけるモデルのより低い確信度を示す。
【００４８】
図７Ａ及び図７Ｂは、ＬＳＴＭモデル２４４についての検証結果である。図７Ａは、プロット７００Ａであり、プロット６００Ａと同様である。我々は、ＬＳＴＭモデル２４４についてのプロット７００Ａが、低確信度を伴う比較的少ないデータポイントを有することを観察した。ＬＳＴＭモデル２４４は、ポジティブな感情及びネガティブな感情を含む文を、より高い確信度で分類している。図７Ｂにおけるプロット７００Ｂは、ＬＳＴＭモデル２４４が、（データポイントとして表される）文の大部分を正しく分類していることを示す。暗い青色のドットは、非常に確信度が高い分類を示す。比較的少ない文が、明るく色付けされており、これは、モデルのより低い確信度を示す。
【００４９】
（確率方策）
ＢｏＷモデル１１２及びＬＳＴＭモデル２４４は、モデル予測の確信度を示す、各クラス（例えば、ポジティブな感情及びネガティブな感情）についての確率を与えるように、（例えば、バックプロパゲーションを用いて、）トレーニングされる。二値分類について、一実施形態において、確率は、０．５を超える必要があり、そうでなければ、予測は、他方の感情クラスについてのものである。例えば、ＢｏＷモデル１１２が１を返した場合、これは、その予測において非常に確信していることを意味する。閾値処理は、モデルによる予測された確率を比較し、それを使用するか否かを評価することを意味する。例えば、０．７という閾値は、０．７以上である確率を有する全ての文の感情分類が受諾され得ることを意味する。モデルの結果を分析する別のアプローチは、区間０.５〜０.５５で正しく予測された文等、区間を見ることである。これは、モデルの予測がこの確信度範囲内でどれだけ正確であるかを示す。
【００５０】
図８Ａは、０．５と１との間の様々な確率区間におけるＢｏＷモデル１１２の予測正確性を示すプロット８００Ａである。プロット８００Ａは、確率閾値の増加がモデルの性能を増加させることを示す。図８Ｃは、ＬＳＴＭモデル２４４についての同様のプロット８００Ｃである。ＬＳＴＭプロット８００Ｃからは、確率閾値の増加がモデルの性能を増加させることは、明らかでない。これは、ＬＳＴＭモデル２４４が、トレーニングデータに過剰適合し、確信度の高い回答のみを提供し得るからである。
【００５１】
確率閾値を用いて、開示されている技術は、「確率方策」をもたらす。出力確率は、文が容易である場合と、ＬＳＴＭモデル２４４のような計算コストが高いモデルからのガイダンスの必要性がある場合と、のインジケーションを与える。閾値が、ＢｏＷモデル１１２の確率に適用される。ＬＳＴＭモデル２４４は、感情分類の確率が、設定された閾値未満である全ての文に対して適用される。したがって、ＢｏＷモデル１１２は、言語的に容易な文に使用され、ＬＳＴＭモデル２４４は、言語的に複雑な文に使用される。
【００５２】
図８Ｂ及び図８Ｄは、それぞれ、データ量プロット８００Ｂ及び８００Ｄである。これらの２つのプロットにおける棒の高さは、２つの閾値内のデータ量を示し、上にある線は、各閾ビン（threshold  bin）からの累積データである。
【００５３】
（システム概要−深層ニューラルネットワークベースの決定ネットワーク）
我々は、深層ニューラルネットワークベースの決定ネットワークが、入力ごとに、機械分類タスクを実行するためのニューラルネットワークベースのモデル（ニューラルネットワークベースの分類器とも呼ばれる）を選択するためのシステムを説明する。ニューラルネットワークベースのモデルは、候補となるニューラルネットワークベースのモデル（ニューラルネットワークベースの分類器とも呼ばれる）のプールから選択される。システム及びプロセスが、図９を参照して説明される。図９は、一実施形態に従ったシステムのアーキテクチャレベル概略図を示している。図９は、アーキテクチャ図であるので、所定の詳細は、説明をより明確にするために、意図的に省略されている。
【００５４】
図９の説明は、次のように構成されている。まず、図の要素が説明され、続いてそれらの相互接続が説明される。次いで、システムにおける要素の使用が、より詳細に説明される。
【００５５】
図９は、システム９００を含む。システム９００は、機械学習システム９０５、ネットワーク１２０、トレーニングデータベース１４２、検証データベース１４４、スプリッタ９１０、ラベルトランスフォーマ９２０、及びモデルセレクタ９３０を含む。機械学習システム９０５は、決定ネットワーク９０２、単語袋詰め（略してＢｏＷ）モデル１１２、及び再帰型ニューラルネットワーク（略してＲＮＮ）モデル１１４を含む。トレーニングデータベース１４２及び検証データベース１４４は、各文についてのポジティブな感情ラベル及びネガティブな感情ラベルを有する自然言語文等の感情分析データを含む。他の実施形態において、システム９００は、推論（生成又はテスト）中に機械学習システム９０５をテストするために使用されるテストデータを含むテストデータベースも含む。
【００５６】
決定ネットワーク９０２は、入力文に対して感情分類タスクを実行するために、ＢｏＷモデル１１２又はＲＮＮモデル１１４のいずれかを選択するための確率を出力するニューラルネットワークベースの分類器である。機械学習システム９０５、トレーニングデータベース１４２、検証データベース１４４、スプリッタ９１０、ラベルトランスフォーマ９２０、及びモデルセレクタ９３０は、１つ以上のネットワーク１２０を介して互いと通信する。システム９００の高レベルの説明を提示した後、次いで、説明は、システム９００の様々なコンポーネントの詳細な説明に移る。
【００５７】
（データ準備）
図１０は、トレーニングデータベース１０３０及び検証データベース１０４０を作成するための、スプリッタ９１０の動作１０００を示している。トレーニングデータベース１０３０及び検証データベース１０４０は、単一のトレーニングデータベース１４２の一部であってよい。一実施形態において、スプリッタ９１０は、トレーニングデータベース１４２からのデータの８０％をトレーニングデータベース１０３０に割り当て、トレーニングデータベース１４２からのトレーニングデータの２０％を検証データベース１０４０に割り当てることにより、トレーニングデータベース１０３０及び検証データベース１０４０を作成する。他の実施形態において、スプリッタ９１０は、上述した比率とは異なる比率で、トレーニングデータベース１０３０及び検証データベース１０４０にデータを割り当ててもよい。
【００５８】
（モデルトレーニング及び推論−感情分析タスク）
図１１は、トレーニングセットを用いた、分類タスクを実行するための、ニューラルネットワークモデルの候補プールにおけるニューラルネットワークベースのモデルのトレーニング１１００を示している。一実施形態において、分類タスクは、文の感情分類であってよい。感情分類タスクは、文を、ポジティブな感情又はネガティブな感情を有するとして、分類することを含み得る。他の実施形態において、感情分類タスクは、文を、非常にポジティブな感情、ややポジティブな感情、ニュートラルな感情、非常にネガティブな感情、又はややネガティブな感情を有するとして、分類することを含み得る。さらに他の実施形態において、追加のクラスラベル、より少ないクラスラベル、又は異なるクラスラベルが使用されてもよい。さらなる実施形態において、音声認識、機械翻訳、テキスト要約、質問回答、画像キャプション付け、及びテキストトゥスピーチ（ＴＴＳ）合成等、他の分類タスクが、トレーニングのために実行されてもよい。
【００５９】
トレーニングデータベース１０３０は、ＬＳＴＭモデル２４４及びＢｏＷモデル１１２を別々にトレーニングするために使用される感情ラベルを有する文を含む。一実施形態において、ＬＳＴＭモデル２４４及びＢｏＷモデル１１２は、トレーニングデータベース１４２からのトレーニングデータの８０％を含むトレーニングデータベース１０３０を用いて別々にトレーニングされる（例えば、バックプロパゲーションを用いて）。モデルは、（例えば、バックプロパゲーションを用いて、）機械分類タスクについてトレーニングされる。一実施形態において、機械分類タスクは感情分類であり、入力は文である。トレーニングデータ１０３０における各入力文は、当該文がポジティブな感情を有するか又はネガティブな感情を有するかを示すタスクラベルを有することができる。一実施形態において、結果のトレーニングされたモデルは、本明細書において、ＬＳＴＭ８０％１１１０及びＢｏＷ８０％１１２０と呼ばれる。なぜならば、これらは、トレーニングデータの８０％でトレーニングされているからである。
【００６０】
トレーニングされたモデルＬＳＴＭ８０％１１１０及びＢｏＷ８０％１１２０は、検証データ１０４０を用いて別々にテストされる。検証データ１０４０は、ＬＳＴＭ８０％１１１０及びＢｏＷ８０％１１２０をトレーニング及び生成するために使用されなかった、トレーニングデータベース１４２からのデータの一部を含む。一実施形態において、検証データは、トレーニングデータベース１４２からのデータの２０％を含む。図１２に示されているように、トレーニングされたモデルＬＳＴＭ８０％１１１０及びＢｏＷ８０％１１２０は、各入力文についての感情クラスラベル１２００を生成する。各入力文についての推論された感情クラスラベル（ポジティブ又はネガティブのいずれか）１２００は、それぞれの正解感情クラスラベルと比較される。
【００６１】
（混同行列）
推論された感情クラスラベルと正解感情クラスラベルとの比較の結果は、図１３に示されているように、「混同行列」１３１０を生成する（１３００）ために使用される。混同行列は、分類モデルを正確に評価するための指標である。Ｃ個のクラスを伴う分類問題については、混同行列Ｍは、Ｃ×Ｃの行列であり、ここで、この行列内の要素Ｍｉｊは、実際のクラスラベルがｉであるが、それらがニューラルネットワーク分類器を用いてクラスｊに分類されたサンプルのパーセンテージを示す。Ｍｉｊは、正しく分類されたサンプルのパーセンテージを示す。２つのクラスが存在する二値分類問題については、混同行列は、図１３に示されているように、２×２の行列１３１０である。
【００６２】
混同行列１３１０の要素Ｍ１１１３１２は、実際のラベルが「真」であり、それらが予測中に「真」として正しく分類されたサンプルのパーセンテージを示す。要素Ｍ１１１３１２は、７６％の真陽性（ＴＰ）サンプルを含む。混同行列１３１０の要素Ｍ１２１３１４は、実際のラベルが「真」であるが、それらが予測中に「偽」として誤って分類されたサンプルのパーセンテージを示す。要素Ｍ１２１３１４は、１２％の偽陰性（ＦＮ）サンプルを含む。混同行列１３１０の要素Ｍ２１１３１６は、実際のラベルが「偽」であるが、それらが予測中に「真」として誤って分類されたサンプルのパーセンテージを示す。要素Ｍ２１１３１６は、６％の偽陽性（ＦＰ）サンプルを含む。混同行列１３１０の要素Ｍ２２１３１８は、実際のラベルが「偽」であり、それらが予測中に「偽」として正しく分類されたサンプルのパーセンテージを示す。要素Ｍ２２１３１８は、６％の真陰性（ＴＮ）サンプルを含む。
【００６３】
検証データ１０４０についてトレーニングされたモデルＬＳＴＭ８０％１１１０及びＢｏＷ８０％１１２０により生成された分類結果（図１２）が、一実施形態に従って、２つの別々の混同行列にプロットされ得る。２つの分類器であるＬＳＴＭ８０％１１１０及びＢｏＷ８０％１１２０についての両方の混同行列からの結果は、単一の混同行列１３１０内に結合され得る。結果の混同行列１３１０は、以下を識別する：
・トレーニングされた再帰型ニューラルネットワークベースの分類器ＬＳＴＭ８０％１１１０及びトレーニングされた非再帰型ニューラルネットワークベースの分類器ＢｏＷ８０％１１２０の両方により正しく分類された、検証データベース１０４０における入力（真陽性、左上）。これは、ＬＳＴＭモデル及びＢｏＷモデルが両方７６％の確率で正しいことを意味する。
・トレーニングされた再帰型ニューラルネットワークベースの分類器ＬＳＴＭ８０％１１１０及びトレーニングされた非再帰型ニューラルネットワークベースの分類器ＢｏＷ８０％１１２０の両方により誤って分類された、検証データベース１０４０における入力（真陰性、右下）。これは、ＬＳＴＭモデル及びＢｏＷモデルが両方６％の確率で誤っていることを意味する。
・トレーニングされた非再帰型ニューラルネットワークベースの分類器ＢｏＷ８０％１１２０により正しく分類されたが、トレーニングされた再帰型ニューラルネットワークベースの分類器ＬＳＴＭ８０％１１１０により誤って分類された、検証データベース１０４０における入力（偽陽性、左下）。これは、ＬＳＴＭモデルが正しくない場合、ＢｏＷモデルが６％の確率で正しいことを意味する。
・トレーニングされた再帰型ニューラルネットワークベースの分類器ＬＳＴＭ８０％１１１０により正しく分類されたが、トレーニングされた非再帰型ニューラルネットワークベースの分類器ＢｏＷ８０％１１２０により誤って分類された、検証データベース１０４０における入力（偽陰性、右上）。これは、ＢｏＷモデルが正しくない場合、ＬＳＴＭモデルが１２％の確率で正しいことを意味する。
【００６４】
ラベルトランスフォーマ９２０は、検証データベース１０４０における入力に、新たなラベルを割り当て、新たな検証データベース１３４０を生成する。一実施形態において、ラベルトランスフォーマ９２０は、検証データベース１０４０における入力を、新たな検証データベース１３４０における２つのサブセットにグループ化する。入力の第１のサブセットには、トレーニングされた再帰型ニューラルネットワークベースの分類器ＬＳＴＭ８０％１１１０を識別する第１のモデルクラスラベルが割り当てられる。入力の第２のサブセットには、トレーニングされた非再帰型ニューラルネットワークベースの分類器ＢｏＷ８０％１１２０を識別する第２のモデルクラスラベルが割り当てられる。
【００６５】
検証データ１３４０における入力の第１のサブセットは、トレーニングされた再帰型ニューラルネットワークベースの分類器ＬＳＴＭ８０％１１１０により正しく分類されたが、トレーニングされた非再帰型ニューラルネットワークベースの分類器ＢｏＷ８０％１１２０により誤って分類された、検証データベース１０４０における入力を含む。検証データ１３４０における入力の第２のサブセットは、混同行列１３１０からの残りの３つのカテゴリでの、検証データベース１０４０における入力を含む。これらの入力は、トレーニングされた再帰型ニューラルネットワークベースの分類器ＬＳＴＭ８０％１１１０及びトレーニングされた非再帰型ニューラルネットワークベースの分類器ＢｏＷ８０％１１２０の両方により正しく分類された、検証データベース１０４０における入力と、トレーニングされた再帰型ニューラルネットワークベースの分類器ＬＳＴＭ８０％１１１０及びトレーニングされた非再帰型ニューラルネットワークベースの分類器ＢｏＷ８０％１１２０の両方により誤って分類された、検証データベース１０４０における入力と、トレーニングされた非再帰型ニューラルネットワークベースの分類器ＢｏＷ８０％１１２０により正しく分類されたが、トレーニングされた再帰型ニューラルネットワークベースの分類器ＬＳＴＭ８０％１１１０により誤って分類された、検証データベース１０４０における入力と、を含む。新たなモデルクラスでラベル付けされた入力データは、検証データベース１３４０に格納される。検証データベース１３４０におけるデータは、決定セットとも呼ばれる。別の実施形態において、ラベルトランスフォーマ９２０は、モデルクラスラベルを、既存の検証データベース１０４０における入力に付加する。これは、入力の各々が、２つのラベル、すなわち、ポジティブな感情又はネガティブな感情を識別するタスククラスラベルと、トレーニングされた再帰型ニューラルネットワークベースの分類器ＬＳＴＭ８０％１１１０又はトレーニングされた非再帰型ニューラルネットワークベースの分類器ＢｏＷ８０％１１２０を識別するモデルクラスラベルと、を有することをもたらす。
【００６６】
いくつかの実施形態において、元々の検証データは、新たな検証データを形成するために複製されず、代わりに、検証データにおける各データアイテムには、感情クラスラベル用に１つ及びモデルクラスラベル用に１つである２つの正解ポインタが割り当てられ、各データアイテムが、２つの正解ポインタとともに格納される。さらに他の実施形態において、検証データの２つのコピーが、別々の異なる正解ラベル（感情クラスラベル用に１つ及びモデルクラスラベル用に１つ）とともに保持される。
【００６７】
（決定ネットワーク）
図１４は、検証データベース１３４０におけるモデルクラスラベルを有する入力を用いた、決定ネットワーク（本明細書において決定分類器とも呼ばれる）９０２のトレーニング１４００を示している。決定ネットワーク９０２の出力は、検証データベース１３４０における各入力文についての推論されたモデルクラスラベルである。決定ネットワーク９０２による各文についての推論されたモデルクラスラベルは、検証データ１３４０における当該文についての正解モデルクラスラベルと比較される。
【００６８】
図１５は、決定ネットワーク９０２のアーキテクチャ１５００の一実施形態を示している。他の実施形態において、任意の他の従来の又は将来開発されるＢｏＷ、ＲＮＮ、又はＬＳＴＭアーキテクチャが、ここで使用されてもよい。このような実施形態は、開示されている技術の主旨及び範囲から逸脱することなく、当業者には容易に明らかであろう。
【００６９】
一実施形態において、決定ネットワーク９０２は、９０２に示されているように、アーキテクチャから元々の分類層が除去された、トレーニングされた非再帰型ニューラルネットワークベースの分類器ＢｏＷ８０％１１２０を含む。元々のＢｏＷモデル１１２のアーキテクチャの一実施形態は、図４に示されている。決定ネットワーク９０２における新たな分類層は、モデルクラスラベルを用いて、入力文を分類し、第１のモデルクラスラベル及び第２のモデルクラスラベルについての出力確率を生成する。上述の実施形態において、これらの確率は、ＬＳＴＭ８０％１１１０及びＢｏＷ８０％１１２０に対応する。さらに、ＲｅＬＵを伴う２つの全結合層が、決定ネットワーク９０２に含まれる。
【００７０】
いくつかの実施形態において、決定ネットワーク９０２のトレーニング中、全結合層及び新たな分類層についての勾配のみが逆伝播される。トレーニングされた非再帰型ニューラルネットワークベースの分類器ＢｏＷ８０％１１２０の重みは、固定されて変化しないままである。
【００７１】
（プロセスフロー）
図１６は、図９の決定ネットワークを用いたモデル選択のためのプロセスステップを示すフローチャート１６００である。このプロセスは、ステップ１６１０において、文が、決定ネットワーク９０２への入力として与えられたときに開始する。次いで、ステップ１６１２において、決定ネットワーク９０２は、モデル分類を生成する。ステップ１６１４において、ＬＳＴＭモデル又はＢｏＷモデルのいずれかが、ステップ１６１２における決定ネットワーク９０２による分類に基づいて選択される。
【００７２】
ステップ１６１４においてＬＳＴＭモデルが選択された場合、文が、感情分類のためにＬＳＴＭ１００％モデルに提供される。ＬＳＴＭ１００％は、トレーニングデータ１４２全体についてトレーニングされ、これは、トレーニングデータ１０３０及び検証データ１０４０を含む。ステップ１６１６において、ＬＳＴＭ１００％は、文についての感情分類を生成する。ステップ１６１８において、ＬＳＴＭ１００％の感情分類が受諾される。
【００７３】
ステップ１６１４においてＢｏＷモデルが選択された場合、文が、感情分類のためにＢｏＷ１００％モデルに提供される。ＢｏＷ１００％は、トレーニングデータ１４２全体についてトレーニングされ、これは、トレーニングデータ１０３０及び検証データ１０４０を含む。ステップ１６２２において、ＢｏＷ１００％は、文についての感情分類を生成する。ステップ１６２４において、ＢｏＷ１００％の感情分類が受諾される。
【００７４】
ステップ１６２０において、システムは、感情分類のためのさらなる入力文が存在するかどうかをチェックする。これが真である場合、次の文が、決定ネットワーク９０２への入力として与えられ、このプロセスが繰り返される。感情分類のためのさらなる入力文が存在しない場合、このプロセスは、ステップ１６２６で終了する。
【００７５】
（コンピュータシステム）
図１７は、図１及び図９の機械学習システム１１０及び機械学習システム９０５を実現するために使用され得るコンピュータシステム１７００の簡略化されたブロック図である。コンピュータシステム１７００は、バスサブシステム１７２２を介して複数の周辺デバイスと通信する少なくとも１つの中央処理装置（ＣＰＵ）１７２４を含む。これらの周辺デバイスは、例えばメモリデバイス及びファイル記憶サブシステム１７１８を含む記憶サブシステム１７１０と、ユーザインタフェース入力デバイス１７２０と、ユーザインタフェース出力デバイス１７２８と、ネットワークインタフェースサブシステム１７２６と、を含み得る。入力デバイス及び出力デバイスは、コンピュータシステム１７００とのユーザインタラクションを可能にする。ネットワークインタフェースサブシステム１７２６は、他のコンピュータシステムにおける対応するインタフェースデバイスへのインタフェースを含め、外部ネットワークへのインタフェースを提供する。
【００７６】
一実施形態において、図１の機械学習システム１１０及び図９の機械学習システム９０５は、記憶サブシステム１７１０及びユーザインタフェース入力デバイス１７２０に通信可能にリンクされる。
【００７７】
ユーザインタフェース入力デバイス１７２０は、キーボード；マウス、トラックボール、タッチパッド、又はグラフィックスタブレット等のポインティングデバイス；スキャナ；ディスプレイに組み込まれたタッチスクリーン；音声認識システム及びマイクロフォン等のオーディオ入力デバイス；及び、他のタイプの入力デバイスを含み得る。概して、用語「入力デバイス」の使用は、コンピュータシステム１７００に情報を入力するための全ての可能なタイプのデバイス及び態様を含むよう意図されている。
【００７８】
ユーザインタフェース出力デバイス１７２８は、ディスプレイサブシステム；プリンタ；ファックス機；及び、オーディオ出力デバイス等の非視覚的ディスプレイを含み得る。ディスプレイサブシステムは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等のフラットパネルデバイス、投影デバイス、又は可視画像を生成するための何らかの他の機構を含み得る。ディスプレイサブシステムはまた、オーディオ出力デバイス等の非視覚的ディスプレイを提供することができる。概して、用語「出力デバイス」の使用は、コンピュータシステム１７００からユーザ又は別のマシン若しくはコンピュータシステムに情報を出力するための全ての可能なタイプのデバイス及び態様を含むよう意図されている。
【００７９】
記憶サブシステム１７１０は、本開示に記載のモジュール及び方法の一部又は全ての機能を提供するプログラミング及びデータ構造を記憶する。これらのソフトウェアモジュールは、一般に、深層学習プロセッサ１７３０により実行される。
【００８０】
深層学習プロセッサ１７３０は、グラフィックス処理装置（ＧＰＵ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）であってよい。深層学習プロセッサ１７３０は、Google（登録商標）  Cloud  Platform、Xilinx、及びCirrascale等の深層学習クラウドプラットフォームによりホストされ得る。深層学習プロセッサ１７３０の例は、Google（登録商標）のTensor  Processing  Unit（ＴＰＵ）、GX4  Rackmount  Series、GX8  Rackmount  Series等のラックマウントソリューション、NVIDIA（登録商標）  DGX-1、Microsoft（登録商標）のStratix  V  FPGA、GraphcoreのIntelligent  Processor  Unit（ＩＰＵ）、QualcommのSnapdragon  processorsを含むZeroth  Platform、NVIDIA（登録商標）のVolta、NVIDIA（登録商標）のDRIVE  PX、NVIDIA（登録商標）のJETSON  TX1/TX2  MODULE、Intel（登録商標）のNirvana、Movidius  VPU、Fujitsu（登録商標）  DPI、ARM  DynamicIQ、IBM（登録商標）  TrueNorth等を含む。
【００８１】
記憶サブシステム１７１０において使用されるメモリサブシステム１７１２は、プログラムの実行中に命令及びデータを記憶するためのメインランダムアクセスメモリ（ＲＡＭ）１７１４と、固定された命令が記憶される読み取り専用メモリ（ＲＯＭ）１７１６と、を含め、複数のメモリを含み得る。ファイル記憶サブシステム１７１８は、プログラム及びデータファイルのための永続的記憶を提供することができ、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ及び関連する着脱可能な媒体、ＣＤ−ＲＯＭドライブ、光学ドライブ、及び着脱可能なメディアカートリッジを含み得る。所定の実施形態の機能を実装しているモジュールは、記憶サブシステム１７１０におけるファイル記憶サブシステム１７１８により記憶されることもあるし、プロセッサによりアクセス可能な他のマシンに記憶されることもある。
【００８２】
バスサブシステム１７２２は、意図されるようにコンピュータシステム１７００の様々なコンポーネント及びサブシステムに互いと通信させるための機構を提供する。バスサブシステム１７２２が、単一のバスとして概略的に図示されているが、バスサブシステムの代替実施形態は、複数のバスを使用してもよい。
【００８３】
コンピュータシステム１７００自体は、パーソナルコンピュータ、ポータブルコンピュータ、ワークステーション、コンピュータ端末、ネットワークコンピュータ、テレビジョン、メインフレーム、サーバファーム、自由にネットワーク化されたコンピュータの広く分散されているセット、又は、任意の他のデータ処理システム若しくはユーザデバイスを含む様々なタイプであってよい。コンピュータ及びネットワークの常に変化する性質に起因して、図１７に示されているコンピュータシステム１７００の記載は、本発明の好ましい実施形態を例示するための具体例として意図されているに過ぎない。図１７に示されているコンピュータシステムよりも多い又は少ないコンポーネントを有する、コンピュータシステム１７００の多くの他の構成が可能である。
【００８４】
前述の説明は、開示されている技術の製造及び使用を可能にするように提示されている。開示されている技術の主旨及び範囲から逸脱することなく、開示されている実施形態に対する様々な変更が明らかであり、本開示において規定されている一般的な原理は、他の実施形態及び用途にも適用可能である。したがって、開示されている技術は、例示されている実施形態に限定されるよう意図されるものではなく、本出願において開示されている原理及び特徴と整合する最も広い範囲に従うべきである。開示されている技術の範囲は、請求項により定められる。
【００８５】
（特定の実施形態）
確率ベースのガイダ
開示されている技術は、複数の入力を含むデータセットに対する機械分類タスクの効率的な実行に関する。一実施形態において、機械分類タスクは、文の感情分類であってよい。感情分類タスクは、文を、ポジティブな感情又はネガティブな感情を有するとして、分類することを含み得る。他の実施形態において、感情分類タスクは、文を、非常にポジティブな感情、ややポジティブな感情、ニュートラルな感情、非常にネガティブな感情、又はややネガティブな感情を有するとして、分類することを含み得る。さらに他の実施形態において、追加のクラスラベル、より少ないクラスラベル、又は異なるクラスラベルが使用されてもよい。さらなる実施形態において、音声認識、機械翻訳、テキスト要約、質問回答、画像キャプション付け、及びテキストトゥスピーチ（ＴＴＳ）合成等、他の機械分類タスクが実行されてもよい。
【００８６】
開示されている技術は、システム、方法、又は製品として実施され得る。実施形態の１つ以上の特徴は、ベースとなる実施形態と組み合わせられることがある。相互に排他的ではない実施形態は、組み合わせ可能であると教示される。実施形態の１つ以上の特徴は、他の実施形態と組み合わせられることもある。本開示は、これらのオプションについてユーザに定期的にリマインドする。これらのオプションを繰り返す記載事項の、いくつかの実施形態からの省略は、前のセクションにおいて教示された組み合わせを限定するものとして解釈されるべきではない。これらの記載事項は、参照により以下の実施形態の各々に組み込まれる。
【００８７】
開示されている技術の第１のシステムの実施形態は、メモリに接続された１つ以上のプロセッサを含む。メモリには、複数の入力を含むデータセットに対して機械分類タスクを効率的に実行するためのコンピュータ命令がロードされる。このシステムは、複数の入力に対して機械分類タスクを実行する第１の非再帰型ニューラルネットワークを通じて、入力を処理する。第１の非再帰型ニューラルネットワークは、入力のベクトル埋め込みを平均化することにより、入力の平均ベクトル表現を生成する。次いで、このシステムは、複数の入力の選択されたサブセットにおける入力に対して機械分類タスクを実行する第２の再帰型ニューラルネットワーク（略してＲＮＮ）を通じて、複数の入力の選択されたサブセットを処理する。さらなる処理についての選択は、データセットにおける複数の入力に対して機械分類タスクを実行することにおける第１の非再帰型ニューラルネットワークの確信度を条件としてなされる。
【００８８】
開示されている第１のシステムの実施形態及び他のシステムは、以下の特徴のうちの１つ以上を任意的に含む。システムはまた、開示されている方法に関連して説明されている特徴を含むこともある。簡潔にするために、システムの特徴の代替の組み合わせは、個々には列挙されない。システム、方法、及び製品に適用可能な特徴は、ベースとなる特徴の各法定分類セットについて繰り返されない。読者は、このセクションにおいて特定された特徴が他の法定分類におけるベースとなる特徴とどのように容易に組み合わせられ得るかを理解するであろう。
【００８９】
このシステムに含まれる第２のＲＮＮは、第１の非再帰型ニューラルネットワークよりも、少なくとも、３％正確であり、４倍計算コストが高い。このシステムは、第１の非再帰型ニューラルネットワークの確信度が設定された閾値未満である場合、第２のＲＮＮを選択する。機械分類タスクは、入力を、第１のクラス又は第２のクラスに分類することである。第１の非再帰型ニューラルネットワークの確信度は、第１のクラス又は第２のクラスのいずれかに割り当てられる確率スコアを表す。入力は文であり、機械分類タスクは、文を、ポジティブな感情クラス又はネガティブな感情クラスに分類することである。
【００９０】
このシステムに含まれる第１の非再帰型ニューラルネットワークは、言語的に単純な文について第１の非再帰型ニューラルネットワークにより生成されるクラス確率よりも少なくとも２０％低い、言語的に複雑な文についての確率スコアを生成する。
【００９１】
このシステムは、言語的に複雑な文を、ポジティブな感情クラス又はネガティブな感情クラスに分類するために使用される第２のＲＮＮを含む。一実施形態において、このシステムに含まれる第１の非再帰型ニューラルネットワークは、単語袋詰め（略してＢｏＷ）ネットワークである。別の実施形態において、第１の非再帰型ニューラルネットワークは、少なくとも１つの連続単語袋詰め（略してＣＢｏＷ）ネットワークである。別の実施形態において、第１の非再帰型ニューラルネットワークは、少なくとも１つのスキップグラムネットワークである。さらに別の実施形態において、第１の非再帰型ニューラルネットワークは、少なくとも１つの畳み込みニューラルネットワーク（略してＣＮＮ）である。別の実施形態において、第２のＲＮＮは、長短期記憶（略してＬＳＴＭ）ネットワークである。別の実施形態において、第２のＲＮＮは、ゲート付き再帰型ユニット（略してＧＲＵ）ネットワークである。さらに別の実施形態において、第２のＲＮＮは、準再帰型ニューラルネットワーク（略してＱＲＮＮ）である。
【００９２】
一実施形態において、このシステムは、単一の値である閾値を含む。別の実施形態において、このシステムは、２つの値の間の範囲である閾値を含む。
【００９３】
一実施形態において、機械分類タスクは、品詞（略してＰＯＳ）タグ付けである。別の実施形態において、機械分類タスクは、チャンキングである。別の実施形態において、機械分類タスクは、係り受け解析である。別の実施形態において、機械分類タスクは、意味関連性である。さらに別の実施形態において、機械分類タスクは、テキスト含意である。
【００９４】
開示されている技術により実行され得るいくつかの機械分類タスクの例は、音声認識、機械翻訳、テキスト要約、質問回答、画像キャプション付け、及びテキストトゥスピーチ（ＴＴＳ）合成を含む。
【００９５】
開示されている技術の第２のシステムの実施形態は、メモリに接続された１つ以上のプロセッサを含む。メモリには、文に対して感情分類タスクを効率的に実行するためのコンピュータ命令がロードされる。このシステムは、文を評価し、確信度スコアを生成する第１の非再帰型ニューラルネットワークを含む。このスコアは、文の感情がポジティブ又はネガティブである確度を特定する。第１の非再帰型ニューラルネットワークは、入力のベクトル埋め込みを平均化することにより、入力の平均ベクトル表現を生成する。このシステムは、第１の非再帰型ニューラルネットワークにより生成された確信度スコアを、設定された閾値と比較するガイダをさらに含む。この比較に基づいて、ガイダは、文が、第２の再帰型ニューラルネットワーク（略してＲＮＮ）による補足的な評価を必要とするかどうかを判定する。補足的な評価は、確信度スコアが閾値未満である場合、第２のＲＮＮを用いて、文の感情を、ポジティブ又はネガティブとして分類することを含む。確信度スコアが閾値を超える場合、第２のＲＮＮによる補足的な評価を必要とすることなく、感情分類タスクについて、第１の非再帰型ニューラルネットワークにより生成された確信度スコアに依拠する。
【００９６】
開示されている第２のシステムの実施形態及び他のシステムは、以下の特徴のうちの１つ以上を任意的に含む。システムはまた、開示されている方法に関連して説明されている特徴を含むこともある。簡潔にするために、システムの特徴の代替の組み合わせは、個々には列挙されない。システム、方法、及び製品に適用可能な特徴は、ベースとなる特徴の各法定分類セットについて繰り返されない。読者は、このセクションにおいて特定された特徴が他の法定分類におけるベースとなる特徴とどのように容易に組み合わせられ得るかを理解するであろう。
【００９７】
このシステムに含まれる第１の非再帰型ニューラルネットワークは、文が言語的に複雑な文である場合、文が言語的に単純な文である場合よりも、２０％低い確信度スコアを生成する。そのような実施形態において、言語的に複雑な文は、ネガティブな構成要素及びポジティブな構成要素の共起を有する。別のそのような実施形態において、言語的に複雑な文は、ネガティブな単語及び逆接接続詞の複数の発生を有する。別のそのような実施形態において、このシステムは、第２のＲＮＮを用いて、言語的に複雑な文の感情を、ポジティブ又はネガティブであるとして分類することを含む。
【００９８】
第１のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、第２のシステムの実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【００９９】
他の実施形態は、上述したシステムの機能を実行するための、プロセッサにより実行可能な命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体を含み得る。さらに別の実施形態は、上述したシステムの機能を実行する方法を含み得る。
【０１００】
開示されている技術の第３のシステムの実施形態は、メモリに接続された並列に動作する２つ以上のプロセッサを含む。メモリには、複数の入力を含むデータセットに対して機械分類タスクを効率的に実行するためのコンピュータ命令がロードされる。コンピュータ命令がプロセッサ上で実行されると、コンピュータ命令が、複数の入力に対して機械分類タスクを実行する第１の非再帰型ニューラルネットワークを通じて、複数の入力を処理することを含む動作を実施する。第１の非再帰型ニューラルネットワークによる処理は、入力のベクトル埋め込みを平均化することにより、入力の平均ベクトル表現を生成する。
【０１０１】
これに続いて、このシステムは、複数の入力の選択されたサブセットにおける入力に対して機械分類タスクを実行する第２の再帰型ニューラルネットワーク（略してＲＮＮ）を通じて、複数の入力の選択されたサブセットを処理する。さらなる処理についての入力の選択は、データセットにおける複数の入力に対して機械分類タスクを実行することにおける第１の非再帰型ニューラルネットワークの確信度を条件としてなされる。
【０１０２】
第１のシステムの実施形態及び第２のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、第３のシステムの実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【０１０３】
他の実施形態は、上述したシステムの機能を実行するための、プロセッサにより実行可能な命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体を含み得る。さらに別の実施形態は、上述したシステムの機能を実行する方法を含み得る。
【０１０４】
開示されている技術の第１の方法の実施形態は、複数の入力を含むデータセットに対して機械分類タスクを効率的に実行することを含む。この方法は、複数の入力に対して機械分類タスクを実行する第１の非再帰型ニューラルネットワークを通じて、複数の入力を処理することを含む。第１の非再帰型ニューラルネットワークは、入力のベクトル埋め込みを平均化することにより、入力の平均ベクトル表現を生成する。次いで、この方法は、複数の入力の選択されたサブセットにおける入力に対して機械分類タスクを実行する第２の再帰型ニューラルネットワーク（略してＲＮＮ）を通じて、複数の入力の選択されたサブセットを処理する。さらなる処理についての選択は、データセットにおける複数の入力に対して機械分類タスクを実行することにおける第１の非再帰型ニューラルネットワークの確信度を条件としてなされる。
【０１０５】
第１のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、この方法の実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【０１０６】
他の実施形態は、上述した第１の方法を実行するための、プロセッサにより実行可能な命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体を含み得る。さらに別の実施形態は、メモリと、上述した第１の方法を実行するための、メモリに記憶されている命令を実行するよう動作可能な１つ以上のプロセッサと、を含むシステムを含み得る。
【０１０７】
開示されている技術のコンピュータ読み取り可能な媒体（ＣＲＭ）の実施形態は、コンピュータプログラム命令が与えられた非一時的なコンピュータ読み取り可能な記憶媒体であって、コンピュータプログラム命令がプロセッサ上で実行されたときに、コンピュータプログラム命令が、上述した方法を実施する、非一時的なコンピュータ読み取り可能な記憶媒体を含む。
【０１０８】
第１のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、このＣＲＭの実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【０１０９】
開示されている技術の第２の方法の実施形態は、文に対して感情分類タスクを効率的に実行することを含む。この方法は、第１の非再帰型ニューラルネットワークを用いて、文を評価し、文の感情がポジティブ又はネガティブである確度を特定する確信度スコアを生成することを含む。この方法は、第１の非再帰型ニューラルネットワークが、入力のベクトル埋め込みを平均化することにより、入力の平均ベクトル表現を生成することを含む。これに続いて、この方法は、ガイダを用いて、第１の非再帰型ニューラルネットワークにより生成された確信度スコアを、設定された閾値と比較することを含む。この方法は、この比較に基づいて、文が、第２の再帰型ニューラルネットワーク（略してＲＮＮ）による補足的な評価を必要とするかどうかを判定することを含む。この方法は、この評価に基づいて、確信度スコアが閾値未満である場合、第２のＲＮＮを用いて、文の感情を、ポジティブ又はネガティブとして分類することをさらに含む。この方法は、確信度スコアが閾値を超える場合、第２のＲＮＮによる補足的な評価を必要とすることなく、感情分類タスクについて、第１の非再帰型ニューラルネットワークにより生成された確信度スコアに依拠することを含む。
【０１１０】
第２のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、この方法の実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【０１１１】
他の実施形態は、上述した第２の方法を実行するための、プロセッサにより実行可能な命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体を含み得る。さらに別の実施形態は、メモリと、上述した第２の方法を実行するための、メモリに記憶されている命令を実行するよう動作可能な１つ以上のプロセッサと、を含むシステムを含み得る。
【０１１２】
開示されている技術のコンピュータ読み取り可能な媒体（ＣＲＭ）の実施形態は、コンピュータプログラム命令が与えられた非一時的なコンピュータ読み取り可能な記憶媒体であって、コンピュータプログラム命令がプロセッサ上で実行されたときに、コンピュータプログラム命令が、上述した方法を実施する、非一時的なコンピュータ読み取り可能な記憶媒体を含む。
【０１１３】
第２のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、このＣＲＭの実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【０１１４】
開示されている技術の第３の方法の実施形態は、複数の入力を含むデータセットに対して機械分類タスクを効率的に実行することを含む。この方法は、複数の入力に対して機械分類タスクを実行する第１の非再帰型ニューラルネットワークを通じて、複数の入力を処理することをさらに含み、第１の非再帰型ニューラルネットワークは、入力のベクトル埋め込みを平均化することにより、入力の平均ベクトル表現を生成する。これに続いて、この方法は、複数の入力の選択されたサブセットにおける入力に対して機械分類タスクを実行する第２の再帰型ニューラルネットワーク（略してＲＮＮ）を通じて、複数の入力の選択されたサブセットをさらに処理することを含む。さらなる処理についての選択は、データセットにおける複数の入力に対して機械分類タスクを実行することにおける第１の非再帰型ニューラルネットワークの確信度を条件としてなされる。
【０１１５】
第３のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、この方法の実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【０１１６】
他の実施形態は、上述した第３の方法を実行するための、プロセッサにより実行可能な命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体を含み得る。さらに別の実施形態は、メモリと、上述した第３の方法を実行するための、メモリに記憶されている命令を実行するよう動作可能な１つ以上のプロセッサと、を含むシステムを含み得る。
【０１１７】
開示されている技術のコンピュータ読み取り可能な媒体（ＣＲＭ）の実施形態は、コンピュータプログラム命令が与えられた非一時的なコンピュータ読み取り可能な記憶媒体であって、コンピュータプログラム命令がプロセッサ上で実行されたときに、コンピュータプログラム命令が、上述した方法を実施する、非一時的なコンピュータ読み取り可能な記憶媒体を含む。
【０１１８】
第３のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、このＣＲＭの実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【０１１９】
深層ニューラルネットワークベースの決定ネットワーク
開示されている技術は、複数の入力を含むデータセットに対する機械分類タスクの効率的な実行に関する。
【０１２０】
開示されている技術は、システム、方法、又は製品として実施され得る。実施形態の１つ以上の特徴は、ベースとなる実施形態と組み合わせられることがある。相互に排他的ではない実施形態は、組み合わせ可能であると教示される。実施形態の１つ以上の特徴は、他の実施形態と組み合わせられることもある。本開示は、これらのオプションについてユーザに定期的にリマインドする。これらのオプションを繰り返す記載事項の、いくつかの実施形態からの省略は、前のセクションにおいて教示された組み合わせを限定するものとして解釈されるべきではない。これらの記載事項は、参照により以下の実施形態の各々に組み込まれる。
【０１２１】
開示されている技術の第１のシステムの実施形態は、メモリに接続された１つ以上のプロセッサを含む。メモリには、正確性を最大化し、計算コストを最小化するように、入力ごとに、機械分類タスクを実行するための候補となるニューラルネットワークベースの分類器のプールからニューラルネットワークベースの分類器を選択するためのコンピュータ命令がロードされる。このシステムは、トレーニングセットを用いて、機械分類タスクを実行するための、プールにおける候補となるニューラルネットワークベースの分類器のトレーニングを実行する。トレーニングセットは、機械分類タスク用に定義されたタスククラスラベルで注釈付けされたトレーニング入力を含む。次いで、このシステムは、トレーニングされた候補となるニューラルネットワークベースの分類器を用いて、検証セットに対して機械分類タスクを実行する。検証セットは、タスククラスラベルで注釈付けされた検証入力を含む。次いで、このシステムは、トレーニングされたニューラルネットワークベースの分類器の性能に基づいて、混同行列を生成する。次いで、このシステムは、混同行列を用いて、プールにおける特定のトレーニングされた再帰型ニューラルネットワークベースの分類器によってのみ正しく推論された検証入力の第１のサブセットと、第１のサブセットにはない検証入力を含む検証入力の第２のサブセットと、を識別する。次いで、このシステムは、特定のトレーニングされた再帰型ニューラルネットワークベースの分類器を識別する第１のモデルクラスラベルで、第１のサブセットにおける検証入力にラベル付けする。このシステムは、プールにおける特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器を識別する第２のモデルクラスラベルで、第２のサブセットにおける検証入力にラベル付けする。このシステムは、第１のサブセット及び第２のサブセットにおけるモデルクラスラベル付きの検証入力を、決定セットとして格納する。
【０１２２】
開示されている第１のシステムの実施形態及び他のシステムは、以下の特徴のうちの１つ以上を任意的に含む。システムはまた、開示されている方法に関連して説明されている特徴を含むこともある。簡潔にするために、システムの特徴の代替の組み合わせは、個々には列挙されない。システム、方法、及び製品に適用可能な特徴は、ベースとなる特徴の各法定分類セットについて繰り返されない。読者は、このセクションにおいて特定された特徴が他の法定分類におけるベースとなる特徴とどのように容易に組み合わせられ得るかを理解するであろう。
【０１２３】
このシステムは、トレーニングされたニューラルネットワークベースの決定分類器の出力確率に基づいて、特定のトレーニングされた再帰型ニューラルネットワークベースの分類器又は特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器のいずれかを用いて、推論中、所与の入力について機械分類タスクを実行する。このシステムは、第１のモデルクラスラベルの出力確率が第２のモデルクラスラベルの出力確率よりも高い場合、特定のトレーニングされた再帰型ニューラルネットワークベースの分類器を選択する。このシステムは、第２のモデルクラスラベルの出力確率が第１のモデルクラスラベルの出力確率よりも高い場合、特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器を選択する。
【０１２４】
このシステムの一実施形態において、特定のトレーニングされた再帰型ニューラルネットワークベースの分類器は、特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器よりも、少なくとも、３％正確であり、４倍計算コストが高い。１つのそのような実施形態において、特定のトレーニングされた再帰型ニューラルネットワークベースの分類器は、少なくとも１つの再帰型ニューラルネットワーク（略してＲＮＮ）である。別の実施形態において、特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器は、少なくとも１つの単語袋詰め（略してＢｏＷ）ネットワークである。別のそのような実施形態において、特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器は、少なくとも１つの連続単語袋詰め（略してＣＢｏＷ）ネットワークである。別の実施形態において、特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器は、少なくとも１つのスキップグラムネットワークである。一実施形態において、特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器は、少なくとも１つの畳み込みニューラルネットワーク（略してＣＮＮ）である。一実施形態において、ＲＮＮは、長短期記憶（略してＬＳＴＭ）ネットワークである。別の実施形態において、ＲＮＮは、ゲート付き再帰型ユニット（略してＧＲＵ）ネットワークである。さらに別の実施形態において、ＲＮＮは、準再帰型ニューラルネットワーク（略してＱＲＮＮ）である。
【０１２５】
このシステムの一実施形態において、トレーニングセット及び検証セットは、トレーニングセット及び検証セットを作成するためにホールドアウト分割を受ける単一のデータセットの一部である。プールにおける候補となるニューラルネットワークベースの分類器の各々は、トレーニングセットについて別々にトレーニングされる。機械分類タスクは感情分類であり、入力は文である。タスククラスラベルは、ポジティブな感情及びネガティブな感情である。
【０１２６】
混同行列は、（１）特定のトレーニングされた再帰型ニューラルネットワークベースの分類器及び特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器の両方により正しく分類された検証入力、（２）特定のトレーニングされた再帰型ニューラルネットワークベースの分類器及び特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器の両方により誤って分類された検証入力、（３）特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器により正しく分類されたが、特定のトレーニングされた再帰型ニューラルネットワークベースの分類器により誤って分類された検証入力、及び（４）特定のトレーニングされた再帰型ニューラルネットワークベースの分類器により正しく分類されたが、特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器により誤って分類された検証入力のうちの少なくとも１つを識別する。
【０１２７】
このシステムのそのような実施形態において、第１のサブセットは、特定のトレーニングされた再帰型ニューラルネットワークベースの分類器により正しく分類されたが、特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器により誤って分類された検証入力を含む。第２のサブセットは、特定のトレーニングされた再帰型ニューラルネットワークベースの分類器及び特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器の両方により正しく分類された検証入力と、特定のトレーニングされた再帰型ニューラルネットワークベースの分類器及び特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器の両方により誤って分類された検証入力と、特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器により正しく分類されたが、特定のトレーニングされた再帰型ニューラルネットワークベースの分類器により誤って分類された検証入力と、のうちの少なくとも１つを含む。
【０１２８】
推論中、トレーニングされたニューラルネットワークベースの決定分類器により選択された特定のトレーニングされた再帰型ニューラルネットワークベースの分類器及び特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器は、トレーニングセット及び検証セットの組み合わせについてトレーニングされ、すなわち、トレーニングされたＬＳＴＭ１００％及びＢｏＷ１００％である。ニューラルネットワークベースの決定分類器は、元々の分類層が除去された、トレーニングセットについてトレーニングされた特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器を含む。これは、１つ以上の新たな全結合層と、第１のモデルクラスラベル及び第２のモデルクラスラベルについての出力確率を生成する新たな分類層と、を含む。ニューラルネットワークベースの決定分類器のトレーニング中、全結合層及び新たな分類層についての勾配のみが逆伝播され、特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器の重みは、固定されたままである。一実施形態において、特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器は、少なくとも１つの単語袋詰め（略してＢｏＷ）ネットワークである。
【０１２９】
開示されている技術により実行され得るいくつかの機械分類タスクの例は、音声認識、機械翻訳、テキスト要約、質問回答、画像キャプション付け、及びテキストトゥスピーチ（ＴＴＳ）合成を含む。
【０１３０】
開示されている技術の第２のシステムの実施形態は、並列に動作するプロセッサを有するニューラルネットワークベースの決定システムを含む。このニューラルネットワークベースの決定システムは、トレーニングされた再帰型長短期記憶（略してＬＳＴＭ）ネットワーク、又は、文のトークンベクトル埋め込みを平均化することにより、文の平均ベクトル表現を生成するトレーニングされた単語袋詰め（略してＢｏＷ）ネットワークのいずれかを用いて、文に対して感情分類タスクを効率的に実行する。このシステムは、ポジティブな感情ラベル及びネガティブな感情ラベルで注釈付けされた検証文の、トレーニングされたＬＳＴＭネットワーク及びトレーニングされたＢｏＷネットワークの評価に基づいて、混同行列を生成する。このシステムは、混同行列を用いて、トレーニングされたＬＳＴＭネットワークによってのみ正しく分類された検証文のサブセットを識別する。次いで、このシステムは、トレーニングされたＬＳＴＭネットワークを識別する第１のモデルラベルで、検証文のサブセットに注釈付けし、トレーニングされたＢｏＷネットワークを識別する第２のモデルラベルで、検証文の残りに注釈付けする。このシステムは、モデル注釈付きの検証文を、決定セットに格納する。このシステムは、トレーニングされたＢｏＷネットワークを用いて、決定システムを構築し、文の感情を分類するためにトレーニングされたＬＳＴＭネットワークを用いるか又はトレーニングされたＢｏＷネットワークを用いるかを特定する出力を生成するように、決定セットを用いて決定システムをトレーニングする。
【０１３１】
開示されている第２のシステムの実施形態及び他のシステムは、以下の特徴のうちの１つ以上を任意的に含む。システムはまた、開示されている方法に関連して説明されている特徴を含むこともある。簡潔にするために、システムの特徴の代替の組み合わせは、個々には列挙されない。システム、方法、及び製品に適用可能な特徴は、ベースとなる特徴の各法定分類セットについて繰り返されない。読者は、このセクションにおいて特定された特徴が他の法定分類におけるベースとなる特徴とどのように容易に組み合わせられ得るかを理解するであろう。
【０１３２】
推論中、このシステムは、トレーニングされた決定システムの出力を用いて、文の感情を分類するためにトレーニングされたＬＳＴＭネットワーク又はトレーニングされたＢｏＷネットワークのいずれかを選択する。決定システムは、文が言語的に複雑な文である場合、トレーニングされたＬＳＴＭネットワークを選択する。決定システムは、文が言語的に単純な文である場合、トレーニングされたＢｏＷネットワークを選択する。
【０１３３】
第１のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、第２のシステムの実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【０１３４】
他の実施形態は、上述したシステムの機能を実行するための、プロセッサにより実行可能な命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体を含み得る。さらに別の実施形態は、上述したシステムの機能を実行する方法を含み得る。
【０１３５】
開示されている技術の第３のシステムの実施形態は、並列に動作するプロセッサを有するシステムを含む。このシステムは、入力ごとに、分類タスクを実行するようにトレーニングされた第１のニューラルネットワークベースの分類器と分類タスクを実行するようにトレーニングされた第２のニューラルネットワークベースの分類器との間で選択する第３のニューラルネットワークベースの分類器を含む。この選択は、トレーニングされた第２のニューラルネットワークベースの分類器によってのみ正しく分類された入力とトレーニングセットにおける残りの入力とを区別するクラスラベルで注釈付けされたトレーニングセットについての第３のニューラルネットワークベースの分類器のトレーニングによって左右される。
【０１３６】
開示されている第３のシステムの実施形態及び他のシステムは、以下の特徴のうちの１つ以上を任意的に含む。システムはまた、開示されている方法に関連して説明されている特徴を含むこともある。簡潔にするために、システムの特徴の代替の組み合わせは、個々には列挙されない。システム、方法、及び製品に適用可能な特徴は、ベースとなる特徴の各法定分類セットについて繰り返されない。読者は、このセクションにおいて特定された特徴が他の法定分類におけるベースとなる特徴とどのように容易に組み合わせられ得るかを理解するであろう。
【０１３７】
残りの入力は、トレーニングされた第２のニューラルネットワークベースの分類器により誤って分類された入力と、トレーニングされた第１のニューラルネットワークベースの分類器及びトレーニングされた第２のニューラルネットワークベースの分類器の両方により正しく分類された入力と、を含む。
【０１３８】
第１のシステムの実施形態及び第２のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、第３のシステムの実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【０１３９】
他の実施形態は、上述したシステムの機能を実行するための、プロセッサにより実行可能な命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体を含み得る。さらに別の実施形態は、上述したシステムの機能を実行する方法を含み得る。
【０１４０】
開示されている技術の第１の方法の実施形態は、正確性を最大化し、計算コストを最小化するように、入力ごとに、機械分類タスクを実行するための候補となるニューラルネットワークベースの分類器のプールからニューラルネットワークベースの分類器を選択することを含む。この方法は、トレーニングセットを用いて、機械分類タスクを実行するための、プールにおける候補となるニューラルネットワークベースの分類器をトレーニングすることを含み、トレーニングセットは、機械分類タスク用に定義されたタスククラスラベルで注釈付けされたトレーニング入力を含む。これに続いて、この方法は、トレーニングされた候補となるニューラルネットワークベースの分類器を用いて、検証セットに対して機械分類タスクを実行することを含み、検証セットは、タスククラスラベルで注釈付けされた検証入力を含む。この方法は、トレーニングされたニューラルネットワークベースの分類器の性能に基づいて、混同行列を生成することを含む。混同行列は、プールにおける特定のトレーニングされた再帰型ニューラルネットワークベースの分類器によってのみ正しく推論された検証入力の第１のサブセットと、第１のサブセットにはない検証入力を含む検証入力の第２のサブセットと、を識別するために使用される。これに続いて、この方法は、特定のトレーニングされた再帰型ニューラルネットワークベースの分類器を識別する第１のモデルクラスラベルで、第１のサブセットにおける検証入力にラベル付けすることを含む。この方法はまた、プールにおける特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器を識別する第２のモデルクラスラベルで、第２のサブセットにおける検証入力にラベル付けすることを含む。これに続いて、この方法は、第１のサブセット及び第２のサブセットにおけるモデルクラスラベル付きの検証入力を、決定セットとして格納することを含む。最後に、この方法は、入力ごとに、第１のモデルクラスラベル及び第２のモデルクラスラベルについての確率を出力するように、決定セットを用いて、ニューラルネットワークベースの決定分類器をトレーニングすることを含む。出力確率は、特定のトレーニングされた再帰型ニューラルネットワークベースの分類器及び特定のトレーニングされた非再帰型ニューラルネットワークベースの分類器を選択するそれぞれの確度を特定する。
【０１４１】
第１のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、この方法の実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【０１４２】
他の実施形態は、上述した第１の方法を実行するための、プロセッサにより実行可能な命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体を含み得る。さらに別の実施形態は、メモリと、上述した第１の方法を実行するための、メモリに記憶されている命令を実行するよう動作可能な１つ以上のプロセッサと、を含むシステムを含み得る。
【０１４３】
開示されている技術のコンピュータ読み取り可能な媒体（ＣＲＭ）の実施形態は、コンピュータプログラム命令が与えられた非一時的なコンピュータ読み取り可能な記憶媒体であって、コンピュータプログラム命令がプロセッサ上で実行されたときに、コンピュータプログラム命令が、上述した方法を実施する、非一時的なコンピュータ読み取り可能な記憶媒体を含む。
【０１４４】
第１のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、このＣＲＭの実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【０１４５】
開示されている技術の第２の方法の実施形態は、トレーニングされた再帰型長短期記憶（略してＬＳＴＭ）ネットワーク、又は、文のトークンベクトル埋め込みを平均化することにより、文の平均ベクトル表現を生成するトレーニングされた単語袋詰め（略してＢｏＷ）ネットワークのいずれかを用いて、文に対して感情分類タスクを効率的に実行することを含む。この方法は、ポジティブな感情ラベル及びネガティブな感情ラベルで注釈付けされた検証文の、トレーニングされたＬＳＴＭネットワーク及びトレーニングされたＢｏＷネットワークの評価に基づいて、混同行列を生成することを含む。これに続いて、この方法は、混同行列を用いて、トレーニングされたＬＳＴＭネットワークによってのみ正しく分類された検証文のサブセットを識別することと、トレーニングされたＬＳＴＭネットワークを識別する第１のモデルラベルで、検証文のサブセットに注釈付けし、トレーニングされたＢｏＷネットワークを識別する第２のモデルラベルで、検証文の残りに注釈付けすることと、を含む。次いで、この方法は、モデル注釈付きの検証文を、決定セットに格納することを含む。最後に、この方法は、トレーニングされたＢｏＷネットワークを用いて、決定システムを構築することと、文の感情を分類するためにトレーニングされたＬＳＴＭネットワークを用いるか又はトレーニングされたＢｏＷネットワークを用いるかを特定する出力を生成するように、決定セットを用いて決定システムをトレーニングすることと、を含む。
【０１４６】
第２のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、この方法の実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【０１４７】
他の実施形態は、上述した第２の方法を実行するための、プロセッサにより実行可能な命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体を含み得る。さらに別の実施形態は、メモリと、上述した第２の方法を実行するための、メモリに記憶されている命令を実行するよう動作可能な１つ以上のプロセッサと、を含むシステムを含み得る。
【０１４８】
開示されている技術のコンピュータ読み取り可能な媒体（ＣＲＭ）の実施形態は、コンピュータプログラム命令が与えられた非一時的なコンピュータ読み取り可能な記憶媒体であって、コンピュータプログラム命令がプロセッサ上で実行されたときに、コンピュータプログラム命令が、上述した方法を実施する、非一時的なコンピュータ読み取り可能な記憶媒体を含む。
【０１４９】
第２のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、このＣＲＭの実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【０１５０】
開示されている技術の第３の方法の実施形態は、第３のニューラルネットワークベースの分類器を用いて、入力ごとに、分類タスクを実行するようにトレーニングされた第１のニューラルネットワークベースの分類器と分類タスクを実行するようにトレーニングされた第２のニューラルネットワークベースの分類器との間で選択することを含む。この選択は、トレーニングされた第２のニューラルネットワークベースの分類器によってのみ正しく分類された入力とトレーニングセットにおける残りの入力とを区別するクラスラベルで注釈付けされたトレーニングセットについての第３のニューラルネットワークベースの分類器のトレーニングによって左右される。
【０１５１】
第３のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、この方法の実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【０１５２】
他の実施形態は、上述した第３の方法を実行するための、プロセッサにより実行可能な命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体を含み得る。さらに別の実施形態は、メモリと、上述した第３の方法を実行するための、メモリに記憶されている命令を実行するよう動作可能な１つ以上のプロセッサと、を含むシステムを含み得る。
【０１５３】
開示されている技術のコンピュータ読み取り可能な媒体（ＣＲＭ）の実施形態は、コンピュータプログラム命令が与えられた非一時的なコンピュータ読み取り可能な記憶媒体であって、コンピュータプログラム命令がプロセッサ上で実行されたときに、コンピュータプログラム命令が、上述した方法を実施する、非一時的なコンピュータ読み取り可能な記憶媒体を含む。
【０１５４】
第３のシステムの実施形態について、特定の実施形態のこのセクションにおいて記載されている特徴の各々は、このＣＲＭの実施形態に等しく適用される。上記のように、システムの全ての特徴は、ここでは繰り返されず、参照により繰り返されるとみなされるべきである。
【図１】
2020511720.tif 000012
【図２Ａ】
2020511720.tif 000013
【図２Ｂ】
2020511720.tif 000014
【図３】
2020511720.tif 000015
【図４】
2020511720.tif 000016
【図５】
2020511720.tif 000017
【図６Ａ】
2020511720.tif 000018
【図６Ｂ】
2020511720.tif 000019
【図７Ａ】
2020511720.tif 000020
【図７Ｂ】
2020511720.tif 000021
【図８Ａ】
2020511720.tif 000022
【図８Ｂ】
2020511720.tif 000023
【図８Ｃ】
2020511720.tif 000024
【図８Ｄ】
2020511720.tif 000025
【図９】
2020511720.tif 000026
【図１０】
2020511720.tif 000027
【図１１】
2020511720.tif 000028
【図１２】
2020511720.tif 000029
【図１３】
2020511720.tif 000030
【図１４】
2020511720.tif 000031
【図１５】
2020511720.tif 000032
【図１６】
2020511720.tif 000033
【図１７】
2020511720.tif 000034
【手続補正書】
【提出日】令和1年9月18日(2019.9.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力に対して機械分類タスクを実行する、コンピュータにより実現される方法であって、
前記入力に対して前記機械分類タスクを実行する第１の非再帰型ニューラルネットワークを通じて、前記入力を処理することであって、前記第１の非再帰型ニューラルネットワークは、前記入力のベクトル埋め込みを平均化することにより、前記入力の平均ベクトル表現を生成する、処理することと、
前記入力に対して前記機械分類タスクを実行する第２の再帰型ニューラルネットワーク（ＲＮＮ）を通じて、前記入力をさらに処理することであって、前記第２のＲＮＮによる前記入力の処理は、前記第１の非再帰型ニューラルネットワークが、前記第１の非再帰型ニューラルネットワークによる前記入力の分類においてどれだけ確信しているかを条件としてなされる、さらに処理することと、
を含む、方法。
【請求項２】
前記第１の非再帰型ニューラルネットワークは、単語袋詰めネットワーク、連続単語袋詰めネットワーク、スキップグラムネットワーク、又は畳み込みニューラルネットワークを含み、
前記第２のＲＮＮは、長短期記憶ネットワーク、ゲート付き再帰型ユニットネットワーク、又は準再帰型ニューラルネットワークを含む、請求項１に記載の方法。
【請求項３】
前記機械分類タスクは、
品詞（ＰＯＳ）タグ付け、
チャンキング、
係り受け解析、
意味関連性、
テキスト含意、
音声認識、
機械翻訳、
テキスト要約、
質問回答、
画像キャプション付け、
テキストトゥスピーチ合成、
入力を、第１のクラス又は第２のクラスに分類すること、又は
文を、複数の感情クラスのうちの１つに分類すること
である、請求項１又は２に記載の方法。
【請求項４】
前記第１の非再帰型ニューラルネットワークが、前記第１の非再帰型ニューラルネットワークによる前記入力の分類においてどれだけ確信しているかが、閾値未満である場合、前記第２のＲＮＮを通じて、前記入力を処理することをさらに含む、請求項１乃至３のうちのいずれか一項に記載の方法。
【請求項５】
前記閾値は、単一の値である、請求項４に記載の方法。
【請求項６】
前記第１の非再帰型ニューラルネットワークが、前記第１の非再帰型ニューラルネットワークによる前記入力の分類においてどれだけ確信しているかが、２つの値の間の範囲内にある場合、前記第２のＲＮＮを通じて、前記入力を処理することをさらに含む、請求項１乃至３のうちのいずれか一項に記載の方法。
【請求項７】
前記第１の非再帰型ニューラルネットワークが、前記第１の非再帰型ニューラルネットワークによる前記入力の分類においてどれだけ確信しているかは、第１のクラス又は第２のクラスのいずれかに割り当てられる確率スコアを表す、請求項１乃至４のうちのいずれか一項に記載の方法。
【請求項８】
文に対して分類タスクを実行するように並列に動作するプロセッサを有するニューラルネットワークベースの自然言語処理システムであって、
第１の非再帰型ニューラルネットワーク手段であって、第１の非再帰型ニューラルネットワーク手段は、前記文を評価し、前記第１の非再帰型ニューラルネットワーク手段が、前記第１の非再帰型ニューラルネットワーク手段による前記文の感情の判別においてどれだけ確信しているかを特定する確信度スコアを生成し、前記第１の非再帰型ニューラルネットワーク手段は、前記文のベクトル埋め込みを平均化することにより、前記文の平均ベクトル表現を生成する、第１の非再帰型ニューラルネットワーク手段と、
前記第１の非再帰型ニューラルネットワーク手段により生成された前記確信度スコアを、閾値と比較し、該比較に基づいて、前記文が、第２の再帰型ニューラルネットワーク（ＲＮＮ）手段による補足的な評価を必要とするかどうかを判定するガイダ手段であって、
前記ガイダ手段は、前記確信度スコアが前記閾値未満である場合、前記第２のＲＮＮ手段を用いて、前記文の感情を分類することを決定し、
前記ガイダ手段は、前記確信度スコアが前記閾値を超える場合、前記第２のＲＮＮ手段による前記補足的な評価を必要とすることなく、前記分類タスクについて、前記第１の非再帰型ニューラルネットワーク手段により生成された前記確信度スコアに依拠することを決定する、
ガイダ手段と、
を有する、自然言語処理システム。
【請求項９】
前記文は、言語的に複雑であり、ネガティブな構成要素及びポジティブな構成要素の共起、又は、ネガティブな単語及び逆接接続詞の複数の発生を含む、請求項８に記載の自然言語処理システム。
【請求項１０】
前記第１の非再帰型ニューラルネットワーク手段は、単語袋詰めネットワーク、連続単語袋詰めネットワーク、スキップグラムネットワーク、又は畳み込みニューラルネットワークを含み、
前記第２のＲＮＮ手段は、長短期記憶ネットワーク、ゲート付き再帰型ユニットネットワーク、又は準再帰型ニューラルネットワークを含む、請求項８に記載の自然言語処理システム。
【請求項１１】
前記分類タスクは、
品詞（ＰＯＳ）タグ付け、
チャンキング、
係り受け解析、
意味関連性、
テキスト含意、
音声認識、
機械翻訳、
テキスト要約、
質問回答、
画像キャプション付け、
テキストトゥスピーチ合成、
入力を、第１のクラス又は第２のクラスに分類すること、又は
前記文を、複数の感情クラスのうちの１つに分類すること
である、請求項８乃至１０のうちのいずれか一項に記載の自然言語処理システム。
【請求項１２】
前記第１の非再帰型ニューラルネットワーク手段の前記確信度スコアが閾値未満である場合、前記第２のＲＮＮ手段を用いて、前記文の前記感情を分類することをさらに含む、請求項８乃至１１のうちのいずれか一項に記載の自然言語処理システム。
【請求項１３】
前記第１の非再帰型ニューラルネットワーク手段の前記確信度スコアが、２つの値の間の範囲内にある場合、前記第２のＲＮＮ手段を用いて、前記文の前記感情を分類することをさらに含む、請求項１２に記載の自然言語処理システム。
【請求項１４】
前記第１の非再帰型ニューラルネットワーク手段の前記確信度スコアは、第１のクラス又は第２のクラスのいずれかに割り当てられる確率スコアを表す、請求項８乃至１１のうちのいずれか一項に記載の自然言語処理システム。
【請求項１５】
請求項１乃至７のうちのいずれか一項に記載の方法を実行するためのコンピュータ実行可能な命令を有する非一時的なコンピュータ読み取り可能な媒体。
【国際調査報告】
2020511720.tif 000035
2020511720.tif 000036