【手続補正書】
【提出日】令和3年5月13日(2021.5.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
機械学習モデルのライフサイクルを管理する方法であって、
アノテーションなしデータのセットを受信することと、
前記アノテーションなしデータのサンプルのアノテーションを要求して、アノテーション付きデータのセットを生成することと、
前記アノテーション付きデータのセットに基づいて機械学習モデルを構築することと、
前記機械学習モデルをクライアントシステムに配備することであって、前記クライアントシステムにおいて本番アノテーションが生成される、前記配備することと、
生成された前記本番アノテーションを収集し、前記本番アノテーションを組み込んだ新たな機械学習モデルを生成することと、
前記アノテーション付きデータのセットに基づいて構築された前記機械学習モデル、または前記新たな機械学習モデルの一方を選択することと、
を含む、前記方法。
【請求項２】
適合率、再現率、平均適合率、受信者動作者特性スコア、またはＦベータスコアを含む、前記機械学習モデルの１つまたは複数の品質尺度を報告すること、
をさらに含む、請求項１に記載の方法。
【請求項３】
前記モデルを第三者と共有すること
をさらに含む、請求項１に記載の方法。
【請求項４】
サンプルのアノテーションを要求することは、
ユーザ入力または自動サンプラ選択に基づいて、前記アノテーションなしデータのセットからサンプルを選択すること
を含む、請求項１に記載の方法。
【請求項５】
前記ユーザ入力は、セマンティック検索、類似サンプルの選択、または前記アノテーションなしデータの視覚マップ上の選択のうちの１つまたは複数を含む、請求項４に記載の方法。
【請求項６】
前記自動サンプラ選択は、進行過程内の複数のサンプラのうちの１つからのものである、請求項４に記載の方法。
【請求項７】
前記複数のサンプラのそれぞれは、異なるサンプリングアルゴリズムを使用する、請求項６に記載の方法。
【請求項８】
前記それぞれのサンプリングアルゴリズムは、密度サンプリングアルゴリズム、エントロピーサンプリングアルゴリズム、推定誤差低減サンプリングアルゴリズム、網羅的なサンプリングアルゴリズム、フラグ付き予測アルゴリズム、ハードネガティブマイニングサンプリングアルゴリズム、高信頼度サンプリングアルゴリズム、線形サンプリングアルゴリズム、マップ可視化サンプリングアルゴリズム、メタデータ検索サンプリングアルゴリズム、最小マージンサンプリングアルゴリズム、クエリバイコミッティサンプリングアルゴリズム、ランダムサンプリングアルゴリズム、レビューサンプリングアルゴリズム、検索サンプリングアルゴリズム、類似性サンプリングアルゴリズム、前記入力がサンプルをスキップするものであったサンプルのサンプリングのタイプのアルゴリズム、層化サンプリングアルゴリズム、最も信頼性のあるサンプルのアルゴリズム、または最も不確実なサンプルのアルゴリズムから選択される、請求項７に記載の方法。
【請求項９】
前記進行過程は、前記複数のサンプラのうちのサンプラ間で連続的に変更されることを含む、請求項７に記載の方法。
【請求項１０】
前記複数のサンプラの各サンプラは、前記進行過程における前または次のサンプラのいずれに移動するかを決定する結果の期待分布を有する、請求項９に記載の方法。
【請求項１１】
モデル予測が誤っている所定数のサンプルアノテーションを受信すると、前記進行過程はサンプラ間で、前記進行過程における前のサンプラに変更される、請求項１０に記載の方法。
【請求項１２】
モデル予測が一致する所定数のサンプルアノテーションを受信すると、前記進行過程はサンプラ間で、前記進行過程における次のサンプラに変更される、請求項１０に記載の方法。
【請求項１３】
前記機械学習モデルを構築することは、共有モデルを受信し、中間モデルの重みを前記共有モデルの重みに初期化し、異なる学習率で訓練することを含む、請求項１に記載の方法。
【請求項１４】
前記アノテーションなしデータのサンプルのアノテーションを要求することは、テストデータのセットの網羅的なアノテーションを要求することを含む、請求項１に記載の方法。
【請求項１５】
前記テストデータのセットの前記網羅的なアノテーションは、密度サンプリング、レベルセットツリー、またはランダムサンプリングのうちの１つまたは複数を含む遠距離教師あり学習によって実行される、請求項１４に記載の方法。
【請求項１６】
前記アノテーションなしデータのサンプルのアノテーションを要求することは、前記アノテーションなしデータのセットからサンプルを選択するための、複数のサンプラからのサンプラの推奨をグラフィカルユーザインターフェース上に提示することを含む、請求項１に記載の方法。
【請求項１７】
前記グラフィカルユーザインターフェース上にデータ品質メトリック及びデータ数量メトリックを提示することをさらに含む、請求項１６に記載の方法。
【請求項１８】
前記データ数量メトリックは、いくつかの訓練されたサンプル、いくつかの正例、いくつかの負例、またはサンプルのクラスについて訓練されたいくつかのサンプルのうちの１つまたは複数を含む、請求項１７に記載の方法。
【請求項１９】
前記データ品質メトリックは、正解率、適合率、再現率、またはＦ１スコアのうちの１つまたは複数を含む、請求項１７に記載の方法。
【請求項２０】
グラフィカルユーザインターフェース上に、前記アノテーションなしデータのセットのアノテーションにわたる不一致を提示することをさらに含む、請求項１に記載の方法。
【請求項２１】
前記機械学習モデルを構築することは、前記機械学習モデルを確立するためのアルゴリズム及び損失関数を選択することを含む、請求項１に記載の方法。
【請求項２２】
前記アルゴリズムを選択することは、モデルタイプに基づく、請求項２１に記載の方法。
【請求項２３】
前記アノテーションなしデータのセットからアノテーションが付けられたアノテーション付き訓練データのセットでモデルを複数回訓練し、実行にわたる品質メトリックの分散を測定することによって、収束をテストすること、
をさらに含む、請求項２１に記載の方法。
【請求項２４】
前記品質メトリックは学習曲線の傾きを含む、請求項２３に記載の方法。
【請求項２５】
前記モデルは、所与のモデルタイプ及び前記アルゴリズムに対して選択されたデフォルトのハイパーパラメータを使用して訓練される、請求項２１に記載の方法。
【請求項２６】
前記ハイパーパラメータは、ランダム選択、グリッド探索、またはベイズ推定法のうちの１つまたは複数を使用して選択される、請求項２５に記載の方法。
【請求項２７】
ランダムシード、アルゴリズム選択、損失関数、ハイパーパラメータ、データセット分割、データセットハッシュ、またはクラス重みのうちの１つまたは複数が、前記モデルに対して記憶される、請求項２５に記載の方法。
【請求項２８】
前記機械学習モデルは、バージョン管理され、切り替えられ、またはロールバックされる、請求項１に記載の方法。
【請求項２９】
データドリフトまたはコンセプトドリフトを介してモデル間の変化を監視すること、
をさらに含む、請求項１に記載の方法。
【請求項３０】
コンセプトドリフトは、前記アノテーション付きデータのセットと前記本番アノテーションとの間でいくつかの変化した予測を定量化することに基づいてモデルを訓練することにより計算される、請求項２９に記載の方法。
【請求項３１】
データドリフトは、前記アノテーション付きデータのセットと前記本番アノテーションとの間のコーパス統計及び／またはコーパス比較に基づいて測定される、請求項２９に記載の方法。
【請求項３２】
データドリフトまたはコンセプトドリフトを識別した場合に警告が生成される、請求項２９に記載の方法。
【請求項３３】
前記データドリフトまたは前記コンセプトドリフトは、経時的なアノテーションなしデータに関するメトリック、または経時的なモデル予測に関するメトリックを含む、請求項３２に記載の方法。
【請求項３４】
前記モデルを共有することは、特徴ハッシュ化、暗号ハッシュ化、またはランダムプロジェクションのうちの１つまたは複数を実行することを含む、請求項３に記載の方法。
【請求項３５】
前記モデルを共有することは、前記モデルの勾配更新を共有することを含む、請求項３に記載の方法。
【請求項３６】
前記勾配更新は、計算グラフのレイヤに加算される、請求項３５に記載の方法。
【請求項３７】
前記モデルを共有することは、１つまたは複数のモデル資産を共有することを含む、請求項３に記載の方法。
【請求項３８】
前記１つまたは複数のモデル資産は、データセットで訓練された単語埋め込み、単語ベクトル、アノテーションのセット、キーワード及びフレーズのリスト、例文のリスト、言語モデル、辞書、ならびに訓練されたモデル、及びモデルアーキテクチャを含む、請求項３７に記載の方法。
【請求項３９】
前記１つまたは複数のモデル資産は、個人を特定可能な情報がサニタイズされる、請求項３８に記載の方法。
【請求項４０】
前記進行過程は、シードサンプラからハードネガティブサンプラ、層化サンプラ、不確実性サンプラへと進むことを含む、請求項６に記載の方法。
【請求項４１】
サンプルのアノテーションを要求することは、アノテーションフィードバックのためにグラフィカルユーザインターフェース上にユーザに質問を提示することを含む、請求項１に記載の方法。
【請求項４２】
前記アノテーションなしデータのサンプルに対して１つまたは複数のアノテーションを予測することをさらに含む、請求項１に記載の方法。
【請求項４３】
前記１つまたは複数のアノテーションの前記予測は、前記アノテーションなしデータのサンプルのアノテーションを要求する前である、請求項４２に記載の方法。
【請求項４４】
前記予測された１つまたは複数のアノテーションをサンプリングスコアに基づいて優先度キューに記憶することをさらに含む、請求項４２に記載の方法。
【請求項４５】
前記サンプリングスコアは、前記予測された１つまたは複数のアノテーションの信頼度スコアである、請求項４４に記載の方法。
【請求項４６】
前記予測された１つまたは複数のアノテーションを前記優先度キューに記憶する前に、前記サンプリングスコアが閾値サンプリングスコアより大きいか否かを判定することをさらに含む、請求項４４に記載の方法。
【請求項４７】
前記閾値サンプリングスコア未満であると判定されたサンプリングスコアを有する予測を破棄することをさらに含む、請求項４６に記載の方法。
【請求項４８】
前記優先度キューは、所定の最大数の予測を記憶する、請求項４４に記載の方法。
【請求項４９】
前記予測を前記優先度キューに記憶する前に、前記優先度キューに記憶されたいくつかの予測が前記予測の所定の最大数未満であると判定することをさらに含む、請求項４４に記載の方法。
【請求項５０】
前記予測を前記優先度キューに記憶する前に、前記サンプリングスコアが、前記優先度キュー内の少なくとも１つの以前に記憶された予測よりも大きいと判定することをさらに含む、請求項４４に記載の方法。
【請求項５１】
最も低いサンプリングスコアを有する、前記優先度キュー内の以前に記憶された予測を破棄することをさらに含む、請求項４４に記載の方法。
【請求項５２】
前記アノテーションなしデータのサンプルのアノテーションを要求することは、複数の優先度キューの中から前記優先度キューを選択することを含む、請求項４４に記載の方法。
【請求項５３】
機械学習モデルのライフサイクルを管理するためのシステムであって、
プロセッサと、
前記プロセッサに結合され、コンピュータ可読命令を記憶する非一時的メモリデバイスであって、前記コンピュータ可読命令は、前記プロセッサより実行された場合に、前記システムに機能を実行させ、前記機能は、
アノテーションなしデータのセットを受信することと、
前記アノテーションなしデータのサンプルのアノテーションを要求して、アノテーション付きデータのセットを生成することと、
前記アノテーション付きデータのセットに基づいて機械学習モデルを構築することと、
前記機械学習モデルをクライアントシステムに配備することであって、前記クライアントシステムにおいて本番アノテーションが生成される、前記配備することと、
生成された前記本番アノテーションを収集し、前記本番アノテーションを組み込んだ新たな機械学習モデルを生成することと、
前記アノテーション付きデータのセットに基づいて構築された前記機械学習モデル、または前記新たな機械学習モデルの一方を選択することと、
を含む、前記非一時的メモリデバイスと、
を備える、前記システム。
【請求項５４】
前記システムによって実行される前記機能は、
適合率、再現率、平均適合率、受信者動作者特性スコア、またはＦベータスコアを含む、前記機械学習モデルの１つまたは複数の品質尺度を報告すること、
をさらに含む、請求項５３に記載のシステム。
【請求項５５】
前記システムによって実行される前記機能は、
前記モデルを第三者と共有すること、
をさらに含む、請求項５３に記載のシステム。
【請求項５６】
サンプルのアノテーションを要求することは、
ユーザ入力または自動サンプラ選択に基づいて、前記アノテーションなしデータのセットからサンプルを選択すること、
を含む、請求項５３に記載のシステム。
【請求項５７】
前記ユーザ入力は、セマンティック検索、類似サンプルの選択、または前記アノテーションなしデータの視覚マップ上の選択のうちの１つまたは複数を含む、請求項５６に記載のシステム。
【請求項５８】
前記自動サンプラ選択は、進行過程内の複数のサンプラのうちの１つからのものである、請求項５６に記載のシステム。
【請求項５９】
前記複数のサンプラのそれぞれは、異なるサンプリングアルゴリズムを使用する、請求項５８に記載のシステム。
【請求項６０】
前記それぞれのサンプリングアルゴリズムは、密度サンプリングアルゴリズム、エントロピーサンプリングアルゴリズム、推定誤差低減サンプリングアルゴリズム、網羅的なサンプリングアルゴリズム、フラグ付き予測アルゴリズム、ハードネガティブマイニングサンプリングアルゴリズム、高信頼度サンプリングアルゴリズム、線形サンプリングアルゴリズム、マップ可視化サンプリングアルゴリズム、メタデータ検索サンプリングアルゴリズム、最小マージンサンプリングアルゴリズム、クエリバイコミッティサンプリングアルゴリズム、ランダムサンプリングアルゴリズム、レビューサンプリングアルゴリズム、検索サンプリングアルゴリズム、類似性サンプリングアルゴリズム、前記入力がサンプルをスキップするものであったサンプルのサンプリングのタイプのアルゴリズム、層化サンプリングアルゴリズム、最も信頼性のあるサンプルのアルゴリズム、または最も不確実なサンプルのアルゴリズムから選択される、請求項５９に記載のシステム。
【請求項６１】
前記進行過程は、前記複数のサンプラのうちのサンプラ間で連続的に変更されることを含む、請求項５８に記載のシステム。
【請求項６２】
前記複数のサンプラの各サンプラは、前記進行過程における前または次のサンプラのいずれに移動するかを決定する結果の期待分布を有する、請求項６１に記載のシステム。
【請求項６３】
モデル予測が誤っている所定数のサンプルアノテーションを受信すると、前記進行過程はサンプラ間で、前記進行過程における前のサンプラに変更される、請求項６２に記載のシステム。
【請求項６４】
モデル予測が一致する所定数のサンプルアノテーションを受信すると、前記進行過程はサンプラ間で、前記進行過程における次のサンプラに変更される、請求項５８に記載のシステム。
【請求項６５】
前記機械学習モデルを構築することは、共有モデルを受信し、中間モデルの重みを前記共有モデルの重みに初期化し、異なる学習率で訓練することを含む、請求項５３に記載のシステム。
【請求項６６】
前記アノテーションなしデータのサンプルのアノテーションを要求することは、テストデータのセットの網羅的なアノテーションを要求することを含む、請求項５３に記載のシステム。
【請求項６７】
前記テストデータのセットの前記網羅的なアノテーションは、密度サンプリング、レベルセットツリー、またはランダムサンプリングのうちの１つまたは複数を含む遠距離教師あり学習によって実行される、請求項６６に記載のシステム。
【請求項６８】
前記アノテーションなしデータのサンプルのアノテーションを要求することは、前記アノテーションなしデータのセットからサンプルを選択するための、複数のサンプラからのサンプラの推奨をグラフィカルユーザインターフェース上に提示することを含む、請求項５３に記載のシステム。
【請求項６９】
前記システムによって実行される前記機能は、前記グラフィカルユーザインターフェース上にデータ品質メトリック及びデータ数量メトリックを提示することをさらに含む、請求項６８に記載のシステム。
【請求項７０】
前記データ数量メトリックは、いくつかの訓練されたサンプル、いくつかの正例、いくつかの負例、またはサンプルのクラスについて訓練されたいくつかのサンプルのうちの１つまたは複数を含む、請求項６９に記載のシステム。
【請求項７１】
前記データ品質メトリックは、正解率、適合率、再現率、またはＦ１スコアのうちの１つまたは複数を含む、請求項６９に記載のシステム。
【請求項７２】
前記システムによって実行される前記機能は、グラフィカルユーザインターフェース上に、前記アノテーションなしデータのセットのアノテーションにわたる不一致を提示することをさらに含む、請求項５３に記載のシステム。
【請求項７３】
前記機械学習モデルを構築することは、前記機械学習モデルを確立するためのアルゴリズム及び損失関数を選択することを含む、請求項５３に記載のシステム。
【請求項７４】
前記アルゴリズムを選択することは、モデルタイプに基づく、請求項７３に記載のシステム。
【請求項７５】
前記システムによって実行される前記機能は、
前記アノテーションなしデータのセットからアノテーションが付けられたアノテーション付き訓練データのセットでモデルを複数回訓練し、実行にわたる品質メトリックの分散を測定することによって、収束をテストすること、
をさらに含む、請求項７３に記載のシステム。
【請求項７６】
前記品質メトリックは学習曲線の傾きを含む、請求項６９に記載のシステム。
【請求項７７】
前記機械学習モデルは、所与のモデルタイプ及び前記アルゴリズムに対して選択されたデフォルトのハイパーパラメータを使用して訓練される、請求項７３に記載のシステム。
【請求項７８】
前記ハイパーパラメータは、ランダム選択、グリッド探索、またはベイズ推定法のうちの１つまたは複数を使用して選択される、請求項７７に記載のシステム。
【請求項７９】
ランダムシード、アルゴリズム選択、損失関数、ハイパーパラメータ、データセット分割、データセットハッシュ、またはクラス重みのうちの１つまたは複数が、前記モデルに対して記憶される、請求項７７記載のシステム。
【請求項８０】
前記機械学習モデルは、バージョン管理され、切り替えられ、またはロールバックされる、請求項５３に記載のシステム。
【請求項８１】
前記システムによって実行される前記機能は、
データドリフトまたはコンセプトドリフトを介してモデル間の変化を監視すること、
をさらに含む、請求項５３に記載のシステム。
【請求項８２】
コンセプトドリフトは、前記アノテーション付きデータのセットと前記本番アノテーションとの間でいくつかの変化した予測を定量化することに基づいてモデルを訓練することにより計算される、請求項８１に記載のシステム。
【請求項８３】
データドリフトは、前記アノテーション付きデータのセットと前記本番アノテーションとの間のコーパス統計及び／またはコーパス比較に基づいて測定される、請求項８１に記載のシステム。
【請求項８４】
データドリフトまたはコンセプトドリフトを識別した場合に警告が生成される、請求項８１に記載のシステム。
【請求項８５】
前記データドリフトまたは前記コンセプトドリフトは、経時的なアノテーションなしデータに関するメトリック、または経時的なモデル予測に関するメトリックを含む、請求項８１に記載のシステム。
【請求項８６】
前記モデルを共有することは、特徴ハッシュ化、暗号ハッシュ化、またはランダムプロジェクションのうちの１つまたは複数を実行することを含む、請求項５５に記載のシステム。
【請求項８７】
前記モデルを共有することは、前記モデルの勾配更新を共有することを含む、請求項５５に記載のシステム。
【請求項８８】
前記勾配更新は、計算グラフのレイヤに加算される、請求項８７に記載のシステム。
【請求項８９】
前記モデルを共有することは、１つまたは複数のモデル資産を共有することを含む、請求項５５に記載のシステム。
【請求項９０】
前記１つまたは複数のモデル資産は、データセットで訓練された単語埋め込み、単語ベクトル、アノテーションのセット、キーワード及びフレーズのリスト、例文のリスト、言語モデル、辞書、ならびに訓練されたモデル、及びモデルアーキテクチャを含む、請求項８９に記載のシステム。
【請求項９１】
前記１つまたは複数のモデル資産は、個人を特定可能な情報がサニタイズされる、請求項８９に記載のシステム。
【請求項９２】
前記進行過程は、シードサンプラからハードネガティブサンプラ、層化サンプラ、不確実性サンプラへと進むことを含む、請求項５８に記載のシステム。
【請求項９３】
サンプルのアノテーションを要求することは、アノテーションフィードバックのためにグラフィカルユーザインターフェース上にユーザに質問を提示することを含む、請求項５３に記載のシステム。
【請求項９４】
前記アノテーションなしデータのサンプルに対して１つまたは複数のアノテーションを予測することをさらに含む、請求項５３に記載のシステム。
【請求項９５】
前記１つまたは複数のアノテーションの前記予測は、前記アノテーションなしデータのサンプルのアノテーションを要求する前である、請求項９４に記載のシステム。
【請求項９６】
前記システムによって実行される前記機能は、前記予測された１つまたは複数のアノテーションをサンプリングスコアに基づいて優先度キューに記憶することをさらに含む、請求項９４に記載のシステム。
【請求項９７】
前記サンプリングスコアは、前記予測された１つまたは複数のアノテーションの信頼度スコアである、請求項９６に記載のシステム。
【請求項９８】
前記システムによって実行される前記機能は、前記予測された１つまたは複数のアノテーションを前記優先度キューに記憶する前に、前記サンプリングスコアが閾値サンプリングスコアより大きいか否かを判定することをさらに含む、請求項９６に記載のシステム。
【請求項９９】
前記システムによって実行される前記機能は、前記閾値サンプリングスコア未満であると判定されたサンプリングスコアを有する予測を破棄することをさらに含む、請求項９８に記載のシステム。
【請求項１００】
前記優先度キューは、所定の最大数の予測を記憶する、請求項９６に記載のシステム。
【請求項１０１】
前記システムによって実行される前記機能は、前記予測を前記優先度キューに記憶する前に、前記優先度キューに記憶されたいくつかの予測が前記予測の所定の最大数未満であると判定することをさらに含む、請求項１００に記載のシステム。
【請求項１０２】
前記システムによって実行される前記機能は、前記予測を前記優先度キューに記憶する前に、前記サンプリングスコアが、前記優先度キュー内の少なくとも１つの以前に記憶された予測よりも大きいと判定することをさらに含む、請求項９８に記載のシステム。
【請求項１０３】
前記システムによって実行される前記機能は、最も低いサンプリングスコアを有する、前記優先度キュー内の以前に記憶された予測を破棄することをさらに含む、請求項９６に記載のシステム。
【請求項１０４】
前記アノテーションなしデータのサンプルのアノテーションを要求することは、複数の優先度キューの中から前記優先度キューを選択することを含む、請求項９５に記載のシステム。