(57)【要約】本発明においては、自動多閾値特徴フィルタリング方法及びその装置が開示される。機械学習モデルを訓練する反復方法においては、特徴フィルタリング方法は、以前の反復の結果に基づいて、特徴フィルタリング閾値及び現在の反復巡回の特徴相関値を計算し、計算された特徴フィルタリング閾値及び計算された特徴相関値に基づいて、サンプルに関する特徴フィルタリングを行う。本発明の特徴フィルタリング装置は、計算モジュールと、特徴フィルタリングモジュールとを含む。本発明の方法及び装置は、各反復において異なる特徴フィルタリング閾値を自動的に生成することができ、それにより、フィルタリング閾値の正確さが大きく改善され、昨今の固定された単一の閾値と比較して、自動機械学習の訓練速度、及び機械学習モデルの正確さが大きく向上し得る。
2019513265.tif 000002
【特許請求の範囲】
【請求項１】
機械学習モデルの訓練中、サンプルデータに関する特徴フィルタリングを行うための自動多閾値特徴フィルタリング方法であって、
以前の反復巡回の結果に基づいて、特徴フィルタリング閾値及び現在の反復巡回の特徴相関値を計算することと、
計算される前記特徴フィルタリング閾値及び前記特徴相関値に基づいて、サンプルについての特徴フィルタリングを行うことと
を含む、前記自動多閾値特徴フィルタリング方法。
【請求項２】
前記特徴フィルタリング閾値が、前記以前の反復巡回でサンプルデータにおける様々な次元特徴について取得された勾配の中の最大勾配とサンプルデータ量との比率である、請求項１に記載の自動多閾値特徴フィルタリング方法。
【請求項３】
前記以前の反復巡回の前記結果に基づいて、前記現在の反復巡回の前記特徴相関値を計算することが、
前記以前の反復巡回の前記結果に基づいて、前記現在の反復巡回の前記サンプルデータの各次元特徴の勾配を計算することと、
各次元特徴の前記勾配に従って、対応する特徴相関値を計算することと
を含む、請求項２に記載の自動多閾値特徴フィルタリング方法。
【請求項４】
各次元特徴の前記特徴相関値が、それぞれの次元に関連付けられる勾配の一次関数である、請求項３に記載の自動多閾値特徴フィルタリング方法。
【請求項５】
計算される前記特徴フィルタリング閾値及び前記特徴相関値に基づいて、前記サンプルについての特徴フィルタリングを行うことは、前記それぞれの次元特徴の相関値がそれぞれの次元の特徴フィルタリング閾値よりも小さい場合、その後の反復の計算への関与からそれぞれの次元特徴をフィルタリングすること、または
そうでない場合、前記その後の反復の前記計算を継続するように前記それぞれの次元特徴を維持すること
を含む、請求項１に記載の自動多閾値特徴フィルタリング方法。
【請求項６】
機械学習モデルの訓練中、サンプルデータに関する特徴フィルタリングを行うための自動多閾値特徴フィルタリング装置であって、
以前の反復巡回の結果に基づいて、特徴フィルタリング閾値及び現在の反復巡回の特徴相関値を計算するように構成された計算モジュールと、
計算される前記特徴フィルタリング閾値及び前記特徴相関値に基づいて、サンプルについての特徴フィルタリングを行うように構成された特徴フィルタリングモジュールと
を備える、前記自動多閾値特徴フィルタリング装置。
【請求項７】
前記特徴フィルタリング閾値が、前記以前の反復巡回でサンプルデータにおける様々な次元特徴について取得された勾配の中の最大勾配とサンプルデータ量との比率である、請求項６に記載の自動多閾値特徴フィルタリング装置。
【請求項８】
前記計算モジュールが、前記以前の反復巡回の前記結果に基づいて、前記現在の反復巡回の前記特徴相関値を計算するとき、次のステップ、すなわち、
前記以前の反復巡回の前記結果に基づいて、前記現在の反復巡回の前記サンプルデータの各次元特徴の勾配を計算するステップと、
各次元特徴の前記勾配に従って、対応する特徴相関値を計算するステップと
が行われる、請求項７に記載の自動多閾値特徴フィルタリング装置。
【請求項９】
各次元特徴の前記特徴相関値が、それぞれの次元に関連付けられる勾配の一次関数である、請求項８に記載の自動多閾値特徴フィルタリング装置。
【請求項１０】
前記特徴フィルタリングモジュールが、計算される前記特徴フィルタリング閾値及び前記特徴相関値に基づいて、前記サンプルについての特徴フィルタリングを行い、次のステップ、すなわち、
前記それぞれの次元特徴の相関値がそれぞれの次元の特徴フィルタリング閾値よりも小さい場合、その後の反復の計算への関与からそれぞれの次元特徴をフィルタリングするステップ、または
そうでない場合、前記その後の反復の前記計算を継続するように前記それぞれの次元特徴を維持するステップ
を行う、請求項６に記載の自動多閾値特徴フィルタリング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、参照によって全体が本明細書に組み込まれている「Ａｕｔｏｍａｔｉｃ  Ｍｕｌｔｉ−Ｔｈｒｅｓｈｏｌｄ  Ｆｅａｔｕｒｅ  Ｆｉｌｔｅｒｉｎｇ  Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ」と題された２０１６年３月１７日に出願の中国特許出願第２０１６１０１５４２９６．１号に対する優先権を主張するものである。
【０００２】
本出願は、人工知能テクノロジーの技術分野に関し、詳細には、自動多閾値特徴フィルタリング方法及び装置に関する。
【背景技術】
【０００３】
超大規模機械学習アルゴリズムは、現在のインターネット企業が、検索クエリランキング、インターネット広告クリック率予測、製品個人向け推奨、音声認識、及び質問に対する知的回答などのシステムを実装するための基本技術支援である。データ規模が拡大し続けることにより、アルゴリズムアプリケーションの効果が向上し、また大規模データ処理に対する大きな論理的課題と工学的課題が同時にもたらされた。高効率データ処理は、インターネット・ビッグデータアプリケーションのコアテクノロジーになっている。
【０００４】
インターネットデータは、つねに非常に疎である。そのため、インターネットデータを使用する機械学習モデルを訓練した後、疎なモデルが取得され、疎なモデルにより、その後のストレージ及び予測は容易になる。きわめて疎なインターネットデータの訓練において非常に効率的な特徴フィルタリングアルゴリズムを使用すると、不適切な特徴及び冗長的な特徴を効果的に取り除くことができ、それにより、学習アルゴリズムの一般化性能及び作業効率が改善し、機械学習モデルの訓練の大きな助けになる。
【０００５】
インターネット企業が機械学習モデルを訓練するために使用する大規模データは、一般に、いくつかのサンプルデータから構成される。各サンプルは、固定された数の特徴セットによって形成される。一実施例が、次のように与えられる。
サンプル特徴：｛特徴＿１、特徴＿２、…、特徴＿ｎ｝
【０００６】
インターネット・ビッグデータサンプルの特徴は非常に疎であり、特徴のほとんどはゼロであるので、特定の特徴をその後のモデル訓練の関与からフィルタ除去するために、特定の機構が適用され得る。これにより、機械学習モデルの訓練効率が大きく高められることになる。
【０００７】
既存の特徴フィルタリング方法は、通常、固定された閾値を手動で設定することによってフィルタリングを行う。たとえば、
固定されたフィルタ閾値ｒを設定する、
サンプルデータに基づいて勾配ｇを計算する、
特定の次元及び他のモデルパラメータにおける勾配値ｇｉに基づいて値ｘを計算し、ｘとｒのサイズを比較し、ｘがｒよりも小さい場合、その次元における特徴をフィルタリングする。
【０００８】
わかり得るように、既存の特徴フィルタリング方法におけるフィルタリングに使用される閾値については、手動で指定する必要がある。そのため、フィルタリングの効果は人間の経験に強く依存し、フィルタリングの閾値がサンプルデータに従って自動的に調整され得ないのでフィルタリング効果は不安定であり、その結果、訓練を通じて取得されるモデル予測の正確さが低下する。さらには、固定される閾値は１つしかなく、この閾値は、訓練条件に基づいて動的に調整不可能であり、したがって、すべての特徴を十分にフィルタリングすることができない。閾値の値が十分に確定されないので、訓練によって得られる機械学習モデルは信頼性を欠くことになり、閾値が適切に選択されない場合、予測の正確さは低下することになる。
【発明の概要】
【０００９】
本発明の目的は、固定された閾値を使用して特徴フィルタリングを行うことしかできず、その結果、訓練が非効率的である、及び訓練を通じて取得される機械学習モデルが不正確であるという問題をきたす既存のテクノロジーの特徴フィルタリング方法を解決するために、自動多閾値特徴フィルタリング方法及びその装置を提供することである。
【００１０】
上記目的を達成するために、本発明の技術的解決策は、次のように与えられる。
【００１１】
本発明は、機械学習モデルの訓練中、サンプルデータに関する特徴フィルタリングを行うための自動多閾値特徴フィルタリング方法を提供し、この特徴フィルタリング方法は、以前の反復巡回の結果に基づいて、特徴フィルタリング閾値及び現在の反復巡回の特徴相関値を計算することと、計算される特徴フィルタリング閾値及び特徴相関値に基づいて、サンプルについての特徴フィルタリングを行うこととを含む。
【００１２】
さらには、特徴フィルタリング閾値は、以前の反復巡回でサンプルデータにおける様々な次元特徴について取得された勾配の中の最大勾配とサンプルデータ量との比率である。
【００１３】
さらには、以前の反復巡回の結果に基づいて、現在の反復巡回の特徴相関値を計算することは、以前の反復巡回の結果に基づいて、現在の反復巡回のサンプルデータの各次元特徴の勾配を計算することと、各次元特徴の勾配に従って、対応する特徴相関値を計算することとを含む。
【００１４】
さらには、各次元特徴の特徴相関値は、それぞれの次元に関連付けられる勾配の一次関数である。
【００１５】
さらには、計算される特徴フィルタリング閾値及び特徴相関値に基づいて、サンプルについての特徴フィルタリングを行うことは、それぞれの次元特徴の相関値がそれぞれの次元の特徴フィルタリング閾値よりも小さい場合、その後の反復の計算への関与からそれぞれの次元特徴をフィルタリングすること、またはそうでない場合、その後の反復の計算を継続するようにそれぞれの次元特徴を維持することを含む。
【００１６】
本発明はまた、機械学習モデルの訓練中、サンプルデータに関する特徴フィルタリングを行うための自動多閾値特徴フィルタリング装置を提供する。この特徴フィルタリング装置は、以前の反復巡回の結果に基づいて、特徴フィルタリング閾値及び現在の反復巡回の特徴相関値を計算するように構成された計算モジュールと、計算される特徴フィルタリング閾値及び特徴相関値に基づいて、サンプルについての特徴フィルタリングを行うように構成された特徴フィルタリングモジュールとを含む。
【００１７】
さらには、特徴フィルタリング閾値は、以前の反復巡回でサンプルデータにおける様々な次元特徴について取得された勾配の中の最大勾配とサンプルデータ量との比率である。
【００１８】
さらには、計算モジュールが、以前の反復巡回の結果に基づいて、現在の反復巡回の特徴相関値を計算するとき、次のステップ、すなわち、以前の反復巡回の結果に基づいて、現在の反復巡回のサンプルデータの各次元特徴の勾配を計算するステップと、各次元特徴の勾配に従って、対応する特徴相関値を計算するステップとが行われる。
【００１９】
さらには、各次元特徴の特徴相関値は、それぞれの次元に関連付けられる勾配の一次関数である。
【００２０】
さらには、特徴フィルタリングモジュールは、計算される特徴フィルタリング閾値及び特徴相関値に基づいて、サンプルについての特徴フィルタリングを行い、次のステップ、すなわち、それぞれの次元特徴の相関値がそれぞれの次元の特徴フィルタリング閾値よりも小さい場合、その後の反復の計算への関与からそれぞれの次元特徴をフィルタリングするステップ、またはそうでない場合、その後の反復の計算を継続するようにそれぞれの次元特徴を維持するステップを行う。
【００２１】
本発明は、自動多閾値特徴フィルタリング方法及びその装置を提供し、この自動多閾値特徴フィルタリング方法及びその装置は、特徴フィルタリングに向けて単一の閾値の既存の手動設定を打開し、サンプルデータの各バッチの反復結果に従って特徴をフィルタリングするために多閾値を自動的に計算することが可能である。これにより、訓練の速度、及び訓練を通じて取得される機械学習モデルの正確さが大きく向上する。
【図面の簡単な説明】
【００２２】
【図１】本発明による自動多閾値特徴フィルタリング方法のフローチャートである。
【図２】本発明による自動多閾値特徴フィルタリング装置の概略的な構造図である。
【発明を実施するための形態】
【００２３】
本発明の技術的な解決策について添付の図面及び実施形態を参照して本明細書に以降詳細に説明する。次の実施形態は、本発明を限定するものではない。
【００２４】
インターネットサービスは、ユーザの生データを大量に有する。たとえば、広告クリックならびに製品推奨サービスにおけるクリック率及び製品推奨の正確さを高めるには、機械学習モデルが大量の生サンプルデータを使用して訓練される。サンプルデータは、価格、商品カテゴリなどの多次元特徴を有する。これらの特徴は、改善に対して異なった効果を与える。いくつかの特徴は、改善に対してまったく効果を与えない場合がある。これらの特徴はフィルタ除去され得、効果的な特徴は維持される。これらの維持された特徴は、最終的には、訓練を通じて異なる重みを得る。これらの重みは、取得される機械学習モデルに対応するモデルパラメータである。機械学習モデルを訓練する方法においては、機械学習モデルに対応するモデルパラメータを継続的な反復計算を通じて取得する必要がある。本発明の概括的な概念は、機械学習モデルの訓練の反復ごとに現在のモデルパラメータに基づいて特徴フィルタリング値を計算し、計算された特徴フィルタリング値を使用して特徴フィルタリングを行うことである。
【００２５】
図１に示されているように、本実施形態の自動多閾値特徴フィルタリング方法は、
ステップＳ１：以前の反復巡回の結果に基づいて、特徴フィルタリング閾値及び現在の反復巡回の特徴相関値を計算する。
【００２６】
本実施形態は、一実施例として機械学習の典型的な方法を使用する。機械学習モデルの推定関数は、
ｈθ（ｘ）＝θ0＋θ1ｘ1＋・・・＋θnｘn        式１
であると仮定され、ただし、θは、モデルパラメータであり、ｘは、サンプル特徴であり、θとｘは、ともにベクトルである。ｘiは、ｉ番目の次元特徴である。
【００２７】
機械学習においては、θがより良いかどうかを評価するために、損失関数も定義され、θは、最小値Ｊ（θ）を取得するために調整される。この目的を達成するには、最終的にＪ（θ）を最小化するθの値をとる収束まで、最小二乗法または勾配降下法に従って反復を行う必要がある。
【００２８】
本実施形態においては、勾配降下法が一実施例として使用される。勾配ｇkのｋ番目の巡回を計算するための式が、次のように与えられる：
ｇk＝∂Ｊ（θ）／∂θ(k-1)          式２
【００２９】
機械学習モデルの訓練方法、及び勾配降下法については、本明細書では繰り返さない。本実施形態は、上記方法の反復結果を使用して、特徴フィルタリング閾値を計算する。計算方法の詳細は、次のように与えられる。
【００３０】
ｋ番目の巡回の特徴フィルタリング閾値がｒkであることを仮定する。
【００３１】
【数１】
2019513265.tif 000003
【００３２】
ｌは、サンプル数であり、ｇ(k-1)iは、ｋ−１番目の巡回のｉ番目の次元特徴に対応する勾配値である。
【００３３】
本実施形態が、生サンプルデータのサンプルサイズｌ及び勾配ｇkに基づいて特徴フィルタリング閾値ｒkを計算し、そのような計算が、特定のアルゴリズムによるのではなく、種々のアルゴリズムによって実施され得ることに留意すべきである。たとえば、計算は、勾配ｇk及びサンプル特徴の次元に従って行われても、または勾配ｇk及びサンプル特徴の突極性パラメータに従って計算されてもよく、これらについては、本明細書には網羅的に記載しない。
【００３４】
同様に、本実施形態はまた、ｋ番目の巡回のｉ番目の特徴に対応する特徴相関値ｓkiを計算する必要がある。計算式は、次のように与えられる
ｓki＝ｇki＋δ          式４
ただし、δは、固定された定数である。わかり得るように、本実施形態の特徴フィルタリング閾値ｒkは、以前の巡回の勾配ｇ(k-1)iに基づいて計算され、特徴相関値は、現在の巡回の勾配ｇkに従って計算される。各次元特徴の特徴相関値は、各次元の勾配の一次関数である。
【００３５】
このために、まず式２に従って、現在の反復巡回の勾配ｇkを計算する必要があり、勾配の計算については、本明細書では繰り返さない。１番目の反復巡回においては、以前の巡回の以前の勾配データが１つも存在しないので、特徴フィルタリングはまったく行われない。
【００３６】
本実施形態における特徴フィルタリング閾値と特徴相関値との計算パラメータを統一する必要があることに留意すべきである。言い換えれば、特徴フィルタリング閾値が勾配に従って計算される場合、特徴相関値もまた、勾配に従って計算される。しかしながら、特定の計算式が、異なる訓練モデルに従って異なって考案されてもよく、同じモデルの訓練であってもやはり異なって考案されてもよい。たとえば、ロジスティック回帰（ＬＲ：Ｌｏｇｉｓｔｉｃ  Ｒｅｇｒｅｓｓｉｏｎ）モデル訓練、すなわち、固定された閾値フィルタリング特徴のＫＫＴ法においては、相関値を計算するための式は、ｓi＝ｇi+δである。これと本実施形態の特徴相関値との差は、異なる特徴相関値が、各反復巡回について計算されることである。本発明は、特徴フィルタリング閾値及び特徴相関値を計算する特定の方法に限定されない。
【００３７】
ステップＳ２：計算された特徴フィルタリング閾値及び特徴相関値に基づいて、サンプルに関する特徴フィルタリングを行う。
【００３８】
ステップＳ１において、特徴フィルタリング閾値及び特徴相関値が計算されている。このステップにおいては、特徴は、特徴フィルタリング閾値ｇkiとフィルタリング閾値ｓkiの大きさを比較することによってフィルタリングされる。具体的には、
ｓkiがｇki未満である場合、ｉ番目の次元特徴は、フィルタリング除去され、その後の計算に関与しない。そうでない場合、ｉ番目の次元特徴は、維持され、その後の計算への関与を継続する。
【００３９】
特徴フィルタリング後、生サンプルデータのいくつかの次元は、フィルタリング除去され、フィルタリングされたデータは、反復終了条件に達するまで、次の反復巡回のための新規サンプルデータとしてシステムに入力される。
【００４０】
サンプルデータの各次元特徴の特徴フィルタリング閾値ｇkiと特徴相関値ｓkiとが、勾配ｇkiに関係付けられ、勾配ｇkiが、サンプルデータ、損失関数、及びモデルパラメータに基づいて計算され、各反復巡回におけるサンプルデータ及びモデルパラメータが、異なっていることに留意すべきである。そのため、各反復巡回で計算されるサンプルデータの各次元特徴の特徴フィルタリング閾値と特徴相関値ｓkiとは異なっている。
【００４１】
反復数が増加するにつれてフィルタリング除去される無効特徴がより多くなり、各反復巡回で計算される特徴フィルタリング閾値がより正確になり、それにより、訓練の速度が大きく上昇することは理解が容易である。
【００４２】
反復計算の終了条件は、特定のアルゴリズムに従って決定される。実施例としては、以前の反復巡回後、フィルタリング除去される新規特徴が１つもないこと、または反復数が設定された最大値を超えることであるが、それらについては、本明細書には網羅的に記載しない。反復が完了した後に維持される特徴は、最終的には、訓練を通じて異なるモデルパラメータを得ることになる。これらのモデルパラメータに基づいて、機械学習モデルが取得される。
【００４３】
図２に示されているように、前述の方法に対応して、本実施形態はまた、機械学習モデルの訓練中、サンプルデータに関する特徴フィルタリングを行うための自動多閾値特徴フィルタリング装置を提供する。装置は、以前の反復巡回の結果に基づいて、特徴フィルタリング閾値及び現在の反復巡回の特徴相関値を計算するように構成された計算モジュールと、計算される特徴フィルタリング閾値及び特徴相関値に従って、サンプルの特徴をフィルタリングするように構成された特徴フィルタリングモジュールとを含む。
【００４４】
本実施形態においては、特徴フィルタリング閾値は、以前の反復巡回でサンプルデータにおける様々な次元特徴について取得された勾配の中の最大勾配とサンプルデータ量との比率である。計算モジュールは、以前の反復巡回の結果に基づいて、現在の反復巡回の特徴相関値を計算する。計算モジュールが、以前の反復巡回の結果に基づいて、現在の反復巡回の特徴相関値を計算するとき、次のステップ、すなわち、以前の反復巡回の結果に基づいて、現在の反復巡回のサンプルデータの各次元特徴の勾配を計算するステップと、各次元特徴の勾配に従って、対応する特徴相関値を計算するステップとが行われる。
【００４５】
本実施形態におけるｋ番目の巡回のｉ番目の次元特徴に対応する特徴相関値ｓkiは、式４に従って計算され、各次元特徴の特徴相関値は、それぞれの次元の勾配の一次関数である。
【００４６】
本実施形態においては、特徴フィルタリングモジュールは、計算される特徴フィルタリング閾値及び特徴相関値に基づいて、サンプルについての特徴フィルタリングを行い、次のステップ、すなわち、それぞれの次元特徴の相関値がそれぞれの次元の特徴フィルタリング閾値よりも小さい場合、その後の反復の計算への関与からそれぞれの次元特徴をフィルタリングするステップと、またはそうでない場合、その後の反復の計算を継続するようにそれぞれの次元特徴を維持するステップとを行う。
【００４７】
上記実施形態を使用するのは、本発明の技術的な解決策を単に例示するためにすぎず、これを限定するためではない。当業者は、本発明の趣旨及び本質から逸脱することなく、本発明に従って様々な対応する変更を行うことができる。しかしながら、これらの対応する変更形態及び修正形態は、本発明の添付の特許請求の範囲の保護の範囲内に入るものとする。
【図１】
2019513265.tif 000004
【図２】
2019513265.tif 000005
【国際調査報告】
2019513265.tif 000006
2019513265.tif 000007
2019513265.tif 000008
2019513265.tif 000009