(57)【要約】      （修正有）【課題】区分線形モデル生成システム及び生成方法を提供しする。【解決手段】複数のタスクのためのデータを取得するように構成された取得モジュール２０１と、前記複数のタスク間の関連性を表すタスク関連潜在的変数を設定するように構成された第１設定モジュール２０２と、複数の区分線形モデルのためのモデル構造を設定し、且つ、対応するモデルパラメータ及び階層的潜在的変数を初期化するように構成された第２設定モジュール２０３と、前記複数のタスクのためのデータ、前記タスク関連潜在的変数及び前記階層的潜在的変数に基づいて、前記モデル構造及び前記モデルパラメータを最適化するように構成されたモデル最適化モジュール２０６と、を備える。【選択図】図２
2016194913.tif 000002
【特許請求の範囲】
【請求項１】
複数のタスクのためのデータを取得するように構成された取得モジュールと、
前記複数のタスク間の関連性を表すタスク関連潜在的変数を設定するように構成された第１設定モジュールと、
複数の区分線形モデルのためのモデル構造を設定し、且つ、対応するモデルパラメータ及び階層的潜在的変数を初期化するように構成された第２設定モジュールと、
前記複数のタスクのためのデータ、前記タスク関連潜在的変数及び前記階層的潜在的変数に基づいて、前記モデル構造及び前記モデルパラメータを最適化するように構成されたモデル最適化モジュールと、を備える、
区分線形モデル生成システム。
【請求項２】
前記タスク関連潜在的変数は、前記複数のタスク中のそれぞれのタスクと前記複数の区分線形モデル中のそれぞれの区分線形モデルとの対応関係を表すように構成されている、
請求項１に記載の区分線形モデル生成システム。
【請求項３】
前記モデル構造は、木構造を有する、
請求項１に記載の区分線形モデル生成システム。
【請求項４】
前記複数のタスクのためのデータ、前記タスク関連潜在的変数、前記モデル構造及び前記モデルパラメータに基づいて、前記階層的潜在的変数を最適化するように構成された階層的潜在的変数最適化モジュール、をさらに備える、
請求項１に記載の区分線形モデル生成システム。
【請求項５】
前記複数のタスクのためのデータ、前記階層的潜在的変数、前記モデル構造及び前記モデルパラメータに基づいて、前記タスク関連潜在的変数を最適化するように構成されたタスク関連潜在的変数最適化モジュール、をさらに備える、
請求項１に記載の区分線形モデル生成システム。
【請求項６】
前記モデル構造及び前記モデルパラメータが最適か否かを判別するように構成された判別モジュール、をさらに備える、
請求項１に記載の区分線形モデル生成システム。
【請求項７】
前記判別モジュールは、前記モデル構造と前記モデルパラメータとの間の適合度に基づいて、前記モデル構造及び前記モデルパラメータが最適か否かを判別する、
請求項６に記載の区分線形モデル生成システム。
【請求項８】
複数のタスクのためのデータを取得することと、
前記複数のタスク間の関連性を表すタスク関連潜在的変数を設定することと、
複数の区分線形モデルのためのモデル構造を設定し、且つ、対応するモデルパラメータ及び階層的潜在的変数を初期化することと、
前記複数のタスクのためのデータ、前記タスク関連潜在的変数及び前記階層的潜在的変数に基づいて、前記モデル構造及び前記モデルパラメータを最適化することと、を含む、
区分線形モデル生成方法。
【請求項９】
前記タスク関連潜在的変数は、前記複数のタスク中のそれぞれのタスクと前記複数の区分線形モデル中のそれぞれの区分線形モデルとの対応関係を表すように構成されている、
請求項８に記載の区分線形モデル生成方法。
【請求項１０】
前記モデル構造は、木構造を有する、
請求項８に記載の区分線形モデル生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の種々の実施形態は、機械学習の分野に関し、より具体的には、区分線形モデル生成システム及び生成方法に関する。
【背景技術】
【０００２】
多数のエンタープライズレベルの機械学習の応用において、区分線形モデル（例えば、階層的混合エキスパート、ＨＭＥ）が広く用いられている。ＨＭＥは、一般的な線形モデルに比べて、より柔軟であり、特徴空間上の確率的ルールベースの分割及び区分局所線形エキスパートを用いるという重要な利点を有する。ＨＭＥの学習手順は、分割構造の判別及び個々のエキスパートのモデリングから構成される。これは、トレーニングサンプルがとても多くのノイズを含み、サンプルサイズが十分でないとき、困難になる。さらに、柔軟なＨＭＥは、トレーニングデータセットへの過剰適合のため、不良な一般化パフォーマンスにつながり得る。
【０００３】
実際の応用において、関連する機械学習のタスクのセット、例えば、コミュニティ内の建物に対するエネルギー需要を予測すること、が頻繁に存在する。単純な手法は、これらの関連するタスク間の共通性を無視しつつ、これらのタスクを独立に解くことである（シングルタスク学習、ＳＴＬ）。マルチタスク学習（ＭＴＬ）においては、これらの関連するタスクは、タスクを横断する適切な共有情報を利用することによって、一緒に学習される。複数の関連するタスクを一緒に学習することは、それぞれのタスクに対するサンプルサイズを有効に増大させるため、一般化パフォーマンスを改善する可能性を有する。
【０００４】
サンプルの量を増大させ、適合ノイズを防ぎ得るように、タスク間共有情報を通して、マルチタスク学習は、異なるタスクを横断して、サンプルを一緒に処理する。しかし、現在のマルチタスク学習技術は、主に、固定モデル構造、例えば線形回帰のシナリオに用いられる。ＨＭＥなどの区分線形モデルに対しては、モデル構造とモデルパラメータの両方が学習されなければならない。しかし、現在のマルチタスク学習はそうすることができない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示の目的は、先行技術における上記の課題を少なくとも部分的に解決するため、区分線形モデル生成システム及び生成方法を提供することである。
【課題を解決するための手段】
【０００６】
本開示の１つの観点によれば、
複数のタスクのためのデータを取得するように構成された取得モジュールと、
前記複数のタスク間の関連性を表すタスク関連潜在的変数を設定するように構成された第１設定モジュールと、
複数の区分線形モデルのためのモデル構造を設定し、且つ、対応するモデルパラメータ及び階層的潜在的変数を初期化するように構成された第２設定モジュールと、
前記複数のタスクのためのデータ、前記タスク関連潜在的変数及び前記階層的潜在的変数に基づいて、前記モデル構造及び前記モデルパラメータを最適化するように構成されたモデル最適化モジュールと、を備える、
区分線形モデル生成システム、が提供される。
【０００７】
本開示の例示的な一実施形態によれば、
前記タスク関連潜在的変数は、前記複数のタスク中のそれぞれのタスクと前記複数の区分線形モデル中のそれぞれの区分線形モデルとの対応関係を表すように構成されている。
【０００８】
本開示の例示的な一実施形態によれば、前記モデル構造は、木構造を有する。
【０００９】
本開示の例示的な一実施形態によれば、前記システムは、
前記複数のタスクのためのデータ、前記タスク関連潜在的変数、前記モデル構造及び前記モデルパラメータに基づいて、前記階層的潜在的変数を最適化するように構成された階層的潜在的変数最適化モジュール、をさらに備える。
【００１０】
本開示の例示的な一実施形態によれば、前記システムは、
前記複数のタスクのためのデータ、前記階層的潜在的変数、前記モデル構造及び前記モデルパラメータに基づいて、前記タスク関連潜在的変数を最適化するように構成されたタスク関連潜在的変数最適化モジュール、をさらに備える。
【００１１】
本開示の例示的な一実施形態によれば、前記システムは、
前記モデル構造及び前記モデルパラメータが最適か否かを判別するように構成された判別モジュール、をさらに備える。
【００１２】
本開示の例示的な一実施形態によれば、
前記判別モジュールは、前記モデル構造と前記モデルパラメータとの間の適合度に基づいて、前記モデル構造及び前記モデルパラメータが最適か否かを判別する。
【００１３】
本開示の別の観点によれば、
複数のタスクのためのデータを取得することと、
前記複数のタスク間の関連性を表すタスク関連潜在的変数を設定することと、
複数の区分線形モデルのためのモデル構造を設定し、且つ、対応するモデルパラメータ及び階層的潜在的変数を初期化することと、
前記複数のタスクのためのデータ、前記タスク関連潜在的変数及び前記階層的潜在的変数に基づいて、前記モデル構造及び前記モデルパラメータを最適化することと、を含む、
区分線形モデル生成方法が提供される。
【００１４】
本開示の例示的な一実施形態によれば、
前記タスク関連潜在的変数は、前記複数のタスク中のそれぞれのタスクと前記複数の区分線形モデル中のそれぞれの区分線形モデルとの対応関係を表すように構成されている。
【００１５】
本開示の例示的な一実施形態によれば、前記モデル構造は、木構造を有する。
【００１６】
本開示の例示的な一実施形態によれば、前記方法は、
前記複数のタスクのためのデータ、前記タスク関連潜在的変数、前記モデル構造及び前記モデルパラメータに基づいて、前記階層的潜在的変数を最適化すること、をさらに含む。
【００１７】
本開示の例示的な一実施形態によれば、前記方法は、
前記複数のタスクのためのデータ、前記階層的潜在的変数、前記モデル構造及び前記モデルパラメータに基づいて、前記タスク関連潜在的変数を最適化すること、をさらに含む。
【００１８】
本開示の例示的な一実施形態によれば、前記方法は、
前記モデル構造及び前記モデルパラメータが最適か否かを判別すること、をさらに含む。
【００１９】
本開示の例示的な一実施形態によれば、
前記モデル構造及び前記モデルパラメータが最適か否かを判別することは、
前記モデル構造と前記モデルパラメータとの間の適合度に基づいて、前記モデル構造及び前記モデルパラメータが最適か否かを判別すること、を含む。
【００２０】
本開示の様々な実施形態の技術的解決において、区分線形モデルの生成を促進するように、モデル生成プロセス中に、タスク間の関連性を表すために、新たな潜在的変数が追加されるので、複数のタスクのためのデータは、モデリングに利用され得て、それにより、モデル生成の精度を向上させる。
【００２１】
添付の図面を参照して、以下の例示的な実施形態の詳細な説明を読めば、上記及び他の目的、特徴及び利点が明らかになるであろう。
【図面の簡単な説明】
【００２２】
【図１】図１は、本開示の一実施形態による区分線形モデル生成方法の流れ図を概略的に示す。
【図２】図２は、本開示の一実施形態による区分線形モデル生成システムのブロック図を概略的に示す。
【図３】図３は、本開示の一実施形態による区分線形モデル生成方法のステップをグラフィカルに、概略的に示す。
【発明を実施するための形態】
【００２３】
以下、添付の図面における複数の例示的な実施形態を参照して、本開示の原理及び方法が説明される。これらの実施形態は、当業者が本開示をよく理解し、そして、さらに実施することができるようにするためにのみ説明され、いかなる態様においても、本開示の範囲を限定することは意図されていないことを理解されたい。
【００２４】
本開示の様々な実施形態による区分線形モデル生成方法及び生成システムを説明する前に、まず、本明細書に現れるいくつかの技術的概念が説明される。
【００２５】
区分線形モデル
区分線形モデルの先駆は、分割がルールの連鎖によって特定され、局所エキスパートが固定値である、回帰木である。回帰木の表現は、良好に解釈可能であるものの、個々のエキスパートの予測能力は高くなく、且つ、良好な予測パフォーマンスを達成するためには、木の高さが増大する傾向がある。
【００２６】
階層的混合エキスパート（ＨＭＥ）
ＨＭＥは、区分モデルを構築するために、区分統治法を採用する。木に分割された構造は、確率的な、ソフトな分割（ｓｏｆｔ−ｐａｒｔｉｔｉｏｎｉｎｇ）関数である、「ゲーティング」（ｇａｔｉｎｇ）関数によって判別される。ＨＭＥは、ゲーティング関数を設計することによって任意の分割構造を表現し得るが、学習された分割構造が、実際的に理解可能であるように、ルールの連鎖する（木の）分割構造のみが、本明細書で採用される。
【００２７】
ＨＭＥモデルは、以下のように定義される。
【数１】
2016194913.tif 000003
ここで、θ及びγは、ゲーティングノードからのパラメータ、Ｅは、エキスパートの数、εｊは、ルートノードからｊ番目のエキスパートノードまでの一意の経路上のゲーティングノードの全てのインデックスを含むインデックスのセットである。ｇ（ｘ，αｉ）は、αｉ＝（βｉ；γｉ）によってパラメータ化されたゲーティング関数と呼ばれ、ψｇ（ｘ，ｉ，ｊ）は、エキスパートｊ及びｉの左のサブツリーに属するｘの確率である。ｐ（ｙ｜ｘ，φｊ）は、φｊ＝（ωｊ，σｊ２）によってパラメータ化されたガウス雑音を有するｊ番目のエキスパートの条件付き分布である。
【００２８】
混合モデルのためのＦＡＢ（因子分解漸近ベイジアン）
今、観測データ
【数２】
2016194913.tif 000004
があると仮定しよう。
【数３】
2016194913.tif 000005
は、ｘＮに対応する潜在的変数を表し、混合成分ｘ（ｎ）を生成することを示す。そのような潜在的変数モデルは、因子分解情報基準（ＦＩＣ）に基づいて近時開発されたベイズ近似推論である、因子分解漸近ベイジアン（ＦＡＢ）推論によって解かれ得る。ＦＩＣは、以下のように、周辺対数尤度の漸近的近似として得られる。
【数４】
2016194913.tif 000006
ここで、ｑ（ｚＮ）は、ｚＮ上の変分分布であり、
【数５】
2016194913.tif 000007
は、モデルパラメータの最大尤度推定量である。ＦＩＣｍｍにおける最も重要な項は、ｌｏｇΣｎｚｋ（ｎ）であり、そのようなＦＡＢ推論に理論的に望ましい性質を、無関係の潜在的変数の自動収縮及びパラメータの識別可能性として提供する。
【００２９】
ＦＡＢは、ＦＩＣの扱いやすい下界を最適化する。ｑ及びθについて、下界を交互に最大化することは、ＦＩＣの下界の単調増加を保証する。
【００３０】
マルチタスク学習（ＭＴＬ）
機械学習におけるＭＴＬに対する共通のパラダイムは、罰せられる経験的損失を最小化することである。
【数６】
2016194913.tif 000008
ここで、
【数７】
2016194913.tif 000009
は、トレーニングサンプルから推定されるパラメータであり、Ｌ（Ｗ）は、トレーニングセット上の経験的損失であり、Ω（Ｗ）は、タスク関連性を符号化する正規化項である。タスク関連性に関する異なる仮定は、異なる正規化項に至る。マルチタスク学習の分野においては、新規な正規化を用いてタスク間の関係をモデリングする多数の従来成果がある。
【００３１】
以下、本発明の概念が、図１乃至３に示されるような例示的な実施形態を参照して説明される。以下の説明において、本開示の原理は、区分線形モデルの例として、ＨＭＥモデルで説明される。しかし、本開示は、ＨＭＥモデルに限定されず、他の区分線形モデルに適用可能である。
【００３２】
本開示の実質は、マルチタスク学習を用いて区分線形モデルを生成する困難な課題に対処することである。本開示において、因子分解漸近ベイジアン（ＦＡＢ）とマルチタスク学習（ＭＴＬ）の理論が組み合わされる。まず、タスクのサブセットが同一の分布に従うことを仮定しよう。本開示の文脈において、マルチタスク学習は、同一の分布に属するタスクのクラスタを見つけ、区分線形モデル（例えば、ＨＭＥモデル）を用いてそれぞれのクラスタを適合させることを意図する。同一のクラスタ中のタスクは、互いの強度で学習パフォーマンスを向上させ得る。
【００３３】
図１は、本開示の一実施形態による区分線形モデル生成方法の流れ図を概略的に示す。図１に示されているように、区分線形モデル生成方法は、一般に、１０１で、複数のタスクのためのデータを取得することと、１０２で、複数のタスク間の関連性を表すタスク関連潜在的変数を設定することと、１０３で、複数の区分線形モデルのためのモデル構造を設定し、対応するモデルパラメータ及び階層的潜在的変数を初期化することと、１０６で、複数のタスクのためのデータ、タスク関連潜在的変数及び階層的潜在的変数に基づいて、モデル構造及びモデルパラメータを最適化することと、を含む。以下、それぞれのステップが詳細に説明される。
【００３４】
ステップ１０１において、Ｎ個のタスクのためのデータが取得され得る。
【００３５】
ステップ１０２において、複数のタスク間の関連性を表すタスク関連潜在的変数が設定される。例として、タスク関連潜在的変数は、複数のタスク中のそれぞれのタスクと複数の区分線形モデル中のそれぞれの区分線形モデルとの対応関係を表すように構成される。言い換えると、タスク間の関連性は、モデルに属するそれぞれのタスクの確率によって表され得る。もし２つのタスクが同一のモデルに属するならば、それらの２つのタスクは、関連があると考えられる。
【００３６】
ステップ１０３において、複数の区分線形モデルのためのモデル構造が設定され、それらのモデルパラメータ及び階層的潜在的変数が初期化される。例として、モデル構造は、木構造であってもよく、初期化プロセスは、確率的に実行されてもよい。
【００３７】
例示的な一実施形態によれば、区分線形モデル生成方法は、ステップ１０３の後、且つ、ステップ１０６の前に、複数のタスクのためのデータ、タスク関連潜在的変数、モデル構造及びモデルパラメータに基づいて、階層的潜在的変数を最適化することである、ステップ１０４をさらに含んでもよい。ステップ１０３において、階層的潜在的変数は、確率的に初期化されるので、それらは、このステップ１０４において最適化され得る。階層的潜在的変数は、データをどのように分割するかを説明するためのものであり、その後、特徴空間は、複数のピース（ｐｉｅｃｅ）に分割され、それぞれのピースは、局所エキスパートによって表される。階層的潜在的変数によるピース分割のプロセスは、特徴によってではなく、サンプルによって、クラスタリングされる。すなわち、いずれかのサンプルが１つのピースに配置され、いずれかのサンプルは、別のピースに配置される。特定の例において、それぞれのサンプルは、確率に従ってクラスタリングされる。特定の最適化方法は、以下で説明される式９に示されるプロセスを採用し得る。
【００３８】
例示的な一実施形態によれば、区分線形モデル生成方法は、ステップ１０４の後、且つ、ステップ１０６の前に、複数のタスクのためのデータ、階層的潜在的変数、モデル構造及びモデルパラメータに基づいて、タスク関連潜在的変数を最適化する、ステップ１０５をさらに含んでもよい。ステップ１０２において設定されるタスク関連潜在的変数は、確率的な初期化を通して生成されるので、それらは、最適化される必要がある。このステップにおいて、複数のタスクのためのデータ、モデル構造及びモデルパラメータと併せて、ステップ１０４において最適化された階層的潜在的変数を用いることによって、タスク関連潜在的変数は、最適化され得る。特定の最適化方法は、以下で説明される式８に示されるプロセスを採用し得る。
【００３９】
例示的な一実施形態によれば、ステップ１０６において、ステップ１０４で最適化された階層的潜在的変数及びステップ１０５で最適化されたタスク関連潜在的変数は、モデル構造及びモデルパラメータを最適化するために、複数のタスクのためのデータと併せて利用され得る。特定の最適化方法は、以下で説明される式１０に示されるプロセスを採用し得る。
【００４０】
例示的な一実施形態によれば、区分線形モデル生成方法は、ステップ１０６の後に、モデル構造及びモデルパラメータが最適か否かを判別するステップ１０７を含んでいてもよく、もし最適ならば、結果として生じる区分線形モデルを出力するステップ１０８を実行し、最適でなければ、モデル構造及びモデルパラメータの最適化を継続するために、ステップ１０４に戻る。上記の判別の評価指標は、モデルとデータとの間の適合度であり得る。適合度は、上限なしに上昇することはあり得ない。その代わり、上限が存在する。段階的プロセス中、ある程度まで増加した後は、継続される最適化に対する増分は、とても小さくなる。増分が十分に小さいとき、最適モデルが得られたと考えられ、それにより、最適化を中止し、ステップ１０８において、結果として生じた区分線形モデルが出力される。
【００４１】
図１を参照して前述された特定の実施形態は、本開示による区分線形モデル生成の原理を説明した。しかし、本開示による区分線形モデル生成方法は、上記の特定のステップに限定されず、その代わりに、請求の範囲において限定された範囲に基づくことを、当業者は理解するであろう。異なる必要性に基づいて、当業者は、１つ以上のステップを削除し又は追加することを容易に想定するであろう。
【００４２】
次に、特定の例に基づいて、ステップ１０４乃至１０６において適用可能な最適化方法が説明される。
【００４３】
まず、複数の記号が以下のように定義される。
Ｎ：タスクの数
Ｌ：それぞれのタスクにおけるサンプル数
ｘＮＬ，ｙＮＬ：それぞれ、トレーニングデータセットの特徴とラベル
Ｄ：データ生成のための基礎的モデル
Ｍ：混合におけるＨＭＥモデルの数
ｚ：タスクからモデルへの割当ベクトル
ζ：サンプルからＨＭＥのエキスパートへの割当ベクトル
【００４４】
ＭＴＬは、タスクのクラスタリング（ｚによって示される）及びそれぞれのタスクにおけるサンプルのクラスタリング（ζによって示される）を考慮し、その主要な関心は、周辺尤度ｐ（ｙＮＬ｜ｘＮＬ，Ｄ）である。このようにして導出されるｑ（ｚＮ）及びｑ（ζＮＬ）上の周辺対数尤度の下界は、次のように得られる。
【数８】
2016194913.tif 000010
ｍａｘｑ｛ＶＬＢ（ｑ，ｘＮＬ，ｙＮＬ，Ｄ）｝は、ｌｏｇｐ（ｙＮＬ｜ｘＮＬ，Ｄ）と一致することが保証され得る。
【００４５】
次に、因子分解漸近近似が説明される。それぞれのタスククラスタにおける、タスククラスタとサンプルクラスタとの間の相互の独立性が仮定され、そして、ラプラス法で、因子分解情報基準（ＦＩＣ）を近似的に得る。
【数９】
2016194913.tif 000011
ここで、ρ＝（α，ρ１，…，ρＭ），αはそれぞれのクラスタに対する混合比ベクトルであり、ρｃ＝（βｃ，γｃ，φｃ）は、ｃ番目のＨＭＥモデルに対するパラメータであり、ｃ＝１，…，Ｍであり、
【数１０】
2016194913.tif 000012
である。
【００４６】
上記のプロセスにおいて、ＦＩＣは、周辺対数尤度の近似にのみ基づいて、判別される。
【００４７】
次に、上述された区分線形モデル生成方法のために用いられ得るＦＡＢアルゴリズムが説明される。
【００４８】
ＦＡＢアルゴリズムは、実際に、ＦＩＣの漸近的に一致する下界を最大化する。下界は、以下のように得られる。
【数１１】
2016194913.tif 000013
ここで、Ｌ（ａ，ｂ）≡ｌｏｇｂ＋（ａ−ｂ）／ｂであり、ｑｎｇｉ及びｑｎｅｉは、新たなパラメータ（分布）
【数１２】
2016194913.tif 000014
を有する、ｎｇｉ及びｎｅｉの近似である。
【数１３】
2016194913.tif 000015
【数１４】
2016194913.tif 000016
【００４９】
その後、以下の最適化問題が生じる。
【数１５】
2016194913.tif 000017
【００５０】
ＦＡＢアルゴリズムは、ｑ及びθに関して、Ｅステップ及びＭステップで最大化を交互に繰り返す。Ｅステップは、以下のように、変分分布ｑを最適化する。
【数１６】
2016194913.tif 000018
【数１７】
2016194913.tif 000019
【００５１】
ここで、ψｇ（ｘｎｌ，ｉ，ｊ）は、エキスパートｊの残りのサブツリー及び（βｃｉ，γｃｉ）によってパラメータ化された所与のＨＭＥモデルのエキスパートｉに属するｘｎｌの確率であり、ここで、
【数１８】
2016194913.tif 000020
である。
【００５２】
式８は、上述のように、ステップ１０５において、タスク関連潜在的変数を最適化するために用いられ得る。式９は、上述のように、ステップ１０４において、階層的潜在的変数の最適化を実現し得る。
【００５３】
Ｍステップは、パラメータを以下のように最適化する。
【数１９】
2016194913.tif 000021
【００５４】
式１０は、上述のように、ステップ１０６において、モデル構造及びモデルパラメータの最適化を実現するために用いられ得る。
【００５５】
図２は、本開示の一実施形態による区分線形モデル生成システムのブロック図を概略的に示す。図２に示されているように、区分線形モデル生成システムは、一般に、複数のタスクのためのデータを取得するように構成された取得モジュール２０１と、複数のタスク間の関連性を表すタスク関連潜在的変数を設定するように構成された第１設定モジュール２０２と、複数の区分線形モデルに対するモデル構造を設定し、対応するモデルパラメータ及び階層的潜在的変数を初期化するように構成された第２設定モジュール２０３と、複数のタスクのためのデータ、タスク関連潜在的変数及び階層的潜在的変数に基づいてモデル構造及びモデルパラメータを最適化するように構成されたモデル最適化モジュール２０６と、を備える。以下、それぞれのモジュールが詳細に説明される。
【００５６】
取得モジュール２０１において、Ｎ個のタスクのためのデータが取得され得る。
【００５７】
第１設定モジュール２０２において、複数のタスク間の関連性を表すタスク関連潜在的変数が設定される。例として、タスク関連潜在的変数は、複数のタスクにおけるそれぞれのタスクと複数の区分線形モデルにおけるそれぞれの区分線形モデルとの対応関係を表すように構成されている。言い換えると、タスク間の関連性は、モデルに属するそれぞれのタスクの確率によって表され得る。もし２つのタスクが同一のモデルに属するならば、当該２つのタスクは関連していると考えられる。
【００５８】
第２設定モジュール２０３において、複数の区分線形モデルのためのモデル構造が設定され、それらのモデルパラメータ及び階層的潜在的変数が初期化される。例として、モデル構造は、木構造であってもよく、初期化プロセスは、確率的に実行されてもよい。
【００５９】
例示的な実施形態によれば、区分線形モデル生成システムは、複数のタスクのためのデータ、タスク関連潜在的変数、モデル構造及びモデルパラメータに基づいて、階層的潜在的変数を最適化するように構成された階層的潜在的変数最適化モジュール２０４をさらに備えてもよい。階層的潜在的変数は、第２設定モジュール２０３において確率的に初期化されるので、それらは、階層的潜在的変数最適化モジュール２０４によって最適化され得る。階層的潜在的変数は、どのようにデータを分割するかを説明するためのものであり、その後、特徴空間は、それぞれのピースが局所エキスパートによって表される、複数のピースに分割される。階層的潜在的変数によるピース分割のプロセスは、特徴によってではなく、サンプルによって、クラスタリングされる。すなわち、いずれかのサンプルが１つのピースに配置され、いずれかのサンプルが、別のピースに配置される。特定の例において、それぞれのサンプルは、確率に従ってクラスタリングされる。特定の最適化方法は、上述の式９において示されたプロセスを採用し得る。
【００６０】
例示的な実施形態によれば、区分線形モデル生成方法は、複数のタスクのためのデータ、階層的潜在的変数、モデル構造及びモデルパラメータに基づいてタスク関連潜在的変数を最適化するように構成されたタスク関連潜在的変数最適化モジュール２０５をさらに備えてもよい。第１設定モジュール１０２において設定されたタスク関連潜在的変数は、確率的初期化を通して生成されるので、最適化される必要がある。タスク関連潜在的変数最適化モジュール２０５において、タスク関連潜在的変数は、複数のタスクのためのデータ、モデル構造及びモデルパラメータと併せて、階層的潜在的変数最適化モジュール２０４において最適化された階層的潜在的変数を用いることによって、最適化され得る。特定の最適化方法は、上述の式８において示されたプロセスを採用し得る。
【００６１】
例示的な実施形態によれば、モデル最適化モジュール２０６において、階層的潜在的変数最適化モジュール２０４において最適化された階層的潜在的変数及びタスク関連潜在的変数最適化モジュール２０５において最適化されたタスク関連潜在的変数が、モデル構造及びモデルパラメータを最適化するため、複数のタスクのためのデータと併せて用いられ得る。特定の最適化方法は、上述の式１０において示されたプロセスを採用し得る。
【００６２】
例示的な実施形態によれば、区分線形モデル生成方法は、区分線形モデル生成方法は、モデル最適化モジュール２０６によって出力されたモデル構造及びモデルパラメータが最適か否かを判別するように構成された判別モジュール２０７をさらに備えてもよく、もし最適ならば、出力モジュール２０８は、区分線形モデルを出力し、もし最適でなければ、階層的潜在的変数最適化モジュール２０４、タスク関連潜在的変数最適化モジュール２０５及びモデル最適化モジュール２０６は、モデル構造及びモデルパラメータの最適化を継続する。上記の判別の評価指標は、モデルとデータとの間の適合度であり得る。適合度は、上限なしに増大することができない。代わりに、上限が存在する。増分プロセス中、ある程度まで増大した後は、継続される最適化のための増分はとても小さくなる。増分が十分に小さいとき、最適モデルが得られたと考えられ、それによって、最適化を中止し、出力モジュール２０８は、結果として生じる区分線形モデルを出力する。
【００６３】
図２に示されている区分線形モデル生成システムは、図１に示されている区分線形モデル生成方法に対応する。それゆえ、図１を参照した上記の区分線形モデル生成方法の説明は、図２に示された区分線形モデル生成システムに同様に適用可能であり、ここでは詳細に説明されない。
【００６４】
図３は、本開示の一実施形態による区分線形モデル生成方法のステップをグラフィカルに、概略的に示す。図３に示されているように、まず、上段の図は、複数のタスクのためのデータＴ１，Ｔ２，…，ＴＮを取得することを示し、それぞれのタスクのためのデータは複数の別々のデータの点によって表されている。その後、中段の図において、図１に示されている最適化ステップを用いて、モデリングが実行される。それぞれのタスクは、複数のモデルをモデリングするために用いられ、例えば、Ｔ１，Ｔ２，Ｔ３及びＴ４が、モデルＨＭＥ１、モデルＨＭＥ２、モデルＨＭＥ３をそれぞれモデリングしてもよいことが理解され得る。最後に、下段の図において、複数の最適化されたモデル、例えば、階層的混合エキスパートＨＭＥ（Ｔ１），ＨＭＥ（Ｔ２），…，ＨＭＥ（ＴＮ）が出力される。
【００６５】
本発明によれば、区分線形モデルの生成を促進するように、モデル生成プロセス中、タスク間の関連性を表すために、新たな潜在的変数が追加されるので、複数のタスクのためのデータがモデリングのために利用され得て、それにより、モデル生成の精度を向上させる。
【００６６】
本発明の実施形態は、ソフトウェア、ハードウェア又はそれらの組合せにおいて実現され得ることに注意されたい。ハードウェア部分は、特別なロジックによって実現されてもよく、ソフトウェア部分は、メモリに保持され、マイクロプロセッサ又は専用の設計されたハードウェアなどの適切な命令実行システムによって実行されてもよい。この技術分野における通常の知識を有する者は、上記の方法及びシステムが、コンピュータ実行可能な命令及び／又はプロセッサに含まれる制御コード、例えば、磁気ディスク、ＣＤ若しくはＤＶＤ−ＲＯＭなどの伝達媒体において提供されるそのようなコード、又は読み取り専用メモリ（ファームウェア）などのプログラム可能なメモリ、又は、光学的或いは電子的信号担体などのデータ担体、で実現されてもよいことを理解し得る。本実施形態における装置及びその部品は、例えば、超大規模集積回路又はゲートアレイ、論理チップ又はトランジスタなどの半導体、又はフィールドプログラマブルゲートアレイ若しくはプログラム可能な論理デバイス、又は様々な種類のプロセッサによって実行されるソフトウェアによって実現され、又は、上記のハードウェア回路及びソフトウェア回路の組合せ、例えば、ファームウェアによって実現される。
【００６７】
本発明による方法の動作が図面において特定の順序で説明されてきたが、これは、これらの動作が当該特定の順序で実行され、又は、示された動作の全てが実行されることによってのみ望ましい結果が達成されることを、必要とせず、意味しない。その代わりに、流れ図において説明されたステップは、異なる順序で実行され得る。これに加えて、又は、これに代えて、いくつかのステップが除外されてもよく、実行するため、複数のステップが１つのステップに統合されてもよく、且つ／又は、実行するため、ステップが複数のステップに分解されてもよい。
【００６８】
本発明は、現在考慮されている実施形態を参照して説明されてきたが、本発明は、開示された実施形態に限定されないことを理解されたい。逆に、本発明は、その精神および付属の請求の範囲内にある様々な変形及び均等な変更をカバーすることが意図されている。付属のクレームの範囲は、最も広い説明と整合し、そのような全ての変形及び均等な構造と機能をカバーする。
【００６９】
（付記１）
複数のタスクのためのデータを取得するように構成された取得モジュールと、
前記複数のタスク間の関連性を表すタスク関連潜在的変数を設定するように構成された第１設定モジュールと、
複数の区分線形モデルのためのモデル構造を設定し、且つ、対応するモデルパラメータ及び階層的潜在的変数を初期化するように構成された第２設定モジュールと、
前記複数のタスクのためのデータ、前記タスク関連潜在的変数及び前記階層的潜在的変数に基づいて、前記モデル構造及び前記モデルパラメータを最適化するように構成されたモデル最適化モジュールと、を備える、
区分線形モデル生成システム。
【００７０】
（付記２）
前記タスク関連潜在的変数は、前記複数のタスク中のそれぞれのタスクと前記複数の区分線形モデル中のそれぞれの区分線形モデルとの対応関係を表すように構成されている、
付記１に記載の区分線形モデル生成システム。
【００７１】
（付記３）
前記モデル構造は、木構造を有する、
付記１に記載の区分線形モデル生成システム。
【００７２】
（付記４）
前記複数のタスクのためのデータ、前記タスク関連潜在的変数、前記モデル構造及び前記モデルパラメータに基づいて、前記階層的潜在的変数を最適化するように構成された階層的潜在的変数最適化モジュール、をさらに備える、
付記１に記載の区分線形モデル生成システム。
【００７３】
（付記５）
前記複数のタスクのためのデータ、前記階層的潜在的変数、前記モデル構造及び前記モデルパラメータに基づいて、前記タスク関連潜在的変数を最適化するように構成されたタスク関連潜在的変数最適化モジュール、をさらに備える、
付記１に記載の区分線形モデル生成システム。
【００７４】
（付記６）
前記モデル構造及び前記モデルパラメータが最適か否かを判別するように構成された判別モジュール、をさらに備える、
付記１に記載の区分線形モデル生成システム。
【００７５】
（付記７）
前記判別モジュールは、前記モデル構造と前記モデルパラメータとの間の適合度に基づいて、前記モデル構造及び前記モデルパラメータが最適か否かを判別する、
付記６に記載の区分線形モデル生成システム。
【００７６】
（付記８）
複数のタスクのためのデータを取得することと、
前記複数のタスク間の関連性を表すタスク関連潜在的変数を設定することと、
複数の区分線形モデルのためのモデル構造を設定し、且つ、対応するモデルパラメータ及び階層的潜在的変数を初期化することと、
前記複数のタスクのためのデータ、前記タスク関連潜在的変数及び前記階層的潜在的変数に基づいて、前記モデル構造及び前記モデルパラメータを最適化することと、を含む、
区分線形モデル生成方法。
【００７７】
（付記９）
前記タスク関連潜在的変数は、前記複数のタスク中のそれぞれのタスクと前記複数の区分線形モデル中のそれぞれの区分線形モデルとの対応関係を表すように構成されている、
付記８に記載の区分線形モデル生成方法。
【００７８】
（付記１０）
前記モデル構造は、木構造を有する、
付記８に記載の区分線形モデル生成方法。
【００７９】
（付記１１）
前記複数のタスクのためのデータ、前記タスク関連潜在的変数、前記モデル構造及び前記モデルパラメータに基づいて、前記階層的潜在的変数を最適化すること、をさらに含む、
付記８に記載の区分線形モデル生成方法。
【００８０】
（付記１２）
前記複数のタスクのためのデータ、前記階層的潜在的変数、前記モデル構造及び前記モデルパラメータに基づいて、前記タスク関連潜在的変数を最適化すること、をさらに含む、
付記８に記載の区分線形モデル生成方法。
【００８１】
（付記１３）
前記モデル構造及び前記モデルパラメータが最適か否かを判別すること、をさらに含む、
付記８に記載の区分線形モデル生成方法。
【００８２】
（付記１４）
前記モデル構造及び前記モデルパラメータが最適か否かを判別することは、
前記モデル構造と前記モデルパラメータとの間の適合度に基づいて、前記モデル構造及び前記モデルパラメータが最適か否かを判別すること、を含む、
付記１３に記載の区分線形モデル生成方法。
【図１】
2016194913.tif 000022
【図２】
2016194913.tif 000023
【図３】
2016194913.tif 000024
【外国語明細書】
2016194913000001.pdf