(57)【要約】      （修正有）【課題】エキスパートの階層的混合（ｈｉｅｒａｒｃｈｉｃａｌ  ｍｉｘｔｕｒｅ  ｏｆ  ｅｘｐｅｒｔｓ（ＨＭＥ）のような区分的線形モデルにおいて、モデル構造とモデルパラメータの両方を学習する。【解決手段】複数のタスクのデータを取得するように構成された取得モジュール２０１と、複数のタスク間の相関性を表すタスク相関潜在変数を設定するように構成された第１の設定モジュール２０２と、を含む。さらに、各タスクは１つの区分的線形モデルに相関しており、複数の区分的線形モデルにモデル構造を設定し、対応するモデルパラメータと階層的潜在変数とを初期化するように構成された第２の設定モジュール２０３と、複数のタスクのデータと、タスク相関潜在変数と、階層的潜在変数とに基づいて、モデル構造とモデルパラメータとを最適化するように構成されたモデル最適化モジュール２０７と、を含む。【選択図】図２
2016194909.tif 000002
【特許請求の範囲】
【請求項１】
複数のタスクのデータを取得するように構成された取得モジュールと、
前記複数のタスク間の相関性を表すタスク相関潜在変数を設定するように構成された第１の設定モジュールと、
を含み、
各タスクは１つの区分的線形モデルに相関しており、
複数の区分的線形モデルにモデル構造を設定し、対応するモデルパラメータと階層的潜在変数とを初期化するように構成された第２の設定モジュールと、
前記複数のタスクの前記データと、前記タスク相関潜在変数と、前記階層的潜在変数とに基づいて、前記モデル構造と前記モデルパラメータとを最適化するように構成されたモデル最適化モジュールと、
を含む区分的線形モデル生成システム。
【請求項２】
前記タスク相関潜在変数は、前記複数のタスクの各タスクと、前記複数の区分的線形モデルの各区分的線形モデルとの間の対応関係を示すように構成されている請求項１に記載の区分的線形モデル生成システム。
【請求項３】
前記モデル構造は、木構造を含む請求項１に記載の区分的線形モデル生成システム。
【請求項４】
前記複数のタスクの前記データと、前記タスク相関潜在変数と、前記モデル構造と、前記モデルパラメータとに基づいて、前記階層的潜在変数を最適化するように構成された階層的潜在変数最適化モジュールを更に含む請求項１に記載の区分的線形モデル生成システム。
【請求項５】
前記複数のタスクのデータと、前記階層的潜在変数と、前記モデル構造と、前記モデルパラメータとに基づいて、前記タスク相関潜在変数を最適化するように構成されたタスク相関潜在変数最適化モジュールを更に含む請求項１に記載の区分的線形モデル生成システム。
【請求項６】
前記タスク相関潜在変数を最適化した後に、前記タスク相関潜在変数と、更新された前記タスク相関潜在変数とに基づいて、前記複数のタスクのハード・クラスタリングを実行するように構成されたハード・クラスタリング・モジュールを更に含む請求項５に記載の区分的線形モデル生成システム。
【請求項７】
前記モデル構造と前記モデルパラメータとが最適か否か判定するように構成された判定モジュールを更に含む請求項１に記載の区分的線形モデル生成システム。
【請求項８】
前記判定モジュールは、前記モデル構造と前記モデルパラメータとの間のフィッティング度合に基づいて、前記モデル構造と前記モデルパラメータとが最適か否か判定する請求項７に記載の区分的線形モデル生成システム。
【請求項９】
複数のタスクのデータを取得することと、
前記複数のタスク間の相関性を表すタスク相関潜在変数を設定することと、
を含み、
各タスクは１つの区分的線形モデルに相関しており、
複数の区分的線形モデルにモデル構造を設定し、対応するモデルパラメータと階層的潜在変数とを初期化することと、
前記複数のタスクの前記データと、前記タスク相関潜在変数と、前記階層的潜在変数とに基づいて、前記モデル構造と前記モデルパラメータとを最適化することと、
を含む区分的線形モデル生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の様々な実施形態は、機械学習の分野に関し、より具体的には区分的線形モデル生成システム及び生成方法に関する。
【背景技術】
【０００２】
区分的線形モデル（例えば、エキスパートの階層的混合（ｈｉｅｒａｒｃｈｉｃａｌ  ｍｉｘｔｕｒｅ  ｏｆ  ｅｘｐｅｒｔｓ（ＨＭＥ））は、多くの企業レベルの機械学習アプリケーションで広く使用されている。ＨＭＥは、一般的な線形モデルより柔軟で、かつ特徴空間の確率的な規則に基づく分割と区分的ローカル線形エキスパートとを使用する重要な利点は残している。ＨＭＥの学習手順は、個々のエキスパートの分割構造の決定とモデリングから成る。トレーニング・サンプルのノイズが多く、サンプルサイズが十分でない場合、これは挑戦的なものになる。また、柔軟なＨＭＥは、トレーニング・データセットにオーバーフィッティングして、汎化パフォーマンスが悪いものになる可能性がある。
【０００３】
実用的なアプリケーションでは、例えば共同体の建物のエネルギー需要を予測するためには、相関した機械学習タスクの集合が、しばしば存在する。単純なアプローチでは、これらの相関したタスクの間の共通性を無視して、これらのタスクを独立して解くことになる（シングルタスク学習（Ｓｉｎｇｌｅ  Ｔａｓｋ  Ｌｅａｒｎｉｎｇ（ＳＴＬ））。マルチタスク学習（Ｍｕｌｔｉ−Ｔａｓｋ  Ｌｅａｒｎｉｎｇ（ＭＴＬ））では、これらの相関したタスクは、タスクをまたいで適切に情報を共有して利用することによって、共同で学習される。複数の相関したタスクを共同で学習することで、効果的に各タスクのサンプルサイズを大きくし、結果、汎化パフォーマンスを向上させる可能性がある。
【０００４】
マルチタスク学習は、フィッティング・ノイズを防ぎうるように、サンプルの量を増やすために、タスク間で共有した情報を通じて、種々のタスクをまたいでサンプルを共同で処理する。しかし、現在のマルチタスク学習技術は、主に固定モデル構造（例えば、線形回帰）のシナリオに使用される。ＨＭＥのような区分的線形モデルでは、モデル構造とモデルパラメータの両方が学習されるべきである。しかし、現在のマルチタスク学習はそれを実行できない。
【発明の概要】
【課題を解決するための手段】
【０００５】
本開示の目的は、従来技術の上記課題の少なくとも一部を解決するために、区分的線形モデル生成システムと生成方法とを提供することである。
【０００６】
本開示の第１の観点によれば、複数のタスクのデータを取得するように構成された取得モジュールと、前記複数のタスク間の相関性を表すタスク相関潜在変数を設定するように構成された第１の設定モジュールと、を含み、各タスクは１つの区分的線形モデルに相関しており、複数の区分的線形モデルにモデル構造を設定し、対応するモデルパラメータと階層的潜在変数とを初期化するように構成された第２の設定モジュールと、前記複数のタスクの前記データと、前記タスク相関潜在変数と、前記階層的潜在変数とに基づいて、前記モデル構造と前記モデルパラメータとを最適化するように構成されたモデル最適化モジュールと、を含む区分的線形モデル生成システムが提供される。
【０００７】
本開示の１つの代表的な実施形態によれば、前記タスク相関潜在変数は、前記複数のタスクの各タスクと、前記複数の区分的線形モデルの各区分的線形モデルとの間の対応関係を示すように構成される。
【０００８】
本開示の１つの代表的な実施形態によれば、前記モデル構造は、木構造を含む。
【０００９】
本開示の１つの代表的な実施形態によれば、前記システムは、前記複数のタスクの前記データと、前記タスク相関潜在変数と、前記モデル構造と、前記モデルパラメータとに基づいて、前記階層的潜在変数を最適化するように構成された階層的潜在変数最適化モジュールを更に含む。
【００１０】
本開示の１つの代表的な実施形態によれば、前記システムは、前記複数のタスクのデータと、前記階層的潜在変数と、前記モデル構造と、前記モデルパラメータとに基づいて、前記タスク相関潜在変数を最適化するように構成されたタスク相関潜在変数最適化モジュールを更に含む。
【００１１】
本開示の代表的な実施形態によれば、前記システムは、前記タスク相関潜在変数を最適化した後に、前記タスク相関潜在変数と、更新された前記タスク相関潜在変数とに基づいて、前記複数のタスクのハード・クラスタリングを実行するように構成されたハード・クラスタリング・モジュールを更に含む。
【００１２】
本開示の代表的な実施形態によれば、前記システムは、前記モデル構造と前記モデルパラメータとが最適か否か判定するように構成された判定モジュールを更に含む。
【００１３】
本開示の代表的な実施形態によれば、前記判定モジュールは、前記モデル構造と前記モデルパラメータとの間のフィッティング度合に基づいて、前記モデル構造と前記モデルパラメータとが最適か否か判定する。
【００１４】
本開示の他の観点によれば、複数のタスクのデータを取得することと、前記複数のタスク間の相関性を表すタスク相関潜在変数を設定することと、を含み、各タスクは１つの区分的線形モデルに相関しており、複数の区分的線形モデルにモデル構造を設定し、対応するモデルパラメータと階層的潜在変数とを初期化することと、前記複数のタスクの前記データと、前記タスク相関潜在変数と、前記階層的潜在変数とに基づいて、前記モデル構造と前記モデルパラメータとを最適化することと、を含む区分的線形モデル生成方法が提供される。
【００１５】
本開示の１つの代表的な実施形態によれば、前記タスク相関潜在変数は、前記複数のタスクの各タスクと、前記複数の区分的線形モデルの各区分的線形モデルとの間の対応関係を示すように構成される。
【００１６】
本開示の１つの代表的な実施形態によれば、前記モデル構造は、木構造を含む。
【００１７】
本開示の１つの代表的な実施形態によれば、前記方法は、前記複数のタスクの前記データと、前記タスク相関潜在変数と、前記モデル構造と、前記モデルパラメータとに基づいて、前記階層的潜在変数を最適化することを更に含む。
【００１８】
本開示の１つの代表的な実施形態によれば、前記方法は、前記複数のタスクの前記データと、前記階層的潜在変数と、前記モデル構造と、前記モデルパラメータとに基づいて、前記タスク相関潜在変数を最適化することを更に含む。
【００１９】
本開示の代表的な実施形態によれば、前記方法は、前記タスク相関潜在変数を最適化した後に、前記タスク相関潜在変数と、更新された前記タスク相関潜在変数とに基づいて、前記複数のタスクのハード・クラスタリングを実行することを更に含む。
【００２０】
本開示の代表的な実施形態によれば、前記方法は、前記モデル構造と前記モデルパラメータとが最適か否か判定することを更に含む。
【００２１】
本開示の代表的な実施形態によれば、前記モデル構造と前記モデルパラメータとが最適か否か前記判定することは、前記モデル構造と前記モデルパラメータとの間のフィッティング度合に基づいて、前記モデル構造と前記モデルパラメータとが最適か否か判定することを含む。
【００２２】
本開示の様々な実施形態の技術的解決方法では、区分的線形モデルの生成を容易にするために、モデル生成処理中に、タスク間の相関を示すために新しい潜在変数が追加されるので、複数のタスクのデータをモデリングに利用することができ、それにより、モデル生成の精度が増す。
【００２３】
また、各タスクが、１つの区分的線形モデルのみに相関するように設定されているので、本開示による区分的線形モデル生成システム及び生成方法では、より大きいデータを処理しうる。
【００２４】
代表的な実施形態の以下の詳細な説明を、添付図面と合わせて読めば、上記及び他の目的と、特徴と、利点とが明らかになるだろう。
【図面の簡単な説明】
【００２５】
【図１】本開示の１つの実施形態による区分的線形モデル生成方法を模式的に示すフロー図である。
【図２】本開示の１つの実施形態による区分的線形モデル生成システムを模式的に示すブロック図である。
【図３】本開示の１つの実施形態による区分的線形モデル生成方法のステップを模式的に示す図表である。
【発明を実施するための形態】
【００２６】
以下で、添付図面のいくつかの代表的な実施形態に関して、本開示の原理と方法とが述べられる。これらの実施形態は、当業者がより理解し、更に本開示を実施可能なように述べられただけであって、どの手法でも本開示の範囲を限定することを意図してはいないと理解されるべきである。
【００２７】
本開示の様々な実施形態による区分的線形モデル生成方法及び生成システムを説明する前に、ここに現れる技術的な概念のいくつかを、まず示す。
【００２８】
区分的線形モデル
区分的線形モデルの前身は回帰木である。回帰木では、分割が規則の連鎖により特定されており、ローカル・エキスパートは一定の価値を有する。回帰木の表現は理解が容易だが、個々のエキスパートの予測能力は高くなく、良い予測パフォーマンスを達成するためには、ツリーの深さが大きくなる傾向がある。
【００２９】
エキスパートの階層的な混在（ＨＩＥＲＡＲＣＨＩＣＡＬ  ＭＩＸＴＵＲＥ  ＯＦ  ＥＸＰＥＲＴＳ（ＨＭＥ））
ＨＭＥは、区分的モデルをつくるために分割統治戦略を採用する。それらのツリーの分割構造は、確率的なソフト分割関数である「ゲーティング」関数で決定される。ＨＭＥｓは、ゲーティング関数の設計により、どのような分割構造でも表すことができるが、学習した分割構造が実際に理解可能なように、規則連鎖の（ツリーの）分割構造のみが、ここでは採用される。
【００３０】
ＨＭＥモデルは以下のように定義される。
【数１】
2016194909.tif 000003
ここで、θとγとは、ゲーティング・ノードからのパラメータであり、Ｅはエキスパートの数であり、εｊはルート・ノードからｊ番目のエキスパート・ノードまでの唯一のパスのゲーティング・ノードの全ての索引を含む索引セットである。ｇ（ｘ，αｉ）は、αｉ＝（βｉ；γｉ）によりパラメータ化されたゲーティング関数と呼ばれ、ψｇ（ｘ，ｉ，ｊ）は、エキスパートｊとｉの左サブツリーに属するｘの確率であり、ｐ（ｙ｜ｘ，φｊ）は、
【数２】
2016194909.tif 000004
によりパラメータ化されるガウス形雑音を有するｊ番目のエキスパートの条件付き分布である。
【００３１】
混合モデルにおける因子化漸近ベイジアン（Ｆａｃｔｏｒｉｚｅｄ  Ａｓｙｍｐｔｏｔｉｃ  Ｂａｙｅｓｉａｎ（ＦＡＢ））
今、以下の観測データが存在すると仮定する。
【数３】
2016194909.tif 000005
ｚＮ＝ｚ（１），・・・，ｚ（Ｎ），ｚ（ｎ）∈｛１，０｝Ｃは、ｘＮに対応する潜在変数を示し、どの混合成分がｘ（ｎ）を生成するかを示す。このような潜在変数モデルは、因子化漸近ベイジアン（Ｆａｃｔｏｒｉｚｅｄ  Ａｓｙｍｐｔｏｔｉｃ  Ｂａｙｅｓｉａｎ（ＦＡＢ））推論により解ける。ＦＡＢは、因子化情報量基準（Ｆａｃｔｏｒｉｚｅｄ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｃｒｉｔｅｒｉｏｎ（ＦＩＣ））に基づいた、近年開発されたベイジアン近似である。ＦＩＣは、以下のように、周辺対数尤度の漸近近似として導き出される。
【数４】
2016194909.tif 000006
ここで、ｑ（ｚＮ）はｚＮの変分分布であり、θ−は、モデルパラメータの最尤推定量である。ＦＩＣｍｍで最も重要な項は
【数５】
2016194909.tif 000007
であり、この項は、無関係な潜在変数の自動的な減少とパラメータ識別可能性という、ＦＡＢ推理における、理論的に望ましい、これらの特性をもたらす。
【００３２】
ＦＡＢは、ＦＩＣの扱いやすい下限を、最適化する。ｑとθに関する下限を交互に最大化することが、ＦＩＣの下限の単調増加を保証する。
【００３３】
マルチタスク学習（Ｍｕｌｔｉ−Ｔａｓｋ  Ｌｅａｒｎｉｎｇ（ＭＴＬ））
機械学習のＭＴＬにおける共通のパラダイムは、ペナルティ経験損失を最小化することである。
【数６】
2016194909.tif 000008
ここで、Ｗは、トレーニング・サンプルから推定されるパラメータであり、Ｌ（Ｗ）は、トレーニング・セットの経験的損失であり、Ω（Ｗ）はタスク相関性をコード化する正則項である。タスク相関性に関して異なる仮定をすると、異なる正則項になる。マルチタスク学習の分野では、新しい正則化を使用してタスク間の関係をモデル化する先行研究がたくさんある。
【００３４】
以下で、本発明の概念を、図１−３で示される代表的な実施形態に関して示す。下記の説明では、区分的線形モデルの例であるＨＭＥモデルで本開示の原理を示す。しかし、本開示はＨＭＥモデルに限定されず、他の区分的線形モデルにも適用可能である。
【００３５】
本開示の要旨は、マルチタスク学習を使用する区分的線形モデルを生成するという挑戦的な課題に対処することである。本開示では、因子化漸近ベイジアン（Ｆａｃｔｏｒｉｚｅｄ  Ａｓｙｍｐｔｏｔｉｃ  Ｂａｙｅｓｉａｎ（ＦＡＢ））の理論と、マルチタスク学習（Ｍｕｌｔｉ−Ｔａｓｋ  Ｌｅａｒｎｉｎｇ（ＭＴＬ））の理論とが、結合される。まず、タスクのサブセットが同じ分布に従うと仮定する。本開示の文脈では、マルチタスク学習は、同じ分布に属するタスクのクラスタを検出することと、区分的線形モデル（例えば、ＨＭＥモデル）を使用して、各クラスタをフィットさせることとを目的としている。同じクラスタ内のタスクは、互いの強度で、学習性能を向上させうる。
【００３６】
図１は、本開示の１つの実施形態による区分的線形モデル生成方法のフロー図を模式的に示す。図１に示すように、区分的線形モデル生成方法は、通常、１０１で複数のタスクのデータを取得することと、１０２で複数のタスク間の相関性を表すタスク相関潜在変数を設定することと、を含み、各タスクは１つの区分的線形モデルに相関しており、１０３で複数の区分的線形モデルにモデル構造を設定し、対応するモデルパラメータと階層的潜在変数とを初期化することと、１０７で複数のタスクのデータと、タスク相関潜在変数と、階層的潜在変数とに基づいて、モデル構造とモデルパラメータとを最適化することと、を含むものとしても良い。以下で、各ステップを詳述に説明する。
【００３７】
ステップ１０１では、Ｎ個のタスクのデータを取得する。
【００３８】
ステップ１０２では、複数のタスク間の相関性を表すタスク相関潜在変数が設定される。ここで、各タスクは１つの区分的線形モデルに相関している。例として、タスク相関潜在変数は、複数のタスクの各タスクと、複数の区分的線形モデルの各区分的線形モデルとの間の対応関係を表すように構成されている。言い換えれば、タスク間の相関性は、各タスクがモデルに属する確率により表されても良い。２つのタスクが同じモデルに属する場合、２つのタスクは相関すると考えられる。本開示では、各タスクは１つの区分的線形モデルのみに対応し、よって、より大きなデータを処理することができる。
【００３９】
ステップ１０３では、複数の区分的線形モデルにモデル構造を設定し、それらのモデルパラメータと階層的潜在変数とを初期化する。例として、モデル構造は木構造であっても良く、初期化処理はランダムに実行されるものとしても良い。
【００４０】
１つの代表的な実施形態によれば、区分的線形モデル生成方法は、ステップ１０３の後かつステップ１０７の前に、複数のタスクのデータと、タスク相関潜在変数と、モデル構造と、モデルパラメータとに基づいて、階層的潜在変数を最適化するステップ１０４を更に含んでも良い。階層的潜在変数は、ステップ１０３でランダムに初期化されるので、それらは、このステップで最適化されうる。階層的潜在変数は、データをどのように分割するかを示すためのものであり、そして、特徴空間は領域に分割される。各領域はローカル・エキスパートにより表現される。階層的潜在変数により領域に分割する処理では、特徴ではなくサンプルによりクラスタ化される。すなわち、どのサンプルが１つの領域に配置され、どのサンプルが他の領域に配置されるか、ということである。具体的な例では、各サンプルを、確率に応じてクラスタ化する。具体的な最適化方法では、以下で示される式（１３）で表される処理を採用しても良い。
【００４１】
１つの代表的な実施形態によれば、区分的線形モデル生成方法は、ステップ１０４の後かつステップ１０７の前に、複数のタスクのデータと、階層的潜在変数と、モデル構造と、モデルパラメータとに基づいて、タスク相関潜在変数を最適化するステップ１０５を更に含んでも良い。ステップ１０２で設定されたタスク相関潜在変数は、ランダムな初期化を通じて生成されたものなので、それらは最適化される必要がある。このステップでは、複数のタスクのデータと、モデル構造と、モデルパラメータと共に、ステップ１０４で最適化された階層的潜在変数を使って、タスク相関潜在変数を最適化しても良い。具体的な最適化方法では、以下で示される式（１１）で表される処理を採用しても良い。
【００４２】
１つの代表的な実施形態によれば、区分的線形モデル生成方法は、ステップ１０５の後かつステップ１０７の前に、タスク相関潜在変数と、更新されたタスク相関潜在変数に基づいて、複数のタスクのハード・クラスタリングを実行するステップ１０６を更に含んでも良い。ハード・クラスタリングは、あるタスクに、１つのモデルのみに属すこと、すなわち、このモデルに属すか、あるいは、あのモデルに属すかのどちらかを強いる。それにより、スペース・オーバーヘッドが大きくなることを回避する。したがって、本開示による本開示の区分的線形モデルは、予測精度を高められるだけでなく、計算リソースも最適化する。したがって、それは、大きなデータ・シナリオに適合されうる。具体的な最適化方法では、以下で示される式（１２）で表される処理を採用しても良い。
【００４３】
１つの代表的な実施形態によれば、ステップ１０７では、ステップ１０４で最適化された階層的潜在変数と、ステップ１０５で最適化されたタスク相関潜在変数とが、複数のタスクのデータと共に、モデル構造とモデルパラメータとを最適化するのに利用されても良い。具体的な最適化方法では、以下で示される式（１４）で表される処理を採用しても良い。
【００４４】
１つの代表的な実施形態によれば、区分的線形モデル生成方法は、ステップ１０７の後に、モデル構造とモデルパラメータとが最適か否か判定するステップ１０８を更に含み、もし最適であれば、区分的線形モデルを出力するステップ１０９を実行し、もし最適でなければ、戻ってステップ１０４を実行するものとしても良い。上記の判定の評価指標は、モデルとデータの間のフィッティング度合であっても良い。フィッティング度合は、上限なしに増加することはできない。寧ろ上限がある。インクリメンタル処理において、最適化を継続することによる増加は、ある程度増加した後、非常に小さくなる。増加が十分に小さい場合、最適モデルが導出されたと考えられる。そこで、最適化をストップし、結果として生じた区分的線形モデルを、ステップ１０９で出力する。
【００４５】
図１に関して上述した特定の実施形態は、本開示による区分的線形モデルを生成する原理を示す。しかし、当業者は、本開示による区分的線形モデル生成方法は、上記特定のステップに限定されず、請求項で限定された範囲に基づくと理解するだろう。様々なニーズに基づいて、１以上のステップを削除または追加することを、当業者は容易に想像するだろう。
【００４６】
次に、ステップ１０４−１０７に適用可能な最適化方法を、具体例に基づいて説明する。
【００４７】
まず、いくつかの記号を以下のように定義する。
Ｎ：タスクの数
Ｌ：各タスクにおけるサンプルの数
ｘＮＬ，ｙＮＬ：各々、トレーニング・データセットの特徴とラベル
Ｄ：データ生成のための元のモデル
Ｍ：混合におけるＨＭＥモデルの数
ｚ：タスクからモデルまでの割り当てベクトル
ζ：サンプルからＨＭＥのエキスパートまでの割り当てベクトル
【００４８】
ＭＴＬは、各タスクにおける、タスクのクラスタリング（ｚにより示される）とサンプルのクラスタリング（ζにより示される）を考慮に入れ、その主な関心は、周辺尤度ｐ（ｙＮＬ｜ｘＮＬ，Ｄ）である。したがって、ｑ（ｚＮ）とｑ（ζＮＬ）に対する周辺対数尤度の下限は、以下のように導き出される。
【数７】
2016194909.tif 000009
【数８】
2016194909.tif 000010
ここで、Ｎｃはｃ番目のクラスタにおけるタスクの数である。ここで、
【数９】
2016194909.tif 000011
と仮定することによって、ｚＮｃに基づいてハード・クラスタリングが適用される。
【００４９】
次に、式（４）と式（５）とを組み合わせることにより、下限を導出しても良い。
【数１０】
2016194909.tif 000012
【００５０】
ｍａｘｑ｛ＶＬＢ（ｑ，ｘＮＬ，ｙＮＬ，Ｄ）｝は、ｌｏｇｐ（ｙＮＬ｜ｘＮＬ，Ｄ）と一致することが保証されうる。
【００５１】
次に、因子化漸近近似を説明する。
【００５２】
タスク・クラスタと、各タスク・クラスタにおけるサンプル・クラスタとの間の相互独立を仮定すると、我々は、ラプラス・メソッドで、因子化情報量基準（Ｆａｃｔｏｒｉｚｅｄ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｃｒｉｔｅｒｉｏｎ（ＦＩＣ））をほぼ得る。
【数１１】
2016194909.tif 000013
ここで、ρ＝（α，ρ１，・・・，ρＭ）であり、αは各クラスタの混合比率ベクトルであり、ρｃ＝（βｃ，γｃ，φｃ）はｃ番目のＨＭＥモデルのパラメータであり、ｃ＝１，・・・，Ｍであり、
【数１２】
2016194909.tif 000014
【数１３】
2016194909.tif 000015
である。上記処理では、周辺対数尤度の近似に基づいてのみ、ＦＩＣは判定される。
【００５３】
次に、上記区分的線形モデル生成方法で使用されうるＦＡＢアルゴリズムを説明する。
【００５４】
ＦＡＢアルゴリズムは、実際にはＦＩＣの漸近的一致の下限を最大にする。下限は、以下のように導き出される。
【数１４】
2016194909.tif 000016
ここで、
【数１５】
2016194909.tif 000017
であり、ｑｎｇｉとｑｎｅｉとは、新しいパラメータ（分布）ｑ〜を有する、ｎｇｉとｎｅｉとの近似である。
【数１６】
2016194909.tif 000018
【数１７】
2016194909.tif 000019
【００５５】
それから、次の最適化問題が生じる。
【数１８】
2016194909.tif 000020
【００５６】
ＦＡＢアルゴリズムは、ｑとθに関して、Ｅ−ステップとＭ−ステップで、最大化を交互に行う。Ｅ−ステップは、以下のように、変分分布ｑを最適化する。
【数１９】
2016194909.tif 000021
ここで、
【数２０】
2016194909.tif 000022
である。
【００５７】
上記したように、式（１１）は、ステップ１０５で、タスク相関潜在変数を最適化するのに使用されうる。
【００５８】
それから、各タスクに、ハード・クラスタリングが適用される。
【数２１】
2016194909.tif 000023
【００５９】
上記したように、式（１２）は、ステップ１０６で、複数のタスクにハード・クラスタリングを実行するのに使用されうる。
【００６０】
Ｅ−ステップは、ｃ番目のモデルに対し、ｑ（ζｎｌｃｊ）を最適化する。
【数２２】
2016194909.tif 000024
ここで、
【数２３】
2016194909.tif 000025
であり、
【数２４】
2016194909.tif 000026
は、ｘｎｌが、（βｃｉ，γｃｉ）によりパラメータ化される所定のＨＭＥモデルのエキスパートｊ及びｉの左サブツリーに属する確率である。
【００６１】
上記したように、式（１３）は、ステップ１０４で、階層的潜在変数の最適化を実現しうる。
【００６２】
Ｍ−ステップは、以下のように、パラメータを最適化する。
【数２５】
2016194909.tif 000027
【００６３】
上記したように、式（１４）は、ステップ１０７で、モデル構造とモデルパラメータとの最適化を実行するのに使用されうる。
【００６４】
図２は、本開示の１つの実施形態による区分的線形モデル生成システムのブロック図を模式的に示す。図２に見られるように、区分的線形モデル生成システムは、一般に、複数のタスクのデータを取得するように構成された取得モジュール２０１と、複数のタスク間の相関性を表すタスク相関潜在変数を設定するように構成された第１の設定モジュール２０２と、を含み、各タスクは１つの区分的線形モデルに相関しており、複数の区分的線形モデルにモデル構造を設定し、対応するモデルパラメータと階層的潜在変数とを初期化するように構成された第２の設定モジュール２０３と、複数のタスクのデータと、タスク相関潜在変数と、階層的潜在変数とに基づいて、モデル構造とモデルパラメータとを最適化するように構成されたモデル最適化モジュール２０７と、を含んでも良い。以下で、各モジュールを詳細に説明する。
【００６５】
取得モジュール２０１では、Ｎ個のタスクのデータが取得されても良い。
【００６６】
第１の設定モジュール２０２では、複数のタスク間の相関性を表すタスク相関潜在変数が設定され、各タスクは１つの区分的線形モデルに相関している。例として、タスク相関潜在変数は、複数のタスクのうちの各タスクと、複数の区分的線形モデルのうちの各区分的線形モデルとの間の対応関係を表すように構成されている。言い換えれば、タスク間の相関性は、各タスクがモデルに属する確率により表されうる。２つのタスクが同じモデルに属する場合、当該２つのタスクは関連があると考えられる。本開示では、各タスクが、１つの区分的線形モデルのみに対応するので、より大きいデータを処理することができる。
【００６７】
第２の設定モジュール２０３では、複数の区分的線形モデルにモデル構造が設定され、それらのモデルパラメータと階層的潜在変数とが初期化される。例として、モデル構造は木構造であっても良く、初期化処理はランダムに実行されても良い。
【００６８】
１つの代表的な実施形態によれば、区分的線形モデル生成システムは、複数のタスクのデータと、タスク相関潜在変数と、モデル構造と、モデルパラメータとに基づいて、階層的潜在変数を最適化するように構成された階層的潜在変数最適化モジュール２０４を更に含んでも良い。階層的潜在変数は、第２の設定モジュール２０３でランダムに初期化されるので、それらは、このステップで、最適化されうる。階層的潜在変数は、データをどのように分割するかを示すためのものであり、そして、特徴空間は領域に分割される。各領域はローカル・エキスパートにより表現される。階層的潜在変数により領域に分割する処理では、特徴ではなくサンプルによりクラスタ化される。すなわち、どのサンプルが１つの領域に配置され、どのサンプルが他の領域に配置されるか、ということである。具体的な例では、各サンプルを、確率に応じてクラスタ化する。具体的な最適化方法では、上記した式（１３）で表された処理を採用しても良い。
【００６９】
１つの代表的な実施形態によれば、区分的線形モデル生成システムは、複数のタスクのデータと、階層的潜在変数と、モデル構造と、モデルパラメータとに基づいて、タスク相関潜在変数を最適化するように構成されたタスク相関潜在変数最適化モジュール２０５を更に含んでも良い。第１の設定モジュール１０２におけるタスク相関潜在変数は、ランダムな初期化により生成されているので、それらを最適化する必要がある。タスク相関潜在変数最適化モジュール２０５では、階層的潜在変数最適化モジュール２０４で最適化された階層的潜在変数を、複数のタスクのデータと、モデル構造と、モデルパラメータと共に使用して、タスク相関潜在変数を最適化しても良い。具体的な最適化方法では、上記した式（１１）で表された処理を採用しても良い。
【００７０】
１つの代表的な実施形態によれば、区分的線形モデル生成システムは、タスク相関潜在変数と、更新されたタスク相関潜在変数とに基づいて、複数のタスクのハード・クラスタリングを実行するように構成されたハード・クラスタリング・モジュール２０６を更に含んでも良い。ハード・クラスタリングは、あるタスクに、１つのモデルのみに属すこと、すなわち、このモデルに属すか、あるいは、あのモデルに属すかのどちらかを強いる。それにより、スペース・オーバーヘッドが大きくなることを回避する。したがって、本開示による本開示の区分的線形モデルは、予測精度を高められるだけでなく、計算リソースも最適化する。したがって、それは、大きなデータ・シナリオに適合されうる。具体的な最適化方法では、上記した式（１２）で表される処理を採用しても良い。
【００７１】
１つの代表的な実施形態によれば、モデル最適化モジュール２０７では、階層的潜在変数最適化モジュール２０４で最適化された階層的潜在変数と、タスク相関潜在変数最適化モジュール２０５で最適化されたタスク相関潜在変数とが、複数のタスクのデータと共に、モデル構造とモデルパラメータとを最適化するのに利用されても良い。具体的な最適化方法では、上記した式（１４）で表される処理を採用しても良い。
【００７２】
１つの代表的な実施形態によれば、区分的線形モデル生成システムは、モデル最適化モジュール２０７により出力されたモデル構造とモデルパラメータとが最適か否か判定するように構成された判定モジュール２０８を更に含んでも良く、もし最適であれば、出力モジュール２０９が区分的線形モデルを出力し、もし最適でなければ、階層的潜在変数最適化モジュール２０４と、タスク相関潜在変数最適化モジュール２０５と、ハード・クラスタリング・モジュール２０６と、モデル最適化モジュール２０７とが、モデル構造とモデルパラメータとの最適化を継続する。上記の判定の評価指標は、モデルとデータの間のフィッティング度合であっても良い。フィッティング度合は、上限なしに増加することはできない。寧ろ上限がある。インクリメンタル処理において、最適化を継続することによる増加は、ある程度増加した後、非常に小さくなる。増加が十分に小さい場合、最適モデルが導出されたと考えられる。そこで、最適化をストップし、出力モジュール２０９は、結果として生じた区分的線形モデルを出力する。
【００７３】
図２で示された区分的線形モデル生成システムは、図１で示された区分的線形モデル生成方法に相当する。したがって、図１による区分的線形モデル生成方法についての上記記載は、図２で示された区分的線形モデル生成システムにも同様に当てはまるので、ここでは詳述しない。
【００７４】
図３は、本開示の１つの実施形態による区分的線形モデル生成方法のステップを模式的に図表で示す。図３に見られるように、まず、上の図は、複数のタスクの入力データＴ１，Ｔ２，・・・ＴＮを示す。ここで、各タスクのデータは、分離したデータの点で表される。その後、中の図では、図１で示された最適化のステップを使って、モデリングが実行されている。各タスクは、１つのモデルのみをモデリングするために使用されても良いと分かり、例えば、Ｔ１とＴ４とは、各々、モデルＨＭＥ１をモデリングするのに使用されても良く、Ｔ２はモデルＨＭＥ２をモデリングするのに使用されても良く、Ｔ３はモデルＨＭＥ３をモデリングするのに使用されても良い。最後に、複数の最適化されたモデル、例えば、エキスパートの階層的な混合、ＨＭＥ（ＴＩ），ＨＭＥ（Ｔ２），・・・，ＨＭＥ（ＴＮ）が、下の図で出力される。
【００７５】
本発明によれば、区分的線形モデルの生成を促進するために、モデル生成プロセス中に、タスク間の相関性を表すために、新しい潜在変数が追加されるので、複数のタスクのデータをモデリングに利用可能であり、それにより、モデル生成の精度を増す。また、各タスクが、１つの区分的線形モデルのみに関連して設定されるので、本開示による区分的線形モデル生成システム及び生成方法は、より大きなデータを処理することができる。
【００７６】
本発明の実施形態は、ソフトウェア、又はハードウェア、又はそれらの組み合わせで実現されうるという点に更に留意すべきである。ハードウェア部分は、特別なロジックにより実現可能であり、ソフトウェア部分は、メモリに格納され、マイクロプロセッサ又は専用に設計されたハードウェアなどの適切な指示実行システムにより実行されうる。上記方法及びシステムは、コンピュータ実行可能な指示、及び／又は、例えば、磁気ディスク又はＣＤ又はＤＶＤ−ＲＯＭのようなベアラ媒体、又は読出し専用メモリ（ファームウェア）又は光学又は電子信号ベアラ等のデータ・ベアラのようなプログラム可能メモリで供給されるコードといった、プロセッサに含まれた制御コードで実現されうる、と通常の当業者は理解しうる。本実施形態における装置及びその構成領域は、例えば、非常に大規模な集積回路又はゲートアレイ、又は論理チップ又はトランジスタのような半導体、又はフィールド・プログラマブル・ゲートアレイのようなプログラム可能なハードウェア・デバイス、又はプログラム可能な論理デバイスといったハードウェア電気回路構成により実現されても良く、又は様々な種類のプロセッサにより実行されるソフトウェアにより実現されても良く、又は例えばファームウェアといった上記ハードウェア電気回路構成とソフトウェアとの組み合わせ、により実現されても良い。
【００７７】
本発明による方法の動作は、図面中に特定の順序で表されているが、これは、それらの動作が当該特定の順序で実行されなければならないということを、又は望ましい結果は示された全ての動作が実行されてのみ成し遂げられうるということを、要求するものでも又は含むものでもない。寧ろ、フロー図で示されるステップは、異なる順序で実行されても良い。その上に、又は、代わりに、いくつかのステップを省略しても良く、及び/又は実行のために複数のステップを１つのステップに統合しても良く、及び/又は実行のために１つのステップを複数のステップに分解しても良い。
【００７８】
本発明を、目下考慮に入れた実施形態に関して記述したが、本発明は、開示された実施形態に限定されないと理解するべきである。それどころか、添付の請求項の趣旨及び範囲内に入る様々な修正及び等価な並べ替えに及ぶことを、本発明は意図する。添付の請求の範囲は、最も広い解釈に一致し、そのような修正と、等価な構造及び機能の全てに及ぶ。
【００７９】
（付記１）
複数のタスクのデータを取得するように構成された取得モジュールと、
前記複数のタスク間の相関性を表すタスク相関潜在変数を設定するように構成された第１の設定モジュールと、
を含み、
各タスクは１つの区分的線形モデルに相関しており、
複数の区分的線形モデルにモデル構造を設定し、対応するモデルパラメータと階層的潜在変数とを初期化するように構成された第２の設定モジュールと、
前記複数のタスクの前記データと、前記タスク相関潜在変数と、前記階層的潜在変数とに基づいて、前記モデル構造と前記モデルパラメータとを最適化するように構成されたモデル最適化モジュールと、
を含む区分的線形モデル生成システム。
【００８０】
（付記２）
前記タスク相関潜在変数は、前記複数のタスクの各タスクと、前記複数の区分的線形モデルの各区分的線形モデルとの間の対応関係を示すように構成されている付記１に記載の区分的線形モデル生成システム。
【００８１】
（付記３）
前記モデル構造は、木構造を含む付記１に記載の区分的線形モデル生成システム。
【００８２】
（付記４）
前記複数のタスクの前記データと、前記タスク相関潜在変数と、前記モデル構造と、前記モデルパラメータとに基づいて、前記階層的潜在変数を最適化するように構成された階層的潜在変数最適化モジュールを更に含む付記１に記載の区分的線形モデル生成システム。
【００８３】
（付記５）
前記複数のタスクのデータと、前記階層的潜在変数と、前記モデル構造と、前記モデルパラメータとに基づいて、前記タスク相関潜在変数を最適化するように構成されたタスク相関潜在変数最適化モジュールを更に含む付記１に記載の区分的線形モデル生成システム。
【００８４】
（付記６）
前記タスク相関潜在変数を最適化した後に、前記タスク相関潜在変数と、更新された前記タスク相関潜在変数とに基づいて、前記複数のタスクのハード・クラスタリングを実行するように構成されたハード・クラスタリング・モジュールを更に含む付記５に記載の区分的線形モデル生成システム。
【００８５】
（付記７）
前記モデル構造と前記モデルパラメータとが最適か否か判定するように構成された判定モジュールを更に含む付記１に記載の区分的線形モデル生成システム。
【００８６】
（付記８）
前記判定モジュールは、前記モデル構造と前記モデルパラメータとの間のフィッティング度合に基づいて、前記モデル構造と前記モデルパラメータとが最適か否か判定する付記７に記載の区分的線形モデル生成システム。
【００８７】
（付記９）
複数のタスクのデータを取得することと、
前記複数のタスク間の相関性を表すタスク相関潜在変数を設定することと、
を含み、
各タスクは１つの区分的線形モデルに相関しており、
複数の区分的線形モデルにモデル構造を設定し、対応するモデルパラメータと階層的潜在変数とを初期化することと、
前記複数のタスクの前記データと、前記タスク相関潜在変数と、前記階層的潜在変数とに基づいて、前記モデル構造と前記モデルパラメータとを最適化することと、
を含む区分的線形モデル生成方法。
【００８８】
（付記１０）
前記タスク相関潜在変数は、前記複数のタスクの各タスクと、前記複数の区分的線形モデルの各区分的線形モデルとの間の対応関係を示すように構成されている付記９に記載の区分的線形モデル生成方法。
【００８９】
（付記１１）
前記モデル構造は、木構造を含む付記９に記載の区分的線形モデル生成方法。
【００９０】
（付記１２）
前記複数のタスクの前記データと、前記タスク相関潜在変数と、前記モデル構造と、前記モデルパラメータとに基づいて、前記階層的潜在変数を最適化することを更に含む付記９に記載の区分的線形モデル生成方法。
【００９１】
（付記１３）
前記複数のタスクの前記データと、前記階層的潜在変数と、前記モデル構造と、前記モデルパラメータとに基づいて、前記タスク相関潜在変数を最適化することを更に含む付記９に記載の区分的線形モデル生成方法。
【００９２】
（付記１４）
前記タスク相関潜在変数を最適化した後に、前記タスク相関潜在変数と、更新された前記タスク相関潜在変数とに基づいて、前記複数のタスクのハード・クラスタリングを実行することを更に含む付記１３に記載の区分的線形モデル生成方法。
【００９３】
（付記１５）
前記モデル構造と前記モデルパラメータとが最適か否か判定することを更に含む付記９に記載の区分的線形モデル生成方法。
【００９４】
（付記１６）
前記モデル構造と前記モデルパラメータとが最適か否か前記判定することは、前記モデル構造と前記モデルパラメータとの間のフィッティング度合に基づいて、前記モデル構造と前記モデルパラメータとが最適か否か判定することを含む付記１５に記載の区分的線形モデル生成方法。
【図１】
2016194909.tif 000028
【図２】
2016194909.tif 000029
【図３】
2016194909.tif 000030
【外国語明細書】
2016194909000001.pdf