(57)【特許請求の範囲】
【請求項１】
観測データｘに対する実数スカラー値ｙを予測する解析装置であって、
観測データｘと実数スカラー値ｙとの組み合わせからなるデータ点の集合である訓練データと、観測データｘからなるテストデータと、観測データｘに対する実数スカラー値ｙを予測するためのｄ次元のベクトルであるパラメータβの各次元の、各グループへの所属度を表すパラメータ構造データと、前記パラメータβを推定するための損失関数における前記訓練データの前記データ点の各々についての誤差項ｌの勾配∇ｌと、前記損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとを受け付けるデータ入力部と、
前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、各グループに対し、前記パラメータβにおける、前記グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するパラメータ推定部と、
前記パラメータ推定部によって推定された前記パラメータβに基づいて、前記テストデータに対する実数スカラー値ｙを予測する予測部と、
を含む解析装置。
【請求項２】
前記パラメータ構造データは、前記パラメータβの次元対の類似度を更に含み、
前記パラメータ推定部は、
前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、前記高階結合正則化項、及び前記パラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定する請求項１記載の解析装置。
【請求項３】
前記パラメータ推定部は、
前記誤差項ｌの勾配∇ｌに基づいて、前記パラメータβを推定する誤差項パラメータ推定部と、
前記誤差項パラメータ推定部によって推定された前記パラメータβと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記パラメータβを推定する正則化項パラメータ推定部と、
前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記高階結合正則化項とに基づいて、前記パラメータβを推定する高階結合正則化項パラメータ推定部とを含み、
前記誤差項パラメータ推定部による推定、前記正則化項パラメータ推定部による推定、及び前記高階結合正則化項パラメータ推定部による推定を、少なくとも１回ずつ行う請求項１に記載の解析装置。
【請求項４】
前記パラメータ推定部は、
前記誤差項ｌの勾配∇ｌに基づいて、前記パラメータβを推定する誤差項パラメータ推定部と、
前記誤差項パラメータ推定部によって推定された前記パラメータβと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記パラメータβを推定する正則化項パラメータ推定部と、
前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記一般化高階結合正則化項とに基づいて、前記パラメータβを推定する一般化高階結合正則化項パラメータ推定部とを含み、
前記誤差項パラメータ推定部による推定、前記正則化項パラメータ推定部による推定、及び前記一般化高階結合正則化項パラメータ推定部による推定を、少なくとも１回ずつ行う請求項２に記載の解析装置。
【請求項５】
前記高階結合正則化項パラメータ推定部は、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記高階結合正則化項に対応して予め定められたｓ／ｔグラフとに基づいて、パラメトリック最大流アルゴリズムに従って、パラメータβを推定する請求項３に記載の解析装置。
【請求項６】
前記一般化高階結合正則化項パラメータ推定部は、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記一般化高階結合正則化項に対応して予め定められたｓ／ｔグラフとに基づいて、パラメトリック最大流アルゴリズムに従って、パラメータβを推定する請求項４に記載の解析装置。
【請求項７】
観測データｘからなるデータ点の集合である訓練データと、観測データｘを解析するためのｄ次元のベクトルであるパラメータβの各次元の、各グループへの所属度を表すパラメータ構造データと、前記パラメータβを推定するための損失関数における前記訓練データの前記データ点の各々についての誤差項ｌの勾配∇ｌと、前記損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとを受け付けるデータ入力部と、
前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、各グループに対し、前記パラメータβにおける、前記グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するパラメータ推定部と、
を含む解析装置。
【請求項８】
前記パラメータ構造データは、前記パラメータβの次元対の類似度を更に含み、
前記パラメータ推定部は、
前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、前記高階結合正則化項、及び前記パラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定する請求項７記載の解析装置。
【請求項９】
観測データｘに対する実数スカラー値ｙを予測する解析装置における解析方法であって、
データ入力部が、観測データｘと実数スカラー値ｙとの組み合わせからなるデータ点の集合である訓練データと、観測データｘからなるテストデータと、観測データｘに対する実数スカラー値ｙを予測するためのｄ次元のベクトルであるパラメータβの各次元の、各グループへの所属度を表すパラメータ構造データと、前記パラメータβを推定するための損失関数における前記訓練データの前記データ点の各々についての誤差項ｌの勾配∇ｌと、前記損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとを受け付けるステップと、
パラメータ推定部が、前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、各グループに対し、前記パラメータβにおける、前記グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するステップと、
予測部が、前記パラメータ推定部によって推定された前記パラメータβに基づいて、前記テストデータに対する実数スカラー値ｙを予測するステップと、
を含む解析方法。
【請求項１０】
前記パラメータ構造データは、前記パラメータβの次元対の類似度を更に含み、
前記パラメータ推定部が推定するステップは、
前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、前記高階結合正則化項、及び前記パラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定する請求項９記載の解析方法。
【請求項１１】
コンピュータを、請求項１〜請求項８のいずれか１項に記載の解析装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、解析装置、方法、及びプログラムに係り、特に、正則化技術を利用して、データを解析する解析装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
教師あり学習は、観測データと教師データとのペアからなる訓練データが与えられた際に、観測データから教師データを予測するためのパラメータを推定する技術である。パラメータの推定は、観測データから教師データを予測したときの誤差を最小化する問題として定式化されている。推定されたパラメータの性能は、テストデータと呼ばれる訓練データに含まれない未知の観測データから教師データを予測した際の誤差（汎化誤差）によって評価され、汎化誤差が小さいほど性能が良いパラメータとされる。
【０００３】
近年、教師あり学習の研究分野では観測データの高次元化に伴い、訓練データが未知の観測データの次元より少ない場合において、推定されたパラメータの汎化誤差が大きくなることにより、推定精度が悪化する問題が注目を集めている。この現象は、過学習という現象に拠る。そこでデータに関して予め得られている事前知識を正則化項として導入し、パラメータの取りうる値を制約し、過学習を回避する正則化技術が研究されている。正則化技術のなかでも、パラメータの持つ構造を利用したものは構造正則化とよばれ、近年盛んに研究されている。
【０００４】
非特許文献１では、結合正則化(Fused Lasso)という構造正則化技術が提案されている。結合正則化技術は、あるパラメータと別のパラメータは隣接関係を持つために同一の真値をもつという事前知識を正則化項として導入する。非特許文献１は、結合正則化項の最小化法を提案し、実験からパラメータが隣接関係を持つデータにおいて、構造を用いない正則化技術よりも高い性能を達成すると報告されている。
【０００５】
非特許文献２では、結合正則化の隣接関係を任意の隣接関係に拡張した一般化結合正則化(Generalized Fused Lasso)という技術が提案されている。非特許文献２は、一般化結合正則化が離散最適化における劣モジュラ関数のロバシュ拡張と一致することを示し（非特許文献３参照）、さらにその性質を利用することで、非特許文献４及び非特許文献７によって一般化結合正則化項の最小化法を提案した。
【０００６】
教師なし学習では、訓練データとテストデータに観測データは含まれるが、教師データが含まれない場合に、データを解析する技術であり、行列分解などの技術が提案されている。教師なし学習においても、データの高次元化に伴い過学習の問題が起きており、この問題を回避するために正則化技術を適応する研究が行われており解析精度の向上が報告されている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Tibshirani,R., Saunders,M., Rosset,S., Zhu,J., Knight, K.: Sparsity and smoothness via the fused lasso. Journal of the Royal Statistical Society: Series B (Statistical Methodology) 67(1), 91−108 (2005)
【非特許文献２】Xin,B., Kawahara,Y., Wang,Y., Gao,W. :Efficient generalized fused lasso with its application to the diagnosis of Alzheimer’s disease. In: Proc. of AAAI. pp. 2163−2169 (2014)
【非特許文献３】Fujishige,S.:Submodularfunctionsandoptimization,vol.58.Elsevier(2005)
【非特許文献４】Gallo,G., Grigoriadis,M.D., Tarjan, R.E.: A fast parametric maximum flow algorithm and applications. SIAM Journal on Computing 18(1), 30−55 (1989)
【非特許文献５】Kohli,P., Ladicky,L., Torr,P.H.S. : Robust higher order potentials for enforcing label consistency. International Journal of Computer Vision 82(3), 302−324 (2009)
【非特許文献６】Combettes,P.L. ,Wajs,V.R.: Signal recovery by proximal forward−backward splitting. Multiscale Modeling & Simulation 4(4), 1168−1200 (2005)
【非特許文献７】Nagano,K., Kawahara,Y., Aihara,K.: Size−constrained submodular minimization through minimum norm base. In: Proc. of ICML. pp. 977−984 (2011)
【非特許文献８】Liu,J., Ji,S., Ye,J.: SLEP: Sparse Learning with Efficient Projections. Arizona State University (2009),
【発明の概要】
【発明が解決しようとする課題】
【０００８】
パラメータに関する事前知識として、高階の構造、すなわち、あるパラメータの集合は同一のグループに所属する、といった情報を正則化に利用したい場合を想定する。しかし、一般化結合正則化が利用可能な事前知識は隣接関係のみに限定されているため、高階の構造を利用できない。そのためにパラメータがグループ構造を持つデータに対して、十分な性能を得られない場合がある。
【０００９】
本発明は、上記問題点を解決するために成されたものであり、グループ構造を持つデータを精度よく解析することができる解析装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、第１の発明に係る解析装置は、観測データｘに対する実数スカラー値ｙを予測する解析装置であって、観測データｘと実数スカラー値ｙとの組み合わせからなるデータ点の集合である訓練データと、観測データｘからなるテストデータと、観測データｘに対する実数スカラー値ｙを予測するためのｄ次元のベクトルであるパラメータβの各次元の、各グループへの所属度を表すパラメータ構造データと、前記パラメータβを推定するための損失関数における前記訓練データの前記データ点の各々についての誤差項ｌの勾配∇ｌと、前記損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとを受け付けるデータ入力部と、前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、各グループに対し、前記パラメータβにおける、前記グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するパラメータ推定部と、前記パラメータ推定部によって推定された前記パラメータβに基づいて、前記テストデータに対する実数スカラー値ｙを予測する予測部と、を含んで構成されている。
【００１１】
また、第１の発明に係る解析装置において、前記パラメータ構造データは、前記パラメータβの次元対の類似度を更に含み、前記パラメータ推定部は、前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、前記高階結合正則化項、及び前記パラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するようにしてもよい。
【００１２】
また、第１の発明に係る解析装置において、前記パラメータ推定部は、前記誤差項ｌの勾配∇ｌに基づいて、前記パラメータβを推定する誤差項パラメータ推定部と、前記誤差項パラメータ推定部によって推定された前記パラメータβと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記パラメータβを推定する正則化項パラメータ推定部と、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記高階結合正則化項とに基づいて、前記パラメータβを推定する高階結合正則化項パラメータ推定部とを含み、前記誤差項パラメータ推定部による推定、前記正則化項パラメータ推定部による推定、及び前記高階結合正則化項パラメータ推定部による推定を、少なくとも１回ずつ行うようにしてもよい。
【００１３】
また、第１の発明に係る解析装置において、前記パラメータ推定部は、前記誤差項ｌの勾配∇ｌに基づいて、前記パラメータβを推定する誤差項パラメータ推定部と、前記誤差項パラメータ推定部によって推定された前記パラメータβと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記パラメータβを推定する正則化項パラメータ推定部と、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記一般化高階結合正則化項とに基づいて、前記パラメータβを推定する一般化高階結合正則化項パラメータ推定部とを含み、前記誤差項パラメータ推定部による推定、前記正則化項パラメータ推定部による推定、及び前記一般化高階結合正則化項パラメータ推定部による推定を、少なくとも１回ずつ行うようにしてもよい。
【００１４】
また、第１の発明に係る解析装置において、前記高階結合パラメータ推定部は、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記高階結合正則化項に対応して予め定められたｓ／ｔグラフとに基づいて、パラメトリック最大流アルゴリズムに従って、パラメータβを推定するようにしてもよい。
【００１５】
また、第１の発明に係る解析装置において、前記一般化高階結合正則化項パラメータ推定部は、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記一般化高階結合正則化項に対応して予め定められたｓ／ｔグラフとに基づいて、パラメトリック最大流アルゴリズムに従って、パラメータβを推定するようにしてもよい。
【００１６】
また、第２の発明に係る解析装置は、観測データｘからなるデータ点の集合である訓練データと、観測データｘを解析するためのｄ次元のベクトルであるパラメータβの各次元の、各グループへの所属度を表すパラメータ構造データと、前記パラメータβを推定するための損失関数における前記訓練データの前記データ点の各々についての誤差項ｌの勾配∇ｌと、前記損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとを受け付けるデータ入力部と、前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、各グループに対し、前記パラメータβにおける、前記グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するパラメータ推定部と、を含んで構成されている。
【００１７】
また、第２の発明に係る解析装置において、前記パラメータ構造データは、前記パラメータβの次元対の類似度を更に含み、前記パラメータ推定部は、前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、前記高階結合正則化項、及び前記パラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するようにしてもよい。
【００１８】
第３の発明に係る解析方法は、観測データｘに対する実数スカラー値ｙを予測する解析装置における解析方法であって、データ入力部が、観測データｘと実数スカラー値ｙとの組み合わせからなるデータ点の集合である訓練データと、観測データｘからなるテストデータと、観測データｘに対する実数スカラー値ｙを予測するためのｄ次元のベクトルであるパラメータβの各次元の、各グループへの所属度を表すパラメータ構造データと、前記パラメータβを推定するための損失関数における前記訓練データの前記データ点の各々についての誤差項ｌの勾配∇ｌと、前記損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとを受け付けるステップと、パラメータ推定部が、前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、各グループに対し、前記パラメータβにおける、前記グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するステップと、予測部が、前記パラメータ推定部によって推定された前記パラメータβに基づいて、前記テストデータに対する実数スカラー値ｙを予測するステップと、を含んで実行することを特徴とする。
【００１９】
また、第３の発明に係る解析方法において、前記パラメータ構造データは、前記パラメータβの次元対の類似度を更に含み、前記パラメータ推定部が推定するステップは、前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、前記高階結合正則化項、及び前記パラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するようにしてもよい。
【００２０】
また、第３の発明に係る解析方法において、前記パラメータ推定部が推定するステップは、誤差項パラメータ推定部が、前記誤差項ｌの勾配∇ｌに基づいて、前記パラメータβを推定するステップと、正則化項パラメータ推定部が、前記誤差項パラメータ推定部によって推定された前記パラメータβと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記パラメータβを推定するステップと、高階結合正則化項パラメータ推定部が、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記高階結合正則化項とに基づいて、前記パラメータβを推定するステップと、を含み、前記誤差項パラメータ推定部による推定、前記正則化項パラメータ推定部による推定、及び前記高階結合正則化項パラメータ推定部による推定を、少なくとも１回ずつ行うようにしてもよい。
【００２１】
また、第３の発明に係る解析方法において、前記高階結合パラメータ推定部が推定するステップは、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記高階結合正則化項に対応して予め定められたｓ／ｔグラフとに基づいて、パラメトリック最大流アルゴリズムに従って、パラメータβを推定するようにしてもよい。
【００２２】
第４の発明に係るプログラムは、コンピュータを、第１又は第２の発明に係る解析装置の各部として機能させるためのプログラムである。
【発明の効果】
【００２３】
本発明の解析装置、方法、及びプログラムによれば、訓練データと、誤差項ｌの勾配∇ｌと、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、訓練データのデータ点の各々についての誤差項ｌと、Ｒ個の正則化項Ωｒと、各グループに対し、パラメータβにおける、グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む損失関数を最小化するように、パラメータβを推定することにより、グループ構造を持つデータを精度よく解析することができる、という効果が得られる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施の形態に係る解析装置の構成を示すブロック図である。
【図２】ｓ／ｔグラフを構築した場合の一例を示す図である。
【図３】本発明の第１の実施の形態に係る解析装置における解析処理ルーチンを示すフローチャートである。
【図４】本発明の第２の実施の形態に係る解析装置の構成を示すブロック図である。
【図５】ｓ／ｔグラフを構築した場合の一例を示す図である。
【図６】本発明の第３の実施の形態に係る解析装置の構成を示すブロック図である。
【図７】本発明の第４の実施の形態に係る解析装置の構成を示すブロック図である。
【図８】実験例におけるnon-overlapping条件の結果の一例を示す図である。
【図９】実験例におけるoverlapping条件の結果の一例を示す図である。
【図１０】実験例における真値、観測値、推定値の一例を示す図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２６】
＜本発明の実施の形態に係る原理＞
【００２７】
まず、本発明の実施の形態における原理を説明する。
【００２８】
本発明の実施の形態では、高階結合正則化項の提案および、その最小化法を適用した解析装置を提案する。高階結合正則化項は非特許文献５に記載のロバストＰｎモデルのロバシュ拡張として提案する。さらにロバストＰｎモデルが劣モジュラ関数であることを利用し高階結合正則化項の効率的な最小化法を示す。
【００２９】
観測データをＭ次元の実数ベクトルｘ、教師データの実数スカラー値ｙとする。訓練データをＮ個のデータ点の集合｛（ｘｎ，ｙｎ）｝ｎ＝１Ｎ、テストデータはＮ’個のデータ点からなる集合｛（ｘｎ’）｝ｎ’＝１Ｎ’とする。正則化付き教師あり学習の損失関数は、ｄ次元の実数ベクトルβをパラメータとして用いて次の（１）式ように定式化される。
【００３０】
【数１】
0006465440.tif 000002
【００３１】
このとき、ｌ（ｘｎ，ｙｎ）はデータ点毎の誤差項、Ω（β）は正則化項である。また、正則化項Ω（β）は
【００３２】
【数２】
0006465440.tif 000003
【００３３】
と表される。ただし、Ωｒは、Ｒ個の正則化項であり、λｒは、正則化項Ωｒに対するハイパーパラメータであり、Ωｈｏ（β）は、後述する高階結合正則化項であり、λｈｏは、高階結合正則化項Ωｈｏに対するハイパーパラメータである。
【００３４】
正則化付き教師なし学習の損失関数は、ｙｎを用いずに次の（２）式ように定式化される。
【００３５】
【数３】
0006465440.tif 000004
【００３６】
正則化付き教師あり学習、及び正則化付き教師なし学習は、次の（３）式に示す、損失関数を最小化するパラメータβ＊を求める問題である。
【００３７】
【数４】
0006465440.tif 000005
【００３８】
パラメータβ＊の推定は、誤差項と正則化項の最小化を交互に行う（上記非特許文献６参照）。教師あり学習においては、予測関数ｆ（β＊；ｘｎ’）によって、テストデータの予測値｛（ｙｎ’）｝ｎ’＝１Ｎ’を計算する。
【００３９】
本発明の実施の形態では、新たな構造正則化項として、Ω（β）の１つである、高階結合正則化項Ωｈｏ（β）の提案と高階結合正則化項を最小化するパラメータの推定を提案し、機械学習問題に適応する。
【００４０】
＜本発明の第１の実施の形態に係る解析装置の構成＞
【００４１】
次に、本発明の第１の実施の形態に係る解析装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係る解析装置１００は、ＣＰＵと、ＲＡＭと、後述する解析処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この解析装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【００４２】
入力部１０は、訓練データ、テストデータ、パラメータ構造データ、誤差項ｌ、パラメータβを推定するための損失関数における訓練データのデータ点の各々についての誤差項ｌの勾配∇ｌ、誤差項のリプシッツ定数Ｌ、Ｒ個の正則化項Ωｒ（ｒ＝１，…，Ｒ）、損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒ（ｒ＝１，…，Ｒ）、予測関数ｆ、繰り返し演算数Ｐ、ハイパーパラメータα、及びハイパーパラメータγを読み込む。
【００４３】
訓練データは、観測データｘと実数スカラー値ｙとの組み合わせからなるＮ個のデータ点の集合｛（ｘｎ，ｙｎ）｝ｎ＝１Ｎである。テストデータは、Ｎ’個の観測データｘの集合｛（ｘｎ）｝ｎ＝１Ｎ’である。
【００４４】
パラメータ構造データは、次の（４）式に示す、観測データｘに対する実数スカラー値ｙを予測するためのｄ次元のベクトルであるパラメータβの各次元の、各グループｋへの所属度を表すｃ０ｋ、及びｃ１ｋである。
【００４５】
【数５】
0006465440.tif 000006
【００４６】
パラメータ構造データは、Ｋ個のグループｋにおけるｃ０ｋ、及びｃ１ｋであり、ｋにおけるｃ０ｋ、及びｃ１ｋは、グループｋに属するパラメータβの各次元の要素の値が、と、グループｋにおける真値と同じとなる度合いを表している。また、ｇｋはｋ番目のグループに属する、パラメータβの次元の集合である。また、パラメータ構造データは、グループｋにおける真値と同じ値を持つ要素の数を制御するためのパラメータθ０ｋ、θ１ｋ、及びθｍａｘｋを更に含む。
【００４７】
演算部２０は、パラメータ推定部３０と、予測部４０とを含んで構成されている。
【００４８】
パラメータ推定部３０は、訓練データと、誤差項ｌの勾配∇ｌと、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒと、誤差項のリプシッツ定数Ｌと、ハイパーパラメータα、γとに基づいて、訓練データのデータ点の各々についての誤差項ｌと、Ｒ個の正則化項Ωｒと、各グループｋに対し、パラメータβにおける、グループｋに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む損失関数を最小化するように、パラメータβを推定する。
【００４９】
パラメータ推定部３０は、具体的には、以下に説明する初期化部３２と、誤差項パラメータ推定部３４と、正則化項パラメータ推定部３６と、高階結合正則化項パラメータ推定部３８と、を含んで構成されている。パラメータ推定部３０では、誤差項パラメータ推定部３４、正則化項パラメータ推定部３６、及び高階結合正則化項パラメータ推定部３８の推定を少なくとも１回ずつ行う。本実施の形態では、入力部１０で受け付けた繰り返し演算数Ｐの回数分の推定を繰り返して得られたパラメータβ＊を予測部４０に出力する。
【００５０】
初期化部３２は、パラメータβの初期値β０を一様乱数によって生成する。
【００５１】
誤差項パラメータ推定部３４は、誤差項ｌの勾配∇ｌと、誤差項のリプシッツ定数Ｌと、パラメータβの初期値β０又は高階結合正則化項パラメータ推定部３８によって推定されたｐ−１回目のパラメータ推定値βｐ−１に基づいて、パラメータβｐ＾を推定する。ここでは、上記非特許文献６に記載の手法に従って、以下（５）式に示すように、初期値β０、又はｐ−１回目のパラメータ推定値βｐ−１を用いて、誤差項に関する推定値βｐ＾を得る。
【００５２】
【数６】
0006465440.tif 000007
【００５３】
正則化項パラメータ推定部３６は、誤差項パラメータ推定部３４によって推定されたパラメータβｐ＾と、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、パラメータβｐ〜を推定する。ここでは、誤差項パラメータ推定部３４で得られたβｐ＾と、１つ目の正則化項Ωｒの各々を最小化する関数∇Ωｒとを用いて、パラメータの推定値βｐ（１）〜を得て、パラメータの推定値βｐ（１）〜と、２つ目の正則化項Ωｒの各々を最小化する関数∇Ωｒとを用いて、パラメータの推定値βｐ（２）〜を得る。同様に、パラメータの推定値βｐ（ｒ−１）〜と、２つ目の正則化項Ωｒの各々を最小化する関数∇Ωｒと用いて、パラメータの推定値βｐ（２）〜を得る。ここでは、βｐ〜（０）＝βｐ＾とし、以下の（６）式に示す操作をＲ回繰り返す。
【００５４】
【数７】
0006465440.tif 000008
【００５５】
そして、正則化項パラメータ推定部３６は、Ｒ回繰り返した結果を、βｐ〜＝βｐ〜（Ｒ）とする。
【００５６】
高階結合正則化項パラメータ推定部３８は、正則化項パラメータ推定部３６によって推定されたパラメータβｐ〜と、高階結合正則化項Ωｈｏ（β）とに基づいて、パラメータβｐを推定する。
【００５７】
具体的には、まず高階結合正則化項を次の（７）式のように定式化する。以下、簡単のためにβ＝βｐ〜とする。
【００５８】
【数８】
0006465440.tif 000009
【００５９】
このとき、ｊｓｋ及びｊｔｋは、
【００６０】
【数９】
0006465440.tif 000010
【００６１】
である。
【００６２】
ここで、高階結合正則化項は、劣モジュラ関数である上記非特許文献５のロバストＰｎモデルのロバシュ拡張に対応する。そこで高階結合正則化項に関するパラメータβの推定は上記非特許文献２と同様に、非特許文献４及び非特許文献７に記載の手法によって行う。
【００６３】
次に、高階結合正則化項に関するパラメータβの推定のため、高階結合正則化項Ωｈｏ（β）に対応して定められたｓ／ｔグラフを図２のように構築する。ｓ／ｔグラフにおいて、ｓは始点ノード、ｔは終点ノード、｛ｖ１，…，ｖｄ｝はパラメータβの各次元に対応するノード、Ｕｓ＝｛ｕｓ１，…，ｕｓＫ｝，Ｕｔ＝｛ｕｔ１，…，ｕｔＫ｝はグループｋに対応するハイパーノードである。
【００６４】
高階結合正則化項パラメータ推定部３８は、正則化項パラメータ推定部３６によって推定されたパラメータβｐ〜と、ｓ／ｔグラフとに基づいて、上記非特許文献４に記載のパラメトリック最大流アルゴリズムによって、ハイパーパラメータαの値を変化させながら、始点ノードから終点ノードまでのフローが最大となるパスを探索することにより、パラメータβｐを推定する。
【００６５】
パラメータ推定部３０は、誤差項パラメータ推定部３４、正則化項パラメータ推定部３６、及び高階結合正則化項パラメータ推定部３８による推定をＰ回繰り返して得られたパラメータの推定値βｐを、上記（３）式によって定式化されたパラメータβ＊として予測部４０に出力する。
【００６６】
予測部４０は、パラメータ推定部３０によって推定されたパラメータβ＊と、予測関数ｆとに基づいて、テストデータに対する実数スカラー値ｙを予測する。ここでは、以下（８）式のように、パラメータ推定部３０によって推定されたパラメータβ＊と、予測関数ｆとを用いて、テストデータ｛（ｘｎ）｝ｎ＝１Ｎ’から予測値｛（ｙｎ＾）｝ｎ＝１Ｎ’を計算し、計算結果を出力部５０に出力する。
【００６７】
【数１０】
0006465440.tif 000011
【００６８】
＜本発明の第１の実施の形態に係る解析装置の作用＞
【００６９】
次に、本発明の第１の実施の形態に係る解析装置１００の作用について説明する。入力部１０において訓練データ、テストデータ、パラメータ構造データ、誤差項ｌ、誤差項ｌの勾配∇ｌ、誤差項のリプシッツ定数Ｌ、Ｒ個の正則化項Ωｒ、損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒ、予測関数ｆ、繰り返し演算数Ｐ、ハイパーパラメータα、及びハイパーパラメータγを読み込むと、解析装置１００は、図３に示す解析処理ルーチンを実行する。
【００７０】
まず、ステップＳ１００では、ｐ＝１として、ｐ＝０のパラメータβの初期値β０を一様乱数によって生成する。
【００７１】
次に、ステップＳ１０２では、誤差項ｌの勾配∇ｌと、誤差項のリプシッツ定数Ｌと、パラメータβの初期値β０又は後述するステップＳ１０６によって推定されたｐ−１回目のパラメータ推定値βｐ−１に基づいて、上記（５）式に従って、パラメータβｐ＾を推定する。
【００７２】
ステップＳ１０４では、ステップＳ１０２で推定されたパラメータβｐ＾と、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、上記（６）式に従って、パラメータβｐ〜を推定する。
【００７３】
ステップＳ１０６では、ステップＳ１０４で推定されたパラメータβｐ〜と、上記（７）式で定式化された高階結合正則化項Ωｈｏ（β）に対応して定められたｓ／ｔグラフとに基づいて、上記非特許文献４に記載のパラメトリック最大流アルゴリズムによって、ハイパーパラメータαの値を変化させながら、始点ノードから終点ノードまでのフローが最大となるパスを探索することにより、パラメータβｐを推定する。
【００７４】
ステップＳ１０８では、ステップＳ１０２〜Ｓ１０６の処理をＰ回繰り返したかを判定し、Ｐ回繰り返していればステップＳ１１２へ移行し、Ｐ回繰り返していなければステップＳ１１０へ移行する。
【００７５】
ステップＳ１１０では、ｐ＝ｐ＋１として、ステップＳ１０２へ戻ってステップＳ１０２〜Ｓ１０６の処理を繰り返す。
【００７６】
ステップＳ１１２では、ステップＳ１０２〜Ｓ１０８の結果得られたパラメータの推定値βｐを、上記（３）式によって定式化されたパラメータβ＊として予測部４０に出力する。
【００７７】
ステップＳ１１４では、ステップＳ１１０で得られたパラメータβ＊と、予測関数ｆとに基づいて、テストデータに対する実数スカラー値ｙを予測し、予測結果を出力部５０に出力して解析処理ルーチンを終了する。
【００７８】
以上説明したように、第１の実施の形態に係る解析装置によれば、訓練データと、誤差項ｌの勾配∇ｌと、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、訓練データのデータ点の各々についての誤差項ｌと、Ｒ個の正則化項Ωｒと、各グループに対し、パラメータβにおける、グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む損失関数を最小化するように、パラメータβを推定し、パラメータβに基づいて、テストデータに対する実数スカラー値ｙを予測することにより、グループ構造を持つデータを精度よく解析して、テストデータに対する実数スカラー値ｙを予測することができる。
【００７９】
＜本発明の第２の実施の形態に係る解析装置の構成＞
【００８０】
次に、本発明の第２の実施の形態に係る解析装置の構成について説明する。第２の実施の形態は、一般化高階結合正則化項を含む損失関数を用いる点が第１の実施の形態と異なっている。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
【００８１】
図４に示すように、本発明の第２の実施の形態に係る解析装置２００は、入力部２１０と、演算部２２０と、出力部５０とを備えている。
【００８２】
入力部２１０は、訓練データ、パラメータ構造データ、誤差項ｌ、パラメータβを推定するための損失関数における訓練データのデータ点の各々についての誤差項ｌの勾配∇ｌ、誤差項のリプシッツ定数Ｌ、Ｒ個の正則化項Ωｒ（ｒ＝１，…，Ｒ）、損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒ（ｒ＝１，…，Ｒ）、繰り返し演算数Ｐ、ハイパーパラメータα、及びハイパーパラメータγを読み込む。以下に、各データについて、第１の実施の形態と異なる点を説明する。
【００８３】
パラメータ構造データは、上記（４）式に示す、観測データｘを解析するためのｄ次元のベクトルであるパラメータβの各次元の、各グループｋへの所属度を表すｃ０ｋ、及びｃ１ｋである。パラメータ構造データは、更に、パラメータβの次元をノード、次元対に関する類似度をエッジに持つグラフ行列Ｗを含む。
【００８４】
【数１１】
0006465440.tif 000012
【００８５】
演算部２２０は、パラメータ推定部２３０と予測部４０とを含んで構成されている。
【００８６】
パラメータ推定部２３０は、訓練データと、誤差項ｌの勾配∇ｌと、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒと、誤差項のリプシッツ定数Ｌと、ハイパーパラメータα、γとに基づいて、訓練データのデータ点の各々についての誤差項ｌと、Ｒ個の正則化項Ωｒと、高階結合正則化項及びパラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む損失関数を最小化するように、パラメータβを推定する。また、パラメータ推定部３０は、初期化部３２と、誤差項パラメータ推定部３４と、正則化項パラメータ推定部３６と、一般化高階結合正則化項パラメータ推定部２３８と、を含んで構成されている。本実施の形態では、パラメータ推定部３０によって、訓練データに含まれる観測データｘを解析するためのパラメータβを推定し、出力部５０に出力する。
【００８７】
一般化高階結合正則化項パラメータ推定部２３８は、正則化項パラメータ推定部３６によって推定されたパラメータβｐ〜と、一般化高階結合正則化項ΩGFL（β）とに基づいて、パラメータβｐを推定する。
【００８８】
具体的には、まず、一般化結合正則化項をΩGFL、高階結合正則化項をΩHOとし、一般化高階結合正則化項を次のように定式化する。以下、簡単のためにβ＝βｐ〜とする。
【００８９】
【数１２】
0006465440.tif 000013
【００９０】
非特許文献２より、一般化結合正則化は、劣モジュラ関数であるカット関数のロバシュ拡張に対応する。また、上記第１の実施の形態と同様に、高階結合正則化項は、劣モジュラ関数である非特許文献４のロバストPnモデルのロバシュ拡張に対応する。したがって、一般化高階結合正則化はカット関数とロバストPnモデルの和からなる劣モジュラ関数のロバシュ拡張と一致する。
【００９１】
以上から、一般化高階結合正則化項に関するパラメータの推定値は非特許文献２と同様に、非特許文献４と非特許文献７によって行う。
【００９２】
この際、s/tグラフを図５のように構築する。グラフにおいて、sは始点ノード、tは終点ノード、｛ｖ１，…，ｖｄ｝はパラメータの各次元に対応するノード、Ｕｓ＝｛ｕｓ１，…，ｕｓＫ｝，Ｕｔ＝｛ｕｔ１，…，ｕｔＫ｝はグループに対応するハイパーノードである。
【００９３】
一般化高階結合正則化項パラメータ推定部２３８は、正則化項パラメータ推定部３６によって推定されたパラメータβｐ〜と、ｓ／ｔグラフとに基づいて、上記非特許文献４に記載のパラメトリック最大流アルゴリズムによって、ハイパーパラメータαの値を変化させながら、始点ノードから終点ノードまでのフローが最大となるパスを探索することにより、パラメータβｐを推定する。
【００９４】
パラメータ推定部２３０は、誤差項パラメータ推定部３４、正則化項パラメータ推定部３６、及び一般化高階結合正則化項パラメータ推定部２３８による推定をＰ回繰り返して得られたパラメータの推定値βｐを、上記（３）式によって定式化されたパラメータβ＊として予測部４０に出力する。
【００９５】
なお、第２の実施の形態に係る解析装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００９６】
以上説明したように、第２の実施の形態に係る解析装置によれば、訓練データと、誤差項ｌの勾配∇ｌと、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、訓練データのデータ点の各々についての誤差項ｌと、Ｒ個の正則化項Ωｒと、高階結合正則化項及びパラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む損失関数を最小化するように、パラメータβを推定し、パラメータβに基づいて、テストデータに対する実数スカラー値ｙを予測することにより、グループ構造を持つデータを精度よく解析して、テストデータに対する実数スカラー値ｙを予測することができる。
【００９７】
また、パラメータに関する隣接、高階の事前情報を一般化高階結合正則化項として利用することにより、教師あり学習の定量的な性能向上が可能になる。
【００９８】
また、パラメータに関する事前知識として、隣接構造と高階構造の2種類の事前情報を正則化に利用したい場合に、これらの事前知識を利用するための一般化高階結合正則化項を含む損失関数を最小化するように、パラメータβを推定し、パラメータβに基づいて、テストデータに対する実数スカラー値ｙを予測することができる。
【００９９】
また、一般化高階結合正則化が劣モジュラ関数のロバシュ拡張であることを利用して、効率的な最小化法により、パラメータβを推定することができる。
【０１００】
＜本発明の第３の実施の形態に係る解析装置の構成＞
【０１０１】
次に、本発明の第３の実施の形態に係る解析装置の構成について説明する。第３の実施の形態は教師データを用いない教師なし学習を行う点が第１の実施の形態と異なっている。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
【０１０２】
図６に示すように、本発明の第３の実施の形態に係る解析装置３００は、ＣＰＵと、ＲＡＭと、後述する解析処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この解析装置３００は、機能的には図６に示すように入力部３１０と、演算部３２０と、出力部５０とを備えている。
【０１０３】
入力部３１０は、訓練データ、パラメータ構造データ、誤差項ｌ、パラメータβを推定するための損失関数における訓練データのデータ点の各々についての誤差項ｌの勾配∇ｌ、誤差項のリプシッツ定数Ｌ、Ｒ個の正則化項Ωｒ（ｒ＝１，…，Ｒ）、損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒ（ｒ＝１，…，Ｒ）、繰り返し演算数Ｐ、ハイパーパラメータα、及びハイパーパラメータγを読み込む。以下に、各データについて、第１の実施の形態と異なる点を説明する。
【０１０４】
訓練データは、観測データｘからなるＮ個のデータ点の集合｛（ｘｎ）｝ｎ＝１Ｎである。本実施の形態は、教師なし学習であるため、実数スカラー値｛（ｙｎ）｝ｎ＝１Ｎを読み込まない。
【０１０５】
パラメータ構造データは、上記（４）式に示す、観測データｘを解析するためのｄ次元のベクトルであるパラメータβの各次元の、各グループｋへの所属度を表すｃ０ｋ、及びｃ１ｋである。
【０１０６】
また、本実施の形態では、上記（２）式に示すように、損失関数における誤差項ｌが、第１の実施の形態と異なっている。
【０１０７】
演算部３２０は、パラメータ推定部３０を含んで構成されている。
【０１０８】
パラメータ推定部３０は、第１の実施の形態と同様に、訓練データと、誤差項ｌの勾配∇ｌと、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒと、誤差項のリプシッツ定数Ｌと、ハイパーパラメータα、γとに基づいて、訓練データのデータ点の各々についての誤差項ｌと、Ｒ個の正則化項Ωｒと、各グループｋに対し、パラメータβにおける、グループｋに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む損失関数を最小化するように、パラメータβを推定する。また、パラメータ推定部３０は、第１の実施の形態と同様に、初期化部３２と、誤差項パラメータ推定部３４と、正則化項パラメータ推定部３６と、高階結合正則化項パラメータ推定部３８と、を含んで構成されている。本実施の形態では、パラメータ推定部３０によって、訓練データに含まれる観測データｘを解析するためのパラメータβを推定し、出力部５０に出力する。
【０１０９】
なお、第３の実施の形態の他の構成及び作用は第１の実施の形態と同様であるため、説明を省略する。
【０１１０】
＜本発明の第４の実施の形態に係る解析装置の構成＞
【０１１１】
次に、本発明の第４の実施の形態に係る解析装置の構成について説明する。第４の実施の形態は教師データを用いない教師なし学習を行う点が第２の実施の形態と異なっている。なお、第２の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
【０１１２】
図７に示すように、本発明の第４の実施の形態に係る解析装置４００は、ＣＰＵと、ＲＡＭと、後述する解析処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この解析装置４００は、機能的には図７に示すように入力部４１０と、演算部４２０と、出力部５０とを備えている。
【０１１３】
入力部４１０は、訓練データ、パラメータ構造データ、誤差項ｌ、パラメータβを推定するための損失関数における訓練データのデータ点の各々についての誤差項ｌの勾配∇ｌ、誤差項のリプシッツ定数Ｌ、Ｒ個の正則化項Ωｒ（ｒ＝１，…，Ｒ）、損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒ（ｒ＝１，…，Ｒ）、繰り返し演算数Ｐ、ハイパーパラメータα、及びハイパーパラメータγを読み込む。以下に、各データについて、第２の実施の形態と異なる点を説明する。
【０１１４】
訓練データは、観測データｘからなるＮ個のデータ点の集合｛（ｘｎ）｝ｎ＝１Ｎである。本実施の形態は、教師なし学習であるため、実数スカラー値｛（ｙｎ）｝ｎ＝１Ｎを読み込まない。
【０１１５】
パラメータ構造データは、上記（４）式に示す、観測データｘを解析するためのｄ次元のベクトルであるパラメータβの各次元の、各グループｋへの所属度を表すｃ０ｋ、及びｃ１ｋである。パラメータ構造データは、更に、更に、パラメータβの次元をノード、次元対に関する類似度をエッジに持つグラフ行列Ｗを含む。
【０１１６】
また、本実施の形態では、上記（２）式に示すように、損失関数における誤差項ｌが、第２の実施の形態と異なっている。
【０１１７】
演算部４２０は、パラメータ推定部２３０を含んで構成されている。
【０１１８】
パラメータ推定部２３０は、第２の実施の形態と同様に、訓練データと、誤差項ｌの勾配∇ｌと、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒと、誤差項のリプシッツ定数Ｌと、ハイパーパラメータα、γとに基づいて、訓練データのデータ点の各々についての誤差項ｌと、Ｒ個の正則化項Ωｒと、一般化高階結合正則化項とを含む損失関数を最小化するように、パラメータβを推定する。また、パラメータ推定部２３０は、第２の実施の形態と同様に、初期化部３２と、誤差項パラメータ推定部３４と、正則化項パラメータ推定部３６と、一般化高階結合正則化項パラメータ推定部２３８と、を含んで構成されている。本実施の形態では、パラメータ推定部３０によって、訓練データに含まれる観測データｘを解析するためのパラメータβを推定し、出力部５０に出力する。
【０１１９】
なお、第４の実施の形態の他の構成及び作用は第２の実施の形態と同様であるため、説明を省略する。
【０１２０】
このように、パラメータに関する隣接、高階の事前情報を一般化高階結合正則化項として利用することにより、教師なし学習の定量的な性能向上が可能になる。
【０１２１】
＜実験例＞
【０１２２】
本発明の第１の実施の形態に係る手法の効果を示すために、人工的に生成したデータセットと、インターネット上で公開されているデータセットに対して、教師あり学習の１つである線形回帰分析を行い、以下（９）式に示す平均二乗誤差という指標を用いて定量的な性能評価を行う。
【０１２３】
【数１３】
0006465440.tif 000014
【０１２４】
人工的に生成したデータでは、データとパラメータの次元はＭ＝ｄ＝１００とし、データを３０，５０，７０，１００，１５０点の条件で生成した。乱数によって生成したｘｎとあらかじめ設計したパラメータの線形和を取り、そこにガウスノイズを加えてｙｎ用を人工的に生成した。１０回の交差検定によってテストデータに対する平均二乗誤差を計測した。比較手法には、ＳＧＬ(非特許文献８)、ＧＦＬ(非特許文献２)、Ｌａｓｓｏ(非特許文献１)、及びＯＬＳ(非特許文献１)を用いた。
【０１２５】
パラメータの設計には２つの条件を用いた。１つ目の条件をnon-overlappingと呼ぶ。本条件では、パラメータは全体で５つのグループ構造をもち、あるパラメータは1つのグループのみに所属すると定め、グループがオーバラップを持たないようにした。同一グループに所属するパラメータは同一の真値を持つように設定した。２つ目の条件をoverlappingと呼ぶ。本条件では、１つ目の設定と異なり、パラメータのうち２つのグループに所属するものが存在するようにし、グループがオーバラップを持つようにした。２つのグループに所属するパラメータの値は２つのグループのいずれかと同一の真値をもつようにせて値した。他の設定は条件non-overlappingと同様にした。なお、ｃ０,ｉｋ,ｃ１,ｉｋの値は１．０あるいは０．０とし、θ０ｋ, θ１ｋは０．０、θｍａｘｋは１．０とした。
【０１２６】
Ｎを３０から１５０までの条件で実験を行い、得られたテストデータに対する平均二乗誤差を以下の表１に示す。(a)はnon-overlapping、(b)はoverlappingの条件での結果である。太字は他の手法の平均二乗誤差と統計的に優位な差が有ることを示している。
【０１２７】
【表１】
0006465440.tif 000015
【０１２８】
non−overlapping条件では本発明とGFLが良好な性能を示している。overlapping条件では、本発明によって、テストデータに対する平均二乗誤差の改善が確認された。本発明はNがdよりも小さく過学習が起こる場合(N=70,50,30)でも、良好な性能を示した。これは高階結合正則化項によって過学習を避けられたからである。
【０１２９】
次に実験から推定されたパラメータ(N=30)を図８及び図９に示す。図中の線はパラメータの真値、白抜き丸は各手法によるパラメータの推定値である。図８のnon−overlapping条件では、本発明とGFLがパラメータの真値と近いパラメータを推定できた。図９のoverlapping条件では、本発明の実施の形態に係る手法のみがパラメータの真値と近いパラメータを推定できた。
【０１３０】
以上の結果から、本発明の第１の実施の形態に係る手法の性能は、パラメータが単一のグループに所属する場合、及び複数のグループに所属するような場合のいずれにおいても有効であることが示された。
【０１３１】
次に、インターネット上で公開されているデータセットを用いて実験の結果を示す。本実験では、MovieLens100k、EachMovie、Book−Crossing（http://grouplens.org ）のデータセットを利用し、データセットに含まれるユーザが視聴した映画と本の履歴データから、映画、及び本に与えた評価値を予測する実験を行った。 データセットの要約は次の表２のとおりである。
【０１３２】
【表２】
0006465440.tif 000016
【０１３３】
表３に１０回の交差検定によってテストデータに対する平均二乗誤差を計測した結果を示す。本発明の第１の実施の形態に係る手法は、すべての設定で既存の手法とほぼ同等、あるいは上回る性能を示している。
【０１３４】
【表３】
0006465440.tif 000017
【０１３５】
また、本発明の第１の実施の形態に係る手法の性能は、実世界で記録されたデータに対しても有効であることが示された。
【０１３６】
次に、本発明の第２の実施の形態に係る手法の効果を示すために、人工的に生成したデータセットと、インターネット上で公開されているデータセットに対して、教師あり学習の１つである線形回帰分析を行い、上記（９）式に示す平均二乗誤差という指標を用いて定量的な性能評価を行う。
【０１３７】
人工的に生成したデータでは、図１０（ａ）に示す、行と列の次元が50の行列データを生成する。行列を12個（8つの長方形と星、丸、菱型の3図形を作成した）の領域に分割し、各領域内のすべての要素は1から12の整数値のいずれかを取る。この整数値をテストデータとする。次にこの整数値に平均0、分散1のガウス分布からサンプリングしたノイズを加算し、さらに要素の値を乱択により欠損させ、訓練データとする。行列補完では観測データから欠損した要素の真値を推定する問題となる。
【０１３８】
実験では、行列をベクトル化してあつかう。すなわちパラメータの次元はd=502=2500となる。欠損値の割合をp=0.9, 0.5, 0.7, 0.9の条件で生成した。10回の交差検定によってテストデータに対する平均二乗誤差を計測した。比較手法には、GFL(非特許文献２)、HOFL(第１の実施の形態)、平均値を用いた。
【０１３９】
なお、wi,j, c0,ik , c1,ikの値は1.0あるいは0.0とし、θ0k, θ1kは0.0、θmaxkは1.0とした。隣接構造には行列データで隣接するパラメータの情報、高階構造には8つの長方形と星形を与えた。つまり、丸と菱型は未知の構造として扱った。実験から得られた推定値と実際の観測値の平均二乗誤差を以下の表に示す。太字は平均二乗誤差が最も低いものを示している。
【０１４０】
【表４】
0006465440.tif 000018
【０１４１】
p=0.1の条件では本発明の第２の実施の形態に係る手法(prop.)とGFLが良好な性能を示している。本発明の第２の実施の形態に係る手法は、その他の欠損値が多く、過学習が起こる場合(p=0.5, 0.7, 0.9)でも、良好な性能を示した。これは一般化高階結合正則化項によって過学習を避けられたからである。
【０１４２】
次に実験から推定されたパラメータを図１０に示す。図１０（ａ）は、真の行列、図１０（ｂ）は、ランダム欠損してノイズが加えられた観測値、図１０（ｃ）は、本発明の第２の実施の形態に係る手法の推定値、図１０（ｄ）は、一般化結合正則化の推定値、図１０（ｅ）は、高階結合正則化の推定値である。本発明の第２の実施の形態に係る手法が他の手法と比べて真値と近いパラメータを推定できたことが確認できる。
【０１４３】
以上から、本発明の第２の実施の形態に係る手法の有効性が示された。
【０１４４】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【符号の説明】
【０１４５】
１０、２１０、３１０、４１０ 入力部
２０、２２０、３２０、４２０ 演算部
３０、２３０ パラメータ推定部
３２ 初期化部
３４ 誤差項パラメータ推定部
３６ 正則化項パラメータ推定部
３８ 高階結合正則化項パラメータ推定部
２３８ 一般化高階結合正則化項パラメータ推定部
４０ 予測部
５０ 出力部
１００、２００、３００、４００ 解析装置
【図１】
0006465440.tif 000019
【図２】
0006465440.tif 000020
【図３】
0006465440.tif 000021
【図４】
0006465440.tif 000022
【図５】
0006465440.tif 000023
【図６】
0006465440.tif 000024
【図７】
0006465440.tif 000025
【図８】
0006465440.tif 000026
【図９】
0006465440.tif 000027
【図１０】
0006465440.tif 000028