(57)【要約】【課題】コスト関数の各項の相対的大きさを調整する係数を潜在変数とともに最適化する潜在変数最適化技術を提供する。【解決手段】観測データを入力として、潜在変数xを最適化する最適化部を含む変数最適化装置であって、f0(x)を潜在変数xの損失項、yi (i=1, …, n)を潜在変数xに対する正規化項fi(x)の係数を表す変数（以下、係数変数という）とし、最適化部は、係数変数yiに対する正規化項gi(yi) (i=1, …, n)を用いた、式L(x, y)=f0(x)+Σi=1n(yifi(x)+ gi(yi))で定義されるコスト関数L(x, y):Rm×Rn→R∪{-∞, +∞}（ただし、y=[y1, …, yn]T）の最小化問題を解くことにより、潜在変数xと係数変数yを最適化する。【選択図】図５
2020123008.tif 000002
【特許請求の範囲】
【請求項１】
観測データを入力として、潜在変数xを最適化する最適化部を含む変数最適化装置であって、
f0(x)を潜在変数xの損失項、yi (i=1, …, n)を潜在変数xに対する正規化項fi(x)の係数を表す変数（以下、係数変数という）とし、
前記最適化部は、
係数変数yiに対する正規化項gi(yi) (i=1, …, n)を用いて、次式で定義されるコスト関数L(x, y):Rm×Rn→R∪{-∞, +∞}
【数３３】
2020123008.tif 000035
（ただし、y=[y1, …, yn]T）の最小化問題を解くことにより、潜在変数xと係数変数yを最適化する
変数最適化装置。
【請求項２】
請求項１に記載の変数最適化装置であって、
前記最適化部は、
次式により、潜在変数xを更新する潜在変数更新部と、
【数３４】
2020123008.tif 000036
次式により、係数変数yを更新する係数変数更新部と、
【数３５】
2020123008.tif 000037
を含む変数最適化装置。
【請求項３】
ノイズが混在した観測信号を入力として、ノイズを除去した推定信号を生成する推定信号生成部を含むノイズ除去装置であって、
x∈Rmを前記ノイズを除去した推定信号を表す潜在変数、zをz=Dx（ただし、行列Dは観測信号の発生に由来する行列）を満たす推定信号を表す潜在変数xの補助変数、{z1, …, zn}∈zを補助変数zをn分割して得られる補助変数、yi(i=1, …, n)を補助変数ziが分散2(1/yi)2のラプラス分布vi(zi, yi)に従うと仮定したとき得られる係数変数とし、
前記推定信号生成部は、次式で定義されるコスト関数L(x, z, y):Rm×Rn×Rn→R∪{-∞, +∞}
【数３６】
2020123008.tif 000038
（ただし、y=[y1, …, yn]T、u0(x|d,σ2)を観測信号dと推定信号を表す潜在変数xの差の分布を表す分散σ2のガウス分布、u1(x|c)を推定信号を表す潜在変数xの分布を表す範囲cの一様分布、wi(yi|ζi, μi, ρi2)を係数変数yiの分布を表す下限及び上限ζi={ζmin,i, ζmax,i}(ζmin,i>0, ζmax,i>0)、平均μi、分散ρi2のガウス分布）の最小化問題を解くことにより、推定信号を表す潜在変数xと補助変数zと係数変数yを最適化して得られた、推定信号を表す潜在変数xを前記ノイズを除去した推定信号として生成する
ノイズ除去装置。
【請求項４】
請求項３に記載のノイズ除去装置であって、
α、ηを所定の定数とし、
前記推定信号生成部は、
次式により、推定信号を表す潜在変数x、補助変数z、双対変数λを更新する第１変数更新部と、
【数３７】
2020123008.tif 000039
次式により、係数変数yを更新する第２変数更新部と、
【数３８】
2020123008.tif 000040
を含むノイズ除去装置。
【請求項５】
変数最適化装置が、観測データを入力として、潜在変数xを最適化する最適化ステップを実行する変数最適化方法であって、
f0(x)を潜在変数xの損失項、yi (i=1, …, n)を潜在変数xに対する正規化項fi(x)の係数を表す変数（以下、係数変数という）とし、
前記最適化ステップは、
係数変数yiに対する正規化項gi(yi) (i=1, …, n)を用いて、次式で定義されるコスト関数L(x, y):Rm×Rn→R∪{-∞, +∞}
【数３９】
2020123008.tif 000041
（ただし、y=[y1, …, yn]T）の最小化問題を解くことにより、潜在変数xと係数変数yを最適化する
変数最適化方法。
【請求項６】
ノイズ除去装置が、ノイズが混在した観測信号を入力として、ノイズを除去した推定信号を生成する推定信号生成ステップを実行するノイズ除去方法であって、
x∈Rmを前記ノイズを除去した推定信号を表す潜在変数、zをz=Dx（ただし、行列Dは観測信号の発生に由来する行列）を満たす推定信号を表す潜在変数xの補助変数、{z1, …, zn}∈zを補助変数zをn分割して得られる補助変数、yi(i=1, …, n)を補助変数ziが分散2(1/yi)2のラプラス分布vi(zi, yi)に従うと仮定したとき得られる係数変数とし、
前記推定信号生成ステップは、次式で定義されるコスト関数L(x, z, y):Rm×Rn×Rn→R∪{-∞, +∞}
【数４０】
2020123008.tif 000042
（ただし、y=[y1, …, yn]T、u0(x|d,σ2)を観測信号dと推定信号を表す潜在変数xの差の分布を表す分散σ2のガウス分布、u1(x|c)を推定信号を表す潜在変数xの分布を表す範囲cの一様分布、wi(yi|ζi, μi, ρi2)を係数変数yiの分布を表す下限及び上限ζi={ζmin,i, ζmax,i}(ζmin,i>0, ζmax,i>0)、平均μi、分散ρi2のガウス分布）の最小化問題を解くことにより、推定信号を表す潜在変数xと補助変数zと係数変数yを最適化して得られた、推定信号を表す潜在変数xを前記ノイズを除去した推定信号として生成する
ノイズ除去方法。
【請求項７】
請求項１または２に記載の変数最適化装置、請求項３または４に記載のノイズ除去装置のいずれかとしてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習において最適化の対象となるモデルの潜在変数を最適化する技術に関する。
【背景技術】
【０００２】
機械学習を用いて、観測した情報（以下、観測情報という）から所望の情報を得る写像を設計するとき、（１）画像処理、音声認識、自然言語処理など、幅広い分野における個々の問題に適したコスト関数を設計する技術と、（２）当該コスト関数を最小化するように潜在変数を最適化する技術の双方が求められる。このコスト関数は、観測情報やコスト関数に含まれる（最適化すべき）潜在変数の生成過程を考慮して設計される。例えば、非特許文献１にあるように、x∈Rmを最適化すべき潜在変数として、コスト関数は次式のような複数の項の和として表現される。
【０００３】
【数１】
2020123008.tif 000003
【０００４】
ここで、f0は損失項（罰則項ともいう）、fi(i=1, …, n)は正規化項、γi(>0) (i=1, …, n)は事前に与えられた係数である。なお、損失項f0、正規化項fi(i=1, …, n)はいずれも閉真凸関数（以下、単に凸関数という）である。
【０００５】
そして、例えば、観測情報を入力として、図１に示す最適化アルゴリズムにより潜在変数xを逐次最適化することにより、コスト関数を最小化する潜在変数が得られる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Robert Tibshirani, “Regression Shrinkage and Selection via the Lasso”, Journal of the Royal Statistical Society, Series B (Methodological), Vol.58, No.1, pp.267-288, 1996.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
式(1-1)における係数γiは、各項の相対的大きさを調整するためパラメータであり、従来、係数γiを人手で事前に調整し、図１に示されるような最適化処理を実行していた。しかし、この係数γiの調整を慎重にしなければ、所望の結果を得ることができないことが多いという問題があった。また、例えば、音声周波数スペクトログラムや画像の局所領域ごとに異なる係数γiを設定する場合のように、調整すべき係数γiの数が増えると、人手で調整することが困難になるという問題もある。
【０００８】
そこで本発明では、コスト関数の各項の相対的大きさを調整する係数を潜在変数とともに最適化する潜在変数最適化技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様は、観測データを入力として、潜在変数xを最適化する最適化部を含む変数最適化装置であって、f0(x)を潜在変数xの損失項、yi (i=1, …, n)を潜在変数xに対する正規化項fi(x)の係数を表す変数（以下、係数変数という）とし、前記最適化部は、係数変数yiに対する正規化項gi(yi) (i=1, …, n)を用いて、次式で定義されるコスト関数L(x, y):Rm×Rn→R∪{-∞, +∞}
【００１０】
【数２】
2020123008.tif 000004
【００１１】
（ただし、y=[y1, …, yn]T）の最小化問題を解くことにより、潜在変数xと係数変数yを最適化する。
【発明の効果】
【００１２】
本発明によれば、コスト関数の各項の相対的大きさを調整する係数を事前に調整する必要がなく、潜在変数と同時に最適化することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】従来の最適化アルゴリズムの一例を示す図である。
【図２】本願の最適化アルゴリズムの一例を示す図である。
【図３】対数凹分布v(x, y)の一例を示す図である。
【図４】本願のノイズ除去アルゴリズムの一例を示す図である。
【図５】変数最適化装置１００の構成を示すブロック図である。
【図６】変数最適化装置１００の動作を示すフローチャートである。
【図７】最適化部１１０の構成を示すブロック図である。
【図８】最適化部１１０の動作を示すフローチャートである。
【図９】ノイズ除去装置２００の構成を示すブロック図である。
【図１０】ノイズ除去装置２００の動作を示すフローチャートである。
【図１１】推定信号生成部２１０の構成を示すブロック図である。
【図１２】推定信号生成部２１０の動作を示すフローチャートである。
【図１３】第１変数更新部２１２の構成を示すブロック図である。
【図１４】第１変数更新部２１２の動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１５】
各実施形態の説明に先立って、この明細書における表記方法について説明する。
【００１６】
^（キャレット）は上付き添字を表す。例えば、xy^zはyzがxに対する上付き添字であり、xy^zはyzがxに対する下付き添字であることを表す。また、_（アンダースコア）は下付き添字を表す。例えば、xy_zはyzがxに対する上付き添字であり、xy_zはyzがxに対する下付き添字であることを表す。
【００１７】
ある文字xに対する^xや~xのような上付き添え字の”^”や”~”は、本来”x”の真上に記載されるべきであるが、明細書の記載表記の制約上、^xや~xと記載しているものである。
【００１８】
＜技術的背景＞
本発明の実施形態では、これまで固定のパラメータとして扱ってきた係数γiを確率的仮定が課された確率変数として扱う。つまり、本発明の実施形態では、係数γiの統計的性質を事前に仮定し、係数γiを自動で調整する。したがって、本発明の実施形態では、潜在変数xに加え、係数γiも最適化されることとなる。
【００１９】
《コスト関数の基本形式》
まず、係数γiを確率変数として扱う場合のコスト関数について説明する。以下、係数γiを確率変数として扱うので、γiと異なる記号を用いて表現することにする。具体的には、正規化項の前にある、コスト関数の各項の相対的大きさを調整する係数をyi(i=1, …, n)で表し、係数変数と呼ぶことにする。
【００２０】
本発明の実施形態では、潜在変数xと係数変数yi(i=1, …, n)の双方を最適化する。そのために、次式により、コスト関数Lを定義する。
【００２１】
【数３】
2020123008.tif 000005
【００２２】
ここで、L(x, y): Rm×Rn→R∪{-∞, +∞}はコスト関数、x∈Rmは潜在変数、y=[y1, …, yn]T∈Rnは係数変数、f0(x)は潜在変数xの損失項、fi(x) (i=1, …, n)は潜在変数xに対する正規化項、gi(yi) (i=1, …, n)は係数変数yiに対する正規化項である。なお、正規化項gi(yi)の定義域は正の領域に制限される。つまり、yi∈(0, +∞)である。
【００２３】
また、損失項f0(x)、正規化項fi(x), gi(yi) (i=1, …, n)はいずれも凸関数である。このとき、コスト関数L(x, y)は、（１）yを固定したときxに関する凸関数、（２）xを固定したときyに関する凸関数となる。つまり、コスト関数L(x, y)はbi-convex（バイコンベックス）となる。
【００２４】
したがって、変数{x, y}のそれぞれを次式のようにL(x, y)を最小化するように逐次的に更新することにより、不動点（つまり、コスト関数を最小化する解）を得る。
【００２５】
【数４】
2020123008.tif 000006
【００２６】
式(2-2)に基づく変数{x, y}の最適化アルゴリズムを図２に示す。ここで、Tは繰り返し回数を表す1以上の整数である。図２に示す最適化アルゴリズムは、観測データを入力として、潜在変数xと係数変数yを交互に逐次最適化するものである。
【００２７】
式(2-1)と式(1-1)とを比較すると、コスト関数に関して以下の違いがあることがわかる。
（１）式(2-1)では、潜在変数xに対する正規化項に掛かる係数が変数となっている。
（２）式(2-1)では、最適化すべき変数が、潜在変数xと係数変数yの2種類ある。
（３）式(2-1)では、係数変数yiに対する正規化項giが加算されている。この項giを導入することは、係数変数yiに対する確率的仮定を事前に設定することに相当する。
【００２８】
《確率モデルと関連したコスト関数の設計》
次に、コスト関数L(x, y)を構成する各項をどのように設計したらよいかの指針について説明する。具体的には、観測データ／変数の生成過程に関する統計的性質を確率分布として表現することで、コスト関数L(x, y)を構成する項を設計する方法について述べる。
【００２９】
凸関数に関連する確率分布のクラスとして、対数凹分布がある（参考非特許文献１）。コスト関数の設計に用いる確率分布を対数凹分布に制限すると、解が一意に得られることが保証できる。
（参考非特許文献１：“Log-concave probability and its applications”, [online], ［平成３１年１月２４日検索］, インターネット<URL: http://econ.ucsb.edu/~tedb/Theory/delta.pdf>）
【００３０】
コスト関数L(x, y)には2種類の変数{x, y}が含まれるため、その組合せに応じて3種類の対数凹分布が必要になる。具体的には、潜在変数xのみを含む対数凹分布ui(x) (i=0, …, k、ただし、kは0以上の整数)、潜在変数xと係数変数yiを含む対数凹分布vi(x, yi) (i=1, …, n)、係数変数yiのみを含む対数凹分布wi(yi) (i=1, …, n)である。
【００３１】
【数５】
2020123008.tif 000007
【００３２】
ここで、~φi(x) (i=0, …, k), φi(x) (i=1, …, n), ψi(x) (i=1, …, n), ξi(yi) (i=1, …, n)は凸関数である。なお、ui(x), vi(x, yi), wi(yi)は確率分布であるので、いずれも正規化されている。すなわち、∫ui(x)dx=1, ∫vi(x, yi)dxdyi=1, ∫wi(yi)dyi=1が成り立つ。
【００３３】
対数凹分布ui(x), wi(yi)については、任意の対数凹分布を利用できるので、~φi(x), ξi(yi)として任意の凸関数を用いることができる。一方、対数凹分布vi(x, yi)については、任意の対数凹分布を利用できるわけではない。図３に、具体的に利用できる対数凹分布v(x, y)=exp[-(yf(x)+φ(x)+ψ(y))]の例を示す。ここで、Β(θ1, θ2)はベータ関数、Γ(θ)はガンマ関数である。図３の表は、v(x, y)が確率密度関数pの形式になるときのy, f(x), φ(x), ψ(y)の組合せを示したものである。なお、表の左から２列目は各変数の台(support)を表す。
【００３４】
観測データ／変数の生成過程に関する統計的性質が上記対数凹の確率分布u0(x), vi(x, yi) (i=1, …, n), wi(yi) (i=1, …, n)によって与えられると仮定する。このとき、~φ0(x)を単にφ0(x)と表すこととすると、尤度関数P(x, y)は次式のようになる。
【００３５】
【数６】
2020123008.tif 000008
【００３６】
式(2-6)に現れる項を次式により置き換えると、
【００３７】
【数７】
2020123008.tif 000009
【００３８】
式(2-6)は以下のようになる。
【００３９】
【数８】
2020123008.tif 000010
【００４０】
式(2-7)は、コスト関数L(x, y)の最小値minx,yL(x, y)が上記仮定した生成過程の最大対数尤度maxx,ylogP(x, y)と一致することを示す。
【００４１】
式(2-3)〜式(2-5)で定義される対数凹分布u0(x), vi(x, yi), wi(yi)を用いて観測データ／変数の生成過程を表現すると、負の対数尤度-logP(x, y)がコスト関数L(x,y)と一致する。また、式(2-2)は、片方の変数（例えば、y）を固定して、もう片方の変数（例えば、x）に関してコスト関数を最小化する処理を意味する。したがって、当該処理は交互に尤度を最大化する処理に対応する。
【００４２】
【数９】
2020123008.tif 000011
【００４３】
《応用事例》
ここでは、LASSOに基づく潜在変数最適化でのコスト関数L(x, y)の設計について説明する。ノイズが混在した観測信号d∈Rmを入力とし、ノイズが除去された推定信号x∈Rmを出力する問題について考える。ここで、対象とする信号は時間領域の音声、静止画像などである。この問題におけるコスト関数を導出するため、いくつかの確率的仮定を置く。以下、各仮定について説明する。
【００４４】
（仮定１）：観測信号dと推定信号xの差に関する仮定
観測信号dと推定信号xの差は、次式で与えられる分散σ2のガウス分布に従うものと仮定する。
【００４５】
【数１０】
2020123008.tif 000012
【００４６】
（仮定２）：推定信号xの取り得る値に関する仮定
推定信号xは範囲c={cmin, cmax}(cmin,<cmax)のある値をとる一様分布に従うものと仮定する。
【００４７】
【数１１】
2020123008.tif 000013
【００４８】
ここで、x=[x1, …, xm]Tである。
【００４９】
（仮定３）：潜在変数である推定信号xの補助変数zに対する確率的仮定
音声のスペクトログラムは、局所領域でスパース性が高いことが知られている。また、画像の隣接要素差分についても局所領域でスパース性が高いことが多い。
【００５０】
そこで、音声に対しては、フレームシフトしながら窓掛けして離散フーリエ変換(DFT)した結果を補助変数zとする。また、画像に対しては、隣接するピクセルを差し引いた結果を補助変数zとする。いずれの場合も、潜在変数xに対して所定の行列Dを掛け合わせることで補助変数zが得られる。
【００５１】
【数１２】
2020123008.tif 000014
【００５２】
ここで、行列Dは観測信号の発生に由来する行列である。
【００５３】
音声／画像を局所領域ごとに分割し、合計でn個の局所領域が得られたものとすると、補助変数zもn分割される。これを、{z1, …, zn}∈zと表す。なお、分割に際して局所領域は重畳するようにしてもよい。
【００５４】
補助変数zi(i=1, …, n)のスパース性より、補助変数ziは分散2βi2のラプラス分布に従うものと仮定する。
【００５５】
【数１３】
2020123008.tif 000015
【００５６】
式(2-4)の形式に合うように、次式の置き換えを用いると、
【００５７】
【数１４】
2020123008.tif 000016
【００５８】
式(2-14)は次式のようになる。
【００５９】
【数１５】
2020123008.tif 000017
【００６０】
ここで、ラプラス分布の分散βiに関連するパラメータyi(i=1, …, n)が係数変数となっている。
【００６１】
（仮定４）：係数変数yiに対する確率的仮定
（仮定３）では、補助変数ziのスパース性を表現するためにラプラス分布が用いられ、その分散に関連するパラメータyiは変数として扱われたが、この係数変数yiもまた対数凹分布で表現される確率分布に従うものと仮定する。
【００６２】
ここでは、係数変数yiに対する確率的仮定の一例として、上限及び下限が制限されたガウス分布を用いることにする。ガウス分布の下限及び上限をζi={ζmin,i, ζmax,i}(ζmin,i>0, ζmax,i>0)、平均をμi、分散をρi2とすると、確率分布wiは以下のようになる。
【００６３】
【数１６】
2020123008.tif 000018
【００６４】
ここで、erf(・)は誤差関数である。
【００６５】
したがって、尤度関数は、次式により与えられる。
【００６６】
【数１７】
2020123008.tif 000019
【００６７】
（仮定１）〜（仮定４）から導出された観測データ／変数の生成過程に関する式(2-9)、式(2-11)、式(2-15)、式(2-18)より、負の対数尤度であるコスト関数L(x, y)は以下で表現される。
【００６８】
【数１８】
2020123008.tif 000020
【００６９】
したがって、
【００７０】
【数１９】
2020123008.tif 000021
【００７１】
となる。ここで、潜在変数xとその補助変数zは、線形等式z=Dxにより関連している。
【００７２】
《最適化ソルバー》
以下、コスト関数L(x, z, y)の最適化ソルバーについて説明する。変数{x, z, y}を交互に最適化することで、不動点（コスト関数を最小化する解）を得ることを目指す。ここでは、最適化ソルバーとして、従来からある近接点法に基づくアルゴリズムを適用する。
【００７３】
まず、コスト関数L(x, z, y)に関して、各変数で劣微分した作用素Tを定義する。
【００７４】
【数２０】
2020123008.tif 000022
【００７５】
そして、次式により各変数の不動点が得られる。
【００７６】
【数２１】
2020123008.tif 000023
【００７７】
劣微分作用素Tに関連するリゾルヴェント作用素RT=(I+αT)-1(α>0)を用いて、変数{x, z, y}を更新することにする。
【００７８】
【数２２】
2020123008.tif 000024
【００７９】
コスト関数L(x, z, y)はbi-convex関数であるので、主変数{x, z}と双対変数yを交互に更新することとする。式(2-22)は、以下の2種類の制約付最小化問題の繰り返し演算に還元される。
【００８０】
【数２３】
2020123008.tif 000025
【００８１】
式(2-23)の問題を解くための一つの方法として交互方向乗数法(ADMM)がある。ADMMに基づいて式(2-23)を解くために、新たな双対変数λを導入する。したがって、最終的には、ADMMに基づく変数最適化アルゴリズム（最適化ソルバー）は{x, z, y, λ}の4種類の変数を逐次更新するアルゴリズムとなる。図４に示す当該アルゴリズムはノイズ除去アルゴリズムである。なお、ε(>0), α(>0), η(>0)は所定の定数、Tは1以上の整数である。
【００８２】
ここでは具体的な実験データは示さないが、係数変数yiに対する確率的仮定が適切なものであれば、当該ノイズ除去アルゴリズムを用いて高精度な信号推定が可能となることが確認された。
【００８３】
＜第１実施形態＞
変数最適化装置１００は、観測データを入力として、最適化の対象となるモデルの潜在変数xを最適化する。ここで、モデルとは、入力データを入力とし、出力データを出力とする関数のことである。また、観測データとは、潜在変数の最適化に用いる入力データのことである。
【００８４】
変数最適化装置１００は、潜在変数xを最適化する際、f0(x)を潜在変数xの損失項、yi (i=1, …, n)を潜在変数xに対する正規化項fi(x)の係数を表す変数（以下、係数変数という）として、係数変数yiに対する正規化項gi(yi) (i=1, …, n)を用いて次式で定義されるコスト関数L(x, y):Rm×Rn→R∪{-∞, +∞}の最小化問題を解くことにより、潜在変数xと係数変数yを最適化する。
【００８５】
【数２４】
2020123008.tif 000026
【００８６】
（ただし、y=[y1, …, yn]Tである。）
【００８７】
以下、図５〜図６を参照して変数最適化装置１００を説明する。図５は、変数最適化装置１００の構成を示すブロック図である。図６は、変数最適化装置１００の動作を示すフローチャートである。図５に示すように変数最適化装置１００は、最適化部１１０と、記録部１９０を含む。記録部１９０は、変数最適化装置１００の処理に必要な情報を適宜記録する構成部である。記録部１９０は、例えば、入力となる観測データ、最適化対象となる潜在変数xや係数変数yiを記録する。
【００８８】
図６に従い変数最適化装置１００の動作について説明する。
【００８９】
Ｓ１１０において、最適化部１１０は、観測データを入力として、コスト関数Lの最小化問題を解くことにより潜在変数xと係数変数yを最適化する。
【００９０】
以下、図７〜図８を参照して最適化部１１０について説明する。図７は、最適化部１１０の構成を示すブロック図である。図８は、最適化部１１０の動作を示すフローチャートである。図７に示すように最適化部１１０は、初期化部１１１、潜在変数更新部１１２と、係数変数更新部１１３と、カウンタ更新部１１４と、終了条件判定部１１５を含む。
【００９１】
図８に従い最適化部１１０の動作について説明する。
【００９２】
Ｓ１１１において、初期化部１１１は、カウンタtを初期化する。具体的には、t=1とする。また、初期化部１１１は、潜在変数x、係数変数yを初期化する。
【００９３】
Ｓ１１２において、潜在変数更新部１１２は、次式により、潜在変数xを更新する。
【００９４】
【数２５】
2020123008.tif 000027
【００９５】
Ｓ１１３において、係数変数更新部１１３は、次式により、係数変数yを更新する。
【００９６】
【数２６】
2020123008.tif 000028
【００９７】
Ｓ１１４において、カウンタ更新部１１４は、カウンタtを1だけインクリメントする。具体的には、t←t+1とする。
【００９８】
Ｓ１１５において、終了条件判定部１１５は、カウンタtが所定の更新回数T（Tは1以上の整数であり、例えば10万）に達した場合（つまり、t>Tとなり、終了条件が満たされた場合）は、そのときの潜在変数の値xと係数変数の値yを出力して、処理を終了する。それ以外の場合、Ｓ１１２の処理に戻る。つまり、最適化部１１０は、Ｓ１１２〜Ｓ１１５の処理を繰り返す。
【００９９】
本実施形態の発明によれば、コスト関数の各項の相対的大きさを調整する係数を事前に調整する必要がなく、潜在変数と同時に最適化することが可能となる。つまり、確率モデルのパラメータを除くパラメータ（例えば、係数）については人手で調整する必要がないため、パラメータの人手による調整を可能な限り少なくすることができる。
【０１００】
＜第２実施形態＞
ここでは、変数最適化装置１００を観測信号のノイズ除去に適用した例であるノイズ除去装置２００について説明する。ノイズ除去装置２００は、ノイズが混在した観測信号を入力として、ノイズを除去した推定信号を生成する。
【０１０１】
以下、図９〜図１０を参照してノイズ除去装置２００を説明する。図９は、ノイズ除去装置２００の構成を示すブロック図である。図１０は、ノイズ除去装置２００の動作を示すフローチャートである。図９に示すようにノイズ除去装置２００は、推定信号生成部２１０と、記録部２９０を含む。記録部２９０は、ノイズ除去装置２００の処理に必要な情報を適宜記録する構成部である。記録部２９０は、例えば、入力となる観測信号、推定信号を表す潜在変数を記録する。
【０１０２】
図１０に従いノイズ除去装置２００の動作について説明する。
【０１０３】
Ｓ２１０において、推定信号生成部２１０は、観測信号を入力として、コスト関数Lの最小化問題を解くことにより、推定信号を表す潜在変数xと補助変数zと係数変数yを最適化して得られた、推定信号を表す潜在変数xをノイズを除去した推定信号として生成する。ここで、x∈Rmはノイズを除去した推定信号表す潜在変数、zはz=Dx（ただし、行列Dは観測信号の発生に由来する行列）を満たす推定信号を表す潜在変数xの補助変数、{z1, …, zn}∈zは補助変数zをn分割して得られる補助変数、yi(i=1, …, n)は補助変数ziが分散2(1/yi)2のラプラス分布vi(zi, yi)に従うと仮定したとき得られる係数変数である。また、コスト関数L(x, z, y):Rm×Rn×Rn→R∪{-∞, +∞}は、次式で定義される。
【０１０４】
【数２７】
2020123008.tif 000029
【０１０５】
（ただし、y=[y1, …, yn]T、u0(x|d,σ2)を観測信号dと推定信号を表す潜在変数xの差の分布を表す分散σ2のガウス分布、u1(x|c)を推定信号を表す潜在変数xの分布を表す範囲cの一様分布、wi(yi|ζi, μi, ρi2)を係数変数yiの分布を表す下限及び上限ζi={ζmin,i, ζmax,i}(ζmin,i>0, ζmax,i>0)、平均μi、分散ρi2のガウス分布とする。）
【０１０６】
以下、図１１〜図１２を参照して推定信号生成部２１０について説明する。図１１は、推定信号生成部２１０の構成を示すブロック図である。図１２は、推定信号生成部２１０の動作を示すフローチャートである。図１１に示すように推定信号生成部２１０は、初期化部２１１、第１変数更新部２１２と、第２変数更新部２１３と、カウンタ更新部２１４と、終了条件判定部２１５を含む。
【０１０７】
図１２に従い推定信号生成部２１０の動作について説明する。
【０１０８】
Ｓ２１１において、初期化部２１１は、カウンタtを初期化する。具体的には、t=1とする。また、初期化部１１１は、推定信号を表す潜在変数x、補助変数z、双対変数λ、係数変数yを初期化する。
【０１０９】
Ｓ２１２において、第１変数更新部２１２は、推定信号を表す潜在変数x、補助変数z、双対変数λを更新する。以下、図１３〜図１４を参照して第１変数更新部２１２について説明する。図１３は、第１変数更新部２１２の構成を示すブロック図である。図１４は、第１変数更新部２１２の動作を示すフローチャートである。図１３に示すように第１変数更新部２１２は、潜在変数更新部２１２１と、補助変数更新部２１２２と、双対変数更新部２１２３と、収束条件判定部２１２４を含む。
【０１１０】
図１４に従い第１変数更新部２１２の動作について説明する。なお、α, ηはそれぞれα>0, η>0を満たす所定の定数である。
【０１１１】
Ｓ２１２１において、潜在変数更新部２１２１は、次式により、推定信号を表す潜在変数xを更新する。
【０１１２】
【数２８】
2020123008.tif 000030
【０１１３】
Ｓ２１２２において、補助変数更新部２１２２は、次式により、補助変数zを更新する。
【０１１４】
【数２９】
2020123008.tif 000031
【０１１５】
Ｓ２１２３において、双対変数更新部２１２３は、次式により、双対変数λを更新する。
【０１１６】
【数３０】
2020123008.tif 000032
【０１１７】
Ｓ２１２４において、収束条件判定部２１２４は、更新前後の潜在変数xの差を表す||x-xold||22が所定の値ε(>0)より大きい間は、Ｓ２１２１〜Ｓ２１２４の処理を繰り返す。一方、収束条件判定部２１２４は、||x-xold||22が所定の値ε以下となった場合は、潜在変数x、補助変数z、双対変数λを出力し、次の処理ステップ（つまり、Ｓ２１３）に移行する。
【０１１８】
Ｓ２１３において、第２変数更新部２１３は、次式により、係数変数yを更新する。
【０１１９】
【数３１】
2020123008.tif 000033
【０１２０】
Ｓ２１４において、カウンタ更新部２１４は、カウンタtを1だけインクリメントする。具体的には、t←t+1とする。
【０１２１】
Ｓ２１５において、終了条件判定部２１５は、カウンタtが所定の更新回数T（Tは1以上の整数であり、例えば10万）に達した場合（つまり、t>Tとなり、終了条件が満たされた場合）は、そのときの潜在変数の値xをノイズを除去した推定信号として出力して、処理を終了する。それ以外の場合、Ｓ２１２の処理に戻る。つまり、推定信号生成部２１０は、Ｓ２１２〜Ｓ２１５の処理を繰り返す。
【０１２２】
（変形例）
上記第１変数更新部２１２の代わりに、以下のＳ２１２を実行する第１変数更新部２１２を用いるようにしてもよい。つまり、Ｓ２１２において、第１変数更新部２１２は、次式により、推定信号を表す潜在変数x、補助変数zを更新する。
【０１２３】
【数３２】
2020123008.tif 000034
【０１２４】
本実施形態の発明によれば、ノイズが除去された高精度な推定信号を生成することが可能となる。
【０１２５】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【０１２６】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【０１２７】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【０１２８】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１２９】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【０１３０】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１３１】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１３２】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１３３】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【０１３４】
上述の本発明の実施形態の記載は、例証と記載の目的で提示されたものである。網羅的であるという意思はなく、開示された厳密な形式に発明を限定する意思もない。変形やバリエーションは上述の教示から可能である。実施形態は、本発明の原理の最も良い例証を提供するために、そして、この分野の当業者が、熟考された実際の使用に適するように本発明を色々な実施形態で、また、色々な変形を付加して利用できるようにするために、選ばれて表現されたものである。すべてのそのような変形やバリエーションは、公正に合法的に公平に与えられる幅にしたがって解釈された添付の請求項によって定められた本発明のスコープ内である。
【図１】
2020123008.tif 000043
【図２】
2020123008.tif 000044
【図３】
2020123008.tif 000045
【図４】
2020123008.tif 000046
【図５】
2020123008.tif 000047
【図６】
2020123008.tif 000048
【図７】
2020123008.tif 000049
【図８】
2020123008.tif 000050
【図９】
2020123008.tif 000051
【図１０】
2020123008.tif 000052
【図１１】
2020123008.tif 000053
【図１２】
2020123008.tif 000054
【図１３】
2020123008.tif 000055
【図１４】
2020123008.tif 000056