(57)【要約】【課題】音質劣化を抑制した音源強調の学習を行う音源強調学習装置を提供する。【解決手段】周波数領域目的音学習データと周波数領域雑音学習データの組から有限個のウィナーフィルタテンプレートを生成するウィナーフィルタテンプレート化部１１０と、行動価値関数を初期化する行動価値関数初期化部１２０と、周波数領域目的音学習データと周波数領域雑音学習データの組から生成した状態ベクトルとウィナーフィルタテンプレートを用いて計算した行動価値関数の値に基づいて選択した最適なウィナーフィルタテンプレートを周波数領域観測信号に適用することにより強調目的音を生成する音源強調部１３０と、強調目的音から計算された聴感評点を用いて行動価値関数を更新する行動価値関数更新部１５０と、所定の収束条件を満たした場合に行動価値関数を出力する収束判定部１６０とを含む。【選択図】図３
2018028580.tif 000002
【特許請求の範囲】
【請求項１】
周波数領域目的音学習データと周波数領域雑音学習データの組から有限個のウィナーフィルタをウィナーフィルタテンプレートとして生成するウィナーフィルタテンプレート化部と、
行動価値関数の初期値を生成する行動価値関数初期化部と、
前記周波数領域目的音学習データと前記周波数領域雑音学習データの組から生成される周波数領域観測信号を用いて表現される状態ベクトルを生成し、前記状態ベクトルと前記ウィナーフィルタテンプレートを用いて計算した前記行動価値関数の値に基づいて選択した最適なウィナーフィルタテンプレートを前記周波数領域観測信号に適用することにより、強調目的音を生成する音源強調部と、
前記強調目的音から計算された聴感評点を用いて前記行動価値関数を更新する行動価値関数更新部と、
所定の収束条件を満たした場合に前記行動価値関数を出力する収束判定部と
を含む音源強調学習装置。
【請求項２】
請求項１に記載の音源強調学習装置であって、
さらに、
前記聴感評点を二値変換した聴感評点を生成する聴感評点バイナリ化部を含む音源強調学習装置。
【請求項３】
請求項１または２に記載の音源強調学習装置であって、
前記行動価値関数更新部が前記行動価値関数を更新する際に用いる、前記聴感評点を用いてフレームごとに計算される値（以下、誤差値という）の全フレームについての和として表現される関数を誤差関数LΘとし、
さらに、
前記周波数領域目的音学習データと前記音源強調部が生成した周波数領域強調目的音を用いて、フレームごとの更新重みを計算する更新重み計算部を含み、
前記行動価値関数更新部は、前記誤差関数LΘを前記誤差値に前記更新重みを乗算した値の全フレームについての和として表現される関数として、当該誤差関数LΘを用いて前記行動価値関数を更新するものである音源強調学習装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の音源強調学習装置であって、
前記行動価値関数初期化部は、
前記周波数領域目的音学習データと前記周波数領域雑音学習データの組から生成したウィナーフィルタの中から最適なウィナーフィルタを識別する番号を決定し、前記周波数領域目的音学習データと前記周波数領域雑音学習データの組から生成した状態ベクトルと前記番号の組を用いて識別学習した行動価値関数を前記初期値とする音源強調学習装置。
【請求項５】
請求項１ないし４のいずれか１項に記載の音源強調学習装置を用いて生成したウィナーフィルタテンプレートと行動価値関数を用いて、周波数領域観測信号を音源強調した周波数領域強調目的音を生成する音源強調装置であって、
前記周波数領域観測信号から状態ベクトルを生成する状態ベクトル生成部と、
前記状態ベクトルと前記ウィナーフィルタテンプレートを用いて計算した前記行動価値関数の値に基づいて最適なウィナーフィルタテンプレートを選択する行動価値関数評価部と、
前記最適なウィナーフィルタテンプレートを用いて前記周波数領域観測信号から前記周波数領域強調目的音を生成する強調目的音生成部と
を含む音源強調装置。
【請求項６】
周波数領域目的音学習データと周波数領域雑音学習データの組から第１の基準を満たすウィナーフィルタをウィナーフィルタテンプレートとして生成するウィナーフィルタテンプレート化部と、
行動価値関数の初期値を生成する行動価値関数初期化部と、
前記周波数領域目的音学習データと前記周波数領域雑音学習データの組から生成される周波数領域観測信号を用いて表現される状態ベクトルを生成し、前記状態ベクトルと前記ウィナーフィルタテンプレートを用いて計算した前記行動価値関数の値に基づいて選択した最適なウィナーフィルタテンプレートを前記周波数領域観測信号に適用することにより、強調目的音を生成する音源強調部と、
前記強調目的音を評価した値である聴感評点を用いて、前記第１の基準と第２の基準とを満たすウィナーフィルタテンプレートが選択されるように前記行動価値関数を更新する行動価値関数更新部と、
所定の収束条件を満たした場合に前記行動価値関数を出力する収束判定部と
を含む音源強調学習装置。
【請求項７】
音源強調学習装置が周波数領域目的音学習データと周波数領域雑音学習データの組から行動価値関数を生成し出力する音源強調学習方法であって、
前記音源強調学習装置が、前記周波数領域目的音学習データと前記周波数領域雑音学習データの組から有限個のウィナーフィルタをウィナーフィルタテンプレートとして生成するウィナーフィルタテンプレート化ステップと、
前記音源強調学習装置が、前記行動価値関数を初期化する行動価値関数初期化ステップと、
前記音源強調学習装置が、前記周波数領域目的音学習データと前記周波数領域雑音学習データの組から生成される周波数領域観測信号を用いて表現される状態ベクトルを生成し、前記状態ベクトルと前記ウィナーフィルタテンプレートを用いて計算した前記行動価値関数の値に基づいて選択した最適なウィナーフィルタテンプレートを前記周波数領域観測信号に適用することにより、強調目的音を生成する音源強調ステップと、
前記音源強調学習装置が、前記強調目的音から計算された聴感評点を用いて前記行動価値関数を更新する行動価値関数更新ステップと、
前記音源強調学習装置が、所定の収束条件を満たした場合に前記行動価値関数を出力する収束判定ステップと
を含む音源強調学習方法。
【請求項８】
請求項１ないし４のいずれか１項に記載の音源強調学習装置または請求項５に記載の音源強調装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源強調技術に関するものであり、特に強化学習を用いて学習したウィナーフィルタによる音源強調技術に関する。
【背景技術】
【０００２】
音声認識やスポーツ中継など音を使った情報処理技術では、マイクロホンを用いて特定の欲しい音（以下、目的音という）をクリアに収音する必要がある。ところが、現状のマイクロホンで音強調すると、目的音の他に周囲の雑音も一緒に収音してしまう。この一緒に収音される雑音の影響により、音声認識では音声が雑音に埋もれ音声認識が困難になるという問題がある。また、スポーツ中継では競技音が歓声にかき消され臨場感が伝わらなくなるという問題がある。
【０００３】
このような問題を解決するための技術として、目的音だけをクリアに強調する音源強調技術がある。音源強調とは、時刻tにおいて強調したい目的音Sω,tと雑音Nω,tが混ざり合った、マイクロホンで収音された観測信号Xω,tから目的音Sω,tだけを強調するものである（式(1)参照）。
【数１】
2018028580.tif 000003
ここで、t∈{1, …, T}とω∈{1, …, Ω}は、それぞれ時間と周波数のインデックスである。
【０００４】
ウィナーフィルタによる音源強調では、目的音Sω,tと雑音Nω,tが無相関であると仮定して、以下の式で目的音Sω,tを強調した信号（強調目的音）Yω,tを得る。
【数２】
2018028580.tif 000004
【０００５】
つまり、ウィナーフィルタによる音源強調では、観測信号Xω,tからいかに正確にウィナーフィルタGω,tを設計するかが重要となる。
【０００６】
近年、統計的機械学習の技術を用いることで、ウィナーフィルタ設計の精度が向上することが分かってきた（非特許文献１）。統計的機械学習に基づくウィナーフィルタ設計では、学習データから理想的なウィナーフィルタ^Gω,tを予測する関数M(Xω,t)を学習する。
【数３】
2018028580.tif 000005
【０００７】
まず、目的音の学習データSω,1,…,Ttrainと雑音の学習データNω,1,…,Ttrainを大量に集める。次に、式(1)と式(3)に基づき擬似的な観測音Xω,1,…,Ttrainと理想的なウィナーフィルタGω,1,…,Ttrainを設計する。そして、Xω,tを^Gω,tに変換する関数M(・)をニューラルネットワークなどで表現し、擬似的な観測音Xω,1,…,Ttrainと理想的なウィナーフィルタGω,1,…,Ttrainの組を用いて学習する。このとき、関数M(・)の学習の基準には、二乗誤差の目的関数が用いられることが多い。例えば、ウィナーフィルタの誤差に基づく式(5)や目的音の誤差に基づく式(6)などを用いる。
【数４】
2018028580.tif 000006
具体的な最適化手続きでは、式(5)や式(6)の二乗誤差を関数M(・)のパラメータで偏微分し勾配法で最小化することにより、関数M(・)を学習する。
【０００８】
ところが、例えば、式(5)を基準として学習した関数M(・)を用いて設計したウィナーフィルタでは、目的音は強調されるが、非線形歪みなどの影響により音質が劣化してしまうという問題が生じる。これは、式(5)が目的音と出力音のスペクトルの近さだけを基準にしており、人間の聴覚の特性などを考慮していないことに起因する。
【０００９】
ところで、人間の聴覚の特性などを考慮した音源強調の性能指標として、PESQ（非特許文献２）、STOI（非特許文献３）、PEASS（非特許文献４）などが知られている。以下、これらの性能指標を総称して聴感評点と呼ぶことにする。この聴感評点は、その値が高いほど、人間が聴いてよい音質であると知覚することを示している。
【００１０】
このような性質を有する聴感評点が大きくなるように統計的音源強調を学習することができれば、音質が劣化しないウィナーフィルタの設計が可能となる。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】Y. Xu, J. Du, L. R. Dai and C. H. Lee, “A regression approach to speech enhancement based on deep neural networks”, IEEE/ACM Trans. Audio, Speech and Language Processing, Vol.23, No.1, pp.7-19, 2015.
【非特許文献２】A. W. Rix, J. G. Beerends, M. P. Hollier and A. P. Hekstra, “Perceptual evaluation of speech quality (PESQ): A new method for speech quality assessment of telephone networks and codecs”, in Proc. ICASSP ’01, pp.749-752, 2001.
【非特許文献３】C. H. Taal, R. C. Hendriks, R. Heusdens, and J. Jensen, “An Algorithm for Intelligibility Prediction of Time-Frequency Weighted Noisy Speech”, IEEE Trans. Audio, Speech and Language Processing, Vol.19, No.7, pp.2125-2136, 2011.
【非特許文献４】Valentin Emiya, Emmanuel Vincent, Niklas Harlander and Volker Hohmann, “Subjective and objective quality assessment of audio source separation”, IEEE Trans. Audio, Speech and Language Processing, Vol.19, No.7, pp.2046-2057, 2011.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところが、聴感評点を最大化するように統計的音源強調を学習するには２つの問題がある。
(1)聴感評点は、式(5)や式(6)のような単純な計算式で計算できるものではなく、複雑な計算式を用いて計算される。そのため、その導関数を求めることが困難であり、勾配法などを用いて直接聴感評点を最大化することができない。
(2)聴感評点は、式(5)や式(6)のようにフレームごとに求まるのではなく、１つの音源データ（例えば、音声であれば一発話）が終わらないと計算することができない。
【００１３】
このため、聴感評点が大きくなるような統計的音源強調の学習を実現することは困難であった。換言すれば、音質が劣化しないウィナーフィルタの設計は困難であった。
【００１４】
そこで本発明では、強化学習を用いて、音質劣化を抑制した音源強調の学習を行う音源強調学習装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の一態様は、周波数領域目的音学習データと周波数領域雑音学習データの組から有限個のウィナーフィルタをウィナーフィルタテンプレートとして生成するウィナーフィルタテンプレート化部と、行動価値関数を初期化する行動価値関数初期化部と、前記周波数領域目的音学習データと前記周波数領域雑音学習データの組から生成される周波数領域観測信号を用いて表現される状態ベクトルを生成し、前記状態ベクトルと前記ウィナーフィルタテンプレートを用いて計算した前記行動価値関数の値に基づいて選択した最適なウィナーフィルタテンプレートを前記周波数領域観測信号に適用することにより、強調目的音を生成する音源強調部と、前記強調目的音から計算された聴感評点を用いて前記行動価値関数を更新する行動価値関数更新部と、所定の収束条件を満たした場合に前記行動価値関数を出力する収束判定部とを含む。
【００１６】
本発明の一態様は、周波数領域目的音学習データと周波数領域雑音学習データの組から第１の基準を満たすウィナーフィルタをウィナーフィルタテンプレートとして生成するウィナーフィルタテンプレート化部と、行動価値関数の初期値を生成する行動価値関数初期化部と、前記周波数領域目的音学習データと前記周波数領域雑音学習データの組から生成される周波数領域観測信号を用いて表現される状態ベクトルを生成し、前記状態ベクトルと前記ウィナーフィルタテンプレートを用いて計算した前記行動価値関数の値に基づいて選択した最適なウィナーフィルタテンプレートを前記周波数領域観測信号に適用することにより、強調目的音を生成する音源強調部と、前記強調目的音を評価した値である聴感評点を用いて、前記第１の基準と第２の基準とを満たすウィナーフィルタテンプレートが選択されるように前記行動価値関数を更新する行動価値関数更新部と、所定の収束条件を満たした場合に前記行動価値関数を出力する収束判定部とを含む。
【発明の効果】
【００１７】
本発明によれば、強化学習を用いることにより、音質劣化を抑制した音源強調の学習を行うことが可能となる。
【図面の簡単な説明】
【００１８】
【図１】ゲームを用いて強化学習の概念を説明する図。
【図２】聴感評点低下を抑制するための重みづけを説明する図。
【図３】音源強調学習装置１００の構成を示すブロック図。
【図４】音源強調学習装置１００の動作を示すフローチャート。
【図５】ウィナーフィルタテンプレート化部１１０の構成を示すブロック図。
【図６】ウィナーフィルタテンプレート化部１１０の動作を示すフローチャート。
【図７】音源強調部１３０の構成を示すブロック図。
【図８】音源強調部１３０の動作を示すフローチャート。
【図９】音源強調学習装置２００の構成を示すブロック図。
【図１０】音源強調学習装置２００の動作を示すフローチャート。
【図１１】聴感評点バイナリ化部２４０の構成を示すブロック図。
【図１２】聴感評点バイナリ化部２４０の動作を示すフローチャート。
【図１３】音源強調学習装置３００の構成を示すブロック図。
【図１４】音源強調学習装置３００の動作を示すフローチャート。
【図１５】更新重み計算部３４０の構成を示すブロック図。
【図１６】更新重み計算部３４０の動作を示すフローチャート。
【図１７】音源強調学習装置４００の構成を示すブロック図。
【図１８】音源強調学習装置４００の動作を示すフローチャート。
【図１９】行動価値関数初期化部４２０の構成を示すブロック図。
【図２０】行動価値関数初期化部４２０の動作を示すフローチャート。
【図２１】音源強調装置５００の構成を示すブロック図。
【図２２】音源強調装置５００の動作を示すフローチャート。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００２０】
まず、強化学習について説明する。
＜強化学習(Reinforcement Learning)＞
強化学習とは、ある環境におけるエージェントが、現在の状態を観測し行動を決定する問題を扱う機械学習の一種である。時刻tにおいて、エージェントは環境からの観測（つまり、環境の現在の状態）xtに基づき、A種類の行動のうちから一つの行動a∈{1, …,A}を決定する。時刻tにおける行動atは行動価値関数Q(x, a)の値に基づき決定する。まとめると、以下のような流れになる。なお、観測（状態）xは一般にベクトルとして表現される。
(1)エージェントは、時刻tにおいて、環境から観測xtを受け取る。
(2)エージェントは、行動価値関数Q(x, a)に基づいて時刻tにおける最適な行動atを決定し実行する。一般には、
【数５】
2018028580.tif 000007
で決定する。 
(3)環境は、エージェントの行動atによって状態xt+1に変化する。
(4)環境は、状態xt+1に基づき行動atの報酬rtをエージェントに返す。
(5)(1)へ戻る。
【００２１】
ゲームを用いてこの処理の流れを説明したものが図１である。まず、エージェントは現在のゲーム画面が示すゲームの状態に従ってレバーをどのように動かせばよいかを決定する。その決定に従い、エージェントはレバーを操作する。すると、ゲームの画面が変化し、得点が更新される。
【００２２】
エージェントは、ゲーム終了時の得点が大きくなるように、レバーを操作する。ゲームの練習とは、何度もゲームをプレーし、どういったゲーム画面のときにどうレバーを動かせば最終得点が大きくなるかの判断基準（行動価値関数Q(x, a)）を取得することである。
【００２３】
行動価値関数Q(x, a)は、観測される状態xの取りうる状態数や行動パターン数Aが少なければ、テーブル関数のような形式で簡単に表現することができる。しかし、実際の音や画像を対象とする情報処理の問題では、観測される状態xは、音圧や画素値のように連続値を取るため膨大な状態数を持つことがほとんどである。
【００２４】
そこで、行動価値関数Q(x, a)は、何らかの別の関数で近似し表現されることが多い。例えば、ディープニューラルネットワーク（DNN）に基づく行動価値関数は
【数６】
2018028580.tif 000008
とした上で、
【数７】
2018028580.tif 000009
や
【数８】
2018028580.tif 000010
と表現される。ここで、Lはネットワークの層の数、W(j)とb(j)はそれぞれ第j層の重み行列とバイアスベクトル（j∈{1, …,L}）、F(・)はシグモイド関数などの非線形変換を表す。また、ut(j)は第j層における出力（ベクトル）である。ut(j)(a)はベクトルut(j)のa番目の要素を表す。
【００２５】
強化学習における学習とは、常に最適な行動を選べるよう行動価値関数Q(x, a)を学習する問題である。最適な行動価値関数とは、式(13)で定義される現時点tから無限の未来までに得ることのできる報酬rの和Rtを最大化するような方策を与える関数である。
【数９】
2018028580.tif 000011
ただし、γ（0≦γ<1）は、Rtが有限の値となるように設定する割引率である。
【００２６】
以下、「行動価値関数が最適である」とは、式(13)の値が最大となる行動価値関数であるという意味で用いることにする。
【００２７】
もし、最適な行動価値関数Qopt(x, a)が存在するならば、パラメータΘにより決定づけられる行動価値関数Q(x, a|Θ)は、
【数１０】
2018028580.tif 000012
を最小化することで学習することができる。これにより、例えば、勾配法を用いて行動価値関数Q(x, a|Θ)を学習することができる。つまり、
【数１１】
2018028580.tif 000013
によりパラメータΘを更新していき、行動価値関数Q(x, a|Θ)を求めるとよい。ここで、αは正の実数であり、∇はナブラを表す。
【００２８】
しかし、最適な行動価値関数Qopt(x, a)は未知であるため、何らかの形で近似しないとこのままでは式(14)を計算することができない。
【００２９】
そこで、エクスペリエンス・リプレー（Experience Replay）アルゴリズムでは、現在の行動価値関数Q(x, a|Θ)に従って行動を決定、実行し、そこから得られた報酬rtに従って、パラメータΘを更新する。先ほどのゲームの例でいえば、何度もゲームをプレーし、その結果に基づきレバー操作の方針を改善していくイメージである。
【００３０】
まず、現在の行動価値関数Q(x, a|Θ)に従って、観測x1,…,T、行動a1,…,T、報酬r1,…,Tのペアを取得する。そして、目標とする（つまり、Qopt(x, a)を近似する）行動価値関数Qttargetを
【数１２】
2018028580.tif 000014
と設定する。そして、目標値との誤差を表す関数（以下、誤差関数ともいう）LΘを
【数１３】
2018028580.tif 000015
として計算し、式(15)を用いてパラメータΘを更新する。
【００３１】
ただし、エクスペリエンス・リプレーアルゴリズムにおいて、時刻tにおける行動atを常に式(7)で決定すると、選択される行動が初期値に依存して偏ってしまうという問題がある。
【００３２】
そこで、ε-グリーディー（ε-greedy）アルゴリズムでは、各時刻tにおいて、確率εで行動atをランダムに選択する。このようにすることで、選択される行動の偏りを防ぎ、より最適な行動価値関数Q(x, a|Θ)を学習することができるようになる。
【００３３】
次に、発明の原理について説明する。
＜発明の原理＞
聴感評点を向上させるような統計的音源強調の強化学習の基本的な枠組みは以下のようになる。つまり、(1)から(4)の手順に従い、行動価値関数Q(x, a|Θ)の学習を進める。
(1)環境の現時点tにおける観測を観測信号Xω,t、エージェントを関数M(・)、報酬を聴感評点Ziterとする（ただし、iterは繰り返しを示すインデックスである）。したがって、関数M(・)に従って決定されるウィナーフィルタ（ウィナーフィルタを識別する番号）が行動に相当する。
(2)目的音の学習データSω,1,…,Ttrainと雑音の学習データNω,1,…,Ttrainを使って、疑似的な観測音である観測信号Xω,1,…,Ttrainを生成し、現在の関数M(・)の行動価値関数Q(x, a|Θ)に従い、音源強調を行う（状態xは観測信号Xω,tを用いて表現される変数、行動aはウィナーフィルタを識別する番号とする）。ただし、ウィナーフィルタの推定関数である関数M(・)は、いくつかの行動パターンで実現される形式に変更しなくてはならない。
(3)音源強調の結果から聴感評点Ziterを計算する。
(4)報酬である聴感評点Ziterを最大化するように行動価値関数Q(x, a|Θ)を更新する。
【００３４】
しかし、この学習手順には以下の４つの課題が残っている。
【００３５】
課題１は必ず解決する必要がある課題であり、この課題が解かれない限り上記手順は実行できない。一方、課題２〜４はオプションであり、これらの課題が解かれることにより音源強調の学習精度がより向上する。
【００３６】
（課題１）関数M(・)は、連続値のウィナーフィルタを返す関数である。したがって、関数M(・)の値の取りうるパターンは無限通りある。ところが、強化学習ではエージェントである関数M(・)の行動パターンを有限のA個に落とし込まなくてはならない。つまり、この学習で用いるウィナーフィルタを有限にする必要がある。
【００３７】
（課題２）聴感評点は、ゲームの勝ち負けのような二値ではなく、連続値を取る。この場合、行動価値関数Q(x, a|Θ)は、式(12)のように直接聴感評点を推定するような回帰型の関数（例えば、重回帰分析などの、実数から実数への射影関数）で設計するのが一般的である。しかし、行動価値関数Q(x, a|Θ)を回帰型の関数で表現すると、一般に解空間が広くなるため、その学習が困難になる。
【００３８】
この問題を解決するためには、聴感評点を二値化し、行動価値関数Q(x, a|Θ)を式(11)のように識別モデル（例えば、ロジスティック回帰などの、実数から二値への射影関数）で記述する必要がある。
【００３９】
（課題３）聴感評点は、一つの発話を強調し終わらないと評価できない。また、聴感評点は、一つの発話のうちのある局所的な部分だけ音質が劣化し、その他の部分では完璧な強調を行ったとしても、評点が下がってしまうという性質がある。しかし、エージェントは、聴感評点そのものを受け取っても、聴感評点が下がった理由までは分からないため、完璧な強調を行った部分も、悪い行動をしたものと判定してしまう（図２参照）。
【００４０】
この問題を解決するためには、聴感評点の低下を引き起こしている箇所（フレーム）だけを修正するアルゴリズムが必要である。
【００４１】
（課題４）強化学習では行動価値関数Q(x, a|Θ)の最適な目標値が与えらない。具体的に言えば、目標値は式(16)により逐次的に与えられる。このため、学習が初期値に依存しやすく、局所解に陥りやすい傾向がある。
【００４２】
この問題を解決するためには、音源強調に適した初期値の決定方法（つまり、行動価値関数Q(x, a|Θ)の初期化方法）が必要である。
【００４３】
以下、上記４つの課題を解決する方法について説明する。
（課題１の解決法：ウィナーフィルタのテンプレート化）
ウィナーフィルタGω,tは式(3)で設計される。式(3)の分子は目的音Sω,tによって決まるため、目的音の性質によってある程度パターン化できる。例えば、目的音Sω,tが音声ならば母音を強調するウィナーフィルタが、スポーツ音ならばキック音などの突発音を強調するウィナーフィルタがそれぞれ高頻度で出現するであろうと考えられる。つまり、ウィナーフィルタGω,tは数種類のテンプレートを用いて十分に表現できると考えられ、行動価値関数Q(x, a|Θ)は、時刻tにおいてどのテンプレート（行動に相当）を選択するかを決定する関数となる。
【００４４】
したがって、課題１を解決するためには、目的音の学習データSω,1,…,Ttrainと雑音の学習データNω,1,…,TtrainからA個のウィナーフィルタのテンプレートを生成すればよい。具体的には、まず目的音の学習データSω,1,…,Ttrainと雑音の学習データNω,1,…,Ttrainから式(3)を用いて理想的なウィナーフィルタGω,1,…,Ttrainを生成する。次に、ウィナーフィルタGω,1,…,TtrainをK-meansクラスタリングやヒストグラム法などを用いてクラスタリングし、A個のウィナーフィルタのテンプレートGω,1,…,Aを生成する。ここで、テンプレートとは、K-meansクラスタリング、GMM(Gaussian Mixture Model)、ベクトル量子化クラスタリングを用いた場合はクラスタ中心であり、ヒストグラム法を用いた場合はヒストグラムの各ビンである。
【００４５】
（課題２の解決法：聴感評点の閾値判定）
強化学習では二つの値しか取らない報酬を用いた方が識別モデルを適用できるため、行動価値関数を精度よく推定することができる。そこで、閾値判定を用いて聴感評点を二値化したバイナリ化聴感評点に変更することとする。
【００４６】
Ziterをiter回目の更新における聴感評点とし、iter回目の更新の時刻tにおける報酬であるバイナリ化聴感評点rtiterを閾値φを用いて
【数１４】
2018028580.tif 000016
と決定する。
【００４７】
なお、閾値φは、ITERthres-update回毎に以下の手順で更新するものとする。
(1)ITERthres-update回分の聴感評点Ziterの平均値をφ-とする。
(2)平均値φ-がφ-βより大きい場合、φ←φ-+βとする（つまり、それ以外の場合、閾値φは変更しない）。ここで、βは閾値へのバイアスを示す正の実数である。
【００４８】
ただし、式(19)を用いてバイナリ化聴感評点rtiterを決定すると、聴感評点Ziterの大小は一切考慮されない。つまり、Ziter=φ+0.01のときもZiter=φ+1000のときもいずれも同じバイナリ化聴感評点rtiter=Rとなってしまう。そこで、式(19)を用いて学習がうまく進まなかった場合には、バイナリ化聴感評点rtiterを以下のように設定してもよい。
【数１５】
2018028580.tif 000017
ここで、Υはバイナリ化聴感評点rtiterの取りうる値の最大値がRとなるように制御する正の実数である。Υの値は用いる聴感評点Zの種類によって決定すべきであるが、例えば、0<Z<5の場合はΥ=50程度に設定すればよい。
【００４９】
上記説明において、以上となっている箇所をより大きいと、より大きいとなっている箇所を以上と、以下となっている箇所をより小さいと、より小さいとなっている箇所を以下と適宜変更してもよい。
【００５０】
（課題３の解決法：二乗誤差ベースの更新重みの計算）
一つの発話の中で聴感評点の低下の要因となっている箇所だけを修正するための工夫について説明する（図２参照）。二乗誤差だけでは音質は最大化できないが、強調目的音Yω,tと目的音Sω,tの二乗誤差は目的音の強調のよさを示す指標となる。ここでは、フレームt毎の二乗誤差値に従って、パラメータΘの更新量を調節するアルゴリズムを提案する。フレームtごとに計算される更新重みwtを用いて目標値との誤差を表す関数LΘを計算する。以下、具体的に説明する。
【００５１】
まず、強調目的音Yω,tと目的音Sω,tのフレームt毎の二乗誤差Etを以下の式(21)で計算する。
【数１６】
2018028580.tif 000018
なお、二乗誤差Etは、メルフィルタバンクなどで圧縮したスペクトルから計算してもよい。
【００５２】
次に、二乗誤差Etを以下の式(22)で正規化する。なお、正規化後の二乗誤差Etを正規化二乗誤差ということにする。
【数１７】
2018028580.tif 000019
【００５３】
次に、更新重みwtを以下の式(23)で計算する。
【数１８】
2018028580.tif 000020
つまり、聴感評点がよい場合は、行動価値関数Q(x, a|Θ)が大きくなるように更新する必要がある。そこで、正規化二乗誤差の小さなフレームを積極的に更新する。また、聴感評点が悪い場合は、行動価値関数Q(x, a|Θ)が小さくなるように更新する必要がある。そこで、正規化二乗誤差の大きなフレームを積極的に更新する。たとえて言うならば、前者はほめるイメージであり、後者は叱るイメージである。
【００５４】
次に、目標値との誤差を表す関数LΘを以下の式(24)で計算する。つまり、式(24)は式(18)を代替するものである。
【数１９】
2018028580.tif 000021
【００５５】
最後に、このLΘを用いて式(15)に従いパラメータΘを更新する。
【００５６】
ここでは、Etの計算に二乗誤差を用いて更新重みwtを求める方法について説明したが、Etの計算に用いる誤差は二乗誤差に限られるものではない。フレームt毎に強調目的音Yω,tと目的音Sω,tの信号の歪み度合が計算できればよいので、例えば、二乗誤差の代わりに、信号対歪比SDR（Signal-to-Distortion Ratio）や信号対干渉比SIR(Signal-to-Interference Ratio)、またはこれらの重み付け和などを用いても、同様の効果が得られる。したがって、二乗誤差、正規化二乗誤差をそれぞれ単に誤差、正規化誤差ということもある。
【００５７】
（課題４の解決法：二乗誤差ベースの初期値の決定）
ここでは、行動価値関数Q(x, a|Θ)の初期化方法について説明する。例えば、行動価値関数Q(x, a|Θ)が式(8)から式(11)を用いて表現される場合は、W(j)とb(j)の初期値を決定することになる。先述した通り、強調目的音Yω,tと目的音Sω,tの二乗誤差は目的音の強調のよさを示す指標である。そこで、初期値は学習データの各フレームにおいて二乗誤差の意味で最適なウィナーフィルタ番号を出力するような行動価値関数Q(x, a|Θ)とする。以下、その手順について説明する。
【００５８】
まず、目的音の学習データSω,1,…,Ttrainと雑音の学習データNω,1,…,Ttrainから式(3)で理想的なウィナーフィルタGω,1,…,Ttrainを生成する。ここで、Sω,1,…,TtrainとNω,1,…,Ttrainから観測信号Xω,1,…,Ttrainも生成しておく。
【００５９】
次に、学習データの各フレーム（t=1,…,Ttrain）において、以下の式(25)を用いて二乗誤差の意味で最適なウィナーフィルタテンプレートの番号a1,…,Ttrainを決定する。
【数２０】
2018028580.tif 000022
ここで、aは（課題１の解決法：ウィナーフィルタのテンプレート化）で述べたテンプレートを識別する番号であり、a∈{1, …, A}である。
【００６０】
なお、式(25)中の二乗誤差はメルフィルタバンクなどで圧縮したウィナーフィルタから計算してもよい。
【００６１】
最後に、観測信号Xω,1,…,Ttrainから生成される状態ベクトルxtを学習したときにテンプレートの番号atを出力するように行動価値関数Q(x, a|Θ)を識別学習する。先の例でいえば、W(j)とb(j)の初期値が決定されることになる。なお、識別学習には任意の方法を用いることができる。例えば、ロジスティック回帰などを用いるとよい。
【００６２】
また、状態ベクトルの具体的な生成方法については、後述する実施形態１の音源強調部１３０における状態ベクトルの生成と同様の方法を用いるのでよい。
【００６３】
＜実施形態１＞
以下、図３〜図４を参照して実施形態１の音源強調学習装置１００を説明する。図３は、音源強調学習装置１００の構成を示すブロック図である。図４は、音源強調学習装置１００の動作を示すフローチャートである。図１に示すように音源強調学習装置１００は、ウィナーフィルタテンプレート化部１１０と、行動価値関数初期化部１２０と、音源強調部１３０と、聴感評点計算部１４０と、行動価値関数更新部１５０と、収束判定部１６０を含む。
【００６４】
音源強調学習装置１００は、目的音学習データ記録部９１０、雑音学習データ記録部９２０に接続している。目的音学習データ記録部９１０、雑音学習データ記録部９２０には、事前に収音した目的音と雑音が学習データとして記録されている。目的音は雑音を一切含まないクリーンな音である方がよい。
【００６５】
また、目的音学習データ記録部９１０、雑音学習データ記録部９２０に記録される目的音及び雑音は、時間領域信号である方が望ましい。時間領域目的音、時間領域雑音は音源ごとに分割して記録しておく。例えば、目的音が音声である場合、発話単位に分割しておく。なお、以下では、簡単のために、音声以外の目的音であっても発話ということにする。
【００６６】
また、以下では、目的音学習データ記録部９１０、雑音学習データ記録部９２０に記録される目的音及び雑音は、発話単位に分割された時間領域目的音及び時間領域雑音であるとして説明をする。
【００６７】
音源強調学習装置１００の各構成部で用いる各種パラメータ（例えば、強化型学習、識別学習など学習アルゴリズムで用いるパラメータ）については、目的音学習データや雑音学習データと同様外部から入力されてもよいし、事前に各構成部に設定されていてもよい。各種パラメータの推奨値については、パラメータが関係する各構成部の説明の際に適宜説明することとする。
【００６８】
パラメータの一例をあげると、ウィナーフィルタテンプレート化部１１０で用いる行動パターン数（テンプレート数）Aがある。この行動パターン数Aの値は発話数や目的音の複雑さに応じて変更するのが好ましいため、外部から入力する方がよい。また、行動パターン数Aの推奨値は、音声の場合、64〜128程度である。
【００６９】
ウィナーフィルタテンプレート化部１１０は、目的音学習データと雑音学習データを入力とし、A個のウィナーフィルタテンプレートGω,1,…,Aを生成する（Ｓ１１０）。具体的には、（課題１の解決法：ウィナーフィルタのテンプレート化）で説明した方法でテンプレートを生成する。
【００７０】
以下、図５〜図６を参照してウィナーフィルタテンプレート化部１１０について説明する。図５は、ウィナーフィルタテンプレート化部１１０の構成を示すブロック図である。図６は、ウィナーフィルタテンプレート化部１１０の動作を示すフローチャートである。図５に示すようにウィナーフィルタテンプレート化部１１０は、周波数領域変換部１１１と、ウィナーフィルタ生成部１１２と、クラスタリング部１１３を含む。
【００７１】
まず、周波数領域変換部１１１は、目的音学習データ記録部９１０、雑音学習データ記録部９２０から読み出した目的音学習データと雑音学習データを周波数領域目的音学習データSω,1,…,Ttrainと周波数領域雑音学習データNω,1,…,Ttrainに変換する（Ｓ１１１）。例えば、高速フーリエ変換（FFT）を用いて時間領域信号を周波数領域信号に変換すればよい。変換に必要なパラメータであるFFT長、シフト長は、サンプリングレートが16kHzである場合、FFT長を512、シフト長を256などに設定すればよい。
【００７２】
次に、ウィナーフィルタ生成部１１２は、Ｓ１１１で生成した学習データSω,1,…,TtrainとNω,1,…,Ttrainから式(3)を用いてウィナーフィルタGω,1,…,Ttrainを生成する（Ｓ１１２）。
【００７３】
最後に、クラスタリング部１１３は、ウィナーフィルタGω,1,…,TtrainからA個のウィナーフィルタテンプレートGω,1,…,Aを生成する（Ｓ１１３）。なお、有限個のテンプレートを生成することができるのであれば、クラスタリング以外の分類方法を用いてもよい。
【００７４】
行動価値関数初期化部１２０は、行動価値関数Q(x, a|Θ)を初期化する（Ｓ１２０）。つまり、行動価値関数Q(x, a|Θ)の初期値を生成する。行動価値関数が式(8)から式(11)を用いて表現される場合は、第j層の重み行列W(j)と第j層のバイアスベクトルb(j)の初期値を決定することになる。例えば、乱数を用いて重み行列W(j)やバイアスベクトルb(j)の各要素の値を生成するのでよい。また、クロスエントロピー基準のバックプロパゲーションを用いて生成するのでもよい。
【００７５】
音源強調部１３０は、Ｓ１１０で生成したウィナーフィルタテンプレート及び現時点の行動価値関数Q(x, a|Θ)を用いて、強調目的音、テンプレート番号、状態ベクトルを生成する（Ｓ１３０）。Ｓ１３０の処理は、学習データの組ごとに繰り返し実行されることになる。
【００７６】
以下、図７〜図８を参照して音源強調部１３０について説明する。図７は、音源強調部１３０の構成を示すブロック図である。図８は、音源強調部１３０の動作を示すフローチャートである。図７に示すように音源強調部１３０は、観測信号生成部１３１と、周波数領域変換部１３２と、状態ベクトル生成部１３３と、テンプレート選択部１３４と、強調目的音生成部１３５と、時間領域変換部１３６と、出力生成部１３７を含む。
【００７７】
まず、観測信号生成部１３１は、目的音学習データ記録部９１０、雑音学習データ記録部９２０に記録される目的音学習データ、雑音学習データを読出し、目的音学習データと雑音学習データを重畳し、時間領域観測信号を生成する（Ｓ１３１）。
【００７８】
次に、周波数領域変換部１３２は、Ｓ１３１で生成した観測信号を周波数領域に変換し、周波数領域観測信号Xω,tを生成する（Ｓ１３２）。周波数領域変換部１１１と同様、高速フーリエ変換（FFT）を用いて時間領域信号を周波数領域信号に変換すればよい。
【００７９】
状態ベクトル生成部１３３は、Ｓ１３２で生成した観測信号Xω,tから各時刻tにおける状態ベクトルxtを生成する（Ｓ１３３）。例えば、フレームtの過去P1フレームから未来P2フレームまでの観測信号を縦に連結したものを状態ベクトルxtとして、以下の式(26)のように生成するのでよい。
【数２１】
2018028580.tif 000023
【００８０】
なお、連結する観測信号としてメルフィルタバンクなどで圧縮したものを用いるのでもよい。また、P1とP2は10程度に設定すればよい。
【００８１】
テンプレート選択部１３４は、Ｓ１１０で生成したウィナーフィルタテンプレートGω,1,…,Aを用いて、行動価値関数Q(xt, a|Θ)（ただし、xtはＳ１３３で生成した状態ベクトル、aはテンプレート番号）の値を計算し、式(7)を用いて最適なウィナーフィルタテンプレート（テンプレート番号at）を選択する（Ｓ１３４）。行動価値関数Q(xt, a|Θ)の値は、例えば、式(8)〜式(11)を用いて計算すればよい。
【００８２】
なお、式(7)を用いる代わりに、ε-グリーディーアルゴリズムを用いてウィナーフィルタテンプレートを選択してもよい。この場合、εの値は、0.01や0.05に設定すればよい。
【００８３】
強調目的音生成部１３５は、Ｓ１３４で選択した最適なウィナーフィルタテンプレートGω,atと式(27)を用いて周波数領域強調目的音Yω,tを生成する（Ｓ１３５）。
【数２２】
2018028580.tif 000024
ただし、atは、Ｓ１３４で選択した最適なウィナーフィルタテンプレートを識別する番号であり、at∈{1, …, A}である。
【００８４】
時間領域変換部１３６は、Ｓ１３５で生成した強調目的音Yω,tから時間領域強調目的音を生成する（Ｓ１３６）。時間領域への変換には逆フーリエ変換を用いればよい。  
【００８５】
最後に、出力生成部１３７は、時間領域強調目的音、選択された最適なウィナーフィルタテンプレート番号a1,…、各時刻の状態ベクトルx1,…を出力する（Ｓ１３７）。
【００８６】
なお、音源強調部１３０が時間領域変換部１３６を備えない構成とすることも可能である。この場合は、Ｓ１３６は省略され、Ｓ１３７での出力が周波数領域強調目的音、選択された最適なウィナーフィルタテンプレート番号a1,…、各時刻の状態ベクトルx1,…となる。
【００８７】
聴感評点計算部１４０は、Ｓ１３０で出力された強調目的音から聴感評点Ziterを計算する（Ｓ１４０）。音質の指標となる聴感評点には、PESQ、STOIなど任意のものを用いることができる。なお、これらの聴感評点の計算に際して必要があれば、目的音学習データ記録部９１０、雑音学習データ記録部９２０から読み出した目的音学習データと雑音学習データを読み出すものとする。また、Ｓ１３０で出力された強調目的音が周波数領域信号である場合、必要に応じて時間領域信号に変換してから聴感評点Ziterを計算することになる。
【００８８】
行動価値関数更新部１５０は、Ｓ１４０で計算された聴感評点を用いて行動価値関数Q(x, a|Θ)を更新する（Ｓ１５０）。具体的には、聴感評点Ziterを報酬とし、式(18)及び式(15)を用いてパラメータΘを更新することにより、行動価値関数Q(x, a|Θ)を更新する。行動価値関数の各値Q(xt, at|Θ)を計算するときは、Ｓ１３０で出力したテンプレート番号a1,…、各時刻の状態ベクトルx1,…を用いて計算する。
【００８９】
なお、式(15)のαは10-3程度に設定すればよい。
【００９０】
収束判定部１６０は、更新回数が実行開始時に指定した所定の回数に達した場合は、現時点の行動価値関数Q(x, a|Θ)を出力して処理を終了する一方、達していない場合はＳ１３０に戻り再度行動価値関数Q(x, a|Θ)の更新計算を行う（Ｓ１６０）。
【００９１】
本実施形態の発明によれば、音源強調に強化学習を適用することにより、式(5)、式(6)に代表される二乗誤差以外の目的関数を用いることが可能となる。これにより、音情報処理技術に適した目的関数（具体的には、聴感評点を反映した行動価値関数）を用いて音源強調を最適化することが可能となる。つまり、音質劣化を抑制した音源強調の学習を行うことが可能となる。
【００９２】
＜実施形態２＞
実施形態１では、聴感評点計算部１４０で計算される聴感評点は一般に連続値であった。しかし、（課題２の解決法：聴感評点の閾値判定）で述べたように、強化学習では、報酬に二値を用いた方が識別モデルを適用できるため、行動価値関数を精度よく推定することができる。そこで、閾値判定を用いて連続値である聴感評点を二値化する処理を追加する。
【００９３】
以下、図９〜図１０を参照して実施形態２の音源強調学習装置２００を説明する。図９は、音源強調学習装置２００の構成を示すブロック図である。図１０は、音源強調学習装置２００の動作を示すフローチャートである。音源強調学習装置２００は聴感評点バイナリ化部２４０が追加されている点のみにおいて音源強調学習装置１００と異なる。
【００９４】
そこで、以下では、図１１〜図１２を参照して聴感評点バイナリ化部２４０について説明する。図１１は、聴感評点バイナリ化部２４０の構成を示すブロック図である。図１２は、聴感評点バイナリ化部２４０の動作を示すフローチャートである。図１１に示すように聴感評点バイナリ化部２４０は、バイナリ化部２４１と、閾値更新部２４２を含む。
【００９５】
バイナリ化部２４１は、Ｓ１４０で生成した聴感評点Ziterを二値変換し、バイナリ化聴感評点rtiterを生成する（Ｓ２４１）。具体的には、（課題２の解決法：聴感評点の閾値判定）の式(19)を用いる。つまり、聴感評点Ziterが閾値φ以上である場合、バイナリ化聴感評点rtiterをRとし、聴感評点Ziterが閾値φより小さい場合、バイナリ化聴感評点rtiterを-Rとする。
【００９６】
なお、式(19)の代わりに、式(20)を用いてバイナリ化聴感評点rtiterを生成してもよい。
【００９７】
閾値更新部２４２は、Ｓ２４１がITERthres-update回実行される度に、閾値φを更新する（Ｓ２４２）。具体的方法は、（課題２の解決法：聴感評点の閾値判定）にある通りであり、聴感評点Ziterの平均値φ-がφ-βより大きい場合のみ、φ←φ-+βにより更新する。
【００９８】
Rは0.05程度、βは3程度、φの初期値は0、ITERthres-updateは20程度に設定すればよい。
【００９９】
行動価値関数更新部１５０は、Ｓ２４０で計算したバイナリ化聴感評点を報酬として用いて行動価値関数Q(x, a|Θ)を更新する（Ｓ１５０）。
【０１００】
本実施形態の発明によれば、強化学習において聴感評点として二値を用いるため、行動価値関数を精度よく推定することができる。つまり、音質劣化をより抑制する音源強調の学習を行うことが可能となる。
【０１０１】
＜実施形態３＞
実施形態１では、行動価値関数更新部１５０では式(18)を用いて目標値との誤差を表す関数LΘを計算した。しかし、（課題３の解決法：二乗誤差ベースの更新重みの計算）で述べたように、一つの発話の中で聴感評点の低下の要因となっている箇所だけを修正するように、フレームt毎にLΘの二乗誤差値を計算する方が行動価値関数を精度よく推定することができる。そこで、関数LΘを計算する際に用いる更新重みwtを計算する処理を追加する。
【０１０２】
以下、図１３〜図１４を参照して実施形態３の音源強調学習装置３００を説明する。図１３は、音源強調学習装置３００の構成を示すブロック図である。図１４は、音源強調学習装置３００の動作を示すフローチャートである。音源強調学習装置３００は更新重み計算部３４０が追加されている点、行動価値関数更新部１５０の代わりに行動価値関数更新部３５０が追加されている点において音源強調学習装置１００と異なる。
【０１０３】
以下では、まず、図１５〜図１６を参照して更新重み計算部３４０について説明する。図１５は、更新重み計算部３４０の構成を示すブロック図である。図１６は、更新重み計算部３４０の動作を示すフローチャートである。図１５に示すように更新重み計算部３４０は、周波数領域変換部３４１と、誤差計算部３４２と、誤差正規化部３４３と、更新重み決定部３４４を含む。
【０１０４】
周波数領域変換部３４１は、目的音学習データ記録部９１０に記録される目的音学習データを周波数領域に変換し、周波数領域目的音Sω,tを生成する（Ｓ３４１）。周波数領域変換部１１１と同様、高速フーリエ変換（FFT）を用いて時間領域信号を周波数領域信号に変換すればよい。
【０１０５】
誤差計算部３４２は、Ｓ３４１で生成した目的音Sω,tとＳ１３５で生成した周波数領域強調目的音Yω,tから式(21)を用いて二乗誤差Etを計算する（Ｓ３４２）。  誤差正規化部３４３は、二乗誤差Etから式(22)を用いて正規化二乗誤差を計算する（Ｓ３４３）。
【０１０６】
更新重み決定部３４４は、正規化二乗誤差から更新重みを決定する（Ｓ３４４）。具体的方法は、式(23)を用いる。つまり、聴感評点Ziterが閾値φ以上である場合、更新重みwtを1から正規化二乗誤差を引いた値、聴感評点Ziterが閾値φより小さい場合、更新重みwtを正規化二乗誤差そのものとする。
【０１０７】
なお、Ｓ３４２〜Ｓ３４４では、二乗誤差、正規化二乗誤差を用いて説明したが、（課題３の解決法：二乗誤差ベースの更新重みの計算）で述べたように、二乗誤差以外の誤差を用いてもよい。この場合、Ｓ３４２〜Ｓ３４４における、二乗誤差、正規化二乗誤差を誤差、正規化誤差に読みかえればよい。
【０１０８】
次に、行動価値関数更新部３５０について説明する。行動価値関数更新部３５０は、Ｓ１４０で計算された聴感評点とＳ３４０で計算された更新重みを用いて行動価値関数Q(x, a|Θ)を更新する（Ｓ３５０）。具体的には、聴感評点Ziterを報酬とし、式(18)の代わりに式(24)を用いてLΘを計算し、式(15)に従いパラメータΘを更新することにより、行動価値関数Q(x, a|Θ)を更新する。
【０１０９】
本実施形態の発明によれば、一つの発話の中で聴感評点の低下の要因となっている箇所だけを修正するように、フレームt毎にLΘ中の二乗誤差値を計算するため、行動価値関数を精度よく推定することができる。つまり、音質劣化をより抑制する音源強調の学習を行うことが可能となる。
【０１１０】
＜実施形態４＞
実施形態１では、式(16)を用いて行動価値関数を逐次的に計算するため、強化学習が初期値に依存しやすく、局所解に陥りやすいという問題がある。そこで、最適な目標値に近い初期値から行動価値関数の計算を開始できるように、行動価値関数初期化部の処理を変更する。これにより、行動価値関数を精度よく推定することができるようになる。
【０１１１】
以下、図１７〜図１８を参照して実施形態４の音源強調学習装置４００を説明する。図１７は、音源強調学習装置４００の構成を示すブロック図である。図１８は、音源強調学習装置４００の動作を示すフローチャートである。音源強調学習装置４００は行動価値関数初期化部１２０の代わりに行動価値関数初期化部４２０が追加されている点のみにおいて音源強調学習装置１００と異なる。
【０１１２】
そこで、以下では、図１９〜図２０を参照して行動価値関数初期化部４２０について説明する。図１９は、行動価値関数初期化部４２０の構成を示すブロック図である。図２０、行動価値関数初期化部４２０の動作を示すフローチャートである。図１９に示すように行動価値関数初期化部４２０は、最適ウィナーフィルタ決定部４２１と、観測信号生成部１３１と、周波数領域変換部１３２と、状態ベクトル生成部１３３と、行動価値関数識別学習部４２２を含む。
【０１１３】
最適ウィナーフィルタ決定部４２１は、Ｓ１１２で生成したウィナーフィルタGω,1,…,Ttrainを用いてウィナーフィルタ番号a1,…,Ttrainを決定する（Ｓ４２１）。具体的には、（課題４の解決法：二乗誤差ベースの初期値の決定）の式(25)を用いる。つまり、二乗誤差の意味で最適なウィナーフィルタ番号a1,…,Ttrainを決定する。
【０１１４】
観測信号生成部１３１、周波数領域変換部１３２、状態ベクトル生成部１３３は、目的音学習データ記録部９１０、雑音学習データ記録部９２０から読み出した目的音学習データ、雑音学習データから状態ベクトルを生成する（Ｓ１３１〜Ｓ１３３）。
【０１１５】
行動価値関数識別学習部４２２は、状態ベクトルxtとＳ４２１で決定したウィナーフィルタ番号atに対応するウィナーフィルタの組から行動価値関数Q(x, a|Θ)を識別学習する（Ｓ４２２）。具体的には、状態ベクトルxtを入力したときにテンプレートの番号atを出力するように行動価値関数Q(x, a|Θ)を識別学習すればよい。
【０１１６】
本実施形態の発明によれば、強化学習においてより好ましい初期値から行動価値関数の学習が始まるために、行動価値関数を精度よく推定することができる。つまり、音質劣化をより抑制する音源強調の学習を行うことが可能となる。
【０１１７】
＜実施形態５＞
実施形態１〜４では、目的音学習データと雑音学習データの組から行動価値関数Q(x, a|Θ)（ただし、xは目的音学習データと雑音学習データの組から生成した状態ベクトル、aはウィナーフィルタのテンプレート番号を表す）を学習する方法について説明した。ここでは、実施形態１〜４で学習した行動価値関数Q(x, a|Θ)を用いて、マイクロホンで収音した観測信号から強調目的音を生成する方法について説明する。これにより、音質劣化を抑制した、観測信号中の目的音を音源強調した強調目的音を出力することが可能となる。
【０１１８】
なお、ここでの行動価値関数Q(x, a|Θ)は、学習終了時のΘの値を用いて表現されるものである。
【０１１９】
以下、図２１〜図２２を参照して実施形態５の音源強調装置５００を説明する。図２１は、音源強調装置５００の構成を示すブロック図である。図２１は、音源強調装置５００の動作を示すフローチャートである。図２１に示すように音源強調装置５００は、状態ベクトル生成部５１０と、行動価値関数評価部５２０と、強調目的音生成部５３０を含む。
【０１２０】
また、音源強調装置５００は、観測信号記録部９３０に接続している。観測信号記録部９３０には、事前に収音した観測信号が記録されている。観測信号は音源強調の対象となるものであり、簡単のため、周波数領域信号として記録されているものとする。
【０１２１】
さらに、音源強調装置５００は、学習結果記録部９４０に接続している。学習結果記録部９４０には、事前に音源強調学習装置１００〜４００のいずれかを用いて生成したウィナーフィルタテンプレートGω,1,…,A、行動価値関数Q(x, a|Θ)が記録されている。
【０１２２】
状態ベクトル生成部５１０は、マイクロホンで収音した観測信号Xω,t（ただし、t∈{1, …, T}、ω∈{1, …, Ω}）から式（２６）を用いて状態ベクトルxtを生成する（Ｓ５１０）
【０１２３】
行動価値関数評価部５２０は、学習結果記録部９４０から読み出したウィナーフィルタテンプレートGω,1,…,Aと行動価値関数Q(x, a|Θ)を読出し、各ウィナーフィルタテンプレートGω,1,…,Aに対して行動価値関数Q(xt, a|Θ)（ただし、xtはＳ５１０で生成した状態ベクトル、aは1〜Aを示すテンプレート番号）を計算し、式(7)を用いて最適なウィナーフィルタテンプレートGω,at（テンプレート番号at）を選択する（Ｓ５２０）。つまり、基本的には、テンプレート選択部１３４と同様の処理を実行する。
【０１２４】
強調目的音生成部５３０は、Ｓ５２０で選択した最適なウィナーフィルタテンプレートGω,atと式(27)を用いて周波数領域強調目的音Yω,tを生成する（Ｓ５３０）。つまり、基本的には、強調目的音生成部１３５と同様の処理を実行する。
【０１２５】
本実施形態の発明によれば、音質劣化を抑制した、観測信号中の目的音を音源強調した強調目的音を出力することが可能となる。
【０１２６】
＜変形例１＞
実施形態１〜実施形態４では、報酬として聴感評点を採用し説明したが、報酬には聴感評点以外のものを用いることができる。例えば、音声認識向けに音源強調を最適化したい場合は、報酬として音声認識が正解だったか不正解だったかの二値を用いればよい。この場合、実施形態１〜実施形態４における聴感評点計算部１４０を、Ｓ１３０で出力された強調目的音を入力として音声認識した結果を出力する音声認識部に置換するのでよい。
【０１２７】
＜変形例２＞
実施形態１〜実施形態４のウィナーフィルタテンプレート化部１１０では、クラスタリングを用いて有限個のウィナーフィルタテンプレートを生成している。クラスタリングを用いる代わりに、式(5)や式(6)のような二乗誤差に基づいてウィナーフィルタを生成し、式(3)のようなSN比を基準（以下、第１の基準という）としてSN比の高いウィナーフィルタテンプレートを生成するのでもよい。また、特定の入力音（例えば、音声やスポーツ音）に対してSN比が高くなるように、入力音の特性を考慮してウィナーフィルタテンプレートを設計するのでもよい。
【０１２８】
このようにウィナーフィルタテンプレートを生成すると、必ずしも聴感評点は高くならない。そこで、行動価値関数更新部１５０では、聴感評点を基準（以下、第２の基準という）として聴感評点が高くなるよう行動価値関数を更新する、具体的には、第１の基準だけでなく、第２の基準も満たすようなウィナーフィルタテンプレートを選択する形で、行動価値関数を更新する。
【０１２９】
これにより、音質劣化を抑制した音源強調の学習を行うことが可能となる。
【０１３０】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【０１３１】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【０１３２】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【０１３３】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１３４】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【０１３５】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１３６】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１３７】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１３８】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【０１３９】
１００  音源強調学習装置
１１０  ウィナーフィルタテンプレート化部
１１１  周波数領域変換部
１１２  ウィナーフィルタ生成部
１１３  クラスタリング部
１２０  行動価値関数初期化部
１３０  音源強調部
１３１  観測信号生成部
１３２  周波数領域変換部
１３３  状態ベクトル生成部
１３４  テンプレート選択部
１３５  強調目的音生成部
１３６  時間領域変換部
１３７  出力生成部
１４０  聴感評点計算部
１５０  行動価値関数更新部
１６０  収束判定部
２００  音源強調学習装置
２４０  聴感評点バイナリ化部
２４１  バイナリ化部
２４２  閾値更新部
３００  音源強調学習装置
３４０  更新重み計算部
３４１  周波数領域変換部
３４２  誤差計算部
３４３  誤差正規化部
３４４  更新重み決定部
４００  音源強調学習装置
４２０  行動価値関数初期化部
４２１  最適ウィナーフィルタ決定部
４２２  行動価値関数識別学習部
５００  音源強調装置
５１０  状態ベクトル生成部
５２０  行動価値関数評価部
５３０  強調目的音生成部
【図１】
2018028580.tif 000025
【図２】
2018028580.tif 000026
【図３】
2018028580.tif 000027
【図４】
2018028580.tif 000028
【図５】
2018028580.tif 000029
【図６】
2018028580.tif 000030
【図７】
2018028580.tif 000031
【図８】
2018028580.tif 000032
【図９】
2018028580.tif 000033
【図１０】
2018028580.tif 000034
【図１１】
2018028580.tif 000035
【図１２】
2018028580.tif 000036
【図１３】
2018028580.tif 000037
【図１４】
2018028580.tif 000038
【図１５】
2018028580.tif 000039
【図１６】
2018028580.tif 000040
【図１７】
2018028580.tif 000041
【図１８】
2018028580.tif 000042
【図１９】
2018028580.tif 000043
【図２０】
2018028580.tif 000044
【図２１】
2018028580.tif 000045
【図２２】
2018028580.tif 000046