(57)【要約】【課題】所望の信号を特定することができる。【解決手段】抽出手段が、入力信号ベクトルに基づいて、各時間に対し、観測信号と、前の時間のフィルタ係数を時間の前記入力信号ベクトルに適用して得られる推定第２信号との誤差と、時間の入力信号ベクトルから定まるゲインベクトルと、前の時間のフィルタ係数とから求められる時間のフィルタ係数を、次の時間の前記入力信号ベクトルに適用することにより、次の時間の推定第２信号を抽出することを繰り返す。推定手段が、状態空間モデルに、有色駆動源付カルマンフィルタを適用して、第１信号を推定する。【選択図】図１
2019078940.tif 000002
【特許請求の範囲】
【請求項１】
環境により観測された第１信号と、前記第１信号を観測する前記環境において生じる周期信号である第２信号とを含む時間領域の各時間の観測信号から各時間に対して得られる、前記時間より前の所定時間分の観測信号を表す入力信号ベクトルに基づいて、各時間に対し、観測信号と、前の時間のフィルタ係数を前記時間の前記入力信号ベクトルに適用して得られる推定第２信号との誤差と、前記時間の前記入力信号ベクトルから定まるゲインベクトルと、前の時間のフィルタ係数とから求められる前記時間のフィルタ係数を、次の時間の前記入力信号ベクトルに適用することにより、前記次の時間の推定第２信号を抽出することを繰り返す抽出手段と、
前記観測信号の分散値から前記推定第２信号の分散値を差し引いて得られる前記第１信号の分散値、前記抽出手段で抽出された前記推定第２信号の分散値、並びに前記観測信号を用いて、前記推定第２信号のみから構成される状態方程式、及び前記第１信号と前記第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、前記第１信号を推定する推定手段と、
を含む信号処理装置。
【請求項２】
予め抽出された教師信号に対する周波数解析結果と、観測環境で観測された比較対象信号に対する周波数解析結果とに基づいて、各時間に対し、周波数毎に、前記教師信号の周波数成分と前記比較対象信号の周波数成分とを予め定められた閾値を用いて比較する比較手段と、
前記比較手段で各時間に対して得られた、周波数毎の、前記教師信号の周波数成分と前記比較対象信号の周波数成分とを重ね合わせた比較結果、及び前記教師信号の周波数成分と前記比較対象信号の周波数成分との差の比較結果の少なくとも一方を表示する表示手段と、
を含む信号処理装置。
【請求項３】
前記表示手段は、前記重ね合わせた比較結果、及び前記差の比較結果の少なくとも一方について、特定の周波数帯域を拡大、又は回転して表示する請求項２に記載の信号処理装置。
【請求項４】
前記表示手段は、前記教師信号の周波数成分と前記比較対象信号の周波数成分との差の比較結果について、予め定められた閾値に応じて、周波数成分の差の度合いを識別可能に表示する請求項２又は請求項３に記載の信号処理装置。
【請求項５】
前記教師信号に対する周波数解析結果と、前記比較対象信号に対する周波数解析結果とに基づいて、前記教師信号に分類されるか否かを識別するための分類器を学習する学習手段を更に含む請求項２〜請求項４の何れか１項に記載の信号処理装置。
【請求項６】
環境により観測された第１信号と、前記第１信号を観測する前記環境において生じる周期信号である第２信号とを含む時間領域の各時間の観測信号から各時間に対して得られる、前記時間より前の所定時間分の観測信号を表す入力信号ベクトルに基づいて、各時間に対し、観測信号と、前の時間のフィルタ係数を前記時間の前記入力信号ベクトルに適用して得られる推定第２信号との誤差と、前記時間の前記入力信号ベクトルから定まるゲインベクトルと、前の時間のフィルタ係数とから求められる前記時間のフィルタ係数を、次の時間の前記入力信号ベクトルに適用することにより、前記次の時間の推定第２信号を抽出することを繰り返し、
前記観測信号の分散値から前記推定第２信号の分散値を差し引いて得られる前記第１信号の分散値、前記抽出された前記推定第２信号の分散値、並びに前記観測信号を用いて、前記推定第２信号のみから構成される状態方程式、及び前記第１信号と前記第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、前記第１信号を推定する、
信号処理方法。
【請求項７】
予め抽出された教師信号に対する周波数解析結果と、観測環境で観測された比較対象信号に対する周波数解析結果とに基づいて、各時間に対し、周波数毎に、前記教師信号の周波数成分と前記比較対象信号の周波数成分とを予め定められた閾値を用いて比較し、
前記各時間に対して得られた、周波数毎の、前記教師信号の周波数成分と前記比較対象信号の周波数成分とを重ね合わせた比較結果、及び前記教師信号の周波数成分と前記比較対象信号の周波数成分との差の比較結果の少なくとも一方を表示する、
信号処理方法。
【請求項８】
コンピュータを、請求項１〜請求項５のいずれか１項に記載の信号処理装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、方法、及びプログラムに係り、特に、所望の信号を特定するための信号処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、お手本音声を歌唱区間毎に再生し、次いで、伴奏データの表す伴奏音を、歌唱区間毎にスピーカに放音させることによってカラオケ伴奏を行い、練習者が、スピーカから放音される伴奏にあわせて歌唱を行うと、練習者の音声が収音され、練習者音声データとして記憶し、お手本音声データと練習者音声データとを比較し、比較結果に基づいて練習者音声データを評価区間毎に評価し、評価結果を、評価区間毎に表示させるカラオケ装置が提案されている（例えば、特許文献１参照）。
【０００３】
また、指定手段にて指定された指定楽曲の演奏情報を再生手段に再生させると共に、マイクロフォンから入力される音声信号とメロディ情報とを比較して時系列評価を作成する再生処理と、指定楽曲に関する時系列参照記録をホスト装置から受信すると共に、作成された時系列評価をホスト装置に送信する通信処理と、作成された時系列評価と、当該時系列評価を行った演奏情報に対応する少なくとも１つの時系列参照記録とを併せて表示手段に表示させる表示処理を行うカラオケ装置が提案されている（例えば、特許文献２参照）。
【０００４】
また、カラオケ曲データを再生している間に行われた歌唱の音声データを取得する取得手段と、該取得手段にて取得した音声データを評価する評価手段とを備え、複数の歌唱者夫々の歌唱技術を評価する歌唱評価装置に、再生手段によるカラオケ曲データの再生前に、歌唱練習を行う一の歌唱者を受け付ける歌唱者受付手段と、該歌唱者受付手段にて受け付けた歌唱者を識別する歌唱者識別情報、及び該歌唱者の音声データに対する前記評価手段による評価結果を対応付けて記憶する記憶手段と、前記歌唱者受付手段にて受け付けた一の歌唱者の音声データに対する歌唱評価、及び前記記憶手段が記憶している他の歌唱者の音声データに対する評価結果を重畳的又は並列的に表示した図表を生成する手段とを備えるカラオケ装置が提案されている（例えば、特許文献３参照）。
【０００５】
また、カラオケ店舗に設置されたカラオケ装置を利用して歌唱されたカラオケ曲のうち練習用楽曲として指定されたカラオケ曲の歌唱音声が、携帯端末装置による評価よりも詳細に分析された結果を示す分析情報を、ネットワークを介して取得する取得手段と、取得手段により取得された分析情報と、歌唱音声を分析又は評価するための基準を示す基準情報と、に基づいて、練習用楽曲について分析情報において分析の対象とされた複数の事項のうち練習する事項を提示する練習事項提示手段と、を備える携帯端末装置が提案されている（例えば、特許文献４参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−０２０７９８号公報
【特許文献２】特開２０１０−０６０６３０号公報
【特許文献３】特開２０１１−０４３７６８号公報
【特許文献４】特開２０１３−１７４７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１〜３に記載の技術では、予め手本音声データを作成して用意しなければならないため、何らかの手法により、手本音声データを作成しておく必要がある。
【０００８】
また、特許文献４に記載の技術では、分析の結果得られた練習が必要な事項の提示が、抽象的な表現で提示されているため、練習者が具体的にどのように発声をすればよいかが、感覚的に把握しづらい、という問題がある。
【０００９】
また、マイク及びスピーカが近い環境で観測がされる場合には、取得した音声にハウリングが発生する可能性がある。
【００１０】
本発明は、上記事情を鑑みて成されたものであり、観測信号に含まれる周期信号を除去した所望の信号を推定できる信号処理装置、方法、及びプログラムを提供することを目的とする。
【００１１】
また、本発明は、所望の信号の態様を特定できる信号処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、第１の発明に係る信号処理装置は、環境により観測された第１信号と、前記第１信号を観測する前記環境において生じる周期信号である第２信号とを含む時間領域の各時間の観測信号から各時間に対して得られる、前記時間より前の所定時間分の観測信号を表す入力信号ベクトルに基づいて、各時間に対し、観測信号と、前の時間のフィルタ係数を前記時間の前記入力信号ベクトルに適用して得られる推定第２信号との誤差と、前記時間の前記入力信号ベクトルから定まるゲインベクトルと、前の時間のフィルタ係数とから求められる前記時間のフィルタ係数を、次の時間の前記入力信号ベクトルに適用することにより、前記次の時間の推定第２信号を抽出することを繰り返す抽出手段と、前記観測信号の分散値から前記推定第２信号の分散値を差し引いて得られる前記第１信号の分散値、前記抽出手段で抽出された前記推定第２信号の分散値、並びに前記観測信号を用いて、前記推定第２信号のみから構成される状態方程式、及び前記第１信号と前記第２信号とから構成される観測方程式で表される状態空間モデルに、有色駆動源付カルマンフィルタを適用して、前記第１信号を推定する推定手段と、を含んで構成されている。
【００１３】
また、第２の発明に係る信号処理装置は、予め抽出された教師信号に対する周波数解析結果と、観測環境で観測された比較対象信号に対する周波数解析結果とに基づいて、各時間に対し、周波数毎に、前記教師信号の周波数成分と前記比較対象信号の周波数成分とを予め定められた閾値を用いて比較する比較手段と、前記比較手段で各時間に対して得られた、周波数毎の、前記教師信号の周波数成分と前記比較対象信号の周波数成分とを重ね合わせた比較結果、及び前記教師信号の周波数成分と前記比較対象信号の周波数成分との差の比較結果の少なくとも一方を表示する表示手段と、を含んで構成されている。
【００１４】
また本発明のプログラムは、コンピュータを、第１の発明、又は第２の発明に係る信号処理装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１５】
本発明の信号処理装置、方法、及びプログラムによれば、環境において生じる周期信号を抽出して、所望の信号を推定することで、観測信号に含まれる周期信号を除去した所望の信号を推定することができる、という効果が得られる。
【００１６】
また、本発明の信号処理装置、方法、及びプログラムによれば、教師信号と観測された信号とを比較して表示することにより、所望の信号の態様を特定できる、という効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施の形態に係る信号処理装置の構成を示すブロック図である。
【図２】第１の実施の形態に係る信号処理装置における処理の流れを示す抽象図である。
【図３】本発明の第１の実施の形態に係る信号処理装置における信号処理ルーチンを示すフローチャートである。
【図４】ハウリング推定の処理ルーチンを示すフローチャートである。
【図５】第１の実施の形態のハウリング抑圧の実験結果の一例を示す図である。
【図６】本発明の第２の実施の形態に係る信号処理装置の構成を示すブロック図である。
【図７】比較処理におけるフーリエ変換を説明するための図である。
【図８】手本音声スペクトル、及び本人音声スペクトルを並べて３Ｄ描写した場合の一例を示す図である。
【図９】誤差に対して閾値を設けて音外れを検出する場合の一例を示す図である。
【図１０】特定の周波数帯域に着目して音外れを検出する場合の一例を示す図である。
【図１１】手本ボーカル信号の周波数成分と推定ボーカル信号の周波数成分との比較結果の一例を示す図である。
【図１２】特定の周波数帯域を拡大、又は回転して表示することの一例を示す図である。
【図１３】周波数成分の差の度合いをグリッド表示にして表示することの一例を示す図である。
【図１４】本発明の第２の実施の形態に係る信号処理装置における信号処理ルーチンを示すフローチャートである。
【図１５】振幅評価処理ルーチンを示すフローチャートである。
【図１６】帯域評価処理ルーチンを示すフローチャートである。
【図１７】学習評価処理ルーチンを示すフローチャートである。
【図１８】学習処理の詳細な処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１９】
＜第１の実施の形態＞
【００２０】
第１の実施の形態では、本発明の第１信号の一例を、例えば左チャネルマイクと右チャネルマイクとから構成されるステレオマイクの中央付近を音源位置とする広域雑音を含む入力信号であるボーカル観測信号とし、本発明の第２信号の一例を、例えばボーカル信号を観測する環境において生じる周期信号であるハウリング信号とする場合について説明する。
【００２１】
図１に示すように、第１の実施の形態に係る信号処理装置１００は、ＡＬＥフィルタ計算部１２Ｌ，１２Ｒと、ハウリング信号抽出部１４Ｌ，１４Ｒと、誤差算出部１６Ｌ，１６Ｒと、ハウリング信号分散値計算部１８Ｌ，１８Ｒと、ハウリング信号除去部２０Ｌ，２０Ｒとを含んで構成されている。信号処理装置１００は、ＡＳＩＣ（Application Specific Integrated Circuit）等の半導体集積回路により構成することができる。符号におけるＬ，Ｒは、それぞれ左チャネル、右チャネルに対応している。なお、ＡＬＥフィルタ計算部１２Ｌ，１２Ｒ、ハウリング信号抽出部１４Ｌ，１４Ｒ、誤差算出部１６Ｌ，１６Ｒ、及びハウリング信号分散値計算部１８Ｌ，１８Ｒがハウリング信号を推定することにより抽出する抽出手段の一例であり、ハウリング信号除去部２０Ｌ，２０Ｒが有色駆動源付カルマンフィルタを適用してハウリング信号を除去することによりボーカル観測信号を推定する推定手段の一例である。
【００２２】
信号処理装置１００では左チャネル、右チャネルのそれぞれについてのボーカル観測信号ｄＬ（ｎ），ｄＲ（ｎ）を受け付け、上記各部の処理により、ボーカル観測信号ｄＬ（ｎ），ｄＲ（ｎ）のそれぞれについてハウリング信号を推定、及び除去して推定ボーカル信号ｄｍｙ（ｎ）を出力する。
【００２３】
以下の各部の説明では、左チャネル（Ｌ）、右チャネル（Ｒ）の各々について同様の処理を行うことを前提に説明する。
【００２４】
ボーカル観測信号ｄＬ（ｎ），ｄＲ（ｎ）の遅延を考慮した入力信号ベクトルｕＬ（ｎ），ｕＲ（ｎ）のそれぞれがＡＬＥフィルタ計算部１２Ｌ，１２Ｒ、及びハウリング信号抽出部１４Ｌ，１４Ｒに入力される。
【００２５】
入力信号ベクトルｕＬ（ｎ），ｕＲ（ｎ）を以下（１）式に示す。
【００２６】
【数１】
2019078940.tif 000003
2019078940.tif 000004
・・・（１）
【００２７】
入力信号ベクトルｕＬ（ｎ），ｕＲ（ｎ）を入力として、以下、ＡＬＥフィルタ計算部１２Ｌ，１２Ｒ、ハウリング信号抽出部１４Ｌ，１４Ｒ、及び誤差算出部１６Ｌ，１６Ｒの各部の処理によって行われる再帰型最小二乗法により、時間ごとに推定ハウリング信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）を抽出することを繰り返し、ハウリング信号分散値計算部１８Ｌ，１８Ｒに出力する。
【００２８】
再帰型最小二乗法では、各時間ｎに対し、時間ｎより前の所定時間Ｎ０分のボーカル観測信号を表す入力信号ベクトルｕＬ（ｎ），ｕＲ（ｎ）に基づいて、当該時間ｎのフィルタ係数を、時間ｎの入力信号ベクトルｕＬ（ｎ），ｕＲ（ｎ）に適用することにより、推定ハウリング信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）を抽出することを繰り返す。
【００２９】
ＡＬＥフィルタ計算部１２Ｌ，１２Ｒは、入力信号ベクトルｕＬ（ｎ），ｕＲ（ｎ）と、忘却係数λと、相関係数行列Ｐ（ｎ）とに基づいて重みベクトルｋＬ（ｎ），ｋＲ（ｎ）を算出する。また、ＡＬＥフィルタ計算部１２Ｌ，１２Ｒは、算出した重みベクトルｋＬ（ｎ），ｋＲ（ｎ）と、誤差ξＬ（ｎ），ξＲ（ｎ）とに基づいて、ＡＬＥフィルタ係数＾ｃＬ（ｎ），＾ｃＲ（ｎ）を更新する。
【００３０】
重みベクトルｋＬ（ｎ），ｋＲ（ｎ）は以下（２）式で表される、入力信号ベクトルｕＬ（ｎ），ｕＲ（ｎ）から定まるゲインベクトルである。
【００３１】
【数３】
2019078940.tif 000005
2019078940.tif 000006
・・・（２）
【００３２】
ＡＬＥフィルタ係数は、以下（３）式により時間ごとに更新される。誤差ξＬ（ｎ），ξＲ（ｎ）の算出方法については後述する。
【００３３】
【数２】
2019078940.tif 000007
2019078940.tif 000008
・・・（３）
【００３４】
ハウリング信号抽出部１４Ｌ，１４Ｒは、当該時間ｎのフィルタ係数を以下（４）式のように適用して、推定ハウリング信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）を抽出する。
【００３５】
【数４】
2019078940.tif 000009
2019078940.tif 000010
・・・（４）
【００３６】
誤差算出部１６Ｌ，１６Ｒは、ボーカル観測信号ｄＬ（ｎ），ｄＲ（ｎ）と、前の時間のフィルタ係数＾ｃＬ（ｎ−１），＾ｃＲ（ｎ−１）を当該時間ｎの入力信号ベクトルｕＬ（ｎ），ｕＲ（ｎ）に適用して得られる推定ハウリング信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）との誤差ξＬ（ｎ），ξＲ（ｎ）を求める。
【００３７】
以上が、再帰型最小二乗法によるハウリング信号の推定であり、推定された推定ハウリング信号から、ハウリング分散を推定する。再帰型最小二乗法を用いたハウリング分散推定を行うことにより、収束速度の高速化を実現することができる。図２の点線内が再帰型最小二乗法を表すブロック図である。
【００３８】
ハウリング信号分散値計算部１８Ｌ，１８Ｒは、推定ハウリング信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）の分散値を、以下（５）式により求める。
【００３９】
【数５】
2019078940.tif 000011
2019078940.tif 000012
・・・（５）
【００４０】
ハウリング信号除去部２０Ｌ，２０Ｒは、ボーカル観測信号ｄＬ（ｎ），ｄＲ（ｎ）の分散値から推定ハウリング信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）の分散値を差し引いて得られる出力信号の分散値と、推定ハウリング信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）の分散値と、入力信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）とを用いて、以下に説明する、状態方程式、及び観測方程式で表される状態空間モデルに、特許文献５に記載の有色駆動源カルマンフィルタを適用して、＾出力信号ｄＬ（ｎ），＾ｄＲ（ｎ）を求める。
【００４１】
［特許文献５］特許第５９７１６４６号公報
【００４２】
有色駆動源カルマンフィルタでは、具体的には、ボーカル観測信号ｄＬ（ｎ），ｄＲ（ｎ）を、下記（６）式に示すボーカル信号のみから構成される状態方程式、及びボーカル信号とハウリング信号とから構成される観測方程式で表される状態空間モデルに置き換える。
【００４３】
【数６】
2019078940.tif 000013
・・・（６）
【００４４】
ただし、（６）式中のベクトルｗ、δ、ｙ、ε、Φ及びｍは、下記（７）式でそれぞれ定義される。ベクトルｗは所望のボーカル信号からなるＬ×１次の状態ベクトル、ベクトルδはＬ×１次の駆動源ベクトル、ベクトルｙは１次のボーカル観測信号ベクトル、ベクトルεは１次のハウリング信号ベクトルである。行列Φは０及び１のみで構成される状態遷移行列、行列ｍはＬ次の観測遷移ベクトルである。なお、Ｌは、状態遷移行列のサイズである。
【００４５】
【数７】
2019078940.tif 000014
・・・（７）
【００４６】
（６）式における状態方程式は、推定対象（ここでは推定ボーカル信号）のシステムを状態空間モデルで記述したものであり、内部状態つまり状態変数（ここでは、状態ベクトルｗ）の時間変化を表している。また、（６）式における観測方程式は、何らかの観測装置を通じて観測する過程を記述したものであり、観測結果（ここでは、観測信号ベクトルｙ）が、被観測量つまり入力（ここでは、状態ベクトルｗ）に依存して時間発展する様子を示している。なお、「時刻ｎにおける状態ベクトルｗ(ｎ)」とは、時刻ｎまでのボーカル信号からなる状態ベクトルを意味する。
【００４７】
ハウリング信号除去部２０Ｌ，２０Ｒは、以上（６）式の状態方程式及び観測方程式から、特許文献５に記載のカルマンアルゴリズムによる初期設定の過程と反復の過程との手順によって、出力信号＾ｄＬ（ｎ），＾ｄＲ（ｎ）を求めて出力する。
【００４８】
合成部２２は、出力信号＾ｄＬ（ｎ），＾ｄＲ（ｎ）を合成して得られるボーカル信号と推定される信号（以下、「推定ボーカル信号」という）ｄｍｙ（ｎ）を出力する。
【００４９】
以上のように有色駆動源付カルマンフィルタを適用することにより、ボーカル観測信号ｄＬ（ｎ），ｄＲ（ｎ）に含まれるハウリング信号を抑圧し、高精度な推定ボーカル信号を抽出することができる。
【００５０】
＜本発明の第１の実施の形態に係る信号処理装置の作用＞
【００５１】
次に、本発明の第１の実施の形態に係る信号処理装置１００の作用について説明する。外部から入力された入力信号であるボーカル観測信号ｄＬ（ｎ），ｄＲ（ｎ）を受け付けると、信号処理装置１００は、図３に示す信号処理ルーチンを実行する。
【００５２】
ステップＳ１００では、各時間ｎに対し、時間ｎより前の所定時間Ｎ０分のボーカル観測信号を表す入力信号ベクトルｕＬ（ｎ），ｕＲ（ｎ）に基づいて、当該時間ｎのフィルタ係数を、時間ｎの入力信号ベクトルｕＬ（ｎ），ｕＲ（ｎ）に適用することにより、推定ハウリング信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）を抽出することを繰り返し、推定ハウリング信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）の分散値を、上記（５）式により求める。
【００５３】
ステップＳ１０２では、ボーカル観測信号ｄＬ（ｎ），ｄＲ（ｎ）の分散値から推定ハウリング信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）の分散値を差し引いて得られる出力信号の分散値と、推定ハウリング信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）の分散値と、入力信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）とを用いて、状態方程式、及び観測方程式で表される状態空間モデルに、特許文献５に記載の有色駆動源カルマンフィルタを適用して、＾出力信号ｄＬ（ｎ），＾ｄＲ（ｎ）を求め、出力信号ｄＬ（ｎ），＾ｄＲ（ｎ）を合成することにより推定した推定ボーカル信号ｄｍｙ（ｎ）を出力して処理を終了する。具体的な処理手順については、特許文献２を参照すればよいため、ここでは詳細な説明を省略する。特許文献２の手順により、初期設定、共分散行列の計算、カルマンゲイン行列の計算、ハウリング信号の除去、及び推定ボーカル信号の抽出の順に処理を行うようにすればよい。
【００５４】
次に、ステップＳ１００のハウリング推定の処理について図４を参照して説明する。
【００５５】
ステップＳ１１００では、時間ｎについてｎ＝１と設定する。
【００５６】
ステップＳ１１０２では、ＡＬＥフィルタ計算部１２Ｌ，１２Ｒは、入力信号ベクトルｕＬ（ｎ），ｕＲ（ｎ）と、忘却係数λと、相関係数行列Ｐ（ｎ）とに基づいて（１２）式により重みベクトルｋＬ（ｎ），ｋＲ（ｎ）を算出する。
【００５７】
ステップＳ１１０４では、算出した重みベクトルｋＬ（ｎ），ｋＲ（ｎ）と、誤差ξＬ（ｎ），ξＲ（ｎ）とに基づいて、（３）式によりＡＬＥフィルタ係数＾ｃＬ（ｎ），＾ｃＲ（ｎ）を更新する。
【００５８】
ステップＳ１１０６では、当該時間ｎのフィルタ係数を（４）式のように適用して、推定ハウリング信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）を抽出する。
【００５９】
ステップＳ１１０８では、時間ｎをｎ＝ｎ＋１とする。
【００６０】
ステップＳ１１１０では、ボーカル観測信号ｄＬ（ｎ），ｄＲ（ｎ）と、前の時間のフィルタ係数＾ｃＬ（ｎ−１），＾ｃＲ（ｎ−１）を当該時間ｎの入力信号ベクトルｕＬ（ｎ），ｕＲ（ｎ）に適用して得られる推定ハウリング信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）との誤差ξＬ（ｎ），ξＲ（ｎ）を算出する。
【００６１】
ステップＳ１１１２では、ｎ≦ｎｍａｘであるかを判定し、ｎ≦ｎｍａｘであればステップＳ１１０２に戻って処理を繰り返し、ｎ≦ｎｍａｘでなければステップＳ１１１４へ移行する。
【００６２】
ステップＳ１１１４では、抽出された推定ハウリング信号＾ｈＬ（ｎ），＾ｈＲ（ｎ）の分散値を、（５）式により求める。
【００６３】
［実験結果］
【００６４】
第１の実施の形態のハウリング抑圧手法を検証するために行った実験の実験結果について説明する。実験のシミュレーション条件は以下の表１の通りである。
【００６５】
【表１】
2019078940.tif 000015
上記のシミュレーション条件で行った実験結果を図５に示す。図５では、第１の実施の形態の提案手法は、従来手法よりも約１．７ｓ速いハウリング抑圧ができていることがわかる。また、従来法と同様に高精度なハウリング抑圧能力を有することがわかる。
【００６６】
以上説明したように、第１の実施の形態に係る信号処理装置によれば、ボーカル観測信号を入力として、再帰型最小二乗法により、時間ごとに推定ハウリング信号を抽出することを繰り返し、有色駆動源付カルマンフィルタにより、ボーカル観測信号に含まれる推定ボーカル信号を抽出することにより、所望のボーカル信号を推定することができる。
【００６７】
＜第２の実施の形態＞
【００６８】
第２の実施の形態では、本発明の第１信号の一例を、例えばＬチャネルマイクとＲチャネルマイクとから構成されるステレオマイクの中央付近を音源位置とする広域雑音を含むボーカル観測信号とし、本発明の第２信号の一例を、例えばボーカル信号を観測する環境において生じる周期信号であるハウリング信号とする場合について説明する。
【００６９】
第２の実施の形態では、予め取得しておいた手本のボーカル信号と、ボーカル観測信号のハウリングを除去することにより推定した推定ボーカル信号とを比較して評価した結果を表示するとともに、周波数特性を用いた学習を行う場合について説明する。
【００７０】
図６に示すように、第２の実施の形態に係る信号処理装置２００は、ハウリング除去部３０と、周波数領域変換部３２Ａ，３２Ｂと、教師データＤＢ４０と、比較部５０と、表示部５２と、学習部５４とを含んで構成されている。なお、観測環境で観測された比較対象信号の一例が、ハウリング除去部３０で推定された推定ボーカル信号である。
【００７１】
教師データＤＢ４０には、予め抽出された教師信号である、手本となるボーカル信号（以下、「手本ボーカル信号」という）が格納されている。手本ボーカル信号は、上記特許文献５に記載の手法により、手本となる音源（例えば、ＣＤ音源）について観測された観測信号における多チャンネル信号を処理し、観測信号を楽曲信号とボーカル信号とに分離して有色駆動源カルマンフィルタを適用することにより抽出されたボーカル信号である。なお、複数の手本ボーカル信号を格納しておき、いずれの手本ボーカル信号に対応する評価、及び学習を行うかの選択の入力を受け付けるようにしてもよい。
【００７２】
また、教師データＤＢ４０には、予め学習された、推定ボーカル信号が手本ボーカル信号に分類されるか否かを分類するための分類器が格納される。分類器としては、例えば、ＳＶＭ（サポートベクターマシン）の識別直線を閾値として用いればよく、ビブラート、抑揚、旋律、しゃくり、こぶしなどに対応する周波数特性を表す特徴量を入力とする。練習ごとに、手本ボーカル信号から抽出される特徴量を正例とし、推定ボーカル信号から抽出される特徴量を負例として、学習データを生成し、学習データを用いて分類器が学習される。
【００７３】
教師データＤＢ４０の分類器は、推定ボーカル信号が得られるごとに、学習部５４による学習で更新される。また、学習部５４の処理により、推定ボーカル信号の周波数特性を表す負例ラベルが学習ごとに学習データとして保存される。
【００７４】
ハウリング除去部３０は、上記第１の実施の形態の信号処理装置の各部により構成される処理部である。第１の実施の形態で説明したように、ボーカル観測信号ｄＬ（ｎ），ｄＲ（ｎ）を入力として受け付け、ボーカル観測信号のハウリングを除去した推定ボーカル信号ｄｍｙ（ｎ）を出力する。
【００７５】
周波数領域変換部３２Ａ，３２Ｂはそれぞれ、教師データＤＢ４０に格納されている手本ボーカル信号ｄｅｘｐ（ｎ）、及びハウリング除去部３０で推定された推定ボーカル信号ｄｍｙ（ｎ）の各々に対してフーリエ変換を行うことにより、周波数解析を行い、手本ボーカル信号の周波数成分、及び推定ボーカル信号の周波数成分を求める。
【００７６】
周波数領域変換部３２Ａ，３２Ｂの各々は、図７に示すように、所定フレーム長のフレーム内の手本ボーカル信号、及び推定ボーカル信号の各々を、以下（８）式によりフーリエ変換して、各周波数ビンのスペクトルに変換する。
【００７７】
【数８】
2019078940.tif 000016
2019078940.tif 000017
・・・（８）
【００７８】
手本ボーカル信号に対応するスペクトルを手本音声スペクトルＤｅｘｐ（ｌ，ｋ）、推定ボーカル信号に対応するスペクトルを本人音声スペクトルＤｍｙ（ｌ，ｋ）とする。
【００７９】
比較部５０は、周波数領域変換部３２Ｂの手本ボーカル信号に対する周波数解析結果である手本音声スペクトルＤｅｘｐ（ｌ，ｋ）と、周波数領域変換部３２Ａの推定ボーカル信号に対する周波数解析結果である本人音声スペクトルＤｍｙ（ｌ，ｋ）とに基づいて、各時間に対し、周波数毎に、手本ボーカル信号の周波数成分と推定ボーカル信号の周波数成分とを比較して、評価する。
【００８０】
図８に、フーリエ変換により得られた各周波数の手本音声スペクトルＤｅｘｐ（ｌ，ｋ）、及び本人音声スペクトルＤｍｙ（ｌ，ｋ）の各々を時間方向に配置して並べて周波数解析結果を可視化し、それぞれのスペクトルを並べて３Ｄ描写して比較した場合の例を示す。
【００８１】
比較部５０は、以下に説明するように、振幅評価、及び帯域評価の各々により、手本ボーカル信号と推定ボーカル信号とを比較し、推定ボーカル信号を評価すると共に、学習評価により、推定ボーカル信号を評価する。
【００８２】
まず、振幅評価について説明する。振幅評価では、各周波数、各時間ごとに、手本音声スペクトル、及び本人音声スペクトルの誤差Ｅ（ｌ，ｋ）を以下（９）式により算出し、誤差Ｅ（ｌ，ｋ）が閾値αampを超えた場合に音外れとして検出する。
【００８３】
【数９】
2019078940.tif 000018
・・・（９）
【００８４】
図９に示すように、各周波数の手本音声スペクトル、及び本人音声スペクトルの差を、時間方向に配置して並べて、誤差Ｅ（ｌ，ｋ）が閾値αampを超えなかった場合は正確と評価する。誤差Ｅ（ｌ，ｋ）が閾値αampを超えた場合は、音外れと評価し、閾値αampを超えたスペクトル領域を音外れ領域と評価する。これにより、音外れのスペクトル領域を識別可能にし、表示部５２で周波数成分の比較したときに両者の違い可視化できるようにする。
【００８５】
次に、帯域評価について説明する。帯域評価では、図１０に示すように、低域周波数をｋＬとし、高域周波数をｋＨとして、特定の周波数帯域ｋＬ〜ｋＨの範囲に着目して、各周波数、各時間ごとに、以下（１０）式の特定の範囲の帯域誤差Ｅｂｎｄ（ｌ，ｋ）が閾値αampを超えた場合に音外れとして検出する。
【００８６】
【数１０】
2019078940.tif 000019
・・・（１０）
【００８７】
帯域誤差Ｅｂｎｄ（ｌ，ｋ）が閾値αampを超えなかった場合は正確という評価結果とする。誤差Ｅｂｎｄ（ｌ，ｋ）が閾値αampを超えた場合は、音外れと評価し、閾値αampを超えたスペクトル領域を音外れ領域とする評価結果とする。
【００８８】
次に、学習評価について説明する。学習評価では、教師データＤＢ４０に格納された分類器を用いて、推定ボーカル信号が手本ボーカル信号に分類されるか否かの分類結果を得る。分類には、手本音声スペクトル、及び本人音声スペクトルから周波数特性の特徴量を抽出して用いる。
【００８９】
この分類器による分類により、推定ボーカル信号が手本ボーカル信号に分類されれば、上達したとみなすことができる。
【００９０】
表示部５２は、比較部５０で各時間に対して得られた、周波数毎の、手本ボーカル信号の周波数成分と推定ボーカル信号の周波数成分とを重ね合わせた比較結果、及び手本ボーカル信号の周波数成分と推定ボーカル信号の周波数成分との差の比較結果を表示する。例えば、図１１に示すように、重ね合わせた比較結果と、差の比較結果とを表示する。図１１のように表示することにより、手本ボーカル信号と推定ボーカル信号とにどの程度のずれがあるかを比較できる。また、比較部５０の分類結果を併せて表示する。表示部５２では、重ね合わせた比較結果と、差の比較結果とを一画面に表示してもよいし、選択的に切り替えて表示させるようにしてもよい。
【００９１】
また、図１２に示すように、特定の周波数帯域を拡大することで、周波数成分のより細かい変化を把握することができる。また、回転して表示することで、様々な角度から周波数成分の状況を把握できる。
【００９２】
また、表示部５２は、比較部５０の比較結果に基づいて、振幅評価、帯域評価の各々の評価結果に応じて、周波数成分の差の度合いを識別できるように表示する。なお、予め定められた閾値の一例が、評価結果である。また、表示部５２は、比較部５０による学習評価の評価結果を表示する。
【００９３】
例えば、振幅評価、及び帯域評価については、評価結果が正確であれば、例えば‘正確’と文字を表示し、評価結果が音外れであれば、例えば‘音外れ’と文字を表示すると共に、スペクトル領域について、閾値αampを超えた音外れ領域を赤色等に表示する。また、帯域評価については、‘ｋＬ〜ｋＨの範囲で音外れ’等、具体的な表示をしてもよい。学習評価については、推定ボーカル信号が手本ボーカル信号に分類され上達しているという評価結果だった場合は、例えば‘上達’と文字を表示し、手本ボーカル信号に分類されずに上達していないという評価結果だった場合は、例えば‘もっと練習しよう’と文字を表示する。
【００９４】
また、図１３に示すように、差の比較結果を閾値αampを基準として、周波数成分の差の度合いをグリッド表示にすることで、手本ボーカル信号と、推定ボーカル信号との違いを簡素に表示することができる。
【００９５】
学習部５４は、学習評価では、手本ボーカル信号に対する周波数解析結果と、推定ボーカル信号に対する周波数解析結果とに基づいて、分類器を学習する。
【００９６】
学習部５４では、具体的には、まず、手本ボーカル信号に対する周波数特性を表す特徴量と、推定ボーカル信号に対する周波数特性を表す特徴量とを抽出する。次に、手本ボーカル信号から抽出される特徴量を正例（例えば‘０’のラベル）とし、推定ボーカル信号から抽出される特徴量を負例（例えば‘１’のラベル）として、正例又は負例のラベル付けをした特徴量を教師データＤＢ４０に保存する。そして、教師データＤＢ４０に格納されている正例又は負例のラベル付けをした周波数特性の特徴量を用いて、教師データＤＢ４０に格納されている分類器の識別直線を学習する。ここでは、ハウリング除去部３０で推定された推定ボーカル信号の周波数特性の特徴量に、負例ラベルを付し、教師データＤＢ４０に格納されている、過去の推定ボーカル信号の周波数特性の特徴量に、負例ラベルを付して学習を行う。
【００９７】
＜本発明の第２の実施の形態に係る信号処理装置の作用＞
【００９８】
次に、本発明の第２の実施の形態に係る信号処理装置２００の作用について説明する。なお第１の実施の形態と同様となる箇所については同一符号を付して詳細な説明を省略する。
【００９９】
外部から入力された入力信号であるボーカル観測信号ｄＬ（ｎ），ｄＲ（ｎ）を受け付けると、信号処理装置２００は、図１４に示す信号処理ルーチンを実行する。
【０１００】
ステップＳ２０２では、教師データＤＢ４０に格納されている手本ボーカル信号に対する周波数解析結果と、信号推定部３２で推定された推定ボーカル信号に対する周波数解析結果とに基づいて、各時間に対し、周波数毎に、手本ボーカル信号の周波数成分と推定ボーカル信号の周波数成分とを比較し、評価する。比較評価処理については後述する。
【０１０１】
ステップＳ２０２では、ステップＳ２０２で各時間に対して得られた、周波数毎の、手本ボーカル信号の周波数成分と推定ボーカル信号の周波数成分とを重ね合わせた比較結果、及び手本ボーカル信号の周波数成分と推定ボーカル信号の周波数成分との差の比較結果を、評価結果に応じて表示する。
【０１０２】
ステップＳ２０４では、手本ボーカル信号に対する周波数解析結果と、推定ボーカル信号に対する周波数解析結果とに基づいて、推定ボーカル信号が手本ボーカル信号に分類されるか否かを識別するための分類器を学習して処理を終了する。学習処理については後述する。
【０１０３】
上記ステップＳ２０２の比較評価処理は、詳細には、次の振幅評価処理ルーチン、帯域評価処理ルーチン、及び学習評価処理ルーチンの三つの処理ルーチンによって処理される。
【０１０４】
図１５に振幅評価処理ルーチンを示す。
【０１０５】
ステップＳ２１００で、手本音声スペクトルと、本人音声スペクトルとの誤差Ｅ（ｌ，ｋ）を（９）式により算出する。
【０１０６】
ステップＳ２１０２で、ステップＳ２１００で算出した誤差Ｅ（ｌ，ｋ）が閾値αampを超えているか否かを判定し、超えていない場合には、ステップＳ２１０４へ移行し、超えていない場合には、ステップＳ２１０６へ移行する。
【０１０７】
ステップＳ２１０４で、推定ボーカル信号の振幅評価は正確と評価する。
【０１０８】
ステップＳ２１０６で、推定ボーカル信号の振幅評価は音外れと評価し、閾値αampを超えたスペクトル領域を音外れ領域と評価する。
【０１０９】
図１６に帯域評価処理ルーチンを示す。
【０１１０】
ステップＳ２２００で、手本音声スペクトル、及び本人音声スペクトルの誤差Ｅ（ｌ，ｋ）を（１０）式により算出する。
【０１１１】
ステップＳ２２０２で、ステップＳ２２００で算出した誤差Ｅbnd（ｌ，ｋ）が閾値αampを超えているか否かを判定し、超えていない場合には、ステップＳ２２０４へ移行し、超えている場合には、ステップＳ２２０６へ移行する。
【０１１２】
ステップＳ２２０４で、推定ボーカル信号の帯域評価は正確と評価する。
【０１１３】
ステップＳ２２０６で、推定ボーカル信号の帯域評価は音外れと評価し、閾値αampを超えたスペクトル領域を音外れ領域と評価する。
【０１１４】
図１７に学習評価処理ルーチンを示す。
【０１１５】
ステップＳ２３００では、手本音声スペクトルから周波数特性の特徴量を抽出する。
【０１１６】
ステップＳ２３０２では、抽出した手本音声スペクトルの周波数特性の特徴量と、本人音声スペクトルから周波数特性の特徴量とに基づいて、教師データＤＢ４０の分類器により、推定ボーカル信号が、手本ボーカル信号に分類されるかを判定する。手本ボーカル信号に分類される場合には、ステップＳ２３０４へ移行する。手本ボーカル信号に分類されない場合には、ステップＳ２３０６へ移行する。
【０１１７】
ステップＳ２３０４では、推定ボーカル信号の学習評価は上達と評価する。
【０１１８】
ステップＳ２３０６では、推定ボーカル信号の学習評価は上達していないと評価する。
【０１１９】
次に、ステップＳ２０４の学習処理の詳細を図１８に示す。
【０１２０】
ステップＳ２４００では、手本音声スペクトルから周波数特性の特徴量を抽出する。
【０１２１】
ステップＳ２４０２では、手本音声スペクトルの周波数特性の特徴量のラベルを正例のラベル（‘０’のラベル）として教師データＤＢ４０に保存する。
【０１２２】
ステップＳ２４０４では、本人音声スペクトルから周波数特性の特徴量を抽出する。
【０１２３】
ステップＳ２４０６では、本人音声スペクトルの周波数特性の特徴量のラベルを負例のラベル（‘１’のラベル）として教師データＤＢ４０に保存する。
【０１２４】
ステップＳ２４０８では、教師データＤＢ４０に格納されている正例又は負例のラベル付けをした周波数特性の特徴量を用いて、教師データＤＢ４０に格納されている分類器の識別直線を更新し、分類器を学習する。
【０１２５】
以上説明したように、第２の実施の形態に係る信号処理装置によれば、各時間に対し、周波数毎に、手本ボーカル信号の周波数成分と推定ボーカル信号の周波数成分とを比較し、周波数毎の、手本ボーカル信号の周波数成分と推定ボーカル信号の周波数成分とを重ね合わせた比較結果、及び差の比較結果を表示し、手本ボーカル信号に分類されるか否かを識別するための信号を学習することにより、入力されたボーカル信号の状況を特定することができる。
【０１２６】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１２７】
例えば、上述した第２の実施の形態では、ハウリング除去部３０で推定された推定ボーカル信号を用いて、比較部５０、表示部５２、学習部５４の処理を行ったが、これに限定されるものではなく、例えば、ハウリングが生じにくい環境においてはハウリング除去部３０のハウリング抑圧処理を省略し、推定ボーカル信号に代えて、入力されたボーカル観測信号を用いて、比較部５０、表示部５２、及び学習部５４の処理を行うようにしてもよい。
【０１２８】
また、第２の実施の形態では、学習部５４では、分類器として、手本ボーカル信号に分類されるか否かを分類するための分類器を学習する場合を例に説明したが、これに限定されるものではない。例えば、手本ボーカル信号について、周波数特性ごとに、当該周波数特性を持っているか否かに分類するための分類器を学習するようにしてよい。このようにすることで、比較部５０で周波数特性ごとの分類器を用いて比較・評価し、表示部５２で周波数特性ごとの評価結果を表示をすることができる。
【０１２９】
また、第２の実施の形態では、分類器にＳＶＭを用いる場合を例に説明したが、これに限定されるものではない。例えば、他の学習手法として、予め手本ボーカル信号、及び推定ボーカル信号の周波数解析結果を入力としたニューラルネットワークを用いて分類器を学習するようにしてもよい。
【０１３０】
また、第２の実施の形態では、比較部５０により、振幅評価、帯域評価、及び学習評価を行う場合を例に説明したが、これに限定されるものではない。例えば、振幅評価、帯域評価、及び学習評価のうちのいずれかを選択的に評価するようにしてもよい。
【符号の説明】
【０１３１】
１２Ｌ，１２Ｒ       フィルタ計算部
１４Ｌ，１４Ｒ       ハウリング信号抽出部
１６Ｌ，１６Ｒ       誤差算出部
１８Ｌ，１８Ｒ       ハウリング信号分散値計算部
２０Ｌ，２０Ｒ       ハウリング信号除去部
２２   合成部
３０   ハウリング除去部
３２Ａ，３２Ｎ       周波数領域変換部
５０   比較部
５２   表示部
５４   学習部
１００、２００       信号処理装置
【図１】
2019078940.tif 000020
【図２】
2019078940.tif 000021
【図３】
2019078940.tif 000022
【図４】
2019078940.tif 000023
【図５】
2019078940.tif 000024
【図６】
2019078940.tif 000025
【図７】
2019078940.tif 000026
【図８】
2019078940.tif 000027
【図９】
2019078940.tif 000028
【図１０】
2019078940.tif 000029
【図１１】
2019078940.tif 000030
【図１２】
2019078940.tif 000031
【図１３】
2019078940.tif 000032
【図１４】
2019078940.tif 000033
【図１５】
2019078940.tif 000034
【図１６】
2019078940.tif 000035
【図１７】
2019078940.tif 000036
【図１８】
2019078940.tif 000037