(57)【要約】【課題】処理対象となる楽音データの信頼性を判定すること、判定した信頼性を考慮することにより「他の音と重複していない演奏部分」が存在しない楽曲であっても対象楽音の基音周波数やスペクトル包絡を正確に同定すること、これら基音周波数やスペクトル包絡の同定結果を利用して抽出音を高音質化すること、を課題とする。【解決手段】本発明の音声処理装置１は、周波数成分ごとの振幅と位相の情報を含む楽音データを取得する楽音データ取得部１１と、楽音データの各フレームから振幅が極大となるスペクトルピークを検出して、スペクトルピークの位相とスペクトルピークに隣接する隣接周波数成分の位相との位相差を算出し、算出された位相差に応じて対象楽音のスペクトルピークにおける単独性を示すクリーン度を算出する単独性計算部１３と、を備えた。【選択図】図３
2015179188.tif 000002
【特許請求の範囲】
【請求項１】
周波数成分ごとの振幅と位相の情報を含む楽音データを取得する楽音データ取得部と、
前記楽音データの各フレームから、前記振幅が極大となるスペクトルピークを検出するスペクトルピーク検出部と、
前記スペクトルピークの位相と、前記スペクトルピークに隣接する隣接周波数成分の位相との位相差を算出する位相差算出部と、
算出された前記位相差に応じて、対象楽音の前記スペクトルピークにおける単独性を示すクリーン度を算出するクリーン度算出部と、を備えたことを特徴とする音声処理装置。
【請求項２】
前記クリーン度算出部により算出された前記クリーン度と前記振幅で重み付けした連立方程式により、前記対象楽音の基音周波数を同定する基音周波数同定部をさらに備えたことを特徴とする請求項１に記載の音声処理装置。
【請求項３】
取得した前記楽音データを、周波数の変化量が一定な連続するＮ個（但し、Ｎは１以上の整数）のフレームから成る細分化区間に分割する細分化部をさらに備え、
前記基音周波数同定部は、前記細分化区間ごとに前記基音周波数を同定することを特徴とする請求項２に記載の音声処理装置。
【請求項４】
前記基音周波数同定部は、前記細分化区間に含まれるＮ個のフレームについてそれぞれ観測された、Ｍ次（但し、Ｍは１以上の整数）までの倍音の周波数観測値、前記基音周波数と周波数変化量のパラメータの関係を表す連立方程式を用いて、前記対象楽音の基音周波数を同定することを特徴とする請求項３に記載の音声処理装置。
【請求項５】
前記クリーン度算出部により算出された前記クリーン度と前記振幅で重み付けした連立方程式により、前記対象楽音のスペクトル包絡を同定するスペクトル包絡同定部をさらに備えたことを特徴とする請求項２ないし４のいずれか１項に記載の音声処理装置。
【請求項６】
前記スペクトル包絡同定部は、複数のフレームについてそれぞれ観測された、Ｍ次（但し、Ｍは１以上の整数）までの倍音の観測値を利用して、隣接倍音間の振幅減衰率のパラメータを最小二乗法で求めることにより、前記対象楽音のスペクトル包絡を同定することを特徴とする請求項５に記載の音声処理装置。
【請求項７】
前記スペクトル包絡同定部は、同一音源の複数の前記楽音データを利用して、前記パラメータを求めることを特徴とする請求項６に記載の音声処理装置。
【請求項８】
前記基音周波数同定部および前記スペクトル包絡同定部の同定結果に基づいて、取得した前記楽音データから対象楽音を抽出する楽音抽出部をさらに備えたことを特徴とする請求項５ないし７のいずれか１項に記載の音声処理装置。
【請求項９】
周波数成分ごとの振幅と位相の情報を含む楽音データを取得する楽音データ取得ステップと、
前記楽音データの各フレームから、前記振幅が極大となるスペクトルピークを検出するスペクトルピーク検出ステップと、
前記スペクトルピークの位相と、前記スペクトルピークに隣接する隣接周波数成分の位相との位相差を算出する位相差算出ステップと、
算出された前記位相差に応じて、対象楽音の前記スペクトルピークにおける単独性を示すクリーン度を算出するクリーン度算出ステップと、を実行することを特徴とする音声処理装置の解析方法。
【請求項１０】
コンピューターに、請求項９に記載の音声処理装置の解析方法における各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の楽音を含む楽曲から対象楽音を抽出する音声処理装置、音声処理装置の解析方法およびプログラムに関する。
【背景技術】
【０００２】
従来、この種の技術として、例えば特許文献１が知られている。特許文献１では、複数音を含む演奏音（楽曲）の分析データから、目的とする特定のピッチと倍音関係にある複数の周波数成分の分析データを抽出し、抽出された分析データを変更することで、特定のピッチの楽音に対してのみ特性変更操作を可能としている。このとき、分析データの抽出は、他の音と重複していない演奏部分を対象としている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２１０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のとおり、特許文献１では、「他の音と重複していない演奏部分」から分析データを抽出する構成となっている。ところが、楽曲によっては「他の音と重複していない演奏部分」が存在しないものもある。したがって、そのような楽曲を対象とした場合、特許文献１の技術では、抽出音の音質が低下することが予想される。
【０００５】
一方、このような問題の解決策として、抽出したデータの信頼性を判定する（例えば、他の音との重複割合が小さい場合に信頼性が高いと判定する）ことが考えられる。つまり、他の音と多少重複していても信頼性が高いデータを取得できれば、抽出音への影響を軽減可能である。ところが、特許文献１の技術を含め、従来の楽音抽出方法では、処理対象となる楽音データの信頼性について判定しているものはない。
【０００６】
本発明は、上記の問題点に鑑み、処理対象となる楽音データの信頼性を判定することを第１の課題とする。また、判定した信頼性を考慮することにより、「他の音と重複していない演奏部分」が存在しない楽曲であっても、対象楽音の基音周波数やスペクトル包絡を正確に同定することを第２の課題とする。また、これら基音周波数やスペクトル包絡の同定結果を利用して、抽出音を高音質化することを第３の課題とする。
【課題を解決するための手段】
【０００７】
本発明の音声処理装置は、周波数成分ごとの振幅と位相の情報を含む楽音データを取得する楽音データ取得部と、楽音データの各フレームから、振幅が極大となるスペクトルピークを検出するスペクトルピーク検出部と、スペクトルピークの位相と、スペクトルピークに隣接する隣接周波数成分の位相との位相差を算出する位相差算出部と、算出された位相差に応じて、対象楽音のスペクトルピークにおける単独性を示すクリーン度を算出するクリーン度算出部と、を備えたことを特徴とする。
【０００８】
上記の音声処理装置において、クリーン度算出部により算出されたクリーン度と振幅で重み付けした連立方程式により、対象楽音の基音周波数を同定する基音周波数同定部をさらに備えたことを特徴とする。
【０００９】
上記の音声処理装置において、取得した楽音データを、周波数の変化量が一定な連続するＮ個（但し、Ｎは１以上の整数）のフレームから成る細分化区間に分割する細分化部をさらに備え、基音周波数同定部は、細分化区間ごとに基音周波数を同定することを特徴とする。
【００１０】
上記の音声処理装置において、基音周波数同定部は、細分化区間に含まれるＮ個のフレームについてそれぞれ観測された、Ｍ次（但し、Ｍは１以上の整数）までの倍音の周波数観測値、基音周波数と周波数変化量のパラメータの関係を表す連立方程式を用いて、対象楽音の基音周波数を同定することを特徴とする。
【００１１】
上記の音声処理装置において、クリーン度算出部により算出されたクリーン度と振幅で重み付けした連立方程式により、対象楽音のスペクトル包絡を同定するスペクトル包絡同定部をさらに備えたことを特徴とする。
【００１２】
上記の音声処理装置において、スペクトル包絡同定部は、複数のフレームについてそれぞれ観測された、Ｍ次（但し、Ｍは１以上の整数）までの倍音の観測値を利用して、隣接倍音間の振幅減衰率のパラメータを最小二乗法で求めることにより、対象楽音のスペクトル包絡を同定することを特徴とする。
【００１３】
上記の音声処理装置において、スペクトル包絡同定部は、同一音源の複数の楽音データを利用して、パラメータを求めることを特徴とする。
【００１４】
上記の音声処理装置において、基音周波数同定部およびスペクトル包絡同定部の同定結果に基づいて、取得した楽音データから対象楽音を抽出する楽音抽出部をさらに備えたことを特徴とする。
【００１５】
本発明の音声処理装置の解析方法は、周波数成分ごとの振幅と位相の情報を含む楽音データを取得する楽音データ取得ステップと、楽音データの各フレームから、振幅が極大となるスペクトルピークを検出するスペクトルピーク検出ステップと、スペクトルピークの位相と、スペクトルピークに隣接する隣接周波数成分の位相との位相差を算出する位相差算出ステップと、算出された位相差に応じて、対象楽音のスペクトルピークにおける単独性を示すクリーン度を算出するクリーン度算出ステップと、を実行することを特徴とする。
【００１６】
本発明のプログラムは、コンピューターに、上記の音声処理装置の解析方法における各ステップを実行させることを特徴とする。
【図面の簡単な説明】
【００１７】
【図１】音声処理の概要を示す簡易フローチャートである。
【図２】楽音データの説明図である。
【図３】音声処理装置の機能構成を示すブロック図である。
【図４】（ａ）は、単独性計算部の詳細ブロック図であり、（ｂ）は、楽音データ抽出部の詳細ブロック図である。
【図５】細分化部の説明図である。
【図６】単独性計算部の説明図である。
【図７】単独性（クリーン度）の計算式を示す図である。
【図８】ピークビン周波数の計算式を示す図である。
【図９】基音周波数同定部の説明図である。
【図１０】基音周波数方程式を示す図である。
【図１１】スペクトル包絡係数方程式を示す図である。
【図１２】一般的な単調減少の場合のスペクトル包絡を示す図である。
【図１３】正弦波の場合のスペクトル包絡を示す図である。
【図１４】ミッシングファンダメンタルの場合のスペクトル包絡を示す図である。
【図１５】楽音データ抽出部（基本の抽出パターン）の説明図である。
【図１６】変形例１に係る抽出パターンの説明図である。
【図１７】変形例２に係る抽出パターンの説明図である。
【図１８】変形例３に係る抽出パターンの説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態について、添付図面を参照しながら詳細に説明する。図１は、本発明の音声処理装置１を用いた音声処理の概要を示す簡易フローチャートである。音声処理装置１は、楽曲ファイルを取得すると、ＦＦＴ（Fast  Fourier  Transform）処理を行う（Ｓ０１）。ＦＦＴ処理では、楽曲ファイルの音声データを、周波数成分ごとの振幅と位相に変換する。つまり、時間領域の音を、周波数領域に変換し、振幅と位相を求める。なお、ここでは、ＦＦＴサイズ：４０９６、オーバーラップ：８回、入力窓関数：ハニング窓を用いるものとする。ハニング窓は、両端が「０」になる窓関数である。つまり、スペクトルピークに対し、両隣のビン（周波数成分）の位相が逆位相となる窓関数である。
【００１９】
続いて、音声処理装置１は、楽音検出処理を行う（Ｓ０２）。ここでは、ＦＦＴ処理（Ｓ０１）の処理結果から、楽音データを検出する。「楽音データ」とは、図２に示すように、「楽音ＩＤ」、「倍音データ数」、「開始ＦＦＴフレーム」、「終了ＦＦＴフレーム」、各倍音・各フレームの「ビン番号」、各倍音・各フレームの「倍音周波数」、各倍音・各フレームの「倍音振幅」、各倍音・各フレームの「倍音位相」、各倍音・各フレームの「倍音単独性」の情報を含むデータである。
【００２０】
このうち、「ビン番号」、「倍音周波数」、「倍音振幅」、「倍音位相」および「倍音単独性」については、各倍音のスペクトルピークが存在するビンとその両隣（前後±１）のビンの合計３ビンごとにデータが存在する。また、「倍音単独性」とは、対象倍音のスペクトルピークにおける単独性（音の非重複度合い）を示す指標であり、以下「クリーン度」とも称する。また、「倍音」とは、複数次倍音だけでなく、１倍音、つまり基音も含む概念である。なお、「楽音データ」に含まれる「倍音データ数」は、固定値（例えば、３０次）である。
【００２１】
続いて、音声処理装置１は、楽音抽出処理を行う（Ｓ０３）。ここでは、楽音検出処理（Ｓ０２）で検出された楽音データの各情報を修正することにより、抽出対象となる対象楽音の楽音データを確定する。詳細については、後述する。
【００２２】
続いて、音声処理装置１は、ＩＦＦＴ処理（逆ＦＦＴ処理）を行う（Ｓ０４）。ここでは、楽音抽出処理（Ｓ０４）により抽出（確定）された楽音データの各周波数成分を、音声データに変換する。つまり、周波数領域の振幅と位相を、時間領域の音に変換する。なお、ここでは、ＦＦＴサイズ：４０９６、オーバーラップ：８回、出力窓関数：ハニング窓を用いるものとする。以上の流れにより、取得した楽曲ファイルから、複数の楽音を抽出する。ここで、「楽音」とは、調波音構造を持つ音（基音に対して倍音構造を持つ音）を指す。つまり、ベース音などの楽器音の他、ボーカル音も含まれる。
【００２３】
次に、図３および図４を参照し、楽音抽出処理（図１のＳ０３）の詳細について説明する。図３は、音声処理装置１の機能構成を示すメインブロック図であり、図４は、一部の機能についての詳細ブロック図である。音声処理装置１は、楽音抽出処理に関わる主な構成として、楽音データ取得部１１、細分化部１２、単独性計算部１３、ピークビン周波数計算部１４、基音周波数同定部１５、スペクトル包絡同定部１６および楽音データ抽出部１７を備えている。
【００２４】
楽音データ取得部１１は、楽音検出処理（図１のＳ０２）の処理結果（周波数成分ごとの振幅と位相の情報を含む楽音データ）を取得する。細分化部１２は、取得した楽音データを、周波数の変化量が一定な連続するＮ個（但し、Ｎは１以上の整数）のフレームから成る細分化区間に分割する（図５参照）。ここで、「周波数の変化量が一定」とは、周波数が一定の場合も含む。
【００２５】
単独性計算部１３は、図４（ａ）に示すように、スペクトルピーク検出部２１、位相差算出部２２およびクリーン度算出部２３を含む。スペクトルピーク検出部２１は、楽音データ取得部１１で取得した楽音データの各フレームから、振幅が極大となるスペクトルピークを検出する（図６の符号５４参照）。位相差算出部２２は、検出されたスペクトルピークの位相と、スペクトルピークに隣接する隣接周波数成分の位相との位相差を算出する。クリーン度算出部２３は、位相差算出部２２により算出された位相差に応じて、対象楽音（各倍音）のスペクトルピークにおける単独性を示すクリーン度を算出する（図７参照）。このように、単独性計算部１３では、対象楽音のスペクトルピークにおける単独性を計算して、楽音データの信頼性を判定している。つまり、単独性が高い場合、楽音検出処理で検出された楽音データの信頼性が高いと判定する。
【００２６】
ピークビン周波数計算部１４は、スペクトルピークのピークビン周波数を、スペクトルピークが存在するビンとその両隣１ビンの合計３ビンの振幅値から計算する（図８参照）。このピークビン周波数の計算は、ＦＦＴサイズに基づく周波数分解能から決まるビンの周波数よりも正確な周波数を求めることを目的としている。
【００２７】
基音周波数同定部１５は、単独性計算部１３により計算されたクリーン度と振幅で重み付けした連立方程式（基音周波数方程式）により、対象楽音の基音周波数を同定する（図１０参照）。このとき、基音周波数同定部１５は、細分化部１２により分割された細分化区間ごとに基音周波数を同定する（図９参照）。
【００２８】
基音周波数の同定は、楽音データに含まれている１倍音の「倍音周波数」の情報をより正確な値に修正することを目的としている。楽音データに含まれている基音周波数が正しく且つ単独性が高い場合は、その整数倍に相当する周波数を表すビンにピークが存在するため、図８に示す計算式で倍音周波数が計算できるはずである。ところが、楽音データに含まれている基音周波数が正しいとは限らず、ピークが存在するはずの位置にピークが存在しない場合がある。このため、近傍のピークが正しいと仮定して、図１０に示す基音周波数方程式を解き、新たに算出された基音周波数を前工程で算出された基音周波数と差し換えて、再びクリーン度およびピークビン周波数を算出する。そして、これらの算出結果を用いて、再び基音周波数方程式を解く。このように、音声処理装置１は、単独性計算部１３、ピークビン周波数計算部１４および基音周波数同定部１５の処理を、基音周波数が収束するまで繰り返すことで、正確な基音周波数を同定する。また、その同定結果に基づいて、楽音データの「ビン番号」、「倍音周波数」、「倍音振幅」および「倍音単独性」の情報を更新する（図２参照）。
【００２９】
スペクトル包絡同定部１６は、単独性計算部１３により計算されたクリーン度と振幅で重み付けした連立方程式（スペクトル包絡係数方程式）により、対象楽音のスペクトル包絡を同定する（図１１参照）。スペクトル包絡の同定は、対象楽音の振幅を決定することを目的としている。また、振幅値の計算により、振幅値が０以下となる倍音次数より上の次数に関しては抽出が不要となるため、楽音データに含まれる倍音の数を制限する効果もある。
【００３０】
楽音データ抽出部１７は、図４（ｂ）に示すように、情報取得部３１、周波数幅決定部３２および楽音抽出部３３を含む。情報取得部３１は、対象楽音の時間軸上における周波数推移を示す情報を取得する。つまり、基音周波数同定部１５で同定された基音周波数の変動を示す情報を取得する。
【００３１】
周波数幅決定部３２は、対象楽音の隣接フレーム間における周波数変動量に応じて、各フレームから抽出する周波数幅を決定する（図１５等参照）。なお、隣接フレーム間における周波数変動量以外の要素（周波数推移など）を加味して、周波数幅を決定しても良い。詳細については、後述する。
【００３２】
楽音抽出部３３は、周波数幅決定部３２により決定された周波数幅にしたがって、各フレームから対象楽音を抽出する。このとき、楽音抽出部３３は、周波数変動量が所定量（所定の閾値）以上の場合、周波数変動量が所定量未満の場合と比較して、抽出する周波数幅を広くする。また、対象楽音の発音開始位置（「開始ＦＦＴフレーム」）から所定数までのフレームについては、周波数変動量によらず、抽出する周波数幅を固定値として決定する。本実施形態では先頭フレームのみ、周波数変動量が所定量未満の区間（符号６１）よりも、周波数幅を広くし、抽出音のアタック感を強調している。一方、楽音抽出部３３は、スペクトル包絡同定部１６の同定結果から得られる各倍音の振幅にしたがって、対象楽音を抽出する。
【００３３】
このように、楽音データ抽出部１７は、基音周波数同定部１５で同定された基音周波数の変動に基づいて、各フレームから抽出する周波数幅を決定し、且つスペクトル包絡同定部１６で同定されたスペクトル包絡に基づいて、各倍音の振幅を決定する。そして、これらの決定に基づいて、抽出対象となる対象楽音の楽音データを確定する。
【００３４】
次に、図５ないし図１８を参照し、図３および図４に示した各部について詳細に説明する。図５は、細分化部１２の説明図である。同図において、符号５０は、時間軸上における基音または倍音の周波数推移を示している。また、符号５１は、周波数の変化量が一定な区間を示している。同図に示すように、細分化部１２は、楽音データを、基音（または倍音）が同一ビンに存在する１以上のフレームの集合体ごとに分割する。つまり、このフレームの集合体を各細分化区間として、符号５２に示すように分割する。
【００３５】
図６は、単独性計算部１３の説明図である。単独性計算部１３は、楽音データの各フレームにおいて、振幅が極大となるスペクトルピーク（符号５４）を検出する。そして、検出されたスペクトルピーク（ｂi,m）の位相と、スペクトルピークに隣接する隣接周波数成分（ｂi,m＋１，ｂi,m−１）の位相との位相差を算出する。なお、位相差は２πの範囲で表されるが、その範囲が−π〜πとなるようにする。その後、算出した位相差を用いて、図７に示す単独性の計算式により、クリーン度（ｃi,m）を算出する。単独性の計算式では、分子の２つの絶対値が、それぞれ０〜πの値となるため、絶対値の和を２πで除したクリーン度は、０〜１の値をとる。また、正弦波のみが存在するような場合（単独性が高い場合）、クリーン度は「１」となる。なお、この計算式は、ＦＦＴ処理（図１のＳ０１）において、両端が「０」になる入力窓関数を用いることを前提としている。
【００３６】
図８は、ピークビン周波数の計算式を示す図である。同図に示す計算式では、ピークビン周波数の前後の振幅値の大・小によって場合分けし、ピークビン周波数の前後の振幅値を用いて、スペクトルピークのピークビン周波数を算出する。このように、ピークビン周波数の前後の振幅値を用いることにより、ＦＦＴの周波数分解能で決まるビンの周波数より正確な周波数を算出することができる。なお、ピークビン周波数の算出は、フレーム間における位相の変化から求めるなど、他の周知技術を用いても良い。
【００３７】
図９は、基音周波数同定部１５の説明図である。同図において、符号５５は、時間軸上における基音の周波数推移を示している。また、符号５６は、時間軸上における倍音の周波数推移を示している。上記のとおり、基音周波数の同定は、細分化部１２により分割された細分化区間ごとに行う。同図では、符号５７に示す細分化区間の各フレームおよび各倍音の情報を用いて、基音周波数（ｆ1）を同定することを示している。
【００３８】
図１０は、基音周波数方程式を示す図である。基音周波数方程式は、クリーン度算出部２３により算出されたクリーン度と、振幅で重み付けした連立方程式により、細分化区間に含まれるＮ個のフレームについてそれぞれ観測された、Ｍ次（但し、Ｍは１以上の整数）までの倍音の周波数観測値、基音周波数（ｆ1）と周波数変化量（Δｆ1）の２つのパラメータの関係を表す連立方程式である。この連立方程式の数はパラメータ数よりも多いので、最小二乗法を用いてパラメータを決定する。
【００３９】
図１１は、スペクトル包絡係数方程式を示す図である。スペクトル包絡係数方程式は、クリーン度算出部２３により算出されたクリーン度と、振幅で重み付けした連立方程式により、楽音検出処理（図１のＳ０２）により検出された楽音データに含まれる複数のフレームについてそれぞれ観測された、Ｍ次（但し、Ｍは１以上の整数）までの倍音の観測値を利用して、隣接倍音間の振幅減衰率（ｋ＋Δｋi）のパラメータを最小二乗法で求めるものである。ここで、「ｋ」は、減衰率（倍音非依存）、「Δｋi」は、倍音比例減衰変化率を意味する。
【００４０】
このスペクトル包絡係数方程式により、図１２ないし図１４に示すような典型的なスペクトル包絡を求めることができる。例えば、図１２は、一般的な単調減少の場合のスペクトル包絡同定結果を示している。同図の結果は、「０＜Δｋ＜ｋ」且つ「基音の振幅≧２次倍音の振幅」の場合に得られる。また、図１３は、正弦波の場合のスペクトル包絡同定結果を示している。なお、同図の結果は、図１１に示したスペクトル包絡係数方程式を解けない場合、または「Δｋ≧ｋ」の場合に得られる。また、図１４は、ミッシングファンダメンタルの場合（基音が存在しない場合）のスペクトル包絡同定結果を示している。同図の結果は、「０＜Δｋ＜ｋ」且つ「基音の振幅＜２次倍音の振幅」の場合に得られる。
【００４１】
なお、スペクトル包絡の同定は、取得した楽曲ファイルに含まれる同一音源（同一楽器）の全ての楽音データを利用してパラメータを求めることが好ましい。つまり、音程が異なっていても音源ごとにスペクトル包絡が同一であるものとして、同定を行うことが好ましい。これにより、音源ごとのスペクトル包絡を簡易な処理で求めることができる。
【００４２】
図１５は、楽音データ抽出部１７（基本の抽出パターン）の説明図である。同図において、符号５０は、時間軸上における基音または倍音の周波数推移を示している。本実施形態では、基音、倍音に関わらず、抽出する周波数幅（ビン幅）は同じ幅とする。また、符号６１は、先頭フレーム（符号Ｆ１）を除いた周波数変動が小さい（所定量未満となる）フレーム範囲を示し、符号６２は、周波数変動が大きい（所定量以上となる）フレーム範囲を示している。また、符号５０を中心として上下に伸びる色つき矩形枠は、抽出する周波数幅を示している。さらに、色つき矩形枠の先頭フレームから終了フレームまでが、楽音データに含まれる対象楽音の発音区間となる。
【００４３】
上記のとおり、楽音データ抽出部１７は、対象楽音の隣接フレーム間における周波数変動量に応じて、フレームごとに抽出する周波数幅を決定する。例えば、周波数変動が小さいフレーム範囲（符号６１）では、周波数推移に基づく基音ビンとその前後１ビンの合計３ビン（基本ビン幅，第１の固定値）を抽出する。一方、周波数変動が大きいフレーム範囲（符号６２）では、周波数推移に基づく基音ビンとその前後３ビンの合計７ビン（補正ビン幅）を抽出する（符号Ｆ２〜Ｆ６）。また、楽音データ抽出部１７は、先頭フレーム（符号Ｆ１）についてのみ、隣接フレーム（先頭から２番目のフレーム）との周波数変動量に関わらず、基音ビンとその前後３ビンの合計７ビン（第２の固定値）を抽出する。
【００４４】
なお、前後のフレームとの周波数変動量が異なる場合、抽出する周波数幅は、変動量の大きい方に従うことが好ましい。つまり、前のフレームとの周波数変動量が小さくても、後ろのフレームとの周波数変動量が所定量以上であれば、７ビン（補正ビン幅）を抽出する。また、後ろのフレームとの周波数変動量が小さくても、前のフレームとの周波数変動量が所定量以上であれば、７ビンを抽出する。
【００４５】
また、抽出する周波数幅は、３ビンと７ビンに限らず、５ビンと９ビンなど、設定変更可能である。このとき、周波数変動量に比例するように補正周波数幅を自動可変しても良い。また、抽出する周波数幅を基本ビン幅とするか補正ビン幅とするかの閾値（所定量）についても、手動または自動で設定変更可能としても良い。
【００４６】
続いて、図１６は、楽音データ抽出部１７の変形例１に係る抽出パターンの説明図である。変形例１では、符号７１の楕円枠に示すように、周波数推移（符号５０）が、徐々に上昇していく過程（周波数変動が大きいフレーム範囲，符号６２）において、周波数変動量が小さくなったときに抽出する周波数幅の上限を超えないように、抽出する周波数幅を補正する。具体的には、同図の例の場合、フレームＦ４，Ｆ５，Ｆ６の上部を削る（符号６１における周波数幅の上限値に合わせる）補正を行っている。当該補正により、図１５に示した基本の抽出パターンと比較して、より自然な違和感のない音を抽出することができる。
【００４７】
なお、同図では、周波数推移が上昇していく過程における周波数幅の補正を例示したが、周波数推移が下降していく過程においても、同様の補正を行うことが好ましい。つまり、周波数推移が下降していく過程において、周波数変動量が小さくなったときに抽出する周波数幅の下限を下回らないように、抽出する周波数幅を補正することが好ましい。
【００４８】
続いて、図１７は、楽音データ抽出部１７の変形例２に係る抽出パターンの説明図である。変形例２では、図１６に示した変形例１の補正から、さらにフレームＦ４の上部１ビンを削る補正を行っている（符号７２）。つまり、周波数推移（符号５０）が、徐々に上昇していく過程（周波数変動が大きいフレーム範囲，符号６２）において、抽出する周波数幅の上限値の変動がより滑らかになるように補正している。これにより、変形例１よりもさらに違和感のない音を抽出することができる。
【００４９】
続いて、図１８は、楽音データ抽出部１７の変形例３に係る抽出パターンの説明図である。変形例３では、図１７に示した変形例２の補正（符号７２）に加え、抽出する周波数幅の下限値を補正している（符号７３）。具体的には、周波数推移に基づく基音ビンに対し、その前後の幅が同じとなるように、抽出する周波数幅の下限値を補正している。同図の例では、フレームＦ４，Ｆ５，Ｆ６の下部を、上部の補正量と同じ量だけ（２ビンずつ）削る補正を行っている。これにより、変形例２よりもさらに違和感のない音を抽出することができる。
【００５０】
以上説明したとおり、本実施形態によれば、単独性計算部１３により、各フレームにおけるスペクトルピークの位相と、当該スペクトルピークに隣接する隣接周波数成分の位相との位相差に基づいて、抽出対象となる対象楽音の単独性を示すクリーン度を算出するため、楽音抽出処理の前工程となる楽音検出処理（図１のＳ０２）で検出された楽音データの信頼性を判定することができる。
【００５１】
また、複数の楽音を含む楽曲から対象楽音を抽出する従来技術として、「他の音と重複していない演奏部分」のデータを用いて対象楽音を抽出する方法が知られているが、楽曲によっては「他の音と重複していない演奏部分」が存在しないものもある。これに対し、本実施形態では、基音周波数同定部１５により、単独性（クリーン度）で重み付けされた基音周波数方程式を利用して基音周波数を計算するため、「他の音と重複していない演奏部分」が存在しない楽曲であっても、正確な基音周波数を同定することができる。同様に、スペクトル包絡同定部１６においても、単独性で重み付けされたスペクトル包絡係数方程式を利用してスペクトル包絡係数（隣接倍音間の減衰率）を計算するため、「他の音と重複していない演奏部分」が存在しない楽曲であっても、正確なスペクトル包絡を同定することができる。また、楽音データ抽出部１７は、これら基音周波数同定部１５およびスペクトル包絡同定部１６の同定結果に基づいて、抽出対象となる対象楽音を抽出するため、「他の音と重複していない演奏部分」が存在しない楽曲であっても、抽出音を高音質化することができる。
【００５２】
また、楽音データ抽出部１７では、対象楽音の周波数変動量に応じて抽出する周波数幅を決定するため、抽出音の音量低下および音質劣化を防止することができる。また、変形例１〜３（図１６〜図１８）に示したように、対象楽音の周波数変動量だけでなく、その周波数推移によって抽出する周波数幅を補正することで、抽出音をより自然な音とすることができる。
【００５３】
なお、上記の実施形態において、スペクトル包絡同定部１６は、同一音源の全てのデータを用いて、スペクトル包絡を同定したが、同一音源の中でも同一音程のデータを用いてスペクトル包絡を同定しても良い。この場合、細分化部１２の処理結果から、音程ごとに分割したデータを用いて、スペクトル包絡係数方程式（図１１参照）を解けば良い。この構成によれば、音程を考慮したより正確なスペクトル包絡を求めることができる。
【００５４】
また、上記の実施形態では、基音周波数同定部１５により基音周波数を同定した後、スペクトル包絡同定部１６によりスペクトル包絡を同定したが、一方の同定結果が他方に影響するため、２つの処理を交互に繰り返し計算しても良い。これにより、さらに正確な同定結果を得ることができる。
【００５５】
また、上記の実施形態において、周波数幅決定部３２は、対象楽音の隣接フレーム間における周波数変動量に応じて、フレームごとに周波数幅を決定したが、必ずしもフレーム単位で周波数幅を決定する必要はない。例えば、図１５に示したように、周波数変動が小さい区間（符号６１）と、周波数変動が大きい区間（符号６２）を特定し、区間ごとに周波数幅を決定しても良い。つまり、複数フレーム間における周波数変動量に応じて、その複数フレームに含まれる各フレームの周波数幅を一律に決定しても良い。
【００５６】
また、上記の実施形態において、周波数幅決定部３２は、発音区間の先頭フレームのみ、周波数変動量によらず抽出する周波数幅を固定値としたが、発音区間の開始フレームからの複数フレームについて、周波数幅を固定値としても良い。また、発音区間の開始時だけでなく、発音区間の終了時（終了フレームのみ、または終了フレームからの複数フレーム）について、周波数変動量によらず抽出する周波数幅を固定値としても良い。さらに、固定値は、基本ビン幅より狭くても良い。
【００５７】
また、周波数幅決定部３２は、基音と倍音で同じ周波数幅を抽出したが、異なる周波数幅を抽出しても良い。例えば、倍音ごとの周波数変動量に合わせて周波数幅を決定しても良い。
【００５８】
また、上記の実施形態に示した音声処理装置１における各部および各機能をプログラム（アプリケーション）として提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリ等）に格納して提供することも可能である。すなわち、コンピューターを、音声処理装置１の各部として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれる。
【００５９】
また、音声処理装置１の解析情報を、楽音抽出（分離）技術だけでなく、他の技術に適用しても良い。例えば、解析情報を利用してＭＩＤＩ（登録商標）情報を生成するＭＩＤＩ化技術、抽出された楽音を、解析、加工（リミックス等）するアプリケーションソフトウェア、抽出された楽音を再生する再生装置、などの適用が考えられる。その他、音声処理装置１を、ネットワーク上のサーバー（クラウドコンピューティング）で実現するなど、本発明の要旨を逸脱しない範囲で適宜変更が可能である。
【符号の説明】
【００６０】
１：音声処理装置  １１：楽音データ取得部  １２：細分化部  １３：単独性計算部  １４：ピークビン周波数計算部  １５：基音周波数同定部  １６：スペクトル包絡同定部  １７：楽音データ抽出部  ２１：スペクトルピーク検出部  ２２：位相差算出部  ２３：クリーン度算出部  ３１：情報取得部  ３２：周波数幅決定部  ３３：楽音抽出部
【図１】
2015179188.tif 000003
【図２】
2015179188.tif 000004
【図３】
2015179188.tif 000005
【図４】
2015179188.tif 000006
【図５】
2015179188.tif 000007
【図６】
2015179188.tif 000008
【図７】
2015179188.tif 000009
【図８】
2015179188.tif 000010
【図９】
2015179188.tif 000011
【図１０】
2015179188.tif 000012
【図１１】
2015179188.tif 000013
【図１２】
2015179188.tif 000014
【図１３】
2015179188.tif 000015
【図１４】
2015179188.tif 000016
【図１５】
2015179188.tif 000017
【図１６】
2015179188.tif 000018
【図１７】
2015179188.tif 000019
【図１８】
2015179188.tif 000020