(57)【特許請求の範囲】
【請求項１】
ネットワークを介して収音された音声に対して、各発声の基本周波数を求めるための信号処理方法において、
前記ネットワークを介して取得した入力音声信号に対して、フーリエ変換を行って周波数成分を算出し、該周波数成分を用いて各周波数チャネルのパワーを算出し、パワー値を記憶手段に格納するフーリエ変換ステップと、
前記周波数チャネルのパワー値の中から特定の閾値を超えて、かつ極大値を持つ周波数チャネルのいくつかを基本周波数算出用周波数チャネルとして選出し、記憶手段に格納する基本周波数算出用周波数チャネル選出ステップと、
前記周波数チャネルのパワーを極大にした原因となる周波数ｆｐを特定し、記憶手段に格納する周波数算出ステップと、
特定された周波数ｆｐを基本周波数、あるいは、該基本周波数の倍音の１つであると仮定して、ｊを１から所定数の範囲の変数として、それぞれのｆｐ及び各ｊについて、ｆｐ／ｊと倍音関係にある複数の周波数のパワーを合計し、合計されたパワーを記憶手段に格納するパワー合算ステップと、
前記合計されたパワーの中から最大値を選んで、該最大値となったｆｐ、ｊとに基づいて実際の発声の基本周波数を決定する基本周波数決定ステップと、
からなることを特徴とする信号処理方法。
【請求項２】
前記パワー合算ステップにおいて、
前記複数の周波数のパワーの合算は、
ｈを定数とし、ｆｐ／ｊのｊ倍音からｊ＋ｈ倍音の周波数のパワーの合算である
請求項１記載の信号処理方法。
【請求項３】
前記周波数算出ステップは、
前記周波数チャネルのパワーを極大にした原因となる周波数ｆｐを、補完式を用いて特定し、記憶手段に格納する
請求項１記載の信号処理方法。
【請求項４】
ネットワークを介して収音された音声に対して、各発声の基本周波数を求めるための信号処理装置であって、
前記ネットワークを介して取得した入力音声信号に対して、フーリエ変換を行って周波数成分を算出し、該周波数成分を用いて各周波数チャネルのパワーを算出し、パワー値を記憶手段に格納するフーリエ変換手段と、
前記周波数チャネルのパワー値の中から特定の閾値を超えて、かつ極大値を持つ周波数チャネルのいくつかを基本周波数算出用周波数チャネルとして選出し、記憶手段に格納する基本周波数算出用周波数チャネル選出手段と、
前記周波数チャネルのパワーを極大にした原因となる周波数ｆｐを特定し、記憶手段に格納する周波数算出手段と、
特定された周波数ｆｐを基本周波数、あるいは、該基本周波数の倍音の１つであると仮定して、ｊを１から所定数の範囲の変数として、それぞれのｆｐ及び各ｊについて、ｆｐ／ｊと倍音関係にある複数の周波数のパワーを合計し、合計されたパワーを記憶手段に格納するパワー合算手段と、
前記合計されたパワーの中から最大値を選んで、該最大値となったｆｐ、ｊとに基づいて実際の発声の基本周波数を決定する基本周波数決定手段と、
を有することを特徴とする信号処理装置。
【請求項５】
前記パワー合算手段の前記複数の周波数のパワーの合算は、
ｈを定数とし、ｆｐ／ｊのｊ倍音からｊ＋ｈ倍音の周波数のパワーの合算である
請求項４記載の信号処理装置。
【請求項６】
前記周波数算出手段は、
前記周波数チャネルのパワーを極大にした原因となる周波数ｆｐを、補完式を用いて特定し、記憶手段に格納する
請求項４記載の信号処理装置。
【請求項７】
請求項４乃至６のいずれか１項に記載の信号処理装置を構成する各手段としてコンピュータを機能させるための信号処理プログラム。
【請求項８】
請求項７記載の信号処理プログラムを格納したことを特徴とする信号処理プログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理方法及び装置及びプログラム及び信号処理プログラムを格納した記憶媒体に係り、特に、電話機と電話回線を用いて収音された音声に対して、各発声の基本周波数を推定するための信号処理方法及び装置及びプログラム及び信号処理プログラムを格納した記憶媒体に関する。
【背景技術】
【０００２】
人の声の基本周波数情報を必要とするアプリケーションとして、例えば、人の歌唱を入力として、その歌唱と最も似ているメロディを持つ音楽を検索する、ハミング検索アプリケーション等が考えられる。このハミング検索では、入力される音声信号はマイクを用いて収音される（例えば、特許文献１〜４参照）。
【特許文献１】特開２００１−１０９４７１号公報「音楽検索装置、音楽検索方法及び音楽検索プログラムを格納した記憶媒体」西原、小杉、紺谷、山室
【特許文献２】特開２００２−１７５０７３号公報「演奏採取装置、演奏採取方法及び演奏採取用プログラム記憶媒体」片岡、小杉、小島
【特許文献３】特開２０００−３４７６５９号公報「音楽検索装置、音楽検索方法及び音楽検索プログラムを記録した記録媒体」西原、小杉、坂田、山室、梅田、紺谷
【特許文献４】特開２００２−１２３２８７号公報「音楽特徴量生成方法及び装置と音楽情報検索装置と音楽特徴量生成用プログラムの記録媒体」小杉
【発明の開示】
【発明が解決しようとする課題】
【０００３】
音声を使ったサービスにおいて、最も普及率が高く身近なインタフェースは電話であると考えられるが、電話を通じて収音された音声信号からは３００Ｈｚから３．４ｋＨｚの周波数成分しか得られない。しかし、例えば、一般的な男性の歌声は、９８Ｈｚ（Ｇ２）から２７７Ｈｚ（Ｃ＃４）の間に基本周波数が存在し、一般的な女性の歌声は、１７５Ｈｚ（Ｆ３）から４６６Ｈｚの間に基本周波数が存在していると言われている（文献：UlrichMichels/角倉一朗、図解音楽事典、白水社、1998）。従って、男性の場合は略すべて、女性の場合でも約半分は、電話回線を経由して収音された歌声から基本周波数成分を直接得ることができない。
【０００４】
本発明は、上記の点に鑑みなされたもので、人の声の調和構造を利用して、電話を通して得られた音声信号（３００Ｈｚから３．４ｋＨｚの周波数成分）から、実際の発声の基本周波数を推定する方法を示すものである。
【課題を解決するための手段】
【０００５】
図１は、本発明の原理を説明するための図である。
【０００６】
本発明（請求項１）は、ネットワークを介して収音された音声に対して、各発声の基本周波数を求めるための信号処理方法において、
ネットワークを介して取得した入力音声信号に対して、フーリエ変換を行って周波数成分を算出し、該周波数成分を用いて各周波数チャネルのパワーを算出し、パワー値を記憶手段に格納するフーリエ変換ステップ（ステップ１）と、
周波数チャネルのパワー値の中から特定の閾値を超えて、かつ極大値を持つ周波数チャネルのいくつかを基本周波数算出用周波数チャネルとして選出し、記憶手段に格納する基本周波数算出用周波数チャネル選出ステップ（ステップ２）と、
周波数チャネルのパワーを極大にした原因となる周波数ｆｐを特定し、記憶手段に格納する周波数算出ステップ（ステップ３）と、
特定された周波数ｆｐを基本周波数、あるいは、該基本周波数の倍音の１つであると仮定して、ｊを１から所定数の範囲の変数として、それぞれのｆｐ及び各ｊについて、ｆｐ／ｊと倍音関係にある複数の周波数のパワーを合計し、合計されたパワーを記憶手段に格納するパワー合算ステップ（ステップ４）と、
合計されたパワーの中から最大値を選んで、該最大値となったｆｐ、ｊとに基づいて実際の発声の基本周波数を決定する基本周波数決定ステップ（ステップ５）と、からなる。
【０００７】
また、本発明（請求項２）は、パワー合算ステップにおいて、
複数の周波数のパワーの合算は、
ｈを定数とし、ｆｐ／ｊのｊ倍音からｊ＋ｈ倍音の周波数のパワーの合算である。
【０００８】
また、本発明（請求項３）は、周波数算出ステップにおいて、周波数チャネルのパワーを極大にした原因となる周波数ｆｐを、補完式を用いて特定し、記憶手段に格納する。
【００１１】
図２は、本発明の原理構成図である。
【００１２】
本発明（請求項４）は、ネットワークを介して収音された音声に対して、各発声の基本周波数を求めるための信号処理装置であって、
ネットワークを介して取得した入力音声信号に対して、フーリエ変換を行って周波数成分を算出し、該周波数成分を用いて各周波数チャネルのパワーを算出し、パワー値を記憶手段に格納するフーリエ変換手段１と、
周波数チャネルのパワー値の中から特定の閾値を超えて、かつ極大値を持つ周波数チャネルのいくつかを基本周波数算出用周波数チャネルとして選出し、記憶手段に格納する基本周波数算出用周波数チャネル選出手段２と、
周波数チャネルのパワーを極大にした原因となる周波数ｆｐを特定し、記憶手段に格納する周波数算出手段３と、
特定された周波数ｆｐを基本周波数、あるいは、該基本周波数の倍音の１つであると仮定して、ｊを１から所定数の範囲の変数として、それぞれのｆｐ及び各ｊについて、ｆｐ／ｊと倍音関係にある複数の周波数のパワーを合計し、合計されたパワーを記憶手段に格納するパワー合算手段４と、
合計されたパワーの中から最大値を選んで、該最大値となったｆｐ、ｊとに基づいて実際の発声の基本周波数を決定する基本周波数決定手段５と、を有する。
【００１３】
また、本発明（請求項５）は、パワー合算手段において、複数の周波数のパワーの合算は、
ｈを定数とし、ｆｐ／ｊのｊ倍音からｊ＋ｈ倍音の周波数のパワーの合算である。
【００１４】
また、本発明（請求項６）は、周波数算出手段において、
周波数チャネルのパワーを極大にした原因となる周波数ｆｐを、補完式を用いて特定し、記憶手段に格納する。
【００１７】
本発明（請求項７）は、請求項４乃至６のいずれか１項に記載の信号処理装置を構成する各手段としてコンピュータを機能させるための信号処理プログラムである。
【００１８】
本発明（請求項８）は、請求項７記載の信号処理プログラムを格納した記憶媒体である。
【発明の効果】
【００１９】
上記のように、本発明によれば、音声をフーリエ変換して周波数分布を求め、パワーが極大となる周波数（チャネル）を定め、その近傍でパワー極大となる周波数（ｆｐ）を求め、ｊを１〜ｈとし、ｆｐ／ｊの整数倍の周波数を合計し、合計されたＰ（ｐ，ｊ）が最大となるパワーを選択し、実際の発声の基本周波数を決定することにより、電話を通して収音された音声信号のように、基本周波数成分を直接得ることができない音声信号に対して、基本周波数を推定することができるようになる。
【発明を実施するための最良の形態】
【００２０】
以下、図面と共に本発明の実施の形態を説明する。
【００２１】
図３は、本発明の一実施の形態における信号処理装置の構成を示す。
【００２２】
同図に示す信号処理装置は、フーリエ変換部１、基本周波数算出用周波数チャネル選出部２、周波数算出部３、パワー合算部４、基本周波数決定部５から構成される。なお、これらの各部には、それぞれ計算結果等を格納するメモリやバッファ等の記憶手段を有するものとする。
【００２３】
以下に、上記の構成における動作を説明する。
【００２４】
（１）  フーリエ変換部１は、入力された音声信号を一定の長さずらしながら一定の長さ（フレームと呼ぶ）の信号データを順次切り出してフーリエ変換し、周波数チャネルｃｉ毎にそのチャネルのパワーｐ（ｃｉ）を計算する。また、併せて該フレームの平均パワーも算出する。平均パワーは、全チャネルのパワーを全チャネル数で除算したものである。計算された周波数チャネル毎のパワーｐ（ｃｉ）及び平均パワーをメモリ（図示せず）等の記憶手段に格納する。
【００２５】
（２）  基本周波数算出用周波数チャネル選出部２は、フーリエ変換部１で算出され、メモリに格納されている周波数チャネルの中から、フレームの平均パワーである一定の割合ｔｆを越え、かつ極大値となるパワーを持つチャネルをｎｐ個選出し、メモリ（図示せず）等の記憶手段に格納する。選出された周波数チャネル（基本周波数算出用周波数チャネル）の中のｐ番目のチャネルをｃｐｋ（１≦ｐ≦ｎｐ）と表す。ｋはチャネル番号とする。
【００２６】
（３）  周波数算出部３は、基本周波数算出用周波数チャネル選出部２で選出され、メモリに格納されているチャネルｃｐｋとその周囲の周波数チャネル（ｃｐｋ−２〜ｃｐｋ＋２）のパワー値（ｐ（ｃｐｋ−２）〜ｐ（ｃｐｋ＋２））から、後述する補完式（式（１）〜式（５））を用いてそのチャネルｃｐｋで最も大きいパワーを持つと思われる周波数ｆｐを算出し、メモリ（図示せず）等の記憶手段に格納する。補完式は、ｃｐｋ−２からｃｐｋ＋２のパワー値によって、適切なものを１つ使用する。
【００２７】
（５）  パワー合算部４は、周波数算出部３で算出され、メモリに格納されている周波数ｆｐを、基本周波数ｆｐ／ｊのｊ倍音であると仮定して、その基本周波数に対するｊ倍音からｊ＋ｈ倍音までの周波数のパワーＰ（ｐ，ｊ）を合算し、合計パワー値をメモリ（図示せず）等の記憶手段に格納する。
【００２８】
（５）  基本周波数決定部５は、パワー合算部４で算出した合計パワー値Ｐ（ｐ，ｊ）を最大にするｐとｊを選出し、それらから後述する式（８）を用いて基本周波数Ｆ０を算出することで出力結果を得る。
【００２９】
以下に、上記の構成の動作を詳細に説明する。
【００３０】
上記の基本周波数算出用周波数チャネル選出部２におけるフレームの平均パワーのある一定の割合（閾値）ｔｆは、例えば、“０．５”などである。チャネル個数ｎｐは、例えば“５”などである。また、周波数チャネル選出方法としては、例えば、３００Ｈｚ以上の周波数チャネルの中で、「フレームの平均パワーのある一定の割合ｔｆを越え、かつ極大値となるパワーを持つ」という条件を満たす周波数チャネルを、周波数の低いものから順に選出する方法などが考えられる。
【００３１】
上記の周波数算出部３における補完式は、図４に示す各ケース毎に異なる。
【００３２】
１．ケースＡ：ｄ１≦ｄ２，ｄ３≦ｄ４（図４（ａ））
（ａ）ケースＡ−１（ｄ２＞｜ｄ３｜）
【００３３】
【数１】
0004277745.tif 000002
（ｂ）ケースＡ−２（ｄ２≦｜ｄ３｜）
【００３４】
【数２】
0004277745.tif 000003
２．ケースＢ：ｄ１＞ｄ２，ｄ３＞ｄ４（図４（ｂ））
【００３５】
【数３】
0004277745.tif 000004
３．ケースＣ：ｄ１≦ｄ２，ｄ３＞ｄ４（図４（ｃ））
【００３６】
【数４】
0004277745.tif 000005
４．ケースＤ：ｄ１＞ｄ２，ｄ３≦ｄ４（図４（ｄ））
【００３７】
【数５】
0004277745.tif 000006
上記のパワー合算部４におけるｈは、例えば“７”などである。また、周波数のパワーＰ（ｐ，ｊ）の算出アルゴリズムは図５に示すとおりである。図６を用いてパワー合算部４の動作を説明する。
【００３８】
ステップ１０１）  初期値ｐ＝１、ｊ＝１を設定する。
【００３９】
ステップ１０２）  ｐ≦ｎｐかを判断し、そうである場合には、ステップ１０３に移行し、ｐ＞ｎｐである場合には、処理を終了する。
【００４０】
ステップ１０３）  ｊ≦ｈかを判定し、そうである場合には、ステップ１０５に移行し、ｊ＞ｈである場合には、ステップ１０４に移行する。
【００４１】
ステップ１０４）  ｐを１インクリメントし、ｊの値を１戻す。
【００４２】
ステップ１０５）  周波数のパワーＰ（ｐ，ｊ）を算出する。
【００４３】
ステップ１０６）  ｊの値をインクリメントしてステップ１０３に移行する。
【００４４】
基本周波数決定部５における基本周波数Ｆ０は、以下の式（８）を用いて算出する。
【００４５】
【数６】
0004277745.tif 000007
なお、上記の例えば、信号処理装置の（１）〜（５）の動作をプログラムとして構築し、信号処理装置として利用されるコンピュータにインストールし、ＣＰＵ等の制御手段に実行させる、または、ネットワークを介して流通させることも可能である。
【００４６】
また、構築されたプログラムを信号処理装置として利用されるコンピュータに接続されたディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、実行時にインストールするようにしてもよい。
【００４７】
なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００４８】
本発明は、電話機や電話回線を介して収音された音声の基本周波数を推定する技術に適用可能である。
【図面の簡単な説明】
【００４９】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における信号処理装置の構成図である。
【図４】本発明の一実施の形態における周波数算出のための場合分けを示す図である。
【図５】本発明の一実施の形態におけるＰ（ｐ，ｊ）算出アルゴリズムである。
【図６】本発明の一実施の形態におけるパワー合算部の動作のフローチャートである。
【符号の説明】
【００５０】
１  フーリエ変換手段、フーリエ変換部
２  基本周波数算出用周波数チャネル送出手段、基本周波数算出用周波数チャネル送出部
３  周波数算出手段、周波数算出部
４  パワー合算手段、パワー合算部
５  基本周波数決定手段、基本周波数決定部
【図１】
0004277745.tif 000008
【図２】
0004277745.tif 000009
【図３】
0004277745.tif 000010
【図４】
0004277745.tif 000011
【図５】
0004277745.tif 000012
【図６】
0004277745.tif 000013