(57)【要約】【課題】自然な音質を得ることができるオーディオ信号補間方法及び装置を提供する。【解決手段】時間軸上で所定区間に隣接する前方のオーディオ信号及び／又は後方のオーディオ信号の時間領域サンプルに基づいて所定区間の波形を形成する波形形成手段１４と、形成された所定区間の波形のパワーを、前方のオーディオ信号又は後方のオーディオ信号のうちパワーが大きい方のオーディオ信号に基づいて選択される非線形モデルを用いて調整する信号処理部１６とを備える。【選択図】図１
2007316254.tif 000002
【特許請求の範囲】
【請求項１】
時間軸上で所定区間に隣接する前方のオーディオ信号及び／又は後方のオーディオ信号に基づいて上記所定区間のオーディオ信号を補間するオーディオ信号補間方法において、
上記前方のオーディオ信号及び／又は後方のオーディオ信号の時間領域サンプルに基づいて上記所定区間の波形を形成する波形形成工程と、
上記波形形成工程で形成された上記所定区間の波形のパワーを、上記前方のオーディオ信号又は後方のオーディオ信号のうちパワーが大きい方のオーディオ信号に基づいて選択される非線形モデルを用いて調整するパワー調整工程と
を有することを特徴とするオーディオ信号補間方法。
【請求項２】
上記波形形成工程では、上記前方のオーディオ信号又は後方のオーディオ信号のうちパワーが大きい方の時間領域サンプルを外挿して上記所定区間の波形を形成することを特徴とする請求項１記載のオーディオ信号補間方法。
【請求項３】
上記波形形成工程では、上記所定区間の波形と、上記前方のオーディオ信号又は後方のオーディオ信号とを１ピッチ区間でクロスフェードさせ、
上記パワー調整工程では、上記非線形モデルを用いて調整された上記所定区間の波形のパワーと、上記前方のオーディオ信号又は後方のオーディオ信号のパワーとを上記１ピッチ区間でクロスフェードさせる
ことを特徴とする請求項２記載のオーディオ信号補間方法。
【請求項４】
上記パワー調整工程では、上記前方のオーディオ信号のパワーが後方のオーディオ信号のパワーよりも大きい場合、上記所定区間の中間で上記後方のオーディオ信号のパワーとなる非線形モデルを用いて上記所定区間の波形のパワーを調整し、上記前方のオーディオ信号のパワーが後方のオーディオ信号のパワーよりも小さい場合、上記所定区間の中間よりも後方側で上記前方のオーディオ信号のパワーが増加する非線形モデルを用いて上記所定区間の波形のパワーを調整することを特徴とする請求項１記載のオーディオ信号補間方法。
【請求項５】
上記所定区間は、サブフレームであることを特徴とする請求項１記載のオーディオ信号補間方法。
【請求項６】
時間軸上で所定区間に隣接する前方のオーディオ信号及び／又は後方のオーディオ信号に基づいて上記所定区間のオーディオ信号を補間するオーディオ信号補間装置において、
上記前方のオーディオ信号及び／又は後方のオーディオ信号の時間領域サンプルに基づいて上記所定区間の波形を形成する波形形成手段と、
上記波形形成手段で形成された上記所定区間の波形のパワーを、上記前方のオーディオ信号又は後方のオーディオ信号のうちパワーが大きい方のオーディオ信号に基づいて選択される非線形モデルを用いて調整するパワー調整手段と
を備えることを特徴とするオーディオ信号補間装置。
【請求項７】
上記波形形成手段は、上記前方のオーディオ信号又は後方のオーディオ信号のうちパワーが大きい方の時間領域サンプルを外挿して上記所定区間の波形を形成することを特徴とする請求項６記載のオーディオ信号補間装置。
【請求項８】
上記波形形成手段は、上記所定区間の波形と、上記前方のオーディオ信号又は後方のオーディオ信号とを１ピッチ区間でクロスフェードさせ、
上記パワー調整手段は、上記非線形モデルを用いて調整された上記所定区間の波形のパワーと、上記前方のオーディオ信号又は後方のオーディオ信号のパワーとを上記１ピッチ区間でクロスフェードさせる
ことを特徴とする請求項７記載のオーディオ信号補間装置。
【請求項９】
上記パワー調整手段は、上記前方のオーディオ信号のパワーが後方のオーディオ信号のパワーよりも大きい場合、上記所定区間の中間で上記後方のオーディオ信号のパワーとなる非線形モデルを用いて上記所定区間の波形のパワーを調整し、上記前方のオーディオ信号のパワーが後方のオーディオ信号のパワーよりも小さい場合、上記所定区間の中間よりも後方側で上記前方のオーディオ信号のパワーが増加する非線形モデルを用いて上記所定区間の波形のパワーを調整することを特徴とする請求項６記載のオーディオ信号補間装置。
【請求項１０】
上記所定区間は、サブフレームであることを特徴とする請求項６記載のオーディオ信号補間装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エラー等により消失したオーディオ信号を補間するオーディオ信号補間方法及び装置に関するものである。
【背景技術】
【０００２】
音響信号や音声信号を含むオーディオ信号の補間技術は、コーデック処理、合成処理、エラー訂正処理等のような信号処理や信号送信処理に広く用いられている。
【０００３】
従来の音声合成やオーディオ信号補間における処理は、大きく分けて分析と形成の２つのステップに分けられる（例えば、非特許文献１参照。）。まず、補間区間の前方の信号及び／又は後方の信号を分析する。この分析は、一般的にピッチ周期の推定、周期性があるか否かのＰ／Ｎ信号分類、パワー演算等により行われる。次に、形成では、補間区間の前方のピッチ周期及び／又は後方のピッチ周期を外挿して補間区間の信号を形成し、形成された信号のパワーを調節する。
【０００４】
【非特許文献１】Audio Extrapolation - Theory and Applications
【非特許文献２】Restoration of a Discrete-Time Signal Segment by Interpolation Based on the Left-Sided and Right-Sided Autoregressive Parameters
【特許文献１】US5884253, 3/1999, W.B.Keleijn et al
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のピッチの外挿は、単に前方の信号及び／又は後方の信号のピッチをコピーし、オーディオ信号を形成するため、前方の信号と後方の信号のピッチ周期が異なる場合、形成されたピッチは不連続となる。
【０００６】
また、前方の信号及び／又は後方の信号のパワーに基づいて、線形手法により補間区間のパワーの外挿や内挿をすると、不自然なパワー調整となる。特に、外挿や内挿による過渡部で顕著となる。
【０００７】
例えば、図２１（Ａ）及び図２１（Ｂ）に示すように、補間区間の前方のオーディオ信号のピッチを外挿し、補間区間の後方のオーディオ信号のピッチを外挿し、図２１（Ａ）及び図２１（Ｂ）に示す点線のような線形により補間区間のパワーを算出した場合、図２２（Ａ）に示すような信号波形となってしまう。ここで、図２２（Ｂ）に示すオリジナルの信号波形と比較すれば分かるように、前方の信号及び後方の信号のピッチをオーバーラップさせた過渡部でパワーの減少が大きくなっている。また、前方の信号及び後方の信号のピッチをオーバーラップさせると振幅は連続になるものの、位相は不連続のままである。
【０００８】
本発明は、これらの問題点を鑑みてなされたものであり、自然な音質を得ることができるオーディオ信号補間方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、時間軸上で所定区間に隣接する前方のオーディオ信号及び／又は後方のオーディオ信号に基づいて上記所定区間のオーディオ信号を補間するオーディオ信号補間方法において、上記前方のオーディオ信号及び／又は後方のオーディオ信号の時間領域サンプルに基づいて上記所定区間の波形を形成する波形形成工程と、上記波形形成工程で形成された上記所定区間の波形のパワーを、上記前方のオーディオ信号又は後方のオーディオ信号のうちパワーが大きい方のオーディオ信号に基づいて選択される非線形モデルを用いて調整するパワー調整工程とを有することにより、上述した課題を解決する。
【００１０】
また、本発明は、時間軸上で所定区間に隣接する前方のオーディオ信号及び／又は後方のオーディオ信号に基づいて上記所定区間のオーディオ信号を補間するオーディオ信号補間装置において、上記前方のオーディオ信号及び／又は後方のオーディオ信号の時間領域サンプルに基づいて上記所定区間の波形を形成する波形形成手段と、上記波形形成手段で形成された上記所定区間の波形のパワーを、上記前方のオーディオ信号又は後方のオーディオ信号のうちパワーが大きい方のオーディオ信号に基づいて選択される非線形モデルを用いて調整するパワー調整手段とを備えることにより、上述した課題を解決する。
【発明の効果】
【００１１】
本発明に係るオーディオ信号補間方法及び装置によれば、時間軸上で所定区間に隣接する前方のオーディオ信号及び／又は後方のオーディオ信号の時間領域サンプルに基づいて所定区間の波形を形成し、形成された所定区間の波形のパワーを、上記前方のオーディオ信号又は後方のオーディオ信号のうちパワーが大きい方のオーディオ信号に基づいて選択される非線形モデルを用いて調整することにより、自然な音質を得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の具体的な実施の形態について、図面を参照しながら詳細に説明する。本発明の具体例として示すオーディオ信号補間装置は、例えば、エラー等による所定フレームの消失に対し、前フレーム及び／又は後フレームのオーディオ信号に基づいて補間フレームを生成するものである。
【００１３】
図１は、本発明の一実施形態に係るオーディオ信号補間装置の構成を示すブロック図である。このオーディオ信号補間装置１０は、例えば１６−バンドＰＱＦ（Polyphase Quadrature Filter）により、オリジナルのオーディオ信号が分割されたサブバンド信号（サブフレーム）を処理するものであり、各サブバンド信号をそれぞれ同様に処理する。
【００１４】
オーディオ信号補間装置１０は、入力されたサブバンド信号ｘ（ｎ）に前処理を施す前処理部１１と、前処理された信号波形ｘｕｓ（ｍ）からピッチ周期ｐを検索する開ループ・ピッチ検索部１２と、信号ｘｕｓ（ｍ）及びピッチ周期ｐから信号パワーｐｏｗを演算するパワー演算部１３と、信号ｘｕｓ（ｍ）及びピッチ周期ｐから信号波形ｘｐｃ（ｎ）を形成する波形形成部１４と、ノイズ信号ｘｎｇ（ｎ）を発生させるノイズジェネレータ１５と、信号波形ｘｐｃ（ｎ）及び／又はノイズ信号ｘｎｇ（ｎ）にパワー調整処理、窓処理、オーバーラップ処理等を施す信号処理部１６と、信号処理部１６で信号処理された信号ｘｗ（ｎ）に後処理を施す後処理部１７とを備えて構成されている。
【００１５】
前処理部１１は、入力されたサブバンド信号ｘ（ｎ）に後述する前処理を施す。前処理部１１で前処理された信号ｘｕｓ（ｍ）は、開ループ・ピッチ検索部１２に出力され、ピッチ周期ｐが計算される。ピッチ周期ｐ及び信号ｘｕｓ（ｍ）は、パワー演算部１３に出力され、信号のパワーpowが計算される。
【００１６】
ここで、前方の信号及び／又は後方の信号が周期性のある信号である場合、波形形成部１４にて、信号波形ｘｐｃ（ｎ）が形成される。また、前方の信号及び／又は後方の信号がノイズ信号である場合、ノイズジェネレータ１５は、ノイズ信号ｘｎｇ（ｎ）を発生させる。
【００１７】
形成された信号波形ｘｐｃ（ｎ）及びノイズ信号ｘｎｇ（ｎ）は、信号処理部１６に出力され、パワー処理、窓処理、オーバーラップ処理等が施される。信号処理部１６は、パワー演算部１３で計算された前方の信号及び／又は後方の信号のパワーpowに基づいて信号のパワーを最適化する。信号のパワーが最適化された信号ｘｐｓ（ｎ）は、窓関数が掛けられ、オーバーラップ処理が施される。窓処理及びオーバーラップ処理を施された信号ｘｗ（ｎ）は、後処理部１７に出力されて後処理が施される。後処理部１７からは、出力信号ｙ（ｎ）が出力される。
【００１８】
以下、各構成部における処理を詳細に説明する。
【００１９】
前処理部１１は、正確なピッチ周期を得るために、時間ｎ（サブフレーム）のサブバンド信号ｘ（ｎ）のＤＣ成分を除去する。ＤＣ成分の除去は、サブバンド信号ｘ（ｎ）からその平均値を取り除くことにより行われる。
【００２０】
【数１】
2007316254.tif 000003
【００２１】
ここで、Ｎは、形成する信号の長さである。
【００２２】
また、前処理部１１は、サブバンド信号ｘ（ｎ）をＰＱＦフィルタ処理により４つに分割する。４つに分割されたサブバンド信号のサンプリング間隔は、オリジナルのオーディオ信号の１６倍となる。つまり、例えば、サンプリング周波数が４４．１ｋＨｚの場合、サブバンド信号のサンプリング間隔は、１０００．０／（４４１００／１６）＝０．３６ｍｓとなる。
【００２３】
ここで、正確なピッチ周期を得るため、ＤＣ成分が除去されたサブバンド信号ｘｒｄ（ｎ）を、さらに４つの信号ｘ’ｒｄ（ｍ）に分割する。つまり、サンプリング間隔は、０．０９ｍｓとなる。
【００２４】
ここで、信号ｘｒｄ（ｎ）は、信号ｘ’ｒｄ（ｍ）のゼロ倍又は４倍である。
【００２５】
【数２】
2007316254.tif 000004
【００２６】
ローパスフィルタは、例えば、正規化された透過周波数領域０．１２５πとインパルス応答ｈ（ｎ）とを有しており、前処理部１１でアップサンプリングされた信号ｘｕｓ（ｍ）は、次式で表される。
【００２７】
【数３】
2007316254.tif 000005
【００２８】
このようにアップサンプリングされた信号ｘｕｓ（ｍ）は、開ループ・ピッチ検索部１２に出力される。
【００２９】
開ループ・ピッチ検索部１２は、前処理部１１でアップサンプリングされた信号ｘｕｓ（ｍ）からピッチ周期ｐを検索する。ピッチ検索は、相互相関の最大化法、短時間のＡＭＤＦ（Average Magnitude Difference Function）等の手法あるが、ここでは、ＩＴＵ−Ｔ勧告Ｇ．７２３．１に準拠した最大化法を用いることとする。この最大化法は、次式に示す相互相関ＣＯＬ（ｊ）を評価値として、ピッチ周期ｐを決定する。
【００３０】
【数４】
2007316254.tif 000006
【００３１】
ここで、この相互相関ＣＯＬ（ｊ）を最大にするインデックスｊは、オーディオ信号から推定ピッチ周期として得られる。最適インデックスｊの探索において、倍数ピッチが選択されるのを避けるため、より小さいピッチ周期を優先させる。
【００３２】
図２は、開ループ・ピッチ検索動作を示すフローチャートである。相互相関ＣＯＬ（ｊ）の最大値の探索は、ｊ＝ＭｉｎＰｉｔｃｈから開始され（ステップＳ１）、相互相関ＣＯＬ（ｊ）が計算される（ステップＳ２）。ステップＳ３〜ステップＳ５において、探索によって検出された最大値ＣＯＬ（ｊ）は、その値を直前の最適な最大値ＭａｘＣＯＬと比較される。
【００３３】
ステップＳ３において、ＣＯＬ（ｊ）＞ＭａｘＣＯＬの場合、ステップＳ４に進み、ＣＯＬ（ｊ）≦ＭａｘＣＯＬの場合、インデックスｊがインクリメントされる（ステップＳ６）。ステップＳ４において、｜ｊ−ｐ｜＜ＭｉｎＰｉｔｃｈの場合、ステップＳ７に進み、新しい最大値として選択され、｜ｊ−ｐ｜≧ＭｉｎＰｉｔｃｈの場合、ステップＳ５に進む。ステップＳ５において、ＣＯＬ（ｊ）＞１．１５×ＭａｘＣＯＬの場合、ステップＳ７に進み、新しい最大値として選択され、ＣＯＬ（ｊ）≦１．１５×ＭａｘＣＯＬの場合、インデックスｊがインクリメントされる（ステップＳ８）。
【００３４】
つまり、もし、インデックスｊと最大値ＭａｘＣＯＬのインデックスｐとの差がＭｉｎＰｉｔｃｈ未満であり、ＣＯＬ（ｊ）＞ＭａｘＣＯＬならば、新しい最大値として選択される。また、もし２つのインデックスの差がＭｉｎＰｉｔｃｈ以上であり、ＣＯＬ（ｊ）＞１．１５×ＭａｘＣＯＬの場合にも新しい最大値として選択される。
【００３５】
上述した開ループ・ピッチ検索動作は、インデックスｊがＭａｘＰｉｔｃｈとなるまで行われる（ステップＳ９）。
【００３６】
ここで、ＭｉｎＰｉｔｃｈは１６、ＭａｘＰｉｔｃｈは２１６に設定されることが好ましい。これらは、最大のピッチ周波数６８９Ｈｚ及び最小のピッチ周波数５１Ｈｚにそれぞれ対応する。
【００３７】
また、開ループ・ピッチ検索部１２は、ピッチ周期ｐを取得した場合、この情報に基づいて周期性の信号かノイズ信号かを判断する。ここでは、簡単に、最大値ＭａｘＣＯＬが０．７未満の場合、ノイズ信号である判断し、最大値ＭａｘＣＯＬが０．７以上の場合、周期性の信号であると判断した。
【００３８】
パワー演算部１３は、開ループ・ピッチ検索部１２で検索されたピッチ周期ｐに基づいて補間区間の前方の信号のパワー及び／又は後方の信号のパワーを演算する。また、補間区間の信号のパワーを、補間区間の前方の信号のパワー及び／又は後方の信号のパワーを用いて計算する。ここで、図３に示すように、補間区間に隣接した信号が周期性のある信号の場合、補間区間に隣接する２ｐサンプルを用いて補間区間の信号のパワーｐｏｗｐを計算する。また、図３に示すように、補間区間に隣接した信号がノイズ信号の場合、サンプル長には補間区間に隣接するＭａｘＰｉｔｃｈを用いて補間区間の信号のパワーｐｏｗｎを計算する。
【００３９】
【数５】
2007316254.tif 000007
【００４０】
波形形成部１４は、補間区間の前方の信号及び／又は後方の信号のピッチ周期及びパワーに基づいて補間区間の波形を形成する。この波形形成部１４は、周期性を有する信号を形成する。
【００４１】
まず、波形形成部１４は、前方の信号波形ｘｕｓｆ（ｍ）と後方の信号波形ｘｕｓｂ（ｍ）の２方向を用いて補間区間の波形を形成する。具体的には、開ループ・ピッチ検索部１２にて、計算された前方の信号のピッチｐｔｍｐｆ及び後方の信号のピッチｐｔｍｐｂを用いて、それぞれ展開する。
【００４２】
【数６】
2007316254.tif 000008
【００４３】
ここで、ｐｆ及びｐｂは、それぞれ前方の信号のピッチに基づいて算出されたピッチ及び後方の信号のピッチに基づいて算出されたピッチを示している。
【００４４】
図４は、前方の信号のピッチの外挿により補間区間のピッチを展開した様子を示す模式図である。ここで、後方の信号側の補間区間の１ピッチ区間で後方のピッチの振幅と外挿したピッチの振幅を点線で示すようにクロスフェードさせる。
【００４５】
また、図５は、後方の信号のピッチの外挿により補間区間のピッチを展開した様子を示す模式図である。ここで、前方の信号側の補間区間の１ピッチ区間で前方のピッチの振幅と外挿したピッチの振幅を点線で示すようにクロスフェードさせる。このように１ピッチ区間でクロスフェードさせることにより、非線形性を高めることができる。
【００４６】
また、前方の信号により形成された信号波形ｘｐｃｆ及び後方の信号により形成された信号波形ｘｐｃｂは次式で表される。
【００４７】
【数７】
2007316254.tif 000009
【００４８】
ここで、例えば、後方の信号のパワーが前方の信号のパワーよりも大きい場合、図５に示すように後方の信号のピッチの外挿により信号波形を形成することが好ましい。
【００４９】
【数８】
2007316254.tif 000010
【００５０】
なお、前方の信号のパワーが後方の信号のパワーよりも大きい場合も同様、図４に示すように前方の信号に基づいて補間区間の信号波形が形成される。また、前方の信号により形成された信号波形ｘｐｃｆ（ｍ）及び後方の信号により形成された信号波形ｘｐｃｂ（ｍ）はバッファリングされて形成される。
【００５１】
ノイズジェネレータ１５は、前方の信号及び／又は後方の信号がノイズ信号であると分類された場合、波形形成部１４の処理とは異なり、補間区間の信号は、ノイズジェネレータ１５によって生成され、（１５）式で表される。
【００５２】
【数９】
2007316254.tif 000011
【００５３】
なお、高周波成分であるノイズ信号の処理については、後述する。
【００５４】
信号処理部１６は、波形形成部１４の形成処理又はノイズジェネレータ１５の生成処理が終了すると、補間区間に隣接した信号に基づいて補間区間のパワーが調整される。このパワー調整処理は、図６及び図７に示すように、パワー演算部１３で演算された前方の信号のパワー及び／又は後方の信号のパワーに基づいて選択される非線形モデルによって行われる。また、この非線形モデルの非線形カーブは、図示しない記憶手段に予め記憶された、いくつかの候補から選択されることが好ましい。
【００５５】
図６は、前方の信号のパワーが後方の信号のパワーよりも大きい場合のパワー調整処理を模式的に示す図である。ここで、自然な音質を得るために、線形に内挿されたパワーではなく、非線形に内挿されたパワーを用いる。図６に示す例では、パワー減少区間にサインカーブが適用され、補間区間の中間から後方の信号パワーと同じである。
【００５６】
このトータルパワーは（１６）式で表され、また、前方の信号のパワー及び後方の信号のパワーに基づいて形成された波形はそれぞれ（１７）式及び（１８）式で表される。
【００５７】
【数１０】
2007316254.tif 000012
【００５８】
また、図７は、前方の信号のパワーが後方の信号のパワーよりも小さい場合のパワー調整処理を模式的に示す図である。ここで、自然な音質を得るために、線形に内挿されたパワーではなく、非線形に内挿されたパワーを用いる。図７に示す例では、補間区間の１／４のパワー増加区間にサインカーブが適用され、それまでの補間区間の信号のパワーは前方の信号と同じである。
【００５９】
このトータルパワーは（１９）式で表され、また、前方の信号のパワー及び後方の信号のパワーに基づいて形成された波形はそれぞれ（２０）式及び（２１）式で表される。
【００６０】
【数１１】
2007316254.tif 000013
【００６１】
このように非線形モデルを用いてパワーを調整することにより、例えば、パワーが小さくなる場合には、徐々にレベルを減少させ、パワーが大きくなる場合には、急激にレベルを増加させることができるため、自然な音質を得ることができる。
【００６２】
次に、前方の信号のパワーに基づいて調整された補完区間の信号ｘｗｆと後方の信号のパワーに基づいて調整された補完区間の信号ｘｗｂとに窓処理及びオーバーラッピング処理を施し、最終的に復元された信号ｘｗ（ｍ）を得る。
【００６３】
オーバーラッピング方法は、開ループ・ピッチ検索部１２で分類された前方及び後方の信号の種類によって異なる。
【００６４】
前方の信号と後方の信号が周期性を有する場合、前方の信号に基づく補完区間の信号ｘｗｆは、（２２）式で表される窓関数によって（２３）式で表される。また、後方の信号に基づく補間区間の信号ｘｗｂは（２４）式で表される窓関数によって（２５）式で表される。
【００６５】
【数１２】
2007316254.tif 000014
【００６６】
ここで、前方の信号のパワーが後方の信号のパワーよりも大きい場合、オーバーラッピングさせる部分は、図６に示すように補間区間の後方側である。また、前方の信号のパワーが後方の信号のパワーよりも小さい場合、オーバーラッピングさせる部分は、図６に示すように補間区間の前方側である。
【００６７】
また、前方の信号がノイズであり、後方の信号が周期性を有する場合、ピッチ周期をｐｆ＝ＭａｘＰｉｔｃｈとし、上述した方法と同様に処理する。
【００６８】
また、後方の信号がノイズであり、前方の信号が周期性を有する場合も、ピッチ周期をｐｂ＝ＭａｘＰｉｔｃｈとし、上述した方法と同様に処理する。
【００６９】
また、前方の信号及び後方の信号が両方ともノイズ信号の場合、前方の信号及び後方の信号は、それぞれ（２６）式及び（２７）式で表される。
【００７０】
【数１３】
2007316254.tif 000015
【００７１】
信号処理部１６で、オーバーラッピング処理され、最終的に復元された信号ｘｗ（ｍ）は、後処理部１８に出力される。
【００７２】
後処理部１７は、前処理部の逆手順で信号ｘｗ（ｍ）を処理する。すなわち、除去されたＤＣ成分を加え、４つに分割された信号のすべてをダウンサンプリングしてサブバンド信号ｙ（ｎ）を再構築する。
【００７３】
【数１４】
2007316254.tif 000016
【００７４】
ここで、ＤＣｆ及びＤＣｂは、それぞれ前方の信号のＤＣ成分及び後方の信号のＤＣ成分を示す。
【００７５】
このように所定区間の前方のオーディオ信号及び／又は後方のオーディオ信号の時間領域サンプルに基づいて所定区間の波形を形成し、形成された所定区間の波形のパワーを、前方のオーディオ信号及び／又は後方のオーディオ信号のパワーに基づいて非線形に調整し、所定区間のオーディオ信号を生成することにより、自然な音質を得ることができる。
【００７６】
続いて、本発明に係るオーディオ信号補間方法を適用した例について、図８〜図１９を参照して説明する。図８〜図１１は、前方の信号及び後方の信号が周期性を有している場合の補間処理を説明する模式図である。また、図１２〜図１５は、前方の信号が周期性を有し、後方の信号が無音の場合の補間処理を説明する模式図である。また、図１６〜図１９は、前方の信号が無音であり、後方の信号が周期性を有している場合の補間処理を説明する模式図である。
【００７７】
例えば、図８に示すようなオリジナルの信号波形が、図９に示すように消失した場合、本発明を適用させると、図１０に示すような信号波形を得ることができる。図１１に示す従来の方法を適用させた信号波形と比較すると、補間区間の中央でのパワーの減少が抑えられているのが分かる。また、本発明を適用させた補間信号の方が、図８に示すオリジナルの信号波形に似ているのが分かる。
【００７８】
また、例えば、図１２に示すようなオリジナルの信号波形が、図１３に示すように消失した場合、本発明を適用させると、図１４に示すような信号波形を得ることができる。図１５に示す従来の方法を適用させた信号波形と比較すると、本発明を適用させた補間信号の方が、補間区間の後方で明らかに図１２に示すオリジナルの信号波形に似ているのが分かる。
【００７９】
また、例えば、図１６に示すようなオリジナルの信号波形が、図１７に示すように消失した場合、本発明を適用させると、図１８に示すような信号波形を得ることができる。図１９に示す従来の方法を適用させた信号波形と比較すると、本発明を適用させた補間信号の方が、補間区間の前方で明らかに図１６に示すオリジナルの信号波形に似ているのが分かる。
【００８０】
図２０は、高周波サブバンド信号の補間処理をするための機能ブロック図である。ここで、図１に示すオーディオ信号補間装置１０と同様な構成には、同一符号を付して説明を省略する。すなわち、入力された高周波サブバンド信号ｘ（ｎ）に前処理を施す前処理部１１と、前処理された信号波形ｘｎｓ（ｍ）から信号パワーｐｏｗを演算するパワー演算部１３と、ノイズ信号ｘｎｇ（ｎ）を発生させるノイズジェネレータ１５と、ノイズ信号ｘｎｇ（ｎ）にパワー調整処理、窓処理、オーバーラップ処理等を施す信号処理部１６と、信号処理部１６で信号処理された信号ｘｗ（ｎ）に後処理を施す後処理部１７とを備えて構成されている。
【００８１】
この高周波サブバンド信号の処理は、開ループ・ピッチ検索部１２にて、前方の信号及び後方の信号がノイズ信号であると分類された場合の処理と同様である。
【００８２】
前処理部１１は、入力されたサブバンド信号ｘ（ｎ）に後述する前処理を施す。前処理部１１で前処理された信号ｘｎ（ｍ）は、パワー演算部１３に出力され、信号のパワーpowが計算される。
【００８３】
ここで、ノイズジェネレータ１５は、ノイズ信号ｘｎｇ（ｎ）を発生させる。
【００８４】
発生されたノイズ信号ｘｎｇ（ｎ）は、信号処理部１６に出力され、パワー処理、窓処理、オーバーラップ処理等が施される。信号処理部１６は、パワー演算部１３で計算された前方の信号及び／又は後方の信号のパワーpowに基づいて信号のパワーを最適化する。信号のパワーが最適化された信号ｘｎｓ（ｎ）は、窓関数が掛けられ、オーバーラップ処理が施される。窓処理及びオーバーラップ処理を施された信号ｘｗ（ｎ）は、後処理部１７に出力されて後処理が施される。後処理部１７からは、出力信号ｙ（ｎ）が出力される。
【００８５】
以上説明したように本発明によれば、前方の信号及び後方の信号のピッチ及びパワー、並びに前方の信号又は後方の信号のサンプルからオーディオ信号を再構築することにより、ピッチ過渡特性を再現することができる。また、非線形パワー調整手法を用いることにより、パワー過渡特性を実現することができる。このため、再構築された信号の包絡線は、リアルオーディオに迫ることができ、信号の音質が自然にすることができる。
【図面の簡単な説明】
【００８６】
【図１】本発明の一実施形態に係るオーディオ信号補間装置の構成を示すブロック図である。
【図２】開ループ・ピッチ検索動作を示すフローチャートである。
【図３】補間区間に隣接した信号例を示す模式図である。
【図４】前方の信号のピッチの外挿により補間区間のピッチを展開した様子を示す模式図である。
【図５】後方の信号のピッチの外挿により補間区間のピッチを展開した様子を示す模式図である。
【図６】前方の信号のパワーが後方の信号のパワーよりも大きい場合のパワー調整処理を模式的に示す図である。
【図７】前方の信号のパワーが後方の信号のパワーよりも小さい場合のパワー調整処理を模式的に示す図である。
【図８】前方の信号及び後方の信号が周期性を有している場合の補間処理を説明する模式図である。
【図９】前方の信号及び後方の信号が周期性を有している場合の補間処理を説明する模式図である。
【図１０】前方の信号及び後方の信号が周期性を有している場合において本発明の補間処理を適用させた信号波形を示す模式図である。
【図１１】前方の信号及び後方の信号が周期性を有している場合において従来方法の補間処理を適用させた信号波形を示す模式図である。
【図１２】前方の信号が周期性を有し、後方の信号が無音の場合の補間処理を説明する模式図である。
【図１３】前方の信号が周期性を有し、後方の信号が無音の場合の補間処理を説明する模式図である。
【図１４】前方の信号が周期性を有し、後方の信号が無音の場合において本発明の補間処理を適用させた信号波形を示す模式図である。
【図１５】前方の信号が周期性を有し、後方の信号が無音の場合において従来方法の補間処理を適用させた信号波形を示す模式図である。
【図１６】前方の信号が無音であり、後方の信号が周期性を有している場合の補間処理を説明する模式図である。
【図１７】前方の信号が無音であり、後方の信号が周期性を有している場合の補間処理を説明する模式図である。
【図１８】前方の信号が無音であり、後方の信号が周期性を有している場合において本発明の補間処理を適用させた信号波形を示す模式図である。
【図１９】前方の信号が無音であり、後方の信号が周期性を有している場合において従来方法の補間処理を適用させた信号波形を示す模式図である。
【図２０】高周波サブバンド信号の補間処理をするための機能ブロック図である。
【図２１】従来の信号補間処理について説明する模式図である。
【図２２】従来の信号補間処理を適用させた場合の信号波形を示す模式図である。
【符号の説明】
【００８７】
１０  オーディオ信号補間装置、１１  前処理部、１２  開ループ・ピッチ検索部、１３  パワー演算部、１４  波形形成部、１５  ノイズジェネレータ、１６  信号処理部、１７  後処理部
【図１】
2007316254.tif 000017
【図２】
2007316254.tif 000018
【図３】
2007316254.tif 000019
【図４】
2007316254.tif 000020
【図５】
2007316254.tif 000021
【図６】
2007316254.tif 000022
【図７】
2007316254.tif 000023
【図８】
2007316254.tif 000024
【図９】
2007316254.tif 000025
【図１０】
2007316254.tif 000026
【図１１】
2007316254.tif 000027
【図１２】
2007316254.tif 000028
【図１３】
2007316254.tif 000029
【図１４】
2007316254.tif 000030
【図１５】
2007316254.tif 000031
【図１６】
2007316254.tif 000032
【図１７】
2007316254.tif 000033
【図１８】
2007316254.tif 000034
【図１９】
2007316254.tif 000035
【図２０】
2007316254.tif 000036
【図２１】
2007316254.tif 000037
【図２２】
2007316254.tif 000038