(57)【要約】【課題】低いビットレートでもオーディオ周波数帯域幅を狭めずに効率的に処理を行う。【解決手段】オーディオ信号処理装置において、符号化部は、第１サブバンドごとに第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、探した第２サブバンドについての情報を生成する類似度分析部３２を含み、復号化部は、類似度分析部３２で生成され、ビットストリーム形式で伝送された第２サブバンドについての情報を利用して、探した第２サブバンドについてのデータを第１サブバンドについてのデータとして複製して第１サブバンドを復号化する高周波成分復元部５４を含む。第１サブバンドは、入力オーディオ信号をサブバンドフィルタリングしたものの帯域において高周波数帯域に属し、第２サブバンドは、サブバンドフィルタリングしたものの帯域において低周波数帯域に属する。【選択図】図１
2006163396.tif 000002
【特許請求の範囲】
【請求項１】
入力オーディオ信号を符号化する符号化部及び符号化された前記入力オーディオ信号を復号化する復号化部を有するオーディオ信号処理装置において、
前記符号化部は、
第１サブバンドごとに前記第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、前記探した第２サブバンドについての情報を生成する類似度分析部を含み、
前記復号化部は、
前記類似度分析部で生成された後、ビットストリーム形式で伝送された前記生成された第２サブバンドについての情報を利用して、前記探した第２サブバンドについてのデータを前記第１サブバンドについてのデータとして複製して、前記第１サブバンドを復号化する高周波成分復元部を含み、
前記第１サブバンドは、前記入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであることを特徴とするオーディオ信号処理装置。
【請求項２】
前記符号化部は、
前記入力オーディオ信号をサブバンドフィルタリングし、前記サブバンドフィルタリングしたものを前記類似度分析部へ出力するサブバンドフィルタ分析部と、
前記類似度分析部から入力された前記生成された第２サブバンドについての情報と前記サブバンドフィルタリングしたものとを量子化する量子化部と、
前記量子化したものを無損失符号化及びビットパッキングして、ビットストリーム形式で前記復号化部に伝送する出力部と、
を備えることを特徴とする請求項１に記載のオーディオ信号処理装置。
【請求項３】
前記符号化部は、
前記サブバンドフィルタ分析部から入力された前記サブバンドフィルタリングしたものから分析した聴感特性に従ってステップサイズ制御信号を生成し、前記ステップサイズ制御信号を前記量子化部へ出力する量子化制御部をさらに備え、
前記量子化部は、前記ステップサイズ制御信号に応じて量子化ステップサイズを調節することを特徴とする請求項２に記載のオーディオ信号処理装置。
【請求項４】
前記復号化部は、
前記出力部から伝送されたビットストリームを受信してビットアンパッキングし、無損失復号化し、各種情報を抽出する入力部と、
前記無損失符号化したものを逆量子化し、逆量子化したものを前記高周波成分復元部へ出力する逆量子化部と、
前記高周波成分復元部から入力された前記複製したデータを有する前記第１サブバンド及び前記逆量子化したものをサブバンドフィルタリングし、サブバンドフィルタリングしたものを、前記入力オーディオ信号を復元したオーディオ信号として出力するサブバンドフィルタ合成部と、をさらに備え、
前記高周波成分復元部は、前記逆量子化したものに含まれる前記第２サブバンドについてのデータのうち、前記抽出した各種情報に含まれる前記生成した第２サブバンドについての情報に相当するデータを、前記第１サブバンドについてのデータとして複製することを特徴とする請求項２に記載のオーディオ信号処理装置。
【請求項５】
前記類似度分析部は、
前記サブバンドフィルタリングしたものの帯域を基準周波数を基準として前記高周波数帯域と前記低周波数帯域とに区分し、前記区分した高周波数帯域に属する前記第１サブバンドごとに前記第１サブバンドと前記第２サブバンドとの類似度を算出する類似度算出部と、
前記第１サブバンドごとに算出された前記類似度のうち、前記所定値以上である最も大きい類似度を算出するときに用いた第２サブバンドを選択するサブバンド比較選択部と、
前記選択された第２サブバンドについての情報、前記第１サブバンドが前記類似するサブバンドを有するか否かについての情報及び前記第１サブバンドのノイズ電力についての情報を生成する情報生成部と、
を備えることを特徴とする請求項１に記載のオーディオ信号処理装置。
【請求項６】
前記サブバンド比較選択部は、
前記第１サブバンドごとに算出した前記類似度のうち、最も大きい類似度を算出するときに用いた第２サブバンドを選択するサブバンド選択部と、
前記第１サブバンドごとに選択した前記第２サブバンドを使用して算出した前記類似度を前記所定値と比較する比較部と、を備え、
前記情報生成部は、前記比較部での比較結果に応じて、前記選択した第２サブバンドについての情報を生成することを特徴とする請求項５に記載のオーディオ信号処理装置。
【請求項７】
前記サブバンド比較選択部は、
前記第１サブバンドごとに求めた前記類似度と前記所定値とを比較する比較部と、
前記比較部での比較結果に応じて、前記所定値以上の類似度のうち最も大きい類似度を算出するときに用いた第２サブバンドを選択するサブバンド選択部と、を備え、
前記情報生成部は、前記サブバンド選択部によって選択された第２サブバンドについての情報を生成することを特徴とする請求項５に記載のオーディオ信号処理装置。
【請求項８】
前記高周波成分復元部は、
前記各第１サブバンドが前記類似するサブバンドを有するか否かを検査する類似検査部と、
前記検査結果に応じて、前記選択された第２サブバンドについての情報に相当するデータを前記第１サブバンドについてのデータとして複製するデータ複製部と、
前記検査結果に応じて、前記第１サブバンドについてのノイズをランダムに生成するランダムノイズ生成部と、
前記第１サブバンドについての総ノイズ電力が同一に維持されるように、前記複製したデータと前記ランダムに生成したノイズとを正規化し、正規化したものを出力する正規化部と、
を備えることを特徴とする請求項５に記載のオーディオ信号処理装置。
【請求項９】
前記基準周波数は、変更可能であることを特徴とする請求項５に記載のオーディオ信号処理装置。
【請求項１０】
（ａ）入力オーディオ信号を符号化するとき、第１サブバンドごとに前記第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、前記探した第２サブバンドについての情報を生成するステップと、
（ｂ）符号化された前記入力オーディオ信号を復号化するとき、ビットストリーム形式で伝送された前記生成した第２サブバンドについての情報を利用して、前記探した第２サブバンドについてのデータを前記第１サブバンドについてのデータとして複製して、前記第１サブバンドを復号化するステップと、を含み、
前記第１サブバンドは、前記入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであることを特徴とするオーディオ信号の処理方法。
【請求項１１】
前記入力オーディオ信号をサブバンドフィルタリングし、前記（ａ）ステップに進むステップと、
前記（ａ）ステップの後に、前記生成された第２サブバンドについての情報と前記サブバンドフィルタリングしたものとを量子化するステップと、
前記量子化したものを無損失符号化及びビットパッキングしてビットストリーム形式で伝送するステップと、
を含むことを特徴とする請求項１０に記載のオーディオ信号の処理方法。
【請求項１２】
前記オーディオ信号の処理方法は、
前記サブバンドフィルタリングしたものから聴感特性の分析を行うステップをさらに含み、
前記サブバンドフィルタリングしたものを量子化するとき、前記分析によって量子化ステップサイズを調節することを特徴とする請求項１１に記載のオーディオ信号の処理方法。
【請求項１３】
前記伝送されたビットストリームを受信してビットアンパッキングし、無損失復号化し、各種情報を抽出するステップと、
前記無損失符号化したものを逆量子化し、前記（ｂ）ステップに進むステップと、
前記（ｂ）ステップの後に、前記複製されたデータを有する前記第１サブバンド及び前記逆量子化したものをサブバンドフィルタリングし、フィルタリングしたものを、前記入力オーディオ信号を復元したオーディオ信号として決定するステップと、をさらに含み、
前記（ｂ）ステップは、前記逆量子化したものに含まれる前記第２サブバンドについてのデータのうち、前記抽出された各種情報に含まれる前記生成された第２サブバンドについての情報に該当するデータを前記第１サブバンドについてのデータとして複製することを特徴とする請求項１１に記載のオーディオ信号の処理方法。
【請求項１４】
前記（ａ）ステップは、
（ａ１）前記サブバンドフィルタリングしたものの帯域を基準周波数を基準として前記高周波数帯域と前記低周波数帯域とに区分し、前記区分した高周波数帯域に属する前記第１サブバンドごとに前記第１サブバンドと前記第２サブバンドとの類似度を求めるステップと、
（ａ２）前記第１サブバンドごとに求めた前記類似度のうち、前記所定値以上である最も大きい類似度を求めるときに用いた第２サブバンドを選択するステップと、
（ａ３）前記選択した第２サブバンドについての情報及び前記第１サブバンドが前記類似するサブバンドを有するか否かについての情報を生成するステップと、
（ａ４）前記第１サブバンドのノイズ電力についての情報を生成するステップと、
を含むことを特徴とする請求項１０に記載のオーディオ信号の処理方法。
【請求項１５】
前記（ａ２）ステップは、
前記第１サブバンドごとに求めた前記類似度のうち、最も大きい類似度を求めるときに用いた第２サブバンドを選択するステップと、
前記第１サブバンドごとに選択した前記第２サブバンドを使用して求めた前記類似度が前記所定値以上であるか否かを判断するステップと、を含み、
前記類似度が前記所定値以上であると判断される場合、前記（ａ３）ステップで前記選択した第２サブバンドについての情報及び前記第１サブバンドが類似するサブバンドを有することを表す情報を生成することを特徴とする請求項１４に記載のオーディオ信号の処理方法。
【請求項１６】
前記（ａ２）ステップは、
前記第１サブバンドごとに求めた前記類似度のうち、前記所定値以上の類似度が存在するか否かを判断するステップと、
前記所定値以上の類似度が存在することが判断される場合、前記所定値以上の類似度のうち、最も大きい類似度を算出するときに用いた第２サブバンドを選択するステップと、を含み、
前記（ａ３）ステップで、前記第１サブバンドが類似するサブバンドを有しないことを表す情報を生成することを特徴とする請求項１４に記載のオーディオ信号の処理方法。
【請求項１７】
前記類似度は、次式により求められることを特徴とする請求項１４に記載のオーディオ信号の処理方法。
2006163396.tif 000004
（ここで、ａｂｓ（）は、（）内の絶対値を意味し、ｓｂ１は、前記第２サブバンドのインデックスであって０〜ｋ−１から選ばれ、ｋは、前記低周波数帯域に属する前記第２サブバンドの数を意味し、ｓｂ２は、前記第１サブバンドのインデックスを表し、Ｉは、前記第１または第２サブバンドに属するタイムドメインサンプルの数を表し、ｓａｍｐ［ｓｂ１］［ｉ］は、ｓｂ１番目の第２サブバンドにあるｉ番目のタイムドメインサンプルを表し、ｓａｍｐ［ｓｂ２］［ｉ］は、ｓｂ２番目の第１サブバンドにあるｉ番目のタイムドメインサンプルを表す。）
【請求項１８】
前記（ｂ）ステップは、
前記各第１サブバンドが前記類似するサブバンドを有するか否かを判断するステップと、
前記各第１サブバンドが前記類似するサブバンドを有することが判断される場合、前記選択した第２サブバンドについての情報に含まれるデータを前記第１サブバンドについてのデータとして複製するステップと、
前記第１サブバンドが前記類似するサブバンドを有しないことが判断される場合、前記第１サブバンドについてのノイズをランダムに生成するステップと、
前記複製したデータ及び前記ランダムに生成したノイズを正規化し、前記第１サブバンドについての総ノイズ電力を同一に維持するステップと、
を含むことを特徴とする請求項１４に記載のオーディオ信号の処理方法。
【請求項１９】
（ａ）入力オーディオ信号を符号化するとき、第１サブバンドごとに前記第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、前記探した第２サブバンドについての情報を生成するステップと、
（ｂ）符号化された前記入力オーディオ信号を復号化するとき、ビットストリーム形式で伝送された前記生成した第２サブバンドについての情報を利用して、前記探した第２サブバンドについてのデータを前記第１サブバンドについてのデータとして複製して前記第１サブバンドを復号化するステップと、を含み、
前記第１サブバンドは、前記入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであることを特徴とするオーディオ信号の処理方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項２０】
（ａ）第１サブバンドごとに前記第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、前記最も類似するサブバンドについての情報を生成することによって、入力オーディオ信号を符号化するステップと、
（ｂ）ビットストリーム形式で伝送された前記生成した第２サブバンドについての情報を利用して、前記最も類似するサブバンドについてのデータを前記第１サブバンドについてのデータとして複製して前記第１サブバンドを復号化することによって、符号化された前記入力オーディオ信号を復号化するステップと、を含み、
前記第１サブバンドは、前記入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであることを特徴とするオーディオ信号の処理方法。
【請求項２１】
（ａ）第１サブバンドごとに前記第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、前記最も類似するサブバンドについての情報を生成することによって、入力オーディオ信号を符号化するステップと、
（ｂ）ビットストリーム形式で伝送された前記生成した第２サブバンドについての情報を利用して、前記最も類似するサブバンドについてのデータを前記第１サブバンドについてのデータとして複製して前記第１サブバンドを復号化することによって、符号化された前記入力オーディオ信号を復号化するステップと、を含み、
前記第１サブバンドは、前記入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであることを特徴とするオーディオ信号の処理方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ（Moving Picture Expert Group）−４を利用したオーディオ信号の処理、すなわち、オーディオ信号の符号化及び復号化に関し、特に、低いビットレートでもオーディオ周波数帯域幅を狭めずにオーディオ信号を効率的に処理できるオーディオ信号処理装置及びオーディオ信号の処理方法に関する。
【背景技術】
【０００２】
従来のオーディオ信号の処理方法のひとつに、認識ノイズ置換（PNS: Perceptual Noise Substitution）方法がある。この従来の方法は、ＭＰＥＧ−４オーディオ符号化ツールで用いられているものであって、６４ｋｂｐｓ／ステレオのように低いビットレートにおいてオーディオ信号を効果的に処理できるが、高いビットレートにおいて音質が低下するという問題点がある。この従来の方法では、特に過渡オーディオ信号を処理する場合、音質がさらに低下するという問題点がある。しかも、この従来の方法では、使用できるビット数が小さいので、オーディオ周波数帯域幅を狭めてオーディオ信号を符号化する。この場合、周波数帯域幅が狭くなるため、音質がさらに低下する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする技術的課題は、低いビットレートでもオーディオ周波数帯域幅を狭めずにオーディオ信号を効率的に処理できるオーディオ信号処理装置を提供することである。
【０００４】
本発明が解決しようとする他の技術的課題は、低いビットレートでもオーディオ周波数帯域幅を狭めずにオーディオ信号を効率的に処理できるオーディオ信号の処理方法を提供することである。
【課題を解決するための手段】
【０００５】
前記課題を達成するために、本発明によるオーディオ信号処理装置は、入力オーディオ信号を符号化する符号化部及び符号化された前記入力オーディオ信号を復号化する符号化部を有し、前記符号化部は、第１サブバンドごとに前記第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、前記探した第２サブバンドについての情報を生成する類似度分析部を含み、前記符号化部は、前記類似度分析部によって生成された後、ビットストリーム形式で伝送された前記生成した第２サブバンドについての情報を利用して、前記探した第２サブバンドについてのデータを前記第１サブバンドについてのデータとして複製して、前記第１サブバンドを復号化する高周波成分復元部を含み、前記第１サブバンドは、前記入力オーディオ信号のサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであることが望ましい。
【０００６】
前記他の課題を達成するために、本発明によるオーディオ信号の処理方法は、入力オーディオ信号を符号化するとき、第１サブバンドごとに前記第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、前記探した第２サブバンドについての情報を生成するステップと、符号化された前記入力オーディオ信号を復号化するとき、ビットストリーム形式で伝送された前記生成された第２サブバンドについての情報を利用して、前記探した第２サブバンドについてのデータを前記第１サブバンドについてのデータとして複製して前記第１サブバンドを復号化するステップと、を含み、前記第１サブバンドは、前記入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであることが望ましい。
【０００７】
前記他の課題を達成するために、本発明によるオーディオ信号の処理方法は、第１サブバンドごとに前記第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、前記最も類似するサブバンドについての情報を生成することによって、入力オーディオ信号を符号化するステップと、ビットストリーム形式で伝送された前記生成された第２サブバンドについての情報を利用して、前記最も類似するサブバンドについてのデータを前記第１サブバンドについてのデータとして複製して、前記第１サブバンドを復号化することによって、符号化された前記入力オーディオ信号を復号化するステップと、を含み、前記第１サブバンドは、前記入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであることを特徴とする。
【発明の効果】
【０００８】
本発明のオーディオ信号処理装置によれば、オーディオ信号を符号化及び復号化するとき、ノイズ成分が効率的に置換されるため音質を改善でき、特に、過渡オーディオ信号についてもノイズが効率的に置換され、さらに低いビットレートでも周波数帯域幅を狭めずに高周波信号を効率的に符号化及び復号化でき、ハーモニック成分が強い信号についても、従来のＲＮＳ方法より安定した音質を提供でき、時間的に大きい変化を有するオーディオ信号を処理する場合、自然な音質を提供できる。
【０００９】
本発明のオーディオ信号の処理方法によれば、オーディオ信号を符号化及び復号化するとき、ノイズ成分が効率的に置換されるため音質を改善でき、特に、過渡オーディオ信号についてもノイズが効率的に置換され、さらに低いビットレートでも周波数帯域幅を狭めずに高周波信号を効率的に符号化及び復号化でき、ハーモニック成分が強い信号についても、従来のＲＮＳ方法より安定した音質を提供でき、時間的に大きい変化を有するオーディオ信号を処理する場合、自然な音質を提供できる。
【発明を実施するための最良の形態】
【００１０】
次に、本発明によるオーディオ信号処理装置の構成及び動作、並びにこのオーディオ信号処理装置によるオーディオ信号の処理方法について詳細に説明する。
【００１１】
図１は、本発明による一実施形態のオーディオ信号処理装置を示すブロック図である。このオーディオ信号処理装置は、符号化部１０及び復号化部１２によって構成されている。
【００１２】
この符号化部１０は、入力端子ＩＮ１を経て入力された入力オーディオ信号を符号化し、符号化したものを復号化部１２へ伝送する。この場合、復号化部１２は、符号化部１０によって符号化された入力オーディオ信号を復号化し、復号化したものを出力端子ＯＵＴ１を経て出力する。
【００１３】
この符号化部１０は、符号化を行うとき、第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、探した第２サブバンドについての情報、例えば、第２サブバンドのインデックスについての情報を生成する。符号化部１０は、このような動作を第１サブバンドのそれぞれについて行う。ここで、入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち、高周波数帯域に属するサブバンドを第１サブバンドと定義し、入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドを第２サブバンドと定義する。
【００１４】
この場合、符号化部１０は、類似するサブバンドを有していない第１サブバンドと第２サブバンドとについては、一般的なオーディオ符号化方法によって符号化する。以下、類似するサブバンドとは、第１サブバンドと所定値以上の類似度を有する第２サブバンドのことをいう。この場合、一般的なオーディオ符号化方法とは、後記するランダムノイズ置換（RNS: Random Noise Substitution）方法でよい。
【００１５】
図１に示すように、本発明の実施形態によれば、符号化部１０は、サブバンドフィルタ分析部３０）と、類似度分析部３２と、量子化部３４と、出力部３６と、量子化制御部３８とから構成できる。
【００１６】
次に、本実施形態の符号化部１０（図１参照）の構成及び動作、並びにこの符号化部１０によるオーディオ信号の処理方法について説明する。
【００１７】
図２は、符号化部１０によるオーディオ信号の処理方法を示すフローチャートである。
この処理方法は、入力オーディオ信号を符号化するオーディオ信号の処理方法であって、入力オーディオ信号をサブバンドフィルタリングするステップ（ステップ７０）と、サブバンドフィルタリングしたものに含まれる第１サブバンドごとに最も類似するサブバンドを探して、それらについての情報を生成するステップ（ステップ７２）と、聴感特性（聴覚の敏感度）の分析を行った結果を利用して量子化を行うステップ（ステップ７４及びステップ７６）と、量子化したものを無損失符号化し、ビットパッキングを行うステップ（ステップ７８）とからなる。
【００１８】
まず、符号化部１０のサブバンドフィルタ分析部３０は、入力端子ＩＮ１を経て入力オーディオ信号を入力されると、入力された入力オーディオ信号をサブバンドフィルタリングし、サブバンドフィルタリングしたものを類似度分析部３２及び量子化制御部３８へそれぞれ出力する（ステップ７０）。このとき、サブバンドフィルタ分析部３０は、サブバンドフィルタリングしたものを、量子化部３４へ出力するようにしてもよい。
【００１９】
ステップ７０の後に、類似度分析部３２は、第１サブバンドごとにその第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、探した第２サブバンドについての情報を生成し、生成した情報を量子化部３４へ出力する（ステップ７２）。例えば、類似度分析部３２は、第１サブバンドごとに最も類似するサブバンドを第２サブバンドのうちから探し、最も類似するサブバンドを有する第１サブバンドと最も類似するサブバンドについての情報とをマッチングさせて生成する。
【００２０】
ステップ７２の後に、量子化制御部３８は、サブバンドフィルタ分析部３０から入力したサブバンドフィルタリングしたものから聴感特性の分析を行い、この分析の結果に従ってステップサイズ制御信号を生成し、生成したステップサイズ制御信号を量子化部３４へ出力する（ステップ７４）。このために、量子化制御部３８は、アドレス発生部（図示せず）及びルックアップテーブル（図示せず）によって実現するとよい。ここで、アドレス発生部（図示せず）は、サブバンドフィルタ分析部３０から入力されたサブバンドフィルタリングしたものから聴感特性を反映してアドレスを生成し、生成したアドレスをルックアップテーブル（図示せず）へ出力する。ルックアップテーブルは、データとして保存されているステップサイズのうちから該当するステップサイズをアドレス発生部によって発生したアドレスに応じて選択し、選択したステップサイズをステップサイズ制御信号として量子化部３４へ出力する。ここで、ルックアップテーブルに保存されているステップサイズは、量子化を適切に行う情報、例えば、心理音響モデルに基づいて生成するとよい。
【００２１】
本発明によれば、図２に示すステップ７２及びステップ７４を同時に行ってもよく、ステップ７４をステップ７２より先に行ってもよい。
【００２２】
ステップ７４の後に、量子化部３４は、類似度分析部３２によって生成され入力された第２サブバンドについての情報と、入力オーディオ信号をサブバンドフィルタリングしたものとを量子化し、量子化したものを出力部３６へ出力する（ステップ７６）。このために、量子化部３４へは、サブバンドフィルタリングしたものがサブバンドフィルタ分析部３０から直接入力されるようにしてもよく、類似度分析部３２を経て入力されるようにしてもよい。この場合、量子化部３４は、量子化制御部３８から入力されたステップサイズ制御信号に応じて量子化ステップサイズを調節する。
【００２３】
ステップ７６の後に、出力部３６は、量子化部３４で量子化したものを無損失符号化及びビットパッキングし、ビットパッキングしたものをビットストリーム形式に変換し、変換されたビットストリームを保存した後に復号化部１２に伝送する（ステップ７８）。ここで、無損失符号化を行うには、ハフマンエンコーディングを用いることができる。
【００２４】
本発明によれば、図１に示す符号化部１０には、量子化制御部３８を設けなくてもよい。この場合、符号化部１０は、サブバンドフィルタ分析部３０と、類似度分析部３２と、量子化部３４と、出力部３６とによって構成される。
【００２５】
一方、復号化部１２で復号化を行うとき、ビットストリーム形式で符号化部１０によって生成され伝送された第２サブバンドについての情報を受信し、受信した情報を利用して、探した第２サブバンドについてのデータを第１サブバンドについてのデータとして複製する。
【００２６】
このとき、マッチングされた最も類似するサブバンドを有していない第１サブバンド及び第２サブバンドについては、一般的なオーディオ復号化方法によって復号化する。このために、本実施形態では、図１に示すように、復号化部１２は、入力部５０と、逆量子化部５２と、高周波成分復元部５４と、サブバンドフィルタ合成部５６とから構成されている。
【００２７】
次に、本実施形態の復号化部１２（図１参照）の構成及び動作、並びにこの復号化部１２によるオーディオ信号の処理方法について説明する。
【００２８】
図３は、本実施形態の符号化されたオーディオ信号を復号化するオーディオ信号の処理方法を示すフローチャートである。この方法は、ビットアンパッキングし、無損失復号化を行い、各種情報を抽出するステップ（ステップ９０）と、逆量子化を行うステップ（ステップ９２）と、データを複製するステップ（ステップ９４）と、サブバンドフィルタリングを行って入力オーディオ信号を復元するステップ（ステップ９６）とからなる。
【００２９】
まず、入力部５０は、符号化部１０の出力部３６から伝送されたビットストリームを受信し、受信したビットストリームをビットアンパッキングし、無損失復号化して逆量子化部５２へ出力するとともに、各種情報を抽出して高周波成分復元部５４へ出力する（ステップ９０）。ここで、無損失復号化の例として、ハフマンデコーディングが挙げられる。
【００３０】
ステップ９０の後に、逆量子化部５２は、入力部５０によって無損失復号化されたものを入力されると逆量子化し、逆量子化したものを高周波成分復元部５４へ出力する（ステップ９２）。
【００３１】
ステップ９２の後に、高周波成分復元部５４は、逆量子化したものに含まれる第２サブバンドについてのデータのうち、入力部５０によって抽出された各種情報に含まれる生成した第２サブバンドについての情報に該当するデータを第１サブバンドについてのデータとして複製し、複製したものをサブバンドフィルタ合成部５６へ出力する（ステップ９４）。
【００３２】
ステップ９４の後に、サブバンドフィルタ合成部５６は、高周波成分復元部５４から入力された複製されたデータを有する第１サブバンド及び逆量子化したものをサブバンドフィルタリングし、フィルタリングしたものを、入力オーディオ信号を復元したオーディオ信号として出力端子ＯＵＴ１を通じて出力する（ステップ９６）。ステップ９６においてサブバンドフィルタリングする逆量子化したものとは、逆量子化したものに含まれるデータのうち、複製されたデータを有していない第１サブバンド及び第２サブバンドについてのデータをいう。
【００３３】
このため、サブバンドフィルタ合成部５６へは、逆量子化したものを高周波成分復元部５４を通じて入力してもよく、逆量子化部５２から直接入力してもよい。
【００３４】
次に、本実施形態の類似度分析部３２（図１参照）の構成及び動作、並びに各実施形態によるオーディオ信号の処理方法について、添付した各図を参照して説明する。
【００３５】
図４は、図１に示した類似度分析部３２についての他の実施形態である類似度分析部３２Ａを示すブロック図である。この類似度分析部３２Ａは、類似度算出部１１０、サブバンド比較選択部１１３及び情報生成部１１６によって構成されている。
【００３６】
図５は、図２に示したステップ７２についての他の実施形態を示すフローチャートである。このステップ７２は、各第１サブバンドの類似度のうち最も大きい類似度を求めるときに用いた第２サブバンドを選択するステップ（ステップ１３０及びステップ１３２）と、類似度が類似する程度によって情報を生成するステップ（ステップ１３４〜ステップ１３８）と、ノイズ電力についての情報を生成するステップ（ステップ１４０）とからなる。
【００３７】
図４に示した類似度算出部１１０は、高周波数帯域に属する第１サブバンドごとに第１サブバンドと低周波数帯域に属する第２サブバンドとの類似度を算出し、算出した第１サブバンドごとの類似度をサブバンド比較選択部１１３へ出力する（ステップ１３０）。このために、まず、類似度算出部１１０は、入力端子ＩＮ２を経て入力されたサブバンドフィルタリングしたものの帯域を、基準周波数を基準として高周波数帯域と低周波数帯域とに区分する。本発明によれば、高周波数帯域と低周波数帯域とを区分する基準周波数は、ユーザが変更してもよく、あらかじめ設定しておいてもよい。
【００３８】
本発明によれば、類似度ｃｏｒは、次の式（１）により求めることができる。
【００３９】
【数１】
2006163396.tif 000003
…（１）
【００４０】
ここで、ａｂｓ（）は、（）内の絶対値を意味し、ｓｂ１は、低周波数帯域に属する第２サブバンドのインデックスであって、０〜ｋ−１から選ばれる。ｋは、低周波数帯域に属する第２サブバンドの数を意味し、ｓｂ２は、第１サブバンドのインデックスを表す。Ｉは、第１サブバンドに属するタイムドメインサンプルの数を表す。この場合、第１サブバンド及び第２サブバンドに属するタイムドメインサンプルの数は、同一であると仮定する。ｓａｍｐ［ｓｂ１］［ｉ］は、ｓｂ１番目の第２サブバンドにあるｉ番目のタイムドメインサンプルを表し、ｓａｍｐ［ｓｂ２］［ｉ］は、ｓｂ２番目の第１サブバンドにあるｉ番目のタイムドメインサンプルを表す。
【００４１】
ステップ１３０の後に、サブバンド選択部１１２は、第１サブバンドごとに算出されて類似度算出部１１０から入力された類似度のうち、所定値以上の最も大きい類似度を算出するときに用いた第２サブバンドを選択して情報生成部１１６へ出力する（ステップ１３２及びステップ１３４）。ここで、「類似度を算出するときに用いた第２サブバンド」とは、類似度を算出するために第１サブバンドと比較された第２サブバンドを意味する。
【００４２】
このために、サブバンド選択部１１２は、第１サブバンドごとに類似度算出部１１０で算出された類似度のうち、最も大きい類似度を算出するときに用いた第２サブバンドを選択し、選択した第２サブバンドを情報生成部１１６に出力するとともに、最も大きい類似度を比較部１１４へ出力する（ステップ１３２）。ステップ１３２の後に、比較部１１４は、第１サブバンドごとに選択された第２サブバンドを使用して算出した類似度、すなわち、各第１サブバンドで最も大きい類似度を所定値と比較し、比較結果を情報生成部１１６へ出力する（ステップ１３４）。すなわち、比較部１１４は、各第１サブバンドの最も大きい類似度が所定値以上であるか否かを判断する。
【００４３】
情報生成部１１６は、比較部１１４による比較結果に応じて、サブバンド選択部１１２によって入力された選択した第２サブバンドについての情報、第１サブバンドが類似するサブバンドを有するか否かについての情報及び第１サブバンドのノイズ電力についての情報を生成し、生成した情報を出力端子ＯＵＴ２を経て出力する（ステップ１３６〜ステップ１４０）。
【００４４】
例えば、比較部１１４によって入力された比較結果から、第１サブバンドの最も大きい類似度が所定値以上であることが判断される場合、情報生成部１１６は、サブバンド選択部１１２から入力された選択した第２サブバンドについての情報、すなわち、選択した第２サブバンドのインデックスについての情報と第１サブバンドが類似するサブバンドを有することを表す情報とを、例えば、モードビット形式で生成し、生成した情報を出力端子ＯＵＴ２を経て出力する（ステップ１３６）。しかし、比較部１１４によって入力された比較結果から、第１サブバンドの最も大きい類似度が所定値以上でないことが判断される場合、情報生成部１１６は、第１サブバンドは類似するサブバンドを有していないことを表す情報をモードビット形式で生成する（ステップ１３８）。ここで、モードビットとは、第１サブバンドが類似するサブバンドを有するか、それとも類似するサブバンドを有していないかを表すビットである。例えば、第１サブバンドが類似するサブバンドを有する場合、類似ノイズ置換（CNS: Correlation Noise Substitution）モードを表すため、モードビットを‘１’（または‘０’）に設定すればよく（ステップ１３６）、第１サブバンドが類似するサブバンドを有していない場合、ＲＮＳモードを表すため、モードビットを‘０’（または‘１’）に設定すればよい（ステップ１３８）。ステップ１３６及びステップ１３８は、第１サブブロックごとに行う。
【００４５】
図６は、図１に示した類似度分析部３２の他の実施形態である類似度分析部３２Ｂを示すブロック図である。この類似度分析部３２Ｂは、類似度算出部１１０と、サブバンド比較選択部１５０と、情報生成部１５６とによって構成されている。
【００４６】
図７は、図２に示したステップ７２についての他の実施形態を示すフローチャートである。このステップ７２は、各第１サブバンドの類似度のうち、所定値以上の類似度が存在するか否かを判断するステップ（ステップ１３０及びステップ１６２）と、存在する類似度のうち最も大きい類似度を求めるときに用いた第２サブバンドを選択するステップ（ステップ１６４）と、情報を生成するステップ（ステップ１３６〜ステップ１４０）とからなる。
【００４７】
図４及び図６に示した類似度算出部１１０は、同様に動作するので、同じ符号を使用し、詳細な説明は省略する。さらに、図５及び図７に示したステップ１３０及びステップ１４０は、同様な工程であるので、同じ符号を使用し、詳細な説明は省略する。
【００４８】
ステップ１３０の後に、サブバンド比較選択部１５０は、第１サブバンドごとに算出されて類似度算出部１１０から入力された類似度のうち、所定値以上であり最も大きい類似度を算出するときに用いた第２サブバンドを選択して情報生成部１５６へ出力する（ステップ１６２及びステップ１６４）。
【００４９】
このために、比較部１５２は、第１サブバンドごとに算出された類似度と所定値とを比較し、比較結果をサブバンド選択部１５４及び情報生成部１５６へそれぞれ出力する（ステップ１６２）。すなわち、比較部１５２は、各サブバンドで算出された類似度のうち、所定値以上の類似度が存在するか否かを判断する。比較部１５２による比較結果から、所定値以上の類似度が存在することが判断される場合、サブバンド選択部１５４は、所定値以上の類似度のうち最も大きい類似度の算出に用いた第２サブバンドを選択し、選択した第２サブバンドを情報生成部１５６へ出力する（ステップ１６４）。
【００５０】
情報生成部１５６は、サブバンド選択部１５４によって選択された第２サブバンドについての情報を生成し、比較部１５２から入力された比較結果を利用して、第１サブバンドが類似するサブバンドを有するか否かを表す情報を生成し、生成した情報を出力端子ＯＵＴ２を経て出力する（ステップ１６６及びステップ１６８）。情報生成部１５６は、図４に示した情報生成部１１６と同様に、第１サブバンドのノイズ電力についての情報も生成する。
【００５１】
例えば、比較部１５２によって入力された比較結果から、所定値以上の類似度が存在することが判断される場合、情報生成部１５６は、サブバンド選択部１５４から入力した選択された第２サブバンドについての情報、すなわち、選択された第２サブバンドのインデックスについての情報と第１サブバンドが類似するサブバンドを有することを表す情報とを、例えば、モードビット形式で生成し、生成した情報を出力端子ＯＵＴ２を経て出力する（ステップ１６６）。しかし、比較部１５２によって入力された比較結果から、第１サブバンドで算出した類似度のうち、所定値以上の類似度が存在していないことが判断される場合、情報生成部１１６は、その第１サブバンドが類似するサブバンドを有していないことを表す情報をモードビット形式で生成する（ステップ１６８）。ステップ１６６及びステップ１６８は、第１サブブロックごとに行う。
【００５２】
次に、本発明による他の実施形態の高周波成分復元部５４Ａ（図８参照）の構成及び動作、並びにこの実施形態におけるオーディオ信号の処理方法について、添付した図面を参照して説明する。
【００５３】
図８は、高周波成分復元部５４（図１参照）の他の実施形態の高周波成分復元部５４Ａを示すブロック図である。この高周波成分復元部５４Ａは、類似検査部１８０と、データ複製部１８２と、ランダムノイズ生成部１８４と、正規化部１８６とによって構成されている。
【００５４】
図９は、この実施形態のステップ９４（図３参照）を詳細に示すフローチャートである。このステップ９４は、第１サブバンドが類似するサブバンドを有するか否かによって、異なる第１サブバンドによって復号化するステップ（ステップ１９０〜ステップ１９４）と、複製されたデータを正規化するステップ（ステップ１９６）とからなる。
【００５５】
まず、類似検査部１８０は、逆量子化部５２で量子化したものの各第１サブバンドが類似するサブバンドを有するか否かを検査する（ステップ１９０）。このために、類似検査部１８０は、入力部５０から抽出された付加情報を入力端子ＩＮ３を経て入力され、入力された付加情報に従って各第１サブバンドが類似するサブバンドを有するか否かを判断する。例えば、抽出された付加情報は、前記したモードビットを含むことがある。この場合、類似検査部１８０は、モードビットを検査してモードビットが‘１’であるか‘０’であるかを検査し、検査結果から、第１サブバンドが類似するサブバンドを有するか否かを決定できる。
【００５６】
データ複製部１８２は、類似検査部１８０による検査結果から、第１サブバンドが類似するサブバンドを有することが判断される場合、選択された第２サブバンドについての情報に含まれたデータを、入力端子ＩＮ４を通じて逆量子化部５２から入力した逆量子化したものから抽出し、抽出されたデータを第１サブバンドについてのデータとして複製する（ステップ１９２）。しかし、ランダムノイズ生成部１８４は、類似検査部１８０での検査結果から、第１サブバンドが類似するサブバンドを有していないことが判断される場合、第１サブバンドについてのノイズをランダムに生成し、ランダムに生成したノイズを正規化部１８６へ出力する（ステップ１９４）。ここで、前記したＲＮＳ方法とは、モードビットをＲＮＳモードを表すビット値に設定するステップ１３８またはステップ１６８を行う従来の一般的な符号化方法と、ＲＮＳモードを表すビット値に設定されたモードビットによって、ステップ１９４を行う従来の一般的な復号化方法とをいう。
【００５７】
図９に示したステップ１９２及びステップ１９４は、第１サブバンドのそれぞれについて行う。こうして、第２サブバンドは、従来の一般的な復号化方法によって復号化される。すなわち、第２サブバンドについてのノイズもステップ１９４でランダムに生成される。
【００５８】
ステップ１９２またはステップ１９４の後に、正規化部１８６は、第１サブバンドについての総ノイズ電力、すなわち、総エネルギーが、符号化部１０によって算出された第１サブバンドの総ノイズ電力と同一に維持されるように、複製したデータとランダムに生成したノイズとを正規化し、正規化したものを出力端子ＯＵＴ３を経てサブバンドフィルタ合成部５６へ出力する。このために、正規化部１８６は、符号化部１０によって算出された第１サブバンドの総ノイズ電力が分かるように、符号化部１０によって生成されたノイズ電力についての情報を含む付加情報を、入力部５０から入力端子ＩＮ５を経て入力される。
【００５９】
ここで、選択した第２サブバンドについての情報に含まれるデータを第１サブバンドについてのデータとして複製する場合、本来の第１サブバンドのレベルが変わることがある。したがって、符号化される以前の本来の第１サブバンドが有するレベルを復元するために、正規化部１８６は、複製したデータとランダムに生成したノイズとを正規化する。
【００６０】
前記した本発明によるオーディオ信号処理装置及びオーディオ信号の処理方法は、低周波数帯域と高周波数帯域との類似度が高い場合、さらに向上した性能を提供できる。
【００６１】
一般的に、低周波数帯域と高周波数帯域との類似度は、時間領域上で突発的な変化が発生する場合に上昇し、ハーモニック成分が強く、かつサブバンド境界と一致する場合にも上昇する。
【００６２】
図１０Ａから図１０Ｅまでは、低周波数帯域と高周波数帯域との類似度を説明するために、各サブバンドの波形を例示した波形図である。図１０Ａは、６〜９番目のサブバンドについてのサンプルサイズを示し、図１０Ｂは、１０〜１３番目のサブバンドについてのサンプルサイズを示し、図１０Ｃは、１４〜１７番目のサブバンドについてのサンプルサイズを示し、図１０Ｄは、１８〜２１番目のサブバンドについてのサンプルサイズを示し、図１０Ｅは、２２〜２５番目のサブバンドについてのサンプルサイズを示す。各図では、横軸は、時間を表し、縦軸は、サンプルのサイズを表す。図１０Ａから図１０Ｅまでの各図に示す１〜１６は、時間領域上のインデックスを表す。
【００６３】
もし、基準周波数が、図１０Ｂに示した１０番目のサブバンド（１０ｔｈ）である場合、高周波数帯域で図１０Ｃに示した１４番目のサブバンド（１４ｔｈ）についての時間領域上のインデックスが２のときのサンプルサイズと、低周波数帯域で図１０Ａに示した７番目のサブバンド（７ｔｈ）についての時間領域上のインデックスが２のときのサンプルサイズとは、非常に類似している、すなわち、類似度が非常に高いということが分かる。
【００６４】
本発明はまた、記録媒体または伝送媒体に、コンピュータで読み取り可能なコードまたは命令を、様々なやり方で記録または伝送することによって実現できる。コンピュータで読み取り可能な記録媒体とは、コンピュータシステムによって読み取り可能なデータを保存できるすべての種類の記録媒体を含む。これらの記録媒体または伝送媒体は、例えば、磁気記録媒体（ＲＯＭ、ＲＡＭ、フレキシブルディスク、ハードディスク、磁気テープなど）や、光記録媒体（ＣＤ−ＲＯＭ、ＤＶＤ（登録商標）など）があり、また、例えばインターネットなどを通じて伝送される搬送信号であってもよい。また、これらの媒体は、ネットワークに分散されたコンピュータシステムであってもよく、そのため、これらのコンピュータで読み取り可能なコードまたは命令は、分散方式で保存または実行される。これらのコードまたは命令は、１つ以上のプロセッサによって、実行できるものである。
【００６５】
以上、図面及び明細書において、いくつかの典型的な実施形態を開示した。ここで用いた特定の用語は、単に、本発明を説明する目的で用いたものであり、意味を限定したり特許請求の範囲に記載された本発明の範囲を制限したりするために用いたものではない。したがって、当業者ならば、これから多様な変形及び均等な他の実施形態が可能であるということが分かるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲によって決定しなければならない。
【産業上の利用可能性】
【００６６】
本発明は、オーディオ信号処理装置関連の技術分野に適用可能である。
【図面の簡単な説明】
【００６７】
【図１】本発明による一実施形態のオーディオ信号処理装置を示すブロック図である。
【図２】符号化部によるオーディオ信号の処理方法を示すフローチャートである。
【図３】符号化されたオーディオ信号を復号化するオーディオ信号の処理方法を示すフローチャートである。
【図４】他の実施形態の類似度分析部を示すブロック図である。
【図５】図２に示したステップ７２についての他の実施形態を示すフローチャートである。
【図６】図１に示した類似度分析部の他の実施形態を示すブロック図である。
【図７】図２に示したステップ７２についての他の実施形態を示すフローチャートである。
【図８】高周波成分復元部を示すブロック図である。
【図９】ステップ９４（図３参照）を詳細に示すフローチャートである。
【図１０Ａ】６〜９番目のサブバンドについてのサンプルサイズの一例を示す波形図である。
【図１０Ｂ】１０〜１３番目のサブバンドについてのサンプルサイズの一例を示す波形図である。
【図１０Ｃ】１４〜１７番目のサブバンドについてのサンプルサイズの一例を示す波形図である。
【図１０Ｄ】１８〜２１番目のサブバンドについてのサンプルサイズの一例を示す波形図である。
【図１０Ｅ】２２〜２５番目のサブバンドについてのサンプルサイズの一例を示す波形図である。
【符号の説明】
【００６８】
１０    符号化部
１２    復号化部
３０    サブバンドフィルタ分析部
３２    類似度分析部
３４    量子化部
３６    出力部
３８    量子化制御部
５０    入力部
５２    逆量子化部
５４    高周波成分復元部
５６    サブバンドフィルタ合成部
１１０  類似度算出部
１１２，１５４  サブバンド選択部
１１３，１５０  サブバンド比較選択部
１１４，１５２  比較部
１１６，１５６  情報生成部
１８０  類似検査部
１８２  データ複製部
１８４  ランダムノイズ生成部
１８６  正規化部
ＩＮ１〜ＩＮ５      入力端子
ＯＵＴ１〜ＯＵＴ３  出力端子
【図１】
2006163396.tif 000005
【図２】
2006163396.tif 000006
【図３】
2006163396.tif 000007
【図４】
2006163396.tif 000008
【図５】
2006163396.tif 000009
【図６】
2006163396.tif 000010
【図７】
2006163396.tif 000011
【図８】
2006163396.tif 000012
【図９】
2006163396.tif 000013
【図１０Ａ】
2006163396.tif 000014
【図１０Ｂ】
2006163396.tif 000015
【図１０Ｃ】
2006163396.tif 000016
【図１０Ｄ】
2006163396.tif 000017
【図１０Ｅ】
2006163396.tif 000018