(57)【特許請求の範囲】
【請求項１】
オーディオ信号が有する複数のチャネルのそれぞれについて、当該チャネルの信号を時間周波数変換することにより時刻ごとの周波数成分を表す時間周波数信号を生成する時間周波数変換部と、
前記複数のチャネルのそれぞれについてトランジェントを検出し、トランジェント検出時刻を求めるトランジェント検出部と、
前記複数のチャネルのうち、前記トランジェント検出時刻が最も早い先検出チャネルと、当該先検出チャネル以外のチャネルである後検出チャネル間での前記トランジェント検出時刻の差が同一の音に起因するトランジェントとみなせる範囲内である場合、前記後検出チャネルのトランジェント検出時刻を前記先検出チャネルのトランジェント検出時刻に一致させるよう補正するトランジェント時刻補正部と、
前記複数のチャネルのそれぞれについて、前記トランジェントが検出されていない区間に非過渡音用グリッドを設定し、前記トランジェントが検出されている区間には、前記非過渡音用グリッドよりも短い時間長の過渡音用グリッドを設定するグリッド決定部と、
前記過渡音用グリッドまたは前記非過渡音用グリッドごとに、前記オーディオ信号を符号化する符号化部と、
を有するオーディオ符号化装置。
【請求項２】
前記複数のチャネルのそれぞれについて、前記時間周波数信号に基づいて時刻ごとのパワーを算出するパワー算出部をさらに有し、
前記トランジェント検出部は、前記複数のチャネルのそれぞれについて、複数の時刻を含む所定の区間を設定するとともに、当該所定の区間を時間軸に沿って移動させつつ、当該所定の区間内の時刻の前記パワーの統計値を求め、該統計値が第１の閾値を超えた場合に当該チャネルについて前記トランジェントを検出し、当該所定の区間に含まれる何れかの時刻を前記トランジェント検出時刻とする、請求項１に記載のオーディオ符号化装置。
【請求項３】
前記トランジェント時刻補正部は、前記先検出チャネルのトランジェント検出時刻と前記後検出チャネルのトランジェント検出時刻の差が前記所定の区間よりも短い場合、当該検出時刻の差は同一の音に起因するトランジェントとみなせる範囲内であると判定する、請求項２に記載のオーディオ符号化装置。
【請求項４】
前記トランジェント時刻補正部は、前記先検出チャネルのトランジェント検出時刻における前記後検出チャネルのパワーが過渡音のパワーに対応する第２の閾値よりも大きい場合に限り、前記後検出チャネルのトランジェント検出時刻を前記先検出チャネルのトランジェント検出時刻に一致させるよう補正する請求項１〜３の何れか一項に記載のオーディオ符号化装置。
【請求項５】
前記トランジェント時刻補正部は、前記先検出チャネルのトランジェント検出時刻におけるパワーに対する前記後検出チャネルのトランジェント検出時刻におけるパワーの比が所定値よりも大きい場合に限り、前記後検出チャネルのトランジェント検出時刻を前記先検出チャネルのトランジェント検出時刻に一致させるよう補正する請求項１〜３の何れか一項に記載のオーディオ符号化装置。
【請求項６】
オーディオ信号が有する複数のチャネルのそれぞれについて、当該チャネルの信号を時間周波数変換することにより時刻ごとの周波数成分を表す時間周波数信号を生成し、
前記複数のチャネルのそれぞれについてトランジェントを検出し、トランジェント検出時刻を求め、
前記複数のチャネルのうち、前記トランジェント検出時刻が最も早い先検出チャネルと、当該先検出チャネル以外のチャネルである後検出チャネル間での前記トランジェント検出時刻の差が同一の音に起因するトランジェントとみなせる範囲内である場合、前記後検出チャネルのトランジェント検出時刻を前記先検出チャネルのトランジェント検出時刻に一致させるよう補正し、
前記複数のチャネルのそれぞれについて、前記トランジェントが検出されていない区間に非過渡音用グリッドを設定し、前記トランジェントが検出されている区間には、前記非過渡音用グリッドよりも短い時間長の過渡音用グリッドを設定し、
前記過渡音用グリッドまたは前記非過渡音用グリッドごとに、前記オーディオ信号を符号化する、
ことを含むオーディオ符号化方法。
【請求項７】
オーディオ信号が有する複数のチャネルのそれぞれについて、当該チャネルの信号を時間周波数変換することにより時刻ごとの周波数成分を表す時間周波数信号を生成し、
前記複数のチャネルのそれぞれについてトランジェントを検出し、トランジェント検出時刻を求め、
前記複数のチャネルのうち、前記トランジェント検出時刻が最も早い先検出チャネルと、当該先検出チャネル以外のチャネルである後検出チャネル間での前記トランジェント検出時刻の差が同一の音に起因するトランジェントとみなせる範囲内である場合、前記後検出チャネルのトランジェント検出時刻を前記先検出チャネルのトランジェント検出時刻に一致させるよう補正し、
前記複数のチャネルのそれぞれについて、前記トランジェントが検出されていない区間に非過渡音用グリッドを設定し、前記トランジェントが検出されている区間には、前記非過渡音用グリッドよりも短い時間長の過渡音用グリッドを設定し、
前記過渡音用グリッドまたは前記非過渡音用グリッドごとに、前記オーディオ信号を符号化する、
ことをコンピュータに実行させるオーディオ符号化用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、オーディオ信号のデータ量を圧縮するためのオーディオ信号の符号化方式が開発されている。そのような符号化方式の一つとして、High-Efficiency Advanced Audio Coding(HE-AAC)が知られている。この符号化方式は、Moving Picture Experts Group (MPEG)により、MPEG-2 HE-AAC及びMPEG-4 HE-AACとして標準化されている。HE-AACでは、入力されたオーディオ信号の低周波数帯域（低域成分）がAdvanced Audio Coding(AAC)方式により符号化され、一方、オーディオ信号の高周波数帯域（高域成分）はSpectral Band Replication(SBR)方式により符号化される。SBR方式では、オーディオ信号の各フレームが複数の時間周波数領域に分割され、各時間周波数領域内の信号パワーに基づいて、高域成分を、対応する低域成分を複製することにより再現するための補助情報などがSBRデータとして算出される。そしてSBRパラメータが符号化される。なお、この時間周波数領域はグリッドと呼ばれる。
【０００３】
SBR方式では、グリッドの時間長がオーディオ信号の時間変化に対して長過ぎると、グリッド内でオーディオ信号の電力が平均化されることにより、その時間変化を表す情報が失われてしまう。その結果として、符号化されたオーディオ信号の再生音質が劣化してしまう。特に、ある時間帯の音がそれより後の音の影響を受けることにより、本来とは異なる音になることがある。このような現象はプリエコーと呼ばれる。そこで、オーディオ信号の各チャネルについて、アタック音などの過渡性の高い音を検出し、過渡性の高い音に対して時間分解能が高くなるようにグリッドを設定する技術が提案されている（例えば、特許文献１を参照）。なお、このような音の過渡的な部分はトランジェントと呼ばれる。
【０００４】
また、オーディオ信号の複数のチャネルの類似度が高いと判定すると、オーディオ信号を周波数変換した周波数データの時間方向または周波数方向のグループ分けを複数のチャネルに対して共通に行う技術が提案されている（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００３−５２９７８７号公報
【特許文献２】特開２００６−３５８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、例えば、一つの音源から発した音に含まれるトランジェントであるにも関わらず、チャネルごとに、そのトランジェントが検出される時間が異なることがある。このような場合、上記の特許文献１または２に開示された技術では、トランジェントの検出時刻が遅い方のチャネルでは、トランジェント後の過渡的な音がトランジェントが発生するよりも前の音と同じグリッドに含まれるようにグリッドが設定されてしまう。その結果、過渡的な音がそのグリッドの信号パワーに影響するので、プリエコーが生じてしまう。
【０００７】
そこで、本明細書は、複数のチャネルにおいて同一の音に起因するトランジェントが含まれるオーディオ信号についてプリエコーが生じることを抑制するオーディオ符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
一つの実施形態によれば、オーディオ符号化装置が提供される。このオーディオ符号化装置は、オーディオ信号が有する複数のチャネルのそれぞれについて、そのチャネルの信号を時間周波数変換することにより時刻ごとの周波数成分を表す時間周波数信号を生成する時間周波数変換部と、複数のチャネルのそれぞれについてトランジェントを検出し、そのトランジェント検出時刻を求めるトランジェント検出部と、複数のチャネルのうち、トランジェント検出時刻が最も早い先検出チャネルと、先検出チャネル以外のチャネルである後検出チャネル間でのトランジェント検出時刻の差が同一の音に起因するトランジェントとみなせる範囲内である場合、後検出チャネルのトランジェント検出時刻を先検出チャネルのトランジェント検出時刻に一致させるよう補正するトランジェント時刻補正部と、複数のチャネルのそれぞれについて、トランジェントが検出されていない区間に非過渡音用グリッドを設定し、トランジェントが検出されている区間には、非過渡音用グリッドよりも短い時間長の過渡音用グリッドを設定するグリッド決定部と、過渡音用グリッドまたは非過渡音用グリッドごとに、オーディオ信号を符号化する符号化部とを有する。
【０００９】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１０】
本明細書に開示されたオーディオ符号化装置は、複数のチャネルにおいて同一の音に起因するトランジェントが含まれるオーディオ信号についてプリエコーが生じることを抑制できる。
【図面の簡単な説明】
【００１１】
【図１】（ａ）は、トランジェントが含まれる、左側及び右側のチャネルのパワーの時間変化の一例である。（ｂ）は、（ａ）に示された各チャネルのパワーの移動累積値を示す図である。（ｃ）は、（ａ）に示された各チャネルのオーディオ信号に対して従来技術により設定されるグリッドの一例を示す図である。
【図２】一つの実施形態によるオーディオ符号化装置の概略構成図である。
【図３】トランジェント検出処理の動作フローチャートである。
【図４】（ａ）は、同一の音に起因するトランジェントについて各チャネルの検出時刻が異なる場合の左側チャネルと右側チャネルのパワーの時間変化を表す。（ｂ）は、右側チャネルのトランジェントと左側チャネルのトランジェントが異なる音に起因する場合の左側チャネルと右側チャネルのパワーの時間変化を表す。
【図５】トランジェント検出時刻補正処理の動作フローチャートである。
【図６】グリッドの一例を示す図である。
【図７】符号化されたオーディオ信号が格納されたデータ形式の一例を示す図である。
【図８】オーディオ符号化処理の動作フローチャートである。
【図９】（ａ）〜（ｄ）は、従来技術により符号化されたオーディオ信号を再生したオーディオ信号と本実施形態によるオーディオ符号化装置により符号化されたオーディオ信号を再生したオーディオ信号との比較結果を表す図である。
【図１０】本明細書に開示されたオーディオ符号化装置が組み込まれた映像伝送装置の概略構成図である。
【発明を実施するための形態】
【００１２】
以下、図を参照しつつ、一つの実施形態による、オーディオ符号化装置について説明する。先ず、図１を参照しつつ、従来技術において、本来全てのチャネルにおいて同時刻に発生するトランジェントの検出時刻がチャネルごとに異なる原因を説明する。
【００１３】
図１（ａ）は、トランジェントが含まれる、ステレオオーディオ信号の左側及び右側のチャネルのパワーの時間変化の一例である。図１（ｂ）は、図１（ａ）に示された各チャネルのパワーの移動累積値を示す図である。そして図１（ｃ）は、図１（ａ）に示された各チャネルのオーディオ信号に対して従来技術により設定されるグリッドの一例を示す図である。
【００１４】
図１（ａ）及び図１（ｂ）において、横軸は時間を表し、縦軸はパワーを表す。そして図１（ａ）において、グラフ１０１は、左側チャネルの信号のパワーの時間変化を表し、グラフ１０２は、右側チャネルの信号のパワーの時間変化を表す。またグラフ上の各ドットは、それぞれ、サンプリング点を表す。図１（ａ）に示されるように、左側、右側の何れのチャネルについても、時刻t0においてトランジェントが発生し、急激にパワーが大きくなる。しかし、左側チャネルのトランジェント発生後のパワーは右側チャネルのトランジェント発生後のパワーよりも大きい。このような現象は、例えば、音源が、何れか一方のチャネルに対応するマイクロホンに対して、他方のチャネルに対応するマイクロホンよりも近い場合に生じる。
【００１５】
図１（ｂ）において、グラフ１１１は、左側チャネルの信号のパワーの移動累積値の時間変化を表し、グラフ１１２は、右側チャネルの信号のパワーの移動累積値の時間変化を表す。この例では、移動累積値は、３個の連続するサンプリング点を含む時間軸に沿って設定される区間における、各サンプリング点の信号のパワーの累積値である。上記のように、この例では、トランジェント発生直後において、左側のチャネルの信号のパワーは右側のチャネルの信号のパワーよりも大きい。そのため、グラフ１１１及び１１２に示されるように、左側チャネルの移動累積値の方が右側チャネルの移動累積値よりも急激に大きくなる。
【００１６】
従来技術によるオーディオ符号化装置は、例えば、各チャネルの信号のパワーの移動累積値を所定の閾値と比較し、その移動累積値が所定の閾値よりも大きくなった時刻においてトランジェントが発生したと判断する。例えば、その閾値Thが図１（ｂ）において点線１１３で示される値である場合、左側チャネルの移動累積値が閾値Thよりも大きくなる時刻t1は、右側チャネルの移動累積値が閾値Thよりも大きくなる時刻t2よりも早い。そのため、従来技術によるオーディオ符号化装置は、左側チャネルに対して時刻t1をトランジェント発生時刻と判定し、一方、右側チャネルに対して時刻t2をトランジェント発生時刻と判定する。
【００１７】
図１（ｃ）において、横軸は時間を表し、縦軸は周波数を表す。また各ブロックは、それぞれ、設定されるグリッドを表す。左側チャネルでは、実際のトランジェント発生時刻に近い時刻t1が、そのトランジェントに対応するグリッド１２１の開始時刻として設定される。そのため、左側チャネルではプリエコーは殆ど発生しない。一方、右側のチャネルでは、時刻t2を境界として、時刻t2よりも前の信号と時刻t2以降の信号に対して、それぞれ異なるグリッド１２２及び１２３が設定される。しかし、実際のトランジェントの発生時刻は、時刻t2よりも前であるため、グリッド１２２ではトランジェント発生前と発生後の信号のパワーが平均化されてしまう。その結果、右側チャネルでは、グリッド１２２に相当する期間においてプリエコーが生じてしまう。
【００１８】
そこで、本明細書で開示されるオーディオ符号化装置は、複数のチャネル間のトランジェント検出時刻の差、及びトランジェントの検出時刻における信号のパワーに基づいて各チャネルで検出されたトランジェントが同一の音に起因するものか否か判定する。そしてこのオーディオ符号化装置は、各チャネルで検出されたトランジェントが同一の音に起因する場合、全てのチャネルに対するSBR符号化用のグリッドの開始時刻を、複数のチャネルのトランジェントの検出時間のうち、最も早い時間に統一する。
【００１９】
本実施形態では、符号化対象となるオーディオ信号は、左側のチャネルと右側のチャネルを持つステレオオーディオ信号である。
【００２０】
図２は、一つの実施形態によるオーディオ符号化装置の概略構成図である。図２に示すように、オーディオ符号化装置１は、ダウンサンプリング部１１と、AAC符号化器１２と、SBR符号化器１３と、ビットストリーム生成部１４とを有する。
【００２１】
オーディオ符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいはオーディオ符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路としてオーディオ符号化装置１に実装されてもよい。さらに、オーディオ符号化装置１が有するこれらの各部は、オーディオ符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
【００２２】
ダウンサンプリング部１１は、AAC符号化器１２により符号化される、入力されたオーディオ信号の各チャネルの低域成分を求める。この低域成分の上限の周波数は、例えば、入力されたオーディオ信号の最高周波数の1/2に設定される。ダウンサンプリング部１１は、各チャネルの時間領域の信号に対して、ローパスフィルタを用いてフィルタリングする。そのようなローパスフィルタは、有限インパルス応答または無限インパルス応答のデジタルフィルタとすることができる。ダウンサンプリング部１１は、例えば、標準化プロジェクト3GPPにより公開されているHE-AACエンコーダ標準(TS26.410)に示されている次式の無限インパルス応答型フィルタを用いて各チャネルの時間領域の信号をフィルタリングする。
【数１】
0005633431.tif 000002
ここでak、bk(k=1,2,...,13)は、フィルタ係数である。なお、ak、bkの値として、例えば、TS26.410に示されている値が用いられる。またz-kは、このフィルタにk回目に入力される信号である。
【００２３】
また、ダウンサンプリング部１１は、各チャネルの信号を、例えばフレームごとに時間周波数変換し、その結果得られる周波数信号に対してローパスフィルタを適用することにより、各チャネルの信号の低域成分を抽出してもよい。この場合、ダウンサンプリング部１１は、時間周波数変換として、例えば、高速フーリエ変換、離散コサイン変換、あるいは修正離散コサイン変換を用いることができる。
ダウンサンプリング部１１は、抽出した各チャネルの信号の低域成分をAAC符号化器１２へ出力する。
【００２４】
AAC符号化器１２は、ダウンサンプリング部１１から受け取った各チャネルの信号の低域成分をAAC符号化方式に従って符号化する。AAC符号化器１２は、例えば、特開２００７−１８３５２８号公報に開示されている技術を利用できる。具体的には、AAC符号化器１２は、心理聴覚エントロピー(Perceptual Entropy、PE)値を算出する。PE値は、打楽器が発する音のようなアタック音など、信号レベルが短時間で変化する音に対して大きな値となる特性を持つ。そこで、AAC符号化器１２は、PEの値が比較的大きくなるフレームに対しては、時間軸に沿って設定される窓を短くし、PEの値が比較的小さくなるフレームに対しては、窓を長くする。例えば、短い窓は、256個のサンプルを含み、長い窓は、2048個のサンプルを含む。AAC符号化器１２は、決定された長さを持つ窓を用いて各チャネルの信号の低域成分に対して修正離散コサイン変換（Modified Discrete Cosine Transform、MDCT）を実行することにより、各チャネルの信号の低域成分をMDCT係数の組に変換する。AAC符号化器１２は、MDCT係数の組を、所定の量子化幅で量子化し、その量子化されたMDCT係数の組、その量子化幅を決定するために用いた量子化係数を、算術符号化あるいはハフマン符号化といった可変長符号化方式に従って符号化する。
AAC符号化器１２は、可変長符号化されたMDCT係数の組及び量子化係数をビットストリーム生成部１４へ出力する。
【００２５】
SBR符号化器１３は、チャネルごとに信号の高域成分を、Spectral Band Replication(SBR)符号化方式にしたがって符号化する。なお、この高域成分は、各チャネルの信号のうちのAAC符号化器１２により符号化される低域成分を除いた成分である。
【００２６】
SBR符号化器１３は、時間周波数変換部２１と、グリッド生成部２２と、グリッドパワー算出部２３と、パワー量子化部２４と、補助情報算出部２５と、補助情報量子化部２６と、多重化部２７とを有する。
【００２７】
時間周波数変換部２１は、オーディオ符号化装置１に入力されたオーディオ信号の各チャネルの時間領域の信号を、それぞれ時間周波数信号に変換する。
本実施形態では、時間周波数変換部２１は、時間周波数信号を求めるためにQuadrature Mirror Filter(QMF)フィルタバンクを用いる。QMFフィルタバンクは次式のように表される。
【数２】
0005633431.tif 000003
ここでkは周波数帯域を表す変数であり、この例では、周波数帯域全体を64個に等分したときのk番目の周波数帯域を表す。またnは、フィルタバンクに入力される128個のサンプリング点の時間順を表す。
なお、時間周波数変換部２１は、所定の区間ごとにウェーブレット変換または高速フーリエ変換など、他の時間周波数変換処理を行うことで、各チャネルの時間周波数信号を算出してもよい。
【００２８】
時間周波数変換部２１は、各チャネルの時間周波数信号を算出する度に、その時間周波数信号をグリッド生成部２２、グリッドパワー算出部２３及び補助情報算出部２５へ出力する。
【００２９】
グリッド生成部２２は、各チャネルに対するグリッドを設定する。そのために、グリッド生成部２２は、パワー算出部３１と、トランジェント検出部３２と、トランジェント時刻補正部３３と、グリッド決定部３４とを有する。
【００３０】
パワー算出部３１は、各チャネルについて、時刻ごとのパワー、すなわち、時間周波数信号の時間軸におけるサンプリング点ごとのパワーを算出する。例えば、パワー算出部３１は、次式に従ってパワーを算出する。
【数３】
0005633431.tif 000004
ここでL(k,n)は、左側チャネルの周波数帯域kにおけるn番目のサンプリング点の時間周波数信号であり、R(k,n)は、右側チャネルの周波数帯域kにおけるn番目のサンプリング点の時間周波数信号である。そしてPL(n)、PR(n)は、それぞれ、左側チャネル及び右側チャネルのn番目のサンプリング点のパワーである。
パワー算出部３１は、各チャネルについてのサンプリング点ごとのパワーPL(n)、PR(n)をトランジェント検出部３２及びトランジェント時刻補正部３３へ出力する。
【００３１】
トランジェント検出部３２は、チャネルごとにトランジェントを検出する。そのために、トランジェント検出部３２は、チャネルごとに、時間軸に沿って連続する複数のサンプリング点を含む区間のパワーの移動累積値を算出する。例えば、トランジェント検出部３２は、左側チャネル及び右側チャネルのそれぞれについて、連続する３個のサンプリング点のパワーの合計値を移動累積値とする。
【００３２】
トランジェント検出部３２は、チャネルごとに、移動累積値を検出閾値Thと比較する。そしてトランジェント検出部３２は、現サンプリング点の移動累積値が検出閾値Thよりも大きく、かつ、直前のサンプリング点における移動累積値が検出閾値Th以下である場合、現サンプリング点をトランジェントとして検出する。なお、検出閾値Thは、例えば、実験的に、トランジェントの前後のパワーの差に基づいて予め決定される。トランジェントの前後のパワーの差が-30dBovであり、移動累積値が連続する3個のサンプリング点のパワーの合計値である場合には、検出閾値Thは-10dBovとすることができる。
トランジェント検出部３２は、移動累積値をトランジェントの検出に用いることで、ノイズがオーディオ信号に重畳されることによって特定のサンプリング点でパワーが非常に大きくなっても、そのようなサンプリング点をトランジェントとして誤検出することを抑制できる。
【００３３】
図３は、トランジェント検出部３２により実行される、トランジェント検出処理の動作フローチャートである。トランジェント検出部３２は、チャネルごとに、かつ１フレームごとにこのフローチャートに示される処理を実行する。
トランジェント検出部３２は、注目時刻tをフレーム中の最初の時刻'1'に設定する（ステップＳ１０１）。次に、トランジェント検出部３２は、時刻(t-m)から時刻tまでのパワーの移動累積値ΣPを算出する（ステップＳ１０２）。mは、移動累積値を算出する区間を表す。例えば、時間方向に連続する３個のサンプリング点に基づいて移動累積値ΣPが算出される場合、m=2である。また(t-j)(j=1,2,..,m)が0以下となる場合には、前フレームの時刻(N-j)(ただしNは1フレームに含まれる時間軸におけるサンプリング点の総数)のパワーが移動累積値ΣPの算出に利用される。
【００３４】
トランジェント検出部３２は，移動累積値ΣPが検出閾値Thよりも大きいか否か判定する（ステップＳ１０３）。移動累積値ΣPが検出閾値Thよりも大きい場合（ステップＳ１０３−Ｙｅｓ）、トランジェント検出部３２はトランジェントを検出する（ステップＳ１０４）。そしてトランジェント検出部３２は、時刻tをトランジェント検出時刻としてトランジェント時刻補正部３３へ通知する。
一方、移動累積値ΣPが検出閾値Th以下である場合（ステップＳ１０３−Ｎｏ）、あるいはステップＳ１０４の後、トランジェント検出部３２は、注目時刻tが1フレームに含まれる時間軸におけるサンプリング点の総数N以上か否か判定する（ステップＳ１０５）。tがNより小さければ（ステップＳ１０５−Ｎｏ）、トランジェント検出部３２は、時刻tを1インクリメントする（ステップＳ１０６）。そしてトランジェント検出部３２は、ステップＳ１０１以降の処理を繰り返す。
一方、tがN以上であれば（ステップＳ１０５−Ｙｅｓ）、トランジェント検出部３２は、トランジェント検出処理を終了する。
【００３５】
なお、トランジェント検出部３２は、パワーの移動累積値の代わりに、パワーの移動平均値を算出してもよい。この場合、検出閾値は、移動累積値用の検出閾値を一つの移動平均値の算出に利用される区間に含まれるサンプリング点の数で割った値とすることができる。パワーの移動累積値及びパワーの移動平均値は、何れも、パワーの統計値の一例である。
トランジェント検出部３２は、各チャネルについて、トランジェントが検出される度に、そのトランジェントの検出時刻（すなわち、トランジェントとして検出されたサンプリング点の番号）をトランジェント時刻補正部３３へ通知する。
【００３６】
上記のように、同一の音、例えば一つの音源から発したアタック音に起因して、各チャネルでトランジェントが生じているにもかかわらず、各チャネルのトランジェントの検出時刻が異なることがある。このような場合に、トランジェントの検出時刻が遅い方のチャネルにおいて、プリエコーが生じるおそれがある。そこでトランジェント時刻補正部３３は、各チャネル間のトランジェント検出時刻の差が同一の音に起因するトランジェントとみなせる範囲内であるか否か判定する。その検出時刻の差が同一の音に起因するトランジェントとみなせる範囲内である場合、トランジェント時刻補正部３３は、トランジェントの検出時刻が遅い方のチャネルについて、その検出時刻を補正して、他方のチャネルのトランジェントの検出時刻に一致させる。そのために、トランジェント時刻補正部３３は、トランジェント検出部３２から通知された各チャネルのトランジェント検出時刻及びパワー算出部３１から受け取った時刻ごと（すなわち、時間軸のサンプリング点ごと）のパワーを内蔵するメモリに一時的に記憶する。
【００３７】
図４（ａ）及び図４（ｂ）を参照しつつ、トランジェント時刻補正部３３の処理の概要について説明する。なお、一例として、右側チャネルのトランジェント検出時刻が左側チャネルのトランジェント検出時刻よりも遅いものとする。図４（ａ）は、同一の音に起因するトランジェントについて各チャネルの検出時刻が異なる場合の左側チャネルと右側チャネルのパワーの時間変化を表す。一方、図４（ｂ）は、右側チャネルのトランジェントと左側チャネルのトランジェントが異なる音に起因する場合の左側チャネルと右側チャネルのパワーの時間変化を表す。
図４（ａ）及び図４（ｂ）において、横軸は時間を表し、縦軸はパワーを表す。図４（ａ）におけるグラフ４０１は、左側チャネルのパワーの時間変化を表し、グラフ４０２は、右側チャネルのパワーの時間変化を表す。同様に、図４（ｂ）におけるグラフ４１１は、左側チャネルのパワーの時間変化を表し、グラフ４１２は、右側チャネルのパワーの時間変化を表す。
【００３８】
図４（ａ）に示されるように、入力されたオーディオ信号において実際にトランジェントが発生した時刻Tt直後において、左側チャネルのパワーよりも右側チャネルのパワーが小さい。そのため、左側チャネルのトランジェントの検出時刻TrLは、トランジェント発生時刻Ttに近い。しかし、右側チャネルのトランジェントの検出時刻TrRは、トランジェント発生時刻Tt、左側チャネルのトランジェントの検出時刻TrLよりも遅い。この時間差は、移動累積値といった複数のサンプリング点を含む区間に基づいて算出される値がトランジェントの検出に用いられることに起因している。そのため、左右のチャネルのトランジェントが同一の音に起因していれば、左右のチャネルのトランジェントの検出時刻間の差の絶対値ΔTR(=|TrR-TrL|)は、上記の区間以下といった比較的小さい値となる。また、丸印４０３で示される、左側チャネルのトランジェントの検出時刻TrLにおける右側チャネルのパワーは、ある程度の大きさを持つ閾値Thp以上となる。このような場合、トランジェント時刻補正部３３は、各チャネルにおいて検出されたトランジェントは同一の音に起因するものと判定する。そしてトランジェント時刻補正部３３は、検出時刻が遅い方の右側チャネルのトランジェント検出時刻TrRを、左側チャネルのトランジェント検出時刻TrLと一致させるよう補正する。したがって、補正後の右側チャネルのトランジェント検出時刻TrR'は、左側チャネルのトランジェント検出時刻TrLと等しい。
【００３９】
一方、図４（ｂ）に示されるように、左側チャネルのトランジェントと、右側チャネルのトランジェントが異なる音に起因している場合、左右のチャネルのトランジェントの検出時刻間の差の絶対値ΔTRは比較的大きくなることがある。また、左側チャネルのトランジェント検出時刻TrLの時点では、右側チャネルではまだトランジェントが生じていないので、右側チャネルのパワーは小さい。そこでトランジェント時刻補正部３３は、左右のチャネルのトランジェントの検出時刻間の差の絶対値ΔTRが所定の閾値Thdよりも大きい場合、トランジェント検出時刻を補正しない。または、トランジェント時刻補正部３３は、トランジェント検出時刻が遅い方のチャネルについて、他方のチャネルのトランジェント検出時刻におけるパワーが所定の閾値Thp未満である場合も、トランジェント検出時刻を補正しない。
【００４０】
図５は、トランジェント時刻補正部３３により実行される、トランジェント検出時刻補正処理の動作フローチャートである。
トランジェント時刻補正部３３は、トランジェント検出部３２から何れかのチャネルについてトランジェント検出時刻が通知されたか否か判定する（ステップＳ２０１）。トランジェント検出時刻が通知されていなければ（ステップＳ２０１−Ｎｏ）、トランジェント時刻補正部３３は、ステップＳ２０１の処理を繰り返す。
【００４１】
一方、何れかのチャネルについてトランジェント検出時刻が通知されると（ステップＳ２０１−Ｙｅｓ）、トランジェント時刻補正部３３は、そのトランジェント検出時刻及びチャネルを、トランジェント時刻補正部３３が有するメモリに一時的に記憶する。またトランジェント時刻補正部３３は、他方のチャネルのトランジェント検出時刻がメモリに記憶されていれば、二つのチャネルのトランジェント検出時刻間の差の絶対値ΔTRを算出する（ステップＳ２０２）。便宜上、ステップＳ２０１にてトランジェント検出時刻が通知されたチャネルを後検出チャネルと呼び、後検出チャネルのトランジェント検出時刻よりも前にトランジェントが検出されているチャネルを先検出チャネルと呼ぶ。そしてトランジェント時刻補正部３３は、その差の絶対値ΔTRが所定の閾値Thd以下か否か判定する（ステップＳ２０３）。閾値Thdは、例えば、同一の音に起因するチャネルごとのトランジェント検出時刻間の差の最大値に設定される。例えば、トランジェント検出部３２がパワーの移動累積値を連続する３個のサンプリング点を含む区間に基づいて算出している場合、閾値Thdはその区間の時間長に相当する値に設定される。
【００４２】
二つのチャネルのトランジェント検出時刻間の差の絶対値ΔTRが所定の閾値Thdより大きいか、または他方のチャネルでトランジェントが検出されていない場合（ステップＳ２０３−Ｎｏ）、トランジェント時刻補正部３３は、トランジェント検出時刻を補正しない。そしてトランジェント時刻補正部３３は、各チャネルのトランジェント検出時刻をグリッド決定部３４へ通知する。またトランジェント時刻補正部３３は、メモリから先検出チャネルのトランジェント検出時刻及び先検出チャネルのトランジェント検出時刻以前の各チャネルのサンプリング点のパワーを消去する。その後、トランジェント時刻補正部３３はトランジェント検出時刻補正処理を終了する。
【００４３】
一方、トランジェント検出時刻間の差の絶対値ΔTRが所定の閾値Thd以下である場合（ステップＳ２０３−Ｙｅｓ）、トランジェント時刻補正部３３は、先検出チャネルのトランジェント検出時刻における、後検出チャネルのパワーPtrpを閾値Thpよりも大きいか否か判定する（ステップＳ２０４）。なお、閾値Thpは、過渡音のパワーに対応する値であり、例えば、トランジェント検出用の閾値Thを、移動累積値を算出する区間に含まれるサンプリング点の数で割った数に設定される。
【００４４】
先検出チャネルのトランジェント検出時刻における、後検出チャネルのパワーPtrpが閾値Thp以下である場合（ステップＳ２０４−Ｎｏ）、トランジェント時刻補正部３３は、トランジェント検出時刻を補正しない。そしてトランジェント時刻補正部３３は、各チャネルのトランジェント検出時刻をグリッド決定部３４へ通知する。またトランジェント時刻補正部３３は、メモリから先検出チャネルのトランジェント検出時刻及び先検出チャネルのトランジェント検出時刻以前の各チャネルのサンプリング点のパワーを消去する。その後、トランジェント検出時刻補正処理を終了する。
【００４５】
一方、先検出チャネルのトランジェント検出時刻における、後検出チャネルのパワーPtrpが閾値Thpより大きい場合（ステップＳ２０４−Ｙｅｓ）、トランジェント時刻補正部３３は、後検出チャネルのトランジェント検出時刻を先検出チャネルのトランジェント検出時刻と一致させるように補正する（ステップＳ２０５）。そしてトランジェント時刻補正部３３は、各チャネルのトランジェント検出時刻をグリッド決定部３４へ通知する。そしてトランジェント時刻補正部３３は、メモリから先検出チャネル及び後検出チャネルのトランジェント検出時刻を消去する。またトランジェント時刻補正部３３は、ステップＳ１０１にて通知された後検出チャネルのトランジェント検出時刻以前の各チャネルのサンプリング点のパワーを消去する。その後、トランジェント検出時刻補正処理を終了する。
【００４６】
なお、何れか一方のチャネルについてトランジェント検出時刻が通知されてから、閾値Thdを経過しても他方のチャネルについてトランジェント検出時刻が通知されなかった場合、トランジェント時刻補正部３３は、その一方のチャネルにのみトランジェントが生じたと判定する。そしてトランジェント時刻補正部３３は、その一方のチャネルのトランジェント検出時刻をグリッド決定部３４へ通知する。そしてトランジェント時刻補正部３３は、その一方のチャネルについて通知されたトランジェント検出時刻及びその時刻以前の各チャネルのサンプリング点のパワーをメモリから消去する。
【００４７】
グリッド決定部３４は、フレームごとに、SBR符号化器１３にて符号化対象となる高域成分、及びAAC符号化器１２にて符号化対象となる低域成分について、それぞれグリッドを決定する。本実施形態では、どのタイミングにおいても高域成分のグリッドの期間と低域成分のグリッドの期間が同一となるように各グリッドを設定する。グリッド決定部３４は、注目するフレームにおいて、トランジェントが検出されていない区間に対して、予め設定された期間の非過渡音用グリッドを設定する。非過渡音用グリッドの時間長は、例えば、約50msecである。
【００４８】
また、グリッド決定部３４は、注目するフレームにおいてトランジェントが検出されている場合、トランジェント検出時刻を時間軸に沿って連続する二つのグリッドの境界に設定する。そしてグリッド決定部３４は、トランジェント検出時刻を開始時刻とする過渡音用グリッドを設定する。過渡音用グリッドの時間長は、非過渡音用グリッドの時間長よりも短い。例えば、グリッド決定部３４は、過渡音用グリッドの時間長を、約5msec〜約20msecに設定する。なお、トランジェント検出時刻の直前のグリッドは、その検出時刻以前よりも前にトランジェントが検出されているか否かによって異なる。例えば、注目するトランジェント検出時刻の前の所定の期間内に、別のトランジェントが検出されていれば、注目するトランジェント検出時刻の直前のグリッドも過渡音用のグリッドとなる。なお、所定の期間は、例えば、過渡音用グリッドの時間長と等しい。一方、注目するトランジェント検出時刻の前の所定の期間内に別のトランジェントが検出されていなければ、注目するトランジェント検出時刻の直前のグリッドは非過渡音用のグリッドとなる。
グリッドは、チャネルごとに設定される。ただし、トランジェント時刻補正部３３にて何れかのチャネルのトランジェント検出時刻が補正されている場合には、左右のチャネルのトランジェント検出時刻が一致している。そのため、何れのチャネルについても同一のトランジェント検出時刻から過渡音用グリッドが開始される。
【００４９】
図６は、一つのチャネルについて設定されるグリッドの一例を示す図である。図６において、横軸は時間を表し、縦軸は周波数を表す。また時刻trは、トランジェント検出時刻である。この例では６個のグリッド６０１〜６０６が設定されている。このうち、グリッド６０１〜６０３は、SBR符号化器１３にて符号化される高域成分に設定されるグリッドであり、グリッド６０４〜６０６は、AAC符号化器１２にて符号化される低域成分に設定されるグリッドである。またグリッド６０１と６０４は、同一の期間に設定される。同様に、グリッド６０２と６０５、及びグリッド６０３と６０６も、それぞれ、同一の期間に設定される。そしてトランジェント検出時刻trから開始される期間に設定されるグリッド６０２、６０４は、過渡音用のグリッドであり、非過渡音用のグリッドであるその他のグリッドよりも短い期間に設定される。
【００５０】
グリッド決定部３４は、チャネルごとの高域成分及び低域成分のグリッドの期間及び開始時刻を表すグリッド情報を、グリッドパワー算出部２３、補助情報算出部２５及び多重化部２７へ通知する。
【００５１】
グリッドパワー算出部２３は、各チャネルについてグリッドごとのパワーを算出する。例えば、図６に示されるように、周波数帯域全体が周波数方向に２個に分割された場合には、グリッドパワー算出部２３は、次式に従ってグリッドごとのパワーを算出する。
【数４】
0005633431.tif 000005
ここでL(k,n)は、左側チャネルの周波数帯域kにおけるn番目のサンプリング点の時間周波数信号であり、R(k,n)は、右側チャネルの周波数帯域kにおけるn番目のサンプリング点の時間周波数信号である。またtgs、tgeは、それぞれ、グリッドの開始時刻に対応する最初のサンプリング点及びグリッドの終了時刻に対応する最後のサンプリング点である。またfsは、SBR符号化器１３が符号化対象とする高域成分の最小周波数に相当する周波数方向のサンプリング点である。そしてPgLl(n)及びPgLh(n)は、それぞれ、左側チャネルの低域成分及び高域成分のグリッドのパワーである。同様に、PgRl(n)及びPgRh(n)は、それぞれ、右側チャネルの低域成分及び高域成分のグリッドのパワーである。
グリッドパワー算出部２３は、各チャネルについてのグリッドごとのパワーPgLl(n)、PgLh(n)、PgRl(n)及びPgRh(n)をパワー量子化部２４及び補助情報算出部２５へ出力する。
【００５２】
パワー量子化部２４は、グリッドパワー算出部２３から受け取った低域成分のグリッドのパワーPgLl(n)及びPgRl(n)を、例えば、伝送ビットレートに従って定められる目標符号量に応じて決定される量子化係数を用いて量子化する。パワー量子化部２４は、例えば、量子化係数が大きいほど広くなる量子化幅を設定し、その量子化幅でグリッドごとのパワーを量子化する。そしてパワー量子化部２４は、量子化されたグリッドごとのパワーを多重化部２７へ出力する。
【００５３】
補助情報算出部２５は、各チャネルの低域成分のグリッド及び高域成分のグリッドのパワー及び時間周波数信号に基づいて、低域成分から高域成分を複製するために利用される補助情報を算出する。補助情報には、例えば、高域成分のグリッドに含まれる各周波数帯域及び各時間帯について、複製元となる低域成分の周波数帯域及び時間帯を表す位置情報、高域成分の電力を調整するための電力調整パラメータが含まれる。さらに、補助情報には、低域成分から複製できない高域成分中の周波数帯域及び時間帯を表す情報とその周波数帯域及び時間帯のパワーを表す情報が含まれる。
【００５４】
補助情報算出部２５は、例えば、特開２００８−２２４９０２号公報に開示されているように、SBR符号化方式に従って補助情報を算出する。例えば、補助情報算出部２５は、各チャネルの高域成分の注目するグリッドについて、そのグリッド内の各周波数帯域及び時間帯の時間周波数信号を、その注目するグリッドの期間と同一の期間に設定される低域成分のグリッド内の時間周波数信号と比較する。そして補助情報算出部２５は、その比較結果に基づいて、高域成分の周波数帯域及び時間帯と強い相関のある低域成分の周波数帯域及び時間帯に基づいて位置情報を決定する。また補助情報算出部２５は、低域成分から複製できない周波数帯域及び時間帯を求める。さらに補助情報算出部２５は、各チャネルの高域成分の注目するグリッドのパワーと、複製元となる低域成分のグリッドのパワーの比を求め、その比に応じて電力調整パラメータを算出する。
補助情報算出部２５は、補助情報を補助情報量子化部２６へ出力する。
【００５５】
補助情報量子化部２６は、例えば、伝送ビットレートに従って定められる目標符号量に応じて決定される量子化係数を用いて、補助情報を量子化する。補助情報量子化部２６は、例えば、量子化係数が大きいほど広くなる量子化幅を設定し、その量子化幅で補助情報を量子化する。そして補助情報量子化部２６は、量子化された補助情報を多重化部２７へ出力する。
【００５６】
多重化部２７は、グリッド情報、量子化された各グリッドのパワー及び量子化された補助情報を、算術符号化あるいはハフマン符号化といった可変長符号化方式に従って符号化する。そして多重化部２７は、可変長符号化されたそれらの情報を、所定のデータ出力形式に従って配列することによって多重化する。この多重化されたデータをSBRデータと呼ぶ。なお、所定のデータ出力形式は、例えば、後述するMPEG-4 ADTS(Audio Data Transport Stream)形式であり、MPEG-4 ADTSにおいて定められたSBRデータの配列にしたがって可変長符号化された情報は配列される。
多重化部２７は、SBRデータをビットストリーム生成部１４へ出力する。
【００５７】
ビットストリーム生成部１４は、AAC符号化器１２から受け取ったAACデータ及びSBR符号化器１３から受け取ったSBRデータを所定の順序に従って配列することにより多重化する。そしてビットストリーム生成部１４は、その多重化により生成されたビットストリームを出力する。
【００５８】
図７は、符号化されたオーディオ信号が格納されたビットストリームの一例を示す図である。この例では、ビットストリームは、MPEG-4 ADTS形式に従って作成され、HE-AACデータとして出力される。図７に示されるビットストリーム７００は、ヘッダブロック７１０と、AACデータブロック７２０と、FILエレメント７３０とを含む。このうち、ヘッダブロック７１０には、ADTS形式のヘッダ情報が格納される。またAACデータブロック７２０にはAACデータが格納される。そしてFILエレメント７３０内の所定の位置にSBRデータ７４０が格納される。
【００５９】
図８は、オーディオ符号化処理の動作フローチャートである。なお、図８に示されたフローチャートは、１フレーム分のオーディオ信号に対する処理を表す。オーディオ符号化装置１は、フレームごとに図８に示されたオーディオ符号化処理の手順を繰り返し実行する。
【００６０】
ダウンサンプリング部１１は、各チャネルの信号をダウンサンプリングすることにより低域成分を抽出する（ステップＳ３０１）。ダウンサンプリング部１１は、各チャネルの低域成分をAAC符号化器１２へ出力する。AAC符号化器１２は、各チャネルの低域成分をAAC符号化方式に従って符号化する（ステップＳ３０２）。そしてAAC符号化器１２は、その符号化によって得られたAACデータをビットストリーム生成部１４へ出力する。
【００６１】
一方、オーディオ信号の各チャネルの信号はSBR符号化器１３にも入力される。そしてSBR符号化器１３の時間周波数変換部２１は、各チャネルの時間領域の信号を時間周波数変換する（ステップＳ３０３）。時間周波数変換部２１は、その時間周波数変換により得られた各チャネルの時間周波数信号をグリッド生成部２２、グリッドパワー算出部２３及び補助情報算出部２５へ出力する。
【００６２】
グリッド生成部２２のパワー算出部３１は、各チャネルについて、時刻ごとのパワーを算出する（ステップＳ３０４）。そしてパワー算出部３１は、各チャネルの時刻ごとのパワーをグリッド生成部２２のトランジェント検出部３２及びトランジェント時刻補正部３３へ出力する。トランジェント検出部３２は、チャネルごとにトランジェント検出処理を実行する（ステップＳ３０５）。そしてトランジェント検出部３２は、トランジェントを検出すると、そのトランジェント検出時刻をトランジェント時刻補正部３３へ通知する。
【００６３】
トランジェント時刻補正部３３は、トランジェント検出時刻補正処理を実行する（ステップＳ３０６）。そしてトランジェント時刻補正部３３は、何れかのチャネルについてトランジェント検出時刻が補正されれば、補正後のトランジェント検出時刻をグリッド生成部２２のグリッド決定部３４へ通知する。またトランジェント時刻補正部３３は、トランジェント検出時刻が補正されていないチャネルについては、トランジェント検出部３２により検出されたトランジェント検出時刻をグリッド決定部３４へ通知する。
【００６４】
グリッド決定部３４は、各チャネルのグリッドを決定する（ステップＳ３０７）。その際、グリッド決定部３４は、フレーム内でトランジェントが検出されていない区間については、非過渡音用のグリッドを設定する。一方、トランジェントが検出されていれば、グリッド決定部３４は、トランジェント検出時刻を開始時刻として、非過渡音用のグリッドよりも短い過渡音用のグリッドを設定する。グリッド決定部３４は、設定されたグリッドを表すグリッド情報を、グリッドパワー算出部２３、補助情報算出部２５及び多重化部２７へ通知する。
【００６５】
グリッドパワー算出部２３は、グリッド情報が通知されるとグリッドごとのパワーを算出し、パワー量子化部２４は、そのグリッドごとのパワーを量子化する（ステップＳ３０８）。そしてパワー量子化部２４は、量子化されたグリッドごとのパワーを多重化部２７へ出力する。また補助情報算出部２５は、グリッド情報が通知されると補助情報を算出し、補助情報量子化部２６は、その補助情報を量子化する（ステップＳ３０９）。そして補助情報量子化部２６は、量子化された補助情報を多重化部２７へ出力する。多重化部２７は、グリッド情報、グリッドごとの量子化パワー及び量子化補助情報を多重化してSBRデータを生成する（ステップＳ３１０）。そして多重化部２７は、そのSBRデータをビットストリーム生成部１４へ出力する。
【００６６】
ビットストリーム生成部１４は、SBRデータ及びAACデータを多重化することにより、符号化されたオーディオデータが格納されたビットストリームを生成する（ステップＳ３１１）。その後、オーディオ符号化装置１は、符号化処理を終了する。
なお、ステップＳ３０１、Ｓ３０２の処理と、ステップＳ３０３〜Ｓ３１０の処理は、並列に実行されてもよい。
【００６７】
なお、オーディオ符号化装置１により符号化されたオーディオ信号は、SBR符号化方法に対応したオーディオ復号装置、例えば、MPEG-4 HE-AACに準拠したオーディオ復号装置により再生できる。
【００６８】
図９（ａ）〜図９（ｄ）を参照しつつ、この実施形態によるオーディオ符号化装置により符号化されたステレオオーディオ信号でのプリエコーの抑制効果について説明する。図９（ａ）の上側のグラフ９０１は、符号化される前のオーディオ信号の左側チャネルの時間及び周波数ごとの信号強度を表し、下側のグラフ９０２は、符号化される前のオーディオ信号の右側チャネルの時間及び周波数ごとの信号強度を表す。また図９（ｂ）の上側のグラフ９１１及び下側のグラフ９１２は、それぞれ、特表２００３−５２９７８７号公報に開示された方法により図９（ａ）に示されたオーディオ信号を符号化した後にその符号化信号を再生した左側及び右側チャネルの信号強度を表す。同様に、図９（ｃ）の上側のグラフ９２１及び下側のグラフ９２２は、それぞれ、特開２００６−３５８０号公報に開示された方法により図９（ａ）に示されたオーディオ信号を符号化した後にその符号化信号を再生した左側及び右側チャネルの信号強度を表す。そして図９（ｄ）の上側のグラフ９３１及び下側のグラフ９３２は、それぞれ、オーディオ符号化装置１により図９（ａ）に示されたオーディオ信号を符号化した後にその符号化信号を再生した左側及び右側チャネルの信号強度を表す。図９（ａ）〜図９（ｄ）において、横軸は時間を表し、縦軸は周波数を表す。そして各点の濃度がその点に対応する時間及び周波数での信号強度を表し、濃度が濃いほど信号強度が強い。
【００６９】
グラフ９０１及び９０２に示されるように、時刻trにおいて、左側チャネル、右側チャネルの両方とも同一の音に起因するトランジェントが生じている。これに対し、特表２００３−５２９７８７号公報に開示された方法により符号化されたオーディオ信号の再生信号では、右側チャネルにおいて時刻trよりも前の時間周波数領域９１３内の信号強度が原音よりも強くなっている。すなわち、時間周波数領域９１３でプリエコーが生じている。また、特開２００６−３５８０号公報に開示された方法により符号化されたオーディオ信号の再生信号では、左側チャネル及び右側チャネルにおいて時刻trよりも前の時間周波数領域９２３、９２４内の信号強度が原音よりも強くなっている。すなわち、時間周波数領域９２３、９２４でプリエコーが生じている。このように、従来技術によるオーディオ符号化方法では、プリエコーが生じ、その結果として再生音質が劣化する。
これに対し、オーディオ符号化装置１により符号化されたオーディオ信号の再生信号では、時刻tr直前の各周波数の信号強度は、原音における時刻tr直前の各周波数の信号強度とほぼ等しく、プリエコーが生じていないことが分かる。
【００７０】
以上に説明してきたように、このオーディオ符号化装置は、チャネルごとのトランジェントの検出時刻が異なっている場合に、各チャネルのトランジェントが同一の音に起因するか否か判定する。そしてこのオーディオ符号化装置は、各チャネルのトランジェントが同一の音に起因すると判定した場合には、後検出チャネルのトランジェント検出時刻を先検出チャネルのトランジェント検出時刻と一致させるよう補正する。そのため、このオーディオ符号化装置は、各チャネルについて最も早い時刻に検出されたトランジェントを基準として、過渡音用のグリッドを設定できるので、検出時刻の遅いチャネルでプリエコーが生じることを抑制できる。その結果、このオーディオ符号化装置は、再生音質を向上できる。
【００７１】
なお、本発明は上記の実施形態に限られるものではない。変形例によれば、トランジェント時刻補正部は、後検出チャネルのパワーに関わらず、チャネル間のトランジェントの検出時刻の差のみに基づいて、後検出チャネルのトランジェント検出時刻を補正するか否か判定してもよい。例えば、トランジェント時刻補正部は、チャネル間のトランジェント検出時刻の差の絶対値が所定時間未満であれば、後検出チャネルのトランジェント検出時刻を先検出チャネルのトランジェント検出時刻と一致させるよう補正してもよい。この所定時間は、各チャネルのトランジェントが同一の音に起因するとみなせるトランジェント検出時刻の差の最大値であり、例えば、上記の実施形態における閾値Thdに設定される。
【００７２】
他の変形例によれば、トランジェント時刻補正部は、図５に示されたトランジェント検出時刻補正処理の動作フローチャートにおけるステップＳ２０４における閾値Thpを、先検出チャネルのトランジェント検出時刻におけるパワーに基づいて決定してもよい。この場合、閾値Thpは、例えば、先検出チャネルのトランジェント検出時刻におけるパワーの1/4〜1/2に設定される。
あるいは、トランジェント時刻補正部は、ステップＳ２０４において、先検出チャネルのトランジェント検出時刻における後検出チャネルのパワーを閾値Thpと比較する代わりに、各チャネルのトランジェント検出時刻におけるパワー同士を比較してもよい。この場合、トランジェント時刻補正部は、例えば、先検出チャネルのトランジェント検出時刻に対する後検出チャネルのトランジェント検出時刻におけるパワーの比が、1/4〜1/2よりも大きければ、後検出チャネルのトランジェント検出時刻を補正すればよい。
これらの変形例により、トランジェント時刻補正部は、両方のチャネルのパワーの比較によりトランジェント検出時刻を補正できるので、チャネル間のトランジェント検出時刻の差が同一の音に起因するか否かをより正確に判定できる。
【００７３】
なお、符号化対象となるオーディオ信号はステレオオーディオ信号に限られず、複数のチャネルを持つオーディオ信号であればよい。例えば、符号化対象となるオーディオ信号は、3.1chまたは5.1chオーディオ信号とすることができる。符号化対象となるオーディオ信号のチャネル数が3以上である場合、オーディオ符号化装置は、各チャネルのトランジェント検出時刻のうち、最も早い時刻を求める。そしてオーディオ符号化装置は、その最も早いトランジェント検出時刻に対応するチャネルと、その他のチャネルとの間で上記のトランジェント検出時刻補正処理を行えばよい。
【００７４】
上記の実施形態または変形例によるオーディオ符号化装置が有する各部の機能をコンピュータに実現させるコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体などの記録媒体に記憶された形で提供されてもよい。
【００７５】
また、上記の実施形態または変形例によるオーディオ符号化装置は、コンピュータ、ビデオ信号の録画機または映像伝送装置など、オーディオ信号を伝送または記録するために利用される各種の機器に実装される。
【００７６】
図１０は、上記の実施形態または変形例によるオーディオ符号化装置が組み込まれた映像伝送装置の概略構成図である。映像伝送装置１００は、映像取得部１０１と、音声取得部１０２と、映像符号化部１０３と、音声符号化部１０４と、多重化部１０５と、通信処理部１０６と、出力部１０７とを有する。
【００７７】
映像取得部１０１は、動画像信号をビデオカメラなどの他の装置から取得するためのインターフェース回路を有する。そして映像取得部１０１は、映像伝送装置１００に入力された動画像信号を映像符号化部１０３へ渡す。
【００７８】
音声取得部１０２は、オーディオ音声信号をマイクロホンなどの他の装置から取得するためのインターフェース回路を有する。そして音声取得部１０２は、映像伝送装置１００に入力されたオーディオ音声信号を音声符号化部１０４へ渡す。
【００７９】
映像符号化部１０３は、動画像信号のデータ量を圧縮するために、動画像信号を符号化する。そのために、映像符号化部１０３は、例えば、MPEG-2、MPEG-4、H.264 MPEG-4 Advanced Video Coding（H.264 MPEG-4 AVC）などの動画像符号化規格に従って動画像信号を符号化する。そして映像符号化部１０３は、符号化動画像データを多重化部１０５へ出力する。
【００８０】
音声符号化部１０４は、上記の実施形態またはその変形例によるオーディオ符号化装置を有する。そして音声符号化部１０４は、上記の実施形態またはその変形例に従って、オーディオ信号を符号化する。そして音声符号化部１０４は、符号化オーディオデータを多重化部１０５へ出力する。
【００８１】
多重化部１０５は、符号化動画像データと符号化オーディオデータを多重化する。そして多重化部１０５は、MPEG-2トランスポートストリームなどの映像データの伝送用の所定の形式に従ったストリームを作成する。
多重化部１０５は、符号化動画像データと符号化オーディオデータが多重化されたストリームを通信処理部１０６へ出力する。
【００８２】
通信処理部１０６は、符号化動画像データと符号化オーディオデータが多重化されたストリームを、TCP/IPなどの所定の通信規格にしたがったパケットに分割する。また通信処理部１０６は、各パケットに、宛先情報などが格納された所定のヘッダを付す。そして通信処理部１０６は、パケットを出力部１０７へ渡す。
【００８３】
出力部１０７は、映像伝送装置１００を通信回線に接続するためのインターフェース回路を有する。そして出力部１０７は、通信処理部１０６から受け取ったパケットを通信回線へ出力する。
【００８４】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００８５】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
オーディオ信号が有する複数のチャネルのそれぞれについて、当該チャネルの信号を時間周波数変換することにより時刻ごとの周波数成分を表す時間周波数信号を生成する時間周波数変換部と、
前記複数のチャネルのそれぞれについてトランジェントを検出し、トランジェント検出時刻を求めるトランジェント検出部と、
前記複数のチャネルのうち、前記トランジェント検出時刻が最も早い先検出チャネルと、当該先検出チャネル以外のチャネルである後検出チャネル間での前記トランジェント検出時刻の差が同一の音に起因するトランジェントとみなせる範囲内である場合、前記後検出チャネルのトランジェント検出時刻を前記先検出チャネルのトランジェント検出時刻に一致させるよう補正するトランジェント時刻補正部と、
前記複数のチャネルのそれぞれについて、前記トランジェントが検出されていない区間に非過渡音用グリッドを設定し、前記トランジェントが検出されている区間には、前記非過渡音用グリッドよりも短い時間長の過渡音用グリッドを設定するグリッド決定部と、
前記過渡音用グリッドまたは前記非過渡音用グリッドごとに、前記オーディオ信号を符号化する符号化部と、
を有するオーディオ符号化装置。
（付記２）
前記複数のチャネルのそれぞれについて、前記時間周波数信号に基づいて時刻ごとのパワーを算出するパワー算出部をさらに有し、
前記トランジェント検出部は、前記複数のチャネルのそれぞれについて、複数の時刻を含む所定の区間を設定するとともに、当該所定の区間を時間軸に沿って移動させつつ、当該所定の区間内の時刻の前記パワーの統計値を求め、該統計値が第１の閾値を超えた場合に当該チャネルについて前記トランジェントを検出し、当該所定の区間に含まれる何れかの時刻を前記トランジェント検出時刻とする、付記１に記載のオーディオ符号化装置。
（付記３）
前記トランジェント時刻補正部は、前記先検出チャネルのトランジェント検出時刻と前記後検出チャネルのトランジェント検出時刻の差が前記所定の区間よりも短い場合、当該検出時刻の差は同一の音に起因するトランジェントとみなせる範囲内であると判定する、付記２に記載のオーディオ符号化装置。
（付記４）
前記トランジェント時刻補正部は、前記先検出チャネルのトランジェント検出時刻における前記後検出チャネルのパワーが過渡音のパワーに対応する第２の閾値よりも大きい場合に限り、前記後検出チャネルのトランジェント検出時刻を前記先検出チャネルのトランジェント検出時刻に一致させるよう補正する付記１〜３の何れか一項に記載のオーディオ符号化装置。
（付記５）
前記トランジェント時刻補正部は、前記先検出チャネルのトランジェント検出時刻におけるパワーに対する前記後検出チャネルのトランジェント検出時刻におけるパワーの比が所定値よりも大きい場合に限り、前記後検出チャネルのトランジェント検出時刻を前記先検出チャネルのトランジェント検出時刻に一致させるよう補正する付記１〜３の何れか一項に記載のオーディオ符号化装置。
（付記６）
前記複数のチャネルのそれぞれの信号から、第１の周波数よりも低い周波数を持つ低域成分を抽出するダウンサンプリング部と、
前記低域成分を所定の符号化方式に従って符号化する低域符号化部とをさらに有し、
前記グリッド決定部は、前記複数のチャネルのそれぞれについて、前記低域成分と前記第１の周波数以上の周波数を持つ高域成分とに対して同一の期間となるように前記非過渡音用グリッドまたは前記過渡音用グリッドを別個に設定し、
前記符号化部は、同一の期間に設定された前記低域成分のグリッド内の前記時間周波数信号を対応する前記高域成分として複製するために利用する補助情報を求め、当該補助情報及び前記低域成分のグリッドのパワーを符号化する、付記１〜５の何れか一項に記載のオーディオ符号化装置。
（付記７）
オーディオ信号が有する複数のチャネルのそれぞれについて、当該チャネルの信号を時間周波数変換することにより時刻ごとの周波数成分を表す時間周波数信号を生成し、
前記複数のチャネルのそれぞれについてトランジェントを検出し、トランジェント検出時刻を求め、
前記複数のチャネルのうち、前記トランジェント検出時刻が最も早い先検出チャネルと、当該先検出チャネル以外のチャネルである後検出チャネル間での前記トランジェント検出時刻の差が同一の音に起因するトランジェントとみなせる範囲内である場合、前記後検出チャネルのトランジェント検出時刻を前記先検出チャネルのトランジェント検出時刻に一致させるよう補正し、
前記複数のチャネルのそれぞれについて、前記トランジェントが検出されていない区間に非過渡音用グリッドを設定し、前記トランジェントが検出されている区間には、前記非過渡音用グリッドよりも短い時間長の過渡音用グリッドを設定し、
前記過渡音用グリッドまたは前記非過渡音用グリッドごとに、前記オーディオ信号を符号化する、
ことを含むオーディオ符号化方法。
（付記８）
オーディオ信号が有する複数のチャネルのそれぞれについて、当該チャネルの信号を時間周波数変換することにより時刻ごとの周波数成分を表す時間周波数信号を生成し、
前記複数のチャネルのそれぞれについてトランジェントを検出し、トランジェント検出時刻を求め、
前記複数のチャネルのうち、前記トランジェント検出時刻が最も早い先検出チャネルと、当該先検出チャネル以外のチャネルである後検出チャネル間での前記トランジェント検出時刻の差が同一の音に起因するトランジェントとみなせる範囲内である場合、前記後検出チャネルのトランジェント検出時刻を前記先検出チャネルのトランジェント検出時刻に一致させるよう補正し、
前記複数のチャネルのそれぞれについて、前記トランジェントが検出されていない区間に非過渡音用グリッドを設定し、前記トランジェントが検出されている区間には、前記非過渡音用グリッドよりも短い時間長の過渡音用グリッドを設定し、
前記過渡音用グリッドまたは前記非過渡音用グリッドごとに、前記オーディオ信号を符号化する、
ことをコンピュータに実行させるオーディオ符号化用コンピュータプログラム。
（付記９）
入力された動画像信号を符号化する動画像符号化部と、
入力された複数のチャネルを持つオーディオ信号を符号化するオーディオ符号化部であって、
前記複数のチャネルのそれぞれについて、当該チャネルの信号を時間周波数変換することにより時刻ごとの周波数成分を表す時間周波数信号を生成する時間周波数変換部と、
前記複数のチャネルのそれぞれについてトランジェントを検出し、トランジェント検出時刻を求めるトランジェント検出部と、
前記複数のチャネルのうち、前記トランジェント検出時刻が最も早い先検出チャネルと、当該先検出チャネル以外のチャネルである後検出チャネル間での前記トランジェント検出時刻の差が同一の音に起因するトランジェントとみなせる範囲内である場合、前記後検出チャネルのトランジェント検出時刻を前記先検出チャネルのトランジェント検出時刻に一致させるよう補正するトランジェント時刻補正部と、
前記複数のチャネルのそれぞれについて、前記トランジェントが検出されていない区間に非過渡音用グリッドを設定し、前記トランジェントが検出されている区間には、前記非過渡音用グリッドよりも短い時間長の過渡音用グリッドを設定するグリッド決定部と、
前記過渡音用グリッドまたは前記非過渡音用グリッドごとに、前記オーディオ信号を符号化する符号化部と、
を有するオーディオ符号化部と、
前記動画像符号化部により符号化された動画像信号と前記オーディオ符号化部により符号化されたオーディオ信号を多重化することにより映像ストリームを生成する多重化部と、
を有する映像伝送装置。
【符号の説明】
【００８６】
１    オーディオ符号化装置
１１    ダウンサンプリング部
１２    AAC符号化器
１３    SBR符号化器
１４    ビットストリーム生成部
２１    時間周波数変換部
２２    グリッド生成部
２３    グリッドパワー算出部
２４    パワー量子化部
２５    補助情報算出部
２６    補助情報量子化部
２７    多重化部
３１    パワー算出部
３２    トランジェント検出部
３３    トランジェント時刻補正部
３４    グリッド決定部
１００    映像伝送装置
１０１    映像取得部
１０２    音声取得部
１０３    映像符号化部
１０４    音声符号化部
１０５    多重化部
１０６    通信処理部
１０７    出力部
【図１】
0005633431.tif 000006
【図２】
0005633431.tif 000007
【図３】
0005633431.tif 000008
【図４】
0005633431.tif 000009
【図５】
0005633431.tif 000010
【図６】
0005633431.tif 000011
【図７】
0005633431.tif 000012
【図８】
0005633431.tif 000013
【図１０】
0005633431.tif 000014
【図９】
0005633431.tif 000015