(57)【要約】【課題】復号処理のリアルタイム性を損なうことなく、復号化装置の演算処理能力を十分利用できる符号化を行う。【解決手段】現フレームの符号化処理を特定するパラメータの許容範囲を、その許容範囲における最大の演算処理量が、符号化処理を行う現フレームとその直前の時間区間である第１区間とからなる第２区間で復号化装置が処理可能な復号化演算量に対応する第１指標値と、第１区間において入力信号を実際に符号化処理して得られた符号を復号化装置で復号化するために必要な演算処理量に対応する第２指標値と、の差分により特定される復号化装置における現フレームの復号化処理の演算処理量の最大値以下となるように、抽出する。【選択図】図１
2008026460.tif 000002
【特許請求の範囲】
【請求項１】
所定の時間区間であるフレーム毎に、対向させる復号化装置で復号可能な範囲内で、符号化処理を特定する１種類以上のパラメータを選択可能な符号化装置であって、
現フレームの上記パラメータの選択可能な範囲（以下、「許容範囲」と呼ぶ）を、当該許容範囲における復号化処理の最大の演算処理量が、現フレームとその直前の時間区間である第１区間とからなる第２区間で上記復号化装置が処理可能な復号化処理の演算処理量に対応する第１指標値と、第１区間において入力信号を実際に符号化処理して得られた符号を復号化装置で復号化するために必要な演算処理量に対応する第２指標値と、の差分により特定される上記復号化装置における現フレームの復号化処理の演算処理量の最大値以下となるように、求める許容範囲抽出制御部を有することを特徴とする符号化装置。
【請求項２】
請求項１に記載の符号化装置であって、
上記許容範囲抽出制御部は、
上記第１指標値と上記第２指標値との差分を求める余裕値算出部と、
上記第２区間で入力信号を実際に符号化処理して得た全符号を上記復号化装置で復号化するための演算処理量が、上記第２区間全体での上記復号化装置の復号化演算処理能力以下となるように、上記差分に基づき、上記現フレームでの上記パラメータの許容範囲を抽出する許容範囲抽出部と、
を有することを特徴とする符号化装置。
【請求項３】
請求項１に記載の符号化装置であって、
上記復号化装置は、
各フレームの上記符号を復号化して得た復号信号を順次蓄積しつつ、所定数フレーム分の復号信号を蓄積した後にのみ、蓄積した復号信号を古いフレームから順に出力する符号信号蓄積出力部を有し、
上記第１区間の長さは、
１フレーム以上であり、かつ、上記所定数フレーム分の時間区間の長さ以下である、
ことを特徴とする符号化装置。
【請求項４】
請求項３に記載の符号化装置であって、
上記第１区間の長さは、
上記所定数フレーム分の時間区間の長さと同一である、
ことを特徴とする符号化装置。
【請求項５】
請求項１に記載の符号化装置であって、
上記入力信号を実際に符号化処理して得られた符号を上記復号化装置で復号化するために必要なフレーム毎の演算処理量に対応する第３指標値を記憶する第１記憶部と、
上記パラメータの許容範囲から選択されたパラメータで特定される符号化処理によって上記現フレームの上記入力信号を符号化した符号を、上記復号化装置で復号化するために必要な演算処理量に対応する第４指標値を算出する所要値算出部とを、さらに有し、
上記第２指標値は、
上記第１区間に属する各フレームの上記第３指標値の総和であり、
上記第１記憶部に格納された上記第３指標値は、
上記所要値算出部が算出した上記第４指標値によって更新される、
ことを特徴とする符号化装置。
【請求項６】
請求項１に記載の符号化装置であって、
複数の上記パラメータと、当該各パラメータでそれぞれ特定される符号化処理によって上記入力信号を符号化した場合に得られる符号を復号化装置で復号化するために必要な演算処理量に対応する第５指標値と、を関連付けたテーブルを記憶する第２記憶部を、さらに有し、
上記許容範囲抽出部は、
上記差分を検索キーとして上記テーブルを検索し、上記差分以下となる上記第５指標値の少なくとも一部に関連付けられた上記パラメータからなる範囲を、上記現フレームでの上記パラメータの許容範囲として抽出する、
ことを特徴とする符号化装置。
【請求項７】
請求項１に記載の符号化装置であって、
上記パラメータと、当該パラメータでそれぞれ特定される符号化処理によって上記入力信号を符号化した場合に得られる符号を復号化装置で復号化するために必要な演算処理量に対応する第５指標値と、の対応を示す関数を記憶する第２記憶部を、さらに有し、
上記許容範囲抽出部は、
上記差分と上記関数とを用い、上記差分以下となる上記第５指標値の少なくとも一部に対応する上記パラメータからなる範囲を、上記現フレームでの上記パラメータの許容範囲として抽出する、
ことを特徴とする符号化装置。
【請求項８】
請求項１，３，４の何れかに記載の符号化装置であって、
上記第１指標値は、
上記第２区間で上記復号化装置が処理可能な復号化演算量の最大値に対応する値である、
ことを特徴とする符号化装置。
【請求項９】
請求項１，５から８の何れかに記載の符号化装置であって、
上記の各指標値は、
いずれも演算処理の命令数であるか、又は、いずれも演算処理時間である、
ことを特徴とする符号化装置。
【請求項１０】
請求項１，５から８の何れかに記載の符号化装置であって、
上記パラメータの１つは、
線形予測次数であるか、又は、線形予測残差の符号化処理方式を示す情報である、
ことを特徴とする符号化装置。
【請求項１１】
請求項１に記載の符号化装置であって、
上記パラメータの１つは、
線形予測次数であり、
上記第１指標値は、
上記第２区間の各フレームで上記復号化装置が復号化処理可能な符号に対応する、フレーム毎の線形予測次数の上記第２区間での総和であり、
上記第２指標値は、
上記第１区間の各フレームにおいて入力信号を実際に符号化処理した際の線形予測次数の上記第１区間での総和である、
ことを特徴とする符号化装置。
【請求項１２】
請求項１１に記載の符号化装置であって、
上記第１指標値は、
上記第２区間の各フレームでの上記復号化装置の復号化演算量が最大となる符号に対応する、フレーム毎の線形予測次数の上記第２区間での総和である、
ことを特徴とする符号化装置。
【請求項１３】
所定の時間区間であるフレーム毎に、対向させる復号化装置で復号可能な範囲内で、符号化処理を特定する１種類以上のパラメータを選択可能な符号化方法であって、
現フレームの上記パラメータの選択可能な範囲（以下、「許容範囲」と呼ぶ）を、当該許容範囲における復号化処理の最大の演算処理量が、現フレームとその直前の時間区間である第１区間とからなる第２区間で上記復号化装置が処理可能な復号化処理の演算処理量に対応する第１指標値と、第１区間において入力信号を実際に符号化処理して得られた符号を復号化装置で復号化するために必要な演算処理量に対応する第２指標値と、の差分により特定される上記復号化装置における現フレームの復号化処理の演算処理量の最大値以下となるように、求める許容範囲抽出制御過程を有することを特徴とする符号化方法。
【請求項１４】
請求項１３に記載の符号化方法であって、
上記許容範囲抽出制御過程は、
余裕値算出が、上記第１指標値と上記第２指標値との差分を求める過程と、
上記第２区間で入力信号を実際に符号化処理して得た全符号を上記復号化装置で復号化するための演算処理量が、上記第２区間全体での上記復号化装置の復号化演算処理能力以下となるように、許容範囲抽出部が、上記差分に基づき、上記現フレームでの上記パラメータの許容範囲を抽出する過程と、
を有することを特徴とする符号化方法。
【請求項１５】
請求項１３に記載の符号化方法であって、
上記の各指標値は、
いずれも演算処理の命令数であるか、又は、いずれも演算処理時間である、
ことを特徴とする符号化方法。
【請求項１６】
請求項１３記載の符号化方法であって、
上記パラメータの１つは、
線形予測の次数であるか、又は、線形予測残差の符号化処理方式を示す情報である、
ことを特徴とする符号化方法。
【請求項１７】
請求項１３に記載の符号化方法であって、
上記パラメータの１つは、
線形予測次数であり、
上記第１指標値は、
上記第２区間の各フレームで上記復号化装置が復号化処理可能な符号に対応する、フレーム毎の線形予測次数の上記第２区間での総和であり、
上記第２指標値は、
上記第１区間の各フレームにおいて入力信号を実際に符号化処理した際の線形予測次数の上記第１区間での総和である、
ことを特徴とする符号化方法。
【請求項１８】
請求項１から１２の何れかに記載の符号化装置としてコンピュータを機能させるためのプログラム。
【請求項１９】
請求項１８に記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号の圧縮符号化技術に関し、特に、復号化装置の演算処理量に上限がある場合でも常に信号がリアルタイム再生されるように、信号を圧縮符号化する符号化装置、それらの方法、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
［一般的な圧縮符号化］
音響信号データや映像情報データを通信路により伝送したり、情報記録媒体に記録する場合には、音響信号データや映像情報データを情報圧縮符号化により圧縮データに変換し、圧縮データを伝送したり記録する方法が、伝送効率や記録効率の点で有効である。音響信号データの圧縮方法として、ＭＰＥＧ−４  ＡＬＳ（例えば、非特許文献１参照）やＭＰＥＧ−４  ＡＡＣ等がある。画像信号データの圧縮方法としては、ＭＰＥＧ−４  Ｖｉｄｅｏ等がある。
【０００３】
［線形予測次数を可変とする方法］
非特許文献１に記載されているように、ＭＰＥＧ−４  ＡＬＳ標準の復号化装置では、０〜１０２３次の範囲で、フレーム毎に異なる線形予測分析の次数を設定することが出来る。一般に、線形予測次数が高ければ予測残差を小さくすることができ、予測残差の符号量を減少させることができる。その一方、予測次数が高くなると予測係数の符号化に必要な符号量は増加する。そのため、フレーム毎の入力信号によって合計符号量が最小となる線形予測次数は異なる。そこで、ＭＰＥＧ−４  ＡＬＳ標準の復号化装置に対応する符号化装置では、各フレームにおいて、前記の予め決められた線形予測次数の範囲内で、予測残差の符号量と線形予測係数の符号量との総和が最小になるように線形予測次数を決定できるようにしている。
【０００４】
図１６（ａ）に、従来の符号化装置５１０の一例を示す。また、図１７に、符号化装置５１０が行う処理フローの一例を示す。符号化装置５１０は、図１７の処理をフレーム毎の入力信号について行い、そのフレームの出力符号を生成する。制御部５１４には、予め線形予測分析の次数の許容範囲が設定されている。ここでは、許容範囲中の最小の次数をＰｍｉｎ、最大の次数をPｍａｘとする。
【０００５】
ｓｔｅｐ２０１：制御部５１４が、Ｐｍｉｎをｐ、十分に大きな値をＭｍｉｎとする。
ｓｔｅｐ２０２：ｐが０でない場合はｓｔｅｐ２０４に進み、ｐが０の場合はｓｔｅｐ２０３に進む。
ｓｔｅｐ２０３：入力信号をそのまま予測残差信号とし、ｓｔｅｐ２０７に進む。
ｓｔｅｐ２０４：符号生成処理部５１１の線形予測分析部５１１ａが、１次からｐ次までの線形予測係数を求める。
ｓｔｅｐ２０５：線形予測係数符号化部５１１ｂが、１次からｐ次までの線形予測係数を符号化した線形予測係数符号Ｃｐ（ｐ）と、１次からｐ次までのそれぞれの量子化済線形予測係数を生成する。線形予測係数の符号化は、次数毎にスカラ量子化して行ってもよいし、複数の次数の線形予測係数を纏めてベクトル量子化して行ってもよい。
【０００６】
ｓｔｅｐ２０６：線形予測残差算出部５１１ｃが、ｓｔｅｐ２０５で得られた量子化済線形予測係数を設定した線形予測フィルタにより、入力信号をフィルタリングし、予測残差信号を生成する。
ｓｔｅｐ２０７：予測残差符号化部５１１ｄが、ｓｔｅｐ２０６またはｓｔｅｐ２０３で得られた予測残差信号を符号化して予測残差符号Ｃｒ（ｐ）を得る。
ｓｔｅｐ２０８：符号決定部５１３が、ｓｔｅｐ２０５で得られた線形予測係数符号Ｃｐ（ｐ）とｓｔｅｐ２０７で得られた予測残差符号Ｃｐ（ｐ）との合計符号量Ｍ（ｐ）を求める。ただし、ｐ＝０の場合は、線形予測係数符号Ｃｐ（ｐ）は無いので、予測残差符号Ｃｐ（ｐ）の符号量がそのまま合計符号量Ｍ（ｐ）となる。
【０００７】
ｓｔｅｐ２０９：符号決定部５１３が、ｓｔｅｐ２０８で得られた合計符号量Ｍ（ｐ）とＭｍｉｎとを比較し、Ｍ（ｐ）がＭｍｉｎより小さい場合は、Ｍ（ｐ）をＭｍｉｎとして、Ｃｐ（ｐ）を最適線形予測係数符号Ｃｐｏｐｔとして、Ｃｒ（ｐ）を最適予測残差符号Ｃｒｏｐｔとして、符号決定部５１３内の記憶部に格納する。ただし、ｐ＝０の場合は、線形予測係数符号Ｃｐ（ｐ）は無いので、最適線形予測係数符号Ｃｐｏｐｔの格納は行わない。
ｓｔｅｐ２１０：制御部５１４が、ｐがＰｍａｘであるかを確認し、ｐがＰｍａｘででない場合はｓｔｅｐ２１１に、ｐがＰｍａｘである場合はｓｔｅｐ２１３に進む。
【０００８】
ｓｔｅｐ２１１：制御部５１４が、ｐに１を加算したものをｐに置き換える。
ｓｔｅｐ２１２：線形予測分析部５１１ａが、ｐ次の線形予測係数を求め、制御部５１４が、ｓｔｅｐ２０５に戻るよう制御する。
ｓｔｅｐ２１３：符号決定部５１３が、最適線形予測係数符号Ｃｐｏｐｔと最適予測残差符号Ｃｒｏｐｔとを出力符号として出力する。ただし、最適次数が０次の場合は、最適線形予測係数符号Ｃｐｏｐｔが無いので、最適予測残差符号Ｃｒｏｐｔのみが出力符号として出力される。
【０００９】
図１６（ｂ）に、従来の復号化装置５２０の一例を示す。復号化装置５２０には、図１６（ａ）の符号化装置５１０の出力符号である入力符号が入力される。符号分離部５２１は、入力符号を線形予測係数符号Ｃｐと予測残差符号Ｃｒとに分離する。予測残差復号化部５２３は、予測残差符号Ｃｒを復号して予測残差信号を得る。線形予測係数復号部５２２は、線形予測係数符号Ｃｐを復号して量子化済線形予測係数を得る。線形予測合成部５２４は、量子化済線形予測係数係数を用い、予測残差信号を線形予測合成することで復号信号を得る。
【００１０】
ただし、予測次数が０次の場合は、線形予測係数符号Ｃｐが無いので、符号分離部５２１、線形予測係数復号部５２２、線形予測合成部５２４の処理を行う必要は無く、入力された符号が予測残差符号Ｃｒとして予測残差復号化部５２３に入力され、予測残差復号化部５２３が出力した予測残差信号がそのまま復号信号となる。
【００１１】
［携帯端末での再生を目的とした場合の説明］
圧縮符号化された音響信号データや映像情報データは、携帯電話やポータブル再生機器でリアルタイムに復号しながら再生される場合がある。この場合は、音響信号データや映像情報データを圧縮符号化した圧縮データを、携帯電話やポータブル再生機器に内蔵または接続された記憶装置または記憶メディアに格納しておく。そして、それらを再生する際には、記憶装置または記憶メディアから読み出した圧縮データを、携帯電話やポータブル再生機器内の演算処理装置によって復号して音響信号データや映像情報データを得て、それらを音響・映像信号に変換して出力する。
【００１２】
一般に、線形予測次数が高くなると、それに比例して、復号に必要な処理演算量も増加する。上記のように予測残差の符号量と線形予測係数の符号量の総和が最小になるように線形予測次数を決定した場合、次数によっては、フレームの復号処理が携帯電話やポータブル再生機器内の演算処理装置（または、演算処理装置中の復号処理に割り当て可能なリソース）のフレームの時間長での演算処理能力を超えてしまう場合、すなわち、リアルタイムで復号できない場合がある。この場合は、音が途切れたり映像が一時止まったりする等の不具合が生じてしまう。
【００１３】
この不具合を避けるためには、携帯電話やポータブル再生機器内の演算処理装置の演算処理量を超えないように、復号処理に必要な処理量の上限を考慮して符号化を行う必要がある。例えば、復号化を行う携帯電話やポータブル再生機器内の演算処理装置の演算処理能力が、Ｘｍｉｐｓ（１００００００×Ｘ命令／秒）であり、１フレームが４２ｍｓ（０．０４２秒）である場合は、１フレーム分の信号をリアルタイムに復号するためには、１フレームの復号処理の処理演算量を４２０００×Ｘ命令以下とする必要がある。このため、予め１フレームの復号処理の演算処理量が４２０００×Ｘ命令以下となる最大の線形予測次数を求めておき、これを符号化装置における次数の許容範囲の最大次数Ｐｍａｘとする。例えば、前述の非特許文献1に記載されている復号化方法に対応する符号化方法では、アルゴリズム的には線形予測次数を最大で１０２３次とすることが可能である。しかし、次数が高ければ復号に必要な演算処理量も大きいため、フレーム毎の復号処理の演算処理量が復号処理を行う機器のフレームの時間長での最大の演算処理量を超えない最大の次数を予め求めておく。例えば、復号処理を行う機器のフレームの時間長での最大の演算処理量を超えない最大の次数が５１２である場合は、５１２を符号化装置における次数の許容範囲の最大次数Ｐｍａｘとして、圧縮率が最大となる次数（最適次数）を探索して、その最適次数で圧縮符号化して得られる線形予測係数符号と予測残差符号とを出力する。
【００１４】
ここまでは、符号化処理を特定するパラメータとして線形予測次数を一例に説明してきたが、符号化処理において選択可能なその他のパラメータ（例えば、符号化パラメータやアルゴリズム）について同様のことが言える。即ち、リアルタイムでの復号化処理を保証するためには、フレーム毎の復号化の演算処理量が復号処理を行う機器の演算処理能力の最大値を超えないように、符号化処理を特定するパラメータの許容範囲を設定する必要がある。
【非特許文献１】ISO/IEC 14496-3 AMENDMENT 2: Audio Lossless Cording(ALS), new audio profiles and BSAC extensions
【発明の開示】
【発明が解決しようとする課題】
【００１５】
上記のように、従来技術では、音響信号や映像信号を途切れや一時停止なく再生することを目的として、復号処理のリアルタイム性を保証する場合に、復号に必要な処理量の最悪値を基準として、符号化処理を特定するパラメータの許容範囲を予め定めていた。しかし、この場合、復号に必要な平均の演算処理量が小さく、複数のフレームの演算処理量全体を見ると復号化装置の演算処理量に余裕があっても、フレーム毎に上記パラメータの許容範囲が固定されているため、復号化装置の演算処理能力を十分に利用できない。
本発明はこのような点に鑑みてなされたものであり、復号処理のリアルタイム性を損なうことなく、復号化装置の演算処理能力を十分利用可能な符号化技術を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明は、所定の時間区間であるフレーム毎に、対向させる復号化装置で復号可能な範囲内で、符号化処理を特定する１つ以上のパラメータが選択可能な符号化技術に適用される。本発明では上記課題を解決するために、現フレームの符号化処理を特定するパラメータの選択可能な範囲（以下、「許容範囲」と呼ぶ）を、当該許容範囲における復号化処理の最大の演算処理量が、現フレームとその直前の時間区間である第１区間とからなる第２区間で復号化装置が処理可能な復号化処理の演算処理量に対応する第１指標値と、第１区間において入力信号を実際に符号化処理して得られた符号を復号化装置で復号化するために必要な演算処理量に対応する第２指標値と、の差分により特定される復号化装置における現フレームの復号化処理の演算処理量の最大値以下となるように、求める。例えば、余裕値算出部が、符号化処理を行う現フレームとその直前の時間区間である第１区間とからなる第２区間で復号化装置が処理可能な復号化演算量に対応する第１指標値と、第１区間において入力信号を実際に符号化処理して得られた符号を復号化装置で復号化するために必要な演算処理量に対応する第２指標値と、の差分を求める。そして、この差分に基づき、第２区間で入力信号を実際に符号化処理して得た全符号を復号化装置で復号化するための演算処理量が、第２区間全体での復号化装置の復号化演算処理能力以下となるように、許容範囲抽出部が、現フレームでのパラメータの許容範囲を抽出する。なお、パラメータとしては、例えば、線形予測次数や、線形予測残差の符号化処理方式を示す情報などを例示できる。
【００１７】
ここで、第１指標値は、第２区間で復号化装置が復号化演算可能な演算処理量に対応する。また、第２指標値は、第１区間で実際に復号化装置で行われた復号化演算処理量を示す。第２区間全体としてみた場合、復号化装置には、少なくとも、第１指標値と第２指標値との差分に対応する復号化演算能力が残存しているといえる。よって、この差分を基準とすることにより、復号化装置の復号化演算処理能力を超えることなく、復号化装置の演算処理能力を十分利用可能なパラメータの許容範囲を決定できる。
【００１８】
そして、各フレームの符号を復号化して得た復号信号を順次蓄積しつつ、所定数フレーム分の復号信号の蓄積後、蓄積した復号信号を古いフレームから順に出力する符号信号蓄積出力部を復号化装置に設けることにより、再生信号のリアルタイム性を実現できる。なお、リアルタイム性とは、各フレームの符号を順次復号しつつ、各再生信号を再生する処理において、再生信号が途切れることなく再生可能である性質を意味する。
【００１９】
ここで、第１区間の長さは、１フレーム以上であり、かつ、符号信号蓄積出力部に蓄積される所定数フレーム分の時間区間の長さ以下であることが望ましい。これにより、リアルタイム性を確実に確保できるからである。さらに、第１区間の長さは、所定数フレーム分の時間区間の長さと同一であることがより望ましい。これにより、リアルタイム性を確実に確保しつつ、符号化装置の符号化演算処理能力を最大限活用できるからである。
【００２０】
また、本発明において好ましくは、入力信号を実際に符号化処理して得られた符号を復号化装置で復号化するために必要なフレーム毎の演算処理量に対応する第３指標値を記憶する第１記憶部と、許容範囲抽出部で抽出されたパラメータの許容範囲から選択されたパラメータで特定される符号化処理によって現フレームの入力信号を符号化した符号を、復号化装置で復号化するために必要な演算処理量に対応する第４指標値を算出する所要値算出部とを設ける。そして、第２指標値は、第１区間に属する各フレームの第３指標値の総和として求められ、第１記憶部に格納された第３指標値は、所要値算出部が算出した第４指標値によって更新される。
【００２１】
このような構成により、現フレームの更新（符号化処理を行うフレームの更新）に伴う第２指標値の更新を効率よく行うことができ、順次更新される現フレームで行われるパラメータの抽出を効率化できる。
【００２２】
また、本発明において好ましくは、複数のパラメータと、当該各パラメータでそれぞれ特定される符号化処理によって入力信号を符号化した場合に得られる符号を復号化装置で復号化するために必要な演算処理量に対応する第５指標値と、を関連付けたテーブルを記憶する第２記憶部を、さらに有する。そして、許容範囲抽出部は、上記差分を検索キーとしてテーブルを検索し、上記差分以下となる第５指標値の少なくとも一部に関連付けられたパラメータからなる範囲を、現フレームでのパラメータの許容範囲として抽出する。
【００２３】
このように、複数のパラメータとそれらに対応する第５指標値とを対応付けたテーブルを用意しておくことにより、上記差分を用いたパラメータ範囲の抽出を効率よく実現できる。
【００２４】
また、本発明において好ましくは、パラメータと、当該パラメータでそれぞれ特定される符号化処理によって入力信号を符号化した場合に得られる符号を復号化装置で復号化するために必要な演算処理量に対応する第５指標値と、の対応を示す関数を記憶する第２記憶部を、さらに有する。そして、許容範囲抽出部は、上記差分と上記関数とを用い、上記差分以下となる第５指標値の少なくとも一部に対応するパラメータからなる範囲を、現フレームでのパラメータの許容範囲として抽出する。
【００２５】
このように、複数のパラメータとそれらに対応する第５指標値との対応を示す関数を用意しておくことにより、上記差分を用いたパラメータ範囲の抽出を効率よく実現できる。
【００２６】
また、本発明において好ましくは、第１指標値は、第２区間で復号化装置が処理可能な復号化演算量の最大値に対応する値である。これにより、復号化装置の演算処理能力を最大限利用可能となるからである。
また、好ましくは、本発明の各指標値は、いずれも演算処理の命令数であるか、又は、いずれも演算処理時間である。これにより、復号化装置の演算処理能力を的確に反映したパラメータ範囲の設定が可能となる。
【００２７】
また、本発明において好ましくは、パラメータの１つは、線形予測次数であり、第１指標値は、第２区間の各フレームで復号化装置が復号化処理可能な符号に対応する、フレーム毎の線形予測次数の第２区間での総和である。また、第２指標値は、第１区間の各フレームにおいて入力信号を実際に符号化処理した際の線形予測次数の第１区間での総和である。これにより、上述した第１指標値と第２指標値との差分に基づき、現フレームで符号を生成するためのパラメータの許容範囲を抽出する処理が簡略化できる。
【００２８】
ここでより好ましくは、第１指標値は、第２区間の各フレームでの復号化装置の復号化演算量が最大となる符号に対応する、フレーム毎の線形予測次数の第２区間での総和である。これにより、復号化装置の演算処理能力を最大限利用可能となる。
【発明の効果】
【００２９】
本発明では、復号処理のリアルタイム性を損なうことなく、復号化装置の演算処理能力を十分利用可能な符号化を行うことができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明を実施するための最良の形態を、図面を参照して説明する。
＜実施例１＞
前述のように、本発明は、所定の時間区間であるフレーム毎に、対向させる復号化装置で復号可能な範囲内で、符号化処理を特定する１種類以上のパラメータを選択可能な符号化技術において、現フレームの符号化処理を特定するパラメータの選択可能な許容範囲を、その許容範囲における復号化処理の最大の演算処理量が、現フレームとその直前の時間区間である第１区間とからなる第２区間で上記復号化装置が処理可能な復号化処理の演算処理量に対応する第１指標値と、第１区間において入力信号を実際に符号化処理して得られた符号を復号化装置で復号化するために必要な演算処理量に対応する第２指標値と、の差分により特定される上記復号化装置における現フレームの復号化処理の演算処理量の最大値以下となるように、求めることにより、各フレームにおいては復号処理の演算処理量が復号化装置の復号化演算処理能力を超えることがあっても、第２区間全体では復号化装置での復号処理の演算処理量が復号化装置の復号化演算処理能力以下となるようにするものである。しかし、実施例１では、「符号化処理を特定するパラメータ」が「線形予測次数」であり、「指標値」が「演算処理時間」である場合を例にとって説明する。また、以下で説明する各演算結果は、逐一、図示していないメモリに格納され、必要に応じて読み出されるが、以下ではその説明を省略する。
図１（ａ）に本実施例の符号化装置１０の構成図を、図１（ｂ）に本実施例の符号化装置１０が出力した出力符号を復号化して出力信号を得る復号化装置２０の構成図を示す。
【００３１】
［復号化装置］
まず、図１（ｂ）の復号化装置２０について説明する。
図１（ｂ）に示すように、復号化装置２０は、復号信号生成処理部２１及び復号信号蓄積出力部２２を有している。また、復号信号生成処理部２１は、符号分離部２１ａ、予測残差復号化部２１ｃ、線形予測係数復号部２１ｂ及び線形予測合成部２１ｄを有している。
【００３２】
符号分離部２１ａ、線形予測係数復号部２１ｂ、予測残差復号化部２１ｃ及び線形予測合成部２１ｄが行う処理は、それぞれ、図１６（ｂ）に示した符号分離部５２１、線形予測係数復号部５２２、予測残差復号化部５２３及び線形予測合成部５２４が行う処理と同一であるので、ここでは説明を省略する。
【００３３】
復号信号蓄積出力部２２は、フレーム毎に線形予測合成部２１ｄが出力した復号信号を蓄積し、サンプル毎の復号信号を出力信号として出力する。サンプル毎に出力された出力信号は、図示しないＤ／Ａ変換器に入力されてアナログ信号とされ、図示しない増幅器で増幅され、図示しないスピーカ等から再生される。
【００３４】
ここで、復号信号蓄積出力部２２は、復号信号の蓄積の開始後、最初のＱフレーム（Ｑは２以上の整数）分の復号信号を蓄積するまで、復号信号の出力を開始しない。そして、Ｑフレーム分の復号信号を蓄積した後、復号信号蓄積出力部２２は、蓄積した復号信号の出力を古いフレームから順に開始する。
【００３５】
このような構成の場合、復号信号生成処理部２１において、何らかの原因で、あるフレームの演算処理にフレーム長を超える時間がかかってしまった場合でも、復号信号蓄積出力部２２に蓄積されている復号信号の量が減るだけである。復号信号蓄積出力部２２に蓄積されている復号信号が全て出力されない限り、サンプル毎の出力信号が途切れることはない。また、復号信号生成処理部２１が、別のフレームの演算処理をフレーム長未満の時間で行うことができれば、復号信号蓄積出力部２２に蓄積される復号信号の量を増やすことができる。
【００３６】
これにより、復号信号蓄積出力部２２に未出力の復号信号が蓄積されている限りは、出力信号は途切れることはなく、再生処理のリアルタイム性が確保される。本実施例の符号化装置は、復号信号のサンプル毎の出力中に、復号信号蓄積出力部２２に蓄積された未出力の復号信号が無くなってしまわないよう、以下のように符号化処理の線形予測次数の許容範囲を制御する。
【００３７】
［符号化装置］
次に、図１（ａ）の符号化装置１０についで説明する。
図１（ａ）に示すように、本実施例の符号化装置１０は、符号生成処理部１１、最大次数決定制御部１２（「許容範囲抽出制御部」に相当）、符号決定部１３及び制御部１４を有している。ここで、符号生成処理部１１は、線形予測分析部１１ａ、線形予測係数符号化部１１ｂ、線形予測残差算出部１１ｃ及び予測残差符号化部１１ｄを有している。また、最大次数決定制御部１２は、復号化所要時間テーブル記憶部１２ａ（「第２記憶部」に相当）、所要時間記憶部１２ｂ（「第１記憶部」に相当）、余裕時間算出部１２ｃ（「余裕値算出部」に相当）、最大次数決定部１２ｄ（「許容範囲抽出部」に相当）及び所要時間算出部１２ｅ（「所要値算出部」に相当）を有している。
【００３８】
図１（ａ）の本実施例の符号化装置１０と、図１６（ａ）の従来の符号化装置５１０との主な相違点は、最大次数決定制御部１２を有することと、制御部１４が最大次数決定制御部１２と情報のやりとりを行うことである。本実施例の符号化装置１０は、最大次数決定制御部１２により、フレーム毎に線形予測次数（「パラメータ」に相当）の最大次数Pｍａｘを決定し、符号決定部１３は、制御部１４の制御のもと、この最大次数Pｍａｘによって定まる許容範囲（「パラメータの許容範囲」に相当）内で各フレームでの線形予測次数を決定する。以下、本実施例の符号化装置１０による符号化処理を説明する。
【００３９】
図２に本実施例の符号化処理のフローを示し、図３に図２のステップＳ３（最適次数の決定と符号決定処理）の詳細フローを示す。なお、図２は１つのフレームについての符号化処理のみを示している。実際は、図２と同様な処理が各フレームについて順次実行される。また、以下では、フレーム番号をｎで表すものとする。これにより、現フレームの番号はｎ＝０，その１つ前のフレームの番号はｎ＝−１，Ｎ個前のフレームの番号はｎ＝−Ｎと表される。ここでＮは自然数とする。また、1フレームの時間長をフレーム長と呼び、ここではＴとする。
【００４０】
前処理：まず、前処理によって、複数の線形予測次数と、当該各線形予測次数による符号化処理によって入力信号を符号化した場合に得られる符号を復号信号生成処理部２１で復号化するために必要な演算処理時間（復号信号生成処理部２１における
復号化処理の所要時間／「第５指標値」に相当）と、を対応付けた復号化所要時間テーブルを、復号化所要時間テーブル記憶部１２ａに格納しておく。ここで、復号化所要時間テーブルの線形予測次数の範囲は、復号化装置２０で復号可能な最小次数から最大次数までとする。例えば、上記のＭＰＥＧ−４  ＡＬＳであれば、最小次数は０、最大次数は１０２３である。復号化所要時間テーブルの一例を図４に示す。
【００４１】
ｓｔｅｐ１：符号化処理を行う場合、まず、符号化装置１０の最大次数決定制御部１２の余裕時間算出部１２ｃが、現フレームと過去Ｎフレームとの合計時間（Ｎ＋１）×Ｔ（「第１指標値」に相当）から、所要時間記憶部１２ｂに記憶されたＮ個前のフレーム（ｎ＝−Ｎのフレーム）から直前のフレーム（ｎ＝−１のフレーム）までの所要時間
τ（ｎ）（「第３指標値」に相当）の和（「第２指標値」に相当）を減算したもの
【数１】
2008026460.tif 000003
を、現フレーム（ｎ＝０）の余裕時間（「差分」に相当）として算出する。
【００４２】
なお、自然数Ｎは、前述の整数Ｑ（復号信号蓄積出力部２２が最初に蓄積する復号信号のフレーム数）以下であることが望ましい。これにより、復号化装置２０が出力信号を出力する再生処理のリアルタイム性が確保できるからである。また、より好ましくは、ＮとＱとは同値であることが望ましい。これにより、復号化装置２０の再生処理のリアルタイム性を確保しつつ、復号化装置２０の復号化演算処理能力を最大限利用できるからである。本実施例では、Ｎ＝Ｑである場合を例示する。なお、ＮやＱの値は、予め定められていてもよいし、適宜変更可能な値であってもよい。また、所要時間τ（ｎ）は、現フレーム以前のフレームｎにおいて、入力信号を実際に符号化処理して得られた符号を、復号化装置２０で復号化するために必要な演算処理時間を意味する。また、上記過去Ｎフレームによって構成される時間区間が「第１区間」に対応し、現フレームと当該過去Ｎフレームとによって構成される時間区間が「第２区間」に対応する。
【００４３】
余裕時間算出部１２ｃによって算出された上記余裕時間の情報は、最大次数決定部１２ｄに送られ、制御部１４は、次に以下のｓｔｅｐ２の実行がされるよう制御する。
ｓｔｅｐ２：ｓｔｅｐ２では、最大次数決定部１２ｄが、余裕時間算出部１２ｃによって算出された上記「余裕時間」を検索キーとして、復号化所要時間テーブル記憶部１２ａに記憶された復号化所要時間テーブル（例えば図４）を検索し、当該「余裕時間」以下の長さの「復号信号生成処理部２１における復号化処理の所要時間（第５指標値）」のうち最大のものに関連付けられた「線形予測次数」を、その現フレームの最大次数Ｐｍａｘとして求め、制御部１４に出力する。なお、本実施例の場合、Ｐｍｉｎを復号化装置２０で復号可能な最小次数とした場合における、Ｐｍｉｎ以上Ｐｍａｘ以下の範囲が「現フレームでのパラメータの許容範囲」に相当する。最大次数Ｐｍａｘを受け取った制御部１４は、次に以下のｓｔｅｐ３を実行するよう制御する。
ｓｔｅｐ３：ｓｔｅｐ３では、制御部１４の制御のもと、符号生成処理部１１及び符号決定部１３が、Ｐｍｉｎ以上Ｐｍａｘ以下の範囲からの最適次数（圧縮率が最大となる次数）の選択と、それに対応する出力符号の決定とを行う。以下、図３に沿って、この処理を説明する。
【００４４】
＜ｓｔｅｐ３の詳細＞
ｓｔｅｐ２０１〜２０８：制御部５１４，符号生成処理部５１１，線形予測分析部５１１ａ，線形予測係数符号化部５１１ｂ，線形予測残差算出部５１１ｃ，予測残差符号化部５１１ｄ，符号決定部５１３の代わりに、それぞれ、制御部１４，符号生成処理部１１，線形予測分析部１１ａ，線形予測係数符号化部１１ｂ，線形予測残差算出部１１ｃ，予測残差符号化部１１ｄ，符号決定部１３が処理を行う以外は、図１７を用いて説明した従来の処理と同じである。また、制御部１４は、ｓｔｅｐ２０８の終了後、ｓｔｅｐ２０９ではなく、以下のｓｔｅｐ２０９’を実行するよう制御する。
【００４５】
ｓｔｅｐ２０９’： 符号決定部１３が、ｓｔｅｐ２０８で得られた合計符号量Ｍ（ｐ）とＭｍｉｎとを比較し、Ｍ（ｐ）がＭｍｉｎより小さい場合にのみ、Ｍ（ｐ）をＭｍｉｎとして、Ｃｐ（ｐ）を最適線形予測係数符号Ｃｐｏｐｔとして、Ｃｒ（ｐ）を最適予測残差符号Ｃｒｏｐｔとして、ｐを最適次数Ｐｏｐｔとして、それらを符号決定部１３内の記憶部（図示せず）に格納する（ただし、ｐ＝０の場合は、線形予測係数符号Ｃｐ（ｐ）は無いので、最適線形予測係数符号Ｃｐｏｐｔの格納は行わない）。その後、制御部１４は、次にｓｔｅｐ２１０を実行するよう制御する。
【００４６】
ｓｔｅｐ２１０：制御部１４が、ｐがＰｍａｘであるかを確認し、ｐがＰｍａｘででない場合はｓｔｅｐ２１１に、ｐがＰｍａｘである場合はｓｔｅｐ２１３’に進む。
なお、ＭＰＥＧ−４  ＡＬＳのように、規格によって許容される最大次数（ＭＰＥＧ−４  ＡＬＳであれば１０２３）が決まっている場合には、「ｐがＰｍａｘであるか」ではなく、「ｐが、規格により許容される最大次数と、算出された最大次数Ｐｍａｘとの何れか小さいほうになったか」を確認する処理とすればよい。
【００４７】
ｓｔｅｐ２１１：制御部１４が、ｐに１を加算したものをｐに置き換える。
ｓｔｅｐ２１２：線形予測分析部１１ａが、ｐ次の線形予測係数を求め、制御部１４が、ｓｔｅｐ２０５に戻るよう制御する。
ｓｔｅｐ２１３’：符号決定部１３が、最適線形予測係数符号Ｃｐｏｐｔと最適予測残差符号Ｃｒｏｐｔとを出力符号として出力する。ただし、最適次数が０次の場合は、最適線形予測係数符号Ｃｐｏｐｔが無いので、最適予測残差符号Ｃｒｏｐｔのみが出力符号として出力される。また、最適次数Ｐｏｐｔを、制御部１４を経由して最大次数決定制御部１２に送る。
そして、制御部１４は、次にｓｔｅｐ４の処理を実行するよう制御する（  ＜ｓｔｅｐ３の詳細＞の説明終わり）。
【００４８】
ｓｔｅｐ４：ｓｔｅｐ４では、所要時間算出部１２ｅが、復号化所要時間テーブル記憶部１２ａに記憶された復号化所要時間テーブル（例えば図４）を参照し、符号決定部１３から制御部１４を経由して入力された現フレームの実際の線形予測次数である最適次数Ｐｏｐｔに対応する「復号信号生成処理部２１における復号化処理の所要時間」を、現フレームの所要時間τ（０）（「第４指標値」に相当）として抽出し、所要時間記憶部１２ｂに格納する。これにより、所要時間記憶部１２ｂの内容が更新される。
【００４９】
ここで、所要時間記憶部１２ｂにはτ（０）からτ（−（Ｎ−１))までが記憶されていればよいので、τ（−Ｎ)を所要時間記憶部１２ｂから削除してもよい。また、ｓｔｅｐ４の終了後、新たなフレームを現フレームとしてｓｔｅｐ１以降の処理を行う場合、制御部１４は、所要時間記憶部１２ｂに格納されたフレームｎに対応する各所要時間τ（ｎ）を、フレームｎ−１に対応する各所要時間τ（ｎ−１）に置き換える。
【００５０】
［ＭＰＥＧ−４  ＡＬＳにおける例］
次に、ＭＰＥＧ−４  ＡＬＳに本実施例を適用した例を簡単化して説明する。ここでは簡単化のために、復号化処理に要する演算処理量は線形予測次数に完全に比例するものとする。また、アルゴリズムで許容される最大の線形予測次数は１０２３であり、復号化装置２０が１フレームの時間長で復号処理可能な符号に対応する線形予測次数を５１２とする。すなわち、符号化処理での線形予測次数がｐであった場合、復号化装置２０での演算処理量はｐ×α命令であり、復号化装置２０が１フレームの時間長で復号処理可能な演算処理量は５ｌ２×α命令である。なお、αは比例定数である。また、復号化装置２０の復号信号蓄積出力部２２で最初に蓄積されるフレーム数は４とする（Ｑ＝４）。
【００５１】
図５は、符号化装置２０で、第１フレームの最適次数が３５０、第２フレームの最適次数が４５０、第３フレームの最適次数が５１２、第４フレームの最適次数が４００であった場合に、第５フレームの許容範囲の最大次数を決定するときの例を説明するための図である。第５フレームの許容範囲の最大次数は、第１〜第５フレームの合計の演算処理量が、第１〜第５フレームからなる時間区間で復号可能な演算処理量を超えないように決定される。
【００５２】
ここで、第１フレームの復号化の所要演算処理量は３５０α命令、第２フレームの復号化の所要演算処理量は４５０α命令、第３フレームの復号化の所要演算処理量は５１２α命令、第４フレームの復号化の所要演算処理量は４００α命令であるので、第１〜第４フレームでの復号化所要演算処理量の合計は１７１２α命令である。一方、第１〜第５フレームからなる時間区間で復号可能な演算処理量は５１２α×５＝２５６０α命令である。従って、第５フレームの復号化処理を行うための余裕演算処理量は２５６０α−１７１２α＝８４８α命令となる。図５に示したように、これは、第１〜第４フレームにおいて更に利用可能であった演算処理量と、第５フレームでの復号化可能な演算処理量との合計となる。そして、第５フレームにおける線形予測次数の許容範囲の最大次数Ｐｍａｘは８４８となる。
【００５３】
図６は、第５フレームの線形予測次数の許容範囲の最大次数Ｐｍａｘ＝８４８と決定した後（図５参照）、第５フレームの最適次数Ｐｏｐｔの探索を行い、最適次数Ｐｏｐｔが６１２であった場合の、第６フレームにおける線形予測次数の許容範囲の最大次数Ｐｍａｘの決定例を示した図である。
【００５４】
第２フレームの復号化の所要演算処理量は４５０α命令、第３フレームの復号化の所要演算処理量は５１２α命令、第４フレームの復号化の所要演算処理量は４００α命令、第５フレームの復号化の所要演算処理量は６１２α命令であるので、第２〜第５フレームの復号化所要演算処理量の合計はｌ９７４α命令である。一方、第２〜第６フレームからなる時間区間で復号可能な演算処理量は５１２α×５＝２５６０α命令である。
【００５５】
従って、第６フレームの復号化処理を行うための余裕演算処理量は２５６０α−１９７４α＝５８６α命令となる。これは、第２〜第５フレームにおいて更に利用可能であった演算処理量と、第６フレームでの復号化可能な演算処理量との合計となる。そして、第６フレームの線形予測次数の許容範囲の最大次数Ｐｍａｘは５８６となる。
【００５６】
さらに、第６フレームの線形予測次数の許容範囲の最大次数Ｐｍａｘ＝５８６と決定した後、第６フレームの最適次数Ｐｏｐｔの探索を行うことにより、例えば第６フレームの最適次数Ｐｏｐｔを５８６と決定できる。
【００５７】
［効果の差異］
図７（ａ）（ｂ）は、それぞれ、従来法及び本実施例によるフレーム毎の復号化演算処理量を示した図である。以下、従来法と本実施例との効果の差異を、図７を用いて解説する。
従来法では、フレーム毎に許容範囲の最大次数を５ｌ２次に固定し、符号量が最小となる次数を探索して最適次数を決定しているため、第５フレーム、第６フレームでは最適次数がそれぞれ３８０、５１２となる（図７（ａ））。
これに対し、本実施例の方法では、復号化装置２０で蓄積しておく４フレームと現フレームとからなる直近の５フレームからなる時間区間での復号処理演算量が、当該時間区間での復号化装置の復号処理能力を超えないように、最大次数を決定する。これにより、第５フレーム、第６フレームでは最適次数がそれぞれ６１２、５８６となる（図７（ｂ））。
【００５８】
本実施例の第５フレームでは、従来法の第５フレームで符号量が最小となる最適次数３１８を含む次数範囲で探索を行った結果、最適次数が６ｌ２となっている。よって、従来法よりも本実施例の方法のほうが、符号量が少ないといえる。第６フレームについても同様である。
このように、本実施例の符号化装置１０では、復号化装置２０に蓄積しておくフレーム分だけ、余剰の復号化処理リソースを有効に使うことができるため、復号化装置２０での再生処理のリアルタイム性を損なうことなく、圧縮率を向上させることが可能である。
【００５９】
＜実施例１の変形例＞
なお、本発明は、上述の実施例に限定されるものではない。
例えば、上記実施例１では、復号化所要時間テーブル記憶部１２ａに、線形予測次数と、復号信号生成処理部２１における復号化処理の所要時間との対応を示す復号化所要時間テーブルを格納する構成であった。しかし、復号信号生成処理部２１における復号化処理の所要時間の代わりに、線形予測次数毎のＭＩＰＳ等の演算処理量を対応付けたテーブルを格納する構成であってもよい。この場合、復号信号生成処理部２１の演算処理能力値（ＭＩＰＳ等の演算処理命令数等）と、復号化所要時間テーブル記憶部１２ａに記憶された演算処理量（ＭＩＰＳ等の演算処理命令数等）との演算処理を行って、復号化所要時間テーブル記憶部１２ａに記憶された演算処理量に対応する所要時間を計算する。例えば、復号信号生成処理部２１の演算処理能力がＡ〔ｍｉｐｓ〕であり、復号化所要時間テーブル記憶部１２ａに記憶された演算処理量がＢ〔ｍｉｐｓ〕である場合、演算処理量Ｂ〔ｍｉｐｓ〕に対応する所要時間は、Ｂ／Ａ〔ｓ〕となる。
【００６０】
また、復号化所要時間テーブル記憶部１２ａに復号化所要時間テーブルを格納する代わりに、線形予測次数（「パラメータ」に相当）と復号化処理の所要時間（「第５指標値」に相当）との近似的な関係を示す関数を格納する構成であってもよい。例えば、線形予測合成部２１ｄの演算処理量は、予測次数と比例関係があり、線形予測合成部２１ｄの演算処理量は、復号化処理の所要時間に比例すると近似できるので、線形予測次数をpとするとｆ（ｐ）＝α×ｐ〔ｆ（ｐ）は復号化処理の所要時間，αは比例定数〕の関数が近似できる。
なお、これらの変形例の場合も、上述のように線形予測次数と所要時間との対応がとれれば、その他の処理は上記実施例１で説明したのと同様である。
【００６１】
さらに、所要時間算出部１２ｅが、所要時間の代わりに演算処理量を算出し、所要時間記憶部１２ｂに所要時間の代わりに演算処理量を記憶してもよい。そして、この場合、余裕時間算出部１２ｃが、式（１）の余裕時間の代わりに、上記「現フレームと過去Ｎフレームとによって構成される時間区間（第２区間）」で復号化装置２０が処理可能な復号化演算量と、上記「過去Ｎフレームによって構成される時間区間（第1区間）」において入力信号を実際に符号化処理して得られた符号を復号化装置２０で復号化するために必要な演算処理量と、の差分を求め、この差分に基づき、現フレームでの最大次数を算出してもよい。具体的には、例えば、復号化所要時間テーブル記憶部１２ａに、線形予測次数（「パラメータ」に相当）と、復号信号生成処理部２１における復号化処理演算量（「第５指標値」に相当）との対応を示すテーブル、又は、線形予測次数（「パラメータ」に相当）と、復号信号生成処理部２１における復号化処理演算量（「第５指標値」に相当）との対応を近似する関数を格納しておき、上記の差分と上記テーブル、又は、上記差分と上記関数とを用い、現フレームでの最大次数を算出してもよい。
【００６２】
またさらに、所要時間算出部１２ｅを省略し、所要時間記憶部１２ｂに所要時間の代わりに最適次数そのものを記憶してもよい。そして、この場合、余裕時間算出部１２ｃが、式（１）の余裕時間の代わりに、上記「第２区間」の各フレームで復号化装置２０が復号化処理可能な符号（好ましくは、復号化装置２０の復号化演算量が最大となる符号）に対応する、フレーム毎の線形予測次数の当該「第２区間」での総和と、上記「第１区間」の各フレームにおいて入力信号を実際に符号化処理した際の線形予測次数の当該「第１区間」での総和と、の差分を求め、この差分に基づき、現フレームでの最大次数を算出してもよい。
【００６３】
またさらに、符号化装置１０での演算処理量に余裕がある場合は、符号化装置１０内で復号化処理を実際に行って、線形予測次数毎の復号化の所要時間や所要演算処理量を求めてもよい。
【００６４】
また、ｓｔｅｐ２では、「余裕時間」を検索キーとして、復号化所要時間テーブル（例えば図４）を検索し、当該「余裕時間」以下の長さの「復号信号生成処理部２１における
復号化処理の所要時間（第５指標値）」のうち最大のものに関連付けられた「線形予測次数」を、その現フレームの最大次数Ｐｍａｘとして求めた。しかし、当該「余裕時間」以下の長さの「復号信号生成処理部２１における
復号化処理の所要時間（第５指標値）」のうち最大ではないものに関連付けられた「線形予測次数」を、その現フレームの最大次数Ｐｍａｘとしても、ある程度の符号化演算能力の有効利用が可能である。
【００６５】
また、ｓｔｅｐ３では、各次における実際の符号量を求めて最適次数の探索を行うこととした。しかし、各次の符号量を推定する技術を用いて推定符号量を算出し、それによって最適次数を探索してもよい。
【００６６】
また、上記の説明では、ｓｔｅｐ１によって、第１指標値と第２指標値との差分を求め、この差分に基づき、ｓｔｅｐ２によって、第２区間で入力信号を実際に符号化処理して得た全符号を復号化装置２０で復号化するための演算処理量が、第２区間全体での復号化装置２０の復号化演算処理能力以下となるように、現フレームでのパラメータの許容範囲を抽出した。しかし、本発明はこれに限定されない。例えば、現フレームのパラメータ毎に、復号化装置２０が処理可能な復号化処理の演算処理量に対応する指標値と第２指標値との和を求め、その和が第１指標値以下となるようにパラメータの許容範囲を求めてもよい。また、例えば、現フレームのパラメータ毎に、第1指標値と現フレームのパラメータ復号化装置が処理可能な復号化処理の演算処理量に対応する指標値との差分を求め、その差分が第２指標値以上となるようパラメータの許容範囲を求める処理を行ってもよい。
【００６７】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよく、その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００６８】
＜実施例２＞
実施例１では、「符号化処理を特定するパラメータ」が「線形予測次数」である場合を例にとって説明した。すなわち、実施例１は、複数フレーム分の復号化演算処理を考慮してフレーム毎の線形予測の最大次数を制御し、各フレームの復号処理にかかる時間を調整することにより、復号化装置における再生処理時のリアルタイム性を確保しつつ、復号化装置の復号化演算能力を有効活用するものであった。
【００６９】
これに対し、実施例２では、「符号化処理を特定するパラメータ」が「線形予測残差を符号化するためのアルゴリズムと線形予測次数との組合せ」である場合を例にとって説明する。すなわち、実施例２では、線形予測分析部と線形予測係数符号化部と線形予測残差算出部とにおける線形予測次数と、線形予測残差を符号化する予測残差符号化部のアルゴリズムと、の組合せの選択範囲をフレーム毎に制御することにより、各フレームの復号処理にかかる時間を調整し、復号化装置における再生処理のリアルタイム性と、復号化演算能力の有効活用との両立を図る例を説明する。
図８に本実施例の符号化装置１１０の構成図を、図１０に本実施例の符号化装置１１０が出力した出力符号を復号化して出力信号を得る復号化装置１２０の構成図を示す。
【００７０】
［復号化装置］
まず、図１０に示した復号化装置１２０について説明する。
本実施例の復号化装置１２０は、符号分離部１２１、復号処理選択部１２２、３つのスイッチ１２３ａ〜１２３ｃ、４つの復号化処理部１２５〜１２８及び復号信号蓄積出力部１２９を有する。各復号化処理部１２５〜１２８は、それぞれ、線形予測係数復号部１２５ａ〜１２８ａ，予測残差復号化部１２５ｂ〜１２８ｂ及び線形予測合成部１２５ｃ〜１２８ｃを有し、異なる線形予測次数の復号化および線形予測合成、異なる予測残差復号化を行う。例えば、復号化処理部１２５は、線形予測次数が５次であり、予測残差復号化がＲｉｃｅ符号化に対応する復号化を行い、復号化処理部１２６は、線形予測次数が１０次であり、予測残差復号化がＲｉｃｅ符号化と長期予測（ＬＴＰ）符号化を組み合わせた符号に対応する復号化を行い、復号化処理部１２７は、線形予測次数が２５６次であり、予測残差復号化はブロック・ギルバート・ムーア（ＢＧＭ）符号化に対応する復号化を行い、復号化処理部１２８は、線形予測次数が５１２次であり、予測残差復号化はブロック・ギルバート・ムーア（ＢＧＭ）符号化と長期予測（ＬＴＰ）符号化を組み合わせた符号に対応する復号化を行う。
【００７１】
符号分離部１２１は、入力された符号を、選択符号と線形予測係数符号と予測残差符号とに分離し、選択符号を復号処理選択部１２２に、線形予測係数符号をスイッチ１２３ａに、予測残差符号をスイッチ１２３ｂに、それぞれ送る。なお、「選択符号」とは、符号化装置１１０でフレーム毎に決定された「線形予測残差を符号化するためのアルゴリズムと線形予測次数との組合せ」を示す情報である。
【００７２】
復号処理選択部１２２は、送られた選択符号が示す「線形予測残差を符号化するためのアルゴリズムと線形予測次数との組合せ」に対応する復号化処理部１２５〜１２８を１つ特定し、特定した復号化処理部１２５〜１２８を示す選択情報をスイッチ１２３ａ〜１２３ｃに送る。スイッチ１２３ａは、符号分離部１２１から送られた線形予測係数符号を、選択情報によって特定される復号化処理部１２５〜１２８の線形予測係数復号部１２５ａ〜１２８ａに送る。また、スイッチ１２３ｂは、符号分離部１２１から送られた予測残差符号を、選択情報によって特定される復号化処理部１２５〜１２８の予測残差復号化部１２５ｂ〜１２８ｂに送る。線形予測係数符号及び予測残差符号が送られた復号化処理部１２５〜１２８は、入力された線形予測係数符号と予測残差符号を用いて復号信号を生成する。この際、線形予測係数復号部１２５ａ〜１２８ａ，予測残差復号化部１２５ｂ〜１２８ｂ，線形予測合成部１２５ｃ〜１２８ｃが行う処理は、線形予測次数及び残差復号化方法が上記の通り復号化処理部１２５〜１２８に応じて相違する点以外は、図１（ｂ）及び図１６（ｂ）の復号化装置２０，５２０と同様である。
【００７３】
復号化処理部１２５〜１２８で生成された復号信号は、スイッチ１２３ｃに送られる。スイッチ１２３ｃは、復号処理選択部１２２から送られた選択情報によって特定される復号化処理部１２５〜１２８からの復号信号の入力を受け付け、当該復号信号を復号信号蓄積出力部１２９に送る。復号信号蓄積出力部１２９は、図１（ｂ）の復号信号蓄積出力部２２と同じ処理を行う。
【００７４】
［符号化装置］
次に、図８の符号化装置１１０について説明する。
図８に示すように、符号化装置１１０は、スイッチ１１１、符号生成処理決定制御部１１２、符号決定部１１３、制御部１１４及び４つの符号生成処理部１１５〜１１８を有する。図８の符号化装置１１０の図１（ａ）の符号化装置１０との相違点は、符号化装置１１０が、最大次数決定制御部１２の代わりに符号生成処理決定制御部１１２を有すること、及び、４つの符号生成処理部１１５〜１１８を有することである。
【００７５】
ここで、符号生成処理決定制御部１１２は、復号化所要時間テーブル記憶部１１２ａ、所要時間記憶部１１２ｂ、余裕時間算出部１１２ｃ、選択範囲決定部１１２ｄ及び所要時間算出部１１２ｅから構成される。この構成により、フレーム毎に、どの符号生成処理部１１５〜１１８を選択可能であるかが決定される。なお、後述のように、符号生成処理部１１５〜１１８毎に、符号化処理方式（本実施例では、線形予測分析部と線形予測係数符号化部と線形予測残差算出部とにおける線形予測次数と、線形予測残差を符号化する予測残差符号化部のアルゴリズムと、の組合せ）が相違する。よって、符号生成処理部１１５〜１１８の選択範囲を決定することは、符号化処理方式の許容範囲を決定することに相当する。なお、符号生成処理部１１５〜１１８による符号化処理方式は、それぞれ、復号化装置１２０の復号化処理部１２５〜１２８の復号化処理方式に対応する。そして、符号生成処理部１１５〜１１８と復号化処理部１２５〜１２８との対応関係は、図示していないテーブルやプログラムの記述等により、制御部１１４が把握可能であるものとする。
【００７６】
また、符号生成処理部１１５〜１１８は、それぞれ、線形予測分析部１１５ａ〜１１８ａ、線形予測係数符号化部１１５ｂ〜１１８ｂ、線形予測誤差算出部１１５ｃ〜１１８ｃ及び予測残差符号化部１１５ｄ〜１１８ｄを有しており、それぞれの符号化方式によって符号化処理を実行する。
【００７７】
図１１に本実施例の符号化処理のフローを示す。なお、図１１は１つのフレームの符号化処理のみを示している。実際は、図１１と同様な処理が各フレームについて順次実行される。
前処理：前処理として、復号化所要時間テーブル記憶部１１２ａに、復号化装置１２０の復号化処理部を示す情報（対応する符号化処理方式を示す情報に相当する）
と、各復号化処理部での復号化処理の所要時間と、を対応付けた復号化所要時間テーブルを予め格納しておく。この復号化所要時間テーブルの一例を図１２に示す。図１２の例では、復号化処理部１２５〜１２８を示す情報と、各復号化処理部１２５〜１２８での復号化処理の所要時間５〜８０ｍｓとが対応付けられている。
【００７８】
ｓｔｅｐ３０１：符号化処理を行う場合、まず、符号化装置１１０の符号生成処理決定制御部１１２の余裕時間算出部１１２ｃが、現フレームと過去Ｎフレームとの合計時間（Ｎ＋１）×Ｔ（「第１指標値」に相当）から、所要時間記憶部１２ｂに記憶されたＮ個前のフレーム（ｎ＝−Ｎのフレーム）から直前のフレーム（ｎ＝−１のフレーム）までの所要時間τ（ｎ）（「第３指標値」に相当）の和（「第２指標値」に相当）を減算したもの（実施例１の式（１）参照）を、現フレーム（ｎ＝０）の余裕時間（「差分」に相当）として算出する。余裕時間算出部１１２ｃによって算出された上記余裕時間の情報は、選択範囲決定部１１２ｄに送られる。また、制御部１１４は、次に以下のｓｔｅｐ３０２の実行がされるよう制御する。
【００７９】
ｓｔｅｐ３０２：選択範囲決定部１１２ｄが、余裕時間算出部１１２ｃによって算出された上記「余裕時間」を検索キーとして、復号化所要時間テーブル記憶部１１２ａに記憶された復号化所要時間テーブル（例えば図１２）を検索し、当該「余裕時間」以下の長さの「復号化処理部での復号化処理の所要時間（第５指標値）」に関連付けられた全ての「復号化処理部を示す情報」を抽出して、制御部１１４に出力する。なお、ここで抽出された「復号化処理部を示す情報」に対応する線形予測残差を符号化するためのアルゴリズムと線形予測次数との組合せの範囲が「パラメータの許容範囲」に相当する。例えば、復号化所要時間テーブルが図１２に示すものであり、「余裕時間」が５０ｍｓであれば、復号化処理部１２５〜１２７を示す情報が、余裕時間が２０ｍｓであれば、復号化処理部１２５，１２６を示す情報が、それぞれ抽出され、制御部１１４に出力される。
【００８０】
ｓｔｅｐ３０３：制御部１１４は、選択範囲決定部１１２ｄから送られた情報によって特定される復号化処理部１２５〜１２８に対応する符号化処理を行う符号生成処理部１１５〜１１８に入力信号が入力されるよう、スイッチ１１１を制御する。例えば、選択範囲決定部１１２ｄから送られた情報によって復号化処理部１２５〜１２７が特定されるのであれば、入力信号が符号生成処理部１１５〜１１７の全てに入力されるようスイッチ１１１が制御され、復号化処理部１２５，１２６が特定されるのであれば、入力信号が符号生成処理部１１５，１１６の全てに入力されるようスイッチ１１１が制御される。
【００８１】
入力信号が入力された各符号生成処理部１１５〜１１８は、それぞれの符号化方式によって線形予測係数符号と予測残差符号とを生成する。すなわち、符号生成処理部１１５は、線形予測次数が５次であり、予測残差符号化方式がＲｉｃｅ符号化である符号化処理を行い、符号生成処理部１１６は、線形予測次数が１０次であり、予測残差符号化方式が長期予測（ＬＴＰ）符号化を行った後にＲｉｃｅ符号化を行う方式である符号化処理を行い、符号生成処理部１１７は、線形予測次数が２５６次であり、予測残差符号化方式がブロック・ギルバート・ムーア（ＢＧＭ）符号化である符号化処理を行い、符号生成処理部１１８は線形予測次数が５１２次であり、予測残差符号化方式が長期予測（ＬＴＰ）符号化を行った後にブロック・ギルバート・ムーア（ＢＧＭ）符号化を行う方式である符号化処理を行う。ここで、予測残差符号化部１１６ｄにおける、長期予測（ＬＴＰ）を行った後にＲｉｃｅ符号化を行う予測残差符号化方式による予測残差符号の生成は、例えば、図９に示す詳細構成で行われる。予測残差符号化部１１６ｄは、長期予測分析部１１６ｄａと長期予測係数符号化部１１６ｄｂと長期予測残差算出部１１６ｄｃと長期予測残差符号化部１１６ｄｄとにより構成される。長期予測分析部１１６ｄａは、入力された予測残差信号の長期予測分析を行ない、長期予測遅延値と長期予測ゲインとを求める。長期予測係数符号化部１１６ｄｂは、長期予測分析部１１６ｄａで求められた長期予測遅延値と長期予測ゲインとを符号化して長期予測係数符号と量子化済長期予測遅延値と量子化済長期予測ゲインとを求める。長期予測残差算出部１１６ｄｃは、入力された予測残差信号と長期予測係数符号化部１１６ｄｂで求められた量子化済長期予測遅延値と量子化済長期予測ゲインとから予測残差信号の長期予測を行った長期予測残差信号を求める。長期予測残差符号化部１１６ｄｄは、当該長期予測残差信号をＲｉｃｅ符号化して長期予測残差符号を求める。長期予測係数符号化部１１６ｄｂで求められた長期予測係数符号と長期予測残差符号化部１１６ｄｄで求められた長期予測残差符号とを合わせたものが予測残差符号として予測残差符号化部１１６ｄから出力される。予測残差符号化部１１８ｄにおける、長期予測（ＬＴＰ）を行った後にブロック・ギルバート・ムーア（ＢＧＭ）符号化を行う予測残差符号化方式による予測残差符号の生成は、長期予測残差符号化部１１６ｄｂにおける符号化方法がＲｉｃｅ符号化ではなくブロック・ギルバート・ムーア（ＢＧＭ）符号化となる以外は上記の予測残差符号化部１１６ｄと同様の構成で行われる。なお、符号を生成する処理は、長期予測（ＬＴＰ）を伴う予測残差符号化部の処理が上記の通りである点、及び、符号生成処理部に応じて符号化方式が相違する点を除き、従来法および実施例１と同様であるので詳細な説明は省略する。また、長期予測（ＬＴＰ）やＲｉｃｅ符号化、ブロック・ギルバート・ムーア（ＢＧＭ）符号化のそれぞれは周知技術であるので、詳細な説明は省略する。
【００８２】
符号決定部１１３は、制御部１１４の制御のもと、入力信号が入力された符号生成処理部１１５〜１１８のそれぞれ生成された線形予測係数符号と予測残差符号との組のうち、合計符号量が最小となる組を選択し、選択した組に対応する選択符号と、選択した組の線形予測係数符号と予測残差符号とを出力符号として出力する。また、符号決定部１１３は、選択した組に対応する符号生成処理部を示す情報を、制御部１１４に送り、制御部１１４は、送られた情報によって示される符号生成処理部に対応する復号化処理部を示す情報を所要時間算出部１１２ｅに送る。その後、制御部１１４は、次に以下のｓｔｅｐ３０４の実行がされるよう制御する。
【００８３】
ｓｔｅｐ３０４：ｓｔｅｐ３０４では、所要時間算出部１１２ｅが、復号化所要時間テーブル記憶部１１２ａに記憶された復号化所要時間テーブル（例えば図１２）を参照し、制御部１１４から入力された「復号化処理部を示す情報」に対応付けられている「復号化処理部での復号化処理の所要時間」を、現フレームの所要時間τ（０）（「第４指標値」に相当）として抽出し、所要時間記憶部１１２ｂに格納する。これにより、所要時間記憶部１１２ｂの内容が更新される。
【００８４】
ここで、所要時間記憶部１１２ｂにはτ（０）からτ（−（Ｎ−１))までが記憶されていればよいので、τ（−Ｎ)を所要時間記憶部１１２ｂから削除してもよい。また、ｓｔｅｐ３０４の終了後、新たなフレームを現フレームとしてｓｔｅｐ３０１以降の処理を行う場合、制御部１１４は、所要時間記憶部１１２ｂに格納されたフレームｎに対応する各所要時間τ（ｎ）を、フレームｎ−１に対応する各所要時間τ（ｎ−１）に置き換える。
【００８５】
＜実施例２の変形例＞
なお、本発明は、上記の実施例２に限定されるものではない。
例えば、上記の実施例２では、符号化装置１１０内に４つの符号生成処理部１１５〜１１８を置き、復号化装置１２０内に４つの復号化処理部１２５〜１２８を置く構成とした。しかし、符号生成処理部１１５〜１１８又は復号化処理部１２５〜１２８で共用できる処理部がある場合には、そのような処理部を符号生成処理部１１５〜１１８又は復号化処理部１２５〜１２８で共用してもよい。
【００８６】
以下、このように処理部を共用する変形例について説明する。
図１３は、当該変形例の符号化装置２１０の構成例を示し、図１４は、当該変形例の復号化装置２２０の構成例を示し、図１５は、当該変形例の復号化所要時間テーブルの構成例を示す。なお、以下では、上述した実施例２との相違点を中心に説明する。
【００８７】
［実施例２の変形例の符号化装置］
図１３に例示するように、符号化装置２１０は、符号生成処理部２１１、符号生成処理決定制御部２１２、符号決定部２１３及び制御部２１４を有する。また、符号生成処理決定制御部２１２は、復号化所要時間テーブル記憶部２１２ａ、所要時間記憶部２１２ｂ、余裕時間算出部２１２ｃ、選択範囲決定部２１２ｄ及び所要時間算出部２１２ｅを有している。また、符号生成処理部２１１は、線形予測分析部２１１ａ、線形予測係数符号化部２１１ｂ、線形予測残差算出部２１１ｃ、スイッチ２１１ｄ及び予測残差符号化部２１１ｅ〜２１１ｈを有している。
【００８８】
上述の実施例２と同様、符号化装置２１０の場合も、予め復号化所要時間テーブル記憶部１１２ａに復号化所要時間テーブルを格納しておく。図１５に例示するように、当該変形例の復号化所要時間テーブルは、復号化処理を識別するための情報と、対応する符号化処理を特定するパラメータと、復号化処理に要する所要時間（「第５指標値」に相当）とを対応付けたテーブルである。なお、図１５の例の場合、符号化処理を特定するパラメータは、線形予測次数、及び、残差符号化方式を識別する情報である。
【００８９】
符号化処理を行う場合、まず、符号化装置２１０の符号生成処理決定制御部２１２の余裕時間算出部２１２ｃが、実施例１，２と同様に、現フレーム（ｎ＝０）の余裕時間（「差分」に相当）として算出する。算出された上記余裕時間の情報は、選択範囲決定部２１２ｄに送られる。
【００９０】
次に、選択範囲決定部２１２ｄが、余裕時間算出部１１２ｃによって算出された上記「余裕時間」を検索キーとして、復号化所要時間テーブル記憶部２１２ａに記憶された復号化所要時間テーブル（図１５）を検索し、当該「余裕時間」以下の長さの「復号化処理部での復号化処理の所要時間（第５指標値）」に関連付けられた全ての「符号化パラメータ」を抽出して、制御部２１４に出力する。なお、ここで抽出された「符号化パラメータ
」の範囲が「パラメータの許容範囲」に相当する。
【００９１】
次に、制御部２１４は、選択範囲決定部２１２ｄから送られた各符号化パラメータのうち線形予測次数を、線形予測分析部２１１ａ，線形予測係数符号化部２１１ｂ及び線形予測残差算出部２１１ｃに送る。線形予測分析部２１１ａ，線形予測係数符号化部２１１ｂ及び線形予測残差算出部２１１ｃは、送られた各線形予測次数でそれぞれの処理を行い、それぞれの線形予測次数に対応する線形予測係数符号と予測残差信号とを生成する。
【００９２】
また、制御部２１４は、選択範囲決定部２１２ｄから送られた各符号化パラメータの残差符号化方式を識別する情報を用い、線形予測残差算出部２１１ｃで生成された各符号化パラメータに対応するそれぞれの予測残差信号が、それぞれの符号化パラメータに対応する残差符号化方式の符号化を行う予測残差符号化部２１１ｅ〜２１１ｈの何れかに入力されるよう、スイッチ２１１ｄを制御する。これにより、当該予測残差信号は、各符号化パラメータの残差符号化方式により符号化される。例えば、符号化パラメータが具備する線形予測次数が５次であり、残差符号化方式を示す情報が「Ｒｉｃｅ符号化」であった場合、５次の線形予測による予測残差信号は予測残差符号化部２１１ｅに入力され、符号化パラメータが具備する線形予測次数が１０次であり、残差符号化方式を示す情報が「長期予測（ＬＴＰ）符号化を行った後にＲｉｃｅ符号化を行う符号化」であった場合、１０次の線形予測による予測残差信号は予測残差符号化部２１１ｆに、符号化パラメータが具備する線形予測次数が２５６次であり、残差符号化方式を示す情報が「ブロック・ギルバート・ムーア（ＢＧＭ）符号化」であった場合、２５６次の線形予測による予測残差信号は予測残差符号化部２１１ｇに、符号化パラメータが具備する線形予測次数が５１２次であり、残差符号化方式を示す情報が「長期予測（ＬＴＰ）符号化を行った後にブロック・ギルバート・ムーア（ＢＧＭ）符号化を行う符号化」であった場合、５１２次の線形予測による予測残差信号は予測残差符号化部２１１ｈに入力される。
【００９３】
予測残差信号が入力された各予測残差符号化部２１１ｅ〜２１１ｈは、符号化パラメータに対応する方法で予測残差符号を生成する。すなわち、予測残差符号化部２１１ｅはＲｉｃｅ符号化、予測残差符号化部２１１ｆは長期予測（ＬＴＰ）符号化を行った後にＲｉｃｅ符号化を行う符号化、予測残差符号化部２１１ｇはブロック・ギルバート・ムーア（ＢＧＭ）符号化、予測残差符号化部２１１ｈは長期予測（ＬＴＰ）符号化を行った後にブロック・ギルバート・ムーア（ＢＧＭ）符号化を行う符号化、で予測残差信号を符号化して予測残差符号を出力する。
【００９４】
符号決定部２１３は、線形予測係数符号化部２１１ｂで生成された線形予測係数符号と予測残差符号化部２１１ｅ〜２１１ｈの何れかで生成された予測残差符号との組のうち、合計符号量が最小となる予測残差符号を選択する。そして、選択した予測残差符号に対応する符号化パラメータ（線形予測次数及び残差符号化方式を識別する情報）を制御部２１４から受け取り、これを選択符号とする。そして、当該選択符号と、線形予測係数符号と、選択した予測残差符号とを出力符号として出力する。その後、実施例１，２と同様に、所要時間算出部２１２ｅが現フレームの所要時間τ（０）を計算し、これによって所要時間記憶部２１２ｂの内容を更新する。
【００９５】
［実施例２の変形例の復号化装置］
図１４に示すように、この変形例の復号化装置２２０は、符号分離部２２１、復号処理選択部２２２、２つのスイッチ２２３，２２４、４つの予測残差復号化部２２５ａ〜２２５ｄ、線形予測係数復号部２２６、線形予測合成部２２７及び復号信号蓄積出力部２２９を有している。ここで、４つの予測残差復号化部２２５ａ〜２２５ｄは、それぞれ異なる予測残差復号化が行われる。例えば、予測残差復号化部２２５ａはＲｉｃｅ符号化に対応する復号化、予測残差復号化部２２５ｂは長期予測（ＬＴＰ）符号化を行ったにＲｉｃｅ符号化を行う符号化に対応する復号化、予測残差復号化部２２５ｃはブロック・ギルパート・ムーア（ＢＧＭ）符号化に対応する復号化、予測残差復号化部２２５ｄは長期予測（ＬＴＰ）符号化を行った後にブロック・ギルバート・ムーア（ＢＧＭ）符号化を行う符号化に対応する復号化を行う。
【００９６】
符号分離部２２１は、入力された符号を、選択符号と線形予測係数符号と予測残差符号とに分離し、選択符号を復号処理選択部２２２に、線形予測係数符号をスイッチ２２３，２２６に、予測残差符号を線形予測係数復号部２２６に、それぞれ送る。
【００９７】
復号処理選択部２２２は、選択符号が示す残差符号化方式に対応する復号化処理を行う予測残差復号化部２２５ａ〜２２５ｄに予測残差符号を入力させ、予測残差符号を復号化した予測残差信号が線形予測合成部２２７に伝えられるよう、スイッチ２２３，２２４を動作させる。また、選択符号が含む線形予測次数を線形予測係数復号部２２６と線形予測合成部２２７に設定する。
【００９８】
そして、選択された何れかの予測残差復号化部２２５ａ〜２２５ｄが、予測残差符号を復号して予測残差信号を線形予測合成部２２７に出力する。また、線形予測係数復号部２２６が、入力された線形予測係数符号を復号して、復号処理選択部２２２に指定された線形予測次数の線形予測係数を得て、線形予測合成部２２７に出力する。さらに、線形予測合成部２２７は、入力された線形予測係数と予測残差信号とから、復号処理選択部２２２から指定された次数の線形予測合成を行って、復号信号を生成し、復号信号蓄積出力部に出力する。そして、復号信号蓄積出力部２２９が、実施例１（図１（ｂ））や実施例２（図１０）の復号信号蓄積出力部２２，１２９と同様の処理を行う。
【００９９】
なお、上記の実施例２の変形例では、符号化装置２１０に複数の予測残差符号化部２１１ｅ〜２１１ｈを設け、復号化装置２２０に複数の予測残差復号化部２２５ａ〜２２５ｄを設ける構成とした。しかし、さらに、複数の予測残差符号化部２１１ｅ〜２１１ｈを１つの予測残差符号化部とし、予測残差復号化部２２５ａ〜２２５ｄを１つの予測残差復号化部とし、符号化パラメータを予測残差符号化部や予測残差復号化部に設定することにより、予測残差符号化部の符号化方式や予測残差復号化部の復号化方式を変更する構成であってもよい。
【０１００】
また、上記説明では、各次における実際の符号量を求めて最適次数の探索を行うこととした。しかし、各次の符号量を推定する技術を用いて推定符号量を算出し、それによって最適次数を探索してもよい。
【０１０１】
また、上記の説明では、ｓｔｅｐ３０１によって、第１指標値と第２指標値との差分を求め、この差分に基づき、ｓｔｅｐ３０２によって、第２区間で入力信号を実際に符号化処理して得た全符号を復号化装置１２０で復号化するための演算処理量が、第２区間全体での復号化装置２０の復号化演算処理能力以下となるように、現フレームでのパラメータの許容範囲を抽出した。しかし、本発明はこれに限定されない。例えば、現フレームのパラメータ毎に、復号化装置１２０が処理可能な復号化処理の演算処理量に対応する指標値と第２指標値との和を求め、その和が第１指標値以下となるようにパラメータの許容範囲を求めてもよい。また、例えば、現フレームのパラメータ毎に、第1指標値と現フレームのパラメータ復号化装置が処理可能な復号化処理の演算処理量に対応する指標値との差分を求め、その差分が第２指標値以上となるようパラメータの許容範囲を求める処理を行ってもよい。
【０１０２】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよく、その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【０１０３】
＜プログラム・記録媒体＞
上述した各装置は、コンピュータによって実現できる。この場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【０１０４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１０５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１０６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１０７】
また、各処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【産業上の利用可能性】
【０１０８】
本発明の産業上の利用分野としては、例えば、圧縮符号化された音響信号データや映像信号データのストリーム情報を、携帯電話やポータブル再生機器でリアルタイム再生する分野等を例示できる。
【図面の簡単な説明】
【０１０９】
【図１】図１（ａ）は、実施例１の符号化装置の構成図であり、図１（ｂ）は、実施例１の復号化装置の構成図である。
【図２】図２は、実施例１の符号化処理のフローを示す図である。
【図３】図３は、図２のステップＳ３（最適次数の決定と符号決定処理）の詳細フローを示す図である。
【図４】図４は、実施例１における復号化所要時間テーブルの一例である。
【図５】図５は、実施例１の符号化装置で、許容範囲の最大次数を決定するときの例を説明するための図である。
【図６】図６は、実施例１の符号化装置で、許容範囲の最大次数を決定するときの例を説明するための図である。
【図７】図７（ａ）（ｂ）は、それぞれ、従来法及び本実施例によるフレーム毎の復号化演算処理量を示した図である。
【図８】図８は、実施例２の符号化装置の構成図である。
【図９】図９は、長期予測（ＬＴＰ）を行った後にＲｉｃｅ符号化を行う予測残差符号化部の構成を例示した図である。
【図１０】図１０は、実施例２の復号化装置の構成図である。
【図１１】図１１は、実施例２の符号化処理のフローを示した図である。
【図１２】図１２は、実施例２の復号化所要時間テーブルの一例を示した図である。
【図１３】図１３は、実施例２の変形例における符号化装置の構成例を示した図である。
【図１４】図１４は、実施例２の変形例における復号化装置の構成例を示した図である。
【図１５】図１５は、実施例２の変形例における復号化所要時間テーブルの構成例を示した図である。
【図１６】図１６（ａ）は、従来の符号化装置の一例を示した図である。図１６（ｂ）は、従来の復号化装置の一例を示した図である。
【図１７】図１７は、従来の符号化装置が行う処理フローの一例を示した図である。
【符号の説明】
【０１１０】
１０，１１０，２１０  符号化装置
２０，１２０，２２０  復号化装置
【図１】
2008026460.tif 000004
【図２】
2008026460.tif 000005
【図３】
2008026460.tif 000006
【図４】
2008026460.tif 000007
【図５】
2008026460.tif 000008
【図６】
2008026460.tif 000009
【図７】
2008026460.tif 000010
【図８】
2008026460.tif 000011
【図９】
2008026460.tif 000012
【図１０】
2008026460.tif 000013
【図１１】
2008026460.tif 000014
【図１２】
2008026460.tif 000015
【図１３】
2008026460.tif 000016
【図１４】
2008026460.tif 000017
【図１５】
2008026460.tif 000018
【図１６】
2008026460.tif 000019
【図１７】
2008026460.tif 000020