(57)【要約】【課題】高フレームレートの動画像の可変再生を容易に行うことができるようにする。【解決手段】再生レート制御部２４において、第１演算部４０２および第２演算部４０３は、出力制御部４０５の制御に基づいて、供給される加算画像および減算画像を用いて加算および減算を行い、任意のフレームレートのフレームデータを生成する。統合部４０４は、出力制御部４０５の制御に基づいて、それらのフレームデータをフレーム番号順に統合し、動画像データ４８１として出力する。本発明は、画像処理システムに適用することができる。【選択図】図１１
2008099173.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを処理する情報処理装置であって、
フレームデータ同士を加算および減算することにより、フレームレートを変換する複数の演算手段と、
前記複数の演算手段を制御して、前記動画像データの各フレームデータに対して、前記加算および前記減算の内、少なくともいずれか一方を、前記動画像データのフレームレートを所望のレートに変換するのに必要な回数行わせる制御手段と
を備える情報処理装置。
【請求項２】
前記複数の演算手段が互いに直列に接続され、２段目以降の前記演算手段は前段の演算手段における演算結果に対して加算および減算を行うようになされ、
前記制御手段は、直列に接続された前記複数の演算手段の内、最初の段から、所望のフレームレートの前記動画像データが得られる段までの演算手段に、前記加算および前記減算の内、少なくともいずれか一方を行わせる
請求項１に記載の情報処理装置。
【請求項３】
前記直列に接続された前記複数の演算手段の内、最初の段の演算手段は、前記加算および前記減算によってフレームレートが低減された動画像データに対して、前記加算および前記減算の内、少なくともいずれか一方を行い、
各演算手段は、前記加算および前記減算の内、少なくともいずれか一方を行うことにより、前記フレームレートを２倍に変換する
請求項２に記載の情報処理装置。
【請求項４】
前記演算手段は、前記加算および前記減算の内、少なくともいずれか一方を、並列的に複数行い、複数の演算結果を同時に生成する
請求項１に記載の情報処理装置。
【請求項５】
符号化された前記動画像データであるコードストリームを復号する復号手段をさらに備え、
前記複数の演算手段は、前記制御手段により制御され、前記復号手段により復号されて得られた前記動画像データの各フレームデータに対して、前記加算および前記減算の内、少なくともいずれか一方を行う
請求項１に記載の情報処理装置。
【請求項６】
前記復号手段は、前記複数の演算手段の演算により得られる動画像データのフレームレートに応じた速度で、前記コードストリームを復号する
請求項５に記載の情報処理装置。
【請求項７】
前記復号手段は、
前記コードストリームより量子化係数を生成するエントロピー復号手段と、
前記量子化係数を変換して所定のフィルタ係数を生成する逆量子化手段と、
前記フィルタ係数を逆フィルタリングし、復号画像を生成する逆フィルタリング手段と
を備える請求項５に記載の情報処理装置。
【請求項８】
前記エントロピー復号手段は、加算画像のコードストリームと減算画像のコードストリームとを、互いに独立して、それぞれ、最上位ビットの位置から下位ビットの方向に量子化係数を生成するような順番で復号する
請求項７に記載の情報処理装置。
【請求項９】
前記エントロピー復号手段は、加算画像のコードストリームと減算画像のコードストリームとを統合し、統合されたコードストリーム全体を、最上位ビットの位置から下位ビットの方向に量子化係数を生成するような順番で復号する
請求項７に記載の情報処理装置。
【請求項１０】
前記エントロピー復号手段は、同じビット位置の量子化係数を最低域のサブバンドから最高域のサブバンドに向かう順に生成するように、前記コードストリームを復号する
請求項７に記載の情報処理装置。
【請求項１１】
前記エントロピー復号手段は、同じビット位置の量子化係数を、輝度成分のコンポーネントを色差成分のコンポーネントより先に生成するように、前記コードストリームを復号する
請求項７に記載の情報処理装置。
【請求項１２】
動画像データを処理する情報処理装置の情報処理方法であって、
フレームデータ同士を加算および減算することにより、フレームレートを変換する複数の演算ステップと、
前記複数の演算ステップの各処理を制御して、前記動画像データの各フレームデータに対して、前記加算および前記減算の内、少なくともいずれか一方を、前記動画像データのフレームレートを所望のレートに変換するのに必要な回数行わせる制御ステップと
を備える情報処理方法。
【請求項１３】
動画像データを処理するコンピュータが実行可能なプログラムであって、
フレームデータ同士を加算および減算することにより、フレームレートを変換する複数の演算ステップと、
前記複数の演算ステップの各処理を制御して、前記動画像データの各フレームデータに対して、前記加算および前記減算の内、少なくともいずれか一方を、前記動画像データのフレームレートを所望のレートに変換するのに必要な回数行わせる制御ステップと
をコンピュータに実行させるプログラム。
【請求項１４】
動画像データを処理する情報処理装置であって、
前記動画像データの各フレームデータに対して、フレームデータ同士の加算およびフレームデータ間の減算の内、少なくとも一方を繰り返し行うことにより、前記動画像データのフレームレートを変換するフレームレート変換手段を備える
情報処理装置。
【請求項１５】
前記フレームレート変換手段により変換された前記動画像データを符号化する符号化手段をさらに備える
請求項１４に記載の情報処理装置。
【請求項１６】
前記フレームレート変換手段により変換された前記動画像データを所定の記録媒体に書き込む書き込み手段をさらに備える
請求項１４に記載の情報処理装置。
【請求項１７】
前記フレームレート変換手段により変換された前記動画像データを他の装置に送信する送信手段をさらに備える
請求項１４に記載の情報処理装置。
【請求項１８】
動画像データを処理する情報処理装置の情報処理方法であって、
前記動画像データの各フレームデータに対して、フレームデータ同士の加算およびフレームデータ間の減算の内、少なくとも一方を繰り返し行うことにより、前記動画像データのフレームレートを変換するフレームレート変換ステップを備える
情報処理方法。
【請求項１９】
動画像データを処理するコンピュータが実行可能なプログラムであって、
前記動画像データの各フレームデータに対して、フレームデータ同士の加算およびフレームデータ間の減算の内、少なくとも一方を繰り返し行うことにより、前記動画像データのフレームレートを変換するフレームレート変換ステップ
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、高フレームレートの動画像を容易に可変再生することができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来の代表的な画像圧縮方式として、ISO（International Standards Organization）によって標準化されたMPEG（Moving Picture Experts Group）方式やJPEG（Joint Photographic Experts Group）方式等がある。
【０００３】
MPEG方式の中でMPEG-２と呼ばれる方式は、現在我々が慣れ親しんでいるBS（Broadcasting Satellite）デジタル放送で、HDTV（High Definition Television）のインターレース動画像を圧縮するのに使われている。また、DVD（Digital Versatile Disc）メディアに記録されて販売されるコンテンツもこのMPEG-２方式により圧縮符号化されている。
【０００４】
TV（Television）信号は１秒間に３０フレーム（６０フィールド）の画像から構成されているが、この程度の画像数だと高速の動物体に対する再現性が悪いことが指摘されている。そのため、近年においては、その数倍、例えば１２０フレーム/秒〜２４０フレーム/秒といった高フレームレートの動画像を扱う必要性が高まっている。
【０００５】
しかしながら、フレームレートが数倍になると、その分データレートが高くなるので、符号化処理を遅延無く即時的に（リアルタイムに）行うことが困難になり、特に、フレーム間圧縮を用いるMPEG方式によりリアルタイムに符号化を行うことができるハードウェアの実現が、コスト等の問題から事実上不可能になる恐れがあった。
【０００６】
このような問題を回避するために、イントラ符号化系のコーデックを複数個配列して、時分割で圧縮符号化を行うようにする方法がある（例えば、特許文献１参照）。
【０００７】
特許文献１においては、525/60P（水平解像度が５２５本で、フレームレートが６０フレーム/秒のプログレッシブ動画像）や1080/60P（水平解像度が１０８０本で、フレームレートが６０フレーム/秒のプログレッシブ動画像）等の動画像を、高能率に符号化するために、２フレーム毎にフレーム間の画像信号の和信号と差信号を取り、各々を符号化し、和信号の符号化ビットレートと差信号の符号化ビットレートとの割合を制御する手法が開示されている。
【特許文献１】特開２００４−１０４６９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の方法では、基本的に通常（例えば６０フレーム／秒）よりも高いフレームレートのコンテンツへの適用は考慮されておらず、コンテンツのフレームレートがより高くなるほど、１つのエンコーダで符号化する場合と同様に、リアルタイムの符号化が困難になる恐れがあった。
【０００９】
また、圧縮符号化した高フレームレートのコンテンツを復号して再生する際においても、圧縮前のフレームレートに戻すことしかできず、再生レートや再生速度の制御を行う場合、それらの制御処理を改めて処理を行う必要があり、容易に行うことができなかった。
【００１０】
本発明は、このような従来の実情に鑑みて提案されたものであり、高フレームレートの動画像を容易に可変再生することができるようにする。
【課題を解決するための手段】
【００１１】
本発明の第１の側面は、動画像データを処理する情報処理装置であって、フレームデータ同士を加算および減算することにより、フレームレートを変換する複数の演算手段と、前記複数の演算手段を制御して、前記動画像データの各フレームデータに対して、前記加算および前記減算の内、少なくともいずれか一方を、前記動画像データのフレームレートを所望のレートに変換するのに必要な回数行わせる制御手段とを備える情報処理装置である。
【００１２】
前記複数の演算手段が互いに直列に接続され、２段目以降の前記演算手段は前段の演算手段における演算結果に対して加算および減算を行うようになされ、前記制御手段は、直列に接続された前記複数の演算手段の内、最初の段から、所望のフレームレートの前記動画像データが得られる段までの演算手段に、前記加算および前記減算の内、少なくともいずれか一方を行わせるようにすることができる。
【００１３】
前記直列に接続された前記複数の演算手段の内、最初の段の演算手段は、前記加算および前記減算によってフレームレートが低減された動画像データに対して、前記加算および前記減算の内、少なくともいずれか一方を行い、各演算手段は、前記加算および前記減算の内、少なくともいずれか一方を行うことにより、前記フレームレートを２倍に変換するようにすることができる。
【００１４】
前記演算手段は、前記加算および前記減算の内、少なくともいずれか一方を、並列的に複数行い、複数の演算結果を同時に生成することができる。
【００１５】
符号化された前記動画像データであるコードストリームを復号する復号手段をさらに備え、前記複数の演算手段は、前記制御手段により制御され、前記復号手段により復号されて得られた前記動画像データの各フレームデータに対して、前記加算および前記減算の内、少なくともいずれか一方を行うことができる。
【００１６】
前記復号手段は、前記複数の演算手段の演算により得られる動画像データのフレームレートに応じた速度で、前記コードストリームを復号することができる。
【００１７】
前記復号手段は、前記コードストリームより量子化係数を生成するエントロピー復号手段と、前記量子化係数を変換して所定のフィルタ係数を生成する逆量子化手段と、前記フィルタ係数を逆フィルタリングし、復号画像を生成する逆フィルタリング手段とを備えることができる。
【００１８】
前記エントロピー復号手段は、加算画像のコードストリームと減算画像のコードストリームとを、互いに独立して、それぞれ、最上位ビットの位置から下位ビットの方向に量子化係数を生成するような順番で復号することができる。
【００１９】
前記エントロピー復号手段は、加算画像のコードストリームと減算画像のコードストリームとを統合し、統合されたコードストリーム全体を、最上位ビットの位置から下位ビットの方向に量子化係数を生成するような順番で復号することができる。
【００２０】
前記エントロピー復号手段は、同じビット位置の量子化係数を最低域のサブバンドから最高域のサブバンドに向かう順に生成するように、前記コードストリームを復号することができる。
【００２１】
前記エントロピー復号手段は、同じビット位置の量子化係数を、輝度成分のコンポーネントを色差成分のコンポーネントより先に生成するように、前記コードストリームを復号することができる。
【００２２】
本発明の第１の側面はまた、動画像データを処理する情報処理装置の情報処理方法またはプログラムであって、フレームデータ同士を加算および減算することにより、フレームレートを変換する複数の演算ステップと、前記複数の演算ステップの各処理を制御して、前記動画像データの各フレームデータに対して、前記加算および前記減算の内、少なくともいずれか一方を、前記動画像データのフレームレートを所望のレートに変換するのに必要な回数行わせる制御ステップとを備える情報処理方法またはプログラムである。
【００２３】
本発明の第２の側面は、動画像データを処理する情報処理装置であって、前記動画像データの各フレームデータに対して、フレームデータ同士の加算およびフレームデータ間の減算の内、少なくとも一方を繰り返し行うことにより、前記動画像データのフレームレートを変換するフレームレート変換手段を備える情報処理装置である。
【００２４】
前記フレームレート変換手段により変換された前記動画像データを符号化する符号化手段をさらに備えることができる。
【００２５】
前記フレームレート変換手段により変換された前記動画像データを所定の記録媒体に書き込む書き込み手段をさらに備えることができる。
【００２６】
前記フレームレート変換手段により変換された前記動画像データを他の装置に送信する送信手段をさらに備えることができる。
【００２７】
本発明の第２の側面はまた、動画像データを処理する情報処理装置の情報処理方法またはプログラムであって、前記動画像データの各フレームデータに対して、フレームデータ同士の加算およびフレームデータ間の減算の内、少なくとも一方を繰り返し行うことにより、前記動画像データのフレームレートを変換するフレームレート変換ステップを備える情報処理方法またはプログラムである。
【００２８】
本発明の第１の側面においては、動画像データの各フレームデータに対して、加算および減算の内、少なくともいずれか一方が、動画像データのフレームレートが所望のレートに変換されるのに必要な回数だけ行われる。
【００２９】
本発明の第２の側面においては、動画像データの各フレームデータに対して、フレームデータ同士の加算およびフレームデータ間の減算の内、少なくとも一方が繰り返し行われることにより、動画像データのフレームレートが変換される。
【発明の効果】
【００３０】
本発明によれば、情報を処理することができる。特に、高フレームレートの動画像の可変再生を容易に行うことができる。
【発明を実施するための最良の形態】
【００３１】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３２】
本発明の第１の側面は、動画像データを処理する情報処理装置（例えば、図２６Ａの再生レート制御装置６０５）であって、フレームデータ同士を加算および減算することにより、フレームレートを変換する複数の演算手段（例えば、図１１の第１演算部４０２および第２演算部４０３）と、前記複数の演算手段を制御して、前記動画像データの各フレームデータに対して、前記加算および前記減算の内、少なくともいずれか一方を、前記動画像データのフレームレートを所望のレートに変換するのに必要な回数行わせる制御手段（例えば、図１１の出力制御部４０５）とを備える情報処理装置である。
【００３３】
前記複数の演算手段が互いに直列に接続され、２段目以降の前記演算手段は前段の演算手段における演算結果（例えば、図１１の加算画像４６１、減算画像４６２、加算画像４６３、および減算画像４６４）に対して加算および減算を行うようになされ、前記制御手段は、直列に接続された前記複数の演算手段の内、最初の段から、所望のフレームレートの前記動画像データが得られる段までの演算手段に、前記加算および前記減算の内、少なくともいずれか一方を行わせるようにすることができる。
【００３４】
前記直列に接続された前記複数の演算手段の内、最初の段の演算手段は、前記加算および前記減算によってフレームレートが低減された動画像データ（例えば、図１１の加算画像３２１、減算画像３２２、加算画像３２３、および減算画像３２４）に対して、前記加算および前記減算の内、少なくともいずれか一方を行い、各演算手段は、前記加算および前記減算の内、少なくともいずれか一方を行うことにより、前記フレームレートを２倍に変換する（例えば、図１２の例）ようにすることができる。
【００３５】
前記演算手段は、前記加算および前記減算の内、少なくともいずれか一方を、並列的に複数行い（例えば、図１１の加算器４１１、減算器４１２、加算器４１３、および減算器４１４）、複数の演算結果（例えば、図１１の加算画像４６１、減算画像４６２、加算画像４６３、および減算画像４６４）を同時に生成することができる。
【００３６】
符号化された前記動画像データであるコードストリームを復号する復号手段（例えば、図１の復号部２３）をさらに備え、前記複数の演算手段は、前記制御手段により制御され、前記復号手段により復号されて得られた前記動画像データの各フレームデータに対して、前記加算および前記減算の内、少なくともいずれか一方を行うことができる。
【００３７】
前記復号手段は、前記複数の演算手段の演算により得られる動画像データのフレームレートに応じた速度で、前記コードストリームを復号する（例えば、図１３乃至図１５の例）ことができる。
【００３８】
前記復号手段は、前記コードストリームより量子化係数を生成するエントロピー復号手段（例えば、図１０のエントロピー復号部３５１）と、前記量子化係数を変換して所定のフィルタ係数を生成する逆量子化手段（例えば、図１０の逆量子化部３５２）と、前記フィルタ係数を逆フィルタリングし、復号画像を生成する逆フィルタリング手段（例えば、図１０のウェーブレット逆変換部３５３）とを備えることができる。
【００３９】
前記エントロピー復号手段は、加算画像のコードストリームと減算画像のコードストリームとを、互いに独立して、それぞれ、最上位ビットの位置から下位ビットの方向に量子化係数を生成するような順番で復号する（例えば、図２２の例）ことができる。
【００４０】
前記エントロピー復号手段は、加算画像のコードストリームと減算画像のコードストリームとを統合し、統合されたコードストリーム全体を、最上位ビットの位置から下位ビットの方向に量子化係数を生成するような順番で復号する（例えば、図２３の例）ことができる。
【００４１】
前記エントロピー復号手段は、同じビット位置の量子化係数を最低域のサブバンドから最高域のサブバンドに向かう順に生成するように、前記コードストリームを復号する（例えば、図７の例）ことができる。
【００４２】
前記エントロピー復号手段は、同じビット位置の量子化係数を、輝度成分のコンポーネントを色差成分のコンポーネントより先に生成するように、前記コードストリームを復号する（例えば、図８の例）ことができる。
【００４３】
本発明の第１の側面はまた、動画像データを処理する情報処理装置（例えば、図２６Ａの再生レート制御装置６０５）の情報処理方法またはプログラムであって、フレームデータ同士を加算および減算することにより、フレームレートを変換する複数の演算ステップ（例えば、図１７のステップＳ２５）と、前記複数の演算ステップの各処理を制御して、前記動画像データの各フレームデータに対して、前記加算および前記減算の内、少なくともいずれか一方を、前記動画像データのフレームレートを所望のレートに変換するのに必要な回数行わせる制御ステップ（例えば、図１７のステップＳ２４）とを備える情報処理方法またはプログラムである。
【００４４】
本発明の第２の側面は、動画像データを処理する情報処理装置（例えば、図２６Ａの記録レート制御装置６０１）であって、前記動画像データの各フレームデータに対して、フレームデータ同士の加算およびフレームデータ間の減算の内、少なくとも一方を繰り返し行うことにより、前記動画像データのフレームレートを変換するフレームレート変換手段（例えば、図２の第１演算部５３および第２演算部５４）を備える情報処理装置である。
【００４５】
前記フレームレート変換手段により変換された前記動画像データを符号化する符号化手段（例えば、図１の符号化部２２）をさらに備えることができる。
【００４６】
前記フレームレート変換手段により変換された前記動画像データを所定の記録媒体に書き込む書き込み手段（例えば、図２６Ｂの書き込み部６２２）をさらに備えることができる。
【００４７】
前記フレームレート変換手段により変換された前記動画像データを他の装置に送信する送信手段（例えば、図２６Ｃの符号化部６５２）をさらに備えることができる。
【００４８】
以下、本発明の実施の形態について説明する。
【００４９】
図１は、本発明を適用した画像処理システムの構成例を示すブロック図である。
【００５０】
図１において、画像処理システム１は、動画像データを大きな遅延無く即時的に（リアルタイムに）圧縮符号化して記録し、必要に応じて、その動画像データを大きな遅延無く即時的に（リアルタイムに）読み出して再生するシステムである。この画像処理システム１は、符号化装置１１、記録部１２、および復号装置１３を有する。
【００５１】
符号化装置１１は、実時間で入力される動画像データをリアルタイムに圧縮符号化する装置である。つまり、符号化装置１１は、動画像データの入力速度（すなわち、データとしてのフレームレート）以上の圧縮符号化処理能力を有しており、実質的に、その入力速度以上の処理速度で動画像データを圧縮符号化し、コードストリームを記録部１２に出力する。
【００５２】
なお、データとしての大きさや密度を示す場合のデータ量のことを「レート」と称し、処理等の速度を示す場合のデータ量のことを「速度」と称する。例えば、動画像データの再生動画像が毎秒何フレームで構成されているかを示す値のことをフレームレートと称し、動画像データの再生時間１秒当たりのデータ量（ビット）をビットレートと称する。これに対して、例えば、動画像データの、１秒間に入力されるフレーム数を入力速度と称し、１秒間に圧縮符号化されるフレーム数を圧縮符号化速度と称する。また、例えば、ビットストリームの１秒間に出力されるフレーム数（対応する動画像データに換算したときのフレーム数）を出力速度と称する。
【００５３】
ちなみに、図１の符号化装置１１の場合、入力速度は、入力される動画像データのフレームレートに一致し、出力速度は、圧縮符号化速度に一致する。
【００５４】
また、「大きな遅延」とは、圧縮符号化速度（すなわち、出力速度）が動画像データの入力速度より遅いことに起因する遅延のことである。例えば、動画像データの入力開始から入力終了までの時間が１０秒であったのに対して、コードストリームの出力開始から出力終了までの時間が１５秒であるような場合の、入力と出力の時間差の５秒を大きな遅延とする。
【００５５】
これに対して、圧縮符号化の処理実行時間や、その処理の仕組みにより発生する、例えば、動画像データの入力が開始されてからコードストリームの出力が開始されるまでのような短い時間は、大きな遅延には含まない。すなわち、実質的に、動画像データを入力しながら、オーバフローやデータの欠損等を発生させずに、符号化を行い、コードストリームを出力することができる場合の僅かな遅延時間は、大きな遅延には含まれないものとする。
【００５６】
符号化装置１１は、記録部１２において記録媒体に記録される際の動画像データのレート（記録レート）を制御する（すなわち、入力された動画像データを圧縮する）記録レート制御部２１と、動画像データを圧縮符号化する符号化部２２を有する。
【００５７】
より具体的には、記録レート制御部２１は、動画像データに対してフレーム同士の加算や減算を行い、符号化部２２は、複数のイントラ符号化器を有し、同タイミングにおいて得られた複数の演算結果のそれぞれに対して並行してイントラ符号化を行う。
【００５８】
これにより、記録レート制御部２１は、動画像データの再生時におけるフレームレート（再生レート）の自由度が容易かつ十分に得られるようにするとともに、記録レートを低減させることができ、符号化部２２は、通常のフレームレートをリアルタイムに符号化可能な処理速度を有する安価なイントラ符号化器を用いて、通常よりも高いフレームレート（高フレームレート）の動画像データをリアルタイムに符号化することができる。
【００５９】
従って、符号化装置１１は、バッファメモリの容量やコストの増大無しに（安価かつ容易に）、再生時において再生レートの自由度が容易かつ十分に得られるように、オーバフロー、フレームの欠損、および大きな遅延等の不具合を発生させずに（リアルタイムに）、高フレームレートの動画像データの圧縮符号化を行うことができる。
【００６０】
記録部１２は、符号化装置１１より供給されるコードストリームを、十分な速さ（符号化装置１１の出力速度以上の書き込み速度）で内蔵する所定の記録媒体（図示せず）に書き込む（記録する）。また、記録部１２は、必要に応じてその記録媒体に記録されたコードストリームを十分な速さで読み出し、復号装置１３に供給する。つまり、記録部１２は、復号装置１３が、再生速度に対して大きな遅延無く即時的に（リアルタイムに）コードストリームを復号して伸張することができるような読み出し速度で、コードストリームを読み出して復号装置１３に供給する。
【００６１】
復号装置１３は、記録部１２より供給されるコードストリームを、再生速度に対して大きな遅延無く即時的に（リアルタイムに）、符号化部２２に対応する方法で復号伸張する復号部２３と、動画像データの再生時のフレームレートを制御する再生レート制御部２４を有する。
【００６２】
より具体的には、復号部２３は、複数のイントラ復号器を有し、コードストリームの、符号化部２２において並行して符号化された複数のイントラ符号化結果のそれぞれに対して並行してイントラ復号を行う。再生レート制御部２４は、復号部２３においてイントラ復号されたデータを伸張し、所定の再生レートで出力する。
【００６３】
これにより、復号部２３は、通常のフレームレートをリアルタイムに復号可能な処理速度を有する安価なイントラ復号器を用いて、高フレームレートの動画像データをリアルタイムに復号することができ、再生レート制御部２４は、容易に再生レートを制御することができる。
【００６４】
従って、符号化装置１１は、バッファメモリの容量やコストの増大無しに（安価かつ容易に）、オーバフロー、フレームの欠損、および大きな遅延等の不具合を発生させずに（リアルタイムに）、高フレームレートの動画像データが圧縮符号化されたコードストリームの復号を行うことができ、さらに、その高フレームレートの動画像データの再生レートを制御することができる。
【００６５】
以下に、図１に示される各部の詳細について説明する。なお、以下においては、基準となるフレームレートを６０ｐ（６０フレーム／秒のプログレッシブ方式）とし、高フレームレートをその４倍の２４０ｐ（２４０フレーム／秒のプログレッシブ方式）として説明する。
【００６６】
図２は、図１の記録レート制御部２１の詳細な構成例を示すブロック図である。図２において、記録レート制御部２１は、分配部５１、メモリ５２−１乃至メモリ５２−４、第１演算部５３、および第２演算部５４を有する。
【００６７】
分配部５１は、１つの入力側端子６０と４つの出力側端子（出力側端子６１乃至出力側端子６４）を有するスイッチ回路よりなる。分配部５１は、このスイッチの切り替えにより、入力側端子６０に供給される高フレームレートの動画像データ１０１の各フレームのデータ（フレームデータ）を、出力側端子６１乃至出力側端子６４のそれぞれに、順番に分配する。例えば、分配部５１は、最初に、入力側端子６０と出力側端子６１を接続し、動画像データ１０１の最初のフレームデータを出力側端子６１に供給し、フレームデータ１１１として出力させる。次に、分配部５１は、スイッチを切り替えて入力側端子６０を出力側端子６２に接続し、動画像データ１０１の次のフレームデータを出力側端子６２に供給し、フレームデータ１１２として出力させる。同様に分配部５１は、スイッチを切り替えて入力側端子６０を出力側端子６３に接続し、動画像データ１０１のその次のフレームデータを出力側端子６３よりフレームデータ１１３として出力させ、さらにスイッチを切り替えて入力側端子６０を出力側端子６４に接続し、動画像データ１０１のその次のフレームデータを出力側端子６４よりフレームデータ１１４として出力させる。分配部５１は、以上のようなスイッチの切り替えを繰り返し、各フレームデータを順に、出力側端子６１乃至出力側端子６４のいずれかより出力させる。
【００６８】
なお、このスイッチの切り替え（出力側端子の接続順）は任意であるが、以下においては、説明の簡略化のため、入力側端子６０の接続先を、出力側端子６１、出力側端子６２、出力側端子６３、出力側端子６４、出力側端子６１、出力側端子６２、・・・の順で繰り返し切り替える場合について説明する。つまり、フレームデータ１１１、フレームデータ１１２、フレームデータ１１３、フレームデータ１１４の順に時間的に古くなる（フレームデータ１１１が最も古く、フレームデータ１１４が最も新しい）。
【００６９】
分配部５１の出力側端子６１より出力されるフレームデータ１１１は、メモリ５２−１に供給され、一時的に保持される。同様に、出力側端子６２より出力されるフレームデータ１１２はメモリ５２−２に供給され、出力側端子６３より出力されるフレームデータ１１３はメモリ５２−３に供給され、出力側端子６４より出力されるフレームデータ１１４はメモリ５２−４に供給され、それぞれにおいて一時的に保持される。
【００７０】
メモリ５２−１乃至メモリ５２−４は、それぞれフレームデータを一時的に保持するバッファメモリであり、全てのメモリにフレームデータが蓄積されると、保持している各フレームデータを同時に出力する（フレームデータ１２１乃至フレームデータ１２４）。すなわち、メモリ５２−１乃至メモリ５２−４は、分配部５１において分配された１組（図２の場合４つ）のフレームデータの、第１演算部５３への供給タイミングを互いに一致させる。
【００７１】
なお、メモリ５２−１乃至メモリ５２−４を互いに区別して説明する必要の無い場合、メモリ５２と称する。
【００７２】
タイミングを制御されたフレームデータ１２１乃至フレームデータ１２４は、それぞれ、第１演算部５３に供給される。なお、これらのフレームデータ１２１乃至フレームデータ１２４は、当然であるが、後述するようなフレームデータ同士の加減算が行われていないフレームデータ（生のフレームデータ）である。
【００７３】
第１演算部５３は、生のフレームデータ同士を加算する加算器７１および加算器７３、並びに、生のフレームデータ同士を減算する減算器７２および減算器７４を有し、第１レベルの加算画像または第１レベルの減算画像を生成する。加算器７１は、フレームデータ１２１乃至フレームデータ１２４の内、時間的に最も古いフレームデータ１２１と２番目に古いフレームデータ１２２を加算（フレーム内の同位置の画素値同士を加算）し、その加算結果を第１レベルの加算画像１３１として出力する。減算器７２は、フレームデータ１２１乃至フレームデータ１２４の内、時間的に最も古いフレームデータ１２１から２番目に古いフレームデータ１２２を減算（フレーム内の同位置の画素値同士を減算）し、その減算結果を第１レベルの減算画像１３２として出力する。加算器７３は、フレームデータ１２１乃至フレームデータ１２４の内、時間的に３番目に古いフレームデータ１２３と最も新しいフレームデータ１２４を加算し、その加算結果を第１レベルの加算画像１３３として出力する。減算器７４は、フレームデータ１２１乃至フレームデータ１２４の内、時間的に３番目に古いフレームデータ１２３から最も新しいフレームデータ１２４を減算し、その減算結果を第１レベルの減算画像１３４として出力する。
【００７４】
すなわち、フレームデータ１２１をフレーム（１）とし、フレームデータ１２２をフレーム（２）とし、フレームデータ１２３をフレーム（３）とし、フレームデータ１２４をフレーム（４）とし、第１レベルの加算画像１３１を加算（１）とし、第１レベルの減算画像１３２を減算（１）とし、第１レベルの加算画像１３３を加算（２）とし、第１レベルの減算画像１３４を減算（２）とすると、第１演算部５３の入出力の関係は、以下の式（１）乃至式（４）により表わすことができる。
【００７５】
加算（１）＝フレーム（１）＋フレーム（２）  ・・・（１）
減算（１）＝フレーム（１）−フレーム（２）  ・・・（２）
加算（２）＝フレーム（３）＋フレーム（４）  ・・・（３）
減算（２）＝フレーム（３）−フレーム（４）  ・・・（４）
【００７６】
例えば、以上の式（１）や式（３）のように、２フレームを加算して各画素値を２で割ると、その２フレームの平均値（変化分の中間値）が算出される。つまり、第１レベルの加算画像１３１や第１レベルの加算画像１３３は、フレームデータの低周波成分により構成される。このように加算画像は２つのフレームデータの合計値により構成されるので、データ量は変化しない。
【００７７】
また、例えば、以上の式（２）や式（４）のように、２フレームを減算すると、その２フレーム間の差分（変化量）が算出される。つまり、第１レベルの加算画像１３１や第１レベルの加算画像１３３は、フレームデータの高周波成分により構成される。例えば、連続するフレーム（１）の画像とフレーム（２）の画像が同一である場合、その差分は「０」になるので、減算（１）の画素値（高周波成分）は全て「０」になる。
【００７８】
このフレーム間の差分は、同じ動画像であれば、フレームレートが高いほど小さくなる。すなわち、一般的に、通常のフレームレートの場合よりも高フレームレートの場合の方が減算画像のデータ量は低減されるので、フレームレートが高いほど符号化効率の向上を期待することができる。
【００７９】
以上のように演算され、第１演算部５３より出力された第１レベルの加算画像１３１、第１レベルの減算画像１３２、第１レベルの加算画像１３３、および第１レベルの減算画像１３４は、それぞれ、第２演算部５４に供給される。
【００８０】
第２演算部５４は、加算器８１、減算器８２、加算器８３、および、減算器８４を有し、第１レベルの加算画像または減算画像を加算または減算することにより、第２レベルの加算画像または減算画像を生成する。加算器８１は、第１レベルの加算画像１３１と第１レベルの加算画像１３３を加算（フレーム内の同位置の画素値同士を加算）し、その加算結果を第２レベルの加算画像１４１として出力する。減算器８２は、第１レベルの加算画像１３１から第１レベルの加算画像１３３を減算（フレーム内の同位置の画素値同士を減算）し、その減算結果を第２レベルの減算画像１４２として出力する。加算器８３は、第１レベルの減算画像１３２と第１レベルの減算画像１３４を加算し、その加算結果を第２レベルの加算画像１４３として出力する。減算器８４は、第１レベルの減算画像１３２から第１レベルの減算画像１３４を減算し、その減算結果を第２レベルの減算画像１４４として出力する。
【００８１】
すなわち、第２レベルの加算画像１４１を加算（３）とし、第２レベルの減算画像１４２を減算（３）とし、第２レベルの加算画像１４３を加算（４）とし、第２レベルの減算画像１４４を減算（４）とすると、第２演算部５４の入出力の関係は、以下の式（５）乃至式（８）により表わすことができる。
【００８２】
加算（３）＝加算（１）＋加算（２）
＝｛フレーム（１）＋フレーム（２）｝＋｛フレーム（３）＋フレーム（４）｝
・・・（５）
減算（３）＝加算（１）−加算（２）
｛フレーム（１）＋フレーム（２）｝−｛フレーム（３）＋フレーム（４）｝
・・・（６）
加算（４）＝減算（１）＋減算（２）
＝｛フレーム（１）−フレーム（２）｝＋｛フレーム（３）−フレーム（４）｝
・・・（７）
減算（４）＝減算（１）−減算（２）
＝｛フレーム（１）−フレーム（２）｝−｛フレーム（３）−フレーム（４）｝
・・・（８）
【００８３】
このように、第１演算部５３は、隣接する２フレーム間の加減算を行ったが、第２演算部５４は、隣接する４フレーム間の加減算を行うので、第１演算部５３の場合より長い時間レンジ（幅）での相関を取ることができる。
【００８４】
このように、フレームデータを複数回加減算することにより、記録レート制御部２１は、符号化効率をさらに向上させることができる。図２においては、加減算の演算を、第１演算部５３と第２演算部５４とでそれぞれ１回ずつ（すなわち、合計２回）行うように説明したが、この加減算の回数（段数）は複数回であれば何回であってもよく、例えば、３回以上であってもよい。また同時に加減算を行うフレーム数も、図２においては４フレームの場合について説明したが、いくつであってもよい。ただし、このフレームの加減算の構造は、符号化部２２、復号部２３、および再生レート制御部２４においても対応されている必要がある（予め定められているか、若しくは、互いに情報を共有して対応する可変構成となっている必要がある）。
【００８５】
記録レートを低減させることのみを目的とするならば、記録レート制御部２１は、減算のみを繰り返し行うのが望ましいが、再生時の再生レート制御を容易にするためには、減算だけでなく加算も行い、再生レート制御時における演算が容易になるような演算結果にするのが望ましい。このような記録レート制御部２１の処理は、フレームデータの単純な加算および減算のみにより構成されるので、基本的に負荷を増大させずに容易に行うことができるが、演算数が多いほど負荷や処理時間は増加するので、どのように加減算を行うかは、符号化効率や再生レートの自由度等とのトレードオフにより決定するのが望ましい。
【００８６】
なお、上述したように、加算画像および減算画像は、フレームデータ同士を加減算したものであるので、これらもフレームデータ（フレーム単位のデータ）である。すなわち、記録レート制御部２１は、フレームデータ同士を加算または減算することにより、動画像データのフレームレートを任意のレートに変換することができる。
【００８７】
以上のように演算され、第２演算部５４より出力された第２レベルの加算画像１４１、第２レベルの減算画像１４２、第２レベルの加算画像１４３、および第２レベルの減算画像１４４は、それぞれ、符号化部２２に供給される。
【００８８】
次に、図１の符号化部２２について説明する。図３は、図１の符号化部２２の詳細な構成例を示すブロック図である。図３において、符号化部２２は、入力された画像データに対してイントラ符号化を行うイントラ符号化部１５１、符号化されたコードストリームを合成するコードストリーム合成部１５２、および、イントラ符号化処理における符号化ビット量を制御するレート制御部１５３を有する。
【００８９】
イントラ符号化部１５１は、符号化能力６０ｐの、第１イントラ符号化部１６１乃至第４イントラ符号化部１６４を有する。第１イントラ符号化部１６１乃至第４イントラ符号化部１６４は、互いに同時に（並列に）動作し、それぞれ、供給された第２レベルの加算画像１４１、第２レベルの減算画像１４２、第２レベルの加算画像１４３、または第２レベルの減算画像１４４を符号化し、コードストリームをコードストリーム合成部１５２に供給する。第１イントラ符号化部１６１乃至第４イントラ符号化部１６４は、互いに同一の符号化器により構成され、互いに同一の方法で符号化を行うようにしてもよいし、それぞれが処理する画像（第２レベルの加算画像１４１、第２レベルの減算画像１４２、第２レベルの加算画像１４３、または第２レベルの減算画像１４４）の特徴を活かして互いに異なる方法で符号化するようにしてもよい。
【００９０】
コードストリーム合成部１５２は、第１イントラ符号化部１６１乃至第４イントラ符号化部１６４より同時に出力される各コードストリームを所定の順（例えば、第１イントラ符号化部１６１の出力、第２イントラ符号化部１６２の出力、第３イントラ符号化部１６３の出力、第４イントラ符号化部１６４の出力の順）で統合し、１つのコードストリームとして出力する。
【００９１】
レート制御部１５３は、第１イントラ符号化部１６１乃至第４イントラ符号化部１６４をそれぞれ制御して、符号化ビット量の決定や量子化制御等を行う。例えば、記録レート制御部２１より供給されるデータにおいて、主に画像の低域成分よりなる加算画像には値が「０」でない画素成分が多く含まれ、主に画像の高域成分よりなる減算画像には値が「０」の画素成分が多く含まれる。従って、加算画像を多く含むデータに対してはより多くの符号ビットを割り当て、逆に差分画像を多く含むデータに対しては少なめのビットを割り当てることが、全体の符号化効率の向上という点で望ましい。
【００９２】
以上のように符号化部２２は、符号化能力６０ｐのイントラ符号化器を４つ（第１イントラ符号化部１６１乃至第４イントラ符号化部１６４）有しており、それらを並行して動作させることにより、４倍の２４０ｐの高フレームレートの動画像データ（実際には４フレームの加減算結果）を符号化することができる。なお、この符号化部２２のイントラ符号化器の数は、記録レート制御部２１の出力数に対応していればいくつであってもよい。また、そのイントラ符号化器の必要な処理能力は、処理する同画像データのフレームレートと、イントラ符号化器の数等により決定される。
【００９３】
次に、図３のイントラ符号化器（第１イントラ符号化部１６１乃至第４イントラ符号化部１６４）の構成例について説明する。図４は、第１イントラ符号化部１６１の詳細な構成例を示すブロック図である。
【００９４】
図４において、第１イントラ符号化部１６１は、ウェーブレット変換部２０１、量子化部２０２、エントロピー符号化部２０３、符号量加算部２０４、および制御部２０５を有する。
【００９５】
ウェーブレット変換部２０１は入力されたデータ（第２レベルの加算画像１４１）に対して、ウェーブレット変換（フィルタリング）を施して所定のフィルタ係数であるウェーブレット変換係数を生成し、それを量子化部２０２に出力する。ウェーブレット変換部２０１は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクによって実現される。なお、デジタルフィルタは、通常複数タップ長のインパルス応答（フィルタ係数）を持っているため、フィルタリングが行えるだけの入力画像または係数を予めバッファリングしておく必要がある。ウェーブレット変換を多段に行う際にも同様に、前段で生成したウェーブレット変換係数をフィルタリングが行えるだけの係数だけ、バッファリングしておく必要がある。
【００９６】
このウェーブレット変換は、通常、変換により得られた低域成分（サブバンド）をさらに変換するように繰り返し行われる。図５は、ウェーブレット変換を３回繰り返した場合（分割レベル３）に得られるサブバンドの構成例を示している。図７において、Ｌは低域成分を示し、Ｈは高域成分を示している。例えば３ＬＨは、水平方向が低域で垂直方向が高域であるサブバンドを表わす。最初のウェーブレット変換により、３ＨＨ、３ＬＨ、３ＨＬ、および３ＬＬ（図示せず）のサブバンドが得られ、２回目のウェーブレット変換により３ＬＬが変換され、２ＨＨ、２ＬＨ、２ＨＬ、および２ＬＬ（図示せず）のサブバンドが得られ、３回目のウェーブレット変換により２ＬＬが変換され、１ＨＨ、１ＬＨ、１ＨＬ、および０ＬＬのサブバンドが得られる。
【００９７】
ウェーブレット変換において、このように低域成分を繰り返し変換するのは、画像のエネルギーの多くが低域成分に集中しているためである。ウェーブレット変換された画像の様子の例を図６に示す。図６Ａは分割レベル１のウェーブレット変換により得られる各サブバンドの例を示しており、図６Ｂは分割レベル３のウェーブレット変換により得られる各サブバンドの例を示している。図６Ａおよび図６Ｂのいずれにおいても、低域成分ほど元の画像に近く、高域成分ほど画像が薄くなりエネルギーが少ないことが分かる。
【００９８】
量子化部２０２は、ウェーブレット変換部２０１より出力されたウェーブレット変換係数を、例えば、JPEG2000でも使われているスカラ量子化等により量子化し、量子化係数を出力する。このスカラ量子化の場合、算出する量子化係数値をｑとすると、以下の式（９）に示されるように、量子化係数値ｑは、ウェーブレット変換係数Wを量子化ステップサイズΔで除算することにより求めることができる。
【００９９】
ｑ＝W / Δ      ・・・（９）
【０１００】
量子化部２０２は、このように算出された量子化係数をエントロピー符号化部２０３に供給する。エントロピー符号化部２０３は、例えば、MPEGやJPEGで採用されているもので、予め出現頻度に合わせて作成したハフマン符号化テーブルを参照して、符号を生成するハフマン符号化や、H.264やJPEG2000で採用されている算術符号化等を用いて、供給された量子化係数の圧縮符号化を行い、符号化結果をコードストリームとして出力する。
【０１０１】
上述したようにウェーブレット変換部２０１におけるウェーブレット変換により、複数のサブバンドが形成されるが、図６を参照して説明したように、画像の特性上、最低域に最もエネルギーが多く集まり、高域には画像の輪郭などの成分が主に存在している。従って、エントロピー符号化部２０３によるエントロピー符号化の際に、例えば図７において矢印で示されるように、最低域のサブバンドから最高域のサブバンドの順に符号化が行われるようにして、高域成分よりも低域成分により多くの符号量を割り当てることで、主観画質を向上させることが期待出来る。
【０１０２】
このような符号化の順番の制御方法としては、どのような方法であってもよいが、例えば、ウェーブレット変換部２０１がウェーブレット係数を図７の矢印の順番で出力するようにし、量子化部２０２およびエントロピー符号化部２０３が、それぞれ、供給されるデータを順に処理するようにしてもよい。
【０１０３】
また、実際の動画像は、例えばテレビジョン信号のように、通常、輝度信号と色差信号とに分けられている。すなわち、上述した加算画像および減算画像も、実際には、それぞれ輝度成分と色差成分を含む。なお、以下においては、輝度成分をY、青色（Blue）の色差成分をCb、赤色（Red）の色差成分をCrとして説明する。
【０１０４】
加算画像のダイナミックレンジは、減算画像のそれの２倍になるが、一般にダイナミックレンジが大きくなると、その分符号化ビット量が大きくなる。従って、エントロピー符号化部２０３は、加算画像のY、Cb、Crをそれぞれ、Y（加算）、Cb（加算）、Cr（加算）とし、減算画像のY、Cb、Crをそれぞれ、Y（減算）、Cb（減算）、Cr（減算）とすると、以下の式（１０）に示されるような優先順位により符号化を行うようにすることにより、符号化効率を向上させることができる。
【０１０５】
Y（加算）＞Cb（加算）＞Cr（加算）＞Y（減算）＞Cb（減算）＞Cr（減算）
・・・（１０）
【０１０６】
なお、式（１０）において、「＞」は、その左右の項の優先度の比較を示しており、この場合、左の項の優先度が右の項の優先度より高いことを示している、すなわち、式（１０）の各項の優先度は、左に行く程高くなり、逆に右に行く程低くなる。
【０１０７】
また、画像の輝度成分は色差成分よりも多くの情報量を有しており、また、画像の輝度成分に対する人間の視覚特性が、色差成分に対するものよりも敏感（輝度成分の劣化は色差成分の劣化よりも、人間の目には目立ちやすいということ）なので、輝度成分の符号化データを重視することが画質向上に寄与する。従って、エントロピー符号化部２０３は、以下の式（１１）に示されるような優先順位により符号化を行うようにしてもよい。
【０１０８】
Y（加算）＞Y（減算）＞Cb（加算）＞Cb（減算）＞Cr（加算）＞Cr（減算）
・・・（１１）
【０１０９】
さらに、図７を参照して説明したように、画像の特性上、最低域に最もエネルギーが多く集まり、高域には画像の輪郭などの成分が主に存在するようになるので、主観画質をさらに向上させるために、エントロピー符号化部２０３は、図１２において矢印により示されるような順で符号化を行うようにしてもよい。
【０１１０】
この場合、エントロピー符号化部２０３は、最初にYを低域から高域に向かって符号化し、次にCbを低域から高域に向かって符号化し、最後にCrを低域から高域に向かって符号化する。
【０１１１】
エントロピー符号化部２０３より出力されたコードストリームは、符号量加算部２０４を介して第１イントラ符号化部１６１の外部に出力される。符号量加算部２０４は、自分自身を経由して出力されるコードストリームの１フレーム内での符号量をカウント（累積）しながら、その符号量を制御部２０５に通知する。
【０１１２】
制御部２０５は、符号量加算部２０４より供給される符号量の情報に基づいて、エントロピー符号化部２０３の動作を制御する。制御部２０５は、符号量が目標の値に到達すると制御信号を出力し、エントロピー符号化部２０３の動作を停止させる。
【０１１３】
なお、第２イントラ符号化部１６２乃至第４イントラ符号化部１６４も、第１イントラ符号化部１６１と同様の構成を有し、同様の処理を行うので、それらの説明は省略する。
【０１１４】
次に復号装置１３の詳細について説明する。図９は、図１の復号部２３の詳細な構成例を示すブロック図である。図９において、復号部２３は、コードストリーム分解部３０１、およびイントラ復号部３０２を有する。
【０１１５】
この復号装置１３は、上述した符号化装置１１が符号化したビットストリームを、符号化装置１１に対応する方法で復号する装置である。すなわち、コードストリーム分解部３０１は、図３のコードストリーム合成部１５２に対応し、イントラ復号部３０２は、図３のイントラ符号化部１５１に対応する。
【０１１６】
つまり、コードストリーム分解部３０１は、記録部１２より供給された、コードストリーム合成部１５２において合成されて１つにされたコードストリームを、コードストリーム合成部１５２による合成前の状態に戻すように分解する。図９の例の場合、コードストリーム分解部３０１は、図３の例に対応するように動作し、第２レベルの加算画像１４１のコードストリーム、第２レベルの減算画像１４２のコードストリーム、第２レベルの加算画像１４３のコードストリーム、または第２レベルの減算画像１４４のコードストリームに分解し、それぞれを別々にイントラ復号部３０２に供給する。
【０１１７】
イントラ復号部３０２は、図３のイントラ符号化部１５１に対応するように、第１イントラ復号部３１１乃至第４イントラ復号部３１４を有する。第１イントラ復号部３１１は、図３の第１イントラ符号化部１６１において行われたイントラ符号化に対応する方法で、コードストリーム分解部３０１より供給される第２レベルの加算画像１４１のコードストリームをイントラ復号し、ベースバンドの第２レベルの加算画像３２１を出力する。同様に、第２イントラ復号部３１２は、図３の第２イントラ符号化部１６２において行われたイントラ符号化に対応する方法で、コードストリーム分解部３０１より供給される第２レベルの減算画像１４２のコードストリームをイントラ復号し、ベースバンドの第２レベルの減算画像３２２を出力し、第３イントラ復号部３１３は、図３の第３イントラ符号化部１６３において行われたイントラ符号化に対応する方法で、コードストリーム分解部３０３より供給される第２レベルの加算画像１４３のコードストリームをイントラ復号し、ベースバンドの第２レベルの加算画像３２３を出力し、第４イントラ復号部３１４は、図３の第４イントラ符号化部１６４において行われたイントラ符号化に対応する方法で、コードストリーム分解部３０１より供給される第２レベルの減算画像１４４のコードストリームをイントラ復号し、ベースバンドの第２レベルの減算画像３２４を出力する。
【０１１８】
第１イントラ復号部３１１乃至第４イントラ復号部３１４は、それぞれ、第１イントラ符号化部１６１乃至第４イントラ符号化部１６４に対応していればよく、互いに異なる復号器により構成されるようにしてもよいが、以下においては、互いに同一の復号器により構成されるものとして説明する。すなわち、以下において行う第１イントラ復号部３１１の構成の説明は、第２イントラ復号部３１２乃至第４イントラ復号部３１４にも適用可能であり、第２イントラ復号部３１２乃至第４イントラ復号部３１４についての説明は省略する。
【０１１９】
図１０は、第１イントラ復号部３１１の詳細な構成例を示すブロック図である。図１０に示されるように、第１イントラ復号部３１１は、エントロピー復号部３５１、逆量子化部３５２、およびウェーブレット逆変換部３５３を有する。
【０１２０】
コードストリームが入力されるとエントロピー復号部３５１は、そのコードストリームに対して、図４のエントロピー符号化部２０３によるエントロピー符号化に対応する方法で復号を行い、量子化係数を生成する。
【０１２１】
例えば、上述したように、図４のエントロピー符号化部２０３が、図７において矢印で示されるように、最低域のサブバンドから最高域のサブバンドの順に符号化を行う場合、エントロピー復号部３５１も、図７において矢印で示されるように、最低域のサブバンドから最高域のサブバンドの順に復号を行う。
【０１２２】
また、エントロピー符号化部２０３が、式（１０）に示されるような優先順位により符号化を行う場合、エントロピー復号部３５１も、同様に式（１０）に示されるような優先順位により復号を行う。
【０１２３】
さらに、エントロピー符号化部２０３が、式（１１）に示されるような優先順位により符号化を行う場合、エントロピー復号部３５１も、同様に式（１０）に示されるような優先順位により復号を行う。
【０１２４】
さらに、エントロピー符号化部２０３が、図１２において矢印により示されるような順で符号化を行う場合、エントロピー復号部３５１も、図１２において矢印で示されるように、最初にYを低域から高域に向かって復号し、次にCbを低域から高域に向かって復号し、最後にCrを低域から高域に向かって復号する。
【０１２５】
エントロピー復号部３５１は、エントロピー復号により得られた量子化係数を逆量子化部３５２に供給する。
【０１２６】
逆量子化部３５２は、図４の量子化部２０２による量子化と逆の操作を行い、量子化係数を、所定のフィルタ係数であるウェーブレット変換係数に変換する。例えば、上述したように、図４の量子化部２０２が式（９）の演算を行うことにより量子化を行う場合、逆量子化部３５２は、以下の式（１２）のように、量子化係数ｑに量子化ステップサイズΔを乗算することにより、ウェーブレット変換係数Wを求めることができる。
【０１２７】
W＝ｑ×Δ      ・・・（１２）
【０１２８】
逆量子化部３５２は、逆量子化により得られたウェーブレット変換係数をウェーブレット逆変換部３５３に供給する。ウェーブレット逆変換部３５３は、図４のウェーブレット変換部２０１によるウェーブレット変換に対応する方法でウェーブレット逆変換（逆フィルタリング）を行い、ウェーブレット変換係数より、第２レベルの加算画像１４１に対応するベースバンドの第２レベルの加算画像３２１（復号画像）を生成し、出力する。
【０１２９】
イントラ復号部３０２より出力される第２レベルの加算画像３２１、第２レベルの減算画像３２２、第２レベルの加算画像３２３、および第２レベルの減算画像３２４は、再生レート制御部２４（図１）に供給される。
【０１３０】
図１１は、図１の再生レート制御部２４の詳細な構成例を示すブロック図である。図１１において、再生レート制御部２４は、メモリ４０１−１乃至メモリ４０１−４、第１演算部４０２、第２演算部４０３、統合部４０４、および出力制御部４０５を有する。
【０１３１】
イントラ復号部３０２より出力される第２レベルの加算画像３２１、第２レベルの減算画像３２２、第２レベルの加算画像３２３、および第２レベルの減算画像３２４は、それぞれ、メモリ４０１−１乃至メモリ４０１−４に供給される。
【０１３２】
メモリ４０１−１乃至メモリ４０１−４は、それぞれ、フレームデータ（実際には第２レベルの加算画像または第２レベルの減算画像）を、第１演算部４０２への供給タイミングを揃えるために、一時的に保持するバッファメモリである。メモリ４０１−１乃至メモリ４０１−４は、全てのメモリにフレームデータが蓄積されると、保持している各フレームデータを互いに同時に出力する（第２レベルの加算画像４５１、第２レベルの減算画像４５２、第２レベルの加算画像４５３、および第２レベルの減算画像４５４）。
【０１３３】
なお、メモリ４０１−１乃至メモリ４０１−４を互いに区別して説明する必要の無い場合、メモリ４０１と称する。
【０１３４】
第１演算部４０２は、フレーム同士を加算する加算器４１１および加算器４１３、並びに、フレーム同士を減算する減算器４１２および減算器４１４を有する。加算器４１１は、第２レベルの加算画像４５１と第２レベルの減算画像４５２を加算（フレーム内の同位置の画素値同士を加算）し、その加算結果を加算画像４６１として出力する。減算器４１２は、第２レベルの加算画像４５１から第２レベルの減算画像４５２を減算（フレーム内の同位置の画素値同士を減算）し、その減算結果を減算画像４６２として出力する。加算器４１３は、第２レベルの加算画像４５３と第２レベルの減算画像４５４を加算し、その加算結果を加算画像４６３として出力する。減算器４１４は、第２レベルの加算画像４５３から第２レベルの減算画像４５４を減算し、その減算結果を減算画像４６４として出力する。
【０１３５】
すなわち、第１演算部４０２は、複数の演算を同時に（同じ組として）並列に行い、複数の演算結果（加算画像４６１、減算画像４６２、加算画像４６３、および減算画像４６４）を同時に生成し、出力する。
【０１３６】
これらの加算画像４６１、減算画像４６２、加算画像４６３、および減算画像４６４は、以下に説明するように、動画像データのフレームデータを加算または減算して生成される第１レベルの加算画像または減算画像となる。
【０１３７】
すなわち、第２レベルの加算画像４５１を加算（３）とし、第２レベルの減算画像４５２を減算（３）とし、第２レベルの加算画像４５３を加算（４）とし、第２レベルの減算画像４５４を減算（４）とし、加算画像４６１を加算（５）とし、減算画像４６２を減算（５）とし、加算画像４６３を加算（６）とし、減算画像４６４を減算（６）とすると、第１演算部４０２の入出力の関係は、以下の式（１３）乃至式（１６）により表わすことができる。
【０１３８】
加算（５）＝加算（３）＋減算（３）
＝加算（１）＋加算（２）＋加算（１）−加算（２）
＝２×加算（１）
＝２×｛フレーム（１）＋フレーム（２）｝      ・・・（１３）
減算（５）＝加算（３）−減算（３）
＝加算（１）＋加算（２）−加算（１）＋加算（２）
＝２×加算（２）
＝２×｛フレーム（３）＋フレーム（４）｝      ・・・（１４）
加算（６）＝加算（４）＋減算（４）
＝減算（１）＋減算（２）＋減算（１）−減算（２）
＝２×減算（１）
＝２×｛フレーム（１）−フレーム（２）｝      ・・・（１５）
減算（６）＝加算（４）−減算（４）
＝減算（１）＋減算（２）−減算（１）＋減算（２）
＝２×減算（２）
＝２×｛フレーム（３）−フレーム（４）｝      ・・・（１６）
【０１３９】
このように、実際には２で除算する必要があるものの、画素値の構成要素としては、加算（５）は加算（１）に一致し、減算（５）は加算（２）に一致し、加算（６）は減算（１）に一致し、減算（６）は減算（２）に一致する。すなわち、第１演算部４０２より出力される加算画像４６１、減算画像４６２、加算画像４６３、および減算画像４６４は、第１レベルの加算画像または減算画像と同等である。換言すると、第１演算部４０２は、第２レベルの加算画像および減算画像から、加算または減算を行うのみで容易に第１レベルの加算画像または減算画像を生成することができる。
【０１４０】
このように生成された第１レベルの加算画像４６１、第１レベルの減算画像４６２、第１レベルの加算画像４６３、および第１レベルの減算画像４６４は、それぞれ、第２演算部４０３に供給される。
【０１４１】
第２演算部４０３は、加算器４２１、減算器４２２、加算器４２３、および、減算器４２４を有する。加算器４２１は、第１レベルの加算画像４６１と第１レベルの加算画像４６３を加算し、その加算結果を加算画像４７１として出力する。減算器４２２は、第１レベルの加算画像４６１から第１レベルの加算画像４６３を減算し、その減算結果を減算画像４７２として出力する。加算器８３は、第１レベルの減算画像４６２と第１レベルの減算画像４６４を加算し、その加算結果を加算画像４７３として出力する。減算器８４は、第１レベルの減算画像４６２から第１レベルの減算画像４６４を減算し、その減算結果を減算画像４７４として出力する。
【０１４２】
すなわち、第２演算部４０３は、複数の演算を同時に（同じ組として）並列に行い、複数の演算結果（加算画像４７１、減算画像４７２、加算画像４７３、および減算画像４７４）を同時に生成し、出力する。
【０１４３】
これらの加算画像４７１、減算画像４７２、加算画像４７３、および減算画像４７４は、以下に説明するように、動画像データの生のフレームデータとなる。
【０１４４】
すなわち、加算画像４７１を加算（７）とし、減算画像４７２を減算（７）とし、加算画像４７３を加算（８）とし、減算画像４７４を減算（８）とすると、第２演算部４０３の入出力の関係は、以下の式（１７）乃至式（２０）により表わすことができる。
【０１４５】
加算（７）＝加算（５）＋加算（６）
＝２×｛加算（１）＋減算（１）｝
＝４×フレーム（１）      ・・・（１７）
減算（７）＝加算（５）−加算（６）
＝２×｛加算（１）−減算（１）｝
＝４×フレーム（２）      ・・・（１８）
加算（８）＝減算（５）＋減算（６）
＝２×｛加算（２）＋減算（２）｝
＝４×フレーム（３）      ・・・（１９）
減算（８）＝減算（５）−減算（６）
＝２×｛加算（２）−減算（２）｝
＝４×フレーム（４）      ・・・（２０）
【０１４６】
このように、実際には４で除算する必要があるものの、画素値の構成要素としては、加算（７）はフレーム（１）に一致し、減算（７）はフレーム（２）に一致し、加算（８）はフレーム（３）に一致し、減算（８）はフレーム（４）に一致する。すなわち、第２演算部４０３より出力される加算画像４７１、減算画像４７２、加算画像４７３、および減算画像４７４は、いずれも加減算が行われていない生のフレーム画像と同等である。換言すると、第２演算部４０３は、第１レベルの加算画像および減算画像から、加算または減算を行うのみで容易に、生のフレームデータを生成することができる。
【０１４７】
なお、上述した画素値の除算は、各演算部以降の任意の工程において行うことができるのでその説明は省略する。
【０１４８】
以上のように演算され、第２演算部４０３より出力された（生のフレームデータである）加算画像４７１、減算画像４７２、加算画像４７３、および減算画像４７４は、それぞれ、統合部４０４に供給される。
【０１４９】
統合部４０４は、４つの入力側端子（入力側端子４３１乃至入力側端子４３４）と１つの出力側端子４３５を有するスイッチ回路よりなる。統合部４０４は、このスイッチの切り替えにより、入力側端子４３１乃至入力側端子４３４のそれぞれに供給されるフレームデータ（加算画像４７１、減算画像４７２、加算画像４７３、および減算画像４７４）を、フレーム番号の順に並べて統合し、動画像データ４８１として出力側端子４３５より出力させる。例えば、統合部４０４は、入力側端子４３１から入力側端子４３４に向かって順に出力側端子４３５と接続し、加算画像４７１から減算画像４７４に向かう順にフレームデータを並べて統合し動画像データ４８１として出力させる。以上のようなスイッチの切り替えを繰り返すことにより、統合部４０４は、各フレームデータを所定の順に並べて統合し、動画像データ４８１を生成する。この順序は、図２の記録レート制御部２１の分配部５１において分配した順番に対応していればどのような順序であってもよく、予め定められていてもよいし、分配部５１と連携して決定されるようにしてもよい。
【０１５０】
なお、第１演算部４０２、第２演算部４０３、および統合部４０４は、出力制御部４０５により制御されて動作する。出力制御部４０５は、指定されたフレームレート（再生レート）で動画像データ４８１を出力するように、第１演算部４０２、第２演算部４０３、および統合部４０４の各部の動作を制御する。
【０１５１】
また、再生レート制御部２４は、メモリ４０１−１より出力される第２レベルの加算画像４５１も統合部４０４（の入力側端子４３１）に供給可能とされており、第１演算部４０２の加算器４１１より出力される第１レベルの加算画像４６１も統合部４０４（の入力側端子４３１）に供給可能とされており、さらに、第１演算部４０２の減算器４１２より出力される第１レベルの減算画像４６２も統合部４０４（の入力側端子４３２）に供給可能とされている。
【０１５２】
すなわち、例えば、出力制御部４０５は、第１演算部４０２および第２演算部４０３の動作を停止させ、第２レベルの加算画像４５１を統合部４０４の入力側端子４３１に供給させ、統合部４０４に入力側端子４３１と出力側端子４３５を固定的に接続させ、加算画像４５１を動画像データ４８１として出力させることもできる。この場合、統合部４０４には第２レベルの加算画像４５１のみが供給され、加算画像４７１、減算画像４７２、加算画像４７３、および減算画像４７４は供給されない。
【０１５３】
また、例えば、出力制御部４０５は、第２演算部４０３の動作を停止させ、第１レベルの加算画像４６１を統合部４０４の入力側端子４３１に供給させ、第１レベルの減算画像４６２を統合部４０４の入力側端子４３２に供給させ、統合部４０４に入力側端子４３１および入力側端子４３２と出力側端子４３５の接続を切り替えさせて加算画像４６１と減算画像４６２を統合させ、動画像データ４８１として出力させることもできる。この場合、統合部４０４には第１レベルの加算画像４６１と第１レベルの減算画像４６２のみが供給され、加算画像４７１、減算画像４７２、加算画像４７３、減算画像４７４、および第２レベルの加算画像４５１は供給されない。
【０１５４】
つまり、再生レート制御部２４において、第１演算部４０２および第２演算部４０３は、出力制御部４０５の制御に基づいて、供給される加算画像および減算画像を用いて加算および減算を行い、任意のフレームレートのフレームデータを生成する。統合部４０４は、出力制御部４０５の制御に基づいて、それらのフレームデータをフレーム番号順に統合し、動画像データ４８１として出力する。
【０１５５】
なお、上述したように、加算画像および減算画像は、フレームデータ同士を加減算したものであるので、これらもフレームデータ（フレーム単位のデータ）である。すなわち、再生レート制御部２４は、フレームデータ同士を加算または減算することにより、動画像データのフレームレートを任意のレートに変換することができる。このように、各部を制御することにより、出力制御部４０５は、出力する動画像データ４８１のフレームレート、すなわち、再生時のフレームレート（再生レート）を制御することができる。
【０１５６】
なお、以上においては、メモリ４０１、第１演算部４０２、第２演算部４０３、および統合部４０４の各部が並行に処理可能なデータ数は、いくつであってもよいが、実際には、復号部２３や符号化装置１１等の入出力と対応している必要がある。
【０１５７】
また、第１演算部４０２および第２演算部４０３において、例えば、どのデータとどのデータを加算してどのデータからどのデータを減算するかは任意である。さらに、何フレームのデータを１組として加減算するかも任意である。また、以上のような加減算を何回行うか（演算部をいくつ設けるか）も任意である。
【０１５８】
例えば、ＭおよびＮを任意の自然数（Ｍ≦Ｎ）とすると、Ｎ個の演算部が互いに直列に接続され、最初の段の演算部が再生レート制御部２４の外部から入力される動画像データに対して加算および減算を行い、２段目以降の演算部が前段の演算部より出力される加算画像および減算画像（前段の演算結果）に対して加算および減算を行うようになされており、さらに、出力制御部４０５が、所望の再生レートを得るために必要な回数加算および減算が行われるように、最初の段からＭ段目までのＭ個の演算部を動作させ、Ｍ段目の演算部の出力を、統合部４０４を介して、再生レート制御部２４の外部に出力させるようにしてもよい。
【０１５９】
このとき、再生レート制御部２４に入力される動画像データは、フレームデータ同士の加算や減算が行われていない生のフレームデータにより構成されるようにしてもよいし、例えば、上述したように、フレームデータ同士で加算された加算画像、および、フレームデータ間で減算された減算画像の内、少なくともいずれか一方により構成されるようにしてもよい。
【０１６０】
例えば、上述したようにＮ個の演算部が互いに直列に接続されている場合において、加算や減算によってフレームレートが低減された動画像データが再生レート制御部２４に入力されるようにし、再生レート制御部２４の各演算部において加算および減算が行われる度に、得られる動画像データのフレームレートが２倍になるようにしてもよい。例えば、Ｋを任意の自然数とすると、最後の段よりＫ段目の演算部より出力される動画像データのフレームレートが、加減算の行われていない元の動画像データのフレームレートの２Ｋ分の１となるようにし、Ｋ＝０、すなわち、出力制御部４０５が全ての演算部を動作させると、再生レート制御部２４より出力される動画像データのフレームレートが、元の動画像データのフレームレートになるようにしてもよい。
【０１６１】
このようにすることにより、出力制御部４０５は、容易に目的のフレームレートの動画像データを得ることができるように各部を制御することができる。
【０１６２】
すなわち、再生レート制御部２４は、フレームデータ同士を加算および減算することにより、フレームレートを変換する演算部を複数有し、さらに、その複数の演算部を制御して、動画像データの各フレームデータに対して、フレームデータ同士の加算および減算の内、少なくともいずれか一方を、動画像データのフレームレートを所望のレートに変換するのに必要な回数行わせる出力制御部を有していればよい。
【０１６３】
ただし、このようなレート変換方法については、符号化装置１１や復号部２３と対応する必要がある。
【０１６４】
次に、この再生レート制御部２４において行うフレームレートの制御の具体例について説明する。
【０１６５】
図１２は、各フレームレートの比較例を示す模式図である。図１１において、出力制御部４０５が、第１演算部４０２、第２演算部４０３、および統合部４０４を全て動作させ、全フレーム画像を復元して統合させると、図１２の一番上の段に示されるように、６０フレーム／秒の加算画像４７１、減算画像４７２、加算画像４７３、および減算画像４７４が統合されるので、出力される動画像データ４８１のフレームレートは６０×４＝２４０フレーム／秒になる。
【０１６６】
この２４０フレーム／秒の動画像データを、２４０Ｐではなく、６０Ｐで再生表示すると、１／４のスローモーション再生を実現することができる。このようなスローモーション再生の場合、一般的に行われているようなフレーム画像の繰り返しが行われないので、非常に滑らかなスローモーションを実現することができる。このような機能は、例えば、高価なカムコーダや映画のフィルムカメラには機能として具備されていることが多い。特に高速の被写体画像をゆっくり見る場合には、スローモーション再生は不可欠なものである。
【０１６７】
また、図１１において、出力制御部４０５が、第２演算部４０３の動作を停止させ、第１レベルの加算画像４６１と第１レベルの減算画像４６２を統合して出力するようにすると、図１２の上から２段目に示されるように、２×｛フレーム（１）＋フレーム（２）｝と、２×｛フレーム（３）＋フレーム（４）｝が統合されて出力されることになる。つまり、動画像データ４８１のフレームレートは、６０×２＝１２０フレーム／秒となる。また、この１２０フレーム／秒の動画像データを、１２０Ｐではなく、６０Ｐで再生表示すると、１／２のスローモーション再生を実現することができる。
【０１６８】
さらに、図１１において、出力制御部４０５が、第１演算部４０２および第２演算部４０３の動作を停止させ、メモリ４０１−１の出力を統合部４０４の入力側端子４３１に供給させ、その入力側端子４３１を出力側端子４３５に固定的に接続させて、第２レベルの加算画像４５１を出力するようにすると、図１２の上から３段目に示されるように、４×フレーム（１）が出力されることになる。つまり、動画像データ４８１のフレームレートは、６０×１＝６０フレーム／秒となる。また、この６０フレーム／秒の動画像データを６０Ｐで表示すれば、従来どおりの通常再生となる。
【０１６９】
このように再生レート制御部２４は、容易に出力する動画像データ４８１のフレームレート、すなわち、再生レートを制御することができる。
【０１７０】
なお、この復号部２３に必要な復号能力（伸張復号速度）は、再生時のフレームレートによって異なる。上述した例においては復号部２３のイントラ復号部３０２は、４つのイントラ復号器（第１イントラ復号部３１１乃至第４イントラ復号部３１４）を有し、これら全てを用いてコードストリームを復号するように説明したが、実際には、再生時のフレームレート（再生レート）が低い場合、必要な復号能力（伸張復号速度）が低減される。従って、イントラ復号部３０２は、必要なイントラ復号器のみを動作させ、不要なイントラ復号器の動作を停止させるようにしてもよい。このようにすることにより復号部２３は、その消費電力を低減させることができる。
【０１７１】
例えば、図１３に示されるように、２４０Ｐの動画像データが入力されると、符号化装置１１は、４つの符号化器を用いて圧縮符号化を行い、４本のコードストリーム（圧縮＋記録コードストリーム）を生成し、記録部１２に記録させる（実際にはこの４本のコードストリームを１本に合成して記録するが、データの構成としては実質的に合成前の４本のコードストリームと等価である）。
【０１７２】
このコードストリームを伸張復号して６０Ｐで通常再生（１倍速再生）し、その画像をモニタに表示させる場合、復号部２３が、図１３の４本のコードストリーム（圧縮＋記録コードストリーム）の内、上から１番目のコードストリームのみを６０Ｐの復号能力（伸張復号速度）で伸張復号し、再生レート制御部２４が、第２レベルの加算画像４５１を動画像データ４８１として出力するようにすればよい。この場合、動画像データ４８１は、２４０Ｐの４つのフレームが加算された６０Ｐのフレームにより構成されるので、６０Ｐで再生することにより通常再生となる。
【０１７３】
つまり、復号部２３のイントラ復号部３０２は、復号能力６０Ｐの第１イントラ復号部３１１のみを動作させ、第２イントラ復号部３１２乃至第４イントラ復号部３１４の動作を停止させることができる。これにより、復号部２３の消費電力を低減させることができる。
【０１７４】
また、このコードストリームを伸張復号して６０Ｐで１／２スロー再生（１／２倍速再生）し、その画像をモニタに表示させる場合、復号部２３が、この４本の圧縮＋記録コードストリームの内、図１４に示されるように、上から１番目と２番目の２本のコードストリームを交互に伸張復号し、再生レート制御部２４が、第１演算部４０２を用いて加算または減算し、得られた第１レベルの加算画像４６１と第１レベルの減算画像４６２を交互に動画像データ４８１として出力するようにすればよい。この場合、動画像データ４８１は、２４０Ｐの２つのフレームが加算された１２０Ｐのフレームにより構成されるが、６０Ｐで再生することにより１／２スロー再生となる。
【０１７５】
この場合も、再生レートは６０Ｐであるので、復号部２３の復号能力は６０Ｐでよい。つまり、復号部２３のイントラ復号部３０２は、復号能力６０Ｐの第１イントラ復号部３１１のみを動作させ、第２イントラ復号部３１２乃至第４イントラ復号部３１４の動作を停止させることができる。ただし、この場合、第１イントラ復号部３１１は、図１４における上から１番目と２番目の２本の圧縮＋記録コードストリームを交互に復号する必要がある。
【０１７６】
なお、この場合の動画像データ４８１を１２０Ｐで通常再生させる場合、復号部２３に要求される符号能力は１２０Ｐとなるので、復号部２３のイントラ復号部３０２は、復号能力６０Ｐの第１イントラ復号部３１１と第２イントラ復号部３１２を動作させる必要がある。
【０１７７】
さらに、このコードストリームを伸張復号して６０Ｐで１／４スロー再生（１／４倍速再生）し、その画像をモニタに表示させる場合、復号部２３が、この４本の圧縮＋記録コードストリームを、図１５に示されるように上から順に伸張復号し、再生レート制御部２４が、第１演算部４０２および第２演算部４０３を用いて加算または減算し、得られたフレームデータを統合部４０４によって順に並べて統合し、動画像データ４８１として出力するようにすればよい。この場合、動画像データ４８１は、２４０Ｐのフレームにより構成されるが、６０Ｐで再生することにより１／４スロー再生となる。
【０１７８】
この場合も、再生レートは６０Ｐであるので、復号部２３の復号能力は６０Ｐでよい。つまり、復号部２３のイントラ復号部３０２は、復号能力６０Ｐの第１イントラ復号部３１１のみを動作させ、第２イントラ復号部３１２乃至第４イントラ復号部３１４の動作を停止させることができる。ただし、この場合、第１イントラ復号部３１１は、図１５に示されるように、４本の圧縮＋記録コードストリームを上から順に復号する必要がある。
【０１７９】
以上のように、再生レートに合わせて、動作させるイントラ復号器の数を低減させることにより、復号装置１３は、復号部２３の消費電力を低減させることができる。また、再生レート制御部２４は、高フレームレートの動画像の可変再生を容易に行うことができる。
【０１８０】
次に、以上のような符号化装置１１および復号装置１３により実行される処理の流れの例について説明する。最初に、符号化装置１１により実行される符号化処理の流れの例について説明する。
【０１８１】
符号化装置１１の記録レート制御部２１は、ステップＳ１においてピクチャを取得し、メモリ５２に蓄積させる。ステップＳ２において、記録レート制御部２１は、必要なピクチャ数のデータがメモリ５２内に記憶されたか否かを判定し、記憶されたと判定するまで、ステップＳ１およびステップＳ２の処理を繰り返す。ステップＳ２において必要なピクチャ数のデータがメモリ５２内に記憶されたと判定した場合、ステップＳ３において、第１演算部５３は、メモリ５２に蓄積されたフレームデータを用いて、第１レベルの加算画像および減算画像を生成する。
【０１８２】
ステップＳ４において、記録レート制御部２１は、次のレベルの加算画像および減算画像を生成するか否かを判定し、生成すると判定した場合、処理をステップＳ５に進める。この場合の「次のレベル」とは、現在のレベルより「１」インクリメントしたレベルのことを示す。ステップＳ５において、次の演算部（ステップＳ３の処理の直後であれば第２演算部５４）は、次のレベル（ステップＳ３の処理の直後であれば第２レベル）の加算画像および減算画像を生成し、その後、処理をステップＳ４に戻す。すなわち、演算部の数だけ（予め指定されたレベルまで）ステップＳ４およびステップＳ５の処理が繰り返される。ステップＳ４において所望のレベルの加算画像および減算画像が得られ、次のレベルの加算画像および減算画像を生成しないと判定した場合、記録レート制御部２１は、処理をステップＳ６に進める。
【０１８３】
ステップＳ６において、符号化部２２のイントラ符号化部１５１は、得られた加算画像および減算画像を、目標符号量に合わせて符号化することによりコードストリームを生成する。コードストリーム合成部１５２は、ステップＳ７において、符号化により得られたコードストリームを多重化し、出力する。
【０１８４】
ステップＳ８において、符号化装置１１は、全てのピクチャ（またはフレーム）を符号化したか否かを判定し、未処理のピクチャ（またはフレーム）が存在すると判定した場合、処理をステップＳ１に戻し、それ以降の処理を繰り返させる。また、ステップＳ８において、全てのピクチャ（またはフレーム）を符号化したと判定した場合、符号化装置１１は、符号化処理を終了する。
【０１８５】
次に、復号装置１３により実行される復号処理の流れの例について説明する。
【０１８６】
復号装置１３の復号部２３のコードストリーム分解部３０１は、ステップＳ２１において、取得したコードストリームを分解する。ステップＳ２２において、イントラ復号部３０２は、コードストリームを復号し、生成された復号画像を再生レート制御部２４のメモリ４０１に記憶させる。
【０１８７】
ステップＳ２３において、再生レート制御部２４は、必要なピクチャ数のデータがメモリ４０１内に記憶されたか否かを判定し、記憶されたと判定するまで、ステップＳ２２およびステップＳ２３の処理を繰り返す。ステップＳ２３において必要なピクチャ数のデータがメモリ４０１内に記憶されたと判定した場合、ステップＳ２４において、出力制御部４０５は、次のレベルの加算画像および減算画像を生成するか否かを判定し、生成すると判定した場合、処理をステップＳ２５に進める。この場合の「次のレベル」とは、現在のレベルより「１」デクリメントしたレベルのことを示す。ステップＳ２５において、次の演算部（ステップＳ２３の処理の直後であれば第１演算部４０２）は、次のレベル（ステップＳ２３において第２レベルの加算画像および減算画像がメモリ４０１内に記憶された直後であれば第１レベル）の加算画像および減算画像を生成し、その後、処理をステップＳ２４に戻す。すなわち、出力制御部４０５が動作させる演算部の数だけ（予め指定されたレベルまで）ステップＳ２４およびステップＳ２５の処理が繰り返される。ステップＳ２４において所望のレベルの加算画像および減算画像が得られ、次のレベルの加算画像および減算画像を生成しないと判定した場合、出力制御部４０５は、処理をステップＳ２６に進める。
【０１８８】
ステップＳ２６において、統合部４０４は、出力制御部４０５に制御されて、画像を時間の順番に出力する。ステップＳ２７において、復号装置１３は、全てのコードストリームを復号したか否かを判定し、未処理のピクチャ（またはフレーム）が存在すると判定した場合、処理をステップＳ２１に戻し、それ以降の処理を繰り返させる。また、ステップＳ２７において、全てのコードストリームを復号したと判定した場合、復号装置１３は、復号処理を終了する。
【０１８９】
なお、図３において、イントラ符号化部１５１は、符号化能力６０Ｐのイントラ符号化器（図３の例の場合、第１イントラ符号化部１６１乃至第４イントラ符号化部１６４）を備えるように説明したが、これ以外にも、例えば図１８に示されるように、２４０Ｐ以上の符号化能力を有する１つのイントラ符号化部５０１により構成されるようにしてもよい。ただし、この場合、図３の例の場合に比べて、高速に処理を行う（符号化能力の高い）符号化器を用意する必要があり、開発コストや製造コスト等が増大する可能性もある。
【０１９０】
また、イントラ符号化部１５１の各イントラ符号化器において、量子化係数をビットプレーンに分解するようにしてもよい。図１９は、その場合の、第１イントラ符号化部１６１の詳細な構成例を示すブロック図である。図１９は、図４に対応するブロック図であり、図４と同様の構成には図４と同様の符号を付してある。
【０１９１】
図１９の場合、第１イントラ符号化部１６１は、図４の構成の他にビットプレーン分解部５１１を有する。ビットプレーン分解部５１１は、量子化部２０２において生成された量子化係数を、ビットプレーンに展開する。
【０１９２】
図２０は、ビットプレーンの概念について説明する図である。例えば、量子化部２０２において、縦４画素×横４画素の１６画素分を１ブロックとしたときに、図２０Ａに示されるように量子化係数が得られたとする。例えば、この１６個の量子化係数のうち絶対値が最大のものは「＋１３」であり、２進数表現では「１１０１」となる。このようなブロック毎の量子化係数の２進数表現と符号を、図２０Ｂに示されるように、位毎にまとめたものがビットプレーンである。すなわち、図２０Ａに示される量子化係数は、図２０Ｂに示されるような５つのビットプレーン（係数の符号のビットプレーン１つと、係数の絶対値のビットプレーン４つ）により構成される。
【０１９３】
ビットプレーン分解部５１１は、このようにビットブレーンに分解された量子化係数をエントロピー符号化部２０３に供給する。
【０１９４】
エントロピー符号化部２０３は、情報源圧縮の手段を用いて、ビットブレーンに分解された量子化係数を圧縮する動作を行う。従って、符号化により得られるコードストリームもビットプレーン単位に分けられる。
【０１９５】
図２１は、ビットプレーン毎に符号化を行う場合の符号化順の例を示す模式図である。図２１において、横軸のブロック０、ブロック１、・・・、ブロックｎは、ブロックの番号を示している。この場合、エントロピー符号化は、各ブロックのビットプレーン毎に行われる。例えば、エントロピー符号化部２０３は、MSB（Most significant bit：最上位ビット）からLSB（Least significant bit：最下位ビット）の順番で、ビットプレーン毎に符号を選び、符号量の累積を行い、ある時点で目標符号量に到達した時点で、符号化を中止する。
【０１９６】
例えば、量子化係数をビットプレーンに分解せずに、ブロック単位で符号化を行う場合、ブロックｎに達する前に目標符号量に達してしまう恐れがある。つまり、そのような場合、全く符号化されないブロックが生じることになる。しかしながら、MSBとLSBでは上位ビットであるMSBの方が重要であり、有限の符号量をLSBに使用するよりもMSBに使用する方が画質向上に寄与する。
【０１９７】
従って、エントロピー符号化部２０３は、図２１の矢印や番号に示されるように、複数のブロックにおいて、係数が全てゼロのビットプレーンであるゼロビットプレーンを除く、MSBに近い方のビットプレーンより順番（番号順）に符号化を行い、目標の符号量に達した時点で符号化を終了する。図２１の例の場合、番号「９」のビットプレーンの符号化が終了した時点で目標の符号量に達しており、エントロピー符号化部２０３は、その時点で符号化を終了する。このようにすることにより、エントロピー符号化部２０３は、各ブロックの上位ビットを優先的に符号化を行うことができ、画質向上に寄与することができるだけでなく、上位に集中する不要なゼロビットプレーンへの符号量の割り当てを低減させることができ、符号化効率を向上させることもできる。
【０１９８】
尚、以上においてはブロックが矩形である場合を示したが、画像の水平方向の１ラインまたは複数ラインであっても良い。
【０１９９】
また、加算画像と減算画像を符号化する場合、量子化係数は、それぞれ、ビットプレーンに展開され、符号化されるようにしてもよい。その場合、目標符号量もそれぞれ設定される。この場合、エントロピー符号化部２０３は、加算画像と減算画像のそれぞれについて上述したようにビットプレーン毎に符号化を行う。図２２Ａは、加算画像の符号化の流れの例を示し、図２２Ｂは、減算画像の符号化の流れの例を示している。このように、加算画像と減算画像においてビットプレーンの構成が互いに異なるので、それぞれについて互いに独立して符号化を行うようにすることにより、エントロピー符号化部２０３は、符号化効率を向上させることができる。なお、このような加算画像の符号化と減算画像の符号化を互いに異なるイントラ符号化器おいて行うようにしてももちろんよい。
【０２００】
尚、上記では、説明の都合上、加算画像と減算画像の２つの画像を符号化する場合を説明したが、上述したように、第２レベルの４つの画像に対しても、同様の符号化が可能であることは自明である。
【０２０１】
また、エントロピー符号化部２０３が、加算画像と減算画像を統合して符号化するようにしてももちろんよい。
【０２０２】
例えば、図１８のイントラ符号化部５０１は、複数画像を同時に入力して符号化操作を行うので、図２３に示される様に加算画像と減算画像を１つの処理単位としてビットプレーンの符号化を行うことができる。つまり、この場合のエントロピー符号化部２０３は、ゼロビットプレーンを除く上位ビットプレーンから下位方向に、加算画像と減算画像の矩形ブロックを、横断的にエントロピー符号化しながら、目標符号量に達した時点で終了する。
【０２０３】
このようにすることにより、エントロピー符号化部２０３は、加算画像と減算画像のそれぞれに割り当てる符号量を予め設定する必要なく、適切に符号量の割り当てを行うことができ、画質に与える影響が大きい量子化係数をより優先的に符号化することができる。
【０２０４】
尚、上記では、説明の都合上、加算画像と減算画像の２つの画像を符号化する場合を説明したが、上述したように、第２レベルの４つの画像に対しても、同様の符号化が可能であることは自明である。
【０２０５】
また、このような順序でビットプレーン毎に符号化を行う方法は、図７を参照して説明したように、低域のサブバンドから高域のサブバンドに向かって符号化を行う場合にも適用することができる。この場合、エントロピー符号化部２０３は、例えば、ブロックを図７の矢印に示されるサブバンドの順に並べ、全ブロックに対して、図２１を参照して説明したように上位のビットプレーンより符号化を行う。つまり、エントロピー符号化部２０３は、各位のビットプレーンを、エネルギーの高い低域からエネルギーの低い高域に向かう順に符号化する。従って、エントロピー符号化部２０３は、図２１を参照して説明した場合よりも、符号化効率を向上させることができる。また、換言すれば、エントロピー符号化部２０３は、各域のビットプレーンを、ゼロビットプレーンを除く上位から低位に向かう順に符号化する。従って、エントロピー符号化部２０３は、図７を参照して説明した場合よりも、符号化効率をより向上させ、かつ、画質をより向上させることができる。
【０２０６】
このようにビットプレーン毎に符号化を行う場合において、ブロックの並べ方は任意であり、その他の順で並べるようにしてもよい。例えば、エントロピー符号化部２０３が、量子化係数のブロックを、式（１０）に示されるような優先順位で並べ、全ブロックに対して、図２１を参照して説明したように上位のビットプレーンより符号化を行うようにしてもよい。このようにすることにより、エントロピー符号化部２０３は、符号化効率を向上させることができる。また、エントロピー符号化部２０３が、量子化係数のブロックを、式（１１）に示されるような優先順位で並べ、全ブロックに対して、図２１を参照して説明したように上位のビットプレーンより符号化を行うようにしてもよい。このようにすることにより、エントロピー符号化部２０３は、主観画質をさらに向上させることができる。
【０２０７】
さらに、主観画質をさらに向上させるために、エントロピー符号化部２０３は、図１２において矢印により示されるような順でブロックを並べ、符号化を行うようにしてもよい。
【０２０８】
すなわち、この場合、エントロピー符号化部２０３は、図２４に示されるように、輝度成分Y、色差成分Cb、および色差成分Crのそれぞれについてブロックを、図１２に示されるサブバンドの順番、すなわち、輝度成分YのサブバンドであるY-０LLからCr-３HHに至る順番に並べ、ゼロビットプレーンを除いて、上位ビットプレーンから下位ビットプレーンの順番に向かって、ビットプレーン毎にエントロピー符号化を行い、目標符号量に達した時点で、符号化を終了する。このようにすることにより、エントロピー符号化部２０３は、主観画質をさらに向上させることができる。
【０２０９】
エントロピー符号化部２０３が、図２１乃至図２４に示されるようないずれの順序でビットプレーン毎に符号化を行う場合も、エントロピー復号部３５１は、その符号化順と同順で復号を行う。すなわち、エントロピー復号部３５１は、ゼロビットプレーンを除く上位のビットプレーンより下位のビットプレーンに向かう順にビットプレーンを生成するような順でコードストリームの復号を行う。
【０２１０】
符号化部２２の場合と同様に、復号部２３においても、イントラ復号部３０２が、例えば図２５に示されるように、２４０Ｐ以上の復号能力を有する１つのイントラ復号部５５１により構成されるようにしてもよい。ただし、この場合、図９の例の場合に比べて、高速に処理を行う（復号能力の高い）復号器を用意する必要があり、開発コストや製造コスト等が増大する可能性もある。
【０２１１】
また、図１に示される画像処理システム１は、例えば図２６に示されるように、図１の例と異なる構成であってもよい。すなわち、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０２１２】
例えば、図２６Ａに示されるように、記録レート制御部２１、符号化部２２、記録部１２、復号部２３、および再生レート制御部２４の各部がそれぞれ、互いに独立した装置として構成されるようにしてもよい。図２６Ａにおいては、画像処理システム１は、記録レート制御装置６０１、符号化装置６０２、記録装置６０３、復号装置６０４、および再生レート制御装置６０５により構成される。各装置の構成および動作は、それぞれが対応する図１の処理部と同様であるのでその説明を省略する。
【０２１３】
また、例えば、図２６Ｂに示されるように、動画像データが、フレームデータ同士を加算または減算されるのみで、圧縮符号化されずに記録媒体に記録されるようにしてもよい。この場合、画像処理システム１は、動画像データを記録媒体６１２に記録する記録装置６１１、動画像データが記録される記録媒体６１２、および、記録媒体６１２に記録されている動画像データを読み出して再生する再生装置６１３により構成される。
【０２１４】
記録装置６１１は、記録レート制御部２１と同様の構成を有し、同様に動作する記録レート制御部６２１と、記録レート制御部６２１より出力される加算画像および減算画像を記録媒体６１２に書き込む書き込み部６２２を有する。また、再生装置６１３は、記録媒体６１２に記録されている加算画像および減算画像を読み出す読み出し部６３１、再生レート制御部２４と同様の構成を有し、同様に動作して、読み出し部６３１により読み出された加算画像および減算画像に対して、再生レート制御部２４の場合と同様に加減算を行い、任意のフレームレートで動画像データを出力する再生レート制御部６３２を有する。
【０２１５】
すなわち、この場合、記録媒体６１２には、非圧縮の加算画像および減算画像が記録される。
【０２１６】
また、図１の例においては、符号化されたコードストリームを記録媒体に記録するように説明したが、図２６Ｃに示されるように、コードストリームを、伝送媒体を介して伝送させるようにしてもよい。
【０２１７】
図２６Ｃにおいては、画像処理システム１は、動画像データを圧縮符号化して他の装置に伝送する送信装置６４１、コードストリームが伝送される伝送媒体６４２、および、伝送媒体６４２を介して伝送されるコードストリームを受信する受信装置６４３により構成される。
【０２１８】
送信装置６４１は、図１の符号化装置１１に対応し、記録レート制御部２１に対応する伝送レート制御部６５１と、符号化部２２に対応する符号化部６５２を有する。伝送レート制御部６５１は、記録レート制御部２１と同様の構成を有し、同様に動作する。ただし、伝送レート制御部６５１は記録レートではなく、伝送時のフレームレート（伝送レート）を制御する。符号化部６５２は、符号化部２２と同様の構成を有し、同様に動作する。
【０２１９】
図２６Ｃの場合、送信装置６４１の符号化部６５２より出力されたコードストリームは、伝送媒体６４２を介して受信装置６４３に供給される。
【０２２０】
受信装置６４３は、図１の復号装置１３に対応し、復号部２３に対応する復号部６６１と、再生レート制御部２４に対応する再生レート制御部６６２を有する。復号部６６１は、復号部２３と同様の構成を有し、同様に動作する。ただし、復号部６６１は、伝送媒体６４２を介して伝送されたコードストリームを復号する。再生レート制御部６６２は、再生レート制御部２４と同様の構成を有し、同様に動作する。
【０２２１】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図２７に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０２２２】
図２７において、パーソナルコンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２２３】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
【０２２４】
入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、CRTやLCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７１２、ハードディスクなどより構成される記憶部７１３、モデムなどより構成される通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０２２５】
入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。
【０２２６】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０２２７】
この記録媒体は、例えば、図２７に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM,DVDを含む）、光磁気ディスク（MDを含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどで構成される。
【０２２８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２２９】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表わすものである。
【０２３０】
なお、以上において、一つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて一つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。
【０２３１】
また、上述した実施の形態では、画像圧縮方式としてJPEG2000方式を用いて説明したが、本発明はこれに限定されるものではなく、例えばJPEGやMPEG（Moving Picture Experts Group）などの他の画像圧縮方式の場合にも適用可能である。
【産業上の利用可能性】
【０２３２】
本発明は、画像処理システムに適用することが可能である。
【図面の簡単な説明】
【０２３３】
【図１】本発明を適用した画像処理システムの構成例を示すブロック図である。
【図２】図１の記録レート制御部の詳細な構成例を示すブロック図である。
【図３】図１の符号化部の詳細な構成例を示すブロック図である。
【図４】図３の第１イントラ符号化部の詳細な構成例を示すブロック図である。
【図５】サブバンドの構成例を示す模式図である。
【図６】エネルギー分布の例を示す模式図である。
【図７】符号化の順序の例を説明する図である。
【図８】符号化の順序の、他の例を説明する図である。
【図９】図１の復号部の詳細な構成例を示すブロック図である。
【図１０】図９の第１イントラ復号部の詳細な構成例を示すブロック図である。
【図１１】図１の再生レート制御部の詳細な構成例を示すブロック図である。
【図１２】再生レートの制御の様子の例を説明する模式図である。
【図１３】再生レートに合わせた復号方法の例を説明する図である。
【図１４】再生レートに合わせた復号方法の他の例を説明する図である。
【図１５】再生レートに合わせた復号方法の、さらに他の例を説明する図である。
【図１６】符号化処理の流れの例を説明するフローチャートである。
【図１７】復号処理の流れの例を説明するフローチャートである。
【図１８】符号化部の他の構成例を示すブロック図である。
【図１９】第１イントラ符号化部の他の構成例を示すブロック図である。
【図２０】ビットプレーンの概念を説明する図である。
【図２１】符号化の順序の例を説明する模式図である。
【図２２】符号化の順序の、他の例を説明する模式図である。
【図２３】符号化の順序の、さらに他の例を説明する模式図である。
【図２４】符号化の順序の、さらに他の例を説明する模式図である。
【図２５】復号部の他の構成例を示すブロック図である。
【図２６】画像処理システムの、他の構成例を示すブロック図である。
【図２７】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０２３４】
１  画像処理システム，  １１  符号化装置，  １２  記録部，  １３  復号装置，  ２１  記録レート制御部，  ２２  符号化部，  ２３  復号部，  ２４  再生レート制御部，  ５１  分配部，  ５２  メモリ，  ５３  第１演算部，  ５４  第２演算部，  １５１  イントラ符号化部，  １５２  コードストリーム合成部，  １５３  レート制御部，  ３０１  コードストリーム分解部，  ３０２  イントラ復号部，  ４０１  メモリ，  ４０２  第１演算部，  ４０３  第２演算部，  ４０４  統合部，  ４０５  出力制御部，  ５１１  ビットプレーン分解部，  ６０１  記録レート制御装置，  ６０２  符号化装置，  ６０３  記録装置，  ６０４  復号装置，  ６０５  再生レート制御装置，  ６１１  記録装置，  ６１２  記録媒体，  ６１３  再生装置，  ６２１  記録レート制御部，  ６２２  書き込み部，  ６３１  読み出し部，  ６３２  再生レート制御部，  ６４１  送信装置，  ６４２  伝送媒体，  ６４３  受信装置，  ６５１  伝送レート制御部，  ６５２  符号化部，  ６６１  復号部，  ６６２  再生レート制御部
【図１】
2008099173.tif 000003
【図２】
2008099173.tif 000004
【図３】
2008099173.tif 000005
【図４】
2008099173.tif 000006
【図５】
2008099173.tif 000007
【図６】
2008099173.tif 000008
【図７】
2008099173.tif 000009
【図８】
2008099173.tif 000010
【図９】
2008099173.tif 000011
【図１０】
2008099173.tif 000012
【図１１】
2008099173.tif 000013
【図１２】
2008099173.tif 000014
【図１３】
2008099173.tif 000015
【図１４】
2008099173.tif 000016
【図１５】
2008099173.tif 000017
【図１６】
2008099173.tif 000018
【図１７】
2008099173.tif 000019
【図１８】
2008099173.tif 000020
【図１９】
2008099173.tif 000021
【図２０】
2008099173.tif 000022
【図２１】
2008099173.tif 000023
【図２２】
2008099173.tif 000024
【図２３】
2008099173.tif 000025
【図２４】
2008099173.tif 000026
【図２５】
2008099173.tif 000027
【図２６】
2008099173.tif 000028
【図２７】
2008099173.tif 000029