(57)【特許請求の範囲】
【請求項１】
動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生装置において、
複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出する検出手段と、
前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択する選択手段と、
前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報を取得する取得手段と、
前記画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをするグループ分け手段と、
前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化を行う第１の符号化手段と、
前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化を行う第２の符号化手段と、
前記予測符号化により得られた第１の符号化データ、および前記非予測符号化により得られた第２の符号化データを、前記記録媒体に記録する記録制御手段と、
前記第１および第２の符号化データを復号する復号順に、前記記録媒体から前記第１および第２の符号化データを読み出す読み出し制御手段と、
前記グループ毎に、前記記録媒体から読み出された前記第１の符号化データに対して、前記予測符号化に対応する予測復号を行う第１の復号手段と、
前記記録媒体から読み出された前記第２の符号化データに対して、前記非予測符号化に対応する非予測復号を行う第２の復号手段と、
前記予測復号および前記非予測復号によって得られるピクチャを表示順に出力させる出力制御手段と
を備え、
前記第１の符号化手段は、前記予測符号化として、MPEG(Moving Picture Expert Group)符号化を行い、
前記第２の符号化手段は、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行い、
前記第１の復号手段は、
前記予測復号として、前記MPEG符号化に対応するMPEG復号を行い、
前記MPEG復号の途中で得られるDCT(Discrete Cosine Transform)係数を記録する記録手段を有し、
前記第２の復号手段は、前記非予測復号として、前記ウェーブレット変換の逆変換を用いたイントラ復号を行い、
前記出力制御手段は、前記MPEG復号により得られるピクチャを出力する場合、前記記録手段に記録された前記DCT係数を、表示順に、前記ピクチャに復号させて出力させる
記録再生装置。
【請求項２】
前記選択手段は、
前記ピクチャ間差値が所定値以上のピクチャが、所定数以上存在するか否かを判断し、
前記ピクチャ間差値が前記所定値以上のピクチャが、前記所定数以上存在すると判断した場合、前記非予測符号化を選択し、
前記ピクチャ間差値が前記所定値以上のピクチャが、前記所定数以上存在しないと判断した場合、前記予測符号化を選択する
請求項１に記載の記録再生装置。
【請求項３】
前記シーンを構成する各ピクチャのうち、所定のピクチャの前記ピクチャ間差値は、
前記シーンを構成する、表示順に並ぶ各ピクチャのうち、前記所定のピクチャと、前記所定のピクチャに隣接する隣接ピクチャとの、同一位置の画素の画素値どうしの差の２乗和、
前記所定のピクチャと前記隣接ピクチャとを、それぞれブロック単位に区切った場合の、前記ブロック毎の画素値の平均値どうしの差の２乗和、
前記ブロック毎の各画素の動きベクトルどうしの差の２乗和、
又は、前記所定のピクチャの画素値のヒストグラムおよび前記隣接ピクチャの画素値のヒストグラムを作成した場合の、前記ヒストグラムの各画素値の画素数どうしの差の２乗和である
請求項２に記載の記録再生装置。
【請求項４】
前記ピクチャを縮小した縮小画像を作成する作成手段をさらに備え、
前記取得手段は、前記縮小画像を用いて、前記画像情報を取得する
請求項１に記載の記録再生装置。
【請求項５】
複数の前記第１の復号手段を備える
請求項１に記載の記録再生装置。
【請求項６】
動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生装置の記録再生方法において、
複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出する検出ステップと、
前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択する選択ステップと、
前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報を取得する取得ステップと、
前記画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをするグループ分けステップと、
前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化を行う第１の符号化ステップと、
前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化を行う第２の符号化ステップと、
前記予測符号化により得られた第１の符号化データ、および前記非予測符号化により得られた第２の符号化データを、前記記録媒体に記録する記録制御ステップと、
前記第１および第２の符号化データを復号する復号順に、前記記録媒体から前記第１および第２の符号化データを読み出す読み出し制御ステップと、
前記グループ毎に、前記記録媒体から読み出された前記第１の符号化データに対して、前記予測符号化に対応する予測復号を行う第１の復号ステップと、
前記記録媒体から読み出された前記第２の符号化データに対して、前記非予測符号化に対応する非予測復号を行う第２の復号ステップと、
前記予測復号および前記非予測復号によって得られるピクチャを表示順に出力させる出力制御ステップと
を含み、
前記第１の符号化ステップは、前記予測符号化として、MPEG(Moving Picture Expert Group)符号化を行い、
前記第２の符号化ステップは、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行い、
前記第１の復号ステップは、前記予測復号として、前記MPEG符号化に対応するMPEG復号を行い、
前記記録再生装置は、前記MPEG復号の途中で得られるDCT(Discrete Cosine Transform)係数を記録する記録手段を有し、
前記第２の復号ステップは、前記非予測復号として、前記ウェーブレット変換の逆変換を用いたイントラ復号を行い、
前記出力制御ステップは、前記MPEG復号により得られるピクチャを出力する場合、前記記録手段に記録された前記DCT係数を、表示順に、前記ピクチャに復号させて出力させる
記録再生方法。
【請求項７】
動画像データを記録媒体に記録する記録装置において、
複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出する検出手段と、
前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択する選択手段と、
前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報を取得する取得手段と、
前記画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをするグループ分け手段と、
前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化を行う第１の符号化手段と、
前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化を行う第２の符号化手段と、
前記予測符号化により得られた第１の符号化データ、および前記非予測符号化により得られた第２の符号化データを、前記記録媒体に記録する記録制御手段と
を備え、
前記第１の符号化手段は、前記予測符号化として、MPEG符号化を行い、
前記第２の符号化手段は、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行う
記録装置。
【請求項８】
前記記録媒体に記録された前記第１および第２の符号化データを、前記動画像データを再生する他の装置に送信する送信制御手段をさらに備える
請求項７に記載の記録装置。
【請求項９】
動画像データを記録媒体に記録する記録装置の記録方法において、
複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出する検出ステップと、
前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択する選択ステップと、
前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報を取得する取得ステップと、
前記画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをするグループ分けステップと、
前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化を行う第１の符号化ステップと、
前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化を行う第２の符号化ステップと、
前記予測符号化により得られた第１の符号化データ、および前記非予測符号化により得られた第２の符号化データを、前記記録媒体に記録する記録制御ステップと
を含み、
前記第１の符号化ステップは、前記予測符号化として、MPEG符号化を行い、
前記第２の符号化ステップは、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行う
記録方法。
【請求項１０】
動画像データを再生する再生装置において、
複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出し、
前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択し、
前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをし、
前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化として、MPEG符号化を行うことにより得られた第１の符号化データ、および前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行うことにより得られた第２の符号化データが記録されている記録媒体から、前記第１および第２の符号化データを復号する復号順に、前記第１および第２の符号化データを読み出す読み出し制御手段と、
前記グループ毎に、前記記録媒体から読み出された前記第１の符号化データに対して、前記予測符号化に対応する予測復号を行う第１の復号手段と、
前記記録媒体から読み出された前記第２の符号化データに対して、前記非予測符号化に対応する非予測復号を行う第２の復号手段と、
前記予測復号および前記非予測復号によって得られるピクチャを表示順に出力させる出力制御手段と
を備え、
前記第１の復号手段は、
前記予測復号として、前記MPEG符号化に対応するMPEG復号を行い、
前記MPEG復号の途中で得られるDCT係数を記録する記録手段を有し、
前記第２の復号手段は、前記非予測復号として、前記ウェーブレット変換の逆変換を用いたイントラ復号を行い、
前記出力制御手段は、前記MPEG復号により得られるピクチャを出力する場合、前記記録手段に記録された前記DCT係数を、表示順に、前記ピクチャに復号させて出力させる
再生装置。
【請求項１１】
他の装置から送信されてくる前記第１および第２の符号化データを受信する受信制御手段をさらに備え、
前記記録媒体には、前記受信制御手段で受信された前記第１および第２の符号化データが記録されている
請求項１０に記載の再生装置。
【請求項１２】
動画像データを再生する再生装置の再生方法において、
複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出し、
前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択し、
前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをし、
前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化として、MPEG符号化を行うことにより得られた第１の符号化データ、および前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行うことにより得られた第２の符号化データが記録されている記録媒体から、前記第１および第２の符号化データを復号する復号順に、前記第１および第２の符号化データを読み出す読み出し制御ステップと、
前記グループ毎に、前記記録媒体から読み出された前記第１の符号化データに対して、前記予測符号化に対応する予測復号を行う第１の復号ステップと、
前記記録媒体から読み出された前記第２の符号化データに対して、前記非予測符号化に対応する非予測復号を行う第２の復号ステップと、
前記予測復号および前記非予測復号によって得られるピクチャを表示順に出力させる出力制御ステップと
を含み、
前記第１の復号ステップは、前記予測復号として、前記MPEG符号化に対応するMPEG復号を行い、
前記再生装置は、前記MPEG復号の途中で得られるDCT係数を記録する記録手段を有し、
前記第２の復号ステップは、前記非予測復号として、前記ウェーブレット変換の逆変換を用いたイントラ復号を行い、
前記出力制御ステップは、前記MPEG復号により得られるピクチャを出力する場合、前記記録手段に記録された前記DCT係数を、表示順に、前記ピクチャに復号させて出力させる
再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録再生装置および記録再生方法、記録装置および記録方法、並びに、再生装置および再生方法に関し、特に、例えば、動画像データの画像の劣化を抑えつつ、圧縮率を向上させることができるようにする記録再生装置および記録再生方法、記録装置および記録方法、並びに、再生装置および再生方法に関する。
【背景技術】
【０００２】
例えば、動画データを記録し、記録した動画像データを再生するハードディスクレコーダ等の記録再生装置によれば、ハードディスクの記録容量を節約するために、記録する動画像データに対して、例えば、MPEG(Moving Picture Expert Group)方式による予測符号化等の符号化(圧縮)処理を施すことで、動画データのデータ量が少なくされる。
【０００３】
なお、フレームレートを低くして、１ピクチャ(フレームまたはフィールド)あたりの情報量を多くすることにより、ピクチャの画質の劣化を抑えるモードと、１ピクチャあたりの情報量を減らすことにより、ピクチャの画質は劣化するが、通常のフレームレートで動画像を符号化するモードとを有する記録再生装置が、例えば、特許文献１に記載されている。
【特許文献１】特開平１１−１６４２４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、例えばMPEGでは、表示順に連続する、例えば、１５枚等のピクチャをGOP(Group Of Pictures)として、GOP単位で予測符号化が行われる。従って、GOPを構成する(表示順で)隣接するピクチャ同士が類似していない場合には、一方のピクチャから予測画像を得て、その予測画像を用いて、他方のピクチャを符号化するとき、符号量が増加する(圧縮率が低下する)。一方、符号量を抑えようとすれば、復号時に得られる画質が劣化する。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、画質の劣化を抑えつつ、圧縮率を向上させる(符号量を低減する)ことができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の第１の側面の記録再生装置は、動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生装置において、複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出する検出手段と、前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択する選択手段と、前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報を取得する取得手段と、前記画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをするグループ分け手段と、前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化を行う第１の符号化手段と、前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化を行う第２の符号化手段と、前記予測符号化により得られた第１の符号化データ、および前記非予測符号化により得られた第２の符号化データを、前記記録媒体に記録する記録制御手段と、前記第１および第２の符号化データを復号する復号順に、前記記録媒体から前記第１および第２の符号化データを読み出す読み出し制御手段と、前記グループ毎に、前記記録媒体から読み出された前記第１の符号化データに対して、前記予測符号化に対応する予測復号を行う第１の復号手段と、前記記録媒体から読み出された前記第２の符号化データに対して、前記非予測符号化に対応する非予測復号を行う第２の復号手段と、前記予測復号および前記非予測復号によって得られるピクチャを表示順に出力させる出力制御手段とを備え、前記第１の符号化手段は、前記予測符号化として、MPEG(Moving Picture Expert Group)符号化を行い、前記第２の符号化手段は、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行い、前記第１の復号手段は、前記予測復号として、前記MPEG符号化に対応するMPEG復号を行い、前記MPEG復号の途中で得られるDCT(Discrete Cosine Transform)係数を記録する記録手段を有し、前記第２の復号手段は、前記非予測復号として、前記ウェーブレット変換の逆変換を用いたイントラ復号を行い、前記出力制御手段は、前記MPEG復号により得られるピクチャを出力する場合、前記記録手段に記録された前記DCT係数を、表示順に、前記ピクチャに復号させて出力させる。
前記選択手段は、前記ピクチャ間差値が所定値以上のピクチャが、所定数以上存在するか否かを判断し、前記ピクチャ間差値が前記所定値以上のピクチャが、前記所定数以上存在すると判断した場合、前記非予測符号化を選択し、前記ピクチャ間差値が前記所定値以上のピクチャが、前記所定数以上存在しないと判断した場合、前記予測符号化を選択することができる。
前記シーンを構成する各ピクチャのうち、所定のピクチャの前記ピクチャ間差値は、前記シーンを構成する、表示順に並ぶ各ピクチャのうち、前記所定のピクチャと、前記所定のピクチャに隣接する隣接ピクチャとの、同一位置の画素の画素値どうしの差の２乗和、前記所定のピクチャと前記隣接ピクチャとを、それぞれブロック単位に区切った場合の、前記ブロック毎の画素値の平均値どうしの差の２乗和、前記ブロック毎の各画素の動きベクトルどうしの差の２乗和、又は、前記所定のピクチャの画素値のヒストグラムおよび前記隣接ピクチャの画素値のヒストグラムを作成した場合の、前記ヒストグラムの各画素値の画素数どうしの差の２乗和であるようにすることができる。
【０００７】
第１の側面の記録再生装置には、前記ピクチャを縮小した縮小画像を作成する作成手段をさらに設けることができ、前記取得手段には、前記縮小画像を用いて、前記画像情報を取得させることができる。
【０００８】
第１の側面の記録再生装置には、複数の前記第１の復号手段を設けることができる。
【００１４】
本発明の第１の側面の記録再生方法は、動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生装置の記録再生方法において、複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出する検出ステップと、前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択する選択ステップと、前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報を取得する取得ステップと、前記画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをするグループ分けステップと、前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化を行う第１の符号化ステップと、前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化を行う第２の符号化ステップと、前記予測符号化により得られた第１の符号化データ、および前記非予測符号化により得られた第２の符号化データを、前記記録媒体に記録する記録制御ステップと、前記第１および第２の符号化データを復号する復号順に、前記記録媒体から前記第１および第２の符号化データを読み出す読み出し制御ステップと、前記グループ毎に、前記記録媒体から読み出された前記第１の符号化データに対して、前記予測符号化に対応する予測復号を行う第１の復号ステップと、前記記録媒体から読み出された前記第２の符号化データに対して、前記非予測符号化に対応する非予測復号を行う第２の復号ステップと、前記予測復号および前記非予測復号によって得られるピクチャを表示順に出力させる出力制御ステップとを含み、前記第１の符号化ステップは、前記予測符号化として、MPEG(Moving Picture Expert Group)符号化を行い、前記第２の符号化ステップは、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行い、前記第１の復号ステップは、前記予測復号として、前記MPEG符号化に対応するMPEG復号を行い、前記記録再生装置は、前記MPEG復号の途中で得られるDCT(Discrete Cosine Transform)係数を記録する記録手段を有し、前記第２の復号ステップは、前記非予測復号として、前記ウェーブレット変換の逆変換を用いたイントラ復号を行い、前記出力制御ステップは、前記MPEG復号により得られるピクチャを出力する場合、前記記録手段に記録された前記DCT係数を、表示順に、前記ピクチャに復号させて出力させる。
【００１５】
以上のような第１の側面の記録再生装置、または記録再生方法においては、複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンが検出され、検出された前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方が、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択され、前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報が取得され、前記画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンが１のグループにグループ分けをされ、前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化が行われ、前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化が行われ、前記予測符号化により得られた第１の符号化データ、および前記非予測符号化により得られた第２の符号化データが、前記記録媒体に記録され、前記第１および第２の符号化データを復号する復号順に、前記記録媒体から前記第１および第２の符号化データが読み出され、前記グループ毎に、前記記録媒体から読み出された前記第１の符号化データに対して、前記予測符号化に対応する予測復号が行われ、前記記録媒体から読み出された前記第２の符号化データに対して、前記非予測符号化に対応する非予測復号が行われ、前記予測復号および前記非予測復号によって得られるピクチャが表示順に出力される。なお、前記予測符号化として、MPEG(Moving Picture Expert Group)符号化が行われ、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化が行われ、前記予測復号として、前記MPEG符号化に対応するMPEG復号が行われ、前記非予測復号として、前記ウェーブレット変換の逆変換を用いたイントラ復号が行われ、前記MPEG復号により得られるピクチャを出力する場合、前記MPEG復号の途中で得られる前記DCT係数を、表示順に、前記ピクチャに復号させて出力させる。
【００１６】
本発明の第２の側面の記録装置は、動画像データを記録媒体に記録する記録装置において、複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出する検出手段と、前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択する選択手段と、前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報を取得する取得手段と、前記画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをするグループ分け手段と、前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化を行う第１の符号化手段と、前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化を行う第２の符号化手段と、前記予測符号化により得られた第１の符号化データ、および前記非予測符号化により得られた第２の符号化データを、前記記録媒体に記録する記録制御手段とを備え、前記第１の符号化手段は、前記予測符号化として、MPEG符号化を行い、前記第２の符号化手段は、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行う。
【００１７】
第２の側面の記録装置には、前記記録媒体に記録された前記第１および第２の符号化データを、前記動画像データを再生する他の装置に送信する送信制御手段をさらに設けることができる。
【００２３】
第２の側面の記録方法は、動画像データを記録媒体に記録する記録装置の記録方法において、複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出する検出ステップと、前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択する選択ステップと、前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報を取得する取得ステップと、前記画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをするグループ分けステップと、前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化を行う第１の符号化ステップと、前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化を行う第２の符号化ステップと、前記予測符号化により得られた第１の符号化データ、および前記非予測符号化により得られた第２の符号化データを、前記記録媒体に記録する記録制御ステップとを含み、前記第１の符号化ステップは、前記予測符号化として、MPEG符号化を行い、前記第２の符号化ステップは、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行う。
【００２４】
以上のような第２の側面の記録装置、または記録方法においては、複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンが検出され、検出された前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方が、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択され、前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報が取得され、前記画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンが１のグループにグループ分けをされ、前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化が行われ、前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化が行なわれ、前記予測符号化により得られた第１の符号化データ、および前記非予測符号化により得られた第２の符号化データが、前記記録媒体に記録される。なお、前記予測符号化として、MPEG符号化が行われ、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化が行われる。
【００２５】
本発明の第３の側面の再生装置は、動画像データを再生する再生装置において、複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出し、前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択し、前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをし、前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化として、MPEG符号化を行うことにより得られた第１の符号化データ、および前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行うことにより得られた第２の符号化データが記録されている記録媒体から、前記第１および第２の符号化データを復号する復号順に、前記第１および第２の符号化データを読み出す読み出し制御手段と、前記グループ毎に、前記記録媒体から読み出された前記第１の符号化データに対して、前記予測符号化に対応する予測復号を行う第１の復号手段と、前記記録媒体から読み出された前記第２の符号化データに対して、前記非予測符号化に対応する非予測復号を行う第２の復号手段と、前記予測復号および前記非予測復号によって得られるピクチャを表示順に出力させる出力制御手段とを備え、前記第１の復号手段は、前記予測復号として、前記MPEG符号化に対応するMPEG復号を行い、前記MPEG復号の途中で得られるDCT係数を記録する記録手段を有し、前記第２の復号手段は、前記非予測復号として、前記ウェーブレット変換の逆変換を用いたイントラ復号を行い、前記出力制御手段は、前記MPEG復号により得られるピクチャを出力する場合、前記記録手段に記録された前記DCT係数を、表示順に、前記ピクチャに復号させて出力させる。
【００２６】
第３の側面の再生装置には、他の装置から送信されてくる前記第１および第２の符号化データを受信する受信制御手段をさらに設けることができ、前記記録媒体には、前記受信制御手段で受信された前記第１および第２の符号化データを記録することができる。
【００３０】
本発明の第３の側面の再生方法は、動画像データを再生する再生装置の再生方法において、複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出し、前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択し、前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをし、前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化として、MPEG符号化を行うことにより得られた第１の符号化データ、および前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行うことにより得られた第２の符号化データが記録されている記録媒体から、前記第１および第２の符号化データを復号する復号順に、前記第１および第２の符号化データを読み出す読み出し制御ステップと、前記グループ毎に、前記記録媒体から読み出された前記第１の符号化データに対して、前記予測符号化に対応する予測復号を行う第１の復号ステップと、前記記録媒体から読み出された前記第２の符号化データに対して、前記非予測符号化に対応する非予測復号を行う第２の復号ステップと、前記予測復号および前記非予測復号によって得られるピクチャを表示順に出力させる出力制御ステップとを含み、前記第１の復号ステップは、前記予測復号として、前記MPEG符号化に対応するMPEG復号を行い、前記再生装置は、前記MPEG復号の途中で得られるDCT係数を記録する記録手段を有し、前記第２の復号ステップは、前記非予測復号として、前記ウェーブレット変換の逆変換を用いたイントラ復号を行い、前記出力制御ステップは、前記MPEG復号により得られるピクチャを出力する場合、前記記録手段に記録された前記DCT係数を、表示順に、前記ピクチャに復号させて出力させる。
【００３１】
以上のような第３の側面の再生装置、または再生方法においては、複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出し、前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択し、前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをし、前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化として、MPEG符号化を行うことにより得られた第１の符号化データ、および前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行うことにより得られた第２の符号化データが記録されている記録媒体から、前記第１および第２の符号化データを復号する復号順に、前記第１および第２の符号化データが読み出され、前記グループ毎に、前記記録媒体から読み出された前記第１の符号化データに対して、前記予測符号化に対応する予測復号が行われ、前記記録媒体から読み出された前記第２の符号化データに対して、前記非予測符号化に対応する非予測復号が行われ、前記予測復号および前記非予測復号によって得られるピクチャが表示順に出力される。なお、前記予測復号として、前記MPEG符号化に対応するMPEG復号が行われ、前記非予測復号として、前記ウェーブレット変換の逆変換を用いたイントラ復号が行われ、前記MPEG復号により得られるピクチャを出力する場合、前記MPEG復号の途中で得られるDCT係数を、表示順に、前記ピクチャに復号させて出力させる。
【発明の効果】
【００３２】
本発明によれば、動画像データの画像の劣化を抑えつつ、圧縮率を向上させることができる。
【発明を実施するための最良の形態】
【００３３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３４】
本発明の第１の側面の記録再生装置(例えば、図１の記録再生装置１１)は、動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生装置において、複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出する検出手段（例えば、図４の画像情報作成部３２におけるシーン検出部４１）と、前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択する選択手段（例えば、図２４のエンコーダ選択部１８１）と、前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報を取得する取得手段(例えば、図２４の画像情報作成部３２)と、前記画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをするグループ分け手段(例えば、図２４のグルーピング部３３)と、前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化を行う第１の符号化手段(例えば、図２４の圧縮部３４)と、前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化を行う第２の符号化手段（例えば、図２４の圧縮部１８２）と、前記予測符号化により得られた第１の符号化データ、および前記非予測符号化により得られた第２の符号化データを、前記記録媒体に記録する記録制御手段(例えば、図２４の入出力インタフェース２１)と、前記第１および第２の符号化データを復号する復号順に、前記記録媒体から前記第１および第２の符号化データを読み出す読み出し制御手段(例えば、図２８の入出力インタフェース２０１)と、前記グループ毎に、前記記録媒体から読み出された前記第１の符号化データに対して、前記予測符号化に対応する予測復号を行う第１の復号手段(例えば、図２８の解凍部１１２)と、前記記録媒体から読み出された前記第２の符号化データに対して、前記非予測符号化に対応する非予測復号を行う第２の復号手段（例えば、図２８の解凍部２０２）と、前記予測復号および前記非予測復号によって得られるピクチャを表示順に出力させる出力制御手段(例えば、図２８の出力制御部１１４)とを備え、前記第１の符号化手段は、前記予測符号化として、MPEG(Moving Picture Expert Group)符号化を行い、前記第２の符号化手段は、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行い、前記第１の復号手段は、前記予測復号として、前記MPEG符号化に対応するMPEG復号を行い、前記MPEG復号の途中で得られるDCT(Discrete Cosine Transform)係数を記録する記録手段(例えば、図２０のバッファ１３４)を有し、前記第２の復号手段は、前記非予測復号として、前記ウェーブレット変換の逆変換を用いたイントラ復号を行い、前記出力制御手段は、前記MPEG復号により得られるピクチャを出力する場合、前記記録手段に記録された前記DCT係数を、表示順に、前記ピクチャに復号させて出力させる。
【００３５】
第１の側面の記録再生装置は、前記ピクチャを縮小した縮小画像を作成する作成手段(例えば、図２２の縮小画像作成部１６３)をさらに備え、前記取得手段は、前記縮小画像を用いて、前記画像情報を取得することができる。
【００３６】
第１の側面の記録再生装置は、複数の前記第１の復号手段(例えば、図１８の解凍部１１２1乃至１１２n)を備えることができる。
【００４０】
本発明の第１の側面の記録再生方法は、動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生装置の記録再生方法において、複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出する検出ステップ（例えば、図２７のステップＳ９２における、図１２のステップＳ２１）と、前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択する選択ステップ（例えば、図２７のステップＳ９３）と、前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報を取得する取得ステップ（例えば、図２７のステップＳ９２）と、前記画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをするグループ分けステップ（例えば、図２７のステップＳ９５）と、前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化を行う第１の符号化ステップ（例えば、図２７のステップＳ９６）と、前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化を行う第２の符号化ステップ（例えば、図２７のステップＳ９７）と、前記予測符号化により得られた第１の符号化データ、および前記非予測符号化により得られた第２の符号化データを、前記記録媒体に記録する記録制御ステップ（例えば、図２７のステップＳ９８）と、前記第１および第２の符号化データを復号する復号順に、前記記録媒体から前記第１および第２の符号化データを読み出す読み出し制御ステップ（例えば、図３０のステップＳ１１１）と、前記グループ毎に、前記記録媒体から読み出された前記第１の符号化データに対して、前記予測符号化に対応する予測復号を行う第１の復号ステップ（例えば、図３０のステップＳ１１３）と、前記記録媒体から読み出された前記第２の符号化データに対して、前記非予測符号化に対応する非予測復号を行う第２の復号ステップ（例えば、図３０のステップＳ１１４）と、前記予測復号および前記非予測復号によって得られるピクチャを表示順に出力させる出力制御ステップ（例えば、図３０のステップＳ１１６）とを含み、前記第１の符号化ステップは、前記予測符号化として、MPEG(Moving Picture Expert Group)符号化を行い、前記第２の符号化ステップは、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行い、前記第１の復号ステップは、前記予測復号として、前記MPEG符号化に対応するMPEG復号を行い、前記記録再生装置は、前記MPEG復号の途中で得られるDCT(Discrete Cosine Transform)係数を記録する記録手段(例えば、図２０のバッファ１３４)を有し、前記第２の復号ステップは、前記非予測復号として、前記ウェーブレット変換の逆変換を用いたイントラ復号を行い、前記出力制御ステップは、前記MPEG復号により得られるピクチャを出力する場合、前記記録手段に記録された前記DCT係数を、表示順に、前記ピクチャに復号させて出力させる。
【００４１】
本発明の第２の側面の記録装置(例えば、図３２の記録装置２２１)は、複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出する検出手段（例えば、図４の画像情報作成部３２におけるシーン検出部４１）と、前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択する選択手段（例えば、図２４のエンコーダ選択部１８１）と、前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報を取得する取得手段(例えば、図２４の画像情報作成部３２)と、前記画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをするグループ分け手段(例えば、図２４のグルーピング部３３)と、前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化を行う第１の符号化手段(例えば、図２４の圧縮部３４)と、前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化を行う第２の符号化手段（例えば、図２４の圧縮部１８２）と、前記予測符号化により得られた第１の符号化データ、および前記非予測符号化により得られた第２の符号化データを、前記記録媒体に記録する記録制御手段(例えば、図２４の入出力インタフェース２１)とを備え、前記第１の符号化手段は、前記予測符号化として、MPEG符号化を行い、前記第２の符号化手段は、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行う。
【００４２】
第２の側面の記録装置は、前記記録媒体に記録された前記第１および第２の符号化データを、前記動画像データを再生する他の装置(例えば、図３２の再生装置２３１)に送信する送信制御手段(例えば、図３２の送信制御部２２５)をさらに備えることができる。
【００４６】
第２の側面の記録方法は、動画像データを記録媒体に記録する記録装置の記録方法において、複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出する検出ステップ（例えば、図２７のステップＳ９２における、図１２のステップＳ２１）と、前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択する選択ステップ（例えば、図２７のステップＳ９３）と、前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報を取得する取得ステップ（例えば、図２７のステップＳ９２）と、前記画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをするグループ分けステップ（例えば、図２７のステップＳ９５）と、前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化を行う第１の符号化ステップ（例えば、図２７のステップＳ９６）と、前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化を行う第２の符号化ステップ（例えば、図２７のステップＳ９７）と、前記予測符号化により得られた第１の符号化データ、および前記非予測符号化により得られた第２の符号化データを、前記記録媒体に記録する記録制御ステップ（例えば、図２７のステップＳ９８）とを含み、前記第１の符号化ステップは、前記予測符号化として、MPEG符号化を行い、前記第２の符号化ステップは、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行う。
【００４７】
本発明の第３の側面の再生装置(例えば、図３２の再生装置２３１)は、複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出し、前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択し、前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをし、前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化として、MPEG符号化を行うことにより得られた第１の符号化データ、および前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行うことにより得られた第２の符号化データが記録されている記録媒体から、前記第１および第２の符号化データを復号する復号順に、前記第１および第２の符号化データを読み出す読み出し制御手段(例えば、図２８の入出力インタフェース２０１)と、前記グループ毎に、前記記録媒体から読み出された前記第１の符号化データに対して、前記予測符号化に対応する予測復号を行う第１の復号手段(例えば、図２８の解凍部１１２)と、前記記録媒体から読み出された前記第２の符号化データに対して、前記非予測符号化に対応する非予測復号を行う第２の復号手段（例えば、図２８の解凍部２０２）と、前記予測復号および前記非予測復号によって得られるピクチャを表示順に出力させる出力制御手段(例えば、図２８の出力制御部１１４)とを備え、前記第１の復号手段は、前記予測復号として、前記MPEG符号化に対応するMPEG復号を行い、前記MPEG復号の途中で得られるDCT係数を記録する記録手段(例えば、図２０のバッファ１３４)を有し、前記第２の復号手段は、前記非予測復号として、前記ウェーブレット変換の逆変換を用いたイントラ復号を行い、前記出力制御手段は、前記MPEG復号により得られるピクチャを出力する場合、前記記録手段に記録された前記DCT係数を、表示順に、前記ピクチャに復号させて出力させる。
【００４８】
第３の側面の再生装置は、他の装置(例えば、図３２の記録装置２２１)から送信されてくる前記第１および第２の符号化データを受信する受信制御手段(例えば、図３２の受信制御部２３２)をさらに備え、前記記録媒体には、前記受信制御手段で受信された前記第１および第２の符号化データが記録されている。
【００５２】
本発明の第３の側面の再生方法は、動画像データを再生する再生装置の再生方法において、複数のピクチャにより構成される前記動画像データから、類似する一連のピクチャの集合であるシーンを検出し、前記シーンを構成する各ピクチャのピクチャ間差値に基づいて、前記シーン毎に、予測符号化または前記予測符号化とは異なる符号化を表す非予測符号化の一方を、前記シーンに含まれるピクチャを符号化する際の符号化方式として選択し、前記シーンをピクチャの類似するグループにグループ分けをするために用いる画像情報に基づいて、前記ピクチャの符号化方式として前記予測符号化が選択された前記シーンであって、類似する１以上の前記シーンを１のグループにグループ分けをし、前記グループ毎に、前記グループを構成するピクチャに対して前記予測符号化として、MPEG符号化を行うことにより得られた第１の符号化データ、および前記ピクチャの符号化方式として前記非予測符号化が選択された前記シーンに含まれるピクチャに対して、前記非予測符号化として、ウェーブレット変換を用いたイントラ符号化を行うことにより得られた第２の符号化データが記録されている記録媒体から、前記第１および第２の符号化データを復号する復号順に、前記第１および第２の符号化データを読み出す読み出し制御ステップ（例えば、図３０のステップＳ１１１）と、前記グループ毎に、前記記録媒体から読み出された前記第１の符号化データに対して、前記予測符号化に対応する予測復号を行う第１の復号ステップ（例えば、図３０のステップＳ１１３）と、前記記録媒体から読み出された前記第２の符号化データに対して、前記非予測符号化に対応する非予測復号を行う第２の復号ステップ（例えば、図３０のステップＳ１１４）と、前記予測復号および前記非予測復号によって得られるピクチャを表示順に出力させる出力制御ステップ（例えば、図３０のステップＳ１１６）とを含み、前記第１の復号ステップは、前記予測復号として、前記MPEG符号化に対応するMPEG復号を行い、前記再生装置は、前記MPEG復号の途中で得られるDCT係数を記録する記録手段(例えば、図２０のバッファ１３４)を有し、前記第２の復号ステップは、前記非予測復号として、前記ウェーブレット変換の逆変換を用いたイントラ復号を行い、前記出力制御ステップは、前記MPEG復号により得られるピクチャを出力する場合、前記記録手段に記録された前記DCT係数を、表示順に、前記ピクチャに復号させて出力させる。
【００５３】
次に、図面を参照して、本発明の実施の形態について説明する。
【００５４】
図１は、本発明を適用した記録再生システムの一実施の形態の構成例を示すブロック図である。
【００５５】
記録再生システムは、記録再生装置１１、HDTV(High Definition TeleVision)カメラ１２、およびモニタ１６から構成され、記録再生装置１１は、記録制御部１３、HDD(Hard Disk Drive)１４、および再生制御部１５により構成される。なお、記録再生装置１１は、ハードディスクレコーダや、いわゆるホームネットワークに接続されるファイルサーバ等に適用することができる。
【００５６】
HDTVカメラ１２は、HDTV信号によるHD(高解像度)動画像を撮像し、記録制御部１３に供給する。
【００５７】
記録制御部１３は、HDTVカメラ１２から供給されるHD動画像を、HDD１４に供給し、記録させる。また、記録制御部１３は、HDD１４に記録されたHD動画像を読み出して、HD動画像を構成する各ピクチャ(フレームまたはフィールド)を、類似するピクチャのグループにグループ分けをし、そのグループ毎に、グループを構成するピクチャの予測符号化を行い、その結果得られる符号化データを、HDD１４に供給して記録させる。
【００５８】
ここで、上述したようなピクチャの予測符号化を行う場合は、グループを構成する各ピクチャはそれぞれ類似することとなるため、HDD１４からのHD動画像そのままのピクチャの並び順(表示順)で予測符号化をする場合と比較して、圧縮率を向上させることができる。また、予測符号化の方式としては、例えば、MPEG方式がある。但し、MPEG方式では、例えば、１５枚等のピクチャで構成されるGOP単位で予測符号化がされるが、記録制御部１３では、後述するグループ分けによって得られるグループ単位で予測符号化が行われる。
【００５９】
HDD１４は、内蔵するハードディスクに、記録制御部１３から供給されるHD動画像や、そのHD動画像を符号化することにより得られる符号化データを記録する。なお、予測符号化されるHD動画像を記録する記録媒体としては、ハードディスク以外のディスク状記録媒体や、半導体メモリ等を採用することができる。
【００６０】
再生制御部１５は、HDD１４から符号化データを読み出して、復号し、その結果得られるピクチャを、表示順に並び替えて、モニタ１６に供給する。
【００６１】
モニタ１６は、再生制御部１５から供給されるピクチャ、即ち、HD動画像を表示する。
【００６２】
また、記録制御部１３は、HDTVカメラ１２から供給されるHD動画像を一旦HDD１４に記録してから、そのHD動画像の符号化を行うことも出来るし、HDD１４に記録せずに、直接、HDTVカメラ１２から供給されるHD動画像を、リアルタイムで符号化することもできる。
【００６３】
ここで、記録再生装置１１では、上述したように、HD動画像のピクチャが、類似するピクチャのグループにグループ分けされ、グループ単位での予測符号化が行われる。従って、予測符号化の単位であるグループについては、例えば、MPEGのGOPと異なり、ピクチャが表示順に並んでいるとは限らないし、グループを構成するピクチャの数が一定であるとも限らない。このため、予測符号化として、例えば、動き補償とDCT変換を行うMPEGと同様の符号化を採用したとしても、記録再生装置１１でのグループ単位での予測符号化が行われることにより得られる符号化データを再生するには、ピクチャが表示順に並んでいるとは限らず、ピクチャの数も一定であるとは限らないため、グループ単位のピクチャの符号化データを復号する専用の仕組みが必要となる。
【００６４】
従って、記録再生装置１１で得られた符号化データを、例えば、光ディスクその他のリムーバブルな記録媒体に記録し、その記録媒体に記録された符号化データを、記録再生装置１１とは別の装置で再生するには、その別の装置が、上述したようなグループ単位のピクチャの符号化データを復号する専用の仕組みを有している必要がある。
【００６５】
また、MPEGでは、編集や頭出し(ジャンプ)を行うことを考慮して、GOPは、例えば、１５枚等のピクチャの、あまり多くない枚数のピクチャで構成されることが多いが、記録再生装置１１において、そのような編集や頭出しを行うことを考慮しなければ、グループは、ある程度多くの枚数のピクチャで構成することができる。
【００６６】
図２は、図１の記録制御部１３の構成例を示すブロック図である。
【００６７】
入出力インタフェース２１は、HDTVカメラ１２から供給されるHD動画像(データ)を受信し、HDD１４または並び替え圧縮部２２に供給する。また、入出力インタフェース２１は、HDD１４からHD動画像を読み出し、並び替え圧縮部２２に供給する。さらに、入出力インタフェース２１は、並び替え圧縮部２２から供給されるHD動画像の符号化データを受信し、HDD１４に供給して記録させる。
【００６８】
並び替え圧縮部２２は、HDTVカメラ１２またはHDD１４から、入出力インタフェース２１を介して供給されるHD動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、そのグループ毎に、グループを構成するピクチャの予測符号化を行う。
【００６９】
以上のように構成される記録制御部１３では、HDTVカメラ１２から供給されるHD動画像が、入出力インタフェース２１に供給され、入出力インタフェース２１は、HDTVカメラ１２からのHD動画像を、HDD１４に供給し、記録させる。
【００７０】
その後、入出力インタフェース２１は、HDD１４から、HD動画像を読み出し、並び替え圧縮部２２に供給する。
【００７１】
並び替え圧縮部２２は、入出力インタフェース２１を介して供給されるHD動画像を対象に処理を行うことにより、画像情報を取得し、その画像情報に基づき、HD動画像の各ピクチャのグループ分けを行う。そして、並び替え圧縮部２２は、そのグループ分けによって得られるグループ単位で、HD動画像のピクチャの予測符号化を行い、その結果得られる符号化データを、入出力インタフェース２１を介して、HDD１４に供給して記録させる。
【００７２】
なお、HDTVカメラ１２から、入出力インタフェース２１を介して、HDD１４に記録されたHD動画像(データ)は、並び替え圧縮部２２で得られた符号化データがHDD１４に記録された後に、必要に応じて削除される。
【００７３】
図３は、図２の並び替え圧縮部２２の構成例を示すブロック図である。
【００７４】
ピクチャ表示番号付加部３１は、HDTVカメラ１２またはHDD１４から、入出力インタフェース２１を介して供給されるHD動画像を構成する各ピクチャに、ピクチャの表示順を表すピクチャ表示番号を付加する。また、ピクチャ表示番号付加部３１は、ピクチャ表示番号を付加したHD動画像を構成する各ピクチャを、画像情報作成部３２に供給する。
【００７５】
画像情報作成部３２は、ピクチャ表示番号付加部３１から供給されたHD動画像の各ピクチャを用いて、HD動画像を構成する各ピクチャを類似するピクチャのグループにグループ分けをするのに用いる画像情報を作成(取得)する。また、画像情報作成部３２は、画像情報と、ピクチャ表示番号を付加したHD動画像を構成する各ピクチャとを、グルーピング部３３に供給する。
【００７６】
グルーピング部３３は、画像情報作成部３２から供給された画像情報を用いて、同じく、画像情報作成部３２から供給されたHD動画像を構成する各ピクチャを類似するピクチャのグループにグループ分けをし、HD動画像を構成する各ピクチャを、グループ単位で、圧縮部３４に供給する。
【００７７】
圧縮部３４は、グルーピング部３３からグループ単位で供給されるピクチャを、１GOPとみなして、MPEG方式で予測符号化し、その結果得られるグループ単位の符号化データを、入出力インタフェース２１を介してHDD１４に供給し、記録させる。
【００７８】
図４は、図３の画像情報作成部３２の構成例を示すブロック図である。
【００７９】
画像情報作成部３２は、シーン検出部４１およびヒストグラム作成部４２により構成される。
【００８０】
シーン検出部４１は、ピクチャ表示番号付加部３１(図３)から供給されるHD動画像から、類似する一連のピクチャの集合であるシーンを検出し、ヒストグラム作成部４２に供給する。
【００８１】
ヒストグラム作成部４２は、シーン検出部４１からの各シーンについて、そのシーンを構成する各ピクチャの画素値のヒストグラムを作成する。さらに、ヒストグラム作成部４２は、各シーンについて、そのシーンを構成する各ピクチャの画素値のヒストグラムの、画素値毎の平均をとることでシーンのヒストグラムを求め、画像情報として、グルーピング部３３に供給する。
【００８２】
なお、ヒストグラム作成部４２は、シーン検出部４１からの各シーンについて、そのシーンを構成する各ピクチャの画素値のヒストグラムを、画素値毎にそれぞれ加算することにより得られるシーンのヒストグラムを、画像情報とすることもできる。
【００８３】
ここで、画素値のヒストグラムを作成するにあたり、画素値としては、輝度値や色信号を用いることができる。
【００８４】
また、画像情報としては、画素値のヒストグラムの他、ブロック単位で検出された動きベクトル等、画像同士が類似するかどうかを判定するのに用いることができる情報を採用することができる。
【００８５】
図５は、図４のシーン検出部４１の構成例を示すブロック図である。
【００８６】
シーン検出部４１は、ピクチャ間差部５１およびシーン分割部５２により構成される。
【００８７】
ピクチャ間差部５１は、ピクチャ表示番号付加部３１(図３)から供給されるHD動画像を構成する表示順に並ぶピクチャのうちの隣接する２つのピクチャの、同一位置の画素の画素値同士の差の２乗和を、ピクチャ間差値として求め、シーン分割部５２に供給する。
【００８８】
具体的には、例えば、HD動画像の先頭から第N番(ピクチャ表示番号)目のピクチャを、第Nピクチャとし、第Nピクチャの画素値をラスタスキャン順にA1,A2,…,Amと表すときに、第(N+1)ピクチャの画素値をラスタスキャン順にB1,B2,…,Bmと表すこととした場合、まず、ピクチャ間差部５１は、第Nピクチャと第(N+1)ピクチャとで、対応する画素毎に画素値の差A1−B1、A2−B2、…、Am―Bmをとる。次に、ピクチャ間差部５１は、画素値の差を、それぞれ２乗し、その結果得られる値を加算(サメーション)することにより、第(N+1)ピクチャのピクチャ間差値(A1−B1)2 +(A2−B2)2+…+(Am―Bm)2を取得し、シーン分割部５２に供給する。
【００８９】
なお、第０ピクチャは、実際には存在しないが、便宜的に、画素値がすべて０であるピクチャを第０ピクチャとし、第０ピクチャと第１ピクチャとから求められるピクチャ間差値を、第１ピクチャのピクチャ間差値とすることとする。
【００９０】
また、ピクチャ間差部５１では、各ピクチャをブロック単位に区切って、ブロック毎の画素値の平均値(または動きベクトル)を求め、隣接するピクチャの同一位置にあるブロック毎の平均値(または動きベクトル)同士の差の２乗和を、ピクチャ間差値としてもよい。
【００９１】
さらに、ピクチャ間差部５１では、各ピクチャの画素値のヒストグラムを作成し、隣接するピクチャのヒストグラムの各画素値の画素数(度数)同士の差の絶対値や２乗和等を、ピクチャ間差値とすることもできる。
【００９２】
シーン分割部５２は、ピクチャ間差部５１から供給される各ピクチャのピクチャ間差値を用いて、各ピクチャを、類似する一連のピクチャの集合であるシーンに分割する。
【００９３】
即ち、例えば、第Nピクチャのピクチャ間差値が、所定の閾値未満の場合に、次のピクチャである第(N+1)ピクチャのピクチャ間差値が閾値を超えているときには、シーン分割部５２は、第Nピクチャと第(N+1)ピクチャとの間をシーンの区切りとして検出し、第Nピクチャを、シーンの最後のピクチャとすると共に、第(N+1)ピクチャを、次のシーンの先頭のピクチャとする。また、第Nピクチャのピクチャ間差値が閾値を超えている場合に、次の第(N+1)ピクチャのピクチャ間差値が閾値未満のときには、シーン分割部５２は、第Nピクチャと第(N-1)ピクチャとの間をシーンの区切りとして検出し、第(N-1)ピクチャを、シーンの最後のピクチャとするとすると共に、第Nピクチャを、次のシーンの先頭のピクチャとする。そして、シーン分割部５２は、HD動画像を表示順に探索し、シーンの先頭のピクチャから、次に現れるシーンの最後のピクチャまでの一連のピクチャを、１シーンとして検出する。
【００９４】
次に、図６を参照して、図５のシーン分割部５２の処理について、さらに説明する。
【００９５】
図６によって■印は、先頭から第１番目のシーン(以下、第１シーンという)、第２シーン、第３シーン、第４シーン、第５シーン、第６シーン、および第７シーンからなるHD動画像の各ピクチャのピクチャ間差値を示している。
【００９６】
ここで、第１シーン、第３シーン、第５シーン、および第７シーンは、例えば、スタジオでアナウンサが喋っているシーンであり、第２シーンは、例えば、グラフィックスの静止画像によるシーンである。また、第４シーンは、例えば、動きの激しい中継シーンであり、第６シーンは、例えば、スタジオで第１シーン、第３シーン、第５シーン、第７シーンとは異なるカメラで撮影されたシーンである。
【００９７】
ここで、図６において、第1ピクチャ、第１０ピクチャ、第１５ピクチャ、第２５ピクチャ、第３６ピクチャ、第４０ピクチャ、および第４９ピクチャは、シーンの先頭のピクチャである。
【００９８】
図５のシーン分割部５２は、ピクチャ間差部５１から、図６のピクチャ間差値が供給されると、そのピクチャ間差値を用いて、第1ピクチャ、第１０ピクチャ、第１５ピクチャ、第２５ピクチャ、第３６ピクチャ、第４０ピクチャ、および第４９ピクチャをシーンの先頭として検出し、第１シーン乃至第７シーンの７つのシーンに分割する。
【００９９】
図７は、図４のヒストグラム作成部４２における処理の一例を説明する図である。
【０１００】
図７は、シーン検出部４１(図４)から供給されるシーンのうちの、第mシーンを構成するピクチャ６１1乃至６１n(nは、第mシーンを構成するピクチャ数)、ピクチャ６１1乃至６１nそれぞれのヒストグラム６２1乃至６２n、および第mシーンの画像情報としてのヒストグラム６３mを示している。
【０１０１】
ヒストグラム作成部４２(図４)は、例えば、ピクチャ６１1のヒストグラム６２1の画素値xにおける画素数A1(x)乃至ヒストグラム６２nの画素値xにおける画素数An(x)の平均値Bm(x)=(A1(x)+A2(x)+…+ An-1(x)+An(x))/nを求め、ヒストグラム６３mの画素値xの画素数(度数)とすることを、すべての画素値について行うことにより、第mシーンの画像情報としてのヒストグラム６３mを作成する。
【０１０２】
次に、図８を参照して、図３のグルーピング部３３における処理の一例を説明する。
【０１０３】
グルーピング部３３は、画像情報作成部３２からのシーンの画像情報としてのヒストグラムを用いて、シーン同士が類似している度合いを表す類似値を求める。即ち、グルーピング部３３は、HD動画像を構成するシーンのうちの、任意の２つのシーンについて、画像情報作成部３２からのシーンのヒストグラムの各画素値の画素数(度数)同士の差の２乗和を、その２つのシーンの類似値として求める。
【０１０４】
ここで、第１シーンのヒストグラムについての画素値xにおける画素数をB1(x)とし、第２シーンのヒストグラムについての画素値xにおける画素数をB2(x)とする。また、画素値xは、１以上１００以下の整数であるとすれば、第１シーンと第２シーンとの類似値は、(B1(1)−B2(1))2+(B1(2)−B2(2))2+…+(B1(99)−B2(99))2+ (B1(100)−B2(100))2と表すことができる。
【０１０５】
図８は、グルーピング部３３(図３)によるグループ分けの対象となるHD動画像が、例えば、図６で説明したような第１シーン乃至第７シーンの７つのシーンで構成されるとした場合の、任意の２つのシーンの類似値を、表形式で示している。
【０１０６】
例えば、類似値が１０以下であるシーン同士を、類似するシーンであるとして、同一のグループにグループ分けをすることとすれば、図８において、第１シーンは、第３シーン、第５シーン、第７シーンとの類似値が１０以下であるため、グルーピング部３３では、第３シーン、第５シーン、および第７シーンとともに、１つのグループにグループ分けされる。
【０１０７】
次に、グルーピング部３３は、グループ分けされていない第２シーンについて、同じくグループ分けされていない第４シーン、および第６シーンとの類似値を比較してグループ分けをする。具体的には、第２シーンと第４シーンとの類似値は１３０であり、第２シーンと第６シーンとの類似値は１００であり、いずれも１０以下でないので、グルーピング部３３は、第２シーンのみを、１つのグループにグループ分けをする。
【０１０８】
同様にして、第４シーン、および第６シーンについても、グループ分けをする。
【０１０９】
以上のように、グルーピング部３３は、グループ分けされていない任意のシーンを選択し、その任意のシーンとの類似値があらかじめ定められた閾値以下の、グループ分けされていないシーンを検出し、その任意のシーンと、その任意のシーンについて検出されたシーンとを、１つのグループとする。グルーピング部３３は、HD動画像を構成するすべてのシーンが、いずれかのグループにグループ分けされるまで、同様の処理を繰り返す。
【０１１０】
次に、図９を参照して、図３のグルーピング部３３および圧縮部３４における処理をさらに説明する。
【０１１１】
図９は、第１シーン乃至第７シーンにより構成されるHD動画像データ(図９上側)と、各シーンがグルーピング部３３によりグループ分けされた後のHD動画像データ(図９下側)とを示している。
【０１１２】
図９では、第１シーン、第３シーン、第５シーン、および第７シーンが１つのグループG１に、第２シーン、および第４シーンが他の１つのグループG２に、第６シーンのみがさらに他の１つのグループG３に、それぞれグループ分けされている。
【０１１３】
グルーピング部３３(図３)は、グループ分け後のシーンを、グループ単位で、圧縮部３４に供給するが、そのグループ単位でのシーンの供給は、表示順、即ち、ピクチャ表示番号がより小さいピクチャを含むシーンが属するグループの順に行われる。図９においては、グループG１に属する第１シーンに含まれるピクチャのピクチャ表示番号が最も小さく、グループG２に属する第２シーンに含まれるピクチャのピクチャ表示番号が次に小さく、グループG３に属する第６シーンに含まれるピクチャのピクチャ表示番号が最も大きいため、グループG１に属する第１シーン、第３シーン、第５シーン、および第７シーン、グループG２に属する第２シーンおよび第４シーン、グループG３に属する第６シーンが、その順番で、グルーピング部３３から圧縮部３４に供給される。
【０１１４】
そして、圧縮部３４では、１つのグループを、１GOPとみなして、各グループに属するシーンを構成するピクチャがMPEG符号化される。
【０１１５】
以上のように、圧縮部３４は、グループをGOPとみなして符号化を行い、各グループは、類似するシーン(ピクチャ)で構成されるため、例えば、MPEGのように、表示順の１５枚等のピクチャをGOPとして符号化を行う場合と比較して、画質の劣化を抑えつつ、圧縮率を向上させることができる。
【０１１６】
図１０は、図３の圧縮部３４が出力する、ピクチャの符号化データのフォーマットを示している。
【０１１７】
ピクチャの符号化データのフォーマットは、そのピクチャを予測符号化することにより得られるピクチャの符号化データに、そのピクチャの表示順を表すピクチャ表示番号が付加されて構成される。
【０１１８】
次に、図１１のフローチャートを参照して、図３の並び替え圧縮部２２における処理を説明する。
【０１１９】
並び替え圧縮部２２は、例えば、ユーザが図示せぬ操作部を操作した場合に、あるいは、特に行うべき処理が(ほとんど)ない場合に、図１１のフローチャートにしたがった処理を行う。
【０１２０】
即ち、入出力インタフェース２１は、HDD１４からHD動画像を読み出し、ピクチャ表示番号付加部３１に供給する。ステップS１１において、ピクチャ表示番号付加部３１は、入出力インタフェース２１から供給されたHD動画像の各ピクチャに、そのピクチャの表示順を表すピクチャ表示番号を付加し、画像情報作成部３２に供給して、ステップS１２に進む。
【０１２１】
ステップS１２において、画像情報作成部３２は、ピクチャ表示番号付加部３１から供給されるHD動画像を用いて、HD動画像を構成するピクチャを類似するピクチャのグループにグループ分けをするのに用いる画像情報を作成する。また、画像情報作成部３２は、HD動画像と画像情報とを、グルーピング部３３に供給し、ステップS１２から、ステップS１３に進む。
【０１２２】
ステップS１３において、グルーピング部３３は、画像情報作成部３２から供給される画像情報を用いて、同じく、画像情報作成部３２から供給されるHD動画像を構成する各ピクチャを、類似するピクチャのグループにグループ分けをし、その結果得られるグループ分けされたピクチャを、グループ単位で圧縮部３４に供給して、ステップS１４に進む。
【０１２３】
ステップS１４において、圧縮部３４は、グルーピング部３３から供給されるグループ分けされたピクチャを、グループ毎に予測符号化し、その結果得られる符号化データを、入出力インタフェース２１に供給して、ステップS１５に進む。
【０１２４】
ステップS１５において、入出力インタフェース２１は、圧縮部３４から供給される符号化データを、HDD１４に供給し記録させて、処理を終了する。
【０１２５】
次に、図１２のフローチャートを参照して、図１１のステップS１２における画像情報作成処理の詳細について説明する。
【０１２６】
ステップS２１において、シーン検出部４１(図４)は、ピクチャ表示番号付加部３１(図３)から供給されるHD画像により、シーンを検出(算出)し、ヒストグラム作成部４２(図４)に供給して、ステップS２２に進む。
【０１２７】
ステップS２２において、ヒストグラム作成部４２は、シーン検出部４１から供給される各シーンのヒストグラム(図７)を作成し、画像情報としてグルーピング部３３に供給し、処理を終了する。
【０１２８】
次に、図１３のフローチャートを参照して、図１２のステップS２１のシーン検出処理の詳細を説明する。
【０１２９】
ステップS３１において、ピクチャ間差部５１(図５)は、ピクチャ表示番号付加部３１(図３)から供給されるHD動画像を構成する各ピクチャより、ピクチャ間差値を求め、ピクチャ表示番号付加部３１から供給されるHD動画像とともに、シーン分割部５２(図５)に供給し、ステップS３２に進む。
【０１３０】
ステップS３２において、シーン分割部５２は、ピクチャ間差部５１から供給されるHD動画像を、同じく、ピクチャ間差部５１から供給されるピクチャ間差値を用いて、シーンに分割し、そのシーンに分割後のHD動画像を、ヒストグラム作成部４２(図４)に供給して、処理を終了する。
【０１３１】
次に、図１４のフローチャートを参照して、図１１のステップS１３のグルーピング処理の詳細を説明する。
【０１３２】
ステップS４１において、グルーピング部３３(図３)は、HD動画像を構成するシーンの中から、例えば、ピクチャ表示番号が１番小さなピクチャを含み、かつ、いずれのグループにも属していないシーンの１つを、比較シーンとして選択し、ステップS４２に進む。
【０１３３】
ステップS４２において、グルーピング部３３は、グループ分けされていない(グループに属していない)比較シーンとは別のシーン(以下、単に別のシーンという)が存在しているかを判断し、別のシーンが存在しないと判断した場合、ステップS４３に進む。ステップS４３では、グルーピング部３３は、比較シーンのみを、１つのグループにグループ分けをする。
【０１３４】
一方、ステップS４２において、グルーピング部３３が、別のシーンが存在すると判断した場合、ステップS４４に進み、グルーピング部３３は、別のシーンのうちの１つを注目シーンとして選択し、画像情報作成部３２からの比較シーンのヒストグラムと、同じく、画像情報作成部３２からの注目シーンのヒストグラムとの類似値を求め、ステップS４５に進む。
【０１３５】
ステップS４５において、グルーピング部３３は、比較シーンのヒストグラムと、注目シーンのヒストグラムとの類似値が、所定の閾値以下であるかどうかを判断する。
【０１３６】
ステップS４５において、類似値が所定の閾値以下であると判断された場合、ステップS４６に進み、グルーピング部３３は、注目シーンを、比較シーンと同じグループにグループ分けされるグループ分け対象とし、ステップS４７に進む。
【０１３７】
また、ステップS４５において、類似値が所定の閾値以下でないと判断された場合、ステップS４６をスキップして、ステップS４７に進み、グルーピング部３３は、比較シーンと類似性の比較をしていない別のシーンが存在するかを判断し、そのような別のシーンが存在すると判断した場合、ステップS４４に戻り、以下、同様の処理を繰り返す。
【０１３８】
一方、ステップS４７において、比較シーンと類似性の比較をしていない別のシーンが存在しないと判断された場合、ステップS４８に進み、グルーピング部３３は、比較シーンと同じグループにグループ分けされるグループ分け対象となったすべての別のシーンと、比較シーンとを、１つのグループにグループ分けをし、ステップS４９に進む。
【０１３９】
ステップS４９において、グルーピング部３３は、すべてのシーンがグループ分けされたか判断し、まだグループ分けされていないシーンがあると判断した場合には、ステップS４１に戻り、以下、同様の処理を繰り返すが、すべてのシーンがグループ分けされていると判断した場合には、処理を終了する。
【０１４０】
なお、ステップS４５で類似値と比較する所定の閾値は、例えば、ユーザにより決められた任意の値であってもよいし、あらかじめ記録制御部１３に設定されている値であってもよい。
【０１４１】
図１５は、図１の再生制御部１５の構成例を示すブロック図である。
【０１４２】
再生制御部１５は、入出力インタフェース１１１、解凍部１１２、バッファ１１３、および出力制御部１１４から構成される。
【０１４３】
入出力インタフェース１１１は、HDD１４からピクチャ(を含むシーン)の符号化データを、グループ単位で、復号すべき順に読み出し、解凍部１１２に供給する。なお、入出力インタフェース１１１は、ピクチャ表示番号がより小さいピクチャ(の符号化データ)を含むグループの符号化データを、より先に復号すべきグループの符号化データとして、HDD１４から読み出す。
【０１４４】
解凍部１１２は、入出力インタフェース１１１から供給される、グループ単位の符号化データを、１GOPとして、MPEG方式により復号し、その結果得られるHD動画像を構成する各ピクチャを、順次、バッファ１１３に供給する。
【０１４５】
バッファ１１３は、解凍部１１２から供給されるHD動画像を構成するピクチャを一旦保存する。
【０１４６】
出力制御部１１４は、バッファ１１３に保存されたピクチャを、そのピクチャ表示番号の小さい順に読み出すことにより、ピクチャの並びを表示順に並び替え、モニタ１６に出力して表示させる。
【０１４７】
図１６は、入出力インタフェース１１１によるHDD１４からのシーン(を構成するピクチャ)の符号化データの読み出しの順番と、出力制御部１１４によるバッファ１１３からのピクチャの読み出しの順番を説明する図である。
【０１４８】
なお、図１６において、横軸は、時間軸を表す。また、HD動画像は、例えば、図６で説明したように、第１シーン乃至第７シーンの７つのシーンから構成され、また、第１シーン乃至第７シーンは、例えば、図９で説明したように、グループG１、グループG２、およびグループG３の３つのグループにグループ分けされていることとする。即ち、第１シーン、第３シーン、第５シーン、および第７シーンはグループG１に属し、第２シーンおよび第４シーンはグループG２に属し、第６シーンはグループG３に属することとする。
【０１４９】
符号化データの復号は、表示順がより先(時間的に前)のピクチャほど、先に行う必要がある。そこで、入出力インタフェース１１１は、上述したように、ピクチャ表示番号がより小さいピクチャ(の符号化データ)を含むグループを、先に、HDD１４から読み出し、解凍部１１２に供給する。
【０１５０】
従って、グループG１、グループG２、およびグループG３については、図９で説明したように、グループG１に属する第１シーンに含まれるピクチャのピクチャ表示番号が最も小さく、グループG２に属する第２シーンに含まれるピクチャのピクチャ表示番号が次に小さく、グループG３に属する第６シーンに含まれるピクチャのピクチャ表示番号が最も大きいため、入出力インタフェース１１１は、図１６上側に示すように、グループG１、グループG２、グループG３の順番で、HDD１４から符号化データを読み出し、解凍部１１２に供給する。
【０１５１】
解凍部１１２は、入出力インタフェース１１１から供給される符号化データを、グループ単位で、順次、復号して、バッファ１１３に供給して保存させる。そして、出力制御部１１４は、バッファ１１３に保存されたピクチャを、図１６下側に示すように、ピクチャ表示番号が小さい順、即ち、表示順に読み出し、モニタ１６に供給する。
【０１５２】
次に、図１７のフローチャートを参照して、図１５の再生制御部１５における処理について説明する。
【０１５３】
例えば、ユーザが図示せぬ操作部を操作することにより、画像の再生が、入出力インタフェース１１１に指令されると、ステップS８１において、入出力インタフェース１１１は、HDD１４からピクチャ(を含むシーン)の符号化データを、グループ単位で復号すべき順に読み出し、解凍部１１２に供給して、ステップS８２に進む。なお、入出力インタフェース１１１は、ピクチャ表示番号がより小さいピクチャ(の符号化データ)を含むグループの符号化データを、より先に復号すべきグループの符号化データとして、HDD１４から読み出す。
【０１５４】
ステップS８２において、解凍部１１２は、入出力インタフェース１１１から供給される、グループ単位の符号化データを、１GOPとして、MPEG方式により復号し、その結果得られるHD動画像を構成する各ピクチャを、順次、バッファ１１３に供給して、ステップS８３に進む。
【０１５５】
ステップS８３において、バッファ１１３は、解凍部１１２から供給されるHD動画像を構成するピクチャを一旦保存して、ステップS８４に進む。
【０１５６】
ステップS８４において、出力制御部１１４は、バッファ１１３に保存されたピクチャを、そのピクチャ表示番号の小さい順に読み出すことにより、ピクチャの並びを表示順に並び替え、モニタ１６に出力して表示させ、処理を終了する。
【０１５７】
次に、図１５の再生制御部１５では、１つの解凍部１１２によって符号化データを復号するが、１つの解凍部１１２がピクチャを復号する処理速度によっては、ピクチャを表示する時刻までに、そのピクチャの復号が間に合わないことがある。そこで、再生制御部１５は、解凍部１１２と同様に構成される複数の解凍部を用いて構成することができる。
【０１５８】
図１８は、複数の解凍部を用いて構成された再生制御部１５の構成例を示すブロック図である。
【０１５９】
なお、図中、図１５の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０１６０】
即ち、図１８の再生制御部１５は、入出力インタフェース１１１に代えて、入出力インタフェース１２１が設けられており、解凍部１１２に代えて、解凍部１１２と同じ構成をとる複数の解凍部１１２1乃至１１２nが設けられているほかは、図１５の場合と同様に構成されている。
【０１６１】
入出力インタフェース１２１は、図１５の入出力インタフェース１１１と同様に、HDD１４から、グループ単位で、符号化データを読み出す。そして、入出力インタフェース１２１は、解凍部１１２1乃至１１２nのうちの、復号を行っていない(空いている)ものの１つを選択し、その選択した解凍部に、HDD１４から読み出したグループ単位の符号化データを供給して復号させる。
【０１６２】
解凍部１１２1乃至１１２nは、入出力インタフェース１２１から供給されるグループ単位の符号化データを、１GOPの符号化データとしてMPEG方式により復号し、その結果得られるピクチャを、バッファ１１３に供給する。
【０１６３】
出力制御部１１４は、バッファ１１３に保存されたピクチャを、図１５で説明したように表示順に読み出し、モニタ１６に供給する。これにより、モニタ１６において、HD動画像が表示される。
【０１６４】
なお、図１５の解凍部１１２において、HDD１４に記録された符号化データの復号を、表示に間に合うようにすることができる場合、複数の解凍部１１２1乃至１１２nそれぞれとしては、解凍部１１２により低速なものを用いることができる。逆にいえば、図１５の解凍部１１２は、複数の解凍部１１２1乃至１１２nそれぞれよりも、高速なデコーダ機能を有する必要がある。
【０１６５】
図１９は、図１の再生制御部１５の他の構成例を示すブロック図である。
【０１６６】
なお、図中、図１５に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０１６７】
即ち、図１９の再生制御部１５は、図１５の解凍部１１２、バッファ１１３、および出力制御部１１４に代えて、解凍部１２２が設けられているほかは、図１５の場合と同様に構成されている。
【０１６８】
解凍部１２２は、入出力インタフェース１１１から、MPEG方式による予測符号化された符号化データが供給されるようになっている。また、解凍部１２２は、入出力インタフェース１１１から供給される符号化データを、DCT(Discrete Cosine Transform)係数まで復号し、その結果得られるDCT係数を一旦保存して、適切な時期に、保存されたDCT係数を表示順にピクチャに復号し、モニタ１６に供給する。
【０１６９】
図２０は、図１９の解凍部１２２の構成を示すブロック図である。
【０１７０】
バッファ１３１は、入出力インタフェース１１１から供給される符号化データ(可変長符号)を、一旦保存し、随時、可変長復号部１３２に供給する。
【０１７１】
可変長復号部１３２は、バッファ１３１から供給される可変長符号を復号して、量子化係数(DCT係数を量子化して得られる値)や動きベクトルを求め、逆量子化部１３３に供給する。
【０１７２】
逆量子化部１３３は、可変長復号部１３２から供給される量子化係数を逆量子化し、DCT係数に変換する。また、逆量子化部１３３は、そのDCT係数と、可変長復号部１３２から供給された動きベクトルとをバッファ１３４に供給し、保存させる。
【０１７３】
バッファ１３４は、逆量子化部１３３から供給されるDCT係数と動きベクトルとを、一旦保存する。なお、逆量子化部１３３から供給されるDCT係数と動きベクトルとを、一旦保存するバッファ１３４としての記録媒体としては、例えば、半導体メモリや、HDD１４に内蔵されるハードディスク等を採用することができる。
【０１７４】
出力制御部１３５は、ピクチャの表示順に、バッファ１３４に保存された、ピクチャの復号に必要なDCT係数と動きベクトルとを読み出し、DCT係数を、逆DCT部１３６に供給するとともに、動きベクトルを動き補償部１３９に供給する。
【０１７５】
逆DCT部１３６は、出力制御部１３５から供給されるDCT係数に、逆DCT処理を施し、その結果得られる画素値を、演算部１３７に供給する。
【０１７６】
演算部１３７は、逆DCT部１３６からの画素値がI(Intra)ピクチャの画素値である場合、その画素値をそのままピクチャの復号結果として出力し、逆DCT部１３６からの画素値がP(Predictive)ピクチャ、またはB(Bidirectionally)ピクチャの画素値である場合、動き補償部１３９から供給される予測画像の画素値と加算し、その結果得られる加算値を、ピクチャの復号結果として出力する。
【０１７７】
バッファ１３８は、演算部１３７が出力する復号結果(ピクチャ)のうちの、Pピクチャ、またはBピクチャを復号するために用いる予測画像を生成するのに参照するIピクチャ、およびPピクチャを保存する。
【０１７８】
動き補償部１３９は、バッファ１３８に保存されるピクチャを参照して、出力制御部１３５から供給される動きベクトルを用いて動き補償を施し、その結果得られる予測画像を演算部１３７に供給する。
【０１７９】
以上のように構成される解凍部１２２では、入出力インタフェース１１１からブロック単位で供給されるピクチャの符号化データが、バッファ１３１、可変長復号部１３２、および逆量子化部１３３で処理されることにより得られる各ピクチャのDCT係数と動きベクトルとが、そのピクチャのピクチャ表示番号とともに、バッファ１３４に供給されて保存される。
【０１８０】
そして、出力制御部１３５は、バッファ１３４に保存された各ピクチャのDCT係数と動きベクトルとを、ピクチャ表示番号の小さい順、即ち、ピクチャの表示順に読み出し、DCT係数を逆DCT部１３６に、動きベクトルを動き補償部１３９に、それぞれ供給する。これにより、逆DCT部１３６、演算部１３７、バッファ１３８、および動き補償部１３９では、各ピクチャのDCT係数と動きベクトルとを用いて、各ピクチャ(の画素値)が、表示順に復号されて出力される。
【０１８１】
なお、解凍部１２２は、入出力インタフェース１１１から供給される符号化データを、復号の途中で得られるDCT係数の状態でバッファ１３４に保存しておくため、復号後のHD動画像の状態でバッファ(例えば、図１５のバッファ１１３)に保存する場合と比較して、バッファの記憶容量をより節約することができる。
【０１８２】
次に、図１９の再生制御部１５では、１つの解凍部１２２によって符号化データを復号するが、１つの解凍部１２２がピクチャを復号する処理速度によっては、ピクチャを表示する時刻までに、そのピクチャの復号が間に合わないことがある。そこで、再生制御部１５は、解凍部１２２と同様に構成される複数の解凍部を用いて構成することができる。
【０１８３】
図２１は、複数の解凍部を用いて構成された再生制御部１５の他の構成例を示すブロック図である。
【０１８４】
図２１の再生制御部１５は、図１８で説明した入出力インタフェース１２１と、図１９および図２０で説明した解凍部１２２と同じ構成をとる複数の解凍部１２２1乃至１２２nとから構成されている。
【０１８５】
図２１の再生制御部１５では、入出力インタフェース１２１が、HDD１４からグループ単位の符号化データを読み出す。そして、入出力インタフェース１２１は、複数の解凍部１２２1乃至１２２nのうちの、復号を行っていないものの１つを選択し、その選択した解凍部に、グループ単位の符号化データを供給して復号させる。
【０１８６】
解凍部１２２1乃至１２２nそれぞれは、図１９の解凍部１２２と同様に、入出力インタフェース１２１から供給される符号化データを、DCT係数まで復号し、その結果得られるDCT係数をバッファ(図２０のバッファ１３４に対応するバッファ)に一旦保存する。さらに、それぞれの解凍部１２２1乃至１２２nは、適切な時期に、バッファに保存された各ピクチャのDCT係数を、そのピクチャの表示タイミングの直前に、ピクチャに復号し、モニタ１６に出力する。
【０１８７】
図２２は、図１の記録制御部１３の他の構成例を示すブロック図である。
【０１８８】
なお、図中、図２の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０１８９】
即ち、図２２の記録制御部１３は、圧縮部１６１、解凍部１６２、縮小画像作成部１６３、イントラ圧縮部１６４、およびイントラ解凍部１６５が新たに設けられているほかは、図２の場合と同様に構成されている。
【０１９０】
圧縮部１６１は、HDTVカメラ１２から、入出力インタフェース２１を介して供給されるHD動画像を、例えば、可逆の符号化方式(圧縮方式)で符号化する。即ち、図２では、HDTVカメラ１２からのHD動画像を符号化せずに、HDD１４に記録させるようにしたが、図２２では、HDTVカメラ１２からのHD動画像を、圧縮部１６１で符号化し、データ量を少なくしてから、HDD１４に記録させることができるようになっている。
【０１９１】
解凍部１６２は、HDD１４に記録されている、圧縮部１６１により符号化された符号化データを、入出力インタフェース２１を介してHDD１４から読み出し、圧縮部１６１による符号化方式に従った復号方式により復号して、その結果得られるHD動画像を、入出力インタフェース２１に供給する。
【０１９２】
縮小画像作成部１６３は、HDTVカメラ１２から入出力インタフェース２１を介して供給されるHD動画像の各ピクチャの画素数を間引くことにより縮小画像を作成し、入出力インタフェース２１に供給する。
【０１９３】
イントラ圧縮部１６４は、入出力インタフェース２１から供給される縮小画像を、イントラ符号化し、HDD１４に供給して、記録させる。
【０１９４】
イントラ解凍部１６５は、入出力インタフェース２１から供給される、各ピクチャの縮小画像をイントラ符号化したイントラ符号化データを復号して、その結果得られる縮小画像を、入出力インタフェース２１に供給する。
【０１９５】
以上のように構成される記録制御部１３では、HDTVカメラ１２から供給されるHD動画像が、入出力インタフェース２１に供給され、入出力インタフェース２１は、HDTVカメラ１２からのHD動画像を、圧縮部１６１と縮小画像作成部１６３とに供給する。圧縮部１６１は、入出力インタフェース２１からのHD動画像を符号化し、その結果得られる符号化データを、入出力インタフェース２１に供給する。入出力インタフェース２１は、圧縮部１６１からの符号化データを、HDD１４に供給し、これにより、HD動画像の符号化データは、HDD１４により記録される。
【０１９６】
また、縮小画像作成部１６３は、入出力インタフェース２１からのHD動画像の各ピクチャの縮小画像を作成し、入出力インタフェース２１を介して、イントラ圧縮部１６４に供給する。イントラ圧縮部１６４は、入出力インタフェース２１を介して供給される縮小画像をイントラ符号化し、その結果得られるイントラ符号化データを、入出力インタフェース２１に供給する。入出力インタフェース２１は、イントラ圧縮部１６４からのイントラ符号化データをHDD１４に供給し、これにより、縮小画像のイントラ符号化データは、HDD１４により記録される。
【０１９７】
その後、入出力インタフェース２１は、HDD１４から、HD動画像の符号化データと、縮小画像のイントラ符号化データとを読み出し、HD動画像の符号化データを解凍部１６２に供給するとともに、縮小画像のイントラ符号化データをイントラ解凍部１６５に供給する。
【０１９８】
解凍部１６２は、入出力インタフェース２１からの符号化データを、元のHD動画像の各ピクチャに復号し、入出力インタフェース２１を介して、並び替え圧縮部２２に供給する。また、イントラ解凍部１６５は、入出力インタフェース２１からのイントラ符号化データを、元の縮小画像に復号し、入出力インタフェース２１を介して、並び替え圧縮部２２に供給する。
【０１９９】
並び替え圧縮部２２は、入出力インタフェース２１を介して供給される縮小画像を対象に処理を行うことにより、画像情報を取得し、その画像情報に基づき、入出力インタフェース２１を介して供給されるHD動画像の各ピクチャのグループ分けを行う。そして、並び替え圧縮部２２は、そのグループ分けによって得られるグループ単位で、HD動画像のピクチャの予測符号化を行い、その結果得られる符号化データを、入出力インタフェース２１を介して、HDD１４に供給して記録させる。
【０２００】
なお、HDD１４に記録された、圧縮部１６１で得られた符号化データは、並び替え圧縮部２２で得られた符号化データがHDD１４に記録された後に、必要に応じて削除される。
【０２０１】
図２３は、図２２の縮小画像作成部１６３の構成例を示すブロック図である。
【０２０２】
縮小画像作成部１６３は、LPF(Low-Pass Filter)１７１およびダウンサンプリング部１７２により構成される。縮小画像作成部１６３は、LPF１７１において、HDTVカメラ１２から入出力インタフェース２１を介して供給されるHD動画像の高周波数帯域成分を除去し、さらに、ダウンサンプリング部１７２において、HD動画像の各ピクチャの画素を間引くことにより、各ピクチャを縮小した縮小画像を、入出力インタフェース２１に供給する。
【０２０３】
図２４は、図２の並び替え圧縮部２２の他の構成例を示すブロック図である。
【０２０４】
なお、図中、図３の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０２０５】
即ち、図２４の並び替え圧縮部２２は、エンコーダ選択部１８１、および圧縮部１８２が新たに設けられているほかは、図３の場合と同様に構成されている。但し、図３では、画像情報作成部３２は、HD動画像を構成するピクチャと、シーンの画像情報(ヒストグラム)を出力するようになっていたが、図２４では、画像情報作成部３２は、HD動画像を構成するピクチャと、シーンの画像情報の他、各ピクチャのピクチャ間差値も出力するようになっている。
【０２０６】
エンコーダ選択部１８１には、画像情報作成部３２が出力する、HD動画像を構成する各ピクチャ、HD動画像を構成する各ピクチャのピクチャ間差値、および画像情報が供給されるようになっている。エンコーダ選択部１８１は、画像情報作成部３２から供給されるHD動画像を構成する各ピクチャのピクチャ間差値を用いて、同じく、画像情報作成部３２から供給されるHD動画像を構成する各ピクチャの符号化方式を、シーンごとに選択し、そのシーンに含まれる各ピクチャに、選択された符号化方式に関する情報を付加して、その符号化方式に従って、ピクチャを、シーンごとにグルーピング部３３、または、圧縮部１８２に供給する。
【０２０７】
即ち、エンコーダ選択部１８１は、HD動画像を構成する各シーンについて、例えば、そのシーンを構成するピクチャのピクチャ間差値がある値以上のピクチャが所定数以上存在するかどうかを判断し、ピクチャ間差値がある値以上のピクチャが所定数以上存在すると判断されたシーンを、動きの激しいシーン(類似しないピクチャが多いシーン)に分類する。さらに、エンコーダ選択部１８１は、動きの激しいシーンに分類されたシーンについては、後段の圧縮部１８２での符号化を行うことを選択し、動きの激しいシーンに分類されなかったシーン、つまり、動きの(ほとんど)ないシーン(類似しないピクチャがほとんどないシーン)については、圧縮部３４(図３)での予測符号化を行うことを選択する。そして、エンコーダ選択部１８１は、圧縮部３４での符号化を選択したシーンを構成するピクチャには、例えば、MPEG符号化方式で予測符号化するという情報を付加し、そのシーンの画像情報と共に、グルーピング部３３に供給する。また、エンコーダ選択部１８１は、圧縮部１８２での符号化を選択したシーンを構成するピクチャには、例えば、ウェーブレット変換により符号化するという情報を付加し、そのシーン(を構成するピクチャ)を、圧縮部１８２に供給する。
【０２０８】
圧縮部１８２は、エンコーダ選択部１８１から供給されるシーンのピクチャ、即ち、ある程度以上の動きがあるシーンのピクチャを、ウェーブレット変換し、その結果得られる符号化データを、入出力インタフェース２１に供給する。
【０２０９】
なお、図２４の並び替え圧縮部２２では、エンコーダ選択部１８１の処理の前に、グルーピング部３３の処理をする構成を適用することができる。
【０２１０】
即ち、図２４では、エンコーダ選択部１８１と圧縮部３４との間に、グルーピング部３３が設けられているが、グルーピング部３３は、エンコーダ選択部１８１と圧縮部３４との間ではなく、画像情報作成部３２とエンコーダ選択部１８１との間に設けることができる。この場合、エンコーダ選択部１８１では、シーン単位ではなく、グループ単位で、ピクチャを、圧縮部３４と圧縮部１８２とのうちのいずれで符号化するかが選択される。
【０２１１】
また、圧縮部１８２では、圧縮部３４が行う予測符号化と異なる符号化の１つであるウェーブレット変換を行うようにしたが、圧縮部１８２で行う符号化は、ウェーブレット変換に限定されるものではない。即ち、圧縮部１８２では、ピクチャをイントラ符号化する符号化であれば、どのような符号化でも採用することができる。但し、特に、画質の劣化が低く、かつ高圧縮率のイントラ符号化であることが望ましい。
【０２１２】
なお、圧縮部３４と圧縮部１８２において、HDD１４に既に記録されているHD動画像を対象に符号化を行う場合、HDTVカメラ１２からリアルタイムで供給されるHD動画像を対象に符号化を行う場合と異なり、圧縮部３４と圧縮部１８２とのうちの一方の符号化処理の終了後に、他方の符号化処理を行うこともできるし、両方の符号化処理を並列して行うこともできる。
【０２１３】
次に、図２５を参照して、図２４のグルーピング部３３、圧縮部３４、エンコーダ選択部１８１、および圧縮部１８２における処理をさらに説明する。
【０２１４】
いま、例えば、HD動画像が、図２５の上から１番目に示すように、第１シーン乃至第７シーンから構成され、第１シーン、第３シーン、第５シーン、および第７シーンは互いに類似するが、第２シーン、第４シーン、および第６シーンは、いずれも、他のシーンと類似していないとする。さらに、第４シーンは、動きの激しいシーンであるが、他のシーン、即ち、第１シーン乃至第３シーンおよび第５シーン乃至第７シーンは、いずれも、動きの(ほとんど)ない類似しているシーンであるとする。
【０２１５】
この場合、エンコーダ選択部１８１では、動きの激しいシーンである第４シーンについては、圧縮部１８２での符号化が選択され、第４シーンは、エンコーダ選択部１８１から圧縮部１８２に供給される。また、エンコーダ選択部１８１では、動きのないシーンである第１シーン乃至第３シーンおよび第５シーン乃至第７シーンについては、圧縮部３４での符号化が選択され、第１シーン乃至第３シーンおよび第５シーン乃至第７シーンは、エンコーダ選択部１８１からグルーピング部３３に供給される。
【０２１６】
そして、グルーピング部３３では、図２５の上から２番目に示すように、エンコーダ選択部１８１からの第１シーン乃至第３シーンおよび第５シーン乃至第７シーンが、互いに類似している第１シーン、第３シーン、第５シーン、および第７シーンからなるグループG１、第２シーンのみからなるグループG２、第６シーンのみからなるグループG３にグループ分けされ、グループ単位で、圧縮部３４に供給される。
【０２１７】
圧縮部３４は、グループG１、グループG２、グループG３のそれぞれを１GOPとみなして、MPEG方式による予測符号化を行う。
【０２１８】
一方、圧縮部１８２では、図２５の上から３番目に示す第４のシーンの各ピクチャがウェーブレット変換される。
【０２１９】
ここで、動きが激しいシーンのピクチャについては、ウェーブレット変換を行うことにより、MPEG方式等の予測符号化を行う場合と比較して、画質の劣化を低減し、或いは、圧縮率の向上を図ることができる。
【０２２０】
図２６は、図２４の圧縮部３４、または圧縮部１８２が出力する、ピクチャの符号化データのフォーマットを示している。
【０２２１】
ピクチャの符号化データのフォーマットは、そのピクチャを予測符号化することにより得られるピクチャの符号化データまたはウェーブレット変換することにより得られるウェーブレット変換により符号化されたピクチャデータ、そのピクチャの表示順を表すピクチャ表示番号、およびそのピクチャの符号化方式を表す情報が付加されて構成される。
【０２２２】
次に、図２７のフローチャートを参照して、図２４の並び替え圧縮部２２における処理を説明する。
【０２２３】
並び替え圧縮部２２は、例えば、ユーザが図示せぬ操作部を操作した場合に、あるいは、特に行うべき処理が(ほとんど)ない場合に、図２７のフローチャートにしたがった処理を行う。
【０２２４】
即ち、入出力インタフェース２１は、HDD１４からHD動画像を読み出し、ピクチャ表示番号付加部３１に供給する。ステップS９１において、ピクチャ表示番号付加部３１は、入出力インタフェース２１から供給されたHD動画像の各ピクチャに、そのピクチャの表示順を表すピクチャ表示番号を付加し、画像情報作成部３２に供給して、ステップS９２に進む。
【０２２５】
ステップS９２において、画像情報作成部３２は、図１１のステップS１２と同様に、ピクチャ表示番号付加部３１から供給されるHD動画像の各ピクチャのピクチャ間差値を求め、そのピクチャ間差値に基づき、HD動画像のシーンを検出する。さらに、画像情報作成部３２は、各シーンについて、HD動画像を構成するピクチャを類似するピクチャのグループにグループ分けをするのに用いる画像情報を作成する。そして、画像情報作成部３２は、HD動画像を構成する各ピクチャ、シーンの画像情報、およびピクチャ間差値を、エンコーダ選択部１８１に供給し、ステップS９２からステップS９３に進む。
【０２２６】
ステップS９３において、エンコーダ選択部１８１は、画像情報作成部３２から供給されるピクチャ間差値を用いて、同じく、画像情報作成部３２から供給されるHD動画像を構成する各ピクチャの符号化方式をシーンごとに選択し、そのシーンに含まれるピクチャに、選択された符号化方式に関する情報を付加する。エンコーダ選択部１８１は、圧縮部３４での符号化を選択されたシーン(を構成するピクチャ)を、画像情報作成部３２から供給されたシーンの画像情報と共に、グルーピング部３３に供給し、圧縮部１８２での符号化を選択されたシーン(を構成するピクチャ)を、圧縮部１８２に供給して、ステップS９４に進む。
【０２２７】
ステップS９４では、エンコーダ選択部１８１から供給されたシーンを構成するピクチャを対象とした処理が行われる。即ち、ステップS９４では、グルーピング部３３が、ステップS９５において、図１１のステップS１３と同様に、エンコーダ選択部１８１から供給されるシーンの画像情報を用いて、同じく、エンコーダ選択部１８１から供給されるシーンを構成する各ピクチャを、シーン単位で、グループ分けをし、その結果得られるグループ分けされたシーン(を構成するピクチャ)を、グループ単位で圧縮部３４に供給して、ステップS９６に進む。
【０２２８】
ステップS９６において、圧縮部３４は、グルーピング部３３から供給されるピクチャを、グループ単位で、MPEG方式により予測符号化し、その結果得られる符号化データを、入出力インタフェース２１に供給する。
【０２２９】
一方、圧縮部１８２は、ステップS９７において、エンコーダ選択部１８１から供給されたシーンを構成する各ピクチャを、ウェーブレット変換し、その結果得られる符号化データを、入出力インタフェース２１に供給する。
【０２３０】
ステップS９４の処理後、ステップS９８に進み、入出力インタフェース２１は、圧縮部３４、または圧縮部１８２から供給される符号化データを、HDD１４に供給し記録させて、処理を終了する。
【０２３１】
なお、ステップS９２において、画像情報作成部３２は、縮小画像作成部１６３(図２２)で作成されるHD動画像の縮小画像を用いて、HD動画像を構成するピクチャを類似するピクチャのグループにグループ分けをするのに用いる画像情報を作成してもよい。
【０２３２】
図２８は、図１の記録制御部１３が図２４に示したように構成される場合の、図１の再生制御部１５の構成例を示すブロック図である。
【０２３３】
なお、図中、図１５の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０２３４】
即ち、図２８の再生制御部１５は、図１５の入出力インタフェース１１１に代えて、入出力インタフェース２０１が設けられており、さらに、解凍部２０２が新たに設けられているほかは、図１５の場合と同様に構成されている。
【０２３５】
入出力インタフェース２０１は、HDD１４からピクチャ(を含むシーン)の符号化データを、復号すべき順に読み出し、その符号化データに付与された符号化方式に関する情報に基づいて、解凍部１１２または解凍部２０２に供給する。即ち、入出力インタフェース２０１は、MPEG符号化によって得られた符号化データを解凍部１１２に供給し、ウェーブレット変換によって得られた符号化データを解凍部２０２に供給する。なお、入出力インタフェース２０１は、ピクチャ表示番号がより小さいピクチャを含む符号化データを、より先に復号すべき符号化データとして、HDD１４から読み出す。
【０２３６】
解凍部２０２は、入出力インタフェース２０１から供給されるウェーブレット変換された符号化データを逆変換することにより復号し、その結果得られるHD動画像を構成する各ピクチャを、バッファ１１３に供給する。
【０２３７】
図２９は、図２８の入出力インタフェース２０１によるHDD１４からのシーン(を構成するピクチャ)の符号化データの読み出しの順番と、出力制御部１１４によるバッファ１１３からのピクチャの読み出しの順番を説明する図である。
【０２３８】
なお、図２９において、横軸は、時間軸を表す。また、HD動画像は、例えば、図２５で説明したように、第１シーン乃至第７シーンから構成され、第１シーン、第３シーン、第５シーン、および第７シーンは互いに類似するが、第２シーン、第４シーン、および第６シーンは、いずれも、他のシーンと類似していないとする。さらに、第４シーンは、動きの激しいシーンであるが、他のシーン、即ち、第１シーン乃至第３シーンおよび第５シーン乃至第７シーンは、いずれも、動きの(ほとんど)ないシーンであるとする。また、第１シーン乃至第３シーン、第５シーン、および第７シーンが、互いに類似している第１シーン、第３シーン、第５シーン、および第７シーンからなるグループG１、第２シーンのみからなるグループG２、第６シーンのみからなるグループG３にグループ分けされているとする。
【０２３９】
また、グループG１、グループG２、グループG３それぞれは、それぞれのグループを1GOPとみなして、MPEG方式による予測符号化がされており、その結果得られる符号化データが、HDD１４に記録されていることとする。さらに、第４シーンの各ピクチャは、ウェーブレット変換されており、その結果得られる符号化データも、HDD１４に記録されていることとする。
【０２４０】
ここで、符号化データの復号は、表示順がより先(時間的に前)のピクチャほど、先に行う必要がある。そこで、入出力インタフェース２０１は、上述したように、ピクチャ表示番号がより小さいピクチャの(符号化データ)を含むシーンまたはグループを、先に、HDD１４から読み出し、符号化方式に関する情報に基づいて、解凍部１１２または解凍部２０２に供給する。
【０２４１】
具体的には、まず、グループG１、グループG２、グループG３、および第４シーンについては、グループG１に属する第１シーンに含まれるピクチャのピクチャ表示番号が最も小さく、グループG２に属する第２シーンに含まれるピクチャのピクチャ表示番号が次に小さく、第４シーンに含まれるピクチャのピクチャ表示番号がその次に小さく、グループG３に属する第６シーンに含まれるピクチャのピクチャ表示番号が最も大きいため、入出力インタフェース２０１は、グループG１、グループG２、第４シーン、グループG３の順番で、HDD１４から読み出し、図２９の上から１番目および２番目に示すように、グループG１、グループG１、およびグループG１については解凍部１１２に、第４シーンについては解凍部２０２に、それぞれ供給する。
【０２４２】
解凍部１１２は、入出力インタフェース２０１から供給される符号化データを、グループ単位で、順次、復号して、バッファ１１３に供給して保存させる。また、解凍部２０２は、入出力インタフェース２０１から供給される符号化データを、復号して、バッファ１１３に供給して保存させる。
【０２４３】
そして、出力制御部１１４は、バッファ１１３に保存されたピクチャを、図２９の上から３番目(下から１番目)に示すように、ピクチャ表示番号が小さい順、即ち、表示順に読み出し、モニタ１６に供給する。
【０２４４】
次に、図３０のフローチャートを参照して、図２８の再生制御部１５における処理について説明する。
【０２４５】
例えば、ユーザが図示せぬ操作部を操作することにより、画像の再生が、入出力インタフェース２０１に指令されると、ステップS１１１において、入出力インタフェース２０１は、HDD１４からピクチャ(を含むシーン)の符号化データを、グループ単位またはシーン単位で復号すべき順に読み出し、解凍部１１２または解凍部２０２に供給して、ステップS１１２に進む。
【０２４６】
ステップS１１２において、解凍部１１２または解凍部２０２は、入出力インタフェース２０１から供給される符号化データを復号する。即ち、ステップS１１２では、解凍部１１２が、ステップS１１３において、入出力インタフェース２０１から、グループ単位で供給された符号化データを、MPEG方式により復号し、その結果得られるHD動画像を構成する各ピクチャを、バッファ１１３に供給する。
【０２４７】
また、解凍部２０２は、ステップS１１４において、入出力インタフェース２０１から、シーン単位で供給された符号化データを、ウェーブレット逆変換することにより復号し、その結果得られるHD動画像を構成する各ピクチャを、バッファ１１３に供給する。
【０２４８】
その後、ステップS１１２からステップS１１５に進み、バッファ１１３は、解凍部１１２、および解凍部２０２から供給されるHD動画像を構成する各ピクチャを一旦保存し、ステップS１１６に進む。
【０２４９】
ステップS１１６において、出力制御部１１４は、バッファ１１３に保存されたピクチャを、ピクチャ表示番号の小さい順に読み出すことにより、ピクチャの並びを表示順に並び替え、モニタ１６に出力し、表示させて、処理を終了する。
【０２５０】
図３１は、図１の再生制御部１５のさらに他の構成例を示すブロック図である。
【０２５１】
なお、図中、図２１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０２５２】
即ち、図３１の再生制御部１５は、図２１の入出力インタフェース１２１に代えて、入出力インタフェース２１１が設けられており、さらに、解凍部２０２、バッファ２１３、および出力制御部２１４が新たに設けられているほかは、図２１の場合と同様に構成されている。
【０２５３】
入出力インタフェース２１１は、グループ単位または(グループ分けされていない)シーン単位の符号化データをHDD１４から読み出す。そして、入出力インタフェース２１１は、符号化データに付加された符号化方式に基づいて、符号化データを、解凍部１２２1乃至１２２n、または解凍部２０２に供給する。即ち、入出力インタフェース２１１は、複数の解凍部１２２1乃至１２２nのうちの、復号を行っていないものの１つを選択し、その選択した解凍部に、グループ単位の符号化データを供給して復号させる。また、入出力インタフェース２１１は、解凍部２０２に、シーン単位の(グループ分けされていない)符号化データを供給して復号させる。
【０２５４】
解凍部２０２は、図２８の解凍部２０２と同様に、入出力インタフェース２１１から供給されるウェーブレット変換された符号化データを、逆変換することにより復号し、その結果得られるピクチャを、バッファ２１３に供給する。
【０２５５】
バッファ２１３は、解凍部２０２から供給されたピクチャを、一旦保存する。
【０２５６】
出力制御部２１４は、バッファ２１３に保存されているピクチャを、適当な時期に、モニタ１６に出力して表示させる。
【０２５７】
なお、図３１では、１つの解凍部２０２しか設けていないが、再生制御部１５は、解凍部２０２と同様に構成される解凍部を複数設けて構成することが可能となる。
【０２５８】
図３２は、本発明を適用した記録再生システムの他の一実施の形態の構成例を示す図である。なお、図中、図１の場合と対応する部分については、同一の符号を付してある。
【０２５９】
記録再生システムは、HDTVカメラ１２、モニタ１６、記録装置２２１、および再生装置２３１により構成されている。
【０２６０】
記録装置２２１は、記録制御部２２３、HDD２２４、および送信制御部２２５から構成されている。記録制御部２２３は、図１の記録制御部１３と同様に構成されている。
【０２６１】
ＨＤＤ２２４は、図１のHDD１４と同様に、記録制御部２２３から供給される符号化データの記録等を行う。
【０２６２】
送信制御部２２５は、ＨＤＤ２２４から読み出された符号化データを、例えば、インターネットやLAN(Local Area Network)、IEEE(Institute of Electrical and Electronic Engineers)１３９４やUSB(Universal Serial Bus)の規格に準拠したネットワーク等を介して、再生装置２３１に送信することを制御する。
【０２６３】
再生装置２３１は、受信制御部２３２、HDD２３３、および再生制御部２３４から構成される。
【０２６４】
受信制御部２３２は、例えば、記録装置２２１から送信される符号化データを受信することを制御し、その符号化データを、ＨＤＤ２３３に供給し、記録させる。
【０２６５】
ＨＤＤ２３３は、受信制御部２３２から供給される符号化データを記録する。
【０２６６】
再生制御部２３４は、図１の再生制御部１５と同様に構成され、ＨＤＤ２３３に記録されている符号化データを、ＨＤＤ２３３から読み出して復号し、その結果得られるHD動画像を、モニタ１６に供給する。
【０２６７】
以上のように構成される図３２の記録再生システムでは、例えば、記録装置２２１の記録制御部２２３に、HDTVカメラ１２からHD動画像が供給される。記録制御部２２３は、HDTVカメラ１２からのHD動画像を対象に、図１の記録制御部１３と同様の処理を行い、その結果得られた符号化データを、HDD２２４に供給し記録させる。送信制御部２２５は、HDD２２４に記録されている符号化データを読み出し、ネットワーク等を介して、再生装置２３１の受信制御部２３２に送信する。
【０２６８】
再生装置２３１の受信制御部２３２は、記録装置２２１からの符号化データを受信してHDD２３３に供給し、記録させる。再生制御部２３４は、必要に応じてHDD２３３に記録されている符号化データを読み出し、図１の再生制御部１５と同様の処理を行い、その結果得られるHD動画像をモニタ１６に供給する。
【０２６９】
図３３は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。
【０２７０】
CPU（Central Processing Unit）２５１は、ROM（Read Only Memory）２５２、または記憶部２５８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２５３には、CPU２５１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２５１、ROM２５２、およびRAM２５３は、バス２５４により相互に接続されている。
【０２７１】
なお、CPU２５１として、”Ｃｅｌｌ誕生”、日経エレクトロニクス、日経BP社、２００５年２月２８日、８９頁乃至１１７頁に記載されているＣｅｌｌを採用することができる。
【０２７２】
CPU２５１にはまた、バス２５４を介して入出力インタフェース２５５が接続されている。入出力インタフェース２５５には、キーボード、マウス、マイクロホンなどよりなる入力部２５６、ディスプレイ、スピーカなどよりなる出力部２５７が接続されている。CPU２５１は、入力部２５６から入力される指令に対応して各種の処理を実行する。そして、CPU２５１は、処理の結果を出力部２５７に出力する。
【０２７３】
入出力インタフェース２５５に接続されている記憶部２５８は、例えばハードディスクからなり、CPU２５１が実行するプログラムや各種のデータを記憶する。通信部２５９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０２７４】
また、通信部２５９を介してプログラムを取得し、記憶部２５８に記憶してもよい。
【０２７５】
入出力インタフェース２５５に接続されているドライブ２６０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２６１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２５８に転送され、記憶される。
【０２７６】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２７７】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図３５に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２６１、または、プログラムが一時的もしくは永続的に格納されるROM２５２や、記憶部２５８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部２５９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２７８】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２７９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２８０】
ここで、本発明の実施の形態では、グループ分けの対象を、シーンとしたが、グループ分けは、ピクチャを対象として行うこともできる。即ち、例えば、上述したHD動画像を構成する各ピクチャのヒストグラム(例えば、図７のヒストグラム６２1乃至６２n)を用いて、ピクチャ同士が類似している度合いを表す類似値を、シーンのヒストグラムから求められる類似値と同様にして求め、その類似値がある閾値以下のピクチャ同士を１つのグループにグループ分けし、或いは、類似値がある閾値以下のピクチャ同士であり、かつ、ピクチャ全体の動きベクトルの総和のベクトルの大きさが、他の閾値以下のピクチャを１つのグループにグループ分けすること等が可能である。また、例えば、ピクチャを対象としたグループ分けは、ヒストグラムの代わりに、ピクチャ間差値を用いることもできる。
【０２８１】
ピクチャを対象にグループ分けをすることにより、周期的な動きをしている物体が写っているシーンを構成するピクチャや、カメラのフラッシュ等によって輝度が大きく変化しているシーンを構成するピクチャを、より類似するピクチャ同士のグループにグループ分けすることが可能となる。
【０２８２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。  
【図面の簡単な説明】
【０２８３】
【図１】本発明を適用した記録再生システムの一実施の形態の構成例を示すブロック図である。
【図２】図１の記録制御部１３の構成例を示すブロック図である。
【図３】図２の並び替え圧縮部２２の構成例を示すブロック図である。
【図４】図３の画像情報作成部３２の構成例を示すブロック図である。
【図５】図４のシーン検出部４１の構成例を示すブロック図である。
【図６】図５のシーン分割部５２の処理を説明する図である。
【図７】図４のヒストグラム作成部４２における処理を説明する図である。
【図８】図３のグルーピング部３３における処理の一例を説明する図である。
【図９】図３のグルーピング部３３および圧縮部３４における処理を説明する図である。
【図１０】図３の圧縮部３４が出力する、ピクチャの符号化データのフォーマットを示す図である。
【図１１】図３の並び替え圧縮部２２における処理を示すフローチャートである。
【図１２】図１１のステップS１２における画像情報作成処理の詳細を示すフローチャートである。
【図１３】図１２のステップS２１のシーン検出処理の詳細を示すフローチャートである。
【図１４】図１１のステップS１３のグルーピング処理の詳細を示すフローチャートである。
【図１５】図１の再生制御部１５の構成例を示すブロック図である。
【図１６】入出力インタフェース１１１によるHDD１４からのシーン(を構成するピクチャ)の符号化データの読み出しの順番と、出力制御部１１４によるバッファ１１３からのピクチャの読み出しの順番を説明する図である。
【図１７】図１５の再生制御部１５における処理を示すフローチャートである。
【図１８】複数の解凍部を用いて構成された再生制御部１５の構成例を示すブロック図である。
【図１９】図１の再生制御部１５の他の構成例を示すブロック図である。
【図２０】図１９の解凍部１２２の構成を示すブロック図である。
【図２１】複数の解凍部を用いて構成された再生制御部１５の他の構成例を示すブロック図である
【図２２】図１の記録制御部１３の他の構成例を示すブロック図である。
【図２３】図２２の縮小画像作成部１６３の構成例を示すブロック図である。
【図２４】図２の並び替え圧縮部２２の他の構成例を示すブロック図である。
【図２５】図２４のグルーピング部３３、圧縮部３４、エンコーダ選択部１８１、および圧縮部１８２における処理を説明する図である。
【図２６】図２４の圧縮部３４、または圧縮部１８２が出力する、ピクチャの符号化データのフォーマットを示す図である。
【図２７】図２４の並び替え圧縮部２２における処理を示すフローチャートである。
【図２８】図１の再生制御部１５の他の構成例を示すブロック図である。
【図２９】入出力インタフェース２０１によるHDD１４からのシーン(を構成するピクチャ)の符号化データの読み出しの順番と、出力制御部１１４によるバッファ１１３からのピクチャの読み出しの順番を説明する図である。
【図３０】図２８の再生制御部１５における処理を示すフローチャートである。
【図３１】図１の再生制御部１５のさらに他の構成例を示すブロック図である。
【図３２】本発明を適用した記録再生システムの他の一実施の形態の構成例を示すブロック図である。
【図３３】本発明を適用したプログラムを実行するコンピュータの構成例を示すブロック図である。
【符号の説明】
【０２８４】
１１  記録再生装置，  １２  HDTVカメラ，  １３  記録制御部，  １４  HDD，  １５  再生制御部，  １６  モニタ，  ２１  入出力インタフェース，  ２２  並び替え圧縮部，  ３１  ピクチャ表示番号付加部，  ３２  画像情報作成部，  ３３  グルーピング部，  ３４  圧縮部，  ４１  シーン検出部，  ４２  ヒストグラム作成部，  ５１  ピクチャ間差部，  ５２  シーン分割部，  ６１1乃至６１n  ピクチャ，  ６２1乃至６２n  ヒストグラム，  ６３m  ヒストグラム，  １１１  入出力インタフェース，  １１２  解凍部，  １１２1乃至１１２n  解凍部，  １１３  バッファ，  １１４  出力制御部，  １２１  入出力インタフェース，  １２２  解凍部，  １２２1乃至１２２n  解凍部，  １３１  バッファ，  １３２  可変長復号部，  １３３  逆量子化部，  １３４  バッファ，  １３５  出力制御部，  １３６  逆DCT部，  １３７  演算部，  １３８  バッファ，  １３９  動き補償部，  １６１  圧縮部，  １６２  解凍部，  １６３  縮小画像作成部，  １６４  イントラ圧縮部，  １６５  イントラ解凍部，  １７１  LPF，  １７２  ダウンサンプリング部，  １８１  エンコーダ選択部，  １８２  圧縮部，  ２０１  入出力インタフェース，  ２０２  解凍部，  ２１１  入出力インタフェース，  ２１３  バッファ，  ２１４  出力制御部，  ２２１  記録装置，  ２２３  記録制御部，  ２２４  HDD，  ２２５  送信制御部，  ２３１  再生装置，  ２３２  受信制御部，２３３  HDD，  ２３４  再生制御部，  ２５１  CPU，  ２５２  ROM，  ２５３  RAM，  ２５４  バス，  ２５５  入出力インタフェース，  ２５６  入力部，  ２５７  出力部，  ２５８  記録部，  ２５９  通信部，  ２６０  ドライブ，  ２６１  リムーバブルメディア
【図１】
0004674535.tif 000002
【図２】
0004674535.tif 000003
【図３】
0004674535.tif 000004
【図４】
0004674535.tif 000005
【図５】
0004674535.tif 000006
【図６】
0004674535.tif 000007
【図７】
0004674535.tif 000008
【図８】
0004674535.tif 000009
【図９】
0004674535.tif 000010
【図１０】
0004674535.tif 000011
【図１１】
0004674535.tif 000012
【図１２】
0004674535.tif 000013
【図１３】
0004674535.tif 000014
【図１４】
0004674535.tif 000015
【図１５】
0004674535.tif 000016
【図１６】
0004674535.tif 000017
【図１７】
0004674535.tif 000018
【図１８】
0004674535.tif 000019
【図１９】
0004674535.tif 000020
【図２０】
0004674535.tif 000021
【図２１】
0004674535.tif 000022
【図２２】
0004674535.tif 000023
【図２３】
0004674535.tif 000024
【図２４】
0004674535.tif 000025
【図２５】
0004674535.tif 000026
【図２６】
0004674535.tif 000027
【図２７】
0004674535.tif 000028
【図２８】
0004674535.tif 000029
【図２９】
0004674535.tif 000030
【図３０】
0004674535.tif 000031
【図３１】
0004674535.tif 000032
【図３２】
0004674535.tif 000033
【図３３】
0004674535.tif 000034