(57)【要約】【課題】画像の高い圧縮率を保持しながら、動画像復号装置におけるランダム再生性能を高めることができるようにする。【解決手段】符号化部２〜５の間でイントラ符号化が用いられる符号化処理のタイミングが異なり、いずれの時間に生成された縮小画像ＰＡ〜ＰＤでも、いずれか１枚の縮小画像についてはイントラ符号化で符号化処理が実施されるように構成する。これにより、画像の高い圧縮率を保持ながら、動画像復号装置におけるランダム再生性能を高めることができる動画像符号化装置が得られる。【選択図】図１
2012129608.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の画像を構成している画素の一部を抽出する縮小処理を実施して、抽出対象の画素の位置が異なる複数枚の縮小画像を生成し、複数枚の縮小画像及び抽出対象の画素の位置を示す縮小情報を出力する縮小画像生成手段と、上記縮小画像生成手段から出力された複数枚の縮小画像の中の１枚の縮小画像に対する符号化処理をインター符号化又はイントラ符号化で実施し、上記縮小画像の符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む符号化ストリームを出力する複数の符号化手段とを備え、
上記複数の符号化手段の間でイントラ符号化が用いられる符号化処理のタイミングが異なり、いずれの時間に生成された縮小画像でも、いずれか１枚の縮小画像についてはイントラ符号化で符号化処理が実施されることを特徴とする動画像符号化装置。
【請求項２】
複数の符号化手段から出力された符号化ストリーム及び縮小画像生成手段から出力された縮小情報を統合して統合符号化ストリームを生成し、上記統合符号化ストリームを出力するストリーム統合手段を設けたことを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
ストリーム統合手段は、ＭＰＥＧ−４形式のメディアファイルフォーマットで、統合符号化ストリームを生成することを特徴とする請求項２記載の動画像符号化装置。
【請求項４】
複数の符号化手段は、縮小画像生成手段から出力された縮小画像を符号化する際、他の符号化手段が縮小画像の符号化処理に用いている符号化情報を収集し、その符号化情報を利用して、縮小画像の符号化処理を実施することを特徴とする請求項１から請求項３のうちのいずれか１項記載の動画像符号化装置。
【請求項５】
符号化対象の画像を構成している画素の一部を抽出する縮小処理を実施して、抽出対象の画素の位置が異なる複数枚の縮小画像を生成し、複数枚の縮小画像及び抽出対象の画素の位置を示す縮小情報を出力する縮小画像生成手段と、上記縮小画像生成手段から出力された複数枚の縮小画像を所定の位置に配置することで１枚の画像に再構成して、再構成後の画像を出力するとともに、再構成後の画像に含まれている縮小画像の位置を示す位置情報及び上記縮小画像生成手段から出力された縮小情報を含む再構成画像情報を出力する画像再構成手段と、上記画像再構成手段から出力された再構成後の画像を縮小画像が含まれている位置に合わせてスライスを区切り、上記スライス内の各ブロックに対する符号化処理をインター符号化又はイントラ符号化で実施し、上記スライス内の各ブロックの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む符号化ストリームを出力する符号化手段とを備え、
スライス毎に、イントラ符号化で符号化処理が実施されるブロックの位置が異なり、いずれのスライスでも、スライス内の１つのブロックについてはイントラ符号化で符号化処理が実施されることを特徴とする動画像符号化装置。
【請求項６】
動画像符号化装置から出力された符号化ストリームを入力し、上記符号化ストリームに含まれている符号化情報を参照して、上記符号化ストリームに含まれている縮小画像の符号化データを復号して、その復号結果である縮小画像を出力する複数の復号手段と、上記動画像符号化装置から出力された縮小情報を入力し、上記縮小情報が示す抽出対象の画素の位置を参照して、上記複数の復号手段から出力された縮小画像を組み合わせることで、符号化対象の画像を復元する画像復元手段とを備えた動画像復号装置。
【請求項７】
動画像符号化装置から出力された統合符号化ストリームを分解して、上記統合符号化ストリームに統合されている複数の符号化ストリームを復号手段に出力し、上記統合符号化ストリームに統合されている縮小情報を画像復元手段に出力するストリーム分解手段を設けたことを特徴とする請求項６記載の動画像復号装置。
【請求項８】
動画像符号化装置から出力された符号化ストリームを入力し、上記符号化ストリームに含まれている符号化情報を参照して、上記符号化ストリームに含まれているスライス内の各ブロックの符号化データを復号して、その復号結果である再構成後の画像を出力する復号手段と、上記動画像符号化装置から出力された再構成画像情報を入力し、上記再構成画像情報に含まれている位置情報が示す縮小画像の位置を参照して、上記復号手段から出力された再構成後の画像を分解し、再構成後の画像に含まれている複数枚の縮小画像を出力する画像分解手段と、上記再構成画像情報に含まれている縮小情報が示す抽出対象の画素の位置を参照して、上記復号手段から出力された複数枚の縮小画像を組み合わせることで、符号化対象の画像を復元する画像復元手段とを備えた動画像復号装置。
【請求項９】
画像復元手段は、一部の縮小画像が得られない場合、得られている縮小画像を拡大することで符号化対象の画像を復元することを特徴とする請求項６から請求項８のうちのいずれか１項記載の動画像復号装置。
【請求項１０】
縮小画像生成手段が、符号化対象の画像を構成している画素の一部を抽出する縮小処理を実施して、抽出対象の画素の位置が異なる複数枚の縮小画像を生成し、複数枚の縮小画像及び抽出対象の画素の位置を示す縮小情報を出力する縮小画像生成処理ステップと、複数の符号化手段が、上記縮小画像生成手段から出力された複数枚の縮小画像の中の１枚の縮小画像に対する符号化処理をインター符号化又はイントラ符号化で実施し、上記縮小画像の符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む符号化ストリームを出力する符号化処理ステップとを備え、
上記複数の符号化手段における符号化処理ステップの間でイントラ符号化が用いられる符号化処理のタイミングが異なり、いずれの時間に生成された縮小画像でも、いずれか１枚の縮小画像についてはイントラ符号化で符号化処理が実施されることを特徴とする動画像符号化方法。
【請求項１１】
縮小画像生成手段が、符号化対象の画像を構成している画素の一部を抽出する縮小処理を実施して、抽出対象の画素の位置が異なる複数枚の縮小画像を生成し、複数枚の縮小画像及び抽出対象の画素の位置を示す縮小情報を出力する縮小画像生成処理ステップと、画像再構成手段が、上記縮小画像生成手段から出力された複数枚の縮小画像を所定の位置に配置することで１枚の画像に再構成して、再構成後の画像を出力するとともに、再構成後の画像に含まれている縮小画像の位置を示す位置情報及び上記縮小画像生成手段から出力された縮小情報を含む再構成画像情報を出力する画像再構成処理ステップと、符号化手段が、上記画像再構成手段から出力された再構成後の画像を縮小画像が含まれている位置に合わせてスライスを区切り、上記スライス内の各ブロックに対する符号化処理をインター符号化又はイントラ符号化で実施し、上記スライス内の各ブロックの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む符号化ストリームを出力する符号化処理ステップとを備え、
スライス毎に、イントラ符号化で符号化処理が実施されるブロックの位置が異なり、いずれのスライスでも、スライス内の１つのブロックについてはイントラ符号化で符号化処理が実施されることを特徴とする動画像符号化方法。
【請求項１２】
複数の復号手段が、動画像符号化装置から出力された符号化ストリームを入力し、上記符号化ストリームに含まれている符号化情報を参照して、上記符号化ストリームに含まれている縮小画像の符号化データを復号して、その復号結果である縮小画像を出力する復号処理ステップと、画像復元手段が、上記動画像符号化装置から出力された縮小情報を入力し、上記縮小情報が示す抽出対象の画素の位置を参照して、上記複数の復号手段から出力された縮小画像を組み合わせることで、符号化対象の画像を復元する画像復元処理ステップとを備えた動画像復号方法。
【請求項１３】
復号手段が、動画像符号化装置から出力された符号化ストリームを入力し、上記符号化ストリームに含まれている符号化情報を参照して、上記符号化ストリームに含まれているスライス内の各ブロックの符号化データを復号して、その復号結果である再構成後の画像を出力する復号処理ステップと、画像分解手段が、上記動画像符号化装置から出力された再構成画像情報を入力し、上記再構成画像情報に含まれている位置情報が示す縮小画像の位置を参照して、上記復号手段から出力された再構成後の画像を分解し、再構成後の画像に含まれている複数枚の縮小画像を出力する画像分解処理ステップと、画像復元手段が、上記再構成画像情報に含まれている縮小情報が示す抽出対象の画素の位置を参照して、上記復号手段から出力された複数枚の縮小画像を組み合わせることで、符号化対象の画像を復元する画像復元処理ステップとを備えた動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を符号化して符号化ストリームを出力する動画像符号化装置及び動画像符号化方法と、符号化ストリームから動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。
【背景技術】
【０００２】
画像を符号化する技術は数多くの装置等に適用されている。
静止画を符号化する方式の代表例として、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）が挙げられる。
また、ＪＰＥＧを連続して符号化することで、動画像を符号化する方式もある。この方式は、ＭｏｔｉｏｎＪｐｅｇや、ＭＪＰＥＧなどと呼ばれることもある。
他の動画像を符号化する方式の代表例として、地上デジタル放送やＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｉｔａｂｌｅ  Ｄｉｓｋ）−Ｖｉｄｅｏに採用されているＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）や、ワンセグ放送に用いられているＨ．２６４などが挙げられる。
【０００３】
ＭＰＥＧ−２やＨ．２６４方式で採用されている技術の一つに、時間方向の圧縮が挙げられる。
動画像は一般に静止画像の連続表示で表される。時間的に近い静止画像同士は一般に画像間の相関が高い。この画像間の相関を利用して圧縮することで、圧縮率を高める技術が時間方向の圧縮である。
これにより、ＭＰＥＧ−２やＨ．２６４では、静止画を連続して符号化するＭｏｔｉｏｎＪＰＥＧと比べて高い圧縮率が得られる。
時間方向の圧縮を利用して符号化することはインター符号化と呼ばれ、インター符号化されたピクチャはインター符号化ピクチャと呼ばれる。
【０００４】
ただし、インター符号化ピクチャを再生する際には、相関をとる参照元の画像が必要である。そのため、インター符号化ピクチャを用いている符号化ストリームでは、動画像中の任意の位置からの再生（以下、「ランダム再生」と称する）を行うことができない。
そこで、時間方向の圧縮を用いる場合でも、時間方向の圧縮を用いないで符号化を行っているピクチャを定期的に挿入することがある。
時間方向の圧縮を用いないで符号化することはイントラ符号化と呼ばれ、イントラ符号化されたピクチャはイントラ符号化ピクチャと呼ばれる。
【０００５】
このように、イントラ符号化ピクチャを定期的に挿入することで、イントラ符号化ピクチャからの再生が可能になり、ランダム再生機能を実現できる。
しかし、この場合でも、イントラ符号化ピクチャからの再生が可能になるだけで、インター符号化ピクチャからの再生が可能になるわけではなく、任意のピクチャからのランダム再生は不可能である。
そこで、以下の特許文献１および特許文献２では、インター符号化ピクチャを用いた動画像符号化方式により符号化された符号化ストリーム中において、ランダムアクセスを行う方法が示唆されている。
【０００６】
即ち、特許文献１には、ランダム再生を行うために、ランダム再生の要求性能と復号器の性能に合わせて、符号化時に符号化パラメータを制限する方法が示唆されている。
また、特許文献２には、予め特殊再生用のピクチャを設定し、特殊再生用のピクチャに関しては参照先を制限する方法が示唆されている。
しかし、特許文献１に開示されている方法では、予めランダム再生の要求性能や復号器の性能を知っておく必要がある。
また、特許文献２に開示されている方法では、特殊再生用のピクチャに対しても、インター符号化ピクチャが用いられることには違いがなく、ランダム再生性能の大幅な向上は見込めない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−０７４６７７号公報
【特許文献２】特開２００７−３０６１６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の動画像符号化装置は以上のように構成されているので、特許文献１では、ランダム再生の要求性能と復号器の性能に合わせて、符号化時に符号化パラメータを制限すれば、ランダム再生を行うことができるが、予めランダム再生の要求性能や復号器の性能を知っておく必要がある課題があった。
また、特許文献２では、特殊再生用のピクチャに対しても、インター符号化ピクチャが用いられることには違いがなく、ランダム再生性能の大幅な向上を図ることができない課題があった。
【０００９】
この発明は上記のような課題を解決するためになされたもので、画像の高い圧縮率を保持しながら、動画像復号装置におけるランダム再生性能を高めることができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
また、この発明は、高い圧縮率で符号化されている画像のランダム再生性能を高めることができる動画像復号装置及び動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る動画像符号化装置は、符号化対象の画像を構成している画素の一部を抽出する縮小処理を実施して、抽出対象の画素の位置が異なる複数枚の縮小画像を生成し、複数枚の縮小画像及び抽出対象の画素の位置を示す縮小情報を出力する縮小画像生成手段と、その縮小画像生成手段から出力された複数枚の縮小画像の中の１枚の縮小画像に対する符号化処理をインター符号化又はイントラ符号化で実施し、その縮小画像の符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む符号化ストリームを出力する複数の符号化手段とを備え、複数の符号化手段の間でイントラ符号化が用いられる符号化処理のタイミングが異なり、いずれの時間に生成された縮小画像でも、いずれか１枚の縮小画像についてはイントラ符号化で符号化処理が実施されるようにしたものである。
【発明の効果】
【００１１】
この発明によれば、符号化対象の画像を構成している画素の一部を抽出する縮小処理を実施して、抽出対象の画素の位置が異なる複数枚の縮小画像を生成し、複数枚の縮小画像及び抽出対象の画素の位置を示す縮小情報を出力する縮小画像生成手段と、その縮小画像生成手段から出力された複数枚の縮小画像の中の１枚の縮小画像に対する符号化処理をインター符号化又はイントラ符号化で実施し、その縮小画像の符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む符号化ストリームを出力する複数の符号化手段とを備え、複数の符号化手段の間でイントラ符号化が用いられる符号化処理のタイミングが異なり、いずれの時間に生成された縮小画像でも、いずれか１枚の縮小画像についてはイントラ符号化で符号化処理が実施されるように構成したので、画像の高い圧縮率を保持しながら、動画像復号装置におけるランダム再生性能を高めることができる効果がある。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【図３】ベースバンド画像のダウンサンプルを行うことで、縮小画像ＰＡ〜ＰＤを生成している例を示す説明図である。
【図４】符号化部２〜５による符号化ピクチャの一例を示す説明図である。
【図５】この発明の実施の形態１による動画像復号装置を示す構成図である。
【図６】この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【図７】この発明の実施の形態２による動画像符号化装置を示す構成図である。
【図８】ＭＰ４ファイルのボックス構造を示す説明図である。
【図９】ＭＰＥＧ−４形式のメディアファイルのデータ構造の一例を示す説明図である。
【図１０】ＭＰＥＧ−４形式のメディアファイルにＦＲＥＥボックスを加えた構造を示す説明図である。
【図１１】ＭＰＥＧ−４形式のメディアファイルにおけるＭＯＯＶボックス内のＴＲＡＫボックスＡ、ＴＲＡＫボックスＢ、ＴＲＡＫボックスＣ、ＴＲＡＫボックスＤを示す説明図である。
【図１２】この発明の実施の形態２による動画像復号装置を示す構成図である。
【図１３】この発明の実施の形態３による動画像符号化装置を示す構成図である。
【図１４】符号化部１１〜１４が相互の符号化情報を利用して符号化している例を示す説明図である。
【図１５】この発明の実施の形態４による動画像符号化装置を示す構成図である。
【図１６】この発明の実施の形態５による動画像符号化装置を示す構成図である。
【図１７】再構成画像Ｅの一例を示す説明図である。
【図１８】符号化部１１〜１４による符号化ピクチャの一例を示す説明図である。
【図１９】この発明の実施の形態５による動画像復号装置を示す構成図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、画像縮小部１は例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、符号化対象の画像であるベースバンド画像を構成している画素の一部を抽出する縮小処理を実施して、抽出対象の画素の位置が異なる複数枚の縮小画像ＰＡ〜ＰＤを生成し、その縮小画像ＰＡ〜ＰＤ及びベースバンド画像における抽出対象の画素の位置を示す縮小情報ｒＡ〜ｒＤを出力する処理を実施する。なお、画像縮小部１は縮小画像生成手段を構成している。
【００１４】
符号化部２は画像縮小部１から出力された縮小画像ＰＡに対する符号化処理をインター符号化又はイントラ符号化で実施し、その縮小画像ＰＡの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む縮小画像符号化ストリームＡを出力するエンコーダなどの装置である。
符号化部３は画像縮小部１から出力された縮小画像ＰＢに対する符号化処理をインター符号化又はイントラ符号化で実施し、その縮小画像ＰＢの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む縮小画像符号化ストリームＢを出力するエンコーダなどの装置である。
【００１５】
符号化部４は画像縮小部１から出力された縮小画像ＰＣに対する符号化処理をインター符号化又はイントラ符号化で実施し、その縮小画像ＰＣの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む縮小画像符号化ストリームＣを出力するエンコーダなどの装置である。
符号化部５は画像縮小部１から出力された縮小画像ＰＤに対する符号化処理をインター符号化又はイントラ符号化で実施し、その縮小画像ＰＤの符号化データ及び符号化処理に用いている符号化を示す符号化方報を含む縮小画像符号化ストリームＤを出力するエンコーダなどの装置である。
【００１６】
ただし、符号化部２〜５の間でイントラ符号化が用いられる符号化処理のタイミングが異なり、いずれの時間に生成された縮小画像ＰＡ〜ＰＤでも、いずれか１枚の縮小画像についてはイントラ符号化で符号化処理が実施される。
なお、符号化部２〜５は符号化手段を構成している。
【００１７】
図１の例では、動画像符号化装置の構成要素である画像縮小部１及び符号化部２〜５のそれぞれが専用のハードウェアで構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、画像縮小部１及び符号化部２〜５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【００１８】
図５はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図５において、復号部５１は図１の動画像符号化装置の符号化部２から出力された縮小画像符号化ストリームＡを入力し、その縮小画像符号化ストリームＡに含まれている符号化情報を参照して、その縮小画像符号化ストリームＡに含まれている縮小画像の符号化データを復号して、その復号結果である縮小復号画像ＤＡを出力するデコーダなどの装置である。
復号部５２は図１の動画像符号化装置の符号化部３から出力された縮小画像符号化ストリームＢを入力し、その縮小画像符号化ストリームＢに含まれている符号化情報を参照して、その縮小画像符号化ストリームＢに含まれている縮小画像の符号化データを復号して、その復号結果である縮小復号画像ＤＢを出力するデコーダなどの装置である。
【００１９】
復号部５３は図１の動画像符号化装置の符号化部４から出力された縮小画像符号化ストリームＣを入力し、その縮小画像符号化ストリームＣに含まれている符号化情報を参照して、その縮小画像符号化ストリームＣに含まれている縮小画像の符号化データを復号して、その復号結果である縮小復号画像ＤＣを出力するデコーダなどの装置である。
復号部５４は図１の動画像符号化装置の符号化部５から出力された縮小画像符号化ストリームＤを入力し、その縮小画像符号化ストリームＤに含まれている符号化情報を参照して、その縮小画像符号化ストリームＤに含まれている縮小画像の符号化データを復号して、その復号結果である縮小復号画像ＤＤを出力するデコーダなどの装置である。
なお、復号部５１〜５４は復号手段を構成している。
【００２０】
復元処理部５５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、図１の動画像符号化装置から出力された縮小情報ｒＡ〜ｒＤを入力し、その縮小情報ｒＡ〜ｒＤが示す抽出対象の画素の位置を参照して、復号部５１〜５４から出力された縮小復号画像ＤＡ〜ＤＤを組み合わせることで、符号化対象の画像に相当する復号画像を復元する処理を実施する。なお、復元処理部５５は画像復元手段を構成している。
【００２１】
図５の例では、動画像復号装置の構成要素である復号部５１〜５４及び復元処理部５５のそれぞれが専用のハードウェアで構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、復号部５１〜５４及び復元処理部５５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図６はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【００２２】
次に動作について説明する。
最初に、動画像符号化装置の処理内容を説明する。
画像縮小部１は、符号化対象の画像であるベースバンド画像を入力すると（図２のステップＳＴ１）、そのベースバンド画像を構成している画素の一部を抽出する縮小処理を実施して、抽出対象の画素の位置が異なる複数枚の縮小画像ＰＡ〜ＰＤを生成する（ステップＳＴ２）。
ここで、図３はベースバンド画像のダウンサンプルを行うことで、縮小画像ＰＡ〜ＰＤを生成している例を示す説明図である。
図３の例では、ベースバンド画像を２×２のブロックに分割して、左上の画素をＡ、右上の画素をＢ、左下の画素をＣ、右下の画素をＤとし、ベースバンド画像の各ブロックにおける画素Ａを抽出することで縮小画像ＰＡを生成している。
また、ベースバンド画像の各ブロックにおける画素Ｂを抽出することで縮小画像ＰＢを生成し、ベースバンド画像の各ブロックにおける画素Ｃを抽出することで縮小画像ＰＣを生成し、ベースバンド画像の各ブロックにおける画素Ｄを抽出することで縮小画像ＰＤを生成している。
【００２３】
画像縮小部１は、縮小画像ＰＡ〜ＰＤを生成すると、その縮小画像ＰＡ〜ＰＤを符号化部２〜５に出力する。
また、画像縮小部１は、縮小画像ＰＡ〜ＰＤを構成している画素を示す情報として、ベースバンド画像の各ブロックにおける抽出対象の画素Ａ〜Ｄの位置を示す縮小情報ｒＡ〜ｒＤを生成し、その縮小情報ｒＡ〜ｒＤを復号装置側に出力する（ステップＳＴ３）。
【００２４】
ここでは、画像縮小部１が、ベースバンド画像のダウンサンプルを行うことで、縮小画像ＰＡ〜ＰＤを生成する例を示したが、抽出対象の画素の位置が異なる縮小画像ＰＡ〜ＰＤを複数枚生成することができればよく、ダウンサンプル以外の方法で縮小画像ＰＡ〜ＰＤを生成するようにしてもよい。
例えば、バイキュービック、バイリニアなどのフィルタ処理を実施することで、ベースバンド画像の縮小画像ＰＡ〜ＰＤを生成するようにしてもよい。
なお、この実施の形態１では、画像縮小部１が、４枚の縮小画像ＰＡ〜ＰＤを生成している例を示しているが、複数枚の縮小画像を生成すればよく、５枚以上の縮小画像を生成してもよいし、４枚未満の縮小画像を生成してもよい。
【００２５】
符号化部２は、画像縮小部１から縮小画像ＰＡを受けると、その縮小画像ＰＡに対する符号化処理をインター符号化又はイントラ符号化で実施し、その縮小画像ＰＡの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む縮小画像符号化ストリームＡを復号装置側に出力する（ステップＳＴ４）。
符号化部３は、画像縮小部１から縮小画像ＰＢを受けると、その縮小画像ＰＢに対する符号化処理をインター符号化又はイントラ符号化で実施し、その縮小画像ＰＢの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む縮小画像符号化ストリームＢを復号装置側に出力する（ステップＳＴ５）。
【００２６】
符号化部４は、画像縮小部１から縮小画像ＰＣを受けると、その縮小画像ＰＣに対する符号化処理をインター符号化又はイントラ符号化で実施し、その縮小画像ＰＣの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む縮小画像符号化ストリームＣを復号装置側に出力する（ステップＳＴ６）。
符号化部５は、画像縮小部１から縮小画像ＰＤを受けると、その縮小画像ＰＤに対する符号化処理をインター符号化又はイントラ符号化で実施し、その縮小画像ＰＤの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む縮小画像符号化ストリームＤを復号装置側に出力する（ステップＳＴ７）。
【００２７】
動画像の符号化には、上述したように、時間方向の圧縮を用いないで符号化するイントラ符号化（画面内符号化）と、時間方向の圧縮を利用して符号化するインター符号化（画面間符号化）がある。
また、インター符号化には、順方向予測ピクチャと呼ばれる過去の画像だけを予測に用いるものと、双方向予測ピクチャと呼ばれる過去の画像と未来の画像の双方を予測に用いるものの２種類がある。
ここでは、説明を簡単化のために、インター符号化が順方向予測ピクチャを用いる例を説明する。
【００２８】
図１の動画像符号化装置における特徴は、図４に示すように、符号化部２〜５の間でイントラ符号化が用いられる符号化処理のタイミングが異なるが、いずれの時間に生成された縮小画像ＰＡ〜ＰＤでも、いずれか１枚の縮小画像についてはイントラ符号化で符号化処理が実施されることである。
ただし、符号化部２〜５では、順方向予測ピクチャを用いるインター符号化を採用しているため、ピクチャ番号１の縮小画像ＰＡ〜ＰＤについては、イントラ符号化で符号化処理が行われている。
【００２９】
符号化部２〜５の間でイントラ符号化が用いられる符号化処理のタイミングが異なる点以外は、符号化部２〜５において、通常の符号化が行われる。
このため、イントラ符号化が用いられる符号化処理のタイミング以外の符号化パラメータについては本発明では問わない。
また、符号化方式の種類についても問わない。したがって、例えば、ＭＰＥＧ−２方式を採用してもよいし、Ｈ．２６４方式を採用してもよい。
また、符号化部毎に異なる符号化方式を採用してもよい。
【００３０】
なお、図１の動画像符号化装置は、４つの縮小画像符号化ストリームＡ〜Ｄと、４つの縮小画像ＰＡ〜ＰＤの縮小情報ｒＡ〜ｒＤを出力するが、４つの縮小画像符号化ストリームＡ〜Ｄの符号量の和は、ベースバンド画像を通常通り符号化したストリームと同程度である。
【００３１】
次に、動画像復号装置の処理内容を説明する。
復号部５１は、図１の動画像符号化装置の符号化部２から出力された縮小画像符号化ストリームＡを入力すると（図６のステップＳＴ１１）、その縮小画像符号化ストリームＡに含まれている符号化情報を参照して、符号化部２が符号化処理に用いている符号化を特定する（ステップＳＴ１２）。
例えば、ピクチャ番号１であればイントラ符号化、ピクチャ番号２であればイントラ符号化、ピクチャ番号３であればインター符号化であると特定する（図４を参照）。
復号部５１は、符号化部２が符号化処理に用いている符号化を特定すると、その符号化に対応する復号処理を実施することで、その縮小画像符号化ストリームＡに含まれている縮小画像の符号化データを復号し、その復号結果である縮小復号画像ＤＡを復元処理部５５に出力する（ステップＳＴ１３）。縮小復号画像ＤＡは、図２の縮小画像ＰＡに相当する画像である。
【００３２】
復号部５２は、図１の動画像符号化装置の符号化部３から出力された縮小画像符号化ストリームＢを入力すると（ステップＳＴ１４）、その縮小画像符号化ストリームＢに含まれている符号化情報を参照して、符号化部３が符号化処理に用いている符号化を特定する（ステップＳＴ１５）。
例えば、ピクチャ番号１であればイントラ符号化、ピクチャ番号２であればインター符号化、ピクチャ番号３であればイントラ符号化であると特定する（図４を参照）。
復号部５２は、符号化部３が符号化処理に用いている符号化を特定すると、その符号化に対応する復号処理を実施することで、その縮小画像符号化ストリームＢに含まれている縮小画像の符号化データを復号し、その復号結果である縮小復号画像ＤＢを復元処理部５５に出力する（ステップＳＴ１６）。縮小復号画像ＤＢは、図２の縮小画像ＰＢに相当する画像である。
【００３３】
復号部５３は、図１の動画像符号化装置の符号化部４から出力された縮小画像符号化ストリームＣを入力すると（ステップＳＴ１７）、その縮小画像符号化ストリームＣに含まれている符号化情報を参照して、符号化部４が符号化処理に用いている符号化を特定する（ステップＳＴ１８）。
例えば、ピクチャ番号１であればイントラ符号化、ピクチャ番号２であればインター符号化、ピクチャ番号３であればインター符号化であると特定する（図４を参照）。
復号部５３は、符号化部４が符号化処理に用いている符号化を特定すると、その符号化に対応する復号処理を実施することでで、その縮小画像符号化ストリームＣに含まれている縮小画像の符号化データを復号し、その復号結果である縮小復号画像ＤＣを復元処理部５５に出力する（ステップＳＴ１９）。縮小復号画像ＤＣは、図２の縮小画像ＰＣに相当する画像である。
【００３４】
復号部５４は、図１の動画像符号化装置の符号化部５から出力された縮小画像符号化ストリームＤを入力すると（ステップＳＴ２０）、その縮小画像符号化ストリームＤに含まれている符号化情報を参照して、符号化部５が符号化処理に用いている符号化を特定する（ステップＳＴ２１）。
例えば、ピクチャ番号１であればイントラ符号化、ピクチャ番号２であればインター符号化、ピクチャ番号３であればインター符号化であると特定する（図４を参照）。
復号部５４は、符号化部５が符号化処理に用いている符号化を特定すると、その符号化に対応する復号処理を実施することで、その縮小画像符号化ストリームＤに含まれている縮小画像の符号化データを復号し、その復号結果である縮小復号画像ＤＤを復元処理部５５に出力する（ステップＳＴ２２）。縮小復号画像ＤＤは、図２の縮小画像ＰＤに相当する画像である。
【００３５】
復元処理部５５は、図１の動画像符号化装置の画像縮小部１から出力された縮小情報ｒＡ〜ｒＤを入力し、復号部５１〜５４から出力された縮小復号画像ＤＡ〜ＤＤを入力すると、その縮小情報ｒＡ〜ｒＤが示す抽出対象の画素の位置を参照することで、縮小復号画像ＤＡ〜ＤＤの配置位置を特定する（ステップＳＴ２３）。
即ち、縮小情報ｒＡは、抽出対象の画素Ａの位置がベースバンド画像における各ブロックの左上である旨を示しているので、縮小復号画像ＤＡを構成している画素については、そのベースバンド画像に相当する復号画像における各ブロックの左上に配置すればよいことを認識する。
また、縮小情報ｒＢは、抽出対象の画素Ｂの位置がベースバンド画像における各ブロックの右上である旨を示しているので、縮小復号画像ＤＢを構成している画素については、そのベースバンド画像に相当する復号画像における各ブロックの右上に配置すればよいことを認識する。
【００３６】
縮小情報ｒＣは、抽出対象の画素Ｃの位置がベースバンド画像における各ブロックの左下である旨を示しているので、縮小復号画像ＤＣを構成している画素については、そのベースバンド画像に相当する復号画像における各ブロックの左下に配置すればよいことを認識する。
また、縮小情報ｒＤは、抽出対象の画素Ｄの位置がベースバンド画像における各ブロックの右下である旨を示しているので、縮小復号画像ＤＤを構成している画素については、そのベースバンド画像に相当する復号画像における各ブロックの右下に配置すればよいことを認識する。
【００３７】
復元処理部５５は、縮小復号画像ＤＡ〜ＤＤの配置位置を特定すると、その配置位置通りに、その縮小復号画像ＤＡ〜ＤＤを組み合わせることで、ベースバンド画像に相当する復号画像を復元する（ステップＳＴ２４）。
符号化ストリームの先頭から順番に再生する通常の再生処理では、ピクチャ番号順に復号画像が出力される。
【００３８】
次に、ランダム再生時の動作を説明する。
ここでは、一例として、ピクチャ番号６のピクチャから再生を開始する手順について述べる。
ピクチャ番号６のピクチャから再生を開始する場合、ピクチャ番号６において、イントラ符号化で符号化処理が行われた縮小画像はＰＡだけである。
このため、復号部５１からは縮小画像ＰＡに相当する縮小復号画像ＤＡが出力されるが、他の復号部５２〜５４からは縮小復号画像ＤＢ〜ＤＤが出力されない。
そこで、復元処理部５５は、復号部５１から出力された縮小復号画像ＤＡを拡大処理することで（拡大範囲は、縮小情報ｒＡ〜ｒＤを参照して特定する）、残りの縮小復号画像ＤＢ，ＤＣ，ＤＤに相当する画素を算出して復号画像を得るようにする。
なお、拡大処理の方法としては、例えば、バイリニアフィルタ、バイキュービックフィルタ、超解像処理を行う方法などが挙げられるが、拡大処理の方法は問わない。
【００３９】
次に、ピクチャ番号７のピクチャを再生するが、ピクチャ番号７において、縮小画像ＰＢはイントラ符号化で符号化処理が行われているため、復号部５２が縮小画像ＰＢから縮小復号画像ＤＢを復号することができる。
また、縮小画像ＰＡについては、インター符号化で符号化処理が行われているが、既に復号されているピクチャ番号６の縮小復号画像ＤＡを参照することで、復号部５１が縮小画像ＰＡから縮小復号画像ＤＡを復号することができる。
そこで、復元処理部５５は、復号部５１，５２から出力された縮小復号画像ＤＡ，ＤＢを拡大処理することで（拡大範囲は、縮小情報ｒＡ〜ｒＤを参照して特定する）、残りの縮小復号画像ＤＣ，ＤＤに相当する画素を算出して復号画像を得るようにする。
【００４０】
次に、ピクチャ番号８のピクチャを再生するが、ピクチャ番号８において、縮小画像ＰＣはイントラ符号化で符号化処理が行われているため、復号部５３が縮小画像ＰＣから縮小復号画像ＤＣを復号することができる。
また、縮小画像ＰＡ，ＰＢについては、インター符号化で符号化処理が行われているが、既に復号されているピクチャ番号７の縮小復号画像ＤＡ，ＤＢを参照することで、復号部５１，５２が縮小画像ＰＡ，ＰＢから縮小復号画像ＤＡ，ＤＢを復号することができる。
そこで、復元処理部５５は、復号部５１，５２，５３から出力された縮小復号画像ＤＡ，ＤＢ，ＤＣを拡大処理することで（拡大範囲は、縮小情報ｒＡ〜ｒＤを参照して特定する）、残りの縮小復号画像ＤＤに相当する画素を算出して復号画像を得るようにする。
【００４１】
次に、ピクチャ番号９のピクチャを再生するが、ピクチャ番号９において、縮小画像ＰＤはイントラ符号化で符号化処理が行われているため、復号部５４が縮小画像ＰＤから縮小復号画像ＤＤを復号することができる。
また、縮小画像ＰＡ，ＰＢ，ＰＣについては、インター符号化で符号化処理が行われているが、既に復号されているピクチャ番号８の縮小復号画像ＤＡ，ＤＢ，ＤＣを参照することで、復号部５１，５２，５３が縮小画像ＰＡ，ＰＢ，ＰＣから縮小復号画像ＤＡ，ＤＢ，ＤＣを復号することができる。
この場合、復元処理部５５は、復号部５１，５２，５３から縮小復号画像ＤＡ，ＤＢ，ＤＣ，ＤＣの全てが得られるので、通常の再生処理と同様に、縮小復号画像ＤＡ〜ＤＤを組み合わせることで、ベースバンド画像に相当する復号画像を復元する。
ピクチャ番号１０以降のピクチャを再生についても同様である。
【００４２】
以上で明らかなように、この実施の形態１によれば、ベースバンド画像を構成している画素の一部を抽出する縮小処理を実施して、抽出対象の画素の位置が異なる複数枚の縮小画像ＰＡ〜ＰＤを生成し、その縮小画像ＰＡ〜ＰＤ及びベースバンド画像における抽出対象の画素の位置を示す縮小情報ｒＡ〜ｒＤを出力する画像縮小部１と、画像縮小部１から出力された縮小画像ＰＡ〜ＰＤに対する符号化処理をインター符号化又はイントラ符号化で実施し、その縮小画像ＰＡ〜ＰＤの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む縮小画像符号化ストリームＡ〜Ｄを出力する符号化部２〜５とを備え、符号化部２〜５の間でイントラ符号化が用いられる符号化処理のタイミングが異なり、いずれの時間に生成された縮小画像ＰＡ〜ＰＤでも、いずれか１枚の縮小画像についてはイントラ符号化で符号化処理が実施されるように構成したので、画像の高い圧縮率を保持しながら、図５の動画像復号装置におけるランダム再生性能を高めることができる動画像符号化装置が得られる効果がある。
【００４３】
また、この実施の形態１によれば、図１の動画像符号化装置から出力された縮小画像符号化ストリームＡ〜Ｄを入力し、その縮小画像符号化ストリームＡ〜Ｄに含まれている符号化情報を参照して、その縮小画像符号化ストリームＡ〜Ｄに含まれている縮小画像ＰＡ〜ＰＤの符号化データを復号して、その復号結果である縮小復号画像ＤＡ〜ＤＤを出力する復号部５１〜５４を設け、復元処理部５５が、図１の動画像符号化装置から出力された縮小情報ｒＡ〜ｒＤが示す抽出対象の画素の位置を参照して、復号部５１〜５４から出力された縮小復号画像ＤＡ〜ＤＤを組み合わせることで、ベースバンド画像に相当する復号画像を復元するように構成したので、高い圧縮率で符号化されている画像のランダム再生性能を高めることができる動画像復号装置が得られる効果がある。
【００４４】
ここでは、ピクチャ番号６のピクチャからランダムアクセスにより復号する例を示したが、各ピクチャ内のイントラ符号化ピクチャを用いることで、どのピクチャ番号のピクチャからでも、ランダム再生が可能である。
また、ストリーム伝送時にエラーが発生し、例えば、縮小画像符号化ストリームのうちのＰピクチャが復号不能であったとしても、Ｉピクチャ部分が復号可能であれば再生可能であり、伝送エラーに対する耐性も向上している。
【００４５】
実施の形態２．
上記実施の形態１では、動画像符号化装置から４本の縮小画像符号化ストリームＡ〜Ｄが出力されるものを示したが、４本の縮小画像符号化ストリームＡ〜Ｄを統合して、１本の統合符号化ストリームを復号装置側に出力するようにしてもよい。
【００４６】
図７はこの発明の実施の形態２による動画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ストリーム統合部６は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、符号化部２〜５から出力された縮小画像符号化ストリームＡ〜Ｄ及び画像縮小部１から出力された縮小情報ｒＡ〜ｒＤを統合して統合符号化ストリームを生成し、その統合符号化ストリームを復号装置側に出力する処理を実施する。
この実施の形態４では、ストリーム統合部６は、ＭＰＥＧ−４形式のメディアファイルフォーマット（ＩＳＯ（国際標準化機構）で規格化されているメディアファイルフォーマット）で、縮小画像符号化ストリームＡ〜Ｄ及び縮小情報ｒＡ〜ｒＤを統合することで、統合符号化ストリームを生成する。
なお、ストリーム統合部６はストリーム統合手段を構成している。
【００４７】
図１２はこの発明の実施の形態２による動画像復号装置を示す構成図であり、図において、図５と同一符号は同一または相当部分を示すので説明を省略する。
ストリーム分解部５６は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、図７の動画像符号化装置から出力された統合符号化ストリームを分解して、その統合符号化ストリームに統合されている複数の縮小画像符号化ストリームＡ〜Ｄを復号部５１〜５４に出力し、その統合符号化ストリームに統合されている縮小情報ｒＡ〜ｒＤを復元処理部５５に出力する処理を実施する。なお、ストリーム分解部５６はストリーム分解手段を構成している。
【００４８】
次に動作について説明する。
ストリーム統合部６は、上記実施の形態１と同様にして、画像縮小部１が縮小情報ｒＡ〜ｒＤを生成し、符号化部２〜５が縮小画像符号化ストリームＡ〜Ｄを生成すると、その縮小画像符号化ストリームＡ〜Ｄ及び縮小情報ｒＡ〜ｒＤを統合して、ＭＰＥＧ−４形式のメディアファイルフォーマットに適用する統合符号化ストリームを生成する。
ＭＰＥＧ−４形式のメディアファイルフォーマットは、ＩＳＯ（国際標準化機構）で規格化されており、ボックスと呼ばれるデータ構造を有している。
【００４９】
図８はＭＰ４ファイルのボックス構造を示す説明図である。
ボックスの構造は、図８に示すように、ボックス長（４バイト）、ボックス名称（４バイト）、データ（ボックス長で指定された長さ−８バイト）からなり、各ボックスは、そのボックス名称によって、データ部分のフォーマット及び内容が決められる。また、ボックスは入れ子になる場合もある。
【００５０】
図９はＭＰＥＧ−４形式のメディアファイルのデータ構造の一例を示す説明図である。
図９では、ＭＰＥＧ−４形式の最も単純なファイル構成の例を示しており、ＦＴＹＰ（ファイルタイプ）ボックス、ＭＯＯＶ（ムービー）ボックス、ＭＤＡＴ（メディアデータ）ボックスからなる。
ただし、ＭＯＯＶボックスは、内部に複数のボックスが入れ子になって形成されたツリー構造を有する。また、実際の動画像の符号化ストリームはＭＤＡＴボックスに格納される。
ＭＯＯＶボックス内には、メディアを実際に視聴するための基本的な情報が記録される。特に、ＭＯＯＶボックス内にはＴＲＡＫボックスが存在している。
このＴＲＡＫボックスには、映像・音声などの各種メディアの情報が格納される。
映像メディアの場合、この情報内には、各ピクチャの時刻情報、イントラ符号化ピクチャであるのか、インター符号化ピクチャであるのかを示す情報、各ピクチャがＭＤＡＴボックス中に記録されている位置の情報などが記録されている。
【００５１】
この実施の形態２では、図１０に示すように、ＭＰＥＧ−４形式のメディアファイルにＦＲＥＥボックスを加えた構造にすると共に、図１１に示すように、ＭＰＥＧ−４形式のメディアファイル中にＴＲＡＫボックスＡ、ＴＲＡＫボックスＢ、ＴＲＡＫボックスＣ、ＴＲＡＫボックスＤの複数のＴＲＡＫボックスを記録する。
図１０におけるＦＲＥＥボックスには、縮小画像符号化ストリームＡ、縮小画像符号化ストリームＢ、縮小画像符号化ストリームＣ、縮小画像符号化ストリームＤの画像における画素の位置情報である縮小情報を格納する。
図１１におけるＴＲＡＫボックスＡ、ＴＲＡＫボックスＢ、ＴＲＡＫボックスＣ、ＴＲＡＫボックスＤは、それぞれ縮小画像符号化ストリームＡ、縮小画像符号化ストリームＢ、縮小画像符号化ストリームＣ、縮小画像符号化ストリームＤにおける各種メディアの情報を記録する。
ここで、各種メディアの情報は、前述の各ピクチャの時刻情報、イントラ符号化ピクチャであるのか、インター符号化ピクチャであるのかを示す情報、各ピクチャがＭＰＥＧ−４形式のメディアファイル中で記録されている位置の情報などである。
【００５２】
また、実際の縮小画像符号化ストリームＡ、縮小画像符号化ストリームＢ、縮小画像符号化ストリームＣ、縮小画像符号化ストリームＤはＭＤＡＴボックスに格納される。ＭＤＡＴボックスに格納される位置については問わないが、各縮小画像符号化ストリーム内の各ピクチャの位置は各ＴＲＡＫボックスに記録されるものとする。
これにより、４本の縮小画像符号化ストリームＡ〜Ｄから１本の統合符号化ストリームが得られ、その統合符号化ストリームが図１２の動画像復号装置に伝送される。
【００５３】
動画像復号装置のストリーム分解部５６は、図７の動画像符号化装置から出力された統合符号化ストリームを入力すると、その統合符号化ストリームを分解して、その統合符号化ストリームに統合されている複数の縮小画像符号化ストリームＡ〜Ｄを復号部５１〜５４に出力し、その統合符号化ストリームに統合されている縮小情報ｒＡ〜ｒＤを復元処理部５５に出力する。
前述の通り、ＭＯＯＶボックス内のＴＲＡＫボックスＡ、ＴＲＡＫボックスＢ、ＴＲＡＫボックスＣ、ＴＲＡＫボックスＤには、ＭＤＡＴボックスに記録されている縮小画像符号化ストリームＡ〜Ｄの各ピクチャの位置が記録されている。これに基づき縮小画像符号化ストリームＡ、縮小画像符号化ストリームＢ、縮小画像符号化ストリームＣ、縮小画像符号化ストリームＤを得ることが可能である。
また、ＦＲＥＥボックスから縮小情報を得ることが可能である。
【００５４】
以上で明らかなように、この実施の形態２によれば、ストリーム統合部６が、符号化部２〜５から出力された縮小画像符号化ストリームＡ〜Ｄ及び画像縮小部１から出力された縮小情報ｒＡ〜ｒＤをＭＰＥＧ−４形式のメディアファイルフォーマットで統合することで、統合符号化ストリームを生成するように構成したので、上記実施の形態１と同様の効果が得られる他に、ＭＰＥＧ−４形式に準拠している動画像符号化装置が得られる効果を奏する。
【００５５】
実施の形態３．
図１３の発明の実施の形態３よる動画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
符号化部１１は図１の符号化部２と同様に、画像縮小部１から出力された縮小画像ＰＡに対する符号化処理をインター符号化又はイントラ符号化で実施し、その縮小画像ＰＡの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む縮小画像符号化ストリームＡを出力するエンコーダなどの装置である。
ただし、符号化部１１は画像縮小部１から出力された縮小画像ＰＡを符号化する際、符号化情報データベース１５により格納されている他の符号化部１２（または、１３，１４）が縮小画像の符号化処理に用いている符号化情報を収集し、その符号化情報を利用して、縮小画像ＰＡの符号化処理を実施する点で、図１の符号化部２と異なっている。
【００５６】
符号化部１２は図１の符号化部３と同様に、画像縮小部１から出力された縮小画像ＰＢに対する符号化処理をインター符号化又はイントラ符号化で実施し、その縮小画像ＰＢの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む縮小画像符号化ストリームＢを出力するエンコーダなどの装置である。
ただし、符号化部１２は画像縮小部１から出力された縮小画像ＰＢを符号化する際、符号化情報データベース１５により格納されている他の符号化部１１（または、１３，１４）が縮小画像の符号化処理に用いている符号化情報を収集し、その符号化情報を利用して、縮小画像ＰＢの符号化処理を実施する点で、図１の符号化部３と異なっている。
【００５７】
符号化部１３は図１の符号化部４と同様に、画像縮小部１から出力された縮小画像ＰＣに対する符号化処理をインター符号化又はイントラ符号化で実施し、その縮小画像ＰＣの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む縮小画像符号化ストリームＣを出力するエンコーダなどの装置である。
ただし、符号化部１３は画像縮小部１から出力された縮小画像ＰＣを符号化する際、符号化情報データベース１５により格納されている他の符号化部１１（または、１２，１４）が縮小画像の符号化処理に用いている符号化情報を収集し、その符号化情報を利用して、縮小画像ＰＣの符号化処理を実施する点で、図１の符号化部４と異なっている。
【００５８】
符号化部１４は図１の符号化部５と同様に、画像縮小部１から出力された縮小画像ＰＤに対する符号化処理をインター符号化又はイントラ符号化で実施し、その縮小画像ＰＤの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む縮小画像符号化ストリームＤを出力するエンコーダなどの装置である。
ただし、符号化部１４は画像縮小部１から出力された縮小画像ＰＤを符号化する際、符号化情報データベース１５により格納されている他の符号化部１１（または、１２，１３）が縮小画像の符号化処理に用いている符号化情報を収集し、その符号化情報を利用して、縮小画像ＰＤの符号化処理を実施する点で、図１の符号化部５と異なっている。
なお、符号化部１１〜１４は符号化手段を構成している。
符号化情報データベース１５は符号化部１１〜１４が縮小画像ＰＡ〜ＰＤの符号化処理に用いている符号化情報を記録するＲＡＭやハードディスクなどの記録媒体である。
【００５９】
次に動作について説明する。
符号化部１１〜１４は、画像縮小部１から出力された縮小画像ＰＡ〜ＰＤを符号化する際、符号化情報データベース１５に記録されている符号化情報を利用することで、符号化処理の軽減を図るようにしている。
例えば、Ｈ．２６４では、イントラ符号化で符号化処理が行われる際、イントラ予測処理が行われる。
このイントラ予測処理は、イントラ予測モードの決定処理に多くの時間を要することが知られている。
ただし、予め、候補となるイントラ予測モードが分かれば、その予測モードを使用する場合の符号量を予測し、その符号量が所定の閾値を下回る場合に、そのイントラ予測モードを使用するようにすれば、イントラ予測処理を軽減することができる。
【００６０】
一方、インター符号化で符号化処理が行われる際、マクロブロックモードの決定処理や、動きベクトルの探索処理が行われる。
このとき、全てのマクロブロックモードの符号量を予測したり、全ての動きベクトルを探索したりする必要があるため、多くの処理時間を要する。
ただし、予め、候補となるマクロブックタイプが分かれば、そのマクロブロックタイプの符号量を予測し、その符号量が所定の閾値よりも低い場合に、そのマクロブロックタイプを使用するようにすれば、処理量を軽減することができる。また、候補となる動きベクトルが予め分かれば、その周辺のみを探索すれば足りるため、探索に要する処理を軽減することができる。
【００６１】
画像縮小部１により生成される縮小画像ＰＡ，ＰＢ，ＰＣ，ＰＤは、同じベースバンド画像を縮小した画像であるため、それぞれ相関が高く、相互にイントラ予測モードや、マクロブロックタイプ、動きベクトルなどの符号化情報を参照することで、符号化処理の軽減が可能である。
図１４は符号化部１１〜１４が相互の符号化情報を利用して符号化している例を示す説明図である。
【００６２】
図１４では、例えば、ピクチャ番号１の縮小画像ＰＡをイントラ符号化した場合のイントラ予測モードの情報を、ピクチャ番号１の縮小画像ＰＢ，ＰＣ，ＰＤのイントラ符号化におけるイントラ予測モードの決定処理で利用している。
これにより、縮小画像ＰＢ，ＰＣ，ＰＤのイントラ符号化を行う際に、イントラ予測モードの決定処理を軽減することができる。
以下同様に、ピクチャ番号１の縮小画像ＰＡをイントラ符号化した場合のイントラ予測モードの情報をピクチャ番号２の縮小画像ＰＡのイントラ符号化におけるイントラ予測モードの決定処理で利用し、ピクチャ番号２の縮小画像ＰＡをイントラ符号化した場合のイントラ予測モードの情報をピクチャ番号３の縮小画像ＰＢのイントラ符号化におけるイントラ予測モードの決定処理で利用している。
また、ピクチャ番号３の縮小画像ＰＢをイントラ符号化した場合のイントラ予測モードの情報をピクチャ番号４の縮小画像ＰＣのイントラ符号化におけるイントラ予測モードの決定処理で利用し、ピクチャ番号４の縮小画像ＰＣをイントラ符号化した場合のイントラ予測モードの情報をピクチャ番号５の縮小画像ＰＤのイントラ符号化におけるイントラ予測モードの決定処理で利用している。
【００６３】
インター符号化においても同様に、ピクチャ番号２の縮小画像ＰＢの符号化時におけるマクロブロックタイプと動きベクトルの情報を、ピクチャ番号２の縮小画像ＰＣ，ＰＤのインター符号化におけるマクロブロックタイプの決定処理と動きベクトルの探索処理で利用し、ピクチャ番号３の縮小画像ＰＣの符号化時におけるマクロブロックタイプと動きベクトルの情報を、ピクチャ番号３の縮小画像ＰＤ，ＰＡのインター符号化におけるマクロブロックタイプの決定処理と動きベクトルの探索処理で利用している。
また、ピクチャ番号４の縮小画像ＰＤの符号化時におけるマクロブロックタイプと動きベクトルの情報を、ピクチャ番号４の縮小画像ＰＡ，ＰＢのインター符号化におけるマクロブロックタイプの決定処理と動きベクトルの探索処理で利用し、ピクチャ番号５の縮小画像ＰＡの符号化時におけるマクロブロックタイプと動きベクトルの情報を、ピクチャ番号５の縮小画像ＰＢ，ＰＣのインター符号化におけるマクロブロックタイプの決定処理と動きベクトルの探索処理で利用している。
【００６４】
図１２はあくまでも一例であり、他の利用の仕方を用いてもよい。
これら符号化情報の利用は、符号化部１１〜１４が符号化情報データベース１５を参照することで行われる。
符号化情報データベース１５には、符号化部１１〜１４の縮小画像符号化ストリームＡ〜Ｄが入力され、その縮小画像符号化ストリームＡ〜Ｄからイントラ予測モード、マクロブロックタイプや動きベクトルなどの符号化情報が抽出されて記録される。
【００６５】
以上で明らかなように、この実施の形態３によれば、符号化部１１〜１４が、画像縮小部１から出力された縮小画像ＰＡ〜ＰＤを符号化する際、符号化情報データベース１５に記録されている符号化情報を利用するように構成したので、上記実施の形態１と同様の効果を奏する他に、符号化処理の軽減が図られて、処理の高速化を実現することができる効果を奏する。
特に、動画像符号化装置が、単一のＣＰＵを用いて、ソフトウェアで４つのストリームを符号化する場合、実質的には４本のストリームを交互に順番に符号化を行うことになり、処理量の軽減処理が有効となる。
なお、図１３の動画像符号化装置から出力された符号化ストリームは、上記実施の形態１における図５の動画像復号装置が入力して復号を行う。
【００６６】
実施の形態４．
上記実施の形態３では、上記実施の形態１における図１の動画像符号化装置の符号化部２〜５の代わりに、符号化部１１〜１４を設けている例を示したが、図１５に示すように、上記実施の形態２における図７の動画像符号化装置の符号化部２〜５の代わりに、符号化部１１〜１４を設けるようにしてもよく、上記実施の形態３と同様の効果を奏する。
なお、図１５の動画像符号化装置から出力された符号化ストリームは、上記実施の形態２における図１２の動画像復号装置が入力して復号を行う。
【００６７】
実施の形態５．
図１６の発明の実施の形態５よる動画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
画像再構成部２１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、画像縮小部１から出力された縮小画像ＰＡ〜ＰＤを所定の位置に配置することで１枚の画像に再構成して、再構成後の画像Ｅ（以下、「再構成画像」と称する）を符号化部２２に出力するとともに、再構成画像Ｅに含まれている縮小画像ＰＡ〜ＰＤの位置を示す位置情報及び画像縮小部１から出力された縮小情報ｒＡ〜ｒＤを含む再構成画像情報を復号装置側に出力する処理を実施する。なお、画像再構成部２１は画像再構成手段を構成している。
【００６８】
符号化部２２は画像再構成部２１から出力された再構成画像Ｅを縮小画像ＰＡ〜ＰＤが含まれている位置に合わせてスライスを区切り、スライス内の各ブロックに対する符号化処理をインター符号化又はイントラ符号化で実施し、スライス内の各ブロックの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む符号化ストリームを復号装置側に出力するエンコーダなどの装置である。
ただし、符号化部２２により区切られるスライス毎に、イントラ符号化で符号化処理が実施されるブロックの位置が異なり、いずれのスライスでも、スライス内の１つのブロックについてはイントラ符号化で符号化処理が実施される。
なお、符号化部２２は符号化手段を構成している。
【００６９】
図１６の例では、動画像符号化装置の構成要素である画像縮小部１、画像再構成部２１及び符号化部２２のそれぞれが専用のハードウェアで構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、画像縮小部１、画像再構成部２１及び符号化部２２の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００７０】
図１９はこの発明の実施の形態５による動画像復号装置を示す構成図であり、図において、図５と同一符号は同一または相当部分を示すので説明を省略する。
復号部６１は図１６の動画像符号化装置から出力された符号化ストリームを入力し、その符号化ストリームに含まれている符号化情報を参照して、その符号化ストリームに含まれているスライス内の各ブロックの符号化データを復号して、その復号結果である再構成復号画像（再構成後の画像）Ｅを画像分解部６２に出力するデコーダなどの装置である。なお、復号部６１は復号手段を構成している。
【００７１】
画像分解部６２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、図１６の動画像符号化装置から出力された再構成画像情報を入力し、その再構成画像情報に含まれている位置情報が示す縮小画像の位置を参照して、復号部６１から出力された再構成復号画像Ｅを分解し、その再構成復号画像Ｅに含まれている複数枚の縮小復号画像ＰＡ〜ＰＤを復元処理部５５に出力する処理を実施する。なお、画像分解部６２は画像分解手段を構成している。
【００７２】
図１９の例では、動画像復号装置の構成要素である復号部６１、画像分解部６２及び復元処理部５５のそれぞれが専用のハードウェアで構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、復号部６１、画像分解部６２及び復元処理部５５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００７３】
次に動作について説明する。
画像再構成部２１は、上記実施の形態１と同様にして、画像縮小部１が縮小画像ＰＡ〜ＰＤを出力すると、その縮小画像ＰＡ〜ＰＤを所定の位置に配置することで１枚の画像に再構成して、再構成画像Ｅを生成する。
即ち、画像再構成部２１は、図３の縮小画像ＰＡ〜ＰＤを図１７に示されるような１枚の画像に再構成する。
ただし、図１７に示す再構成画像Ｅは一例に過ぎず、縮小画像ＰＡ〜ＰＤの位置が入れ替わっていてもよい。
画像再構成部２１は、再構成画像Ｅを符号化部２２に出力し、再構成画像Ｅに含まれている縮小画像ＰＡ〜ＰＤの位置を示す位置情報と、画像縮小部１から出力された縮小情報ｒＡ〜ｒＤを含む再構成画像情報を復号装置側に出力する。
【００７４】
符号化部２２は、画像再構成部２１から再構成画像Ｅを受けると、図１８に示すように、その再構成画像Ｅを縮小画像ＰＡ〜ＰＤが含まれている位置に合わせてスライスを区切り、スライス内の各ブロックに対する符号化処理をインター符号化又はイントラ符号化で実施する。
ただし、図１８に示すように、スライス毎に、イントラ符号化で符号化処理が実施されるブロックの位置が異なり、いずれのスライスでも、スライス内の１つのブロックについてはイントラ符号化で符号化処理が実施される。
図１８では、例えば、フレーム番号２では、右上のブロックがイントラ符号化で符号化処理が実施され、フレーム番号３では、左下のブロックがイントラ符号化で符号化処理が実施され、フレーム番号４では、右下のブロックがイントラ符号化で符号化処理が実施され、フレーム番号５では、左上のブロックがイントラ符号化で符号化処理が実施される例を示している。
符号化部２２は、スライス内の各ブロックの符号化データ及び符号化処理に用いている符号化を示す符号化情報を含む符号化ストリームを復号装置側に出力する。
【００７５】
復号部６１は、図１６の動画像符号化装置から出力された符号化ストリームを入力すると、その符号化ストリームに含まれている符号化情報が示す符号化に対応する復号処理を実施することで、その符号化ストリームに含まれているスライス内の各ブロックの符号化データを復号して、その復号結果である再構成復号画像Ｅを画像分解部６２に出力する。
図１８の場合、フレーム番号１のスライスでは、全てのブロックがイントラ符号化で符号化処理が行われているので、全てのブロックの符号化データをイントラ符号化に対応する復号処理で復号する。
フレーム番号２のスライスでは、右上のブロックがイントラ符号化で符号化処理が行われているので、右上のブロックの符号化データをイントラ符号化に対応する復号処理で復号する。
右上以外のブロックはインター符号化で符号化処理が行われているので、右上以外のブロックの符号化データをインター符号化に対応する復号処理で復号する。
以下、同様にして、フレーム番号３以降のスライス内の符号化データを復号する。
なお、復号部６１から出力される再構成復号画像Ｅは、図１７に示すように、４枚の縮小復号画像ＰＡ〜ＰＤが並んでいる画像である。
【００７６】
画像分解部６２は、図１６の動画像符号化装置から再構成画像情報を入力し、復号部６１から再構成復号画像Ｅを入力すると、その再構成画像情報に含まれている位置情報が示す縮小画像ＰＡ〜ＰＤの位置を参照して、その再構成復号画像Ｅを分解し、その再構成復号画像Ｅに含まれている縮小復号画像ＰＡ〜ＰＤを復元処理部５５に出力する。
また、画像分解部６２は、再構成画像情報に含まれている縮小情報ｒＡ〜ｒＤを復元処理部５５に出力する。
【００７７】
復元処理部５５は、画像分解部６２から縮小復号画像ＰＡ〜ＰＤと縮小情報ｒＡ〜ｒＤを受けると、上記実施の形態１と同様に、その縮小情報ｒＡ〜ｒＤが示す抽出対象の画素の位置を参照することで、縮小復号画像ＤＡ〜ＤＤの配置位置を特定して、その縮小復号画像ＤＡ〜ＤＤを組み合わせることで、ベースバンド画像に相当する復号画像を復元する。
符号化ストリームの先頭から順番に再生する通常の再生処理では、ピクチャ番号順に復号画像が出力される。
【００７８】
次に、ランダム再生時の動作を説明する。
ここでは、一例として、フレーム番号５のピクチャから再生を開始する手順について述べる。
フレーム番号５のピクチャから再生を開始する場合、フレーム番号５において、イントラ符号化で符号化処理が行われたブロックは左上のブロックだけである。
このため、復号部６１から左上のブロックの符号化データの復号結果である縮小復号画像ＤＡが出力されるが、左上以外のブロックの符号化データは正常に復号されず、縮小復号画像ＤＢ〜ＤＤが出力されない。
そこで、復元処理部５５は、復号部６１から出力された縮小復号画像ＤＡを拡大処理することで（拡大範囲は、縮小情報ｒＡ〜ｒＤを参照して特定する）、残りの縮小復号画像ＤＢ，ＤＣ，ＤＤに相当する画素を算出して復号画像を得るようにする。
【００７９】
次に、フレーム番号６のピクチャを再生するが、フレーム番号６において、右上のブロックはイントラ符号化で符号化処理が行われているため、復号部６１が右上のブロックの符号化データを復号することが可能であり、その復号結果である縮小復号画像ＤＢが出力される。
また、左上のブロックについては、インター符号化で符号化処理が行われているが、既に復号されているフレーム番号５の縮小復号画像ＤＡを参照することで、復号部６１が左上のブロックの符号化データを復号することが可能であり、その復号結果である縮小復号画像ＤＡが出力される。
そこで、復元処理部５５は、復号部６１から出力された縮小復号画像ＤＡ，ＤＢを拡大処理することで（拡大範囲は、縮小情報ｒＡ〜ｒＤを参照して特定する）、残りの縮小復号画像ＤＣ，ＤＤに相当する画素を算出して復号画像を得るようにする。
【００８０】
次に、フレーム番号７のピクチャを再生するが、フレーム番号７において、左下のブロックはイントラ符号化で符号化処理が行われているため、復号部６１が左下のブロックの符号化データを復号することが可能であり、その復号結果である縮小復号画像ＤＣが出力される。
また、左上のブロックと右上のブロックについては、インター符号化で符号化処理が行われているが、既に復号されているフレーム番号６の縮小復号画像ＤＡ，ＤＢを参照することで、復号部６１が左上のブロックと右上のブロックの符号化データを復号することが可能であり、その復号結果である縮小復号画像ＤＡ，ＤＢが出力される。
そこで、復元処理部５５は、復号部６１から出力された縮小復号画像ＤＡ，ＤＢ，ＤＣを拡大処理することで（拡大範囲は、縮小情報ｒＡ〜ｒＤを参照して特定する）、残りの縮小復号画像ＤＤに相当する画素を算出して復号画像を得るようにする。
【００８１】
次に、フレーム番号８のピクチャを再生するが、フレーム番号８において、右下のブロックはイントラ符号化で符号化処理が行われているため、復号部６１が右下のブロックの符号化データを復号することが可能であり、その復号結果である縮小復号画像ＤＤが出力される。
また、左上のブロックと右上のブロックと左下のブロックついては、既に復号されているフレーム番号７の縮小復号画像ＤＡ，ＤＢ，ＤＣを参照することで、復号部６１が左上のブロックと右上のブロックと左下のブロックの符号化データを復号することが可能であり、その復号結果である縮小復号画像ＤＡ，ＤＢ，ＤＣが出力される。
この場合、復元処理部５５は、復号部６１から縮小復号画像ＤＡ，ＤＢ，ＤＣ，ＤＣの全てが得られるので、通常の再生処理と同様に、縮小復号画像ＤＡ〜ＤＤを組み合わせることで、ベースバンド画像に相当する復号画像を復元する。
フレーム番号９以降のピクチャを再生についても同様である。
【００８２】
以上で明らかなように、この実施の形態５によれば、符号化部２２により区切られるスライス毎に、イントラ符号化で符号化処理が実施されるブロックの位置が異なり、いずれのスライスでも、スライス内の１つのブロックについてはイントラ符号化で符号化処理が実施されるように構成したので、上記実施の形態１と同様に、画像の高い圧縮率を保持しながら、図１９の動画像復号装置におけるランダム再生性能を高めることができる動画像符号化装置が得られる効果がある。
また、符号量を増やさずにランダム再生可能な１本の動画像符号化ストリームが得ることができる効果を奏する。
【００８３】
また、この実施の形態５によれば、図１６の動画像符号化装置から出力された符号化ストリームＡ〜Ｄを入力し、その符号化ストリームに含まれている符号化を参照して、その符号化ストリームに含まれているスライス内の各ブロックの符号化データを復号して、その復号結果である再構成復号画像Ｅを画像分解部６２に出力する復号部６１と、図１６の動画像符号化装置から出力された再構成画像情報に含まれている位置情報が示す縮小画像の位置を参照して、復号部６１から出力された再構成復号画像Ｅを分解し、その再構成復号画像Ｅに含まれている縮小復号画像ＰＡ〜ＰＤを復元処理部５５に出力する画像分解部６２とを設け、復元処理部５５が、その再構成画像情報に含まれている縮小情報ｒＡ〜ｒＤが示す抽出対象の画素の位置を参照して、画像分解部６２から出力された縮小復号画像ＤＡ〜ＤＤを組み合わせることで、ベースバンド画像に相当する復号画像を復元するように構成したので、上記実施の形態１と同様に、高い圧縮率で符号化されている画像のランダム再生性能を高めることができる動画像復号装置が得られる効果がある。
【００８４】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００８５】
１  画像縮小部（縮小画像生成手段）、２〜５，  １１〜１４符号化部（符号化手段）、６  ストリーム統合部（ストリーム統合手段）、１５  符号化情報データベース、２１  画像再構成部（画像再構成手段）、２２  符号化部（符号化手段）、５１〜５４  復号部（復号手段）、５５  復元処理部（画像復元手段）、５６  ストリーム分解部（ストリーム分解手段）、６１  復号部（復号手段）、６２  画像分解部（画像分解手段）。
【図１】
2012129608.tif 000003
【図２】
2012129608.tif 000004
【図３】
2012129608.tif 000005
【図４】
2012129608.tif 000006
【図５】
2012129608.tif 000007
【図６】
2012129608.tif 000008
【図７】
2012129608.tif 000009
【図８】
2012129608.tif 000010
【図９】
2012129608.tif 000011
【図１０】
2012129608.tif 000012
【図１１】
2012129608.tif 000013
【図１２】
2012129608.tif 000014
【図１３】
2012129608.tif 000015
【図１４】
2012129608.tif 000016
【図１５】
2012129608.tif 000017
【図１６】
2012129608.tif 000018
【図１７】
2012129608.tif 000019
【図１８】
2012129608.tif 000020
【図１９】
2012129608.tif 000021