(57)【要約】【課題】高速にサムネイル画像を作成可能とする画像復号装置を得る。【解決手段】逆変換部１０３は、予測画像の生成に必要となる箇所のみに予測差分画素信号の算出範囲を制限する。画面内予測変換部１０６は、予測画素信号に対して４×４直交変換処理を施し予測ＤＣ成分を取得する。ＤＣ成分計算部１０７は、予測差分周波数成分のうちのＤＣ成分と予測ＤＣ成分を加算してＤＣ成分を復号画像として出力する。【選択図】図１
2010252294.tif 000002
【特許請求の範囲】
【請求項１】
所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、
前記符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、
前記量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、
前記画面内予測単位に従って前記予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、
前記予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、
前記画面内予測方向に従って前記参照画素信号より前記予測画素信号を取得する画面内予測手段と、
前記予測画素信号より画面内予測周波数成分信号を取得する画面内予測画像変換手段と、
前記画面内予測周波数成分信号と前記予測差分周波数成分信号より復号画像信号を取得する画像信号取得手段とを備えた画像復号装置。
【請求項２】
画面内予測単位と画面内予測方向と復号画像信号より簡易予測周波数成分信号を取得する画面内簡易予測手段を備え、
画像信号取得手段は、予測周波数成分信号または前記簡易予測周波数成分信号と、予測差分周波数成分信号とにより復号画像信号を取得することを特徴とする請求項１記載の画像復号装置。
【請求項３】
所定の単位毎に画面内符号化方式または画面間符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、
復号された参照画像を記憶する記憶手段と、
前記符号化情報から画面内予測単位と画面内予測方向または画面間予測単位と画面間予測位置を取得する符号化情報取得手段と、
前記量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、
前記画面内予測単位に従って前記予測差分周波数成分信号より、画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、
前記予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、
前記画面内予測方向に従って前記参照画素信号より前記予測画素信号を取得する画面内予測手段と、
前記予測画素信号より画面内予測周波数成分信号を取得する画面内予測画像変換手段と、
前記画面間予測単位と前記画面間予測位置をもとに、前記記憶手段で記憶された参照画像より画面間予測周波数成分信号を取得する画面間予測手段と、
前記画面内予測周波数成分信号または前記画面間予測周波数成分信号と、前記予測差分周波数成分信号より復号画像信号を取得する画像信号取得手段とを備えた画像復号装置。
【請求項４】
画面内予測単位と画面内予測方向と復号画像信号より簡易予測周波数成分信号を取得する画面内簡易予測手段を備え、
画像信号取得手段は、画面内符号化方式で符号化されていた場合は、画面内予測周波数成分信号または前記簡易予測周波数成分信号と、予測差分周波数成分信号とにより復号画像信号を取得することを特徴とする請求項３記載の画像復号装置。
【請求項５】
予測差分画素が存在する単位のみに算出範囲を制限する逆変換範囲決定手段を備え、
逆変換手段は、前記逆変換範囲決定手段の算出範囲で予測差分画素信号を取得することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像復号装置。
【請求項６】
逆変換範囲決定手段は、予測差分画素が存在する単位内で、画面内予測単位と画面内予測方向とに基づいて求められる画面内予測に利用される箇所のみに算出範囲を制限することを特徴とする請求項５記載の画像復号装置。
【請求項７】
所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、
前記符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、
前記量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、
前記画面内予測単位に従って前記予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、
前記予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、
前記画面内予測方向に従って前記参照画素信号より前記予測画素信号を取得する画面内予測手段と、
前記参照画素信号と前記画面内予測単位より復号画素の一部を合成して復号画像信号を取得する画素合成手段とを備えた画像復号装置。
【請求項８】
所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、
前記符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、
前記量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、
前記画面内予測単位に従って前記予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、
前記予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、
前記画面内予測方向に従って前記参照画素信号より前記予測画素信号を取得する画面内予測手段と、
前記参照画素信号と前記画面内予測単位と前記画面内予測方向により復号画素の一部を合成して復号画像信号を取得する画素合成手段とを備えた画像復号装置。
【請求項９】
所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、
前記符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、
前記量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、
前記画面内予測単位に従って前記予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、
前記予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、
前記画面内予測方向に従って前記参照画素信号より前記予測画素信号を取得する画面内予測手段と、
前記予測画素信号より画面内予測周波数成分信号を取得する画面内予測画像変換手段と、
前記画面内予測周波数成分信号と前記予測差分周波数成分信号より、復号画像の所定の単位での平均値を出力する画像信号取得手段と、
前記参照画素信号と前記画面内予測単位と前記画面内予測方向と前記復号画像の所定の単位での平均値により復号画素の一部を合成して復号画像信号を取得する画素合成手段とを備えた画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、Ｈ．２６４映像データを復号する画像復号装置に関するものである。
【背景技術】
【０００２】
符号化された画像を再生するためには復号処理が必要とされる。しかし、完全な入力画像を再現するのではなく、画像の概要を知るなどのために、縮小した画像（以下、サムネイル）が取得できれば良い場合がある。
このため、例えばＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）符号化されたデータから、サムネイル画像を生成する技術がある（例えば、特許文献１参照）。この技術は、ＭＰＥＧ符号化におけるブロック毎のＤＣＴ（離散コサイン変換：Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）係数のＤＣ（直流：Ｄｉｒｅｃｔ  Ｃｕｒｒｅｎｔ）成分のみを用いてサムネイル画像を作成するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２１９４２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のＭＰＥＧ符号化データからサムネイルを作成する技術では、Ｉピクチャに対してはＤＣＴ係数のＤＣ成分のみを用いてサムネイル画像を作成している。しかしながら、Ｈ．２６４符号化データのＩピクチャでは、隣接画素と対象ブロックとの差分を計算し、この差分を直交変換しているため単純に直交変換係数のＤＣ成分からサムネイル画像が作成できず、完全に復号してからフィルタ処理等を施し、サムネイル画像を作成する必要があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、隣接画素と対象ブロックとの差分を計算し、この差分を直交変換しているような符号化データであっても、高速にサムネイル画像を作成可能とする画像復号装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る画像復号装置は、所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、画面内予測単位に従って予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、画面内予測方向に従って参照画素信号より予測画素信号を取得する画面内予測手段と、予測画素信号より画面内予測周波数成分信号を取得する画面内予測画像変換手段と、画面内予測周波数成分信号と予測差分周波数成分信号より復号画像信号を取得する画像信号取得手段とを備えたものである。
【発明の効果】
【０００７】
この発明の画像復号装置は、予測画像の生成に必要となる箇所のみに予測差分画素信号の算出範囲を制限する逆変換を行い、この予測差分画素信号に基づいて復号画像を出力するようにしたので、高速にサムネイル画像を作成することができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１による画像復号装置の構成図である。
【図２】１６×１６予測モードにおける４つの予測モードを示す説明図である。
【図３】４×４予測モードにおける９つの予測モードを示す説明図である。
【図４】この発明の実施の形態１による画像復号装置における画面内予測単位と予測差分画素信号を算出する範囲を示した説明図である。
【図５】この発明の実施の形態１による画像復号装置の逆変換部の処理内容を示すフローチャートである。
【図６】この発明の実施の形態２による画像復号装置の構成図である。
【図７】この発明の実施の形態２による画像復号装置における画面内予測単位と予測差分画素信号を算出する範囲を示した説明図である。
【図８】この発明の実施の形態２による画像復号装置の逆変換範囲決定部の処理内容を示すフローチャートである。
【図９】この発明の実施の形態３による画像復号装置の構成図である。
【図１０】１６×１６予測モードにおける４つの予測モードにおける４×４ブロックのＤＣ成分を用いた予測画素生成を示す説明図である。
【図１１】４×４予測モードにおける４つの予測モードにおける４×４ブロックのＤＣ成分を用いた予測画素生成を示す説明図である。
【図１２】４×４ブロックのＤＣ成分を用いた予測画素生成時における参照画素生成を示す説明図である。
【図１３】この発明の実施の形態４による画像復号装置の構成図である。
【図１４】この発明の実施の形態４による画像復号装置の画面間ＤＣ成分予測部において簡易予測ＤＣ成分の算出方法を示す説明図である。
【図１５】この発明の実施の形態５による画像復号装置の構成図である。
【図１６】この発明の実施の形態５による画像復号装置の４×４予測の場合の合成対象画素算出の説明図である。
【図１７】この発明の実施の形態５による画像復号装置の１６×１６予測の場合の合成対象画素算出の説明図である。
【図１８】この発明の実施の形態５による画像復号装置の１６×１６予測の場合における算出を行う４×４ブロックの順序を示す説明図である。
【図１９】図１８における（１）のブロックの合成対象画素算出の説明図である。
【図２０】図１８における（２）のブロックの合成対象画素算出の説明図である。
【図２１】図１８における（６）のブロックの合成対象画素算出の説明図である。
【図２２】この発明の実施の形態６による画像復号装置の１６×１６予測の場合におけるモード０の合成対象画素算出の説明図である。
【図２３】図２２における列毎の合成対象画素算出の説明図である。
【図２４】この発明の実施の形態６による画像復号装置の１６×１６予測の場合におけるモード１の合成対象画素算出の説明図である。
【図２５】図２４における行毎の合成対象画素算出の説明図である。
【図２６】この発明の実施の形態６による画像復号装置の１６×１６予測の場合におけるモード３の合成対象画素算出の説明図である。
【図２７】図２６におけるグループ毎の合成対象画素算出の説明図である。
【図２８】この発明の実施の形態７による画像復号装置の構成図である。
【図２９】この発明の実施の形態７による画像復号装置の１６×１６予測の場合の合成対象画素算出の説明図である。
【図３０】この発明の実施の形態７による画像復号装置の１６×１６予測の場合の他の例の合成対象画素算出における予測モード０の場合の説明図である。
【図３１】この発明の実施の形態７による画像復号装置の１６×１６予測の場合の他の例の合成対象画素算出における予測モード１の場合の説明図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は本発明に係る画像復号装置の実施の形態１の構成を示すブロック図である。
図示の画像復号装置は、可変長復号／逆量子化部１０１、符号化モード取得部１０２、逆変換部１０３、加算器１０４、画面内予測部１０５、画面内予測変換部１０６、ＤＣ成分計算部１０７を備えている。ここで、可変長復号／逆量子化部１０１は可変長復号手段と逆量子化手段を構成し、符号化モード取得部１０２は画面内符号化情報取得手段を、逆変換部１０３は逆変換手段を、加算器１０４は加算手段を、画面内予測部１０５は画面内予測手段を、画面内予測変換部１０６は画面内予測画像変換手段を、ＤＣ成分計算部１０７は画像信号取得手段をそれぞれ構成している。
【００１０】
可変長復号／逆量子化部１０１は、画面内符号化方式で符号化されているＨ．２６４方式の符号化ストリームである符号化データを入力すると、その符号化データを可変長復号及び逆量子化して、符号化の所定の単位である１６×１６マクロブロック（以下、マクロブロックと呼ぶ）毎の符号化情報と画像の周波数成分を取得する。
符号化モード取得部１０２は、可変長復号／逆量子化部１０１により取得されたマクロブロック毎の符号化情報より画面内予測の単位が１６×１６ブロック単位（１６×１６予測）であるか４×４ブロック単位（４×４予測）であるかを取得し、また、画面内予測の方向（モード）情報を取得する。
１６×１６予測には４つの予測モード（図２を参照、斜線部が予測画素生成に使用される隣接画素）が、また、４×４予測には９つの予測モード（図３を参照、斜線部が予測画素生成に使用される隣接画素）があり、隣接するどの画素から予測画像を生成するかを決定している。
逆変換部１０３は、可変長復号／逆量子化部１０１により取得された画像の周波数成分に逆変換処理を施し、予測差分画素信号を取得する。ただし、逆変換部１０３は、符号化モード取得部１０２により取得された画面内予測の単位を元に画面内予測に利用されうる箇所のみに予測差分画素信号を算出する範囲を制限する。
【００１１】
図４は、予測差分画素信号を算出する範囲を示した説明図、図５は、本発明の実施の形態１による画像復号装置の逆変換部１０３の処理内容を示すフローチャートである。
図４において、斜線部で示された領域のみの予測差分画素信号を算出するように逆変換処理が行われる。画面内予測の単位が４×４予測であった場合は、４×４ブロックの右端の１画素×４ライン及び下端の４画素×１ラインの範囲のみ予測差分画素信号を算出する（図５のステップＳＴ１０１→ステップＳＴ１０２）。画面内予測の単位が１６×１６予測であった場合は、マクロブロックの１６個の４×４ブロックの内、どのブロックなのかを判定する（ステップＳＴ１０１→ステップＳＴ１０３）。下端のブロックであった場合は、下端の４画素×１ラインの範囲の予測差分画素信号を算出する（ステップＳＴ１０４）。右端のブロックであった場合は、右端の１画素×４ラインの範囲の予測差分画素信号を算出する（ステップＳＴ１０５）。右下隅のブロックであった場合は、右端の１画素×４ライン及び下端の４画素×１ラインの範囲の予測差分画素信号を算出する（ステップＳＴ１０６）。結果として、１６×１６ブロックの右端の１画素×１６ライン及び下端の１６画素×１ラインの範囲の予測差分画素信号が算出される。
【００１２】
Ｈ．２６４符号化方式における４×４ブロックの直交変換は、加減算とビットシフトで行えるように定義されており、例えば、式（１）から式（１６）に示す逆変換では、式（１）から式（８）で示す水平方向変換が加減算３２回、ビットシフト８回で計算可能、式（９）から式（１６）で示す垂直方向変換が加減算３２回、ビットシフト８回で計算可能、合計で加減算６４回、ビットシフト１６回で予測差分画素信号を算出が可能である。
【００１３】
ｅi0＝ｄi0＋ｄi2  ｉ＝０…３                          （１）
ｅi1＝ｄi0＋ｄi2  ｉ＝０…３                          （２）
ｅi2＝（ｄi1＞＞１）−ｄi3  ｉ＝０…３                （３）
ｅi3＝ｄi1＋（ｄi3＞＞１）  ｉ＝０…３                （４）
【００１４】
ｆi0＝ｅi0＋ｅi3  ｉ＝０…３                          （５）
ｆi1＝ｅi1＋ｅi2  ｉ＝０…３                          （６）
ｆi2＝ｅi1−ｅi2  ｉ＝０…３                          （７）
ｆi3＝ｅi0−ｅi3  ｉ＝０…３                          （８）
【００１５】
ｇ0j＝ｆ0j＋ｆ2j  ｊ＝０…３                          （９）
ｇ1j＝ｆ0j＋ｆ2j  ｊ＝０…３                          （１０）
ｇ2j＝（ｆ1j＞＞１）−ｆ3j  ｊ＝０…３                （１１）
ｇ3j＝ｆ1j＋（ｆ3j＞＞１）  ｊ＝０…３                （１２）
【００１６】
ｈ0j＝ｇ0j＋ｇ3j  ｊ＝０…３                          （１３）
ｈ1j＝ｇ1j＋ｇ2j  ｊ＝０…３                          （１４）
ｈ2j＝ｇ1j−ｇ2j  ｊ＝０…３                          （１５）
ｈ3j＝ｇ0j−ｇ3j  ｊ＝０…３                          （１６）
【００１７】
式（１）から式（１６）において、ｄijは４×４ブロック内の画像周波数成分、ｆijは水平方向変換後の値、ｈijは逆変換後の予測差分画素値である。また、ｅij及びｇijはそれぞれ水平方向変換、垂直方向変換の計算で必要となる中間値である。
ここで上記の例において、４×４ブロックの右端の１画素×４ライン及び下端の４画素×１ラインの範囲のみ予測差分画素信号を算出する場合（ステップＳＴ１０２）を考えると、水平方向変換の計算に加減算３２回、ビットシフト８回、右端の１画素×４ライン及び下端の４画素×１ラインの範囲の垂直方向変換は式（１７）から式（２４）で計算可能で、加減算１７回、ビットシフト５回であり、合計で加減算４９回、ビットシフト１３回の計算で、予測差分画素信号を算出可能である。
【００１８】
ｇ0j＝ｆ0j＋ｆ2j  ｊ＝０…３                          （１７）
ｇ1j＝ｆ0j＋ｆ2j  ｊ＝３                              （１８）
ｇ2j＝（ｆ1j＞＞１）−ｆ3j  ｊ＝３                    （１９）
ｇ3j＝ｆ1j＋（ｆ3j＞＞１）  ｊ＝０…３                （２０）
【００１９】
ｈ0j＝ｇ0j＋ｇ3j  ｊ＝３                              （２１）
ｈ1j＝ｇ1j＋ｇ2j  ｊ＝３                              （２２）
ｈ2j＝ｇ1j−ｇ2j  ｊ＝３                              （２３）
ｈ3j＝ｇ0j−ｇ3j  ｊ＝０…３                          （２４）
【００２０】
また、１６×１６予測においては１６個の４×４ブロックに対して、４×４直交変換が用いられており、１つの４×４ブロックにおいては、式（１）から式（１６）で示す加減算６４回、ビットシフト１６回で予測差分画素信号の算出が可能である。１６×１６マクロブロック全体では４×４ブロックが１６個あるので、加減算６４回×１６ブロック＝１０２４回、ビットシフト１６回×１６ブロック＝２５６回で、予測差分画素信号の算出が可能である。
【００２１】
１６×１６ブロックの右端の１画素×１６ライン及び下端の１６画素×１ラインの範囲のみを逆変換する場合を考えると、１６個の４×４ブロックのうち左上にある９つのブロックは逆変換不要、下端３つのブロックは下端４画素×１ライン（ステップＳＴ１０４）、右端３つのブロックは右端１画素×４ライン（ステップＳＴ１０５）、右下のブロックは右端の１画素×４ライン及び下端の４画素×１ライン（ステップＳＴ１０６）の予測差分画素信号の算出が必要となる。
【００２２】
下端４画素×１ラインの画素は、水平方向変換は、式（１）から式（８）で計算可能で、加減算３２回、ビットシフト８回、垂直方向変換は、式（３６）から式（３８）で計算可能で、加減算１２回、ビットシフト１回、合計で加減算４４回×３ブロック＝１３２回、ビットシフト９回×３ブロック＝２７回で、予測差分画素信号が算出可能である。
【００２３】
ｇ0j＝ｆ0j＋ｆ2j  ｊ＝０…３                          （３６）
ｇ3j＝ｆ1j＋（ｆ3j＞＞１）  ｊ＝０…３                （３７）
ｈ3j＝ｇ0j−ｇ3j  ｊ＝０…３                          （３８）
右端１画素×４ラインの画素は、水平方向変換は式（２５）から式（２７）で計算可能で、加減算１２回、ビットシフト４回、垂直方向変換は式（２８）から式（３５）で計算可能で、加減算８回、ビットシフト２回、合計で加減算２０回×３ブロック＝６０回、ビットシフト６回×３ブロック＝１８回で、予測差分画素信号が算出可能である。
【００２４】
ｅi0＝ｄi0＋ｄi2  ｉ＝０…３                          （２５）
ｅi3＝ｄi1＋（ｄi3＞＞１）  ｉ＝０…３                （２６）
ｆi3＝ｅi0−ｅi3  ｉ＝０…３                          （２７）
ｇ0j＝ｆ0j＋ｆ2j  ｊ＝３                              （２８）
ｇ1j＝ｆ0j＋ｆ2j  ｊ＝３                              （２９）
ｇ2j＝（ｆ1j＞＞１）−ｆ3j  ｊ＝３                    （３０）
ｇ3j＝ｆ1j＋（ｆ3j＞＞１）  ｊ＝３                    （３１）
ｈ0j＝ｇ0j＋ｇ3j  ｊ＝３                              （３２）
ｈ1j＝ｇ1j＋ｇ2j  ｊ＝３                              （３３）
ｈ2j＝ｇ1j−ｇ2j  ｊ＝３                              （３４）
ｈ3j＝ｇ0j−ｇ3j  ｊ＝３                              （３５）
【００２５】
右下隅の４×４ブロックの右端の１画素×４ライン及び下端の４画素×１ラインの画素は、４×４予測と同様、加減算４９回、ビットシフト１３回で、予測差分画素信号が算出可能である。
１６×１６ブロックの右端の１画素×１６ライン及び下端の１６画素×１ラインの範囲の予測差分画素信号算出は、合計で加減算２４１回、ビットシフト５８回で、予測差分画素信号が算出可能である。
【００２６】
画面内予測部１０５では、画面内予測の単位と予測モードと参照画素信号とを用いて、画面内予測の単位毎の予測画素信号を生成する。
加算部１０４は、逆変換部１０３により取得された予測差分画像信号と画面内予測部１０５により取得された予測画素信号とを加算して、参照画素信号を取得する。ただし、参照画素信号を取得する範囲は、逆変換部１０３で予測差分画素信号を算出した範囲のみに限る。
画面内予測変換部１０６では、画面内予測部１０５により取得された予測画素信号に対して、４×４直交変換を施した場合の予測ＤＣ成分を算出する。ＤＣ成分＝４×４ブロックの予測画素信号の総和であるので、実際の直交変換は不要である。
ＤＣ成分計算部１０７では、可変長復号／逆量子化部１０１により取得された周波数成分のうちのＤＣ成分と画面内予測変換部１０６により取得された予測ＤＣ成分より復号後の画像信号を取得する。ＤＣ成分は変換単位のブロックにおける平均値と考えることができる。よってＤＣ成分だけを算出、出力すれば、ブロック中の画素の平均値を出力することになる。４×４直交変換のＤＣ成分のみで画像を作成すれば、縦横１／４に縮小した復号画像を出力することが可能である。
【００２７】
以上で明らかなように、この実施の形態１によれば、予測画像の生成に必要となる箇所のみに予測差分画素信号の算出範囲を制限する逆変換部１０３と、予測画素信号に対して４×４直交変換処理を施し予測ＤＣ成分を取得する画面内予測変換部１０６と、予測差分周波数成分のうちのＤＣ成分と予測ＤＣ成分を加算するＤＣ成分計算部１０７を設け、ＤＣ成分を復号画像として出力する構成としたので、少ない計算量で、１／４に縮小したサムネイル用画像を復号することができる効果を奏する。
【００２８】
以上のように、実施の形態１の画像復号装置によれば、所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、画面内予測単位に従って予測差分周波数成分信号画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、画面内予測方向に従って参照画素信号より予測画素信号を取得する画面内予測手段と、予測画素信号より画面内予測周波数成分信号を取得する画面内予測画像変換手段と、画面内予測周波数成分信号と予測差分周波数成分信号より復号画像信号を取得する画像信号取得手段とを備えたので、高速にサムネイル画像を作成することが可能となる。
【００２９】
実施の形態２．
上記実施の形態１では、画面内予測の単位によって、予測に利用されうる箇所のみに予測差分画素信号の算出範囲を制限したが、符号化されたフレーム全体の符号化情報を取得し、画面内予測の単位と画面内予測モードから実際に予測に利用される箇所を算出しておくことで、予測差分画素信号の算出範囲を更に制限するようにしてもよい。このような例を実施の形態２として次に説明する。
【００３０】
図６は、この発明の実施の形態２による画像復号装置を示す構成図である。
図６に示す画像復号装置は、可変長復号／逆量子化部２０１、符号化モード取得部２０２、逆変換部２０３、加算器１０４、画面内予測部１０５、画面内予測変換部１０６、ＤＣ成分計算部１０７、逆変換範囲決定部２０８を備えている。ここで、図１と同一の構成には同一の符号を付して説明を省略する。なお、可変長復号／逆量子化部２０１は可変長復号手段と逆量子化手段を構成し、符号化モード取得部２０２は画面内符号化情報取得手段を、逆変換部２０３は逆変換手段を構成している。また、逆変換範囲決定部２０８は画面内符号化情報取得手段を構成している。
【００３１】
可変長復号／逆量子化部２０１は、画面内符号化方式で符号化されているＨ．２６４方式の符号化ストリームである符号化データを入力すると、その符号化データを可変長復号及び逆量子化して、符号化の所定の単位であるマクロブロック毎の符号化情報と画像の周波数成分である直交変換係数を１フレーム分全て取得する。符号化モード取得部２０２は、１フレーム分の符号化情報からマクロブロック毎の画面内予測の単位と画面内予測モードを取得する。逆変換範囲決定部２０８は、符号化モード取得部２０２により取得された１フレーム分の画面内予測の単位と画面内予測モードより逆変換処理を行う範囲を決定する。
【００３２】
図７は、逆変換範囲決定部２０８における、予測差分画素信号の算出範囲の判定に係る説明図、図８は、本発明の実施の形態２による画像復号装置の逆変換範囲決定部２０８の処理内容を示すフローチャートである。
図７において、斜線部で示された領域は、逆変換部２０３において、予測差分画素信号を算出する範囲を示している。画面内予測の単位が４×４予測であった場合は（図８のステップＳＴ２０１）、４×４ブロックの予測モードに従って、予測画素として参照される箇所のみに逆変換の範囲を決定する（ステップＳＴ２０２）。マクロブロック内の１６個の４×４ブロック全てで範囲決定が終了するまで繰り返す（ステップＳＴ２０３）。画面内予測の単位が１６×１６予測であった場合は（ステップＳＴ２０１）、１６×１６予測モードに従って、予測画素として参照される箇所のみに逆変換の範囲を決定する（ステップＳＴ２０４）。上記処理をフレーム内の全てのマクロブロックに対して行う（ステップＳＴ２０５）。
【００３３】
逆変換範囲決定部２０８では、符号化モード取得部２０２により取得された予測単位ブロック毎の予測モード（図２及び図３を参照）に従って、周辺画素のうちどの画素信号が予測画素生成に必要かを判定する。図７の４×４ブロックＢ４22、Ｂ４30、Ｂ４33のように判定によって逆変換不要なブロックも発生し、逆変換処理の計算量低減が可能となる。また、各ブロックにおいても、実際に予測に利用される画素信号のみを算出範囲としているため、例えば、４×４ブロックＢ４23やＢ４31、Ｂ４32のように４画素分のみとなり、更に逆変換処理の計算量低減が可能となる。
逆変換部２０３は、逆変換範囲決定部２０８により取得された予測差分画素信号の算出範囲に従い、可変長復号／逆量子化部２０１により取得された画像の周波数成分に逆変換処理を施し、予測差分画素信号を取得する。
逆変換部２０３以降の動作については実施の形態１と同様であるため、ここでの説明は省略する。
【００３４】
以上のように、実施の形態２の画像復号装置によれば、予測差分画素が存在する単位のみに算出範囲を制限する逆変換範囲決定手段を備え、逆変換手段は、逆変換範囲決定手段の算出範囲で予測差分画素信号を取得するようにしたので、サムネイル画像取得処理における処理量を更に削減することができる。
【００３５】
また、実施の形態２の画像復号装置によれば、逆変換範囲決定手段は、予測差分画素が存在する単位内で、画面内予測単位と画面内予測方向とに基づいて求められる画面内予測に利用される箇所のみに算出範囲を制限するようにしたので、逆変換処理の計算量を更に低減することが可能となる。
【００３６】
実施の形態３．
上記実施の形態１または実施の形態２では、画面内の予測画素を生成して、この予測画素に直交変換を施し予測ＤＣ成分を求めていたが、既に復号されたＤＣ成分から予測ＤＣ成分を算出するように構成してもよく、これを実施の形態３として次に説明する。
図９は、この発明の実施の形態３による画像復号装置を示す構成図である。
図９の画像復号装置は、可変長復号／逆量子化部２０１、符号化モード取得部２０２、逆変換部２０３、加算器１０４、画面内予測部３０５、画面内予測変換部１０６、ＤＣ成分計算部３０７、逆変換範囲決定部２０８、画面内ＤＣ成分予測部３０９、予測選択部３１０を備えている。図中、図１または図６と同一の構成には同一の符号を付して説明を省略する。なお、画面内予測部３０５は画面内予測手段を、ＤＣ成分計算部３０７は画像信号取得手段を、画面内ＤＣ成分予測部３０９は画面内簡易予測手段をそれぞれ構成している。
【００３７】
画面内ＤＣ成分予測部３０９は、画面内予測の単位と予測モードと既に復号された復号後の画像信号とにより簡易予測ＤＣ成分を算出する。画面内予測部３０５は、参照画素信号または復号後の画像信号のいずれか一つと画面内予測の単位と予測モードとを用いて、画面内予測の単位毎の予測画素信号を生成する。予測選択部３１０は、符号化モード取得部２０２により取得された画面内予測単位及び予測モードより画面内ＤＣ成分予測部３０９と画面内予測部３０５のどちらで予測ＤＣ成分を算出するかを選択する。ＤＣ成分計算部３０７は、画面内ＤＣ成分予測部３０９により取得された簡易予測ＤＣ成分または画面内予測変換部１０６により取得された予測ＤＣ成分のいずれか一つと可変長復号／逆量子化部２０１より取得された周波数成分より復号後の画像信号を取得する。
【００３８】
以下、画面内ＤＣ成分予測部３０９の処理について説明する。図１０は復号対象となっているマクロブロックが１６×１６予測の場合における簡易予測ＤＣ成分生成の説明図である。
予測モード０の場合は、マクロブロックの上側にあるブロックのＤＣ成分を、同じ列にあるブロックの簡易予測ＤＣ成分として利用する。
ＤＣ16(i,j)＝ＲｊDC                                （３９）
ここで、ＤＣ16(i,j)は、１６×１６ブロック内の簡易予測ＤＣ成分の値で、０≦ｉ≦３，０≦ｊ≦３である。ＲｊDCは近隣ブロックＲ０からＲ３までのＤＣ成分の値を示している。
予測モード１の場合は、マクロブロックの左側にあるブロックのＤＣ成分を、同じ行にあるブロックの簡易予測ＤＣ成分として利用する。
ＤＣ16(i-4,j)＝ＲｊDC                                （４０）
ここで、ＤＣ16(i-4,j)は、１６×１６ブロック内の簡易予測ＤＣ成分の値で、４≦ｉ≦７，０≦ｊ≦３である。ＲｊDCは近隣ブロックＲ４からＲ７までのＤＣ成分の値を示している。
【００３９】
予測モード２の場合は、マクロブロックの上側及び左側にあるブロックのＤＣ成分の平均値を全ブロックの簡易予測ＤＣ成分として利用する。
2010252294.tif 000003
ここで、ＤＣ16(i,j)は、１６×１６ブロック内の簡易予測ＤＣ成分の値で、０≦ｉ≦３，０≦ｊ≦３である。ＲｋDCは近隣ブロックＲ０からＲ７までのＤＣ成分の値を示している。
【００４０】
予測モード３の場合は、マクロブロックの上側，左側及び左上のブロックのＤＣ成分に重みをつけて簡易予測ＤＣ成分を算出する。重みは、例えば１６×１６予測の予測モード３の予測画素生成に従って決定しても良いし、近隣の４×４ブロックのＤＣ成分を反映しやすくするように決定しても良い。
2010252294.tif 000004
ここで、ＤＣ16(i,j)は、マクロブロック内にある４×４ブロック毎の簡易予測ＤＣ成分の値で、０≦ｉ≦３，０≦ｊ≦３である。ＲｋDCは近隣ブロックＲ０からＲ８までのＤＣ成分の値、ｗ16ｋ(i,j)は重みを示している。
【００４１】
図１１は復号対象となっているマクロブロックが４×４予測の場合における簡易予測ＤＣ成分生成の説明図である。
予測モード０の場合は、上側にあるブロックのＤＣ成分を、復号対象ブロックの簡易予測ＤＣ成分として利用する。
ＤＣ4＝Ｒ０DC                                （４３）
ここで、ＤＣ4は、復号対象の４×４ブロック内の簡易予測ＤＣ成分の値、Ｒ０DCは上側にあるブロックＲ０のＤＣ成分を示している。
予測モード１または予測モード８の場合は、左側にあるブロックのＤＣ成分を、復号対象ブロックの簡易予測ＤＣ成分として利用する。
ＤＣ4＝Ｒ２DC                                （４４）
ここで、ＤＣ4は、復号対象の４×４ブロック内の簡易予測ＤＣ成分の値、Ｒ２DCは左側にあるブロックＲ２のＤＣ成分を示している。
予測モード２の場合は、上側及び左側にあるブロックのＤＣ成分の平均値を、復号対象ブロックの簡易予測ＤＣ成分として利用する。
ＤＣ4＝（Ｒ０DC＋Ｒ２DC）／２              （４５）
ここで、ＤＣ4は、復号対象の４×４ブロック内の簡易予測ＤＣ成分の値、Ｒ０DCは上側にあるブロックＲ０のＤＣ成分、Ｒ２DCは左側にあるブロックＲ２のＤＣ成分を示している。
【００４２】
予測モード３または予測モード７の場合は、上側と左側と左上のブロックのＤＣ成分に重みをつけて簡易予測ＤＣ成分を算出する。重みは、４×４予測モードの予測画素生成に従って決定する。
ＤＣ4＝ｗ4０(m)・Ｒ０DC＋ｗ4１(m)・Ｒ１DC              （４６）
ここで、ＤＣ4は、復号対象の４×４ブロック内の簡易予測ＤＣ成分の値、Ｒ０DCは上側にあるブロックＲ０のＤＣ成分、Ｒ１DCは右上にあるブロックＲ１のＤＣ成分を示している。ｍは４×４予測モードの番号、ｗ4０(m)，ｗ4１(m)は、Ｒ０DCとＲ１DCにかかる重みを示している。
予測モード４、予測モード５、予測モード６のいずれか一つの場合は、上側と右上のブロックのＤＣ成分に重みをつけて簡易予測ＤＣ成分を算出する。重みは、４×４予測モードの予測画素生成に従って決定する。
ＤＣ4＝ｗ4０(m)・Ｒ０DC＋ｗ4２(m)・Ｒ２DC＋ｗ4３(m)・Ｒ３DC    （４７）
ここで、ＤＣ4は、復号対象の４×４ブロック内の簡易予測ＤＣ成分の値、Ｒ０DCは上側にあるブロックＲ０のＤＣ成分、Ｒ１DCは右上にあるブロックＲ１のＤＣ成分、Ｒ３DCは左上にあるブロックＲ３のＤＣ成分を示している。ｍは４×４予測モードの番号、ｗ4０(m)，ｗ4２(m)，ｗ4３(m)は、それぞれＲ０DC，Ｒ２DC，Ｒ３DCにかかる重みを示している。
【００４３】
上記のようにして、既に復号されたＤＣ成分の値から簡易予測ＤＣ成分を作成可能である。
画面内予測部３０５では、参照画素信号及び復号後の画像信号より予測画素信号を取得する。
図１２は、画面内予測部３０５における、復号後の画像信号からの参照画素生成の説明図である。図１２において斜線部で示された画素と、色の付いた左側の隣接ブロックが予測画素生成に使用される画素及びブロックである。
左側の隣接ブロックは、復号後の画像信号はＤＣ成分であり、そのまま予測画素を生成することができない。ＤＣ成分は４×４ブロックにおける平均値を示しているため、予測画素を生成するときは、４×４ブロック内の画素値をＤＣ成分で代用する。
予測選択部３１０では、画面内予測の単位及び予測モードにより、画面内ＤＣ成分予測部３０９と画面内予測部３０５のどちらで予測ＤＣ成分を算出するかを選択するように構成している。
例えば、画面内予測単位が４×４ブロック単位で予測モードが５〜８などであった場合、予測画素信号の生成に複雑な処理が必要となるため、計算が簡易な画面内ＤＣ成分予測部３０９を選択するようにしても良い。
また、画面内予測の単位及び予測モード以外にも周波数成分や逆変換範囲決定部２０８で取得される範囲情報などによって決定するように構成しても良い。
【００４４】
以上のように、実施の形態３の画像復号装置によれば、画面内予測単位と画面内予測方向と復号画像信号より簡易予測周波数成分信号を取得する画面内簡易予測手段を備え、画像信号取得手段は、予測周波数成分信号または簡易予測周波数成分信号と、予測差分周波数成分信号とにより復号画像信号を取得するようにしたので、サムネイル画像を更に高速に復号することができる。
【００４５】
実施の形態４．
図１３は、この発明の実施の形態４による画像復号装置を示す構成図である。
図１３の画像復号装置は、可変長復号／逆量子化部４０１、符号化モード取得部４０２、逆変換部１０３、加算器１０４、画面内予測部３０５、画面内予測変換部１０６、ＤＣ成分計算部４０７、逆変換範囲決定部２０８、画面間ＤＣ成分予測部４０９、予測選択部４１０、フレームメモリ４１１を備えている。ここで、図１，６，９と同一の構成には同一の符号を付して説明を省略する。なお、可変長復号／逆量子化部４０１は可変長復号手段と逆量子化手段を構成し、符号化モード取得部２０２は符号化情報取得手段を、ＤＣ成分計算部４０７は画像信号取得手段を構成している。また、画面間ＤＣ成分予測部４０９は画面間予測手段を、フレームメモリ４１１は記憶手段を構成している。
【００４６】
可変長復号／逆量子化部４０１は、マクロブロック単位で画面内符号化または画面間符号化で符号化されているＨ．２６４方式の符号化ストリームである符号化データを入力すると、その符号化データを可変長復号及び逆量子化して、マクロブロック毎の符号化情報と画像の周波数成分である直交変換係数を取得する。
符号化モード取得部４０２は、マクロブロック毎の符号化情報からマクロブロックの符号化タイプを取得し、符号化タイプが画面内符号化の場合、画面内符号化予測の単位と画面内予測モードを取得し、符号化タイプが画面間符号化の場合、画面間符号化予測の単位と画面間の動き補償ベクトルとを取得する。
フレームメモリ４１１は、ＤＣ成分計算部４０７により取得された、既に復号された復号後画像を記憶しておく。
画面間ＤＣ成分予測部４０９は、画面間予測の単位と動き補償ベクトルに従って、フレームメモリ４１１に記憶されている復号画像より簡易予測ＤＣ成分を生成する。
【００４７】
図１４は、画面間ＤＣ成分予測部４０９による簡易予測ＤＣ成分生成の説明図である。図１４において、斜線部で示された４×４ブロックは、動き補償ベクトルにより決定された、簡易予測ＤＣ成分を取得する領域を示しており、Ｒ０からＲ３は、斜線部の領域を含んでいる４×４ブロックを示している。
簡易予測ＤＣ成分は以下の式（４８）に従って算出する。
ＤＣ＝（ｘ０ｙ０Ｒ０DC＋ｘ１ｙ０Ｒ１DC＋ｘ０ｙ１Ｒ２DC＋ｘ１ｙ１Ｒ３DC）／１６        （４８）
ここで、ＤＣは簡易予測ＤＣ成分の値、Ｒ０DCからＲ３DCは周辺ブロックのＤＣ成分の値、ｘ０，ｘ１は、予測ＤＣ成分算出領域が周辺ブロックと水平方向に重なっている長さ、ｙ０，ｙ１は、予測ＤＣ成分算出領域が周辺ブロックと垂直方向に重なっている長さである。
【００４８】
予測選択部４１０は、符号化モード取得部４０２により取得されたマクロブロックの符号化タイプにより画面間ＤＣ成分予測部４０９と画面内予測部３０５のどちらで予測信号を算出するかを選択する。
ＤＣ成分計算部４０７は、画面間ＤＣ成分予測部４０９により取得された簡易予測ＤＣ成分または画面内予測変換部１０６により取得された予測ＤＣ成分のいずれか一つと可変長復号／逆量子化部４０１より取得された周波数成分より復号後の画像信号を取得する。
また、本実施の形態４では、周辺ブロックのＤＣ成分より簡易予測ＤＣ成分を算出するように構成したが、周辺ブロックのＤＣ成分のうちいずれか一つを選択して簡易予測ＤＣ成分として利用しても良い。
【００４９】
この実施の形態４によれば、画面間ＤＣ成分予測部４０９とフレームメモリ４１１を備え、画面内符号化または画面間符号化された符号化データの復号を簡易化できるように構成したので、Ｈ．２６４方式の符号化ストリームから高速にサムネイル画像を復号可能である。また、フレームメモリ４１１に記憶される復号後画像は、実際の画像を縦横１／４にしたものであるため、復号に必要となるメモリ量を削減可能である。
【００５０】
以上のように、実施の形態４の画像復号装置によれば、所定の単位毎に画面内符号化方式または画面間符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、復号された参照画像を記憶する記憶手段と、符号化情報から画面内予測単位と画面内予測方向または画面間予測単位と画面間予測位置を取得する符号化情報取得手段と、量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、画面内予測単位に従って予測差分周波数成分信号より、画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、画面内予測方向に従って参照画素信号より予測画素信号を取得する画面内予測手段と、予測画素信号より画面内予測周波数成分信号を取得する画面内予測画像変換手段と、画面間予測単位と画面間予測位置をもとに、記憶手段で記憶された参照画像より画面間予測周波数成分信号を取得する画面間予測手段と、画面内予測周波数成分信号または画面間予測周波数成分信号と、予測差分周波数成分信号より復号画像信号を取得する画像信号取得手段とを備えたので、画面内符号化または画面間符号化された符号化データに対して高速にサムネイル画像を復号することができる。
【００５１】
尚、本実施の形態４において実施の形態３の構成を備えていてもよい。即ち、画面内予測単位と画面内予測方向と復号画像信号より簡易予測周波数成分信号を取得する画面内簡易予測手段を備え、画像信号取得手段は、画面内符号化方式で符号化されていた場合は、画面内予測周波数成分信号または簡易予測周波数成分信号と、予測差分周波数成分信号とにより復号画像信号を取得する。このようにすれば、サムネイル画像を更に高速に復号することができる。
【００５２】
実施の形態５．
本発明の実施の形態１において、ＤＣ成分を利用して縦横１／４に縮小した復号画像を出力する方法を示した。本実施の形態５では、ＤＣ成分を産出する過程で算出した参照画素信号を用いて縮小画像を生成する方法について説明する。
図１５は、実施の形態５における画像復号装置の構成を示すブロック図である。
実施の形態５の画像復号装置は、可変長復号／逆量子化部１０１、符号化モード取得部１０２、逆変換部１０３、加算器１０４、画面内予測部１０５、画素合成部５１２を備えている。ここで、可変長復号／逆量子化部１０１〜画面内予測部１０５は、実施の形態１と同様であるため、対応する部分に同一符号を付してその説明は省略する。
【００５３】
画素合成部５１２は、画素合成手段を構成している。加算器１０４から出力された参照画素は、復号された画素そのものであり、図４における「予測差分画素を算出する画素」に該当する画素が復号されていることになる。画素合成部５１２は、この参照画素のみを用いて、縦横１／２に縮小した復号画像を取得する。また、符号化モード取得部１０２から出力される予測単位の情報を元に、４×４予測の場合と１６×１６予測の場合に分けて処理を行う。
【００５４】
先ず、４×４予測の場合について説明する。縦横１／２に縮小した画像を得るための手段として、図１６に示した合成対象画素を算出することとする。合成対象画素と、図１６におけるＰａ９、Ｐａ１４、Ｐａ１６に示した画素をあわせて４×４ブロックにおける縮小した復号画像とする。これは復号画像を更に縦横１／２にサンプリングした画像となる。
合成対象画素は、復号済みの参照画素から算出する。ここでは、合成対象画素をＰａｘとし、参照画素をＰａｉ（１≦ｉ≦１６）とする。算出方法は以下の式（４９）に示す。
2010252294.tif 000005
これは、参照画素１６個の重みつき平均値である。ｗｋを重みとしており、ｗｋの総和は１である。重みは、合成対象画素からの距離を使うなどの方法がある。以下の式（５０）、（５１）、（５２）に隣接画素間の距離を１とした場合の例を示す。
2010252294.tif 000006
2010252294.tif 000007
2010252294.tif 000008
ここで、ｗｋの総和が１であるため、
2010252294.tif 000009
2010252294.tif 000010
である。
【００５５】
次に、１６×１６予測の場合について説明する。縦横１／２に縮小した画像を得るための手段として、図１７に示す４９個の合成対象画素を算出することとする。合成対象画素と、図１７におけるＰｂ１〜Ｐｂ１５に示した画素をあわせて、１６×１６ブロックにおける縮小した復号画像とする。これは４×４予測のときと同様に、復号画像を更に縦横１／２にサンプリングした画像となる。
合成対象画素は、復号済みの参照画素から算出する。算出は、左上の４×４ブロックから順に行われる。図１８に算出を行う４×４ブロックの順序を示す。
【００５６】
次に、図１８に（１）〜（１６）で示した各４×４ブロックにおける合成対象画素の作成方法を説明する。
図１９は、図１８における（１）のブロックの例である。先ず、Ｐｃ５の画素をＰｃ１、Ｐｃ２、Ｐｃ４の画素の重み付き平均値とする。次に、Ｐｃ６の画素をＰｃ２、Ｐｃ３、Ｐｃ５の重み付き平均値から算出する。同様に、Ｐｃ８の画素をＰｃ４、Ｐｃ５、Ｐｃ７の重み付き平均値とし、Ｐｃ９の画素はＰｃ５、Ｐｃ６、Ｐｃ８の重み付き平均値とする。これを式（５３）〜（５８）で表す。
ＰＣ５＝（ｗＤＰＣ１＋ｗＴＰＣ２＋ｗＬＰＣ４）      （５５）
ＰＣ６＝（ｗＤＰＣ２＋ｗＴＰＣ３＋ｗＬＰＣ５）      （５６）
ＰＣ８＝（ｗＤＰＣ４＋ｗＴＰＣ５＋ｗＬＰＣ７）      （５７）
ＰＣ９＝（ｗＤＰＣ５＋ｗＴＰＣ６＋ｗＬＰＣ８）      （５８）
上式におけるｗＤ、ｗＴ、ｗＬは重みである。重みは画素間の距離に応じてつけるなどの方法がある。また、重みの総和は１である。
【００５７】
図１８における（２）のブロックの合成対象画素についても同様に、左上、真上、左の参照画素もしくは合成済みの合成対象画素から画素値を算出していく。図２０に（２）のブロックにおける例を示す。既に、（１）のブロックについて合成対象画素を合成しており、Ｐｄ４とＰｄ７が合成済みである。以下の式（５９）〜（６２）に各合成対象画素の算出式を示す。
Ｐｄ５＝（ｗＤＰｄ１＋ｗＴＰｄ２＋ｗＬＰｄ４）      （５９）
Ｐｄ６＝（ｗＤＰｄ２＋ｗＴＰｄ３＋ｗＬＰｄ５）      （６０）
Ｐｄ８＝（ｗＤＰｄ４＋ｗＴＰｄ５＋ｗＬＰｄ７）      （６１）
Ｐｄ９＝（ｗＤＰｄ５＋ｗＴＰｄ６＋ｗＬＰｄ８）      （６２）
【００５８】
このような手法で合成対象画素を算出することで、図１８における左上のブロックから順に合成対象画素が算出可能であり、（３）〜（１６）のブロックについても順次、参照画素と合成済みの合成対象画素から合成対象画素を算出可能である。
尚、図２１に示すように、（６）のブロックにおいてＰｅ５の画素を算出する場合は、Ｐｅ１、Ｐｅ２、Ｐｅ３だけでなく、Ｐｅ４、Ｐｅ６の参照画素を利用しても良い。同じように、図１８における右端のブロック（（６），（８），（１４），（１６））や下端のブロック（（１１），（１２），（１５），（１６））においては、右側もしくは下側の参照画素（図１７におけるＰｂ１〜Ｐｂ１５）を使って合成対象画素を算出しても良い。
【００５９】
このようにして、左上のブロックから順に合成対象画素を算出する。尚、平均値を算出する際により多くの周辺の参照画素もしくは合成済みの合成対象画素を使っても良く、逆により少ない画素から算出しても良い。
【００６０】
以上示した方法により、４×４予測および１６×１６予測のいずれにおいても、復号済みの参照画素から１／２の縮小画像を作成することができる。この縮小画像を復号後画像として出力する。
【００６１】
以上のように実施の形態５の画像復号装置によれば、所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、画面内予測単位に従って予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、画面内予測方向に従って参照画素信号より予測画素信号を取得する画面内予測手段と、参照画素信号と画面内予測単位より復号画素の一部を合成して復号画像信号を取得する画素合成手段とを備えたので、より少ない処理量で縮小画像を算出することができる。
【００６２】
実施の形態６．
実施の形態５において、参照画素信号を元に縦横１／２の縮小画像を生成する方法を示した。本実施の形態６では、参照画素信号と予測モードを利用して、より適応的に縮小画素を生成する方法を示す。
本実施の形態６における図面上の構成は図１５に示した実施の形態５と同様であるため図１５を用いて説明する。実施の形態６において、可変長復号／逆量子化部１０１〜画面内予測部１０５の構成および動作は実施の形態５と同様であるが、画素合成部５１２の機能が異なっている。以下、画素合成部５１２について説明する。
【００６３】
先ず、４×４予測の場合について説明する。実施の形態１および図３で示した通り、Ｈ．２６４における４×４予測モードは９つある。通常、Ｈ．２６４符号化器は予測残差が最も少ない予測モードを選択する。従って、予測モードに対応する参照画素を用いて合成対象画素Ｐａｘを算出することで、より正確に合成対象画素を合成できることが期待される。実際に、９つ予測モードそれぞれの場合における、図１６に示した合成対象画素Ｐａｘの算出方法を式（６３）〜（７１）に示す。
2010252294.tif 000011
2010252294.tif 000012
2010252294.tif 000013
2010252294.tif 000014
2010252294.tif 000015
2010252294.tif 000016
2010252294.tif 000017
2010252294.tif 000018
2010252294.tif 000019
ここで、予測モード２におけるｗｋは重みである。実施の形態５と同様に距離に応じてつけるなどの方法がある。
【００６４】
次に、１６×１６予測の場合について説明する。実施の形態１および図２で示した通り、Ｈ．２６４における１６×１６予測モードは４つある。４つの方法それぞれの場合について、合成対象画素の合成方法を示す。
先ず、モード０（垂直予測）の場合は、図２２に示すように、１〜７の各列毎に合成対象画素を算出する。このとき、図２３に示すように、各列毎に上の参照画素をＰｆｔ、下側の参照画素をＰｆｂ、各列の７つの合成対象画素をＰｆｉとする（１≦ｉ≦７）とする。このとき、合成対象画素Ｐｆｉは、以下の式（７２）で算出する。
2010252294.tif 000020
これは、４×４予測の場合と同様に、通常、Ｈ．２６４符号化器は予測残差が最も少ない予測モードを選択しているため、予測モードに対応する参照画素を用いて差分値を算出することで、より正確に合成対象画素Ｐｆｉが算出できると考えられるためである。
【００６５】
以下、モード０の場合と同様、最も予測残差が小さくなることから、より正確に合成対象画素が算出可能な、各モードにおける合成対象画素の算出方法を示す。
モード１（水平予測）の場合は、図２４に示すように、１〜７の各行毎に合成対象画素を算出する。このとき、図２５に示すように、各行毎に左端の参照画素をＰｇｌ、右端の参照画素をＰｇｒ、各行の７つの合成対象画素をＰｇｉとする（１≦ｉ≦７）とする。このとき、合成対象画素Ｐｇｉは、以下の式（７３）で算出する。
2010252294.tif 000021
【００６６】
モード２（ＤＣ予測）の場合は、図１７における６４個全ての参照画素の平均値を算出し、それを全ての合成対象画素の画素値とする。
モード３（平面予測）の場合は、図２６に示す１〜１３の各グループ毎に合成対象画素を算出する。このとき、図２７に示すように、各グループ毎に右上端の参照画素をＰｈｒｔ、左下端の参照画素をＰｈｌｂ、グループｊの合成対象画素をＰｈｉとする（１≦ｉ≦ｎｊ）とする。ｎｊはグループｊの合成対象画素数であり、図２６から以下のとおりである。
ｎ１＝ｎ１３＝１    （７４）
ｎ２＝ｎ１２＝２    （７５）
ｎ３＝ｎ１１＝３    （７６）
ｎ４＝ｎ１０＝４    （７７）
ｎ５＝ｎ９＝５      （７８）
ｎ６＝ｎ８＝６      （７９）
ｎ７＝７          （８０）
このとき、グループｊの合成対象画素Ｐｈｉは、以下の式（８１）で算出する。
2010252294.tif 000022
【００６７】
このようにして、予測モードを利用して、適応的に合成対象画素を算出可能である。
以上示した方法により、４×４予測および１６×１６予測のいずれにおいても、復号済みの参照画素と予測モードから１／２の縮小画像を作成することができる。予測モードを利用することで、合成対象画素の算出精度の向上が期待される。この縮小画像を復号後画像として出力する。
【００６８】
以上のように、実施の形態６の画像復号装置によれば、所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、画面内予測単位に従って予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、画面内予測方向に従って参照画素信号より予測画素信号を取得する画面内予測手段と、参照画素信号と画面内予測単位と画面内予測方向により復号画素の一部を合成して復号画像信号を取得する画素合成手段とを備えたので、より正確に合成対象画素を合成することができる。
【００６９】
実施の形態７．
実施の形態１において、ＤＣ成分を利用して縦横１／４に縮小した復号画像を出力する方法を示し、実施の形態５では、ＤＣ成分を産出する過程で算出した参照画素信号のみを用いて縮小画像を生成する方法について説明した。更に、実施の形態６では、参照画素信号と予測モードを用いて縮小画像を生成する方法について説明した。本実施の形態７では、ＤＣ成分と参照画素信号と予測モードから縮小画像を生成する方法に関するものである。
【００７０】
図２８は、実施の形態７における画像復号装置の構成を示すブロック図である。
実施の形態７の画像復号装置は、可変長復号／逆量子化部１０１、符号化モード取得部１０２、逆変換部１０３、加算器１０４、画面内予測部１０５、画面内予測変換部１０６、ＤＣ成分計算部７０７、画素合成部７１２を備えている。ここで、図１と同一の構成には同一の符号を付してその説明を省略する。
【００７１】
ＤＣ成分計算部７０７は、実施の形態１で示したＤＣ成分計算部１０７と全く同一である。実施の形態１では、ＤＣ成分を復号後画像として扱ったが、実施の形態６では、このＤＣ成分を利用して復号後画像を生成するため、出力をＤＣ成分と表記している。画素合成部７１２は、画素合成手段を構成している。ＤＣ成分計算部７０７から出力されたＤＣ成分と、加算器１０４から出力された参照画素信号から縦横１／２に縮小した復号画像を取得する。処理は４×４予測の場合と１６×１６予測の場合に分けて行う。
【００７２】
先ず、４×４予測の場合について説明する。図１６に示したように、４×４ブロック中、７つの画素（Ｐａ７、Ｐａ９、Ｐａ１１、Ｐａ１３〜Ｐａ１６）が参照画素として復号済みである。更に、４×４ブロックの平均値の算出が可能なＤＣ成分を既に取得、算出済みである。４×４ブロックの平均値をＰＡｖｇ４×４とすると、合成対象画素Ｐａｘを以下の式（８２）のように算出する。
2010252294.tif 000023
これは、合成対象画素とその周囲８画素の計９画素の平均値にあたる。
【００７３】
次に１６×１６予測の場合について２つの例を説明する。１６×１６ブロックは４つの４×４ブロックで構成されており、ここでは既に全ての４×４ブロックの平均値を既に取得している。各４×４ブロック内には基本的には４つの合成対象画素が存在しており、ここでは、４つ全ての対象画素を同一の値として算出する。具体的には、図２９に示すように、算出対象のある４×４ブロックの画素の平均値をＰｐＡｖｇ０とし、その周囲の４×４ブロックの平均値をＰｐＡｖｇｉ（１≦ｉ≦８）とする。このとき、４つの合成対象画素をＰＰｘとし、以下の式で算出する。
2010252294.tif 000024
これは、周囲の４×４ブロックの重みつき平均値である。重みｗｋは実施の形態５と同様、距離を用いて算出するなどの方法がある。
【００７４】
もう一つの１６×１６予測における例として、予測モードと４×４ブロックの平均値を利用する場合について説明する。
予測モード０の場合、図３０に示すように、ある４×４ブロック内の合成対象画素をＰｑｉ（１≦ｉ≦４）、その真上にある予測画素をＰｑｌ、Ｐｑｒとし、更に４×４ブロックの画素の平均値をＰｑＡｖｇする。このとき、合成対象画素を以下のように算出する。
2010252294.tif 000025
2010252294.tif 000026
【００７５】
予測画素として用いている画素の比を使うことで、正確な合成対象画素の算出ができると期待される。ただし、図１８における下端のブロック（（１１），（１２），（１５），（１６））の場合、４×４ブロックの平均値を合成対象画素としても良い。
【００７６】
同様に予測モード１の場合、図３１に示すように、ある４×４ブロック内の合成対象画素をＰｒｉ（１≦ｉ≦４）、その左にある予測画素をＰｒｔ、Ｐｒｂとし、更に４×４ブロックの画素の平均値をＰｒＡｖｇする。このとき、合成対象画素を以下のように算出する。
2010252294.tif 000027
2010252294.tif 000028
ただし、図１８における右端のブロック（（６），（８），（１４），（１６））の場合、４×４ブロックの平均値を合成対象画素としても良い。
【００７７】
予測モード２および３の場合は、４×４ブロックの平均値をそのまま合成対象画素とする。予測モード２の場合は、予測画素の値と１６×１６ブロック内画素の差分が小さいと考えられるため、４×４ブロックの平均値をそのまま用いる。また、予測モード３の場合は、計算が複雑になるため、４×４ブロックの平均値をそのまま用いる。
【００７８】
以上示した方法により、４×４予測および１６×１６予測のいずれにおいても、復号済みの参照画素と予測モードと４×４ブロックの画素の平均値から１／２の縮小画像を作成することができる。予測モードと画素の平均値を利用することで、合成対象画素の算出精度の向上が期待される。この縮小画像を復号後画像として出力する。
【００７９】
以上のように、実施の形態７の画像復号装置によれば、所定の単位毎に画面内符号化方式で符号化された符号化ストリームから所定の単位毎の符号化情報と量子化係数データを取得する可変長復号手段と、符号化情報から画面内予測単位と画面内予測方向を取得する画面内符号化情報取得手段と、量子化係数データより予測差分周波数成分信号を取得する逆量子化手段と、画面内予測単位に従って予測差分周波数成分信号より画面内予測に利用されうる箇所のみに算出範囲を制限して予測差分画素信号を取得する逆変換手段と、予測差分画素信号と予測画素信号を加算して参照画素信号を取得する加算手段と、画面内予測方向に従って参照画素信号より予測画素信号を取得する画面内予測手段と、予測画素信号より画面内予測周波数成分信号を取得する画面内予測画像変換手段と、画面内予測周波数成分信号と予測差分周波数成分信号より、復号画像の所定の単位での平均値を出力する画像信号取得手段と、参照画素信号と画面内予測単位と画面内予測方向と復号画像の所定の単位での平均値により復号画素の一部を合成して復号画像信号を取得する画素合成手段とを備えたので、より正確に合成対象画素を合成することができる。
【符号の説明】
【００８０】
１０１，２０１，４０１  可変長復号／逆量子化部、１０２，２０２，４０２  符号化モード取得部、１０３，２０３  逆変換部、１０４  加算部、１０５，３０５  画面内予測部、１０６  画面内予測変換部、１０７，３０７，４０７，７０７  ＤＣ成分計算部、２０８  逆変換範囲決定部、３０９  画面内ＤＣ成分予測部、３１０，４１０  予測選択部、４０９  画面間ＤＣ成分予測部、４１１  フレームメモリ、５１２，７１２  画素合成部。
【図１】
2010252294.tif 000029
【図２】
2010252294.tif 000030
【図３】
2010252294.tif 000031
【図４】
2010252294.tif 000032
【図５】
2010252294.tif 000033
【図６】
2010252294.tif 000034
【図７】
2010252294.tif 000035
【図８】
2010252294.tif 000036
【図９】
2010252294.tif 000037
【図１０】
2010252294.tif 000038
【図１１】
2010252294.tif 000039
【図１２】
2010252294.tif 000040
【図１３】
2010252294.tif 000041
【図１４】
2010252294.tif 000042
【図１５】
2010252294.tif 000043
【図１６】
2010252294.tif 000044
【図１７】
2010252294.tif 000045
【図１８】
2010252294.tif 000046
【図１９】
2010252294.tif 000047
【図２０】
2010252294.tif 000048
【図２１】
2010252294.tif 000049
【図２２】
2010252294.tif 000050
【図２３】
2010252294.tif 000051
【図２４】
2010252294.tif 000052
【図２５】
2010252294.tif 000053
【図２６】
2010252294.tif 000054
【図２７】
2010252294.tif 000055
【図２８】
2010252294.tif 000056
【図２９】
2010252294.tif 000057
【図３０】
2010252294.tif 000058
【図３１】
2010252294.tif 000059