(57)【要約】【課題】  データ圧縮率を向上する。【解決手段】    動画像の復号化方法であって、復号化対象フレームの復号化対象領域について、復号化済みの複数のフレームの画像を用いて動き探索を行う動き探索ステップと、前記動き探索の結果にもとづいて、前記復号化対象領域の画像を補間処理により生成するか、符号化ストリームに含まれるデータを用いた動き補償により復号画像を生成するかを判定する判定ステップとを備える。【選択図】  図１２
2010154490.tif 000002
【特許請求の範囲】
【請求項１】
動画像の復号化方法であって、
復号化対象フレームの復号化対象領域について、復号化済みの複数のフレームの画像を
用いて動き探索を行う動き探索ステップと、
前記動き探索の結果にもとづいて、前記復号化対象領域の画像を補間処理により生成す
るか、符号化ストリームに含まれるデータを用いた動き補償により復号画像を生成するか
を判定する判定ステップと、
を備えることを特徴とする画像復号化方法。
【請求項２】
前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
データを用いた動き補償により復号画像を生成すると判定した場合に、前記復号化対象フ
レームの復号化対象領域に隣接する複数の画像領域のそれぞれが、符号化時に符号化画像
領域として処理された領域であるか、符号化時に補間画像領域として処理された領域であ
るかにもとづいて、予測ベクトルの算出方法を変更して動き補償を行って復号化画像生成
するステップを備えることを特徴とする請求項１に記載の画像復号化方法。
【請求項３】
前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
データを用いた動き補償により復号画像を生成すると判定した場合であって、前記復号化
対象フレームの復号化対象領域に隣接する複数の画像領域のいずれもが、符号化時に補間
画像領域として処理された領域である場合に、前記隣接する複数の画像領域の復号化時の
補間処理に用いた動きベクトルにもとづいて予測ベクトルを算出し、該予測ベクトルを用
いて動き補償を行って復号化画像生成するステップを備えることを特徴とする請求項１に
記載の画像復号化方法。
【請求項４】
前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
データを用いた動き補償により復号画像を生成すると判定した場合であって、前記復号化
対象フレームの復号化対象領域に隣接する複数の画像領域のいずれもが、符号化時に補間
画像領域として処理された領域である場合に、前記隣接する複数の画像領域の復号化時の
補間処理に用いた動きベクトルの中間値ベクトルを予測ベクトルとして算出し、該予測ベ
クトルを用いて動き補償を行って復号化画像生成するステップを備えることを特徴とする
請求項１に記載の画像復号化方法。
【請求項５】
前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
データを用いた動き補償により復号画像を生成すると判定した場合であって、前記復号化
対象フレームの復号化対象領域に隣接する複数の画像領域の一部が符号化時に符号化画像
領域として処理された領域であって、前記隣接する複数の画像領域の残りの画像領域が、
符号化時に補間画像領域として処理された領域である場合に、前記符号化時に符号化画像
領域として処理された領域において復号時の動き補償において用いた動きベクトルと、前
記符号化時に補間画像領域として処理された領域において復号化時の補間処理に用いた動
きベクトルとにもとづいて予測ベクトルを算出し、該予測ベクトルを用いて動き補償を行
って復号化画像生成するステップを備えることを特徴とする請求項１に記載の画像復号化
方法。
【請求項６】
前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
データを用いた動き補償により復号画像を生成すると判定した場合であって、前記復号化
対象フレームの復号化対象領域に隣接する複数の画像領域の一部が符号化時に符号化画像
領域として処理された領域であって、前記隣接する複数の画像領域の残りの画像領域が、
符号化時に補間画像領域として処理された領域である場合に、前記符号化時に符号化画像
領域として処理された領域において復号時の動き補償において用いた動きベクトルと、前
記符号化時に補間画像領域として処理された領域において復号化時の補間処理に用いた動
きベクトルとから中間値ベクトルを予測ベクトルとして算出し、該予測ベクトルを用いて
動き補償を行って復号化画像生成するステップを備えることを特徴とする請求項１に記載
の画像復号化方法。
【請求項７】
前記判定ステップにおいて、前記復号化対象領域の画像を補間処理により生成すると判
定した場合に、前記復号化対象領域の画像を前記動き探索ステップにおいて用いた前記復
号化済みの複数のフレームの画像上の画素値を用いて、前記復号化対象領域の画像上の画
素値を算出して前記復号化対象領域の補間画像を生成する補間画像生成ステップと
を備えることを特徴とする請求項１に記載の画像復号化方法。
【請求項８】
前記動き探索ステップでは、前記復号化対象領域に含まれる対象画素と時空間上で同一
直線上に位置し、前記復号化済みの複数のフレームの画像上に位置する複数の画素間の画
素値の絶対差を算出し、前記復号化対象領域に含まれる画素について該画素値の絶対差和
を算出し、該絶対差和が最小となる動きベクトルと前記最小の絶対値和とを動きベクトル
探索結果とし、
前記判定ステップでは、前記最小の絶対値和と所定値の比較により前記復号化対象領域
の画像を補間処理により生成するか否かを判定することを特徴とする請求項１に記載の画
像復号化方法。
【請求項９】
前記動き探索ステップでは、前記復号化対象領域に含まれる対象画素と時空間上で同一
直線上に位置し、前記復号化済みの複数の画像上に位置する複数の画素間の画素値差を算
出し、前記復号化対象領域に含まれる画素について該画素値の絶対差和を算出し、前記絶
対差和が最小となる動きベクトルを決定し、前記最小の絶対値和と前記復号化対象領域の
周辺の領域の絶対値和の差分の絶対値和を算出し、前記動きベクトルと前記最小の絶対値
和と前記復号化対象領域の周辺の領域の絶対値和の差分の絶対値和とを算を動きベクトル
探索結果とし、
前記判定ステップでは、前記最小の絶対値和と前記復号化対象領域の周辺の領域の絶対
値和の差分の絶対値和と所定値の比較により前記復号化対象領域の画像を補間処理により
生成するか否かを判定することを特徴とする請求項１に記載の画像復号化方法。
【請求項１０】
前記動き探索ステップでは、符号化ストリームに含まれる動き探索方法判定フラグにも
とづいて、動き探索の時間方向を決定することを特徴とする請求項１に記載の画像復号化
方法。
【請求項１１】
動画像の復号化方法であって、
符号化ストリームに含まれるモード判定フラグにもとづいて、復号化対象領域の画像を
復号化済み画像を用いた補間処理により生成するか、符号化ストリームに含まれるデータ
を用いた動き補償処理により復号画像を生成するかを判定する判定ステップと、
前記判定ステップの判定結果に応じて、復号化済み画像を用いた補間処理と符号化スト
リームに含まれるデータを用いた動き補償処理とを切り替えて復号化画像を生成する画像
生成ステップとを
を備えることを特徴とする画像復号化方法。
【請求項１２】
前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
データを用いた動き補償により復号画像を生成すると判定した場合に、前記画像生成ステ
ップでは、前記復号化対象フレームの復号化対象領域に隣接する複数の画像領域のそれぞ
れが、符号化時に符号化画像領域として処理された領域であるか、符号化時に補間画像領
域として処理された領域であるかにもとづいて、予測ベクトルの算出方法を変更して動き
補償を行って復号化画像生成することを特徴とする請求項１１に記載の画像復号化方法。
【請求項１３】
前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
データを用いた動き補償により復号画像を生成すると判定した場合であって、前記復号化
対象フレームの復号化対象領域に隣接する複数の画像領域のいずれもが、符号化時に補間
画像領域として処理された領域である場合に、前記画像生成ステップでは、前記隣接する
複数の画像領域の復号化時の補間処理に用いた動きベクトルにもとづいて予測ベクトルを
算出し、該予測ベクトルを用いて動き補償を行って復号化画像生成することを特徴とする
請求項１１に記載の画像復号化方法。
【請求項１４】
前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
データを用いた動き補償により復号画像を生成すると判定した場合であって、前記復号化
対象フレームの復号化対象領域に隣接する複数の画像領域の一部が符号化時に符号化画像
領域として処理された領域であって、前記隣接する複数の画像領域の残りの画像領域が、
符号化時に補間画像領域として処理された領域である場合に、前記画像生成ステップでは
、前記符号化時に符号化画像領域として処理された領域において復号時の動き補償におい
て用いた動きベクトルと、前記符号化時に補間画像領域として処理された領域において復
号化時の補間処理に用いた動きベクトルとにもとづいて予測ベクトルを算出し、該予測ベ
クトルを用いて動き補償を行って復号化画像生成することを特徴とする請求項１１に記載
の画像復号化方法。
【請求項１５】
前記判定ステップにおいて前記復号化対象領域の画像を復号化済み画像を用いた補間処
理により生成すると判定した場合に、前記画像生成ステップでは、符号化ストリームに含
まれる動き探索方法判定フラグにもとづいて動き探索方法を決定し、該決定した動き探索
方法にもとづいて復号化済みの複数のフレームの画像を用いて動き探索を行い、該動き探
索により決定した動きベクトルが示す前記復号化済みの複数のフレーム上の画素の画素値
にもとづいて補間対象画素の画素値を算出して補間画像を生成することを特徴とする請求
項１１に記載の画像復号化方法。
【請求項１６】
動画像の復号化方法であって、
符号化ストリームには、復号化対象領域において復号化済み画像を用いた補間処理により生成する画像ブロックが連続して存在する数を示す第１のフラグと、復号化対象領域の画像ブロックについて符号化ストリームに含まれるデータを用いた動き補償処理により復号画像を生成することを示す第２のフラグが含まれており、
前記符号化ストリームからフラグを検出し、検出したフラグが第１のフラグであるか第２のフラグであるかを判定する判定ステップと、
前記判定ステップの判定結果に応じて、第１のフラグが対応する複数の画像ブロックに対して行う復号化済み画像を用いた補間処理と、第２のフラグが対応する画像ブロックに対して行う符号化ストリームに含まれるデータを用いた動き補償処理とを切り替えて復号化画像を生成する画像生成ステップとを
を備えることを特徴とする画像復号化方法。
【請求項１７】
前記復号化済みの複数のフレーム間に１枚のＢピクチャが位置しており、該Ｂピクチャが前記復号化対象フレームである場合であって、前記判定ステップにおいて前記復号化対象領域の画像を補間処理により生成すると判定した場合に、
前記動き探索ステップにおいて用いた前記復号化済みの複数のフレームの画像上の複数の画素値の平均値、または該複数の画素値のそれぞれに前記復号化対象フレームから前記復号化済みの複数のフレームのそれぞれのフレームまでの距離に応じた係数を乗じた値を用いて、前記復号化対象領域の画像上の画素値を算出して前記復号化対象領域の補間画像を生成する補間画像生成ステップとを備えることを特徴とする請求項１に記載の画像復号化方法。
【請求項１８】
前記復号化済みの複数のフレーム間にｍ枚のＢピクチャが位置しており、該ｍ枚のＢピクチャのうちの一つのピクチャが前記復号化対象フレームである場合であって、前記判定ステップにおいて前記復号化対象領域の画像を補間処理により生成すると判定した場合に、
前記動き探索ステップにおいて用いた前記復号化済みの複数のフレームの画像上の複数の画素値のそれぞれに、前記復号化対象フレームから前記復号化済みの複数のフレームのそれぞれのフレームまでの距離に応じた係数を乗じた値を用いて、前記復号化対象領域の画像上の画素値を算出して前記復号化対象領域の補間画像を生成する補間画像生成ステップとを備えることを特徴とする請求項１に記載の画像復号化方法。
【請求項１９】
前記復号化済みの複数のフレーム間に１枚のＢピクチャが位置しており、該Ｂピクチャが前記復号化対象フレームである場合であって、前記判定ステップにおいて前記復号化対象領域の画像を補間処理により生成すると判定した場合に、
前記動き探索ステップにおいて用いた前記復号化済みの複数のフレームの画像上の複数の画素値の平均値、または該複数の画素値のそれぞれに前記復号化対象フレームから前記復号化済みの複数のフレームのそれぞれのフレームまでの距離に応じた係数を乗じた値を用いて、前記復号化対象領域の画像上の画素値を算出して前記復号化対象領域の補間画像を生成する補間画像生成ステップとを備えることを特徴とする請求項１１に記載の画像復号化方法。
【請求項２０】
前記復号化済みの複数のフレーム間にｍ枚のＢピクチャが位置しており、該ｍ枚のＢピクチャのうちの一つのピクチャが前記復号化対象フレームである場合であって、前記判定ステップにおいて前記復号化対象領域の画像を補間処理により生成すると判定した場合に、
前記動き探索ステップにおいて用いた前記復号化済みの複数のフレームの画像上の複数の画素値のそれぞれに、前記復号化対象フレームから前記復号化済みの複数のフレームのそれぞれのフレームまでの距離に応じた係数を乗じた値を用いて、前記復号化対象領域の画像上の画素値を算出して前記復号化対象領域の補間画像を生成する補間画像生成ステップとを備えることを特徴とする請求項１１に記載の画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの符号化技術、復号化技術に関する。
【背景技術】
【０００２】
従来、画像データを圧縮、伝送する符号化技術、復号化技術としては、MPEG（Moving P
icture Experts Group）に代表される国際標準符号化規格がある。例えばＨ.２６４/AVC(
Advanced Video Coding)規格は、国際標準符号化規格の中でも特に符号化効率が高く、地
上デジタル放送、デジタルビデオカメラ、次世代記録メディア、携帯電話等の動画圧縮規
格として幅広く利用されている。このような規格により圧縮したデータは、テレビジョン
受信機やDVDプレーヤー等にて復号し、復号した映像データをディスプレイ上に表示する
。
【０００３】
ここで、特許文献１には、復号した映像データの表示の際に、動画ぼやけや動きの不自
然さを解消するために、符号化ストリームを復号して得た動き量（動きベクトル）と復号
画像とを用いてフレームレート変換を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３３３５４０
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術においては、復号した映像データに対して、フレームレート変
換処理を行っている。しかし、符号化側から動きベクトルや差分画像を復号側に伝送して
いることを前提としたフレームレート変換処理であり、当該フレームレート変換処理は伝
送データ量の削減に寄与しておらず、データ圧縮率の向上が十分でないという課題があっ
た。
【０００６】
本発明は上記課題を鑑みて為されたものであり、その目的は、データ圧縮率を向上する
ことにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一実施の態様は、例えば特許請求の範囲に記載
されるように構成すればよい。
【発明の効果】
【０００８】
本発明によれば、データ圧縮率の向上が可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施例１における画像符号化装置の構成図である。
【図２】図１の符号化部の構成図である。
【図３】図１の補間画像生成部の構成図である。
【図４】実施例１においてピクチャタイプにより、補間フレームと符号化フレームとを決定した例である。
【図５】実施例１における動き探索部での動き探索方法の一例である。
【図６】図３の動き探索部の構成図である。
【図７】図１の補間画像生成部の動作フローチャートである。
【図８】実施例１における符号化データ記憶部に格納されるデータの一例である。
【図９】本発明における動き予測ベクトルの算出例である。
【図１０】実施例１における画像復号化装置の構成図である。
【図１１】図１０の補間画像生成部の構成図である。
【図１２】実施例１の画像復号化装置の動作フローチャートである。
【図１３】実施例２のモード選択部の構成図である。
【図１４】実施例における符号化データ記憶部に格納されるデータの一例である。
【図１５】実施例２の画像復号化装置の動作フローチャートである。
【図１６】実施例３においてピクチャタイプにより、補間フレームと符号化フレームとを決定した例である。
【図１７】実施例３における動き探索部での動き探索方法の一例である。
【図１８】実施例３における補間方向決定部の構成図である。
【図１９】実施例３における符号化データ記憶部に格納されるデータの一例である。
【図２０】実施例３の画像復号化装置の動き探索部の構成図である。
【図２１】実施例３の画像復号化装置の動作フローチャートである。
【図２２】実施例４における符号化データ記憶部に格納されるデータの一例である。
【図２３】実施例４の画像復号化装置の動作フローチャートである。
【図２４】実施例５における符号化データ記憶部に格納されるデータの一例である。
【図２５】実施例６における符号化データ記憶部に格納されるデータの一例である。
【図２６】補間画像の生成方法の第１の変形例の一例である。
【図２７】補間画像の生成方法の第２の変形例の一例である。
【図２８】補間画像の生成方法の第３の変形例の一例である。
【発明を実施するための形態】
【００１０】
以下、図面を用いて本発明の実施例を説明する。
【実施例１】
【００１１】
図１に本発明の実施例１に係る画像符号化装置の例を示す。実施例１に係る画像符号化
装置は、例えば、画像を入力する映像入力部１０１と、入力画像を符号化対象領域に分割
する領域分割部１０２と、領域分割部にて分割した入力画像データを符号化し、局所復号
する符号化部１０３と、符号化部１０３にて局所復号した画像(符号化画像)を時間方向に
間引き、その間引いた画像を補間する補間画像生成する補間画像生成部１０４と、符号化
画像か補間画像かを選択するモード選択部１０５と、符号化画像データやフラグデータを
記録する符号化データ記憶部１０６と、符号化データ記憶部１０６に記憶したデータを可
変長符号化し、符号化ストリームを出力する可変長符号化部１０７とを備える。以下、実
施例１に係る画像符号化装置における各処理部の動作の詳細について述べる。
【００１２】
まず、映像入力部１０１では、入力画像を符号化する順番に並べ変える。順番の並べ替
えは、ピクチャタイプにより、表示順から符号化順に並べ替える。次に、領域分割部１０
２では、符号化対象フレームを符号化対象領域に分割する。分割する領域サイズは、正方
形、長方形領域のようなブロック単位でも、watershed法のような手法を用いて抽出した
オブジェクト単位でもよい。領域分割部１０２にて分割した画像は、符号化部１０３に送
信する。
【００１３】
ここで、図２に、符号化部１０３の構成の詳細を示す。符号化部１０３は、例えば、領
域分割部１０２にて分割した画像と画面内/画面間予測画像選択部２０８にて選択した予
測画像との２０８の差分を算出する差分器２０１と、差分器２０１で生成した差分データ
を周波数変換、量子化する周波数変換・量子化部２０２と、周波数変換・量子化部２０２
が出力したデータを逆量子化、逆周波数変換する逆量子化・逆周波数変換部２０３と、周
波数変換・量子化部２０２にて復号したデータと画面内/画面間予測画像選択部２０８に
て選択した予測画像とを加算する加算器２０４と、加算器２０４にて加算した画像を記憶
する復号画像記憶部２０５と、符号化対象領域の周辺画素にもとづいて予測画像を生成す
る画面内予測部２０６と、マッチング処理により、符号化対象領域と異なるフレームに属
する領域から符号化対象領域に近い画像(参照画像)を検出し、予測画像として生成する画
面間予測部２０７と、画面内予測画像または画面間予測画像のうち符号化効率の高い方を
選択する画面内/画面間予測部２０８とを有する。
【００１４】
以下、符号化部１０３の各処理部の動作の詳細について説明する。周波数変換・量子化
部２０２では、差分画像をDCT(Discrete Cosine transform)やウェーブレット変換等を用
いて周波数変換し、周波数変換後の係数を量子化する。量子化後のデータは、モード選択
部１０５と逆周波数変換・逆量子化部２０３に送信する。逆量子化・逆周波数変換部２０
３では、周波数変換・量子化部２０２にて行った処理の逆処理を行う。次に、加算器２０
４は、画面内/画面間予測画像選択部２０８にて選択した予測画像を、逆量子化・逆周波
数変換部２０３の逆量子化・逆周波数変換により生成した差分画像と加算し、復号画像を
生成する。生成した復号画像は復号画像記憶部２０５に記憶される.画面間予測部２０６
は、復号画像記憶部２０５に記憶した復号済みの周辺領域の画素を用いて予測画像を生成
する。また、画面間予測部２０７は、復号画像記憶部２０５にて記憶した復号済みのフレ
ーム内のデータと入力画像とのマッチング処理により予測画像を生成する。また、復号画
像記憶部２０５は、復号画像を補間画像生成部１０４に送信する。
【００１５】
ここで、図３に、補間画像生成部１０４の構成の詳細を示す。補間画像生成部１０４は
、例えば、補間フレーム決定部３０１、動き探索部３０２、補間画素生成部３０３を有す
る。補間フレーム決定部３０１では、例えば、ピクチャタイプにもとづいて補間するフレ
ーム(補間フレーム)と補間せずに通常の符号化を行うフレーム(符号化フレーム)とを、フ
レーム単位で決定する。
【００１６】
ここで、図４に、補間画像生成部１０４の補間フレーム決定部３０１による補間フレー
ム決定の具体例を示す。図４の横軸は、符号化時の画像の入力順であり、復号時の画像の
表示順である。これに対し、符号化時の符号化処理順・復号化時の復号化処理順は、図４
に示すとおりとなる。すわなち、Ｂピクチャは、当該Ｂピクチャのより表示順が遅いＰピ
クチャよりも後に符号化処理、復号化処理が行われる。
【００１７】
ここで、図５の説明において後述するように、実施例１の補間画素生成部３０３におい
ては、先に符号化処理（復号化時には先に復号化処理が行われる）を行う複数のピクチャ
にもとづいて、表示順において当該複数のピクチャの間に位置するピクチャであるフレー
ムの画素を補間処理により生成する。すなわち、実施例１に係る補間画素生成部３０３の
補間画素生成処理は、符号化処理時または復号化処理時に、前後の表示順のピクチャが符
号化処理済または復号化処理済となるＢピクチャに対して適した処理である。図４の例で
は、
Ｂピクチャ４０２の符号化処理時または復号化処理時には、表示順が前のであるＩピクチ
ャ４０１と表示順が後であるＰピクチャ４０３は既に符号化処理済または復号化処理済で
ある。さらに、Ｂピクチャ４０４の符号化処理時または復号化処理時には、表示順が前の
であるＰピクチャ４０３と表示順が後であるＰピクチャ４０５は既に符号化処理済または
復号化処理済である。
【００１８】
よって、補間フレーム決定部３０１は、図４に示すように、例えば、Ｂピクチャを補間
フレームとし、ＩピクチャやＰピクチャを符号化フレームとする。これにより、補間画素
生成部３０３において、Ｂピクチャの前方向または後方向の最も近いＩピクチャやＰピク
チャにもとづいて、後述する図５の補間処理により、当該Ｂピクチャの画素値を生成する
ことが可能となる。
【００１９】
なお、図４の例では、Ｉピクチャ−Ｐピクチャ間、Ｐピクチャ−Ｐピクチャ間には、１
枚のＢピクチャを挿入するピクチャ構成としたが、符号化時に、フレーム間の輝度、色差
差分を算出し、差分が小さい場合にはフレーム間の相関が高いと判定してＩまたはＰピク
チャ間に挿入するＢピクチャの枚数を増加させても良い。この場合も、Ｂピクチャを補間
フレームとし、ＩピクチャやＰピクチャを符号化フレームとすればよい。このとき、補間
画素生成部３０３において、Ｂピクチャの前方向または後方向の最も近いＩピクチャやＰ
ピクチャにもとづいて、補間処理により各Ｂピクチャの画素値を生成すればよい。
【００２０】
次に、図６を用いて、動き探索部３０２の構成の詳細を説明する。動き探索部３０２は
、図６に示すとおり、予測誤差算出部６０１と動きベクトル決定部６０２とを有する。動
き探索部３０２は、補間フレーム決定部３０１による補間フレームの決定後、補間フレー
ムの画素の画素値を算出するための動き探索を行う。動き探索方法としては、一般的に広
く用いられている領域マッチング法を用いればよい。
【００２１】
次に、図５を用いて、動き探索部３０２の予測誤差算出部６０１、動きベクトル決定部
６０２、および補間画素生成部３０３による補間フレームの画素生成処理の詳細を説明す
る。
【００２２】
図５において、まず予測誤差算出部６０１は、補間フレームnの補間対象画素５０１に
ついて、補間フレームnより表示順が前の符号化フレームn-１内の画素５００の画素値fn-1(x-dx,y-dy)と、補間フレームnより表示順が後の符号化フレームn+１内の画素５０２の
画素値fn+1(x+dx,y+dy)を用いて、数式１に示す予測誤差絶対値和SADn(x,y)を求める。こ
こで、画素５００、画素５０２は、補間対象画素５０１(x,y)と時空間座標において同一
直線上に位置するように決定する。ここでRは補間対象画素が属する画像領域サイズ、ｎ
はフレーム番号、x、ｙは画素座標、ｄｘ、ｄｙ、ｉ、jは画素表の差分、a、ｂは補間対
象画素が属する画像領域の番号を示す。
【００２３】
【数１】
2010154490.tif 000003
【００２４】
次に、動きベクトル決定部６０２は、数式１の予測誤差絶対値和SADn(x,y)が最小とな
る値の組あわせ(dx0,dy0)を求め、補間フレームnより表示順が前の符号化フレームn-１内
の座標(x-dx0,y-dy0)の画素と補間フレームnより表示順が後の符号化フレームn+１内の画
素(x+dx0,y+dy0)の画素とを結ぶ動きベクトルを算出する。
【００２５】
動きベクトル算出後、補間画素生成部３０３は、数式２を用いて、補間フレームの前後
の符号化フレーム内の画素の画素値fn-1(x-dx0,y-dy0)、fn+1(x+dx0,y+dy0)の平均値を算
出し、補間対象画素(x,y)の画素値fn(x,y)を生成する。
【００２６】
【数２】
2010154490.tif 000004
【００２７】
以上説明した図５に示す補間フレームの画素生成処理によれば、表示順が符号化対象フ
レームよりの前後に位置する符号化フレーム内の画素値から、補間フレームの画素を生成
することができる。
【００２８】
なお、数式２の例では、単純な平均値により補間画素値を算出しているが、本発明の補
間画素算出方法は単純平均値に限られるものではない。例えば、符号化フレームn-１と符
号化フレームnの時間的距離、符号化フレームnと符号化フレームn+1の時間的距離が等間
隔でない場合は、それぞれの時間的距離に応じた重み付け係数をそれぞれの画素値に乗じ
てから加算してもよい。すなわち、符号化フレームn-1上の画素値fn-1(x-dx0,y-dy0)と、
符号化フレームn+１上の画素値fn+1(x+dx0,y+dy0)とを変数とする関数により算出される
画素値であればいずれの方法でもよい。
【００２９】
次に、図７を用いて、モード選択部１０５のモード選択部処理の詳細を説明する。モー
ド選択部１０５は、補間フレームの複数の分割領域の各領域ごとに、符号化部１０３が生
成した符号化画像と補間画像生成部１０４が生成した補間画素からなる補間画像とのいず
れかを選択するかを決定する。
【００３０】
まず、モード選択部１０５は、符号化対領域について、動き探索部３０２にて算出した
予測誤差と符号化対象領域の周辺の予測誤差との差分f'(SADn(a,b))を、例えば数式３の
ように計算する(Ｓ７０１)。ここでｎはフレーム番号、a、ｂは補間対象画素が属する画
像領域の番号、k,lは周辺画像領域と補間対象画素が属する画像領域との番号の差を意味
する変数を示す。
【００３１】
【数３】
2010154490.tif 000005
【００３２】
次に、動き探索部３０２で数式１により求めた最小の予測誤差絶対値和SADn(a,b)が閾
値S1以下であるか、または、数式３に示す予測誤差差分絶対値和f'(SADn(a,b))が閾値S2以上か否かを判定する(Ｓ７０２)。これは、予測誤差絶対値和SADn(a,b)が小さい場合に
は、補間画像生成時の動き検出結果の信頼性が高いと考えられるからである。また、予測
誤差差分絶対値和f'(SADn(a,b))が大きい場合には、通常の符号化画像では符号量が多く
発生するが、絵柄の複雑な領域は多少画質が劣化しても視覚的に目立ちにくく、補間画像
を選択した方が有利と考えられるからである。
【００３３】
ここで、ステップ７０２において、条件を満たす場合には、補間画像を選択する(Ｓ７
０３)。このとき、予測領域の種類等のヘッダ情報、動きベクトル、予測誤差データなど
は出力せずに処理を終了する（Ｓ７０５）。一方、ステップ７０２において、条件を満た
さない場合には、符号化画像を選択する（Ｓ７０６）。このとき、予測領域の種類等のヘ
ッダ情報、動きベクトル、予測誤差データを符号化データ記憶部１０６に出力して処理を
終了する。
【００３４】
すなわち、符号化画像が選択された場合には、通常の符号化技術と同様に、予測領域の
種類等のヘッダ情報、動きベクトル、予測誤差データなどが符号化ストリームに含められ
る。これに対し、補間画像が選択された場合は、復号側において、これらのデータが無く
とも図１７において説明した補間処理により復号画像が生成できるため、これらのデータ
は符号化ストリームに含めない。よって、補間画像が選択された場合は、符号化データ量
の低減を図ることが可能となり、圧縮率の向上を実現できる。
【００３５】
以上説明した符号化画像、補間画像のモード選択は、フレーム単位での選択を例に挙げ
て説明した。しかし、補間フレームと選択されたＢピクチャのうち、一部の領域を符号化
画像、その他の領域を補間画像として選択してもよい。当該領域とは、例えば、ブロック
単位などとすればよい。
【００３６】
次に、図８を用いて、従来の符号化技術により符号化したフレームと、実施例１に係る
画像符号化装置および画像符号化方法により符号化されたフレームの符号化データ量の比
較例を説明する。図８において、グレーの領域は符号化画像を選択した領域を示し、白の
領域は補間画像を選択した領域である。
【００３７】
図８(a１)は、従来の符号化技術により符号化したフレームを示している。従来の符号
化技術では補間画像領域は存在しないので、いずれの領域も符号化画像となる。図８(a１
)の例では、２４個の領域全てが符号化画像である。ここで、従来の符号化技術では、原
則として図８(a)のフレームの全ての領域について、予測領域の種類等のヘッダ情報、動
きベクトル、予測誤差データなどの情報を符号化ストリームに格納する。ここで、従来の
符号化技術で符号化されたフレームの符号化ストリームは、図８(a２)のようになる。図
８(a２)の例では２４個の符号化画像全ての領域について、予測領域の種類等のヘッダ情
報、動きベクトル、予測誤差データなどの情報を符号化ストリームに格納している。
【００３８】
これに対し、実施例１に係る画像符号化装置および画像符号化方法により符号化したフ
レームの例を図８(b１)に示す。図８(b１)の例では、２４個の領域のうち８個の領域のみ
において、符号化画像が選択されている。残りの１６個の領域においては、補間画像が選
択されている。ここで、図８(b１)の例に対応する符号化ストリームは、図８(b２)のよう
になる。すなわち、実施例１に係る画像符号化装置および画像符号化方法の符号化処理に
おいては、補間画像が選択され領域については、復号側において、予測領域の種類等のヘ
ッダ情報、動きベクトル、予測誤差データなどの情報は不要であるため、符号化ストリー
ムに含めない。図８(b２)の例では、符号化画像領域の８個の領域についての予測領域の
種類等のヘッダ情報、動きベクトル、予測誤差データなどの情報を符号化ストリームに含
めている。
【００３９】
よって、実施例１に係る画像符号化装置および画像符号化方法によれば、従来の符号化
技術に比べて、符号化ストリームに含まれる符号化データの量を低減することが可能とな
り、符号化圧縮率の向上を図ることが可能となる。
【００４０】
次に、図９と図８を用いて、本発明の実施例１に係る画像符号化装置の可変長符号化部
１０６における動きベクトルの符号化処理について説明する。
【００４１】
まず、従来の符号化技術であるＨ.２６４規格では、符号化対象領域の動きベクトルの
符号化処理においては、符号化対象領域の周辺領域の動きベクトルの中間値から動き予測
ベクトルを算出し、符号化対象領域の動きベクトルと動き予測ベクトルと差分をのみを符
号化データとすることによりデータ量を削減している。
【００４２】
実施例１に係る可変長符号化部１０６においても、動き予測ベクトル(ＰＭＶ)を算出し
、符号化対象領域の動きベクトル(ＭＶ)と動き予測ベクトル(ＰＭＶ)との差分ベクトル（
ＤＭＶ）を算出し、差分ベクトル（ＤＭＶ）を符号化データとする。しかし、図８(b１)
に示したとおり、実施例１に係る画像符号化装置および画像符号化方法により符号化する
フレームには、符号化画像領域と補間画像領域が混在するため、動き予測ベクトル(ＰＭ
Ｖ)の算出方法について従来の符号化技術であるＨ.２６４規格とは異なる方法を行う。
【００４３】
まず、従来のＨ.２６４規格における当該技術の具体例を、図９(a)に示す。Ｈ.２６４
規格では、図９(a)に示すように、符号化対象領域Ｘの動き予測ベクトル(ＰＭＶ)を、符
号化対象領域Ｘの近接領域であって、符号化対象領域Ｘよりも先に符号化した領域Ａ、Ｂ
、Ｃにおいて符号化処理に用いた動きベクトルの中間値(median)を用いて算出する。当該
動き予測ベクトルの算出は符号化処理及び復号化処理において共通の処理を行う必要があ
る。
【００４４】
ここで、本発明の実施例１における動きベクトルの符号化処理について説明する。本発
明の実施例１における動きベクトルの符号化処理は、符号化画像領域と補間画像領域のう
ち、符号化画像領域のみに対して行う処理である。補間画像領域については、復号側にお
いて補間画像のための動き探索を行うので、動きベクトルの符号化処理は不要である。
【００４５】
ここで、本発明の実施例１における動きベクトルの符号化処理においては、図９の符号
化対象領域Ｘに近接するブロックＡ、Ｂ、Ｃ、Ｄが、それぞれ、符号化画像領域であるか
補間画像領域であるかによって、動きベクトルの符号化処理に用いる予測ベクトルの算出
処理を変更する。以下、それぞれの場合についての詳細の処理を説明する。
【００４６】
まず、例えば図９(a)のように、周辺領域Ａ、Ｂ、Ｃがいずれも符号化画像領域である
場合は、従来のＨ.２６４規格と同様に、周辺領域Ａ、Ｂ、Ｃにおいて符号化処理に用い
た動きベクトル（ＭＶA、ＭＶB、ＭＶC）の中間値(median)を用いて動き予測ベクトルを
算出する。
【００４７】
次に、符号化対象領域Xの周辺領域に補間画像領域が含まれる場合(図９(b)(c))につい
て説明する。上述のとおり、補間画像領域については動きベクトルを符号化しない、すな
わち符号化処理で用いた動きベクトルを復号側に送信しない。よって符号化処理に用いた
動きベクトルを動き予測ベクトル(ＰＭＶ)の算出に用いると、復号化において動き予測ベ
クトル(ＰＭＶ)の算出ができなくなる。そこで、実施例１では以下のように動き予測ベク
トル(ＰＭＶ)の算出を行う。
【００４８】
まず、符号化対象領域Xの周辺領域がすべて補間画像領域である場合(図９(b))は、補間
画像生成処理において用いた動きベクトル、すなわち補間画像生成部１０４の動き探索部
３０２にて算出した動きベクトル（ＭＶＣA、ＭＶＣB、ＭＶＣC）を用いる。動き探索部
３０２の動き探索が画素単位である場合などは、各領域について複数の動きベクトルが存
在するため、動きベクトル（ＭＶＣA、ＭＶＣB、ＭＶＣC）は、該複数の動きベクトルの
平均値を用いて算出する。そして、動きベクトル（ＭＶＣA、ＭＶＣB、ＭＶＣC）の中間
値を予測動きベクトル(ＰＭＶ)として算出する。
【００４９】
次に、符号化対象領域Ｘの周辺領域Ａ、Ｂ、Ｃの一部が符号化画像領域であり、一部が
補間画像領域である場合（図９(c)）には、符号化画像領域は符号化処理に用いた動きベ
クトルＭＶ、補間画像領域は補間画像生成処理で用いた動きベクトルＭＶＣを用いて、こ
れらの中間値を予測動きベクトル(ＰＭＶ)として算出する。
【００５０】
すなわち、（図９(c)）の例では、周辺領域Ａ、Ｃが符号化画像領域であり、周辺領域
Ｂが補間画像領域である。この場合は、図９(c)(１)に示すように動きベクトル（ＭＶA、
ＭＶＣB、ＭＶC）の中間値を予測動きベクトル(ＰＭＶ)として算出する。
【００５１】
また、符号化対象領域Ｘの周辺領域Ａ、Ｂ、Ｃの一部が符号化画像領域であり、一部が
補間画像領域である場合（図９(c)）の予測動きベクトル(ＰＭＶ)の算出の変形例として
、符号化画像領域の動きベクトルを優先的に選択して用いてもよい。例えば、（図９(c)
）の例において、符号化対象領域Ｘの左上に位置する周辺領域Ｄが、符号化画像領域であ
る場合は、補間画像領域である周辺領域ＢのＭＶＣBを用いずに、周辺領域Ｄの符号化処
理に用いた動きベクトルＭＶDを用いる。そして、動きベクトル（ＭＶA、ＭＶC、ＭＶD）
の中間値を予測動きベクトル(ＰＭＶ)として算出する。
【００５２】
また、周辺領域Ａ、Ｂ、Ｃ、Ｄのうち、符号化画像領域が２つである場合には、当該２
つのの動きベクトルＭＶの平均値を予測動きベクトル(ＰＭＶ)とすればよい。また、周辺
領域Ａ、Ｂ、Ｃ、Ｄのうち、符号化画像領域が１つである場合には、当該１つのの動きベ
クトルＭＶそのものを予測動きベクトル(ＰＭＶ)とすればよい。
【００５３】
このように、符号化画像領域の動きベクトルを優先的に選択することにより、符号化側
での補間画像生成処理の動き探索と復号化側での補間画像生成処理の動き探索との探索誤
差の影響を低減することが可能となる。
【００５４】
以上、説明した実施例１に係る画像符号化装置及び画像符号化方法によれば、従来の符
号化装置及び符号化方法よりも、データ圧縮率を向上することが可能となる。
【００５５】
次に、図１０を用いて、実施例１に係る画像復号化装置について説明する。実施例１に
係る画像復号化装置は、例えば、符号化側から送られた符号化データを復号する可変長復
号部１００１と、可変長復号したデータを構文解析する構文解析部１００２と、構文解析
部１００２の解析結果や、補間画像生成部１００７による予測誤差算出結果などにもとづ
いて復号化処理を行うか補間画像生成処理を行うかを判定するモード判定部１００９と、
構文解析部１００２が送信したデータを逆量子化、逆周波数変換する逆量子化・逆周波数
変換部１００３と、逆量子化・逆周波数変換部１００３が出力したデータと動き補償部１
００６により生成した予測画像とを加算する加算器１００４と、加算器１００４から出力
したデータを記憶する復号画像記憶部１００５と、復号画像記憶部１００５にて記憶した
データ間で動き補償を行う動き補償部１００６と、構文解析部１００２と復号画像記憶部
１００５から取得したデータとを用いて動き探索処理と補間画素生成処理を行って補間画
像を生成する補間画像生成部１００７と、補間画像生成部１００７の生成した補間画像ま
たは加算器１００４が生成する復号画像のいずれかを、映像表示装置などに出力する出力
部１００８とを備える。
【００５６】
以下、実施例１に係る画像復号化装置における各処理部の動作の詳細について述べる。
【００５７】
まず、図１１を用いて、補間画像生成部１００７の詳細について説明する。補間画像生
成部１００７は、動き探索部１１０１と補間画素生成部１１０２とを有する。動き探索部
１１０１は、図３の動き探索部３０２と同様の処理を行い、補間画素生成部１１０２は、
図３の補間画素生成部３０３と同様の処理を行う。また、動き探索部１１０１は、動き探
索部３０２と同様に、図６に示す予測誤差算出部６０１、動きベクトル決定部６０２とを
備え、符号化処理時と同様に予測誤差算出処理と動きベクトル算出処理を行う。当該予測
誤差算出処理と動きベクトル算出処理、および動き探索部３０２と補間画素生成部３０３
とによる補間画像生成処理は、図５等を用いて既に説明したとおりであるので説明を省略
する。
【００５８】
次に、図１２を用いて、実施例１の画像復号化装置による画像復号化方法の処理の流れ
を説明する。当該処理は、例えば領域ごとに行う。まず、符号化ストリームを可変長復号
部１００１にて復号し、構文解析部１００２に送る（Ｓ１２０１）。次に構文解析部１０
０２にて、復号したストリームデータの構文分けを行い、符号化データを逆量子化・逆周
波数変換部１００３と補間画像生成部１００７へ送信する（Ｓ１２０２）。次に構文解析
部１００２にて符号化対象フレームのピクチャタイプを判定し、符号化対象フレームが、
符号化フレームであるか補間フレームであるかを判定する（Ｓ１２０３）。符号化対象フ
レームが補間フレームの場合には、補間画像生成部１００７が、復号化対象領域について
、対象フレームに対して表示時間順で前後にある複数の復号化済み画像領域を用いて動き
探索処理を行う(Ｓ１２０４)。動き探索部１１０１では、図３の動き探索部３０２と同様
の処理により、最小の予測誤差絶対値和SADn(a,b)の算出と動きベクトルを決定する。次
に、モード判定部１００９は、動き探索部１１０１が算出した予測誤差絶対値和と復号化
対象領域の周辺の予測誤差絶対値和との差分f'(SADn(a,b))を算出する（Ｓ１２０５）。
次に、モード判定部１００９は、動き探索部１１０１が算出した最小の予測誤差絶対値和
SADn(a,b)が閾値S1以下であるか否か、または周辺の予測誤差絶対値和との差分f'(SADn(a
,b))が閾値S2以上であるか否かを判定する（Ｓ１２０６）。予測誤差絶対値和SADn(a,b)
が閾値S1以下である場合、または予測誤差差分絶対値和f'(SADn(a,b))が閾値S2以上であ
る場合は、復号化対象領域が補間画像領域であると判定する。その他の場合は、復号化対
象領域が符号化画像領域として符号化された領域であると判定する。
【００５９】
ここで、モード判定部１００９により復号化対象領域が補間画像領域であると判定され
た場合は、補間画像生成部１００７の補間画素生成部１１０２が補間画素を生成し、補間
画像の生成処理により画像が生成され、復号画像記憶部１０６に記憶される（Ｓ１２０７
）。
【００６０】
一方、符号化対象フレームが補間フレームでない場合（符号化フレームである場合）、
または、モード判定部１００９により、復号化対象領域が符号化画像領域として符号化さ
れた領域であると判定された場合は、逆量子化・逆周波数換部１００３が構文解析部１０
０２から取得した符号化データに逆量子化・逆周波数換処理を行い、差分データを復号す
る（Ｓ１２０８）。次に、動き補償部１００６が構文解析部１００２から取得したヘッダ
情報、動きベクトルなどを用いて動き補償処理を行い、予測画像生成する（Ｓ１２０９）
。次に、加算器１００４が、動き補償部１００６が生成した予測画像と逆量子化・逆周波
数変換部１００３が出力した差分データ生成して復号画像を生成して復号画像記憶部１０
６に記憶する（Ｓ１２１０）。最後に出力部１００８により、ステップ１２０７において
生成された補間画像またはステップ１２１０において生成された復号画像が出力され（Ｓ
１２１１）、処理を終了する。
【００６１】
なお、ステップ１２０９において、当該符号化領域が画面間予測である場合は、動き補
償部１００６は、復号対象領域の周辺領域の動きベクトルにもとづいて動き予測ベクトル
(ＰＭＶ)を算出し、符号化データに格納される差分ベクトル（ＤＭＶ）と加算して、復号
化対象領域の動きベクトル(ＭＶ)を生成し、当該動きベクトル(ＭＶ)にもとづいて動き補
償処理を行う。ここで、上記動き予測ベクトル(ＰＭＶ)の算出処理は、図９を用いて説明
した符号化側での動き予測ベクトル(ＰＭＶ)の算出処理と同様の処理を行えばよいので説
明を省略する。
【００６２】
以上説明した実施例１の画像復号化装置および画像復号化方法によれば、従来の符号化
装置及び符号化方法よりもデータ圧縮率を向上することが可能な符号化方法により符号化
されたデータを好適に復号化することができる。
【００６３】
以上説明した実施例１の画像符号化装置および画像符号化方法、ならびに画像復号化装
置および画像復号化方法によれば、データ圧縮率を向上した符号化データを生成し、当該
符号化データを好適に復号化することが可能となる。
【実施例２】
【００６４】
次に、本発明の実施例２について説明する。本発明の実施例２では、実施例１と異なり
、符号化側において符号化対象領域ごとに、符号化画像を選択したか、補間画像を選択し
たかを示すフラグデータを符号化ストリームに含める。これにより、復号側において、復
号化対象領域について、符号化画像を選択した領域か、補間画像を選択した領域かを容易
に判別することができる。よって、復号化時の処理を簡略化し、処理量を低減する。以下
、実施例２の詳細を説明する。
【００６５】
実施例２に係るに係る画像符号化装置は、実施例１の画像符号化装置における図１のモ
ード選択部１０５を図１３のモード選択部１３０４に置き換えたものである。その他の部
分の構成、動作は実施例１の動作と同様であるので説明を省略する。
【００６６】
モード選択部１３０４では、まず、領域分割部１０２にて分割した入力画像と補間画像
生成部１０４にて生成した補間画像との差分を差分値絶対値算出部１３０１にて算出する
。同様に、領域分割部１０２にて分割した入力画像と符号化部１０３にて生成した符号化
画像との差分を差分絶対値算出部１３０２にて算出する。次に、判定部１３０３にて、差
分絶対値１３０１、１３０２にて算出した差分絶対値の小さい方を選択して、判定フラグ
(モード判定フラグ)を出力する。モード判定フラグは、例えば、符号化画像を選択した場
合には０、補間画像を選択した場合には１とすればよい。
【００６７】
ここで、図１４に実施例２の画像符号化装置における符号化データ記憶部１０６のデー
タの一例を示す。図１４に示すように、符号化対象領域ごとに、符号化画像を選択したか
補間画像を選択したかを示す１ビットのフラグデータを付加する形となっている。すなわ
ち、実施例２の画像符号化装置から出力される符号化ストリームには、符号化対象領域ご
とに、符号化画像を選択したか、補間画像を選択したかを示すフラグデータが含まれる。
これにより、復号側において、実施例１に示すような予測誤差絶対値和SADn(a,b)や予測
誤差差分f'(SADn(a,b))の算出処理や比較処理を行わなくとも、復号化対象領域について
、符号化画像を選択した領域か、補間画像を選択した領域かを判別することができる。よ
って、復号化時の処理を簡略化し、処理量を低減することが可能となる。
【００６８】
以上、説明した実施例２に係る画像符号化装置および画像符号化方法によれば、実施例
１と異なり、符号化対象領域ごとに符号化画像を選択したか、補間画像を選択したかを示
すフラグデータを出力符号化ストリームに含める。これにより、復号側において、復号化
対象領域について、符号化画像を選択した領域か補間画像を選択した領域かを容易に判別
することができる。よって、復号化時の処理を簡略化し、処理量を低減することが可能と
なる。
【００６９】
次に、実施例２に係る画像復号化装置について説明する。実施例２の復号装置の構成は
、実施例１の図１０と同様であるので説明を省略する。
【００７０】
ここで、図１５を用いて実施例２の画像復号化装置における処理の流れを説明する。
【００７１】
実施例２に係る画像復号化装置には、図１４に示すような符号化対象領域ごとに、符号
化画像を選択したか補間画像を選択したかを示すフラグデータが含まれる符号化ストリー
ムが入力される。まず、当該符号化ストリームを可変長復号部１００１にて復号し、構文
解析部１００２に送る（Ｓ１５０１）。次に構文解析部１００２にて、復号したストリー
ムデータの構文分けを行い、ヘッダ情報やモード判定フラグをモード判定部１００９へ送
信し、符号化データを逆量子化・逆周波数変換部１００３へ送信する（Ｓ１５０２）。次
に、構文解析部１００２またはモード判定部１００９にて符号化対象フレームのピクチャ
タイプにより符号化対象フレームが符号化フレームであるか補間フレームであるかを判定
する(Ｓ１５０３)。
【００７２】
ここで、符号化対象フレームが補間フレームの場合は、モード判定部１００９は、復号
化対象領域について、構文解析部１００２より送信されたモード判定フラグが１であるか
０であるかの判定を行う（Ｓ１５０４）。モード判定フラグが１（補間画像が選択された
領域を示す）である場合は、復号化対象領域が補間画像領域であると判定する。モード判
定フラグが０（符号化画像が選択された領域を示す）である場合は、復号化対象領域が符
号化画像領域として符号化された領域であると判定する。
【００７３】
ここで、モード判定部１００９により復号化対象領域が補間画像領域であると判定され
た場合は、補間画像生成部１００７の動き探索部１１０１が動き探索を行う（Ｓ１５０５
）。次に、動き探索部１１０１の動き探索結果にもとづいて、補間画素生成部１１０２が
補間画素を生成し、補間画像の生成処理により画像が生成され、復号画像記憶部１０６に
記憶される（Ｓ１５０６）。
【００７４】
一方、符号化対象フレームが補間フレームでない場合（符号化フレームである場合）、
または、モード判定部１００９により、復号化対象領域が符号化画像領域として符号化さ
れた領域であると判定された場合は、逆量子化・逆周波数換部１００３が構文解析部１０
０２から取得した符号化データに逆量子化・逆周波数換処理を行い、差分データを復号す
る（Ｓ１５０７）。次に、動き補償部１００６が構文解析部１００２から取得したヘッダ
情報、動きベクトルなどを用いて動き補償処理を行い、予測画像生成する（Ｓ１５０８）
。次に、加算器１００４が、動き補償部１００６が生成した予測画像と逆量子化・逆周波
数変換部１００３が出力した差分データ生成して復号画像を生成して復号画像記憶部１０
６に記憶する（Ｓ１５０９）。最後に出力部１００８により、ステップ１２０７において
生成された補間画像またはステップ１２１０において生成された復号画像が出力され（Ｓ
１５１０）、処理を終了する。
【００７５】
以上説明した実施例２の画像復号化装置および画像復号化方法によれば、実施例１の効
果に加えて、実施例１に示すような予測誤差絶対値和SADn(a,b)や予測誤差差分絶対値和f
'(SADn(a,b))の算出処理や比較処理を行わなくとも、復号化対象領域について、符号化画
像を選択した領域か、補間画像を選択した領域かを判別することができる。よって、復号
化時の処理を簡略化し、処理量を低減することが可能となる。
【００７６】
以上説明した実施例２の画像符号化装置および画像符号化方法、ならびに画像復号化装
置および画像復号化方法によれば、データ圧縮率を向上した符号化データを生成し、当該
符号化データを好適に復号化することが可能となる。
【実施例３】
【００７７】
次に、本発明の実施例３について説明する。本発明の実施例１では、補間画像生成部１
０４において、図４および図５に示したように、先に符号化処理（復号化時には先に復号
化処理が行われる）を行う複数のピクチャにもとづいて、表示順において当該複数のピク
チャの間に位置するピクチャであるフレームの画素を補間処理（以下、内挿補間と称する
）により生成していた。
【００７８】
これに対し、本発明の実施例３では、先に符号化処理（復号化時には先に復号化処理が
行われる）を行う複数のピクチャにもとづいて、表示順において当該複数のピクチャの前
または後に位置するピクチャであるフレームの画素を補間処理により生成する補間処理（
以下、外挿補間と称する）を追加する。
【００７９】
以下に実施例３の画像符号化装置について、詳細な構成および動作を説明する。
【００８０】
実施例３に係るに係る画像符号化装置は、実施例１の画像符号化装置において、補間画
像生成部１０４に後述する後方補間による補間画像生成処理動作を追加し、当該補間画像
生成部１０４の後に補間方向決定部１８０５を追加したものである。その他の部分の構成
、動作は実施例１の動作と同様であるので説明を省略する。
【００８１】
ここで、追加される外挿補間処理には、前方補間処理と後方補間処理の２種類がある。
それぞれの補間処理についての画像符号化装置の補間画像生成部１０４における動作を説
明する。
【００８２】
まず、前方補間処理について説明する。ここでは、図１６(ａ)に示す入力画像において
、補間フレーム１６０３よりも表示順において前方に位置する２枚の符号化フレーム１６
０１、１６０２を用いて、補間フレーム１６０３（Ｂピクチャ）の補間画像を生成する例
を説明する。
【００８３】
この場合、補間フレームの画素を求めるために、動き探索部３０２において以下に述べ
る動き探索を行う。図１７(a)に示すように補間フレーム１６０３の前に表示される２枚
の符号化フレーム（１６０１、１６０２）内の画素値を用いて、数式４に示す予測誤差絶
対値和SADn(a,b)を求める。具体的には、符号化フレーム１６０１上の画素１７００の画
素値fn-2(x-2dx,y-2dy)、と、符号化フレーム１６０２上の画素１７０１の画素値fn-1(x-
dx,y-dy)、とを用いる。ここでRは補間対象画素が属する対象領域のサイズである。
ここで、符号化フレーム１６０１上の画素１７００と、符号化フレーム１６０２上の画素
１７０１は、補間フレーム１６０３上の補間対象画素１７０２と時空間座標上で同一直線
上に位置するように決定する。
【００８４】
【数４】
2010154490.tif 000006
【００８５】
次に、数式４に示す予測誤差絶対値和が最小となる位置(dx,dy)を求め、実施例１で述
べた補間画素生成部３０３と同様の処理により補間画素を生成する。
【００８６】
以上により、前方補間処理による補間画素の生成が実現できる。
【００８７】
なお、上記の前方補間補間処理は、表示順において前に位置する２つの符号化フレーム
が先に符号化・復号化されていれば適用できるので、図１６(ｂ)のように補間フレーム１
６０３（Ｐピクチャ）の場合にも適用可能である。
【００８８】
次に、後方補間処理について説明する。ここでは、図１６(ａ)に示す入力画像において
、補間フレーム１６０３よりも表示順において後方に位置する２枚の符号化フレーム１６
０３、１６０４を用いて、補間フレーム１６０３の補間画像を生成する例を説明する。
【００８９】
この場合、補間フレームの画素を求めるために、動き探索部３０２において以下に述べ
る動き探索を行う。図１７(ｂ)に示すように補間フレーム１６０３の後に表示される２枚
の符号化フレーム（１６０４、１６０５）内の画素を用いて数式５に示す予測誤差絶対値
和SADn(x,y)を求める。具体的には、符号化フレーム１６０４上の画素１７１１の画素値f
n+1(x+dx,y+dy)、と、符号化フレーム１６０５上の画素１７１２の画素値fn+2(x+2dx,y+2
dy)とを用いる。ここでRは補間対象画素が属する対象領域のサイズである。
ここで、符号化フレーム１６０４上の画素１７１１と、符号化フレーム１６０５上の画素
１７１２は、補間フレーム１６０３上の補間対象画素１７１０と時空間座標上で同一直線
上に位置するように決定する。
【００９０】
【数５】
2010154490.tif 000007
【００９１】
次に、数式５に示す予測誤差絶対値和が最小となる位置(dx,dy)を求め、実施例１で述べ
た補間画素生成部３０３と同様の処理により補間画素を生成する。
【００９２】
以上により、後方補間処理による補間画素の生成が実現できる。
【００９３】
補間画像生成部１０４では、上述の２種類の後方補間処理と実施例１と同様の前方補間
処理を行い、３種類の補間画像を生成する。
【００９４】
次に、図１８に示す補間方向決定部１８０５にて動き探索方法の判定を行う。以下、補
間方向決定部１８０５の処理を説明する。まず、実施例１で述べた双方向の動き探索を行
って生成した補間画像と入力画像との差分絶対値を差分絶対値算出部１８０１にて算出す
る。次に本実施例で述べた前方向の動き探索を行って生成した補間画像と入力画像との差
分絶対値を差分絶対値算出部１８０２にて算出する。また、後方向の動き探索を行って生
成した補間画像と入力画像との差分絶対値を差分絶対値算出部１８０３にて算出する。次
に、動き探索方向判定部１８０４にて、入力画像と補間画像との差分が小さくなる補間画
像を選択し、選択した結果を動き探索方向判定フラグとして出力する。動き探索方向判定
フラグは例えば双方向では００、前方向では０１、後方向では１０といったよう２ビット
のデータとすればよい。このように生成した動き探索方向判定フラグは、符号化データ記
憶部１０６に送信する。
【００９５】
図１９に符号化データ記憶部１０６に記憶するデータの一例を示す。図１９に示すよう
に、補間画素領域において、どの方向から補間画像を生成したかを判定するフラグデータ
が付加される。すなわち、実施例３の画像符号化装置から出力される符号化ストリームに
は、補間画像が選択された領域について補間画像を生成するための補間方向を示すフラグ
データが含まれる。
【００９６】
これにより、補間画像の生成方法の種類を増やすことが可能となり、Ｂピクチャに加え
てＰピクチャも補間対象フレームとすることが可能となるため、よりデータを削減するこ
とが可能となる。
【００９７】
また、Ｂピクチャにおいては、補間対象フレームの前後のフレームによる双方向補間に
加えて、前方向の２枚の符号化フレームから補間画像を生成する前方補間、後方向の２枚
の符号化フレームから補間画像を生成する後方補間を行うことができるので、画質向上が
期待できる。
【００９８】
特に、背景と前景で異なる動きをする画像では、双方向のみから補間画像を生成する場
合に、背景が前景に隠れて見えない領域（オクルージョン領域）において画質劣化が顕著
になるが、前方向または後方向の外挿補間により、この画質劣化の課題を解決できる。
【００９９】
以上、説明した実施例３に係る画像符号化装置および画像符号化方法によれば、実施例
１と異なり、補間画像を生成するための補間方向を示すフラグデータを出力符号化ストリ
ームに含める。これにより、復号側において行う補間処理の種類を増やすことが可能とな
り、Ｂピクチャに加えてＰピクチャも補間対象フレームとすることが可能となるため、よ
りデータを削減することが可能となる。また、Ｂピクチャの補間画像の高画質化も可能と
なる。
【０１００】
次に、実施例３に係る画像復号化装置について説明する。実施例３の復号化装置の構成
は、実施例１の図１１の動き探索部１１０１を図２０の動き探索部２００５に置き換えた
ものであり、その他の部分に関しては実施例１と同様であるので説明を省略する。
【０１０１】
実施例３の復号装置における動き探索部２００５は、動き探索方法決定部２００１、動
き探索部２００２、予測誤差算出部２００３、動きベクトル決定部２００４から構成され
る。動き探索方法決定部２００１では、構文解析部１００２から送られる動き探索方向判
定フラグの情報により双方向、前方向、後方向の動き探索方法を決定する。動き探索方法
を決定した後、動き探索部２００２、予測誤差算出部２００３、動きベクトル決定部２０
０４にて、動き探索、予測誤差算出、動きベクトル決定を行う。双方向探索については実
施例１と同様に行えばよい、前方向探索、後方向探索については、本実施例の画像符号化
装置の前方向探索、後方向探索と同様の処理を行えばよい。
【０１０２】
次に、図２１に実施例３の画像復号化装置における処理の流れを示す。
【０１０３】
最初に、符号化ストリームを可変長復号部１００１にて可変長復号し、構文解析部１０
０２に送る（Ｓ２１０１）。次に構文解析部１００２にて、復号したストリームデータの
構文分けを行い、符号化データを逆量子化・逆周波数変換部１００３、補間画像生成部１
００７へ送信する（Ｓ２１０２）。次に、構文解析部１００２にて符号化対象フレームの
ピクチャタイプを判定する(Ｓ２１０３)。符号化対象フレームが補間フレームの場合には
、復号化対象領域について、構文解析部１００２から送信される動き探索方向判定フラグ
にもとづいて、動き探索方法決定部２００１が、双方向、前方向、または後方向などの動
き探索方向から、一つの動き探索方向を用いる動き探索方法の決定を行う(Ｓ２１０４)。
動き探索方法を決定した後、動き探索部２００５にて動き探索を実施する(Ｓ２１０５)。
動き探索部２００５では、予測誤差絶対値和と動きベクトルの算出とともに実施例１の動
き探索部１１０１と同様の処理により予測誤差差分絶対値和を算出する（Ｓ２１０６）。
次に、予測誤差絶対値和差が閾値S1以下または予測誤差差分絶対値和が閾値S2以上の場合
には補間画像生成部１１０２が、実施例１と同様の処理により補間画素を生成する（Ｓ２
１０８）。一方、符号化対象フレームが補間フレームでない場合と、Ｓ２１０７の条件を
満たさない場合には、逆量子化・逆周波数変換部１００３にて、逆量子化、逆周波数変換
を行い、動き補償部１００６からのデータを加算した後、復号画像記憶部１００５にデー
タを記憶する。次に、復号画像記憶部１００６に記憶しているデータを用いて動き補償部
１００６にて動き補償を実施する（Ｓ２１０９）。動き補償部１００６では、復号画像記
憶部１００５にて記憶した復号化画像と構文解析部１００２から送信される動きベクトル
を用いて動き補償を行い、復号化画像を生成し、復号画像記憶部１００５に記憶する（Ｓ
２１１１）。上記方法により生成した復号化画像または補間画像を映像表示装置１００８
に出力し(Ｓ２１１１)、処理を終了する。
【０１０４】
以上説明した実施例３の画像復号化装置および画像復号化方法によれば、符号化ストリ
ームに含まれる動き探索方向判定フラグを用いた処理を行うことにより、複数種類の補間
処理に対応することか可能となる。さらに、当該複数種類の補間処理についての復号側で
の動き探索処理を１回で済ませることができ、処理量を大きく削減することができる。
【０１０５】
以上説明した実施例３の画像符号化装置および画像符号化方法、ならびに画像復号化装
置および画像復号化方法によれば、データ圧縮率を向上した符号化データを生成し、当該
符号化データを好適に復号化することが可能となる。
【実施例４】
【０１０６】
次に、本発明の実施例４に係る画像符号化装置について説明する。実施例４に係る画像
符号化装置は、実施例１の画像符号化装置に、実施例２のモード選択部１３０４と実施例
３の動き探索部３０２と補間方向決定部１８０５とを備える符号化装置である。すなわち
、実施例４の画像符号化装置は、符号化ストリームにモード判定フラグと動き探索方向判
定フラグを含めて出力する。
【０１０７】
実施例４の符号化装置の各構成および各処理内容は、実施例１、実施例２、実施例３に
記載した各構成および各処理内容と同様であるので説明を省略する。
【０１０８】
ここで、図２２に実施例４における符号化データ記憶部１０６に記憶するデータの一例
を示す。図２２に示すように、各分割領域において、符号化画像領域か補間画像領域かを
判定するモード判定フラグを付加し、さらに補間画像領域において双方向、前方向、後方
向の動き探索方法の判定を行う動き探索方向判定フラグを付加する。
【０１０９】
これにより、復号化時の処理を簡略化し、処理量を低減するという実施例２の効果と、
Ｂピクチャに加えてＰピクチャも補間対象フレームとしてデータ量をより低減し、またＢ
ピクチャの画質を向上する実施例３の効果とを備える画像符号化装置および画像符号化方
法を実現することが可能となる。
【０１１０】
次に、実施例４の画像復号化装置について説明する。実施例４の画像復号化装置の構成
は、実施例３と同様であるので説明を省略する。
【０１１１】
図２３を用いて実施例２の復号装置における復号対象領域画像の処理の流れを説明する
。最初に、符号化ストリームを可変長復号部１００１にて復号し、構文解析部１００２に
送る（Ｓ２３０１）。次に構文解析部１００２にて、復号したストリームデータの構文分
けを行い、モード判定フラグや動き探索方向判定フラグ、符号化データを逆量子化・逆周
波数変換部１００３、補間画像生成部１００７へ送信する（Ｓ２３０２）。次に、構文解
析部１００２にて符号化対象フレームのピクチャタイプから符号化対象フレームが符号化
フレームか補間フレームかを判定する(Ｓ２３０３)。符号化対象フレームが補間フレーム
の場合には、復号化対象領域について、構文解析部１００２より送信されたモード判定フ
ラグが１（復号化対象領域が補間画像であることを示す）であるかの判定を行う（Ｓ２３
０４）。モード判定フラグが１の場合には、動き探索方法決定部２００１が構文解析部１
００２より送信された動き探索方向判定フラグにもとづいて、補間処理についての動き探
索方向を決定（Ｓ２３０５）し、動き探索部２００２、予測誤差算出部２００３、動きベ
クトル決定部２００４が動き探索、予測誤差算出、動きベクトル決定を行い(Ｓ２３０６)
、決定した動きベクトルを用いて、補間画素生成部１１０２が補間画素を生成することに
より、補間画像を生成する(Ｓ２３０７)。
【０１１２】
一方、符号化対象フレームが補間フレームでない場合と、Ｓ２１０７の条件を満たさな
い場合には、逆量子化・逆周波数変換部１００３にて、逆量子化、逆周波数変換を行い、
動き補償部１００６からのデータを加算した後、復号画像記憶部１００５にデータを記憶
する。次に、復号画像記憶部１００６に記憶しているデータを用いて動き補償部１００６
にて動き補償を実施する（Ｓ２３０９）。動き補償部１００６では、復号画像記憶部１０
０５にて記憶した復号化画像と構文解析部１００２から送信される動きベクトルを用いて
動き補償を行い、復号化画像を生成し、復号画像記憶部１００５に記憶する(Ｓ２３１０)
。上記方法により生成した復号化画像または補間画像を映像表示装置１００８に出力し(
Ｓ２３１１)、処理を終了する。
【０１１３】
以上説明した実施例４の画像復号化装置および画像復号化方法によれば、復号化時の処
理を簡略化し、処理量を低減するという実施例２の効果と、符号化ストリームに含まれる
動き探索方向判定フラグを用いた処理を行うことにより、複数種類の補間処理に対応する
ことが可能であり、当該複数種類の補間処理についての復号側での動き探索処理を１回で
済ませることができ、処理量を大きく削減するという実施例３の効果を有する画像復号化
装置および画像復号化方法を実現することが可能となる。
【０１１４】
以上説明した実施例４の画像符号化装置および画像符号化方法、ならびに画像復号化装
置および画像復号化方法によれば、データ圧縮率を向上した符号化データを生成し、当該
符号化データを好適に復号化することが可能となる。
【実施例５】
【０１１５】
次に、本発明の実施例５に係る画像符号化装置について説明する。実施例５に係る画像符号化装置は、実施例２の画像符号化装置と同様の構成を備えるが、実施例２のモード選択部１３０４が画像ブロック毎にモード判定フラグを生成するのに対し、実施例５のモード選択部１３０４は、復号化対象領域が補間画像であるブロック（補間画像モードブロック）が複数個連続する場合には、その補間画像モードブロックが連続する数を示すフラグ（補間画像モード連続ブロック数フラグ）を生成し、当該複数個連続した補間画像モードブロックについて、一つの補間画像モード連続ブロック数フラグを符号化ストリームに含めて出力する。実施例５に係る画像符号化装置のその他の各構成および各処理内容は、実施例１及び実施例２に記載した各構成および各処理内容と同様であるので説明を省略する。
【０１１６】
また、復号化対象領域が符号化画像であるブロックについては、当該ブロックが補間画像モード以外のモードであることを示す補間画像モード以外モードフラグを生成して出力する。補間画像モード以外モードフラグは、単に補間画像モード以外のモードであることを示しても良いが、符号化モードの種類自体(マクロブロックタイプ等)を示してもよい。
【０１１７】
ここで、図２４に実施例５の画像符号化装置における符号化データ記憶部１０６のデータの一例を示す。図２４(a)は実施例２の画像符号化装置が生成するデータであり、図２４(b)は実施例５の画像符号化装置が生成するデータである。
【０１１８】
図に示すように、図２４(a)の実施例２のデータでは、多数の連続するモード判定フラグが存在する。これに対し、図２４(b)の実施例５のデータでは、補間画像モードブロックが連続する部分には、一つの補間画像モード連続ブロック数フラグのみが挿入される。図２４(b)において、補間画像モード連続ブロック数フラグに対応して矢印で示される数字は、補間画像モード連続ブロック数フラグが示す連続する補間画像モードブロックの数の例である。具体的には、図２４(b)の例では、補間画像モード連続ブロック数フラグ２４０１は、「４」という数を示しており、これは、４つのブロックa、ｂ、ｃ、ｄが連続して補間画像モードブロックであることを示している。同様に、補間画像モード連続ブロック数フラグ２４０２は、「１」という数を示しており、これは、ブロックeが一つだけ補間画像モードブロックであることを示している。また同様に、補間画像モード連続ブロック数フラグ２４０３は、「５」という数を示しており、これは、５つのブロックｆ、ｇ、ｈ、ｉ、ｊが連続して補間画像モードブロックであることを示している。図２４(b)の実施例５のデータは、このように、補間画像モード連続ブロック数フラグをもちいることで、ブロック毎にモード判定フラグを付加する図２４(a)の実施例２のデータよりもデータ量を削減することが可能となる。なお、復号化対象領域が符号化画像であるブロックのそれぞれのブロックについては補間画像モード以外モードフラグが挿入される。
【０１１９】
以上説明した実施例５の画像符号化装置および画像符号化方法によれば、復号化時の処理を簡略化し、処理量を低減するという実施例２の効果に加え、補間画像モード連続ブロック数フラグにより、複数のブロックのモードを一つのフラグで示すことを可能とし、符号化データ量を削減することが可能となる。
【０１２０】
次に、本発明の実施例５に係る画像復号化装置について説明する。本発明の実施例５に係る画像復号化装置の構成は、実施例２に係る画像復号化装置と同様の構成であるので説明を省略する。但し、本発明の実施例５に係る画像復号化装置における処理の流れは、図１５に示す実施例２の画像復号化装置における処理の流れから以下の点で相違する。以下の点以外は図１５に示す流れと同様であるので、別図による説明は省略する。すなわち、実施例２では、図１５のＳ１５０４においてモード判定フラグが１であれば、Ｓ１５０５以降の補間画像の生成処理を行い、モード判定フラグが０であれば、Ｓ１５０７以降の画像復号化処理を行う。
【０１２１】
これに対し、実施例５では、図１５のＳ１５０４において、フラグを検出して、補間画像モード連続ブロック数フラグであるか、補間画像モード以外モードフラグであるかを判別する。検出したフラグが補間画像モード連続ブロック数フラグである場合には、当該補間画像モード連続ブロック数フラグに示される数の連続するブロックについてＳ１５０５以降の補間画像の生成処理を行う。フラグが補間画像モード以外モードフラグである場合には、当該フラグが対応するブロックについてＳ１５０７以降の画像復号化処理を行う。これにより、フラグが補間画像モード連続ブロック数フラグであり、当該フラグが２以上の数字を示している場合には、一回の判定処理で複数のブロックについての画像生成処理を決定することが可能となる。
【０１２２】
実施例５に係る画像復号化装置は、これにより、実施例２よりもさらに復号化時の処理を簡略化し、処理量を低減することが可能となる。
【０１２３】
以上説明した実施例５の画像復号化装置および画像復号化方法によれば、符号化ストリームに含まれる補間画像モード連続ブロック数フラグに対応することで、一回の判定処理により複数の複数のブロックについての画像生成処理の決定を行うことが可能となる。これにより、実施例２よりもさらに復号化時の処理の簡略化と処理量の低減を図ることが可能となるという効果がある。
【実施例６】
【０１２４】
次に、本発明の実施例６に係る画像符号化装置について説明する。実施例６に係る画像符号化装置は、実施例４の画像符号化装置と同様の構成を備えるが、実施例４のモード選択部１３０４が画像ブロック毎にモード判定フラグと動き探索方向判定フラグとを生成するのに対し、実施例６のモード選択部１３０４は実施例５同様に補間画像モード連続ブロック数フラグまたは補間画像モード以外モードフラグを生成し、補間画像モード連続ブロック数フラグごとに動き探索方向判定フラグを生成する。動き探索方向判定フラグについての詳細な説明は実施例３及び実施例４と同様であるため、説明を省略する。また、補間画像モード連続ブロック数フラグまたは補間画像モード以外モードフラグについての詳細な説明は実施例５と同様であるため、説明を省略する。実施例６に係る画像符号化装置のその他の各構成および各処理内容は、実施例１から５に記載した各構成および各処理内容と同様であるので説明を省略する。
【０１２５】
ここで、図２５に実施例６の画像符号化装置における符号化データ記憶部１０６のデータの一例を示す。図２５(a)は実施例４の画像符号化装置が生成するデータであり、図２５(b)は実施例６の画像符号化装置が生成するデータである。図２５(ｂ)も図２４(b)同様に、補間画像モード連続ブロック数フラグに対応して矢印で示される数字は、補間画像モード連続ブロック数フラグが示す連続する補間画像モードブロックの数の例を示している。図２５(b)の例では、補間画像モード連続ブロック数フラグ２４０１は、「４」という数を示しており、これは、４つのブロックa、ｂ、ｃ、ｄが連続して補間画像モードブロックであることを示している。これは実施例５と同様である。ここで、実施例６では、補間画像モード連続ブロック数フラグごとに動き探索方向判定フラグを生成するので、補間画像モード連続ブロック数フラグ２５０１の次には動き探索方向判定フラグ２５０２が挿入される。ここで、補間画像モード連続ブロック数フラグ２５０１によって連続する補間画像モードブロックであると示される４つのブロックa、ｂ、ｃ、ｄは、補間画像モード連続ブロック数フラグ２５０１に付随する動き探索方向判定フラグ２５０２が示す動き探索方向によって決定される動き探索方法を用いて補間画像を生成される。
【０１２６】
図２５(b)の実施例５のデータは、このように、補間画像モード連続ブロック数フラグを用い、補間画像モード連続ブロック数フラグごとに動き探索方向判定フラグを符号化データに挿入する。これにより、ブロック毎にモード判定フラグと動き探索方向判定フラグをを付加する図２５(a)の実施例４のデータよりもデータ量を削減することが可能となる。なお、復号化対象領域が符号化画像であるブロックのそれぞれのブロックについて補間画像モード以外モードフラグが挿入される点については、実施例５と同様である。
【０１２７】
以上説明した実施例６の画像符号化装置および画像符号化方法によれば、復号化時の処理を簡略化し、処理量を低減し、さらにＢピクチャに加えてＰピクチャも補間対象フレームとしてデータ量をより低減し、またＢピクチャの画質を向上するという実施例４の効果に加え、補間画像モード連続ブロック数フラグにより、複数のブロックのモード及び動き探索方向をそれぞれ一つのフラグで示すことを可能とし、符号化データ量を削減することが可能となる。
【０１２８】
次に、本発明の実施例６に係る画像復号化装置について説明する。本発明の実施例６に係る画像復号化装置の構成は、実施例４に係る画像復号化装置と同様の構成であるので説明を省略する。但し、本発明の実施例６に係る画像復号化装置における処理の流れは、図２３に示す実施４の画像復号化装置における処理の流れから以下の点で相違する。以下の点以外は図２３に示す流れと同様であるので、別図による説明は省略する。すなわち、実施例４では、図２３のＳ２３０４においてモード判定フラグが１であれば、Ｓ２３０５以降の補間画像の生成処理を行い、そのときＳ２３０５では各ブロックについての動き探索方向判定フラグに基づいて動き探索方法を決定してＳ２３０６の動き探索を行う。また、Ｓ２３０４でモード判定フラグが０であれば、Ｓ２３０８以降の画像復号化処理を行う。
【０１２９】
これに対し、実施例６では、図２３のＳ２３０４において、フラグを検出して、補間画像モード連続ブロック数フラグであるか、補間画像モード以外モードフラグであるかを判別する。検出したフラグが補間画像モード連続ブロック数フラグである場合には、当該補間画像モード連続ブロック数フラグに示される数の連続するブロックについてＳ２３０５以降の補間画像の生成処理を行う。このとき、Ｓ２３０５では、当該補間画像モード連続ブロック数フラグに付随する動き探索方向判定フラグに基づいて、当該連続する複数のブロックについての補間画像生成における動き探索方法を決定する。Ｓ２３０６では、当該連続する複数のブロックについて決定した動き探索方法で動き探索をおこなう。Ｓ２３０７では、当該探索結果に基づいて補間画像を生成する。また、Ｓ２３０４において、フラグが補間画像モード以外モードフラグである場合には、当該フラグが対応するブロックについてＳ１５０７以降の画像復号化処理を行う。
【０１３０】
以上の流れにより、動き探索方向判定フラグを用いた処理により、複数種類の補間処理に対応していながら、フラグが補間画像モード連続ブロック数フラグであり当該フラグが２以上の数字を示している場合には、一回の判定処理で複数のブロックについての画像生成処理を決定することが可能となる。
【０１３１】
実施例６に係る画像復号化装置は、これにより、複数種類の補間処理に対応するという実施例４の効果に加え、実施例４よりもさらに復号化時の処理を簡略化し、処理量を低減することが可能となる。
【０１３２】
以上説明した実施例６の画像復号化装置および画像復号化方法によれば、複数種類の補間処理に対応し、さらに符号化ストリームに含まれる補間画像モード連続ブロック数フラグに対応することで、一回の判定処理により複数の複数のブロックについての画像生成処理の決定を行うことが可能となる。これにより、実施例４よりもさらに復号化時の処理の簡略化と処理量の低減を図ることが可能となるという効果がある。
【０１３３】
なお、以上説明した各実施例における補間画像の生成方法を以下第１の変形例、第２の変形例、または第３の変形例に変えても一実施の形態となりうる。
【０１３４】
第１の変形例について図２６を用いて説明する。図２６は、第１の変形例における補間画像の生成方法を示した図である。第１の変形例は、符号化・復号化対象フレームが参照フレーム間に1枚存在するＢピクチャである場合である。図２６において、fnは符号化・復号化対象フレーム、fn-1は表示順が先であって符号化・復号化対象フレームに最も近くに位置する符号化・復号化済みの参照フレーム、fn+1は表示順が後であって符号化・復号化対象フレームに最も近くに位置する符号化・復号化済みの参照フレームである。
【０１３５】
第１の変形例では、動きベクトルMV(u,v)の探索方法及び補間画素値fn (x,y)の算出方法を以下のように行う。
【０１３６】
第１の変形例における動き探索は、ブロック単位行う。例えば、フレームfn-1においては左上の端から、フレームfn+1においては右下の端から動き探索を開始し、左右上下対称に探索する。2つのブロックの絶対誤差和（SAD）の合計を計算し、SADが最も小さく、かつMVが最小となるブロックの組み合わせを選択する。ここで、例えば、動き探索は1/4画素精度平面で行う。1/4画素精度平面にて、動き探索のブロックサイズは６４×６４画素とし、そのうち4画素飛ばしの１６画素をサンプル点として用いる。動き探索範囲は、符号化対象ブロックの中心を基準とする。
【０１３７】
第１の変形例における符号化・復号化対象フレーム内の補間画素値fn (x,y)の算出は、フレームfn-1とフレームfn+1間の動きベクトルＭＶ(u,v)を用いて、数式６から算出することができる。
【０１３８】
【数６】
2010154490.tif 000008
【０１３９】
数式６では、ＭＶ(u,v)の始点と終点となる参照フレームfn-1と参照フレームfn+1上の画素の平均値でfn (x,y)を算出している。これは、第１の変形例では符号化・復号化対象フレームが複数の参照フレームの中央に１枚位置するＢピクチャであり、両者の参照フレームへの時間的距離が等しいからである。なお、両者の参照フレームへの時間的距離に偏りがある場合には、数式６内でu及びvに乗じている係数1/2をその偏りに応じて変更すればよい。この場合、当該係数は参照フレームへの時間的距離が近いほど小さくする。そのとき、さらに参照フレームfn-1上の画素値と参照フレームfn+1上の画素値にそれぞれ時間的距離に偏りに応じた係数を乗じてもよい。この場合、当該係数は参照フレームへの時間的距離が近いほど大きくする。
【０１４０】
以上が第１の変形例による動きベクトルMV(u,v)の探索方法及び補間画素値fn (x,y)の算出方法である。
【０１４１】
次に、第２の変形例について図２７を用いて説明する。第２の変形例は、符号化・復号化対象フレームが参照フレーム間に２枚存在するＢピクチャのいずれかである場合である。この場合、動き探索は、当該２枚存在するＢピクチャについて一度だけ行う。図２７(a)において、fnは第１の符号化・復号化対象フレーム、fn+1は第２の符号化・復号化対象フレーム、fn-1は表示順が先であって符号化・復号化対象フレームに最も近くに位置する符号化・復号化済みの参照フレーム、fn+2は表示順が後であって符号化・復号化対象フレームに最も近くに位置する符号化・復号化済みの参照フレーム、fcは仮想の中心ピクチャである。
【０１４２】
第２の変形例では、動きベクトルMV(u,v)の探索方法及び第１の符号化・復号化対象フレームの補間画素値fn(x,y)および第２の符号化・復号化対象フレームの補間画素値fn+1(x,y)の算出方法を以下のように行う。
【０１４３】
まず、第１の変形例における動き探索は、動き探索範囲の中心を仮想中心ピクチャfcの符号化・復号化対象ブロック位置(x,y)を中心として定義する。動きベクトルMV(u,v)の算出についてのその他の詳細は、第１の変形例と同様であるので説明を省略する。
【０１４４】
第１の符号化・復号化対象フレームの補間画素値fn(x,y)および第２の符号化・復号化対象フレームの補間画素値fn+1(x,y)は、フレームfn-1とフレームfn+2間の動きベクトルＭＶ(u,v)を用いて、それぞれ数式７および数式８から算出することができる。
【０１４５】
【数７】
2010154490.tif 000009
【０１４６】
【数８】
2010154490.tif 000010
【０１４７】
数式７による算出方法について、図２７(b)を用いて説明する。図２７(b)は、図２７(a)を平面的に示した例である。ここで、仮想の中心ピクチャfcの位置(x，y)を基準とした動き探索により算出した動きベクトルMV(u,v)を用い、第１の符号化・復号化対象フレームfnの位置(x，y)上の画素値を算出する場合を示している。図２７(b)の例では、第１の符号化・復号化対象フレームfnは、参照フレームfn-1から参照フレームfn+2までの時間的距離において、参照フレームfn-1から１／３、参照フレームfn+2から２／３の位置にある。よって、数式７では、第１の符号化・復号化対象フレームfnの位置(x，y)を基準とし、動きベクトルMVに１／３を乗じた１／３MVを用いて示される参照フレームfn-1上の画素の画素値と、動きベクトルMVに２／３を乗じた２／３MVを用いて示される参照フレームfn+2上の画素の画素値とに、ぞれぞれの参照フレームへの時間的距離に応じた重み付け係数を乗じて加算することにより、第１の符号化・復号化対象フレームfn(x，y)の画素値を算出する。ここで当該重み付け係数は、参照フレームへの時間的距離が近いほど大きくすればよく、図２７(b)の例では、参照フレームfn-1上の画素の画素値に２／３、参照フレームfn+2上の画素の画素値に１／３を乗じている。
【０１４８】
次に、数式８による算出方法を図２７(c)に示す。数式８による算出方法も、動きベクトルMV(u,v)を用いる点、第２の符号化・復号化対象フレームfn+1の位置(x，y)を基準とし、符号化・復号化対象フレームから参照フレームへの時間的距離に応じて動きベクトルMV(u,v)に係数を乗じた動きベクトルを用いて参照フレーム上の画素を選択する点、選択した画素値に参照フレームへの時間的距離に応じた重み付け係数を乗じて加算する点で数式７による算出方法と同様である。図２７(c)は図２７(b)に対して、符号化・復号化対象フレームから参照フレームへの時間的距離の関係が異なり、これにより動きベクトルMV(u,v)に乗じる係数が異なるのみであるので詳細な説明は省略する。
【０１４９】
なお、第２の変形例のように、参照フレーム間にＢピクチャが２枚存在する場合であっても、Ｂピクチャの時間的位置が、参照フレーム間の３等分の位置でない場合には、参照フレームへの時間的距離に応じて係数を変更してもよい。
【０１５０】
以上が第２の変形例による動きベクトルMV(u,v)の探索方法及び第１の符号化・復号化対象フレームの補間画素値fn(x,y)および第２の符号化・復号化対象フレームの補間画素値fn+1(x,y)の算出方法である。
【０１５１】
すなわち、第２の変形例によれば一回の動き探索で、参照フレーム間の間に位置する２つの符号化・復号化対象フレーム上で同じ位置にあるそれぞれの画素について補間画素値を算出することが可能となる。
【０１５２】
次に、第３の変形例について図２８を用いて説明する。第３の変形例は、第１の変形例及び第２の変形例を一般化したものであり、２枚の参照フレームの間にｍ枚のＢピクチャが存在する場合を示している。図２８では、参照フレームfA、参照フレームfBの間に、f１（1番目のＢピクチャ）からfm（m番目のＢピクチャ）までのｍ枚のＢピクチャが挿入されている。ここで、fcは仮想の中心ピクチャであり、第２の変形例と同様に動きベクトルMV(u,v)を算出する際の基準とするものである。
【０１５３】
第３の変形例では、図２８に示すk番目のＢピクチャfkが符号化・復号化対象フレームである場合の補間画素値fk(x,y)を数式９により算出することができる。
【０１５４】
【数９】
2010154490.tif 000011
【０１５５】
数式９による算出方法も、動きベクトルMV(u,v)を用いる点、符号化・復号化対象フレームfkの位置(x，y)を基準とし、符号化・復号化対象フレームから参照フレームへの時間的距離に応じて動きベクトルMV(u,v)に係数を乗じた動きベクトルを用いて参照フレーム上の画素を選択する点、選択した画素値に参照フレームへの時間的距離に応じた重み付け係数を乗じて加算する点で数式７または数式８による算出方法と同様である。
【０１５６】
以上が第３の変形例による符号化・復号化対象フレームの補間画素値fk(x,y)の算出方法である。
【０１５７】
すなわち、第３の変形例によれば一回の動き探索で、参照フレーム間の間に位置するｍ枚の符号化・復号化対象フレーム上で同じ位置にあるそれぞれ画素について補間画素値を算出することが可能となる。
【０１５８】
以上の実施例で説明した、補間画像フレーム、補間画像領域、補間画像モード、補間画像モードブロックは、いずれも参照画像間の動き予測による補間処理により補間画像を生成するので、それぞれ、参照画像間動き予測フレーム、参照画像間動き予測領域、参照画像間動き予測モード、参照画像間動き予測モードブロックと表現しても良い。
【０１５９】
また、以上の実施例で説明した、補間画像を用いた画像符号化・画像復号化技術、すなわち、参照画像間動き予測による画像符号化・画像復号化技術の従来技術と比べた効果は以下のようになる。
【０１６０】
すなわち、H.264/AVCにおける双方向動き補償予測では、動き情報を符号化済みブロックの動き情報から予測生成するスキップモードとダイレクトモードが採用されている。スキップモードとダイレクトモードは動き情報を伝送する必要がないため、符号量の削減に効果的な技術である。しかしながら、スキップモードとダイレクトモードは、動き情報の予測精度が低下する場合がある。例えば、時間方向の動き情報の相関を利用する時間ダイレクトモードは、表示順で符号化対象画像の後方直近の参照画像内の符号化対象ブロックと同位置にあるブロック(アンカーブロック)の動きベクトルを利用しており、アンカーブロックが画面内符号化されている画像では、動き情報を取得できないために予測精度が低下する。また、空間方向の動き情報の相関を利用する空間ダイレクトモードは、符号化対象ブロックの周囲ブロックの動きベクトルを利用しており、周囲ブロックがそれぞれ異なる動きをする画像では、動き情報の空間的な相関が低くなるために予測精度が低下する。
【０１６１】
これに対し、以上の各実施例で説明した、補間画像を用いた画像符号化・復号化技術、すなわち、参照画像間動き予測による画像符号化・復号化技術では、前方向参照画像と後方向画像間で相関の高いブロックを検出し、その検出された動きベクトルを使用する。そのため、スキップモードやダイレクトモードでは予測精度の低下が生じやすい画像である、符号化対象ブロックが動きのある画像かつアンカーブロックが画面内符号化されている画像であっても、予測精度の低下を抑制することができる。
また、同様に、以上の各実施例で説明した、補間画像を用いた画像符号化・復号化技術では、符号化対象ブロックの周囲ブロックの動きベクトルは用いずに動きベクトルを予測する。そのため、スキップモードやダイレクトモードでは予測精度の低下が生じやすい画像である、周囲ブロックがそれぞれ異なる動きをしている画像においても、予測精度の低下を抑制することができる。
すなわち、本発明の各実施例に係る画像符号化技術、画像復号化技術によれば、従来のスキップモードやダイレクトモードよりも好適にデータ圧縮率の向上を実現することが可能となる。
【符号の説明】
【０１６２】
１０１…映像入力部；  
１０２…領域分割部；  
１０３…符号化部；  
１０４…補間画像生成部；  
１０５…モード選択部；  
１０６…符号化データ記憶部；
１０７…可変長符号化部；
２０１…減算器；  
２０２…周波数変換・量子化部；  
２０３…逆量子化・逆周波数変換部；  
２０４…加算器；  
２０５…復号画像記憶部；  
２０６…画面内予測部;  
２０７…画面間予測部; 
２０８…画面内/画面間予測画像選択部;  
３０１…補間フレーム決定部;
３０２…動き探索部;
３０３…補間画素生成部;
６０１…予測誤差算出部;
６０２…動きベクトル決定部;
１００１…可変長復号部;
１００２…構文解析部;
１００３…逆量子化・逆周波数変換部;
１００４…加算器；
１００５…復号画像記憶部;
１００６…動き補償部;
１００７…補間画像生成部;
１００８…出力部;
１００９…モード判定部;
１１０１…動き探索部;  
１１０２…補間画素生成部;  
１３０１、１３０２…差分絶対値算出部;  
１３０３…判定部;  
１８０１、１８０２、１８０３…差分絶対値算出部;  
１８０４…動き探索方向判定部;
１８０５…補間方向決定部;
２００１…動き探索方法決定部;  
２００２…動き探索部;  
２００３…予測誤差算出部;  
２００４…動きベクトル決定部;  
２００５…動き探索部;  
【図１】
2010154490.tif 000012
【図２】
2010154490.tif 000013
【図３】
2010154490.tif 000014
【図４】
2010154490.tif 000015
【図５】
2010154490.tif 000016
【図６】
2010154490.tif 000017
【図７】
2010154490.tif 000018
【図８】
2010154490.tif 000019
【図９】
2010154490.tif 000020
【図１０】
2010154490.tif 000021
【図１１】
2010154490.tif 000022
【図１２】
2010154490.tif 000023
【図１３】
2010154490.tif 000024
【図１４】
2010154490.tif 000025
【図１５】
2010154490.tif 000026
【図１６】
2010154490.tif 000027
【図１７】
2010154490.tif 000028
【図１８】
2010154490.tif 000029
【図１９】
2010154490.tif 000030
【図２０】
2010154490.tif 000031
【図２１】
2010154490.tif 000032
【図２２】
2010154490.tif 000033
【図２３】
2010154490.tif 000034
【図２４】
2010154490.tif 000035
【図２５】
2010154490.tif 000036
【図２６】
2010154490.tif 000037
【図２７】
2010154490.tif 000038
【図２８】
2010154490.tif 000039