(57)【要約】【課題】回路規模の増加を抑えつつイントラＴＰ動き予測を実現する。【解決手段】  インター予測とイントラ予測とを用いた動画像の予測符号化を行う動画像符号化装置であって、符号化対象画像を記憶する記憶手段と、予測符号化のための参照画像を記憶する参照画像記憶手段と、符号化対象画像と参照画像とに基づいて、予測モードをインター予測モードとイントラ予測モードとのいずれかに決定する予測モード決定手段と、決定された予測モードに従い、符号化対象画像の予測符号化を行う符号化手段とを備え、予測モード決定手段は、インター予測で用いられるパターンマッチング部を、イントラＴＰ動き予測でも利用して、予測モードを決定する。【選択図】図１
2013115583.tif 000002
【特許請求の範囲】
【請求項１】
インター予測とイントラ予測とを用いた動画像の予測符号化を行う動画像符号化装置であって、
符号化対象画像を記憶する記憶手段と、
前記予測符号化のための参照画像を記憶する参照画像記憶手段と、
前記符号化対象画像と前記参照画像とに基づいて、予測モードをインター予測モードとイントラ予測モードとのいずれかに決定する予測モード決定手段と、
前記予測モード決定手段により決定された予測モードに従って動き予測された前記符号化対象画像の符号化を行う符号化手段と
を備え、
前記予測モード決定手段が、前記符号化対象画像と前記参照画像との相関を判定するためのパターンマッチング手段を有し、前記インター予測モードによる動き予測を行うときと、前記イントラ予測モードのうち動き探索の処理を含むイントラテンプレート動き予測を行うときとで、前記パターンマッチング手段を選択的に使用することを特徴とする動画像符号化装置。
【請求項２】
前記予測モード決定手段は、前記符号化対象画像のピクチャタイプがＩピクチャのときは前記パターンマッチング手段を前記イントラテンプレート動き予測を行うために使用し、前記符号化対象画像のピクチャタイプがＰピクチャ又はＢピクチャのときは前記パターンマッチング手段を前記インター予測モードによる動き予測を行うために使用することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
インター予測とイントラ予測とを用いた動画像の予測符号化を行う動画像符号化装置であって、
符号化対象画像を記憶する記憶手段と、
前記予測符号化のための参照画像を記憶する参照画像記憶手段と、
前記符号化対象画像と前記参照画像とに基づいて、予測モードをインター予測モードとイントラ予測モードとのいずれかに決定する予測モード決定手段と、
決定された予測モードに従い、前記符号化対象画像の予測符号化を行う符号化手段と
を備え、
前記予測モード決定手段は、
前記参照画像における探索範囲を設定する探索範囲設定手段と、
前記探索範囲に従って読み出された前記参照画像と、前記符号化対象画像とを用いてパターンマッチングを行い、コストが最小となる領域を探索するパターンマッチング手段であって、前記コストをＩピクチャのピクチャタイプに応じた第１のコスト関数を用いた第１のイントラ予測モードのコストとして算出するか、又は、前記コストをＢピクチャ又はＰピクチャのピクチャタイプに応じた第２のコスト関数を用いたインター予測モードのコストとして算出する、パターンマッチング手段と、
前記符号化対象画像と前記参照画像とを用いて、予め定められた複数のイントラ予測モードのそれぞれについて前記第１のコスト関数に基づくコストを算出し、算出したコストが最小となる第２のイントラ予測モードを決定するイントラ予測手段と、
前記パターンマッチング手段が前記第１のイントラ予測モードのコストを算出した場合に、該コストと、前記イントラ予測手段が決定した前記第２のイントラ予測モードのコストとを比較し、より小さいコストを有するイントラ予測モードを決定するイントラ予測モード決定手段と、
前記パターンマッチング手段が前記インター予測モードのコストを算出した場合に、該コストと、前記イントラ予測手段が決定した前記第２のイントラ予測モードのコストとを比較し、より小さいコストを有する予測モードを判定する判定手段と
を備え、
前記符号化手段は、前記イントラ予測モード決定手段が決定したイントラ予測モード、又は、前記判定手段が決定した予測モードに従い前記予測符号化を行う
ことを特徴とする動画像符号化装置。
【請求項４】
前記動画像符号化装置が、
前記符号化対象画像の縮小画像を生成する生成手段と、
前記縮小画像を記憶する縮小画像記憶手段と、
前記生成手段が生成した縮小画像と、前記縮小画像記憶手段が記憶する生成済みの縮小画像とのパターンマッチングを行って前記第２のコスト関数に基づくコストを算出し、最小コストに基づく動きベクトルを算出するプレインター予測手段と
を更に備え、
前記探索範囲設定手段は、
前記最小コストが閾値より大きい場合、前記第１のイントラ予測モードのための探索範囲を設定し、
前記最小コストが前記閾値以下の場合、前記インター予測モードのための探索範囲を、前記動きベクトルに基づいて設定し、
前記パターンマッチング手段は、前記設定された探索範囲に応じた予測モードのコストを算出することを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
前記符号化対象画像と、所定時間前の符号化対象画像とを比較してシーンチェンジを検出する検出手段を更に備え、
前記探索範囲設定手段は、
前記シーンチェンジが検出された場合、前記第１のイントラ予測モードのための探索範囲を設定し、
前記シーンチェンジが検出されない場合、前記インター予測モードのための探索範囲を設定し、
前記パターンマッチング手段は、設定された探索範囲に応じた予測モードのコストを算出することを特徴とする請求項３に記載の動画像符号化装置。
【請求項６】
前記第１のコスト関数はＳＡＤまたはＳＡＴＤであって、前記第２のコスト関数は前記ＳＡＤと前記インター予測における動きベクトルの符号量とに基づく関数であることを特徴とする請求項３乃至５のいずれか１項に記載の動画像符号化装置。
【請求項７】
前記パターンマッチング手段は、前記第１のイントラ予測モードのコストを算出する場合、前記符号化対象画像の隣接画素であって符号化済みの画素で構成されるテンプレート領域と前記探索範囲に従って読み出された前記参照画像とのパターンマッチングに基づき、前記第１のコスト関数を用いたコストを算出し、該コストが最小となる領域を探索することを特徴とする請求項３乃至６のいずれか１項に記載の動画像符号化装置。
【請求項８】
インター予測とイントラ予測とを用いた動画像の予測符号化を行う動画像符号化装置の制御方法であって、前記動画像符号化装置は、
符号化対象画像を記憶する記憶手段と、
前記予測符号化のための参照画像を記憶する参照画像記憶手段と、
前記符号化対象画像と前記参照画像とに基づいて、予測モードをインター予測モードとイントラ予測モードとのいずれかに決定する予測モード決定手段と、
前記予測モード決定手段により決定された予測モードに従って動き予測された前記符号化対象画像の符号化を行う符号化手段と
を備え、
前記予測モード決定手段が、前記符号化対象画像と前記参照画像との相関を判定するためのパターンマッチング手段を有し、
前記方法は、
前記予測モード決定手段が、前記インター予測モードによる動き予測を行うときと、前記イントラ予測モードのうち動き探索の処理を含むイントラテンプレート動き予測を行うときとで、前記パターンマッチング手段を選択的に使用する工程を備えることを特徴とする動画像符号化装置の制御方法。
【請求項９】
インター予測とイントラ予測とを用いた動画像の予測符号化を行う動画像符号化装置の動作を制御するためのプログラムであって、前記動画像符号化装置は、
符号化対象画像を記憶する記憶手段と、
前記予測符号化のための参照画像を記憶する参照画像記憶手段と、
前記符号化対象画像と前記参照画像とに基づいて、予測モードをインター予測モードとイントラ予測モードとのいずれかに決定する予測モード決定手段と、
前記予測モード決定手段により決定された予測モードに従って動き予測された前記符号化対象画像の符号化を行う符号化手段と
を備え、
前記予測モード決定手段が、前記符号化対象画像と前記参照画像との相関を判定するためのパターンマッチング手段を有し、
前記プログラムは、前記予測モード決定手段に、前記インター予測モードによる動き予測を行うときと、前記イントラ予測モードのうち動き探索の処理を含むイントラテンプレート動き予測を行うときとで、前記パターンマッチング手段を選択的に使用する工程を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置及びその制御方法並びにプログラムに関する。
【背景技術】
【０００２】
近年、音声信号、映像信号など所謂マルチメディアに関連する情報のデジタル化が急進しており、これに対応して映像信号の圧縮符号化復号化技術が注目されている。圧縮符号化及び復号化技術により、映像信号の格納に必要な記憶容量や伝送に必要な帯域を減少させることができるため、マルチメディア産業には極めて重要な技術である。
【０００３】
これらの圧縮符号化復号化技術は、多くの映像信号が有する自己相関性の高さ（すなわち、冗長性）を利用して情報量／データ量を圧縮している。映像信号が有する冗長性には、時間冗長性及び二次元の空間冗長性があり、時間冗長性は、ブロック単位の動き検出及び動き補償を用いて低減することが出来、一方、空間冗長性は、離散コサイン変換（ＤＣＴ）を用いて低減させることが出来る。
【０００４】
これらの技術を用いた符号化方式の中で現状、最も高能率符号化を実現しているといわれるＨ．２６４／ＭＰＥＧ−４  ＰＡＲＴ１０（ＡＶＣ）（以下、Ｈ．２６４と呼ぶ）がある。また、この中で導入された技術のひとつとして、フレーム内の相関を利用し、フレーム内画素値を用いて同一フレーム内の画素値を予測するイントラ予測がある。Ｈ．２６４で提案されているイントラ予測では符号化対象ブロックに隣接する符号化済み画素を用いた複数のイントラ予測モードが存在し、各々の予測モードに対応する複数の予測画像を生成し、適切なイントラ予測モードを選択している。
【０００５】
ところがＨ．２６４で提案されているイントラ予測では符号化対象ブロックに隣接している画素しか使用していないため、フレーム内の相関を充分に考慮することが出来ず、符号化効率が良くない場合があった。
【０００６】
そこで特許文献１では符号化対象画像に隣接する復号済み画素で構成されるテンプレート領域と同一フレーム内の復号済みの所定の画像領域とのパターンマッチングを行い、最も相関が高い領域を予測画像として採用する新たなイントラ予測方式を提案している。なお、特許文献１では、このイントラ予測方式をイントラテンプレート動き予測（以後、「イントラＴＰ動き予測」という。）と呼んでいる。
【０００７】
ここで、特許文献１で提案されているイントラＴＰ動き予測について図４を参照しながら説明する。
【０００８】
図４においては、符号化対象フレーム上に４×４画素の符号化対象ブロックＡと、Ｘ×Ｙ（横×縦）画素からなる領域のうち、すでに符号化済みの画素だけで構成される所定の探索範囲Ｅ（ｘ×ｙ）が示されている。ブロックＡを構成する各ブロックａは符号化対象サブブロックである。サブブロックａは、ブロックＡを構成する２×２画素のサブブロックのうち、左上に位置するサブブロックである。また、サブブロックａには、すでに符号化し符号済みの画素で構成されるテンプレート領域ｂが隣接している。図４に示されるように、テンプレート領域ｂは、サブブロックａの左および上側に位置する領域である。
【０００９】
イントラＴＰ動き予測では、対象フレーム上の所定の探索範囲Ｅ内において、例えば、絶対値差分和（ＳＡＤ：Sum of Absolute Difference）等をコスト関数としてパターンマッチング処理を行う。そして、テンプレート領域ｂの画素値と相関が最も高くなる領域ｂ'を探索する。そして、探索された領域ｂ'に対応するブロックａ'を、対象サブブロックａに対する予測画像とする。
【００１０】
このように、イントラＴＰ動き予測おける探索処理は、パターンマッチング処理に復号画像を用いているので、所定の探索範囲Ｅを及びコスト関数を予め定めておくことにより、復号時においても同一の処理を行うことが可能である。すなわち、復号時に、動きベクトル情報を必要としないためストリーム中の動きベクトル情報を低減することができる。なお、特許文献１では周辺ブロックのイントラＴＰ動き予測で求めたイントラ動きベクトルから生成した予測イントラ動きベクトルで特定される位置を中心に所定範囲を設定し、これを探索範囲Ｅとして用いている。
【００１１】
このようにイントラＴＰ動き予測は従来の動きベクトルを用いたインター予測に近いがパターンマッチングを行う画像領域と相関が最も高い領域を判定する方法が予め一意に定められているため、ベクトル情報を符号化する必要が無い点が異なっている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０１０−１６４５４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
特許文献１で提案されているイントラＴＰ動き予測は符号化対象ブロックに隣接する画素だけでなく、同一フレーム内の復号済みの所定の画像領域を使用することで高い符号化効率を実現している。
【００１４】
しかしながら、イントラＴＰ動き予測を実現するためには、インター予測の動きベクトル探索で用いられるものと同様の回路規模が大きいパターンマッチング回路を実装する必要があり、回路規模が増大してしまう。
【００１５】
本発明は係る問題点に鑑みてなされたものであり、回路規模の増大を抑えつつイントラＴＰ動き予測を実現することを目的としている。
【課題を解決するための手段】
【００１６】
上記課題を解決するための本発明は、インター予測とイントラ予測とを用いた動画像の予測符号化を行う動画像符号化装置であって、
符号化対象画像を記憶する記憶手段と、
前記予測符号化のための参照画像を記憶する参照画像記憶手段と、
前記符号化対象画像と前記参照画像とに基づいて、予測モードをインター予測モードとイントラ予測モードとのいずれかに決定する予測モード決定手段と、
前記予測モード決定手段により決定された予測モードに従って動き予測された前記符号化対象画像の符号化を行う符号化手段と
を備え、
前記予測モード決定手段が、前記符号化対象画像と前記参照画像との相関を判定するためのパターンマッチング手段を有し、前記インター予測モードによる動き予測を行うときと、前記イントラ予測モードのうち動き探索の処理を含むイントラテンプレート動き予測を行うときとで、前記パターンマッチング手段を選択的に使用する。
【発明の効果】
【００１７】
本発明によれば、回路規模の増加を抑えつつイントラＴＰ動き予測を実現できる。
【図面の簡単な説明】
【００１８】
【図１】実施形態１に係る動画像符号化装置の構成例を示すブロック図。
【図２】実施形態１に係る予測モード決定部の構成例を示すブロック図。
【図３】実施形態１に係る動画像符号化装置の動作例を示すフローチャート。
【図４】イントラＴＰ動き予測の動作の説明図。
【図５】実施形態２に係る動画像符号化装置の構成例を示すブロック図。
【図６】実施形態３に係る動画像符号化装置の構成例を示すブロック図。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明をその好適な実施形態に基づき詳細に説明する。
【００２０】
［実施形態１］
以下、図１から図３を参照しながら、本発明に係る動画像符号化装置の実施形態を詳細に説明する。
【００２１】
図１は本発明に係る、イントラ予測及びインター予測による動画像の予測符号化を行う動画像の動画像符号化装置のブロック図である。動画像符号化装置はフレームメモリ１０１、フィルタ後参照フレームメモリ１０２、予測モード決定部１０３、予測画像生成部１０４、直交変換部１０６、量子化部１０７、エントロピー符号化部１０８、逆量子化部１０９、逆直交変換部１１０、減算器１１２、加算器１１３、フィルタ前参照フレームメモリ１１４、ループフィルタ１１５を有する。
【００２２】
図１の動画像符号化装置において、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。
【００２３】
以下、係る構成における入力画像の符号化方法について図１を参照して説明する。フレームメモリ１０１には表示順に入力画像（原画像）が保存され、符号化順に符号化対象画像としての符号化対象ブロックが予測モード決定部１０３、予測画像生成部１０４、減算器１１２に順次出力される。フィルタ後参照フレームメモリ１０２は参照画像記憶を行うメモリであって、フィルタ処理された符号化済み画像を参照画像として保存する。また、符号化順に符号化対象ブロックの参照画像を予測モード決定部１０３、予測画像生成部１０４に順次出力する。減算器１１２はフレームメモリ１０１から出力されてくる符号化対象ブロックから予測画像生成部１０４から出力されてくる予測画像ブロックを減算し、画像残差データを出力する。直交変換部１０６は、減算器１１２から出力された画像残差データを直交変換処理して、変換係数を量子化部１０７に出力する。
【００２４】
量子化部１０７は直交変換部１０６からの変換係数を所定の量子化パラメータを用いて量子化し、エントロピー符号化部１０８および逆量子化部１０９に出力する。エントロピー符号化部１０８には量子化部１０７で量子化された変換係数が入力され、CAVLC、CABACなどのエントロピー符号化を施して、符号化データを出力する。
【００２５】
続いて、量子化部１０７で量子化された変換係数を用いて参照画像データを生成する方法について述べる。逆量子化部１０９は量子化部１０７から出力されてくる量子化済み変換係数を逆量子化する。逆直交変換部１１０は逆量子化部１０９で逆量子化された変換係数を逆直交変換し、復号残差データを生成し加算器１１３に出力する。加算器１１３は復号残差データと後述する予測画像データとを加算し参照画像データを生成し、フィルタ前参照フレームメモリ１１４に保存する。また、ループフィルタ１１５に出力される。ループフィルタ１１５は参照画像データをフィルタリングしてノイズを除去しフィルタ後の参照画像データをフィルタ後参照フレームメモリ１０２に保存する。
【００２６】
続いて、入力画像データおよびフィルタ前参照画像データ、フィルタ後参照画像データを用いて予測画像データを生成する方法について述べる。予測モード決定部１０３は、フレームメモリ１０１から出力される符号化対象ブロックおよびフィルタ後参照フレームメモリ１０２から出力されるフィルタ後参照画像データから符号化対象ブロックの予測モードを決定する。決定した予測モードを、フィルタ後参照フレーム画像データ番号と共に予測画像生成部１０４に出力する。なお、本発明のポイントである予測モード決定方法については後に詳細に説明する。
【００２７】
予測画像生成部１０４は予測画像データを生成する。その際、予測モード決定部１０３から通知された予測モードからフィルタ後参照フレームメモリ１０２中の参照フレーム画像を参照するか、或いは、フィルタ前参照フレームメモリ１１４から出力される符号化対象ブロック周辺の復号化済み画素を用いるかを判断する。生成した予測画像データは減算器１１２に出力する。
【００２８】
続いて、本発明に係る予測モード決定部１０３における予測モード決定方法について図２の予測モード決定部の詳細なブロック図、図３のフローチャートを用いながら説明する。図２は本発明に係る予測モード決定部１０３のブロック図である。
【００２９】
予測モード決定部１０３は、符号化対象フレームバッファ２０１、参照フレームバッファ２０２、探索範囲設定部２０３、コスト関数決定部２０４、パターンマッチング部２０５、イントラ予測部２０６、イントラ予測モード決定部２０７、イントラ／インター判定部２０８とを有する。
【００３０】
Ｓ３０１で符号化対象フレームバッファ２０１は符号化対象マクロブロックを図１のフレームメモリ１０１から読み出して保存し、パターンマッチング部２０５、イントラ予測部２０６に出力する。Ｓ３０１ではまた、参照フレームバッファ２０２が後述する探索範囲設定部２０３から通知される探索範囲に基づく参照画像を、図１のフィルタ後参照フレームメモリ１０２あるいはフィルタ前参照フレームメモリ１１４から読み出し保存する。そして探索範囲の画像をパターンマッチング部２０５、イントラ予測部２０６に出力する。Ｓ３０２では、探索範囲設定部２０３に対して動画像符号化装置の制御部（例えばＣＰＵ）からピクチャタイプが入力される。探索範囲設定部２０３は、入力されたピクチャタイプを用いて探索範囲を設定し、参照フレームバッファ２０２に出力する。具体的に、ピクチャタイプがＩピクチャの場合、Ｓ３０３においてイントラテンプレート動き予測（イントラＴＰ動き予測）で用いる探索範囲を設定する。具体的に、符号化対象フレームにおいて、既に符号化済みの所定の探索範囲を設定する。設定方法は、特許文献１に記載されている方法と同様であってもよいし、あるいは、符号化対象マクロブロックの周辺の符号化済みの画素を含む所定範囲を対象に設定してもよい。一方、ピクチャタイプがＰピクチャ、Ｂピクチャの場合はＳ３０４においてインター予測モードで用いる探索範囲を設定する。当該探索範囲の設定方法は、一般的なインター予測モードで用いる双方向予測、順方向予測における設定方法に準ずるものであるから、ここでは詳細な説明は省略する。
【００３１】
以下、このように探索範囲を設定する理由を説明する。まず、Ｉピクチャの場合はインター予測が行われないので、無条件にイントラＴＰ動き予測でパターンマッチング部２０５を使用することができる。一方、Ｐピクチャ、Ｂピクチャ時はインター予測での動きベクトル探索でパターンマッチング部２０５を使用するため、イントラＴＰ動き予測を予測モードとして選択できない。しかし、Ｐピクチャ、Ｂピクチャ時には基本的にインター予測が予測モードとして選択される上、インター予測が選択されない場合であっても他のイントラ予測モードが選択できる。
【００３２】
従って、ピクチャタイプに応じて参照フレームバッファ２０２、パターンマッチング部２０５の用途を切り替えても画質への影響がほとんどない。また、ピクチャタイプに応じて探索範囲を切り替えることで参照フレームバッファ２０２、パターンマッチング部２０５をイントラＴＰ動き予測用とインター予測用で共用できるので別々に実装した場合に比べ、大幅に回路規模を削減できる。
【００３３】
次に、コスト関数決定部２０４は動画像符号化装置の制御部から出力されるピクチャタイプに応じて後述するパターンマッチング部２０５で用いるコスト関数を選択しパターンマッチング部２０５に出力する。Ｉピクチャ時は、Ｓ３０５でイントラＴＰ動き予測で用いる第１のコスト関数を選択する。具体的には前述した予測誤差の絶対値差分和（ＳＡＤ：Sum of Absolute Difference）や予測誤差にアダマール変換を施して、その絶対値和を求めるもの（ＳＡＴＤ：Sum of Absolute Transform Difference)等を用いることができる。Ｐ、Ｂピクチャ時は、Ｓ３０６でインター予測で用いる第２のコスト関数を選択する。具体的には前述したＳＡＤやＳＡＴＤに加え、動きベクトルの符号量を考慮した下記式１をコスト関数として用いることができる。なお、ＱＰは量子化パラメータを表す。
Ｃｏｓｔ＝ＳＡＤ + ＱＰ × ベクトル符号量・・・（式１）
なお本実施形態ではイントラＴＰ動き予測で用いるコスト関数の一例としてＳＡＤやＳＡＴＤを、インター予測で用いるコスト関数として式１を挙げたが、コスト関数はこれらに限定されるものではない。
【００３４】
Ｓ３０７では、パターンマッチング部２０５が、探索範囲設定部２０３で指定された探索範囲内でコスト関数決定部２０４が決定したコスト関数を用いてパターンマッチング処理を行い、相関が最も高くなる領域を探索する。即ち、図４に示す探索範囲Ｅ内で絶対値差分和（ＳＡＤ）をコスト関数としたパターンマッチング処理を行い、符号済みの画素で構成されるテンプレート領域ｂの画素値と相関が最も高くなる領域ｂ'を探索する。ここでは、コスト関数の値が最も小さくなる領域を相関が最も高くなる領域とする。その時のコストをベストコストとして、イントラＴＰ動き予測の場合は、イントラ予測モード決定部２０７に出力する。ここで、「イントラＴＰ動き予測」のことを、後述するＨ．２６４で予め定められたイントラ予測モードと区別すべく、本実施形態では「第１のイントラ予測モード」ともいう。即ち、パターンマッチング部２０５は、第１のイントラ予測モードのコストとして、探索範囲内で最小コストを算出し、イントラ予測モード決定部２０７に出力する。インター予測の場合にはベストコストの領域でのイントラＴＰ動き予測のコスト関数(本実施形態ではＳＡＤ又はＳＡＴＤ)を求めイントラ／インター判定部２０８に出力する。
【００３５】
イントラ予測部２０６は、符号化対象フレームバッファ２０１から符号化対象マクロブロックの画像を、また参照フレームバッファ２０２から符号化対象マクロブロックに隣接する符号化済み画素を読み出す。そして、Ｓ３０８で、イントラ予測候補となる、イントラＴＰ動き予測以外の全てのイントラ予測画像を生成し、イントラＴＰ動き予測と同様のコスト関数を用いてコスト関数が最も小さくなるイントラ予測モードを選択する。選択されたイントラ予測モードはコストと共にイントラ予測モード決定部２０７に出力される。なお、ここで述べるイントラ予測とはＨ．２６４で提案されている複数のイントラ予測モードからなるイントラ予測方式のことである。具体的に、１６×１６画素のブロックデータを基に予測方向を決定するイントラ１６ｘ１６予測には４種類の予測方向がある。また、４×４画素のブロックデータを基に予測方向を決定するイントラ４×４予測には９種類の予測方向がある。イントラ予測部２０６は、この予め定められた１３種類のモードのうち最小コストとなるモードを選択する。ここで選択されたイントラ予測モードを本実施形態では「第２のイントラ予測モード」と呼ぶ。このイントラ予測では符号化対象マクロブロックの画像とその隣接画素しか用いないため、イントラＴＰ動き予測やインター予測で用いるものに比べ、回路規模は小さくなる。
【００３６】
Ｓ３０９で、イントラ予測モード決定部２０７はＩピクチャ時はパターンマッチング部２０５から出力される第１のイントラ予測モード（イントラＴＰ動き予測）のコストと、イントラ予測部２０６から出力される第２のイントラ予測モードのコストとを比較する。そして、コストがより小さい方をイントラ予測モードとして決定する。Ｐ、Ｂピクチャ時は、イントラ予測部２０６から出力される予測モードをそのままイントラ予測モードとして決定する。
【００３７】
Ｓ３１０でイントラ／インター判定部２０８が予測モードを最終的に決定する。Ｉピクチャ時はイントラ予測モード決定部２０７から出力されるイントラ予測モードをそのまま予測モードとして決定する。一方、Ｐ、Ｂピクチャ時はパターンマッチング部２０５から出力されるコストと、イントラ予測モード決定部２０７から出力されるコストとを比較し、コストがより小さい方を予測モードとして決定する。
【００３８】
以上のように、本実施形態によれば、通常はインター予測モードで使用されるパターンマッチング部２０５を、イントラ予測におけるイントラＴＰ動き予測で共用する。具体的には、インター予測を行うときと、イントラＴＰ予測を行うときとで、パターンマッチング部２０５を選択的に使用するよう制御する。よって、イントラＴＰ動き予測専用のパターンマッチング回路を別に用意する必要がなくなり、回路規模の増大を防ぐことができる。
【００３９】
［実施形態２］
次に図５を参照しながら、実施形態２に係る動画像符号化装置について詳細に説明する。図５に示す動画像符号化装置は実施形態１の図１に示す動画像符号化装置とほぼ同じ構造であるが、縮小画像生成部５１６、プレインター予測用フレームメモリ５１７及びプレインター予測部５１８を有する点が異なる。また、プレインター予測部５１８のプレ動きベクトル探索結果を予測モード決定部１０３内の探索範囲設定部２０３に出力し、パターンマッチング部２０５でイントラＴＰ動き予測を行うか、あるいはインター予測を行うかを切り換えている点が異なる。なお、縮小画像生成部５１６、プレインター予測用フレームメモリ５１７及びプレインター予測部５１８および予測モード決定部１０３内の探索範囲設定部２０３以外の構成の動作については、実施形態１と同様のため説明を省略する。
【００４０】
縮小画像生成部５１６は入力映像を縮小した画像を生成する。縮小画像を生成する方法は、例えば縦１／２、横１／４縮小する場合は縦２画素、横４画素の画素値の平均値を用いるなどの方法が挙げられるが特に方法は問わない。なお、本実施形態では縦１／２、横１／４縮小した場合を例に挙げて説明する。
【００４１】
プレインター予測用フレームメモリ５１７は、縮小画像生成部５１６から表示順に入力映像の縮小画像記憶を行い、符号化順に符号化対象ブロックをプレインター予測部５１８に順次出力する。また、プログレッシブ映像の縮小画をプレインター予測のプレ動きベクトル探索用参照画像として保存し、符号化対象ブロックのプレ動きベクトル探索用参照画像をプレインター予測部５１８に順次出力する。なお、プレ動きベクトル探索は縮小画で行うため符号化対象ブロックの大きさをそれに合わせた大きさに調整して行う。本実施形態の場合、縦１／２、横１／４縮小している。従って符号化対象ブロックのサイズを１６×１６とした場合、プレ動きベクトル探索は４×８のブロックを用いて行う。
【００４２】
プレインター予測部５１８は、プレインター予測用フレームメモリ５１７から入力された符号化対象マクロブロックと、プレインター予測用フレームメモリ５１７から出力された生成済みの縮小画像である参照フレームとのパターンマッチング処理を行う。パターンマッチング処理において相関の強い位置を示すプレ動きベクトルの探索を行う。最大相関度を有する動きベクトルを推定するためには、前述の式１などのコスト関数を用いることができる。コスト関数の計算値が最小となる位置を符号化対象ブロックにおけるプレ動きベクトルとして選定する。またその時のコストをプレ動き探索時のプレベストコスト（pre_best_cost）とする。
【００４３】
なお、プレ動きベクトル探索は縮小画を用いて行うため、予測モード決定部１０３で用いる際には画像サイズに合わせる必要がある。本実施形態では検出したプレ動きベクトルを横方向に４倍、縦２倍する。続いて決定したプレ動きベクトルとプレベストコストとを予測モード決定部１０３に出力する。
【００４４】
予測モード決定部１０３内の探索範囲設定部２０３はプレインター予測部５１８から出力されるプレベストコストとプレ動きベクトルとを用いて探索範囲を設定し、参照フレームバッファ２０２に出力する。
【００４５】
このとき、プレベストコストが閾値Ｔｈより大きい（pre_best_cost ＞ Th）場合、イントラＴＰ動き予測で用いる探索範囲を設定する。一方、プレベストコストが閾値Ｔｈ以下（pre_best_cost ≦Th）の場合、プレ動きベクトルが指し示す位置を中心にインター予測で用いる探索範囲を設定する。但しＴｈは所定の閾値である。
【００４６】
以下、このように探索範囲を設定する理由を説明する。プレベストコストが閾値より大きい場合はフレーム間差分が大きいので、インター予測を行っても効率の良い符号化が行えない可能性が高い。そのため、符号化効率を高めるべく、インター予測を行わずイントラＴＰ動き予測でパターンマッチング部２０５を使用する。一方、プレベストコストが閾値以下の場合、フレーム間差分が小さいのでインター予測で充分な符号化効率が得られる可能性が高い。そこで符号化効率を高めるべく、パターンマッチング部をインター予測で使用する。
【００４７】
このように、プレベストコストの大きさに応じて参照フレームバッファ２０２、パターンマッチング部２０５の用途を切り替えて、画質への影響を与えず効率の良い符号化を行うことができる。また、プレベストコストによって探索範囲を切り替えることで参照フレームバッファ２０２及びパターンマッチング部２０５をイントラＴＰ動き予測用とインター予測用で共用できるので、別々に実装した場合に比べて大幅に回路規模を削減できる。
【００４８】
［実施形態３］
続いて図６を参照しながら、実施形態３に係る動画像符号化装置について詳細に説明する。図６に示す動画像符号化装置は実施形態１の図１に示す動画像符号化装置とほぼ同じ構造であるが、シーンチェンジ検出部６１６を有する点が異なる。さらに、シーンチェンジ検出部６１６での検出結果は予測モード決定部１０３内の探索範囲設定部２０３に出力され、パターンマッチング部２０５でイントラＴＰ動き予測を行うか、あるいはインター予測を行うかを切り換えている点が異なる。なお、シーンチェンジ検出部６１６および予測モード決定部１０３内の探索範囲設定部２０３以外の構成の動作については、実施形態１と同様のため本実施形態での説明は省略する。
【００４９】
シーンチェンジ検出部６１６には動画像が表示順に入力され、符号化対象画像と参照画像間との間でシーンチェンジの有無を検出し、検出結果を予測モード決定部１０３に出力する。シーンチェンジ検出方法の具体的手法については特に限定しない。例えば、入力画像をフレーム遅延部を介して所定時間遅延させ、所定時間前の画像と遅延されていない入力画像との差分を算出する。もし差分が所定以上に大きい場合は、相関性が低下したとみなして、シーンチェンジが発生していると判定することができる。
【００５０】
本実施形態において、図２の探索範囲設定部２０３はシーンチェンジ検出部６１６から出力されるシーンチェンジ検出結果を用いて探索範囲を設定し、参照フレームバッファ２０２に探索範囲を通知する。このとき、シーンチェンジが検出された場合は、イントラＴＰ動き予測で用いる探索範囲を設定する。一方、シーンチェンジが検出されなかった場合はインター予測で用いる探索範囲を設定する。
【００５１】
以下、このように探索範囲を設定する理由を説明する。まず、シーンチェンジが発生した場合はインター予測を行っても参照フレームが符号化対象フレームと相関性が高くなる可能性は低く、効率の良い符号化が行えない。そのため、インター予測を行わずイントラＴＰ動き予測でパターンマッチング部２０５を使用し符号化効率を高める。一方、シーンチェンジが発生していなければ参照フレームが符号化対象フレームと相関性が高くなる可能性が高いのでインター予測で効率の良い符号化が行える。そこで符号化効率を高めるべく、パターンマッチング部２０５をインター予測で使用する。
【００５２】
このように、シーンチェンジの有無によって参照フレームバッファ２０２、パターンマッチング部２０５の用途を切り替えることで画質への影響を与えず効率の良い符号化を行うことができる。また、シーンチェンジの有無によって探索範囲を切り替えることで参照フレームバッファ２０２、パターンマッチング部２０５をイントラＴＰ動き予測用とインター予測用で共用できるので別々に実装した場合に比べ、大幅に回路規模を削減できる。
【００５３】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2013115583.tif 000003
【図２】
2013115583.tif 000004
【図３】
2013115583.tif 000005
【図４】
2013115583.tif 000006
【図５】
2013115583.tif 000007
【図６】
2013115583.tif 000008