(57)【要約】  符号化対象となる４：４：４フォーマットの映像信号の統計的・局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う方法等を提供する。各色成分について、複数の動き予測モードのうち最も効率のよい動き予測モードを決定して、該決定された動き予測モードに対応する動きベクトルを検出して出力する予測部と、前記各色成分の動き予測モードを算術符号化するに際して、空間的に隣接する単位領域で選択された動き予測モードと、時間的に隣接する単位領域で選択された動き予測モードとに基づいて、前記各色成分の動き予測モードの値の生起確率を定めて算術符号化を行う可変長符号化部とを備える。
2010004939.tif 000002
【特許請求の範囲】
【請求項１】
デジタル映像信号の各フレームを所定の基準ブロックに分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化装置であって、
所定の方法に基づいて前記基準ブロックのサイズを決定するとともに、前記基準ブロック内の各色成分の信号に対し、動き予測を行う単位である動き予測単位ブロックの形状をそれぞれ個別に定める基準ブロックサイズ決定手段と、
前記基準ブロック内の第１の色成分の動き予測単位ブロックについて、複数の動き予測モードのうち最も効率のよい第１の動き予測モードを決定して、該決定された第１の動き予測モードに対応する第１の動きベクトルを検出し、前記基準ブロック内の第２の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第２の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、第２の動き予測モードを決定して、該決定された第２の動き予測モードに対応する第２の動きベクトルを検出し、前記基準ブロック内の第３の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第３の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、第３の動き予測モードを決定して、該決定された第３の動き予測モードに対応する第３の動きベクトルを検出して出力する予測手段と、
前記第１の動き予測モードを算術符号化するに際して、空間的に隣接する動き予測単位ブロックで選択された動き予測モードと、時間的に隣接する動き予測単位ブロックで選択された動き予測モードとに基づいて、前記第１の動き予測モードの値の生起確率を定めて算術符号化を行うとともに、前記第２および第３の動き予測モードを算術符号化するに際して、空間的に隣接する動き予測単位ブロックで選択された動き予測モードと、時間的に隣接する動き予測単位ブロックで選択された動き予測モードと、前記第１の動き予測モードとに基づいて、前記第２および第３の動き予測モードの値の生起確率を定めて算術符号化を行う可変長符号化手段と
を備える画像符号化装置。
【請求項２】
デジタル映像信号の各フレームを所定の基準ブロックに分割して、その単位で動き補償予測を用いて圧縮符号化された画像符号化ビットストリームを受信して映像信号を復元する画像復号装置であって、
受信した前記ビットストリームから、前記基準ブロックのサイズ、ならびに前記デジタル映像信号を構成する色成分ごとの動き予測を行う単位である動き予測単位ブロックの形状を復号するヘッダ復号手段と、
前記基準ブロックの単位で、前記各色成分の動き予測単位ブロックの予測画像生成に用いる動き予測モードと、動きベクトルとを復号し、前記基準ブロック内の予測誤差圧縮データと、前記各色成分の動き予測単位ブロックあたりの動き予測モードを全色成分で共通化するか否かを示す識別情報とを復号し、さらに該識別情報に基づいて各色成分の動き予測モードを復号するとともに、復号した第１の色成分の動き予測モードと動きベクトルとから、第２および第３の色成分の動き予測モードに対応する動きベクトルを決定する基準ブロック復号手段と、
前記動き予測モード、前記動きベクトルに基づいて、前記各色成分の動き予測単位ブロックの予測画像を生成する予測手段と、
前記基準ブロック内の予測誤差圧縮データを予測誤差画像信号に復号する予測誤差復号手段と、
前記予測画像と前記予測誤差画像信号とを加算して復号画像を生成する復号加算手段と、
前記復号画像を動き補償予測のための参照画像データとして格納するメモリと、
前記第１の色成分の動き予測モードを算術復号するに際して、空間的に隣接する動き予測単位ブロックで復号された動き予測モードと、時間的に隣接する動き予測単位ブロックで復号された動き予測モードとに基づいて、前記第１の動き予測モードの値の生起確率を定めて算術復号を行うとともに、前記第２および第３の動き予測モードを算術復号するに際して、空間的に隣接する動き予測単位ブロックで復号された動き予測モードと、時間的に隣接する動き予測単位ブロックで復号された動き予測モードと、前記第１の動き予測モードとに基づいて、前記第２および第３の動き予測モードの値の生起確率を定めて算術復号を行う可変長復号手段と
を備える画像復号装置。
【請求項３】
デジタル映像信号の各フレームを所定の基準ブロックに分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化方法であって、
所定の方法に基づいて前記基準ブロックのサイズを決定するとともに、前記基準ブロック内の各色成分の信号に対し、動き予測を行う単位である動き予測単位ブロックの形状をそれぞれ個別に定める基準ブロックサイズ決定ステップと、
前記基準ブロック内の第１の色成分の動き予測単位ブロックについて、複数の動き予測モードのうち最も効率のよい第１の動き予測モードを決定して、該決定された第１の動き予測モードに対応する第１の動きベクトルを検出し、前記基準ブロック内の第２の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第２の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、第２の動き予測モードを決定して、該決定された第２の動き予測モードに対応する第２の動きベクトルを検出し、前記基準ブロック内の第３の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第３の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、第３の動き予測モードを決定して、該決定された第３の動き予測モードに対応する第３の動きベクトルを検出して出力する予測ステップと、
前記第１の動き予測モードを算術符号化するに際して、空間的に隣接する動き予測単位ブロックで選択された動き予測モードと、時間的に隣接する動き予測単位ブロックで選択された動き予測モードとに基づいて、前記第１の動き予測モードの値の生起確率を定めて算術符号化を行うとともに、前記第２および第３の動き予測モードを算術符号化するに際して、空間的に隣接する動き予測単位ブロックで選択された動き予測モードと、時間的に隣接する動き予測単位ブロックで選択された動き予測モードと、前記第１の動き予測モードとに基づいて、前記第２および第３の動き予測モードの値の生起確率を定めて算術符号化を行う可変長符号化ステップと
を備える画像符号化方法。
【請求項４】
デジタル映像信号の各フレームを所定の基準ブロックに分割して、その単位で動き補償予測を用いて圧縮符号化された画像符号化ビットストリームを受信して映像信号を復元する画像復号方法であって、
受信した前記ビットストリームから、前記基準ブロックのサイズ、ならびに前記デジタル映像信号を構成する色成分ごとの動き予測を行う単位である動き予測単位ブロックの形状を復号するヘッダ復号ステップと、
前記基準ブロックの単位で、前記各色成分の動き予測単位ブロックの予測画像生成に用いる動き予測モードと、動きベクトルとを復号し、前記基準ブロック内の予測誤差圧縮データと、前記各色成分の動き予測単位ブロックあたりの動き予測モードを全色成分で共通化するか否かを示す識別情報とを復号し、さらに該識別情報に基づいて各色成分の動き予測モードを復号するとともに、復号した第１の色成分の動き予測モードと動きベクトルとから、第２および第３の色成分の動き予測モードに対応する動きベクトルを決定する基準ブロック復号ステップと、
前記動き予測モード、前記動きベクトルに基づいて、前記各色成分の動き予測単位ブロックの予測画像を生成する予測ステップと、
前記基準ブロック内の予測誤差圧縮データを予測誤差画像信号に復号する予測誤差復号ステップと、
前記予測画像と前記予測誤差画像信号とを加算して復号画像を生成する復号加算ステップと、
前記復号画像を動き補償予測のための参照画像データとして格納する格納ステップと、
前記第１の色成分の動き予測モードを算術復号するに際して、空間的に隣接する動き予測単位ブロックで復号された動き予測モードと、時間的に隣接する動き予測単位ブロックで復号された動き予測モードとに基づいて、前記第１の動き予測モードの値の生起確率を定めて算術復号を行うとともに、前記第２および第３の動き予測モードを算術復号するに際して、空間的に隣接する動き予測単位ブロックで復号された動き予測モードと、時間的に隣接する動き予測単位ブロックで復号された動き予測モードと、前記第１の動き予測モードとに基づいて、前記第２および第３の動き予測モードの値の生起確率を定めて算術復号を行う可変長復号ステップと
を備える画像復号方法。
【請求項５】
デジタル映像信号の各フレームを所定の基準ブロックに分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化装置であって、
所定の方法に基づいて前記基準ブロックのサイズを決定するとともに、前記基準ブロック内の各色成分の信号に対し、動き予測を行う単位である動き予測単位ブロックの形状をそれぞれ個別に定める基準ブロックサイズ決定手段と、
前記基準ブロック内の第１の色成分の動き予測単位ブロックについて、複数の動き予測モードのうち最も効率のよい第１の動き予測モードを決定して、該決定された第１の動き予測モードに対応する第１の動きベクトルを検出し、前記基準ブロック内の第２の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第２の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、第２の動き予測モードを決定して、該決定された第２の動き予測モードに対応する第２の動きベクトルを検出し、前記基準ブロック内の第３の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第３の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、第３の動き予測モードを決定して、該決定された第３の動き予測モードに対応する第３の動きベクトルを検出して出力する予測手段と
を備える画像符号化装置。
【請求項６】
デジタル映像信号の各フレームを所定の単位領域に分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化装置であって、
各色成分について、複数の動き予測モードのうち最も効率のよい動き予測モードを決定して、該決定された動き予測モードに対応する動きベクトルを検出して出力する予測手段と、
前記各色成分の動き予測モードを算術符号化するに際して、空間的に隣接する単位領域で選択された動き予測モードと、時間的に隣接する単位領域で選択された動き予測モードとに基づいて、前記各色成分の動き予測モードの値の生起確率を定めて算術符号化を行う可変長符号化手段と
を備える画像符号化装置。
【請求項７】
デジタル映像信号の各フレームを所定の基準ブロックに分割して、その単位で動き補償予測を用いて圧縮符号化された画像符号化ビットストリームを受信して映像信号を復元する画像復号装置であって、
受信した前記ビットストリームから、前記基準ブロックのサイズ、ならびに前記デジタル映像信号を構成する色成分ごとの動き予測を行う単位である動き予測単位ブロックの形状を復号するヘッダ復号手段と、
前記基準ブロックの単位で、前記各色成分の動き予測単位ブロックの予測画像生成に用いる動き予測モードと、動きベクトルとを復号し、前記基準ブロック内の予測誤差圧縮データと、前記各色成分の動き予測単位ブロックあたりの動き予測モードを全色成分で共通化するか否かを示す識別情報とを復号し、さらに該識別情報に基づいて各色成分の動き予測モードを復号するとともに、復号した第１の色成分の動き予測モードと動きベクトルとから、第２および第３の色成分の動き予測モードに対応する動きベクトルを決定する基準ブロック復号手段と、
前記動き予測モード、前記動きベクトルに基づいて、前記各色成分の動き予測単位ブロックの予測画像を生成する予測手段と、
前記基準ブロック内の予測誤差圧縮データを予測誤差画像信号に復号する予測誤差復号手段と、
前記予測画像と前記予測誤差画像信号とを加算して復号画像を生成する復号加算手段と、
前記復号画像を動き補償予測のための参照画像データとして格納するメモリと
を備える画像復号装置。
【請求項８】
デジタル映像信号の各フレームを所定の単位領域に分割して、その単位で動き補償予測を用いて圧縮符号化された画像符号化ビットストリームを受信して映像信号を復元する画像復号装置であって、
前記各色成分の予測画像生成に用いる動き予測モードと、動きベクトルと、予測誤差圧縮データと、前記各色成分の動き予測モードを全色成分で共通化するか否かを示す識別情報とを復号し、さらに該識別情報に基づいて各色成分の動き予測モードを復号する復号手段と、
前記動き予測モード、前記動きベクトルに基づいて、前記各色成分の予測画像を生成する予測手段と、
予測誤差圧縮データを予測誤差画像信号に復号する予測誤差復号手段と、
前記予測画像と前記予測誤差画像信号とを加算して復号画像を生成する復号加算手段と、
前記復号画像を動き補償予測のための参照画像データとして格納するメモリと、
前記各色成分の動き予測モードを算術復号するに際して、空間的に隣接する単位領域で復号された動き予測モードと、時間的に隣接する単位領域で復号された動き予測モードとに基づいて、前記各色成分の動き予測モードの値の生起確率を定めて算術復号を行う可変長復号手段と
を備える画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法に関する。
【背景技術】
【０００２】
従来、ＭＰＥＧやＩＴＵ−Ｔ  Ｈ．２６ｘなどの国際標準映像符号化方式では、主として４：２：０フォーマットと呼ばれる、標準化された入力信号フォーマットを圧縮処理対象信号として用いてきた。４：２：０とは、ＲＧＢなどのカラー動画像信号を輝度成分（Ｙ）と２つの色差成分（Ｃｂ、Ｃｒ）に変換し、水平・垂直ともに色差成分のサンプル数を輝度成分の半分に削減したフォーマットである。色差成分は輝度成分に比べて視認性が落ちることから、ＭＰＥＧ−４  ＡＶＣ（ＩＳＯ／ＩＥＣ  １４４９６−１０）／ＩＴＵ−Ｔ  Ｈ．２６４規格（以下、ＡＶＣ）（非特許文献１）のような国際標準映像符号化方式では、このように符号化を行う前に色差成分のダウンサンプルを行うことで符号化対象の原情報量を削減しておくことを前提としていた。一方、デジタルシネマなどの高品位コンテンツでは、コンテンツ制作時の色表現を上映時に正確に再現することを目的として、色差成分をダウンサンプルすることなく輝度成分と同一サンプルで符号化する４：４：４フォーマットでの直接符号化方式を必須としている。この目的に適した方式として、非特許文献１における４：４：４フォーマット対応拡張方式（Ｈｉｇｈ４：４：４  Ｉｎｔｒａないし  Ｈｉｇｈ４：４：４  Ｐｒｅｄｉｃｔｉｖｅプロファイル）やＷＯ２００５／００９０５０  Ａ１「画像情報符号化装置及び方法、並びに画像情報復号装置及び方法」（特許文献１）のような方式がある。４：２：０フォーマットと４：４：４フォーマットの違いを図１９に示す。同図において、４：２：０フォーマットは輝度（Ｙ）・色差（Ｃｂ，Ｃｒ）信号から構成され、色差信号のサンプルは輝度信号の２ｘ２サンプル分相当につき１つであるのに対し、４：４：４フォーマットは特に色を表現する色空間をＹ，Ｃｂ，Ｃｒに限定せず、各色成分の信号のサンプル比が１：１となっていることを示している。以下、４：２：０、４：４：４などのタームを総称する用語として「クロマフォーマット」を用いる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】ＷＯ２００５／００９０５０  Ａ１「画像情報符号化装置及び方法、並びに画像情報復号装置及び方法」
【非特許文献】
【０００４】
【非特許文献１】MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格
【非特許文献２】S.Sekiguchi, et.al., "Low-overhead INTER Prediction Modes", VCEG-N45, Sep.2001.
【非特許文献３】S.Kondo and H.Sasai, "A Motion Compensation Technique using Sliced Blocks and its Application to Hybrid Video Coding", VCIP 2005, July 2005.
【非特許文献４】D. Marpe他, "Video Compression Using Context-Based Adaptive Arithmetic Coding", International Conference on Image Processing 2001
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、非特許文献１による４：４：４フォーマットの符号化では、図２０に示すように、まず、あらかじめ符号化対象となる入力映像信号１００１（４：４：４フォーマット）を直接または適当な色空間（Ｙ，Ｃｂ，Ｃｒなど）へ変換を行った後、ブロック分割部１００２においてマクロブロック（１６画素×１６ラインの矩形ブロック）の単位に分割されて符号化映像信号１００３として予測部１００４へ入力する。非特許文献１では、マクロブロックは３つの色成分をまとめた単位で構成しても良いし、各色成分を独立したピクチャとみなして、単一色成分の矩形ブロックとして構成してもよく、どちらの構成のマクロブロックを用いるかをシーケンスレベルで選択可能である。予測部１００４では、マクロブロック内の各色成分の画像信号をフレーム内・フレーム間で予測して、予測誤差信号１００５を得る。特に、フレーム間で予測を行う場合、マクロブロック自体、ないしはマクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索し、動きベクトルに基づいて動き補償予測画像を生成して、符号化映像信号１００３との差分を取ることによって予測誤差信号１００５を得る。圧縮部１００６は、予測誤差信号１００５に対してＤＣＴ（離散コサイン変換）などの変換処理を施して信号相関を除去した後、量子化して圧縮データ１００７を得る。圧縮データ１００７は可変長符号化部１００８でエントロピー符号化されてビットストリーム１００９として出力されるとともに、局所復号部１０１０に送られ、復号予測誤差信号１０１１を得る。これを予測誤差信号１００５の生成に用いた予測信号１０１２と加算して復号信号１０１３を得る。復号信号１０１３は、以降の符号化映像信号１００３のための予測信号１０１２を生成する目的でメモリ１０１４に格納される。図示していないが、メモリ１０１４へ書き込む前に、復号信号にデブロッキングフィルタを施してブロックひずみを除去する処理を行うように構成される。なお、予測信号１０１２を得るために予測部１００４において決定された予測信号生成用パラメータ１０１５は可変長符号化部１００８へ送られ、ビットストリーム１００９として出力される。ここで、予測信号生成用パラメータ１０１５には、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトルなどが含まれる。マクロブロックを３つの色成分をまとめた単位で構成している場合は、予測信号生成用パラメータ１０１５は３つの色成分に共通的に適用されるパラメータとして検出され、各色成分を独立したピクチャとみなして、マクロブロックを単一色成分の矩形ブロックとして構成している場合は、予測信号生成用パラメータ１０１５は各色成分に個別に適用されるパラメータとして検出される。【０００６】
４：４：４フォーマットの映像信号は、各色成分の同一数のサンプルが含まれており、従来の４：２：０フォーマットの映像信号に比べて厳密な色再現性を有する反面、圧縮符号化の意味では冗長な情報量を含んでいる。４：４：４フォーマットの映像信号の圧縮効率を高めるためには、従来の４：２：０フォーマットの固定的な色空間定義（Ｙ，Ｃｂ，Ｃｒ）に対して、さらに信号に含まれる冗長度を低減する必要がある。非特許文献１による４：４：４フォーマットの符号化では、符号化映像信号１００３は信号の統計的・局所的な性質に寄らず、各色成分を輝度信号とみなして符号化を行い、予測部１００４、圧縮部１００６、可変長符号化部１００８のいずれにおいても符号化対象信号の性質を最大限に考慮した信号処理は行われない。特許文献１では、このような課題に対し、クロマフォーマットの違いや色空間定義の違いに適応して、フレーム内・フレーム間予測を行うブロックのサイズや予測誤差信号の変換・量子化の方法を切り替える方式を開示している。これにより、各色成分の信号特性に適応した効率的な符号化を行うことを可能としているが、同文献においても、もとの画像の解像度や画像中の被写体の構造に対する適応化が十分ではないという課題がある。【０００７】
そこで、本発明は、符号化対象となる４：４：４フォーマットの映像信号の統計的・局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う方法を提供し、上記従来技術に述べたように、４：４：４フォーマットのような色成分間にサンプル比の区別のない動画像信号を符号化するにあたり、最適性を高めた画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかわる画像符号化装置は、デジタル映像信号の各フレームを所定の基準ブロックに分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化装置であって、所定の方法に基づいて前記基準ブロックのサイズを決定するとともに、前記基準ブロック内の各色成分の信号に対し、動き予測を行う単位である動き予測単位ブロックの形状をそれぞれ個別に定める基準ブロックサイズ決定手段と、前記基準ブロック内の第１の色成分の動き予測単位ブロックについて、複数の動き予測モードのうち最も効率のよい第１の動き予測モードを決定して、該決定された第１の動き予測モードに対応する第１の動きベクトルを検出し、前記基準ブロック内の第２の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第２の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、第２の動き予測モードを決定して、該決定された第２の動き予測モードに対応する第２の動きベクトルを検出し、前記基準ブロック内の第３の色成分の動き予測単位ブロックについて、前記第１の動き予測モード、前記第１および第３の色成分の動き予測単位ブロックの形状、前記第１の動きベクトルに基づいて、第３の動き予測モードを決定して、該決定された第３の動き予測モードに対応する第３の動きベクトルを検出して出力する予測手段と、前記第１の動き予測モードを算術符号化するに際して、空間的に隣接する動き予測単位ブロックで選択された動き予測モードと、時間的に隣接する動き予測単位ブロックで選択された動き予測モードとに基づいて、前記第１の動き予測モードの値の生起確率を定めて算術符号化を行うとともに、前記第２および第３の動き予測モードを算術符号化するに際して、空間的に隣接する動き予測単位ブロックで選択された動き予測モードと、時間的に隣接する動き予測単位ブロックで選択された動き予測モードと、前記第１の動き予測モードとに基づいて、前記第２および第３の動き予測モードの値の生起確率を定めて算術符号化を行う可変長符号化手段とを備えるものである。
【発明の効果】
【０００９】
本発明の画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法によれば、４：４：４フォーマットの映像信号の符号化を行う場合において、各色成分信号の時間変化の特性に対して柔軟に適応する符号化装置・復号装置を構成することができ、４：４：４フォーマットの映像信号に対して最適な符号化処理を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の符号化装置の構成を示す説明図
【図２】動き予測単位ブロックの取り方の例を示す説明図
【図３】動き予測単位ブロックの分割の例を示す説明図
【図４】予測部４の処理フローを示すフローチャート
【図５】コストＪの計算方法を説明する説明図
【図６】ｍｃ＿ｍｏｄｅ１−４のＰＭＶの算出例を示す説明図
【図７】色成分Ｃ0と色成分Ｃ1，Ｃ2とで、動き予測単位ブロックのサイズを変えない場合の処理を説明する説明図
【図８】色成分Ｃ0と色成分Ｃ1，Ｃ2とで、動き予測単位ブロックのサイズを変える場合の処理を説明する説明図
【図９】時間的な相関に基づいてコンテクストモデルを選択する動作を示す説明図
【図１０】可変長符号化部８の内部構成を示す説明図
【図１１】可変長符号化部８の動作フローを示す説明図
【図１２】コンテクストモデル（ｃｔｘ）の概念を示す説明図
【図１３】動きベクトルに関するコンテクストモデルの例を示す説明図
【図１４】動き予測モードの相関の違いを説明する説明図
【図１５】ビットストリーム９のデータ配列を示す説明図
【図１６】実施例１における画像復号装置の構成を示す説明図
【図１７】可変長復号部３０における算術復号処理に関わる内部構成を示す説明図
【図１８】可変長復号部３０における算術復号処理に関わる動作フローを示す説明図
【図１９】４：２：０フォーマットと４：４：４フォーマットの違いを示す説明図
【図２０】従来の４：４：４フォーマットの符号化装置の構成を示す説明図
【発明を実施するための形態】
【実施例１】
【００１１】
本実施例では、４：４：４フォーマットで入力されるデジタル映像信号の圧縮伸張を行う画像符号化装置、画像復号装置につき、各色成分の信号の状態に適応して動き補償予測処理を行う画像符号化装置、画像復号装置について述べる。【００１２】
１．画像符号化装置の動作
本実施例１の符号化装置は、４：４：４フォーマットの入力映像フレームをＭmax×Ｍmax画素ブロック（以下、「基準ブロック」と呼ぶ）に分割し、同基準ブロックの単位で動き予測を行い、予測誤差信号を圧縮符号化するように構成する。【００１３】
図１に本実施例１の符号化装置の構成を示す。まず、符号化対象となる入力映像信号１（４：４：４フォーマット）は、ブロック分割部２において基準ブロック（Ｍ画素×Ｍラインの矩形ブロック）の単位に分割されて符号化信号３として予測部４へ入力される。図１においては、基準ブロックは図２に示すように、３つの色成分のＭmax×Ｍmax画素からなるブロックをまとめた単位で構成する。後述するが、Ｍmaxはフレームないしシーケンス、ＧＯＰなどの上位レイヤデータレベルで決定・符号化する。基準ブロック内の各色成分のデータは、さらにＬi×Ｍi画素ブロックの「動き予測単位ブロック」に分割され、動き予測単位ブロックをベースとして動き予測、符号化を行う。図２では、（Ａ）における動き予測単位ブロックのパターンはＬ0＝Ｍmax／２，Ｍ0＝Ｍmax／２，（Ｂ）における動き予測単位ブロックのパターンはＬ0＝Ｍmax／２，Ｍ0＝Ｍmaxであり、（Ａ）、（Ｂ）ともにＬ1＝Ｍ1＝Ｌ2＝Ｍ2＝Ｍmaxである。各色成分の動き予測単位ブロックのサイズ、Ｌi，Ｍiについては、色成分ごとに選択可能とし、シーケンス、ＧＯＰ、フレーム、基準ブロックなどの単位で変更可能となるよう構成する。なお、本実施例１では、基準ブロックについては、３つの色成分で同一とし、基準ブロックのサイズを変更する場合は、３つの色成分全てについて、同一の基準ブロックのサイズに変更するものとする。【００１４】
予測部４では、基準ブロック内の各色成分の画像信号を動き補償予測して、予測誤差信号５を得る。予測部４の動作は、本実施例１の符号化装置の特徴であるため詳しく後述する。圧縮部６は、予測誤差信号５に対してＤＣＴ（離散コサイン変換）などの変換処理を施して信号相関を除去した後、量子化して圧縮データ７を得る。圧縮データ７は可変長符号化部８でエントロピー符号化されてビットストリーム９として出力されるとともに、局所復号部１０に送られ、復号予測誤差信号１１を得る。これを予測誤差信号５の生成に用いた予測信号１２と加算して復号信号１３を得る。復号信号１３は、以降の符号化信号３のための予測信号１２を生成する目的でメモリ１４に格納される。なお、予測信号１２を得るために予測部４において決定された予測信号生成用パラメータ１５は可変長符号化部８へ送られ、ビットストリーム９として出力される。予測信号生成用パラメータ１５の内容については、予測部４の説明とともに以降で詳述する。また、可変長符号化部８における予測信号生成用パラメータ１５の符号化方法についても、本実施例１における特徴のひとつであるため、後で詳しく述べる。【００１５】
非特許文献１、２等の標準映像符号化方式では、基準ブロックをマクロブロックとした場合、マクロブロックの単位でフレーム内符号化、フレーム間予測符号化を選択しながら符号化する方法が一般的である。これはフレーム間の動き予測が十分でない場合に、フレーム内の相関を利用する方が、符号化が効率化される場合があることに起因している。以降、本実施例１の符号化装置では、発明のポイントを説明するに際してフレーム内符号化についての記述やその選択的使用について文中での明記は行わないが、特に断らない限り、基準ブロックを単位とするフレーム内符号化の選択的使用は可能な構成とする。（本実施例１の符号化装置において、基準ブロックはマクロブロックと定義してもよいが、動き予測の説明のために以降では基準ブロックという用語を用いる。）【００１６】
以下、本実施例１の特徴のひとつである予測部４の詳細な動作について説明する。本実施例１の予測部４の特徴は以下の２点である。
（１）基準ブロック・動き予測単位ブロックのサイズと動き予測に用いる分割形状の連動適応化
（２）各色成分の性質に応じた動き予測モード、動きベクトルの決定【００１７】
（１）については、基準ブロックを、各色成分の信号の性質に合わせてＬi×Ｍi画素の動き予測単位ブロックへ分割して、さらに動き予測単位ブロックをｌi×ｍi画素の組み合わせからなる複数の形状に分割し、各分割領域にそれぞれ固有の動きベクトルを割り当てて予測を行い、最も予測効率に優れる形状を動き予測モードとして選択し、その結果として得られる動きベクトルを用いて各分割領域に対する動き予測を行って予測誤差信号５を得る。動き予測単位ブロック内の分割形状は、ｌ×ｍ画素からなる「基本ブロック」の組み合わせによって構成される形状をとるものとする。本実施例１の符号化装置においては、Ｍとｍ，Ｌとｌとの間に「ｍ＝Ｍ／２」「ｌ＝Ｌ／２」なる制約を設ける。この条件によって定まる基本ブロックの分割形状を図３に示す。図３は動き予測単位ブロックの分割の様子を示すが、本実施例１の符号化装置では、この分割形状のパターン（分割パターン）は３つの色成分に対して共通であってもよいし、独立に定めることも可能とする。なお、この分割パターンｍｃ＿ｍｏｄｅ０〜７のことを以下では動き予測モードと呼ぶこととする。【００１８】
非特許文献１、２等の標準映像符号化方式では、動き予測適用領域の形状は矩形に限定されており、図３のような矩形以外の対角分割を用いることができない。このように、動き予測を適用する領域の形状を多様化させることにより、動物体の輪郭部分など、基準ブロック内に複雑な動きを含む場合に、矩形分割よりも少ない動きベクトル本数で動き予測可能となる。非特許文献２、３は、従来のマクロブロックに対して動き予測適用領域の分割形状の多様化手法を開示している。非特許文献２は、Ｍmaxを１６に固定し、ｍ＝ｌ＝４として、Ｍmax  ｍｏｄ  ｍ＝０なる任意の値に指定して分割を定義することによって、基準ブロック内の分割形状を柔軟に定める方法が開示されている。また、非特許文献３では、分割形状を、マクロブロック分割を行う線分とそのブロック境界との交点位置によって表現する方法が開示されている。しかしながら、これらの方法はいずれもＭを固定したままで基準ブロック内の分割パターンを増加させる方法であり、以下の問題がある。【００１９】
問題１：
基準ブロックの分割パターンを記述するための符号量が増加する。Ｍmax  ｍｏｄ  ｍ＝０なる任意のｍを許容することによって、基準ブロック内の分割パターンが増加し、そのパターンを指定するための情報をオーバヘッド情報として符号化する必要が生じる。分割パターンが増加するほど、ある特定の分割パターンの発生する確率が分散するため、分割パターンのエントロピー符号化が非効率となり、符号量としてのオーバヘッドとなって符号化トータルとしての性能に限界が生じる。【００２０】
問題２：
分割パターンが増加することによって、符号化時に最適な分割を選択するために必要な演算量が増大する。動き予測は符号化処理負荷の大半を占める高負荷処理であり、やみくもに分割パターンが増加するアルゴリズムでは、符号化装置はその中から特定の分割パターンのみを検証・利用するように設計せざるを得ない。したがって符号化装置は、アルゴリズムがもつ本来の性能を最大限活かしきることができない場合がある。【００２１】
本実施例１の符号化装置における図３のアプローチは、まず、１）Ｍmaxの値を符号化の条件や映像信号の解像度や性質に基づいてフレームレベルで変更可能とすること、２）Ｍmax×Ｍmaxの画素ブロックを色成分Ｃiごとの特性に合わせて基本ブロックＬi×Ｍi画素へ分割可能とすること、３）基本ブロックの分割条件を「ｍ＝Ｍ／２」「ｌ＝Ｌ／２」なる制約を満たす分割形状に限定すること、の３つの工夫により、上記問題を解決する。基準ブロックのサイズＭmaxの値はフレーム内で局所的に変更せず、フレームレベルないしフレーム列（シーケンス、ＧＯＰ）などの上位データ構造レベルでのみ変更可能とする。この仕組みは、基準ブロック内に含まれる画像信号パターンの意味の違いに対する適応化を可能とする。例えば、小さい解像度（ＶＧＡなど）の映像と大きな解像度（ＨＤＴＶなど）の映像では、同じＭmax×Ｍmax画素ブロック内の信号パターンが表現する意味が異なる。同一の被写体を予測する場合、小さい解像度の映像では被写体の構造に近い信号パターンが捕捉されるが、大きな解像度の映像では同じブロックサイズでは被写体のより局所的な部位の信号パターンを捉えられるにすぎない。したがって、基準ブロックのサイズが解像度に拠らず同一では、解像度が高くなるにつれ、基準ブロック内の信号パターンはノイズ成分の要素が大きくなり、パターンマッチング技術としての動き予測の性能を向上させることができなくなる。Ｍmaxの値を上位データ構造レベルでのみ変更可能とすることで、Ｍmaxの値のシグナリングに要する符号量を抑制しつつ、映像の解像度やシーンチェンジ、画面全体のアクティビティ変化などの状況に応じて、基準ブロックに含まれる信号パターンを動き予測の意味において最適化することができる。この仕組みに加え、図２のように色成分ごとに動き予測単位ブロック内の分割パターンを変更可能とすることによって、各色成分の信号特性に応じて動き予測の処理単位を最適化可能とする。さらに、動き予測単位ブロック内に図３のように分割パターンの限定的自由度を与えることにより、動き予測単位ブロック内の分割パターン表現に要する符号量を抑制しながら、動き予測の全体的な効率を改善することができる。また、Ｍmaxの値をフレームレベルで決定する処理を効率よく行えば、以降、基準ブロック内で検査すべき分割パターンのバリエーションは従来技術に比べ少なく抑えることができ、符号化処理の負荷を小さくすることができる。Ｍmax値を決定する方法には例えば、以下のような方法がある。【００２２】
・符号化対象映像の解像度に基づいて決定する。同一Ｍmax値の場合、解像度が大きい場合は基準ブロック内の画像信号パターンがよりノイズ成分的な意味合いを持ち、動きベクトルが画像信号パターンを捉えにくくなる。そのような場合にＭmax値を大きくして画像信号パターンを捕捉できるようにする。
・フレーム間の差分値の大小をアクティビティとみなしてアクティビティが大きい場合は小さいＭmax値で、小さい場合は大きなＭmax値で動き予測を行う。また、この際の大きさ制御を、符号化対象映像のフレームレートに基づいて決定する。フレームレートが高いほどフレーム間相関が大きく動きベクトル自体のダイナミックレンジが小さくなりその符号量が小さくなるので、多少アクティビティが小さくてもＭmax値を大きすぎないように設定して細かい動きまで予測できるようにする、などの方法が考えられる。
・以上の方法を重み付けで組み合わせて判断する。【００２３】
Ｍmax値が決まった後、色成分ごとにＬi、Ｍiの決定を行う。この判断基準としては、例えば入力映像信号１がＹＵＶ（ないしＹＣｂＣｒ）の色空間で定義された信号の場合、色信号であるＵ／Ｖ成分は輝度信号Ｙ成分に比べて信号帯域が狭い。したがって、ブロック内分散は輝度に比べて小さくなり、これを根拠としてＵ／Ｖ成分のＬi、Ｍiについては輝度成分のＬi、Ｍi値よりも大きな値をとるように構成する、といった例が考えられる。（図２参照）【００２４】
これら制御を行った結果として得られるＭmax，Ｌi、Ｍiの値は、基準ブロックサイズ１６として基準ブロックサイズ決定部１６０からブロック分割部２、予測部４、可変長符号化部８へ通知される。なお、図２のようにＭmaxに対してＬi、Ｍiを簡易な演算で導出可能な値に設定しておけば、Ｌi、Ｍiを独立な値として符号化するのでなく、算出式の識別子を符号化すればよく、基準ブロックサイズ１６に要する符号量を抑制できる。【００２５】
予測部４は、基準ブロックサイズ１６に基づいて、図２、図３の分割パターンを用いる動き検出処理を実行する。処理フローを図４に示す。予測部４は、当該フレームのＣi成分をＬi×Ｍi画素の動き予測単位ブロックの単位で動き予測していく。基本的には、このプロセスでは図３のｍｃ＿ｍｏｄｅ０〜７までの分割パターンのそれぞれについて、指定された動き探索範囲で分割領域ごとの最適動きベクトルを検出し、最終的に当該基準ブロックについてｍｃ＿ｍｏｄｅ０〜７のいずれの動き予測モードを用いるのが最も予測効率がよいかを決定する。【００２６】
予測効率は、基準ブロック内の動きベクトルの総符号量Ｒと、該動きベクトルを適用してメモリ１４内に格納される参照画像から生成した予測信号１２と入力映像信号１との間の予測誤差量Ｄとから構成する下記コストＪを定義し、Ｊが最小となる動き予測モードと動きベクトルとを出力するように構成する。【００２７】
Ｊ＝Ｄ＋λＲ  （λ：定数）                                  （１）【００２８】
そこで、各動き予測モードに対して、コストＪの計算を行う（ステップＳ１）。図５に、ｍｃ＿ｍｏｄｅ５のケースを例にとってＪの計算方法を説明する。このとき、フレームＦ（ｔ）内の被予測対象の動き予測単位ブロックは、２つの分割領域Ｂ0、Ｂ1からなる。また、メモリ１４内には２枚の符号化・局所復号済みの参照画像Ｆ’（ｔ−１）、Ｆ’（ｔ−２）が格納されていて、分割領域Ｂ0、Ｂ1はこれら２枚の参照画像を使って動き予測できるものとする。同図では分割領域Ｂ0は参照画像Ｆ’（ｔ−２）を用いて動きベクトルＭＶt-2（Ｂ0）を検出し、分割領域Ｂ1は参照画像Ｆ’（ｔ−１）を用いて動きベクトルＭＶt-1（Ｂ1）を検出している。Ｂを分割領域、Ｓn（ｘ）を第ｎフレームの画面内位置ｘ＝（ｉ，ｊ）における画素値、ｖを動きベクトルとすると、分割領域Ｂの予測誤差量Ｄは、差分絶対値和（Sum of Absolute Difference，ＳＡＤ）を用いて、【００２９】
【数１】
2010004939.tif 000003
【００３０】
として計算できる。結果、得られるＢ0、Ｂ1に対応するＤ0、Ｄ1からＤ＝Ｄ0＋Ｄ1として求める。一方、Ｒは動きベクトル予測値ＰＭＶ（Ｂ0）、ＰＭＶ（Ｂ1）を用いて得られる動きベクトル予測差分値
ＭＶＤ（Ｂ0）＝ＭＶt-2（Ｂ0）−ＰＭＶ（Ｂ0）
ＭＶＤ（Ｂ1）＝ＭＶt-1（Ｂ1）−  ＰＭＶ（Ｂ1）
（３）
を符号量換算して得られるＲ0、Ｒ1からＲ＝Ｒ0＋Ｒ1として求める。以上により、コストＪが求まる。探索範囲内の検査対象となるすべての動きベクトルについてコストＪの計算を行い、ｍｃ＿ｍｏｄｅ５の分割パターンとして最もコストＪが小さい解を求める。なお、ｍｃ＿ｍｏｄｅ１−４のＰＭＶの算出例を図６に示す（ｍｃ＿ｍｏｄｅ０，５，６，７は非特許文献１に開示あり）。同図において、矢印は予測ベクトル導出に利用する周辺の動きベクトルを意味し、○で囲まれた３本の動きベクトルは、それが指し示す分割領域の予測ベクトルを○で囲まれた３本の動きベクトルのメディアン（中央値）によって求める。【００３１】
このようにして求まるｍｃ＿ｍｏｄｅkでのコストＪkが、それまでに検証したｍｃ＿ｍｏｄｅkでのコストよりも小さいかどうかを検証し（ステップＳ２）、小さい場合はｍｃ＿ｍｏｄｅkをその時点までの最適な動き予測モードとして保持するとともに、その際の動きベクトル及び予測誤差信号を保持しておく（ステップＳ３）。すべての動き予測モードを検証した場合は（ステップＳ４、Ｓ５）、それまでに保持されていた動き予測モード、動きベクトル、予測誤差信号を最終解として出力する（ステップＳ６）。さもなければ、次の動き予測モードを検証する。【００３２】
本実施例１における符号化装置は、以上の予測部４における処理過程を３つの色成分のそれぞれに対して行い、色成分ごとに最適な動き予測モード、動きベクトル、予測誤差信号を得る処理と、ある特定の成分に対して最適な動き予測モード、動きベクトル、予測誤差信号を求めた後、これらの情報に基づいて残りの色成分の動き予測モード、動きベクトル、予測誤差信号を求める処理とを基準ブロックの単位で切り替えて実行するように構成する。前者については、上述の図４の処理フローを３つの色成分それぞれに対して実行すればよい。後者の処理について図７を用いて説明する。【００３３】
図７において、「動き検出を行った色成分Ｃ0」は、上記図４の処理フローに基づいて動き検出を行った色成分を指し、基準ブロック内のＣ0成分の動き予測単位ブロックＢxに対して画像空間上同一の座標位置にある他の色成分Ｃ1、Ｃ2の動き予測単位ブロックをＢyとする。Ｃ0色成分については、すでに左および上の動き予測単位ブロックＢa、Ｂbについて、最適な動き予測モード、動きベクトルがそれぞれ算出済みであるとする。左の動き予測単位ブロックＢaについては、動き予測モードがｍｃ＿ｍｏｄｅ６、動きベクトルがＭＶ（ａ，０）、ＭＶ（ａ，１）と求まっており、上の動き予測単位ブロックＢbについては、動き予測モードがｍｃ＿ｍｏｄｅ３、動きベクトルがＭＶ（ｂ，０）、ＭＶ（ｂ，１）と求まっている。また、同一位置の動き予測単位ブロックＢxについても動き予測モードｍｃ＿ｍｏｄｅ０、動きベクトルＭＶ（ｘ，０）が求まっているものとする。この条件において、動き予測単位ブロックＢyについては、適用する動き予測モードに応じて、Ｂa、Ｂb、Ｂxの動きベクトルから、一意に動きベクトル候補を生成する。動き予測単位ブロックＢyに適用する動き予測モードがｍｃ＿ｍｏｄｅ３の場合には、
ＭＶ（ｙ，０）＝ｗa＊ＭＶ（ａ，０）＋ｗb＊ＭＶ（ｂ，０）＋ｗc＊ＭＶ（ｘ，０）
ＭＶ（ｙ，１）＝ｗd＊ＭＶ（ａ，１）＋ｗe＊ＭＶ（ｂ，０）＋ｗf＊ＭＶ（ｘ，０）
（４）
によって動きベクトル候補を求める。ｗa，ｗb，ｗc，ｗd，ｗe，ｗfは、各ベクトルに対する重みで、Ｂyに適用する動き予測モードの種別によって定めておく。Ｂa、Ｂb、Ｂxの動きベクトルの適用の仕方についても動き予測モードごとに固定的に決めておく。このように一意に定まる動きベクトル候補を用いて各動き予測モードに対応するコストＪを求め、最もコストが小さくなる動き予測モードと動きベクトル候補を、基準ブロックＢyに適用する動き予測モード、動きベクトルとして採用する。予測部４における動き検出処理をこのように構成することにより、色成分Ｃ1、Ｃ2についての動き予測モードを柔軟に選択可能となる一方、対応する動きベクトルは常に色成分Ｃ0の情報から生成することができるので、符号化すべき予測信号生成用パラメータ１５の符号量を抑制することができる。また３つの色成分の間には一定の画像構造上の相関が存在するため、Ｃ0成分の動き予測単位ブロックＢxで選択された動き予測モードは、Ｃ1、Ｃ2色成分の動き予測単位ブロックＢyにおいて最適な動き予測モードと一定の相関があると考えられる。そこで、Ｃ0成分で動き予測単位ブロックＢxで選択された動き予測モードに応じて、Ｃ1、Ｃ2色成分の対応動き予測単位ブロックでとりうる動き予測モードの種類を絞ってクラス分けして利用するように構成してもよい。こうすることで、予測効率を維持したまま、Ｃ1、Ｃ2色成分で選択可能な動き予測モードの数を少なくできるので、動き予測モードの選択に要する演算量を抑えつつ、動き予測モードの符号化効率を高めることができる。【００３４】
また、以上の方法で求める動きベクトル候補は探索の結果として得られた最適な結果となる保証がないので、例えば図７において、
ＭＶ（ｙ，０）＝ＭＶ（ｘ，０）、動き予測モードをｍｃ＿ｍｏｄｅ０
（５）
とする場合とコスト比較を行い、よりコストが小さくなる方を選択するように構成してもよい。（５）式のケースでは、Ｃ1、Ｃ2色成分の動き予測モード、動きベクトルがＣ0色成分と同じであるので、（５）式の条件を選択するか否かの１ビットの情報があれば符号化可能である。また、このビットは、適応算術符号化を適切に設計することによって１ビット以下の符号量で符号化することができる。また、上記の方法で得られたＭＶ（ｙ，０），ＭＶ（ｙ，１）等について、微小な探索範囲で動きベクトルの再探索を行い、追加探索分のみの微小ベクトルを符号化するように構成してもよい。【００３５】
図８には、Ｃ0色成分と、Ｃ1、Ｃ2色成分で動き予測単位ブロックのサイズが異なるケースを示す（図２の（Ａ）等）。この場合は、Ｃ1、Ｃ2色成分の動き予測モード  ｍｃ＿ｍｏｄｅ３  に対する動きベクトル候補を、
ＭＶ（ｙ，０）＝ｗa＊ＭＶ（ａ，０）＋ｗb＊ＭＶ（ｃ，０）＋ｗc＊ＭＶ（ｃ，１）＋ｗ  ＊ＭＶ（ｄ，０）
ＭＶ（ｙ，１）＝ｗe＊ＭＶ（ｂ，０）＋ｗf  ＊ＭＶ（ｂ，１）
（６）
と求める、といった構成をとることができる。なお、ｗa，ｗb，ｗc，ｗd，ｗe，ｗfは、符号化ビットレートなどの条件によって重み値を変化させるように構成してもよい。これは、符号化ビットレートが低くなれば、符号量ファクタのＲがコストＪにおいて大きな比重を占めるため、動きベクトル場は比較的ばらつきのないように制御されるのが一般的である。したがって、Ｃ0色成分における動き予測モードと動きベクトル場の、Ｃ0、Ｃ1色成分に対する相関が変化すると考えられる。このことを考慮して、重み付けを変化可能なように構成すれば、Ｃ0、Ｃ1色成分に対してより効率的な動き予測を行うことができる。具体的には、ピクチャレベル、ＧＯＰレベル、シーケンスレベルなどの上位レイヤヘッダ情報中で値を符号化してビットストリームに多重する、ないし、量子化パラメータに連動して変化する規則を符号化装置と復号装置で共有しておく、などが考えられる。【００３６】
以上の構成をとることにより、Ｃ1、Ｃ2色成分の動き予測モードを、色成分Ｃ0の動き予測モード、動きベクトルから簡易に決定することができ、かつ、色成分Ｃ0の動きベクトルの情報から一意にＣ1、Ｃ2色成分の動きベクトルを導くことができるので、符号化すべきパラメータの符号量を抑制しつつ、Ｃ1、Ｃ2色成分の信号の性質に柔軟に追随でき、効率的な符号化が可能となる。【００３７】
以上述べた予測部４における処理によって、予測誤差信号５と、予測信号生成用パラメータ１５が出力され、これらは可変長符号化部８にてエントロピー符号化される。本実施例１の符号化装置では、予測誤差信号５の符号化は従来技術による符号化装置と同じ処理を行うものとする。以下では、本実施例１の符号化装置の特徴のひとつである、予測信号生成用パラメータ１５のエントロピー符号化方法について述べる。【００３８】
以下で説明する予測信号生成用パラメータ１５の符号化においては、説明の対象を、動き予測モード、動きベクトルの２種類のパラメータとする。本実施例１の符号化装置では、図９に示すように、被予測・符号化対象の基本ブロックＢxの動き予測モードｍ（Ｂx）を符号化するにあたり、同一フレームの左の基本ブロックＢaの予測モードｍ（Ｂa）、上の基本ブロックＢbの予測モードｍ（Ｂb）、直前の隣接フレームにおいて基本ブロックＢxと同一位置の基本ブロックＢcの動き予測モードｍ（Ｂc）の状態を選択的に参照してエントロピー符号化を行う。【００３９】
図１０は可変長符号化部８の内部構成を、図１１はその動作フローを示す。本実施例１における可変長符号化部８は、符号化対象データである動き予測モードや動きベクトルなどの個々のデータタイプに対して定義されるコンテクストモデル（後述）を定めるコンテクストモデル決定部１７、各符号化対象データタイプについて定められる二値化規則に従って多値データを二値データに変換する二値化部１８、二値化後の個々のｂｉｎの値（０  ｏｒ  １）の生起確率を与える生起確率生成部１９、生成された生起確率に基づいて算術符号化を実行する符号化部２０、生起確率情報を記憶する生起確率情報記憶メモリ２１から構成される。コンテクストモデル決定部１７への入力は、ここでは予測画像生成用パラメータ１５のうち、動き予測モードと、動きベクトルとに限定して説明する。【００４０】
（Ａ）コンテクストモデル決定処理（図１１におけるステップＳ１１）
コンテクストモデルとは、情報源シンボルの生起確率の変動要因となる他の情報との依存関係をモデル化したものであり、この依存関係に対応して生起確率の状態を切り替えることで、よりシンボルの実際の生起確率に適応した符号化を行うことが可能となる。図１２にコンテクストモデル（ｃｔｘ）の概念を示す。なお、同図では情報源シンボルは二値としているが、多値でも構わない。図１２の０〜２というｃｔｘの選択肢は、このｃｔｘを用いる情報源シンボルの生起確率の状態が、状況に応じて変化するであろうことを想定して定義されている。本実施例１における符号化装置で言えば、ある基準ブロックにおける符号化データとその周辺の基準ブロックの符号化データとの間の依存関係に応じてｃｔｘの値が切り替えられる。例えば、図１３に、非特許文献４に開示される動きベクトルに関するコンテクストモデルの例を示す。図１３において、ブロックＣの動きベクトルが符号化対象であり（正確には、ブロックＣの動きベクトルを近傍から予測した予測差分値ｍｖｄk（Ｃ）が符号化される）、ｃｔｘ＿ｍｖｄ（Ｃ，ｋ）がコンテクストモデルを示す。ｍｖｄk（Ａ）はブロックＡにおける動きベクトル予測差分値、ｍｖｄk（Ｂ）はブロックＢにおける動きベクトル予測差分値をそれぞれ示し、コンテクストモデルの切り替え評価値ｅk（Ｃ）の定義に用いられる。評価値ｅk（Ｃ）は、近傍の動きベクトルのばらつき具合を示すことになり、一般的にはこのばらつきが小さい場合にはｍｖｄk（Ｃ）は小さく、逆にｅk（Ｃ）が大きい場合はｍｖｄk（Ｃ）も大きくなる傾向がある。したがって、ｍｖｄk（Ｃ）のシンボル生起確率は、ｅk（Ｃ）に基づいて適応化されることが望ましい。この生起確率のバリエーションセットがコンテクストモデルであり、このケースでは３種類の生起確率バリエーションがある、といえる。【００４１】
このように、符号化対象データそれぞれについてあらかじめコンテクストモデルが定義され、符号化装置と復号装置で共有される。コンテクストモデル決定部１７では、このような符号化対象データの種別に基づいてあらかじめ定められたモデルを選択する処理を行う（コンテクストモデルの中のどの生起確率バリエーションを選択するかは下記（Ｃ）の生起確率生成処理に該当する）。【００４２】
本実施例１の可変長符号化部８は、動き予測モード、動きベクトルに割り当てるコンテクストモデル２２の候補を複数用意しておき、コンテクストモデル選択情報２５によって、使用するコンテクストモデル２２を切り替えることを特徴とする。図９に示すように、被予測・符号化対象の基本ブロックＢxの動き予測モードｍ（Ｂx）は、フレーム間で動きの状態についての相関が低ければ、同一フレーム内で空間的に隣接する画像領域の状態との相関が高い（すなわち、ｍ（Ｂx）の値は、ｍ（Ｂa）ないしｍ（Ｂb）の分割形状に強く影響される）と考えられるので、同一フレームの左の基本ブロックＢaの動き予測モードｍ（Ｂa）、上の基本ブロックＢbの動き予測モードｍ（Ｂb）をコンテクストモデル２２の決定に利用する。この考え方の根拠となる例を図１４に示す。図１４は、ｍ（Ｂx）＝ｍｃ＿ｍｏｄｅ３の場合について、Ｂa、Ｂbで選ばれる動き予測モードの２つの状態を比較して示したものである。同図（Ａ）においては、ｍ（Ｂx）の分割形状に対して、Ｂa、Ｂbともに分割の切れ目が自然につながっている。一方、（Ｂ）ではＢa、Ｂbともに分割の切れ目がつながっていない。一般にこの分割形状は基準ブロック内に存在する複数の異なる動き領域の存在を示すものであるので、映像の構造を反映しやすい。したがって、（Ａ）の方が、（Ｂ）よりも「起こりやすい状態」であると考えられる。つまり、ｍ（Ｂa）とｍ（Ｂb）の状態に応じて、ｍ（Ｂx）の生起確率が影響を受けることになる。【００４３】
同様に、フレーム間で動きの状態についての相関が高ければ、時間的に隣接する画像領域の状態との相関が高い（すなわち、ｍ（Ｂx）は、ｍ（Ｂc）の分割形状に対応してとりうる値の確率が変化する）と考えられるので、直前の隣接フレームにおいて基本ブロックＢxと同一位置にある基本ブロックＢcの動き予測モードｍ（Ｂc）をコンテクストモデル２２の決定に利用する。【００４４】
また、同様に、色成分Ｃ0の動き予測モードと、他の色成分Ｃ1、Ｃ2の対応する位置の動き予測モードは画像構造上一定の相関があると考えられるので、色成分ごとに動き予測モードを独立に決定する場合は、色成分間の相関をコンテクストモデル２２の決定に利用するように構成してもよい。【００４５】
動きベクトルのコンテクストモデル２２の決定に際しても同様に、フレーム間で動きの状態についての相関が低ければ、同一フレームの左のブロックＢaの動きベクトル、上のブロックＢbの動きベクトルをコンテクストモデル２２の決定に利用する。一方、フレーム間で動きの状態についての相関が高ければ、直前の隣接フレームにおいてブロックＢxと同一位置にあるブロックＢcの動きベクトルをコンテクストモデル２２の決定に利用する。動き予測モードと同様、動きベクトルについても色成分間の相関をコンテクストモデル２２の決定に利用してもよい。【００４６】
フレーム間で動きの状態についての相関の高低は、符号化装置において所定の方法によって検出して、コンテクストモデル選択情報２５の値を明示的にビットストリームに多重して復号装置に伝達してもよいし、符号化装置と復号装置の両者で検知可能な情報に基づいてコンテクストモデル選択情報２５の値を決定するように構成してもよい。映像信号は非定常であるため、このような適応制御が可能になることにより、算術符号化の効率を高めることができる。【００４７】
（Ｂ）二値化処理（図１１におけるステップＳ１２）
コンテクストモデルは、符号化対象データを二値化部１８にて二値系列化し、二値系列の各ｂｉｎ（バイナリ位置）に応じて定める。二値化の規則は、各符号化データの取りうる値のおおまかな分布に従い、可変長の二値系列への変換を行う。二値化は、本来多値を取りうる符号化対象データをそのまま算術符号化するよりもｂｉｎ単位で符号化することにより確率数直線分割数を削減でき演算を簡略化できる、コンテクストモデルのスリム化が可能になるなどのメリットがある。【００４８】
（Ｃ）生起確率生成処理（図１１におけるステップＳ１３）
上記（Ａ）、（Ｂ）のプロセスで、多値の符号化対象データの二値化と、各ｂｉｎに適用するコンテクストモデルの設定が完了し、符号化準備が整う。次いで生起確率生成部１９にて算術符号化に用いる生起確率情報の生成処理が行われる。各コンテクストモデルには、０／１の各値に対する生起確率のバリエーションが含まれているので、図１１に示すように、ステップＳ１１で決定されたコンテクストモデル２２を参照して処理を行う。図１３のｅk（Ｃ）に示したような生起確率選択のための評価値を定め、これに従って、参照するコンテクストモデルの選択肢の中からどの生起確率バリエーションを現在の符号化に用いるかを決定する。さらに、本実施例１における可変長符号化部８は、生起確率情報記憶メモリ２１を備え、符号化の過程で順次更新される生起確率情報２３を、使用されるコンテクストモデルのバリエーション分だけ記憶する機構を備える。生起確率生成部１９は、コンテクストモデル２２の値に応じて、現在の符号化に用いる生起確率情報２３を決定する。【００４９】
（Ｄ）符号化処理（図１１におけるステップＳ１４）
（Ｃ）によって、算術符号化プロセスに必要な確率数直線上の０／１各値の生起確率が得られるため、従来例にあげたプロセスにしたがって符号化部２０において算術符号化を行う。また、実際の符号化値（０  ｏｒ  １）２４は、生起確率生成部１９へフィードバックされ、使用した生起確率情報２３の更新のため、０／１発生頻度のカウントが行われる（ステップＳ１５）。例えば、ある特定の生起確率情報２３を用いて１００個のｂｉｎの符号化処理が行われた時点で、当該生起確率バリエーションにおける０／１の生起確率が０．２５、０．７５であったとする。ここで、同じ生起確率バリエーションを用いて１が符号化されると、１の出現頻度が更新され、０／１の生起確率は０．２４７、０．７５２に変化する。このメカニズムにより、実際の生起確率に適応した効率的な符号化を行うことが可能となる。算術符号化結果２６は可変長符号化部８からの出力となり、ビットストリーム９として符号化装置から出力される。【００５０】
上記説明においては、コンテクストモデル選択情報２５を、同一フレーム内の情報を用いてコンテクストモデル２２を決定するか、直前の隣接フレームの情報を参照してコンテクストモデル２２を決定するかの選択としたが、同様に、図７ないし図８におけるＣ1、Ｃ2色成分の動き予測モードの符号化に用いるコンテクストモデル２２を、対応するＣ0成分の動き予測モードの状態を参照するか否か、という形で利用してもよい。このように構成することにより、Ｃ1、Ｃ2色成分の動き予測モードの状態がＣ0成分の動き予測モードの状態と高い相関がある場合には符号化効率を高めることができる。【００５１】
２．符号化ビットストリームの構成
入力映像信号１は、上記処理に基づいて図１の画像符号化装置で符号化され、複数の基準ブロックを束ねた単位（以下、スライスと呼ぶ）でビットストリーム９として画像符号化装置から出力される。図１５に、ビットストリーム９のデータ配列を示す。ビットストリーム９は、フレーム中に含まれる基準ブロック数分の符号化データが集められたものとして構成され、基準ブロックはスライス単位にユニット化される。同一フレームに属する基準ブロックが共通パラメータとして参照するピクチャレベルヘッダが用意され、ピクチャレベルヘッダには、基準ブロックサイズ１６が格納される。基準ブロックサイズ１６は、シーケンスで固定化されるのであれば、シーケンスレベルヘッダに多重するように構成してもよい。【００５２】
各スライスはそれぞれスライスヘッダから始まり、続いてスライス内の各基準ブロックの符号化データが配列される（この例では、第２スライスにＫ個の基準ブロックが含まれることを示す）。スライスヘッダに各基準ブロックのデータが連なる。基準ブロックデータは、基準ブロックヘッダと予測誤差圧縮データとから構成され、基準ブロックヘッダには基準ブロック内の動き予測単位ブロックの分の動き予測モードと動きベクトル、予測誤差圧縮データの生成に用いた量子化パラメータなどが配列される。動き予測モードは、まず、３つの色成分の各成分ごとに独立に多重するか否かを示す色成分別動き予測モード共通化識別フラグ２７が多重され、同フラグが「３成分で共通」であれば共通の動き予測モードが１つ、「３成分で独立」であれば図７、８に示したような方法で決定される各色成分別の動き予測モードが個別に多重される。また、動き予測モードおよび動きベクトルの算術符号化におけるコンテクストモデル選択指針を示すコンテクストモデル選択情報２５が基準ブロックヘッダに含まれる。【００５３】
なお、図示していないが、基準ブロックサイズ決定部１６０を、各基準ブロック内で用いる動き予測単位ブロックの大きさＬi、Ｍiを各基準ブロックごとに選択できるように構成しておき、基準ブロック内で用いる動き予測単位ブロックの大きさＬi、Ｍiをシーケンス、ピクチャレベルヘッダに多重する代わりに、各基準ブロックヘッダに多重するように構成してもよい。これにより、基準ブロックごとに動き予測単位ブロックの大きさＬi、Ｍiを符号化する必要があるが、局所的な画像信号の性質に応じて動き予測単位ブロックの大きさを変化させることができ、より適応性の高い動き予測を行うことが可能となる。各基準ブロックヘッダに多重するか、シーケンス、ＧＯＰ、ピクチャ、スライスなどの上位レベルのヘッダに固定的に多重するかは、シーケンス、ＧＯＰ、ピクチャ、スライスなどの上位レベルヘッダ中に識別情報を多重するように構成することにより、上位レベルで固定化しても動き予測性能に影響が少ない場合は、基準ブロックごとに動き予測単位ブロックの大きさＬi、Ｍiを符号化するオーバヘッドを削減して効率的な符号化を行うことも可能である。【００５４】
３．画像復号装置の動作
図１６に本実施例１における画像復号装置の構成を示す。可変長復号部３０は、図１５に示すビットストリーム９を入力とし、シーケンスレベルヘッダを復号した後、ピクチャレベルヘッダを復号して基準ブロックサイズ１６を復号する。これにより当該ピクチャで用いる基準ブロックのサイズＭmax，Ｌi、Ｍiを認識し、予測誤差復号部３４および予測部３１へ通知する。なお、動き予測単位ブロックの大きさＬi、Ｍiを各基準ブロックヘッダ中に多重可能とするビットストリーム構成の場合は、Ｌi、Ｍiが各基準ブロックヘッダ中に多重されているか否かを示す識別情報を復号し、同識別情報に基づいて、Ｌi、Ｍiが各基準ブロックヘッダ中に多重されている場合は、各基準ブロックヘッダを復号することによってＬi、Ｍiを認識するように構成する。【００５５】
基準ブロックデータの復号はまず、基準ブロックヘッダの復号を行い、色成分別動き予測モード共通化識別フラグ２７を復号する。さらに、コンテクストモデル選択情報２５を復号し、色成分別動き予測モード共通化識別フラグ２７およびコンテクストモデル選択情報２５に基づいて、各色成分ごとに動き予測単位ブロックあたりに適用する動き予測モードの復号を行う。また、コンテクストモデル選択情報２５に基づいて動きベクトルの復号を行い、さらに量子化パラメータ、予測誤差圧縮データなどの情報を順次復号する。動き予測モード、動きベクトルの復号については後述する。【００５６】
予測誤差圧縮データ３２、量子化ステップサイズパラメータ３３は予測誤差復号部３４に入力され、復号予測誤差信号３５に復元される。予測部３１は、可変長復号部３０によって復号される予測信号生成用パラメータ１５とメモリ３８内の参照画像とから予測信号３６を生成する（予測部３１は符号化装置における予測部４の動きベクトル検出動作は含まない）。動き予測モードは図２のいずれかであり、その分割形状に基づいて各基本ブロックに割り当てられる動きベクトルを用いて予測画像を生成する。復号予測誤差信号３５と予測信号３６は加算器により加算され、復号信号３７を得る。復号信号３７は以降の基準ブロックの動き補償予測に用いるため、メモリ３８へ格納される。【００５７】
以下、基準ブロックの動き予測モード、動きベクトルの復号処理について述べる。【００５８】
図１７は可変長復号部３０における算術復号処理に関わる内部構成を、図１８はその動作フローを示す。【００５９】
本実施例１における可変長復号部３０は、動き予測モード、動きベクトルなどを含む予測信号生成用パラメータ１５、予測誤差圧縮データ３２、量子化ステップサイズパラメータ３３などの個々の復号対象データのタイプを特定して、それぞれに符号化装置と共通定義されるコンテクストモデルを定めるコンテクストモデル決定部１７、復号対象データのタイプに基づいて定まる二値化規則を生成する二値化部１８、二値化規則とコンテクストモデルに従って、個々のｂｉｎ（０  ｏｒ  １）の生起確率を与える生起確率生成部１９、生成された生起確率に基づいて算術復号を実行し、その結果得られる二値系列と、上記二値化規則とから、符号化データを復号する復号部３９、生起確率情報を記憶する生起確率情報記憶メモリ２１とから構成される。図１０の可変長符号化部８の内部構成要素と同一の番号を付与したブロックは同じ動作を行うものとする。【００６０】
（Ｅ）コンテクストモデル決定処理、二値化処理、生起確率生成処理（図１８のステップＳ１１〜Ｓ１３）
これらのプロセスは符号化装置側のプロセス（Ａ）〜（Ｃ）に準ずる。動き予測モード、動きベクトルの復号に用いるコンテクストモデルの決定には、上記復号したコンテクストモデル選択情報２５を参照する。【００６１】
（Ｆ）算術復号処理
これから復号しようとするｂｉｎの生起確率が（Ｅ）までのプロセスで確定するため、復号部３９において、所定の算術復号処理プロセスにしたがって、ｂｉｎの値を復元する（図１８におけるステップＳ２１）。ｂｉｎの復元値４０は、生起確率生成部１９へフィードバックされ、使用した生起確率情報２３の更新のため、０／１発生頻度のカウントが行われる（ステップＳ１５）。復号部３９では、各ｂｉｎの復元値が確定するごとに、二値化規則で定められる二値系列パターンとの合致を確認し、合致したパターンが指し示すデータ値を復号データ値４１として出力する（ステップＳ２２）。復号データが確定しない限りは、ステップＳ１１へ戻って復号処理を継続する。【００６２】
なお、上記説明では、コンテクストモデル選択情報２５を多重する単位は基準ブロック単位としたが、スライス単位やピクチャ単位などで多重化してもよい。スライス、ピクチャ、シーケンスなどの上位データレイヤに位置するフラグとして多重化されるようにすることで、スライス以上の上位レイヤでの切り替えで十分な符号化効率が確保できる場合は、基準ブロックレベルでコンテクストモデル選択情報２５を逐一多重化することなくオーバヘッドビットを削減できる。【００６３】
また、コンテクストモデル選択情報２５は、それ自体とは別のビットストリーム中に含まれる関連情報に基づいて復号装置の内部で定まる情報であってもよい。また、上記説明では可変長符号化部８、可変長復号部３０は算術符号化・算術復号処理を行うものとして説明したが、これらの処理をハフマン符号化処理として、コンテクストモデル選択情報２５は可変長符号化テーブルを適応的に切り替える手段として利用するように構成してもよい。【００６４】
以上の構成による、算術符号化ならびに算術復号処理を備えた符号化・復号装置によれば、コンテクストモデル選択情報２５により、符号化対象基準ブロックの周辺の状態に応じて適応的に動き予測モードや動きベクトルの情報を算術符号化することができ、より効率的な符号化が可能となる。【００６５】
以上述べた本実施例１における画像符号化装置、画像復号装置によれば、４：４：４フォーマットのカラー映像信号を効率よく符号化するために、各色成分の信号の性質に応じて、動き予測モード、動きベクトルを少ない情報量で動的に切り替えることが可能となるため、高い圧縮率となる低ビットレート符号化において動きベクトルの符号量を効果的に抑制して符号化する画像符号化装置、画像復号装置を提供することができる。【００６６】
なお、本実施例１では、４：４：４映像信号に対する符号化・復号の実施例を説明したが、本発明における動きベクトルの適応符号化は、従来の輝度・色差成分フォーマットで色間引きを行った４：２：０、４：２：２フォーマットを対象とする映像符号化において、その動き予測モード、動きベクトル符号化の効率化にも適用可能であることはいうまでもない。【００６７】
また、ある特定の成分に対して最適な動き予測モード、動きベクトル、予測誤差信号を求めた後、これらの情報に基づいて残りの色成分の動き予測モード、動きベクトル、予測誤差信号を求める処理とを基準ブロックの単位で切り替えて実行する動作（図７、図８）と、空間的な相関だけでなく、時間的な相関に基づいてコンテクストモデルを選択する動作（図９）とを、組み合わせて説明を行ったが、それぞれ単独で動作させた場合も、上記の効果を得ることができる。
【符号の説明】
【００６８】
１  入力映像信号、２  ブロック分割部、３  符号化信号、４  予測部、５  予測誤差信号、６  圧縮部、７  圧縮データ、８  可変長符号化部、９  ビットストリーム、１０  局所復号部、１１  復号予測誤差信号、１２  予測信号、１３  復号信号、１４  メモリ、１５  予測信号生成用パラメータ、１６  基準ブロックサイズ、１７  コンテクストモデル決定部、１８  二値化部、１９  生起確率生成部、２０  符号化部、２１  生起確率情報記憶メモリ、２２  コンテクストモデル、２３  生起確率情報、２４  符号化値、２５  コンテクストモデル選択情報、２６  算術符号化結果、２７  色成分別動き予測モード共通化識別フラグ、３０  可変長復号部、３１  予測部、３２  予測誤差圧縮データ、３３  量子化ステップサイズパラメータ、３４  予測誤差復号、３５  復号予測誤差信号、３６  予測信号、３７  復号信号、３８  メモリ、４０  ｂｉｎ復元値、４１  復号データ値、１６０  基準ブロックサイズ決定部。
【図１】
2010004939.tif 000004
【図２】
2010004939.tif 000005
【図３】
2010004939.tif 000006
【図４】
2010004939.tif 000007
【図５】
2010004939.tif 000008
【図６】
2010004939.tif 000009
【図７】
2010004939.tif 000010
【図８】
2010004939.tif 000011
【図９】
2010004939.tif 000012
【図１０】
2010004939.tif 000013
【図１１】
2010004939.tif 000014
【図１２】
2010004939.tif 000015
【図１３】
2010004939.tif 000016
【図１４】
2010004939.tif 000017
【図１５】
2010004939.tif 000018
【図１６】
2010004939.tif 000019
【図１７】
2010004939.tif 000020
【図１８】
2010004939.tif 000021
【図１９】
2010004939.tif 000022
【図２０】
2010004939.tif 000023
【国際調査報告】
2010004939.tif 000024
2010004939.tif 000025
2010004939.tif 000026
2010004939.tif 000027