(57)【要約】【課題】Ｈ．２６４標準との親和性を保ちつつ圧縮効率の高い可逆ビデオ符号化を実現する。【解決手段】符号化中の各小ブロックにおいて，Ｈ．２６４準拠の符号化方式に従い，予測モードに応じてフレーム内予測またはフレーム間予測により予測残差信号Ｒを求める（Ｓ１０１，Ｓ１０３）。また，予測係数αを求め，予測係数αを用いて予測残差信号Ｒに空間的な線形予測を施し，残差変換信号Ｐを取得する（Ｓ１０２，Ｓ１０４〜Ｓ１０６）。この残差変換信号Ｐを量子化することなくエントロピ符号化する（Ｓ１０７）。【選択図】図２
2006135786.tif 000002
【特許請求の範囲】
【請求項１】
動画像の画像信号を可逆符号化する可逆ビデオ符号化装置であって，
符号化対象画像信号の各ブロックごとに，フレーム内符号化における空間予測あるいはフレーム間符号化における時間予測を施した予測残差信号を算出する手段と，
線形予測に用いる予測係数を記憶する手段と，
前記予測残差信号に対し，前記予測係数を用いて空間的な線形予測を施すことにより残差変換信号を取得する手段と，
前記残差変換信号を符号化する手段とを備える
ことを特徴とする可逆ビデオ符号化装置。
【請求項２】
動画像の画像信号を可逆符号化する可逆ビデオ符号化方法であって，
符号化対象画像信号の各ブロックごとに，フレーム内符号化における空間予測あるいはフレーム間符号化における時間予測を施した予測残差信号を算出するステップと，
前記予測残差信号に対し，記憶装置に記憶された予測係数を用いて空間的な線形予測を施すことにより残差変換信号を取得するステップと，
前記残差変換信号を符号化するステップとを備える
ことを特徴とする可逆ビデオ符号化方法。
【請求項３】
請求項２に記載の可逆ビデオ符号化方法において，
符号化中ブロックおよびその周囲の符号化済みブロックの予測モードを用いて前記予測係数を決定し，前記記憶装置に記憶するステップを有する
ことを特徴とする可逆ビデオ符号化方法。
【請求項４】
請求項２または請求項３に記載の可逆ビデオ符号化方法において，
符号化済み周囲ブロックの予測残差信号を用いて，予測残差信号の相関係数により前記予測係数を決定し，前記記憶装置に記憶するステップを有する
ことを特徴とする可逆ビデオ符号化方法。
【請求項５】
請求項１に記載の可逆ビデオ符号化装置を用いて符号化した符号化ストリームを復号する可逆ビデオ復号装置であって，
符号化ストリームを入力し各ブロックごとに残差変換信号を復号する手段と，
逆線形予測に用いる予測係数を記憶する手段と，
復号された残差変換信号に，前記予測係数を用いて空間的な逆線形予測を施すことにより符号化時の予測残差信号と同一の信号を得る手段と，
前記予測残差信号から復号画像を生成する手段とを備える
ことを特徴とする可逆ビデオ復号装置。
【請求項６】
請求項２，請求項３または請求項４に記載の可逆ビデオ符号化方法を用いて符号化した符号化ストリームを復号する可逆ビデオ復号方法であって，
符号化ストリームを入力し各ブロックごとに残差変換信号を復号するステップと，
復号された残差変換信号に，記憶装置に記憶された予測係数を用いて空間的な逆線形予測を施すことにより符号化時の予測残差信号と同一の信号を得るステップと，
前記予測残差信号から復号画像を生成するステップとを有する
ことを特徴とする可逆ビデオ復号方法。
【請求項７】
請求項６に記載の可逆ビデオ復号方法において，
復号中ブロックおよびその周囲の復号済みブロックの予測モードを用いて前記予測係数を決定し，前記記憶装置に記憶するステップを有する
ことを特徴とする可逆ビデオ復号方法。
【請求項８】
請求項６または請求項７に記載の可逆ビデオ復号方法において，
復号済み周囲ブロックの予測残差信号を用いて，予測残差信号の相関係数により前記予測係数を決定し，前記記憶装置に記憶するステップを有する
ことを特徴とする可逆ビデオ復号方法。
【請求項９】
動画像の画像信号の可逆符号化処理をコンピュータに実行させるための可逆ビデオ符号化プログラムであって，
前記コンピュータを，
符号化対象画像信号の各ブロックごとに，フレーム内符号化における空間予測あるいはフレーム間符号化における時間予測を施した予測残差信号を算出する手段と，
線形予測に用いる予測係数を記憶する手段と，
前記予測残差信号に対し，前記予測係数を用いて空間的な線形予測を施すことにより残差変換信号を取得する手段と，
前記残差変換信号を符号化する手段，
として機能させるための可逆ビデオ符号化プログラム。
【請求項１０】
請求項１に記載の可逆ビデオ符号化装置を用いて符号化した符号化ストリームを復号する可逆復号処理をコンピュータに実行させるための可逆復号プログラムであって，
前記コンピュータを，
符号化ストリームを入力し各ブロックごとに残差変換信号を復号する手段と，
逆線形予測に用いる予測係数を記憶する手段と，
復号された残差変換信号に，前記予測係数を用いて空間的な逆線形予測を施すことにより符号化時の予測残差信号と同一の信号を得る手段と，
前記予測残差信号から復号画像を生成する手段，
として機能させるための可逆ビデオ復号プログラム。
【請求項１１】
動画像の画像信号の可逆符号化処理をコンピュータに実行させるための可逆ビデオ符号化プログラムを記録したコンピュータ読み取り可能な記録媒体であって，
前記コンピュータを，
符号化対象画像信号の各ブロックごとに，フレーム内符号化における空間予測あるいはフレーム間符号化における時間予測を施した予測残差信号を算出する手段と，
線形予測に用いる予測係数を記憶する手段と，
前記予測残差信号に対し，前記予測係数を用いて空間的な線形予測を施すことにより残差変換信号を取得する手段と，
前記残差変換信号を符号化する手段，
として機能させるためのプログラムを記録した可逆ビデオ符号化プログラムの記録媒体。
【請求項１２】
請求項１に記載の可逆ビデオ符号化装置を用いて符号化した符号化ストリームを復号する可逆復号処理をコンピュータに実行させるための可逆復号プログラムを記録したコンピュータ読み取り可能な記録媒体であって，
前記コンピュータを，
符号化ストリームを入力し各ブロックごとに残差変換信号を復号する手段と，
逆線形予測に用いる予測係数を記憶する手段と，
復号された残差変換信号に，前記予測係数を用いて空間的な逆線形予測を施すことにより符号化時の予測残差信号と同一の信号を得る手段と，
前記予測残差信号から復号画像を生成する手段，
として機能させるためのプログラムを記録した可逆ビデオ復号プログラムの記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は高能率ビデオ符号化に関し，特に，H.264 標準と親和性が高い可逆ビデオ符号化を実現する可逆ビデオ符号化技術，可逆ビデオ復号技術に関する。
【背景技術】
【０００２】
従来の可逆ビデオ符号化方式には，Motion JPEG2000 標準（非特許文献１，非特許文献２参照）の可逆モードや JPEG-LS（非特許文献３，非特許文献４参照）がある。これらは，静止画ベースであるためフレーム内に閉じた符号化を行う。
【０００３】
これらの従来方式には，次のような問題がある。
・Motion JPEG2000 は，段階的伝送が可能であるが，フレーム内符号化をするため，ビデオ特有のフレーム間相関を用いた高能率符号化はできない。
・JPEG-LS は，JPEG2000よりも効率は高いが，やはりフレーム内に閉じた符号化であり効率に限界があるほか，段階的伝送ができない。
【０００４】
また，従来の可逆ビデオ符号化方式として，H.264 標準の第二版“Fidelity Range Extention(FRExt) ”（非特許文献５参照）がある。この方式では，フレーム内・フレーム間予測残差信号を（直交変換・量子化せず）そのまま伝送する。これは，H.264 標準の初版との親和性も高く，処理も簡便であるが，予測残差信号になお残存している相関を除くことができないという問題がある。
【０００５】
このようにフレーム間予測を行うことで効率を高め，かつH.264 標準との親和性を保ちつつ圧縮効率の高い可逆ビデオ符号化方式は提案されていなかった。
【非特許文献１】ISO/IEC 15444-3:2002 Information technology −JPEG2000 image coding system−Part 3:Motion JPEG2000
【非特許文献２】"Motion-JPEG2000",http://e-words.jp/w/Motion-JPEG2000.html
【非特許文献３】ISO/IEC 14495-1:1999 Information technology −Lossless and near-lossless coding of continuous tone still images
【非特許文献４】上野他，“多値ロスレス符号化標準と当社技術の採用”，http://www.mitsubishielectric.co.jp/giho/9809/9809115.pdf
【非特許文献５】Gary J.Sullivan,Pankaj Topiwala,and Ajay Luthra,“The H.264/AVC Advanced Video Coding Standard: Overview and Introduction to the Fidelity Range Extensions”,Presented at the SPIE Conference on Applications of Digital Image Processing XXVII Special Session on Advances in the New Emerging Standard: H.264/AVC,August,2004
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は，上に述べたような問題に鑑みて，H.264 標準と親和性が高い可逆ビデオ符号化を実現することを目的とする。
【課題を解決するための手段】
【０００７】
〔変数の定義〕
原信号の小ブロックを４×４行列Ｕで表す。H.264 標準においては，フレーム内あるいはフレーム間で該ブロックを予測する。この信号を同じく４×４行列Ｙで表す。そして予測残差信号（４×４行列Ｒ）を両者の差
Ｒ＝Ｕ−Ｙ          （１）
とする。これらはいずれも，要素がすべて整数である。
【０００８】
残差信号の各要素を，
【０００９】
【数１】
2006135786.tif 000003
のように表記することとする。
【００１０】
〔第１の発明〕
H.264 標準においては，Ｒに対して直交変換，ついで係数の量子化を行うが，この発明に係る可逆ビデオ符号化方法は，直交変換および量子化を省略し，その代わりに線形予測を施す。
【００１１】
ここで，Ｒの各要素に対し線形予測を施し，残差変換信号を得る。これを４×４行列Ｐとする。
【００１２】
【数２】
2006135786.tif 000004
線形予測においては，一次元予測を水平垂直に繰り返す方法（アルゴリズム１）あるいは二次元予測を行う方法（アルゴリズム２）を用いる。
【００１３】
［アルゴリズム１］
1.  （＊水平方向＊）
2.  for ｊ← 0 to 3 
3.        for ｉ← 0 to 3 
4.            ｐi,j ←ｒi,j - f(αh ｒi-1,j ) 
5.  （＊垂直方向＊）
6.  for ｉ← 0 to 3 
7.        for ｊ← 3 downto 0 
8.            ｐi,j ←ｐi,j - f(αv ｐi,j-1 ) 
［アルゴリズム２］
1.  for ｊ← 0 to 3 
2.      for ｉ← 0 to 3 
3.          ｐi,j ←ｒi,j - f(αh ｒi-1,j + αv ｒi,j-1 - αh αv ｒi-1,j-1 ) 
ここで任意の整数ｎに対して
ｒ-1, n ＝ｒn,-1＝０
であるとし，αh は垂直方向の予測係数，αv は垂直方向の予測係数であり，予め決められた値（例えばαh ＝αv ＝０．７５）を用いるものとする。また，ｆ（ｘ）は，ｘの小数点以下を四捨五入し整数とする関数である。すなわち，
ｆ（ｘ）＝［（ｘ＋０．５）以下の最大の整数］        （４）
こうして得られたＰを，「残差変換信号」と呼ぶ。これを，通常のH.264 における，直交変換と量子化を経た，量子化係数（やはり４×４サイズである）とみなして符号化する。
【００１４】
以上の線形予測を行うためのハードウェア資源と操作手段としては，例えば次のものを用いる。
・整数ｉ記憶装置，整数ｊ記憶装置，整数ｒij記憶装置，整数ｋ記憶装置
・１６要素の整数配列ｐ記憶装置，１６要素の整数配列ｒ記憶装置
・浮動小数点数αh 記憶装置，浮動小数点数αv 記憶装置，浮動小数点数ｆ記憶装置
・小数点以下四捨五入手段
・乗算手段，加算手段，減算手段
・整数比較手段。
【００１５】
また，補助手段として，次のものを用いる。
・ｐij設定手段（整数ｉ記憶装置と整数ｊ記憶装置と整数ｘ記憶装置からそれぞれｉ，ｊ，ｘを取得し，整数ｋ記憶装置にｉ＊４＋ｊを記憶し，整数配列ｐ記憶装置のｋ番地にｘを記憶する手段）
・ｐij-1獲得手段（整数ｊ記憶装置からｊを取得し，減算手段により１を減じ，この値を整数ｊ記憶装置に記録し，ｐij獲得手段を実行し，再度整数ｊ記憶装置からｊを取得し，加算手段により１を加え，この値を整数ｊ記憶装置に記録する手段）
・ｒij獲得手段（整数ｉ記憶装置と整数ｊ記憶装置からそれぞれｉ，ｊを取得し，ｉが負またはｊが負ならば０を返し，そうでなければ，整数ｋ記憶装置にｉ＊４＋ｊを記憶し，整数配列ｒ記憶装置のｋ番地の値を整数ｒij記憶装置に記憶する手段）
・ｒij-1獲得手段（整数ｊ記憶装置からｊを取得し，減算手段により１を減じ，この値を整数ｊ記憶装置に記録し，ｒij獲得手段を実行し，再度整数ｊ記憶装置からｊを取得し，加算手段により１を加え，この値を整数ｊ記憶装置に記録する手段）
・ｒi-1j獲得手段（整数ｉ記憶装置からｉを取得し，減算手段により１を減じ，この値を整数ｉ記憶装置に記録し，ｒij獲得手段を実行し，再度整数ｉ記憶装置からｉを取得し，加算手段により１を加え，この値を整数ｉ記憶装置に記録する手段）
・ｒi-1j-1獲得手段（整数ｉ記憶装置からｉを取得し，減算手段により１を減じ，この値を整数ｉ記憶装置に記録し，ｒij-1獲得手段を実行し，再度整数ｉ記憶装置からｉを取得し，加算手段により１を加え，この値を整数ｉ記憶装置に記録する手段）。
【００１６】
アルゴリズム１は，ハードウェア資源に対する次のような操作として記述される。
［１］整数ｊ記憶装置に値０を記憶する。
［２］整数ｉ記憶装置に値０を記憶する。
［３］（フラグＡ）
［４］αh 記憶手段からαh を取得し，ｒi-1j獲得手段を実行し，整数ｒij記憶装置から得たｒi-1,j 値とαh の積を乗算手段により求め，該積を小数点以下四捨五入手段により整数とし，ｒij獲得手段を実行し，ｒij記憶装置から得たｒi,j 値と該積の差を減算手段により求め，整数ｘ記憶装置に記憶する。
［５］ｐij設定手段を実行する。
［６］整数ｉ記憶装置からｉを取得し，加算手段によりこれに１を加算し，整数ｉ記憶装置に記憶する。
［７］ｉと３の大小を整数比較手段により比較し，ｉが３を超えていなければ，フラグＡの番地へ処理を移す。
［８］ｉが３を超えていれば，整数ｉ記憶装置に０を記憶し，また，整数ｊ記憶装置からｊを取得し，加算手段によりこれに１を加算し，整数ｊ記憶装置に記憶する。
［９］ｊと３の大小を比較し，ｊが３を超えていなければ，フラグＡの番地へ処理を移す。
［１０］整数ｉ記憶装置に値０を記憶する。
［１１］整数ｊ記憶装置に値３を記憶する。
［１２］（フラグＢ）
［１３］αv 記憶手段からαv を取得し，ｐij-1獲得手段を実行し，ｐij記憶装置から得たｐi,j-1 値とαv の積を乗算手段により求め，該積を小数点以下四捨五入手段により整数とし，ｐij獲得手段を実行し，ｐij記憶装置から得たｐi,j 値と該積の差を減算手段により求め，整数ｘ記憶装置に記憶する。
［１４］ｐij設定手段を実行する。
［１５］整数ｊ記憶装置からｊを取得し，減算手段によりこれから１を減算し，整数ｊ記憶装置に記憶する。
［１６］ｊと０の大小を整数比較手段により比較し，ｊが０を下回っていなければ，フラグＢの番地へ処理を移す。
［１７］ｊが０を下回っていれば，整数ｊ記憶装置に３を記憶し，また，整数ｉ記憶装置からｉを取得し，加算手段によりこれに１を加算し，整数ｉ記憶装置に記憶する。
［１８］ｉと３の大小を比較し，ｉが３を超えていなければ，フラグＢの番地へ処理を移す。
［１９］ｉが３を超えていれば，処理を終了する。
【００１７】
アルゴリズム２は，ハードウェア資源に対する次のような操作として記述される。
［１］整数ｉ記憶装置に値０を記憶する。
［２］整数ｊ記憶装置に値０を記憶する。
［３］（フラグＡ）
［４］αh 記憶手段からαh を取得し，αv 記憶手段からαv を取得する。
［５］ｒij-1獲得手段を実行し，ｒij記憶装置から得たｒi,j-1 値とαv の積を乗算手段により求め，浮動小数点数ｆ記憶装置に記憶する。
［６］ｒi-1j獲得手段を実行し，ｒij記憶装置から得たｒi-1,j 値とαh の積を乗算手段により求め，加算手段により浮動小数点数ｆ記憶装置に加算する。
［７］ｒi-1j-1獲得手段を実行し，ｒij記憶装置から得たｒi-1,j-1 値とαh の積を乗算手段により求め，さらに該積とαv の積を乗算手段により求め，これを減算手段により浮動小数点数ｆ記憶装置から減算する。
［８］小数点以下四捨五入手段により浮動小数点数ｆ記憶装置の値を整数化し，整数ｘ記憶装置に記憶する。
［９］ｒij獲得手段を実行し，ｒij記憶装置から得たｒi,j 値とｘの差を減算手段により求め，整数ｘ記憶装置に記憶する。
［１０］ｐij設定手段を実行する。
［１１］整数ｉ記憶装置からｉを取得し，加算手段によりこれに１を加算し，整数ｉ記憶装置に記憶する。
［１２］ｉと３の大小を整数比較手段により比較し，ｉが３を超えていなければ，フラグＡの番地へ処理を移す。
［１３］ｉが３を超えていれば，整数ｉ記憶装置に０を記憶し，また，整数ｊ記憶装置からｊを取得し，加算手段によりこれに１を加算し，整数ｊ記憶装置に記憶する。
［１４］ｊと３の大小を比較し，ｊが３を超えていなければ，フラグＡの番地へ処理を移す。
［１５］ｊが３を超えていれば，処理を終了する。
【００１８】
〔第２の発明〕
予測残差信号の統計的性質は，画像そのものによっても大きく変化するが，予測方法，例えばフレーム間予測をする場合とフレーム内予測をする場合によっても予測残差の性質は変化すると考えられる。そこで，該ブロックがフレーム内予測である場合には，水平予測係数，垂直予測係数をそれぞれ
αh ＝αh intra             （５）
αv ＝αv intra             （６）
とし，フレーム間予測である場合には，水平予測係数，垂直予測係数をそれぞれ
αh ＝αh inter             （７）
αv ＝αv inter             （８）
として，アルゴリズム１またはアルゴリズム２の予測を行うこととする。
【００１９】
予測係数の値は，例えば
αh intra ＝αv intra ＝０．８        （９）
αh inter ＝αv inter ＝０．７        （１０）
のように定める。
【００２０】
〔第３の発明〕
予測誤差信号は，隣接したブロック同士では，ほぼ類似の性質を持つことが経験上判明している。そこで，近隣のブロックで最適な予測係数が，処理中のブロックでもよい予測をすると期待できる。
【００２１】
符号化中のブロックに隣接する，あるブロックでの予測残差信号Ｒに線形予測を施した残差変換信号Ｐのエントロピを最小にするような予測係数は，
【００２２】
【数３】
2006135786.tif 000005
により与えられる。ただし，Ｐはアルゴリズム１あるいはアルゴリズム２により求まる残差変換信号であり，Ｈ（）はエントロピ関数である。
【００２３】
Ｈ（ｐ）＝−Σn ｈn ｌｏｇ2 ｈn 
ここでｈn は，Ｐの各要素が値ｎをとる確率である。
【００２４】
なお，実際上，上記を満たす予測係数αh ，αv を求めるのは容易ではないので，残差変換信号Ｐの電力を最小とする予測係数を求めるのが現実的である。この係数は，相関係数σにより与えられる。
【００２５】
近隣のブロックでの水平方向の相関係数σh は，
【００２６】
【数４】
2006135786.tif 000006
垂直方向の相関係数σv は，
【００２７】
【数５】
2006135786.tif 000007
により，それぞれ解析的に得られる。線形予測の範疇で残差電力を最小とする予測係数は上記で与えられるが，符号化中の画素値は復号側では知り得ないため，図１に示すような，着目ブロック（＊）に隣接した符号化済みブロックであるＮＷ（左上隣接ブロック），Ｎ（上隣接ブロック），ＮＥ（右上隣接ブロック），Ｗ（左隣接ブロック）における相関係数（符号化側・復号側ともに，可逆符号化のため知り得る情報である）を用いる。
【００２８】
すなわち，予測係数αh ，αv を，
αh ＝（σh W ＋σh NW＋σh N ＋σh NE＋４σh ’）／８      （１３）
αv ＝（σv W ＋σv NW＋σv N ＋σv NE＋４σv ’）／８      （１４）
のように，できるだけ妥当に近いと思われる値に設定し，線形予測する。
【００２９】
式（１３）において，σh W は左隣接ブロック内水平方向相関係数，σh NWは左上隣接ブロック内水平方向相関係数，σh N は上隣接ブロック内水平方向相関係数である。また，σh ’は例えば０．７５のような水平方向相関係数デフォルト値である。
【００３０】
式（１４）において，σv W は左隣接ブロック内垂直方向相関係数，σv NWは左上隣接ブロック内垂直方向相関係数，σv N は上隣接ブロック内垂直方向相関係数である。また，σv ’は例えば０．７５のような垂直方向相関係数デフォルト値である。
【００３１】
〔第４の発明〕
第１ないし第３の発明による残差変換信号は，一次元線形予測を縦横に繰り返す（アルゴリズム１による）場合には下記のアルゴリズム３，二次元線形予測する（アルゴリズム２による）場合には下記のアルゴリズム４により，残差信号に完全復元される。前者の場合，水平方向の線形予測と垂直方向の線形予測の順序が符号化と復号で逆になることに注意する。
【００３２】
［アルゴリズム３］
1.  （＊垂直方向＊）
2.  for ｉ← 0 to 3 
3.        for ｊ← 0 to 3 
4.            ｐi,j ←ｐi,j + f(αv ｐi,j-1 ) 
5.  （＊水平方向＊）
6.  for ｊ← 0 to 3 
7.        for ｉ← 0 to 3 
8.            ｒi,j ←ｐi,j + f(αh ｒi-1,j ) 
［アルゴリズム４］
1.  for ｊ← 0 to 3 
2.      for ｉ← 0 to 3 
3.          ｒi,j ←ｐi,j + f(αh ｒi-1,j + αv ｒi,j-1 - αh αv ｒi-1,j-1 ) 
【発明の効果】
【００３３】
本発明によれば，フレーム間予測を行うことで効率を高め，かつ，H.264 標準との親和性を保ちつつ圧縮効率の高い可逆ビデオ符号化を行うことができる。
【発明を実施するための最良の形態】
【００３４】
以下に，本発明の実施形態について，図面を参照して説明する。
【００３５】
図２は，第３の発明に係る可逆ビデオ符号化の処理フローチャートである。まず，符号化器では，H.264 準拠の符号化方式に従い，ステップＳ１０１において，画像内の各ブロックが順に，符号化器が定めた予測モードに応じフレーム間あるいはフレーム内予測される。
【００３６】
この予測モードに応じ，ステップＳ１０２において，水平・垂直の予測係数αh mode，αv modeを定める。次に，ステップＳ１０３において，予測残差信号Ｒを得ておき，ステップＳ１０４において，符号化中のブロックの周辺隣接ブロックにおける相関係数（σh W 〜σv NE）を，式（１１），式（１２）に従って求める。
【００３７】
次いでステップＳ１０５では，式（１３），式（１４）にならい，例えば以下のようにして水平予測係数αh ，垂直予測係数αv を定める。
【００３８】
αh ＝（σh W ＋σh NW＋σh N ＋σh NE＋４αh mode）／８      （１５）
αv ＝（σv W ＋σv NW＋σv N ＋σv NE＋４αv mode）／８      （１６）
得られた係数を用い，ステップＳ１０６において，アルゴリズム１あるいはアルゴリズム２により予測残差信号Ｒに線形予測を施し残差変換信号Ｐを得る。次いでステップＳ１０７において，このＰをH.264 準拠の方法でエントロピ符号化する。
【００３９】
ステップＳ１０８において，すべてのブロックが符号化されたかを判定し，偽である限りステップＳ１０１へ処理を戻し，次のブロックについて同様に符号化を繰り返す。
【００４０】
図３は，第３の発明に係る可逆ビデオ符号化装置の機能ブロック図の一例を示す図である。
【００４１】
可逆ビデオ符号化装置１は，原画像信号を記憶する原画像記憶装置１０１，原画像信号を符号化するH.264 符号化装置１０２，着目ブロックの隣接周辺ブロックの位置情報を順に発生する逐次ブロック位置制御部１０３，着目ブロックの隣接周辺ブロックにおける上下に隣り合う画素対（ａ，ｂ）を列挙する入力制御部Ｖ１０４，着目ブロックの隣接周辺ブロックにおける左右に隣り合う画素対（ａ，ｂ）を列挙する入力制御部Ｈ１０５，Σａｂを出力する積加算器１０６，Σａ，Σｂを出力する加算器１０７，Σａ2 ，Σｂ2 を出力する二乗和加算器１０８，相関係数を出力する相関係数演算器１０９，相関係数を記憶する相関係数記憶装置１１０，αh modeとαv modeを決定するαmode決定装置１１１，αh modeとαv modeを記憶するαh mode，αv mode記憶装置１１２，αh ，αv を出力するαh ，αv 演算器１１３，αh ，αv を記憶するαh ，αv 記憶装置１１４，着目ブロックに対する予測残差信号Ｒを記憶するＲ記憶装置１１５，整数（ｉ，ｊ）の対を生成するｉｊループ制御部１１６，ｐi,j を出力する二次元線形予測器１１７，Ｐのｉ，ｊ番目の要素にｐi,j を記憶するＰ記憶装置１１８，Ｐの符号化ビットストリームが蓄積される符号化ビットストリーム蓄積部１１９を備える。
【００４２】
上記αmodeは，予測モード別予測係数を意味し，αh modeは予測モード別水平方向予測係数を意味し，αv modeは予測モード別垂直方向予測係数を意味している。
【００４３】
H.264 符号化装置１０２は，原画像記憶装置１０１から原画像信号を読み込み，ブロック単位で符号化を行う。符号化最中の「着目ブロック」位置の情報は，逐次ブロック位置制御部１０３に伝達される。逐次ブロック位置制御部１０３は，着目ブロックの隣接周辺ブロック（図１に示すＷ，ＮＷ，Ｎ，ＮＥ）の位置情報を順に発生する。
【００４４】
入力制御部Ｖ１０４は，原画像記憶装置１０１から，逐次ブロック位置制御部１０３に指定された位置の４×４ブロック内の画素値の情報を，（ａ，ｂ）という形の対として順に発生する。
【００４５】
その順番は，式（２）において，
（ａ，ｂ）＝（ｒ0,0 ，ｒ0,1 ），（ｒ0,1 ，ｒ0,2 ），（ｒ0,2 ，ｒ0,3 ），（ｒ1,0 ，ｒ1,1 ），（ｒ1,1 ，ｒ1,2 ），（ｒ1,2 ，ｒ1,3 ），（ｒ2,0 ，ｒ2,1 ），（ｒ2,1 ，ｒ2,2 ），（ｒ2,2 ，ｒ2,3 ），（ｒ3,0 ，ｒ3,1 ），（ｒ3,1 ，ｒ3,2 ），（ｒ3,2 ，ｒ3,3 ）
と，上下に隣り合う画素対をすべて列挙する。
【００４６】
入力制御部Ｈ１０５も同様に，式（２）において，
（ａ，ｂ）＝（ｒ0,0 ，ｒ1,0 ），（ｒ1,0 ，ｒ2,0 ），（ｒ2,0 ，ｒ3,0 ），（ｒ0,1 ，ｒ1,1 ），（ｒ1,1 ，ｒ2,1 ），（ｒ2,1 ，ｒ3,1 ），（ｒ0,2 ，ｒ1,2 ），（ｒ1,2 ，ｒ2,2 ），（ｒ2,2 ，ｒ3,2 ），（ｒ0,3 ，ｒ1,3 ），（ｒ1,3 ，ｒ2,3 ），（ｒ2,3 ，ｒ3,3 ）
と，左右に隣り合う画素対をすべて列挙する。
【００４７】
積加算器１０６は，（ａ，ｂ）を入力とし，積ａｂを求め，全１２対についてのａｂ積総和であるΣａｂを出力する。加算器１０７は，（ａ，ｂ）を入力とし，全１２対についてのａ総和であるΣａと，ｂ総和であるΣｂとを出力する。二乗和加算器１０８は，（ａ，ｂ）を入力とし，積ａ2 ，ｂ2 を求め，全１２対についてのａ二乗和であるΣａ2 と，ｂ二乗和であるΣｂ2 とを出力する。
【００４８】
相関係数演算器１０９は，積加算器１０６，加算器１０７，二乗和加算器１０８からの出力から，図示しない加減算器，乗算器，除算器，平方根演算器により，
【００４９】
【数６】
2006135786.tif 000008
を出力する。
【００５０】
相関係数記憶装置１１０は，入力制御部Ｖ１０４あるいは入力制御部Ｈ１０５のいずれかの制御により，また，逐次ブロック位置制御部１０３からの制御がＷ，ＮＷ，Ｎ，ＮＥのいずれかにより，σh W ないしσv NEを記憶する。
【００５１】
一方，αmode決定装置１１１は，H.264 符号化装置１０２が決定した符号化モード（ｍｏｄｅ）に応じてαh modeとαv modeを適当に決定し，αh mode，αv mode記憶装置１１２に記憶する。
【００５２】
αh ，αv 演算器１１３は，相関係数記憶装置１１０およびαh mode，αv mode記憶装置１１２からのσh W ないしσv NE，αh mode，αv modeに基づき，図示しない加算器と除算器を用いて式（１５），式（１６）に従いαh ，αv を出力し，αh ，αv 記憶装置１１４に記憶する。
【００５３】
一方，H.264 符号化装置１０２は，符号化の過程で，着目ブロック（４×４サイズ）に対する予測残差信号Ｒを生成する。これはＲ記憶装置１１５に記憶される。
【００５４】
ｉｊループ制御部１１６は，整数（ｉ，ｊ）の対（０，０），（０，１），（０，２），（０，３），（１，０），（１，１），（１，２），（１，３），（２，０），（２，１），（２，２），（２，３），（２，０），（３，１），（３，２），（３，３）をこの順に生成する。
【００５５】
二次元線形予測器１１７は，Ｒ記憶装置１１５より４つの画素値（ｒi,j ，ｒi-1,j ，ｒi,j-1 ，ｒi-1,j-1 ）を得て，また，αh ，αv 記憶装置１１４よりαh ，αv を得て，これらの入力を図示しない乗算器，加算器，四捨五入器により，
ｐi,j ＝ｒi,j −ｆ（αh ｒi-1,j ＋αv ｒi,j-1 ＋αh αv ｒi-1,j-1 ）
に従いｐi,j を求め，これを出力する。Ｐ記憶装置１１８は，このｐi,j を入力とし，Ｐのｉ，ｊ番目の要素（ｉｊループ制御部１１６により指定される）にこれを記憶する。
【００５６】
このように得られた４×４の残差変換信号Ｐは，H.264 符号化装置１０２にて，エントロピ符号化され，符号化ビットストリーム蓄積部１１９に蓄積される。上記の処理を，原画像記憶装置１０１からの原画像信号入力が終了するまで繰り返す。
【００５７】
図４は，第６の発明に係る可逆ビデオ復号の処理フローチャートである。復号器では，ステップＳ２０１において，ビットストリームから H.264方式に従い，残差変換信号Ｐを順次エントロピ復号する。また，ビットストリームから得られる符号化モードに応じ，ステップＳ２０２において，水平・垂直の予測係数αh mode，αv modeを定める。
【００５８】
ステップＳ２０３において，復号済みの周辺隣接ブロックにおける相関係数（σh W 〜σv NE）を，式（１１），式（１２）に従って求める。次いでステップＳ２０４では，式（１５），式（１６）にならい，水平予測係数αh ，垂直予測係数αv を定める。
【００５９】
得られた係数を用い，ステップＳ２０５において，アルゴリズム３あるいはアルゴリズム４により残差変換信号Ｐに逆線形予測を施し，予測残差信号Ｒを得る。この予測残差信号Ｒを用い，ステップＳ２０６において，H.264 準拠の方法で復号画像を生成する。
【００６０】
ステップＳ２０７において，すべてのブロックが復号されたかを判定し，偽である限りステップＳ２０１へ処理を戻し，すべてのブロックが復号されるまで同様に復号処理を繰り返す。
【００６１】
図５は，第６の発明に係る可逆ビデオ復号装置の機能ブロック図の一例を示す図である。可逆ビデオ復号装置２は，原画像信号が記憶される原画像記憶装置２０１，符号化ビットストリームを復号するH.264 復号装置２０２，着目ブロックの隣接周辺ブロックの位置情報を発生する逐次ブロック位置制御部２０３，着目ブロックの隣接周辺ブロックにおける上下に隣り合う画素対（ａ，ｂ）を列挙する入力制御部Ｖ２０４，着目ブロックの隣接周辺ブロックにおける左右に隣り合う画素対（ａ，ｂ）を列挙する入力制御部Ｈ２０５，Σａｂを出力する積加算器２０６，Σａ，Σｂを出力する加算器２０７，Σａ2 ，Σｂ2 を出力する二乗和加算器２０８，相関係数を出力する相関係数演算器２０９，相関係数を記憶する相関係数記憶装置２１０，αh modeとαv modeを決定するαmode決定装置２１１，αh modeとαv modeを記憶するαh mode，αv mode記憶装置２１２，αh ，αv を出力するαh ，αv 演算器２１３，αh ，αv を記憶するαh ，αv 記憶装置２１４，着目ブロックに対する残差変換信号Ｐを記憶するＰ記憶装置２１５，整数（ｉ，ｊ）の対を生成するｉｊループ制御部２１６，ｒi,j を出力する二次元逆線形予測器２１７，ｒi,j をＲのｉ，ｊ番目の要素に記憶するＲ記憶装置２１８，符号化ビットストリームが蓄積される符号化ビットストリーム蓄積部２１９を備える。
【００６２】
H.264 復号装置２０２は，符号化ビットストリーム蓄積部２１９からビットストリームを読み込み，ブロック単位で復号を行う。復号最中の「着目ブロック」位置の情報は逐次ブロック位置制御部２０３に伝達される。
【００６３】
逐次ブロック位置制御部２０３は，着目ブロックの隣接周辺ブロック（Ｗ，ＮＷ，Ｎ，ＮＥ）の位置情報を順に発生する。入力制御部Ｖ２０４は，原画像記憶装置２０１から，逐次ブロック位置制御部２０３に指定された位置の４×４ブロック内の画素値の情報を，（ａ，ｂ）という形の対として順に発生する。
【００６４】
その順番は，式（２）において，
（ａ，ｂ）＝（ｒ0,0 ，ｒ0,1 ），（ｒ0,1 ，ｒ0,2 ），（ｒ0,2 ，ｒ0,3 ），（ｒ1,0 ，ｒ1,1 ），（ｒ1,1 ，ｒ1,2 ），（ｒ1,2 ，ｒ1,3 ），（ｒ2,0 ，ｒ2,1 ），（ｒ2,1 ，ｒ2,2 ），（ｒ2,2 ，ｒ2,3 ），（ｒ3,0 ，ｒ3,1 ），（ｒ3,1 ，ｒ3,2 ），（ｒ3,2 ，ｒ3,3 ）
と，上下に隣り合う画素対をすべて列挙する。
【００６５】
入力制御部Ｈ２０５も同様に，式（２）において，
（ａ，ｂ）＝（ｒ0,0 ，ｒ1,0 ），（ｒ1,0 ，ｒ2,0 ），（ｒ2,0 ，ｒ3,0 ），（ｒ0,1 ，ｒ1,1 ），（ｒ1,1 ，ｒ2,1 ），（ｒ2,1 ，ｒ3,1 ），（ｒ0,2 ，ｒ1,2 ），（ｒ1,2 ，ｒ2,2 ），（ｒ2,2 ，ｒ3,2 ），（ｒ0,3 ，ｒ1,3 ），（ｒ1,3 ，ｒ2,3 ），（ｒ2,3 ，ｒ3,3 ）
と，左右に隣り合う画素対をすべて列挙する。
【００６６】
積加算器２０６は，（ａ，ｂ）を入力とし，積ａｂを求め，全１２対についてのａｂ積総和であるΣａｂを出力する。加算器２０７は，（ａ，ｂ）を入力とし，全１２対についてのａ総和であるΣａと，ｂ総和であるΣｂとを出力する。二乗和加算器２０８は，（ａ，ｂ）を入力とし，積ａ2 ，ｂ2 を求め，全１２対についてのａ二乗和であるΣａ2 と，ｂ二乗和であるΣｂ2 とを出力する。
【００６７】
相関係数演算器２０９は，積加算器２０６，加算器２０７，二乗和加算器２０８からの出力から，図示しない加減算器，乗算器，除算器，平方根演算器により，
【００６８】
【数７】
2006135786.tif 000009
を出力する。
【００６９】
相関係数記憶装置２１０は，入力制御部Ｖ２０４あるいは入力制御部Ｈ２０５のいずれかの制御により，また，逐次ブロック位置制御部２０３からの制御がＷ，ＮＷ，Ｎ，ＮＥのいずれかにより，σh W ないしσv NEを記憶する。
【００７０】
αmode決定装置２１１は，H.264 復号装置２０２が決定した符号化モード（ｍｏｄｅ）に応じてαh modeとαv modeを適当に決定し，αh mode，αv mode記憶装置２１２に記憶する。αh ，αv 演算器２１３は，相関係数記憶装置２１０，αh mode，αv mode記憶装置２１２からのσh W ないしσv NE，αh mode，αv modeに基づき，図示しない加算器と除算器を用いて式（１５），式（１６）に従いαh ，αv を出力し，αh ，αv 記憶装置２１４に記憶する。
【００７１】
一方，H.264 復号装置２０２は，復号の過程で，着目ブロック（４×４サイズ）に対する残差変換信号Ｐを生成する。これはＰ記憶装置２１５に記憶される。
【００７２】
ｉｊループ制御部２１６は，整数（ｉ，ｊ）の対（０，０），（０，１），（０，２），（０，３），（１，０），（１，１），（１，２），（１，３），（２，０），（２，１），（２，２），（２，３），（２，０），（３，１），（３，２），（３，３）を，この順に生成する。
【００７３】
二次元逆線形予測器２１７は，Ｐ記憶装置２１５よりｐi,j を得て，Ｒ記憶装置２１８より３つの画素値（ｒi-1,j ，ｒi,j-1 ，ｒi-1,j-1 ）を得て，また，αh ，αv 記憶装置２１４よりαh ，αv を得て，これらの入力を図示しない乗算器，加算器，四捨五入器により，
ｒi,j ＝ｐi,j −ｆ（αh ｒi-1,j ＋αv ｒi,j-1 −αh αv ｒi-1,j-1 ）
に従いｒi,j を求め，これを出力する。Ｒ記憶装置２１８は，このｒi,j を入力とし，予測残差信号Ｒのｉ，ｊ番目の要素（ｉｊループ制御部２１６により指定される）にこれを記憶する。
【００７４】
このようにして得られた４×４の予測残差信号Ｒは，H.264 復号装置２０２にて予測信号と加算され，原画像記憶装置２０１の対応位置に蓄積される。上記の処理を，符号化ビットストリーム蓄積部２１９からのビットストリームが尽きるまで繰り返す。
【００７５】
以上の可逆ビデオ符号化および可逆ビデオ復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【００７６】
以上，実施の形態として，主に第３の発明と第６の発明の具体的な実施の例を説明したが，他の発明についても同様に実施できることは，以上の説明から明らかである。
【図面の簡単な説明】
【００７７】
【図１】着目ブロックに隣接した符号化済みブロックを示す図である。
【図２】可逆ビデオ符号化の処理フローチャートである。
【図３】可逆ビデオ符号化装置の機能ブロック図の一例を示す図である。
【図４】可逆ビデオ復号の処理フローチャートである。
【図５】可逆ビデオ復号装置の機能ブロック図の一例を示す図である。
【符号の説明】
【００７８】
１  可逆ビデオ符号化装置
２  可逆ビデオ復号装置
１０１，２０１  原画像記憶装置
１０２  H.264 符号化装置
１０３，２０３  逐次ブロック位置制御部
１０４，２０４  入力制御部Ｖ
１０５，２０５  入力制御部Ｈ
１０６，２０６  積加算器
１０７，２０７  加算器
１０８，２０８  二乗和加算器
１０９，２０９  相関係数演算器
１１０，２１０  相関係数記憶装置
１１１，２１１  αmode決定装置
１１２，２１２  αh mode，αv mode記憶装置
１１３，２１３  αh ，αv 演算器
１１４，２１４  αh ，αv 記憶装置
１１５，２１８  Ｒ記憶装置
１１６，２１６  ｉｊループ制御部
１１７  二次元線形予測器
１１８，２１５  Ｐ記憶装置
１１９，２１９  符号化ビットストリーム蓄積部
２０２  H.264 復号装置
２１７  二次元逆線形予測器
【図１】
2006135786.tif 000010
【図２】
2006135786.tif 000011
【図３】
2006135786.tif 000012
【図４】
2006135786.tif 000013
【図５】
2006135786.tif 000014