(57)【要約】      （修正有）【課題】局所的な輝度変化が発生した場合にも、効率的に動画像を符号化処理及び復号処理を行う。【解決手段】動画像の１つのフレームの画像に含まれる複数のブロックのうち符号化対象ブロックの参照ブロックを記憶する記憶手段１１０と、符号化対象ブロックの近傍ブロックの画素値と、近傍ブロックの参照ブロックの画素値とに基づいて輝度変化予測値を算出する予測値算出手段１１２と、符号化対象ブロックの画素値と輝度変化量予測値に基づいて、符号化対象ブロックの輝度変化補償を行う輝度変化補償手段１０１と、輝度変化補償を行った符号化対象ブロックの画素値と、輝度変化補償を行った符号化対象ブロックの参照ブロックの画素値とに基づいて算出される残差信号に対し符号化を行う符号化手段１０５とを備える。【選択図】図１
2011217319.tif 000002
【特許請求の範囲】
【請求項１】
動画像の１つのフレームの画像に含まれる複数のブロックのうち符号化を行うブロック（以下、符号化対象ブロックとする）のフレーム間予測において参照するブロック(以下、参照ブロックとする)を記憶する記憶手段と、
前記符号化対象ブロックの近傍のブロック（以下、近傍ブロックとする）の画素値と、前記近傍ブロックの参照ブロックの画素値とに基づいて輝度変化予測値を算出する予測値算出手段と、
前記符号化対象ブロックの画素値と前記輝度変化量予測値に基づいて、前記符号化対象ブロックの輝度変化補償を行う輝度変化補償手段と、
前記輝度変化補償を行った前記符号化対象ブロックの画素値と、前記輝度変化補償を行った前記符号化対象ブロックの参照ブロックの画素値とに基づいて算出される残差信号に対し符号化を行う符号化手段と、
を備えることを特徴とする画像符号化装置。
【請求項２】
前記符号化手段は、前記輝度変化補償を行った前記符号化対象ブロックの画素値と、前記参照ブロックを含む前記フレーム内の他のブロックと比べて、前記輝度変化補償を行った前記符号化対象ブロックとの差分画素値が小さくなるブロックの画素値とに基づいて算出される残差信号に対して符号化を行うことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記予測値算出手段は、前記近傍ブロックの画素値と、前記近傍ブロックの前記参照ブロックの画素値との差分画素値に基づいて前記輝度変化量予測値を算出し、
前記輝度変化補償手段は、前記符号化対象ブロックの画素値と前記輝度変化量予測値との差分計算を行うことにより輝度変化補償を行うこと、
を特徴とする請求項１または２のいずれかに記載の画像符号化装置。
【請求項４】
前記予測値算出手段は、前記近傍ブロックの画素値と、前記近傍ブロックの前記参照ブロックの画素値との輝度変化率に基づいて輝度変化量予測値を算出し、
前記輝度変化補償手段は、前記符号化対象ブロックの画素値に前記輝度変化量予測値を乗算することにより輝度変化補償を行うこと、
を特徴とする請求項１または２のいずれかに記載の画像符号化装置。
【請求項５】
前記予測値算出手段は、複数の前記近傍ブロックの画素値と、前記複数の近傍ブロックの前記参照ブロックの画素値との差分画素値をそれぞれ算出し、前記差分画素値の平均値を前記輝度変化量予測値とすることを特徴とする請求項３記載の画像符号化装置。
【請求項６】
前記予測値算出手段は、複数の前記近傍ブロックの画素値と、前記複数の近傍ブロックの前記参照ブロックの画素値との差分画素値をそれぞれ算出し、前記差分画素値の中間値を前記輝度変化量予測値とすることを特徴とする請求項３記載の画像符号化装置。
【請求項７】
前記予測値算出手段は、複数の前記近傍ブロックの画素値と、前記複数の近傍ブロックの前記参照ブロックの画素値との差分画素値をそれぞれ算出し、前記差分画素値を線形補間することにより得られた値を前記輝度変化量予測値とすることを特徴とする請求項３記載の画像符号化装置。
【請求項８】
前記予測値算出手段は、複数の前記近傍ブロックの画素値と、前記複数の近傍ブロックの前記参照ブロックの画素値との前記画素変化率をそれぞれ算出し、前記画素変化率の平均値を前記輝度変化量予測値とすることを特徴とする請求項４記載の画像符号化装置。
【請求項９】
前記予測値算出手段は、複数の前記近傍ブロックの画素値と、前記複数の近傍ブロックの前記参照ブロックの画素値との前記画素変化率をそれぞれ算出し、前記画素変化率の中間値を前記輝度変化量予測値とすることを特徴とする請求項４記載の画像符号化装置。
【請求項１０】
前記予測値算出手段は、複数の前記近傍ブロックの画素値と、前記複数の近傍ブロックの前記参照ブロックの画素値との前記画素変化率をそれぞれ算出し、前記画素変化率を線形補間することにより得られた値を前記輝度変化量予測値とすることを特徴とする請求項４記載の画像符号化装置。
【請求項１１】
前記符号化対象ブロックに対し、前記輝度変化補償を行うかどうかを判定する補償判定手段を備え、
前記輝度変化補償手段は、前記補償判定手段により前記輝度変化補償を行うと判定した場合にのみ、輝度変化補償を行うことを特徴とする請求項１〜１０のいずれか１項に記載の画像符号化装置。
【請求項１２】
前記補償判定手段は、前記符号化対象ブロックの画素値と、前記符号化対象ブロックの参照ブロックとの差分画素値と比べ、
前記符号化対象ブロックの前記輝度変化補償を行った画素値と、前記符号化対象ブロックの参照ブロックとの差分画素値が小さくなる場合に、
前記符号化対象ブロックに対して、輝度変化補償を行うと判定することを特徴とする請求項１１記載の画像符号化装置。
【請求項１３】
複数フレームから構成される画像をブロックごとに符号化することにより生成された符号化信号に対して復号し、復号を行う前記ブロック（以下、復号対象ブロックとする）の差分画素値を生成する画像復号手段と、
前記復号対象ブロックの近傍ブロックの画素値と、前記近傍ブロックの参照ブロックの画素値とに基づいて輝度変化予測値を算出する予測値算出手段と、
前記輝度変化量予測値に基づいて前記復号対象ブロックの前記差分画素値に対して補正を行う輝度変化補正手段と、
補正が行われた前記差分画素値および前記復号対象ブロックの参照ブロックの画素値に基づいて復号画像値を算出する復号画素値算出手段と、
を備えることを特徴とする画像復号装置。
【請求項１４】
前記参照ブロックは、前記参照ブロックを含む前記フレーム内の他のブロックと比べて、前記輝度変化補償を行った前記復号対象ブロックとの差分画素値が小さくなるブロックであることを特徴とする請求項１３記載の画像復号装置。
【請求項１５】
前記予測値算出手段は、前記復号が行われた前記符号化対象ブロックの画素値と、前記符号化対象ブロックを含むフレームと異なるフレームの画像内のブロックであって、前記符号化対象ブロックとの画素値との相違度が最も小さくなるブロックの画素値との差分画素値に基づいて輝度変化量予測値を算出することを特徴とする請求項１３または１４のいずれかに記載の画像復号装置。
【請求項１６】
前記予測値算出手段は、前記復号が行われた前記符号化対象ブロックの画素値と、前記符号化対象ブロックを含むフレームと異なるフレームの画像内のブロックであって、前記符号化対象ブロックとの画素値との相違度が最も小さくなるブロックの画素値との輝度変化率に基づいて輝度変化量予測値を算出することを特徴とする請求項１３または１４いずれかに記載の画像復号装置。
【請求項１７】
前記符号化信号は、前記符号化対象ブロックの輝度変化量に応じて輝度変化補償を行うかどうかの判定がされており、
前記画像復号手段は、前記符号化信号が輝度変化補償を行うと判定されている場合にのみ、前記輝度変化量予測値と、前記参照ブロックの画素値に基づいて復号を行うことを特徴とする請求項１３〜１６のいずれか１項に記載の画像復号装置。
【請求項１８】
動画像の１つのフレームの画像に含まれる複数のブロックのうち、符号化対象ブロックの参照ブロックを算出する参照ブロック算出手段、
前記符号化対象ブロックの近傍ブロックの画素値と、前記近傍ブロックの参照ブロックの画素値とに基づいて輝度変化予測値を算出する予測値算出手段、
前記符号化対象ブロックの画素値と前記輝度変化量予測値に基づいて、前記符号化対象ブロックの輝度変化補償を行う輝度変化補償手段、
前記輝度変化補償を行った前記符号化対象ブロックの画素値と、前記輝度変化補償を行った前記符号化対象ブロックの参照ブロックの画素値とに基づいて算出される残差信号に対し符号化を行う符号化手段、
を備える画像符号化装置と、
前記画像符号化装置により符号化された符号化信号が入力され、前記符号化対象ブロックの近傍ブロックの画素値と、前記近傍ブロックの参照ブロックの画素値とに基づいて輝度変化予測値を算出する予測値算出手段、
前記輝度変化量予測値に基づいて前記符号化対象ブロックの前記差分画素値に対して補正を行う輝度変化補正手段、
補正が行われた前記差分画素値および前記符号化対象ブロックの参照ブロックの画素値に基づいて復号画像値を算出する復号画素値算出手段、
を備える画像復号装置と、を備える画像処理システム。
【請求項１９】
動画像の１つのフレームの画像に含まれる複数のブロックのうち、輝度変化予測値を算出するブロックの参照ブロックを算出する参照ブロック算出手段と、
前記予測値を算出するブロックの近傍ブロックの画素値と、前記近傍ブロックの参照ブロックの画素値とに基づいて輝度変化予測値を算出する予測値算出手段と、
を備えることを特徴とする輝度変化予測値算出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を符号化する画像符号化装置、符号化した動画像を復号する画像復号装置、画像符号化装置および画像復号装置により構成される画像処理システム、および画像符号化装置または画像復号装置で用いられる輝度変化予測値算出装置に関するものである。
【背景技術】
【０００２】
近年、画像を圧縮して符号化する技術が広く用いられている。その例として、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＶＩＤＥＯに採用されているＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式や、携帯端末向けの地上デジタル放送（ワンセグ放送）に採用されているＨ．２６４符号化方式などがある。従来のＭＰＥＧ−２等の画像符号化方式では、動画像符号化における時間的冗長性を除去するために、動き補償予測が広く用いられており、被写体の平行移動、カメラのパン、チルトなどにより生じる動画像の時間的冗長性を効率良く除去することができる。しかし、動き補償予測を用いることによっても、輝度の時間的変化を補償することはできないため、例えば、動画像のフェードイン、フェードアウトのように明るさが時間的に変化する画像では、符号化画像の品質が大幅に劣化する原因となっていた。これに対して、Ｈ．２６４符号化方式では、重み付け予測（Ｗｅｉｇｈｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ）と呼ばれる、参照ピクチャに適用的に重み係数をかける予測方法を利用することによって輝度の時間的変化を補償し、画面全域の輝度変化に適応的に対応することで符号化効率を向上させている。（例えば、非特許文献１参照）
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４ （０３／２００９） Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のＨ．２６４符号化方式では、例えば、照明条件の時間的変化等による局所的な輝度変化に対して適応的に符号化できないという問題がある。すなわち、局所的な輝度変化が発生する場合、画面全域に重み付け予測を利用する従来のＨ．２６４符号化方式においては符号化効率を高めることが難しい。この発明は、上記のような課題を解決するためになされたものであり、局所的な輝度変化が発生した際にも、効率的に動画像を符号化及び復号することを目的とする。
【課題を解決するための手段】
【０００５】
この発明に係る画像符号化装置は、動画像の１つのフレームの画像に含まれる複数のブロックのうち符号化を行うブロック（以下、符号化対象ブロックとする）のフレーム間予測において参照するブロック(以下、参照ブロックとする)を記憶する記憶手段と、符号化対象ブロックの近傍のブロック（以下、近傍ブロックとする）の画素値と、近傍ブロックの参照ブロックの画素値とに基づいて輝度変化予測値を算出する予測値算出手段と、符号化対象ブロックの画素値と輝度変化量予測値に基づいて、符号化対象ブロックの輝度変化補償を行う輝度変化補償手段と、輝度変化補償を行った符号化対象ブロックの画素値と、輝度変化補償を行った符号化対象ブロックの参照ブロックの画素値とに基づいて算出される残差信号に対し符号化を行う符号化手段と、を備える。
【０００６】
また、この発明に係る画像復号装置は、複数フレームから構成される画像をブロックごとに符号化することにより生成された符号化信号に対して復号し、復号を行うブロック（以下、復号対象ブロックとする）の差分画素値を生成する画像復号手段と、復号対象ブロックの近傍ブロックの画素値と、近傍ブロックの参照ブロックの画素値とに基づいて輝度変化予測値を算出する予測値算出手段と、輝度変化量予測値に基づいて復号対象ブロックの差分画素値に対して補正を行う輝度変化補正手段と、補正が行われた差分画素値および復号対象ブロックの参照ブロックの画素値に基づいて復号画像値を算出する復号画素値算出手段と、を備える。
【０００７】
また、この発明に係る画像処理システムは、動画像の１つのフレームの画像に含まれる複数のブロックのうち、符号化対象ブロックの参照ブロックを算出する参照ブロック算出手段、符号化対象ブロックの近傍ブロックの画素値と、近傍ブロックの参照ブロックの画素値とに基づいて輝度変化予測値を算出する予測値算出手段、符号化対象ブロックの画素値と輝度変化量予測値に基づいて、符号化対象ブロックの輝度変化補償を行う輝度変化補償手段、輝度変化補償を行った符号化対象ブロックの画素値と、輝度変化補償を行った符号化対象ブロックの参照ブロックの画素値とに基づいて算出される残差信号に対し符号化を行う符号化手段、を備える画像符号化装置と、画像符号化装置により符号化された符号化信号が入力され、符号化対象ブロックの近傍ブロックの画素値と、近傍ブロックの参照ブロックの画素値とに基づいて輝度変化予測値を算出する予測値算出手段、輝度変化量予測値に基づいて符号化対象ブロックの差分画素値に対して補正を行う輝度変化補正手段、補正が行われた差分画素値および符号化対象ブロックの参照ブロックの画素値に基づいて復号画像値を算出する復号画素値算出手段、を備える。
【０００８】
また、この発明に係る輝度変化予測値算出装置は、動画像の１つのフレームの画像に含まれる複数のブロックのうち、輝度変化予測値を算出するブロックの参照ブロックを算出する参照ブロック算出手段と、予測値を算出するブロックの近傍ブロックの画素値と、近傍ブロックの参照ブロックの画素値とに基づいて輝度変化予測値を算出する予測値算出手段と、を備える。
【発明の効果】
【０００９】
この発明によれば、動画像の局所的な輝度変化に対しても効率的な符号化を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１に示す画像符号化装置の構成を示すブロック図である。
【図２】この発明の実施の形態１に示す画像符号化装置の符号化処理を示すフローチャートである。
【図３】この発明の実施の形態１に示す画像符号化装置の参照画像算出処理を示すフローチャートである。
【図４】この発明の実施の形態１に示す画像符号化装置の処理を行う順序を示す図である。
【図５】この発明の実施の形態１に示す符号化対象のブロックに隣接するブロックを示す図である。
【図６】この発明の実施の形態２に示す画像復号装置の構成を示すブロック図である。
【図７】この発明の実施の形態２に示す画像復号装置の符号化処理内容を示すフローチャートである。
【図８】この発明の実施の形態３に示す画像符号化装置の構成を示すブロック図である。
【図９】この発明の実施の形態３に示す画像符号化装置の符号化処理を示すフローチャートである。
【図１０】この発明の実施の形態４に示す画像復号装置の構成を示すブロック図である。
【図１１】この発明の実施の形態４に示す画像復号装置の符号化処理を示すフローチャートである。
【図１２】この発明の実施の形態５に示す画像符号化装置の構成を示すブロック図である。
【図１３】この発明の実施の形態５に示す画像符号化装置の符号化処理を示すフローチャートである。
【図１４】この発明の実施の形態６に示す画像復号装置の構成を示すブロック図である。
【図１５】この発明の実施の形態６に示す画像符号化装置の復号処理を示すフローチャートである。
【図１６】この発明の実施の形態７に示す画像符号化装置の構成を示すブロック図である。
【図１７】この発明の実施の形態８に示す画像復号装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、この発明の実施の形態１に係る画像符号化装置を示す構成図である。図１において、輝度変化補償部１０１は、入力画像の符号化を行うブロック（以下、符号化対象ブロックとする）内の画素値に対して輝度変化補償を行い、輝度変化補償画素値を出力する。差分算出部１０２は輝度変化補償部１０１から出力された輝度変化補償画素値と、動き補償部１１１より出力されたブロックの画素値との差分画素値を算出する。ＤＣＴ部１０３では差分算出部１０２より出力された差分画素値にＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、離散コサイン変換）を行い、差分ＤＣＴ係数を出力する。量子化部１０４ではＤＣＴ部１０３より出力された差分ＤＣＴ係数を量子化して差分量子化係数を出力する。エントロピー符号化部１０５では量子化部１０４より出力された差分量子化係数を符号化し、符号化信号を出力する。
【００１２】
逆量子化部１０６では量子化部１０４より出力された差分量子化係数に対して逆量子化を行い、復号差分ＤＣＴ係数を算出する。逆ＤＣＴ部１０７は、逆量子化部１０６より出力された復号差分ＤＣＴ係数に対して逆ＤＣＴを行い、輝度変化補償復号差分画素値を算出する。第一の加算部１０８では逆ＤＣＴ部１０７より出力された輝度変化補償復号差分画素値と輝度変化量予測部１１２より出力された輝度変化量予測値を加算し、復号差分画素値を出力する。復号差分画素値と動き補償部１１１より出力された参照画素値を加算し、復号画素値を出力する。フレームバッファ１１０では第二の加算部１０９より出力された復号画素値を蓄積し、蓄積した復号画素値は参照画像として動き補償部１１１に出力される。動き補償部１１１では輝度変化補償部１０１より出力された輝度変化補償画素値とフレームバッファ１１０より出力された参照画像より参照されるブロック及び動きベクトルを算出する。輝度変化量予測部１１２では第一の加算部１０８より出力された復号差分画素値より輝度変化量予測値を算出する。
【００１３】
実施の形態１に係る画像符号化装置では、複数のフレームからなる動画像がフレームごとに入力され、また、入力画像を例えば８画素×８ラインから構成される複数のマクロブロック（以下で、単にブロックとする）に分割し、ブロックごとに符号化等の処理を行う。ここでは、図４に示すように、入力画像の左上隅のブロックから、左から右の順で符号化を行い、右隅のブロックまで符号化を行った場合、その一つ下の左隅のブロックから順に符号化等の処理を行うものとする。このように、符号化等の処理をブロックごとに行い、処理結果を記憶しておく。また、記憶した処理結果を、他のブロックにおいて参照値として用いて処理を行う。なお、ブロックサイズは、８画素×８ラインに限ったものではなく、例えば、１６画素×１６ライン、８画素×１６ラインのようにしてもよく、また、複数のマクロブロックを一つのブロックとみなして処理を行っても良い。
【００１４】
次に、動作について符号化処理と参照画像算出処理とに分けて説明する。図２は符号化処理を示すフローチャート、図３は参照画像算出処理を示すフローチャートである。まず、図２のフローチャートを参照しながら、符号化処理について説明する。画像符号化装置は、符号化を行う画像が入力された場合（ステップＳＴ１１）、入力画像を複数のブロックに分割する。輝度変化量予測部１１２は、符号化対象ブロックに対して、符号化対象ブロックに隣接するブロック（以下で、隣接ブロックとする）であって、既に参照画像算出処理が行われたブロックの復号差分画素値を参照して輝度変化補償を行う（ステップＳＴ１２）。符号化を左上隅のブロックから順に符号化を行う場合、符号化対象ブロックの隣接ブロックは、図５のように隣接ブロックＡ〜Ｄが存在することとなる。隣接ブロックのうち、予め定めた位置の隣接ブロックより輝度変化予測値を算出する。ここでは、隣接ブロックＡ〜Ｄのうち隣接ブロックＡ〜Ｃを用いて輝度変化予測を行う。なお、隣接ブロックＡ〜Ｄの全ての隣接ブロックから輝度変化量予測値を算出したり、ブロックＡ、または、ブロックＡおよびブロックＢのように１つまたは２つのブロックを選択して輝度変化量予測値を算出したりしてもよい。隣接ブロックＡ〜Ｃを用いる場合、輝度変化量予測値Ｙpredは数式（１）のように算出される。
【００１５】
【数１】
2011217319.tif 000003
ここで、ＡＶＧＸ（Ｘ＝Ａ，Ｂ，Ｃ）は隣接ブロックＸ内の後述する復号差分画素値の平均値である。ＭＥＤＩＡＮ（ａ，ｂ，ｃ）は、ａ，ｂ，ｃの３つの数の中間値を算出する関数である。
【００１６】
次に、輝度変化補償部１０１により、符号化対象ブロックに対して輝度変化補償を行う。すなわち、数式（２）に示すように、符号化対象ブロック内の各画素値Ｙinと輝度変化予測部１１２により算出した輝度変化量予測値Ｙpredとの差分を行い、輝度変化補償画素値Ｙin’を算出する（ステップＳＴ１３）。
【００１７】
【数２】
2011217319.tif 000004
ここで、Ｙin（ｘ＋ｉ，ｙ＋ｊ）は符号化対象ブロック内の画素値、Ｙpredは輝度変化量予測値、ｘ，ｙは画像内におけるブロックの左上画素の座標値、ｉ，ｊはブロック内における画素の座標値、ｍ，ｎはブロックサイズである。
【００１８】
輝度変化補償を行った符号化対象ブロックに対して、１フレーム前に符号化処理等が完了し、フレームバッファに記憶された画像（以下で、参照画像とする）を参照して動きベクトルを算出する（ステップＳＴ１４）。動き補償部１１１では、符号化対象ブロック内の輝度変化補償画素値と、フレームバッファに蓄積されている参照画像とのブロック単位での差分を取り、差分の絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）が、最小となるｋ,ｌを動きベクトルとする。また、動きベクトルが示すブロック（数式（３）において、ｋ、ｌを動きベクトルとしたときにＲｅｆ（ｘ＋ｉ＋ｋ，ｙ＋ｊ＋ｌ）で表されるブロック）を参照ブロックとする。ここでは、参照ブロックを１フレーム前の画像から求めているが、複数フレーム前の画像や、１または複数フレーム後の画像から求めてもよい。
【００１９】
【数３】
2011217319.tif 000005
ここで、Ｙｉｎ’（ｘ＋ｉ，ｙ＋ｊ）は符号化対象ブロック内の輝度変化補償後の画素値、Ｒｅｆ（ｘ＋ｉ＋ｋ，ｙ＋ｊ＋ｌ）は参照ブロック内の画素値、ｘ，ｙは画像内におけるブロックの左上画素の座標値、ｉ，ｊはブロック内における画素の座標値、ｍ，ｎはブロックサイズ、ｋ，ｌは動きベクトルである。
【００２０】
差分算出部１０２では、符号化対象ブロック内の画素値と動き補償部１１１で算出された参照ブロック内の画素値との差分画素値Ｒを数式（４）より算出する（ステップＳＴ１５）。
【００２１】
【数４】
2011217319.tif 000006
ここで、Ｙin’（ｘ＋ｉ，ｙ＋ｊ）は符号化対象ブロック内の輝度変化補償後の画素値、Ｒｅｆ（ｘ＋ｉ＋ｋ，ｙ＋ｊ＋ｌ）は動きベクトルで示される参照ブロック内の画素値、ｘ，ｙは画像内におけるブロックの左上画素の座標値、ｉ，ｊはブロック内における画素の座標値、ｍ，ｎはブロックサイズ、ｋ，ｌは動きベクトルである。
【００２２】
ＤＣＴ部１０３、量子化部１０４、エントロピー符号化部１０５では算出された差分画素値Ｒ（ｘ＋ｉ，ｙ＋ｊ）に対し、ＤＣＴ、量子化、エントロピー符号化を行い、符号化信号を出力する（ステップＳＴ１６）。ここで、差分画素値Ｒは輝度変化補償を行った符号化対象ブロックの画素値と参照ブロックの画素値との差分画素値であり、輝度変化補償を行わない符号化対象ブロックと参照ブロックとの差分画素値と比べ小さくなる。そのため、符号化を行う場合生成される符号化信号の容量を小さくすることができる。
【００２３】
次に、図３のフローチャートを用いて参照画像算出処理について説明する。参照画像算出処理では、符号化対象ブロックの復号差分画素値や参照画像を算出し、これらをフレームバッファ等に記憶しておくことにより、他のブロックの符号化処理における参照値として用いることができる。まず、逆量子化部１０６、逆ＤＣＴ部１０７において、画像符号化処理においてＤＣＴおよび量子化された差分ＤＣＴ係数に対し、逆量子化、逆ＤＣＴを行い、輝度変化補償復号差分画素値Ｒ’を算出する（ステップＳＴ１７）。
【００２４】
第一の加算部１０８では数式（５）のように、逆ＤＣＴ部１０７より出力された輝度変化補償復号差分画素値Ｒ’と輝度変化量予測部１１２より出力された輝度変化量予測値Ｙpredを加算して復号差分画素値Ｒdecを算出する（ステップＳＴ１８）。ここで、算出した復号差分画素値は、その後に符号化処理が行われるブロックの符号化処理において、輝度変化予測値を算出するために用いられる。
【００２５】
【数５】
2011217319.tif 000007
ここで、Ｒ’（ｘ＋ｉ，ｙ＋ｊ）は符号化対象ブロック内の輝度変化補償復号差分画素値、Ｙpredは輝度変化量予測値、ｘ，ｙは画像内におけるブロックの左上画素の座標値、ｉ，ｊはブロック内における画素の座標値、ｍ，ｎはブロックサイズである。
【００２６】
第二の加算部１０９では、数式（６）のように第一の加算部１０８より出力された復号差分画素値と動き補償部１１１で算出された動きベクトルが示す参照ブロック内の画素値を加算して、復号画素値Ｙdecを算出する。
【００２７】
【数６】
2011217319.tif 000008
ここで、Ｒdec（ｘ＋ｉ，ｙ＋ｊ）は符号化対象ブロック内の復号差分画素値、Ｒｅｆ（ｘ＋ｉ＋ｋ，ｙ＋ｊ＋ｌ）は参照ブロック内の画素値、ｘ，ｙは画像内におけるブロックの左上画素の座標値、ｉ，ｊはブロック内における画素の座標値、ｍ，ｎはブロックサイズ、ｋ，ｌは動きベクトルである。
【００２８】
フレームバッファ１１０では、第二の加算部１０９より出力された復号画素値Ｒdecを記憶しておき、以降のフレームの画像に対する符号化時において、動きベクトル算出のための参照画像として用いられる。
【００２９】
これらの処理をブロックごとに行うことにより、入力画像全体の符号化を行うことができる。また、入力画像のブロックのうち、符号化を行う最初のブロックに関しては、輝度変化予測値を求めるための参照画像算出処理の行われた隣接ブロックが存在しないため、その他のブロックとは異なる処理を行う。符号化を行う最初のブロックでは、輝度変化補償部１０１および加算部１０２では、処理は行われず、ＤＣＴ部１０３および量子化部１０４でそれぞれＤＣＴおよび量子化を行い、エントロピー符号化部１０５により符号化され出力される。また、ＤＣＴおよび量子化されたブロックは逆量子化部１０６および逆ＤＣＴ部により、逆量子化および逆ＤＣＴが行われる。加算部１０８および加算部１０９では、処理は行われず、フレームバッファ１１０に記録される。なお、輝度変化補償部１０１および加算部１０２等での処理を、輝度変化予測値を０として処理してもよい。
【００３０】
以上のように、実施の形態１に係る画像符号化装置では、ブロックごとに輝度変化量を予測し、輝度変化補償を行った符号化対象ブロックの画素値とその参照ブロックの画素値との差分画素値に対してＤＣＴ、量子化およびエントロピー符号化処理を行うようにしたので、局所的な照明変化に対しても効率よく符号化することが可能となる。また、輝度変化予測値を、隣接ブロックの画素値から算出するため処理を大きく増やすことなく、符号化処理の効率化を図ることができる。
【００３１】
この実施の形態１では、輝度変化量予測部１１２において符号化対象ブロックに隣接するブロックのうち、既に参照画像算出処理が行われたブロックの復号差分画素値を平均した値をそれぞれ算出し、その中間値を輝度変化量予測値としているが、隣接ブロックの復号差分画素値を平均した値をそれぞれ算出し、その平均値を輝度変化量予測値として用いる、または隣接ブロックの復号差分画素値を平均した値をブロックの位置に従って線形補間して輝度変化量予測値として用いるようにしてもよい。
【００３２】
この実施の形態１では、輝度変化予測値を符号化対象ブロックの隣接するブロックを算出する場合について示したが、これに限ったものではなく、符号化対象ブロックの近傍のブロック、例えば、図５に示すブロックＥ〜Ｊのように２つ隣のブロックから算出してもよい。また、隣接ブロックの復号差分画素値から輝度変化予測値を算出するようにしているが、例えば隣接ブロックの参照ブロックの復号差分値を用いて符号化対象ブロックの輝度変化予測値を算出するようにしてもよい。
【００３３】
また、ここでは、輝度変化補償を行った符号化対象ブロックと参照ブロックとの差分画素値を符号化する場合について示したが、輝度変化補償を行った符号化対象ブロックと参照ブロックとの画素値の変化率を符号化するようにしてもよい。
【００３４】
実施の形態２．
実施の形態２では、実施の形態１で示した画像符号化装置により出力された符号化信号に対して復号を行う画像復号装置について示す。図６は、この発明の実施の形態２による画像復号装置を示す構成図である。図６において、エントロピー復号部２０１は、復号を行うブロック（以下で、復号対象ブロックとする）の符号化信号に対してエントロピー復号を行い、復号差分量子化係数を出力する。逆量子化部２０２ではエントロピー復号部２０１より出力された復号差分量子化係数に対して逆量子化を行い、復号差分ＤＣＴ係数を出力する。逆ＤＣＴ部２０３では逆量子化部２０２より出力された復号差分ＤＣＴ係数に対し逆ＤＣＴを行い、輝度変化補償復号差分画素値を出力する。
【００３５】
第一の加算部２０４では、逆ＤＣＴ部２０３より出力された輝度変化補償復号差分画素値と輝度変化量予測部２０８より出力された輝度変化量予測値とを加算して、復号差分画素値を出力する。第二の加算部２０５では、第一の加算部２０４より出力された復号差分画素値と動き補償部２０７より出力された参照画素値を加算して、復号画素値を出力する。フレームバッファ２０６では、復号画素値を以降のフレーム復号時に参照される参照画像として格納する。動き補償部２０７ではフレームバッファに蓄積された参照画像と入力された動きベクトルをもとに復号対象ブロックの参照ブロックを出力する。輝度変化量予測部２０８は第一の加算部２０４より出力された復号差分画素値より輝度変化量予測値を算出する。
【００３６】
図７は、この発明の実施の形態２に係る画像復号装置の復号処理内容を示すフローチャートである。以下、図７のフローチャートを参照しながら、画像復号装置の処理内容について説明する。また、実施の形態２に係る画像復号装置は、実施の形態１に係る画像符号化装置と同様に、ブロックごとに処理を行う。
【００３７】
まず、実施の形態１に示した画像符号化装置により出力された符号化信号および動きベクトルが画像復号装置に入力される（ステップＳＴ２１）。エントロピー復号部２０１、逆量子化部２０２、逆ＤＣＴ部２０３では入力された符号化信号に対しそれぞれ、エントロピー復号、逆量子化、逆ＤＣＴを行い、輝度変化補償復号差分画素値を出力する（ステップＳＴ２２）。輝度変化量予測部２０８では隣接ブロックのうち既に復号処理が行われたブロックの復号差分画素値をもとに輝度変化量予測値を算出する（ステップＳＴ２３）。入力画像を左上隅から順に処理を行うとした場合、図５のように既に復号処理が行われた隣接ブロックＡ〜Ｄが存在することとなる。隣接ブロックのうち、予め定めた位置の隣接ブロックより輝度変化予測値を算出する。ここでは、実施の形態１に示す場合と同様に、隣接ブロックＡ〜Ｄのうち隣接ブロックＡ〜Ｃを用いて輝度変化予測を行う。この場合、輝度変化量予測値Ｙpredは数式（７）のように算出する。
【００３８】
【数７】
2011217319.tif 000009
ここで、ＡＶＧＸ（Ｘ＝ａ，ｂ，ｃ）は隣接ブロックＸ内の復号差分画素値の平均値である。ＭＥＤＩＡＮ（ａ，ｂ，ｃ）は、ａ，ｂ，ｃの３つの数の中間値を算出する関数である。
【００３９】
第一の加算部２０４では、逆ＤＣＴ部２０３より出力された輝度変化補償復号差分画素値Ｒ’と輝度変化量予測部２０８より出力された輝度変化量予測値Ｙpredを加算して復号差分画素値Ｒdecを数式（８）より算出する（ステップＳＴ２４）。
【００４０】
【数８】
2011217319.tif 000010
ここで、Ｒ’（ｘ＋ｉ，ｙ＋ｊ）は復号対象ブロック内の輝度変化補償復号差分画素値、Ｙpredは輝度変化量予測値、ｘ，ｙは画像内におけるブロックの左上画素の座標値、ｉ，ｊはブロック内における画素の座標値、ｍ，ｎはブロックサイズである。
【００４１】
動き補償部２０７では、入力された動きベクトルをもとにフレームバッファ２０６に蓄積された参照画像から参照ブロックを算出し、参照画素値を出力する（ステップＳＴ２５）。第二の加算部２０５では数式（９）のように第一の加算部２０４より出力された復号差分画素値と動き補償部２０７より出力された参照画素値を加算して、復号画素値Ｙdecを算出する（ステップＳＴ２６）。
【００４２】
【数９】
2011217319.tif 000011
ここで、Ｒdec（ｘ＋ｉ，ｙ＋ｊ）は符号化対象ブロック内の復号差分画素値、Ｒｅｆ（ｘ＋ｉ＋ｋ，ｙ＋ｊ＋ｌ）は参照ブロック内の画素値、ｘ，ｙは画像内におけるブロックの左上画素の座標値、ｉ，ｊはブロック内における画素の座標値、ｍ，ｎはブロックサイズ、ｋ，ｌは動きベクトルである。
【００４３】
第二の加算部２０５より出力された復号画素値Ｙdecは、復号された画像信号として出力されるとともに、フレームバッファ２０６において記憶され、以降のフレーム復号時に参照画素値算出のための参照画像として用いられる。
【００４４】
以上のように、この実施の形態２に係る画像復号装置では、符号化対象ブロックに隣接するブロックのうち既に復号処理が行われたブロック内の画素値を利用して輝度変化量を予測し、復号差分画素値に輝度変化量予測値を加算するように構成したので、実施の形態１の画像符号化装置で符号化された符号化ストリームを復号して復号画像を出力することが可能となる。
【００４５】
なお、この実施の形態２では、輝度変化量予測部２０８において符号化対象のブロックに隣接するブロックのうち、既に復号処理が行われたブロックの復号差分画素値を平均した値をそれぞれ算出し、その中間値を輝度変化量予測値としているが、隣接ブロックの復号差分画素値を平均した値をそれぞれ算出し、その平均値を輝度変化量予測値として用いる、または隣接ブロックの復号差分画素値を平均した値をブロックの位置に従って線形補間して輝度変化量予測値として用いるようにしてもよい。
【００４６】
実施の形態３．
実施の形態１に示す画像符号化装置では、輝度変化量予測値を加算して輝度変化補償を行うように構成したが、実施の形態３に示す画像符号化装置では、参照画像からの輝度値の比により輝度の変化を表すものとし、輝度変化率を乗算して輝度補償を行うように構成する。図８はこの発明の実施の形態３による画像符号化装置を示す構成図である。図８において、図１と同一の符号については、同一または相当の部分を示している。輝度変化補償部３０１は、入力画像が入力されると符号化対象ブロックの画素値に対して、輝度変化率予測部３１２より出力された輝度変化率を乗算し、輝度変化補償画素値を出力する。加算部３０９では逆ＤＣＴ部１０７より出力された復号差分画素値と動き補償部１１１より出力された参照画素値を加算し、輝度変化補償復号画素値を出力する。除算部３１３では加算部３０９より出力された輝度変化補償復号画素値を輝度変化率予測部３１２より出力された輝度変化率で除算し復号画素値を出力する。輝度変化率予測部３１２では第一の除算部３１３より出力された復号画素値と動き補償部１１１より出力された参照画素値より輝度変化率を算出する。
【００４７】
図９は、この発明の実施の形態３に係る画像符号化装置の符号化対象ブロックに対する符号化処理を示すフローチャートである。図９のフローチャートを参照しながら、画像符号化装置の処理内容を説明する。ここで、実施の形態３に係る画像符号化装置は、実施の形態１に示す場合と同様に、複数のフレームからなる動画像がフレームごとに入力され、また、入力画像を複数のブロックに分割して、ブロックごとに符号化等の処理を行う。
【００４８】
輝度変化率予測部３１２は、符号化対象ブロックの隣接ブロックのうち既に参照画像算出処理が行われたブロックの復号画素値と隣接ブロックの動きベクトルが参照する参照ブロックの画素値をもとに輝度変化率予測値を算出する（ステップＳＴ３２）。実施の形態１に示す場合と同様に、図５に示す既に参照画像算出処理の行われた隣接ブロックＡ〜Ｃを用いて輝度変化予測を行う場合、輝度変化率Ｗpredは数式（１０）のように算出することができる。
【００４９】
【数１０】
2011217319.tif 000012
ここで、ＷＸ（Ｘ＝Ａ，Ｂ，Ｃ）は隣接ブロックＸ内の輝度変化率、Ｙdec（ｕX＋ｉ，ｖX＋ｊ）は隣接ブロックＸ内の復号画素値、Ｒｅｆ（ｕX＋ｉ＋ｋX，ｖX＋ｊ＋ｌX）は隣接ブロックＸの動きベクトルが示す参照ブロック内の画素値、ｕX，ｖXは画像内におけるブロックＸ内の左上画素の座標値、ｉ，ｊはブロック内における画素の座標値、ｍ，ｎはブロックサイズ、ｋX，ｌXは隣接ブロックＸの動きベクトルである。ＭＥＤＩＡＮ（ａ，ｂ，ｃ）は、ａ，ｂ，ｃの３つの数の中間値を算出する関数である。
【００５０】
輝度変化補償部３０１では、符号化対象ブロックに対して輝度変化補償を行う。すなわち、数式（１１）のように符号化対象ブロック内の画素値に輝度変化率を乗算して輝度変化補償画素値Ｙin’を算出する（ステップＳＴ３３）。
【００５１】
【数１１】
2011217319.tif 000013
ここで、Ｙｉｎ（ｘ＋ｉ，ｙ＋ｊ）は符号化対象ブロック内の画素値、Ｗpredは輝度変化率、ｘ，ｙは画像内におけるブロックの左上画素の座標値、ｉ，ｊはブロック内における画素の座標値、ｍ，ｎはブロックサイズである。
【００５２】
動き補償部１１１では、実施の形態１に示す場合と同様に、輝度変化補償後の画素値とフレームバッファに蓄積されている過去のフレームの画像をブロック単位で差分を取り、差分の絶対値和（ＳＡＤ）を求め、ＳＡＤの最も小さくなるブロック（参照ブロック）および動きベクトルを算出する（ステップＳＴ３４）。差分算出部１０２では、輝度変化補償の行われた符号化対象ブロック内の画素値と動き補償部１１１で算出された参照ブロック内の画素値との差分画素値Ｒ（ｘ＋ｉ，ｙ＋ｊ）を算出する（ステップＳＴ３５）。
【００５３】
ＤＣＴ部１０３、量子化部１０４、エントロピー符号化部１０５では算出された差分画素値Ｒ（ｘ＋ｉ，ｙ＋ｊ）に対し、ＤＣＴ、量子化、エントロピー符号化を行い、符号化信号を出力する（ステップＳＴ３６）。ここで、差分画素値Ｒは輝度変化補償を行った符号化対象ブロックの画素値と参照ブロックの画素値との差分画素値であり、輝度変化補償を行わない符号化対象ブロックと参照ブロックとの差分画素値と比べ小さくなる。そのため、符号化を行う場合生成される符号化信号の容量を小さくすることができる。
【００５４】
また、参照画像算出処理をについて説明する。逆量子化部１０６、逆ＤＣＴ部１０７では、実施の形態１で示す場合と同様に、量子化された差分ＤＣＴ係数に対し、それぞれ逆量子化、逆ＤＣＴを行い、輝度変化補償復号差分画素値Ｒ’（ｘ＋ｉ，ｙ＋ｊ）を算出する。加算部３０９では、実施の形態１で示す場合と同様に、逆ＤＣＴ部１０７より出力された復号差分画素値と動き補償部１１１より出力された参照画素値を加算して輝度変化補償復号画素値Ｙdec’を算出する。
【００５５】
除算部３１３では、数式（１２）のように加算部３０９より出力された輝度変化補償復号画素値を輝度変化率予測部３１２より出力された輝度変化率で除算して、復号画素値Ｙdecを算出する。
【００５６】
【数１２】
2011217319.tif 000014
ここで、Ｙdec’（ｘ＋ｉ，ｙ＋ｊ）は符号化対象ブロック内の輝度変化補償復号画素値、Ｗpredは輝度変化率、ｘ，ｙは画像内におけるブロックの左上画素の座標値、ｉ，ｊはブロック内における画素の座標値、ｍ，ｎはブロックサイズ、ｋ，ｌは動きベクトルである。
【００５７】
フレームバッファ１１０では、除算部３１３より出力された復号画素値を記憶し、以降のブロックの複合処理における輝度変化率算出のための復号画素値および参照画像として利用する。
【００５８】
以上のように、実施の形態３に係る画像符号化装置では、符号化対象ブロックごとにの輝度変化率を予測し、輝度変化補償を行った符号化対象ブロックの画素値とその参照ブロックの画素値との差分画素値に対してＤＣＴ、量子化およびエントロピー符号化処理を行うようにしたので、局所的な照明変化に対しても効率よく符号化することが可能となる。また、輝度変化予測値を、隣接ブロックの画素値から算出するため処理を大きく増やすことなく、符号化処理の効率化を図ることができる。
【００５９】
なお、この実施の形態３では、輝度変化率予測部３１２において符号化対象のブロックに隣接するブロックのうち、既に参照画像算出処理が行われたブロックの輝度変化率をそれぞれ算出し、その中間値を輝度変化率としているが、隣接ブロックの輝度変化率をそれぞれ算出し、その平均値を輝度変化率として用いる、または隣接ブロックの輝度変化率をそれぞれ算出し、ブロックの位置に従って線形補間して輝度変化率として用いるようにしてもよい。
【００６０】
また、ここでは隣接ブロックＡ〜Ｄのうち、隣接ブロックＡ〜Ｃを用いて輝度変化率を算出する方法について示したが、隣接ブロックＡ〜Ｄの全てを用いたり、隣接ブロックＡ〜Ｄのうち１または２ブロックを選択して用いたり、または、隣接ブロックＥ〜Ｊのように２ブロック隣のブロックから輝度変化率を算出するようにしてもよい。
【００６１】
実施の形態４．
実施の形態４では、実施の形態３で示した画像符号化装置により出力された符号化信号に対して復号を行う画像復号装置について示す。図１０はこの発明の実施の形態４による画像復号装置を示す構成図である。図１０において、図６と同一の符号については、同一または相当の部分を示している。加算部４０５では逆ＤＣＴ部２０３より出力された復号差分画素値と動き補償部２０７より出力された参照画素値を加算して輝度変化補償復号画素値を出力する。輝度変化率予測部４０８では除算部４０９より出力された復号画素値及び動き補償部２０７より出力された参照画素値より輝度変化率を算出する。除算部４０９では加算部４０５より出力された輝度変化補償復号画素値を、輝度変化率予測部４０９より出力された輝度変化率で除算して復号画素値を出力する。
【００６２】
図１１は、この発明の実施の形態４に係る画像復号装置の復号処理内容を示すフローチャートである。以下、図１１のフローチャートを参照しながら、図１０の画像復号装置の処理内容を具体的に説明する。
【００６３】
実施の形態３に示した画像符号化装置により符号化された符号化信号および動きベクトルが画像復号装置に入力され（ステップＳＴ４１）、エントロピー復号部２０１、逆量子化部２０２、逆ＤＣＴ部２０３では入力された符号化信号に対しそれぞれ、エントロピー復号、逆量子化、逆ＤＣＴを行うことで輝度変化補償復号差分画素値を出力する（ステップＳＴ４２）。動き補償部２０７では、入力された動きベクトルをもとに、１フレーム前に符号化処理が行われ、フレームバッファ２０６に蓄積された参照画像から参照画素値を出力する（ステップＳＴ４３）。加算部４０５では、逆ＤＣＴ部２０３より出力された復号差分画素値と動き補償部２０７より出力された参照画素値を加算して、輝度変化補償復号画素値を算出する（ステップＳＴ４４）。
【００６４】
輝度変化率予測部４０８では、符号化対象ブロックの隣接ブロックのうち、既に復号処理が行われたブロックの復号画素値及び隣接ブロックの動きベクトルが示す参照ブロックの画素値をもとに輝度変化率を算出する（ステップＳＴ４５）。実施の形態２に示すように、図５に示す隣接ブロックＡ〜Ｄのうち隣接ブロックＡ〜Ｃを用いる場合、輝度変化率は数式（１３）のように算出する。
【００６５】
【数１３】
2011217319.tif 000015
ここで、Ｗpredは輝度変化率、ＷＸ（Ｘ＝Ａ，Ｂ，Ｃ）は隣接ブロックＸ内の輝度変化率、Ｙdec（ｕX＋ｉ，ｖX＋ｊ）は隣接ブロックＸ内の復号画素値、Ｒｅｆ（ｕX＋ｉ＋ｋX，ｖX＋ｊ＋ｌX）は参照ブロック内の画素値、ｕX，ｖXは画像内におけるブロックＸの左上画素の座標値、ｉ，ｊはブロック内における画素の座標値、ｍ，ｎはブロックサイズ、ｋX，ｌXは隣接ブロックＸの動きベクトルである。ＭＥＤＩＡＮ（ａ，ｂ，ｃ）は、ａ，ｂ，ｃの３つの数の中間値を算出する関数である。
【００６６】
除算部４０９では数式（１４）のように、加算部４０５より出力された輝度変化補償復号画素値を輝度変化率予測部４０８より出力された輝度変化率Ｗpredで除算して復号画素値Ｙdecを算出する（ステップＳＴ４６）。
【００６７】
【数１４】
2011217319.tif 000016
ここで、Ｙdec’（ｘ＋ｉ，ｙ＋ｊ）は符号化対象ブロック内の輝度変化補償復号画素値、Ｗpredは輝度変化率、ｘ，ｙは画像内におけるブロックの左上画素の座標値、ｉ，ｊはブロック内における画素の座標値、ｍ，ｎはブロックサイズである。
【００６８】
除算部４０９より出力された復号画素値Ｙdecは、復号された画像信号として出力されるとともに、フレームバッファ２０６において記憶され、以降のフレーム復号時に動きベクトルの算出のための参照画像として用いられる。
【００６９】
以上のように、この発明の実施の形態４に係る画像復号装置では、符号化対象ブロックに隣接するブロックのうち既に参照画像算出処理が行われたブロック内の画素値及び参照ブロックの画素値を利用して輝度変化率を予測し、輝度変化補償復号画素値を輝度変化率で除算するように構成したので、実施の形態３の画像符号化装置で符号化された符号化信号を復号して復号画像を出力することが可能となる。
【００７０】
なお、この実施の形態４では、輝度変化率予測部４０９において符号化対象のブロックに隣接するブロックのうち、既に参照画像算出処理が行われたブロックの輝度変化率をそれぞれ算出し、その中間値を輝度変化率としているが、隣接ブロックの輝度変化率をそれぞれ算出し、その平均値を輝度変化率として用いたり、または隣接ブロックの輝度変化率をそれぞれ算出し、ブロックの位置に従って線形補間して輝度変化率として用いるようにしてもよい。
【００７１】
また、ここでは隣接ブロックＡ〜Ｄのうち、隣接ブロックＡ〜Ｃを用いて輝度変化率を算出する方法について示したが、隣接ブロックＡ〜Ｄの全てを用いたり、隣接ブロックＡ〜Ｄのうち１または２ブロックを選択して用いたり、または、隣接ブロックＥ〜Ｊのように２ブロック隣のブロックから輝度変化率を算出するようにしてもよい。
【００７２】
実施の形態５．
実施の形態１に示す画像符号化装置では、すべてのブロックに対して輝度変化補償を行うようにした場合について示したが、実施の形態５に係る画像符号化装置では、符号化対象ブロックに対して、輝度変化補償を行うかどうかの判定を行う構成とした場合について示す。図１２は、この発明の実施の形態５に係る画像符号化装置を示す構成図である。図１２において、図１と同一の符号については、同一または相当の部分を示している。図１２において、差分算出部５０２は符号化対象ブロックの画素値と動き補償部５１１より出力された参照ブロック内の画素値との差分値、または輝度変化補償部１０１から出力された輝度変化補償画素値と動き補償部５１１より出力された参照ブロック内の画素値との差分値を出力する。第一の加算部５０８では動き補償部５１１での判定結果に基づいて復号差分画素値を出力する。動き補償部５１１では、符号化対象ブロックの画素値および輝度変化補償部１０１より出力された輝度変化補償画素値の参照ブロック及び動きベクトルを算出し、符号化対象ブロックに対して輝度変化補償を行うかどうかの判定を行う。
【００７３】
次に、動作について符号化処理と参照画像算出処理とに分けて説明する。図１３は符号化処理内容を示すフローチャートである。また、参照画像算出処理を示すフローチャートは図３と同様である。まず、図１３のフローチャートを参照しながら、図１２に示す画像符号化装置の処理内容について説明する。
【００７４】
動画像が画像符号化装置に入力された場合（ステップＳＴ５１）、輝度変化量予測部１１２は、実施の形態１に示す場合と同様に、符号化対象ブロックに隣接するブロックのうち既に参照画像算出処理が行われたブロックの復号差分画素値をもとに輝度変化量予測値Ｙpredを算出し（ステップＳＴ５２）、輝度変化補償部１０１では符号化対象のブロック内の画素値と輝度変化量予測値との差分値である輝度変化補償画素値Ｙin’を算出する（ステップＳＴ５３）。
【００７５】
動き補償部５１１では、符号化対象ブロック内の画素値とフレームバッファ１１０に蓄積されている参照フレーム内の画像との画素値の差分の絶対値和（ＳＡＤ）を数式（１５）より、輝度変化補償後の画素値とフレームバッファに蓄積されている参照フレームの画像との画素値の差分の絶対値和（ＳＡＤ’）を数式（１６）より算出し、ＳＡＤもしくはＳＡＤ’のうち差分の絶対値和が小さくなる場合のｋ、ｌを動きベクトルとする（ステップＳＴ５４）。また、最も小さい差分の絶対値和が、輝度変化補償を行っていない画素値による差分の絶対値和（ＳＡＤ）である場合には、符号化対象ブロックに対して輝度変化補償を行わないと判定し、輝度変化補償を行った画素値による差分の絶対値和（ＳＡＤ’）である場合には、符号化対象ブロックに対して輝度変化補償を行うと判定する（ステップＳＴ５５）。また、その判定結果を輝度変化補償情報として出力する。
【００７６】
【数１５】
2011217319.tif 000017
【００７７】
【数１６】
2011217319.tif 000018
ここで、Ｙin（ｘ＋ｉ，ｙ＋ｊ）は符号化対象ブロック内の画素値、Ｙin’（ｘ＋ｉ，ｙ＋ｊ）は符号化対象ブロック内の輝度変化補償後の画素値、Ｒｅｆ（ｘ＋ｉ＋ｋ，ｙ＋ｊ＋ｌ）は参照ブロック内の画素値、ｘ，ｙは画像内におけるブロックの左上画素の座標値、ｉ，ｊはブロック内における画素の座標値、ｍ，ｎはブロックサイズ、ｋ，ｌは動きベクトルである。
【００７８】
差分算出部５０２では、動き補償部５１１において輝度変化補償を行わないと判定された場合は、数式（１７）のように符号化対象のブロック内の画素値と動き補償部５１１で算出された動きベクトルが示す参照ブロック内の画素値との差分画素値を算出し（ステップＳＴ５６）、輝度変化補償を行うと判定された場合は、数式（１８）のように符号化対象のブロック内の輝度変化補償後の画素値と動き補償部５１１で算出された動きベクトルが示す参照ブロック内の画素値との差分画素値Ｒを算出する（ステップＳＴ５７）。
【００７９】
【数１７】
2011217319.tif 000019
（17）
【００８０】
【数１８】
2011217319.tif 000020
(18)
ここで、Ｙin（ｘ＋ｉ，ｙ＋ｊ）は符号化対象ブロック内の画素値、Ｙin’（ｘ＋ｉ，ｙ＋ｊ）は符号化対象ブロック内の輝度変化補償後の画素値、Ｒｅｆ（ｘ＋ｉ＋ｋ，ｙ＋ｊ＋ｌ）は参照ブロック内の画素値、ＳＡＤは符号化対象ブロック内の画素値と動きベクトルで示される参照ブロック内の画素値との差分の絶対値和の最小値、ＳＡＤ’は符号化対象ブロック内の輝度変化補償画素値と動きベクトルで示される参照ブロック内の画素値との差分の絶対値和の最小値、ｘ，ｙは画像内におけるブロックの左上画素の座標値、ｉ，ｊはブロック内における画素の座標値、ｍ，ｎはブロックサイズ、ｋ，ｌは動きベクトルである。
【００８１】
ＤＣＴ部１０３、量子化部１０４、エントロピー符号化部１０５では算出された差分画素値Ｒ（ｘ＋ｉ，ｙ＋ｊ）に対し、ＤＣＴ、量子化、エントロピー符号化を行い、符号化信号を出力する（ステップＳＴ５８）。
【００８２】
次に、参照画像算出処理について示す。逆量子化部１０６、逆ＤＣＴ部１０７では、量子化部１０４より出力された量子化差分ＤＣＴ係数に対し、それぞれ逆量子化、逆ＤＣＴを行い、輝度変化補償復号差分画素値を算出する。第一の加算部５０８では、符号化対象ブロックに対して輝度変化補償を行うと判定された場合にのみ、実施の形態１で示した場合と同様に、逆ＤＣＴ部１０７より出力された輝度変化補償復号差分画素値と輝度変化量予測部１１２より出力された輝度変化量予測値を加算して復号差分画素値を算出する。また、符号化対象ブロックに対して輝度変化補償を行わないと判定された場合には、輝度変化量予測値を０として輝度変化補償復号差分画素値に加算し、復号差分画素値を算出する。また、輝度変化補償を行わないと判定された場合には、処理を行わず輝度変化補償復号差分画素値をそのまま復号差分画素値として出力するようにしてもよい。
【００８３】
第二の加算部１０９では、第一の加算部５０８より出力された復号差分画素値と動き補償部５１１で算出された参照ブロック内の画素値を加算して、復号画素値を算出する。フレームバッファ１１０では、第二の加算部１０９より出力された復号画素値を記憶しておき、以降のフレームに対する符号化時に参照画像として利用する。
【００８４】
また、実施の形態１の場合と同様に、符号化を行う最初のブロックでは参照画像算出処理が行われた隣接ブロックが存在しないため、輝度変化補償等の処理を行わず符号化等の処理を行う。
【００８５】
以上のように、この発明の実施の形態５に係る画像符号化装置によれば、符号化対象のブロックの画素値、符号化対象のブロックの輝度変化補償後の画素値と参照画像より差分の絶対値和を算出し、その値を元に符号化対象のブロックに輝度変化補償を行うかどうかを判定するように構成したので、輝度変化の小さなブロックに対しては輝度変化を行わないようすることができ、実施の形態１に示す画像符号化装置と比べ、輝度変化を伴う動画像の符号化効率をさらに向上させることが可能である。
【００８６】
実施の形態６．
実施の形態６では、実施の形態５で示した画像符号化装置により出力された符号化信号に対して復号を行う画像復号装置について示す。図１４は、この発明の実施の形態６による画像復号装置を示す構成図である。図１４において、図６と同一の符号については、同一または相当の部分を示す。輝度変化量予測部６０８は入力された輝度変化補償情報と第一の加算部２０４より出力された復号差分画素値より輝度変化量予測値を算出する。
【００８７】
この発明の実施の形態６に係る画像復号装置の復号処理内容を示すフローチャートを図１５に示す。図１５のフローチャートを参照しながら、画像復号装置の処理内容を説明する。また、実施の形態６に係る画像復号装置は、実施の形態５に係る画像符号化装置と同様に、入力画像をブロックごとに処理を行う。
【００８８】
まず、実施の形態５に示す画像符号化装置により出力された符号化信号、動きベクトルおよび輝度変化補償情報が入力される（ステップＳＴ６１）。エントロピー復号部２０１、逆量子化部２０２、逆ＤＣＴ部２０３では入力された符号化信号に対しそれぞれ、エントロピー復号、逆量子化、逆ＤＣＴを行うことで復号差分画素値を出力する（ステップＳＴ６２）。
【００８９】
輝度変化量予測部６０８では輝度変化補償情報を参照し（ステップＳＴ６３）、輝度変化補償を行わないと判定されている場合、輝度変化量予測値を０と設定する（ステップＳＴ６５）。一方、輝度変化補償情報において輝度変化補償を行うと判定されていた場合、実施の形態２と同様にして、符号化対象のブロックに隣接するブロックのうち既に復号が行われたブロックの復号差分画素値をもとに輝度変化量予測値を算出する（ステップＳＴ６４）。
【００９０】
第一の加算部２０４では、逆ＤＣＴ部２０３より出力された復号差分画素値と輝度変化量予測部６０８より出力された輝度変化量予測値を加算して復号差分画素値を出力する（ステップＳＴ６６）。また、動き補償部２０７では、入力された動きベクトルをもとにフレームバッファ２０６に蓄積された既に復号済みの参照画像から参照画素値を出力する（ステップＳＴ６７）。第二の加算部２０５では数式第一の加算部２０４より出力された復号差分画素値と動き補償部２０７より出力された参照画素値を加算して、復号画素値を出力する（ステップＳＴ６８）。フレームバッファ２０６では、第二の加算部２０５より出力された復号画素値を記憶し、以降のフレーム復号時に参照画像として利用する。
【００９１】
以上のように、この実施の形態６によれば、輝度変化補償情報で輝度変化補償を行わないと判定されていた場合、輝度変化量予測値を０とし、輝度変化補償情報で輝度変化補償を行うと判定されていた場合、符号化対象ブロックに隣接するブロックのうち既に復号が行われたブロック内の画素値を利用して輝度変化量予測値を予測し、復号差分画素値に輝度変化量予測値を加算するように構成したので、実施の形態５の画像符号化装置で符号化された符号化ストリームを復号して復号画像を出力することが可能となる。
【００９２】
実施の形態７．
実施の形態５に示す画像符号化装置では、輝度変化量予測値を加算して輝度変化補償を行うように構成したが、実施の形態７に示す画像符号化装置では、参照画像からの輝度値の比により輝度の変化を表すものとし、輝度変化率を乗算して輝度変化補償を行うように構成する。図１６はこの発明の実施の形態７による画像符号化装置を示す構成図である。図１６において、図８または図１２と同一の符号は、同一又は相当の部分を示す。図１６において、除算部７１３では動き補償部５１１より出力された輝度変化補償情報において輝度変化補償を行わないと判定された場合、加算部３０９より出力された輝度変化補償復号画素値をそのまま復号画素値として出力、輝度変化補償を行うと判定された場合、加算部３０９より出力された輝度変化補償復号画素値と輝度変化率予測部３１２より出力された輝度変化率を加算し復号画素値を出力する。
【００９３】
次に、動作について符号化処理と参照画像算出処理とに分けて説明する。まず、符号化処理について説明する。輝度変化率予測部３１２は、実施の形態３で示す場合と同様に、符号化対象ブロックに隣接するブロックのうち、既に参照画像算出処理が行われたブロックの復号画素値と隣接ブロックの動きベクトルが参照する参照ブロックの画素値をもとに輝度変化率を算出する。輝度変化補償部３０１では、符号化対象ブロック内の画素値に輝度変化率を乗算して輝度変化補償画素値を算出する。
【００９４】
また、動き補償部５１１では、実施の形態５で示す場合と同様に符号化対象ブロック内の画素値とフレームバッファに蓄積されている過去のフレームの画像をブロック単位で差分の絶対値和（ＳＡＤ）と、符号化対象ブロック内の輝度変化補償後の画素値とフレームバッファに蓄積されている過去のフレームの画像をブロック単位で差分の絶対値和（ＳＡＤ’）とから符号化対象ブロックの画素値に対して輝度変化補償を行うか否かを判定する。また、その判定結果を輝度変化補償情報として出力する。
【００９５】
差分算出部５０２では、動き補償部５１１で輝度変化補償を行わないと判定された場合は、符号化対象ブロック内の画素値と動き補償部５１１で算出された動きベクトルが示す参照ブロック内の画素値との差分画素値を算出し、輝度変化補償を行うと判定された場合は、符号化対象のブロック内の輝度変化補償後の画素値と動き補償部５１１で算出された動きベクトルが示す参照ブロック内の画素値との差分画素値Ｒを算出する。ＤＣＴ部１０３、量子化部１０４、エントロピー符号化部１０５では算出された差分画素値Ｒに対し、ＤＣＴ、量子化、エントロピー符号化を行い、符号化信号を出力する。
【００９６】
次に、参照画像算出処理について説明する。逆量子化部１０６、逆ＤＣＴ部１０７では、量子化された差分ＤＣＴ係数に対し、それぞれ逆量子化、逆ＤＣＴを行い、復号差分画素値Ｒ’を算出する。加算部３０９では逆ＤＣＴ部１０７より出力された復号差分画素値と動き補償部５１１より出力された参照画素値を加算して輝度変化補償復号画素値を算出する。
【００９７】
除算部３１３では、動き補償部５１１で輝度変化補償を行うと判定された場合は、加算部３０９より出力された輝度変化補償復号画素値を輝度変化率予測部３１２より出力された輝度変化率で除算して、復号画素値を算出する。また、輝度変化補償を行わないと判定された場合は輝度変化率を１とし、輝度変化補償復号画素値を除算して復号画素値を算出する。または、輝度変化補償復号画素値をそのまま復号画素値として出力させてもよい。
【００９８】
フレームバッファ１１０では、除算部７１３より出力された復号画素値を以降のフレーム符号化時に参照画像として利用する。
【００９９】
以上のように、この発明の実施の形態７に係る画像符号化装置によれば、符号化対象のブロックの画素値、符号化対象のブロックの輝度変化補償後の画素値と参照画像よりＳＡＤを算出し、その値を元に符号化対象のブロックに輝度変化補償を行うかどうかを判定するように構成したので、輝度変化の小さなブロックに対しては輝度変化補償を行わないようすることができ、実施の形態３に示す画像符号化装置と比べ、輝度変化を伴う動画像の符号化効率をさらに向上させることが可能である。
【０１００】
実施の形態８．
実施の形態８では、実施の形態７で示した画像符号化装置により出力された符号化信号に対して復号を行う画像復号装置について示す。図１７は、この発明の実施の形態８による画像復号装置を示す構成図である。図１７において、図１０または図１４と同一の符号は、同一または相当の部分を示す。輝度変化率予測部８０８は入力された輝度変化補償情報と除算部４０９より出力された復号画素値より輝度変化率を算出する。
【０１０１】
次に、復号処理について説明する。実施の形態７で示した符号化装置により出力された符号化信号、動きベクトルおよび輝度変化補償情報が入力される。エントロピー復号部２０１、逆量子化部２０２、逆ＤＣＴ部２０３では、実施の形態６で示す場合と同様に、入力された符号化信号に対しそれぞれ、エントロピー復号、逆量子化、逆ＤＣＴを行うことで復号差分画素値を出力する。動き補償部２０７では、入力された動きベクトルをもとに既に復号され、フレームバッファ２０６に蓄積された参照画像から参照画素値を出力する。
【０１０２】
加算部４０５では、逆ＤＣＴ部２０３より出力された復号差分画素値と動き補償部２０７より出力された参照画素値を加算して、輝度変化補償復号画素値を算出する。輝度変化量予測部８０８では輝度変化補償情報で輝度変化補償を行わないと判定されていた場合、輝度変化率は１とする。輝度変化補償情報で輝度変化補償を行うと判定されていた場合、実施の形態４で示す場合と同様にして、符号化対象のブロックに隣接するブロックのうち既に復号が行われたブロックの復号差分画素値をもとに輝度変化率を算出する。
【０１０３】
除算部４０９では、加算部４０５より出力された輝度変化補償復号画素値を輝度変化率予測部４０８より出力された輝度変化率で除算して復号画素値を算出する。フレームバッファ２０６では、第二の加算部２０５より出力された復号画素値を以降のフレーム復号時に参照画像として利用する。
【０１０４】
以上のように、この発明の実施の形態８に係る画像復号装置によれば、輝度変化補償情報で輝度変化補償を行うと判定されていた場合、符号化対象ブロックに隣接するブロックのうち既に復号が行われたブロック内の画素値を利用して輝度変化率を予測し、輝度変化補償情報で輝度変化補償を行わないと判定されていた場合、輝度変化率を１とし、復号差分画素値を輝度変化率で除算するように構成したので、実施の形態７の画像符号化装置で符号化された符号化ストリームを復号して復号画像を出力することが可能となる。
【符号の説明】
【０１０５】
１０１  輝度変化補償部、１０２  差分算出部、１０３  ＤＣＴ部、１０４  量子化部、１０５  エントロピー符号化部、１０６  逆量子化部、１０７  逆ＤＣＴ部、１０８  第一の加算部、１０９  第二の加算部、１１０  フレームバッファ、１１１  動き補償部、１１２  輝度変化量予測部、２０１  エントロピー復号部、２０２  逆量子化部、２０３  逆ＤＣＴ部、２０４  第一の加算部、２０５  第二の加算部、２０６  フレームバッファ、２０７  動き補償部、２０８  輝度変化量予測部、３０１  輝度変化補償部、３０９  加算部、３１２  輝度変化率予測部、３１３  除算部、４０５  加算部、４０８  輝度変化率予測部、４０９  除算部、５０２  差分算出部、５０８  第一の加算部、５１１  動き補償部、６０８  輝度変化量予測部、７１３  除算部、８０８  輝度変化率予測部。
【図１】
2011217319.tif 000021
【図２】
2011217319.tif 000022
【図３】
2011217319.tif 000023
【図４】
2011217319.tif 000024
【図５】
2011217319.tif 000025
【図６】
2011217319.tif 000026
【図７】
2011217319.tif 000027
【図８】
2011217319.tif 000028
【図９】
2011217319.tif 000029
【図１０】
2011217319.tif 000030
【図１１】
2011217319.tif 000031
【図１２】
2011217319.tif 000032
【図１３】
2011217319.tif 000033
【図１４】
2011217319.tif 000034
【図１５】
2011217319.tif 000035
【図１６】
2011217319.tif 000036
【図１７】
2011217319.tif 000037