(57)【要約】【課題】動画像の符号化・復号処理においてフレームメモリの容量や帯域の増大を抑えながら、符号化効率を高めると共に、拡張を容易にする【解決手段】ビット長拡張変換器１０２が、画素値がビット長Ｎで表される対象画像を、各画素値がビット長Ｍで表されるように変換し、圧縮器１１０が、変換した画像を符号化し、さらに、伸張器１１１が符号化された画像を復元された上で、ビット長縮小変換器１１３が、画素値がビット長Ｍより値の小さいビット長Ｌで表される再生画像に変換し、この再生画像が参照画像としてフレームメモリ１１４に格納される。【選択図】図１
2010087984.tif 000002
【特許請求の範囲】
【請求項１】
画素値が第１ビット長で表される対象画像を入力する入力手段と、
前記対象画像の各画素を第１ビット長より値の大きい第２ビット長で表されるように変換し拡張対象画像を生成する拡張変換手段と、
前記第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段と、
前記格納手段に格納される前記参照画像より予測信号を生成し、前記予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成手段と、
前記拡張予測信号と前記拡張対象画像との残差信号を生成する残差信号生成手段と、
前記残差信号生成手段により生成された残差信号を符号化する符号化手段と、
前記符号化された残差信号を復元した上で前記拡張予測信号に加算し、拡張再生画像を生成する復元手段と
前記拡張再生画像の画素値を第３ビット長で表される再生画像に変換する縮小変換手段と、を備え、
前記再生画像が参照画像として前記格納手段に格納されることを特徴とする動画像符号化装置。
【請求項２】
前記縮小変換手段によって生成された前記再生画像に対して、前記格納手段に格納されている前記参照画像の少なくとも一部を用いて、前記再生画像を加工処理する画像処理手段を備え、
前記画像処理手段により加工処理された再生画像が前記格納手段に格納されることを特徴とする、請求項１に記載の動画像符号化装置。
【請求項３】
前記第３ビット長は第１ビット長と同じ値を有することを特徴とする、請求項１又は２に記載の動画像符号化装置。
【請求項４】
前記符号化手段が、前記第１、第２及び第３のビット長に関する情報のうち少なくとも１つを符号化することを特徴とする、請求項１又は２に記載の動画像符号化装置。
【請求項５】
第１ビット長で表される画素値を有する対象画像を第２ビット長で表されるように変換した拡張対象画像に対し、予測符号化することによって生成される残差信号を含むデータストリームを入力する入力手段と、
前記第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段と、
前記データストリームの中から前記残差信号の符号化データを抽出して前記残差信号の符号化データを復号する解析手段と、
前記解析手段により復号された前記残差信号の符号化データを再生残差信号に復元する残差信号復元手段と、
前記格納手段に格納される前記参照画像より予測信号を生成し、前記予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成手段と、
前記拡張予測信号と前記再生残差信号とを加算することによって、拡張再生画像を復元する画像復元手段と、
前記拡張再生画像の画素値を第３ビット長で表される再生画像に変換する第１の縮小変換手段と、を備え、
前記再生画像が参照画像として前記格納手段に格納されることを特徴とする動画像復号装置。
【請求項６】
前記第１の縮小変換手段によって生成された再生画像に対して、前記格納手段に格納されている前記参照画像の少なくとも一部を用いて、前記再生画像を加工処理する画像処理手段を備え、
前記画像処理手段により加工処理された再生画像が前記格納手段に格納されることを特徴とする、請求項５に記載の動画像復号装置。
【請求項７】
前記第３ビット長は第１ビット長と同じ値を有することを特徴とする、請求項５又は６に記載の動画像復号装置。  
【請求項８】
前記第１、第２及び第３のビット長に関する情報の少なくとも１つが前記データストリームに含まれており、前記解析手段によって復号された上で処理を行うことを特徴とする、請求項５又は６に記載の動画像復号装置。
【請求項９】
前記拡張再生画像の画素値を第１ビット長で表される再生画像に変換する第２の縮小変換手段を備え、前記第２の縮小変換手段で生成された再生画像が表示装置に送信されることを特徴とする、請求項５又は６に記載の動画像復号装置。
【請求項１０】
画素値が第１ビット長で表される対象画像を入力する入力ステップと、
前記対象画像の各画素を第１ビット長より値の大きい第２ビット長で表されるように変換し拡張対象画像を生成する拡張変換ステップと、
前記第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納する格納手段に格納される前記参照画像より予測信号を生成し、前記予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成ステップと、
前記拡張予測信号と前記拡張対象画像との残差信号を生成する残差信号生成ステップと、
前記残差信号生成ステップにおいて生成された残差信号を符号化する符号化ステップと、
前記符号化ステップにおいて符号化された残差信号を復元した上で前記拡張予測信号に加算し、拡張再生画像を生成する復元ステップと、
前記拡張再生画像の画素値を第３ビット長で表される再生画像に変換する縮小変換ステップと、
前記再生画像を前記格納手段に格納する格納ステップと、
を備えることを特徴とする動画像符号化方法。
【請求項１１】
前記縮小変換ステップにおいて生成された再生画像に対して、前記格納手段に格納されている前記参照画像の少なくとも一部を用いて、前記再生画像を加工処理する画像処理ステップを備え、
前記格納ステップは、前記画像処理ステップにおいて加工処理された再生画像を前記格納手段に格納することを特徴とする、請求項１０に記載の動画像符号化方法。
【請求項１２】
第１ビット長で表される画素値を有する対象画像を第２ビット長で表されるように変換した拡張対象画像に対し、予測符号化することによって生成される残差信号を含むデータストリームを入力する入力ステップと、
前記データストリームの中から前記残差信号の符号化データを抽出して前記残差信号の符号化データを復号する解析ステップと、
前記解析ステップにおいて復号された前記残差信号の符号化データを再生残差信号に復元する残差信号復元ステップと、
前記第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段に格納される前記参照画像より予測信号を生成し、前記予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成ステップと、
前記拡張予測信号と前記再生残差信号とを加算することによって、拡張再生画像を復元する画像復元ステップと、
前記拡張再生画像の画素値を第３ビット長で表される再生画像に変換する第１の縮小変換ステップと、
前記再生画像を前記格納手段に格納する格納ステップと、
を備えることを特徴とする動画像復号方法。
【請求項１３】
前記第１の縮小変換ステップにおいて生成された再生画像に対して、前記格納手段に格納されている前記参照画像の少なくとも一部を用いて、前記再生画像を加工処理する画像処理ステップを備え、
前記格納ステップは、前記画像処理ステップにおいて加工処理された再生画像を前記格納手段に格納することを特徴とする、請求項１２に記載の動画像復号方法。
【請求項１４】
コンピュータを、
画素値が第１ビット長で表される対象画像を入力する入力手段と、
前記対象画像の各画素を第１ビット長より値の大きい第２ビット長で表されるように変換し拡張対象画像を生成する拡張変換手段と、
前記第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段と、
前記格納手段に格納される前記参照画像より予測信号を生成し、前記予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成手段と、
前記拡張予測信号と前記拡張対象画像との残差信号を生成する残差信号生成手段と、
前記残差信号生成手段により生成された残差信号を符号化する符号化手段と、
前記符号化された残差信号を復元した上で前記拡張予測信号に加算し、拡張再生画像を生成する復元手段と
前記拡張再生画像の画素値を第３ビット長で表される再生画像に変換する第１の縮小変換手段
として機能させるための動画像符号化プログラムであって、
前記再生画像が参照画像として前記格納手段に格納されることを特徴とする動画像符号化プログラム。
【請求項１５】
コンピュータを、さらに
前記縮小変換手段によって生成された前記再生画像に対して、前記格納手段に格納されている前記参照画像の少なくとも一部を用いて、前記再生画像を加工処理する画像処理手段として機能させ、
前記画像処理手段により加工処理された再生画像が前記格納手段に格納されることを特徴とする、請求項１４に記載の動画像符号化プログラム。
【請求項１６】
コンピュータを、
第１ビット長で表される画素値を有する対象画像を第２ビット長で表されるように変換した拡張対象画像に対し、予測符号化することによって生成される残差信号を含むデータストリームを入力する入力手段と、
前記第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段と、
前記データストリームの中から前記残差信号の符号化データを抽出して前記残差信号の符号化データを復号する解析手段と、
前記解析手段により復号された前記残差信号の符号化データを再生残差信号に復元する残差信号復元手段と、
前記格納手段に格納される前記参照画像より予測信号を生成し、前記予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成手段と、
前記拡張予測信号と前記再生残差信号とを加算することによって、拡張再生画像を復元する画像復元手段と、
前記拡張再生画像の画素値を第３ビット長で表される再生画像に変換する第１の縮小変換手段
として機能させるため動画像復号プログラムであって、
前記再生画像が参照画像として前記格納手段に格納されることを特徴とする動画像復号プログラム。
【請求項１７】
コンピュータを、さらに
前記第１の縮小変換手段によって生成された再生画像に対して、前記格納手段に格納されている前記参照画像の少なくとも一部を用いて、前記再生画像を加工処理する画像処理手段として機能させ、
前記画像処理手段により加工処理された再生画像が前記格納手段に格納されることを特徴とする、請求項１６に記載の動画像復号プログラム。
【請求項１８】
動画像データを符号化及び復号するための動画像符号化・復号システムであって、
前記動画像データを圧縮符号化する動画像符号化装置と、
前記動画像符号化装置により圧縮符号化された動画像データを復号する動画像復号装置と、を具備し、
前記動画像符号化装置が、
画素値が第１ビット長で表される対象画像を入力する入力手段と、
前記対象画像の各画素を第１ビット長より値の大きい第２ビット長で表されるように変換し拡張対象画像を生成する拡張変換手段と、
前記第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段と、
前記格納手段に格納される前記参照画像より予測信号を生成し、前記予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成手段と、
前記拡張予測信号と前記拡張対象画像との残差信号を生成する残差信号生成手段と、
前記残差信号生成手段により生成された残差信号を符号化する符号化手段と、
前記符号化された残差信号を復元した上で前記拡張予測信号に加算し、拡張再生画像を生成する復元手段と
前記拡張再生画像の画素値を第３ビット長で表される再生画像に変換する縮小変換手段と、を備え、
前記再生画像が参照画像として前記格納手段に格納されることを特徴とするものであり、
前記動画像復号装置が、
第１ビット長で表される画素値を有する対象画像を第２ビット長で表されるように変換した拡張対象画像に対し、予測符号化することによって生成される残差信号を含むデータストリームを入力する入力手段と、
前記第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段と、
前記データストリームの中から前記残差信号の符号化データを抽出して前記残差信号の符号化データを復号する解析手段と、
前記解析手段により復号された前記残差信号の符号化データを再生残差信号に復元する残差信号復元手段と、
前記格納手段に格納される前記参照画像より予測信号を生成し、前記予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成手段と、
前記拡張予測信号と前記再生残差信号とを加算することによって、拡張再生画像を復元する画像復元手段と、
前記拡張再生画像の画素値を第３ビット長で表される再生画像に変換する第１の縮小変換手段と、を備え、
前記再生画像が参照画像として前記格納手段に格納されることを特徴とするものである、
動画像符号化・復号システム。
【請求項１９】
動画像データを符号化及び復号するための動画像符号化・復号方法であって、
前記動画像データを圧縮符号化する動画像符号化方法と、
前記動画像符号化方法において圧縮符号化された動画像データを復号する動画像復号方法と、を具備し、
前記動画像符号化方法が、
画素値が第１ビット長で表される対象画像を入力する入力ステップと、
前記対象画像の各画素を第１ビット長より値の大きい第２ビット長で表されるように変換し拡張対象画像を生成する拡張変換ステップと、
前記第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納する格納手段に格納される前記参照画像より予測信号を生成し、前記予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成ステップと、
前記拡張予測信号と前記拡張対象画像との残差信号を生成する残差信号生成ステップと、
前記残差信号生成ステップにおいて生成された残差信号を符号化する符号化ステップと、
前記符号化ステップにおいて符号化された残差信号を復元した上で前記拡張予測信号に加算し、拡張再生画像を生成する復元ステップと、
前記拡張再生画像の画素値を第３ビット長で表される再生画像に変換する縮小変換ステップと、
前記再生画像を前記格納手段に格納する格納ステップと、を備え、
前記動画像復号方法が、
第１ビット長で表される画素値を有する対象画像を第２ビット長で表されるように変換した拡張対象画像に対し、予測符号化することによって生成される残差信号を含むデータストリームを入力する入力ステップと、
前記データストリームの中から前記残差信号の符号化データを抽出して前記残差信号の符号化データを復号する解析ステップと、
前記解析ステップにおいて復号された前記残差信号の符号化データを再生残差信号に復元する残差信号復元ステップと、
前記第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段に格納される前記参照画像より予測信号を生成し、前記予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成ステップと、
前記拡張予測信号と前記再生残差信号とを加算することによって、拡張再生画像を復元する画像復元ステップと、
前記拡張再生画像の画素値を第３ビット長で表される再生画像に変換する第１の縮小変換ステップと、
前記再生画像を前記格納手段に格納する格納ステップと、
を備える
動画像符号化・復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化・復号するための動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、及び動画像符号化・復号システムに関するものであり、特に符号化・復号処理において扱われる画像の各画素のビット長に関連するものである。
【背景技術】
【０００２】
動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合はＭＰＥＧ１，２，４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。
【０００３】
符号化効率を高めるために、符号化の対象となる画像を複数のブロックに分割した上で予測符号化・復号処理を行う。具体的には１フレームの画像を１６×１６画素からなるブロックの領域に分割する。画面内予測符号化方法では、符号化対象となる対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データを復元されたもの）を用いて予測信号を生成した上で、それを対象ブロックの信号から引き算した差分信号を符号化する。
【０００４】
また、動画像における時間軸上隣接する他の画像を参照して対象ブロックの予測信号を生成し、対象ブロックと予測信号との差分を符号化する画面間予測符号化方法も合わせて用いられる。この場合、対象ブロックに対し、符号化済で復元された他のフレームを参照画像として動き検出を行い、誤差の最も少ない予測信号を決定した上で、対象ブロックその予測信号との差分値を求める。次に画面内もしくは画面間予測による差分信号に対して離散コサイン変換と量子化処理を行なう。量子化された離散コサイン変換の係数及び予測信号を特定するための動きベクトルやモード情報をエントロピー符号化し、符号化データを生成する。
【０００５】
このように符号化された画像データは、次の対象ブロックの予測信号を求めるために一度復元し再生され、参照画像としてフレームメモリに一時格納しておく。
【０００６】
上記のように従来の符号化・復号処理は、入力画像の各画素のビット長を保ったままで、予測や変換の処理を行なう。一般的な画像では、輝度と色差成分の各画素は８ビットで表されるため、予測・変換などの符号化・復号処理も８ビットの画素に対して施される。フレームメモリには再生された８ビットの再生画像信号が格納される。
【０００７】
これに対し、ダウンサイジングや消費電力を削減するため、フレームメモリのサイズやメモリにアクセスする帯域（メモリ帯域）を削減する技術が、特許文献１に開示されている。本技術では、フレームメモリに格納する前に再生された画像を別途に圧縮する。具体的は再生された８ビットの再生画像を８ビット以下となるように量子化したうえで、フレームメモリに格納する。予測信号を生成する際には、圧縮された再生画像を伸張し参照画像として用いられる。このように、フレームメモリの容量や帯域を削減しながら、入力画像のビット長を保ったままで符号化・復号処理を行うために、圧縮符号化性能の低下を抑えることができる。
【特許文献１】米国特許公報第６，２２２，８８６Ｂ１号
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１のようにフレームメモリの容量や帯域を削減すると、フレームメモリに格納するために各画素のビット長を短くした再生画像を再び伸張して参照画像を作成するため、参照画像の精度が低下する。予測信号は参照画像を用いて生成されるので、予測信号の精度も低下することになる。この結果、符号化の対象となる画像の対象ブロックと予測信号とから生成される差分信号（残差信号）が大きくなり、この差分信号を符号化した符号化データのデータ長が大きくなるため、符号化効率が低下するという問題があった。
【０００９】
また、符号化・復号処理において、フレームメモリに格納される参照画像を利用して再生画像を加工する処理を追加することが考えられる。特許文献１のようにフレームメモリに格納される画像のビット長が圧縮前の再生画像のビット長より短くなる場合には、このような処理を追加するためには、フレームメモリ内の参照画像のビット長を伸長させる処理、または、フレームメモリに蓄積する前の圧縮されていない再生画像を長いビット長のままで一時的に内部バッファに格納する処理を新たに設け、参照画像と再生画像との間のビット長の違いを吸収する必要がある。このため、画像加工処理などの新たな処理を追加するのに伴う実装・処理コストが高く、拡張容易性に問題があった。
【００１０】
本発明は、上記の課題を解決するために成されたものであり、フレームメモリの容量や帯域の増大を抑えながら、符号化効率を高めることができると共に、拡張が容易となる動画像符号化装置、方法及びプログラム、動画像復号装置、方法及びプログラム、並びに動画像符号化・復号システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明に係る動画像符号化装置は、画素値が第１ビット長で表される対象画像を入力する入力手段と、対象画像の各画素を第１ビット長より値の大きい第２ビット長で表されるように変換し拡張対象画像を生成する拡張変換手段と、第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段と、格納手段に格納される参照画像より予測信号を生成し、予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成手段と、拡張予測信号と拡張対象画像との残差信号を生成する残差信号生成手段と、残差信号生成手段により生成された残差信号を符号化する符号化手段と、符号化された残差信号を復元した上で拡張予測信号に加算し、拡張再生画像を生成する復元手段と、拡張再生画像の画素値を第３ビット長で表される再生画像に変換する縮小変換手段と、を備え、再生画像が参照画像として格納手段に格納されることを特徴とする。
【００１２】
この構成により、画素値が第１ビット長で表される対象画像が、各画素値が第２ビット長で表されるように変換した上で符号化され、さらに、符号化された画像が復元された上で、画素値が第２ビット長より値の小さい第３ビット長で表される再生画像に変換され、この再生画像が参照画像として格納手段（フレームメモリ）に格納される。これにより、符号化の対象となる画像信号の各画素を対象信号のビット長より長いビット長に変換した上で符号化処理を行なうため、符号化処理の高精度演算を可能とし、符号化効率を高めることができる。また、符号化処理を行ったときのビット長より短いビット長に変換した上でフレームメモリに格納されるため、フレームメモリの容量や帯域の増大を抑えることができる。この結果、フレームメモリの容量や帯域の増大を抑えながら、符号化効率を高めることができる。また、格納手段に格納される参照画像のビット長と、再生画像のビット長が、共に第３ビット長であるため、参照画像を利用して再生画像を加工する処理を追加する場合にも、参照画像と再生画像との間のビット長の違いを吸収する処理を追加する必要がなくなり、画像加工処理などの新たな処理を追加するのに伴う実装・処理コストが低減し、拡張が容易となる。
【００１３】
また、本発明に係る動画像符号化装置は、縮小変換手段によって生成された再生画像に対して、格納手段に格納されている参照画像の少なくとも一部を用いて、再生画像を加工処理する画像処理手段を備え、画像処理手段により加工処理された再生画像が格納手段に格納されるのが好適である。
【００１４】
また、第３ビット長は第１ビット長と同じ値を有することが好適である。
【００１５】
また、符号化手段が、第１、第２及び第３のビット長に関する情報のうち少なくとも１つを符号化することが好適である。
【００１６】
同様に、上記課題を解決するため、本発明に係る動画像復号装置は、第１ビット長で表される画素値を有する対象画像を第２ビット長で表されるように変換した拡張対象画像に対し、予測符号化することによって生成される残差信号を含むデータストリームを入力する入力手段と、第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段と、データストリームの中から残差信号の符号化データを抽出して残差信号の符号化データを復号する解析手段と、解析手段により復号された残差信号の符号化データを再生残差信号に復元する残差信号復元手段と、格納手段に格納される参照画像より予測信号を生成し、予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成手段と、拡張予測信号と再生残差信号とを加算することによって、拡張再生画像を復元する画像復元手段と、拡張再生画像の画素値を第３ビット長で表される再生画像に変換する第１の縮小変換手段と、を備え、再生画像が参照画像として格納手段に格納されることを特徴とする。
【００１７】
この構成により、入力されたデータストリームから、画素値が対象画像の第１ビット長より大きい第２ビット長で表される拡張再生画像が復元され、さらに、拡張再生画像が、画素値が第２ビット長より値の小さい第３ビット長で表される再生画像に変換され、この再生画像が参照画像として格納手段（フレームメモリ）に格納される。これにより、符号化の対象となった画像信号の各画素を対象信号のビット長より長いビット長に変換した上で復号処理を行なうため、復号処理の高精度演算を可能とし、符号化効率を高めることができる。また、復号処理を行ったときのビット長より短いビット長に変換した上でフレームメモリに格納されるため、フレームメモリの容量や帯域の増大を抑えることができる。この結果、フレームメモリの容量や帯域の増大を抑えながら、符号化効率を高めることができる。また、格納手段に格納される参照画像のビット長と、再生画像のビット長が、共に第３ビット長であるため、参照画像を利用して再生画像を加工する処理を追加する場合にも、参照画像と再生画像との間のビット長の違いを吸収する処理を追加する必要がなくなり、画像加工処理などの新たな処理を追加するのに伴う実装・処理コストが低減し、拡張が容易となる。
【００１８】
また、本発明に係る動画像復号装置は、第１の縮小変換手段によって生成された再生画像に対して、格納手段に格納されている参照画像の少なくとも一部を用いて、再生画像を加工処理する画像処理手段を備え、画像処理手段により加工処理された再生画像が格納手段に格納されるのが好適である。
【００１９】
また、第３ビット長は第１ビット長と同じ値を有することが好適である。
【００２０】
また、第１、第２及び第３のビット長に関する情報の少なくとも１つがデータストリームに含まれており、解析手段によって復号された上で処理を行うのが好適である。
【００２１】
また、動画像復号装置は、拡張再生画像の画素値を第１ビット長で表される再生画像に変換する第２の縮小変換手段を備え、第２の縮小変換手段で生成された再生画像が表示装置に送信されることが好適である。
【００２２】
本発明に係る動画像符号化装置及び動画像復号装置は、方法に係る発明又はプログラムに係る発明として捉えることもでき、以下のように記述することができる。方法に係る発明又はプログラムに係る発明は、同様の作用・効果を奏する。
【００２３】
本発明に係る動画像符号化方法は、画素値が第１ビット長で表される対象画像を入力する入力ステップと、対象画像の各画素を第１ビット長より値の大きい第２ビット長で表されるように変換し拡張対象画像を生成する拡張変換ステップと、第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納する格納手段に格納される参照画像より予測信号を生成し、予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成ステップと、拡張予測信号と拡張対象画像との残差信号を生成する残差信号生成ステップと、残差信号生成ステップにおいて生成された残差信号を符号化する符号化ステップと、符号化ステップにおいて符号化された残差信号を復元した上で拡張予測信号に加算し、拡張再生画像を生成する復元ステップと、拡張再生画像の画素値を第３ビット長で表される再生画像に変換する縮小変換ステップと、再生画像を格納手段に格納する格納ステップと、を備えることを特徴とする。
【００２４】
また、本発明に係る動画像符号化方法は、縮小変換ステップにおいて生成された再生画像に対して、格納手段に格納されている参照画像の少なくとも一部を用いて、再生画像を加工処理する画像処理ステップを備え、格納ステップは、画像処理ステップにおいて加工処理された再生画像を格納手段に格納することが好適である。
【００２５】
本発明に係る動画像復号方法は、第１ビット長で表される画素値を有する対象画像を第２ビット長で表されるように変換した拡張対象画像に対し、予測符号化することによって生成される残差信号を含むデータストリームを入力する入力ステップと、データストリームの中から残差信号の符号化データを抽出して残差信号の符号化データを復号する解析ステップと、解析ステップにおいて復号された残差信号の符号化データを再生残差信号に復元する残差信号復元ステップと、第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段に格納される参照画像より予測信号を生成し、予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成ステップと、拡張予測信号と再生残差信号とを加算することによって、拡張再生画像を復元する画像復元ステップと、拡張再生画像の画素値を第３ビット長で表される再生画像に変換する第１の縮小変換ステップと、再生画像を格納手段に格納する格納ステップと、を備えることを特徴とする。
【００２６】
また、本発明に係る動画像復号方法は、第１の縮小変換ステップにおいて生成された再生画像に対して、格納手段に格納されている参照画像の少なくとも一部を用いて、再生画像を加工処理する画像処理ステップを備え、格納ステップは、画像処理ステップにおいて加工処理された再生画像を格納手段に格納することが好適である。
【００２７】
本発明に係る動画像符号化プログラムは、コンピュータを、画素値が第１ビット長で表される対象画像を入力する入力手段と、対象画像の各画素を第１ビット長より値の大きい第２ビット長で表されるように変換し拡張対象画像を生成する拡張変換手段と、第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段と、格納手段に格納される参照画像より予測信号を生成し、予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成手段と、拡張予測信号と拡張対象画像との残差信号を生成する残差信号生成手段と、残差信号生成手段により生成された残差信号を符号化する符号化手段と、符号化された残差信号を復元した上で拡張予測信号に加算し、拡張再生画像を生成する復元手段と、拡張再生画像の画素値を第３ビット長で表される再生画像に変換する縮小変換手段として機能させるための動画像符号化プログラムであって、再生画像が参照画像として格納手段に格納されることを特徴とする。
【００２８】
また、本発明に係る動画像符号化プログラムは、コンピュータを、さらに縮小変換手段によって生成された再生画像に対して、格納手段に格納されている参照画像の少なくとも一部を用いて、再生画像を加工処理する画像処理手段として機能させ、画像処理手段により加工処理された再生画像が格納手段に格納されることが好適である。
【００２９】
本発明に係る動画像復号プログラムは、コンピュータを、第１ビット長で表される画素値を有する対象画像を第２ビット長で表されるように変換した拡張対象画像に対し、予測符号化することによって生成される残差信号を含むデータストリームを入力する入力手段と、第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段と、データストリームの中から残差信号の符号化データを抽出して残差信号の符号化データを復号する解析手段と、解析手段により復号された残差信号の符号化データを再生残差信号に復元する残差信号復元手段と、格納手段に格納される参照画像より予測信号を生成し、予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成手段と、拡張予測信号と再生残差信号とを加算することによって、拡張再生画像を復元する画像復元手段と、拡張再生画像の画素値を第３ビット長で表される再生画像に変換する第１の縮小変換手段として機能させるため動画像復号プログラムであって、再生画像が参照画像として格納手段に格納されることを特徴とする。
【００３０】
また、本発明に係る動画像復号プログラムは、コンピュータを、さらに第１の縮小変換手段によって生成された再生画像に対して、格納手段に格納されている参照画像の少なくとも一部を用いて、再生画像を加工処理する画像処理手段として機能させ、画像処理手段により加工処理された再生画像が格納手段に格納されることが好適である。
【００３１】
本発明に係る動画像符号化装置及び動画像復号装置は、これらを具備する動画像符号化・復号システムに係る発明として捉えることもでき、これらを方法に係る発明として捉えこれらを具備する動画像符号化・復号方法に係る発明として捉えることもでき、以下のように記述することができる。これらの発明は、動画像符号化装置及び動画像復号装置と同様の作用・効果を奏する。
【００３２】
本発明に係る動画像符号化・復号システムは、動画像データを符号化及び復号するための動画像符号化・復号システムであって、動画像データを圧縮符号化する動画像符号化装置と、動画像符号化装置により圧縮符号化された動画像データを復号する動画像復号装置と、を具備し、動画像符号化装置が、画素値が第１ビット長で表される対象画像を入力する入力手段と、対象画像の各画素を第１ビット長より値の大きい第２ビット長で表されるように変換し拡張対象画像を生成する拡張変換手段と、第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段と、格納手段に格納される参照画像より予測信号を生成し、予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成手段と、拡張予測信号と拡張対象画像との残差信号を生成する残差信号生成手段と、残差信号生成手段により生成された残差信号を符号化する符号化手段と、符号化された残差信号を復元した上で拡張予測信号に加算し、拡張再生画像を生成する復元手段と、拡張再生画像の画素値を第３ビット長で表される再生画像に変換する縮小変換手段と、を備え、再生画像が参照画像として格納手段に格納されることを特徴とするものであり、動画像復号装置が、第１ビット長で表される画素値を有する対象画像を第２ビット長で表されるように変換した拡張対象画像に対し、予測符号化することによって生成される残差信号を含むデータストリームを入力する入力手段と、第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段と、データストリームの中から残差信号の符号化データを抽出して残差信号の符号化データを復号する解析手段と、解析手段により復号された残差信号の符号化データを再生残差信号に復元する残差信号復元手段と、格納手段に格納される参照画像より予測信号を生成し、予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成手段と、拡張予測信号と再生残差信号とを加算することによって、拡張再生画像を復元する画像復元手段と、拡張再生画像の画素値を第３ビット長で表される再生画像に変換する第１の縮小変換手段と、を備え、再生画像が参照画像として格納手段に格納されることを特徴とするものである。
【００３３】
本発明に係る動画像符号化・復号方法は、動画像データを符号化及び復号するための動画像符号化・復号方法であって、動画像データを圧縮符号化する動画像符号化方法と、動画像符号化方法において圧縮符号化された動画像データを復号する動画像復号方法と、を具備し、動画像符号化方法が、画素値が第１ビット長で表される対象画像を入力する入力ステップと、対象画像の各画素を第１ビット長より値の大きい第２ビット長で表されるように変換し拡張対象画像を生成する拡張変換ステップと、第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納する格納手段に格納される参照画像より予測信号を生成し、予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成ステップと、拡張予測信号と拡張対象画像との残差信号を生成する残差信号生成ステップと、残差信号生成ステップにおいて生成された残差信号を符号化する符号化ステップと、符号化ステップにおいて符号化された残差信号を復元した上で拡張予測信号に加算し、拡張再生画像を生成する復元ステップと、拡張再生画像の画素値を第３ビット長で表される再生画像に変換する縮小変換ステップと、再生画像を格納手段に格納する格納ステップと、を備え、動画像復号方法が、第１ビット長で表される画素値を有する対象画像を第２ビット長で表されるように変換した拡張対象画像に対し、予測符号化することによって生成される残差信号を含むデータストリームを入力する入力ステップと、データストリームの中から残差信号の符号化データを抽出して残差信号の符号化データを復号する解析ステップと、解析ステップにおいて復号された残差信号の符号化データを再生残差信号に復元する残差信号復元ステップと、第２ビット長より値の小さい第３ビット長で表される画素値を有する参照画像を格納するための格納手段に格納される参照画像より予測信号を生成し、予測信号を第２ビット長で表されるように変換し拡張予測信号を生成する予測信号生成ステップと、拡張予測信号と再生残差信号とを加算することによって、拡張再生画像を復元する画像復元ステップと、拡張再生画像の画素値を第３ビット長で表される再生画像に変換する第１の縮小変換ステップと、再生画像を格納手段に格納する格納ステップと、を備えることを特徴とする。
【発明の効果】
【００３４】
本発明によれば、フレームメモリの容量や帯域の増大を抑えながら、符号化効率を高めることができると共に、拡張が容易となる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明に係る実施形態について、図１〜図９を用いて説明する。本実施形態は、動画像データを符号化及び復号するための動画像符号化・復号システムであって、動画像データを圧縮符号化する動画像符号化装置と、動画像符号化装置により圧縮符号化された動画像データを復号する動画像復号装置と、を具備するものである。以下に動画像符号化装置と、動画像復号装置について、それぞれ説明する。
【００３６】
（動画像符号化装置）
図１に、本発明の一実施形態に係るビット長変換を伴う動画像符号化装置１００のブロック図を示す。動画像符号化装置１００は、入力端子（入力手段）１０１、ビット長拡張変換器（拡張変換手段）１０２、ブロック分割器１０３、差分器（残差信号生成手段）１０４、予測信号生成器（予測信号生成手段）１０５、予測方法決定器１０６、圧縮器（符号化手段）１１０、伸張器（復元手段）１１１、加算器（復元手段）１１２、ビット長縮小変換器（縮小変換手段）１１３、フレームメモリ（格納手段）１１４、エントロピー符号化器（符号化手段）１１５、画像処理器（画像処理手段）１１６、及び、出力端子１１７を備えている。
【００３７】
このような動画像符号化装置１００について、以下、各構成部の動作を述べる。動画像を構成する複数の画像は入力端子１０１に入力される。本明細書では、符号化対象の画像のビット長をＮビット（第１ビット長）とする。入力されたＮビットの画像は、ビット長拡張変換器１０２にて、ビット長をＭビット（第２ビット長）とする拡張対象画像に変換される。ＭはＮより大きい正の整数である。
【００３８】
ビット長拡張変換器１０２では、Ｎビットの符号化対象の画像をＭビットの拡張対象画像に変換する。ビット拡張の方法については、本発明では限定されないが、例えば、Ｎビットの画像信号を（Ｍ−Ｎ）ビット分だけ左シフトする方法がある。この際、符号化効率が高くなるようにＭビット信号の下位（Ｍ−Ｎ）の信号値を定めてもよい。また、実装効率を高めるため、Ｍビットのダイナミックレンジを−２Ｍ−１〜２Ｍ−１−１と成るように制御しても良い（非負の整数変数ではなく、符号付きの整数変数が使える）。
【００３９】
ビット長拡張変換器１０２により変換された拡張対象画像に対し、ブロック分割器１０３は、符号化の対象となる画像を複数の小領域（ここでは例えば１６×１６画素からなるブロック）に分割する。分割された各ブロックについて、以下の圧縮・符号化処理が実行される。
【００４０】
符号化の対象となるブロック（以下「対象ブロック」という）について、予測方法決定器１０６、及び予測信号生成器１０５により、Ｍビットの拡張予測信号の生成処理が実行される。
【００４１】
予測方法決定器１０６では、画面内予測や画面間予測を施し、ラインＬ１０３経由で入力される対象ブロックの符号化に要する符号量が小さく、かつ対象ブロックとの残差が小さい予測方法を複数の候補から選択する。図１では、ラインＬ１０３経由でＭビット信号が入力され、予測方法決定器１０６においても、Ｍビットの予拡張予測信号を生成する。予測方法の候補については、本発明では限定されないが、例えば、フレームメモリ１１４に格納されているＬビットの参照画像を用いて予測信号を生成する方法や、ビット長縮小変換器１１３に入力される前のＭビットの再生信号を用いて予測信号を生成する方法が含まれる。前者では、例えば、複数個のＬビットの再生画素を重み付け加算するなど、Ｐビット（ＰはＰ＞Ｌとなる正の数）の予測信号を生成する方法が考えられる。この際、Ｐ＝Ｍとなるように予測信号の生成方法を定めておくと実装効率が良くなる。Ｐの値がＭの値より大きい場合には、例えば、Ｐビットの予測信号を四捨五入等の丸め込み方法により、Ｍビットの拡張予測信号を生成する。Ｐの値がＭの値より小さい場合には、例えば、Ｐビットの予測信号を（Ｍ−Ｐ）ビット分だけ左シフトすることにより、Ｍビットの拡張予測信号を生成する。選択した予測方法を示す予測モード情報や画面間予測に伴う動き情報などは付加情報として、ラインＬ１１８経由でエントロピー符号化器１１５に出力される。エントロピー符号化器１１５では、この付加情報は、Ｌ１１０経由で入力される量子化変換係数と共に可変長符号あるいは算術符号などの方法でエントロピー符号化される。
【００４２】
予測信号生成器１０５では、Ｌ１０６経由で入力される付加情報に基づいて、Ｍビットの拡張予測信号が生成され、ラインＬ１０５経由で差分器１０４と加算器１１２に出力される。このように、予測信号生成器１０５と予測方法決定器１０６には、ビット長をＬビットからＭビットに拡張する処理が含まれる。
【００４３】
予測信号生成器１０５にて生成されたＭビットの拡張予測信号はラインＬ１０５経由で差分器１０４に出力され、差分器１０４は、ラインＬ１０３経由で入力された対象ブロックのＭビット信号から拡張予測信号を引き算することにより残差信号を生成する。生成された残差信号は、Ｌ１０４経由で圧縮器１１０に入力され情報量の少ないデータ（符号化データ）に圧縮される。
【００４４】
圧縮器１１０は、一般に差分信号を周波数領域の変換係数に変換する変換器と、変換係数を量子化処理する量子化器により構成されるが、その一方がなくてもよいし、別の構成でもよい。量子化された変換係数のビット長はＭビットであるが、圧縮器内の中間処理においてはＭビットより長いビット長の信号になってもよい。例えば、残差信号はマイナス値となる可能性があるため、通常（Ｍ＋１）ビットのビット長となる。変換係数は（Ｍ＋１）ビットより長いビット長にすれば変換効率が高くなる。量子化器は、量子化変換係数をＭビットの信号に丸め込み、Ｌ１１０経由でエントロピー符号化器１１５と伸張器１１１に出力する。
【００４５】
エントロピー符号化器１１５は、量子化変換係数を可変長符号に変換し出力端子１１７よりビットストリームとして出力する。なお、可変長符号の代わりに算術符号化を適用してもよい。
【００４６】
伸張器１１１と加算器１１２は、符号化データとされた量子化変換係数を復号し、Ｍビットの拡張再生信号を生成する。伸張器１１１は、一般に量子化変換係数を変換係数に逆量子化する逆量子化器と、変換係数を逆変換し残差信号を再生する逆変換器により構成されるが、その一方がなくてもよいし、別の構成でもよい。
【００４７】
加算器１１２では、再生された残差信号に拡張予測信号を加算することにより、Ｍビットの拡張再生信号を復元する。ここで、拡張再生信号のビット長はＭビットであるが、伸張器の中間処理ではＭビットより長いビット長の信号になってもよい。例えば、残差信号はマイナス値となる可能性があるため、通常Ｍ＋１ビットのビット長となる。また、演算精度向上のため逆量子化された変換係数をＭ＋１ビットより長いビット長とする。
【００４８】
ビット長縮小変換器１１３では、Ｍビットの再生信号をＬビット（第３ビット長）の再生信号に変換する。ＬはＮ以下の正の整数であり、フレームメモリの容量に依存した値となる。通常はフレームメモリの容量は、入力画像と同じビット長になるため、Ｌ＝Ｎとする。
【００４９】
ビット長縮小変換器１１３では、Ｍビットの再生信号をＬビットの再生信号に変換する。ビット長変換の方法については、本発明では限定されないが、例えば、四捨五入による丸め込み方法、より具体的には、Ｌビットの再生信号に２(Ｍ−L-1)を加算してから、（Ｍ−Ｌ）ビット分右シフトする方法がある。また、四者五入ではなく、切捨てによる丸め込み方法でもよいし、別の丸め込み方法でもよい。なお、Ｍビット信号のダイナミックレンジが−２Ｍ−１〜２Ｍ−１−１のように制御されている場合には、丸め込み処理後に、Ｌビット信号のダイナミックレンジを０〜２Ｌ−１にクリッピング処理する必要がある。
【００５０】
Ｌビットの再生信号は、ラインＬ１１３経由で、画像処理器１１６に入力される。画像処理器１１６では、再生信号に例えば米国特許出願公開公報第２００６／１５３３０１号に示されるような画質改善処理やＨ．２６４等に定義されるようなブロックノイズ除去処理を施す。このようにして復元されたＬビットの再生信号は、次の画像を符号化する際の参照画像として使用されるため、フレームメモリ１１４に格納される。画像処理器１１６では、対象ブロック間に上述の画質改善処理やブロックノイズ除去処理などの信号処理を施すため、ラインＬ１１３経由で入力される再生信号に加えて既にフレームメモリ１１４に格納されている再生信号の一部又は全部を用いる。
【００５１】
これらの処理を全ての対象ブロックに対して実施することにより、最終的なビットストリームが生成される。
【００５２】
図１のエントロピー符号化器１１５にて符号化されたデータを後述する動画像復号装置にて復号するためには、動画像復号装置はビット長を表すＮ、Ｍ、Ｌの値を知る必要がある。これらの値は予め定めておいても良いが、そのいずれか１つあるいは２つあるいは全てを符号化装置にて決定し、シーケンス単位やフレーム単位で符号化してもよい。ＮとＬの値は装置構成に関する値であり、通常固定値である。Ｍの値は圧縮器や伸張器における処理精度を示す値であり、フレーム単位やブロック単位で変更することも可能である。従って、Ｍの値をフレーム単位やブロック単位で決定しその値を符号化してもよい。
【００５３】
例えば、動画像符号化装置１００に、ビット長拡張変換器１０２、ビット長縮小変換器１１３、予測方法決定器１０６などで用いられるビット長N，M，Lの値のセットが予め複数用意されており、図示しない制御手段からの指令に応じてビット長N，M，Lの値のセットが選択されて、符号化処理が行われる。これをビット長N，M，Lの値の全てのセットについて行い、それぞれの場合の符号化データをエントロピー符号化器１１５で比較して、符号化データのビット長が一番短く圧縮率が最もよいものが選択される。そしてこのときビット長N，M，Lの値の一部又は全てがエントロピー符号化器１１５により符号化されて、符号化データと共にビットストリームデータに含まれる。
【００５４】
次に、図２を参照して、本実施形態に係る動画像符号化装置１００の変形例である動画像符号化装置１００−２について説明する。
【００５５】
図１の動画像符号化装置１００では、ビット長拡張変換器１０２により、対象画像を拡張対象画像に変換してから、ブロック分割器１０３にて拡張対象ブロックを対象ブロックに分割している。これに対し、図２の動画像符号化装置１００−２は、ブロック分割器１０３にて拡張対象ブロックを対象ブロックに分割してから、ビット長拡張変換器１０２により対象画像を拡張対象画像に変換している点で、動画像符号化装置１００と異なる。
【００５６】
また、図１の動画像符号化装置１００では、予測信号生成器１０５が、Ｌビットの参照画像を用いてＭビットの拡張予測信号を生成している。これに対し、図２の動画像符号化装置１００−２では、まず予測信号生成器１０５ａがＬビットの予測信号を１度生成し、ビット長拡張変換器１０５ｂがこのＬビットの予測信号をＭビットの予測信号に拡張にする点で、動画像符号化装置１００と異なる。
【００５７】
図２の動画像符号化装置１００−２の動作について説明する。ここではＮ＝Ｌと考える。ブロック分割器１０３にて分割された対象ブロックのＮビット信号がラインＬ１０３経由で予測方法決定器１０６−２に入力される。予測方法決定器１０６−２では、Ｎビットの参照画像、あるいはビット長縮小変換器１１３にて変換されたＮビットの再生信号を用いて、複数の予測信号を生成し、最適な予測方法を選択する。予測信号生成器１０５ａでは、Ｎビットの予測信号を生成する。生成されたＮビットの予測信号はラインＬ１０５ａ経由でビット長拡張変換器１０５ｂに入力され、Ｍビットの拡張予測信号に変換される。
【００５８】
なお、本発明の特徴であるビット長変換手法は、図１と図２に示した動画像符号化装置１００，１００−２の構成を同時に有する装置構成においても有効である。この場合、予測方法決定器１０６，１０６−２による予測方法の候補に、Ｌビットの参照画像からＭビットの拡張予測信号を直接生成する方法や、１度Ｌビットの予測信号を生成してからビット長拡張変換器にてＭビットの予測信号に変換する方法が含まれる。
【００５９】
（動画像符号化方法）
図３には、動画像符号化装置１００により実行される、ビット長変換を伴う動画像符号化処理の流れ図を示す。符号化対象の画像がＮビット信号で入力端子１０１に入力されると（ステップ３０１：入力ステップ）、ビット長拡張変換器１０２により、このＮビットの対象画像がＭビット（Ｍ＞Ｎ）の拡張対象画像に変換され、さらにブロック分割器１０３により、この拡張対象画像が複数の小ブロックに分割される（ステップ３０２：拡張変換ステップ）。なお、ビット長拡張変換とブロック分割の処理の順序は逆でもよい。
【００６０】
次に、予測方法決定器１０６と予測信号生成器１０５は、各対象ブロックについて、フレームメモリ１１４に格納されたＬビットの参照画像を用いて、複数の予測方法の中から１つの予測方法を決定し、Ｍビットの拡張予測信号を生成する。同時に、選択した予測方法を示す予測モード情報や画面間予測に伴う動き情報など、この予測信号の生成に要する付加情報を生成する（ステップ３０３：予測信号生成ステップ）。なお、予測信号の生成方法には、Ｌビットの信号から直接Ｍビットの予測信号を生成する方法や、１度Ｌビットの予測信号を生成してから、ビット長拡張変換器１０５ｂにてＭビットの拡張予測信号に変換する方法が含まれる。
【００６１】
差分器１０４は、Ｍビットの拡張対象画像とＭビットの予測画像との残差画像を生成し（ステップ３０４：残差信号生成ステップ）、圧縮器１１０は残差画像を変換・量子化し、残差画像の符号化情報を生成する（ステップ３０５：符号化ステップ）。
【００６２】
次に、伸張器１１１は、符号化情報を逆量子化と逆変換にて復元し、加算器１１２は復元した残差画像と予測画像を加算してＭビットの拡張再生画像を生成する（ステップ３０６：復元ステップ）。
【００６３】
ビット長縮小変換器１１３は、Ｍビットの拡張再生画像をＬビットの再生画像に変換する（ステップ３０７：縮小変換ステップ）。画像処理器１１６は、例えば米国特許出願公開公報第２００６／１５３３０１号に示すような手法でＬビットの再生画像に加工処理を実施し、処理後の再生画像を予測信号生成の際の参照画像として使用するためフレームメモリ１１４に格納する（ステップ３０８：画像処理ステップ、格納ステップ）。この際、画像処理器１１６では、対象ブロック間に信号処理を施すため、Ｌビットに変換した再生信号に加えて既にフレームメモリ１１４に格納されている再生信号を用いる。生成された上記付加情報と符号化情報はエントロピー符号化器１１５にてビットストリームデータに圧縮される（ステップ３０９）。ビット数Ｎ、Ｍ、Ｌのいずれかを符号化する必要がある場合には、エントロピー符号化器１１５にて符号化され、ビットストリームデータに含まれる。
【００６４】
動画像符号化装置の説明にて示したとおり、本発明におけるビット長変換処理は、特定のビット長の拡張方法、ビット長の縮小方法ならびに予測方法に限定されない。
【００６５】
これらのステップを全ての対象ブロックについて実施することにより、最終的なビットストリームが生成される。
【００６６】
（動画像復号装置）
図４に、本発明によるビット長変換を伴う動画像復号装置５００のブロック図を示す。動画像復号装置５００は、入力端子（入力手段）５０１、データ解析器（解析手段）５０２、伸張器（残差信号復元手段）５０３、加算器（画像復元手段）５０４、予測信号生成器（予測信号生成手段）５０５、ビット長縮小変換器（第１の縮小変換手段）５０６、画像処理器（画像処理手段）５０７、フレームメモリ（格納手段）５０８、及び、画像出力端子５０９を備えている。
【００６７】
このような動画像復号装置５００について、以下、各構成部の動作を述べる。入力端子５０１には、各対象ブロックの拡張予測信号の生成に要する付加情報と対象ブロックの残差信号の符号化データを含むビットストリームが入力される。本実施形態では、図１の動画像符号化装置１００で処理して得られたビットストリームが動画像復号装置５００に入力される。
【００６８】
データ解析器５０２は、入力データ（入力されたビットストリーム）を解析し、残差信号の符号化データ（量子化変換係数）と付加情報を復号する。さらに、入力データにビット長を示す情報であるＭ、Ｎ、Ｌのいずれかの値が含まれている場合には、復号され、後述するビット長縮小変換器や予測信号生成器に通知される。なお、復号方法としては、可変長復号あるいは算術復号などが用いられる。
【００６９】
復号された残差信号の符号化データ（量子化変換係数）は、ラインＬ５０２ａ経由で伸張器５０３に入力され、残差信号に復元される。伸張器５０３は、一般に量子化変換係数を変換係数に逆量子化する逆量子化器と、変換係数を逆変換し残差信号を再生する逆変換器により構成されるが、その一方がなくてもよいし、別の構成でもよい。
【００７０】
一方、データ解析器５０２にて復号された付加情報はラインＬ５０２ｂ経由で予測信号生成器５０５に送られる。予測信号生成器５０５では、付加情報に基づき、動画像符号化装置の予測信号生成器１０５と同様の手順でＭビットの拡張予測信号を生成する。加算器５０４は、拡張予測信号と復元した残差信号とを加算することで、Ｍビットの拡張再生信号を生成する。ここで、拡張再生信号のビット長はＭビットであるが、伸張器５０３や加算器５０４などの中間処理ではＭビットより長いビット長の信号になってもよい。例えば、残差信号はマイナス値となる可能性があるため、通常（Ｍ＋１）ビットのビット長となる。また演算精度向上のため逆量子化された変換係数を（Ｍ＋１）ビットより長いビット長としてもよい。
【００７１】
ビット長縮小変換器５０６では、Ｍビットの再生信号をＬビットの再生信号に変換する。ＬはＮ以下の正の整数であり、フレームメモリの容量に依存した値となる。通常はフレームメモリの容量は、入力画像と同じビット長になるため、Ｌ＝Ｎとする。図３は、Ｌ＝Ｎの例である。
【００７２】
Ｌビットの再生信号は、ラインＬ５０６経由で、画像処理器５０７に入力される。画像処理器５０７では、再生信号に米国特許出願公開公報第２００６／１５３３０１号に示されるような画質改善処理やＨ．２６４等に定義されるようなブロックノイズ除去処理を施す。このようにして復元されたＬビットの再生信号は、予測信号を生成する際の参照画像として使用されるため、フレームメモリ５０８に格納される。画像処理器５０７では、ブロック間に信号処理を施すため、ラインＬ５０６経由で入力される再生信号に加えて既にフレームメモリ５０８に格納されている再生信号を用いる。
【００７３】
これらの処理をビットストリームの全データが処理されるまで繰り返すことにより、動画像データが復元される。
【００７４】
次に、図４及び図５を参照して、本実施形態に係る動画像復号装置５００の変形例について説明する。
【００７５】
ビット数Ｌの値がビット数Ｎの値と異なる場合には、Ｎビットの再生信号を出力するため、図４の動画像復号装置５００に、Ｍビットの再生信号をＮビットの再生信号に変換する処理を追加する必要がある。図５の動画像復号装置５００−２にその構成を示す。図５の動画像復号装置５００−２では、ビット長縮小変換器（第２の縮小変換手段）５０６にてＭビットの再生信号をＬビットの再生信号に変換し、ビット長縮小変換器５１０にてＭビットの再生信号をＮビットの再生信号に変換する。
【００７６】
図６には、上述した動画像符号化装置１００の変形例である動画像符号化装置１００−２にて生成されたビットストリームデータを復号する動画像復号装置５００−３の構成を示す。ここではＮ＝Ｌと考える。予測信号生成器５０５ａでは、Ｎビットの予測信号が生成され、ラインＬ５０５ａ経由でビット長拡張変換器５０５ｂに入力される。ビット長拡張変換器５０５ｂでは、Ｎビットの予測信号がＭビットの拡張予測信号に拡張され、ラインＬ５０５経由で加算器５０４に出力される。
【００７７】
なお、本発明の特徴であるビット長変換手法は、図４と図６に示した動画像復号装置５００，５００−３の構成を同時に有する装置構成においても有効である。この場合、予測信号生成器５０５，５０５ａにおける予測モードに、Ｌビットの参照画像からＭビットの拡張予測信号を直接生成する方法や、１度Ｌビットの予測信号を生成してからこれをビット長拡張変換器にてＭビットの予測信号に変換する方法が含まれ、復号した付加情報に応じて選択的に処理される。
【００７８】
（動画像復号方法）
図７には、動画像復号装置５００により実行される、ビット長変換を伴う動画像復号処理の流れ図を示す。圧縮符号化されたデータが入力端子５０１に入力される（ステップ７０１：入力ステップ）。次に、データ解析器５０２は、入力されたデータをエントロピー復号し、符号化情報（量子化変換係数）、及び付加情報を抽出する（ステップ７０２：解析ステップ）。この際、入力データにＭ、Ｎ、Ｌの値が含まれる場合には、復号され、後述するビット長縮小変換や予測信号生成処理に用いられる。
【００７９】
予測信号生成器５０５は、付加情報を復号し、Ｌビットの再生画像を用いて、Ｍビットの拡張予測信号を生成する（ステップ７０３：予測信号生成ステップ）。予測信号の生成方法には、Ｌビットの信号から直接Ｍビットの予測信号を生成する方法や、１度Ｌビットの予測信号を生成してから、ビット長拡張変換器５０５ｂにてＭビットの拡張予測信号に変換する方法が含まれる。
【００８０】
同時に伸張器５０３は、抽出された量子化変換係数を逆量子化して変換係数を復元し、この変換係数を逆変換して、残差信号を復元する（ステップ７０４：残差信号復元ステップ）。加算器５０４は、拡張予測信号と復元した残差信号を加算し、Ｍビットの拡張再生画像を生成する（ステップ７０５：画像復元ステップ）。
【００８１】
次に、ビット長縮小変換器は、Ｍビットの拡張再生画像をＬビットの再生画像に変換する（ステップ７０６：第１の縮小変換ステップ）。ここでは、Ｎ＝Ｌとする。画像処理器５０７は、例えば米国特許出願公開公報第２００６／１５３３０１号に示すような手法でＬビットの再生画像に加工処理を実施し、処理後の再生画像を予測信号生成の際の参照画像として使用するためフレームメモリ５０８に格納する（ステップ７０７：画像処理ステップ、格納ステップ）。画像処理器５０７では、対象ブロック間に信号処理を施すため、Ｌビットに変換された再生信号に加えて既にフレームメモリ５０８に格納されている再生信号を用いる。
【００８２】
これらのステップを、ビットストリームの全データが処理されるまで繰り返すことにより、動画像データが復元される。
【００８３】
なお、図５の動画像復号装置５００−２の構成のように、Ｌ＝Ｎでない場合には、ビット長縮小変換器５１０にて、Ｎビットの再生画像を生成するステップが追加される
【００８４】
動画像復号装置の説明にて示したとおり、本発明におけるビット長変換処理は、特定のビット長の拡張方法、ビット長の縮小方法ならびに予測方法に限定されない。
【００８５】
（動画像符号化プログラム・動画像復号プログラム）
動画像符号化装置１００に係る発明は、コンピュータを動画像符号化装置として機能させるための動画像符号化プログラムに係る発明として捉えることができる。あるいは、本実施形態に係る動画像符号化方法をプログラムとして記録媒体に格納して提供することもできる。また、動画像復号装置５００に係る発明は、コンピュータを動画像復号装置あるいは動画像符号化方法として機能させるための動画像復号プログラムに係る発明として捉えることができる。あるいは本実施形態に係る動画像復号方法をプログラムとして記録媒体に格納して提供することもできる。動画像符号化プログラム及び動画像復号プログラムは、例えば、記録媒体に格納されて提供される。記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。
【００８６】
図８は、動画像符号化方法を実行することができるプログラムのモジュールを示すブロック図である。動画像符号化プログラムＰ１００は、ブロック分割モジュールＰ１０１、予測方法決定モジュールＰ１０２、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、圧縮モジュールＰ１０６、伸張モジュールＰ１０７、加算モジュールＰ１０８、ビット長拡張モジュールＰ１０９、ビット長縮小モジュールＰ１１０、画像処理モジュールＰ１１１及びエントロピー符号化モジュールＰ１１２を備えている。
【００８７】
上記各モジュールが実行されることにより実現される機能は、上述した動画像符号化装置１００の機能と同じである。すなわち、画像予測符号化プログラムＰ１００の各モジュールの機能は、ブロック分割器１０３、予測方法決定器１０６、予測信号生成器１０５、フレームメモリ１１４、差分器１０４、圧縮器１１０、伸張器１１１、加算器１１２、ビット長拡張変換器１０２、ビット長縮小変換器１１３、画像処理器１１６、エントロピー符号化器１１５の機能と同様である。
【００８８】
また、図９は、動画像復号方法を実行することができるプログラムのモジュールを示すブロック図である。動画像復号プログラムＰ５００は、データ解析モジュールＰ５０１、予測信号生成モジュール５０２、記憶モジュール５０３、伸張モジュールＰ５０４、加算モジュールＰ５０５、ビット長縮小モジュールＰ５０６及び画像処理モジュールＰ５０７を備えている。
【００８９】
上記各モジュールが実行されることにより実現される機能は、上述した動画像復号装置５００の各構成要素と同じである。すなわち、動画像復号プログラムＰ５００の各モジュールの機能は、データ解析器５０２、予測信号生成器５０５、フレームメモリ５０８、伸張器５０３、加算器５０４、ビット長縮小変換器５０６、画像処理器５０７の機能と同様である。
【００９０】
このように構成された動画像符号化プログラムＰ１００または動画像復号プログラムＰ５００は、記録媒体１０に記憶され、後述するコンピュータで実行される。
【００９１】
図１０は、記録媒体１０に記録されたプログラムを実行するためのコンピュータ３０のハードウェア構成を示す図であり、図１１は、記録媒体１０に記録されたプログラムを実行するためのコンピュータ３０の斜視図である。ここでのコンピュータ３０としては、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。
【００９２】
図１０に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読み取り装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイ１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された動画像符号化プログラム及び動画像復号プログラムにアクセス可能になり、当該動画像符号化プログラム及び動画像復号プログラムによって、コンピュータ３０は、本発明に係る動画像符号化装置及び動画像復号装置として動作することが可能になる。
【００９３】
図１１に示すように、動画像符号化プログラム及び動画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０として、有線ネットワーク・無線ネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像符号化プログラム及び動画像復号プログラムをメモリ１６に格納し、当該動画像符号化プログラム及び動画像復号プログラムを実行することができる。
【００９４】
以上説明した本実施形態の動画像符号化装置１００，１００−２によれば、画素値がビット長Ｎで表される対象画像が、ビット長拡張変換器１０２により各画素値がビット長Ｍで表されるように変換した上で、圧縮器１１０により符号化され、さらに、符号化された画像が伸張器１１１により復元された上で、ビット長縮小変換器１１３により画素値がビット長Ｍより値の小さいビット長Ｌで表される再生画像に変換され、この再生画像が参照画像としてフレームメモリ１１４に格納される。これにより、符号化の対象となる画像信号の各画素を対象信号のビット長より長いビット長に変換した上で圧縮器１１０において符号化処理を行なうため、符号化処理の高精度演算を可能とし、符号化効率を高めることができる。また、圧縮器１１０において符号化処理を行ったときのビット長Ｍより短いビット長Ｌに変換した上でフレームメモリ１１４に格納されるため、フレームメモリの容量や帯域の増大を抑えることができる。
【００９５】
また、本実施形態の動画像復号装置５００，５００−２，５００−３によれば、入力端子５０１を経て入力されたデータストリームから、データ解析器５０２及び伸張器５０３により、画素値が対象画像のビット長Ｎより大きいビット長Ｍで表される拡張再生画像が復元され、さらに、拡張再生画像が、ビット長縮小変換器５０６により、画素値がビット長Ｍより値の小さいビット長Ｌで表される再生画像に変換され、この再生画像が参照画像としてフレームメモリ５０８に格納される。これにより、符号化の対象となった画像信号の各画素を対象信号のビット長より長いビット長に変換した上で、データ解析器５０２及び伸張器５０３において復号処理を行なうため、復号処理の高精度演算を可能とし、符号化効率を高めることができる。また、データ解析器５０２及び伸張器５０３において復号処理を行ったときのビット長より短いビット長に変換した上でフレームメモリ５０８に格納されるため、フレームメモリ５０８の容量や帯域の増大を抑えることができる。
【００９６】
また、本実施形態の動画像符号化装置１００，１００−２及び動画像復号装置５００，５００−２，５００−３によれば、フレームメモリ１１４，５０８に格納された参照画像のビット長と、ビット長縮小変換器１１３，５０６により変換された再生画像のビット長とが、共にビット長Ｌである。このため、画像処理器１１６，５０７により参照画像を利用して再生画像を加工する処理を行う場合にも、参照画像と再生画像との間のビット長の違いを吸収する処理を別途追加する必要がなく、画像加工処理などの新たな処理を追加するのに伴う実装・処理コストが低減し、拡張が容易となる。
【００９７】
このように、本実施形態によれば、フレームメモリの容量を増加させることなく、符号化の対象となる画像信号の各画素を対象信号のビット長より長いビット長に変換した上で符号化・復号処理を行なう。そのため、フレームメモリへのメモリ帯域を増やすことなく、符号化・復号処理の高精度演算を可能とし、符号化効率を高める効果がある。また、長いビット長の再生信号を短いビット長の信号に変換した後、画像処理器１１６，５０７により、フレームメモリに格納された信号を用いた画像信号の加工処理を実施する。そのため、フレームメモリに格納された信号に対するビット長の変換を追加することなく、前記加工処理が実施できる。
【図面の簡単な説明】
【００９８】
【図１】本発明の一実施形態に係るビット長変換処理を伴う動画像符号化装置のブロック図である。
【図２】図１に示す動画像符号化装置の変形例を示すブロック図である。
【図３】図１に示す動画像符号化装置により実施される動画像符号化方法を示す流れ図である。
【図４】本発明の一実施形態に係るビット長変換処理を伴う動画像復号装置のブロック図である。
【図５】図４に示す動画像復号装置の変形例を示すブロック図である。
【図６】図４に示す動画像復号装置の変形例を示すブロック図である。
【図７】図４に示す動画像復号装置により実施される動画像復号方法を示す流れ図である。
【図８】本発明の一実施形態に係る動画像符号化プログラムのモジュールを示すブロック図である。
【図９】本発明の一実施形態に係る動画像復号プログラムのモジュールを示すブロック図である。
【図１０】記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。
【図１１】記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。
【符号の説明】
【００９９】
１００，１００−２…動画像符号化装置、１０１，５０１…入力端子（入力手段）、１０２，１０５ｂ，５０５ｂ…ビット長拡張変換器（拡張変換手段）、１０３…ブロック分割器、１０４…差分器（残差信号生成手段）、１０５，１０５ａ，５０５，５０５ａ…予測信号生成器（予測信号生成手段）、１０６，１０６−２…予測方法決定器（予測信号生成手段）、１１０…圧縮器（符号化手段）、１１１…伸張器（復元手段）、１１２…加算器（復元手段）、１１３…ビット長縮小変換器（縮小変換手段）、１１４，５０８…フレームメモリ（格納手段）、１１５…エントロピー符号化器、１１６，５０７…画像処理器（画像処理手段）、１１７，５０９…出力端子、５００，５００−２，５００−３…動画像復号装置、５０２…データ解析器（解析手段）、５０３…伸張器（残差信号復元手段）、５０４…加算器（画像復元手段）、５０６…ビット長縮小変換器（第１の縮小変換手段）、５１０…ビット長縮小変換器（第２の縮小変換手段）。
【図１】
2010087984.tif 000003
【図２】
2010087984.tif 000004
【図３】
2010087984.tif 000005
【図４】
2010087984.tif 000006
【図５】
2010087984.tif 000007
【図６】
2010087984.tif 000008
【図７】
2010087984.tif 000009
【図８】
2010087984.tif 000010
【図９】
2010087984.tif 000011
【図１０】
2010087984.tif 000012
【図１１】
2010087984.tif 000013