(57)【要約】【課題】量子化を行なう際に要する演算量を抑制することができる符号化装置、画像情報処理システム、及び符号化プログラムを提供する。【解決手段】ＤＣＴ部１２０によって得られた変換係数の各々が量子化部２０６によって一様量子化されて得られた一様量子化値のうち、マッピング部２０４によって基準量子化値に対して所定の複数ビットで表現可能な最大値をビット列で対応付けると共に、残りの一様量子化値の各々に対して正方向及び負方向の順に所定の複数ビットで表現可能な残りの値を降順にビット列で対応付け、変換係数の範囲が所定数に等分されて得られたレンジのうちの、互いに隣接する量子化値の各々に対して対応付けられた各値のビット桁の論理積が真値である範囲に相当するレンジを示すレンジ情報を抽出すると共に、その論理積が偽値のビットプレーンの誤り訂正符号を生成する。【選択図】図１
2012109805.tif 000002
【特許請求の範囲】
【請求項１】
画像を示す画像情報が直交変換されて得られた直交変換係数の各々が２のべき乗数によって量子化されて得られた量子化値のうち、前記直交変換係数が最も多く属する量子化値であると予め推定された基準量子化値に対して前記２のべき乗数で表現可能な最大値をビット列で対応付けると共に、残りの量子化値の各々に対して正方向及び負方向の順に前記２のべき乗数で表現可能な残りの値を降順にビット列で対応付ける対応付け手段と、
前記直交変換係数の範囲が前記２のべき乗数で表現可能な最大個数で等分されて得られた区域のうちの、互いに隣接する前記量子化値の各々に対して前記対応付け手段によって対応付けられた各値のビット桁の論理積が真値である範囲に相当する区域を示す区域情報を送信すると共に、該論理積が偽値となるビットプレーンが符号化された符号化情報を送信する送信手段と、
を含む符号化装置。
【請求項２】
前記符号化情報を前記ビットプレーンの誤り訂正符号とした請求項１に記載の符号化装置。
【請求項３】
前記基準量子化値を、前記直交変換係数の平均値、モード、又はメジアンが前記複数ビットによって量子化されて得られた値とした請求項１または請求項２に記載の符号化装置。
【請求項４】
請求項１〜請求項３の何れか１項に記載の符号化装置と、
前記送信手段によって送信された区域情報及び符号化情報を受信する受信手段、前記画像と共に動画像を構成する他の画像を参照して前記画像情報を推測して該画像情報に対応する推測画像情報を生成する推測生成手段、前記受信手段によって受信された符号化情報を、前記推測生成手段によって生成された推測画像情報に基づいて復号する復号手段、並びに前記推測生成手段によって生成された推測画像情報、前記受信手段によって受信された区域情報、及び前記復号手段によって前記符号化情報が復号されて得られた情報に基づいて、前記画像情報に相当する情報を生成する相当情報生成手段を有する復号装置と、
を含む画像情報処理システム。
【請求項５】
前記復号装置は、前記復号手段による復号が失敗した場合に前記符号化情報の送信を要求する要求手段を更に含み、
前記送信手段は、更に、前記要求手段の要求に応じて前記符号化情報を再送信する請求項４に記載の画像情報処理システム。
【請求項６】
前記復号装置は、前記推測生成手段によって生成された推測画像情報と前記画像情報との相関を示す相関情報を送信する相関情報送信手段を更に含み、
前記符号化装置は、前記相関情報送信手段によって送信された相関情報を受信し、受信した相関情報に基づいて前記符号化情報を送信するためのビットレートを推定する推定手段を更に含み、
前記送信手段は、前記ビットレートに応じた符号化情報を送信する請求項４または請求項５に記載の画像情報処理システム。
【請求項７】
コンピュータを、
画像を示す画像情報が直交変換されて得られた直交変換係数の各々が２のべき乗数によって量子化されて得られた量子化値のうち、前記直交変換係数が最も多く属する量子化値であると予め推定された基準量子化値に対して前記２のべき乗数で表現可能な最大値をビット列で対応付けると共に、残りの量子化値の各々に対して正方向及び負方向の順に前記２のべき乗数で表現可能な残りの値を降順にビット列で対応付ける対応付け手段、及び
前記直交変換係数の範囲が前記２のべき乗数で表現可能な最大個数で等分されて得られた区域のうちの、互いに隣接する前記量子化値の各々に対して前記対応付け手段によって対応付けられた各値のビット桁の論理積が真値である範囲に相当する区域を示す区域情報を送信すると共に、該論理積が偽値となるビットプレーンが符号化された符号化情報を送信する送信手段として機能させるための符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置、画像情報処理システム、及び符号化プログラムに係り、量子化の演算にかかる負荷を軽減する符号化装置、画像情報処理システム、及び符号化プログラムに関する。
【背景技術】
【０００２】
非特許文献１には、動画像を示す動画像情報をＤＶＣ(Distributed Video Coding)を用いて符号化し、符号化した動画像情報を復号する画像情報処理システムが開示されている。この画像情報処理システムは、Slepian-Wolf理論及びWyner-Ziv理論を適用したものである。ＤＶＣは、誤り訂正符号を動画像情報の符号化に応用する技術であり、Ｈ．２６４／ＡＶＣのような標準規格に比べ、符号化装置（エンコーダ）による演算量が少なく、復号装置（デコーダ）による演算量が多いという特徴を有している。
【０００３】
図９には、非特許文献１に記載の画像情報処理システム１００の構成が模式的に示されている。同図に示されるように、画像情報処理システム１００は、フレームタイプ決定部１０２、キーフレームエンコーダ１０４、キーフレームデコーダ１０６、Ｗｙｎｅｒ−Ｚｉｖエンコーダ１０８、Ｗｙｎｅｒ−Ｚｉｖデコーダ１１０、信号出力器１１２、及び通信路１１４を含んで構成されている。なお、以下では、Ｗｙｎｅｒ−Ｚｉｖを「ＷＺ」と省略して称する。
【０００４】
フレームタイプ決定部１０２、キーフレームエンコーダ１０４、キーフレームデコーダ１０６、ＷＺエンコーダ１０８、及びＷＺデコーダ１１０の各々を実現するための形態としては、各種回路（一例として、ＡＳＩＣ（Application Specific Integrated Circuit））を接続して構成されるハードウェア的な形態や、ＣＰＵ（中央処理装置）、ＲＯＭ（Read Only Memory）、及びＲＡＭ(Random Access Memory)などを有する汎用的なコンピュータによって各種プログラムが実行されることにより各々の装置として機能させるソフトウェア的な形態、ハードウェア的な形態とソフトウェア的な形態とを組み合わせた形態などが例示できる。
【０００５】
フレームタイプ決定部１０２は、入力端子１０２Ａ、並びに第１及び第２の出力端子１０２Ｂ，１０２Ｃを備えている。また、キーフレームエンコーダ１０４は、入力端子１０４Ａ及び出力端子１０４Ｂを備えている。また、キーフレームデコーダ１０６は、入力端子１０６Ａ及び出力端子１０６Ｂを備えている。また、ＷＺエンコーダ１０８は、第１〜第３の入力端子１０８Ａ〜Ｃ並びに第１及び第２の出力端子１０８Ｄ，１０８Ｅを備えている。また、ＷＺデコーダ１１０は、第１〜第３の入力端子１１０Ａ〜Ｃ及び第１〜第３の出力端子１１０Ｄ〜Ｆを備えている。更に、信号出力器１１２は、第１及び第２の入力端子１１２Ａ，１１２Ｂ並びに出力端子１１２Ｃを備えている。なお、通信路１１４としては、ＬＡＮ回線、インターネット回線、公衆電話回線などの各種通信回線が例示できるが、ここでは、ＬＡＮ回線を採用している。
【０００６】
フレームタイプ決定部１０２の第１の出力端子１０２Ｂは、ＷＺエンコーダ１０８の第１入力端子１０８Ａに、第２の出力端子１０２Ｃはキーフレームエンコーダ１０４の入力端子１０４Ａに各々接続されている。また、キーフレームエンコーダ１０４の出力端子１０４Ｂは、通信路１１４を介してキーフレームデコーダ１０６の入力端子１０６に接続されている。また、キーフレームデコーダ１０６の出力端子１０６Ｂは、ＷＺデコーダ１１０の第２の入力端子１１０Ｂ及び信号出力器１１２の第２の入力端子１１２Ｂの各々に接続されている。また、ＷＺエンコーダ１０８の出力端子１０８Ｄは、ＷＺデコーダ１１０の第１の入力端子１１０Ａに、出力端子１０８ＥはＷＺデコーダ１１０の第３の入力端子１１０Ｃに各々通信路１１４を介して接続されている。更に、ＷＺデコーダ１１０の第１の出力端子１１０Ｄは、ＷＺエンコーダ１０８の第２の入力端子１０８Ｂに、第２の出力端子１１０ＥはＷＺエンコーダ１０８の第３の入力端子１０８Ｃに各々通信路１１４を介して接続されている。また、ＷＺデコーダ１１０の第３の出力端子１１０Ｆは、信号出力器１１２の第１の入力端子１１２Ａに接続されている。
【０００７】
フレームタイプ決定部１０２は、動画像を構成する時系列に沿って並べられた複数の画像の各々を示す画像情報としてのフレームが外部から入力され、入力されたフレームのタイプを決定し、そのタイプに応じた出力先にフレームを出力するものである。具体的には、入力されたフレームのうち、主たるフレームとして位置付けられるキーフレームをキーフレームエンコーダ１０４に出力し、非キーフレームであるＷＺフレームをＷＺエンコーダ１０８に出力する。
【０００８】
キーフレームエンコーダ１０４は、フレームタイプ決定部１０２から入力されたキーフレームを公知の符号化技術を用いて符号化し、符号化して得た符号化キーフレームをキーフレームデコーダ１０６に出力する。
【０００９】
キーフレームデコーダ１０６は、キーフレームエンコーダ１０４から入力された符号化キーフレームを上記の符号化技術に対応する公知の復号技術を用いて復号し、復号して得た復号キーフレームをＷＺデコーダ１１０及び信号出力器１１２に出力する。
【００１０】
ＷＺエンコーダ１０８は、フレームタイプ決定部１０２から入力されたＷＺフレームをＷＺ符号化し、ＷＺ符号化して得たＷＺ符号化フレームをＷＺデコーダ１１０に出力する。
【００１１】
ＷＺデコーダ１１０は、ＷＺエンコーダ１０８から入力されたＷＺ符号化フレームをＷＺ復号し、ＷＺ復号して得たＷＺ復号フレームを信号出力器１１２に出力する。
【００１２】
信号出力器１１２は、キーフレームデコーダ１０６から入力された復号キーフレームとＷＺデコーダ１１０から入力されたＷＺ復号フレームとを所定の順序で表示装置（図示省略）に出力するものである。
【００１３】
ＷＺエンコーダ１０８は、離散コサイン変換部（ＤＣＴ部）１２０、量子化部１２２、ビット整列部１２４、通信路符号化部１２６、レート推定部１２８、及びバッファ１３０を含んで構成されている。
【００１４】
ＤＣＴ部１２０、ビット整列部１２４、通信路符号化部１２６、及びレート推定部１２８の各々は、一対の入力端子及び出力端子を備えている。また、量子化部１２２は、入力端子１２２Ａ並びに第１及び第２の出力端子１２２Ｂ，１２２Ｃを備えている。更に、バッファ１３０は、第１〜第３の入力端子１３０Ａ〜Ｃ及び出力端子１３０Ｄを備えている。
【００１５】
ＤＣＴ部１２０の入力端子は、ＷＺエンコーダ１０８の第１の入力端子１０８Ａに、出力端子は量子化部１２２の入力端子１２２Ａに各々接続されている。また、量子化部１２２の第１の出力端子１２２Ｂは、ビット整列部１２４の入力端子に、第２の出力端子１２２ＣはＷＺエンコーダ１０８の第２の出力端子１０８Ｅに各々接続されている。また、ビット整列部１２４の出力端子は、通信路符号化部１２６の第１の入力端子１３０Ａに接続されている。また、レート推定部１２８の入力端子は、ＷＺエンコーダ１０８の第３の入力端子１０８Ｃに、出力端子はバッファ１３０の第２の入力端子１３０Ｂに各々接続されている。更に、バッファ１３０の第３の入力端子１３０Ｃは、ＷＺエンコーダ１０８の第２の入力端子に、出力端子１３０ＤはＷＺエンコーダ１０８の出力端子１０８Ｄに各々接続されている。
【００１６】
ＤＣＴ部１２０は、フレームタイプ決定部１０２から入力されたＷＺフレームに対して所定の直交変換行列を用いて離散コサイン変換を行うことによって変換係数を導出し、導出した変換係数を量子化部１２２に出力する。
【００１７】
量子化部１２２は、ＤＣＴ部１２０から入力された変換係数から帯域毎にダイナミックレンジを算出し、算出したダイナミックレンジを示すダイナミックレンジ情報を通信路１１４を介してＷＺデコーダ１１０に送信する。また、量子化部１２２は、算出したダイナミックレンジを用いてＤＣＴ部１２０から入力された変換係数を量子化し、量子化して得た量子化値をビット整列部１２４に出力する。なお、上記の“帯域”とは、直交変換行列によって変換した結果得られる、たとえば４×４の情報の各要素を示す。
【００１８】
ビット整列部１２４は、量子化部１２２から入力された量子化値からビットプレーンを抽出し、抽出したビットプレーンを所定の順序で整列させるものである。通信路符号化部１２６は、ビット整列部１２４によって量子化値から抽出されたビットプレーンの誤り訂正符号を生成し、生成した誤り訂正符号をバッファ１３０に出力する。なお、この誤り訂正符号としては、Ｔｕｒｂｏ符号やＬＤＰＣＡ符号のようにパンクチャ処理により自由なビットレートが選択可能な符号を用いる。
【００１９】
レート推定部１２８は、誤り訂正符号を送信する際に用いるビットレートを推定するものである。ビットレートの推定は、ＷＺデコーダ１１０から送信される後述するモデルパラメータを通信路１１４を介して受信し、受信したモデルパラメータからＷＺデコーダ１１０で復号するために必要なビットレートを計算することによって行なわれる。
【００２０】
バッファ１３０は、通信路符号化部１２６から入力された誤り訂正符号を所定の格納領域に格納し、レート推定部１２８によって推定されたビットレートに応じた誤り訂正符号を格納領域から抽出し、抽出した誤り訂正符号を通信路１１４を介してＷＺデコーダ１１０と復号可否判断部１５０とに送信する。また、バッファ１３０は、ＷＺデコーダ１１０から送信される要求信号を通信路１１４を介して受信すると、追加の誤り訂正符号を格納領域から抽出し、抽出した誤り訂正符号を通信路１１４を介してＷＺデコーダ１１０と復号可否判断部１５０とに送信する。
【００２１】
ＷＺデコーダ１１０は、サイドインフォメーション（ＳＩ）生成部１４０、仮想通信路モデル計算部１４２、サイドインフォメーション−離散コサイン変換部（ＳＩ−ＤＣＴ部）１４４、ソフト値計算部１４６、通信路復号部１４８、復号可否判断部１５０、逆量子化部１５２、及び逆離散コサイン変換部（ＩＤＣＴ部）１５４を含んで構成されている。
【００２２】
ＳＩ生成部１４０、仮想通信路モデル計算部１４２、ＳＩ−ＤＣＴ部１４４、及びＩＤＣＴ部１５４の各々は、一対の入力端子及び出力端子を備えている。また、ソフト値計算部１４６は、第１及び第２の入力端子１４６Ａ，１４６Ｂ並びに出力端子１４６Ｃを備えている。また、通信路復号部１４８は、第１及び第２の入力端子１４８Ａ，１４８Ｂ並びに出力端子１４８Ｃを備えている。また、逆量子化部１５２は、第１〜第４の入力端子１５２Ａ〜Ｄ及び出力端子１５２Ｅを備えている。更に、復号可否判断部１５０は、入力端子１５０Ａ並びに第１及び第２の出力端子１５０Ｂ，１５０Ｃを備えている。
【００２３】
ＳＩ生成部１４０の入力端子は、ＷＺデコーダ１１０の第２の入力端子１１０Ｂに接続されている。また、ＳＩ生成部１４０の出力端子は、仮想通信路モデル計算部１４２の入力端子及びＳＩ−ＤＣＴ部１４４の入力端子に接続されている。また、仮想通信路モデル計算部１４２の出力端子は、ＷＺデコーダ１１０の第２の出力端子１１０Ｅ、ソフト値計算部１４６の第２の入力端子１４６Ｂ、及び逆量子化部１５２の第１の入力端子１５２Ａに接続されている。また、ＳＩ−ＤＣＴ部１４４の出力端子は、ソフト値計算部１４６の第１の入力端子１４６Ａ及び逆量子化部１５２の第２の入力端子１５２Ｂに接続されている。また、ソフト値計算部１４６の出力端子１４６Ｃは、通信路復号部１４８の第１の入力端子１４８Ａに接続されている。また、通信路復号部１４８の第２の入力端子１４８Ｂは、ＷＺデコーダ１１０の第１の入力端子１１０Ａに、出力端子１４８Ｃは復号可否判断部１５０の入力端子１５０Ａに各々接続されている。また、復号可否判断部１５０の第２の出力端子１５０Ｃは、逆量子化部１５２の第３の入力端子１５２Ｃに接続されている。また、復号可否判断部１５０の第１の出力端子１５０Ｂは、ＷＺデコーダ１１０の第３の出力端子１１０Ｄに接続されている。また、逆量子化部１５２の第３の入力端子１５２Ｃに接続されている。また、逆量子化部１５２の第４の入力端子１５２Ｄは、ＷＺデコーダ１１０の第３の入力端子１１０Ｃに接続されている。また、逆量子化部１５２の出力端子１５２Ｅは、ＩＤＣＴ部１５４の入力端子に接続されている。更に、ＩＤＣＴ部１５４の出力端子は、ＷＺデコーダ１１０の第３の出力端子１１０Ｆに接続されている。
【００２４】
ＳＩ生成部１４０は、キーフレームデコーダ１０６から入力されたキーフレームからサイドインフォメーション（ＳＩ）を生成し、生成したＳＩをＳＩ−ＤＣＴ部１４４及び仮想通信路モデル計算部１４２に出力する。サイドインフォメーションとは、言わば復号対象のＷＺフレームを予測したフレームのことである。ここでは、復号対象のＷＺフレーム（ＷＺエンコーダ１０８に取り込まれたＷＺフレーム）に相前後するキーフレームの平均値からなるフレームを適用しているが、動きベクトル探索や動き補償によって得られたフレームを適用することも可能である。
【００２５】
仮想通信路モデル計算部１４２は、ＳＩ生成部１４０から入力されたＳＩからモデルパラメータを計算し、計算して得たモデルパラメータをソフト値計算部１４６及び逆量子化部１５２に出力すると共に、通信路１１４を介してＷＺエンコーダ１０８のレート推定部１２８に送信する。モデルパラメータとは、ＳＩを予測誤りのある復号対象のＷＺフレームとみなした場合の原画像を示す原画像フレームとＳＩとの相関をラプラス分布で近似したパラメータのことである。
【００２６】
ＳＩ−ＤＣＴ部１４４は、ＳＩ生成部１４０から入力されたＳＩに対してＤＣＴ部１２０で用いる直交変換行列と同じものを用いて離散コサイン変換を行うことによって変換係数としてのＳＩ係数を導出し、導出したＳＩ係数をソフト値計算部１４６及び逆量子化部１５２に出力する。
【００２７】
ソフト値計算部１４６は、仮想通信路モデル計算部１４２から入力されたモデルパラメータ及びＳＩ−ＤＣＴ部１４４から入力されたＳＩ係数に基づいてソフト値を計算し、計算して得たソフト値を通信路復号部１４８に出力する。ソフト値としては、ＬＬＲ（Log Likelihood Ratio）を適用している。
【００２８】
通信路復号部１４８は、ＷＺエンコーダ１０８から送信された誤り訂正符号を通信路１１４を介して受信し、受信した誤り訂正符号を、ソフト値を用いて復号し、復号して得た復号情報を復号可否判断部１５０に出力する。
【００２９】
復号可否判断部１５０は、通信路復号部１４８から入力された復号情報を、所定の検査行列を用いて正しく復号されているか否かを検査し、正しく復号できていない場合、誤り訂正符号の追加を要求する要求信号を通信路１１４を介してＷＺエンコーダ１０８のバッファ１３０に送信し、正しく復号できている場合、検査済みの復号情報（検査済み復号情報）を逆量子化部１５２に出力する。なお、正しく復号されているか否かの検査は、通信路復号部１４８から入力された復号情報の誤りを、ＷＺエンコーダ１０８から送信された誤り訂正符号を用いて検出する方法や、ＣＲＣ（Cyclic Redundancy Check）符号を用いた検査方法などが例示できる。
【００３０】
逆量子化部１５２は、復号可否判断部１５０から入力された検査済み復号情報に対して、ＷＺエンコーダ１０８から送信されたダイナミックレンジ情報により示されるダイナミックレンジ、仮想通信路モデル計算部１４２から入力されたモデルパラメータ、及びＳＩ−ＤＣＴ部１４４から入力されたＳＩ係数を利用して、量子化部１２２で行った量子化に対応する逆量子化を行い、逆量子化を行うことによって得た逆量子化値をＩＤＣＴ部１５４に出力する。
【００３１】
ＩＤＣＴ部１５４は、逆量子化部１５２から入力された逆量子化値を、ＤＣＴ部１２０で用いる直交変換行列の転置行列を用いて、ＤＣＴ部１２０で行った離散コサイン変換に対応する逆離散コサイン変換を行い、この逆離散コサイン変換を行って得た結果を復号済みＷＺフレームとして信号出力器１１２に出力する。
【００３２】
ところで、画像情報処理システム１００の量子化部１２２では、量子化対象である変換係数の直流成分と交流成分とで異なる量子化器が用いられる。直流成分に対しては、一般的な一様スカラー量子化器を、交流成分に対しては、デッドゾーン付きの一様量子化器を各々用いて量子化が行われる。特に、交流成分を量子化する場合、帯域ｂ毎に変換係数のダイナミックレンジ（-MaxValb, MaxValb）を計算し、計算したダイナミックレンジを数式（１）に代入して量子化ステップ幅Ｗbを求め、その量子化ステップ幅Ｗbを数式（２）に代入して変換係数毎に量子化を行う。なお、数式（１）において、Ｍbは帯域ｂをＭbビットに量子化することを示している。また、数式（２）において、ｘbは交流成分を、ｙbは量子化値を各々示している。
【００３３】
【数１】
2012109805.tif 000003
・・・・・（１）
【００３４】
【数２】
2012109805.tif 000004
・・・・・（２）
【先行技術文献】
【非特許文献】
【００３５】
【非特許文献１】X. Artigas, J. Ascenso, M. Dalai, S. Klomp, D. Kubasov and M. Ouaret, "The Discover Codec : Architecture, Techniques and Evaluation," in proc. Of Picture Coding Symposium (PCS'07), Vol. 6, pp. 14496-14410, Lisbon, Portugal, Nov. 2007.
【発明の概要】
【発明が解決しようとする課題】
【００３６】
しかしながら、ダイナミックレンジに基づく量子化処理には、量子化ステップ幅による除算処理が必要になるため、演算量の増大を招いてしまう、という問題点があった。
【００３７】
本発明は上記問題点を解決するために成されたものであり、量子化を行なう際に要する演算量を抑制することができる符号化装置、画像情報処理システム、及び符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００３８】
上記目的を達成するために、請求項１に記載の符号化装置は、画像を示す画像情報が直交変換されて得られた直交変換係数の各々が２のべき乗数によって量子化されて得られた量子化値のうち、前記直交変換係数が最も多く属する量子化値であると予め推定された基準量子化値に対して前記２のべき乗数で表現可能な最大値をビット列で対応付けると共に、残りの量子化値の各々に対して正方向及び負方向の順に前記２のべき乗数で表現可能な残りの値を降順にビット列で対応付ける対応付け手段と、前記直交変換係数の範囲が前記２のべき乗数で表現可能な最大個数で等分されて得られた区域のうちの、互いに隣接する前記量子化値の各々に対して前記対応付け手段によって対応付けられた各値のビット桁の論理積が真値である範囲に相当する区域を示す区域情報を送信すると共に、該論理積が偽値となるビットプレーンが符号化された符号化情報を送信する送信手段と、を含んで構成されている。
【００３９】
請求項２に記載の符号化装置は、請求項１に記載の発明において、前記符号化情報を前記ビットプレーンの誤り訂正符号としたものである。
【００４０】
請求項３に記載の符号化装置は、請求項１または請求項２に記載の発明において、前記基準量子化値を、前記直交変換係数の平均値、モード、又はメジアンが前記複数ビットによって量子化されて得られた値としたものである。
【００４１】
請求項４に記載の画像情報処理システムは、請求項１〜請求項３の何れか１項に記載の符号化装置と、前記送信手段によって送信された区域情報及び符号化情報を受信する受信手段、前記画像と共に動画像を構成する他の画像を参照して前記画像情報を推測して該画像情報に対応する推測画像情報を生成する推測生成手段、前記受信手段によって受信された符号化情報を、前記推測生成手段によって生成された推測画像情報に基づいて復号する復号手段、並びに前記推測生成手段によって生成された推測画像情報、前記受信手段によって受信された区域情報、及び前記復号手段によって前記符号化情報が復号されて得られた情報に基づいて、前記画像情報に相当する情報を生成する相当情報生成手段を有する復号装置と、を含んで構成されている。
【００４２】
請求項５に記載の画像情報処理システムは、請求項４に記載の発明において、前記復号装置が、前記復号手段による復号が失敗した場合に前記符号化情報の送信を要求する要求手段を更に含み、前記送信手段が、更に、前記要求手段の要求に応じて前記符号化情報を再送信するものである。
【００４３】
請求項６に記載の画像情報処理システムは、請求項４または請求項５に記載の発明において、前記復号装置が、前記推測生成手段によって生成された推測画像情報と前記画像情報との相関を示す相関情報を送信する相関情報送信手段を更に含み、前記符号化装置が、前記相関情報送信手段によって送信された相関情報を受信し、受信した相関情報に基づいて前記符号化情報を送信するためのビットレートを推定する推定手段を更に含み、前記送信手段が、前記ビットレートに応じた符号化情報を送信するものである。
【００４４】
請求項７に記載の符号化プログラムは、コンピュータを、画像を示す画像情報が直交変換されて得られた直交変換係数の各々が２のべき乗数によって量子化されて得られた量子化値のうち、前記直交変換係数が最も多く属する量子化値であると予め推定された基準量子化値に対して前記２のべき乗数で表現可能な最大値をビット列で対応付けると共に、残りの量子化値の各々に対して正方向及び負方向の順に前記２のべき乗数で表現可能な残りの値を降順にビット列で対応付ける対応付け手段、及び前記直交変換係数の範囲が前記２のべき乗数で表現可能な最大個数で等分されて得られた区域のうちの、互いに隣接する前記量子化値の各々に対して前記対応付け手段によって対応付けられた各値のビット桁の論理積が真値である範囲に相当する区域を示す区域情報を送信すると共に、該論理積が偽値となるビットプレーンが符号化された符号化情報を送信する送信手段として機能させるためのものである。
【発明の効果】
【００４５】
請求項１、請求項４、及び請求項７に係る発明によれば、量子化を行なう際に要する演算量を抑制することができる、という効果が得られる。
【００４６】
請求項２に係る発明によれば、送信対象の情報量を削減することができ、かつ送信された後の再現性を向上させることができる、という効果が得られる。
【００４７】
請求項３に係る発明によれば、量子化値に対して、直交変換の特性及び量子化の特性に応じた値を容易に対応付けることができる、という効果が得られる。
【００４８】
請求項５に係る発明によれば、復号して得られる情報の信頼性を高めることができる、という効果が得られる。
【００４９】
請求項６に係る発明によれば、誤り訂正符号の追加の送信回数を低減することができ、復号が可能になるまでの遅延を低減することができる、という効果が得られる。
【図面の簡単な説明】
【００５０】
【図１】第１の実施形態に係る画像情報処理システムの構成の一例を示すブロック図である。
【図２】第１の実施形態に係るマッピング部で行なわれるマッピングの手法を説明するための模式図である。
【図３】第１の実施形態に係るＷＺ符号化処理の流れを示すフローチャートである。
【図４】第１の実施形態に係るＷＺ復号処理の流れを示すフローチャートである。
【図５】第２の実施形態に係る画像情報処理システムの構成の一例を示すブロック図である。
【図６】第２の実施形態に係るマッピング部で行なわれるマッピングの手法を説明するための模式図である。
【図７】第２の実施形態に係るＷＺ符号化処理の流れを示すフローチャートである。
【図８】第２の実施形態に係るＷＺ復号処理の流れを示すフローチャートである。
【図９】従来の画像情報処理システムの構成の一例を示すブロック図である。
【発明を実施するための形態】
【００５１】
以下、図面を参照して本発明を実施するための形態の一例について詳細に説明する。なお、本実施形態では、デジタルビデオカメラで撮影して得た動画像（映像）を構成している複数の画像の各々を示す画像情報を符号化し、符号化した画像情報を復号して表示装置に出力する画像情報処理システムに本発明を適用した場合について説明する。また、以下では、図９と同一の構成については同一の符号を付してその説明を省略し、図９と異なる点のみを説明する。
【００５２】
［第１の実施形態］
図１は、本第１の実施形態に係る画像情報処理システム１０の構成の一例を示すブロック図である。同図に示すように、画像情報処理システム１０は、図９に示す画像情報処理システム１００に比べ、ＷＺエンコーダ１０８に代えてＷＺエンコーダ２００を適用した点、及びＷＺデコーダ１１０に代えてＷＺデコーダ２０２を適用した点のみが異なっている。ＷＺエンコーダ２００は、図９に示すＷＺエンコーダ１０８に比べ、第２の出力端子１０８Ｅを除いた点、一対の入力端子及び出力端子を有するマッピング部２０４を新たに設けた点、量子化部１２２に代えて量子化部２０６を適用した点、ビット整列部１２４に代えて、一対の入力端子及び出力端子を有するビット整列部２０８を適用した点、第１の入力端子２１０Ａ、第１の出力端子２１０Ｂ及び第２の出力端子２１０Ｃを有するレンジ抽出部２１０を新たに設けた点、通信路符号化部１２６に代えて、一対の入力端子及び出力端子を有する通信路符号化部２１２を適用した点、及び出力端子２００Ａを新たに設けた点のみが異なっている。また、ＷＺデコーダ２０２は、図９に示すＷＺデコーダ１１０に比べ、逆量子化部１５２に代えて逆量子化２１４を適用した点のみが異なっている。
【００５３】
量子化部２０６は、図９に示す量子化部１２２に比べ、第２の出力端子１２２Ｃを除いた点が異なっている。量子化部２０６の入力端子１２２Ａは、ＤＣＴ部１２０の出力端子に接続されている。また、量子化部２０６の第１の出力端子１２２Ｂは、マッピング部２０４の入力端子に接続されている。また、マッピング部２０４の出力端子は、ビット整列部２０８の入力端子に接続されている。また、ビット整列部２０８の出力端子は、レンジ抽出部２１０の入力端子２１０Ａに接続されている。また、レンジ抽出部２１０の第１の出力端子２１０Ｂは、通信路符号化部２１２の入力端子に接続されている。また、レンジ抽出部２１０の第２の出力端子２１０Ｃは、ＷＺエンコーダ２００の出力端子２００Ａに接続されている。更に、ＷＺエンコーダ２００の出力端子２００Ａは、ＷＺデコーダ２０２の第３の入力端子１１０Ｃに通信路１１４を介して接続されている。
【００５４】
量子化部２０６は、図９に示す量子化部１２２に比べ、ＤＣＴ部１２０から入力された変換係数を上記の数式（１）及び（２）を用いて量子化することに代えて、量子化ステップ幅が２のべき乗数の一様量子化器で帯域毎に一様量子化する点が異なっている。なお、本第１の実施形態では、量子化部２０６として、ミッドトレッド型の一様量子化器を採用しているが、これに限らず、例えばデッドゾーン付き一様量子化器であってもよい。また、本第１の実施形態では、本発明の理解を容易にするために、量子化ステップ幅として３ビットで表現可能な最大個数、すなわち、“２３（＝８）”を採用しているが、これに限らず、例えば、８ビットで表現可能な最大値、すなわち、“２８（＝２５６）”であってもよく、“２のべき乗数”であればよい。
【００５５】
マッピング部２０４は、量子化部２０６から入力された量子化値をマッピングし、マッピングして得たマップド量子化値をビット整列部２０８に出力するものである。すなわち、量子化部２０６によって一様量子化されて得られた一様量子化値のうち、ＤＣＴ部１２０によって得られた変換係数が最も多く属する一様量子化値であると予め推定された基準量子化値に対して３ビットで表現可能な最大値をビット列で対応付けると共に、残りの一様量子化値の各々に対して正方向及び負方向の順に、３ビットで表現可能な最大値以外の３ビットで表現可能な残りの値を降順にビット列で対応付け、対応付けたビット列をマップド量子化値としてビット整列部２０８に出力する。なお、基準量子化値は、ＤＣＴ部１２０の特性（離散コサイン変換で用いられる直交変換行列）及び量子化部２０６の特性（量子化部２０６で用いる一様量子化器）に応じて決定される。例えば、本第１の実施形態では、ＤＣＴによる直交変換を採用しており、この場合、変換係数の交流成分は、量子化部２０６によって得られる量子化値の−４（＝（１００）２）〜３（＝（０１１）２）の範囲のうちの“０”の領域を中心にした区域（レンジ）に収まる可能性が極めて高いことから、基準量子化値として“０”を採用している。
【００５６】
図２には、マッピング部２０４によるマッピング方法を説明するための模式図が示されている。なお、同図に示す例は、変換係数を帯域毎に３ビットに一様量子化し、変換係数が一様量子化値ｙの“０”及び“１”に割り振られた場合の例である。また、同図の“量子化前の値ｘ”は量子化対象である変換係数を示している。
【００５７】
同図に示すように、量子化前の値ｘ（変換係数）は、量子化部２０６によって帯域毎に−４（＝（１００）２）〜３（＝（０１１）２）に一様量子化され、一様量子化されて得られた−４（＝（１００）２）〜３（＝（０１１）２）の一様量子化値ｙは、マッピング部２０４によって一様量子化値ｙが０に近いほど、上位ビットが１となるように変換される。より詳しく説明すると、一様量子化値ｙのうち、基準量子化値としての“０”に対して３ビットで表現可能な最大値である“７”をビット列の（１１１）２でマップド量子化値ｚとして対応付けると共に、残りの一様量子化値の各々に対して正方向及び負方向の順に（１１１）２以外の３ビットで表現可能な残りの値を降順にビット列で対応付ける。つまり、一様量子化値ｙの“１（＝（００１）２）”に対して“６”をビット列の（１１０）２でマップド量子化値ｚとして対応付け、一様量子化値ｙの“２（＝（０１０）２）”に対して“５”をビット列の（１０１）２でマップド量子化値ｚとして対応付け、一様量子化値ｙの“３（＝（０１１）２）”に対して“４”をビット列の（１００）２でマップド量子化値ｚとして対応付け、一様量子化値ｙの“−１（＝（１１１）２）”に対して“３”をビット列の（０１１）２でマップド量子化値ｚとして対応付け、一様量子化値ｙの“−２（＝（１１０）２）”に対して“２”をビット列の（０１０）２でマップド量子化値ｚとして対応付け、一様量子化値ｙの“−３（＝（１０１）２）”に対して“１”をビット列の（００１）２でマップド量子化値ｚとして対応付け、一様量子化値ｙの“−４（＝（１００）２）”に対して“０”をビット列の（０００）２でマップド量子化値ｚとして対応付ける。
【００５８】
上記の対応付け（マッピング）処理は、一様量子化値ｙに対して、以下の数式（３）〜（５）を用いて行なうことができる。
【００５９】
【数３】
2012109805.tif 000005
・・・・・（３）
【数４】
2012109805.tif 000006
・・・・・（４）
【数５】
2012109805.tif 000007
・・・・・（５）
ビット整列部２０８は、図９に示すビット整列部１２４に比べ、量子化部１２２から入力された量子化値からビットプレーンを抽出し、抽出したビットプレーンを所定の順序で整列させることに代えて、マッピング部２０４から入力されたマップド量子化値からビットプレーンを抽出し、抽出したビットプレーンを所定の順序で整列させる点のみが異なっている。
【００６０】
レンジ抽出部２１０は、帯域毎の変換係数の範囲を３ビットで表現可能な最大個数（８）で等分されて得られた区域（以下、「レンジ」という。）のうちの、互いに隣接する一様量子化値の各々に対して対応付けられた各マップド量子化値の最下位ビット桁以外のビット桁の論理積が共に真値である範囲に相当するレンジを抽出し、抽出したレンジを示すレンジ情報を通信路１１４を介してＷＺデコーダ２０２に送信する。例えば、一例として図２に示すように、量子化前の値ｘの範囲を３ビットで表現可能な最大個数（８）で等分されて得られた８個のレンジのうちの、互いに隣接する量子化値ｙの各々に対して対応付けられた各マップド量子化値ｚの最下位ビット桁以外のビット桁の論理積が共に真値である範囲に相当するレンジである“７（＝（１１１）２）”及び“６（＝（１１０）２）”）のレンジを示すレンジ情報を通信路１１４を介してＷＺデコーダ２０２に送信する。
【００６１】
本第１の実施形態では、量子化前の値ｘのレンジを抽出するために、次の数式（６）を用いて論理積の演算を行なってレンジ情報ｍｋ，ｄを導出する。なお、数式（６）において、ｔｋ，ｄ（ｉ）は、帯域ｋのビットプレーンｄのｉ番目の要素を示している。
【００６２】
【数６】
2012109805.tif 000008
・・・・・（６）
なお、図２に示す例では、ｍｋ，１＝１の場合、マップド量子化値ｚの最上位ビット桁の論理積（第１のビットプレーンを構成している構成要素の論理積）が１であることを表し、量子化前の値ｘとマップド量子化値ｚとの関係は次の数式（７）によって表される。また、ｍｋ，２＝１の場合、マップド量子化値ｚの上位２ビット目の桁の論理積（第２のビットプレーンを構成している構成要素の論理積）が１であることを表し、量子化前の値ｘとマップド量子化値ｚとの関係は次の数式（８）によって表される。更に、ｍｋ，１＝１かつｍｋ，２＝１の場合、マップド量子化値ｚの最上位ビット桁及び上位２ビット目の桁の各論理積が１であることを表し、量子化前の値ｘとマップド量子化値ｚとの関係は次の数式（９）によって表される。
【００６３】
【数７】
2012109805.tif 000009
・・・・・（７）
【数８】
2012109805.tif 000010
・・・・・（８）
【数９】
2012109805.tif 000011
・・・・・（９）
また、レンジ抽出部２１０は、互いに隣接する一様量子化値の各々に対して対応付けられた各マップド量子化値のうちの、互いに隣接する一様量子化値の各々に対して対応付けられた各マップド量子化値の最下位ビット桁以外のビット桁の論理値が共に真値であるマップド量子化値の最下位ビット桁のビットプレーン（ｍｋ，ｄ＝０となるビットプレーン）をビット整列部２０８から取得し、取得したビットプレーンをレンジ内ビットプレーンとして通信路符号化部２１２に出力する。図２に示す例では、“７（＝（１１１）２）”の最下位ビット桁の値は“１”であり、“６（＝（１１０）２）”の最下位ビット桁の値は“０”であるため、論理積は“０”となる。これは、このレンジ内での最下位ビット桁のビットプレーンを構成している構成要素（ビットプレーン内の要素）の各々が同一の値（ここでは“１”）で統一されていないことを意味する。
【００６４】
つまり、レンジ抽出部２１０は、ｍｋ，ｄ＝１のビットプレーンｄに関しては、ビットプレーンを構成している構成要素が全て１であることがＷＺデコーダ２０２にとっても明らかであり、ＷＺデコーダ２０２に送信する必要がないため、ｍｋ，ｄ＝０のビットプレーンｄのみをＷＺデコーダ２０２に送信する。
【００６５】
通信路符号化部２１２は、図９に示す通信路符号化部１２６に比べ、ビット整列部１２４から入力されたビットプレーンの誤り訂正符号を生成することに代えて、レンジ抽出部２１０から入力されたレンジ内ビットプレーンの誤り訂正符号を生成する点のみが異なっている。
【００６６】
一方、ＷＺデコーダ２０２において、逆量子化部２１４は、図９に示す逆量子化部１５２に比べ、復号可否判断部１５０から入力された検査済み復号情報に対して、ダイナミックレンジ、モデルパラメータ、及びＳＩ係数を利用して、量子化部１２２で行った量子化に対応する逆量子化を行うことに代えて、復号可否判断部１５０から入力された検査済み復号情報に対して、ＷＺエンコーダ２００のレンジ抽出部２１０から送信されたレンジ情報、モデルパラメータ、及びＳＩ係数を利用して、マッピング部２０４によって行なわれたマッピング処理に対応する逆マッピング処理を行なった後、量子化部２０６によって行なわれた一様量子化に対応する逆量子化を行い、これによって得た逆量子化値をＩＤＣＴ部１５４に出力する点のみが異なっている。
【００６７】
次に、画像情報処理システム１０の作用を説明する。
【００６８】
先ず、画像情報処理システム１０の全体の処理の流れについて説明する。画像情報処理システム１０に入力されたフレームは、フレームタイプ決定部１０２によってキーフレームとＷＺフレームとに振り分けられる。キーフレームは、キーフレームエンコーダ１０４によって符号化され、符号化されて得られた符号化キーフレームがキーフレームデコーダ１０６に出力される。符号化キーフレームは、キーフレームデコーダ１０６によって復号され、復号されて得られた復号キーフレームがＷＺデコーダ及び信号出力器１１２に出力される。
【００６９】
一方、ＷＺフレームは、ＷＺエンコーダ２００によってＷＺ符号（誤り訂正符号）化され、ＷＺ符号化されて得られたＷＺ符号化フレームがＷＺデコーダ１１０に出力される。ＷＺ符号化フレームは、ＷＺデコーダ１１０によってＷＺ復号され、ＷＺ復号されて得られたＷＺ復号フレームが信号出力器１１２に出力される。キーフレームデコーダ１０６から入力された復号キーフレーム及びＷＺデコーダ１１０から入力されたＷＺ復号フレームは、信号出力器１１２によって所定の順序で表示装置に出力される。
【００７０】
次に、図３を参照しながらＷＺエンコーダ２００の作用を説明する。なお、図２は、ＷＺエンコーダ２００にＷＺフレームが入力された際にＷＺエンコーダ２００によって実行されるＷＺ符号化処理の流れを示すフローチャートである。
【００７１】
同図のステップ３００では、ＷＺフレームに対して離散コサイン変換（ＤＣＴ）を行うことによって変換係数を導出し、次のステップ３０２では、上記ステップ３００の処理によって得られた変換係数を量子化部２０６によって一様量子化した後、ステップ３０４に移行する。
【００７２】
ステップ３０４では、上記ステップ３０２の処理によって得られた一様量子化値に対してマッピング部２０４によってマッピング処理を行った後、ステップ３０６に移行し、上記ステップ３０４の処理によって得られたマップド量子化値からビットプレーンを抽出して所定の順序に整列させる。
【００７３】
次のステップ３０８では、上記ステップ３０６の処理によって抽出されたビットプレーンから、レンジ抽出部２１０によって量子化前の値のレンジを抽出し、抽出したレンジを示すレンジ情報をＷＺデコーダ２０２に送信し、次のステップ３１０では、上記ステップ３０６の処理によって抽出されたビットプレーンから、レンジ抽出部２１０によってレンジ内ビットプレーンを取得し、取得したレンジ内ビットプレーンを通信路符号部２１２に出力した後、ステップ３１２に移行する。
【００７４】
ステップ３１２では、通信路符号部２１２によってレンジ内ビットプレーンの誤り訂正符号を生成することにより符号化処理を行った後、ステップ３１４に移行し、上記ステップ３１２の処理によって生成された誤り訂正符号をバッファ１３０に格納する。
【００７５】
次のステップ３１６では、バッファ１３０に格納されている誤り訂正符号を、レート推定部１２８によって推定されたビットレートに従ってＷＺデコーダ２０２に送信した後、ステップ３１８に移行し、ＷＺデコーダ２０２から送信される要求信号を受信したか否かを判定し、肯定判定となった場合にはステップ３１６に戻る一方、否定判定となった場合にはステップ３２０に移行し、所定条件（例えば、上記ステップ３１６の処理を実行してから所定時間経過した、との条件や、通信路符号化部２１２から次の誤り訂正符号が入力された、との条件、復号可否判断部１５０から復号が成功したことを示す通知があった、との条件など）を満足したか否かを判定し、否定判定となった場合にはステップ３１８に戻る一方、肯定判定となった場合には本ＷＺ符号化処理を終了する。
【００７６】
次に、図４を参照しながらＷＺデコーダ２０２の作用を説明する。なお、図４は、ＷＺデコーダ２０２にキーフレームが入力された際にＷＺデコーダ２０２によって実行されるＷＺ復号処理の流れを示すフローチャートである。
【００７７】
同図のステップ４００では、ＳＩ生成部１４０によってキーフレームからサイドインフォメーション（ＳＩ）を生成した後、ステップ４０２に移行し、ＳＩ−ＤＣＴ部１４４によってＳＩ係数を導出する。
【００７８】
次のステップ４０４では、仮想通信路モデル計算部１４２によってモデルパラメータを算出した後、ステップ４０６に移行し、ソフト値計算部１４６によってソフト値を算出する。
【００７９】
次のステップ４０８では、ＷＺエンコーダ２００から送信された誤り訂正符号を受信待ちを行ない、誤り訂正符号を受信すると肯定判定となってステップ４１０に移行する。ステップ４１０では、誤り訂正符号を上記ステップ４０６の処理によって算出されたソフト値を用いて復号し、復号して得た復号情報を復号可否判断部１５０に出力する。
【００８０】
次のステップ４１２では、復号可否判断部１５０によって誤り訂正符号の復号が成功した否かを判定し、否定判定となった場合にはステップ４１４に移行し、要求信号をＷＺエンコーダ２００に送信した後、ステップ４０８に戻る一方、肯定判定となった場合には検査済み復号情報を逆量子化部２１４に出力すると共にステップ４１６に移行し、ＷＺエンコーダ２００から送信されたレンジ情報の受信待ちを行なう。ステップ４１６においてレンジ情報を受信すると、肯定判定となってステップ４１８に移行し、復号可否判断部１５０から入力された検査済み復号情報に対して、上記ステップ４１６の処理によって受信されたレンジ情報、上記ステップ４０４の処理によって算出されたモデルパラメータ、及び上記ステップ４０２の処理によって導出されたＳＩ係数を利用して、マッピング部２０４によって行なわれたマッピング処理に対応する逆マッピング処理を行なった後、量子化部２０６によって行なわれた一様量子化に対応する逆量子化を行う。
【００８１】
次のステップ４２０では、上記ステップ４１８の処理によって得られた逆量子化値をＩＤＣＴ部１５４によって逆離散コサイン変換を行った後、ステップ４２２に移行し、上記ステップ４２０の処理によって得られた復号済みＷＺフレームを信号出力器１１２に出力した後、本ＷＺ復号処理を終了する。
【００８２】
以上詳細に説明したように、本第１の実施形態に係る画像情報処理システム１０では、ＷＺエンコーダ２００において、ＷＺフレームが離散コサイン変換されて得られた変換係数の各々が２のべき乗数（本第１の実施形態では、“３ビット（＝２３）”との一例）によって量子化されて得られた量子化値（本第１の実施形態では、“一様量子化値ｙ”との一例）のうち、変換係数が最も多く属する量子化値であると予め推定された基準量子化値（本第１の実施形態では、“０”との一例）に対して上記の２のべき乗数で表現可能な最大値（本第１の実施形態では、“７”との一例）をビット列（本第１の実施形態では、（１１１）２との一例）で対応付けると共に、残りの量子化値（本第１の実施形態では、“−４，−３，−２，−１，１，２，３”との一例）の各々に対して正方向及び負方向の順に上記の２のべき乗数で表現可能な残りの値（本第１の実施形態では、“０〜６”との一例）を降順にビット列で対応付け、変換係数の範囲（本第１の実施形態では、“量子化前の値ｘ”との一例）が上記の２のべき乗数で表現可能な最大個数（本第１の実施形態では、“８”との一例）で等分されて得られたレンジのうちの、互いに隣接する量子化値の各々に対して対応付けられた各値の最下位ビット桁以外のビット桁の論理積が共に真値である範囲に相当するレンジ（本第１の実施形態では、“７”及び“６”との一例）を示すレンジ情報をＷＺデコーダ２０２に送信すると共に、その最下位ビット桁のビットプレーンが符号化された符号化情報（本第１の実施形態では、“誤り訂正符号”との一例）をＷＺデコーダ２０２に送信しているので、量子化部２０６によって量子化を行う際に要する演算量を抑制することができる。なお、本第１の実施形態では、各マップド量子化値の最下位ビット桁以外のビット桁の論理積が共に真値である範囲に相当するレンジを示すレンジ情報を送信すると共に、その最下位ビット桁のビットプレーンが符号化された符号化情報をＷＺデコーダ２０２に送信する形態例を挙げて説明しているが、これに限らず、例えば、図２に示すマップド量子化値ｚ（１１１）２、（１１０）２、（１０１）２、及び（１００）２の範囲（ｍｋ、１＝１のとき）に相当するレンジを示すレンジ情報をＷＺデコーダ２０２に送信すると共に、論理積が偽値（＝０）となるビットプレーン（ｍｋ，ｄ＝０となるビットプレーン）が符号化された符号化情報をＷＺデコーダ２０２に送信してもよい。このように、各マップド量子化値のビット桁の論理積が真値である範囲に相当するレンジを示すレンジ情報を送信すると共に、その論理積が偽値となるビットプレーンが符号化された符号化情報をＷＺデコーダ２０２に送信するようにしてもよい。これにより、マップド量子化値ｚの全てをＷＺデコーダ２０２に送信する場合に比べ、送信量を低減することができる。
【００８３】
つまり、本第１の実施形態に係る画像情報処理システム１０では、レンジ情報及び最下位ビット桁のビットプレーンが符号化された符号化情報を求めることにより、複数ビット（２のべき乗数）で量子化することができるようになるため、ダイナミックレンジの計算を要する量子化に比べ、量子化の演算にかかる負荷を軽減することができる。
【００８４】
また、本第１の実施形態に係る画像情報処理システム１０では、ＷＺデコーダ２０２において、通信路復号部１４８による復号が失敗した場合にＷＺエンコーダ２００に対して誤り訂正符号の送信を要求し、ＷＺエンコーダ２００において、ＷＺデコーダ２０２からの要求に応じて誤り訂正符号を再送信しているので、誤り訂正符号を復号して得た情報の信頼性を高めることができる。
【００８５】
また、本第１の実施形態に係る画像情報処理システム１０では、ＷＺデコーダ２０２において、ＷＺエンコーダ２００から送信された誤り訂正符号を受信し、受信した誤り訂正符号、ＳＩ生成部１４０によって生成されたＳＩに基づいて復号し、復号して得た情報、ＳＩ、及びＷＺエンコーダ２００から送信されたレンジ情報に基づいて、復号済みＷＺフレームを生成しているので、ＷＺフレームを高精度に再現することができる。
【００８６】
［第２の実施形態］
上記第１の実施形態では、一様量子化値の“０（＝（０００）２）”に最も変換係数が集中する場合を例に挙げて説明したが、“０”以外の量子化値に変換係数が集中する場合について説明する。なお、本第２の実施形態では、上記第１の実施形態と同一の構成については同一の符号を付してその説明を省略し、上記第１の実施形態と異なる点のみを説明する。
【００８７】
図５は、本第２の実施形態に係る画像情報処理システム２０の構成の一例を示すブロック図である。同図に示すように、画像情報処理システム２０は、図１に示す画像情報処理システム１０に比べ、ＷＺエンコーダ２００に代えてＷＺエンコーダ２５０を適用した点、及びＷＺデコーダ２０２に代えてＷＺデコーダ２５２を適用した点のみが異なっている。
【００８８】
ＷＺエンコーダ２５０は、図１に示すＷＺエンコーダ２００に比べ、出力端子２５０Ａを新たに設けた点、一対の入力端子及び出力端子を有する平均値計算部２５４を新たに設けた点、一対の入力端子及び出力端子を有する平均値量子化部２５６を新たに設けた点、並びにマッピング部２０４に代えて、第１の入力端子２５８Ａ、第２の入力端子２５８Ｂ、及び出力端子２５８Ｃを有するマッピング部２５８を適用した点のみが異なっている。一方、ＷＺデコーダ２５２は、図１に示すＷＺデコーダ２０２に比べ、入力端子２５２Ａを新たに設けた点、逆量子化部２１４に代えて、第１〜第４の入力端子１５２Ａ〜Ｄ、出力端子１５２Ｅ、及び出力端子２６０Ａを有する逆量子化部２６０を適用した点のみが異なっている。
【００８９】
平均値計算部１５４の入力端子は、ＤＣＴ部１２０の出力端子に接続されている。また、平均値計算部１５４の出力端子は、平均値量子化部２５６の入力端子に接続されている。また、平均値量子化部２５６の出力端子は、マッピング部２５８の第２の入力端子２５８Ｂ及びＷＺエンコーダ２５０の出力端子２５０Ａに接続されている。また、マッピング部２５８の第１の入力端子２５８Ａは、量子化部２０６の第２の出力端子１２２Ｂに接続されている。また、マッピング部２５８の出力端子２５８Ｃは、ビット整列部２０８の入力端子に接続されている。更に、ＷＺエンコーダ２５０の出力端子２５０Ａは、通信路１１４を介してＷＺデコーダ２５２の入力端子２５２Ａに接続されている。
【００９０】
平均値計算部２５４は、ＤＣＴ部１２０から入力された変換係数の平均値を帯域毎に計算し、計算して得た平均値を平均値量子化部２５６に出力する。平均値量子化部２５６は、平均値計算部２５４から入力された平均値を量子化し、量子化して得た平均量子化値をマッピング部２５８に出力すると共に、通信路１１４を介してＷＺデコーダ２５２に送信する。なお、平均値量子化部２５６で用いる量子化器は、量子化部２０６で用いるものと同じものとする。
【００９１】
マッピング部２５８は、平均量子化部２５６から入力された帯域毎の平均量子化値に基づいて、量子化部２０６から入力された量子化値を帯域毎にマッピングし、マッピングして得たマップド量子化値をビット整列部２０８に出力するものである。すなわち、量子化部２０６によって一様量子化されて得られた一様量子化値のうち、ＤＣＴ部１２０によって得られた変換係数が最も多く属する一様量子化値であると予め推定された基準量子化値である平均量子化値に対して３ビットで表現可能な最大値をビット列で対応付けると共に、残りの一様量子化値の各々に対して正方向及び負方向の順に、３ビットで表現可能な最大値以外の３ビットで表現可能な残りの値を降順にビット列で対応付け、対応付けたビット列をマップド量子化値としてビット整列部２０８に出力する。なお、本第２の実施形態では、ＤＣＴ部１２０の特性及び量子化部２０６の特性に起因して、変換係数の交流成分が、一様量子化値の−４（＝（１００）２）〜３（＝（０１１）２）の範囲のうちの“−１”を中心にしたレンジに収まる可能性が極めて高いということから、基準量子化値（最も交流成分が集中すると予想される値）として“−１”を採用しているが、ＤＣＴ部１２０の特性及び量子化部２０６の特性によっては基準量子化値が“−１”以外の値になることも有り得るので、その場合も平均量子化部２５６によって算出される平均量子化値を基準量子化値として採用すればよい。
【００９２】
図６には、マッピング部２５８によるマッピング方法を説明するための模式図が示されている。なお、同図に示す例は、変換係数を帯域毎に３ビットに一様量子化し、変換係数が一様量子化値ｙの“−１”及び“０”に割り振られた場合の例である。
【００９３】
同図に示すように、量子化前の値ｘは、量子化部２０６によって帯域毎に−４（＝（１００）２）〜３（＝（０１１）２）に一様量子化され、一様量子化されて得られた−４（＝（１００）２）〜３（＝（０１１）２）の一様量子化値ｙは、マッピング部２５８によって一様量子化値ｙが−１に近いほど、上位ビットが１となるように変換される。より詳しく説明すると、一様量子化値ｙのうち、基準量子化値としての“−１”に対して３ビットで表現可能な最大値である“７”をビット列の（１１１）２でマップド量子化値ｚとして対応付けると共に、残りの一様量子化値の各々に対して正方向及び負方向の順に（１１１）２以外の３ビットで表現可能な残りの値を降順にビット列で対応付ける。つまり、一様量子化値ｙの“０（＝（０００）２）”に対して“６”をビット列の（１１０）２でマップド量子化値ｚとして対応付け、一様量子化値ｙの“１（＝（００１）２）”に対して“５”をビット列の（１０１）２でマップド量子化値ｚとして対応付け、一様量子化値ｙの“２（＝（０１０）２）”に対して“４”をビット列の（１００）２でマップド量子化値ｚとして対応付け、一様量子化値ｙの“３（＝（０１１）２）”に対して“３”をビット列の（０１１）２でマップド量子化値ｚとして対応付け、一様量子化値ｙの“−２（＝（１１０）２）”に対して“２”をビット列の（０１０）２でマップド量子化値ｚとして対応付け、一様量子化値ｙの“−３（＝（１０１）２）”に対して“１”をビット列の（００１）２でマップド量子化値ｚとして対応付け、一様量子化値ｙの“−４（＝（１００）２）”に対して“０”をビット列の（０００）２でマップド量子化値ｚとして対応付ける。
【００９４】
上記の本第２の実施形態に係る対応付け（マッピング）処理は、一様量子化値ｙに対して、以下の数式（１０）〜（１２）を用いて行なうことができる。なお、数式（１０）〜（１２）において、ｎは平均量子化値を、Ｍは量子化後のビット数を各々示している。
【００９５】
【数１０】
2012109805.tif 000012
・・・・・（１０）
【数１１】
2012109805.tif 000013
・・・・・（１１）
【数１２】
2012109805.tif 000014
・・・・・（１２）
一方、ＷＺデコーダ２５２において、逆量子化部２６０は、図１に示す逆量子化部２１４に比べ、復号可否判断部１５０から入力された検査済み復号情報に対して、ＷＺエンコーダ２００のレンジ抽出部２１０から送信されたレンジ情報、モデルパラメータ、及びＳＩ係数を利用して、マッピング部２０４によって行なわれたマッピング処理に対応する逆マッピング処理を行なった後、量子化部２０６によって行なわれた一様量子化に対応する逆量子化を行い、これによって得た逆量子化値をＩＤＣＴ部１５４に出力することに代えて、復号可否判断部１５０から入力された検査済み復号情報に対して、ＷＺエンコーダ２５０のレンジ抽出部２１０から送信されたレンジ情報、モデルパラメータ、ＳＩ係数、及びＷＺエンコーダ２５０の平均値量子化部２５６から送信された平均量子化値を利用して、マッピング部２５８によって行なわれたマッピング処理に対応する逆マッピング処理を行なった後、量子化部２０６によって行なわれた一様量子化に対応する逆量子化を行い、これによって得た逆量子化値をＩＤＣＴ部１５４に出力する点のみが異なっている。
【００９６】
次に、画像処理システム２０の作用を説明する。
【００９７】
先ず、図７を参照しながらＷＺエンコーダ２５０の作用を説明する。なお、図７は、ＷＺエンコーダ２５０にＷＺフレームが入力された際にＷＺエンコーダ２５０によって実行されるＷＺ符号化処理の流れを示すフローチャートである。また、図７に示すフローチャートは、図３に示すフローチャートに比べ、ステップ３０１Ａ，３０１Ｂを新たに設けた点、及びステップ３０４に代えてステップ３０４を適用した点のみが異なっている。そのため、ここでは、図３に示すフローチャートと同一の処理については同一のステップ番号を付してその説明を省略し、図３に示すフローチャートの処理とは異なる処理のみを説明する。
【００９８】
同図のステップ３００の処理が終了すると、ステップ３０１Ａに移行し、上記ステップ３００の処理によって得られた変換係数の平均値を算出した後、ステップ３０１Ｂに移行し、上記ステップ３０１Ａの処理によって得られた平均値を一様量子化し、一様量子化して得た平均量子化値をＷＺデコーダ２５２に送信すると共に、マッピング部２５８に出力し、その後にステップ３０２に移行する。
【００９９】
ステップ３０２の処理が終了すると、ステップ３０４Ａに移行し、マッピング部２５８によって、上記ステップ３０２の処理によって得られた一様量子化値に対して、上記ステップ３０１Ｂの処理によって入力された平均量子化値に基づいて、マッピング処理を行った後、ステップ３０６に移行する。
【０１００】
先ず、図８を参照しながらＷＺデコーダ２５２の作用を説明する。なお、図８は、ＷＺデコーダ２５２にキーフレームが入力された際にＷＺデコーダ２５２によって実行されるＷＺ復号処理の流れを示すフローチャートである。また、図８に示すフローチャートは、図４に示すフローチャートに比べ、ステップ４１６代えてステップ４１６Ａを適用した点、及びステップ４１８代えてステップ４１８Ａを適用した点のみが異なっている。そのため、ここでは、図４に示すフローチャートと同一の処理については同一のステップ番号を付してその説明を省略し、図４に示すフローチャートの処理とは異なる処理のみを説明する。
【０１０１】
同図のステップ４１６Ａでは、ＷＺエンコーダ２５０から送信されたレンジ情報及び平均量子化値の受信待ちを行なう。ステップ４１６Ａにおいてレンジ情報及び平均量子化値を受信すると、肯定判定となってステップ４１８Ａに移行し、復号可否判断部１５０から入力された検査済み復号情報に対して、上記ステップ４１６Ａの処理によって受信されたレンジ情報、上記ステップ４１６Ａの処理によって受信された平均量子化値、上記ステップ４０４の処理によって算出されたモデルパラメータ、及び上記ステップ４０２の処理によって導出されたＳＩ係数を利用して、マッピング部２５８によって行なわれたマッピング処理に対応する逆マッピング処理を行なった後、量子化部２０６によって行なわれた一様量子化に対応する逆量子化を行う。
【０１０２】
以上詳細に説明したように、本第２の実施形態では、基準量子化値を、変換係数の平均値が２のべき乗数（本第２の実施形態では、“３ビット（＝２３）”との一例）によって量子化されて得られた値（本第２の実施形態では、“−１”）としたので、変換係数の平均値に基づいてレンジの中心を変化させることができ、レンジの中心が必ずしも“０”でない場合に対しても上記第１の実施形態と同様の効果を得ることができる。例えば、周波数領域ではなく、ピクセル領域で動作するシステム（直交変換が恒等変換であるシステム）の量子化や、直流成分の量子化、交流成分が“０”以外の値を中心に変化するような映像の量子化に対しては特に有効である。
【０１０３】
なお、上記各実施形態では、３ビットで量子化する場合の形態例を挙げて説明したが、これに限らず、他の複数ビット（例えば、２ビット、４ビットなど）、で量子化してもよい。このように、変換係数の量子化は、２のべき乗数を用いて行なえばよい。
【０１０４】
また、上記各実施形態では、正論理の場合の形態例を挙げて説明しているが、これに限らず、負論理の場合であっても本発明は成立する。例えば、上記第２の実施形態では、正論理を採用しているため、平均量子化値をｎとすると、量子化値ｙがｎに近いほど、上位ビットが１となるような値ｚにマッピングしているが、負論理を採用した場合には量子化値ｙが平均量子化値ｎに近いほど、上位ビットが０になるような値ｚにマッピングしても同様の効果を得ることができる。
【０１０５】
また、上記第２の実施形態では、変換係数の平均値を量子化する形態例を挙げて説明したが、これに限らず、ＤＣＴ部１２０及び量子化部２０６の特定によっては、変換係数のモードまたはメジアンを量子化してもよい。
【符号の説明】
【０１０６】
１０，２０  画像情報処理システム
１２８  レート推定部
１３０  バッファ
１４０  ＳＩ生成部
１４８  通信路復号部
１５０  復号可否判断部
１５４  ＩＤＣＴ部
２００，２５０  ＷＺエンコーダ
２０２，２５２  ＷＺデコーダ
２０４，２５８  マッピング部
２０６  量子化部
２１０  レンジ抽出部
２１２  通信路符号化部
２１４，２６０  逆量子化部
２５４  平均値計算部
２５６  平均値量子化部
【図１】
2012109805.tif 000015
【図２】
2012109805.tif 000016
【図３】
2012109805.tif 000017
【図４】
2012109805.tif 000018
【図５】
2012109805.tif 000019
【図６】
2012109805.tif 000020
【図７】
2012109805.tif 000021
【図８】
2012109805.tif 000022
【図９】
2012109805.tif 000023