(57)【要約】      （修正有）【課題】画像データを所定圧縮率以下で圧縮符号化する際に、予測誤差が所定値以上に大きくなる場合に、予測誤差の符号量消費が抑制され、かつ視覚的な画質劣化を抑えて符号量制御でき、可逆非可逆情報の伝送も不要な画像圧縮装置、画像伸張装置及び画像処理装置を提供する。【解決手段】画像圧縮装置１０は、入力画素値補正部１１と、予測画素値生成部１２と、誤差レベル検出部１３と、予測誤差算出部１４と、予測誤差符号化部１５と、パッキング部１６とを備える。予測誤差符号化部１５は、予測誤差の大きさの属するグループを示すグループ情報とそのグループの中の予測誤差の特定の値を示す付加ビットとを可変長符号化すると共に、予測誤差の大きさが所定値以上の場合において、その可変長符号化された予測誤差の付加ビットの下位ビットデータを符号化対象から除いて符号化する。【選択図】図１
2009017505.tif 000002
【特許請求の範囲】
【請求項１】
過去の入力済み画素を参照して予測画素値を生成する予測画素値生成部と、
その予測画素値と入力画素値との差分の大きさを示す誤差レベルを検出する誤差レベル検出部と、
符号化済み画素数に対する発生符号量がその画素数に対応する目標符号量を超過した大きさを示す目標符号量差異レベルを検出する目標符号量差異レベル検出部と、
前記誤差レベルが所定値以上の場合において前記目標符号量差異レベルに応じて入力画素値の下位ビットデータを予測画素値の下位ビットデータと同じになるように補正する入力画素値補正部と、
前記入力画素値補正部から出力される画素値と前記予測画素値の差分である予測誤差を算出する予測誤差算出部と、
その予測誤差の大きさの属するグループを示すグループ情報とそのグループの中の予測誤差の特定の値を示す付加ビットとを可変長符号化する予測誤差符号化部と、
その可変長符号化されたデータを所定符号量単位で出力するパッキング部とを具備し、
前記予測誤差符号化部は、前記予測誤差の大きさが所定値以上の場合において、前記目標符号量差異レベルに応じて、前記予測誤差の付加ビットの下位ビットデータを符号化対象から除いて符号化することを特徴とする画像圧縮装置。
【請求項２】
前記予測誤差符号化部は、１画素前の予測誤差の大きさの属するグループを示す１画素前予測誤差グループ情報を記憶する１画素前予測誤差グループ情報記憶部を備え、前記１画素前予測誤差グループ情報に応じて、予測誤差の大きさの属するグループを示すグループ情報の可変長符号表を切り替えることを特徴とする請求項１に記載の画像圧縮装置。
【請求項３】
予測誤差の大きさの属するグループを示すグループ情報とその予測誤差の値を示す付加ビットで符号化され、符号化時の目標符号量と発生符号量との差異レベルに応じて前記付加ビットの下位ビットが符号化対象から除かれた可変長符号化データを取り込む符号化データ取り込み部と、
復号済み画素数に対して消費した符号量がその画素数に対応する目標符号量を超過した大きさを示す目標符号量差異レベルを検出する目標符号量差異レベル検出部と、
前記符号化データ取り込み部から出力される可変長符号化データから予測誤差の大きさの属するグループを示すグループ情報とそのグループの中の予測誤差の特定の値を示す付加ビットとを復号し予測誤差を再生する予測誤差復号部と、
過去の再生済み画素を参照して予測画素値を生成する予測画素値生成部と、
その予測画素値に前記再生された予測誤差を加算して画素値を再生する画素値再生部とを具備し、
前記予測誤差復号部は、前記予測誤差の大きさが所定値以上の場合において、前記目標符号量差異レベルに応じて、前記再生予測誤差の付加ビットの下位ビットデータを０として再生することを特徴とする画像伸張装置。
【請求項４】
前記予測誤差復号部は、１画素前の予測誤差の大きさの属するグループを示す１画素前予測誤差グループ情報を記憶する記憶部を備え、前記１画素前予測誤差グループ情報に応じて、予測誤差の大きさの属するグループを示すグループ情報の可変長符号復号表を切り替えることを特徴とする請求項３に記載の画像伸張装置。
【請求項５】
請求項１の画像圧縮装置を備えた画像圧縮処理部と請求項２の画像伸張装置を備えた画像伸張処理部と外部メモリと画像処理部を具備し、
前記画像処理部は、入力された画像データを処理した中間処理結果を前記画像圧縮処理部を経由して外部メモリに一時記憶し、その外部メモリに記憶された複数の中間処理結果を前記画像伸張処理部を経由して読み出して画像処理した最終処理結果を出力することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像圧縮装置、画像伸張装置及び画像処理装置に関し、特に可逆圧縮と非可逆圧縮を画素単位で混在させて符号量制御し、可逆非可逆情報の伝送も不要な画像圧縮装置、画像伸張装置及び画像処理装置に関する。
【背景技術】
【０００２】
従来、可逆（ロスレス）符号化(可逆圧縮という)または可逆に近い非可逆符号化(非可逆圧縮という)方法として、入力値と予測値との差分（予測誤差という）を符号化する差分パルスコード変調（ＤＰＣＭ）が用いられている。  
可逆圧縮の場合は、画像によってその符号量が大きく異なるため、符号量制限が必要なシステムにおいては、複数画素領域毎に数値的損失レベル（可逆と非可逆）を切り替えて符号量を制御している（例えば特許文献１参照）。
【０００３】
しかし、特許文献１の場合は、数値的損失レベルが複数画素で構成される領域単位となるため、輝度変化の少ない領域（この領域では予測誤差が小さいために復元性の高い可逆圧縮に切替え設定される）内の一部の大きな輝度変化に対しては可逆圧縮に近い符号化設定のために符号量が多く消費され、輝度変化の多い領域（この領域では予測誤差が大きいために圧縮率の高い非可逆圧縮に切替え設定される）内の一部の小さな輝度変化に対しては非可逆符号化設定のために復元損失が生じて視覚的画質劣化を生じる。また、各領域毎にそれらの損失レベル情報の符号化も必要であり、符号化効率の低下も生じる。
【特許文献１】特許公報第３７４９７５２号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、画像データを所定圧縮率以下で圧縮符号化（可逆圧縮に近い状態で符号化）する際に、予測誤差が所定値以上に大きくなる画素についてのみ、目標符号量を超過した場合に、予測誤差の符号量消費が抑制され、かつ視覚的な画質劣化を抑えて符号量制御でき、可逆非可逆情報の伝送も不要な画像圧縮装置、画像伸張装置及び画像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００５】
本願発明の一態様によれば、過去の入力済み画素を参照して予測画素値を生成する予測画素値生成部と、その予測画素値と入力画素値との差分の大きさを示す誤差レベルを検出する誤差レベル検出部と、符号化済み画素数に対する発生符号量がその画素数に対応する目標符号量を超過した大きさを示す目標符号量差異レベルを検出する目標符号量差異レベル検出部と、前記誤差レベルが所定値以上の場合において前記目標符号量差異レベルに応じて入力画素値の下位ビットデータを予測画素値の下位ビットデータと同じになるように補正する入力画素値補正部と、前記入力画素値補正部から出力される画素値と前記予測画素値の差分である予測誤差を算出する予測誤差算出部と、その予測誤差の大きさの属するグループを示すグループ情報とそのグループの中の予測誤差の特定の値を示す付加ビットとを可変長符号化する予測誤差符号化部と、その可変長符号化されたデータを所定符号量単位で出力するパッキング部とを具備し、前記予測誤差符号化部は、前記予測誤差の大きさが所定値以上の場合において、前記目標符号量差異レベルに応じて、前記予測誤差の付加ビットの下位ビットデータを符号化対象から除いて符号化することを特徴とする画像圧縮装置が提供される。
【０００６】
本願発明の他の態様によれば、予測誤差の大きさの属するグループを示すグループ情報とその予測誤差の値を示す付加ビットで符号化され、符号化時の目標符号量と発生符号量との差異レベルに応じて前記付加ビットの下位ビットが符号化対象から除かれた可変長符号化データを取り込む符号化データ取り込み部と、復号済み画素数に対して消費した符号量がその画素数に対応する目標符号量を超過した大きさを示す目標符号量差異レベルを検出する目標符号量差異レベル検出部と、前記符号化データ取り込み部から出力される可変長符号化データから予測誤差の大きさの属するグループを示すグループ情報とそのグループの中の予測誤差の特定の値を示す付加ビットとを復号し予測誤差を再生する予測誤差復号部と、復号済み画素を参照して予測画素値を生成する予測画素値生成部と、その予測画素値に前記再生された予測誤差を加算して画素値を再生する画素値再生部とを具備し、前記予測誤差復号部は、前記予測誤差の大きさが所定値以上の場合において、前記目標符号量差異レベルに応じて、前記再生予測誤差の付加ビットの下位ビットデータを０として再生することを特徴とする画像伸張装置が提供される。
【０００７】
本願発明の他の態様によれば、画像圧縮装置を備えた画像圧縮処理部と画像伸張装置を備えた画像伸張処理部と外部メモリと画像処理部を具備し、前記画像処理部は、入力された画像データを処理した中間処理結果を前記画像圧縮処理部を経由して外部メモリに一時記憶し、その外部メモリに記憶された複数の中間処理結果を前記画像伸張処理部を経由して読み出して画像処理した最終処理結果を出力することを特徴とする画像処理装置が提供される。
【発明の効果】
【０００８】
本発明によれば、画像データを所定圧縮率以下で圧縮符号化（可逆圧縮に近い状態で符号化）する際に、予測誤差が所定値以上に大きくなる画素についてのみ、目標符号量を超過した場合に、予測誤差の符号量消費が抑制され、かつ視覚的な画質劣化を抑えて符号量制御でき、可逆非可逆情報の伝送も不要な画像圧縮装置、画像伸張装置及び画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
発明の実施の形態について図面を参照して説明する。  
［第１の実施形態］
図１は本発明の第１の実施形態の画像圧縮装置を示すブロック図である。  
図１に示す画像圧縮装置１０は、過去の入力済み画素を参照して予測画素値を生成する予測画素値生成部１２と、その予測画素値と入力画素値との差分の大きさを検出する誤差レベル検出部１３と、符号化済み画素数に対する発生符号量がその画素数に対応する目標符号量を超過した大きさを示す目標符号量差異レベルを検出する目標符号量差異レベル検出部１７と、誤差レベル検出部１３から出力される誤差レベルと目標符号量差異レベル検出部１７から出力される目標符号量差異レベルに応じて入力画素値の下位ビットデータを予測画素値生成部１２から出力される予測画素値の下位ビットデータと同じになるように補正する入力画素値補正部１１と、入力画素値補正部１１から出力される画素値と予測画素値生成部１２から出力される予測画素値の差分である予測誤差を算出する予測誤差算出部１４と、その予測誤差の大きさの属するグループを示すグループ情報とそのグループの中の予測誤差の特定の値を示す付加ビットとを可変長符号化する予測誤差符号化部１５と、所定符号量単位で出力するパッキング部１６とを具備し、予測誤差符号化部１５は、予測誤差の大きさが所定値以上の場合において、目標符号量差異レベルに応じて、予測誤差の付加ビットの下位ビットデータを符号化対象から除いて符号化する。
【００１０】
このような構成の第１の実施形態では、予測誤差を符号化する画像圧縮装置において、予測誤差が所定値以上に大きくなる場合においてのみ、目標符号量差異レベルに応じて入力画素値を修正することにより、画素単位で可逆圧縮と非可逆圧縮を混在させて符号量制御し、その可逆非可逆情報の伝送も不要な画像圧縮装置を実現できる。
【００１１】
図２は図１の詳細な一構成例を示すブロック図である。図１と同一機能を有する部分には同一符号を付して説明する。  
図２に示す画像圧縮装置１０Ａにおいて、入力画素値補正部１１は、所定ビット数（例えば１０ビット）で構成される１画素分のデータを入力し、１クロック遅延するＤフリップロップ（画素データの時間調整のために介在しているもので、以下、ＤＦＦという）１１１と、誤差レベル検出部１３から出力される誤差レベルが所定値以上を示す場合においてのみ、目標符号量差異レベル検出部１７から出力される目標符号量差異レベルに応じて、ＤＦＦ１１１からの入力画素値の下位ビットデータを予測画素値生成部１２からの予測画素値の下位ビットデータと同じになるように補正するＬＳＢ補正部１１２とを備える。ただし、ＬＳＢ補正部１１２は、目標符号量差異レベルが０であれば、入力画素データの補正を行わない。
【００１２】
予測画素値生成部１２は、前段に１クロック遅延を行うＤＦＦ１２-1から出力される過去の１画素のみを参照する場合は図示の予測画素値生成部１２は信号線のみとして遅延を行うことなくそのままスルーする構成としてもよい。つまり、予測画素値生成部１２は信号線だけとしＤＦＦ１２-1からの１クロック遅延信号（１画素前の信号）を予測画素値としてもよい。或いは、予測画素値生成部１２は、図４に示すように前段のＤＦＦ１２-1による１クロック遅延信号と、その後段に直列に設けたもう１つのＤＦＦ１２１による２クロック遅延した信号（即ち２つのＤＦＦ１２-1及び１２１による２画素前の信号）との過去の２画素を参照して演算部１２２で所定の関数式ｆにて予測値を演算して生成してもよい。なお、この参照画素数が更に多くても本発明を逸脱するものでは無い。
【００１３】
誤差レベル検出部１３は、ＤＦＦ１１１からの入力画素値と予測画素値生成部１２からの予測画素値との差分をとる加算器１３１とその差分の大きさが所定値以上かどうかを示す誤差レベルを出力するレベル検出部１３２とを備える。  
予測誤差算出部１４は、予測画素値生成部１２から出力される予測画素データを１クロック遅延するＤＦＦ１４１と、入力画素値補正部１１１の出力をＤＦＦ１２-1により１クロック遅延させた補正処理後の入力画素値と前記ＤＦＦ１４１により１クロック遅延した予測画素値との差分である予測誤差を算出する加算器１４２とを備える。
【００１４】
表１は予測誤差の大きさを示す分類情報（グループNo.）、表２は予測誤差の大きさを示す分類情報に対する付加ビットデータと元データの関係、表３は予測誤差の大きさを示す分類情報の可変長符号と付加ビット数の例(付加ビット数削減前)、表４は予測誤差の付加ビット数(下位ビット側)の削減ビット数例、をそれぞれ示している。
【００１５】
予測誤差符号化部１５は、予測誤差算出部１４から入力される予測誤差に応じて、予測誤差の大きさの属するグループを示す予測誤差グループ情報（表１参照）を検出して後述の可変長符号テーブル１５２に出力し、その付加ビット数（表２参照）を検出し、予測誤差の大きさが所定値以上となる予測誤差グループの場合は、後述する目標符号量差異レベル検出部１７からＤＦＦ１５-1を介して入力される目標符号量差異レベルに応じた前記付加ビットの削減ビット数（表４参照）を検出し、可変長符号テーブル１５２から受け取った可変長符号長（表３参照）と前記付加ビット数の和から前記削減ビット数を差し引いた総符号長をＤＦＦ１５５に出力するビット長検出部１５１と、このビット長検出部１５１から受け取った予測誤差グループ情報に対応した可変長符号長と可変長符号（表３参照）を後述のセレクタ（ＭＵＸ）１５３に出力すると共に前記可変長符号長を前記ビット長検出部１５１に出力する可変長符号化テーブル１５２と、この可変長符号化テーブル１５２から受け取る可変長符号とビット長検出部１５１から受け取る予測誤差グループ情報に基づいて、前記可変長符号テーブル１５２から受け取る表３のような可変長符号と表２に示す様な付加ビットデータを選択して、連続したデータとして出力するセレクタ（ＭＵＸ）１５３とを備える。なお、予測誤差符号化部１５のビット長検出部１５１は、予測誤差の大きさが所定値以上である予測誤差グループの場合に、目標符号量差異レベル検出部１７からの目標符号量差異レベルに応じて、総符号長として本来よりも表４に示した削減ビット数だけ少なく出力される為、予測誤差の付加ビットのその削減ビット数の下位ビットデータが無効として扱われ、符号化対象から除いて符号化される。
【００１６】
パッキング部１６は、ビット長検出部１５１からＤＦＦ１５５を介して入力される総符号長（４ビットデータ）とこの入力された総符号長データとＤＦＦ１６４に保持された過去の総符号長データを累積加算した５ビットデータとを1画素符号化する毎に（１クロック毎に）加算して、その加算結果の下位５ビットデータを前記ＤＦＦ１６４に出力し、その加算結果が３２（＝４バイト）以上の値に達したときにこれを示す１ビットの信号を４バイト出力信号としてＤＦＦ１６５に出力する加算器１６３と、前記ＤＦＦ１６４の加算結果に応じて、ＤＦＦ１５４を介して入力される符号化データ（セレクタ１５３からの出力データ）を、セレクタ（ＭＵＸ）１６６から出力される過去の符号化データを結合した３２ビット未満の結合符号化データの次に結合し、新たな結合符号化データとして出力するセレクタ（ＭＵＸ）１６１と、ＭＵＸ１６１の出力である結合符号化データを１クロック遅延して出力するＤＦＦ１６２と、前記ＤＦＦ１６５の４バイト出力信号に基づいて、ＤＦＦ１６２の結合符号化データの有効ビット数が３１以下の場合にＤＦＦ１６２の上位３１ビットの結合符号化データを出力し、ＤＦＦ１６２の結合符号化データの有効ビット数が３２以上の場合にＤＦＦ１６２の上位３２ビットを除いた下位ビット（この下位ビットの有効ビット数は１４以下となる）と無効データ（無効データの値は問わず、零でも良い）で構成される結合符号化データを出力するセレクタ（ＭＵＸ）１６６と、を備え、前記結合符号化データを所定符号量単位（例えば４バイト単位）で所定単位出力信号（例えば４バイト出力信号）と共に出力するし、その出力バイト数情報（例えば４バイト出力信号）を目標符号量差異レベル検出部１７に出力する。
【００１７】
目標符号量差異レベル検出部１７は、図示しない制御部にて設定される設定平均符号量（１画素当たり例えば８ビットの符号量）とＤＦＦ１７３で保持された１クロック前の目標符号量差異情報（符号量差分累積加算結果）と加算して、パッキング部１６からの出力バイト数情報（4バイト出力信号）が有効であるときに前記加算結果から出力ビット数（例えば３２）を減算して、符号量差分累積加算結果をＤＦＦ１７３を経由して目標符号量差異情報として出力する加算器１７２と、前記ＤＦＦ１７３から出力される目標符号量差異情報を入力し、目標符号量差異情報に応じた量子化を行い（図３参照）、目標符号量差異レベルとして出力する量子化部１７４とを備える。即ち、目標符号量差異レベル検出部１７は、前記目標符号量差異情報が、「符号化済み画素数に応じた数の設定平均符号量を累積加算した目標符号量−符号化済み画素数に対して出力した出力符号量」として計算し、符号化済み画素数に対する発生符号量（出力符号量）がその画素数に対応する目標符号量を超過した大きさを示す目標符号量差異レベルを検出する。  
なお、図２中の表記で、例えば、第０から第９ビットの１０ビットのデータを［９：０］と表している。また、［９］は１０ビットのデータの最上位にある符号ビットを表している。
【００１８】
図３は目標符号量差異レベル検出部１７の量子化部１７４の入出力特性（量子化特性）を示している。つまり、図３は量子化部１７４の入力である目標符号量差異情報に対して出力する目標符号量差異レベルを示している。なお、本発明の実施例では、この差異レベルの大きさは‘補正ビット数’に対応しているが、線形的な対応関係は不要である。例えば、目標符号量差異レベル３に対する補正ビット数は４でも良い。図３に示すように、目標符号量差異情報が、正の場合（即ちパッキング部の出力符号量が目標符号量を超えていない場合）は目標符号量差異レベルは０であり、負の場合（即ちパッキング部の出力符号量が目標符号量を超えた場合）はその負側の大きさに応じて目標符号量差異レベルは１，２，３，…と上昇する特性となっている。
【００１９】
このようにして、予測誤差の大きさが予め決めた所定値以上の場合でも目標符号量差異情報の正側の領域では可逆圧縮が行われ、予測誤差の大きさが予め決めた所定値以上でかつ目標符号量差異情報の負側の領域ある条件を満たした場合にのみ非可逆圧縮が行われる。
【００２０】
次に、本発明の第１の実施形態の画像圧縮装置の動作を図１乃至図４を参照して説明する。  
図１の目標符号量差異レベル検出部１７は、符号化済み画素数に対する発生符号量がその画素数に対応する目標符号量（＝設定平均符号量×画素数）を超過した大きさを示す目標符号量差異レベルを検出する。具体的には図２の目標符号量差異レベル検出部１７のように１クロック毎に設定平均符号量を累積加算し、パッキング部１６から所定バイト数（例えば４バイト）の符号化データが出力される毎に、その出力符号量（出力バイト数）をその目標符号量（累積加算結果）から減算し、その減算結果が負の場合の大きさのレベルを目標符号量差異レベルとして検出する。
【００２１】
なお、画像データ入力開始時点では、図２に示すパッキング部１６から加算器１７２への出力バイト数は常に０であるので、目標符号量差異情報は正であり、図２の量子化部１７４の入出力特性（図３参照）に従って、量子化部１７４から出力される目標符号量差異レベルは０となる。従って、画像データ入力開始時点では、入力画素値補正部１１に入力された画素データは、（誤差レベル検出部１３からの誤差レベルに依らず）補正されずに、予測画素値生成部１２および予測誤差算出部１４に出力される。
【００２２】
図１の予測誤差算出部１４において、現在の入力画素値（ＤＦＦ１２−１の出力）と、予測画素値生成部１２で過去の入力済み画素を参照して生成された予測画素値（ＤＦＦ１４１の出力）との差分を取ることによって、予測誤差が算出される。  
図１の予測誤差符号化部１５は、表１に示すような予測誤差の大きさを示すグループ情報（グループＮｏ．）を検出し、表３に示すようなグループ情報に対する可変長符号に、表２のようなグループ情報に対する予測誤差の付加ビットデータを接続して符号化する。なお、ここで目標符号量差異レベルが０の場合は、グループ情報（予測誤差の大きさ）にかかわらず、前記付加ビットを削減されない。
【００２３】
図１のパッキング部１６は、具体的には図２のパッキング部１６のように構成され、入力される符号化データを順次接続して保持し、保持した符号化データのビット長が３２（即ち、４バイト）以上になる毎に、保持した符号化データのうち上位４バイトのデータを外部出力し、その出力した４バイトデータを保持する符号化データから除くと共に、その出力バイト数情報を目標符号量差異レベル検出部１７に出力する。従って、保持した符号化データが４バイト以上に達するまでは、出力バイト数情報は目標符号量差異レベル検出部１７に零として出力される。
【００２４】
このように符号化を継続し、目標符号量差異レベルが１以上になった場合は、図１の誤差レベル検出部１３は、常に入力画素値と予測画素値との差分の大きさを検出しており、所定レベル以上（例えば、−６５以下または６４以上、即ち表４のようにグループＮｏ．７から９に対応）の場合は、入力画素値補正部１１を制御し、目標符号量差異レベル（補正ビット数）に応じた入力画素値の下位ビットデータのビット数（表４参照）を、予測画素値の下位ビットデータと同じ値に補正する。この場合に予測誤差算出部１４で算出される予測誤差は、目標符号量差異レベルに応じたビット数の下位ビットデータが０となる。従って、予測誤差符号化部１５は、表３に示すような予測誤差の大きさを示すグループ情報の可変長符号に、表２に示すような付加ビットデータが接続されるが、その付加ビットデータから、表４に示すように目標符号量差異レベル（０，１，２，３）に応じた下位のビット数を符号化対象から除いて符号化する。
【００２５】
表１は、予測誤差の大きさの範囲を示すグループＮｏ．を示している。表２は、グループ情報（グループＮｏ．）に対する元データとの関係および符号化時の付加ビット数と付加ビットデータを示している。元データ欄は２の補数表現されたデータで、Sは正負符号を表し、Nは正負符号をビット反転したビットデータを表し、abcdefhgは正負符号Sと併せてそのグループ内の値を特定するビットデータとなる。付加ビットデータの欄のＳは、正負符号の１ビットを示し、abcdefghについてはそれぞれ元データの対応するビット位置のデータを示す。表３においては、そのグループＮｏ．に対応する可変長符号の一覧とその可変長符号長と付加ビット数（目標符号量誤差レベルによる付加ビット数削減前）とその時の予測誤差に対する総符号長の一覧が示されている。予測誤差の符号化時には、その予測誤差のグループ情報（グループＮｏ．）に対応した可変長符号と付加ビットとがシリアルに結合されて可変長符号化データとして出力される。
【００２６】
表４における目標符号量差異レベル０，１，２，３は、前述の目標符号量差異レベルの大きさの段階を示しており、図３の縦軸の目標符号量差異レベルとしての補正ビット数（下位のビット数）０，１，２，３に対応している。表４は予測誤差の付加ビットデータの削減ビット数の例を示すもので、グループＮｏ．７〜９（即ち、予測誤差の大きさが−６５以下または６４以上）での付加ビット数が、目標符号量差異レベルに応じて‘１’， ‘２’，または‘３’だけ少なくされている（換言すれば、付加ビットの下位ビットが１から３ビット分符号化対象から除かれている）。なお、上記の例では、目標符号量差異レベルの大きさの各段階１，２，３では、これに対応して下位ビットデータの最下位ビットから１ビット分，２ビット分，３ビット分と削られているが、目標符号量差異レベルの大きさの各段階１，２，３に応じて、例えば下位ビットデータの最下位ビットから１ビット分，２ビット分，４ビット分が削られるようにしてもよい。言い換えれば、予測誤差符号化部１５では、目標符号量差異レベルに応じて、予測誤差の付加ビットの下位ビットデータを、例えば表４のように符号化対象から対応ビット数分除いて符号化する（最下位ビットから上位側へ対応ビット数分除いて符号化を行う）ことを意味している。
【００２７】
［表１］
2009017505.tif 000003
［表２］
2009017505.tif 000004
［表３］
2009017505.tif 000005
［表４］
2009017505.tif 000006
図５は図１のもう１つの詳細な構成例を示すブロック図である。図１及び図２と同一機能を有する部分には同一符号を付して説明する。  
表５は１画素前の予測誤差の分類情報PGRP、表６は符号表切り換え時の予測誤差の大きさを示す分類情報の可変長符号の例、表７は表３の符号表切り換え時の総符号長（付加ビット削減前）、をそれぞれ示している。
【００２８】
図５に示す画像圧縮装置１０Ｂは、前述の図２の構成例に対して、予測誤差符号化部１５Ａに１画素前の予測誤差の大きさの分類情報ＰＧＲＰ（表５参照）を記憶する記憶部としてＤＦＦ１５６が設けられ、表６のように１画素前の予測誤差の分類情報ＰＧＲＰの値に応じて、予測誤差の大きさの属するグループを示すグループ情報（グループＮｏ．）の可変長符号を切り替えることによって、更に符号化効率の向上を図ることができる。表５では、１画素前の予測誤差の大きさの範囲を６つにグループ化し、その分類情報ＰＧＲＰを示す０〜５を３ビットで表現（pgrp[2:0]）している。
【００２９】
図５の構成例における可変長符号化テーブル１５２としては、表６の可変長符号表及び表７の総符号長表が用いられることになる。この例では、目標符号量差異レベルに応じた付加ビット削減前の総符号長は、予測誤差のグループＮｏ．と1画素前の予測誤差分類情報ＰＧＲＰに応じて表７の様になり、目標符号量差異レベルに応じて、表４に示す削減ビット数が、その総符号長から削減される（即ち、予測誤差の付加ビットデータの下位ビットが符号化対象から除かれる）。
【００３０】
［表５］
2009017505.tif 000007
［表６］
2009017505.tif 000008
［表７］
2009017505.tif 000009
なお、ここでの誤差レベル検出部１３及び予測誤差算出部１４は、入力ビット数と同じビット数の下位ビットデータのみを使用し、上位への符号溢れを無視して（縮退と呼ばれることがある）、誤差レベルおよび予測誤差を検出している。このため、差分データのダイナミックレンジが増加せず、入力画素値補正部１１から出力される画素値データと同じ値に再生可能で、圧縮効率も向上する。
【００３１】
ここで、下位ビットデータのみを補正対象や符号化除外対象とする理由についてもう少し詳しく説明する。  
これは、上位ビットの方は重要なデータであるのでそこで誤差が生じると大きな誤差となって視認されてしまうので、下位ビットでの誤差範囲だけに留めるためである。可逆符号化（目標圧縮率以下の符号化）を考えた場合、予測誤差は小さい場合を対象にしている（即ち下位ビットデータが有効なビットとなる）ので、予測誤差の大きさが所定値より小さければ入力画素データを補正せずにそのまま使用し、予測誤差が所定値以上であれば入力画素データの下位ビットデータを目標符号量差異レベルに応じて予測画素値と同じになるように補正する。即ち、予測誤差が所定値以上の場合、その目標符号量差異レベルが小さければ最下位ビットデータが予測画素値の最下位ビットデータと同じになるように補正し、目標符号量差異レベルが大きくなるに従って最下位から２ビット目のデータ、３ビット目のデータも順次に予測画素値の対応ビット位置のデータと同じになるように補正する。このような入力画素データの補正によって、予測誤差算出部１４における予測誤差の下位ビットデータを０にすることができる。このように入力画素データの補正により０とされた予測誤差の下位ビットデータ部分については、符号化時に予測誤差符号化部１５Ａで符号化対象から除いて符号化し、つまりこの０の予測誤差の下位ビットデータ部分を符号化せずに削除した状態でデータを符号化（言い換えれば、下位ビットデータのうちの最下位側のビットを符号化せずにそれ以外他の上位側ビットを符号化）して復号化側に送出するようにする。復号化側での復号再生については、次の第２の実施形態で説明する。
【００３２】
第１の実施形態によれば、非可逆圧縮となる場合（例えば図３の目標符号量差異情報が負側となり、かつ予測誤差の大きさが所定値以上の場合）は、予測誤差の大きさが所定値以上の場合すなわち輝度変化の大きな画素が発生した場合に限定されるため、視覚的画質劣化を生じずに符号量制御が可能となる。  
また、１画素前の予測誤差の大きさの情報を記憶する記憶部を設け、１画素前の予測誤差の大きさに応じて、予測誤差の大きさの属するグループを示すグループ情報の可変長符号を切り替えることにより、更に符号化効率を向上させることができる。
【００３３】
［第２の実施形態］
図６は本発明の第２の実施形態の画像伸張装置を示すブロック図である。  
図６に示す画像圧縮装置２０は、第１の実施形態の画像圧縮装置からの符号化データを取り込む符号化データ取り込み部２１と、復号済み画素数に対して消費した符号量がその画素数に対応する目標符号量を超過した大きさを示す目標符号量差異レベルを検出する目標符号量差異レベル検出部２５と、符号化データ取り込み部２１から出力される可変長符号データから予測誤差の大きさの属するグループを示すグループ情報とそのグループの中の予測誤差の特定の値を示す付加ビットデータとを復号し予測誤差を再生すると共に符号長を検出する予測誤差復号部２２と、過去の再生済み画素を参照して予測画素値を生成する予測画素値生成部２４と、その予測画素値に再生された予測誤差を加算して画素値を再生する画素値再生部２３とを具備し、予測誤差復号部２２は、予測誤差の大きさが所定値以上の場合において、目標符号量差異レベルに応じて、再生予測誤差の付加ビットの下位ビットデータを０として再生する。
【００３４】
このような構成の第２の実施形態では、第1の実施形態のようにして符号化された予測誤差を復号化する画像伸張装置において、予測誤差が所定値以上に大きくなる場合に目標符号量差異レベルに応じて再生予測誤差の付加ビットの下位ビットデータを０として再生するこことにより、画素単位で可逆圧縮と非可逆圧縮を混在させて符号量制御された符号化データに対して、符号化時の画素単位の可逆非可逆情報の伝送も不要な画像伸張装置を実現できる。
【００３５】
図７は図６の詳細な一構成例を示すブロック図である。図６と同一機能を有する部分には同一符号を付して説明する。 
図７に示す画像伸張装置２０Ａにおいて、符号化データ取り込み部２１では、圧縮符号化データ（４バイトデータ）を入力とし、４バイト取り込み信号が有効な期間にセレクタ（ＭＵＸ）２１１とセレクタ（ＭＵＸ）２１３を経由して１クロック毎にＤＦＦ２１２とＤＦＦ２１４に順次取り込まれ、４バイト取り込み信号が無効な期間は既にＤＦＦ２１２とＤＦＦ２１４に取り込まれたデータがＭＵＸ２１１とＭＵＸ２１３を経由して保持される。すなわち、この４バイト取り込み信号は、初期データ取り込みの為に図示しない制御回路により２クロック期間有効となり、その後復号ビット数の合計が３２ビット（４バイト）以上になる毎に１クロック期間有効となる。このようにしてＤＦＦ２１２とＤＦＦ２１４に保持された符号化データは、セレクタ（ＭＵＸ）２１５により２画素前までに復号した可変長符号のビット数の累積加算結果の３２ビット未満の情報に基づいて１つの連続データとして１画素前の段階での可変長符号の頭出しを行が行われる。セレクタ（ＭＵＸ）２１６は、このＭＵＸ２１５から出力されるデータを入力とし、可変長符号復号化テーブル２２２からの１画素前の符号化データのビット数（符号長）に基づいて次の復号画素の可変長符号の頭出しを行う。加算器２１７は、この可変長符号復号化テーブル２２２から入力された符号長データとＤＦＦ２１８で保持された１クロック前の累積加算結果の下位５ビットとを加算してキャリービットを含め６ビットデータをＤＦＦ２１８に出力する。すなわち、ＤＦＦ２１８から出力される最上位ビット（６ビット目）のデータは、２画素前までに復号した可変長符号のビット数の累積加算結果が３２ビット（＝４バイト）に達するごとに有効となり、前記４バイト取り込み信号となり、この信号はＤＦＦ２５１にて１クロック遅延されて目標符号量差異レベル検出部２５の加算器２５２の−入力端に供給するようになっている。また、前記ＤＦＦ２１８から出力される下位５ビットのデータは、２画素前までに復号した可変長符号のビット数の累積加算結果の３２ビット未満の情報として前記ＭＵＸ２１５による可変長符号の頭出しとして使用される。
【００３６】
予測誤差復号部２２は、符号化データ取り込み部２１から出力される可変長符号化データを１クロック遅延するＤＦＦ２２１と、ＤＦＦ２２１からの可変長符号化データを入力とし、予測誤差の大きさの属するグループを示すグループ情報およびその符号長を復号し、そのグループ情報に基づいてそのグループの中の予測誤差の特定の値を示す為の付加ビット数を再生し、そのグループ情報に基づいて予測誤差が所定値以上である場合には目標符号量差異レベル検出部２５で検出される目標符号量差異レベルに応じて前記付加ビット数の削減ビット数を再生し、前記グループ情報符号長と付加ビット数の合計からの削減ビット数を差し引いた合計ビット数(符号長)を生成する復号テーブル２２２（表３および表４参照）と、ＤＦＦ２２１からの出力データの内、前期復号テーブル２２２で復号した結果得られたグループ情報（グループＮｏ．）の符号長に基づいて、グループ情報（グループＮｏ．）の符号化データを取り除き、前記付加ビット数の付加ビットデータを抽出して符号拡張処理し（表２参照）、その付加ビットデータの内の前記削減ビット数の下位ビットデータを零で置き換えて（０に置き換える条件とビット数については、表４参照）出力するＭＵＸ２２４とを備える。
【００３７】
目標符号量差異レベル検出部２５は、符号化データ取り込み部２１で生成される４バイト取り込み信号が図示しない制御回路により前記初期データ取り込みのための２クロック期間を除いて入力され、１クロック遅延して４バイト単位の復号済み符号量として加算器２５２の−入力端に供給するＤＦＦ２５１と、図示しない制御部にて設定される設定平均符号量（１画素当たり例えば８ビットの符号量）を一方の入力とし、この入力された設定平均符号量をＤＦＦ２５３で保持された１クロック前の累積加算結果と加算して、ＤＦＦ２５１からの４バイトであることを示す１ビットの信号が入力される度に設定平均符号量の累積加算結果から３２（４バイト）の符号量を減算し、その減算結果を前記ＤＦＦ２５３を経由して目標符号量差異情報として出力する加算器２５２と、前記ＤＦＦ２５３から出力される目標符号量差異情報を入力とし、目標符号量差異情報に対して符号化装置側と同じ所定の量子化を行い（図３参照）、目標符号量差異レベルとして出力する量子化部２５４とを備える。即ち、目標符号量差異レベル検出部２５は、逐次目標符号量としての累積加算結果から追加取り込みバイト数を減算し（符号化側と同じ初期条件とする為、初期データ取り込み時のバイト数については減算しない）、その減算結果が負の場合の大きさのレベルを目標符号量差異レベルとして検出する。
【００３８】
画素値再生部２３は、予測画素値生成部２４からの予測画素値に予測誤差復号部２２で再生された予測誤差を加算して画素値を再生する加算器２３１を備える。  
予測画素値生成部２４は、画素値再生部２３にて再生された画素値をＤＦＦ２４-1で１クロック遅延して入力された過去の再生済み画素を参照して予測画素値を生成する。予測画素値生成部２４は、例えば、前段の１クロック遅延を行うＤＦＦ２４-1の出力のみを参照してそのままスルーしてもよい（つまり、予測画素値生成部２４は信号線だけでＤＦＦ２４-1からの１クロック遅延の信号を予測画素値とする構成としてもよい）。或いは、予測画素値生成部２４は、図８に示すようにＤＦＦ２４-1による１クロック遅延信号と、さらにその１クロック遅延信号をもう１つのＤＦＦ２４１を通して１クロック遅延した信号（即ち２つのＤＦＦ２４-1及び２４１による２クロック遅延信号）とを用いて演算部２４２で所定の関数式ｆで演算して予測値を生成してもよい。なお、この参照画素数は更に多くても良いが、この参照画素数や関数式ｆは、符号化装置側と同じにする。
【００３９】
次に、本発明の第２の実施形態の画像伸張装置の動作を図６乃至図８を参照して説明する。  
符号化データ取り込み部２１は、予測誤差復号部２２からの復号済み画素の符号長に応じて、画像圧縮装置から所定バイト単位で符号化データを取り込み、次の画素データの頭出しを行ったデータを予測誤差復号部２２に供給する。ここで、目標符号量差異レベル検出部２５は、具体的には図７の目標符号量差異レベル検出部２５に示すように、１クロック毎に設定平均符号量を累積加算し、符号化データ取り込み部２１で所定バイト数の追加データ取り込みを行う毎に、その出力符号量としての追加取り込みバイト数をその目標符号量である累積加算結果から減算し（なお、初期データ取り込みバイト数については減算しない）、その減算結果が負の場合の大きさのレベルを目標符号量差異レベルとして出力する。予測誤差復号部２２は、符号化データ取り込み部２１から出力される可変長符号データから、可変長符号復号化テーブル２２２として表３に基づいて予測誤差の大きさの属するグループを示すグループ情報(グループＮｏ．)を再生し、表２に基づいて各グループの中の予測誤差の特定の値を示す付加ビットデータから元の予測誤差を再生する。その際、テーブル２２２は、そのグループ情報が所定レベル以上（例えば、−６５以下または６４以上、即ちグループＮｏ．７から９に対応）の場合は、目標符号量差異レベル検出部２５で検出される目標符号量差異レベルに応じて、表４に基づいて再生予測誤差の付加ビットデータの下位ビットを０に置き換えて出力する。従って、符号化時の画素単位の可逆非可逆情報の伝送を必要とせずに再生可能である。
【００４０】
図９は図６のもう１つの詳細な構成例を示すブロック図である。図６及び図７と同一機能を有する部分には同一符号を付して説明する。  
図９に示す画像伸張装置２０Ｂは、前述の図７の構成例に対して、図９の予測誤差復号部２２Ａのように、１画素前の予測誤差の大きさの分類情報pgrp（表５参照）を記憶する記憶部としてＤＦＦ２２５が設けられ、表６のように１画素前の予測誤差分類情報に応じて、予測誤差の大きさの属するグループを示すグループ情報の可変長符号を切り替えることによって、符号化側からの符号表切り替え情報も必要とせずに復号することが可能である。図９における可変長符号復号化テーブル２２２としては、表２及び表４〜７が用いられる。
【００４１】
なお、第２の実施形態においても、第１の実施形態に示した表２，表３及び表６を用いるが、これらの表の用い方は第１の実施形態の圧縮処理と第２の実施形態の伸張処理とでは、グループ情報と可変長符号の対応関係（表３及び表６）、及び元データと付加ビットデータの対応関係（表２）を逆向きに使用することになる。
【００４２】
第２の実施形態によれば、復号時に算出可能な目標符号量差異レベルと符号化された予測誤差の大きさの属するグループを示すグループ情報に基づいて、各グループの中の予測誤差の特定の値を示す付加ビットを復号し予測誤差を再生するので、符号化時の画素単位の可逆非可逆情報を必要としない。  
また、１画素前の予測誤差を記憶する記憶部を設け、１画素前の予測誤差に応じて、予測誤差の大きさの属するグループを示すグループ情報の可変長符号を切り替えることで、符号化側からの符号表切り替え情報も必要とせずに復号することが可能である。
【００４３】
［第３の実施形態］
図１０は本発明の第３の実施形態の画像処理装置を示すブロック図である。  
図１０に示す画像処理装置３０は、図１，図２又は図５で示した画像圧縮装置を備えた画像圧縮処理部３２と、図６，図７又は図９で示した画像伸張装置を備えた画像伸張処理部３４と、外部メモリ３３と、画像処理部３１とを具備し、画像処理部３１は、入力された画像データを処理した中間処理結果を画像圧縮処理部３２を経由して外部メモリ３３に一時記憶し、その外部メモリ３３に記憶された複数の中間処理結果を画像伸張処理部３４を経由して読み出して画像処理した最終処理結果を出力する。
【００４４】
第３の実施形態によれば、非可逆圧縮となる場合は、予測誤差の大きさが所定値以上の場合すなわち輝度変化の大きな画素が発生した場合で、かつ目標符号量差異レベルが1以上の場合（例えば、比較的大きな輝度変化が近傍で連続し、図３の目標符号量差異情報が負側となるような場合）に限定されるため、このような部分の画素値の損失は視覚的な画質劣化に影響がなく、外部メモリ容量及びメモリバンド幅を抑制して高度な画像処理結果を得ることが可能となる。
【図面の簡単な説明】
【００４５】
【図１】本発明の第１の実施形態の画像圧縮装置を示すブロック図。
【図２】図１の詳細な一構成例を示すブロック図。
【図３】目標符号量差異レベル検出部の量子化部の入出力特性を示す特性図。
【図４】第１の実施形態における予測画素値生成部の構成例を示すブロック図。
【図５】図１のもう１つの詳細な構成例を示すブロック図。
【図６】本発明の第２の実施形態の画像伸張装置を示すブロック図。
【図７】図６の詳細な一構成例を示すブロック図。
【図８】第２の実施形態における予測画素値生成部の構成例を示すブロック図。
【図９】図６のもう１つの詳細な構成例を示すブロック図。
【図１０】本発明の第３の実施形態の画像処理装置を示すブロック図。
【符号の説明】
【００４６】
１０，１０Ａ，１０Ｂ…画像圧縮装置
１１…入力画素値補正部
１２，２４…予測画素値生成部
１３  …誤差レベル検出部
１４…予測誤差算出部
１５…予測誤差符号化部
１６…パッキング部
１７…目標符号量差異レベル検出部
２０，２０Ａ，２０Ｂ…画像伸張装置
２１…符号化データ取り込み部
２２…予測誤差復号部
２３…画素値再生部
３０…画像処理装置
３１…画像処理部
３２…画像圧縮処理部
３３…外部メモリ
３４…画像伸張処理部
【図１】
2009017505.tif 000010
【図２】
2009017505.tif 000011
【図３】
2009017505.tif 000012
【図４】
2009017505.tif 000013
【図５】
2009017505.tif 000014
【図６】
2009017505.tif 000015
【図７】
2009017505.tif 000016
【図８】
2009017505.tif 000017
【図９】
2009017505.tif 000018
【図１０】
2009017505.tif 000019