(57)【特許請求の範囲】
【請求項１】
画素単位の画像データを入力され、該画像データを圧縮処理したものである圧縮データを出力する画像データ圧縮装置において、
前記入力される画像データから選択された、基準画像を表す画像データが格納される画像記憶手段と、
前記入力される画像データと、該画像データと共通の画素に対応する、前記画像記憶手段に格納されている画像データとの間の差分値を表す差分データを求める減算手段と、
減算手段で得られる差分データを、該差分データのデータ幅と変化範囲が、前記画像データのデータ幅と変化範囲に一致する差分画像データに変換する差分変換手段と、
前記入力される画像データと、差分変換手段で得られる差分画像データとに対し、選択的に圧縮符号化を行って、圧縮データを出力する圧縮手段と、を備え、
前記差分変換手段は、減算手段で得られた差分値を正規化して予め定めたビット幅の値とする正規化手段と、正規化した値に予め定めたオフセット値を加算するオフセット加算手段とを有すること、を特徴とする画像データ圧縮装置。
【請求項２】
画素単位の画像データを入力され、該画像データを画像圧縮処理したものである圧縮データを出力する画像データ圧縮装置において、
基準画像を表す画像データが格納される画像記憶手段と、
前記入力される画像データと、該画像データと共通の画素に対応する、前記画像記憶手段に格納されている画像データとの間の差分値を表す差分データを求める減算手段と、
減算手段で得られる差分データを、該差分データのデータ幅と変化範囲が、前記画像データのデータ幅と変化範囲に一致する差分画像データに変換する差分変換手段と、
前記入力される画像データと、差分変換手段で得られる差分画像データとに対し、選択的に圧縮符号化を行って、圧縮データを出力する圧縮手段と、
基準画像を表す画像データを圧縮符号化したものである圧縮データの伸張復号化を行う伸張手段と、を備え、
前記差分変換手段は、減算手段で得られた差分値を正規化して予め定めたビット幅の値とする正規化手段と、正規化した値に予め定めたオフセット値を加算するオフセット加算手段と、を有し、
前記画像記憶手段には、前記伸張復号化をなされた画像データが格納される
ことを特徴とする画像データ圧縮装置。
【請求項３】
請求項１または２記載の画像データ圧縮装置において、
前記正規化手段は、入力値とそれに対応する出力値とが予め登録されている変換テーブルと、減算手段で得られた差分値を入力値として、前記変換テーブルから対応する出力値を読み出し、出力する変換手段とを有することを特徴とする画像データ圧縮装置。
【請求項４】
請求項３記載の画像データ圧縮装置において、
前記変換テーブル内の入力値と出力値との対応関係の特性は、入力値の変化に対する出力値の変化量が、０を中心とする入力値の所定の範囲に比べ、他の範囲の方が大きくなることを特徴とする画像データ圧縮装置。
【請求項５】
請求項１記載の画像データ圧縮装置において、
前記圧縮手段は、画像データの圧縮率を切り替える機能を有し、前記圧縮手段で圧縮符号化をなされるデータが基準画像を表す画像データであるか否かを検出し、基準画像を表すものでない場合には、前記圧縮手段の圧縮率が小さくなるように制御する手段をさらに備えることを特徴とする画像データ圧縮装置。
【請求項６】
請求項５記載の画像データ圧縮装置において、
前記圧縮手段は、ＤＣＴ（ディスクリート・コサイン変換）による圧縮符号化を行うものであり、圧縮符号化する画像データが基準画像を表すものでない場合には、ＤＣＴで使用する量子化テーブルの係数値として、基準画像を表すものである場合よりも小さい係数値を使用することを特徴とする画像データ圧縮装置。
【請求項７】
請求項１または２記載の画像データ圧縮装置において、
圧縮符号化を行った差分画像データのフレームの連続数を計数するカウント手段をさらに有し、前記連続数が予め定めた値となった場合に、画像記憶手段に格納する画像データの更新が行われることを特徴とする画像データ圧縮装置。
【請求項８】
請求項１または２記載の画像データ圧縮装置において、
圧縮符号化を行った差分画像データのデータサイズが、圧縮符号化を行った画像データのデータサイズよりも大きくなったことを検出する検出手段をさらに有し、圧縮符号化を行った差分画像データのデータサイズが、圧縮符号化を行った画像データのデータサイズよりも大きくなった場合に、画像記憶手段に格納する画像データの更新が行われることを特徴とする画像データ圧縮装置。
【請求項９】
基準画像を現す画像データを圧縮符号化して得られた圧縮データと、前記基準画像の画像データと他の画像データとの差分値を表すデータを、該データのデータ幅と変化範囲が、前記画像データのデータ幅と変化範囲に一致するように変換したものを圧縮符号化して得られた圧縮データと、を入力され、元の画像データを復元する画像データ伸張装置において、
入力される圧縮データを伸張復号化して、圧縮符号化前のデータを復元する伸張手段と、
伸張復号化により復元された基準画像を表す画像データが格納される画像記憶手段と、
伸張復号化により復元された差分画像データを、該差分画像データのデータ幅と変化範囲が、前記基準画像の画像データと前記他の画像データの差分値を表すデータのデータ幅と変化範囲と一致する差分データに変換する変換手段と
変換手段で変換のなされた差分データと、該データと同じ画素に対応する、前記画像記憶手段に格納されている画像データと、を加算する加算手段と、を備え、
前記変換手段は、入力される画像データから予め定めたオフセット値を減算するオフセット減算手段と、オフセット減算手段の減算結果に、予め定めた値を乗算する乗算手段とを有することを特徴とする画像データ伸張装置。
【請求項１０】
請求項９記載の伸長装置において、
前記画像記憶手段の格納データは、前記加算手段の加算結果の画像データに更新されることを特徴とする画像データ伸張装置。
【請求項１１】
請求項９または１０記載の画像データ伸張装置において、
前記加算手段の加算結果の画像データに対し、データ値の変化範囲を予め定めた範囲に制限する処理を行う制限手段をさらに備えることを特徴とする画像データ伸張装置。
【請求項１２】
請求項９または１０記載の画像データ伸張装置において、前記変換手段は、入力値とそれに対応する出力値とが予め登録されている変換テーブルと、オフセッ ト減算手段の減算結果を入力値として、前記変換テーブルから対応する出力値を読み出し、出力する変換手段とを有することを特徴とする画像データ伸長装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データの圧縮装置および伸張装置に関し、特に、監視カメラで撮影した画像を表す画像データの圧縮／伸張に用いることに好適な圧縮装置および伸張装置に関する。
【０００２】
【従来の技術】
複数フレームの画像データを電話回線で伝送したり記録装置に記録したりする場合には、原画像のままではデータ量が多すぎるため、圧縮符号化方式を用いてデータ量を削減することが多い。動画像データの符号化方式としては、例えば、Ｈ．２６１方式やＭＰＥＧ方式などがある。
【０００３】
これらの符号化方式では、画像を適当なブロックに分割し、ＤＣＴ（ディスクリート・コサイン変換）を用いて画像圧縮するフレーム内符号化する手法や、隣接するフレームの間で、ある画像ブロックが次のフレームではどの位置に移動したかを計算して動きベクトルを求め、これを符号化する動き補償によるフレーム間予測符号化を用いる手法が用いられている。
【０００４】
【発明が解決しようとする課題】
しかしながら、動き補償によるフレーム間予測符号化では、符号化後の圧縮データの速度としてある程度高いビットレートが確保されていないと、画像のうちの動きのある領域の画像ブロックのみが符号化されるため、動きのある領域はなめらかな画像となるが、背景の動きのない静止した領域の画像ブロックのデータが更新されにくくなる。このため、再生画像は、ブロック状の歪みの目立つ劣化したものとなる。
【０００５】
また、このフレーム間予測符号化では、動きベクトルを得るための画像ブロック同士の比較などの演算を行うため、計算量が膨大となる。この機能を実現する装置は、高速な演算処理が必要となり、実現コストが高くなる。
【０００６】
そこで、本発明の目的は、動画像の画像データを少ない演算量で高い圧縮効率が得られるように圧縮でき、画像内の静止した領域や動いている領域の有無による画質の劣化を小さく抑えることが可能な画像データ圧縮装置および画像データ伸張装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記の問題を解決するため、本発明では、画素単位の画像データを入力され、該画像データを圧縮処理したものである圧縮データを出力する画像データ圧縮装置において、前記入力される画像データから選択された、基準画像を表す画像データが格納される画像記憶手段と、前記入力される画像データと、該画像データと共通の画素に対応する、前記画像記憶手段に格納されている画像データとの間の差分値を表す差分データを求める減算手段と、減算手段で得られる差分データを、前記画像データと共通のデータ形式の差分画像データに変換する差分変換手段と、前記入力される画像データと、差分変換手段で得られる差分画像データとに対し、選択的に圧縮符号化を行って、圧縮データを出力する圧縮手段とを備えることを特徴とする画像データ圧縮装置を提供する。
【０００８】
また、本発明では、基準画像を表す画像データを圧縮符号化して得られた圧縮データと、前記基準画像に対する差分の画像を表す差分画像データを圧縮符号化して得られた圧縮データとを入力され、元の画像データを復元する画像データ伸張装置において、入力される圧縮データを伸張復号化して、圧縮符号化前のデータを復元する伸張手段と、伸張復号化により復元された基準画像を表す画像データが格納される画像記憶手段と、伸張復号化により復元された差分画像データを、前記画像データ間の差分値と共通のデータ形式の差分データに変換する変換手段と、変換手段で変換のなされた差分データと、該データと同じ画素に対応する、前記画像記憶手段に格納されている画像データとを加算する加算手段とを備えることを特徴とする画像データ伸張装置を提供する。
【０００９】
【発明の実施の形態】
まず、本発明の第１の実施形態に係る圧縮装置および伸張装置について、図１〜図１２を用いて説明する。
【００１０】
図１は、本発明の第１の実施形態に係る圧縮装置１１の構成を示すブロック図である。図示のように、この圧縮装置１１は、画像データ入力端子１０１、画像データが１フレーム分格納される画像メモリ１０２、基準となる画像（基準画像）の画像データが１フレーム分格納される基準画像メモリ１０３、画像データ間の差分値を表す差分データを算出する減算器２０１と、差分データを画像データと共通のデータ形式のデータ（差分画像データ）に変換する差分変換器１０４、ＪＰＥＧなどのフレーム内圧縮符号化を行う画像圧縮器１０５、圧縮データ出力端子１０６、スイッチ１０７および１０８、および、図示しない制御回路を有する。
【００１１】
画像データ入力端子１０１は、例えば、監視カメラに接続され、監視カメラの撮像画像を表す画像データを入力される。この画像データは、画素単位のデータであり、一定の期間毎に１フレーム分入力される。ここで、１フレーム分の画像データは、例えば４８０行・７０４列の画素配列や、２４０行・３２０列の画素配列などからなる１枚の画像を表す。
【００１２】
画像メモリ１０２は、画像データ入力端子１０１に入力される画像データを順次に格納され、１フレーム分の画像データを保持する。この格納データは、順次に読み出され、画素単位に出力される。なお、格納データの読み出しは、画像圧縮器１０５の符号化方式により定まる順序でなされる。
【００１３】
基準画像メモリ１０３は、スイッチ１０２がＯＮ状態の時に、画像メモリ１０２から読み出された画像データを順次に格納され、１フレーム分の画像データを保持する。この格納データは、順次に読み出され、画素単位に出力される。
【００１４】
減算器２０１は、画像メモリ１０２から読み出された画像データの値から、基準画像メモリ１０３から読み出された画像データ（基準画像データ）の値を減算し、その結果を差分データとして出力する。ここで、演算対象となる２つの画像データは、フレーム上で共通の画素に対応するものとなる。
【００１５】
なお、図示しない制御回路は、画像データ入力端子１０１に入力される画像データの同期信号を受けて、画像メモリ１０２および１０３、スイッチ１０７および１０８、差分変換器１０４および画像圧縮器１０５を制御する。画像圧縮器１０５は、制御回路から入力されるタイミング信号に従い、画像データの取り込みおよび圧縮符号化を行う。
【００１６】
この圧縮装置１１では、基準画像メモリ１０３における基準画像の更新を、画像メモリ１０２から読み出される画像データの各フレーム毎に行う第１の動作モードと、基準画像の更新を一定のフレーム間隔を空けて行う第２の動作モードとを実施することができる。もちろん、いずれか一方の動作モードだけを実施するようにしてもよい。
【００１７】
まず、第１の動作モードについて説明する。
【００１８】
この動作モードでは、スイッチ１０８がＯＮ状態に保たれ、基準画像の更新が連続的になされる。また、スイッチ１０７は、最初の１フレーム目の画像データの出力期間のみＡ側とされ、その後Ｂ側に切り替えられる。
【００１９】
第１の動作モードにおいて、画像メモリ１０３から読み出される１フレーム目の画像データは、スイッチ１０８を通って基準画像メモリ１０３に格納されるとともに、スイッチ１０７を通って画像圧縮器１０５に入力され、圧縮符号化をなされる。そして、圧縮符号化のなされた１フレーム目（基準画像）の圧縮データは、圧縮データ出力端子１０６から外部に出力される。
【００２０】
読み出される２フレーム目の画像データは、スイッチ１０７を通って減算器２０１に入力され、基準画像メモリ１０３内の１フレーム目の対応する画像データとの差分値を計算される。この差分データは、差分変換器１０４での差分変換処理により差分画像データに変換された後、画像圧縮器１０５で圧縮符号化をなされる。これと並行して、２フレーム目の画像データは、１フレーム目の対応する画像データの読み出しに続いて、基準画像メモリ１０３に格納される。そして、圧縮符号化のなされた２フレーム目（差分画像）の圧縮データは、圧縮データ出力端子１０６から外部に出力される。
【００２１】
３フレーム目以降の各フレームの画像データは、２フレーム目の画像データと同様に、基準画像との差分値計算、差分変換処理および圧縮符号化をなされるとともに、基準画像メモリ１０３に格納されて次のフレームの基準画像となる。そして、圧縮データとなって、圧縮データ出力端子１０６から外部に出力される。
【００２２】
次に、第２の動作モードについて説明する。
【００２３】
この動作モードでは、スイッチ１０８が一定の周期でＯＮ状態とＯＦＦ状態を繰り返し、ＯＮ状態の時に基準画像の更新がなされる。また、スイッチ１０７は、基準画像の更新がなされる期間にＡ側とされ、他の期間にはＢ側に切り替えられる。
【００２４】
第２の動作モードにおいて、画像メモリ１０２から読み出される１フレーム目の画像データは、スイッチ１０８を通って基準画像メモリ１０３に格納されるとともに、スイッチ１０７を通って画像圧縮器１０５に入力され、圧縮符号化をなされる。以降の一定期間、基準画像メモリ１０３に格納された画像データは、２フレーム目以降の画像に対する基準画像となる。そして、圧縮符号化のなされた１フレーム目（基準画像）の圧縮データは、圧縮データ出力端子１０６から出力される。
【００２５】
読み出される２フレーム目の画像データは、スイッチ１０７を通って減算器２０１に入力され、基準画像メモリ１０３内の１フレーム目の対応する画像データとの差分値を計算される。この差分データは、差分変換器１０４での差分変換処理により差分画像データに変換された後、画像圧縮器１０５で圧縮符号化をなされる。そして、圧縮符号化のなされた２フレーム目（差分画像）の圧縮データは、圧縮データ出力端子１０６から出力される。
【００２６】
３フレーム目以降の各フレームの画像データは、２フレーム目の画像データと同様に、基準画像との差分値計算、差分変換処理および圧縮符号化をなされ、圧縮データとなって、圧縮データ出力端子１０６より出力される。
【００２７】
また、第２の動作モードでは、一定の周期（例えば１０個のフレームの読み出しがなされる周期）で基準画像の更新を行う。更新に用いる基準画像がｎフレーム目の画像であるとすると、読み出されるｎフレーム目の画像データは、上述の１フレーム目の画像データと同様に、画像圧縮器１０５で圧縮符号化をなされるとともに、基準画像メモリ１０３に格納されてｎ＋１フレーム目以降の画像に対する基準画像となる。ｎ＋１フレーム目以降の各フレームの画像データは、基準画像メモリ１０３内のｎフレーム目の画像データに対する差分値計算、差分変換処理および圧縮符号化をなされ、圧縮データ出力端子１０６から出力される。
【００２８】
次に、差分変換器１０４について詳しく説明する。
【００２９】
差分変換器１０４は、差分データの値の変化範囲を、画像データの変化範囲に一致させるための差分変換処理を行う。これにより、圧縮装置１１では、基準画像および差分画像の圧縮符号化を、共通の画像圧縮器１０５で少ない画質劣化で行えるようにしている。差分変換器１０４としては、図２、図４、図９に示す構成による実現が可能である。以下、各構成について順次説明する。
【００３０】
図２は、差分変換器１０４の第１の構成例を示すブロック図である。
【００３１】
図中、差分変換器１０４は、減算器２０１から出力される差分値を所定のビット幅に正規化する除算器２０２と、除算器２０２から出力されたデータに所定のオフセット値を加算して、加算結果を出力するオフセット加算器２０３とを有する。なお、以下では、画像データの１画素あたりのデータ幅が８ビットであるものとする。
【００３２】
画像データのデータ幅が８ビットである場合、画像メモリ１０２および基準画像メモリ１０３から出力されるデータは、０から２５５の範囲の値をとる。一方、減算器２０１から出力される差分データは、−２５５から２５５の範囲の値をとり、データ幅が９ビットとなる。
【００３３】
除算器２０２は、入力された差分データを１ビット右へシフトするなどして２の除算を行う。図５に、除算器２０２の入力−出力特性を示す。横軸は減算器２０１から出力される差分値、縦軸は除算器２０２の出力値である。この除算器２０２により、差分データは、−１２７から１２７の範囲となる８ビットのデータに正規化される。
【００３４】
オフセット加算器２０３は、除算器２０２で正規化したデータに所定のオフセット値（ここでは１２７）を加算し、その結果を差分画像データとして出力する。これにより、変化範囲が０〜２５５の８ビットの差分画像データが得られる。
【００３５】
ところで、画像メモリ１０２内の画像データと、基準画像メモリ１０３内の画像データとがほぼ同一の画像から得られたものである場合、差分データのヒストグラムは、差分値の０付近がピークとなる分布になる。例えば図３に示すように、差分データは、０付近の正の値と負の値とがランダムに現れるデータになる。ここで、８ビットデータは、符号つきの場合の負の範囲である−１２７から−１が、符号無しの場合の１２９から２５５となるため、正規化した差分データは、画像圧縮器１０５において、０付近と２５５付近の値がランダムに現れるデータとして認識されることになる。このような値の画像は、画像の複雑さが大きいデータであり、ＤＣＴを用いたＪＰＥＧなどの圧縮符号化を行った場合に、画像の劣化が大きくなる。
【００３６】
しかし、上述のように圧縮装置１１では、画像圧縮器１０５に入力する差分画像データが０から２５５の範囲となり、ストグラムにおいて１２８付近にデータ値が多く分布した画像となるため、画像圧縮器１０５で圧縮符号化しても、画像（差分画像データ）の劣化が小さく抑えられる。
【００３７】
なお、図２の例では、減算処理、正規化処理、オフセット値加算処理の順で処理を行っているが、同等の結果を得られる範囲で処理の順序は任意に入れ替えることができる。
【００３８】
図４は、差分変換器１０４の第２の構成例を示すブロック図である。
【００３９】
図示の差分変換器１０４は、変換テーブル４０１と、変換器４０２と、オフセット加算器２０３とを有する。変換テーブル４０１には、差分値と、これに対する出力値とが予め登録されている。変換器４０２は、減算器２０１から入力された差分値に対応する出力値を変換テーブル４０１から読み出してオフセット加算器２０３に出力する。オフセット加算器２０３は、図２で説明したものと同じ機能を持つ。
【００４０】
例えば、画像データ入力端子１０１に入力される画像データは、アナログビデオ信号をデジタルデータ化したものである場合、元の映像が静止したものであっても、Ａ／Ｄ変換の誤差などによりフレームごとにデータ値に微妙なばらつきが生じる。このばらつきは、差分画像データの圧縮符号化により得られる圧縮データの冗長度を大きくする。このため、図４の差分変換器１０４では、小さい誤差成分を抑圧できるように、変換テーブル４０１の登録値を定めている。
【００４１】
図６に、変換テーブル４０１に登録される変換器４０２の入力−出力特性の第１の例を示す。図中、横軸は減算器２０１から入力される差分値、縦軸は出力値を示している。図６の特性では、入力値が−２以上＋２以下の時、出力値が０となるため、ノイズによる入力値の変動を抑圧することができる。これにより、図４の差分変換器から出力される差分画像データは、図２の差分変換器に比べ、画像の複雑さが小さくなり、画像圧縮により得られる圧縮データのデータサイズが低減される。
【００４２】
図７に、変換テーブル４０１の入力−出力特性の第２の例を示す。なお、図７の特性も、図６と同様に出力値が離散的に変化するが、図には簡略化のため、特性を平均的な変化を示す直線で示している。図７の特性では、入力値が０を中心とする所定の範囲−ｌｉｍから＋ｌｉｍにある時の出力値の平均的な傾きが、−ｌｉｍから＋ｌｉｍよりも外側の範囲に比べて小さくなっている。つまり、この特性によれば、−ｌｉｍから＋ｌｉｍの範囲における画像の変化分が差分画像データに現れにくくなる。したがって、ｌｉｍの値を適切に定めることによって、変化が気にならない程度の小さい画像変化分が差分画像データに現れるのを抑制することができる。また、これにより、図７の変換テーブルで得た差分画像データは、図６による差分画像データよりも、画像圧縮を行ったときの圧縮データのサイズを小さくすることができる。
【００４３】
図８に、変換テーブル４０１の入力−出力特性の第３の例を示す。図示の特性では、差分値が所定の入力範囲−ｌｉｍから＋ｌｉｍの時には、出力値が０となり、画像変化分が差分画像データに反映されない。これにより、この範囲内の画像変化分は、画像圧縮時に生成される符号量が少なくなるので圧縮データのサイズを小さくすることができる。
【００４４】
図９は、差分変換器１０４の第３の構成例を示すブロック図である。
【００４５】
図示の差分変換器１０４は、オフセット付変換テーブル９０１と、変換器４０２とからなる。オフセット付変換テーブル９０１では、差分値と組で登録される出力値が、オフセット値（例えば１２７）を予め加算されたものとなっている。つまり、変換器４０２からはオフセット値加算後の差分画像データが出力されることになる。
【００４６】
次に、画像圧縮器１０５について説明する。
【００４７】
画像圧縮器１０５は、画像データの圧縮率を切り替える機能を有する。そして、入力される画像データが基準画像であるか否かによって圧縮率を切り替える。この切替は、スイッチ１０７の切替と同期して行われる。
【００４８】
基準画像と新規入力画像とから求めた差分画像データは、上記画像間の変化部分において画像の複雑さが大きくなる。このため、差分画像データは、基準画像の画像データよりも画像の複雑さが大きくなりやすい。そして、画像圧縮器で差分画像データを圧縮するときに、基準画像と同程度の圧縮率で圧縮を行うと、画像の変化部分での画像の劣化が大きくなる。
【００４９】
これを改善するため、画像圧縮器１０５では、差分画像データを圧縮するときの圧縮率を、基準画像を圧縮するときの圧縮率よりも小さくすることにより、画像圧縮による画質劣化が小さくなるようにする。
【００５０】
ＤＣＴを用いた画像圧縮では、ＤＣＴ演算によって得た各周波数成分の係数値を所定の量子化テーブルによって量子化した後に符号化を行う。例えば、ＪＰＥＧ方式による画像圧縮では、この量子化テーブルの値が大きいほど、量子化が粗くなり画像データの圧縮率は高くなるが、画質の劣化は大きくなる。
【００５１】
画像圧縮器１０５の圧縮方式としてＤＣＴを用いている場合には、基準画像用と差分画像用にそれぞれ量子化テーブルを用意して、量子化テーブルの係数値は、差分画像用の係数値の方が、基準画像用の対応する係数値よりも小さくなるようにする。これにより、差分画像では基準画像よりも全周波数成分で細かく量子化されるようになり、量子化誤差による画像の劣化を小さくすることができる。
【００５２】
１つの量子化テーブルを用いて上記の機能を実現することもできる。この場合には、量子化テーブルを基準画像データの圧縮用として用い、その各係数値に例えば５０％など１よりも小さい所定の比率を乗算したものを差分画像データ用の系数値として用いるようにする。この手法には、必要な量子化テーブルが１つで済むという利点がある。
【００５３】
次に、本発明の第１の実施形態に係る伸張装置について説明する。
【００５４】
図１０は、図１に示した圧縮装置１１で生成された圧縮データを復元するための伸張装置１２の構成を示すブロック図である。図示のように、この伸張装置１２は、圧縮データ入力端子１００１、画像伸張器１００２、１フレーム分の画像データが格納される画像メモリ１００３、基準画像を表す画像データが１フレーム分格納される基準画像メモリ１００４、画像データの合成を行う合成演算器１００５、画像データ出力端子１００６、スイッチ１００７、１０８および１０９、および、図示しない制御回路を有する。
【００５５】
圧縮データ入力端子１００１には、図１の圧縮装置１１で生成された圧縮データが入力される。なお、入力される圧縮データは、例えば、電話回線などの通信路や通信装置を介して受信されたものや、記録媒体で再生されたものである。
【００５６】
画像伸張器１００２は、圧縮データ入力端子１００１に入力される圧縮データに対し伸張復号化を行い、図１の画像圧縮器１０５で圧縮される前の基準画像データおよび差分画像データを復元する。
【００５７】
基準画像メモリ１００４には、基準画像を表す画像データが格納される。この画像データは、画像伸張器１００２で復元されたもの、または、合成演算器１００５で合成されたものである。そして、この格納データは、伸張装置１２の出力を取り込む装置により決る順序で読み出され、出力される。
【００５８】
画像メモリ１０３には、画像伸張器１００２で復元された差分画像を表す差分画像データを順次に格納される。そして、この格納データは読み出され、出力される。
【００５９】
合成演算器１００５は、画像メモリ１００３から出力される差分画像の画像データと、基準画像メモリ１００４から出力される基準画像の画像データとを用いて合成演算処理を行い、演算結果の画像データを出力する。ここで、合成演算に用いる２つの画像データは、フレーム上の同じ画素位置に対応したものとなる。
【００６０】
なお、図示しない制御回路は、画像伸長器１００２から受けるタイミング信号に応じて、画像メモリ１００３および１００４、スイッチ１００８および１００９、合成演算器１００５を制御する。
【００６１】
伸張装置１２では、図１の圧縮装置１１と逆の手順で元の画像データの復元がなされる。また、この伸張装置１２では、圧縮装置１１の各動作モードに対応する２種類の動作を行う。
【００６２】
入力される圧縮データが圧縮装置１１の第１の動作モードで生成されたものである場合、伸張装置１２は以下の動作を行う。
【００６３】
画像伸張器１００２から１フレーム目の画像データ（基準画像データ）が出力される場合には、スイッチ１００７および１００８が共にＡ側に切り替えられ、スイッチ１００９がＯＦＦ状態とされる。これにより、１フレーム目の画像データは、基準メモリ１００４に順次格納されるとともに、画像データ出力端子１００６から外部に出力される。
【００６４】
１フレーム目の画像データの出力が終了すると、スイッチ１００７および１００８が共にＢ側に切り替えられ、スイッチ１００９がＯＮ状態とされる。これにより、画像伸張器１００２から出力される２フレーム目の画像データ（差分画像データ）は、画像メモリ１００３に順次格納される。続いて、基準画像メモリ１００４内の１フレーム目の基準画像データと、画像メモリ１００３内の２フレーム目の差分画像データとが読み出され、画素毎に合成演算器１００５に入力される。そして、合成演算器１００５の処理により、圧縮装置１１に入力された元の画像データが復元される。復元された画像データは、画像データ出力端子１００６から出力されるとともに、スイッチ１００９を通して基準メモリ１００４に順次格納され、３フレーム目の差分画像に対する基準画像となる。
【００６５】
３フレーム目以降の各フレームの画像データは、２フレーム目の画像データと同様に、画像メモリ１００３に一旦格納されてから、基準画像との合成演算処理をなされる。そして、合成演算処理で復元された画像データは、画像データ出力端子１００６に出力されるとともに、基準メモリ１００４に順次格納され、次のフレームの差分画像に対する基準画像となる。
【００６６】
入力される圧縮データが図１の圧縮装置の第２の動作モードで生成されたものである場合、伸張装置は以下の動作を行う。この動作では、スイッチ１００９がＯＦＦ状態固定とされる。
【００６７】
画像伸張器１００２から基準画像を表す画像データのフレームが出力される場合には、スイッチ１００７および１００８が共にＡ側に切り替えられ、この画像データは、基準メモリ１００４に順次格納されるとともに、画像データ出力端子１００６から出力される。
【００６８】
画像伸張器１００２から差分画像データのフレームが出力される場合には、スイッチ１００７および１００８が共にＢ側に切り替えられ、この差分画像の画像データは、画像メモリ１００３に順次格納される。続いて、基準画像メモリ１００４に格納されている基準画像データと、画像メモリ１００３に格納されている差分画像データとが順次読み出され、画素単位に合成演算器１００５に入力される。そして、合成演算器１００５の処理により、元の画像データが復元され、スイッチ１００８を通って画像データ出力端子１００６から出力される。
【００６９】
ここで、圧縮データ入力端子１００１に入力される圧縮データが基準画像データおよび差分画像データのいずれに対応するものであるかは、圧縮装置１１が、出力する圧縮データのフレームの先頭部分などに付加する識別データにより識別される。伸張装置１２はこの識別データを検出して動作の切り替えを行う。
【００７０】
次に、伸張装置１１の合成演算器１００５について詳しく説明する。合成演算器１００５では、図１の減算器２０１および差分変換器１０４でなされる処理と逆の手順で画像データの復元を行う。
【００７１】
図１１は、伸張装置１１の合成演算器１００５の第１の構成例を示すブロック図である。
【００７２】
図１１の合成演算器１００５は、入力端子１１０１および１１０２、オフセット値を減算するオフセット減算器１１０３、２倍の演算を行う乗算器１１０４、加算器１１０５、および、制限器１１０６から構成される。
【００７３】
入力端子１１０１には基準画像メモリ１００４から読み出された基準画像データが入力され、入力端子１１０２には画像メモリ１００３から読み出された差分画像データが入力される。
【００７４】
オフセット減算器１１０３は、入力端子１１０２の差分画像データから、圧縮装置の差分変換器１０４で加算された所定のオフセット値（例えば１２８）を減算して、減算結果である差分値を出力する。
【００７５】
乗算器１１０４は、オフセット減算器１１０３からの差分値を１ビット左にシフトするなどして、２倍の値とすることで、圧縮装置１１の除算器２０２あるいは変換テーブル４０１により１／２倍される前の差分値を復元し、出力する。
【００７６】
加算器１１０５は、乗算器１１０４から出力される差分値と、入力端子１１０１に入力される基準画像データとを加算して、加算結果の画像データを出力する。
【００７７】
ここで、画像圧縮器１０５の圧縮方式がＪＰＥＧなど非可逆圧縮である場合、画像伸張処理後の画像データには劣化が生じており、加算器１１０５で基準画像と差分画像とを合成したときに、画像データは０よりも小さい値や、２５５よりも大きい値となる場合がある。
【００７８】
このため、制限器１１０６では、加算器１１０５から出力される画像データの値の範囲を正規のビット数の範囲に制限する処理を行う。具体的には、制限器１１０６は、入力された値が０から２５５の範囲内の場合はその値をそのまま出力し、入力された値が０よりも小さい場合は０を出力し、２５５よりも大きい場合は２５５を出力する。
【００７９】
なお、図１１の例では、減算処理の後、正規化処理、オフセット値加算処理を行っているが、同等な結果を得られる範囲で演算処理の順序は入れ替えることができる。
【００８０】
図１２は、図１０の合成演算器１００５の第２の構成例を示すブロック図である。
【００８１】
図示の合成演算器１００５は、入力端子１１０１および１１０２、逆変換テーブル１２０３、変換器１２０４、加算器１１０５、および、制限器１１０６により構成される。
【００８２】
逆変換テーブル１２０３には、入力される差分画像データの値と、それに対応する差分値とが予め登録されている。変換器１２０４は、入力端子１１０２に入力される差分画像データの値に対応する差分値を、変換テーブル１２０３から読み出して出力する。
【００８３】
逆変換テーブル１２０３の登録により定まる入力−出力特性は、図１の圧縮装置１１の差分変換器１０４の入力−出力特性と逆の特性となる。これにより、変換器１２０４からは、差分変換器１０４に入力される前の差分値を復元した値のデータが出力されることになる。
【００８４】
変換器１２０４から出力される差分値は、図１１の構成と同様に、加算器１１０５で、対応する画素の基準画像データと加算された後、制限器１１０６で値を制限され、出力される。
【００８５】
以上で説明したように、本実施形態の圧縮装置１１および伸張装置１２によれば、動画像の画像データを少ない演算量で高い圧縮効率が得られるように画像圧縮でき、画像内の静止した領域や動いている領域の有無による画質の劣化を小さく抑えることが可能となる。また、差分変換器１０４によるデータ変換により、減算器２０１の出力する差分値を直接圧縮符号化する場合に比べて、圧縮データのデータサイズを小さくすることができる。
【００８６】
次に、本発明の第２の実施形態について、図１３および図１４を用いて説明する。
【００８７】
上述の第１の実施形態（図１、図１０）では、入力端子１０１に入力される画像データがそのまま圧縮装置１１の基準画像とされ、伸張装置１２ではその基準画像データを圧縮および伸張した結果が基準画像とされる。画像圧縮器１０５の圧縮方式が非可逆圧縮方式である場合、伸張装置１２で画像を伸張したときに画像の劣化が生じるため、圧縮装置１１で使用する基準画像と、伸張装置１２で使用する基準画像とは同一とならなくなり、画像伸張装置で差分画像の伸張および合成を行った場合に若干の画像劣化が生じる。また、第１の実施形態の伸張装置１２では、基準画像の生成を差分画像データを用いた合成演算により生成する場合に基準画像の劣化が累積され易くなる。
【００８８】
そこで、本実施形態（図１３、図１４）では、圧縮装置にさらに画像伸張器を設け、入力される画像データを画像圧縮器および画像伸張器で処理した結果を基準画像として登録するようにしている。これにより、圧縮装置側と伸張装置側とでそれぞれ使用する基準画像が同一となり、基準画像の違いによる画質の劣化は起らなくなる。
【００８９】
また、本実施形態では、伸張装置では伸張したデータの内、基準画像に対応するものだけを基準画像として登録するようにし、圧縮装置では基準画像の更新タイミングを判定する手段を設けて、必要に応じて基準画像の更新を行うようにする。これにより、伸張装置における基準画像の劣化の累積も起らなくなる。
【００９０】
図１３は、本実施形態の圧縮装置２１の構成を示すブロック図である。図示のように、この圧縮装置２１は、画像データ入力端子１３０１、画像メモリ１３０２、基準画像メモリ１３０３、減算器１３１２、差分変換器１３０４、画像圧縮器１３０５、画像伸張器１３０６、圧縮データ出力端子１３０７、スイッチ１３０８および１３０９、カウンタ回路１３１０、および、検出器１３１１を有する。
【００９１】
これらの構成要素は、第１の実施形態（図１）で説明した同名称のものと同じ機能を有する。画像伸張器１３０６としては、対応する伸張装置（図１４）のものと同じものを用いる。また、差分変換器１３０４としては、例えば、図２、図４または図９に示したものを使用する。
【００９２】
カウンタ回路１３１０および検出器１３１１は、画像圧縮器１３０５に接続され、基準画像の更新タイミングを判定する。そして、判定結果に応じてスイッチ１３０８および１３０９を切り替える制御を行う。カウンタ回路１３１０は、圧縮符号化したデータのフレーム数を計数する機能を有し、検出器１３１１は、圧縮符号化した圧縮データのデータサイズを取得する機能を有する。
【００９３】
まず、圧縮装置２１での基準画像を圧縮する手順について説明する。
【００９４】
基準画像を圧縮する場合には、スイッチ１３０８がＡ側に切り替えられ、スイッチ１３０９がＯＮとされる。画像データ入力端子１３０１から入力された画像データは、画像メモリ１３０２に順次に格納され、圧縮符号化で定めている順序で順次に読み出される。画像メモリ１３０２から読み出された画像データは、スイッチ１３０８を通って画像圧縮器１３０５に入力され、圧縮符号化されて圧縮データとなる。この圧縮データは、圧縮データ出力端子１３０７に出力されるとともに、スイッチ１３０９を通って画像伸張器１３０６に入力され、ここで伸張復号化されて画像データに戻される。そして、伸張した画像データは、新たな基準画像として、基準画像メモリ１３０３に格納される。以上の動作は、少なくとも１フレーム目の画像データについて実施される。
【００９５】
次に、圧縮装置２１における差分画像を圧縮する手順について説明する。
【００９６】
差分画像を圧縮する場合には、上述の手順で基準画像メモリ１３０３に基準画像が格納されていることになる。まず、スイッチ１３０８はＢ側に切り替えられ、スイッチ１３０９はＯＦＦにされる。画像データ入力端子１３０１から入力された画像データは画像メモリ１３０２に順次に格納され、圧縮符号化で定めている順序で順次に読み出される。画像メモリ１０２から読み出された画像データは、スイッチ１３０８を通って減算器２０１に入力される。これと並行して、該画像データと共通の画素に対応する基準画像メモリ１０３内の基準画像データが読み出され、減算器１３１２に入力される。減算器１３１２では、基準画像データと、画像メモリ１０２から読み出された画像データとの間で減算を行って、その差分値を差分データとして出力する。この差分データは、差分変換器１０４で画像データと同じ形式のデータに変換され、差分画像データとして出力される。そして、差分画像データは、画像圧縮器１３０５で圧縮符号化され、圧縮データとして圧縮データ出力端子１３０７に出力される。以降、基準画像の更新がなされるまで、新たなフレームに対し以上の動作が実施される。
【００９７】
次に、カウンタ回路１３１０および検出器１３０４による基準画像の更新方法について説明する。
【００９８】
カウンタ回路１３１０は、画像圧縮器１３０５で圧縮符号化した差分画像データのフレーム数を計数する。差分画像データが１フレーム圧縮される毎に１ずつカウント値を大きくし、基準画像の画像データが圧縮される時にカウント値をゼロにクリアする。そして、カウンタ回路１３１０は、カウント値が予め定めた値（例えば９）になると、スイッチ１３０８をＡ側に切り替え、スイッチ１３０９をＯＮにして、画像メモリ１３０２から読み出される新たなフレームに対し、上述の基準画像を圧縮する手順の動作がなされるようにする。基準画像メモリ１３０３の基準画像の更新が終了すると、カウンタ回路１３１０は、カウント値を０にし、スイッチ１３０８をＢに切り替え、スイッチ１３０９をＯＦＦに戻して、上述の基準画像を圧縮する手順の動作がなされるようにする。
【００９９】
検出器１３０４は、基準画像の圧縮がなされる毎に圧縮データのデータサイズを画像圧縮器１３０５から読み出して記憶する。また、検出器１３０４は、差分画像データが圧縮されると圧縮データのデータサイズを画像圧縮器１３０５から読み出す。そして、差分画像の圧縮データのサイズと、記憶している基準画像の圧縮データのサイズとを比較する。差分画像の圧縮データのサイズの方が大きい場合、検出器１３０４は、画像圧縮器１３０５に格納されている出力前の圧縮データを消去し、スイッチ１３０８をＡに切り替え、スイッチ１３０９をＯＮにして、画像メモリ１３０２内の画像データが再び先頭から読み出されるようにする制御を行う。そして、これにより読み出される画像データに対し、上述の基準画像を圧縮する手順の動作がなされ、基準画像メモリ１３０３の基準画像が更新される。基準画像の更新が終了すると、検出器１３０４は、カウンタ回路１３１０のカウンタ回路値を０にクリアすると共に、スイッチ１３０８をＢ側、スイッチ１３０９をＯＦＦに切り替えて、上述の差分画像データを圧縮する手順の動作がなされるようにする。
【０１００】
なお、差分画像の圧縮データサイズが基準画像の圧縮データサイズよりも大きいことを検出した時には、画像圧縮器１３０５内の圧縮データはそのまま圧縮データ出力端子１３０７に出力し、次に読み出されるフレームの画像データに対して、上述の基準画像を圧縮する手順の動作を行うようにしてもよい。
【０１０１】
画像メモリ１３０２から読み出される画像の変化が、基準画像に対してある程度以上大きくなると、差分変換器１３０４により得た差分画像データを圧縮したときのデータサイズは、差分をとらずに元の画像をそのまま画像圧縮器１３０５で直接圧縮したときのデータサイズよりも大きくなってしまう。本実施形態の圧縮器２１では、上記の検出器１３１１を用いた制御により、この問題を解消し、圧縮データのデータサイズを小さく抑えることができる。
【０１０２】
図１４は、図１３の圧縮装置で生成された圧縮データを元に戻す伸張装置２２の構成を示すブロック図である。
【０１０３】
図示のように、この伸張装置２２は、圧縮データ入力端子１４０１、画像伸張器１４０２、画像メモリ１４０３、基準画像メモリ１４０４、合成演算器１４０５、画像データ出力端子１４０６、スイッチ１４０７および１４０８を有する。これらは、第１の実施形態で説明したもの（図１０）と同じ機能を有する。合成演算器１４０２としては、図１１または図１２に示したものを使用する。
【０１０４】
ただし、本実施形態の伸張装置２２では、画像伸張器１４０２で伸張された画像データの内、基準画像を表すもののみを用いて、基準画像メモリ１３０３の基準画像を更新する。
【０１０５】
この画像伸張装置２２では、圧縮データが基準画像データを圧縮したものである場合は、スイッチ１４０７およびスイッチ１４０８を共にＡ側に切り替える。そして、圧縮データ入力端子１４０１から入力された圧縮データを画像伸張器１４０２により伸張して元の画像に復元し、基準画像メモリ１４０４に記憶するとともに、画像データ出力端子１４０６へ出力する。
【０１０６】
圧縮データが差分画像データを圧縮したものである場合は、スイッチ１４０７およびスイッチ１４０８を共にＢ側に切り替える。そして、圧縮データ入力端子１４０１から入力された圧縮データを画像伸張器１４０２により伸張して、画像メモリ１４０３に記憶する。続いて、基準画像メモリ１４０４に記憶されている基準画像データと画像メモリ１４０３に記憶されているデータとを順次読み出して合成演算器１４０５に入力して両画像を合成して元の画像に復元し、画像データ出力端子１４０６へ出力する。
【０１０７】
ここで、圧縮データ入力端子１４０１に入力される圧縮データが基準画像データおよび差分画像データのいずれに対応するものであるかは、圧縮装置２１が、出力する圧縮データのフレームの先頭部分などに付加する識別データにより識別される。伸張装置２２はこの識別データを検出して動作の切り替えを行う。
【０１０８】
【発明の効果】
以上で説明したように、本発明によれば、動画像の画像データを少ない演算量で高い圧縮効率が得られるように圧縮でき、画像内の静止した領域や動いている領域の有無による画質の劣化を小さく抑えることが可能な画像データ圧縮装置および画像データ伸張装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る圧縮装置の構成を示すブロック図。
【図２】差分演算器の第１の構成例を示すブロック図。
【図３】差分演算器の除算器の出力する差分データの一例を示す図。
【図４】差分演算器の第２の構成例を示すブロック図。
【図５】図２の差分演算器の入力−出力特性を示した図。
【図６】図４の差分演算器の入力−出力特性の第１の例を示した図。
【図７】図４の差分演算器の入力−出力特性の第２の例を示した図。
【図８】図４の差分演算器の入力−出力特性の第３の例を示した図。
【図９】差分演算器の第３の構成例を示すブロック図。
【図１０】本発明の第１の実施形態に係る伸張装置の構成を示すブロック図。
【図１１】合成演算器の第１の構成例を示すブロック図。
【図１２】合成演算器の第２の構成例を示すブロック図。
【図１３】本発明の第２の実施形態に係る圧縮装置の構成を示すブロック図。
【図１４】本発明の第２の実施形態に係る伸張装置の構成を示すブロック図。
【符号の説明】
１１、２１…圧縮装置、１２、２２…伸長装置、１０２、１００３、１３０２、１４０３…画像メモリ、１０３、１００４、１３０３、１４０４…基準画像メモリ、１０４、１３０４…差分変換器、１０５、１３０５…画像圧縮器、１００５、１４０５…合成演算器、１００２、１３０６…画像伸張器、２０１、１３１２…減算器、２０２、１１０４…除算器、１１０５…加算器、２０３…オフセット加算器、９０１…オフセット付変換テーブル、４０１…変換テーブル、４０２…変換器、１１０３…オフセット減算器、１２０３…逆変換テーブル、１１０６…制限器。
【図１】
0003877427.tif 000002
【図２】
0003877427.tif 000003
【図３】
0003877427.tif 000004
【図４】
0003877427.tif 000005
【図５】
0003877427.tif 000006
【図６】
0003877427.tif 000007
【図７】
0003877427.tif 000008
【図８】
0003877427.tif 000009
【図９】
0003877427.tif 000010
【図１０】
0003877427.tif 000011
【図１１】
0003877427.tif 000012
【図１２】
0003877427.tif 000013
【図１３】
0003877427.tif 000014
【図１４】
0003877427.tif 000015