(57)【特許請求の範囲】
【請求項１】
フレーム内符号化処理により時間方向の画像相関性を考慮せずに圧縮符号化が行われた初期の圧縮画像を追圧縮する画像圧縮装置であって、
前記初期の圧縮画像を同期信号に基づきフレーム単位で記憶する画像記憶部と、
前記フレームを更に細分した処理単位で前記圧縮画像を抽出する画像抽出部と、
前記処理単位毎、あるフレームとその前のフレームとの同位置にある前記圧縮画像を比較するフレーム間差分計測部と、
前記フレーム間差分計測部により生成されるヘッダ情報と前記差分値の符号化を行って追圧縮を行う符号化データ形成部と、
を備えたことを特徴とする画像圧縮装置。
【請求項２】
前記初期の圧縮画像は、原画像のフレームを分割したブロック単位で離散コサイン演算を行うフレーム内ブロックＤＣＴにより時間方向の画像相関性を考慮せずに圧縮符号化が行われたものであり、
前記フレーム間差分計測部は、
前記処理単位毎、あるフレームとその前のフレームとの同位置を基準に当該位置に格納された前記初期の圧縮画像のビット列を前記画像記憶部から読み出して、所定の方向に所定の量だけビットシフトさせて順次比較することで前記差分値が最小となる位置を探索することを特徴とする請求項１に記載の画像圧縮装置。
【請求項３】
前記初期の圧縮画像は、原画像のフレームを分割したブロック単位で離散コサイン演算を行うフレーム内ブロックＤＣＴにより時間方向の画像相関性及び同一フレーム内のブロック間の画像相関性を考慮せずに圧縮符号化が行われたものであり、
前記画像圧縮装置は、前記処理単位毎、前記初期の圧縮画像のビット列を前記画像記憶部から読み出して、同じフレームの中で所定の方向に所定の量だけビットシフトさせ順次比較することで差分値が最小となる位置を探索するフレーム内差分計測部を更に備え、
前記符号化データ形成部は、当該フレーム内差分計測部ならびに前記フレーム間差分計測部によりそれぞれ生成されるヘッダ情報と前記差分値の符号化を行って追圧縮を行うことを特徴とする請求項１または２に記載の画像圧縮装置。
【請求項４】
原画像のフレームを分割したブロック単位で離散コサイン演算を行うフレーム内ブロックＤＣＴにより時間方向の画像相関性を考慮せずに圧縮符号化が行われた初期の圧縮画像を追圧縮する画像圧縮装置に用いられる画像圧縮方法であって、
画像記憶装置に格納された前記初期の圧縮画像と共に記録されている同期信号からフレームの先頭を検知するステップと、
前記フレームを更に細分した処理単位で前記圧縮画像を抽出するステップと、
前記処理単位毎、前記初期の圧縮画像のビット列を前記画像記憶装置から読み出して、あるフレームとその前のフレームとの同位置にある前記ビット列を所定の方向に所定の量だけビットシフトさせながら順次比較することで差分値が最小となる位置を探索するステップと、
前記処理単位毎、前記初期の圧縮画像のビット列を前記画像記憶装置から読み出して、同じフレームの中で所定の方向へ所定の量だけビットシフトさせて順次比較することで差分値が最小となる位置を探索するステップと、
前記位置を探索することによりそれぞれ生成されるヘッダ情報と前記差分値の符号化を行って追圧縮を行うステップと、
を含むことを特徴とする画像圧縮方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、ＤＶ等による初期の圧縮画像を追圧縮する用途に用いて好適な、画像圧縮装置およびその方法に関する。
【背景技術】
【０００２】
家庭用デジタルビデオの規格であるベータマックス、Ｓ−ＶＨＳ、Ｈｉ８等は全てアナログ記録されているが、ＤＶはこの記録方式をデジタル化したもので、高い画質が得られることから現行家庭用デジタルビデオの標準フォーマット規格として普及している（例えば、非特許文献１参照）。
【非特許文献１】Ｓｐｅｃｉｆｉｃａｔｉｏｎｓ  ｏｆ  Ｃｏｎｓｕｍａｅｒ−Ｕｓｅ  Ｄｉｇｉｔａｌ  ＶＣＲｓ  Ｄｅｃｅｍｂｅｒ、１９９４  ＨＤ  ＤＩＧＩＴＡＬ  ＶＣＲ  ＣＯＮＦＥＲＥＮＣＥ
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記したＤＶ等、時間方向の画像相関性を考慮せずに圧縮符号化を行ったデータ、およびその伝送においては、空間内の相関性のみを利用するために圧縮効率は低い。
このように記録されたデータに関し、より高い圧縮効率を得るために時間方向の相関性を利用する場合、更なる量子化（離散コサイン演算を行って得られるＤＣＴ変換係数を、視覚を考慮したマトリクステーブルを用いて変換）を行うために、データ受信時、あるいは利用時に初期記録データからの品質劣化を伴う。
【０００４】
本発明は上記事情に鑑みてなされたものであり、ＤＶテープ等のように時間方向の相関性を考慮せずに記録された画像データのアーカイブや伝送などにおいて、初期記録時からの劣化を生じることなく、データ量を削減することののできる、画像圧縮装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記した課題を解決するために本発明は、フレーム内符号化処理により時間方向の画像相関性を考慮せずに圧縮符号化が行われた初期の圧縮画像を追圧縮する画像圧縮装置であって、前記初期の圧縮画像を同期信号に基づきフレーム単位で記憶する画像記憶部と、前記フレームを更に細分した処理単位で前記圧縮画像を抽出する画像抽出部と、前記処理単位毎、あるフレームとその前のフレームとの同位置にある前記圧縮画像を比較するフレーム間差分計測部と、前記フレーム間差分計測部により生成されるヘッダ情報と前記差分値の符号化を行って追圧縮を行う符号化データ形成部と、を備えたことを特徴とする。
【０００６】
また、本発明において、前記初期の圧縮画像は、原画像のフレームを分割したブロック単位で離散コサイン演算を行うフレーム内ブロックＤＣＴにより時間方向の画像相関性を考慮せずに圧縮符号化が行われたものであり、前記フレーム間差分計測部は、前記処理単位毎、あるフレームとその前のフレームとの同位置を基準に当該位置に格納された前記初期の圧縮画像のビット列を前記画像記憶部から読み出して、所定の方向に所定の量だけビットシフトさせて順次比較することで前記差分値が最小となる位置を探索することを特徴とする。
【０００７】
また、本発明において、前記初期の圧縮画像は、原画像のフレームを分割したブロック単位で離散コサイン演算を行うフレーム内ブロックＤＣＴにより時間方向の画像相関性及び同一フレーム内のブロック間の画像相関性を考慮せずに圧縮符号化が行われたものであり、前記画像圧縮装置は、前記処理単位毎、前記初期の圧縮画像のビット列を前記画像記憶部から読み出して、同じフレームの中で所定の方向に所定の量だけビットシフトさせ順次比較することで差分値が最小となる位置を探索するフレーム内差分計測部を更に備え、前記符号化データ形成部は、当該フレーム内差分計測部ならびに前記フレーム間差分計測部によりそれぞれ生成されるヘッダ情報と前記差分値の符号化を行って追圧縮を行うことを特徴とする。
【０００８】
上記した課題を解決するために本発明は、原画像のフレームを分割したブロック単位で離散コサイン演算を行うフレーム内ブロックＤＣＴにより時間方向の画像相関性を考慮せずに圧縮符号化が行われた初期の圧縮画像を追圧縮する画像圧縮装置に用いられる画像圧縮方法であって、画像記憶装置に格納された前記初期の圧縮画像と共に記録されている同期信号からフレームの先頭を検知するステップと、前記フレームを更に細分した処理単位で前記圧縮画像を抽出するステップと、前記処理単位毎、前記初期の圧縮画像のビット列を前記画像記憶装置から読み出して、あるフレームとその前のフレームとの同位置にある前記ビット列を所定の方向に所定の量だけビットシフトさせながら順次比較することで差分値が最小となる位置を探索するステップと、前記処理単位毎、前記初期の圧縮画像のビット列を前記画像記憶装置から読み出して、同じフレームの中で所定の方向へ所定の量だけビットシフトさせて順次比較することで差分値が最小となる位置を探索するステップと、前記位置を探索することによりそれぞれ生成されるヘッダ情報と前記差分値の符号化を行って追圧縮を行うステップと、を含むことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、フレーム間差分計測部が、フレームを更に細分した処理単位であるフレームとその前のフレームとの同位置にある圧縮画像を比較して差分値が最小となる位置を探索し、当該フレーム間差分計測部により生成されるヘッダ情報と差分値の符号化を行って追圧縮を行うことで、フレーム内符号化など軽微な圧縮で記録された初期形式の圧縮画像から画質劣化を生じることなく、データサイズを小さくすることができる。また、初期記録方式の復号を必要としないため、処理負荷を低く抑制することも可能である。
【００１０】
また、本発明によれば、フレーム間差分計測部が、フレーム間の同位置を基準に当該位置に格納された圧縮画像を所定の方向に所定の量だけビットシフトさせて比較することで、同位置のみならず近傍位置との比較が行え、元の画像の空間的位置との近似がはかれ、差分が最小になる位置検出のための信頼性が向上する。更に、フレーム内差分計測部が、同じフレームの中における画像を所定の方向に所定の量だけビットシフトさせ比較することで差分値が最小となる位置を探索することで、相関が低い場合のデータサイズの減少も可能とする。
また、符号化データ形成部が、フレーム内差分計測部ならびにフレーム間差分計測部によりそれぞれ生成されるヘッダ情報と差分値の符号化を行って追圧縮を行うことで、一層効率的な追圧縮が可能になる。
【発明を実施するための最良の形態】
【００１１】
図１、図２は、本発明が実施されるＤＶ機器の内部構成を示すブロック図であり、圧縮系（図１）と復元系（図２）の内部構成がそれぞれの機能ブロックに区分され示されている。
図１に示される圧縮系は、ヘッダ・ＡＶ分離部１と、ヘッダ処理部２と、ビデオ追圧縮部３と、オーディオ追圧縮部４と、追圧縮データ多重化部５で構成され、図２に示される復元系は、追圧縮データ分離部６と、ヘッダ処理部７と、ビデオ復元部８と、オーディオ復元部９と、ヘッダ・ＡＶ多重化部１０で構成される。
【００１２】
図１に示される圧縮系は、ＤＶ等による初期記録画像（軽い圧縮処理済み）から、ヘッダ・ＡＶ分離部１により、ヘッダ、ビデオ、オーディオのそれぞれのメデイアに分離し、それぞれ、ヘッダ処理部２、ビデオ追圧縮部３、オーディオ追圧縮部４でそれぞれのメディアに追圧縮を行い、追圧縮データ多重化部５でそれらを多重化し、初期記録画像の追圧縮データとして出力している。
一方、図２に示される復元系は、追圧縮データ分離部６に入力される追圧縮データから多重分離を行い、ヘッダ、ビデオ、オーディオの各メディアについて、それぞれヘッダ処理部２、ビデオ追圧縮部３、オーディオ追圧縮部４で復元し、更に、ヘッダ・ＡＶ多重化部１０で多重化を行い、復元データとして出力する。
【００１３】
上記した構成による各メディアの追圧縮においては、メディア毎に分離されたことによる相関性の向上を利用した各種圧縮処理が可能であり、ＬＺＡ：Lempel-Ziv Huffman変換など、単純な２元符号の情報量圧縮によっても追圧縮の効果は得られる。
更に、メデイア固有の特性を利用することにより、一層高効率な追圧縮が可能であり、ここでは、ビデオ追圧縮部３について、図３を参照しながらその詳細について説明する。
【００１４】
図３は、本発明の画像圧縮装置の内部構成を機能展開して示したブロック図である。本発明の画像圧縮装置としてのビデオ追圧縮部３は、フレーム／フィールドメモリ３１と、ビデオスライス抽出部３２と、処理ブロック抽出部３３と、フレーム／フィールド遅延３４と、ビットシフト部３５と、フレーム／フィールド内／間差分計測部３６と、最小値判定部３７と、ビットシフト値・ブロック長・フレーム内／間符号化部３８と、ビデオデータ符号化部３９と、処理ブロック符号化データ形成部４０で構成される。
【００１５】
フレーム／フィールドメモリ３１は、本発明の構成要件の一つである画像記憶装置であり、ＤＶ等による初期の圧縮画像を同期信号（フレーム同期）に基づきフレーム単位で格納する。なお、フィールド単位にしても良い。また、ビデオスライス抽出部３２と、処理ブロック抽出部３２は、本発明の構成要件の一つである画像抽出部として機能し、フレームをビデオスライスに、ビデオスライスを更にブロックへと細分した処理単位でフレーム／フィールドメモリ３１に格納された初期圧縮画像を抽出し、フレーム／フィールド内／間差分計測部３６およびビットシフト値・ブロック長・フレーム内／間符号化部３８の一方の入力として供給する。
ところで、フレーム／フィールドメモリ３１に格納された初期圧縮画像は、更に、フレーム／フィールド遅延３４、ビットシフト部３５経由で、フレーム／フィールド内／間差分計測部３６の他方の入力としても供給されている。
【００１６】
フレーム／フィールド内／間差分計測部３６は、本発明の構成要件の一つであるフレーム間（内）差分計測部として機能し、処理単位毎、ある特定のフレームとその前のフレームとの同位置にある初期圧縮画像を比較し、また、同じフレームの中でビットシフトしたものと順次比較し、最小値判定部３７を介して差分値が最小となる位置を探索して、ビットシフト値・ブロック長・フレーム内／間符号化部３８の一方の入力として供給する。
ビットシフト値・ブロック長・フレーム内／間符号化部３８の他方の入力として、ビデオデータ符号化部３９から初期圧縮された実データが供給されている。ビットシフト値・ブロック長・フレーム内／間符号化部３８は、フレーム／フィールド内／間差分計測部３６により生成されるヘッダ情報と差分値の符号化を行って追圧縮を行う。なお、この追圧縮は、ビデオスライス内のブロックを最小単位として、ビデオスライスの数だけループして実行される。
【００１７】
図４に、本発明の画像圧縮方法に従う追圧縮の手順がフローチャートで示され、また、図５に、その際の各処理単位を画像フレーム上で想定される位置にマッピングした例が示されている。
以下、図４、図５を参照しながら、本発明の画像圧縮方法、および図３に示す本発明実施形態の動作について詳細に説明する。
【００１８】
まず、画像フレームの先頭は、初期圧縮データに記録されている同期信号により検知可能であり、その初期圧縮画像は、同期信号と共にフレーム／フィールドメモリ３１に格納されている（Ｓ４１）。ここでは、ビデオスライス抽出部３２と処理ブロック抽出部３２により、初期圧縮データの原画像の構造からスライスの分割単位を意識して更に細分（スライス内ブロック）した処理単位に分割して管理することとする（Ｓ４２）。
【００１９】
まず、フレーム／フィールド内／間差分計測部３６は、処理単位毎、ある特定のフレームと、前のフレームの同等位置を基準に、フレーム／フィールドメモリ３１に格納された初期圧縮画像（ビット列）を読み出して比較する。また、ビットシフト部３５により前後にビットシフトさせて更なる比較を順次行い、最小値判定部３７により、差分が最小となる位置を探索する（Ｓ４３、Ｓ４４）。また、フレーム／フィールド内／間差分計測部３６は、同じフレーム内でもビットシフト部３５で処理単位毎、前方向にビットシフトさせて順次比較を行い、差分最小となる位置を探索する（Ｓ４５、Ｓ４６）。
【００２０】
なお、フレーム／フィールド内／間差分計測部３６による位置探索は、ビデオスライス内のブロックを最小単位として、ビデオスライスの数だけループして実行され（Ｓ４７）、最終的に、ビットシフト量や差分値を合計して最も情報量が少なくなるモードを選択して追圧縮が行なわれる（Ｓ４８）。すなわち、ビットシフト値・ブロック長・フレーム内／間符号化部３８は、ビデオデータ符号化部３９から実データを得、フレーム／フィールド内／間差分計測部３６により生成されるヘッダ情報と差分値の符号化を行って追圧縮を行う。
【００２１】
例えば、ビデオの場合、画像フレーム構造を有しているが、初期記録段階ではフレーム内の相関性のみを利用した圧縮を行っている。一般にビデオ素材においては、フレーム間の近傍位置における相関が高く、特にフレーム単位で均一な情報量に抑制する制御を行う初期記録方式においては、この傾向が顕薯である。そこで、本発明は、画像フレームを小さな処理単位にビット列上で分割し、この単位でフレーム間差分計測することにより、エントロピーの減少が期待できるものである。
なお、上記処理における処理単位は、元の画像の空間的位置との同期を厳密に取るものではないため、前フレームの同位置のみならず、一定量のビットシフトを行った後に差分をとることにより、より小さなエントロピーを得ることが可能となる。さらに、画像フレーム間の相関が低い場合には、画像フレーム内での相関を利用することにより、最低限の追圧縮効果は期待できる。追圧縮結果として、フレーム内、フレーム間の識別、ビットシフト値、差分データの符号化を行うことで追圧縮を行う。
【００２２】
画像フレームに加えて、画像フレームを分割した単位、例えばスライスなどで、同期取得が可能な記録形式では、この同期位置を利用して処理単位を決めることにより、ビットシフト値を小さく抑制し、差分信号のエントロピーを一層小さくすることが可能である。
【００２３】
以上説明のように、本発明は、ＤＶテープ等のように時間方向の相関性を考慮せずに記録された画像データのアーカイブや伝送などにおいて、初期圧縮された画像フレームを小さな処理単位にビット列上で分割し、この単位でフレーム間差分を計測して追圧縮することで、初期記録時からの劣化を生じることなく、データ量を削減するものである。また、初期記録方式の復号を必要としないため、処理負荷を低く抑制することも可能である。なお、本発明は、ＤＶテープ（ＳＤ／ＨＤＴＶ）、ＳＤＴＩテープ等のアーカイブ（圧縮解凍）や伝送システムに適用が可能である。
【図面の簡単な説明】
【００２４】
【図１】本発明が実施されるＤＶ機器の圧縮系の内部構成を示すブロック図である。
【図２】本発明が実施されるＤＶ機器の復号系の内部構成を示すブロック図である。
【図３】本発明の画像圧縮装置の一実施形態を示すブロック図である。
【図４】本発明の画像圧縮方法の手順を説明するために引用したフローチャートである。
【図５】本発明実施形態の動作概念を示す図である。
【符号の説明】
【００２５】
３…ビデオ追圧縮部（画像圧縮装置）、３１…フレーム／フィールドメモリ（画像記憶部）、３２…ビデオスライス抽出部（画像抽出部）、３３…処理ブロック抽出部（画像抽出部）、３４…フレーム／フィールド遅延、３５…ビットシフト部、３６…フレーム／フィールド内／内差分計測部（フレーム間（内）差分計測部）、３７…最小値判定部、３８…ビットシフト値・ブロック長・フレーム内／間符号化部、３９…ビデオデータ符号化部、４０…処理ブロック符号化データ形成部（符号化データ形成部）
【図１】
0004799813.tif 000002
【図２】
0004799813.tif 000003
【図３】
0004799813.tif 000004
【図４】
0004799813.tif 000005
【図５】
0004799813.tif 000006