(57)【要約】【課題】  任意の動画フレームにおいて高解像度の静止画を得ることができ、かつ動画に劣化が生じず、記録するデータ量を従来と比べて少なくする画像符号化方法を提案する。【解決手段】  フレーム毎に高解像度の静止画を記録していき、高解像度の静止画に階層符号化を施して画像データをサブバンドに分割し、動画フレームを構成するサブバンドに可逆圧縮を施して、残るサブバンドに非可逆符号化を施す。【選択図】        図１
2005159859.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力してフレーム内圧縮し符号化する画像符号化方法において、
入力された画像データを可逆演算でサブバンド分割し、
生成されたサブバンドのうち、一定以下の低周波成分を含むサブバンドに可逆圧縮を施し、
残るサブバンドに非可逆圧縮を施すことを特徴とする画像符号化方法。
【請求項２】
請求項１において、上記可逆演算は、整数のデータに整数の乗算係数とシフト演算及び丸め処理を用いることで、演算有効桁の打ち切り誤差を防止することを特徴とする画像符号化方法。
【請求項３】
請求項２において、生成されたサブバンドを値１の量子化ステップで量子化し、さらに、上記非可逆圧縮の処理は、前記残るサブバンドの係数ビットについて、一定の下位ビットを打ち切ることを特徴とする画像符号化方法。
【請求項４】
請求項３において、上記画像符号化方法は、ＪＰＥＧ２０００方式であることを特徴とする画像符号化方法。
【請求項５】
請求項２において、上記可逆圧縮の処理は、上記一定以下の低周波成分を含むサブバンドについて、値１の量子化ステップで量子化し、上記非可逆圧縮の処理は、上記残るサブバンドについて、１を超える量子化ステップで量子化することを特徴とする画像符号化方法。
【請求項６】
請求項５において、上記量子化ステップを、画像データの符号化で出力されるデータファイルのファイルヘッダーに記録することを特徴とする画像符号化方法。
【請求項７】
請求項６において、上記画像符号化方法は、ＪＰＥＧ２０００方式であることを特徴とする画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画とそれより高解像度の静止画が混在して含まれている画像データを入力しフレーム内圧縮する画像符号化装置にあって、入力された画像に離散ウェーブレット変換を施す画像符号化方法に関する。
【背景技術】
【０００２】
近年、動画と静止画の両方を撮影する需要が高まっている。たとえば、動画の撮影を行うビデオカメラに、デジタルカメラのような静止画の撮影機能を持つ機種が登場している。このビデオカメラは、動画の撮影中において静止画用のレリーズが押下された場合、動画の１フレームを切り出して、切り出した静止画を動画とは異なる記録媒体に記録する。こういった静止画は、プリンタで印刷する用途があるため、通常、動画よりも高解像度で記録される。
【０００３】
一方、撮影された動画のデータと静止画のデータを別々のデータファイルで管理することは煩雑である。逆に言えば、動画データと静止画データとを１つのデータファイルで管理した方が、利便性が良い。従来は、動画のデータと静止画のデータを１つのデータファイルとして管理するために、動画データのみ管理し、その動画の１フレームから静止画を生成することが行われていた。
【０００４】
ここで、記録される動画は、後々生じる静止画の切り出しを鑑みて、フレーム毎にまとまって記録されることが望ましい。記録される画像を圧縮符号化する場合、フレーム毎に圧縮処理を行うと、圧縮されたデータを１フレーム毎に切り出して復号することが容易にできる。
【０００５】
静止画あるいは動画の１フレームを圧縮符号化する画像符号化方式として、ＪＰＥＧ２０００がＩＳＯ／ＩＥＣで規格化されている（ＩＳＯ／ＩＥＣ１５４４４−１：非特許文献1参照。）。ＪＰＥＧ２０００は、解像度に関する階層符号化を行うため、高解像度の画像データと低解像度の画像データをまとめて符号化できる。またさらに、画像に可逆圧縮と非可逆圧縮のいずれかを共通のフォーマット内で選択できる。図７は可逆圧縮を行う場合におけるＪＰＥＧ２０００の符号化の処理手順を示したブロック図である。以下、ＪＰＥＧ２０００の可逆圧縮の処理について詳細に説明する。
【０００６】
ＪＰＥＧ２０００は、はじめに、入力画像の各コンポーネントに含まれる画素の値にＤＣレベルシフトという処理を行って、符号付きの整数に変換する。シフトする量は、画素値のビット精度から算出される。
【０００７】
ＤＣレベルシフトされた画像データは、コンポーネント変換を施され、輝度成分と色差成分に変換される。
【０００８】
コンポーネント変換された画像データは、コンポーネント毎に２次元のウェーブレット変換を施される。ＪＰＥＧ２０００のウェーブレット変換には、リフティング演算が採用されている。リフティング演算とは、１次元に連なるデータにおいて両隣のデータの和に係数を掛けたものを中心の係数に加える演算を繰り返すことで、フィルタリングとサブサンプリングを同時に行う。ＪＰＥＧ２０００の規格に定められている可逆フィルタのリフティング演算（順変換）は、下記の漸化式で表される。
【０００９】
【数１】
2005159859.tif 000003
【００１０】
式１に示した漸化式は、整数の加減算、シフト算、Ｆｌｏｏｒ関数のみで構成されているため、小数演算を行わず、出力される係数は整数となる。よって、演算前の値と演算後の値との関係は可逆性を有する。リフティング演算の結果、画素の座標が偶数の場合は低周波成分、画素の座標が奇数の場合は高周波成分が表れる。ウェーブレット変換は、上記の漸近式に示されるリフティング演算を１次元方向に繰り返し行い、画像データを低周波成分と高周波成分とに分割する。ＪＰＥＧ２０００は、この演算を左端から右端に向かう横方向の画素ラインに順次適用し、さらに上端から下端に向かう縦方向の画素ライン毎に順次適用することで、画像データを２次元のサブバンドに分割する。図８は、ウェーブレット変換によって縦４画素横４画素の画像がサブバンドに分割される様子を示した模式図である。以下、図８を用いてウェーブレット変換の処理を説明する。
【００１１】
図８において、図中のＬ、Ｈは係数に含まれる周波数成分を表しており、Ｌは低周波成分、Ｈは高周波成分を表している。また、カッコ内に示された数字は、元画像における画素の座標を表しており、左側の値が上端から下端に向かう縦方向の座標、右側の値が左端から右端に向かう横方向の座標を表している。ウェーブレット変換は、はじめに上端から下端に向かう縦の画素ライン毎に左端から右端まで１次元のリフティング演算が行われる。このリフティング演算の結果を図８（ａ）に示す。リフティング演算の後、演算結果をＬ、Ｈの成分ごとにまとめる並び替えを行う。係数を並び替えた結果を図８（ｂ）に示す。続いて、左端から右端に向かう横の画素ライン毎に上端から下端まで１次元のリフティング演算を行う。この結果を図８（ｃ）に示す。続いて、縦の画素ライン毎の演算と同様に、演算結果をＬ、Ｈの成分ごとにまとめる並び替えを行う。この結果を図８（ｄ）に示す。
【００１２】
ウェーブレット変換によって生成されたサブバンド係数は、サブバンド毎に量子化ステップを設定して量子化できる。可逆圧縮の場合、全てのサブバンドの係数は、値１の量子化ステップで量子化される。このとき、整数となったサブバンド係数を値１の量子化ステップで量子化するので、量子化された係数は量子化前の係数と変わらない。よって、可逆変換の量子化処理は、事実上量子化しないことを意味する。
【００１３】
量子化されたサブバンド係数は、さらにコードブロックに分割され、コードブロック単位に係数ビットモデリングを施される。まず、コードブロックについて、図９を用いて説明する。なお、図９では、１枚の画像を構成する４つのサブバンドに含まれるコードブロックについて説明している。
【００１４】
コードブロックは、図９で示された４つのサブバンド（図中のＬＬサブバンド、ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンド）の各左上端を原点に、サブバンド係数を横幅：２ｘｃｂ、縦幅：２ｙｃｂのブロックに分割する。ここでｘｃｂ、ｙｃｂは、２〜１０の整数で、ｘｃｂ＋ｙｃｂ≦１２を満たす任意の値である。
【００１５】
次に、係数ビットモデリングの処理について説明する。サブバンド係数を含む各コードブロックは、各係数を符号と絶対値に分けて処理され、その絶対値に含まれるビットについてビットプレーンごとに所定の順序で処理されていく。
【００１６】
図１０は、縦８係数横８係数のコードブロックが、各係数の正負の符号と、各係数の絶対値におけるＭＳＢからＬＳＢにかけての８つのビットプレーンとに分割されている様態を示している。係数ビットモデリングでは、ＭＳＢからＬＳＢにかけての全てのビットプレーンについて、プレーンごとに処理が進められる。
【００１７】
係数ビットモデリングでは、ビットプレーンに含まれる各ビットを、３つの処理パスを用いて、所定の順序で走査する。
【００１８】
係数ビットモデリングにおける３つの処理パスで処理されたビットは、全て算術符号化される。全てのビットが算術符号化されるため、係数ビットモデリング〜算術符号化にかけての処理は、データの損失が無く、可逆性が保たれる。
【００１９】
算術符号化された符号は、符号の順序を整列して、解像度成分ごとに集められたり、画像内の小領域ごとに集められたり、あるいは画像のＭＳＢ〜ＬＳＢを複数のレイヤーに分割して個々に集められる。
【００２０】
以上のように、ＪＰＥＧ２０００の可逆圧縮は、一連の処理に用いられる演算の係数を整数のみに限定し、さらに事実上量子化を行わないようにすることで、処理の可逆性を保っている。
【００２１】
また、ＪＰＥＧ２０００が規格化された後、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００（ＪＰＥＧ２０００  Ｐａｒｔ３）と呼ばれる連続画像の符号化方法がＩＳＯ／ＩＥＣにて規格化された（ＩＳＯ／ＩＥＣ１５４４４−３：非特許文献２参照。）。Ｍｏｔｉｏｎ  ＪＰＥＧ２０００は、ＪＰＥＧ２０００  Ｐａｒｔ１の方式で圧縮符号化された個々の画像データに、連続画像の再生に必要な各種属性情報を付加して記録する規格である。
【非特許文献１】ＩＳＯ／ＩＥＣ−１５４４４−１：ＪＰＥＧ２０００規格書  ｐａｒｔ−１
【非特許文献２】ＩＳＯ／ＩＥＣ−１５４４４−３：ＪＰＥＧ２０００規格書  ｐａｒｔ−３
【発明の開示】
【発明が解決しようとする課題】
【００２２】
従来、高解像度の静止画と低解像度の動画の両方を記録する場合、静止画と動画を別々の記録媒体あるいは記録領域に記録されていた。これでは、１ヶ所の撮影で動画とともに静止画を撮影しても、１つの記録媒体の中にまとまった１つのファイルとして記録されず、管理しづらかった。
【００２３】
また、静止画と動画の両方を記録する場合、撮影される静止画は、撮影時に指定したタイミングのフレームのみを記録していた。このため、撮影された動画の再生時に、任意の動画フレームにおける高解像度の静止画を得ることができなかった。
【００２４】
撮影された動画の再生時に、任意の動画フレームにおける高解像度の静止画を得るためには、全てのフレームについて高解像度の静止画を記録しておき、低解像度の動画フレームについては、高解像度の静止画における低周波成分から抽出する方法がとられていた。
【００２５】
しかし、全てのフレームに対して高解像度の静止画を記録すると、記録するデータ量が大きい。そこで従来、高解像度成分の静止画を圧縮して記録していた。ここで、高解像度成分の静止画を可逆圧縮すると、画質劣化は生じないが記録するデータ量はなお大きく、実用的でなかった。また、高解像度の静止画を非可逆圧縮すると、静止画に画質劣化が生じるだけでなく、静止画の低周波成分として抽出される動画フレームに画質劣化が生じていた。
【００２６】
本発明は、上記問題点を鑑みてなされたものであり、任意の動画フレームにおいて高解像度の静止画を得ることができ、かつ動画に劣化が生じず、記録するデータ量を従来と比べて少なくすることのできる画像符号化方法を提供することを目的としている。
【課題を解決するための手段】
【００２７】
本発明は上記課題を解決するために、フレーム毎に高解像度の静止画を記録していき、高解像度の静止画に階層符号化を施して画像データをサブバンドに分割し、動画フレームを構成するサブバンドに可逆圧縮を施して、残るサブバンドに非可逆符号化を施すことを特徴とする。
【００２８】
上記の構成を改めて以下（１）〜（７）に整理して示す。
【００２９】
（１）画像データを入力してフレーム内圧縮し符号化する画像符号化方法において、
入力された画像データを可逆演算でサブバンド分割し、
生成されたサブバンドのうち、一定以下の低周波成分を含むサブバンドに可逆圧縮を施し、
残るサブバンドに非可逆圧縮を施すことを特徴とする画像符号化方法。
【００３０】
（２）上記（１）において、上記可逆演算は、整数のデータに整数の乗算係数とシフト演算及び丸め処理を用いることで、演算有効桁の打ち切り誤差を防止することを特徴とする画像符号化方法。
【００３１】
（３）上記（２）において、生成されたサブバンドを値１の量子化ステップで量子化し、さらに、上記非可逆圧縮の処理は、前記残るサブバンドの係数ビットについて、一定の下位ビットを打ち切ることを特徴とする画像符号化方法。
【００３２】
（４）上記（３）において、上記画像符号化方法は、ＪＰＥＧ２０００方式であることを特徴とする画像符号化方法。
【００３３】
（５）上記（２）において、上記可逆圧縮の処理は、上記一定以下の低周波成分を含むサブバンドについて、値１の量子化ステップで量子化し、上記非可逆圧縮の処理は、上記残るサブバンドについて、１を超える量子化ステップで量子化することを特徴とする画像符号化方法。
【００３４】
（６）上記（５）において、上記量子化ステップを、画像データの符号化で出力されるデータファイルのファイルヘッダーに記録することを特徴とする画像符号化方法。
【００３５】
（７）上記（６）において、上記画像符号化方法は、ＪＰＥＧ２０００方式であることを特徴とする画像符号化方法。
【発明の効果】
【００３６】
本発明によれば、高解像度の静止画と低解像度の動画の両方を記録する場合、フレーム毎に高解像度の静止画を記録していき、高解像度の静止画に階層符号化を施して画像データをサブバンドに分割し、動画フレームを構成するサブバンドに可逆圧縮を施して、残るサブバンドに非可逆符号化を施すことで、任意の動画フレームにおいて高解像度の静止画を得ることができ、かつ動画に劣化が生じず、静止画全体を可逆圧縮する場合より記録するデータ量を少なくすることができる。また、本発明の実施形態で記録された画像データは、ＪＰＥＧ２０００方式に準拠した全ての復号器で復号することができる。
【発明を実施するための最良の形態】
【００３７】
以下、本発明の実施の形態を詳細に説明する。
【実施例１】
【００３８】
本発明の第１の実施形態に係る画像符号化方法は、ＪＰＥＧ２０００方式に準拠して、入力された画像にウェーブレット変換を施すことでサブバンドに分割し、各サブバンドを量子化して、係数ビットモデリングを行い、係数ビットモデリングの際に動画フレームの復号に不要となるサブバンドの下位ビットを切り捨てて、残るビットを算術符号化するものである。
【００３９】
図１は、本発明の第１の実施形態に係る処理手順を説明するためのブロック図である。なお、本実施形態では、動画フレームの画像サイズに対して縦横各４倍の画像サイズである高解像度の静止画を入力すると仮定した説明を行う。以下、高解像度の静止画データが入力された場合における本発明の第２の実施形態に係る処理手順について説明する。
【００４０】
入力された画像データは、はじめにＪＰＥＧ２０００方式のＤＣレベルシフトとコンポーネント変換を施される。
【００４１】
コンポーネント変換された画像データは、ＪＰＥＧ２０００の５×３フィルタで２次元のウェーブレット変換を施されて、複数のサブバンドに分割される。図２は、画像データが２次元のウェーブレット変換により複数のサブバンドに分割された様態を示す模式図である。図２より、入力された高解像度の静止画が複数のサブバンドに分割されて、低解像度の動画フレームに必要な２ＬＬサブバンドと、高解像度の静止画にのみ必要な１ＨＬ、１ＬＨ、１ＨＨ、２ＨＬ、２ＬＨ、２ＨＨの各サブバンドとに分けられる。
【００４２】
生成された全てのサブバンドは、本実施形態においては値１の量子化ステップで量子化される。なお、この処理は、事実上量子化しないことを意味している。
【００４３】
量子化されたサブバンド係数は、コードブロックに分割され、コードブロック単位にＪＰＥＧ２０００方式の係数ビットモデリングを施される。
【００４４】
係数ビットモデリングされた係数ビットのうち、動画フレームの再生に必要でないサブバンドに含まれていた係数ビットについて、許容する画質劣化レベルに応じて下位ビットを切り捨てる。特定のコードブロックに含まれる下位ビットを切り捨てることで、特定のサブバンドに非可逆圧縮を施し、データ量を削減できる。
【００４５】
図３は、画像全体の係数ビットのうち、下位ビットの打ち切りを行う係数ビットを含むサブバンドと、下位ビットの打ち切りを行わない係数ビットを含むサブバンドとを図示した模式図である。図３において、動画フレームの再生に必要となる２ＬＬサブバンドに含まれていた係数ビットには下位ビットの打ち切りを行わず、他のサブバンド（１ＨＬ、１ＬＨ、１ＨＨ、２ＨＬ、２ＬＨ、２ＨＨの各サブバンド）に含まれていた係数ビットには下位ビットの打ち切りを行うことを示している。
【００４６】
残るビットには、ＪＰＥＧ２０００方式の算術符号化が施されて、出力される。
【００４７】
高解像度の静止画を動画のフレーム数だけ入力し、それぞれの画像に上述した画像処理を行うことで、可逆圧縮された低解像度の動画フレームを記録しつつ、非可逆圧縮された高解像度の静止画を記録することができ、高解像度の静止画全体を可逆圧縮することと比べて少ないデータ量で記録することができる。
【実施例２】
【００４８】
本発明の第２の実施形態に係る画像符号化方法は、入力された画像にウェーブレット変換を施すことでサブバンドに分割し、動画フレームの復号に必要となるサブバンドに値１の量子化ステップで量子化し、他のサブバンドに１以外の値の量子化ステップで量子化し、算術符号化するものである。図４は、本発明の第２の実施形態に係る処理手順を説明するためのブロック図である。なお、本実施形態では、動画フレームの画像サイズに対して縦横各４倍の画像サイズである高解像度の静止画を入力すると仮定した説明を行う。以下、高解像度の静止画が入力された場合における本発明の第２の実施形態に係る処理手順について説明する。
【００４９】
入力された画像データは、はじめにＪＰＥＧ２０００方式のＤＣレベルシフトとコンポーネント変換を施される。
【００５０】
コンポーネント変換された画像データは、ＪＰＥＧ２０００の５×３フィルタで２次元のウェーブレット変換を施されて、複数のサブバンドに分割される。分割されたサブバンドは、第１の実施形態で説明した、図２に示すサブバンドの様態と同様である。
【００５１】
本実施形態では、生成されたサブバンドのうち、動画フレームの再生に必要となるサブバンドは値１の量子化ステップで量子化し、他のサブバンドに１以上の値の量子化ステップで量子化する。サブバンド毎に設定する量子化ステップの一例を図５に示す。また、この量子化の様態を図６に示す。図６において、動画フレームの再生に必要となる２ＬＬサブバンドに含まれていた係数には、値１の量子化ステップで量子化し、他のサブバンド（１ＨＬ、１ＬＨ、１ＨＨ、２ＨＬ、２ＬＨ、２ＨＨの各サブバンド）に含まれていた係数には、１を超える値の量子化ステップで量子化することを示している。量子化に用いた量子化ステップは、ファイルヘッダーに記録される。
【００５２】
量子化されたサブバンド係数は、コードブロックに分割され、コードブロック単位にＪＰＥＧ２０００方式の係数ビットモデリングと算術符号化を施されて、出力される。なお、本実施形態では、動画フレームの再生に用いる２ＬＬ以外のサブバンドに対して下位ビットの打ち切りを行うか否かは任意である。
【００５３】
高解像度の静止画を動画のフレーム数だけ入力し、それぞれの画像に上述した画像処理を行うことで、可逆圧縮された低解像度の動画フレームを記録しつつ、非可逆圧縮された高解像度の静止画を記録することができ、高解像度の静止画全体を可逆圧縮することと比べて少ないデータ量で記録することができる。
【図面の簡単な説明】
【００５４】
【図１】本発明の第１の実施形態に係る画像符号化方法の処理手順を示すブロック図
【図２】本発明の第１の実施形態に係る２次元のウェーブレット変換により複数のサブバンドに分割された様態を示す模式図
【図３】下位ビットの打ち切りを行う係数ビットを含むサブバンドと、下位ビットの打ち切りを行わない係数ビットを含むサブバンドとを図示した、本発明の第１の実施形態に係る模式図
【図４】本発明の第２の実施形態に係る画像符号化方法の処理手順を示すブロック図
【図５】本発明の第２の実施形態に係るサブバンド毎に設定する量子化ステップの一例を表で示す図
【図６】本発明の第２の実施形態に係る各サブバンドの量子化を説明するための模式図
【図７】可逆圧縮を行う場合におけるＪＰＥＧ２０００の符号化の処理手順を示したブロック図
【図８】ウェーブレット変換によって縦４画素横４画素の画像がサブバンドに分割される様子を示した模式図
【図９】サブバンド係数がコードブロックに分割される様子を示した模式図
【図１０】コードブロックに含まれる係数のビットがどのように処理されていくかを説明するための模式図
【図１】
2005159859.tif 000004
【図２】
2005159859.tif 000005
【図３】
2005159859.tif 000006
【図４】
2005159859.tif 000007
【図５】
2005159859.tif 000008
【図６】
2005159859.tif 000009
【図７】
2005159859.tif 000010
【図８】
2005159859.tif 000011
【図１０】
2005159859.tif 000012
【図９】
2005159859.tif 000013