(57)【要約】【課題】より低いビットレートでもフリッカを除去することができる画像符号化装置および方法を提供する。【解決手段】領域生成手段３０１は動きベクトル検出手段１０１１で検出された動きベクトルとウェーブレット変換手段３０３１より出力された高域成分の変換係数３０３２から、動きが無く高域成分のある画素からなる領域を生成し、置換手段３０２は、領域生成手段３０１が生成した領域中の画素について、その変換係数を入力画像より前に入力された画像の変換係数で置き換え、ＪＰＥＧ２０００符号化手段３０３は、置換手段３０２により出力された変換係数３０３３と、置換されなかった残りの変換係数に対して量子化、ビットモデリングなどの符号化処理を行う。【選択図】  図３
2004222026.tif 000002
【特許請求の範囲】
【請求項１】
連続して入力される入力画像に対して、高周波成分を多く含む領域を示す領域情報を生成する画像分析手段と、
前記画像分析手段が生成する前記領域情報に基づいて、前記入力画像の画素値を前記入力画像より前に入力された画像の画素値で置き替える置換手段とを備えたことを特徴とする画像符号化装置。
【請求項２】
連続して入力される入力画像に対してウェーブレット変換を行うウェーブレット変換手段と、
前記ウェーブレット変換手段より生成されるウェーブレット変換係数に対して、高域成分を多く含む領域を示す領域情報を生成する画像分析手段と、
前記画像分析手段が生成する前記領域情報に基づいて、前記ウェーブレット変換係数を前記入力画像より前に入力された画像のウェーブレット変換係数で置き替える置換手段とを備えたことを特徴とする画像符号化装置。
【請求項３】
連続して入力される入力画像を複数の領域に分割し、前記領域ごとに符号化を行う画像符号化装置であって、
前記入力画像の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段が検出した前記動きベクトルに基づいて、前記領域の分割位置を調整する分割位置調整手段を備えたことを特徴とする画像符号化装置。
【請求項４】
符号化はＪＰＥＧ２０００規格に従って行うことを特徴とする請求項１または請求項２または請求項３に記載の画像符号化装置。
【請求項５】
連続して入力される入力画像に対して、高周波成分を多く含む領域を示す領域情報を生成し、前記領域情報に基づいて、前記入力画像の画素値を前記入力画像より前に入力された画像の画素値で置き換えることを特徴とする画像符号化方法。
【請求項６】
連続して入力される入力画像にウェーブレット変換を行い、前記ウェーブレット変換により生成されるウェーブレット変換係数において、高域成分を多く含む領域を示す領域情報を生成し、前記領域情報に基づいて、前記ウェーブレット変換係数を、前記入力画像より前に入力された画像のウェーブレット変換係数で置き替えることを特徴とする画像符号化方法。
【請求項７】
連続して入力される入力画像を複数の領域に分割し、前記領域ごとに符号化を行う画像符号化方法であって、
前記入力画像の動きベクトルを検出し、前記動きベクトルに基づいて、前記領域分割の分割位置を調整することを特徴とする画像符号化方法。
【請求項８】
符号化はＪＰＥＧ２０００規格に従って行うことを特徴とする請求項５または請求項６または請求項７記載の画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像を符号化する画像符号化装置および方法に関するものであって、特に、ＩＳＯ／ＩＥＣにて標準化された通称ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）、およびこれの動画像適用であるＭｏｔｉｏｎ  ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−３）に関するものである。
【０００２】
【従来の技術】
Ｍｏｔｉｏｎ  ＪＰＥＧ２０００においては、ｆｌｉｃｋｅｒｉｎｇ  ａｒｔｉｆａｃｔ  （以下フリッカと呼ぶ）として知られる問題がある。これは、ＪＰＥＧ２０００にて符号化された画像を、動画像として表示した時に知覚されるちらつきであり、この解決方法として、ＩＳＯ／ＩＥＣ  １５４４４−３には、ｆｒｅｑｕｅｎｃｙ  ｗｅｉｇｈｔｉｎｇの推奨テーブル値が記載されている。しかしながら、この値は、０．２５〜０．５０ｂｐｐ（ｂｉｔ／ｐｉｘｅｌ）での値であって、これより低いｂｐｐでは効果がなく、フリッカが残る。
【０００３】
また、ブロック単位に入力画像を分析し、その分析結果に基づき重み係数を決定し、重み係数とウェーブレット変換係数とを乗算することで、ブロックごとの画質を制御しているものもある（例えば特許文献１参照）。
【０００４】
【特許文献１】
特開２００１−３２６９３６号公報（第８頁、第１３頁、図１、図８）
【０００５】
【発明が解決しようとする課題】
ＪＰＥＧ２０００はＪＰＥＧに比べて、低いビットレートにおいて、より画質の差が顕著になるものであって、ＪＰＥＧ２０００を動画像に適用したいとの要求は大きい。また、フリッカ一般の特性として、静止画として見た場合には特に問題のない画像であるにもかかわらず、動画像として見た場合にのみ、問題が顕在化する。
【０００６】
本発明は上記従来の問題点を解決するもので、ＪＰＥＧより低いビットレートで、同等画質もしくはより高画質の画像符号化装置および方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明は、入力画像に対して、高周波成分を含む領域を示す領域情報を検出し、領域情報に基づいて、入力画像の画素値を入力画像より前に入力された画像の画素値で置き換える。
【０００８】
また、本発明は、ウェーブレット変換により生成されるウェーブレット変換係数において、高域成分を多く含む領域を示す領域情報を生成し、領域情報に基づいて、入力画像のウェーブレット変換係数を入力画像より前に入力された画像のウェーブレット変換係数で置き替える。
【０００９】
また、入力画像を複数の領域に分割し、前記領域ごとに符号化を行う際に、入力画像の動きベクトルを検出し、動きベクトルに基づいて、領域分割の分割位置を調整する。
【００１０】
【発明の実施の形態】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００１１】
（実施の形態１）
本発明の第１の発明は、連続して入力される入力画像に対して、高周波成分を多く含む領域を示す領域情報を生成する画像分析手段と、前記画像分析手段が生成する前記領域情報に基づいて、前記入力画像の画素値を前記入力画像より前に入力された画像の画素値で置き替える置換手段とを備えたことを特徴とする画像符号化装置であり、符号量を十分に割り当てることができない帯域成分を持つ領域の画素値を入力画像より前に入力された画像の画素値で置き換えることから、符号量不足により生じる波形劣化が前に入力された画像と同様の波形劣化となり、フリッカを除去することができる。
【００１２】
本発明の第２の発明は、連続して入力される入力画像に対してウェーブレット変換を行うウェーブレット変換手段と、前記ウェーブレット変換手段により生成されるウェーブレット変換係数に対して、高域成分を多く含む領域を示す領域情報を生成する画像分析手段と、前記画像分析手段が生成する前記領域情報に基づいて、前記ウェーブレット変換係数を前記入力画像より前に入力された入力画像のウェーブレット変換係数で置き替える置換手段とを備えたことを特徴とする画像符号化装置であり、符号量を十分に割り当てることができない高域成分のウェーブレット変換係数を入力画像より前に入力された画像の変換係数で置き換えることから、符号量不足により生じる波形劣化が前に入力された画像と同様の波形劣化となり、フリッカを除去することができる。
【００１３】
本発明の第３の発明は、連続して入力される入力画像を複数の領域に分割し、前記領域ごとに符号化を行う画像符号化装置であって、前記入力画像の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段が検出した前記動きベクトルに基づいて、前記領域の分割位置を調整する分割位置調整手段を備えたことを特徴とする画像符号化装置であり、領域分割位置を動きベクトルに基づいて変更することにより、同じ物体上の画像中への投影点が領域分割の原点から見ると常に同じ位置になるので、位相の違いを補正することができる。
【００１４】
図１は、本発明の実施の形態１における画像符号化装置の構成を示すブロック図である。
【００１５】
図１において、１０１は、入力画像において、高周波成分を多く含む領域の情報を出力する画像分析手段であり、１０１１はＭＰＥＧなどの動画像符号化方式において用いられるブロックごとの動きベクトルを検出する動きベクトル検出手段、１０１２は低ビットレートのためＪＰＥＧ２０００符号化において符号量を十分に割り当てることができない帯域を選択するバンドパスフィルタ（ＢＰＦ）、１０１３は動きベクトル検出手段１０１１より検出される動きベクトルとＢＰＦ１０１２より出力される帯域より高周波成分を含む領域の情報を生成する領域生成手段である。１０２は画像分析手段１０１が出力する領域の画素を入力画像より前に入力された画像の画素値に置き換える置換手段、１０３は置換手段１０２によって置換された画像にＪＰＥＧ２０００符号化を行うＪＰＥＧ２０００符号化手段である。
【００１６】
以下、本実施の形態１における画像符号化装置の動作について図２を用いて説明する。図２は領域生成手段１０１３の動作を説明するための図である。
【００１７】
図２の２０１は入力画像であり、画像分析手段１０１に入力される。入力画像２０１は芝生のグランド上で二人の選手が、少し体を動かしているシーケンスの一部である。画像分析手段１０１に入力された入力画像２０１はそれぞれ動きベクトル検出手段１０１１、ＢＰＦ１０１２に入力される。
【００１８】
動きベクトル検出手段１０１１は、入力画像２０１に対して、ＭＰＥＧなどの動画像符号化方式において用いられるブロックごとの動きベクトルを検出する。この場合、入力画像２０１において、芝生部分は動きが無いため、一定値以下の動きベクトルが検出され、動きがある選手の部分は一定値以上の動きベクトルが検出される。
【００１９】
なお、ブロックごとの動きベクトルは線型補間などして画素ごとの動きベクトルを求めてもよいし、勾配法を用いた各画素ごとの動きベクトル検出手法、フーリエ変換後の空間での位相差より動き量を算出する位相勾配法などを用いてもよい。
【００２０】
ＢＰＦ１０１２は入力された入力画像２０１に対して、低ビットレートのためＪＰＥＧ２０００符号化において符号量を十分に割り当てることができない帯域を選択する。
【００２１】
領域生成手段１０１３は動きベクトル検出手段１０１１が出力するベクトルの大きさに閾値処理を施し、ベクトルの大きさが一定値以下の画素からなる領域ａと、ＢＰＦ１０２が出力する画像の画素値に閾値処理を施し、値が一定値以上である画素から成る領域ｂを作成し、領域ａと領域ｂとのａｎｄ領域を出力する。
【００２２】
図２の２０２、２０３、２０４にそれぞれ、領域ａ、領域ｂ、領域ａと領域ｂのａｎｄ領域を示す。図２の２０２において、黒で塗りつぶされていない領域が領域ａを示し、動きがなく動きベクトルが一定値以下である芝生部分が領域ａとなる。同様に、図２の２０３において、黒で塗りつぶされていない領域が領域ｂとなり、芝生部分と共に選手の輪郭や背番号部分なども領域ｂとして検出している。図２の２０４の黒く塗りつぶされていない領域は領域ａと領域ｂのａｎｄ領域を示し、黒で示した領域の値を０としてａｎｄ処理を行うものとする。図２の２０４は領域生成手段１０１３の出力、すなわち、画像分析手段１０１の出力となる。
【００２３】
図２の例では、２０２の領域ａと２０４の領域ａと領域ｂのａｎｄ領域がほぼ同じになっているが、実際の処理では、動きベクトルに基づく検出領域は、２０２のような選手全体を黒色領域として検出するものとはならず、選手領域の検出漏れなどが生じる。すなわち、選手を表す黒色領域に、黒色領域でない領域が生じることになる。この検出漏れは、動きベクトル検出手法にもよるが、輝度が平坦な領域で生じやすい。これは、選手の服のうち、背番号などが無い領域に相当するが、このような領域は、ＢＰＦ１０１２により黒色領域として検出される。この結果、問題の検出漏れは、動きベクトルから得られる領域ａでは誤検出となるが、ＢＰＦ１０１２による領域ｂにより、除去可能となる。
【００２４】
置換手段１０２は、内部にフレームメモリを備え、１つ前に入力された画像を記憶し、領域生成手段１０１３の出力する領域の画素を１つ前に入力された画像の画素値で置き換え、置き換え処理された画像は、ＪＰＥＧ２０００符号化手段１０３へ送られ、ＪＰＥＧ２０００符号化により符号化される。
【００２５】
以上の説明により、本実施の形態によれば、符号量を十分に割り当てることができない帯域成分を持つ画素を１つ前に入力された画像の画素で置き換えることにより、符号量不足により生じる波形劣化が１つ前に入力された画像と同様の波形劣化となるため、フリッカを除去することができる。
【００２６】
なお、領域生成手段１０１３における領域ａ、領域ｂの生成時に、孤立点除去のため縮小処理を施し、その後拡大処理を施してもよい。また、領域を連結するため、拡大処理を施し、その後縮小処理を施してもよい。これらの処理を行うことにより、領域生成手段１０１３の出力する領域が置き換えに適切なものとなり、フリッカをより良く除去することができる。
【００２７】
また、動きベクトル検出手段１０１１、置換手段１０２は、どちらも、１つ前の映像の画像を記憶するためのフレームメモリを備えているので、これを共用する構成にしてもよい。
【００２８】
また、連続して入力される画像に対して、置き換えを連続して行ってもよい。この時に、置き換えの対象となる画像を１つ前に入力された画像ではなく、２つ以上前に入力された画像を用いて置き換えるようにしてもよい。ただし、置き換えにより、不自然な画像になる場合があるので、これを回避するため、出力領域のうち一部分だけを置き換えるようにしてもよい。
【００２９】
（実施の形態２）
本実施の形態では、置き換えによる不自然さを解消するため、高域成分の領域のみ置き換える画像符号化装置について説明する。
【００３０】
図３は、本実施の形態における画像符号化装置の構成を示すブロック図である。図３において、実施の形態１と同一の構成要素には、同符号を付し、説明を省略する。また、図４は領域生成手段３０１の動作を説明するための図である。
【００３１】
図３において、３０３１はウェーブレット変換を行うウェーブレット変換手段、３０１は、動きベクトル検出手段１０１１より出力された動きベクトル情報と、ウェーブレット変換手段３０３１より出力された高域成分の変換係数３０３２より置換領域を生成する領域生成手段、３０２は領域生成手段３０１が生成した置換領域の画素を入力画像より前に入力された画像の画素値に置き換える置換手段、３０３は入力画像にＪＰＥＧ２０００符号化を行うＪＰＥＧ符号化手段である。
【００３２】
以下、本実施の形態の動作を図４を用いて説明する。
【００３３】
ウェーブレット変換手段３０３１はＪＰＥＧ２０００符号化手段３０３において前処理されたデータに対してウェーブレット変換を行い、高域成分の変換係数３０３２を出力する。図４はウェーブレット変換により帯域分解された変換係数を示し、４０１、４０２、４０３はそれぞれＨＬ，ＬＨ，ＨＨで表されるサブバンドである。ここで、サブバンドＨＬとは水平方向にＨＰＦ、垂直方向にＬＰＦを施したものを表す。ウェーブレット変換手段３０３１はサブバンドＨＬ、サブバンドＬＨ、サブバンドＨＨを高域成分の変換係数３０３２として出力する。
【００３４】
領域生成手段３０１は、ウェーブレット変換手段３０３１より出力される高域成分の変換係数３０３２が入力画像の１／４の画像サイズであることから、動きベクトル検出手段１０１１から出力されるベクトル情報より生成する領域ａを画像サイズを１／４にして生成する。領域生成手段３０１は高域成分の変換係数３０３２である３つのサブバンドそれぞれに対して閾値処理を施し、値が一定値以上である画素からなる各サブバンドに対応した３つの領域ｂを生成し、それぞれの領域ｂに対して、領域ａと領域ｂのａｎｄ領域を生成し、置換手段３０２に出力する。
【００３５】
置換手段３０２はウェーブレット変換手段３０３１より入力された変換係数３０３２であるサブバンドＨＬ、サブバンドＬＨ、サブバンドＨＨに対して、領域生成手段３０１が生成した各サブバンドに対応する領域の画素を１つ前に入力された画像の変換係数で置き換えて、変換係数３０３３として出力する。置換手段３０２は、３つのサブバンド分のフレームメモリを内部に備える。
【００３６】
置換手段３０２により置換された変換係数３０３３はＪＰＥＧ２０００符号化手段３０３に入力され、ＪＰＥＧ２０００符号化３０３は以降の量子化、ビットモデリングなどの処理を、変換係数３０３３と出力しなかった残りの変換係数とを用いて行う。
【００３７】
以上のように、本実施の形態の画像符号化装置は、符号量を十分に割り当てることができない高域成分のウェーブレット変換係数を、各画素ごとに、１つ前に入力された画像の変換係数で置き換えることにより、符号量不足により生じる波形劣化が１つ前に入力された画像と同様の波形劣化となるため、フリッカを除去することができる。
【００３８】
なお、実施の形態１、実施の形態２において、置換手段にて画素を置き換えるために、１つ前の入力画像の画素を用いているが、これを、２つ以上前に入力された画像の画素を用いるようにしてもよい。このようにすることで、高域成分についてみると、数フレームにわたって、波形劣化が同様となるため、フリッカ除去の効果を高めることができる。
【００３９】
また、本実施の形態では、ウェーブレット変換において４つの帯域に分割されているが、この場合に限定するものではなく、最低域（ＬＬ）をさらに分割した場合にも、生成された各サブバンドに対して同様の処理を行い、置換手段３０１はサブバンド数に応じたフレームメモリを内部に備えるものとする。
【００４０】
（実施の形態３）
本実施の形態では、実施の形態１、実施の形態２だけでは除去できないフリッカを除去する画像符号化装置について説明する。
【００４１】
図５に示すように、ウェーブレット変換のインパルス・レスポンスは、インパルスの位相の違いにより変動するが、本実施の形態の画像符号化装置は、この変動を補正するものである。図５において、５０１はインパルスの位相がＸ座標で２の場合、５０２はＸ座標が３の場合を示している。ここで、入力に対してフィルタ係数（−１／２，１，−１／２）でフィルタ処理を行うと図５の５０１、５０２共に、入力と同じものと入力の１画素左右に符号が反転した大きさ１／２の値が出力される。さらに、ダウンサンプリング処理を行うと、５０１の場合は、入力と同じものが出力されているのに対し、５０２の場合は、入力の１画素左右に符号が反転し、大きさ１／２の値が出力される。非可逆符号化においては、量子化処理が行われるが、例えば、入力値が１６、その量子化幅が（入力値×０．７５）である場合、量子化幅は１２となるので、５０１の場合には量子化後の変換係数は１となるのに対し、５０２の場合には０となる。このようにして、インパルスの位相の違いにより、量子化後の変換係数が変動し、この変動のためフリッカが生じる。
【００４２】
以下、この位相の違いを補正する手法について説明する。
【００４３】
図６は、本実施の形態の画像符号化装置を説明するための図である。図６において、実施の形態１と同一の構成要素に対しては、同符号を付し、説明を省略する。
【００４４】
図６において、６０１は画面全体での動きを求める動きベクトル検出手段、６０２は入力画像を複数の領域（以下、タイル）に分割する場合の分割位置となるタイル原点を算出するタイル原点算出手段、６０３はタイル原点算出手段での処理フレーム数分だけ入力画像を記憶するフレームメモリである。
【００４５】
ＪＰＥＧ符号化方式は、入力画像をいくつかのタイルに分割して符号化する機能を備えており、例えば、タイル原点を（１，１）とすると、図７に示すように、４つのタイル７０１、７０２、７０３、７０４が生成され、これらが独立にウェーブレット変換符号化される。
【００４６】
入力画像は動きベクトル検出手段６０１とフレームメモリ６０３に入力される。動きベクトル検出手段６０１は入力画像に対して、画面全体での動きを求める。タイル原点算出手段６０２は、例えば、次の処理により各フレームにおけるタイル原点を算出する。以下、処理フレーム数を４フレームとして説明する。
【００４７】
まず、第１の処理として、第０フレームから第３フレームまでの入力画像から求まる３つの動きが辿る軌跡を求める。例えば、３つの動きが［０，−１］、［−１，０］、［０，１］である場合の軌跡を図８に示す。図８において、軌跡の始点を原点とする。この場合、タイル原点（１，１）が始点（０，０）となることから、各軌跡の位置は（０，０）、（０、−１）、（−１、−１）、（−１，０）となる。
【００４８】
次に、軌跡のうち、一番左上を通った位置を求める。図８の例では、この位置は（−１、−１）となる。次に、各軌跡の位置を、第２の処理で求めた位置を原点とした場合の位置として求め直す。すなわち、第１の処理で求めた位置（０，０）、（０、−１）、（−１、−１）、（−１，０）について、それぞれから第２の処理での位置（−１、−１）を減算する。この例の場合、結果は（１，１）、（１，０）、（０，０）、（０，１）となり、これが、第０フレームから第３フレームまでのタイル原点である。タイル原点算出手段６０２は算出したタイル原点を信号５１１として出力する。
【００４９】
フレームメモリ６０３はタイル原点算出手段６０２での処理フレーム数、この場合４フレーム分の入力画像を記憶し、ＪＰＥＧ２０００符号化手段１０３は、タイル原点算出手段６０２により算出された各フレームごとのタイル原点を用いて、フレームメモリ６０３の入力画像を符号化する。
【００５０】
以上説明してきたように、本実施の画像符号化装置は、タイル原点を変更することにより、ウェーブレット変換の開始位置を変更する。この変更は動きに基づくもので、同じ物体上の画像中への投影点が、タイルの原点から見ると常に同じ位置になるように変更している。この結果、前述した位相の違いを補正することができ、この位相の違いによる変換係数の変動を防止することができ、フリッカを除去できる。
【００５１】
なお、本実施の形態では、タイル原点を算出する処理フレーム数を４フレーム、タイル原点を（１，１）として説明したが、これに限定するものではない。
【００５２】
また、本実施の形態では入力画像を４つのタイルに分割したが、これに限定するものではない。
【００５３】
また、各実施の形態では、入力画像はフレーム単位で処理されているが、フィールド単位でも同様の動作を行うことにより、同様の効果が得られることはいうまでもない。
【００５４】
【発明の効果】
以上の説明で明らかなように、本発明によれば、入力画像において符号量を十分に割り当てることができない帯域成分を持つ画素を入力画像より前に入力された画像の画素で置き換えることにより、符号量不足により生じる波形劣化が前フレームと同様の波形劣化となるため、フリッカを除去することができる。
【００５５】
また、入力画像において、符号量を十分に割り当てることができない高域成分のウェーブレット変換係数を、各画素ごとに、入力画像より前に入力された画像の変換係数で置き換えることにより、符号量不足により生じる波形劣化が前フレームと同様の波形劣化となるため、フリッカを除去することができる。
【００５６】
さらに、タイル位置の変更によりウェーブレット変換の開始位置を変更することで、同じ物体上の画像中への投影点が、タイルの原点から見ると常に同じ位置になるように変更しているので、位相の違いを補正することができ、この違いによる変換係数の変動を防止することができ、フリッカを除去できる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像符号化装置の構成を示すブロック図
【図２】本発明の実施の形態１における領域生成手段の動作を説明するための図
【図３】本発明の実施の形態２における画像符号化装置の構成を示すブロック図
【図４】本発明の実施の形態２における領域生成手段の動作を説明するための図
【図５】位相の違いによるフリッカを説明するための図
【図６】本発明の実施の形態３における画像符号化装置の構成を示すブロック図
【図７】
本発明の実施の形態３におけるタイル原点を説明するための図
【図８】本発明の実施の形態３におけるタイル原点を説明するための図
【符号の説明】
１０１  画像分析手段
１０２、３０２  置換手段
１０３、３０３  ＪＰＥＧ２０００符号化手段
３０１、１０１３  領域生成手段
６０１、１０１１  動きベクトル検出手段
６０２  タイル原点算出手段
６０３  フレームメモリ
１０１２  バンドパスフィルタ
３０３１  ウェーブレット変換手段
【図１】
2004222026.tif 000003
【図２】
2004222026.tif 000004
【図３】
2004222026.tif 000005
【図４】
2004222026.tif 000006
【図５】
2004222026.tif 000007
【図６】
2004222026.tif 000008
【図７】
2004222026.tif 000009
【図８】
2004222026.tif 000010