(57)【特許請求の範囲】
【請求項１】
インタレース画像をフィールド構造およびフレーム構造のどちらでも符号化することが可能なフレーム構造／フィールド構造切替式画像符号化装置において、
連続的に入力される画像がインタレース画像であるかノンインタレース画像であるかを判別する手段を具備し、
入力画像がインタレース画像であるかノンインタレース画像であるかの判別のために、画像内の任意の位置の垂直方向に連続する画素の空間的相関を測定し、下記の(1) 、(2) 式に示す条件を満たす画素数が(1) 式を満たす画素数の一定割合以上の場合にインタレース画像と判別し、
インタレース画像であると判別した場合にフィールド構造での符号化を選択し、それ以外の場合にフレーム構造での符号化を選択するようにしたことを特徴とするフレーム構造／フィールド構造切替式画像符号化装置。
Max(d(0,-2),d(0,2),d(-1,1)) ＜閾値  …(1)
(Max(d(0,-2),d(0,2),d(-1,1))＋offset) ＜Min(d(0,-1),d(0,1))   …(2)
ここで、d(a,b)は前記垂直方向の列a,b の画素の絶対差分値を表す。
【請求項２】
インタレース画像をフィールド構造およびフレーム構造のどちらでも符号化することが可能なフレーム構造／フィールド構造切替式画像符号化装置において、
連続的に入力される画像がインタレース画像であるかノンインタレース画像であるかを判別する手段を具備し、
入力画像がインタレース画像であるかノンインタレース画像であるかの判別のために、画像内の任意の位置の垂直方向に連続する画素の空間的相関を測定し、下記の(1) 、(2) 式に示す条件を満たす画素数が(1) 式を満たす画素数の一定割合以上の場合にインタレース画像と判別し、
インタレース画像と判別された画像についてのみ、２画像間の変化量を求め、該変化量が予め定められた値より小さい場合にフレーム構造、大きい場合にフィールド構造を選択し、インタレース画像と判別されなかった画像はフレーム構造を選択するようにしたことを特徴とするフレーム構造／フィールド構造切替式画像符号化装置。
Max(d(0,-2),d(0,2),d(-1,1)) ＜閾値  …(1)
(Max(d(0,-2),d(0,2),d(-1,1))＋offset) ＜Min(d(0,-1),d(0,1))   …(2)
ここで、d(a,b)は前記垂直方向の列a,b の画素の絶対差分値を表す。
【請求項３】
請求項２に記載のフレーム構造／フィールド構造切替式画像符号化装置において、
入力画像の最初に入力される一枚または複数枚の画像により入力画像がインタレース画像かノンインタレース画像かの判別を行うようにしたことを特徴とするフレーム構造／フィールド構造切替式画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はフレーム構造／フィールド構造切替式画像符号化装置に関し、特にデジタル動画像信号をフレーム構造、およびフィールド構造のどちらでも符号化を行うことが可能な動き補償予測を用いた画像符号化装置に関する。
【０００２】
【従来の技術】
デジタル動画像情報は、サンプリングされた静止画の連続により表現される。この画像の表現方法には二種類あり、一方をノンインタレース画像、またはプログレッシブ画像、他方をインタレース画像と呼ぶ。次にノンインタレース画像、インタレース画像の構造を示す。
【０００３】
図２は円形の物体が左から右に移動している映像をノンインタレース画像として表したものである。動画像は、ｔ1 時間毎にサンプリングされ、ｔ1 時間毎の連続した静止画像で表現される。動画像の解像度とサンプリングされた静止画像の解像度は等しい。
【０００４】
一方、図３は、図２と同様の映像をインタレース画像で映像表現したものである。映像はｔ2 時間毎の奇数番目の走査線のみを含む画像と偶数番目の走査線のみを含む画像との交互により表現される。このインタレース画像の表現方法は２種類ある。
【０００５】
一つは、この奇数番目の走査線のみ、または偶数番目のみを一枚の画像として表現するフィールド構造である。フィールド画像の解像度は、フレーム画像に対して垂直方向に１／２となる。他の一つは、連続する２フィールドの画像から一枚の画像を作成したものである。これがフレーム構造である。この場合の画像は、画素列水平１ライン毎に異なるフィールドの映像を交互に配置されている。
【０００６】
図１２に、従来の動画像符号化装置のブロック図を示す。従来は、図示されているように、動画像符号化装置は予め指定されたピクチャ構造（フィールド構造又はフレーム構造）で符号化するように構成されている。
【０００７】
図１３は、図１２の動画像符号化装置の構成および動作を示したブロック図である。図１３において、第一画面の入力画像信号１が入力された場合、予測モード制御部１２により各々のスイッチはそれぞれ▲１▼側に接続されており、入力信号は高い符号化効率を得るために直交変換器３に直接入力され、該直交変換器３でＤＣＴ（離散コサイン変換）などを用いて直交変換され、量子化器４で直交変換係数が量子化される。この量子化係数は第１可変長符号化器５でハフマン符号などの可変長符号に変換されてビデオ多重化器１５に入力される。
【０００８】
一方、逆量子化器６に入力した量子化係数は逆量子化され、さらに逆直交変換器７で画像データが復元される。復元された画像データはフレームメモリ９に蓄積される。また、ビデオ多重化器１５では、第１可変長符号化器５からの符号化データや量子化器４からの量子化情報１８を多重化して符号化ビデオデータ出力１６として出力する。
【０００９】
次の画面の入力画像信号１が入力されるようになると、符号化モード制御部１２により、各々のスイッチは▲２▼側の接点に接続され、入力画像信号１が予測信号減算器２および動き検出器１０に入力される。動き検出器１０では該入力画像信号１とフレームメモリ９から入力された参照画像とで動きベクトルが検出され、該動きベクトルは位置シフタ１１と第２可変長符号化器１４に入力される。第２可変長符号化器１４では、動きベクトル情報がハフマン符号などの可変長符号に変換されてビデオ多重化器１５に入力される。
【００１０】
位置シフタ１１では、動きベクトルによって指定される画像信号をフレームメモリ９から抽出し、動き補償予測信号として予測信号減算器２および局所復号加算器８に出力される。予測信号減算器２で入力画像信号１から動き補償予測信号が減算され、その予測誤差が符号化される。予測誤差信号は高い符号化効率を得るために直交変換器３においてＤＣＴ（離散コサイン変換）などを用いて直交変換され、量子化器４で量子化された信号は第１可変長符号化器５でハフマン符号などの可変長符号に変換される。また復号側と同一の予測信号を用いるために、量子化器４で得られる量子化係数を逆量子化器６で逆量子化し、逆直交変換器７で予測誤差信号が局所的に復号される。さらに動き補償予測信号が局所復号加算器８で復元された予測誤差信号と加算され、フレームメモリ９に蓄積される。
【００１１】
動き補償予測符号化を用いた動画像の圧縮符号化では、一般に動き補償予測を行う画像間での相関が高いほど符号化効率が高くなる。従って、静止画に近い映像では、符号化画像と動き補償予測符号化を行う参照画像との間隔を大きくとることで符号化効率が改善するが、変化の激しい映像では参照画像との間隔が大きくなると符号化効率が低下してしまう。これは、符号化画像と参照画像との相関が低くなり、動き補償予測が効果的ではなくなるためである。
【００１２】
フレーム構造、フィールド構造のピクチャ構造違いによる符号化時の違いは、この符号化画像と予測に用いる参照画像との最小距離にある。フレーム構造を用いた場合には、参照画像との間隔の最小値は図３における時間ｔ1 となるが、フィールド構造の場合には図３における時間ｔ2 （時間ｔ1 の半分）とすることが可能である。したがって、動きの激しい映像においては、フィールド構造をとることによって、動き補償予測符号化を効果的に動作させることができ、結果として符号化効率を改善することが可能である。
【００１３】
フレーム構造／フィールド構造のどちらでも符号化することが可能な動画像圧縮方式では、符号化するピクチャ画像一枚を、フィールド画像一枚に対応させて符号化する「フィールド構造」での符号化と、符号化する画像一枚をインタレースフレーム画像一枚に対応させて符号化する「フレーム構造」での符号化のどちらを利用することも可能である。しかし、従来は動画像の符号化を行う前にあらかじめフレーム構造／フィールド構造のどちらの構造をとるかを外部から指定し、入力される動画像に対して該指定された構造を固定的に利用して符号化を行い、符号化動画像情報を出力する。
【００１４】
【発明が解決しようとする課題】
前記した従来方法による画像の符号化においては、図１２に示したように、画像の特徴に関係なく、固定的なピクチャ構造をとり符号化を行う。したがって、例えばフィールド構造とすることで符号化効率が改善するような動きの激しい画像素材を符号化する場合にも、符号化のピクチャ構造があらかじめフレーム構造と指定されている場合には、フレーム構造での符号化を継続することになり、結果として符号化効率の低下を招くことになる。また逆に、フィールド構造での符号化を指定している場合には、フレーム構造での符号化効率が改善する場合であっても、固定的にフィールド構造を利用するために符号化効率が改善しない。
【００１５】
また、入力された映像がインタレース画像であるか、ノンインタレース画像であるかがわからない場合には、あらかじめ別の何らかの方法により入力画像がインタレース画像であるかどうかの判別を行い、その判定した情報を元に符号化時に外部からピクチャ構造の切替を行うといった２段階方式による実現となる。このような２段階方式は、実時間での符号化を想定した場合には不可能である。
【００１６】
本発明の目的は、前記した従来技術の問題点を解決し、画像の特徴、構造に関する情報のない入力画像に対して、入力画像のインタレース／ノンインタレースの判別を自動的に行い、また入力される画像の特徴を解析し、動画像圧縮符号化におけるピクチャ構造をフレーム構造／フィールド構造と適応的に変化させることで、符号化効率の向上を達成し、符号化画像品質を改善する画像符号化装置を提供することにある。
【００１７】
【課題を解決するための手段】
前記目的を達成するために、本発明は、連続的に入力される画像がインタレース画像であるかノンインタレース画像であるかを判別する手段を具備し、入力画像がインタレース画像であるかノンインタレース画像であるかの判別のために、画像内の任意の位置の垂直方向に連続する画素の空間的相関を測定し、下記の(1) 、(2) 式に示す条件を満たす画素数が(1) 式を満たす画素数の一定割合以上の場合にインタレース画像と判別し、インタレース画像であると判別した場合にフィールド構造での符号化を選択し、それ以外の場合にフレーム構造での符号化を選択するようにした点に第１の特徴がある。
Max(d(0,-2),d(0,2),d(-1,1)) ＜閾値  …(1)
(Max(d(0,-2),d(0,2),d(-1,1))＋offset) ＜Min(d(0,-1),d(0,1))   …(2)
ここで、d(a,b)は前記垂直方向の列a,b の画素の絶対差分値を表す。
また、本発明は、インタレース画像と判別された画像についてのみ、２画像間の変化量を求め、該変化量が予め定められた値より小さい場合にフレーム構造、大きい場合にフィールド構造を選択し、インタレース画像と判別されなかった画像はフレーム構造を選択するようにした点に第２の特徴がある。
【００１８】
前記した特徴によれば、従来の固定的なフレーム構造／フィールド構造の選択時には避けることのできなかった入力画像の特徴変化による符号化効率の低下を解消することができ、また符号化前にあらかじめ把握しておく必要があった画像のインタレース／ノンインタレースの区別についても符号化時に自動的に検知するために、入力画像の特徴、構造に関わらず、効率的な符号化を行うことが可能となる。
【００１９】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図である。なお、以下の説明では、動画像符号化方式として、図１３に示した符号化装置を用いるものとするが、本発明はこれに限定されるものではない。
【００２０】
この実施形態は、連続して入力される画像信号（静止画像信号）からその画像がインタレース画像であるか否かの判別を行い、インタレース画像であった場合には縮小特徴平面を作成し、該縮小特徴平面を利用した簡易動き探索処理の結果を元に、フレーム構造／フィールド構造での符号化を決定するようにしたものである。
【００２１】
図１において、連続的に入力される画像信号１はインタレース／ノンインタレース画像判別部２によって、該画像がインタレース画像であるかノンインタレース画像であるかの判別を行われ、その判別結果はインタレース／ノンインタレース判別情報３として縮小特徴平面作成部４に出力される。縮小特徴平面作成部４では、インタレース／ノンインタレース画像判別部２においてインタレース画像と判別された画像に対して、画像特徴を反映した縮小特徴平面情報５を作成し、該縮小特徴平面情報５を簡易動き探索部６へと出力する。簡易動き探索部６では、２枚の縮小特徴平面間における簡易動き探索処理を行い、その際の動き補償予測誤差量を画像変化量情報７としてフレーム構造／フィールド構造決定部８に出力する。
【００２２】
フレーム構造／フィールド構造決定部８では、簡易動き探索部６から得られた画像変化量情報７から、該変化量が小さい場合にフレーム構造での符号化、変化量が大きい場合にフィールド構造での符号化を決定し、動画像符号化部１０にピクチャ構造制御信号９として出力する。動画像符号化部１０では、入力される画像信号１をフレーム構造／フィールド構造決定部８から指示されるピクチャ構造制御信号９に従って動画像符号化を行い、符号化動画像情報１１を出力する。ここに、動画像符号化部１０は、前記ピクチャ構造制御信号９によるフレーム構造／フィールド構造の指定に伴い、例えば図１３の動き補償器１０、第１可変長符号化器５、および第２可変長符号化器１４の動作を、フレーム構造／フィールド構造での符号化に適応する方式に切り替える。
【００２３】
次に図１内の各部の構成および動作の一例を詳細に説明する。まずインタレース／ノンインタレース画像判別部２について説明する。画像がインタレース画像であるか否かの判別には、入力される画像情報から隣接するいくつかの画素を用いた計算により決定する。図４に入力されるフレーム画像情報の構造を示す。画像情報は、空間的に一様に配置される画素の配列により形成される。この画像情報から、図５に示すように任意の位置の垂直方向に連続する５画素の値を取り出し、その中で２画素間の絶対差分値を算出する。
【００２４】
算出する絶対差分値は、垂直方向で中央に位置する画素をｐ(0) としたｐ(-2)〜ｐ(2) の５画素において、０と−２、０と２、−１と１、同フィールドに属する画素同士での絶対差分値と、０と−１、０と１の異フィールドに属する画素同±での絶対差分値を求める。そして、まず下記の(1) 式の条件を満たすか否かを検証する。
【００２５】
Max(d(0,-2),d(0,2),d(-1,1)) ＜閾値  …(1)
次に、前記(1) 式の条件を満たした場合に、さらに次の(2) 式の条件を満たすか否かを検証する。
【００２６】
(Max(d(0,-2),d(0,2),d(-1,1))＋offset) ＜Min(d(0,-1),d(0,1))   …(2)
ここで、d(a,b)はa,b の絶対差分値を表し、Max(a,b,c)はa,b,c の最大値、Min(a,b,c)はa,b,c の最小値を表すものとする。つまり、同フィールドの画素値が類似しており、最大絶対差分値が閾値（一定値）未満となっている場合に、異フィールドにおける絶対差分値の最小値が、同フィールドにおける絶対差分の最大値にoffset（一定値）を加えた値を超えるかどうかを検証する。この処理を画像内全画素、またはの任意の数の位置において行い、前記(1) 式および(2) 式を満たす点が、(1) 式を満たす点の一定割合を超える場合には、その画像はインタレース画像と判別し、その結果をインタレース／ノンインタレース判別情報としてフレーム毎に縮小特徴平面作成部４に対して出力する。
【００２７】
また、この例では垂直方向の５画素を用いてインタレース／ノンインタレースの判別をする例を説明したが、画素数は隣接する同フィールドの画素と、異フィールドの画素間での比較を行うことができる３画素以上であれば、任意の画素数で検証が可能である。さらに、上記の検証を行う画素位置は、画像内全画素位置について行うことも可能であり、また、例えば垂直方向に５画素、水平方向にｎ画素を１ブロックとして、該ブロック内の特定の位置、または任意の位置につき上記の検証を行う標本点調査を行うことも可能である。さらに、全く任意の点を無作為に抽出して行うことも可能である。
【００２８】
次に、図１内の縮小特徴平面作成部４の処理、すなわち、原画像から画像の特徴を反映した縮小平面を作成する処理について、図６を参照して説明する。まず、原画像を小ブロック単位に分割し、その小ブロック毎に代表値で表す。本発明では代表値には小ブロック毎の画素値の標準偏差を用いる。また、代表値には、平均値、中央値を利用することも可能である。また、この計算の際の画素値には、画素の輝度成分を用いることも可能であるし、その他の成分や、それらの平均を用いることも可能である。また、小ブロックのサイズも任意に設定することが可能である。縮小特徴平面のサイズは小ブロックのサイズを水平：ph画素、垂直：pv画素とすると、原画像（水平：Ｈ画素、垂直：Ｖ画素）のサイズに対して水平：H/ph、垂直：V/pvとなりサンプル数は原画像の画素数に対して１／(ph ×pv) となる。この小ブロックの標準偏差を代表値とした縮小平面を縮小特徴平面情報５とする。
【００２９】
次に、図１内の簡易動き探索部６の処理について説明する。該簡易動き探索部６は、縮小特徴平面作成部４により作成された縮小特徴平面情報５から、２枚の縮小特徴平面間における動き探索処理を行う。簡易動き探索を行う参照平面と対象平面との時間的距離は固定された任意の値である。動き探索方法としては、ブロックマッチングによる動き探索などが利用可能である。この場合、ブロックは、縮小特徴平面上の水平、垂直サイズともに任意の自然数をとることが可能である。したがって、最小で１サンプル単位、最大で１つの縮小特徴平面全体を１ブロックとしてブロック単位動き探索を行うことがなどが可能である。
【００３０】
図７を参照して説明すると、設定したブロックの左上の座標を(k,l) とし、縮小特徴平面１上の要素をc(k,l)、縮小特徴平面２上の要素をr(k,l)で表し、ブロックの水平方向サイズをN 、垂直方向サイズをM とし、探索範囲は水平方向に±sh, 垂直方向に±svとする。この簡易動き探索において１要素の平均動き補償予測誤差量Ｅ(k,l) を、図１４の(3) 、(4) 式のように、探索範囲内の最小誤差量により求める。
【００３１】
該予測誤差量Ｅ(k,l) は、２乗誤差量を求めた後、平方根処理を取ることも可能であり、また、絶対差分値を利用することも可能である。この簡易動き探索処理により得られる予測誤差量Ｅ(k,l) を、縮小特徴平面１上の全てのブロックについて行い、縮小特徴平面１における総和Ｅsum を求める。該動き補償予測誤差量Ｅsum は、２画像間における変化の大きさを表す指標となる。そして、該値Ｅsum を画像変化量情報としてフレーム構造／フィールド構造決定部に出力する。次に、図１内のフレーム構造／フィールド構造決定部８では、入力されたフレーム毎の画像変化量情報から、この値の閾値処理により、閾値以上の値の場合にはフィールド構造、閾値未満の場合にはフレーム構造をとるよう判定し、動画像符号化部１０に対して該判定結果をピクチャ構造制御信号９として出力する。
【００３２】
図１内の動画像符号化部１０では、フレーム構造／フィールド構造決定部８から出力されるピクチャ構造制御信号９により指定されるピクチャ構造を用いて、入力される画像信号の圧縮符号化を行い、符号化動画像情報１１を出力する。具体的には、動画像符号化部１０は、例えば図１３の動き補償器１０、第１可変長符号化器５、および第２可変長符号化器１４の動作を、前記ピクチャ構造に従ってフレーム構造／フィールド構造での符号化に適応する方式に切り替える。
【００３３】
図８は、本発明の第２実施形態の構成を示すブロック図である。図中の図１と同じ符号は、同一または同等物を示す。この実施形態は、縮小特徴平面作成部４、簡易動き探索部６、およびフレーム構造／フィールド構造決定部８により構成され、フレーム構造／フィールド構造決定部８が、簡易動き探索部６における簡易動き探索処理により得られた画像変化量情報７が大きい場合にフィールド構造での符号化を、小さい場合にフレーム構造での符号化を選択するようにした点に特徴がある。
【００３４】
図９は、本発明の第３実施形態の構成を示すブロック図である。図中の図１と同じ符号は、同一または同等物を示す。この実施形態は、インタレース／ノンインタレース画像判別部２、およびフレーム構造／フィールド構造決定部８より構成され、インタレース／ノンインタレース画像判別部２において入力画像がインタレース画像か否かの判別を行い、インタレース画像と判定された場合にはフレーム構造／フィールド構造決定部８においてフィールド構造を選択、ノンインタレース画像と判別された場合には、フレーム構造での符号化を選択するようにした点に特徴がある。
【００３５】
図１０は、本発明の第４実施形態の構成を示すブロック図である。図中の図１と同じ符号は、同一または同等物を示す。この実施形態は、インタレース／ノンインタレース画像判別部２、インタレース／ノンインタレース切替部２１、縮小特徴平面作成部４、簡易動き探索部６、およびフレーム構造／フィールド構造決定部８により構成され、インタレース／ノンインタレース画像判別部２における入力画像のインタレース／ノンインタレース画像の判別は、最初に入力される一枚、または複数枚の映像により決定し、この決定に基づいてインタレース／ノンインタレース切替部２１はそのスイッチを“０”または“１”に設定し、以後の入力画像については、インタレース／ノンインタレース画像判別部２がインタレース／ノンインタレースの判別を行わないようにした点に特徴がある。
【００３６】
図１１は、本発明の第５実施形態の構成を示すブロック図である。図中の図１と同じ符号は、同一または同等物を示す。この実施形態は、インタレース／ノンインタレース画像判別部２、インタレース／ノンインタレース切替部２１、およびフレーム構造／フィールド構造決定部８より構成され、インタレース／ノンインタレース画像判別部２における入力画像のインタレース／ノンインタレース画像の判別は、最初に入力される一枚、または複数枚の映像により決定し、この決定に基づいてインタレース／ノンインタレース切替部２１はそのスイッチを“０”または“１”に設定し、以後の入力画像については、インタレース／ノンインタレース画像判別部２がインタレース／ノンインタレースの判別を行わないようにした点に特徴がある。
【００３７】
【発明の効果】
以上の説明から明らかなように、従来の固定されたピクチャ構造の符号化では、符号化効率の高くなる映像は限られていたが、本発明によれば、入力画像の特徴や変化に応じたピクチャ構造に従って符号化を選択するようにしたので、どのような特徴の画像が入力されても、また画像特徴が途中で変化しても、高い符号化効率を保つことができる。
【００３８】
また、フレーム構造／フィールド構造のどちらでも符号化が可能な動き補償予測符号化を用いた動画像符号化方式として、ＭＰＥＧ−２ビデオ符号化方式を用いた動画像の符号化シミュレーション実験を行い、その結果、４Mbit/sの符号化レートで圧縮符号化した場合に、フレーム構造で固定した場合と比較して、本発明ではＰＳＮＲで０．４ｄＢ〜１．０ｄＢ程度の画質の改善を行うことができた。
【図面の簡単な説明】
【図１】  本発明の第１実施形態の構成を示すブロック図である。
【図２】  ノンインタレース構造における画像の構成を示す図である。
【図３】  インタレース構造における画像の構成を示す図である。
【図４】  フレーム画像の構成を示す図である。
【図５】  絶対差分量を算出する画素を説明する図である。
【図６】  縮小特徴平面の作成を説明する図である。
【図７】  簡易動き探索処理を説明する図である。
【図８】  本発明の第２実施形態の構成を示すブロック図である。
【図９】  本発明の第３実施形態の構成を示すブロック図である。
【図１０】  本発明の第４実施形態の構成を示すブロック図である。
【図１１】  本発明の第５実施形態の構成を示すブロック図である。
【図１２】  従来の動画像符号化方式を示すブロック図である。
【図１３】  動き補償を用いた動画像符号化装置のブロック図である。
【図１４】  数式を示す図である。
【符号の説明】
１…画像信号、２…インタレース／ノンインタレース画像判別部、４…縮小特徴平面作成部、６…簡易動き探索部、８…フレーム構造／フィールド構造決定部、１０…動画像符号化部、２１…インタレース／ノンインタレース切替部。
【図１】
0003804745.tif 000002
【図２】
0003804745.tif 000003
【図３】
0003804745.tif 000004
【図４】
0003804745.tif 000005
【図５】
0003804745.tif 000006
【図６】
0003804745.tif 000007
【図７】
0003804745.tif 000008
【図８】
0003804745.tif 000009
【図９】
0003804745.tif 000010
【図１０】
0003804745.tif 000011
【図１１】
0003804745.tif 000012
【図１２】
0003804745.tif 000013
【図１３】
0003804745.tif 000014
【図１４】
0003804745.tif 000015