(57)【要約】【課題】画像を符号化する際に生じる量子化処理に起因するフリッカを高精度に低減させることを目的とする。【解決手段】量子化により符号化された動画像を復号化する際に生じるフリッカの発生を低減するためのフリッカ低減量子化器において、入力信号に含まれる第１のフレームを量子化する量子化部と、前記入力信号と予め設定された閾値とを比較する比較部と、前記比較部により比較した結果に基づき、前記第１のフレームの前記量子化部における出力信号と前記第１のフレームの直前のフレームの出力信号とを選択して出力する選択部とを有することにより、上記課題を解決する。【選択図】        図７
2005039321.tif 000002
【特許請求の範囲】
【請求項１】
量子化により符号化された動画像を復号化する際に生じるフリッカの発生を低減するためのフリッカ低減量子化器において、
入力信号に含まれる第１のフレームを量子化する量子化部と、
前記入力信号と予め設定された閾値とを比較する比較部と、
前記比較部により比較した結果に基づき、前記第１のフレームの前記量子化部における出力信号と前記第１のフレームの直前のフレームの出力信号とを選択して出力する選択部とを有することを特徴とするフリッカ低減量子化器。
【請求項２】
前記比較部は、
前記入力信号が前記閾値の範囲内にあり、更に、前記直前のフレームの量子化された信号レベルと前記第１のフレームの量子化された信号レベルとの差分が予め設定される設定範囲に含まれるかを比較することを特徴とする請求項１に記載のフリッカ低減量子化器。
【請求項３】
前記入力信号と予測信号の差分後の信号を用いて前記動画像の符号化を行う場合、前記予測信号を量子化する予測信号量子化部と、
前記予測信号量子化部にて量子化された予測信号を逆量子化する予測信号逆量子化部とを有することを特徴とする請求項１又は２に記載のフリッカ低減量子化器。
【請求項４】
前記予測信号逆量子化部にて出力される逆量子化出力信号と前記入力信号との残差信号を出力する第１の差分部と、
前記第１差分部から得られる残差信号と前記逆量子化出力信号とを加算する加算部と、
前記逆量子化出力信号を量子化する第２の量子化部と、
前記加算部から得られる出力信号と前記第２の量子化部が出力する予測信号の量子化値との残差信号を出力する第２の差分部とを有することを特徴とする請求項１乃至３の何れか１項に記載のフリッカ低減量子化器。
【請求項５】
量子化により符号化された動画像を復号化する際に生じるフリッカの発生を低減するためのフリッカ低減量子化方法において、
入力信号に含まれる第１のフレームを量子化する量子化段階と、
前記入力信号と予め設定された閾値とを比較する比較段階と、
前記比較段階により比較した結果に基づき、前記第１のフレームの前記量子化段階における出力信号と前記第１のフレームの直前のフレームの出力信号とを選択して出力する選択段階とを有することを特徴とするフリッカ低減量子化方法。
【請求項６】
量子化により符号化された動画像を復号化する際に生じるフリッカの発生を低減するためのフリッカ低減量子化処理をコンピュータに実行させるためのプログラムにおいて、
入力信号に含まれる第１のフレームを量子化する量子化処理と、
前記入力信号と予め設定された閾値とを比較する比較処理と、
前記比較処理により比較した結果に基づき、前記第１のフレームの前記量子化処理における出力信号と前記第１のフレームの直前のフレームの出力信号とを選択して出力する選択処理とをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、フリッカ低減量子化器、フリッカ低減量子化方法、及びそのプログラムに係り、特に動画像符号化において、フレーム単位で動画像を符号化する際の量子化処理に起因するフリッカを低減させるためのフリッカ低減量子化器、フリッカ低減量子化方法、及びそのプログラムに関する。
【０００２】
【従来の技術】
従来、映像の伝送や、デジタルスチルカメラ等で撮影した動画像の保存、動画像の編集装置で映像を保存するための圧縮符号化方式等は多数開発されており、例えば、ＭｏｔｉｏｎＪＰＥＧ方式や、ＭＰＥＧ−４方式、ＪＶＴ方式（Ｈ．２６４、ＭＰＥＧ−４ｐａｒｔ１０、又はＡＶＣと呼ばれることもある）等がある。
【０００３】
ところで、ＭｏｔｉｏｎＪＰＥＧ方式と、ＭＰＥＧ−４方式及びＪＶＴ方式とは量子化処理に関連した相違点があり、それは予測の有無である。ＭｏｔｉｏｎＪＰＥＧ方式では予測を行わずに入力信号を量子化するのに対し、ＪＶＴ方式やＭＰＥＧ−４方式では予測を行った後の残差信号を量子化する。
【０００４】
次に、上述の内容について図を用いて説明する。図１は、予測を伴う符号化における量子化部付近のブロック図である。図１は、差分部１０１と、量子化部１０２とを有しており、差分部１０１で入力信号と予測信号の差分を求め、差分部１０１で求めた残差信号を量子化部１０２で量子化する。一方、ＭｏｔｉｏｎＪＰＥＧ方式では予測信号および差分部１０１がない。
【０００５】
ここで、量子化としては下記式（１）の関数Ｑ（）が用いられることが多い。また、逆量子化は式（１）の関数Ｑ−１（）が用いられることが多い。
【０００６】
【数１】
2005039321.tif 000003
ここで、式（１）中のＱｓｔｅｐは量子化ステップを示し、／／／は除算した結果の四捨五入を表している。なお、四捨五入の替わりに切り捨て、又は切り上げを行う量子化が用いられることもある。
【０００７】
なお、動画像符号化におけるフリッカを抑制する方法も開示されている（例えば、非特許文献１参照。）。
【０００８】
また、Ａ／Ｄ変換におけるフリッカを抑制する方法は公知の技術である（例えば、特許文献１参照。）。
【０００９】
非特許文献１は、ＪＶＴ方式を用いて動画像の全フレームをイントラフレームとして符号化する際に発生するフリッカを軽減する手法である。非特許文献１におけるＪＶＴ符号化の一例について図を用いて説明する。図２は、従来のＪＶＴ符号化エンコーダの一構成例を示す図である。
【００１０】
図２は、差分部２０１と、量子化部２０２と、予測信号を量子化する予測信号量子化部２０３と、量子化した予測信号を逆量子化する予測信号逆量子化部２０４とを有するよう構成されている。なお、図２における入力信号、予測信号、差分部２０１、量子化部２０２は、夫々図１における入力信号、予測信号、差分部１０１、量子化部１０２と等しい。また、図２の点線領域２０５で囲まれた部分が、非特許文献１により追加された部分であり、点線２０５を取り除くと、元のＪＶＴ符号化エンコーダにおける量子化部と同じものになる。
【００１１】
予測信号量子化部２０３及び予測信号逆量子化部２０４では量子化部２０２と同じ量子化ステップを用いる。非特許文献１は、入力画像と予測画像の差分を計算する前に、予測画像を量子化・逆量子化することで、予測画像における小さな変動を除去し、動画像中のフリッカを低減することを目的としている。
【００１２】
【非特許文献１】
Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ（ＪＶＴ）  ｏｆ  ＩＳＯ／ＩＥＣ  ＭＰＥＧ  ＆  ＩＴＵ−Ｔ  ＶＣＥＧ（ＩＳＯ／ＩＥＣ  ＪＴＣ  １／ＳＣ２９／ＷＧ１１  ａｎｄ  ＩＴＵ−Ｔ  ＳＧ１６  Ｑ．６），５ｔｈ  Ｍｅｅｔｉｎｇ：  Ｇｅｎｅｖａ，  Ｓｗｉｔｚｅｒｌａｎｄ，  ９−１７  Ｏｃｔｏｂｅｒ，  ２００２，文書番号ＪＶＴ−Ｅ７０「Ｆｌｉｃｋｉｎｇ  Ｒｅｄｕｃｔｉｏｎ  ｉｎ  Ａｌｌ  Ｉｎｔｒａ  Ｆｒａｍｅ  Ｃｏｄｉｎｇ」
【００１３】
【特許文献１】
特開平８−１６３４７０号公報
【００１４】
【発明が解決しようとする課題】
ところで、動画像を符号化した場合、復号画像中にフリッカ妨害が起きることがある。フリッカ妨害の直接の原因は、１フレーム毎又は数フレーム毎に輝度や色が大きく変化する領域が発生することであり、輝度や色が大きく変化する原因は、符号化を行う際の量子化歪みにある。
【００１５】
ここで、輝度や色を大きく変化させることにより生じる量子化歪みについて図を使って説明する。図３は、量子化で発生するフリッカの一例を示す図である。
【００１６】
この例では、量子化および逆量子化に式（１）を用い、量子化ステップＱｓｔｅｐ＝１６とする。図３（ａ）は原画像の輝度変化を示したもので、横軸は時間、縦軸は輝度レベルを示している。また、図３（ｂ）は、図３（ａ）を量子化した結果であり、横軸は時間、縦軸は量子化レベルを示している。更に、図３（ｃ）は、図３（ｂ）を逆量子化した結果であり復号画像に相当する。図３（ｃ）の横軸は時間、縦軸は輝度レベルを示している。このように、量子化と逆量子化を行うことで、図３（ａ）のような微少な変動が、図３（ｃ）のような大きな変動に変化し、これがフリッカ妨害の原因となる。
【００１７】
なお、この説明では単純にするために輝度レベルを直接量子化する手法を用いて説明したが、ＭｏｔｉｏｎＪＰＥＧ方式等の一般の符号化方式では、画面を１６画素×１６ライン程度の小ブロックに分割した後に、ＤＣＴ変換を行った結果のＤＣＴ係数を量子化する。最初のＤＣＴ係数は、小ブロック全体のＤＣ成分（輝度信号の場合は輝度レベル）を表しているため、ＤＣＴ係数のＤＣ成分が量子化及び逆量子化により大きく変化すると小ブロック全体にフリッカが発生するため、主観的な画質はこの例で示した輝度レベルを直接量子化する場合以上に大きく低下する。
【００１８】
また、上述した特許文献１にて開示されている内容は、Ａ／Ｄ変換直後の現フィールドの信号と、１フィールド前におけるフリッカ軽減回路の出力とを比較し、階調差が１以下の場合に、１フィールド前におけるフリッカ軽減回路の出力を出力するものである。この技術の持つ課題について図を用いて説明する。
【００１９】
図４は、従来のフリッカ抑制を説明するための一例の図である。また、図４の横軸はフレームを示し、横軸の刻みはフレーム間隔を示している。図４の縦軸は輝度レベルを示し、縦軸の刻みはＡ／Ｄ変換後のデジタル信号の間隔を示している。図４（ａ）に示す線が、上述の特許文献１に記載されている入力となるアナログ信号の例で、この信号は、時間の経過と共に単調に輝度レベルが大きくなる信号である。
【００２０】
また、図４（ｂ）は、Ａ／Ｄ変換直後の信号を示した図であり、特許文献１によれば、Ａ／Ｄ変換直後の信号と前フレームの出力信号との差が１以下の時は前フィールドの出力信号を出力する。その結果、出力は図４（ｃ）に示す出力信号となる。
【００２１】
しかしながら、この例に示すように輝度レベルが単調に増加（あるいは減少）する映像（例えば、フェードイン、フェードアウトといったフェード効果等）に対して特許文献１に記載された内容を適用すると、輝度の変化が遅延すると共にレベル変化も粗くなるため、輝度の変化がぎくしゃくして見える妨害が発生する。
【００２２】
次に、ＪＶＴ符号化等、予測を伴う符号化方式の持つ課題について図を用いて説明する。図５は、予測を伴う符号化で発生するフリッカの一例を示す図である。ここで、図５の横軸はフレーム番号を示し、縦軸は信号レベルを示している。また、縦軸についている刻みは量子化ステップの間隔を示している。すなわち量子化した信号を逆量子化した結果は、縦軸の刻みの位置に限定されることになる。
【００２３】
図５（ａ）は、入力信号と予測信号の例であり、図５（ａ）の入力信号と予測信号を図１のブロック図に入力した場合、差分部１０１が出力する残差信号が図５（ｂ）である。また、図５（ｃ）は、量子化部１０２の出力を逆量子化した信号である。復号時には図５（ｃ）の信号と予測信号を加算する。その結果得られた復号信号が図５（ｄ）である。
【００２４】
ここで、予測を伴わない符号化方式とは状況が異なるが、入力信号と比べてフレーム毎のＤＣＴ係数の変動が大きくなっており、これがフリッカ妨害となる。
【００２５】
次に、ＪＶＴ符号化におけるフリッカ（特に、全フレームをイントラ符号化したときのフリッカ）を低減する手法である非特許文献１に記載されている内容を適用したエンコーダを用いても、フリッカが低減できない例について図を用いて説明する。
【００２６】
図６は、予測を伴う符号化に非特許文献１の内容を適用した場合に発生するフリッカの一例を示す図である。図６（ａ）の入力信号と予測信号は、図５（ａ）の入力信号と予測信号の例と同じ信号とする。
【００２７】
図６（ａ）の入力信号と予測信号とを図２のブロック図に入力したときの予測信号逆量子化部２０４の出力を図６（ｂ）に示す。
【００２８】
ここで、非特許文献１における効果として、予測信号逆量子化部２０４の出力値が縦軸の刻みに揃っている。つまり、一定の信号レベルで出力される。また、図６（ｃ）は、差分部２０１の出力であり、図６（ｄ）は、量子化部２０２の出力を逆量子化した信号である。
【００２９】
更に、図６（ｅ）は、図６（ｄ）の信号と図６（ｂ）の予測信号逆量子化部２０４の出力信号（量子化・逆量子化後の予測信号）を加算した結果であり、復号信号を示している。
【００３０】
図６（ｅ）に示すように、復号信号のフレーム毎の変動が大きく、フリッカ妨害が発生している。このように、非特許文献１に記載の内容を用いた量子化器においてもフリッカを低減できないことがある。
【００３１】
本発明は、上述した問題点に鑑みなされたものであり、連続するフレームで類似した値を持つ画素の量子化値を調整することで、フリッカ妨害を低減するためのフリッカ低減量子化器、フリッカ低減量子化方法、及びそのプログラムを提供することを目的とする。
【００３２】
【課題を解決するための手段】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００３３】
請求項１に記載された発明は、量子化により符号化された動画像を復号化する際に生じるフリッカの発生を低減するためのフリッカ低減量子化器において、入力信号に含まれる第１のフレームを量子化する量子化部と、前記入力信号と予め設定された閾値とを比較する比較部と、前記比較部により比較した結果に基づき、前記第１のフレームの前記量子化部における出力信号と前記第１のフレームの直前のフレームの出力信号とを選択して出力する選択部とを有することを特徴とする。
【００３４】
請求項１記載の発明によれば、連続フレームで似た値を持つ画素に対して直前のフレームにおける量子化値を出力信号とすることで、量子化値を揃えてフリッカ妨害を低減することができる。つまり、入力信号が量子化の境界付近で微細に振動していても、予め設定される閾値の範囲内では、前フレームの出力と同じ値が出力されるため、出力信号にフリッカが発生することを防止することができる。
【００３５】
請求項２に記載された発明は、前記比較部は、前記入力信号が前記閾値の範囲内にあり、更に、前記直前のフレームの量子化された信号レベルと前記第１のフレームの量子化された信号レベルとの差分が予め設定される設定範囲に含まれるかを比較することを特徴とする。
【００３６】
請求項２記載の発明によれば、第１のフレームの入力信号が閾値の範囲内にあり、更に、直前のフレームの量子化された値と、前記第１のフレームの量子化された値との差分が前記閾値とは別に設定される設定範囲に含まれるかを比較することにより、高精度にフリッカの発生を防止することができる。更に、閾値と設定範囲とを設定することができるため、フリッカの抑制精度を調整することができ、出力された信号を逆量子化したときに得られる動画像におけるフリッカの発生有無を調整することができるため、所望する動画像を容易に取得することができる。
【００３７】
請求項３に記載された発明は、前記入力信号と予測信号の差分後の信号を用いて前記動画像の符号化を行う場合、前記予測信号を量子化する予測信号量子化部と、前記予測信号量子化部にて量子化された予測信号を逆量子化する予測信号逆量子化部とを有することを特徴とする。
【００３８】
請求項３記載の発明によれば、量子化におけるフリッカの発生を高精度に防止することができる。また、動画像の符号化において、予測を行うインター符号化や、同一フレーム内にて予測を行うこともあるイントラ符号化形式においても、フリッカ妨害を低減することができる。
【００３９】
請求項４に記載された発明は、前記予測信号逆量子化部にて出力される逆量子化出力信号と前記入力信号との残差信号を出力する第１の差分部と、前記第１差分部から得られる残差信号と前記逆量子化出力信号とを加算する加算部と、前記逆量子化出力信号を量子化する第２の量子化部と、前記加算部から得られる出力信号と前記第２の量子化部が出力する予測信号の量子化値との残差信号を出力する第２の差分部とを有することを特徴とする。
【００４０】
請求項４記載の発明によれば、量子化におけるフリッカの発生を高精度に防止することができる。また、インター符号化やイントラ符号化形式においても、高精度にフリッカ妨害を低減することができる。
【００４１】
請求項５に記載された発明は、量子化により符号化された動画像を復号化する際に生じるフリッカの発生を低減するためのフリッカ低減量子化方法において、入力信号に含まれる第１のフレームを量子化する量子化段階と、前記入力信号と予め設定された閾値とを比較する比較段階と、前記比較段階により比較した結果に基づき、前記第１のフレームの前記量子化段階における出力信号と前記第１のフレームの直前のフレームの出力信号とを選択して出力する選択段階とを有することを特徴とする。
【００４２】
請求項５記載の発明によれば、連続フレームで似た値を持つ画素に対して直前のフレームにおける量子化値を出力信号とすることで、量子化値を揃えてフリッカ妨害を低減することができる。つまり、入力信号が量子化の境界付近で微細に振動していても、予め設定される閾値の範囲内では、前フレームの出力と同じ値が出力されるため、出力信号にフリッカが発生することを防止することができる。
【００４３】
請求項６に記載された発明は、量子化により符号化された動画像を復号化する際に生じるフリッカの発生を低減するためのフリッカ低減量子化処理をコンピュータに実行させるためのプログラムにおいて、入力信号に含まれる第１のフレームを量子化する量子化処理と、前記入力信号と予め設定された閾値とを比較する比較処理と、前記比較処理により比較した結果に基づき、前記第１のフレームの前記量子化処理における出力信号と前記第１のフレームの直前のフレームの出力信号とを選択して出力する選択処理とをコンピュータに実行させる。
【００４４】
請求項６記載の発明によれば、連続フレームで似た値を持つ画素に対して直前のフレームにおける量子化値を出力信号とすることで、量子化値を揃えてフリッカ妨害を低減することができる。つまり、入力信号が量子化の境界付近で微細に振動していても、予め設定される閾値の範囲内では、前フレームの出力と同じ値が出力されるため、出力信号にフリッカが発生することを防止することができる。
【００４５】
【発明の実施の形態】
＜本発明の特徴＞
本発明は、符号化する際に生じる量子化処理において、量子化後の値が変化する境界の前後に閾値範囲を設定し、入力信号がこの範囲に含まれており、更に前フレームにおける量子化直後の値と現フレームにおける量子化直後の値との差が閾値とは別に設定された範囲内にある場合に、現フレームにおける本発明の出力の値として前フレームにおける本発明の出力の値を用い、それ以外の場合には現フレームにおける量子化直後の値を出力する。
【００４６】
以下に、上記のような特徴を有する本発明におけるフリッカ低減量子化器を好適に実施した形態について、図面を用いて詳細に説明する。
【００４７】
＜システム構成＞
図７は、本発明におけるフリッカ低減量子化器の一構成例を示す図である。図７のフリッカ低減量子化器は、量子化部３０１と、閾値発生部３０２と、閾値比較部３０３と、遅延部３０４と、選択部３０５と、比較部３０６と、乗算部３０７とを有するよう構成されている。
【００４８】
量子化部３０１は、上述の式（１）に示した量子化と同じ計算を行う。したがって、式（１）におけるＶが量子化部３０１への入力信号で、Ｌが量子化部３０１の出力信号となる。
【００４９】
閾値発生部３０２は、式（２）で示す２つの閾値ＴｌｏｗとＴｈｉｇｈとを発生する。
【００５０】
【数２】
2005039321.tif 000004
ここで、
【００５１】
【数３】
2005039321.tif 000005
である。また、Ｔｈは閾値の大きさを変えるための係数であり、通常は係数Ｔｈの値は０．２程度とする。
【００５２】
なお、本発明の量子化部で利用する量子化手法は、式（１）に示した方法に限らず、本発明を適用しようとする量子化・逆量子化手法を利用することができる。また、量子化手法によっては、量子化後の値が変化する境界が量子化ステップの中央値ではない場合がある。そのような量子化を行う場合は、式（２）における（Ｖｈｉｇｈ＋Ｖｌｏｗ）／２の部分を所望の境界の値に置き換えればよい。
【００５３】
閾値比較部３０３は、入力信号Ｖと閾値発生部３０２の出力を比較し、Ｔｌｏｗ＜Ｖ＜Ｔｈｉｇｈの場合には‘真’を、それ以外の場合には‘偽’を出力する。
【００５４】
遅延部３０４は、本発明による出力（選択部３０５の出力）を１フレーム遅延させるフレームメモリである。遅延部３０４の出力（すなわち、１フレーム前における遅延部３０４からの出力）をＭｐｒｅｖとする。
【００５５】
比較部３０６は、量子化部３０１の出力（Ｌ）と、遅延部３０４の出力（Ｍｐｒｅｖ）を比較し、量子化部３０１の出力（Ｌ）と、遅延部３０４の出力（Ｍｐｒｅｖ）との差の絶対値が｜Ｌ−Ｍｐｒｅｖ｜≦１の場合は‘真’を出力し、それ以外の場合は‘偽’を出力する。なお、本発明における上述の差の絶対値は１に限らず、任意の値を設定値として設定することができる。
【００５６】
例えば、差の絶対値を｜Ｌ−Ｍｐｒｅｖ｜≦２とすると、量子化に伴い発生するフリッカだけでなく、入力信号にあるフリッカ（この場合は量子化ステップの値の２倍まで）のフリッカを除去することができる。
【００５７】
これにより、フリッカの抑制精度を調整することができ、入力される動画像においてフリッカの発生有無を調整することができるため、所望する動画像を容易に取得することができる。
【００５８】
また、乗算部３０７は、比較部３０６の出力と閾値比較部３０３の出力の論理積を出力する。
【００５９】
選択部３０５は、量子化部３０１の出力と遅延部３０４の出力と選択条件により切り替えて出力する。選択条件として乗算部３０７の出力が‘真’の場合は、遅延部３０４に蓄積された値を選択部３０５から出力し、乗算部３０７の出力が‘偽’の場合は、量子化部３０１の値を選択部３０５から出力する。
【００６０】
次に、動画像を符号化する際の本発明の実施例を説明する。ＭｏｔｉｏｎＪＰＥＧ方式のように予測を行わない符号化方式については、符号化の過程にある量子化処理部を本発明と置き換えることによりフリッカを低減することができる。
【００６１】
また、ＪＶＴ方式のように予測を伴う符号化方式では、上述の非特許文献１に記載されている方式と本発明とを組み合わせて用いる。ここで、上述の内容を図を用いて説明する。図８は、動画像を符号化する場合の量子化部のブロック構成例を示す図である。
【００６２】
図８に示すブロック構成は、予測信号量子化部４０１と、予測信号逆量子化部４０２と、第１差分部４０３と、加算部４０４と、第１量子化部４０５と、第２差分部４０６と、第２量子化部４０７とを有するよう構成されている。ここで、図８において、図８中の予測信号量子化部４０１，予測信号逆量子化部４０２，第１差分部４０３は、図２に示した予測信号量子化部２０３，予測信号逆量子化部２０４，差分部２０１と等しい。また、第２量子化部４０７は、図２に示した予測符号量子化部２０３と同じ機能を有する量子化器である。
【００６３】
また、加算部４０４では、第１差分部４０３の出力と予測信号逆量子化部４０２の出力とを加算し、第２差分部４０６では、第１量子化部４０５の出力から予測信号逆量子化部４０２の出力を減算する。
【００６４】
すなわち、予測を伴う符号化方式の場合は、残差信号に対する量子化部（たとえば、図１では１０２、図２では２０２）を、図８の点線領域４０８で示すブロック構成部と置き換えることでフリッカ妨害を低減させることができる。
【００６５】
また、加算部４０４の出力は、第１差分部４０３の入力と等しい。したがって、第１差分部４０３及び加算部４０４は省略することができる。また、予測信号量子化部４０１の出力及び第２量子化部４０７の出力も等しいため、第１差分部４０３及び加算部４０４を省略した場合は、予測信号逆量子化部４０２及び第２量子化部４０７も同時に省略することができる。
【００６６】
ここで、図８に示す量子化部の応用例として、上述した構成部を省略した量子化部のブロック構成例を図９に示す。図９に示すように、予測符号量子化部４０１と、第１量子化部４０５と、第２差分部４０６とを有する構成にすることで、装置コストも削減でき、高精度なフリッカ低減量子化処理が実現できる。
【００６７】
上述した構成を有することにより、入力信号が量子化の境界付近で微細に振動していても、図７で示した閾値発生部３０２で設定される閾値の範囲内では、前フレームの出力と同じ値が発生されるため、出力信号にフリッカが発生することを防止することができる。
【００６８】
次に、本発明により、フリッカが抑制される効果について具体的に図を用いて説明する。図１０は、本発明におけるフリッカ抑制の一例を示す図である。ここで、図１０（ａ）は、図３（ａ）で示す信号と同一の入力信号とする。また、図３と同様にＱｓｔｅｐ＝１６とする。更に、閾値の大きさを変えるための係数Ｔｈは０．２とする。また、図１０（ａ）の横軸は時間、縦軸は輝度レベルを示している。
【００６９】
また、図１０（ｂ）は、図１０（ａ）を量子化した結果であり、横軸は時間、縦軸は量子化レベルを示している。更に、図１０（ｃ）は、図１０（ｂ）を逆量子化した結果であり復号画像に相当する。図１０（ｃ）の横軸は時間、縦軸は輝度レベルを表している。
【００７０】
本発明による図１０（ａ）の第１フレームの出力信号が３であったとする。このとき、図１０（ｂ）の第２フレームでの処理について説明を行う。第２フレームの輝度レベル、すなわち本発明への入力信号の値は、図１０（ａ）よりＶ＝３９である。ここで、Ｖ＝３９を式（１）に代入すると、量子化器３０１の出力Ｌ＝２となる。したがって、比較部３０６の出力は‘真’となる。
【００７１】
また、上述の式（３）よりＶｌｏｗ＝３２、Ｖｈｉｇｈ＝４８、Ｔ＝３となり、上述の式（２）よりＴｌｏｗ＝３７、Ｔｈｉｇｈ＝４３となる。よって閾値比較部３０３の出力も‘真’となるため、選択部３０５は、前フレームの出力（この場合は３）を出力する。
【００７２】
次に、第３フレーム以降も同様の処理が続き、図１０（ａ）の入力に対し、本発明の出力は図１０（ｂ）に示すように一定の量子化レベルとなる。更に、本発明の出力を逆量子化した結果が図１０（ｃ）であり、図１０（ｃ）に示したように本発明に量子化部を用いることにより、フリッカの発生を防止することができる。
【００７３】
また、フェード画像のように単調にレベルが変化する画像についても、入力信号に対して、出力信号のレベル変化を僅かに遅延させるだけで済むため、レベル変化がぎくしゃくするというフリッカ妨害の発生を防止することができる。
【００７４】
次に、上述のフェード画像に本発明を適用した効果について図を用いて説明する。図１１は、本発明におけるフェード画像を用いた実施の様子を示す一例の図である。ここで、図１１（ａ）は、時間の経過と共に輝度レベルが高くなるフェード画像の例である。また、図１１（ｂ）は、従来の量子化器による出力を逆量子化した結果であり、図１１（ｃ）は本発明による出力を逆量子化した結果を示している。なお、図１１の横軸はフレームを示し、横軸の刻みはフレーム間隔を示している。また、図１１の縦軸は輝度レベルを示し、縦軸の刻みはＡ／Ｄ変換後のデジタル信号の間隔を示している。
【００７５】
従来の量子化器の出力（図１１（ｂ））と比較して本発明の出力（図１１（ｃ））は、時間的に若干の遅延が発生するだけで済み、フェード画像に上述した特許文献１に示す内容を適用したときのように輝度変化がぎくしゃくする妨害が発生しない。この遅延量は、閾値発生部３０２で設定する係数Ｔｈに依存し、係数Ｔｈが大きいほど遅延が大きくなる。
【００７６】
なお、ここでは説明を簡単にするために、輝度レベルを直接量子化する例を示しているが、ＭｏｔｉｏｎＪＰＥＧ方式のように、ＤＣＴ等の変換を行った後に量子化する際にも本発明は有効である。輝度レベルを直接量子化する場合に本発明を適用する場合よりも、ＤＣＴ係数を量子化する際に本発明を適用する場合の方が本発明の効果は顕著に現れる。これは、ＤＣＴ等の変換後に従来の量子化を行うと、変換に用いたブロック内の全画素でフリッカが発生するのに対し、ＤＣＴ等の変換後に本発明による量子化を行うとフリッカを抑制できるためである。
【００７７】
また、ＤＣＴ変換後のＤＣＴ係数のＤＣ成分（直流成分）、ＡＣ成分（交流成分）のどちらにも本発明は適用可能である。ＤＣ成分に本発明を適用すれば、空間的に低周波のフリッカ（ブロック全体の輝度レベルが変化するフリッカ）を抑制することができる。また、ＡＣ成分に適用すれば、空間的に高周波（ブロック内のテクスチャの細かいチラつき）を抑制することができる。
【００７８】
このように、ＤＣ成分とＡＣ成分の両方に本発明を適用するとどちらのフリッカも抑制できるため、ＤＣ成分とＡＣ成分の両方に本発明を適用すると従来の量子化器と比較して最も高い改善効果が得られる。
【００７９】
上述したようにＭｏｔｉｏｎＪＰＥＧ方式のように予測を伴わない動画像符号化に本発明を適用した場合は、このようにフリッカ妨害を低減することができる。
【００８０】
また、ＪＶＴ符号化のように予測を伴う動画像符号化については、非特許文献１に示す手法と、本発明とを組み合わせることで、更に高精度にフリッカ妨害を低減することができる。この効果について図を用いて説明する。
【００８１】
図１２は、予測を伴う符号化に対して本発明を適用した場合に発生するフリッカの一例を示す図である。ここで、図１２（ａ）は、非特許文献１に示す手法（図２）と、本発明を組み合わせたブロック図（図８）への入力の例で、図５（ａ）に示した入力信号及び予測信号と同じ信号である。
【００８２】
また、図１２（ｂ）は、予測信号逆量子化部４０２の出力であり、図１２（ｃ）は、第１差分部４０３の出力する残差信号である。また、図１２（ｄ）は、加算部４０４の出力信号であり、図１２（ｄ）で網のかかった領域Ａは、予め設定される閾値の範囲を示している。更に、図１２（ｅ）は、第１量子化部４０５の出力を逆量子化した信号である。
【００８３】
復号信号は、図１２（ｅ）で示した信号と、図１２（ｂ）の予測信号逆量子化部４０２の出力信号とを加算した図１２（ｆ）である。このように、上述した非特許文献１による手法と本発明を組み合わせることで、予測を伴う符号化におけるフリッカ妨害を高精度に低減することができる。
【００８４】
なお、予測を伴う符号化に対して、非特許文献１に示す方法を併用せずに、本発明だけを適用した場合は、フリッカを低減できないことがある。この例について、図を用いて説明する。図１３は、予測を伴う符号化に本発明における量子化手法のみを適用した場合のブロック構成図の一例である。図１３は、予測を伴う符号化における量子化部を、本発明を含むブロック構成で置き換えた図である。図１３のブロック図は、第１差分部５０１と、加算部５０２と、量子化部５０３と、第２差分部５０４とを有するよう構成されている。
【００８５】
すなわち、第１差分部５０１は、図１に示した差分部１０１と同じものであり、点線領域５０５で囲んだブロック構成は量子化部１０２を置き換えたものである。また、加算部５０２は、第１差分部５０１が出力する残差信号と、予測信号とを加算し、量子化部５０３は、加算部５０２からの出力信号を量子化する。更に、第２差分部５０４は、量子化部５０３からの信号と予測信号との差分を求める。
【００８６】
また、図１４は、図１３に基づき発生するフリッカの一例を示す図である。つまり、予測を伴う符号化に本発明における量子化手法のみを適用した場合のフリッカの一例を説明するための図である。
【００８７】
ここで、図１４（ａ）は、図１３に示したブロック図への入力の例であり、図５（ａ）の入力信号及び予測信号と同じものである。図１４（ｂ）は、第１差分部５０１が出力する残差信号で、図１４（ｃ）は、加算部５０２の出力である。また、図１４（ｃ）で網のかかった領域Ａは、図１２（ｄ）に示すように予め設定される閾値の範囲を示している。
【００８８】
また、図１４（ｄ）は、量子化部５０３の出力を逆量子化した信号である。図１４（ｄ）に示した信号と図１４（ａ）の予測信号とを加算した結果は図１４（ｅ）に示すようになり、これが復号信号である。図１４（ａ）に示す入力信号と比較するとフレーム毎の変動が大きくなっているためフリッカ妨害となることがある。このため、非特許文献１に示す内容を組み合わせ上述したフリッカ妨害を防止する。
【００８９】
上述したように本発明によれば、動画像等の符号化において、フレーム単位で動画像を符号化する際に生じる量子化処理に起因するフリッカを高精度に低減させることができる。
【００９０】
なお、非特許文献１には、全フレームをイントラ符号化した場合の効果についてのみが記述されているが、非特許文献１の手法と本発明の組み合わせにより、イントラ符号化であっても、インター符号化であっても同様に量子化に起因するフリッカの発生を低減させる効果を有する。
【００９１】
次に、フリッカ低減量子化プログラムがインストールされたコンピュータにて実行されるフリッカ低減量子化手順について、フローチャートを用いて説明する。
【００９２】
図１５は、本発明におけるフリッカ低減量子化手順を示す一例のフローチャートである。まず、入力信号の量子化処理を行う（Ｓ０１）。ここで、量子化処理は図７における量子化部３０１に相当し、式（１）に示した量子化の計算を行う。したがって、式（１）におけるＶがＳ０１への入力信号で、Ｓ０１で算出する量子化値はＬとなる。
【００９３】
次に、２つの閾値Ｔｌｏｗ及びＴｈｉｇｈの算出を行う（Ｓ０２）。閾値の算出は、図７における閾値発生部３０２に相当し、閾値は式（２）及び式（３）により求めることができる。なお、式（３）におけるＴｈは、閾値の大きさを変えるための係数であり、通常はＴｈの値は０．２程度とする。
【００９４】
Ｓ０２のステップが終了後、入力信号（Ｖ）が閾値の範囲内にあり（Ｔｌｏｗ＜Ｖ＜Ｔｈｉｇｈ）、且つ量子化値と前回出力値の差の絶対値が一定の範囲内（｜Ｌ−Ｍｐｒｅｖ｜≦Ｎ、Ｎは通常１）にあるかの判断を行う（Ｓ０３）。なお、ここでの処理は、図７における閾値比較部３０３、比較部３０６及び乗算部３０７に相当する。
【００９５】
入力信号が前記閾値の範囲内にあり、且つ差の絶対値が前記一定の範囲内にある場合（Ｓ０３において、ＹＥＳ）、上述のＳ０１にて算出した量子化値（Ｌ）の値を前回出力値（Ｍｐｒｅｖ）に変更する処理を行う（Ｓ０４）。なお、この処理は、図７における選択部３０５に相当する。
【００９６】
次に、前回出力値（Ｍｐｒｅｖ）を量子化値（Ｌ）とする処理を行う（Ｓ０５）。なお、ここでの処理は、図７における遅延部３０４に相当する。
【００９７】
Ｓ０５のステップが終了後、本発明を適用する量子化処理が予測を伴うか否かの判断を行う（Ｓ０６）。予測を伴う場合は（Ｓ０６において、ＹＥＳ）、式（１）に従い予測信号の量子化を行う（Ｓ０７）。なお、ここでの処理は、図８における量子化部４０１（図９における量子化部４０１）に相当する。また、量子化値（Ｌ）からＳ０７で求めた量子化後の予測信号を減算して出力し処理を終了する（Ｓ０８）。ここでの処理は、図８における第２差分部４０６（図９における第２差分部４０６）に相当する。
【００９８】
一方、予測を伴わない場合（Ｓ０６において、ＮＯ）、量子化値（Ｌ）を出力して処理を終了する（Ｓ０９）。
【００９９】
ここで、Ｓ０６〜Ｓ０９は、予測を伴う符号化に本発明を適用するときのステップである。
【０１００】
上述したフリッカ低減量子化プログラムにより、量子化値を揃えてフリッカ妨害を低減することができる。
【０１０１】
上述したように本発明によれば、画像を符号化する際の量子化処理に起因するフリッカを高精度に低減させることができる。更に詳細に説明すれば、第１のフレームの入力信号が閾値の範囲内にあり、且つ直前のフレームの量子化された値と、前記第１のフレームの量子化された値との差分が前記閾値とは別に設定される設定範囲に含まれるかを比較して、設定範囲内にある場合は、直前のフレームにおける量子化値を出力信号とすることで、量子化値を揃えてフリッカ妨害を低減することができる。
【０１０２】
また、閾値と設定範囲とを設定することでフリッカの抑制精度を調整することができ、出力された信号を逆量子化したときに得られる動画像におけるフリッカの発生有無を調整することができるため、所望する動画像を容易に取得することができる。
【０１０３】
また、動画像の符号化において、予測を行うインター符号化や、同一フレーム内にて予測を行うこともあるイントラ符号化形式においても、フリッカ妨害を低減することができる。
【０１０４】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【０１０５】
【発明の効果】
上述の如く本発明によれば、画像を符号化する際の量子化処理に起因するフリッカを高精度に低減させることができる。
【図面の簡単な説明】
【図１】予測を伴う符号化における量子化部付近のブロック図である。
【図２】従来のＪＶＴ符号化エンコーダの一構成例を示す図である。
【図３】量子化で発生するフリッカの一例を示す図である。
【図４】従来のフリッカ抑制を説明するための一例の図である。
【図５】予測を伴う符号化で発生するフリッカの一例を示す図である。
【図６】予測を伴う符号化に非特許文献１の内容を適用した場合に発生するフリッカの一例を示す図である。
【図７】本発明におけるフリッカ低減量子化器の一構成例を示す図である。
【図８】動画像を符号化する場合の量子化部のブロック構成例を示す図である。
【図９】図８に示す量子化部の応用例を示す図である。
【図１０】本発明におけるフリッカ抑制の一例を示す図である。
【図１１】本発明におけるフェード画像を用いた実施の様子を示す一例の図である。
【図１２】予測を伴う符号化に対して本発明を適用した場合に発生するフリッカの一例を示す図である。
【図１３】予測を伴う符号化に本発明における量子化手法のみを適用した場合のブロック構成図の一例である。
【図１４】図１３に基づき発生するフリッカの一例を示す図である。
【図１５】本発明におけるフリッカ低減量子化手順を示す一例のフローチャートである。
【符号の説明】
１０１，２０１  差分部
１０２，２０２，３０１  量子化部
２０３，４０１  予測信号量子化部
２０４，４０２  予測信号逆量子化部
３０２  閾値発生部
３０３  閾値比較部
３０４  遅延部
３０５  選択部
３０６  比較部
３０７  乗算部
４０３，５０１  第１差分部
４０４，５０２  加算部
４０５，５０３  本発明に係る量子化部
４０６，５０４  第２差分部
４０７  第２量子化部
【図１】
2005039321.tif 000006
【図２】
2005039321.tif 000007
【図３】
2005039321.tif 000008
【図４】
2005039321.tif 000009
【図５】
2005039321.tif 000010
【図６】
2005039321.tif 000011
【図７】
2005039321.tif 000012
【図８】
2005039321.tif 000013
【図９】
2005039321.tif 000014
【図１０】
2005039321.tif 000015
【図１１】
2005039321.tif 000016
【図１２】
2005039321.tif 000017
【図１３】
2005039321.tif 000018
【図１４】
2005039321.tif 000019
【図１５】
2005039321.tif 000020