(57)【特許請求の範囲】
【請求項１】
映像信号の時間もしくは空間方向の相関を用いて求められた予測誤差信号に対し、直交変換等の周波数変換を施した上で符号化を行う装置の符号量低減装置であって、
処理を行うフレームを特定する対象フレーム特定手段と、
前記対象フレーム特定手段で特定された対象フレームにおいて、所定の領域または所定のマクロブロック毎に、その画素値、および、その前後のフレームの同一位置の画素値をあわせて周波数変換することにより係数列を得る係数列取得手段と、
該係数列に対して時空間視覚特性モデルに基づき知覚できない係数を求める手段と、
前記予測誤差信号の直交変換等の周波数変換係数に対して、前記知覚できない高周波係数を０にする手段とを具備したことを特徴とする符号量低減装置。
【請求項２】
請求項１に記載の符号量低減装置であって、
前記係数列取得手段において、当該対象フレームの前後のフレームが符号化済である場合、その復号画像を利用することを特徴とする符号量低減装置。
【請求項３】
請求項１または２に記載の符号量低減装置であって、
前記符号化がイントラモードの場合には、前記予測誤差信号の直交変換等の周波数変換係数に対して、前記知覚できない高周波係数を０にし、
前記符号化がインターモードの場合には、前記予測誤差信号の直交変換等の周波数変換係数を全て０にすることを特徴とする符号量低減装置。
【請求項４】
請求項３に記載の符号量低減装置であって、
さらに符号化モード選択手段を具備し、
該符号化モード選択手段は、前記予測誤差信号の直交変換等の周波数変換係数に対して、前記知覚できない高周波係数を０にしたイントラモードと、前記予測誤差信号の直交変換等の周波数変換係数を全て０にしたインターモードのうち、符号量の小さい方の符号化モードを選択することを特徴とする符号量低減装置。
【請求項５】
請求項１ないし４のいずれかに記載の符号量低減装置であって、
前記対象フレーム特定手段は、符号化時に参照されないフレームまたはマクロブロックを特定することを特徴とする符号量低減装置。
【請求項６】
請求項５に記載の符号量低減装置であって、
前記対象フレーム特定手段は、入力信号のフレームレートに従い、対象とするフレームの間隔を決定することを特徴とする符号量低減装置。
【請求項７】
映像信号の時間もしくは空間方向の相関を用いて求められた予測誤差信号に対し、直交変換等の周波数変換を施した上で符号化を行う符号化装置であって、
符号化済み映像信号を復号する復号手段と、
処理を行うフレームを特定する対象フレーム特定手段と、
前記復号手段で復号されたフレームであって、前記対象フレーム特定手段で特定された対象フレームにおいて、所定の領域または所定のマクロブロック毎に、その画素値、および、その前後のフレームの同一位置の画素値をあわせて周波数変換することにより係数列を得る手段と、
該係数列に対して時空間視覚特性モデルに基づき知覚できない係数を求める手段と、
前記予測誤差信号の直交変換等の周波数変換係数に対して、前記知覚できない高周波係数を０にする手段と、
前記知覚できない高周波係数を０にされた結果に基づいて、前記符号化済み映像信号の符号化データを再構成する手段とを具備したことを特徴とする符号化装置。
【請求項８】
請求項７に記載の符号化装置であって、
前記符号化済み映像信号の符号化モードがイントラの場合には、前記予測誤差信号の直交変換等の周波数変換係数に対して、前記知覚できない高周波係数を０にし、インターの場合には、前記予測誤差信号の直交変換等の周波数変換係数を全て０にすることを特徴とする符号化装置。
【請求項９】
請求項７または８に記載の符号化装置であって、
前記対象フレーム特定手段は、符号化時に参照されないフレームまたはマクロブロックを特定することを特徴とする符号化装置。
【請求項１０】
請求項９に記載の符号化装置であって、
前記対象フレーム特定手段は、入力信号のフレームレートに従い、対象とするフレームの間隔を決定することを特徴とする符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は符号量低減装置および符号化装置に関し、特に映像信号の符号化制御を行うために、特に人間の視覚特性に基づき、高いフレームレートの映像信号を符号化する装置における符号量低減装置および符号化装置に関する。 
【背景技術】
【０００２】
人間の時空間視覚特性に基づく符号化方式として、後述の特許文献１に記されているものが挙げられる。該特許文献１には、時空間視覚特性に基づき重み付けされた符号化歪みを用いたコスト関数最小化規範により符号化パラメータの決定を行う技術が開示されている。
【０００３】
一方、特許文献２および非特許文献１には、鋭／鈍繰り返し再生による錯視の原理を用いた符号化画像制御方式が開示されている。鋭／鈍繰り返し錯視とは、例えば、６０フレーム／秒の画像があった場合に、１枚おきに鋭画像（高解像度画像、３０枚／秒）と鈍画像（低解像度画像、３０枚／秒）を繰り返すと、全体が鋭画像に見えるというものである。そして、この結果、画質を落とすことなく、画像の符号化効率を向上することが期待できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８３５９９号公報
【特許文献２】特開２００９−１００４３３号公報
【非特許文献】
【０００５】
【非特許文献１】「鋭／鈍繰り返し画像の解明とフレーム内挿倍速表示(TFI)などへの応用−視知覚信号処理工学の発展」映像情報メディア学会誌  63(4)(727)pp．549-552
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記特許文献１に記されている技術では、高いフレームレート、例えば６０フレーム／秒の場合にドラスティックな符号量削減をできないという課題がある。
【０００７】
また、前記特許文献２及び非特許文献１に記されているように、１枚おきに低解像度画像を符号化することは、時間方向の相関が低くなることにもつながるために、場合によっては符号化効率が下がることが懸念される。また、これらの特許文献２及び非特許文献１に記されている方式では、フレームを鋭／鈍いずれかのフレームと一義的に決定し、鈍フレームでは画面内で一律のフィルタ処理を適用することを前提としている。このように画面内で一律のフィルタ処理を行うと、映像の動きの特性などによっては部分的に劣化が見えるなどの問題が発生することが知られている。
【０００８】
本発明の目的は、前記した課題を解消し、高フレームレート映像に対して、符号化側のみの処理で画質を下げることなく映像信号の符号量を大きく下げることのできる符号量低減装置および符号化装置を提供することにある。
【課題を解決するための手段】
【０００９】
前記した目的を達成するために、本発明は、映像信号の時間もしくは空間方向の相関を用いて求められた予測誤差信号に対し、直交変換等の周波数変換を施した上で符号化を行う装置の符号量低減装置であって、処理を行うフレームを特定する対象フレーム特定手段と、前記対象フレーム特定手段で特定された対象フレームにおいて、所定の領域または所定のマクロブロック毎に、周波数変換により係数列を得る手段と、該係数列に対して時空間視覚特性モデルに基づき知覚できない係数を求める手段と、前記予測誤差信号の直交変換等の周波数変換係数に対して、前記知覚できない高周波係数を０にする手段とを具備した点に第１の特徴がある。
【００１０】
また、本発明は、前記符号化がイントラモードの場合には、前記予測誤差信号の直交変換等の周波数変換係数に対して、前記知覚できない高周波係数を０にし、前記符号化がインターモードの場合には、前記予測誤差信号の直交変換等の周波数変換係数を全て０にするようにした点に第２の特徴がある。
【００１１】
また、本発明は、さらに符号化モード選択手段を具備し、該符号化モード選択手段は、前記予測誤差信号の直交変換等の周波数変換係数に対して、前記知覚できない高周波係数を０にしたイントラモードと、前記予測誤差信号の直交変換等の周波数変換係数を全て０にしたインターモードのうち、符号量の小さい方の符号化モードを選択するようにした点に第３の特徴がある。
【００１２】
さらに、本発明は、映像信号の時間もしくは空間方向の相関を用いて求められた予測誤差信号に対し、直交変換等の周波数変換を施した上で符号化を行う符号化装置であって、符号化済み映像信号を復号する復号手段と、処理を行うフレームを特定する対象フレーム特定手段と、前記復号手段で復号されたフレームであって、前記対象フレーム特定手段で特定された対象フレームにおいて、所定の領域または所定のマクロブロック毎に、周波数変換により係数列を得る手段と、該係数列に対して時空間視覚特性モデルに基づき知覚できない係数を求める手段と、前記予測誤差信号の直交変換等の周波数変換係数に対して、前記知覚できない高周波係数を０にする手段と、前記知覚できない高周波係数を０にされた結果に基づいて、前記符号化済み映像信号の符号化データを再構成する手段とを具備した点に第４の特徴がある。
【発明の効果】
【００１３】
前記第１〜４の特徴によれば、特に高いフレームレート（例えば、60fps、120fps等）の映像信号を符号化するための装置に適用して好適な符号量低減装置または符号化装置を提供することができる。また、符号化側のみの処理で、画質を下げることなく数枚置きの映像信号の符号量を大幅に下げることができる。
【００１４】
また、前記第１の特徴によれば、予測誤差信号の直交変換等の周波数変換係数に関して、時空間視覚特性モデルに基づき知覚できない高周波係数を０にすることができるので、実質的な画質を全くまたは殆ど劣化させることなく符号量を低減することができる。
【００１５】
また、前記第２の特徴によれば、符号化がインターモードの符号化の場合には、前記予測誤差信号の直交変換等の周波数変換係数を全て０にするので、小さな処理のロードで、実質的な画質を殆ど劣化させることなく符号量を低減することができる。
【００１６】
また、前記第３の特徴によれば、実質的な画質を全くまたは殆ど劣化させることのない、符号量の最も小さい符号化モードを選択することができる。
【００１７】
さらに、前記第４の特徴によれば、符号化済み映像信号の符号量を、時空間視覚特性モデルに基づき知覚できない高周波係数を０にする処理により有効に低減した符号化データの再構成を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】３次元映像信号の説明図である。
【図３】時空間視覚特性モデルと符号化制御との関係を示す説明図である。
【図４】空間視覚特性モデルの説明図である。
【図５】符号化制御の一具体例の説明図である。
【図６】本発明の第３実施形態の要部の構成を示すブロック図である。
【図７】本発明の第４実施形態の要部の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態を説明するためのブロック図である。なお、以下では、H.264符号化装置を念頭において説明するが、本発明はこれに限定されることなく、他の方式の符号化装置にも適用可能である。
【００２０】
図１において、１は符号量低減装置であり、該符号量低減装置１には、符号化対象である入力映像信号Iがフレーム単位で入力されることを前提としている。また、入力映像信号Iは、適切な信号形式により管理されており、フレーム番号や画素位置については、システム内のいかなる段階においても適切に取得することができるものとする。
【００２１】
入力映像信号Iは、まずフレーム番号順、例えばＦ１，Ｆ２，・・・，Ｆ７の順にフレームメモリ１０に記憶される。これは、後段の処理で符号化対象のフレームの前後フレームの情報を参照することが必要となるためである。フレームメモリ１０の容量は、後段の３次元FFT（高速フーリエ変換）１５での参照フレーム数に依存するが、該参照フレーム数以上の情報が蓄積できるものとする。
【００２２】
フレーム遅延部１１は、前記３次元FFT１５の処理で未来方向の処理を参照するため、フレームメモリ１０にこの処理に必要なだけの情報を蓄積させるに相当する時間の遅延を行う。例えば、符号化対象フレームがＦ４であるとすると、未来方向のフレームＦ５〜Ｆ７を蓄積させるに相当する時間の遅延を行う。
【００２３】
次に、処理を行うフレームを特定する対象フレーム特定手段である鋭鈍フレームモード分類部１２において、符号化対象フレームＦ４を鋭画像または鈍画像のいずれかに分類する。鋭フレームに対する鈍フレームの挿入比率は、前記非特許文献３のとおり、鋭鈍再生は鋭フレーム、鈍フレームを1フレームごとに繰り返す、すなわち比率１：１とするのが好適であるが、本発明はこれに限定されず任意であってもよい。鋭フレーム２に対して鈍フレーム１、鋭フレーム３に対して鈍フレーム１などの比率としてもよい。又、この比率は映像信号のフレームレートに従い決定してもよい。実際に、フレームレートが高くなればなるほど、鋭フレーム数に対する鈍フレーム数の比率を上げることが可能となるため、例えば、60fpsの場合を１フレーム間隔として、それ以上のフレームレートの場合にはこの比率をフレームレートに比例させて大きくするなどの処理を行ってもよい。鋭フレームと鈍フレームの分類は、入力鋭鈍のフレーム番号Ｆをもとに行われる。鋭鈍フレームモード分類部１２は、鈍画像に分類した場合には信号ｂ（又は、２値信号１）を出力し、鋭画像に分類した場合には何も出力しない（又は、２値信号０）ものとする。
【００２４】
前記鋭鈍フレームモード分類部１２で鈍フレームと分類された場合には、スイッチング部１３がオンにされて、以下で説明する処理が実行される。一方、鋭フレームと分類された場合には、スイッチング部１３はオフのままである。鋭鈍再生の適否は符号化ブロック単位で行われるため、以降の処理もブロック単位の処理となる。
【００２５】
３次元映像信号抽出部１４はフレームメモリ１０から、図２に示すようなブロック３次元画像情報ｃを抽出する。映像の時空間的特徴を反映するため、対象フレームＦ４内の符号化ブロック内の信号だけでなく、同フレームに対し過去ＮＢフレームおよび未来ＮＦフレームを加えた全（ＮＢ＋ＮＦ＋1）フレームにわたって、同じ位置の符号化ブロックを抽出する。いま、処理対象のブロックが処理対象フレームＦ４内のブロックＢ４であるとし、そのサイズをＮｘ，Ｎｙとすると、Ｎｘ×Ｎｙ×（ＮＢ＋ＮＦ＋1）のブロック３次元画像情報ｃが抽出される。以下では、Ｎｘ×ＮｙのブロックＢ４をマクロブロックと呼ぶ。
【００２６】
次に、該ブロック３次元画像情報ｃは３次元FFT１５を適用され、時空間周波数特性ｇが求められる。一般的に、３次元FFT１５の結果は、折り返しを無視すると図３(a)、(b)の特性ｇのようになり、原点を通る１本の直線のようになる。該折り返しは、３次元FFTを行うと必ず発生するものであるが、図３(a)、(b)では記載が削除されている。図３(a)、(b)のｈは、視覚通過帯域を示している。前記時空間周波数特性ｇの視覚通過帯域ｈより外側にある空間周波数成分は、人間の目には知覚できない部分である。図３(a)の横軸は空間周波数ωＸを示し、縦軸は時間周波数ωＴを示す。図３(b)は、３次元的に表したものであり、ω０は垂直方向の空間周波数、ω１は水平方向の空間周波数を表している。
【００２７】
図４は、空間視覚特性モデル１６（図１参照）を示す。視覚通過帯域ｈは、人間の視覚の通過特性が時間周波数ｆの低い領域（図４のｆ０）では空間周波数方向の通過域が広く、時間周波数が高くなるにつれて（図４のｆ０→ｆ１→ｆ２）空間周波数の通過域が狭くなるという性質のため、図４に示すように錐体に近い形状を有するとの前提で設計される。具体的な周波数特性は、符号化対象となる動画像の解像度・表示系（モニタ、プロジェクタ）のサイズなどに依存するため、個別に設計するのが好適である。なお、図４の錐体は、図３の視覚通過帯域ｈを示し、該錐体の内側を通過域とすることを意味している。
【００２８】
図１に戻って、交点座標演算部１７は時間周波数特性ｇと視覚通過帯域ｈと交わる点の空間周波数座標（ω０'，ω１'）を求める。すなわち、図３(b)に示されているように、交点ｇ'の空間周波数座標（ω０'，ω１'）が求められる。この空間周波数座標（ω０'，ω１'）は、人間の目に知覚されなくなる境界の空間周波数を示している。
【００２９】
次に、入力映像信号は前記フレーム遅延部１１を経て、例えば、H.264の符号化部２１に入力され、イントラ符号化（イントラ予測）またはインター符号化（動き補償）される。該イントラ符号化またはインター符号化によって得られた符号化係数ｄは、スイッチング部２２で、鋭鈍フレームに振り分けられる。なお、周知のように、前記イントラ符号化およびインター符号化のそれぞれには、複数の符号化モードが存在する。
【００３０】
各符号化モードの符号化係数ｄは係数カット処理部２３に送られ、一方鋭フレームの変換係数は本発明による処理は何ら受けることなく通常通りに次の処理部へ送られる。係数カット処理部２３では、マクロブロックの予測誤差信号（以下、残差信号と呼ぶ）の変換係数の高周波成分が前記交点座標演算部１７で求められた空間周波数座標（ω０'，ω１'）に従ってカットされる処理を受ける。
【００３１】
つまり、係数カット処理部２３では、前記交点座標演算部１７で求められた空間周波数座標（ω０'，ω１'）に従って人間の目に知覚されなくなるその高周波成分は０とされ、符号化対象から外される。この結果、空間周波数座標（ω０'，ω１'）より周波数が高い変換係数を伝送する必要がなくなり、符号量を低減することができるようになる。
【００３２】
前記イントラ符号化またはインター符号化によって得られたマクロブロックの残差信号の変換係数を、空間周波数座標（ω０'，ω１'）に従って０にする処理の一具体例を以下に説明する。いま、前記残差信号の直交変換係数のマトリックスが４×４サイズで行われると想定すると、下式(1)を満足するM,Nを求め、直交変換係数のインデックス(m、n）に対して、ｍ≧Ｍ，ｎ≧Ｎとなる係数をゼロにすればよい。
【００３３】
（M/4)π≦｜ω０'｜＜（（M+1)/π），（N/4)π≦｜ω１'｜＜（（N+1)/π）  （ただし、M,N＝０，１，２，３）・・・(1)
【００３４】
例えば、前記残差信号の４×４サイズのマトリックスが図５に示す場合で、Ｍ＝１，Ｎ＝２の場合には、位置（１，２）の周波数成分よりも外側の周波数成分を、図示のように０にすればよい。
【００３５】
次に、本発明者が本発明の実験を行ったところ、図１の符号化部２１でインター符号化が施された鈍フレームのマクロブロックに関しては、残差信号ｄをなし（すなわち、Not coded）としても、画質に大きな影響がないことが分かった。そこで、時空間周波数特性ｇによる係数カットを適用するのは、鈍フレームのイントラ符号化が施されたマクロブロックの残差信号のみとするのが好適であることが分かった。（第２実施形態）
【００３６】
次に、本発明の第３実施形態を、図６を参照して説明する。この実施形態は、第２実施形態の発明にモード選択部２５を付加して、符号量の小さい符号化モードを選択するようにしたものである。図中の図１と同一または同等の機能をするブロックには、同じ符号が付されている。
【００３７】
符号化部２１には、例えば図１のフレーム遅延部１１で遅延された入力映像信号Iが入力する。スイッチング部２２は、前記鋭鈍フレームモード分類信号ｂにより制御され、鈍フレームの場合には図示の位置に接続され、鋭フレームの場合には他方の位置に接続される。モード選択部２５には、前記係数カット処理部２３で符号量の低減処理をされた残差信号を有するイントラモードの符号化係数と、Not Coded化部２４で残差信号の変換係数値を０にされたインターモードの符号化係数が入力する。そこで、モード選択部２５は、前記イントラモードおよびインターモードの各符号化係数の符号量を求め、最も小さい符号量の符号化モードを選択する。一方、鋭フレームの符号化係数は、前記係数カット処理部２３およびNot Coded化部２４を経ることなく、直接、モード選択部２５へ送られ、従来通りのモード選択処理を受ける。該モード選択部２５は、例えば周知のレート歪み最適化処理（Rate Distortion Optimization）により符号化モードの選択をすることができる。
【００３８】
次に、前記入力映像信号Ｉとして符号化済みの映像信号Ｉ'が入力する場合の第４実施形態について、図７を参照して説明する。図中の図１および図６と同一または同等の機能をするブロックには、同じ符号が付されている。なお、図７の３次元映像信号抽出部１４と視覚特性モデルに基づく係数カット処理部２３の間の点線部には、図１の符号１５〜１７の処理が入るが、説明を簡単にするために図示を省略されている。
【００３９】
符号化済み映像信号Ｉ'が入力してくると、該符号化済み映像信号Ｉ'は、復号部３１と、奇数フレームおよびＢピクチャのＭＢ（マクロブロック）分類部３２に入力する。復号部３１は、該符号化済み映像信号Ｉ'を復号する。前記奇数フレームおよびＢピクチャのＭＢ分類部３２は、処理を行うフレームおよびＭＢを特定する対象フレーム特定手段であり、前記鋭鈍フレーム分類部１２と同様の処理を行う。具体的には、符号化済み映像信号Ｉ'から、奇数フレームであって、他の画像から参照されないＢピクチャのＭＢを検知し、該検知時にスイッチング部１３をオンする。これにより、復号部３１で復号された映像信号のうち奇数フレームであってＢピクチャのＭＢからなる３次元映像信号が３次元映像信号抽出部１４で抽出される。その後、図１の符号１５〜１７の処理を経るが、図１と同じ処理であるので説明を省略する。
【００４０】
次に、前記符号化済み映像信号Ｉ'はイントラ、インター判別部３３に入り、イントラあるいはインターのどのモードで符号化されているかが判別される。そして、イントラの場合には、その奇数フレームであってＢピクチャのＭＢは前記視覚特性モデルに基づく係数カット処理部２３に送られ、その残差信号の高周波成分は前記したカット処理を受ける。また、インターの場合には、その奇数フレームであってＢピクチャのＭＢはNot Coded化部２４に送られ、その残差信号の変換係数は０にされる。符号化データ再構成部３４は、これらの入力結果に基づいて、前記符号化済み映像信号Ｉ'の符号化データを再構成して出力する。
【００４１】
一方、前記奇数フレームであってＢピクチャのＭＢに該当しないイントラ、インターの符号化済み映像信号は、前記係数カット処理やNot Coded化の処理を受けることなく、また符号化データの再構成をされることなく、そのまま出力される。
【００４２】
以上のように、本発明を好ましい実施形態で説明したが、本発明はこれらの実施形態に限定されず、本発明の範囲内で、種々の変形をすることができることは明らかである。
【符号の説明】
【００４３】
１・・・符号量低減装置、１４・・・３次元映像信号抽出部、１５・・・３次元ＦＦＴ、１６・・・空間視覚特性モデル、１７・・・交点座標演算手段、２１・・・符号化部、２３・・・係数カット処理部、２４・・・Not Coded 化部、２５・・・モード選択部、３４・・・符号化データ再構成部。
【図１】
0005349429.tif 000002
【図２】
0005349429.tif 000003
【図３】
0005349429.tif 000004
【図４】
0005349429.tif 000005
【図５】
0005349429.tif 000006
【図６】
0005349429.tif 000007
【図７】
0005349429.tif 000008