(57)【要約】  【課題】  フレーム間の差異が一定以上のときのみシーン変化ありと判断し、該当フレームをフレーム内符号化処理（Ｉピクチャ）とし、画質劣化を防止している。しかし、フレーム間符号化処理（Ｐピクチャ）のように前の再生画像から予測される符号化処理の場合、リファレンスとなるＩピクチャから離れるにつれ、少しずつ画質が劣化してくる。  【解決手段】  動画像信号とフレーム間予測で得られた予測画像信号の特徴量からフレーム毎の画質評価値を算出する画質評価値算出部１１と、画質評価値を予め指定したフレーム数分、保持する画質評価値保持部１２と、保持された画質評価値を予め指定したしきい値と比較し、しきい値未満の場合、フレーム内符号化処理すべきフレームと判定する符号化判定部１３と、符号化判定部による結果より符号化処理モードを割り当てる符号化割り当て部１４とを備える。【選択図】  図１
2005303555.tif 000002
【特許請求の範囲】
【請求項１】
複数のシーンから構成される動画像信号をフレーム間の相関を利用して符号化する符号化装置において、
前記動画像信号とフレーム間予測で得られた予測画像信号をフレーム毎にそれぞれの特徴量から画質評価値を算出する画質評価値算出手段と、
前記画質評価値算出手段による前記画質評価値を予め指定したフレーム数分、保持する画質評価値保持手段と、
前記画質評価値保持手段に保持された前記画質評価値を予め指定したしきい値と比較し、前記しきい値未満の場合、フレーム内符号化処理すべきフレームと判定する符号化判定手段と、
前記符号化判定手段による判定結果に従って符号化処理モードを割り当てる符号化割り当て手段とを備えたことを特徴とする動画像符号化装置。
【請求項２】
前記画質評価値算出手段で算出する画質評価値は、ＰＳＮＲ（ピーク・シグナル対ノイズ比）を用いることを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
さらに、可変長符号化手段での符号量を監視する符号量監視手段を具備し、前記符号量監視手段は、前記符号量が所定量未満であると、前記符号化判定手段に前記しきい値の上方修正の指示を与えることを特徴とする請求項１または請求項２に記載の動画像符号化装置。
【請求項４】
さらに、可変長符号化手段での符号量を監視する符号量監視手段を具備し、前記符号量監視手段は、前記符号量が所定量以上であると、前記符号化判定手段に前記しきい値の下方修正の指示を与えることを特徴とする請求項１または請求項２に記載の動画像符号化装置。
【請求項５】
さらに、可変長符号化手段での符号量を監視する符号量監視手段を具備し、前記符号量監視手段は、前記符号量に応じて前記符号化判定手段の前記しきい値を調整することを特徴とする請求項１または請求項２に記載の動画像符号化装置。
【請求項６】
複数のシーンから構成される動画像信号をフレーム間の相関を利用して符号化する符号化処理において、
前記動画像信号とフレーム間予測で得られた予測画像信号をフレーム毎にそれぞれの特徴量から画質評価値を算出する画質評価値算出ステップと、
前記画質評価値算出ステップによる前記画質評価値を予め指定したフレーム数分、保持する画質評価値保持ステップと、
前記画質評価値保持ステップによる前記画質評価値を予め指定したしきい値と比較し、前記しきい値未満の場合、フレーム内符号化処理すべきフレームと判定する符号化判定ステップとを備えたことを特徴とする動画像符号化方法。
【請求項７】
前記画質評価値算出ステップで算出する前記画質評価値は、ＰＳＮＲを用いることを特徴とする請求項６に記載の動画像符号化方法。
【請求項８】
さらに、可変長符号化処理での符号量を監視する符号量監視ステップを備え、前記符号量監視ステップは、前記符号量が所定量未満であると、前記符号化判定ステップに前記しきい値の上方修正の指示を与えることを特徴とする請求項６または請求項７に記載の動画像符号化方法。
【請求項９】
さらに、可変長符号化処理での符号量を監視する符号量監視ステップを備え、前記符号量監視ステップは、前記符号量が所定量以上であると、前記符号化判定ステップに前記しきい値の下方修正の指示を与えることを指示することを特徴とする請求項６または請求項７に記載の動画像符号化方法。
【請求項１０】
さらに、可変長符号化処理での符号量を監視する符号量監視ステップを備え、前記符号量監視ステップは、前記符号量に応じて前記符号化判定ステップの前記しきい値を調整することを特徴とする請求項６または請求項７に記載の動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ（Moving Picture Coding Experts Group）方式などの動画像圧縮符号化の技術にかかわり、シーンの内容に応じた符号化処理を行う動画像符号化装置および動画像符号化方法に関する。
【背景技術】
【０００２】
従来、動画像符号化装置のシーン変化検出方法としては、例えば特許文献１に開示されているものがある。図１２は、この文献での動作を示している。その場合、フレーム内の各画素の輝度成分の抽出を行い、輝度レベル毎の画素数を表すヒストグラムを当該フレームについて求める。直前のフレームに対して求めたヒストグラムとの差分絶対値を求め、その総和をあらかじめ定めるしきい値と比較し、しきい値を超える場合にシーン変化ありと判断する。
【０００３】
また、特許文献２で開示されているものがある。この文献では、Ｎフレーム分の入力画像に対して、フレーム毎に前方からの動き補償フレーム間予測、すなわち時間的に一つ前の入力画像フレームを用いて現フレームに対する動き補償フレーム間予測を行って、フレーム毎に前方予測誤差画質評価値を算出する。前方予測誤差画質評価値は、輝度の絶対値和や絶対値和の平均、二乗和、二乗和の平均で与えられる。Ｎフレーム毎の画質評価値があらかじめ指定したしきい値以上であると、シーン変化ありと判断する。
【特許文献１】特開平３−２１４３６４号公報（第２−３頁、第２図）
【特許文献１】特開２００２−１０２５９号公報（第７−８頁、第３図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のシーン変化検出方法では、フレーム間の差異が一定以上のときのみシーン変化ありと判断し、該当フレームをフレーム内符号化処理（Ｉピクチャ）とし、画質劣化を防止している。
【０００５】
しかし、フレーム間符号化処理（Ｐピクチャ）のような前の再生画像から予測される符号化処理の場合、リファレンスとなるＩピクチャから離れるにつれ、少しずつ画質が劣化してくる。
【０００６】
本発明はかかる点に鑑みて創作されたものであり、動画像の符号化処理において、各々のフレームの画質評価値、例えばＰＳＮＲ（Peak Signal to noise to ratio：ピーク・シグナル対ノイズ比；現画像と復号画像の差異を評価する尺度）を用いてフレーム内符号化処理（Ｉピクチャ）の挿入位置を決定することで画質劣化を防止することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するために次のような手段を講じる。
【０００８】
本発明の動画像符号化装置は、複数のシーンから構成される動画像信号をフレーム間の相関を利用して符号化する符号化装置において、
前記動画像信号とフレーム間予測で得られた予測画像信号をフレーム毎にそれぞれの特徴量から画質評価値を算出する画質評価値算出手段と、
前記画質評価値算出手段による前記画質評価値を予め指定したフレーム数分、保持する画質評価値保持手段と、
前記画質評価値保持手段に保持された前記画質評価値を予め指定したしきい値と比較し、前記しきい値未満の場合、フレーム内符号化処理すべきフレームと判定する符号化判定手段と、
前記符号化判定手段による判定結果に従って符号化処理モードを割り当てる符号化割り当て手段とを備えた構成を採る。
【０００９】
これに対応する動画像符号化方法は、複数のシーンから構成される動画像信号をフレーム間の相関を利用して符号化する符号化処理において、
前記動画像信号とフレーム間予測で得られた予測画像信号をフレーム毎にそれぞれの特徴量から画質評価値を算出する画質評価値算出ステップと、
前記画質評価値算出ステップによる前記画質評価値を予め指定したフレーム数分、保持する画質評価値保持ステップと、
前記画質評価値保持ステップによる前記画質評価値を予め指定したしきい値と比較し、前記しきい値未満の場合、フレーム内符号化処理すべきフレームと判定する符号化判定ステップとを備えたものである。
【００１０】
この構成によれば、画質評価値算出手段が、入力画像と再符号化画像（再構成画像）の画質評価値を算出し、その結果から符号化判定手段で、符号化モード判定（フレーム内符号化とすべきかフレーム間符号化とすべきか）を行うことが可能である。すなわち、画質評価値が下がった画像フレームについては、フレーム間符号化処理からフレーム内符号化処理に置き換えることができる。以上のように、画質の画質評価値を下げずに符号化処理が実現可能となる。
【００１１】
また、本発明の動画像符号化装置は、上記動画像符号化装置において、前記画質評価値算出手段で算出する画質評価値について、ＰＳＮＲ（Peak Signal to noise to ratio：ピーク・シグナル対ノイズ比）を用いるものである。
【００１２】
この構成によれば、符号化された画質そのもので評価することができ、符号化処理において、高画質化が期待できる。
【００１３】
本発明の動画像符号化装置は、上記動画像符号化装置において、さらに、可変長符号化手段での符号量を監視する符号量監視手段を具備し、前記符号量監視手段は、前記符号量が所定量未満であると、前記符号化判定手段に前記しきい値の上方修正の指示を与える構成を採る。
【００１４】
これに対応する動画像符号化方法は、上記動画像符号化方法において、さらに、可変長符号化処理での符号量を監視する符号量監視ステップを備え、前記符号量監視ステップは、前記符号量が所定量未満であると、前記符号化判定ステップに前記しきい値の上方修正の指示を与えるものである。
【００１５】
この構成によれば、符号量監視手段でストリーム出力する符号量を監視し、符号量が少ない場合、これは符号量に余裕があるということになる。そこで、フレーム内符号化処理（Ｉピクチャ）の挿入数を多くするべく、符号化判定手段のしきい値を上方修正する。符号化判定手段は、画質の画質評価値がしきい値未満のときにフレーム間符号化処理に代えてフレーム内符号化処理に切り替えるものである。したがって、符号化判定手段のしきい値を上方修正することは、フレーム内符号化処理への切り替えの度合いを増すことにつながる。このようにしてフレーム内符号化処理を増やすことにより、画質劣化を防止することができる。
【００１６】
また、本発明の動画像符号化装置は、上記動画像符号化装置において、さらに、可変長符号化手段での符号量を監視する符号量監視手段を具備し、前記符号量監視手段は、前記符号量が所定量以上であると、前記符号化判定手段に前記しきい値の下方修正の指示を与える構成を採る。
【００１７】
これに対応する動画像符号化方法は、上記動画像符号化方法において、さらに、可変長符号化処理での符号量を監視する符号量監視ステップを備え、前記符号量監視ステップは、前記符号量が所定量以上であると、前記符号化判定ステップに前記しきい値の下方修正の指示を与えることを指示するものである。
【００１８】
この構成によれば、符号量監視手段でストリーム出力する符号量を監視し、符号量が多い場合、これは符号量に余裕がないということになる。そこで、フレーム内符号化処理（Ｉピクチャ）の挿入数を少なくするべく、符号化判定手段のしきい値を下方修正する。符号化判定手段は、画質の画質評価値がしきい値未満のときにフレーム間符号化処理に代えてフレーム内符号化処理に切り替えるものである。したがって、符号化判定手段のしきい値を下方修正することは、フレーム内符号化処理への切り替えの度合いを減らすことにつながる。このようにしてフレーム内符号化処理を減らすことにより、符号化処理の的確性を保つ。
【００１９】
また、本発明の動画像符号化装置は、さらに、可変長符号化手段での符号量を監視する符号量監視手段を具備し、前記符号量監視手段は、前記符号量に応じて前記符号化判定手段の前記しきい値を調整する構成を採る。
【００２０】
これに対応する動画像符号化方法は、さらに、可変長符号化処理での符号量を監視する符号量監視ステップを備え、前記符号量監視ステップは、前記符号量に応じて前記符号化判定ステップの前記しきい値を調整するものである。
【００２１】
この構成によれば、符号量監視手段でストリーム出力する符号量を監視し、符号量によって適応的にフレーム内符号化処理（Ｉピクチャ）の挿入数を決定することが可能となる。以上のように、符号量に余裕がなければ、フレーム内符号化処理を少なくすることができ、また符号量に余裕があれば、フレーム内符号化処理を多くすることができる。
【発明の効果】
【００２２】
以上説明したように、本発明によれば、画質評価値によって符号化モードを決定することができ、画質劣化を防止できる。また、上記に加え、符号量に応じて符号化モードを決定することができ、符号量増大を防止することができる。
【発明を実施するための最良の形態】
【００２３】
本発明の骨子は、動画像の符号化処理において、各々フレームの画質評価値を用いて、フレーム内符号化処理か、またはフレーム間符号化処理かを判定し、符号化モードを制御することである。
【００２４】
以下、本発明にかかわる動画像符号化装置および動画像符号化方法の実施の形態を図面に基づいて詳細に説明する。
【００２５】
（実施の形態１）
図１は、本発明の実施の形態１における動画像符号化装置の構成を示すブロック図である。図において、１は直前の１フレーム分の画像データが格納されているフレームメモリであり、２は入力される画像信号とこのフレームメモリ１に格納されていた画像データとの差分を算出する減算器である。３は減算器２の出力を離散コサイン変換（以下、ＤＣＴ（Discrete Cosine Transform）と呼ぶ）を行うＤＣＴ部、４はこのＤＣＴ部３で変換された信号を量子化する量子化部であり、５はこの量子化部４で量子化された信号を符号化して通信路に送出する可変長符号化部である。
【００２６】
６は量子化部４で量子化された信号を逆量子化する逆量子化部であり、７は逆量子化部６で逆量子化された信号に逆離散コサイン変換（以下、逆ＤＣＴと呼ぶ）を施す逆ＤＣＴ部であり、８はフレームメモリ１に格納されていた前フレームの画像データにこの逆ＤＣＴ部７で逆ＤＣＴされた信号を加算して、再度フレームメモリ１に格納する加算器である。
【００２７】
９は入力された画像信号とフレームメモリ１に格納されている前フレームの画像データから動きベクトルを検出する動き検出部であり、１０はこの動き検出部９で検出した動きベクトルを用いてフレームメモリ１から読み出した前フレームの画像データの補償を行う動き補償部である。
【００２８】
１１は入力された画像信号とフレーム間予測で得られた予測画像をフレーム毎にそれぞれの特徴量から同一時間での画質評価値Ｅｆｎを算出する画質評価値算出部であり、１２は画質評価値算出部１１の結果の画質評価値Ｅｆｎを予め指定したフレーム数分、保持する画質評価値保持部であり、１３は画質評価値保持部１２に保持された画質評価値Ｅｆｎを予め指定したしきい値Ｔｈと比較し、しきい値Ｔｈ未満となるフレーム内符号化フレームと判定する符号化判定部であり、１４は符号化判定部１３による結果よりフレーム内符号化かフレーム間符号化かを割り当てる符号化割り当て部である。
【００２９】
以上のように構成された動画像符号化装置の動作について、図１〜図４を参照して説明する。
【００３０】
まず、フレーム内符号化（Ｉピクチャ）の動作について説明する。図１において動画像符号化装置に入力された画像信号は、ＤＣＴ部３に送られ、適当な大きさの２次元のブロック（通常は８×８画素程度のブロック）に分割された上で、各ブロックごとにＤＣＴの処理が施される。ＤＣＴ部３の演算結果は量子化部４に送られて量子化され、この量子化部４より出力されたデータは、可変長符号化部５に送られて処理され、ストリームが出力される。また、量子化部４で出力された値は、逆量子化部６に送られて逆量子化され、逆量子化されたデータは、逆ＤＣＴ部７で逆ＤＣＴされて、フレームメモリ１に蓄えられる。
【００３１】
次に、フレーム間符号化（Ｐピクチャ）の動作について説明する。図１において動画像符号化装置に画像信号が入力されると、動き検出部９は入力された画像入力を現フレームにおいて適当な大きさのブロックがフレームメモリ１に記憶されている前フレームのどの位置に対応するかを求め、これを動きベクトルとして検出する。そして、動き補償部１０ではこの動き検出部９で検出された動きベクトルを用いて予測に用いる前フレームの画素を決定し、減算器２で現フレームとの画像信号との差分をとる。この差分信号は、フレーム内符号化と同様な処理が施され、ＤＣＴ処理、量子化処理、可変長符号化処理が行われ、ストリームが出力される。また、逆量子化処理、逆ＤＣＴ処理され、その結果が加算器８に送られる。加算器８では、この逆ＤＣＴ部７の出力とフレームメモリ１に蓄えられた前フレームの画像データを同一位置にある画素ごとに加算し、加算結果をフレームメモリ１に再格納する。１フレーム分の処理が終了すると、フレームメモリ１には現フレームの画像データが再構成され、次のフレームの予測処理時に直前のフレームの画像データとして利用される。
【００３２】
図２は、ＭＰＥＧ方式のＧＯＰ（Group of Picture）のイメージを示している。ＭＰＥＧ規格に基づく画像符号化では、１つのＧＯＰには１つ以上のＩピクチャが含まれる。図２の例では、画像フレーム番号が０から１４までの１５個の画像フレームで１つのＧＯＰが構成されている。図２の例であると、画像フレーム番号が０でフレーム内符号化、１〜１４でフレーム間符号化という構成になっている。
【００３３】
図３は、本実施の形態１における動画像符号化装置の符号化モード割り当て判定の動作を示すフロー図である。
【００３４】
まず、ステップ（図では「ＳＴ」と記載）３０１において、画像フレーム番号が０のとき、フレーム内符号化処理を行う。次にステップ３０２において、画像フレーム番号が１のとき、フレーム間符号化処理を行う。次にステップ３０３において、画質評価値算出部１１において入力画像データとフレームメモリ１から画質評価値Ｅｆｎを算出する。画質評価値Ｅｆｎとして、画質評価値の尺度を表すＰＳＮＲ（Peak Signal to noise to ratio：ピーク・シグナル対ノイズ比）を用いる。単位はｄＢで与えられる。ＰＳＮＲは以下の式（１）で与えられる。
【００３５】
【数１】
2005303555.tif 000003
ここで、Ｍは幅、Ｎは高さ、ｘ（ｉ，ｊ）は入力画像データ、ｘ〜（ｉ，ｊ）はフレームメモリ１の画像、すなわち再構成画像、ＭＳＥ（Mean Square Error）は平均二乗誤差、ＭＡＸは“２５５”で与えられる。ＰＳＮＲは、高いほど高画質な画像であるといえる。通常、２５〜４０ｄＢに収まる。
【００３６】
次にステップ３０４において、画質評価値算出部１１で算出された画質評価値Ｅｆｎ（ＰＳＮＲ）を画質評価値保持部１２に保持する。画像フレーム番号１から１４までも同様に、フレーム間符号化処理を行い、画質評価値算出部１１で画質評価値Ｅｆｎを算出し、画質評価値保持部１２で保持する。
【００３７】
図４に画像フレーム番号１から１４までの画質評価値結果の例を示す。画質評価値保持部１２で図４のように１ＧＯＰ分の画像フレーム番号ごとに画質評価値Ｅｆを保持する。
【００３８】
次に、ステップ３０５において、符号化判定部１３は、１４フレーム分の平均（ａｖ．Ｅｆ）を算出し、さらに、以下の式（２）を満足する画質評価値Ｅｆｎを検出する。
【００３９】
【数２】
2005303555.tif 000004
ここで、Ｔｈは符号化判定のしきい値、ΔＴｈはしきい値調整値である。
【００４０】
式（２）を満足する画質評価値Ｅｆｎがあれば、そのフレームをフレーム内符号化処理を行うものと判定する。画像フレーム番号１４の場合、式（２）を満足するので、フレーム内符号化処理を適用すべきと判定する。それ以外（画像フレーム番号１から１３）は、フレーム間符号化処理を適用すべきと判定する（ステップ３０６）。
【００４１】
なお、式（２）で使用するしきい値調整値ΔＴｈはデフォルト値として事前に設定しておく。例えば、入力画像が、時間的な変動が比較的大きい場合、しきい値調整値ΔＴｈのデフォルト値を大きめに設定し、しきい値Ｔｈを低めに設定しておく。
【００４２】
以上のようにして、１つのＧＯＰで構成された画像フレーム毎の符号化モードを決定する。次にステップ３０７において、符号化モードの判定結果を、画質評価値保持部１２に保持する。図４に、判定結果の例を示す。図４においては、式（２）を満たすのは、画像フレーム番号１４であり、当該フレーム番号をフレーム内符号化処理と判定している。
【００４３】
具体的に説明する。図４の場合、１４フレーム分の平均ａｖ．Ｅｆは約２９．１である。一例として、しきい値調整値ΔＴｈ＝１．６とすると、しきい値Ｔｈは、
Ｔｈ＝ａｖ．Ｅｆ−ΔＴｈ＝２９．１−１．６＝２７．５
となる。このしきい値Ｔｈ＝２７．５未満のフレームは画像フレーム番号１４のフレーム１つのみである。
【００４４】
次に、再度、１ＧＯＰ分の符号化処理を行う。フレーム内符号化処理を行うかフレーム間符号化処理を行うかは、画質評価値保持部１２に保持された各画像フレーム番号ごとの符号化モードによって決められ、それぞれの動画像符号化処理を行う。符号化割り当て部１４は、画質評価値保持部１２によってフレーム内符号化処理かフレーム間符号化処理を実行する（ステップ３０８）。
【００４５】
このように、本実施の形態の動画像符号化装置によれば、１ＧＯＰ単位で画質評価値Ｅｆｎ（ＰＳＮＲ）をウォッチしていき、画質評価値Ｅｆｎが下がった画像フレームについては、フレーム間符号化処理からフレーム内符号化処理に置き換えることができるので、画質評価値が下がるのを防ぐことができる。このようにして、より高画質な画像信号の符号化処理を実現することができる。
【００４６】
（実施の形態２）
図５は、本発明の実施の形態２における動画像符号化装置の構成を示すブロック図である。図において、５０１はフレームメモリ、５０２は減算器、５０３はＤＣＴ部、５０４は量子化部、５０５は可変長符号化部、５０６は逆量子化部、５０７は逆ＤＣＴ部、５０８は加算器、５０９は動き検出部、５１０は動き補償部、５１１は画質評価値算出部、５１２は画質評価値保持部、５１３は符号化判定部、５１４は符号化割り当て部であり、実施の形態１と同様の部分であるため詳細な説明は省略する。
【００４７】
５１５は、可変長符号化部５０５からストリーム出力される符号量Ｑを監視する符号量監視部である。あらかじめ定めた所定符号量Ｑｈ未満になると、符号化判定部５１３においてしきい値調整値ΔＴｈ２を小さくし、結果として、平均（ａｖ．Ｅｆ）としきい値調整値ΔＴｈ２との差分であるしきい値Ｔｈを上方修正する。
【００４８】
以上のように構成された動画像符号化装置の動作について、図５〜図７を参照して説明する。
【００４９】
図６は、本実施の形態２における動画像符号化装置の動作を示すフロー図である。
【００５０】
まず、ステップ６０１において、画像フレーム番号が０のとき、フレーム内符号化処理を行う。フレーム内符号化処理の際、可変長符号化部５０５において、ストリーム出力される符号量を符号量監視部５１５において監視する（ステップ６０２）。次にステップ６０３において、画像フレーム番号１のとき、フレーム間符号化処理を行う。フレーム間符号化処理の際、可変長符号化部５０５において、ストリーム出力される符号量を符号量監視部５１５において監視する（ステップ６０４）。次にステップ６０５において、画質評価値算出部５１１において入力画像データとフレームメモリ５０１から画質評価値Ｅｆｎを算出する。画質評価値Ｅｆｎとして、画質評価値の尺度を表すＰＳＮＲを用いる。ＰＳＮＲについては、実施の形態１で説明したので省略する。次にステップ６０６において、画質評価値算出部５１１で算出された画質評価値Ｅｆｎ（ＰＳＮＲ）を画質評価値保持部５１２に保持する。画像フレーム番号１から１４までも同様に、フレーム間符号化処理を行い、画質評価値算出部５１１で画質評価値Ｅｆｎを算出し、画質評価値保持部５１２で保持する。図７に画像フレーム番号１から１４までの画質評価値結果の例を示す。画質評価値保持部５１２で図７のように１ＧＯＰ分の画像フレーム番号ごとに画質評価値Ｅｆｎを保持する。
【００５１】
次に、ステップ６０７において、符号化判定部５１３は、１４フレーム分の平均（ａｖ．Ｅｆ）を算出する。以下の式（３）を満足する画質評価値Ｅｆｎを検出する。
【００５２】
【数３】
2005303555.tif 000005
ステップ６０８において、符号量監視部５１５において、符号量Ｑが所定符号量Ｑｈ未満であると判断すると、符号化判定部５１３においてしきい値調整値ΔＴｈ２を小さくし、結果として、平均（ａｖ．Ｅｆ）としきい値調整値ΔＴｈ２との差分であるしきい値Ｔｈを上方修正する。一方、符号量監視部５１５において、符号量Ｑが所定符号量Ｑｈ以上であると判断すると、符号化判定部５１３においてしきい値調整値ΔＴｈ２は所定の値のままとし、結果として、しきい値Ｔｈもそのままとする（ステップ６０９）。
【００５３】
式（３）を満足する画質評価値Ｅｆｎがあれば、そのフレームをフレーム内符号化処理を行うものと判定する。画像フレーム番号１４と画像フレーム番号１３の場合に、式（３）を満足し、フレーム内符号化処理を適用すべきと判定する。それ以外（画像フレーム番号１から１２）は、フレーム間符号化処理のままとする（ステップ６１０）。
【００５４】
以上のようにして、１つのＧＯＰで構成された画像フレーム毎の符号化モードを決定する。次にステップ６１１において、符号化モードの判定結果を、画質評価値保持部５１２に保持する。図７に、判定結果の例を示す。図７においては、式（３）を満たすのは、画像フレーム番号１４と画像フレーム番号１３とであり、当該フレーム番号をフレーム内符号化処理を適用すべきと判定している。
【００５５】
具体的に説明する。図７の場合も、１４フレーム分の平均ａｖ．Ｅｆは約２９．１である。しきい値調整値ΔＴｈ２を実施の形態１の場合の１．６よりも小さい０．６とする。すると、しきい値Ｔｈは、
Ｔｈ＝ａｖ．Ｅｆ−ΔＴｈ＝２９．１−０．６＝２８．５
となる。このしきい値Ｔｈ＝２８．５未満のフレームは画像フレーム番号１４のフレームに加えて新たに画像フレーム番号１３のフレームが該当するようになる。
【００５６】
次に、再度、１ＧＯＰ分の符号化処理を行う。フレーム内符号化処理を行うかフレーム間符号化処理を行うかは、画質評価値保持部５１２に保持された各画像フレーム番号ごとの符号化モードによって決められ、それぞれの動画像符号化処理を行う。符号化割り当て部５１４は、画質評価値保持部５１２によってフレーム内符号化処理かフレーム間符号化処理を実行する（ステップ６１２）。
【００５７】
このように、本実施の形態２の動画像符号化装置によれば、実施の形態１に加え、１ＧＯＰ単位で符号量Ｑを監視する機能を設けることで、符号量Ｑが少なくて余裕がある場合、フレーム内符号化処理（Ｉピクチャ）の挿入数を多くすることが可能となる。
【００５８】
（実施の形態３）
本発明の実施の形態３における動画像符号化装置の構成は、図５が適用される。ただし、符号量監視部５１５は、可変長符号化部５０５からストリーム出力される符号量Ｑを監視し、その符号量Ｑがあらかじめ定めた所定符号量Ｑｈ以上になると、符号化判定部５１３においてしきい値調整値ΔＴｈ３を大きくするように構成されている。
【００５９】
以上のように構成された動画像符号化装置の動作について、図８、図９を参照して説明する。
【００６０】
図８は、本実施の形態３における動画像符号化装置の動作を示すフロー図である。
【００６１】
まず、ステップ８０１において、画像フレーム番号が０のとき、フレーム内符号化処理を行う。フレーム内符号化処理の際、可変長符号化部５０５において、ストリーム出力される符号量を符号量監視部５１５において監視する（ステップ８０２）。次にステップ８０３において、画像フレーム番号１のとき、フレーム間符号化処理を行う。フレーム間符号化処理の際、可変長符号化部５０５において、ストリーム出力される符号量を符号量監視部５１５において監視する（ステップ８０４）。次にステップ８０５において、画質評価値算出部５１１において入力画像データとフレームメモリ５０１から画質評価値Ｅｆｎを算出する。画質評価値Ｅｆｎとして、画質評価値の尺度を表すＰＳＮＲを用いる。ＰＳＮＲについては、実施の形態１で説明したので省略する。次にステップ８０６において、画質評価値算出部５１１で算出された画質評価値Ｅｆｎ（ＰＳＮＲ）を画質評価値保持部５１２に保持する。画像フレーム番号１から１４までも同様に、フレーム間符号化処理を行い、画質評価値算出部５１１で画質評価値Ｅｆｎを算出し、画質評価値保持部５１２で保持する。図９に画像フレーム番号１から１４までの画質評価値結果の例を示す。画質評価値保持部５１２で図９のように１ＧＯＰ分の画像フレーム番号ごとに画質評価値Ｅｆｎを保持する。
【００６２】
次に、ステップ８０７において、符号化判定部５１３は、１４フレーム分の平均（ａｖ．Ｅｆ）を算出する。以下の式（４）を満足する画質評価値Ｅｆｎを検出する。
【００６３】
【数４】
2005303555.tif 000006
ステップ８０８において、符号量監視部５１５において、符号量Ｑが所定符号量Ｑｈ以上であると判断すると、符号化判定部５１３においてしきい値調整値ΔＴｈ３を大きくし、結果として、平均（ａｖ．Ｅｆ）としきい値調整値ΔＴｈ３との差分であるしきい値Ｔｈを下方修正する。する。一方、符号量監視部５１５において、符号量Ｑが所定符号量Ｑｈ未満であると判断すると、符号化判定部５１３においてしきい値調整値ΔＴｈ３は所定の値のままとし、結果として、しきい値Ｔｈもそのままとする（ステップ８０９）。
【００６４】
式（４）を満足する画質評価値Ｅｆｎがあれば、そのフレームをフレーム内符号化処理を行うものと判定する。図９においては、式（４）を満たすのはない。つまり、フレーム番号１から１４においてフレーム内符号化処理をするものはないということである（ステップ８１０）。
【００６５】
以上のようにして、１つのＧＯＰで構成された画像フレーム毎の符号化モードを決定する。次にステップ８１１において、符号化モードの判定結果を、画質評価値保持部５１２に保持する。
【００６６】
具体的に説明する。図９の場合も、１４フレーム分の平均ａｖ．Ｅｆは約２９．１である。しきい値調整値ΔＴｈ３を実施の形態１の場合の１．６よりも大きい２．６とする。すると、しきい値Ｔｈは、
Ｔｈ＝ａｖ．Ｅｆ−ΔＴｈ＝２９．１−２．６＝２６．５
となる。このしきい値Ｔｈ＝２６．５未満のフレームは存在しない。すなわち、元の画像フレーム番号１４のフレームも該当しないようになる。
【００６７】
次に、再度、１ＧＯＰ分の符号化処理を行う。フレーム内符号化処理を行うかフレーム間符号化処理を行うかは、画質評価値保持部５１２に保持された各画像フレーム番号ごとの符号化モードによって決められ、それぞれの動画像符号化処理を行う。符号化割り当て部５１４は、画質評価値保持部５１２によってフレーム内符号化処理かフレーム間符号化処理を実行する（ステップ８１２）。
【００６８】
このように、本実施の形態３の動画像符号化装置によれば、実施の形態１に加え、１ＧＯＰ単位で符号量Ｑを監視する機能を設けることで、符号量Ｑが多くて余裕のない場合、フレーム内符号化処理（Ｉピクチャ）の挿入数が減り、符号量増大を防止することが可能である。
【００６９】
（実施の形態４）
本発明の実施の形態５における動画像符号化装置の構成は、図５が適用される。ただし、符号量監視部５１５は、可変長符号化部５０５からストリーム出力される符号量Ｑを監視し、符号量Ｑの大小変化に応じて、符号化判定部５１３におけるしきい値調整値ΔＴｈ４を調整するように構成されている。
【００７０】
図１０は、符号量Ｑとしきい値調整値ΔＴｈ４の対応図を示している。符号量がｘとして、０≦ｘ＜Ｘ１を満たす場合はしきい値調整値ΔＴｈ４としてはＡを選択し、また、Ｘ１≦ｘ＜Ｘ２を満たす場合はしきい値調整値ΔＴｈ４としてはＢを選択するというように調整する。
【００７１】
以上のように構成された動画像符号化装置の動作について、図１１を参照して説明する。
【００７２】
図１１は、本実施の形態４における動画像符号化装置の動作を示すフロー図である。
【００７３】
まず、ステップ１１０１において、画像フレーム番号が０のとき、フレーム内符号化処理を行う。フレーム内符号化処理の際、可変長符号化部５０５において、ストリーム出力される符号量を符号量監視部５１５において監視する（ステップ１１０２）。次にステップ１１０３において、画像フレーム番号１のとき、フレーム間符号化処理を行う。フレーム間符号化処理の際、可変長符号化部５０５において、ストリーム出力される符号量を符号量監視部５１５において監視する（ステップ１１０４）。次にステップ１１０５において、画質評価値算出部５１１において入力画像データとフレームメモリ５０１から画質評価値Ｅｆｎを算出する。画質評価値Ｅｆｎとして、画質評価値の尺度を表すＰＳＮＲを用いる。ＰＳＮＲについては、実施の形態１で説明したので省略する。次にステップ１１０６において、画質評価値算出部５１１で算出された画質評価値Ｅｆｎ（ＰＳＮＲ）を画質評価値保持部５１２に保持する。画像フレーム番号１から１４までも同様に、フレーム間符号化処理を行い、画質評価値算出部５１１で画質評価値Ｅｆｎを算出し、画質評価値保持部５１２で保持する。画質評価値保持部５１２で図４のように１ＧＯＰ分の画像フレーム番号ごとに画質評価値Ｅｆを保持する。
【００７４】
次に、ステップ１１０７において、符号化判定部５１３は、１４フレーム分の平均（ａｖ．Ｅｆ）を算出する。以下の式（５）を満足する画質評価値Ｅｆｎを検出する。ステップ１１０８において、符号量監視部５１５において、図１０のパターンテーブルから、符号量Ｑによってしきい値調整値ΔＴｈ４の値を調整する。符号量がｘとして、０≦ｘ＜Ｘ１を満たす場合はしきい値調整値ΔＴｈ４はＡ（ステップ１１０９）、Ｘ１≦ｘ＜Ｘ２を満たす場合はしきい値調整値ΔＴｈ４はＢ（ステップ１１１０）というように調整する。
【００７５】
【数５】
2005303555.tif 000007
式（５）を満足する画質評価値Ｅｆｎがあれば、そのフレームをフレーム内符号化処理を行うものと判定する（ステップ８１０）。
【００７６】
以上のようにして、１つのＧＯＰで構成された画像フレーム毎の符号化モードを決定する。次にステップ１１１１において、符号化モードの判定結果を、画質評価値保持部５１２に保持する。
【００７７】
次に、再度、１ＧＯＰ分の符号化処理を行う。フレーム内符号化処理を行うかフレーム間符号化処理を行うかは、画質評価値保持部５１２に保持された各画像フレーム番号ごとの符号化モードによって決められ、それぞれの動画像符号化処理を行う。符号化割り当て部５１４は、画質評価値保持部５１２によってフレーム内符号化処理かフレーム間符号化処理を実行する（ステップ１１１２）。
【００７８】
このように、本実施の形態４の動画像符号化装置によれば、実施の形態１に加え、１ＧＯＰ単位で符号量Ｑを監視する機能を設けることで、符号量Ｑによって符号化モードの判定を適応的に行うことが可能となる。
【産業上の利用可能性】
【００７９】
本発明は、ＭＰＥＧ方式などの動画像圧縮符号化の技術において、シーンの内容に応じた符号化処理を行って画質劣化を抑制するための動画像符号化装置・動画像符号化方法等として有用である。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施の形態１における動画像符号化装置の構成を示すブロック図
【図２】本発明の実施の形態１におけるＭＰＥＧ方式のＧＯＰのイメージ図
【図３】本発明の実施の形態１における動画像符号化装置の動作を示すフロー図
【図４】本発明の実施の形態１における動画像符号化装置の符号化処理判定結果図
【図５】本発明の実施の形態２における動画像符号化装置の動作を示すブロック図
【図６】本発明の実施の形態２における動画像符号化装置の動作を示すフロー図
【図７】本発明の実施の形態２における動画像符号化装置の符号化処理判定結果図
【図８】本発明の実施の形態３における動画像符号化装置の動作を示すフロー図
【図９】本発明の実施の形態３における動画像符号化装置の符号化処理判定結果図
【図１０】本発明の実施の形態４における動画像符号化装置の符号量パターンテーブル
【図１１】本発明の実施の形態４における動画像符号化装置の動作を示すフロー図
【図１２】従来のシーンチェンジ検出方法の動作フロー図
【符号の説明】
【００８１】
１，５０１  フレームメモリ
２，５０２  減算器
３，５０３  ＤＣＴ部
４，５０４  量子化部
５，５０５  可変長符号化部
６，５０６  逆量子化部
７，５０７  逆ＤＣＴ部
８，５０８  加算器
９，５０９  動き検出部
１０，５１０  動き補償部
１１，５１１  画質評価値算出部
１２，５１２  画質評価値保持部
１３，５１３  符号化判定部
１４，５１４  符号化割り当て部
５１５  符号量監視部
【図１】
2005303555.tif 000008
【図２】
2005303555.tif 000009
【図３】
2005303555.tif 000010
【図４】
2005303555.tif 000011
【図５】
2005303555.tif 000012
【図６】
2005303555.tif 000013
【図７】
2005303555.tif 000014
【図８】
2005303555.tif 000015
【図９】
2005303555.tif 000016
【図１０】
2005303555.tif 000017
【図１１】
2005303555.tif 000018
【図１２】
2005303555.tif 000019