(57)【特許請求の範囲】
【請求項１】
フレーム内符号化とフレーム間予測符号化を符号化単位となるブロック単位で適応的に選択して用いる動画像符号化装置であって、
入力画像および１フレーム前の復号結果である参照画像を格納するフレームメモリと、
フレーム内符号化／フレーム間予測符号化の種別を示す符号化モードと、画像データを量子化する幅を示す量子化ステップとに従い、前記フレームメモリを参照してブロック単位に前記入力画像の符号化を行い、符号列を生成するブロック符号化処理を行うブロック符号化手段と、
前記符号列を監視し、符号列に挿入された最新の同期符号から最新の符号化済ブロックの符号列までの符号量をカウントする符号カウント手段と、
前記フレームメモリに格納された入力画像および参照画像から解析した画素値分布の統計量と、前記ブロック符号化手段の出力する符号列の符号量とを参照し、１フレーム分の符号列の符号量が一定量以下という条件下で各ブロック毎に選択可能な複数の符号化モードそれぞれに対し、前記ブロック符号化処理による画質歪みが最小になるように量子化ステップを算出するとともに、次に符号化しようとする注目ブロックに割り当てられた符号量の予測値を出力する符号量制御手段と、
前記注目ブロックに割り当てられた符号量の予測値と、前記符号カウント手段によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定するデータ欠損確率推定手段と、
前記符号量制御手段で導出した入力画像内の画素値分布の統計量を参照し、フレーム内の前記ブロック符号化処理による画質歪みであるフレーム符号化歪みを推定するフレーム符号化歪み推定手段と、
前記フレームメモリに格納された入力画像および参照画像を用い、符号化対象となるブロックにデータ欠損が生じた場合の復号画像と入力画像との誤差パワーである劣化パワーを算出する劣化パワー算出手段と、
この劣化パワー算出手段が算出した劣化パワーと前記データ欠損確率推定手段が推定したデータ欠損確率とから、各ブロック毎に選択可能な複数の符号化モードそれぞれに対し、伝送誤りによるデータ欠損によって前記注目ブロックに発生する画質劣化の期待値である劣化推定値を算出する劣化推定値算出手段と、
この劣化推定値算出手段が算出した劣化推定値と前記フレーム符号化歪み推定手段が推定したフレーム符号化歪みとを参照して、前記注目ブロックに対する最適な符号化モードを決定するモード選択手段と
を備えたことを特徴とする動画像符号化装置。
【請求項２】
請求項１に記載した動画像符号化装置において、前記劣化パワー算出手段に代えて、
前記フレームメモリに格納された入力画像を用い、前記注目ブロックの画素値を入力画像における周囲の画素値から補完し、補完後の画像と入力画像との誤差パワーを劣化パワーとして算出する劣化パワー算出手段を設けた
ことを特徴とする動画像符号化装置。
【請求項３】
請求項１に記載した動画像符号化装置において、前記劣化パワー算出手段に代えて、
前記フレームメモリに格納された入力画像および参照画像を用い、前記注目ブロックの画素値を参照画像において同一位置にあるブロックの画素値から補完し、補完後の画像と入力画像との誤差パワーを劣化パワーとして算出する劣化パワー算出手段を設けた
ことを特徴とする動画像符号化装置。
【請求項４】
請求項１に記載した動画像符号化装置において、前記劣化パワー算出手段に代えて、
前記フレームメモリに格納された入力画像および参照画像を用い、前記注目ブロックの画素値を前記ブロック符号化手段で当該ブロックの符号化に用いた動き情報に従い動き補償を行った参照画像上の画素値から補完し、補完後の画像と入力画像との誤差パワーを劣化パワーとして算出する劣化パワー算出手段を設けた
ことを特徴とする動画像符号化装置。
【請求項５】
請求項１に記載した動画像符号化装置において、前記データ欠損確率推定手段に代えて、
前記符号量制御手段によって前記注目ブロックに割り当てられた符号量の予測値と前記符号カウント手段によって得られる符号量との和と、予め与えられたビット単位の誤りが発生する確率との積とから、注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を算出するデータ欠損確率推定手段を設けた
ことを特徴とする動画像符号化装置。
【請求項６】
請求項１に記載した動画像符号化装置において、前記劣化推定値算出手段に代えて、
前記劣化パワー算出手段が算出した劣化パワーと前記データ欠損確率推定手段が推定したデータ欠損確率とから、フレーム内符号の場合の画質劣化の推定値を劣化パワーとデータ欠損確率との積として求め、
フレーム間予測符号化の場合の画質劣化の推定値を、劣化パワーとデータ欠損確率との積に、フレーム間予測符号化における動き補償処理によって参照される参照フレーム内領域の劣化推定値を劣化伝播項として加えた値として求める劣化推定値算出手段を設けた
ことを特徴とする動画像符号化装置。
【請求項７】
請求項１に記載した動画像符号化装置において、前記劣化推定値算出手段に代えて、
前記劣化パワー算出手段が算出した劣化パワーと前記データ欠損確率推定手段が推定したデータ欠損確率とから、フレーム内符号の場合の画質劣化の推定値を劣化パワーとデータ欠損確率との積として求め、
フレーム間予測符号化の場合の画質劣化の推定値を、劣化パワーとデータ欠損確率との積に、フレーム間予測符号化における動き補償処理によって参照される参照フレーム内領域を中に含む複数ブロックの劣化推定値の重みづけ平均によって算出される劣化伝播項を加えた値として求める劣化推定値算出手段を設けた
ことを特徴とする動画像符号化装置。
【請求項８】
請求項１に記載した動画像符号化装置において、前記劣化推定値算出手段に代えて、
前記劣化パワー算出手段が算出した劣化パワーと前記データ欠損確率推定手段が推定したデータ欠損確率とから、フレーム内符号の場合の画質劣化の推定値を劣化パワーとデータ欠損確率との積として求め、
フレーム間予測符号化の場合の画質劣化の推定値を、劣化パワーとデータ欠損確率との積に、フレーム間予測符号化における動き補償処理によって参照される参照フレーム内領域の劣化推定値を劣化伝播項とし、この劣化伝播項を予め定めた比例乗数に乗じた値を加えた値として求める劣化推定値算出手段を設けた
ことを特徴とする動画像符号化装置。
【請求項９】
請求項１に記載した動画像符号化装置において、前記モード選択手段に代えて、
前記注目ブロックについて、候補となる符号化モードにおける劣化推定値を前記劣化推定値算出手段から取得し、フレーム符号化歪みを前記フレーム符号化歪み推定手段から取得し、取得した劣化推定値とフレーム符号化歪みとの和が最も小さくなる符号化モードを前記注目ブロックに対する最適な符号化モードとして決定するモード選択手段を設けた
ことを特徴とする動画像符号化装置。
【請求項１０】
請求項１に記載した動画像符号化装置において、
前記フレームメモリに格納された入力画像および参照画像と、前記符号量制御手段が出力する量子化ステップとを参照して、前記注目ブロックを符号化した際に発生する画質歪みであるブロック符号化歪みを推定するブロック符号化歪み推定手段をさらに備え、
前記モード選択手段に代えて、
前記劣化推定値算出手段が算出した劣化推定値と、前記フレーム符号化歪み推定手段が推定したフレーム符号化歪みと、前記ブロック符号化歪み推定手段が推定したブロック符号化歪みとを参照して、フレーム内符号化とフレーム間予測符号化と参照画像における同一位置にあるブロックをそのままコピーするスキップとから、前記注目ブロックに対する最適な符号化モードを決定するモード選択手段を設け、
前記劣化推定値算出手段に代えて、
前記劣化パワー算出手段が算出した劣化パワーと前記データ欠損確率推定手段が推定したデータ欠損確率とから、各ブロック毎に選択可能な複数の符号化モードをフレーム内符号化，フレーム間予測符号化，スキップとし、これら符号化モードのそれぞれに対し、伝送誤りによるデータ欠損によって前記注目ブロックに発生する画質劣化の期待値である劣化推定値を算出する劣化推定値算出手段を設けた
ことを特徴とする動画像符号化装置。
【請求項１１】
請求項１０に記載した動画像符号化装置において、前記ブロック符号化歪み推定手段に代えて、
前記注目ブロックの符号化モードがフレーム内符号化およびフレーム間予測符号化の場合には、当該注目ブロックを符号化した際に発生する画質歪みであるブロック符号化歪みを量子化歪みとして前記符号量制御手段の出力する量子化ステップを用いて推定し、
前記注目ブロックの符号化モードがスキップの場合には、当該注目ブロックと前記フレームメモリに格納されている参照画像において同一位置にあるブロックとの誤差パワーをブロック符号化歪みとして推定するブロック符号化歪み推定手段を設け、
前記データ欠損確率推定手段に代えて、
前記注目ブロックに割り当てられた符号量の予測値と、前記符号カウント手段によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、符号化モードがフレーム内符号化およびフレーム間予測符号化である場合の注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定し、
前記符号化モードがスキップであることを示す符号の符号量と、前記符号カウント手段によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、符号化モードがスキップである場合の注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定するデータ欠損確率推定手段を設け、
前記劣化推定値算出手段に代えて、
各ブロック毎に選択可能な複数の符号化モードをフレーム内符号化，フレーム間予測符号化，スキップとして、
前記データ欠損確率推定手段からのフレーム内符号化およびフレーム間予測符号化である場合のデータ欠損確率と前記劣化パワー算出手段が算出した劣化パワーとから、フレーム内符号化，フレーム間予測符号化のそれぞれに対し、伝送誤りによるデータ欠損によって前記注目ブロックに発生する画質劣化の期待値である劣化推定値を算出し、
前記データ欠損確率推定手段からのスキップの場合のデータ欠損確率と前記劣化パワー算出手段が算出した劣化パワーとから、符号化モードがフレーム間予測符号化の場合と同様の方法でスキップの場合の劣化推定値を算出する劣化推定値算出手段を設けた
ことを特徴とする動画像符号化装置。
【請求項１２】
請求項１０に記載した動画像符号化装置において、前記モード選択手段に代えて、
前記注目ブロックについて、フレーム内符号化およびフレーム間予測符号化における劣化推定値を前記劣化推定値算出手段から取得し、フレーム符号化歪みを前記フレーム符号化歪み推定手段から取得し、フレーム内符号化およびフレーム間予測符号化のうち取得した劣化推定値とフレーム符号化歪みとの和が小さい方を前記注目ブロックに対する最適な符号化モードの候補として選択した後、
前記劣化推定値算出手段が算出した劣化推定値と前記ブロック符号化歪み推定手段が推定したブロック符号化歪みの推定値との和を、選択した符号化モードの候補とスキップとで比較し、小さい方を前記注目ブロックに対する最適な符号化モードとして選択するモード選択手段を設けた
ことを特徴とする動画像符号化装置。
【請求項１３】
フレーム内符号化とフレーム間予測符号化を符号化単位となるブロック単位で適応的に選択して用いる動画像符号化方法であって、
入力画像および１フレーム前の復号結果である参照画像をフレームメモリへ格納する工程と、
フレーム内符号化／フレーム間予測符号化の種別を示す符号化モードと、画像データを量子化する幅を示す量子化ステップとに従い、前記フレームメモリを参照してブロック単位に前記入力画像の符号化を行い、符号列を生成するブロック符号化処理を行うブロック符号化工程と、
前記符号列を監視し、符号列に挿入された最新の同期符号から最新の符号化済ブロックの符号列までの符号量をカウントする符号カウント工程と、
前記フレームメモリに格納された入力画像および参照画像から解析した画素値分布の統計量と、前記ブロック符号化工程により出力される符号列の符号量とを参照し、１フレーム分の符号列の符号量が一定量以下という条件下で各ブロック毎に選択可能な複数の符号化モードそれぞれに対し、前記ブロック符号化処理による画質歪みが最小になるように量子化ステップを算出するとともに、次に符号化しようとする注目ブロックに割り当てられた符号量の予測値を出力する符号量制御工程と、
前記注目ブロックに割り当てられた符号量の予測値と、前記符号カウント工程によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定するデータ欠損確率推定工程と、
前記符号量制御工程で導出した入力画像内の画素値分布の統計量を参照し、フレーム内の前記ブロック符号化処理による画質歪みであるフレーム符号化歪みを推定するフレーム符号化歪み推定工程と、
前記フレームメモリに格納された入力画像および参照画像を用い、符号化対象となるブロックにデータ欠損が生じた場合の復号画像と入力画像との誤差パワーである劣化パワーを算出する劣化パワー算出工程と、
この劣化パワー算出工程によって算出された劣化パワーと前記データ欠損確率推定工程によって推定されたデータ欠損確率とから、各ブロック毎に選択可能な複数の符号化モードそれぞれに対し、伝送誤りによるデータ欠損によって前記注目ブロックに発生する画質劣化の期待値である劣化推定値を算出する劣化推定値算出工程と、
この劣化推定値算出工程によって算出された劣化推定値と前記フレーム符号化歪み推定工程によって推定されたフレーム符号化歪みとを参照して、前記注目ブロックに対する最適な符号化モードを決定するモード選択工程と
を備えたことを特徴とする動画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、動画像符号化装置および動画像符号化方法に係わり、特に符号化した画像信号（例えば、圧縮符号化した画像信号）を回線品質の低い伝送路環境で送るとき、誤りによって生ずる画像データの劣化を抑制するように画像信号の符号化を行う動画像符号化装置および動画像符号化方法に関するものである。
【０００２】
【従来の技術】
従来より、この種の動画像符号化装置として、入力画像を１フレーム毎に符号化して伝送する際、フレーム内符号化（ＩＮＴＲＡ）とフレーム間予測符号化（ＩＮＴＥＲ）を符号化単位となるブロック単位で適応的に選択して用いる動画像符号化装置がある。この動画像符号化装置では、符号化効率に基づいてブロック毎にフレーム内符号化とフレーム間予測符号化を選択するが、これとは別に、符号化した動画像を伝送する際に発生する誤りによる画質劣化を抑制することを目的として、ブロックを強制的にフレーム内符号化するリフレッシュ（強制リフレッシュ）が行われる。
【０００３】
フレーム間予測符号化では、伝送中に符号化データに誤りによる画質劣化が生じた場合、劣化したフレームを参照して復号を行う次のフレームでも同様の劣化が生じる。伝送したフレームにおいて参照される領域が誤りによる劣化を生じ易いときほど、次のフレームにおいても大きな劣化の発生する確率が高い。このように複数のフレームにわたって劣化が伝播した結果、主観画質が著しく低下する。これに対し、途中のフレームの画像を強制的にリフレッシュすれば、劣化の伝播を抑え、画質劣化に対する耐性を向上させることができる。画像内の各領域に対して誤りが発生したときの劣化の度合は画素値の分布に依存することから、画質の劣化の著しいブロックに対して優先的に強制リフレッシュを行うことにより、符号化効率を大きく低下させることなく効果的に誤りに対する耐性を向上させることができる。
【０００４】
図５は、特開２０００−１６５８８１号公報に示された従来の動画像符号化装置の構成を示すブロック図である。
この動画像符号化装置において、フレームメモリ１０には、入力画像（現フレーム）１０１および参照画像（参照フレーム）１０２が与えられる。参照画像１０２は、ブロック符号化部１８より、前フレームの復号画像として与えられる。ブロック符号化部１８は、後述するようにフレーム内のブロック毎に符号化を行うが、復号機能も有しており、前フレームの符号化データを復号し、参照画像１０２としてフレームメモリ１０へ送る。
【０００５】
モード選択部２４は、入力画像１０１のブロック毎の複雑さなどから符号化効率を考慮して各ブロックの符号化モードを、フレーム内符号化（ＩＮＴＲＡ）／フレーム間予測符号化（ＩＮＴＥＲ）の何れかに決定する。符号量制御部２５は、モード選択部２４が決定した符号化モードにおいて、発生符号量が一定量以下という条件下で入力画像１０１を符号化した際に生じる符号化歪みが最小になるように、画像データを量子化する幅を示す各ブロックの量子化ステップを決定する。
【０００６】
劣化パワー算出部１２は、ブロックの符号化データに伝送誤りが発生した場合を想定し、欠損したデータを補完した画像と原画像との誤差パワー（劣化パワー）を算出する。カウンタ２６は、伝送する符号化データを監視し、最新の同期符号から注目するブロック（以下、注目ブロックと呼ぶ）までの符号量をカウントする。データ欠損確率推定部２７は、カウンタ２６からのカウント値（最新の同期符号から注目ブロックまでの符号量）を入力とし、このカウント値から伝送中の誤りによってデータ欠損が起こる確率をブロック毎に推定する。
【０００７】
この場合、カウンタ２６では１フレームの遅延がかけられており、カウンタ２６からは１フレーム前の符号化データのカウント結果が出力される。つまり、カウンタ２６は、１フレーム前の最新の同期信号から注目ブロックまでの符号量をデータ欠損確率推定部２７へ与える。データ欠損確率推定部２７は、この１フレーム前の注目ブロックまでの符号量から、現フレームの注目ブロックのデータ欠損確率を推定する。
【０００８】
図６は、伝送中に誤りが発生した位置とデータ欠損確率について説明する図である。符号化データは、図６（ａ）に示すように、複数ブロックの符号化データの合間に同期符号が挿入される形をとっている。この符号化データを受信する復号器（図示せず）は、誤りが発生した地点から次の同期符号までのデータを破棄し（図６（ａ），（ｂ）参照）、改めてデータの復号を行う。そのため、伝送時の誤りはランダムに発生するのに対し、直前の同期符号からの距離が遠い符号化データほど破棄される確率が高くなる。このような復号器での誤り発生時の復号動作を想定し、データ欠損確率推定部２７は、直前の同期符号からの距離が遠くなるほどデータ欠損確率の推定値を高くする。
【０００９】
リフレッシュ優先度算出部２８は、劣化パワー算出部１２からの現フレームの劣化パワーおよびデータ欠損確率推定部２７からの現フレームの各ブロックのデータ欠損確率をそれぞれ閾値判定して強制リフレッシュを行う優先度を算出し、リフレッシュブロック選択部２９へ送る。
【００１０】
リフレッシュブロック選択部２９は、リフレッシュ優先度算出部２８からのリフレッシュ優先度に基づいて、強制リフレッシュ（フレーム内符号化）を行うブロックを決定する。ブロック符号化部１８は、モード選択部２４およびリフレッシュブロック選択部２９が決定した符号化モードと符号量制御部２５が決定した量子化ステップに従って、現フレームの各ブロックの符号化を行い、符号化データを生成する。
【００１１】
この従来の動画像符号化装置では、劣化パワーおよびデータ欠損確率の大きいブロックほど誤りが発生した際の劣化の度合が大きいことから、このようなブロックについて優先的に強制リフレッシュが行われる。
【００１２】
【発明が解決しようとする課題】
しかしながら、従来の動画像符号化装置においては、強制リフレッシュするブロックの選択が符号化効率を考慮したフレーム内符号化／フレーム間予測符号化の切替えとは独立に行われるため、選択基準となる閾値の設定によっては多くのブロックにおいてフレーム内符号化が選択され、符号化効率が低下する虞れがある。
【００１３】
また、従来の動画像符号化装置では、伝送誤りが発生した場合の実際の画質劣化を十分に反映しておらず、強制リフレッシュするブロックの選択を効果的に行えていない。特に、フレーム間予測符号化によって劣化が伝播することによる影響を考慮していない。
【００１４】
本発明はこのような課題を解決するためになされたもので、その目的とするところは、強制リフレッシュを適正かつ効果的に行うことによって、符号化効率を低下させることなく、画質劣化を抑制することの可能な動画像符号化装置および動画像符号化方法を提供することにある。
【００１５】
【課題を解決するための手段】
このような目的を達成するために本発明は、入力画像および１フレーム前の復号結果である参照画像を格納するフレームメモリと、フレーム内符号化／フレーム間予測符号化の種別を示す符号化モードと、画像データを量子化する幅を示す量子化ステップとに従い、フレームメモリを参照してブロック単位に入力画像の符号化を行い、符号列を生成するブロック符号化処理を行うブロック符号化手段と、符号列を監視し、符号列に挿入された最新の同期符号から最新の符号化済ブロックの符号列までの符号量をカウントする符号カウント手段と、フレームメモリに格納された入力画像および参照画像から解析した画素値分布の統計量と、ブロック符号化手段の出力する符号列の符号量とを参照し、１フレーム分の符号列の符号量が一定量以下という条件下で各ブロック毎に選択可能な複数の符号化モードそれぞれに対し、ブロック符号化処理による画質歪みが最小になるように量子化ステップを算出するとともに、次に符号化しようとする注目ブロックに割り当てられた符号量の予測値を出力する符号量制御手段と、注目ブロックに割り当てられた符号量の予測値と、符号カウント手段によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定するデータ欠損確率推定手段と、符号量制御手段で導出した入力画像内の画素値分布の統計量を参照し、フレーム内のブロック符号化処理による画質歪みであるフレーム符号化歪みを推定するフレーム符号化歪み推定手段と、フレームメモリに格納された入力画像および参照画像を用い、符号化対象となるブロックにデータ欠損が生じた場合の復号画像と入力画像との誤差パワーである劣化パワーを算出する劣化パワー算出手段と、この劣化パワー算出手段が算出した劣化パワーとデータ欠損確率推定手段が推定したデータ欠損確率とから、各ブロック毎に選択可能な複数の符号化モードそれぞれに対し、伝送誤りによるデータ欠損によって注目ブロックに発生する画質劣化の期待値である劣化推定値を算出する劣化推定値算出手段と、この劣化推定値算出手段が算出した劣化推定値とフレーム符号化歪み推定手段が推定したフレーム符号化歪みとを参照して、注目ブロックに対する最適な符号化モードを決定するモード選択手段とを設けたものである。
【００１６】
劣化パワー算出手段は、注目ブロックの画素値を補完し、補完後の画像と入力画像との誤差パワーを出力する。補完方法としては、入力画像における周囲の画素値もしくは、参照画像において同一位置にあるブロックの画素値もしくは、ブロック符号化手段で注目ブロックの符号化に用いた動き情報に従い動き補償を行った参照画像上の画素値を用いるものがある。
【００１７】
データ欠損確率推定手段は、符号量制御手段によって注目ブロックに割り当てられた符号量の推定値と符号カウント手段によって得られる符号量との和と、予め与えられたビット単位の誤りが発生する確率との積としてデータ欠損確率を算出する。
【００１８】
劣化推定値算出手段は、注目ブロックがフレーム内符号化されている場合の劣化推定値を劣化パワーとデータ欠損確率との積として求め、注目ブロックがフレーム間予測符号化されている場合の劣化推定値を劣化パワーとデータ欠損確率との積に、フレーム間予測符号化における動き補償処理によって参照される参照フレーム内領域の劣化推定値を劣化伝播項として加えた値として求める。この劣化伝播項は、動き補償処理によって参照される参照フレーム内領域を中に含む複数ブロックの劣化推定値の重みづけ平均によって推定することが可能である。また、劣化推定値算出手段は、注目ブロックがフレーム間予測符号化されている場合の劣化推定値を、劣化パワーとデータ欠損確率の積に、予め定めた比例乗数に劣化伝播項を乗じた値を加えた値を劣化推定値として算出することも可能である。
【００１９】
モード選択手段は、注目ブロックについて、候補となる符号化モードにおける劣化推定値を劣化推定値算出手段から取得し、フレーム符号化歪みをフレーム符号化歪み推定手段から取得し、取得した劣化推定値とフレーム符号化歪みとの和が最も小さくなる符号化モードを最適なものとして選択する。
【００２０】
さらに、フレームメモリに格納された入力画像および参照画像と、符号量制御手段が出力する量子化ステップとを参照して、注目ブロックを符号化した際に発生する画質歪みであるブロック符号化歪みを推定するブロック符号化歪み推定手段を設けてもよい。
【００２１】
この場合、上述したモード選択手段に代えて、劣化推定値算出手段が算出した劣化推定値と、フレーム符号化歪み推定手段が推定したフレーム符号化歪みと、ブロック符号化歪み推定手段が推定したブロック符号化歪みとを参照して、フレーム内符号化とフレーム間予測符号化と参照画像における同一位置にあるブロックをそのままコピーするスキップとから、注目ブロックに対する最適な符号化モードを決定するモード選択手段を設ける。
【００２２】
また、上述した劣化推定値算出手段に代えて、劣化パワー算出手段が算出した劣化パワーとデータ欠損確率推定手段が推定したデータ欠損確率とから、各ブロック毎に選択可能な複数の符号化モードをフレーム内符号化，フレーム間予測符号化，スキップとし、これら符号化モードのそれぞれに対し、伝送誤りによるデータ欠損によって注目ブロックに発生する画質劣化の期待値である劣化推定値を算出する劣化推定値算出手段を設ける。
【００２３】
ブロック符号化歪み推定手段は、注目ブロックの符号化モードがフレーム内符号化およびフレーム間予測符号化の場合には、当該注目ブロックのブロック符号化歪みを量子化歪みとして符号量制御手段の出力する量子化ステップを用いて推定し、注目するブロックの符号化モードがスキップの場合には、当該注目ブロックと参照画像において同一位置にあるブロックとの誤差パワーをブロック符号化歪みとして出力する。
【００２４】
データ欠損確率推定手段は、注目ブロックに割り当てられた符号量の予測値と、符号カウント手段によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、符号化モードがフレーム内符号化およびフレーム間予測符号化である場合の注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定し、符号化モードがスキップであることを示す符号の符号量と、符号カウント手段によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、符号化モードがスキップである場合の注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定する。
【００２５】
劣化推定値算出手段は、各ブロック毎に選択可能な複数の符号化モードをフレーム内符号化，フレーム間予測符号化，スキップとして、データ欠損確率推定手段からのフレーム内符号化およびフレーム間予測符号化である場合のデータ欠損確率と劣化パワー算出手段が算出した劣化パワーとから、フレーム内符号化，フレーム間予測符号化のそれぞれに対し、伝送誤りによるデータ欠損によって注目ブロックに発生する画質劣化の期待値である劣化推定値を算出し、データ欠損確率推定手段からのスキップの場合のデータ欠損確率と劣化パワー算出手段が算出した劣化パワーとから、符号化モードがフレーム間予測符号化の場合と同様の方法でスキップの場合の劣化推定値を算出する。
【００２６】
モード選択手段は、注目ブロックについて、フレーム内符号化およびフレーム間予測符号化における劣化推定値を劣化推定値算出手段から取得し、フレーム符号化歪みをフレーム符号化歪み推定手段から取得し、フレーム内符号化およびフレーム間予測符号化のうち取得した劣化推定値とフレーム符号化歪みとの和が小さい方を注目ブロックに対する最適な符号化モードの候補として選択した後、劣化推定値算出手段が算出した劣化推定値とブロック符号化歪み推定手段が推定したブロック符号化歪みの推定値との和を、選択した符号化モードの候補とスキップとで比較し、小さい方を注目ブロックに対する最適な符号化モードとして選択する。
【００２７】
【発明の実施の形態】
以下、本発明を図面に基づいて詳細に説明する。
〔実施の形態１〕
図１はこの発明の第１の実施の形態（実施の形態１）を示す動画像符号化装置の構成を示すブロック図である。
【００２８】
この実施の形態１において、符号量制御部１１は、フレームメモリ１０に格納された入力画像および参照画像から解析した画素値分布の統計量と、現フレームの現在ブロックまでに要した実際の符号量（注目ブロックの直前までの符号量）とを参照し、１フレーム分の符号量が一定量以下という条件下で符号化処理による歪みが最小になるように、量子化ステップを決定する。この量子化ステップの決定は、注目ブロックに対して選択可能な符号化モード、すなわちフレーム内符号化とフレーム間予測符号化のそれぞれについて行う。
【００２９】
〔符号量制御方式の一例〕
以下では符号量制御方式の一例として、文献１〔Video Codec Test Model, Near-Term, Version 10 (TMN10) Draft1の第８章：ITU-T SG16発行〕に記載された方式を用いて説明する。なお、他の符号量制御方式においても、量子化ステップの決定、後述するフレーム符号化歪みの推定を行うことができ、本発明に適用することが可能である。
【００３０】
ブロックを符号化した際に発生する符号量ｒは、量子化ステップをＱ、ブロック内の画素値の分散をσ2 、ブロック内の画素数をＡとすると、比例定数Ｋ，Ｃを用いて
ｒ＝Ａ・（Ｋ・σ2 ／Ｑ2 ＋Ｃ）  ・・・・（１）
と近似することができる。
【００３１】
但し、上記（１）式において、σ2 は、ブロックがフレーム間予測符号化されているときには予測誤差信号の分散として与えられ、ブロックがフレーム内符号化されているときには原画像信号の分散の１／３として与えられる。
【００３２】
フレーム内において符号化対象となる複数ブロックにおけるσの総和をＳ、フレームに割り当てられる目標とする符号量（目標符号量）をＲ、符号化対象となるブロックの数をＮとすると、量子化歪みの総和を最小にするような量子化ステップＱopt は、Ｌ＝Ｒ−Ａ・Ｎ・Ｃとして、
Ｑopt ＝（Ａ・Ｋ・σ・Ｓ／Ｌ）1/2  ・・・・（２）
と表される。
【００３３】
符号量制御部１１は、各ブロックの量子化ステップがＱopt に近づくように量子化ステップを変更する。例えば、動画像符号化の国際標準方式の一つである「Ｈ．２６３」や「ＭＰＥＧ−４」では、量子化ステップは直前のブロックの量子化ステップから±４の範囲で２ずつの刻みでしか変更できない。ブロック符号化部１８は、このようにして定められた量子化ステップに従って現在のブロックを符号化した時点で、実際に要した符号量をカウントし、その値を符号量制御部１１に返す。
【００３４】
符号量制御部１１は、現フレームの現在ブロックまでに要した実際の符号量とまだ符号化されていない残りのブロックに要する符号量との和が目標符号量Ｒに達するように、残りのブロックへの符号量の再配分を行う。このモデルにおいて、符号化対象となる複数ブロックの符号化歪みの総和（フレーム符号化歪み）Ｄｆは、
Ｄｆ＝Ａ2 ・Ｋ・Ｓ2 ／１２Ｌ  ・・・・（３）
と推定される。
【００３５】
フレーム符号化歪み推定部１４は、符号量制御部１１が算出したＳ（符号化対象となる複数ブロックにおけるσの総和）に従ってフレーム符号化歪みＤｆを算出し、モード選択部１７に出力する。また、符号量制御部１１は、上記（１）式に従って次のブロック（注目ブロック）における符号量の予測値を算出し、データ欠損確率推定部１３に送る。
【００３６】
劣化パワー算出部１２は、ブロックの符号化データに伝送誤りが発生した場合を想定し、欠損したデータを補完した画像（補完画像）と原画像との誤差パワー（劣化パワー）Ｄｅを算出する。
【００３７】
図２（ａ）は欠損データの補完の一例を示す図である。この例では、現フレームのブロックの符号化データに伝送誤りが発生したと仮定し、参照画像において同一位置にあるブロックの画素値をそのままコピーすることで欠損した画素値を補完する。この時の画質劣化の度合は、参照画像において同一位置にある画素値と現在のフレームにおける画素値との差分によって表される。
【００３８】
劣化パワー算出部１２は、この復号器での欠損データの補完を想定し、フレームメモリ１０中の参照画像から復号器側と同様にして補完画像を作り、この補完画像と原画像との誤差パワー（劣化パワー）Ｄｅを算出する。
【００３９】
データ欠損確率推定部１３は、符号量制御部１１からの注目ブロックの符号量の予測値（ＬＡ）およびカウンタ１９によって得られる最新の同期符号から注目ブロックの直前まで（最新の符号化済みブロックの符号列まで）の符号量（ＬＢ）から、注目ブロックにおいて誤りによるデータ欠損の発生する確率ｐを推定する。その算出式は例えば、符号量ＬＡとＬＢとの和をＬ０、ビット単位に誤りの発生する確率をλとし、誤りの発生がランダムに起こるとすると、
ｐ＝１−（１−λ）L0 ・・・・（４）
と与えられる。また、この式はλを微小な値とすると、λ・Ｌ０と近似される。
【００４０】
劣化推定値算出部１５は、劣化パワー算出部１２が算出した現フレームの劣化パワーＤｅおよびデータ欠損確率推定部１３が算出した現フレームの注目ブロックのデータ欠損確率ｐおよびメモリ１６に格納されている前フレームにおける参照ブロックの劣化推定値を参照し、注目ブロックに対して選択可能な符号化モード（フレーム内符号化／フレーム間予測符号化）について、注目ブロックにおいて誤りが発生した際の劣化度合（注目ブロックの劣化推定値）Ｄｄを推定する。
【００４１】
注目ブロックの劣化推定値Ｄｄは、注目ブロックの符号化モードがフレーム内符号化かフレーム間予測符号化かによって異なる値をとる。フレーム内符号化の場合、注目ブロックの劣化推定値Ｄｄは、注目ブロックが誤りによってデータが欠損した際の画質劣化の期待値となり、データ欠損確率ｐと劣化パワーＤｅの積で表す（Ｄｄ＝ｐ・Ｄｅ）。一方、フレーム間予測符号化の場合、注目ブロックの劣化推定値Ｄｄは、データ欠損確率ｐと劣化パワーＤｅの積に、参照フレームにおける画質劣化のフレーム間予測による伝播項Ｄｐを加える（Ｄｄ＝ｐ・Ｄｅ＋Ｄｐ）。画質劣化の伝播について図３を用いて説明する。
【００４２】
図３において、現フレームの注目ブロックＢ１０に対し、参照フレームにおける動き補償フレーム間予測による参照先のブロック（参照先ブロック）をＢ１０’とする。また、参照先ブロックＢ１０’とその一部が重なる参照フレーム内のブロックをそれぞれ参照ブロックＢ００，Ｂ０１，Ｂ０２，Ｂ０３とし、これらの参照ブロックと参照先ブロックＢ１０’とが重なる部分領域をそれぞれｂ００，ｂ０１，ｂ０２，ｂ０３とする。また、注目ブロックＢ１０に対する動きベクトルをＶとする。
【００４３】
フレーム間予測符号化によって、注目ブロックＢ１０は参照先ブロックＢ１０’内の画質劣化をそのまま受け継ぐことになる。その値は参照先ブロックＢ１０’の部分領域ｂ００，ｂ０１，ｂ０２，ｂ０３における画質劣化の和となる。これらの画質劣化度を、参照ブロックＢ００，Ｂ０１，Ｂ０２，Ｂ０３における画質劣化度に対し、面積比を乗ずることで近似する。
【００４４】
この面積比は動きベクトルＶによって定めることができる。ブロックの一辺をｍ、Ｖを水平軸方向に射影した長さをＶｘ、垂直軸方向に射影した長さをＶｙとすると、Ｂ００に対するｂ００の面積比は、（ｍ−Ｖｘ）・（ｍ−Ｖｙ）／（ｍ・ｍ）と表すことができる。ｂ０１，ｂ０２，ｂ０３についても同様である。
【００４５】
以上より、注目ブロックＢ１０の参照フレームからの劣化の伝播項Ｄｐは、メモリ１６に格納されている参照ブロックＢ００，Ｂ０１，Ｂ０２，Ｂ０３の劣化推定値を参照し、それらを動きベクトルＶに従って重みづけ加算した値として表される。
【００４６】
モード選択部１７は、注目ブロックの符号化モードがフレーム内符号化の場合の劣化推定値Ｄｄとフレーム符号化歪みＤｆとの和と、注目ブロックの符号化モードがフレーム間予測符号化の場合の劣化推定値Ｄｄとフレーム符号化歪みＤｆとの和とを比較し、それが最小となる方の符号化モードを選択する。ブロック符号化部１８は、モード選択部１７が決定した符号化モードおよび、符号量制御部１１が算出した量子化ステップに基づいて注目ブロックの符号化を行い、符号化データを生成する。
【００４７】
なお、上述においては、フレーム間予測符号化の場合の劣化推定値Ｄｄとして、現フレームにおける劣化期待値（ｐ・Ｄｅ）と前のフレームからの劣化伝播項（Ｄｐ）とを単純に加算したが、現フレームにおける劣化期待値や前のフレームからの劣化伝播項に重み付けを行い、設計時における画質の調整に応じてその重み付けの値を変えるようにしてもよい。
【００４８】
例えば、前のフレームからの劣化伝播項に対して１を越えた値を乗ずることで、前フレームからの劣化の伝播が大きいブロックに対して優先的にフレーム内符号化を行うことにより、劣化したブロックが複数フレームにわたって停留するのを抑圧できる。また、モード選択部１７において、フレーム符号化歪みＤｆを考慮せずに、注目ブロックの劣化推定値Ｄｄを最小にするようなモード選択を行うようにしてもよい。この場合、符号化効率は低下するものの、最適な誤り耐性を有する符号化は実現することができる。
【００４９】
〔実施の形態２〕
図４はこの発明の第２の実施形態（実施の形態２）の構成を示すブロック図である。この実施の形態２では、図１に示した実施の形態１の構成に加えて、ブロック符号化歪み推定部２１を設けている。
【００５０】
また、モード選択部２０は、劣化推定値算出部２３が算出する注目ブロックの劣化推定値とフレーム符号化歪み推定部１４が算出するフレーム符号化歪みＤｆに加えてブロック符号化歪み推定部２１が算出するブロック符号化歪みＤｂを参照して、符号化モードをフレーム内符号化（ＩＮＴＲＡ）とフレーム間予測符号化（ＩＮＴＥＲ）とスキップ（ＳＫＩＰ）の３つから選択する。
【００５１】
また、ブロック符号化部１８は、モード選択部２０からの符号化モードがスキップであった場合、その注目ブロックについて、動き情報や係数情報は符号化せず、符号化モードがスキップであることを示す符号のみを送る。この場合、注目ブロックについては、前フレームの復号結果をそのままコピーすることで復号結果とする。
【００５２】
ブロック符号化歪み推定部２１は、フレーム内符号化／フレーム間予測符号化／スキップそれぞれの場合について、注目ブロックの符号化歪みＤｂを推定する。
【００５３】
符号化モードがフレーム内符号化／フレーム間予測符号化の場合には符号化歪みは量子化による誤差パワーと一致する。この場合、ブロック符号化歪み推定部２１は、フレーム内符号化／フレーム間予測符号化のそれぞれの場合の量子化ステップを参照して、注目ブロックの符号化歪みＤｂを推定する。例えば、量子化が線形量子化の場合、量子化ステップの２乗を１２で割った値にブロック内画素数を掛けた値を符号化歪みＤｂとして推定する。
【００５４】
一方、符号化モードがスキップである場合、復号画像は前フレームにおける注目ブロックと同一のものとなることから、符号化歪みは、前フレームと現在のフレームとの間の誤差パワーとして表される。この場合、ブロック符号化歪み推定部２１は、前フレームと現在のフレームとの間の誤差パワーを求め、この誤差パワーを注目ブロックの符号化歪みＤｂとして推定する。
【００５５】
データ欠損確率推定部２２および劣化推定値算出部２３もまた、注目ブロックの符号化モードがスキップの場合に対応した出力をそれぞれ行う。符号化モードがスキップの場合、データ欠損確率推定部２２は符号化モードがスキップであることを示す符号の要する符号量とカウンタ１９によって得られる最新の同期符号から注目ブロックの直前までの符号量から、注目ブロックのデータ欠損確率ｐを推定する。劣化推定算出部２３は、得られたデータ欠損確率ｐに従って、符号化モードがフレーム間予測符号化の場合と同様にしてスキップの場合の劣化推定値Ｄｄを算出する。
【００５６】
モード選択部２０は、実施の形態１におけるモード選択部１７が実施する処理と同様にして、フレーム内符号化／フレーム間予測符号化の何れかを最適な符号化モードの候補として選択した後、劣化推定値算出部２３が算出した劣化推定値Ｄｄとブロック符号化歪み推定部２１が推定したブロック符号化歪みＤｂとの和を、選択した符号化モードの候補とスキップとで比較し、小さい方を注目ブロックに対する最適な符号化モードとして選択する。
【００５７】
【発明の効果】
以上説明したことから明らかなように本発明によれば、誤りによって発生する劣化と符号化歪みとの和が小さくなるようにモード選択を行うことにより、強制リフレッシュを適正かつ効果的に行うことができるようになり、符号化効率を低下させることなく、画質劣化を抑制することが可能となる。
また、本発明によれば、伝送誤りに対して発生する画質劣化の度合をブロック毎に推定し、画質劣化の予想されるブロックに対して優先的にフレーム内符号化を行う。従来の手法ではリフレッシュの頻度を経験的に調整していたのに対して、本発明により常に好適なリフレッシュを実現することができる。
さらに本発明では、符号化制御方式によって得られる符号量と符号化歪みの推定値を用いてモード選択を行うことで、ブロック単位の符号化処理と同時に各ブロックの好適なモード選択が可能となり、必要とする演算量もごく微小な量に抑えることができる。
加えて本発明では、誤り耐性を考慮した符号化モードの選択に、フレーム内符号化、フレーム間予測符号化に加えて、スキップを候補としている。符号化モードとしてスキップを選択した場合の発生符号量は１ビットと微小であり、誤りによるデータ欠落の可能性は他の符号化モードに比べて極めて低いため、誤りへの耐性はさらに向上する。
【図面の簡単な説明】
【図１】  本発明の第１の実施の形態（実施の形態１）を示す動画像符号化装置の構成を示すブロック図である。
【図２】  誤りが発生した際の補完処理と画質劣化について説明する図である。
【図３】  前フレームにおける画質劣化の現フレームへの伝播について説明する図である。
【図４】  本発明の第２の実施の形態（実施の形態２）を示す動画像符号化装置の構成を示すブロック図である。
【図５】  従来の動画像符号化装置の構成を示すブロック図である。
【図６】  誤りが発生した際のデータ欠損確率について説明する図である。
【符号の説明】
１０…フレームメモリ、１１…符号量制御部、１２…劣化パワー算出部、１３，２２…データ欠損確率推定部、１４…フレーム符号化歪み推定部、１５，２３…劣化推定値算出部、１６…メモリ、１７，２０…モード選択部、１８…ブロック符号化部、１９…カウンタ、２１…ブロック符号化歪み推定部、１０１…入力画像、１０２…参照画像。
【図１】
0004644939.tif 000002
【図２】
0004644939.tif 000003
【図３】
0004644939.tif 000004
【図４】
0004644939.tif 000005
【図５】
0004644939.tif 000006
【図６】
0004644939.tif 000007