(57)【要約】【課題】  復号エラーのある画像を補正する。【解決手段】  この発明に係る復号装置は、符号化データを復号処理し、復号後の画素データ、符号化パラメータおよび復号エラー情報を出力する復号処理部と、画素データを蓄積するフレームメモリと、符号化パラメータを蓄積する符号化パラメータ蓄積部と、復号エラー情報を基に、コンシール処理のＯＮ／ＯＦＦを判定するコンシール管理部と、ＯＮ／ＯＦＦ判定結果がＯＮのとき、コンシール範囲を算出するコンシール範囲算出部と、コンシール範囲を分割グループに分割し、さらにサブグループに分割するコンシール範囲分割部と、コンシール範囲内の分割グループ／サブグループごとに推定動きベクトルを算出する推定動きベクトル算出部と、ＯＮ／ＯＦＦ判定結果がＯＮのとき、推定動きベクトルとフレームメモリに蓄積されている画素データからコンシール画像を生成するコンシール画像生成部とを備えた。【選択図】          図１
2014023138.tif 000002
【特許請求の範囲】
【請求項１】
符号化データを復号処理し、復号後の画素データ、符号化パラメータおよび復号エラー情報を出力する復号処理部と、
前記復号処理部が出力した画素データをピクチャ単位で蓄積するフレームメモリと、
前記符号化パラメータをピクチャ単位で蓄積する符号化パラメータ蓄積部と、
前記復号エラー情報を基に、ピクチャ毎にコンシールメント処理のＯＮ／ＯＦＦを判定するコンシール管理部と、
前記コンシールメント処理のＯＮ／ＯＦＦ判定結果がＯＮのとき、コンシール範囲を算出するコンシール範囲算出部と、
前記コンシール範囲を分割した分割グループを細分化したサブグループを設定した複数種類のサブグループ細分化パターンを格納する分割パターン格納部と、
前記コンシール範囲を前記分割グループに分割し、さらに前記複数のサブグループ細分化パターンを基に、前記サブグループに分割するコンシール範囲分割部と、
前記コンシール範囲内の分割グループ／サブグループごとに分割グループ／サブグループを代表する推定動きベクトルを算出する推定動きベクトル算出部と、
前記コンシールメント処理のＯＮ／ＯＦＦ判定結果がＯＮのとき、前記推定動きベクトルと前記フレームメモリに蓄積されている画素データからコンシール画像を生成するコンシール画像生成部と
を備えた復号装置。
【請求項２】
前記推定動きベクトル算出部が算出した推定動きベクトルが画面外を参照しているか否かを検出する画面外参照推定動きベクトル検出部
を備え、
前記推定動きベクトル算出部は、前記推定動きベクトルが画面外を参照しているとき、前記推定動きベクトルを補正する
ことを特徴とする請求項１記載の復号装置。
【請求項３】
前記符号化データの復号処理でシーンチェンジの発生有無を検出するシーンチェンジ検出部
を備え、
前記推定動きベクトル算出部は、前記推定動きベクトルが画面外を参照しているとき、前記シーンチェンジの発生有無に基づいて前記推定動きベクトルの補正処理を行う
ことを特徴とする請求項２記載の復号装置。
【請求項４】
前記推定動きベクトル算出部が算出した推定動きベクトルについて、各分割グループの推定動きベクトルとその周囲の分割グループの推定動きベクトルを評価することにより補正要否を判定する推定動きベクトル評価部と、
前記推定動きベクトル算出部は、前記補正要否の判定結果に基づいて、推定動きベクトルを補正する
ことを特徴とする請求項１記載の復号装置。
【請求項５】
符号化データを復号処理し、復号後の画素データ、符号化パラメータおよび復号エラー情報を出力する復号処理部と、
前記復号処理部が出力した画素データをピクチャ単位で蓄積するフレームメモリと、
前記符号化パラメータをピクチャ単位で蓄積する符号化パラメータ蓄積部と、
前記復号エラー情報を基に、ピクチャ毎にコンシールメント処理のＯＮ／ＯＦＦを判定するコンシール管理部と、
前記コンシールメント処理のＯＮ／ＯＦＦ判定結果がＯＮのとき、コンシール範囲を算出するコンシール範囲算出部と、
前記コンシール範囲を前記分割グループに分割し、前記分割グループを細分化したサブグループを設定した複数のサブグループ細分化パターンを基に、前記分割グループを前記サブグループに分割するコンシール範囲分割部と、
コンシール画像を異なるコンシールメント処理で生成する複数のコンシール処理実行部と、
前記コンシールメント処理のＯＮ／ＯＦＦ判定結果がＯＮのとき、前記コンシール範囲以外の正常に復号された復号範囲と該復号範囲に対応する前記複数のコンシール処理実行部が前記異なるコンシールメント処理を適用した各復号範囲を比較し、最も差分が少なかったコンシールメント処理を正常に復号されなかった復号範囲に適用してコンシール画像を生成するコンシール結果判定部と
を備えた復号装置。
【請求項６】
符号化データを復号処理し、復号後の画素データ、符号化パラメータおよび復号エラー情報を出力する復号処理装置に接続されたエラーコンシールメント処理装置であって、
前記画素データをピクチャ単位で蓄積するフレームメモリと、
前記符号化パラメータをピクチャ単位で蓄積する符号化パラメータ蓄積部と、
前記復号エラー情報を基に、ピクチャ毎にコンシールメント処理のＯＮ／ＯＦＦを判定するコンシール管理部と、
前記コンシールメント処理のＯＮ／ＯＦＦ判定結果がＯＮのとき、コンシール範囲を算出するコンシール範囲算出部と、
前記コンシール範囲を分割した分割グループを細分化したサブグループを設定した複数種類のサブグループ細分化パターンを格納する分割パターン格納部と、
前記コンシール範囲を前記分割グループに分割し、さらに前記複数のサブグループ細分化パターンを基に、前記サブグループに分割するコンシール範囲分割部と、
前記コンシール範囲内の分割グループ／サブグループごとに分割グループ／サブグループを代表する推定動きベクトルを算出する推定動きベクトル算出部と、
前記コンシールメント処理のＯＮ／ＯＦＦ判定結果がＯＮのとき、前記推定動きベクトルと前記フレームメモリに蓄積されている画素データからコンシール画像を生成するコンシール画像生成部と
を備えたエラーコンシールメント処理装置。
【請求項７】
符号化データを復号処理し、復号後の画素データ、符号化パラメータおよび復号エラー情報を出力するステップと、
前記画素データをピクチャ単位で記憶手段に蓄積するステップと、
前記符号化パラメータをピクチャ単位で記憶手段に蓄積するステップと、
前記復号エラー情報を基に、ピクチャ毎にコンシールメント処理のＯＮ／ＯＦＦを判定するステップと、
前記コンシールメント処理のＯＮ／ＯＦＦ判定結果がＯＮのとき、コンシール範囲を算出するステップと、
前記コンシール範囲を前記分割グループに分割し、前記分割グループを細分化したサブグループを設定した複数のサブグループ細分化パターンを基に、前記分割グループを前記サブグループに分割するステップと、
前記コンシール範囲内の分割グループ／サブグループごとに分割グループ／サブグループを代表する推定動きベクトルを算出するステップと、
前記コンシールメント処理のＯＮ／ＯＦＦ判定結果がＯＮのとき、前記推定動きベクトルと前記記憶手段に蓄積されている画素データからコンシール画像を生成するステップと
を有する復号方法。
【請求項８】
前記推定動きベクトルを算出するステップで算出された推定動きベクトルが画面外を参照しているか否かを検出するステップと、
前記推定動きベクトルが画面外を参照しているとき、前記推定動きベクトルを補正するステップと
を有する請求項７記載の復号方法。
【請求項９】
前記符号化データの復号処理でシーンチェンジの発生有無を検出するステップ
を有し、
前記推定動きベクトルを補正するステップは、前記推定動きベクトルが画面外を参照しているとき、前記シーンチェンジの発生有無に基づいて前記推定動きベクトルの補正処理を行う
ことを特徴とする請求項８記載の復号方法。
【請求項１０】
前記推定動きベクトルを算出するステップで算出された推定動きベクトルについて、各分割グループの推定動きベクトルとその周囲の分割グループの推定動きベクトルを評価することにより補正要否を判定するステップと、
前記補正要否の判定結果に基づいて、前記推定動きベクトルを補正するステップ
を有することを特徴とする請求項７記載の復号方法。
【請求項１１】
符号化データを復号処理し、復号後の画素データ、符号化パラメータおよび復号エラー情報を出力するステップと、
前記画素データをピクチャ単位で記憶手段に蓄積するステップと、
前記符号化パラメータをピクチャ単位で記憶手段に蓄積するステップと、
前記復号エラー情報を基に、ピクチャ毎にコンシールメント処理のＯＮ／ＯＦＦを判定するステップと、
前記コンシールメント処理のＯＮ／ＯＦＦ判定結果がＯＮのとき、コンシール範囲を算出するステップと、
前記コンシール範囲を前記分割グループに分割し、前記分割グループを細分化したサブグループを設定した複数のサブグループ細分化パターンを基に、前記分割グループを前記サブグループに分割するステップと、
コンシール画像を異なるコンシールメント処理で生成する複数のコンシールメント処理を実行するステップと、
前記コンシールメント処理のＯＮ／ＯＦＦ判定結果がＯＮのとき、前記コンシール範囲以外の正常に復号された復号範囲と該復号範囲に対応する前記複数のコンシールメント処理を実行するステップが前記異なるコンシールメント処理を適用した各復号範囲を比較し、最も差分が少なかったコンシールメント処理を正常に復号されなかったエラー復号範囲に適用してコンシール画像を生成するステップと
を有する復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、復号装置、エラーコンシールメント処理装置および復号方法に関する。
【背景技術】
【０００２】
Ｈ．２６４やＭＰＥＧ−２といった符号化方式を用いて圧縮符号化された映像を再生する際には、元の形式へ復号する必要があるが、伝送路上での電気ノイズ等により符号化データにエラーが混入すると、復号映像にノイズが混じったり、復号不可能な状態に陥ったりするなど、復号映像の画質が劣化してしまう。
【０００３】
この画質劣化の対策として、従来の復号装置では、エラーの発生した画像の補正画像を生成してエラーコンシールメント処理を行い、エラーの影響を低減させるものがある。例えば、受信する映像素材の性質や伝送誤りの程度に応じて各映像フレームの中を複数のグループに分類し、映像復号が正常に処理できたかグループごとに判別し、正常に処理できなかったグループについてはフレームバッファ内の以前に表示された復号映像またはあらかじめ定めた特定の映像などを利用して新たに表示すべき映像を作成するエラーコンシールメント処理方法を適用する復号装置が提案されている（例えば特許文献１）。
【０００４】
また、復号された画像データを１つまたは複数の分割領域に分割し、復号画像データから再生画像の動きを示す動き特徴値を分割領域毎に算出し、エラーにより復号できなかった分割領域に対し、算出した動き特徴値を補正ベクトルとして用い、復号画像データから補正先ベクトルに基づき画素データを複製することでエラー補正を行うエラーコンシールメント処理方法を適用する復号装置が提案されている（例えば特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１６４２９６号公報
【特許文献２】特開２００８−１８７４４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１の復号装置では、映像の動きが考慮されておらず、対象の映像に動きがある場合は、正常に復号できた領域とエラーコンシールメント処理により以前の復号映像がはめ込まれた領域の間には大きなズレが発生するという問題点があった。
【０００７】
また、特許文献２の復号装置では、映像の動きは考慮されているものの、隣接するマクロブロックに対して少しずつ大きさや角度の異なるベクトルを適用して補正画像を生成するため、補正画像ではマクロブロックの境界部分にベクトルの差異によるエッジが多数現れ、主観画質を低下させるという問題点があった。
【０００８】
この発明は上記のような問題点を解決するためになされたもので、映像の動きを考慮しながらエッジの発生を抑え、違和感の少ない補正画像を生成することでコンシールメント処理する復号装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る復号装置は、符号化データを復号処理し、復号後の画素データ、符号化パラメータおよび復号エラー情報を出力する復号処理部と、前記復号処理部が出力した画素データをピクチャ単位で蓄積するフレームメモリと、前記符号化パラメータをピクチャ単位で蓄積する符号化パラメータ蓄積部と、前記復号エラー情報を基に、ピクチャ毎にコンシールメント処理のＯＮ／ＯＦＦを判定するコンシール管理部と、前記コンシールメント処理のＯＮ／ＯＦＦ判定結果がＯＮのとき、コンシール範囲を算出するコンシール範囲算出部と、前記コンシール範囲を分割した分割グループを細分化したサブグループを設定した複数種類のサブグループ細分化パターンを格納する分割パターン格納部と、前記コンシール範囲を前記分割グループに分割し、さらに前記複数のサブグループ細分化パターンを基に、前記サブグループに分割するコンシール範囲分割部と、前記コンシール範囲内の分割グループ／サブグループごとに分割グループを代表する推定動きベクトルを算出する推定動きベクトル算出部と、前記コンシールメント処理のＯＮ／ＯＦＦ判定結果がＯＮのとき、前記推定動きベクトルと前記フレームメモリに蓄積されている画素データからコンシール画像を生成するコンシール画像生成部とを備える。
【発明の効果】
【００１０】
この発明に係る復号装置によれば、エラーを検出したスライス全体をコンシール範囲とし、コンシール範囲内を複数のマクロブロックからなるグループに分割し、動きが込み入った場所はサブグループに細分化し、エラーピクチャと時間的に近い、正常に復号されたピクチャの同位置マクロブロックの動きベクトルからコンシール範囲内のグループ／サブグループごとに推定動きベクトルを算出して、推定動きベクトルに応じた位置の画素を参照面から取得することで補正画像を生成してエラーコンシールメント処理を行うようにしているので、映像内の動きを維持した違和感の少ないコンシール画像を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１に係る復号装置の一例を示す構成図である。
【図２】この発明の実施の形態１に係る復号装置の動作を示すフローチャートである。
【図３】この発明の実施の形態１に係るコンシール範囲設定の一例の説明図である。
【図４】この発明の実施の形態１に係るコンシール範囲のグループ分割の一例の説明図である。
【図５】この発明の実施の形態１に係る分割されたグループのサブグループ細分化パターンの一例の説明図である。
【図６】この発明の実施の形態１に係る推定動きベクトルの算出の一例の説明図である。
【図７】この発明の実施の形態２に係る復号装置の一例を示す構成図である。
【図８】この発明の実施の形態２に係る復号装置の動作の一例を示すフローチャート（差分）である。
【図９】この発明の実施の形態２に係る復号装置のエラーコンシールメント処理の一例を説明する概念図である。
【図１０】この発明の実施の形態３に係る復号装置の一例を示す構成図である。
【図１１】この発明の実施の形態３に係る復号装置の動作の一例を示すフローチャート（差分）である。
【図１２】この発明の実施の形態４に係る復号装置の一例を示す構成図である。
【図１３】この発明の実施の形態４に係る復号装置の動作の一例を示すフローチャート（差分）である。
【図１４】この発明の実施の形態５に係る復号装置の一例を示す構成図である。
【図１５】この発明の実施の形態５に係る復号装置のコンシール画像の生成の一例の説明図である。
【発明を実施するための形態】
【００１２】
この発明は、復号装置、エラーコンシールメント処理装置および復号方法に関するものである。以下に、この発明に係る復号装置および復号方法の一例について説明する。
【００１３】
実施の形態１．
図１は、この発明の実施の形態１に係るエラーコンシールメント処理部を搭載している復号装置を示す構成図である。
【００１４】
図において、復号装置は、復号処理部１とエラーコンシールメント処理部２ａから構成される。復号処理部１は、符号化データを復号処理して復号後の画素データ、符号化パラメータおよび復号エラー情報を出力する。エラーコンシールメント処理部２ａは、復号処理部１の出力する画素データ、符号化パラメータ、復号エラー情報を入力として、正常な復号が行われたときにはその復号画像を出力し、エラーが発生したときにはこれらの入力を基に復号エラーにより乱れた映像を補正したコンシール画像を生成して出力する。
【００１５】
また、このエラーコンシールメント処理部２ａについて、さらに詳細な構成を示す。フレームメモリ２１は、復号処理部１が出力した画素データをピクチャ単位で蓄積する。符号化パラメータ蓄積部２２は、復号処理部１が出力した符号化パラメータをピクチャ単位で蓄積する。コンシール管理部２３は、復号処理部１が出力した復号エラー情報を基に、ピクチャ毎にコンシールメント処理のＯＮ／ＯＦＦを判定する。コンシール範囲算出部２４は、コンシール管理部２３が判定したコンシールメント処理のＯＮ／ＯＦＦ判定結果がＯＮのとき、コンシール範囲を算出する。分割パターン格納部２５は、コンシール範囲を分割した分割グループを細分化したサブグループを設定した複数種類のサブグループ細分化パターンを格納する。コンシール範囲分割部２６は、コンシール範囲算出部２４が算出したコンシール範囲を分割グループに分割し、さらに分割パターン格納部２５に格納された複数のサブグループ細分化パターンを基に、サブグループに分割する。推定動きベクトル算出部２７ａは、コンシール範囲内の分割グループ／サブグループごとに分割グループを代表する推定動きベクトルを算出する。コンシール画像生成部２８は、コンシールメント処理のＯＮ／ＯＦＦ判定結果がＯＮのとき、推定動きベクトル算出部２７ａの算出した推定動きベクトルとフレームメモリに蓄積されている画素データからコンシール画像を生成する。
【００１６】
図２は、この発明の実施の形態１に係るエラーコンシールメント処理部を搭載している復号装置の動作の一例を示すフローチャートである。
【００１７】
図において、ステップＳＴ１０１で、コンシール管理部２３は、復号エラー情報を基に、ピクチャ毎にコンシールメント処理のＯＮ／ＯＦＦを判定する。ステップＳＴ１０２で、コンシール範囲算出部２４は、コンシールＯＮ／ＯＦＦ判定を基に、コンシール範囲を算出する。ステップＳＴ１０３で、コンシール範囲分割部２６は、コンシール範囲を分割グループに分割する。ステップＳＴ１０４で、コンシール範囲分割部２６は、複数のサブグループ細分化パターンを基に、グループごとに一つのサブグループ細分化パターンを選択して、そのパターンに対応するサブグループに分割する。ステップＳＴ１０５で、推定動きベクトル算出部２７ａは、コンシール範囲内の分割グループ／サブグループごとにその分割グループ／サブグループを代表する推定動きベクトルを算出する。ステップＳＴ１０６で、コンシール画像生成部２８は、推定動きベクトルと、参照面情報に基づく参照面の画素データとから出力画像を生成する。なお、ステップＳＴ１０１で、コンシールＯＦＦであれば、ステップＳＴ１０６で、コンシール画像生成部２８は、コンシール画像を生成せず、正常に復号された画素データからなる画像を出力する。
【００１８】
次に、さらに詳細な処理について説明する。
【００１９】
まず、復号処理部１は、符号化装置で符号化された符号化データを入力すると、復号処理を行って復号画像を生成し、この復号画像の画素データをエラーコンシールメント処理部２ａへ出力する。また、復号処理の際に使用した符号化パラメータをエラーコンシールメント処理部２ａへ出力する。また、復号処理部１は、復号処理の際に検知した復号エラー情報をエラーコンシールメント処理部２ａへ出力する。ここで、符号化パラメータとは、例えば符号化方式がＨ．２６４の場合、画面内のスライス構成やピクチャタイプ、マクロブロック毎の予測モード、動きベクトルなどである。また、復号エラー情報とは、例えば復号エラー検出の有無や画像内における復号エラー検出位置などである。
【００２０】
復号処理部１からエラーコンシールメント処理部２ａへ出力された画素データは、ピクチャごとにフレームメモリ２１に蓄積され、符号化パラメータは、ピクチャごとに符号化パラメータ蓄積部２２に蓄積され、復号エラー情報は、随時コンシール管理部２３に通知される。
【００２１】
コンシール管理部２３は、復号処理部１からの復号エラー情報を常に監視し、復号エラーが検出されるとその影響範囲を算出してピクチャごとにコンシールＯＮ／ＯＦＦ判定を行うとともにコンシールに用いる参照面を算出し設定する。
【００２２】
例えば、Ｈ．２６４等のように他のピクチャを参照して次のピクチャを生成する符号化方式の場合、復号エラーの与える影響は復号エラーが検出されたピクチャだけでなく、復号エラーが検出されたピクチャを参照するピクチャにも伝播する。そのため、コンシール管理部２３は、復号エラーが検出されたピクチャおよび復号エラーが検出されたピクチャを参照面とするピクチャは「コンシールＯＮ」、それ以外は「コンシールＯＦＦ」と判定する。
【００２３】
また、コンシールに用いる参照面は、エラーで失われた情報を補完するために使われるピクチャであり、映像には時間的に近い映像は相関が高いという特徴があるため、コンシール対象のピクチャと時間的に近く、正常に復号されているピクチャを選ぶ。例えば、コンシール対象のピクチャタイプがＩ（イントラ符号化）／Ｐ（前方参照符号化）ピクチャの場合は、表示順がコンシール対象ピクチャの直前である正常に復号されたＩ／Ｐピクチャ１枚をコンシール参照面とし、コンシール対象がＢ（前方参照・後方参照符号化）ピクチャの場合は、表示順がコンシール対象ピクチャの直前と直後で正常に復号されたＩ／Ｐピクチャ２枚をコンシール参照面とする。
【００２４】
コンシール範囲算出部２４は、コンシール管理部２３が「コンシールＯＮ」と判定すると、復号エラー情報とスライス情報から復号エラーの検出されたマクロブロックを含むスライスの開始位置および終了位置を算出し、そのスライス全体をコンシール範囲とする。例えば、この発明の実施の形態１に係るコンシール範囲設定の一例の説明図である図３により説明する。Ｈ．２６４のような可変長符号化方式によって符号化された符号化データにエラーが混入した場合、実際にエラーが混入した位置と復号時にエラーが検出される位置は異なり、エラー検出位置より前から復号映像が乱れている可能性がある。よって、符号化の単位であるスライス全体をコンシール範囲とすることで、映像が乱れている可能性のある箇所を全て包含した範囲をコンシールメント処理の対象とする。
【００２５】
コンシール範囲分割部２６は、コンシール範囲算出部２４がコンシール範囲を決定すると、コンシール範囲を複数のマクロブロック（ＭＢ）からなるグループおよび各グループを複数のサブグループに分割する。ここでは、以下の２段階で分割を行う。
【００２６】
まず、第１段階として、コンシール範囲を一定の大きさのグループ（例えば４ＭＢ×４ＭＢ等）に分割する。例えば、この発明の実施の形態１に係るコンシール範囲のグループ分割の一例の説明図である図４により説明する。コンシール範囲内の画像には複数の動きが含まれていることから、コンシール範囲を分割することで、それぞれの場所ごとに動きを反映したコンシールメント処理を行うものとする。
【００２７】
次に、第２段階として、第１段階で分割した各グループについて、さらにサブグループへの細分化が有効か評価し、有効であると判定されれば細分化を行う。例えば、この発明の実施の形態１に係る分割されたグループのサブグループ細分化パターンの一例の説明図である図５により説明する。コンシール範囲を分割したグループに適用する複数のサブグループ細分化パターンを用意しておき、グループ内をサブグループに細分化する。ここでは、第１段階で分割した４ＭＢ×４ＭＢのグループに対するサブグループ細分化パターンの一例を示したが、細分化する形状、パターン数は任意に設定することができ、グループと同一サイズとなる１つのサブグループのみのパターンを含めておいても構わない。ここで用いる複数のサブグループ細分化パターンは、分割パターン格納部２５が格納して記憶され、コンシール範囲分割部２６から適宜参照される。
【００２８】
各グループのコンシールメント処理には、複数のサブグループ細分化パターンのすべてについて、各サブグループ内の画像の動きのばらつき度合いを評価し、最もばらつきの少ないサブグループ細分化パターンを採用する。ここで、動きのばらつきが少ないことは、動きが均一化された状態を意味している。例えば、サブグループを構成するマクロブロックと同位置の参照面上のマクロブロックの動きベクトルを用いてサブグループ内の動きベクトルの分散を算出し、この分散を評価値として、すべてのサブグループ細分化パターンの中でサブグループの動きベクトルの分散の最大値が最も小さくなるパターン（サブグループ内で動きベクトルのばらつきが少ない分割パターン）を採用し、細分化を行う。このようにすることで、動きが単純な箇所は大きめのサブグループ単位でコンシールメント処理を行い、動きが込み入った箇所は込み入った動きのところだけ細分化したサブグループ単位でコンシールメント処理を行うことができる。なお、同一の最大評価値をとる複数のサブグループ細分化パターンが存在した場合の判定のために、サブグループ細分化パターンに対して優先度を設けておいてもよい。
【００２９】
推定動きベクトル算出部２７ａは、コンシール範囲分割部２６がコンシール範囲の分割方法を決定すると、グループ／サブグループごとに推定動きベクトルを算出する。例えば、この発明の実施の形態１に係る推定動きベクトルの算出の一例の説明図である図６により説明する。推定動きベクトルは、グループ内のマクロブロックと同位置の参照面内のマクロブロックが持つ動きベクトルを用いて算出する。その推定動きベクトルの算出方法としては、例えば動きベクトルの平均値、中央値（メジアン）、または動きベクトルのヒストグラムをとった最高頻度（最頻値）のベクトルを採用してもよく、またこのような既定の統計値に限らない算出方法であってもよい。
【００３０】
コンシール画像生成部２８では、推定動きベクトル算出部２７ａが推定動きベクトルの算出を完了すると、コンシール範囲以外は正常に復号された復号画像を設定するとともに、正常に復号できなかったコンシール範囲については対応するグループ／サブグループごとに算出した推定動きベクトルに基づいて参照面の画素データから得た補正画像を設定することで、コンシール画像を生成し、出力する。
【００３１】
以上のように、この発明の実施の形態１に係る復号装置および復号方法によれば、エラーを検出したスライス全体をコンシール範囲とし、コンシール範囲内を複数のマクロブロックからなるグループに分割し、動きが込み入った場所はサブグループに細分化し、エラーピクチャと時間的に近い、正常に復号されたピクチャの同位置マクロブロックの動きベクトルからコンシール範囲内のグループ／サブグループごとに推定動きベクトルを算出して、推定動きベクトルに応じた位置の画素を参照面から取得することで補正画像を生成してエラーコンシールメント処理を行うようにしているので、映像内の動きを維持した違和感の少ないコンシール画像を得ることができる。
【００３２】
実施の形態２．
先の実施の形態１では、推定動きベクトルを算出して補正画像を生成するようにしたものを説明した。次に、実施の形態２では、推定動きベクトルが画面外を指す場合に推定動きベクトルを補正するものについて説明する。
【００３３】
図７は、この発明の実施の形態２に係るエラーコンシールメント処理部を搭載している復号装置を示す構成図である。
【００３４】
図において、復号装置は、復号処理部１とエラーコンシールメント処理部２ｂから構成される。復号処理部１は、この発明の実施の形態１において図１で説明した復号処理部１と同様の機能を有し、動作するものであるため、その説明は省略する。また、エラーコンシールメント処理部２ｂを構成するフレームメモリ２１、符号化パラメータ蓄積部２２、コンシール管理部２３、コンシール範囲算出部２４、分割パターン格納部２５、コンシール範囲分割部２６、コンシール画像生成部２８は、この発明の実施の形態１において図１で説明したエラーコンシールメント処理部２ａ内部構成に付した同一符号の構成要素と同様の機能を有し、動作するものであるため、その説明は省略する。よって、推定動きベクトル算出部２７ｂと画面外参照推定動きベクトル検出部２９について説明する。
【００３５】
推定動きベクトル算出部２７ｂは、この発明の実施の形態１において図１で説明した推定動きベクトル算出部２７ａと同様に、推定動きベクトルを算出し、その後、画面外参照推定動きベクトル検出部２９により検出された推定動きベクトルの画面外を参照するグループ情報に基づいて補正した推定動きベクトルをコンシール画像生成部２８に送出する。画面外参照推定動きベクトル検出部２９は、推定動きベクトル算出部２７ｂが算出した推定動きベクトルが画面外を参照しているか否かをグループ／サブグループごとにチェックし、画面外を参照している場合は画面外を参照するグループ情報を推定動きベクトル算出部２７ｂに通知する。
【００３６】
図８は、この発明の実施の形態２に係るエラーコンシールメント処理部を搭載している復号装置の動作の一例を示すフローチャートであり、図２に示したこの発明の実施の形態１に係るエラーコンシールメント処理部を搭載している復号装置の動作を示すフローチャートとの差分を示している。
【００３７】
図において、ステップＳＴ１０１からステップＳＴ１０５、およびステップＳＴ１０６（図示せず）は、図２に示したこの発明の実施の形態１に係る復号装置の動作を示すフローチャートと同様の処理を行う。ここでは、ステップＳＴ１０５とＳＴ１０６との間に次のステップＳＴ２０１、ＳＴ２０２を追加する。
【００３８】
ステップＳＴ２０１で、画面外参照推定動きベクトル検出部２９が、ステップＳＴ１０５で算出された推定動きベクトルにおける画面外への参照があるか検出する。ステップＳＴ２０１において画面外への参照がないとき、推定動きベクトルは補正せず、ステップＳＴ１０６に処理を進める。ステップＳＴ２０１において画面外への参照があることが検出されたとき、ステップＳＴ２０２で、推定動きベクトル算出部２７ｂが画面外参照を考慮して推定動きベクトルを補正する。その後、ステップＳＴ１０６で、コンシール画像生成部２８は、ステップＳＴ１０５で算出した推定動きベクトルまたはステップＳＴ２０２で補正された推定動きベクトルと、参照面情報に基づく参照面の画素データとから出力画像を生成する。なお、ステップＳＴ１０１で、コンシールＯＦＦであれば、ステップＳＴ１０６で、コンシール画像生成部２８は、コンシール画像を生成せず、正常に復号された画素データからなる画像を出力する。
【００３９】
図９は、この発明の実施の形態２に係る復号装置のエラーコンシールメント処理の一例を説明する概念図である。この図に沿って、詳細な処理について説明する。
【００４０】
図において、Ｐ（前方参照符号化）ピクチャであるＰ１ピクチャ、Ｐ２ピクチャ、Ｉ（イントラ符号化）ピクチャであるＩ３ピクチャの順に復号画像が表示されるものとし、Ｐ１ピクチャ、Ｉ３ピクチャは正常に復号でき、Ｐ２ピクチャは復号エラーがあった場合を示している。通常、復号エラー前後は復号画像が乱れるが、ここでは正常な復号時と同様の状態で対象をそのまま描いている。なお、イントラ符号化ピクチャであるＩ３ピクチャは、参照面を持たず、１枚の中で符号化が完結するため、他のピクチャを参照する動きベクトルを持たず、他のピクチャの復号エラーの影響を受けない。
【００４１】
ここで、復号処理部１で復号エラーを検出してから、コンシール範囲を算出し、コンシール範囲を分割し、推定動きベクトルを算出するところまでは実施の形態１で説明した処理と同様であるため、その説明は省略する。
【００４２】
（１）推定動きベクトルの算出
まず、推定動きベクトル算出部２７ｂは、コンシール範囲に対して、例えば表示順が時間的に前方向で正常に復号された直前のＰ１ピクチャと同一の動きを継続すると推定して、Ｐ１ピクチャの動きベクトルからＰ２ピクチャの推定動きベクトルを算出する。
【００４３】
（２）画面外参照推定動きベクトルの検出
次に、画面外参照推定動きベクトル検出部２９は、推定動きベクトル算出部２７ｂが算出した推定動きベクトルが画面外を参照しているか否かをグループごとに検出し、画面外を参照している場合は画面外を参照するグループ情報を推定動きベクトル算出部２７ｂに通知する。ここでは、画面外参照推定動きベクトル検出部２９が、推定動きベクトル算出部２７ｂが算出した推定動きベクトルの一番左端のグループが画面外の参照を示していることを検出し、一番左端のグループ情報を推定動きベクトル算出部２７ｂに通知する。
【００４４】
（３）画面外参照推定動きベクトルの補正
推定動きベクトルが画面外の参照を示している場合、Ｐ１ピクチャを参照面として画素データを取得して補正したコンシール画像を生成することができないため、表示順が時間的に後方向のＩ３ピクチャを参照面としたコンシールメント処理を行う。ここでは、例えばＩ３ピクチャは、エラーピクチャＰ２直前のＰ１ピクチャと同じ動きをするものとして、エラーピクチャ直前のＰ１ピクチャと同じ動きベクトルを用いて推定動きベクトルを算出する。ただし、Ｉ３ピクチャからエラーピクチャＰ２への参照方向とエラーピクチャＰ２からＩ３ピクチャへの参照方向とは逆方向となるので、推定動きベクトルの向きを反転させて設定する。
推定動きベクトル算出部２７ｂは、画面外参照推定動きベクトル検出部２９から通知された画面外を参照するグループ情報に基づいて推定動きベクトルを補正する。ここでは、画面外参照推定動きベクトル検出部２９から通知された一番左端のグループの推定動きベクトルの向きを反転する。
【００４５】
（４）コンシール画像の生成
コンシール画像生成部２８は、推定動きベクトル算出部２７ｂが算出した推定動きベクトル（画面外参照なしの場合）または補正した推定動きベクトル（画面外参照ありの場合）に基づいて、参照面のピクチャを参照してＰ２ピクチャのコンシール画像を生成する。ここでは、推定動きベクトルに基づいて、表示順が時間的に前方向のＰ１ピクチャと後方向のＩ３ピクチャを参照面として適宜参照してＰ２ピクチャのコンシール画像を生成する。
【００４６】
なお、この図９では、Ｐ１ピクチャの動きベクトルがグループごとに一つの動きベクトルを持つ場合が示されているが、各グループが図５に示したサブグループ単位に細分化されて、推定動きベクトルが設定され、参照面の画像を参照してコンシール画像を生成することもある。
【００４７】
また、２つのピクチャの表示時間が離れている場合は、その時間間隔に応じて推定動きベクトルの大きさを比例的に補正して適用する。なお、この時間間隔の代わりに、一定フレーム速度の動きを仮定した映像に対して、２つのピクチャ間のフレーム数に応じて推定動きベクトルを補正してもよい。また、過去複数フレームから推測した動きの対象の加速度を考慮して、２つのピクチャ間のフレーム数に応じた推定動きベクトルを補正してもよい。
【００４８】
以上のように、この発明の実施の形態２に係る復号装置および復号方法によれば、この発明の実施の形態１に係る復号装置および復号方法と同様に、エラーを検出したスライス全体をコンシール範囲とし、コンシール範囲内を複数のマクロブロックからなるグループに分割し、動きが込み入った場所はサブグループに細分化し、エラーピクチャと時間的に近い、正常に復号されたピクチャの同位置マクロブロックの動きベクトルからコンシール範囲内のグループ／サブグループごとに推定動きベクトルを算出して、推定動きベクトルに応じた位置の画素を参照面から取得することで補正画像を生成してエラーコンシールメント処理を行うようにしているので、映像内の動きを維持した違和感の少ないコンシール画像を得ることができる。
【００４９】
また、この発明の実施の形態２に係る復号装置および復号方法によれば、表示順が前方向の参照面を使用して得た推定動きベクトルが画面外の参照を示している場合、推定動きベクトル算出部２７ｂが、後方向の参照面を使用するように変更し、動きベクトルが反対方向となるように補正することで、推定動きベクトルが画面端のグループでも画像の欠落なしにコンシールを行うことができる。
【００５０】
実施の形態３．
先の実施の形態２では、推定動きベクトルが画面外を指すときは推定動きベクトルを逆向きにして後方向からの参照にしてコンシール画像を生成するようにしたものを説明した。次に、この発明の実施の形態３では、推定動きベクトルが画面外を指し、かつ後方向のＩ（イントラ符号化）ピクチャでシーンチェンジが発生していた場合に、推定動きベクトルを補正するものについて説明する。
【００５１】
図１０は、この発明の実施の形態３に係るエラーコンシールメント処理部を搭載している復号装置を示す構成図である。
【００５２】
図において、復号装置は、復号処理部１とエラーコンシールメント処理部２ｃから構成される。復号処理部１は、この発明の実施の形態２において図７で説明した復号処理部１と同様の機能を有し、動作するものであるため、その説明は省略する。また、エラーコンシールメント処理部２ｃを構成するフレームメモリ２１、符号化パラメータ蓄積部２２、コンシール管理部２３、コンシール範囲算出部２４、分割パターン格納部２５、コンシール範囲分割部２６、コンシール画像生成部２８、画面外参照推定動きベクトル検出部２９は、この発明の実施の形態２において図７で説明したエラーコンシールメント処理部２ｂ内部構成に付した同一符号の構成要素と同様の機能を有し、動作するものであるため、その説明は省略する。よって、推定動きベクトル算出部２７ｃとシーンチェンジ検出部３０について説明する。
【００５３】
シーンチェンジ検出部３０は、復号画像でシーンチェンジの発生有無を検出して常時監視し、シーンチェンジが発生したことを推定動きベクトル算出部２７ｃに通知する。推定動きベクトル算出部２７ｃは、この発明の実施の形態２において図７で説明した推定動きベクトル算出部２７ｂと同様に、推定動きベクトルを算出し、その後、画面外参照推定動きベクトル検出部２９により通知された推定動きベクトルを、シーンチェンジ検出部３０の検出結果に基づいて補正を行い、コンシール画像生成部２８に送出する。
【００５４】
図１１は、この発明の実施の形態３に係るエラーコンシールメント処理部を搭載している復号装置の動作の一例を示すフローチャートであり、図２に示したこの発明の実施の形態１に係るエラーコンシールメント処理部を搭載している復号装置の動作を示すフローチャートとの差分を示している。
【００５５】
図において、ステップＳＴ１０１からステップＳＴ１０５、およびステップＳＴ１０６（図示せず）は、図２に示したこの発明の実施の形態１に係る復号装置の動作を示すフローチャートと同様の処理を行う。また、ステップＳＴ２０１、ＳＴ２０２は、図８に示したこの発明の実施の形態２に係る復号装置の動作を示すフローチャートと同様の処理を行う。ここでは、ステップＳＴ２０１、ＳＴ２０２との間にステップＳＴ３０１、またステップＳＴ３０１、ＳＴ１０６との間にステップＳＴ３０２を追加する。
【００５６】
ステップＳＴ２０１で、画面外参照推定動きベクトル検出部２９が、ステップＳＴ１０５で算出された推定動きベクトルにおける画面外への参照があるか検出する。ステップＳＴ２０１において画面外への参照がないとき、推定動きベクトルは補正せず、ステップＳＴ１０６に処理を進める。また、ステップＳＴ２０１において画面外への参照があると検出されたとき、ステップＳＴ３０１で、シーンチェンジ検出部３０が、シーンチェンジの発生有無の検出状況を確認する。ステップＳＴ３０１においてシーンチェンジの発生があったとき、ステップＳＴ３０２で、推定動きベクトル算出部２７ｃが画面外参照とシーンチェンジを考慮して推定動きベクトルを補正する。ステップＳＴ３０１においてシーンチェンジの発生がなかったとき、ステップＳＴ２０２で、推定動きベクトル算出部２７ｃが推定動きベクトルを補正する。その後、ステップＳＴ１０６で、コンシール画像生成部２８は、ステップＳＴ１０５で算出した推定動きベクトルあるいはステップＳＴ２０２またはステップＳＴ３０２のいずれかで補正された推定動きベクトルと、参照面情報に基づく参照面の画素データとから出力画像を生成する。なお、ステップＳＴ１０１においてコンシールＯＦＦであれば、ステップＳＴ１０６で、コンシール画像生成部２８は、コンシール画像を生成せず、正常に復号された画素データからなる画像を出力する。
【００５７】
次に、詳細な処理について説明する。復号処理部１で復号エラーを検出し、コンシール範囲を算出し、コンシール範囲を分割し、推定動きベクトルを算出し、図９の（２）画面外参照推定動きベクトルの検出により、画面外参照推定動きベクトル検出部２９から推定動きベクトル算出部２７ｃに画面外を参照するグループ情報が通知されるところまでは実施の形態２で説明した処理と同様であるため、その説明は省略し、（３）画面外参照推定動きベクトルの補正について説明する。
【００５８】
（３）画面外参照推定動きベクトルの補正
推定動きベクトル算出部２７ｃは、実施の形態２における説明と同様に、推定動きベクトルが画面外の参照を示している場合、Ｐ（前方参照符号化）ピクチャ（Ｐ１ピクチャ）を参照面として画素データを取得して補正したコンシール画像を生成することができないため、表示順の時間的に後方向のＩ（イントラ符号化）ピクチャ（Ｉ３ピクチャ）を参照面としたコンシールメント処理を行い、Ｉ３ピクチャからエラーのあるＰ２ピクチャへの参照方向とＰ２ピクチャからＩ３ピクチャへの参照方向とは逆方向となるので、推定動きベクトルの向きを反転させる補正を行う。
【００５９】
ここで、推定動きベクトル算出部２７ｃは、この推定動きベクトルの向きを反転させる補正の前に、シーンチェンジ検出部３０から後方向のＩ３ピクチャにおけるシーンチェンジの検出状況を確認し、シーンチェンジが検出されているときには、推定動きベクトルの向きを反転させる補正を行わず、ゼロベクトルを設定する補正を行う。この補正では、例えばＰ２ピクチャの同位置画素データをそのまま利用してコンシールメント処理を行う。これは、後方向のＩ３ピクチャでシーンチェンジが起きている場合、エラーのあったＰ２ピクチャと後方向のＩ３ピクチャの相関性は低いと考えられるため、後方向のピクチャは参照面に利用できない。よって、推定動きベクトル算出部２７ｃが算出した推定動きベクトルが画面外の参照を示し、さらに後方向のＩピクチャでシーンチェンジが起きている場合には、当該グループは前方向参照も後方向参照も有効ではないことになるため、Ｐ２ピクチャの同位置画素データを利用する。ここで利用するＰ２ピクチャはエラーを含むが、コンシールメント処理に利用する同位置画素データにはエラーが及んでいない場合もあり、ここではエラーが及んでいる場合でもそのまま利用する。
【００６０】
このように、推定動きベクトルが画面外の参照を示している場合に、シーンチェンジの発生有無により、推定動きベクトルの向きを反転させる補正とゼロベクトルを設定する補正の異なる補正処理を実行するが、推定動きベクトルの向きを反転させる補正を行ってから、再度ゼロベクトルを設定する補正を行う二段階の補正としてもよい。
【００６１】
以上のように、この発明の実施の形態３に係る復号装置および復号方法によれば、この発明の実施の形態１および実施の形態２に係る復号装置および復号方法と同様に、エラーを検出したスライス全体をコンシール範囲とし、コンシール範囲内を複数のマクロブロックからなるグループに分割し、動きが込み入った場所はサブグループに細分化し、エラーピクチャと時間的に近い、正常に復号されたピクチャの同位置マクロブロックの動きベクトルからコンシール範囲内のグループ／サブグループごとに推定動きベクトルを算出して、推定動きベクトルに応じた位置の画素を参照面から取得することで補正画像を生成してエラーコンシールメント処理を行うようにしているので、映像内の動きを維持した違和感の少ないコンシール画像を得ることができる。
【００６２】
また、この発明の実施の形態３に係る復号装置および復号方法によれば、この発明の実施の形態２に係る復号装置および復号方法と同様に、表示順が前方向の参照面を使用して得た推定動きベクトルが画面外の参照を示している場合、推定動きベクトル算出部２７ｃが後方向の参照面を使用するように変更し、動きベクトルも反対方向となるように補正することで、画面端のグループでも画像の欠落なしにコンシールを行うことができる。
【００６３】
また、この発明の実施の形態３に係る復号装置および復号方法によれば、シーンチェンジ検出部３０を備え、表示順が前方向の参照面を使用して得た推定動きベクトルが画面外の参照を示している場合に、後方向のＩ（イントラ符号化）ピクチャでシーンチェンジが起きているときには、エラーを含んだＰ（前方参照符号化）ピクチャの同位置画素データをそのまま利用するようにしたので、シーンチェンジにより相関のなくなっている画像を参照してコンシール画像を生成することを防ぐことができる。
【００６４】
実施の形態４．
先の実施の形態１では、推定動きベクトルを算出して補正画像を生成するようにしたものを説明した。次に、この実施の形態４では、算出された推定動きベクトルの再評価することにより補正要否を判定し、補正が必要な場合に推定動きベクトルを補正する実施の形態を示す。
【００６５】
図１２は、この発明の実施の形態４に係るエラーコンシールメント処理部を搭載している復号装置を示す構成図である。
【００６６】
図において、復号装置は、復号処理部１とエラーコンシールメント処理部２ｄから構成される。復号処理部１は、この発明の実施の形態１において図１で説明した復号処理部１と同様の機能を有し、動作するものであるため、その説明は省略する。また、エラーコンシールメント処理部２ｄを構成するフレームメモリ２１、符号化パラメータ蓄積部２２、コンシール管理部２３、コンシール範囲算出部２４、分割パターン格納部２５、コンシール範囲分割部２６、コンシール画像生成部２８は、この発明の実施の形態１において図１で説明したエラーコンシールメント処理部２ａ内部構成に付した同一符号の構成要素と同様の機能を有し、動作するものであるため、その説明は省略する。よって、推定動きベクトル算出部２７ｄと推定動きベクトル評価部３１について説明する。
【００６７】
推定動きベクトル算出部２７ｄは、この発明の実施の形態１において図１で説明した推定動きベクトル算出部２７ａと同様に推定動きベクトルを算出し、また推定動きベクトルの再評価することにより補正が必要な場合に推定動きベクトルを補正する。推定動きベクトル評価部３１は、推定動きベクトル算出部２７ｄが算出した推定動きベクトルについて、各分割グループの推定動きベクトルとその周囲の分割グループの推定動きベクトルの同調性を評価することにより補正要否を判定する。
【００６８】
図１３は、この発明の実施の形態２に係るエラーコンシールメント処理部を搭載している復号装置の動作の一例を示すフローチャートであり、図２に示したこの発明の実施の形態１に係るエラーコンシールメント処理部を搭載している復号装置の動作を示すフローチャートとの差分を示している。
【００６９】
図において、ステップＳＴ１０１からステップＳＴ１０５、およびステップＳＴ１０６（図示せず）は、図２に示したこの発明の実施の形態１に係る復号装置の動作を示すフローチャートと同様の処理を行う。ここでは、ステップＳＴ１０５とＳＴ１０６との間に次のステップＳＴ４０１からステップＳＴ４０３を追加する。
【００７０】
ステップＳＴ４０１で、推定動きベクトル評価部３１が、ステップＳＴ１０５で算出された推定動きベクトルにおける補正要否を評価する。ステップＳＴ４０２で、推定動きベクトルにおける補正要否を判定する。ステップＳＴ４０２において補正が必要ないと判定したとき、推定動きベクトルは補正せず、ステップＳＴ１０６に処理を進める。ステップＳＴ４０２において補正が必要であると判定したとき、ステップＳＴ４０３で、推定動きベクトルを補正する。その後、ステップＳＴ１０６で、コンシール画像生成部２８は、ステップＳＴ１０５で算出した推定動きベクトルまたはステップＳＴ４０３で補正された推定動きベクトルと、参照面情報に基づく参照面の画素データとから出力画像を生成する。なお、ステップＳＴ１０１で、コンシールＯＦＦであれば、ステップＳＴ１０６で、コンシール画像生成部２８は、コンシール画像を生成せず、正常に復号された画素データからなる画像を出力する。
【００７１】
次に、詳細な処理について説明する。復号処理部１で復号エラーを検出してから、コンシール範囲を算出し、コンシール範囲を分割し、推定動きベクトルを算出するところまでは実施の形態１で説明した処理と同様であるため、その説明は省略する。
【００７２】
推定動きベクトル評価部３１は、推定動きベクトル算出部２７ｄが各グループの推定動きベクトルを全て算出した後で、算出された推定動きベクトルの再評価を行い、補正が必要と判定された推定動きベクトルは補正して反映する。例えば、グループＡの周囲のグループの動きベクトルの差を算出し、算出した差が閾値以内に収まっていれば、グループＡは周囲と同様の動きをしていると判定し、グループＡの推定動きベクトルを周囲のグループの推定動きベクトルから算出したものに補正する。算出方法は、周囲のグループの推定動きベクトルの平均値、最頻値（モード）、中央値（メジアン）など方式は問わない。また、任意の重み付けで加重平均してもよい。
【００７３】
以上のように、この発明の実施の形態４に係る復号装置および復号方法によれば、この発明の実施の形態１に係る復号装置および復号方法と同様に、エラーを検出したスライス全体をコンシール範囲とし、コンシール範囲内を複数のマクロブロックからなるグループに分割し、動きが込み入った場所はサブグループに細分化し、エラーピクチャと時間的に近い、正常に復号されたピクチャの同位置マクロブロックの動きベクトルからコンシール範囲内のグループ／サブグループごとに推定動きベクトルを算出して、推定動きベクトルに応じた位置の画素を参照面から取得することで補正画像を生成してエラーコンシールメント処理を行うようにしているので、映像内の動きを維持した違和感の少ないコンシール画像を得ることができる。
【００７４】
また、この発明の実施の形態４に係る復号装置および復号方法によれば、各グループの推定動きベクトルを全て算出した後で、推定動きベクトル評価部３１により周囲のグループの推定動きベクトルと乖離していれば同調するよう補正するようにしたので、局部的に参照位置が異なるコンシール画像を生成することを防ぐことができる。
【００７５】
なお、この発明の実施の形態４に係る推定動きベクトル評価部３１は、この発明の実施の形態２または３に係る復号装置および復号方法により得られた推定動きベクトルの評価に適用して追加の補正処理をしてもよいし、また、当初の推定動きベクトルをまず評価して補正してからこの発明の実施の形態２または３に係る復号装置および復号方法によって補正してもよい。このように補正された推定動きベクトルに基づいてコンシール画像を生成するようにしても構わない。
【００７６】
実施の形態５．
図１４はこの発明の実施の形態５に係るエラーコンシールメント処理部を搭載している復号装置を示す構成図である。
【００７７】
図において、復号装置は、復号処理部１とエラーコンシールメント処理部２ｅから構成される。復号処理部１は、この発明の実施の形態１において図１で説明した復号処理部１と同様の機能を有し、動作するものであるため、その説明は省略する。また、エラーコンシールメント処理部２ｅを構成するフレームメモリ２１、符号化パラメータ蓄積部２２、コンシール管理部２３、コンシール範囲算出部２４、分割パターン格納部２５は、この発明の実施の形態１において図１で説明したエラーコンシールメント処理部２ａ内部構成に付した同一符号の構成要素と同様の機能を有し、動作するものであるため、その説明は省略する。よって、第１のコンシールメント処理実行部（第１のコンシール処理実行部）４１ａ、第２のコンシールメント処理実行部（第２のコンシール処理実行部）４１ｂ、コンシール結果判定部４２について説明する。
【００７８】
第１のコンシールメント処理実行部４１ａ、第２のコンシールメント処理実行部４１ｂは、コンシール範囲に対して、例えば実施の形態１から実施の形態４で説明した所定のコンシールメント処理方法のような異なるコンシールメント処理を行ってコンシール画像をそれぞれ出力する。コンシール結果判定部４２は、第１のコンシールメント処理実行部４１ａ、第２のコンシールメント処理実行部４１ｂのコンシールメント結果を復号画像と比較して、最も差分の小さいコンシールメント処理方法でコンシール画像を生成する。
【００７９】
次に、詳細な処理について説明する。復号処理部１で復号エラーを検出してから、コンシール範囲を算出し、コンシール範囲をグループおよびサブグループに分割するところまでは実施の形態１で説明した処理と同様であるため、その説明は省略する。
【００８０】
エラーコンシールメント処理部２ｅは複数のコンシールメント処理実行部（コンシール処理実行部）を備え、ここでは二つとするが、第１のコンシールメント処理実行部４１ａ、第２のコンシールメント処理実行部４１ｂは、実施の形態１から実施の形態４で説明した４つのコンシールメント処理方法のうち、２つの方法の一方により異なる第１、第２のコンシール画像を生成する。このとき、正常に復号できた１つまたは複数のスライスにも複数のコンシールメント処理方法を実行し、それぞれコンシール画像を得る。コンシール結果判定部４２は、正常に復号できたスライスに適用した第１、第２のコンシール画像と対応する正常に復号できたスライスとを比較し、最も差分が少なかったコンシールメント処理方法をエラースライスに適用してコンシール画像を生成する。
【００８１】
図１５は、この発明の実施の形態５に係る復号装置のコンシール画像の生成の一例の説明図である。
【００８２】
図において、ピクチャＡは正常に復号できたピクチャ、ピクチャＢは当初スライス２にエラーが含まれたピクチャ（Ｂ０とする）である。ここでは、ピクチャＡを参照面として第１、第２のコンシールメント処理方法を適用してコンシールされたピクチャＢ１、Ｂ２を生成する。ピクチャＢのエラーを含まないスライス１、３、４について、ピクチャＢ１、Ｂ２のスライス１、３、４とそれぞれ差分をとって比較評価する。ピクチャＢ０とＢ１の差分が、ピクチャＢ０とＢ２の差分より小さい場合、コンシールメント処理方法１を採用し、スライス２もコンシールメント処理方法１でコンシールして、最終的なコンシール画像とする。
【００８３】
なお、ピクチャＢのエラーを含まないスライス１、３、４について、ピクチャＢ１、Ｂ２のスライス１、３、４とそれぞれ差分をとって比較評価するものとして説明したが、ピクチャＢのエラーを含まないスライスすべてを評価に使用せず、一部のスライスのみ使用するようにしてもよく、例えばエラーを含んだスライスに対して隣接する直後のスライスや直前のスライスの一方または両方で判定する。同様に、同一ピクチャ内で離れた複数のスライスにエラーを含むとき、各エラースライスをその前後のスライスで判定し、ピクチャ全体で同一のコンシールメント処理方法でコンシールしなくてもよい。また、複数のスライスを評価に使用する場合、エラースライスとの位置関係から重みを付けて評価値を算出して判定しても構わない。
【００８４】
ここでは、この発明の実施の形態５に係る復号装置が二つのコンシールメント処理実行部を備えるものとして説明したが、三つ以上備えてコンシール画像を生成するようにしても構わない。なお、例えば、コンシールメント処理実行部がこの発明の実施の形態３を適用するとき、符号化パラメータ蓄積部２２からコンシールメント処理実行部内部に想定されるシーンチェンジ検出部３０へ省略されている結線を適宜追加するものとする。
【００８５】
また、複数のコンシールメント処理実行部を備えることで、この発明の実施の形態１から実施の形態４の各コンシールメント処理実行部の共通要素を共用する構成を、例えば図１４に示したが、冗長になってもコンシールメント処理実行部ごとに独立して備えるようにしても構わない。また、コンシールメント処理実行部には、この発明の実施の形態１から実施の形態４のコンシールメント処理方法の中から採用するだけでなく、その他のコンシールメント処理方法を適用しても構わない。
【００８６】
以上のように、この発明の実施の形態５に係る復号装置および復号方法によれば、正常に復号できたスライスに対して複数のコンシールメント処理方法を実行し、正常に復号された画像との差分を算出して最も差分の小さいコンシールメント処理方法を採用してコンシール画像を生成するようにしたので、現在の画像のコンシールに最も適したコンシールメント処理方法を選択してコンシール画像を生成することができる。
【００８７】
このように、この発明の実施の形態に係る復号装置および復号方法によれば、エラーを検出したスライス全体をコンシール範囲とし、コンシール範囲内を複数のマクロブロックからなるグループに分割し、動きが込み入った場所はサブグループに細分化し、エラーピクチャと時間的に近い、正常に復号されたピクチャの同位置マクロブロックの動きベクトルからコンシール範囲内のグループ／サブグループごとに推定動きベクトルを算出して、推定動きベクトルに応じた位置の画素を参照面から取得することで補正画像を生成してエラーコンシールメント処理を行うようにしているので、映像内の動きを維持した違和感の少ないコンシール画像を得ることができる。
【００８８】
なお、この発明の実施の形態における復号装置を復号処理部とエラーコンシールメント処理部に相当する装置として構成してもよい。例えば、図１に示したこの発明の実施の形態１に係る復号装置の一例を示す構成図における、符号化データを復号処理して復号後の画素データ、符号化パラメータおよび復号エラー情報を出力する復号処理部１が復号処理装置として提供される場合には、この復号処理装置が出力する画素データ、符号化パラメータ、復号エラー情報を入力として、正常な復号が行われたときにはその復号画像を出力し、エラーが発生したときにはこれらの入力を基に復号エラーにより乱れた映像を補正したコンシール画像を生成して出力するエラーコンシールメント処理部２ａをエラーコンシールメント処理装置として単独構成で提供することもできる。
【符号の説明】
【００８９】
１  復号処理部、２ａ、２ｂ、２ｃ、２ｄ、２ｅ  エラーコンシールメント処理部、２１  フレームメモリ、２２  符号化パラメータ蓄積部、２３  コンシール管理部、２４  コンシール範囲算出部、２５  分割パターン格納部、２６  コンシール範囲分割部、２７ａ、２７ｂ、２７ｃ、２７ｄ  推定動きベクトル算出部、２８  コンシール画像生成部、２９  画面外参照推定動きベクトル検出部、３０  シーンチェンジ検出部、３１  推定動きベクトル評価部、４１ａ  第１のコンシールメント処理実行部（第１のコンシール処理実行部）、４１ｂ  第２コンシールメント処理実行部（第２コンシール処理実行部）、４２  コンシール結果判定部。
【図１】
2014023138.tif 000003
【図２】
2014023138.tif 000004
【図３】
2014023138.tif 000005
【図４】
2014023138.tif 000006
【図５】
2014023138.tif 000007
【図６】
2014023138.tif 000008
【図７】
2014023138.tif 000009
【図８】
2014023138.tif 000010
【図９】
2014023138.tif 000011
【図１０】
2014023138.tif 000012
【図１１】
2014023138.tif 000013
【図１２】
2014023138.tif 000014
【図１３】
2014023138.tif 000015
【図１４】
2014023138.tif 000016
【図１５】
2014023138.tif 000017