(57)【要約】【課題】階層化符号化データの復号・再生において，再生したい時刻の所望階層が伝送エラーにより復号できなかった場合でも，再生映像の品質劣化が目立たないようにする。【解決手段】まず，受信済みの復号信号や補間信号を記憶装置１５に保存しておく。再生したい時刻の所望階層が伝送エラーにより復号できなかった場合に，補間信号生成部１３は，記憶装置１５に保存しておいた復号信号や補間信号を，混合率設定部１２で設定された混合率で混合する混合関数に入力し，当該時刻で失われた所望階層の補間信号を擬似的に作り出す。再生映像出力部１４は，生成された補間信号を再生映像信号として出力する。【選択図】図２
2013102256.tif 000002
【特許請求の範囲】
【請求項１】
２つ以上の階層化された符号化データを受信し，受信した符号化データを復号して再生するシステムにおける伝送エラー隠蔽処理装置であって，
前記符号化データを階層ごとに復号して得られた復号信号を記憶する復号信号記憶手段と，
再生が必要な時刻の所望階層の復号信号が伝送エラーにより得られない場合に，前記復号信号記憶手段に記憶されている１つ以上の復号信号を読み込み，設定された混合率で混合する混合関数に，前記読み込んだ復号信号を入力して混合することにより混合信号を生成し，生成された混合信号を当該時刻において擬似的に作り出した所望階層の補間信号とする補間信号生成手段と，
前記補間信号を前記再生が必要な時刻の再生用の信号として出力する再生映像出力手段とを備える
ことを特徴とする伝送エラー隠蔽処理装置。
【請求項２】
請求項１記載の伝送エラー隠蔽処理装置において，
前記補間信号を記憶する補間信号記憶手段を備え，
前記補間信号生成手段は，前記補間信号記憶手段に記憶されている１つ以上の補間信号を読み込み，前記復号信号記憶手段から読み込んだ復号信号とともに，前記読み込んだ補間信号を前記混合関数に入力することにより，１つ以上の復号信号と１つ以上の混合信号とを混合して，前記所望階層の補間信号とする混合信号を生成する
ことを特徴とする伝送エラー隠蔽処理装置。
【請求項３】
請求項１または請求項２記載の伝送エラー隠蔽処理装置において，
前記混合率は，前記混合関数に入力する信号が前記再生が必要な時刻に近い信号ほど高い値，または前記所望階層に近い階層の信号ほど高い値，または映像品質の推定値が高い信号ほど高い値，または信号の時間的な画素値変化に応じた値として設定されたものである
ことを特徴とする伝送エラー隠蔽処理装置。
【請求項４】
請求項３記載の伝送エラー隠蔽処理装置において，
前記信号の時間的な画素値変化に応じた値として設定された混合率は，画面を分割した領域ごとに，動き量推定により当該領域が静止領域であるか動領域であるかを判定し，その判定結果に従って設定された値である
ことを特徴とする伝送エラー隠蔽処理装置。
【請求項５】
２つ以上の階層化された符号化データを受信し，受信した符号化データを復号して再生するシステムにおける伝送エラー隠蔽処理方法であって，
前記符号化データを階層ごとに復号して得られた復号信号を復号信号記憶手段に記憶するステップと，
再生が必要な時刻の所望階層の復号信号が伝送エラーにより得られない場合に，前記復号信号記憶手段に記憶されている１つ以上の復号信号を読み込み，設定された混合率で混合する混合関数に，前記読み込んだ復号信号を入力して混合することにより混合信号を生成し，生成された混合信号を当該時刻において擬似的に作り出した所望階層の補間信号とする補間信号生成ステップと，
前記補間信号を前記再生が必要な時刻の再生用の信号として出力する再生映像出力ステップとを有する
ことを特徴とする伝送エラー隠蔽処理方法。
【請求項６】
請求項５記載の伝送エラー隠蔽処理方法において，
前記補間信号を補間信号記憶手段に記憶するステップを有し，
前記補間信号生成ステップでは，前記補間信号記憶手段に記憶されている１つ以上の補間信号を読み込み，前記復号信号記憶手段から読み込んだ復号信号とともに，前記読み込んだ補間信号を前記混合関数に入力することにより，１つ以上の復号信号と１つ以上の混合信号とを混合して，前記所望階層の補間信号とする混合信号を生成する
ことを特徴とする伝送エラー隠蔽処理方法。
【請求項７】
請求項５または請求項６記載の伝送エラー隠蔽処理方法において，
前記混合率は，前記混合関数に入力する信号が前記再生が必要な時刻に近い信号ほど高い値，または前記所望階層に近い階層の信号ほど高い値，または映像品質の推定値が高い信号ほど高い値，または信号の時間的な画素値変化に応じた値として設定されたものである
ことを特徴とする伝送エラー隠蔽処理方法。
【請求項８】
請求項７記載の伝送エラー隠蔽処理方法において，
前記信号の時間的な画素値変化に応じた値として設定された混合率は，画面を分割した領域ごとに，動き量推定により当該領域が静止領域であるか動領域であるかを判定し，その判定結果に従って設定された値である
ことを特徴とする伝送エラー隠蔽処理方法。
【請求項９】
請求項５から請求項８までのいずれか１項に記載の伝送エラー隠蔽処理方法を，コンピュータに実行させるための伝送エラー隠蔽処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，２つ以上の階層化された符号化データを受信し，復号し，再生するシステムにおいて，伝送エラーが発生しても，できるだけ再生する映像の画像品質を劣化させないようにした伝送エラー隠蔽の技術に関する。
【背景技術】
【０００２】
パケット遅延やパケットロスといった伝送エラーの伴うネットワーク回線を用いて映像データのストリーミング再生を行うと，ブロックノイズの発生，再生の遅延，フレーム飛びといった映像品質劣化が発生する。この品質劣化を回避するために，通常，伝送エラー回復技術や伝送エラー隠蔽技術が用いられる。
【０００３】
伝送エラー回復技術は，あらかじめ本来の映像データに冗長データを付与し，その冗長データを用いて伝送エラーによりロスしたパケットの情報を回復する技術である。代表的なものに，前方誤り訂正技術（ＦＥＣ：Forward Error Correction）が挙げられる。
【０００４】
伝送エラー隠蔽技術は，伝送エラーによりパケットが欠落し，ＦＥＣなどを用いても回復できない場合や，伝送遅延により再生したいタイミングで映像ができ上がっていない場合などに，すでに受信済みの情報のみで極力高品質の再生映像を構成する技術である。例えば，特許文献１では，デコード画像データにエラーが発生した場合に，現に表示している画像をリピート表示することで伝送エラーを隠蔽している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１１９６９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
エラーが発生した際に，前述の特許文献１のようなリピート表示では，エラー発生区間における被写体の動きは十分に再現できない。
【０００７】
ところで，スケーラブル映像符号化技術は，伝送エラーに対する耐性が強い映像符号化技術として注目されている。スケーラブル映像符号化された映像ストリームは，低い映像品質の情報を保持する基本階層と高い映像品質の情報を保持する拡張階層から構成される。拡張階層のデータは，高い映像品質の映像を再生するために必要な基本階層からの差分情報である。階層性を有することから，伝送エラーに対して使用階層を柔軟に切り替えることができ，エラー隠蔽技術と非常に親和性が高い。
【０００８】
本発明はかかる事情に鑑みてなされたものであって，階層構造を有する映像ストリームが入力される場合において，当該時刻の所望階層が再生したいタイミングに復号されていない場合には，受信端末のフレームバッファに蓄えられている既に受信して復号できた復号信号と所定の方法により補間された補間信号等を所定の混合関数に入力して混合することにより，当該時刻の所望階層の信号を擬似的に生成し，その信号を最終的な再生用の映像信号として出力する伝送エラー隠蔽器の設計方法を確立することを目的とする。
【課題を解決するための手段】
【０００９】
本発明では，パケットロス，伝送遅延，復号処理遅延などにより，当該時刻において所望階層が再生したいタイミングに得られていない場合に，それまでに受信した復号信号やそれまでに生成した補間信号を用いて，当該時刻で失われた所望階層の補間信号を擬似的に作り出す。この補間信号とは，復号信号に対して高周波成分の復元のような高画質化処理を施した信号を指す。この補間信号が，最終的にビデオレンダラに渡り，当該時刻の再生用信号として再生される。なお，本発明において伝送エラーとは，ネットワークにおけるパケットロスなどのエラーに加えて，伝送遅延が発生した場合や復号が間に合わない場合も含むものとする。
【００１０】
本発明では，当該時刻の補間信号を作成するために，以下のような手順を踏む。まず，受信済みの復号信号や補間信号をフレームバッファなどのメモリ領域に保存しておく。蓄積しておく復号信号と補間信号の数，種類，時間範囲は，あらかじめ外部より設定する。そして，メモリ領域に保存した復号信号や補間信号等を所定の混合関数を用いて混合し，得られた混合信号を当該時刻において擬似的に作り出した所望階層の補間信号とみなす。混合関数の関数形式やその内部で用いる係数は，あらかじめ外部より設定する。
【００１１】
本発明の作用について説明する。本発明では，当該時刻で失われた所望階層の補間信号を擬似的に作り出すために，動きや画質の情報を参考にして適応的に周囲の復号信号を混合している。例えば，静止領域では所望階層と同じ階層の過去の信号ほど，欠落された信号に近い信号値を持つと考えられる。一方，動領域では当該時刻の下位階層の信号ほど，欠落された信号に近い信号値を持つと考えられる。そこで，混合する際に，動きの情報などを参考に欠落された信号に近い信号値を持つと推測される信号の混合率を高くすることで，映像の画像品質を高めることができる。
【００１２】
なお，それまでに生成した補間信号を用いないで，階層ごとに保存しておいた復号信号だけを混合関数に入力して所望階層の補間信号を生成することもでき，この場合にも従来技術よりも良好な結果が得られる。
【発明の効果】
【００１３】
本発明により，パケットロスや伝送遅延により所望フレームの所望階層が再生したいタイミングに復号されていない場合に，従来の技術と比較して最終的に再生する映像の画像品質を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態を説明するためのフレーム構造の例を示す図である。
【図２】本発明の一実施形態である伝送エラー隠蔽処理装置の構成例を示す図である。
【図３】本発明の一実施形態による伝送エラー隠蔽処理の流れを示す図である。
【図４】伝送エラー隠蔽処理における補間信号生成処理の流れを示す図である。
【図５】ソフトウェアプログラムにより実現するときのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１５】
本発明の一実施形態の説明にあたり，本実施形態の前提条件を以下に記す。入力される符号化データは，スケーラブル映像符号化により２階層以上に階層化されたデータとする。スケーラブル符号化の例としては，Ｈ．２６４／ＡＶＣの拡張（Annex Ｇ）規格であるＳＶＣ(Scalable Video Coding) が挙げられる。さらに，当該時刻において，再生したい所望階層が得られなかった場合を想定している。
【００１６】
したがって，本処理は所望階層が得られていないことを示す所望階層の欠落指示フラグを受けて開始される。この所望階層とは，最下位階層ではなく，いずれかの上位階層が設定されるものとする。復号を行う端末のメモリ領域には，所定の受信済みの復号信号および当該時刻までに生成された所定の補間信号が保存されているものとする。保存する復号信号と補間信号の数，種類，時間範囲はあらかじめ外部より与える。
【００１７】
例えば，当該時刻をＴとし，時刻Ｔ−ａから時刻Ｔまでの復号信号ｒｅｃと時刻Ｔ−ａから時刻Ｔ−１までの補間信号ｉｐｌをフレームバッファに保存しておいたとする。当該時刻Ｔにおける補間信号ｉｐｌ（Ｔ）の各画素は，次式のように生成される。
【００１８】
ｉｐｌ（Ｔ）＝ｆ（ｒｅｃ（Ｔ−ａ），ｒｅｃ（Ｔ−ａ＋１），…，ｒｅｃ（Ｔ−１），ｒｅｃ（Ｔ），ｉｐｌ（Ｔ−ａ），ｉｐｌ（Ｔ−ａ＋１），…，ｉｐｌ（Ｔ−１））
……  式(1) 
ここで，ｆ（ｓ）は，信号群ｓを入力して混合信号を生成する混合関数である。
【００１９】
なお，ここでは主に混合関数として生成済みの補間信号を用いる例について説明するが，生成済みの補間信号を用いない場合には，混合関数は次のようになる。
【００２０】
ｉｐｌ（Ｔ）＝ｆ（ｒｅｃ（Ｔ−ａ），ｒｅｃ（Ｔ−ａ＋１），…，ｒｅｃ（Ｔ−１），ｒｅｃ（Ｔ））                                                  ……  式(1')
また，前述の例は，当該時刻Ｔ以前の時刻Ｔ−ａから時刻Ｔまでの復号信号や補間信号を保存しているが，Ｈ．２６４／ＡＶＣのＢピクチャなどを用いる場合には，当該時刻Ｔよりも未来の復号信号を先に受信するため，必ずしも時間的に過去の信号のみが対象になるとは限らない。
【００２１】
図１を参照して，補間信号の生成処理の具体的な一例を説明する。当該時刻をＴ，再生したい所望階層をＬとする。本発明で生成する補間信号はｉｐｌ（Ｔ）である。ここで，空間スケーラブル符号化データを受信し，時刻Ｔ−２では階層Ｌまで，時刻Ｔ−１では階層Ｌ−２まで，時刻Ｔでは階層Ｌ−１までデータを欠落なく受信できたとする。また，時刻Ｔ−２では復号信号ｒｅｃ（Ｔ−２）をそのまま再生し，時刻Ｔ−１では補間信号ｉｐｌ（Ｔ−１）を再生したとする。補間信号ｉｐｌ（Ｔ−１）の生成方法は，本発明を適用してもよいし，その他の方法でもよい。その他の方法の一例としては，特許文献１に記載されている方法が挙げられる。
【００２２】
ＳＶＣの符号化データを処理する場合には，テクスチャ予測（ＩｎｔｒａＢＬモード）で利用されるアップサンプルフィルタを流用すると，実装コストが小さくて済む。フレームバッファには，過去２フレーム分の復号信号と補間信号が保存されているものとする。つまり，ｒｅｃ（Ｔ−２），ｒｅｃ（Ｔ−１），ｒｅｃ（Ｔ）と，ｉｐｌ（Ｔ−１）が保存されているものとする。
【００２３】
また，混合関数ｆ（ｓ）としては，入力された信号に対して線形の重み付けを行い，平均化する関数を用いるとする。重み付けを行うにあたり，復号信号とｒｅｃ（Ｔ−１）とｒｅｃ（Ｔ）の解像度は所望階層の解像度より小さいため，所望階層の解像度まで拡大を行う。拡大の方法の一例としては，４タップや６タップなどの線形フィルタを用いた拡大方法や，高周波成分を擬似的に再構成する超解像度処理が挙げられる。ここで，拡大信号をｕｐｓ（ｔ）とおき，拡大処理の関数系を
ｕｐｓ（ｔ）＝ｐ（ｒｅｃ（ｔ））
と表現する。
【００２４】
このとき，当該時刻Ｔの補間信号ｉｐｌ（Ｔ）の各画素は，
ｉｐｌ（Ｔ）＝ｗa ・ｒｅｃ（Ｔ−２）＋ｗb ・ｐ（ｒｅｃ（Ｔ−１））
＋ｗc ・ｐ（ｒｅｃ（Ｔ））＋ｗd ・ｉｐｌ（Ｔ−１）    …  式(2) 
として生成される。ここで，ｗは各信号の混合率を示しており，
ｗa ＋ｗb ＋ｗc ＋ｗd ＝１
である。空間的に同位置の画素値をそれぞれ重みを付けて混合する。
【００２５】
混合率ｗは，受信端末において設定ファイルを用いて外部から与えるか，またはアプリケーション内部に導出モジュールを設けて与えるかのいずれかの方法で導出する。また，フレームに１つの混合率を与えてもよいし，任意形状の画像領域ごとや各画素ごとに別個の混合率を与えてもよい。
【００２６】
混合率の与え方の例を以下に４つ記す。これら４つの方法の組み合わせによって混合率を設定してもよい。
【００２７】
＜混合率設定方法１：信号の時刻差に応じた設定＞
当該時刻と混合の対象とした復号信号または補間信号の時刻との差に応じた設定方法である。当該時刻により近い方が絵の構造が当該時刻の所望階層の信号が持つ構造に近くなるため，できるだけ当該時刻に近い信号の混合率を高く設定することが望ましい。
【００２８】
＜混合率設定方法２：信号の階層差に応じた設定＞
所望階層と混合の対象とした復号信号または補間信号の階層の差に応じた設定方法である。所望階層により近い信号の方がより高い周波成分を多く保存しているため，できるだけ所望階層に近い信号の混合率を高く設定することが望ましい。
【００２９】
＜混合率設定方法３：映像品質の推定値に応じた設定＞
映像品質の推定値に応じた混合率の設定方法が考えられる。映像の品質が推定できるとすると，できるだけ高い品質の信号の混合率を高く設定することが望ましい。量子化値やピクチャタイプから推定する方法が考えられる。
【００３０】
＜混合率設定方法４：信号の時間的な画素値変化に応じた設定＞
時間的な画素値変化に応じた混合率の設定方法が考えられる。空間的に同位置の画素位置を混合するため，オブジェクトの移動などによって時間的変化に従って画素値が異なる場合には，時間が異なる画素値の混合率を小さくし，当該時刻の復号信号の混合率を大きくする方が望ましい。また，反対に時間的変化に対して画素値が変化しない場合には，高周波成分が多く含まれる所望階層の復号信号または補間信号の混合率を大きくし，階層が所望階層から離れるほど小さく設定する方が望ましい。以上の要求を踏まえた設定方法が考えられる。画素位置ｘにおいて，時刻Ｔ−２から当該時刻Ｔに移る際に画素値変化が大きいか否か，また，時刻Ｔ−１から当該時刻Ｔに移る際に画素値変化が大きいか否かを推定する。
【００３１】
混合率設定方法４の時間的な画素値変化に応じた混合率の設定方法について，混合率の与え方の一例を示す。時刻Ｔ−２から当該時刻Ｔおよび時刻Ｔ−１から当該時刻Ｔへの画素値変化がともに大きいとみなされた画素においては，混合率を，
ｗa ＝ｗb ＝ｗd ＝０，ｗc ＝１
と設定し，補間信号を，
ｉｐｌ（Ｔ）＝ｐ（ｒｅｃ（Ｔ））              ……  式(3) 
として生成すればよい。
【００３２】
また，時刻Ｔ−２から当該時刻Ｔおよび時刻Ｔ−１から当該時刻Ｔへの画素値変化がともに小さいとみなされた画素においては，混合率を，
ｗa ＝ｗb ＝ｗc ＝ｗd ＝１／４
と設定し，補間信号を，
ｉｐｌ（Ｔ）＝（１／４）×｛ｒｅｃ（Ｔ−２）＋ｐ（ｒｅｃ（Ｔ−１））＋ｐ（ｒｅｃ（Ｔ））＋ｉｐｌ（Ｔ−１）｝                        ……  式(4) 
として生成すればよい。
【００３３】
時刻Ｔ−２から当該時刻Ｔへの画素値変化は大きいが，時刻Ｔ−１から当該時刻Ｔへの画素値変化が小さい場合には，混合率を，
ｗa ＝０，ｗb ＝ｗc ＝ｗd ＝１／３
と設定し，補間信号を，                                                            ｉｐｌ（Ｔ）＝（１／３）×｛ｐ（ｒｅｃ（Ｔ−１））＋ｐ（ｒｅｃ（Ｔ））＋ｉｐｌ（Ｔ−１）｝                                          ……  式(5) 
として生成すればよい。
【００３４】
画素値変化の大小の推定方法としては，例えば，時刻Ｔ−２から当該時刻Ｔへの動き量推定を行い，動領域と判定された領域内の画素については画素値変化が大きいとみなし，静止領域と判定された領域内の画素については画素値変化が小さいとみなす方法が考えられる。補間信号のそれぞれごとに異なる混合率設定方法を用いてもよい。
【００３５】
時刻Ｔ−２から当該時刻Ｔへの動き量推定を行う方法の例を以下に５つ記す。つまり，当該画素において，静止領域と動領域のどちらに属しているかを判定する。メモリ領域内の復号信号・拡大信号・補間信号や，受信した動きベクトルや予測モードなどの符号化情報を読み込み，静止領域と動領域の判定を行い，その判定結果を出力する。これらは，時刻Ｔ−２から当該時刻Ｔへの動き量推定の例であり，静止領域と動領域の２つのカテゴリに分割しているが，カテゴリの数は３つ以上あってもよい。また，補間信号のそれぞれごとに異なる動き量推定方法を用いてもよい。
【００３６】
＜動き量推定方法１＞
動き量推定方法１は，時刻Ｔ−２の復号信号の縮小信号と当該時刻Ｔの復号信号の差分値に応じた動き量を推定する方法である。
【００３７】
当該画素が静止領域・動領域のどちらに属するかを，以下のようにして判定する。時刻Ｔ−２の復号信号ｒｅｃ（Ｔ−２）を当該時刻Ｔの復号信号が持つ解像度にまで縮小し，空間的に同位置の画素同士で画素値の差分をとる。復号信号ｒｅｃ（Ｔ−２）の縮小信号を，ｄｗｓ（Ｔ−２）と表現する。
【００３８】
静止領域：｜ｒｅｃ（Ｔ）−ｄｗｓ（Ｔ−２）｜≦Ｅ1         ……  式(6) 
動領域  ：Ｅ1 ＜｜ｒｅｃ（Ｔ）−ｄｗｓ（Ｔ−２）｜        ……  式(7) 
ここで，Ｅ1 は，静止領域・動領域を分ける差分信号値の閾値であり，外部関数より与えられるものとする。例えばｒｅｃ（Ｔ−２）の解像度が１９２０×１０８０，ｒｅｃ（Ｔ）の解像度が９６０×５４０であったとすると，上記の判定は，９６０×５４０の画素一つずつについて行うこととなり，その判定結果は，１９２０×１０８０の空間的同位置の４画素の判定結果としてみなされる。
【００３９】
＜動き量推定方法２＞
動き量推定方法２は，時刻Ｔ−２の復号信号と当該時刻Ｔの拡大信号の差分値に応じた動き量を推定する方法である。
【００４０】
当該画素が静止領域・動領域のどちらに属するかを，以下のようにして判定する。空間的に同位置の画素同士で画素値の差分をとる。当該時刻Ｔの拡大信号をｕｐｓ（Ｔ）と表現する。
【００４１】
静止領域：｜ｕｐｓ（Ｔ）−ｒｅｃ（Ｔ−２）｜≦Ｅ2         ……  式(8) 
動領域  ：Ｅ2 ＜｜ｕｐｓ（Ｔ）−ｒｅｃ（Ｔ−２）｜        ……  式(9) 
ここで，Ｅ2 は，静止領域・動領域を分ける差分信号値の閾値であり，外部関数より与えられるものとする。
【００４２】
＜動き量推定方法３＞
動き量推定方法３は，当該時刻Ｔの復号信号ｒｅｃ（Ｔ）の生成に用いた動きベクトルのノルムに応じた動き量を推定する方法である。
【００４３】
当該時刻Ｔの復号信号ｒｅｃ（Ｔ）の生成に用いたあるマクロブロック（１６×１６画素領域）の動きベクトルのノルムをｎとおく。この動きベクトルは，時刻Ｔ−２から当該時刻Ｔへの動きベクトルであるとする。このとき，当該画素が属するマクロブロックが静止領域・動領域のどちらに属するかを，以下のようにして判定する。
【００４４】
静止領域：  ｎ≦Ｎ                      ……  式(10)
動領域  ：  Ｎ＜ｎ                      ……  式(11)
ここで，Ｎは，静止領域・動領域を分ける動きベクトルノルムの閾値であり，外部関数より与えられるものとする。ノルムの例としては，ユークリッド距離などが挙げられる。
【００４５】
＜動き量推定方法４＞
動き量推定方法４は，当該時刻Ｔの復号信号ｒｅｃ（Ｔ）の生成に用いた予測モードの種類に応じた動き量を推定する方法である。
【００４６】
当該時刻Ｔの復号信号ｒｅｃ（Ｔ）の生成に用いたあるマクロブロックの予測モードをｍとおく。符号化データはＳＶＣに準拠するものとする。このとき，当該画素が属するマクロブロックが静止領域・動領域のどちらに属するかを，以下のようにして判定する。
【００４７】
静止領域：  ｍ＝＝“ｓｋｉｐ”                  ……  式(12)
動領域  ：  ｍ！＝＝“ｓｋｉｐ”                ……  式(13)
“ｓｋｉｐ”は，ＳＶＣにおけるｓｋｉｐモードを指している。判定の対象となるモードは，ｓｋｉｐモード以外の別のモードでもよく，外部関数より与えられるものとする。
【００４８】
＜動き量推定方法５＞
動き量推定方法５は，当該時刻Ｔの復号信号ｒｅｃ（Ｔ）の生成に用いた予測残差信号の大きさに応じた動き量を推定する方法である。
【００４９】
当該時刻Ｔの復号信号ｒｅｃ（Ｔ）の生成に用いた予測残差信号の信号値をｒとおく。このとき，当該画素が静止領域・動領域のどちらに属するかを，以下のようにして判定する。
【００５０】
静止領域：  ｜ｒ｜≦Ｒ                          ……  式(14)
動領域  ：  Ｒ＜｜ｒ｜                          ……  式(15)
ここで，Ｒは，静止領域・動領域を分ける予測残差信号の閾値であり，外部関数より与えられるものとする。ｒは，空間的に当該画素位置と同じ場所の予測残差信号の信号値をそのまま用いてもよいし，当該画素が属する画像領域（例えば，マクロブロック）内の分散値，平均値，最大値，中間値などでもよい。
【００５１】
ＳＶＣの符号化データの場合には，量子化係数がすべて０か否かを示すＣＢＰ（Codec Block Pattern ）というフラグがある。予測残差信号の信号値の代わりに，このフラグの値が０か１かに応じて動き量のクラスを分けてもよい。
【００５２】
これら５つの動き量推定の方法のいくつかを，多段につなげてもよい。例えば，動きベクトルノルムの値に応じた動き量推定を行い，動きの大きい領域と小さい領域に分割し，さらに，この動きの小さい領域に対して信号差分値に応じた動き量推定を行い，静止領域と動領域に再分割してもよい。
【００５３】
また，これらの判定により導出された判定結果を補正してもよい。例えば，ある画素または１画素以上の画像領域が動領域と判定されたものの，その周囲の画素または画像領域がすべて静止領域と判定された場合，対象となっている画素または画像領域は誤判定である可能性が高い。誤判定である場合，その画素または画像領域は孤立点として表れ，画質劣化を招く。そこで，この場合，対象画素または対象画像領域は誤判定とみなし，静止領域として判定結果を修正する。つまり，対象画素または対象画像領域の周囲の判定結果が自分の判定結果と大きく異なる場合には，判定結果を修正することで，推定精度を向上できる。
【００５４】
［伝送エラー処理装置］
以降で説明する実施形態では，混合率の設定方法として「混合率設定方法４：信号の時間的な画素値変化に応じた設定」を適用し，かつ，「動き量推定方法１：時刻Ｔ−２の復号信号の縮小信号と当該時刻Ｔの復号信号の差分値に応じた動き量推定」によって時間的な画素値変化を推定するものとする。動き量の推定は，１画素以上の画像領域に分割して実施するものとする。なお，他の混合率設定方法もしくは他の動き量推定方法を用いた場合にも，以下の説明から明らかなように，同様に本発明を実施することができる。
【００５５】
本発明の一実施形態である伝送エラー隠蔽処理装置の構成例を図２に示す。図２において，１０は伝送エラー隠蔽処理装置，２０は符号化ストリームのパケットを受信する受信装置，３０は符号化ストリームを復号して再生映像信号（単に再生信号ともいう）を出力する復号装置を表す。
【００５６】
受信装置２０は，スケーラブル映像符号化により符号化された符号化ストリームを受信する装置である。受信装置２０での符号化ストリームの受信は，従来技術の受信装置とまったく同様でよい。ただし，何らかの伝送エラーがあり，処理対象フレームのある階層化された符号化データの受信が欠落すると，その欠落を示す欠落指示信号が伝送エラー隠蔽処理装置１０に送られる。復号装置３０が欠落指示信号を生成するようにしてもよい。
【００５７】
また，復号装置３０も，従来のスケーラブル映像復号を行う装置とまったく同様である。ただし，従来と異なるのは，復号結果の再生映像信号を出力するだけでなく，可変長復号部３１で復号された受信済み符号化情報を，スケーラブル復号部３２だけでなく，伝送エラー隠蔽処理装置１０にも出力することと，各階層の復号信号を伝送エラー隠蔽処理装置１０に対して出力することである。
【００５８】
なお，図２では，説明を分かりやすくするために，伝送エラー隠蔽処理装置１０と復号装置３０とを別装置として表しているが，伝送エラー隠蔽処理装置１０が復号装置３０の一部として，復号装置３０に内蔵されるものであってもよい。
【００５９】
記憶装置１５には，フレームバッファとして，既に復号装置３０によって復号された復号信号を記憶する復号信号記憶部１５１や，以前に生成された混合信号を記憶する補間信号記憶部１５２が設けられている。また，記憶装置１５のメモリ領域には，受信済み符号化情報として，動きベクトル，予測モード，予測残差信号，ＣＢＰなどの情報が復号装置３０から入力されて格納されており，また，動き量推定用閾値やフレーム混合率が外部の設定部４０からあらかじめ設定されて記憶されている。
【００６０】
伝送エラー隠蔽処理装置１０が受信装置２０から処理対象フレームの欠落指示信号を受信すると，静止領域・動領域判定部１１は，再生対象となっている画素（群）について，動き量推定を行い，静止領域と動領域のどちらに属しているかを判定する。記憶装置１５内の復号信号・拡大信号・補間信号や，受信した動きベクトルや予測モードなどの符号化情報をメモリ領域から読み込み，静止領域と動領域の判定を行い，その判定結果を記憶装置１５に格納する。
【００６１】
混合率設定部１２は，記憶装置１５から静止領域・動領域の判定結果と各判定に対する混合率の値を読み込み，当該画素における各復号信号・拡大信号・補間信号の混合率として設定する。設定が完了すれば，補間信号生成部１３の処理に移る。
【００６２】
補間信号生成部１３は，混合率設定部１２が設定した各復号信号・拡大信号・補間信号の混合率を読み込み，記憶装置１５から当該画素と空間的に同位置の各復号信号・拡大信号・補間信号の値を読み込み，読み込んだ混合率に従って各復号信号・拡大信号・補間信号の値を混合し，当該時刻の補間信号を生成する。混合信号は記憶装置１５の補間信号記憶部１５２に出力する。出力が完了すれば，再生映像出力部１４の処理に移る。
【００６３】
再生映像出力部１４は，記憶装置１５の補間信号記憶部１５２から当該時刻の補間信号を読み込み，再生タイミングにおいてビデオレンダラに再生映像信号として出力する。
【００６４】
［処理の流れ］
伝送エラー隠蔽処理装置１０が実行する処理の流れについて，図３，図４を参照して詳しく説明する。図３は，全体の処理の流れを示し，図４は，図３における補間信号生成処理Ｓ１２の具体的な処理の流れを示している。
【００６５】
ＳＶＣに準拠した空間スケーラビリティを持つ符号化ストリームを受信する。ただし，ここで，拡張階層は伝送エラーにより欠落する可能性があり，一方，基本階層は欠落していないものとする。この実施形態の具体例として，所望時刻Ｔにて復号できた階層の中で最も上位の階層（以下，最上位階層という）の復号信号ｒｅｃ（Ｔ）と，所望階層まで復号できた中で直近の時刻のフレームの復号信号ｒｅｃ（Ｔ−２）とを利用して，所望の補間信号ｉｐｌ（Ｔ）を生成する場合の処理の流れを説明する。
【００６６】
また，混合率の設定方法として「混合率設定方法４：信号の時間的な画素値変化に応じた設定」を適用し，かつ，「動き量推定方法１：時刻Ｔ−２の復号信号の縮小信号と当該時刻Ｔの復号信号の差分値に応じた動き量推定」によって時間的な画素値変化を推定する場合について説明する。動き量の推定は，１画素以上の画像領域に分割して実施するものとする。以降は，所望時刻Ｔにおけるフレームの補間信号の生成フローである。
【００６７】
〔ステップＳ１０：画像領域分割処理〕
画像領域分割処理では，所望階層の補間信号出力用のフレームバッファを入力し，あらかじめ決められた１画素以上の複数の画像領域にフレームバッファを分割する。あらかじめ決められた１画素以上の複数の画像領域とは，例えばマクロブロック（１６×１６画素）などが考えられるが，これに限られない。この処理による出力は，分割されたフレームバッファと分割情報である。
【００６８】
〔ステップＳ１１−Ｓ１３：各画像領域における補間信号生成処理ループ〕
所望階層のフレームの各画像領域について，ステップＳ１２の補間信号生成処理を実施する。すべての画像領域に対する補間信号生成処理が完了するまで繰り返す。
【００６９】
〔ステップＳ１２：補間信号生成処理〕
補間信号生成処理での入力は，所望時刻Ｔにて復号できた最上位階層の復号信号ｒｅｃ（Ｔ），所望階層まで復号できた中で直近の時刻のフレームの復号信号ｒｅｃ（Ｔ−２），静止領域・動領域判定用閾値，静止領域・動領域に対する混合率，信号の混合式，当該画像領域のインデクスなどの記憶装置１５に記憶されているデータである。出力は，当該画像領域に対する補間信号ｉｐｌ（Ｔ）である。
【００７０】
ここでは，静止領域・動領域判定部１１が，処理対象となっている当該画像領域について，所望時刻Ｔにて復号できた最上位階層の復号信号ｒｅｃ（Ｔ）および所望階層まで復号できた中で直近の時刻のフレームの復号信号ｒｅｃ（Ｔ−２）を用いて静止領域か動領域かを判定する。その判定結果をもとに，混合率設定部１２が混合率を設定し，補間信号生成部１３が，復号信号ｒｅｃ（Ｔ）と，復号信号ｒｅｃ（Ｔ−２）の信号値を，混合率に従って混合し，その混合信号を当該画像領域に対する補間信号ｉｐｌ（Ｔ）として，補間信号記憶部１５２に出力する。
【００７１】
以上の図３に示すステップＳ１２の補間信号生成処理の詳細を，図４に従って説明する。
【００７２】
〔ステップＳ２０：縮小信号生成処理〕
静止領域・動領域判定部１１が最初に行う縮小信号生成処理の入力は，所望階層まで復号できた中で直近の時刻のフレームの復号信号ｒｅｃ（Ｔ−２），各階層の解像度情報である。ここでは，時刻Ｔ−２の復号信号ｒｅｃ（Ｔ−２）を，所望時刻Ｔにて復号できた最上位階層の復号信号ｒｅｃ（Ｔ）の解像度にまで縮小する処理を行う。例えば，（１９２０×１０８０）／（９６０×５４０）の空間スケーラビリティを持ち，拡張階層のある１６×１６画素を当該画像領域とすると，縮小画像領域は同じ空間位置の８×８画素の領域となる。この処理での出力は，復号信号ｒｅｃ（Ｔ−２）の縮小信号ｄｗｓ（Ｔ−２）である。
【００７３】
〔ステップＳ２１：差分絶対値計算処理〕
静止領域・動領域判定部１１が次に行う差分絶対値計算処理の入力は，復号信号ｒｅｃ（Ｔ−２）の縮小信号ｄｗｓ（Ｔ−２）と復号信号ｒｅｃ（Ｔ）である。ここでは，縮小信号ｄｗｓ（Ｔ−２）と復号信号ｒｅｃ（Ｔ）との間で空間的に同位置の画素同士で画素値の差分をとる。そして，当該縮小画像領域における前記差分の絶対値の合計を計算する。前述の例の場合，縮小画像領域８×８画素の中の差分絶対値の合計Ｅを計算する。差分絶対値計算処理の出力は，当該縮小画像領域内の差分絶対値の合計Ｅである。
【００７４】
〔ステップＳ２２：静止領域・動領域判定処理〕
静止領域・動領域判定処理では，当該縮小画像内の差分絶対値の合計Ｅと，静止領域・動領域の判定のための閾値Ｅ1 を入力する。この閾値Ｅ1 は，あらかじめ外部関数などの設定部４０によって与えられた静止領域・動領域を分ける差分信号値の閾値であり，記憶装置１５内に記憶されている値である。これらの入力をもとに，静止領域・動領域判定部１１は，差分絶対値の合計Ｅが静止領域・動領域の判定のための閾値Ｅ1 より大きいかどうかを判定する。閾値以下であれば，その縮小画像領域に空間的に対応する当該画像領域を静止領域とみなす。閾値より大きければ動領域とみなす。つまり，下記のような判定を実施する。
【００７５】
静止領域：  Ｅ≦Ｅ1                             ……  式(16)
動領域  ：  Ｅ1 ＜Ｅ                            ……  式(17)
前述の例の場合，縮小画像領域８×８画素の判定結果が，当該画像領域１６×１６画素の判定結果とみなされる。この処理の出力は，当該画像領域内の静止領域・動領域判定結果である。
【００７６】
〔ステップＳ２３−Ｓ２５：判定結果の修正処理〕
静止領域・動領域判定部１１は，さらに前記判定結果を入力し，当該画像領域が静止領域であるかを判定する。当該画像領域が静止領域であれば，周囲の多くの画像領域が動領域であるかを判定し，そうであれば，ステップＳ２７へ進む。そうでなければ，ステップＳ２６へ進む。また，当該画像領域が静止領域でなければ，周囲の多くの画像領域が静止領域であるかを判定する。そうであれば，ステップＳ２６へ進む。そうでなければ，ステップＳ２７へ進む。これにより，周囲の画像領域の多くが当該画像領域と異なる判定結果であった場合に，当該画像領域の判定結果を周囲の画像領域の判定結果へと修正する。
【００７７】
〔ステップＳ２６：静止領域に対する混合率設定〕
混合率設定部１２は，静止領域に対する混合率を記憶装置１５から読み込み，レジスタにその値をセットする。その後，ステップＳ２８へ進む。
【００７８】
〔ステップＳ２７：動領域に対する混合率設定〕
混合率設定部１２は，動領域に対する混合率を記憶装置１５から読み込み，レジスタにその値をセットする。その後，ステップＳ２８へ進む。
【００７９】
〔ステップＳ２８：補間信号生成処理〕
補間信号生成部１３は，所望時刻Ｔにて復号できた最上位階層の復号信号ｒｅｃ（Ｔ），所望階層まで復号できた中で直近の時刻のフレームの復号信号ｒｅｃ（Ｔ−２），静止領域・動領域に対する混合率，信号の混合式を入力し，これから次のように当該画像領域における補間信号を生成する。まず，復号信号ｒｅｃ（Ｔ−２）を復号信号ｒｅｃ（Ｔ）の解像度まで拡大する。次に，復号信号ｒｅｃ（Ｔ−２）と復号信号ｒｅｃ（Ｔ）の拡大信号ｐ（ｒｅｃ（Ｔ））とを，レジスタにセットされた混合率で混合する。ただし，ここで信号の混合式は線形の重み付け和とし，混合率はその線形の重み付け係数とする。混合率をｗa とｗc とするとき，復号信号ｒｅｃ（Ｔ−２）と拡大信号ｐ（ｒｅｃ（Ｔ））の補間信号の生成は，次式の
ｉｐｌ（Ｔ）＝ｗa ・ｒｅｃ（Ｔ−２）＋ｗc ・ｐ（ｒｅｃ（Ｔ））  ……  式(18)
に従う。
【００８０】
本発明では，時刻ごとに補間信号の生成手段を変えてよい。例えば，ｉｐｌ（Ｔ−１）には，映像品質の推定値に応じた混合率の設定方法を適用し，ｉｐｌ（Ｔ）には，時間的な画素値変化に応じた混合率の設定方法を適用してもよい。超解像度技術などの従来技術と本発明を時刻ごとに変えてもよい。
【００８１】
また，本発明では，混合関数の形式は前述のような線形の重み付け平均ではなく，非線形の任意の関数形をとってもよい。複数の信号値の中間値や，重み付けされた信号の中間値を出力するような関数形であってもよい。
【００８２】
また，この処理例では，随時，画像領域ごとに静止領域と動領域の判定を行ってから補間処理を実施しているが，１フレームの全画素に対して静止領域と動領域の判定処理を行ってから，各画素において補間処理を行ってもよい。
【００８３】
以上の伝送エラー隠蔽の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００８４】
図５は，伝送エラー隠蔽処理装置をソフトウェアプログラムを用いて実現するときのハードウェア構成例を示している。
【００８５】
本システムは，プログラムを実行するＣＰＵ５０と，ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と，ネットワークを介して符号化ストリームを受信する符号化ストリーム受信部５２と，ＣＰＵ５０に実行させるプログラムを記憶するプログラム記憶装置５３と，再生映像信号を出力する映像再生部５４とが，バスで接続された構成になっている。
【００８６】
プログラム記憶装置５３には，符号化ストリーム受信部５２が受信した階層化された符号化データの符号化ストリームを復号する復号処理プログラム５３１と，処理対象フレームに伝送エラーがあった場合に，上述した伝送エラー隠蔽の処理をＣＰＵ５０に実行させるための伝送エラー隠蔽処理プログラム５３２とが格納されている。
【００８７】
ＣＰＵ５０は，これらの復号処理プログラム５３１および伝送エラー隠蔽処理プログラム５３２をメモリ５１にロードして実行することにより，パケットロスや伝送遅延により所望フレームの所望階層が再生したいタイミングに復号されていない場合にも，最終的に再生する映像の画像品質の劣化を目立たなくさせることを実現する。
【符号の説明】
【００８８】
１０  伝送エラー隠蔽処理装置
１１  静止領域・動領域判定部
１２  混合率設定部
１３  補間信号生成部
１４  再生映像出力部
１５  記憶装置
１５１  復号信号記憶部
１５２  補間信号記憶部
２０  受信装置
３０  復号装置
３１  可変長復号部
３２  スケーラブル復号部
４０  設定部
【図１】
2013102256.tif 000003
【図２】
2013102256.tif 000004
【図３】
2013102256.tif 000005
【図４】
2013102256.tif 000006
【図５】
2013102256.tif 000007