(57)【要約】【課題】ＭＰＥＧなどの動画復号における誤り検出時の画像修復において、処理量やメモリ使用量の増加を最小限にし、より効果の高い画像修復処理を行う。【解決手段】マクロブロックの復号処理時に、特定マクロブロック位置記録部１３０に特定種類のマクロブロックの位置情報を記録し、その際に各種類のマクロブロックで決められた最大数以内に各種類のマクロブロックの位置情報の記録数を制限し、かつ新しい位置情報を残すように特定マクロブロック位置記録制御部１４０で制御する。マクロブロック復号処理時において、エラーと判定されたときに特定マクロブロック位置記録部１３０に記録された特定種類のマクロブロックの位置情報のうちで、エラーと判定されたマスクブロックの位置情報を基準として各種類のマクロブロックで決められた範囲内に位置する特定種類のマクロブロックの画像を特定マクロブロック修復部１６０により別の画像で上書きする。【選択図】図１
2009224961.tif 000002
【特許請求の範囲】
【請求項１】
符号化された動画入力ストリームを復号する動画復号装置であって、
前記動画入力ストリームを構成するマクロブロックを復号するマクロブロック復号部と、
前記マクロブロック復号部によるマクロブロックの復号処理時に、前記動画入力ストリームを構成する複数種類のマクロブロックのうちの特定種類のマクロブロックの位置情報を記録する特定マクロブロック位置記録部と、
前記特定マクロブロック位置記録部に記録する位置情報について、各種類のマクロブロックで決められた最大数以内に各種類のマクロブロックの位置情報の記録数を制限し、かつ新しい位置情報を残すように制御する特定マクロブロック位置記録制御部と、
前記マクロブロック復号部によるマクロブロック復号処理時において、前記動画入力ストリームの文法規則からエラーを判定するエラー判定部と、
前記エラー判定部でエラーと判定されたときに、前記特定マクロブロック位置記録部に記録された前記特定種類のマクロブロックの位置情報のうちで、エラーと判定されたマスクブロックの位置情報を基準として各種類のマクロブロックで決められた範囲内に位置する前記特定種類のマクロブロックの位置情報のみを通知する位置情報判別部と、
前記エラー判定部でエラーと判定されたときに、前記位置情報判別部から通知された位置情報に従って前記特定種類のマクロブロックの画像を別の画像で上書きする特定マクロブロック修復部とを備えた動画復号装置。
【請求項２】
前記別の画像が、時間的に直前に復号または表示した画像の同一マクロブロック位置の画像である請求項１記載の動画復号装置。
【請求項３】
動画データを受信する受信装置と、この受信装置により受信した動画データを復号する請求項１または２記載の動画復号装置と、前記動画データ復号装置によって復号した動画データを表示する表示装置部とを備えた携帯テレビ受像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ（Moving Picture Experts Group）動画像などの動画像を復号する動画復号装置に関するものである。特に、動画復号の誤りの修復に関するものである。
【背景技術】
【０００２】
近年、ＭＰＥＧ方式などの動画像符号化方式が、デジタルＴＶ（テレビ）やＤＶＤ（Digital Versatile Disc）など様々な方面で利用されている。例えば、ＭＰＥＧ方式では、過去に復号した画像を用いて現在の画像を復号する動き補償や、空間的な冗長性を除去するための離散コサイン変換により画像データを圧縮する。
【０００３】
ＭＰＥＧ４−ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ（ＭＰＥＧ４−ＡＶＣ）は、２００３年に新たに策定された動画符号化の規格である。ＭＰＥＧ４−ＡＶＣはＨ．２６４とも呼ばれ、携帯電話向けデジタルテレビであるワンセグの動画符号化規格などに採用されている。
【０００４】
携帯電話などのように、移動しながらワンセグ（１セグメント放送）を視聴する場合、受信電波の状況が悪い場合には、データを正しく受信できないことがある。正しくない動画像データを復号することにより、表示画像の乱れが発生することがある。これは、正しくないデータを、ＭＰＥＧ４−ＡＶＣの正しい文法規則に従って復号しようとした結果、誤った復号結果を表示してしまうことに起因する。
【０００５】
このような誤った復号結果を表示しないようにすることを誤り修復と呼ぶ。誤り修復の方法としては、動画復号装置が誤りを検出した場合に、１ピクチャ全体を表示しないようにする方法がある。
【０００６】
しかし、この方法では誤りを検出する前まで正しく復号できていた途中結果を表示に使用しないため、誤り検出が頻出すると、表示が静止したままになってしまうという問題がある。
【０００７】
そこで別の方法として、誤りを検出した場合に、誤り検出前までの途中の復号結果を表示に用いる方法がある。この場合、正しく復号できていた部分は表示されるため、表示が静止することが少なくなる。
【０００８】
ところが一方、誤りが混入した位置と誤りを検出した位置とが離れている場合、誤った情報を基に復号することになり、画質の劣化の原因となっていた。誤りが混入した位置と誤りを検出した位置とが離れたり近かったりするのは、誤ったデータが入力されていたとしても、動画符号の文法上誤りがなければ、誤りを検出できないからである。このような場合、誤ったデータを復号しているので、画像が乱れる原因となる。
【０００９】
このような、画質劣化を防ぐために、誤りを検出したときに、誤りを検出したピクチャ内でこれまでに復号した結果のうち、復号結果から誤りが混入している位置を予測し、画像を修整することにより、画質劣化を防ぐ方法がある。
【００１０】
この種の従来手法の例として特許文献１に示される方法がある。この例では、ＭＰＥＧ４−ＡＶＣに特有の非圧縮マクロブロック（Ｉ＿ＰＣＭマクロブロック）などに着目し、復号誤りを検出した場合、それまでの復号結果において非圧縮マクロブロックなどの位置を誤り推定位置とし、誤り推定位置を先頭として、以降の全てのマクロブロックの画像を修復している。
【特許文献１】特開２００６−２９５５６９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、従来手法では、誤り混入位置と誤り検出位置とが離れている場合に、修復処理にかかる処理量の増加が大きくなるという課題があった。最も悪い場合では、画像の復号結果を格納するためのメモリであるフレームメモリへのアクセスが約２倍に増加してしまう可能性がある。
【００１２】
なお、フレームメモリへのアクセスが増加するのは、以下のような理由があるからである。画像復号は基本的に画面上において左上から右下方向へと順番に復号される。復号は、１６画素×１６画素のマクロブロック（ＭＢ）と言われる単位で行われる。例えば、３２０画素×２４０画素の画像の場合、以下に示すような順番でマクロブロックが復号される。
【００１３】
1  2  3  4  5 ...  20
21 22 23 24 25 ...  40
......................
................   300
誤りがない場合は、１〜３００までの1フレームの復号結果がフレームメモリに格納される。例えば、誤り混入位置が1の位置のマクロブロックで、誤り検出位置が３００の位置のマクロブロックの場合、従来例では、
１〜３００までのマクロブロックを復号し、フレームメモリに結果を格納する（１フレーム分）
その後、誤り混入位置（１の位置）からエラー訂正画像をフレームメモリに格納する（１フレーム分）
となり、２フレーム分の格納を実施する可能性がある（最悪のケース）。
【００１４】
この場合、誤りがない場合と比較して約２倍のフレームメモリアクセスとなることになる。
【００１５】
また、誤りを検出する前の復号情報を記録しておく必要があり、最大で１ピクチャ分の復号情報を記録しておくためのメモリが必要であった。
【００１６】
携帯電話では特に処理量やメモリ使用量の制限が厳しく、このような処理量やメモリ使用量の増加が、コスト増加やシステム全体の性能劣化につながる可能性もある。
【００１７】
また、別の観点として、従来手法では誤り推定自体に誤りがあった場合について言及していない。複数の誤り推定手法に対して、誤り推定が正しい確率に差がある場合、誤り推定が正しい確率が低い方法においては、実際には正しく復号できていた画像を修復してしまうことになり、逆に修復を行うことが画質の劣化につながる。
【００１８】
ここで想定している「複数の誤り推定手法」というのは、本発明では、複数のマクロブロックの種類に該当している。
【００１９】
マクロブロック種類Ａ：誤り確率が非常に高い  (MPEG4-AVCではI-PCM)
マクロブロック種類Ｂ：誤り確率が高いが、Ａほどではない  (MPEG4-AVCではINTRA)
ここで、マクロブロック種類Ａを検出した位置を誤り混入位置にした場合は、確率が非常に高いので、画質劣化の可能性は非常に低い。ところが、マクロブロック種類Ｂを誤り混入位置とした場合は、誤りでない可能性もあり、誤りでない場合には、正しい画像を別の画像で上書きして、誤り訂正を行うので、結果として画質が劣化するということになる。
【００２０】
したがって、本発明の目的は、処理量やメモリ使用量の増加を最小限に抑えた状態で、誤り修復を行うことが可能な動画復号装置を提供することである。
【００２１】
また、本発明の他の目的は、誤り検出時に誤り修復を行う位置について、誤り推定が正しい確率を考慮して誤り修復する範囲を決定し、正しい復号画像を修復することによる画質劣化を抑制することができる動画復号装置を提供することである。
【課題を解決するための手段】
【００２２】
上記課題を解決するために、本発明の動画復号装置は、符号化された動画入力ストリームを復号するものであり、マクロブロック復号部と、特定マクロブロック位置記録部と、特定マクロブロック位置記録制御部と、エラー判定部と、位置情報判別部と、特定マクロブロック修復部とを備えている。
【００２３】
マクロブロック復号部は、動画入力ストリームを構成するマクロブロックを復号する。特定マクロブロック位置記録部は、マクロブロック復号部によるマクロブロックの復号処理時に、動画入力ストリームを構成する複数種類のマクロブロックのうちの特定種類のマクロブロックの位置情報を記録する。特定マクロブロック位置記録制御部は、特定マクロブロック位置記録部に記録する位置情報について、各種類のマクロブロックで決められた最大数以内に各種類のマクロブロックの位置情報の記録数を制限し、かつ新しい位置情報を残すように制御する。エラー判定部は、マクロブロック復号部によるマクロブロック復号処理時において、動画入力ストリームの文法規則からエラーを判定する。位置情報判別部は、エラー判定部でエラーと判定されたときに、特定マクロブロック位置記録部に記録された特定種類のマクロブロックの位置情報のうちで、エラーと判定されたマスクブロックの位置情報を基準として各種類のマクロブロックで決められた範囲内に位置する特定種類のマクロブロックの位置情報のみを通知する。特定マクロブロック修復部は、エラー判定部でエラーと判定されたときに、位置情報判別部から通知された位置情報に従って特定種類のマクロブロックの画像を別の画像で上書きする。
【００２４】
ここで、上記の別の画像は、時間的に直前に復号または表示した画像の同一マクロブロック位置の画像であることが好ましい。別の画像としては、特に制限はないが、画像の劣化を抑えるために置き換えているので、画質が置き換え前より劣化するような画像は使えないと考えられる。
【００２５】
また、エラーと判定されたマスクブロックの位置情報を基準として各種類のマクロブロックで決められた範囲内というのは、画面の一部を範囲内として設定するだけではなく、画面全体を範囲内として設定することもできる。
【００２６】
本発明の携帯テレビ受像システムは、動画データを受信する受信装置と、この受信装置により受信した動画データを復号する上記本発明の動画復号装置と、動画データ復号装置によって復号した動画データを表示する表示装置部とを備えている。
【発明の効果】
【００２７】
本発明の動画復号装置によれば、誤り検出位置より前に復号した画像の誤り修復において、マクロブロックの種類に応じた誤り確率や出現確率を考慮して、マクロブロックの種類ごとに修復する範囲と最大数を制御することにより、より少ないメモリ使用量や処理量増加で効果の高い画像修復を行う動画復号装置を提供することを可能とする。
【００２８】
また、本発明の携帯テレビ受像システムによれば、上記の動画復号装置と同様の効果を有する。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の一実施形態について、図面を参照しながら説明する。図１は、本発明における動画復号装置の構成を示す。
【００３０】
動画復号装置１００は、マクロブロック復号部１１０において、動画入力ストリーム１８０を外部から入力し、復号する。復号された画像はフレームメモリ１７０に格納する。なお、ＭＰＥＧ４−ＡＶＣなどの符号化データの復号方法についてはすでに既知であり本発明の主眼ではないので、詳細な動作説明は省略する。
【００３１】
エラー判定部１２０では、動画入力ストリーム１８０を符号化の文法規則に従って復号処理を行った結果、文法規則に適合していない符号誤りがあるかどうかを判定する。文法規則に適合していない符号誤りを発見した場合は、エラーありと判定し、画像の修復処理を行うための制御情報を生成する。
【００３２】
特定マクロブロック位置記録部１３０では、マクロブロック復号部１１０によるマクロブロックの復号処理時において、復号されたマクロブロックの種類（ＴＹＰＥ）に従い、動画入力ストリーム１８０を構成する複数種類のマクロブロックのうちの特定種類のマクロブロックの位置を位置記録メモリ１９０に記録する。
【００３３】
ここで、特定種類とは、符号誤りを検出したときに、それまでの復号結果に誤りが混入している可能性があるため、画像修復による画質改善が見込まれるマクロブロックの種類であることが望まれる。すなわち、誤り混入の可能性が高く、誤りによる画質劣化が大きいマクロブロックを意味する。
【００３４】
例えば、ＭＰＥＧでのマクロブロックは、その種類として、画面間予測を用いるＩＮＴＥＲマクロブロックと、画面間予測を用いないＩＮＴＲＡマクロブロックとに大別できる。誤り混入時の画質劣化の傾向として、ＩＮＴＲＡマクロブロックの方が、ＩＮＴＥＲマクロブロックより画質が劣化する傾向にある。ＭＰＥＧ４−ＡＶＣでは画面間予測を用いないマクロブロックとしてＩＮＴＲＡ予測マクロブロックと、非圧縮マクロブロック(Ｉ＿ＰＣＭマクロブロック）とがある。
【００３５】
画面上におけるマクロブロックの位置を表す例を図２に示す。左上のマクロブロックの位置を０とし、右側に順次１、２、と値が増加する。右端まで進むと、次のラインの左端に移動する。このようにして、マクロブロックの位置情報を構成する。なお、マクロブロックの位置情報は水平と垂直の位置を別々に記録する方法を用いることも可能である。
【００３６】
特定マクロブロック位置記録制御部１４０では、特定マクロブロック位置記録部１３０を制御し、位置記録メモリ１９０に格納するマクロブロックの種類と数を制御する。具体的には、特定マクロブロック位置記録部１３０に記録する位置情報について、各種類のマクロブロックで決められた最大数以内に各種類のマクロブロックの位置情報の記録数を制限し、かつ新しい位置情報を残すように制御する。
【００３７】
ここで、位置記録メモリ１９０と、特定マクロブロック位置記録制御部１４０の動作例について図３を用いて説明する。
【００３８】
図３（ａ）に示すように、位置記録メモリ１９０には、マクロブロックの種類として、例えば種類Ａと種類Ｂの２種類のマクロブロックに対する位置情報を記録する。記録する位置情報の最大数は種類ごとに別々に設定することが可能である。図３（ａ）の例では、種類Ａの最大数は５、種類Ｂの最大数は３である。各種類の位置情報の最大数については、出現確率、誤りである確率、誤りである場合の画質劣化度合い、さらには動画復号装置の処理性能も勘案して決定する。
【００３９】
ＭＰＥＧ４−ＡＶＣの例では、ＩＮＴＲＡ予測マクロブロックは出現確率が高いが誤りである確率はそれほど高くない。非圧縮マクロブロック（Ｉ＿ＰＣＭマクロブロック）は出現確率が低いが誤りである確率が非常に高い。さらに、非圧縮マクロブロック（Ｉ＿ＰＣＭマクロブロック）は誤りであった場合の画質劣化度合いがＩＮＴＲＡ予測マクロブロックよりも大きい。出現確率が高い場合には最大数を大きくする方がよい。また、誤りである確率、誤りである場合の画質劣化度合いが大きい場合には最大数を大きくする方がよい。さらに別の観点として、位置記録メモリ１９０の容量が大きくなると、キャッシュメモリのヒット率にも影響し、処理性能に影響してくる。そこで、ソフトウェア処理など処理性能に厳しい要求がある場合には、記録する位置情報の最大数を小さくし、処理性能の要求に比較的余裕がある場合には、最大数を大きくすることが望ましい。このように要求される処理性能に応じて、最も適した最大数を決定する。
【００４０】
次に、特定マクロブロック位置記録部１４０の動作例について説明する。記録した位置情報が最大数より少ない場合には、位置情報を位置記録メモリ１９０にそのまま格納していく。図３（ａ）では、４９という新しい位置情報を位置記録メモリ１９０の種類Ａの部分に格納する。図３（ｂ）では、種類Ａに関する５１という新しい位置情報を格納しようとしているが、最大数を超えるため、最も古い位置情報に上書きして格納する。このように、特定マクロブロック位置記録部１４０では、種類ごとに決められた最大数を超えた位置情報を格納しようとするときには、最も古い位置情報に対して上書きして格納するように制御し、各種類のマクロブロックで決められた最大数以内に各種類のマクロブロックの位置情報の記録数を制限し、かつ新しい位置情報を残すように制御する。なお、種類ごとに決められた最大数については、種類ごとに固定した値を使用する方法以外に、外部から指定された値を使う方法でも実現可能である。
【００４１】
次に、特定マクロブロック修復部１６０について説明する。特定マクロブロック修復部１６０は、エラー判定部１２０において、動画入力ストリーム１８０の符号誤りを検出したときに、エラー判定部１２０からの制御情報に基づき、位置記録メモリ１９０に記録された位置情報のうち、位置情報判別部１５０で修復すると判定されたマクロブロックの復号画像を、別の画像に置き換える。別の画像については、時間的に直前に復号または表示した画像の同一マクロブロック位置の画像で置き換えるなどの方法が考えられる。それ以外に別の画像としては、あらかじめ誤り訂正用に用意していた画像を置き換え用の別の画像として使うことが考えられる。また、誤りを検出した画像内で、正しく復号できたマクロブロックの画素を用いて置き換え用の画像を計算で求め、それを使用することも考えられる。
【００４２】
ここで、この実施の形態による画像の修復動作によると、メモリの容量が従来例に比べて削減できる理由について説明する。動画像符号化では、一般的に
画面内符号化
画面間符号化
という２種類の符号化を用いる。
【００４３】
画面間符号化とは、過去に復号した画像(参照画像)との差分を符号化することにより、画面内符号化より高い圧縮率を実現できる。MPEGでは通常、
画面内符号化のピクチャ：Iピクチャ
画面間符号化のピクチャ：Pピクチャ、Bピクチャ
というように両方を併用する。
【００４４】
従って、通常の画像復号においては、過去に復号した画像を「参照画像」として保持しているので、その「参照画像」を用いて誤り訂正を行うことができ、フレームメモリが新たに増加しないということになる。
【００４５】
また、置き換えに使用する画像としては、直前のフレームの画像が相関性が高いので好ましいが、何フレーム前の画像を置き換え画像として利用してもよい。
【００４６】
位置情報判別部１５０では、各種類のマクロブロックに応じてあらかじめ設定された画像修復範囲に含まれるマクロブロックのみ、修復すると判定する。この判定動作は、エラー判定部１２０がエラーを検出して制御情報を生成したときにのみ実行される。図４の例では、誤り検出位置が５５、種類Ａの画像修復範囲が１０である。このとき、画像修復を行う開始位置は
開始位置＝誤り検出位置−画像修復範囲＝５５−１０＝４５
となる。すなわち、位置記録メモリ１９０に格納された位置情報のうち、種類Ａに関しては４５以上のものを修復すると判定する。なお、誤り位置はエラー判定部１２０で検出することになる。
【００４７】
同様に、種類Ｂについては、画像修復範囲が５０であることから、
開始位置＝誤り検出位置−画像修復範囲＝５５−５０＝５
となる。すなわち、位置記録メモリ１９０に格納された位置情報のうち、種類Ｂに関しては５以上のものを修復すると判定する。
【００４８】
なお、修復範囲については、誤り確率が高いものは広く、低いものは狭くするというような観点から決めることが好ましい。出現確率が高いものは、範囲を広くすると、格納メモリが多く必要であるので、狭くすることも考えられる。
【００４９】
なお、マクロブロックの種類ごとに決められた画像修復範囲については、マクロブロックの種類ごとに固定した値を使用する方法以外に、外部から指定された値を使う方法でも実現可能である。また、画像修復範囲としては、画面の一部を設定するだけではなく、画面全体を設定することもできる。
【００５０】
次に、図５に本発明の動画復号装置１００を含む携帯テレビ受像システム５１０の例を示す。携帯テレビ受像システム５１０は、受信装置５２０において、符号化された動画データを含むテレビ信号を受信し、本発明で示した動画復号装置１００（図１）において、テレビ信号に含まれる符号化された動画データ（動画入力ストリーム）を復号し、復号された動画データを表示装置５３０において表示する。
【００５１】
なお、本発明で示した動画復号装置は、携帯テレビ受像システムのみならず、その他ビデオシステムなど動画復号を行うシステムで使用することが可能である。
【００５２】
以上、本発明の実施の形態によれば、符号化された動画入力ストリーム１８０を構成するマクロブロックを復号するマクロブロック復号部１１０と、マクロブロック復号部１１０によるマクロブロックの復号処理時に、動画入力ストリーム１８０を構成する複数種類のマクロブロックのうちの特定種類のマクロブロックの位置情報を記録する特定マクロブロック位置記録部１３０と、特定マクロブロック位置記録部１３０に記録する位置情報について、各種類のマクロブロックで決められた最大数以内に各種類のマクロブロックの位置情報の記録数を制限し、かつ新しい位置情報を残すように制御する特定マクロブロック位置記録制御部１４０と、マクロブロック復号部１１０によるマクロブロック復号処理時において、動画入力ストリーム１８０の文法規則からエラーを判定するエラー判定部１２０と、エラー判定部１２０でエラーと判定されたときに、特定マクロブロック位置記録部１３０に記録された特定種類のマクロブロックの位置情報のうちで、エラーと判定されたマスクブロックの位置情報を基準として各種類のマクロブロックで決められた範囲内に位置する特定種類のマクロブロックの位置情報のみを通知する位置情報判別部１５０と、位置情報判別部１５０から通知された位置情報に従って特定種類のマクロブロックの画像を別の画像で上書きする特定マクロブロック修復部１６０とを備えているので、マクロブロックの種類に応じた誤り確率や出現確率を考慮して、誤り検出位置より前に復号した画像の誤り修復において、マクロブロックの種類ごとに修復する範囲と最大数を制御することにより、より少ないメモリ使用量や処理量増加で効果の高い画像修復を行う動画復号装置を提供することを可能とする。
【００５３】
また、本発明の動画復号装置１００をテレビ受像システムに含むことにより、上記と同様の効果を持つテレビ受像システムを構築することが可能となる。
【００５４】
本発明は以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されることは言うまでもない。
【産業上の利用可能性】
【００５５】
本発明は、デジタルＴＶやＤＶＤなど、動画像符号化を用いた機器での利用に適している。特にＭＰＥＧ４−ＡＶＣ符号化方式を用いる機器での利用に適している。
【図面の簡単な説明】
【００５６】
【図１】本発明の動画復号装置の実施形態の構成例を示すブロック図である。
【図２】マクロブロックの位置を表す例を示す模式図である。
【図３】位置記録メモリの構成と動作例を示す模式図である。
【図４】誤り修復を行うマクロブロック位置の決定例を示す模式図である。
【図５】本発明の動画復号装置を含む携帯テレビ受像システムの実施形態の構成例を示す概略図である。
【符号の説明】
【００５７】
１００    画像復号装置
１１０    マクロブロック復号部
１２０    エラー判定部
１３０    特定マクロブロック位置記録部
１４０    特定マクロブロック位置記録制御部
１５０    位置情報判別部
１６０    特定マクロブロック修復部
１７０    フレームメモリ
１８０    動画入力ストリーム
１９０    位置記録メモリ
５１０    携帯テレビ受像システム
５２０    受信装置
５３０    表示装置
【図１】
2009224961.tif 000003
【図２】
2009224961.tif 000004
【図３】
2009224961.tif 000005
【図４】
2009224961.tif 000006
【図５】
2009224961.tif 000007