(57)【要約】【課題】従来の方法では、画像が遅れて表示されるたり、異常な画像が出力されたりする。【解決手段】動画像復号方法は、ひとつのピクチャの総ブロック数以下である第１のブロック数を設定するステップ（Ｓ２０１）と、ピクチャ復号時刻において、復号完了ブロック数を第２のブロック数として計測するステップ（Ｓ２０５）と、ピクチャ復号時刻において、復号未完ブロックの画素を既に復号したピクチャの画素を用いて補間するステップ（Ｓ２０７）と、第２のブロック数が、第１のブロック数以上の場合には、復号未完ブロックの画素を既に復号したピクチャの画素を用いて補間したピクチャを出力するよう制御するステップ（Ｓ２０９）と、を含む。【選択図】図２
2011146790.tif 000002
【特許請求の範囲】
【請求項１】
動画像の各ピクチャをブロック分割してピクチャ内符号化、もしくは、ピクチャ間符号化されたピクチャ符号を復号して動画像を出力する動画像復号装置において、
ひとつのピクチャの総ブロック数以下である第１のブロック数を設定する手段と、
ピクチャ復号時刻において、復号完了ブロック数を第２のブロック数として計測する手段と、
ピクチャ復号時刻において、復号未完ブロックの画素を既に復号したピクチャの画素を用いて補間する手段と、
第２のブロック数が、第１のブロック数以上の場合には、復号未完ブロックの画素を既に復号したピクチャの画素を用いて補間したピクチャを出力するよう制御する手段と、
を備えることを特徴とする動画像復号装置。
【請求項２】
動画像の各ピクチャをブロック分割してピクチャ内符号化、もしくは、ピクチャ間符号化されたピクチャ符号を復号して動画像を出力する動画像復号方法であって、
ひとつのピクチャの総ブロック数以下である第１のブロック数を設定するステップと、
ピクチャ復号時刻において、復号完了ブロック数を第２のブロック数として計測するステップと、
ピクチャ復号時刻において、復号未完ブロックの画素を既に復号したピクチャの画素を用いて補間するステップと、
第２のブロック数が、第１のブロック数以上の場合には、復号未完ブロックの画素を既に復号したピクチャの画素を用いて補間したピクチャを出力するよう制御するステップと、
を含むことを特徴とする動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像復号装置、及び、動画像復号方法に関するものである。
【背景技術】
【０００２】
動画像を効率よく伝送するために動画像信号の時間的冗長性、空間的冗長性、統計的冗長性に着目したピクチャ内符号化やピクチャ間符号化を用いる。例えば、ISO/IEC 11172-2（通称MPEG-1ビデオ）、ISO/IEC 13818-2（通称MPEG-2ビデオ）、ISO/IEC 14496-2（通称MPEG-4ビデオ）、ISO/IEC 14496-10（通称MPEG-4 AVC）、ITU-T H.261、ITU-T H.263等の国際標準に基づく符号化方式がある。
【０００３】
ピクチャ毎の発生符号量は、ピクチャ内符号化やピクチャ間符号化等の適用する符号化ピクチャタイプ、そのピクチャの絵柄や動き変化により変動する。符号化動画像を所定の伝送レートで伝送するために、符号化出力段や復号入力段に符号を一時滞留させるための符号バッファを設けて符号量変動を吸収する。符号バッファがオーバーフローやアンダーフローすると符号欠落等の障害が発生して復号出力する動画像に乱れが生じる。
【０００４】
このため、符号化側では、例えば、特許文献１に記載の技術を用いて発生符号量を予測しながら量子化幅を制御することでピクチャ発生符号量を調整して、符号バッファがオーバーフローやアンダーフローしないようにする。
【０００５】
符号バッファを大きくして一時滞留時間を長くすることで、より大きな符号量変動が吸収できる。すなわち、オーバーフローやアンダーフローの発生を抑制できる。
【０００６】
しかしながら、一時滞留時間を長くすることで遅延が増大する。テレビ電話、テレビ会議、遠隔操作のための監視システム等の用途では、できる限り遅延を小さくすることが求められる。符号バッファにおける一時滞留時間を短くすることで遅延を小さくできる。しかし、シーンチェンジや急激な動き変化等による符号量変動を吸収できずに、符号化出力段の符号バッファが所定蓄積量を超えることで、復号入力段の符号バッファがアンダーフローする可能性が高くなる。
【０００７】
復号入力段の符号バッファがアンダーフローした場合、例えば、特許文献２のように、代替として直前ピクチャを表示させるとともに、すべてのピクチャ符号を復号した後、例えば、１ピクチャ分遅れて復号出力する方法がある。
【０００８】
（従来技術例の説明）
以下、従来技術について図面により説明する。図３は、従来例を説明するブロック図である。また、図４は、従来技術を説明するフローチャートである。従来技術の説明では、所定ピクチャ時間間隔で符号化した動画像の各ピクチャを復号するものとする。
【０００９】
（従来技術のブロック図の説明）
図３について説明する。
【００１０】
符号バッファ３０１は、動画像の各ピクチャをピクチャ内符号化、もしくは、ピクチャ間符号化により符号化して伝送されたピクチャ符号を逐次入力して一時蓄積する。
【００１１】
復号器３０２は、ピクチャごとに、各ピクチャ復号時刻において、符号バッファ３０１からピクチャ符号を読み出して復号して、復号ピクチャを出力する。
【００１２】
また、ピクチャ復号時刻において、ピクチャの復号が完了せず、アンダーフロー発生の場合には、残りピクチャ符号の復号を継続して、復号完了後に、復号ピクチャを出力する。
【００１３】
アンダーフロー発生検出器３０３は、各ピクチャの復号において、符号バッファ３０１からピクチャ符号をすべて読み出して復号完了の場合には、アンダーフロー発生なしと判定し、また、例えば、符号化出力段の符号バッファが所定蓄積量を超えることで生じる符号バッファ３０１のアンダーフローにより、符号バッファ３０１が空になりピクチャ符号をすべて読み出せず復号未完の場合には、アンダーフロー発生と判断して、判定結果を出力する。
【００１４】
代替ピクチャ出力器３０４、例えば、現ピクチャの直前に復号したピクチャを代替ピクチャとして出力する。
【００１５】
切り替え制御器３０５は、アンダーフロー発生なし判定した場合には、出力切り替え器３０６に復号器３０２からの復号ピクチャの出力を指示する。また、アンダーフロー発生検出器３０３がアンダーフロー発生すると判断した場合には、出力切り替え器３０６に代替ピクチャ出力器３０４からの代替ピクチャを復号出力として出力を指示する。
【００１６】
出力切り替え器３０６は、切り替え制御器３０５からの指示に従い、復号器３０２からの復号ピクチャと、代替ピクチャ出力器３０４からの代替ピクチャと、を切り替えて復号出力として出力する。
【００１７】
（従来技術のフローチャートの説明）
図４について説明する。
【００１８】
ステップＳ４０１では、ピクチャ時間間隔ごとのピクチャ復号時刻において、符号バッファからピクチャ符号を読み出して復号して、ステップＳ４０２に進む。
【００１９】
ステップＳ４０２では、符号バッファ３０１からピクチャ符号をすべて読み出して復号完了の場合には、アンダーフロー発生なしと判定して、ステップＳ４０３に進む。また、符号化出力段の符号バッファが所定蓄積量を超えることで生じる符号バッファ３０１のアンダーフローにより、符号バッファ３０１からピクチャ符号をすべて読み出せず復号未完の場合には、アンダーフロー発生と判定して、ステップＳ４０４に進む。
【００２０】
ステップＳ４０３では、現ピクチャの復号ピクチャを出力するよう切り替えると共に、現ピクチャのあとから復号するピクチャのための代替ピクチャとして復号ピクチャを設定して、ステップＳ４０６に進む。
【００２１】
ステップＳ４０４では、例えば、現ピクチャの直前に復号したピクチャを代替ピクチャとして出力するよう切り替えて、ステップＳ４０５に進む。
【００２２】
ステップＳ４０５では、現ピクチャの残りピクチャ符号の復号を継続して、復号完了後に、現ピクチャのあとから復号するピクチャのための代替ピクチャとして復号ピクチャを設定して、ステップＳ４０６に進む。
【００２３】
ステップＳ４０６では、例えば、符号化側からの終了コマンドの検出により、一連の復号をすべて終了するか否かを判定する。一連の復号がすべて終了していない場合には、ステップＳ４０１に戻る。
【００２４】
また、上記従来例の他にも、特許文献３の「発明が解決しようとする課題」に記載のように、アンダーフロー発生の場合に直前の復号ピクチャ等を代替ピクチャとして出力せず、符号バッファにある途中までのピクチャ符号による復号途中のピクチャを出力する方法もある。
【先行技術文献】
【特許文献】
【００２５】
【特許文献１】特開平６−２０５３９３号公報
【特許文献２】特開２００１−１６９２８５号公報
【特許文献３】特開２００１−１４５１００号公報
【発明の概要】
【発明が解決しようとする課題】
【００２６】
しかしながら、特許文献２に記載の方法では、１ピクチャ分遅れて復号出力することにより、例えば、遠隔操作のための監視システム等で、重要な画像が遅れて表示されることに伴い、画像を見てからの操作が遅れることで支障を招く恐れがある。
【００２７】
また、特許文献３の「発明が解決しようとする課題」に記載の方法では、程度によらず、僅かな部分のみ復号できた場合でも画像を出力するため、異常な画像を出力することで支障となる場合がある。
【課題を解決するための手段】
【００２８】
上記目的を達成するため、本発明の動画像復号装置は、動画像の各ピクチャをブロック分割してピクチャ内符号化、もしくは、ピクチャ間符号化されたピクチャ符号を復号して動画像を出力する装置であって、ひとつのピクチャの総ブロック数以下である第１のブロック数を設定する手段と、ピクチャ復号時刻において、復号完了ブロック数を第２のブロック数として計測する手段と、ピクチャ復号時刻において、復号未完ブロックの画素を既に復号したピクチャの画素を用いて補間する手段と、第２のブロック数が、第１のブロック数以上の場合には、復号未完ブロックの画素を既に復号したピクチャの画素を用いて補間したピクチャを出力するよう制御する手段と、を有する。
【００２９】
本発明の動画像復号方法は、動画像の各ピクチャをブロック分割してピクチャ内符号化、もしくは、ピクチャ間符号化されたピクチャ符号を復号して動画像を出力する方法であって、ひとつのピクチャの総ブロック数以下である第１のブロック数を設定するステップと、ピクチャ復号時刻において、復号完了ブロック数を第２のブロック数として計測するステップと、ピクチャ復号時刻において、復号未完ブロックの画素を既に復号したピクチャの画素を用いて補間するステップと、第２のブロック数が、第１のブロック数以上の場合には、復号未完ブロックの画素を既に復号したピクチャの画素を用いて補間したピクチャを出力するよう制御するステップと、を含む。
【発明の効果】
【００３０】
本発明により、復号完了ブロック数が、第１のブロック数以上であれば、復号未完ブロックの画素を補間して出力することで、例えば、凡そ復号できている、僅かなアンダーフロー発生の場合における表示遅延を回避できる。
【００３１】
また、第１のブロック数を、ピクチャごとに再設定することで、復号未完ブロック画素の補間ピクチャの出力する際の判定基準をピクチャごとに調整して、状況に応じて出力制御できる。
【図面の簡単な説明】
【００３２】
【図１】本発明の動画像復号装置の実施例を示すブロック図である。
【図２】本発明の動画像復号装置の実施例の動作を説明する第１のフローチャートである。
【図３】従来例の動画像復号装置を示すブロック図である。
【図４】従来例の動画像復号装置の動作を説明するフローチャートである。
【図５】本発明の実施例における復号未完ブロックの補間方法を示す図である。
【図６】本発明の動画像復号装置の実施例の動作を説明する第２のフローチャートである。
【発明を実施するための形態】
【００３３】
以下、本発明の実施の形態について図面により説明する。
【００３４】
図１は、本発明による実施例を説明するブロック図である。図２は、本発明による実施例を説明する第１のフローチャートである。図５は、本発明による実施例における復号未完ブロックの補間方法を示す図である。図６は、本発明による実施例を説明する第２のフローチャートである。実施例の説明では、所定ピクチャ時間間隔で符号化した動画像の各ピクチャを復号するものとする。
【００３５】
（実施例のブロック図の説明）
まず、実施例について図１を用いて説明する。
【００３６】
符号バッファ１０１は、動画像の各ピクチャをピクチャ内符号化、もしくは、ピクチャ間符号化により符号化して伝送されたピクチャ符号を逐次入力して一時蓄積する。
【００３７】
復号器１０２は、ピクチャごとに、各ピクチャ復号時刻において、符号バッファ１０１からピクチャ符号を読み出して復号して、復号ピクチャを出力する。
【００３８】
また、ピクチャ復号時刻において、ピクチャの復号が完了せず、アンダーフロー発生の場合には、残りピクチャ符号の復号を継続して、復号完了後に、復号ピクチャを出力する。
【００３９】
アンダーフロー発生検出器１０３は、各ピクチャの復号において、符号バッファ１０１からピクチャ符号をすべて読み出して復号完了の場合には、アンダーフロー発生なしと判定し、また、例えば、符号化出力段の符号バッファが所定蓄積量を超えることで生じる符号バッファ１０１のアンダーフローにより、符号バッファ１０１が空になりピクチャ符号をすべて読み出せず復号未完の場合には、アンダーフロー発生と判断して、判定結果を出力する。
【００４０】
補間ピクチャ出力器１０４は、復号未完ブロックの画素を既に復号したピクチャの画素、例えば、図５のように隣接する復号済みブロックの画素又は補間済みブロックの画素を用いて、補間する。
【００４１】
代替ピクチャ出力器１０５は、例えば、現ピクチャの直前に復号したピクチャを代替ピクチャとして出力する。
【００４２】
復号ブロック数計測器１０６は、ピクチャごとに、各ピクチャ復号時刻において、符号バッファ１０１からピクチャ符号を読み出して復号できたブロック数を計測する。
【００４３】
切り替え制御器１０７は、アンダーフロー発生なし判定した場合には、出力切り替え器１０８に復号器１０２からの復号ピクチャの出力を指示する。また、アンダーフロー発生検出器１０３がアンダーフロー発生すると判断した場合には、以下のように動作する。
【００４４】
１） 各ピクチャ復号時刻において、復号ブロック数計測器１０６からの復号できたブロック数が、第１のブロック数以上の場合には、補間ピクチャ出力器１０４からの補間ピクチャの出力を指示する。
【００４５】
２） 各ピクチャ復号時刻において、復号ブロック数計測器１０６からの復号できたブロック数が、第１のブロック数未満の場合には、代替ピクチャ出力器１０５からの代替ピクチャの出力を指示する。
【００４６】
出力切り替え器１０８は、切り替え制御器１０７からの指示に従い、復号器１０２からの復号ピクチャと、補間ピクチャ出力器１０４からの補間ピクチャと、代替ピクチャ出力器１０５からの代替ピクチャとを、切り替えて出力する。
【００４７】
（実施例の第１のフローチャートの説明）
次に、図２を用いて説明する。
【００４８】
ステップＳ２０１で、第１のブロック数を設定して、ステップＳ２０２に進む。
【００４９】
ステップＳ２０２では、ピクチャ時間間隔ごとのピクチャ復号時刻において、符号バッファからピクチャ符号を読み出して復号して、ステップＳ２０３に進む。
【００５０】
ステップＳ２０３では、符号バッファ１０１からピクチャ符号をすべて読み出して復号完了の場合には、アンダーフロー発生なしと判定して、ステップＳ２０４に進む。また、符号化出力段の符号バッファが所定蓄積量を超えることで生じる符号バッファ１０１のアンダーフローにより、符号バッファ１０１からピクチャ符号をすべて読み出せず復号未完の場合には、アンダーフロー発生と判定して、ステップＳ２０５に進む。
【００５１】
ステップＳ２０４では、現ピクチャの復号ピクチャを出力するよう切り替えると共に、現ピクチャのあとから復号するピクチャのための代替ピクチャとして復号ピクチャを設定して、ステップＳ２１１に進む。
【００５２】
ステップＳ２０５では、ピクチャ復号時刻において、符号バッファ１０１からピクチャ符号を読み出して復号できた復号ブロック数を計測する。
【００５３】
ステップＳ２０６では、復号ブロック数と第１のブロック数を比較する。復号ブロック数が第１のブロック数以上の場合には、ステップＳ２０７に進む。また、復号ブロック数が第１のブロック数未満の場合には、ステップＳ２０９に進む。
【００５４】
ステップＳ２０７では、復号未完ブロックの画素を既に復号したピクチャの画素、例えば、図５のように隣接する復号済みブロックの画素又は補間済みブロックの画素を用いて補間することで、補間ピクチャを生成して、ステップＳ２０８に進む。
【００５５】
ステップＳ２０８では、補間ピクチャを出力するよう切り替え、ステップＳ２１０に進む。
【００５６】
ステップＳ２０９では、例えば、現ピクチャの直前に復号したピクチャを代替ピクチャとして出力するよう切り替えて、ステップＳ２１０に進む。
【００５７】
ステップＳ２１０では、現ピクチャの残りピクチャ符号の復号を継続して、復号完了後に、現ピクチャのあとから復号するピクチャのための代替ピクチャとして復号ピクチャを設定して、ステップＳ２１１に進む。
【００５８】
ステップＳ２１１では、例えば、符号化側からの終了コマンドの検出により、一連の復号をすべて終了するか否かを判定する。一連の復号がすべて終了していない場合には、ステップＳ２０２に戻る。
【００５９】
以上により、アンダーフロー発生でも、例えば、復号ブロック数が９割以上の場合に、復号未完ブロックの画素を補間して出力することで、凡そ復号できている僅かなアンダーフロー発生の場合における表示遅延を回避できる。
【００６０】
（実施例の第２のフローチャートの説明）
図６は、本発明による実施例の第２のフローチャートである。
【００６１】
図２に示す本発明による実施例の第１のフローチャートとの違いは、ステップＳ２１１で復号終了しない場合は、ステップＳ２０１に戻る点である。
【００６２】
第１のブロック数をピクチャごとに、再設定できる。これにより、当初は、復号ブロック数が９割以上であれば補間ピクチャを出力するように設定していたが、状況の変化により、８割以上に変更したいとの要求に対応することができる。
【００６３】
実施例では、図５（ａ）のように、復号未完ブロックを同じピクチャ内の（１）直左の復号済みブロックの画素又は補間済みブロックの画素で補間したり、あるいは（２）直上の復号済みブロックの画素又は補間済みブロックの画素で補間したり、図５（ｂ）のように復号未完ブロックを直前復号ピクチャの同じ位置の画素で補間したりして補間ピクチャする方法について説明したが、既に復号済みの画素やピクチャを用いた如何なる補間方法を用いてもよい。例えば、過去に復号したピクチャ間の動きを検出、もしくは、過去に復号したピクチャ符号に含まれる動きベクトルから、直前復号ピクチャに対する復号未完ブロックの動きを推定して補間してもよい。
【００６４】
また、実施例では、直前の復号ピクチャを代替ピクチャとする方法について説明したが、過去に復号したピクチャを用いる如何なる補間方法を用いてもよい。例えば、過去に復号したピクチャ間の動きを検出、もしくは、過去に復号したピクチャ符号に含まれる動きベクトルから、直前復号ピクチャに対する現ピクチャの動きを推定して補間してもよい。
【符号の説明】
【００６５】
１０１  符号バッファ
１０２  復号器
１０３  アンダーフロー発生検出器
１０４  補間ピクチャ出力器
１０５  代替ピクチャ出力器
１０６  復号ブロック数計測器
１０７  切り替え制御器
１０８  出力切り替え器
３０１  符号バッファ
３０２  復号器
３０３  アンダーフロー発生検出器
３０４  代替ピクチャ出力器
３０５  切り替え制御器
３０６  出力切り替え器
【図１】
2011146790.tif 000003
【図２】
2011146790.tif 000004
【図３】
2011146790.tif 000005
【図４】
2011146790.tif 000006
【図５】
2011146790.tif 000007
【図６】
2011146790.tif 000008