(57)【要約】【課題】本発明は、伝送路を用いて映像音声伝送を行う場合に、計算機上で映像音声の符号化復号処理を扱うときの映像と音声の新たな同期技術の提供を目的とする。【解決手段】映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信して、映像用バッファに空きがある場合には格納し、空きがない場合には破棄する。一方、音声用バッファに空きがある場合には格納し、空きがない場合には破棄する。そして、送信側におけるキャプチャのフレームレートよりも速い復号速度でもって、映像用バッファから映像を連続的に読み出して復号するとともに、そのフレームレートよりも速い復号速度でもって、映像の符号化遅延分遅らせる形で音声用バッファから音声を連続的に読み出して復号する。これにより、タイプスタンプを用いずに映像と音声の同期再生を実現できるようになる。【選択図】図２
2005348347.tif 000002
【特許請求の範囲】
【請求項１】
伝送路を介して送信されてくる映像及び音声の符号化データのビットストリームを受信して復号する映像音声復号方法であって、
映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信する過程と、
映像用バッファに空きがある場合には、上記受信した映像を該映像用バッファに格納し、該映像用バッファに空きがない場合には、該映像を破棄する過程と、
音声用バッファに空きがある場合には、上記受信した音声を該音声用バッファに格納し、該音声用バッファに空きがない場合には、該音声を破棄する過程と、
上記キャプチャのフレームレートよりも速い復号速度を有して、上記映像用バッファから映像を連続的に読み出して復号する過程と、
上記キャプチャのフレームレートよりも速い復号速度を有して、映像の符号化遅延分遅らせる形で上記音声用バッファから音声を連続的に読み出して復号する過程とを備えることを、
特徴とする映像音声復号方法。
【請求項２】
伝送路を介して送信されてくる映像及び音声の符号化データのビットストリームを受信して復号する映像音声復号方法であって、
映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信する過程と、
映像用バッファに格納される映像のフレーム数が規定の閾値を超えていない場合には、上記受信した映像を該映像用バッファに格納し、超えている場合には、該映像のピクチャ種別に応じて、該映像を該映像用バッファに格納するか破棄し、一方、該映像用バッファに空きがない場合には、該映像を破棄する過程と、
音声用バッファに空きがある場合には、上記受信した音声を該音声用バッファに格納し、該音声用バッファに空きがない場合には、該音声を破棄する過程と、
上記キャプチャのフレームレートよりも速い復号速度を有して、上記映像用バッファから映像を連続的に読み出して復号する過程と、
上記キャプチャのフレームレートよりも速い復号速度を有して、映像の符号化遅延分遅らせる形で上記音声用バッファから音声を連続的に読み出して復号する過程とを備えることを、
特徴とする映像音声復号方法。
【請求項３】
請求項２に記載の映像音声復号方法において、
上記映像を破棄する過程では、上記映像用バッファに格納される映像のフレーム数が規定の閾値を超えている場合にあって、上記受信した映像がフレーム内予測のピクチャである場合には、その受信した映像を上記映像用バッファに格納し、それ以外のピクチャである場合には、その受信した映像を破棄することを、
特徴とする映像音声復号方法。
【請求項４】
請求項２に記載の映像音声復号方法において、
上記映像を破棄する過程では、上記閾値が複数設定される場合には、上記映像用バッファに格納される映像のフレーム数がどの閾値を超えているのかということと、上記受信した映像のピクチャ種別とに応じて、上記受信した映像を上記映像用バッファに格納するか破棄するのかを決定することを、
特徴とする映像音声復号方法。
【請求項５】
請求項４に記載の映像音声復号方法において、
上記映像を破棄する過程では、他のフレームに影響を与えるピクチャほど優先順位を高く設定して、優先順位の高いピクチャほど上記映像用バッファに格納されることになるようにと、上記受信した映像を上記映像用バッファに格納するか破棄するのかを決定することを、
特徴とする映像音声復号方法。
【請求項６】
請求項１ないし５のいずれか１項に記載の映像音声復号方法において、
上記映像を破棄する過程では、破棄した映像により影響を受ける後続の映像については、上記映像用バッファの格納状態に依らずに破棄することを、
特徴とする映像音声復号方法。
【請求項７】
請求項１ないし６のいずれか１項に記載の映像音声復号方法において、
上記復号した映像を出力するとともに、出力した映像に続く映像が復号されない場合には、その出力した映像を出力し続ける過程と、
上記復号した音声を出力するとともに、出力した音声に続く音声が復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力する過程とを備えることを、
特徴とする映像音声復号方法。
【請求項８】
伝送路を介して送信されてくる映像及び音声の符号化データのビットストリームを受信して復号する映像音声復号装置であって、
規定のフレーム数分の映像を格納する映像用バッファと、
規定のフレーム数分の音声を格納する音声用バッファと、
映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信する手段と、
上記映像用バッファに空きがある場合には、上記受信した映像を上記映像用バッファに格納し、上記映像用バッファに空きがない場合には、該映像を破棄する手段と、
上記音声用バッファに空きがある場合には、上記受信した音声を上記音声用バッファに格納し、上記音声用バッファに空きがない場合には、該音声を破棄する手段と、
上記キャプチャのフレームレートよりも速い復号速度を有して、上記映像用バッファから映像を連続的に読み出して復号する手段と、
上記キャプチャのフレームレートよりも速い復号速度を有して、映像の符号化遅延分遅らせる形で上記音声用バッファから音声を連続的に読み出して復号する手段とを備えることを、
特徴とする映像音声復号装置。
【請求項９】
伝送路を介して送信されてくる映像及び音声の符号化データのビットストリームを受信して復号する映像音声復号装置であって、
規定のフレーム数分の映像を格納する映像用バッファと、
規定のフレーム数分の音声を格納する音声用バッファと、
映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信する手段と、
上記映像用バッファに格納される映像のフレーム数が規定の閾値を超えていない場合には、上記受信した映像を上記映像用バッファに格納し、超えている場合には、該映像のピクチャ種別に応じて、該映像を上記映像用バッファに格納するか破棄し、一方、上記映像用バッファに空きがない場合には、該映像を破棄する手段と、
上記音声用バッファに空きがある場合には、上記受信した音声を上記音声用バッファに格納し、上記音声用バッファに空きがない場合には、該音声を破棄する手段と、
上記キャプチャのフレームレートよりも速い復号速度を有して、上記映像用バッファから映像を連続的に読み出して復号する手段と、
上記キャプチャのフレームレートよりも速い復号速度を有して、映像の符号化遅延分遅らせる形で上記音声用バッファから音声を連続的に読み出して復号する手段とを備えることを、
特徴とする映像音声復号装置。
【請求項１０】
請求項９に記載の映像音声復号装置において、
上記映像を破棄する手段は、上記映像用バッファに格納される映像のフレーム数が規定の閾値を超えている場合にあって、上記受信した映像がフレーム内予測のピクチャである場合には、その受信した映像を上記映像用バッファに格納し、それ以外のピクチャである場合には、その受信した映像を破棄することを、
特徴とする映像音声復号装置。
【請求項１１】
請求項９に記載の映像音声復号装置において、
上記映像を破棄する手段は、上記閾値が複数設定される場合には、上記映像用バッファに格納される映像のフレーム数がどの閾値を超えているのかということと、上記受信した映像のピクチャ種別とに応じて、上記受信した映像を上記映像用バッファに格納するか破棄するのかを決定することを、
特徴とする映像音声復号装置。
【請求項１２】
請求項１１に記載の映像音声復号装置において、
上記映像を破棄する手段は、他のフレームに影響を与えるピクチャほど優先順位を高く設定して、優先順位の高いピクチャほど上記映像用バッファに格納されることになるようにと、上記受信した映像を上記映像用バッファに格納するか破棄するのかを決定することを、
特徴とする映像音声復号装置。
【請求項１３】
請求項８ないし１２のいずれか１項に記載の映像音声復号装置において、
上記映像を破棄する手段は、破棄した映像により影響を受ける後続の映像については、上記映像用バッファの格納状態に依らずに破棄することを、
特徴とする映像音声復号装置。
【請求項１４】
請求項８ないし１３のいずれか１項に記載の映像音声復号装置において、
上記復号した映像を出力するとともに、出力した映像に続く映像が復号されない場合には、その出力した映像を出力し続ける手段と、
上記復号した音声を出力するとともに、出力した音声に続く音声が復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力する手段とを備えることを、
特徴とする映像音声復号装置。
【請求項１５】
請求項１ないし７のいずれか１項に記載の映像音声復号方法の実現に用いられる処理をコンピュータに実行させるための映像音声復号プログラム。
【請求項１６】
請求項１ないし７のいずれか１項に記載の映像音声復号方法の実現に用いられる処理をコンピュータに実行させるための映像音声復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＩＰネットワークなどの伝送路を介して送信されてくる映像及び音声の符号化データのビットストリームを受信して復号する映像音声復号方法及びその装置と、その映像音声復号方法の実現に用いられる映像音声復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関し、特に、タイプスタンプを用いずに映像と音声の同期再生を実現できるようにする映像音声復号方法及びその装置と、その映像音声復号方法の実現に用いられる映像音声復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
映像と音声とを伝送するシステムにおいて、従来では、ＭＰＥＧ−２で規定されているＰＣＲ再生を用いて、映像と音声の同期再生を実現するようにしている（例えば、非特許文献１参照）。
【０００３】
このＭＰＥＧ−２で規定されているＰＣＲ再生では、映像と音声のビットストリームを時刻情報のタイムスタンプを付加したトランスポートストリームに構成して、その映像音声のビットストリームを伝送し、そのタイムスタンプに従って、映像と音声の同期再生を確立するようにしている。
【非特許文献１】Information Technology-Generic Coding of Moving Pictures and Associated Audio: Systems-, ISO/IEC 13818-1 International Standard, November 1994.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ＭＰＥＧ−２の規格はハードウェア処理を想定しており、これから、計算機上のソフトウェアにより映像音声の同期再生を行う場合に、次のような問題が生じる。
【０００５】
すなわち、ＭＰＥＧ−２の規格では、２７ＭＨｚという非常に細かい精度での制御が要求されるものであり、従って、ＩＰネットワークなどによる映像音声伝送における映像／音声の同期制御については、通常の計算機上のアプリケーションレベルでの制御は困難である。
【０００６】
これから、ＩＰネットワークなどの伝送路を用いて映像音声伝送を行う場合に、計算機上でＰＣＲ再生を用いて映像と音声の同期制御を行うことができないというのが実情である。
【０００７】
このようなことを背景にして、ＩＰネットワークなどの伝送路を用いて映像音声伝送を行う場合に、計算機上で映像音声の符号化復号処理を扱うときの映像と音声の新たな同期技術の提供が求められている。
【０００８】
本発明はかかる事情に鑑みてなされたものであって、ＩＰネットワークなどの伝送路を用いて映像音声伝送を行う場合に、計算機上で映像音声の符号化復号処理を扱うときの映像と音声の新たな同期技術の提供を目的とする。
【課題を解決するための手段】
【０００９】
〔１〕第１の構成
上記の目的を達成するために、本発明では、本発明の映像音声復号装置に対して伝送路を介して映像音声の符号化データのビットストリームを送信してくる装置が、映像と音声のフレームが入力されると、その映像と音声のフレームをキャプチャすると同時に符号化して、タイムスタンプを付加することなく、その符号化データのビットストリームを送信してくるという構成を採ることを前提としている。
【００１０】
この前提の下、本発明の映像音声復号装置は、第１の構成に従う場合には、（１）規定のフレーム数分の映像を格納する映像用バッファと、（２）規定のフレーム数分の音声を格納する音声用バッファと、（３）映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信する受信手段と、（４）映像用バッファに空きがある場合には、受信手段の受信した映像を映像用バッファに格納し、映像用バッファに空きがない場合には、その受信した映像を破棄する映像格納破棄実行手段と、（５）音声用バッファに空きがある場合には、受信手段の受信した音声を音声用バッファに格納し、音声用バッファに空きがない場合には、その受信した音声を破棄する音声格納破棄実行手段と、（６）送信側におけるキャプチャのフレームレートよりも速い復号速度を有して、映像用バッファから映像を連続的に読み出して復号する映像復号手段と、（７）送信側におけるキャプチャのフレームレートよりも速い復号速度を有して、映像の符号化遅延分遅らせる形で音声用バッファから音声を連続的に読み出して復号する音声復号手段と、（８）映像復号手段の復号した映像を出力するとともに、出力した映像に続く映像が復号されない場合には、その出力した映像を出力し続ける映像出力手段と、（９）音声復号手段の復号した音声を出力するとともに、出力した音声に続く音声が復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力する音声出力手段とを備えるように構成する。
【００１１】
この構成を採るときにあって、映像格納破棄実行手段は、破棄した映像により影響を受ける後続の映像については、映像用バッファの格納状態に依らずに破棄するように処理することがある。
【００１２】
以上の各処理手段が動作することで実現される本発明の映像音声復号方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００１３】
このように構成される本発明の映像音声復号装置では、映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信すると、その受信した映像を映像用バッファに格納していくとともに、その受信した音声を音声用バッファに格納していく。
【００１４】
このとき、映像については、送信側におけるキャプチャのフレームレートよりも速い復号速度でもって、映像用バッファから映像を連続的に読み出して復号していく。従って、通常の場合には、映像用バッファにはほとんど映像が格納されることなく、映像の復号が実行されることになる。
【００１５】
一方、音声については、送信側におけるキャプチャのフレームレートよりも速い復号速度でもって、音声用バッファから音声を連続的に読み出して復号していくことになるが、このとき、映像の符号化遅延を考慮して、その分遅らせる形で音声用バッファから音声を連続的に読み出して復号していく。従って、通常の場合には、音声については、符号化遅延分のフレーム数にほぼ一致する音声が音声用バッファに格納されて、音声の復号が実行されることになる。
【００１６】
このような処理を行うときに、一時的に映像及び音声の受信量が急激に増加することがあり、これにより、映像用バッファや音声用バッファが満杯となることが起こる。
【００１７】
このような場合には、映像用バッファに入りきれない映像については破棄するとともに、音声用バッファに入りきれない音声については破棄することになる。このとき、破棄した映像が後続の映像に影響を与えるものである場合には、その破棄した映像により影響を受ける後続の映像については、映像用バッファの格納状態に依らずに破棄することになる。
【００１８】
また、このような処理を行うときに、一時的に映像及び音声の受信量が急激に減少することがあり、これにより、映像用バッファが空の状態になったり、音声用バッファに格納される音声が符号化遅延分のフレーム数を超えない状態になったりすることが起こる。
【００１９】
このような場合には、新たな映像が復号されない状態になったり、新たな音声が復号されない状態になるので、新たな映像が復号されない状態になることで、出力した映像に続く映像が復号されない場合には、その出力した映像を出力し続けることになる。また、新たな音声が復号されない状態になることで、出力した音声に続く音声が復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力することになる。
【００２０】
このようにして、本発明の映像音声復号装置によれば、ＩＰネットワークなどの伝送路を用いて映像音声伝送を行う場合に、タイプスタンプを用いずに映像と音声の同期再生を実現できるようになる。
【００２１】
〔２〕第２の構成
上記の目的を達成するために、上記の前提の下、本発明の映像音声復号装置は、第２の構成に従う場合には、（１）規定のフレーム数分の映像を格納する映像用バッファと、（２）規定のフレーム数分の音声を格納する音声用バッファと、（３）映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信する受信手段と、（４）映像用バッファに格納される映像のフレーム数が規定の閾値を超えていない場合には、受信手段の受信した映像を映像用バッファに格納し、超えている場合には、その受信した映像のピクチャ種別に応じて、その受信した映像を映像用バッファに格納するか破棄し、一方、映像用バッファに空きがない場合には、その受信した映像を破棄する映像格納破棄実行手段と、（５）音声用バッファに空きがある場合には、受信手段の受信した音声を音声用バッファに格納し、音声用バッファに空きがない場合には、その受信した音声を破棄する音声格納破棄実行手段と、（６）送信側におけるキャプチャのフレームレートよりも速い復号速度を有して、映像用バッファから映像を連続的に読み出して復号する映像復号手段と、（７）送信側におけるキャプチャのフレームレートよりも速い復号速度を有して、映像の符号化遅延分遅らせる形で音声用バッファから音声を連続的に読み出して復号する音声復号手段と、（８）映像復号手段の復号した映像を出力するとともに、出力した映像に続く映像が復号されない場合には、その出力した映像を出力し続ける映像出力手段と、（９）音声復号手段の復号した音声を出力するとともに、出力した音声に続く音声が復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力する音声出力手段とを備えるように構成する。
【００２２】
この構成を採るときにあって、映像格納破棄実行手段は、映像用バッファに格納される映像のフレーム数が規定の閾値を超えている場合にあって、受信手段の受信した映像がフレーム内予測のピクチャである場合には、その受信した映像を映像用バッファに格納し、それ以外のピクチャである場合には、その受信した映像を破棄するように処理することがある。
【００２３】
また、映像格納破棄実行手段は、閾値が複数設定される場合には、映像用バッファに格納される映像のフレーム数がどの閾値を超えているのかということと、受信手段の受信した映像のピクチャ種別とに応じて、その受信した映像を映像用バッファに格納するか破棄するのかを決定するように処理することがある。このとき、他のフレームに影響を与えるピクチャほど優先順位を高く設定して、優先順位の高いピクチャほど映像用バッファに格納されることになるようにと、その受信した映像を映像用バッファに格納するか破棄するのかを決定するように処理することがある。
【００２４】
また、映像格納破棄実行手段は、破棄した映像により影響を受ける後続の映像については、映像用バッファの格納状態に依らずに破棄するように処理することがある。
【００２５】
以上の各処理手段が動作することで実現される本発明の映像音声復号方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００２６】
このように構成される本発明の映像音声復号装置では、映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信すると、その受信した映像を映像用バッファに格納していくとともに、その受信した音声を音声用バッファに格納していく。
【００２７】
このとき、映像については、送信側におけるキャプチャのフレームレートよりも速い復号速度でもって、映像用バッファから映像を連続的に読み出して復号していく。従って、通常の場合には、映像用バッファにはほとんど映像が格納されることなく、映像の復号が実行されることになる。
【００２８】
一方、音声については、送信側におけるキャプチャのフレームレートよりも速い復号速度でもって、音声用バッファから音声を連続的に読み出して復号していくことになるが、このとき、映像の符号化遅延を考慮して、その分遅らせる形で音声用バッファから音声を連続的に読み出して復号していく。従って、通常の場合には、音声については、符号化遅延分のフレーム数にほぼ一致する音声が音声用バッファに格納されて、音声の復号が実行されることになる。
【００２９】
このような処理を行うときに、一時的に映像及び音声の受信量が急激に増加することがあり、これにより、映像用バッファや音声用バッファが満杯に近づいていくことが起こる。
【００３０】
このような場合、音声については、音声同士の間で優先度が付けられないので、音声用バッファに入りきれない音声については破棄することになる。
【００３１】
一方、映像については、１つ又は複数の閾値を設けて、その閾値を超える場合にあって、フレーム内予測のピクチャのような優先度の高いピクチャを受信した場合には、それを映像用バッファに格納し、優先度の低いピクチャを受信した場合には、それを破棄することで、優先度の高いピクチャについてはできる限り破棄しないようにすることになる。
【００３２】
そして、そのような制御を行っても映像用バッファが満杯になるときには、映像用バッファに入りきれない映像については破棄することになる。このとき、破棄した映像が後続の映像に影響を与えるものである場合には、その破棄した映像により影響を受ける後続の映像については、映像用バッファの格納状態に依らずに破棄することになる。
【００３３】
また、このような処理を行うときに、一時的に映像及び音声の受信量が急激に減少することがあり、これにより、映像用バッファが空の状態になったり、音声用バッファに格納される音声が符号化遅延分のフレーム数を超えない状態になったりすることが起こる。
【００３４】
このような場合には、新たな映像が復号されない状態になったり、新たな音声が復号されない状態になるので、新たな映像が復号されない状態になることで、出力した映像に続く映像が復号されない場合には、その出力した映像を出力し続けることになる。また、新たな音声が復号されない状態になることで、出力した音声に続く音声が復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力することになる。
【００３５】
このようにして、本発明の映像音声復号装置によれば、ＩＰネットワークなどの伝送路を用いて映像音声伝送を行う場合に、タイプスタンプを用いずに映像と音声の同期再生を実現できるようになる。
【発明の効果】
【００３６】
以上に説明したように、本発明によれば、時刻情報を用いずに、映像と音声の同期再生を実現できるようになる。
【００３７】
このようにして、本発明によれば、ＩＰネットワークなどの伝送路を用いて映像音声伝送を行う場合に、ＭＰＥＧ−２で規定されているＰＣＲ再生を用いずに、映像と音声の同期再生を実現できるようになるので、計算機上のソフトウェアを使って映像と音声の同期再生を実現できるようになる。
【００３８】
さらに、本発明によれば、ビットストリームに時刻情報を付加することを要求しないので、時刻情報の付加されたビットストリームについては意味のある再生ができなくなり、これにより、不正なビットストリーム（時刻情報が付加されている）の入り込む余地がなくなるという利点も得られる。
【発明を実施するための最良の形態】
【００３９】
以下、実施の形態に従って本発明を詳細に説明する。
【００４０】
図１に、本発明の適用される映像音声伝送システムの一例を図示する。
【００４１】
図中、１は映像音声符号化送信装置であって、映像と音声とを符号化して、その符号化データのビットストリームを送信するもの、２は本発明を具備する映像音声受信復号装置であって、映像音声符号化送信装置１から送信されてくる映像及び音声の符号化データのビットストリームを受信して復号するもの、３はＩＰネットワークなどのようなネットワークであって、映像音声符号化送信装置１と本発明の映像音声受信復号装置２との間を接続するものである。
【００４２】
本発明を実現する場合、映像音声符号化送信装置１は、映像と音声のフレームが入力されると、その映像と音声のフレームをキャプチャすると同時に符号化して（例えば、１秒間に３０フレームというようなフレームレートでキャプチャする）、タイムスタンプを付加することなく、その符号化データのビットストリームを本発明の映像音声受信復号装置２に送信するように動作する。
【００４３】
なお、一般的に符号化データを伝送する場合、ピクチャによっては符号化の順番を変えて伝送することが行われており、同時にキャプチャして符号化して送信するということは、厳密な意味で順番を保持するということを意味しておらず、一般的に行われているそのような順序の変更を含むものである。
【００４４】
この符号化にあたって、映像の符号化に要する時間（ΔＴ１）は音声の符号化に要する時間（ΔＴ２）よりも大きいことから、図中に示すように、映像の符号化データは音声の符号化データよりもΔＴの時間分だけ遅延されて、本発明の映像音声受信復号装置２に送信されてくることになる。
【００４５】
本発明の映像音声受信復号装置２は、このような形態で送られてくる映像及び音声の符号化データのビットストリームを受信して、タイムスタンプを用いることもなく、映像と音声の同期再生を実現するように処理する。
【００４６】
図２に、本発明の映像音声受信復号装置２の一実施形態例を図示する。
【００４７】
この図に示すように、本発明の映像音声受信復号装置２は、パケット受信破棄手段２０と、映像用バッファ２１と、音声用バッファ２２と、映像復号手段２３と、音声復号手段２４と、映像出力手段２５と、音声出力手段２６とを備える。
【００４８】
このパケット受信破棄手段２０は、映像音声符号化送信装置１から伝送されてくる映像及び音声の符号化データを受信して、その受信した映像や音声の符号化データを破棄したり、その受信した映像や音声の符号化データを映像用バッファ２１や音声用バッファ２２に格納する。
【００４９】
映像用バッファ２１は、初期設定で指定されるフレーム数のバッファで構成されて、映像音声符号化送信装置１から伝送されてくる映像符号化データを格納する。
【００５０】
音声用バッファ２２は、初期設定で指定されるフレーム数のバッファで構成されて（映像用バッファ２１のフレーム数と同一である必要はない）、映像音声符号化送信装置１から伝送されてくる音声符号化データを格納する。
【００５１】
映像復号手段２３は、映像音声符号化送信装置１におけるキャプチャのフレームレートよりも速い復号速度を有して、映像用バッファ２１から映像符号化データを連続的に読み出して復号する。
【００５２】
音声復号手段２４は、映像音声符号化送信装置１におけるキャプチャのフレームレートよりも速い復号速度を有して、映像の符号化遅延分遅らせる形で音声用バッファ２２から音声符号化データを連続的に読み出して復号する。
【００５３】
映像出力手段２５は、映像復号手段２３の復号した映像を出力するとともに（図示しない出力用メモリに映像を書き込むことで出力する）、出力した映像に続く映像が復号されない場合には、その出力用メモリに新たな映像を書き込まないことで、その出力した映像を出力し続けるように制御する。
【００５４】
音声出力手段２６は、音声復号手段２４の復号した音声を出力するとともに、出力した音声に続く音声が復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力するように制御する。
【００５５】
〔１〕第１の実施形態例
図３ないし図６に、このように構成される本発明の映像音声受信復号装置２の実行する処理フローの一例を図示する。
【００５６】
ここで、図３は映像音声符号化送信装置１から映像符号化コードを受信したときに実行する処理フローの一例を示し、図４は映像音声符号化送信装置１から音声符号化コードを受信したときに実行する処理フローの一例を示し、図５は映像用バッファ２１に格納される映像符号化データの復号処理の処理フローの一例を示し、図６は音声用バッファ２２に格納される音声符号化データの復号処理の処理フローの一例を示す。
【００５７】
次に、これらの処理フローに従って、このように構成される本発明の映像音声受信復号装置２の実行する処理について詳細に説明する。
【００５８】
〔１−１〕映像符号化コードの受信時の処理
先ず最初に、図３の処理フローに従って、映像符号化コードの受信時の処理について説明する。
【００５９】
本発明の映像音声受信復号装置２は、映像音声符号化送信装置１から映像符号化コードを受信すると、図３の処理フローに示すように、先ず最初に、ステップ１０で、映像用バッファ２１に空きがあるのか否かを判断して、映像用バッファ２１に空きがあることを判断するときには、ステップ１１に進んで、受信した映像符号化コードを映像用バッファ２１に格納して、処理を終了する。
【００６０】
一方、ステップ１０の判断処理に従って、映像用バッファ２１に空きがないことを判断するときには、ステップ１２に進んで、受信した映像符号化コードを破棄する。すなわち、映像用バッファ２１に格納することができないので破棄するのである。
【００６１】
続いて、ステップ１３で、破棄した映像符号化コードがＩピクチャであるのか否かを判断して、Ｉピクチャであることを判断するときには、ステップ１４に進んで、次に受信するＩピクチャまでの後続のＰ，Ｂピクチャの映像符号化コードを破棄して、処理を終了する。すなわち、後続のＰ，Ｂピクチャが破棄したＩピクチャの影響を受けるので、それらを破棄するのである。
【００６２】
一方、ステップ１３の判断処理に従って、破棄した映像符号化コードがＩピクチャでないことを判断するときには、ステップ１５に進んで、破棄した映像符号化コードがＰピクチャであるのか否かを判断して、Ｐピクチャであることを判断するときには、ステップ１６に進んで、次に受信するＩピクチャまでの後続のＢピクチャの映像符号化コードを破棄して、処理を終了する。すなわち、後続のＢピクチャが破棄したＰピクチャの影響を受けるので、それらを破棄するのである。
【００６３】
一方、ステップ１５の判断処理に従って、破棄した映像符号化コードがＰピクチャでないことを判断するとき、すなわち、破棄した映像符号化コードがＢピクチャであることを判断するときには、そのまま処理を終了する。すなわち、破棄の影響を受けるピクチャが存在しないので、そのまま処理を終了するのである。
【００６４】
〔１−２〕音声符号化コードの受信時の処理
次に、図４の処理フローに従って、音声符号化コードの受信時の処理について説明する。
【００６５】
本発明の映像音声受信復号装置２は、映像音声符号化送信装置１から音声符号化コードを受信すると、図４の処理フローに示すように、先ず最初に、ステップ２０で、音声用バッファ２２に空きがあるのか否かを判断して、音声用バッファ２２に空きがあることを判断するときには、ステップ２１に進んで、受信した音声符号化コードを音声用バッファ２２に格納して、処理を終了する。
【００６６】
一方、ステップ２０の判断処理に従って、音声用バッファ２２に空きがないことを判断するときには、ステップ２２に進んで、受信した音声符号化コードを破棄して、処理を終了する。すなわち、音声用バッファ２２に格納することができないので破棄するのである。
【００６７】
〔１−３〕映像符号化データの復号処理
次に、図５の処理フローに従って、映像符号化データの復号処理について説明する。
【００６８】
本発明の映像音声受信復号装置２は、映像音声符号化送信装置１から送られてくる映像符号化データの復号要求があると、図５の処理フローに示すように、先ず最初に、ステップ３０で、映像用バッファ２１が空となったのか否かを判断して、映像用バッファ２１が空となっていないことを判断するときには、ステップ３１に進んで、映像用バッファ２１から映像符号化データを読み出す。
【００６９】
続いて、ステップ３２で、その読み出した映像符号化データを復号し、続くステップ３３で、その復号した映像を出力してから、ステップ３０に戻る。
【００７０】
一方、ステップ３０の判断処理に従って、映像用バッファ２１が空となったことを判断するときには、ステップ３４に進んで、直前の映像を出力し続けるように制御してから、ステップ３０に戻る。
【００７１】
〔１−４〕音声符号化データの復号処理
次に、図６の処理フローに従って、音声符号化データの復号処理について説明する。
【００７２】
本発明の映像音声受信復号装置２は、映像音声符号化送信装置１から送られてくる音声符号化データの復号要求があると、図６の処理フローに示すように、先ず最初に、ステップ４０で、音声用バッファ２２に格納される音声符号化データが規定の閾値（図１に示した符号化遅延ΔＴに相当するフレーム数で設定される）を超えているのか否かを判断して、閾値を超えていることを判断するときには、ステップ４１に進んで、音声用バッファ２２から音声符号化データを読み出す。
【００７３】
続いて、ステップ４２で、その読み出した音声符号化データを復号し、続くステップ４３で、その復号した音声を出力し、続くステップ４４で、変数ｉに“０”をセットしてから、ステップ４０に戻る。
【００７４】
一方、ステップ４０の判断処理に従って、音声用バッファ２２に格納される音声符号化データが規定の閾値を超えていないということを判断するときには、ステップ４５に進んで、変数ｉの値が“０”であるのか否かを判断する。
【００７５】
この判断処理に従って、変数ｉの値が“０”であることを判断するとき、すなわち、ステップ４０〜ステップ４４のループを始めて抜けてきたことを判断するときには、ステップ４６に進んで、変数ｉに“１”をセットし、続くステップ４７で、直前に出力した音声を出力してから、ステップ４０に戻る。
【００７６】
一方、ステップ４５の判断処理に従って、変数ｉの値が“０”でないことを判断するときには、ステップ４８に進んで、変数ｉの値が予め設定される最大値ｉmax を超えたのか否かを判断する。
【００７７】
この判断処理に従って、変数ｉの値が最大値ｉmax を超えていないことを判断するときは、ステップ４９に進んで、変数ｉの値を１つインクリメントし、続くステップ５０で、直前に出力した音声を出力してから、ステップ４０に戻る。
【００７８】
一方、ステップ４８の判断処理に従って、変数ｉの値が最大値ｉmax を超えたことを判断するときには、ステップ５１に進んで、無音を出力してから、ステップ４０に戻る。
【００７９】
〔１−５〕第１の実施形態例の処理のまとめ
このようにして、本実施形態例に従う場合、本発明の映像音声受信復号装置２は、映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信すると、その受信した映像符号化データを映像用バッファ２１に格納していくとともに、その受信した音声符号化データを音声用バッファ２２に格納していく。
【００８０】
このとき、映像符号化データについては、映像音声符号化送信装置１におけるキャプチャのフレームレートよりも速い復号速度でもって、映像用バッファ２１から映像符号化データを連続的に読み出して復号していく。従って、通常の場合には、映像用バッファ２１にはほとんど映像符号化データが格納されることなく、映像符号化データの復号が実行されることになる。
【００８１】
一方、音声符号化データについては、映像音声符号化送信装置１におけるキャプチャのフレームレートよりも速い復号速度でもって、音声用バッファ２２から音声符号化データを連続的に読み出して復号していくことになるが、このとき、映像の符号化遅延を考慮して、その分遅らせる形で音声用バッファ２２から音声符号化データを連続的に読み出して復号していく。従って、通常の場合には、音声符号化データについては、符号化遅延分のフレーム数にほぼ一致する音声符号化データが音声用バッファ２２に格納されて、音声符号化データの復号が実行されることになる。
【００８２】
このような処理を行うときに、一時的に映像符号化データ及び音声符号化データの受信量が急激に増加することがあり、これにより、映像用バッファ２１や音声用バッファ２２が満杯となることが起こる。
【００８３】
このような場合には、映像用バッファ２１に入りきれない映像符号化データについては破棄するとともに、音声用バッファ２２に入りきれない音声符号化データについては破棄することになる。このとき、破棄した映像符号化データが後続の映像符号化データに影響を与えるものである場合には、その破棄した映像符号化データにより影響を受ける後続の映像符号化データについては、映像用バッファ２１の格納状態に依らずに破棄することになる。
【００８４】
また、このような処理を行うときに、一時的に映像符号化データ及び音声符号化データの受信量が急激に減少することがあり、これにより、映像用バッファ２１が空の状態になったり、音声用バッファ２２に格納される音声符号化データが符号化遅延分のフレーム数を超えない状態になったりすることが起こる。
【００８５】
このような場合には、新たな映像符号化データが復号されない状態になったり、新たな音声符号化データが復号されない状態になるので、新たな映像符号化データが復号されない状態になることで、出力した映像に続く映像符号化データが復号されない場合には、その出力した映像を出力し続けることになる。また、新たな音声符号化データが復号されない状態になることで、出力した音声に続く音声符号化データが復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力することになる。
【００８６】
このようにして、本発明の映像音声受信復号装置２によれば、ＩＰネットワークなどのネットワークを用いて映像音声伝送を行う場合に、タイプスタンプを用いずに映像と音声の同期再生を実現できるようになる。
【００８７】
〔２〕第２の実施形態例
第１の実施形態例では、映像用バッファ２１が満杯になるときに、映像音声符号化送信装置１から送られてくる映像符号化データを破棄するようにした。
【００８８】
これに対して、第２の実施形態例では、図７に示すように、映像用バッファ２１に対して閾値Ｔｈを設定して、（ｉ）映像用バッファ２１に格納される映像符号化データが閾値Ｔｈを超えていない場合には、映像音声符号化送信装置１から送られてくる映像符号化データを無条件に映像用バッファ２１に格納し、（ii）閾値Ｔｈを超えた場合には、特定のピクチャ（以下、蓄積対象ピクチャと称する）の映像符号化データのみを映像用バッファ２１に格納し、それ以外のピクチャの映像符号化データについては破棄するという構成を採る。
【００８９】
この構成に従うと、一律に映像符号化データを破棄するのではなくて、他のフレームに大きな影響を与える蓄積対象ピクチャに対して優先的な復号処理を行えるようになる。
【００９０】
第２の実施形態例に従う場合、本発明の映像音声受信復号装置２は、図３の処理フローに代えて図８及び図９の処理フローを実行し、それ以外の図４〜図６の処理フローについては第１の実施形態例と同様に実行することになる。
【００９１】
〔２−１〕図８及び図９の処理フローの説明
本発明の映像音声受信復号装置２は、第２の実施形態例に従う場合には、映像音声符号化送信装置１から映像符号化コードを受信すると、図８及び図９の処理フローに示すように、先ず最初に、ステップ６０で、映像用バッファ２１に空きがあるのか否かを判断して、映像用バッファ２１に空きがないことを判断するときには、ステップ６１に進んで、受信した映像符号化コードを破棄する。
【００９２】
続いて、ステップ６２で、破棄した映像符号化コードにより影響を受ける後続の映像符号化コードを破棄して、処理を終了する。
【００９３】
一方、ステップ６０の判断処理に従って、映像用バッファ２１に空きがあることを判断するときには、ステップ６３に進んで、映像用バッファ２１に格納される映像符号化データが閾値Ｔｈを超えているのか否かを判断して、閾値Ｔｈを超えていないことを判断するときには、ステップ６４に進んで、受信した映像符号化コードを映像用バッファ２１に格納して、処理を終了する。
【００９４】
一方、ステップ６３の判断処理に従って、映像用バッファ２１に格納される映像符号化データが閾値Ｔｈを超えていることを判断するときには、ステップ６５に進んで、受信した映像符号化コードのピクチャ種別を判断する。
【００９５】
続いて、ステップ６６で、この判断処理に従って、受信した映像符号化コードのピクチャ種別が蓄積対象のピクチャ種別であることが得られたのか否かを判断して、蓄積対象ピクチャであることを判断するときは、ステップ６７に進んで、受信した映像符号化コードを映像用バッファ２１に格納して、処理を終了する。
【００９６】
一方、ステップ６６の判断処理に従って、受信した映像符号化コードのピクチャ種別が蓄積対象のピクチャ種別でないことを判断するときには、ステップ６８に進んで、受信した映像符号化コードを破棄し、続くステップ６９で、破棄した映像符号化コードにより影響を受ける後続の映像符号化コードを破棄して、処理を終了する。
【００９７】
〔２−２〕第２の実施形態例の処理のまとめ
このようにして、本実施形態例に従う場合、本発明の映像音声受信復号装置２は、映像と音声のフレームがキャプチャされると同時に符号化されることで生成された符号化データのビットストリームを受信すると、その受信した映像符号化データを映像用バッファ２１に格納していくとともに、その受信した音声符号化データを音声用バッファ２２に格納していく。
【００９８】
このとき、映像符号化データについては、映像音声符号化送信装置１におけるキャプチャのフレームレートよりも速い復号速度でもって、映像用バッファ２１から映像符号化データを連続的に読み出して復号していく。従って、通常の場合には、映像用バッファ２１にはほとんど映像符号化データが格納されることなく、映像符号化データの復号が実行されることになる。
【００９９】
一方、音声符号化データについては、映像音声符号化送信装置１におけるキャプチャのフレームレートよりも速い復号速度でもって、音声用バッファ２２から音声符号化データを連続的に読み出して復号していくことになるが、このとき、映像の符号化遅延を考慮して、その分遅らせる形で音声用バッファ２２から音声符号化データを連続的に読み出して復号していく。従って、通常の場合には、音声符号化データについては、符号化遅延分のフレーム数にほぼ一致する音声符号化データが音声用バッファ２２に格納されて、音声符号化データの復号が実行されることになる。
【０１００】
このような処理を行うときに、一時的に映像符号化データ及び音声符号化データの受信量が急激に増加することがあり、これにより、映像用バッファ２１や音声用バッファ２２が満杯に近づいていくことが起こる。
【０１０１】
このような場合、音声については、音声同士の間で優先度が付けられないので、音声用バッファ２２に入りきれない音声符号化データについては破棄することになる。
【０１０２】
一方、映像については、ある１つの閾値を設けて、その閾値を超える場合にあって、フレーム内予測のピクチャのような優先度の高いピクチャの符号化データを受信した場合には、それを映像用バッファ２１に格納し、優先度の低いピクチャの符号化データを受信した場合には、それを破棄することで、優先度の高いピクチャの符号化データについてはできる限り破棄しないようにすることになる。
【０１０３】
そして、そのような制御を行っても映像用バッファ２１が満杯になるときには、映像用バッファ２１に入りきれない映像符号化データについては破棄することになる。このとき、破棄した映像符号化データが後続の映像符号化データに影響を与えるものである場合には、その破棄した映像符号化データにより影響を受ける後続の映像符号化データについては、映像用バッファ２１の格納状態に依らずに破棄することになる。
【０１０４】
また、このような処理を行うときに、一時的に映像符号化データ及び音声符号化データの受信量が急激に減少することがあり、これにより、映像用バッファ２１が空の状態になったり、音声用バッファ２２に格納される音声符号化データが符号化遅延分のフレーム数を超えない状態になったりすることが起こる。
【０１０５】
このような場合には、新たな映像符号化データが復号されない状態になったり、新たな音声符号化データが復号されない状態になるので、新たな映像符号化データが復号されない状態になることで、出力した映像に続く映像符号化データが復号されない場合には、その出力した映像を出力し続けることになる。また、新たな音声符号化データが復号されない状態になることで、出力した音声に続く音声符号化データが復号されない場合には、特定のフレーム数分の間その出力した音声を出力し、その後無音を出力することになる。
【０１０６】
このようにして、本発明の映像音声受信復号装置２によれば、ＩＰネットワークなどのネットワークを用いて映像音声伝送を行う場合に、タイプスタンプを用いずに映像と音声との同期再生を実現できるようになる。
【０１０７】
図８及び図９の処理フローでは、どのようなピクチャを蓄積対象ピクチャとするのかについて記載しなかったが、蓄積対象ピクチャとしては、例えば、ＭＰＥＧ−２やＭＰＥＧ−４で用いるＩピクチャやＩ−ＶＯＰピクチャなどのフレーム内予測のピクチャを用いることになる。
【０１０８】
このようなフレーム内予測のピクチャは他のフレームに対する影響が大きいので、なるべく破棄されないようにすることが好ましいからである。
【０１０９】
本発明の映像音声受信復号装置２は、蓄積対象ピクチャとしてフレーム内予測のピクチャを用いる場合には、図８及び図９の処理フローに代えて、蓄積対象ピクチャがフレーム内予測のピクチャであることを明記した図１０及び図１１の処理フローを実行することになる。
【０１１０】
〔３〕第３の実施形態例
第２の実施形態例では、図７に示したように、映像用バッファ２１に対して閾値Ｔｈを設定して、（ｉ）映像用バッファ２１に格納される映像符号化データが閾値Ｔｈを超えていない場合には、映像音声符号化送信装置１から送られてくる映像符号化データを無条件に映像用バッファ２１に格納し、（ii）閾値Ｔｈを超えた場合には、蓄積対象ピクチャの映像符号化データのみを映像用バッファ２１に格納し、それ以外のピクチャの映像符号化データについては破棄するようにした。
【０１１１】
これに対して、第３の実施形態例では、図１２に示すように、映像用バッファ２１に対して２つの閾値Ｔｈ１とＴｈ２（Ｔｈ１＜Ｔｈ２）とを設定して、（ｉ）映像用バッファ２１に格納される映像符号化データが閾値Ｔｈ１を超えていない場合には、映像音声符号化送信装置１から送られてくるＩ，Ｐ，Ｂピクチャの映像符号化データを無条件に映像用バッファ２１に格納し、（ii）映像用バッファ２１に格納される映像符号化データが閾値Ｔｈ１と閾値Ｔｈ２との間にある場合には、映像音声符号化送信装置１から送られてくるＩ，Ｐピクチャの映像符号化データについては映像用バッファ２１に格納し、映像音声符号化送信装置１から送られてくるＢピクチャの映像符号化データについては破棄し、(iii）映像用バッファ２１に格納される映像符号化データが閾値Ｔｈ２を超えた場合には、映像音声符号化送信装置１から送られてくるＩピクチャの映像符号化データについては映像用バッファ２１に格納し、映像音声符号化送信装置１から送られてくるＰ，Ｂピクチャの映像符号化データについては破棄するという構成を採る。
【０１１２】
この構成に従うと、第２の実施形態例に従うときよりも、きめ細やかな優先的な復号処理を行えるようになる。
【０１１３】
第３の実施形態例に従う場合、本発明の映像音声受信復号装置２は、図３の処理フローに代えて図１３及び図１４の処理フローを実行し、それ以外の図４〜図６の処理フローについては第１の実施形態例と同様に実行することになる。
【０１１４】
〔３−１〕図１３及び図１４の処理フローの説明
本発明の映像音声受信復号装置２は、第３の実施形態例に従う場合には、映像音声符号化送信装置１から映像符号化コードを受信すると、図１３及び図１４の処理フローに示すように、先ず最初に、ステップ８０で、映像用バッファ２１に空きがあるのか否かを判断して、映像用バッファ２１に空きがないことを判断するときには、ステップ８１に進んで、受信した映像符号化コードを破棄する。
【０１１５】
続いて、ステップ８２で、破棄した映像符号化コードにより影響を受ける後続の映像符号化コードを破棄して、処理を終了する。
【０１１６】
一方、ステップ８０の判断処理に従って、映像用バッファ２１に空きがあることを判断するときには、ステップ８３に進んで、受信した映像符号化コードのピクチャ種別を判断する。
【０１１７】
続いて、ステップ８４で、この判断処理に従って、受信した映像符号化コードのピクチャ種別がＢピクチャであることが得られたのか否かを判断して、Ｂピクチャであることを判断するときには、ステップ８５に進んで、映像用バッファ２１に格納される映像符号化データが閾値Ｔｈ１を超えているのか否かを判断する。
【０１１８】
この判断処理に従って、映像用バッファ２１に格納される映像符号化データが閾値Ｔｈ１を超えていないことを判断するときには、ステップ８６に進んで、受信した映像符号化コードを映像用バッファ２１に格納して、処理を終了する。そして、閾値Ｔｈ１を超えていることを判断するときには、ステップ８７に進んで、受信した映像符号化コードを破棄して、処理を終了する。
【０１１９】
一方、ステップ８４の判断処理に従って、受信した映像符号化コードのピクチャ種別がＢピクチャでないことを判断するときには、ステップ８８に進んで、受信した映像符号化コードのピクチャ種別がＰピクチャであるのか否かを判断して、Ｐピクチャであることを判断するときには、ステップ８９に進んで、映像用バッファ２１に格納される映像符号化データが閾値Ｔｈ２を超えているのか否かを判断する。
【０１２０】
この判断処理に従って、映像用バッファ２１に格納される映像符号化データが閾値Ｔｈ２を超えていないことを判断するときには、ステップ９０に進んで、受信した映像符号化コードを映像用バッファ２１に格納して、処理を終了する。そして、閾値Ｔｈ２を超えていることを判断するときには、ステップ９１に進んで、受信した映像符号化コードを破棄し、続くステップ９２で、その破棄した映像符号化コードにより影響を受ける後続の映像符号化コード（具体的にはＢピクチャの映像符号化コード）を破棄して、処理を終了する。
【０１２１】
一方、ステップ８８の判断処理に従って、受信した映像符号化コードのピクチャ種別がＰピクチャでないことを判断するとき、すなわち、受信した映像符号化コードのピクチャ種別がＩピクチャであることを判断するときには、ステップ９３に進んで、受信した映像符号化コードを映像用バッファ２１に格納して、処理を終了する。
【０１２２】
〔３−２〕第３の実施形態例のまとめ
第３の実施形態例の基本的な処理の流れは、第２の実施形態例と同様である。異なる点は、第２の実施形態例では、図７に示すような形態で映像符号化データの格納破棄を制御するのに対して、第３の実施形態例では、図１２に示すような形態で映像符号化データの格納破棄を制御するという点である。
【０１２３】
この構成に従って、第３の実施形態例によれば、第２の実施形態例に従うよりも、きめ細やかな優先的な復号処理を行えるようになる。
【図面の簡単な説明】
【０１２４】
【図１】本発明の適用される映像音声伝送システムの説明図である。
【図２】本発明の映像音声受信復号装置の一実施形態例である。
【図３】第１の実施形態例で実行する処理フローの一例である。
【図４】第１の実施形態例で実行する処理フローの一例である。
【図５】第１の実施形態例で実行する処理フローの一例である。
【図６】第１の実施形態例で実行する処理フローの一例である。
【図７】第２の実施形態例における映像符号化データの格納破棄の説明図である。
【図８】第２の実施形態例で実行する処理フローの一例である。
【図９】第２の実施形態例で実行する処理フローの一例である。
【図１０】第２の実施形態例で実行する処理フローの一例である。
【図１１】第２の実施形態例で実行する処理フローの一例である。
【図１２】第３の実施形態例における映像符号化データの格納破棄の説明図である。
【図１３】第３の実施形態例で実行する処理フローの一例である。
【図１４】第３の実施形態例で実行する処理フローの一例である。
【符号の説明】
【０１２５】
１    映像音声符号化送信装置
２    映像音声受信復号装置
３    ネットワーク
２０  パケット受信破棄手段
２１  映像用バッファ
２２  音声用バッファ
２３  映像復号手段
２４  音声復号手段
２５  映像出力手段
２６  音声出力手段
【図１】
2005348347.tif 000003
【図２】
2005348347.tif 000004
【図３】
2005348347.tif 000005
【図４】
2005348347.tif 000006
【図５】
2005348347.tif 000007
【図６】
2005348347.tif 000008
【図７】
2005348347.tif 000009
【図８】
2005348347.tif 000010
【図９】
2005348347.tif 000011
【図１０】
2005348347.tif 000012
【図１１】
2005348347.tif 000013
【図１２】
2005348347.tif 000014
【図１３】
2005348347.tif 000015
【図１４】
2005348347.tif 000016