(57)【特許請求の範囲】
【請求項１】
映像信号をフレーム内予測により符号化した第１フレームと、映像信号を時間的に前のフレームから動き補償フレーム間予測により符号化した第２フレームとを含むフレームをパケットデータとして送受信することにより映像の通信を行う映像通信装置において、
前記第１フレームの送信後、この第１フレームを参照フレームとする複数個（ｎ個）の第２フレームをそれぞれ生成して以降のｎ個の各送信時点でそれぞれ送信するようにしてｎ系列の第２フレームを生成し送信する第１送信部と、
前記第１送信部による第２フレームの送信後、前記ｎ個の各送信時点でそれぞれ送信されたこれらｎ個の第２フレームをそれぞれ参照フレームとする第２フレームをそれぞれ生成してそれぞれ以降のｎ個の各送信時点で送信する動作を順次繰り返し行うようにしてｎ系列の第２フレームを生成し送信する第２送信部と、
受信側における前記第２フレームの受信エラーを検出する検出部とを備え、
前記第２送信部は、前記検出部により連続して受信エラーとして検出された第２フレームの数がｎ個に満たない場合は、受信エラーとして検出されない他の系列の第２フレームのうち最後に送信した第２フレームを参照フレームとするｎ個の第２フレームをそれぞれ生成してそれぞれ以降のｎ個の各送信時点で送信し、前記検出部により連続して受信エラーとして検出された第２フレームの数がｎ個以上の場合は、前記受信側で正常に受信された最後の第２フレームを参照フレームとするｎ個の第２フレームをそれぞれ生成してそれぞれ以降のｎ個の各送信時点で送信する
ことを特徴とする映像通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばＭＰＥＧ−４等の符号化方式により符号化された映像を、ＲＴＰ（Real−time Transport Protocol）を用いてパケット通信する映像通信装置に関する。
【背景技術】
【０００２】
ＭＰＥＧ−４符号化方式で符号化されたフレームには、フレーム内予測により静止画モードで符号化されたＩフレーム（Intra Picture）と、時間的に前のフレームから動き補償フレーム間予測により符号化されたＰフレーム（Predictive Picture）が含まれている。
【０００３】
こうしたフレームのパケット通信時にパケット損失によってデータの一部が欠落した場合、そのまま復号化処理と画面出力処理を継続すると、対象のフレームだけではなくその後のフレームに対してエラーが波及し、次のＩフレームが到着するまで画面表示が乱れたままになり、その間、映像品質が非常に低下するという問題を生じている。
【０００４】
こうした問題を解消するために、次のような第１および第２の方法が考えられている（非特許文献１，２参照）。すなわち、第１の方法は、受信側でＲＴＰによりパケット損失が検出された場合、次のＩフレームが送られてくるまで映像の更新を中止し、次のＩフレームが送られてきたら映像の更新を再開する方法である。この第１の方法は最後に正常受信した映像の表示を続行する方法でもある。
【０００５】
また、第２の方法は、送信側では受信側からのＲＴＣＰ（RTP Control Protocol）パケットにより、受信側がパケット損失していたことが分かった場合、映像更新の再開を早めるために、次のフレームとしてＩフレームを送信する方法である。
【０００６】
【非特許文献１】映像通信クライアントソフトウェア（樫本晋一、江里通昭、神田智宏、東芝レビューVol.61 No.4（2006)）
【非特許文献２】インテリジェントＱｏＳ（VIDEO COMMUNICATION SYSTEM-TECHNICAL DOCUMENTATION：Sony Corporation June, 2007/Ver 2.1）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
前述した第１の方法の場合は、映像品質が低下するという問題がある。また、第２の方法の場合は、正常な映像を表示するまでの時間を短縮できるが、依然として正常に表示できない時間が存在するとともに、Ｉフレームは１つのフレームの伝送量が多量であることから伝送レートを一定に保持しようとすると、映像の圧縮度を高めて送信することになり、その結果、やはり映像品質が低下するという問題を生じる。
【０００８】
本発明は以上のような問題点に鑑みてなされたものであり、その目的とするところは、符号化されたＩフレームとＰフレームとを含む映像をパケットデータとして通信した時にパケット損失が発生した場合、映像の品質低下を抑制することを目的とする。
【課題を解決するための手段】
【０００９】
このような課題を解決するために本発明は、映像信号をフレーム内予測により符号化したＩフレーム（第１フレーム）と、映像信号を時間的に前のフレームから動き補償フレーム間予測により符号化したＰフレーム（第２フレーム）とを含むフレームをパケットデータとして送受信することにより映像信号の通信を行う映像通信装置において、Ｉフレームの送信後、このＩフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成して以降のｎ個の各送信時点でそれぞれ送信するようにしてｎ系列のＰフレームを生成し送信する第１送信部と、第１送信部によるＰフレームの送信後、ｎ個の各送信時点でそれぞれ送信されたこれらｎ個のＰフレームをそれぞれ参照フレームとするＰフレームをそれぞれ生成してそれぞれ以降のｎ個の各送信時点で送信する動作を順次繰り返し行うようにしてｎ系列のＰフレームを生成し送信する第２送信部と、受信側における前記第２フレームの受信エラーを検出する検出部とを備え、第２送信部は、検出部により連続して受信エラーとして検出されたＰフレームの数がｎ個に満たない場合は、受信エラーとして検出されない他の系列のＰフレームのうち最後に送信したＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成してそれぞれ以降のｎ個の各送信時点で送信し、検出部により連続して受信エラーとして検出されたＰフレームの数がｎ個以上の場合は、受信側で正常に受信された最後のＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成してそれぞれ以降のｎ個の各送信時点で送信することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、Ｉフレームの送信後、このＩフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成して以降のｎ個の各送信時点でそれぞれ送信するようにしてｎ系列のＰフレームを生成し送信する第１送信部と、第１送信部によるＰフレームの送信後、ｎ個の各送信時点でそれぞれ送信されたこれらｎ個のＰフレームをそれぞれ参照フレームとするＰフレームをそれぞれ生成してそれぞれ以降のｎ個の各送信時点で送信する動作を順次繰り返し行うようにしてｎ系列のＰフレームを生成し送信する第２送信部と、受信側における第２フレームの受信エラーを検出する検出部とを備え、第２送信部で、検出部により連続して受信エラーとして検出されたＰフレームの数がｎ個に満たない場合は、受信エラーとして検出されない他の系列のＰフレームのうち最後に送信したＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成してそれぞれ以降のｎ個の各送信時点で送信し、検出部により連続して受信エラーとして検出されたＰフレームの数がｎ個以上の場合は、受信側で正常に受信された最後のＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成してそれぞれ以降のｎ個の各送信時点で送信するようにしたことにより、ＩフレームとＰフレームとを含む映像をパケットデータとして通信した時にＰフレームにパケット損失が発生しこれを受信できなかった場合でも、パケット損失の発生しない他の系列のＰフレームのうち最後に送信したＰフレームを参照フレームとするＰフレームの映像、または、正常受信された最後のＰフレームを参照フレームとするＰフレームの映像を復号化し再生できることから、品質の低下を招くことなく映像の再生を行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明について図面を参照して説明する。
図１は、本発明に係る映像通信装置の構成を示すブロック図である。本映像通信装置は図１に示すように、映像送信装置１と映像受信装置２とから構成される。
【００１４】
ここで、映像送信装置１は図１（ａ）に示すように、カメラ１１と、カメラ１１により撮影された画像を例えばＭＰＥＧ−４等の所定の符号化方式により符号化するエンコーダ１２と、エンコーダ１２により符号化されたデータをＲＴＰ（Real−time Transport Protocol）を用いてパケットデータとして映像受信装置２側へ送信するＲＴＰ送信部１３と、映像受信装置２側からのＲＴＣＰ（RTP Control Protocol）パケットを受信するＲＴＣＰ受信部１４と、ＲＴＣＰ受信部１４により受信されたＲＴＣＰパケットに基づいてエンコーダ１２を制御するエンコーダ制御部１５とから構成される。
【００１５】
一方、映像受信装置２は図１（ｂ）に示すように、映像送信装置１のＲＴＰ送信部１３から送信されるＲＴＰパケットを受信するＲＴＰ受信部２１と、映像送信装置１側へＲＴＣＰパケットを送信するＲＴＣＰ送信部２２と、ＲＴＰパケットの受信エラーに基づくパケット損失をＲＴＰ受信部２１を介して検出すると、“フレームエラー検出”旨のＲＴＣＰパケットをＲＴＣＰ送信部２２から映像送信装置１側へ送信させるように制御する制御部する制御部２３と、ＲＴＰ受信部２１によりＲＴＰパケットとして受信された符号化画像データを制御部２３を介して入力すると画像データとして復号化処理するデコーダ２４と、デコーダ２４により復号化処理された画像データを表示する表示部２５とから構成される。
【００１６】
次に、以上のように構成された映像通信装置の動作の概要について説明する。
映像送信装置１では、エンコーダ制御部１５の制御のもとに、エンコーダ１２が、カメラ１１により撮影された画像を入力して、１つのＩフレーム（Intra Picture）と、その後に続く複数のＰフレーム（Predictive Picture）とに符号化して、順次ＲＴＰ送信部１３に送り、ＲＴＰ送信部１３から映像受信装置２側へＲＴＰパケットとして送信させるようにしている。
【００１７】
この場合、映像受信装置２側では、ＲＴＰ受信部２１がＲＴＰ送信部１３からのＲＴＰパケットを受信し、ＩフレームまたはＰフレームの符号化画像データとして制御部２３へ送り、制御部２３からデコーダ２４へ送出させる。デコーダ２４では、その符号化画データを復号化処理して表示部２５に送り表示させる。
【００１８】
ここで、本発明では図２に示すように、エンコーダ制御部１５の制御のもとに、エンコーダ１２がまずＩフレームＩ０を生成し、ＲＴＰ送信部１３が時点ｔ１でこのＩフレームＩ０を送信（ステップＳ１）した後、エンコーダ１２がこのＩフレームＩ０を参照フレームとし、その参照フレームから動き補償フレーム間予測により符号化した２つのＰフレームＰ１（Ｉ０），Ｐ２（Ｉ０）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ２，ｔ３で送信する（ステップＳ２，Ｓ３）。
【００１９】
次に、エンコーダ１２がこのＰフレームＰ１，Ｐ２を参照フレームとして、その参照フレームＰ１，Ｐ２からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ３（Ｐ１），Ｐ４（Ｐ２）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ４，ｔ５で送信する（ステップＳ４，Ｓ５）。続いて、エンコーダ１２がこのＰフレームＰ３，Ｐ４を参照フレームとして、その参照フレームＰ３，Ｐ４からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ５（Ｐ３），Ｐ６（Ｐ４）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ６，ｔ７で送信する（ステップＳ６，Ｓ７）。
【００２０】
続いて以下同様に、エンコーダ１２がこのＰフレームＰ５，Ｐ６を参照フレームとして、その参照フレームＰ５，Ｐ６からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ７（Ｐ５），Ｐ８（Ｐ６）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ８，ｔ９で送信する（ステップＳ８，Ｓ９）。さらに、エンコーダ１２がこのＰフレームＰ７，Ｐ８を参照フレームとして、その参照フレームＰ７，Ｐ８からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ９（Ｐ７），Ｐ１０（Ｐ８）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ１０，ｔ１１で送信する（ステップＳ１０，Ｓ１１）。さらにまた、エンコーダ１２がこのＰフレームＰ９，Ｐ１０を参照フレームとして、その参照フレームＰ９，Ｐ１０からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ１１（Ｐ９），Ｐ１２（Ｐ１０）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ１２，ｔ１３で送信する（ステップＳ１２，Ｓ１３）。
【００２１】
映像受信装置２のＲＴＰ受信部２１ではこれらのフレームの送信パケットをそれぞれ時点ｔ１’〜ｔ１３’で受信し、フレームデータとして制御部２３へ送る。制御部２３はこれらの符号化されているフレームデータをデコーダ２４に送って復号化処理させ、表示部２５に表示させる。
【００２２】
このように、映像送信装置１では、Ｉフレームを送信した後、次の送信時点ｔ２と、その次の送信時点ｔ３では、上記Ｉフレームを同一の参照フレームとしてそのＩフレームから動き補償フレーム間予測により符号化した２つのＰフレームＰ１（Ｉ０），Ｐ２（Ｉ０）をそれぞれ生成して送信し、さらに、以降、時間的に隣接した２つの送信時点においても同様に、Ｐフレームを参照フレームとしてそのＰフレームから動き補償フレーム間予測により符号化した２つのＰフレームを生成してそれぞれ送信するようにしたものである。
【００２３】
なお、図２及び後述の図３，図４では同一の参照フレームに対して２系列のＰフレームを生成する例を示しているが、ｎ個の系列のＰフレーム系で構成することもできる。この場合、映像送信装置１では、Ｉフレームを送信した後、そのＩフレームを参照フレームとする複数個（ｎ個）のＰフレームをそれぞれ生成して以降の各時点でそれぞれ送信し、その後さらに、前記ｎ個のＰフレームをそれぞれ参照フレームとするｎ個のＰフレームをそれぞれ生成して以降の各時点でそれぞれ送信する。これにより、ｎ個のＰフレーム系を構成することができ、その結果、或る系列のＰフレームのパケット損失が発生した場合でも、映像受信装置２側では、他の系列の正常受信されたＰフレームの映像を復号化し再生できることから、品質の低下を招くことなく映像の再生を行うことができる。
【００２４】
次に、映像送信装置１からパケットデータとして送信された符号化画像データのパケット損失が発生した場合の本映像通信装置における第１および第２の回復動作について説明する。
【００２５】
（第１の実施の形態）
図３は映像送信装置１から送信されたＰフレームのパケット損失が発生した場合の第１の回復動作を示すシーケンス図である。
前述したように、映像送信装置１側ではエンコーダ制御部１５の制御のもとで、エンコーダ１２がまずＩフレームＩ０を生成し、ＲＴＰ送信部１３が時点ｔ１でこのＩフレームＩ０を送信（ステップＳ２１）した後、エンコーダ１２がこのＩフレームＩ０を参照フレームとし、その参照フレームから動き補償フレーム間予測により符号化した２つのＰフレームＰ１（Ｉ０），Ｐ２（Ｉ０）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ２，ｔ３で送信している（ステップＳ２２，Ｓ２３）。
【００２６】
続いて、エンコーダ１２がこのＰフレームＰ１，Ｐ２を参照フレームとして、その参照フレームＰ１，Ｐ２からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ３（Ｐ１），Ｐ４（Ｐ２）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ４，ｔ５で送信している（ステップＳ２４，Ｓ２５）。
【００２７】
ここで、映像受信装置２側では、映像送信装置１側からそれぞれ時点ｔ，ｔ２，ｔ３，ｔ４，…で送信されるフレームＩ０，Ｐ１（Ｉ０），Ｐ２（Ｉ０），Ｐ３（Ｐ１），…を、それぞれ時点ｔ１’，ｔ２’，ｔ３’，ｔ４’，…で受信して復号化し再生することになるが、時点ｔ３’で受信されるべきフレームＰ２（Ｉ０）が受信できずに、次の時点ｔ４’で受信されるべきフレームＰ３（Ｐ１）がＲＴＰ受信部２１により受信された場合は、制御部２３は、フレームＰ２（Ｉ０）を受信エラーとして検出し（ステップＳ２７）、この“フレームＰ２エラー検出”の旨を示すＲＴＣＰパケット（すなわち、エラーとなったＰフレームの番号の範囲を含むパケット損失検出通知パケット）をＲＴＣＰ送信部２２から映像送信装置１側へ送信させる（ステップＳ２８）。
【００２８】
この映像受信装置２側からのＲＴＣＰパケットはＲＴＣＰ受信部１４で受信され、エンコーダ制御部１５に通知される。ここで、エンコーダ制御部１５はこのＲＴＣＰパケットで示されるエラーのフレームがフレームＰ２（Ｉ０）であることを確認すると、次に送信すべきＰフレームが、エラーとなったフレームＰ２を参照フレームとした例えばフレームＰ６（Ｐ４）であれば、エンコーダ１２を制御して、このフレームＰ６（Ｐ４）の送信に代えて、フレームＰ５（すなわち、エラーとなったフレームＰ２の直前に送信されて正常受信されたフレームＰ１を参照フレームのルーツとし最後に送信されたフレームＰ５）を参照フレームとしたフレームＰ６（Ｐ５）を生成させて、時点ｔ７で送信させる（ステップＳ２９）。これにより、映像受信装置２側では、参照フレームが存在するＰフレームのみを受信して復号化しその映像を再生できる。その結果、品質の低下を招くことなく映像を再生することができる。
【００２９】
その後、映像受信装置２側から、エラーとなったＰフレームの番号の範囲を含むパケット損失検出通知パケットが送信されない場合は、エンコーダ制御部１５は、エンコーダ１２を制御して、従前どおりに、エンコーダ１２により、ＰフレームＰ５，Ｐ６を参照フレームとする２つのＰフレームＰ７（Ｐ５），Ｐ８（Ｐ６）を生成させ、これらをＲＴＰ送信部１３からそれぞれ時点ｔ８，ｔ９で送信させる（ステップＳ３０，Ｓ３１）。さらに、エンコーダ１２によりこのＰフレームＰ７，Ｐ８を参照フレームとする２つのＰフレームＰ９（Ｐ７），Ｐ１０（Ｐ８）を生成させ、これらをＲＴＰ送信部１３からそれぞれ時点ｔ１０，ｔ１１で送信させる（ステップＳ３２，Ｓ３３）。さらにまた、エンコーダ１２によりこのＰフレームＰ９，Ｐ１０を参照フレームとする２つのＰフレームＰ１１（Ｐ９），Ｐ１２（Ｐ１０）を生成させ、これらをＲＴＰ送信部１３からそれぞれ時点ｔ１２，ｔ１３で送信させる（ステップＳ３４，Ｓ３５）。映像受信装置２側では、これらの各Ｐフレームを、それぞれ時点ｔ８’〜ｔ１３’で受信して復号化処理し、表示部２５に表示する。
【００３０】
このように、映像受信装置２側から、エラーとなったＰフレームの番号の範囲を含むパケット損失検出通知パケットが送信された場合は、映像送信装置１のエンコーダ制御部１５は、エラーとして通知されたＰフレームを参照フレームとするＰフレームの送信を行わずに、エラーとして通知されていないＰフレームを参照フレームとするＰフレームを生成させ、これの送信を行うように制御する。すなわち、ｎ個のＰフレーム系で構成されている場合、パケット損失したＰフレームの番号の範囲がｎ個未満のときには、映像送信装置１側では映像受信装置２側で正常に受信されている他のＰフレーム系が存在していると判断し、そのＰフレーム系のうち最後に送信したＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成して各時点で送信するようにする。そして、それ以降はさらに、前記ｎ個のＰフレームをそれぞれ参照フレームとするｎ個のＰフレームを生成して各時点で送信する。これにより、ｎ個のＰフレーム系が回復される。
【００３１】
このように第１の実施の形態では、パケット損失したＰフレームの番号の範囲がｎ個未満のときには、映像送信装置１側では映像受信装置２側で正常に受信されている他のＰフレーム系が存在していると判断し、そのＰフレーム系のうち最後に送信したＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成して各時点で送信するようにしたことにより、複数個のＰフレームのパケット損失が発生した場合でも、映像受信装置２側で正常に受信されている他のＰフレーム系が存在している場合は、映像を正常に復号化し再生できることから、伝送帯域の増加やエンコーダの負荷の増加を招くことなく、映像の的確な再生を行うことができる。
【００３２】
（第２の実施の形態）
図４映像送信装置１から送信されたＰフレームのパケット損失が発生した場合の第２の回復動作を示すシーケンス図である。
前述したように、映像送信装置１側ではエンコーダ制御部１５の制御のもとで、エンコーダ１２がまずＩフレームＩ０を生成し、ＲＴＰ送信部１３が時点ｔ１でこのＩフレームＩ０を送信（ステップＳ４１）した後、エンコーダ１２がこのＩフレームＩ０を参照フレームとし、その参照フレームから動き補償フレーム間予測により符号化した２つのＰフレームＰ１（Ｉ０），Ｐ２（Ｉ０）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ２，ｔ３で送信している（ステップＳ４２，Ｓ４３）。
【００３３】
続いて、エンコーダ１２がこのＰフレームＰ１，Ｐ２を参照フレームとして、その参照フレームＰ１，Ｐ２からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ３（Ｐ１），Ｐ４（Ｐ２）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ４，ｔ５で送信している（ステップＳ４４，Ｓ４５）。さらに、エンコーダ１２がこのＰフレームＰ３，Ｐ４を参照フレームとして、その参照フレームＰ３，Ｐ４からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ５（Ｐ３），Ｐ６（Ｐ４）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ６，ｔ７で送信している（ステップＳ４６，Ｓ４７）。
【００３４】
ここで、映像受信装置２側では、映像送信装置１側からそれぞれ時点ｔ１，ｔ２，ｔ３，ｔ４，…で送信されるフレームＩ０，Ｐ１（Ｉ０），Ｐ２（Ｉ０），Ｐ３（Ｐ１），…を、それぞれ時点ｔ１’，ｔ２’，ｔ３’，ｔ４’，…で受信して復号化処理をすることになるが、時点ｔ３’およびｔ４’でそれぞれ受信されるべきフレームＰ２（Ｉ０）およびＰ３（Ｐ１）が受信できずに、次の時点ｔ５’で受信されるべきフレームＰ４（Ｐ２）がＲＴＰ受信部２１により受信された場合は、制御部２３は、フレームＰ２（Ｉ０）およびＰ３（Ｐ１）を受信エラーとして検出し（ステップＳ４８）、この“フレームＰ２及びＰ３エラー検出”の旨を示すＲＴＣＰパケット（すなわち、エラーとなったＰフレームの番号の範囲を含むパケット損失検出通知パケット）をＲＴＣＰ送信部２２から映像送信装置１側へ送信させる（ステップＳ４９）。
【００３５】
この映像受信装置２側からのＲＴＣＰパケットはＲＴＣＰ受信部１４で受信され、エンコーダ制御部１５に通知される。ここで、エンコーダ制御部１５はこのＲＴＣＰパケットで示されるエラーのフレームがフレームＰ２（Ｉ０），Ｐ３（Ｐ１）であることを確認すると、次に送信すべきＰフレームが、エラーとなったフレームＰ２，Ｐ３をそれぞれ参照フレームとした例えばフレームＰ８（Ｐ６），Ｐ７（Ｐ５）であれば、エンコーダ１２を制御して、このフレームＰ８（Ｐ６），Ｐ７（Ｐ５）の送信に代えて、エラー検出されたフレームＰ２，Ｐ３の直前に送信し映像受信装置２側で正常受信されたフレームＰ１を参照フレームとするＰ８（Ｐ１），Ｐ７（Ｐ１）を生成させて、それぞれ時点ｔ９と時点ｔ８で送信させる（ステップＳ５１，Ｓ５０）。これにより、映像受信装置２側では、参照フレームが存在するＰフレームのみを受信して復号化しその映像を再生できる。その結果、品質の低下を招くことなく映像を再生することができる。
【００３６】
その後、映像受信装置２側から、エラーとなったＰフレームの番号の範囲を含むパケット損失検出通知パケットが送信されない場合は、エンコーダ制御部１５は、エンコーダ１２を制御して、従前どおりに、エンコーダ１２により、このＰフレームＰ７，Ｐ８を参照フレームとする２つのＰフレームＰ９（Ｐ７），Ｐ１０（Ｐ８）を生成させ、これらをＲＴＰ送信部１３からそれぞれ時点ｔ１０，ｔ１１で送信させる（ステップＳ５２，Ｓ５３）。さらに、エンコーダ１２によりこのＰフレームＰ９，Ｐ１０を参照フレームとする２つのＰフレームＰ１１（Ｐ９），Ｐ１２（Ｐ１０）を生成させ、これらをＲＴＰ送信部１３からそれぞれ時点ｔ１２，ｔ１３で送信させる（ステップＳ５４，Ｓ５５）。映像受信装置２側では、これらの各Ｐフレームを、それぞれ時点ｔ１０’〜ｔ１３’で受信して復号化処理し、表示部２５に表示する。
【００３７】
このように、映像受信装置２側から、エラーとなったＰフレームの番号の範囲を含むパケット損失検出通知パケットが送信された場合は、映像送信装置１のエンコーダ制御部１５は、エラーとして通知されたＰフレームを参照フレームとするＰフレームの送信を行わずに、エラーとして通知されていないＰフレーム（映像受信装置２側で正常に受信された最後のＰフレーム）を参照フレームとするＰフレームを生成させ、これの送信を行うように制御する。すなわち、ｎ個のＰフレーム系で構成されている場合、パケット損失したＰフレームの番号の範囲がｎ個以上のときには、映像送信装置１側では、映像受信装置２側で正常に受信された最後のＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成して各時点で送信するようにする。そして、それ以降はさらに前記ｎ個のＰフレームをそれぞれ参照フレームとするｎ個のＰフレームを生成してそれぞれ各時点で送信する。これにより、ｎ個のＰフレーム系が回復される。
【００３８】
このように第２の実施の形態では、パケット損失したＰフレームの番号の範囲がｎ個以上のときには、映像送信装置１側では、映像受信装置２側で正常に受信された最後のＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成して各時点で送信するようにしたことにより、連続したｎ個以上の全ての系列のＰフレームのパケット損失が発生した場合でも、伝送帯域の増加やエンコーダの負荷の増加を招くことなく、さらには映像の品質低下を招くことなく、最短の時間で映像の正常な再生を回復できる。
【図面の簡単な説明】
【００３９】
【図１】本発明の映像通信装置の構成を示すブロック図である。
【図２】本映像通信装置を構成する映像送信装置と映像受信装置との間で正常なパケット通信が行われた場合のシーケンス図である。
【図３】本映像通信装置を構成する映像送信装置と映像受信装置との間のパケット通信時にパケット損失が発生した場合のシーケンス図である。
【図４】本映像通信装置を構成する映像送信装置と映像受信装置との間のパケット通信時にパケット損失が発生した場合のシーケンス図である。
【符号の説明】
【００４０】
１…映像送信装置、２…映像受信装置、１１…カメラ、１２…エンコーダ、１３…ＲＴＰ送信部、１４…ＲＴＣＰ受信部、１５…エンコーダ制御部、２１…ＲＴＰ受信部、２２…ＲＴＣＰ受信部、２３…制御部、２４…デコーダ、２５…表示部。
【図１】
0005098784.tif 000002
【図２】
0005098784.tif 000003
【図３】
0005098784.tif 000004
【図４】
0005098784.tif 000005