(57)【特許請求の範囲】
【請求項１】
動画像データをフレーム内モードまたはフレーム間モードで圧縮した圧縮画像データを通信ネットワークを介して送信する送信装置と、上記圧縮画像データを受信して伸張する受信装置とを含む動画像データ通信システムにおいて、
受信装置は、フレーム内モードの圧縮画像データのエラーを検出したときに生成される再送コマンドを含む各種コマンドを生成するコマンド生成部と、フレーム間モードの圧縮画像データのエラーを検出したときにフレーム内モードコマンドを生成するよう上記コマンド生成部を制御する送信制御部と、上記コマンド生成部が生成したコマンドを送信する送信部とを含み、
送信装置は、上記フレーム内モードコマンドに基づいてこれから処理するフレームデータをフレーム内モードで圧縮する圧縮部と、該圧縮部が処理した圧縮画像データを送信する処理を行い、上記再送コマンドに基づいてエラーの発生した圧縮画像データを再送する機能を有する送信部とを含む
動画像データ通信システム。
【請求項２】
受信装置は、フレーム間モードの圧縮画像データのエラーの検出によりエラー発生データに関する圧縮画像データを破棄するデータ破棄手段と、上記エラーの検出によりフレーム内モードの圧縮画像データを受信するまで受信データを破棄する受信データ破棄手段とを備えた受信部を含む
請求項１記載の動画像データ通信システム。
【請求項３】
送信部は、フレーム内モードコマンドに基づいて送信待ちとなっている圧縮画像データを破棄する送信データ破棄手段を備える
請求項２記載の動画像データ通信システム。
【請求項４】
コマンド生成部は、エラーが発生したあと所定時間が経過したときまでに正常な受信がされないときは、再送コマンドを生成することなく、再度フレーム内モードコマンドを生成する
請求項１から請求項３のうちいずれか１項に記載の動画像データ通信システム。
【請求項５】
コマンド生成部は、最初に再送されたフレーム内モードの圧縮画像データを受信したあと所定時間が経過したときまでに正常な受信がされないときは、再度フレーム内モードコマンドを生成する
請求項１から請求項３のうちいずれか１項に記載の動画像データ通信システム。
【請求項６】
所定時間は、フレーム内モードの画像データの送信間隔の半分の時間よりも短い時間とした
請求項５記載の動画像データ通信システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、圧縮処理した動画像データの送受信をネットワークを介して行なう動画像データ通信システムに関し、特に、エラー発生頻度の高いネットワークに用いるのに適した動画像データ通信システムに関する。
【０００２】
【従来の技術】
従来から、ネットワークを介して動画像データを伝送し、送信先で動画像の再生を行なう通信システムが開発されている。このような通信システムは、取り扱うデータ量が大きいため、送信側でデータ圧縮などを行なったあとネットワークに送出し、受信側でデータ伸張して再生する構成とされている。
【０００３】
【発明が解決しようとする課題】
しかし、上述のシステムでは、圧縮した動画像データを含むパケットが伝送路上で損失した場合や、ネットワーク上でノイズが混入するなどしてデータ誤りといったエラーが発生した場合には、修正処理を行なうことなくそのまま無視するようにしていた。すなわち、上述のシステムでは、エラーが発生した場合に、一定の間隔で送信されてくるフレーム内モードの画像データによって全画面が更新されるまで画面の更新を停止するか、エラーによって乱れた画像を表示し続けるようにしていた。このように、エラーが発生したときにそのまま無視して全画面が更新されるまで待つようにすると、次のフレーム内モードの画像フレームが送信されてくるまで画像が更新されないか、あるいは、エラーによって乱れた画像を表示し続けることになる。また、その間に送信されてくるフレーム間モードのデータは正しく伸張することができない。従って、表示画面が見づらいものとなると共に、無駄となるデータをネットワーク上に流してしまうことになるという問題があった。
【０００４】
また、エラーが発生した場合に、受信側が送信側に対して再送要求を通知してエラーが起こったデータを再度送信するようにし、正しいデータを受け取ったら画面を更新することが考えられる。しかし、エラー発生時に送信側に再送要求を通知してエラーが起こったフレームのデータを再送すると、再送要求通知や再度同じデータを送る処理の時間が必要となる。従って、画像フレームが正常に再送されたときに、その画像フレームは既に通常よりも遅延したものとなってしまうという問題がある。また、再送要求が何度も繰返されて無駄なデータをネットワーク上に繰返し流すことになるという問題もある。このような問題は、特に、エラー発生頻度が高いネットワークで著しい。
【０００５】
さらに、エラーが発生した場合に、送信側に対してフレーム内モードで圧縮処理して送信する要求を通知して、そのフレーム内モードの画像フレームデータが送られてきたときに全画面を更新することが考えられる。しかし、エラー発生時に送信側に対してフレーム内モードの画像フレームの送信要求を通知する方法では、要求したフレーム内モードの画像フレームを送信している間にエラーが発生した場合にそのデータが無駄となるだけでなく、再度フレーム内モード画像フレームの送信要求を通知する必要がある。このため、上記のシステムは、特にネットワークのエラー発生頻度が高い状態ではフレーム内モード画像フレームの送信要求を繰返し通知することになる。従って、画像の更新時間が長くなってしまうことに加えて、無駄となる多くのデータをネットワーク上に繰返し流してしまうという問題がある。
【０００６】
本発明は上述した問題を解消し、特にエラー発生頻度が高い動画像通信ネットワークにおいて、無駄なデータをネットワーク上に送出してしまうことを最小限にとどめ、動画像の伝送遅れを抑制すると共に、表示画面の更新間隔を短縮することを目的とする。
【０００７】
【課題を解決するための手段】
上記の問題を解決するために、本発明は、動画像データをフレーム内モードまたはフレーム間モードで圧縮した圧縮画像データを通信ネットワークを介して送信する送信装置と、圧縮画像データを受信して伸張する受信装置とを含む動画像データ通信システムにおいて、受信装置は、フレーム内モードの圧縮画像データのエラーを検出したときに生成される再送コマンドを含む各種コマンドを生成するコマンド生成部と、フレーム間モードの圧縮画像データの受信の際にパケット損失またはデータ誤りのエラーを検出したときに再送コマンドではなくフレーム内モードコマンドを生成するようコマンド生成部を制御する送信制御部と、コマンド生成部が生成したコマンドを送信する送信部とを含み、送信装置は、フレーム内モードコマンドに基づいてこれから処理するフレームデータをフレーム内モードで圧縮する圧縮部と、圧縮部が処理した圧縮画像データを送信する処理を行い、再送コマンドに基づいてエラーの発生した圧縮画像データを再送する機能を有する送信部とを含むものである。
【０００８】
上記の構成としたことで、動画像の伝送遅れを抑制すると共に、表示画面の更新間隔を短縮することができる。
【０００９】
【発明の実施の形態】
本発明の第１の実施の形態について図面を参照して説明する。
図１は、本例の動画像データ通信システム１００の構成を示すブロック図である。動画像データ通信システム１００は、２つの動画像データ通信装置１１０，１２０と、ネットワークインタフェース１３０，１４０と、例えばインターネットなどの通信ネットワーク１９０とを含む。本例では、動画像データ通信装置１１０，１２０は、それぞれ同一の構成をなしており、それぞれ動画像データの送受信機能を有している。各動画像データ通信装置１１０，１２０は、それぞれネットワークインタフェース１３０，１４０を介してネットワーク１９０に接続されている。各動画像データ通信装置１１０，１２０は、それぞれ、例えばビデオカメラ装置などの映像入力装置から画像を１フレームずつディジタル化して取り込む画像取り込み装置１５０，１６０と、例えばＣＲＴ（陰極線管）やＬＣＤ（液晶表示装置）などで構成されるの画像表示装置１７０，１８０とが接続されている。なお、ネットワークに接続される動画像データ通信装置は、いくつであっても良い。
【００１０】
図２は、動画像データ通信装置１１０の構成を示すブロック図である。動画像データ通信装置１１０は、画像圧縮部１１１と、誤り検出符号付加部１１２と、パケット送信部１１３と、パケット受信部１１４と、誤り検出部１１５と、画像伸張部１１６と、パケット損失検出部１１７と、コマンド生成解析部１１８と、送信制御部１１９とを含む。なお、動画像データ通信装置１２０の構成については、動画像データ通信装置１１０の構成と同一であるため、その詳細な説明は省略する。
【００１１】
画像圧縮部１１１は、例えばＩＴＵ−Ｔ（電気通信標準化部門）のＨ．２６１勧告やＩＳＯ（国際標準化機構）のＭＰＥＧ標準で定められているフレーム内およびフレーム間での画像圧縮符号化方式を用いてデータ圧縮処理を行なう。画像圧縮部１１１は、画像取り込み装置１５０から入力される画像データを、１フレーム毎に縦横複数個のマクロブロックと呼ばれる小画面に分割して、そのマクロブロック単位でデータ圧縮を行なう。
【００１２】
誤り検出符号付加部１１２は、画像圧縮部１１１から小画面単位で出力される圧縮データそれぞれの先頭に誤り検出用の符号を生成して付加する。
【００１３】
パケット送信部１１３は、誤り検出符号付加部１１２から出力されるデータに、送信先でパケット損失を検出するための連続番号や、送信先のアドレス情報などを付加してパケット化する。また、パケット送信部１１３は、ネットワークインタフェース１３０を制御してネットワーク１９０にパケット化したデータを送出する。パケット送信部１１３は、送信先からフレーム間モードの圧縮画像データにエラーが発生した旨の通知を受けたときは、内部バッファにて送信待ちとなっている圧縮画像データを破棄する送信データ破棄機能を有する。
【００１４】
パケット受信部１１４は、ネットワークインタフェース１３０を制御して、ネットワーク１９０を介して伝送されてきたパケットを受信する。また、パケット受信部１１４は、受信したパケットに付加されているパケット損失検出用の連続番号を抽出してパケット損失検出部１１７に通知する。パケット受信部１１４は、パケット損失検出部１１７においてフレーム間モードの圧縮画像データにパケット損失があることが検出された場合に、損失したパケットを含んでいるフレームデータのうちの既に受信したデータを破棄する受信済データ破棄機能を有している。また、パケット受信部１１４は、フレーム間モードの圧縮画像データについてパケット損失が検出されたあとは、フレーム内モードの画像データを受信するまで受信データ（フレーム間モードで圧縮された画像データ）を破棄する受信データ破棄機能を有している。
【００１５】
誤り検出部１１５は、受信した各パケットに付加されている誤り検出符号を検査することにより、データ誤りがあるかどうかの判断を行なう。データ誤りがあると判断した場合には、誤り検出部１１５は、エラーを検出したことを送信制御部１１９に通知する。誤り検出部１１５は、フレーム間モードの圧縮画像データにデータ誤りがあることを検出した場合に、誤りのあるデータをその場で破棄する誤りデータ破棄機能を有している。また、誤り検出部１１５は、フレーム間モードの圧縮画像データについてデータ誤りが検出されたあとは、フレーム内モードの画像データを受信するまで受信データ（フレーム間モードで圧縮された画像データ）を破棄する受信データ破棄機能を有している。
【００１６】
画像伸張部１１６は、受信した圧縮画像データを伸張して小画面に分割されていた画像フレームを再構成する。
【００１７】
パケット損失検出部１１７は、パケット受信部１１４から受信した各パケットに付加されている連続番号の通知を受け、その番号に基づいてネットワーク上で消失したパケットの有無を検出する。すなわち、パケット損失検出部１１７は、例えば一定時間内（例えば０．５秒程度）に連続番号を構成するためのパケットが受信されたかった場合には、ネットワーク上でパケットが損失したものと判断する。パケット損失検出部１１７は、パケットが損失したと判断すると、エラーを検出したことを送信制御部１１９に通知する。
【００１８】
コマンド生成解析部１１８は、受信データにエラーが発生した時に送信制御部１１９の指示により送信側に通知するためのコマンドを生成し、送信側のコマンド生成解析部に対してパケット送信部１１３を介してコマンドパケットを送信する。また、コマンド生成解析部１１８は、パケット受信部１１４で受信したコマンドパケットを受け取ってコマンドの解析を行なう。
【００１９】
送信制御部１１９は、装置１１０全体の制御を行なう。送信制御部１１９は、パケット損失検出部１１７および誤り検出部１１５で検出されたエラー情報を取得し、コマンド生成解析部１１８に対してエラーの通知や再送要求を行なうためのコマンドを発行するよう要求する。また、送信制御部１１９は、相手端末側からエラー発生や再送要求のコマンドを受信した場合、コマンド生成解析部１１８からの要求に応じて、画像圧縮部１１１を制御してフレーム内モードの圧縮画像データを生成するように要求したり、パケット送信部１１３内部のバッファに保持されているフレーム内モードの圧縮画像データを再送するように要求する。
【００２０】
次に、動画像データ伝送システム１００における動画像データ伝送処理について、送信処理、正常受信処理、エラー発生時の処理に分けて、図面を参照して説明する。なお、ここでは動画像データ通信装置１１０から、動画像データ送信装置１２０に向けて動画像データを伝送する場合のデータ伝送処理について説明する。また、以下の説明において、動画像データ通信装置１２０の各部には、動画像データ通信装置１１０の各部に対応する符号を付与するものとする。
【００２１】
（ａ）送信側の動画像データ通信装置１１０による送信処理
画像取り込み装置１５０から入力した動画像データをネットワーク１９０に送出する際には、先ず、動画像データ通信装置１１０の画像圧縮部１１１は、画像取り込み装置１５０から順次入力されるフレーム画像データを、取り扱う画像データやフレームレートなどに応じて設定したほぼ一定（例えば、０．５秒〜１５秒程度の範囲内毎）の間隔でフレーム内モードの圧縮処理を行い、フレーム内モードの各画像フレームの間にあるフレームはフレーム間モードで圧縮処理する。
【００２２】
なお、フレーム内モードの圧縮処理を行なう間隔は、処理を行なう動画像の対象が、例えばテレビジョン放送などの一般の映像（ある程度動きが激しい映像）であるか、あるいはテレビ会議や遠隔監視システムなどの映像（動きが少ない映像）であるかなどにより、間隔を定める上で考慮すべき範囲が異なる。すなわち、テレビジョン放送などの一般の映像を対象とする場合は、ＭＰＥＧ１標準やＭＰＥＧ２標準を用いて、例えば０．５秒から１秒間隔と定めるようにする。また、テレビ会議などの映像を対象とする場合は、ＩＴＵ−ＴのＨ．２６１勧告やＨ．２６３勧告などを用いる。例えばＨ．２６１勧告によれば少なくとも１３２フレームに１回の間隔と定められており、フレームレートが最高で３０［フレーム／秒］の場合は４．４秒間隔となり、一般には回線伝送速度の関係から１０〜１５［フレーム／秒］であるため８．８秒〜１３．２秒間隔となる。従って、テレビ会議システムなどの動きの少ない映像を対象とする場合は、例えば５秒から１５秒程度の範囲でフレーム内モードで処理する間隔を設定する。また、一般のビデオカメラなどの映像を対象とする場合は、例えば１秒から５秒程度の範囲でフレーム内モードで処理する間隔を設定する。なお、フレーム内モードで処理する間隔の設定は、対象とする動画像データの内容や用途などに応じて上述した範囲以外の値に設定しても良い。
【００２３】
データ圧縮を行なうと、画像圧縮部１１１は、圧縮データを誤り検出符号付加部１１２に出力する。誤り検出符号付加部１１２は、受信した圧縮データに誤り検出符号を付加してパケット送信部１１３に出力する。そして、パケット送信部１１３は、入力した画像圧縮データをパケット化し、パケット化した画像圧縮データをネットワークインタフェース１３０を経由してネットワーク１９０に送出する。パケット送信部１１３は、１フレーム分のパケットデータが正常に送信されたと判断すると、送信したフレームデータを内部に有するバッファから削除すると共に、次の画像フレームのパケット化した画像圧縮データの送信を開始する。このようにして、動画像データ通信装置１１０は、ネットワーク１９０にパケット化した圧縮データを順次送出し、動画像データの送信を行なう。
【００２４】
（ｂ）受信側の動画像データ通信装置１２０の正常受信処理
送信側の動画像データ通信装置１１０によりパケットデータが順次送信されると、受信側の動画像データ通信装置１２０のパケット受信部１２４は、ネットワークインタフェース１４０を制御して、ネットワーク１９０からパケットデータを受信する。パケット損失検出部１２７でのパケット損失の検出、または誤り検出部１２５でのデータ誤りの検出がなければ、受信した圧縮画像データを画像伸張部１２６にて伸張すると共に小画面に分割されていた画像フレームを再構成する。そして、画像伸張部１２６は、再構成した画像フレームを順次画像表示装置１８０に出力する。
【００２５】
（ｃ）受信側の動画像データ通信装置１２０でフレーム間モードで圧縮されたデータの受信の際にエラーが検出された場合のシステム１００の処理
受信側装置１２０のパケット損失検出部１２７は、パケット受信部１２４で受信した各パケットに付加されている番号を調べることによりパケット損失を検出すると、パケット損失があったことを送信制御部１２９に通知する。また、パケット損失が検出されると、パケット受信部１２４は、内部バッファに保持している損失したパケットを含んでいるフレームデータを破棄する。
【００２６】
また、受信側装置１２０の誤り検出部１２５が、パケットに付加されている誤り検出符号を検査することによりデータ誤りがあることを検出すると、誤り検出部１２５は、データ誤りがあったことを送信制御部１２９に通知すると共に、誤りのある圧縮画像データを画像伸張部１２６に送ることなく直ちに破棄する。
【００２７】
そして、パケット損失またはデータ誤りがあることを検出して、上述のようにエラー発生に関するデータを破棄すると、パケット受信部１２４または誤り検出部１２５は、そのあとフレーム内モードの画像データを受信するまで、受信したデータ（フレーム間モードで圧縮された画像データ）を破棄する。
【００２８】
動画像データ通信装置１２０の送信制御部１２９は、例えば図３に示すように、フレーム間モードの圧縮画像データを受信しているある時刻Ａに、パケット損失検出部１２７または誤り検出部１２５からエラー検出の通知を受けると、コマンド生成解析部１２８にフレーム内モードの画像フレームを送信要求するコマンド（以下、「フレーム内モードコマンド」という）３１を発行するように要求する。コマンド生成解析部１２８は、パケット送信部１２３にフレーム内モードコマンド３１を含むパケットを生成して送信側装置１１０に送信するよう要求する。パケット送信部１２３は、ネットワークインタフェース１４０、ネットワーク１９０、およびネットワークインタフェース１３０を介して、送信側装置１１０に向けてフレーム内モードコマンド３１を含むパケットを出力する。
【００２９】
フレーム内モードコマンド３１は、送信側装置１１０のパケット受信部１１４により受信され、コマンド生成解析部１１８に入力される。コマンド生成解析部１１８は、コマンド３１の内容を解析し、フレーム内モードの画像フレームの送信が要求されたことを検出する。そして、コマンド生成解析部１１８は、コマンド３１の解析結果を送信制御部１１９に通知する。送信制御部１１９は、パケット送信部１１３に対してパケット送信部１１３が内部に有するバッファで送信待ちとなっている圧縮画像データを破棄するように要求する。また、送信制御部１１９は、画像圧縮部１１１にこれから処理を行なおうとしていたフレームデータをフレーム内モードで圧縮処理するよう要求する。
【００３０】
パケット送信部１１３は、送信制御部１１９の要求に応じて内部に有するバッファに保持している圧縮画像データを破棄する。また、画像圧縮部１１１は、送信制御部１１９の要求に応じてフレーム内モードで圧縮した画像フレームを生成する。そして、フレーム内モードで圧縮されたフレームデータは、検出符号付加部１１２やパケット送信部１１３などを介して受信側装置１２０に向けてネットワーク１９０に送出される。
【００３１】
受信側の動画像データ通信装置１２０のパケット受信部１２４は、ネットワーク１９０などを介してフレーム内モードの圧縮画像データ３２を受信する。フレーム内モード圧縮画像データ３２は、パケット損失検出部１２７でのパケット損失の検出、および誤り検出部１２５でのデータ誤りの検出がなければ、画像伸張部１２６に送られ、正常な受信処理が行われる。すなわち、画像伸張部１２６は、受信した圧縮画像データを伸張すると共に小画面に分割されていた画像フレームを再構成する。画像伸張部１２６は、再構成した画像フレームを順次画像表示装置１８０に出力する。そして、画像表示装置１８０では、全画面の表示が更新されて、正常な受信処理が行われるようになる。
【００３２】
ここで、受信側装置１２０の要求に応じて送信側装置１１０より送信されたフレーム内モードの圧縮画像データ３２の受信処理において、例えば図３に示す時刻Ｂに、パケット損失検出部１２７または誤り検出部１２５にてエラーが検出された場合の処理について説明する。先ず、送信制御部１２９は、パケット損失検出部１２７または誤り検出部１２５からエラー検出の通知を受ける。すると、送信制御部１２９は、コマンド生成解析部１２８に圧縮画像データ３２に含まれているパケット３４（受信側でエラーが発生してしまったパケット。以下、「エラーパケット」という。）の再送要求コマンド３３を発行するように要求する。コマンド生成解析部１２８は、再送要求コマンド３３を発行して、パケット送信部１２３に再送要求コマンド３３のパケットを送信側装置１１０に送信するよう要求する。パケット送信部１２３は、パケット化された再送要求コマンド３３を、ネットワークインタフェース１４０、ネットワーク１９０、およびネットワークインタフェース１３０を介して送信側装置１１０に通知する。
【００３３】
再送要求コマンド３３は、送信側装置１１０のパケット受信部１１４により受信され、コマンド生成解析部１１８に入力される。コマンド生成解析部１１８は、コマンド３３の内容を解析し、圧縮画像データ３２のエラーパケット３４が再送要求されたことを検出する。コマンド生成解析部１１８は、コマンド３３解析の結果を送信制御部１１９に通知する。送信制御部１１９は、パケット送信部１１３に対し、パケット送信部１１３が内部に有するバッファに保持しているエラーパケット３４を再送するように要求する。パケット送信部１１３は、送信制御部１１９の要求に応じて、エラーパケット３４を受信側装置１２０に向けてネットワーク１９０に再送する。
【００３４】
受信側の動画像データ通信装置１２０のパケット受信部１２４は、ネットワーク１９０などを介して圧縮画像データ３２のエラーパケット３４を再度受信する。エラーパケット３４は、パケット損失検出部１２７でのパケット損失の検出、および誤り検出部１２５でのデータ誤りの検出がなければ、画像伸張部１２６に送られ、上述したような正常な受信処理が行われるようになる。
【００３５】
ここでさらに、受信側装置１２０の要求に応じて送信側装置１１０より再送された圧縮画像データ３２のエラーパケット３４の受信処理において、例えば図３に示す時刻Ｃに、パケット損失検出部１２７または誤り検出部１２５にてエラーが検出された場合の処理について説明する。エラーパケット３４の受信処理においてエラーが検出されたときには、再び上述した時刻Ｂ以降の処理を繰り返す。すなわち、再送要求コマンド３３を、再度送信側装置１１０に通知する。そして、圧縮画像データ３２のエラーパケット３４が正しく受信されるまで上述した処理を繰り返す。
【００３６】
しかし、エラーの発生頻度が高いために再送動作を繰返し、例えば図３に示す時刻Ｄになってもエラーパケット３４が正しく受信されない場合には、圧縮画像データ３２に基づく画面の更新を断念する。この場合、時刻Ｄは、本例では、時刻Ａのあとのコマンド３１の通知により要求した圧縮画像データ３２を受信した時点から、フレーム内モードの画像データを送信する間隔の半分の時間が経過したときの時刻とする。なお、時刻Ｄを定める場合に、測定を開始する時点は上記以外の時点（例えば、時刻Ａ）であっても良い。また、測定時間は、遅延の少ない画像で更新できるようにするため、フレーム内モードの画像データを送信する間隔よりも短い時間であれば上記以外の時間（例えば、フレーム内モードの画像データ送信間隔の１／４の時間）であっても良い。この場合、測定を開始する時点を時刻Ａとするときには、使用するシステムでの送受信装置間の往復にかかる時間を考慮して測定時間を定める（例えば、往復時間が１秒である場合には、測定時間をフレーム内モードの画像データを送信する間隔の半分の時間に１秒加算した時間などと定めるようにする）。
【００３７】
そして、動画像データ通信装置１２０は、上述した時刻Ａ以降の処理と同様の処理を行なう。すなわち、動画像データ通信装置１２０は、フレーム内モードコマンド３１を送信側装置１１０に向けて送出する。通知を受けた送信側装置１１０の送信制御部１１９は、パケット送信部１１３に対して送信待ちとなっている圧縮画像データを破棄するように要求する。また、送信制御部１１９は、画像圧縮部１１１にこれから処理を行なう画像フレームをフレーム内モードで圧縮するよう要求する。
【００３８】
パケット送信部１１３は、送信制御部１１９の要求に応じて送信待ちとなっている圧縮画像データを破棄する。また、画像圧縮部１１１は、送信制御部１１９の要求に応じてフレーム内モードで処理した圧縮画像データ３５を生成する。そして、圧縮画像データ３５は、検出符号付加部１１２やパケット送信部１１３などを介して受信側装置１２０に向けてネットワーク１９０に出力される。
【００３９】
受信側の動画像データ通信装置１２０のパケット受信部１２４は、ネットワーク１９０などを介して圧縮画像データ３５を受信する。圧縮画像データ３５は、パケット損失検出部１２７でのパケット損失の検出、および誤り検出部１２５でのデータ誤りの検出がなければ、画像伸張部１２６に送られ、上述したと同様に正常な受信処理が行われる。
【００４０】
なお、受信側装置１２０においてフレーム内モードで圧縮されたデータの受信の際に最初のエラーが検出された場合は、動画像データ通信システム１００は、上述した時刻Ｂ以降の処理を行なう。
【００４１】
以上説明したように、フレーム間モードの圧縮画像データの受信の際にエラーが発生したときは再送要求は行なわず、これから処理が行われるフレームデータをフレーム内モードの圧縮画像データとして送信要求する構成としたことで、現在送信中の残りのパケットを送信しなくて済み、無駄なデータをネットワーク上に送出してしまうことを最小限に止めることができ、動画像の伝送遅れを抑制すると共に、表示画面の更新間隔を短縮することができる。かかる効果は、特にエラー発生頻度が高い動画像通信ネットワークにおいて顕著に発揮される。
【００４２】
また、上述したようにフレーム内モードで圧縮した画像フレームを受信しているときにエラーを検出した場合にのみ再送要求を行なう構成としたことで、迅速にフレーム内モードの画像フレームにて画面表示の更新を行うことができ、動画像の伝送遅れを抑制すると共に、表示画面の更新間隔を短縮することができる。
【００４３】
さらに、上述したように再送動作を行なう際に一定期間内に正しいデータが受信できなかった場合には再送動作を停止し、次のフレーム内モードの画像データを送信する構成としたことで、ネットワークのエラー発生頻度が高い場合であっても、ネットワーク上での無駄な再送データを減らすことができ、画像データの遅延も最小限に抑えることができる。
【００４４】
次に、本発明の第２の実施の形態について説明する。
本例では、上述した図１、図２に示した動画像データ通信システム１００により、特にＭＰＥＧ２を用いた場合の画像データ通信処理について、送信処理、正常受信処理、エラー発生時の処理に分けて、図面を参照して説明する。また、本例では、上述した第１の実施の形態で既に説明した構成および処理と同様の構成および処理となる各部についての詳細な説明は省略する。なお、ここでは動画像データ通信装置１１０から、動画像データ送信装置１２０に向けて動画像データを伝送するとした場合のデータ伝送処理について説明する。また、以下の説明において、動画像データ通信装置１２０の各部には、動画像データ通信装置１１０の各部に対応する符号を付与するものとする。
【００４５】
（ａ）送信側の動画像データ通信装置１１０による送信処理
画像取り込み装置１５０から入力した動画像データをネットワーク１９０に向けて送出する際には、先ず、送信側の動画像データ通信装置１１０の画像圧縮部１１１は、画像取り込み装置１５０から順次入力されるフレーム画像データの画像フォーマットに対応した処理を行い、ほぼ一定の間隔（０．５〜１秒程度）でフレーム画像データに基づいてＩピクチャを生成する。また、画像圧縮部１１１は、各Ｉピクチャの画像フレーム間にあるフレーム画像データをＰピクチャ（あるいは、ＰピクチャまたはＢピクチャ）として圧縮処理する。
【００４６】
なお、Ｉピクチャを生成する間隔は、本例ではＭＰＥＧ２標準を用いて、ある程度動きの激しい映像に関する動画像データの処理を想定しているため、０．５秒から１秒間隔としている。なお、Ｉピクチャを生成する間隔の設定は、対象とする動画像データなどに応じて上述した範囲以外の値に設定しても良い。
【００４７】
生成された各ピクチャは、それぞれ誤り検出符号付加部１１２にて誤り検出符号が付加され、パケット送信部１１３にてパケット化されてネットワークインタフェース１３０を経由してネットワーク１９０に送出される。パケット送信部１１３は、１フレーム分のパケットデータが正常に送信されたと判断すると、送信したフレームデータを削除すると共に、次のフレームをパケット化した画像圧縮データの送信を開始する。このようにして、動画像データ通信装置１１０は、ネットワーク１９０に各ピクチャのデータを順次送出し、動画像データの送信を行なう。
【００４８】
（ｂ）受信側の動画像データ通信装置１２０の正常受信処理
受信側装置１２０のパケット受信部１２４は、動画像データ通信装置１１０により送信された各ピクチャのパケットデータを受信する。受信データにエラーがなければ、画像伸張部１２６が、圧縮画像データの伸張処理および画像フレームの再構成を行なう。そして、画像伸張部１２６は、再構成した画像フレームを順次画像表示装置１８０に出力する。
【００４９】
（ｃ）受信側の動画像データ通信装置１２０においてＰピクチャまたはＢピクチャの受信の際にエラーが検出された場合のシステム１００の処理
パケット損失検出部１２７は、受信側装置１２０におけるＰピクチャまたはＢピクチャの受信処理の際にパケット損失を検出すると、エラーがあったことを送信制御部１２９に通知する。また、パケット損失が検出されると、パケット受信部１２４は、損失したパケットを含むＰピクチャまたはＢピクチャのデータを破棄する。
【００５０】
また、誤り検出部１２５は、受信側装置１２０におけるＰピクチャまたはＢピクチャの受信処理の際にデータ誤りを検出すると、エラーがあったことを送信制御部１２９に通知すると共に、誤りのあるパケットを破棄する。
【００５１】
そして、上述したようにエラー発生に関するデータを破棄すると、パケット受信部１２４は、その後Ｉピクチャが送られてくるまで受信したデータを破棄する。
【００５２】
動画像データ通信装置１２０の送信制御部１２９は、例えば図４に示すように、時刻Ａにエラーの通知を受けると、コマンド生成解析部１２８にＩピクチャを送信要求するコマンド（以下、「Ｉピクチャコマンド」という）４１を発行するように要求する。コマンド生成解析部１２８は、パケット送信部１２３にＩピクチャコマンド４１のパケットを送信側装置１１０に送信するよう要求する。パケット送信部１２３は、送信側装置１１０に向けてＩピクチャコマンド４１を送信する。
【００５３】
Ｉピクチャコマンド４１は、送信側装置１１０のパケット受信部１１４により受信され、コマンド生成解析部１１８に入力される。コマンド生成解析部１１８は、コマンドの内容を解析してＩピクチャの送信が要求されたことを検出する。そして、コマンド生成解析部１１８は、送信制御部１１９にコマンドの解析結果を通知する。送信制御部１１９は、パケット送信部１１３に対して送信待ちとなっている圧縮画像データを破棄するように要求する。また、送信制御部１１９は、画像圧縮部１１１に対してこれから処理を行なう画像フレームに基づいてＩピクチャを生成するよう要求する。
【００５４】
パケット送信部１１３は、送信制御部１１９の要求に応じて圧縮画像データを破棄する。また、画像圧縮部１１１は、送信制御部１１９の要求に応じてＩピクチャ４２を生成する。そして、生成されたＩピクチャ４２は、検出符号付加部１１２やパケット送信部１１３などを介して受信側装置１２０に向けてネットワーク１９０に出力される。
【００５５】
受信側の動画像データ通信装置１２０のパケット受信部１２４は、ネットワーク１９０などを介してＩピクチャ４２を受信する。Ｉピクチャ４２は、エラーの検出がなければ、画像伸張部１２６に送られて正常な受信処理が行われる。すなわち、画像伸張部１２６は、受信したＩピクチャを伸張すると共に小画面に分割されていた画像フレームを再構成する。画像伸張部１２６は、再構成した画像フレームを順次画像表示装置１８０に出力する。そして、画像表示装置１８０における全画面の表示を更新し、正常な受信処理が行われるようになる。
【００５６】
ここで、受信側装置１２０の要求に応じて送信側装置１１０より送信されたＩピクチャ４２の受信処理において、例えば図４に示す時刻Ｂに、エラーが検出された場合の処理について説明する。先ず、送信制御部１２９は、パケット損失検出部１２７または誤り検出部１２５からエラー検出の通知を受ける。すると、送信制御部１２９は、コマンド生成解析部１２８にＩピクチャ４２のデータに含まれているパケット４４（受信側でエラーが発生してしまったパケット。以下、「エラーパケット」という。）の再送要求コマンド４３を発行するように要求する。パケット送信部１２３は、コマンド生成解析部１２８が発行した再送要求コマンド４３をネットワーク１９０に送出して送信側装置１１０に通知する。
【００５７】
再送要求コマンド４３は、送信側装置１１０のパケット受信部１１４により受信され、コマンド生成解析部１１８に入力される。コマンド生成解析部１１８は、コマンド４３の内容を解析してＩピクチャ４２のエラーパケット４４が再送要求がされたことを検出する。コマンド生成解析部１１８は、コマンド４３の解析結果を送信制御部１１９に通知する。送信制御部１１９は、パケット送信部１１３に対して内部に保持しているエラーパケット４４を再送するように要求する。パケット送信部１１３は、送信制御部１１９の要求に応じて、エラーパケット４４を受信側装置１２０に向けてネットワーク１９０に再送する。
【００５８】
受信側の動画像データ通信装置１２０のパケット受信部１２４は、ネットワーク１９０などを介してＩピクチャ４２のエラーパケット４４を再度受信する。エラーパケット４４は、受信側の装置１２０にてエラーの検出がされなければ画像伸張部１２６に送られる。そして、上述したように、画像表示装置１８０にて、Ｉピクチャ４２に基づく表示画面の更新がなされ、正常な受信処理が行われる。
【００５９】
ここでさらに、受信側装置１２０の要求に応じて送信側装置１１０より再送されたＩピクチャ４２のエラーパケット４４の受信処理において、例えば図４に示す時刻Ｃに、パケット損失検出部１２７または誤り検出部１２５にてエラーが検出された場合の処理について説明する。エラーパケット４４の受信処理においてエラーが検出されたときには、再び上述した処理を繰り返す。すなわち、受信側装置１２０は、再送要求コマンド４３を再度送信側装置１１０に通知する。そして、システム１００は、Ｉピクチャ４２のエラーパケット４４が正しく受信されるまで上述した処理を繰り返す。
【００６０】
しかし、エラーの発生頻度が高いために再送動作を繰返し、例えば図４に示す時刻Ｄ（例えば、時刻Ａから１〜２秒後）になってもＩピクチャ４２のエラーパケット４４が正しく受信されない場合には、Ｉピクチャ４２での画面の更新を断念する。時刻Ｄは、本例では、時刻Ａのあとのコマンド４１通知により要求したＩピクチャ４２を受信した時点から、Ｉピクチャを送信する間隔の半分の時間が経過したときの時刻とする。なお、時刻Ｄを定める場合に、測定を開始する時点は上記以外の時点（例えば、時刻Ａ）であっても良く、また、測定時間についてはＩピクチャを送信する間隔よりも短い時間であれば上記以外の時間（例えば、Ｉピクチャ送信間隔の１／４の時間）であっても良い。
【００６１】
そして、動画像データ通信装置１２０は、時刻Ａでエラーを検出した際の処理と同様の処理を行なう。すなわち、受信側の動画像データ通信装置１２０は、Ｉピクチャコマンド４１をネットワーク１９０を介して送信側の動画像データ通信装置１１０に通知する。
【００６２】
通知を受けた送信側装置１１０では、パケット送信部１１３の有している送信待ちの圧縮画像データが破棄され、画像圧縮部１１１が処理しようとしていたフレームデータに基づいてＩピクチャ４５が生成される。そして、新たに生成されたＩピクチャ４５は、検出符号付加部１１２やパケット送信部１１３などを介して受信側装置１２０に向けてネットワーク１９０に出力される。
【００６３】
受信側の動画像データ通信装置１２０のパケット受信部１２４は、ネットワーク１９０などを介してＩピクチャ４５を受信する。Ｉピクチャ４５は、受信側の装置１２０にてにてエラーが検出されなければ画像伸張部１２６に送られる。そして、上述したと同様に、画像表示装置１８０にて、Ｉピクチャ４５に基づく全画面の表示の更新が行われ、正常な受信処理が行われる。
【００６４】
なお、受信側装置１２０においてＩピクチャのデータを受信処理しているときに最初のエラーが検出された場合は、動画像データ通信システム１００は、上述した時刻Ｂ以降の処理を行なう。
【００６５】
以上説明したように、ＰピクチャまたはＢピクチャの受信の際にエラーが発生したときは再送要求を行なわず、これから処理が行われるフレームデータをＩピクチャとして送信要求する構成としたことで、現在送信中の残りのパケットを送信しなくて済み、無駄なデータをネットワーク上に送出してしまうことを最小限にとどめることができ、動画像の伝送遅れを抑制すると共に、表示画面の更新間隔を短縮することができる。かかる効果は、特にエラー発生頻度が高い動画像通信ネットワークにおいて顕著に発揮される。
【００６６】
また、上述したようにＩピクチャを受信しているときにエラーを検出した場合にのみ再送要求を行なう構成としたことで、迅速にＩピクチャの画像フレームにて画面表示の更新を行うことができ、動画像の伝送遅れを抑制すると共に、表示画面の更新間隔を短縮することができる。
【００６７】
さらに、上述したように再送動作を行なう際に一定期間内に正しいデータが受信できなかった場合には再送動作を停止し、これから圧縮処理しようとするフレームデータをＩピクチャとして処理して送信する構成としたことで、ネットワークのエラー発生頻度が高い場合であっても、ネットワーク上での無駄な再送データを減らすことができ、画像データの遅延も最小限に抑えることができる。
【００６８】
なお、上述した各実施の形態では、２つの動画像データ通信装置１１０，１２０を同一の構成としていたが、同一構成でなくても良く、例えば、一方の装置に送信側の機能のみを持たせ、他方の装置に受信側の機能のみを持たせるようにしても良い。
【００６９】
また、上述した各実施の形態では、圧縮画像データをパケット化して送信する構成としたが、パケット化せずに送信するとしても良い。
【００７０】
【発明の効果】
以上のように、本発明によれば、動画像データをフレーム内モードまたはフレーム間モードで圧縮した圧縮画像データを通信ネットワークを介して送信する送信装置と、圧縮画像データを受信して伸張する受信装置とを含む動画像データ通信システムにおいて、受信装置は、フレーム内モードの圧縮画像データのエラーを検出したときに生成される再送コマンドを含む各種コマンドを生成するコマンド生成部と、フレーム間モードの圧縮画像データのエラーを検出したときにフレーム内モードコマンドを生成するようコマンド生成部を制御する送信制御部と、コマンド生成部が生成したコマンドを送信する送信部とを含み、送信装置は、フレーム内モードコマンドに基づいてこれから処理するフレームデータをフレーム内モードで圧縮する圧縮部と、該圧縮部が処理した圧縮画像データを送信する処理を行い、再送コマンドに基づいてエラーの発生した圧縮画像データを再送する機能を有する送信部とを含むため、迅速にフレーム内モードの画像フレームにて画面表示の更新を行うことができ、動画像の伝送遅れを抑制すると共に、表示画面の更新間隔を短縮することができる。
【００７１】
受信装置は、フレーム間モードの圧縮画像データのエラーの検出によりエラー発生データに関する圧縮画像データを破棄するデータ破棄手段と、エラーの検出によりフレーム内モードの圧縮画像データを受信するまで受信データを破棄する受信データ破棄手段とを備えた受信部を含むとした場合には、不必要なデータの受信処理を行なうことを避けることができるため、表示画面の更新間隔を短縮することができる。
【００７２】
送信部は、フレーム内モードコマンドに基づいて送信待ちとなっている圧縮画像データを破棄する送信データ破棄手段を備えるとした場合には、現在送信中の残りのパケットを送信しなくて済み、無駄なデータをネットワーク上に送出してしまうことを最小限にとどめることができ、動画像の伝送遅れを抑制すると共に、表示画面の更新間隔を短縮することができる。かかる効果は、特にエラー発生頻度が高い動画像通信ネットワークにおいて顕著に発揮される。
【００７４】
コマンド生成部は、エラーが発生したあと所定時間が経過したときまでに正常な受信がされないときは、再度フレーム内モードコマンドを生成するとした場合には、ネットワークのエラー発生頻度が高い場合であっても、エラーが発生したあと所定時間経過後に再度フレーム内モードコマンドを生成するため、ネットワーク上での無駄な再送データを減らすことができ、画像データの遅延も最小限に抑えることができる。
【００７５】
コマンド生成部は、最初に再送されたフレーム内モードの圧縮画像データを受信したあと所定時間が経過したときまでに正常な受信がされないときは、再度フレーム内モードコマンドを生成するとした場合には、ネットワークのエラー発生頻度が高い場合であっても、再送データを受信したあとの所定時間経過後に再度フレーム内モードコマンドを生成するため、ネットワーク上での無駄な再送データを減らすことができ、画像データの遅延も最小限に抑えることができる。
【００７６】
所定時間は、フレーム内モードの画像データの送信間隔の半分の時間よりも短い時間とした場合には、ネットワーク上での無駄な再送データを減らすことができ、画像データの遅延も最小限に抑えることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における動画像データ通信システムの構成の例を示すブロック図である。
【図２】本発明の実施の形態における動画像データ通信装置の構成の例を示すブロック図である。
【図３】本発明の第１の実施の形態における動画像データ通信システムの通信処理の例を示すシーケンス図である。
【図４】本発明の第２の実施の形態における動画像データ通信システムの通信処理の例を示すシーケンス図である。
【符号の説明】
１００  動画像データ通信システム
１１０，１２０  動画像データ通信装置
１１１  画像圧縮部
１１２  誤り検出符号付加部
１１３  パケット送信部
１１４  パケット受信部
１１５  誤り検出部
１１６  画像伸張部
１１７  パケット損失検出部
１１８  コマンド生成解析部
１１９  送信制御部
１３０，１４０  ネットワークインタフェース
１５０，１６０  画像取り込み装置
１７０，１８０  画像表示装置
１９０  ネットワーク
【図１】
0003622590.tif 000002
【図２】
0003622590.tif 000003
【図３】
0003622590.tif 000004
【図４】
0003622590.tif 000005