(57)【要約】【課題】  本発明は、画像差分圧縮方式コーデックを用いた画像通信方式において、パケットロストが生じても直ちに画像を復旧してストレスのない通信環境を実現する通信制御方法を提供することを目的とする。【解決手段】  画像差分圧縮方式コーデックを用いた実時間ビデオデータをＲＴＰを用いて通信する通信システムを制御する通信制御方法において、送信側で基本フレームを送信する工程と、送信側で基本フレームに基づいて差分圧縮してエンコードされた差分フレームを送信する工程と、受信側で基本フレームを受信する工程と、受信側で前記差分フレームを受信し基本フレームに基づいて差分フレームをデコードし画像出力を行う工程と、受信側でＲＴＰパケットのロストを検出した際、ＲＴＣＰパケットを利用して基本フレームの送信を要求する工程とを具備する。【選択図】  図２
2006238175.tif 000002
【特許請求の範囲】
【請求項１】
画像差分圧縮方式コーデックを用いた実時間ビデオデータをＲＴＰを用いて通信する通信システムを制御する通信制御方法において、
送信側で基本フレームを送信する工程と、
送信側で前記基本フレームに基づいて差分圧縮してエンコードされた差分フレームを送信する工程と、
受信側で前記基本フレームを受信する工程と、
受信側で前記差分フレームを受信し前記基本フレームに基づいて前記差分フレームをデコードし画像出力を行う工程と、
受信側でＲＴＰパケットのロストを検出した際、ＲＴＣＰパケットを利用して基本フレームの送信を要求する工程とを具備することを特徴とする通信制御方法。
【請求項２】
前記送信側で前記基本フレームを送信する際に、エンコーダにセットするビットレート、フレームレート或いはサイズのパラメータ値をパケットロストの発生頻度に応じて変更することを特徴とする請求項１記載の通信制御方法。
【請求項３】
前記受信側でパケットのロストを検出した際には、パケットロストが発生したことを表示することを特徴とする請求項１記載の通信制御方法。
【請求項４】
前記受信側でパケットのロストを検出した際には、前記ＰＴＣＰパケットを即時に送信することを特徴とする請求項１記載の通信制御方法。
【請求項５】
前記パケットロストのＲＴＣＰを受け取った前記送信側は、送信するビデオ画像フレームを差分フレームから基本フレームに変更して前記受信側に送信することを特徴とする請求項１記載の通信制御方法。
【請求項６】
前記パケットロストのＲＴＣＰを受け取った前記送信側は、パケットロストが発生したことを表示することを特徴とする請求項１記載の通信制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信制御方法に関する。
【背景技術】
【０００２】
インターネットなどの通信回線を通じ、ビデオカメラ及びマイクロホンにより得られた動画や音声などを画像圧縮及び音声圧縮して実時間データとして相互に通信するテレビ電話システムを構築する技術がある。
【０００３】
テレビ電話システムでは、常に状態の変わる通信回線情況に対応する必要があり、例えばパケットロストが生じて画像が乱れてもすぐに復旧する必要がある。
【０００４】
このような通信プロトコルとしてＲＴＰ（Ｒｅａｌｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｃｏｌ）が知られている。ＲＴＰでは映像や音声のデータの送受信にはＲＴＰ（ＲＴＰ  Ｄａｔａ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）を用い、制御データの送受信にはＲＴＣＰ（ＲＴＰ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｌ）が用いられている。
【０００５】
このような通信システムにおいて、制御情報の送受信は定期的に行われ、例えばＲＴＰではＲＴＰＣの送信間隔は５秒に１回程度が推奨されている。そのため通信回線の情況が悪化してパケットロストなどが発生した場合、その状況変化を感知するのが遅れてしまうという問題がある。
【０００６】
そこで引用文献１には、ネットワーク上の情況を把握するための制御信号を所定時間間隔で発信する制御方法において、ネットワークの情況を検出し検出された情況の変化に応じて制御情報の発信の頻度を調整している。
【特許文献１】特開平１１−２８４６５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら引用文献１に記載された制御方法を用いても、画像差分圧縮方式コーデックについては基本フレームと差分フレームのいずれかをパケットロストするかによって復旧時間が異なり、例えば差分フレームをロストした場合次に基本フレームが届くまで映像を復旧できないという問題が生じる。
【０００８】
本発明は、上記問題を解決するためになされたもので、画像差分圧縮方式コーデックを用いた画像通信方式において、パケットロストが生じても直ちに画像を復旧してストレスのない通信環境を実現する通信制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、画像差分圧縮方式コーデックを用いた実時間ビデオデータをＲＴＰを用いて通信する通信システムを制御する通信制御方法において、
送信側で基本フレームを送信する工程と、
送信側で前記基本フレームに基づいて差分圧縮してエンコードされた差分フレームを送信する工程と、
受信側で前記基本フレームを受信する工程と、
受信側で前記差分フレームを受信し前記基本フレームに基づいて前記差分フレームをデコードし画像出力を行う工程と、
受信側でＲＴＰパケットのロストを検出した際、ＲＴＣＰパケットを利用して基本フレームの送信を要求する工程とを具備することを特徴とする通信制御方法を提供する。
【００１０】
このとき、前記送信側で前記基本フレームを送信する際に、エンコーダにセットするビットレート、フレームレート或いはサイズのパラメータ値をパケットロストの発生頻度に応じて変更することができる。
【００１１】
また、前記受信側でパケットのロストを検出した際には、パケットロストが発生したことを表示することができる。
【００１２】
また、前記受信側でパケットのロストを検出した際には、前記ＰＴＣＰパケットを即時に送信することができる。
【００１３】
また、前記パケットロストのＲＴＣＰを受け取った前記送信側は、送信するビデオ画像フレームを差分フレームから基本フレームに変更して前記受信側に送信することができる。
【００１４】
また、前記パケットロストのＲＴＣＰを受け取った前記送信側は、パケットロストが発生したことを表示することができる。
【発明の効果】
【００１５】
本発明では、画像差分圧縮方式コーデックを用いたリアルタイムビデオ通信において、ビデオストリームパケットのロストが発生した場合でも、ひずまない正常な画像をより早くユーザに提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の最良の実施形態について説明する。本発明はこれら実施形態に限定されることなく、種々工夫して用いることができる。
【００１７】
図１は、本発明の通信制御方法に用いる通品プリケーションのプロトコルスタック構成の例を示す図である。
【００１８】
図１に示すように、このプロトコルスタック構成は、ハードウエア（Ｈａｒｄｗａｒｅ）層の上に、ＵＤＰ／ＩＰ（ＯＳ）層が構築されている。このＵＤＰ／ＩＰ層の上には、ＳＩＰ／ＳＤＰ層、Ｇ．７１１ｃｏｄｅｃ層、音声入出力層、ＲＴＰ／ＲＴＣＰ層、ＭＰＥＧ−４ｃｏｄｅｃ層、画像入出力（ＤｉｒｅｃｔＳｈｏｗ）層が構築されている。これらの層の上には、シグナルリング層、Ｖｏｉｃｅ層、Ｖｉｄｅｏ層が構築されている。これらの層の上には、アプリケーション層が構築されている。
【００１９】
本発明の通信制御方法では、このようなプロトコルスタック構成において、画像差分圧縮方式コーデックを用いた実時間ビデオデータをＲＴＰを用いて通信するようになっている。
【００２０】
図２は、本発明の通信制御方法を示す画像差分圧縮方式コーデックを用いたビデオ通信において、パケットロストが発生した場合の通信フロー例を示したものである。
【００２１】
先ず、送信側で基本フレームを送信し、送信側で基本フレームに基づいて差分圧縮してエンコードされた差分フレームを送信し、受信側で基本フレームを受信し、受信側で差分フレームを受信し基本フレームに基づいて差分フレームをデコードし画像出力を行い、受信側でＲＴＰパケットのロストを検出した際、ＲＴＣＰパケットを利用して基本フレームの送信を要求するようにシステム構成されている。
【００２２】
すなわちリアルタイムビデオ通信を構成するパケット郡の一つであるＲＴＣＰパケット“Ｓｅｎｄｅｒ  Ｒｅｐｏｒｔ”または“Ｒｅｃｅｉｖｅｒ  Ｒｅｐｏｒｔ”のｃｕｍｕｌａｔｉｖｅ  ｎｕｍｂｅｒ  ｏｆ  ｐａｃｋｅｔｓ  ｌｏｓｔ“情報を利用する。受信側は、ＲＴＰパケットロストを検出すると（２０２）、この情報を更新する。そして受信側は、ランダム（平均一定）間隔で送信している次のＲＴＣＰパケットにて送信側へロスト発生したことを通知する（２０５）。
【００２３】
送信側では、受信側からのこのＲＴＣＰパケットを受信すると受信側でパケットロストが発生した（送信パケットがロストした）と判断する（２０６）。そして送信側では、エンコーダのリセット等の処理を行い、次に送信するフレームが基本フレームになるように対処する（２０７）。
【００２４】
このとき、ロストを検出した受信側では、ユーザに歪んだ画像を表示しないように画面出力を停止する（２０３、２０４）。さらに、受信側では、専用アイテム表示等の画面表示手段を用いて、受信側ユーザに受信パケットロストが発生したことを明示しておく。そして送信側が基本フレームを送信し、受信側がそれを受信成功すると受信画像の表示を再開する（２０８）。
【００２５】
また、受信側でパケットロストが発生したことを検知した送信側においても（２０６）、専用アイテム表示を行って送信側ユーザに送信パケットロストが発生したことを明示しても良い。このとき送信側にて、プレビュー画像の一時停止など画面表示を制御しても良い。
【００２６】
このとき、送信側で基本フレーム送信のためにエンコーダをリセットする際には（２０７）、セットするビットレート、フレームレート、サイズ等のパラメータ値を通信状況（ロスト発生頻度等）に応じて変更することによって、通信大域の自動制御を図ることができる。
【００２７】
この手法では、受信側からのＲＴＣＰパケット受信時に送信側で即時に基本フレームを送信できる分だけ、受信側へ正常な受信画像を短時間に復旧させることができる（２０９）。
【００２８】
図４に、従来の画像差分圧縮方式コーデックを用いたビデオ通信において、パケットロストが発生した場合の通信フローの例を示す。
【００２９】
ここではある画像フレームの送信ＲＴＰパケットでロストが発生した場合（１０１）、その次に受信した差分フレームをそのままデコードしてユーザ画面に表示してしまっている（１０３）。こうすると本来の差分データではないために画像に歪みが生じてしまう。この歪みは基本フレームを受信すると回復するが（１０４、１０５）、次の基本フレームを受信するまでには数秒から数十秒あるいはこれを超える時間が経過してしまう（１０６）。この復旧に要する時間はアプリの仕様、ロスト発生タイミングによって異なってしまうが、本発明による通信制御方法を用いると、ＲＴＣＰパケット受信を受けると直ちに基本パケットを送信しているので復旧時間２０６は、従来の通信制御方法の復旧時間１０６と比較しても格段に短縮されている。
【００３０】
図３に、本発明の別の通信制御方法に関する画像差分圧縮方式コーデックを用いたビデオ通信において、パケットロストが発生した場合の通信フロー例を示す。
【００３１】
ここでは、基本触れイー無受信間隔設定がＲＴＣＰパケット送信間隔よりも短いアプリケーション使用において、通常はランダムであるＲＴＣＰパケットの送信間隔を、受信ＲＴＰパケットロスト検出時のみ即時に出すように処理をしたものである（３０５）。これによって、ロスト検出から基本フレーム受信、ユーザへの正常画像表示の提供を再開するまでの処理時間の間隔を基本フレーム送信間隔（秒オーダー）未満（３１０）で実現が可能となる。その他の制御構成は図１で示した通信制御手段と同じである。
【図面の簡単な説明】
【００３２】
【図１】本発明の通信制御方法に用いる通品プリケーションのプロトコルスタック構成の例を示す図である。
【図２】本発明の通信制御方法を示す画像差分圧縮方式コーデックを用いたビデオ通信において、パケットロストが発生した場合の通信フロー例を示す図である。
【図３】本発明の別の通信制御方法を示す画像差分圧縮方式コーデックを用いたビデオ通信において、パケットロストが発生した場合の通信フロー例を示す図である。
【図４】従来の通信制御方法を示す画像差分圧縮方式コーデックを用いたビデオ通信において、パケットロストが発生した場合の通信フロー例を示す図である。
【符号の説明】
【００３３】
２０１…パケットロスト発生
２０２…受信ロスト検出
２０３…受信ロスト情報
２０４…画像出力停止
２０５…ＲＴＣＰパケット
２０６…送信ロスト情報
２０７…基本フレーム送信
２０８…画像出力再開
２０９…画像再開時間
【図１】
2006238175.tif 000003
【図２】
2006238175.tif 000004
【図３】
2006238175.tif 000005
【図４】
2006238175.tif 000006