(57)【要約】【課題】送信端末から送信される映像の符号化データがプロキシにおいてキャッシュされる場合でも、受信端末において安定して映像を表示することを可能とする。【解決手段】映像を符号化することにより生成された符号化データを順次ネットワークを介して受信する受信手段と、受信した符号化データを復号化する復号化手段と、符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれているかどうかを判定する判定手段と、前記判定手段により、符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれていると判定された場合に、符号化データ内のタイムスタンプに従って、復号化して得られた映像を表示する表示制御手段とを備えることにより映像通信装置を構成する。【選択図】図３
2007274319.tif 000002
【特許請求の範囲】
【請求項１】
映像を符号化することにより生成された符号化データを順次ネットワークを介して受信する受信手段と、
受信した符号化データを復号化する復号化手段と、
符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれているかどうかを判定する判定手段と、
前記判定手段により、符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれていると判定された場合に、符号化データ内のタイムスタンプに従って、復号化して得られた映像を表示する表示制御手段と
を備えたことを特徴とする映像通信装置。
【請求項２】
前記判定手段は、受信した符号化データ内のタイムスタンプと当該符号化データの受信時間との関係を直線に近似し、直線上のデータに対する当該タイムスタンプと受信時間の組のデータの誤差量を求め、当該誤差量が予め定めた閾値より大きい場合に、符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔とずれていると判定することを特徴とする請求項１に記載の映像通信装置。
【請求項３】
前記表示制御手段は、最初に受信したイントラフレームのタイムスタンプの時間を基準時間とし、それ以降のフレームの当該基準時間からの経過時間を前記イントラフレームの復号を終了する時間に加えた時間に、当該フレームを表示することを特徴とする請求項１に記載の映像通信装置。
【請求項４】
前記判定手段により、符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれていると判定される場合以外の場合には、前記表示制御手段は、符号化データを復号化して得られる映像を復号化後に即座に表示することを特徴とする請求項１に記載の映像通信装置。
【請求項５】
ネットワークに接続された映像通信装置が実行する映像通信方法であって、
映像を符号化することにより生成された符号化データを順次ネットワークを介して受信する受信ステップと、
符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれているかどうかを判定する判定ステップと、
受信した符号化データを復号化する復号化ステップと、
前記判定ステップにより、符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれていると判定された場合に、符号化データ内のタイムスタンプに従って、復号化して得られた映像を表示する表示制御ステップと
を備えたことを特徴とする映像通信方法。
【請求項６】
コンピュータを、
映像を符号化することにより生成された符号化データを順次ネットワークを介して受信する受信手段、
受信した符号化データを復号化する復号化手段、
符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれているかどうかを判定する判定手段、
前記判定手段により、符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれていると判定された場合に、符号化データ内のタイムスタンプに従って、復号化して得られた映像を表示する表示制御手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送信端末からpostキャッシュ型プロキシ経由で送信された映像データを受信する受信端末が、当該映像データを映像の乱れ等を抑制して安定して表示するための技術に関するものである。
【背景技術】
【０００２】
社内ＬＡＮからインターネットへ接続する場合、セキュリティ対策のために、通過させるプロトコルの制限等を行うプロキシが設置される場合が多い。例えば、HTTP（ポート番号８０）やHTTPS（ポート番号４４３）等は通過させるが、telnetやFTPは通過させないこととする場合が多い。この通過不可能なポート番号のパケットを通過させるために、例えばHTTPパケットで通過させたいポート番号のパケットを包み込むトンネリング技術が使用されている（非特許文献１参照）。また、トンネリング技術を用いて社内ＬＡＮとインターネット間でテレビ会議を行うシステムとして、MeetingPlaza（非特許文献２参照）やWebEX（非特許文献３参照）が存在する。
【０００３】
一方、セキュリティ対策のために用いられるプロキシの中には、社内ＬＡＮからインターネット向けに送信されたデータをキャッシュしそのデータの内容をチェックすることにより通過の可否を判定するものがある（非特許文献４参照）。
【０００４】
しかしながら、プロキシにより送信データがキャッシュされてしまうと、プロキシからインターネット上の受信端末までの通信が離散的になり、連続して映像データを受信できなくなるため、映像のフリーズや乱れ、揺らぎが生じるという問題がある。
【非特許文献１】「通信担当者のためのＶｏＩＰ−Ｑ＆Ａで学ぶ基礎」、藤原信一郎著、（株）リックテレコム、２００１年
【非特許文献２】MeetingPlaza、[online]、[平成１８年３月２４日検索]、インターネット URL: http://www.meetingplaza.com
【非特許文献３】WebEX、 [online]、[平成１８年３月２４日検索]、インターネット URL:http://www.webex.com
【非特許文献４】NetApp、[online]、[平成１８年３月２４日検索]、インターネット URL:http://www-jp.netapp.com
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は上記の点に鑑みてなされたものであり、送信端末から送信される映像の符号化データがプロキシにおいてキャッシュされる場合でも、受信端末において安定して映像を表示することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題は、映像を符号化することにより生成された符号化データを順次ネットワークを介して受信する受信手段と、受信した符号化データを復号化する復号化手段と、符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれているかどうかを判定する判定手段と、前記判定手段により、符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれていると判定された場合に、符号化データ内のタイムスタンプに従って、復号化して得られた映像を表示する表示制御手段とを備えたことを特徴とする映像通信装置により解決できる。
【０００７】
前記判定手段は、受信した符号化データ内のタイムスタンプと当該符号化データの受信時間との関係を直線に近似し、直線上のデータに対する当該タイムスタンプと受信時間の組のデータの誤差量を求め、当該誤差量が予め定めた閾値より大きい場合に、符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔とずれていると判定することができる。
【０００８】
また、符号化データ内のタイムスタンプに従って表示を行うために、前記表示制御手段は、例えば、最初に受信したイントラフレームのタイムスタンプの時間を基準時間とし、それ以降のフレームの当該基準時間からの経過時間を前記イントラフレームの復号を終了する時間に加えた時間に、当該フレームを表示する処理を行う。
【０００９】
また、前記判定手段により、符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれていると判定される場合以外の場合には、前記表示制御手段は、符号化データを復号化して得られる映像を復号化後に即座に表示する。
【００１０】
また、本発明は、ネットワークに接続された映像通信装置が実行する映像通信方法であって、映像を符号化することにより生成された符号化データを順次ネットワークを介して受信する受信ステップと、符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれているかどうかを判定する判定ステップと、受信した符号化データを復号化する復号化ステップと、前記判定ステップにより、符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれていると判定された場合に、符号化データ内のタイムスタンプに従って、復号化して得られた映像を表示する表示制御ステップとを備えたことを特徴とする映像通信方法として構成することもできる。
【００１１】
更に、本発明は、コンピュータを、映像を符号化することにより生成された符号化データを順次ネットワークを介して受信する受信手段、受信した符号化データを復号化する復号化手段、符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれているかどうかを判定する判定手段、前記判定手段により、符号化データを受信する時間の間隔が、当該符号化データ内のタイムスタンプで示される時間の間隔と比べてずれていると判定された場合に、符号化データ内のタイムスタンプに従って、復号化して得られた映像を表示する表示制御手段、として機能させるプログラムとして構成してもよい。
【発明の効果】
【００１２】
本発明によれば、送信端末から送信される映像の符号化データがプロキシにおいてキャッシュされ、符号化データが離散的に送受信される場合でも、受信端末において安定して映像を表示することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施の形態について説明する。
【００１４】
［第１の実施の形態］
（システム構成）
図１に本発明の第１の実施の形態におけるシステム構成図を示す。図１に示すように、本実施の形態のシステムは、送信端末Ａ〜Ｂがインターネットに接続された構成をとる。送信端末Ａは社内ＬＡＮを経由してインターネットに接続されており、社内ＬＡＮとインターネットとの間にはpostキャッシュ型プロキシが設置されている。
【００１５】
本実施の形態で使用するpostキャッシュ型プロキシは、HTTP（ポート番号８０）のみを通過させ、postで送信された１セッション（1回のリクエストとレスポンス）分のデータをキャッシュし、送信端末Ａとpostキャッシュ型プロキシ間のHTTPのセッション切断後にキャッシュしたデータを送出する機能を有している。なお、キャッシュは社内ＬＡＮからインターネットに向けたデータ送信の際に行われる。
【００１６】
また、各送信端末にはカメラが接続されており、カメラで撮影された映像は送信端末に取り込まれ、予め設定されたビットレートで符号化される。各送信端末に接続されたカメラは、例えば、USB接続カメラやキャプチャボードを介して接続されたNTSCのTVカメラ等である。また、受信端末Ｃには表示装置Ｃが接続され、表示装置Ｃには復号化された映像が表示される。
【００１７】
図２に、図１のシステムで使用される送信端末Ａの送信に係る機能構成図を示す。図２に示すように、送信端末Ａは、カメラインタフェース部１１、符号化部１２、符号化データ分割送信部１３を備えている。
【００１８】
カメラインタフェース部１１はカメラと送信端末Ａとを接続するためのインタフェース部である。符号化部１２はカメラから取得した映像を符号化するための機能部である。符号化データ分割送信部１５は、postキャッシュ型プロキシ経由での送信を行う場合に、連続的に符号化される符号化データをあるまとまった単位に分割しながら送信するための機能部である。なお、ここでの符号化方式としては、例えば、MotionJPEGやMPEG４、H.263等を使用する。送信端末Ｂは、postキャッシュ型プロキシ経由での送信を行わないので、符号化データ分割送信部１５を備えなくてもよく、カメラから取得した映像を符号化して送信する機能があればよい。つまり、送信端末Ｂは、符号化データが生成され次第、任意の大きさのデータを送信する。
【００１９】
図３に、受信端末Ｃの受信に係る機能構成図を示す。図３に示すように、受信端末Ｃは、符号化データ受信部２１、復号化部２２、表示部２３、表示制御部２４を備えている。符号化データ受信部２１は、インターネットを介して符号化データを受信し、符号化データを一時的にバッファに蓄積する機能を備えている。復号化部２２は符号化データを復号化し、タイムスタンプの値を表示制御部２４に通知する機能を備えている。表示部２３は、表示制御部２４からの指示に従って、復号されたフレームを表示装置Ｃに表示する機能を備えている。
【００２０】
表示制御部２４は、フレームを符号化データ内のタイムスタンプに従って表示するか否かを判定する機能と、フレームを符号化データ内のタイムスタンプに従って表示すると判定した場合に、表示部２３が符号化データ内のタイムスタンプと実時間とを同期させてフレームを表示するように表示部２３に対する制御を行う。フレームを符号化データ内のタイムスタンプに従って表示するか否かを判定する方法については後に詳細に説明する。
【００２１】
各送信端末は、ＣＰＵ、記憶装置等を備えたコンピュータに、上述した各機能部の処理を実行させるためのプログラムを搭載することにより実現可能である。
【００２２】
（処理の流れ）
以下、図１に示したシステムにおいて、送信端末Ａから受信端末Ｃに符号化データを配信する場合における処理の流れを図４のフローチャートに沿って説明する。
【００２３】
まず、送信端末Ａは、カメラＡで撮影された映像の取得を行い（ステップ１）、カメラ映像の符号化処理を行う（ステップ２）。  
続いて、送信端末Ａは映像の符号化データを受信端末Ｃに送信する処理を行う（ステップ３）。送信端末Ａとインターネット間にはpostキャッシュ型プロキシが存在するので、送信端末Ａは、映像の送受信で使用されるRTPをHTTPでカプセリングすることによりpostキャッシュ型プロキシを通過できるプロトコルに変換して送信を行う。
【００２４】
また、送信端末Ａは予め決められた１セッションあたりのデータ量毎に符号化データを分割し、分割された単位で符号化データを順次送信する。例えば、５つのフレーム分の符号化データのデータ量を単位として分割して送信する場合には、符号化データを連続的に送るのではなく、５つのフレーム分の符号化データが生成された後に５つのフレーム分の符号化データをまとめて送信する。  
連続して生成される符号化データをそのままpostキャッシュ型プロキシに送信した場合、postキャッシュ型プロキシはデータが切れるまでキャッシュしてしまい、その後にインターネットへの送信が行われることとなって、遅延が大きくなり、データの途切れも大きくなる。
【００２５】
一方、本実施の形態のようにセッション毎に符号化データを適切な大きさに分割して送信することにより、postキャッシュ型プロキシは分割された単位の符号化データ毎にキャッシュ及び送出を行うので、データキャッシュ待ちにより生じる遅延を小さくでき、データの途切れも小さくすることができる。
【００２６】
なお、１セッションあたりのデータ送信量は、受信端末Ｃにおいて遅延をできるだけ小さくし、なおかつ、postキャッシュ型プロキシに負荷を与えないという観点で決定される。このデータ量が大きいと、postキャッシュ型プロキシでのデータ待ち時間が長くなり、遅延が大きくなる。一方、このデータ量が小さすぎると、postキャッシュ型プロキシに対して短時間にセッションの接続・切断を繰り返すことになり、postキャッシュ型プロキシに負荷をかけることとなり、場合によっては攻撃と見なされて接続を拒否される。
【００２７】
次に、図４のステップ４において、受信端末Ｃは符号化データの受信及び復号化処理を行う。受信端末Ｃは映像送信側でのエンコーダ（符号化部）に対応したデコーダ（復号化部）を用いることにより符号化データの復号を行う。送信端末Ａから送信されpostキャッシュ型プロキシを経由した符号化データは離散的に受信端末Ｃに到着するが、そのまま復号化処理をして構わない。
【００２８】
次に、受信端末Ｃは、符号化データを離散的に受信するか否かを判定することにより、タイムスタンプに基づいてフレームを表示するか否かの判定を行う。
【００２９】
符号化データの受信が離散的かどうかを判定する方法の一例として、本実施の形態では、測定されるタイムスタンプと受信時間との関係を直線近似し、その直線と、測定されるタイムスタンプと受信時間の組のデータとの誤差量に基づいて判定を行っている。その判定方法を以下に説明する。
【００３０】
タイムスタンプの変数をx、受信時間の変数をyとし、近似曲線をy=ax+bとすると、最小二乗法によりa,bはそれぞれ下記の式により求めることができる。
【００３１】
【数１】
2007274319.tif 000003
【００３２】
【数２】
2007274319.tif 000004
ここでｎは測定値のサンプル数であり、xiはタイムスタンプの測定値、yiはそのタイムスタンプに対応する符号化データの受信時間である。a,bを求めた後、下記の式により、測定データの近似直線からの誤差量Sを求める。
【００３３】
【数３】
2007274319.tif 000005
受信端末Ｃはこの誤差量Sと予め決められた閾値Tとを比較することにより、符号化データを離散的に受信しているか否かを判定する。つまり、誤差量Sが閾値Tより大きい場合に符号化データを離散的に受信していると判定する。なお、離散的であるとは、各符号化データを受信する時間の間隔が、当該各符号化データ内のタイムスタンプで示される時間の間隔と比べてずれている場合の一例である。このような方法で符号化データが離散的かどうかを判定できる理由は次のとおりである。
【００３４】
図５はpostキャッシュ型プロキシを経由せずに送信端末（例えば、図１に示す送信端末Ｂ）から符号化データを受信したときの、タイムスタンプと受信時間との関係を示す図であり、横軸は符号化データ内に含まれるタイムスタンプ、縦軸は受信時間を示す。
【００３５】
postキャッシュ型プロキシを経由しない送信端末では、符号化データが生成される度に送信が行われるので、送受信に伴う一定の遅延は存在するが、符号化データが符号化された時間（タイムスタンプの時間）と受信時間とは直線関係にある。例えば、送信端末Ｂにおいてある時間t（タイムスタンプの時間）に符号化された符号化データは、一定の遅延dだけ後の時間であるt+d（受信時間）に受信端末Ｃにて受信される。そして、tからt2だけ進んだ時間であるt+t2（タイムスタンプの時間）に符号化された符号化データは、t+t2+d（受信時間）に受信端末Ｃにて受信される。
【００３６】
従って、この場合に、上記の式（数１〜数３）により誤差量Sを求めると０に近い値になる。
【００３７】
一方、図６はpostキャッシュ型プロキシを経由したときのタイムスタンプと受信時間との関係を示す図であり、横軸は符号化データ内に含まれるタイムスタンプ、縦軸は受信時間を示す。postキャッシュ型プロキシを経由して符号化データを送信する場合、予め決められた符号量分のデータ毎に通信が切断されるので、グラフの形状は離散的な階段状になる。つまり、ある時間に符号化された符号化データと、その時間から遅れた時間に符号化された符号化データを含むデータが、１つのまとまりとして受信端末Ｃに受信されるので、それらのまとまりの中の各符号化データの受信時間はほぼ同じになる。従って、図６に示すような階段状のグラフになる。
【００３８】
この場合の近似直線は図６中の点線のようになるが、測定データ（タイムスタンプと受信時間の組で表される２次元データ）が近似直線から離れたところに存在するので誤差量Sが大きくなる。
【００３９】
なお、postキャッシュ型プロキシを経由しない場合でも、ネットワークの状態等によって誤差量Sが大きくなる場合はあるが、そのような場合でも、一般にpostキャッシュ型プロキシを経由する場合の誤差量Sよりは小さい。従って、誤差量Sを予め定めた閾値と比較することにより、符号化データが離散的か否か、すなわちpostキャッシュ型プロキシを経由したか否かを判定できる。
【００４０】
なお、上記の判定は、受信端末Ｃが受信を開始してから予め定めた時間だけ行うこととしてもよいし、定期的に行うこととしてもよい。
【００４１】
次に、受信端末Ｃは上記判定結果に基づいた表示処理を行う。今回の例では受信端末Ｃは送信端末Ａからの符号化データを受信することとしているので、受信端末Ｃは離散的に符号化データを受信していると判定し、下記に説明する表示処理を行う。
【００４２】
postキャッシュ型プロキシを経由した符号化データは離散的に受信端末Ｃに到達するため、各フレームが復号化処理により出力されるタイミングも離散的になる。従って、復号化処理により生成されたフレームをそのまま表示してしまうと映像の再生速度が一定にならず、フリーズしたり早送りになったように見えてしまう。
【００４３】
そこで、離散的に符号化データを受信していると判定した場合には、符号化データに含まれるタイムスタンプに基づいて表示を行う。なお、タイムスタンプの一例として、MPEGにおけるイントラフレームのタイムコード（符号化を行った絶対時間）、及び、それ以外のフレームに含まれるイントラフレームからの相対時間（経過時間）がある。
【００４４】
本実施の形態では、受信端末Ｃが最初に受信したイントラフレームのタイムスタンプ（タイムコード）の時間を基準時間とし、それ以降のフレームの基準時間からの経過時間を上記イントラフレームの復号を終了する時間（≒イントラフレームを表示する時間）に加えた時間に、当該それ以降のフレームを表示するように制御を行う。
【００４５】
これにより、符号化時のフレーム時間間隔と同じ時間間隔で各フレームを表示することができる。この場合の表示時間と符号化データ内のタイムスタンプ時間との関係を図７に示す。図７に示すように、最初にイントラフレームを表示した時間から、タイムスタンプの時間に従って表示が行われる。
【００４６】
以上、受信端末Ｃが送信端末Ａからpostキャッシュ型プロキシを経由した符号化データを受信する場合を説明した。
【００４７】
一方、受信端末Ｃが送信端末Ｂからpostキャッシュ型プロキシを経由しない符号化データを受信する場合には、符号化データは離散的ではなく、連続的に受信される。従って、誤差量Sは０に近い値になるので、受信端末Ｃはタイムスタンプに従った表示を行わないと決定する。復号化処理でフレームが出力されるタイミングは連続的になるため、受信端末Ｃはタイムスタンプを無視してそのまま表示する。つまり、フレームは復号化後に即座に表示される。これにより、最も低遅延に表示を行うことができる。
【００４８】
上記のように、本実施の形態で説明した技術を用いることにより、符号化データが離散的に受信される場合でも、符号化データを受信した受信端末で安定した映像表示が可能となる。
【００４９】
［第２の実施の形態］
（サーバを経由する場合について）
さて、上記のように送信端末と受信端末間でインターネットを介して直接通信を行うことの他、図８に示すように、映像通信サーバを介して映像通信を行う構成とすることも可能である。
【００５０】
図８に示す場合、受信端末Ｃ及び送信端末Ｂの構成は第１の実施の形態と基本的に同じである。第２の実施の形態で使用される送信端末Ａは、第１の実施の形態の送信端末Ａに、postキャッシュ型プロキシ経由の有無や１単位あたりの送信データ量等を映像通信サーバに通知するための機能部を備えている。
【００５１】
図９に映像通信サーバの機能構成図を示す。図９に示すように、映像通信サーバは、送受信部３１、送信制御部３２、バッファ部３３、及び受信要求処理部３４を備えている。送受信部３１はインターネット等のネットワークを介してデータ送受信を行うための機能部である。バッファ部３３は送信端末から受信した所定の単位の符号化データを一時的に蓄積するための機能部であり、送信端末毎にバッファを備えている。送信制御部３２はバッファに格納された１セッションあたりの符号化データにおけるＩフレーム（イントラフレーム）を検索する機能、受信端末からの要求に基づき、適切なタイミングでバッファに格納された符号化データを送信する機能等を備えている。受信要求処理部３４は受信端末からの符号化データ受信要求に基づき、送信制御部３２に送信指示を行う機能部である。
【００５２】
映像通信サーバは、ＣＰＵ、記憶装置等を備えたコンピュータに送信制御部３２等の処理を実行させるためのプログラムを搭載することにより実現可能である。
【００５３】
（処理の流れ）
以下、図８に示したシステムにおいて、送信端末Ａから受信端末Ｃに向けて符号化データを配信する場合における処理の流れを図１０のフローチャートに沿って説明する。
【００５４】
まず、送信端末Ａは、自分と映像通信サーバとの間におけるpostキャッシュ型プロキシの有無とHTTPの１セッションあたりのデータ送信量とを映像通信サーバに通知する（ステップ１１）。送信端末Ａと映像通信サーバ間にはpostキャッシュ型プロキシが存在するので、送信端末Ａはpostキャッシュ型プロキシ有の情報とデータ送信量を送信する。
【００５５】
映像取得、符号化処理、符号化データ送信処理は、第１の実施の形態と同様にして行われる（ステップ１２〜１４）。なお、本実施の形態での符号化データはＧＯＰ＝６であり、その構成はＩＰＰ（Ｉ＝イントラフレーム、Ｐ＝順方向差分フレーム）であるものとする。
【００５６】
postキャッシュ型プロキシから送出された符号化データを受信した映像通信サーバは、当該符号化データを送信端末Ａ用のバッファに蓄積する（ステップ１５）。バッファの大きさはステップ１１で送信端末Ａから通知されたデータ量に基づき決定することができる。なお、本実施の形態の映像通信サーバをリアルタイム性が重要なテレビ会議システムに適用する場合には、映像送受信時の遅延をできるだけ抑制する必要があるため、バッファ内での滞在時間が予め設定した遅延許容時間を過ぎた符号化データは順に削除することとする。
【００５７】
続いて、映像通信サーバはバッファに蓄積された符号化データからＩフレーム（イントラフレーム）を検索する（ステップ１６）。この処理を図１１を用いて説明する。図１１（ａ）、（ｂ）はバッファに蓄積された１セッション分の符号化データの例を示している。図５（ａ）、（ｂ）における横軸は時間を示し、縦軸はバッファの深さ及びバッファ量を示している。各図においてバッファが浅いほど最新の符号化データであることを意味している。
【００５８】
送信端末Ａから分割されて送信された１セッション分の符号化データは、postキャッシュ型プロキシを経由して離散的に映像通信サーバに届き、バッファに蓄積される。映像通信サーバは符号化データがバッファに蓄積されたタイミングでIフレームを検索する。図１１（ａ）に示す場合においてはバッファ内にＩフレームが１つだけ存在するので、映像通信サーバはそのＩフレームを選択する。図１１（ｂ）の場合にはバッファ内のＩフレームが２つ存在するが、映像通信サーバは最新（バッファが最も浅い）Ｉフレームを選択する。バッファへの蓄積及びＩフレームの選択は送信開始まで符号化データを受信する度に行われる。
【００５９】
次に、図１０のステップ１７において、受信端末Ｃは映像通信サーバに対して送信端末Ａの符号化データ送信を要求する。要求には受信したい送信端末（ここでは送信端末Ａ）やフレームの種類（例えばＩフレームのみ）等の事項を含み、映像通信サーバはこの要求事項に基づき送信を開始することになる。
【００６０】
映像通信サーバは、符号化データ送信元の送信端末Ａから通知されている情報に基づき、送信端末Ａはpostキャッシュ型プロキシを経由して符号化データを送信していると認識しているので、次のような送信処理を行う（図１０のステップ１８）。図１２を用いてこの場合の送信処理について説明する。
【００６１】
図１２（ａ）、（ｂ）は、送信端末Ａから送信されて蓄積された符号化データが受信端末Ｃへ送信されるタイミングの一例を示した図であり、図１１と同様に、横軸は時間を示し、縦軸はバッファの深さ及びバッファ量を示し、バッファが浅いほど最新のデータであることを意味する。
【００６２】
図１２（ａ）は送信開始決定の時点での１セッション分の符号化データの中にＩフレームが１つ含まれる場合を示し、図１２（ｂ）はＩフレームが２つ含まれる場合を示している。どちらの場合にも、送信開始決定時点の１セッション分の符号化データの中での最新のＩフレームから送信を開始するが、次の１セッション分の符号化データがサーバに蓄積された後に送信を開始する。つまり、送信開始対象の１セッション分の符号化データが蓄積された後、次の１セッション分の符号化データが蓄積されるまで待ち、次の１セッション分の符号化データが蓄積された後に、送信開始対象の１セッション分の符号化データの中の最新のＩフレームから順にデータ送信を行う。図１２（ａ）の場合であれば、ＩＰＰＩＰＰＩＰのようにフレームを順次送信する。その後は１セッション分の符号化データの蓄積に応じて順次符号化データ送信を行う。このように、送信開始にあたって次の１セッション分の符号化データの蓄積を待つことにより、できるだけ連続的に符号化データを送信できる。
【００６３】
また、図１２（ｂ）の場合において、もし送信開始対象のＩフレームより古いＩフレームから送信を開始してしまうと、受信側でその分遅延が大きくなる。よって、Ｉフレームが複数ある場合には最新のＩフレームから送信することとしている。
【００６４】
ただし、図１３に示すように、送信開始決定の時点で、１セッション分の符号化データの中でバッファの最も深い部分にあるフレームがＩフレームである場合には、それが送信開始フレームとなり、次のセッション分の符号化データの蓄積を待たずに符号化データの送信を行う。この場合には、受信側で最初の１セッション分の符号化データから５フレーム分の復号化処理を行うことになり、次の符号化データが届く前に復号化処理が終了してしまう可能性が低いからである。
【００６５】
なお、postキャッシュ型プロキシを経由しない送信端末Ｂから符号化データを受信する場合は、映像通信サーバにおいて図１４に示すようなＩフレーム選択処理が行われる。つまり、送信端末Ｂから受信した符号化データに関しては連続的にバッファ内に蓄積されるため、映像通信サーバは予め決められたポーリング間隔でＩフレームを検索する。図１４に示す例ではポーリング時刻においてバッファ内に１つのＩフレームがあるのでそのＩフレームを選択する。バッファ内に複数のＩフレームがあれば最新のＩフレームを選択する。
【００６６】
そして、符号化データ送信処理においては、図１５に示すように、選択された最新のＩフレームから符号化データが連続的に受信端末Ｃに送信される。
【００６７】
次に、図１０のステップ１９において、受信端末Ｃは符号化データの受信及び復号化処理を行う。この処理は第１の実施の形態と同じようにして行う。
【００６８】
以上説明したように、本実施の形態によれば、映像通信サーバにおいて最新のＩフレームからの送信開始を行うとともに、バッファリング処理を行うので、postキャッシュ型プロキシと映像通信サーバを経由する場合でも低遅延で安定した映像表示が可能となる。
【００６９】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【図面の簡単な説明】
【００７０】
【図１】本発明の第１の実施の形態におけるシステム構成図である。
【図２】送信端末Ａの送信に係る機能構成図である。
【図３】受信端末Ｃの受信に係る機能構成図である。
【図４】本発明の第１の実施の形態におけるシステムの動作を示すフローチャートである。
【図５】postキャッシュ型プロキシを経由せずに送信端末から符号化データを受信したときのタイムスタンプと受信時間との関係を示す図である。
【図６】postキャッシュ型プロキシを経由したときのタイムスタンプと受信時間との関係を示す図である。
【図７】表示時間とタイムスタンプとの関係を示す図である。
【図８】本発明の第２の実施の形態におけるシステム構成図である。
【図９】映像通信サーバの機能構成図である。
【図１０】本発明の第２の実施の形態におけるシステムの動作を示すフローチャートである。
【図１１】バッファに蓄積された符号化データからＩフレームを選択する処理を説明するための図である。
【図１２】映像通信サーバにおける符号化データの送信処理を説明するための図である。
【図１３】映像通信サーバにおける符号化データの送信処理を説明するための図である。
【図１４】バッファに蓄積された符号化データからＩフレームを選択する処理を説明するための図である。
【図１５】映像通信サーバにおける符号化データの送信処理を説明するための図である。
【符号の説明】
【００７１】
１１  カメラインタフェース部
１２  符号化部
１３  符号化データ分割送信部
２１  符号化データ受信部
２２  復号化部
２３  表示部
２４  表示制御部
３１  送受信部
３２  送信制御部
３３  バッファ部
３４  受信要求処理部
【図１】
2007274319.tif 000006
【図２】
2007274319.tif 000007
【図３】
2007274319.tif 000008
【図４】
2007274319.tif 000009
【図５】
2007274319.tif 000010
【図６】
2007274319.tif 000011
【図７】
2007274319.tif 000012
【図８】
2007274319.tif 000013
【図９】
2007274319.tif 000014
【図１０】
2007274319.tif 000015
【図１１】
2007274319.tif 000016
【図１２】
2007274319.tif 000017
【図１３】
2007274319.tif 000018
【図１４】
2007274319.tif 000019
【図１５】
2007274319.tif 000020