(57)【特許請求の範囲】
【請求項１】
ビデオデータを含むマルチメディアデータを送信する対局側に接続されているマルチメディア通信端末であって、
前記マルチメディアデータを受信すると該データからビデオデータを分離し該ビデオデータの誤り検出処理を行って正常受信のビデオデータを受信バッファに格納する分離部と、
前記受信バッファから前記ビデオデータを取り込んで処理するビデオ処理部と、
前記受信バッファのデータ占有量が閾値以上になるとデータ処理能力が低下したと判定する受信バッファ監視部と、
前記データ処理能力の低下判定及び前記誤り検出処理に基づく非正常受信のいずれかで前記対局に再送要求を送信すると共に前記データ処理能力の低下判定時に前記分離部に再送要求したビデオデータの番号を通知する再送要求部と、
前記分離部に設けられ、分離したビデオデータの番号が前記通知を受けた番号に一致すると該ビデオデータを廃棄する再送データ廃棄部と、
を含むことを特徴とするマルチメディア通信端末。
【請求項２】
ビデオデータを含むマルチメディアデータを送信する対向側に接続されているマルチメディア通信端末であって、
前記マルチメディアデータを受信すると該データからビデオデータを分離し該ビデオデータの誤り検出処理を行って正常受信のビデオデータを受信バッファに格納する分離部と、
前記受信バッファから前記ビデオデータを取り込んで処理するビデオ処理部と、
自局のプロセッサの使用率が閾値以上になるとデータ処理能力が低下したと判定する処理能力監視部と、
前記データ処理能力の低下判定及び前記誤り検出処理に基づく非正常受信のいずれかで前記対局に再送要求を送信すると共に前記データ処理能力の低下判定時に前記分離部に再送要求したビデオデータの番号を通知する再送要求部と、
前記分離部に設けられ、分離したビデオデータの番号が前記通知を受けた番号に一致すると該ビデオデータを廃棄する再送データ廃棄部と、
を含むことを特徴とするマルチメディア通信端末。
【請求項３】
前記受信バッファのデータ占有量が閾値以上になるとデータ処理能力が低下したと判定する受信バッファ監視部を更に備え、
前記再送要求部は、前記受信バッファ監視部及び前記処理能力監視部のいずれかがデータ処理能力の低下を判定すると前記再送要求を送信すると共に前記番号を通知する、
ことを特徴とする請求項２記載のマルチメディア通信端末。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、パーソナルコンピュータ等によりマルチメディア通信を実現したとき、受信側の通信端末の処理能力の変動を補償するマルチメディア通信端末に関する。
【０００２】
【従来の技術】
映像メディアや音響メディア及びこれらのメディアを多重化したマルチメディアデータは大きな情報量を有する。一般に、これらのデータの伝送や記録は圧縮処理をしてから行う。受信側では、受信した圧縮データを伸長し、表示／再生する。アプリケーションによっては上記伸長処理を実時間で処理しなければならない場合がある。このような例として、ＴＶ電話等の双方向通信や、蓄積メディアからの大容量データの再生が挙げられる。双方向通信では会話の成立のために、大容量データの再生では伸長データの保管場所を節約するために実時間処理が求められる。
【０００３】
高品質なビデオデータの伝送が求められる通信や、テキストと音声による通信等、マルチメディア通信には様々な形態が考えられる。端末での処理量は通信形態によって大きく異なるから、様々なレベルで円滑に通信を制御するシステムが要求される。
例えば、文献（ＴＴＣ標準「JT-H324低ビットレートマルチメディア通信用端末」pp.1,2,14〜16  電信電話技術委員会（1996））には、能力交換に関する技術が紹介されている。能力交換は、実時間処理を前提に処理能力の異なる端末同士が通信できるように設けられた仕組みである。
【０００４】
能力交換では、それぞれの端末が自らの端末能力を対局に示す。端末能力とは、文献１で規定されるように、受信側が処理できる項目及び能力のことである。具体的には、サポートするビデオ／オーディオの圧縮アルゴリズムやデータ通信プロトコル、ビデオの画像サイズ、フレームレート、符号化レート等が挙げられる。符号化データの生成側、即ち送信側は能力交換により対局の受信能力を認識できる。通信時にこの能力範囲内で復号できる符号化データを生成／送信することで、受信側での実時間処理が保証される。即ち、端末の能力を互いに通知し合うことで、受信側における実時間処理を実現している。
【０００５】
【発明が解決しようとする課題】
ところで、上記のような従来の技術には次のような解決すべき課題があった。文献１のような端末は、ビデオ符号化／復号等の負荷の重い処理が含まれるため専用のハードウェアで実現されることが一般的であった。しかし、近年、パーソナルコンピュータ（以下ＰＣと記す）の処理速度向上に従い、ＰＣ上のソフトでもマルチメディア通信が実現できるようになった。ＰＣ上で実現することで、マルチメディア通信をしながら文書ファイルを編集し、文書を通信中にデータとして送信するといった処理が容易に行える。
【０００６】
ところが、パーソナルコンピュータには、処理速度の変動という問題がある。処理速度の変動、即ち受信能力が変動すると実時間処理が不能になり、極端な場合、受信側で受信データを消失してしまい各メディアの再生処理が破綻してしまう。特に動画像の符号化でフレーム間予測を用いている場合、受信データが欠落するとこの影響が以降の画像に波及してしまい重大な品質劣化が起きてしまう。
【０００７】
一般的なＰＣは複数のアプリケーションを並列に実行する環境を備えている。このため、マルチメディア通信を行いながら、他の処理（例えば文書編集等）を行うことができる。しかし、ＣＰＵやメモリ等に代表されるＰＣの資源は固定であるため、マルチメディア通信時に他のアプリケーションが実行されると、マルチメディア通信に割かれるＰＣ資源は単一のアプリケーションしかない場合に比べて少なくなってしまう。このようにして、初期設定時に通知した受信能力と通信時の受信能力の不一致が発生する。
【０００８】
このような問題は、同時刻に単一のアプリケーションしか実行できないシングルタスク処理の場合は発生しないが、マルチタスク処理はＰＣの特徴であるため、シングルタスク化による解決では特徴を失うことになってしまう。また、実時間処理に適したＯＳを用いて解決する方法もある。この方法では、マルチメディア通信に必要なＰＣ資源を予め確保することで、能力の変動を抑えることになる。しかしながら、他のアプリケーションとの優先度関係によっては、マルチメディア通信への資源割当が減少したり、反対に、他のアプリケーションを起動／実行できなくなることもある。
【０００９】
文献１では、このような受信能力の変化に対し、通信中に能力変更を通知する機構を設けている。しかしながら、能力変更の通知は対局の応答が必要であり整合に時間がかかる。また、ＰＣでは受信能力の変動は定常的に起きるため、頻繁に能力変更通知をする必要があり現実的でないという問題がある。
【００１０】
【課題を解決するための手段】
本発明は以上の点を解決するため次の構成を採用する。
〈構成１〉
ビデオデータを含むマルチメディアデータを送信する対局側に接続されているマルチメディア通信端末であって、上記マルチメディアデータを受信すると該データからビデオデータを分離し該ビデオデータの誤り検出処理を行って正常受信のビデオデータを受信バッファに格納する分離部と、上記受信バッファから上記ビデオデータを取り込んで処理するビデオ処理部と、上記受信バッファのデータ占有量が閾値以上になるとデータ処理能力が低下したと判定する受信バッファ監視部と、上記データ処理能力の低下判定及び上記誤り検出処理に基づく非正常受信のいずれかで上記対局に再送要求を送信すると共に上記データ処理能力の低下判定時に上記分離部に再送要求したビデオデータの番号を通知する再送要求部と、上記分離部に設けられ、分離したビデオデータの番号が上記通知を受けた番号に一致すると該ビデオデータを廃棄する再送データ廃棄部と、を含むことを特徴とするマルチメディア通信端末。
【００１１】
〈構成２〉
ビデオデータを含むマルチメディアデータを送信する対向側に接続されているマルチメディア通信端末であって、上記マルチメディアデータを受信すると該データからビデオデータを分離し該ビデオデータの誤り検出処理を行って正常受信のビデオデータを受信バッファに格納する分離部と、上記受信バッファから上記ビデオデータを取り込んで処理するビデオ処理部と、自局のプロセッサの使用率が閾値以上になるとデータ処理能力が低下したと判定する処理能力監視部と、上記データ処理能力の低下判定及び上記誤り検出処理に基づく非正常受信のいずれかで上記対局に再送要求を送信すると共に上記データ処理能力の低下判定時に上記分離部に再送要求したビデオデータの番号を通知する再送要求部と、上記分離部に設けられ、分離したビデオデータの番号が上記通知を受けた番号に一致すると該ビデオデータを廃棄する再送データ廃棄部と、を含むことを特徴とするマルチメディア通信端末。
【００１２】
〈構成３〉
上記受信バッファのデータ占有量が閾値以上になるとデータ処理能力が低下したと判定する受信バッファ監視部を更に備え、上記再送要求部は、上記受信バッファ監視部及び上記処理能力監視部のいずれかがデータ処理能力の低下を判定すると上記再送要求を送信すると共に上記番号を通知する、ことを特徴とする請求項２記載のマルチメディア通信端末。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を具体例を用いて説明する。
〈具体例１〉
【００１６】
図１は、本発明のマルチメディア通信システム主要部ブロック図である。この説明をする前に、マルチメディア通信システム全体の構成を説明する。
図２は、具体例１のマルチメディア通信システム具体例を示すブロック図である。
図のシステムは、送信時には図の右向きの矢印方向にデータが伝送され、受信時には図の左向きの矢印方向にデータが伝送される。
【００１７】
データの送信側では、マルチメディアデータを生成するための各種の図示しないソースが設けられている。これらのソースのデータを受け入れるために、ビデオ入出力部２１、オーディオ入出力部２２、その他のデータ入出力部２３、制御信号入出力部２４、モデム制御信号入出力部２５が設けられている。ビデオデータはビデオ符号化／復号部４で処理される。オーディオデータはオーディオ符号化／復号部５で処理される。その他のデータはデータプロトコル処理部６で処理される。制御信号は制御プロトコル処理部７で処理される。処理されたデータは、多重／分離部３とモデム８を経て送信される。
【００１８】
受信側には、符号化データ入出力部２０が設けられている。ここには、丁度送信側と同様の機能ブロックが設けられて、データの受信処理がなされる。
【００１９】
ビデオ符号化／復号部４は、ビデオデータの圧縮／伸長を行う。オーディオ符号化／復号部５は、オーディオデータの圧縮／伸長を行う。データプロトコル処理部６はテキスト等のデータの圧縮／伸長や必要に応じてデータ通信プロトコルの処理を行う。制御プロトコル処理部７は、ユーザインタフェースの提供やエンド−エンドの端末情報の交換処理を行う。多重／分離部３は入力される各データを多重化してモデム８に出力する。また、多重／分離部３はモデム８からのデータを分離して図の左側に接続された各機能ブロックへ出力する。多重／分離部３はモデム８から入力されたデータに誤りがある場合には再送による誤り訂正処理も行う。モデム８では多重／分離部３の出力する符号化データをアナログ回線に出力するために変調と、アナログ回線から入力したデータを多重／分離部３に出力するための復調を行う。
【００２０】
上記のマルチメディア通信端末は次のように動作する。
通信を開始する場合、最初に送信側と受信側との間で、アナログ回線を用いた呼接続を行う。呼接続が完了するとモデムを経由したディジタル通信を確立する。以上の処理は、モデム制御信号入出力部２５からモデム８に入力したモデム制御コマンドで制御される。端末間でのディジタル通信が可能になると、通信のための初期設定を行う。具体的には、制御プロトコル処理部７にて、互いの端末能力の交換や、マスタ／スレーブ端末の決定、多重／分離部３で使用する論理チャネルの設定／開設等を行う。ここで得られた設定情報は、ビデオ符号化／復号部４、オーディオ符号化／復号部５、データプロトコル処理部６及び多重／分離部３に通知される。
【００２１】
以上の処理が完了すると、ビデオ符号化／復号部４、オーディオ符号化／復号部５、データプロトコル処理部６及び多重／分離部３を利用したマルチメディアデータの通信が開始される。なお、初期設定で設定したパラメータは通信中においても任意に変更することができる。マルチメディアによる通信が終了すると、論理チャネルを終結し、通信終了メッセージを対局に伝送すると共に回線を切断する。
受信側の処理能力変動が無視できる限り、初期設定における能力交換によって実時間処理は実現できる。しかし、パーソナルコンピュータ等では、この処理能力変動が無視できない。
【００２２】
そこで、この具体例では、処理能力の変動を吸収するために、高負荷になった場合にデータの再送を送信側に要求する。従来のマルチメディア通信端末の多重／分離部も、通信路誤りが発生した際にデータの再送要求を出力する機能を有している。この具体例では、受信能力が低下した場合に再送要求を出力することで、見かけ上のデータ送信速度を低下させる。再送データ受信中は新たなデータが受信されていないから、その間に処理の遅れを取り戻す。受信された再送データは既に正常に受信され実際には必要の無いデータであるから破棄すればよい。
【００２３】
図１に戻って、本発明の主要部の説明を行う。
この発明は主として受信側の端末の制御にかかわるものであるため、図のように、右側の対局１からデータを受信する多重／分離部３と、例えば比較的多量の受信データを一時格納するビデオ符号化／復号部４を代表として示した。多重／分離部３には、分離部３１と多重部３２とが設けられている。ビデオ符号化／復号部４には、受信バッファ４０とビデオ復号部４２とが設けられている。なお、受信側の端末を自局２と表示している。
【００２４】
本発明では、ここに、新たに、処理能力監視部１０を設けた。処理能力監視部１０には、具体例１では、受信バッファ監視部１１を設けている。受信バッファ監視部１１は図２に示したように、多重／分離部３の動作と、ビデオ符号化／復号部４、オーディオ符号化／復号部５、データプロトコル処理部６の受信バッファの状態を監視するように構成されている。なお、上記のマルチメディア通信システムの各機能ブロックは、ハードウェアで構成してもよいし、端末の記憶媒体中に記録されたコンピュータプログラムの機能モジュールにより構成してもよい。
【００２５】
上記受信バッファ監視部１１は、受信バッファ４０のデータ占有量を算出するとともに、そのバッファ占有量とある閾値を比較して、自局による処理能力の低下を検出する機能を持つ。
【００２６】
〈動作〉
図１のシステムは次のように動作する。
対局１からはビデオ、オーディオ、テキスト等の様々なメディアのデータが多重化されたマルチメディア多重化データが入力される。分離部３１では、受信したマルチメディア多重化データを各メディアのデータに分離する。また、分離部３１は、分離した各メディアのデータに対し誤り検出処理を行う。通信路誤りが検出されると、多重部３２を経由して対局１に対し誤りが発生したデータを再送するように要求する。この機能を持つ多重部３２を再送要求部と呼ぶことにする。
【００２７】
多重部３２では、分離部３１からの再送要求を送信データに多重化して対局１に送信する。再送要求を受信した対局１は該当するデータを再送する。このようにして通信路で発生した誤りが訂正される。一方、分離部３１で誤り検出されなかった各メディアのデータは各メディアの処理部にある受信バッファに書き込まれる。なお、図１ではビデオ符号化／復号部４の受信バッファ４０のみを図示している。
【００２８】
各メディアの処理部、例えばビデオ復号部４２では、受信バッファ４０に書き込まれているデータを復号処理の進行状況に従って読み出す。読み出されたデータはビデオ復号部４２で復号され、非圧縮のビデオデータとして図２に示したビデオ入出力部２１より出力される。
【００２９】
受信能力の変動が無い場合は、通信開始時に指定した能力範囲内のデータが対局より伝送されてくる。即ち、受信バッファ４０のデータ書き込み速度よりもデータ読み出し速度の方が速くなっている。しかしながら、受信能力が低下した場合は、受信バッファ４０からの読み出し速度が低下し、受信バッファ４０へデータが蓄積されていくことになる。
【００３０】
受信バッファ監視部１１は、受信バッファ４０へのデータ書き込み量と読み出し量を比較し、バッファに蓄えられているデータ量（バッファ占有量）を算出する。さらに、受信バッファ監視部１１は、バッファ占有量と所定の閾値を比較し、バッファ占有量がこの閾値を超えると、多重部３２を経由して対局に対しデータを再送するように要求する。多重部３２では再送要求を送信データに多重化して対局に送信する。また、多重部３２は、受信バッファ監視部１１の要求で再送要求をした場合、再送要求したデータの番号を分離部３１に通知する。後で説明するように、誤り検出により再送要求をしたデータとは別の取り扱いをするためである。
【００３１】
前述のように、対局１は受信装置の処理能力範囲内のデータを送信し続けるため、受信装置のバッファ占有量が閾値を超えるということは、処理能力が低下していることを示す。
再送要求を受けた対局１は該当するデータを再送する。再送データを受信した分離部３１では、前述の多重部３２からの通知により受信データが処理能力の低下に伴う再送データであることを認識し、その再送データを破棄する。よって、受信バッファ４０への新たなデータの書き込みが起こらなくなり、ビデオ復号部４２の処理の進行に従ってバッファ占有量は閾値以下に下がる。このように、再送データの廃棄制御を行う分離部３１を再送データ廃棄部と呼ぶことにする。
【００３２】
図３に、具体例１のシステム動作タイムチャートを示す。
図の（ａ）は、受信バッファの占有状態の遷移を示すグラフである。ＦＵＬＬのラインがバッファにデータが満たされている状態、ＥＭＰＴＹのラインがバッファにデータが保持されていない状態を示す。バッファ占有量は、当初閾値の下で動作を開始する。“Ａ”の区間は受信能力が能力交換時以上の状態、“Ｂ”の区間は受信能力が能力交換時以下に低下した状態である。（ｂ）は再送要求信号、（ｃ）は受信データの内容を示す。
【００３３】
“Ａ”の区間では、バッファ占有量はほぼ一定に安定しているが、受信装置の能力低下が起きることで時刻ｔ１から受信バッファ４０の占有量は増加し始める。時刻ｔ２で受信バッファ４０の占有量が閾値を超えると、（ｂ）に示すように再送要求信号が出力される。こうして（ｃ）に示すように、時刻ｔ３に対局から再送データが送られてくる。再送データは受信バッファ４０に書き込まれないため、徐々にバッファ占有量が減り、閾値以下になる時刻ｔ４で再送要求を止める。以後しばらくすると時刻ｔ５から新規データが送信され始める。その後再びバッファ占有量は増加を始め、時刻ｔ６の時点で閾値を超えて再送要求が出力される。時刻ｔ７の時点で再送データが受信されバッファ占有量が減少し始める。時刻ｔ８から時刻ｔ９を経て受信能力が初期状態に回復すると、以後バッファ占有量は閾値以下で安定する。以上のようにして、受信バッファ４０のオーバーフローを起こすこと無くマルチメディアデータの復号処理を行う。
【００３４】
〈具体例１の効果〉
以上説明した具体例１のマルチメディア通信端末は、受信能力が低下していることを受信バッファの占有量から検出し、バッファ占有量が一定値以上の場合には再送要求を出力する仕組みを有している。再送要求を行うと送信側ではデータの再送を行うため、送信側で新たに生成したデータの送信が制限されることになる。つまり、送信側は新規データの送信を止め、再送データのみ送信することになる。故に、見かけ上の送信速度を低下させることができる。受信側では複数回同じデータを受信しても、復号処理は一度しか行わないため、低い受信能力でも復号処理を行うことができる。即ち、再送要求を出力することで受信側の能力が低下していても処理可能なデータが伝送されることになる。
このため、頻繁に能力が変動するＰＣベースの端末で、対局に能力変更通知をする必要がなく、通信負荷も軽くなるという効果がある。
【００３５】
〈具体例２〉
具体例１では、受信能力の低下の判断基準として受信バッファの占有量を利用し、これを元に再送要求を出力することで従来技術の課題を解決した。これに対し、具体例２は、受信能力低下の判断をＰＣのプロセッサ使用率を用いて行う。なお、プロセッサの使用率というのは、プロセッサの能力に対する負荷の割合のことである。この使用率が１００％に近づくと、並行処理しているタスクの処理速度が維持できなくなることがある。
【００３６】
図４は、具体例２のマルチメディア通信システムブロック図である。
この図の、ビデオ入出力部２１、オーディオ入出力部２２、データ入出力部２３、制御信号入出力部２４、モデム制御信号入出力部２５は、図２に示した具体例１のものと同様である。ビデオ符号化／復号部４、オーディオ符号化／復号部５、データプロトコル処理部６、制御プロトコル処理部７、多重／分離部３、モデム８、符号化データ入出力部２０の接続関係も、具体例１と同様である。この具体例では、プロセッサ使用率入力部２６と処理能力監視部１０とを多重／分離部３に接続した点が具体例１と異なる。
【００３７】
〈動作〉
具体例２のシステムの動作のうち、受信能力低下の判断方法以外は具体例１と同じである。つまり、受信能力低下を判断し、再送要求を出力、対局からの受信データ中で再送されたデータは破棄するという主要動作は具体例１と同じである。以下、具体例１と異なる部分について動作を説明する。
【００３８】
プロセッサ使用率入力部２６からはプロセッサの使用率情報が入力される。本情報は、ＯＳが管理している情報である。処理能力監視部１０では、プロセッサ使用率情報を元に受信能力を判断する。具体的にはプロセッサ使用率が一定値、例えば９０％を超えた場合は受信能力が低下していると判断する。更に、再送要求を行うメディアを選択し、多重／分離部３に再送要求信号を出力する。即ち、図１における多重部３２に再送要求信号を出力する。
【００３９】
再送要求を行うメディアは自由に選択することができる。処理能力監視部１０は、リアルタイム性が求められないデータを優先的に再送要求するというよう制御することが好ましい。例えば、テキストデータは遅延があっても通信の支障をきたさないため、優先的に再送要求を出力するように制御する。
【００４０】
図５に、プロセッサ使用率と再送制御動作を示す。
図５の（ａ）はプロセッサ使用率を示すグラフで、１００％のラインが最大負荷の状態、０％のラインが負荷の無い状態を示す。また、“Ａ”の区間は受信能力が能力交換時以上の状態、“Ｂ”の区間は受信能力が能力交換時以下に低下した状態である。（ｂ）は再送要求のタイミングを示し、（ｃ）は受信データの内容を示す。
【００４１】
図の“Ａ”の区間では、プロセッサ使用率はほぼ一定に安定しているが、時刻ｔ１に新たなアプリケーションを起動されるとプロセッサ使用率は増加し始める。プロセッサ使用率が時刻ｔ２で閾値を超えると再送要求信号が出力される。こうして，時刻ｔ３に対局から再送データが送られてくる。再送データは既に正常に受信されて復号処理済であるため、改めて受信をしても復号処理する必要はない。つまり、廃棄しても構わない。時刻ｔ４以降他のアプリケーションの負荷が下がるとプロセッサ使用率が下がり、時刻ｔ５に閾値以下になった時点で再送要求を止める。その後時刻ｔ６から新規データが送信され始める。以後、プロセッサ使用率は閾値以下で安定する。
以上のような制御を行いつつマルチメディアデータの復号処理を行う。
【００４２】
〈具体例２の効果〉
具体例１では、受信バッファがオーバーフローすることが復号処理を破綻させる原因として、バッファ占有量を監視した。これに対して具体例２では、バッファ占有量が増加する原因がプロセッサの使用率にあるものとして、これを監視して受信能力の判断を行っている。バッファ占有量の増加は、プロセッサ負荷が重くなり復号処理に割り当てるＰＣ資源が相対的に減少することが原因のひとつである。従って、プロセッサ使用率を監視することで、具体例１よりも早く再送要求を出力でき、応答性の高い制御が可能になるという効果がある。
なお、具体例２ではプロセッサ使用率のみを監視して制御しているが、具体例１の受信バッファ占有量の監視と組み合わせて制御をしても構わない。この場合、より正確な制御が可能になる。
【００４３】
〈具体例３〉
具体例３は、具体例１及び具体例２で受信能力の低下を検出した場合に、自局のデータ送信処理の優先度を、他の処理に比べて下げることを特徴とする。なお、マルチメディア通信は、一方のＰＣが常に送信側で他方のＰＣが常に受信側というよりも、双方の端末が送信も受信も行うパターンが多い。そこで、この例では、ＰＣが送信能力と受信能力とを備えている場合に、受信能力の低下が検出されると、送信処理の優先度を下げて、相対的に受信処理の優先度を上げる。受信処理の優先度を上げると受信能力が向上し、対局に能力変更通知をすることなく、正常な通信が継続される。
【００４４】
図６に、具体例３のマルチメディア通信システムブロック図を示す。
図６は、図５に示したシステムの各機能ブロックを送信側と受信側とに分離して表示したものである。図のシステムは、ビデオ入力部２１Ａ、オーディオ入力部２２Ａ、データ入力部２３Ａ、ビデオ符号化部４１、オーディオ符号化部５１、送信側のデータプロトコル処理部６１、ビデオ出力部２１Ｂ、オーディオ出力部２２Ｂ、データ出力部２３Ｂ、ビデオ復号部４２、オーディオ復号部５２、受信側のデータプロトコル処理部６２、制御信号入出力部２４、制御プロトコル処理部７、モデム制御信号入出力部２５、プロセッサ使用率入力部２６、処理能力監視部１０、多重／分離部３、モデム８、及び符号化データ入出力部２０を備える。
【００４５】
〈動作〉
具体例３は、自局による処理能力の変動を検出した場合に、具体例１や具体例２と同じく再送要求を出力する。さらに、この再送要求を出したとき、自局の送信処理の優先度を下げ、相対的に受信処理の優先度を上げる。以下、受信能力の低下は具体例２と同じくプロセッサ使用率に基づいて判断するものとして動作を説明する。
【００４６】
図６において、プロセッサ使用率入力部２６からはプロセッサの使用率情報が入力される。本情報はＯＳが管理している情報である。受信側の処理能力監視部１０では、プロセッサ使用率情報を元に受信能力を判断する。具体的にはプロセッサ使用率が一定値、例えば９０％を超えた場合は受信能力が低下していると判断する。このとき、再送要求を行うメディアを選択し、多重／分離部３に再送要求信号を出力する。さらに、この具体例では、再送要求信号がビデオ符号化部４１、オーディオ符号化部５１、送信側のデータプロトコル処理部６１にもそれぞれ入力される。
【００４７】
ビデオ符号化部４１、オーディオ符号化部５１、送信側のデータプロトコル処理部６１では、再送要求信号を処理削減命令として扱う。例えば、ビデオ符号化部４１では再送要求信号が入力されると、符号化する画像のフレームレートを下げたりすることでプロセッサ負荷の少ない符号化モードに移行する。また、ビデオ符号化処理自体の優先度を下げ、プロセッサ使用率が下がるように制御する。その他のオーディオ符号化部５１、送信側のデータプロトコル処理部６１でも同様の制御を行う。
【００４８】
こうして、送信処理の優先度を下げれば、相対的に受信処理に割り当てられるＰＣ資源を増やすことができる。なお、プロセッサ使用率が閾値以下に下がると通常動作に戻る。
【００４９】
〈具体例３の効果〉
以上のように、この具体例では、処理能力の低下が検出された場合にデータの再送要求を出力すると共に、送信処理の優先度を下げるように制御するから、相対的に受信処理におけるプロセッサ使用率を上げることになり、受信能力の低下を軽減することができる。
なお、処理能力の低下検出方法は、具体例１の方法でも具体例２の方法でも構わない。送信速度が一定のまま受信側のＰＣ処理速度が低下すると、受信側ではバッファオーバーフローを起こし処理破綻の原因となるが、送信側で自動的に処理速度を下げるように制御すれば、画質低下や音声の途切れ等の影響はあっても正常な通信が維持されるという効果がある。
【図面の簡単な説明】
【図１】本発明のマルチメディア通信システム主要部ブロック図である。
【図２】具体例１のマルチメディア通信システム具体例を示すブロック図である。
【図３】具体例１のシステム動作タイムチャートである。
【図４】具体例２のマルチメディア通信システムブロック図である。
【図５】プロセッサ使用率と再送制御動作タイムチャートである。
【図６】具体例３のマルチメディア通信システムブロック図である。
【符号の説明】
１  対局
２  自局
３  多重／分離部
４  ビデオ符号化／復号部
１０  処理能力監視部
３１  分離部（再送データ廃棄部）
３２  多重部（再送要求部）
【図１】
0003827192.tif 000002
【図２】
0003827192.tif 000003
【図３】
0003827192.tif 000004
【図４】
0003827192.tif 000005
【図５】
0003827192.tif 000006
【図６】
0003827192.tif 000007