(57)【要約】【課題】ネットワークの帯域が低下した場合に、動画像の品質を低下させることなく、帯域に与える負荷を減少させることができる通信制御装置、通信制御方法、および通信制御プログラムを提供する。【解決手段】ＭＣＵは、送信元装置からＩピクチャを受信すると、送信先装置との間のネットワークの帯域が低下しているか否かを判断する（Ｓ４）。帯域が低下している場合（Ｓ４：ＹＥＳ）、ＭＣＵは、受信したＩピクチャを一旦復号して復号受信データを生成する（Ｓ８）。受信したＩピクチャの画像データよりも前に送信先装置に送信される画像のデータを参照データとして、復号受信データから新たにＰピクチャを生成する（Ｓ１３）。ＭＣＵは、生成したＰピクチャを送信先装置へ送信する（Ｓ１４）。【選択図】図３
2011061287.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して複数の通信装置に接続し、符号化された動画像のデータである符号化データの前記複数の通信装置の間における送受信を制御する通信制御装置であって、
前記複数の通信装置のうち、符号化データを前記ネットワークに送信した通信装置である送信元装置が送信した前記符号化データを受信する受信手段と、
前記受信手段によって受信された前記符号化データである第一符号化データを復号することで、復号の結果生成される画像のデータである復号受信データを生成する第一復号手段と、
前記複数の通信装置のうち、符号化データの送信先の通信装置である送信先装置に符号化データを送信する送信手段と、
前記送信手段によって送信される前記符号化データである第二符号化データを復号することで、復号の結果生成される画像のデータである復号送信データを生成する第二復号手段と、
前記第二復号手段によって生成された前記復号送信データを記憶手段に記憶させる記憶制御手段と、
前記送信先装置との間の前記ネットワークの帯域を測定する測定手段と、
前記測定手段によって測定された帯域に応じて、フレーム内予測符号化のみを用いて符号化された符号化データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ）から前記第一復号手段によって生成された復号受信データを、前記記憶手段に記憶された復号送信データを参照してフレーム間符号化し、符号化データであるＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ）を生成する生成手段とを備え、
前記送信手段は、
前記生成手段によってＰピクチャが生成される場合、生成される前記Ｐピクチャを前記第二符号化データとして前記送信先装置に送信し、
前記生成手段によってＰピクチャが生成されない場合、前記受信手段によって受信された前記第一符号化データを前記第二符号化データとして前記送信先装置に送信することを特徴とする通信制御装置。
【請求項２】
前記測定手段によって測定された帯域が閾値より低いか否かを判断する帯域判断手段をさらに備え、
前記生成手段は、前記帯域判断手段によって帯域が閾値より低いと判断されている場合にＰピクチャを生成することを特徴とする請求項１に記載の通信制御装置。
【請求項３】
前記第一復号手段は、前記帯域判断手段によって帯域が閾値より低いと判断されている場合に前記第一符号化データから前記復号受信データを生成し、
前記生成手段は、前記Ｉピクチャ以外の前記第一符号化データから前記第一復号手段によって生成された復号受信データもフレーム間符号化してＰピクチャを生成することを特徴とする請求項２に記載の通信制御装置。
【請求項４】
前記帯域判断手段によって帯域が閾値より低いと判断されている場合に、前記受信手段によって受信された前記第一符号化データが前記Ｉピクチャであるか否かを判断するピクチャ判断手段をさらに備え、
前記生成手段は、前記第一符号化データが前記Ｉピクチャであると前記ピクチャ判断手段によって判断された場合にのみ、前記Ｉピクチャを復号した復号受信データからＰピクチャを生成することを特徴とする請求項２に記載の通信制御装置。
【請求項５】
前記記憶制御手段は、前記第二復号手段によって生成された復号送信データのうち、少なくとも最新の復号送信データを常に前記記憶手段に記憶することを特徴とする請求項１から４のいずれかに記載の通信制御装置。
【請求項６】
前記生成手段は、生成するＰピクチャよりも１フレーム分前に前記送信手段によって送信される第二符号化データの復号送信データを参照してＰピクチャを生成することを特徴とする請求項１から５のいずれかに記載の通信制御装置。
【請求項７】
前記送信先装置から、前記第二符号化データの受信に失敗したことを示す情報である未受信情報を入力する入力手段をさらに備え、
前記生成手段は、前記入力手段によって前記未受信情報を入力した場合、前記未受信情報によって受信の失敗が示された前記第二符号化データよりも前に前記送信先装置へ送信された第二符号化データの前記復号送信データを参照してＰピクチャを生成することを特徴とする請求項１から５に記載の通信制御装置。
【請求項８】
ネットワークを介して複数の通信装置に接続する通信制御装置によって行われ、符号化された動画像のデータである符号化データの前記複数の通信装置の間における送受信を制御する通信制御方法であって、
前記複数の通信装置のうち、符号化データを前記ネットワークに送信した通信装置である送信元装置が送信した前記符号化データを受信する受信ステップと、
前記受信ステップによって受信された前記符号化データである第一符号化データを復号することで、復号の結果生成される画像のデータである復号受信データを生成する第一復号ステップと、
前記複数の通信装置のうち、符号化データの送信先の通信装置である送信先装置に符号化データを送信する送信ステップと、
前記送信ステップによって送信される前記符号化データである第二符号化データを復号することで、復号の結果生成される画像のデータである復号送信データを生成する第二復号ステップと、
前記第二復号ステップによって生成された前記復号送信データを記憶手段に記憶させる記憶制御ステップと、
前記送信先装置との間の前記ネットワークの帯域を測定する測定ステップと、
前記測定ステップによって測定された帯域に応じて、フレーム内予測符号化のみを用いて符号化された符号化データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ）から前記第一復号ステップによって生成された復号受信データを、前記記憶手段に記憶された復号送信データを参照してフレーム間符号化し、符号化データであるＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ）を生成する生成ステップとを備え、
前記送信ステップは、
前記生成ステップによってＰピクチャが生成される場合、生成される前記Ｐピクチャを前記第二符号化データとして前記送信先装置に送信し、
前記生成ステップによってＰピクチャが生成されない場合、前記受信ステップによって受信された前記第一符号化データを前記第二符号化データとして前記送信先装置に送信することを特徴とする通信制御方法。
【請求項９】
符号化された動画像のデータである符号化データを、ネットワークを介して複数の通信装置の間で送受信する制御を行う通信制御プログラムであって、
コンピュータに、
前記複数の通信装置のうち、符号化データを前記ネットワークに送信した通信装置である送信元装置が送信した前記符号化データを受信する受信ステップと、
前記受信ステップによって受信された前記符号化データである第一符号化データを復号することで、復号の結果生成される画像のデータである復号受信データを生成する第一復号ステップと、
前記複数の通信装置のうち、符号化データの送信先の通信装置である送信先装置に符号化データを送信する送信ステップと、
前記送信ステップによって送信される前記符号化データである第二符号化データを復号することで、復号の結果生成される画像のデータである復号送信データを生成する第二復号ステップと、
前記第二復号ステップによって生成された前記復号送信データを記憶手段に記憶させる記憶制御ステップと、
前記送信先装置との間の前記ネットワークの帯域を測定する測定ステップと、
前記測定ステップによって測定された帯域に応じて、フレーム内予測符号化のみを用いて符号化された符号化データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ）から前記第一復号ステップによって生成された復号受信データを、前記記憶手段に記憶された復号送信データを参照してフレーム間符号化し、符号化データであるＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ）を生成する生成ステップとを実行させ、
さらに前記送信ステップにおいて、
前記生成ステップによってＰピクチャが生成される場合、生成される前記Ｐピクチャを前記第二符号化データとして前記送信先装置に送信させ、
前記生成ステップによってＰピクチャが生成されない場合、前記受信ステップによって受信された前記第一符号化データを前記第二符号化データとして前記送信先装置に送信させることを特徴とする通信制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された動画像のデータの通信を制御する通信制御装置、通信制御方法、および通信制御プログラムに関する。
【背景技術】
【０００２】
従来、符号化された動画像のデータを、ネットワークを介して複数の通信装置の間で送受信する技術が知られている。データを送信する通信装置と受信する通信装置との間のネットワークの帯域に比べて、ネットワークへの出力のビットレートが大きければ、映像品質の劣化を引き起こす。例えば、特許文献１に記載の多地点テレビ会議システムでは、各拠点に配置された会議端末が、画像の符号化レートの情報を、制御装置であるＭＣＵ（Ｍｕｌｔｉ  ｐｏｉｎｔ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）に送信する。ＭＣＵは、会議端末から受信した符号化レートの情報に基づいて、会議端末に送信する符号化データのフレームレートを変更する。ＭＣＵは、フレームレートを変更することで、ネットワークの帯域に与える負荷を調整している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−３１７３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載のＭＣＵは、ネットワークの帯域が低くなると、送信する符号化データのフレームレートを減少させる。フレームレートを減少させると、帯域に与えられる負荷は減少するものの、再生される動画像の品質が低下するという問題点があった。
【０００５】
本発明は、ネットワークの帯域が低下した場合に、動画像の品質を低下させることなく、帯域に与える負荷を減少させることができる通信制御装置、通信制御方法、および通信制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一の態様に係る通信制御装置は、ネットワークを介して複数の通信装置に接続し、符号化された動画像のデータである符号化データの前記複数の通信装置の間における送受信を制御する通信制御装置であって、前記複数の通信装置のうち、符号化データを前記ネットワークに送信した通信装置である送信元装置が送信した前記符号化データを受信する受信手段と、前記受信手段によって受信された前記符号化データである第一符号化データを復号することで、復号の結果生成される画像のデータである復号受信データを生成する第一復号手段と、前記複数の通信装置のうち、符号化データの送信先の通信装置である送信先装置に符号化データを送信する送信手段と、前記送信手段によって送信される前記符号化データである第二符号化データを復号することで、復号の結果生成される画像のデータである復号送信データを生成する第二復号手段と、前記第二復号手段によって生成された前記復号送信データを記憶手段に記憶させる記憶制御手段と、前記送信先装置との間の前記ネットワークの帯域を測定する測定手段と、前記測定手段によって測定された帯域に応じて、フレーム内予測符号化のみを用いて符号化された符号化データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ）から前記第一復号手段によって生成された復号受信データを、前記記憶手段に記憶された復号送信データを参照してフレーム間符号化し、符号化データであるＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ）を生成する生成手段とを備え、前記送信手段は、前記生成手段によってＰピクチャが生成される場合、生成される前記Ｐピクチャを前記第二符号化データとして前記送信先装置に送信し、前記生成手段によってＰピクチャが生成されない場合、前記受信手段によって受信された前記第一符号化データを前記第二符号化データとして前記送信先装置に送信することを特徴とする。
【０００７】
第一の態様に係る通信制御装置は、ネットワークの帯域に応じて、Ｉピクチャよりもデータサイズが小さいＰピクチャを、受信したＩピクチャから新たに生成することができる。生成したＰピクチャを送信先装置に送信する。従って、通信制御装置は、フレームレートを減少させずに、出力のビットレートを減少させることができる。よって、映像の品質を低下させることなく、ネットワークの帯域に与える負荷を減少させることができる。
【０００８】
前記通信制御装置は、前記測定手段によって測定された帯域が閾値より低いか否かを判断する帯域判断手段をさらに備えてもよい。前記生成手段は、前記帯域判断手段によって帯域が閾値より低いと判断されている場合にＰピクチャを生成すればよい。この場合、通信制御装置は、帯域が閾値より低い場合に、送信するデータ全体に含まれるＩピクチャの割合を下げることができる。よって、帯域の増減に伴い、帯域に与える負荷を容易且つ適切に制御することができる。
【０００９】
前記第一復号手段は、前記帯域判断手段によって帯域が閾値より低いと判断されている場合に前記第一符号化データから前記復号受信データを生成してもよい。前記生成手段は、前記Ｉピクチャ以外の前記第一符号化データから前記第一復号手段によって生成された復号受信データもフレーム間符号化してＰピクチャを生成してもよい。この場合、帯域が閾値よりも低い場合、送信先装置に送信されるＰピクチャの全てが、送信先装置に送信される第二符号化データの復号送信データを参照することでフレーム間符号化される。従って、通信制御装置がＰピクチャを生成する際に参照する被参照データと、Ｐピクチャを受信した装置がＰピクチャを復号する際に参照する被参照データとが、同一のデータとなる。よって、通信制御装置は、復号後の画像の品質を低下させることなくＰピクチャを生成し、送信先装置に送信することができる。
【００１０】
前記通信制御装置は、前記帯域判断手段によって帯域が閾値より低いと判断されている場合に、前記受信手段によって受信された前記第一符号化データが前記Ｉピクチャであるか否かを判断するピクチャ判断手段をさらに備えてもよい。前記生成手段は、前記第一符号化データが前記Ｉピクチャであると前記ピクチャ判断手段によって判断された場合にのみ、前記Ｉピクチャを復号した復号受信データからＰピクチャを生成してもよい。この場合、通信制御装置は、受信した第一符号化データがＰピクチャである場合には、新たにＰピクチャを生成する処理を行うことなく、受信したＰピクチャをそのまま送信する。従って、通信制御装置は、処理負担を急激に増加させることなく、ネットワークの帯域に与える負荷を効率よく減少させることができる。
【００１１】
前記記憶制御手段は、前記第二復号手段によって生成された復号送信データのうち、少なくとも最新の復号送信データを常に前記記憶手段に記憶することが望ましい。その結果、通信制御装置は、Ｐピクチャを新たに生成する場合に、記憶手段に記憶されている復号送信データを参照してすぐにＰピクチャを生成することができる。よって、通信制御装置は、帯域が低下してから復号送信データを生成する場合とは異なり、帯域低下後に素早く帯域の負荷を減少させることができる。
【００１２】
前記生成手段は、生成するＰピクチャよりも１フレーム分前に前記送信手段によって送信される第二符号化データの復号送信データを参照してＰピクチャを生成することが望ましい。その結果、通信制御装置は、２フレーム分以上前の画像のデータを参照する場合に比べて、Ｐピクチャのデータサイズを小さくすることができる。よって、通信制御装置は、帯域に与える負荷を効率良く減少させることができる。
【００１３】
前記通信制御装置は、前記送信先装置から、前記第二符号化データの受信に失敗したことを示す情報である未受信情報を入力する入力手段をさらに備えてもよい。前記生成手段は、前記入力手段によって前記未受信情報を入力した場合、前記未受信情報によって受信の失敗が示された前記第二符号化データよりも前に前記送信先装置へ送信された第二符号化データの前記復号送信データを参照してＰピクチャを生成すればよい。この場合、送信先装置において、１つのピクチャの喪失に連動して多数のピクチャの復号ができなくなるおそれを低下させることができる。よって、通信制御装置は、画像の品質の低下を最小限に抑えることができる。
【００１４】
本発明の第二の態様に係る通信制御方法は、ネットワークを介して複数の通信装置に接続する通信制御装置によって行われ、符号化された動画像のデータである符号化データの前記複数の通信装置の間における送受信を制御する通信制御方法であって、前記複数の通信装置のうち、符号化データを前記ネットワークに送信した通信装置である送信元装置が送信した前記符号化データを受信する受信ステップと、前記受信ステップによって受信された前記符号化データである第一符号化データを復号することで、復号の結果生成される画像のデータである復号受信データを生成する第一復号ステップと、前記複数の通信装置のうち、符号化データの送信先の通信装置である送信先装置に符号化データを送信する送信ステップと、前記送信ステップによって送信される前記符号化データである第二符号化データを復号することで、復号の結果生成される画像のデータである復号送信データを生成する第二復号ステップと、前記第二復号ステップによって生成された前記復号送信データを記憶手段に記憶させる記憶制御ステップと、前記送信先装置との間の前記ネットワークの帯域を測定する測定ステップと、前記測定ステップによって測定された帯域に応じて、フレーム内予測符号化のみを用いて符号化された符号化データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ）から前記第一復号ステップによって生成された復号受信データを、前記記憶手段に記憶された復号送信データを参照してフレーム間符号化し、符号化データであるＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ）を生成する生成ステップとを備え、前記送信ステップは、前記生成ステップによってＰピクチャが生成される場合、生成される前記Ｐピクチャを前記第二符号化データとして前記送信先装置に送信し、前記生成ステップによってＰピクチャが生成されない場合、前記受信ステップによって受信された前記第一符号化データを前記第二符号化データとして前記送信先装置に送信することを特徴とする。
【００１５】
第二の態様に係る通信制御方法によると、ネットワークの帯域に応じて、Ｉピクチャよりもデータサイズが小さいＰピクチャを新たに生成し、生成したＰピクチャを送信先装置に送信することができる。その結果、フレームレートは減少せずに、出力のビットレートが減少する。よって、映像の品質を低下させることなく、ネットワークの帯域に与える負荷を減少させることができる。
【００１６】
本発明の第三の態様に係る通信制御プログラムは、符号化された動画像のデータである符号化データを、ネットワークを介して複数の通信装置の間で送受信する制御を行う通信制御プログラムであって、コンピュータに、前記複数の通信装置のうち、符号化データを前記ネットワークに送信した通信装置である送信元装置が送信した前記符号化データを受信する受信ステップと、前記受信ステップによって受信された前記符号化データである第一符号化データを復号することで、復号の結果生成される画像のデータである復号受信データを生成する第一復号ステップと、前記複数の通信装置のうち、符号化データの送信先の通信装置である送信先装置に符号化データを送信する送信ステップと、前記送信ステップによって送信される前記符号化データである第二符号化データを復号することで、復号の結果生成される画像のデータである復号送信データを生成する第二復号ステップと、前記第二復号ステップによって生成された前記復号送信データを記憶手段に記憶させる記憶制御ステップと、前記送信先装置との間の前記ネットワークの帯域を測定する測定ステップと、前記測定ステップによって測定された帯域に応じて、フレーム内予測符号化のみを用いて符号化された符号化データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ）から前記第一復号ステップによって生成された復号受信データを、前記記憶手段に記憶された復号送信データを参照してフレーム間符号化し、符号化データであるＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ）を生成する生成ステップとを実行させ、さらに前記送信ステップにおいて、前記生成ステップによってＰピクチャが生成される場合、生成される前記Ｐピクチャを前記第二符号化データとして前記送信先装置に送信させ、前記生成ステップによってＰピクチャが生成されない場合、前記受信ステップによって受信された前記第一符号化データを前記第二符号化データとして前記送信先装置に送信させることを特徴とする。
【００１７】
第三の態様に係る通信制御プログラムによると、ネットワークの帯域に応じて、Ｉピクチャよりもデータサイズが小さいＰピクチャを新たに生成し、生成したＰピクチャを送信先装置に送信することができる。その結果、フレームレートは減少せずに、出力のビットレートが減少する。よって、映像の品質を低下させることなく、ネットワークの帯域に与える負荷を減少させることができる。
【図面の簡単な説明】
【００１８】
【図１】テレビ会議システム２のシステム構成を示す図である。
【図２】ＭＣＵ１の電気的構成を示すブロック図である。
【図３】第一の実施形態に係るＭＣＵ１が行うメイン処理のフローチャートである。
【図４】第一の実施形態のＭＣＵ１による処理の結果の一例（未受信情報が入力されない場合）を示す図である。
【図５】第一の実施形態のＭＣＵ１による処理の結果の一例（未受信情報が入力される場合）を示す図である。
【図６】第二の実施形態に係るＭＣＵ１０１が行うメイン処理のフローチャートである。
【図７】第二の実施形態のＭＣＵ１０１による処理の結果の一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の通信制御装置を具現化した第一の実施形態であるＭＣＵ（Ｍｕｌｔｉｐｏｉｎｔ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ：多地点接続装置）１について、図面を参照して説明する。なお、参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００２０】
図１を参照して、ＭＣＵ１を備えたテレビ会議システム２のシステム構成について説明する。テレビ会議システム２は、ネットワーク５を介して接続された複数の装置によって構成される。図１では、テレビ会議システム２を構成する装置として、ＭＣＵ１と、拠点Ａに配置された通信装置３と、拠点Ｂに配置されたパーソナルコンピュータ（以下、「ＰＣ」という。）４とを図示している。テレビ会議システム２では、各拠点に配置された装置が互いにデータを送受信することで、複数の拠点のユーザに映像および音声を共有させる。その結果、全てのユーザが同一の拠点にいない場合でも、ユーザは円滑に会議を実行することができる。なお、ＭＣＵ１にネットワーク５を介して接続される装置は２つに限られず、３つ以上でもよい。以下では、説明を簡略化するため、図１に示すように、ＭＣＵ１に２つの装置（通信装置３およびＰＣ４）が接続されている場合を例に挙げる。
【００２１】
ＭＣＵ１は、ネットワーク５を介して接続された装置のそれぞれから画像データおよび音声データを受信する。受信したデータを、データを送信した装置（送信元装置）以外の他の装置（送信先装置）に送信（転送）する。つまり、ＭＣＵ１は、接続された装置の間における画像データおよび音声データの送受信を制御する。その結果、ＰＣ４は、拠点Ａの映像および音声を拠点Ｂで出力することができる。通信装置３は、拠点Ｂの映像および音声を拠点Ａで出力することができる。さらに、ＭＣＵ１は、画像の符号化データの送受信を適切に制御することで、映像の品質を低下させることなく、ネットワーク５に与える負荷を減少させることができる。以下では、テレビ会議システム２で行われる画像の符号化データの処理について主に説明を行う。
【００２２】
通信装置３およびＰＣ４は、同一拠点内に存在するマイク６、スピーカ７、カメラ８、および表示装置９に接続している。マイク６は、音声を音声データに変換する。スピーカ７は、音声データに基づいて音声を出力する。カメラ８は、動画像を撮像する。表示装置９は、画像を表示する。通信装置３およびＰＣ４は、マイク６から入力された音声データと、カメラ８から入力された画像データとを符号化し、符号化データをネットワーク５を介してＭＣＵ１に出力する。また、通信装置３およびＰＣ４は、他の装置からＭＣＵ１を介して符号化データを受信し、スピーカ７および表示装置９を用いて音声および画像を出力する。
【００２３】
通信装置３は、テレビ会議を実行するための専用の端末である。ＰＣ４は、テレビ会議を実行するためのプログラムを記憶した一般的なＰＣである。通信装置３およびＰＣ４は、共に、先述したデータの符号化と、符号化データの送受信と、音声および画像の再生とを実行するための一般的な構成を備えていればよい。具体的には、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部通信インターフェース等を備え、プログラムに従って符号化処理等を実行できればよい。通信装置３およびＰＣ４の構成および処理は、本発明の要部ではないため、詳細な説明は省略する。
【００２４】
なお、通信装置３およびＰＣ４は、ＭＣＵ１から送信された画像の符号化データの受信に失敗した場合には、受信に失敗したことを示す情報である未受信情報をＭＣＵ１に送信することができる。例えば、符号化データを一定時間受信できなかった場合、１つのピクチャの符号化データの一部のみしか受信できなかった場合等に、受信に失敗したと判断して、未受信情報をＭＣＵ１に送信する。
【００２５】
次に、テレビ会議システム２の装置間で送受信される画像のデータについて説明する。テレビ会議システム２を構成する各装置は、Ｈ．２６４の規格に基づいて画像圧縮符号化された符号化データを送受信する。画像圧縮符号化には、フレーム内符号化とフレーム間符号化とがある。
【００２６】
フレーム内符号化とは、カメラによって入力された連続する複数フレーム分の画像データのうちの１フレーム分の画像データ内で、画面内予測によって行われる符号化である。フレーム内符号化によって生成される符号化データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ）は、他のピクチャを参照することなく単独で復号することができる。
【００２７】
フレーム間符号化では、連続するフレームのデータのうち、符号化するフレームのデータとは異なるフレームのデータが参照されて予測誤差が計算され、計算された予測誤差が符号化される。以下では、フレーム間符号化の際に参照される画像のデータを被参照データという。フレーム間符号化によって生成される符号化データの一種に、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ）がある。Ｐピクチャを復号するには、被参照データが必要となる。しかし、Ｐピクチャのデータ量は、単独で復号できるＩピクチャに比べて少ない。
【００２８】
通信装置３およびＰＣ４は、同一拠点内のカメラ８から入力された画像を画像圧縮符号化し、ネットワーク５を介してＭＣＵ１に送信する。画像圧縮符号化では、一般に、Ｉピクチャ、Ｐピクチャ、Ｐピクチャ、Ｉピクチャ、Ｐピクチャ・・・というように、複数のＰピクチャの間に規則的にＩピクチャが生成される。また、Ｐピクチャを生成する場合、符号化する対象とするフレームの直前のデータを被参照データとして符号化を行うのが望ましい。直前のデータを被参照ピクチャとすることで、予測誤差が小さくなり、データ量が小さくなるためである。
【００２９】
ＭＣＵ１は、送信元装置から符号化データを受信すると、受信符号化データをネットワーク５を介して送信先装置に送信する。ここで、ＭＣＵ１と送信先装置との間のネットワーク５の帯域が低下した場合（狭くなった場合）を考える。ネットワーク５の帯域が低下した状態で、高いビットレートによるデータ出力を行うと、輻輳状態の発生、パケットロス等の不具合が生じるおそれがある。その結果、送信先装置で表示される映像の品質が低下する。
【００３０】
従来のＭＣＵでは、送信先装置から受信した画像の符号化レートの情報に基づいて、送信先装置に送信する符号化データのフレームレートが変更されていた。しかし、フレームレートを減少させると、帯域に与えられる負荷は減少するものの、送信先装置で表示される映像の品質は低下する。また、ＭＣＵと送信先装置との間のネットワークの帯域が低下した場合に、符号化データのデータサイズを減少させるように送信元装置に通知することも考えられる。しかし、符号化データが送信元装置から送信されて送信先装置が受信するまでには、時間を要する。従って、送信先装置が帯域の低下を把握した時点で、既にＭＣＵに送信されている符号化データが存在する。よって、ネットワークに与える負荷をすぐに減少させることはできない。また、送信先装置が複数存在する場合には、それぞれの送信先装置に対して異なる符号化データを送信元装置が生成することは困難である。
【００３１】
本実施形態に係るＭＣＵ１は、送信先装置との間のネットワーク５の帯域が低下した場合に、データサイズがＰピクチャよりも大きいＩピクチャをＰピクチャに作り変える。その結果、フレームレートを減少させることなく、ネットワーク５に与える負荷を減少させることができる。また、帯域が低下した時点で既にＩピクチャが送信元装置から送信されている場合でも、ＭＣＵ１がＰピクチャを新たに生成することで、符号化データのデータサイズを素早く減少させることができる。送信元装置は、同一の画像について複数の符号化データを生成する必要もないため、送信元装置の処理負担が増大することもない。以上の処理の詳細について、以下説明する。
【００３２】
図２を参照して、ＭＣＵ１の電気的構成について説明する。ＭＣＵ１は、ＭＣＵ１の制御を司るＣＰＵ１０を備えている。ＣＰＵ１０には、ＲＯＭ１１、ＲＡＭ１２、ＨＤＤ１３、および入出力インターフェース１６が、バス１５を介して接続されている。ＲＯＭ１１は、ＭＣＵ１を動作させるためのプログラムおよび初期値等を記憶している。ＲＡＭ１２は、制御プログラムで使用される各種の情報を一時的に記憶する。ＨＤＤ１３は、プログラム等の各種の情報を記憶する不揮発性の記憶装置である。ＨＤＤ１３の代わりに、ＥＥＰＲＯＭまたはメモリカード等の記憶装置を用いてもよい。また、入出力インターフェース１６には、ＭＣＵ１をネットワーク５に接続するための外部通信Ｉ／Ｆ１８が接続されている。
【００３３】
ＲＡＭ１２について詳細に説明する。ＲＡＭ１２には、ワークエリア１２１、受信符号化データ記憶エリア１２２、復号受信データ記憶エリア１２３、および復号送信データ記憶エリア１２４が設けられている。ワークエリア１２１には、処理に必要なフラグ等の各種データが記憶される。受信符号化データ記憶エリア１２２には、テレビ会議システム２内の他の装置である送信元装置から受信した符号化データ（以下、「受信符号化データ」という。）が記憶される。復号受信データ記憶エリア１２３には、受信符号化データを復号化して生成されたデータ（以下、「復号受信データ」という。）が記憶される。復号送信データ記憶エリア１２４には、送信先装置に送信される符号化データ（以下、「送信符号化データ」という。）を復号化して生成されたデータ（以下、「復号送信データ」という。）が記憶される。ＭＣＵ１は、Ｐピクチャを新たに生成する場合、復号受信データ記憶エリア１２３に記憶されているデータに対し、復号送信データ記憶エリア１２４に記憶されているデータを被参照データとしてフレーム間符号化を行う。
【００３４】
図３を参照して、第一の実施形態に係るＭＣＵ１が行うメイン処理について説明する。メイン処理は、ＨＤＤ１３に記憶されているプログラムに従ってＣＰＵ１０が実行する。なお、メイン処理は、ＭＣＵ１に接続されている装置（通信装置３およびＰＣ４）のそれぞれに対して別々に行われている。具体的には、通信装置３から符号化データを受信してＰＣ４に送信するための処理と、ＰＣ４から符号化データを受信して通信装置３に送信するための処理とが別々に行われている。しかし、これらの処理の流れは同じである。よって、以下では通信装置３から符号化データを受信してＰＣ４に送信するためのメイン処理についてのみ説明を行う。
【００３５】
符号化データの送受信の実行指示がＭＣＵ１に入力されると、ＣＰＵ１０はメイン処理を開始する。まず、各種データが初期化される（Ｓ１）。送信先装置（ＰＣ４）との間のネットワーク５の通信帯域の測定が開始される（Ｓ２）。ネットワーク５の帯域の測定は、公知の手法のいずれかによって行われればよい。
【００３６】
送信元装置（通信装置３）から、１ピクチャ分の符号化データが受信される（Ｓ３）。受信された受信符号化データは、ＲＡＭ１２の受信符号化データ記憶エリア１２２に記憶される。次いで、送信先装置との間のネットワーク５の帯域が、閾値よりも低下したか否かが判断される（Ｓ４）。帯域の値が閾値以上であれば（Ｓ４：ＮＯ）、受信符号化データがそのまま送信先装置に送信される（Ｓ５）。送信された符号化データが復号化されて、復号送信データが生成され、ＲＡＭ１２の復号送信データ記憶エリア１２４に記憶される（Ｓ１６）。処理はＳ３へ戻る。
【００３７】
測定された帯域の値が閾値よりも低下していれば（Ｓ４：ＹＥＳ）、新たにＰピクチャを生成する処理が行われる。まず、受信符号化データがＩピクチャであるか否かが判断される（Ｓ７）。Ｉピクチャであれば（Ｓ７：ＹＥＳ）、受信したＩピクチャが復号化されて、復号受信データが生成され、ＲＡＭ１２の復号受信データ記憶エリア１２３に記憶される（Ｓ８）。Ｉピクチャは、それのみで単独で復号することができる。受信符号化データがＰピクチャであれば（Ｓ７：ＮＯ）、そのＰピクチャの被参照データが参照されて、受信符号化データが復号化され、復号受信データが生成される。復号受信データは、復号受信データ記憶エリア１２３に記憶される（Ｓ９）。
【００３８】
次いで、送信先装置から未受信情報が入力されたか否かが判断される（Ｓ１０）。先述したように、未受信情報とは、送信先装置がＭＣＵ１から送信された符号化データの受信に失敗した場合に、送信先装置から入力される。未受信情報が入力されていなければ（Ｓ１０：ＮＯ）、復号送信データ記憶エリア１２４に記憶されているデータのうち、現在生成しようとしているＰピクチャの１フレーム分前に送信される符号化データの復号送信データが、被参照データに決定される（Ｓ１１）。換言すると、生成しようとしているＰピクチャの直前の復号送信データが、Ｐピクチャをフレーム間符号化するために参照される被参照データに決定される。
【００３９】
一方、送信先装置から未受信情報が入力されていれば（Ｓ１０：ＹＥＳ）、送信が成功した過去の符号化データが割り出される。詳細には、送信した後に送信先装置からの未受信情報の入力がなかった符号化データが、過去に送信が成功した符号化データとして割り出される。そして、割り出された符号化データのうちの最新のデータ（最も遅い時間に送信された符号化データ）の復号送信データが、被参照データに決定される（Ｓ１２）。
【００４０】
次いで、復号化（Ｓ８またはＳ９）された復号受信データが、決定された被参照データが参照されてフレーム間符号化され、新たにＰピクチャが生成される（Ｓ１３）。生成されたＰピクチャが、送信先装置へ送信される（Ｓ１４）。送信されたＰピクチャが復号化されて、復号送信データが生成され、復号送信データ記憶エリア１２４に記憶される（Ｓ１６）。処理はＳ３へ戻り、次のピクチャの処理が行われる。
【００４１】
次に、図４および図５を参照して、第一の実施形態のＭＣＵ１が行う処理の結果の一例について説明する。図４および図５では、上下方向に時間軸を設定してある。左右方向に、送信元装置からＭＣＵ１を介して送信先装置に送信されるデータの流れを示す。時間Ｔ１からＴ２までの間、帯域の値が閾値よりも低下している。「Ｉ」はＩピクチャであることを示す。「Ｐ」はＰピクチャであることを示す。「Ｉ」および「Ｐ」の右隣の数字は、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）の順番を示す。Ｐピクチャの右端の数字は、ＧＯＰ中の何番目のＰピクチャであるかを示す。例えば、Ｐ１２とは、１番目のＧＯＰ中の２番目のＰピクチャであることを示す。なお、ＧＯＰとは、複数のピクチャを効率的に管理するためのピクチャのまとまりであり、図４および図５ではそれぞれのＧＯＰの先頭にＩピクチャが位置する。図４および図５では、送信元装置は、Ｉ１，Ｐ１１，Ｐ１２，Ｉ２，Ｐ２１，Ｐ２２，Ｉ３の順に符号化データをＭＣＵ１に送信している。送信元装置は、Ｉ１を参照してＰ１１を生成し、Ｐ１１を参照してＰ１２を生成する。同様に、Ｉ２を参照してＰ２１を生成し、Ｐ２１を参照してＰ２２を生成する。
【００４２】
図４は、送信先装置からＭＣＵ１へ未受信情報が入力されない場合の処理の結果の一例を示す図である。まず、ＭＣＵ１は、送信元装置からＩ１を受信し、受信符号化データ記憶エリア１２２に記憶する。この時点では、ＭＣＵ１と送信先装置との間のネットワーク５の帯域の値は、閾値以上である。よって、受信したＩ１がそのまま送信先装置へ送信される。送信したＩ１が復号されて、生成された復号送信データが復号送信データ記憶エリア１２４に記憶される。
【００４３】
次いで、ＭＣＵ１はＰ１１を受信し、記憶する。帯域は未だ低下していないので、Ｐ１１がそのまま送信され、Ｐ１１が復号、記憶される。なお、送信先装置では、Ｐ１１の復号に必要な被参照データであるＩ１をＰ１１よりも前に受信するため、Ｐ１１を復号して表示装置９に画像を表示することができる。ＭＣＵ１は、Ｐ１２もそのまま送信先装置へ送信し、Ｐ１２の復号送信データを記憶する。
【００４４】
次いで、ＭＣＵ１はＩ２を受信し、記憶する。この時点で、送信先装置との間のネットワーク５の帯域は低下している。従って、ＭＣＵ１はＩ２を復号し、生成されたＩ２の復号受信データを復号受信データ記憶エリア１２３に記憶する。既に送信されたＰ１２から生成された復号送信データを被参照データとして、Ｉ２の復号受信データをフレーム間符号化し、Ｐ１３を生成する。Ｐ１３を送信先装置へ送信し、且つ、Ｐ１３の復号送信データを記憶する。送信先装置では、Ｐ１３の復号に必要な被参照データであるＰ１２をＰ１３よりも前に受信するため、Ｐ１３を復号して画像を表示することができる。
【００４５】
次いで、ＭＣＵ１はＰ２１を受信し、記憶する。帯域が低下しているため、ＭＣＵ１は、記憶しているＩ２を参照してＰ２１を復号し、Ｐ２１の復号受信データを記憶する。既に送信されたＰ１３の復号送信データを被参照データとして、Ｐ２１の復号受信データをフレーム間符号化し、Ｐ１４を生成する。Ｐ１４を送信先装置へ送信し、且つ、Ｐ１４の復号送信データを記憶する。次いで、Ｐ２２についても、Ｐ２１を受信した場合と同様の処理が行われる。その後、ＭＣＵ１はＩ３を受信するが、帯域の値は閾値以上に回復しているため、Ｉ３はそのまま送信先装置へ送信される。
【００４６】
以上のように、ＭＣＵ１は、受信符号化データがＩピクチャであれば、ネットワーク５の帯域に応じて、Ｉピクチャよりもデータサイズが小さいＰピクチャを新たに生成して送信することができる。よって、ＭＣＵ１は、フレームレートを減少させることなく、ネットワーク５に与える負荷を減少させることができる。ＭＣＵ１は、送信元装置が既にＩピクチャを送信した後であっても、送信先装置に送信する符号化データのビットレートを素早く減少させることができる。帯域の値を閾値と比較して処理を行うことで、帯域の増減に伴い適切に処理を行うことができる。
【００４７】
ＭＣＵ１は、帯域が低下している場合、受信符号化データがＰピクチャである場合にも、復号送信データを被参照データとして新たにＰピクチャを生成する。この場合、受信符号化データと、新たに生成される符号化データとは共にＰピクチャであるため、データサイズに大差はない。しかし、送信先装置に過去に送信された画像が参照されて、Ｐピクチャが再生成される。従って、ＭＣＵ１での符号化時に参照されるデータと、送信先装置での復号化時に参照されるデータとが完全に同一のデータとなる。よって、復号後の映像の品質が低下しない。
【００４８】
ＭＣＵ１は、符号化データを送信先装置に送信した場合には常に、送信した符号化データを復号する。復号して生成した復号送信データを、復号送信データ記憶エリア１２４に記憶する。従って、ＭＣＵ１は、Ｐピクチャを新たに生成する場合に、記憶している復号送信データを参照してすぐにフレーム間符号化を行うことができる。よって、帯域が低下してから復号送信データを生成する場合とは異なり、帯域低下後に素早く帯域の負荷を減少させることができる。
【００４９】
ＭＣＵ１は、生成するＰピクチャよりも１フレーム分前に送信される符号化データの復号送信データを参照して、Ｐピクチャを新たに生成することができる。従って、２フレーム以上前のデータを参照する場合に比べて予測誤差が小さくなり、Ｐピクチャのデータサイズが小さくなる。よって、ＭＣＵ１は、帯域に与える負荷を効率よく減少させることができる。
【００５０】
次に、図５に示す例について説明する。図５は、送信先装置からＭＣＵ１へ未受信情報が入力される場合の処理の結果の一例を示す図である。まず、ＭＣＵ１は送信元装置からＰ１２を受信し、記憶する。この時点では、送信先装置との間のネットワーク５の帯域の値は、閾値以上である。よって、受信したＰ１２がそのまま送信先装置へ送信される。Ｐ１２が復号されて、生成された復号送信データが記憶される。
【００５１】
次いで、ＭＣＵ１はＩ２を受信し、記憶する。帯域が低下しているため、ＭＣＵ１はＩ２を復号して記憶し、Ｐ１２の復号送信データを参照してＰ１３を生成する。Ｐ１３を送信先装置へ送信し、且つ、Ｐ１３の復号送信データを記憶する。ＭＣＵ１は、次に受信するＰ２１についても、Ｉ２を受信した場合と同様の処理を行ってＰ１４を生成し、送信、記憶する。
【００５２】
次いで、ＭＣＵ１はＰ２２を受信し、記憶する。帯域が低下しているため、Ｐ２２から新たにＰピクチャを生成する。しかしこの時点で、ＭＣＵ１は、Ｐ１２の受信に失敗したことを示す未受信情報を送信先装置から入力している。従って、ＭＣＵ１は、過去に送信が成功した符号化データのうち最新のデータであるＰ１１の復号送信データを参照し、Ｐ２２の復号受信データをフレーム間符号化する。生成したＰ１５の符号化データを送信先装置に送信し、且つ、Ｐ１５の復号送信データを記憶する。次いで、ＭＣＵ１はＩ３を受信して記憶する。Ｐ１５の復号送信データを被参照データとして、Ｉ３の復号受信データからＰ１６を生成し、送信先装置に送信する。
【００５３】
以上のように、ＭＣＵ１は、送信先装置が符号化データの受信に失敗した場合、受信に失敗した符号化データよりも前に送信先装置に送信した符号化データに基づく復号送信データを参照データとしてＰピクチャを生成することができる。図５に示すように、送信先装置は、１つのピクチャ（図５のＰ１２）の受信に失敗すると、次にＩピクチャを受信するまで連動して復号ができなくなるおそれがある。しかし、ＭＣＵ１は、送信が成功したピクチャを参照データとしてＰピクチャを新たに生成することができる（図５のＰ１５）。従って、送信先装置では、Ｐ１５以降の符号化データの復号化が、Ｐ１２の受信の失敗に連動して不可能となることはない。よって、ＭＣＵ１は、送信先装置が符号化データの受信に失敗した場合でも、映像の品質の低下を最小限に抑えることができる。
【００５４】
なお、上記第一の実施形態において、ＭＣＵ１が本発明の「通信制御装置」に相当する。通信装置３およびＰＣ４が「通信装置」に相当する。図３のＳ３で符号化データを受信するＣＰＵ１０が「受信手段」として機能し、Ｓ３で受信する符号化データである受信符号化データが「第一符号化データ」に相当する。図３のＳ８およびＳ９で受信符号化データを復号化するＣＰＵ１０が「第一復号手段」として機能する。図３のＳ５およびＳ１４で符号化データを送信するＣＰＵ１０が「送信手段」として機能し、Ｓ５およびＳ１４で送信する符号化データである送信符号化データが「第二符号化データ」に相当する。図３のＳ１６で復号送信データをＲＡＭ１２に記憶させるＣＰＵ１０が「記憶制御手段」として機能する。図３のＳ２でネットワーク５の帯域を測定するＣＰＵ１０が「測定手段」として機能する。図３のＳ４、Ｓ７〜Ｓ１３でＰピクチャを生成するＣＰＵ１０が「生成手段」として機能する。図３のＳ４で帯域の値が閾値よりも低いか否かを判断するＣＰＵ１０が「帯域判断手段」として機能する。図３のＳ１０で未受信情報を入力するＣＰＵ１０が「入力手段」として機能する。
【００５５】
図３のＳ３で符号化データを受信する処理が、本発明の「受信ステップ」に相当する。図３のＳ８およびＳ９で受信符号化データを復号化する処理が「第一復号ステップ」に相当する。図３のＳ５およびＳ１４で符号化データを送信する処理が「送信ステップ」に相当する。図３のＳ１６で復号送信データをＲＡＭ１２に記憶させる処理が「記憶制御ステップ」に相当する。図３のＳ２でネットワーク５の帯域を測定する処理が「測定ステップ」に相当する。図３のＳ４、Ｓ７〜Ｓ１３でＰピクチャを生成する処理が「生成ステップ」に相当する。
【００５６】
次に、本発明の第二の実施形態に係るＭＣＵ１０１について、図６および図７を参照して説明する。第二の実施形態に係るＭＣＵ１０１は、帯域の値が閾値より低下している間であっても、受信符号化データがＩピクチャである場合にのみＰピクチャを新たに生成する点が、上記第一の実施形態に係るＭＣＵ１と異なるのみである。よって、同一の構成および処理については同一の番号を付し、この説明を省略または簡略化する。
【００５７】
図６を参照して、ＭＣＵ１０１が行うメイン処理について説明する。まず、各種データが初期化され（Ｓ１）、帯域の測定が開始される（Ｓ２）。送信元装置から、１ピクチャ分の符号化データが受信され、受信符号化データ記憶エリア１２２に記憶される（Ｓ３）。測定された帯域の値が閾値よりも低下したか否かが判断される（Ｓ１０４）。帯域の値が閾値以上であれば（Ｓ１０４：ＮＯ）、受信符号化データがそのまま送信先装置に送信される（Ｓ５）。送信された符号化データが復号化されて、復号送信データが生成され、復号送信データ記憶エリア１２４に記憶される（Ｓ１６）。処理はＳ３へ戻る。
【００５８】
測定された帯域の値が閾値よりも低下していれば（Ｓ１０４：ＹＥＳ）、受信符号化データがＩピクチャであるか否かが判断される（Ｓ１０７）。Ｉピクチャでなく、Ｐピクチャであれば（Ｓ１０７：ＮＯ）、受信したＰピクチャがそのまま送信先装置に送信される（Ｓ５）。受信符号化データがＩピクチャである場合のみ（Ｓ１０７：ＹＥＳ）、受信したＩピクチャが復号化されて復号受信データが生成され、復号受信データ記憶エリア１２３に記憶される（Ｓ１０８）。送信先装置から未受信情報が入力されたか否かが判断される（Ｓ１１０）。未受信情報が入力されていなければ（Ｓ１１０：ＮＯ）、生成しようとしているＰピクチャの直前の復号送信データが、Ｐピクチャをフレーム間符号化するための被参照データに決定される（Ｓ１１１）。未受信情報が入力されていれば（Ｓ１１０：ＹＥＳ）、送信が成功した符号化データのうち最新のデータの復号送信データが、被参照データに決定される（Ｓ１１２）。
【００５９】
次いで、復号化（Ｓ１０８）された復号受信データが、決定された被参照データが参照されてフレーム間符号化され、新たにＰピクチャが生成される（Ｓ１１３）。生成されたＰピクチャが、送信先装置へ送信される（Ｓ１４）。送信されたＰピクチャが復号化されて、復号送信データが生成され、復号送信データ記憶エリア１２４に記憶される（Ｓ１６）。処理はＳ３へ戻り、次のピクチャの処理が行われる。
【００６０】
図７を参照して、第二の実施形態のＭＣＵ１０１が行う処理の結果に一例について説明する。まず、ＭＣＵ１０１は、送信元装置からＩ１を受信し、受信符号化データ記憶エリア１２２に記憶する。この時点では、ＭＣＵ１０１と送信先装置との間のネットワーク５の帯域の値は閾値以上である。よって、受信したＩ１がそのまま送信先装置へ送信される。送信したＩ１が復号されて、生成された復号送信データが復号送信データ記憶エリア１２４に記憶される。次いで、ＭＣＵ１０１はＰ１１を受信し、記憶する。帯域は未だ低下していないので、Ｐ１１がそのまま送信され、Ｐ１１が復号、記憶される。ＭＣＵ１０１は、Ｐ１２もそのまま送信先装置へ送信し、Ｐ１２の復号送信データを記憶する。
【００６１】
次いで、ＭＣＵ１０１はＩ２を受信し、記憶する。この時点で、送信先装置との間のネットワーク５の帯域は低下している。さらに、受信符号化データはＩピクチャである。従って、ＭＣＵ１はＩ２を復号し、生成されたＩ２の復号受信データを復号受信データ記憶エリア１２３に記憶する。既に送信されたＰ１２に基づく復号送信データを被参照データとして、Ｉ２の復号受信データをフレーム間符号化し、Ｐ１３を生成する。Ｐ１３を送信先装置へ送信し、且つ、Ｐ１３の復号送信データを記憶する。
【００６２】
次いで、ＭＣＵ１０１はＰ２１を受信し、記憶する。この時点で帯域は低下しているが、受信符号化データはＰピクチャである。従って、ＭＣＵ１０１はＰ２１をそのまま送信先装置へ送信し、且つ、Ｐ２１の復号送信データを記憶する。送信先装置は、Ｐ２１の符号化データを、Ｐ１３を参照して復号化することとなる。Ｐ２１は、送信元装置における符号化時にはＩ２を参照データとしているため、厳密に言うと、符号化時の参照データ（Ｉ２）と復号化時の参照データ（Ｐ１３）とが異なる。しかし、Ｉ２とＰ１３とは、共に同一の画像についての符号化データである。よって、復号化時にＰ１３を参照データとしても、表示される映像の品質の低下は僅かである。ＭＣＵ１０１は、Ｐ２２もそのまま送信先装置へ送信し、Ｐ２２の復号送信データを記憶する。次いで、ＭＣＵ１０１はＩ３を受信するが、帯域は回復しているため、Ｉ３はそのまま送信先装置へ送信される。
【００６３】
以上のように、第二の実施形態に係るＭＣＵ１０１は、帯域が低下しており、且つ、送信元装置から受信した受信符号化データがＩピクチャである場合にのみ、受信符号化データを一旦復号してＰピクチャに作り変える。ＭＣＵ１０１は、帯域が低下している場合でも、受信符号化データがＰピクチャである場合には、受信符号化データをそのまま送信先装置へ送信する。ＭＣＵ１０１は、ＩピクチャのみをＰピクチャに作り変えればよいため、処理負担を急激に増加させることなく、ネットワーク５に与える負荷を効率よく減少させることができる。なお、図６のＳ１０７で受信符号化データがＩピクチャであるか否かを判断するＣＰＵ１０が、本発明の「ピクチャ判断手段」として機能する。
【００６４】
本発明は、上記実施形態に限定されることはなく、様々な変形が可能であることは言うまでもない。例えば、本発明が適用できるのは、テレビ会議を制御するＭＣＵ１，１０１に限られない。他にも、映像を配信するサーバ等、複数の装置間における符号化データの送受信を制御する装置であれば、本発明を適用できる。上記実施形態ではＨ．２６４の規格に基づいて符号化が行われているが、他の規格を採用することもできる。
【００６５】
上記実施形態のＭＣＵ１，１０１は、送信先装置との間のネットワーク５の帯域が閾値よりも低下した場合に、ＩピクチャをＰピクチャに作り変えて送信する。ここで、ＩピクチャをＰピクチャに作り変える割合を、帯域の値に応じて変化させることも可能である。例えば、ＩピクチャをＰピクチャに作り変える割合を、帯域の値がＡ以上であれば０％、Ａ未満Ｂ以上であれば２５％、Ｂ未満Ｃ以上であれば５０％、Ｃ未満であれば９０％と設定する。ＭＣＵは、図３のＳ４の代わりに、Ｉピクチャを作り変える割合を帯域に応じて設定する。ＩピクチャをＰピクチャに作り変える場合、図３のＳ４とＳ７の間で、受信したＩピクチャの数を計数する。割合を２５％とした場合には、Ｉピクチャを４個受信する毎にＩピクチャをＰピクチャに作り変える。同様に、割合を５０％とした場合には２個中１個、割合を９０％とした場合には１０個中９個のＩピクチャを、Ｐピクチャに作り変える。この場合、ＭＣＵは、帯域が低下する程、ＩピクチャをＰピクチャに作り変える割合を増加させることができる。よって、ＭＣＵは、帯域の低下量に応じてより適切に出力ビットレートを調整することができる。また、上記実施形態における閾値が適宜変更できることは言うまでもない。
【００６６】
上記実施形態のＭＣＵ１，１０１は、帯域が低下した場合に素早くＰピクチャを再生成できるように、送信先装置へ送信した符号化データを全て復号化し、少なくとも最新の復号送信データを常に記憶している。しかし、帯域が低下してから復号送信データを生成し、Ｐピクチャの再生成を行ってもよい。また、上記実施形態のＭＣＵ１，１０１は、Ｐピクチャを再生成する場合にのみ、受信符号化データを復号化して復号受信データを記憶している。しかし、受信符号化データの全てを復号化し、記憶してもよい。
【００６７】
上記実施形態で述べたように、復号受信データからＰピクチャを再生成する場合、復号受信データの直前のピクチャを参照データとすることが望ましい。しかし、直前のピクチャを参照データとしなくても、本発明は実現できる。
【符号の説明】
【００６８】
１，１０１    ＭＣＵ
５    ネットワーク
１０    ＣＰＵ
１２    ＲＡＭ
１３    ＨＤＤ
１２２    受信符号化データ記憶エリア
１２３    復号受信データ記憶エリア
１２４    復号送信データ記憶エリア
【図１】
2011061287.tif 000003
【図２】
2011061287.tif 000004
【図３】
2011061287.tif 000005
【図４】
2011061287.tif 000006
【図５】
2011061287.tif 000007
【図６】
2011061287.tif 000008
【図７】
2011061287.tif 000009