(57)【特許請求の範囲】
【請求項１】
映像データのパケットであって、当該映像データに基づいて映像を再生するときの当該映像の品質に応じた優先度が割り当てられた各パケットを、順次エンキューして格納するキューを記憶する記憶手段と、
前記キューに格納されたパケットを、当該キューへのエンキューの順番が時間的に古いものから順番に送信する送信手段と、
前記キューにパケットがエンキューされるときに、当該キューに格納されているパケットの数が、当該キューに格納されるパケットの上限値に達している場合には、当該キューに格納されているパケット及び前記エンキューされるパケットの中から、最も低い優先度が割り当てられたパケットのうちエンキューの順番が時間的に最も古いパケットである第１のパケットに加えて、当該第１のパケットと同じ優先度が割り当てられたパケットのうち、当該第１のパケットとエンキューの順番が前記キュー内で隣接する第２のパケットを廃棄する廃棄手段と
を備えることを特徴とする映像送信装置。
【請求項２】
前記送信手段により送信されるパケットが伝送される伝送経路の可用帯域を計測する計測手段と、
前記送信手段が前記キューからパケットを読み出して送信するときの帯域を、前記計測手段によって計測された前記伝送経路の可用帯域に応じて制御する帯域制御手段と
を備えることを特徴とする請求項１に記載の映像送信装置。
【請求項３】
前記キューに格納されるパケットの上限値を変更する変更手段であって、前記計測手段によって計測された前記伝送経路の可用帯域が大きくなった場合には前記上限値を大きくし、前記伝送経路の可用帯域が小さくなった場合には前記上限値を小さくする変更手段を備え、
前記廃棄手段は、前記変更手段が前記上限値を小さくしたことにより、前記キューに格納できずに当該キューからあふれるパケットが発生した場合、当該キューに格納されているパケットと、エンキューの対象となるパケットと、前記キューからあふれるパケットとの中から、前記最も低い優先度が割り当てられたパケットのうちエンキューの順番が時間的に最も古いパケットである第１のパケット及び当該第１のパケットと同じ優先度が割り当てられたパケットのうち、当該第１のパケットとエンキューの順番が前記キュー内で隣接する第２のパケットを前記キューからあふれるパケットの数以上廃棄する
ことを特徴とする請求項２に記載の映像送信装置。
【請求項４】
前記廃棄手段は、前記第１のパケット及び前記第２のパケットが前記キューからあふれるパケットの数以上存在しない場合には、前記第１のパケット及び当該第１のパケットと同じ優先度が割り当てられたパケットを全て廃棄する
ことを特徴とする請求項３に記載の映像送信装置。
【請求項５】
前記送信手段により既に送信済みのパケットを再送する要求を受信した場合に、当該パケットを再送する再送制御手段を備え、
前記廃棄手段は、前記再送制御手段が再送するパケットについても廃棄の対象とする
ことを特徴とする請求項１乃至４のいずれか１項に記載の映像送信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像を送信する技術に関する。
【背景技術】
【０００２】
映像を含むマルチメディアデータのストリーミングにおいて、データの破綻やデータ配信の遅延を抑制するために、映像送信装置側で、階層符号化された映像データに基づいてパケットを選別して廃棄したり、パケットの送信順序を制御する技術が知られている。例えば特許文献１には、階層符号化された映像データのフレーム単位でバッファリングを行い、一定のフレーム周期を超えた場合に優先度の低いパケットを廃棄する技術が記載されている。また、公知の技術であるＷＲＥＤ（Weighted Random Early Detection）では、単一の送信キューにおいてパケットの優先度ごとにキュー長制限を設けて、キュー長制限を越えたパケットについて廃棄を行うというアルゴリズムを採用している。さらに、公知の技術として、優先度の低いパケットを定常的に廃棄したり、パケットの優先度ごとに送信キューを用意して送信順序の制御を行うものが存在する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３００３６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、バッファリング分の伝送遅延が発生しやすいという問題や、映像送信装置で映像のフォーマットを解釈する必要があるため装置が複雑で高コストになりやすいという問題がある。また、ＷＲＥＤにおいては、一度、送信キューに格納されたパケットは廃棄される事が無いため、そのキュー内において優先度の低いパケットを廃棄せずに、それに後続する優先度の高いパケットを廃棄せざるを得ない場合がある。また、優先度の低いパケットを定常的に廃棄すると、可用帯域を有効に活用できないという問題がある。これは映像帯域や回線帯域の変動に追従できず、パケットの廃棄しすぎやパケットが廃棄しきれないといったことが理由である。さらに、パケットの優先度ごとに送信キューを用意する場合、パケットの送信順序が入れ替わることがあり、キューの管理コストも大きくなる。
【０００５】
本発明の目的は、上述の背景を鑑みてなされたものであり、映像データのパケットを送信するにあたり、当該映像データに基づいて映像が再生されるときのその映像の品質低下を抑制しつつ、パケットが送信されてからそのパケットに応じた映像が再生されるまでの遅延を小さくすることにある。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、映像データのパケットであって、当該映像データに基づいて映像を再生するときの当該映像の品質に応じた優先度が割り当てられた各パケットを、順次エンキューして格納するキューを記憶する記憶手段と、前記キューに格納されたパケットを、当該キューへのエンキューの順番が時間的に古いものから順番に送信する送信手段と、前記キューにパケットがエンキューされるときに、当該キューに格納されているパケットの数が、当該キューに格納されるパケットの上限値に達している場合には、当該キューに格納されているパケット及び前記エンキューされるパケットの中から、最も低い優先度が割り当てられたパケットのうちエンキューの順番が時間的に最も古いパケットである第１のパケットに加えて、当該第１のパケットと同じ優先度が割り当てられたパケットのうち、当該第１のパケットとエンキューの順番が前記キュー内で隣接する第２のパケットを廃棄する廃棄手段とを備えることを特徴とする映像送信装置を提供する。
【０００９】
また、別の好ましい態様において、前記送信手段により送信されるパケットが伝送される伝送経路の可用帯域を計測する計測手段と、前記送信手段が前記キューからパケットを読み出して送信するときの帯域を、前記計測手段によって計測された前記伝送経路の可用帯域に応じて制御する帯域制御手段とを備えることを特徴とする。
【００１０】
また、別の好ましい態様において、前記キューに格納されるパケットの上限値を変更する変更手段であって、前記計測手段によって計測された前記伝送経路の可用帯域が大きくなった場合には前記上限値を大きくし、前記伝送経路の可用帯域が小さくなった場合には前記上限値を小さくする変更手段を備え、前記廃棄手段は、前記変更手段が前記上限値を小さくしたことにより、前記キューに格納できずに当該キューからあふれるパケットが発生した場合、当該キューに格納されているパケットと、エンキューの対象となるパケットと、前記キューからあふれるパケットとの中から、前記最も低い優先度が割り当てられたパケットのうちエンキューの順番が時間的に最も古いパケットである第１のパケット及び当該第１のパケットと同じ優先度が割り当てられたパケットのうち、当該第１のパケットとエンキューの順番が前記キュー内で隣接する第２のパケットを前記キューからあふれるパケットの数以上廃棄することを特徴とする。
【００１１】
また、別の好ましい態様において、前記廃棄手段は、前記第１のパケット及び前記第２のパケットが前記キューからあふれるパケットの数以上存在しない場合には、前記第１のパケット及び当該第１のパケットと同じ優先度が割り当てられたパケットを全て廃棄することを特徴とする。
また、別の好ましい態様において、前記送信手段により既に送信済みのパケットを再送する要求を受信した場合に、当該パケットを再送する再送制御手段を備え、前記廃棄手段は、前記再送制御手段が再送するパケットについても廃棄の対象とすることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、映像データのパケットを送信するにあたり、当該映像データに基づいて映像が再生されるときのその映像の品質低下を抑制しつつ、パケットが送信されてからそのパケットに応じた映像が再生されるまでの遅延を小さくすることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態におけるシステムの構成を表した図である。
【図２】映像送信装置のハードウェア構成を表したブロック図である。
【図３】映像送信装置の機能構成を表したブロック図である。
【図４】パケットの構成を表した図である。
【図５】キュー処理部の構成を表した図である。
【図６】キュー処理部におけるパケット廃棄の制御内容を表した図である。
【図７】キュー処理部における処理フロー図である。
【図８】変形例１のキュー処理部における処理フロー図である。
【図９】変形例２のキュー処理部における処理フロー図である。
【発明を実施するための形態】
【００１４】
（１）実施形態
次に、図面を参照して本発明の実施形態について説明する。
図１は本発明の実施形態におけるシステムの構成を表した図である。このシステムは、映像出力装置１と、映像送信装置２と、パケット通信網３と、中継装置４と、映像受信装置５と、映像表示装置６とを備えている。映像出力装置１は、例えば撮像を行うビデオカメラや、映像データを記憶したパーソナルコンピュータ（以下、パソコンという）やサーバ装置等である。映像出力装置１は、映像の内容を表すアナログの映像信号或いはデジタルの映像データを映像送信装置２に出力する。映像送信装置２は、映像出力装置１から入力される映像信号或いは映像データをカプセル化して所定のデータ長の複数のパケットに変換する。そして映像送信装置２は、これらの映像データのパケットを、映像表示装置６で映像が再生される際にデータの破綻や遅延が発生するのを抑制することを目的として選択的に廃棄しつつ、順次送信先に向けてパケット通信網３に送信する。この映像送信装置２は、映像エンコーダの機能とルータの機能を併せ持つ装置である。パケット通信網３は、ＬＡＮ（Local Area Network）やインターネットであり、映像送信装置２から送信先へ向けて送信されたパケットが伝送される伝送経路となる。
【００１５】
中継装置４は、例えばルータであり、パケット通信網３を通じて映像送信装置２から送信されてくるパケットを受信する。中継装置４は、受信したパケットを順次映像受信装置５に出力する。映像受信装置５は、中継装置４から入力されたパケットをデカプセル化して映像信号或いは映像データを復元し、この映像信号或いは映像データを映像表示装置６に出力する。中継装置４および映像受信装置５は、分離した別体の装置ではなく、一体の装置であってもよい。映像表示装置６は、映像受信装置５から入力された映像信号或いは映像データに基づいた映像を再生して表示する装置であり、例えばディスプレイ装置、アナログテレビ、デジタルテレビ、パソコン、或いは携帯電話機等である。映像送信装置２においてパケットの廃棄が行われると、本来の順番からすると間のパケットが抜けた状態で映像受信装置５にパケットが入力される場合がある。このとき、映像受信装置５は間が抜けていても入力された順番に従ってパケットから映像信号或いは映像データを復元する。つまり、映像受信装置５は、入力されなかったパケットに基づく部分の映像信号或いは映像データはスキップしながら、入力された順番でパケットから映像信号或いは映像データを復元し、この映像信号或いは映像データに基づく映像を映像表示装置６が再生して表示する。従って、映像受信装置５がパケットの到着を待つことで処理が滞ることもなく、時系列に沿って順次パケットが処理されるため、映像表示装置６のストリーミング再生におけるリアルタイム性が損なわれることが極力無いようになっている。図1に示した各構成のうち、中継装置４、映像受信装置５および映像表示装置６は複数存在してもよい。また、映像受信装置５および映像表示装置６は、分離した別体の装置ではなく、一体の装置であってもよい。また、中継装置４、映像受信装置５および映像表示装置６の全てが、一体の装置であってもよい。なお、映像表示装置６が携帯電話機の場合、この携帯電話機は、中継装置４に接続された、図示しない携帯通信網の基地局と無線通信を行うことでパケットの受信を行う。
【００１６】
図２は、映像送信装置２のハードウェア構成を表したブロック図である。
映像送信装置２は、ＣＰＵ（Central Processing Unit）２０、揮発性記憶部２１、不揮発性記憶部２２、入力ポート２３及び出力ポート２４を備えており、これらの各部がバスを介して互いに接続されている。ＣＰＵ２０は、不揮発性記憶部２２に記憶されているプログラムを読み出し揮発性記憶部２１にロードして実行することにより、映像送信装置２の各部を制御して、例えば映像データ階層符号化機能、パケット生成機能、キュー処理機能及びパケット送信機能などの各機能を実現する。揮発性記憶部２１は、例えばＲＡＭ（Random Access Memory）であり、ＣＰＵ２０が処理を行う際のワークエリアとなる。不揮発性記憶部２２は、例えばフラッシュメモリであり、ＣＰＵ２０が実現する映像送信装置２の各機能に関するプログラムや、パケット送信機能を実現するにあたりルーティングを行うためのルーティングテーブルを記憶している。入力ポート２３は、動画出力装置１から出力される映像信号或いは映像データを映像送信装置２に入力するインターフェースであり、入力端子を備える。出力ポート２４は、映像送信装置２が映像信号或いは映像データに基づいて生成したパケットをパケット通信網３に出力するインターフェースであり、出力端子を備える。
【００１７】
図３は、映像送信装置２の機能構成を表したブロック図である。
映像送信装置２は、ＣＰＵ２０が、不揮発性記憶部２２に記憶されているプログラムを読み出し揮発性記憶部２１にロードして実行することにより、映像情報入力部２５、階層符号化部２６、パケット生成部２７、キュー処理部２８及びパケット送信部２９の各機能を実現する。以下の説明において、各部を処理の主体として記載するが、その主体の実態はＣＰＵ２０である。映像情報入力部２５は、入力ポート２４を通じて映像出力装置１から入力された映像信号又は映像データを受け取る。ここで、映像情報入力部２５は、アナログの映像信号についてはデジタル化を行い、デジタル化した映像データを階層符号化部２６に出力する。映像出力装置１からの入力が既にデジタル化された映像データである場合、映像情報入力部２５は、受け取った映像データを階層符号化部２６に出力する。階層符号化部２６は、入力されたデジタルの映像データを時間軸、周波数、画素数等を基準として階層符号化し、階層符号化した映像データをパケット生成部２７に出力する。
【００１８】
ここで映像データの階層符号化について、概略を説明する。映像データの階層符号化とは、映像データを、低品質だが再生にあたり最低限必要な映像データと、再生時の映像の品質を高めるそれ以外の映像データとに階層化して分割することである。ここで3層構造の階層符号化の例を考える。Ｌ０は基本階層データであり、Ｌ１は第１階層データ、Ｌ２は第２階層データであるとする。Ｌ０のデータのみを復号すると、低品質の映像が得られる。Ｌ０およびＬ１のデータを復号すると中品質、Ｌ０、Ｌ１およびＬ２の全てのデータを復号すると高品質の映像が得られる。このとき、Ｌ０のデータは復号側で最低限必要とするデータであるため、データがパケット化されて送信される際には最優先で送信されるべきデータである。一方、Ｌ１およびＬ２のデータは映像の品質を高めるが、Ｌ０のデータと比較すると必須ではないため、パケット化されて送信される際の優先度をＬ０のデータよりも下げてもよい。ただし、Ｌ１のデータは、より基本階層に近い階層で符号化されているため、そのデータが欠けたときの事を考えると、Ｌ２のデータと比べて、映像品質の劣化に対する影響度が高いと言える。これらのことから、上述の3層構造における階層符号化映像データに対し、映像品質への影響度を考慮してパケット送信の際の優先順位をつけると、Ｌ０＞Ｌ１＞Ｌ２となる。このように、階層符号化された映像データに対しては、各階層、つまり再生時の映像の品質に応じて優先度を割り当てる事が可能である。なお、ここでいう映像の品質とは、映像の解像度や映像のフレームレート等を指し、映像の品質が高いとは、解像度が高いことやフレームレートが大きいことを表す。
【００１９】
パケット生成部２７は、階層符号化された映像データをカプセル化して、パケットを生成する。この際、パケット生成部２７は、階層符号化された映像データに応じて、各パケットに対して優先度を割り当てる。つまり、パケット生成部２７は、階層符号化された映像データのうち基本階層データは最も高い優先度を割り当ててパケット化し、それ以外の階層の映像データに対しては、階層に応じた優先度を割り当ててパケット化する。このように各パケットに割り当てられた優先度は、キュー処理部２８がパケットの廃棄制御を行う際に使用される。パケット生成部２７は、生成したパケットをキュー処理部２８に出力する。キュー処理部２８は、揮発性記憶部２１に送信キューを生成し、この送信キューに、パケット生成部２７から入力されたパケットをエンキューして格納する。さらにキュー処理部２８は、帯域制御を行いながら必要に応じてパケットの廃棄を行い、出力対象のパケットを送信キューからデキューしてパケット送信部２９に出力する。パケット送信部２９は、キュー処理部２８から入力されたパケットを、出力ポート２４を通じてパケット通信網３に送信する。
【００２０】
図４はパケットの構成を表した図である。パケット３０はＩＰ（Internet Protocol）パケットの一例である。各々のパケット３０はヘッダ部とデータ部とからなる。データ部はパケット化されたデータの内容そのものに相当するものであり、ヘッダ部はパケット３０を宛先に送信するために必要な情報などに相当する。ヘッダ部は、ＩＰヘッダと、ＴＣＰ若しくはＵＤＰヘッダとから構成される。データ部は、Ｔｙｐｅ、Ｐｒｉｏｒｉｔｙ、ＳＥＱ（Sequence Number）、Ｖｉｄｅｏ Ｄａｔａ等の複数の項目から構成される。Ｔｙｐｅは、このパケット３０が映像データであるのか、若しくは制御メッセージであるのか、といったパケット３０におけるデータの種別を表す数値が記述される。Ｐｒｉｏｒｉｔｙは、前述した各パケットに割り当てられる優先度を示すものである。例えば３階層を例にとると、基本階層データＬ０のパケットのＰｒｉｏｒｉｔｙには、最も高い優先度が記述され、第１階層データＬ１のパケットのＰｒｉｏｒｉｔｙには、中位の優先度が記述され、第２階層データＬ２のパケットのＰｒｉｏｒｉｔｙには、最も低い優先度が記述されるといった具合である。ＳＥＱは、順序だてて一意にパケット３０を識別するためにシーケンシャルに振られた番号である。Ｖｉｄｅｏ Ｄａｔａは、映像データそのものである。
【００２１】
図５は、キュー処理部２８の構成を表した図である。キュー処理部２８は、１つの送信キュー２８１と、送信キュー２８１のパケット送出側（デキュー側）に論理的に設けられた帯域制御部２８２とで構成される。送信キュー２８１は、揮発性記憶部２１に記憶される。送信キュー２８１は、データを先入れ先出しのリスト構造で保持するものであり、キュー処理部２８に入力されるパケット３０を入力順にエンキューし、そのエンキューされた順番が古いものから順にデキューする。図において、各々のパケット３０に付された数字は、各パケット３０のＰｒｉｏｒｉｔｙに記述された優先度を表している。図５の例では、パケット３０に付された数字が小さい程優先度が高く、数字が大きい程優先度が低いことを表している。
【００２２】
帯域制御部２８２は、パケット通信網３における可用帯域を過不足なく使い切るように、パケット送信に関する帯域制御を行う。すなわち帯域制御部２８２は、伝送経路であるパケット通信網３における可用帯域を通信開始当初に計測し、この計測結果に合わせて設定した帯域で、送信キュー２８１から各パケット３０をデキューして順番にパケット送信部２９に出力していく。この通信開始当初に設定されたパケット送出における帯域は、以後映像送信装置２の電源が再投入されるまで維持される。ここで、可用帯域とは、データの伝送経路において利用可能な帯域のことである。また、本実施形態では、「帯域」という用語を、単位時間あたりの通信速度という意味で用いるものとし、その単位は例えばbps：bit/secondである。このように、送信キュー２８１におけるデキュー側の帯域は帯域制御部２８２によって制御される。また、「エンキュー」という言葉は、通常、キューにデータを格納することを意味するが、便宜上以降の説明においては、これからエンキューされるパケットに対して「エンキュー」という言葉を用い、既にキューにエンキューされたパケットについては「格納」という言葉を用いることとする。
【００２３】
一方、エンキュー側に注目すると、可用帯域を越える帯域でパケット３０がエンキューされると、エンキューに対してデキューが追いつかない状態となり、送信キュー２８１にパケット３０が溜まっていきキュー長が次第に長くなってしまう。送信キュー２８１には、格納可能なパケットの上限値が予め定められている（以下、この上限値をキュー長制限という）。キュー処理部２８は、送信キューに格納されているパケットの数（キュー長）を常時監視しており、キュー長制限を越えてパケット３０が送信キュー２８１にエンキューされた際には、パケット３０の廃棄を行う。
【００２４】
図６（Ａ）〜図６（Ｄ）は送信キュー２８１がキュー長制限に達している際にエンキューが行われた状態を表しており、これらの図を用いて、キュー処理部２８におけるパケット廃棄の内容を説明する。キュー処理部２８は、エンキューが行われた際にキュー長制限に達している場合、パケット３０の優先度を判別し、最も優先度が低いうちエンキューの順番が最も古いパケット３０を廃棄する。ここで、廃棄の判別対象となるパケットは、キュー長制限に達している状態でエンキューされようとしているパケットと、そのときに送信キューに格納されているパケットの全てである。図６（Ａ）〜図６（Ｄ）において、最も優先度が低いパケットのうち、パケット３０の送出口である帯域制御部２８２により近い位置に表記されたパケットが、廃棄の対象となる。例えば図６（Ａ）においては、送信キュー２８１に格納された優先度「４」のパケット３０が最も優先度が低いうちエンキューの順番が最も古いパケットであるため、キュー処理部２８はこのパケット３０を廃棄する。図６（Ｂ）においては、エンキューされる優先度「５」のパケット３０が最も優先度が低いうちエンキューの番が最も古いパケットであるため、キュー処理部２８はこのパケット３０を廃棄する。以上の図６（Ａ）および図６（Ｂ）におけるパケット廃棄の処理が、キュー処理部２８が行う廃棄制御の基本動作である。なお、図６（Ａ）〜図６（Ｄ）では、階層符号化の階層数として５を想定しているから、１〜５の優先度がパケットに割り当てられている。
【００２５】
図６（Ｃ）は、最も優先度が低いパケット３０のうちエンキューの順番が最も古いもの（第１のパケット）と、そのパケット３０にエンキューの順番がキュー内で隣接する同じ優先度のパケット３０（第２のパケット）とが存在した場合の廃棄の例を示している。この場合、キュー処理部２８は、最も優先度が低いパケットのうち最も古いものに加えて、この隣接するパケット３０も廃棄する。すなわち、図６（Ｃ）において、最も優先度が低いパケットのうち最も古いものである優先度「４」のパケットと、それに隣接する同じく優先度「４」のパケットとが、キュー処理部２８によって廃棄される。優先度は、前述したように階層符号化された映像データのパケットが属する階層に応じて付加されたものであるから、同じ優先度のパケットが時間的に連続してエンキューされた場合、これらのパケットは、同階層における１単位の映像データから複数に分割されたパケットである可能性が高い。つまり、特定のパケット３０を廃棄した際に、隣接する同じ優先度のパケット３０だけを送出してもデータとして意味をなさず受信側で利用できない可能性がある。図６（Ｃ）の廃棄制御はこのような考え方に基づいたものであり、同じ優先度のパケット３０が時間的に連続してエンキューされた場合、映像として意味のある一塊のパケット群とみなし、廃棄を行う際にはこれら全てを廃棄対象とするものである。
【００２６】
図６（Ｄ）は、最も優先度が低いパケット３０全てをキュー処理部２８が廃棄する例を示している。すなわち、図６（Ｄ）において、最も低い優先度「４」のパケット３０全てをキュー処理部２８は廃棄する。図６（Ｄ）における廃棄制御は、デキューに対してエンキューのスピードが早い若しくはデキューのスピードが遅い状態が発生した際、これに対して遅延の抑制を最優先したい場合に有効である。
【００２７】
上記のように、図６（Ａ）および図６（Ｂ）の内容に従うパケット廃棄制御のほか、図６（Ｃ）の内容に従うパケット廃棄制御や、図６（Ｄ）の内容に従うパケット廃棄制御がある。キュー処理部２８は、図６（Ａ）および図６（Ｂ）のパケット廃棄制御を基本として、図６（Ｃ）および図６（Ｄ）の廃棄制御のいずれか若しくは双方を組み合わせて行ってもよい。また、映像送信装置２にユーザ操作により設定を行う設定部を設けて、図６（Ａ）〜図６（Ｄ）の廃棄制御の中から任意のものをユーザに選択させてもよい。
【００２８】
図７は、キュー処理部２８における処理フロー図である。帯域制御部２８２は、パケット通信網３における可用帯域に応じて送信キューからパケットを読み出して送信するときの帯域を決定する（ステップＳ１）。キュー処理部２８がパケットを受け取っていない期間は（ステップＳ２；ＮＯ）、ステップＳ１で決定された帯域に従って送信キューからパケットを読み出してパケット送信部２９に送出し（ステップＳ６）、ステップＳ２の処理に戻る。キュー処理部２８がパケットを受け取ると（ステップＳ２；ＹＥＳ）、キュー処理部２８は、キュー長制限にキュー長が達しているかどうかの判定を行う（ステップＳ３）。キュー長がキュー長制限に達していない場合（ステップＳ３；ＮＯ）、キュー処理部２８は、送信キュー２８１にパケットをエンキューする（ステップＳ４）。キュー長がキュー長制限に達している場合（ステップＳ３；ＹＥＳ）、キュー処理部２８は図６（Ａ）〜図６（Ｄ）で説明した廃棄制御に従ってパケットの廃棄を行う（ステップＳ５）。その後、キュー処理部２８は、ステップＳ６の処理に従ってパケットを送出し、ステップＳ２の処理に戻る。
【００２９】
このように、本実施形態によれば、階層符号化された映像データの階層に応じてパケットに付加された優先度を用いて廃棄制御を行うため、映像送信装置２が、パケットの廃棄制御のために、映像データのフォーマットを解釈する機能を実装する必要がなく、より簡素な構成で低コストな映像送信装置２を製造することが可能となる。また、送信キュー２８１の内外を問わず、つまり、送信キュー２８１に格納されているパケットであるか格納されていないパケットであるかを問わず、最も優先度が低いパケットを廃棄対象とするため、優先度の高いパケットの廃棄率を抑えること、すなわち映像の品質に影響が高いパケットの廃棄率を抑えることが可能となり、優先度をなんら考慮せずにパケットを廃棄する場合と比べて、映像表示装置６で再生される映像の品質低下を抑制することができる。また、映像表示装置６において映像をストリーミング再生する際には、通常、リアルタイム性が最優先される。そのため前述したように、映像受信装置５が、廃棄されて間が抜けたパケットに基づく部分はスキップして、映像受信装置５に入力される順番がより新しいパケットにタイミングを合わせて映像信号或いは映像データを復元する事で、再生における遅延を抑制するようになっている。従って、本実施形態のように、最も優先度が低いパケットのうちエンキューの順番が最も古いものを廃棄対象とすることで、エンキューされる順番がより新しいパケット、すなわち映像受信装置５に入力される順番がより新しいパケットに基づく部分の映像信号或いは映像データがより早く映像表示装置６に届くこととなり、パケットが送信されてからそのパケットに応じた映像が再生されるまでの遅延を抑制する事が可能となる。さらに、送信キュー２８１のキュー長制限にキュー長が達したタイミングで廃棄制御を行うため、そのキュー長制限に達するまでは、伝送経路の可用帯域を有効に活用することが可能となる。さらに単一の送信キュー２８１を用いているため、複数の送信キューを用いた場合に懸念されるパケットの送信順序の入れ替わりを心配する必要もない。
【００３０】
（２）変形例
上記の実施形態を次のように変形してもよい。また、以下の変形例は適宜組み合わせて実施することも可能である。
（２−１）変形例１
実施形態において、帯域制御部２８２は、通信開始当初に設定した帯域を通信終了まで維持してパケット送信を行っていたが、これを次のようにしてもよい。すなわち、帯域制御部２８２が、伝送経路の可用帯域の計測を定期的に行い、変動する可用帯域に応じて、送信キューからのパケット送信の帯域を動的に制御するようにしてもよい。図８は変形例１のキュー処理部２８における処理フロー図である。帯域制御部２８２は伝送経路であるパケット通信網３の可用帯域を計測する（ステップＳ１Ａ）。帯域制御部２８２は、計測した可用帯域に合わせたレートでパケットを送出するように、送信キューからのパケット送信の帯域を変更する（ステップＳ１Ｂ）。キュー処理部２８がパケットを受け取っていない場合（ステップＳ２；ＮＯ）、ステップＳ６の処理に進む。キュー処理部２８がパケットを受け取ると（ステップＳ２；ＹＥＳ）、図７と同様のフローに従って処理が行われる。以降の処理は図７と同様であるため説明を省略する。このようにすれば、パケット通信網３が帯域変動の大きなモバイル回線等の場合に、変動する可用帯域に合わせて、送信キューからのパケット送信の帯域の変更が動的に行われながらパケットが送出されることになるから、可用帯域に応じた品質の映像データを伝送することが可能となる。
【００３１】
（２−２）変形例２
変形例１に更に加えて、帯域制御部２８２が行う帯域制御に応じて送信キュー２８１のキュー長制限を動的に変更するようにしてもよい。すなわち、帯域制御部２８２が計測を行った結果、パケット送出帯域をより大きく設定した場合、これに合わせてキュー処理部２８がキュー長制限を長くし、帯域制御部２８２が計測を行った結果、パケット送出帯域をより小さく設定した場合、これに合わせてキュー処理部２８がキュー長制限を短くする。キュー処理部２８は、帯域制御部２８２が計測の結果に基づいてパケット送出帯域の設定について変更を行う都度、上述のキュー長制限の調整を行う。キュー処理部２８がキュー長制限を短くする際に、既にエンキューされていたパケットのうち、より新しくエンキューされたパケットが、短くなったキュー長制限により送信キュー２８１に格納できなくなる場合がある。ここで、短くなったキュー長制限により送信キュー２８１に格納できなくなるパケットのことを、キュー長制限からあふれるパケットと呼ぶ。この場合、キュー処理部２８は、送信キュー２８１に格納されているパケットと、エンキューされる対象となるパケットと、送信キュー２８１のキュー長制限からあふれるパケットとを対象として、図６（Ａ）〜図６（Ｄ）で説明した廃棄制御のうちいずれかに従ってパケットの廃棄を行う。この場合、廃棄するパケットの数は、送信キュー２８１のキュー長制限からあふれたパケットの数以上である。
【００３２】
図９は変形例２のキュー処理部２８における処理フロー図である。ステップＳ１ＡとステップＳ１Ｂの処理は図８と同様である。帯域制御部２８２が設定帯域の変更を行った後、キュー処理部２８は設定帯域に応じてキュー長制限の調整を行う（ステップＳ１Ｃ）。この際、キュー長制限が短くなることにより送信キュー２８１からあふれるパケットが発生した場合、キュー処理部２８は図６（Ａ）〜図６（Ｄ）で説明した廃棄制御のうちいずれかに従ってパケットの廃棄を行う。以降の処理は図８と同様であるため説明を省略する。上述の方式を採用する利点を説明すると、以下の通りである。映像データがパケット化されて送信される際に、パケットの個数と映像の再生時間とは必ずしも比例するものではない。例えばＭＰＥＧ（Moving Picture Experts Group）系の映像フォーマットにおいては、特定のフレームにおいて極端にビットレートが高まる、すなわちパケットの個数が増える可能性があり、これらのパケット全てをエンキューすると、後続フレームに基づくパケットがデキューされるまでに一定の時間を要してしまう。つまりこの場合、受信端末側での映像の再生において遅延が発生する可能性がある。さらに、帯域変動が大きな伝送経路において可用帯域が小さい方向に変動した場合には、パケットがデキューされるスピードが遅くなるため、この遅延量はより増加する傾向にある。従ってこのような場合には、可用帯域が小さくなる、すなわちデキューのスピードが遅くなることに合わせて、キュー長制限を動的に短くする事で、エンキューの順番がより古いパケットの廃棄が行われて、より新しいパケットがより早く送信されることとなるため、遅延を抑制する事が可能となる。この際、キュー長制限が変更され得る幅は、映像送信装置２の内部において許容可能な最大伝送遅延に応じたものとなる。
【００３３】
（２−３）変形例３
パケットの廃棄処理やパケット通信網３でのパケットロスにより、中継装置４或いは映像受信装置５から映像送信装置２にパケットの再送要求が送信された場合、映像送信装置２におけるキュー処理部２８は、この要求に応えて、該当するパケットをパケット送信部２９から再送させる再送制御を行う。この際、再送するパケットについても、キュー処理部２８が通常のパケットと同様の廃棄制御の対象とし、前述したような廃棄の条件を満たす場合にはこれを廃棄するようにしてもよい。このようにすれば、キュー処理部２８が行うパケットの再送制御においても優先度の高いパケットの到達率を高めることが可能となる。
【００３４】
（２−４）変形例４
実施形態においては映像送信装置２を映像エンコーダ機能とルータ機能をあわせもつ送信装置としていたが、図３における映像情報入力部２５、階層符号化部２６およびパケット生成部２７の機能を持った映像エンコーダと、キュー処理部２８およびパケット送信部２９の機能を持つルータとを別々に分けて本発明におけるシステムを構成してもよい。この場合、映像エンコーダとルータとは有線或いは無線によって通信が行われる。このようにすれば、実施形態と同様の効果を奏することが可能となる。
【００３５】
（２−５）変形例５
実施形態においては、パケット３０のデータ部にＰｒｉｏｒｉｔｙという領域を確保し、これに優先度を記述するようにしていたが、優先度のラベル付けはこれに限ったものではない。すなわち、データ部に記述するのではなく、パケット３０のヘッダ部におけるＴＯＳ（Type Of Service）に、パケット３０に割り当てた優先度を記述するようにしてもよい。この場合、以降の処理においてはデータ部に記述された優先度ではなく、ＴＯＳに記述された優先度が用いられる。
また、上記実施形態では、階層符号化された映像データにおける各々の階層別に優先度を定義していたが、パケットに割り当てる優先度は、映像データに基づいて映像を再生するときの当該映像の品質に応じたものであればよい。つまり、階層符号化されていない映像において高い映像品質に関するパケットには高い優先度を割り当て、低い映像品質に関するパケットには低い優先度を割り当ててもよい。
【符号の説明】
【００３６】
１…映像出力装置、２…映像送信装置、３…パケット通信網、４…中継装置、５…映像受信装置、６…映像表示装置、２０…ＣＰＵ、２１…揮発性記憶部、２２…不揮発性記憶部、２３…入力ポート、２４…出力ポート、２５…映像情報入力部、２６…階層符号化部、２７…パケット生成部、２８…キュー処理部、２９…パケット送信部、３０…パケット、２８１…送信キュー、２８２…帯域制御部
【図１】
0005585109.tif 000002
【図２】
0005585109.tif 000003
【図３】
0005585109.tif 000004
【図４】
0005585109.tif 000005
【図５】
0005585109.tif 000006
【図６】
0005585109.tif 000007
【図７】
0005585109.tif 000008
【図８】
0005585109.tif 000009
【図９】
0005585109.tif 000010