(57)【要約】【課題】クライアント側のバッファに保持されている未再生画像のデータ量が０になって画像の再生がとぎれてしまうことを防止する。【解決手段】構文解析手段１２は、動画像データをフレームごとに１又は複数のタイルに分割しタイルごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データを対象として、その符号列データの構文を解析する。符号列作成手段１３は、この解析結果に基づいて符号列データから別の符号列データを作成する作業を同時並行的に複数行なう。負荷測定手段１６は、符号列作成手段１３の負荷を測定する。パラメータ作成手段１７は、この測定した負荷から符号列データを作成する際のパラメータを作成する。【選択図】　　図１
2004040526.tif 000002
【特許請求の範囲】
【請求項１】
動画像データをフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データを対象として、その符号列データの構文を解析する構文解析手段と、
この解析結果に基づいて前記符号列データから別の符号列データを作成する作業を同時並行的に複数行なえる符号列作成手段と、
この符号列作成手段で作成した各符号列データをネットワークを介して同時並行的に複数の送信先に送信できる送信手段と、
前記符号列作成手段の負荷を測定する負荷測定手段と、
この測定した負荷から前記符号列作成手段による符号列データを作成する際の符号列のパラメータを作成するパラメータ作成手段と、
この作成したパラメータを前記符号列作成手段による符号列データを作成する際の符号列データのパラメータとして、前記送信手段で送信する単位時間当たりのデータ量を調整するパラメータ指示手段と、
を備えている画像配信システム。
【請求項２】
前記パラメータ作成手段が作成するパラメータは、前記符号列データを復号する際に得られる画像解像度若しくはフレームレートに関するパラメータ、又は、画像の量子化レベルに関するパラメータである、
請求項１に記載の画像配信システム。
【請求項３】
前記負荷測定手段が測定する負荷は、前記符号列作成手段で同時並行的に作成中の符号列データの数である、
請求項１又は２に記載の画像配信システム。
【請求項４】
動画像データをネットワークを介して配信する画像配信システムと、
この配信される動画像データを受信して画像表示装置に画像表示する複数の画像再生システムと、
を備え、
前記動画配信システムは、
動画像データをフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データを対象として、その符号列データの構文を解析する構文解析手段と、
この解析結果に基づいて前記符号列データから別の符号列データを作成する作業を同時並行的に複数行なえる符号列作成手段と、
この符号列作成手段で作成した各符号列データをネットワークを介して同時並行的に複数の送信先に送信できる送信手段と、
前記符号列作成手段の負荷を測定する負荷測定手段と、
この測定した負荷から前記符号列作成手段による符号列データを作成する際の符号列のパラメータを作成するパラメータ作成手段と、
この作成したパラメータを前記符号列作成手段による符号列データを作成する際の符号列データのパラメータとして、前記送信手段で送信する単位時間当たりのデータ量を調整するパラメータ指示手段と、
を備えていて、
前記各画像再生システムは、
前記送信手段から送信された符号列データを受信する受信手段と、
この受信された符号列データを復号する復号手段と、
この復号された動画像データをバッファリングするバッファと、
この復号した画像データを表示する表示装置と、
を備えている、
画像配信再生システム。
【請求項５】
前記パラメータ作成手段が作成するパラメータは、前記符号列データを復号する際に得られる画像解像度若しくはフレームレートに関するパラメータ、又は、画像の量子化レベルに関するパラメータである、
請求項４に記載の画像配信再生システム。
【請求項６】
前記負荷測定手段が測定する負荷は、前記符号列作成手段で同時並行的に作成中の符号列データの数である、
請求項４又は５に記載の画像配信再生システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像配信システム及び画像配信再生システムに関する。
【０００２】
【従来の技術】
従来、サーバから動画像データを供給し、クライアントからは動画像データの転送要求をサーバに対して行なって、受け取ったデータをもとにクライアントで動画像を再生する、動画像配信技術が存在する。かかる技術において、クライアント側の再生装置がサーバから動画像データを受信して再生する手法には、大別してダウンロード再生とストリーム再生が知られている。
【０００３】
ダウンロード再生とは、サーバからクライアントのバッファ上にダウンロードされたデータを再生するものであり、このタイプは、一旦バッファにデータをとりこんだ後に再生するため、バッファの記憶容量の制限により動画像データを再生できる時間が短くなるという短所があるが、すべてのデータを受け取ってから再生すれば、サーバ側の処理負担や伝送路の速度や混雑状況によらず、動画像の再生が行なえる長所がある。
【０００４】
一方、ストリーミング再生とは、クライアント側の再生装置がサーバから連続的にデータを要求し、そのデータをバッファ上に取得する作業と平行して動画像の再生処理を行なうものである。このタイプは、クライアントが連続的に動画像データを受け取るため、自己のバッファ上のデータを再生したら放棄する一方で、新たなデータを上書きしていく。従って、バッファの記憶容量の制限を受けることなく長時間の動画像の再生が可能であるという長所がある。
【０００５】
しかし、サーバに同時にアクセスしているクライアント数の増加によるサーバ負荷の増大や、伝送線路の速度に影響を受けやすいという短所がある。よって、サーバの負荷増大や、伝送線路の速度低下により動画像の再生がストップしてしまうというような重大な問題を引き起こす可能性がある。一般に、このような重大な影響を回避する手法として、動画像データの容量を変化させるスケーラビリティという手法が知られている。
【０００６】
また、従来から、画像圧縮伸長アルゴリズムとして、動画像専用のＭＰＥＧ１／ＭＰＥＧ２／ＭＰＥＧ４や、静止画像を連続したフレームとして扱うＭｏｔｉｏｎ　ＪＰＥＧが使用されているが、最近では、後者のＭｏｔｉｏｎ静止画像の符号化については、国際標準としてＭｏｔｉｏｎ　ＪＰＥＧ２０００という新しい方式が規格化されつつある。
【０００７】
【発明が解決しようとする課題】
しかし、前記従来の動画像配信技術では、一般にサーバ上に配信コンテンツをあらかじめ複数のスケーラビリティで保存しておき、通信路の送信能力やクライアントの再生能力に応じて、最もふさわしいスケーラビリティをユーザが選択してストリーミング再生を行なうのが普通である。
【０００８】
この場合は、クライアントを操作するユーザが通信路の制約を考慮して適切なスケーラビリティを選択するので、複数のクライアントに同時並行的に画像データを配信するサーバ側の負荷を判断して、最もふさわしいスケーラビリティを選択することはできなかった。そして、サーバの負荷が過大なものとなると、各クライアントへの符号列データの送信が遅れがちとなり、ストリーミング再生を行なうクライアントでバッファリングしている未再生の動画像データが０になり、画像再生が途切れてしまうという不具合がある。
【０００９】
この発明の目的は、動画像データの配信先においてストリーミング再生を行なっていても、クライアント側のバッファに保持されている未再生画像のデータ量が０になって画像の再生がとぎれてしまうことを防止することである。
【００１０】
【課題を解決するための手段】
請求項１に記載の発明は、動画像データをフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データを対象として、その符号列データの構文を解析する構文解析手段と、この解析結果に基づいて前記符号列データから別の符号列データを作成する作業を同時並行的に複数行なえる符号列作成手段と、この符号列作成手段で作成した各符号列データをネットワークを介して同時並行的に複数の送信先に送信できる送信手段と、前記符号列作成手段の負荷を測定する負荷測定手段と、この測定した負荷から前記符号列作成手段による符号列データを作成する際の符号列のパラメータを作成するパラメータ作成手段と、この作成したパラメータを前記符号列作成手段による符号列データを作成する際の符号列データのパラメータとして、前記送信手段で送信する単位時間当たりのデータ量を調整するパラメータ指示手段と、を備えている画像配信システムである。
【００１１】
したがって、同時並行的に符号列データを送信する送信先が多くて符号列作成手段の負荷が過大なものとなって送信が遅延する状態になっても、その負荷を検出し、適切な負荷になるようなパラメータを指定し、動画像データが、フレームごとに１又は複数の矩形領域に分割し矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されていることを利用して、少ないデータ量で動画像を表示できるような符号列データを作成して、各配信先に配信することができるので、動画像データの配信先においてストリーミング再生を行なっていても、クライアント側のバッファに保持されている未再生画像のデータ量が０になって画像の再生がとぎれてしまうことを防止することができる。
【００１２】
請求項２に記載の発明は、請求項１に記載の画像配信システムにおいて、前記パラメータ作成手段が作成するパラメータは、前記符号列データを復号する際に得られる画像解像度若しくはフレームレートに関するパラメータ、又は、画像の量子化レベルに関するパラメータである。
【００１３】
したがって、比較的画像の品質に対する影響の少ないパラメータを用いることができるので、画像の品質をある程度維持しつつ符号列データのデータ量を削減することができる。
【００１４】
請求項３に記載の発明は、請求項１又は２に記載の画像配信システムにおいて、前記負荷測定手段が測定する負荷は、前記符号列作成手段で同時並行的に作成中の符号列データの数である。
【００１５】
したがって、同時並行的に作成中の符号列データの数から符号列作成手段の負荷を容易に判断することができる。
【００１６】
請求項４に記載の発明は、動画像データをネットワークを介して配信する画像配信システムと、この配信される動画像データを受信して画像表示装置に画像表示する複数の画像再生システムと、を備え、前記動画配信システムは、動画像データをフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データを対象として、その符号列データの構文を解析する構文解析手段と、この解析結果に基づいて前記符号列データから別の符号列データを作成する作業を同時並行的に複数行なえる符号列作成手段と、この符号列作成手段で作成した各符号列データをネットワークを介して同時並行的に複数の送信先に送信できる送信手段と、前記符号列作成手段の負荷を測定する負荷測定手段と、この測定した負荷から前記符号列作成手段による符号列データを作成する際の符号列のパラメータを作成するパラメータ作成手段と、この作成したパラメータを前記符号列作成手段による符号列データを作成する際の符号列データのパラメータとして、前記送信手段で送信する単位時間当たりのデータ量を調整するパラメータ指示手段と、を備えていて、前記各画像再生システムは、前記送信手段から送信された符号列データを受信する受信手段と、この受信された符号列データを復号する復号手段と、この復号された動画像データをバッファリングするバッファと、この復号した画像データを表示する表示装置と、を備えている、画像配信再生システムである。
【００１７】
したがって、同時並行的に符号列データを送信する送信先が多くて符号列作成手段の負荷が過大なものとなって送信が遅延する状態になっても、その負荷を検出し、受信先側からパラメータを指定し、動画像データが、フレームごとに１又は複数の矩形領域に分割し矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されていることを利用して、少ないデータ量で動画像を表示できるような符号列データを作成して、各配信先に配信することができるので、動画像データの配信先においてストリーミング再生を行なっていても、クライアント側のバッファに保持されている未再生画像のデータ量が０になって画像の再生がとぎれてしまうことを防止することができる。
【００１８】
請求項５に記載の発明は、請求項４に記載の画像配信再生システムにおいて、前記パラメータ作成手段が作成するパラメータは、前記符号列データを復号する際に得られる画像解像度若しくはフレームレートに関するパラメータ、又は、画像の量子化レベルに関するパラメータである。
【００１９】
したがって、比較的画像の品質に対する影響の少ないパラメータを用いることができるので、画像の品質をある程度維持しつつ符号列データのデータ量を削減することができる。
【００２０】
請求項６に記載の発明は、請求項４又は５に記載の画像配信再生システムにおいて、前記負荷測定手段が測定する負荷は、前記符号列作成手段で同時並行的に作成中の符号列データの数である。
【００２１】
したがって、同時並行的に作成中の符号列データの数から符号列作成手段の負荷を容易に判断することができる。
【００２２】
【発明の実施の形態】
この発明の一実施の形態について説明する。
【００２３】
図１は、実施の形態１の全体のシステム構成を示すブロック図である。図１において、このシステムは本発明の画像配信システムを実施するサーバ１と、本発明の画像再生システムを実施するクライアント２とが、通信路３を介してネットワークで接続されている。
【００２４】
サーバ１は、動画像データを記憶する磁気記憶装置１１を備えている。この磁気記憶装置１１には、元の動画像データがＪＰＥＧ２０００アルゴリズムで圧縮符号化されてなる符号列データが記憶されている。よって、この符号列データは、動画像データをフレームごとに１又は複数の矩形領域（タイル）に分割し、このタイルごとに画素値を離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ　Ｗａｖｅｌｅｔ　Ｔｒａｎｓｆｏｒｍ）して階層的に圧縮符号化して作成されたものである。
【００２５】
この符号列データをクライアント２に配信するときは、構文解析手段１２が、符号列データの構文、すなわちヘッダのデータに記述された情報を解析し、符号列作成手段１３は、この解析結果に基づいて当該符号列データから別の符号列データを作成する。そして、送信手段を実現する通信インターフェイス１４を介して、この作成後の符号列データを通信路３を介してクライアント２に送信する。符号列作成手段１３は、複数のクライアント２に対応して、同時並行的に複数の符号列データを作成することができる。符号列作成手段１３は、それぞれ一本の符号列データを作成する符号列作成手段１３１〜１３ｎ（ｎ＝１，２，３，…ｎ）を備え、各符号列作成手段１３１〜１３ｎが符号列データを作成する。
【００２６】
パラメータ指示手段１５は、符号列作成手段１３が符号列データを作成するのに際して使用するパラメータを指示し、このパラメータの変更により、符号列データを送信する際の単位時間当たりのデータ量を調整する。
【００２７】
負荷測定手段１６は、符号列作成手段１３の負荷を測定する。この負荷の測定は、例えば、符号列作成手段１３で同時並行的に作成中の符号列データの本数、すなわち、各符号列作成手段１３１〜１３ｎのうちで稼動しているものの数により判断することができる。
【００２８】
パラメータ作成手段１７は、負荷測定手段１６が測定した負荷から符号列作成手段１３による符号列データを作成する際の符号列のパラメータを作成する。
【００２９】
パラメータとしては、具体的には、例えば、符号列データを復号する際に得られる画像解像度若しくはフレームレートに関するパラメータ、又は、画像の量子化レベルに関するパラメータを用いることができる。パラメータの作成は、より具体的には、例えば次のように行なう。すなわち、負荷測定手段１６による負荷の測定値に閾値を設け、負荷が閾値を下回っているときは、符号列データを送信する際の単位時間当たりのデータ量を多く維持する。すなわち、画像解像度を高くし、フレームレートを大きくし、あるいは、画像の量子化レベルを細かくするように、パラメータを作成する。
【００３０】
そして、負荷が閾値を上回ったときは、符号列作成手段１３の負荷が大きいため、符号列データを送信する際の単位時間当たりのデータ量を少なくする。すなわち、画像解像度を高くし、フレームレートを大きくし、あるいは、画像の量子化レベルを粗くするように、パラメータを作成する。
【００３１】
フレームレートを調節する場合は、負荷が小さい時は全フレーム送信するが、負荷の増大に従ってフレームレートを図２に示すように落としていく。すなわち、図２（ａ）には元の符号列データを示している。この符号列データには、ｎ個のフレーム（ｂｉｔ　ｓｔｒｅａｍ）が含まれているが、図２（ｂ）に示すように、偶数番目（２，４，…）のフレームを削除し、２フレーム中の１フレームのみを送信することで、フレームレートを半分に落とし、もって、データ量を半分に落とすことができる。偶数番目（２，４，…）のフレームを削除するときは、偶数番目（２，４，…）のフレームを削除した奇数番目（１，３，…）のフレーム部分のみを連結し、それに合わせてヘッダ（Ｈｅｒｄｅｒ）を書き換え、新たな符号列データとする。
【００３２】
また、画像解像度を調節する場合は、負荷が小さい場合には解像度の高い画像データを送信すべく、全てのサブバンドデータを送信するが、負荷の増大に従い、下位のサブバンドから送信を停止し、低解像度の画像データを送信するようにする。
【００３３】
すなわち、図３（ａ）には元の全サブバンドデータを含む符号データのファイルの内容が示されている。ここでは、各サブバンド順に符号データが並んでいる。各サブバンドの切れ目には区切り記号が入っており、境界を容易に判別することが可能である。そして、負荷が小さい場合には最終サブバンド（０）まで送信するが、負荷の増大に伴い、サブバンド１、あるいは２，３まで送信して、それ以降のサブバンドは送信しないように下位サブバンドデータを削除し、図３（ｂ）に示すような新たな符号列を作成する。
【００３４】
図４は図３の符号列中の一つのサブバンドを表している。サブバンド内はビットプレーンのＭＳＢから順に符号化されたデータが入っている。図４の例では、図４（ａ）の元データのＬＳＢから２ビットプレーンのデータを破棄して、図４（ｂ）に示す新たな符号列を作成して、データ量を削減している。
【００３５】
図１に示すように、クライアント２は、本発明の画像再生システムを実施するもので、ストリーミング再生で画像の再生を行なう。すなわち、各クライアント２（クライアント２０１，２０２，２０３，…，２０ｎ）は、符号列作成手段１３１〜１３ｎの何れかで作成された符号列データを、受信手段を実現する通信インターフェイス２１で受信する。そして、この受信した符号列データは、復号手段２３により復号され、復号された動画像データがバッファ２２でバッファリングされて、表示装置２４に表示される。
【００３６】
磁気記憶装置１１に記憶されている符号列データは、ＪＰＥＧ２０００アルゴリズムにより、動画像データをフレームごとに１又は複数のタイルに分割し、このタイルごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化してあるため、構文解析手段１２が符号列データの構文を解析し、符号列作成手段１３では、解析された構文に基づいて、符号列データから、パラメータで指示された画像解像度、フレームレート、あるいは、画像の量子化レベルとなるように、必要なデータを取捨選択して、新たな符号列データを作成することとなる。
【００３７】
パラメータは、一本の動画像データをクライアント２で再生する間に、例えば１分毎、５分毎というように定期的に複数回作成するので、クライアント２でストリーミング再生を行なうときは、一本の動画像データの再生中に画像解像度、フレームレート、あるいは、画像の量子化レベルが変動し得ることになる。
【００３８】
よって、符号列作成手段１３の負荷が過大になって、各クライアント２への符号列データの送信が遅れがちとなり、クライアント２においてバッファ２２でバッファリングされているデータが底をついて、画像の再生が途切れそうなときは、画像解像度を低くし、フレームレートを小さくし、あるいは、画像の量子化レベルを粗くして、サーバ１からクライアント２に送信される符号列データの単位時間当たりのデータ量を少なくしても画像の再生が途切れないようにすることができる。
【００３９】
この場合、パラメータは、画像解像度、フレームレート、あるいは、画像の量子化レベルに関するものであるので、画像解像度を低くし、フレームレートを小さくし、あるいは、画像の量子化レベルを粗くするようにして、符号列データの単位時間当たりのデータ量を少なくしても、画像の品質に与える影響は比較的小さくすることができる。
【００４０】
【発明の効果】
請求項１，４に記載の発明は、動画像データの配信先においてストリーミング再生を行なっていても、クライアント側のバッファに保持されている未再生画像のデータ量が０になって画像の再生がとぎれてしまうことを防止することができる。
【００４１】
請求項２，５に記載の発明は、請求項１，２に記載の発明において、画像の品質をある程度維持しつつ符号列データのデータ量を削減することができる。
【００４２】
請求項３，６に記載の発明は、請求項１，２，４，５に記載の発明において、同時並行的に作成中の符号列データの数から符号列作成手段の負荷を容易に判断することができる。
【図面の簡単な説明】
【図１】この発明の一実施の形態におけるシステム構成のブロック図である。
【図２】図１のシステムで符号列データのフレームレートを調節する場合の説明図である。
【図３】図１のシステムで符号列データの画像解像度を調節する場合の説明図である。
【図４】図１のシステムで符号列データの画像解像度を調節する場合の説明図である。
【符号の説明】
１　　　画像配信システム
２　　　画像再生システム
１２　　構文解析手段
１３　　符号列作成手段
１４　　送信手段
１５　　パラメータ指示手段
１６　　負荷測定手段
１７　　パラメータ作成手段
２１　　受信手段
２２　　バッファ
２３　　復号手段
２４　　表示装置
【図１】
2004040526.tif 000003
【図２】
2004040526.tif 000004
【図３】
2004040526.tif 000005
【図４】
2004040526.tif 000006