(57)【要約】【課題】配信先のバッファに保持されている未再生画像のデータ量が０になって画像の再生がとぎれてしまうことを防止する。【解決手段】サーバ１において、構文解析手段１２が、動画像データをフレームごとに１又は複数のタイルに分割しタイルごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データの構文を解析し、符号列作成手段１３が、解析結果に基づいて符号列データから送信用の別の符号列データを作成する。クライアント２において、動画像データをバッファリングするバッファ２２のデータの読込量に関するデータは、読込量検出手段２５が検出し、作成パラメータ作成手段２６が、このデータから符号列データを作成する際の符号列の作成パラメータを作成する。サーバ１では、パラメータ指示手段１５が、クライアント２で作成した作成パラメータを符号列作成手段１３に指示する。【選択図】　　　　図１
2004007163.tif 000002
【特許請求の範囲】
【請求項１】
動画像データをフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データを対象として、その符号列データの構文を解析する構文解析手段と、
この解析結果に基づいて前記符号列データから別の符号列データを作成する符号列作成手段と、
この作成後の符号列データをネットワークを介して送信する送信手段と、
この送信の送信先から前記符号列作成手段による符号列データを作成する際の符号列の作成パラメータを受信する受信手段と、
この受信した作成パラメータを前記符号列作成手段による符号列データを作成する際の符号列データの作成パラメータとして、前記送信手段で送信する単位時間当たりのデータ量を調整するパラメータ指示手段と、
を備えている画像配信システム。
【請求項２】
動画像データをフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データを対象として、その符号列データの構文を解析する構文解析手段と、
この解析結果に基づいて前記符号列データから別の符号列データを作成する符号列作成手段と、
この作成後の符号列データをネットワークを介して送信する送信手段と、
この送信の送信先から当該送信先で前記符号列データを受信してバッファリングする際のバッファにおけるデータの読込量に関するデータを受信する受信手段と、
この受信したデータから前記符号列作成手段による符号列データを作成する際の符号列の作成パラメータを作成する作成パラメータ作成手段と、
この作成した作成パラメータを前記符号列作成手段による符号列データを作成する際の符号列データの作成パラメータとして、前記送信手段で送信する単位時間当たりのデータ量を調整するパラメータ指示手段と、
を備えている画像配信システム。
【請求項３】
動画像データについてフレームごとに１又は複数の矩形領域に分割されて当該矩形領域ごとに画素値を離散ウェーブレット変換により圧縮符号化された符号列データから、特定の作成パラメータにより作成された符号列データを受信する受信手段と、
この受信された符号列データを復号する復号手段と、
この復号された動画像データをバッファリングするバッファと、
この復号した画像データを表示する表示装置と、
前記バッファでバッファリングされるデータの読込量に関するデータを検出する読込量検出手段と、
この検出したデータを前記符号列データの送信先に送信する送信手段と、
を備えている画像再生システム。
【請求項４】
動画像データについてフレームごとに１又は複数の矩形領域に分割されて当該矩形領域ごとに画素値を離散ウェーブレット変換により圧縮符号化された符号列データから、特定の作成パラメータにより作成された符号列データを受信する受信手段と、
この受信された符号列データを復号する復号手段と、
この復号された動画像データをバッファリングするバッファと、
この復号した画像データを表示する表示装置と、
前記バッファでバッファリングされているデータの読込量に関するデータを検出する読込量検出手段と、
この検出したデータから前記符号列データを作成する際の符号列の作成パラメータを作成する作成パラメータ作成手段と、
この作成した作成パラメータを前記符号列データの送信先に送信する送信手段と、
を備えている画像再生システム。
【請求項５】
前記受信手段が受信する又は前記作成パラメータ作成手段が作成する作成パラメータは、前記符号列データを復号する際に得られる画像解像度若しくはフレームレートに関するパラメータ、又は、画像の圧縮率に関するパラメータである、
請求項１又は２に記載の画像配信システム。
【請求項６】
前記受信手段が受信するデータの読込量に関するデータは、前記バッファがバッファリングしているデータ量又は前記バッファへのデータの書込速度である、
請求項２に記載の画像配信システム。
【請求項７】
前記受信手段が受信する作成パラメータは、前記符号列データを復号する際に得られる画像解像度若しくはフレームレートに関するパラメータ、又は、画像の圧縮率に関するパラメータである、
請求項４に記載の画像再生システム。
【請求項８】
前記読込量検出手段が検出する読込量に関するデータは、前記バッファがバッファリングしているデータ量又は前記バッファへのデータの書込速度である、
請求項３又は４に記載の画像再生システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像配信システム及び画像再生システムに関する。
【０００２】
【従来の技術】
従来、サーバから動画像データを供給し、クライアントからは動画像データの転送要求をサーバに対して行なって、受け取ったデータをもとにクライアントで動画像を再生する、動画像配信技術が存在する。かかる技術において、クライアント側の再生装置がサーバから動画像データを受信して再生する手法には、大別してダウンロード再生とストリーム再生が知られている。
【０００３】
ダウンロード再生とは、サーバからクライアントのバッファ上にダウンロードされたデータを再生するものであり、このタイプは、一旦バッファにデータをとりこんだ後に再生するため、バッファの記憶容量の制限により動画像データを再生できる時間が短くなるという短所があるが、すべてのデータを受け取ってから再生すれば、サーバ側の処理負担や伝送路の速度や混雑状況によらず、動画像の再生が行なえる長所がある。
【０００４】
一方、ストリーミング再生とは、クライアント側の再生装置がサーバから連続的にデータを要求し、そのデータをバッファ上に取得する作業と並行して動画像の再生処理を行なうものである。このタイプは、クライアントが連続的に動画像データを受け取るため、自己のバッファ上のデータを再生したら放棄する一方で、新たなデータを上書きしていく。従って、バッファの記憶容量の制限を受けることなく長時間の動画像の再生が可能であるという長所がある。
【０００５】
しかし、サーバに同時にアクセスしているクライアント数の増加によるサーバ負荷の増大や、伝送線路の速度に影響を受けやすいという短所がある。よって、サーバの負荷増大や、伝送線路の速度低下により動画像の再生がストップしてしまうというような重大な問題を引き起こす可能性がある。一般に、このような重大な影響を回避する手法として、動画像データの容量を変化させるスケーラビリティという手法が知られている。
【０００６】
また、従来から、画像圧縮伸長アルゴリズムとして、動画像専用のＭＰＥＧ１／ＭＰＥＧ２／ＭＰＥＧ４や、静止画像を連続したフレームとして扱うＭｏｔｉｏｎ　ＪＰＥＧが使用されているが、最近では、後者のＭｏｔｉｏｎ静止画像の符号化については、国際標準としてＭｏｔｉｏｎ　ＪＰＥＧ２０００という新しい方式が規格化されつつある。
【０００７】
【発明が解決しようとする課題】
しかし、前記従来の動画像配信技術では、一般にサーバ上に配信コンテンツをあらかじめ複数のスケーラビリティで保存しておき、通信路の送信能力やクライアントの再生能力に応じて、最もふさわしいスケーラビリティをユーザが選択してストリーミング再生を行なうのが普通である。
【０００８】
この場合は、クライアントを操作するユーザが通信路の制約を考慮して適切なスケーラビリティを選択しなければならない繁雑さがあるだけでなく、一度特定のスケーラビリティを選択してしまうと途中で変更できないという不具合がある。すなわち、ストリーミング再生の途中で通信路が急に混雑してきた場合、クアイアントにおける動画像の再生速度に対して、データがクライアントに到達する速度が遅くなるので、クライアント側のバッファに保持されている未再生画像のデータ量が０になり、画像の再生がとぎれてしまうという不具合がある。
【０００９】
この発明の目的は、動画像データの配信先においてストリーミング再生を行なっていても、配信先のバッファに保持されている未再生画像のデータ量が０になって画像の再生がとぎれてしまうことを防止することである。
【００１０】
【課題を解決するための手段】
請求項１に記載の発明は、動画像データをフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データを対象として、その符号列データの構文を解析する構文解析手段と、この解析結果に基づいて前記符号列データから別の符号列データを作成する符号列作成手段と、この作成後の符号列データをネットワークを介して送信する送信手段と、この送信の送信先から前記符号列作成手段による符号列データを作成する際の符号列の作成パラメータを受信する受信手段と、この受信した作成パラメータを前記符号列作成手段による符号列データを作成する際の符号列データの作成パラメータとして、前記送信手段で送信する単位時間当たりのデータ量を調整するパラメータ指示手段と、を備えている画像配信システムである。
【００１１】
したがって、動画像データの配信先においてストリーミング再生を行なっていても、一本の動画像の再生中に通信路のトラフィックが混雑してきたときは、受信先側から作成パラメータを指定し、動画像データが、フレームごとに１又は複数の矩形領域に分割し矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されていることを利用して、少ないデータ量で動画像を表示できるような符号列データを作成できるので、クライアント側のバッファに保持されている未再生画像のデータ量が０になって画像の再生がとぎれてしまうことを防止することができる。
【００１２】
請求項２に記載の発明は、動画像データをフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データを対象として、その符号列データの構文を解析する構文解析手段と、この解析結果に基づいて前記符号列データから別の符号列データを作成する符号列作成手段と、この作成後の符号列データをネットワークを介して送信する送信手段と、この送信の送信先から当該送信先で前記符号列データを受信してバッファリングする際のバッファにおけるデータの読込量に関するデータを受信する受信手段と、この受信したデータから前記符号列作成手段による符号列データを作成する際の符号列の作成パラメータを作成する作成パラメータ作成手段と、この作成した作成パラメータを前記符号列作成手段による符号列データを作成する際の符号列データの作成パラメータとして、前記送信手段で送信する単位時間当たりのデータ量を調整するパラメータ指示手段と、を備えている画像配信システムである。
【００１３】
したがって、動画像データの配信先においてストリーミング再生を行なっていても、受信先から符号列データのバッファにおけるデータの読込量に関するデータを受信して、一本の動画像の再生中に通信路のトラフィックが混雑してきたことを判断し、本システムにおいて作成パラメータを指定して、動画像データが、フレームごとに１又は複数の矩形領域に分割し矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されていることを利用して、少ないデータ量で動画像を表示できるような符号列データを作成できるので、クライアント側のバッファに保持されている未再生画像のデータ量が０になって画像の再生がとぎれてしまうことを防止することができる。
【００１４】
請求項３に記載の発明は、動画像データについてフレームごとに１又は複数の矩形領域に分割されて当該矩形領域ごとに画素値を離散ウェーブレット変換により圧縮符号化された符号列データから、特定の作成パラメータにより作成された符号列データを受信する受信手段と、この受信された符号列データを復号する復号手段と、この復号された動画像データをバッファリングするバッファと、この復号した画像データを表示する表示装置と、前記バッファでバッファリングされるデータの読込量に関するデータを検出する読込量検出手段と、この検出したデータを前記符号列データの送信先に送信する送信手段と、を備えている画像再生システムである。
【００１５】
したがって、バッファでバッファリングされるデータの読込量に関するデータを検出することで、符号列データを受信する通信路のトラフィックの混雑を判断し、それを送信先に伝えることができ、送信先では動画像データが、フレームごとに１又は複数の矩形領域に分割し矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されていることを利用して、少ないデータ量で動画像を表示できるような符号列データの作成が可能となるので、クライアント側のバッファに保持されている未再生画像のデータ量が０になって画像の再生がとぎれてしまうことを防止することができる。
【００１６】
請求項４に記載の発明は、動画像データについてフレームごとに１又は複数の矩形領域に分割されて当該矩形領域ごとに画素値を離散ウェーブレット変換により圧縮符号化された符号列データから、特定の作成パラメータにより作成された符号列データを受信する受信手段と、この受信された符号列データを復号する復号手段と、この復号された動画像データをバッファリングするバッファと、この復号した画像データを表示する表示装置と、前記バッファでバッファリングされているデータの読込量に関するデータを検出する読込量検出手段と、この検出したデータから前記符号列データを作成する際の符号列の作成パラメータを作成する作成パラメータ作成手段と、この作成した作成パラメータを前記符号列データの送信先に送信する送信手段と、を備えている画像再生システムである。
【００１７】
したがって、バッファでバッファリングされるデータの読込量に関するデータを検出することで、符号列データを受信する通信路のトラフィックの混雑を判断し、送信先で符号列データを作成する際の作成パラメータを指定することができ、送信先では動画像データが、フレームごとに１又は複数の矩形領域に分割し矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されていることを利用して、少ないデータ量で動画像を表示できるような符号列データの作成が可能となるので、クライアント側のバッファに保持されている未再生画像のデータ量が０になって画像の再生がとぎれてしまうことを防止することができる。
【００１８】
請求項５に記載の発明は、請求項１又は２に記載の画像配信システムにおいて、前記受信手段が受信する又は前記作成パラメータ作成手段が作成する作成パラメータは、前記符号列データを復号する際に得られる画像解像度若しくはフレームレートに関するパラメータ、又は、画像の圧縮率に関するパラメータである。
【００１９】
したがって、比較的画像の品質に対する影響の少ない作成パラメータを用いることができるので、画像の品質をある程度維持しつつ符号列データのデータ量を削減することができる。
【００２０】
請求項６に記載の発明は、請求項２に記載の画像配信システムにおいて、前記受信手段が受信するデータの読込量に関するデータは、前記バッファがバッファリングしているデータ量又は前記バッファへのデータの書込速度である。
【００２１】
したがって、バッファのデータ量やバッファへのデータの書込速度により、符号列データを受信する通信路におけるトラフィックの混雑状況を判断することができる。
【００２２】
請求項７に記載の発明は、請求項４に記載の画像再生システムにおいて、前記受信手段が受信する作成パラメータは、前記符号列データを復号する際に得られる画像解像度若しくはフレームレートに関するパラメータ、又は、画像の圧縮率に関するパラメータである。
【００２３】
したがって、比較的画像の品質に対する影響の少ない作成パラメータを用いることができるので、画像の品質をある程度維持しつつ符号列データのデータ量を削減することができる。
【００２４】
請求項８に記載の発明は、請求項３又は４に記載の画像再生システムにおいて、前記読込量検出手段が検出する読込量に関するデータは、前記バッファがバッファリングしているデータ量又は前記バッファへのデータの書込速度である。
【００２５】
したがって、バッファのデータ量やバッファへのデータの書込速度により、符号列データを受信する通信路におけるトラフィックの混雑状況を判断することができる。
【００２６】
【発明の実施の形態】
［発明の実施の形態１］
この発明の一実施の形態を実施の形態１として説明する。
【００２７】
図１は、実施の形態１の全体のシステム構成を示すブロック図である。図１において、このシステムは本発明の画像配信システムを実施するサーバ１と、本発明の画像再生システムを実施するクライアント２とが、通信路３を介してネットワークで接続されている。
【００２８】
サーバ１は、動画像データを記憶する磁気記憶装置１１を備えている。この磁気記憶装置１１には、元の動画像データがＪＰＥＧ２０００アルゴリズムで圧縮符号化されてなる符号列データが記憶されている。よって、この符号列データは、動画像データをフレームごとに１又は複数の矩形領域（タイル）に分割し、このタイルごとに画素値を離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ　Ｗａｖｅｌｅｔ　Ｔｒａｎｓｆｏｒｍ）して階層的に圧縮符号化して作成されたものである。
【００２９】
この符号列データをクライアント２に配信するときは、構文解析手段１２が、符号列データの構文、すなわちヘッダのデータに記述された情報を解析し、符号列作成手段１３は、この解析結果に基づいて当該符号列データから別の符号列データを作成する。そして、送信手段を実現する通信インターフェイス１４を介して、この作成後の符号列データを通信路３を介してクライアント２に送信する。
【００３０】
パラメータ指示手段１５は、符号列作成手段１３が符号列データを作成するのに際して使用する作成パラメータを指示し、この作成パラメータの変更により、符号列データを送信する際の単位時間当たりのデータ量を調整する。
【００３１】
クライアント２は、本発明の画像再生システムを実施するもので、ストリーミング再生で画像の再生を行なう。すなわち、符号列作成手段１３で作成された符号列データを、受信手段を実現する通信インターフェイス２１で受信する。そして、この受信した符号列データは、復号手段２３により復号され、復号された動画像データがバッファ２２でバッファリングされて、表示装置２４に表示される。
【００３２】
読込量検出手段２５は、バッファ２２でバッファリングされているデータの読込量に関するデータを検出する。かかるデータとしては、バッファ２２がバッファリングしているデータ量や、バッファ２２へのデータの書込速度が考えられる。
【００３３】
そして、作成パラメータ作成手段２６は、読込量検出手段２５が検出したデータから、バッファ２２がバッファリングしている現在のデータ量が０になって表示装置２４による画像再生がとぎれないように、サーバ１の符号列作成手段１３が符号列データを作成する際の符号列の作成パラメータの最適な値を作成する。この作成パラメータは、具体的には、符号列データを復号する際に得られる画像解像度若しくはフレームレートに関するパラメータ、あるいは、画像の圧縮率に関するパラメータが考えられる。このようにして作成した作成パラメータは、送信手段を実現する通信インターフェイス２１を介して、サーバ１に送信される。この作成パラメータの作成、サーバ１への送信は、一本の動画像データをクライアント２で再生する間に、例えば１分毎、５分毎というように定期的に複数回行なうことができる。
【００３４】
この送信された作成パラメータは、サーバ１において、受信手段を実現する通信インターフェイス１４で受信され、パラメータ指示手段１５が、符号列データを作成するのに際して使用する作成パラメータとして符号列作成手段１３に指示する。
【００３５】
作成パラメータの作成は、より具体的には、例えば次のように行なう。すなわち、バッファ２２がバッファリングしているデータ量や、バッファ２２へのデータの書込速度に閾値を設け、バッファ２２がバッファリングしているデータ量が閾値より少なくなったとき、あるいは、バッファ２２へのデータの書込速度が閾値より小さくなったときには、サーバ１が送信する単位時間当たりの符号列データのデータ量を減らすように、作成パラメータを作成する。つまり、画像解像度を低くし、フレームレートを小さくし、あるいは、画像の圧縮率を高めるようにする。
【００３６】
そして、磁気記憶装置１１に記憶されている符号列データは、ＪＰＥＧ２０００アルゴリズムにより、動画像データをフレームごとに１又は複数のタイルに分割し、このタイルごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化してあるため、構文解析手段１２が符号列データの構文を解析し、符号列作成手段１３では、解析された構文に基づいて、符号列データから、作成パラメータで指示された画像解像度、フレームレート、あるいは、画像の圧縮率となるように、必要なデータを取捨選択して、新たな符号列データを作成することとなる。
【００３７】
作成パラメータは、一本の動画像データをクライアント２で再生する間に、例えば１分毎、５分毎というように定期的に複数回作成するので、クライアント２でストリーミング再生を行なうときは、一本の動画像データの再生中に画像解像度、フレームレート、あるいは、画像の圧縮率が変動し得ることになる。
【００３８】
よって、通信路３のトラフィックが混雑しているために、バッファ２２でバッファリングされているデータが底をついて、画像の再生がとぎれそうなときは、画像解像度を低くし、フレームレートを小さくし、あるいは、画像の圧縮率を高めるようにして、サーバ１からクライアント２に送信される符号列データの単位時間当たりのデータ量を少なくしても画像の再生がとぎれないようにすることができる。
【００３９】
この場合、作成パラメータは、画像解像度、フレームレート、あるいは、画像の圧縮率に関するものであるので、画像解像度を低くし、フレームレートを小さくし、あるいは、画像の圧縮率を高めるようにして、符号列データの単位時間当たりのデータ量を少なくしても、画像の品質に与える影響は比較的小さくすることができる。
【００４０】
［発明の実施の形態２］
別の実施の形態を実施の形態２として説明する。
【００４１】
図２は、実施の形態２の全体のシステム構成を示すブロック図である。図２において、図１に示す実施の形態１のシステムと同一符号の要素は、実施の形態１と同様の構成要素であるため、詳細な説明は省略する。
【００４２】
この実施の形態２のシステムが実施の形態１と相違する点は、作成パラメータ作成手段２６が、クライアント２ではなくサーバ１に設けられていることである。そのため、クライアント２では、読込量検出手段２５が検出する、バッファ２２でバッファリングされているデータの読込量に関するデータを、通信インターフェイス２１を介してサーバ１に送信する。そして、この受信したデータに基づいてサーバ１の作成パラメータ作成手段２６が作成パラメータを作成し、パラメータ指示手段１５に出力する。
【００４３】
この実施の形態２のシステムにおいても、通信路３のトラフィックが混雑しているために、バッファ２２でバッファリングされているデータが底をついて、画像の再生がとぎれそうなときは、画像解像度を低くし、フレームレートを小さくし、あるいは、画像の圧縮率を高めるようにして、サーバ１からクライアント２に送信される符号列データの単位時間当たりのデータ量を少なくしても画像の再生がとぎれないようにすることができる。
【００４４】
【発明の効果】
請求項１〜４に記載の発明は、動画像データの配信先においてストリーミング再生を行なっていても、クライアント側のバッファに保持されている未再生画像のデータ量が０になって画像の再生がとぎれてしまうことを防止することができる。
【００４５】
請求項５，７に記載の発明は、請求項１，２，４に記載の発明において、画像の品質をある程度維持しつつ符号列データのデータ量を削減することができる。
【００４６】
請求項６，８に記載の発明は、請求項２，３，４に記載の発明において、バッファのデータ量やバッファへのデータの書込速度により、符号列データを受信する通信路におけるトラフィックの混雑状況を判断することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１におけるシステム構成のブロック図である。
【図２】この発明の実施の形態２におけるシステム構成のブロック図である。
【符号の説明】
１　　　画像配信システム
２　　　画像再生システム
１２　　構文解析手段
１３　　符号列作成手段
１４　　送信手段、受信手段
１５　　パラメータ指示手段
２１　　送信手段、受信手段
２２　　バッファ
２３　　復号手段
２４　　表示装置
２５　　読込量検出手段
２６　　作成パラメータ作成手段
【図１】
2004007163.tif 000003
【図２】
2004007163.tif 000004