(57)【要約】【課題】クライアント側のバッファに保持されている未再生画像のデータ量が０になって画像の再生が途切れてしまうことを防止する。【解決手段】構文解析手段１２は、動画像データをフレームごとに１又は複数のタイルに分割しタイルごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データを対象として、その符号列データの構文を解析する。符号列作成手段１３は、この解析結果に基づいて符号列データから別の符号列データを作成する作業を同時並行的に複数行なう。データ読込量検出手段２５は、受信する符号列データの単位時間当たりの読込量を検出し、パラメータ作成手段１６は、この読込量の各データを統合して回線の混雑状況を判断し、符号列データを作成する際の適切なパラメータを作成する。【選択図】　　図１
2004072147.tif 000002
【特許請求の範囲】
【請求項１】
動画像データをフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データを対象として、その符号列データの構文を解析する構文解析手段と、
この解析結果に基づいて前記符号列データから別の符号列データを作成する作業を同時並行的に複数行なえる符号列作成手段と、
この符号列作成手段で作成した各符号列データをネットワークを介して同時並行的に複数の送信先に送信できる送信手段と、
前記各送信先における前記符号列データの単位時間当たりの読込量を統合したデータに応じて作成された前記符号列作成手段による符号列データを作成する際の符号列のパラメータにより当該符号列データの作成を指示して、前記送信手段で送信する符号列データの単位時間当たりのデータ量を調整するパラメータ指示手段と、
を備えている画像配信システム。
【請求項２】
前記単位時間当たりの読込量のデータを前記各送信先から受信する受信手段と、
この受信した各読込量のデータに応じて前記パラメータを作成するパラメータ作成手段と、
を備えている請求項１に記載の画像配信システム。
【請求項３】
前記パラメータ作成手段は、前記送信先がｎ箇所（ｎ＝１，２，…）あるときに、各送信先における前記単位時間当たりの読込量をＡｎとし、本画像配信システムによる前記符号列データの最大のデータ配信能力をＢとすると、通信回線の使用率Ｃを、
Ｃ＝ΣＡｎ／Ｂ
により求め、この使用率Ｃの値に応じて前記パラメータの作成を行なうものである、
請求項１又は２に記載の画像配信システム。
【請求項４】
前記パラメータ指示手段が用いるパラメータは、前記符号列データを復号する際に得られる画像解像度若しくはフレームレートに関するパラメータ、又は、画像の圧縮率に関するパラメータである、
請求項１〜３の何れかの一に記載の画像配信システム。
【請求項５】
動画像データをフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データをネットワークを介して受信する受信手段と、
この受信した符号列データを復号する復号手段と、
前記受信手段による前記符号列データの単位時間当たりの読込量を検出するデータ読込量検出手段と、
この検出した単位時間当たりの読込量のデータを前記符号列データの送信先に送信する送信手段と、
を備えている画像再生システム。
【請求項６】
請求項２に記載の画像配信システムと、
この画像配信システムから前記符号列データを受信し、この画像配信システムに前記単位時間当たりの読込量のデータを送信する１又は複数の請求項５に記載の画像再生システムと、
を備えている画像配信再生システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像配信システム、画像再生システム及び画像配信再生システムに関する。
【０００２】
【従来の技術】
従来、サーバから動画像データを供給し、クライアントからは動画像データの転送要求をサーバに対して行なって、受け取ったデータをもとにクライアントで動画像を再生する、動画像配信技術が存在する。かかる技術において、クライアント側の再生装置がサーバから動画像データを受信して再生する手法には、大別してダウンロード再生とストリーム再生が知られている。
【０００３】
ダウンロード再生とは、サーバからクライアントのバッファ上にダウンロードされたデータを再生するものであり、このタイプは、一旦バッファにデータをとりこんだ後に再生するため、バッファの記憶容量の制限により動画像データを再生できる時間が短くなるという短所があるが、すべてのデータを受け取ってから再生すれば、サーバ側の処理負担や伝送路の速度や混雑状況によらず、動画像の再生が行なえる長所がある。
【０００４】
一方、ストリーミング再生とは、クライアント側の再生装置がサーバから連続的にデータを要求し、そのデータをバッファ上に取得する作業と並行して動画像の再生処理を行なうものである。このタイプは、クライアントが連続的に動画像データを受け取るため、自己のバッファ上のデータを再生したら放棄する一方で、新たなデータを上書きしていく。従って、バッファの記憶容量の制限を受けることなく長時間の動画像の再生が可能であるという長所がある。
【０００５】
しかし、サーバに同時にアクセスしているクライアント数の増加によるサーバ負荷の増大や、伝送線路の速度に影響を受けやすいという短所がある。よって、サーバの負荷増大や、伝送線路の速度低下により動画像の再生がストップしてしまうというような重大な問題を引き起こす可能性がある。一般に、このような重大な影響を回避する手法として、動画像データの容量を変化させるスケーラビリティという手法が知られている。
【０００６】
また、従来から、画像圧縮伸長アルゴリズムとして、動画像専用のＭＰＥＧ１／ＭＰＥＧ２／ＭＰＥＧ４や、静止画像を連続したフレームとして扱うＭｏｔｉｏｎ　ＪＰＥＧが使用されているが、最近では、後者のＭｏｔｉｏｎ静止画像の符号化については、国際標準としてＭｏｔｉｏｎ　ＪＰＥＧ２０００という新しい方式が規格化されつつある。
【０００７】
【発明が解決しようとする課題】
しかし、前記従来の動画像配信技術では、一般にサーバ上に配信コンテンツをあらかじめ複数のスケーラビリティで保存しておき、通信路の送信能力やクライアントの再生能力に応じて、最もふさわしいスケーラビリティをユーザが選択してストリーミング再生を行なうのが普通である。
【０００８】
この場合は、クライアントソフトを操作するユーザが通信路の制約を考慮して適切な条件を選択する必要が生じる不便さがあるだけでなく、一度選択してしまったら途中で変更できないという不具合がある。すなわち、ストリーミング再生の途中で通信路が急に混んできた場合、クライアント側での画像再生の速度に対して、画像データがクライアントに到達するのが遅れがちとなり、ストリーミング再生を行なうクライアントでバッファリングしている未再生の動画像データが０になり、画像再生が途切れてしまうという不具合がある。
【０００９】
この発明の目的は、動画像データの配信先においてストリーミング再生を行なっていても、クライアント側のバッファに保持されている未再生画像のデータ量が０になって画像の再生が途切れてしまうことを防止することである。
【００１０】
【課題を解決するための手段】
請求項１に記載の発明は、動画像データをフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データを対象として、その符号列データの構文を解析する構文解析手段と、この解析結果に基づいて前記符号列データから別の符号列データを作成する作業を同時並行的に複数行なえる符号列作成手段と、この符号列作成手段で作成した各符号列データをネットワークを介して同時並行的に複数の送信先に送信できる送信手段と、前記各送信先における前記符号列データの単位時間当たりの読込量を統合したデータに応じて作成された前記符号列作成手段による符号列データを作成する際の符号列のパラメータにより当該符号列データの作成を指示して、前記送信手段で送信する符号列データの単位時間当たりのデータ量を調整するパラメータ指示手段と、を備えている画像配信システムである。
【００１１】
したがって、符号列データの送信先における符号列データの単位時間当たりの読込量を統合したデータから通信路の混雑状況を判断して作成されたパラメータによって符号列データのデータ量を削減又は増加するようにして、送信する符号列データの単位時間当たりのデータ量を調整し、動画像データの配信先においてストリーミング再生を行なっていても、未再生画像のデータ量が０になって画像の再生が途切れてしまうことを防止することができる。
【００１２】
請求項２に記載の発明は、請求項１に記載の画像配信システムにおいて、前記単位時間当たりの読込量のデータを前記各送信先から受信する受信手段と、この受信した各読込量のデータに応じて前記パラメータを作成するパラメータ作成手段と、を備えている。
【００１３】
したがって、符号列データの配信先から符号列データの単位時間当たりの読込量のデータを集めて、画像配信システムでパラメータを作成することができる。
【００１４】
請求項３に記載の発明は、請求項１又は２に記載の画像配信システムにおいて、前記パラメータ作成手段は、前記送信先がｎ箇所（ｎ＝１，２，…）あるときに、各送信先における前記単位時間当たりの読込量をＡｎとし、本画像配信システムによる前記符号列データの最大のデータ配信能力をＢとすると、通信回線の使用率Ｃを、
Ｃ＝ΣＡｎ／Ｂ
により求め、この使用率Ｃの値に応じて前記パラメータの作成を行なうものである。
【００１５】
したがって、配信先における符号列データの単位時間当たりの読込量のデータから通信回線の使用率を求めて、パラメータを作成することができる。
【００１６】
請求項４に記載の発明は、請求項１〜３の何れかの一に記載の画像配信システムにおいて、前記パラメータ指示手段が用いるパラメータは、前記符号列データを復号する際に得られる画像解像度若しくはフレームレートに関するパラメータ、又は、画像の圧縮率に関するパラメータである。
【００１７】
したがって、画像解像度、フレームレート又は画像の圧縮率のパラメータにより、送信する符号列データの単位時間当たりのデータ量を調整することができる。
【００１８】
請求項５に記載の発明は、動画像データをフレームごとに１又は複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データをネットワークを介して受信する受信手段と、この受信した符号列データを復号する復号手段と、前記受信手段による前記符号列データの単位時間当たりの読込量を検出するデータ読込量検出手段と、この検出した単位時間当たりの読込量のデータを前記符号列データの送信先に送信する送信手段と、を備えている画像再生システムである。
【００１９】
したがって、受信する符号列データの単位時間当たりの読込量を検出して、符号列データの送信先に送信するので、送信先では当該データから通信路の混雑状況を判断して、送信する符号列データのデータ量を削減又は増加するようにして、送信する符号列データの単位時間当たりのデータ量を調整し、動画像データの配信先においてストリーミング再生を行なっていても、未再生画像のデータ量が０になって画像の再生が途切れてしまうことを防止することができる。
【００２０】
請求項６に記載の発明は、請求項２に記載の画像配信システムと、この画像配信システムから前記符号列データを受信し、この画像配信システムに前記単位時間当たりの読込量のデータを送信する１又は複数の請求項５に記載の画像再生システムと、を備えている画像配信再生システムである。
【００２１】
したがって、画像再生システムでは受信する符号列データの単位時間当たりの読込量を検出し、画像配信システムでは、この読込量のデータから通信路の混雑状況を判断して所定のパラメータを作成して送信する符号列データのデータ量を削減又は増加するようにして、送信する符号列データの単位時間当たりのデータ量を調整し、動画像データの配信先においてストリーミング再生を行なっていても、未再生画像のデータ量が０になって画像の再生が途切れてしまうことを防止することができる。
【００２２】
【発明の実施の形態】
この発明の一実施の形態について説明する。
【００２３】
図１は、本実施の形態である画像配信再生システム全体のシステム構成を示すブロック図である。図１において、このシステムは本発明の画像配信システムを実施するサーバ１と、本発明の画像再生システムを実施するクライアント２とが、通信路３を介してネットワークで接続されている。
【００２４】
サーバ１は、動画像データを記憶する磁気記憶装置１１を備えている。この磁気記憶装置１１には、元の動画像データがＪＰＥＧ２０００アルゴリズムで圧縮符号化されてなる符号列データが記憶されている。よって、この符号列データは、動画像データをフレームごとに１又は複数の矩形領域（タイル）に分割し、このタイルごとに画素値を離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ　Ｗａｖｅｌｅｔ　Ｔｒａｎｓｆｏｒｍ）して階層的に圧縮符号化して作成されたものである。
【００２５】
この符号列データをクライアント２に配信するときは、構文解析手段１２が、符号列データの構文、すなわちヘッダに記述された情報を解析し、符号列作成手段１３は、この解析結果に基づいて当該符号列データから別の符号列データを作成する。そして、送信手段を実現する通信インターフェイス１４を介して、この作成後の符号列データを、通信路３を介してクライアント２に送信する。符号列作成手段１３は、複数のクライアント２に対応して、同時並行的に複数の符号列データを作成することができる。符号列作成手段１３は、それぞれ一本の符号列データを作成する符号列作成手段１３１〜１３ｎ（ｎ＝１，２，３，…ｎ）を備え、各符号列作成手段１３１〜１３ｎが符号列データを作成する。
【００２６】
パラメータ指示手段１５は、符号列作成手段１３が符号列データを作成するのに際して使用するパラメータを指示し、このパラメータの変更により、符号列データを送信する際の単位時間当たりのデータ量を調整する。
【００２７】
パラメータ作成手段１６は、パラメータ指示手段１５が指示するパラメータを作成する。その詳細については後述する。
【００２８】
クライアント２は、ストリーミング再生で画像の再生を行なう。すなわち、各クライアント２（クライアント２０１，２０２，２０３，…，２０ｎ）は、符号列作成手段１３１〜１３ｎの何れかで作成された符号列データを、受信手段を実現する通信インターフェイス２１で受信する。そして、この受信した符号列データは、復号手段２３により復号され、復号された動画像データがバッファ２２でバッファリングされて、表示装置２４に表示される。
【００２９】
データ読込量検出手段２５は、各クライアント２において、サーバ１から受信する符号列データの単位時間当たりのデータ読込量、例えば、１秒あたりのデータ読込量Ａｎ（ｎ＝１，２，…）（単位：ｂｐｓ）を検出する。この検出は、サーバ１からの符号列データの受信中は継続し、そのデータ読込量Ａｎの検出値は、サーバ１からの符号列データの受信中に、例えば、一分ごとに通信インターフェイス２１を介して各クライアント２からサーバ１に送信する。
【００３０】
サーバ１は、このデータ読込量Ａｎの検出値の情報を各クライアント２から受信し、パラメータ作成手段１６は、この各データ読込量Ａｎに基づいて、前述のパラメータを作成する。
【００３１】
具体的には、通信回線の使用率をＣとし、全回線のデータ転送能力の合計（単位：ｂｐｓ）、すなわち、サーバ１の最大のデータ配信能力をＢとすると、
Ｃ＝ΣＡｎ／Ｂ
となる。
【００３２】
これにより、データ読込量Ａｎを統合し、この統合したデータから通信回線の混雑状況を示す使用率Ｃが求められる。そして、使用率Ｃが所定の閾値ｃを上回ったときには、通信路３が混雑しているものと判断し、各符号列作成手段１３１〜１３ｎで送信する単位時間当たりの符号列データのデータ量が小さくなるように、前述のパラメータを変化させる。この場合は、多かれ少なかれ送信する符号列データによる画像は画質が低下することとなる。逆に、使用率Ｃが所定の閾値ｃを下回ったときには、通信路３が空いているものと判断し、各符号列作成手段１３１〜１３ｎで送信する単位時間当たりの符号列データのデータ量が大きくなるように、前述のパラメータを変化させる。この場合は、符号列データによる画像は画質が向上することとなる。なお、閾値ｃを段階的に複数用意して、前述のパラメータを段階的に変更して、各符号列作成手段１３１〜１３ｎで送信する単位時間当たりの符号列データのデータ量を段階的に調節するようにしても良い。あるいは、使用率Ｃの大きさに応じて、前述のパラメータを無段階的に変更し、各符号列作成手段１３１〜１３ｎで送信する単位時間当たりの符号列データのデータ量を無段階的に調節するようにしても良い。
【００３３】
パラメータとしては、画像解像度（画像の縦横のドット数）、Ｓ／Ｎ（圧縮アルゴリズムの圧縮率）、フレームレート（単位時間のフレーム数）のいずれか又は複数を用いることができる。すなわち、画像解像度、Ｓ／Ｎ、フレームレートを大きくすれば、送信する符号列データのデータ量も多くなる。
【００３４】
フレームレートを調節する場合は、負荷が小さい時は全フレーム送信するが、負荷の増大に従ってフレームレートを図２に示すように落としていく。すなわち、図２（ａ）には元の符号列データを示している。この符号列データには、ｎ個のフレーム（ｂｉｔ　ｓｔｒｅａｍ）が含まれているが、図２（ｂ）に示すように、偶数番目（２，４，…）のフレームを削除し、２フレーム中の１フレームのみを送信することで、フレームレートを半分に落とし、もって、データ量を半分に落とすことができる。偶数番目（２，４，…）のフレームを削除するときは、偶数番目（２，４，…）のフレームを削除した奇数番目（１，３，…）のフレーム部分のみを連結し、それに合わせてヘッダ（Ｈｅａｄｅｒ）を書き換え、新たな符号列データとする。
【００３５】
また、画像解像度を調節する場合は、負荷が小さい場合には解像度の高い画像データを送信すべく、全てのサブバンドデータを送信するが、負荷の増大に従い、下位のサブバンドから送信を停止し、低解像度の画像データを送信するようにする。
【００３６】
すなわち、図３（ａ）には元の全サブバンドデータを含む符号データのファイルの内容が示されている。ここでは、各サブバンド順に符号データが並んでいる。各サブバンドの切れ目には区切り記号が入っており、境界を容易に判別することが可能である。そして、負荷が小さい場合には最終サブバンド（０）まで送信するが、負荷の増大に伴い、サブバンド１、あるいは２，３まで送信して、それ以降のサブバンドは送信しないように下位サブバンドデータを削除し、図３（ｂ）に示すような新たな符号列を作成する。
【００３７】
図４は図３の符号列中の一つのサブバンドを表している。サブバンド内はビットプレーンのＭＳＢから順に符号化されたデータが入っている。図４の例では、図４（ａ）の元データのＬＳＢから２ビットプレーンのデータを破棄して、図４（ｂ）に示す新たな符号列を作成して、データ量を削減している。
【００３８】
【発明の効果】
請求項１，５，６に記載の発明は、通信路の混雑状況を判断し、送信する符号列データのデータ量を削減又は増加するようにして、送信する符号列データの単位時間当たりのデータ量を調整し、動画像データの配信先においてストリーミング再生を行なっていても、未再生画像のデータ量が０になって画像の再生が途切れてしまうことを防止することができる。
【００３９】
請求項２に記載の発明は、請求項１に記載の発明において、符号列データの配信先から符号列データの単位時間当たりの読込量のデータを集めて、画像配信システムでパラメータを作成することができる。
【００４０】
請求項３に記載の発明は、請求項１又は２に記載の発明において、配信先における符号列データの単位時間当たりの読込量のデータから通信回線の使用率を求めて、パラメータを作成することができる。
【００４１】
請求項４に記載の発明は、請求項１〜３の何れかの一に記載の発明において、画像解像度、フレームレート又は画像の圧縮率のパラメータにより、送信する符号列データの単位時間当たりのデータ量を調整することができる。
【図面の簡単な説明】
【図１】この発明の一実施の形態におけるシステム構成のブロック図である。
【図２】図１のシステムで符号列データのフレームレートを調節する場合の説明図である。
【図３】図１のシステムで符号列データの画像解像度を調節する場合の説明図である。
【図４】図１のシステムで符号列データの画像解像度を調節する場合の説明図である。
【符号の説明】
１　　　画像配信システム
２　　　画像再生システム
１２　　構文解析手段
１３　　符号列作成手段
１４　　送信手段
１５　　パラメータ指示手段
１６　　パラメータ作成手段
２１　　受信手段
２２　　バッファ
２３　　復号手段
２４　　表示装置
２５　　データ読込量検出手段
【図１】
2004072147.tif 000003
【図２】
2004072147.tif 000004
【図３】
2004072147.tif 000005
【図４】
2004072147.tif 000006