(57)【要約】【課題】動画像データの配信先に通信路のトラフィックの混雑状況に応じて動的にスケーラビリティを変化させた画像の送信を可能とする。【解決手段】各クライアント２は、データ読込量検出手段２７でサーバ１から受信した符号列の単位時間当たりの読込量を検出し、サーバ１に送信する。サーバ１では、統合化手段２５が、各クライアント２から受信した符号列の単位時間当たりの読込量を統合し、この結果からパラメータ作成手段２６が誤差量を求める。各符号列作成手段２３１〜２３ｎでは誤差量に基づいて量子化テーブルを選択して、この量子化テーブルに従って新たな符号列を作成し、クライアント２に送信する。誤差量とは、符号列作成手段２３１〜２３ｎで作成前の符号列と作成後の新たな符号列とのデータの誤差量である。量子化テーブルは、符号列の各ウェーブレット変換係数についてウェーブレット変換係数ごとの量子化ビット数を符号列作成手段２２で作成後の符号列の画像についての視覚的劣化度順に並べた複数のテーブルからなる。【選択図】    図９
2004166156.tif 000002
【特許請求の範囲】
【請求項１】
動画像データをフレームごとに１又は複数の小領域に分割してこの小領域ごとに階層的に圧縮符号化した符号列を対象として、その符号列データの構文を解析する構文解析手段と、
この解析結果に基づいて前記符号列から新たな符号列を作成する処理を同時並行的に複数実行できる符号列変換手段と、
この作成した各符号列をネットワークを介して各送信先に送信する送信手段と、
前記各送信先からそれぞれ当該送信先で前記送信した符号列を受信した際における単位時間当たりのデータ読込量の情報を受信する受信手段と、
この受信した各データ読込量の情報を統合して前記ネットワークのトラフィックの混雑状況を検出する統合化手段と、
前記作成前の符号列と前記新たな符号列とのデータの誤差量を前記統合の結果に応じて指定して、この指定した誤差量となるように前記符号列変換手段に前記作成を行なわせる誤差量指定手段と、
を備えている画像送信装置。
【請求項２】
前記誤差量指定手段は、前記誤差量の指定を前記ネットワークを介して前記符号列の送信先から受信する、請求項１に記載の画像送信装置。
【請求項３】
前記符号列変換手段は、前記作成前の符号列に含まれている当該符号列の符号を破棄することによる前記誤差量を表わすデータを読取って前記作成を行なう、請求項１又は２に記載の画像送信装置。
【請求項４】
前記符号列変換手段は、前記作成前の符号列の作成にウェーブレット変換が用いられている場合に、当該符号列の各ウェーブレット変換係数についてウェーブレット変換係数ごとの量子化ビット数を前記作成後の符号列の画像についての視覚的劣化度順に並べた複数のテーブルから、前記誤差量指定手段で指定した前記誤差量に応じてテーブルを選択し、このテーブルのデータに基づいて前記作成を行なう、請求項１〜３の何れかの一に記載の画像送信装置。
【請求項５】
前記符号列変換手段は、指定された画像のフレームレートに応じて前記作成を行なう、請求項１〜４の何れかの一に記載の画像送信装置。
【請求項６】
前記作成前の符号列について画像の動き量を検出する動き量検出手段を備え、
前記符号列変換手段は、前記検出した動き量に応じて前記作成を行なう、請求項１〜５の何れかの一に記載の画像送信装置。
【請求項７】
請求項１〜６の何れかの一に記載の画像送信装置と、
この画像送信装置がネットワークを介して送信する前記符号列を受信する複数台の画像受信装置と、
を備えているネットワークシステム。
【請求項８】
請求項１〜６の何れかの一に記載の発明の前記各手段の機能を実行するコンピュータに読取り可能なプログラム。
【請求項９】
請求項８に記載のプログラムを記憶している記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像送信装置、ネットワークシステム、プログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
従来、サーバから動画像データを供給し、クライアントからは動画像データの転送要求をサーバに対して行なって、受け取ったデータをもとにクライアントで動画像を再生する、動画像配信技術が存在する。かかる技術において、クライアント側の再生装置がサーバから動画像データを受信して再生する手法には、大別してダウンロード再生とストリーム再生が知られている。
【０００３】
ダウンロード再生とは、サーバからクライアントのバッファ上にダウンロードされたデータを再生するものであり、このタイプは、一旦バッファにデータをとりこんだ後に再生するため、バッファの記憶容量の制限により動画像データを再生できる時間が短くなるという短所があるが、すべてのデータを受け取ってから再生すれば、サーバ側の処理負担や伝送路の速度や混雑状況によらず、動画像の再生が行なえる長所がある。
【０００４】
一方、ストリーミング再生とは、クライアント側の再生装置がサーバから連続的にデータを要求し、そのデータをバッファ上に取得する作業と並行して動画像の再生処理を行なうものである。このタイプは、クライアントが連続的に動画像データを受け取るため、自己のバッファ上のデータを再生したら放棄する一方で、新たなデータを上書きしていく。従って、バッファの記憶容量の制限を受けることなく長時間の動画像の再生が可能であるという長所がある。
【０００５】
しかし、サーバに同時にアクセスしているクライアント数の増加によるサーバ負荷の増大や、伝送線路の速度に影響を受けやすいという短所がある。よって、サーバの負荷増大や、伝送線路の速度低下により動画像の再生がストップしてしまうというような重大な問題を引き起こす可能性がある。一般に、このような重大な影響を回避する手法として、動画像データの容量を変化させるスケーラビリティという手法が知られている。
【０００６】
また、従来から、画像圧縮伸長アルゴリズムとして、動画像専用のＭＰＥＧ１／ＭＰＥＧ２／ＭＰＥＧ４や、静止画像を連続したフレームとして扱うＭｏｔｉｏｎ  ＪＰＥＧが使用されているが、最近では、後者のＭｏｔｉｏｎ静止画像の符号化については、国際標準としてＭｏｔｉｏｎ  ＪＰＥＧ２０００という新しい方式が規格化されつつある。
【０００７】
【特許文献１】
特開２００１−２７４８６１公報
【０００８】
【発明が解決しようとする課題】
しかし、従来の動画像配信技術では、一般にサーバ上に配信コンテンツをあらかじめ複数のスケーラビリティで保存しておき、通信路の送信能力やクライアントの再生能力に応じて、最もふさわしいスケーラビリティをユーザが選択してストリーミング再生を行なうのが普通である。
【０００９】
この場合は、クライアントを操作するユーザが通信路の制約等を考慮してスケーラビリティを選択するが、通信路の状態が途中で変化すること、あるいは与えられた選択肢の中に最適な条件があるとは限らず、制約に対して最適な画像を得られるとは限らない。これに対応するためには、用意された元画像を元にサーバの負荷等に応じて動的にスケーラビリティを変化させることが考えられるが、データ量だけに着目して制御すると、複雑なシーンでは画質が悪くなり、複雑でないシーンでは必要以上の符号量を使ってしまい、通信路などの利用効率が悪くなってしまう。
【００１０】
この発明の目的は、送信側における処理の負荷に応じて動的にスケーラビリティを変化させた画像の送信を可能とすることである。
【００１１】
この発明の別の目的は、動的にスケーラビリティを変化させつつ画質の劣化を防止することである。
【００１２】
【課題を解決するための手段】
請求項１に記載の発明は、動画像データをフレームごとに１又は複数の小領域に分割してこの小領域ごとに階層的に圧縮符号化した符号列を対象として、その符号列データの構文を解析する構文解析手段と、この解析結果に基づいて前記符号列から新たな符号列を作成する処理を同時並行的に複数実行できる符号列変換手段と、この作成した各符号列をネットワークを介して各送信先に送信する送信手段と、前記各送信先からそれぞれ当該送信先で前記送信した符号列を受信した際における単位時間当たりのデータ読込量の情報を受信する受信手段と、この受信した各データ読込量の情報を統合して前記ネットワークのトラフィックの混雑状況を検出する統合化手段と、前記作成前の符号列と前記新たな符号列とのデータの誤差量を前記統合の結果に応じて指定して、この指定した誤差量となるように前記符号列変換手段に前記作成を行なわせる誤差量指定手段と、を備えている画像送信装置である。
【００１３】
したがって、ネットワークのトラフィックが混雑してきたときは誤差量を大きくして送信する符号列のデータ量を低減することにより、ネットワークのトラフィックに応じて動的にスケーラビリティを変化させて画像の送信を行なうことができる。
【００１４】
請求項２に記載の発明は、請求項１に記載の画像送信装置において、前記誤差量指定手段は、前記誤差量の指定を前記ネットワークを介して前記符号列の送信先から受信する。
【００１５】
したがって、ネットワークのトラフィックに応じて送信側で指定してきた誤差量を用いて、ネットワークのトラフィックに応じて動的にスケーラビリティを変化させて画像の送信を行なうことができる。
【００１６】
請求項３に記載の発明は、請求項１又は２に記載の画像送信装置において、前記符号列変換手段は、前記作成前の符号列に含まれている当該符号列の符号を破棄することによる前記誤差量を表わすデータを読取って前記作成を行なう。
【００１７】
したがって、新たな符号列の作成前の符号列に含まれている当該符号列の符号を破棄することによる誤差量を表わすデータをヘッダ情報などから読取って新たな符号列を作成し、ネットワークのトラフィックに応じて動的にスケーラビリティを変化させて画像の送信を行なうことができる。
【００１８】
請求項４に記載の発明は、請求項１〜３の何れかの一に記載の画像送信装置において、前記符号列変換手段は、前記作成前の符号列の作成にウェーブレット変換が用いられている場合に、当該符号列の各ウェーブレット変換係数についてウェーブレット変換係数ごとの量子化ビット数を前記作成後の符号列の画像についての視覚的劣化度順に並べた複数のテーブルから、前記誤差量指定手段で指定した前記誤差量に応じてテーブルを選択し、このテーブルのデータに基づいて前記作成を行なう。
【００１９】
したがって、ウェーブレット変換係数を調節することで、ネットワークのトラフィックに応じて動的にスケーラビリティを変化させて画像の送信を行なうことができる。
【００２０】
請求項５に記載の発明は、請求項１〜４の何れかの一に記載の画像送信装置において、前記符号列変換手段は、指定された画像のフレームレートに応じて前記作成を行なう。
【００２１】
したがって、ネットワークのトラフィックのみならず、フレームレートに応じて動的にスケーラビリティを変化させるので、画像の劣化を防止することができる。
【００２２】
請求項６に記載の発明は、請求項１〜５の何れかの一に記載の画像送信装置において、前記作成前の符号列について画像の動き量を検出する動き量検出手段を備え、前記符号列変換手段は、前記検出した動き量に応じて前記作成を行なう。
【００２３】
したがって、ネットワークのトラフィックのみならず、画像の動き量に応じて動的にスケーラビリティを変化させるので、画像の劣化を防止することができる。
【００２４】
請求項７に記載の発明は、請求項１〜６の何れかの一に記載の画像送信装置と、この画像送信装置がネットワークを介して送信する前記符号列を受信する複数台の画像受信装置と、を備えているネットワークシステムである。
【００２５】
したがって、請求項１〜６の何れかの一に記載の発明と同様の作用、効果を奏することができる。
【００２６】
請求項８に記載の発明は、請求項１〜６の何れかの一に記載の発明の前記各手段の機能を実行するコンピュータに読取り可能なプログラムである。
【００２７】
したがって、請求項１〜６の何れかの一に記載の発明と同様の作用、効果を奏することができる。
【００２８】
請求項９に記載の発明は、請求項８に記載のプログラムを記憶している記憶媒体である。
【００２９】
したがって、請求項８に記載の発明と同様の作用、効果を奏することができる。
【００３０】
【発明の実施の形態】
［ＪＰＥＧ２０００アルゴリズムの概要］
まず、本発明の実施の形態における前提技術となるＪＰＥＧ２０００アルゴリズムの概要について説明する。
【００３１】
図１は、ＪＰＥＧ２０００アルゴリズムの基本を説明するための説明図である。ＪＰＥＧ２０００のアルゴリズムは、色空間変換・逆変換部１１１、２次元ウェーブレット変換・逆変換部１１２、量子化・逆量子化部１１３、エントロピー符号化・復号化部１１４、タグ処理部１１５で構成されている。
【００３２】
図２に示すように、カラー画像は、一般に、原画像の各コンポーネント（ここではＲＧＢ原色系）が、矩形をした領域（タイル）１２３１２２，１２３によって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
【００３３】
画像データの符号化時には、各コンポーネントの各タイルのデータが、図１の色空間変換・逆変換部１１１に入力され、色空間変換を施されたのち、２次元ウェーブレット変換・逆変換部１１２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００３４】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０（１３１））に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１（１３２）に示すサブ・バンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２（１３３）に示すサブ・バンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次、同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３（１３４）に示すサブ・バンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。さらに、図３では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、斜線で表してある。例えば、デコンポジション・レベル数を３とした時、斜線で示したサブ・バンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブ・バンドは符号化されない。
【００３５】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１の量子化・逆量子化部１１３で対象ビット周辺のビットからコンテキストが生成される。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図５に示すように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行なう際の基本単位となる。
【００３６】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行なうことができる。図６には、その手順を簡単に示した。この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられる。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５×３）フィルタでウェーブレット変換を行ない、デコンポジションレベル１のウェーブレット係数値を求めている。また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤー」についての概念図をも併せて示している。レイヤーの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤーは任意の数のビットプレーンから構成される。この例では、レイヤー０，１，２，３は、各々、１，３，１の３つのビットプレーンから成っている。そして、ＬＳＢに近いビットプレーンを含むレイヤー程、先に量子化の対象となり、逆に、ＭＳＢに近いレイヤーは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤーから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００３７】
エントロピー符号化・復号化部１１４（図１参照）では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行なう。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部１１５は、エントロピコーダ部からの全符号化データを１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行なう。図４には、コード・ストリームの構造を簡単に示した。図４に示すように、コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
【００３８】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。図１を用いて簡単に説明する。この場合、タグ処理部１１５は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１１３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１１４で、このコンテキストとコード・ストリームから確率推定によって復号化を行ない、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１１２で２次元ウェーブレット逆変換を行なうことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１１１によって元の表色系のデータに変換される。
【００３９】
［発明の実施の形態］
本発明の一実施の形態について説明する。
【００４０】
図７は、本実施の形態１のネットワークシステム１０を示すブロック図である。図７に示すように、本ネットワークシステム１０は、動画の画像データをＭｏｔｉｏｎ  ＪＰＥＧ２０００等のアルゴリズムで圧縮符号化した符号列をインターネットなどのネットワーク３を介して送信するサーバ１と、このサーバ１から符号列を受信するクライアント２からなる。クライアント２は、同時に複数台接続され得る（図９に示す、クライアント２３ｎ（ｎ＝１，２，…））。
【００４１】
図８は、サーバ１、クライアント２の電気的な接続を示すブロック図である。図８に示すように、サーバ１、クライアント２は、それぞれ本発明の画像送信装置、画像受信装置を実施するもので、各種演算を行ないサーバ１（またはクライアント２）の各部を集中的に制御するＣＰＵ１１と、各種のＲＯＭやＲＡＭからなるメモリ１２とが、バス１３で接続されている。
【００４２】
バス１３には、所定のインターフェイスを介して、記憶装置となるハードディスクなどの磁気記憶装置１４と、マウスやキーボードなどで構成される入力装置１５と、ＬＣＤやＣＲＴなどの表示装置１６と、光ディスクなどの本発明の記憶媒体を実施する記憶媒体１７を読取る記憶媒体読取装置１８と、ネットワーク３と通信を行なう通信装置となる所定の通信インターフェイス１９とが接続されている。なお、記憶媒体１７としては、ＣＤやＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置１８は、具体的には記憶媒体１７の種類に応じて光ディスクドライブ、光磁気ディスクドライブ、フレキシブルディスクドライブなどが用いられる。
【００４３】
磁気記憶装置１４には、本発明のプログラムを実施する画像送信プログラム（または画像受信プログラム）が記憶されている。一般的には、この画像送信プログラム（または画像受信プログラム）は、本発明の記憶媒体を実施する記憶媒体１７から記憶媒体読取装置１８により読取ることでサーバ１（またはクライアント２）にインストールするが、ネットワーク３からダウンロードするなどして、磁気記憶装置１４にインストールしたものである。このインストールによりサーバ１、クライアント２は動作可能な状態となる。この画像送信プログラム、画像受信プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ上で動作するものであってもよい。
【００４４】
図９は、ネットワークシステム１０が画像送信プログラム、画像受信プログラム等に基づいて実行する処理を説明する機能ブロック図である。
【００４５】
まず、クライアント２が画像受信プログラム等に基づいて行なう処理について説明する。各クライアント２（クライアント２３１〜２３ｎ）では、送信手段、受信手段である送受信手段３１が通信インターフェイス１９を介して、サーバ１から画像を圧縮符号化した符号列（後述）を受信し、この受け取った符号列をバッファ３２（磁気記憶装置１４）に格納後、この符号列を復号手段３３で復号し、表示手段３４が表示装置１６に表示する。
【００４６】
また、送受信手段３１が受信した符号列を対象として、データ読込量検出手段２７が、単位時間当たりに送受信手段３１で読み込まれた符号列のデータ量を監視し、これにより、ネットワーク３のトラフィックの混み具合を判断する。この情報（監視情報）は、各クライアント２の送受信手段３１からサーバ１に返信される。
【００４７】
次に、サーバ１が画像送信プログラム等に基づいて行なう処理について説明する。サーバ１のバッファ２１（磁気記憶装置１４）には、例えば、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００アルゴリズムで動画像データを圧縮符号化した符号列が蓄積されており、従って、この符号列は動画像データをフレームごとに１又は複数のタイルという小領域に分割して、このタイルごとに階層的に圧縮符号化されたものである。サーバ１は、かかる符号列を各クライアント２０１〜２０ｎからの要求に従ってストリーミング配信する。すなわち、バッファ２１に格納されている符号列のヘッダ情報から当該符号列の構文を構文解析手段２２により解析し、この解析の結果に基づいて符号列作成手段２３の個別の各符号列作成手段２３１〜２３ｎが、当該符号列をＭｏｔｉｏｎ  ＪＰＥＧ２０００アルゴリズムによる新たな符号列に変換し（その詳細については後述する）、この変換後の符号列を、送信手段、受信手段である送受信手段２４が、通信インターフェイス１９、ネットワーク３を介して、クライアント２に送信する。
【００４８】
統合化手段２５は、各クライアント２０１〜２０ｎから受信した監視情報を統合化して、ネットワーク３のトラフィックの混雑状況を総合的に判断して、その結果（統合情報）を出力する。この統合化の処理は、例えば次のようにして行なう。
【００４９】
各クライアント２０１〜２０ｎの１秒当たりのデータの読込量をＡｎ（単位：ｂｐｓ）とすると、各クライアント２０１〜２０ｎの数はｎであるから、
通信回線の使用率Ｃ＝ΣＡｎ／Ｂ
となる。ここで、Ｂは全回線のデータ転送能力の合計（単位：ｂｐｓ）、すなわち、サーバ１の最大のデータ配信能力である。この通信回線の使用率Ｃが、統合情報の内容となる。
【００５０】
誤差量指定手段となるパラメータ作成手段２６は、統合化手段２５が作成した統合化情報から、各符号列作成手段２３１〜２３ｎで符号列を作成する際のパラメータを作成する。このパラメータは、具体的には、各符号列作成手段２３１〜２３ｎで符号列を作成する際の作成前の符号列と作成後の符号列とのデータの誤差量を指定するか、あるいは、各符号列作成手段２３１〜２３ｎで作成後の符号列における画像のフレームレートを指定するものである。
【００５１】
このパラメータの決定は、より具体的には、例えば次のように行なう。すなわち、統合化手段２５による統合情報に閾値を設け、統合情報が閾値を下回っているときは、符号列を送信する際の単位時間当たりのデータ量を多くするように符号列を作成する。すなわち、作成後の符号列における画像のフレームレートを大きくし、あるいは、誤差量を小さくして画像の量子化レベルを細かくするように、パラメータを作成する。
【００５２】
また、統合情報が閾値を上回ったときは、符号列作成手段２３の負荷が大きいため、送信する際の単位時間当たりのデータ量を少なくするように符号列を作成する。すなわち、フレームレートを小さくし、あるいは、誤差量を大きくして画像の量子化レベルを粗くするように、パラメータを作成する。
【００５３】
以下では、パラメータとして前記の誤差量を用いる場合について説明する。図１０は、各符号列作成手段２３１〜２３ｎの一構成例を示すブロック図である。量子化テーブル選択手段４１には、パラメータ作成手段２６で作成したパラメータが入力する。バッファ２１に格納された符号列は構文解析手段２２（図９）によりヘッダ情報が解読される。そして、そのヘッダ情報に基づいて、符号列を構成する各符号を部分的に符号破棄したときの元データに対するデータの誤差量が、量子化テーブル選択手段４１に入力される。この量子化テーブル選択手段４１は、入力された誤差量とパラメータとに基づいて、所定のテーブルデータ（量子化テーブル）を選択し、これを、符号列変換手段である量子化手段４２に送る。量子化手段４２は、その量子化テーブルのデータに従って符号列から符号を選択的に破棄し、また、ヘッダを書き換えて、新たな符号列を生成する。このように、各符号列作成手段２３１〜２３ｎにおいて新たな符号列を生成することができるので、新たな符号列を作成する処理は、同時並行的に複数（ｎ個）実行できることになる。
【００５４】
量子化テーブルには、図１１に例示するような各ウェーブレット変換係数について、図１２に示すようにウェーブレット変換係数ごとの量子化ビット数（符号破棄量）が記録されている。この量子化テーブルは、図１３に示すように、複数の量子化テーブル（量子化ビット数）を量子化後の視覚的劣化度順にＩｎｄｅｘと対応付けて並べた量子化テーブル群として保持されている。量子化テーブル選択手段４１は、符号列から符号を部分的に破棄したときの誤差量が、量子化テーブルを組み合わせたときにパラメータで指定されている誤差量となるＩｎｄｅｘの量子化テーブルを選択する。
【００５５】
したがって、パラメータ作成手段２６が作成するパラメータは、統合情報を段階的に（あるいは無段階的に）判断し、段階的に判断するときは、段階に応じた量子化ビット数で誤差量を指定すればよい。例えば、統合情報を５段階で判断し、段階５が最もネットワーク３が混雑している場合であるとすれば、統合情報の段階１〜５を、それぞれ誤差量となる量子化ビット数１〜５に対応させればよい。なお、通常は量子化後の視覚的劣化度合いと前述の誤差量とは単調増加の関係にあるため、パラメータどおりの誤差量になる量子化テーブルを選択することは容易である。この量子化テーブルは、一般的には、視覚的に劣化が目立たないように、高周波成分よりも低周波成分を重要視して量子化するように構成するのが望ましい。
【００５６】
図１４は、各符号列作成手段２３１〜２３ｎの別の構成例についての機能ブロック図である。バッファ２１に格納された符号列は構文解析手段２２（図９）により、ヘッダ情報が解読され、ヘッダ情報中から各符号を部分的に符号破棄したときの元データに対するデータの誤差量が、量子化テーブル選択手段４１に入力される。動き量検出手段４３は、構文解析手段２２で解析された各ウェーブレット変換係数の符号量に基づいて画像の動き量を検出する。量子化テーブル選択手段４１は、入力された誤差量と、クライアント２から指定されるフレームレート（この例では、クライアント２側からフレームレートの指定をサーバ１に送信可能であることを前提としている）、及び、動き量検出手段４３で検出された動き量に基づいて、前述と同様の量子化テーブルを選択し、これを量子化手段４２に送る。量子化手段４２は、その量子化テーブルのデータとクライアント２から指定されたフレームレートとに基づいて、符号列から部分的に符号を破棄し、また、ヘッダを書き換えて、新たな符号列を生成する。
【００５７】
複数の量子化テーブルからのテーブルの選択は、図１１〜図１３を参照して説明した前記の例と同様であるが、量子化テーブル選択手段４１には複数の量子化テーブル群が保持されており、フレームレート及び動き量により所定のテーブル群を選択し、適応している。
【００５８】
動き量検出手段４３は、次のようにして画像の動き量を検出する。図１５は、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００方式における画像の動き量の考え方を説明する説明図である。図１５に示すように、インターレース画像において、動きが高速な画像は図１５（ａ）のように長い横エッジが発生する（インターレースのくし型と言う）。それに対し、動きが低速な画像は図１５（ｃ）のように短い横エッジが発生する。図１５（ｂ）は、これらの中間である動きが中速である場合を示している。これらの違いは、高周波成分の横エッジ量をあらわす１ＬＨ成分に大きく現れる。つまり、動き量の大きな画像は１ＬＨ成分の係数の絶対値が大きくなり、その結果、１ＬＨ成分の符号量は大きくなる。但し、１ＬＨ成分の符号量のみで画像の動き量を判定すると、画像によって閾値が変わる可能性があるので、１ＬＨ成分の符号量を１ＨＬ成分の符号量で正規化し、その値を画像の動き量の検出の特徴量としてもよい。
【００５９】
さらに、前記の特徴はビットプレーンを削る（ポスト量子化）前の符号量に大きく現れるので、ビットプレーンを削る前の１ＬＨと１ＨＬ符号量を符号に記述しておいて、その値を用いて動き量を推定するような構成も可能である。これは、特に画像の圧縮率が大きい場合に有効である。
【００６０】
図１６は、この場合における画像の動き量の判定処理の一例を示すフローチャートである。
【００６１】
図１６に示すように、まず、１ＬＨのロスレス符号量の和（ｓｕｍ１ＬＨ）を算出し（ステップＳ１）、また、１ＨＬのロスレス符号量の和（ｓｕｍ１ＨＬ）を算出し（ステップＳ２）、“ｓｕｍ１ＬＨ”を“ｓｕｍ１ＨＬ”で除算して（ステップＳ３）、その結果（ｓｐｅｅｄ）を所定の閾値（ｔｈ１）と比較し、“ｓｐｅｅｄ＞ｔｈ１”のときは（ステップＳ３のＹ）、画像の動き量が大きいと判定する（ステップＳ４）。“ｓｐｅｅｄ≦ｔｈ１”であるときは（ステップＳ３のＮ）、逆に画像の動き量が小さいと判定する（ステップＳ５）。
【００６２】
また、高速な画像の場合、前記のくし型を残すように量子化することで視覚的劣化度合いを抑さえることができる。ただし、フレームを間引いてフレームレートを落としていくと、１フレームが長く表示されることになり、結果的にくし型が目立つことになる。従って、フレームレートを落とす場合には、高速な画像においてもくし型が残らないような量子化をする必要がある。その組み合わせを表１に示す。すなわち、フレームレートが高いときは、動き量が大きいときにくし型を保存し、小さいときには保存しない。フレームレートが低いときは、動き量の大小にかかわらずくし型を保存しない。
【００６３】
【表１】
2004166156.tif 000003
【００６４】
以上のクライアント２、サーバ１の処理を、図１７、図１８のフローチャートに整理して説明すると次のようになる。まず、図１７に示すように、クライアント２は、サーバ１から符号列の受信があるときは（ステップＳ１１のＹ）、データ読込量検出手段２７で単位時間当たりの符号列の読込量を検出し（ステップＳ１２）、誤差量作成手段２８が、この検出値から誤差量のパラメータを作成し（ステップＳ１３）、サーバ１に送信する（ステップＳ１４）。
【００６５】
図１８に示すように、サーバ１は、送信すべき符号列があるときは（ステップＳ２１のＹ）、各クライアント２から受信した誤差量（図１４の例の場合は、さらに、フレームレート、画像の動き量）を統合して統合情報を作成し（ステップＳ２２）、この統合情報に基づいて前述のように量子化テーブルを選択して（ステップＳ２３）、この量子化テーブルに従って新たな符号列を作成し（ステップＳ２４）、この作成後の符号列を送信する（ステップＳ２５）。
【００６６】
このように、本ネットワークシステム１０によれば、ネットワーク３のトラフィックが混雑してきたときは誤差量を大きくして、送信する符号列のデータ量を低減することにより、ネットワーク３のトラフィックに応じて動的にスケーラビリティを変化させて画像の送信を行なうことができる。
【００６７】
また、図１４以下を参照して説明した構成例によれば、ネットワーク３のトラフィックのみならず、フレームレートや画像の動き量に応じて動的にスケーラビリティを変化させるので、画像の劣化を防止することができる。
【００６８】
【発明の効果】
請求項１に記載の発明は、ネットワークのトラフィックが混雑してきたときは誤差量を大きくして送信する符号列のデータ量を低減することにより、ネットワークのトラフィックに応じて動的にスケーラビリティを変化させて画像の送信を行なうことができる。
【００６９】
請求項２に記載の発明は、請求項１に記載の発明において、ネットワークのトラフィックに応じて送信側で指定してきた誤差量を用いて、ネットワークのトラフィックに応じて動的にスケーラビリティを変化させて画像の送信を行なうことができる。
【００７０】
請求項３に記載の発明は、請求項１又は２に記載の発明において、新たな符号列の作成前の符号列に含まれている当該符号列の符号を破棄することによる誤差量を表わすデータをヘッダ情報などから読取って新たな符号列を作成し、ネットワークのトラフィックに応じて動的にスケーラビリティを変化させて画像の送信を行なうことができる。
【００７１】
請求項４に記載の発明は、請求項１〜３の何れかの一に記載の発明において、ウェーブレット変換係数を調節することで、ネットワークのトラフィックに応じて動的にスケーラビリティを変化させて画像の送信を行なうことができる。
【００７２】
請求項５に記載の発明は、請求項１〜４の何れかの一に記載の発明において、ネットワークのトラフィックのみならず、フレームレートに応じて動的にスケーラビリティを変化させるので、画像の劣化を防止することができる。
【００７３】
請求項６に記載の発明は、請求項１〜４の何れかの一に記載の発明において、ネットワークのトラフィックのみならず、画像の動き量に応じて動的にスケーラビリティを変化させるので、画像の劣化を防止することができる。
【００７４】
請求項７〜９に記載の発明は、請求項１〜６の何れかの一に記載の発明と同様の作用、効果を奏することができる。
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００アルゴリズムの基本を説明するための説明図である。
【図２】カラー画像の各コンポーネントについて説明するための説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示す説明図である。
【図４】コード・ストリームの構造の説明図である。
【図５】一つのプレシンクトが空間的に一致した３つの矩形領域からなっていることの説明図である。
【図６】係数値をビットプレーン単位に分解し、画素あるいはコード・ブロック毎にビットプレーンに順位付けを行なうことの説明図である。
【図７】本発明の一実施の形態であるネットワークシステムの概略構成のブロック図である。
【図８】サーバ、クライアントの電気的な接続のブロック図である。
【図９】ネットワークシステムの機能ブロック図である。
【図１０】符号列作成手段を説明する機能ブロック図である。
【図１１】各ウェーブレット変換係数の説明図である。
【図１２】ウェーブレット変換係数と量子化ビット数の関係を示す説明図である。
【図１３】量子化テーブルの説明図である。
【図１４】符号列作成手段の他の例を説明する機能ブロック図である。
【図１５】インターレースのくし型の説明図である。
【図１６】画像の動き量を判断する処理のフローチャートである。
【図１７】サーバが行なう処理のフローチャートである。
【図１８】クライアントが行なう処理のフローチャートである。
【符号の説明】
１  画像送信装置
２  画像受信装置
３  ネットワーク
１０  ネットワークシステム
１７  記憶媒体
２２  構文解析手段
２４  送信手段、受信手段
２５  統合化手段
３１  受信手段、送信手段
３５  データ読込量検出手段
４１  誤差量作成手段
４２  符号列変換手段
【図１】
2004166156.tif 000004
【図２】
2004166156.tif 000005
【図３】
2004166156.tif 000006
【図４】
2004166156.tif 000007
【図５】
2004166156.tif 000008
【図６】
2004166156.tif 000009
【図７】
2004166156.tif 000010
【図８】
2004166156.tif 000011
【図９】
2004166156.tif 000012
【図１０】
2004166156.tif 000013
【図１１】
2004166156.tif 000014
【図１２】
2004166156.tif 000015
【図１３】
2004166156.tif 000016
【図１４】
2004166156.tif 000017
【図１５】
2004166156.tif 000018
【図１６】
2004166156.tif 000019
【図１７】
2004166156.tif 000020
【図１８】
2004166156.tif 000021