(57)【特許請求の範囲】
【請求項１】
スケーラブルな画像トランスコーディング方法であって、
関心領域及び背景領域を含む画像の、パケットのストリームである符号化入力ビットストリームを解析することによって、前記符号化入力ビットストリームの構造を得ること、
前記関心領域に対する第１の画質値及び前記背景領域に対する第２の画質値を決定すること、
前記構造に従って前記符号化入力ビットストリームから選択される、前記第１の画質値を有する第１のパケット集合と前記第２の画質値を有する第２のパケット集合と空パケットとを含む前記パケットの部分集合から、符号化出力ビットストリームを構成すること
を含み、
前記パケットの各部分集合のパケット数が、割り当てられた可変ビットレートＴｖに従って求められ、
前記可変ビットレートＴｖは、目標ビットレート及びバッファ占有率に基づいて動的に割り当てられるものであって、
前記可変ビットレートＴｖは次式に従って割り当てられ、
【数１】
0005242919.tif 000007
ここで、Ｔｍａｘは前記画像に割り当てられる前記可変ビットレートの上限であり、αはバッファ占有率パラメータである、スケーラブルな画像トランスコーディング方法。
【請求項２】
前記符号化入力ビットストリームの前記構造は、１つ又は複数の画質レイヤを含み、各画質レイヤは、１つ又は複数の解像度レベルを含み、各解像度レベルは、１つ又は複数のコンポーネントを含み、各コンポーネントは、１つ又は複数のプレシンクトを含み、各プレシンクトは、パケット分割位置、ヘッダ長、及び本文の長さを含む、請求項１に記載の方法。
【請求項３】
前記解析することは、各画質レイヤ、前記解像度レベル、前記コンポーネント及び前記プレシンクトについてパケットヘッダを識別し解析する、請求項２に記載の方法。
【請求項４】
前記符号化入力ビットストリームを部分的に復号化することによって、前記解析を行うこと
をさらに含む、請求項１に記載の方法。
【請求項５】
前記第１の画質値は、前記第２の画質値よりも高い、請求項１に記載の方法。
【請求項６】
αはバッファ占有率Ｂ、バッファサイズＢＳ、及び通常値が［０，０．２５］の範囲にある安全マージンγの関数であり、
【数２】
0005242919.tif 000008
である、請求項１に記載の方法。
【請求項７】
Ｔｍａｘは２Ｒ／Ｆであり、ここで、Ｒは目標ビットレートであり、Ｆは出力フレームレートである、請求項１に記載の方法。
【請求項８】
前記符号化入力ビットストリームは、画像シーケンスのものであり、関心領域を有しない画像は前記構成中にスキップされる、請求項１に記載の方法。
【請求項９】
前記符号化出力ビットストリームの画質を安定化させること
をさらに含む、請求項８に記載の方法。
【請求項１０】
スケーラブルな画像トランスコーディング装置であって、
関心領域及び背景領域を含む画像の、パケットストリームである符号化入力ビットストリームを解析することによって、前記符号化入力ビットストリームの構造を得る手段と、
前記関心領域に対する第１の画質値及び前記背景領域に対する第２の画質値を決定する手段と、
前記構造に従って前記符号化入力ビットストリームから選択される、前記第１の画質値を有する第１のパケット集合と前記第２の画質値を有する前記第２のパケット集合と空パケットとを含む前記パケットの部分集合から、符号化出力ビットストリームを構成する手段と
を備え、
前記パケットの各部分集合のパケット数が、割り当てられた可変ビットレートＴｖに従って求められ、
前記可変ビットレートＴｖは、目標ビットレート及びバッファ占有率に基づいて動的に割り当てられるものであって、
前記可変ビットレートＴｖは次式に従って割り当てられ、
【数３】
0005242919.tif 000009
ここで、Ｔｍａｘは前記画像に割り当てられる前記可変ビットレートの上限であり、αはバッファ占有率パラメータである、スケーラブルな画像トランスコーディング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には画像及びビデオの符号化に関し、特に帯域幅及びバッファの制約を受ける関心領域を含む画像のトランスコーディングに関する。
【背景技術】
【０００２】
ビデオ監視、携帯電話、デジタルカメラ、プリンタ、スキャナ、ファクシミリ、コピー機、医用画像、衛星画像、インターネット、及び複合文書により、画像及びビデオの用途に対する要求が高まった。しかし、帯域幅、記憶装置及びプロセッサのような資源には限りがあるため、高画質の画像は不可能である場合が多い。画像の画質は、画像の画素数と、各画素に割り当てられるビット数とに依存する。例えば、１画素が２４ビットで表される１０２４×１０２４画素の画像は２５Ｍｂの高画質カラー画像となり、１画素が１ビットで表される１０×１０画素の画像は１００ビットの低画質の白黒「サムネイル」画像となる。
【０００３】
１つの解決策は、画像中の関心領域（ＲＯＩ）を背景領域と区別する。ＲＯＩの符号化には背景領域よりも多くのビットが用いられる。ＲＯＩに背景領域よりも多くのビットを割り当てることにより、符号化画像中のＲＯＩの知覚される解像度及び画質を低下させることなく、画像の符号化に用いられる総ビット数を減らすことができる。ビット数が少なくなれば必要な資源が削減される。
【０００４】
１つのＲＯＩ符号化方法は、ＲＯＩのウェーブレット変換係数を選択的に増大させる。Atsumi他著「Lossy/lossless region-of-interest image coding based on set partitioning in hierarchical trees」IEEE Proceeding of ICIP, October 1998。ＲＯＩはまた、より高い優先度で転送される。しかし、スケーリング値によっては、ＲＯＩが背景に溶け込んで見える可能性がある。したがって、デコーダは、ＲＯＩを背景と区別するために形状情報も必要とする。
【０００５】
ＪＰＥＧ２０００規格は、ＲＯＩ符号化のためのｍａｘ−ｓｈｉｆｔ法を規定する。ISO/IEC 15444-1「Information technology - JPEG 2000 image coding system - Part 1: Core coding system」1st Edition, 2000。ＪＰＥＧ２０００規格は、色変換、量子化、ウェーブレット変換、プログレッシブなビットプレーン符号化、及びエントロピー符号化を用いる。符号化画像は、階層パケットストリームとして転送される。ＪＰＥＧ２０００では、符号化中に出力画像のサイズ及び画質が選択される。ｍａｘ−ｓｈｉｆｔ法は、ＲＯＩを重複のないビットプレーンにスケーリングすることによって、ＲＯＩを背景から分離する。Skodras他著「The JPEG 2000 still image compression standard」IEEE Signal Processing Magazine, September, 2001（参照により本明細書中に援用される）。スケーリング値は、ＲＯＩに関連する最小係数が背景の最大係数よりも確実に大きくなるように十分に大きい。デコーダは、スケーリング値を受け取ると、ＲＯＩ係数をその大きさで識別する。ｍａｘ−ｓｈｉｆｔ法により、ＲＯＩの形状情報をデコーダに明示的に送信することなく、任意形状のＲＯＩの符号化が可能になる。しかし、ｍａｘ−ｓｈｉｆｔ符号化では、ＲＯＩの境界の画定に必要な余分な符号ブロックによりオーバーヘッドが増加する。
【０００６】
別の方法は、ＲＯＩの相対的な重要度に合わせてプレーン毎にビットをシフトする。Wang他著「Bitplane-by-bitplane shift (BbBShift） - A suggestion for JPEG 2000 Region of Interest image coding」IEEE Signal Processing Letters, Vol. 9, No. 5, May 2002。しかし、ＢｂＢＳｈｉｆｔ法はＪＰＥＧ２０００規格に準拠していない。
【０００７】
別の方法は「部分的な上位ビットプレーンシフト（partial significant bit-planes shift）」（ＰＳＢＳｈｉｆｔ）と呼ばれる。Liu他著「A new JPEG 2000 region-of-interest image coding method: partial significant bitplanes shift」IEEE Signal Processing Letters, Vol. 10, No. 2, February 2003。ＰＳＢＳｈｉｆｔ法は、ＲＯＩの高画質を維持しようとする。ＢｂＢＳｈｉｆｔ法もやはりＪＰＥＧ２０００規格に準拠していない。
【０００８】
上記のＲＯＩ符号化方法はすべて静的符号化を用いる。すなわち、ＲＯＩは符号化中に規定される。これは、ＲＯＩ情報が復号化中にしか利用できない場合、例えば、閲覧者がＲＯＩを指定することを望む場合に問題となる。これはまた、ＲＯＩ情報が外部ソースによって動的に供給される場合、例えば、オブジェクト追跡のような外部プロセスが画像を復号化前に解析してＲＯＩを判定する場合に問題となる。
【０００９】
動的なＲＯＩ符号化方法が、Rosenbaum他著「Flexible, dynamic and compliant region of interest coding in JPEG 2000」IEEE Proceeding of ICIP, Rochester, New York, September, 2002に記載されている。この方法は、インタラクティブ環境における動的なＲＯＩ情報に対処する。この方法は、ＪＰＥＧ２０００規格によって規定されるプレシンクト／レイヤ構造を用いて、各レイヤにおけるプレシンクトの優先度を決める。この方法はレイヤを動的に挿入する。ＲＯＩパケットは同じレイヤに残り、他のパケットは１つ上のレイヤにシフトされる。しかし、動的なレイヤ挿入にはパケットヘッダの再符号化が必要になる。これはレート−歪みの再計算を必要とするが、この特徴はリアルタイム画像伝送用途には望ましくない。
【００１０】
従来技術による符号化方法の問題のために、パケットヘッダの再符号化を回避し、ＲＯＩの符号化をフレキシブルで動的なものにし、且つ計算量の少ない新たな符号化機構を提供することが望ましい。このような方法は、Kong他の米国特許出願第１１／００２，８１７号「Image Transcoding」（２００４年１２月２日出願）に記載されている。
【００１１】
Kong他により記載される方法は、画像シーケンスを符号化し、それをＪＰＥＧ２０００ビットストリームとして記憶し、次に、記憶された画像が圧縮領域で、高画質レイヤに対応するデータパケットを空パケットに置き換える計算量の少ない適応技法を用いてトランスコードされる。１つの特定のストリーミングモードにおいて、ＲＯＩは背景よりも高画質でトランスコードされ、ネットワーク制約を満たす。
【００１２】
Kong他が扱っていない１つの重要な問題は、各フレームに対するレート割り当ての問題である。静的レート制御と呼ばれる１つの簡単な方法が、利用可能なチャネル帯域幅に基づいて同量のレートを各フレームに割り当てる。この方法の明白な欠点は、シーンの内容に適応的でないことである。また、各画質レイヤに割り当てられたレート、並びに出力解像度レベル及びＲＯＩ等の他のトランスコーディングパラメータに応じてトランスコーダが達成可能なレート点の集合が固定されているため、利用可能な帯域幅が十分に利用されない可能性が高い。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
したがって、バッファ制約を満たし、且つ所定時間にわたって一定の画質を維持する一方で、利用可能な帯域幅をより多く利用することによって、静的なレート制御方法に対して全体的な画質を高める方法が必要とされている。
【００１４】
予測ビデオ符号化及びトランスコーディング（典型的なＭＰＥＧビットストリームの符号化及びトランスコーディング等）のためのレート制御と、例えばＪＰＥＧ２０００に基づく画像トランスコーディングのためのレート制御とを区別することが重要である。１つの重要な差異として、予測符号化では、量子化ステップサイズ等の出力パラメータ集合が与えられた場合の実際の出力レートを推定する方法が必要である。これは、フレーム間の予測依存性のため、及びデータシンボルの符号化に可変長符号化を使用するために困難である。この不確実性は、フレームスキップを使用する場合、さらに複雑になる。より具体的には、ビデオコーダが高バッファ占有率のためにフレームをスキップする場合、次のフレームの符号化に使用されることになるビット量を前もって推定することは困難である。これは、フレーム間の相関が変化するので、実際に符号化されるシンボルを決めるには動き推定等の多くの複雑なプロセスを行う必要があるためである。この依存性は、符号化画像シーケンスのトランスコーディングには存在せず、埋め込み符号化法の使用により、様々な画質設定のビットレート及びフレームをスキップするときを正確に求めることが可能になる。
【課題を解決するための手段】
【００１５】
ストリーミングビデオシステムのレート制御方法は、ＪＰＥＧ２０００フレームを動的にトランスコードする。本レート制御方法は、バッファ制約を満たし、且つ所定時間にわたって一定の画質を維持する一方で、帯域幅の利用を増やすことによって、出力の全体的な画質を高める。
【発明を実施するための最良の形態】
【００１６】
図１に示すように、画像１００が標準的なＪＰＥＧ２０００エンコーダ１１０により符号化されて、入力ビットストリーム１０１が得られる。入力ビットストリームの構造は、１つ又は複数の画質レイヤを形成するパケットストリームを含み、各画質レイヤは１つ又は複数の解像度レベルを含み、各解像度レベルは１つ又は複数のコンポーネントを含み、各コンポーネントは１つ又は複数のプレシンクトを含み、各プレシンクトはパケット分割位置、ヘッダ長、及び本文の長さを含む。
【００１７】
通常、画像は、背景に重ねられた１つ又は複数の関心領域を含むことができる。トランスコーディング中に、より多くのビットをＲＯＩに割り当てることが望ましい。
【００１８】
入力画像シーケンスはまた、オブジェクト追跡プロセスを施されて、ＲＯＩ情報１０２が得られる。ＲＯＩ情報は、画像１００中のオブジェクトを取り囲む矩形のバウンディングボックスを規定する座標の集合によって指定される。本発明のシステムでは、符号ストリーム及び結果として得られたＲＯＩ情報が、後の処理のためにメモリに記憶される。
【００１９】
目標ビットレート１２６及び目標解像度１２７を満たすために、トランスコーディング１２０が行われて出力ビットストリーム１０４が得られる。以下では、本発明のＪＰＥＧ２０００トランスコーダ１２０の、データ解析１２１、ＲＯＩトランスコーディング１２２、及び画質制御１２３を含む３つの主要コンポーネントを説明する。
【００２０】
データ解析
データ解析１２１は、入力ビットストリームの構造１０５に関するインデックス情報を抽出する。解析ユニット１２１は本質的に、各画質レイヤ、解像度レベル、並びにコンポーネント及びプレシンクトについてパケットヘッダを識別し解析する計算量の少ないパーサである。このパーサは部分デコーダとして特徴付けることができる。各パケットのバイト位置、ヘッダ長、及び本文の長さを含むストリーム構造情報１０５が記憶される。この部分復号化は、符号ブロックの完全なエントロピー算術復号化を行うことなくパケットヘッダのみに作用するため、計算量が非常に少ない。ＪＰＥＧ２０００のストリーム構造情報１０５の抽出に関するさらなる詳細については、Kong他により出願された米国特許出願第１１／００２，８１７号「Image Transcoding」（参照により本明細書中に援用される）を参照のこと。
【００２１】
レート制御の目的で、画像の様々な領域に対応するバイト情報にアクセスできることが重要である。本発明では、複数の多次元アレイを用いてストリーム構造情報１０５を記憶する。具体的には、第１の多次元アレイを用いて、シーンの背景領域に対応するストリーム構造を記憶し、第２の多次元アレイを用いて、シーンの関心領域に対応するストリーム構造を記憶する。
【００２２】
ＲＯＩトランスコーダ
本発明のＲＯＩトランスコーダ１２０は、空間解像度の低減及び画質レイヤをサポートする。ＲＯＩを指定する一組の座標が与えられると、ＪＰＥＧ２０００規格によって規定されるように、背景領域シーンに関連する高画質レイヤのパケットを空パケットに置き換えることによってＲＯＩトランスコーディング１２２を行う。これは、出力ビットストリームの総ビットレートを低減し、その一方で重要なオブジェクトの画質を維持するとともに計算量を少なく保つための有効な方法である。ビットレートは、パケットの各部分集合について構成されるパケット数に直に対応する。
【００２３】
トランスコーダは本質的に、符号化出力ビットストリーム１０４を、解析により提供される構造に従って符号化入力ビットストリームから選択されたパケットの部分集合から構成し、空パケットを用いてギャップを埋める。トランスコーダは、以下でさらに詳述するバッファ１２５を用いて、トランスコーディング中にパケットをバッファする。
【００２４】
出力ビットストリーム１０４は、ＲＯＩ及び第１の画質値に対応する第１のパケット集合と、背景領域及び第２の画質値に対応する第２のパケット集合とを含む。空パケットが、出力ビットストリームの、背景領域の空間位置に対応する部分を第１の画質値まで埋めるために用いられる。概して、第１の画質値は第２の画質値よりも高い。
【００２５】
画質制御
本発明による画質制御方法は、目標ビットレート、バッファ占有率及びＲＯＩ情報に基づいて現画像又は現フレームのレート割り当てを求める。フレームに割り当てられるバイトが与えられると、トランスコーダは、背景及びＲＯＩの画質レイヤを求める。画質制御はまた、フレームをスキップすべきかどうか、及び前の符号化インスタントからの画質を一定レベルに保つべきかどうかを判定する。
【００２６】
図２に示すように、画質制御１２３は、フレームスキップ解析２０１、画質安定化２０３及び画質判定２０５を含む。フレームスキップ解析２０１は、バッファ１２５の状態を入力として用いて、トランスコーディング１２２中に現フレームをスキップすべきか（２０６）を決定する（２０２）。現フレームをスキップしない場合、画質安定化方法２０３が呼び出され、この画質安定化方法２０３もまたバッファ１２５の状態を入力として用い、現フレームの画質が前フレームの画質を保つべきか（２０７）を決定する（２０４）。画質が保たれない場合、新たなＲＯＩ画質２０８及び背景（ＢＧ）画質２０９が画質判定２０５により、目標ビットレート１２６、目標解像度１２７及びストリーム構造１０５に基づいて計算される。
【００２７】
画質判定
従来技術の静的レート制御方法では、一定のビット数Ｔｆ＝Ｒ／Ｆが各画像又はフレームに割り当てられた。ここで、Ｒは目標ビットレートであり、Ｆは出力フレームレートである。
【００２８】
目標ビットレートのオーバーシュートを防ぐために、トランスコードされた出力ビットストリーム１０４の画質レイヤが、所与の目標ビットレートを超えないように選択される。
【００２９】
従来の静的レート割り当て手法の主な欠点は、それが通常、所与のストリームの利用可能な帯域幅を十分に利用しないことである。これは、画質レイヤが出力ビットの離散集合しか提供できないためである。
【００３０】
図３に示す本発明の一実施の形態による画質判定プロセスでは、可変レート割り当て３０１がフレーム毎に、目標ビットレート１２６及びバッファ１２５の状態に基づいて行われる。バッファは、各フレームに割り当てられるビットレートの変動を吸収するために用いられる。各フレームに割り当てられるレートは、次式に従って求められる。
【００３１】
【数１】
0005242919.tif 000002
【００３２】
ここで、Ｔｍａｘは、任意の特定のフレームに割り当てられる可変ビットレートに上限を設け、目標ビットレート１２６に基づき割り当てられる。好ましい実施の形態において、値Ｔｍａｘは２Ｔｆである。値αは、バッファ占有率Ｂ、バッファサイズＢＳ、及び通常値が［０，０．２５］の範囲にある安全マージンγの関数であるバッファ占有率パラメータである。バッファ占有率パラメータαは次式により与えられる。
【００３３】
【数２】
0005242919.tif 000003
【００３４】
バッファ占有率が上部マージンに近いとき、パラメータαは１に近づく傾向があり、低ビットレートが現フレームに割り当てられる。バッファ占有率が空に近いとき、すなわち、αが０であるか０に近いとき、高ビットレートが現フレームに割り当てられる。
【００３５】
フレームの目標ビットレートが与えられると、ＲＯＩ画質２０８及び背景画質２０９が、目標解像度１２７と、データ解析１２１により提供されるストリーム構造１０５に含まれるバイトカウントとに基づいて体系的に計算される（３０２）。まず、最低画質値が背景及びＲＯＩについて提供される。次に、ＲＯＩ画質値が連続して増加される。最後に、付加的な画質レイヤが背景に追加される。
【００３６】
フレームスキップ解析
フレームスキップ解析２０１がイネーブルされると、ＲＯＩが定義されていない周期フレームを図４に示すようにスキップすることができる（２０６）。この戦略の原理は２つの要素から成る。第１に、本発明では、ＲＯＩがないときにバッファを空にして、ＲＯＩを含む将来のフレームに対してより大きな帯域幅を可能にすることを目的とする。第２に、本発明では、非ＲＯＩ画像の画質を高めることを目的とする。これは、本発明では、フレームレートを低減して画像シーケンスにより多くのバイトを割り当てることができるために可能となる。
【００３７】
この戦略を用いて、フレームがスキップされて（２０６）、バッファレベルが下部マージンへ引き下げられる。バッファがこのレベルに達すると、フレームはもはやスキップされず（４０１）、バッファはほぼ空であるから、これらのフレームは、Ｔｍａｘに近いビットレートで割り当てられる。
【００３８】
スキップ条件をより正確に述べると、初期化（４１０）後に、ステップ４２０及び４３０において以下の条件が真であるときフレームがスキップされる。
【００３９】
【数３】
0005242919.tif 000004
【００４０】
ここで、γは安全マージンであり、τは連続する非ＲＯＩフレームのスキップ間隔であり、τｍａｘは最長フレームスキップ間隔である。
【００４１】
図４に提示するフロー図は、フレームスキップ解析２０１を詳細に示す。バッファ１２５の状態に基づいて、トランスコーディング１２２中に現フレームをスキップすべきか（２０６）、又は現フレームをスキップすべきでないか（４０１）が判定される。フレームをスキップする場合、間隔τがインクリメントされ（４４０）、そうでない場合、間隔がゼロにリセットされる（４５０）。
【００４２】
画質安定化
図５に示すように、画質安定化２０３の主な目的は、画質レベルが安定している期間を確立することにより、不要な振動又は頻繁な画質変化を防止することである。利用可能なバッファサイズに応じて、通常の窓間隔ωは数フレームである。このプロセスはステップ５１０において初期化される。
【００４３】
Ｑｐは前フレームの決められた画質レイヤ集合を示すものとし、Ｑｉは、式（１）に従ってビットレートが割り当てられた現フレームｉの画質レイヤ集合とし、ωｃは、カウンタが窓間隔に達するか、又は現フレームの新たな画質レイヤ集合が決定される（５０１）とリセットされる（５６０）窓カウンタとし、その他の場合にはステップ５５０においてインクリメントされる。
【００４４】
画質安定化がイネーブルされると、画質レイヤ集合が次式に従って割り当てられる。
【００４５】
【数４】
0005242919.tif 000005
【００４６】
式（２）の占有率パラメータαの定義が与えられると、式（４）を次のように書き換えることができる。
【００４７】
【数５】
0005242919.tif 000006
【００４８】
これは、バッファ占有率パラメータα並びに安全マージンγ及び窓パラメータωｃ及びωに完全に依存する。ステップ５２０、５３０、及び５４０はこの式を実施する。
【００４９】
上記を用いると、バッファが危険な又はオーバーフロー若しくはアンダーフロー状態でなく、且つ窓カウンタが窓間隔よりも小さいときには、前の画質レイヤ集合が現フレームに用いられる。
【００５０】
本発明を好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び変更を行ってもよいことが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形及び変更をすべて網羅することである。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施の形態による、画質制御を用いるトランスコーディングシステムのブロック図である。
【図２】本発明の一実施の形態による画質制御プロセスのブロック図である。
【図３】本発明の一実施の形態による画質制御の画質判定プロセスのブロック図である。
【図４】本発明の一実施の形態による画質制御のフレームスキップ解析プロセスのフロー図である。
【図５】本発明の一実施の形態による画質制御の画質安定化プロセスのフロー図である。
【図１】
0005242919.tif 000010
【図２】
0005242919.tif 000011
【図３】
0005242919.tif 000012
【図４】
0005242919.tif 000013
【図５】
0005242919.tif 000014