(57)【特許請求の範囲】
【請求項１】
複数のピクセルに対する値及び座標のデータを含むディジタル画像データをコンピュータ読み取り可能な形式で提供し、
該ディジタル画像データで表される画像の注目領域を選択し、
該注目領域に対応するディジタル画像データが該注目領域外の領域に対応するディジタル画像データよりも高い優先順位を有するように、少なくとも２つの優先順位分類によって該ディジタル画像データをソーティングかつ優先順位付けし、
該ディジタル画像データに対して、ウェーブレット変換を行って変換係数を生成し、
該注目領域に対応する該ディジタル画像データを該注目領域外の該領域よりも高い優先順位で送信するように、該ソートされ優先順位付けられたディジタル画像データを遠隔地に送信する
各段階を含む画像圧縮方法。
【請求項２】
該ディジタル画像データの該ソーティングかつ優先順位付けは、該注目領域の再構成に関して望まれる拡大率に対応した所定の量だけ、該ディジタル画像データに対応する変換係数をビットシフトさせることを含む請求項１記載の方法。
【請求項３】
複数のピクセルに対する値及び座標のデータを含むディジタル画像データをコンピュータ読み取り可能な形式で提供し、
該ディジタル画像データを所定の優先順位付け公式でソートして優先順位付けするように、数学的ソーティングプロトコルによって該ディジタル画像データをソートし、
受信器に該ソートされたデータを送信し、該受信器に部分的に再構成された画像が現れるまで該ソーティング及び送信を繰り返し、
該受信器で選択された注目領域を特定するデータをデータ送信コンピュータで受信し、
該注目領域に対応するディジタル画像データをソートして優先順位付けすることで該注目領域外の領域に対応するディジタル画像データよりも高い優先順位を有するように、該選択された注目領域に基づいて該ディジタル画像データの該ソーティングを変更し、
該ディジタル画像データに対して、ウェーブレット変換を行って変換係数を生成し、
該注目領域を該注目領域外の該領域よりも高い優先順位で送信するように、該ソートされ優先順位付けられた変更後のデータを該受信器に送信する
各段階を含む画像符号化方法。
【請求項４】
複数のピクセルに対する値及び座標のデータを含むディジタル画像データをコンピュータ読み取り可能な形式で入力する入力手段と、
該入力手段に接続され、該ディジタル画像データを表示する表示手段と、
該表示手段に接続され、該ディジタル画像データで表される画像の注目領域を選択する選択手段と、
該選択手段に接続され、該注目領域に対応するディジタル画像データが該注目領域外の領域に対応するディジタル画像データよりも高い優先順位を有するように、少なくとも２つの優先順位分類によって該ディジタル画像データをソーティングかつ優先順位付けするソーティングかつ優先順位付け手段と、
該ディジタル画像データに対して、ウェーブレット変換を行って変換係数を生成するウェーブレット変換手段と、
該注目領域に対応する該ディジタル画像データを該注目領域外の該領域よりも高い優先順位で送信するように、該ソートされ優先順位付けられたデータを遠隔地に送信する送信手段
を含むディジタル画像圧縮システム。
【請求項５】
複数のピクセルに対する値及び座標のデータを含むディジタル画像データをコンピュータ読み取り可能な形式で入力する入力手段と、
該ディジタル画像データを所定の優先順位付け公式でソートして優先順位付けするように、数学的ソーティングプロトコルによって該ディジタル画像データをソーティングするソーティング手段と、
該ソーティング手段に接続されて該ソートされたデータを送信し、該ソーティング手段が該ディジタル画像データのソーティングを繰り返すのと共に、該データの送信を繰り返す送信手段と、
受信器で選択された注目領域に対応するデータを該ソーティング手段で受信する注目領域受信手段と、
該ディジタル画像データに対して、ウェーブレット変換を行って変換係数を生成するウェーブレット変換手段を含み、
該選択された注目領域に対応するディジタル画像データを該ソーティング手段によりソートして優先順位付けすることで該選択された注目領域外の領域に対応するディジタル画像データよりも高い優先順位を有するように、該選択された注目領域に対応する該データに基づいて該ディジタル画像データの該ソーティングを該ソーティング手段が変更し、該選択された注目領域を該注目領域外の領域よりも高い優先順位で送信するように、該ソートされ優先順位付けられた変更後のデータを該受信手段に該送信手段が送信する画像符号化システム。
【請求項６】
複数のピクセルに対する値及び座標のデータを含むディジタル画像データをディスプレイに表示し、
該ディジタル画像データで表される該ディスプレイ上の画像においてユーザに注目領域を選択させ、
該選択された注目領域に対応するディジタル画像データが該注目領域外の領域に対応するディジタル画像データよりも高い優先順位を有するように、少なくとも２つの優先順位分類によって該ディジタル画像データをソーティングかつ優先順位付けし、
該ディジタル画像データに対して、ウェーブレット変換を行って変換係数を生成し、
該注目領域を該注目領域外の該領域よりも高い優先順位で送信するように、該ソートされ優先順位付けられたディジタル画像データを遠隔地に送信する
各段階を実行するように汎用コンピュータを制御するコンピュータプログラムを記録したコンピュータ読み取り可能な媒体。
【請求項７】
複数のピクセルに対する値及び座標のデータを含むディジタル画
像データをディスプレイに表示し、
該ディジタル画像データを所定の優先順位付け公式でソートして優先順位付けするように、数学的ソーティングプロトコルによって該ディジタル画像データをソートし、
受信器に該ソートされたデータを送信し、該受信器に部分的に再構成された画像が現れるまで該ソーティング及び送信を繰り返し、
該受信器で選択された注目領域を特定するデータをデータ送信コンピュータで受信し、
該注目領域に対応するディジタル画像データをソートして優先順位付けすることで該注目領域外の領域に対応するディジタル画像データよりも高い優先順位を有するように、該選択された注目領域に基づいて該ディジタル画像データの該ソーティングを変更し、
該ディジタル画像データに対して、ウェーブレット変換を行って変換係数を生成し、
該注目領域を該注目領域外の該領域よりも高い優先順位で送信するように、該ソートされ優先順位付けられた変更後のデータを該受信器に送信する
各段階を実行するように汎用コンピュータを制御するコンピュータプログラムを記録したコンピュータ読み取り可能な媒体。
【請求項８】
複数のピクセルに対する値及び座標のデータを含むディジタル画像データをコンピュータ読み取り可能な形式で提供し、
該ディジタル画像データを所定の優先順位付け公式でソートして優先順位付けするように、数学的ソーティングプロトコルによって該ディジタル画像データをソートし、
受信器に該ソートされたデータを送信し、該画像データが該受信器に送信されている間、該ソーティング及び送信を繰り返し、
該受信器で選択された注目領域に対応するディジタル画像データをソートして優先順位付けすることで該注目領域外の領域に対応するディジタル画像データよりも高い優先順位を有するように、該選択された注目領域に基づいて該ディジタル画像データの該ソーティングを変更し、
該ディジタル画像データに対して、ウェーブレット変換を行って変換係数を生成し、
該注目領域を該注目領域外の該領域よりも高い優先順位で送信するように、該ソートされ優先順位付けられた変更後のデータを該受信器に送信する
各段階を含む画像圧縮方法。
【請求項９】
該ソートされ優先順位付けられたディジタル画像データを該遠隔地に送信する段階は、該ソートされ優先順位付けられたディジタル画像データをインターネットに送信し、該遠隔地は該インターネット上の位置であり、該方法は、
該ソートされ優先順位付けられたディジタル画像データを復号化する段階を含む、該送信されたディジタル画像データを該遠隔地で再構成する段階を更に含み、該注目領域に対応する該ディジタル画像データの該ソーティングかつ優先順位付けによって達成される速いレートを用い、該注目領域外の領域に対応するディジタル画像データよりも速いレートで該注目領域を再構成する請求項１記載の画像圧縮方法。
【請求項１０】
該ソートされ優先順位付けられたディジタル画像データを該遠隔地に送信する段階は、該ソートされ優先順位付けられたディジタル画像データをインターネットに送信し、該遠隔地は該インターネット上の位置であり、該方法は、
該ソートされ優先順位付けられたディジタル画像データを復号化する段階を含む、該送信されたディジタル画像データを該遠隔地で再構成する段階を更に含み、該注目領域に対応する該ディジタル画像データの該ソーティングかつ優先順位付けによって達成される高い正確さを用い、該注目領域外の領域に対応するディジタル画像データよりも高い正確さで該注目領域を再構成する請求項１記載の画像圧縮方法。
【請求項１１】
該ソートされたデータを送信する段階は該ソートされたデータをネットワークに送信し、該受信器は該ネットワーク上の受信コンピュータであり、該注目領域を選択する段階は該受信コンピュータで実行される請求項３記載の画像符号化方法。
【請求項１２】
該ネットワークはインターネットネットワークである請求項１１記載の画像符号化方法。
【請求項１３】
該送信手段は該ソートされ優先順位付けられたデータをネットワークに送信し、該遠隔地は該ネットワーク上の受信コンピュータであり、該受信コンピュータは該送信されたディジタル画像データを再構成する再構成手段を含み、該復号化手段が該注目領域に対応する該ディジタル画像データを優先して復号することによって達成される速いレート或いは高い正確さを用い、該注目領域外の領域に対応するディジタル画像データよりも速いレート或いは高い正確さで該注目領域が該再構成手段によって再構成される請求項４記載のディジタル画像圧縮システム。
【請求項１４】
該送信手段は該ソートされたデータをネットワークに送信し、該受信器は該ネットワーク上の受信コンピュータである請求項５記載の画像符号化システム。
【発明の詳細な説明】
【０００１】
発明の背景
発明の分野
現代のコンピュータ及びコンピュータネットワークによって、コンピュータ間及びコンピュータ及び記憶装置間で、大量の情報を転送することが可能である。コンピュータは付属ハードディスクやフロッピードライブ等の付属記憶装置にアクセスすることで、大量の情報をアクセスすることが出来る。しかしながら、高域ネットワーク（ＷＡＮ）やインターネットを介して遠隔地のデータをアクセスする場合には、データ転送速度は大幅に遅くなる。従ってサイズの大きなファイルを転送する場合には、長い時間がかかる。また大きなファイルを格納すると、貴重な限られた格納スペースを使うことになる。写真画像及び同様のグラフィクス画像は、各画像要素即ち各ピクセルの情報を一般に必要とするので、大きなファイルであると通常は考えられる。従って、写真画像及び同様のグラフィクス画像には、１メガバイト以上の格納スペースが必要であり、速度の遅いネットワーク通信を介しての長時間の転送時間が必要になる。最近では、写真画像を格納する格納スペースを削減すると共に、転送及び描画時間を削減するために、写真画像を圧縮するための様々なプロトコル及び標準が開発されている。このような圧縮のための方法は、原理的には、原画像の数学的或いは統計的近似を提供するものである。
【０００２】
圧縮方法は、大まかに、２つの別の分類に分けることが出来る。損失圧縮方法は、画像の正確さがある程度失われるものであり、再現された画像を詳細に調べれば、画像の正確さが失われていることが分かる。無損失圧縮方法は、復号化によって正確に元の画像が再現できる。本発明は、画像を最初に符号化或いは圧縮するユーザが選択した注目領域について、或いは、符号化側との対話を通して画像データを受け取り復号化する側のユーザが選択した注目領域について、画像の他の部分に比較してより正確な画像再現が可能なように、画像の一部分を圧縮可能であるような効率的な画像圧縮方法及び装置に関する。
関連技術の説明
現在よく使われる画像圧縮の標準的な方法は、ＪＰＥＧ或いはＪ−ｐｅｇ標準と呼ばれるものである。この標準は、「Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ」と呼ばれる委員会によって開発され、データ格納のため或いはネットワーク送信のために静止画を圧縮するために頻繁に用いられる。Ｓａｉｄ及びＰｅａｒｌｍａｎによる最近の論文では、階層ツリーにおける集合区分け（ＳＰＩＨＴ）に基づいた画像符号化及び復号化の新しい方法が提案されている。例えば、Ｓａｉｄ ａｎｄ Ｐｅａｒｌｍａｎ， Ｉｍａｇｅ Ｃｏｄｅｃ Ｂａｓｅｄ ｏｎ Ｓｅｔ Ｐａｒｔｉｔｉｏｎｉｎｇ ｉｎ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒｅｅｓ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， ｖｏｌ．６， ｎｏ．３， Ｊｕｎｅ １９９６、及びＳａｉｄ ａｎｄ Ｐｅａｒｌｍａｎ， Ｉｍａｇｅ Ｍｕｌｔｉ−Ｒｅｓｏｌｕｔｉｏｎ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ．５， ｎｏ．９， Ｓｅｐｔｅｍｂｅｒ １９９６を参照されたい。これらの論文の内容は、参照によってここに導入される。これらの引例は、コンピュータソフトウェアを開示し、このコンピュータソフトウェアは、汎用コンピュータにロードされ実行されると、ビット精度程度での損失圧縮及び１つのビットストリームの纏まり内での無損失圧縮を提供する整数ウェーブレット変換を利用した方法を実行すると共に、そのような装置を実現するものであり、或いは、１つのビットストリームの纏まり内でビット精度程度での損失圧縮を提供する非整数ウェーブレット変換を利用した装置を実現するものである。複数の個々のピクセルを表す２次元配列として初期的に格納された画像は、前進的な画像送信の変換係数に従って、ビットに優先順位をつける。最重要情報は、サブセット区分けを利用したある閾値を用いて、要素が重要であるか或いは重要でないかを決定することによって選択される。Ｓａｉｄ及びＰｅａｒｌｍａｎによって提案される前進的な画像送信方式は、各変換係数の大きさに基づいて最初に送信されるべき最重要情報を選択する。ここで、変換がユニタリであれば、変換係数の大きさが大きいほど、係数は自乗誤差（ＭＳＥ，Ｄｍｓｅ（））の意味でより多くの情報を伝送する。
【０００３】
【数１】
0003597780.tif 000002
ここで、（ｉ，ｊ）はピクセルの座標であり、ｐはピクセルの値である。２次元配列ｃは、ｃ＝Ω（ｐ）によって符号化される。ここでΩ（・）は、ユニタリ階層サブバンド変換を表す。Ｓａｉｄ及びＰｅａｒｌｍａｎは、符号化のために各要素を整数として取り扱うことが可能な程度に、各ピクセルの座標と値とが比較的小さなビット数の固定小数点２進形式で表現できると仮定している。再構成ベクトル
【０００４】
【外１】
0003597780.tif 000003
をゼロに設定し、画像を
【０００５】
【数２】
0003597780.tif 000004
として計算することで再構成画像
【０００６】
【外２】
0003597780.tif 000005
が得られる。
【０００７】
Ｎは、画像ピクセルの数であるので、自乗誤差の歪みを得るために上記計算を実行することが出来る。数学的仮定によれば、自乗誤差の歪みの測度は、‖ｃｉ，ｊ‖２／Ｎで減少することが知られている。この事実によって、ピクセル値をその２値表現に従って順位付けすることが可能であり、最上位ビット（ＭＳＢ）を最初に送信すると共に、含まれる情報量が大きいので、大きな値のピクセル係数を最初に送信する。符号化器はあるアルゴリズムを用いて、ある特定のピクセル座標に対する最大ピクセル値を表す値を送信し、ウェーブレット変換系数値によってピクセル座標をソートし、更に様々な係数の最上位ビットを出力し、多くのソーティングパスと微調整パスを利用して、送信されたピクセル座標の小部分を利用した高画質の再構成画像を提供する。ソーティングパスと微調整パスで費やすビット数を設定することによって、ユーザは所望のレート或いは所望の歪みを得ることが出来る。図１に示されるような、空間方向ツリーを利用することで、重要でない集合のリスト（ＬＩＳ）、重要でないピクセルのリスト（ＬＩＰ）、及び重要なピクセルのリスト（ＬＳＰ）に、ピクセル情報は分割される。図１は、画像１００を示しており、複数のピクセル集合１０１、１０２、・・・、１０ｘがその中にある。この分野で知られているように、空間方向ツリーは、整数値或いは非整数値のウェーブレット変換（ＷＴ）係数を分解することによって得られる。各分解レベルのＬＨサブバンドの例数が、空間方向ツリーを形成する。この例では、親ノード１０１が、一連のルート及び子ノード１０２乃至１０７を有する。ＬＩＰは、重要でないピクセルの座標のリスト或いはＷＴ係数のリストであり、ＬＩＳは、重要でない子セットを有するツリールートの座標のリストであり、このリストには数多くのタイプのエントリ（タイプＡ及びタイプＢ）がある。またＬＳＰは、重要なピクセルの座標のリストである。リスト内容をソートして区分けすることが、図２に示すように実行される。図２のフローチャートで行われる重要度決定処理は、ある重要度閾値に基づいており、２０２で重要と決定されたＬＩＰからのエントリはＬＳＰ２０３、及び２０２で重要でないと決定されたエントリは、続くパスの間にテストのためにＬＩＰに戻される。ＬＩＰエントリが２０４でテストされたことが分かったときには、ＬＩＳエントリのテストが開始される。全てのＬＩＰエントリがテストされていないなら、２０２で次のＬＩＰエントリが重要度に関してテストされる。全てのＬＩＰエントリがテストされると、２０５でのＬＩＳエントリが２０６でテストされて、ＬＩＳエントリが、ノードの子孫である座標集合であるタイプＡであるか、子孫及び子供の座標間の差をエントリが表す場合にはタイプＢであるかを決定する。集合がタイプＡであることが決定した場合には、重要度が２０７でテストされる。重要であるならば、２０８で集合は子供と子供の子孫にパーティションされて、子供は２０９で重要度に関してテストされる。重要な場合には、座標がＬＳＰに載せられる。重要でないなら、テストされた子孫は、ＬＩＰの最後に移動される。初期タイプＡのエントリが２０７で重要でないと判断されると、エントリはＬＩＳに戻される。タイプＢのＬＩＳエントリは、２１０で重要度に関してテストされ、重要な場合にはＬＩＰに移され、重要でない場合にはＬＩＳに戻される。重要度に関する各テストの後に、エントリが重要であると判断される場合は１が出力され、エントリが重要でないと判断される場合は０が出力される。この０と１とは、終了目的のために所定数のビットが何時出力されたかを示すために用いられる。復号化は、同様に、但し逆方向に実行される。各リストのエントリはピクセル座標で特定され、ＬＩＰとＬＳＰとは個々のピクセルを表現し、ＬＩＳは座標の集合を表現し、座標の集合は空間方向ツリーのノードの子孫の座標としての状態に応じてグループ化される。
【０００８】
上記の符号化アルゴリズムを用いることで、選択された終了点に至るまでソーティングパスが実行され、ソーティングパスの増加は、より正確な重要度分類による更なる改善によって歪みの減少をもたらす。しかしながら、ソーティングパスの増加は、時間の増加を意味する。復号化器は、符号化器の実行パスを逆にした同一の形で重要度係数をソートするものであり、「出力」が復号化のための「入力」に入れ替えられ、適切な順序情報を回復する。従って、この従来技術の符号化方法は、重要度判定結果に基づいて、画像の他の領域よりも、より高い正確さ或いはより小さな損失を有する画像領域を、数学的に決定することを試みるものである。図３は、ＳＰＩＨＴ符号化の重要な側面を示し、ある閾値に対してソーティングパス及び微調整パスを反復し、符号化が終了するまでソーティングパス及び微調整パスを繰り返す。（ＳＰＩＨＴ符号化のより詳細な説明に関しては、前述の引用論文を参照されたい。）
発明の要約
本発明は、画像内の他の領域よりも高い正確さ或いは小さな損失を有する注目領域（ＲＯＩ）をユーザが設定可能な、画像符号化及び復号化方法並びに装置に関する。本発明は、正確さによる前進、解像度による前進、正確さ及び解像度による前進、損失及び無損失能力等、ＲＯＩ符号化を導入する画像符号化方法の能力を損なうことなく、ＲＯＩ符号化のための新たな特徴を導入する。更に、本発明を実施することによって増大する計算の複雑さは、最小限である。従来技術による符号化器の出力は、全体的な自乗誤差を軽減するように並べられた、一連のビットからなるビットストリームである。本発明の方法及び装置は、ビットストリーム出力の順番を変更することによって、画像内の他の領域よりもある注目領域を強調する。医療画像応用或いは他の殆ど全ての画像応用において、注目領域とは、必ずしもＭＳＥを削減するという意味での最高次の係数を有するピクセル値ではないであろう。従って、本発明においては、ＭＳＥの意味での注目領域の重要さには関係なく、画像の他の領域よりも高い正確さを有するようにまた可能であれば無損失での再構成が可能なように、送信端或いは受信端のユーザが適切な注目領域を選択出来るようにする。
実施例の詳細な説明
本発明は静止画圧縮を実行する方法及び装置に関し、送信側のユーザが符号化の前に、注目領域は何処であるかを自らの意見で指定するか、或いは受信側のユーザが、到来するビットストリームに基づいて注目領域を設定して、残りの符号化過程においてより強調したい所望の領域を特定する。送信側のユーザがＲＯＩを決定する前者の場合には、符号化はオンラインで実行してもよい。受信側のユーザがＲＯＩを特定する場合には、符号化はオンラインで実行されなければならない。
【０００９】
ＲＯＩが特定されると、ＲＯＩのデータに対応するウェーブレット変換（ＷＴ）係数だけが、圧縮方法或いはアルゴリズムによって拡大される。この圧縮方法は、例えば、Ｓａｉｄ及びＰｅａｒｌｍａｎによるＳＰＩＨＴ方法である。説明の便宜上、ここではＳＰＩＨＴ方法を例として用いるが、本発明はＳＰＩＨＴを応用する場合に限られるものではない。上記説明された拡大操作は、所定数の左ビットシフトによって選択された係数を優先することによって実行される。ここで各左ビットシフトは、各サブバンドにおいて、ビットの重要度を２倍拡大する或いは２倍増加することに対応する。左シフトの数が大きいほど、ＷＴ係数に対する強調の度合いは高まり、より顕著にＲＯＩ再構成の速度が増加する。従って本発明の符号化器及び復号化器においては、注目領域を選択して、注目領域が再構成される速度を制御することが可能であり、また画像の他の領域に比較して注目領域が強調される度合いを制御することが可能である。ＳＰＩＨＴタイプの圧縮方法を用いた図４に示される本発明を参照して、ソーティングパスは、初期値或いは閾値ｎ＝Ｎで開始される。この方法では、最高の正確度で画像全体を符号化するために、Ｎ＋１パスが必要である（ウェーブレット変換が整数変換を介して実行された場合には無損失である）。符号化方法のＰパス（Ｐ＝０，１，・・・，Ｎ）を実行して結果を出力として送信した後、符号化器或いは復号化器は、注目領域を特定して、適当なＷＴ係数をＳビットだけ左にシフトする。ここで、Ｐがゼロの場合は、注目領域が符号化器によって決定される場合に対応する。従って、Ｓの値が大きい場合には、注目領域を高速に無損失で再構成することが出来る。Ｓの値が小さい場合には、注目領域の再構成に関してはそれ程のスピード増加は得られないが、画像の残りの部分がより良好に再構成される結果となる。即ち全体的により良好なレート歪み特性を提供する。このように、Ｓの値を制御することによって、画像の他の領域に比較して、注目領域の重要度を制御することが可能になる。
【００１０】
図４は、ＳＰＩＨＴのような圧縮方法において本発明のＲＯＩ符号化を示している。符号化の前或いは符号化の最中に、ＲＯＩ選択が４００において実行される。ＲＯＩが選択された後、ある閾値レベルに対して、ＲＯＩ係数が４０１で拡大される。４０２及び４０３で、ソーティングパス及び微調整パスが、ＲＯＩ画像データに対して実行される。４０４で、閾値レベルを参考にして、パスが完了したか否かを決定する。パスが完了していない場合には、更なるソーティングパス及び微調整パスが実行される。パスが完了した場合には、４０５において、ＲＯＩが完全に再構成されたかを判断する。再構成されていない場合には、適当なソート及び微調整が、ＲＯＩ画像データに対して実行される。ＲＯＩが完成している場合には、４０６において、画像の残りの部分に対してソーティング及び微調整が実行される。ソーティング及び微調整は、最大閾値レベルＮと、ＲＯＩ符号化が開始する閾値レベルｋと、左ビットシフト値Ｓとに基づいている。
【００１１】
言い換えれば、Ｐパスが完了しているとすると、注目領域が値Ｓと共に選択され、選択されたＲＯＩとＳ値とが符号化器に返される。Ｐ＝０である場合には、符号化器はＲＯＩとＳとを選択して、符号化をオフライン或いはオンラインで実行することが出来る。注目領域に関連する全てのＷＴ係数（ＲＯＩ係数）がその後特定され、Ｓビットだけ左にシフトされる。現在の重要度閾値ｎは、現在値（Ｎ−Ｐ）から（Ｎ−Ｐ＋Ｓ）に増加される。符号化がその後ＲＯＩ係数に対して再開され、重要度閾値ｎ＝Ｎ−ＰになるまでＳパスに関して続行される。符号化は、閾値ｎ＜０となるまで、全てのＷＴ係数に対して続行される。ここで、注目領域の実際の形状或いは外郭は任意であり、注目領域の全体が、隣接する複数の長方形として或いは隣接する複数の長方形の非隣接する集まりとして、定義或いは記述可能でありさえすればよい。注目領域は、単一の注目領域であってもよく、或いは上記同様に処理される複数の注目領域が存在してもよい。
【００１２】
言い換えると、いったん注目領域が選択されると、注目領域の再構成に関連するＷＴ係数がウェーブレット変換領域で特定され、それらのＷＴ係数だけが、特定の係数を符号化復号化するように変形された圧縮方法によって符号化／復号化される。従って、ＳＰＩＨＴのような圧縮方法によって、対応する係数は、最優先の係数よりも早い閾値サイクル或いは早いパスで符号化／復号化される。画像領域からＷＴ係数領域に、逆ウェーブレット変換を逆に辿ることによって、ＲＯＩ係数を特定する。逆ウェーブレット変換は、ＷＴ係数領域での画像表現を、画像領域での画像データに変換する。画像の１つのピクセルは、逆ウェーブレット変換によって、複数のＷＴ係数から再構成される。従って注目領域が画像領域で特定されると、それに関連するＷＴ係数即ちＲＯＩ係数は、画像領域からＷＴ領域に逆ウェーブレット変換を逆に辿ることによって特定することが出来る。
【００１３】
上記の左シフトは、ＷＴ係数を左にビットシフトすることで拡大することに相当し、これは公知のバイナリシフトの原理に従って、２倍、４倍、８倍等に拡大することに対応する。ＳＰＩＨＴ符号化アルゴリズムのような従前の方法は、全ての係数の最上位のゼロでないビット部分（ＭＳＢ）から最下位ビット（ＬＳＢ）まで、ＷＴ係数を処理する。ＭＳＢからＬＳＢまでビット深さ方向にパスとして全ての係数をスキャンすると、比較可能な形での情報の順番付けが可能になる。本発明による注目領域の符号化によって、注目領域に関連するＷＴ係数を拡大することによって情報を並べることになり、それらは早いパス或いはサイクルで処理或いは取り扱われ、従ってＲＯＩ係数が符号化ビットストリームの早い部分に位置されることになる。左ビットシフトが大きいほど、ＲＯＩ係数はビットストリーム内で前のほうに位置される。このようにして、左シフト値が大きいほど、注目領域の再構成スピードが速くなる。
【００１４】
注目領域が無損失に再構成される場合には、再構成された注目領域には、客観的にも主観的にも何ら損失はない。画像再構成の際の無損失さの程度は、符号化ビットストリームを生成する圧縮方法が使用するウェーブレット変換に依存する。符号化ビットストリームは、画像全体の無損失を保証するものも含めて、様々なビットレートの画像を生成する。しかしながら、無損失が保証される前に符号化或いは復号化プロセスが打ち切られた場合には、再構成は、損失のある再構成であると見なされる。符号化プロセスが打ち切られた時点のビットレートが低いほど、再構成結果における損失が大きい。従って注目領域の係数に対する符号化が早めに打ち切られた場合には、注目領域以外の領域に比較してより強調はされるが、この注目領域の再構成結果は損失を含むものとなる。
【００１５】
ウェーブレット変換が整数から整数へのマッピングのタイプではない場合、例えば一般にサブバンド分解ＱＭＦ等と呼ばれる浮動から浮動へのマッピングのタイプの整数変換である場合には、本発明による注目領域符号化は、上記と同様に実行されるが、このウェーブレット変換とそれに伴う量子化によって修復不可能な損失が生じるために、再構成結果は決して無損失になることはない。しかしこのようなウェーブレット変換であっても、ウェーブレット変換係数の量子化結果が画像の元の情報に一致すると仮定できる場合には、本発明によるＲＯＩ符号化システムは、この構成において無損失であると考えることが出来る。しかしながら、非整数のウェーブレット変換方法では真の無損失を達成できないとするのであれば、整数変換が使用されるのでない限り、特許請求される方法は、無損失符号化方法ではなく最高度に正確な符号化方法として見なすことが出来る。
【００１６】
図５及び６は、５１２ｘ５１２の画像に対する性能を示すグラフであり、注目領域は図７に長方形の部分として示してある。この注目領域は、画像の一部を含む１２８ｘ１２８の正方形である。図５を再度参照して、注目領域の無損失再構成のスピードは、左シフト値Ｓの数の関数として変化することが分かる。図は、ｐが０である場合と７である場合と、２つの異なった値に対する結果を示している。図６は、注目領域を無損失に再構成した場合の画像全体の再構成のピーク信号対雑音比率（ＰＳＮＲ）を示すものであり、ｐが０である場合と７である場合が示されている。ある特定のＰの値に対して、あるＳの値に対応する各ポイントは、注目領域が無損失に再構成された場合の再構成ＰＳＮＲ及び全体のビットレートに対応する。図７は、Ｐが７の場合のＳＰＩＨＴアルゴリズムを利用した本発明を示す写真であり、０．８８ｂｐｐで２８．８０ｄＢのＰＳＮＲを達成している。図８は、図７の写真と同一の注目領域を有する同一の写真を無損失に再構成した写真であり、Ｐ＝７及びＳ＝７である。この画像のＰＳＮＲは、０．３８９ｂｐｐで２９．２２ｄＢである。Ｓが５である場合には、注目領域の無損失再構成は、０．７１０ｂｐｐで生じ、ＰＳＮＲは３５．６９ｄＢである。Ｓが０である場合（注目領域が定義されていない場合）には、画像全体の無損失再構成は、４．３７８ｂｐｐで達成され、Ｓ＝７の場合に比較して約一桁遅い結果となる。従って、これらの図から分かるように、本発明による注目領域符号化技術は、組込みＲＯＩ画像符号化のための効率的で柔軟性のあるシステムを提供するものであり、様々なレベルの損失符号化から無損失ＲＯＩ画像符号化に至るまでの柔軟性を有する。注目領域の無損失再構成及び画像の残りの領域の効率的な或いは「主観的には無損失」な再構成を、画像全体の無損失再構成に必要なビットレートより、３−４倍も小さなビットレートで達成することが出来る。
【００１７】
図９（ａ）及び９（ｂ）は、本発明による符号化方法及び装置に付随するレート歪みを示す。これらの図は、ｂｐｐで示される全体のビットレートに対して、画像全体のＰＳＮＲをｄＢで示したグラフであり、Ｐ＝７及びＳ＝２の場合と、Ｐ＝７及びＳ＝５の場合とに対応している。実線は、従前のＳＰＩＨＴアルゴリズムの性能を示し、Ｓ＝２及びＳ＝５の場合に対応する変形アルゴリズムは、「＋」及び「Ｏ」で示される。ビットレート０．０８６ｂｐｐまでは、全ての符号化方式は同一特性であることが分かる。０．０８６ｂｐｐより大きいビットレートにおいては、大きなＳに対する方式は、従前のＳＰＩＨＴ方法に比較してレート歪み損失が大きいが、注目領域のより高速な無損失再構成が可能である。Ｓ＝２の方式は、ＳＰＩＨＴの結果に殆ど一致している。
【００１８】
上述の方法は、画像圧縮に関して種々の実施例を含むものであり、注目領域の選択は、符号化前にオフラインの状態で実行してもよく、或いは符号化中にオンラインの状態で実行してもよい。注目領域の選択が送信の最中に（オンラインで）行われる場合には、受信端で選択してもよく、この場合受信端は、注目領域に関する情報を符号化側或いは送信側に送り、ソーティングと優先順位付けがそれに応じて調整される。符号化側に、データを送信或いは格納する前に復号化プロセスを模擬するローカルデコーダがある場合には、オンライン選択は符号化側で実行することも出来る。本発明は、ディスプレイと、中央処理ユニットと、メモリと、モデム及び電話線のような適当な通信手段とを含むコンピュータシステムによって実現することが可能であり、ディスプレイ手段がディジタル画像データを表示することが出来るように、ディジタル画像データを入力する入力手段を提供するように構成される。選択手段或いは選択装置が、注目領域を選択するためにディスプレイに接続される形に機能するように、上記コンピュータシステムは構成される。注目領域に対応するディジタル画像データが注目領域外の領域に対応するディジタル画像データよりも高い優先順位を有するような、少なくとも２つの優先順位分類によってディジタル画像データをソーティングかつ優先順位付けするために、ソーティング及び優先順位付け手段或いは装置を上記選択装置に接続してもよい。通信回路或いは装置は、ソートされ優先順位付けられたデータを遠隔地に送信する送信装置として機能して、この送信装置は、注目領域に対応するディジタル画像データを注目領域外の領域よりも高い優先順位で送信する。送信データは受信コンピュータで受信され、この受信コンピュータは、送信データを受信する受信手段或いは装置と、送信データを再構成する再構成装置を有する。この再構成装置は、ソートされ優先順位付けられたディジタル画像データを復号化するための復号化装置を含む。再構成装置によって、注目領域外の領域に対応するディジタル画像データよりも早いレートで、注目領域が再構成される。或いは、注目領域は、注目領域外の領域よりもより正確に再構成される。
【００１９】
注目領域の符号化が開始される閾値或いはパスは、画像全体のソーティングパスの始まりで決定されるか、或いはソーティングパスの最中に決定されるか、或いは微調整パスの始め又はその最中、或いは符号化プロセス全体の始めに決定される。符号化プロセス全体の始めに決定される場合には、オフライン形式で実行される。ソーティング或いは微調整パスにおけるＲＯＩ選択は、インタラクティブに、或いはオンラインで選択される。言葉を替えると、ｎがＲＯＩ符号化レベルに等しい場合には、ＲＯＩ係数の拡大がおこり、ソーティングパス及び微調整パスが実行されるのは、ｎ＝ｋ＋ｓ；ｎ＞ｋ；ｎ−に対してである。
【００２０】
本発明によるシステムの別の例としては、送信手段による送信が開始された後に、受信機で受信され部分的に再構成された画像に基づいて、注目領域の選択が実行される。部分的に再構成された画像に基づいて、受信端のユーザが注目領域を選択し、注目領域を特定するデータを受信器が送信側コンピュータに送信する。送信コンピュータは、選択された注目領域に基づいて、ディジタル画像データのソーティングを変更する。注目領域に対応するディジタル画像データは、ソートされ優先順位付けられて、注目領域外の領域に対応するディジタル画像データよりも高い優先順位を与えられる。ソートされ優先順位付けられた変更後のデータが、受信器に向けて送信され、注目領域は注目領域外の領域よりも高い優先順位で送信される。上記の機能を実行する手段を実現するためのコンピュータ構成は、本明細書記載の情報に基づいて当業者が作成できる範囲内のものである。
【００２１】
図１０は、符号化側でＲＯＩ選択を実行する場合の本発明を実施する要素を示す構成図である。入力手段或いは入力装置１１０は、ディジタル画像データを、コンピュータ或いはデータ処理装置に入力するために用いられる。ディスプレイ手段或いはディスプレイ装置１１１は、ディジタル画像データを表示する。選択装置１１２は表示装置に接続されており、ディジタル画像データによって表現される画像の一領域を選択するために用いられる。ソーティング及び優先順位付け装置１１３は、選択装置１１２に接続されており、ディジタル画像データを少なくとも２つの優先分類によって、ソーティング及び優先順位付けする。選択された注目領域のデータは、注目領域外の領域に対応するディジタル画像データよりも高い優先順位を与えられる。送信装置１１４は、ソート及び優先順位付けされたデータを遠隔地に送信する。ここで遠隔地とは、大量格納装置、インターネット或いはイントラネット等のネットワーク、広域エリアネットワーク、ローカルエリアネットワーク等である。送信されたデータは受信装置１１５で受信され、送信されたディジタル画像データが復号化手段１１７を有する再構成手段１１６によって再構成され、注目領域のデータは、注目領域外の領域に対応するディジタル画像データよりも速いレートでかつ／又は高い正確度で再構成される。
【００２２】
図１１は、オンライン形式での注目領域の選択示す構成図である。入力手段或いは入力装置１２１は、ディジタル画像データを、コンピュータ或いはデータ処理装置に入力する。ディジタル画像データは、ディスプレイ手段１２２で表示してもよいし、或いは直接にソーティング手段或いはソーティング装置１２３に供給してもよい。ソーティング装置は、ディジタル画像データを数学的ソーティングプロトコルに従ってソートし、これによってディジタル画像データは、所定の優先順位付け公式に従ってソートされ優先順位が付けられる。送信手段或いは送信装置１２４は、ソートされたデータを送信し、ソーティング手段がディジタル画像データのソーティングを繰り返すと共に、送信手段がデータの送信を繰り返す。表示装置は、送信が続いている間に、送信されたデータを部分的再構成画像として表示する。ソーティング装置及び送信装置がソーティング及び送信を繰り返すと同時に、画像の再構成が進行する。注目領域選択手段１２７は受信手段１２５に接続されており、部分的再構成画像に基づいて注目領域を選択するために用いられる。注目領域を選択した後に、注目領域送信装置又は手段１２８が、選択された注目領域に対応するデータを、ソーティング装置１２３に送信する。ソーティング装置は、選択された注目領域に対応するデータに基づいて、ディジタル画像データのソーティングを変更する。選択された注目領域に対応するディジタル画像データは、ソーティング装置によってソートされ優先順位がつけられて、選択された注目領域外の領域に対応するディジタル画像データよりも高い優先順位が与えられる。
【００２３】
本発明には、コンピュータ読み取り可能な媒体によって実現されるコンピュータプログラムの形をとり、このコンピュータ読み取り可能な媒体は、フロッピーディスク、ハードディスクのような大量格納装置、ＤＲＡＭ、ＣＤ−ＲＯＭ等を含む。このコンピュータプログラムは、汎用コンピュータを制御して、上記方法ステップを実行する。
【００２４】
本発明は、送信コンピュータ或いは装置によって実施されるものとして説明され、データは受信器或いは復号化器に送られる。本発明は、符号化がコンピュータによって実行され、符号化された画像データがインターネットにインターネットブラウジングのために送信され、インターネットから情報を受信する別のコンピュータで復号化が実行されるような構成を含むことが出来る。符号化と復号化とは、ローカルエリアネットワーク（ＬＡＮ）や広域ネットワーク（ＷＡＮ）、インターネット、又はイントラネットに設けられてよく、或いは、コンピュータと大量格納装置との間で実行されるようにしてもよい。従って、遠隔ビデオ医療や一般画像格納及び検索を含む、画像データの転送や格納が必要である殆どあらゆる応用において、本発明を適用することが可能である。本発明による注目領域符号化方法と装置は、それらの応用におけるボトルネックの問題を解決するものである。
【００２５】
上記本発明の記載は、説明を目的とするだけのものである。本発明による注目領域の選択及び再構成は、他のタイプの圧縮方法と共に利用可能であり、また上記説明された様々な手段には、当業者の知識の範囲内で多数の等価物が存在することを理解すべきである。本発明の正確な範囲は、添付のクレームによって定義される。
【図面の簡単な説明】
本発明の動作をより詳細に理解するために、添付の図面を参照すべきである。
【図１】図１は、従来技術による空間方向ツリーを示す。
【図２】図２は、従来技術によるＳＰＩＨＴ圧縮を簡潔に説明するフローチャートである。
【図３】図３は、従来技術を示すまとめのフローチャートである。
【図４】図４は、本発明による注目領域画像符号化を説明するフローチャートである。
【図５】図５は、本発明において左ビットシフトの関数として無損失再構成の速度を示すグラフである。
【図６】図６は、本発明のＰＳＮＲ性能を示す。
【図７】図７は、特定の再構成レートを使用した場合の本発明の適用結果を示す。
【図８】図８は、図７と同一の注目領域を有する同一写真を無損失で再構成した写真である。
【図９Ａ】図９Ａは、本発明による符号化方法に関連して生じるレート歪みを示す。
【図９Ｂ】図９Ｂは、本発明による符号化方法に関連して生じるレート歪みを示す。
【図１０】図１０は、ＲＯＩ選択が符号化側で実行される場合に本発明を実施するブロック構成を示す構成図である。
【図１１】図１１は、ＲＯＩ選択がオンラインで実行される場合に本発明を実施する要素を示す構成図である。
【図１】
0003597780.tif 000006
【図２】
0003597780.tif 000007
【図３】
0003597780.tif 000008
【図４】
0003597780.tif 000009
【図５】
0003597780.tif 000010
【図６】
0003597780.tif 000011
【図７】
0003597780.tif 000012
【図８】
0003597780.tif 000013
【図９Ａ】
0003597780.tif 000014
【図９Ｂ】
0003597780.tif 000015
【図１０】
0003597780.tif 000016
【図１１】
0003597780.tif 000017