(57)【要約】【課題】シーンにおけるオブジェクトの分布、特に非線形分布を利用するために、ビデオまたはグラフィックス画像に付随する奥行きデータを、符号化前に量子化する問題に対処する。【解決手段】奥行きマップを使用して画像または画像シーケンスを表現する方法は、非線形変換を用いて、ｎビット奥行きマップ表現をｍビット奥行きマップ表現に変換することを含み、ｍ＜ｎである。推定手法は、奥行き値のヒストグラム計数の高い領域ほど、多くの量子化セルを割り当て、結果得られるマッピング関数をより高い精度で近似するものである。【選択図】図３
2005341555.tif 000002
【特許請求の範囲】
【請求項１】
ｍビット奥行きマップ表現を導出することを含み、
少なくとも２つの量子化ステップが不同である、
奥行きマップを使用して画像または画像シーケンスを表現する方法。
【請求項２】
ｎビット奥行きマップ表現をｍビット表現に変換することを含み、
ｍ＜ｎである、
請求項１記載の方法。
【請求項３】
非線形変換を含む、請求項２記載の方法。
【請求項４】
非線形変換を用いて、ｎビット奥行きマップ表現をｍビット奥行きマップ表現に変換することを含み、
ｍ＜ｎである、
奥行きマップを使用して画像または画像シーケンスを表現する方法。
【請求項５】
ｎビンヒストグラムの形態の奥行きマップをｍビンヒストグラムに変換することを含み、
前記ｍビンヒストグラムにおける少なくとも２つのビンの幅は不同である、請求項１〜４のいずれか一項に記載の奥行きマップを使用して画像または画像シーケンスを表現する方法。
【請求項６】
第１のｎビンヒストグラムのうちの１つまたは複数のビンからのピクセルを第２のｍビンヒストグラムの１つのビンにマッピングすることにより、前記第１のヒストグラムのビンを組み合わせて前記第２のヒストグラムのビンを形成することを含む、請求項５記載の方法。
【請求項７】
前記第２のヒストグラムの前記ビンにおけるピクセルの数が所定のしきい値を超えるまでマッピングすることを含む、請求項６記載の方法。
【請求項８】
前記しきい値ＴＨ＝（幅×高さ）／２ｍであり、
幅および高さは前記画像の次元を表す、請求項７記載の方法。
【請求項９】
誤差測定値を用いてピクセルをビンにグループ化することを含む、請求項４記載の方法。
【請求項１０】
前記誤差測定値は、前記ビンにおける前記ピクセルと前記ビンの代表値との間の二乗差の総和であり、
前記ビンの前記代表値はたとえば前記ビンの代表加重値である、請求項９記載の方法。
【請求項１１】
前記変換は再帰的であり、
前記変換は１つまたは複数のｐビンヒストグラムへの中間変換を含み、
ｐは変数である、
請求項５〜１０のいずれか一項に記載の方法。
【請求項１２】
マックス−ロイド量子化器に基づくアルゴリズムを使用する、請求項５〜１０のいずれか一項に記載の方法。
【請求項１３】
ｍ＝８である、請求項１〜１２のいずれか一項に記載の方法。
【請求項１４】
画像の異なるエリアに対して、所定の基準に基づいて異なる変換または異なる量子化ステップが使用される、請求項１〜１３のいずれか一項に記載の方法。
【請求項１５】
画像シーケンスを表現する場合、前記表現は前記シーケンス中の複数の各画像ごとに導出される、請求項１〜１４のいずれか一項に記載の方法。
【請求項１６】
画像シーケンスを表現する場合、前記表現は複数の画像について導出される、請求項１〜１５のいずれか一項に記載の方法。
【請求項１７】
前記複数の画像の奥行きマップヒストグラムを組み合わせることと、
前記組み合わせられたヒストグラムから前記ｍビット奥行きマップ表現を導出することと
を含む、請求項１６記載の方法。
【請求項１８】
画像シーケンスを表現する場合、
最初の画像の前記奥行きマップを次の画像の前記奥行きマップと比較することと、
前記比較に基づいて前記最初の画像の前記表現を求めることと
を含む、請求項１〜１７のいずれか一項に記載の方法。
【請求項１９】
請求項１〜１８のいずれか一項に記載の方法を用いて導出されるｍビット奥行きマップ表現を含む画像を表現する記述子。
【請求項２０】
ｍビット奥行きマップ表現を含む画像を表現する記述子であって、
ｍのうち少なくとも２つの量子化ステップは不同である、記述子。
【請求項２１】
請求項１９または２０記載の記述子の前記ｍビット奥行きマップ表現を逆量子化することを含む、画像を表現する方法。
【請求項２２】
前記ｍビット奥行きマップ表現をｎビット表現に変換することを含み、
ｎ>ｍである、
請求項２１記載の方法。
【請求項２３】
前記変換は非線形変換である、請求項２２記載の方法。
【請求項２４】
請求項１９または２０記載の記述子の使用方法。
【請求項２５】
請求項１９または２０記載の記述子を符号化、送信、または復号する方法。
【請求項２６】
請求項１〜１８、２１〜２３、または２５のいずれか一項に記載の方法を行うプログラムを実行する制御装置。
【請求項２７】
請求項１〜１８、２１〜２３、または２５のいずれか一項に記載の方法を行うように適合された装置。
【請求項２８】
請求項２６記載の制御装置を備えた装置。
【請求項２９】
画像および／または画像の記述子を記憶する記憶手段と、
画像を表示する表示手段と、
画像を入力する入力手段と、
符号化および／または復号手段と、
画像を送信かつ／または受信する送信および／または受信手段と、
処理手段と、
請求項１〜１８、２１〜２３、または２５のいずれか一項に記載の方法を実行する命令を記憶する記憶手段と
のうちの１つまたは複数を備えた、請求項２７または２８記載の装置。
【請求項３０】
請求項１９または２０記載の記述子を複数記憶する装置。
【請求項３１】
請求項１〜１８、２１〜２３、または２５のいずれか一項に記載の方法を行うように適合されたコンピュータシステムである、請求項２８〜３０のいずれか一項に記載の装置。
【請求項３２】
請求項１〜１８、２１〜２３、または２５のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラム。
【請求項３３】
請求項３２記載のコンピュータプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化前の奥行きマップ(depth map)データの効率的な量子化に関する。
【背景技術】
【０００２】
奥行きマップとは「ピクセルごと」の奥行き情報を有する画像であり、取り込まれた各３Ｄポイントの、カメラ中心からの距離を提供する。これは、赤外線カメラを使用して取り込む、または３Ｄコンテンツベースの画像から様々な画像処理ツール手段を通して（推定された視差の場（disparity field）から求められた奥行きマップを参照して、または単眼画像において動き解析を用いることにより）得ることができる。入力奥行きマップは、浮動小数点表現または整数表現のいずれかを有し得る。整数表現の場合、たとえばｎビット奥行き画像は、奥行き情報をｎビットグレー値として記憶し、グレーレベル０は最も遠い値を規定し、グレーレベル２ｎ−１は最も近い値を規定する。
【０００３】
静止画や動画像シーケンスに関連する８ビット奥行きデータを効率的に符号化し伝送する様々な方法が提案されている。
【０００４】
孤立した奥行きマップを符号化する２つの方法について、D. Tzovaras, N. Grammalidis, およびM. G. Strintzis著「マルチビュー３Ｄ画像生成のための視差の場および奥行きマップの符号化（Disparity field and depth map coding for multiview 3D image generation）」Image Communication, Vol. 11, No. 3, January 1998に述べられている。第１の方法では、奥行きマップは、ＪＰＥＧ符号化技法を用いて、濃淡画像（intensity image）（Ｉフレーム）と同様に量子化され符号化される。第２の方法では、ワイヤフレームモデルが奥行きマップ情報に適合される。まず、ワイヤフレームモデルはオブジェクトエリアの各Ｂ×Ｂブロックに当てはめられる。ブロックサイズを連続して小さくして、このエリアにおける奥行き情報の適正近似を得る。
【０００５】
奥行きマップシーケンスの符号化は、２Ｄ動き補償法を用いることにより、D. Tzovaras, N. Grammalidis, およびM. G. Strintzis著「マルチビュー３Ｄ画像生成のための視差の場および奥行きマップの符号化（Disparity field and depth map coding for multiview 3D image generation）」Image Communication, Vol. 11, No. 3, January 1998において実現されている。この場合、奥行きマップを符号化するＭＰＥＧのような方式を採用することができる。
【０００６】
オブジェクトベースの符号器について、３Ｄ立体画像シーケンスの左チャネルの符号化に関してD. Tzovaras, N. Grammalidis, およびM. G. Strintzis著「統合３Ｄ動き／視差補償を用いた立体画像シーケンスのオブジェクトベースの符号化（Object-based coding of stereo image sequences using joint 3D motion/disparity compensation）」IEEE Trans. On Video Technology, Vol. 7, No. 2, April 1997に述べられている。３Ｄ動きパラメータ（平行移動に３つ、および回転に３つ）が、奥行きマップならびに濃淡画像の符号化に使用される。シーケンスの最初のフレームの場合、奥行きマップは、孤立した奥行きマップの方法を用いて符号化され伝送される。残りのフレームの場合、時間的に直前の奥行きマップならびに３Ｄ動きパラメータを用いて現在の奥行きマップの予測が立てられる。
【０００７】
A. AlatanおよびL. Onural著「３Ｄオブジェクトベースのビデオ符号化のための奥行きフィールドの統合推定および最適符号化（Joint estimation and optimum encoding of depth field for 3D object-based video coding）」Proc. IEEE ICIP 96, Lausanne, Switzerland, September 1996, vol. II, pp. 871-874、ならびにA. AlatanおよびL. Onural著「オブジェクトの３Ｄ構造および動きに基づくビデオ圧縮に適した奥行きフィールドの推定（Estimation of depth fields suitable for video compression based on 3D structure and motion of objects）」IEEE Transactions on Image Processing, no. 6, June 1998では、シーンにおける移動中のオブジェクトの奥行きフィールド(depth field)を符号化する方法について考察されている。２つの濃淡フレームおよび３Ｄ動きパラメータを入力として用いて、歪み基準およびビットレート測度をまとめて最小化することによって符号化された奥行きフィールドを得ることができる。
【０００８】
最後に、追加の奥行き強調層を提供するに十分な自由度を規格内に提供する奥行きマップを伝送するＭＰＥＧ−４規格が提案されている。ＭＰＥＧ−４ビジュアルバージョン２では、ビデオオブジェクトの透明度を記述するためにＭＡＣ（複数の補助成分(Multiple Auxiliary Components)）が追加された。さらに、ＭＡＣは、ビデオオブジェクトプレーン(video object plane)（ＶＯＰ）に対してピクセル単位で規定され、視差、奥行き、および追加のテクスチャ等、ビデオオブジェクトに関連するデータを含む。
【０００９】
R. Krishnamurthy, B. Chai, H. Tao, およびS. Sethuraman著「画像ベースのレンダリングのための奥行きマップの圧縮および伝送（Compression and transmission of depth maps for image-based rendering）」Proc. of International Conference on Image processing (ICIP' 2001), Thessaloniki, Greece, Oct. 2001では、関心領域(Region of Interest)（ＲＯＩ）ベースの符号化について述べられている。この手法では、ＲＯＩは、奥行き推定アルゴリズムから得られて、その特定の領域における奥行きマップの信頼度および精度を反映することもでき、また奥行きマップに対してエッジ検出器を実行することによって生成することもできる。ＪＰＥＧ−２０００は、ｍａｘｓｈｉｆｔを使用してＲＯＩを選択的に符号化する手段を提供している。この技法では、ＲＯＩに属する係数が、それぞれのビットプレーンが非ＲＯＩ係数に重ならないようにシフトされる。これにより、ＲＯＩがまず完全に符号化され、その後にビットが残っている場合に非ＲＯＩ領域が符号化されることが保証される。復号器において、ＲＯＩ係数をそれぞれのシフトされた値から暗黙的に特定することができるため、形状情報を復号器に明示的に送る必要がない。
【００１０】
上記参考文献はすべて、符号化すべきデータが、適したビデオ符号器の入力になるように「適応」される奥行きマップ符号化プロセスについて言及しており、これには通常、８ビットへの量子化が含まれる。
【００１１】
特許文献１には、三次元形状情報をビデオセグメンテーションおよび圧縮プロセスの一環として利用するビデオ圧縮技法が記載されている。この方法は、ビデオシーケンスのフィールドまたはフレームに対応する奥行き情報を用いて別個のオブジェクトを識別する。この方法は、フレームまたはビデオシーケンスの奥行き情報を受け取るオブジェクトセグメンテーション回路を設け、フレーム内の１つまたは複数の別個のオブジェクトを識別し、奥行き情報をオブジェクトマップに変換する。各オブジェクトマップには、マスキング回路によって各奥行き領域が関連付けられる。これらの手法の１つでは、オブジェクトは奥行き情報のヒストグラムから識別される。したがって、所定の奥行き値を有するピクセルの数が、使用されるしきい値に基づいて選択され、クリッピングされたヒストグラムが生成される。この新しいヒストグラムが走査されて、ｎ個の異なるしきい値奥行き値を有するｎ個の領域の境界が見つけられるとともに、可変ステップ量子化回路が使用されて奥行き情報が量子化され、オブジェクトマップが生成される。オブジェクトは、識別されると、ＭＰＥＧ−４符号器に入力として送られる。
【００１２】
特許文献２は、奥行き画像において、パッチ(patch)中のすべてのピクセルが同一または類似の奥行き値を有するような、ピクセルのパッチを識別する奥行き圧縮方法を提案している。このアルゴリズムは、最終サイズのパッチを作成し、奥行きデータの必要がないことが分かっているエリアを除外する併合手順を含む。まず、画像の隣接ピクセルのパッチが所定の第１の範囲内で求められ、第１の共通奥行き値がそのパッチの中のすべてのピクセルに割り当てられる。各離散ピクセル奥行き値ごとに、対応するピクセルの数が計算され、最小のパッチに対して最近傍に存在する離散奥行き値を再び割り当てることによってこの最小パッチが除去される。このステップは、所定数Ｎの離散奥行き値が残るまで繰り返される。
【００１３】
ヒストグラム解析に基づいてｎビット奥行き画像をｍビット奥行き画像（ｎ>ｍ）に量子化する際に採用される一般的な方法について以下説明する。ここでは、線形量子化を、線形関数を用いてピクセルをｎビット表現からｍビット表現（ｎ>ｍ）にマッピングする方法として定義する。但し、ｍは、たとえば、標準的な符号器復号器（codec）に使用されるビット数である。この関数は定数による割り算として定義される。
【００１４】
【数１】
2005341555.tif 000003
【００１５】
【特許文献１】米国特許第６０５５３３０号明細書
【特許文献２】米国特許第６１０４８３７号明細書
【００１６】
本発明では、線形逆量子化(de-quantization)を、線形関数を用いてピクセルをｍビット表現からｎビット（ｎ>ｍ）表現にマッピングする方法として定義する。この関数は、定数による掛け算として定義される。
【００１７】
【数２】
2005341555.tif 000004
【００１８】
一例として、１６ビットデータから８ビットデータへのピクセルマッピングプロセスを図１に図表を用いて示す。初期の１ピクセル当たり１６ビットの表現は、２１６個のグレーレベル値に対応し、これは、２５６個の等間隔ビンにグループ化される。２５６個の各ビンに関して、ビンの幅は同じであるが、各ビン中のピクセルの数は様々である。
【００１９】
逆量子化プロセスでは、新しいグレーレベル値が、２５６個のビンのそれぞれに属するすべてのピクセルに割り振られる。新しいグレーレベル値は、８ビットヒストグラムでのビンの平均値に２５６を掛けたものとして計算される。
【００２０】
適用シナリオの例示的なブロック図を図２に提供する。ｎビット奥行きマップがまず、標準的な符号器に適合した８ビットに量子化される。符号化／復号プロセス後、奥行きデータは元のｎビット表現に逆量子化される。
【００２１】
さらに、R. Krishnamurthy, B. Chai, H. Tao, およびS. Sethuraman著「画像ベースのレンダリングのための奥行きマップの圧縮および伝送（Compression and transmission of depth maps for image-based rendering）」Proc. of International Conference on Image processing (ICIP' 2001), Thessaloniki, Greece, Oct. 2001では、様々な奥行きの様々な重要度を反映するように、奥行きのダイナミックレンジを再構築する方法が提案されている。この手法は、奥行きの浅いエリアほど（ｋが大きいほど）誤差がはるかに顕著であるという観察に基づいているため、奥行きのダイナミックレンジの再構築は、音声信号の符号化に使用されるコンパンディング(companding)と同様の概念を用いて行われる。まず、奥行きマップが値［０，１］にスケーリングされる。次いで、奥行きマップは、ｋが大きい場合にダイナミックレンジを伸張し、ｋが小さい場合にダイナミックレンジを圧縮する関数を通過する（これは音声に使用される従来のコンパンダの働きと逆であることに留意されたい）。
【００２２】
この例における再構築に使用される関数は、（１）からの二次関数である。
【００２３】
【数３】
2005341555.tif 000005
【００２４】
次いで、ｋ’値は、この浮動小数点数を１６ビット数にスケーリングした後にＪＰＥＧ−２０００アルゴリズムを用いて符号化される。
【発明の開示】
【発明が解決しようとする課題】
【００２５】
本発明は、シーンにおけるオブジェクトの分布、特に非線形分布を利用するために、ビデオまたはグラフィックス画像に付随する奥行きデータを、符号化前に量子化する問題に対処する。たとえば、奥行き値によっては、シーンにまったく現れないものもあれば、シーン全体を線形量子化する場合よりも細かく量子化する必要のあるものもある。
【課題を解決するための手段】
【００２６】
この発明に係る、画像または画像シーケンスを表現する方法は、ｍビット奥行きマップ表現を導出することを含み、少なくとも２つの量子化ステップが不同である、奥行きマップを使用して画像または画像シーケンスを表現する方法である。
また、この発明に係る、画像または画像シーケンスを表現する方法は、非線形変換を用いて、ｎビット奥行きマップ表現をｍビット奥行きマップ表現に変換することを含み、ｍ＜ｎである、奥行きマップを使用して画像または画像シーケンスを表現する方法である。
また、この発明に係る画像を表現する記述子は、上述の方法を用いて導出されるｍビット奥行きマップ表現を含む画像を表現する。
また、この発明に係る画像を表現する記述子は、ｍビット奥行きマップ表現を含む画像を表現する記述子であって、ｍのうち少なくとも２つの量子化ステップは不同である。
また、この発明に係る画像を表現する方法は、上述の記述子のｍビット奥行きマップ表現を逆量子化することを含む。
また、この発明に係る記述子の使用方法では、上述の記述子を使用する。
また、この発明に係る記述子の使用方法では、上述の記述子を符号化、送信、または復号する。
また、この発明に係る制御装置は、上述の方法を行うプログラムを実行する。
また、この発明に係る装置は、上述の方法を行うように適合される。
この発明に係る装置は、上述の制御装置を備える。
この発明に係る装置は、上述の記述子を複数記憶する。
この発明に係るコンピュータプログラムは、上述の方法をコンピュータに実行させる。
この発明に係る記憶媒体は、上述のコンピュータプログラムを記憶する。
【００２７】
特許文献１における概念とは対照的に、画像中の異なる奥行き値に関連するオブジェクトマップは作成されない。
【００２８】
特許文献２と異なり、本発明では、奥行き画像中のパッチを重要度に関して識別せず、重要ではないと考えられるエリアを除去しない。
【００２９】
本発明の手法は、背景に対するオブジェクトの明示的なセグメンテーションを行うことなく、奥行き画像を全体として考える。
【００３０】
本発明は、ピクセルをｍビット表現から元のｎビット表現（ｎ>ｍ）に再マッピングすることからなる奥行きデータの逆量子化についての問題にも対処する。
【００３１】
本発明の諸態様は、添付の特許請求の範囲に記載される。
【００３２】
ビデオまたはグラフィックス画像に付随する奥行きデータの分布から、区分的非線形関数が導出されて、標準的なビデオ符号器に受け入れられるより低い精度への適したマッピングを作成する。線形手法と異なり、非線形マッピングは、シーンに見られる実際の奥行き値を考慮に入れ、変位(displacement)および展開(extraction)に対して適したマッピング関係を作成する。本発明の概念は、符号化／復号プロセス後の非線形逆量子化にも対処し、各ビンごとに計算される適正な再構築値を用いてｍビット奥行きデータがｎビットデータ（ｎ>ｍ）に再マッピングされる。
【００３３】
本明細書では、効率と複雑さの間で異なるトレードオフを提供し、異なる適用シナリオ（タイプの異なる画像であるコンピュータ生成画像や自然画像）において適用することが可能であり得る複数の手法を上記問題に対して考える。これらについて以下のセクションにおいて説明する。
【発明を実施するための最良の形態】
【００３４】
本発明の諸実施形態について、添付図面を参照して説明する。
【００３５】
本発明の実施形態によれば、推定手法は、奥行き値のヒストグラム計数の高い領域ほど、多くの量子化セルを割り当て、結果得られるマッピング関数をより高い精度で近似するというものである。
【００３６】
１６ビットデータから８ビットデータへの非線形量子化についての全体ブロック図の一例を図３に提供する。結果得られる２５６個のビンは、同数のピクセルを含み、異なる幅を有する不等間隔を有する。
【００３７】
奥行きビデオシーケンス中の各フィールド／フレームに適用することの可能なビンを構築する手順は、図３に示すようなものであり、これについて以下説明する。
【００３８】
ビデオシーケンスにおける奥行きマップの１６ビットフレーム／フィールドから、１６ビット奥行きヒストグラム、すなわちＨ１６が生成される。このヒストグラムは２１６個のビンを含み、各ビンは１に等しい幅を有する。これは、１６ビットのデータ表現において対処可能なグレーレベルの数に等しい。したがって、Ｈ１６は、１６ビット画像における各濃淡レベルのピクセルの総数を表現したものである。
【００３９】
本明細書では、以下の表記を導入する。
Ｈｉは、１６ビットデータの各レベルｉにおけるピクセルの数を以下のように表す。
ｉ＝［０  １  ２  …  ｊ  ｊ＋１  …    ６５５３５］
Ｈｉ＝［Ｈ０  Ｈ１  Ｈ２  …  Ｈｊ  Ｈｊ＋１  …  Ｈ６５５３５］
ｆ：ｉ―>Ｈｉは、Ｈ１６のＰＤＦ（Probability Density Function、確率密度関数）を表す。
Ｈ８は、１６ビット奥行きマップから導出すべき８ビットヒストグラムを表す。
ｈｍは、８ビットデータの各レベルｍにおけるピクセルの数を以下のように表す。
ｍ＝［０  １  ２  …  ｎ  ｎ＋１  …  ２５５］
ｈｍ＝［ｈ０  ｈ１  ｈ２  …  ｈｎ  ｈｎ＋１  …  ｈ２５５］
【００４０】
Ｈ８を構築するには、アレイＨｉが非ゼロ値についてチェックされて、画像に存在する奥行き値のみが考慮に入れられる。およそ同数のピクセルが、８ビットヒストグラムにおける各ビンに割り当てられる。このために、ＴＨ＝（幅×高さ）／２５６に等しいしきい値が選ばれる。但し、幅および高さは奥行き画像の次元を表す。
【００４１】
Ｈ１６からＨ８にピクセルを分配する（マッピングする）プロセスは、しきい値に達するまでＨｉの連続した値を加算することによって実行される。チェックされた非ゼロ値Ｈｉがしきい値よりも大きい場合、ピクセルＨｉはすべて、８ビットヒストグラムでの対応するビンＢｍに入れられる。さらに、この段階において、オーバーフローが計算されて、しきい値を溢れ(overfloat)させているピクセル数の指示を保持する。このオーバーフロー値は、次のビンを満たす際に考慮に入れられ、この現在のビンの中のピクセル数を計算する開始値を表す。これは、現在のビンの中のピクセルの数を計数するために使用されるカウンタ変数が非ゼロの値、具体的にはオーバーフローの値から開始することを意味する。これは、しきい値をオーバーフローする場合にピクセルの移転が行われないことから、画像におけるピクセルの統計を保持するためだけの基準値である。
【００４２】
チェックされた非ゼロ値Ｈｉがしきい値に満たない場合、この値は次の値Ｈｉ＋１に加えられ、以下同様にして、和がしきい値よりも大きくなるまで累算器が満たされる。この状況では、それまでに加算されたピクセルの全体の和がビンＢｍを満たす。この手順は、Ｈ８におけるすべてのビンが満たされるまで続けられる。
【００４３】
この手法に基づき、ピクセルをｎビットデータから８ビットヒストグラムに割り当てる方法は、図４に示すように簡単に説明することができる。
【００４４】
図４では、
ｏｖ＝オーバーフロー、
ＡＣＣ＝累算器、
Ｎ＝元の奥行きデータにおけるビット／ピクセルの数
ｉ、インデックス＝カウンタ
Ｘｉ＝元の奥行きデータにおけるビンｉ内のピクセルの数
である。
【００４５】
従来技術において見られる線形量子化を、本発明の上記実施形態において見られる非線形量子化と比較する実験を行った。より具体的には、画像シーケンスが、線形量子化および非線形量子化のそれぞれを使用して１６ビットから８ビットに量子化され、それに従って逆量子化された。各ケースにおいて再構築された画像シーケンスのＰＳＮＲ（ピーク信号対雑音比）が計算され、比較された。これらの実験により、平均として、非線形量子化を使用したＰＳＮＲは線形量子化の場合よりも大きいことが分かった。すなわち、ＮＬＰＳＮＲ>ＬＰＳＮＲである。
【００４６】
全体的には、ＰＳＮＲは非線形量子化を使用した場合の方が良好であるが、フレームによっては、ＰＳＮＲが線形量子化の場合の方が良好である場合があるものがあることが分かった。さらなる調査により、これは、ビンの幅が過度に大きく、少数の孤立したピクセルがビンのエッジに存在し得る状況に関連し得ることが示唆された。こういった特定のビンは、ビンの加重値から離れている。加重値は、元の１６ビットに再マッピングする際の推定値を表すため、孤立したピクセルは再構築された１６ビット画像に誤差を導入し得る。加重値から離れるほど、誤差は大きくなる。
【００４７】
こういった誤差は、本発明では、ビンの幅に限度を取り入れた場合に低減することができる。実験から以下の統計が導き出された。
【００４８】
【表１】
2005341555.tif 000006
【００４９】
この観察に基づいて、しきい値を用いてＮＬ量子化器におけるビンのサイズを制限した。
【００５０】
元のｎビット奥行きマップデータが特定の分布を有する場合によっては、たとえば、結果得られるビンのいくつかが過度に大きい場合、さらなるステップが必要である。これは、Ｈ８ヒストグラムにおいて結果として得られる２５６個の各ビン（Ｂｍ）のサイズを確認するために導入されるチェック段階に関する。これは、選ばれたしきい値よりも幅が大きい大型ビンが、より小さなビンに分割されることを含意する。最終的なビンの数は２５６以下であるべきであるため、再構成された各ビン内のピクセルの数を定める新しいしきい値が計算され、再マッピングが新たに適用される。
【００５１】
このアルゴリズムの説明は以下である。
・ステップ１  ピクセルしきい値ＴＨ１ｐｉｘｅｌ＝（幅×高さ）／２５６を計算する。８ビットヒストグラムでの各ビンに、ＴＨ１ｐｉｘｅｌピクセルに関連するピクセル数を割り当てる（上記のピクセルを割り当てる方法を参照のこと）。
・ステップ２  各ビンＢ８ｉの幅をチェックする。これがしきい値ＴＨｗｉｄｔｈよりも大きい場合、分割するものとしてマークし（ＮｏＢｉｎｓＦｏｒＳｐｌｉｔ）、これらのビンに含まれるピクセル数を計算する（ＡＣＣ）。これらのビンを等幅のビンに分割する。
・ステップ３  新しいピクセルしきい値ＴＨ２ｐｉｘｅｌ＝（ＴｏｔａｌＮｏＯｆＰｉｘｅｌｓ−ＡＣＣ）／（２５６−ＮｏＢｉｎｓＦｏｒＳｐｌｉｔ）を計算する。新しい各ビンにＴＨ２ｐｉｘｅｌピクセルを割り当てる。
【００５２】
これは、ビンのサイズが、最終的な数である２５６個のビンに達するまでビンの容量（各ビン内のピクセル数）および幅に基づいて再更新される、非線形再帰的な実施であることができる。
【００５３】
各ビンごとに代表値が計算され、代表値は、ビンの平均値あるいはビンの加重平均値であることができ、これは逆量子化プロセスにおいて使用される。加重平均値は、
【００５４】
【数４】
2005341555.tif 000007
【００５５】
であり、式中、
・Ｈｉはグレーレベル値を表し、ｉ∈｛０…６５５３５｝であり、
・Ｎｉは、グレーレベル値Ｈｉを有するピクセルの数を表す。
【００５６】
第２の実施形態は、ピクセルクラスタ化を用いた非線形量子化を含む。
【００５７】
この手法では、非線形ビンのサイズは、各ビンにおける誤差測定値(error measurement)を最小化することによって決められる。元のｎビットヒストグラムでは、ピクセルは誤差測定値に基づいてビンにグループ化（クラスタ化）される。誤差は、ビン内の各ピクセルとビンの代表加重値との二乗差の総和として計算される。これは、２５６に等しい最終的なビン数に達するまでしきい値（誤差しきい値）が再更新される再帰的な実施である。
【００５８】
量子化段階において計算された加重値のアレイは、８ビット奥行きデータからｎビット奥行きデータ（ｎ>８）に再マッピングする逆量子化プロセスにおいて使用される。
【００５９】
この方法を示す流れ図を図５に示す。
【００６０】
再マッピング後のＰＳＮＲ値は、テストされた両方のビデオシーケンスにおけるすべてのフレームに関して、ＮＬ量子化器に対応するＰＳＮＲ値がそれぞれの線形量子化器に対応するＰＳＮＲ値よりも高いことを示す。ビンの幅を制限する場合にＮＬ量子化器を使用することにより、平均利得２．５ｄＢが得られる。
【００６１】
第３の実施形態では、最適なスカラー量子化のためにマックス−ロイド（Max-Lloyd）量子化器に基づくアルゴリズムを使用することができる（David S. TaubmanおよびMichael W. Marcellin著「ＪＰＥＧ２０００：画像圧縮の基礎、規格および実践（JPEG2000: Image Compression Fundamentals, Standards and Practice）」Boston, Kluwer Academic Publishers, 2002（pp. 98-101）を参照のこと）。
【００６２】
量子化器は、ｎビット奥行きマップ（ｘ）を入力として取り入れ、これを、歪みＤが最小化されるように２５６レベル（各ビンＢｉに対応するＬｉ）にマッピングする。但し、
Ｑ（ｘ）∈｛Ｌ１，Ｌ２，…，Ｌ２５６｝
Ｄ＝∫（ｘ−Ｑ（ｘ））２ｆ（ｘ）ｄｘ
である。
【００６３】
量子化器は、次の２つの条件を満たす場合に最適である。
（ｉ）Ｑは最近傍の量子化器でなければならない。これは、いかなる実際のｘが量子化された値Ｑ（ｘ）も、ｘに対して他のいかなる量子化レベルとも少なくとも同じ近さにある、｛Ｌ１，Ｌ２，…，Ｌ２５６｝の中の量子化レベルでなればならないことを意味する。すなわち、以下の式が成り立つ。
【００６４】
【数５】
2005341555.tif 000008
【００６５】
（ｉｉ）各量子化レベルは、そのレベルに量子化されたすべてのサンプルの平均でなければならない。すなわち、以下の式が成り立つ。
Ｌｊ＝ａｖｅｒａｇｅ＿ｏｆ｛Ｘｉ：Ｑ（Ｘｉ）＝Ｌｊ｝，ｊ＝１，…，２５６
【００６６】
上記表記を用いると、ロイド−マックスアルゴリズムの説明は以下のようになる。
１．重心の値の集合であると仮定される初期コードＣ＝｛Ｌ１，Ｌ２，…，Ｌ２５６｝を選ぶ。
２．各ビンの境界を連続したＬｉ間の中点として計算する。
ｔｑ＝（Ｌｑ＋Ｌｑ＋１）／２
３．重心
【００６７】
【数６】
2005341555.tif 000009
【００６８】
の値を再計算する。
４．歪みＤｎを
Ｄｎ＝∫（ｘ-Ｑ（ｘ））２ｆ（ｘ）ｄｘ
として計算する。
５．（Ｄｎ−１−Ｄｎ）／Ｄｎ＜εである場合、停止し、その他の場合、ｎ＝ｎ＋１に設定し、ステップ２に進む。
【００６９】
さらなる実施態様では、マッピングの局所調整（空間領域における）を取り入れて、
・奥行き推定の品質
・領域におけるテクスチャ量
・奥行きマップにおけるエッジ（これは、ＲＯＩ符号化に基づく手法の代替である）
を考慮に入れることができる。
【００７０】
ＭＰＥＧにおけるような符号器復号器でのこれに対する可能な１つのメカニズムは、画像ヘッダにおいてマッピングのセットを予め規定し、マクロブロックレベルで切り替えるというものである。
【００７１】
本明細書において提案する非線形量子化／逆量子化方法は、ビデオシーケンス中の各フレーム／フィールドごとに１つずつ、複数のヒストグラムを計算することに頼る。逆量子化器に転送する情報量（加重値のアレイ）を減らすために、対応する平均加重値のアレイを使用して、平均化されたヒストグラムを計算することができる。この場合、ビデオシーケンス中のすべてのフレーム／フィールドは、逆量子化プロセスにおいて平均加重ベクトルを参照する。別の手法は調整されたヒストグラムを考えるものであり、これは、ビデオシーケンス中の最初のフレーム／フィールドに対応するヒストグラムを計算し、フレーム間の差分に基づいて次のフレームのヒストグラムを調整するだけでよいことを意味する。後者の場合、１つの可能な実施態様は、上述したロイド−マックス量子化器を直前の量子化マップに初期化するというものである。適正な歪み基準値（たとえば、対応する再構築値または量子化境界のＭＳＥ）に基づき、システムは、マッピングの更新が必要であるか否かを判断し、必要であればマッピングの更新を別様に送る。
【００７２】
本明細書において提案する奥行きマップの非線形量子化は、奥行きと変位、ひいては再構築された画像との間の非線形的関係を利用するよう意図される。この非線形量子化は、スケーリング関数の使用による奥行きマップのダイナミックレンジの再構築に基づいて、Krishnamurty等により、R. Krishnamurthy, B. Chai, H. Tao, およびS. Sethuraman著「画像ベースのレンダリングのための奥行きマップの圧縮および伝送（Compression and transmission of depth maps for image-based rendering）」Proc. of International Conference on Image processing (ICIP' 2001), Thessaloniki, Greece, Oct. 2001において提案された方法と組み合わせることができる。
【００７３】
第１の実施形態に関して説明したような画像シーケンスおよびＰＳＮＲの測定に関する、第２および第３の実施形態を使用した実験により、ＮＬ量子化器を使用したＰＳＮＲは線形量子化器と比較して大きいことが明らかになった。一例では、所与の画像シーケンスに対して、ピクセルクラスタ化を用いたＮＬ量子化器は、線形量子化器と比較して平均しておよそ１２ｄＢの改良が見られ、スカラー最適化量子化器によりさらに０．７ｄＢの改良が得られた。
【００７４】
さらなる実験には、標準的な符号器復号器（Ｈ２６３／ＤＣＴベースの符号器、またはウェーブレット(wavelet)ベースの符号器等）を用いた８ビット奥行きマップの符号化、また同様に復号および元の１６ビットへの逆量子化が含まれた。一例では、線形量子化と比較して、符号化ループに非線形量子化を使用した場合、およそ０．６ｄＢの平均利得が見られた。
【００７５】
本明細書において、画像という語は、文脈から明らかな場合を除き、全体画像または画像の領域を意味する。同様に、画像の領域も全体画像を意味し得る。画像はフレームまたはフィールドを含み、静止画、またはフィルムやビデオ等の画像シーケンス中もしくは関連する画像群内の画像に関連する。
【００７６】
画像は、グレースケール画像であってもよく、カラー画像であってもよく、また別のタイプのマルチスペクトル画像、たとえば、ＩＲ、ＵＶ、また他の電磁画像、あるいは音響画像等であってもよい。
【００７７】
本発明は、たとえば、適したソフトウェアおよび／またはハードウェアの変更を行ったコンピュータシステム、また同様に符号器および／または復号器システムにおいて実施することが可能である。本発明の諸態様は、ソフトウェア形態および／またはハードウェア形態、または特定用途向けの装置で提供することができ、またチップ等の特定用途向けモジュールを提供することもできる。本発明の実施形態による装置におけるシステムの構成要素は、他の構成要素から離れて設けることも可能である。
【図面の簡単な説明】
【００７８】
【図１】従来技術による方法を示す図である。
【図２】従来技術によるシステムのブロック図である。
【図３】本発明の第1の実施形態による方法を示す図である。
【図４】本発明の第1の実施形態による方法を示す流れ図である。
【図５】本発明の第２の実施形態による方法の流れ図である。
【符号の説明】
【００７９】
Ｗ１、Ｗ２、…、Ｗｉ、…、Ｗｎ  ビンの幅。
【図１】
2005341555.tif 000010
【図２】
2005341555.tif 000011
【図３】
2005341555.tif 000012
【図４】
2005341555.tif 000013
【図５】
2005341555.tif 000014