(57)【要約】ディジタル画像符号化装置が、一般的な原画像にそれぞれのフィルタ帯域での空間フィルタ演算を適用することによって得られる、空間フィルタ処理した画像の表現を生成する。フィルタ処理した画像中の画像情報の、フィルタ処理した画像中の位置及びフィルタ帯域への依存性は、少なくともフィルタ処理した画像中の位置及びフィルタ帯域を座標として有する空間内の面を規定する情報によって表現される。前記面の形状及び位置は、この依存性を少なくとも部分的に規定する。前記装置は、原画像を画像中の位置の関数として表現する画像信号を受信する。そして前記装置は、一組の制御点の座標値を選択する。この選択は、座標値のフィルタ帯域成分を画像信号に応じて選択することを含む。この選択は、原画像から生じる面の真のバージョンを近似した近似バージョンによって、近似の品質を最適化する。
2007527155.tif 000002
【特許請求の範囲】
【請求項１】
一般的な原画像にそれぞれのフィルタ帯域での空間フィルタ演算を適用することによって得られる空間フィルタ処理した画像の表現を生成するディジタル画像符号化装置であって、前記フィルタ処理した画像中の画像情報の、前記フィルタ処理した画像中の位置及び前記フィルタ帯域への依存性は、少なくとも前記フィルタ処理した画像中の位置及び前記フィルタ帯域を座標として有する空間内の面を規定する情報によって表現され、前記面の形状及び位置が少なくとも部分的に前記依存性を規定し、前記装置が、
前記原画像を画像領域中の位置の関数として表現する画像信号を受信する入力と；
計算ユニットとを具えているディジタル画像符号化装置において、
前記原画像から生じる前記面の真のバージョンが、一組の制御点によって表現される前記面の近似バージョンによって近似され、前記計算ユニットが、前記一組の制御点の座標値を、該座標値のフィルタ帯域成分を含めて、前記近似の品質が最適化されるように前記画像信号に応じて選択すべく構成されていることを特徴とするディジタル画像符号化装置。
【請求項２】
前記制御点の少なくとも１つを、当該制御点の座標が、前記原画像の前記フィルタ処理した画像に対する影響を通して前記原画像に依存するパラメータを有する所定の式または一組の式を満足するように選択し、前記座標は、前記式または一組の式を、前記空間内で前記少なくとも１つの制御点に収束する点の列について反復的に評価することにより、前記式または一組の式を解くことによって決まることを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項３】
前記面が、前記フィルタ処理した画像中の領域間の境界の形状及び位置を、当該フィルタ処理した画像のフィルタ帯域の関数として表現し、前記領域のそれぞれを、これらの領域における曲率行列の行列式の正符号に基づいて選択することを特徴とする請求項２に記載のディジタル画像符号化装置。
【請求項４】
前記制御点を、前記領域内の画像情報が極値を有する点の位置を計算することによって位置決めすることを特徴とする請求項３に記載のディジタル画像符号化装置。
【請求項５】
それぞれの前記領域についてのそれぞれの前記点の列がなす線が出合う点、及び／またはこれらの線が始まる点のフィルタ帯域の値を計算することによって前記制御点を位置決めし、前記線の各々が、それぞれの前記領域用のそれぞれのフィルタ帯域値に対する特定画像位置の集積を形成し、前記特定画像位置において、画像情報を対応するフィルタ帯域でフィルタ処理した際に、前記画像情報が画像位置の関数として極値を有することを特徴とする請求項４に記載のディジタル画像符号化装置。
【請求項６】
前記面が、前記フィルタ処理した画像中の領域間の境界の形状及び位置を、当該フィルタ処理した画像のフィルタ帯域の関数として表現し、前記領域のそれぞれを、当該領域内の画像特性の値に基づいて選択し、隣接する前記領域間では前記画像特性の値が変化することを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項７】
前記画像特性が、画像位置の関数としての画像情報の曲率の符号であることを特徴とする請求項６に記載のディジタル画像符号化装置。
【請求項８】
生成される前記フィルタ処理した画像の表現が、前記領域内の画像情報の二次導関数を位置の関数として表現する情報を含み、該情報は、複数のフィルタ帯域値について共通に、前記面毎に提供される二次導関数を表現することを特徴とする請求項７に記載のディジタル画像符号化装置。
【請求項９】
前記制御点の少なくとも一部を、前記面の真のバージョンのスケルトンの分岐点にほぼ一致すべく選択することを特徴とする請求項６に記載のディジタル画像符号化装置。
【請求項１０】
生成される前記フィルタ処理した画像の表現が、前記領域内の画像情報の二次導関数を位置の関数として表現する情報を含み、該情報は、分岐に沿った複数のフィルタ帯域値について共通に、一対の分岐点間のスケルトンにおける分岐毎に提供される二次導関数を表現することを特徴とする請求項７に記載のディジタル画像符号化装置。
【請求項１１】
前記制御点の選択が、前記面の真のバージョンのトポロジ的な特徴点を前記制御点として選択することから成ることを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１２】
前記制御点の選択が、原画像の一領域に対する提案制御点を追加すべく選択し、これに続いて、前記提案制御点の座標のフィルタスケール成分を探索することを含めて、前記提案制御点を前記空間内に配置すべき位置を探索することから成ることを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１３】
前記面の近似バージョンを決める幾何学的形状を、前記制御点間を補間することによって実質的に表現し、少なくとも１つの前記制御点の選択が、前記少なくとも１つの制御点の位置を、該位置が、追加的な制御点を配置可能な最大距離を実質的に最大化するように探索し、これにより、前記少なくとも１つの制御点から前記追加的な制御点までの、前記空間内の前記少なくとも１つの制御点の互いに対向する側上での補間が、前記面の真のバージョンの幾何学的形状を、前記互いに対向する両側上での補間によって要求精度で近似することから成ることを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１４】
前記空間が追加的に、画像情報値を座標として有し、前記面上の点の画像位置、フィルタ帯域、及び画像情報座標が、前記点のフィルタ帯域座標でフィルタ処理した画像中の前記点の画像位置座標を有する画素位置が前記点の画像情報座標を画像情報値として有することを表わすことを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１５】
前記制御点を実質的に、前記面の真のバージョンの最大曲率の点に選択することを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１６】
前記制御点を実質的に、前記面の近似バージョンと前記面の真のバージョンとの間の近似誤差を、最大でも所定の誤差に低減するために必要な制御点の数を最小化すべく選択することを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１７】
最大でも所定数の前記制御点を用いて前記面の近似バージョンを規定する際に、前記制御点の座標を実質的に、前記面の近似バージョンと前記面の真のバージョンとの間の近似誤差を最小化すべく選択することを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１８】
ディジタル画像の表現が、画像の時系列を時間の関数として表現し、前記空間内の座標が時間座標を含み、前記制御点の座標の時間成分を前記画像信号に応じて選択し、この選択が、原画像から生じる前記面の真のバージョンの前記面の近似バージョンによる近似を最適化することを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１９】
ディジタル画像の表現が、時間フィルタ処理した画像を時間及び時間フィルタ帯域の関数として表現し、前記空間内の座標が時間フィルタ帯域座標を含み、前記制御点の座標の時間フィルタ帯域成分を前記画像信号に応じて選択し、この選択が、原画像から生じる前記面の真のバージョンの前記面の近似バージョンによる近似を最適化することを特徴とする請求項１８に記載のディジタル画像符号化装置。
【請求項２０】
一般的な原画像にそれぞれのフィルタ帯域での空間フィルタ演算を適用することによって得られる空間フィルタ処理した画像を表現するディジタル画像表現から表示画像を生成するディジタル画像生成装置であって、前記フィルタ処理した画像中の画像情報の、前記フィルタ処理した画像中の位置及び前記フィルタ帯域への依存性は、少なくとも前記フィルタ処理した画像中の位置及び前記フィルタ帯域を座標として有する空間内の面を規定する情報によって表現され、前記面の形状及び位置が少なくとも部分的に前記依存性を規定するディジタル画像生成装置において、
選択したフィルタ帯域値、及び該フィルタ帯域値をフィルタ帯域座標値として有する前記空間内の位置の行列の詳細記述を受信する入力であって、前記行列内の各位置が前記表示画像中のそれぞれの画素位置に対して規定される入力と；
前記行列内の位置の、制御点に対する相対位置、及び、選択したフィルタ帯域値と、使用する前記制御点毎に個別に計算された前記制御点のフィルタ帯域座標との差を用いて、前記表示画像の画素値を計算すべく構成された画像値計算回路と
を具えていることを特徴とするディジタル画像生成装置。
【請求項２１】
回転、スケーリング、及び／または平行移動、及び／またはこれらの組合せを含むグループから選択した変換の詳細記述を受信する入力と；
前記行列内の位置の前記制御点に対する相対位置を用いた画素値の計算の前に、前記行列内の位置の座標に対する前記制御点の変換を適用すべく構成された画像値計算ユニットと
を具えていることを特徴とする請求項２０に記載のディジタル画像生成装置。
【請求項２２】
前記ディジタル画像表現が、画像の時系列を時間の関数として表現し、前記空間内の座標が時間座標を含み、前記制御点は独立して選択可能な時間座標値を有し、
前記入力は、選択した時間値を受信すべく構成され；
前記画像値計算回路は、前記行列内の位置の、前記制御点に対する相対位置、及び、前記選択した時間値と、使用する前記制御点毎に個別に計算された前記制御点の時間座標成分との差を用いて、前記表示画像の画素値を計算すべく構成されている
ことを特徴とする請求項２０に記載のディジタル画像生成装置。
【請求項２３】
前記画像の表現が、時間フィルタ処理した画像を時間及び時間フィルタ帯域の関数として表現し、前記空間内の座標が時間フィルタ帯域座標を含み、前記制御点は、独立して選択可能な時間フィルタ帯域座標値を有し、
前記入力は、選択した時間フィルタ帯域値を受信すべく構成され；
前記画像値計算回路は、前記行列内の位置の、前記制御点に対する相対位置、及び、前記選択した時間フィルタ帯域値と、使用する前記制御点毎に個別に計算された前記制御点の時間フィルタ帯域座標成分との差を用いて前記表示画像の画素値を計算すべく構成されている
ことを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項２４】
一般的な原画像にそれぞれのフィルタ帯域での空間フィルタ演算を適用することによって得られる空間フィルタ処理した画像を表現する方法であって、前記フィルタ処理した画像中の画像情報の、前記フィルタ処理した画像中の位置及び前記フィルタ帯域への依存性は、少なくとも前記フィルタ処理した画像中の位置及び前記フィルタ帯域を座標として有する空間内の面を規定する情報によって表現され、前記面の形状及び位置が少なくとも部分的に前記依存性を規定するディジタル画像符号化方法において、
原画像から生じる前記面の真のバージョンを前記面の近似バージョンによって近似するステップであって、前記面の近似バージョンの位置及び形状は、前記空間内の一組の制御点によって記述されるステップと；
前記制御点の座標値を、該座標値のフィルタ帯域成分を含めて、前記面の真のバージョンの前記面の近似バージョンによる近似の品質が最適化されるように一般的な原画像の内容に応じて選択するステップと
を具えていることを特徴とするディジタル画像符号化方法。
【請求項２５】
前記画像の表現が、画像の時系列を時間の関数として表現し、前記空間内の座標が時間座標を含み、前記制御点の座標の時間成分を前記画像信号に応じて選択し、この選択が、原画像から生じる前記面の真のバージョンの前記面の近似バージョンによる近似を最適化することを特徴とする請求２４に記載のディジタル画像符号化方法。
【請求項２６】
請求項２３に記載の方法をプログラム可能なコンピュータに実行させる機械語命令のプログラムを具えたコンピュータ読取可能媒体。
【請求項２７】
一般的な原画像にそれぞれのフィルタ帯域での空間フィルタ演算を適用することによって得られる空間フィルタ処理した画像を表現するディジタル画像表現から表示画像を生成する方法であって、前記フィルタ処理した画像中の画像情報の、前記フィルタ処理した画像中の位置及び前記フィルタ帯域への依存性は、少なくとも前記フィルタ処理した画像中の位置及び前記フィルタ帯域を座標として有する空間内の面を規定する情報によって表現され、前記面の形状及び位置が少なくとも部分的に前記依存性を規定する表示画像生成方法において、
選択したフィルタ帯域値、及び前記フィルタ帯域値をフィルタ帯域座標値として有する前記空間内の位置の行列を規定するステップであって、前記行列内の各位置が前記表示画像中のそれぞれの画素位置に対して規定されるステップと；
前記行列内の位置の、前記面の真のバージョンの近似を記述する制御点に対する相対位置、及び、選択したフィルタ帯域値と、使用する前記制御点毎に個別に計算した前記制御点のフィルタ帯域座標との差を用いて、前記表示画像の画素値を計算するステップと
を具えていることを特徴とする表示画像生成方法。
【請求項２８】
回転、スケーリング、及び／または平行移動、及び／またはこれらの組合せを含むグループから選択した変換を詳細記述するステップと；
前記行列内の位置の前記制御点に対する相対位置を用いた画素値の計算の前に、前記行列内の位置の座標に対する前記制御点の変換を適用するステップと
を具えていることを特徴とする請求項２７に記載の表示画像生成方法。
【請求項２９】
前記ディジタル画像表現が、画像の時系列を時間の関数として表現し、前記空間内の座標が時間座標を含み、前記制御点は独立して選択可能な時間座標値を有し、
前記行列内の位置の、前記制御点に対する相対位置、及び、一連のフレーム時間値と、使用する前記制御点毎に個別に計算した前記制御点の時間座標成分との差を用いて、前記一連のフレーム時間値に対する前記表示画像の画素値を計算するステップを具えていることを特徴とする請求項２７に記載の表示画像生成方法。
【請求項３０】
請求項２７に記載の方法をプログラム可能なコンピュータに実行させる機械語命令のプログラムを具えたコンピュータ読取可能媒体。
【請求項３１】
一般的な原画像にそれぞれのフィルタ帯域での空間フィルタ演算を適用することによって得られる空間フィルタ処理した画像を表現するディジタル画像の表現を含むコンピュータ読取可能媒体において、
前記フィルタ処理した画像中の画像情報の、前記フィルタ処理した画像中の位置及び前記フィルタ帯域への依存性は、少なくとも前記フィルタ処理した画像中の位置及び前記フィルタ帯域を座標として有する空間内の面を規定する情報によって表現され、前記面の形状及び位置が少なくとも部分的に前記依存性を規定し、前記媒体が、前記面の近似バージョンを規定する制御点の座標情報を記憶し、前記座標情報が、各前記制御点のフィルタ帯域座標成分を、他のすべての制御点のすべてのフィルタ帯域座標成分から独立して設定可能にする方法で表現されることを特徴とするコンピュータ読取可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理、特にディジタル画像表現に関するものである。
【背景技術】
【０００２】
ディジタル画像表現技術は、画像を有限個の係数組で表現する。単純な表現技術は、画像輝度及び／または量子化した画素位置から取得した色の単純な値を用いる。ディジタル画像表現技術のより複雑な例は、結果的な可視のアーティファクト（歪像）を最小にしつつ画像を表現するために用いる係数データの量を低減する圧縮技術である。ＭＰＥＧ及びＪＰＥＧ規格は、こうしたディジタル画像表現技術の例を提供する。
【０００３】
従来のディジタル画像表現は、特定の表現目的で設計されている。ディスプレイは一般に、離散画素位置ｒi（ここで添字ｉは、離散要素の組の異なる要素の存在を示すために用いる）は、位置ｒの関数としての「理想的な」画像輝度及び／または画像色Ｉ(ｒ)をアンチエリアシング（エリアシング（折り返し歪み）防止）フィルタ処理（フィルタリング）したバージョンであるＩw(ｒ)のサンプルを表わし、次式の通りである：
Ｉw(ｒ)＝∫dｒ’Ｈw(ｒ’)Ｉ(ｒ−ｒ’)
サンプル(ｒi)＝Ｉw(ｒi)
【０００４】
ここに、Ｈw(ｒ’)は、フィルタ帯域”ｗ”なるアンチエリアシング・フィルタのカーネル（核）（一般にローパス（低域通過）フィルタのカーネル）である。従来のディジタル画像表現技術は、サンプリング位置ｒiの格子（グリッド）が事前に知られている比較的柔軟性のない表示目的に適するに過ぎない。サンプリング及び／または圧縮によって、表現画像がこの所定方法で表示される際にはっきり見えないものと想定される情報は棄却される。その結果、画像をこの所定方法以外の方法で表示しなければならない場合には、これらの表現技術は満足な結果を与えない。
【０００５】
特に、表示前に画像を、例えば回転、平行移動、またはスケーリング（拡大縮小）によって変換する必要がある場合には、これらのディジタル画像表現技術は不満足な画像表示をもたらし得る。生じ得る問題の例として、ユーザが自分自身の撮影者として振る舞い、画像情報を見る方法を決定可能であるべき応用が考えられる。この場合には、ユーザは仮想的なカメラの位置及び向きに変化を与えること、ズームイン（望遠）またはズームアウト（広角）することが可能であるべきである。ディジタル画像表現から対応する画像を生成するためには、圧縮された画像データによって表現される画像に種々の変換を加える必要がある。即ち、理想的な画像である画像Ｉ(ｒ)の変換されたバージョンＩT(ｒ)に対応する画素値を次式により決定する必要がある：
ＩT(ｒ)＝Ｉ(Ｔ(ｒ))
ここに、Ｔ(ｒ)は、任意の変換Ｔが位置ｒをマッピング（対応付け）する画像位置である。表示目的では一般に、この変換画像のサンプルが必要になり、次式の通りである：
サンプル(ｒi)＝∫dｒ’Ｈw(ｒ’)Ｉ(Ｔ(ｒi)−ｒ’)
【０００６】
必要なアンチエリアシング・フィルタの帯域（フィルタ関数Ｈw(ｒ’)の帯域）は、特に、変換がサンプリング点間の距離を変化させるスケーリングを含む場合には、サンプリング位置を変換した格子上の画素位置Ｔ(ｒi)間の距離に依存する。一部の具体例では、例えば局所的にぼかしの増加を達成するために、あるいは非線形にゆがんだ格子の場合には、帯域ｗを画素位置ｒiの関数ｗ(ｒi)として選択することさえもできる。この種の具体例では、変換は、変換のスケーリング（拡大縮小）率に従って帯域を変換することも含む。
【０００７】
大部分のディジタル画像表現技術、特に圧縮技術は、変換画像の表示を実現する目的には十分適していない、というのは、近似画像を所定の画素格子で表示する際の近似誤差の低い可視性についての仮定に基づき、「理想的な」画像関数Ｉ(ｒ)の近似Ｉ(ｒ|Ｃ)を与える係数組Ｃを用いて画像を表現するからである。
【０００８】
例えば、所望の変換画像を実現する１つの方法は、逆圧縮（伸長）した画像のサンプル値の集合{Ｉ(ｒ|Ｃ)}を決定し、これに続いて、変換画像についての画素値の集合Ｔ{Ｉ(ｒ|Ｃ)}を、上記逆圧縮した画像のサンプル{Ｉ(ｒ|Ｃ)}から算出する。しかし、このことは一般に、例えば、係数組Ｃによる画像Ｉ(ｒ)の近似中に仮定したサンプリング格子が、変換画像の表示中に使用する格子と一致しないために、理想的な変換画像ＩT(ｒ)と算出されたＴ{Ｉ(ｒ|Ｃ)}との間にアーティファクト（目に付く相違）をもたらす。また、変換画像の算出は相当の処理能力を必要とし、このことはこうした技術をリアルタイム（実時間）の民生用途に用いにくくする。
【０００９】
ビデオ信号（理想的な関数Ｉ(ｒ，ｔ)に対応する動画像）の場合には、時間的変換（再生速度の変更）について、あるいは時間的変換と空間的変換との組合せ（例えば、カメラの向きを時間と共に回転させること）について同じ問題が生じる、というのは、画像は通常、所定のサンプリング周波数で時間的にサンプリング（標本化）されるからである。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、画像を表現するための過大な量のデータ及び／または変換を実行するための過大な量の演算を必要とせずに、生成される可視のアーティファクトを最小限にしつつ、変換画像または画像列を生成することを可能にするディジタル画像表現を提供することにある。
【課題を解決するための手段】
【００１１】
画素ベースのディジタル画像表現の代案は、例えば、異なる画像特性を有する画像領域間のエッジ（端）を形成する曲線を記述するパラメータの意味の係数Ｃを用いることによる代わりに、座標ベースの係数Ｃを用いて画像を表現する。回転または平行移動された画像が必要である際には、変換された係数組Ｔ(Ｃ)を得て、これに続いて、係数Ｔ(Ｃ)に基づいて変換した座標を用いて逆圧縮する（表示に必要な関数値Ｉ(ｒ|Ｔ(Ｃ))を決定する）ことによって、この画像を取得することができる。このようにして、位置ｒiの量子化格子から画像サンプルＩ(ｒi)を変換することに伴うアーティファクトを回避することができる、というのは、座標ベースの係数Ｃはずっと少ない量子化誤差を伴って変換することができるからである。
【００１２】
この表現では、画像変換の実現は、変換の合成特性をほぼ保存する。連続する２つの変換Ｔ1、Ｔ2が合成変換Ｔ3に相当する場合には（例えば、Ｔ1、Ｔ2がそれぞれ角度φ1、φ2にわたる回転であり、Ｔ3が角度φ1＋φ2にわたる回転である場合には）、小さい丸め誤差を除けば、次式のようになる：
Ｔ3(Ｃ)＝Ｔ1(Ｔ2(Ｃ))
【００１３】
このことは、変換画像についての画素値Ｔ{Ｉ(ｒ|Ｃ)}を、逆圧縮した画像の画素値の集合{Ｉ(ｒ|Ｃ)}から計算することによって変換した画像を近似する方法と対比すべきである。この場合には、変換Ｔ3による画素値の計算は一般に、まず変換Ｔ2を適用して得られた画素値に変換Ｔ1を適用することによる画素値の計算と比べて大きく異なる結果をもたらす。これに加えて、係数Ｃを変換することによって、逆圧縮した画像Ｉ(ｒ|Ｃ)を変換するのに必要な延長的な計算を回避することができる。
【００１４】
【非特許文献１】Burt P. J.他：”The Laplacian Pyramid as a Compact Image Code”, IEEE Transaction on Communications
【００１５】
他の代案はスケール空間表現の使用であり、これについてはBurt P. J.他：”The Laplacian Pyramid as a Compact Image Code”, IEEE Transaction on Communications、米国ニューヨーク州のIEEE Inc.発行のvol. Com 31, No. 4.1、1983年4月の532〜540ページに記載されている。この場合には、順に小さくなる空間帯域”ｗ”でフィルタ処理したバージョンの一連の画像を用いる。各バージョンの輝度及び／または色は関数Ｉw(ｒ)に対応し、ここにｗは関連するフィルタの帯域である。通常のディジタル画素のサンプルＣ(ｗi)は、フィルタスケール（尺度）に対応する分解能（解像度）で位置ｒiの格子においてサンプリングした、離散した帯域ｗiにおけるバージョンＩwi(ｒ)に対して得られる。一般に、係数Ｃ(ｗi)は、次式の差分画像：
Ｉwi(ｒ)−Ｉ(ｒ|Ｃ(ｗi-1))
から得られ、これは、次のより狭い空間帯域について得られた、フィルタ処理したバージョンＩw(i-1)(ｒ)についての、逆圧縮した結果のＩ(ｒ|Ｃ(ｗi-1))を減算した後に得られる。
【００１６】
この技術によれば、逆圧縮は、最狭帯域でフィルタ処理したバージョンから始まり最広帯域でフィルタ処理したバージョンまでの異なるバージョンの画像Ｉwi(ｒ)の再構成を含む。より低分解能の逆圧縮は、より広帯域でフィルタ処理したバージョンをいくつか無視することによって実現することができる。
【００１７】
この表現形式により、異なるローパスフィルタ処理を施したバージョンに対応する丸めた帯域値ｗiで進めるので十分であれば、画素位置間の距離の変化に伴う、関係するアンチエリアシング・フィルタ処理の帯域の変化を、逆圧縮中に、逆圧縮した画像をフィルタ処理する必要なしに表わすことができる。この種の変換については、アーティファクトが回避され、変換はフィルタ処理のための大量の演算を含まない。
【００１８】
しかし、曲線ベースのディジタル画像表現も、スケール空間（空間をスケーリングする）表現技術も、任意の変換を実行しなければならない際には、変換画像中のアーティファクトを防ぐことができない。例えば、エッジを表現するために使用する曲線の選択は通常、特定スケール（尺度）の表示を想定している。圧縮データを導出する元の画像は画素ベースのセンサで捕捉するので、この種の最大解像度の曲線は画素境界に追従し、変換が、格子ベースの表現について生じるのと同じ問題を生じさせる、という結果を伴う。アーティファクトを回避するために、通常は、圧縮中に、エッジをより低解像度、即ち意図するディスプレイのスケールに応じて選択した解像度に合わせることを行う。他のスケールの表示を実現しなければならない際には、曲線を適応させるための演算が必要になり、アーティファクトが生じ得る。これに加えて、エッジの適応は、エッジによって区切られる画像セグメントの表示においてアーティファクトを生じさせ得る。スケール空間（空間をスケーリングして）圧縮した画像に対する回転の適用は、単一スケールで圧縮した画像と同種のアーティファクトをもたらし得る。
【００１９】
この状況の改善は、スケール空間ベースの表現と座標バースの表現とを組み合わせることによって実現することができ、例えば、順に小さくなる空間帯域ｗiでフィルタ処理したバージョンの画像の各々を、関連するフィルタ処理バージョンの画像中のエッジの座標ベースの係数組Ｃ(ｗi)のそれぞれで表現することによる。しかし、このことは、あり得るすべての帯域ｗiをカバーするために、相当量のデータを必要とし、圧縮はほとんど論外であるくらい大量である。これに加えて、異なる帯域ｗiの間隔が近くない場合には、この技術は、前記フィルタ処理したバージョンの画像の１つの帯域ｗiに一致しない帯域ｗにおいてフィルタ処理帯域が必要である場合には、アーティファクトを回避するための演算をさらに必要とする。
【００２０】
本発明の目的はとりわけ、最小のアーティファクトで任意のフィルタスケールに対応する画像を得ることを可能にする効率的な種類の画像を提供することにある。
【００２１】
本発明の目的はとりわけ、変換バージョンの画像を効率的かつ最小のアーティファクトで生成することを可能にすることにある。
【００２２】
本発明の目的はとりわけ、変換表現を画素データのアレイに変換する前に、情報の損失なしに、そして可視のアーティファクトを過度に生じさせることなしに、回転、スケーリング及び／または平行移動のような変換を画像表現に適用することを可能にすることにある。
【００２３】
本発明の目的はとりわけ、まず画像を画素データのアレイに変換することなしに、そして過度のアーティファクトを生じさせることなしに画像変換を実行することのできる画像表現形式を提供することにある。
【００２４】
本発明の目的はとりわけ、まず画像を画素データのアレイに変換することなしに、そして過度のアーティファクトを生じさせることなしに画像変換を実行することのできる方法で、入力画像を、画像を表現するデータに変換する方法及び装置を提供することにある。
【００２５】
本発明の目的はとりわけ、まず画像を画素データのアレイに変換することなしに、そして過度のアーティファクトを生じさせることなしに画像変換を実行することのできる方法で画像を表現する画像表現から導出した画像を表示する方法及び装置を提供することにある。
【００２６】
本発明による装置は請求項１に記載されている。本発明は、一般的な原（ソース）画像にそれぞれのフィルタ帯域でのフィルタ処理演算を適用することによって得られる（しかし、必ずしも前記表現から得られる必要はない）ｒ及びｗの関数Ｉ(ｒ，ｗ)としての、フィルタ処理した画像Ｉw(ｒ)の表現を利用する。この表現は、Ωと称する多次元空間内の面Ｓの記述を利用し、この記述は少なくとも、画像中の位置”ｒ”及びフィルタ帯域”ｗ”を座標として有する。空間Ωの次元がｎであれば、原画像の輝度については、面ＳはＲnからＲへのマッピング（写像）である。カラー画像等については、ＳはＲnからＲ3へのマッピングである。面Ｓは、画像情報（即ち、輝度及び／または色の値）の位置ｒ及び帯域ｗへの依存性を表わす。この画像表現では、面Ｓの形状及び位置は、離散した制御点の集合の座標を指定する情報によって表現される。これらの制御点の位置は、そのフィルタ帯域座標成分を含めて、原画像の内容に応じて、面Ｓの近似の品質を最適化するように選択する。
【００２７】
少なくとも１つの種類の制御点の最適位置は、例えば制御点の座標の所定の式のルートによって規定され、ここでこの式のパラメータは、フィルタ処理した画像の内容、及びこれらの画像のフィルタ帯域への依存の仕方に依存する。こうした式は、例えばフィルタ帯域値が面Ｓ上で局所的に極端であるか否かを表現することができる。フィルタ処理した画像は一般的な原画像から決めることができるので、こうした式のパラメータはソース画像の内容で表現することができる。このことは、完全にフィルタ処理した画像を計算することなしに、あるいは、実際にまず面の位置を決定することさえもなしに、この種の制御点を探索することを可能にする。１つの好適例では、必要な制御点に収束する、空間内の逐次的な一連の点についての局所的評価を用いることができる。
【００２８】
例えば、面Ｓは、フィルタ処理した画像Ｉw(ｒ)における互いに異なる画像特性を有する領域間の、複数位置ｒをなす境界が、フィルタ帯域ｗの関数として変化する様子を表現することができる。この場合には、面Ｓを記述することに加えて、前記表現は、前記領域内の位置ｒに対するフィルタ処理した画像Ｉw(ｒ)を算出するために使用可能な特性を指定する特性情報も含むことが好ましい。この特性情報は、フィルタ帯域値毎に個別にではなく、面Ｓ内に含まれるフィルタ帯域値”ｗ”の範囲に対して共通に指定することが好ましい。領域を区別するために使用可能な特性の例は、フィルタ処理した画像Ｉw(ｒ)の画像情報（例えば輝度）の、画像中の位置ｒの関数としての曲率の符号である。知られているように、二次元位置の関数としての曲率は、位置に対する二次導関数の行列（ヘッシアン（Hessian）行列と称される）によって表わすことができる。直接または間接的に隣接する位置の領域は、例えばこの行列の両固有値が同符号を有する所に選択することができる。この場合には、上記二次導関数の平均的な大きさは、異なるフィルタ帯域でフィルタ処理した画像に対して共通に、空間における前記面の内部に含まれる部分内の点についての表現で指定することができる。
【００２９】
他の例としては、面Ｓを、画像情報値（例えば輝度）を座標として有するより多次元の空間内の面とすることができる。この場合には、面Ｓ上の点が位置の値、フィルタ帯域値、及び画像情報値を座標として有する際には、このことは、この点のフィルタ帯域値を有するフィルタでフィルタ処理して得られるフィルタ処理した画像は、この点の画像情報値を、前記フィルタ処理した画像中の、前記点の位置の値に等しい点における画像情報として有することを意味する。
【００３０】
本発明によれば、面Ｓの形状及び位置は、空間内で少なくとも画像中の位置及びフィルタ帯域を座標として有する有限個の制御点Ｃiの組によって表現される。制御点Ｃiは、例えば、面Ｓのスケルトン（骨格線）の分岐点とすることができる（この場合には、スケルトンから面Ｓ上の最寄りの点までの距離を、スケルトンに沿った位置の関数として指定する情報も含むことが好ましい）。他の例では、制御点Ｃiを、面Ｓ上、あるいは実質的に面Ｓにある複数の点とすることができ、これらの点間を実質的に補間することによって面Ｓを記述することができる。なお、上記制御点は好都合な表現方法で表現することができ、例えば、制御点毎に個別の座標組を用いるか、あるいは、一部の制御点を他の制御点または基準点に対するオフセット座標によって表現するか、あるいは制御点の組合せのより複雑な可逆的な関数によって表現することによる。
【００３１】
さらに、本発明によれば、制御点Ｃiの位置は、その座標のフィルタ帯域成分を含めて、原画像に応じて選択され、この選択は、表現される面Ｓが、フィルタ処理した画像を取得可能な一般的な原画像に従う「真の」面を近似する方法を最適化するように行う。「最適化」とはここでは広い意味に用いる。最適化は種々の形を採ることができる。例えば、面Ｓの真のバージョンを、最少数の制御点Ｃiで要求精度内で最適化することができるか、あるいは、所定数の制御点Ｃiで最小の近似誤差が実現される場合に、制御点のＣi位置が最適化されたと言うことができる。他の好適例では、制御点Ｃiをほぼトポロジ特徴点、例えば面Ｓのスケルトンの分岐点、面Ｓ上の最大曲率の点、等の所に選択することによって、最適近似が実現される。さらに他の好適例では、補間の精度を許容できる量以上に犠牲にすることなしに、例えば面Ｓ自体またはそのスケルトンの幾何学的形状の補間用の次に最寄りの制御点Ｃ’iを、選択した制御点から最大可能な距離に置くことができる場合に、少なくとも一部の制御点Ｃiが最適化されたと言うことができる。
【００３２】
制御点Ｃiの位置は原画像の内容に応じて選択するので、制御点の位置は、制御点Ｃiの座標のフィルタ帯域成分を含めて、画像が異なれば一般に異なる。一般に、同じ原画像についての異なる制御点Ｃiの座標も、異なるフィルタ帯域成分を有する。一般に、同じ共通フィルタ帯域座標を有する２つの異なる点Ｃiは存在しない。むしろ、各制御点Ｃiは、面の表現を最適にするように選択された、それぞれの独立したフィルタ帯域値を有する。
【００３３】
従って、画素に対する画像情報値を生成するために用いるこの種の画像表現の復号化は、互いに異なるフィルタ帯域値を有する制御点Ｃiの組合せを用いて、所定の画素位置に対する画像情報を生成することができる。一般に、復号化は、復号化画像全体にわたって、復号化画像中のサンプリング格子位置ｒiに対して、特定のフィルタ帯域値ｗについて実行する。しかし、（例えば、人物のプライバシーのために個人の顔をぼかすため、あるいは、著作権上の理由で商標を認識不能にするために）例えば局所的なぼかしを加えるために、画像の一部分をより大きい値のｗで復号化することも可能である。この逆も可能であり、例えば、画像中の特定部分に注意を引かせるために、この部分をより小さいｗの値で復号化して、より鮮鋭にして目立たせることができる。一般に、再構成帯域ｗは、ｒ、または画像列（シーケンス）についてはｔ、あるいはその両方の関数であり、即ちｗ＝ｗ(ｒ，ｔ)である。画像を復号化するために、これらの点ｐiのすべての、画像表現によって記述される面に対する相対位置が関係する。点ｐiについての、所定の画素位置ｒiに対する画像情報は一般に、画像を復号化するフィルタ帯域ｗとは異なり、かつ互いに異なるフィルタ帯域座標成分を伴う、面の制御点Ｃiによって影響される。異なる帯域成分を伴うこれらの制御点に異なる重みを与えて、異なる画素位置ｐiに対する画像情報を算出することができ、あるいは、制御点の組合せを選択し、これらの制御点間で面Ｓを補間して、所定帯域ｗに対する画素位置ｐiとすることができる。
【００３４】
好適例では、画像を復号化する前に、回転、スケーリング、または平行移動、あるいはこれらの組合せのような変換を指定することができる。これらの変換は、例えば、ユーザによる視点の選択に応じて指定することができる。これらの変換は、復号化の前に、制御点Ｃiに対する画素位置ｒiに相当する点ｐiの位置を変更することによって実行することが好ましい。即ち、変換された点Ｔ(ｐi)または逆変換された点Ｔ-1(Ｃi)は、復号化する前に計算することができる（変換の一部分を点ｐiに適用し、残りの部分を逆変換として制御点Ｃiに適用することもできる）。変換が倍率”ｆ”のスケーリング（拡大縮小）を含む場合には、点ｐiの座標のフィルタ帯域成分もこの倍率で変換することができ、あるいは、制御点Ｃiの座標のフィルタ帯域成分をこの倍率の逆数で変換することができる。
【００３５】
この変換方法の利点は、変換中に精度がほとんど損なわれないからである。各点または制御点は個別に、丸め誤差があり得ること以外に情報の損失なく、異なる座標値の点または制御点に変換される。
【００３６】
本発明の方法及び装置は、時間依存の画像、あるいは逐次的な対応する画像列に一般化することができる。この場合には、位置及びフィルタ帯域の座標成分に加えて、追加的な時間座標成分を有する空間を用いる。こうしたより多次元の空間内の面を用いて、画像中の位置、フィルタ帯域、及び時間への依存性を表現することができる。本発明の好適例によれば、これらの面を、選択した制御点を用いてディジタル画像表現に符号化し、これらの制御点の位置、及び時間座標成分も、原画像に応じて選択する。時間に依存しない画像用の技術と同等の技術を用いて、制御点の位置を選択して、画像を復号化及び／または変換することができる。従って、例えば、単に有限個の制御点の組を回転することによって、回転した画像の時系列を得ることができる。
【００３７】
別な好適例では、空間は、さらに時間フィルタ帯域座標成分を追加的に用いる。従って、任意の時刻及び時間フィルタ帯域についての画像を規定することができる。表示目的で、例えば異なる再生速度を実現するために、異なる時間フィルタ帯域を選択することができる。こうしたより多次元の空間内の面を用いて、画像中の位置、フィルタ帯域、及び時間フィルタ帯域への依存性を表現することができる。本発明の好適例によれば、選択した制御点を用いて、これらの面をディジタル画像表現に符号化することができ、これらの制御点の位置、及び時間座標成分も、原画像に応じて選択する。
【００３８】
以下、本発明のこれら及び他の目的及び利点を、図面を用いたいくつかの好適な実施例によって説明する。
【発明を実施するための最良の形態】
【００３９】
図１に、プロセッサ１０、画像メモリ１２、ディスプレイユニット１４、及びプロセッサ１０に結合された対話型制御装置１６を具えた画像表示装置を示す。
【００４０】
動作中には、画像メモリ１２は画像のディジタル表現を記憶する。ユーザは対話型制御装置１６を制御して、例えば仮想的なカメラの位置、向き、及びズーム倍率を選択することによって、画像を見る方法を選択する。プロセッサ１０は、ユーザによって行われた選択についての情報を受け取る。この選択により、プロセッサ１０は、ディスプレイユニット１４によって見ることのできる画像を生成するために画像を変換すべき方法を計算し、この方法に従って画像を変換し、ディスプレイユニット１４を制御して変換した画像を表示する。
【００４１】
画像メモリ１２毎に、画像のディジタル表現として作用する一組の係数が記憶される。あるいはまた、画像の時間的変化のディジタル表現として作用する一組の係数を記憶することができる。以下に種々の表現を説明する。
【００４２】
第１のクラスのディジタル表現では、各画像を制御パラメータの組によって表現し、これらのパラメータは、画像位置”ｒ”＝(ｘ，ｙ)及びフィルタスケール”ｓ”を含む座標（ｘ，ｙ，ｓ）を有する空間内の面を記述する。このフィルタスケールは、高解像度画像を空間的帯域幅ｗ＝１／ｓを有する空間的ローパスフィルタでフィルタ処理しても、まだ可視である細部の大きさの尺度である。
【００４３】
図２ａに、空間内のｘ−ｓ平面内（即ちｙの値は一定）の、こうした面２０を通る断面の例を図式的に示す。図に示す線は、一定のｙの値を有する面上の点のｘ，ｓ値を示す。線２２は、選択したフィルタスケールｓにおいて面を通るスライスを示す。図２ｂに、この選択したフィルタスケール”ｓ”において空間内を通る断面を示す。この断面は、このフィルタスケールにおけるフィルタ処理によって得られたフィルタ処理画像に対応する。図中の輪郭線は、選択したｓの値を有する面上の点のｘ，ｙ値を示す。これらの輪郭内の領域を陰影（斜線）によって示す。線２４は、図２ａで用いた一定のｙの値に対応する。図２ｃに、図２ｂと同様であるが、やや小さいｓの値における断面を示して、領域がｓの関数として分割または形状変更され得ること、及び新たな領域が生じ得ることを示す。
【００４４】
一般に、図２ａのｘ−ｙ平面内の面の輪郭は、フィルタ処理した画像中の領域の境界を示し、これらの境界は、（陰影で示す）各領域が内部的に均質な画像特性を有するように選択されている。こうした特性の例は、フィルタ処理した画像の輝度の、位置の関数としての曲率の符号である。知られているように、二次元位置ｘ，ｙの関数Ｉ(ｘ，ｙ)としての曲率は、位置に対する二次導関数の行列（ヘッシアン行列と称される）によって表わすことができる。領域は例えば、その行列の両固有値が同符号を有するように選択することができ、この符号は正でも負でもよい。
【００４５】
本発明によるディジタル画像表現は、こうした面Ｓの位置及び形状を、限定数の幾何学的係数、即ち実際には、（ｘ，ｙ，ｓ）空間内の制御点の座標によって記述する。「制御点」とは、ここでは一般的な意味で用い、制御点の位置と、面の形状及び位置とのあらゆる種類の関係を称し、例えば面間の点が所定種類の補間（例えば、直線補間またはより高次の補間）、あるいは、制御点は他の特徴点、例えば面における球面部分の中心とすることができる。
【００４６】
表示動作中には、プロセッサ１０は、ユーザが選択した視点に応じてスライス２２を選択し、このスライス内の（ｘ，ｙ，ｓ）位置を、フィルタ処理した画像中の（ｘ’，ｙ’）位置にマッピング（写像）する。（より進んだ実施例では、スライスが、例えば局所的なぼかしを行うための可変スケール値”ｓ”を有する。）プロセッサ１０は、少なくともこれらの（ｘ’，ｙ’）位置が、（ｘ，ｙ，ｓ）空間内の面によって境界を記述される領域の内部にあるか外部にあるかに応じて、（ｘ’，ｙ’）位置に対する画素データを算出する。
【００４７】
一般に、同一領域内のすべての（ｘ’，ｙ’）に対して同様の画像情報が算出される。ディジタル画像表現は、表示画像を算出する方法を示す追加的なデータを含むことができる。これらの追加的なデータは、例えば最大輝度または色の値、並びに輝度及び色の値の二次導関数を、（ｒ，ｗ）空間内の位置の関数として表わすことができる。この場合には、プロセッサ１０はこれらの追加的データに従って画素データを計算する。
【００４８】
面２０の形状及び位置は、画像メモリ１２中の係数Ｃiの組によって表現することができる。
【００４９】
一実施例では、係数Ｃiの各組は、面２０（Ｓ）のスケルトン（骨格線）を記述する副組（サブセット）を含む。ｎ次元空間内の面Ｓのスケルトンは、面Ｓの「骨」を形成するより低次元（例えばｎ−１次元）の構造であり、このスケルトンに「肉付け」することによって面が得られる。一例では、スケルトンは球面の組によって規定することができる。面Ｓ内の任意の点の周りに描画可能な最大のｎ−１次元の球面（この点から等距離にある点の集合）は、この点を中心として有し、面Ｓに接触するが交差はしない（即ち、面の外部には点を含まない）。しかし、スケルトンを形成する点のうち一部の特別な点については、球面が２点以上で面Ｓに接触する。スケルトン、及びこのスケルトン上の異なる位置における球面の半径が既知であれば、面Ｓを再構成することができる。
【００５０】
三次元（ｘ，ｙ，ｓ）空間の場合には、スケルトンは（曲面にすることのできる）二次元平面及び分岐線を含み、この分岐線でこれらの平面が二またに分かれるか終わる。言い換えれば、これらの分岐線は、線が二またに分かれるか終わる分岐点間を結ぶ。分岐線上の点の球面は面Ｓに３箇所で接触する。分岐点の球面は面Ｓに４箇所で接触する。より一般的には、スケルトンは種々の次数の点を含む。次数ｍの点の球面は面にｍ箇所で接触する。ｍがより高次になるほど、点の集合の次元ｎ−ｍ＋１は次数ｍと共に低くなる。
【００５１】
一実施例では、次数ｎ＋１の点（即ち、孤立した点）を、面Ｓを近似するための制御点として用いる。次数が低下していく点の集合は、より高次の点間の補間によって得られ、例えばスケルトンをこれらの点間で直接補間することによるか、あるいはこれらの点間の線を補間して、これらの線間の（曲）面を補間する、等による。さらなる近似として、一次元構造によってスケルトンを近似することができ、即ち、（ｘ，ｙ，ｓ）空間内の面の幅が非常に小さく、これらの面を直線で近似できるような近似を用いることができる。このことは、（ｘ，ｙ，ｓ）空間を通る孤立した線の周りに回転対称になるように近似される面に相当する。図３に、係数Ｃiの各組が、面２０のスケルトンを、スケルトン線の分岐点における制御点で記述する副組を含む実施例を示す。例えば、これらの係数は、スケルトンの分岐点３０の（ｘ，ｙ，ｓ）座標を含むことができる。この図は、ｘ−ｓ平面内の分岐点３０及びスケルトン線３２を図式的に示すが、（ｘ，ｙ，ｓ）空間内の三次元の面については、異なる分岐点３０は異なるｙ座標値を有することができ、そしてスケルトン線は一般に、すべてが同一平面内にあるわけではない。
【００５２】
分岐点の座標に加えて、画像表現係数は、スケルトンからの線によって接続される分岐点対、及び線毎のスケルトンから面上の最寄り点までの距離を、スケルトンの各線上の位置の関数として、例えば多項式の係数として、１つの分岐点から他の分岐点までの線に沿って０から１まで変化する変数として指定するパラメータを含むことができる。この情報から、既知の方法で面を再構成することができる。
【００５３】
表現されるスケルトンの精度を増加させるために、分岐点間に追加的な制御点を指定して、曲線のスケルトン線または線分化された（折れ線の）スケルトン線を指定することができる。また、スケルトン平面の近似を、平面の向き及び幅を指定することによって、これらの線を通り、線の周りに特定幅を有する平面の形で与えることができる。従って、楕円形領域の方がより良好に近似することができる。もちろん、平面のより完全な指定を用いることもできる。一実施例では、面が一貫した曲率の領域のエッジを記述し、即ち、次の行列Ａ：
∂2Ｉ(ｒ，ｓ)／∂ｘ2               ∂2Ｉ(ｒ，ｓ)／∂ｘ∂ｙ
∂2Ｉ(ｒ，ｓ)／∂ｘ∂ｙ            ∂2Ｉ(ｒ，ｓ)／∂ｙ2
が、所定のフィルタスケールに対して、フィルタスケールの関数として、両方とも正の固有値を有するか、両方とも負の固有値を有するかのいずれかである。この実施例では、行列Ａを面毎の画像表現に符号化することができ、あるいは、スケルトン線に沿った位置の関数として符号化することができる。特定スケールｓに対する画像情報Ｉ(ｒ，ｓ)は、Ｉを次式の関数Ｉ’として近似することによって、面によって区切られる領域内で再構成することができる：
Ｉ’＝Ｉ(ｒ0)＋(ｒ−ｒ0)TＡ(ｒ−ｒ0)
【００５４】
ここに、ｒ0は、近似スケルトン線が、要求されるスケールｓを有する平面と交差する箇所であり、行列Ａとの積は行列積である。一貫した曲率を有する符号化された領域間の画素位置については、この位置の点に最寄りの領域と同じ関数により画像情報を計算することができる。一貫した曲率を有する領域外の画素位置にある画素については、他の近似関数を用いて、局所的な最小値または最大値を導入することなしに、これらの領域のエッジ間の画像情報を補間することができる。この目的のために、既知の弛緩アルゴリズムを用いることができる。
【００５５】
符号化の実施例では、（ｒ，ｓ）空間内の指定した点の組から等距離に存在する境界を構成することによって、（ｒ，ｓ）空間のベルヌーイ・タイル張り（テセレーション）を行うことによって他の面を規定することができる。関係する指定された点の組は、ディジタル画像表現の係数内の（ｒ，ｓ）制御点によって直接指定することができ、あるいは、例えば前に説明したスケルトンによるような何らかの方法で指定可能な別な面として指定することができる。
【００５６】
要約すれば、一実施例では、画像関数Ｉ(ｒ，ｓ)は：
−例えば、スケルトン上の各位置を中心とし、指定半径を有する球（ボール）の和集合を有効に再構成する制御点によって指定したスケルトンからの半径を用いて、制御点から面を再構成し、
−前記表現で指定した係数を有する二次多項式の近似を用いて、前記球の内部の領域内に近似画像を再構成し、
−異なる領域間の画像情報を補間する。
【００５７】
他の実施例では、制御点ｐi＝(ｘ，ｙ，ｓ)を用いて、面上の位置ｑを例えば次式により記述する：
ｑ＝ΣiｐiＷi(ｕ)
ここに、”ｕ”は面の座標（（ｘ，ｙ，ｗ）空間内の面を表現するためには二次元）であり、Ｗは、例えばベジェ（Bezier）形を規定するために用いる重み関数と同様の重み関数である。
【００５８】
さらに他の実施例では、何らかの所定関数Ｆ(ｒ，ｗ，Ｃ)を規定し、面は、既知のスケルトン陰（インプリシット）面技術を用いて、Ｆ(ｒ，ｗ，Ｃ)＝０によって指定することができる。このようにして、前記係数も面を規定する。あらゆる関数を用いることができ、例えば、次の関数Ｆを用いることができる（係数のベクトルＣ＝(ｒ(1)，ｗ(1)，ｒ(2)，ｗ(2),...)）：
Ｆ(ｒ，ｗ，Ｃ)＝Σi(exp(−|ｒ−ｒ(ｉ)|−|ｗ−ｗ(ｉ)|)−Ｆ0i)
【００５９】
他の方法を用いて面を表現することができることは明らかである。
【００６０】
画像表現を生成する画像符号化装置は一般に、画像メモリ及び係数メモリに結合された演算ユニットを含む。動作中には、画像メモリは画像データを、例えば、画像中の高解像度の画素位置の格子に対する画像値（輝度及び／または色値）で受け取る。上記演算ユニットは、これらの画素値からディジタル画像表現の係数、特に制御点を計算し、結果的な係数を係数メモリに記憶して後の復号化中の使用に供する。カメラを設けて、画像メモリ用の画像データを取得することができる。ディジタル表現の第２クラスでは、輝度及び／または色の値Ｉ、画素位置”ｘ，ｙ”、及びフィルタスケール”ｓ”が空間内に張る面を記述する制御パラメータの組によって、各画像を表現し、これにより、点（Ｉ，ｘ，ｙ，ｓ）が指定空間内に存在する場合には、画像の輝度または色は、スケール空間帯域”ｗ”については位置”ｒ”においてＩである。この種の面は、制御点、スケルトン、式Ｆ(Ｉ，ｒ，ｗ，Ｃ)＝０、等によって指定することができる。
【００６１】
復号化中には、プロセッサ１０は、未変換画像の画素値に明示的にアクセスすることなしに、係数組Ｃの変換によって、連続した変換のグループから任意の変換の効果を計算することができることは明らかである。より公式的には、画像の画像輝度及び／または画像色が、関数Ｉ(ｒ)に従って位置”ｒ”に依存する場合には、変換画像は次式によって規定される：
Ｉ(Ｔ(ｒ))
【００６２】
ここに、Ｔ(ｒ)は画像位置ｒのマッピング（写像）であり、このマッピングは例えば回転Ｒ(ｒ)、平行移動ｒ＋dｒ、及びスケーリング（拡大縮小）ｆ×ｒを含む。（ｘ，ｙ，ｓ）空間内または（Ｉ，ｘ，ｙ，ｓ）空間内で面を指定する係数Ｃによって画像をディジタル表現すると、この種の変換は、係数Ｃを逆変換して、指定した面を変換することによって実現することができる。例えば、上記係数がスケルトンの頂点または他の制御点の座標（ｘi，ｙi，ｓi）を含む場合には、上記変換は、逆変換Ｔ-1を制御点のｒi＝(ｘi，ｙi)成分に適用してＴ-1(ｒi)を得ることによって実現することができる。このことは、ｒiを表わす数における小さい丸め誤差以外は、精度の損失を何ら含まない。上記係数を逐次的に変換することによって、逐次的変換を適用することができる。
【００６３】
この種の変換は、制御点のスケール成分にも影響し得る。一般に、画像情報値がサンプリング位置ｒの格子上で必要であれば、この格子上の位置ｒ間の距離に応じて設定されるフィルタスケール”ｓ”を用いるべきである。要求されるスケールは、元の位置に対するスケールｓ0を選択し、このスケールを変換スケールｓ’に変換することによって選択することができ、上記変換が倍率ｆでのスケーリングを含む場合には、ｓ’＝ｆ×ｓ0となる（従って、画素位置から先験的にフィルタスケールを決める必要はない）。実際に、異なる画素位置に対して異なるフィルタスケール値ｓ0を指定するか、あるいは、さらに、例えば位置に依存したぼかしを実現するために位置依存のフィルタスケールｓ(ｒ)を指定することが好都合でさえもあり得る。この場合には、変換を加える際に、フィルタスケール関数ｓ(ｒ)のすべてのフィルタスケール値に倍率を乗じるべきである。
【００６４】
ｒ、ｓ依存の画像表現の使用は、位置のみに依存する何らかの表現関数Ｉ(ｒ)に対してフィルタ演算を実行する代わりに、適切な位置ｒ及びスケールｓに対する表現画像関数Ｉ(ｒ，ｓ)の値を計算することによって、フィルタ処理の適用なしに、適切なフィルタスケールを有する画素値を選択することを可能にする。
【００６５】
（ｒ，ｓ）空間内の制御点によって画像関数Ｉ(ｒ，ｓ)を表現する際には、フィルタスケールの必要な変換も、制御点のフィルタスケール成分ｓを逆変換することによって実現することができ、転換がスケール倍率を含む場合には、ｓ’＝ｓ／ｆを求める。このようにして、あらゆる元の（未変換の）サンプリング格子及びあらゆるフィルタスケールまたはフィルタスケール関数に対して、変換された制御点でＩ(ｒ，ｓ)値を計算することによって、変換画像を得るために使用可能な変換表現が得られる。
【００６６】
図４に、ディジタル画像表現を生成する装置を示す。この装置は、プロセッサ４０、及び画像メモリデバイス４４に結合されたカメラ４２を具え、画像メモリデバイス４４はプロセッサ４０に結合されている。係数メモリ４６はプロセッサ４０にも結合されている。動作中には、カメラ４２は画像データを、例えば、画素位置ｒiのサンプリング格子上のそれぞれの画素位置に対する画素値Ｉ(ｒi)の形で取得する。プロセッサ４０は画像を処理して、この画像を表現する係数組Ｃを決定する。種々の処理の具体例が可能である。
【００６７】
係数を決定するプロセスは、プロセッサ４０が画素値Ｉ(ｒi)をカメラ４２から受信する第１ステップを含む。これらの画素はフィルタ処理された画像Ｉs(ｒ)を次式により規定する：
Ｉs(ｒ)＝ΣＧs(ｒ，ｒi)Ｉ(ｒi)
【００６８】
上記総和は画素位置ｒiにわたる。ここに、Ｇs(ｒ，ｒi)は次式による補間関数である：
Ｇs(ｒ，ｒi)＝∫dｒ’Ｈs(ｒ，ｒ’)Ｆ(ｒ’，ｒi)
【００６９】
ここに、Ｆ(ｒ，ｒi)はカメラ画像の補間を規定する。関数Ｆ(ｒ，ｒi)は、例えばナイキスト（Nyquist）理論に従って選択することができる。一般に、上記関数は、画像補間の終点位置ｒと画像補間の始点位置ｒiとの間の距離ｒ−ｒiのみに依存する。十分大きい（サンプル位置ｒ間の距離より大きい）ｓについては、この補間関数の正確な性質は重要ではなく、このため、この場合には、Ｇs(ｒ，ｒi)＝Ｈs(ｒ，ｒi)である。
【００７０】
フィルタカーネルは一般に、ｒとｒ’との間の距離にも依存し、例えば次式のガウスフィルタ関数を用いることができる：
Ｈs(ｒ，ｒ’)＝exp(−(ｒ−ｒ’)2／２ｓ2)／２πｓ2
【００７１】
なお、これらの関数はフィルタ処理された画像を規定するが、このことは、これらの関数をすべてのｒ、ｓの値について実際に計算することは意味しない。この定義は単に、近似される関数を定義する働きをする。
【００７２】
第２ステップでは、プロセッサ４０は制御点及びその位置を選択する。このことは、面Ｓの表現の所望形態に応じて種々の方法で行うことができる。例えば、表現が、Ｉs(ｒ)の曲率が同符号である画像領域、即ち、次式の行列が両方とも正または両方とも負の固有値を有する画像領域の境界を表わす面を用いるものとする：
∂2Ｉs(ｒ，ｓ)／∂ｘ2               ∂2Ｉs(ｒ，ｓ)／∂ｘ∂ｙ
∂2Ｉs(ｒ，ｓ)／∂ｘ∂ｙ            ∂2Ｉs(ｒ，ｓ)／∂ｙ2
【００７３】
（なお、上記微分を関数Ｇs(ｒ)に適用して、これらの行列要素の各々を、Ｉ(ｒi)の値の重み付け和として表現することができ、その重みは画像ｒ＝(ｘ，ｙ)内の位置及びフィルタ帯域に依存する。）この場合には、面間の境界は次式を満足する：
∂2Ｉs(ｒ)／∂ｘ2×∂2Ｉs(ｒ)／∂ｙ2／∂ｙ2＝[∂2Ｉs(ｒ)／∂ｘ∂ｙ]
【００７４】
即ち、先の行列の行列式Ｄは０になる。この式は、境界面Ｓ上のｒ及びｓについて次式を規定する：
Ｐ(ｒ，ｓ)＝０
【００７５】
ここで、Ｐは上式から生じる。なお、ここでも、この式は、Ｉ(ｒi)の値の重み付け和の積を有する式である。この式を満足するｒとｓの値の組合せが面Ｓを規定する。これらの面上の特定点は、この式から導出可能な式を満足する。例えば、面上のフィルタスケール値ｓの局所的な極値（最大値または最小値）は次式を満足する：
∂Ｐ／∂ｘ＝０  かつ  ∂Ｐ／∂ｙ＝０
【００７６】
なお、ここでも、これらの式は既知の関数Ｈs(ｒ)の導関数及び画素値Ｉ(ｒi)で表わすことができる。従って、この式を満足する（ｒ，ｓ）の値は、フィルタ処理した画像値Ｉs(ｒ)の明示的な計算なしに、あるいは実際には、面Ｓの他の点の座標を計算することさえもなしに定めることができる。
【００７７】
なお、あらゆる適切な種類の式を用いて、制御点の問題を解決することができる。この目的のために選択した式に応じて、面の種々の特徴点を探索することができる。
【００７８】
第１実施例では、プロセッサ４０は、この種の式の解を探すことによって制御点を計算する。あらゆる数式の解法、例えば一般に知られている式を解くための逐次的な方法を用いることができる。なお、この目的のためには「局所的な」演算を必要とするに過ぎない。完全にフィルタ処理された画像Ｉs(ｒ)を計算する必要はない。
【００７９】
第２実施例では、プロセッサ４０は、上記行列の行列式Ｄの値の極値（最大値または最小値）の位置から近似的なスケルトンを、上記行列式が正である領域内の位置”ｒ”の関数として計算する。これらの各領域内では、こうした位置”ｒ”はちょうど１つだけ存在する。所定のフィルタスケール値ｓでは、近似スケルトン位置ｘ，ｙは次式を満足する所に存在する：
∂Ｄ／∂ｘ＝０  かつ  ∂Ｄ／∂ｙ＝０
但し、この点の周囲でＤが正である場合である。プロセッサ４０は、ｓの値に対して、この式を満足する位置の座標（ｘ，ｙ）を特定し、これに続いて、この位置がｓの関数として変化する様子をトレースする（追跡する、辿る）。座標（ｘ，ｙ）の数値の決定は、例えば何らかの数式を解く技法によって実行することができる。位置をｓの関数としてトレースする際には、１つのｓの値に対して見つかる解の座標は、次のｓの値に対する解を見つけるための反復計算用の始点として用いることができる。このようにして、近似スケルトンの線をトレースすることができる。プロセッサ４０は、このようにして見出された異なる近似スケルトン線が出合う分岐点を探索することが好ましい。この場合には、これらの分岐点を制御点として用いて、面を表現することができる。一実施例では、これらの分岐点間の直線をスケルトンの近似として用いるが、より複雑な近似を用いることができる。例えば、放物線のスケルトン線は、フィルタスケールｓaにおける１つの分岐点ｒaから、フィルタスケールｓbにおける他の分岐点ｒbまでは、次式によって定義される：
ｒ＝ｒa＋(ｒb−ｒa)(ｓ−ｓa)2／(ｓb−ｓa)2
但し、線が点ｒbで分岐し、分岐ｒaにおける他のスケルトン線の分岐によって出現する場合である。より正確な近似は、別な係数を用いて近似スケルトン線の形状を記述することによって生成することができる。
【００８０】
一実施例では、次の２式を満たす位置の解ｑ(ｓ)を直接解いて求めることによって、分岐点ｑ0を位置決めされる：
∂Ｄ／∂ｘ＝０  かつ  ∂Ｄ／∂ｙ＝０、及び
∂ｑ／∂ｓ＝０
【００８１】
これらの技法は、画像関数Ｉ(ｒ，ｓ)を決定する面Ｓの位置及び形状を記述するために使用可能な制御点を選択することのできる技法の単なる例に過ぎないことは明らかである。
【００８２】
一旦、プロセッサ４０がこの方法で制御点を見つけると、プロセッサ４０は第３ステップを実行して、追加的な画像表現係数を決定することができ、これらの係数は例えば、制御点における面Ｓの導関数、あるいは制御点付近における面Ｓの半径または領域（一定のｓの値を有する平面による面Ｓの断面）の半径、あるいは、スケルトン線毎に上記領域の半径をスケルトン線に沿った位置の関数として記述するパラメータ、等である。これらの係数は、フィルタ処理した画像Ｉs(ｒ)を計算せずに、画素値Ｉ(ｒi)から直接計算することもできる。復号化時には、これらの係数を用いて、制御点付近の面の近似を再構成することができる。
【００８３】
これに続く第４ステップでは、プロセッサ４０は別な特性、例えば選択した制御点によって規定される領域についての平均曲率値、あるいはスケルトン上の点における画像情報の二次導関数、等を特定することができる。復号化時には、これらの係数を用いて、面の内部の画像内容の近似を再構成することができる。
【００８４】
第５ステップでは、プロセッサ４０は上記係数と、この方法で見出した制御点とを組み合わせて、これらを画像表現として記憶し、これらは後に画像を表示または処理するために用いることができる。
【００８５】
要約すれば、一実施例では、画像を次のように符号化することができる：
−二次導関数の行列の行列式の値を見出す。
−この行列式が正である画像領域を識別する。
−各領域内のコア位置、例えば画像情報が極値である位置を見出す。
−コア位置どうしを接続してスケルトンを形成する。
−スケルトンの分岐点または終端を見出す。
−分岐点及び終端の詳細記述、及びこれらを接続するスケルトン線を画像表現に含める。
−スケルトン線付近の領域の大きさを指定する半径情報を含める。
【００８６】
他の実施例では、プロセッサ４０は、フィルタ処理された画像の画像値を実際に計算し、これらの画像をセグメント分けし、そして、フィルタスケール値ｓ及び位置ｒのある範囲について、一緒になってセグメント境界を十分な精度で表現する制御点を探索することによって、制御点を探索する。
【００８７】
以上の説明は時間に依存しない画像に限定してきたが、本発明は時間依存性の画像（ビデオシーケンス）にも適用可能であることは明らかである。基本的な数学的態様は非常に似ている。入力されるビデオシーケンスは一般に、ｘ，ｙ，ｔの離散値を有する位置についての画像情報を有するサンプルを表現する。これらのサンプルは、ｘ，ｙ，ｔ，ｓ及びτの関数としての画像関数Ｉ(ｘ，ｙ，ｔ，ｓ，τ)を定義する働きをする。この関数は公称的には、これらのサンプル値を補間し、この補間を空間的及び時間的にフィルタ処理することによって得ることのできる画像情報値を規定する。この関数Ｉ(ｘ，ｙ，ｔ，ｓ，τ)の、選択したｘ，ｙ，ｔ，ｓ及びτの値についての近似の評価を用いて、空間的にスケーリングしたビデオを選択した再生速度で表示するための位置（ｘ，ｙ，ｔ）に対する画素値を、フィルタ処理演算を実行しなければならないことなしに得ることができる。
【００８８】
この関数Ｉ(ｘ，ｙ，ｔ，ｓ，τ)は、ｘ，ｙ，ｔ，ｓ，τを座標として有するｎ＝５次元空間Ω内の「面」によって近似的に記述することができる。これらの面は一般にｎ−１＝４次元であるが、これらの面の近似は、Ω空間内の孤立した制御点の組によって表現することができる。この場合には、この表現に用いるべき制御点の探索は、所定のｔ及びτの値に限定せず、その代わりに、あらゆる（ｘ，ｙ，ｔ，ｓ，τ）に対して画像表現を効率的に決定するために使用可能なものについて（ｘ，ｙ，ｔ，ｓ，τ）点を探索することが好ましい。
【００８９】
（ｘ，ｙ，ｓ）空間について説明してきた探索技法は直ちに、（ｘ，ｙ，ｔ，ｓ，τ）空間に適用することができる。例えば、曲率行列式Ｄの最大値を、種々の領域内の（ｘ、ｙ）の関数として特定することができ、これらの最大値をｔ，ｓ，τの関数としてトレースして、分岐点のｘ，ｙ，ｔ，ｓ，τ座標を位置決めすることができ、これらの分岐点では、正の行列式を有する領域が出合うか、あるいは、ｔ，ｓ，τの値の小変化時にこうしたｘ，ｙ領域が生じる。次に、これらの分岐点の位置を、こうした分岐点の集積に沿ってトレースして、より高次の分岐点を見つけることができ、これらのより高次の分岐点では、異なる集積が出合うか、あるいは、ｔ，ｓ，τの値の小変化時にこうした集積が生じる。孤立した分岐点が得られるまで、このことを繰り返し、これらの孤立した分岐点は面の記述を符号化するために用いる。
【００９０】
もちろん、時間フィルタ処理が必要でない場合には、時間フィルタスケールの次元を省略することができる。この場合には、制御点の探索は適切なｔ，ｓの値の探索を含むことが好ましい。空間的サブ（副）サンプリングが必要でない場合には、適切なｔ，τの値及び所定のｓの値で十分である。
【００９１】
一般に、画像表現では、面Ｓの形状及び位置を、離散した点及び曲線の組、及びｎ−１次元までのより高次の様々な要素の座標を指定する情報によって表現することができ、ここにｎは空間Ωの次元である。例えば、単一の静止画像を表現したい場合には、フィルタスケールｎ＝３の関数としてのｒ＝(ｘ，ｙ)となる。この場合には、輝度画像Ｓ：Ｒ3→Ｒを有限個の離散点の組Ｐ０＝{(ｘ，ｙ，ｓ)i}で表現する。さらに、この表現は一次元曲線の組Ｐ１から成り、ここでＰ１中のすべての曲線は点Ｐ０によって完全に決定される。さらに、この表現は二次元面の組Ｐ２から成り、ここでＰ２からのすべての面は、Ｐ１からの少数の曲線及び／またはＰ０からの少数の点によって完全に決まる。例えば、面はクーンズパッチ（Coons Patch）またはグレゴリーパッチ（Gregory Patch）として指定することができ、これらのパッチの境界曲線はＰ１から採り、以下に他の具体例を挙げる。ｎ＝４（Ωからの要素がタプル（tuple：データ構造体）（ｘ，ｙ，ｔ，ｓ）である画像シーケンス）の場合には、前記表現は一組の超曲面Ｐ３から成り、Ｐ３中のすべての超曲面は、Ｐ２中の少数の面及び／またはＰ１中の少数の曲線及び／またはＰ０中の少数の点によって完全に決まる、等である。増加する様々な次元０，１，２,...ｎ−１を有する離散した組が一緒になって、任意のトポロジ的な種類のｎ次元の幾何学的複合体の記述を形成する方法は従来技術の一部であり、これらの複合体は代数学的トポロジからのいわゆるセルラー構造またはＣＷ−複合体と称される。Ｐ０中の点の位置は、そのフィルタ帯域座標成分を含めて、面Ｓの近似の品質を最適化するように、原画像の内容に応じて選択する。
【００９２】
本発明は特定実施例によって説明してきたが、本発明から外れることなしに他の実施例も可能であることは明らかである。明示的な制御点座標による表現について説明してきたが、画像表現の実際の係数はこれらの制御点を種々の方法で表現できることは明らかである。例えば、一部の制御点を他の制御点または基準点に対するオフセット（ずれ）として表現することができる。他のより複雑な表現を用いることもできる。例えば、面、あるいはスケルトンの線が次式の関数で記述されるものとすれば：
ｆ(ｕ)＝ΣiｐiＷi(ｕ)
ここに、Ｗi(ｕ)は所定の係数を有する”ｕ”の多項式として定義される；
面またはスケルトン線上の異なる点はｕに値を代入することによって得られる。この場合には、ｆ(ｕ)は、制御点ｐiの位置に応じた係数を有する”ｕ”の多項式でもある。制御点ｐiの座標の代わりに、これらの係数を用いて面を表現することもできる。
【００９３】
さらに、面表現の特定例、例えば、最大曲率（フィルタ処理した画像情報の二次導関数の行列の最大行列式）の位置のスケルトンまたは近似スケルトンの表現を、スケルトンの周囲における面の半径の表現と組み合わせて挙げてきた。しかし、本発明はこの種の表現に限定されない。
【図面の簡単な説明】
【００９４】
【図１】画像表示装置を示す図である。
【図２ａ】ｘ，ｙ，ｓ空間における面のｘ−ｓ断面を示す図である。
【図２ｂ】ｘ，ｙ，ｓ空間における面のｘ−ｙ断面を示す図である。
【図２ｃ】ｘ，ｙ，ｓ空間における面の他のｘ−ｙ断面を示す図である。
【図３】面のスケルトン、及びスケルトン内の分岐点を示す図である。
【図４】画像符号化装置を示す図である。
【図１】
2007527155.tif 000003
【図２ａ】
2007527155.tif 000004
【図２ｂ】
2007527155.tif 000005
【図２ｃ】
2007527155.tif 000006
【図３】
2007527155.tif 000007
【図４】
2007527155.tif 000008
【手続補正書】
【提出日】平成18年8月18日(2006.8.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
一般的な原画像にそれぞれのフィルタ帯域での空間フィルタ演算を適用することによって得られる空間フィルタ処理した画像の表現を生成するディジタル画像符号化装置であって、前記フィルタ処理した画像中の画像情報の、前記フィルタ処理した画像中の位置及び前記フィルタ帯域への依存性は、少なくとも前記フィルタ処理した画像中の位置及び前記フィルタ帯域を座標として有する空間内の面を規定する情報によって表現され、前記面の形状及び位置が少なくとも部分的に前記依存性を規定し、前記装置が、
前記原画像を画像領域中の位置の関数として表現する画像信号を受信する入力と；
計算ユニットとを具えているディジタル画像符号化装置において、
前記原画像から生じる前記面の真のバージョンが、一組の制御点によって表現される前記面の近似バージョンによって近似され、前記制御点Ｃiは、前記空間内の前記面Ｓの位置及び形状を制御し、前記計算ユニットが、前記一組の制御点の座標値を、該座標値のフィルタ帯域成分を含めて、前記近似の品質が最適化されるように前記画像信号に応じて選択すべく構成されていることを特徴とするディジタル画像符号化装置。
【請求項２】
前記制御点の少なくとも１つを、当該制御点の座標が、前記原画像の前記フィルタ処理した画像に対する影響を通して前記原画像に依存するパラメータを有する所定の式または一組の式を満足するように選択し、前記座標は、前記式または一組の式を、前記空間内で前記少なくとも１つの制御点に収束する点の列について反復的に評価することにより、前記式または一組の式を解くことによって決まることを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項３】
前記面が、前記フィルタ処理した画像中の領域間の境界の形状及び位置を、当該フィルタ処理した画像のフィルタ帯域の関数として表現し、前記領域のそれぞれを、これらの領域における曲率行列の行列式の正符号に基づいて選択することを特徴とする請求項２に記載のディジタル画像符号化装置。
【請求項４】
前記制御点を、前記領域内の画像情報が極値を有する点の位置を計算することによって位置決めすることを特徴とする請求項３に記載のディジタル画像符号化装置。
【請求項５】
それぞれの前記領域についてのそれぞれの前記点の列がなす線が出合う点、及び／またはこれらの線が始まる点のフィルタ帯域の値を計算することによって前記制御点を位置決めし、前記線の各々が、それぞれの前記領域用のそれぞれのフィルタ帯域値に対する特定画像位置の集積を形成し、前記特定画像位置において、画像情報を対応するフィルタ帯域でフィルタ処理した際に、前記画像情報が画像位置の関数として極値を有することを特徴とする請求項４に記載のディジタル画像符号化装置。
【請求項６】
前記面が、前記フィルタ処理した画像中の領域間の境界の形状及び位置を、当該フィルタ処理した画像のフィルタ帯域の関数として表現し、前記領域のそれぞれを、当該領域内の画像特性の値に基づいて選択し、隣接する前記領域間では前記画像特性の値が変化することを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項７】
前記画像特性が、画像位置の関数としての画像情報の曲率の符号であることを特徴とする請求項６に記載のディジタル画像符号化装置。
【請求項８】
生成される前記フィルタ処理した画像の表現が、前記領域内の画像情報の二次導関数を位置の関数として表現する情報を含み、該情報は、複数のフィルタ帯域値について共通に、前記面毎に提供される二次導関数を表現することを特徴とする請求項７に記載のディジタル画像符号化装置。
【請求項９】
前記制御点の少なくとも一部を、前記面の真のバージョンのスケルトンの分岐点にほぼ一致すべく選択することを特徴とする請求項６に記載のディジタル画像符号化装置。
【請求項１０】
生成される前記フィルタ処理した画像の表現が、前記領域内の画像情報の二次導関数を位置の関数として表現する情報を含み、該情報は、分岐に沿った複数のフィルタ帯域値について共通に、一対の分岐点間のスケルトンにおける分岐毎に提供される二次導関数を表現することを特徴とする請求項７に記載のディジタル画像符号化装置。
【請求項１１】
前記制御点の選択が、前記面の真のバージョンのトポロジ的な特徴点を前記制御点として選択することから成ることを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１２】
前記制御点の選択が、原画像の一領域に対する提案制御点を追加すべく選択し、これに続いて、前記提案制御点の座標のフィルタスケール成分を探索することを含めて、前記提案制御点を前記空間内に配置すべき位置を探索することから成ることを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１３】
前記面の近似バージョンを決める幾何学的形状を、前記制御点間を補間することによって実質的に表現し、少なくとも１つの前記制御点の選択が、前記少なくとも１つの制御点の位置を、該位置が、追加的な制御点を配置可能な最大距離を実質的に最大化するように探索し、これにより、前記少なくとも１つの制御点から前記追加的な制御点までの、前記空間内の前記少なくとも１つの制御点の互いに対向する側上での補間が、前記面の真のバージョンの幾何学的形状を、前記互いに対向する両側上での補間によって要求精度で近似することから成ることを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１４】
前記空間が追加的に、画像情報値を座標として有し、前記面上の点の画像位置、フィルタ帯域、及び画像情報座標が、前記点のフィルタ帯域座標でフィルタ処理した画像中の前記点の画像位置座標を有する画素位置が前記点の画像情報座標を画像情報値として有することを表わすことを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１５】
前記制御点を実質的に、前記面の真のバージョンの最大曲率の点に選択することを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１６】
前記制御点を実質的に、前記面の近似バージョンと前記面の真のバージョンとの間の近似誤差を、最大でも所定の誤差に低減するために必要な制御点の数を最小化すべく選択することを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１７】
最大でも所定数の前記制御点を用いて前記面の近似バージョンを規定する際に、前記制御点の座標を実質的に、前記面の近似バージョンと前記面の真のバージョンとの間の近似誤差を最小化すべく選択することを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１８】
ディジタル画像の表現が、画像の時系列を時間の関数として表現し、前記空間内の座標が時間座標を含み、前記制御点の座標の時間成分を前記画像信号に応じて選択し、この選択が、原画像から生じる前記面の真のバージョンの前記面の近似バージョンによる近似を最適化することを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項１９】
ディジタル画像の表現が、時間フィルタ処理した画像を時間及び時間フィルタ帯域の関数として表現し、前記空間内の座標が時間フィルタ帯域座標を含み、前記制御点の座標の時間フィルタ帯域成分を前記画像信号に応じて選択し、この選択が、原画像から生じる前記面の真のバージョンの前記面の近似バージョンによる近似を最適化することを特徴とする請求項１８に記載のディジタル画像符号化装置。
【請求項２０】
一般的な原画像にそれぞれのフィルタ帯域での空間フィルタ演算を適用することによって得られる空間フィルタ処理した画像を表現するディジタル画像表現から表示画像を生成するディジタル画像生成装置であって、前記フィルタ処理した画像中の画像情報の、前記フィルタ処理した画像中の位置及び前記フィルタ帯域への依存性は、少なくとも前記フィルタ処理した画像中の位置及び前記フィルタ帯域を座標として有する空間内の面を規定する情報によって表現され、前記面の形状及び位置が少なくとも部分的に前記依存性を規定するディジタル画像生成装置において、
選択したフィルタ帯域値、及び該フィルタ帯域値をフィルタ帯域座標値として有する前記空間内の位置の行列の詳細記述を受信する入力であって、前記行列内の各位置が前記表示画像中のそれぞれの画素位置に対して規定される入力と；
前記行列内の位置の、前記面の近似を記述する一組の制御点に対する相対位置、及び、選択したフィルタ帯域値と、使用する前記制御点毎に個別に計算された前記制御点のフィルタ帯域座標との差を用いて、前記表示画像の画素値を計算すべく構成された画像値計算回路とを具え、前記制御点Ｃiが、前記空間内の前記面Ｓの位置及び形状を制御することを特徴とするディジタル画像生成装置。
【請求項２１】
回転、スケーリング、及び／または平行移動、及び／またはこれらの組合せを含むグループから選択した変換の詳細記述を受信する入力と；
前記行列内の位置の前記制御点に対する相対位置を用いた画素値の計算の前に、前記行列内の位置の座標に対する前記制御点の変換を適用すべく構成された画像値計算ユニットと
を具えていることを特徴とする請求項２０に記載のディジタル画像生成装置。
【請求項２２】
前記ディジタル画像表現が、画像の時系列を時間の関数として表現し、前記空間内の座標が時間座標を含み、前記制御点は独立して選択可能な時間座標値を有し、
前記入力は、選択した時間値を受信すべく構成され；
前記画像値計算回路は、前記行列内の位置の、前記制御点に対する相対位置、及び、前記選択した時間値と、使用する前記制御点毎に個別に計算された前記制御点の時間座標成分との差を用いて、前記表示画像の画素値を計算すべく構成されている
ことを特徴とする請求項２０に記載のディジタル画像生成装置。
【請求項２３】
前記画像の表現が、時間フィルタ処理した画像を時間及び時間フィルタ帯域の関数として表現し、前記空間内の座標が時間フィルタ帯域座標を含み、前記制御点は、独立して選択可能な時間フィルタ帯域座標値を有し、
前記入力は、選択した時間フィルタ帯域値を受信すべく構成され；
前記画像値計算回路は、前記行列内の位置の、前記制御点に対する相対位置、及び、前記選択した時間フィルタ帯域値と、使用する前記制御点毎に個別に計算された前記制御点の時間フィルタ帯域座標成分との差を用いて前記表示画像の画素値を計算すべく構成されている
ことを特徴とする請求項１に記載のディジタル画像符号化装置。
【請求項２４】
一般的な原画像にそれぞれのフィルタ帯域での空間フィルタ演算を適用することによって得られる空間フィルタ処理した画像を表現する方法であって、前記フィルタ処理した画像中の画像情報の、前記フィルタ処理した画像中の位置及び前記フィルタ帯域への依存性は、少なくとも前記フィルタ処理した画像中の位置及び前記フィルタ帯域を座標として有する空間内の面を規定する情報によって表現され、前記面の形状及び位置が少なくとも部分的に前記依存性を規定するディジタル画像符号化方法において、
原画像から生じる前記面の真のバージョンを前記面の近似バージョンによって近似するステップであって、前記面の近似バージョンの位置及び形状は、前記空間内の一組の制御点によって記述されるステップと；
前記制御点の座標値を、該座標値のフィルタ帯域成分を含めて、前記面の真のバージョンの前記面の近似バージョンによる近似の品質が最適化されるように一般的な原画像の内容に応じて選択するステップと
を具えていることを特徴とするディジタル画像符号化方法。
【請求項２５】
前記画像の表現が、画像の時系列を時間の関数として表現し、前記空間内の座標が時間座標を含み、前記制御点の座標の時間成分を前記画像信号に応じて選択し、この選択が、原画像から生じる前記面の真のバージョンの前記面の近似バージョンによる近似を最適化することを特徴とする請求２４に記載のディジタル画像符号化方法。
【請求項２６】
請求項２３に記載の方法をプログラム可能なコンピュータに実行させる機械語命令のプログラムを具えたコンピュータ読取可能媒体。
【請求項２７】
一般的な原画像にそれぞれのフィルタ帯域での空間フィルタ演算を適用することによって得られる空間フィルタ処理した画像を表現するディジタル画像表現から表示画像を生成する方法であって、前記フィルタ処理した画像中の画像情報の、前記フィルタ処理した画像中の位置及び前記フィルタ帯域への依存性は、少なくとも前記フィルタ処理した画像中の位置及び前記フィルタ帯域を座標として有する空間内の面を規定する情報によって表現され、前記面の形状及び位置が少なくとも部分的に前記依存性を規定する表示画像生成方法において、
選択したフィルタ帯域値、及び前記フィルタ帯域値をフィルタ帯域座標値として有する前記空間内の位置の行列を規定するステップであって、前記行列内の各位置が前記表示画像中のそれぞれの画素位置に対して規定されるステップと；
前記行列内の位置の、前記面の真のバージョンの近似を記述する制御点に対する相対位置、及び、選択したフィルタ帯域値と、使用する前記制御点毎に個別に計算した前記制御点のフィルタ帯域座標との差を用いて、前記表示画像の画素値を計算するステップと
を具えていることを特徴とする表示画像生成方法。
【請求項２８】
回転、スケーリング、及び／または平行移動、及び／またはこれらの組合せを含むグループから選択した変換を詳細記述するステップと；
前記行列内の位置の前記制御点に対する相対位置を用いた画素値の計算の前に、前記行列内の位置の座標に対する前記制御点の変換を適用するステップと
を具えていることを特徴とする請求項２７に記載の表示画像生成方法。
【請求項２９】
前記ディジタル画像表現が、画像の時系列を時間の関数として表現し、前記空間内の座標が時間座標を含み、前記制御点は独立して選択可能な時間座標値を有し、
前記行列内の位置の、前記制御点に対する相対位置、及び、一連のフレーム時間値と、使用する前記制御点毎に個別に計算した前記制御点の時間座標成分との差を用いて、前記一連のフレーム時間値に対する前記表示画像の画素値を計算するステップを具えていることを特徴とする請求項２７に記載の表示画像生成方法。
【請求項３０】
請求項２７に記載の方法をプログラム可能なコンピュータに実行させる機械語命令のプログラムを具えたコンピュータ読取可能媒体。
【請求項３１】
一般的な原画像にそれぞれのフィルタ帯域での空間フィルタ演算を適用することによって得られる空間フィルタ処理した画像を表現するディジタル画像の表現を含むコンピュータ読取可能媒体において、
前記フィルタ処理した画像中の画像情報の、前記フィルタ処理した画像中の位置及び前記フィルタ帯域への依存性は、少なくとも前記フィルタ処理した画像中の位置及び前記フィルタ帯域を座標として有する空間内の面を規定する情報によって表現され、前記面の形状及び位置が少なくとも部分的に前記依存性を規定し、前記媒体が、前記面の近似バージョンを規定する制御点の座標情報を記憶し、前記座標情報が、各前記制御点のフィルタ帯域座標成分を、他のすべての制御点のすべてのフィルタ帯域座標成分から独立して設定可能にする方法で表現されることを特徴とするコンピュータ読取可能媒体。
【国際調査報告】
2007527155.tif 000009
2007527155.tif 000010