(57)【要約】本発明は、ピクセルの第１のブロック（２０）をピクセルの第２のブロック（２００）に内挿する方法であって、前記第２のブロック（２００）は前記第１のブロック（２０）のピクセル数よりも多数のピクセルを含む。方法は、前記第２のブロック（２００）の前記内挿されたピクセル（２０２、２０３、２０６、２１１、２１６、２２０、２２１、２２５、２２７、２２８、２２９）の前記少なくとも一部に関連付けられるべき前記第２の値は、関連付けられた（視差またはグレイレベル）値が不確定である１つのピクセルを含む４つのピクセルのうちの３つのピクセルを通る平面および前記第２のブロック（２００）に内挿されたピクセルの前記座標から決定される。本発明は、対応する内挿モジュール及び内挿方法をコンピュータで実施するコンピュータプログラム製品にも関する。
2016511962.tif 000002
【特許請求の範囲】
【請求項１】
ピクセルの第１のブロック（２０）をピクセルの第２のブロック（２００）に内挿する方法であって、前記第２のブロック（２００）は前記第１のブロック（２０）のピクセル数よりも多数のピクセルを含み、ピクセルの前記第１のブロックは２つの隣接する行および２つの隣接する列に配置された４つのピクセル（２１、２２、２３、２４）を含み、第１の値は前記第１のブロックの前記ピクセル（２１、２２、２３、２４）に関連付けられており、前記第１の値は、前記４つのピクセルのうちの３つのピクセル（２１、２３、２４）については確定的であり、かつ前記４つのピクセルのうちの１つのピクセル（２２）については不確定であり、前記方法は、前記第１のブロック（２０）内の前記３つのピクセル（２１、２３、２４）の座標から決定される、関連する第１の値を有する前記第１のブロック（２０）の前記３つのピクセル（２１、２３、２４）から、前記３つのピクセル（２１、２３、２４）に関連付けられた第１の値から、および前記第２のブロック（２００）に内挿されたピクセルの座標から、前記第２のブロック（２００）の内挿されたピクセル（２０２、２０３、２０６、２１１、２１６、２２０、２２１、２２５、２２７、２２８、２２９）の少なくとも一部に関連付けられるべき第２の値を決定すること（４２）を含む、前記方法。
【請求項２】
前記第１のブロック（２０）内の前記３つのピクセル（２１、２３、２４）の座標および前記３つのピクセル（２１、２３、２４）に関連付けられた前記第１の値から決定される、関連する第１の値を有する前記第１のブロック（２０）の前記３つのピクセル（２１、２３、２４）を通る平面の式を決定することをさらに含み、前記内挿されたピクセル（２０２、２０３、２０６、２１１、２１６、２２０、２２１、２２５、２２７、２２８、２２９）の前記少なくとも一部に関連付けられるべき前記第２の値は、前記平面の式および前記第２のブロック（２００）に内挿されたピクセルの前記座標から決定される、請求項１に記載の方法。
【請求項３】
前記決定された第２の値の少なくとも一部は、前記第２のブロック（２００）内にコピーされた前記第１のブロック（２０）の前記３つのピクセル（２０１、２２６、２３０）を頂点として有する多角形の外側に配置された、内挿されたピクセル（２０２、２０３，２２０、２２５）に関連付けられる、請求項１または２に記載の方法。
【請求項４】
前記不確定な第１の値は、前記第２のブロック（２００）の少なくとも１つのピクセル（２０４、２０５、２１０、２１５）に関連付けられる、請求項１から３のいずれかに記載の方法。
【請求項５】
前記不確定な第１の値に関連付けられる前記第２のブロックのピクセル数が、ピクセルの前記第１のブロック（２０）の内挿によって、ピクセルの前記第２のブロック（２００）を得るために使用される水平および垂直アップサンプリング係数のうちの少なくとも１つのパリティの関数である、請求項４に記載の方法。
【請求項６】
前記第２のブロック（２００）は、水平アップサンプリング係数および垂直アップサンプリング係数を使用することによる前記第１のブロック（２０）のアップサンプリングに対応し、前記方法は、
前記水平および垂直アップサンプリング係数の前記パリティを決定するステップと、
前記水平アップサンプリング係数が偶数の場合に前記第２のブロックの中央の列に属する前記内挿されたピクセル（２０３、２２８）に適用されるべき、かつ前記垂直アップサンプリング係数が偶数の場合に前記第２のブロックの中央の行に属する前記内挿されたピクセルに適用されるべき、内挿規則を決定するステップと、
を含む、請求項１から５のいずれかに記載の方法。
【請求項７】
前記内挿規則は、
第２の値を、前記平面の前記式から決定される前記中央の列および前記中央の行の前記ピクセル（２０３、２２８）と関連付ける規則と、
第２の値を、前記第１のブロックの少なくとも１つのピクセルに関連付けられた少なくとも１つの第１の値に対応する前記中間列および前記中間行の前記ピクセルと関連付ける規則と、
を含む規則のセットから選択される、請求項６に記載の方法。
【請求項８】
前記第１の値は視差を表す値である、請求項１から７のいずれかに記載の方法。
【請求項９】
前記第１の値はグレイレベルを表す値である、請求項１から８のいずれかに記載の方法。
【請求項１０】
ピクセルの第１のブロック（２０）をピクセルの第２のブロック（２００）に内挿するためのモジュール（３）であって、前記第２のブロック（２００）は前記第１のブロック（２０）のピクセル数よりも多い数のピクセルを含み、ピクセルの前記第１のブロックは２つの隣接する行および２つの隣接する列に配置された４つのピクセル（２１、２２、２３、２４）を含み、第１の値は前記第１のブロックの前記ピクセル（２１、２２、２３、２４）に関連付けられており、前記第１の値は前記４つのピクセルのうちの３つのピクセル（２１、２３、２４）については確定的であり、かつ前記４つのピクセルのうちの１つのピクセル（２２）については不確定であり、前記モジュールは、前記第１のブロック（２０）内の前記３つのピクセル（２１、２３、２４）の座標から決定される、関連付けられる第１の値を有する前記第１のブロック内の前記３つのピクセル（２１、２３、２４）から、前記３つのピクセルに関連付けられる第１の値から、および前記第２のブロック（２００）に内挿されたピクセルの座標から、前記第２のブロック  （２００）の内挿されたピクセル（２０２、２０３、２０６、２１１、２１６、２２０、２２１、２２５、２２７、２２８、２２９）のうちの少なくとも一部に関連付けられるべき第２の値を決定する（４２）よう構成された少なくとも１つのプロセッサ（３２０）を備える、前記モジュール。
【請求項１１】
前記少なくとも１つのプロセッサ（３２０）はグラフィックス処理装置である、請求項１０に記載のモジュール。
【請求項１２】
前記少なくとも１つのプロセッサ（３２０）は、前記第１のブロック（２０）内の前記３つのピクセル（２１、２３、２４）の座標および前記３つのピクセル（２１、２３、２４）に関連付けられた前記第１の値から決定される、関連する第１の値を有する、前記第１のブロック（２０）の前記３つのピクセル（２１、２３、２４）を通過する平面の式を決定するようにさらに構成され、前記内挿されたピクセル（２０２、２０３、２０６、２１１、２１６、２２０、２２１、２２５、２２７、２２８、２２９）の前記少なくとも一部に関連付けられるべき前記第２の値は、前記平面の式および前記第２のブロック（２００）に内挿されたピクセルの前記座標から決定される、請求項１０または１１に記載のモジュール。
【請求項１３】
プログラムがコンピュータ上で実行されたときに請求項１から９のいずれかに記載の前記方法の前記ステップを実行するためのプログラムコード命令を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像またはビデオ処理の分野に関する。本発明はまた、ピクセルブロックの内挿（ｉｎｔｅｒｐｏｌａｔｉｏｎ：補間）の分野、より詳細にはソースピクセルブロックまたはマトリックスのアップサンプリングに関する。
【背景技術】
【０００２】
従来技術によれば、例えば、同一のシーンのいくつかのビュー間、すなわちいくつかの視点に従って取り込まれた同一のシーンのいくつかの画像間のグレイレベルや視差情報（ｄｉｓｐａｒｉｔｙ  ｉｎｆｏｒｍａｔｉｏｎ）などの画像のピクセルに関連付けられるべき様々な情報を取り込むことを可能にする装置が存在する。グレイレベル情報は、例えば、スチルカメラまたはビデオカメラのＣＣＤセンサを使用して取り込まれ、ビュー間視差情報は、例えば、（例えば、Ｋｉｎｅｃｔ（登録商標）タイプの）深度センサを使用して取り込まれ、または視差推定ソフトウェアを使用して計算される。この情報が、画像に関連付けられるマップ、例えば、グレイレベル値が各ピクセルに関連付けられ、それが関連付けられる画像と同数のピクセルを含むピクセルマトリックスに対応するグレイレベルマップ内、または視差値が各ピクセルに関連付けられ、それが関連付けられる画像と同数のピクセルを含むピクセルマトリックスに対応する視差マップ内に格納される。
【０００３】
この情報の取込み中または推定中の取込み誤差または推定誤差が、画像に関連付けられるマップ内に穴を出現させ、すなわち、いくつかのピクセルが、関連付けられる（グレイレベルまたは視差）情報を有さず、または誤った関連付けられる情報を有する。
【０００４】
さらに、マップは、この情報を取り込むのに使用されるセンサに固有のハードウェア制限のために、または高解像度取込みを妨げるリアルタイム取込み制約のために、制限された解像度を有することがある。
【発明の概要】
【０００５】
本発明の目的は、従来技術のこれらの欠点のうちの少なくとも１つを克服することである。
【０００６】
より具体的には、本発明の目的は特に、完全な画像および／またはより良好な解像度に関連付けられる情報マップを提供することである。
【０００７】
本発明は、ピクセルの第１のブロックをピクセルの第２のブロックに内挿する方法であって、前記第２のブロックは前記第１のブロックのピクセル数よりも多い数のピクセルを含み、ピクセルの前記第１のブロックは２つの隣接する行および２つの隣接する列に配置された４つのピクセルを含み、第１の値は前記第１のブロックの前記ピクセルに関連付けられており、前記第１の値は、前記４つのピクセルのうちの３つのピクセルについては確定的であり、４つのピクセルのうちの１つのピクセルについて不確定である方法に関する。前記方法は、前記第１のブロック内の前記３つのピクセルの座標から決定される、関連する第１の値を有する前記第１のブロックの３つのピクセルから、前記３つのピクセルに関連付けられた第１の値から、および前記第２のブロック内に内挿されたピクセルの座標から、前記第２のブロックの内挿されたピクセルの少なくとも一部に関連付けられるべき第２の値を決定することを含む。
【０００８】
特定の特徴によれば、前記方法は、前記第１のブロック内の前記３つのピクセルの座標および前記３つのピクセルに関連付けられた前記第１の値から決定される、関連する第１の値を有する前記第１のブロックの前記３つのピクセルを通る平面の式を決定することをさらに含み、前記内挿されたピクセルの前記少なくとも一部に関連付けられるべき前記第２の値は、前記平面の式および前記第２のブロック内に内挿されたピクセルの前記座標から決定される。
【０００９】
有利には、前記決定された第２の値の少なくとも一部は、前記第２のブロック内にコピーされた前記第１のブロックの前記３つのピクセルを頂点として有する多角形の外部に配置された、内挿されたピクセルに関連付けられる。
【００１０】
有利には、前記不確定の第１の値は、前記第２のブロックの少なくとも１つのピクセルに関連付けられる。
【００１１】
別の特徴によれば、前記不確定の第１の値に関連付けられる前記第２のブロックのピクセル数が、ピクセルの前記第１のブロックの内挿によって、ピクセルの前記第２のブロックを得るために使用される水平および垂直アップサンプリング係数のうちの少なくとも１つのパリティの関数である。
【００１２】
特定の特徴によれば、前記第２のブロックは、水平アップサンプリング係数および垂直アップサンプリング係数を使用することによる前記第１のブロックのアップサンプリングに対応し、前記方法は、
前記水平および垂直アップサンプリング係数の前記パリティを決定するステップと、
前記水平アップサンプリング係数が偶数の場合に前記第２のブロックの中央の列に属する内挿されたピクセル（２０３、２２８）に適用されるべき、かつ／または前記垂直アップサンプリング係数が偶数である場合に前記第２のブロックの中央の行に属する前記内挿されたピクセルに適用されるべき、内挿規則を決定するステップとをさらに含む。
【００１３】
有利には、前記内挿規則が、以下の規則を含む規則のセットの中から選ばれる。
−第２の値を、前記平面の式から決定される中央の列および／または中央の行のピクセルと関連付ける規則
−第２の値を、第１のブロックの少なくとも１つのピクセルに関連付けられる少なくとも１つの第１の値に対応する前記中央の列および／または前記中央の行の前記ピクセルと関連付ける規則
別の特徴によれば、第１の値は視差を表す値である。
【００１４】
特定の特徴によれば、第１の値はグレイレベルを表す値である。
【００１５】
本発明はまた、ピクセルの第１のブロックをピクセルの第２のブロックに内挿するモジュールであって、前記第２のブロックが、前記第１のブロックのピクセル数よりも多いいくつかのピクセルを含み、ピクセルの前記第１のブロックが、２つの隣接する行および２つの隣接する列に配置された４つのピクセルを含み、第１の値は前記第１のブロックの前記ピクセルに関連付けられ、前記第１の値は前記４つのピクセルのうちの３つのピクセルについて確定的であり、かつ前記４つのピクセルのうちの１つのピクセルについて不確定であり、前記モジュールは、前記第１のブロック内の前記３つのピクセルの座標から決定される、関連付けられる第１の値を有する第１のブロックの３つのピクセルから、前記３つのピクセルに関連付けられる第１の値から、および前記第２のブロックに内挿されたピクセルの座標から、前記第２のブロックの内挿されたピクセルの少なくとも一部に関連付けられるべき第２の値を決定するように構成された少なくとも１つのプロセッサーを備える前記モジュールに関する。
【００１６】
特定の特徴によれば、少なくとも１つのプロセッサーはグラフィックス処理装置（ＧＰＵ）である。
【００１７】
有利には、少なくとも１つのプロセッサーが、第１のブロック内の３つのピクセルの座標および３つのピクセルに関連付けられる第１の値から決定される、関連付けられる第１の値を有する第１のブロックの３つのピクセルを通る平面の式を決定するようにさらに構成され、内挿されたピクセルの少なくとも一部に関連付けられるべき第２の値が、平面の式および第２のブロック内の内挿されたピクセルの座標から決定される。
【００１８】
本発明はまた、このプログラムがコンピュータ上で実行されるときに内挿方法のステップを実行するためのプログラムコード命令を含むコンピュータプログラム製品に関する。
【図面の簡単な説明】
【００１９】
添付の図面を参照する以下の説明を読むときに、本発明がより良く理解され、他の特定の特徴および利点が明らかとなる。
【図１】本発明の特定の実施形態による、第１のピクセルマトリックスからの第２のピクセルマトリックスの生成を示す図である。
【図２】本発明の特定の実現による、図１の第１のピクセルマトリックスのピクセルのグループの、ピクセルの第２のグループへの内挿を示す図である。
【図３】本発明の特定の実現による、図１の第１のピクセルマトリックスを内挿するための方法を実現する装置を概略的に示す図である。
【図４】本発明の特定の実施形態による、図３の装置で実現される、図１の第１のピクセルマトリックスを内挿するための方法を示す図である。
【発明を実施するための形態】
【００２０】
図１は、本発明の特定の非限定的な実施形態による、第１のピクセルマトリックス１０（第１のピクセルブロックとも呼ばれる）の内挿による第２のピクセルマトリックス１３（第２のピクセルブロックとも呼ばれる）の生成を示す。有利には、第２のピクセルマトリックス１３は、第１のピクセルマトリックス１０よりも多くのピクセルを備える。言い換えれば、第２のピクセルマトリックス１３の解像度は、第１のピクセルマトリックス１０の解像度よりも高い。第１の実施例によれば、第１のピクセルマトリックス１０の解像度は６４０＊３６０ピクセル（すなわち、６４０列および３６０行）であり、第２のピクセルマトリックス１３の解像度は１９２０＊１０８０（すなわち、１９２０列および１０８０行）である。第１の実施例によれば、第１のマトリックス１０から第２のマトリックス１３に行くための水平アップサンプリング係数ＮがＮ＝３であり、第１のマトリックス１０から第２のマトリックス１３に行くための垂直アップサンプリング係数ＭがＭ＝３である。この第１の実施例によれば、水平アップサンプリング係数と垂直アップサンプリング係数は等しい。第２の実施例によれば、第１のピクセルマトリックス１０の解像度は、インターレースモードで６４０＊３６０ピクセルであり、第２のピクセルマトリックス１３の解像度は１９２０＊１０８０である。この第２の実施例によれば、水平アップサンプリング係数Ｎと垂直アップサンプリング係数Ｍは異なり、Ｍは６に等しく、Ｎは３に等しい。もちろん、第１および第２のマトリックスの解像度はこれらの２つの実施例に制限されず、任意の解像度に拡張される（例えば、第１のマトリックス１０について１０２４＊７６８ピクセル、第２のマトリックス１３について２０４８＊１５３６であり、アップサンプリング係数ＭおよびＮが２に等しく、または第１のマトリックス１０について１０２４＊７２０、第２のマトリックス１３について４０９６＊２１６０であり、水平アップサンプリング係数Ｎ＝４、垂直アップサンプリング係数Ｍ＝３）。異なる実施例によれば、アップサンプリング係数は偶数または奇数でよい。
【００２１】
第１のピクセルマトリックス１０の各ピクセルに値が関連付けられる場合、値は、例えば視差を表し、またはグレイレベルを表す。第１のマトリックス１０のピクセルに関連付けられる値が視差を表すとき、有利には、第１のマトリックスは、画像に関連付けられる視差マップに対応する。立体視では（すなわち、いくつかの画像がいくつかの視点による同一のシーン、例えば同一のシーンの２つの画像（左側および右側）を表すとき）、第１の画像（例えば、左側の画像）に関連付けられる視差マップが、第１の画像（例えば、左側の画像）のピクセルと、第２の画像（例えば、右側の画像）の対応するピクセルとの間のピクセルの水平差を含み、第１の画像および第２の画像の２つの対応するピクセルが、シーンの同一の要素を表す。画像のピクセルに関連付けられる視差値は、例えば適切な装置によって取り込まれる。変形形態によれば、同一のシーンの２つの画像を比較すること、すなわちシーンの第１の画像の各ピクセルを、同一のシーンの第２の画像の対応するピクセルと突き合わせること（第１の画像および第２の画像の２つの対応するピクセルがシーンの同一の要素を表し、すなわち（誤差のマージン内の）同一のグレイレベル値が２つの対応するピクセルに関連付けられる）、および第１の画像のピクセルと、第２の画像の対応するピクセルとの間の水平位置の差（ピクセル数で表される）を決定することによって視差値が推定される。視差マップの１または複数のピクセルに関連付けられる視差の測定または推定に誤りがある場合（例えば、オブジェクトがある視点から可視であり、別の視点から隠されるとき）、第１のピクセルマトリックス内のこれらのピクセルについて格納された視差値が、不確定または未知である。不確定または未知の値は例えば、所定のコード、例えば、視差値が８ビット上でコード化されるとき、１１１１１１１（１６進数で０ｘＦＦ）に等しいコード、または視差値が１１ビット上でコード化されるとき、１１１１１１１１１１１（１６進数で０ｘ０７ＦＦ）に等しいコードを介して識別される。
【００２２】
第１のマトリックス１０のピクセルに関連付けられる値がグレイレベルを表すとき、有利には、第１のマトリックス１０は、画像に関連付けられるグレイレベルマップに対応する。グレイレベルを表す値は、例えば、８、１０、または１２ビット上でコード化され、例えば画像の各カラーチャネルについてのグレイレベルが利用可能であり、すなわちグレイレベルマップが各カラーチャネル（例えばＲＧＢ）に関連付けられる。第１のピクセルマトリックスの１または複数のピクセルに関連付けられるグレイレベル値に誤りがあるとき（例えば、センサ測定問題に続いて）、このピクセルまたはこれらのピクセルのために第１のピクセルマトリックス内に格納されたグレイレベル値は、不確定または未知である。不確定または未知の値は例えば、所定のコード、例えば、視差値が８ビット上でコード化されるとき、１１１１１１１１または００００００００に等しいコードを介して識別される。
【００２３】
図１の説明の残りの部分は、第１のピクセルマトリックス１０の解像度がインターレースモードで６４０＊３６０ピクセルであり、第２のピクセルマトリックス１３の解像度がプログレッシブモードで１９２０＊１０８０ピクセルであり、すなわち水平アップサンプリング係数Ｎが３に等しく、垂直アップサンプリング係数Ｍが６に等しい実施例に基づく。第１および第２のマトリックスの各ピクセルの位置は、ピクセルマトリックス内のピクセルの座標に対応する列番号Ｃ／行番号Ｌ対によって定義され、第１のマトリックスのピクセルの位置が、対（Ｃ1；Ｌ1）によって定義され、第２のマトリックスのピクセルの位置が、対（Ｃ２；Ｌ２）によって定義される。第２のピクセルマトリックス１３が、例えば第１のピクセルマトリックス１０の双一次内挿（ｂｉｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）によって得られる。第１のステップの間、第１のマトリックス１０の各ピクセルが、第１のマトリックス１０内のピクセルの位置、水平アップサンプリング係数Ｎ、および垂直アップサンプリング係数Ｍに依存する位置で、第２のマトリックスの第１の中間バージョン１１内にコピーされる。第２のマトリックス１３の第１の中間バージョン１１内にコピーされた第１のマトリックス１０のピクセルの位置は、以下の式によって得られる。  
Ｃ2＝Ｎ＊Ｃ1
Ｌ2＝Ｍ＊Ｃ1
【００２４】
第１のマトリックス１０上に灰色として現れ、列番号Ｃ1および行番号Ｌ1で表される座標（１；１）、（１；２）、（２；１）、および（２；２）をそれぞれ有する４つの隣接するピクセル１０１、１０２、１０３、および１０４を例として挙げると、マトリックスの第１の行および第１の列が０と番号付けされ、第１のマトリックス１０の４つのピクセル１０１、１０２、１０３、および１０４にそれぞれ対応する第２のマトリックスの第１のバージョン１１の４つのピクセル１１１、１１２、１１３、および１１４の座標が、それぞれ（３；６）、（３；１２）、（６；６）、および（６；１２）である。第１のマトリックスのピクセルを第２のマトリックス内にコピーすることにより、第１のマトリックスのピクセルに関連付けられる値の、第２のマトリックスの対応するピクセルへの割当てが理解される。有利には、この操作が、第２のマトリックス内の対応するピクセル（すなわち、同一の関連付けられる値を有するピクセル）を有する第１のマトリックス１０の各ピクセルについて反復される。（第２のマトリックスの第１の中間バージョン１１内で白色で識別される）第２のマトリックスの残りのピクセルに関連付けられるべき値を決定するために、当業者に周知の双一次内挿方法が使用される。この方法によれば、それについて値が少なくともいくつかのピクセルに関連付けられる第２のマトリックスの列に属するピクセルの値が、それについて値が関連付けられないピクセルを囲んでいるピクセルの値を使用することにより、内挿によって決定される。それについて関連付けられるべき値が内挿によって決定される列のこれらのピクセルが、第２のマトリックスの第２の中間バージョン１２上の白色のハッチングを有する灰色で識別される。一例として、可読性を高めるために、第２のマトリックスの第２の中間バージョン１２の一部が拡大される。拡大された部分が、破線の楕円によって囲まれ、ピクセル１１１、１２１、１２２、１２３、１２４、１２５、および１１２を含む列番号３の一部に対応する。ピクセル１１１および１１２は、第１のマトリックス１０のピクセル１０１および１０２に対応し、すなわちこれらのピクセル１１１および１１２のそれぞれに関連付けられる値は、ピクセル１０１および１０２にそれぞれ関連付けられる値のコピーである。ピクセル１２１から１２５に関連付けられる値は、ピクセル１１１および１１２に関連付けられる値の内挿によって決定され、ピクセル１１１および１１２はピクセル１２１から１２５を囲んでいる。次いで、（第２のピクセルマトリックスの第２の中間バージョン１２上の白色で識別される）残りのピクセルの値が、それについて関連付けられる値が決定されるピクセルを囲んでいる行のピクセルの値を使用することによって行ごとに決定される。このことが第２のピクセルマトリックス１３によって示されており、第２のピクセルマトリックス１３では、それについて関連付けられる値が決定されている行のピクセルが、白色のハッチングを有する灰色として現れる。一例として、可読性を高めるために、第２のマトリックス１３の一部が拡大される。拡大された部分が、破線の楕円によって囲まれ、ピクセル１２４、１３１、１３２、および���２９を含む行１０の一部に対応し、ピクセル１２４および１２９に関連付けられる値が、第１のマトリックス１０からの値の内挿によって予め決定されている。ピクセル１３１および１３２に関連付けられる値が、ピクセル１２４および１２９に関連付けられる値の内挿によって決定され、ピクセル１２４および１２９はピクセル１３１および１３２を囲んでいる。もちろん、第１のマトリックスからの関連付けられる値を有するピクセルを含む第２のマトリックスの行をまず決定し、次いで残りのピクセルについて列を決定することが可能である。この双一次内挿方法によれば、内挿係数が、それについて関連付けられるべき値が決定されるべきであるピクセルを囲んでいるピクセルに関連付けられる値を重み付けするのに使用される。有利には、これらの内挿係数は、その値が決定されるべき各ピクセルについて、（白色のハッチングを有する灰色として現れるピクセル、例えばピクセル１２１から１２５についての第２のマトリックスの第２の中間バージョン１２上で示されるように）列のピクセルについての垂直アップサンプリング係数Ｍの関数として、および（白色のハッチングを有する灰色として現れるピクセル、例えばピクセル１３１および１３２についての第２のマトリックス１３上で示されるように）行のピクセルについての水平アップサンプリング係数Ｎの関数として決定される。このピクセルを囲んでいるピクセルの２つの値の内挿によってその関連付けられる値が決定される各ピクセルについて、２つの内挿係数が使用され、第１の係数（α＿ｙ）は、決定されるべきピクセルを囲んでいる２つのピクセルのうちの最初のものを重み付けし、第２の係数（β＿ｙ）は、決定されるべきピクセルを囲んでいる２つのピクセルのうちの２番目のものを重み付けする）。第１および第２の垂直の重み付け因子（すなわち、それについての関連付けられる値が既知であるこの列のピクセルから、列のピクセルに関連付けられる値を決定するために、例えばピクセル１１１および１１２からピクセル１２１から１２５に関連付けられる値を決定するために使用される）が、以下の式から計算される。  
α＿ｙ＝ｋ／Ｍ
β＿ｙ＝１−α＿ｙ
【００２５】
上式でｋは、１とＭ−１との間に含まれ、ｋは、決定されるべきピクセルを囲んでいる第１のピクセルに最も近いピクセルについてＭ−１であり、決定されるべきピクセルを囲んでいる第１のピクセルから最も遠いピクセルについて１であり、ｋは、決定されるべきピクセルを囲んでいる第１のピクセルから遠ざかり、決定されるべきピクセルを囲んでいる第２のピクセルに近づくと、１つ減分される。その関連付けられる値がピクセル１１１および１１２の値から決定されるピクセル１２１から１２５の例を取り、ピクセル１１１がピクセル１２１から１２５を囲んでいる第１のピクセルであり、ピクセル１１２がピクセル１２１から１２５を囲んでいる第２のピクセルであるとみなすことにより、ピクセル１２１から１２５に適用される第１および第２の垂直の内挿係数の値は、それぞれ以下のようになる。
【００２６】
【表１】
2016511962.tif 000003
【００２７】
したがって、ピクセル１２１から１２５のうちの１つに関連付けられるべき値Ｖは、垂直の内挿係数によって重み付けされた、ピクセル１２１から１２５を囲んでいる第１および第２のピクセル１１１および１１２に関連付けられる値の和の平均であり、すなわち、
Ｖpixel＝（α＿ｙ＊ＶPixel,111＋β＿ｙ＊ＶPixel,112）
である。
【００２８】
上式でＶpixelは、その関連付けられる値を決定しようと試みるピクセルに関連付けられるべき値であり、Ｖpixel,111は、その関連付けられる値を決定しようと試みるピクセルを囲んでいる第１のピクセルに関連付けられる値であり、Ｖpixel,112は、その関連付けられる値を決定しようと試みるピクセルを囲んでいる第２のピクセルに関連付けられる値である。
【００２９】
ピクセル１２１から１２５に適用されると、これは以下を与える。  
Ｖ121＝（５／６＊ＶPixel,111＋１／６＊ＶPixel,112）
Ｖ122＝（４／６＊ＶPixel,111＋２／６＊ＶPixel,112）
Ｖ123＝（３／６＊ＶPixel,111＋３／６＊ＶPixel,112）
Ｖ124＝（２／６＊ＶPixel,111＋４／６＊ＶPixel,112）
Ｖ125＝（１／６＊ＶPixel,111＋５／６＊ＶPixel,112）
【００３０】
同様に、それについて関連付けられる値が既知である（前述のように、第１のマトリックスからコピーされ、または列に適用される内挿によって決定される）とみなされる行上のこれらのピクセルを囲んでいる２つのピクセルの値から行のピクセルに関連付けられるべき値を決定するために、水平内挿係数が使用される。有利には、これらの第１および第２の水平内挿係数（それぞれα＿ｘおよびβ＿ｘと表される）は、水平アップサンプリング係数Ｎの関数として、すなわち、
α＿ｘ＝ｋ／Ｎ
β＿ｘ＝１−α＿ｘ
として決定される。
【００３１】
上式でｋは、１とＮ−１との間に含まれ、ｋは、決定されるべきピクセルを囲んでいる第１のピクセルに最も近いピクセルについてＮ−１であり、決定されるべきピクセルを囲んでいる第１のピクセルから最も遠いピクセルについて１であり、ｋは、決定されるべきピクセルを囲んでいる第１のピクセルから遠ざかり、決定されるべきピクセルを囲んでいる第２のピクセルに近づくと、１つ減分される。その関連付けられる値がピクセル１２４および１２９の値から決定されるピクセル１３１および１３２の例を取り、ピクセル１２４がピクセル１３１および１３２を囲んでいる第１のピクセルであり、ピクセル１２５がピクセル１３１および１３２を囲んでいる第２のピクセルであるとみなすことにより、ピクセル１３１および１３２に適用される第１および第２の水平の内挿係数の値は、それぞれ以下のようになる。
【００３２】
【表２】
2016511962.tif 000004
【００３３】
したがって、ピクセル１３１および１３２のうちの１つに関連付けられるべき値Ｖは、垂直の内挿係数によって重み付けされた、ピクセル１３１および１３２を囲んでいる第１および第２のピクセル１２４および１２９に関連付けられる値の和の平均であり、すなわち、
Ｖpixel＝（α＿ｘ＊ＶPixel,124＋β＿ｘ＊ＶPixel,129）
である。
【００３４】
上式でＶpixelは、その関連付けられる値を決定しようと試みるピクセルに関連付けられるべき値であり、Ｖpixel,124は、その関連付けられる値を決定しようと試みるピクセルを囲んでいる第１のピクセルに関連付けられる値であり、Ｖpixel,129は、その関連付けられる値を決定しようと試みるピクセルを囲んでいる第２のピクセルに関連付けられる値である。
【００３５】
ピクセル１３１および１３２に適用されると、これは以下を与える。  
Ｖ131＝（２／３＊ＶPixel,124＋１／３＊ＶPixel,129）
Ｖ132＝（１／３＊ＶPixel,124＋２／３＊ＶPixel,129）
【００３６】
その関連付けられる値を決定しようと試みるピクセルを囲んでいるピクセルに関連付けられる値が既知であり、かつ／またはあるピクセルから別のピクセルへの著しい変動を有さないとき、有利には、それについて関連付けられる値が既知ではないピクセルの値を決定するために、双一次内挿方法が使用される。例えば、第１のマトリックス１０の１または複数のピクセル１０１から１０４に関連付けられる値が既知ではない場合、第２のマトリックス１３の４つのピクセル１１１から１１４によって囲まれ、第１のマトリックス１０の４つのピクセル１０１から１０４に対応する第２のマトリックス１３のピクセルを決定するために、双一次内挿方法は使用されない。同様に、第１のマトリックス１０の４つのピクセル１０１から１０４の中からの２つの隣接するピクセル間の差が生じる場合（すなわち、２つの隣接するピクセルに関連付けられる値の間の差が、決定されるしきい値よりも大きい場合であり、実際にはそれは、これらの２つの考慮される隣接するピクセルが第１のマトリックス１０に関連付けられる画像上の２つの異なるオブジェクトに属することを意味する）、第１のマトリックス１０の４つのピクセル１０１から１０４に対応する第２のマトリックス１３の４つのピクセル１１１から１１４によって囲まれる第２のマトリックス１３のピクセルを決定するために、双一次内挿方法は使用されない。これらのケースのうちの１つまたは他が生じたとき、有利には、内挿誤差を最小限に抑えるために、図２に関して説明した方法が使用される。
【００３７】
図２は、本発明の特定の有利な実施形態による、ピクセル２１、２２、２３、および２４の第１のグループ（ピクセルの第１のブロックと呼ばれる）の、ピクセル２０１から２３０の第２のグループ（ピクセルの第２のブロックと呼ばれる）への内挿を示す。第１のブロックのピクセル２１から２４は、例えば、第１のピクセルマトリックス１０のピクセルのブロック、または４つのピクセルのみを含む第１のピクセルマトリックス２０に対応する。図２の非限定的な実施例によれば、水平アップサンプリング係数Ｎが４に等しく、垂直アップサンプリング係数Ｍが５に等しい。ピクセル２１、２３、および２４に関連付けられる値は（１または複数の適切なセンサによって実施される測定を介して、または当業者に周知の任意の推定方法を介して）既知である。３つのピクセル２１、２３、および２４は隣接し、２つの隣接する列および２つの隣接する行にわたって分布する。第１の実施例によれば、第４のピクセル２２に関連付けられる値は未知であり、または取込みもしくは推定誤差を表す。第２の実施例によれば、このピクセル２２に関連付けられる値と、同一の行の隣接するピクセル２１に関連付けられる値との差、またはこのピクセル２２に関連付けられる値と、同一の列の隣接するピクセル２４に関連付けられる値との差が、しきい値よりも大きい。しきい値よりも大きい値の差は、一方ではこのピクセル２２と、他方ではピクセル２１、２３、および２４とが、第１のブロック１０に関連付けられる画像の２つの異なるオブジェクトに属することを表す。例えば、ピクセル２１から２４に関連付けられる値が視差を表す場合、２つのピクセル間の視差の著しい（すなわち、しきい値よりも大きい、例えば１０個または１５個のピクセルよりも大きい）差は、一方ではこれらのピクセル２２が属するオブジェクトと、他方ではピクセル２１、２３、および２４が属するオブジェクトとが、異なる深度平面（ｄｅｐｔｈ  ｐｌａｎｅ）に属することを示す。同様に、ピクセル２１から２４に関連付けられる値がグレイレベルを表す場合、グレイレベルの著しい（すなわち、しきい値よりも大きい、例えばグレイレベルが８ビット上で、すなわち０から２５５までのスケールでコード化されるときに、１６または３２よりも大きい）差は、ピクセル２１から２４での輪郭の存在、すなわち一方ではピクセル２２が、他方ではピクセル２１、２３、および２４が画像の異なるオブジェクトに属することを明らかにする。第１のブロック２０の４つのピクセルをアップサンプリングして第２のブロック２００を生成するケースでの、４つのピクセル２１から２４に関連付けられる４つの値に基づく内挿の問題を克服するために、ピクセル２１、２３、および２４に関連付けられる値がコピーされ、第２のブロック２００の対応するピクセルに関連付けられ、すなわちそれぞれピクセル２０１、２２６、および２３０に関連付けられる。ピクセル２２に関連付けられる未知の値（またはピクセル２１および２４に関連付けられる値のうちの１つに対するしきい値より大きい差を有する値）もコピーされ、第１のブロック２０のピクセル２２に対応する第２のブロック２００のピクセル２０５に関連付けられる。図１に関して説明し���ように、ピクセル２１、２２、２３、および２４にそれぞれ対応する第２のブロック２００のピクセル２０１、２０５、２２６、および２３０のＸ、Ｙ基準系の座標（すなわち、行および列番号）が、第１のブロック２０内のピクセル２１、２２、２３、および２４の座標と、アップサンプリング係数ＭおよびＮとから決定される。したがって、ピクセル２１、２２、２３、および２４の座標は、例えば第１のブロック２０内のそれぞれ（０，０）、（１，０）、（０，１）、および（１，１）であり、対応するピクセル２０１、２０５、２２６、および２３０の座標は、第２のブロック２００のそれぞれ（０，０）、（４，０）、（０，５）、および（４，５）である。他のピクセル２０２、２０３、２０４、２０６から２１０、２１１から２１５、２１６から２２０、２２１から２２５、２２７、２２８、および２２９に関連付けられるべき値を決定するために、その関連付けられる値が既知である（第１のブロック２０の、または同等には、第１のブロックのピクセル２１から２４が第２のブロック内にコピーされるので、第２のブロック２００の）３つのピクセルを通る平面の式が決定される。平面のデカルト式は以下の形を有する。  
ａ＊ｘ＋ｂ＊ｙ＋ｃ＊ｚ＋ｄ＝０
【００３８】
上式でｘおよびｙは、平面のピクセルの座標に対応し（すなわち、それぞれ平面のピクセルの列番号および行番号）、ｚは平面のピクセルに関連付けられる値に対応し、ａ、ｂ、ｃ、およびｄは、平面の３つのピクセルを知ることによって決定することが可能となる平面の係数に対応する。
【００３９】
それについてｘ、ｙ、ｚが既知である３つのピクセルから当業者に周知の任意の方法に従って平面の式が決定されると（すなわち、係数ａ、ｂ、ｃ、およびｄの値が決定されると）、第２のブロック２００内のその座標ｘおよびｙ（すなわち、列および行番号）を知ることにより、それについて値が検索されるピクセルに関連付けられるべき値、すなわち（ピクセルの列番号ｘpixelおよびピクセルの行番号ｙpixelを知って）その関連付けられる値が検索されるピクセルに関連付けられるべき値に対応するｚpixelを見つけることが可能となる。したがって以下を得る。  
ｚpixel＝−（ａ＊ｘpixel＋ｂ＊ｙpixel＋ｄ）／ｃ
【００４０】
この式、およびその関連付けられる値を決定することを望むピクセルの座標ｘおよびｙを知ることから、第２のブロック２００の各ピクセルについて、すなわち、第１のブロック２０を介してそれについての関連付けられる値が既知である４つのピクセル２０１、２０５、２２６、および２３０によって限界が定められるエリアの各ピクセルについてｚ（および関連付けられる値）を決定することが可能となる。したがって、平面の式を決定するために使用される３つの点を頂点として有する三角形内部に位置するピクセル、すなわちピクセル２０１、２２６、および２３０に関連付けられる値を決定することが可能となるが、この三角形の外側に位置するピクセル、例えばピクセル２０２、２０３、２２０、２２５、およびその参照番号が図２に現れていない他のピクセルに関連付けられる値を決定することも可能となる。一変形形態によれば、ピクセル２２に関連付けられ、第２のブロック２００のピクセル２０５に関連付けられるようにコピーされる値が、それについて関連付けられるべき値を決定することを試みる第２のブロックの他のピクセルに割り当てられる。図２の実施例によれば、ピクセル２０５の値が、ピクセル２０５の列に隣接する列（ピクセル２０１、２０５、２２６、および２３０によって限界が定められるエリア内部）と、ピクセル２０５を含む行に最も近い２つの行とのどちらにも属するピクセルに伝達される。したがって、この値がピクセル２０４、２０９、２１０、２１４、および２１５に関連付けられる。有利には、第２のブロック２００のどのピクセルにピクセル２０５の値を割り当てなければならないかを決定する規則が予め定められる。未知の値をどのピクセルに割り当てるかを判断するための基準のうちの１つは、（水平および垂直）アップサンプリング係数のパリティである。アップサンプリング係数ＭまたはＮが奇数であるケースでは、ピクセル２０５の値が、内挿された列／行の半分にわたって伝達され、関係する列／行数は、（Ｍ−１）／２または（Ｎ−１）／２に等しい。図２の実施例によれば、５に等しいときに、奇数の垂直アップサンプリング係数Ｍを有する。このことは、その関連付けられる値が第１のブロック２０を起源とするピクセル２０１、２０５、および２２６、２３０を含む行の間に４つの行があることを意味する。ピクセル２０１および２０５を含む行が、例えば０と番号付けされ、ピクセル２２６および２３０を含む行が、５と番号付けされる。したがって、ピクセル２０５の値が割り当てられるピクセルを含む２つの行は、１および２と番号付けされる行である。水平アップサンプリング係数Ｎが偶数であると（図２の実施例によれば４に等しい）、全体の数を得るために第２のブロック２００の列数を２つに分割することは不可能である。中央の列（０と番号付けされた列が左端の列、すなわちピクセル２０１および２２６を含む列であるという原理の上で作業して、ピクセル２０３および２２８を含む２と番号付けされた列）のピクセルについて、その関連付けられる値を決定するためにどの規則を適用するか、すなわち、平面の式を使用するか、またはピクセル２０５に関連付けられる値をコピーするかを事前に決定することが必要である。このことは、中央の列のピクセルがピクセル２１、２３、２４を含むオブジェクトまたは平面に属さなければならないか、またはピクセル２２を含むオブジェクトまたは平面に属さなければならないかを決定することを意味する。ケースに応じて、２つの規則は意味がある。有利には、どの規則を適用するかが事前に判断され、この規則は、デフォルトではその後に、本明細書で説明される内挿方法の実現中にプログラムおよび適用される。例えば、ビュー合成のために、カメラ（視点）から最も遠い深度に対応する視差値がコピーされ、それについて視差値が不確定であるピクセル数が制限される。逆に、３Ｄ再構築のために、中央の行および／または列のピクセルが不確定のままとなり、すなわちこれらのピクセルに関連付けられる値が未知または不確定のままとなる。図２の実施例では、ピクセル２１、２３、２４を通る（または同等には、ピクセル２０１、２２６、および２３０を通る）平面の式を使用して、列番号２のピクセル、例えばピクセル２０３および２０８に関連付けられるべき値を決定することが判断されており、これらのピクセルのいくつかが、頂点２０１、２２６、２３０によって形成される三角形の内部に位置し（すなわち、行３、４、および５のピクセル）、他のピクセルは、この三角形の外部に位置する（すなわち、行０、１、２）。図２の実施例によれば、６つのピクセルがピクセル２２の値を受け取り、すなわち、ピクセル２２に関連付けられる値が、列番号３および４と行番号０、１、２を有する第２のブロックの６つのピクセルについてコピーされる。第２のブロック２００の他のピクセルについて、その関連付けられる値は、ピクセル２１、２３、２４を通る（またはピクセル２０１、２２６、２３０を通る）平面の式を使用することによって決定される。
【００４１】
一変形形態によれば、平面の式は変数型であり、Ａと表されるピクセル（例えばピクセル２３）の座標（ｘ23，ｙ23，ｚ23）と、２つの非共線ベクトル、例えばピクセル２３、２１の対から定義される第１のベクトル
【００４２】
【数１】
2016511962.tif 000005
【００４３】
およびピクセル２３、２４の対から定義される第２のベクトル
【００４４】
【数２】
2016511962.tif 000006
【００４５】
とから決定される。平面は、平面のベクトル式に対応する
【００４６】
【数３】
2016511962.tif 000007
【００４７】
平面の変数式に対応する
【００４８】
【数４】
2016511962.tif 000008
【００４９】
となるような２つのスカラλおよびμがそれについて存在する点Ｍ（ｘ，ｙ，ｚ）のセットであり、λおよびμは平面のパラメータであり、λおよびμは実数値である。
【００５０】
図３は、第１のピクセルマトリックスの第２のピクセルマトリックスへの内挿に適した装置３のハードウェア実施形態を概略的に示す。装置３は、例えばパーソナルコンピュータ、ラップトップ、セットトップボックス、またはディスプレイ装置内に組み込まれた画像処理モジュールに対応する。
【００５１】
装置３は、クロック信号も移送するアドレスおよびデータバス３５によって互いに接続される以下の要素を備える。  
マイクロプロセッサ３１（またはＣＰＵ）
以下を備えるグラフィックスカード３２
いくつかのグラフィックス処理装置３２０（またはＧＰＵ）
グラフィックランダムアクセスメモリ（ＧＲＡＭ）３２１
例えばオペレーティングシステム型のプログラム３６０を含む、ＲＯＭ（読出し専用メモリ）型の不揮発性メモリ３６
ランダムアクセスメモリ（ＲＡＭ）３７
例えばキーボード、マウス、ウェブカメラなどの、１または複数のＩ／Ｏ（入力／出力）装置３４
電源３８
【００５２】
装置３はまた、特に第１のピクセルマトリックスまたは第２のピクセルマトリックスに関連付けられる画像のレンダリングを表示するためにグラフィックスカード３２に直接接続されるディスプレイスクリーン型のディスプレイ装置３３を備える。ディスプレイ装置３３をグラフィックスカード３２に接続するための専用バスの使用は、ずっと高いデータ伝送ビットレートを有し、したがってグラフィックスカードによって構成される画像の表示のための待ち時間を短縮するという利点を提供する。一変形形態によれば、画像を表示するための機器は、装置３の外部にあり、ディスプレイ信号を伝送するケーブルによって装置３に接続される。装置３、例えばグラフィックスカード３２は、例えばＬＣＤ、プラズマスクリーン、またはビデオプロジェクタなどの外部ディスプレイ手段にディスプレイ信号を伝送するのに適した、伝送のための手段またはコネクタ（図３には図示せず）を備える。
【００５３】
メモリ３２１、３６、および３７の説明で使用される「レジスタ」という語は、言及される各メモリで、低容量のメモリゾーン（何らかのバイナリデータ）ならびに大容量のメモリゾーン（プログラム全体または計算され、もしくは表示されるべきデータを表すデータのすべてまたは部分の記憶を可能にする）を示すことに留意されたい。
【００５４】
スイッチオンされるとき、マイクロプロセッサ３１は、ＲＡＭ３７内に含まれるプログラムの命令をロードおよび実行する。
【００５５】
ランダムアクセスメモリ３７は特に、
レジスタ３７０内に、装置３をスイッチオンする役割を果たすマイクロプロセッサ３１のオペレーティングプログラムと、
第１のマトリックスのピクセルを表すパラメータ３７１、例えばピクセルの座標またはピクセルに関連付けられる第１の値とを含む。
【００５６】
本発明に特有であり、以下で説明される方法のステップを実現するアルゴリズムが、これらのステップを実現する装置３に関連付けられるグラフィックスカード３２のメモリＧＲＡＭ３２１内に格納される。スイッチオンされ、第１のマトリックスを表すパラメータ３７１がＲＡＭ３７にロードされると、グラフィックスカード３２のグラフィックスプロセッサー３２０は、これらのパラメータをＧＲＡＭ３２１にロードし、例えばＨＬＳＬ（「高水準シェーダ言語」）またはＧＬＳＬ（「ＯｐｅｎＧＬシェーディング言語」）を使用する「シェーダ」型のマイクロプログラムの形のこれらのアルゴリズムの命令を実行する。  
ランダムアクセスメモリＧＲＡＭ３２１は特に、
第１のピクセルマトリックスのピクセルを表すパラメータ３２１０と、
第１のマトリックスのピクセルに関連付けられる第１の値３２１１と、
第１のマトリックスの少なくとも３つのピクセルを通る平面の式を表すパラメータ３２１２と、
第１のピクセルマトリックスの内挿から第２のピクセルマトリックスのピクセルに関連付けられる第２の値３２１３とを含む。
【００５７】
一変形形態によれば、値およびパラメータ３２１０から３２１３が、ＲＡＭ３７に格納され、マイクロプロセッサ３１によって処理される。
【００５８】
別の変形形態によれば、ＧＲＡＭ３２１内で利用可能なメモリ記憶空間が不十分である場合、ＲＡＭ３７の一部が、ＣＰＵ３１によって値およびパラメータ３２１０から３２１３の記憶のために割り当てられる。しかし、この変形形態は、ＧＰＵからＧＲＡＭへの、およびその逆のデータの伝送について、その伝送容量が一般にはグラフィックスカードで利用可能なものよりも低いバス３５を介してデータをグラフィックスカードからランダムアクセスメモリ３７に伝送しなければならないので、ＧＰＵ内に含まれるマイクロプログラムからの内挿のために必要な計算で、より長い待ち時間を引き起こす。
【００５９】
別の変形形態によれば、電源３８は装置３の外部である。
【００６０】
図４は、本発明の非限定的な特に有利な実施形態による、装置３で実現される第１のピクセルマトリックスを第２のピクセルマトリックスに内挿するための方法を示す。
【００６１】
初期化ステップ４０の間に、装置３の様々なパラメータが更新される。
【００６２】
次いで、ステップ４１の間に、第１のピクセルマトリックスの３つのピクセルを通る平面の式が決定され、３つのピクセルに関連付けられる第１の値は、直接的な測定によって、または他の値についての推定によって既知である。第１の値は、例えば、それらを測定するのに適したセンサから受信され、または他の値から決定される（例えば、第１の値が視差を表す値に対応する場合、これらの第１の値が、２つの異なる視点による同一のシーンを表す２つの画像の各ピクセルに関連付けられるグレイレベルから決定されることができる）。平面の式は、第１のマトリックス内の３つのピクセルの座標と、これらのピクセルに関連付けられる第１の値とから決定される。一変形形態によれば、これらのピクセルに関連付けられる第１の値が比較的一様であるとき、すなわちこれらの間の変動が小さいとき、すなわちしきい値よりも小さいとき、例えば図２に関して説明されたしきい値よりも小さいとき、平面の式が、３つよりも多いピクセル、例えば４つのピクセルから決定される。これは、平面の式を決定するのに使用される４つのピクセルが画像のオブジェクトの同一の表面に関連付けられるケースでは特にそうである。平面の式は、例えば、デカルト型または変数型である。
【００６３】
有利には、第２のピクセルマトリックスは、第１のマトリックスのピクセル数よりも多いいくつかのピクセルを含み、第２のマトリックスは第１のマトリックスのアップサンプリングに対応する。第１のマトリックスのアップサンプリングは、水平アップサンプリング係数および垂直アップサンプリング係数から得られる。有利には、水平アップサンプリング係数は垂直アップサンプリング係数とは異なる。一変形形態によれば、水平アップサンプリング係数は垂直アップサンプリング係数に等しい。
【００６４】
有利には、平面の式が３つのピクセルから決定されるとき、使用される３つのピクセルが隣接し、２つの隣接する列および２つの隣接する行にわたって分布する。
【００６５】
有利には、第１の値は視差を表す。一変形形態によれば、第１の値はグレイレベルを表す。
【００６６】
ステップ４２の間に、第２のピクセルマトリックスの内挿されたピクセルに関連付けられるべき第２の値が、前のステップで決定された平面の式と、第２のマトリックス内の内挿されたピクセルの座標とから決定される。有利には、第２のマトリックスの内挿されたピクセルは、第１のマトリックスのピクセルに対応する第２のマトリックスのピクセルによって囲まれる第２のマトリックスのピクセルに対応する。第１のマトリックスのピクセルに対応する第２のマトリックスのピクセルに関連付けられる値は、第１のマトリックスのピクセルに関連付けられる第１の値に等しく、これらの第１の値が、第２のマトリックスの対応するピクセルに関連付けられるためにコピーされる。言い換えれば、第１のマトリックスのピクセルが、第２のマトリックス内にコピーされ、これらのピクセルについて、第１のマトリックスと第２のマトリックスとの間で異なるのは座標だけである。
【００６７】
有利には、内挿されたピクセルの少なくとも一部が、第２のマトリックス内の第１のマトリックスのピクセルのコピーを頂点として有する多角形の外部の第２のマトリックス内に配置される。多角形は、例えば、平面の式を決定するのに使用されるピクセルが合計で３つあるときは三角形に対応し、平面の式を決定するのに使用されるピクセルが合計で４つあるときは四角形に対応する。
【００６８】
有利には、第１のマトリックスは、それについて関連付けられる第１の値が未知または不確定である１または複数のピクセルを含む。一変形形態によれば、第１のマトリックスは、所定のしきい値よりも大きい、その関連付けられる第１の値の間の差を有するピクセルの少なくとも１つの対を含む。
【００６９】
一変形実施形態によれば、水平アップサンプリング係数のパリティおよび垂直アップサンプリング係数のパリティが決定される。パリティの決定の結果に従って、水平アップサンプリング係数が偶数であるときは、第２のマトリックスの中央の列に属する内挿されるピクセルに、垂直アップサンプリング係数が偶数であるときは、中央の行または第２のマトリックスに属する内挿されるピクセルに、どの内挿規則を適用しなければならないかが決定される。有利には、適用されるべき規則の選択は、複数の内挿規則の中から、例えば以下の２つの内挿規則の中から行われる。
【００７０】
第２のピクセルマトリックスの中央の列および／または中央の行の内挿されるピクセルに関連付けられるべき第２の値を決定するための平面の式の使用
第２のピクセルマトリックスの中央の列および／または中央の行の内挿されるピクセルにそれを関連付けるための、（第１のマトリックスのピクセルのコピーに対応する）第２のマトリックスのピクセルのうちの１つに関連付けられる第１の値のコピー
水平および／または垂直アップサンプリング係数が偶数であるときの、第２のピクセルマトリックスの中央の列および／または中央の行の内挿されるピクセルについての規則のうちの１つまたは他を使用するための判断は、任意の実現選択であり、予め決定される。
【００７１】
もちろん、本発明は前述の実施形態に制限されない。
【００７２】
特に、本発明は、内挿方法に制限されず、内挿方法を実現する処理装置に拡張される。本発明はまた、ソース画像からアップサンプリングされた画像を生成するためにソース画像のアップサンプリングを実現する画像処理方法に関する。
【００７３】
前述の実施形態は、例えば、方法またはプロセス、機器、ソフトウェアプログラム、データストリームまたは信号で実現される。説明された内挿方法を実現する装置または機器は、例えば、プログラム可能またはプログラム不能のハードウェア構成要素の形態、１または複数のプロセッサー（有利には、ＧＰＵ型であるが、変形形態によればＣＰＵまたはＡＲＭ型も）の形態である。説明された方法は、例えば、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラム可能ソフトウェア装置を含む、一般には処理装置を指す、少なくとも１つのプロセッサーを含む機器で実現される。プロセッサーはまた、例えばコンピュータ、携帯電話またはセルラ電話、スマートフォン、ポータブル／携帯情報端末（ＰＤＡ）、ディジタルタブレット、またはユーザ間の情報の通信を可能にする任意の他の装置などの通信装置をも含む。
【００７４】
前述の様々なプロセスおよび様々な特徴の実施形態は、様々な装置またはアプリケーションで、例えば、特に、データのコーディング、データの復号、ビューもしくは画像の生成、テクスチャの処理、ならびにテクスチャを表す画像もしくは情報および／または深度を表す情報の任意の他の処理に関連付けられる装置またはアプリケーションのアイテムで実現されることができる。装置のそのようなアイテムの例は、符号化器、復号器、復号器の出力を処理するポストプロセッサ、符号化器に入力を供給するプリプロセッサ、ビデオコーダ、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、ディジタルタブレット、および任意の他の通信装置である。装置のアイテムはモバイルでよく、または移動車両に搭載することができる。
【００７５】
さらに、説明される方法は、１または複数のプロセッサーによって実行される命令の形態で実現されることができ、そのような命令は、例えば集積回路などのプロセッサーまたはコンピュータ、ハードディスク、光ディスク（ＣＤまたはＤＶＤ）、ランダムアクセスメモリ（ＲＡＭ）、または不揮発性メモリ（ＲＯＭ）などの任意の記憶装置によって読み取られることのできる媒体上に格納されることができる。命令は、例えば、プロセッサー可読媒体内に格納されたアプリケーションプログラムを形成する。命令は、例えば、ハードウェア、ファームウェア、またはソフトウェアの形態を取る。
【図３】
2016511962.tif 000009
【図４】
2016511962.tif 000010
【図１】
2016511962.tif 000011
【図２】
2016511962.tif 000012
【国際調査報告】
2016511962.tif 000013
2016511962.tif 000014
2016511962.tif 000015