(57)【特許請求の範囲】
【請求項１】
４つのソースポイントのセットのうち２つの中心ソースポイント間の第１の補間ポイントにおける補間値を生成するシステムであって、前記４つのソースポイントは第１方向にアライメントされ、各ソースポイントは値を有し、前記システムは、
【数１】
0006305551.tif 000080
として前記補間値を計算するように構成された処理ユニットを有し、
ここで、
【数２】
0006305551.tif 000081
であり、
[外１]
0006305551.tif 000082
は第１の画像軸に平行な第１の方向で２番目に近いソースポイントの値であり、
[外２]
0006305551.tif 000083
は前記第１の方向で最も近いソースポイントの値であり、
[外３]
0006305551.tif 000084
は前記第１の方向と反対であり前記第１の画像軸に平行な第２の方向で最も近いソースポイントの値であり、
[外４]
0006305551.tif 000085
は前記第２の方向で２番目に近いソースポイントの値であり、
[外５]
0006305551.tif 000086
は、前記第１の補間ポイントと前記第１の方向で最も近いソースポイントとの間の距離の、前記第１の方向で最も近いソースポイントと前記第２の方向で最も近いソースポイントとの間の距離に対する比率であり、
[外６]
0006305551.tif 000087
は[外７]
0006305551.tif 000088
と実質的に等しく、
前記４つのソースポイントは４つの仮補間ポイントであり、前記第１の補間ポイントは最終的補間ポイントであり、
前記処理ユニットは、４回補間をするように構成され、毎回４つのピクセルをソースポイントして用い、４つの仮補間値を形成し、前記４つの仮補間値から出力画像の値を構成する、
システム。
【請求項２】
前記処理ユニットは
[外８]
0006305551.tif 000089
により
[外９]
0006305551.tif 000090
を計算するように構成され、
[外１０]
0006305551.tif 000091
は
[外１１]
0006305551.tif 000092
と実質的に等しい、
請求項１に記載のシステム。
【請求項３】
前記処理ユニットは、０とも１とも等しくない
[外１２]
0006305551.tif 000093
の各要素にベクトル
[外１３]
0006305551.tif 000094
の要素をかけることにより、
[外１４]
0006305551.tif 000095
を計算するように構成される、請求項２に記載のシステム。
【請求項４】
入力画像を格納するように構成された少なくとも１つのシンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）を有する、請求項１に記載のシステム。
【請求項５】
前記入力画像を格納する第１のＳＤＲＡＭと、出力画像を格納する第２のＳＤＲＡＭとを有する、請求項４に記載のシステム。
【請求項６】
前記第１のＳＤＲＡＭと前記第２のＳＤＲＡＭは同じＳＤＲＡＭである、請求項５に記載のシステム。
【請求項７】
前記処理ユニットは、画像の４本のラインを保持するように構成されたリングバッファを有し、前記処理ユニットは前記４本のラインの各々から、ソースポイントとして一度に４ピクセルを選択するように構成される、
請求項４に記載のシステム。
【請求項８】
前記リングバッファは画像の付加的な２本のラインを保持するように構成され、前記処理ユニットは、第１のメモリから、転送時にソースポイントとして使われていない前記リングバッファのラインにデータを転送するように構成されている、
請求項７に記載のシステム。
【請求項９】
前記処理ユニットは、固定小数点計算を用いて前記補間値を計算するように構成されている、
請求項１に記載のシステム。
【請求項１０】
前記処理ユニットは、１符号ビット、２進小数点の左に２５ビット、二進小数点の右に６ビットを含む３２ビット固定小数点計算を用いて量
[外１４’]
0006305551.tif 000096
を表すように構成されている、
請求項９に記載のシステム。
【請求項１１】
処理ユニットを有するシステムにおける、４つのソースポイントのセットのうち２つの中心ソースポイント間の第１の補間ポイントにおける補間値を生成する方法であって、前記４つのソースポイントは第１方向にアライメントされ、各ソースポイントは値を有し、前記方法は、
前記処理ユニットが、前記補間値を
【数３】
0006305551.tif 000097
として計算するステップを有し、
ここで、
【数４】
0006305551.tif 000098
であり、
[外１５]
0006305551.tif 000099
は第１の画像軸に平行な第１の方向で２番目に近いソースポイントの値であり、
[外１６]
0006305551.tif 000100
は前記第１の方向で最も近いソースポイントの値であり、
[外１７]
0006305551.tif 000101
は前記第１の方向と反対であり前記第１の画像軸に平行な第２の方向で最も近いソースポイントの値であり、
[外１８]
0006305551.tif 000102
は前記第２の方向で２番目に近いソースポイントの値であり、
[外１９]
0006305551.tif 000103
は、前記第１の補間ポイントと前記第１の方向で最も近いソースポイントとの間の距離の、前記第１の方向で最も近いソースポイントと前記第２の方向で最も近いソースポイントとの間の距離に対する比率であり、
[外２０]
0006305551.tif 000104
は
[外２１]
0006305551.tif 000105
と実質的に等しく、
前記４つのソースポイントは４つの仮補間ポイントであり、前記第１の補間ポイントは最終的補間ポイントであり、
前記計算するステップは、４回補間をして、毎回４つのピクセルをソースポイントして用い、４つの仮補間値を形成し、前記４つの仮補間値から出力画像の値を構成するステップを含む、
方法。
【請求項１２】
[外２２]
0006305551.tif 000106
により
[外２３]
0006305551.tif 000107
を計算するステップを有し、
[外２４]
0006305551.tif 000108
は
[外２５]
0006305551.tif 000109
と実質的に等しい、請求項１１に記載の方法。
【請求項１３】
[外２６]
0006305551.tif 000110
を計算するステップは、０とも１とも等しくない
[外２７]
0006305551.tif 000111
の各要素にベクトル
[外２８]
0006305551.tif 000112
の要素をかけるステップを含む、
請求項１２に記載の方法。
【発明の詳細な説明】
【連邦政府出資の研究に関する陳述】
【０００１】
本発明は、国防総省の助成による契約番号（差し控え）による米国政府の支援を受けている。米国政府は本発明に一定の権利を有している。
【技術分野】
【０００２】
本発明による実施形態の一以上の態様は、デジタル画像のズームおよびオフセットに関し、より具体的には、ピクセルを補間するシステムおよび方法に関する。
【背景技術】
【０００３】
デジタル画像をディスプレイなどの視覚装置で見る場合、それが画像とは異なるピクセル数を有するとき、画像がディスプレイより大きいときは、元の画像が切り取られ（ｃｒｏｐｐｅｄ）、元の画像がディスプレイより小さいときは、画像がディスプレイの一部に表示され、ディスプレイの残りは原画像には使われず、例えば余白とされたり、異なる背景画像が表示されたりする。これらのアプローチはどれも見る者に対して最適な表示画像を提供せず、前者は画像の一部を見る者に隠してしまい、後者が提供する画像はディスプレイの表示画面を使い切っていない。かかる場合には、原画像をディスプレイにフィットするようにサイズ変更することが望ましい。これには、一般的に原画像（ここでは入力画像と呼ぶ）のピクセルの補間として知られる、表示される画像（ここでは出力画像と呼ぶ）を構成する、すなわちディスプレイの各ピクセルに表示される各色の適切なピクセル値を見いだすプロセスを必要とする。補間は、見る者が画像の一部にズームしたり、画像の一部しか見えていない表示を画像にわたりパン（ｐａｎ）したりするのにも使える。かかるアプリケーションでは、補間は、連続範囲のズームおよびパンの設定を可能にする役に立つ。補間を繰り返し適用して、原画像から新しい画像（ここでは出力画像と呼ぶ）を構成できる。
【０００４】
かかる補間は例えばデジタルフィルタを用いて実現できる。しかし、高性能フィルタは、補間する各ピクセルの周りの、画像の７×７部分を用い、中間的係数値の大きなテーブルを必要とすることがある。これらの係数は入力データフェーズに応じて変化することがある。それゆえ、この手法は画像処理システムに大きな計算負荷をかけることとなる。さらに、この手法は、予めプログラムされたズームまたはオフセット、すなわちパン設定を、限定数のみサポートできる。
【０００５】
補間は、双線形補間を用いても実現できる。双線形補間は、連続的なパンおよびズームをサポートするが、生成する画質が悪いので、高性能画像化には適していない。双三次区分的多項式スプライン法は、双線形補間を上回るが、それにもかかわらず、理想的な画質を提供するものではない。よって、大きな計算負荷をかけずに良い画質を提供する補間のシステムと方法が必要とされている。
【発明の概要】
【０００６】
本発明の実施形態の態様は、ズーム及びパンフィーチャ（ｚｏｏｍ  ａｎｄ  ｐａｎ  ｆｅａｔｕｒｅｓ）を提供する画像のピクセル間の補間に関する。区分的三次スプラインを用いて、画像の４つの行の各々における４つの仮補間ポイントの各々の値を見いだし、同様に、区分的三次スプラインを用いて、仮補間ポイント間を補間して、出力画像中のポイントの値を見いだす。区分的三次スプラインの係数を制約するのに使う境界条件により出力画像の画質を改善する。
【０００７】
本発明の一実施形態によるシステムは、４つのソースポイントのセットのうち２つの中心ソースポイント間の第１の補間ポイントにおける補間値を生成するシステムであって、前記４つのソースポイントは第１方向にアライメントされ、各ソースポイントは値を有する。前記システムは、
【０００８】
【数１】
0006305551.tif 000002
として前記補間値を計算するように構成された処理ユニットを有し、ここで、
【０００９】
【数２】
0006305551.tif 000003
であり、
[外１]
0006305551.tif 000004
は第１の画像軸に平行な第１の方向で２番目に近いソースポイントの値であり、
[外２]
0006305551.tif 000005
は前記第１の方向で最も近いソースポイントの値であり、
[外３]
0006305551.tif 000006
は前記第１の方向と反対の第２の方向で最も近いソースポイントの値であり、
[外４]
0006305551.tif 000007
は前記第２の方向で２番目に近いソースポイントの値であり、
[外５]
0006305551.tif 000008
は、前記第１の補間ポイントと前記第１の方向で最も近いソースポイントとの間の距離の、前記第１の方向で最も近いソースポイントと前記第２の方向で最も近いソースポイントとの間の距離に対する比率であり、
[外６]
0006305551.tif 000009
は
[外７]
0006305551.tif 000010
と実質的に等しい。
【００１０】
一実施形態では、前記４つのソースポイントは４つの仮補間ポイントであり、前記第１の補間ポイントは最終的補間ポイントである。
【００１１】
一実施形態では、前記処理ユニットは
[外８]
0006305551.tif 000011
により
[外９]
0006305551.tif 000012
を計算するように構成され、
[外１０]
0006305551.tif 000013
は
[外１１]
0006305551.tif 000014
と実質的に等しい。
【００１２】
一実施形態では、前記処理ユニットは、０とも１とも等しくない
[外１２]
0006305551.tif 000015
の各要素にベクトル
[外１３]
0006305551.tif 000016
の要素をかけることにより、
[外１４]
0006305551.tif 000017
を計算するように構成される。
【００１３】
一実施形態では、前記システムは、入力画像を格納するように構成された少なくとも１つのシンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）を有する。
【００１４】
一実施形態では、前記システムは、前記入力画像を格納する第１のＳＤＲＡＭと、出力画像を格納する第２のＳＤＲＡＭとを有する。
【００１５】
一実施形態では、前記第１のＳＤＲＡＭと前記第２のＳＤＲＡＭは同じＳＤＲＡＭである。
【００１６】
一実施形態では、前記処理ユニットは、画像の４本のラインを保持するように構成されたリングバッファを有し、前記処理ユニットは前記４本のラインの各々から、ソースポイントとして一度に４ピクセルを選択するように構成される。
【００１７】
一実施形態では、前記処理ユニットは、４回補間をするように構成され、毎回４つのピクセルをソースポイントして用い、４つの仮補間値を形成し、前記４つの仮補間値から出力画像の値を構成する。
【００１８】
一実施形態では、前記リングバッファは画像の付加的な２本のラインを保持するように構成され、前記処理ユニットは、前記第１のメモリから、転送時にソースポイントとして使われていない前記リングバッファのラインにデータを転送するように構成されている。
【００１９】
一実施形態では、前記処理ユニットは、固定小数点計算を用いて前記補間値を計算するように構成されている。
【００２０】
一実施形態では、前記処理ユニットは、１符号ビット、２進小数点の左に２５ビット、前記二進小数点の右に６ビットを含む３２ビット固定小数点計算を用いて量
[外１４’]
0006305551.tif 000018
を表すように構成されている。
【００２１】
本発明の一実施形態によるシステムは、４つのソースポイントのセットのうち２つの中心ソースポイント間の第１の補間ポイントにおける補間値を生成する方法であって、前記４つのソースポイントは第１方向にアライメントされ、各ソースポイントは値を有し、前記方法は、前記補間値を
【００２２】
【数３】
0006305551.tif 000019
として計算するステップを有し、ここで、
【００２３】
【数４】
0006305551.tif 000020
であり、
[外１５]
0006305551.tif 000021
は第１の画像軸に平行な第１の方向で２番目に近いソースポイントの値であり、
[外１６]
0006305551.tif 000022
は前記第１の方向で最も近いソースポイントの値であり、
[外１７]
0006305551.tif 000023
は前記第１の方向と反対の第２の方向で最も近いソースポイントの値であり、
[外１８]
0006305551.tif 000024
は前記第２の方向で２番目に近いソースポイントの値であり、
[外１９]
0006305551.tif 000025
は、前記第１の補間ポイントと前記第１の方向で最も近いソースポイントとの間の距離の、前記第１の方向で最も近いソースポイントと前記第２の方向で最も近いソースポイントとの間の距離に対する比率であり、
[外２０]
0006305551.tif 000026
は
[外２１]
0006305551.tif 000027
と実質的に等しい。
【００２４】
一実施形態では、前記方法は、
[外２２]
0006305551.tif 000028
により
[外２３]
0006305551.tif 000029
を計算するステップを含み、
[外２４]
0006305551.tif 000030
は
[外２５]
0006305551.tif 000031
と実質的に等しい。
【００２５】
一実施形態では、
[外２６]
0006305551.tif 000032
を計算するステップは、０とも１とも等しくない
[外２７]
0006305551.tif 000033
の各要素にベクトル
[外２８]
0006305551.tif 000034
の要素をかけるステップを含む。
【００２６】
一実施形態では、前記４つのソースポイントは画像の４つのピクセルである。
【００２７】
一実施形態では、前記４つのソースポイントは４つの仮補間ポイントである。
【図面の簡単な説明】
【００２８】
特徴、態様、及び実施形態を添付した図面と共に説明する。
【図１】本発明の一実施形態による補間ポイントへの補間に用いる４つのソースポイントを示す図である。
【図２Ａ】本発明の一実施形態により構成される三次スプラインのプロットを、交互法（ａｌｔｅｒｎａｔｅ  ｍｅｔｈｏｄ）により構成される三次スプラインのプロットと共に示す図である。
【図２Ｂ】本発明の一実施形態により構成される三次スプラインのプロットを、交互法（ａｌｔｅｒｎａｔｅ  ｍｅｔｈｏｄ）により構成される三次スプラインのプロットと共に示す図である。
【図３】本発明の一実施形態による補間法を用いて構成された画像を、交互法を用いて構成された画像と共に示す図である。
【図４】２次元配列のピクセルと、本発明の一実施形態による仮補間ポイント及び最終的補間ポイントとを示す図である。
【発明を実施するための形態】
【００２９】
添付した図面に関して記載した詳細な説明は、本発明により提供される、サブピクセルオフセットを有する電子ズームの方法の例示としての実施形態の説明であり、本発明が構成または利用される唯一の形式を表すものではない。この説明は、例示される実施形態に関して、本発明の特徴を記載する。しかし、言うまでもなく、同一の又は等価な機能及び構造は、異なる実施形態によっても実現でき、この異なる実施形態は本発明の精神と範囲に含まれる。同じエレメント番号は同じエレメントまたはフィーチャ（ｆｅａｔｕｒｅｓ）を示す。
【００３０】
処理されるデジタル画像は、四角形であってもよく、画像の水平方向を第１の軸（例えば、Ｘ軸）と関連付け、画像の垂直方向を第２の軸（例えば、Ｚ軸）と関連付けても便利である。各ピクセルは、ＸーＺ座標系中のピクセルの座標に対応してその座標系中の位置を有する。
【００３１】
図１を参照して、本発明の一実施形態では、補間ポイント１０５における値を見いだす補間法は、区分的三次スプラインに基づき実装してもよい。かかる手法により、許容できる処理負荷（ｐｒｏｃｅｓｓｉｎｇ  ｒｅｑｕｉｒｅｍｅｎｔｓ）で画質を改善できる。図１は、軸に平行な直線に沿って連続した一連の４つのソースポイント（ｓｏｕｒｃｅ  ｐｏｉｎｔｓ）１１０、１１５、１２０、１２５を示す。ソースポイント１１０、１１５、１２０、１２５は、例えば、入力画像中のピクセルであってもよく、または一組の先行する補間動作（図４）により形成される仮補間ポイントであってもよい。この軸は、一般性を損なわずに、Ｘ軸としてもよく、４つのソースポイント１１０、１１５、１２０、１２５は、一般性を損なわずに、それぞれＸ座標のー１、０、１、及び２にあると仮定してもよい。４つのソースポイント１１０、１１５、１２０、１２５の各々は、例えば赤、緑、又は青などの色の強度に対応する値を有する。補間ポイント１０５における対応する値を求める。他の一例では、値はモノクロ階調に対応していてもよい。例えば、各ピクセルの値がそのピクセルにおける赤の強度に対応する場合、ここに説明の補間プロセスにより、補間ポイント１０５における赤の補間強度（ｉｎｔｅｒｐｏｌａｔｅｄ  ｉｎｔｅｎｓｉｔｙ）に対応する補間ポイント１０５における補間値（ｉｎｔｅｒｐｏｌａｔｅｄ  ｖａｌｕｅ）が求まる。ここに説明の補間プロセスを、緑や青の強度に対して繰り返して、補間ポイント１０５における赤、青、及び緑の補間値を生成しても良い。
【００３２】
ポイント１０５における値は、３つの連続したピクセル間区間にわたる区分的三次関数を生成して、補間ポイント１０５における区分的三次関数を評価することにより補間してもよい。これらの区間のうち第１は、Ｘ＝−１にあるソースポイント１１０とＸ＝０にあるソースポイント１１５との間であり、第２は、Ｘ＝０にあるソースポイント１１５とＸ＝１にあるソースポイント１２０との間であり、第３は、Ｘ＝１にあるソースポイント１１０とＸ＝２にあるソースポイント１２５との間である。
【００３３】
区分的三次スプラインを構成する対応する三次関数はそれぞれ次のようになる：
【００３４】
【数５】
0006305551.tif 000035
。４つの係数
[外２９]
0006305551.tif 000036
が一旦見つかれば、補間ポイントにおける値は
[外３０]
0006305551.tif 000037
で与えられる。
【００３５】
１２個の係数
[外３１]
0006305551.tif 000038
は、区分的三次スプラインが４つのソースポイント１１０、１１５、１２０、１２５において、値
[外３２]
0006305551.tif 000039
を取るように、選択される：
【００３６】
【数６】
0006305551.tif 000040
この一式の６つの制約式は、１２個の係数
[外３３]
0006305551.tif 000041
を一意的に決定するには不十分であり、さらに、これらの制約式では、ソースポイントにおいてスプラインが滑らかであることを保証しない。例えば、ソースポイントにおいて一次微分が不連続であるかも知れない。ソースポイント１１５、１２０において、一次及び二次微分が連続であるという意味で、スプラインが滑らかでることを要求すると、付加的に４つの制約式が得られる：
【００３７】
【数７】
0006305551.tif 000042
第１に、付加的な２つの制約式は、スプラインがリラックス（ｒｅｌａｘｅｄ）し、自然であるとの仮定、すなわちスプラインの両端において、すなわちソースポイント１１０、１２５において二次微分がゼロになるとの仮定：
【数８】
0006305551.tif 000043
から得られる。
【００３８】
係数
[外３４]
0006305551.tif 000044
に関して、３つの三次関数の一次及び二次微分は、微分することにより得られる：
【００３９】
【数９】
0006305551.tif 000045
３つの三次関数の値に、及びその微分に制約式を適用して、１２個の係数
[外３５]
0006305551.tif 000046
に対する式が得られる。第１の三次関数に対して、これらの式は：
【００４０】
【数１０】
0006305551.tif 000047
第２の三次関数に対して、係数
[外３６]
0006305551.tif 000048
の式は：
【００４１】
【数１１】
0006305551.tif 000049
最後に、第３の三次関数に対して、係数
[外３７]
0006305551.tif 000050
の式は：
【００４２】
【数１２】
0006305551.tif 000051
これらの式は、左辺に値
[外３８]
0006305551.tif 000052
があり、右辺に係数
[外３９]
0006305551.tif 000053
がある一組の式として書き換えることができる：
【００４３】
【数１３】
0006305551.tif 000054
この一組の式は行列形式で書き換えられる：
【００４４】
【数１４】
0006305551.tif 000055
ここで、
【００４５】
【数１５】
0006305551.tif 000056
４つの係数
[外４０]
0006305551.tif 000057
は補間ポイント１０５における三次スプラインを評価する必要がある。これらは式
[外４１]
0006305551.tif 000058
を反転して：
【００４６】
【数１６】
0006305551.tif 000059
、ベクトル
[外４２]
0006305551.tif 000060
から係数
[外４３]
0006305551.tif 000061
を求めることにより得られる：
【００４７】
【数１７】
0006305551.tif 000062
[外４４]
0006305551.tif 000063
の逆行列を求め、上記の行列積を計算すると、４つの係数
[外４５]
0006305551.tif 000064
に対する次の陽表現が得られる：
【００４８】
【数１８】
0006305551.tif 000065
これは次のように書き換えてもよい：
【００４９】
【数１９】
0006305551.tif 000066
最後に、補間ポイント１０５における補間値
[外４６]
0006305551.tif 000067
は、
[外４７]
0006305551.tif 000068
であるから、
[外４８]
0006305551.tif 000069
と書け、係数
[外４９]
0006305551.tif 000070
が上記のように見つかる。
【００５０】
図２Ａを参照して、本発明の一実施形態により構成される三次スプラインは、一組のソースポイント２０５ｂを通る曲線２０５ａを形成し得る。代替的三次スプラインは、係数
【００５１】
【数２０】
0006305551.tif 000071
を使い、曲線２０５ｃを形成してもよい。これはソースポイント２０５ｂを通るが、上記の制約式のすべては満たさず、スプラインに沿ったさまざまなポイントで異なる補間値を確定する。同様に、図２Ｂにおいて、本発明の一実施形態により構成される三次スプラインは、一組のソースポイント２０５ｅを通る曲線２０５ｄを形成し、代替的な三次スプラインが曲線２０５ｆを形成してもよい。
【００５２】
補間に対するさまざまなアプローチの違いは、図３の３つの画像で分かると思われる。これら全てはズーム係数５．３５１で補間した画像である。図３において、左端の画像は双線形補間を用いて形成され、中央の画像は固定双三次スプラインを用いて形成され、右端の画像は本発明の一実施形態による三次スプラインを用いて形成されたものである。
【００５３】
例えば、図３の画像において、２次元補間を行うには、図１、２Ａ、及び２Ｂを参照して上記した方法を２段階で利用できる。図４を参照して、最終的な補間ポイント５０５における補間値を見いだすため、最も近い１６個のピクセル、すなわち、ポイント５０５の右の２つのピクセル列と、ポイント５０５の左の２つのピクセル列と、ポイント５０５の上の２つの行と、ポイント５０５の下の２つの行とを用いる。第１段階において、本発明の一実施形態による三次スプライン補間を利用して、４つの仮補間ポイント５１０、５１５、５２０、５２５の各々において、仮補間値を見いだす。
【００５４】
例えば、第１行のピクセル５４０、５４５、５５０、５５５に本方法を適用して、仮補間ポイント５１０における仮補間値を求める。このステップでは、補間により：（ｉ）画像軸に平行な第１の方向（−Ｘ方向）の、仮補間ポイント５１０に２番目に近いピクセル、すなわちピクセル５４０、の値、（ｉｉ）第１の方向の、最も近いピクセル、すなわちピクセル５４５、の値、（ｉｉｉ）第１の方向と反対の第２の方向（＋Ｘ方向）の、最も近いピクセル、すなわちピクセル５５０、の値、（ｉｖ）第２の方向の、２番目に近いピクセル、すなわちピクセル５５５、の値。第２、第３、及び第４行のピクセルを用いて、仮補間ポイント５１５、５２０、及び５２５における仮補間値をそれぞれ求めても良い。
【００５５】
最後に、第２段階で、仮補間ポイント５１０、５１５、５２０、５２５における４つの仮補間値を用いて、再び本発明の一実施形態による三次スプラインを用いて、最終的な補間ポイント５０５における補間値を求めてもよい。この段階では、（ｉ）画像軸に平行な第３の方向（−Ｚ方向）の、最終的補間ポイント５０５に２番目に近い仮補間ポイント、すなわち仮補間ポイント５２５、の値、（ｉｉ）第３の方向の最も近い仮補間ポイント、すなわち仮補間ポイント５２０、の値、（ｉｉｉ）第１の方向と反対の第２の方向（＋Ｚ方向）の、最も近い仮補間ポイント、すなわち仮補間ポイント５１５、の値、（ｉｖ）第２の方向の２番目に近い仮補間ポイント、すなわち仮補間ポイント５１０、の値が用いられる。
【００５６】
このように、図１を参照して、補間ポイント１０５は最終的補間ポイント、すなわち出力画像ピクセルであってもよいし、または仮画像ポイントであってもよい。ソースポイントは、入力画像ピクセルであってもよく（例えば、出力画像ピクセルが入力画像の行または列とアライメントされている場合）、または仮補間ポイントであってもよい。
【００５７】
本発明の実施形態は、計算量的に効率的であり（ｃｏｍｐｕｔａｔｉｏｎａｌｌｙ  ｅｆｆｉｃｉｅｎｔ）、画像を基本的に任意のズーム比に補間する能力も提供する。ズーム比は画像の２つの軸方向で同じである必要はない。結果として得られる画像は実質的にアーティファクトがなく、見る者に対してより高画質の出力を提供する。
【００５８】
補間は処理ユニットを含む実施形態で実行されてもよい。「処理ユニット」との用語は、ここでは、データまたはデジタル信号を処理するのに利用される、ハードウェア、ファームウェア、及びソフトウェアの任意の組み合わせを含むものとして使われている。処理ユニットハードウェアは、例えば、特定用途集積回路（ＡＳＩＣｓ）、汎用または特殊用途中央処理ユニット（ＣＰＵｓ）、デジタル信号プロセッサ（ＤＳＰｓ）、グラフィックス処理ユニット（ＧＰＵｓ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）などのプログラマブルロジックデバイスを含んでいてもよい。
【００５９】
補間を実行するとき、処理ユニットで必要となる演算数を最小化すると都合がよい。これは、例えば：
【００６０】
【数２１】
0006305551.tif 000072
を評価する時に、行列
[外５０]
0006305551.tif 000073
の要素が０（この場合、積は０である）または１（この場合、積はベクトル
[外５１]
0006305551.tif 000074
の対応する要素である）であるときに、要素の乗算ステップを省略することにより、実現できる。例えば、行列
[外５２]
0006305551.tif 000075
の最終行が３つの「０」と１つの「１」であるから、
[外５３]
0006305551.tif 000076
の値は単純に
[外５４]
0006305551.tif 000077
であり、すなわち、
[外５５]
0006305551.tif 000078
は乗算を実行せずに求められる。効率を上げる為、補間に関与する計算は、固定小数点計算を用いて、例えば符号ビット付き２５Ｑ６フォーマット（すなわち、２進小数点の右に６ビットあるフォーマットであり、Ｑ２５．６と記されることもある）を用いて、行っても良い。
【００６１】
補間されるポイントの、第１の方向の、最も近いソースポイントに対する、位置
[外５６]
0006305551.tif 000079
の値は、入力画像に対する出力画像のズーム及びオフセットから、（ｉ）オフセットと、（ｉｉ）（ａ）第１の方向の最も近いソースポイントの原画像における位置の、（ｂ）ズーム比に対する比率との合計の端数部分（ｆｒａｃｔｉｏｎａｌ  ｐａｒｔ）として、計算してもよい。ここで、ズーム比が１より大きいことは拡大に対応する。動作中、汎用コンピュータその他の処理ユニットは、オフセットと、ズーム比の逆数とを、補間を行っている処理ユニットに供給し、後者が除算を行わずに、ズーム比の逆数の乗算をすればよいようにする。一実施形態では、ズーム比の逆数は、符号なしの固定小数点数、例えば、符号無しの２Ｑ３０固定小数点数である。
【００６２】
サブピクセルオフセットとズーム比の両方の２進表示における小数点位置は、利用できるズーム制御の範囲と、ズーム解像度との間のトレードとして、事例ごとに選択されてもよい。
【００６３】
一実施形態では、入力画像はシンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）に格納され、出力画像も、構成された時に、格納されてもよく、格納される場合は、同じ又は別のＳＤＲＡＭに格納されてもよい。補間は特殊目的処理ユニットにより実行される。特殊目的処理ユニットはＦＰＧＡまたはＡＳＩＣに基づいても良い。ラインバッファがＳＤＲＡＭと処理ユニットとの間で用いられ、ＳＤＲＡＭと処理ユニットとの間のクロックドメイン転送用の先入れ先出し（ＦＩＦＯ）構造として用いられる。処理ユニットは、例えば、入力画像のうち６ラインを格納するリングバッファを含み、それから４ラインをいつでも用いて、上に開示したアルゴリズムにより、出力画像の１ラインを生成する。ズーム比が１より大きいとき、幾つかの例では、出力画像の後続ラインを形成するため、入力画像の同じ４ラインを要し、幾つかの例では、入力画像の付加的ラインが必要となり、入力画像の前に用いたラインはもはや必要なくなる。リングバッファは、これらのデータ要件によく適している。出力画像のラインを構成するため、バッファ中の他の４ラインが処理されるのと同時に、新しいラインがバッファに読み込まれるからである。ズーム比が１より小さいが１／２より小さくないとき、出力画像の１ラインが構成され、処理ユニットが後続ラインを処理し始める時に、付加的に入力画像の２ラインがバッファ中に必要である。このように、一実施形態では、処理ユニットにおいて、６ラインリングバッファが用いられる。
【００６４】
ここでは、サブピクセルオフセットを有する電子ズームの方法の限定された実施形態を具体的に説明および例示したが、当業者には多くの修正及び変形が明らかであろう。したがって、言うまでもなく、この発明の原理による、サブピクセルオフセットを用いる電子ズームの方法は、ここに具体的に説明した以外の実施形態で実施できる。本発明は、以下の特許請求の範囲及びその均等物により確定される。
【図１】
0006305551.tif 000113
【図２Ａ】
0006305551.tif 000114
【図２Ｂ】
0006305551.tif 000115
【図３】
0006305551.tif 000116
【図４】
0006305551.tif 000117