(57)【要約】      （修正有）【課題】画像データ補間の方法を提供する。【解決手段】方法は、各々のサンプリング点が領域の境界上に位置する、複数のサンプリング点に関連付けられた変換データを取得することを含む。変換データは、領域の部分領域の境界上に位置する追加的なサンプリング点に関連付けられた追加的な変換データを生成するために処理される。実行される補間プロセスは、部分領域内の点に関連付けられた画像データを追加的な変換データによって処理すること、それによって、その点での補間されたデータ値を表す補間された画像データを生成することを含む。さらに、領域の面に対応する点に関連付けられた変換データを取得することと、領域の、少なくとも１つの内点に関連付けられた追加的な変換データを生成することと、を含む。領域のさらなる内点に関連付けられた画像データは、少なくとも追加的な変換データを使用して補間される。【選択図】図１
2019091439.tif 000002
【特許請求の範囲】
【請求項１】
画像データ補間の方法であって、
複数のサンプリング点に関連付けられた変換データを取得するステップであり、各々のサンプリング点が領域の境界上に位置する、取得するステップと、
前記領域の部分領域の境界上に位置する追加的なサンプリング点に関連付けられた追加的な変換データを生成するために前記変換データを処理するステップと、
補間プロセスを実行するステップであり、前記補間プロセスは、前記追加的な変換データを用いて前記部分領域内の点に関連付けられた画像データを処理すること、それによって、前記点での補間されたデータ値を表す補間された画像データを生成することを含む、ステップと、
を含む、方法。
【請求項２】
座標系の軸線に関する前記追加的なサンプリング点の位置が、２で除算された、前記座標系の前記軸線に関するサンプリング点の位置に対応する、請求項１に記載の方法。
【請求項３】
前記追加的なサンプリング点の前記位置を表す追加的な位置データを生成するために、前記サンプリング点の位置を表すサンプリング位置データにビットシフト演算を適用するステップを含む、請求項１又は２に記載の方法。
【請求項４】
前記追加的なサンプリング点の前記位置を表す追加的な位置データを生成するために、前記サンプリング点の位置を表すサンプリング位置データを処理するステップを含み、前記サンプリング位置データを処理する前記ステップが、前記位置データのビット精度を低減するステップを含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記領域が、第１の多面体に対応し、前記部分領域が、第２の多面体に対応する、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記第１の多面体が、第１の直方体であり、前記第２の多面体が、前記第１の直方体より小さい第２の直方体である、請求項５に記載の方法。
【請求項７】
前記部分領域の前記境界が、前記領域の前記境界と部分的に一致する、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記補間プロセスを実行する前記ステップが、前記追加的な変換データ、及び、前記変換データの少なくとも一部分を用いて前記画像データを処理するステップを含む、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記領域が、前記部分領域を含む複数のあらかじめ決定された部分領域に分割可能であり、前記方法が、
前記点が前記部分領域内に位置することを判定するために前記点の位置を表す位置データを処理するステップと、
前記部分領域の前記境界上の前記追加的なサンプリング点の位置を計算すること、それによって、前記追加的なサンプリング点の前記位置を表す追加的な位置データを生成するために、前記複数のサンプリング点のうちの少なくとも１つの各々の、それぞれの位置を表すサンプリング位置データを処理するステップと
を含む、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
前記位置データを処理する前記ステップが、前記位置データの少なくとも１つの最大有効ビットを基にして、前記点が前記部分領域内に位置することを判定するために前記位置データを処理するステップを含む、請求項９に記載の方法。
【請求項１１】
前記画像データが、ｎ個の色チャネルに関する色チャネルデータを表し、前記領域がｎ次元領域であり、前記ｎ次元領域のうちの各々の次元が、前記ｎ個の色チャネルのうちの異なるそれぞれの色チャネルに対応する、請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
前記画像データが、第１の色空間に関する色チャネルデータを表し、前記補間プロセスが、前記色チャネルデータを、前記第１の色空間とは異なる第２の色空間に変換するためのものである、請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
前記補間プロセスが第２の補間プロセスであり、前記変換データを処理する前記ステップが、前記第２の補間プロセスとは異なる第１の補間プロセスを含む、請求項１〜１２のいずれか一項に記載の方法。
【請求項１４】
前記補間プロセスが３重線形補間を含む、請求項１〜１３のいずれか一項に記載の方法。
【請求項１５】
ルックアップテーブルから前記変換データを取得するステップを含む、請求項１〜１４のいずれか一項に記載の方法。
【請求項１６】
前記変換データが、
前記複数のサンプリング点のうちの第１の少なくとも１つのサンプリング点に関連付けられた変換データの第１のセットと、
前記複数のサンプリング点のうちの第２の少なくとも１つのサンプリング点に関連付けられた変換データの第２のセットと、
を含み、前記方法が、
第１の記憶機構から変換データの前記第１のセットを検索するステップと、
前記第１の記憶機構とは異なる第２の記憶機構から変換データの前記第２のセットを検索するステップと、
を含む、請求項１〜１５のいずれか一項に記載の方法。
【請求項１７】
前記追加的な変換データを生成するために前記変換データを処理する前記ステップの前に、前記変換データのビット精度を増大するステップを含む、請求項１〜１６のいずれか一項に記載の方法。
【請求項１８】
前記画像データが第２の画像データであり、前記方法が、
第１の座標系での前記点の位置を表す第１の画像データを取得するステップと、
前記第２の画像データを生成するために前記第１の画像データを処理するステップであり、前記第２の画像データが、前記第１の座標系とは異なる第２の座標系での前記点の前記位置を表す、生成するステップと、
を含む、請求項１〜１７のいずれか一項に記載の方法。
【請求項１９】
サンプリング点が、前記第１の座標系の原点に対応し、前記追加的なサンプリング点が、前記第２の座標系の原点に対応する、請求項１８に記載の方法。
【請求項２０】
前記第２の座標系で、前記部分領域の前記境界上に位置する複数の境界点が存し、前記複数の境界点が、前記追加的なサンプリング点を含み、前記方法が、複数の近隣の境界点の間にあらかじめ決定された距離が存するように、前記第２の座標系を再正規化するステップを含む、請求項１８又は１９に記載の方法。
【請求項２１】
前記複数の近隣の境界点の間の前記あらかじめ決定された距離が、２の、前記画像データのビット幅乗に等しい、請求項２０に記載の方法。
【請求項２２】
前記追加的な変換データを生成するために、前記複数のサンプリング点のうちの少なくとも一部のうちのそれぞれの位置を表す位置データを使用して前記変換データを処理するステップを含む、請求項１〜２１のいずれか一項に記載の方法。
【請求項２３】
前記位置データを使用して前記変換データを処理する前記ステップが、前記位置データを使用して前記変換データにより表される少なくとも１つの係数を重み付けするステップを含む、請求項２２に記載の方法。
【請求項２４】
前記変換データを処理する前記ステップが、第１の補間前プロセスに対応し、前記方法が、前記第１の補間前プロセスを含む複数の補間前プロセスを含み、各々の連続的な中間の補間前プロセスの出力が、後続の補間前プロセスへの入力として使用される、請求項１〜２３のいずれか一項に記載の方法。
【請求項２５】
前記補間前プロセスの各々が、後続の部分領域の境界上に位置する後続の追加的なサンプリング点に関連付けられた後続の追加的な変換データを生成するために、前の補間前プロセスの前の追加的なサンプリング点に関連付けられた前の追加的な変換データを処理するステップを含み、
前記後続の部分領域が、前の部分領域の部分領域であり、前記前の補間前プロセスの前記前の追加的なサンプリング点が、前記前の部分領域の境界上に位置する、請求項２４に記載の方法。
【請求項２６】
複数のさらなるサンプリング点に関連付けられるさらなる変換データを取得するステップであり、各々のさらなるサンプリング点が前記領域の外側に位置する、取得するステップと、
前記追加的な変換データを生成するために前記変換データ及び前記さらなる変換データを処理するステップと、
を含む、請求項１〜２５のいずれか一項に記載の方法。
【請求項２７】
前記変換データ及び前記さらなる変換データを処理する前記ステップが、１より大きい次数の多項式を用いた前記変換データ及び前記さらなる変換データの多項式補間を含む、請求項２６に記載の方法。
【請求項２８】
前記変換データ及び前記さらなる変換データを処理する前記ステップが、
第１の追加的な変換データを生成するための、第１の方向での前記変換データ及び前記さらなる変換データの第１の補間と、
第２の追加的な変換データを生成するための、前記第１の方向とは異なる第２の方向での前記変換データ及び前記さらなる変換データの第２の補間とを含み、
前記追加的な変換データが、前記第１の追加的な変換データと前記第２の追加的な変換データとを含む、請求項２６又は２７に記載の方法。
【請求項２９】
前記変換データが２つのサンプリング点に関連付けられ、前記さらなる変換データが２つのさらなるサンプリング点に関連付けられ、前記点が、前記２つのサンプリング点の間、且つ、前記２つのさらなるサンプリング点の間に位置する、請求項２６〜２８のいずれか一項に記載の方法。
【請求項３０】
方法であって、
領域の面に対応する点に関連付けられた変換データを取得するステップと、
前記領域の少なくとも１つの内点に関連付けられた追加的な変換データを生成するステップと、
少なくとも前記追加的な変換データを使用して前記領域のさらなる内点に関連付けられた画像データを補間するステップと、
を含む方法。
【請求項３１】
前記領域が３次元多面体である、請求項３０に記載の方法。
【請求項３２】
前記補間プロセスが３重線形補間を含む、請求項３０又は３１に記載の方法。
【請求項３３】
前記値が、色空間での色、又は、前記色空間での色値のうちの少なくとも１つを表す、請求項３０〜３２のいずれか一項に記載の方法。
【請求項３４】
複数のサンプリング点に関連付けられた変換データを取得することであって、各々のサンプリング点が領域の境界上に位置する、取得することと、
前記領域の部分領域の境界上に位置する追加的なサンプリング点に関連付けられた追加的な変換データを生成するために前記変換データを処理することと、
補間プロセスを実行することであり、前記補間プロセスが、前記部分領域内の点に関連付けられた画像データを前記追加的な変換データによって処理すること、それによって、前記点での補間されたデータ値を表す補間された画像データを生成することを含む、補間プロセスを実行することと、
を行うように配置構成されている装置。
【請求項３５】
前記変換データを記憶するための記憶機構と、
前記記憶機構に通信可能に結合されているプロセッサと、
を備える、請求項３４に記載の装置。
【請求項３６】
前記装置が画像信号プロセッサを備える、請求項３４又は３５に記載の装置。
【請求項３７】
前記装置がシステムオンチップを備える、請求項３４〜３６のいずれか一項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
[001]本発明は、画像データの補間に、及び、画像データの補間のための装置に関する。
【背景】
【０００２】
[002]均一なグリッドの格子点での画像値を表す画像データを記憶することが知られている。格子点と一致しない中間点に対する画像値は、格子点に対応する画像値を補間することにより近似され得る。
【０００３】
[003]例えばより正確である、又はより効率的である、改善された画像データ補間方法を提供することが望ましい。
【図面の簡単な説明】
【０００４】
[004]さらなる特徴は、添付の図面を参照する、単に例として与えられる以下の説明から明らかになるであろう。
【０００５】
【図１】図１は、第１の例による画像データ補間の方法を例示するフロー図である。
【０００６】
【図２】図２は、第２の例による画像データ補間の方法を例示するフロー図である。
【０００７】
【図３】図３は、画像信号処理パイプラインの一部分の例を概略的に例示するブロック図である。
【０００８】
【図４】図４は、グラフィックス処理パイプラインの一部分の例を概略的に例示するブロック図である。
【０００９】
【図５】図５は、本明細書で説明する例を示す方法の実行中の、装置の内部構成要素の間の例相互作用を例示するブロック図である。
【００１０】
【図６】図６は、補間に対する領域を特定することの例を概略的に例示する図である。
【００１１】
【図７】図７は、追加的な画像データを生成することの例を概略的に例示する図である。
【００１２】
【図８】図８は、座標系を再正規化することの例を概略的に例示する図である。
【００１３】
【図９】図９は、３重線形補間プロセスの例を概略的に例示する図である。
【００１４】
【図１０】図１０は、画像データ補間の例を示す方法の出力を例示する２次元等高線グラフを示す図である。
【００１５】
【図１１】図１１は、本明細書で説明する方法によって使用するための補間プロセスの例を概略的に例示する図である。
【詳細な説明】
【００１６】
[0016]例によるシステム及び方法の詳細は、図を参照しながらの、以下の説明から明らかになるであろう。この説明では、解説の目的に対して、所定の例の数多くの具体的な詳細が論述される。本明細書で「例」又は同様の文言に言及することは、その例に関して説明される個別の特徴、構造、又は特性は、少なくともその１つの例に含まれるが、必ずしも他の例には含まれないことを意味する。所定の例を概略的に説明することが、それらの例の根底にある概念の解説及び理解を容易にするために、所定の特徴が省略された、及び／又は、やむを得ず単純化された状態で行われることに、さらに留意されたい。
【００１７】
[0017]図１は、第１の例による画像データ補間の方法を例示するフロー図である。図１のブロック１００で、複数のサンプリング点に関連付けられた変換データ（ｔｒａｎｓｆｏｒｍ  ｄａｔａ）が取得される。変換データは例えば、色値などの画像データ値に適用され得る変換操作（ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を表す。例えば変換操作データは、２つの異なる色空間の間の変換操作を表し得る。変換データは、複数のサンプリング点（各々が、画像のあらかじめ決定された画素位置と一致し得る）に対して記憶され得る。複数のサンプリング点は、画素位置のサブセットに対応し得る。したがって、変換データは、記憶機構必要量を低減するために、各々の画素位置に対してではなく、画素位置のサブセットに対して記憶され得る。
【００１８】
[0018]各々のサンプリング点は、例えば２又は３次元領域などの多次元領域である、領域の境界上に位置する。領域の存続範囲は、それゆえに、サンプリング点が位置する境界により規定され得る。領域は、物理領域ではなく、変換されることになる画像データ値を表すための空間内の空間領域である。さりながら、理解を容易にするために、領域は、空間に対応する座標系内の空間存続範囲を占めるように例示され得る。例えば、座標系の、各々の座標は、空間の次元に対応し得る。
【００１９】
[0019]図１のブロック１０２で、変換データは、領域の部分領域の境界上に位置する追加的なサンプリング点に関連付けられた追加的な変換データを生成するために処理される。図１のブロック１０４で、補間プロセスが実行される。これらの例での補間プロセスは、部分領域内の点に関連付けられた画像データを追加的な変換データによって処理すること、それによって、その点での補間されたデータ値を表す補間された画像データを生成することを含む。
【００２０】
[0020]この例での追加的なサンプリング点は、領域より小さい領域である、領域の部分領域の境界上に位置する。例えば部分領域は、領域のサブセットであり得る。したがって、追加的なサンプリング点は、補間されたデータ値が計算されることになる点に、より近く位置し得る。ゆえに、追加的なサンプリング点に関連付けられた追加的な変換データを補間プロセスの一部分として使用することにより、補間プロセスは、別法より小さい領域である部分領域を使用して実行され得る。このことは、補間プロセスの正確性を改善し得るものであり、なぜならば、追加的な変換データは、その点で適用されることになる変換操作をより正確に反映し得るからであり、なぜならば、追加的な変換データは、（より大きい）領域の境界上に位置するサンプリング点よりその点に近いものであり得る、追加的なサンプリング点に関連付けられるからである。対照的に、単に、領域の境界上に位置するサンプリング点に関連付けられた変換データが使用される補間方法では、変換データは、領域の境界と点との間の距離がより大きいことに起因して、点の位置で適用されることになる変換操作のより正確でない近似になることがある。
【００２１】
[0021]図２は、第２の例による方法を例示するフロー図である。図２のブロック１０６で、領域の面に対応する点に関連付けられた変換データが取得される。第２の例の領域は、第１の例の領域と同様であり得るものであり、それゆえに、変換操作が適用されることになる空間内の空間領域に対応し得る。例えば領域は、空間内の多面体に対応すると考えられ得るものであり、その領域の面が、その多面体の面に対応する。図２のブロック１０８で、領域の、少なくとも１つの内点に関連付けられた追加的な変換データが生成される。例えば、少なくとも１つの内点は、領域の面上にない、領域内の点であり得る。例えば、領域が多面体に対応すると考えられ得るならば、少なくとも１つの内点は、多面体の面上ではなく、多面体の内側に配置され得る。図２のブロック１１０で、領域のさらなる内点に関連付けられた画像データが、少なくとも追加的な変換データを使用して補間される。さらなる内点は例えば、追加的な変換データが生成される少なくとも１つの内点とは異なるものであり、なぜならば、そうでない場合、補間プロセスは典型的には必要とされないからである。画像データの補間は、それゆえに、さらなる内点に関連付けられる補間されたデータ値を生成するために使用され得る。
【００２２】
[0022]第１の例と同様に、第２の例による方法は、別法より小さい領域内の補間プロセスを必然的に含み得る。例えば、領域の、少なくとも１つの内点は、領域の部分領域の境界に対応し得るものであり、補間プロセスは、部分領域の境界に関連付けられたデータを使用し得る。このようにして、第２の例は、より正確な補間プロセスをさらにもたらすことができる。
【００２３】
[0023]第１及び第２の例を局面に照らして考えるために、第１及び第２の例のものなどの、補間方法の例示的な使用を最初に、図３及び４を参照して説明する。その後、第１及び第２の例による方法のさらなる特徴を、図５〜８を参照して、より詳細に説明する。
【００２４】
[0024]上記で解説したように、画像補間は典型的には、画像の点又は領域に関連付けられたデータ値（画素強度、又は、所与の色空間での色値など）の、周囲の点又は領域のデータ値に基づく近似を必然的に含む。画像補間は、それゆえに、所与の点でのデータ値の変換操作又は転換（ｃｏｎｖｅｒｓｉｏｎ）を、周囲の点又は領域に関連付けられる、変換操作又は転換に基づいて近似するために使用され得る。画像データの補間は、種々の異なる目的に対して、及び、いくつかの異なる局面で使用され得る。しかし、本明細書で説明する例は単に例示的な例であり、画像データの補間は、様々な他の目的に対して使用され得る。
【００２５】
[0025]補間は、例えば色管理プロセスに対して使用され得る。色管理は、異なる色表現の間の色の転換に関係する。色管理は、出力色が可能な限り正確に表示されるように、デバイス非依存の色空間からデバイス依存の色空間（デバイス固有の色空間であり得る）に色をマッピングすることなど、様々な異なる筋書で使用され得る。色管理は、それゆえに、画像を表示するために使用されるデバイスに関係なく、画像の同じ視覚的な見え方が達成され得るように、様々な異なるデバイスにわたって、同じ画像に対する、整合する、又は同様の色を取得するために使用され得る。代替的に、色管理は、異なる色空間でのデータ要素の適切な融合をもたらすために使用され得る。例えば画像データは、ｓＲＧＢ（標準赤、緑、青）色空間などの１つの色空間でのユーザインターフェースに対応する要素、及び、Ｒｅｃ．２０２０色空間などの異なる色空間でのハイダイナミックレンジ（ＨＤＲ）クリップ（ｃｌｉｐ）に対応する異なる要素を有し得る。色管理は、色を、それらの色の表示より前に強調するためにもさらに使用され得る。他の例では、色管理は、色値のあらかじめ規定された範囲に色値をクリッピング又は制限することを、画像に対する色値がこの範囲の外側にある場合などに行うことを必然的に含み得る。クリッピングは、ソフトクリッピングを必然的に含み得る。ソフトクリッピングは典型的には、画像の色域が管理されることを可能とする。例えば、画像の色は、より広い、又はより大きい色域から、より狭い、より小さい、又はより制限された色域にマッピングされ得る。一般的には、ハードクリッピングと比較して、画像内のより大きな量の細部が、ソフトクリッピングによって保持され得る。例示的な例として、Ｒｅｃ．２０２０色空間での最も飽和した赤は、Ｒｅｃ．７０９色空間での１．５より上の値に対応し得る。ゆえに、Ｒｅｃ．２０２０色空間からＲｅｃ．７０９色空間に変換された、すべての飽和した赤は、１でクリッピングされるならば、同一に見えることになる。対照的に、ソフトクリッピングは、１つの色空間が異なる色空間に非線形にマッピングされることが、別法ではハードクリッピングプロセスで失われることになる細部を、より飽和しない色を変化させることなく保存する手立てで行われることを可能とする。色管理は、画像内の、色域、又は色の範囲が、拡大又は増大される、色域拡大を、さらに又は代替的に、必然的に含み得る。
【００２６】
[0026]画像データ補間は、色強調に対して、さらに又は代替的に使用され得る。色強調は、例えば所望の視覚的又は芸術的効果を達成するために、画像の色のすべて又はサブセットを強烈にするために使用され得る。例えば１つ又は複数の色は、それらの色が、色強調より前の画像と比較して、又は、画像の他の色と比較して、より明確に、鮮明に、又は強烈に見えるように強調され得る。例えば色強調は、画像内の青空をより青く見えるようにするために、又は、緑草をより鮮明な緑に見えるようにするために使用され得る。
【００２７】
[0027]図３は、画像補間が使用され得る局面の概略的な例をもたらす。図３は、画像信号処理パイプライン１１２の一部分の例を概略的に示す。画像信号処理パイプラインは例えば、カメラなどの画像取り込みデバイスにより、又はそのデバイスと連関して実施され得る。そのような画像取り込みデバイスは、独立型デバイスであり得るものであり、又は、スマートフォンなどの他のデバイスに組み込まれ得る。
【００２８】
[0028]図３のブロック１１４で、画像データが画像センサにより生成される。画像センサは典型的には、画像を取り込むための任意の適したフォトセンサであり得る、センサ画素の配列を含む。例えば典型的なセンサ画素は、入射光を電子信号又はデータに転換することができるフォトダイオードなどの感光性要素を含む。センサ画素は例えば、電荷結合素子（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）であり得る。画像データは、原画像フォーマットなどの任意の適したフォーマットでのものであり得る。例えば画像データは、フレームバッファに保存されることを伴い、又は伴わずに、原画像データをファイルに保存することを伴わずに、画像センサから流され得る。そのような事例では、しかしながら、原画像データの処理の後に取得される画像データが、ファイルに保存されることがある。
【００２９】
[0029]図３のブロック１１６で、画像データは前処理を受ける。前処理は例えば、ノイズを低減する、誤りを補正する、又は、画像データにより表される画像を洗練するための、手順又はステップを必然的に含む。例えば前処理は、ノイズ低減プロセス、欠陥画素に対して補正するためのプロセス、デモザイキングプロセス、マルチフレームスティッチング（ｓｔｉｔｃｈｉｎｇ）プロセス、又は、ダイナミックレンジ調整プロセスのうちの少なくとも１つを必然的に含み得るものであり、そのダイナミックレンジ調整プロセスは、画像データにより表される画像のダイナミックレンジを調整するためのトーンマッピングを必然的に含み得る。
【００３０】
[0030]図３のブロック１１８で、画像データは色補正プロセスを受ける。色補正プロセスは、本明細書の例で説明するような補間プロセスを使用して実行され得る。色補正プロセスは、色を２つの異なる色空間の間でマッピングして、画像の画素の色を目標出力色に変換することを必然的に含み得る。色は、ＲＧＢ（赤、緑、青）色空間、ｓＲＧＢ（標準赤、緑、青）、ＹＵＶ色空間（ここで、Ｙは輝度成分を表し、Ｕ及びＶは各々、異なる色度成分を表す）、デジタルシネマイニシアチブ（ＤＣＩ）Ｐ３色空間（時にはＤＣＩ−Ｐ３又はＤＣＩ／Ｐ３と称する）、３つの変数（Ｘ、Ｙ、及びＺ、又は３刺激値）が色をモデル化するために使用される国際照明委員会（ＣＩＥ）１９３１  ＸＹＺ色空間、又は、３つの変数が明度（Ｌ）及び反対色次元（ａ及びｂ）を表すＣＩＥ１９７６（Ｌ＊、ａ＊、ｂ＊−ＣＩＥＬＡＢ又は「ＬＡＢ」）色空間などの、多次元色空間で表され得る。そのような色空間での点は、色値を表すと考えられ得るものであり、色空間の次元は、色モデル内の変数を表すと考えられ得る。例えばｓＲＧＢ色空間では、ＲＧＢ変数は、それぞれ、８ビットｓＲＧＢに対する０〜２５５のスケールなどのスケール上で表され得る、赤、緑、又は青の、異なる強度又は量を表し得る。しかし、普通は、より高いビット深度が、画像信号処理パイプラインに対する色を表すために使用される。
【００３１】
[0031]例では、色補正プロセスは、所与の入力色を３Ｄ入力色空間から３Ｄ出力色空間に変換することを必然的に含む。そのような例では、所与の入力色に対して、色補正プロセスは、３次元（３Ｄ）ルックアップテーブル（ＬＵＴ）内の対応する出力色をルックアップ又は検索することを必然的に含み得る。これらの事例での３Ｄ  ＬＵＴは、色を入力色空間から出力色空間に変換又はマッピングするための、入力色空間と出力色空間との間のマッピングを表す。しかしながら、そのような３Ｄ  ＬＵＴは典型的には、可能な入力色のサブセットを単に含む。したがって、一般的には、転換されることになる入力色は、３Ｄ  ＬＵＴ内の入力色のうちの１つと厳密には整合しないことになる。３Ｄ  ＬＵＴ内に存在しない入力色に関連付けられる出力色を推定するために、補間プロセス（本明細書でさらに説明する補間プロセスなど）が、したがって使用され得る。これらの補間プロセスは、下記でさらに説明するように、３Ｄ  ＬＵＴに記憶されるような、入力色と、対応する出力色との間のマッピングに基づいて、又は、そのマッピングを使用して、所与の入力色に対する出力色を決定することを必然的に含み得る。
【００３２】
[0032]色補正の後、図３の画像信号処理パイプライン１１２は、画像鮮鋭化プロセスなどの、画像品質を改善するためのさらなるプロセス又はアルゴリズムを必然的に含み得る。図３のブロック１２０で、画像データは、ガンマ補正プロセスを実行するためにさらに処理される。ガンマ補正は典型的には、以下の冪法則表現式を使用して定義され得る非線形演算である。
【数１】
2019091439.tif 000003
ここで、Ｖｏｕｔは出力値であり、Ａは定数であり、Ｖｉｎは入力値であり、γはガンマ値である。入力値及び出力値は、例えば、画像の画素の輝度又は３刺激値である。しかし、これは単にガンマ補正に対する例表現式であり、部分的に線形な部分を含むものなどの他の関数が、他の例でのガンマ補正プロセスに対して使用され得ることが認識されるべきである。
【００３３】
[0033]図３のブロック１２２で、色強調プロセスが実行される。色強調プロセスは、本明細書で説明する補間プロセスなどの補間プロセスをさらに必然的に含み得る。しかしながら、画像データを２つの異なる色空間の間で転換することではなく、色強調プロセスは、同じ色空間内の入力色値と出力色値との間の転換を実行することを、代わりに必然的に含み得る。その後、画像データは、さらなる処理、例えば記憶又は表示のために出力され得る。例えば、典型的には色強調プロセスは、画像処理パイプラインの最終段階ではない（一部の事例ではそうであり得るが）。
【００３４】
[0034]図４は、画像データ補間が使用され得る異なる局面の概略的な例をもたらす。図４は、グラフィックス処理パイプライン１２４の一部分の例を概略的に示す。しかしながら、典型的には、図４に例示されないグラフィックス処理パイプラインの他の要素及び段階が存する。
【００３５】
[0035]図４のものなどのグラフィックス処理パイプラインは、ＧＰＵなどのグラフィックスプロセッサにより実行され得る作用の連鎖である。例えば、中央処理ユニット（ＣＰＵ）などのホストプロセッサ上で実行する、ゲームなどのアプリケーションは、グラフィックス処理演算が、この例ではグラフィックス処理ユニット（ＧＰＵ）である、関連付けられるグラフィックスプロセッサにより実行されることを要求し得る。このことを行うために、アプリケーションは、この例ではＧＰＵに対するドライバであるプログラミングインターフェースにより解釈される、アプリケーションプログラミングインターフェース（ＡＰＩ）コールを生成する。ドライバはホストプロセッサ上で動作する。ドライバは、アプリケーションにより要求されるグラフィックス出力を生成するために、ＧＰＵへの適切なコマンドを生成する。コマンドのセットが、アプリケーションからのコマンドに応答してＧＰＵに供給される。コマンドは、ホストプロセッサ及び／若しくはＧＰＵに結合される、又は、それらと通信状態にある、表示デバイスで表示されることになるフレームを生成するためのものであり得る。ＧＰＵは、生成されることになるレンダ出力データ配列のタイルを生み出す、タイルベースのレンダラであり得る。
【００３６】
[0036]典型的なグラフィックス処理パイプラインは、頂点シェーダ、ハルシェーダ、テッセレータ、ドメインシェーダ、ジオメトリシェーダなどのいくつかの陰影、タイラ、ラスタ化段階、フラグメントシェーディング段階、テクスチャマッピング段階、ブレンディング段階、タイルバッファ出力段階、並びに、ダウンサンプリング及び書き出し段階（図４には示されない）を含む。これらの段階の後、画像データは、出力デバイスの画素に対応する画素データの配列の形式でのものであり得る。出力デバイスは例えば、スマートフォン、タブレット、ラップトップコンピュータ若しくはデスクトップコンピュータ、若しくは携帯情報端末などのコンピューティングデバイスの、又は、そのコンピューティングデバイスに結合される表示画面、或いはテレビ画面であり得る、画像を表示するための表示デバイスである。
【００３７】
[0037]図４のブロック１２４で、画像合成プロセスが実行され、そのプロセスで、複数個の元画像（例えば、画像データの複数個のセットにより表される）が、出力デバイスにより表示されることになるフレームに対応し得る出力画像を生成するために組み合わされる。ブロック１２４の画像合成プロセスは、例えば、グラフィックス処理パイプラインのダウンサンプリング及び書き出し段階の後に実行され得る。図４のブロック１２６は、色管理プロセスを必然的に含み、そのプロセスで、フレームを表す画像データが、出力デバイスによる表示のために適切な出力色空間にマッピングされる。例えば、ブロック１２６の色管理プロセスより前の画像データは、ｓＲＧＢ、ＹＵＶ、又はＤＣＩ−Ｐ３色空間などの、デバイス非依存の色空間でのものであり得る。色管理プロセスは、それゆえに、標準色空間であり得るデバイス非依存の色空間での入力色を、デバイス依存の色空間にマッピングすることを必然的に含み得る。デバイス依存の色空間での色は、２つの異なる出力デバイスに入力されるときに、異なる知覚される色を有し得る。
【００３８】
[0038]例えば、知られている色管理プロセスは、例えば、デバイス又は目標色空間と、プロファイル接続空間（ＰＣＳ）と称することがある所与の入力色空間との間のマッピングへの言及を伴う、国際カラーコンソーシアム（ＩＣＣ）による標準セットにしたがう、入力若しくは出力デバイス又は色空間を特徴付けるためのデータのセットである、ＩＣＣプロファイルの使用を必然的に含み得る。ＰＣＳは、ＣＩＥＬＡＢ又はＣＩＥＸＹＺ色空間のいずれかであり、マッピングは、テーブル（そのテーブルに存在しない値の間の転換のために、補間が適用され得る）を使用して、又は、パラメータ化された変換操作によって指定され得る。
【００３９】
[0039]しかし、この例では、ブロック１２６の色管理プロセスは、本明細書で説明する例の補間プロセスを必然的に含む。
【００４０】
[0040]図４のブロック１２８で、出力フレームが、表示のために出力デバイスに転送される。ブロック１２８は、さらに画像を補正する、若しくは画像品質を改善するための、又は、処理のために画像の準備をするための、他の処理を必然的に含み得る。
【００４１】
[0041]図５は、本明細書で説明する例を示す方法の実行中の、装置の内部構成要素の間の例相互作用を例示するブロック図である。図５に示される相互作用の様々な特徴を、図６〜８を参照して下記でより詳細に説明する。
【００４２】
[0042]図５は、画像データが２つの異なる色空間の間で転換される、色管理例を例示する。しかしながら、当業者により認識されるであろうが、図５のものと同様の方法は、上記で説明した例などの、画像データ補間を必然的に含む他の例に対してさらに使用され得る。
【００４３】
[0043]図５で、画像データ１３０が受信される。図５の例での画像データ１３０は、第１の色空間でのｎ個の色チャネルに関する色チャネルデータを表し、この例では、ｎは３であり、第１の色空間はＲｅｃ．２０２０色空間である。換言すれば、画像データ１３０は、赤、緑、及び青色チャネルの各々に対する色チャネルデータを含む。色チャネルデータは例えば、上記で解説したように、０〜２５５のスケールなどのスケール、又は、０〜２５５より高い数のスケールなどの、より高いビット深度を伴うスケール上で表され得る、色チャネルデータが表す色チャネルの各々の、量を表す。
【００４４】
[0044]この例での画像データ１３０は、領域内の点に関連付けられる。領域は、画像データの表現に関連付けられる空間内の空間領域であると考えられ得る。この例では領域は、第１の色空間（この事例ではＲｅｃ．２０２０色空間である）での３Ｄ領域として表され得る。Ｒｅｃ．２０２０色空間は例えば、赤、緑、及び青（ＲＧＢ）原色を含む。Ｒｅｃ．２０２０色空間での色は、それゆえに、これらのＲＧＢ原色の様々な異なる量として表され得る。換言すれば、例えば、画像の個別の画素に関連付けられる赤、緑、及び青色の強度を表す、画像データにより表されるＲＧＢ値は、Ｒｅｃ．２０２０色空間での点に対応すると考えられ得る。３次元座標として表され得る点の位置は、ＲＧＢ値に対応すると考えられ得る。このことは図６に例示され、図６は、初期座標系１３４での点１３２を概略的に示す。この例では、初期座標系１３４の各々の次元は、色空間の異なる色に対応する。この例では、初期座標系１３４のｘ軸線は赤データ値に対応し、初期座標系１３４のｙ軸線は緑データ値に対応する。図６の例示は、例示を容易にするために、単に２次元でのものである。しかしながら、この例での初期座標系１３４のｚ軸線（図６には示されない）は青データ値に対応することが認識されるべきである。
【００４５】
[0045]図５〜８の例は、点に関連付けられる補間されたデータ値を計算するための、画像データ１３０に基づく補間プロセスを必然的に含む。この例での補間プロセスは、画像データ１３０を第１の色空間（この例ではＲｅｃ．２０２０色空間）から第２の異なる色空間（この例ではＤＣＩ−Ｐ３色空間）に転換するためのものである。換言すれば、補間プロセスは、第２の色空間での点に関連付けられる補間されたデータ値を、第１の色空間での点に関連付けられる受信された値に基づいて（及び、下記でさらに説明するような、追加的な変換データに基づいて）近似するために使用される。補間されたデータ値は、下記でさらに説明するように生成され得る補間された画像データにより表され得る。
【００４６】
[0046]図５〜８の例では、補間プロセスを実行する前に、点を含む色空間の領域１３８が特定される。この事例では領域１３８は、この例では立方体（図６の２次元表現では方形として例示される）である、初期座標系１３４での３次元領域に対応する。参照番号１３６によって一括して言及され得る、複数のサンプリング点１３６ａ、１３６ｂ、１３６ｃ、１３６ｄは、領域の境界上に位置し、それゆえに、領域１３８の存続範囲を規定すると考えられ得る。この例では、サンプリング点の各々は、領域１３８のそれぞれの角部又は頂点に位置する（見やすくするために、サンプリング点１３６のみが図６で標示されるが）。しかしながら、他の例では、サンプリング点は、領域の境界上の他の場所に位置し得る。サンプリング点は、変換データに関連付けられる。例えば変換データは、サンプリング点の各々に関連付けられるそれぞれの変換を表し得る。サンプリング点に関連付けられた変換データは、この事例では３Ｄ  ＬＵＴであるＬＵＴに記憶され得るものであり、なぜならば、画像データは３次元画像データである、すなわち、１つの次元が、赤、緑、及び青色値の各々に対するものであるからである。各々のサンプリング点は、変換データの、異なるそれぞれの要素に関連付けられ得る。そのような例では、ＬＵＴ内の変換データの要素の場所は、その要素が対応するサンプリング点を示すものであり得る。代替的に、サンプリング点の場所、及び、サンプリング点に対応する変換データの要素が、サンプリング点の各々に対してＬＵＴに記憶されることがある。
【００４７】
[0047]色空間は、複数のあらかじめ決定された領域に分割可能であり得る。このことは図６で確認され得るものであり、図６では色空間は、１６個の領域（１６個の方形として示され、４つのサンプリング点が、各々の方形の４つの角部で、各々の方形の境界上に位置する）に分割可能である。このことなどの例では、異なる領域は、サンプリング点を共通に共有し得る。例えば、領域１３８の第１のサンプリング点１３６ｄは、領域１３８と、図６での領域１３８の上、左上、及び左で領域１３８の近隣にある３つの領域との間で共有される。しかし、他の例では、領域のサンプリング点は、他の領域と共有されないことがある。さらに、図６では、あらかじめ決定された領域が、重なり合わず、形状及びサイズにおいて均一である一方で、他の例では、あらかじめ決定された領域は、部分的に重なり合うことがあり、形状及び／又はサイズにおいて均一でないことがある。
【００４８】
[0048]点を内包する領域は、領域の境界に対応するサンプリング点の位置と、補間が実行されることになる点の位置との間の、あらかじめ決定された関係性に基づいて特定され得る。例えば、領域の境界に対応するサンプリング点は、その点のｍ個の最近傍の近隣物として選択され得るものであり、ここでｍは、整数であり、あらかじめ規定された数であり得る。例えば、領域が２次元領域（図６に示されるような）である場合、ｍは４であり、領域は方形の形状を有する。このことは、増大する数の次元に拡張され得る。例えば、領域が３次元領域である場合、ｍは８であり、領域は立方体（又は矩形直方体）の形状を有する。例では、領域はｎ次元領域であり、ｎ次元領域の、各々の次元は、ｎ個の色チャネルの、異なるそれぞれの色チャネルに対応し、ここでｎは整数である。
【００４９】
[0049]例えば初期座標系１３４内の、図６に例示される各々のサンプリング点のそれぞれの位置は、サンプリング位置データにより表され得る。同様に、初期座標系１３４内の点１３２の位置は、位置データにより表され得る。点１３２が色空間の特定の領域内に位置するかどうかに関する決定は、点１３２の位置を表す位置データの、少なくとも１つの有効ビットに基づいて行われ得る。図６を参照すると、初期座標系１３４で、第１のサンプリング点１３６ａは（１，３）に位置し、第２のサンプリング点１３６ｂは（２，３）に位置し、第３のサンプリング点１３６ｃは（２，２）に位置し、第４のサンプリング点１３６ｄは（１，２）に位置する。点１３２は、初期座標系１３４で（１．６，２．３）に位置する。サンプリング点１３６の位置を表すサンプリング位置データ、及び、点１３２の位置を表す位置データの、最大有効ビットが、例えば、これらの位置の整数部分を表す。この事例での点１３２の位置の整数部分は、１（ｘ座標に対して）及び２（ｙ座標に対して）である。点１３２は、それゆえに、この座標から延在する領域内に位置すると考えられ得る。この事例では、領域１３８のあらかじめ決定された形状が方形（２次元での）であるので、補間に対する領域の原点は、（１，２）として選び取られ得るものであり、補間で使用するための他のサンプリング点は、点１３２を包囲する単位方形を形成するために、（ｘ＋１，ｙ）、（ｘ＋１，ｙ＋１）、及び（ｘ，ｙ＋１）に対応する３つの点として選び取られ得る。この例での補間に対する領域１３８が、したがって特定され得る。
【００５０】
[0050]この実例では、サンプリング点の位置は、初期座標系１３４に関して正規化されると考えられ得る。例えば、各々のサンプリング点は、初期座標系１３４での整数座標値に対応すると考えられ得る。しかしながら、他の例では、サンプリング点の位置は、初期座標系１３４に関して正規化されないことがある。
【００５１】
[0051]領域１３８が特定された後、領域１３８内の点１３２の位置と、領域１３８の原点（この例では、第４のサンプリング点１３６ｄに対応する）との間の距離が、初期座標系１３４での点１３２の位置と第４のサンプリング点１３６ｄとの間の初期距離を表す初期距離データを生成するために計算され得る。赤座標に対応するｘ方向での初期距離（図６にｄＲと例示される）は、初期座標系のｘ方向で、第４のサンプリング点１３６ｄの位置を点１３２の位置から減算することにより、すなわち、１を１．６から減算することにより計算され得るものであり、ｄＲ＝０．６が得られる。同様に、緑座標に対応するｙ方向での初期距離（図６にｄＧと例示される）は、初期座標系のｙ方向で、第４のサンプリング点１３６ｄの位置を点１３２の位置から減算することにより、すなわち、２．３を２から減算することにより計算され得るものであり、ｄＧ＝０．３が得られる。同様の方法が、例えば青座標に対応するｚ方向での初期距離ｄＢを表す初期距離データを取得するために使用され得る。
【００５２】
[0052]例では変換データは、複数のサンプリング点のうちの第１の少なくとも１つのサンプリング点に関連付けられた変換データの第１のセットと、複数のサンプリング点のうちの第２の少なくとも１つのサンプリング点に関連付けられた変換データの第２のセットとを含む。そのような例では、方法は、変換データの第１のセットを、第１の記憶機構から検索することと、変換データの第２のセットを、第１の記憶機構とは異なる第２の記憶機構から検索することとを必然的に含み得る。このことは例えば、変換データの第１及び第２のセットが、異なる記憶機構から互いに、同じ時間に、又は同時に検索されることを可能とする。このことは、方法の効率を改善し、別法では、例えば、変換データの第１及び第２のセットが同じ記憶機構から順次検索されるならば持ち込まれることになる待ち時間を低減し得る。
【００５３】
[0053]他の例では、変換データは、複数のサンプリング点のうちのそれぞれのサンプリング点に各々が関連付けられる、変換データの複数のセットを含み得る。そのような例では、変換データの、各々のセットは、異なるそれぞれの記憶機構から検索され得る。例えば、サンプリング点が、立方体の形状を有する３次元領域の境界上に位置する場合、立方体の角部に各々が位置する、８個のサンプリング点が存し得る。この例では、８個の異なる記憶機構が存し得るものであり、８個のサンプリング点の各々に関連付けられた変換データは、８個の記憶機構の、異なるそれぞれの記憶機構に記憶され得る。８個のサンプリング点の各々に対する変換データは、次いで、すべての８個の記憶機構から、同じ時間に、又は同時に検索され得る。
【００５４】
[0054]変換データは、複数のサンプリング点、この事例では、領域１３８の境界上に位置する複数のサンプリング点、すなわち、図６に例示されるサンプリング点１３６に関連付けられる。変換データは、値の間のマッピング若しくは変換操作に、又は、そのようなマッピングを実行するための係数若しくは関数に対応すると考えられ得る。図５〜８の例では、マッピングは、第１の色空間（Ｒｅｃ．２０２０色空間である）でのＲＧＢ値と、第２の異なる色空間（この例では、ＤＣＩ−Ｐ３色空間である）での対応する値との間のものである。したがって、サンプリング点に関連付けられるＲＧＢ値に対して、対応するＲｅｃ．２０２０値が、変換データから直接取得され得る。しかしながら、サンプリング点以外の点（図６の点１３２など）に関連付けられるＲＧＢ値に対しては、点１３２を包囲する、又は点１３２の近傍にある、サンプリング点に関連付けられた変換データの重み付けされた組み合わせに基づいて、対応するＤＣＩ−Ｐ３値を計算するために、補間が代わりに使用され得る。
【００５５】
[0055]この例では、領域１３８の境界上に位置しているとして特定されたサンプリング点１３６ａ、１３６ｂ、１３６ｃ、１３６ｄに関連付けられた変換データが、記憶機構１４４から検索される。変換データを検索するために、画像データ１３０が、領域１３８の境界上に位置するサンプリング点に関連付けられた変換データが記憶される記憶機構１４４内のアドレスを特定するために、アドレス生成器モジュール１４２に転送される。記憶機構１４４は例えば、本明細書で説明する方法を実施するための、システム又は装置の、オンチップメモリ又はバッファであり得る。例えば記憶機構は、ランダムアクセスメモリ（ＲＡＭ）、例えばスタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、若しくは埋め込みダイナミックランダムアクセスメモリ（ｅＤＲＡＭ）などの揮発性メモリ、又は、読み出し専用メモリ（ＲＯＭ）などの不揮発性メモリのうちの少なくとも１つであり得る、或いは、その少なくとも１つを含み得る。記憶機構は、さらに、又は代替的に、典型的にはＣＰＵ内のプロセッサレジスタの配列である、レジスタファイルとして実施され得る。例えば変換データは、記憶機構１４４のＬＵＴに記憶され、（例えば、アドレス生成器１４２によりアドレスに転換されるような）サンプリング点１３６の位置に基づいて検索され得る。例えば、色管理又は色強調に対する典型的なＬＵＴは、９×９×９  ３Ｄ  ＬＵＴであり得るものであり、その３Ｄ  ＬＵＴは、それゆえに、７２９個のサンプリング点に関連付けられた変換データを含む。
【００５６】
[0056]アドレスは、補間されたデータ値が計算されることになる点１３２の位置を表す位置データの、少なくとも１つの最大有効ビットに基づいて、アドレス生成器モジュール１４２により計算され得る。例えば、画像Ｉが画素の３次元配列として表され得るならば、位置（ｘ，ｙ）に位置する画素（図６に例示される点１３２に対応すると解され得る）に対する画素値は、Ｉ（ｘ，ｙ）＝［Ｒ，Ｇ，Ｂ］と表象され得るものであり、ここで［Ｒ，Ｇ，Ｂ］は、それぞれ０〜１のスケール上の、赤、緑、及び青色チャネルに関する、赤、緑、及び青浮動小数点強度値を表す。そのような例では、変換データを記憶する３Ｄ  ＬＵＴは、サイズ９×９×９（３つの色チャネルに対して、×３）のものであり得る。点１３２を含む領域の境界上に位置するサンプリング点に対応するＬＵＴ位置を見出すために、領域の原点（第４のサンプリング点１３６ｄに対応する、図６に示されるような、領域の一番左及び一番下の角部など）に対応するＬＵＴ位置が、最初に決定され得る。このＬＵＴ位置は、例えば、ＬＵＴ１３６ｄ＝［ｆ（Ｒ＊８），ｆ（Ｇ＊８），ｆ（Ｂ＊８）］として計算され得るものであり、ここでＬＵＴ１３６ｄは、第４のサンプリング点１３６ｄに対応する変換データのＬＵＴ位置を示し、ｆ（ｘ）は、ｘの整数部分として選び取られ得るｘの床を示す。例えば、ｆ（１．１）＝ｆ（１．８）＝１である。ＬＵＴのサイズが（２のｍ乗）プラス１（例えば、９、１７、３３、その他）である場合、ここでそのサイズは、例えばＬＵＴの最大寸法のサイズであるが、ｘの床は、ｘの最大有効ビット、又は複数のビットから計算され得る。そうでない場合、ｘの床は、ｘの画素値から直接計算され得る。そのため、画素［０．０，０．５，０．９］に対して（ここで、値は、８ビット表現でのような、０〜２５５の範囲など、より大きな範囲に及ぶのではなく、０〜１の間の値に正規化される）、第４のサンプリング点１３６ｄに対応する変換データは、（ＬＵＴインデックスは典型的には０から開始するので）ＬＵＴ位置［０，４，７］に記憶されることになる。第１、第２、及び第３のサンプリング点１３６ａ、１３６ｂ、１３６ｃのＬＵＴ位置が、次いで、第４のサンプリング点１３６ｄのＬＵＴ位置に対して計算され得る。アドレス生成器モジュール１４２が、次いで、これらのＬＵＴ位置を、（上記で説明したような）異なる記憶機構内のアドレスに対応し得るアドレスに、又は、（例えば、レジスタファイルが使用されるならば）同じ記憶機構内のアドレスに転換するために使用され得る。しかし、ＬＵＴ１３６ｄを決定するための上記の数式は、変換データを記憶する３Ｄ  ＬＵＴがサイズ９×９×９のものである例に固有であることが認識されるべきである。変換データを記憶する３Ｄ  ＬＵＴがサイズａ×ｂ×ｃのものである、より一般的な例では、ＬＵＴｏ＝［ｆ（Ｒ＊（ａ−１）），ｆ（Ｇ＊（ｂ−１），ｆ（Ｂ＊（ｃ−１））］であり、ここでＬＵＴｏは、その境界上にサンプリング点が在る領域の原点として選び取られ得るサンプリング点に対応する変換データのＬＵＴ位置である。
【００５７】
[0057]図６の例では、点１３２は、２次元座標系で（１．６，２．３）に位置する。換言すれば、点１３２は、上記の例（赤、緑、及び青色チャネルに関する強度値が０〜１である）より大きい範囲内の値に対応するものであり、なぜならば、この例での点１３２の位置は、０〜１の間の値に正規化されていないからである。しかしながら、この事例に対する、第１、第２、第３、及び第４のサンプリング点１３６ａ、１３６ｂ、１３６ｃ、１３６ｄに対するＬＵＴ位置は、例えば、第１、第２、第３、及び第４のサンプリング点１３６ａ、１３６ｂ、１３６ｃ、１３６ｄに対応する変換データのＬＵＴ位置を計算する前に、点１３２の位置を０〜１のスケールにスケーリング又は正規化することにより、同様に計算され得ることが認識されるであろう。
【００５８】
[0058]変換データは、変換データをアップスケーリングするアップスケーラモジュール１４６に転送される。例えば、変換データのアップスケーリングは、変換データのビット精度を増大することを含み得る。変換データのビット精度は、変換データの最小有効ビットにゼロを追加することにより増大され得る。このことは、変換データの精度をさらなる処理中に維持して、補間されたデータ値のビット精度を改善する一助となり得る。
【００５９】
[0059]変換データはその後、初期距離データ１４０ａ、１４０ｂ、１４０ｃとともに、第１の補間前段階１４８ａに転送される。第１の補間前段階１４８ａは、それが、補間されたデータ値を生成するために、画像データの補間の前に実行され得るので、補間前段階と称することがあることに留意されたい。しかしながら、補間前段階はそれ自体が、追加的な位置データを生成するための、及び／又は、追加的な変換データを生成するための補間プロセスなどの、他の補間プロセスを必然的に含み得る。第１の補間前段階１４８ａは、図７及び８に概略的に例示される。
【００６０】
[0060]図７及び８の補間前段階は、複数のサンプリング点に関連付けられた変換データを取得することを必然的に含む。この例では、変換データは、例えば、本明細書で説明する補間方法を実行するように構成される装置の記憶機構である、記憶機構１４４から取得される。しかしながら、他の例では、変換データは、外部供給源から、又は、補間方法を実行するための装置の、アップスケーラモジュール１４６とは異なる構成要素から受信され得る。例えば、変換データを取得することは、外部モジュールからの、又は、変換データが取得される構成要素の内部のプロセスの出力の際の、変換データの能動的検索、又は変換データの受動的受信のいずれかを包含すると考えられ得る。
【００６１】
[0061]図７及び８の方法での変換データは、領域１３８の部分領域１５２の境界上に位置する追加的なサンプリング点１５０ａに関連付けられた追加的な変換データを生成するために処理される。追加的な変換データの生成は、最初に、追加的なサンプリング点１５０ａの位置を表す追加的な位置データを生成することを必然的に含み得る。
【００６２】
[0062]追加的なサンプリング点１５０ａの位置は、例えば、あらかじめ規定された関係性又は数式を使用して、複数のサンプリング点１３６のうちの少なくとも１つから生成され得る。この例では、座標系の軸線に関する追加的なサンプリング点１５０ａの位置が、２で除算された、座標系の軸線に関するサンプリング点１３４の位置に対応する。
【００６３】
[0063]例では、追加的なサンプリング点１５０ａは、この例では一定の線Ｇ／Ｒ（すなわち、ｘ軸線が赤データ値に対応し、ｙ軸線が緑データ値に対応する際の、赤データ値に対する緑データ値の一定比）に対応する、座標系の斜線上に在り得る。追加的なサンプリング点が、２つの異なる色チャネルの値の間の一定比などの一定画像データ値の等高線上に在る事例では、追加的なサンプリング点は、明るさの変化に沿った色の一貫性を確実にするように選定され得る。例えば、追加的なサンプリング点の位置を計算するための補間方向は、変化する明るさ値に対する、画像色などの画像データ値の一貫性を維持するように選択され得る。そのような事例では、追加的なサンプリング点は、この補間方向に沿って在り得るものであり、又は、部分領域の境界は、少なくとも部分的に、この補間方向と一致する、接する、若しくは交差することがある。
【００６４】
[0064]追加的なサンプリング点１５０ａ及びサンプリング点１３４の位置は、初期距離データを決定するために使用されるものと同じ座標系（初期座標系１３４）で表現され得る。しかしながら、図７の例では、初期座標系１３４は、第１の座標系１５４に再正規化されており、第４のサンプリング点１３６ｄ（領域１３８の原点に対応すると考えられ得る）が、第１の座標系１５４の原点に対応するように再正規化されている。したがって、この例では、初期座標系の再正規化は、初期座標系１３４で表現されるすべてのｘ座標を１だけ低減することと、初期座標系１３４で表現されるすべてのｙ座標を２だけ低減することとを必然的に含む。したがって、再正規化の後、第１の座標系１５４で、第１のサンプリング点１３６ａは（０，１）に位置し、第２のサンプリング点１３６ｂは（１，１）に位置し、第３のサンプリング点１３６ｃは（１，０）に位置し、第４のサンプリング点１３６ｄは（０，０）に位置する。追加的なサンプリング点１５０ａは、第１の座標系１５４で（０．６，０．３）に位置する。
【００６５】
[0065]図７による方法は、ビットシフト演算を、サンプリング点の位置を表すサンプリング位置データに適用して、追加的なサンプリング点の位置を表す追加的な位置データを生成することを必然的に含み得る。ビットシフト演算は例えば、個々のビットのレベルで、（例えば、２進数として表されるサンプリング位置データに関して演算することにより）サンプリング点の位置を表すビットパターンに関して演算することを必然的に含む。例えば、２で除算は、サンプリング位置を表す一続きのビットを、１つ又は複数の場所だけ移動させることにより実施され得る。簡単な例として、サンプリング点の位置が２進法で１１（すなわち、１０進法での数４）により表され得るならば、右への１のビットシフトが、２進数０１（すなわち、１０進法での数２）を取得するために使用され得るものであり、以て、サンプリング点の位置を２で除算して、この新しい位置での追加的なサンプリング点を取得する。そのようなビットシフト演算は、ハードウェア効率的な様式で、サンプリング点の位置を２で除算をするために使用され得るものであり、なぜならば、ビットシフト演算は典型的には、プロセッサにより、ビットシフト演算により実行され得ない除算などの他のタイプの演算より急速に実行され得るからである。本明細書での２で除算への言及は、２により除算すること、又は、２ｎにより除算することに言及していると解されるべきであり、ここでｎは整数である。
【００６６】
[0066]このことなどの例では、追加的な位置データを生成するためのサンプリング位置データの処理は、位置データのビット精度を低減することを必然的に含み得る。例えば、ビットシフト演算が、サンプリング点の位置を表すビットを１つの桁だけ右にシフトするために、サンプリング位置データに適用される場合、追加的な位置データは、サンプリング位置データのビット精度より１つ少ないビット精度を有し得る。例えば、そのようなビットシフト演算は、サンプリング位置データを１ビットだけ右にシフトすることと、最小有効ビット（サンプリング位置データの一番右の端部の外にシフトされる、一番右のビット）を放棄することと、ゼロを新しい一番左のビットとして導入することとを必然的に含み得る。このことは、サンプリング位置データの論理シフトに対応すると考えられ得る（被演算子の符号が保存される算術シフトが、他の例で使用され得るが）。
【００６７】
[0067]この例での追加的な変換データは、領域１５０の部分領域１５２の境界上に位置する追加的なサンプリング点に関連付けられる。領域は、第１の多面体に対応し得るものであり、部分領域は、例えば第１の多面体とは異なる形状又はサイズのものである、第２の多面体に対応し得る。例えば第１の多面体は、第１の立方体であり得るものであり、第２の多面体は、第１の立方体より小さい第２の立方体であり得る。図７は、そのような例を示し、図７では、部分領域１５２は領域１３８の４分区間に対応し、部分領域１５２及び領域１３８の両方は、２Ｄでは方形として（又は、３Ｄでは立方体として）、２Ｄで例示され得る。しかしながら、他の例では、領域及び部分領域のうちの１つ若しくは両方は、不規則な形状を有し得るものであり、又は領域は、２つより多い次元にわたって延在し得る。例えば領域は、３次元多面体であり得る。
【００６８】
[0068]例えば第１の多面体は、第１の直方体であり得るものであり、第２の多面体は、第１の直方体より小さい第２の直方体であり得る。例えば第２の直方体は、第１の直方体と同じ形状を伴い、ただしサイズにおいて低減された、第１の直方体のスケールダウンされたバージョンに対応し得る。直方体は、直方体の面の一部又はすべてが、方形ではなく矩形である、矩形直方体であり得る。代替的に、直方体は、直方体の面の各々が方形である、方形直方体であり得る。そのような事例では、サンプリング点に関連付けられた変換データを含む３Ｄ  ＬＵＴは、異なる次元に対して異なるサイズを有し得る。例えば３Ｄ  ＬＵＴは、１つの次元で、異なる次元より大きい数のサンプリング点に対する変換データを記憶し得る。
【００６９】
[0069]部分領域の境界は、領域の境界と部分的に一致し得る。換言すれば、部分領域及び領域は、部分的に共有される境界又は境界部分を有し得る。図７は、そのような例を示す。しかし、他の例では、部分領域及び領域は、境界を共有しないことがある。例えば部分領域は、領域により完全に包囲されることがある。
【００７０】
[0070]どの追加的なサンプリング点が生成されることになるかの決定は、図６を参照して説明したような、記憶機構からのサンプリング点１３６の選択と同様に行われ得る。例えば領域１３８は、部分領域１５２を含む複数のあらかじめ決定された部分領域に分割可能であり得る。そのような事例での方法は、点１３２の位置を表す位置データを処理して、点１３２が部分領域１５２内に位置することを判定することを必然的に含み得る。例えば位置データは、位置データの、少なくとも１つの最大有効ビットを基にして、点１３２が部分領域１５２内に位置することを判定するために処理され得る。例えば、領域と部分領域との間に、あらかじめ決定された関係性が存し得る。この事例では、各々の部分領域は、領域の４分区間に対応するものであり、換言すれば、領域は、部分領域を取得するために、４つの等しいサイズの方形に分割され得る。領域と部分領域との間のこの関係性に基づいて、点１３２が位置する部分領域は、図６を参照して上記で説明したような、どの領域に点１３２が位置するかを決定することと同様に決定され得る。
【００７１】
[0071]点１３２が位置する部分領域が決定されてしまうと、追加的なサンプリング点の位置が生成され得る。この決定は、例えば、複数のサンプリング点１３６のうちの少なくとも１つの各々の、それぞれの位置を表すサンプリング位置データを処理して、部分領域１５２の境界上の追加的なサンプリング点１５０ａの位置を計算すること、それによって、追加的なサンプリング点１５０ａの位置を表す追加的な位置データを生成することにより実行され得る。追加的な位置データの生成は、領域と部分領域との間のあらかじめ決定された関係性と同じであり得る、サンプリング点と、追加的なサンプリング点又は複数の点との間のあらかじめ決定された関係性に基づくものであり得る。例えば、この事例では、４つの追加的なサンプリング点１５０が、追加的なサンプリング点１５０の位置と、サンプリング点１３６の位置との間の、以下の関係性に基づいて生成される。
【数２】
2019091439.tif 000004
ここでＰｘは、第１の座標系１５４での点ｘの位置を示す。図７から確認され得るように、第３のサンプリング点１３６ｃの位置は、このプロセスでは不変のままである。したがって、追加的なサンプリング点の位置は、複数の（この事例では、２つの）サンプリング点の位置の平均として計算され得る。しかし、Ｐ１５０ａ、Ｐ１５０ｂ、及びＰ１５０ｃに対する上記の数式は、図７に示されるものなどの、２次元例に対するものであることが認識されるべきである。しかしながら、領域が、より大きい数の次元を有する他の例では、追加的なサンプリング点の位置は、同様に計算され得る。例えば、領域が３次元領域である場合、３つではなく、７つの追加的なサンプリング点が計算され得る。これらの７つの追加的なサンプリング点は、２次元事例に対する追加的なサンプリング点Ｐ１５０ａ、Ｐ１５０ｂ、及びＰ１５０ｃ、並びに、これらの追加的なサンプリング点Ｐ１５０ａ、Ｐ１５０ｂ、及びＰ１５０ｃと、第３のサンプリング点１３６ｃとに対応する、ただし、追加的なサンプリング点Ｐ１５０ａ、Ｐ１５０ｂ、及びＰ１５０ｃと、第３のサンプリング点１３６ｃとを含む第１の平面に平行な平面内の（例えば、第１の平面と、３次元領域の他のサンプリング点を含む第２の平面との間の中ほどの）、４つの追加的なサンプリング点を含み得る。
【００７２】
[0072]認識されるであろうが、点１３４が領域１３８の他の４分区間又は部分領域に位置するならば、生成されることになる追加的なサンプリング点の位置と、サンプリング点１３６の位置との間の、異なる（ただし、同様の）関係性が、位置追加的なサンプリング点を生成するために使用され得る。一般的には、領域１３８が（図７でのような）方形である場合、点１３４に最も近いサンプリング点は、不変のままである（及び、部分領域の境界上に位置する）。しかしながら、２つの追加的なサンプリング点の位置は、点１３４に最も近いサンプリング点の位置と、最も近いサンプリング点の近隣にある他のサンプリング点の各々との間の平均として計算され得るものであり、さらなる追加的なサンプリング点の位置は、最も近いサンプリング点の近隣にある他のサンプリング点の位置の間の平均として計算され得る。例えば、点１３４が、図７に示されるような領域１３８の左上の４分区間に位置するならば、点１３４に対する最も近いサンプリング点は、第１のサンプリング点１３６ａである。追加的なサンプリング点のうちの２つの位置は、次いで、第１のサンプリング点１３６ａの位置と、第１のサンプリング点１３６ａの近隣にある２つのサンプリング点の各々との間の平均として、すなわち、（１／２）（Ｐ１３６ａ＋Ｐ１３６ｂ）、（１／２）（Ｐ１３６ａ＋Ｐ１３６ｄ）として計算され得るものであり、さらなる追加的なサンプリング点の位置は、第１のサンプリング点１３６ａの近隣にある２つのサンプリング点の間の平均として、すなわち、（１／２）（Ｐ１３６ｂ＋Ｐ１３６ｄ）として計算され得る。
【００７３】
[0073]追加的なサンプリング点の生成の後、追加的な変換データが、次いで計算され得る。追加的な変換データは、追加的なサンプリング点の位置の生成と同様の方法を使用して、サンプリング点１３６に関連付けられた変換データに基づいて計算され得る。例えば変換データは、追加的な変換データを生成するために、複数のサンプリング点のうちの少なくとも一部の、それぞれの位置を表す位置データを使用して処理され得る。例えば、変換データにより表される少なくとも１つの係数は、例えば、２つ以上の近隣のサンプリング点に関連付けられた変換データからの追加的な変換データへの寄与の源となるように、位置データを使用して重み付けされ得る。
【００７４】
[0074]追加的な変換データは、単に１つの追加的なサンプリング点に、又は複数の追加的なサンプリング点に対して計算され得る。図７は、追加的な変換データが複数の追加的なサンプリング点１５０ａ、１５０ｂ、１５０ｃの各々に対して計算される例を示す。この例での追加的なサンプリング点（参照番号１５０によって一括して言及され得る）の各々は、部分領域１５２の境界上に在る。しかし、認識されるであろうが、このことは単に例示的な関係性であり、他の例では、追加的なサンプリング点とサンプリング点との間の関係性は異なり得るものであり、又は、より多い、若しくはより少ない追加的なサンプリング点が、所与の数のサンプリング点に対して生成され得る。
【００７５】
[0075]上記で注目されたように、追加的な変換データは、追加的な位置データの計算と同様であり得る、第１の補間プロセスを使用して計算され得る。例えば、追加的なサンプリング点１５０ａ、１５０ｂ、１５０ｃに関連付けられた追加的な変換データは、次式のように計算され得る。
【数３】
2019091439.tif 000005
ここでＴｘは、第１の座標系１５４での点ｘに関連付けられた変換操作（変換操作を実施するための係数など）を示す。第３のサンプリング点１３６ｃに関連付けられた変換は、この例では不変のままである。
【００７６】
[0076]変換データは、典型的には画像データの画像データ幅より小さい、所与の変換データ幅を有し得る。しかしながら、追加的な変換データを生成するための変換データの処理は、変換データに対して、追加的な変換データのビット精度又は幅を増大し得る。
【００７７】
[0077]第１の補間前段階の出力は、それゆえに、補間プロセスで使用するための追加的な変換データであり得る。第１の補間前段階は、部分領域１５２の、点と、原点又は端との間の、再計算された距離を表す、再計算された距離データをさらに出力し得る。この距離データは次いで、後続の補間プロセスで使用され得る。この距離データの生成の例が、図８に概略的に示される。
【００７８】
[0078]図８などの例での距離データは、追加的なサンプリング点の位置を表す追加的な位置データと、点の位置を表す位置データとを処理することにより計算され得る。距離データは、初期距離データの計算と同様の手立てで計算され得る。例えば、ｘ方向での、点の位置と、追加的なサンプリング点の位置との間の距離は、ｘ方向で、追加的なサンプリング点の位置を、点の位置から減算することにより計算され得る。同様に、ｙ方向での、点の位置と、追加的なサンプリング点の位置との間の距離は、ｙ方向で、追加的なサンプリング点の位置を、点の位置から減算することにより計算され得る。認識されるであろうが、図８の例でのｘ軸線は、赤データ値を表すために使用され、ｙ軸線は、緑データ値を表すために使用される。換言すれば、本明細書で言及する距離は、例えば各々の次元が、色空間の異なる色に対応する、色空間に広がる座標系で表されるような、色空間（この例では、Ｒｅｃ．２０２０色空間）での距離である。したがって、距離データは、画像内の画素位置ではなく、色空間での、点と追加的なサンプリング点との間の距離を表すと考えられ得る。
【００７９】
[0079]距離データは、初期座標系１３４の再正規化と同様に再正規化され得る、再正規化された座標系で計算され得る。そのような事例では、本明細書で説明する方法は、値が補間されることになる点１３２の位置を表すために、座標系を再正規化することを必然的に含み得る。図８は、そのような例を概略的に示す。
【００８０】
[0080]図８による例では、画像データ（例えば、第１の座標系１５４での点１３２の位置を表す）は、第１の画像データであると考えられ得る。第１の画像データは、第１の座標系１５４とは異なる第２の座標系１５６での点１３２の位置を表す第２の画像データを生成するために処理され得る。例えばサンプリング点（この例では、第４のサンプリング点１３６ｄ）は、第１の座標系１５４の原点に対応し得るものであり、追加的なサンプリング点（この例では、追加的なサンプリング点１５０ｃ）は、第２の座標系１５６の原点に対応し得る。例えば、第２の座標系１５６で、追加的なサンプリング点を含み得る、部分領域１５２の境界上に位置する複数の境界点が存し得る。例えば、複数の境界点は、図７及び８の例では、追加的なサンプリング点１５０ａ、１５０ｂ、１５０ｃと、第３のサンプリング点１３６ｃとを含み得る。このことなどの例では、方法は、複数の近隣の境界点の間にあらかじめ決定された距離が存するように、第２の座標系１５６を再正規化することを必然的に含み得る。例えば、あらかじめ決定された距離は、画像データの精度を保存するために、２の、画像データのビット幅乗に等しくあり得る。このことは、補間された画像データの精度をさらに保存し得る。そのような再正規化プロセスの一部分として、ｘ、ｙ、及びｚ方向での距離（例えば、ｄＲ、ｄＧ、ｄＢと表現され得る、赤、緑、及び青差値に対応する）もまた、それゆえに、第１の座標系１５４ではなく、第２の座標系１５６に関して、ｄＲ、ｄＧ、ｄＢの正規化された値（図７及び８には、ｄＲ’、ｄＧ’、ｄＢ’と例示される）を計算するために正規化され得る。例えば点１３２は、ｘ方向で第１の座標系１５４の原点からｄＲ＝０．６の値に位置し得る。しかしながら、点１３２の位置を表すために座標系を再正規化した後、点１３２’は、ｘ方向で第２の座標系１５６の原点からｄＲ’＝０．２の値に位置し得る。図７及び８から確認され得るように、第２の座標系１５６での位置は、第１の座標系１５４での対応する位置と同じ参照番号によって標示されるが、アポストロフィを添えられている。
【００８１】
[0081]上記で説明したように正規化され得る距離データは、その後、例えば、追加的な変換データと並んで、又は、追加的な変換データに加えて、補間プロセスへの入力として使用され得る。
【００８２】
[0082]図５に戻って参照すると、図５の方法は、第１の補間前段階１４８ａと、第２の補間前段階１４８ｂと、第３の補間前段階１４８ｃとを含む、複数の補間前プロセス１４８を必然的に含む。このことなどの例では、各々の連続的な中間の補間前プロセスの出力は、後続の補間前プロセスへの入力として使用され得る。例えば、補間前プロセスの各々は、前の補間前プロセスの、前の追加的なサンプリング点に関連付けられた前の追加的な変換データを処理して、後続の部分領域の境界上に位置する、後続の追加的なサンプリング点に関連付けられた後続の追加的な変換データを生成することを含み得る。そのような事例では、後続の部分領域は、前の部分領域の部分領域であり得るものであり、前の補間前プロセスの、前の追加的なサンプリング点が、前の部分領域の境界上に位置する。例えば、第１の補間前段階１４８ａの出力は、第２の補間前段階１４８ｂへの入力として使用され得るものであり、その第２の補間前段階１４８ｂは、後続の補間プロセスに対して使用される領域のサイズを、第１の補間前段階１４８ａから出力される部分領域１５２の部分領域へと、さらに減少し得る。同様に、第２の補間前段階１４８ｂの出力は、第３の補間前段階１４８ｃへの入力として使用され得るものであり、その第３の補間前段階１４８ｃは、後続の補間プロセスに対して使用される領域のサイズを、第２の補間前段階１４８ｂにより出力される部分領域の部分領域へと、加えて減少し得る。したがって、補間前プロセス又は段階の数を増大することは、補間プロセスにより取得される補間されたデータ値の正確性を徐々に増大し得る。しかし、一部の事例では、単に１つの補間前段階が存し得ることが認識されるであろう。
【００８３】
[0083]最終的に、補間前段階１４８の出力は、図５の例では３重線形補間プロセスである補間プロセス１５０に出力される。例えば補間プロセスは、追加的な変換データを生成するために、第１の補間プロセスとは異なる第２の補間プロセスであり得る。そのような補間プロセスは、色チャネルデータを（図５〜８の例での、Ｒｅｃ．２０２０色空間からＤＣＩ−Ｐ３色空間になどのように）第１の色空間とは異なる第２の色空間に変換するために使用され得る。
【００８４】
[0084]補間プロセス１５０は、点１３２に関連付けられた画像データを、補間前段階１４８により生成される追加的な変換データによって処理すること、それによって、点１３２での補間されたデータ値を表す補間された画像データを生成することを含む。例えば画像データは、追加的な変換データ、及び、変換データの少なくとも一部分、例えば、補間前段階１４８により出力される部分領域の境界上に在るサンプリング点に関連付けられた変換データによって処理され得る。図７は、そのような例を示す。図７では、第３のサンプリング点１３６ｃに関連付けられた変換データは、第１、第２、及び第３の追加的なサンプリング点１５０ａ、１５０ｂ、１５０ｃに関連付けられた追加的な変換データによって処理される。
【００８５】
[0085]３重線形補間の例が、図９に示される。図９は、図７に示される、ただし３次元での、部分領域１５２内の３重線形補間を示す。この例での追加的な変換データは、追加的なサンプリング点１５０ａ、１５０ｂ、１５０ｃ、１５０ｄ、１５０ｅ、１５０ｆ、１５０ｇに関連付けられる。サンプリング点１３６ｃに関連付けられた変換データが、この例での３重線形補間に対してさらに使用される。第２の座標系の座標の各々での、第２の座標系１５４の原点（この例では、第３の追加的なサンプリング点１５０ｃと一致する）と、データ値が補間されることになる点１３２との間の距離を表す距離データが、補間でさらに使用される。これらの距離は、図９でｄＲ’、ｄＧ’、及びｄＢ’（上記で説明したｄＲ、ｄＧ、ｄＢと同じであるが、第２の座標系１５４でのものである）と標示される。
【００８６】
[0086]３重線形補間は典型的には、３次元で行われ、４つの１次元補間が、ｘ軸線（この事例では、赤データ値に対応する）に沿って行われ、２つの１次元補間が、ｙ軸線（この事例では、緑データ値に対応する）に沿って行われる。ｘ軸線に沿った４つの１次元補間は、図９で１５８ａ、１５８ｂ、１５８ｃ、１５８ｄと示される点での、補間された変換値又は係数を生成するために使用され得る。
Ｔ１５８ａ＝Ｔ１５０ｃ（ｄＲ’）＋Ｔ１３６ｃ（１−ｄＲ’）
Ｔ１５８ｂ＝Ｔ１５０ｇ（ｄＲ’）＋Ｔ１５０ｆ（１−ｄＲ’）
Ｔ１５８ｃ＝Ｔ１５０ａ（ｄＲ’）＋Ｔ１５０ｂ（１−ｄＲ’）
Ｔ１５８ｄ＝Ｔ１５０ｄ（ｄＲ’）＋Ｔ１５０ｅ（１−ｄＲ’）
ここでＴｘは、第２の座標系１５４での点ｘに関連付けられた変換操作（変換操作を実施するための係数など）を示す。
【００８７】
[0087]ｙ軸線に沿った２つの１次元補間は、図９で１６０ａ、１６０ｂと示される点での、補間された変換値又は係数を生成するために使用され得る。
Ｔ１６０ａ＝Ｔ１５８ａ（ｄＧ’）＋Ｔ１５８ｂ（１−ｄＧ’）
Ｔ１６０ｂ＝Ｔ１５８ｃ（ｄＧ）＋Ｔ１５８ｄ（１−ｄＧ’）
【００８８】
[0088]最終的に、１次元補間が、点１３２での補間された変換値又は係数を生成するために、ｚ軸線に沿って実行され得るものであり、
Ｔ１３２＝Ｔ１６０ａ（ｄＢ’）＋Ｔ１６０ｂ（１−ｄＧ’）
である。軸線の各々に沿った補間は、任意の順序で実行され得る。さらに、各々の１次元補間は、Ｔ＝Ｔ１（１−ｄ）＋Ｔ２ｄの代わりに、Ｔ＝Ｔ１＋ｄ（Ｔ２−Ｔ１）を計算することにより実行され得る。
【００８９】
[0089]例えば補間は、代わりに次式のように実行され得る。
Ｔ１５８ａ＝Ｔ１３６ｃ＋ｄＲ’（Ｔ１５０ｃ−Ｔ１３６ｃ）
Ｔ１５８ｂ＝Ｔ１５０ｆ＋ｄＲ’（Ｔ１５０ｇ−Ｔ１５０ｆ）
Ｔ１５８ｃ＝Ｔ１５０ｂ＋ｄＲ’（Ｔ１５０ａ−Ｔ１５０ｂ）
Ｔ１５８ｄ＝Ｔ１５０ｅ＋ｄＲ’（Ｔ１５０ｄ−Ｔ１５０ｅ）
Ｔ１６０ａ＝Ｔ１５８ｂ＋ｄＧ’（Ｔ１５８ａ−Ｔ１５８ｂ）
Ｔ１６０ｂ＝Ｔ１５８ｄ＋ｄＧ（Ｔ１５８ｃ−Ｔ１５８ｄ）
Ｔ１３２＝Ｔ１６０ｂ＋ｄＢ’（Ｔ１６０ａ−Ｔ１６０ｂ）
【００９０】
[0090]このことは、乗数の数を低減することにより、より効率的であり得る。このことなどの例では、２つの変換係数の間の差のビット精度又はビット深度は、厳密な計算を実行するために、画像データのビット精度マイナス補間前段階の数プラス３に等しくあり得る。変換係数は、しかしながら、各々の補間前段階で、画像データのビット精度プラス２に等しいビット精度で切り捨てられ得るものであり、そのことによって、２つの変換係数の間の差が計算されるときに、１つの余分なビットが結果的に生じ得る。このことを回避するために、２つの変換係数の間の最大の差は、２の３乗倍（変換データ又は追加的な変換データのビット精度プラス２）を超えないように制限され得る。
【００９１】
[0091]典型的には、変換データ（又は、追加的なサンプリング点に対する追加的な変換データ）により表され得る変換係数は、例えば色強調に対する変換操作に対して、浮動小数点数演算で０〜１の間の値を有し得る。しかし、他の範囲が、他の例では可能である。例えば、色空間転換に対して、変換係数は、負の値、又は、１より大きい値をとり得る。典型的には変換係数は、色空間転換に対して、浮動小数点数演算で−２〜２の間の値をとり得る。
【００９２】
[0092]変換係数が（色強調に対してなどで）浮動小数点数演算で０〜１の間の値を有する事例では、変換係数は、固定小数点数演算で、０から、２の（変換データ又は追加的な変換データのビット精度）乗の間の値を有し得る。色空間転換などの、係数範囲がより高い事例では、追加的なビットが使用され得る。色空間転換に対する典型的な範囲は、浮動小数点数演算で−２〜２、又は、マイナス２から、２の（変換データ又は追加的な変換データのビット精度）乗であり得る。これらの値は、典型的には、２の補数で記憶され、（変換データ又は追加的な変換データのビット精度プラス２ビット）を要する。したがって、典型的には、変換係数は、上記で提示した限度を超えない。
【００９３】
[0093]他の例では、異なる補間プロセスが、補間された変換値を計算するために実行され得る。例えば３重線形補間は、１次元補間を伴わずに実行され得るが、このことは一般的には、上記で説明したプロセスより効率的でない。そのような事例では、補間された変換値Ｔは、次式のように計算され得る。
Ｔ＝Ｔ１５０ｃ（１−ｄＲ’）（１−ｄＧ’）（１−ｄＢ’）＋
Ｔ１３６ｃ（ｄＲ’）（１−ｄＧ’）（１−ｄＢ’）＋
Ｔ１５０ｆ（ｄＲ’）（１−ｄＧ’）（ｄＢ’）＋
Ｔ１５０ｇ（１−ｄＲ’）（１−ｄＧ’）（ｄＢ’）＋
Ｔ１５０ａ（１−ｄＲ’）（ｄＧ’）（１−ｄＢ’）＋
Ｔ１５０ｂ（ｄＲ’）（ｄＧ’）（１−ｄＢ’）＋
Ｔ１５０ｅ（ｄＲ’）（ｄＧ’）（ｄＢ’）＋
Ｔ１５０ｄ（１−ｄＲ’）（ｄＧ’）（ｄＢ’）
【００９４】
[0094]点１３２に対して計算される補間された変換値は、次いで、点１３２に対応する画像データを処理して、点１３２を、補間された変換値により表される変換操作によって変換して、点１３２に対応する補間されたデータ値を生成するために使用され得る。補間されたデータ値は、例えば、色空間での色に対応し得る。例えば、図５〜９の事例では、補間されたデータ値は、ＤＣＩ−Ｐ３色空間での色（補間された変換値を使用してＲＥＣ．２０２０色空間から画像データ１３０を変換することにより、Ｒｅｃ．２０２０色空間から転換されている）に対応する。しかしながら、他の例では、補間されたデータ値は、代わりに、複数の色チャネルではなく１つの色チャネルに対応する色値などの、色空間での色値に対応し得る。例えば補間されたデータ値は、例えばＲＧＢ色空間から転換されている、ＹＵＶ色空間での（ＹＵＶ値ではなく）Ｙ値に対応し得る。
【００９５】
[0095]本明細書で説明するものと同様の画像データ補間の例を示す方法の出力を示す例２次元等高線グラフが、図１０に示される。これらのグラフは、２次元での画像データの補間を例示する。補間前段階の数は、図１０ａから図１０ｆまで増大する。図１０ａ〜１０ｆを比較することにより確認され得るように、画像品質は、補間前段階の数が増大するにつれて増大する。例えば、補間前段階の数を増大することにより、色一貫性が、変化する明るさの方向で増大される。
【００９６】
[0096]上記の例は、例示的な例として理解されるべきである。さらなる例が考察される。例えば、図３の画像信号処理パイプライン１１２は、単に例示的であること、及び、他の画像信号処理パイプラインは、異なる特徴を含み得る、又は、図３に示される特徴の一部を省略し得ることが理解されるべきである。さらに、図３の画像信号処理パイプライン１１２のプロセスの順序は、他の画像信号処理パイプラインでは異なり得る。
【００９７】
[0097]図９の例は、追加的な変換データを使用する補間プロセスに対する３重線形補間を含む。しかしながら、他の例では、追加的な変換データは、異なる補間プロセスを使用して補間され得る。
【００９８】
[0098]さらなる例は、本明細書で説明する方法を実行するように構成されている装置に関係する。そのような装置は、例えば変換データを記憶するためのＬＵＴを含み得る、変換データを記憶するための記憶機構と、記憶機構に通信可能に結合されているプロセッサとを含み得る。上記で解説したように、記憶機構は、ランダムアクセスメモリ（ＲＡＭ）、例えばスタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、若しくは埋め込みダイナミックランダムアクセスメモリ（ｅＤＲＡＭ）などの揮発性メモリ、又は、読み出し専用メモリ（ＲＯＭ）などの不揮発性メモリのうちの少なくとも１つであり得る、或いは、その少なくとも１つを含み得る。代替的又は追加的に、記憶機構は、不揮発性メモリであり得るレジスタファイルを含み得る。記憶機構は、装置、例えば、装置の構成要素又はサブシステムを制御して、本明細書で説明する方法を実行するための、データ又は命令を記憶し得る。そのようなデータは例えば、コンピュータ可読及び／又は実行可能命令、例えばコンピュータプログラム命令の形式でのものであり得る。しかし、認識されるであろうが、他の例では装置は、本明細書で説明する方法を、特定のあらかじめ規定されたハードウェア構成によって、又は、ハードウェア及びソフトウェアの組み合わせにより実行するように構成され得る。プロセッサは、本明細書で説明する機能を実行するように設計される、マイクロプロセッサ、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックスプロセッサ若しくは他のプログラマブル論理デバイス、離散ゲート若しくはトランジスタ論理、離散ハードウェア構成要素、又は、それらの任意の適した組み合わせを含み得る。プロセッサは、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰ及びマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと連関した１つ若しくは複数のマイクロプロセッサ、又は、任意の他のそのような構成の組み合わせとしてさらに実施され得る。そのような装置の構成要素は、データが構成要素の間で転送されることを可能とするために、システムバスを使用して相互接続され得る。装置は例えば、コンピューティングデバイスであり得る、又は、コンピューティングデバイスを含み得る。例えば装置は、画像信号プロセッサ（上記で説明したものなど）であり得る、又は、その画像信号プロセッサを備え得る。装置は、システムオンチップであり得る、又は、システムオンチップを備え得る。例えば装置は、他の電子構成要素と統合、結合、又は接続され得る、自己完結型のあらかじめプログラムされたチップであり得る。
【００９９】
[0099]図７を参照して上記で説明した例では、一続きの線形補間プロセスが、追加的なサンプリング点１５０ａ、１５０ｂ、１５０ｃに関連付けられた追加的な変換データを生成するために使用される。図１１は、追加的な変換データを取得する代替的例を示す方法を示す。図７の対応する特徴と同様の図１１の特徴が、１００だけ増やされた対応する参照番号によって標示され、対応する説明が、当てはまるように行われることになる。図７では、線が、グリッドを概略的に例示するために使用され、サンプリング点及び追加的なサンプリング点が、グリッドのグリッド点上に位置し、線は、第１の追加的なサンプリング点１５０ａ、並びに、第２及び第４のサンプリング点１３６ｂ、１３６ｄの、位置の間の関係性をさらに例示する。しかし、図１１では、そのような線は見やすくするために省略される。代わりに、破線が、下記でさらに説明するような、様々な補間プロセスに必然的に含まれ得る点を示す。
【０１００】
[00100]図１１は、追加的な変換データを生成するための、より高い位数の１次元方向補間の例を例示すると考えられ得る。図１１は、方形領域の境界上に配置構成される、４つのサンプリング点２３６ａ、２３６ｂ、２３６ｃ、２３６ｄ（参照番号２３６によって一括して言及される）を例示する。これらのサンプリング点は、変換データに関連付けられる。しかしながら、図１１は、サンプリング点２３６を含む境界を伴う領域の外側のグリッド点に位置する、さらなるサンプリング点をさらに含む。これらのさらなるサンプリング点は、変換データと同様であり得る、ただし、座標系（この例では、第１の座標系２５４である）での異なる空間位置に関連付けられ得る、さらなる変換データを含む。
【０１０１】
[00101]図１１などの事例では、本明細書で説明するものなどの方法は、複数のさらなるサンプリング点に関連付けられるさらなる変換データを取得することであって、各々のさらなるサンプリング点が領域の外側に位置する、取得することと、変換データ及びさらなる変換データを処理して、追加的な変換データを生成することとを含み得る。例えばこれらの方法は、変換データ及びさらなる変換データの補間を実行するために、複数のさらなるサンプリング点１６２ａ〜１６２ｆに関連付けられるさらなる変換データを取得することを含み得る。
【０１０２】
[00102]例として、図１１での、第１及び第２のさらなるサンプリング点１６２ａ、１６２ｂ、並びに、第２及び第４のサンプリング点２３６ｂ、２３６ｄは、直線上に在り、それゆえに、その直線上のさらなる点（この例では、第１の追加的なサンプリング点２５０ａ）に関連付けられる値の補間に対して使用され得る。このことなどの例では、変換データは、２つのサンプリング点（２３６ｂ、２３６ｄ）に関連付けられ、さらなる変換データは、２つのさらなるサンプリング点（１６２ａ、１６２ｂ）に関連付けられ、点（２５０ａ）は、２つのサンプリング点（２３６ｂ、２３６ｄ）の間に、及び、２つのさらなるサンプリング点（１６２ａ、１６２ｂ）の間に位置する。したがって、変換データ及びさらなる変換データを補間することにより、点２５０ａに関連付けられる補間された変換値が取得され得る。この例では、図１１での、第１及び第２のさらなるサンプリング点１６２ａ、１６２ｂ、並びに、第２及び第４のサンプリング点２３６ｂ、２３６ｄは、直線上に在るが、第２及び第４のサンプリング点２３６ｂ、２３６ｄに関連付けられた変換データ、並びに、第１及び第２のさらなるサンプリング点１６２ａ、１６２ｂに関連付けられるさらなる変換データは、線形に増大しないことがある。したがって、より高い位数の補間を実行することにより、第１の追加的なサンプリング点２５０ａに関連付けられる補間された値は、線形補間を使用して決定される場合より正確であり得る。
【０１０３】
[00103]しかし、他の例では、第１及び第２のさらなるサンプリング点１６２ａ、１６２ｂ、並びに、第２及び第４のサンプリング点２３６ｂ、２３６ｄのうちの、一部又はすべては、直線上に位置しないことがある。これらの他の例では、点２５０ａは、それでもやはり、２つのサンプリング点の間に、及び、２つのさらなるサンプリング点の間に位置し得る。
【０１０４】
[00104]変換データ及びさらなる変換データの補間は、２次、３次、４次、その他の多項式などの、１より大きい次数の多項式による、変換データ及びさらなる変換データの多項式補間を含み得るものであり、ここで、次数１の多項式は線形多項式である。多項式の次数は、多項式の位数とさらに称することがある。したがって、図１１による例での補間は、追加的なサンプリング点１５０ａに関連付けられた追加的な変換データを計算するための、図７に例示される線形補間より高い位数の１次元補間に対応すると考えられ得る。多項式補間は、スプラインと称することがある、区分的多項式の使用を必然的に含み得る。例えば、３次（又は、１より大きい他の位数）スプラインが、変換データ及びさらなる変換データに基づいて、補間された変換値を近似するために使用され得る。しかし、他の例では、多項式補間は、区分的多項式ではなく連続多項式の使用を必然的に含み得る。
【０１０５】
[00105]例では、図１１などの方法は、各々の異なる補間が、異なる追加的なサンプリング点に対する追加的な変換データを計算するために使用される、異なる方向での複数の補間を必然的に含み得る。例えば図１１では、３つの補間が、追加的なサンプリング点２５０ａ、２５０ｂ、２５０ｃに関連付けられた追加的な変換データを生成するために、（破線によって示される方向で）実施される。例えば、変換データ及びさらなる変換データを処理することは、第１の追加的な変換データを生成するための、第１の方向での、変換データ及びさらなる変換データの第１の補間と、第２の追加的な変換を生成するための、第１の方向とは異なる第２の方向での、変換データ及びさらなる変換データの第２の補間とを含み得る。そのような事例では、追加的な変換データは、第１の追加的な変換データと、第２の追加的な変換データとを含み得る。異なる補間の各々は、例えば互いと同じ次数の多項式を使用する、同じプロセスを使用し得る。代替的に、補間の一部は、他のものとは異なることがある。例えば、補間の一部は２次多項式を使用し得るものであり、しかるに、他のものは３次多項式を使用し得る。
【０１０６】
[00106]したがって、図１１の例では、２つのさらなるサンプリング点が、各々の追加的なサンプリング点に関連付けられた追加的な変換データの生成のために使用される。しかしながら、これらのさらなるサンプリング点を含むことにより、追加的な変換データは、追加的なサンプリング点での変換の真の値をより正確に反映することができる。
【０１０７】
[00107]図１１の例は２次元で示されることが認識されるべきである。より大きい数の次元を伴う他の例では、図１１の２次元例でよりも大きい数のさらなるサンプリング点に関連付けられるさらなる変換データが、生成される追加的な変換データの正確性をさらに改善するために使用され得る。そのような事例では、１次元補間が、図１１に示されるものより大きい数の方向で実行され得る。
【０１０８】
[00108]さらに、図１１の例が、変換データ及びさらなる変換データに基づいて、補間された変換値を計算するための、より高い位数の１次元補間の使用を説明する一方で、図１１の方法は、他のデータ又は値を補間するために、他の局面又は状況で使用され得ることが理解されるべきである。例えば図１１の方法は、点での値を、その点の両側の少なくとも２つの点に関連付けられたデータに基づいて、所与の方向で（座標系の軸線に沿ってなどで）補間するために、より一般的に使用され得る。
【０１０９】
[00109]任意の１つの例に関して説明した任意の特徴は、単独で、又は、説明した他の特徴と組み合わせて使用され得るものであり、例の任意の他のもの、又は、例の任意の他のものの任意の組み合わせの、１つ又は複数の特徴と組み合わせてさらに使用され得ることが理解されるべきである。さらに、上記で説明しなかった等価物及び修正形態が、添付の特許請求の範囲の範囲から逸脱することなく、さらに用いられることがある。
【図１】
2019091439.tif 000006
【図２】
2019091439.tif 000007
【図３】
2019091439.tif 000008
【図４】
2019091439.tif 000009
【図５】
2019091439.tif 000010
【図６】
2019091439.tif 000011
【図７】
2019091439.tif 000012
【図８】
2019091439.tif 000013
【図９】
2019091439.tif 000014
【図１０】
2019091439.tif 000015
【図１１】
2019091439.tif 000016
【外国語明細書】
2019091439000001.pdf