(57)【特許請求の範囲】
【請求項１】
各スーパー−ピクセルがカラー・フィルタ・アレイ（ＣＦＡ）画像内の各スケーリング領域のダウン・スケールされたバージョンであるとともに、カラー補間されたものであり、前記ＣＦＡ画像のそれぞれ異なるカラー・プレーンに関連した複数のカラー成分をそれぞれが有した複数のスーパー−ピクセルを得るための、前記ＣＦＡ画像の色補間とダウン・スケーリングの方法であって、前記スケーリング領域が所望のダウン・スケーリング比に基づいて選択されたサイズである方法において、この方法は、各スーパー−ピクセルを生成する際に、
前記ＣＦＡ画像内の第１のサブ画像領域であって前記スケーリング領域に重なるもので前記ＣＦＡ画像の第１のカラー・プレーンのピクセルのみを有した第１のサブ画像領域に第１のマスクを適用することと、第１のカラー成分を生成するため、前記第１のマスクの適用の結果を正規化することとによって、前記スーパー−ピクセルの第１のカラー成分を生成するステップと、
前記ＣＦＡ画像内の第２のサブ画像領域であって前記スケーリング領域に重なるもので前記ＣＦＡ画像の第２のカラー・プレーンのピクセルのみを有した第２のサブ画像領域に第２のマスクを適用することと、第２のカラー成分を生成するため、前記第２のマスクの適用の結果を正規化することとによって、前記スーパー−ピクセルの第２のカラー成分を生成するステップと
を実行することを含む方法。
【請求項２】
前記第１、第２のマスクは前記第１、第２のサブ画像領域内の各ピクセルに乗算すべき係数のそれぞれのマトリックスであり、前記第１、第２の正規化は当該各マスクによるマスク積の平均化処理を含むことを特徴とする請求項１記載の方法。
【請求項３】
各スーパー−ピクセルがカラー・フィルタ・アレイ（ＣＦＡ）画像内の各スケーリング領域のダウン・スケールされたバージョンであるとともに、カラー補間されたものであり、前記ＣＦＡ画像のそれぞれ異なるカラー・プレーンに関連した複数のカラー成分をそれぞれが有した複数のスーパー−ピクセルを得るための、スケーリングおよびカラー補間ユニットを備えた装置であって、前記スケーリング領域が所望のダウン・スケーリング比に基づいて選択されたサイズであり、各スーパー−ピクセルを生成する際に、前記スケーリングおよびカラー補間ユニットが、
前記ＣＦＡ画像内の第１のサブ画像領域であって前記スケーリング領域に重なるもので前記ＣＦＡ画像の第１のカラー・プレーンのピクセルのみを有した第１のサブ画像領域に第１のマスクを適用することと、第１のカラー成分を生成するため、前記第１のマスクの適用の結果を正規化することとによって、前記スーパー−ピクセルの第１のカラー成分を生成する処理と、
前記ＣＦＡ画像内の第２のサブ画像領域であって前記スケーリング領域に重なるもので前記ＣＦＡ画像の第２のカラー・プレーンのピクセルのみを有した第２のサブ画像領域に第２のマスクを適用することと、第２のカラー成分を生成するため、前記第２のマスクの適用の結果を正規化することとによって、前記スーパー−ピクセルの第２のカラー成分を生成する処理と
を実行する装置。
【請求項４】
画像処理装置のスケーリング装置によって実行される方法において、
画像内にスケーリング領域を決めるステップであって、前記画像がそれぞれ特定のカラーの複数のピクセルを含むものである、ステップ；および、
前記スケーリング領域のダウン・スケーリングしたバージョンであるスーパー−ピクセルを生成するステップとから構成され、
前記スーパー−ピクセルは、
前記スケーリング領域内の複数のピクセルをそれぞれのカラー毎にグループ分けするステップと、
各グループ内の複数のピクセルのおのおのの重みを定めるステップであって、より中央に存在するピクセルにより大きな重みを定めるステップと、
各グループ内の全てのピクセルの「重みとカラー成分との積」の和を前記重みの合計で割った値を計算し、その結果の値を前記スーパーピクセルのカラー成分とするステップと
を経て生成されることを特徴とする方法。
【請求項５】
前記スーパー・ピクセルは、前記スケーリング領域の外側のピクセルも考慮されて生成されることを特徴とする請求項４記載の方法。
【請求項６】
それぞれが複数のカラー成分のうちの１つだけに関連付けされたＣＦＡピクセル群をダウン・スケーリングしたスーパー−ピクセルに変換するべく構成されたスケーリングおよびカラー補間ユニットを備えた装置であって、
それぞれのスーパー−ピクセルが、
前記複数のピクセルをそれぞれのカラー毎に識別し、
各識別されたカラー毎の複数のピクセルの全てに重みを定めることであって、より中央に存在するピクセルにより大きな重みを定め、
各識別されたカラー毎の全てのピクセルの「前記重みとカラー成分との積」の和を前記重みの合計で割った値を、前記スーパー−ピクセルのカラー成分とすることによって生成されることを特徴とする装置。
【発明の詳細な説明】
【０００１】
発明の背景
１．  発明の分野
本発明は、包括的には画像処理に関する。より詳細に述べれば、本発明は、画像のスケーリングおよびカラー補間／回復に関する。
【０００２】
２．  関連技術の説明
シーン／環境のディジタル画像は、それに含まれるピクセル（独立したカラー／輝度（強さ）のポイント）の行数および列数によって決まる特定のサイズを有する。したがって、画像サイズまたは「解像度」は、列数と行数の乗算の式の形で表される。たとえば、解像度が７６８×５７６の画像は、７６８のピクセル列と５７６のピクセル行からなり、合計で４４２，３６８ピクセルを有する。
【０００３】
カメラ等の撮像デバイスによって取り込まれるか、あるいはそれによって表現された画像のオリジナルのサイズが特定のアプリケーションにとって大きすぎることがある。解像度が高いほど、より多くの画像情報を含み（所定面積当たりにより多くのピクセルを含み）、解像度の低い画像より視覚的に望ましい品質が得られる傾向にあるが、帯域幅、メモリ、およびその他の制約から低い解像度の画像の使用が余儀なくされることがある。ディジタル・カメラ等のある種のデバイスについては、より解像度の低い画像を使用し、デバイスに必要となる記憶要素をより小さくすることによって、全体のコストを下げることが望ましいとされることもある。テレビ会議に関して言えば、受信および送信ノードにおいて、調和しない画像サイズの変換について考慮する必要がなくなるように、たとえば、ＱＣＩＦ（Quarter Common Intermediate Format、クオータ・コモン・インターミディエート・フォーマット）等の特定の標準画像フォーマットが定義されている。テレビ会議においては、特定の「フレーム」レート（出力のために個別の画像フレームを受信するレートおよび／またはレンダリングする早さ）を維持することがしばしば望まれる。このフレーム・レートを維持するため、ＱＣＩＦ等のフォーマットは、通常は、取り込みによるディジタル画像のほとんど、特にある種のディジタル・カメラによって取り込まれるディジタル画像のサイズより小さいように定義されている。画像が、特定のアプリケーションにとって望ましいとされる解像度を当初から有していないこともあるため、画像スケーリングとして知られるプロセスが用いられることになる。画像が「アップ」スケーリングされると、そのサイズが増加し、「ダウン」スケーリングされると、そのサイズが減少する。以下において「スケーリング」もしくは「スケーリングされた画像」と言うときは、その意味ならびに用法としてダウン・スケーリング、すなわち画像サイズにおける減少を意図している。
【０００４】
画像のスケーリングは、画像の一部を切り取ることによって解像度を下げる画像のトリミングとは明確に区別する必要がある。スケーリングは、画像のサイズが減少するが、スケーリング前の画像（以下、適宜「オリジナル」の画像または「スケーリングされていない」画像といった表現を用いる）に含まれていた全体のシーン／環境の大半が維持されることを意味する。すなわちオリジナルの画像からのシーンは、スケーリング後においても完全に残されるが、より低い解像度で表現される。
【０００５】
画像のスケーリングを達成する方法は、従来からいくつか知られている。もっとも一般的なスケーリング・テクニックは、等しい重み付けを用いて特定の画像領域内のピクセルを平均化し、続いて「間引く」か、あるいはその領域内のピクセルをすべて破棄することによってスケーリングされた画像内のピクセルを生成する。平均化されたピクセルが元のピクセルの領域全体に置き換わるが、置き換えられる領域は必ずしも平均化する領域と同じサイズである必要はない。たとえば、２：１のスケーリング手順を考えると、オリジナル画像内の各２×２のピクセルの領域がスケーリング後の画像において単一のピクセルによって置換される。スケーリング後の画像のピクセル値を決定するときは、２×２の置換領域より大きい領域、たとえば３×３の隣接領域を平均すると好ましくなることもある。その場合、「サンプリング」領域（３×３）が「スケーリング」領域（２×２）より大きいと言い、スケーリング領域内に生じ、スケーリング領域を超えて広がる特徴が適切に考慮されるように、より多くの画像を考慮することを保証する上で役立つことがある。しかしながら、サンプリング領域内の各ピクセルに対して等しく重み付けが行われる平均化方法は、いくつかの点において不完全である。まず、ピクセルの均等な平均化は、オリジナル画像の情報の多くを失う結果をもたらす。均等な重み付け平均においては、画像領域のすべての部分をまったく同等に扱い、すべてのピクセルを間引くことから、画像の特徴の識別にほとんど貢献しない。
【０００６】
画像のスケーリングに加えて、別の、通常は独立して行われる、カラー補間と呼ばれる画像処理テクニックが、後述するように画像センサによって生成されたピクセル領域内の失われたカラーを回復するために使用される。ディジタルのスチル・カメラならびにビデオ・カメラおよびその他の特定の撮像デバイスにおいては、まず、各ピクセルが特定のカラーの輝度（強さ）値のみを有するピクセルの行および列からなる矩形として生の画像が表される。ＲＧＢ（レッド、グリーンおよびブルー）サブ−サンプリング撮像デバイスの場合であれば、画像が獲得されて「バイエル」パターンで記憶される。このバイエル・パターンは、カラー・フィルタ・アレイ（ＣＦＡ）を使用して３つのカラー平面をサブ−サンプリングした場合に、画像の１つの行がレッドとグリーンのピクセルの繰り返しとなり、次の行がブルーとグリーンのピクセルの繰り返しとなるという特徴を有している。たとえば最初の４行のピクセル（通常各ピクセルは８ビットの値である）についてバイエル・パターンを示すと次のようになる（この後の行についても同じパターンの繰り返しになる）。
【０００７】
ＧＲＧＲＧＲ．．．
ＢＧＢＧＢＧ．．．
ＧＲＧＲＧＲ．．．
ＢＧＢＧＢＧ．．．
・
・
・
【０００８】
この結果、各ピクセル位置は、単一カラー成分のみに関する輝度値を含むことになる。一部の撮像デバイスの場合のように、バイエル・パターンの各ピクセルが８ビットの解像度（つまり、１つのピクセルが、そのカラーの０から２５５までの範囲に含まれる輝度を表す値となる）を有すると仮定すると、３つのＲ、ＧおよびＢ成分すべてを有する「フル・カラー」ピクセルは２４ビットの値になる。カラー補間は、各ピクセルのカラー補間のための、失われた２つのカラー成分の回復である。
【０００９】
しばしば、スケーリングおよびカラー補間は、独立に、個別のプロセスによって行われる。スケーリングをカラー補間に先行して行った場合、補間プロセスにおいてカラー成分に関するオリジナルのセンサ情報が未知となり、画像の質の低下がもたらされる。しかしながら、最終画像にスケーリングおよびカラー補間がともに必要なことが演繹的に周知であるとすれば、その両方を実行する、組み合わされたテクニックが必要になる。さらに、従来のスケーリングおよびカラー補間テクニックの欠点を考慮すれば、許容可能な画像の質をもたらすべくその組み合わせのテクニックを設計する必要がある。
【００１０】
さらに、実施に関して言えば、ＣＭＯＳ（相補形金属酸化膜半導体）撮像デバイス等のハードウエアにおいてスケーリングを実施するのであれば、スケーリング手順における演算上の複雑性を抑えることが重要である。特にそのデバイスにそのほかの多くの機能を実行させなければならないのであれば、その重要度は高い。テレビ会議を目的として画像フレーム（独立した静止画像のシーケンス）の送信に撮像デバイスを使用する場合は、送信がフレーム・レートの維持に充分な速さを有し、かつ撮像デバイスと、取り込んだ画像フレームのパッケージングおよび着信ノードに対する送信に使用されるプロセッシング・デバイス（コンピュータ・システム）の間のインターフェースの帯域幅適応性と両立するものでなければならない。動画および静止画を提供し得るデュアル−モードのデバイスにおいては、異なるレベルのスケーリングを相互交換可能な態様で容易に提供できる方法および装置についても望まれている。
【００１１】
（発明の要約）
ＣＦＡ（カラー・フィルタ・アレイ）内に開始位置を示すことによってサンプリング領域を決め、かつそのスケーリング領域のダウン・スケーリング・バージョンであるスーパー−ピクセルを生成する方法が開示されている。そのスーパー−ピクセルはフル・カラー補間され、ダウン・スケーリングとカラー補間は統合された態様で達成される。
【００１２】
本発明に係る方法および装置の目的、特徴ならびに利点は、以下の説明から明らかなものとなろう。
【００１３】
（発明の実施の形態）
以下、図面を参照して本発明の実施形態を例示する形で説明する。ここに例示した実施形態は、本発明の側面を示すためのものであって、本発明の範囲を限定すると解釈されるべきものではない。例示の実施形態の説明は、基本的にブロック図ないしはフローチャートを参照して行う。フローチャートについては、フローチャート内の各ブロックが方法のステップを表すとともに、当該方法のステップを実行するための装置エレメントを表している。実装に応じて、対応する装置エレメントは、ハードウエア、ソフトウエア、ファームウエア、あるいはそれらの組み合わせによって構成されることがある。
【００１４】
図１は、４：１スケーリングを行うための本発明の一実施形態を示したフローチャートである。
【００１５】
図１に示されているテクニックは、たとえば単体の画像センサまたは画像センサのセットから導かれた、ＣＦＡ（カラー・フィルタ・アレイ）フォームの画像に対して特に適切である。広く知られているＣＦＡパターンは、アレイ内の各ピクセル位置を３つのカラー、すなわちレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のうちの１つに関連付けるバイエル・パターン（後述；図２に示す）である。グリーンに関連付けされるピクセルは、レッドもしくはブルーに関連付けされるピクセルの２倍の頻度で現れる。各ピクセルは、３つのカラー成分、すなわちレッド、グリーンおよびブルーをすべて含む「フル・カラー」ピクセルの表現に適切であると考えられる、３つのカラーのうちの１つ（Ｒ、ＧまたはＢ）だけに関連付けされている。
【００１６】
本発明の一実施形態によれば、まず、ＣＦＡ内に最初の開始位置をセットする（ステップ１１０）。この位置が、サンプリング領域およびスケーリング領域に関する開始ポイントを決定することになる。たとえば、最初の４×４のスケーリング領域に関する最初の開始位置を列１、行１にあるレッド・ピクセル（Ｒ１１）（図２参照）とする。４：１スケーリングの場合、適切なフィルタリングをそれぞれのサブ画像（カラー平面）領域に適用して、「スーパー−ピクセル」に対する３つの成分、Ｒ、ＧおよびＢ成分すべてを回復する。スーパー−ピクセルはスケーリング後の画像において、ＣＦＡのスケーリング領域に置き換わったピクセルである。後述するが、図３（ａ）は、最初のスーパー−ピクセルＸ１１に関するレッド成分を獲得するために、ピクセルＲ１１から開始するレッドのサブ画像に適用されるマトリクス（「マスク」）を示している。そのマスクを構成する３タップのフィルタリングを考えると、合計で３２、すなわち９個のピクセル位置のサブ画像が、結果として得られるマスクのサンプリング領域内に含まれることになる。次にこのマスクの積（図４（ａ）参照）を合計して（ステップ１２５）、この４：１のスケーリングされた画像のスーパー−ピクセルのレッド成分を回復する。この加算は、フィルタの適用の間に累算を実行することによって達成できるが、所定のアレイ内に積を個別に記憶しておき、後から合計してもよい。次に、スケーリング後画像のピクセルのレッド成分を表す単一の輝度値を獲得するために、マスク結果をそのマスクの合計の重みで除することによってマスク結果の正規化を行う（ステップ１３０）。ステップ１２０においては、スーパー−ピクセルのＲ、ＧおよびＢ成分を得るために、それぞれ図４（ａ）、４（ｂ）および４（ｃ）に示したマスクを用いてフィルタリングが適用される。３つの成分は、同時に決定されるか、連続的に決定されるが、それは所望の設計に依存する。図４（ａ）に示したマスクの場合であれば、除数が１６（マスク係数の合計）になる。正規化されたマスク結果は、サブ画像のカラーと同じカラーに関連付けされたスケーリング後の画像におけるスーパー−ピクセルの成分を表す。最初のピクセル位置の場合は、最初の、この種の正規化されたマスク結果が、スケーリング後の画像（図２参照）のスーパー−ピクセルＸ１１のレッド成分ＲＸになる。この正規化されたマスク結果は、その後、スケーリング後の画像のアレイ内に記憶される（ステップ１４０）。しかし、次のスケーリング後の画像のピクセルを決定するときオリジナルのＣＦＡピクセルの一部を再使用することから、まだそれを完全に破棄することはできない。最初のスーパー−ピクセルのレッド成分に関するマスク（図４（ａ）参照）は、サンプリング領域内にピクセルＲ１５を含んでいる。このフィルタが３タップ・フィルタであることから、スーパー−ピクセル内の成分に関するサンプリング領域が、スケーリング領域のほかに追加の１行のピクセルおよび１列のピクセルを含む。グリーンならびにブルーの成分についても同様の形態において求められるが、それぞれ図４（ｃ）および図４（ｂ）に示したマスクが基礎になる。このようにしてスーパー−ピクセルに関す���３つの成分がすべて決定されると、ＣＦＡ内の次の開始位置が決定され、それが次のスケーリング領域の開始位置になる（ステップ１５０）。スケーリング後の画像に関するすべてのスーパー−ピクセルの計算を終了すると（ステップ１６０）、統合化されたスケーリングおよびカラー補間に関する手順が完了したと判断される。計算がまだ残っていれば、選択した開始位置に関してステップ１２０から１５０までが繰り返され、順次、次のスーパー−ピクセル（つまり、その成分）が決定される。
【００１７】
図２は、本発明の少なくとも１つの実施形態に従ってスケーリングされるオリジナルのＣＦＡ領域を示す。
【００１８】
図２に示したＣＦＡ領域は、３つの明確に区別されるカラー平面、すなわちレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）を含んでいると考えることができる。それにおいてレッドのカラー平面に属するピクセル、つまりそれに関連付けされているピクセルはプレフィクス「Ｒ」を用いて示し、ブルーのカラー平面に関連付けされているピクセルはプレフィクス「Ｂ」を用いて示している。また、グリーンのカラー平面に関連付けされているピクセルには、プレフィクス「Ｇ」を用いている。一例を図２に示したバイエル・パターンのＣＦＡは、カラー平面に関連付けされているピクセルが行ごとおよび列ごとに交番するという特徴を有する。つまり、開始ピクセル位置が与えられたとき、開始ピクセル位置と同じ行内を１列置きに考察し、その行を完了した後は、次に続く行をスキップして最初の行の手順を３番目の行に対して繰り返すことによって、その開始ピクセル位置と同一のカラーを持つピクセルのサブ画像を抽出もしくは獲得すると都合がよい。図２に示したＣＦＡは、ディジタル・カメラあるいはその他のセンサ・システム等の撮像デバイスから得られる生の画像データを表している。
【００１９】
従来のスケーリング・テクニックは、どのような形においてもカラー補間を行わない。この種のテクニックは入力画像がバイエル・パターンからではなく、各ピクセルがＲＧＢのフル・カラー情報を有していることを前提として開発されている。平均テクニックおよび／またはスケーリング後の画像内のオリジナル・ピクセルを単純に削除する間引きテクニックは、フル・カラーのピクセル画像に適切であったとしても、ＣＦＡ画像に直接適用することは適切ではない。たとえば、平均を使用して画像の２：１のダウン・スケーリングを行うスケーリング・テクニックは、図２の列１、行１の値Ｒ１１を、Ｒ１１に隣接する３つのピクセルＧ２１、Ｇ１２およびＢ２２の平均で置き換えてしまう。しかしながら、それぞれのピクセルが異なるクロミナンス（カラー）およびルミナンス（輝度）情報を有していることからこの種の平均は不適切である。２つのグリーン・ピクセルＧ２１およびＧ１２は、基本的にルミナンス情報を有しているが、Ｂ２２およびＲ１１は、基本的にクロミナンス情報を有している。４つのカラー平面をこのような方法で混合し、スケーリング後の画像に属するピクセルの本質を求めようとすれば、レッドのカラー情報がゆがめられ、壊される。同様に、ＧまたはＢピクセルに対して平均を適用した場合にも、カラー平面の情報が混合され、それに含まれているその画像に関する情報（クロミナンス等）が壊されることになる。また、スケーリング時にＧ２１、Ｇ１２およびＢ２２を単純に破棄する（間引く）無条件のスケーリングにおいては、さらに多くの画像情報が破壊され、カラー補間等のテクニックによってフル・カラー画像に変換することが本質的に不可能なＣＦＡがもたらされる。
【００２０】
効率を達成し、ＣＦＡに関するこれらの障害を克服するために、本発明の一実施形態によれば、各カラー平面のサブ画像にマスクを個別に適用し、その後、結果を単一のスーパー−ピクセルに結合することによって、スケーリングおよびカラー補間を同時に達成する。フィルタは、サブ画像領域に対して行ごとに適用した後、列ごとに適用することができる。このような適用を行うときには、フィルタが、サブ画像領域内のピクセルの輝度値に乗ずる係数のマトリクス（マスク）を形成する。結果として得られるドット積の値（つまり、全マスク積の合計）は、図１に示したように、マスクの重みに対して正規化される。この正規化された値は、その後スーパー−ピクセルのカラー成分（Ｒ、ＧまたはＢ）の値を表すことになる。
【００２１】
４：１のスケーリングに関する「スケーリング」領域（図２において実線を用いて示される）は、オリジナルＣＦＡ領域の４×４のピクセルからなり、それが４：１のスケーリングの場合であれば１つのスケーリング後の画像のスーパー−ピクセルに変換され、あるいは２：１のスケーリングの場合であれば４×４のＣＦＡ領域となる。本発明の一実施形態によれば、マスクがそれぞれのカラー平面のサブ画像に適用されて、スケーリング後の画像のスーパー−ピクセルの３つの成分すべてが決定される。サンプリング領域は、つまりこのマスクによって変換される数のピクセルを含む領域は、スケーリング領域より大きい。たとえば、レッド成分ＲＸ１１内の４：１のスケーリング後の画像のスーパー−ピクセルを決定する場合であれば、３×３のマスクはレッド・ピクセルＲ１１、Ｒ１３、Ｒ１５、Ｒ３１、Ｒ３３、Ｒ３５、Ｒ５１、Ｒ５３およびＲ５５に適用される。同様にスケーリング後の画像のスーパー−ピクセルＸ１１のグリーン成分ＧＸ１１は、２×４のマスクをオリジナルのＣＦＡのピクセルＧ１２、Ｇ１４、Ｇ２１、Ｇ２３、Ｇ３２、Ｇ３４、Ｇ４１およびＧ４３に適用する。このように、サンプリング領域はスケーリング領域より大きくなる。後述するように、これは、スケーリング後の画像内の２つの同一のサブ画像のピクセルに関して使用するサンプリング領域のオーバーラップをもたらし、それが一般的なスケーリング・テクニックより適切なエッジの特徴の検出に寄与する。
【００２２】
このように行った結果、各スケーリング後の画像のスーパー−ピクセルＸｉｊが、３つのカラー成分ＲＸｉｊ、ＧＸｉｊおよびＢＸｉｊを持つことになる。４：１のスケーリング後の画像は、オリジナルのＣＦＡ内における４行４列の正方スケーリング領域に置き換わるスーパー−ピクセルＸｉｊから構成される。つまり、オリジナルのＣＦＡがＭ×Ｎのサイズを有しているとすれば、４：１のスケーリング後の画像のサイズはＭ／４×Ｎ／４あるいはＭ×Ｎ／１６になる。好都合なことは、スケーリング後の画像の各スーパー−ピクセルがフル・カラー情報を有しているため、カラー補間手順を独立に適用する必要がなくなることである。
【００２３】
図３（ａ）〜３（ｃ）は、一例として示すレッドのサブ画像のＣＦＡ領域に関するマスクを獲得するためのフィルタ適用段階を表している。
【００２４】
図３（ａ）は、オリジナルのＣＦＡにおけるレッドのサブ画像領域を示している。垂直ならびに水平の両方向に適用される３タップのフィルタは、９つの積のマスクを構成する。サンプリング領域の、レッドのカラー平面のサブ画像に関する９つのピクセルは、連続かつ隣接するピクセルとしてＣＦＡ内に現れず、むしろオフセットされた形となる。レッドのサブ画像は、オリジナルのＣＦＡ内のピクセル列およびピクセル行をそれぞれ１つ置きにスキップすることによって得られる（図２参照）。
【００２５】
本発明の一実施形態に従って係数｛１，２，１｝を伴う３タップ・フィルタを、図３（ａ）に示したオリジナルのサブ画像に対して水平に適用すると（つまりサブ画像の行にわたってフィルタを適用すると）、その結果は、図３（ｂ）に示した積の配列（マスク）になる。次に、結果として得られた図３（ｂ）に示す配列に対して係数｛１，２，１｝の３タップ・フィルタを垂直に適用すると、その結果として図３（ｃ）に示したマスクが得られる。図３（ｃ）に示したマスクが表しているマスク積は、図１を参照して説明したように、その後合計されて単一の値を求め、さらに正規化することができる。
【００２６】
結果として得られるマスクによれば、中心ピクセル（たとえばＲ３３）がそのサブ画像領域内のコーナにあるピクセルの重みの４倍を超えることがない。図３（ｃ）を参照すると、コーナ以外のピクセル（領域の最初の行ならびに列および最後の行ならびに列に含まれるピクセル）が、マスクを適用した結果、４を用いた重み付けが行われる中心ピクセルの１／２の重み付けになっていることに注意する必要がある。これにおいてもエッジ特徴がこのサブ画像内のどこに含まれているかという予測を行うことはできないが、従来のスケーリング・フィルタに見られたような、完全にエッジを表すことができないピクセルは存在しない。サンプリング領域内のピクセル間の相関を密に維持することによって、エッジの特徴が適正に表され、それが間引かれないという統計学的な保証が得られる可能性が高くなる。このことは、大きな視覚的な影響を有する（つまり明確に見ることができる）エッジの特徴が通常、１ピクセルあるいは２ピクセルといった領域よりは少なくとも大きい領域を通過することからも正しいと言える。図４（ｂ）に示されるように、スーパー−ピクセルＸ１１のブルー成分ＢＸ１１を獲得するためのマスクは、係数に関して図３（ｃ）のマスクと同一であり、したがって２つの方向に３タップ・フィルタ｛１，２，１｝を適用することによって得られる。
【００２７】
図４（ａ）は、４：１スケーリングが行われた画像のスーパー−ピクセルにおけるレッド成分を獲得するために適用される一例のマスクを表している。
【００２８】
図３に戻って参照すると、前述した３タップ・フィルタは、まず行ごとにサンプリング・サブ画像に対してそれを適用し、次に行ごとの適用の結果に対して列ごとにそれを適用することができる。スケーリング後の画像のスーパー−ピクセルにおける成分の輝度値は、サブ画像のサンプリング領域に対するフィルタリング・オペレーションからもたらされるこの種のマスクの適用によって決定される。ここでも慣例に倣い、与えられたスケーリング領域に関し、ＣＦＡの左上コーナを基準として、Ｍを行番号、Ｎを列番号として表すことにする。行番号と列番号の間は、理解を容易にするためにカンマを用いて区切る。図４（ａ）は、スーパー−ピクセルＸｉｊのレッド成分を決定するために必要となるマスクを表している。たとえば、図２を参照すると、スケーリン後の画像のスーパー−ピクセルＸ１１は、レッド成分ＲＸ１１を有しており、それが図４（ａ）のマスクによって決定される。図４（ａ）に示したマスク積は、単一の値を得るために合計される。ＣＦＡ内の各ピクセルが、設定済みの輝度解像度を一般に有することから、マスク積の合計もその値に正規化する必要があり、通常はそれが８ビットの値（０〜２５５）となる。これは、マスク積の合計を係数の合計により単に除することによって得られる。４を係数とする項が１項、２を係数とする項が４項、さらに１を係数とする項が４項であることから、図４（ａ）に示したマスクの合計の「重み」（係数の合計）は１６である。したがって、スケーリン後の画像のスーパー−ピクセルＸ１１のレッド成分ＲＸ１１は、［Ｒ１１＋２×Ｒ１３＋Ｒ１５＋２×Ｒ３１＋４×Ｒ３３＋２×Ｒ３５＋Ｒ５１＋２×Ｒ５３＋Ｒ５５］／１６となる（ただし、この式においては行番号と列番号を区切るカンマを省略している）。同様にスケーリン後の画像のスーパー−ピクセルＸ１２のレッド成分ＲＸ１２は（図２参照）（そのスケーリング領域の開始位置はＲ１５、つまりＭ＝１、Ｎ＝５である）次に示す式を計算することによって得られる。
【００２９】
［Ｒ１５＋２×Ｒ１７＋Ｒ１９＋２×Ｒ３５＋４×Ｒ３７
＋２×Ｒ３９＋Ｒ５５＋２×Ｒ５７＋Ｒ５９］／１６
【００３０】
サンプリング領域にわたるマスク係数の分布は、サンプリング領域における中心ピクセルとコーナ・ピクセルの間の、スケーリング後の画像における相対的な適用範囲または表現が４倍でしかないことを示している。このことは、過度に重み付けされるピクセルがないことおよび、単純な平均とは異なり中心等の、領域内のより重要なエリアをより良好にカバーするべく機能することから、エッジ検出に役立つ。
【００３１】
図４（ｂ）は、４：１スケーリングが行われた画像のスーパー−ピクセルにおけるブルー成分を獲得するために適用される一例のマスクを表している。
【００３２】
スケーリング後の画像のスーパー−ピクセルＸにおけるブルー成分Ｂに使用されるマスクは、マスクアレイ内の係数の分布という点において図４（ａ）に示したマスクと類似している。しかしながら、マスキングのためにサンプリングされるピクセルは、それらがレッドのサブ画像領域を表すのではなく、２番目のブルーのサブ画像領域を表すことからまったく異なったものとなる。ブルーのサブ画像領域に関するサンプリング領域の開始ピクセルは、オリジナルのＣＦＡにおけるＢ２２になる（図２参照）。この位置Ｂ１２から開始し、図３（ａ）から図３（ｃ）に示したレッドのサブ画像の場合と同様にして、３タップのフィルタを垂直および水平に適用する。その結果として得られるマスクを図４（ｂ）に示す。レッド成分ＲＸ１１の場合と同様に、ブルー成分についても、マスク積を合計した後、マスクの重みの合計（１６）によりそれを除することによって得ることができる。図２を再度参照するが、４：１スケーリング後の画像のスーパー−ピクセルＸのブルー成分Ｂは、この手順から得られている。ここで再び、スケーリング領域の開始位置（Ｍ，Ｎ）を考えると、ブルー成分ＢＸ１１（スーパー−ピクセルＸ１１に対応）のスケーリング領域の開始位置はＭ＝１、Ｎ＝１であり、ＢＸ１２（スーパー−ピクセルＸ１２に対応）のそれはＭ＝１、Ｎ＝５である。これらの成分は、
ＢＸ１１＝［Ｂ２２＋２×Ｂ２４＋Ｂ２６＋２×Ｂ４２＋４×Ｂ４４
＋２×Ｂ４６＋Ｂ６２＋２×Ｂ６４＋Ｂ６６］／１６
ＢＸ１２＝［Ｂ２６＋２×Ｂ２８＋Ｂ２０＋２×Ｂ４６＋４×Ｂ４８
＋２×Ｂ４０＋Ｂ６６＋２×Ｂ６８＋Ｂ６０］／１６
から計算されるが、これにおいて「０」は、ＣＦＡの１０番目の列を表している。
【００３３】
図４（ｃ）は、４：１スケーリングが行われた画像のスーパー−ピクセルにおけるグリーン成分を獲得するために適用される一例のマスクを表している。
【００３４】
すでに述べたように、各スケーリング後の画像のスーパー−ピクセルＸｉｊに関して、３つの成分、すなわちレッド成分ＲＸｉｊ、グリーン成分ＧＸｉｊおよびブルー成分ＢＸｉｊを生成する必要がある。本発明は、スケーリングとカラー補間を組み合わせてＭ×ＮのＣＦＡから１／４のサイズのフル・カラー、すなわちしばしばレッド、グリーンおよびブルーの３つのカラー平面のそれぞれに関する輝度値からなると見なされるフル・カラーを生成する。バイエル・パターンのＣＦＡにおいては、レッドおよびブルーのピクセルが交互の行に現れるが、グリーンのピクセルは各行に現れる。つまり、レッドまたはブルーの一方に対してグリーンのピクセルの数は２倍になる。グリーンのピクセルは、千鳥パターンで配列され、その画像の視覚的な鮮明度に決定的となる画像の「ルミナンス」情報のほとんどを含んでいる。このため、図４（ｃ）に示したグリーンのマスクは、図４（ａ）および４（ｂ）にそれぞれ示したレッドおよびブルーのマスクと大きく異なったものになっている。
【００３５】
図４（ｃ）を参照すると、このマスク内に含まれる積が９つではなく、８つであり、それによりグリーンの成分が求められることがわかる。また、マスク積を構成する係数が、図４（ａ）および図４（ｂ）の場合とは異なり、マスク内において対称になっていない。このため、図３（ａ）〜３（ｃ）に示したように２次元的にフィルタを適用し、図４（ｃ）に示したマスクを結果的に生成することは困難になる。マスク係数の合計は、これにおいても１６であるが、重み付けが２つのピクセルに集中している。
【００３６】
再度図１に戻って参照するが、スーパー−ピクセルＸ１１に関するスケーリング領域には、ＣＦＡにおいて中心に位置するグリーン・ピクセルが２つあり、それはＧ２３およびＧ３２である。この領域内のこのほかのグリーン・ピクセルは、すべてエッジ／コーナに位置する。このように、そのスケーリング領域における本質的なルミナンス情報を表す可能性がもっとも高い中心のグリーン・ピクセルに対してマスク係数４が割り当てられている。図４（ｃ）を参照すると、中心のグリーン・ピクセルＧＭ＋１，Ｎ＋２、およびＧＭ＋２，Ｎ＋１には、４による重み付けが行われる。したがって、スーパー−ピクセルＸ１１のグリーン成分ＧＸ１１は、［Ｇ１２＋Ｇ１４＋２×Ｇ２１＋４×Ｇ２３＋４×Ｇ３２＋２×Ｇ３４＋Ｇ４１＋Ｇ４３］として表すことができる。同様に、スーパー−ピクセルＸ１２のグリーン成分ＧＸ１２は、［Ｇ１６＋Ｇ１８＋２×Ｇ２５＋４×Ｇ２７＋４×Ｇ３６＋２×Ｇ３８＋Ｇ４５＋Ｇ４７］／１６となる。
【００３７】
さらに、先に触れたように図４（ａ）〜４（ｃ）は、サイズを１／４にするダウン・スケーリングが行われるピクセルに関するマスクを示している。１／４サイズの画像のスケーリングは、しばしばテレビ会議等の動画ビデオ応用に使用される。１／２サイズつまり、２：１スケーリングが必要となる別の応用においては、上述したマスキング手順を以下のように修正することができる。２：１の画像のスケーリングにおいては、オリジナルのスケーリング前のＣＦＡにおける２ピクセル行および２ピクセル列ごとに単一のスケーリング後の画像ピクセルへのマッピングまたは変形が行われる。図２においてこれを示すのであれば、２：１のスケーリング後の画像が、オリジナルのＣＦＡにおけるスケーリング領域の１／２のサイズとなるようにすればよい。サイズおよび積の数（つまりサンプリングの基準）は、修正されることもあり、また前述と相似になることもある。しばしばテレビ会議応用に求められるように、この種のデュアル−モード（２：１および４：１）の高速ハードウエア実施が望ましい場合には、それぞれに個別のマスキングを使用すると不利になることもある。
【００３８】
図５は、本発明の一実施形態に従ったブロック図である。
【００３９】
図５は、画像取り込みデバイスの内部画像処理および圧縮コンポーネントを示したブロック図である。センサ５００は、ある種のソースからの輝度値であるピクセル成分を生成する。センサ５００によって生成されたｍビットのピクセル値は、取り込みインターフェース５１０に渡される。ディジタル・カメラに関して言えばセンサ５００は、通常、１つの位置にある１つの「セル」において、Ｒ、Ｇ、またはＢ成分のいずれか１つを検出する。つまり、各ピクセルの輝度値は、３つのカラー平面／（ピクセル）の１つだけに関連付けされている。取り込みインターフェース５１０は、センサによって生成された画像を取り込み、個別のピクセルにカラーを関連付けするタグを追加する。タグは各２ビットであり、たとえば００がＲ（レッド）、０１がＧ（偶数行のグリーン）、１０が（奇数行のグリーン）、１１がＢ（ブルー）のピクセルをそれぞれ表す。画像全体に関するこれらのピクセルのセットがＣＦＡである。
【００４０】
任意のセンサ・デバイスにおいて、センサ平面内のピクセル・セルの一部が照明条件に対して適正に応答しないことは珍しくない。その結果、それらのセルによって生成されたピクセル値が不完全ものとなることがある。これらのピクセルは「デッド・ピクセル」と呼ばれる。「ピクセル置換」ユニット５１５は、各デッド・ピクセルを行内の直前の有効なピクセルによって置換する。
【００４１】
ＲＡＭテーブル５１６は、センサから供給される、デッド・ピクセルの行および列インデクスからなる。このＲＡＭテーブル５１６は、取り込んだ画像との関連においてデッド・ピクセルの位置の識別を補助する。コンパンディング・モジュール５２５は、テーブル・ルックアップ・ベースのコンバータであり、センサから取り込まれたｍビット（１０ｂとラベル付けされている）輝度のオリジナルの各ピクセルをｎビットの輝度値に変換するが、それにおいてｍ＜ｎ（通常、ｍ＝１０、ｎ＝８）である。ＲＡＭテーブル５２６は、コンパンディング・モジュール５２５に付随し、例示のセンサ・コンパンディング・テーブルのエントリを記憶している。このようにしてＣＦＡ内の各ピクセルは、３つのカラー平面の１つを表すｎビットの値となる。
【００４２】
コンパンディングの後、スケーリングおよびカラー補間（ＳＣＩ）ユニット５２７が使用されて画像のダウン・スケーリングが行われる。オリジナルの画像サイズをＭ×Ｎとすれば、２：１のスケーリング・オペレーションによって画像サイズがＭ／２×Ｎ／２に縮小され、４：１のスケーリング・オペレーションによって画像サイズがＭ／４×Ｎ／４に縮小されるが、各スケーリング後の画像ピクセルは、３つのカラー成分をすべて有する。ＲＡＭ  ５２８は、ＳＣＩユニット５２７に付随し、スケーリング／カラー補間オペレーションの間の中間ストレージに使用される。
【００４３】
本発明の各種実施形態によれば、スケーリング・ユニット５２７がスケーリングおよびカラー補間を効率的に同時実行する能力を有する。本発明の一実施形態における場合と同様に、Ｒ、ＧおよびＢ各色のカラー・サブ画像ごとに１つのマスクを用意し、マスクのセットをサブ画像（特定のカラー平面内の選択されたピクセル）に適用することによって４：１スケーリングが行われる。マスクが係数（乗数）１および４からなることから、与えられたピクセルの輝度値を左にシフトするシフト・レジスタを用いてこのマスクを実施することができる。
【００４４】
本発明の一実施形態においては、マスク積が合計された後、正規化されてスケーリング後の画像のピクセルが求められる。シフト・レジスタおよびバッファを使用したフィルタ設計に加算器を追加し、各列および行において得られた積を、加算器を用いてアキュームレータ内に累加する。９つ（グリーンの場合は８つ）すべての積の加算が終了すると、アキュームレータの出力が別のシフト・レジスタに渡され、それにおいて４ビットの右シフト、すなわち３つのマスクそれぞれに関する重みの和である１６による除算が行われる。それに代えて、各行または列のピクセルを処理する間に、それらから結果として得られる積を加算し、続いて正規化を行うこともできる。たとえば、３タップ・フィルタの出力を加算器に渡して積を合計することが可能である。続いてこの合計を、フィルタのタップの合計、つまり４（１＋２＋１）を用いて正規化する。４による除算は、２ビットの右シフト（ここでもシフト・レジスタを用いる）によって可能である。それぞれの正規化した行または列の結果を蓄積しておけば、サンプリング領域に対してフィルタを完全に適用するときに、蓄積した値に対して再度除算を行って正規化することができる。
【００４５】
オリジナルのＣＦＡは、ＳＣＩ５２７によって４よりむしろ２を因数としてスケーリングされる。当業者であれば、前述の方法を変形して２：１もしくはＮ：１のスケーリングを容易に実施することが可能であろう。上記の実施を用いれば、スケーリング後の画像がより迅速に生成されて図６に示した他の画像処理ユニットに渡され、最終的にはバス５６０を介した画像データの分配および画像取り込みデバイスの出力を高速化する。これは、（フレーム・レートの維持）が重要になるテレビ会議において使用される４：１スケーリング・オペレーションにとって特に有利である。スケーリング後の画像の品質もまた、有効なカラー補間が同時に実行されてフル・カラーのスケーリング後の画像データが得られるという点において従来の４：１スケーリングより改善される。ＣＦＡがそれぞれｎビットのピクセルを有するとき、スケーリング後の画像内の各スーパー−ピクセルは、各カラー成分についてｎビットを有することから、それに関連付けされた３×ｎビットを有することになる。これらのカラー成分値は、希望に応じて結合し、あるいは個別に送信することができる。スーパー−ピクセルごとに獲得されたスケーリング後の画像データは、圧縮ユニット５３０およびエンコーダ５３５に渡され、それにおいてスケーリング後の画像データは、扱い容易かつ移動容易なブロックに圧縮され、エンコードされる。圧縮ならびにエンコードが行われたデータは、その後データ・パッキング・ユニット５４０によってパックされ、バス５６０を介した転送のためにＤＭＡコントローラ５５０に渡される。バス・テクノロジ、アドレッシング・プロトコルおよびＤＭＡコントローラについては、システム設計の分野において周知であり、所望の応用に合わせて容易に修正／特化することができる。
【００４６】
ＲＡＭテーブル５１６、５２６、５２８、５３２および５３４のそれぞれは、バス５６０と直接通信が可能であり、それらのデータをロードし、その後、希望に応じて修正することができる。さらに、これらのＲＡＭテーブルおよびその他のＲＡＭテーブルを使用し、必要に応じてスケーリング後の画像データを記憶してもよい。スケーリング・ユニット５２７の個別のコンポーネント（セレクタ、シフタ、レジスタ、およびコントロール・アドレス信号）については詳細を示していないが、当業者であれば、容易にこの種のスケーリング・ユニットをインプリメントすることができよう。スケーリングおよび同時カラー補間の効率ならびに容易さは高品質のダウン・スケーリングされたカラー画像を生成するという利点をもたらし、それにおいては、従来のスケーリングのみのテクニックの場合より優れた方法でエッジの特徴が保存される。以上Ｒ、ＧおよびＢのＣＦＡについて本発明の説明を行ったが、ＭＷＹ（マゼンタ、ホワイトおよびイエロ）といった多数のＣＦＡスキームのいずれに対してもそれを適用することは可能である。
【００４７】
図６は、本発明の一実施形態のシステム・ブロック図である。
【００４８】
図示のコンピュータ・システム６１０は、任意の汎用もしくは専用コンピュータまたはＰＣ（パーソナル・コンピュータ）等のデータ処理マシンであり、カメラ６３０が接続されている。カメラ６３０はディジタル・カメラ、ディジタル・ビデオ・カメラ、あるいは任意の画像取り込みデバイスもしくは撮像システム、またはこれらの組み合わせとすることが可能であり、シーン６４０のセンサ画像の取り込みに使用される。基本的に、取り込まれた画像は画像処理回路６３２によって処理され、その結果、ＲＯＭ、ＲＡＭあるいは固定ディスク等のその他の記憶デバイスでよい画像メモリ・ユニット６３４内にへの効率的な記憶が可能になる。画像メモリ・ユニット６３４内に収められコンピュータ・システム６１０に渡される画像は、より良好にエッジの特徴を保存することによって、従来のスケーリングに起因する画像特徴の消失および独立したカラー補間が著しく軽減されているという点において強化されている。静止画の撮影が可能なほとんどのディジタル・カメラにおいては、画像がまず記憶され、その後ダウンロードされる。これによってカメラ６３０は、追加の遅延を招くことなく迅速に次の被写体／シーンを取り込むことができる。しかしながら、ディジタル・ビデオ・カメラの場合、特にライブ・テレビ会議に使用されるカメラにおいては、画像を迅速に取り込むことだけでなく、それを迅速に処理し、かつカメラ６３０から出力することが重要になる。本発明は、各種実施形態において、相手方の画像処理回路６３２に対するカラー画像データの高速スループットの提供に適しており、その結果、本来的にカラー補間を行わない一般的なスケーリング・テクニックに対して全体的な画像・フレームの転送速度が向上する。
【００４９】
本発明のこの実施形態においては、画像のスケーリングおよびカラー補間が、画像処理回路６３２内で行われる。画像のスケーリングおよびカラー補間が終了した後、さらに転送のための圧縮も行われる。転送された画像データは、Ｐｅｎｔｉｕｍ（登録商標）（ペンティアム；Ｉｎｔｅｌ  Ｃｏｒｐｏｒａｔｉｏｎ（インテル・コーポレーション）の製品）等のプロセッサ６１２、およびインストラクション、アドレスおよび結果のデータの記憶／ロードに使用されるＲＡＭ等のメモリ６１１を用いて解凍される。別の実施形態においては、スケーリング／カラー補間が、ハードウエア内で直接行われずに、コンピュータ・システム６１０上で実行されるソフトウエア・アプリケーションによって行われることもある。カメラ６３０からのダウンロード後にスケーリングされた画像のスーパー−ピクセルを生成するために使用されるアプリケーション（１ないしは複数）は、Ｃ＋＋等の言語によって記述されたソース・コードからコンパイルされた実行可能ファイルとすることができる。画像のスケーリングに必要なインストラクションに対応するこの実行可能ファイルのインストラクションは、ディスク６１８またはメモリ６１１に記憶することができる。当業者であれば、前述した方法に従って画像のスケーリングおよび同時カラー補間を行わせるためにコンピューティング・マシンをプログラムすることについては容易に明らかであろう。さらに本発明の各種実施形態を、スケーリングおよびカラー補間を提供するビデオ・ディスプレイ・アダプタあるいはグラフィックス処理ユニット上に実装することも考えられる。
【００５０】
コンピュータ・システム６１０はプロセッサ６１２とメモリ６１１の間の情報の転送を容易にするシステム・バス６１３、およびＩ／Ｏバス６１５と結合するブリッジ６１４を備えている。Ｉ／Ｏバス６１５は、ディスプレイ・アダプタ６１６、ディスク６１８および、たとえばシリアル・ポートといったＩ／Ｏポート６１７等の各種Ｉ／Ｏデバイスを結合する。この種のＩ／Ｏデバイス、バス、およびブリッジの多くの組み合わせを本発明の中で使用することが可能であり、図示した組み合わせは可能性のあるこの種の組み合わせの１つを示しているに過ぎない。
【００５１】
シーン６４０の画像等の画像がカメラ６３０によって取り込まれると、それが画像処理回路６３２に送られる。画像処理回路６３２は、多くの他の機能の中でも特に取り込んだ画像のダウン・スケーリングおよび同時カラー補間を実行するＩＣおよびその他のコンポーネントからなる。ここで説明したスケーリング／補間テクニックを、画像メモリ・ユニットを使用してカメラ６３０によって取り込まれたシーン６４０のオリジナルのＣＦＡを記憶するものとしてもよい。さらに、この同じメモリ・ユニットを使用して、スケーリング／補間後の画像データを記憶することもできる。すべてのピクセルのスケーリング、処理およびコンピュータ・システム６１０に対するレンダリングのための転送が完了すると、カメラ６３０が解放されて、次の画像を取り込むことができる。カラー補間の中で行われるスケーリングの本質から、カメラ６３０を、グレイ・スケールではなくカラーの動画カメラとして機能させることが可能であり、しかも純粋なグレイ・スケール・タイプのカメラとほとんど複雑性に差がない。ユーザまたはアプリケーションが画像のダウンロードを希望／要求すると、画像メモリ・ユニット内に記憶されているスケーリングおよび圧縮の済んだ画像が画像メモリ・ユニット６３４からＩ／Ｏポート６１７に送られる。Ｉ／Ｏポート６１７は、図示したバス・ブリッジ階層構造（Ｉ／Ｏバス６１５からブリッジ６１４、そこからシステム・バス６１３へつながる構造）を使用してスケーリングおよび圧縮の済んだ画像を一時的にメモリ６１１内に、あるいはオプションとしてディスク６１８内に記憶する。
【００５２】
圧縮された画像は、適切なアプリケーション・ソフトウエア（またはハードウエア）によりコンピュータ・システム６１０において解凍され、その実行にプロセッサ６１２が使用されることもある。その後この画像データは、ディスプレイ・アダプタ６１６を使用して視覚的なレンダリングが行われて、レンダリング／スケーリング後のカラー画像６５０となる。スケーリングが行われたカラー画像は、オリジナルの取り込んだシーンよりサイズにおいて小さく現れる。これは、センサによるオリジナルの取り込みサイズを必要としない多くの画像への応用において望ましい。テレビ会議への応用においては、圧縮およびスケーリングが行われたフォームの画像データが、コンピュータ・システム６１０を除いて、あるいはそれに加えてネットワークまたは通信システムを介して他方のノードまたはコンピュータ・システムに渡され、テレビ会議のセッションが催される。本発明の一実施形態においては、カメラですでにスケーリングおよびカラー補間が行われていることから、画像データを直接、テレビ会議のセッションにおける他のノード（１ないしは複数）に転送することができる通信ポートをカメラ６３０に実装することができる。コンピュータ・システム６１０のユーザが、モニタ６２０上における自らのシーンの確認を希望する場合には、スケーリングおよびカラー補間の済んだ画像データをコンピュータ・システム６１０に渡すとともに、ネットワークを介して他のノードに転送することができる。さらに、本発明の各種の実施形態によって、望ましい場合には効率的なソフトウエア・スケーリングも可能になる。すでに述べたように、スケーリング／カラー補間後のカラー画像は、スケーリング・プロセスおよび実質的に埋め込みプロセスとなるカラー補間の同時性の本質における強化に起因して、スケーリング・オペレーションにおける一般的な場合より視覚的に正確なエッジの特徴を有している。モニタ６２０もしくはテレビ会議セッションにおける他のノードに表示される最終的な結果は、カラー補間を行わない、つまりそのタスクを別のデバイス／プロセスもしくは撮像セッションの段階に任せる一般的なスケーリング方法に比較して質の高いレンダリングされた画像６５０となる。
【００５３】
ここに例として示した実施形態は、本発明の原理を示すためにのみ提供されたものであり、本発明の範囲を限定するものと考えるべきではない。むしろ本発明の原理は、広範なシステムに適用されてここで述べた利点を達成し、かつその他の利点を達成し、あるいはその他の目的を満たすことが可能である。
【図面の簡単な説明】
【図１】  ４：１スケーリングを行うための本発明の一実施形態を示したフローチャートである。
【図２】  本発明の少なくとも１つの実施形態に従ってスケーリングされるオリジナルのＣＦＡ領域を示す。
【図３】  一例として示すレッドのサブ画像のＣＦＡ領域に関するマスクを獲得するためのフィルタ適用段階を表している。
【図４】  ４：１スケーリングが行われた画像のスーパー−ピクセルにおけるそれぞれのカラー成分を獲得するために適用される一例のマスクを示す。
【図５】  本発明の一実施形態に従ったブロック図である。
【図６】  本発明の一実施形態のシステム・ブロック図である。
【図１】
0004261062.tif 000002
【図２】
0004261062.tif 000003
【図３】
0004261062.tif 000004
【図４】
0004261062.tif 000005
【図５】
0004261062.tif 000006
【図６】
0004261062.tif 000007