(57)【要約】      （修正有）【課題】解像度およびフレームレートの制限による問題を解消し、データ収集におけるボトルネックであるアナログ・デジタル変換の動作の問題を解消する。【解決手段】それぞれの色成分の複数のピクセルに対し初期解像度で画像データを提供するように構成された複数のセンサを個々に有し、前記ピクセルの個々のものに対し複数のサブピクセルを画定するようにオーバラップし互いにオフセットされている複数のカラーセンサアレイを備えたイメージセンサと、前記複数のカラーセンサアレイの各々からの少なくとも１つのピクセルについて前記画像データにアクセスし、該アクセスされた画像データを使用して、前記カラーセンサアレイの前記初期解像度と比較して解像度が向上した画像を形成するように前記それぞれのサブピクセルに対しサブピクセル画像データを確定するように構成された処理回路とを備える撮像装置と当該撮像装置を用いた画像データ処理方法。【選択図】図３Ａ
2005137000.tif 000002
【特許請求の範囲】
【請求項１】
それぞれの色成分の複数のピクセルに対し初期解像度で画像データを提供するように構成された複数のセンサを個々に有し、前記ピクセルの個々に対し複数のサブピクセルを画定するようにオーバラップし互いにオフセット（offset）される複数のカラーセンサアレイを備えたイメージセンサと、
前記複数のカラーセンサアレイの各々からの少なくとも１つのピクセルについて前記画像データにアクセスし、該アクセスされた画像データを使用して、前記カラーセンサアレイの前記初期解像度と比較して解像度が向上した画像を形成するように前記それぞれのサブピクセルに対しサブピクセル画像データを確定するように構成された処理回路と
を備える撮像装置。
【請求項２】
前記アレイは、個々のピクセルにおいて光のそれぞれの色成分を検出する複数の光検出器を備える、請求項１に記載の撮像装置。
【請求項３】
前記サブピクセルの各々は、赤、緑および青の色成分を備え、前記複数のカラーセンサアレイは、赤、緑および青のカラーセンサアレイを備える、請求項１に記載の撮像装置。
【請求項４】
サブピクセルレベルでより高解像度の画像を作成するように、前記ピクセルの個々のものの内で数が増加した物理的位置における画像データの確定が、前記赤、緑および青のカラーセンサアレイのオーバラップにより可能になる請求項３に記載の撮像装置。
【請求項５】
前記解像度が向上した画像は、前記複数のカラーセンサアレイの各々からの前記画像データを使用して個々のピクセルに対しサブピクセル画像データを確定することにより作成される、請求項１に記載の撮像装置。
【請求項６】
前記カラーセンサアレイの前記オフセットは、前記複数のカラーセンサアレイを所望の方向に物理的にシフトさせることによって行われる、請求項１に記載の撮像装置。
【請求項７】
前記カラーセンサアレイの前記オフセットは、光学デバイスを使用することによって行われる、請求項１に記載の撮像装置。
【請求項８】
それぞれの色成分の複数のピクセルに関し初期解像度で前記画像データを提供するように構成された複数のセンサ素子を各々有する複数のカラーセンサアレイを、互いにオフセットされた関係でオーバラップさせて、複数のピクセルのそれぞれに対する複数のサブピクセルを画定するように構成することと、前記複数のカラーセンサアレイの各々からの少なくとも１つのピクセルに関する前記画像データにアクセスすることとを含み、イメージセンサを使用して画像データを提供するステップと、
前記アクセスされた画像データを使用して前記カラーセンサアレイの前記初期解像度と比較して解像度が向上した画像を形成するステップとを含んでなる画像データ処理方法。
【請求項９】
前記形成するステップは、
前記アクセスされた画像データからサブピクセル画像データを確定することと、
前記解像度の向上した画像を形成するために前記サブピクセル画像データを使用することと、
を含んでなる、請求項８に記載の画像データ処理方法。
【請求項１０】
前記解像度が向上した画像を、サブピクセルレベルで形成する、請求項８に記載の画像データ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の少なくともいくつかの実施形態は、撮像装置と、画像データ処理方法と、製品とに関する。
【背景技術】
【０００２】
デジタル撮像デバイスは、静止およびビデオの撮像に関してますます広く普及してきている。これらのデバイスについては、解像度の向上および処理速度の向上を含む非常に多くの進歩がある。しかしながら、デジタルビデオ撮像デバイスによっては、一つには、撮像センサからのデジタル画像データにアクセスするために利用可能な帯域幅が制限されているため、解像度およびフレームレートが制限される。あるセンサの構成においてはそのデータ収集における１つの考えられるボトルネックは、アナログ・デジタル変換の動作である。
【０００３】
カラー電子撮像では、デジタル画像は、通常、各ピクセルにおいてフルカラーで、または各ピクセルが単一の色であるモザイク状になった異なるカラーセンサで、取り込まれる。モザイク手法では、入ってくる画像を、３つのカラーチャネルに分解しデモザイク処理する場合がある。隣接するピクセルの補間を実行することにより、画像の各点における赤、緑、青（Ｒ、Ｇ、Ｂ）値かまたは他のカラースケール値を確定する。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
フルカラー手法では、各センサピクセルは、個々のピクセルのそれぞれの層内に積み重ねられたＲ、Ｇ、Ｂ色成分を検出する光検出器を備えた層状構造を有する場合があり、各光検出器は、対応するそれぞれの色成分を取り込むように調整される。モザイク手法の短所には、被写体の上に好ましくない色パターンをもたらすカラーエイリアシングがあり、フルカラー手法の短所には、フルカラー画像データの複雑な処理がある。
【０００５】
本発明の少なくともいくつかの実施形態は、撮像装置と、画像データ処理方法と、改良されたデジタル撮像を提供する製品とに関する。
【課題を解決するための手段】
【０００６】
本発明の少なくともいくつかの実施形態は、撮像装置と、画像データ処理方法と、製品とに関する。
【０００７】
１態様では、複数のカラーセンサアレイを有する画像センサを備える撮像装置を説明する。個々のセンサアレイは、それぞれの色成分の複数のピクセルに対し初期解像度で画像データを提供するように構成された複数のセンサ要素を備える。複数のカラーセンサアレイは、オーバラップし互いに対してずれていることにより前記ピクセルの個々のものに対し複数のサブピクセルを画定する。撮像装置は、前記複数のカラーセンサアレイの各々からの少なくとも１つのピクセルについて前記画像データにアクセスし、該アクセスされた画像データを使用して、前記カラーセンサアレイの前記初期解像度と比較して解像度が向上した画像を形成するように前記それぞれのサブピクセルに対しサブピクセル画像データを確定するように構成された処理回路とを備える。
【０００８】
別の態様では、画像データ処理方法が開示される。この方法は、それぞれの色成分の前記複数のピクセルに対し初期解像度で前記画像データを提供するように構成された複数のセンサ素子を各々備える複数のカラーセンサアレイを、互いにずれた関係でオーバラップさせて複数のピクセルの個々のものに対し複数のサブピクセルを画定するように構成することと、前記複数のカラーセンサアレイの各々からの少なくとも１つのピクセルに対して前記画像データにアクセスすることとを含んでなる提供を含む。本画像データ処理方法はさらに、前記アクセスされた画像データを使用して前記初期解像度と比較して解像度が向上した画像を形成することを含んで、イメージセンサを使用して画像データを提示するものである。
【０００９】
本発明の他の態様を、以下の説明および図面から明らかであるように、本明細書において開示する。
【発明を実施するための最良の形態】
【００１０】
図１を参照すると、１つの例示的な実施形態による撮像装置１００が示されている。撮像装置１００は、画像データ１０４を取得するように構成された、デジタルビデオカメラ等の撮像デバイス１０２を含む。画像データ１０４は、撮像動作中に取得されたデジタルデータのラスタからなる複数のフレーム画像またはフレーム１０６を含む。画像データは、１つの例示的なＲＧＢ実施態様では、赤、緑および青の色成分を含んでもよい。また、他の実施形態では、個々のフレーム１０６は、ラスタの複数のピクセルに対し輝度、クロミナンスまたは他のデジタル情報を含んでもよい。デジタルカラーの他の色空間または表現を使用してもよい。
【００１１】
装置１００の図示する構成は、さらに、メモリ１２０と処理回路１２２とを有する。メモリ１２０は、画像データ１０４を受け取り格納するように構成される。例示的なメモリを、ハードディスクメモリ、ランダムアクセスメモリ、リードオンリメモリ、フラッシュメモリ、またはデジタルデータを格納する他のメモリ構成として実施してもよい。
【００１２】
処理回路１２２は、画像データ１０４を処理するように構成される。処理回路１２２の例示的な処理動作については、後に詳細に説明する。処理回路１２２を、画像データ１０４を処理するプログラミング命令（たとえば、ソフトウェア、ハードウェア等）を実行するように構成してもよい。したがって、かかる構成では、処理回路１２２を、ノートブックコンピュータ、パーソナルコンピュータ、ワークステーションまたは他のデジタル処理構成のマイクロプロセッサとして実施してもよい。また、処理回路１２２は、フィールドプログラマブルゲートアレイか、または、本明細書で説明するように、取得された画像データ１０４のデジタルデータを処理することができる他の任意のハードウェアまたはソフトウェア構成を有してもよい。
【００１３】
例示的な構成では、メモリ１２０と処理回路１２２とは、撮像デバイス１０２の外部にかつ互いに離して示されている。他の考えられる実施形態では、メモリ１２０と処理回路１２２とを、コンピュータまたはワークステーション等の単一デバイス内で具体化してもよい。別の考えられる実施形態では、メモリ１２０または処理回路１２２を、撮像デバイス１０２内に配置してもよい。撮像装置１００の他の構成も可能である。
【００１４】
図２を参照すると、撮像デバイス１０２の例示的な実施形態が示されている。撮像デバイス１０２は、メモリ２２０と、処理回路２２２と、光学系制御部２０２と、ユーザインタフェース２０４と、撮像システム２０６（例示的な実施形態ではイメージセンサ２０８と光学系２１０とを含む）と、通信インタフェース２１２と、を有する。個々のピクセル位置において赤、緑および青の光成分を検知することができる、例示的な多層タイプイメージセンサ２０８では、各層は、それぞれの色成分の光を検知するイメージセンサを有してもよい。たとえばモザイクフィルタとともに強度情報を検知するセンサを含む、他のセンサを使用してもよい。図示する例示的な撮像システム２０６は、生デジタル画像データを複数のフレームで提供するように構成される。生デジタル画像データは、イメージセンサ２０８によって形成される複数のピクセルに対応するデジタルデータを含む。
【００１５】
本実施形態では、処理回路２２２をマイクロコントローラとして使用される。処理回路２２２は、デバイス１０２の動作と画像データの生成とを制御する命令を実行するように構成される。代替的に、処理回路２２２を、完全にハードウェアで実施してもよい。さらに、処理回路２２２は、ユーザインタフェース２０４を使用する情報の表示と、ユーザインタフェースを介して受け取られた入力データの処理とを制御することと、を含むユーザインタフェース２０４の動作を制御してもよい。
【００１６】
画像データの処理を、画像データが取り込まれ量子化された（または他の方法でデジタル化された）後に処理回路１２２または２２２によって実行してもよい。説明する実施形態では、画像データの例示的な処理を、処理回路１２２に関して説明する。一実施例では、カラーセンサアレイの選択された個々のピクセルの全強度を測定し、後述するように、処理回路１２２によってサブピクセル強度の計算を実施する。画像データの他の例示的な処理には、フルカラー情報を提供するため、たとえばそれぞれのアレイ３０２、３０４および３０６（図３）を赤、緑および青情報で完全に満たすための、処理回路１２２による補間がある。
【００１７】
また、処理回路１２２は、画像データを１つのフォーマットから別のフォーマットに変換するように動作してもよい。フォーマットは、異なる色空間（ＲＧＢ、ＣＭＹ、ＣＭＹＫ、ＣＭＹＧ、ＨＳＢ、ＣＩＥＬＡＢ、ＹＣＣ等）か、もしくは色測定値または仕様の他の表現に関連する。例示的なＲＧＢ実施形態では、処理回路１２２は、ＲＧＢ画像データを輝度またはクロミナンス空間に変換するように動作してもよい。別の実施形態では、フォーマット変換動作を省略してもよく、元の画像データ（たとえば、ＲＧＢデータ）を利用してもよい。
【００１８】
メモリ２２０は、デジタル情報および命令を格納するように構成される。メモリ２２０は、イメージセンサ２０８から生画像データを受け取り、かかるデータを処理するために格納するように構成されたバッファを含んでもよい。メモリ２２０を、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、フラッシュメモリ、もしくは、画像データ、命令（たとえば、処理回路２２２によって利用されるソフトウェアまたはファームウェア命令）を含むデジタル情報、またはデバイス１０２内に格納されることが望まれる他の任意のデジタルデータを格納することができる別の構成として具体化してもよい。
【００１９】
装置１００、デバイス１０２のメモリ、または他のメモリには、実行可能な命令（たとえば、ソフトウェア、ファームウェアまたは他の適当なプロセッサ使用可能コードまたはプログラミング）を格納するように構成された１つまたは複数のプロセッサ使用可能媒体がある。プロセッサ使用可能媒体には、例示的な実施形態において処理回路１２２または２２２を含む命令実行システムによるかまたはそれに関連して使用されるプログラミングを包含し、格納し、または保持することができる任意の製品がある。たとえば、例示的なプロセッサ使用可能媒体には、電子、磁気、光、電磁気、赤外線または半導体の媒体等の物理媒体のうちの任意のものが含まれてもよい。プロセッサ使用可能媒体のより特定の実施例によっては、限定されないが、フロッピー（登録商標）ディスケット、ｚｉｐディスク、ハードドライブ、ランダムアクセスメモリ、リードオンリメモリ、フラッシュメモリ、消去可能プログラマブルリードオンリメモリ、コンパクトディスク、またはプログラミングを格納することができる他の構成等の、ポータブル磁気コンピュータディスケットがある。
【００２０】
イメージセンサ２０８は、受け取られた光に応答するフレーム１０６からなる画像データ１０４を生成するように構成される。後にさらに説明するように、イメージセンサ２０８は、それぞれの色（たとえば、赤、緑または青）成分の複数のピクセルに対して画像データまたは画像データ値を提供するように個別に構成された、複数のセンサアレイを備えてもよい。一実施形態では、個々のセンサアレイは、それぞれの色成分に対して画像データを提供するように構成された、複数の行および列に配置された複数のピクセルまたはピクセル位置に対する複数のセンサ素子を備えてもよい。複数のセンサアレイのうちの１つにより提供される画像データは、それぞれの色成分に対するデータアレイとして参照される。したがって、フレーム１０６は、それぞれの色に対し複数のデータアレイの形式で、イメージセンサ２０８のセンサアレイのそれぞれによって提供される、画像データを個々に含んでもよい。イメージセンサ２０８は、さらに、検知された光に対応する受け取ったアナログ信号をデジタル画像データに変換するＡ／Ｄ変換器を有してもよい。
【００２１】
一実施形態では、イメージセンサ２０８は、イメージセンサ２０８の他のピクセルとは別個に、１つまたは複数のピクセルの画像データを独立して引き出すことを可能にするように構成される。たとえば、所与の瞬間において、ピクセルのいかなる所望のまたは選択されたサブセットを読み出してもよい。イメージセンサ２０８は、一実施形態では、Foveon, Inc.から入手可能なＸ３センサからなってもよい。
【００２２】
カラーセンサアレイ（たとえば、図３および図３Ａの数字３０２、３０４、３０６）の個々のピクセルの色情報を、イメージセンサ２０８から読み出してもよい。イメージセンサ２０８を、望ましい場合は、低解像度画像データを提供するためにダウンサンプリングを実施するように構成してもよく、その場合、カラーセンサアレイのピクセルの総数に満たないピクセルからデータが読み出される。さらに、カラーセンサアレイ（たとえば、図３および図３Ａの３０２、３０４、３０６）の個々のピクセルは、複数の色の色情報を含んでもよく、さらに、個々の色に対し独立して問い合わせてもよくまたは代替実施形態では他の色情報によって問い合わせてもよい。
【００２３】
光学系制御部２０２は、光学系２１０の焦点合せ動作、ズーム動作または他の所望の動作を制御する。一実施形態では、光学系制御部２０２は、処理回路２２２によって制御される複数のモータ（図示せず）を含む。
【００２４】
図３および図３Ａは、イメージセンサ２０８によって提供され得る、赤、緑および青のカラーセンサアレイ３０２、３０４、３０６それぞれの例示的な構成を示す。個々の赤、緑および青のカラーセンサアレイ３０２、３０４および３０６は、それぞれの色成分の複数のピクセルに対する画像データをそれぞれ含んでいる。たとえば、赤アレイ３０２は、複数の赤ピクセル３０８を含み、緑アレイ３０４は、複数の緑ピクセル３１０を含み、青アレイ３０６は、複数の青ピクセル３１２を含む。一実施形態では、赤、緑および青のセンサアレイ３０２、３０４、３０６それぞれを、互いにオーバラップするように配置する。赤、緑および青のセンサアレイ３０２、３０４、３０６はまた、それぞれ、複数のサブピクセルがそれぞれ個々のピクセル３０８、３１０、３１２内で形成されまたは画定されるように、互いに対してずれている。たとえば、アレイ３０２、３０４、３０６を互いに対してずらすことにより、単一ピクセル位置に対し少なくとも１つの色成分に対して複数の画像データ値が提供される。
【００２５】
一実施形態では、各色成分に対して異なるずれをもって、オーバラップする３つのセンサアレイを作成する。図３に示す例示的な構成では、緑アレイ３０４を、赤アレイ３０２上にオーバラップさせるが、赤アレイ３０２の右側に（たとえば、ピクセルの１／２に等しい距離）ずらす。青アレイ３０６を、赤および緑アレイ３０２、３０４上にオーバラップさせるが、赤および緑アレイ３０２、３０４それぞれに対して下方向に（たとえば、ピクセルの半分）シフトさせる。図３に示す例示的なオーバラップ構成では、すべての１／４サブピクセルはセンサアレイ内の３つの一意のピクセルに対応する。
【００２６】
図３Ａに示すカラーセンサアレイの別の例示的な構成では、カラーセンサアレイ３０２、３０４、３０６の３者間オーバラップが示されている。たとえば、カラーセンサアレイ３０２、３０４、３０６の３者間オーバラップにより、選択された個々のピクセル（たとえば、青ピクセル３１２）に９個のサブピクセルがもたらされる。青ピクセル３１２のサブピクセルは、図５に示すように、概して３１２1〜３１２9として識別される。個々のピクセルに形成されたサブピクセルの数は、例示的な図３および図３Ａに示すサブピクセルの数より多くても少なくてもよい、ということが理解されよう。個々のピクセル内のサブピクセルの数を、オーバラップに関係するカラーセンサアレイの数とカラーセンサアレイのオーバラップの配置とによって確定することができる。
【００２７】
図４Ａを参照すると、オーバラップし、ずれているアレイ３０２、３０４、３０６を含む例示的なイメージセンサ２０８が示されている。多層イメージセンサ２０８を、３つの色（Ｒ、Ｇ、Ｂ）を取り込むように構成してもよい。各層（たとえば、３０３、３０５、３０７）は、異なる色成分（たとえば、赤、緑および青）の光を取り込むように調整されたイメージセンサまたは検出器素子４０１、４０２、４０３を有する。一実施形態では、センサ素子４０１、４０２、４０３を、光検出器と呼んでもよい。例示的なセンサ素子４０１、４０２、４０３は、ＦｏｖｅｏｎイメージセンサのＣＭＯＳデバイスを備える。図４Ａは、多層イメージセンサ２０８の赤、緑および青のカラーセンサアレイ３０２、３０４および３０６それぞれのずれからもたらされる個々のピクセル（たとえば、青ピクセル３１２）を示す。通常、イメージセンサの複数のセンサ素子または光検知素子が、イメージセンサのピクセルおよび解像度を規定する。本明細書における実施形態によっては、アレイ３０２、３０４、３０６は、互いに対してずれていてもよい。したがって、所与のセンサは、所与のアレイのピクセルを画定するが他のアレイのピクセルに対しては画定しない。便宜上、ピクセルまたはピクセル位置を、アレイのうちの１つ（たとえば、青）のセンサ素子によって画定してもよく、所与のピクセルまたはピクセル位置に対するサブピクセルを、図４Ａに示すように所与のピクセルまたはピクセル位置に対応する他のアレイの複数のセンサ素子を使用して画定してもよい。図４Ａは、「ｘ」方向にずれたアレイ３０２、３０４、３０６を示す。アレイ３０２、３０４、３０６はまた、「ｚ」方向（図４Ａには示さず）にずれてもよい。
【００２８】
図４Ｂは、イメージセンサ２０８ａにおいて入ってくる画像の画像シフトを実行する、本発明の別の実施形態を示す。たとえば、イメージセンサ素子（たとえば、４０１、４０２、４０３）を空間的にずれたように配置するようにカラーセンサアレイ３０２、３０４、３０６を物理的にシフトさせる代わりに、たとえば、光のＲ、ＧおよびＢ成分のピークが対角線に沿って所定のずれだけ分散するように、デバイスの光路に（たとえば、デバイス１０２の光学系２０１内に）配置されたプリズム４０４等の光学デバイスを使用してずれを実施してもよい。たとえば、Ｒ、ＧおよびＢ成分は、各々、対角線に沿ってピクセルの１／３だけ（または他の所望のずれ）ずれてもよい。このように、入ってくる画像を、図４Ｂに示す構成を使用しフルカラーイメージセンサ（たとえば、個々のピクセル位置において赤、緑および青色成分を測定することができるイメージセンサ素子）を使用して取り込む場合、各イメージセンサの各カラーチャネルは、画像の異なる位置に対応する。一実施形態では、処理回路１２２（図２）を、追加の色情報を提供するカラーデモザイク処理を実施するように構成してもよい。高解像度画像を、後述するような式（１）〜（５）を使用して生成してもよい。
【００２９】
図５は、個々のピクセルのサブピクセルの詳細を示す。たとえば、青ピクセル３１２は、個々のサブピクセル３１２1〜３１２9を含み、一実施形態では、各サブピクセルは、Ｒ、ＧおよびＢ色成分の一意の組合せを有する。サブピクセル３１２1〜３１２9のＲ、ＧおよびＢ成分の強度値を、オーバラップがサブピクセル３１２1〜３１２9をもたらしたカラーセンサアレイ３０２、３０４、３０６のさまざまなピクセルのイメージセンサ素子を使用して確定してもよい。たとえば、４×６アレイ（すなわち、４行および６列）として構成され図３Ａに示すような方法でオーバラップするようなＲ、ＧおよびＢアレイ３０２、３０４、３０６を考える。この例示的な場合では、サブピクセル３１２1の赤成分の強度を、赤のカラーセンサアレイ３０２（図３Ａ）の行４および列１に対応する赤ピクセル（Ｒ4×1）の全強度を使用して確定してもよい。同様に、サブピクセル３１２1の緑成分の強度を、緑のカラーセンサアレイ３０４（図３Ａ）の行４および列１に対応する緑ピクセル（Ｇ4×1）の全強度を使用して確定してもよく、青成分の強度を、青のセンサアレイ３０６（図３Ａ）の行４および列１に対応する青ピクセル（Ｂ4×1）の全強度を使用して確定してもよい。
【００３０】
カラーセンサアレイ（たとえば、図３Ａに示す赤アレイ３０２、緑アレイ３０４、青アレイ３０６）の各ピクセル（たとえば、赤３０８、緑３１０、青３１２）の全強度値を、カラーセンサアレイにおけるピクセルの物理的な位置を確定し、所定のピクセル位置に対応する強度値をセンサ２０８（図２）から直接読み出すことにより、測定してもよい。
【００３１】
一実施形態では、たとえば、各個々のピクセル（赤３０８、緑３１０、青３１２）は複数のサブピクセルからなり（たとえば、説明した実施形態では、個々のピクセルは９個のサブピクセルからなってもよい）、個々のピクセルはそれぞれのサブピクセルの合計からなり得る場合を考える。説明した実施形態によれば、サブピクセルの強度の合計は、かかるサブピクセルを有する個々のそれぞれのピクセルの強度に等しい。
【００３２】
簡単のために、サブピクセル強度を確定する例示的な方法を、たとえば９個のサブピクセル３１２1〜３１２9を有する青ピクセル３１２に関して説明する。かかる方法を、アレイの他のピクセル（たとえば、赤、緑）のサブピクセル強度を確定するために使用してもよい。
【００３３】
説明した実施例の開始点として、サブピクセル３１２1〜３１２9のそれぞれの強度（ＩB1、ＩB2、…ＩB9）を、青ピクセル３１２の全強度ＩBの１／９に等しいように設定してもよい。これを、さらに、サブピクセル（たとえば、３１２1〜３１２9）の色が、サブピクセルが存在する完全なピクセル（たとえば、青ピクセル３１２）の色と同じであると想定することにより、さらに改良してもよい。個々のサブピクセル（たとえば、３１２1〜３１２9）に対する新たな強度値を、サブピクセル（たとえば、３１２1〜３１２9）の強度の合計を、サブピクセルを有するそれぞれのピクセル（たとえば、３１２）の強度に等しいように維持しながら、サブピクセル強度ＩB1、ＩB2、…ＩB9を上述した仮定と一致するように調整する式（１）を使用して、確定してもよい。すなわち、ＩB＝ＩB1＋ＩB2、…＋ＩB9であって、ＩBは青ピクセル３１２の強度であり、ＩB1、ＩB2、…ＩB9は、青ピクセル３１２に含まれるサブピクセル（たとえば、３１２1〜３１２9）の強度である。
【００３４】
個々のサブピクセル３１２1〜３１２9はまた、緑成分（たとえば、Ｇ1、Ｇ2、…Ｇ9）と赤成分（たとえば、Ｒ1、Ｒ2、…Ｒ9）とも含むため、サブピクセル３１２1の強度を、以下のように確定してもよい。
Ｂ1＝（Ｒ1＋Ｇ1）×（ｍｅａｎ（Ｂ）／（ｍｅａｎ（Ｒ）＋ｍｅａｎ（Ｇ））
Ｒ1＝（Ｂ1＋Ｇ1）×（ｍｅａｎ（Ｒ）／（ｍｅａｎ（Ｂ）＋ｍｅａｎ（Ｇ））
Ｇ1＝（Ｒ1＋Ｂ1）×（ｍｅａｎ（Ｇ）／（ｍｅａｎ（Ｒ）＋ｍｅａｎ（Ｂ））
（式１）
ここで、ｍｅａｎＲ、Ｇ、Ｂ値は、それぞれの赤、緑および青アレイ３０２、３０４および３０６それぞれにおける赤、緑および青ピクセルのすべての平均に対応する。
【００３５】
しかしながら、各サブピクセル（たとえば、３１２1〜３１２9）は、３つの異なるオーバラップする完全なピクセル（たとえば、赤３０８、緑３１０、青３１２）に存在してもよく、式１は、一度に３つのオーバラップする完全なピクセルすべてに対しサブピクセル強度を同時に調整しなくてもよい。
【００３６】
しかしながら、上記式を反復して適用することにより、全ストレスＳを最小化するようにサブピクセル強度値を改良してもよい。全ストレスを、次のように定義し
【数１】
2005137000.tif 000003
ストレスＳi,jを、次のように定義してもよい。
【００３７】
【数２】
2005137000.tif 000004
【００３８】
ここで、
【００３９】
【数３】
2005137000.tif 000005
【００４０】
は、個々のサブピクセルＲU,V、ＧU,V、ＢU,Vそれぞれの隣接するサブピクセルの平均的な色であり、
【００４１】
【数４】
2005137000.tif 000006
【００４２】
は、個々のピクセル内のサブピクセルの強度であり、以下の式によって定義される。
【００４３】
【数５】
2005137000.tif 000007
【００４４】
ここで、Ｒx,y、Ｇx,y、Ｂx,yは、赤アレイ３０２、緑アレイ３０４および青アレイ３０６の行ｘおよび列ｙに対応する赤、緑および青ピクセルの強度値を表し、Ｒi,j、Ｇi,j、Ｂi,jは、カラーセンサアレイ（たとえば、図３Ａの数字３０２、３０４、３０６）の個々のピクセル（たとえば、図３Ａの数字３０８、３１０、３１２）内のサブピクセルの赤、緑および青成分の強度値を表す。
【００４５】
再び図３Ａを参照すると、Ｒ4×1、Ｇ4×1およびＢ4×1ピクセルの測定された強度値から、たとえば、その教示が参照により本明細書に援用されるRon Kimmel著、「Demosaicing: Image Reconstruction from Color CCD Samples」、IEEE Trans. On Image Processing、 8(9): 1221-8、Sep. 1999に述べられている方法等のデモザイク処理アルゴリズムを使用して、個々のピクセル（たとえば、青ピクセル３１２）のサブピクセルの赤、緑および青成分のサブピクセル強度値を確定してもよい。たとえば、読み取りピクセル強度データを、Kimmelのデモザイク処理方法に入力することにより、サブピクセルのＲＧＢ成分に対するサブピクセル強度値を取得してもよい。サブピクセル強度を確定する他の方法も可能である。
【００４６】
図６は、一実施形態におけるサブピクセル強度を確定する例示的な方法のフローチャートである。この方法を、ハードウェアを使用して実施してもプログラミング（たとえば、ソフトウェアまたはファームウェア）を使用して実施してもよい。説明する実施形態では、処理回路１２２または２２２が、説明する方法を実施する。より多くの、より少ないまたは他のステップを含むかあるいは他のハードウェアまたはプログラミング構成を使用する、他の実施形態も可能である。ステップ６０２において、適当な処理回路（たとえば、１２２または２２２）は、イメージセンサ２０８のカラーセンサアレイ（たとえば、３０２、３０４、３０６）の個々のピクセル（たとえば、３０８、３１０、３１２）の全強度を受け取る。
【００４７】
ステップ６０４において、処理回路により、一実施形態では、サブピクセルの所定の初期強度値を使用してサブピクセルの強度を近似するために、個々のピクセルが一定の局所色を有するものと仮定する。処理回路は、上述した式１〜５に従ってサブピクセル強度を確定する。
【００４８】
ステップ６０６において、処理回路は、サブピクセル強度の確定が必要なサブピクセルがほかにあるか否かを問い合わせる。そうである場合、プロセスはそれらサブピクセルに対しステップ６０４を実行するように先へ進む。
【００４９】
図７は、上述したようにカラーセンサアレイの個々のピクセルの全強度を使用して、処理回路１２２または２２２によって確定された、解像度が向上した画像（たとえば、サブピクセルデータを含む高解像度画像）を、表示装置７０８（たとえば、ＣＲＴ）に投影する、本発明の別の実施形態を示す。たとえば、解像度が向上した画像（たとえば、高解像度画像）は、プロジェクタ７０４が生成することができるピクセルの９倍のピクセルを有するものと仮定する。Ｒ、ＧおよびＢ色成分を取得するために、プロセッサ７０２を使用して、高解像度画像をダウンサンプリングしてもよいが、その際、解像度が向上した画像を作成するために使用されるずれに対応する３つの異なるずれがあるようにし、それにより、各々が一実施例では対角線上でピクセルの１／３だけシフトした、Ｒ、ＧおよびＢ色成分がもたらされる。結果としての画像を、プロジェクタ７０４を使用して、プリズム７０６を通して表示装置７０８上に投影してもよい。プリズム７０６を、解像度の向上した画像に対応する高解像度画像を表示するために、画像の各色成分の逆の空間的ずれを行うように構成する。この構成により、低解像度プロジェクタを使用して高解像度画像を表示することが可能になる（たとえば、各色成分が別々の解像度位置を提供するように、Ｒ、Ｇ、Ｂ色成分を分割することにより、低解像度プロジェクタを高解像度プロジェクタになるように構成することによる）。
【００５０】
図８は、図７に示す実施形態を実施する例示的な方法である。この方法を、ハードウェアを使用して実施しても、プログラミング（たとえば、ソフトウェアまたはファームウェア）を使用して実施してもよい。
【００５１】
再び図８を参照すると、ステップ８０２で、プロセッサ７０２において高解像度画像を受け取る。１つのＰＣグラフィックス例では、ＰＣ解像度をディスプレイ解像度の９倍であるように設定してもよい。ＤＶＤプロジェクタの場合、ディスプレイを、ＤＶＤビデオのフル解像度の１／９を有するように選択してもよい。固定解像度ビットマップの場合、そのビットマップを、プロジェクタ解像度の９倍を有するように再サンプリングしてもよい。
【００５２】
ステップ８０４において、高解像度画像を、適当な光学系アセンブリにより２つ以上のスペクトルバンド（たとえば、赤、緑および青のバンド）に分割する。Canon, Inc.によって製作され、たとえばCanon, Inc.によって製造されるＬＶ７５２５等のプロジェクタで使用されるダイクロイックプリズムアセンブリを使用して、光を複数のスペクトルバンドに分割してもよい。
【００５３】
ステップ８０６において、プロセッサ７０２は、受け取った高解像度画像を３つの異なるずれを有するＲ、ＧおよびＢ色成分に対してダウンサンプリングし、それにより、各々が対角線上で所定距離（たとえば、ピクセルの１／３）だけシフトしたＲ、ＧおよびＢ色成分を生成する。ダウンサンプリングされた画像をＲ、ＧおよびＢ色成分に分割することにより、各色が別々の解像度位置を提供するようにする。
【００５４】
ステップ８０８において、表示装置に、空間的にダウンサンプリングされた画像を、各スペクトルバンドの空間的なずれが逆になるように表示する。逆の空間的なずれは、たとえば、プリズムを使用して達成してもよい。しかしながら、他の光学コンポーネントを使用してもよい、ということが理解されよう。
【００５５】
要求される保護は、単に実施例として与えられた、開示した実施形態には限定されず、添付の特許請求の範囲によってのみ限定されるべきである。
【図面の簡単な説明】
【００５６】
【図１】一実施形態による撮像装置の例示的な図である。
【図２】一実施形態による撮像デバイスの機能ブロック図である。
【図３】実施形態による図２に示すイメージセンサのカラーセンサアレイの例示的な構成を示す図である。
【図３Ａ】実施形態による図２に示すイメージセンサのカラーセンサアレイの例示的な構成を示す図である。
【図４Ａ】一実施形態による図３Ａに示すカラーセンサアレイの個々のピクセルの詳細を示す図である。
【図４Ｂ】一実施形態によるカラーセンサアレイのずれを達成する概略図である。
【図５】一実施形態による図３Ａに示す個々のピクセルのサブピクセルの詳細を示す図である。
【図６】一実施形態による撮像デバイスの処理回路によって実行可能な方法のフローチャートである。
【図７】一実施形態による高解像度画像を表示するための機能ブロック図である。
【図８】一実施形態による図７に対応する例示的な方法である。
【符号の説明】
【００５７】
１００：撮像装置
１０２：撮像デバイス
１０４：画像データ
１０６：フレーム画像またはフレーム
１２０：メモリ
１２２：処理回路
２０２：光学系制御部
２０４：ユーザインタフェース
２０６：撮像システム
２０８：イメージセンサ
２１０：光学系
２１２：通信インタフェース
２２０：メモリ
２２２：処理回路
３０２、３０４、３０６：アレイ
３０８：赤ピクセル
３１０：緑ピクセル
３１２：青ピクセル
４０１、４０２、４０３：イメージセンサまたは検出器素子
４０４：プリズム
７０８：表示装置
７０４：プロジェクタ
７０２：プロセッサ
７０６：プリズム
【図１】
2005137000.tif 000008
【図２】
2005137000.tif 000009
【図３】
2005137000.tif 000010
【図３Ａ】
2005137000.tif 000011
【図４Ａ】
2005137000.tif 000012
【図４Ｂ】
2005137000.tif 000013
【図５】
2005137000.tif 000014
【図６】
2005137000.tif 000015
【図７】
2005137000.tif 000016
【図８】
2005137000.tif 000017