(57)【要約】  例示的な実施形態は、イメージセンサによって作成される画像データの構成可能な復調を対象とする。いくつかの態様では、方法は、イメージセンサの構成を示す情報を受信するステップを含む。いくつかの態様では、情報は、センサ素子および/またはセンサ素子のための対応するカラーフィルタの構成を示し得る。変調関数が次いで、この情報に基づいて生成され得る。いくつかの態様では、方法はまた、生成された変調関数に基づいて画像データを復調して、画像データの色度成分および輝度成分を決定するステップと、決定された色度成分および輝度成分に基づいて第2の画像を生成するステップとを含む。
2018523949.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサによって生成される画像データを画像へと変換するためのデモザイクシステムであって、
前記イメージセンサのセンサ素子の構成と前記センサ素子のためのフィルタの構成とを示す情報を受信し、
センサ素子の構成およびフィルタの前記構成に基づいて変調関数を生成し、
前記生成された変調関数に基づいて前記画像データを復調して、前記画像データの色度成分および輝度成分を決定し、
前記決定された色度成分および輝度成分に基づいて前記画像を生成する
ように構成される、電子ハードウェアプロセッサを備える、デモザイクシステム。
【請求項２】
前記電子ハードウェアプロセッサがさらに、
前記変調関数に基づいて構成パラメータの集合を生成し、
構成パラメータの前記集合を使用して前記画像データから色度成分の集合を抽出し、
構成パラメータの前記集合を使用して前記色度成分をベースバンド色度成分の集合へと復調し、
ベースバンド色度成分の前記集合を変調して搬送波周波数の集合を決定し、
搬送波周波数の前記集合を使用して前記画像データから輝度成分を抽出するように構成され、
前記画像が、前記抽出された輝度成分とベースバンド色度成分の前記決定された集合とに基づいて生成される、請求項1に記載のシステム。
【請求項３】
前記イメージセンサの前記構成がさらに、
少なくとも1つのフィルタ素子を備えるフィルタ素子の周期であって、各フィルタ素子がスペクトル範囲を備え、フィルタ素子のアレイがフィルタ素子の前記周期の繰り返すパターンを備える、フィルタ素子の周期、
前記イメージセンサの対応するセンサ素子のそれぞれの長さの寸法およびそれぞれの幅の寸法と異なる長さの寸法および幅の寸法を有する各フィルタ素子のサイズ、および、
ダイナミックレンジセンサ素子のアレイであって、各ダイナミックレンジセンサ素子が積分時間を有し、前記積分時間が前記対応するダイナミックレンジセンサ素子の感度のレベルを制御する、ダイナミックレンジセンサ素子のアレイ
のうちの1つまたは複数を備え、
前記変調関数の決定が、フィルタ素子の前記周期、各フィルタ素子の前記サイズ、およびダイナミックレンジセンサ素子の前記アレイのうちの少なくとも1つに基づく、請求項1に記載のデモザイクシステム。
【請求項４】
前記電子ハードウェアプロセッサが、前記イメージセンサの前記構成に基づいて部分格子パラメータの集合を決定し、部分格子パラメータの前記集合が、
フィルタ素子の前記周期の中のフィルタ素子の数に基づく格子行列Mと、
前記イメージセンサの1つの周期の中の各フィルタ素子のスペクトル範囲を備える値の集合Ψと、
オフセットベクトルの集合{BS}S∈Ψであって、各ベクトルがフィルタ素子の前記周期の中の対応するフィルタ素子のためのxy平面上での座標を備える、オフセットベクトルの集合とを備え、
前記変調関数の決定が部分格子パラメータの前記集合に基づく、請求項3に記載のデモザイクシステム。
【請求項５】
前記電子ハードウェアプロセッサが、前記イメージセンサの前記構成に基づいて変調周波数の集合
【数１】
2018523949.tif 000145
を導出し、ここで、
【数２】
2018523949.tif 000146
=変調周波数であり、
M=格子行列であり、
【数３】
2018523949.tif 000147
=前記画像データの空間領域の2次元整数格子であり、
【数４】
2018523949.tif 000148
=前記画像データのスペクトル範囲内のxy座標の集合であり、
前記変調関数の決定が導出された変調周波数の前記集合に基づく、請求項3に記載のデモザイクシステム。
【請求項６】
前記電子ハードウェアプロセッサが、前記部分格子パラメータに基づいて変調係数
【数５】
2018523949.tif 000149
および
【数６】
2018523949.tif 000150
の集合を導出し、ここで、
【数７】
2018523949.tif 000151
、かつ
【数８】
2018523949.tif 000152
であり、ここで、
【数９】
2018523949.tif 000153
および
【数１０】
2018523949.tif 000154
が、前記画像データの前記空間領域内のxy座標の集合における前記変調係数の実数部分を指し、
【数１１】
2018523949.tif 000155
および
【数１２】
2018523949.tif 000156
が、前記画像データの前記空間領域内のxy座標の前記集合における前記変調係数の虚数部分を指し、
前記変調関数の決定が変調係数の前記導出された集合に基づく、請求項4に記載のデモザイクシステム。
【請求項７】
前記変調関数が、変調周波数の前記集合および変調係数の前記集合を少なくとも使用して決定され、ここで、
【数１３】
2018523949.tif 000157
かつ、
【数１４】
2018523949.tif 000158
であり、ここで、
【数１５】
2018523949.tif 000159
=
【数１６】
2018523949.tif 000160
の中のすべてのベクトルの集合であり、
【数１７】
2018523949.tif 000161
=前記画像データのスペクトル範囲内のxy座標のサンプリングされた集合
である、請求項6に記載のデモザイクシステム。
【請求項８】
構成パラメータの前記集合が、
前記イメージセンサの前記構成に基づいて前記画像データから色度成分の前記集合を抽出するように構成されるハイパス周波数フィルタの集合と、
少なくとも水平方向、垂直方向、および対角方向における前記画像データのエネルギーレベルを決定するように構成されるエッジ検出フィルタの集合であって、前記エネルギーレベルが近隣のセンサ素子に入射する放射の強度の差を示す、エッジ検出フィルタの集合とを備え、
前記構成パラメータが前記変調関数に基づいて決定される、請求項1に記載のデモザイクシステム。
【請求項９】
前記電子ハードウェアプロセッサがさらに、エッジ検出フィルタの前記集合に基づいて、ベースバンド色度成分の前記集合の中の各ベースバンド色度成分のエネルギーレベルを推定するように構成される、請求項8に記載のデモザイクシステム。
【請求項１０】
前記電子ハードウェアプロセッサが、別のデバイスから前記イメージセンサ構成情報を電気的に受信するように構成される外部インターフェースを備える、請求項1に記載のデモザイクシステム。
【請求項１１】
前記画像データがシングルプレーンスペクトル画像を備え、前記第2の画像が少なくとも1つのスペクトルプレーンを備える、請求項1に記載のデモザイクシステム。
【請求項１２】
イメージセンサによって生成された画像データを第2の画像へと変換するための方法であって、
前記イメージセンサのセンサ素子の構成と前記センサ素子のためのフィルタの構成とを示す情報を受信するステップと、
センサ素子の構成およびフィルタの前記構成に基づいて変調関数を生成するステップと、
前記生成された変調関数に基づいて前記画像データを復調して、前記画像データの色度成分および輝度成分を決定するステップと、
前記決定された色度成分および輝度成分に基づいて前記第2の画像を生成するステップとを備える、方法。
【請求項１３】
前記決定された変調関数に基づいて構成パラメータの集合を生成するステップと、
構成パラメータの前記集合を使用して前記画像データから色度成分の集合を抽出するステップと、
構成パラメータの前記集合を使用して色度成分の前記集合をベースバンド色度成分の集合へと復調するステップと、
ベースバンド色度成分の前記集合を変調して搬送波周波数の集合を決定するステップと、
搬送波周波数の前記集合を使用して前記画像データから輝度成分を抽出するステップとをさらに備え、
前記第2の画像の前記生成が、前記抽出された輝度成分とベースバンド色度成分の前記集合とに基づく、請求項12に記載の方法。
【請求項１４】
前記イメージセンサの前記構成が、
少なくとも1つのフィルタ素子を備えるフィルタ素子の周期であって、各フィルタ素子がスペクトル範囲を備え、フィルタ素子のアレイがフィルタ素子の前記周期の繰り返すパターンを備える、フィルタ素子の周期、
前記イメージセンサの対応するセンサ素子のそれぞれの長さの寸法およびそれぞれの幅の寸法と異なる長さの寸法および幅の寸法を有する各フィルタ素子のサイズ、および、
ダイナミックレンジセンサ素子のアレイであって、各ダイナミックレンジセンサ素子が積分時間を有し、前記積分時間が前記対応するダイナミックレンジセンサ素子の感度のレベルを制御する、ダイナミックレンジセンサ素子のアレイ
のうちの1つまたは複数によって定義され、
前記変調関数の決定が、フィルタ素子の前記周期、各フィルタ素子の前記サイズ、およびダイナミックレンジセンサ素子の前記アレイのうちの少なくとも1つに基づく、請求項12に記載の方法。
【請求項１５】
前記イメージセンサの前記構成に基づいて部分格子パラメータの集合を決定するステップをさらに備え、部分格子パラメータの前記集合が、
フィルタ素子の前記周期の中のフィルタ素子の数に基づく格子行列Mと、
前記イメージセンサの1つの周期の中の各フィルタ素子のスペクトル範囲を備える値の集合Ψと、
オフセットベクトルの集合{BS}S∈Ψであって、各ベクトルがフィルタ素子の前記周期の中の対応するフィルタ素子のためのxy平面上での座標を備える、オフセットベクトルの集合とを備え、
前記変調関数の決定が部分格子パラメータの前記集合に基づく、請求項14に記載の方法。
【請求項１６】
前記イメージセンサの前記構成に基づいて変調周波数の集合
【数１８】
2018523949.tif 000162
を導出するステップをさらに備え、ここで、
【数１９】
2018523949.tif 000163
=変調周波数であり、
M=格子行列であり、
【数２０】
2018523949.tif 000164
=前記画像データの空間領域の2次元整数格子であり、
【数２１】
2018523949.tif 000165
=前記画像データのスペクトル範囲内のxy座標の集合であり、
前記変調関数の決定が前記変調周波数に基づく、請求項14に記載の方法。
【請求項１７】
前記部分格子パラメータに基づいて変調係数
【数２２】
2018523949.tif 000166
および
【数２３】
2018523949.tif 000167
の集合を導出するステップをさらに備え、ここで、
【数２４】
2018523949.tif 000168
、かつ
【数２５】
2018523949.tif 000169
であり、ここで、
【数２６】
2018523949.tif 000170
および
【数２７】
2018523949.tif 000171
が、前記画像データの前記空間領域内のxy座標の集合における前記変調係数の実数部分を指し、
【数２８】
2018523949.tif 000172
および
【数２９】
2018523949.tif 000173
が、前記画像データの前記空間領域内のxy座標の前記集合における前記変調係数の虚数部分を指し、
前記変調関数の決定が変調係数の前記集合に基づく、請求項15に記載の方法。
【請求項１８】
前記変調関数が、変調周波数の前記集合および変調係数の前記集合を少なくとも使用して決定され、ここで、
【数３０】
2018523949.tif 000174
かつ、
【数３１】
2018523949.tif 000175
であり、ここで、
【数３２】
2018523949.tif 000176
=
【数３３】
2018523949.tif 000177
の中のすべてのベクトルの集合であり、
【数３４】
2018523949.tif 000178
=前記画像データのスペクトル範囲内のxy座標のサンプリングされた集合
である、請求項17に記載の方法。
【請求項１９】
構成パラメータの前記集合が、
前記イメージセンサの前記構成に基づいて前記画像データから色度成分の前記集合を抽出するように構成されるハイパス周波数フィルタの集合と、
少なくとも水平方向、垂直方向、および対角方向における前記画像データのエネルギーレベルを決定するように構成されるエッジ検出フィルタの集合であって、前記エネルギーレベルが近隣のセンサ素子に入射する放射の強度の差を示す、エッジ検出フィルタの集合とを備え、
前記構成パラメータが前記変調関数に基づいて決定される、請求項12に記載の方法。
【請求項２０】
エッジ検出フィルタの前記集合に基づいて、ベースバンド色度成分の前記集合の中の各ベースバンド色度成分のエネルギーレベルを推定するステップをさらに備える、請求項19に記載の方法。
【請求項２１】
実行されると、電子ハードウェアプロセッサに、イメージセンサによって生成された画像データを第2の画像へと変換する方法を実行させる、コードを備える非一時的コンピュータ可読記憶媒体であって、前記方法が、
前記イメージセンサのセンサ素子の構成と前記センサ素子のためのフィルタの構成とを示す情報を受信するステップと、
センサ素子の構成およびフィルタの前記構成に基づいて変調関数を生成するステップと、
前記生成された変調関数に基づいて前記画像データを復調して、前記画像データの色度成分および輝度成分を決定するステップと、
前記決定された色度成分および輝度成分に基づいて前記第2の画像を生成するステップとを備える、非一時的コンピュータ可読記憶媒体。
【請求項２２】
前記方法が、
前記決定された変調関数に基づいて構成パラメータの集合を生成するステップと、
構成パラメータの前記集合を使用して前記画像データから色度成分の集合を抽出するステップと、
構成パラメータの前記集合を使用して色度成分の前記集合をベースバンド色度成分の集合へと復調するステップと、
ベースバンド色度成分の前記集合を変調して搬送波周波数の集合を決定するステップと、
搬送波周波数の前記集合を使用して前記画像データから輝度成分を抽出するステップとをさらに備え、
前記第2の画像の前記生成が、前記抽出された輝度成分とベースバンド色度成分の前記集合とに基づく、請求項21に記載のコンピュータ可読記憶媒体。
【請求項２３】
前記イメージセンサの前記構成が、
少なくとも1つのフィルタ素子を備えるフィルタ素子の周期であって、各フィルタ素子がスペクトル範囲を備え、フィルタ素子のアレイがフィルタ素子の前記周期の繰り返すパターンを備える、フィルタ素子の周期、
前記イメージセンサの対応するセンサ素子のそれぞれの長さの寸法およびそれぞれの幅の寸法と異なる長さの寸法および幅の寸法を有する各フィルタ素子のサイズ、および、
ダイナミックレンジセンサ素子のアレイであって、各ダイナミックレンジセンサ素子が積分時間を有し、前記積分時間が前記対応するダイナミックレンジセンサ素子の感度のレベルを制御する、ダイナミックレンジセンサ素子のアレイ
のうちの1つまたは複数によって定義され、
前記変調関数の決定が、フィルタ素子の前記周期、各フィルタ素子の前記サイズ、およびダイナミックレンジセンサ素子の前記アレイのうちの少なくとも1つに基づく、請求項21に記載の非一時的コンピュータ可読記憶媒体。
【請求項２４】
前記方法が、前記イメージセンサの前記構成に基づいて部分格子パラメータの集合を決定するステップをさらに備え、部分格子パラメータの前記集合が、
フィルタ素子の前記周期の中のフィルタ素子の数に基づく格子行列Mと、
前記イメージセンサの1つの周期の中の各フィルタ素子のスペクトル範囲を備える値の集合Ψと、
オフセットベクトルの集合{BS}S∈Ψであって、各ベクトルがフィルタ素子の前記周期の中の対応するフィルタ素子のためのxy平面上での座標を備える、オフセットベクトルの集合とを備え、
前記変調関数の決定が部分格子パラメータの前記集合に基づく、請求項23に記載の非一時的コンピュータ可読記憶媒体。
【請求項２５】
前記方法が、前記イメージセンサの前記構成に基づいて変調周波数の集合
【数３５】
2018523949.tif 000179
を導出するステップをさらに備え、ここで、
【数３６】
2018523949.tif 000180
=変調周波数であり、
M=格子行列であり、
【数３７】
2018523949.tif 000181
=前記画像データの空間領域の2次元整数格子であり、
【数３８】
2018523949.tif 000182
=前記画像データのスペクトル範囲内のxy座標の集合であり、
前記変調関数の決定が前記変調周波数に基づく、請求項24に記載の非一時的コンピュータ可読記憶媒体。
【請求項２６】
前記方法が、前記部分格子パラメータに基づいて変調係数
【数３９】
2018523949.tif 000183
および
【数４０】
2018523949.tif 000184
の集合を導出するステップをさらに備え、ここで、
【数４１】
2018523949.tif 000185
、かつ
【数４２】
2018523949.tif 000186
であり、ここで、
【数４３】
2018523949.tif 000187
および
【数４４】
2018523949.tif 000188
が、前記画像データの前記空間領域内のxy座標の集合における前記変調係数の実数部分を指し、
【数４５】
2018523949.tif 000189
および
【数４６】
2018523949.tif 000190
が、前記画像データの前記空間領域内のxy座標の前記集合における前記変調係数の虚数部分を指し、
前記変調関数の決定が前記変調係数に基づく、請求項24に記載の非一時的コンピュータ可読記憶媒体。
【請求項２７】
前記変調関数が、変調周波数の前記集合および変調係数の前記集合を少なくとも使用して決定され、ここで、
【数４７】
2018523949.tif 000191
かつ、
【数４８】
2018523949.tif 000192
であり、
【数４９】
2018523949.tif 000193
=
【数５０】
2018523949.tif 000194
の中のすべてのベクトルの集合であり、
【数５１】
2018523949.tif 000195
=前記画像データのスペクトル範囲内のxy座標のサンプリングされた集合
である、請求項26に記載の非一時的コンピュータ可読記憶媒体。
【請求項２８】
構成パラメータの前記集合が、
前記イメージセンサの前記構成に基づいて前記画像データから色度成分の前記集合を抽出するように構成されるハイパス周波数フィルタの集合と、
少なくとも水平方向、垂直方向、および対角方向における前記画像データのエネルギーレベルを決定するように構成されるエッジ検出フィルタの集合であって、前記エネルギーレベルが近隣のセンサ素子に入射する放射の強度の差を示す、エッジ検出フィルタの集合とを備え、
前記構成パラメータが前記変調関数に基づいて決定される、請求項21に記載の非一時的コンピュータ可読記憶媒体。
【請求項２９】
前記方法が、エッジ検出フィルタの前記集合に基づいて、ベースバンド色度成分の前記集合の中の各ベースバンド色度成分のエネルギーレベルを推定するステップをさらに備える、請求項22に記載の非一時的コンピュータ可読記憶媒体。
【請求項３０】
イメージセンサによって生成された画像データを第2の画像へと変換するためのデモザイク装置であって、
前記イメージセンサのセンサ素子の構成と前記センサ素子のためのフィルタの構成とを示す情報を受信するための手段と、
センサ素子の構成およびフィルタの前記構成に基づいて変調関数を生成するための手段と、
前記生成された変調関数に基づいて前記画像データを復調して、前記画像データの色度成分および輝度成分を決定するための手段と、
前記決定された色度成分および輝度成分に基づいて画像を生成するための手段とを備える、デモザイク装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は全般に、カラー画像を作成するためのカラーフィルタアレイ(CFA)に重畳されたデジタルイメージセンサによって作成される、シングルプレーンのカラー画像データの汎用的なデモザイクのための装置および方法に関する。
【背景技術】
【０００２】
デモザイク(demosaicing)(デモザイク(de-mosaicing)、デモザイク(demosaicking)、またはデベイヤー(debayering)とも呼ばれる)アルゴリズムは、CFAに重畳されたイメージセンサからの出力からカラー画像を再構築するために使用されるデジタル画像処理である。デモザイク処理はまた、CFA補間または色再構築としても知られていることがある。大半の現在のデジタルカメラは、CFAに重畳された単一のイメージセンサを使用して画像を取得するので、デモザイクは、これらの画像を見ることができるフォーマットにするために必要とされるプロセシングパイプラインの一部であり得る。カラー画像を捉えるために、イメージセンサの感光性素子(またはセンサ素子)が、列状に並べられ、異なる色と関連付けられる光の波長を検出し得る。たとえば、センサ素子は、第1の色、第2の色、および第3の色(たとえば、赤、緑、および青の波長の範囲)を検出するように構成され得る。これを実現するために、各センサ素子は単一のカラーフィルタ(たとえば、赤、緑、または青のフィルタ)で覆われ得る。CFAの中の各々の個々のフィルタがアレイの中の1つの個々のセンサ素子と揃うようにセンサ素子のアレイの上にCFAを形成するために、個々のカラーフィルタがパターンへと並べられ得る。したがって、アレイの中の各センサ素子は、センサ素子と揃っているフィルタに対応する単一の色の光を検出し得る。
【０００３】
通常、ベイヤーパターンが業界標準として見なされており、ベイヤーパターンでは、アレイ部分は、赤と緑のカラーフィルタが交互に現れる行、および青と緑のカラーフィルタが交互に現れる行からなる。普通は、各カラーフィルタは、背後にあるセンサ素子アレイの中の1つのセンサ素子に対応する。
【発明の概要】
【課題を解決するための手段】
【０００４】
本発明のシステム、方法、およびデバイスは各々、いくつかの態様を有し、どの態様も単独で本発明の望ましい属性を担うものではない。次に、以下の特許請求の範囲によって表現されるような本発明の範囲を限定することなく、いくつかの特徴が簡単に説明される。この議論を考慮した後で、また特に「発明を実施するための形態」と題するセクションを読んだ後で、本発明の特徴が利点をどのようにして提供するのかが理解されよう。
【０００５】
一態様では、イメージセンサによって生成される画像データを画像へと変換するためのデモザイクシステムが開示される。システムは電子ハードウェアプロセッサを含み、この電子ハードウェアプロセッサは、イメージセンサのセンサ素子の構成とセンサ素子のためのフィルタの構成とを示す情報を受信し、センサ素子の構成およびフィルタの構成に基づいて変調関数を生成し、生成された変調関数に基づいて画像データを復調して画像データの色度成分および輝度成分を決定し、決定された色度成分および輝度成分に基づいて画像を生成するように構成される。
【０００６】
いくつかの態様では、電子ハードウェアプロセッサはさらに、変調関数に基づいて構成パラメータの集合を生成し、構成パラメータの集合を使用して画像データから色度成分の集合を抽出し、構成パラメータの集合を使用して色度成分をベースバンド色度成分の集合へと復調し、ベースバンド色度成分の集合を変調して搬送波周波数の集合を決定し、搬送波周波数の集合を使用して画像データから輝度成分を抽出するように構成される。画像は、抽出された輝度成分とベースバンド色度成分の決定された集合とに基づいて生成される。イメージセンサの構成はさらに、少なくとも1つのフィルタ素子を備えるフィルタ素子の周期であって、各フィルタ素子がスペクトル範囲を備え、フィルタ素子のアレイがフィルタ素子の周期の繰り返すパターンを備える、フィルタ素子の周期、イメージセンサの対応するセンサ素子のそれぞれの長さの寸法およびそれぞれの幅の寸法と異なる長さの寸法および幅の寸法を有する各フィルタ素子のサイズ、および、ダイナミックレンジセンサ素子のアレイであって、各ダイナミックレンジセンサ素子が積分時間を有する、ダイナミックレンジセンサ素子のアレイのうちの、1つまたは複数を備えることがあり、積分時間は対応するダイナミックレンジセンサ素子の感度のレベルを制御する。いくつかの態様では、変調関数の決定は、フィルタ素子の周期、各フィルタ素子のサイズ、およびダイナミックレンジセンサ素子のアレイのうちの少なくとも1つに基づく。
【０００７】
開示される別の態様は、イメージセンサによって生成された画像データを第2の画像へと変換するための方法である。方法は、イメージセンサのセンサ素子の構成とセンサ素子のためのフィルタの構成とを示す情報を受信するステップと、センサ素子の構成およびフィルタの構成に基づいて変調関数を生成するステップと、生成された変調関数に基づいて画像データを復調して画像データの色度成分および輝度成分を決定するステップと、決定された色度成分および輝度成分に基づいて第2の画像を生成するステップとを備える。いくつかの態様では、方法はまた、決定された変調関数に基づいて構成パラメータの集合を生成するステップと、構成パラメータの集合を使用して画像データから色度成分の集合を抽出するステップと、構成パラメータの集合を使用して色度成分の集合をベースバンド色度成分の集合へと復調するステップと、ベースバンド色度成分の集合を変調して搬送波周波数の集合を決定するステップと、搬送波周波数の集合を使用して画像データから輝度成分を抽出するステップとを含み、第2の画像の生成は、抽出された輝度成分とベースバンド色度成分の集合とに基づく。
【０００８】
いくつかの態様では、イメージセンサの構成は、少なくとも1つのフィルタ素子を備えるフィルタ素子の周期であって、各フィルタ素子がスペクトル範囲を備え、フィルタ素子のアレイがフィルタ素子の周期の繰り返すパターンを備える、フィルタ素子の周期、イメージセンサの対応するセンサ素子のそれぞれの長さの寸法およびそれぞれの幅の寸法と異なる長さの寸法および幅の寸法を有する各フィルタ素子のサイズ、および、ダイナミックレンジセンサ素子のアレイであって、各ダイナミックレンジセンサ素子が積分時間を有する、ダイナミックレンジセンサ素子のアレイのうちの、1つまたは複数によって定義され、積分時間は対応するダイナミックレンジセンサ素子の感度のレベルを制御する。いくつかの態様では、変調関数の決定は、フィルタ素子の周期、各フィルタ素子のサイズ、およびダイナミックレンジセンサ素子のアレイのうちの少なくとも1つに基づく。
【０００９】
開示される別の態様は、実行されると、電子ハードウェアプロセッサに、イメージセンサによって生成された画像データを第2の画像へと変換する方法を実行させる、コードを備える非一時的コンピュータ可読媒体である。方法は、イメージセンサのセンサ素子の構成とセンサ素子のためのフィルタの構成とを示す情報を受信するステップと、センサ素子の構成およびフィルタの構成に基づいて変調関数を生成するステップと、生成された変調関数に基づいて画像データを復調して画像データの色度成分および輝度成分を決定するステップと、決定された色度成分および輝度成分に基づいて第2の画像を生成するステップとを含む。いくつかの態様では、方法は、決定された変調関数に基づいて構成パラメータの集合を生成するステップと、構成パラメータの集合を使用して画像データから色度成分の集合を抽出するステップと、構成パラメータの集合を使用して色度成分の集合をベースバンド色度成分の集合へと復調するステップと、ベースバンド色度成分の集合を変調して搬送波周波数の集合を決定するステップと、搬送波周波数の集合を使用して画像データから輝度成分を抽出するステップとをさらに含む。第2の画像の生成は、抽出された輝度成分とベースバンド色度成分の集合とに基づく。
【００１０】
いくつかの態様では、イメージセンサの構成は、少なくとも1つのフィルタ素子を備えるフィルタ素子の周期であって、各フィルタ素子がスペクトル範囲を備え、フィルタ素子のアレイがフィルタ素子の周期の繰り返すパターンを備える、フィルタ素子の周期、イメージセンサの対応するセンサ素子のそれぞれの長さの寸法およびそれぞれの幅の寸法と異なる長さの寸法および幅の寸法を有する各フィルタ素子のサイズ、および、ダイナミックレンジセンサ素子のアレイであって、各ダイナミックレンジセンサ素子が積分時間を有する、ダイナミックレンジセンサ素子のアレイのうちの、1つまたは複数によって定義され、積分時間は対応するダイナミックレンジセンサ素子の感度のレベルを制御する。いくつかの態様では、変調関数の決定は、フィルタ素子の周期、各フィルタ素子のサイズ、およびダイナミックレンジセンサ素子のアレイのうちの少なくとも1つに基づく。
【００１１】
開示される別の態様は、イメージセンサによって生成された画像データを第2の画像へと変換するためのデモザイク装置である。装置は、イメージセンサのセンサ素子の構成とセンサ素子のためのフィルタの構成とを示す情報を受信するための手段と、センサ素子の構成およびフィルタの構成に基づいて変調関数を生成するための手段と、生成された変調関数に基づいて画像データを復調して画像データの色度成分および輝度成分を決定するための手段と、決定された色度成分および輝度成分に基づいて画像を生成するための手段とを含む。
【図面の簡単な説明】
【００１２】
【図１】イメージセンサの構成要素に対して1:1の比を有するRGBスペクトル成分を伴う2×2のベイヤーCFAパターンの簡略化された例を示す図である。
【図２】イメージセンサの構成要素に対して1.5:1の比を有するRGBスペクトル成分を伴う3×3のベイヤーCFAパターンの簡略化された例を示す図である。
【図３】イメージセンサの構成要素に対して1:1の比を有するRGBスペクトル成分を伴う4×4のLukac CFAパターンの簡略化された例を示す図である。
【図４】図1のフーリエスペクトル表現の例を示す図である。
【図５】図2のフーリエスペクトル表現の例を示す図である。
【図６】図3のフーリエスペクトル表現の例を示す図である。
【図７】図2のフーリエスペクトル表現およびデモザイク処理の例示的な得られる結果の例を示す図である。
【図８】図2のフーリエスペクトル表現から色度成分を抽出するためのプロセスの簡略化された例を示す図である。
【図９】色度成分の集合をフーリエスペクトルのベースバンドへと復調するためのプロセスの簡略化された例を示す図である。
【図１０】ベースバンド色度成分の集合を変調して関連する搬送波周波数の集合を得るための第1のステップの簡略化された例を示す図である。
【図１１】ベースバンド色度成分の集合を変調して関連する搬送波周波数の集合を得るための第2のステップの簡略化された例を示す図である。
【図１２】フーリエスペクトルにおいて輝度チャネルを推定する簡略化されたプロセスを示す図である。
【図１３Ａ】イメージセンサによって生成された画像データを第2の画像へと変換するための方法のフローチャートである。
【図１３Ｂ】画像を復調するための方法のフローチャートである。
【図１４Ａ】図1のモバイルデバイスのうちの1つまたは複数のワイヤレスデバイスのある実施形態を示す図である。
【図１４Ｂ】図1のモバイルデバイスのうちの1つまたは複数のワイヤレスデバイスのある実施形態を示す図である。
【図１５】上で開示された実施形態のうちの1つまたは複数を実装し得る例示的なデバイスの機能ブロック図である。
【発明を実施するための形態】
【００１３】
以下の発明を実施するための形態は、本発明のある特定の実施形態に関する。しかしながら、本発明は多数の様々な方法で具現化され得る。本明細書の態様は多種多様な形で具現化され得ること、および本明細書で開示されている任意の特定の構造、機能または両方は代表的なものにすぎないことは明らかであろう。本明細書の教示に基づいて、本明細書で開示される態様は他の任意の態様から独立して実装されることがあり、これらの態様のうちの2つ以上は様々な方法で結合されることがあることを、当業者は理解されたい。たとえば、本明細書に記載された任意の数の態様を使用して、装置が実装されることがあり、または方法が実施されることがある。さらに、他の構造、機能、または、本明細書に記載された態様のうちの1つもしくは複数に加えて、または、それら以外の構造および機能を使用して、そのような装置が実装されることがあり、またはそのような方法が実施されることがある。
【００１４】
本明細書において説明される例、システム、および方法はデジタルカメラ技術に関して説明されるが、他のイメージング技術においても実装され得る。本明細書において説明されるシステムおよび方法は、様々な異なる感光性デバイスまたはイメージセンサ上で実装され得る。これらは、汎用もしくは専用の、イメージセンサ、環境、または構成を含む。本発明とともに使用するのに適していることがある感光性デバイス、環境、および構成の例は、限定はされないが、CMOS技術またはN型金属酸化物半導体(NMOS)技術の半導体電荷結合デバイス(CCD)もしくはアクティブセンサ素子を含み、これらのすべてが、限定はされないが、デジタルカメラ、ハンドヘルドデバイスまたはラップトップデバイス、およびモバイルデバイス(たとえば、電話、スマートフォン、携帯情報端末(PDA)、ウルトラモバイルパーソナルコンピュータ(UMPC)、およびモバイルインターネットデバイス(MID))を含む様々な用途に適当であり得る。
【００１５】
ベイヤーパターンはもはや、イメージングセンサ業界において使用されている唯一のパターンではない。複数のCFAパターンが最近、優れたスペクトル圧縮性能、改善された信号対雑音比、またはHDRイメージングを行う能力により、人気を得ている。
【００１６】
修正されたデモザイクアルゴリズムを必要とする代替的なCFA設計が、より普遍的になってきている。新しいCFA構成は、(1)より小さなセンサ素子に対する消費者の需要、および(2)進化したイメージセンサ構成により、人気を得ている。新しいCFA構成は、標準的なベイヤー構成から離れて、従来のベイヤーRGBスペクトル以外のスペクトルの色、白のセンサ素子、または新しいカラーフィルタサイズを使用する、カラーフィルタ配置を含む。たとえば、新しいカラーフィルタ配置は、通常のベイヤーRGB構成よりも大きな範囲の光波長にセンサ素子を露出することがあり、RGB、ならびにシアン、黄、および白の波長(RGBCYW)を含むことがある。そのような配置は、均一なサイズのセンサ素子を有するイメージセンサに含まれ得る。他の配置は、異なるサイズのセンサ素子、したがって異なるサイズのカラーフィルタのパターンを含み得る。さらに、より小さなセンサ素子に対する業界の需要が、標準的な1:1のカラーフィルタとセンサ素子の比を変化させる動機を作り出しており、複数のセンサ素子に重畳し得るカラーフィルタをもたらしている。
【００１７】
非ベイヤーCFAセンサは、スペクトルエネルギーのより優れた圧縮、ローライトイメージングのための改善された信号対雑音比を実現する能力、またはハイダイナミックレンジ(HDR)イメージングを行う能力を有し得る。出現しつつある非ベイヤーCFAセンサの適応に対するボトルネックは、新しいパターンをデモザイクできる効率的で高品質な色補間アルゴリズムが利用可能ではないことである。それぞれの提案されるCFAパターンに対して新しいデモザイクアルゴリズムを設計することが課題である。
【００１８】
現在のイメージセンサはまた、従来の手段によってデモザイクすることができない生の画像を作成することがある。たとえば、ハイダイナミックレンジ(HDR)イメージセンサは、標準的なデジタルイメージング技法または写真技法を用いて可能な、光度のより大きなダイナミックレンジを作り出す。これらのイメージセンサは、センサ素子自体の中により大きなダイナミックレンジ能力を有する。そのようなセンサ素子は本質的に非線形であるので、センサ素子はより小さなダイナミックレンジへのシーンの非線形の圧縮を介したシーンの広いダイナミックレンジを表す。
【００１９】
本明細書において開示されるのは、様々なカラーフィルタアレイセンサから得られる生のデータをデモザイクするように動的に構成され得る、補間および分類フィルタを提供する方法およびシステムである。補間および分類フィルタの集合は、1つまたは複数の所与のカラーフィルタアレイに適合される。いくつかの実装形態では、カラーフィルタは、純粋なRGBであることがあり、またはRフィルタとGフィルタとBフィルタの線形の組合せを含むことがある。
【００２０】
「例示的な」という語は、本明細書では、「例、実例、または例証として機能する」を意味するために使用される。「例示的」として本明細書において説明されるいかなる実施形態も、他の実施形態よりも好ましい、または有利であると必ずしも解釈されるべきでない。
【００２１】
「直接的な統合」という用語は、有線接続またはワイヤレス接続を通じた2つ以上の構成要素(たとえば、プロセッサおよびイメージセンサ)の間の電力またはデータの接続を含むことがあり、ここで2つの構成要素は直接のリンクにおいてデータを移送および/または受信する。
【００２２】
「間接的な接続」という用語は、2つ以上の構成要素(たとえば、プロセッサおよびイメージセンサ)の間の1つまたは複数の中間デバイス、または互いに直接の接続を有しない構成要素を構成し得るデバイスを通じた、電力またはデータの接続を含み得る。
【００２３】
本明細書において、「実質的に」という用語は、別段に述べられない限り、表現される測定値の10%以内を示すために使用される。
【００２４】
「カラーフィルタアレイ」、「フィルタアレイ」、および「フィルタ要素」という語は、広範な用語であり、可視および非可視の光の波長を含む、電磁放射のスペクトルをフィルタリングすることと関連付けられる任意の形式のフィルタリング技術を意味するために本明細書において使用される。
【００２５】
「カラーフィルタアレイ」またはCFAという用語は、「フィルタアレイ」、「カラーフィルタ」、「RGBフィルタ」、または「電磁放射フィルタアレイ」と呼ばれ得る。フィルタが赤のフィルタ、青のフィルタ、または緑のフィルタと呼ばれるとき、そのようなフィルタは、赤、青、または緑の色とそれぞれ関連付けられる1つまたは複数の波長を有する光を通すように構成される。
【００２６】
「それぞれの」という用語は、対象と関連付けられる対応する装置を意味するために本明細書において使用される。フィルタがある色に対して言及されるとき(たとえば、赤のフィルタ、青のフィルタ、緑のフィルタ)、そのような用語は、光のその色のスペクトル(たとえば、その色と一般に関連付けられる光の波長)を通すように構成されるフィルタを指す。
【００２７】
図1は、RGBカラーフィルタとセンサ素子との、標準的な1:1のサイズ比を使用する、従来の2×2のベイヤーCFAパターン100の第1の例示的な構成を示す。CFAパターン100は、4つのより小さな正方形101〜104からなる正方形であり、4つのより小さな正方形101〜104の各々は、個々のセンサ素子と個々のカラーフィルタの両方を表す。第1のセンサ素子101は、第1のセンサ素子101に重畳する緑のカラーフィルタを意味する文字「G」で標識されている。第2のセンサ素子102は、第2のセンサ素子102に重畳する赤のカラーフィルタを意味する文字「R」で標識されている。第3のセンサ素子103は、第3のセンサ素子103に重畳する青のカラーフィルタを意味する文字「B」で標識されている。第4のセンサ素子104は再び、第4のセンサ素子104に重畳する緑のカラーフィルタを意味する文字「G」で標識されている。
【００２８】
イメージセンサ構成100は、センサ素子(101、102、103、104)の長さおよび幅の寸法と実質的に等しい長さおよび幅の寸法を有する、カラーフィルタ素子を含む。
【００２９】
図2は、ベイヤーカラーフィルタ構成を有する3×3のセンサ素子アレイ205の第2の例示的な構成200を示す。ベイヤーカラーフィルタ構成200は、センサ素子サイズの1.5倍のベイヤーカラーフィルタ素子を含む。構成200は、破線で輪郭が描かれている9個のより小さな正方形からなり、より小さな正方形は3×3の構成の中のセンサ素子を表す。3×3のセンサ素子アレイ205に重畳するのは、実線からなるより大きな正方形の2×2のパターンであり、各々のより大きな正方形は、カラーフィルタ素子を表し、英字の文字で標識されている。「G」と標識される第1のフィルタ素子201は、緑の光のスペクトルを通す。「R」と標識される第2のフィルタ素子202は、赤の光のスペクトルを通す。「B」と標識される第3のフィルタ素子203は、青の光のスペクトルを通す。「G」と標識される第4のフィルタ素子204は、緑の光のスペクトルを通す。
【００３０】
構成200の中のフィルタ素子は、センサ素子の対応する長さおよび幅の寸法より1.5倍大きな長さおよび幅の寸法を有し得るので、2×2のベイヤーCFAパターン100より広いスペクトル範囲をもたらす。
【００３１】
図3は、RGBカラーフィルタとセンサ素子との、標準的な1:1のサイズ比を使用する、Lukacパターンを有する4×4のセンサ素子アレイの第3の例示的な構成300を示す。構成300は、4×4の構成で編成される、16個のセンサ素子301〜316からなる。要素301〜316は「G」、「R」、または「B」で標識され、緑、赤、または青のカラーフィルタとそれぞれ重畳されることを示す。
【００３２】
図1、図2、および図3の例示的な構成は各々、一周期分のフィルタ素子として説明され得る。フィルタ素子の周期的な配置は、イメージセンサとともに使用するための(かつ/またはイメージセンサに組み込まれる)CFAを作り出するために、何回か繰り返されイメージセンサアレイに重畳され得る、簡略化できない最小のパターンを表す。フィルタ素子の周期的な配置は1つまたは複数のフィルタ素子を備えることがあり、各フィルタ素子は、ある波長またはある波長の範囲の光がフィルタ素子を通れるように構成される。
【００３３】
イメージセンサ構成の情報は、CFAの中の各フィルタ素子のサイズ、フィルタ素子の周期性、各フィルタ素子のサイズ、および/または各センサ素子のサイズを含み得る。各フィルタ素子は、ある長さの寸法および幅の寸法を有するものとして定義され得る。対応する1つまたは複数のセンサ素子は、実質的に同一の幅および長さの寸法、または異なる寸法を有し得る。加えて、イメージセンサは、ダイナミックレンジセンサ素子のアレイを含むように構成されることがあり、各ダイナミックレンジセンサ素子は積分時間を有し、ここで積分時間は露出される放射に対するセンサ素子の実効的な感度を制御する。
【００３４】
図4は、上で説明された、RGBカラーフィルタとセンサ素子との、標準的な1:1のサイズ比を使用する、従来の2×2のベイヤーCFAパターン100の第1の例示的な構成に対する、シングルプレーンスペクトル画像400を示す。シングルプレーンスペクトル画像400は、本開示全体で
【００３５】
【数１】
2018523949.tif 000003
【００３６】
として数学的な項としても言及され得る。シングルプレーンスペクトル画像400は、等しい長さおよび幅の正方形406によって表される。正方形406はフーリエ領域上の周波数プレーンを表すことができ、ここで、正方形406の辺は例示的な2×2のベイヤーCFAパターン100のための周波数範囲の制限を表す。正方形の周波数範囲は、fx404およびfy405の矢印によってそれぞれ示される、x軸およびy軸の属性を有する。
【００３７】
正方形406の4つの周囲の辺に沿って、シングルプレーンスペクトル画像400の例示的な第1の色度成分401および第2の色度成分402がある。色度成分401および402は、色度チャネルがフーリエ領域の中に存在する例示的なエリアを示す。輝度成分403は、フーリエ領域の中の輝度の大きさの例示的なエリアを示す。この例では、色度成分401、402、および輝度成分403は、輝度成分403および色度成分(401, 402)に対応するスペクトル周波数の識別を容易に見ることができるようにするために提示される。図示されるシングルプレーンスペクトル画像400は、LC1C2領域とも呼ばれ得る。
【００３８】
図4のシングルプレーンスペクトル画像400は、上で論じられた2×2のベイヤーCFAパターン100によって作成される例示的なベイヤーCFAスペクトルを示す。図4は、この特定のイメージセンサ構成100を定義するセンサ素子に対する相対的なカラーフィルタの周期の位置およびサイズが、出力画像400のCFA信号の周波数領域の表現にどのように影響するかを例示する。この場合、例示的なベイヤーCFAスペクトル400の周波数領域の表現は、ベースバンド周波数における輝度成分403(たとえば、(0, 0))と、第1の色度成分401の集合および第2の色度成分402の集合とを備える。ここで、輝度成分403は空間周波数(0, 0)における空間領域のベースバンドに存在するが、C1 401成分は(0, 0.5)、(0.5, 0)、(0, -0.5)、および(-0.5, 0)の周波数に存在することがあり、C2 402成分は(-0.5, 0.5)、(0.5, 0.5)、(0.5, -0.5)、および(-0.5, -0.5)の周波数に存在することがある。しかしながら、図4は1つの例にすぎず、様々なイメージセンサ構成が、様々なCFAスペクトルを有する様々なシングルプレーンスペクトル画像を伴う生の画像をもたらし得る。
【００３９】
図5は、ベイヤーカラーフィルタ構成を伴う3×3のセンサ素子アレイ205を有する第2の例示的な構成200から導かれる、例示的なシングルプレーンスペクトル画像500を示す。シングルプレーンスペクトル画像500は、より小さな正方形500を含む大きなより外側の正方形504を含む。正方形504の周波数範囲は、fx405およびfy404の矢印によってそれぞれ示される、x軸およびy軸の属性を有する。大きなより外側の正方形504はフーリエ領域上の周波数プレーンを表すことができ、ここで正方形504の辺はベイヤーカラーフィルタ構成を有する例示的な3×3のセンサ素子アレイ205のための周波数範囲の制限を表す。より小さな正方形505は、シングルプレーンスペクトル画像500の第1の色度成分501および第2の色度成分502を含み得る、シングルプレーンスペクトル画像500の空間周波数範囲を表す。輝度成分503は、フーリエ領域の中の輝度の大きさの例示的なエリアを示す。図示されるシングルプレーンスペクトル画像500は、LC1C2領域とも呼ばれ得る。
【００４０】
図5は、輝度成分503がベースバンド周波数範囲を占有し、一方で第1の色度成分501および第2の色度成分502がより小さな正方形505の周波数の制限のもとで変調されることを示す。ベイヤー構成のカラーフィルタを有する3×3のセンサ素子アレイ205がセンサ素子200のサイズの1.5倍である場合、色度成分は-0.33から0.33の空間周波数範囲における周波数プレーンに位置し得る。たとえば、第1のチャネルの色度成分501は(0, 0.33)、(0.33, 0)、(0, -0.33)、および(-0.33, 0)の周波数に存在することがあり、第2のチャネルの色度成分502は(-0.33, 0.33)、(0.33, 0.33)、(0.33, -0.33)、および(-0.33, -0.33)の周波数に存在することがある。このシングルプレーンスペクトル画像500においては、輝度成分503と色度成分501、502との間に干渉またはクロストークが存在し得ることに留意されたい。このクロストークは、輝度成分503と第1の色度成分501との間で最強であり得る。
【００４１】
図6は、上で説明された、RGBカラーフィルタとセンサ素子との、標準的な1:1のサイズ比を使用する、Lukacパターンを有する4×4のセンサ素子アレイ300に対するシングルプレーンスペクトル画像600の例を示す。シングルプレーンスペクトル画像600は、より小さな正方形605を含む大きなより外側の正方形604とともに表されている。より小さな正方形605は、シングルプレーンスペクトル画像600の空間周波数範囲を表す。シングルプレーンスペクトル画像600の色度成分601および602は、正方形605の4つの周囲の辺に沿っている。色度成分は、六角形の形で編成されており、C1 601およびC2 602として標識されている2つの色差成分として表されている。より小さな正方形の両方の水平方向を向いている辺またはセグメントが、両方ともC2 602と標識されている2つの色度成分を含んでおり、各成分がセグメントの端の方に位置している。より小さな正方形の両方の垂直方向を向いている辺またはセグメントが、各々C1 601と標識されている1つの色度成分を含んでおり、各成分がセグメントの中央に位置している。より小さな正方形の中央に位置しているのは、輝度成分603を表す単一の円であり、これは、輝度成分603がフーリエ領域の中に存在するような強さの例示的なエリアを示している。図示されるシングルプレーンスペクトル画像400は、LC1C2領域とも呼ばれ得る。この円はLと標識されている。正方形の周波数範囲は、fx604およびfy605の矢印によってそれぞれ示される、x軸およびy軸の属性を有する。
【００４２】
図6は、輝度がベースバンドを占有し、一方で、より小さな正方形によって表されるシングルプレーンスペクトル画像600の空間周波数範囲の周波数の制約のもとで色度が変調されることを示している。4×4のセンサ素子アレイ300の構成のいくつかの態様では、色度は、-0.25から0.25という空間周波数範囲にある周波数プレーンの中に位置し得る。たとえば、いくつかの態様では、色度成分C1は空間周波数(0, 0)において変調されることがあり、第2の色度成分C2は空間周波数(-0.25, 0.25)において変調されることがある。シングルプレーンスペクトル画像600は、成分間の干渉またはクロストークを含み、クロストークは輝度603と変調された色度成分C1およびC2との間で最強であり得る。
【００４３】
図7は、シングルプレーンスペクトル画像500のデモザイクを示す。この例では、シングルプレーンスペクトル画像500は、トリプルプレーンRGB画像700を作成するために、以下で図13Aを参照して論じられる方法1300によって処理される。デモザイク方法1300から得られるデモザイクされた画像700は、トリプルプレーンRGB画像700を含み得るが、この例は限定的であるものと見なされるべきではない。得られるデモザイクされた画像は、任意のカラーモデル(たとえば、CMYK)であることがあり、複数のスペクトルプレーンまたは単一のプレーンに存在することがある。
【００４４】
さらに図7の例について、デモザイク方法1300は一般に、CFAパターンの周期によって定義されるイメージセンサ構成を使用して、その特定のCFAパターンを使用してイメージセンサによって作成されるシングルプレーンスペクトル画像400の色度成分401、402および輝度成分403に対応するデータ点を変換する。以下の式1は、CFAパターン
【００４５】
【数２】
2018523949.tif 000004
【００４６】
の、輝度成分403および色度成分401、402
【００４７】
【数３】
2018523949.tif 000005
【００４８】
を用いた表現を可能にし、ここで、
【００４９】
【数４】
2018523949.tif 000006
【００５０】
は、水平方向の場所(n1)および垂直方向の場所(n2)を有する2次元の正方形の格子404上の空間座標に対するアドレスを表す。ベイヤーCFAパターン100を例として使用すると、点
【００５１】
【数５】
2018523949.tif 000007
【００５２】
におけるデータ値は、以下の式によって表され得る。
【００５３】
【数６】
2018523949.tif 000008
【００５４】
ただし、
【００５５】
【数７】
2018523949.tif 000009
【００５６】
例として、ベイヤーCFAパターン100のLC1C2からRGBへの変換は、
【００５７】
【数８】
2018523949.tif 000010
【００５８】
によって与えられることがあり、ここで、
L: シングルプレーンスペクトル画像の輝度成分、
C1: シングルプレーンスペクトル画像の第1のカラーチャネルの色度成分、
C2: シングルプレーンスペクトル画像の第2のカラーチャネルの色度成分、
R, G, B: 赤、緑、青である。
【００５９】
式1のフーリエ変換をとると、ベイヤーCFAパターン100は、
【００６０】
【数９】
2018523949.tif 000011
【００６１】
としてスペクトル領域において表され得る。したがって、空間領域の変調関数
【００６２】
【数１０】
2018523949.tif 000012
【００６３】
は、正規化された周波数
【００６４】
【数１１】
2018523949.tif 000013
【００６５】
および
【００６６】
【数１２】
2018523949.tif 000014
【００６７】
を有する2次元の搬送波において第1のチャネルの色度成分401、C1を符号化し、別の空間領域の変調関数
【００６８】
【数１３】
2018523949.tif 000015
【００６９】
は、正規化された周波数
【００７０】
【数１４】
2018523949.tif 000016
【００７１】
を有する2次元の搬送波において第2のチャネルの色度成分402、C2を符号化する。任意のCFAパターンについて上の等式(1)から(3)を導出することが、以下で論じられる。
【００７２】
図8は、フィルタの集合800、801、802、803を使用して色度成分501、502を抽出するためにシングルプレーンスペクトル画像500をフィルタリングするための例示的な方法を示す。この例示的な実施形態では、フィルタの集合800、801、802、803は、特定のCFAパターンに適合されたハイパスフィルタ
【００７３】
【数１５】
2018523949.tif 000017
【００７４】
および
【００７５】
【数１６】
2018523949.tif 000018
【００７６】
のペアであり得る。変調された色度成分を抽出するために、所与のCFAパターン
【００７７】
【数１７】
2018523949.tif 000019
【００７８】
からの各
【００７９】
【数１８】
2018523949.tif 000020
【００８０】
\(0,0)に対して、
【００８１】
【数１９】
2018523949.tif 000021
【００８２】
である。いくつかの態様では、フィルタリングの式は、
【００８３】
【数２０】
2018523949.tif 000022
【００８４】
であることがあり、ただし、
【００８５】
【数２１】
2018523949.tif 000023
【００８６】
: 点
【００８７】
【数２２】
2018523949.tif 000024
【００８８】
のカラーチャネルiにおける抽出された色度成分、
【００８９】
【数２３】
2018523949.tif 000025
【００９０】
: 点
【００９１】
【数２４】
2018523949.tif 000026
【００９２】
におけるCFAデータ値、
【００９３】
【数２５】
2018523949.tif 000027
【００９４】
: 点
【００９５】
【数２６】
2018523949.tif 000028
【００９６】
に対するハイパスフィルタ、フーリエ領域における点のアドレスは、空間的に不変のフィルタ(すなわち、センサ全体で一貫したパターン)を示すフィルタ係数をインデクシングするために使用される差分として記述され、
【００９７】
【数２７】
2018523949.tif 000029
【００９８】
: フーリエスペクトルにおいて表される第1の画像の中の点
【００９９】
【数２８】
2018523949.tif 000030
【０１００】
に隣接する点、
【０１０１】
【数２９】
2018523949.tif 000031
【０１０２】
: スペクトル領域における点、これは2dの格子上の整数(x, y)であり、2dの格子はフーリエ変換のスペクトル領域である。
【０１０３】
この例では、初期ハイパスフィルタ
【０１０４】
【数３０】
2018523949.tif 000032
【０１０５】
は色度成分の水平方向の集合をフィルタリングし得るが、後続のフィルタ
【０１０６】
【数３１】
2018523949.tif 000033
【０１０７】
は周波数領域から色度成分の垂直方向の集合をフィルタリングし得る。
【０１０８】
図9は、復調関数を使用して、図8からの抽出された色度成分804、805、806、807を、ベースバンド色度成分901、902、903、904へと変調することを示す。これは、分析的に導出された変調関数
【０１０９】
【数３２】
2018523949.tif 000034
【０１１０】
および
【０１１１】
【数３３】
2018523949.tif 000035
【０１１２】
を使用して実現され得る。変調操作は、以下に示されるような式(6)によって記述される。
【０１１３】
【数３４】
2018523949.tif 000036
【０１１４】
ただし、
【０１１５】
【数３５】
2018523949.tif 000037
【０１１６】
: 点
【０１１７】
【数３６】
2018523949.tif 000038
【０１１８】
における抽出された色度成分、ここでこの成分のチャネルはiに等しく、
【０１１９】
【数３７】
2018523949.tif 000039
【０１２０】
: 色度チャネルのための変調関数、このチャネルはiに等しい。
【０１２１】
図9は、変調関数から導出されたハイパスフィルタリングを使用して抽出された色度成分の、ベースバンド色度成分の集合への復調を示す。上で説明されたように、抽出された色度成分は、C1の垂直方向および水平方向の要素、ならびにC2の対角方向の要素を備える。図5におけるフーリエ表現500と同様に、抽出された色度成分は4つの正方形804、805、806、807として示されており、各正方形は図2のベイヤー3×3センサ素子アレイ200によって作成される画像のフーリエ表現である。4つの正方形804、805、806、807は各々、より小さな正方形812、813、814、815をそれぞれ含み、ここでより小さな正方形812、813、814、815は、画像の色度成分を含み得るシングルプレーンスペクトル画像500の空間周波数範囲を表す。第1の正方形804の内側のより小さな正方形812の4つの周囲の辺のうちの2つに沿って、シングルプレーンスペクトル画像500の色度成分を表す2つの円808がある。これらの円808は水平方向のC1成分を表し、このC1成分はより小さな正方形812の左と右の辺の上にある。第2の正方形805の内側のより小さな正方形813の4つの周囲の辺のうちの2つに沿って、シングルプレーンスペクトル画像500の色度成分を表す円809がある。これらの円809は垂直方向のC1成分を表し、このC1成分はより小さな正方形813の上と下の辺の上にある。第3の正方形806の内側のより小さな正方形814の4つの角のうちの2つの上に、シングルプレーンスペクトル画像500の色度成分を表す円810が位置している。これらの円810は対角方向のC2成分を表し、このC2成分はより小さな正方形814の右上と左下の角を占有する。第4の正方形807の内側のより小さな正方形815の4つの角のうちの2つの上に、シングルプレーンスペクトル画像500の色度成分を表す円811が位置している。これらの円811は対角方向のC2成分の別の集合を表し、このC2成分はより小さな正方形815の左上と右下の角を占有する。
【０１２２】
図9は、抽出された色度成分804、805、806、807の復調にそれぞれ続く、ベースバンド色度成分901、902、903、904の集合をさらに示す。たとえば、第1のベースバンド色度成分905は、より小さな正方形909を収容する大きな正方形901によって表される。復調関数913に続いて、抽出された色度成分804の第1の集合の中の色度成分808の集合が、ベースバンド色度成分905へと統合される。しかしながら、対応する抽出された色度成分808とは対照的に、ベースバンド色度成分は、第1のカラーチャネルの色度成分905を指す、C1と標識された、ベースバンド周波数において存在する単一の色度成分905を含む。同様に、第2のベースバンド色度成分906は、より小さな正方形910を収容する大きな正方形902によって表される。復調関数914に続いて、抽出された色度成分805の第1の集合の中の色度成分809の集合が、ベースバンド色度成分906へと統合される。しかしながら、対応する抽出された色度成分809とは対照的に、ベースバンド色度成分は、第1のカラーチャネルの色度成分906を指す、C1と標識された、ベースバンド周波数において存在する単一の色度成分906を含む。
【０１２３】
さらに図9について、第3のベースバンド色度成分907は、より小さな正方形911を収容する大きな正方形903によって表される。復調関数915に続いて、抽出された色度成分806の第1の集合の中の色度成分810の集合が、ベースバンド色度成分907へと統合される。しかしながら、対応する抽出された色度成分810とは対照的に、ベースバンド色度成分は、第2のカラーチャネルの色度成分907を指す、C2と標識された、ベースバンド周波数において存在する単一の色度成分907を含む。同様に、第4のベースバンド色度成分908は、より小さな正方形912を収容する大きな正方形904によって表される。復調関数916に続いて、抽出された色度成分807の第1の集合の中の色度成分811の集合が、ベースバンド色度成分908へと統合される。しかしながら、対応する抽出された色度成分811とは対照的に、ベースバンド色度成分は、第2のカラーチャネルの色度成分908を指す、C2と標識された、ベースバンド周波数において存在する単一の色度成分908を含む。
【０１２４】
図10は、複数のベースバンド色度成分905、906、907、908を、2つのカラーチャネルの各々1つのための単一のベースバンド色度成分1005、1006へと統合するための、例示的な変調917、918を示す。図10は、図9に関して上で説明された、第1のベースバンド色度成分905、第2のベースバンド色度成分906、第3のベースバンド色度成分907、および第4のベースバンド色度成分908の集合を含み、変調関数の集合も含む。第1のカラーチャネル905、906のベースバンド色度成分は、同じ変調関数によって変調されることがあり、または代替的に、イメージセンサの構成に従った周波数または係数の異なる集合に基づく変調関数の別個の集合を使用して変調されることがある。この例では、第1のカラーチャネル917のための複数の変調関数は同一であり、第2のカラーチャネル918のための複数の変調関数も同一である。図10はまた、第1のカラーチャネルからの変調された成分の加算と、第2のカラーチャネルの変調された成分の加算とを示す、中央にプラス記号(+)がある円の2つの実例を含む。第1のチャネルのベースバンド色度成分905、906の第1の加算1001の結果として、第1のチャネルの色度搬送波周波数1005が生成され得る。同様に、第2のチャネルのベースバンド色度成分907、908の第2の加算1002の結果として、第2のチャネルの色度搬送波周波数1006が生成され得る。ベースバンド信号は、次の式を用いて表され得る。
【０１２５】
【数３８】
2018523949.tif 000040
【０１２６】
ただし、
【０１２７】
【数３９】
2018523949.tif 000041
【０１２８】
: 色度成分の各カラーチャネルのための変調されたベースバンド色度信号、
【０１２９】
【数４０】
2018523949.tif 000042
【０１３０】
: 色度成分の各カラーチャネルのためのベースバンド色度信号、
【０１３１】
【数４１】
2018523949.tif 000043
【０１３２】
: CFAパターンの周期を表す変調関数。
【０１３３】
図11は、上で説明された第1のカラーチャネル1005および第2のカラーチャネル1006のための2つの色度搬送波周波数、ならびに、第1のカラーチャネルの色度成分のための変調関数1007および第2のカラーチャネルの色度成分のための変調関数1008を示す。第1のカラーチャネルの色度成分1005は、完全な第1のチャネルの色度成分1101を作り出すために変調され得る。同様に、第2のカラーチャネルの色度成分1006は、完全な第2のチャネルの色度成分1102を作り出すために変調され得る。
【０１３４】
図12は、図2に示される3×3のベイヤーパターン200によって作成されるシングルプレーンスペクトル画像500から輝度成分1225を抽出する、例示的な抽出プロセス1200を概略的に示す。抽出プロセス1200の第1の部分1202において、第1の色度成分1210はシングルプレーンスペクトル画像500から抽出される。抽出プロセス1200の第2の部分1204において、第2の色度成分1212はシングルプレーンスペクトル画像500から抽出される。
【０１３５】
ブロック1206は、完全チャネル画像のベースバンド輝度成分1225を含み、これは、以下の式を使用して推定され得る。
【０１３６】
【数４２】
2018523949.tif 000044
【０１３７】
ただし、
【０１３８】
【数４３】
2018523949.tif 000045
【０１３９】
: 色度成分の第1のカラーチャネルのための変調されたベースバンド色度信号1210、
【０１４０】
【数４４】
2018523949.tif 000046
【０１４１】
: 色度成分の第2のカラーチャネルのためのベースバンド色度信号1210、
【０１４２】
【数４５】
2018523949.tif 000047
【０１４３】
: 推定されるベースバンド輝度成分1225。
【０１４４】
図13Aは、イメージセンサによって生成された画像データを第2の画像へと変換するためのプロセス1300の例のフローチャートを示す。いくつかの態様では、画像データは、上で論じられた画像100、200、または300のいずれかを備え得る。いくつかの態様では、画像データは、イメージセンサ素子および重畳するカラーフィルタの任意の構成を伴う、任意のシングルプレーン画像であり得る。いくつかの態様では、画像データは、上で論じられた画像100、200、または300の一部分などの、完全な画像の一部分にすぎないことがある。
【０１４５】
上で論じられたように、ベイヤーパターンはもはや、センサ業界における支配的なカラーフィルタアレイ(CFA)パターンではない。1)カラーフィルタの配置、たとえば白画素センサ、Lucas、PanChromaticなど、2)カラーフィルタサイズに基づく構成、たとえば画素サイズが2倍であるカラーフィルタを含む構成、画素サイズが1.5倍であるカラーフィルタを含む構成など、および3)露出に基づくハイダイナミックレンジ(HDR)センサを含む、複数のカラーフィルタアレイ(CFA)パターンが人気を得ている。プロセス1300は、事実上にあらゆるカラーフィルタアレイパターンから得られるデータをデモザイクできる、ハードウェアが扱いやすい汎用的なデモザイク処理を提供する。
【０１４６】
任意のCFAパターンを仮定すると、プロセス1300はまず、CFA画像のスペクトルを決定し得る。CFAスペクトルは、モザイク化操作が基本的には周波数変調操作であることを示している。いくつかの態様では、画像の輝度成分はベースバンドに存在するが、画像の色度成分は高い周波数で変調される。CFAスペクトルが導出された後で、プロセス1300は、今後のモザイク化操作を特徴付け得る、変調搬送波周波数および変調係数を導出し得る。変調搬送波周波数および変調係数が与えられると、プロセス1300は次いで、デモザイク操作を実行するための、空間領域方向フィルタ、空間領域変調関数、および空間領域復調関数のうちの1つまたは複数を導出し得る。
【０１４７】
いくつかの態様では、プロセス1300は、以下で説明される関数のうちの1つまたは複数を実行するように電子ハードウェアプロセッサを構成する命令によって実施され得る。たとえば、いくつかの態様では、プロセス1300は、図14に関して以下で論じられるデバイス1600によって実施され得る。プロセス1300は特定の順序の一連のブロックとして以下で説明されるが、いくつかの態様では、以下で説明されるブロックの1つまたは複数が省略されることがあり、かつ/または、ブロックのうちの2つ以上の実行の相対的な順序が以下で説明されるものとは異なることがあることを、当業者が認識するであろうことに留意されたい。
【０１４８】
ブロック1305は、イメージセンサのセンサ素子の構成とセンサ素子のためのフィルタの構成とを示す情報を受信する。たとえば、ブロック1305において受信された情報は、イメージセンサ構成が上で論じられた構成100、200、300のうちのいずれか1つであることを示し得る。代替的に、イメージセンサ構成は任意の他のセンサ構成であり得る。いくつかの実装形態では、イメージセンサ構成はセンサ素子のアレイを備えることがあり、各センサ素子は放射を受信するための表面を有し、各センサ素子はセンサ素子に入射する放射に基づいて画像データを生成するように構成される。イメージセンサ構成は、センサ素子のアレイの中のセンサ素子に向かって伝播する放射をフィルタリングするために、センサ素子のアレイに隣接して配設されるフィルタ素子のアレイを含むCFAパターンを含み得る。
【０１４９】
いくつかの態様では、イメージセンサ構成は、ブロック1305において動的に導出され得る。いくつかの実施形態では、イメージセンサ構成は、センサ素子のアレイに対応するCFAパターンを定義する情報(たとえば、CFAの配置、CFAの繰り返されるパターンの中のフィルタ素子の周期性、フィルタ素子の長さの寸法、フィルタ素子の幅の寸法)を使用して決定され得る。1つの例示的な実施形態では、イメージセンサ構成を決定することは、イメージセンサ(CFAを含む)のハードウェア構成が決定される際に根拠となる情報を受信するように構成されるプロセッサを含み得る。いくつかの例では、プロセッサは、イメージセンサのハードウェア構成を示す情報を受信し、受信された情報を使用してルックアップテーブルまたは他の記憶されている情報にアクセスすることによりハードウェア情報を決定し得る。いくつかの例示的な実施形態では、イメージセンサは構成データをプロセッサに送信し得る。さらに別の例示的な実施形態では、イメージセンサ構成を定義する1つまたは複数のパラメータは、ハードコーディングまたは事前決定され、プロセス1300を実行する電子プロセッサによって記憶位置から動的に読み取られる(またはアクセスされる)ことがある。
【０１５０】
ブロック1310は、イメージセンサ構成に基づいて変調関数を生成し、イメージセンサ構成は、イメージセンサのセンサ素子の構成とセンサ素子のためのフィルタの構成とを示す情報を少なくとも含む。上で論じられた様々な例示的なイメージセンサ構成は、特定の1つのイメージセンサ構成に固有の部分格子の集合の生成を可能にし得る。所与のイメージセンサ構成の部分格子パラメータはイメージセンサの属性の集合であり、これらの属性の集合の1つまたは複数が、イメージセンサ構成のための関連する変調関数を生成するために使用され得る。いくつかの態様では、部分格子パラメータは、1つまたは複数の変調周波数および/または変調係数の集合を生成するために使用され得る。これらの生成された成分のうちの1つまたは複数が、その特定のイメージセンサによって出力される生の画像データをデモザイクするために使用され得る。部分格子パラメータは、以下の成分のうちの1つまたは複数からなり得る。
【０１５１】
et記号Ψは、CFAパターンのスペクトル成分を表す。これは、センサ素子が露出される波長の範囲であることがあり、CFAパターンの周期の中の各センサ素子に重畳するフィルタ素子または複数のフィルタ素子と直接関連し得る。
【０１５２】
({BS}S∈Ψ)を、CFAパターンの周期と関連付けられる傍系のベクトルを表すものとする。たとえば、図1の従来の2×2のベイヤーパターン100は、あるCFA周期の中で4つの固有のアドレス(たとえば、4つのセンサ素子)を有し、ここで各アドレスは水平方向の属性および垂直方向の属性を有する位置として特徴付けられる。たとえば、2×2のパターンは2次元の直交座標系と関連付けられることがあり、ここで2×2のパターンの左下のセンサ素子103は、原点、すなわちアドレス(0, 0)に対応する。左下のセンサ素子103は緑のフィルタ素子と関連付けられており、その特定のセンサ素子における傍系のベクトルはBG={(0, 0)}をもたらす。そうすると、赤の波長に露出される左下のイメージセンサ103のすぐ上のセンサ素子102はアドレス(0, 1)に対応し、傍系のベクトルBR={(0, 1)}をもたらす。青の波長に露出される左下のセンサ素子103のすぐ右のセンサ素子104はアドレス(1, 0)に対応し、傍系のベクトルBB={(1, 0)}をもたらし、そのすぐ上のセンサ素子102はアドレス(1, 1)に対応し、BG={(1, 1)}をもたらす。センサ素子102も緑のフィルタ素子と関連付けられているので、緑のスペクトル範囲のための傍系のベクトルはBG={(0, 0), (1, 1)}をもたらす。
【０１５３】
格子行列、または生成行列(matrix generator)は(M)によって表される。いくつかの態様では、生成行列(M)は、2つのアドレス
【０１５４】
【数４６】
2018523949.tif 000048
【０１５５】
および
【０１５６】
【数４７】
2018523949.tif 000049
【０１５７】
の対角方向の表現であることがあり、2×2の行列をもたらす。左上における数である行列の第1の要素は、CFAパターンの1つの周期における、その周期のx方向のセンサ素子の数である。たとえば、図1に示されるパターン100などの2×2のベイヤーパターンでは、x方向のセンサ素子の数は2である。右下における数である行列の第2の要素は、CFAパターンの1つの周期における、そのCFAパターンのy方向のセンサ素子の数である。図1の2×2のベイヤーパターン100を使用すると、y方向のセンサ素子の数は2である。行列Mの中の他の2つの値は一定であり、0に等しい。
【０１５８】
例示的なイメージセンサ構成のための部分格子パラメータの例示的な値は、次の通りである。
2×2のベイヤーCFAパターン100      3×3のセンサ素子アレイ200
Ψ                    R,G,B                               R,G,B,C,Y,W
BR={(2,0)},
BR={(0,1)},                              BB={(0,2)},
{BS}S∈Ψ              BB={(1,0)},                             BW={(1,1)},
BG={(0,0),(1,1)}                      BG={(0,0),(2,2)},
BM={(1,0),(2,1)},
BC={(0,1),(1,2)}.
【０１５９】
【数４８】
2018523949.tif 000050
【０１６０】
Ψ成分は、フィルタ素子の周期の中のセンサ素子に対する露出のスペクトル範囲を表す。たとえば、従来のベイヤーパターンでは、スペクトル範囲は赤、緑、および青であるので、スペクトル成分Ψ={R,G,B}である。別の例では、カラーフィルタ素子がセンサ素子のサイズの1.5倍であり、従来のベイヤースペクトル範囲(RGB)を使用する場合、スペクトル成分Ψ={R,G,B,C,Y,W}である。「1.5」の構成におけるセンサ素子は、4つものフィルタ素子に露出され得るので、単一の色の単一のフィルタ素子によってセンサ素子が遮蔽される構成におけるセンサ素子と比較すると、センサ素子に対してより広い波長の露出がある。
【０１６１】
この例では、センサ素子は、黄(570〜590nmの波長)を含み得る光のスペクトルをもたらす、緑と赤の波長の組合せに露出され得る。同じ例を使用すると、センサ素子は、シアンの色(490〜520nmの波長)を含む光のスペクトルをもたらす、緑と青の波長の組合せに露出され得る。この例の2×2のフィルタ行列はまた、別のセンサ素子が、赤色の範囲を通すフィルタ素子によって25%覆われ、緑色の範囲を通すフィルタ素子によって50%覆われ、青色の範囲を通すフィルタ素子によって25%覆われるように並べられることがあり、これによって、残りのセンサに露出されるスペクトルよりも広い光のスペクトルに、そのセンサ素子を露出する。得られるアレイは、R、W、およびBがそれぞれ11%、ならびにGおよびCがそれぞれ22%の実効的なセンサ組成を有し、スペクトル成分はΨ={R,G,B,C,Y,W}と書かれ得る。{BS}S∈Ψは、フィルタ素子のその周期の中の様々なフィルタ素子の空間サンプリング位置と関連付けられる、傍系のベクトルの相互に排他的な集合を表す。格子行列Mは、フィルタ素子のその周期の中のフィルタ素子の数およびその周期の中の画素の数に基づいて決定され得る。Mは、本明細書では生成行列(generator matrix)とも呼ばれ得る。
【０１６２】
さらにブロック1310について、周波数領域の分析が、特定のCFAパターンのフーリエ変換を使用して任意のCFAパターンに対して行われ得る。CFAパターンのフーリエ変換は、
【０１６３】
【数４９】
2018523949.tif 000051
【０１６４】
によって与えられ、ただし、
【０１６５】
【数５０】
2018523949.tif 000052
【０１６６】
: イメージセンサの任意の周期の周波数変換、
M: イメージセンサの周期を表す格子行列、
S: 現在分析されている空間成分、ただしSはΨの要素であり、ΨはCFAパターンの1つの周期のスペクトル要素のすべてを含み、
【０１６７】
【数５１】
2018523949.tif 000053
【０１６８】
: CFAパターンの1つの周期の中のスペクトル成分Sのフーリエ変換、
【０１６９】
【数５２】
2018523949.tif 000054
【０１７０】
: CFAパターンの1つの周期の中のスペクトル成分と関連付けられる転置された傍系のベクトル、
S∈Ψ: CFAパターンの周期の中に存在する特定のスペクトル成分「S」、
【０１７１】
【数５３】
2018523949.tif 000055
【０１７２】
:
【０１７３】
【数５４】
2018523949.tif 000056
【０１７４】
は所与のCFA周期のすべての変調搬送波周波数の集合であり、
【０１７５】
【数５５】
2018523949.tif 000057
【０１７６】
はその集合の特定の搬送波周波数を表し、
【０１７７】
【数５６】
2018523949.tif 000058
【０１７８】
: BSは1つの周期の中のスペクトル成分と関連付けられるすべての傍系のベクトルの集合であり、
【０１７９】
【数５７】
2018523949.tif 000059
【０１８０】
はその集合の特定の傍系のベクトルを表す。
【０１８１】
上の式(10)において、
【０１８２】
【数５８】
2018523949.tif 000060
【０１８３】
は、「生成行列」としても知られている対応する格子行列Mと関連付けられる二重格子と呼ばれることがあり、
【０１８４】
【数５９】
2018523949.tif 000061
【０１８５】
によって与えられ、ただし、
【０１８６】
【数６０】
2018523949.tif 000062
【０１８７】
: 所与のCFA周期のすべての変調搬送波周波数の集合、
【０１８８】
【数６１】
2018523949.tif 000063
【０１８９】
: 格子行列Mの逆転置、
【０１９０】
【数６２】
2018523949.tif 000064
【０１９１】
: スペクトル領域における点、これは2dの格子上の整数(x, y)であり、2dの格子はフーリエ変換のスペクトル領域であり、
【０１９２】
【数６３】
2018523949.tif 000065
【０１９３】
: 変調周波数の集合の中の特定の変調周波数。
【０１９４】
式(12)の中の項を並べ替えることで、以下が得られる。
【０１９５】
【数６４】
2018523949.tif 000066
【０１９６】
ただし、
【０１９７】
【数６５】
2018523949.tif 000067
【０１９８】
: CFAパターンの1つの周期の中のスペクトル成分Sのフーリエ変換。
【０１９９】
式(12)の第1の項(すなわち、
【０２００】
【数６６】
2018523949.tif 000068
【０２０１】
)はベースバンド輝度成分を備え、それは、
【０２０２】
【数６７】
2018523949.tif 000069
【０２０３】
に対して
【０２０４】
【数６８】
2018523949.tif 000070
【０２０５】
であるからであり、式(14)の第2の項(
【０２０６】
【数６９】
2018523949.tif 000071
【０２０７】
)は周波数
【０２０８】
【数７０】
2018523949.tif 000072
【０２０９】
へと変調されたハイパス色度成分を表す。各色度成分は、CFAの1つの周期の中に存在するすべてのスペクトル成分の複素加重和を備え、複素数の重みは合計すると0である。Lおよび
【０２１０】
【数７１】
2018523949.tif 000073
【０２１１】
によって表記される、輝度成分および変調された色度成分はそれぞれ、
【０２１２】
【数７２】
2018523949.tif 000074
【０２１３】
と書くことができ、ただし、
【０２１４】
【数７３】
2018523949.tif 000075
【０２１５】
したがって、(18)は、任意のCFAパターンがベースバンド輝度成分および変調された色度成分へと分解されることを可能にする。式(19)のフーリエ変換は、次のように簡略化され得る。
【０２１６】
【数７４】
2018523949.tif 000076
【０２１７】
式(21)と式(22)の違いは、後者には2つの固有の色度成分C1およびC2があり、各色度成分が、CFAの1つの周期の中に存在するS∈Ψであるすべてのスペクトル成分の実数加重和であるということである。変調係数
【０２１８】
【数７５】
2018523949.tif 000077
【０２１９】
および
【０２２０】
【数７６】
2018523949.tif 000078
【０２２１】
は一般に複素数であり、
【０２２２】
【数７７】
2018523949.tif 000079
【０２２３】
であるときには常に、
【０２２４】
【数７８】
2018523949.tif 000080
【０２２５】
かつ
【０２２６】
【数７９】
2018523949.tif 000081
【０２２７】
である。
【０２２８】
所与の周期的なCFAパターンに対して、格子生成行列M、CFAの1つの周期の中のスペクトルフィルタの集合(Ψ)、およびスペクトルフィルタと関連付けられるオフセットベクトルの集合{BS}S∈Ψが、上で説明されたように推測され得る。たとえば、図1および図2に示される2つの例示的なCFAパターン100および200に対するΨ、BS、およびMの値が上で定義されている。式(23)および式(24)の中のΨ、BS、およびMの値を置き換えると、変調搬送波周波数
【０２２９】
【数８０】
2018523949.tif 000082
【０２３０】
、変調係数
【０２３１】
【数８１】
2018523949.tif 000083
【０２３２】
および
【０２３３】
【数８２】
2018523949.tif 000084
【０２３４】
、ならびに所与のCFAパターンのための固有のRGBからLC1C2への3×3の変換が、決定され得る。式(25)の逆フーリエ変換をとると、任意のCFAパターンに対する輝度成分および色度成分によるCFAパターン
【０２３５】
【数８３】
2018523949.tif 000085
【０２３６】
の表現が可能になる。
【０２３７】
【数８４】
2018523949.tif 000086
【０２３８】
ただし、
【０２３９】
【数８５】
2018523949.tif 000087
【０２４０】
: 点
【０２４１】
【数８６】
2018523949.tif 000088
【０２４２】
における輝度成分、
【０２４３】
【数８７】
2018523949.tif 000089
【０２４４】
: 第1のカラーチャネルの色度成分のための空間領域変調関数、
【０２４５】
【数８８】
2018523949.tif 000090
【０２４６】
: 第1のカラーチャネルの色度成分の空間領域、
【０２４７】
【数８９】
2018523949.tif 000091
【０２４８】
: 第2のカラーチャネルの色度成分のための空間領域変調関数、
【０２４９】
【数９０】
2018523949.tif 000092
【０２５０】
: 第2のカラーチャネルの色度成分の空間領域。
【０２５１】
式(27)において、
【０２５２】
【数９１】
2018523949.tif 000093
【０２５３】
および
【０２５４】
【数９２】
2018523949.tif 000094
【０２５５】
は、色度信号を高周波の搬送波に変調する空間領域関数を表す。色度チャネルC1およびC2のための変調関数は、
【０２５６】
【数９３】
2018523949.tif 000095
【０２５７】
によって与えることができ、ここで、
F-1: 逆フーリエ変換、
【０２５８】
【数９４】
2018523949.tif 000096
【０２５９】
: 第1のカラーチャネルの色度成分のための変調係数、
【０２６０】
【数９５】
2018523949.tif 000097
【０２６１】
: 第2のカラーチャネルの色度成分のための変調係数、
【０２６２】
【数９６】
2018523949.tif 000098
【０２６３】
: デルタは、ディラックのデルタ関数を表し、これは
【０２６４】
【数９７】
2018523949.tif 000099
【０２６５】
が0に等しくないときにはデルタ関数が0に等しいことを意味する。
【０２６６】
【数９８】
2018523949.tif 000100
【０２６７】
であるときには無限大に等しい。
【０２６８】
集合
【０２６９】
【数９９】
2018523949.tif 000101
【０２７０】
を定義すると、式(29a)および式(18b)は
【０２７１】
【数１００】
2018523949.tif 000102
【０２７２】
と書き直すことができ、ただし、
【０２７３】
【数１０１】
2018523949.tif 000103
【０２７４】
: ラムダによって表される2dベクトルの負における第1のカラーチャネルの色度成分のための変調係数、
【０２７５】
【数１０２】
2018523949.tif 000104
【０２７６】
: ラムダによって表される2dベクトルの負における第2のカラーチャネルの色度成分のための変調係数。
【０２７７】
上で述べられたように、
【０２７８】
【数１０３】
2018523949.tif 000105
【０２７９】
であるとき
【０２８０】
【数１０４】
2018523949.tif 000106
【０２８１】
であり、それ以外のときは0に等しい。式(11a)および式(11b)の逆フーリエ変換を計算すると、色度チャネルC1およびC2のための空間領域周波数変調関数が得られる。
【０２８２】
【数１０５】
2018523949.tif 000107
【０２８３】
ただし、
【０２８４】
【数１０６】
2018523949.tif 000108
【０２８５】
式(33a)において、
【０２８６】
【数１０７】
2018523949.tif 000109
【０２８７】
および
【０２８８】
【数１０８】
2018523949.tif 000110
【０２８９】
はそれぞれ、複素変調係数
【０２９０】
【数１０９】
2018523949.tif 000111
【０２９１】
の振幅および位相を定義し、ただし、
【０２９２】
【数１１０】
2018523949.tif 000112
【０２９３】
ただし、
【０２９４】
【数１１１】
2018523949.tif 000113
【０２９５】
は、画像の中の所与のCFA信号の空間領域内のxy座標の集合における変調係数の実数部分を指し、
【０２９６】
【数１１２】
2018523949.tif 000114
【０２９７】
は、画像の空間領域内のxy座標の集合における変調係数の虚数部分を指す。
【０２９８】
式(21b)において、
【０２９９】
【数１１３】
2018523949.tif 000115
【０３００】
および
【０３０１】
【数１１４】
2018523949.tif 000116
【０３０２】
はそれぞれ、複素変調係数
【０３０３】
【数１１５】
2018523949.tif 000117
【０３０４】
の振幅および位相を定義し、ただし、
【０３０５】
【数１１６】
2018523949.tif 000118
【０３０６】
ただし、
【０３０７】
【数１１７】
2018523949.tif 000119
【０３０８】
は、画像の中の所与のCFA信号の空間領域内のxy座標の集合における変調係数の実数部分を指し、
【０３０９】
【数１１８】
2018523949.tif 000120
【０３１０】
は、画像の空間領域内のxy座標の集合における変調係数の虚数部分を指す。
【０３１１】
さらにブロック1310について、上で論じられたように、変調関数は、上で論じられたように導出された変調周波数の集合および変調係数の集合に基づいて決定される。変調周波数は
【０３１２】
【数１１９】
2018523949.tif 000121
【０３１３】
と表すことができ、ただし、
【０３１４】
【数１２０】
2018523949.tif 000122
【０３１５】
は所与のCFA周期の変調周波数の集合であり、
【０３１６】
【数１２１】
2018523949.tif 000123
【０３１７】
であり、ただし、
【０３１８】
【数１２２】
2018523949.tif 000124
【０３１９】
は画像の空間領域の2次元の整数格子であり、Mは上で説明されたセンサ構成に基づいて決定された格子行列であり、
【０３２０】
【数１２３】
2018523949.tif 000125
【０３２１】
は整数格子
【０３２２】
【数１２４】
2018523949.tif 000126
【０３２３】
と等価である。
【０３２４】
ブロック1315において、画像データが生成された変調関数に基づいて復調され、画像データの色度成分および輝度成分を決定する。いくつかの態様では、ブロック1315は、図13Bのプロセス1315に関して以下で説明される機能を実行し得る。いくつかの態様では、復調される画像データは、画像、たとえばイメージセンサによって捉えられたシーンの画像を備え得る。いくつかの態様では、画像データは、イメージセンサによって捉えられた画像の一部分のみを備え得る。いくつかの態様では、画像データはシングルプレーン画像を備える。
【０３２５】
ブロック1320において、決定された色度成分および輝度成分に基づいて、トリプルプレーン画像が生成される。上で開示されたように、シングルプレーンCFA画像は、空間周波数領域における輝度成分および色度成分のセクションを備える。たとえば、図7は、各色度成分に対する抽出された輝度成分およびベースバンド信号に基づく、画像の生成を示す。ブロック1320のいくつかの態様では、トリプルプレーン画像以外の画像が生成され得る。たとえば、いくつかの態様では、シングルプレーン、またはダブルプレーン画像が、トリプルプレーン画像の代わりに生成され得る。
【０３２６】
図13Bは、画像を復調するためのプロセスの一例のフローチャートである。いくつかの態様では、図13Bのプロセス1315は、図14Aまたは図14Bのプロセッサ1404によって実行され得る。いくつかの態様では、プロセス1315は、図14Bの汎用的なデモザイク構成要素1432によって実行され得る。
【０３２７】
ブロック1355において、構成パラメータの集合は、導出された変調関数に基づいて生成される。1つの例示的な実施形態では、生成された構成パラメータは、CFA画像から色度成分の集合を抽出するように構成されるハイパス周波数フィルタの集合を含み得る。いくつかの態様では、ハイパスフィルタは、抽出を実行するために、イメージセンサの構成に基づいて変調され得る。構成パラメータはまた、水平方向、垂直方向、および対角方向のうちの少なくとも1つまたは複数にある画像データのエネルギーレベルを決定するように構成される、エッジ検出フィルタの集合を含み得る。エッジ検出フィルタはまた、近隣のセンサ素子に入射する放射の強度の差を示すエネルギーレベルを検出するように構成され得る。したがって、エッジ検出フィルタは、画像の明るさが鋭く変化する、または不連続である、デジタル画像の中の点を特定するように構成され得る。
【０３２８】
ブロック1360において、画像データからの色度成分が、構成パラメータの生成された集合に基づいて抽出される。上で論じられたように、画像データは、空間周波数領域における輝度成分および色度成分を備える。たとえば、図8は、フィルタの集合(たとえば、フィルタ800、801、802、803)を使用して色度成分501、502を抽出するためにシングルプレーンスペクトル画像500をフィルタリングするための方法を示す。
【０３２９】
ハイパスフィルタは、画像データから変調された色度成分を抽出するために使用され得る。1つの例示的な実施形態において、ハイパスフィルタのペア
【０３３０】
【数１２５】
2018523949.tif 000127
【０３３１】
および
【０３３２】
【数１２６】
2018523949.tif 000128
【０３３３】
が、変調された色度成分を抽出するために、導出された変調関数に基づいて設計され、ここで、
【０３３４】
【数１２７】
2018523949.tif 000129
【０３３５】
は、次のように表現されるフィルタリングされた積をもたらすC1 401、501、601の色度成分を抽出し得る。
【０３３６】
【数１２８】
2018523949.tif 000130
【０３３７】
ただし、
【０３３８】
【数１２９】
2018523949.tif 000131
【０３３９】
は抽出されたC1色度成分を表し、
【０３４０】
【数１３０】
2018523949.tif 000132
【０３４１】
は変調関数を表し、
【０３４２】
【数１３１】
2018523949.tif 000133
【０３４３】
は所与のCFAパターン
【０３４４】
【数１３２】
2018523949.tif 000134
【０３４５】
からの各々の
【０３４６】
【数１３３】
2018523949.tif 000135
【０３４７】
に対するフィルタを使用した抽出の前の、C1色度成分を表す。
【０３４８】
抽出されたC2色度成分は、
【０３４９】
【数１３４】
2018523949.tif 000136
【０３５０】
と表すことができ、ここで、
【０３５１】
【数１３５】
2018523949.tif 000137
【０３５２】
は抽出された色度成分を表し、
【０３５３】
【数１３６】
2018523949.tif 000138
【０３５４】
はC2成分のための変調関数を表し、
【０３５５】
【数１３７】
2018523949.tif 000139
【０３５６】
は所与のCFAパターン
【０３５７】
【数１３８】
2018523949.tif 000140
【０３５８】
からの各々の
【０３５９】
【数１３９】
2018523949.tif 000141
【０３６０】
に対するフィルタを使用した抽出の前の、C2色度成分を表す。
【０３６１】
フィルタリング式は
【０３６２】
【数１４０】
2018523949.tif 000142
【０３６３】
によって与えられ、ただし、
i=1, 2であり、色度成分の集合を表し、
【０３６４】
【数１４１】
2018523949.tif 000143
【０３６５】
は分析されている特定のCFAパターンであり、この場合、画像データのCFAパターンである。
【０３６６】
エッジ検出フィルタは、導出された変調関数を使用することによって、またはエッジ検出器の既知の集合を使用することによって、同様の方式で生成され得る。エッジ検出フィルタは、画像データのための変調関数を使用して、またはエッジ検出器の既知の集合を使用することによって、同様に生成され得る。
【０３６７】
ブロック1365において、抽出された色度成分が、ベースバンド色度成分の集合へと復調される。上で開示されたように、抽出された色度成分808、809、810、811は、次の式を使用して復調され得る。
【０３６８】
【数１４２】
2018523949.tif 000144
【０３６９】
たとえば、図9は、変調関数から導出されたハイパスフィルタリングを使用して抽出された色度成分の、ベースバンド色度成分の集合への復調を示す。
【０３７０】
ブロック1370において、ベースバンド色度成分は、それぞれの搬送波周波数へと変調される。上で開示されたように、ベースバンド色度信号は、空間周波数領域の中の輝度成分および色度成分の変調関数と乗算され得る。たとえば、図11はブロック1370の一態様を示す。
【０３７１】
ブロック1375において、輝度成分が、決定された搬送波周波数に基づいて画像データから抽出される。いくつかの態様では、輝度成分を決定するために、変調された色度成分が画像データから差し引かれる。上で開示されたように、シングルプレーンCFA画像は、空間周波数領域における輝度成分および色度成分のセクションを備える。たとえば、図12および対応する議論は、ブロック1375の一態様を示す。いくつかの態様では、輝度成分は、画像データからすべての色度成分を差し引くことによって取得され得る。
【０３７２】
図14Aは、開示された実施形態のうちの1つまたは複数を実装し得るワイヤレスデバイス1402aの例示的な機能ブロック図を示す。ワイヤレスデバイス1402aは、ワイヤレスデバイス1402aの動作を制御するプロセッサ1404を含み得る。プロセッサ1404は、中央処理装置(CPU)とも呼ばれることがある。読取り専用メモリ(ROM)とランダムアクセスメモリ(RAM)の両方を含み得るメモリ1406aは、命令とデータとをプロセッサ1404に提供し得る。メモリ1406aの一部分は、不揮発性ランダムアクセスメモリ(NVRAM)も含み得る。プロセッサ1404は通常、メモリ1406aに記憶されたプログラム命令に基づいて、論理演算および算術演算を実行する。メモリ1406aの中の命令は、本明細書において説明される方法を実施するように実行可能であり得る。
【０３７３】
プロセッサ1404は、1つまたは複数のプロセッサを用いて実装される処理システムの構成要素を備えることがあり、またはその構成要素であることがある。1つまたは複数のプロセッサは、汎用マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブル論理デバイス(PLD)、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、専用ハードウェア有限状態機械、または情報の計算もしくは他の操作を実行することができる任意の他の適切なエンティティの任意の組合せを用いて実装され得る。
【０３７４】
処理システムはまた、ソフトウェアを記憶するための機械可読媒体を含み得る。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、任意のタイプの命令を意味すると広く解釈されたい。命令は、(たとえば、ソースコード形式、バイナリコード形式、実行可能コード形式、または任意の他の好適なコード形式の)コードを含み得る。命令は、1つまたは複数のプロセッサによって実行されると、本明細書において説明される様々な機能を処理システムに実行させる。
【０３７５】
ワイヤレスデバイス1402aはまた、ワイヤレスデバイス1402aと遠隔地との間のデータの送信および受信を可能にするために送信機1410および/または受信機1412を含み得る、ハウジング1408を含み得る。送信機1410および受信機1412は、トランシーバ1414へと組み合わされることがある。アンテナ1416は、ハウジング1408に取り付けられ、トランシーバ1414に電気的に結合され得る。画像センサ1430は、画像を捉え、画像データをプロセッサ1404が利用可能なものにし得る。いくつかの態様では、イメージセンサ1430は、本明細書で論じられる画像100、200、または300のうちのいずれか1つまたは複数を捉えるように構成され得る。ワイヤレスデバイス1402aはまた、複数の送信機、複数の受信機、複数のトランシーバ、および/または複数のアンテナを含み得る(図示せず)。
【０３７６】
ワイヤレスデバイス1402aはまた、トランシーバ1414によって受信された信号のレベルを検出および定量化するために使用され得る信号検出器1418を含み得る。信号検出器1418は、そのような信号を、総エネルギー、シンボルごとのサブ搬送波当たりのエネルギー、電力スペクトル密度、および他の信号として検出し得る。ワイヤレスデバイス1402aはまた、信号を処理する際に使用するためのデジタル信号プロセッサ(DSP)1420を含み得る。DSP1420は、送信のためのパケットを生成するように構成され得る。いくつかの態様では、パケットは物理レイヤデータユニット(PPDU)を備え得る。
【０３７７】
いくつかの態様では、ワイヤレスデバイス1402aはさらに、ユーザインターフェース1422を備え得る。ユーザインターフェース1422は、キーパッド、マイクロフォン、スピーカー、および/またはディスプレイを備え得る。ユーザインターフェース1422は、ワイヤレスデバイス1402aのユーザに情報を伝え、かつ/またはユーザからの入力を受け取る、任意の要素または構成要素を含み得る。
【０３７８】
ワイヤレスデバイス1402aの様々な構成要素は、バスシステム1426によって一緒に結合され得る。バスシステム1426は、たとえば、データバス、ならびに、データバスに加えて、電力バスと、制御信号バスと、ステータス信号バスとを含み得る。ワイヤレスデバイス1402aの構成要素は、何らかの他のメカニズムを使用して、一緒に結合され得るか、または互いに対する入力を受け入れ、または提供し得ることを当業者は諒解されよう。
【０３７９】
図14には、いくつかの別個の構成要素が示されているが、構成要素のうちの1つまたは複数が組み合わされてもよく、または共通に実装されてもよいことを、当業者は認識するだろう。たとえば、プロセッサ1404は、プロセッサ1404に関して上で説明された機能を実装するためだけではなく、信号検出器1418および/またはDSP1420に関して上で説明された機能を実装するためにも使用され得る。さらに、図14に示される構成要素の各々は、複数の別個の要素を使用して実装され得る。
【０３８０】
ワイヤレスデバイス1402aは、通信を送信および/または受信するために使用され得る。いくつかの態様は、信号検出器1418が、送信機または受信機の存在を検出するために、メモリ1406aおよびプロセッサ1404上で動作しているソフトウェアによって使用されることを企図する。
【０３８１】
図14Bは、開示された実施形態のうちの1つまたは複数を実装し得るワイヤレスデバイス1402bの例示的な機能ブロック図を示す。ワイヤレスデバイス1402bは、図14Aに関して上で示されたものと同様の構成要素を含み得る。たとえば、デバイス1402bは、ワイヤレスデバイス1402bの動作を制御するプロセッサ1404を含み得る。プロセッサ1404は、中央処理装置(CPU)とも呼ばれることがある。読取り専用メモリ(ROM)とランダムアクセスメモリ(RAM)の両方を含み得るメモリ1406bは、命令とデータとをプロセッサ1404に提供し得る。メモリ1406bの一部分は、不揮発性ランダムアクセスメモリ(NVRAM)も含み得る。プロセッサ1404は通常、メモリ1406bに記憶されたプログラム命令に基づいて、論理演算および算術演算を実行する。メモリ1406bの中の命令は、本明細書において説明される方法を実施するように実行可能であり得る。いくつかの態様では、メモリ1406bに記憶されている命令は、図14Aのメモリ1406aに記憶されている命令とは異なり得る。たとえば、上で論じられたように、いくつかの態様では、図14Aのプロセッサ1404は、本明細書において開示された方法のうちの1つまたは複数を実行するように、メモリ1406aに記憶されている命令によって構成され得る。代替的に、デバイス1402bの中のプロセッサ1404は、以下で論じられる、汎用的なデモザイク構成要素1432と共同で、本明細書において開示された方法を実行し得る。
【０３８２】
プロセッサ1404は、1つまたは複数のプロセッサを用いて実装される処理システムの構成要素を備えることがあり、またはその構成要素であることがある。1つまたは複数のプロセッサは、汎用マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブル論理デバイス(PLD)、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、専用ハードウェア有限状態機械、または情報の計算もしくは他の操作を実行することができる任意の他の適切なエンティティの任意の組合せを用いて実装され得る。
【０３８３】
処理システムはまた、ソフトウェアを記憶するための機械可読媒体を含み得る。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、任意のタイプの命令を意味すると広く解釈されたい。命令は、(たとえば、ソースコード形式、バイナリコード形式、実行可能コード形式、または任意の他の好適なコード形式の)コードを含み得る。命令は、1つまたは複数のプロセッサによって実行されると、本明細書において説明される様々な機能を処理システムに実行させる。
【０３８４】
汎用的なデモザイク構成要素1432は、イメージセンサ1430から受信されたデータをデモザイクするように構成され得る。汎用的なデモザイク構成要素1432は、プロセッサ1404および/またはイメージセンサ1430のうちの1つまたは複数から、イメージセンサの構成を定義する情報を受信し得る。構成データは、たとえば図1、図2、または図3に関して上で説明されたような、イメージセンサ1430のイメージセンサ素子の構成を示すデータと、光がイメージセンサ素子に達する前に光をフィルタリングするフィルタの構成を示す情報とを含み得る。少なくとも受信されたイメージセンサ構成情報に基づいて、汎用的なデモザイク構成要素は、イメージセンサ1430によって生成されるデータをデモザイクすることができる。汎用的なデモザイク構成要素は次いで、トリプルプレーン画像を定義するデータをデータバス1426上へと出力することができる。
【０３８５】
ワイヤレスデバイス1402bはまた、ワイヤレスデバイス1402bと遠隔地との間のデータの送信および受信を可能にするために送信機1410および/または受信機1412を含み得る、ハウジング1408を含み得る。送信機1410および受信機1412は、トランシーバ1414へと組み合わされることがある。アンテナ1416は、ハウジング1408に取り付けられ、トランシーバ1414に電気的に結合され得る。画像センサ1430は、画像を捉え、画像データをプロセッサ1404が利用可能なものにし得る。いくつかの態様では、イメージセンサ1430は、本明細書で論じられる画像100、200、または300のうちのいずれか1つまたは複数を捉えるように構成され得る。ワイヤレスデバイス1402bはまた、複数の送信機、複数の受信機、複数のトランシーバ、および/または複数のアンテナを含み得る(図示せず)。
【０３８６】
ワイヤレスデバイス1402bはまた、トランシーバ1414によって受信された信号のレベルを検出および定量化するために使用され得る信号検出器1418を含み得る。信号検出器1418は、そのような信号を、総エネルギー、シンボルごとのサブ搬送波当たりのエネルギー、電力スペクトル密度、および他の信号として検出し得る。ワイヤレスデバイス1402bはまた、信号を処理する際に使用するためのデジタル信号プロセッサ(DSP)1420を含み得る。DSP1420は、送信のためのパケットを生成するように構成され得る。いくつかの態様では、パケットは物理レイヤデータユニット(PPDU)を備え得る。
【０３８７】
いくつかの態様では、ワイヤレスデバイス1402bはさらに、ユーザインターフェース1422を備え得る。ユーザインターフェース1422は、キーパッド、マイクロフォン、スピーカー、および/またはディスプレイを備え得る。ユーザインターフェース1422は、ワイヤレスデバイス1402bのユーザに情報を伝え、かつ/またはユーザからの入力を受け取る、任意の要素または構成要素を含み得る。
【０３８８】
ワイヤレスデバイス1402bの様々な構成要素は、バスシステム1426によって一緒に結合され得る。バスシステム1426は、たとえば、データバス、ならびに、データバスに加えて、電力バスと、制御信号バスと、ステータス信号バスとを含み得る。ワイヤレスデバイス1402bの構成要素は、何らかの他のメカニズムを使用して、一緒に結合され得るか、または互いに対する入力を受け入れ、または提供し得ることを当業者は諒解されよう。
【０３８９】
図14には、いくつかの別個の構成要素が示されているが、構成要素のうちの1つまたは複数が組み合わされてもよく、または共通に実装されてもよいことを、当業者は認識するだろう。たとえば、プロセッサ1404は、プロセッサ1404に関して上で説明された機能を実装するためだけではなく、信号検出器1418および/またはDSP1420に関して上で説明された機能を実装するためにも使用され得る。さらに、図14に示される構成要素の各々は、複数の別個の要素を使用して実装され得る。
【０３９０】
ワイヤレスデバイス1402bは、通信を送信および/または受信するために使用され得る。いくつかの態様は、信号検出器1418が、送信機または受信機の存在を検出するために、メモリ1406bおよびプロセッサ1404上で動作しているソフトウェアによって使用されることを企図する。
【０３９１】
図15は、上で開示された実施形態のうちの1つまたは複数を実装し得る例示的なデバイス1500の機能ブロック図である。デバイス1500は、イメージセンサ構成決定回路1505を含む。ある実施形態では、決定回路1505は、ブロック1305に関して上で論じられた機能のうちの1つまたは複数を実行するように構成され得る。ある実施形態では、決定回路1505は、図14Aまたは図14Bのプロセッサ1404などの、電子ハードウェアプロセッサを含み得る。決定回路1505はまた、プロセッサ、信号生成器、トランシーバ、デコーダ、または、ハードウェアおよび/もしくはソフトウェアの構成要素、回路、および/もしくはモジュールの組合せのうちの1つまたは複数を含み得る。
【０３９２】
デバイス1500はさらに、変調関数生成回路1507を含む。ある実施形態では、変調関数生成回路1507は、ブロック1310に関して上で論じられた機能のうちの1つまたは複数を実行するように構成され得る。ある実施形態では、変調関数生成回路1507は、図14Aまたは図14Bのプロセッサ1404などの、電子ハードウェアプロセッサを含み得る。いくつかの態様では、変調関数生成回路1507は、プロセッサ、信号生成器、トランシーバ、デコーダ、または、ハードウェアおよび/もしくはソフトウェアの構成要素、回路、および/もしくはモジュールの組合せのうちの1つまたは複数を備え得る。いくつかの態様では、変調関数生成回路1507は、図14Bにおいて上で示される汎用的なデモザイク構成要素1432を含み得る。
【０３９３】
デバイス1500はさらに、パラメータ生成回路1510を含む。ある実施形態では、パラメータ生成回路1510は、ブロック1355に関して上で論じられた機能のうちの1つまたは複数を実行するように構成され得る。ある実施形態では、パラメータ生成回路1510は、図14Aまたは図14Bのプロセッサ1404などの、電子ハードウェアプロセッサを含み得る。いくつかの態様では、パラメータ生成回路1510は、プロセッサ、信号生成器、トランシーバ、デコーダ、または、ハードウェアおよび/もしくはソフトウェアの構成要素、回路、および/もしくはモジュールの組合せのうちの1つまたは複数を備え得る。
【０３９４】
デバイス1500はさらに、色度抽出回路1515を含む。ある実施形態では、色度抽出回路1515は、ブロック1360に関して上で論じられた機能のうちの1つまたは複数を実行するように構成され得る。ある実施形態では、色度抽出回路1515は、図14Aまたは図14Bのプロセッサ1404などの、電子ハードウェアプロセッサを含み得る。いくつかの態様では、色度抽出回路1515は、プロセッサ、信号生成器、トランシーバ、デコーダ、または、ハードウェアおよび/もしくはソフトウェアの構成要素、回路、および/もしくはモジュールの組合せのうちの1つまたは複数を備え得る。
【０３９５】
デバイス1500はさらに、復調回路1520を含む。ある実施形態では、復調回路1520は、ブロック1365に関して上で論じられた機能のうちの1つまたは複数を実行するように構成され得る。ある実施形態では、復調回路1520は、図14Aまたは図14Bのプロセッサ1404などの、電子ハードウェアプロセッサを含み得る。いくつかの態様では、復調回路1520は、プロセッサ、信号生成器、トランシーバ、デコーダ、または、ハードウェアおよび/もしくはソフトウェアの構成要素、回路、および/もしくはモジュールの組合せのうちの1つまたは複数を備え得る。
【０３９６】
デバイス1500はさらに、変調回路1525を含む。ある実施形態では、変調回路1525は、ブロック1370に関して上で論じられた機能のうちの1つまたは複数を実行するように構成され得る。ある実施形態では、変調回路1525は、図14Aまたは図14Bのプロセッサ1404などの、電子ハードウェアプロセッサを含み得る。いくつかの態様では、変調回路1525は、プロセッサ、信号生成器、トランシーバ、デコーダ、または、ハードウェアおよび/もしくはソフトウェアの構成要素、回路、および/もしくはモジュールの組合せのうちの1つまたは複数を備え得る。
【０３９７】
デバイス1500はさらに、輝度抽出回路1530を含む。ある実施形態では、輝度抽出回路1530は、ブロック1375に関して上で論じられた機能のうちの1つまたは複数を実行するように構成され得る。ある実施形態では、輝度抽出回路1530は、図14Aまたは図14Bのプロセッサ1404などの、電子ハードウェアプロセッサを含み得る。いくつかの態様では、輝度抽出回路1530は、プロセッサ、信号生成器、トランシーバ、デコーダ、または、ハードウェアおよび/もしくはソフトウェアの構成要素、回路、および/もしくはモジュールの組合せのうちの1つまたは複数を備え得る。
【０３９８】
デバイス1500はさらに、画像作成回路1540を含む。ある実施形態では、画像作成回路1540は、ブロック1320に関して上で論じられた機能のうちの1つまたは複数を実行するように構成され得る。ある実施形態では、画像作成回路1540は、図14Aまたは図14Bのプロセッサ1404などの、電子ハードウェアプロセッサを含み得る。いくつかの態様では、画像作成回路1540は、プロセッサ、信号生成器、トランシーバ、デコーダ、または、ハードウェアおよび/もしくはソフトウェアの構成要素、回路、および/もしくはモジュールの組合せのうちの1つまたは複数を備え得る。たとえば、いくつかの態様では、画像作成回路1540は、汎用的なデモザイク構成要素1432およびプロセッサ1404を含み得る。たとえば、汎用的なデモザイク構成要素1432は、トリプルプレーン画像のデータを生成し、そのデータをプロセッサ1404に送信し得る。プロセッサは次いで、画像を生成し得る。
【０３９９】
本明細書において説明される技術は、多数の他の汎用または専用コンピューティング環境または構成とともに使用可能である。本発明とともに使用するのに適し得る、よく知られているコンピューティングシステム、環境、および/または構成の例には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイスまたはラップトップデバイス、マルチプロセッサシステム、プロセッサベースのシステム、プログラム可能な家庭用電化製品、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境などが含まれるが、それらに限定されない。
【０４００】
本明細書では、命令は、システムにおいて情報を処理するためのコンピュータで実施されるステップを指す。命令は、ソフトウェア、ファームウェア、またはハードウェアで実装されることがあり、システムの構成要素が担う任意のタイプのプログラムされたステップを含むことがある。
【０４０１】
プロセッサは、Pentium(登録商標)プロセッサ、Pentium(登録商標)Proプロセッサ、8051プロセッサ、MIPS(登録商標)プロセッサ、Power PC(登録商標)プロセッサ、またはAlpha(登録商標)プロセッサなどの、任意の従来の汎用のシングルチッププロセッサまたはマルチチッププロセッサであり得る。加えて、プロセッサは、デジタルシグナルプロセッサまたはグラフィクスプロセッサなどの任意の従来の専用プロセッサであり得る。プロセッサは通常、従来のアドレス線、従来のデータ線、および1つまたは複数の従来の制御線を有する。
【０４０２】
システムは、詳細に論じられたような様々なモジュールからなる。当業者により諒解され得るように、モジュールの各々が、様々なサブルーチン、プロシージャ、定義的なステートメントおよびマクロを備える。モジュールの各々は通常、別々にコンパイルされ、単一の実行可能プログラムへとリンクされる。したがって、モジュールの各々の説明は、好ましいシステムの機能を説明するために便宜的に使用されている。したがって、モジュールの各々が担うプロセスは、他のモジュールのうちの1つに任意で再分配され、単一のモジュールへと一緒に組み合わされ、または、たとえば共有可能なダイナミックリンクライブラリにおいて利用可能にされ得る。
【０４０３】
システムは、Linux(登録商標)、UNIX(登録商標)、またはMicrosoft Windows(登録商標)などの様々なオペレーティングシステムと連携して使用され得る。
【０４０４】
システムは、C、C++、BASIC、Pascal、またはJava(登録商標)などの任意の従来のプログラミング言語で書かれることがあり、従来のオペレーティングシステムのもとで実行されることがある。C、C++、BASIC、Pascal、Java(登録商標)、およびFORTRANは、実行可能コードを作り出すために多くの商用コンパイラが使用され得る、業界標準のプログラミング言語である。システムはまた、Perl、Python、またはRubyなどのインタプリタ型言語を使用して書かれ得る。
【０４０５】
さらに、本明細書において開示された実施形態に関して説明された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることを、当業者は諒解するであろう。ハードウェアとソフトウェアとのこの互換性を明瞭に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、上では全般にその機能に関して説明された。そのような機能がハードウェアとして実現されるか、またはソフトウェアとして実現されるかは、具体的な適用例およびシステム全体に課される設計制約によって決まる。当業者は、説明された機能を具体的な適用例ごとに様々な方法で実装することができるが、そのような実装形態の決定は、本開示の範囲からの逸脱を引き起こすものと解釈されるべきではない。
【０４０６】
本明細書において開示された実施形態に関連して説明された様々な例示的な論理ブロック、モジュールおよび回路は、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別のゲートもしくはトランジスタ論理、個別のハードウェア構成要素、または本明細書において説明される機能を実行するように設計されたそれらの任意の組合せを用いて、実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替的に、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ(たとえば、DSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成)として実装され得る。
【０４０７】
1つまたは複数の例示的な実施形態では、説明された機能および方法は、ハードウェア、ソフトウェア、プロセッサ上で実行されるファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアにおいて実装される場合、機能は、コンピュータ可読媒体に記憶され、または、コンピュータ可読媒体を介して1つまたは複数の命令もしくはコードとして送信され得る。コンピュータ可読媒体は、コンピュータ記憶媒体と、ある場所から別の場所へのコンピュータプログラムの転送を円滑にする任意の媒体を含む通信媒体との両方を含む。記憶媒体は、コンピュータによりアクセスされ得る任意の利用可能な媒体であり得る。例として、限定はされないが、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形式で所望のプログラムコードを搬送もしくは記憶するために使用されコンピュータによってアクセスされ得る任意の他の媒体を備え得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。本明細書において使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含まれるべきである。
【０４０８】
前述の説明は、本明細書において開示されるシステム、デバイス、および方法のいくつかの実施形態を詳述する。しかしながら、文章の中で前述のことがどれだけ詳細に見えるとしても、システム、デバイス、および方法は多くの方法で実践され得ることを諒解されたい。上でも述べられたように、本発明のいくつかの特徴または態様を説明するときに特定の用語を使用することは、用語が関連する技術の特徴または態様の特定の特性を含むことへと用語が本明細書において再定義されていることを示唆するものとして見られるべきではないことに留意されたい。
【０４０９】
説明された技術の範囲から逸脱することなく様々な修正および変更が行われ得ることが、当業者により諒解されるだろう。そのような修正および変更は、実施形態の範囲内に入ることが意図される。一実施形態に含まれる部分が他の実施形態との互換性があり、図示された実施形態からの1つまたは複数の部分が任意の組合せで他の図示された実施形態とともに含まれ得ることも、当業者により諒解されるだろう。たとえば、本明細書において説明され、かつ/または図に示された様々な構成要素のいずれかは、組み合わされ、交換され、または他の実施形態から除外され得る。
【０４１０】
本明細書における実質的に任意の複数および/または単数の用語の使用に関して、当業者は、文脈および/または用途に適したものになるように、複数から単数に、かつ/または単数から複数に変換することができる。様々な単数/複数の置換が、明快にするために本明細書において明確に記載され得る。
【０４１１】
一般に、本明細書において使用される用語は一般に「オープン」な用語として意図される(たとえば、「含む」という用語は「限定はされないが含む」として解釈されるべきであり、「有する」という用語は「少なくとも有する」として解釈されるべきであり、「含む」という用語は「限定はされないが含む」として解釈されるべきである、など)ことが当業者により理解される。特定の数の前置き付きの請求項の記載が意図される場合、そのような意図は特許請求の範囲に明示的に記載され、そのような記載がなければ、そのような意図は存在しないことが、当業者によってさらに理解されるだろう。たとえば、理解を助けるものとして、以下の添付の特許請求の範囲は、請求項の記載の前置きのために、前置きの句「少なくとも1つの」および「1つまたは複数の」の使用を含み得る。しかしながら、そのような句の使用は、不定冠詞「a」または「an」による請求項の記載の前置きが、そのような前置き付きの請求項の記載を含むあらゆる特定の請求項を、1つだけのそのような記載を含む実施形態に限定することを示唆するものと見なされるべきではなく、それは、同じ請求項が前置きの句「1つまたは複数の」または「少なくとも1つの」および「a」または「an」などの不定冠詞を含むときであっても当てはまり(たとえば、「a」および/または「an」は通常は「少なくとも1つの」または「1つまたは複数の」を意味すると解釈されるべきである)、同じことが、請求項の記載の前置きに使用される定冠詞の使用にも当てはまる。加えて、特定の数の前置き付きの請求項の記載が明示的に記載される場合であっても、そのような記載は通常、少なくとも記載される数を意味するものとして解釈されるべきである(たとえば、他の修飾語がない「2つの記載」という最低限の記載は、通常は少なくとも2つの記載、または2つ以上の記載を意味する)ことを当業者は認識するであろう。さらに、「A、B、およびCなどのうちの少なくとも1つ」と同義の規定が使用される事例では、一般にそのような文章構造は、当業者がその規定を理解するであろう意味において意図される(たとえば、「A、B、およびCのうちの少なくとも1つを有するシステム」は、限定はされないが、Aだけ、Bだけ、Cだけ、AとBを一緒に、AとCを一緒に、BとCを一緒に、および/またはAとBとCを一緒に、などを含む)。「A、B、またはCなどのうちの少なくとも1つ」と同義の規定が使用される事例では、一般にそのような文章構造は、当業者がその規定を理解するであろう意味として意図される(たとえば、「A、B、またはCのうちの少なくとも1つを有するシステム」は、限定はされないが、Aだけ、Bだけ、Cだけ、AとBを一緒に、AとCを一緒に、BとCを一緒に、および/またはAとBとCを一緒に、などを含む)。2つ以上の代替的な用語を提示する事実上あらゆる離接語および/または離接句は、それが発明を実施するための形態の中でも、特許請求の範囲の中でも、または図面の中でも、用語のうちの1つ、用語のいずれか、または両方の用語を含む可能性を企図するものとして理解されるべきであることが、当業者によりさらに理解されるであろう。たとえば、「AまたはB」という句は、「A」または「B」または「AおよびB」の可能性を含むものとして理解されるであろう。
【０４１２】
様々な態様および実施形態が本明細書において開示されているが、他の態様および実施形態が当業者に明らかであろう。本明細書において開示される様々な態様および実施形態は説明を目的としており、限定的であることは意図されない。
【符号の説明】
【０４１３】
100  2×2のベイヤーCFAパターン
101  第1のセンサ素子
102  第2のセンサ素子
103  第3のセンサ素子
104  第4のセンサ素子
200  第2の例示的な構成
201  第1のフィルタ素子
202  第2のフィルタ素子
203  第3のフィルタ素子
204  第4のフィルタ素子
205  3×3のセンサ素子アレイ
300  第3の例示的な構成
301  センサ素子
302  センサ素子
303  センサ素子
304  センサ素子
305  センサ素子
306  センサ素子
307  センサ素子
308  センサ素子
309  センサ素子
310  センサ素子
311  センサ素子
312  センサ素子
313  センサ素子
314  センサ素子
315  センサ素子
316  センサ素子
400  シングルプレーンスペクトル画像
401  第1の色度成分
402  第2の色度成分
403  輝度成分
404  fx
405  fy
406  正方形
500  シングルプレーンスペクトル画像
501  第1の色度成分
502  第2の色度成分
503  輝度成分
504  正方形
505  正方形
600  シングルプレーンスペクトル画像
601  第1の色度成分
602  第2の色度成分
603  輝度成分
604  fx
605  fy
700  トリプルプレーンRGB画像
800  フィルタ
801  フィルタ
802  フィルタ
803  フィルタ
804  色度成分
805  色度成分
806  色度成分
807  色度成分
808  円
809  円
810  円
811  円
812  正方形
813  正方形
814  正方形
815  正方形
901  ベースバンド色度成分
902  ベースバンド色度成分
903  ベースバンド色度成分
904  ベースバンド色度成分
905  第1のベースバンド色度成分
906  第2のベースバンド色度成分
907  第3のベースバンド色度成分
908  第4のベースバンド色度成分
909  正方形
910  正方形
911  正方形
912  正方形
913  復調関数
914  復調関数
915  復調関数
916  復調関数
917  変調関数
918  変調関数
1001  第1の加算
1002  第2の加算
1005  第1のカラーチャネル
1006  第2のカラーチャネル
1007  変調
1008  変調
1101  完全な第1のチャネルの色度成分
1102  完全な第2のチャネルの色度成分
1200  抽出プロセス
1202  第1の部分
1204  第2の部分
1206  ブロック
1210  第1の色度成分
1212  第2の色度成分
1225  輝度成分
1300  方法
1402  ワイヤレスデバイス
1404  プロセッサ
1406  メモリ
1408  ハウジング
1410  送信機
1412  受信機
1414  トランシーバ
1416  アンテナ
1418  信号検出器
1420  DSP
1422  ユーザインターフェース
1426  バスシステム
1430  イメージセンサ
1432  汎用的なデモザイク構成要素
1500  デバイス
1505  イメージセンサ構成決定回路
1507  変調関数生成回路
1510  パラメータ生成回路
1515  色度抽出回路
1520  復調回路
1525  変調回路
1530  輝度抽出回路
1540  画像作成回路
【図１】
2018523949.tif 000196
【図２】
2018523949.tif 000197
【図３】
2018523949.tif 000198
【図４】
2018523949.tif 000199
【図５】
2018523949.tif 000200
【図６】
2018523949.tif 000201
【図７】
2018523949.tif 000202
【図８】
2018523949.tif 000203
【図９】
2018523949.tif 000204
【図１０】
2018523949.tif 000205
【図１１】
2018523949.tif 000206
【図１２】
2018523949.tif 000207
【図１３Ａ】
2018523949.tif 000208
【図１３Ｂ】
2018523949.tif 000209
【図１４Ａ】
2018523949.tif 000210
【図１４Ｂ】
2018523949.tif 000211
【図１５】
2018523949.tif 000212
【国際調査報告】
2018523949.tif 000213
2018523949.tif 000214