(57)【要約】本開示は、ビデオイメージやスチルイメージなどの取り込まれたイメージ情報の品質を改善する適応フィルタリング技法を説明している。イメージセンサは、イメージ情報を取り込み、イメージ情報の現在の露光指数と、現在のスケーリングファクタとに基づいて、複数のパラメータ値を決定する。適応空間イメージフィルタは、水平鮮鋭化フィルタと垂直鮮鋭化フィルタとの両方を含み、イメージセンサによって決定される複数のパラメータ値に基づいて、水平鮮鋭化フィルタと垂直鮮鋭化フィルタとを構成する、すなわち適応する。適応空間イメージフィルタは、フィルタがかけられたイメージ情報を生成するために、イメージ情報の少なくとも１つのチャネルに対して、水平鮮鋭化フィルタと垂直鮮鋭化フィルタとを適用する。
2010500659.tif 000002
【特許請求の範囲】
【請求項１】
イメージ情報の現在の露光レベルと現在のスケーリングレベルとに基づいて、１つまたは複数のパラメータ値を決定することと、
前記パラメータ値に基づいて水平鮮鋭化フィルタを構成することと、
前記パラメータ値に基づいて垂直鮮鋭化フィルタを構成することと、
フィルタがかけられたイメージ情報を生成するために前記イメージ情報の少なくとも１つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することと、
を備える方法。
【請求項２】
前記現在の露光レベルは、イメージングデバイスが前記イメージ情報の獲得中に露光される照明強度、を指し示す露光指数値であり、前記現在のスケーリングレベルは、前記イメージ情報に適用されるアップスケーリングまたはダウンスケーリングの量を指し示す、請求項１に記載の方法。
【請求項３】
前記１つまたは複数のパラメータ値を決定することは、
おのおのが１つまたは複数の静的パラメータ値に関連する複数の露光指数値に応じて露光レベルの範囲を分類することと、
前記現在の露光レベルと前記分類との間の、差を決定することと、
前記差の前記決定に基づいて前記分類の前記１つまたは複数の静的パラメータ値から前記１つまたは複数のパラメータ値を補間することと、
を含む、
請求項１に記載の方法。
【請求項４】
前記１つまたは複数のパラメータ値を決定することは、
おのおのが１つまたは複数の静的パラメータ値に関連する複数のスケーリングファクタ指数値に応じてスケーリングレベルの範囲を分類することと、
前記現在のスケーリングレベルと前記分類との間の、差を決定することと、
前記差の前記決定に基づいて前記分類の１つまたは複数の静的パラメータ値から前記１つまたは複数のパラメータ値を補間することと、
を含む、
請求項１に記載の方法。
【請求項５】
１つまたは複数のパラメータ値を決定することは、前記現在の露光レベルに対応する露光指数値に関連する静的パラメータ値と、前記現在のスケーリングレベルに対応するスケーリングファクタ指数値に関連する静的パラメータ値と、に基づいて前記１つまたは複数のパラメータ値を決定することを含む、請求項１に記載の方法。
【請求項６】
前記パラメータ値に基づいて平滑化フィルタを構成することと、
前記の水平フィルタおよび垂直フィルタ適用することに先立って、平滑化されたイメージ情報を生成するために前記イメージ情報の前記少なくとも１つのチャネルに対して前記平滑化フィルタを適用することと、
をさらに備え、
前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、前記フィルタがかけられたイメージ情報を生成するために前記平滑化されたイメージ情報の少なくとも１つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用すること、を含む、
請求項１に記載の方法。
【請求項７】
前記パラメータ値は、平滑化度（ｐ）パラメータ値と、水平鮮鋭化度（ｋＨ）パラメータ値と、垂直鮮鋭化度（ｋＶ）パラメータ値と、鮮鋭化減算しきい値（ｅ１）パラメータ値と、最大正鮮鋭化限界（ｅ２）パラメータ値と、最大負鮮鋭化限界（ｅ３）パラメータ値と、水平鮮鋭化フィルタ（ＦＨ）パラメータ値と、垂直鮮鋭化フィルタ（ＦＶ）パラメータ値と、のうちの１つまたは複数を含む、請求項６に記載の方法。
【請求項８】
前記平滑化フィルタを構成することは、前記平滑化フィルタの前記平滑化度（ｐ）を設定することを含み、
前記水平鮮鋭化フィルタを構成することは、前記水平鮮鋭化フィルタの前記水平鮮鋭化度（ｋＨ）を設定することを含み、
前記垂直鮮鋭化フィルタを構成することは、前記垂直鮮鋭化フィルタの前記垂直鮮鋭化度（ｋＶ）を設定することを含む、
請求項７に記載の方法。
【請求項９】
前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、
水平鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも１つのチャネルに対して前記水平鮮鋭化フィルタを適用することと、
垂直鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも１つのチャネルに対して前記垂直鮮鋭化フィルタを適用することと、
前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報と、前記水平鮮鋭化されたイメージ情報と、前記垂直鮮鋭化されたイメージ情報とを加算することと、
をさらに備える、
請求項６に記載の方法。
【請求項１０】
前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、
前記パラメータ値内に含まれる最大正鮮鋭化限界（ｅ２）と最大負鮮鋭化限界（ｅ３）とに応じて、前記水平鮮鋭化されたイメージ情報をクランプすることと、
前記最大正鮮鋭化限界（ｅ２）と、前記最大負鮮鋭化限界（ｅ３）とに応じて前記垂直鮮鋭化されたイメージ情報をクランプすることと、
をさらに含む、
請求項９に記載の方法。
【請求項１１】
前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、
前記複数のパラメータ値内に含まれる鮮鋭化減算しきい値（ｅ１）を前記水平鮮鋭化イメージ情報から差し引くことと、
前記鮮鋭化減算しきい値（ｅ１）を前記垂直鮮鋭化イメージ情報から差し引くことと、
をさらに含む、
請求項９に記載の方法。
【請求項１２】
前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、前記イメージ情報の輝度（Ｙ）チャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することを含み、前記イメージ情報は、ＹＣｒＣｂカラー空間に応じて前記イメージ情報を定義する、請求項１に記載の方法。
【請求項１３】
前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、前記フィルタがかけられたイメージ情報を生成するために、第１のハイパスコンポーネントと第１のローパスコンポーネントとを有する水平鮮鋭化フィルタと、第２のハイパスコンポーネントと第２のローパスコンポーネントとを有する垂直鮮鋭化フィルタと、を適用すること、を含む、請求項１に記載の方法。
【請求項１４】
前記水平鮮鋭化フィルタを構成することは、
前記複数のパラメータ値のうちの１つまたは複数を用いて水平鮮鋭化フィルタ（ＦＨ）パラメータ値を設定することにより、ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第１のローパスコンポーネントを構成することと、
前記複数のパラメータ値のうちの１つまたは複数を用いて水平鮮鋭化フィルタ（ＦＨ）パラメータ値を設定することにより、前記ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第１のハイパスコンポーネントを構成することと、
を含む、
請求項１３に記載の方法。
【請求項１５】
前記垂直鮮鋭化フィルタを構成することは、
前記複数のパラメータ値のうちの１つまたは複数を用いて垂直鮮鋭化フィルタ（ＦＶ）パラメータを設定することにより、ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第２のローパスコンポーネントを構成することと、
前記複数のパラメータ値のうちの１つまたは複数を用いて垂直鮮鋭化フィルタ（ＦＶ）パラメータを設定することにより、前記ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第２のハイパスコンポーネントを構成することと、
を含む、
請求項１３に記載の方法。
【請求項１６】
イメージ情報を取り込むイメージセンサと、
水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを含む適応空間イメージフィルタと、
を備え、
前記適応空間イメージフィルタは、前記イメージ情報の現在の露光レベルと現在のスケーリングレベルとに基づいている１つまたは複数のパラメータ値に基づいて、前記水平鮮鋭化フィルタと前記垂直鮮鋭化フィルタとを構成し、そして、フィルタがかけられたイメージ情報を生成するために前記イメージ情報の少なくとも１つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用する、
デバイス。
【請求項１７】
前記現在の露光レベルは、イメージングデバイスが前記イメージ情報の獲得中に露光される照明強度、を指し示す露光指数値であり、前記現在のスケーリングレベルは、前記イメージ情報に適用されるアップスケーリングまたはダウンスケーリングの量を指し示す、請求項１６に記載のデバイス。
【請求項１８】
前記イメージセンサは、
おのおのが複数の静的パラメータ値に関連する複数の露光指数レベルに応じて露光レベルの範囲を分類することと、
前記現在の露光レベルと、前記分類との間の差を決定することと、
前記差の前記決定に基づいて前記分類の前記１つまたは複数の静的パラメータ値から前記１つまたは複数のパラメータ値を補間することと、
により前記パラメータ値を決定する、
請求項１６に記載のデバイス。
【請求項１９】
前記イメージセンサは、
おのおのが１つまたは複数の静的パラメータ値に関連する複数のスケーリングファクタ指数値に応じてスケーリングレベルの範囲を分類することと、
前記現在のスケーリングレベルと、前記分類との間の差を決定することと、
前記差の前記決定に基づいて前記分類の前記１つまたは複数の静的パラメータ値から前記複数のパラメータ値を補間することと、
により前記パラメータ値を決定する、
請求項１６に記載のデバイス。
【請求項２０】
前記適応空間イメージフィルタは、平滑化フィルタをさらに含み、
前記適応空間イメージフィルタは、さらに、前記パラメータ値に基づいて前記平滑化フィルタを構成し、そして、前記の水平フィルタおよび垂直フィルタを適用することに先立って、平滑化されたイメージ情報を生成するために前記イメージ情報の前記少なくとも１つのチャネルに対して前記平滑化フィルタを適用し、
前記適応空間イメージフィルタは、前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報の少なくとも１つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することにより、前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用する、
請求項１６に記載のデバイス。
【請求項２１】
前記パラメータ値は、平滑化度（ｐ）パラメータ値と、水平鮮鋭化度（ｋＨ）パラメータ値と、垂直鮮鋭化度（ｋＶ）パラメータ値と、鮮鋭化減算しきい値（ｅ１）パラメータ値と、最大正鮮鋭化限界（ｅ２）パラメータ値と、最大負鮮鋭化限界（ｅ３）パラメータ値と、水平鮮鋭化フィルタ（ＦＨ）パラメータ値と、垂直鮮鋭化フィルタ（ＦＶ）パラメータ値と、のうちの１つまたは複数を含む、請求項２０に記載のデバイス。
【請求項２２】
前記適応空間イメージフィルタは、前記平滑化フィルタの前記平滑化度（ｐ）を設定し、前記水平鮮鋭化フィルタの前記水平鮮鋭化度（ｋＨ）を設定し、そして前記垂直鮮鋭化フィルタの前記垂直鮮鋭化度（ｋＶ）を設定する、請求項２１に記載のデバイス。
【請求項２３】
前記適応空間イメージフィルタは、
水平鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも１つのチャネルに対して前記水平鮮鋭化フィルタを適用し、
垂直鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも１つのチャネルに対して前記垂直鮮鋭化フィルタを適用し、
前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報と、前記水平鮮鋭化されたイメージ情報と、前記垂直鮮鋭化されたイメージ情報と、を加算する、
請求項２１に記載のデバイス。
【請求項２４】
前記適応空間イメージフィルタは、
前記複数のパラメータ値内に含まれる最大正鮮鋭化限界（ｅ２）と、最大負鮮鋭化限界（ｅ３）と、に応じて前記水平鮮鋭化されたイメージ情報をクランプし、
前記最大正鮮鋭化限界（ｅ２）と、前記最大負鮮鋭化限界（ｅ３）と、に応じて前記垂直鮮鋭化されたイメージ情報をクランプする、
請求項２３に記載のデバイス。
【請求項２５】
前記適応空間イメージフィルタは、
前記複数のパラメータ値内に含まれる鮮鋭化減算しきい値（ｅ１）を前記水平鮮鋭化イメージ情報から差し引き、
前記鮮鋭化減算しきい値（ｅ１）を前記垂直鮮鋭化イメージ情報から差し引く、
請求項２４に記載のデバイス。
【請求項２６】
前記適応空間イメージフィルタは、前記イメージ情報の輝度（Ｙ）チャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用し、前記イメージ情報は、ＹＣｒＣｂカラー空間に応じて定義される、請求項１６に記載のデバイス。
【請求項２７】
前記フィルタがかけられたイメージ情報を生成するために、前記水平鮮鋭化フィルタは、第１のハイパスコンポーネントと第１のローパスコンポーネントとを有し、前記垂直鮮鋭化フィルタは、第２のハイパスコンポーネントと第２のローパスコンポーネントとを有する、請求項１６に記載のデバイス。
【請求項２８】
前記適応空間イメージフィルタは、
前記複数のパラメータ値のうちの１つまたは複数を用いて水平鮮鋭化フィルタ（ＦＨ）パラメータ値を設定することにより、ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第１のローパスコンポーネントを構成し、そして
前記複数のパラメータ値のうちの１つまたは複数を用いて水平鮮鋭化フィルタ（ＦＨ）パラメータ値を設定することにより、前記ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第１のハイパスコンポーネントを構成する、
請求項２７に記載のデバイス。
【請求項２９】
前記適応空間イメージフィルタは、
前記複数のパラメータ値のうちの１つまたは複数を用いて垂直鮮鋭化フィルタ（ＦＶ）パラメータを設定することにより、ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第２のローパスコンポーネントを構成し、そして
前記複数のパラメータ値のうちの１つまたは複数を用いて垂直鮮鋭化フィルタ（ＦＶ）パラメータを設定することにより、前記ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第２のハイパスコンポーネントを構成する、
請求項２７に記載のデバイス。
【請求項３０】
プロセッサに、
イメージ情報の現在の露光レベルと、現在のスケーリングレベルと、に基づいて１つまたは複数のパラメータ値を決定させ、
前記パラメータ値に基づいて水平鮮鋭化フィルタを構成させ、
前記パラメータ値に基づいて垂直鮮鋭化フィルタを構成させ、そして
フィルタがかけられたイメージ情報を生成するために前記イメージ情報の少なくとも１つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用させる、
命令、
を備えるコンピュータ可読媒体。
【請求項３１】
前記現在の露光レベルは、イメージングデバイスが、前記イメージ情報の獲得中に露光される照明強度を指し示す露光指数値であり、前記現在のスケーリングレベルは、前記イメージ情報に適用されるアップスケーリングまたはダウンスケーリングの量を指し示す、請求項３０に記載のコンピュータ可読媒体。
【請求項３２】
前記命令は、前記プロセッサに、おのおのが１つまたは複数の静的パラメータ値に関連する複数の露光指数値に応じて露光レベルの範囲を分類させ、前記現在の露光レベルと前記分類との間の差を決定させ、そして、前記差の前記決定に基づいて前記分類の前記１つまたは複数の静的パラメータ値から前記１つまたは複数のパラメータ値を補間させる、請求項３０に記載のコンピュータ可読媒体。
【請求項３３】
前記命令は、前記プロセッサに、
おのおのが１つまたは複数の静的パラメータ値に関連する複数のスケーリングファクタ指数値に応じてスケーリングレベルの範囲を分類させ、
前記現在のスケーリングレベルと前記分類との間の差を決定させ、そして
前記差の前記決定に基づいて前記分類の１つまたは複数の静的パラメータ値から前記１つまたは複数のパラメータ値を補間させる、
請求項３０に記載のコンピュータ可読媒体。
【請求項３４】
前記命令は、前記プロセッサに、前記現在の露光レベルに対応する露光指数値に関連する静的パラメータ値と、前記現在のスケーリングレベルに対応するスケーリングファクタ指数値に関連する静的パラメータ値と、に基づいて前記１つまたは複数のパラメータ値を決定させる、請求項３０に記載のコンピュータ可読媒体。
【請求項３５】
前記命令は、前記プロセッサに、前記パラメータ値に基づいて平滑化フィルタを構成させ、そして前記の水平フィルタおよび垂直フィルタ適用することに先立って、平滑化されたイメージ情報を生成するために前記イメージ情報の前記少なくとも１つのチャネルに対して前記平滑化フィルタを適用させ、そして、前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することは、前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報の少なくとも１つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用することを含む、請求項１に記載のコンピュータ可読媒体。
【請求項３６】
前記パラメータ値は、平滑化度（ｐ）パラメータ値と、水平鮮鋭化度（ｋＨ）パラメータ値と、垂直鮮鋭化度（ｋＶ）パラメータ値と、鮮鋭化減算しきい値（ｅ１）パラメータ値と、最大正鮮鋭化限界（ｅ２）パラメータ値と、最大負鮮鋭化限界（ｅ３）パラメータ値と、水平鮮鋭化フィルタ（ＦＨ）パラメータ値と、垂直鮮鋭化フィルタ（ＦＶ）パラメータ値と、のうちの１つまたは複数を含む、請求項３５に記載のコンピュータ可読媒体。
【請求項３７】
前記命令は、前記プロセッサに、
前記平滑化フィルタの前記平滑化度（ｐ）を設定させ、
前記水平鮮鋭化フィルタの前記水平鮮鋭化度（ｋＨ）を設定させ、そして
前記垂直鮮鋭化フィルタの前記垂直鮮鋭化度（ｋＶ）を設定させる、
請求項３６に記載のコンピュータ可読媒体。
【請求項３８】
前記命令は、前記プロセッサに、
水平鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも１つのチャネルに対して前記水平鮮鋭化フィルタを適用させ、
垂直鮮鋭化されたイメージ情報を生成するために、前記平滑化されたイメージ情報の前記少なくとも１つのチャネルに対して前記垂直鮮鋭化フィルタを適用させ、そして
前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報と、前記水平鮮鋭化されたイメージ情報と、前記垂直鮮鋭化されたイメージ情報と、を加算させる、
請求項３５に記載のコンピュータ可読媒体。
【請求項３９】
前記命令は、前記プロセッサに、
前記パラメータ値内に含まれる最大正鮮鋭化限界（ｅ２）と、最大負鮮鋭化限界（ｅ３）とに応じて前記水平鮮鋭化されたイメージ情報をクランプさせ、そして
前記最大正鮮鋭化限界（ｅ２）と、前記最大負鮮鋭化限界（ｅ３）とに応じて前記垂直鮮鋭化されたイメージ情報をクランプさせる、
請求項３８に記載のコンピュータ可読媒体。
【請求項４０】
前記命令は、前記プロセッサに、
前記複数のパラメータ値内に含まれる鮮鋭化減算しきい値（ｅ１）を前記水平鮮鋭化イメージ情報から差し引かせ、そして
前記鮮鋭化減算しきい値（ｅ１）を前記垂直鮮鋭化イメージ情報から差し引かせる、
請求項３８に記載のコンピュータ可読媒体。
【請求項４１】
前記命令は、前記プロセッサに、前記イメージ情報の輝度（Ｙ）チャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用させ、そして、前記イメージ情報は、ＹＣｒＣｂカラー空間に応じて前記イメージ情報を定義する、請求項３０に記載のコンピュータ可読媒体。
【請求項４２】
前記命令は、前記プロセッサに、第１のハイパスコンポーネントおよび第１のローパスコンポーネントを有する水平鮮鋭化フィルタと、第２のハイパスコンポーネントおよび第２のローパスコンポーネントを有する垂直鮮鋭化フィルタとを、前記フィルタがかけられたイメージ情報を生成するために適用させる、請求項３０に記載のコンピュータ可読媒体。
【請求項４３】
前記命令は、前記プロセッサに、
前記複数のパラメータ値のうちの１つまたは複数を用いて水平鮮鋭化フィルタ（ＦＨ）パラメータ値を設定することにより、ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第１のローパスコンポーネントを構成させ、そして
前記複数のパラメータ値のうちの１つまたは複数を用いて水平鮮鋭化フィルタ（ＦＨ）パラメータ値を設定することにより、前記ハロー効果を低減させるように前記水平鮮鋭化フィルタの前記第１のハイパスコンポーネントを構成させる、
請求項４２に記載のコンピュータ可読媒体。
【請求項４４】
前記命令は、前記プロセッサに、
前記複数のパラメータ値のうちの１つまたは複数を用いて垂直鮮鋭化フィルタ（ＦＶ）パラメータを設定することにより、ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第２のローパスコンポーネントを構成させ、そして
前記複数のパラメータ値のうちの１つまたは複数を用いて垂直鮮鋭化フィルタ（ＦＶ）パラメータを設定することにより、前記ハロー効果を低減させるように前記垂直鮮鋭化フィルタの前記第２のハイパスコンポーネントを構成させる、
請求項４２に記載のコンピュータ可読媒体。
【請求項４５】
イメージ情報の現在の露光レベルと、現在のスケーリングレベルと、に基づいて１つまたは複数のパラメータ値を決定するための手段と、
前記パラメータ値に基づいて水平鮮鋭化フィルタを構成するための手段と、
前記パラメータ値に基づいて垂直鮮鋭化フィルタを構成するための手段と、
フィルタがかけられたイメージ情報を生成するために前記イメージ情報の少なくとも１つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用するための手段と、
を備えるデバイス。
【請求項４６】
前記現在の露光レベルは、イメージングデバイスが前記イメージ情報の獲得中に露光される照明強度、を指し示す露光指数値であり、そして、前記現在のスケーリングレベルは、前記イメージ情報に適用されるアップスケーリングまたはダウンスケーリングの量を指し示す、請求項４５に記載のデバイス。
【請求項４７】
前記１つまたは複数のパラメータ値を決定するための前記手段は、
おのおのが１つまたは複数の静的パラメータ値に関連する複数の露光指数値に応じて露光レベルの範囲を分類するための手段と、
前記現在の露光レベルと前記分類との間の差を決定するための手段と、
前記差の前記決定に基づいて前記分類の前記１つまたは複数の静的パラメータ値から前記１つまたは複数のパラメータ値を補間するための手段と、
を含む、
請求項４５に記載のデバイス。
【請求項４８】
前記パラメータ値を決定するための前記手段は、
おのおのが１つまたは複数の静的パラメータ値に関連する複数のスケーリングファクタ指数値に応じてスケーリングレベルの範囲を分類するための手段と、
前記現在のスケーリングレベルと前記分類との間の差を決定するための手段と、
前記差の前記決定に基づいて前記分類の１つまたは複数の静的パラメータ値から前記１つまたは複数のパラメータ値を補間するための手段と、
を含む、
請求項４５に記載のデバイス。
【請求項４９】
前記パラメータ値に基づいて平滑化フィルタを構成するための手段と、
前記の水平フィルタおよび垂直フィルタ適用することに先立って、平滑化されたイメージ情報を生成するために前記イメージ情報の前記少なくとも１つのチャネルに対して前記平滑化フィルタを適用するための手段と、
をさらに備え、
前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用するための前記手段は、前記フィルタがかけられたイメージ情報を生成するために、前記平滑化されたイメージ情報の少なくとも１つのチャネルに対して前記の水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用するための手段を含む、請求項４５に記載のデバイス。
【請求項５０】
前記パラメータ値は、平滑化度（ｐ）パラメータ値と、水平鮮鋭化度（ｋＨ）パラメータ値と、垂直鮮鋭化度（ｋＶ）パラメータ値と、鮮鋭化減算しきい値（ｅ１）パラメータ値と、最大正鮮鋭化限界（ｅ２）パラメータ値と、最大負鮮鋭化限界（ｅ３）パラメータ値と、水平鮮鋭化フィルタ（ＦＨ）パラメータ値と、垂直鮮鋭化フィルタ（ＦＶ）パラメータ値と、のうちの１つまたは複数を含む、請求項４９に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、イメージキャプチャデバイス(image capture device)に関し、より詳細にはイメージキャプチャデバイス内のイメージ情報のフィルタリング(filtering)に関する。
【背景】
【０００２】
デジタルスチルフォトカメラ(digital still photo camera)などのイメージキャプチャデバイスによって取り込まれるイメージ情報は、イメージセンサ(image sensor)の物理的限界の結果としての雑音と、照明源からの干渉などの影響を受けやすい。例えば、モバイルワイヤレス通信デバイスなどの多目的モバイルデバイスにおける、より小型のイメージキャプチャデバイスについての要求が増大すると共に、よりコンパクトなイメージセンサモジュール(image sensor module)が必要になってきている。イメージセンサモジュールのサイズの減少は、イメージ情報内に取り込まれる雑音の量におけるかなりの増大をもたらす。
【０００３】
イメージ情報フィルタリングは、雑音を除去し、または雑音を低減するために、そしてレンダリングされたイメージの品質を改善するために使用される一般的なプロセスである。取り込まれたイメージ情報に対するローパスフィルタリング(low pass filtering)の適用は、イメージの中の雑音の量を低減させるが、高周波数信号を含む鮮鋭な(sharp)エッジを破壊することによりイメージをぼかす傾向もある。取り込まれたイメージデータに対するハイパスフィルタリング(high pass filtering)の適用は、鮮鋭なエッジおよびコントラストを強調するが、同様に必然的に雑音も強調してしまう。
【発明の概要】
【０００４】
本開示は、ビデオイメージやスチルイメージ(still image)などの取り込まれたイメージ情報の品質を改善する適応フィルタリング技法(adaptive filtering techniques)について説明する。例えば、多目的モバイルデバイス内のイメージキャプチャデバイスは、そのようなデバイスによって取り込まれる(captured)イメージの品質を改善する適応フィルタリング技法を使用することができる。本開示は、取り込まれたイメージ情報に関連する現在の露光レベル(current exposure level)と現在のスケーリングレベル(current scaling level)とに適応する適応フィルタリング技法について、説明する。
【０００５】
イメージキャプチャデバイスは、イメージ情報を取り込むイメージセンサ(image sensor)と、本開示において説明される適応フィルタリング技法に従ってイメージ情報の品質を改善する適応空間イメージフィルタ(adaptive spatial image filter)と、を含むことができる。
【０００６】
適応空間イメージフィルタは、イメージセンサによって取り込まれるイメージ情報の現在の露光指数レベル(current exposure index level)と、現在のスケーリングファクタレベル(current scaling factor level)と、に基づいて調整される１組のパラメータ値、を使用する。
【０００７】
適応空間イメージフィルタは、水平鮮鋭化フィルタ(horizontal sharpening filter)と垂直鮮鋭化フィルタ(vertical sharpening filter)の両方を含んでおり、それは、取り込まれたイメージ情報の少なくとも１つのチャネルに対してこれらの鮮鋭化フィルタを適用する。水平鮮鋭化フィルタと垂直鮮鋭化フィルタのうちのおのおのは、ローパスコンポーネント(low pass component)と、ハイパスコンポーネント(high pass component)と、を備えることができ、これらのコンポーネントのうちのおのおのは、鮮鋭化フィルタの適用からもたらされる暗くされたエッジのまわりのハロー効果(halo effects)あるいは残留白色アウトライン(residual white outlines)を低減させるために構成可能とすることができる。
【０００８】
適応空間イメージフィルタは、水平にかつ垂直に鮮鋭化されたイメージ情報を、クランプすること(clamping)および調整することにより、水平および垂直の鮮鋭化フィルタからの出力を、さらに洗練する(refine)ことができる。取り込まれたイメージ情報に対する適応空間イメージフィルタを適用することの結果として、イメージ情報は、雑音および他のイメージの異常が、かなり低減されるように洗練されることができる。
【０００９】
一実施形態においては、本開示は、イメージ情報の現在の露光レベル、および現在のスケーリングレベルに基づいて、１つまたは複数のパラメータ値を決定することと、パラメータ値に基づいて水平鮮鋭化フィルタを構成することと、パラメータ値に基づいて垂直鮮鋭化フィルタを構成することと、フィルタがかけられたイメージ情報を生成するために、イメージ情報の少なくとも１つのチャネルに対して水平鮮鋭化フィルタと垂直鮮鋭化フィルタとを適用することと、を備える方法を提供している。
【００１０】
別の実施形態においては、本開示は、イメージ情報を取り込むイメージセンサと、水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを含む適応空間イメージフィルタと、を備えるデバイスを提供しており、なおここで。適応空間イメージフィルタは、イメージ情報の現在の露光レベルおよび現在のスケーリングレベル、に基づいている１つまたは複数のパラメータ値に基づいて、水平鮮鋭化フィルタと垂直鮮鋭化フィルタとを構成し、そして、フィルタがかけられたイメージ情報を生成するためにイメージ情報の少なくとも１つのチャネルに対して水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタを適用する。
【００１１】
本開示において説明される技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せの形でインプリメントされることができる。ソフトウェアの形でインプリメントされる場合、ソフトウェアは、デジタル信号プロセッサ(digital signal processor)（ＤＳＰ）などのプロセッサの中で実行されることができる。本技法を実行するソフトウェアは、最初にコンピュータ可読媒体に記憶され、プロセッサにロードされ、その中で実行されることができる。したがって、本開示はまた、適応フィルタリング技法を実行する命令を備えているコンピュータ可読媒体も意図する。
【００１２】
本開示の１つまたは複数の実施形態についての詳細は、下記に添付図面と説明の中で述べられる。本開示の他の特徴、目的、および利点は、説明および図面から、そして特許請求の範囲から明らかであろう。
【図面の簡単な説明】
【００１３】
【図１】図１は、イメージ情報を取り込むための例示のイメージキャプチャデバイスを示すブロック図である。
【図２】図２は、さらに詳細に図１のイメージキャプチャデバイスを示すブロック図である。
【図３】図３は、イメージ情報の現在の露光レベルとスケーリングレベルとに基づいてイメージ情報にフィルタをかける際における、適応空間イメージフィルタの例示のオペレーションを示す流れ図である。
【図４Ａ】図４Ａは、線形補間を経由して複数のパラメータ値を決定する際における、図２のイメージセンサの例示のオペレーションを示すグラフである。
【図４Ｂ】図４Ｂは、線形補間を経由して複数のパラメータ値を決定する際における図２のイメージセンサの例示のオペレーションを示すグラフである。
【図５Ａ】図５Ａは、鮮鋭化するための、１つの次元におけるハイパスフィルタについての係数を示すグラフである。
【図５Ｂ】図５Ｂは、平滑化するための、別の次元におけるローパスフィルタについての係数を示すグラフである。
【図６Ａ】図６Ａは、例示のイメージ情報を示すイメージである。
【図６Ｂ】図６Ｂは、フィルタがかけられたイメージ情報を示すイメージである。
【図７】図７は、図２の垂直鮮鋭化フィルタまたは水平鮮鋭化フィルタのいずれかについてのパラメータセットを示すグラフである。
【図８Ａ】図８Ａは、例示のイメージ情報を示すイメージである。
【図８Ｂ】図８Ｂは、フィルタがかけられたイメージ情報を示すイメージである。
【詳細な説明】
【００１４】
図１は、イメージ情報を取り込むための例示のイメージキャプチャデバイス１０を示すブロック図である。図１に示されるように、イメージキャプチャデバイス１０は、イメージセンサ１２と、適応空間イメージフィルタ１４と、イメージプロセッサ(image processor)１６と、イメージストレージデバイス(image storage device)１８と、を含む。図１に示される機能は、ハードウェアコンポーネントおよび／またはソフトウェアコンポーネントの適切な任意の組合せによって実現されることができる。異なる機能のユニットとしての描写は、イメージキャプチャデバイス１０の異なる機能の様相をハイライトするように意図され、必ずしもそのようなユニットが、別々のハードウェアコンポーネントおよび／またはソフトウェアコンポーネントによって実現される必要があることを意味するものとは限らない。もっと正確に言えば、１つまたは複数のユニットに関連する機能は、共通のハードウェアコンポーネントおよび／またはソフトウェアコンポーネント内に一体化されることができる。
【００１５】
例示の一実施形態においては、適応空間フィルタ１４は、イメージセンサ１２によって取得されるイメージ情報に関連するピクセル値に適用される５掛ける５（５×５）の空間フィルタに基づいたものとすることができる。５×５の空間フィルタは、１つの次元におけるハイパスフィルタと、別の次元におけるローパスフィルタと、を提供する。適応空間フィルタ１４のこの設計は、効率性を提供し、レンズおよびセンサの品質に起因して小型のカメラによって取得されるイメージの場合に一般的である、エッジが少し雑音の多いときでさえ、明瞭なきれいな鮮鋭化効果を作成することができる。適応空間フィルタ１４は、調整可能な雑音低減制御と、水平および垂直な鮮鋭化度制御と、最大鮮鋭化効果制御とを提供することができる。さらに、適応空間フィルタの効率は、照明光強度と、イメージサイズと、スケーリングファクタに応じて制御されることができる。特に、適応空間フィルタ１４は、イメージセンサ１２によって取得されるイメージ情報についての現在の露光レベルと現在のスケーリングレベルに適応することができる。
【００１６】
適応空間フィルタ１４は、雑音を低減させ、エッジを鮮鋭化する助けをするので、それは、イメージセンサ１２によって取得されるイメージについてのポスト処理(post-processing)として提供されることができる。いくつかの実施形態においては、適応空間フィルタ１４は、イメージ圧縮の前の輝度（Ｙ）チャネルだけに適用されることができる。フィルタパラメータは、イメージセンサ１２によって取り込まれるイメージの状態に基づいて実行時に生成されることができる。フィルタパラメータは、適応空間フィルタ１４に送信され、この適応空間フィルタは、Ｙチャネルを処理し、そして空間フィルタがかけられたＹ信号をイメージプロセッサ１６に対して出力する。フィルタＹチャネルは、例えば、ＪＰＥＧ圧縮を使用して、元のＣｂＣｒチャネルと共に圧縮されることができる。異なる適応空間フィルタパラメータは、現在の露光レベルや現在のスケーリングレベルなどの異なる状態に応じて作成されることができる。現在の露光レベルは、照明状態を指し示し、現在のスケーリングレベルは、イメージのアップサイズまたはダウンサイズの比、すなわち、ズームファクタを指し示す。適応空間フィルタパラメータは、一般に平滑化度と、鮮鋭化度と、雑音レベルと、最大鮮鋭化レベルとを含む。
【００１７】
イメージキャプチャデバイス１０は、デジタルビデオカメラ(digital video camera)などのデジタルカメラ、デジタルスチルイメージカメラ(digital still image camera)、または両方の組合せとすることができる。イメージキャプチャデバイス１０は、スタンドアロンカメラ(stand-alone camera)などのスタンドアロンデバイスとすることもでき、あるいはワイヤレス通信デバイスなど、別の多目的デバイスの形で一体化されることもできる。一例として、イメージキャプチャデバイス１０は、いわゆるカメラ電話またはビデオ電話を形成するようにモバイル電話の形で一体化されることができる。イメージキャプチャデバイス１０は、カラー画像(color imagery)、白黒画像(black-and-white imagery)、あるいは両方を取り込むように装備されることが好ましい。本開示においては、用語、「イメージ」、「画像」、「イメージ情報」、または類似した用語は、交換可能なようにビデオまたはスチルピクチャ(still picture)を意味することができる。
【００１８】
イメージセンサ１２は、対象となっているシーン(scene)についてのイメージ情報を獲得する。イメージセンサ１２は、例えば行と列との形に配列された個々のイメージセンサ要素の２次元アレイを含むことができる。イメージセンサ１２のイメージセンサ要素のおのおのは、単一ピクセルに関連づけられることができる。換言すれば、イメージセンサ要素とピクセルとの間には１対１の対応が存在する。しかしながら、いくつかの実施形態においては、各ピクセルに関連する複数のイメージセンサ要素が存在する可能性がある。イメージセンサ１２は、例えば、相補型金属酸化膜半導体(complementary metal-oxide semiconductor)（ＣＭＯＳ）センサ、電荷結合デバイス(charge coupled device)（ＣＣＤ）センサなどのソリッドステートセンサ(solid state sensor)のアレイを備えることができる。
【００１９】
イメージセンサ１２は、対象となっているシーンのカラーコンポーネントを分離するようにメージセンサ要素をカバーするカラーフィルタの二次元アレイを含むこともできる。イメージセンサ１２は、例えば、ベイヤパターン(Bayer pattern)、すなわち交互になった赤色カラーフィルタおよび緑色カラーフィルタの行と、交互になった青色カラーフィルタおよび緑色カラーフィルタの行を交互にしたカラーフィルタの反復配列、の形で配列された赤色、緑色、および青色のフィルタのアレイを備えることができる。イメージセンサ１２は、シアン、マゼンタ、黄色、および黒色（ＣＭＹＫ）のカラーフィルタなど、他のカラーフィルタを利用することもできる。さらに、イメージセンサ１２は、カラーフィルタをベイヤパターン以外のパターンに配列することもできる。
【００２０】
イメージセンサ１２内のイメージセンサ要素は、イメージ情報を取り込むためにイメージシーン(image scene)に対して露光される(exposed)。センサ１２のイメージセンサ要素のおのおのは、例えば、特定のピクセル位置におけるシーンの光の強度を表す強度値(intensity value)を取り込むことができる。センサ１２のイメージセンサのおのおのは、センサをカバーするカラーフィルタに起因して１色のカラーまたはカラー帯域だけに対して感度が高いようにすることができる。それ故に、センサアレイ１２のイメージセンサのおのおのは、３色のカラーのうちの１つについてのみイメージ情報（例えば、強度値）を取り込むことができる。
【００２１】
一般的に、イメージセンサ１２はまた、輝度(luminance)、青色(chromatic blue)、赤色(chromatic red)（ＹＣｂＣｒ）のカラー空間へと、取り込まれたカラーフィルタがかけられたイメージ情報を変換するハードウェア、ソフトウェア、または両方を経由したアルゴリズムも使用する。イメージセンサ１２は、さらに、取り込まれたイメージ情報の現在の露光レベルとスケーリングレベルとに基づいて複数のパラメータを決定することができる。露光レベルは、イメージセンサ１２が、イメージが取り込まれるときに露光される照明強度(illumination intensity)の量を指し示す露光指数値(exposure index value)として表されることができる。スケーリングレベルは、スケーリングファクタとして表されることができ、このスケーリングファクタは、イメージセンサ１２によって取得されるイメージのアップスケーリング(upscaling)またはダウンスケーリング(downscaling)の量、例えばズームファクタ(zoom factor)を指し示す。
【００２２】
適応空間イメージフィルタ１４は、イメージセンサ１２によって取り込まれるイメージ情報にフィルタをかける。特に、適応空間イメージフィルタ１４は、イメージセンサ１２によって取り込まれるイメージ情報のうちの少なくとも１つのチャネル、すなわち、Ｙチャネル、Ｃｂチャネル、またはＣｒチャネルのうちの１つまたは複数にフィルタをかける。適応空間イメージフィルタ１４は、イメージセンサ１２によって指定される１つまたは複数のパラメータに基づいて「適応する」、すなわち、それ自体を構成することができる。例示のパラメータは、平滑化度(smoothing degree)（ｐ）と、水平鮮鋭化度(horizontal sharpening degree)（ｋＨ）と、垂直鮮鋭化度(vertical sharpening degree)（ｋＨ）と、鮮鋭化減算しきい値(sharpening subtraction threshold)（ｅ１）と、最大正鮮鋭化限界(maximum positive sharpening limit)（ｅ２）と、最大負鮮鋭化限界(maximum negative sharpening limit)（ｅ３）と、を含む。水平鮮鋭化フィルタ(horizontal sharpening filter)および垂直鮮鋭化フィルタ(vertical sharpening filter)は、フィルタ関数ＦＨおよびＦＶによって表される。
【００２３】
ひとたび構成された後に、適応空間イメージフィルタ１４は、まず、平滑化されたイメージ情報を生成するために、ＹＣｂＣｒ符号化されたイメージ情報のうちのＹチャネル、すなわち、輝度チャネルに対して平滑化フィルタ(smoothing filter)を適用することができる。いくつかの実施形態においては、平滑化フィルタは、３掛ける３（３×３）の平滑化フィルタとすることができる。適応イメージフィルタ１４はまた、水平鮮鋭化されたイメージ情報を生成するために、平滑化されたイメージ情報のうちのＹチャネルに対して水平鮮鋭化フィルタを適用することもできる。さらに、適応イメージフィルタ１４は、垂直鮮鋭化されたイメージ情報を生成するために、平滑化されたイメージ情報のうちのＹチャネルに対して垂直鮮鋭化フィルタを適用することもできる。いくつかの実施形態においては、水平鮮鋭化フィルタと垂直鮮鋭化フィルタとの適用は、同時に生ずることができ、そして他の実施形態においては、これらのフィルタの適用は、逐次的に生ずることができる。
【００２４】
適応イメージフィルタ１４は、水平鮮鋭化されたイメージ情報と、垂直鮮鋭化されたイメージ情報との両方から鮮鋭化減算しきい値（ｅ１）を差し引くことはもちろん、最大正鮮鋭化限界および最大負鮮鋭化限界（ｅ２、ｅ３）に応じて水平鮮鋭化されたイメージ情報と、垂直鮮鋭化されたイメージ情報とをクランプする(clamp)ことができる。クランプを行い、そして差し引いた後に、適応空間イメージフィルタ１４は、フィルタがかけられたイメージ情報を生成するために、平滑化されたイメージ情報と、水平鮮鋭化されたイメージ情報と、垂直鮮鋭化されたイメージ情報と、を加算することができる。このようにして、適応イメージフィルタ１４は、下記にもっと詳細に説明されるように、同時に雑音を平滑化して取り除き、イメージを強調することができる。取り込まれたイメージ情報に対して適応空間イメージフィルタを適用する結果として、たとえ適応空間イメージフィルタが、さらに従来は、イメージをゆがめる役割を果たすことになっていた平滑化フィルタと鮮鋭化フィルタの両方を適用するとしても、イメージ情報は、雑音および他のイメージの異常が、かなり低減されるように洗練されることができる。
【００２５】
イメージプロセッサ１６は、適応イメージフィルタ１４からフィルタがかけられたイメージ情報を受け取り、フィルタがかけられたイメージ情報に対して必要な処理を実行する。イメージプロセッサ１６は、例えば、イメージセンサ１２によって取り込まれるイメージ情報についてのクロッピング(cropping)、圧縮、イメージ強調、あるいは他の処理を実行することができる。イメージプロセッサ１６、ならびに適応空間イメージフィルタ１４は、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路(application specification integrated circuit)（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ(field programmable gate array)（ＦＰＧＡ）、または他の等価な任意の個別の、または集積化された論理回路によって実現されることができる。いくつかの実施形態においては、適応空間イメージフィルタ１４と、イメージプロセッサ１６とは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ  Ｈ．２６３、ＩＴＵ  Ｈ．２６４、ＪＰＥＧ、ＧＩＦ、ＴＩＦＦなど、特定の符号化の技法またはフォーマットに応じてイメージ情報を符号化するエンコーダ−デコーダ（ＣＯＤＥＣ）の一部分を形成することができる。
【００２６】
イメージプロセッサ１６は、フィルタがかけられたイメージ情報をイメージストレージデバイス１８に記憶する。イメージプロセッサ１６は、生のイメージ情報、処理されたイメージ情報、または符号化された情報をイメージストレージデバイス１８に記憶することができる。イメージ情報がオーディオ情報によって伴われる場合、オーディオはまた、独立に、あるいはビデオ情報と一緒のいずれかでイメージストレージデバイス１８に記憶されることができる。イメージストレージデバイス１８は、読取り専用メモリ(read only memory)（ＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ(electrically erasable programmable read only memory)（ＥＥＰＲＯＭ）、フラッシュメモリ(FLASH memory)など、あるいは磁気データストレージデバイスや光データストレージデバイスなど、揮発性または不揮発性の任意のメモリまたはストレージデバイスを備えることができる。
【００２７】
図２は、イメージキャプチャデバイス１０をさらに詳細に示すブロック図である。上記に説明されるように、イメージキャプチャデバイス１０は、適応空間イメージフィルタ１４を含んでおり、この適応空間イメージフィルタは、イメージセンサ１２からのＹＣｂＣｒ符号化されたイメージ情報のうちのＹチャネルに対してイメージ処理オペレーションを実行する。図２に示されるように、適応空間イメージフィルタ１４は、平滑化フィルタ２０と、水平鮮鋭化フィルタ２２Ａと、垂直鮮鋭化フィルタ２２Ｂと、クランプ(clamps)２４Ａ、２４Ｂ（「クランプ２４」）と、減算器２６Ａ、２６Ｂ（「減算器２６」）と、加算ユニット２８とを含む。異なる機能のユニットとしての描写は、適応イメージフィルタ１４の異なる機能の様相をハイライトするように意図され、必ずしもそのようなユニットが、別々のハードウェアコンポーネントおよび／またはソフトウェアコンポーネントによって実現される必要があることを意味するものとは限らない。もっと正確に言えば、１つまたは複数のユニットに関連する機能は、共通のハードウェアコンポーネントおよび／またはソフトウェアコンポーネントの中に一体化されることができる。
【００２８】
上記に説明されるように、イメージセンサ１２は、取り込まれたイメージ情報３０Ａの現在の露光レベルおよびスケーリングレベルに基づいて複数のパラメータ値１９を決定する。それ故に、図２の例においては、イメージセンサ１２は、パラメータ値１９を決定する適切なハードウェアコンポーネントおよび／またはソフトウェアコンポーネントを含んでいる。代わりに、パラメータ値１９の決定は、イメージセンサ１２の外側の異なるハードウェアまたはソフトウェアのユニットの中で実行されることができる。イメージセンサ１２内のパラメータ値１９の決定は、例示の目的のために説明されることになる。
【００２９】
イメージセンサ１２は、図４Ａおよび４Ｂの中のチャートに示される曲線などの曲線に応じて線形補間(linear interpolation)を実行することができる。それらの曲線によって表される補間値(interpolation values)は、例えば、ルックアップテーブル(lookup table)（ＬＵＴ）に記憶され、関数から導き出され、あるいは他の方法で提示されることができる。線形補間を実行する際に、イメージセンサ１２は、図４Ａのチャートに応じて現在の露光レベルに基づいてパラメータ値１９を補間することができる。イメージセンサ１２は、取り込まれたイメージ情報３０Ａの特性に基づいて現在の露光レベルを計算する。この現在の露光レベルから、イメージセンサ１２は、おのおのが複数の静的パラメータ値(static parameter values)を定義する露光レベルに応じて現在の露光レベルを分類する(classifies)。
【００３０】
静的パラメータ値は、パラメータ値の補間のための開始データポイントとしての役割を果たす１組のあらかじめ決定されたパラメータ値を意味する。追加のパラメータ値は、補間を使用して静的パラメータ値の間で決定されることができる。イメージセンサ１２はまた、露光指数と分類との間の差も決定する。これらの差を使用して、イメージセンサ１２は、差の決定に基づいて分類の複数の静的パラメータ値からパラメータ値１９を補間する。
【００３１】
イメージセンサ１２はまた、図４Ｂのチャートに応じてイメージ情報３０Ａのスケーリングファクタに基づいてパラメータ値１９を補間することもできる。イメージセンサ１２は、おのおのが複数の静的パラメータ値を定義するスケーリングファクタレベルに応じて、イメージ情報３０Ａのスケーリングファクタを分類する。イメージセンサ１２は、スケーリングファクタと分類との間の差を決定する。差を決定した後、イメージセンサ１２は、差の決定に基づいて分類の複数の静的パラメータ値からパラメータ値１９を補間する。線形補間は、例えば、図４Ａおよび４Ｂのチャートに示される曲線に類似した曲線に応じて、任意の順序で実行されることができ、そして後続の線形補間は、先行する線形補間から決定されるパラメータ値１９を修正することができる。パラメータ値１９は、平滑化度と、水平鮮鋭化度と、垂直鮮鋭化度と、最大正鮮鋭化限界と、最大負鮮鋭化限界と、を含むことができる。
【００３２】
イメージセンサ１２は、フィルタの特性をイメージ情報に適応する際に使用するために、補間されたパラメータ値１９を適応空間イメージフィルタ１４に対して出力する。補間されたパラメータ値１９を受け取るとすぐに、適応空間イメージフィルタ１４は、平滑化フィルタ２０と、水平鮮鋭化フィルタ２２Ａと、垂直鮮鋭化フィルタ２２Ｂと、クランプ２４と、減算器２６との内部の関連するパラメータをイメージセンサ１２から受け取られるパラメータ値１９によって定義される対応する値に設定することにより、適応する、すなわちそれ自体を構成する。この場合にも、パラメータ値１９は、イメージキャプチャデバイス１０内のイメージセンサ１２または他の何らかのコンポーネントによって決定されることができる。適応空間イメージフィルタ１４は、パラメータ値１９に含まれる関連する平滑化度（ｐ）パラメータ値を用いて平滑化度（ｐ）パラメータを設定する。平滑化度（ｐ）は、平滑化度のパーセンテージとして表されることができる。ｐ＝０％であるときに、フィルタは、平滑化効果のないＩフィルタである。ｐ＝１００％であるときには、フィルタは、与えられたフィルタ、例えば、３×３のフィルタによって達成可能な最大の平滑化効果を有する平均的なフィルタである。
【００３３】
適応空間イメージフィルタ１４はまた、イメージセンサ１２から受け取られるパラメータ値１９に応じて、それぞれ水平鮮鋭化フィルタ２２Ａおよび垂直鮮鋭化フィルタ２２Ｂの水平鮮鋭化度（ｋＨ）パラメータおよび垂直鮮鋭化度（ｋＶ）パラメータも設定する。さらに、適応空間イメージフィルタ１４は、パラメータ値１９のうちの関連する鮮鋭化減算しきい値（ｅ１）パラメータ値と、最大正鮮鋭化限界（ｅ２）パラメータ値と、最大負鮮鋭化限界（ｅ３）パラメータ値とを用いて、減算器２６の鮮鋭化減算しきい値（ｅ１）パラメータと、クランプ２４の最大正鮮鋭化限界（ｅ２）パラメータと、最大負鮮鋭化限界（ｅ３）パラメータと、を設定する。いくつかの実施形態においては、設計者は、適応空間フィルタ１４をインプリメントするように、水平鮮鋭化フィルタ（ＦＨ）２２Ａと、垂直鮮鋭化フィルタ（ＦＶ）２２Ｂとの下記に説明される行列を構成することができる。
【００３４】
一般的に、取り込まれたイメージ情報３０Ａを平滑化フィルタ２０に対して出力することに先立って、イメージセンサ１２は、取り込まれたイメージ情報３０ＡをＹＣｂＣｒカラー空間へと変換する。それ故に、イメージ情報３０Ａは、ＹＣｂＣｒカラー空間のうちの３つのチャネルの形で、すなわちＹチャネル、Ｃｂチャネル、およびＣｒチャネルの形で構成されるイメージ情報を備えることができる。イメージ情報３０Ａを受け取るとすぐに、そして現在の露光指数およびスケーリングファクタに適応した後に、平滑化フィルタ２０は、イメージ情報３０Ａのうちの少なくとも１つのチャネルにフィルタをかける。特に、平滑化フィルタ２０は、Ｙチャネルの雑音感受性を低下させるように、イメージ情報３０ＡのうちのＹチャネルにフィルタをかけることができる。一例として、平滑化フィルタ２０は、次の式（１）によって記述されるフィルタを備えることができる。
【数１】
2010500659.tif 000003
【００３５】
Ｆｓｍｏｏｔｈｉｎｇは、平滑化フィルタ２０についての表記である。式（１）の中のｐ変数は、平滑化度（ｐ）パラメータを指し示し、適応空間イメージフィルタ１４は、コンフィギュレーション中にこの平滑化度パラメータを設定する。ひとたび設定された後に、適応空間イメージフィルタ１４は、式（１）を単一の空間フィルタへと分解することができる。ｐが１００に設定される場合、上記で指摘されるように、結果として生ずる空間平滑化フィルタ２０は、３×３の平均的なフィルタを、すなわち、１／９によって乗算された１の３つの行×１の３つの列を指定するフィルタを備える。ｐが０に設定される場合、結果として生ずる平滑化フィルタ２０は、平滑化効果のないＩフィルタを、すなわち、中心位置に単一の１を有する３×３のフィルタを備える。特に、ｐの値とは無関係に、平滑化フィルタ２０の結果として生ずる係数は、合計して１になり、この特性は、イメージ情報３０Ａの輝度の保存を保証する。
【００３６】
適応空間イメージフィルタ１４は、従来のピクセルごとのプロセスにおいて下記に説明される平滑化フィルタ２０と、すべての他のフィルタとを適用することができる。プロセスは、一般に、平滑化フィルタ２０の左上の係数が、イメージ情報３０Ａの最も上の最も左の部分の上部に位置するように、イメージ情報３０Ａの左上隅に対して平滑化フィルタ２０などのフィルタを適用することにより開始される。適応空間イメージフィルタ１４は、基礎になるイメージ情報３０Ａにより、平滑化フィルタ２０の各係数の値を乗算し、そして平滑化された情報３０Ｂの一部分を生成するために、各乗算の結果を合計する。適応空間イメージフィルタ１４は、次に１ピクセル相当量のイメージ情報３０Ａにわたって平滑化フィルタ２０を右に移動させ、上記の乗算演算および加算演算を反復する。イメージ情報３０Ａの最も右のピクセルに到達するとすぐに、適応空間イメージフィルタ２０は、平滑化フィルタ２０をイメージ情報３０Ａの１ピクセル下に移動させ、そしてイメージ情報３０Ａのすべての行および列が、平滑化されたイメージ情報３０Ｂへと変換されるまで、再び乗算プロセスおよび加算プロセスを反復する。
【００３７】
平滑化されたイメージ情報３０Ｂを生成した後に、適応空間イメージフィルタ１４は、水平鮮鋭化されたイメージ情報３０Ｃと、垂直鮮鋭化されたイメージ情報３０Ｄをそれぞれ生成するために、逐次的に、あるいは同時に水平鮮鋭化フィルタ２２Ａと、垂直鮮鋭化フィルタ２２Ｂとを適用する。いくつかの実施形態においては、水平鮮鋭化フィルタおよび垂直鮮鋭化フィルタは、第１および第２の５掛ける５（５×５）のエッジ鮮鋭化フィルタによって実現されることができる。例示の水平鮮鋭化フィルタ２２Ａは、例えば、次の行列式（２）によって説明されることができる。
【数２】
2010500659.tif 000004
【００３８】
行列式（２）において、Ｆｓｈａｒｐｅｎ＿Ｈは、水平鮮鋭化フィルタ２２Ａについての表記である。同一の行係数、例えば、［−１、−１、−１、−１、−１］により式（２）に示されるように、水平鮮鋭化フィルタ２２Ａは、ローパスコンポーネントを備える。さらに、変化する列係数、すなわち、［−１、−２、６、−２、−１］により式（２）に示されるように、水平鮮鋭化フィルタ２２Ａは、ハイパスコンポーネントも備える。
【００３９】
例示の垂直鮮鋭化フィルタ２２Ｂは、次の行列式（３）によって説明されることができる。
【数３】
2010500659.tif 000005
【００４０】
行列式（３）において、Ｆｓｈａｒｐｅｎ＿Ｖは、垂直鮮鋭化フィルタ２２Ｂについての表記である。同一の列係数、例えば、［−１、−１、−１、−１、−１］により式（３）に示されるように、垂直鮮鋭化フィルタ２２Ｂは、ローパスコンポーネントを備える。さらに、変化する行係数、すなわち、［−１、−２、６、−２、−１］により式（３）に示されるように、垂直鮮鋭化フィルタ２２Ｂは、ハイパスコンポーネントも備える。特に、水平鮮鋭化フィルタ２２Ａと、垂直鮮鋭化フィルタ２２Ｂの両方の係数は、合計して０になり、但し一方向だけであり、これは、識別されたエッジに沿ってイメージを暗くする。それ故に、フィルタ２２Ａ、２２Ｂは、それぞれ水平方向および垂直方向にエッジに沿ってイメージを暗くすることにより、エッジを強調し、すなわち、イメージを鮮鋭化する。フィルタ２２Ａ、２２Ｂは、システム要件に応じて独立にプログラマブルであるとすることができる。例えば、固定小数点ハードウェアインプリメンテーションをよりよく適合させるために、いくつかの実施形態においては、パラメータセット(parameter set)は、［−１、−３、８、−３、−１］に変更されることができる。２つのフィルタ（２）および（３）は、おのおの、それらが一方の次元において、ハイパスフィルタ(high pass filter)（ＨＰＦ）であり、他方の次元においてローパスフィルタ(low pass filter)（ＬＰＦ）であるような空間特性を有することができる。
【００４１】
水平鮮鋭化フィルタ２２Ａおよび垂直鮮鋭化フィルタ２２Ｂを適用し、そして水平鮮鋭化されたイメージ情報３０Ｃ、および垂直鮮鋭化されたイメージ情報３０Ｄを出力した後に、適応空間イメージフィルタ１４は、水平鮮鋭化されたイメージ情報３０Ｃに対してクランプ２４Ａおよび減算器２６Ａを、そして垂直鮮鋭化されたイメージ情報３０Ｄに対してクランプ２４Ｂおよび減算器２６Ｂを適用する。水平鮮鋭化されたイメージ情報３０Ｃに対するクランプ２４Ａおよび減算器２６Ａの適用は、次の式（４）により説明されることができる。
【数４】
2010500659.tif 000006
【００４２】
変数ＳＨ’は、クランピングの後の減算器２６Ａの出力を意味し、この出力は、イメージ変更された水平鮮鋭化されたイメージ情報３０Ｅにより図２に示される。変数ＳＨは、水平鮮鋭化されたイメージ情報３０Ｃを意味する。変数ｅ１は、コンフィギュレーション中に適応空間イメージフィルタ１４によって設定される減算器２６Ａ内の鮮鋭化減算しきい値（ｅ１）パラメータを意味する。変数ｅ２とｅ３とは、コンフィギュレーション中に適応空間イメージフィルタ１４によって設定されるクランプ２４Ａ内の最大正鮮鋭化限界（ｅ２）パラメータと、最大負鮮鋭化限界（ｅ３）パラメータと、を意味する。ほぼ式（４）と同様な式は、ＳＶ’、すなわち変更された垂直鮮鋭化されたイメージ情報３０Ｆを定義するために存在し、例証を容易にするために、それは、ここにおいて明示的に定義されてはいない。ＳＨ’についてのＳＶ’への、そしてＳＨについてのＳＶへの、すなわち垂直鮮鋭化されたイメージ情報３０Ｄへの置換は、式（５）において、例えば、次のようなＳＶ’についての式をもたらすことになる。
【数５】
2010500659.tif 000007
【００４３】
ひとたび、イメージ情報が、式（４）および（５）に応じてクランプされ、差し引かれた後に、適応空間イメージフィルタ１４は、加算ユニット２８を経由して平滑化されたイメージ情報３０Ａと、変更された水平鮮鋭化されたイメージ情報３０Ｅと、変更された垂直鮮鋭化されたイメージ情報３０Ｆと、を加算する。加算ユニット２８は、次の重み付けされた加算式（６）をインプリメントすることができる。
【数６】
2010500659.tif 000008
【００４４】
Ｉ’は、フィルタイメージ情報を生成するために適応空間イメージフィルタ１４を適用することの結果を意味し、このフィルタイメージ情報は、フィルタがかけられたイメージ情報３０Ｇにより図２に示される。Ｉは、平滑化されたイメージ情報３０Ｂを意味する。ＳＨ’とＳＶ’とは、上記に説明されるように、変更された水平イメージ情報３０Ｅと、垂直イメージ情報３０Ｆとを意味する。可変なｋＨは、水平鮮鋭化フィルタ２２Ａ内に存在することができ、適応空間イメージフィルタ１４が、コンフィギュレーション中に設定する水平鮮鋭化度パラメータを意味する。可変なｋＶは、垂直鮮鋭化フィルタ２２Ｂ内に存在することができ、適応空間イメージフィルタ１４が、やはりコンフィギュレーション中に設定する垂直鮮鋭化度（ｋＶ）パラメータを意味する。平滑化されたイメージ情報Ｉと、水平鮮鋭化されたイメージ情報ｋＨ＊ＳＨ’と、垂直鮮鋭化されたイメージ情報ｋＨ＊ＳＶ’とは、結果として生ずるフィルタがかけられたイメージ情報Ｉ’を生成する。
【００４５】
ひとたび、加算ユニット２８が、フィルタがかけられたイメージ情報３０Ｇを生成した後に、加算ユニットは、その結果をイメージプロセッサ１６に対して出力し、このイメージプロセッサは、上記に説明された処理を実行することができる。一般的に、イメージキャプチャデバイス１０が、カメラ電話またはビデオ電話を備える実施形態において、イメージプロセッサ１６は、フィルタがかけられたイメージ情報３０ＧをＪＰＥＧフォーマットへと変換することができる。ひとたび変換された後に、イメージプロセッサ１６は、やはり上記に説明されるようにフィルタがかけられたイメージ情報３０Ｇをイメージストレージデバイス１８に記憶することができる。要約すれば、上記プロセスを経由して、適応空間イメージフィルタ１４は、フィルタがかけられたイメージ情報３０Ｇを生成するためにイメージ情報３０Ａの現在のイメージ露光レベルとスケーリングファクタレベルとに応じて、適応するようにイメージ情報３０Ａを平滑化し、鮮鋭化する。
【００４６】
図３は、イメージ情報３０Ａの現在の露光レベルとスケーリングレベルとに基づいてイメージ情報３０Ａにフィルタをかける際における図２の適応空間イメージフィルタ１４の例示のオペレーションを示す流れ図である。いくつかのインスタンスにおいては、設計者は、鮮鋭化幅の程度に関連するハロー効果を低減させるために、下記に説明される方法で水平鮮鋭化フィルタ２２Ａと、垂直鮮鋭化フィルタ２２Ｂとを構成することができる。一般的に、設計者は、イメージキャプチャデバイス１０の設計フェーズ中にこのコンフィギュレーションを実行する。しかしながら、フィルタ２２Ａ、２２Ｂは、任意のときに構成されることができ、いくつかの実施形態においては、イメージキャプチャデバイス１０のアクティブなオペレーション中に構成されることができる。
【００４７】
最初に、図３の例において、イメージセンサ１２は、イメージ情報３０Ａを取り込み(captures)、そしてイメージ情報３０ＡをＹＣｂＣｒカラー空間へと変換する（３２）。イメージ情報３０Ａに関連した複数のパラメータ値１９は、例えば、イメージセンサ１２によって決定される（３４）。イメージセンサ１２は、パラメータ値を生成するために図４Ａ、４Ｂのグラフに応じて線形補間を適用することができる（３４）。この例において、イメージセンサ１２は、イメージ情報３０Ａと、パラメータ値１９とを適応空間イメージフィルタ１４に対して出力する。適応イメージフィルタ１４は、上記に説明されるように、パラメータ値１９に基づいて、それ自体を構成し、すなわち適応する（３６）。例えば、適応空間イメージフィルタ１４は、平滑化フィルタ２０についての平滑化度（ｐ）パラメータと、水平鮮鋭化フィルタ２２Ａについての水平鮮鋭化度（ｋＨ）パラメータと、垂直鮮鋭化フィルタ２２Ｂについての垂直鮮鋭化度（ｋＶ）パラメータと、減算器２６についての鮮鋭化減算しきい値（ｅ１）と、クランプ２４についての最大正鮮鋭化限界および最大負鮮鋭化限界（ｅ２、ｅ３）パラメータと、を設定することができる。適応空間イメージフィルタ１４についての様々なパラメータ値は、イメージセンサ１２によって供給される関連するパラメータ値１９に対応する。
【００４８】
ひとたび構成された後に、適応空間イメージフィルタ１４は、まずイメージ情報３０Ａの少なくとも１つのチャネルに対して平滑化フィルタ２０を適用することができる（３８）。平滑化フィルタ２０は、例えば、イメージ情報３０ＡのＹチャネルから平滑化されたイメージ情報３０Ｂを生成するために上記の式（１）に応じて動作することができる。水平鮮鋭化フィルタ２２Ａと、垂直鮮鋭化フィルタ２２Ｂとの両方は、次に、それぞれの水平鮮鋭化されたイメージ情報３０Ｃと、垂直鮮鋭化されたイメージ情報３０Ｄとを生成するために、平滑化されたイメージ情報３０ＢのＹチャネルにフィルタをかけることができる（４０、４２）。例えば、水平鮮鋭化フィルタ２２Ａと、垂直鮮鋭化フィルタ２２Ｂとは、それぞれ上記の式（２）と（３）とに応じて動作することができる。
【００４９】
水平鮮鋭化されたイメージ情報３０Ｃと、垂直鮮鋭化されたイメージ情報３０Ｄとを生成するとすぐに、適応空間イメージフィルタ１４は、さらに、クランプ２４を経由して水平鮮鋭化されたイメージ情報３０Ｃと、垂直鮮鋭化されたイメージ情報３０Ｄとの両方をクランプすることができる（４４、４６）。適応空間イメージフィルタ１４は、オーバー鮮鋭化(over sharpening)を回避するためにクランプ２４を使用し、このオーバー鮮鋭化は、望ましくないビジュアルアーティファクト(visual artifact)を引き起こす可能性がある。クランプした後に、適応空間イメージフィルタ１４は、水平鮮鋭化されたイメージ情報３０Ｃと、垂直鮮鋭化されたイメージ情報３０Ｄとをクランプすることの結果に対して減算器２６を適用し、それによって雑音が鮮鋭化されていないことを保証する（４８、５０）。例えば、クランプ２４と減算器２６との組合せは、式（４）と（５）とに応じて動作することができ、これらの式は、最大正鮮鋭化限界（ｅ２）と最大負鮮鋭化限界（ｅ３）とのうちのいずれかまたは両方に対する最初の比較に応じて一連のオペレーションを指定する。減算器２６の出力は、変更された水平鮮鋭化されたイメージ情報３０Ｅと、垂直鮮鋭化されたイメージ情報３０Ｆと、を備える。
【００５０】
加算ユニット２８は、変更された水平鮮鋭化されたイメージ情報３０Ｅと、垂直鮮鋭化されたイメージ情報３０Ｆと、を受け取り、そしてフィルタがかけられたイメージ情報３０Ｇを生成するために（５２）、平滑化されたイメージ情報３０Ｂと、これらを加算する（５２）。イメージプロセッサ１６は、フィルタがかけられたイメージ情報３０Ｇに対するイメージ処理を実行し、次いでフィルタがかけられたイメージ情報３０Ｇをイメージストレージデバイス１８に記憶することができる（５４）。水平鮮鋭化フィルタ２２Ａと、垂直鮮鋭化フィルタ２２Ｂとによる同時の水平フィルタリングと垂直フィルタリングとを暗示するように上記に説明されるが、適応空間イメージフィルタ１４は、一方が、別のものの前に適用されるように逐次的に水平鮮鋭化フィルタ２２Ａと垂直鮮鋭化フィルタ２２Ｂとのうちのおのおのを適用することができる。
【００５１】
図４Ａ、４Ｂは、線形補間を経由して複数のパラメータ値１９を決定する際における図２のイメージセンサ１２の例示のオペレーションを示すグラフである。図４Ａは、イメージ情報３０Ａの現在の露光指数(exposure index)（ＥＩ）に基づいて複数のパラメータ値１９の線形補間を目に見えるように定義するグラフ５６を示している。図４Ｂは、イメージ情報３０Ａのスケーリングファクタ(scaling factor)（ＳＦ）に基づいて複数のパラメータ値１９の線形補間を目に見えるように定義するグラフ６４を示している。
【００５２】
露光指数は、高輝度光(bright light)照明状態(illuminant condition)と、通常輝度光(normal light)照明状態と、低輝度光(low light)照明状態とを示すことができる。一般に、現在の露光レベルが、高輝度光領域と、通常輝度光領域との間の第１の露光境界以下である場合、そのときには高輝度光領域に関連するパラメータが適用されることになる。現在の露光レベルが、ほぼ第２の露光境界にある場合、そのときには通常輝度光領域についてのパラメータが、適用される。現在の露光レベルが、第２の露光境界よりも大きい場合、そのときには低輝度光領域についてのパラメータが、適用される。
【００５３】
第１の露光境界と、第２の露光境界との間の状態では、ハードな境界を有する代わりに、補間が、変換をスムーズに行うために使用されることができる。例えば、現在の露光値が、第１の露光境界と、第２の露光境界との間にある場合、パラメータは、例えば、境界に関連する露光値に対する露光値に比例して、高輝度光領域についてのパラメータ値の組と、通常輝度光領域についてのパラメータ値の組との間で線形に補間されることができる。
【００５４】
同様に、現在の露光値が、第２の露光境界よりも大きい場合、そのときにはパラメータは、通常輝度光領域についてのパラメータ値の組と、低輝度光領域についてのパラメータ値の組との間で線形に補間されることができる。現在の露光指数が、最大露光レベルに到達するとき、そのときには低輝度光領域についての値の組が、適用されることができる。
【００５５】
図４Ａを参照すると、グラフ５６は、ｘ−軸５８Ａと、ｙ−軸５８Ｂと、を含み、ここでｘ−軸５８Ａは、増大する鮮鋭化度ｋを定義し、ｙ−軸５８Ｂは、増大する露光指数値を定義している。ｘ−軸５８Ａは、水平鮮鋭化度（ｋＨ）と、垂直鮮鋭化度（ｋＶ）とのうちのいずれかまたは両方を定義することができる。グラフ５６は、静的露光指数レベル６０Ａ〜６０Ｃ（「露光指数レベル６０」）も含み、ここで静的露光指数レベル６０のおのおのは、複数の静的パラメータ値に関連している。グラフ５６は、静的露光指数レベル６０に基づいて線形補間関数のビジュアル表現を定義する線６２をさらに含んでいる。
【００５６】
線６２は、水平鮮鋭化度ｋＨを計算するために使用される次の式（７）によって表されることができる。
【数７】
2010500659.tif 000009
【００５７】
変数ｋＨは、水平鮮鋭化度パラメータを表し、この水平鮮鋭化度パラメータは、上記の式（６）において使用される。Ｋｓｔａｔｉｃ＿Ｈ＿１と、Ｋｓｔａｔｉｃ＿Ｈ＿２と、Ｋｓｔａｔｉｃ＿Ｈ＿３とは、静的な現在の露光指数レベル６０、すなわちＥＩ１と、ＥＩ２と、ＥＩ３とのうちのおのおのに関連するあらかじめ定義された静的な値を表す。ＥＩｃｕｒｒｅｎｔは、イメージセンサ１２によって測定されるようなイメージ情報３０Ａの現在の露光指数を表す。式（７）を見ると、ＥＩｃｕｒｒｅｎｔが、ＥＩ１よりも小さい場合、そのときには水平鮮鋭化度、ｋＨは、Ｋｓｔａｔｉｃ＿Ｈ＿１に等しく、これは、使用可能な最大水平鮮鋭化度を定義する。ＥＩｃｕｒｒｅｎｔが、ＥＩ２よりも小さいが、ＥＩ１以上である場合、ｋＨは、ＥＩｃｕｒｒｅｎｔによって乗ぜられた（（Ｋｓｔａｔｉｃ＿Ｈ＿１−Ｋｓｔａｔｉｃ＿Ｈ＿２）／（ＥＩ２−ＥＩ１））により定義されるスロープに等しい。しかしながら、ＥＩｃｕｒｒｅｎｔが、ＥＩ３よりも小さいが、ＥＩ２以上である場合、ｋＨは、ＥＩｃｕｒｒｅｎｔによって乗ぜられた（（Ｋｓｔａｔｉｃ＿Ｈ＿２−Ｋｓｔａｔｉｃ＿Ｈ＿３）／（ＥＩ３−ＥＩ２））により定義されるスロープに等しい。最後に、ＥＩｃｕｒｒｅｎｔが、ＥＩ３以上である場合、ｋＨは、ゼロ、または最低の可能な鮮鋭化度に等しい。ほぼ同様な式（８）が、例えば次のように垂直鮮鋭化度ｋＶを定義するために定義されることができる。
【数８】
2010500659.tif 000010
【００５８】
イメージ情報３０Ａを取り込んだ後に、イメージセンサ１２は、それぞれの式（７）および（８）に応じて、水平鮮鋭化度パラメータｋＨおよび垂直鮮鋭化度パラメータｋＶについて値を決定することができる。この線形補間を通して、イメージセンサ１２は、現在の露光指数を静的露光指数レベルと比較することにより現在の露光指数を分類することができる。イメージセンサ１２は、次に現在の露光指数とその分類との間の差を決定し、鮮鋭化度を決定するために現在の露光指数を補間することができる。それ故に、適応空間イメージフィルタ１４は、イメージ情報３０Ａの現在の露光指数に適応することができる。
【００５９】
適応空間フィルタパラメータは、適用可能なイメージスケーリングファクタに応じて調整されることもできる。イメージがスケールダウンされるときに、ダウンスケーリング処理それ自体が、イメージ鮮鋭度を増大させ、雑音を低減させる傾向があるので、鮮鋭化度は、低減させられるべきである。この場合にも、線形補間は、図４Ｂに示されるように異なるスケーリングファクタについてのパラメータ値を生成するために、ハードな境界の代わりに使用されることができる。ダウンスケーリングファクタが、１以下である場合、鮮鋭化度は、元のイメージの鮮鋭化度として保持されることができる。ダウンスケーリングファクタが増大するときに、鮮鋭化度は、それに応じて低減させられる。ダウンスケーリングファクタが、ある限界まで、例えば元のイメージサイズに応じて４または８まで増大するときには、それらのイメージに適用される鮮鋭化は、存在しない。ソフト補間を通して、鮮鋭化効果は、徐々に、そして滑らかに調整されることができる。
【００６０】
図４Ｂを参照すると、グラフ６４は、ｘ−軸６６Ａと、ｙ−軸６６Ｂとを含み、ここでｘ−軸６６Ａは、増大する鮮鋭化度ｋを定義し、ｙ−軸６６Ｂは、増大するスケーリングファクタ値を定義している。ｘ−軸６６Ａは、水平鮮鋭化度（ｋＨ）と、垂直鮮鋭化度（ｋＶ）とのうちのいずれかまたは両方を定義することができる。グラフ６４は、静的スケーリングファクタ６８Ａ〜６８Ｃ（「静的スケーリングファクタ６８」）も含み、ここで静的スケーリングファクタ６８のおのおのは、複数の静的パラメータ値に関連している。グラフ６４は、線７０をさらに含み、この線は、静的スケーリングファクタ６８に基づいて線形補間関数のビジュアル表現を定義している。
【００６１】
線７０は、水平鮮鋭化度ｋＨを計算するために使用される次の式（９）によって表されることができる。
【数９】
2010500659.tif 000011
【００６２】
変数ｋＨは、水平鮮鋭化度パラメータを表し、この水平鮮鋭化度パラメータは、上記の式（６）において使用される。Ｋｓｔａｔｉｃ＿Ｈ＿１と、Ｋｓｔａｔｉｃ＿Ｈ＿２と、Ｋｓｔａｔｉｃ＿Ｈ＿３とは、静的なスケーリングファクタ６８、すなわちＳＦ１と、ＳＦ２と、ＳＦ３とのうちのおのおのに関連するあらかじめ定義された静的な値を表す。ＳＦｃｕｒｒｅｎｔは、イメージセンサ１２によって定義されるようなイメージ情報３０Ａの現在のスケーリングファクタを表す。式（９）を見ると、ＳＦｃｕｒｒｅｎｔが、ＳＦ１よりも小さい場合、そのときには水平鮮鋭化度ｋＨは、Ｋｓｔａｔｉｃ＿Ｈ＿１に等しく、これは、使用可能な最大水平鮮鋭化度を定義する。ＳＦｃｕｒｒｅｎｔが、ＳＦ２よりも小さいが、ＳＦ１以上である場合、ｋＨは、ＳＦｃｕｒｒｅｎｔによって乗ぜられた（（Ｋｓｔａｔｉｃ＿Ｈ＿１−Ｋｓｔａｔｉｃ＿Ｈ＿２）／（ＳＦ２−ＳＦ１））により定義されるスロープに等しい。しかしながら、ＳＦｃｕｒｒｅｎｔが、ＳＦ３よりも小さいが、ＳＦ２以上である場合、ｋＨは、ＳＦｃｕｒｒｅｎｔによって乗ぜられた（（Ｋｓｔａｔｉｃ＿Ｈ＿２−Ｋｓｔａｔｉｃ＿Ｈ＿３）／（ＳＦ３−ＳＦ２））により定義されるスロープに等しい。最後に、ＳＦｃｕｒｒｅｎｔが、ＳＦ３以上である場合、ｋＨは、ゼロ、または最低の可能な鮮鋭化度に等しい。ほぼ同様な式（１０）が、例えば次のように垂直鮮鋭化度ｋＶを定義するために定義されることができる。
【数１０】
2010500659.tif 000012
【００６３】
イメージ情報３０Ａを取り込んだ後に、イメージセンサ１２は、それぞれの式（９）および（１０）に応じて、水平鮮鋭化度パラメータｋＨおよび垂直鮮鋭化度パラメータｋＶについて値を決定することができる。この線形補間を通して、イメージセンサ１２は、現在のスケーリングファクタを静的スケーリングファクタ６８と比較することにより現在のスケーリングファクタを分類することができる。イメージセンサ１２は、次に現在のスケーリングファクタとその分類との間の差を決定し、鮮鋭化度を決定するために現在のスケーリングファクタを補間することができる。それ故に、適応空間イメージフィルタ１４は、イメージ情報３０Ａの現在のスケーリングファクタに適応することができる。
【００６４】
図５Ａは、鮮鋭化についての１つの次元におけるハイパスフィルタについての係数［−１、−２、６、−２、−１］を示すグラフである。図５Ｂは、平滑化についての別の次元におけるローパスフィルタについての係数［６、６、６、６、６］を示すグラフである。図５Ａおよび５Ｂによって表される係数は、図２の水平鮮鋭化フィルタ２２Ａまたは垂直鮮鋭化フィルタ２２Ｂのうちのいずれかに適用されることができる。図５Ａは、ピクセルの範囲にわたって水平鮮鋭化フィルタ２２Ａについて、係数セットと、特にハイパスコンポーネントとを目に見えるように定義するグラフ７２を示している。図５Ａのグラフ７２は、上記の行列（３）に対応する。図５Ｂは、ピクセルの範囲にわたって水平平滑化フィルタ２２Ａについて、係数セットと、特にローパスコンポーネントとを目に見えるように定義するグラフ７８を示している。図５Ｂのグラフ７８は、一般に上記の行列（２）に対応する。グラフ７２と７８の両方は、垂直鮮鋭化フィルタ２２Ｂのそれぞれハイパスコンポーネントとローパスコンポーネントとを示すこともできる。しかしながら、例証を容易にするために、グラフ７２、７８は、ここにおいて水平鮮鋭化フィルタ２２Ａに関して説明される。
【００６５】
図５Ａを参照すると、グラフ７２は、ｘ−軸７４Ａと、ｙ−軸７４Ｂとを含み、これらの軸は、それぞれ大きさと、ピクセル番号とを定義する。グラフ７２の内部には、水平鮮鋭化フィルタ２２Ａのハイパスコンポーネントを定義する線７６が位置する。ハイパスコンポーネントの線７６は、各列に沿った行列の係数がピクセルの範囲にわたって大きさを指定する点で、上記に定義された例示の式（２）の行列に対応する。それ故に、その行列の第１の列は、ハイパスコンポーネントの線７６のポイントに対応する［−１、−２、６、−２、−１］の列を定義する。線７６によって示されるハイパスコンポーネントは、水平鮮鋭化フィルタ２２Ａが、水平線を鮮鋭化することを可能にする。
【００６６】
図５Ｂを参照すると、グラフ７８は、ｘ−軸８０Ａと、ｙ−軸８０Ｂとを含み、これらの軸は、それぞれ応答の大きさと、ピクセル番号とを定義する。グラフ７８の内部には、水平鮮鋭化フィルタ２２Ａのローパスコンポーネントを定義する線８２が位置する。ローパスコンポーネントの線７４は、各行に沿った行列の係数がピクセルの範囲にわたって大きさを指定する点で、上記に定義された例示の式（２）の行列に対応する。それ故に、その行列の第３の行は、ローパスコンポーネントの線８２のポイントに対応する［６、６、６、６、６］の行を定義する。線８２によって示されるローパスコンポーネントは、水平鮮鋭化フィルタ２２Ａが、雑音を低減させ、そして鮮鋭化されたエッジがよりきれいに見えるようにすることを可能にする。
【００６７】
グラフ７２と７８の両方は、水平鮮鋭化フィルタ２２Ａのそれぞれハイパスコンポーネントとローパスコンポーネントとを反映し、この水平鮮鋭化フィルタは、イメージキャプチャデバイス１０を動作させることに先立って設計者により、あるいはイメージキャプチャデバイス１０の動作中にユーザにより、構成可能とすることができる。上記には静的であるものとして説明されているが、設計者および／またはユーザは、図６Ａ、６Ｂを参照して下記に説明されるハロー効果について補正するために、式（２）と（３）とのうちのいずれかまたは両方の行列について異なる行列係数を指定することができる。例えば、より小さな鮮鋭化ファクタ、あるいは異なる周波数応答を有するハイパスフィルタ（ＨＰＦ）を選択することによりハロー効果を低減させることが可能である。
【００６８】
図６Ａおよび６Ｂは、それぞれ例示のイメージ情報８４と、フィルタがかけられたイメージ情報８６とを示すイメージである。図６Ａに示されるイメージ情報８４は、イメージセンサ１２が、イメージ情報８４を適応空間イメージフィルタ１６に対して出力することができる点で、図２のイメージ情報３０Ａとほぼ類似したものとすることができる。フィルタがかけられたイメージ情報８６は、フィルタがかけられたイメージ情報８６が、イメージ情報８６に対する適応空間イメージフィルタ１４の適用からもたらされる点で、フィルタがかけられたイメージ情報３０Ｇにほぼ類似したものとすることができる。フィルタがかけられたイメージ情報８６は、ハロー効果８８を含んでおり、このハロー効果は、適応空間イメージフィルタ１４の適用からもたらされる。特に、ハロー効果８８は、それぞれ水平鮮鋭化フィルタ２２Ａと、垂直鮮鋭化フィルタ２２Ｂとの適用のために生ずる。フィルタ２２Ａ、２２Ｂは、それぞれ水平鮮鋭化フィルタ（ＦＨ）パラメータと、垂直鮮鋭化フィルタ（ＦＶ）パラメータとを経由して構成されることができるので、ハロー効果８８は、図７を参照して下記に説明されるように低減させられることができる。
【００６９】
図７は、図２の水平鮮鋭化フィルタ２２Ａまたは垂直鮮鋭化フィルタ２２Ｂのうちのいずれかについてのパラメータを示すグラフである。図７は、例えば、ピクセルの範囲にわたって水平鮮鋭化フィルタ２２Ａについてのフィルタ係数と、特にローパスコンポーネントとを目に見えるように定義するグラフ９０を示している。グラフ９０は、ｘ−軸９２Ａと、ｙ−軸９２Ｂとを含み、これらの軸は、それぞれ大きさと、ピクセル番号とを定義している。グラフ９０内には、水平鮮鋭化フィルタ（ＦＨ）パラメータを調整した後に水平鮮鋭化フィルタ２２Ａのローパスコンポーネントを定義する線９４が、位置する。このインスタンスにおいては、水平鮮鋭化フィルタ２２Ａは、次の式（１１）によって記述されることができる。
【数１１】
2010500659.tif 000013
【００７０】
ローパスコンポーネントの線９４は、各行に沿った行列の係数が、ピクセルにわたって応答の大きさを指定する点で、上記に定義された例示の式（１１）の行列に対応する。それ故に、その行列の第３の行は、ローパスコンポーネントの線９４のポイントに対応する［３、５、６、３、５］の行を定義する。線９４によって示されるローパスコンポーネントを構成することにより、水平鮮鋭化フィルタ２２Ａは、平滑化度を低減させることができ、それによってもしかすると図６Ｂのハロー効果８８を低減させる。ハロー効果８８の低減は、暗いエッジの周囲のあまり白くない空間をもたらす。ハロー効果８８は、水平鮮鋭化フィルタ２２Ａのハイパスコンポーネントに沿って、応答のより小さな大きさ、すなわち、より小さな係数を通して低減させられることもできる。
【００７１】
図８Ａ、８Ｂは、それぞれ例示のイメージ情報９６と、フィルタがかけられたイメージ情報９８とを示すイメージである。図８Ａに示されるイメージ情報９６は、イメージセンサ１２が、イメージ情報９６を適応空間イメージフィルタ１６に対して出力することができる点で、図２のイメージ情報３０Ａとほぼ類似したものとすることができる。図８Ｂのフィルタがかけられたイメージ情報９８は、フィルタがかけられたイメージ情報９８が、イメージ情報９６に対する適応空間イメージフィルタ１４の適用からもたらされることができる点で、フィルタがかけられたイメージ情報３０Ｇとほぼ類似したものとすることができる。特に、フィルタがかけられたイメージ情報９８は、図６Ｂのハロー効果８８と同様に、低減されたハロー効果を含んでいる。図７を参照して上記に説明される技法は、このインスタンスにおいて、顕著な任意のハロー効果を低減させるために適用されることができる。フィルタがかけられたイメージ情報９８によって示されるように、フィルタがかけられたイメージ情報９８によって表されるイメージは、より明るく、そして顕著によりきれいに見える。ここにおいて説明され、そしてフィルタがかけられたイメージ情報９８によって示されるような技法の適用により、図１、２のイメージキャプチャデバイス１０などのイメージキャプチャデバイスは、取り込まれたイメージ情報を顕著に鮮鋭化する、適応空間イメージフィルタ１４などの適応空間イメージフィルタを適用することができるようになる可能性がある。適応空間イメージフィルタは、イメージセンサの固有の制限、照明源からの干渉などにもかかわらず、雑音を低減させ、そしてイメージ情報を鮮鋭化する方法で、平滑化と鮮鋭化との両方を適用する。
【００７２】
本開示において説明される技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せの形でインプリメントされることができる。特に、ここにおいて説明されるようなエンコーダまたはデコーダは、様々なハードウェアコンポーネントと、ソフトウェアコンポーネントと、ファームウェアコンポーネントとのうちの任意のものによって実現されることができる。例えば、本技法の様々な態様は、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の等価な任意の集積化された、または個別の論理回路、ならびにそのようなコンポーネントの任意の組合せの内部にインプリメントされることができる。用語「プロセッサ」または「処理回路」は一般に、単独の、あるいは他の論理回路と一緒の、上記論理回路のうちの任意のもの、あるいは他の任意の等価回路を意味することができる。いくつかの実施形態において、ここにおいて説明される機能は、符号化し、復号するために構成された、あるいは組み合わされたビデオエンコーダ−デコーダ（ＣＯＤＥＣ）の形で組み込まれた専用のソフトウェアモジュールまたはハードウェアユニットの内部に提供されることができる。
【００７３】
ソフトウェアの形でインプリメントされるときに、本技法は、プロセッサによって実行されるときに、上記に説明される１つまたは複数のファンクションを実行するプログラムコード、または命令を備えるコンピュータ可読媒体によって部分的に実現されることができる。そのようなプログラムコードまたは命令を記憶するコンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ(synchronous dynamic random access memory)（ＳＤＲＡＭ）などのランダムアクセスメモリ(random access memory)（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ(non-volatile random access memory)（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光のデータストレージ媒体、あるいはそのようなメモリまたはストレージ媒体の任意の組合せを備えることができる。
【００７４】
本開示の様々な実施形態が説明されてきた。これらおよび他の実施形態は、添付の特許請求の範囲の範囲内にある。
【図１】
2010500659.tif 000014
【図２】
2010500659.tif 000015
【図３】
2010500659.tif 000016
【図４Ａ】
2010500659.tif 000017
【図４Ｂ】
2010500659.tif 000018
【図５Ａ】
2010500659.tif 000019
【図５Ｂ】
2010500659.tif 000020
【図６Ａ】
2010500659.tif 000021
【図６Ｂ】
2010500659.tif 000022
【図７】
2010500659.tif 000023
【図８Ａ】
2010500659.tif 000024
【図８Ｂ】
2010500659.tif 000025
【国際調査報告】
2010500659.tif 000026
2010500659.tif 000027
2010500659.tif 000028