(57)【要約】    【課題】  シェーディング補正のための専用ハードウェアを別途に設けることなく、高速で且つ安価にシェーディング補正を行う。    【解決手段】  撮像装置は、ＣＣＤ固体撮像素子３から出力される撮像信号をアナログ−ディジタル変換するＡ／Ｄ変換器６を含むフロントエンド信号処理部３１、ディジタル変換された撮像信号を輝度と色の情報に分離したカラー画像信号に変換するＹＵＶ変換部１２および前記カラー画像信号を保存するＲＡＭ１７を具備する。撮像装置は、さらに、前記カラー画像信号と同等の形式にてシェーディング補正データを記憶するＲＡＭ１７およびＲＯＭ１６と、カラー画像信号と同等の形式にてＲＡＭ１７とＲＯＭ１６に記憶されたシェーディング補正データと前記カラー画像信号の各データとの間での画素毎の乗算によってシェーディング補正を行う画素演算部１４およびＣＰＲ１５と、を備える。【選択図】    図１
2006345388.tif 000002
【特許請求の範囲】
【請求項１】
光電変換を行う光電変換素子を２次元的に配置してなる撮像素子と、
前記撮像素子を駆動するためのパルスを発生させる駆動パルス発生手段と、
前記撮像素子から出力される撮像信号のアナログ−ディジタル変換を行う信号変換手段と、
ディジタル変換された撮像信号を輝度と色の情報に分離したカラー画像信号に変換する画像処理手段と、
前記カラー画像信号を保存する画像保存手段と
を具備する撮像装置において、
前記カラー画像信号と同等の形式を有するシェーディング補正データを記憶する補正データ記憶手段と、
前記カラー画像信号と同等の形式を有して前記補正データ記憶手段に記憶されたシェーディング補正データと前記カラー画像信号の各データとの間で画素毎に乗算することによってシェーディング補正を行う画素演算手段と、
をさらに備えることを特徴とする撮像装置。
【請求項２】
前記画素演算手段は、前記カラー画像信号の輝度信号のみに対してシェーディング補正演算を行う画素間演算手段であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画素演算手段は、前記カラー画像信号の輝度信号および色信号の両情報に対してシェーディング補正演算を行う画素間演算手段であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
シェーディング補正を行うか否かを、撮影条件に基づいて選択的に切り替える手段を含むことを特徴とする請求項１〜請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮像素子から出力された撮像信号を、輝度情報と色情報に分離したカラー画像信号に対してシェーディング補正を行う手段を具備する撮像装置において、
輝度情報のみを補正する補正処理と、輝度情報および色情報の両方を補正する補正処理とを選択的に切換えて補正処理を行う補正処理手段を備えることを特徴とする撮像装置。
【請求項６】
高速で連続撮影が必要であるか否かに基づいて、前記補正処理の選択切り替えを行う手段を含むことを特徴とする請求項４または請求項５に記載の撮像装置。
【請求項７】
画像データに拡大および縮小の少なくとも一方の処理を施して、保存するカラー画像のサイズを変更するための画像サイズ変更手段と、
前記画像サイズ変更手段に基づく補正対象のカラー画像の保存サイズに合せてシェーディング補正データを拡大または縮小処理をして、前記画素演算手段によるシェーディング補正演算に供するための手段と
をさらに有することを特徴とする請求項１〜請求項３のいずれか１項に記載の撮像装置。
【請求項８】
前記補正データ記憶手段は、シェーディング補正データを、前記撮像素子の画素数よりも少ない画素数分のデータとして記憶しており、且つ
前記撮像装置は、対象カラー画像の保存サイズに合せてシェーディング補正データを拡大処理した後に、当該画像のシェーディング補正演算に供するための手段を含むことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記補正データ記憶手段は、シェーディング補正データを作成するための特性値を記憶しており、且つ
前記撮像装置は、前記特性値から補間近似して作成したシェーディング補正データを拡大または縮小してシェーディング補正演算に供するための手段を含むことを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記補正データ記憶手段の記憶に供するシェーディング補正データを画像データとして圧縮する画像圧縮手段と、
前記補正データ記憶手段から読み出した圧縮された画像データとしてのシェーディング補正データを伸長してシェーディング補正に供する画像伸張手段と
をさらに具備することを特徴とする請求項７または請求項８に記載の撮像装置。
【請求項１１】
シェーディング補正を行う前およびシェーディング補正データの拡大または縮小処理時の少なくとも一方に、シェーディング補正データに対してフィルタ処理を施し、シェーディング補正データの高周波数成分を除去する画像フィルタ手段をさらに有することを特徴とする請求項７〜請求項１０のいずれか１項に記載の撮像装置。
【請求項１２】
シェーディング補正データの画素数が少ないときに、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも１つに応じて、シェーディング補正データを加工する手段をさらに含むことを特徴とする請求項７〜請求項１１のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルスティルカメラ等の画像入力機器を含む電子的な撮像装置に係り、特に光学レンズ特性であるシェーディングを専用の特別な装置を用いることなく、高速に補正する撮像装置に関するものである。
【背景技術】
【０００２】
ディジタルカメラのようなカメラの小型化などに伴って、画像の周辺部分の光量が落ちてしまう、いわゆるシェーディングの問題に一層留意する必要が生じている。このようなシェーディングを光学的に補正するためには、一般に、レンズ枚数を増加させたり、光学系全体のサイズを拡大することなどが必要になり、著しいコストの上昇を招くことになってしまう。
そのため、比較的コストをかけずにシェーディングを補正するためには、シェーディングを電気的に補正する必要がある。従来の多くのシステムでは、専用の処理部を用いて信号処理を行うか、ＣＰＵ（中央処理ユニット）が画像データを読み出して加工するソフトウェア処理を行うかしていた。前者、すなわち専用の処理部によって信号を処理する手法は、シェーディング補正の信号処理のための専用の処理部にコストがかかり、結局コストの上昇を招いてしまうという問題がある。一方、後者、すなわちＣＰＵによるソフトウェア処理は、シェーディング補正のための画像処理に長時間を要し、処理時間が長くかかってしまうという問題がある。
【０００３】
このように、シェーディングを電気的に補正する従来のいくつかの例について具体的に説明する。例えば、特許文献１（特開昭６２−１３００７４号）には、予め基準被写体を撮像し、ディジタル値に変換して記憶し、これに基づいてシェーディング補正のための補正係数を求めて記憶しておき、任意の画像の撮像時に、前記補正係数を撮像信号と同期して読み出し、乗算型ディジタル−アナログ変換手段により、前記補正係数を撮像信号に乗算し、シェーディング補正されたアナログ撮像信号を得て、ディジタル化および記憶に供することが示されている。この特許文献１の技術においては、撮影に直接必要のない専用のハードウェアからなる乗算型ディジタル−アナログ変換手段を別途に設ける必要がある。
また、特許文献２（特開２００３−８７６５３号）には、ストロボ撮影時の配光ムラを補正するための光量分布補正テーブルにシェーディング補正特性を付加して記憶しておき、ストロボ撮影時に光量分布補正テーブルによって撮像データを補正することが記載されている。この場合、光量分布補正テーブルによる撮像データの補正を行うシステムとしては、撮像アナログ信号を、アナログ−ディジタル変換する前に、光量分布補正テーブルに従って利得が制御されるＡＧＣ（自動利得制御）回路によって制御するシステムと、撮像アナログ信号をアナログ−ディジタル変換した後に、ＤＳＰ（ディジタルシグナルプロセッサ）部分において、光量分布補正テーブルに従って画素毎の可変利得制御を行うシステムとが示されている。ＡＧＣ回路によって、アナログ的に補正をする場合には、画像転送時に各画素に対応して利得を設定することができるようなＡＧＣ回路が必要となる。
【０００４】
また、ＤＳＰ部分において、ディジタル的に補正をする場合も、画像処理時に各画素に対応した補正データを設定して可変利得制御を行うための専用構成が必要である。ＣＰＵが補正データを設定するのであれば、処理速度が非常に遅くなるおそれがある。
特許文献３（特開２００１−１９７３６９号）には、シェーディング補正データを圧縮して記憶し、これを読み出して伸長して画像データから減算する補正演算に供することが示されている。この場合、補正演算をディジタル的に行う構成と、ディジタル−アナログ変換してからアナログ的に補正演算を行った後にアナログ−ディジタル変換する構成とが示されている。この特許文献３に示された構成では、シェーディング補正データを圧縮して記憶し、伸長して補正に供することが示されていると共に、補正演算を基本的にアナログ演算で行っており、シェーディング補正のために画像データから補正データを減算するために専用の補正演算回路を別途に設ける必要がある。
特許文献４（特開２０００−４１１７９号）には、レンズの絞り値、ズーム位置およびレンズの種類に対応するシェーディング補正データを記憶しておき、光学系から制御信号を得て、記憶されたシェーディング補正データを選択して、撮像信号に乗算することが開示されている。この場合、レンズの絞り値、ズーム位置およびレンズの種類に対応して予め記憶した複数種のシェーディング補正データを光学系からの制御信号に応じて選択的に使用することに特徴があり、個々のシェーディング補正データの記憶形態については、さほど言及されておらず、レンズの絞り値、ズーム位置およびレンズの種類以外の条件についても言及されていない。
【０００５】
特許文献５（特開２００２−２１８２９８号）には、画素に対応するシェーディング補正係数を記憶しておき、各画素毎に対応させて、撮像データの輝度データにシェーディング補正係数を乗算することが開示されている。この特許文献５には、さらに、記憶されたシェーディング補正係数を光学系の種々の条件に対応して補正して、撮像データにおける画素毎の輝度データとの補正演算に供することおよび特定波長領域を透過させない色フィルタが、撮像レンズと撮像素子との間に設けられている場合には、対応するシェーディング補正係数を、色フィルタによって影響を受ける画素と受けない画素とに分けて記憶して、色シェーディングの補正を可能とすることも示されている。この場合、撮影レンズの交換にかかわりなくシェーディング補正を行い、色シェーディングの補正も行うことに特徴があり、シェーディング補正係数は、水平方向と垂直方向について各２種類程度ずつ記憶されているに過ぎず、補間演算によって画素マトリクスに対応させている。
【０００６】
【特許文献１】特開昭６２−１３００７４号公報
【特許文献２】特開２００３−８７６５３号公報
【特許文献３】特開２００１−１９７３６９号公報
【特許文献４】特開２０００−４１１７９号公報
【特許文献５】特開２００２−２１８２９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
通常のディジタルカメラ等の撮像装置においては、画像情報を処理するために、画像の圧縮／伸張機能と、画像の拡大／縮小機能と、画像をフレームデータ等と合成処理するための画素間演算機能とが搭載されている。これら各機能は、それぞれ高速処理が可能である。これら通常搭載されている機能を適切に流用すれば、シェーディング補正のための専用ハードウェアを要することなく、高速で且つ安価にシェーディング補正を行うことが可能となると考えられる。
本発明は、上述した事情に鑑みてなされたもので、シェーディング補正のための専用ハードウェアを別途に設けることなく、高速で且つ安価にシェーディング補正を行うことを可能とする撮像装置を提供することを目的としている。
本発明の請求項１の目的は、特に、シェーディング補正演算に供されるシェーディング補正データの形式を工夫して、画素間演算機能をシェーディング補正に流用し、特別なハードウェアを必要とせずに、高速で且つ安価なシェーディング補正を可能とする撮像装置を提供することにある。
本発明の請求項２の目的は、特に、輝度信号のみをシェーディング補正演算に供するようにして、シェーディング補正データの容量およびシェーディング補正の演算量を抑制し、記憶容量の削減および処理時間の短縮を可能とする撮像装置を提供することにある。
【０００８】
本発明の請求項３の目的は、特に、輝度信号および色信号をシェーディング補正演算に供するようにして、いわゆる色シェーディングをも補正し、一層高画質を得ることを可能とする撮像装置を提供することにある。
本発明の請求項４の目的は、特に、シェーディング補正を行うか否かを、選択的に切換えて、シェーディングを補正するか、シェーディングは補正せずに、例えば中央部等について良好な画質を得るかを、撮影条件に基づいて、選択し得る撮像装置を提供することにある。
本発明の請求項５の目的は、特に、シェーディング補正を輝度について行うか輝度と色の両方について行うかを、選択的に切換えて、輝度のみについてのシェーディング補正を行うか、輝度と色との両方についてのシェーディング補正を行うかを、撮影条件に基づいて、選択し得る撮像装置を提供することにある。
本発明の請求項６の目的は、特に、高速連続撮影か否かに応じてシェーディング補正を選択的に切り換え、すなわち速度優先か画質優先かに応じてシェーディング補正動作を変更し得る撮像装置を提供することにある。
【０００９】
本発明の請求項７の目的は、特に、シェーディング補正演算に供されるシェーディング補正データの形式を工夫して、画像縮小／拡大機能をシェーディング補正に流用し、特別なハードウェアを必要とせずに、シェーディング補正データの記憶容量を実質的に削減し、安価でしかも処理速度の向上をも期待し得る撮像装置を提供することにある。
本発明の請求項８の目的は、特に、シェーディング補正演算に供されるシェーディング補正データを小容量化して、記憶容量を削減し、安価でしかも処理速度の向上をも期待し得る撮像装置を提供することにある。
本発明の請求項９の目的は、特に、特性値を記憶し、近似的にシェーディング補正データを作成して演算に供するようにして、実質的な記憶容量を一層削減し、安価でしかも処理速度の向上をも期待し得る撮像装置を提供することにある。
本発明の請求項１０の目的は、特に、画像圧縮機能を流用してシェーディング補正演算に供されるシェーディング補正データを圧縮し小容量化して記憶するようにし、記憶容量を削減して、安価に構成し得る撮像装置を提供することにある。
本発明の請求項１１の目的は、特に、シェーディング補正演算に供されるシェーディング補正データの高周波成分を除去して、画素単位の感度差やノイズ成分の影響を除去し、シェーディング補正データの拡大／縮小利用に対する汎用性を高め得る撮像装置を提供することにある。
本発明の請求項１２の目的は、特に、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも１つに応じたシェーディング補正データの加工を、シェーディング補正データが縮小／圧縮されて画素数が少ない状態で行い、シェーディング補正データの加工の、計算量を低減し高速化を可能とする撮像装置を提供することにある。
【課題を解決するための手段】
【００１０】
請求項１に記載した本発明に係る撮像装置は、上述した目的を達成するために、
光電変換を行う光電変換素子を２次元的に配置してなる撮像素子と、
前記撮像素子を駆動するためのパルスを発生させる駆動パルス発生手段と、
前記撮像素子から出力される撮像信号のアナログ−ディジタル変換を行う信号変換手段と、
ディジタル変換された撮像信号を輝度と色の情報に分離したカラー画像信号に変換する画像処理手段と、
前記カラー画像信号を保存する画像保存手段と
を具備する撮像装置において、
前記カラー画像信号と同等の形式を有するシェーディング補正データを記憶する補正データ記憶手段と、
前記カラー画像信号と同等の形式を有して前記補正データ記憶手段に記憶されたシェーディング補正データと前記カラー画像信号の各データとの間で画素毎に乗算することによってシェーディング補正を行う画素演算手段と、
をさらに備えることを特徴としている。
【００１１】
請求項２に記載した本発明に係る撮像装置は、請求項１の撮像装置であって、
前記画素演算手段は、前記カラー画像信号の輝度信号のみに対してシェーディング補正演算を行う画素間演算手段であることを特徴としている。
請求項３に記載した本発明に係る撮像装置は、請求項１の撮像装置であって、
前記画素演算手段は、前記カラー画像信号の輝度信号および色信号の両情報に対してシェーディング補正演算を行う画素間演算手段であることを特徴としている。
請求項４に記載した本発明に係る撮像装置は、請求項１〜請求項３のいずれか１項の撮像装置であって、
シェーディング補正を行うか否かを、撮影条件に基づいて選択的に切り替える手段を含むことを特徴としている。
請求項５に記載した本発明に係る撮像装置は、上述した目的を達成するために、
前記撮像素子から出力された撮像信号を、輝度情報と色情報に分離したカラー画像信号に対してシェーディング補正を行う手段を具備する撮像装置において、
輝度情報のみを補正する補正処理と、輝度情報および色情報の両方を補正する補正処理とを選択的に切換えて補正処理を行う補正処理手段を備えることを特徴としている。
【００１２】
請求項６に記載した本発明に係る撮像装置は、請求項４または請求項５の撮像装置であって、
高速で連続撮影が必要であるか否かに基づいて、前記補正処理の選択切り替えを行う手段を含むことを特徴としている。
請求項７に記載した本発明に係る撮像装置は、請求項１〜請求項３のいずれか１項の撮像装置であって、
画像データに拡大および縮小の少なくとも一方の処理を施して、保存するカラー画像のサイズを変更するための画像サイズ変更手段と、
前記画像サイズ変更手段に基づく補正対象のカラー画像の保存サイズに合せてシェーディング補正データを拡大または縮小処理をして、前記画素演算手段によるシェーディング補正演算に供するための手段と
をさらに有することを特徴としている。
【００１３】
請求項８に記載した本発明に係る撮像装置は、請求項７の撮像装置であって、
前記補正データ記憶手段は、シェーディング補正データを、前記撮像素子の画素数よりも少ない画素数分のデータとして記憶しており、且つ
前記撮像装置は、対象カラー画像の保存サイズに合せてシェーディング補正データを拡大処理した後に、当該画像のシェーディング補正演算に供するための手段を含むことを特徴としている。
請求項９に記載した本発明に係る撮像装置は、請求項７の撮像装置であって、
前記補正データ記憶手段は、シェーディング補正データを作成するための特性値を記憶しており、且つ
前記撮像装置は、前記特性値から補間近似して作成したシェーディング補正データを拡大または縮小してシェーディング補正演算に供するための手段を含むことを特徴としている。
請求項１０に記載した本発明に係る撮像装置は、請求項７または請求項８の撮像装置であって、
前記補正データ記憶手段の記憶に供するシェーディング補正データを画像データとして圧縮する画像圧縮手段と、
前記補正データ記憶手段から読み出した圧縮された画像データとしてのシェーディング補正データを伸長してシェーディング補正に供する画像伸張手段と
をさらに具備することを特徴としている。
【００１４】
請求項１１に記載した本発明に係る撮像装置は、請求項７〜請求項１０のいずれか１項の撮像装置であって、
シェーディング補正を行う前およびシェーディング補正データの拡大または縮小処理時の少なくとも一方に、シェーディング補正データに対してフィルタ処理を施し、シェーディング補正データの高周波数成分を除去する画像フィルタ手段をさらに有することを特徴としている。
請求項１２に記載した本発明に係る撮像装置は、請求項７〜請求項１１のいずれか１項の撮像装置であって、
シェーディング補正データの画素数が少ないときに、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも１つに応じて、シェーディング補正データを加工する手段をさらに含むことを特徴としている。
【発明の効果】
【００１５】
本発明によれば、シェーディング補正のための専用ハードウェアを別途に設けることなく、高速で且つ安価にシェーディング補正を行うことを可能とする撮像装置を提供することができる。
すなわち本発明の請求項１の撮像装置によれば、
光電変換を行う光電変換素子を２次元的に配置してなる撮像素子と、
前記撮像素子を駆動するためのパルスを発生させる駆動パルス発生手段と、
前記撮像素子から出力される撮像信号のアナログ−ディジタル変換を行う信号変換手段と、
ディジタル変換された撮像信号を輝度と色の情報に分離したカラー画像信号に変換する画像処理手段と、
前記カラー画像信号を保存する画像保存手段と
を具備する撮像装置において、
前記カラー画像信号と同等の形式を有するシェーディング補正データを記憶する補正データ記憶手段と、
カラー画像信号と同等の形式を有して前記補正データ記憶手段に記憶されたシェーディング補正データと前記カラー画像信号の各データとの間で画素毎に乗算することによってシェーディング補正を行う画素演算手段と、
をさらに備えることにより、特に、シェーディング補正演算に供されるシェーディング補正データの形式を工夫して、画素間演算機能をシェーディング補正に流用し、特別なハードウェアを必要とすることなく、高速で且つ安価なシェーディング補正が可能となる。
【００１６】
また、本発明の請求項２の撮像装置によれば、請求項１の撮像装置において、
前記画素演算手段は、カラー画像信号の輝度信号のみに対してシェーディング補正演算を行う画素間演算手段であることにより、特に、輝度信号のみをシェーディング補正演算に供するようにして、シェーディング補正データの容量およびシェーディング補正の演算量を抑制し、記憶容量の削減および処理時間を短縮することが可能となる。
本発明の請求項３の撮像装置によれば、請求項１の撮像装置において、
前記画素演算手段は、カラー画像信号の輝度信号および色信号の両情報に対してシェーディング補正演算を行う画素間演算手段であることにより、特に、輝度信号および色信号をシェーディング補正演算に供するようにして、いわゆる色シェーディングをも補正し、一層高画質を得ることが可能となる。
本発明の請求項４の撮像装置によれば、請求項１〜請求項３のいずれか１項の撮像装置において、
シェーディング補正を行うか否かを、撮影条件に基づいて選択的に切り替える手段を含むことにより、特に、シェーディング補正を行うか否かを、選択的に切換えて、シェーディングを補正するか、シェーディングは補正せずに、例えば中央部等について良好な画質を得るかを、撮影条件に基づいて、選択することが可能となる。
【００１７】
本発明の請求項５の撮像装置によれば、
前記撮像素子から出力された撮像信号を、輝度情報と色情報に分離したカラー画像信号に対してシェーディング補正を行う手段を具備する撮像装置において、
輝度情報のみを補正する補正処理と、輝度情報および色情報の両方を補正する補正処理とを選択的に切換えて補正処理を行う補正処理手段を備えることにより、特に、シェーディング補正を輝度について行うか輝度と色の両方について行うかを、選択的に切換えて、輝度のみについてのシェーディング補正を行うか、輝度と色との両方についてのシェーディング補正を行うかを、撮影条件に基づいて、選択することが可能となる。
本発明の請求項６の撮像装置によれば、請求項４または請求項５の撮像装置において、
高速で連続撮影が必要であるか否かに基づいて、前記補正処理の選択切り替えを行う手段を含むことにより、特に、高速連続撮影か否かに応じてシェーディング補正を選択的に切り換え、すなわち速度優先か画質優先かに応じてシェーディング補正動作を変更することが可能となる。
【００１８】
本発明の請求項７の撮像装置によれば、請求項１〜請求項３のいずれか１項の撮像装置において、
画像データに拡大および縮小の少なくとも一方の処理を施して、保存するカラー画像のサイズを変更するための画像サイズ変更手段と、
画像サイズ変更手段に基づく補正対象のカラー画像の保存サイズに合せてシェーディング補正データを拡大または縮小処理をして、前記画素演算手段によるシェーディング補正演算に供するための手段と
をさらに有することにより、特に、シェーディング補正演算に供されるシェーディング補正データの形式を工夫して、画像縮小／拡大機能をシェーディング補正に流用し、特別なハードウェアを必要とせずに、シェーディング補正データの記憶容量を実質的に削減し、安価でしかも処理速度の向上をも期待することが可能となる。
本発明の請求項８の撮像装置によれば、請求項７の撮像装置において、
前記補正データ記憶手段は、シェーディング補正データを、前記撮像素子の画素数よりも少ない画素数分のデータとして記憶しており、且つ
前記撮像装置は、対象カラー画像の保存サイズに合せてシェーディング補正データを拡大処理した後に、当該画像のシェーディング補正演算に供するための手段を含むことにより、特に、シェーディング補正演算に供されるシェーディング補正データを小容量化して、記憶容量を削減し、安価でしかも処理速度の向上をも期待することが可能となる。
【００１９】
本発明の請求項９の撮像装置によれば、請求項７の撮像装置において、
前記補正データ記憶手段は、シェーディング補正データを作成するための特性値を記憶しており、且つ
前記撮像装置は、前記特性値から補間近似して作成したシェーディング補正データを拡大または縮小してシェーディング補正演算に供するための手段を含むことにより、特に、特性値を記憶し、近似的にシェーディング補正データを作成して演算に供するようにして、実質的な記憶容量を一層削減し、安価でしかも処理速度の向上をも期待することが可能となる。
本発明の請求項１０の撮像装置によれば、請求項７または請求項８の撮像装置において、
前記補正データ記憶手段の記憶に供するシェーディング補正データを画像データとして圧縮する画像圧縮手段と、
前記補正データ記憶手段から読み出した圧縮された画像データとしてのシェーディング補正データを伸長してシェーディング補正に供する画像伸張手段と
をさらに具備することにより、特に、画像圧縮機能を流用してシェーディング補正演算に供されるシェーディング補正データを圧縮し小容量化して記憶するようにし、記憶容量を削減して、安価に構成することが可能となる。
【００２０】
本発明の請求項１１の撮像装置によれば、
請求項１１に記載した本発明に係る撮像装置は、請求項７〜請求項１０のいずれか１項の撮像装置において、
シェーディング補正を行う前およびシェーディング補正データの拡大または縮小処理時の少なくとも一方に、シェーディング補正データに対してフィルタ処理を施し、シェーディング補正データの高周波数成分を除去する画像フィルタ手段をさらに有することにより、特に、シェーディング補正演算に供されるシェーディング補正データの高周波成分を除去して、画素単位の感度差やノイズ成分の影響を除去し、シェーディング補正データの拡大／縮小利用に対する汎用性を高めることが可能となる。
本発明の請求項１２の撮像装置によれば、請求項７〜請求項１１のいずれか１項の撮像装置において、
シェーディング補正データの画素数が少ないときに、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも１つに応じて、シェーディング補正データを加工する手段をさらに含むことにより、特に、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも１つに応じたシェーディング補正データの加工を、シェーディング補正データが縮小／圧縮されて画素数が少ない状態で行い、シェーディング補正データの加工の、計算量を低減し高速化することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明に係る実施の形態に基づき、図面を参照して本発明の撮像装置を詳細に説明する。
図１は、本発明の一つの実施の形態に係るディジタルカメラのシステム構成を示している。
図１に示すディジタルカメラは、
撮影レンズ系１、メカニカルシャッタ２、ＣＣＤ（電荷結合素子）固体撮像素子３、ＣＤＳ（相関２重サンプリング）回路４、ＡＧＣ（自動利得制御）回路５、Ａ／Ｄ（アナログ−ディジタル）変換器６、タイミング発生器（ＴＧ）７、ＣＣＤインタフェース（ＣＣＤ−Ｉ／Ｆ）８、メモリコントローラ９、ディスプレイインタフェース（ディスプレイＩ／Ｆ）１０、ＪＰＥＧ処理部１１、ＹＵＶ変換部１２、リサイズ処理部１３、画素間演算部１４、ＣＰＵ（中央制御部）１５、ＲＯＭ（リードオンリメモリ）１６、ＲＡＭ（ランダムアクセスメモリ）（ＳＤＲＡＭ）１７、ディスプレイ１８、モータドライバ１９、操作部２０、ストロボモジュール２１およびメモリカード２２を具備している。ＣＤＳ回路４、ＡＧＣ回路５、Ａ／Ｄ変換器６およびタイミング発生器７は、フロントエンド（Ｆ／Ｅ）の信号処理部３１を構成し、ディジタル信号処理ＩＣ（集積回路）３２には、ＣＣＤインタフェース８、メモリコントローラ９、ディスプレイインタフェース１０、ＪＰＥＧ処理部１１、ＹＵＶ変換部１２、リサイズ処理部１３および画素間演算部１４が搭載される。
【００２２】
撮影レンズ系１は、被写体光学像をＣＣＤ固体撮像素子３の受光面上に結像させるための光学系である。メカニカルシャッタ２は、撮影レンズ系１とＣＣＤ固体撮像素子３との間の光路上に介挿されて、光路を開閉し、ＣＣＤ固体撮像素子３の露光を制限する。ＣＣＤ固体撮像素子３は、露光状態で受光面に入射される光学像を電気信号に変換して一時保持し、画像データを転送出力する。
ＣＤＳ回路４、ＡＧＣ回路５、Ａ／Ｄ変換器６およびタイミング発生器７は、ＣＣＤ固体撮像素子３からの出力信号をフロントエンドにおいて処理する信号処理部３１を構成する。ＣＤＳ回路４は、ＣＣＤ固体撮像素子３の出力画像信号を相関２重サンプリングする。ＡＧＣ回路５は、ＣＤＳ回路４の相関２重サンプリング出力を、自動利得制御して所用の信号レベルに調整する。Ａ／Ｄ変換器６は、ＡＧＣ回路５のアナログ出力をディジタルデータに変換する。タイミング発生器７は、ディジタル信号処理ＩＣ３２のＣＣＤインタフェース８から与えられる同期駆動信号であるＶＤ信号（垂直同期駆動信号）およびＨＤ信号（水平同期駆動信号）に応動し、且つＣＰＵ１５と連携して、ＣＣＤ固体撮像素子３、ＣＤＳ回路４、ＡＧＣ回路５およびＡ／Ｄ変換器６にタイミング信号を与え、これらを適正に同期させる。
【００２３】
ディジタル信号処理ＩＣ３２は、ＣＰＵ１５の制御に基づき、信号処理部３１のＡ／Ｄ変換器６を介して与えられるディジタル画像データをＲＡＭ１７へ格納するとともに、圧縮およびＹＵＶ変換等の所要の信号処理を行い、当該信号処理ＩＣ３２内で処理されたデータのＲＡＭ１７への格納、Ａ／Ｄ変換器６から与えられまたはＲＡＭ１７から取り出された画像データ等のディスプレイ１８への表示、Ａ／Ｄ変換器６から与えられまたはＲＡＭ１７から取り出されたディジタル画像データの圧縮処理、ならびにＹＵＶ変換およびリサイズ処理等の処理を行う。
ＣＣＤインタフェース８は、信号処理部３１のＡ／Ｄ変換器６から与えられるディジタル画像データを受けて、メモリコントローラ９を介してＲＡＭ１７に格納する。メモリコントローラ９は、ＣＰＵ１５の制御に基づき、ＣＣＤインタフェース８を介して与えられる原ＲＧＢ（ＲＡＷ−ＲＧＢ）データ、ＹＵＶ変換部１２でＹＵＶ変換されたＹＵＶデータおよびＪＰＥＧ処理部１１でＪＰＥＧ（Joint Photographic Experts Group）方式にて圧縮されたＪＰＥＧデータ等のＲＡＭ１７への書き込みならびにこれらのデータおよびプログラムデータ等のＲＡＭ１７からの読み出しを制御する。
【００２４】
ディスプレイインタフェース１０は、ＲＡＭ１７から読み出された画像データをディスプレイ１８に表示させる。なお、このディスプレイインタフェース１０から外部のＴＶ（テレビジョン）等に表示させるためのＴＶ出力を出力するようにしても良い。ＪＰＥＧ処理部１１は、Ａ／Ｄ変換器６から与えられまたはＲＡＭ１７から取り出された画像データ等を、ＪＰＥＧ方式にて圧縮する。ＹＵＶ変換部１２は、Ａ／Ｄ変換器６から与えられまたはＲＡＭ１７から取り出された画像データを、ＣＰＵ１５から与えられるオートホワイトバランス（ＡＷＢ）制御値に従ってＹＵＶ変換する。リサイズ処理部１３は、Ａ／Ｄ変換器６から与えられまたはＲＡＭ１７から取り出された画像データを、リサイズする。画素間演算部１４は、Ａ／Ｄ変換器６から与えられまたはＲＡＭ１７から取り出された画像データについて、ＣＰＵ１５の制御に従って画素間での所要の演算を行う。すなわち、メモリコントローラ９は、Ａ／Ｄ変換器６から与えられた画像データを、ＲＡＭ１７へ格納し、且つＲＡＭ１７から画像データを取り出して、ディスプレイインタフェース１０を介してディスプレイ１８への表示に供するとともに、ＲＡＭ１７から画像データを取り出して、ＪＰＥＧ処理部１１によるＪＰＥＧ方式の圧縮処理、ＹＵＶ変換部１２によるＹＵＶ変換、リサイズ処理部１３によるリサイズ処理ならびにこれら圧縮、ＹＵＶ変換およびリサイズの処理後のデータのＲＡＭ１７への書き込みに供する。さらには、メモリコントローラ９は、ＲＡＭ１７からデータを取り出してメモリカード２２への書き込みに供する。
【００２５】
ＲＯＭ１６は、ＣＰＵ１５の動作プログラムおよびデータ等を格納している。ＲＡＭ１７は、例えばＳＤＲＡＭ（シンクロナス・ダイナミック・ランダム・アクセス・メモリ）等の半導体メモリであり、既に述べた、原ＲＧＢデータ、ＹＵＶ変換されたＹＵＶデータ、ＪＰＥＧ圧縮されたＪＰＥＧデータ、ならびにＣＰＵ１５の動作プログラムおよびデータ等をそれぞれ格納するために用いられる。ＣＰＵ１５は、ＲＯＭ１６およびＲＡＭ１７の少なくとも一方から読み出したプログラムおよびデータを用いて撮影動作に係る各種の処理を実行し、処理に伴う一時的なデータをメモリコントローラ９を介してＲＡＭ１７に格納する。したがって、メモリコントローラ９は、先に述べた機能に加えて、ＲＯＭ１６およびＲＡＭ１７の少なくとも一方からプログラムを取り出して実行に供すべくＣＰＵ１５に供給する機能、ならびに各種の処理に伴いＣＰＵ１５から与えられ得る一時的なデータをＲＡＭ１７に書き込む機能をも有する。
ディスプレイ１８は、液晶表示装置等の画像表示可能な表示装置であり、Ａ／Ｄ変換器６から供給され、またはＲＡＭ１７から取り出され、ディスプレイインタフェース１０を介して与えられる画像データ等を表示し、さらには、所要の情報を表示する。モータドライバ１９は、ＣＰＵ１５の制御に基づいて、フォーカシングおよびズーミング等のために撮影レンズ系１のレンズ駆動モータ（図示せず）を駆動し、且つシャッタ開閉動作のためにタイミング発生器７と連動してメカニカルシャッタ２のシャッタ駆動モータ（図示せず）を駆動する。操作部２０は、撮影を指令するためのレリーズスイッチ、各モードを切換えるためのモードスイッチ、ならびにその他のスイッチ、キー、レバーおよびダイヤル等の少なくとも一部の操作手段を含み、当該ディジタルカメラに対する動作指示、設定指示および選択指示等の情報をＣＰＵ１５に与えるための操作を行う。
【００２６】
ストロボモジュール２１は、ＣＰＵ１５の制御に基づいて、ストロボを発光し、被写体の照明に供する。ストロボを発光させるか否かは、動作モードおよび被写体光量の少なくとも一方に応じて決定される。メモリカード２２は、いわゆるフラッシュメモリのような半導体不揮発性メモリを内蔵するスモールカードなどと称される小型のＩＣメモリ式記録媒体であり、当該ディジタルスティルカメラに対して着脱可能な外部記録媒体として用いられ、例えばディジタルスティルカメラに設けられたスロットに脱離可能に装着されて用いられる。このメモリカード２２には、例えば、ＣＰＵ１５の制御により、ＲＡＭ１７内のＪＰＥＧ方式等で圧縮された画像データをメモリコントローラ９を介してＲＡＭ１７から取り出して、撮影結果として保存する。
上述のような構成において、まず、この種のディジタルスティルカメラの基本動作の概要を説明する。この基本動作は、従来のディジタルスティルカメラと本質的に同様である。
【００２７】
図１において、撮影レンズ系１により結像される被写体光学像が、ＣＣＤ固体撮像素子３の受光面で露光されたデータは、電気信号からなるアナログ画像信号に変換されて、ＣＣＤ固体撮像素子３から出力される。このアナログ画像信号は、ＣＤＳ回路４、ＡＧＣ回路５、Ａ／Ｄ変換器６およびタイミング発生器７で構成されるフロントエンドの信号処理部３１でディジタル信号に変換される。ＣＤＳ回路４では、ＣＣＤ固体撮像素子３の出力から有効なアナログ画像信号のみが取り出される。ＡＧＣ回路５では、このアナログ画像信号を増幅する。そしてＡ／Ｄ変換器６では、アナログ画像信号をディジタル画像データに変換している。これら各部は、タイミング発生器７のタイミング信号に応動して動作し、所要の動作タイミングを同期させるように制御されている。
ディジタルデータに変換されたＲＧＢ形式の画像信号（以下、「ＲＧＢデータ」と称する）は、ディジタル信号処理ＩＣ３２のＣＣＤインタフェース８を介して取り込まれ、メモリコントローラ９によりＲＡＭ１７に書き込まれる。このときＣＣＤインタフェース８は、画面を水平方向と垂直方向とにそれぞれ１６分割した２５６個のエリアに対して、Ｒ、ＧおよびＢの各色のそれぞれのデータ値の積分値が算出される。ＣＰＵ１５は、これを読み出して、自動露出（ＡＥ）制御やオートホワイトバランス制御のための演算を行う。
【００２８】
書き込まれたＲＧＢデータは、ＣＰＵ１５の制御に基づき、メモリコントローラ９によって読み出され、ＹＵＶ変換部１２によってＹＵＶデータに変換されてＲＡＭ１７に書き戻される。ＹＵＶ変換部１２には、ホワイトバランスを調整するためのＲ、ＧおよびＢそれぞれに対する乗算器が設けられており、ＣＰＵ１５は、上述したＲ、ＧおよびＢの積分値に基づいてホワイトバランス演算を行った結果より、乗算係数を設定してホワイトバランスを調整する。さらに、γ（ガンマ）テーブル等と称される階調変換テーブルによって階調変換が行われる。
このようなＹＵＶデータをディスプレイインタフェース１０が読み出して、ＴＶや液晶モニタ等のディスプレイ（表示装置）１８に供給され表示が行われる。
操作部２０の操作などによって、撮影モードに設定すると、静止画撮影に先立って、ＣＣＤ固体撮像素子３で捉えられている画像を、ディスプレイ１８に随時表示するスルー画面の表示を行うライブビューモードが動作する。このライブビューモードは、ＣＣＤ固体撮像素子３の読み出しサイクルに合わせて、例えば１／３０秒等毎に画面更新が繰り返し行われる。
【００２９】
このライブビューモードでは、前述したエリア毎のＲＧＢ積算値を周期的に読み出して自動露出制御を行っている。画面を複数に分割した各エリアからそれぞれ読み出されるＲ、ＧおよびＢの各色の積分値から画面の明るさや被写体の分布などを検出して、次のライブビュー画面や静止画露光用の露光量制御データを算出している。その制御データに基づき、タイミング発生器７によってＣＣＤ固体撮像素子３に入力する電子シャッタの時間制御や、メカニカル絞り（図示されていない）の開口制御などを行う。
同時に自動ホワイトバランス制御も、Ｒ、ＧおよびＢの各色の積分値およびそれぞれの大小関係から各エリアの色合いと、そのエリアの画面内位置情報から光源色（色温度）の特定などを行って、ホワイトバランス制御値（Ｒ、ＧおよびＢの各色の乗算器の係数）を決定する。この制御値は、連続的に更新されているライブビュー画面の次のＹＵＶ変換時に設定を変更する。この制御により、光源色が変わるなどの撮影環境が変化してもホワイトバランスを自動的に合わせるようにしている。
【００３０】
この場合、ズームレンズからなる撮影レンズ系１は、ＣＰＵ１５がモータドライバ１９に対してモータ駆動制御を行うことによって焦点距離の変更が行われる。操作部２０からユーザのズーム倍率変更指示が操作入力されると、ＣＰＵ１５はその指示に応じてモータドライバ１９を駆動する。なお、ズーム駆動をパルスモータで行う場合は、駆動パルス数によってズーム位置を検出することができ、特別な位置検出回路を追加しなくても位置検出が可能となる。しかしながら、図示していないが別途にズーム位置検出装置を設けて、ズーム位置を検出するようにしても良い。
ユーザが、操作部２０より静止画撮影指示を入力すると、撮影に先立って、オートフォーカシング（ＡＦ：自動合焦調整）動作が行われる。
オートフォーカシングは、モータドライバ１９を用いてフォーカシング（合焦調整）用レンズを駆動する。ＣＣＤインタフェース８には、画面内の指定範囲についてのハイパスフィルタ出力の積分結果を、合焦評価値（以下、「ＡＦ評価値」と称する）を、フレーム毎に出力する機能があり、撮影レンズ系１のフォーカシング用レンズを移動しながらＡＦ評価値を取得して、いわゆる山登り制御を実施して合焦位置を検出する。
【００３１】
オートフォーカシングに続いて、静止画撮影用の露光と、露光した静止画画像のＲＡＭ１７への取り込みが行われる。
この時点では、静止画画像は、ＣＣＤ固体撮像素子３から出力されたＲＧＢデータである。ＲＡＭ１７に取り込まれたＲＧＢデータは、ＹＵＶ変換部１２でＹＵＶデータに変換され、ＲＡＭ１７に書き戻される。例えば、３００万画素のＣＣＤ固体撮像素子では、変換されたＹＵＶデータのサイズは２０４８×１５３６画素となる。このサイズのＹＵＶデータを主画像ＹＵＶデータと称することにする。
次に主画像ＹＵＶデータと共に記録する縮小画像であるサムネイル画像の作成を行う。サムネイル画像のサイズは、例えば１６０×１２０画素である。主画像ＹＵＶデータは、メモリコントローラ９に読み出されて、リサイズ処理部１３に送られ、縮小されたサムネイル画像が、ＳＤＲＡＭに書き戻される。
このリサイズ処理部１３では、縮小と拡大の画像サイズ変換が可能である。縮小時には、ローパスフィルタをかけた結果を間引きサンプリングする。拡大時には、隣接画素間を線形補間し、画素間をサンプリングした後にローパスフィルタ処理をする。
【００３２】
サムネイルＹＵＶデータおよび主画像ＹＵＶデータは、再度読み出されてＪＰＥＧ処理部１１においてＪＰＥＧ圧縮され、ＲＡＭ１７に書き戻される。ＪＰＥＧ圧縮されたデータに、ＲＡＭ１７にて、ヘッダデータなどが付加されてＪＰＥＧ画像ファイルとしてから、ＣＰＵ１５によってメモリカード２２に転送保存される。ここでは、ＪＰＥＧ処理部１１による圧縮としたが、画像ファイルを記録するにあたっては、特にＪＰＥＧ圧縮に限定するわけではなく、２値変換して記録するカメラであれば、ＭＭＲ圧縮、非圧縮のＹＵＶ記録、あるいはＪＰＥＧ２０００圧縮等のファイル形式のいずれを用いても良い。
ディジタルカメラとしての撮影動作制御プログラム、外部との通信プログラム、その他鏡胴メカニズム特性、ＣＣＤ固体撮像素子の感度および撮影レンズ系１のレンズ特性のような個体毎のばらつきを補正する個体特性データなどは、全て、書き換え可能なＲＯＭ１６内に保存されており、後述するシェーディング補正データも、このＲＯＭ１６に保存されている。ＣＰＵ１５は、起動時に、このＲＯＭ１６のプログラムおよびデータを、ＲＡＭ１７に読み出して利用している。
画素間演算部１４は、２種類の画像データに対する四則演算、ビットシフトおよび定数乗算等を行うことができる。最近の電子カメラでは、予め用意してあるフレームデータを撮影画像に合成したり、特定の透過率で２つの画像を重ね合わせたりする画素間演算機能を持っていることが多くなっており、このため画素間演算部１４が設けられている。
【００３３】
ここで、ディジタルカメラにおいては、ＣＣＤ固体撮像素子３の各画素前に装着されている各画素に受光した光を集めるための集光レンズや撮影レンズ系１の特性により、均一輝度の被写体を撮影した場合でも、撮影後の画像の明るさが均一とならないシェーディングと称される現象が発生する。このシェーディング現象は、通常、画面の中心部よりも周辺部のほうが暗くなる形であらわれる。
本発明では、このシェーディングを補正するために、画像データと同じ形式としたシェーディングを補正するためのデータ（以下、「シェーディング補正データ」と称する）を使用し、画素間演算部１４の機能を利用してシェーディング補正を行う。すなわち、ＲＡＭ１７が、ＣＰＵ１５の制御に基づき、カラー画像信号と同等の形式を有するシェーディング補正データを記憶する補正データ記憶手段として機能する。また、画素間演算部１４が、ＣＰＵ１５の制御に基づき、カラー画像信号と同等の形式で補正データ記憶手段に記憶されたシェーディング補正データとカラー画像信号の各データとの間で画素毎に乗算することによってシェーディング補正を行う画素演算手段として機能する。例えば、画像データが８ビットのＹＵＶ形式である場合、シェーディング補正データも、８ビットのＹＵＶ形式とする。
【００３４】
図２を参照して本発明のシェーディング補正について説明する。
この場合、画像データは、８ビットデータ（ＲＧＢ形式では、Ｒ、ＧおよびＢそれぞれが８ビットで表現され、ＹＵＶ形式では、Ｙ、ＵおよびＶそれぞれが、８ビットで表現される）で構成される。
図２（ａ）は、画面全体が均等輝度の被写体を撮影した画面である。図２（ｂ）は、図２（ａ）の画面の中央太い点線ライン上の明るさ（輝度Ｙ）である。この例では、画面の外側に行くほど明るさが下がってしまっている。また図２（ｂ）の中心付近にある黒点は、輝度が最大値になっている部分である。通常レンズの中心と画面の中心が一致していれば、明るさのピークは中央になるが、組み付けなどの誤差によって中心をずれてしまうことがある。図２（ｃ）は画面中央の太い点線ライン上の補正データである。カメラは、各水平ラインに対して同様の補正データを持っており、つまり各画素に対応した補正データを画像データと同様の形式で作成した２次元補正データテーブルをＲＯＭ１６内に保持している。この２次元補正データテーブルは、画像データと同じ形式であるので、この場合は、０から２５５の値を持つ８ビットのデータである。
【００３５】
この実施の形態では、中央値近傍の１２８を１倍とした。これにより乗算係数である補正データが表現できる倍率は、最大２５５／１２８倍となり、倍率の最小ステップが１／１２８倍となる。
すなわち、図２（ａ）のような均一な被写体を撮影したときに最も明るくなる個所（図における黒い点）を基準として、補正データテーブルのその画素位置に対応する補正データ値を１２８とする。その他の画素位置に対応する補正データは、各画素の補正前の輝度値（Ｙデータ）を何倍すれば、黒点の輝度値と同じ値になるか、つまり黒点の輝度値を基準とした補正係数を算出する。
補正処理時は、各画素の輝度値と各画素に対応した補正データとを乗算した後に、１２８で割り算を行う。なお補正後に、輝度値が２５５を超えた場合には、２５５に置き換えるリミット処理が行われる。この補正処理は、圧縮前のＹデータについて行われる。すなわち、次のような値である：
（補正後Ｙデータ）＝｛（補正前Ｙデータ）×（補正データ）／１２８｝
ここでは輝度Ｙについてのみの補正の説明をしたが、色差ＵまたはＶについても同様の補正を行うことができる。
【００３６】
図３に、輝度Ｙだけを補正した場合と、色（色差Ｕ、Ｖ）を補正した場合との関係を示している。破線上の点（１）〜点（５）は、赤い被写体を、明るさを変えながら撮影した場合の色差Ｖの変化を示したものである。同じ色の被写体の場合、明るさが大きくなるにつれてＶの値が大きくなっていることがわかる。
これに対して、点（２）部分について、輝度Ｙだけ点（３）の位置までを補正すると、点（５）となる。つまり明るさだけを明るくした点（５）は、被写体が明るくなったときの色合いに相当する点（３）と比べて、結果的に見た目の色合いが薄くなってしまう。
したがって、色差を補正して、図３の点（５）が点（３）の位置になるような乗算補正をすれば、より正確に補正することができる。但し、このようにすると処理の時間が長くなってしまう。
そこで、このような方法に対して、撮影モードによって切り換えるという方法が考えられる。例えば、連写等のように連続的に高速で撮影を行う必要がある場合には、人間の目が敏感な輝度のみの補正を行うようにする。一方、連写がオフのとき、マクロ撮影のとき、またはセルフタイマ撮影等のように高速繰り返し撮影が必要とならない撮影モードでは、色差の補正をも行うようにする。つまり、撮影モードが、高速処理が必要かどうかで、シェーディング補正処理を切り換える。
【００３７】
したがって、ＣＰＵ１５および操作部２０により、シェーディング補正を行うか否かを、撮影条件に基づいて選択的に切り替える手段を構成し、また、輝度情報のみを補正する補正処理と、輝度情報および色情報の両方を補正する補正処理とを選択的に切換えて補正処理を行う補正処理手段をも構成することができる。
この場合、補正にあたっては、色差Ｕ、Ｖも８ビットデータであるので、輝度Ｙの補正と同様に８ビットの乗算用補正データを作成すれば、上述と同様の演算処理で補正することが可能である。
ここで、補正テーブルの作成方法について説明する。
ディジタルカメラ等のカメラの製造工程において、シェーディングの影響が最大になるようなズーム位置と絞り径に設定して、輝度均一の面光源を撮影する。一般的には、焦点距離は、最も短い広角端、絞りは最大径の場合が、最もシェーディングの影響を受けることが多い。
撮影し、サムネイル画像を作成した後に、ＲＡＭ１７上にあるサムネイル画像のＹデータの最大値を見出す。次に、各画素に対して、最大値と同じにするための係数を計算し、各画素の位置に対応する２次元シェーディング補正データとしてＲＯＭ１６に保存する。これを基準補正データとする。
【００３８】
次に、全焦点距離を、例えば５等分した各ズーム位置と、各絞り径で同様の撮影を行って、ズーム位置毎のシェーディング補正データを作成する。これらを全てＲＯＭ１６に保存するようにしてもよいが、基準シェーディング補正データから、各ズーム位置のシェーディング補正データに変換するための変換係数を、求めて保存するようにしてもよい。
例えば、どのズーム位置と絞り径でも、図４（ａ）のように、周辺での輝度の低下を２次関数で表現できるような滑らかなものである場合には、基準補正テーブルの最大値と、各テーブルの最大値を比較して係数を算出して、テーブル加工係数データとして保存することができる。
しかしながら、焦点距離が短い広角側では図４（ｂ）のような形状で、焦点距離が長い望遠側では図４（ａ）のようになる場合には、図４（ｃ）のように画面領域をエリア分割してテーブル加工係数を作成する必要がある。なお、通常の場合、変曲点は中心付近ではなく、図４（ｂ）のように中心から離れた部分にあるので、画面分割は、図４（ｃ）のように中心から離れるにつれて細かくする。
【００３９】
このようにして作成した変換係数は、各８ビットのデータであるから、ＪＰＥＧ圧縮して保存しても良い。ＪＰＥＧデータとして保存することで、保存するデータ量をより少なくすることができ、しかもデータ使用時における読み出し量が少なくなることから、高速化が可能になる。
このようにして、製造工程において、１台ずつ、各カメラに対してテーブルを作成するようにすれば、図２（ｂ）のように、組付け精度が低いために、左右および上下の明るさ分布が違っていても問題なくなり、組付け精度の基準を緩和することができ、製造コストを低減することが可能となる。
また、個体間のばらつきがほとんどないような場合には、予め作成しておいた補正テーブルおよび加工係数によってテーブルを作成するようにしてもよい。
さらに、ＲＯＭ１６のサイズが小さいなどの理由で、テーブルデータとして保持できない場合には、図５に示すようにシェーディング特性を直線近似し、直線式の係数をＲＯＭ１６に保存して、シェーディング補正時に、この式から補正係数を算出して補正するようにしても良い。
【００４０】
次に、撮影時における利用方法を説明する。
撮影時は、主画像とサムネイル画像のＹＵＶデータを作成する。これらをＪＥＰＧ圧縮する前に、シェーディング補正を行う。
撮影モードが起動されると、ＣＰＵ１５は、ＲＯＭ１６から基準補正テーブルをＲＡＭ１７に読み出す。操作部２０より撮影開始指示が入力されると、自動露出制御処理により撮影時の絞り径が決定し、露光処理が開始される。ＣＰＵ１５は、現在のズーム位置と絞り径から、加工係数を読み出し、露光および原ＲＧＢデータのＲＡＭ１７への転送と並行して、読み出した加工係数から、基準補正テーブルを加工し、現在のズーム位置および絞り位置に応じた補正データを作成する。この加工では、１倍以下にならないようにする必要があるため、例えば最小値を１２８とし、１２８以下になった場合は、１２８に置き換えるリミット処理を行う。
作成されたシェーディング補正データは、記録する主画像のサイズに合せたサイズにリサイズ処理部１３で変換する。なお、リサイズ処理部１３でのサイズ拡大処理では、ローパスフィルタ処理も行っている。
【００４１】
３００万画素の２０４８×１５３６画素で記録する場合には、補正テーブルも同じサイズに拡大する。ＣＣＤ固体撮像素子３のサイズが３００万画素であっても、主画像記録サイズが６４０×４８０画素であれば、補正テーブルも６４０×４８０画素に拡大し、記録する主画像が作成されてからシェーディング補正を行う。シェーディング補正後のＹＵＶデータを縮小してサムネイル画像を作成し、それぞれをＪＰＥＧ圧縮して、画像ファイルとして保存する。
なお、ここでは、サムネイルサイズのシェーディング補正データから作成した主画像用の補正データにより、主画像に対してシェーディング補正を行った後に、補正後の主画像からサムネイルを作成するようにしたが、主画像とサムネイルのそれぞれに対してシェーディング補正を実行してもよい。主画像を縮小してサムネイルを作成しないシステムにおいては、主画像は拡大したシェーディング補正データによって補正を実行し、サムネイルに対しては、拡大していないシェーディング補正データを乗算することでそれぞれの画像に対してシェーディング補正をするようにしても良い。
【００４２】
上述したように、縮小した補正テーブルを持ち、それを拡大して利用することには、いくつかの利点がある。
第一に、テーブル作成時にリサイズ処理部１３で縮小を行う際に、ローパスフィルタ処理が行われるため、ＣＣＤ固体撮像素子３の画素単位の感度差やノイズが平均化され、隣接する補正係数間の差による影響が少ない滑らかな係数テーブルの作成が可能であるため、ノイズや画素単位の感度差を排除した滑らかなテーブルを作成することができる。また、シェーディング補正実行時に、同様にローパスフィルタ処理をすることで、より滑らかなシェーディング補正データとなり、画素単位の感度差の影響を受けないので、厳密な位置合せが不要になり、テーブル作成時の画素数と異なるサイズの画像に対しても、同じテーブルを使用することが可能となる。
上述においては、ノイズや画素単位の感度差を排除するために、ローパスフィルタ処理をおこなうものとしたが、このローパスフィルタに特に限定しなくても良い。目的は光学特性以外のノイズを除去するものであるから、メディアンフィルタなどのフィルタ手段を使うことも可能である。
【００４３】
第二に、ＲＯＭ１６に持つべきテーブルサイズを小さくすることができる。このためＲＯＭ１６の容量削減によるコストダウンを実現することが可能となる。
第三に、データ読み出し量を少なくすることができる。これは記録時の処理時間の短縮化を実現することができる。
第四に、ズーム位置や絞り径によって補正テーブルを加工するときのデータ量を少なくすることができる。計算量を少なくすることによって、処理の高速化を実現することができる。
第五に、記録画素数に合せて補正量を変えることができる。毎回全画素に補正をする必要がないために、記録画素数が少ないときは、補正時間を短くすることができる。
したがって、特許請求の範囲の各請求項に対応する作用効果は、次のようになる。
【００４４】
請求項１の構成では、シェーディング補正データを画像データと同等の形式にすることにっよって、画素間演算機能をシェーディング補正データの処理に利用することができるため、特別なハードウェアを別途に設ける必要なしに、高速でシェーディング補正することが可能となる。
請求項２の構成では、輝度信号のみに対して補正を行うようにしたことによって、処理時間の短縮を可能とし、補正データを保持するメモリを削減してコストダウンを達成することが可能となる。
請求項３の構成では、輝度と色の両方を補正するようにしたことによって、より高画質を達成するシェーディング補正が可能となる。
請求項４の構成では、補正を行うかどうかを選択することが可能であり、画質優先か否かの目的に対応させて動作を変えることが可能となる。
請求項５の構成では、輝度のみの補正か、輝度と色の両方の補正かを選択することが可能であり、画質優先か否かの所望の目的に対応させて動作を変えることが可能となる。
請求項６の構成では、速度優先か画質優先かの所望の目的に対応させて動作を変えることが可能となる。
【００４５】
請求項７の構成では、シェーディング補正データを画像データと同等の形式とするので、画像縮小拡大機能をシェーディング補正データに利用することができ、特別なハードウェアを別途に設ける必要なしに補正対象となる画像に合せてシェーディング補正データを拡大縮小することが可能になる。このことによって、シェーディング補正データを記録画素数毎に記憶しておく必要がなくなり、記憶メモリの削減によりコストを低減し、常に撮像素子の画素数と同じ数の画素の処理を行う必要がなくなり、処理速度を向上させることができる。
請求項８の構成では、縮小したシェーディング補正データを拡大して使うものとしたことで、シェーディング補正データ記憶メモリの削減によりコストを低減し、記憶メモリの削減によるコストダウンと、常に撮像素子の画素数と同じ数の画素の処理を行う必要がなくなり、処理速度を向上させることができる。
請求項９の構成では、光学特性の測定値を保持していて、その値から近似によってシェーディング補正データを作成することによって、よりメモリの削減ができる。さらに近似によるシェーディング補正データが縮小サイズであれば、近似演算自体の計算量も少なくすることができるため、高速化が期待できる。
【００４６】
請求項１０の構成ででは、シェーディング補正データを画像データと同等の形式とするので、画像圧縮をするための圧縮手段をシェーディング補正データの処理に利用することが可能となり、ＪＰＥＧで圧縮して保存しておくことにより、さらに補正データ記憶用のメモリを削減することができる。
請求項１１の構成ででは、シェーディング補正データに高周波成分除去フィルタ処理を行うことによって、画素単位の感度差やノイズ成分を除去することができ、画素単位の厳密な位置合せが不要となるので、シェーディング補正データを拡大または縮小して利用する際に同じ補正データを使うことが可能となる。
請求項１２の構成では、縮小した小さいシェーディング補正データについて加工を行うため、計算量を少なくすることが可能となり、計算を高速化することができる。
【図面の簡単な説明】
【００４７】
【図１】本発明の撮像装置の一つの実施の形態に係るディジタルスティルカメラの概略のシステム構成を模式的に示すブロック図である。
【図２】図１のディジタルスティルカメラのシェーディング補正に係るシェーディング特性と補正データの関係を模式的に示す図である。
【図３】図１のディジタルスティルカメラのシェーディング補正に係る輝度補正と色差補正の関係を模式的に示す図である。
【図４】図１のディジタルスティルカメラのシェーディング補正に係るシェーディング特性および補正エリアの分割を説明するための模式図である。
【図５】図１のディジタルスティルカメラのシェーディング補正に係るシェーディング特性およびその直線近似を説明するための模式図である。
【符号の説明】
【００４８】
１  撮影レンズ系
２  メカニカルシャッタ
３  ＣＣＤ（電荷結合素子）固体撮像素子
４  ＣＤＳ（相関２重サンプリング）回路
５  ＡＧＣ（自動利得制御）回路
６  Ａ／Ｄ（アナログ−ディジタル）変換器
７  タイミング発生器（ＴＧ）
８  ＣＣＤインタフェース（ＣＣＤ−Ｉ／Ｆ）
９  メモリコントローラ
１０  ディスプレイインタフェース（ディスプレイＩ／Ｆ）
１１  ＪＰＥＧ処理部
１２  ＹＵＶ変換部
１３  リサイズ処理部
１４  画素間演算部
１５  ＣＰＵ（中央制御部）
１６  ＲＯＭ（リードオンリメモリ）
１７  ＲＡＭ（ランダムアクセスメモリ）
１８  ディスプレイ
１９  モータドライバ
２０  操作部
２１  ストロボモジュール
２２  メモリカード
３１  フロントエンド（Ｆ／Ｅ）信号処理部
３２  ディジタル信号処理ＩＣ（集積回路）
【図１】
2006345388.tif 000003
【図２】
2006345388.tif 000004
【図３】
2006345388.tif 000005
【図４】
2006345388.tif 000006
【図５】
2006345388.tif 000007