(57)【要約】【課題】補正ゲイン係数を最適化して画像の特定領域をシェーディング補正する。【解決手段】アナログ画像信号をディジタル信号に変換した画像データを出力する入力画像データ処理部と、前記入力画像データ処理部から供給された画像データを基準画像データとして座標位置を算出し、該算出された座標位置から表示画像の輝度情報に関する近似関数を求め、前記表示画像の特定領域内の輝度情報と前記近似関数から座標位置に対する補正ゲイン係数を算出し、算出した補正ゲイン係数を用いて前記入力画像データ処理部から新たに供給された画像データの座標位置に対応する補正ゲイン係数を算出し、該算出された補正ゲイン係数と前記特定領域の前記画像データを演算処理して補正するシェーディング補正処理部とを有し、特定領域のノイズを抑制してシェーディング補正する。【選択図】図１
2007300360.tif 000002
【特許請求の範囲】
【請求項１】
アナログ画像信号をディジタル信号に変換した画像データを出力する入力画像データ処理部と、
前記入力画像データ処理部から供給された画像データを基準画像データとして座標位置を算出し、該算出された座標位置から表示画像の輝度情報に関する近似関数を求め、前記表示画像の特定領域内の輝度情報と前記近似関数から座標位置に対する補正ゲイン係数を算出し、算出した補正ゲイン係数を用いて前記入力画像データ処理部から新たに供給された画像データの座標位置に対応する補正ゲイン係数を算出し、該算出された補正ゲイン係数と前記特定領域の前記画像データを演算処理して補正するシェーディング補正処理部と
を有するシェーディング補正回路。
【請求項２】
前記シェーディング補正回路は、更に前記シェーディング補正処理部で求められた前記基準画像データを記憶する記憶媒体を有する
請求項１記載のシェーディング補正回路。
【請求項３】
前記入力画像データ処理部は、前記基準画像データを白を基準としたサンプリングデータにより求める
請求項１記載のシェーディング補正回路。
【請求項４】
前記シェーディング補正処理部は、前記補正ゲイン係数を最小二乗法により得られたｎ次関数（ｎは正の整数）で近似して求める
請求項１記載のシェーディング補正回路。
【請求項５】
前記シェーディング補正処理部は、前記補正ゲイン係数を前記特定領域の画像データの輝度最大値と前記ｎ次関数で得られた輝度データから求める
請求項４記載のシェーディング補正回路。
【請求項６】
前記シェーディング補正処理部は、更にシェーディング補正切り替え部を有し、前記画像基準データの値を前記記録媒体に保持し、出力画像に応じて全表示画像のシェーディング補正と部分ズーム表示画像のシェーディング補正とを切り替える
請求項１記載のシェーディング補正回路。
【請求項７】
基準画像を測定し、表示画像上の輝度レベルをｎ次関数（ｎは正の整数）へ近似したデータを記憶媒体に格納する第１のステップと、
前記記憶媒体に記憶されたデータと前記表示画像の所定領域の画像の輝度情報を用いて該表示画像の補正ゲイン係数を算出する第２のステップと、
算出した補正ゲイン係数を用いて新たに供給された画像データから前記表示画像の座標位置を算出する第３のステップと、
前記補正ゲイン係数を用いて前記新たに供給された画像データの現在位置座標に対応する補正ゲイン係数を算出する第４のステップと、
前記現在位置に対応する補正ゲイン係数と前記新たに供給された画像データが供給されて演算処理されて、前記所定領域の画像が補正される第５のステップと
を有するシェーディング補正方法。
【請求項８】
外部から光信号がレンズを介して入力され、アナログ画像信号を出力する撮像素子と、
前記アナログ画像信号をディジタル信号に変換した画像データを出力する入力画像データ処理部と、
前記入力画像データ処理部から供給された基準画像データから座標位置を算出し、該算出された座標位置から表示画像の輝度情報に関する近似関数を求め、前記表示画像の特定領域の輝度情報と前記近似関数から座標位置に対する補正ゲイン係数を算出し、該算出した補正ゲイン係数を用いて前記入力画像データ処理部から新たに供給された画像データの座標位置に対応する補正ゲイン係数を算出し、該算出された補正ゲイン係数と前記表示画像の特定領域の新たに供給された画像データを演算処理して、該画像データを補正するシェーディング補正処理部と、
前記シェーディング補正手段から出力された画像データをカメラ信号処理して出力するカメラ信号処理部と
を有するカメラシステム。
【請求項９】
前記シェーディング補正回路は、更に前記シェーディング補正処理部で求められた前記基準画像データを記憶する記憶媒体を有する
請求項８記載のカメラシステム。
【請求項１０】
前記入力画像データ処理部は、前記基準画像データを白を基準としたサンプリングデータにより求める
請求項８記載のカメラシステム。
【請求項１１】
前記シェーディング補正処理部は、前記補正ゲイン係数を最小二乗法により得られたｎ次関数（ｎは正の整数）に近似して求める
請求項８記載のカメラシステム。
【請求項１２】
前記シェーディング補正処理部は、前記補正ゲイン係数を前記特定領域の画像データの輝度最大値と前記ｎ次関数で得られた輝度データから求める
請求項１１記載のカメラシステム。
【請求項１３】
前記シェーディング補正処理部は、更にシェーディング補正切り替え部を有し、前記白基準データの近似処理後の値を前記記録媒体に保持し、出力画像に応じて全表示画像補正用のシェーディング補正と部分ズーム表示画像のシェーディング補正とを切り替える
請求項８記載のカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シェーディング補正回路、シェーディング補正方法およびカメラシステムに関し、特に部分電子ズームなどの画素領域のみを拡大、縮小して出力する機能を有するカメラＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ；ディジタル信号演算装置）において、シェーディング補正処理の補正ゲイン係数を求めるシェーディング補正回路、シェーディング補正方法およびカメラシステムに関するものである。
【背景技術】
【０００２】
カメラシステムのレンズの特性として、周辺光量の減衰（シェーディング）が生じる。このシェーディング特性を焦点距離や絞り値により変動するがレンズ上で完全になくす事は困難である。特許文献１に、カメラシステム内部にこのシェーディング特性を補正する機能を持たせ、画像特性の劣化を取り除く技術が開示されている。
まず、白基準となる画像を撮影し、その時の空間的中心軸（縦横）のデータをある画素間隔でサンプリングする。次にこのサンプリングデータに対して最小２乗法により白基準データの中心軸における２次近似関数を生成する。そしてその関数のデータにおいて、空間的中心位置の画素レベルとの比を求めそれを補正ゲイン係数とする（図９フロー図参照）。最後にその補正ゲイン係数を画像データへと掛け合わせることで、全画面（表示画像）の画像データのレベルが空間的中心位置の画素レベルに均一となり、シェーディング補正を実現している。
【０００３】
また近年、監視カメラや車載カメラの分野において広角レンズ（魚眼レンズ）などの画角の広い光学手段を用いて１８０度の風景を撮影するシステムが開示され、そのシェーディング特性による画質への影響が問題となっている。これらのレンズの中には周辺光量の減衰が多いものも存在し（図７参照）、その減衰量の大きい例としてセンター値の１／４以上になるものが存在する。このような減衰の大きいシェーディング特性の画像に対して上記の補正を行おうとすると、両端の画素データの補正ゲインは非常に大きくなり、その値を用いてシェーディング補正を行うと、画像両端または周辺部のノイズ成分を大幅に増幅するという問題が生じる。
【０００４】
一方、近年のカメラシステムにおいては部分電子ズームという画像処理機能があり（図８参照）、この機能ではセンサから出力された全画面の画像データに対しＤＳＰ内部ではその中の表示する領域の画素データのみを用いて拡大処理し、その拡大された画像を出力するシステムが存在する。このようなカメラシステムにおいて、画面端部分を拡大するモードを使用した場合には、画面全体をゲインの大きいシェーディング係数でシェーディング補正するため、シェーディング補正ゲインにより劣化した画質が問題となる。
【特許文献１】特開２００３−１６９２５５号公報
【特許文献２】特開２００５−３４５７２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、部分電子ズーム等のズーム時においてレンズの周辺光量の減衰が多い場合には、全画面で画像信号のレベルを均一にするという方法は好ましくない。実際にはズーム処理に必要な画像領域のデータしか出力されない為、シェーディング補正においてもこの部分のみを補正するとよい。
そこで上記問題点に鑑み、本発明のシェーディング補正回路、シェーディング補正方法およびカメラシステムは、部分電子ズームに必要な画像領域内の画像データの最大レベルに合わせる補正ゲイン係数を生成し、シェーディング補正を行うことを目的とする。
【課題を解決するための手段】
【０００６】
本発明のシェーディング処理回路は、アナログ画像信号をディジタル信号に変換した画像データを出力する入力画像データ処理部と、前記入力画像データ処理部から供給された画像データを基準画像データとして座標位置を算出し、該算出された座標位置から表示画像の輝度情報に関する近似関数を求め、前記表示画像の特定領域内の輝度情報と前記近似関数から座標位置に対する補正ゲイン係数を算出し、算出した補正ゲイン係数を用いて前記入力画像データ処理部から新たに供給された画像データの座標位置に対応する補正ゲイン係数を算出し、該算出された補正ゲイン係数と前記特定領域の前記画像データを演算処理して補正するシェーディング補正処理部とを有する。
【０００７】
本発明のシェーディング処理方法は、基準画像を測定し、表示画像上の輝度レベルをｎ次関数（ｎは正の整数）へ近似したデータを記憶媒体に格納する第１のステップと、前記記憶媒体に記憶されたデータと前記表示画像の所定領域の画像の輝度情報を用いて該表示画像の補正ゲイン係数を算出する第２のステップと、算出した補正ゲイン係数を用いて新たに供給された画像データから前記表示画像の座標位置を算出する第３のステップと、
前記補正ゲイン係数を用いて前記新たに供給された画像データの現在位置座標に対応する補正ゲイン係数を算出する第４のステップと、前記現在位置に対応する補正ゲイン係数と前記新たに供給された画像データが供給されて演算処理されて、前記所定領域の画像が補正される第５のステップとを有する。
【０００８】
本発明のカメラシステムは、外部から光信号がレンズを介して入力され、アナログ画像信号を出力する撮像素子と、前記アナログ画像信号をディジタル信号に変換した画像データを出力する入力画像データ処理部と、前記入力画像データ処理部から供給された基準画像データから座標位置を算出し、該算出された座標位置から表示画像の輝度情報に関する近似関数を求め、前記表示画像の特定領域の輝度情報と前記近似関数から座標位置に対する補正ゲイン係数を算出し、該算出した補正ゲイン係数を用いて前記入力画像データ処理部から新たに供給された画像データの座標位置に対応する補正ゲイン係数を算出し、該算出された補正ゲイン係数と前記表示画像の特定領域の新たに供給された画像データを演算処理して、該画像データを補正するシェーディング補正処理部と、前記シェーディング補正手段から出力された画像データをカメラ信号処理して出力するカメラ信号処理部とを有する。
【発明の効果】
【０００９】
部分電子ズーム機能を有するカメラシステムにおいて、部分電子ズーム時にそのズーム領域に限定したシェーディング補正を行う事により、補正ゲイン値が極度に大きくなることなく常に最適なゲイン値で補正を行う事ができるので、ズーム領域のノイズ成分を抑える事ができる。
また、表示画像内において、表示画像全体の画像データのレベルを最低限のゲイン値で均一化することができる。
表示に影響しない領域で補正ゲイン値を固定するため、消費電力の軽減ができる。
【発明を実施するための最良の形態】
【００１０】
以下に、本発明の第１の実施形態を説明する。本実施形態のシェーディング処理回路、方法およびカメラシステムは、白基準データをサンプリングし、最小２乗法によりｎ次関数（ｎは整数値）へ近似する。部分電子ズームを行う画素領域においてｎ次近似関数の最大値を求め、そのレベルとの比により補正ゲイン係数を算出する。
また、部分電子ズーム時に必要のない無効画像領域においては、１倍もしくは０倍の所定のゲイン量に固定する。この後、センサからの画像データに対してゲイン処理を行い、シェーディング補正を行うプロセスをとる。
【００１１】
図１は、本発明の第１の実施形態であるシェーディング処理回路を有するカメラシステム１００の構成図を示す。図１に示すシェーディング補正処理部４０は、カメラシステム１００内に構成されるシェーディング補正のＨＷ処理の具体構成例である。
図１のカメラシステム１００は、入力画像データ処理部１０、記憶媒体（ＲＯＭ等）２０、ＣＰＵ（マイクロコンピュータ）３０、シェーディング補正処理部４０、カメラ処理部５０、ズーム処理部６０、出力画像データ処理部７０で構成され、上述のシェーディング補正処理部４０は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）４１、位置算出部４２、補正ゲイン係数算出部４３、乗算器４４等で構成される。
【００１２】
入力画像処理部１０において、外部から入力された映像（光信号）が広角レンズを介して固体撮像素子、たとえばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサに投光され、そこで光信号が電気信号に変換される。電気信号に変換された画像信号はゲイン調整部で利得が調整され、その後ＡＤ（アナログ−ディジタル）変換器でアナログ信号がディジタル信号に変換され、ディジタル画像データが出力される。
記憶媒体（ＲＯＭ等）２０は、外部にＲＡＭまたはＲＯＭ、フラッシュメモリなどで構成され、後述のＣＰＵ３０にてｎ次関数へ近似された白（色）基準データが格納される。
ＣＰＵ３０は、外部もしくは内部の演算制御装置例えばマイクロコンピュータで構成され、ＲＡＭ４１、記憶媒体２０に取り込まれた白基準データを用いて近似処理、補正ゲイン係数算出をする。このＣＰＵ３０で、白基準データの補正を例えば２次関数で近似して補正データを求め、その近似した補正データを記憶媒体２０へ転送する。また、ズーム有り、無しの両撮影時、白基準データなどに関する補正データを記憶媒体２０から読出し、一旦ＣＰＵ３０にて補正ゲイン係数（ＳｈｄＣｏｒｒ）を算出した後にＲＡＭ４１に転送する。
【００１３】
シェーディング補正処理部４０において、ＲＡＭ４１は、記憶媒体２０から補正データを読出し、一旦ＣＰＵ３０にて補正ゲイン係数（ＳｈｄＣｏｒｒ）を算出した後に補正ゲイン係数をテンポラリーに格納する。
位置算出部４２は、現在処理している画素データがセンサの画素配列、例えばベイヤ配列内の２次元空間でどの位置にあるかを算出する。
補正ゲイン係数算出部４３は、位置算出部４２から受け取った位置情報を元にその画素に対応する補正ゲイン係数を算出する。この補正ゲイン係数算出処理の際に、記憶装置（ＲＯＭ等）２０から転送されたデータをＲＡＭ４１に格納し、このデータを参照する。
乗算器４４は、補正ゲイン係数算出部４３で算出された現座標の画素データに対する補正ゲイン係数と入力画像データ処理部１０から出力された画像データ（信号）とを演算処理、たとえば乗算処理してシェーディング補正を行う。
【００１４】
カメラ処理部５０は、乗算器４４でシェーディング補正された画像データを入力し、色信号／輝度信号の分離処理、輪郭補正（アパーチャー補正）、ガンマ（γ）補正、ホワイトバランス調整、色信号マトリクス処理、画像複合化処理等を行い、コンポーネント出力、コンポジット出力等の任意形式の画像データを生成し、通常のカメラ信号処理を行う。
ズーム処理部６０は、カメラ処理部５０で生成された画像データに対して、表示画像の任意の領域を拡大、縮小などの部分電子ズーム処理を行う。
出力画像データ処理部７０は、ズーム処理された画像データを処理してこのカメラシステム１００における画像データとして出力する。
【００１５】
次に、図１に示すカメラシステム１００の動作について説明する。
カメラシステム１００の外部から入力された画像が不図示の（広角）レンズを介してＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサに投光され、ここで光信号が電気信号に変換され、利得が調整された後アナログ画像信号がディジタル画像信号（データ）に変換される。このディジタル画像データが後段のシェーディング補正処理部４０に出力される。
まず、白（色）基準データを作成するため、基準白画像がレンズを介してセンサに取り込まれ、光信号が電気信号に変換され、利得が調整された後アナログ−ディジタル変換されてディジタル画像データが得られる。
このとき、入力される画像データはＲＡＭ４１で記憶されるとともに、位置算出部４２で、現在処理している画素データがセンサのベイヤ配列内の２次元空間上でどの位置に存在するか算出される。補正ゲイン係数算出部４３で、位置算出部４２から受け取った位置情報と表示画像（画面またはレンズの）水平中心軸のデータがＲＡＭ４１に記憶される。
ＲＡＭ４１から読み出した白基準データを用いて２次２乗近似関数を求める。この求め方は、最小二乗方法により求められる。求められた２次関数のデータは記憶媒体（ＲＯＭ等）２０へ格納される。
【００１６】
カメラシステム１００のズーム機能が動作しないときは通常のシェーディング補正が行われ、ズーム機能が動作するときは、記憶媒体（ＲＯＭ等）２０から格納されたデータが読み出され、部分電子ズームで使用する領域内の最大レベル（ＤａｔａＭａｘ）が求められ、その画素に対応する補正ゲイン係数が算出される。この算出された補正ゲイン係数はＲＡＭ４１に格納される。
【００１７】
次に、新たに外部から入力された任意画像がレンズを介してセンサに投光され、光信号が電気信号に変換され、利得が調整され、画像信号レベルが調整された後アナログ画像信号がディジタル画像信号（データ）に変換される。
入力画像データ処理部１０から出力された画像データは、ＲＡＭ４１と位置算出部４２に入力され、位置算出部４２で、現在処理している画素データがセンサのベイヤ配列内の２次元空間上でどの位置に存在するか算出される。
また、この画素データの位置情報を元に、補正ゲイン係数算出部４３により、ＲＡＭ４１の補正ゲイン係数を用いて現在座標の補正ゲイン係数が算出される。
乗算器４４に、入力画像データ処理部１０から出力された画像データと、この画像データの同一座標（現在座標）の補正ゲイン係数が供給され、乗算処理された画像データ、例えば画像の輝度データが得られる。
この乗算処理は、カメラシステム１００の部分電子ズーム（機能）がＯＮ（オン）モードのとき、電子ズームされた特定領域のみに対して行われる。特定領域内の乗算処理についての詳細な説明は後述する。
【００１８】
シェーディング補正された画像データは、カメラ処理部５０に転送される。カメラ処理部５０は、シェーディング補正された画像データに対して従来のガンマ補正、ホワイトバランス調整、アパーチャー補正等のカメラ信号処理を行い、任意の形式の画像データを生成する。
カメラ処理部５０で処理された画像データは、ズーム処理部６０に入力され、部分電子ズーム処理（任意箇所を拡大・縮小）する。このズーム処理の例を図２に示す。図２（ａ）はセンサから出力された全画面（表示画像）を示し。中心から画面（またはレンズ）水平方向座標Ｘ１〜Ｘ２の範囲をズーム処理する例を示す。そのズーム処理された出力画面データの例を図２（ｂ）に示す。
このズーム処理された画像データは出力画像データ処理部７０で所望の画像システムデータに変換されて出力される。
【００１９】
上述したように、白基準データの近似処理後の値を記録媒体（ＲＯＭ等）２０に保持しておくことで、出力画像に応じて従来の全画面補正用のシェーディング補正方法と部分電子ズーム用のシェーディング補正方法とを切り替えることができる。即ち、白基準データの近似処理後の値を記録媒体に保持し、用途に応じてシェーディング補正を全画面あるいは、画面の任意領域の拡大、縮小の機能を切り替えることにより、シェーディング補正をさらにダイナミックに適用できる。
また、白基準データを記憶媒体に格納しておき拡大領域に応じて補正ゲイン係数を算出するため、拡大領域の変更にダイナミックに対応できる。
【００２０】
図３（ａ）に広角レンズ特性を用いたカメラシステム１００における補正ゲイン係数とデータレベルの特性を示す。
画面の水平（方向）座標をｘとし、縦軸にレンズの光量（ゲイン）ｙ（ｘ）を示し、各水平方向座標に対するゲインｙ（ｘ）を２次関数近似したときの特性を示す。
従来、全画面を補正するときは、補正ゲイン係数を広角レンズの中心（水平中心軸）のゲインの最大値Ｍａｘを用いて算出してシェーディング補正していた。
一方図３（ｂ）に示すように部分電子ズーム処理において、特定した水平方向座標Ｘ１〜Ｘ２の範囲を拡大する場合、広角レンズの中心に対応する最大ゲインを用いるのではなく、水平方向座標Ｘ１〜Ｘ２の範囲内のゲインの最大値ＤａｔａＭａｘを用いて補正ゲイン係数を算出する。よって、ズーム処理する場合の最大ゲインはズーム無しの最大ゲインより小さく設定することができる。
シェーディング処理された画像の端部、具体的には図３（ｂ）においては水平方向座標Ｘ２の近傍のゲイン係数は全画面を補正する場合の補正ゲイン係数と比較して小さく設定される。また、これらのシェーディング補正についてはさらに詳細に後述する。
上述したように、このズーム画像は、ズーム画像のゲインの最大値ＤａｔａＭａｘを用いて補正ゲイン係数を求め、シェーディング補正するので、ズーム処理された画面端部に対するシェーディング補正ゲイン量を小さくすることができる。従って、ズーム処理おいて、画面端部（領域）のノイズを従来の増幅より小さくできるので、シェーディング補正ゲインによるノイズ成分の増大・画質劣化を抑えることができる。
【００２１】
次に、シェーディング補正について詳細に説明する。シェーディング補正の工程は大きく分けて以下の３ステップある。
第１ステップ；白（色）基準データの格納処理（一部、本実施形態）
第２ステップ；補正ゲイン係数の算出（本実施形態）
第３ステップ；補正ゲイン処理
【００２２】
まず第１ステップについて説明する。
ＣＣＤやＣＭＯＳ等のセンサにて画面一様な白基準となる画像を撮影し、その時の入力画像データ処理部１０から出力された全画面または有効画像面の水平中心軸（レンズの直径に対応する）のデータをＲＡＭ４１に格納する。この有効画像面の水平軸のデータの取り方の例を図３（ａ）と図４（ａ）に示す。
図３（ａ）に示す第１のデータの取り方は、広角レンズの中心軸の水平方向（レンズの直径）の座標に対して、例えば全画素毎にデータを取り込み、その各画素に対応する位置とその白色の輝度情報をＲＡＭ４１に格納する。この場合、画素数が多いとＲＡＭ４１の容量が大きくなり、また後述の補正ゲイン係数の算出のための計算量が増え、計算時間が増加する欠点がある。そのため、水平座標方向ｘの画素について、所定の間隔でサンプリングする。もし、ズーム画像で画像精度が劣化する場合、画素サンプリング数の最適化、または補間処理等を行い、画像劣化を防止することもできる。
【００２３】
図４（ａ）に示すように、画素毎のデータをＲＡＭ４１に取り込むとき、ＲＡＭ４１の規模を小さく（格納データ量を少なく）するために、画面（レンズ）の中心軸の水平方向座標の画素に対してある一定間隔でサンプリングしてそのサンプリングされた画素データを格納する。
水平方向座標に、サンプリング点をｘａ１，ｘａ２、・・・、ｘａ（ｎ−１）、ｘａｎとし、そのｘ座標に対する白色データの輝度情報を求め、測定した白画像データを２次関数の式に代入し、最小２乗法を用いて下記の式（１）の係数ａ，ｂ．ｃを求める。
２次近似の２次関数は下記の式（１）で表される。
【００２４】
[数１]
ｙ＝ａｘ２＋ｂｘ＋ｃ                        ・・・（１）
ここで、ａ，ｂ，ｃは定数、ｙは輝度データ（レベル）、ｘは水平方向座標とする。
この式（１）で表される特性を図３（ａ）、図４（ａ）に示す。横軸ｘは例えば広角レンズまたは表示画面の水平方向座標を示し、縦軸ｙは広角レンズの半径方向に対する輝度レベル（情報）を表し、ここでは２次関数で表示しているので、輝度レベルはレンズの直径方向に対して２次曲線で表せる。
【００２５】
前記したように、ズームモードのとき、水平方向座標Ｘ１、Ｘ２間のズーム処理適用範囲内で最大レベルをＤａｔａＭａｘとする。図３（ｂ）、図４（ｂ）に、ズーム適用範囲のみを補正する場合の補正ゲイン係数について、水平方向座標とゲインレベルの関係を示す。このズーム処理の補正ゲイン係数を算出するときに使用するＤａｔａＭａｘは、水平方向座標の原点Ｏの最大データレベルＭａｘより明らかに小さい。
白色基準サンプリングデータは２次関数近似しているので、各水平方向座標ｘを式（１）に代入して２次関数（ｙ）を計算し、任意の水平方向座標に対する後述の補正ゲイン係数を算出できるので、水平方向のサンプリングデータが粗であっても、拡大ズーム画像の精度は確保できる。またこの他、補正ゲイン係数は隣り合うｙ（ｘ）のデータを用いて、補間処理（例えば線形補間処理）によって２点のｘ座標の中間値を求めることができる。
式（１）で算出された白基準のデータとその位置情報は記憶媒体２０へ転送され格納される。この際、本実施形態では、記憶媒体２０の規模を小さくするために、全画素分のデータを格納するのではなく、図４（ａ）に示すように、所定の間隔でサンプリングし、これによって算出されたデータのみを格納する。
以降はＲＡＭ４１、ＣＰＵ３０、記憶媒体（ＲＯＭ等）２０との間で水平方向の座標位置データ、２次関数のデータなどの転送を行う。
【００２６】
次に、第２ステップについて図１と図２を用いて説明する。
この第２ステップでは、ＲＡＭ４１、ＣＰＵ３０、記憶媒体２０とでデータの転送が行われる。上記第１のステップの処理を予め実行し、その後シェーディング補正機能がＯＮ（オン）になった際に以下の手順により補正処理を行う。
まず始めにカメラシステム１００が部分電子ズームモードであるかどうかによりシェーディング補正方法を選択する。通常のモード（全画出力）の場合では、従来通りの手法にて全画面を均一化するための補正ゲイン係数を算出する。
一方、部分電子ズームモードである場合は、図３（ｂ）、図４（ｂ）に示すように、出力画像のみの画像レベルを均一化する補正ゲイン係数を算出する。なお、従来の補正ゲイン係数を算出する方法は本説明では省略する。
【００２７】
部分電子ズームモード時の補正ゲイン係数の算出方法を以下に示す。
まず、ズーム処理部６０にて使用される領域が図２の範囲内であったとする。図２に示すように、入力画像データの中心からズームする領域をｘ軸方向（水平方向座標）にＸ１、Ｘ２とする。カメラシステムに使用されるレンズの場合、レンズの円周方向に輝度レベル（ゲイン）は同一と仮定して良いので、ズーム領域全てのデータを測定する必要は無く、少なくともレンズの直径方向の１ラインのみのデータを測定すれば良い。測定した白基準データを記憶媒体（ＲＯＭ等）２０に格納する。
次に、記憶媒体２０よりこのズーム範囲内の白基準データを読み出し、そのうち最大のレベルを検索しそれをＤａｔａＭａｘとする。この最大値ＤａｔａＭａｘと式（１）に示す２次の近似関数ｙ（ｘ）から、領域内の補正ゲイン係数ＳｈｄＣｏｒｒ（ｘ）を下記の式（２）から求める。
【００２８】
［数２］
ＳｈｄＣｏｒｒ（ｘ）＝ＤａｔａＭａｘ／ｙ（ｘ）    ・・・（２）
ここで、xはズーム処理部６０で使用する空間内：Ｘ１〜Ｘ２（図３（ｂ）、図４（ｂ）参照）の範囲。
また水平方向座標ｘ＜Ｘ１，ｘ＞Ｘ２の範囲において、補正ゲイン係数は、
【００２９】
［数３］
ＳｈｄＣｏｒｒ（ｘ）＝０    ・・・（３）
と表す。
【００３０】
図３（ｂ）、図４（ｂ）に式（２）、（３）で表される特性を示す。縦軸はゲインレベル、横軸は画面の水平方向座標ｘを表す。
図３（ｂ）に示すように、画面の一部分のみをズームして表示する場合、ｘ座標（水平方向座標）の負（反対方向）からＸ１までとＸ２以上の範囲において、補正ゲイン係数を所定値、例えば０倍（式（３））、または１倍に設定する。そして、ズーム適用領域、例えば水平方向座標Ｘ１からＸ２においてのみ式（２）を適用する。
このように、ズーム処理部６０でズーム機能を使用しない領域の補正ゲイン係数は０倍（もしくは1倍固定）とし、ゲインレベルを固定することによりデータの変動を無くし、消費電力を抑えることができる。
以上で求められた補正ゲイン係数ＳｈｄＣｏｒｒ（ｘ）を第３ステップの補正処理で参照するために再びＲＡＭ４１へと格納する。この際、ＲＡＭ４１の規模を小さくするために、全画素分のデータを格納するのではなくある一定間隔のデータのみを格納する。
【００３１】
次に、第３ステップにおいて、入力画像データ処理部１０の現画素位置（２次元空間の絶対アドレス）を位置算出部４２で求め、補正ゲイン係数算出部４３ではその座標値とＲＡＭ４１に格納されている補正ゲイン係数を用いて、現座標（水平方向座標）に対する補正ゲイン係数を算出する。このとき、ＲＡＭ４１には、ある一定間隔の補正ゲイン係数しか格納されていないため、その間の点に対する補正値は（例えば線形等の）補間処理にて算出する。
また、補正ゲイン係数は水平中心軸のデータしか格納されていないため、補正ゲイン係数は中心点を基準に同心円状に同じ値を使用していく（図５参照）。
図５（ａ）の矢印ｃは水平方向座標ｘのＸ１〜Ｘ２の範囲を示し、かつ同心円で半径ｘＸ１〜Ｘ２を示す。この領域においては、式（２）で表されるＳｈｄＣｏｒｒ（ｘ）にｘを代入した値を用いて補正ゲイン係数を求める。
しかし、図５（ｂ）の矢印ｄに示すように、水平方向Ｘ１〜Ｘ２の範囲であっても、同心円の半径Ｘ２以上の領域においては、矢印ｄの点を円の中心ｏを中心に水平方向座標ｘまで回転させ、ｘ軸と交差した点をｄの水平方向座標とする。このｘ座標と交差した値を式（２）のｘに代入して、ＳｈｄＣｏｒｒ（ｘ）の補正ゲイン係数を求める。
即ち、補正ゲイン係数算出部４３にて現画素の絶対アドレス値を元に画面（またはレンズ）の中心からの距離を算出し、それとＲＡＭ４１に格納されている補正ゲイン係数に照らし合わせて求めればよい。そして求まった補正ゲイン係数とシステムに入力された画像データとを乗算器４４で乗算処理してシェーディング補正処理を行う。
【００３２】
以降は、カメラＤＳＰにおけるシェーディング補正以降の処理内容と同じ動作になる。カメラ処理部５０ではホワイトバランスやγ補正といった一般的なカメラ信号処理を行い、ここで出力形式に合わせた画像データが生成される。そして最後にズーム処理部７０にて部分電子ズーム処理し、図２に示すように部分的に拡大処理され、この拡大された画像が出力される。
【００３３】
次に、本発明の第２の実施形態であるシェーディング方法について、図１、図４と図５（ａ）と図６のフロ−チャートを用いて説明する。
まず、白基準データを求める方法についてフローチャートを用いて説明する。
ステップＳＴ１１において、入力画像データ処理部１０で、白基準画像を撮影する。白基準サンプリングデータの測定方法を図４（ａ）に示す。画面またはレンズの水平方向座標（ｘ）に対して、入力画像データの白色を測定する。
ステップＳＴ１２において、ステップＳＴ１１で撮影した白基準データをＲＡＭ４１に格納する。
ステップＳＴ１３において、ＣＰＵ３０の制御プログラムに従い、ＲＡＭ４１に格納された白基準データを読出す。
ステップＳＴ１４において、水平方向座標の任意の位置（ｘ）に対する輝度データ（ｙ）を式（１）で２次の２乗近似関数へ近似する。
この２次近似関数ｙ（ｘ）は、図４（ａ）に示すように、サンプリング点をｘａ１，ｘａ２、・・・、ｘａ（ｎ−１）、ｘａｎとし、このサンプリング点とデータ測定した白画像データ（ｙ）を２次関数の式に代入し、最小二乗方法により式（１）の係数ａ，ｂ．ｃを決定する。このサンプリング点は、所定の間隔で行うが、ＲＡＭ４１、記憶媒体（ＲＯＭ等）２０の記憶容量にあわせて決定する。記憶容量が小さい場合は、サンプリング点を粗にする必要があり、十分な記憶容量があるときは、その容量値に合わせてサンプリング点（幅）を決定する。
ステップＳＴ１５において、ステップ１４で得られた２次関数のデータをＣＰＵ３０により記憶媒体２０へ格納し、白基準データ格納処理を終了する（ＳＴ１６）。
【００３４】
次にシェーディング補正処理方法について説明する。
ステップＳＴ２１において、外部から制御信号を入力して、シェーディング補正するか否か（補正Ｏｎ）をカメラシステムのシステム制御部たとえばＣＰＵ３０で判断する。シェーディング補正をしない場合、ステップＳＴ２９へ遷移し終了し、シェーディング補正を行う（Ｏｎ）場合、ステップＳＴ２２へ遷移する。
ステップＳＴ２２において、撮像した画面の一分にズーム動作が有るか無いかのモード判断を行い、部分ズーム動作が無い時ステップＳＴ２３へ遷移し、部分ズーム動作があるとき、ステップＳＴ２４に遷移する。
ステップＳＴ２３において、センサで撮像した画面の全領域に対して、補正ゲイン係数の算出を行う。この算出方法は、図３（ａ）、図４（ａ）に示すように２次近似された２次関数ｙ（ｘ）データを元に、ＤａｔａＭａｘ／ｙ（ｘ）を計算して、画面（レンズ）の全領域に対する補正計数の算出を行う。そして、補正係数の算出が終わると、ステップＳＴ２７へ遷移する。このときのＤａｔａＭａｘは一般に画面またはレンズの水平中心軸の中心（原点）であり、電子部分ズームのＤａｔａＭａｘと比較して大きくなる。
ステップＳＴ２４において、部分電子ズームのモードが判別されると、ＣＰＵ３０により記憶媒体２０から必要な白基準データが読み出される。
ステップＳＴ２５において、部分電子ズームにおいて使用する領域内の輝度情報を検索し、輝度情報の最大値を求め、その値をＤａｔａＭａｘとする。
ステップＳＴ２６において、部分領域内の輝度レベルの最大値のＤａｔａＭａｘと２次関数ｙ（ｘ）を用いて、前記式（２）で補正ゲイン係数の式を計算する。
【００３５】
この式（２）に画面の水平方向座標ｘをｙ（ｘ）に代入し、各座標ｘに対する補正ゲイン係数ＳｈｄＣｏｒｒ（ｘ）を算出する。
ステップＳＴ２７において、ＣＰＵ３０により各座標に対する補正係数ＳｈｄＣｏｒｒ（ｘ）の値をＲＡＭ４１に転送し、ＲＡＭ４１に記憶（格納）する。
ステップＳＴ２８において、後述の補正ゲイン処理が行われる。
【００３６】
次に、上述した補正ゲイン処理について説明する。
ステップＳＴ３１において、入力画像データ処理部１０から入力された画像データはＲＡＭ４１とシェーディング補正処理部４０の位置算出部４２に入力され、位置算出部４２により、入力画像データに対する現座標が算出される。
ステップＳＴ３２において、補正ゲイン係数算出部４３ではその座標値とＲＡＭ４１に格納されている補正ゲイン係数を用いて、現座標に対する補正ゲイン係数が算出される。このとき、ＲＡＭ４１にはある一定間隔の補正ゲイン係数しか格納されていないため、その間の点に対する補正値は（例えば線形等の）補間処理にて算出する。
また、補正ゲイン係数は画面あるいはレンズの水平中心軸に関するデータしか格納されていないため、補正ゲイン値は中心点を基準に同心円状に同じ値を使用していく。これには補正ゲイン係数算出部４３にて現画素の絶対アドレス値を元に中心からの距離を算出し、それとＲＡＭ４１に格納されている補正ゲイン係数に照らし合わせて求める。
ステップＳＴ３３において、カメラシステム１００に入力された画像データとこのアドレスと一致する座標のステップＳＴ３２で求まった補正ゲイン係数が乗算器４４に供給され、乗算処理してシェーディング補正処理が行われ、ステップＳＴ３４に遷移する。
この一連のステップの動作が繰り返され、ズーム適用領域の各画素についてシェーディング補正の処理が行われる。
【００３７】
このように、部分電子ズームの機能を有するカメラシステムにおいて、補正ゲイン係数をズーム適用領域内の輝度最大レベルを用いて表すことにより、シェーディング補正を最適化することで、よりノイズを増幅することを抑制し、ゲインの小さい画面の端部の画質の劣化を抑えた画像を得ることができる。
【００３８】
以上述べたように、周辺光量の減衰が多いレンズを用いるシステムにおいて部分電子ズームを実現する場合、拡大した画素領域のみのレベルを均一化する補正ゲイン係数を用いることにより、出力画素へのシェーディング補正ゲイン量を低減させノイズ成分の拡大を防ぐことができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の第１実施形態に係るカメラシステムの概略構成図である。
【図２】入力画像テータとそのズーム画像データを示す図である。
【図３】レンズの光学特性とズーム画像領域に対する補正ゲイン係数を求めるための説明図である。
【図４】基準データと補正ゲイン係数の算出動作を説明するための図である。
【図５】入力画像データに対するズーム領域の補正方法を説明するための図である。
【図６】本発明の第２の実施形態のシェーディング補正方法を示すフローチャートである。
【図７】従来のレンズのゲイン特性を示す図である。
【図８】従来の入力画像テータとそのズーム画像データを示す図である。
【図９】従来のシェーディング補正の動作を説明するためのフローチャートである。
【符号の説明】
【００４０】
１０…入力画像データ処理部、２０…記憶媒体（ＲＯＭ等）、３０…ＣＰＵ…マイクロコンピュータ、４０…シェーディング補正処理部、４１…ＲＡＭ、４２…位置算出部、４３…補正ゲイン係数算出部、４４…乗算器、５０…カメラ処理部、６０…ズーム処理部、７０…出力画像データ処理部。
【図１】
2007300360.tif 000003
【図２】
2007300360.tif 000004
【図３】
2007300360.tif 000005
【図４】
2007300360.tif 000006
【図５】
2007300360.tif 000007
【図６】
2007300360.tif 000008
【図７】
2007300360.tif 000009
【図８】
2007300360.tif 000010
【図９】
2007300360.tif 000011