(57)【要約】【課題】常に美しい画像を生成することができるようにする。【解決手段】レンズ１１０を経て入射される被写体の光像に光電変換を施して撮像素子１１１から出力された撮像信号は、撮像回路１１２にて、デジタル信号の撮像素子出力信号に変換され、リニアリティ補正回路１１３とLUT１１４へ供給されてLUT１１４から、撮像素子出力信号のレベルに対応して出力特性を補正する補正ゲインが取り出され、リニアリティ補正回路１１３で、撮像素子出力信号に、その補正ゲインが乗じられることによって撮像素子出力信号の出力特性におけるノンリニア成分が相殺されるように補正が行われる。信号処理回路１１５は、撮像データにホワイトバランス処理、ガンマ補正処理などの信号処理を施して、画像データを作成し、画像データは、表示系１１６、記録系１１７へ送られる。【選択図】図１０
2007274226.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像を処理する画像処理装置であって、
入射光量に対応する撮像信号を出力する撮像手段と、
前記撮像手段から出力される撮像信号の出力レベルに対応する補正ゲインを特定するための補正情報を記憶する記憶手段と、
前記記憶手段から供給される補正情報に基づいて、前記撮像信号の出力レベルに対応する補正ゲインを取得する補正ゲイン取得手段と、
前記撮像手段から出力された撮像信号を、前記補正ゲイン取得手段により取得された補正ゲインに基づいて補正することで、前記入射光量の変化に対する前記撮像信号の出力レベルの変化が線形になるように補正する信号補正手段と
を備える画像処理装置。
【請求項２】
前記記憶手段に、前記入射光量に基づいて前記撮像信号の出力レベルに対応する補正ゲインを算出する関数が記憶されている
請求項１に記載の画像処理装置。
【請求項３】
前記信号補正手段は、前記補正ゲインを前記撮像信号の出力レベルに乗じることにより前記撮像信号を補正する
請求項１に記載の画像処理装置。
【請求項４】
前記信号補正手段は、前記補正ゲインから算出されたオフセット値を前記撮像信号の出力レベルに加算または減算することにより前記撮像信号を補正する
請求項１に記載の画像処理装置。
【請求項５】
前記記憶手段により記憶される情報は、
予め測定された撮像信号の出力レベルであって、前記入射光量を線形に変化させていったときの撮像信号の出力レベルと、
仮想的に生成された撮像信号の出力レベルであって、前記入射光量が線形に変化していくのに伴って線形に変化する撮像信号の出力レベルとに基づいて生成される
請求項１に記載の画像処理装置。
【請求項６】
前記予め測定された撮像信号の出力レベルに対して、前記仮想的に生成された撮像信号の出力レベルから得られる直線を中心として線対称となる位置の出力レベルを求めることにより前記記憶手段により記憶される情報が生成される
請求項１に記載の画像処理装置。
【請求項７】
撮像された画像を処理する画像処理装置の画像処理方法であって、
入射光量に対応する撮像信号を出力する撮像手段により画像を撮像し、
前記撮像に伴って前記撮像手段から出力される撮像信号の出力レベルに対応する補正ゲインを特定するための補正情報を記憶する記憶手段から供給される補正情報に基づいて、前記撮像信号の出力レベルに対応する補正ゲインを取得し、
前記撮像手段から出力された撮像信号を、前記取得された補正ゲインに基づいて補正することで、前記入射光量の変化に対する前記撮像信号の出力レベルの変化が線形になるように補正するステップ
を含む画像処理方法。
【請求項８】
撮像された画像を処理する画像処理装置に画像処理を実行させるプログラムであって、
入射光量に対応する撮像信号を出力する撮像手段による画像の撮像を制御し、
前記撮像に伴って前記撮像手段から出力される撮像信号の出力レベルに対応する補正ゲインを特定するための補正情報を記憶する記憶手段から供給される補正情報に基づいて、前記撮像信号の出力レベルに対応する補正ゲインの取得を制御し、
前記撮像手段から出力された撮像信号を、前記取得された補正ゲインに基づいて補正することで、前記入射光量の変化に対する前記撮像信号の出力レベルの変化が線形になるような補正を制御するステップ
を含むコンピュータが読み取り可能なプログラム。
【請求項９】
請求項８に記載のプログラムが記録されている記録媒体。
【請求項１０】
入射光量に対応する撮像信号を出力する撮像手段から出力された撮像信号の出力レベルを、前記入射光量が線形に変化した場合、前記撮像信号の出力レベルも線形に変化するように補正するための補正情報を生成する情報処理装置であって、
前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応する前記撮像信号の出力レベルを測定する出力レベル測定手段と、
前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応して線形に変化する撮像信号の出力レベルを仮想的に生成する出力レベル生成手段と、
前記出力レベル測定手段により測定された出力レベルと、前記出力レベル生成手段により生成された出力レベルとに基づいて前記出力レベル測定手段により測定された撮像出力信号の出力レベルが、前記入射光量の変化に対して線形に変化するように補正する補正情報を生成する補正情報生成手段と
を備える情報処理装置。
【請求項１１】
前記補正情報生成手段は、
前記出力レベル手段により測定された撮像信号の出力レベルに対して、前記出力レベル生成手段により生成された撮像信号の出力レベルから得られる直線を中心として線対称となる位置の出力レベルを求めることにより前記補正情報を生成する
請求項１０に記載の情報処理装置。
【請求項１２】
前記補正情報から得られる曲線に基づいて、前記撮像信号の出力レベルのそれぞれに対する補正ゲインをさらに生成する
請求項１１に記載の情報処理装置。
【請求項１３】
前記補正情報生成手段は、
前記入射光量に応じた前記撮像信号の出力レベルを近似する多項式を含み、前記撮像信号の出力レベルのそれぞれに対する補正ゲインを演算する関数をさらに生成する
請求項１１に記載の画像処理装置。
【請求項１４】
前記出力レベル測定手段は、前記撮像手段に黒レベル０％から白レベル１００％までが線形の階調になっているグレースケールチャートを、被写体として撮像させることで線形に変化する入射光量のそれぞれに対応する前記撮像信号の出力レベルを測定する
請求項１０に記載情報処理装置。
【請求項１５】
前記出力レベル測定手段は、前記撮像手段のＩＲＩＳおよびＡＧＣのレベルを固定し、かつホワイトバランス係数を１倍に固定にして、前記撮像回路の電子シャッタ速度を変えることで入射光量を線形に変化させる
請求項１０に記載の画像処理装置。
【請求項１６】
前記出力レベル測定手段は、前記撮像回路から出力されるホワイトバランス積分値を測定する
請求項１５に記載の情報処理装置。
【請求項１７】
入射光量に対応する撮像信号を出力する撮像手段から出力された撮像信号の出力レベルを、前記入射光量が線形に変化した場合、前記撮像信号の出力レベルも線形に変化するように補正するための補正情報を生成する情報処理装置の情報処理方法であって、
前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応する前記撮像信号の出力レベルを測定し、
前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応して線形に変化する撮像信号の出力レベルを仮想的に生成し、
前記測定された出力レベルと、前記生成された出力レベルとに基づいて前記測定された撮像出力信号の出力レベルが、前記入射光量の変化に対して線形に変化するように補正する補正情報を生成する
ステップを含む情報処理方法。
【請求項１８】
入射光量に対応する撮像信号を出力する撮像手段から出力された撮像信号の出力レベルを、前記入射光量が線形に変化した場合、前記撮像信号の出力レベルも線形に変化するように補正するための補正情報を生成する情報処理装置に情報処理を実行させるプログラムであって、
前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応する前記撮像信号の出力レベルの測定を制御し、
前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応して線形に変化する撮像信号の出力レベルを仮想的に生成させるように制御し、
前記測定された出力レベルと、前記生成された出力レベルとに基づいて前記測定された撮像出力信号の出力レベルが、前記入射光量の変化に対して線形に変化するように補正する補正情報の生成を制御する
ステップを含むコンピュータが読み取り可能なプログラム。
【請求項１９】
請求項１８に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、常に美しい画像を生成することができるようにする画像処理装置および方法、情報処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
デジタルスチルカメラ、デジタルビデオカメラなどの撮像装置においては、ＣＣＤ（Charge Coupled Device）等の撮像素子が用いられている。CCDは光電変換素子であり、受光した光に対応する電気信号を出力するように構成されており、受光した光の変化に対応して出力される信号のレベルも変化する。
【０００３】
撮像素子に入射する光の変化（光量）と撮像素子から出力される信号のレベルとの関係（リニアリティ特性）は、常に線形（リニア）であることが望ましいが、一般的に、ＣＣＤ等の撮像素子に入射する入射光量に対応して撮像素子から出力される撮像素子出力信号の、リニアリティ特性の中で、ノンリニア（非線形）となる領域が生じることが知られている。
【０００４】
このように、撮像素子に入射する光量と撮像素子出力信号との関係がノンリニアとなる領域がある場合、撮像素子出力信号に対してホワイトバランス処理およびガンマ補正処理を施された後のノンリニアの領域はＲ／Ｇ／Ｂの各階調でレベル差が生じて色がにじんだ画像となってしまい、色再現性を損なう問題があった。
【０００５】
図１は、撮像素子出力信号の出力特性の例を示す図である。同図においては、横軸が入射光量、縦軸が撮像素子出力信号レベルとされ、撮像素子出力信号がＲ，Ｇ，Ｂの各色信号として表示されており、Ｒ，Ｇ，Ｂの各色信号とも、出力レベルが約３０００乃至９０００の間に位置する領域において、ノンリニアな特性を示している。同図に示されるように、ノンリニア領域は入射光量に関係なく、また、Ｒ，Ｇ，Ｂの各色信号の種別に関係なく、撮像素子出力信号のレベルに依存することが知られている。
【０００６】
図２は、図１に示される特性を有するＲ，Ｇ，Ｂの各色信号に対してホワイトバランス処理を施した例を示す図である。ホワイトバランス処理においては、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３つの色信号の大きさの割合を適切に調整することにより白が赤に偏ったり、青に偏ったりすることなく、白色が正しく表示される。この例では、ホワイトバランスゲインとしてGreen（Ｇ）×1倍，Red（Ｒ）×1.25倍，Blue（Ｂ）×1.43倍をかけている。ノンリニア領域がある各色信号に対してホワイトバランス処理が施されると、図２に示されるように、Ｒ，Ｇ，Ｂの各階調でレベル差を生じてしまう。
【０００７】
図３は、図２に示されるＲ，Ｇ，Ｂの各色信号に対してガンマ補正処理を施した場合の例を示す図である。ガンマ補正処理においては、Ｒ，Ｇ，Ｂの各色信号の出力特性が入出力機の画像の階調の応答特性を表わすガンマ値に応じた最適のカーブに補正される。同図に示されるように、ホワイトバランス処理後にＲ，Ｇ，Ｂの各階調のレベル差が生じている状態でガンマ補正処理を施した場合、やはり、Ｒ，Ｇ，Ｂの各階調のレベル差が残り、色がにじむという画質の劣化が生じてしまう。
【０００８】
また、近年、ＩＳＯ感度を切り替えることが可能なデジタルスチルカメラなどの撮像装置が普及してきている。このような撮像装置では、撮像素子出力信号の出力特性がノンリニアとなる領域（ノンリニア領域）がある場合、ＩＳＯ感度が上がる方向に切り替えられることで、ノンリニア領域の拡大およびノンリニア領域の移動が生じることがあり、ホワイトバランス処理およびガンマ補正処理を施された後の、Ｒ／Ｇ／Ｂの各階調でレベル差を生じて色がにじむ領域が拡大し、また、色がにじむ領域が移動し、画質が損なわれてしまうことがある。
【０００９】
図４、図５、および図６は、ホワイトバランス処理後に、ＩＳＯの感度のレベルを１００から２００、４００と感度を上げる方向に切り替えた場合のノンリニア領域の変化の例を説明する図である。図４乃至図６は、横軸が入射光量、縦軸が撮像素子出力信号レベルとされ、例えば、図１に示されるようにノンリニア領域を有する出力特性の撮像素子出力信号に対してホワイトバランス処理が施された例を示す図であり、図４は、ＩＳＯの感度のレベルを１００とした場合、図５は、ＩＳＯの感度のレベルを２００とした場合、図６は、ＩＳＯの感度のレベルを４００とした場合の例をそれぞれ示している。
【００１０】
図４乃至図６に示されるように、１００、２００、４００と、ＩＳＯ感度を上げることにより、入射光量が下げられてその分感度ゲインが上げられていくため、ゲイン乗算が大きくなり、ノンリニア領域が撮像素子出力信号のレベルの大きい方へ移動し、且つ、領域が広がっている。
【００１１】
図７、図８、および図９は、ガンマ補正の処理後に、ＩＳＯの感度のレベルを１００から２００、４００と感度を上げる方向に切り替えた場合のノンリニア領域の変化の例を説明する図である。図７乃至図９は、横軸が入射光量、縦軸が撮像素子出力信号レベルとされ、例えば、図１に示されるようにノンリニア領域を有する出力特性の撮像素子出力信号に対してガンマ補正処理が施された例を示す図であり、図７は、ＩＳＯの感度のレベルを１００とした場合、図８は、ＩＳＯの感度のレベルを２００とした場合、図９は、ＩＳＯの感度のレベルを４００とした場合の例をそれぞれ示している。
【００１２】
図７乃至図９の場合も図４乃至図６の場合と同様に、１００、２００、４００と、ＩＳＯ感度を上げるのに従って、ノンリニア領域がレベルの大きい方へ移動し、且つ、その領域が広がっている。
【００１３】
このような撮像デバイスの光電変換特性の歪みを補正する技術も提案されている（例えば、特許文献１参照）。
【特許文献１】特開平１０−２５７３９３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
このように、撮像素子出力信号の出力特性にノンリニア領域があると、撮影画像の色再現性が損なわれることがある。撮影画像の色再現性を損なわないようにするためには、撮像素子出力信号を補正する必要がある。
【００１５】
特許文献１の技術による信号の補正は、光電変換後の撮像信号レベルにおいて レベルが０％（黒レベル）から、所定のレベル（例えば、４０％）まではノンリニア領域と判断し、 所定のレベルから１００％（白レベル）までは リニア（直線）領域と判断するので、レベル０％から所定のレベルまではリニアリティ補正が施され、 所定のレベルから１００％まではリニアリティ補正が施されない。しかしながら、実際には、撮像デバイスのバラツキがあり、 レベル０％から所定のレベルまでは必ずしもノンリニア領域とは限らないし、 所定のレベルから１００％までは必しもリニア（直線）領域とは限らない。そのため、２つのレベル分布だけに基づいて、補正の有無を決めるのは無理がある。
【００１６】
本発明はこのような状況に鑑みてなされたものであり、常に美しい画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の第１の側面は、撮像された画像を処理する画像処理装置であって、入射光量に対応する撮像信号を出力する撮像手段と、前記撮像手段から出力される撮像信号の出力レベルに対応する補正ゲインを特定するための補正情報を記憶する記憶手段と、前記記憶手段から供給される補正情報に基づいて、前記撮像信号の出力レベルに対応する補正ゲインを取得する補正ゲイン取得手段と、前記撮像手段から出力された撮像信号を、前記補正ゲイン取得手段により取得された補正ゲインに基づいて補正することで、前記入射光量の変化に対する前記撮像信号の出力レベルの変化が線形になるように補正する信号補正手段とを備える画像処理装置である。
【００１８】
前記記憶手段に、前記入射光量に基づいて前記撮像信号の出力レベルに対応する補正ゲインを算出する関数が記憶されているようにすることができる。
【００１９】
前記信号補正手段は、前記補正ゲインを前記撮像信号の出力レベルに乗じることにより前記撮像信号を補正するようにすることができる。
【００２０】
前記信号補正手段は、前記補正ゲインから算出されたオフセット値を前記撮像信号の出力レベルに加算または減算することにより前記撮像信号を補正するようにすることができる。
【００２１】
前記記憶手段により記憶される情報は、予め測定された撮像信号の出力レベルであって、前記入射光量を線形に変化させていったときの撮像信号の出力レベルと、仮想的に生成された撮像信号の出力レベルであって、前記入射光量が線形に変化していくのに伴って線形に変化する撮像信号の出力レベルとに基づいて生成されるようにすることができる。
【００２２】
前記予め測定された撮像信号の出力レベルに対して、前記仮想的に生成された撮像信号の出力レベルから得られる直線を中心として線対称となる位置の出力レベルを求めることにより前記記憶手段により記憶される情報が生成されるようにすることができる。
【００２３】
本発明の第１の側面は、撮像された画像を処理する画像処理装置の画像処理方法であって、入射光量に対応する撮像信号を出力する撮像手段により画像を撮像し、前記撮像に伴って前記撮像手段から出力される撮像信号の出力レベルに対応する補正ゲインを特定するための補正情報を記憶する記憶手段から供給される補正情報に基づいて、前記撮像信号の出力レベルに対応する補正ゲインを取得し、前記撮像手段から出力された撮像信号を、前記取得された補正ゲインに基づいて補正することで、前記入射光量の変化に対する前記撮像信号の出力レベルの変化が線形になるように補正するステップを含む画像処理方法である。
【００２４】
本発明の第１の側面は、撮像された画像を処理する画像処理装置に画像処理を実行させるプログラムであって、入射光量に対応する撮像信号を出力する撮像手段による画像の撮像を制御し、前記撮像に伴って前記撮像手段から出力される撮像信号の出力レベルに対応する補正ゲインを特定するための補正情報を記憶する記憶手段から供給される補正情報に基づいて、前記撮像信号の出力レベルに対応する補正ゲインの取得を制御し、前記撮像手段から出力された撮像信号を、前記取得された補正ゲインに基づいて補正することで、前記入射光量の変化に対する前記撮像信号の出力レベルの変化が線形になるような補正を制御するステップを含むコンピュータが読み取り可能なプログラムである。
【００２５】
本発明の第１の側面においては、入射光量に対応する撮像信号を出力する撮像手段により画像が撮像され、前記撮像に伴って前記撮像手段から出力される撮像信号の出力レベルに対応する補正ゲインを特定するための補正情報を記憶する記憶手段から供給される補正情報に基づいて、前記撮像信号の出力レベルに対応する補正ゲインが取得され、前記撮像手段から出力された撮像信号を、前記取得された補正ゲインに基づいて補正することで、前記入射光量の変化に対する前記撮像信号の出力レベルの変化が線形になるように補正される。
【００２６】
本発明の第２の側面は、入射光量に対応する撮像信号を出力する撮像手段から出力された撮像信号の出力レベルを、前記入射光量が線形に変化した場合、前記撮像信号の出力レベルも線形に変化するように補正するための補正情報を生成する情報処理装置であって、前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応する前記撮像信号の出力レベルを測定する出力レベル測定手段と、前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応して線形に変化する撮像信号の出力レベルを仮想的に生成する出力レベル生成手段と、前記出力レベル測定手段により測定された出力レベルと、前記出力レベル生成手段により生成された出力レベルとに基づいて前記出力レベル測定手段により測定された撮像出力信号の出力レベルが、前記入射光量の変化に対して線形に変化するように補正する補正情報を生成する補正情報生成手段とを備える情報処理装置である。
【００２７】
前記補正情報生成手段は、前記出力レベル手段により測定された撮像信号の出力レベルに対して、前記出力レベル生成手段により生成された撮像信号の出力レベルから得られる直線を中心として線対称となる位置の出力レベルを求めることにより前記補正情報を生成するようにすることができる。
【００２８】
前記補正情報から得られる曲線に基づいて、前記撮像信号の出力レベルのそれぞれに対する補正ゲインをさらに生成するようにすることができる。
【００２９】
前記補正情報生成手段は、前記入射光量に応じた前記撮像信号の出力レベルを近似する多項式を含み、前記撮像信号の出力レベルのそれぞれに対する補正ゲインを演算する関数をさらに生成するようにすることができる。
【００３０】
前記出力レベル測定手段は、前記撮像手段に黒レベル０％から白レベル１００％までが線形の階調になっているグレースケールチャートを、被写体として撮像させることで線形に変化する入射光量のそれぞれに対応する前記撮像信号の出力レベルを測定するようにすることができる。
【００３１】
前記出力レベル測定手段は、前記撮像手段のＩＲＩＳおよびＡＧＣのレベルを固定し、かつホワイトバランス係数を１倍に固定にして、前記撮像回路の電子シャッタ速度を変えることで入射光量を線形に変化させるようにすることができる。
【００３２】
前記出力レベル測定手段は、前記撮像回路から出力されるホワイトバランス積分値を測定するようにすることができる。
【００３３】
本発明の第２の側面は、入射光量に対応する撮像信号を出力する撮像手段から出力された撮像信号の出力レベルを、前記入射光量が線形に変化した場合、前記撮像信号の出力レベルも線形に変化するように補正するための補正情報を生成する情報処理装置の情報処理方法であって、前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応する前記撮像信号の出力レベルを測定し、前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応して線形に変化する撮像信号の出力レベルを仮想的に生成し、前記測定された出力レベルと、前記生成された出力レベルとに基づいて前記測定された撮像出力信号の出力レベルが、前記入射光量の変化に対して線形に変化するように補正する補正情報を生成するステップを含む情報処理方法である。
【００３４】
本発明の第２の側面は、入射光量に対応する撮像信号を出力する撮像手段から出力された撮像信号の出力レベルを、前記入射光量が線形に変化した場合、前記撮像信号の出力レベルも線形に変化するように補正するための補正情報を生成する情報処理装置に情報処理を実行させるプログラムであって、前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応する前記撮像信号の出力レベルの測定を制御し、前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応して線形に変化する撮像信号の出力レベルを仮想的に生成させるように制御し、前記測定された出力レベルと、前記生成された出力レベルとに基づいて前記測定された撮像出力信号の出力レベルが、前記入射光量の変化に対して線形に変化するように補正する補正情報の生成を制御するステップを含むコンピュータが読み取り可能なプログラムである。
【００３５】
本発明の第２の側面においては、入射光量を線形に変化させ、前記入射光量のそれぞれに対応する前記撮像信号の出力レベルが測定され、前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応して線形に変化する撮像信号の出力レベルが仮想的に生成され、前記測定された出力レベルと、前記生成された出力レベルとに基づいて前記測定された撮像出力信号の出力レベルが、前記入射光量の変化に対して線形に変化するように補正される。
【発明の効果】
【００３６】
本発明によれば、常に美しい画像を生成することができる。
【発明を実施するための最良の形態】
【００３７】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３８】
本発明の第１の側面の画像処理装置は、撮像された画像を処理する画像処理装置であって、入射光量に対応する撮像信号を出力する撮像手段（例えば、図１０の撮像素子１１１および撮像回路１１２）と、前記撮像手段から出力される撮像信号の出力レベルに対応する補正ゲインを特定するための補正情報を記憶する記憶手段（例えば、図１０のＬＵＴ１１４）と、前記記憶手段から供給される補正情報に基づいて、前記撮像信号の出力レベルに対応する補正ゲインを取得する補正ゲイン取得手段（例えば、図２１のステップＳ２０３の処理を実行する図１０のリニアリティ補正回路１１３）と、前記撮像手段から出力された撮像信号を、前記補正ゲイン取得手段により取得された補正ゲインに基づいて補正することで、前記入射光量の変化に対する前記撮像信号の出力レベルの変化が線形になるように補正する信号補正手段（例えば、図２１のステップＳ２０４の処理を実行する図１０のリニアリティ補正回路１１３）とを備える。
【００３９】
この画像処理装置は、前記記憶手段に、前記入射光量に基づいて前記撮像信号の出力レベルに対応する補正ゲインを算出する関数（例えば、図２２の補正関数演算回路３２４により演算される関数）が記憶されているようにすることができる。
【００４０】
この画像処理装置は、前記記憶手段により記憶される情報が、予め測定された撮像信号の出力レベルであって、前記入射光量を線形に変化させていったときの撮像信号の出力レベルと、仮想的に生成された撮像信号の出力レベルであって、前記入射光量が線形に変化していくのに伴って線形に変化する撮像信号（例えば、基準リニア出力信号）の出力レベルとに基づいて生成されるようにすることができる。
【００４１】
本発明の第１の側面の情報処理方法は、撮像された画像を処理する画像処理装置の画像処理方法であって、入射光量に対応する撮像信号を出力する撮像手段により画像を撮像し（例えば、図２１のステップＳ２０１の処理）、前記撮像に伴って前記撮像手段から出力される撮像信号の出力レベルに対応する補正ゲインを特定するための補正情報を記憶する記憶手段（例えば、図１０のＬＵＴ１１４）から供給される補正情報に基づいて、前記撮像信号の出力レベルに対応する補正ゲインを取得し（例えば、図２１のステップＳ２０３の処理）、前記撮像手段から出力された撮像信号を、前記取得された補正ゲインに基づいて補正することで、前記入射光量の変化に対する前記撮像信号の出力レベルの変化が線形になるように補正する（例えば、図２１のステップＳ２０４の処理）ステップを含む。
【００４２】
本発明の第２の側面の情報処理装置は、入射光量に対応する撮像信号を出力する撮像手段から出力された撮像信号の出力レベルを、前記入射光量が線形に変化した場合、前記撮像信号の出力レベルも線形に変化するように補正するための補正情報を生成する情報処理装置であって、前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応する前記撮像信号の出力レベルを測定する出力レベル測定手段（例えば、図１８のステップＳ１０１の処理を実行する図１０のリニアリティ補正回路１１３）と、前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応して線形に変化する撮像信号の出力レベルを仮想的に生成する出力レベル生成手段（例えば、図１８のステップＳ１０２の処理を実行する図１０のリニアリティ補正回路１１３）と、前記出力レベル測定手段により測定された出力レベルと、前記出力レベル生成手段により生成された出力レベルとに基づいて前記出力レベル測定手段により測定された撮像出力信号の出力レベルが、前記入射光量の変化に対して線形に変化するように補正する補正情報を生成する補正情報生成手段（例えば、図１８のステップＳ１０３の処理を実行する図１０のリニアリティ補正回路１１３）とを備える。
【００４３】
本発明の第２の側面の情報処理方法は、入射光量に対応する撮像信号を出力する撮像手段から出力された撮像信号の出力レベルを、前記入射光量が線形に変化した場合、前記撮像信号の出力レベルも線形に変化するように補正するための補正情報を生成する情報処理装置の情報処理方法であって、前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応する前記撮像信号の出力レベルを測定し（例えば、図１８のステップＳ１０１の処理）、前記入射光量を線形に変化させ、前記入射光量のそれぞれに対応して線形に変化する撮像信号の出力レベルを仮想的に生成し（例えば、図１８のステップＳ１０２の処理）、前記測定された出力レベルと、前記生成された出力レベルとに基づいて前記測定された撮像出力信号の出力レベルが、前記入射光量の変化に対して線形に変化するように補正する補正情報を生成する（例えば、図１８のステップＳ１０３の処理）ステップを含む。
【００４４】
以下、図面を参照して、本発明の実施の形態について説明する。
【００４５】
図１０は、本発明を適用した撮像装置の一実施形態に係る構成例を示すブロック図である。この撮像装置１００は、撮像素子を用いて画像を撮像するとともに、撮像素子に入射する入射光量の変化に対応して撮像素子から出力される撮像素子出力信号のレベルの変化を後述するように補正することで、撮像素子出力信号に対してホワイトバランス処理およびガンマ補正処理を施された後、Ｒ／Ｇ／Ｂの各階調でレベル差が生じて色がにじんだ画像となってしまい、色再現性を損なうことを抑止できるように構成されている。
【００４６】
同図において撮像装置１００は、例えば、デジタルスチルカメラ、デジタルビデオカメラなどとして構成され、撮像素子１１１、CDS（Correlated Double Sampling）回路、AGC（Auto Gain Control）回路、およびA／D変換器を含む撮像回路１１２、リニアリティ補正回路１１３、LUT（ルックアップテーブル）１１４、並びに信号処理回路１１５を含む撮影系と、表示系１１６と、記録系１１７とに大別されて構成されている。
【００４７】
撮像素子１１１は、ＣＣＤ（Charge Coupled Device）イメージセンサ、C-MOS（Complementary Metal-Oxide Semiconductor）イメージセンサなどを含む、光電変換を行う光電変換素子を２次元に配置した撮像素子とされる。撮像素子１１１の前面にはR，GおよびBがモザイク状に配列された原色フィルタ（図示せず）が装着され、被写体の光像はレンズ１１０を経て、この原色フィルタを通して撮像素子１１１に入射される。なお、R，GおよびBがモザイク状に配列された原色フィルタに代えて、Ye，Cy，MgおよびGがモザイク状に配列された補色系フィルタが用いられるようにしてもよい。
【００４８】
撮像素子１１１は、レンズ１１０を経て入射される被写体の光像に光電変換を施して撮像信号（電荷）を生成し、生成した撮像信号をラスタスキャン方式で出力する。出力された撮像信号は、撮像回路１１２にてCDS回路におけるノイズ除去、AGC回路におけるゲイン調整を経て、A／D変換器でアナログ信号からデジタル信号の撮像素子出力信号に変換される。
【００４９】
リニアリティ補正回路１１３は、LUT１１４を参照して撮像素子出力信号レベルの出力特性の補正を行う。これにより、撮像素子出力信号のリニアリティ（直線性）特性が向上するように補正が行われる。
【００５０】
撮影系の撮像回路１１２から出力される撮像素子出力信号は、リニアリティ補正回路１１３とLUT１１４へ供給される。詳細は後述するが、LUT１１４には、撮像素子出力信号のレベルに対応するノンリニアカーブと逆極性の補正カーブによる補正データが記憶されている。そして、LUT１１４からは、撮像素子出力信号のレベルに対応して出力特性を補正する補正ゲインが取り出され、リニアリティ補正回路１１３で、撮像素子出力信号に、その補正ゲインが乗じられることによって撮像素子出力信号の出力特性におけるノンリニア成分が相殺されるように補正が行われることになる。
【００５１】
リニアリティ補正回路１１３は、例えば、補正ゲインを乗算する乗算器で構成されるようにしてもよいし、補正ゲインを乗じることによる補正ではなくオフセットを加算または減算して補正を行うような場合には加算器または減算器で構成されるようにしてもよい。
【００５２】
信号処理回路１１５は、撮像データにホワイトバランス処理、ガンマ補正処理、色分離処理や、4：2：2の比率によるＹＵＶ変換などの信号処理を施して、輝度信号データおよびクロマ信号データからなる画像データを作成する。その後、画像データは、LCD（Liquid Crystal Display）等で構成される表示系１６、例えば、メモリースティック等の外部記録媒体を制御する記録系１１７へ送られる。
【００５３】
次に、LUT１１４の補正データを求める方式について説明する。まず、撮像素子出力信号の出力特性の測定方法について説明する。
【００５４】
撮像素子出力信号の出力特性を測定する場合、全体が白色でレベル１００％の被写体を撮像し、撮像装置１００に入射する光量を線形（リニア）に変えて行ったとき、撮像素子出力信号がどの出力レベルを示すかを測定する。また、例えば、レベル０％の黒色からレベル１００％の白色までがリニア階調になっているグレースケールチャートなどを被写体として撮像装置１００で撮像し、グレースケールの中の各リニア階調に対応して出力される撮像素子出力信号レベルを測定するようにしてもよい。
【００５５】
あるいはまた、撮像装置１００のＩＲＩＳおよびＡＧＣを固定にし（一定にした状態で）、かつホワイトバランス係数を１倍に固定にして、電子シャッタ速度を序々に変えることで撮像素子１１１に入射される光量をリニアに変え、撮像回路１１２から検波として出力されるＯＰＤブロック（Optical Detector）のホワイトバランス積分値を測定するようにしても良い。
【００５６】
図１１Aは、横軸が撮像素子１１１への入射光量、縦軸が撮像素子出力信号のレベルとされ、入射光量の変化に伴う撮像素子出力信号の変化の例を示すグラフである。図１１Bは、横軸が撮像素子１１１への入射光量、縦軸がオートホワイトバランス（ＡＷＢ）積分値とされ、入射光量の変化に伴うＡＷＢ積分値の変化の例を示すグラフである。なお、図１１Aと図１１Bは、撮像素子出力信号の出力特性と、ＡＷＢ積分値の出力特性が完全に（１００％）リニアであった場合の例とされる。
【００５７】
図１１Aと図１１Bに示されるように、撮像素子１１１への入射光量をリニアに変えた場合のホワイトバランス積分値の変化と、撮像素子１１１への入射光量をリニアに変えた時の撮像素子出力信号のレベルの変化は等価になるので、撮像素子出力信号の出力特性に変えて、ＡＷＢ積分値の出力特性が測定されることでＬＵＴ１１４の補正データが求められるようにすることも可能である。
【００５８】
ここで、上述した撮像素子出力信号（またはＡＷＢ積分値）の出力特性を測定するときの入射光量は、黒色のレベル０％に対応する入射光量から白色のレベル１００％に対応する入射光量までの間、例えば、１％刻みの間隔で変化させてもよいし、０．５％刻みの間隔、２％刻みの間隔など任意の間隔で変化させてもよい。あるいはまた、補正データを格納するＬＵＴ１１４から取り出される補正ゲインの数に従って入射光量の測定間隔が決められるようにしても良い。
【００５９】
図１２は、撮像素子出力信号の出力特性を測定するときの入射光量の測定間隔の例を示す図である。同図は、横軸が撮像素子１１１への入射光量、横軸が撮像素子出力信号のレベルとされ、入射光量が０％から１００％までの間で１６等分されて測定される例とされている。いまの場合、０，１／１６，８／１，・・・１６／１６と、１７の入射光量における撮像素子出力信号を測定することになる。
【００６０】
あるいはまた、上述した撮像素子出力信号（またはＡＷＢ積分値）の出力特性を測定するときの入射光量の測定間隔を別の方法で設定するようにしてもよい。例えば、デジタルスチルカメラなどにおいて、入射光量が小さい値ほど密に補正し、入射光量が大きい値ほど粗く補正するようなガンマ補正処理を行うものがあるが、それと同様に、入射光量が小さい値ほど測定間隔を密にして測定し、入射光量が大きい値ほど粗い間隔で測定するようにしてよい。
【００６１】
図１３は、入射光量が小さい値ほど測定間隔を密にし、大きい値ほど粗い間隔で測定するようにした例である。いまの場合、入射光量の０から１／１６までの間が８等分され、１／１６から１／８までの間が４等分され、・・・といったように、測定間隔を、入射光量が小さい値ほど密にし、大きい値ほど粗い間隔として、合計２４の入射光量入射光量における撮像素子出力信号を測定することになる。
【００６２】
なお、図１２または図１３においては、撮像素子出力信号のレベルが１００％リニアとして示されているが、実際に測定される撮像素子出力信号は、所定の出力レベルの範囲内でノンリニアとなる。
【００６３】
実際の撮像素子出力信号の出力特性の測定においては、例えば、入射光量が１００％の時の撮像素子出力信号のレベルの値を１０ビット相当の１６進数３ＦＦｈ（１０進数で１０２３）と設定する。そして、入射光量が１００％の時の光量の値も１０ビット相当の１６進数３ＦＦｈ（１０進数で１０２３）に設定しておき、測定点毎に、光量の値を１０ビット相当の値に正規化する。また、各測定点の間は、隣り合う測定点の直線近似による線形補間を用いて、１０ビット相当の値に正規化し、入射光量が０％から１００％までの間で、ゼロ点を含めて１０２４間隔に拡大近似する。同時に、撮像素子出力信号のレベルも同様の方法でゼロ点を含めて１０２４間隔に拡大近似する。
【００６４】
すなわち、図１３に示されるように、横軸の入射光量のレベル０％から１００％までを１０２４の値に分割し、また、縦軸の入射光量０％から１００％に対応して得られる撮像素子出力信号のレベルも１０２４の値に分割される。
【００６５】
これにより、入射光量が１の時の基準となる撮像素子出力信号のレベルが１、入射光量が２の時の撮像素子出力信号のレベルが２、・・・と完全な線形になるような、理想的なリニアリティ特性を有する撮像素子出力信号を仮定する（仮想的に生成する）ことができる。このような理想的なリニアリティ特性を有する撮像素子出力信号の出力特性は、ちょうど図１３の例に示されるように、入射光量と出力信号レベルが、折線グラフで言うところの対角線を境にして同じ目盛り間隔に位置することになり、グラフ上で描写した場合、完全な直線、すなわち線形になる。このようなリニアリティ（線形）特性を有する撮像素子出力信号を、基準リニア出力信号と称することにする。
【００６６】
なお、基準リニア出力信号における入射光量と出力信号レベルを、折線グラフで言うところの対角線を境にして同じ目盛り間隔に設定する限り、上述の説明とは異なる方式で基準リニア出力信号が生成されるようにしてもよい。例えば、入射光量が１００％の時の光量のレベルの値、および入射光量が１００％の時の基準リニア出力信号のレベルの値がそれぞれ１０ビット相当の１６進数３ＦＦｈ以外の値になっても良く、拡大近似する間隔も１０２４点以外の間隔値になっても良く、種々の変形が可能である。
【００６７】
次に、撮像素子出力信号を補正するための補正信号の生成について説明する。
【００６８】
例えば、図１４に示されるように、実際に測定された撮像信号の値（点A１）を、基準リニア信号２０１のグラフ上にプロットする。この例では、入射光量のレベルの値１０のとき、撮像素子出力信号のレベルの値７が測定されている。なお、図１４では、上述したように、横軸の入射光量のレベル０％から１００％までが１０２４の値に分割され、また、縦軸の入射光量０％から１００％に対応して得られる撮像素子出力信号のレベルも１０２４の値に分割に分割されている。
【００６９】
次に、測定点A１に対応する基準リニア出力信号２０１上の点B１を求める。点B１は、入射光量のレベルが測定点A1と同一の値のときの、基準リニア信号上の点とされる。そして、点B１と同一の撮像素子出力信号のレベルの値を、測定点A１と同一の入射光量のレベルの値と対応付けて補正点C１をプロットする。いまの場合、測定点A1は、入射光量のレベルの値（横軸）が１０、撮像素子出力信号のレベルの値（縦軸）が７なので、点B１は、横軸が１０、縦軸が１０となる。そして、測定点A１に対応して得られる補正点C１は、横軸が７、縦軸が１０となる。
【００７０】
また、例えば、図１５に示されるように、実際に測定された撮像信号の測定点がA２である場合、測定点A２に対応して基準リニア出力信号上の点B２と、補正点C２が求められる。いまの場合、測定点A２は、入射光量のレベルの値（横軸）が１０、撮像素子出力信号のレベルの値（縦軸）が１３なので、点B２は、横軸が１０、縦軸が１０となる。そして、測定点A１に対応して得られる補正点C２は、横軸が１３、縦軸が１０となる。
【００７１】
すなわち、個々の測定点に対して、基準リニア出力信号（いまの場合、右上がりの直線）２０１を中心として線対称となる位置に補正点がそれぞれプロットされていくことになる。なお、測定点が基準リニア出力信号２０１上に位置する場合、補正点は、測定点と同一の位置となる。
【００７２】
このように、個々の測定点に対応する補正点をそれぞれ求めていくことにより、ノンリニアの撮像素子出力信号を補正するための補正信号であって、撮像素子出力信号と逆極性のカーブを有する補正信号を得ることができる。実際には、例えば、リニアリティ補正回路１１３の内部のメモリなどに、プロットされた各補正点のデータが記憶されることにより補正信号が得られたことになる。
【００７３】
なお、測定点に対応する補正点を設定することを繰り返していく際に、測定された撮像素子出力信号のノンリニアカーブの形状によっては、入射光量のレベルはリニアに変化させていったにもかかわらず所定の範囲の撮像素子出力信号のレベルに対応する補正点が設定できない場合がある。そのような範囲では、例えば、隣り合う設定済みの補正点の直線近似値に基づいて補正点を設定するようにする。
【００７４】
また、個々の撮像素子出力信号のレベルの値における補正点が設定されたか否かを表すフラグなどを利用し、補正点を設定する都度、補正点が設定された設定された撮像素子出力信号のレベルの値に対する設定済みフラグを立てるようにしてもよい。例えば、全ての測定点に対応する補正点の設定が終わった後、設定済みフラグを立てていない撮像素子出力信号のレベルの値があるかどうかが判断され、そのフラグが立っていなければ、隣り合う設定済みの補正データの直線近似値に基づいて補正点が設定される。
【００７５】
図１６は、上述したようにして生成された補正信号の例を示す図である。同図は、横軸が入射光量（０から１０２４まで）、縦軸の撮像素子出力信号のレベル（０から１０２４まで）とされたグラフとされ、実際に測定された撮像素子出力信号の測定点から得られる線（測定信号と称する）２３１、基準リニア出力信号２３２、および測定点に対応して得られた補正点から得られた線（補正信号と称する）２３３が示されている。同図に示されるように、補正信号２３３は、基準リニア出力信号２３２を中心としてノンリニアの測定信号２３１と逆極性のカーブを有している。
【００７６】
このような補正信号に基づいて撮像素子出力信号の補正ゲインを得ることにより、ノンリニアの撮像素子出力信号の各点を、基準リニア出力信号に近づけるように補正を行うことが可能となる。
【００７７】
なお、補正ゲインは、実際の補正の方式により異なったものとなる。例えば、リニアリティ補正回路１１３は、撮像回路１１２から出力される信号のレベルに対して所定の補正ゲインを乗じることで次のように補正して、補正後の撮像素子出力信号を生成する。
【００７８】
補正後の撮像素子信号の出力レベル＝撮像回路１１２からの撮像素子出力信号の出力レベル×（補正信号の出力レベル÷基準リニア出力信号の出力レベル）
【００７９】
いまの場合、「補正信号の出力レベル÷基準リニア出力信号の出力レベル」が補正ゲインとなる。
【００８０】
あるいはまた、リニアリティ補正回路１１３は、撮像回路１１２から出力される信号のレベルに対して所定のオフセットを加算または減算することにより補正後の撮像素子出力信号を生成するようにしてもよい。いまの場合、リニアリティ補正回路１１３は、撮像回路１１２からの撮像素子出力信号の出力レベルが、基準リニア出力信号の出力レベルより大きいか否かを判定して次のような補正を行う、
【００８１】
撮像素子信号の出力レベル ＞ 基準リニア出力信号の出力レベルの場合
補正後の撮像素子出力信号の出力レベル
＝ 撮像回路１１２からの撮像素子出力信号の出力レベル −（基準リニア出力信号の出力レベル − 補正信号の出力レベル）
【００８２】
いまの場合、「基準リニア出力信号の出力レベル−補正信号の出力レベル」が補正ゲイン（減算すべきオフセット）となる。
【００８３】
撮像素子出力信号の出力レベル ＜ 基準リニア出力信号の出力レベルの場合
補正後の撮像素子出力信号の出力レベル
＝撮像回路１１２からの撮像素子出力信号の出力レベル ＋（ 補正信号の出力レベル − 基準リニア出力信号の出力レベル）
【００８４】
いまの場合、「補正信号の出力レベル − 基準リニア出力信号の出力レベル」が補正ゲイン（加算すべきオフセット）となる。
【００８５】
図１７は、ＬＵＴ１１４に記憶されるデータの例を示す図である。同図に示されるように、ＬＵＴ１１４には、No.0乃至No.1023の１０２４個のデータが記憶されており、同図の「基準リニアデータ」に対応する行には、それぞれ基準リニア出力信号２３２の出力レベルが記述されており、「測定データ」に対応する行には、それぞれ測定信号２３１の出力レベルが記述されており、「補正データ」に対応する行には、それぞれ補正信号２３３の出力レベルが記述されている。
【００８６】
撮像回路１１２から出力される撮像素子出力信号に、補正ゲインを乗じることによる補正を行う場合、具体的には次のような演算が行われることになる。例えば、撮像回路１１２から出力される撮像素子出力信号の出力レベルが、「２１６」であった場合、図１７に示されるデータ（テーブル）の中から「測定データ」の値が「２１６」である行が検索される。図１７の「No．２００」の行の「測定データ」の値が「２１６」なので、いまの場合補正信号の出力レベルとして「１８５」、および基準リニア出力信号の出力レベルとして「２００」が取得され、補正ゲインが次のように演算される。
【００８７】
補正ゲイン＝補正信号の出力レベル÷基準リニア出力信号の出力レベル
＝185÷200＝0.925
【００８８】
そして補正ゲインが、撮像回路１１２から出力される撮像素子出力信号に乗じられて補正後のレベルが次のように演算される。
【００８９】
補正後の撮像素子出力信号の出力レベル＝撮像回路１１２からの撮像素子出力信号の出力レベル×補正ゲイン
＝216×0.925＝199.8≒200
【００９０】
このように、撮像回路１１２からの撮像素子出力信号の出力レベルが基準リニア出力信号の出力レベルとほぼ等しくなるように補正される。
【００９１】
また、撮像回路１１２から出力される撮像素子出力信号から、補正ゲイン（オフセット）を減算することによる補正を行う場合、具体的には次のような演算が行われることになる。例えば、撮像回路１１２から出力される撮像素子出力信号の出力レベルが、「２１６」であった場合、図１７に示されるデータ（テーブル）の中から「No．２００」の行が検索されて、補正信号の出力レベルとして「１８５」が取得される。いまの場合、撮像回路１１２から出力される撮像素子出力信号の出力レベルは、「２１６」であり、「No．２００」の行の「基準リニアデータ」のレベル「２００」よりも大きいので、減算すべきオフセットが次のように演算される。
【００９２】
オフセット値 ＝基準リニア出力信号の出力レベル − 補正信号の出力レベル
＝ 200 − 185 ＝15
【００９３】
そして減算すべきオフセットが、撮像回路１１２から出力される撮像素子出力信号から減じられて補正後のレベルが次のように演算される。
【００９４】
補正後の撮像素子出力信号の出力レベル
＝撮像回路１１２からの撮像素子出力信号の出力レベル − オフセット値
＝216−15＝201≒200
【００９５】
さらに、撮像回路１１２から出力される撮像素子出力信号に、補正ゲイン（オフセット）を加算することによる補正を行う場合、具体的には次のような演算が行われることになる。例えば、撮像回路１１２から出力される撮像素子出力信号の出力レベルが、「４８８」であった場合、図１７に示されるデータ（テーブル）の中から「測定データ」の値が「４８８」である行が検索される。図１７の「No．５００」の行の「測定データ」の値が「４８８」なので、いまの場合補正信号の出力レベルとして「５１４」が取得される。また、いまの場合、撮像回路１１２から出力される撮像素子出力信号の出力レベルは、「４８８」であり、「No．５００」の行の「基準リニアデータ」のレベル「５００」よりも小さいので、加算すべきオフセットが次のように演算される。
【００９６】
オフセット値 ＝ 補正信号の出力レベル − 基準リニア出力信号の出力レベル
＝ 514 − 500 ＝14
【００９７】
そして加算すべきオフセットが、撮像回路１１２から出力される撮像素子出力信号に加算されて補正後のレベルが次のように演算される。
【００９８】
補正後の撮像素子出力信号の出力レベル
＝撮像回路１１２からの撮像素子出力信号の出力レベル ＋ オフセット値
＝488＋14＝502≒500
【００９９】
このように、いずれの場合も撮像回路１１２からの撮像素子出力信号の出力レベルが基準リニア出力信号の出力レベルとほぼ等しくなるように補正される。
【０１００】
図１７に示されるようなテーブルを図１０のLUT１１４に記憶させておくことにより撮像素子出力信号の出力レベルに応じた適切な補正ゲインを得て補正を行うことが可能となる。すなわち、リニアリティ補正回路１１３が撮像回路１１２から出力される信号のレベルに基づいてＬＵＴ１１４から補正ゲインを読出し、ＬＵＴ１１４から読み出された補正ゲインを、撮像回路１１２から出力される信号のレベルに乗じる（または加算もしくは減算する）ことで、撮像素子出力信号のノンリニアカーブ成分が相殺される。
【０１０１】
あるいままた、撮像素子出力信号の出力レベルと補正ゲインと対応づけたテーブルがLUT１１４に記憶されるようにしてもよい。
【０１０２】
撮像素子に入射する光量と撮像素子出力信号との関係がノンリニアとなる領域がある場合、撮像素子出力信号に対してホワイトバランス処理およびガンマ補正処理を施された後のノンリニアの領域はＲ／Ｇ／Ｂの各階調でレベル差が生じて色がにじんだ画像となってしまい、色再現性を損なう問題があった。また、撮像装置のＩＳＯ感度が上がる方向に切り替えられることで、ノンリニア領域の拡大およびノンリニア領域の移動が生じることがあり、ホワイトバランス処理およびガンマ補正処理を施された後の、Ｒ／Ｇ／Ｂの各階調でレベル差を生じて色がにじむ領域が拡大し、また、色がにじむ領域が移動し、画質が損なわれてしまうことがある。
【０１０３】
本発明においては、撮像素子出力信号が入射光量の変化に伴ってリニアに変化するように補正されるので、撮影画像の色再現性が損なわれることなく、常に美しい画像を生成することが可能となる。
【０１０４】
次に、補正データを、ＬＵＴ１１４に記憶させる補正データ記憶処理について、図１８のフローチャートを参照して説明する。
【０１０５】
ステップＳ１０１において、リニアリティ補正回路１１３による撮像素子出力信号測定処理が実行される。これにより、撮像装置１００に入射する光量を線形（リニア）に変えていったとき、撮像素子出力信号がどの出力レベルを示すかが測定される。
【０１０６】
ここで、図１９のフローチャートを参照して、図１８のステップＳ１０１の撮像素子出力信号測定処理の詳細について説明する。
【０１０７】
ステップＳ１２１において、リニアリティ補正回路１１３は、入射光量のレベルを初期設定する。
【０１０８】
ステップＳ１２２おいて、リニアリティ補正回路１１３は、いまの入射光量のレベルに対応する撮像素子出力信号を測定する。
【０１０９】
ステップＳ１２３において、リニアリティ補正回路１１３は、入射光量のレベルをリニアに変更する。
【０１１０】
ステップＳ１２４において、リニアリティ補正回路１１３は、入射光量のレベルが１００％になったか否かを判定し、まだ１００％ではないと判定された場合、処理は、ステップＳ１２２に戻る。
【０１１１】
実際には、例えば、レベル０％の黒色からレベル１００％の白色までがリニア階調になっているグレースケールチャートなどを被写体として撮像装置１００で撮像し、グレースケールの中の各リニア階調に対応して出力される撮像素子出力信号レベルを測定することにより、ステップＳ１２２乃至Ｓ１２４の処理が繰り返される。
【０１１２】
あるいはまた、上述したように、撮像装置１００のＩＲＩＳおよびＡＧＣを固定にし（一定にした状態で）、かつホワイトバランス係数を１倍に固定にして、電子シャッタ速度を序々に変えることで撮像素子１１１に入射される光量をリニアに変え、撮像回路１１２から検波として出力されるＯＰＤブロック（Optical Detector）のホワイトバランス積分値を測定するようにしても良い。
【０１１３】
ステップＳ１２４において、入射光量のレベルが１００％になったと判定された場合、処理は、図１８のステップＳ１０２に進む。このように、入射光量のレベルが０％（初期設定状態）から１００％になるまでの撮像素子出力信号のレベルが測定される。
【０１１４】
なお、ここでは、リニアリティ補正回路１１３により自動的に撮像素子出力信号が測定される例について説明したが、例えば、ユーザが都度、入射光量を変更し、測定レベルを記憶させるなどの操作を行って撮像素子出力信号測定処理が実行されるようにしてもよい。
【０１１５】
図１８のステップＳ１０２において、リニアリティ補正回路１１３は、基準リニア出力信号を生成する。このとき、例えば、図１３に示されるような１００％リニアとなる信号である、基準リニア出力信号が生成される。
【０１１６】
ステップＳ１０３において、リニアリティ補正回路１１３は、補正信号生成処理を実行する。これにより、ステップＳ１０１の処理により測定された撮像素子出力信号（測定信号）に対応する補正信号が生成される。
【０１１７】
ここで、図２０のフローチャートを参照して、図１８のステップＳ１０３の補正信号生成処理の詳細について説明する。
【０１１８】
ステップＳ１４１において、リニアリティ補正回路１１３は、入射光量の初期レベル（例えば、０％）を設定する。
【０１１９】
ステップＳ１４２において、リニアリティ補正回路１１３は、設定された入射光量のレベルに対応する撮像素子出力信号の測定レベルを取得する。
【０１２０】
ステップＳ１４３において、リニアリティ補正回路１１３は、設定された入射光量のレベルに対応する基準リニア出力信号のレベルを取得する。
【０１２１】
ステップＳ１４４において、入射光量が測定レベルのときの補正レベルとして基準レベルをセットする。
【０１２２】
ステップＳ１４５において、入射光量１００％まで補正点を設定したか否かが判定され、まだ、入射光量１００％まで補正点を設定していないと判定された場合、処理は、ステップＳ１４６に進み、入射光量のレベルが１段階上げられて、ステップＳ１４２に戻り、それ以降の処理が繰り返し実行される。
【０１２３】
図１４の例でいえば、入射光量のレベルの値（１０２４の値に正規化された値）が１０であった場合、測定点A１に対応する基準リニア出力信号２０１上の点B１が求められ、点B１と同一の撮像素子出力信号のレベルの値を、測定点A１の撮像素子出力信号のレベルと同一の入射光量のレベルの値と対応付けて補正点C１がプロットされる。
【０１２４】
すなわち、いまの場合、ステップＳ１４２では、測定点A1の撮像素子出力信号のレベルの値である「７」が取得され、ステップＳ１４３では、点B１の基準リニア出力信号のレベルの値である「１０」が取得され、ステップＳ１４４では、入射光量が「７」のときに、撮像素子出力信号のレベル（補正レベル）の値である「１０」となる補正点C１がセットされることになる。
【０１２５】
ステップＳ１４５において、入射光量１００％まで補正点を設定したと判定された場合、処理は、ステップＳ１４７に進む。このとき、上述したように、設定済みフラグなどが立てられていない撮像素子出力信号のレベルの値があるかどうかが判断され、そのフラグが立っていなければ、隣り合う設定済みの補正データの直線近似値に基づいて補正点が設定される処理も行われる。
【０１２６】
ステップＳ１４７において、リニアリティ補正回路１１３は、補正信号を生成する。これにより、例えば、図１６を参照して上述したように、基準リニア出力信号を中心としてノンリニアの測定信号と逆極性のカーブを有する補正信号が生成されることになる。
【０１２７】
図１８に戻って、ステップＳ１０３の処理の後、処理は、ステップＳ１０４に進み、リニアリティ補正回路１１３は、ＬＵＴ１１４に補正データを記憶させる。このとき、ステップＳ１１３の処理により生成された補正信号に基づいて補正データがLUT１１４に記憶される。
【０１２８】
このようにして補正データが記憶される。
【０１２９】
次に、図２１のフローチャートを参照して、撮像装置１００の撮像素子出力信号を、撮像された画像の色再現性が損なわれることがないように補正する出力信号補正処理について説明する。
【０１３０】
ステップＳ２０１において、撮像装置１００は、被写体を撮像する。これにより、撮像回路１１２から撮像素子出力信号がリニアリティ補正回路に供給される。
【０１３１】
ステップＳ２０２において、リニアリティ補正回路１１３は、ステップＳ２０１の処理に伴って供給された撮像素子出力信号のレベルをチェックする。
【０１３２】
ステップＳ２０３において、リニアリティ補正回路１１３は、ステップＳ２０２で取得された撮像素子出力信号のレベルに対応する補正データを取得する。
【０１３３】
そして、ステップＳ２０４において、リニアリティ補正回路１１３は、ステップＳ２０３で取得された補正データに基づいて撮像回路１１２から供給された撮像素子出力信号を補正して出力する。
【０１３４】
このようにして撮像素子出力信号が補正される。このようにすることで、撮像素子出力信号のノンリニアカーブ成分が相殺され、その結果、撮像された画像の色再現性が損なわれることがないようにすることができる。
【０１３５】
図２２は、本発明を適用した撮像装置の別の構成例を示すブロック図である。この撮像装置３００は、図１０の撮像装置１００と同様に、撮像素子を用いて画像を撮像するとともに、撮像素子に入射する入射光量の変化に対応して撮像素子から出力される撮像素子出力信号のレベルの変化を補正することで、撮像素子出力信号に対してホワイトバランス処理およびガンマ補正処理を施された後のノンリニアの領域はＲ／Ｇ／Ｂの各階調でレベル差が生じて色がにじんだ画像となってしまい、色再現性を損なうことを抑止できるように構成されている。
【０１３６】
同図におけるレンズ３２０乃至撮像回路３２２は、図１０のレンズ１１０乃至撮像回路１１２と同様なので詳細な説明は省略する。また、信号処理回路３２５乃至記録系３２７も図１０の信号処理回路１１５乃至記録系１１７と同様なので詳細な説明は省略する。
【０１３７】
図２２の例では、図１０のＬＵＴ１１４に代わり補正関数演算回路３２４が設けられている。補正関数演算回路３２４は、撮像回路３２２から供給される撮像素子出力信号を補正するための補正データを関数ｆ（ｘ）で演算するブロックである。
【０１３８】
補正関数ｆ（ｘ）は、例えば、次のようにして求められる。
【０１３９】
まず、測定されたノンリニアの撮像素子出力信号（測定信号）を近似した、入射光量のレベルをパラメタとする多項式を生成する。例えば、一般的な多項式として次式のような６次の多項式があげられる。
【０１４０】
ｙ(x)＝ａｘ^６＋ｂｘ^５＋ｃｘ^４＋ｄｘ^３＋ｅｘ^２＋ｆｘ＋ｇ
なお、他の数次の多項式を用いても勿論よい。
【０１４１】
そして、個々の入射光量のレベルに対応して多項式から得られる撮像素子取得信号のレベルＡ３を基準リニア出力信号の出力レベルＢ３で割った値を、レベルＣ３とする。
【０１４２】
レベルＣ３の逆数となるレベルＤ（＝１／Ｃ）を求め、そのレベルＤを基準リニア出力信号の出力レベルＢ３に掛けた値をレベルＥとする。そのレベルＥが補正データとなる。すなわち、入射光量のレベルの値（１０２４の値に正規化された値xのときの補正レベルの値を求める関数ｆ(ｘ)は次式のようになる。なお、基準リニア出力信号は、傾きが１となる線形の直線となるものとする。
【０１４３】
ｆ(x) ＝ｘ × ｛ １／（ｙ（ｘ）／ｘ） ｝
【０１４４】
ここで、多項式ｙ(x)はノンリニアとなり、各入射光量に対応する補正点をプロットすることにより得られる曲線が多項式ｙ(x)と基準リニア出力信号を中心として逆極性のカーブを有することになり、関数ｆ(x)により得られる補正レベルによって撮像素子出力信号のノンリニア成分が相殺されるようになる。
【０１４５】
例えば、多項式から得られる撮像素子取得信号の出力レベルＡ３＝１３、基準リニア出力信号の出力レベルＢ３＝１０とした場合、
【０１４６】
レベルＣ３＝１３÷１０＝１．３
【０１４７】
レベルＤ＝１／１．３＝０．７６９２３
【０１４８】
となり、補正データのレベルＥ＝１０×０．７６９２３＝７．６９２３
【０１４９】
になる。
【０１５０】
補正データのレベルＥを基準リニア出力信号のレベルＢ３で割った値が補正ゲインになり、多項式から得られるレベルＡ３に補正ゲインをかけることで、基準リニア出力信号のレベルＢ３に近い値となる。
【０１５１】
すなわち、補正結果のレベル＝多項式から得られるレベルＡ３ × 補正ゲイン
＝１３ × （７．６９２３ ÷ １０）
＝１３ × ０．７６９２３
＝ ９．９９９９９９９
≒ １０
【０１５２】
ここでは、測定信号を近似する多項式を１つとして説明したが、実際には、レベル０％からレベル１００％までの入射光量のレベルの間で、測定して得られた撮像素子出力信号の形状（ノンリニア成分の強弱）に応じて、個々の入射光量のレベルの区間毎に、係数の異なる多項式が生成される。そして、総合的に撮像素子出力信号のノンリニア成分が相殺されるように補正関数群を組むことになる。
【０１５３】
図２２の場合、撮像回路３２２から出力される撮像素子出力信号は、リニアリティ補正回路３２３と補正関数演算回路３２４へ供給され、補正関数演算回路３２４から、撮像素子出力信号のレベルに対応して出力特性を補正する補正係数が取り出され、リニアリティ補正回路３２３で、撮像素子出力信号に、その補正係数が乗じられることによって撮像素子出力信号の出力特性におけるノンリニア成分が相殺されるように補正が行われることになる。
【０１５４】
図２２の例の場合、図１８のフローチャートを参照して上述した補正データ記憶処理に代わって図２３のフローチャートに示される補正関数記憶処理が行われる。
【０１５５】
図２３のステップＳ３０１とＳ３０２の処理は、それぞれ図１８のステップＳ１０１とＳ１０２と同様の処理なので詳細な説明は省略する。
【０１５６】
ステップＳ３０３において、リニアリティ補正回路１１３は、撮像素子出力信号を近似する多項式を生成する。このとき、例えば、上述したように、入射光量のレベルをパラメタとする６次の多項式ｙ（ｘ）が生成される。
【０１５７】
ステップＳ３０４において、リニアリティ補正回路１１３は、ステップＳ３０２の処理で生成された基準リニア出力信号と、ステップＳ３０３の処理で生成された多項式に基づいて補正関数を生成して補正関数演算回路３２４に補正関数（パラメタなど）を記憶させる。このとき、例えば、上述した補正関数ｆ(x)が生成される。
【０１５８】
このようにして補正関数が生成されて記憶される。
【０１５９】
次に、図２２の撮像装置３００による出力信号補正処理の例について図２４のフローチャートを参照して説明する。
【０１６０】
ステップＳ４０１において、撮像装置１００は、被写体を撮像する。これにより、撮像回路３２２から撮像素子出力信号がリニアリティ補正回路に供給される。
【０１６１】
ステップ４０２において、リニアリティ補正回路３２３は、入射光量のレベルをチェックする。このとき、例えば、ステップＳ４０１の処理に伴って撮像回路３２２から出力される検波などに基づいて入射光量のレベルが取得される。
【０１６２】
ステップＳ４０３において、リニアリティ補正回路３２３は、ステップＳ４０２で取得された入射光量に対応する補正データを、補正関数演算回路３２４に演算させて補正データを取得する。このとき、例えば、ステップＳ４０２で取得された入射光量に基づいて撮像素子出力信号の出力レベルを近似する多項式を解いて撮像素子出力信号の出力レベルを取得し、その撮像素子出力信号の出力レベルに対応する補正データが演算される。
【０１６３】
そして、ステップＳ４０４において、リニアリティ補正回路３２３は、ステップＳ４０３で取得された補正データに基づいて撮像回路３２２から供給された撮像素子出力信号を補正して出力する。
【０１６４】
このようにして撮像素子出力信号が補正される。このようにすることで、やはり撮像素子出力信号のノンリニアカーブ成分が相殺され、その結果、撮影画像の色再現性が損なわれることがないようにすることができる
【０１６５】
図１０または図２２を参照して上述した撮像装置１００または撮像装置３００における撮像素子出力信号の補正は、Ｒ，Ｇ，Ｂの各色信号に対してそれぞれ行われることになるが、本発明によれば、LUT１１４または補正関数演算回路３２４を、Ｒ，Ｇ，Ｂのそれぞれに対応させるために、必ずしも３種類用意する必要はない。
【０１６６】
これは、撮像素子出力信号がノンリニアとなる部分（ノンリニア領域）は入射光量のレベルに関係なく、また、Ｒ，Ｇ，Ｂの各色信号の種別に関係なく、撮像素子出力信号の出力レベルに依存するためである。すなわち、Ｒの色信号がノンリニアとなる出力レベルにおいては、Ｇ，Ｂの色信号も同様にノンリニアとなるので、個々の色信号のいずれについても信号の出力レベルをチェックすればノンリニアであるか否かが分かる。さらに、Ｒ，Ｇ，Ｂの各色信号におけるノンリニア領域の形状は、それぞれ概ね相似となる。したがって、Ｒ，Ｇ，Ｂの各色信号のうちのいずれか１つの信号に基づくLUT１１４または補正関数演算回路３２４を用意しておけば、Ｒ，Ｇ，Ｂの各色信号のそれぞれの出力レベルに対応して各色信号をそれぞれ適正に補正することが可能となる。
【０１６７】
このように本発明によれば、LUT１１４または補正関数演算回路３２４の設計などに要する時間を短縮することが可能となり、装置のコストを抑制することが可能となる。
【０１６８】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２５に示されるような汎用のパーソナルコンピュータ５００などに、ネットワークや記録媒体からインストールされる。
【０１６９】
図２５において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７０】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。
【０１７１】
入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部５０９が接続されている。通信部５０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１７２】
入出力インタフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
【０１７３】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア５１１などからなる記録媒体からインストールされる。
【０１７４】
なお、この記録媒体は、図２５に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成されるものも含む。
【０１７５】
本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１７６】
【図１】撮像素子出力信号の出力特性の例を示す図である。
【図２】図１に示される特性を有する信号に対してホワイトバランス処理を施した例を示す図である。
【図３】図２に示される信号に対してガンマ補正処理を施した場合の例を示す図である。
【図４】ホワイトバランス処理後に、ＩＳＯの感度のレベルを１００とした場合のノンリニア領域の変化の例を説明する図である。
【図５】ホワイトバランス処理後に、ＩＳＯの感度のレベルを２００とした場合のノンリニア領域の変化の例を説明する図である。
【図６】ホワイトバランス処理後に、ＩＳＯの感度のレベルを４００とした場合のノンリニア領域の変化の例を説明する図である。
【図７】ガンマ補正の処理後に、ＩＳＯの感度のレベルを１００とした場合のノンリニア領域の変化の例を説明する図である。
【図８】ガンマ補正の処理後に、ＩＳＯの感度のレベルを２００とした場合のノンリニア領域の変化の例を説明する図である。
【図９】ガンマ補正の処理後に、ＩＳＯの感度のレベルを４００とした場合のノンリニア領域の変化の例を説明する図である。
【図１０】本発明を適用した撮像装置の一実施形態に係る構成例を示すブロック図である。
【図１１】撮像素子出力信号とＡＷＢ積分値の変化の例を説明する図である。
【図１２】撮像素子出力信号の測定の例を説明する図である。
【図１３】撮像素子出力信号の測定の例を説明する図である。
【図１４】補正点の設定を説明する図である。
【図１５】補正点の設定を説明する図である。
【図１６】測定信号、基準リニア出力信号、補正信号の例を示す図である。
【図１７】ＬＵＴに記憶されるデータの例を示す図である。
【図１８】補正データ記憶処理の例を説明するフローチャートである。
【図１９】撮像素子出力信号測定処理の例を説明するフローチャートである。
【図２０】補正信号生成処理の例を説明するフローチャートである。
【図２１】出力信号補正処理の例を説明するフローチャートである。
【図２２】本発明を適用した撮像装置の別の構成例を示すブロック図である。
【図２３】補正関数記憶処理の例を説明するフローチャートである。
【図２４】図２２の構成の場合の出力信号補正処理の例を説明するフローチャートである。
【図２５】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１７７】
１００  撮像装置，  １１１  撮像素子，  １１２  撮像回路，  １１３  リニアリティ補正回路，  １１４  ＬＵＴ，  １１５  信号処理部，  １１６  表示系，  １１７  記録系，  ３００  撮像装置，  ３２１  撮像素子，  ３２２  撮像回路，  ３２３  リニアリティ補正回路，  ３２４  補正関数演算回路，  ３２５  信号処理部，  ３２６  表示系，  ３２７  記録系
【図１】
2007274226.tif 000003
【図２】
2007274226.tif 000004
【図３】
2007274226.tif 000005
【図４】
2007274226.tif 000006
【図５】
2007274226.tif 000007
【図６】
2007274226.tif 000008
【図７】
2007274226.tif 000009
【図８】
2007274226.tif 000010
【図９】
2007274226.tif 000011
【図１０】
2007274226.tif 000012
【図１１】
2007274226.tif 000013
【図１２】
2007274226.tif 000014
【図１３】
2007274226.tif 000015
【図１４】
2007274226.tif 000016
【図１５】
2007274226.tif 000017
【図１６】
2007274226.tif 000018
【図１７】
2007274226.tif 000019
【図１８】
2007274226.tif 000020
【図１９】
2007274226.tif 000021
【図２０】
2007274226.tif 000022
【図２１】
2007274226.tif 000023
【図２２】
2007274226.tif 000024
【図２３】
2007274226.tif 000025
【図２４】
2007274226.tif 000026
【図２５】
2007274226.tif 000027