(57)【要約】【課題】画素出力のばらつき補正のための初期調整に時間を要することがなく、製造コストを低減した撮像装置を提供する。【解決手段】通常動作を行っている中で、通常の蓄積時間よりも短い蓄積時間での測定時蓄積動作を行い、測定時蓄積動作と、その直後の通常動作によって得られた画像の２枚１セットのデータに基づいて光電変換特性を推定し、推定された光電変換特性を用いて画素出力の補正を行う。【選択図】図１
2012049791.tif 000002
【特許請求の範囲】
【請求項１】
光電変換素子で構成される複数の画素を有し、光電変換により入射光を電気信号に変換する撮像素子と、
前記複数の画素間の出力のばらつきを補正するばらつき補正部と、を備えた撮像装置であって、
前記ばらつき補正部は、
前記撮像素子において第１の蓄積時間で蓄積された電荷に基づいて出力される第１の出力と、
前記撮像素子において前記第１の蓄積時間より短い第２の蓄積時間で蓄積された電荷に基づいて出力される第２の出力とを受け、
各画素ごとに前記第１および第２の出力から、入射光量に対する出力を表す光電変換特性上のデータを取得し、
取得した複数の画素についての前記第１および第２の蓄積時間の比と、前記第１および第２の蓄積時間における出力値より、各画素での光電変換特性を推定し、推定された前記光電変換特性に基づいて前記複数の画素間のばらつきを補正する、撮像装置。
【請求項２】
前記光電変換特性は、複数の特性が変曲点を境に連続的に変化する特性を有し、前記光電変換特性上のデータに基づいて、算出された前記光電変換特性の未知係数、オフセット値および前記変曲点の位置を使用して推定される、請求項１記載の撮像装置。
【請求項３】
前記第１の蓄積時間は、画像データの１フレーム分の蓄積時間に相当し、
前記第１の出力のみ画像データの生成に用いる、請求項１記載の撮像装置。
【請求項４】
前記第１の蓄積時間に対する前記第２の蓄積時間の比は、複数種類設定され、所定のサイクルで変更される、請求項１記載の撮像装置。
【請求項５】
前記撮像装置は温度センサを有し、
温度変化を検出した場合には推定された前記光電変換特性を破棄し、再度取得した前記光電変換特性上のデータに基づいて、各画素での光電変換特性を推定する、請求項１記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に光電変換により入射光を電気信号に変換する撮像素子を有する撮像装置に関する。
【背景技術】
【０００２】
従来から、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する撮像素子が備えられている。また、近年では、複数種類の光電変換特性を有する撮像素子が提案されている。例えば、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作が入射光量により切り換わるリニアログ変換型センサが提案されている。
【０００３】
リニアログ変換型センサは、画素単位でリニアからログに変換特性が切り替わるポイント（変曲点）が、ログ特性をもたらすゲートを構成するトランジスタの特性のばらつきによりばらつく。この結果、得られる画像にノイズが含まれることとなる。また、変曲点のばらつきは、周囲の温度の影響を受けて変化する。
【０００４】
このような変曲点のばらつき補正の方法としては、例えば特許文献１には、事前に測定した特性計測結果に基づいて補正を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２８６２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上説明したように、従来はリニアログ変換型センサで構成される撮像素子を有する撮像装置においては、従来は、撮像装置の製造段階で、光電変換特性や温度特性を測定し、その結果に基づいて変曲点のばらつきを補正する構成を採っていたので、初期調整に時間がかかり、製造コストが増大するという問題があった。
【０００７】
本発明は上記のような問題点を解消するためになされたもので、画素出力のばらつき補正のための初期調整に時間を要することがなく、製造コストを低減した撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置の第１の態様は、光電変換素子で構成される複数の画素を有し、光電変換により入射光を電気信号に変換する撮像素子と、前記複数の画素間の出力のばらつきを補正するばらつき補正部とを備え、前記ばらつき補正部は、前記撮像素子において第１の蓄積時間で蓄積された電荷に基づいて出力される第１の出力と、前記撮像素子において前記第１の蓄積時間より短い第２の蓄積時間で蓄積された電荷に基づいて出力される第２の出力とを受け、各画素ごとに前記第１および第２の出力から、入射光量に対する出力を表す光電変換特性上のデータを取得し、取得した複数の画素についての前記第１および第２の蓄積時間の比と、前記第１および第２の蓄積時間における出力値より、各画素での光電変換特性を推定し、推定された前記光電変換特性に基づいて前記複数の画素間のばらつきを補正する。
【０００９】
本発明に係る撮像装置の第２の態様は、前記光電変換特性が、複数の特性が変曲点を境に連続的に変化する特性を有し、前記光電変換特性上のデータに基づいて、算出された前記光電変換特性の未知係数、オフセット値および前記変曲点の位置を使用して推定される。
【００１０】
本発明に係る撮像装置の第３の態様は、前記第１の蓄積時間は、画像データの１フレーム分の蓄積時間に相当し、前記第１の出力のみ画像データの生成に用いる。
【００１１】
本発明に係る撮像装置の第４の態様は、前記第１の蓄積時間に対する前記第２の蓄積時間の比が、複数種類設定され、所定のサイクルで変更される。
【００１２】
本発明に係る撮像装置の第５の態様は、前記撮像装置が温度センサを有し、温度変化を検出した場合には推定された前記光電変換特性を破棄し、再度取得した前記光電変換特性上のデータに基づいて、各画素での光電変換特性を推定する。
【発明の効果】
【００１３】
本発明に係る撮像装置の第１の態様によれば、各画素ごとに第１および第２の出力から、入射光量に対する出力を表す光電変換特性上のデータを取得し、取得した複数の画素についての前記第１および第２の蓄積時間の比と、前記第１および第２の蓄積時間における出力値より、各画素での光電変換特性を推定し、推定された光電変換特性に基づいて複数の画素間のばらつきを補正するので、撮像装置の製造段階で、光電変換特性や温度特性を測定するなどの初期調整が不要となり、製造コストを低減できる。
【００１４】
本発明に係る撮像装置の第２の態様によれば、光電変換特性の未知係数、オフセット値および変曲点の位置を取得することで、光電変換特性を推定することができる。
【００１５】
本発明に係る撮像装置の第３の態様によれば、撮像のその、その場での光電変換特性の推定が可能となる。
【００１６】
本発明に係る撮像装置の第４の態様によれば、撮像シーンの明るさが頻繁に変わるような場合に対応できる。
【００１７】
本発明に係る撮像装置の第５の態様によれば、どのような温度環境下においても事前のデータ取得なしにその場のデータで常に適切な特性係数が算出可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係る実施の形態の撮像装置の全体構成を示すブロック図である。
【図２】本発明に係る実施の形態の撮像装置の撮像素子の構成を示すブロック図である。
【図３】撮像素子を構成する光電変換素子の構成を示す図である。
【図４】撮像素子における光電変換特性を示す図である。
【図５】光電変換特性のばらつきを示す図である。
【図６】通常動作における画像出力を模式的に示す図である。
【図７】ばらつき特性測定のための蓄積動作のタイミングを模式的に示す図である。
【図８】ばらつき特性測定のための蓄積動作のタイミングを模式的に示す図である。
【図９】測定時蓄積動作と、その直後の通常動作によって得られた出力を光電変換特性上に示す図である。
【図１０】光電変換特性の特性係数の算出のためのデータセットの蓄積方法を示すフローチャートである。
【発明を実施するための形態】
【００１９】
＜実施の形態＞
＜装置構成＞
図１に、本実施形態に係る撮像装置１の全体構成を示す。図１に示すように、撮像装置１はレンズ系２および絞り３を介して、撮像素子４の撮像面で入射光を受光する構成となっている。これらレンズ系２および絞り３としては、従来から公知のものが用いられている。
【００２０】
ここで、本発明の撮像素子は複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子であり、複数の変換特性の出力信号が切換点を介して連続的に変化するようになっている。
【００２１】
撮像素子４は、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作との切り換えが可能なリニアログ変換型センサで構成されている。なお、撮像素子４の出力信号は変曲点を介してリニア領域からログ領域に連続的に変化する構成となっている。ここで、「変曲点」とは線形変換動作と対数変換動作との境界を意味し、複数種類の変換特性を有する撮像素子の出力信号の「切換点」の下位概念となる語である。
【００２２】
なお、複数種類の変換特性を有する撮像素子４としては、出力信号がリニア領域からログ領域に連続的に変化するリニアログ変換型センサに限られるものではなく、出力信号がログ領域からリニア領域に連続的に変化するものや、出力信号に傾きが異なる複数の線形領域を有するものでも適用可能であり、また３種類以上の出力特性を有する撮像素子であっても本発明を適用可能である。
【００２３】
撮像素子４は、図２に示すように、行列配置（マトリクス配置）された複数の画素Ｇ11〜Ｇmn(但しｎ，ｍは１以上の整数)を有している。
【００２４】
各画素Ｇ11〜Ｇmnは、入射光を光電変換して電気信号を出力する光電変換素子で構成されている。これら画素Ｇ11〜Ｇmnは、入射光量に基づいて電気信号への変換動作を切り換えるようになっており、後述のように、所定入射光量未満の入射光量に対しては入射光を線形変換する線形変換動作を、所定入射光量以上の入射光量に対しては入射光を対数変換する対数変換動作を行うようになっている。
【００２５】
これら画素Ｇ11〜Ｇmnのレンズ系２側には、ベイヤ配列のＲＧＢ原色フィルタが実装されている。なお、色フィルタの種類はこれに限定されず、各画素Ｇ11〜Ｇmnにシアン（Cyan）、マゼンタ（Magenta）およびイエロー（Yellow）などの他の色フィルタを設けることとしてもよい。また、色フィルタを実装しない構成としてもよい。
【００２６】
また、画素Ｇ11〜Ｇmnには、図２に示すように、電源ライン５や信号印加ラインＬA1〜ＬAn，ＬB1〜ＬBn，ＬC1〜ＬCn、信号読出ラインＬD1〜ＬDmが接続されている。なお、画素Ｇ11〜Ｇmnには、クロックラインやバイアス供給ラインなどのラインも接続されているが、図２ではこれらの図示を省略している。
【００２７】
信号印加ラインＬA1〜ＬAn，ＬB1〜ＬBn，ＬC1〜ＬCnは、画素Ｇ11〜Ｇmnに信号φv，φVPS（図３参照）を与えるようになっている。これら信号印加ラインＬA1〜ＬAn，ＬB1〜ＬBn，ＬC1〜ＬCnには、垂直走査回路６が接続されている。この垂直走査回路６は、後述のタイミング生成回路２２（図１参照）からの信号に基づいて信号印加ラインＬA1〜ＬAn，ＬB1〜ＬBn，ＬC1〜ＬCnに信号を印加するものであり、信号を印加する対象の信号印加ラインＬA1〜ＬAn，ＬB1〜ＬBn，ＬC1〜ＬCnをＸ方向に順次切り換えるようになっている。
【００２８】
信号読出ラインＬD1〜ＬDmには、各画素Ｇ11〜Ｇmnで生成された電気信号が導出されるようになっている。これら信号読出ラインＬD1〜ＬDmには定電流源Ｄ1〜Ｄmおよび選択回路Ｓ1〜Ｓmが接続されている。
【００２９】
定電流源Ｄ1〜Ｄmの一端（図中下側の端部）には、直流電圧ＶPSが印加されるようになっている。
【００３０】
選択回路Ｓ1〜Ｓmは、各信号読出ラインＬD1〜ＬDmを介して画素Ｇ11〜Ｇmnから与えられるノイズ信号と撮像時の電気信号とをサンプルホールドするものである。これら選択回路Ｓ1〜Ｓmには水平走査回路７および補正回路８が接続されている。水平走査回路７は、電気信号をサンプルホールドして補正回路８に送信する選択回路Ｓ1〜Ｓmを、Ｙ方向に順次切り換えるものである。また、補正回路８は、選択回路Ｓ1〜Ｓmから送信されるノイズ信号および撮像時の電気信号に基づき、当該電気信号からノイズ信号を除去するものである。
【００３１】
なお、選択回路Ｓ1〜Ｓmおよび補正回路８としては、特開２００１−２２３９４８号公報に開示のものを用いることができる。また、本実施形態においては、選択回路Ｓ1〜Ｓmの全体に対して補正回路８を１つのみ設けることとして説明するが、選択回路Ｓ1〜Ｓmの各々に対して補正回路８を１つずつ設けることとしてもよい。
【００３２】
続いて、画素Ｇ11〜Ｇmnについて説明する。各画素Ｇ11〜Ｇmnは、図３に示すように、フォトダイオードＰおよびトランジスタＴ1〜Ｔ3を備えている。なお、トランジスタＴ1〜Ｔ3は、バックゲートの接地されたＮチャネルのＭＯＳトランジスタである。
【００３３】
フォトダイオードＰには、レンズ系２および絞り３を通過した光が当たるようになっている。このフォトダイオードＰのカソードＰkには直流電圧ＶPDが印加されており、アノードＰAにはトランジスタＴ1のドレインＴ1DおよびゲートＴ1Gと、トランジスタＴ2のゲートＴ2Gとが接続されている。
【００３４】
トランジスタＴ1のソースＴ1Sには信号印加ラインＬC（図２のＬC1〜ＬCnに相当）が接続されており、この信号印加ラインＬCから信号φVPSが入力されるようになっている。ここで、信号φVPSは２値の電圧信号であり、より詳細には、入射光量が所定値を超えたときにトランジスタＴ1をサブスレッショルド領域で動作させるための電圧値ＶＨと、トランジスタＴ1を導通状態にする電圧値ＶＬとの２つの値をとるようになっている。
【００３５】
撮像素子４は、入射光量が所定の閾値を超えたときは各画素Ｇ11〜ＧmnのトランジスタＴ1をサブスレッショルド領域で動作させることによって、入射光を自然対数で対数変換した電圧として読み出すことができるようになっている。これにより、撮像素子４の出力信号は、図４に示すように、入射光量に応じて線形領域および対数領域が連続的に変化するようになっている。すなわち、画素Ｇ11〜Ｇmnは、入射光量に基づいて電気信号への変換動作を切り換えるようになっており、図４に実線で示すように、所定入射光量ｔｈ未満の入射光量に対しては入射光を線形変換する線形変換動作を、所定入射光量ｔｈ以上の入射光量に対しては入射光を対数変換する対数変換動作を行うようになっている。
【００３６】
また、図３に示すように、トランジスタＴ2のドレインＴ2Dには直流電圧ＶPDが印加されており、トランジスタＴ2のソースＴ2Sは行選択用のトランジスタＴ3のドレインＴ3Dに接続されている。
【００３７】
更に、トランジスタＴ3のゲートＴ3Gには信号印加ラインＬA（図２のＬA1〜ＬAnに相当）が接続されており、信号印加ラインＬAから信号φVが入力されるようになっている。また、トランジスタＴ3のソースＴ3Sは信号読出ラインＬD（図２のＬD1〜ＬDmに相当）に接続されている。
【００３８】
なお、以上のような画素Ｇ11〜Ｇmnとしては、特開２００２−７７７３３号公報、特開２００６−３０３７６８号公報あるいは本願出願人による特許出願２００９−２４２６１号に開示のものを用いることができる。
【００３９】
ここで、再び図１の説明に戻る。撮像素子４には、アンプ９およびＡ／Ｄコンバータ１０が電気的に接続されており、Ａ／Ｄコンバータ１０には判定回路１１、近接画素メモリ１３およびばらつき補正部１４が各々電気的に接続されている。これら判定回路１１、近接画素メモリ１３およびばらつき補正部１４は相互に電気的に接続されている。また、判定回路１１およびばらつき補正部１４の各々には、ばらつき補正データメモリ１２が電気的に接続されている。
【００４０】
アンプ９は、従来から公知のものが用いられるようになっており、撮像素子４により光電変換された信号を増幅するようになっている。
【００４１】
Ａ／Ｄコンバータ１０は、アンプ９において増幅された電気信号をアナログ信号からデジタル信号に変換するようになっている。
【００４２】
判定回路１１は、各画素Ｇ11〜Ｇmnの出力信号の補正手段を判定する補正手段判定部１１ａ、各画素Ｇ11〜Ｇmnの出力信号値の特性を判定する出力特性判定部１１ｂおよび各画素Ｇ11〜Ｇmnの出力信号値の色を判定する色判定部１１ｃを備えて構成されている。
【００４３】
近接画素メモリ１３には、近接画素間の補間処理を行うための画素データが一時的に格納されるようになっている。
【００４４】
ばらつき補正部１４は、各画素Ｇ11〜Ｇmn間の出力のばらつきを補正するものであり、メモリ補正部１４ａおよび補間補正部１４ｂを備えて構成されている。
【００４５】
また、ばらつき補正部１４には、黒基準補正部１５、線形化部１６および画像処理部１７がこの順に電気的に接続されている。
【００４６】
黒基準補正部１５は、デジタル信号の最低レベルを設定するものである。
【００４７】
線形化部１６は、特性変換部としての機能を果たすものであり、複数種類の変換特性を有する撮像素子４の出力信号を一つの変換特性により統一的に変換された状態に変換するようになっている。本実施形態の線形化部１６は、後述する出力特性制御回路２１から制御装置１９を介して送信される変曲点情報に基づき、撮像素子４の出力信号のうち対数領域を線形変換された状態の電気信号に変換するようになっている。
【００４８】
画像処理部１７は、画素Ｇ11〜Ｇmnからの電気信号全体により構成される画像データに対して、ホワイトバランス処理、色補間処理、色補正処理、階調変換および色空間変換などの画像処理を行うようになっている。
【００４９】
また、線形化部１６には評価値算出部１８を介して制御装置１９が電気的に接続されている。
【００５０】
評価値算出部１８は、画像処理部１７でのホワイトバランス処理（ＡＷＢ処理）に用いられるＡＷＢ評価値や、後述する露光制御処理部２０での（ＡＥ処理）に用いられるＡＥ評価値を算出するようになっている。
【００５１】
制御装置１９は、ＣＰＵおよびＲＡＭなどを備えて構成されており、撮像装置１の各構成部分を制御するようになっている。制御装置１９には、判定回路１１、ばらつき補正データメモリ１２、近接画素メモリ１３、ばらつき補正部１４および線形化部１６が電気的に接続されている。
【００５２】
また、制御装置１９には、露光制御処理部２０を介して絞り３が電気的に接続されている。更に、制御装置１９には、出力特性制御回路２１を介して撮像素子４および判定回路１１の各々が電気的に接続されていると共に、タイミング生成回路２２を介して撮像素子４および判定回路１１の各々が電気的に接続されている。
【００５３】
露光制御処理部２０は、絞り制御機構などにより構成され、評価値算出部１８の出力信号などのフィードバックを受けながら制御装置１９からの制御信号により絞り３を制御するようになっている。
【００５４】
出力特性制御回路２１は、撮像素子４の出力信号の線形領域および対数領域の割合（変曲点の位置）を決定するようになっている。この変曲点情報は、出力特性判定部１１ｂに出力されると共に、制御装置１９を介して線形化部１６に出力される。線形領域および対数領域の割合は、上記のように撮像素子４の各画素Ｇ11〜Ｇmnに印加する電圧（出力特性制御電圧）の調整や出力特性制御用のレジスタ設定により変更することが可能となっている。
【００５５】
タイミング生成回路２２は、撮像素子４の撮影動作を制御するようになっている。すなわち、制御装置１９からの撮影制御信号に基づいて所定のタイミングパルス（画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号など）を生成して撮像素子４に出力するようになっている。また、タイミング生成回路２２はＡＤ変換用のタイミング信号も生成するようになっている。
【００５６】
図３に示す素子構成において、トランジスタT2、T3は読み出しのためのスイッチ機能を担っている。光電変換特性を決定付けているのはトランジスタT1の特性である。このトランジスタのアナログ的な動作域で直線領域から対数領域に移る変曲点ｔｈ、Ｈの位置の変動、および対数領域の傾きや係数が撮像素子ごとにばらつくことが発生する。
【００５７】
図５には、入射光量に対する出力特性を示しており、光電変換素子ごとに線形領域および対数領域がばらつくことを示しており、対数部の傾きc1、c2、c3、変曲点の位置d1、d2、d3がばらつくことを示している。また、トランジスタの特性が温度により変動することでこれらの値は環境に応じて変動し、ノイズの原因となる。
【００５８】
＜本発明の概要＞
本発明に係る撮像装置においては、これらのばらつき特性を調整・キャリブレーション工程で取得し、メモリ等に保存して補正に用いるのではなく、撮像のその場、その場での動作状況に応じて各画素の明るさの変動した画像データを収集保存し、保存した画像データを用いてばらつき特性を測定する。そして、測定したばらつき特性を用いて補正を行うことで良好な画像を得るものである。なお、本願発明に係るばらつき特性の測定および補正は、図１におけるばらつき補正部１４において主として実行される。
【００５９】
＜装置動作＞
＜ばらつき特性の測定＞
図２を用いて説明した撮像素子４は通常動作においては図６に示すような動作により画像出力を行う。
【００６０】
すなわち、まず、各画素で光電変換を行って電荷の蓄積を行い、所定の蓄積時間Ｔの後、蓄積された電荷を電圧として読出す。図６における通常蓄積動作として示される１つのブロックが１フレームを表し、その蓄積時間Ｔ（第１の蓄積時間）は１／３０秒に相当する。また、読出動作として示される１つのブロック（フレーム）における読み出し時間は１／３０秒に相当する。
【００６１】
このように、１／３０秒で蓄積した全画素の電荷を、次の１／３０秒で読み出して画像を生成する。この結果、３０枚／秒の画像が生成されて、動画としての録画、表示などに用いられる。
【００６２】
この際の蓄積時間Ｔは１／３０秒を最大（最速）として、通常は露出コントロールで決定されるが、撮像素子４では一般の撮像素子と比較して広いダイナミックレンジを有するので、１／３０秒固定に制御し、画像取り込みを行う。
【００６３】
このような通常動作中において１フレーム分の時間を使用してばらつき特性の測定のための蓄積動作を行う。
【００６４】
具体的には、図７に示すようなタイミングでばらつき特性測定のための蓄積動作を行う。すなわち、通常動作を行っている中で、例えば１５フレームに１フレーム、あるいは３０フレームに１フレームの割合で通常の蓄積時間Ｔよりも短い蓄積時間（Ｔ／Ｎ）（第２の蓄積時間）での蓄積を行う。これを測定時蓄積動作と呼称する。
【００６５】
ここで、この測定時蓄積動作によって得られた画像データは、直後の通常動作によって得られた画像データと２枚１セットで用いるので、測定時蓄積動作は、例えば図７に示すように、直前の通常動作で蓄積した画像データの読出動作の終わりに近い時間帯で行うことが考えられる。また、測定時蓄積動作は、図８に示すように直前の通常動作で蓄積した画像データの読出動作の始まりに近い時間帯で行っても良い。
【００６６】
この２枚１セットの画像データは入力時間が極めて近い時間間隔で得られた画像データとして捉えることができ、ほぼ同じシーンでありながら、入射光量（光量×蓄積時間）が１／Ｎになった画像データと捉えることができる。すなわち、測定時蓄積動作によって得られた各画素の出力は通常蓄積動作によって得られた各画素の出力の１／Ｎの出力を示すことになる。
【００６７】
図９は、このようにして得られた出力を光電変換特性上に示す図である。以下、この特性に基づいて、ばらつき特性検出の方法についてもっとも簡単なモデルでの説明を行う。
【００６８】
図９においては３つの異なる光電変換特性が示されており、それぞれの特性を推定して、ばらつきを補正するものとする。また、図９に示す３つの光電変換特性は、リニア領域からログ領域に変異する変曲点の位置がそれぞれ異なり、またログ領域の傾きが異なる特性を示すものとする。なお、３つの光電変換特性においてｙ＝ｃ１Ｌｎｘ＋ｄ１で表されるログ領域を有する特性を特性Ｐ、ｙ＝ｃ２Ｌｎｘ＋ｄ２で表されるログ領域を有する特性を特性Ｑ、ｙ＝ｃ３Ｌｎｘ＋ｄ３で表されるログ領域を有する特性を特性Ｒと呼称する。また、３つの光電変換特性のリニア領域は共通の数式ｙ＝ａｘで表される。
【００６９】
ある一様なセル面照度αを与えるシーンの撮像において、通常動作時には３つの光電変換特性でそれぞれＡ１，Ａ２，Ａ３のログ領域の出力が得られる。
【００７０】
一方、ばらつき特性測定のための蓄積動作において積分時間を１／Ｎとした場合の出力として３つの異なる光電変換特性を持つセンサの出力は、リニア領域では同じＡとなる。この２つの積分時間の異なる積分時にセンサが受ける光量比はＮ：１の割合となる。
【００７１】
次に時間が経過し、一様なセル面照度βを与えるシーンの撮像に遷移した場合、このシーンでの通常動作時には３つの光電変換特性でそれぞれＢ１，Ｂ２，Ｂ３のログ領域の出力が得られる。この出力が得られたシーンと同じ状態であると仮定できるシーンでの積分時間を１／Ｎとした場合、３つの異なる光電変換特性を持つセンサの出力はリニア領域では同じＢとなる。
【００７２】
こうしてリニア領域２点、それに対応するログ領域２点の出力データが各画素で揃った段階で各画素の特性解析が可能となる。
【００７３】
まず、Ａ：Ｂの比からα、βの照度比が算出できる。また、ばらつき測定動作時と通常動作時の入射光量比は１：Ｎであるから、測定各ポイントはα×Ｔ／Ｎを基準とすると、その比ですべての点がプロット可能となる。
【００７４】
ここで、ログ領域の２点、Ａ１、Ｂ１については、それぞれ以下の数式（１）、（２）で表される。
【００７５】
【数１】
2012049791.tif 000003
【００７６】
【数２】
2012049791.tif 000004
【００７７】
上記数式（１）、（２）より、特性Ｐのｃ１およびｄ１は、それぞれ以下の数式（３）、（４）で表される。
【００７８】
【数３】
2012049791.tif 000005
【００７９】
【数４】
2012049791.tif 000006
【００８０】
同様に特性Ｑのｃ２およびｄ２は、それぞれ以下の数式（５）、（６）で表される。
【００８１】
【数５】
2012049791.tif 000007
【００８２】
【数６】
2012049791.tif 000008
【００８３】
また、特性Ｒのｃ３およびｄ３は、それぞれ以下の数式（７）、（８）で表される。
【００８４】
【数７】
2012049791.tif 000009
【００８５】
【数８】
2012049791.tif 000010
【００８６】
また、Ａ点の出力値は、本来はＮ倍された値であり、照度αに蓄積時間Ｔを掛けた値に等しくなるので、以下の数式（９）が導かれる。
【００８７】
【数９】
2012049791.tif 000011
【００８８】
以上より、各画素の光電変換特性における未知係数が算出可能となる。この結果、リニア領域を表す直線ｙ＝ａｘと、各ログ特性曲線との交点である変曲点位置も算出可能となる。
【００８９】
ここで、リニア領域にオフセット成分ｂを持ち、リニア領域が数式ｙ＝ａｘ＋ｂで表される場合にも、第３のデータとしてばらつき測定動作時と通常動作時がともにリニア領域であるシーンの２つの出力値ｐ，ｑを入力すればｂが算出でき、それに基づいて同様の他のシーンデータから各画素の特性が算出可能となる。
【００９０】
すなわち、以下の数式（１０）〜（１４）によってｂを算出することができる。
【００９１】
【数１０】
2012049791.tif 000012
【００９２】
【数１１】
2012049791.tif 000013
【００９３】
【数１２】
2012049791.tif 000014
【００９４】
【数１３】
2012049791.tif 000015
【００９５】
【数１４】
2012049791.tif 000016
【００９６】
なお、各ログ特性曲線の未知係数および、各ログ特性曲線との交点である変曲点位置の算出は先に説明した通りである。
【００９７】
また、以上においては簡単化のため、それぞれが一様な照度をセンサ面に与える２つのシーンを撮像するものとして説明を行ったが、上述した特性係数算出の過程でわかるように、各画素で特性がログ領域から１／Ｎの積分時間でリニア領域に特性が移るような照度状態であれば、このばらつき測定動作時と通常動作時という連続動作で得られたリニア領域の２点と、それに関係付けられたログ領域２点の出力および照度関係が把握でき、各ログ特性曲線の未知係数、直線特性とログ特性曲線の交点である変曲点の位置が算出可能である。
【００９８】
そこで通常動作時に異なる積分時間、すなわち１／Ｎの積分時間のばらつき測定動作を交えて動作を継続する。この間、画素ごとに通常動作にはログ領域であると想定される出力値のセットを、ばらつき測定動作時にはリニア特性であると想定される出力値のセットを記憶させておく。
【００９９】
シーンが変わると各画素の出力値に変動が起こり、異なる出力値のセットのデータ、すなわち異なる照度下での出力値が得られる。これを繰り返し全画素にわたって特性係数算出可能になったか否かを判定して、もし出力値のデータセットが十分にたまっていなければ通常動作およびばらつき測定動作の組み合わせを繰り返す。
【０１００】
この際も２組のデータセットが最低必要となるが、最小セット数は２組であり、より多くのデータセットに基づいてリニア領域の傾き、オフセット、ログ領域の傾き、オフセットなどの特性係数を算出するほうが精度的には望ましい。
【０１０１】
そこでメモリの許す限界までのデータセットを残し、これらのデータセットから統計的に求めてもよい。
【０１０２】
なお、以上の説明においてはセンサの特性をリニア領域とログ領域の両特性が変曲点を境にして切り替わり、当該変曲点が画素ごとにばらつくものとしたが本発明の適用はこれに限定されるものではなく、同様に２係数でモデル化される特性への変化であれば、未知数も同様に２つとなるため、数学的には解を求めることができる。
【０１０３】
例えば、傾きの異なる２種類のリニア領域を有するような光電変換特性で同様に特性係数の算出が可能である。
【０１０４】
以上説明した光電変換特性の特性係数の算出のためのデータセットの蓄積方法について、図１０に示すフローチャートを用いて説明する。
【０１０５】
図１０に示すように、特性測定ルーチンを開始すると、ステップＳ１においてデータ（出力値）セット数のカウントを初期化する。ここで、各画素のデータをＴ（ｉ、ｊ）で表し、ｉおよびｊは、各画素のＸ、Ｙ座標を表す。
【０１０６】
次に、１４フレーム分の通常動作を行う（ステップＳ２）。
【０１０７】
次に、ばらつき測定のための測定時蓄積動作を、通常の蓄積時間の１／Ｎでの時間で行う（ステップＳ３）。
【０１０８】
ここまでの段階で得られた全画素のデータを出力メモリＯＵＴ２に保存する（ステップＳ４）。なお、Ｘ座標の最大値をＸｍａｘ、Ｙ座標の最大値をＹｍａｘと表し、Ｘ＝１〜Ｘｍａｘ、Ｙ＝１〜Ｙｍａｘの各画素データを保存する。なお、出力メモリＯＵＴ２は、図１を用いて説明したばらつき補正データメモリ１２に含まれる。
【０１０９】
なお、出力については、通常の画像システムにおいては等間隔で、１／３０秒間で１フレームの出力が供給される。このようなシステムに適合させるために１／３２秒の積分時間で１５フレームの通常動作を行うものとし、ばらつき測定のための１／Ｎの積分を１回分盛り込む。このため、１秒間には３０フレームの通常動作が行われ、これを等間隔で出力することで通常の画像システムと同等の機能を果たすことが可能である。この動作の実現のためには、１画面分の記憶容量のメモリを余分に備えていれば可能で、デジタル画像データシステムにおいては極めて容易に実現可能である。
【０１１０】
次に、ステップＳ５において測定時蓄積動作の直後の通常動作（１フレーム分）を行い、ステップＳ６〜Ｓ９に示すようにＸ、Ｙ座標で規定される画素のデータ（出力値）を、Ｘ、Ｙ座標の初期値から出力メモリＯＵＴ１に保存する（ステップＳ１０）。なお、出力メモリＯＵＴ１は、図１を用いて説明したばらつき補正データメモリ１２に含まれる。
【０１１１】
次に、出力メモリＯＵＴ１に保存した測定時蓄積動作の直後の通常動作で得られた画素のデータについて、予め定めた閾値ｔｈ２との比較を行い、当該画素のデータの方が大きい場合には当該データはログ領域で測定されたものと判定し、閾値ｔｈ２以下であればリニア領域で測定されたものと判定する（ステップＳ１１）。この場合は、ステップＳ１５に進む。
【０１１２】
一方、ログ領域で測定されたものと判定された場合は、出力メモリＯＵＴ２に保存された測定時蓄積動作で得られた画素のデータ、ステップＳ１０でデータを保存した画素と同じＸ、Ｙ座標の画素のデータを読み出し（ステップＳ１２）、予め定めた閾値ｔｈ１との比較を行い、当該画素のデータの方が小さい場合には当該データはリニア領域で測定されたものと判定し、閾値ｔｈ１以上であればログ領域で測定されたものと判定する（ステップＳ１３）。この場合は、ステップＳ１５に進む。
【０１１３】
なお、ステップＳ１１での閾値ｔｈ２と、ステップＳ１３での閾値ｔｈ１とは、同じ値であっても良いが、異なる値としても良い。
【０１１４】
一方、リニア領域で測定されたものと判定された場合は、ステップＳ１１でログ領域で測定されたものと判定された画素のデータとセットにして、すでに記憶されたデータセットとの比較を行う（ステップＳ１４）。この比較で、すでに記憶されたデータセットとは異なるデータセットと判明した場合は、新たなデータセットとして記憶するとともに、積分時間比Ｎおよび記憶セット数Ｔ（ｉ、ｊ）１つインクリメント（Ｔ（ｉ、ｊ）＝Ｔ（ｉ、ｊ）＋１）して記憶する。
【０１１５】
次に、ステップＳ１５において、Ｘ座標（ｉ）が最大値（Ｘｍａｘ）となるまで座標を変更したか否かの判定を行い、最大値に達している場合は、Ｘ座標（ｉ）を初期値に戻す（ステップＳ１６）。一方、最大値に達していない場合はステップＳ９に進み、Ｘ座標（ｉ）を１つインクリメントして、ステップＳ１０以下の動作を繰り返す。
【０１１６】
次に、ステップＳ１７において、Ｙ座標（ｊ）が最大値（Ｙｍａｘ）となるまで座標を変更したか否かの判定を行い、最大値に達していない場合はステップＳ８に進み、Ｙ座標（ｊ）を１つインクリメントして、ステップＳ９以下の動作を繰り返す。一方、最大値に達している場合は、記憶されたデータセット数（Ｔ（ｉ、ｊ））が２セット以上であるか否かの判定を行い（ステップＳ１８）、記憶されたデータセット数が２セット以上であれば、特性推定ルーチンへ進み（ステップＳ１９）、数式（１）〜（１４）を用いて説明したような処理を経て、ログ特性曲線の未知係数、リニア領域を表す直線の未知係数、オフセット値およびログ特性曲線とリニア領域を表す直線との交点である変曲点位置を算出して、光電変換特性の推定を行う。
【０１１７】
このようにして得られた光電変換特性に基づいて、図１に示したばらつき補正部１４において各画素間の出力のばらつきの補正が実行される。なお、ばらつき補正の方法は、特開２００８−２８６２３号公報に開示の方法を使用すれば良い。
【０１１８】
＜効果＞
以上説明したように、通常動作を行っている中で、通常の蓄積時間Ｔよりも短い蓄積時間（Ｔ／Ｎ）での測定時蓄積動作を行い、測定時蓄積動作と、その直後の通常動作によって得られた２枚１セットの画像データに基づいて光電変換特性を推定し、推定された光電変換特性を用いて画素出力の補正を行うので、撮像装置の製造段階で、光電変換特性や温度特性を測定するなどの初期調整が不要となり、製造コストを低減できる。
【０１１９】
なお、以上の説明においては、一般シーンの撮像時におけるばらつき測定動作を説明したが、同じ考えがキャリブレーション環境や事前のデータ収集環境においても使用可能なことはいうまでもない。
【０１２０】
キャリブレーション環境の場合は、被写体の明るさを多数設定してデータを入力し、光電変換特性を算出する必要があるが、本発明を用いることで設定しなければならない環境の明るさ条件が大幅に減少することができ、高速にデータ収集が可能となる。
【０１２１】
＜変形例１＞
以上の説明においては、積分時間比Ｎは固定値としたが固定値である必要はなく、複数の既知値を所定のサイクルで変更して使用しても良い。
【０１２２】
ばらつき測定動作において、例えば、Ｎの値が１６、６４および２５６となるように３つの値を順に繰り返し、それぞれのＮに従った積分時間内でばらつき測定用のデータを取得するようにしても良い。
【０１２３】
このような方法を採る場合でも、図１０のステップＳ１４において説明したように積分時間比Ｎも記録しておくことで特性係数の算出が可能である。
【０１２４】
積分時間比Ｎを大きくすると、測定時蓄積動作に要する時間が短くなるので、明るいシーンの撮像に適しているが、暗いシーンの撮像には適しておらず、積分時間比Ｎを大きな値に固定していると、撮像シーンの明るさが頻繁に変わるような場合には対応できなくなる。しかし、積分時間比Ｎを随時に変更するように構成することで、このような場合に対応できる。
【０１２５】
＜変形例２＞
リニアログ変換型センサにおける光電変換特性のばらつきの原因の１つとしては、当該センサを構成する半導体素子の温度変化による素子特性の変化が考えられる。温度変化が生じると、測定した光電変換特性の係数の値も変化するために補正の効果がなくなってしまう。
【０１２６】
そこでシステム内、できればセンサ上に温度センサを設け、前回の特性係数算出時の温度から所定温度以上の温度変化が生じた場合には、新たな特性係数算出のためのデータ取得および特性推定ルーチンを起動する構成とすれば良い。
【０１２７】
これにより、どのような温度環境下においても事前のデータ取得なしにその場のデータで常に適切な特性係数が算出可能となり、適切な特性補正が施されたシステムが構築可能となる。
【符号の説明】
【０１２８】
１  撮像装置
４  撮像素子
１４  ばらつき補正部
【図１】
2012049791.tif 000017
【図２】
2012049791.tif 000018
【図３】
2012049791.tif 000019
【図４】
2012049791.tif 000020
【図５】
2012049791.tif 000021
【図６】
2012049791.tif 000022
【図７】
2012049791.tif 000023
【図８】
2012049791.tif 000024
【図９】
2012049791.tif 000025
【図１０】
2012049791.tif 000026