(57)【特許請求の範囲】
【請求項１】
複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子と、
複数の変換特性の切換点を設定する切換点制御部と、
前記撮像素子の出力信号を一つの変換特性によって統一的に変換された状態に変換する特性変換部と、
注目画素の出力信号の前記切換点近傍領域における変換誤差を、切換点の異なる近傍画素の出力信号の対応する領域を使用して補正する信号補正部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記切換点制御部は前記複数の画素を規則的なグループに分け、そのグループ毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記切換点制御部は連続する複数のフレーム毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記切換点制御部は前記複数の画素を規則的なグループに分け、そのグループ毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定し、前記フレーム毎に前記切換点を反転させることによって前記切換点を設定することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記切換点制御部は前記撮像素子の縦の画素列毎に２種類の前記切換点を設定することを特徴とする請求項２又は請求項４記載の撮像装置。
【請求項６】
前記切換点制御部は前記撮像素子の縦の画素列毎に４種類の前記切換点を設定することを特徴とする請求項２又は請求項４記載の撮像装置。
【請求項７】
前記切換点制御部は前記撮像素子の横の画素行毎に２種類の前記切換点を設定することを特徴とする請求項２又は請求項４記載の撮像装置。
【請求項８】
前記切換点制御部は前記撮像素子の横の画素行毎に４種類の前記切換点を設定することを特徴とする請求項２又は請求項４記載の撮像装置。
【請求項９】
前記信号補正部は前記変換誤差を生じた注目画素の出力信号値を前記他の近傍画素の出力信号から求めた補間値に相当する値とする補正を行うことを特徴とする請求項１〜請求項８いずれか一項に記載の撮像装置。
【請求項１０】
前記信号補正部は前記注目画素の出力信号値と前記補間値との差が許容誤差範囲外である場合に補正を行うことを特徴とする請求項９記載の撮像装置。
【請求項１１】
前記複数種類の変換特性のうち少なくとも一つは対数変換特性であることを特徴とする請求項１〜請求項１０いずれか一項に記載の撮像装置。
【請求項１２】
前記複数種類の変換特性のうち少なくとも一つは線形変換特性であることを特徴とする請求項１〜請求項１０いずれか一項に記載の撮像装置。
【請求項１３】
前記複数種類の変換特性は対数変換特性及び線形変換特性であることを特徴とする請求項１〜請求項１０いずれか一項に記載の撮像装置。
【請求項１４】
前記複数種類の変換特性は変換係数が異なる複数の線形変換特性であることを特徴とする請求項１〜請求項１０いずれか一項に記載の撮像装置。
【請求項１５】
複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子を使用する撮像方法であって、
複数の変換特性の切換点を設定する切換点制御工程と、
前記撮像素子の出力信号を一つの変換特性によって統一的に変換された状態に変換する特性変換工程と、
注目画素の出力信号の前記切換点近傍領域における変換誤差を、切換点の異なる近傍画素の出力信号の対応する領域を使用して補正する信号補正工程と、
を備えることを特徴とする撮像方法。
【請求項１６】
前記切換点制御工程では前記複数の画素を規則的なグループに分け、そのグループ毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定することを特徴とする請求項１５記載の撮像方法。
【請求項１７】
前記切換点制御工程では連続する複数のフレーム毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定することを特徴とする請求項１５記載の撮像方法。
【請求項１８】
前記切換点制御工程では前記複数の画素を規則的なグループに分け、そのグループ毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定し、前記フレーム毎に前記切換点を反転させることによって前記切換点を設定することを特徴とする請求項１７記載の撮像方法。
【請求項１９】
前記切換点制御工程では前記撮像素子の縦の画素列毎に２種類の前記切換点を設定することを特徴とする請求項１６又は請求項１８記載の撮像方法。
【請求項２０】
前記切換点制御工程では前記撮像素子の縦の画素列毎に４種類の前記切換点を設定することを特徴とする請求項１６又は請求項１８記載の撮像方法。
【請求項２１】
前記切換点制御工程では前記撮像素子の横の画素行毎に２種類の前記切換点を設定することを特徴とする請求項１６又は請求項１８記載の撮像方法。
【請求項２２】
前記切換点制御工程では前記撮像素子の横の画素行毎に４種類の前記切換点を設定することを特徴とする請求項１６又は請求項１８記載の撮像方法。
【請求項２３】
前記信号補正工程では前記変換誤差を生じた注目画素の出力信号値を前記他の近傍画素の出力信号から求めた補間値に相当する値とする補正を行うことを特徴とする請求項１５〜請求項２２いずれか一項に記載の撮像方法。
【請求項２４】
前記信号補正工程では前記注目画素の出力信号値と前記補間値との差が許容誤差範囲外である場合に補正を行うことを特徴とする請求項２３記載の撮像方法。
【請求項２５】
前記複数種類の変換特性のうち少なくとも一つは対数変換特性であることを特徴とする請求項１５〜請求項２４いずれか一項に記載の撮像方法。
【請求項２６】
前記複数種類の変換特性のうち少なくとも一つは線形変換特性であることを特徴とする請求項１５〜請求項２４いずれか一項に記載の撮像方法。
【請求項２７】
前記複数種類の変換特性は対数変換特性及び線形変換特性であることを特徴とする請求項１５〜請求項２４いずれか一項に記載の撮像方法。
【請求項２８】
前記複数種類の変換特性は変換係数が異なる複数の線形変換特性であることを特徴とする請求項１５〜請求項２４いずれか一項に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び撮像方法に係り、特に、複数種類の光電変換特性を有する撮像素子を用いた撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
従来から、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する複数の画素を有する撮像素子が設けられている。また、近年では、複数種類の光電変換特性を有する撮像素子が提案されている。
【０００３】
この複数種類の光電変換特性を有する撮像素子としては、例えば、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサがある（特許文献１参照）。これによれば、線形変換動作のみを行う撮像素子と比較して電気信号のダイナミックレンジが広くなるため、輝度範囲の広い被写体を撮影した場合でも全輝度情報を電気信号で表現することが可能となる。
【０００４】
しかし、複数種類の光電変換特性を有する撮像素子を使用すると、複数の特性によって変化する出力信号が得られるため、信号処理の演算が複雑になるという問題があった。
【０００５】
そこで、例えばリニアログ変換型センサでは、線形領域及び対数領域を含む出力信号のうち、対数領域の出力信号を演算又はＬＵＴを使用した変換により線形化して、出力信号全体を単一の線形変換された状態にする処理が行われている。
【０００６】
このような線形化処理においては、線形領域及び対数領域の出力信号をそれぞれ数式化したグラフを出力信号モデルとして使用していた。
【特許文献１】特開２００５−１１０２３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、実際の撮像素子の出力信号は、線形領域から対数領域になだらかに変化しており、線形領域と対数領域の境界である変曲点近傍領域において、線形変換された出力信号と対数変換された出力信号が混在する領域がある。したがって、上記の出力信号モデルに従って線形化処理を行った場合、変曲点近傍領域で出力信号モデルとの乖離が生じ、変換誤差が生じるという問題があった。
【０００８】
本発明の課題は、複数種類の光電変換特性を有する撮像素子を用いた撮像装置及び撮像方法において、撮像素子の出力信号を単一の線形信号に変換する際の変換誤差を最小限に抑制することを可能とする撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために請求項１記載の発明は、撮像装置であって、複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子と、複数の変換特性の切換点を設定する切換点制御部と、前記撮像素子の出力信号を一つの変換特性によって統一的に変換された状態に変換する特性変換部と、注目画素の出力信号の前記切換点近傍領域における変換誤差を、切換点の異なる近傍画素の出力信号の対応する領域を使用して補正する信号補正部と、を備えることを特徴とする。
【００１０】
請求項１記載の発明によれば、複数の変換特性の切換点を設定することにより、互いに相関関係があり、かつ切換点近傍領域が重ならない複数の画素からの出力信号を得ることができる。これにより、特性変換で切換点近傍領域に生じた変換誤差を、その切換点近傍領域に対応する他の近傍画素からの出力信号における切換点近傍領域以外の領域を使用して補正することが可能となる。
【００１１】
すなわち、各特性の出力信号を数式化した出力信号モデルを用いて特性変換を行うと、実際の出力信号はなだらかに変化しているため、切換点近傍領域において出力信号モデルとの乖離が生じる。そこで、他の近傍画素からの出力信号における切換点近傍領域以外の領域を利用して変換誤差がなかった場合の出力信号を求めることにより、変換誤差を補正することが可能となる。
【００１２】
請求項２記載の発明は、請求項１記載の撮像装置であって、前記切換点制御部は前記複数の画素を規則的なグループに分け、そのグループ毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定することを特徴とする。
【００１３】
請求項２記載の発明によれば、複数の画素を規則的なグループに分けて、そのグループ毎に切換点を設定することにより、撮影画像への影響を抑えつつ、複数の変換特性の切換点を設定することが可能となる。
【００１４】
請求項３記載の発明は、請求項１記載の撮像装置であって、前記切換点制御部は連続する複数のフレーム毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定することを特徴とする。
【００１５】
請求項３記載の発明によれば、動画を撮影する場合において、複数のフレーム毎に切換点を設定することにより、撮影画像への影響を抑えつつ、複数の変換特性の切換点を設定することが可能となる。
【００１６】
請求項４記載の発明は、請求項３記載の撮像装置であって、前記切換点制御部は前記複数の画素を規則的なグループに分け、そのグループ毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定し、前記フレーム毎に前記切換点を反転させることによって前記切換点を設定することを特徴とする。
【００１７】
請求項４記載の発明によれば、動画を撮影する場合において、画素のグループ毎に設定した切換点をフレーム毎に反転させることにより、複数フレームにつき異なる切換点を容易に設定することが可能となる。
【００１８】
請求項５記載の発明は、請求項２又は請求項４記載の撮像装置であって、前記切換点制御部は前記撮像素子の縦の画素列毎に２種類の前記切換点を設定することを特徴とする。
【００１９】
請求項５記載の発明によれば、縦の画素列毎に２種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にＲＧＢフィルタを備える場合、同一色間又は異なる色間で補正を行うことができる。
【００２０】
請求項６記載の発明は、請求項２又は請求項４記載の撮像装置であって、前記切換点制御部は前記撮像素子の縦の画素列毎に４種類の前記切換点を設定することを特徴とする。
【００２１】
請求項６記載の発明によれば、縦の画素列毎に４種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にＲＧＢフィルタを備える場合は、ＲＧＢのそれぞれについて同一色間で補正を行うことが可能となる。
【００２２】
請求項７記載の発明は、請求項２又は請求項４記載の撮像装置であって、前記切換点制御部は前記撮像素子の横の画素行毎に２種類の前記切換点を設定することを特徴とする。
【００２３】
請求項７記載の発明によれば、横の画素行毎に２種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にＲＧＢフィルタを備える場合、同一色間又は異なる色間で補正を行うことができる。また、縦方向の解像度を犠牲にすることなく補正を行うことが可能となる。
【００２４】
請求項８記載の発明は、請求項２又は請求項４記載の撮像装置であって、前記切換点制御部は前記撮像素子の横の画素行毎に４種類の前記切換点を設定することを特徴とする。
【００２５】
請求項８記載の発明によれば、横の画素行毎に４種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にＲＧＢフィルタを備える場合は、ＲＧＢのそれぞれについて同一色間で補正を行うことが可能となる。また、縦方向の解像度を犠牲にすることなく補正を行うことが可能となる。
【００２６】
請求項９記載の発明は、請求項１〜請求項８いずれか一項に記載の撮像装置であって、前記信号補正部は前記変換誤差を生じた注目画素の出力信号値を前記他の近傍画素の出力信号から求めた補間値に相当する値とする補正を行うことを特徴とする。
【００２７】
請求項９記載の発明によれば、切換点の異なる近傍画素からの複数の出力信号は互いに相関関係があることから、他の近傍画素からの出力信号から変換誤差がない場合の注目画素の出力信号値に相当する補間値を求め、注目画素の出力信号値を補間値に置き換えるか、注目画素の出力信号値と補間値との比に応じて係数をかけることなどにより変換誤差を補正することが可能となる。
【００２８】
請求項１０記載の発明は、請求項９記載の撮像装置であって、前記信号補正部は前記注目画素の出力信号値と前記補間値との差が許容誤差範囲外である場合に補正を行うことを特徴とする。
【００２９】
請求項１０記載の発明によれば、注目画素の出力信号値と補間値との差が許容誤差範囲外である場合、すなわち変換誤差が撮影画像に影響を及ぼす程度の大きさである場合のみ変換誤差の補正を行うことから、不要な処理を省いて信号処理を効率化することが可能となる。
【００３０】
請求項１１記載の発明は、請求項１〜請求項１０いずれか一項に記載の撮像装置であって、前記複数種類の変換特性のうち少なくとも一つは対数変換特性であることを特徴とする。
【００３１】
請求項１１記載の発明によれば、対数変換特性を有する撮像素子を備えた撮像装置において、請求項１〜請求項１０と同様の作用を得ることができる。
【００３２】
請求項１２記載の発明は、請求項１〜請求項１０いずれか一項に記載の撮像装置であって、前記複数種類の変換特性のうち少なくとも一つは線形変換特性であることを特徴とする。
【００３３】
請求項１２記載の発明によれば、線形変換特性を有する撮像素子を備えた撮像装置において、請求項１〜請求項１０と同様の作用を得ることができる。
【００３４】
請求項１３記載の発明は、請求項１〜請求項１０いずれか一項に記載の撮像装置であって、前記複数種類の変換特性は対数変換特性及び線形変換特性であることを特徴とする。
【００３５】
請求項１３記載の発明によれば、リニアログ変換型センサを備えた撮像装置において、請求項１〜請求項１０と同様の作用を得ることができる。
【００３６】
請求項１４記載の発明は、請求項１〜請求項１０いずれか一項に記載の撮像装置であって、前記複数種類の変換特性は変換係数が異なる複数の線形変換特性であることを特徴とする。
【００３７】
請求項１４記載の発明によれば、変換係数が異なる複数の線形変換特性を有する撮像素子を備えた撮像装置において、請求項１〜請求項１０と同様の作用を得ることができる。
【００３８】
請求項１５記載の発明は、複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子を使用する撮像方法であって、複数の変換特性の切換点を設定する切換点制御工程と、前記撮像素子の出力信号を一つの変換特性によって統一的に変換された状態に変換する特性変換工程と、注目画素の出力信号の前記切換点近傍領域における変換誤差を、切換点の異なる近傍画素の出力信号の対応する領域を使用して補正する信号補正工程と、を備えることを特徴とする。
【００３９】
請求項１５記載の発明によれば、複数の変換特性の切換点を設定することにより、互いに相関関係があり、かつ切換点近傍領域が重ならない複数の出力信号を得ることができる。これにより、特性変換で切換点近傍領域に生じた変換誤差を、その切換点近傍領域に対応する他の近傍画素からの出力信号における切換点近傍領域以外の領域を使用して補正することが可能となる。
【００４０】
すなわち、各特性の出力信号を数式化した出力信号モデルを用いて特性変換を行うと、実際の出力信号はなだらかに変化しているため、切換点近傍領域において出力信号モデルとの乖離が生じる。そこで、他の近傍画素からの出力信号における切換点近傍領域以外の領域を利用して変換誤差がなかった場合の出力信号を求めることにより、変換誤差を補正することが可能となる。
【００４１】
請求項１６記載の発明は、請求項１５記載の撮像方法であって、前記切換点制御工程では前記複数の画素を規則的なグループに分け、そのグループ毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定することを特徴とする。
【００４２】
請求項１６記載の発明によれば、複数の画素を規則的なグループに分けて、そのグループ毎に切換点を設定することにより、撮影画像への影響を抑えつつ、複数の変換特性の切換点を設定することが可能となる。
【００４３】
請求項１７記載の発明は、請求項１５記載の撮像方法であって、前記切換点制御工程では連続する複数のフレーム毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定することを特徴とする。
【００４４】
請求項１７記載の発明によれば、動画を撮影する場合において、複数のフレーム毎に切換点を設定することにより、撮影画像への影響を抑えつつ、複数の変換特性の切換点を設定することが可能となる。
【００４５】
請求項１８記載の発明は、請求項１７記載の撮像方法であって、前記切換点制御工程では前記複数の画素を規則的なグループに分け、そのグループ毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定し、前記フレーム毎に前記切換点を反転させることによって前記切換点を設定することを特徴とする。
【００４６】
請求項１８記載の発明によれば、動画を撮影する場合において、画素のグループ毎に設定した切換点をフレーム毎に反転させることにより、複数フレームにつき異なる切換点を容易に設定することが可能となる。
【００４７】
請求項１９記載の発明は、請求項１６又は請求項１８記載の撮像方法であって、前記切換点制御工程では前記撮像素子の縦の画素列毎に２種類の前記切換点を設定することを特徴とする。
【００４８】
請求項１９記載の発明によれば、２種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にＲＧＢフィルタを備える場合、同一色間又は異なる色間で補正を行うことができる。
【００４９】
請求項２０記載の発明は、請求項１６又は請求項１８記載の撮像方法であって、前記切換点制御工程では前記撮像素子の縦の画素列毎に４種類の前記切換点を設定することを特徴とする。
【００５０】
請求項２０記載の発明によれば、４種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にＲＧＢフィルタを備える場合は、ＲＧＢのそれぞれについて同一色間で補正を行うことが可能となる。
【００５１】
請求項２１記載の発明は、請求項１６又は請求項１８記載の撮像方法であって、前記切換点制御工程では前記撮像素子の横の画素行毎に２種類の前記切換点を設定することを特徴とする。
【００５２】
請求項２１記載の発明によれば、２種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にＲＧＢフィルタを備える場合、同一色間又は異なる色間で補正を行うことができる。また、縦方向の解像度を犠牲にすることなく補正を行うことが可能となる。
【００５３】
請求項２２記載の発明は、請求項１６又は請求項１８記載の撮像方法であって、前記切換点制御工程では前記撮像素子の横の画素行毎に４種類の前記切換点を設定することを特徴とする。
【００５４】
請求項２２記載の発明によれば、４種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にＲＧＢフィルタを備える場合は、ＲＧＢのそれぞれについて同一色間で補正を行うことが可能となる。また、縦方向の解像度を犠牲にすることなく補正を行うことが可能となる。
【００５５】
請求項２３記載の発明は、請求項１５〜請求項２２いずれか一項に記載の撮像方法であって、前記信号補正工程では前記変換誤差を生じた注目画素の出力信号値を前記他の近傍画素の出力信号から求めた補間値に相当する値とする補正を行うことを特徴とする。
【００５６】
請求項２３記載の発明によれば、切換点の異なる複数の出力信号は互いに相関関係があることから、他の近傍画素からの出力信号から変換誤差がない場合の注目画素の出力信号値に相当する補間値を求め、注目画素の出力信号値を補間値に置き換えるか、注目画素の出力信号値と補間値との比に応じて係数をかけることなどにより変換誤差を補正することが可能となる。
【００５７】
請求項２４記載の発明は、請求項２３記載の撮像方法であって、前記信号補正工程では前記注目画素の出力信号値と前記補間値との差が許容誤差範囲外である場合に補正を行うことを特徴とする。
【００５８】
請求項２４記載の発明によれば、注目画素の出力信号値と補間値との差が許容誤差範囲外である場合、すなわち変換誤差が撮影画像に影響を及ぼす程度の大きさである場合のみ変換誤差の補正を行うことから、不要な処理を省いて信号処理を効率化することが可能となる。
【００５９】
請求項２５記載の発明は、請求項１５〜請求項２４いずれか一項に記載の撮像方法であって、前記複数種類の変換特性のうち少なくとも一つは対数変換特性であることを特徴とする。
【００６０】
請求項２５記載の発明によれば、対数変換特性を有する撮像素子を備えた撮像装置において、請求項１５〜請求項２４と同様の作用を得ることができる。
【００６１】
請求項２６記載の発明は、請求項１５〜請求項２４いずれか一項に記載の撮像方法であって、前記複数種類の変換特性のうち少なくとも一つは線形変換特性であることを特徴とする。
【００６２】
請求項２６記載の発明によれば、線形変換特性を有する撮像素子を備えた撮像装置において、請求項１５〜請求項２４と同様の作用を得ることができる。
【００６３】
請求項２７記載の発明は、請求項１５〜請求項２４いずれか一項に記載の撮像方法であって、前記複数種類の変換特性は対数変換特性及び線形変換特性であることを特徴とする。
【００６４】
請求項２７記載の発明によれば、リニアログ変換型センサを備えた撮像装置において、請求項１５〜請求項２４と同様の作用を得ることができる。
【００６５】
請求項２８記載の発明は、請求項１５〜請求項２４いずれか一項に記載の撮像方法であって、前記複数種類の変換特性は変換係数が異なる複数の線形変換特性であることを特徴とする。
【００６６】
請求項２８記載の発明によれば、変換係数が異なる複数の線形変換特性を有する撮像素子を備えた撮像装置において、請求項１５〜請求項２４と同様の作用を得ることができる。
【発明の効果】
【００６７】
請求項１又は請求項１５記載の発明によれば、切換点の異なる他の近傍画素からの出力信号における切換点近傍領域以外の領域を利用した補正を行い、切換点近傍領域における変換誤差を最小限に抑制することができる。
【００６８】
請求項２又は請求項１６記載の発明によれば、撮影画像への影響を抑えつつ、複数の変換特性の切換点を設定することが可能となる。
【００６９】
請求項３又は請求項１７記載の発明によれば、撮影画像への影響を抑えつつ、複数の変換特性の切換点を設定することが可能となる。
【００７０】
請求項４又は請求項１８記載の発明によれば、複数フレームにつき異なる切換点を容易に設定することが可能となる。
【００７１】
請求項５又は請求項１９記載の発明によれば、切換点の異なる他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。
【００７２】
請求項６又は請求項２０記載の発明によれば、切換点の異なる他の近傍画素からの出力信号を利用して同一色間で変換誤差の補正を行うことが可能となる。
【００７３】
請求項７又は請求項２１記載の発明によれば、切換点の異なる他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。また、縦方向の解像度を犠牲にすることなく補正を行うことができる。
【００７４】
請求項８又は請求項２２記載の発明によれば、切換点の異なる他の近傍画素からの出力信号を利用して同一色間で変換誤差の補正を行うことが可能となる。また、縦方向の解像度を犠牲にすることなく補正を行うことができる。
【００７５】
請求項９又は請求項２３記載の発明によれば、切換点の異なる複数の出力信号の相関関係を利用して補間値を求め、変換誤差を補正することが可能となる。
【００７６】
請求項１０又は請求項２４記載の発明によれば、不要な処理を省いて信号処理を効率化することが可能となる。
【００７７】
請求項１１又は請求項２５記載の発明によれば、対数変換特性を有する撮像素子を備えた撮像装置において、上記と同様の効果を得ることができる。
【００７８】
請求項１２又は請求項２６記載の発明によれば、線形変換特性を有する撮像素子を備えた撮像装置において、上記と同様の効果を得ることができる。
【００７９】
請求項１３又は請求項２７記載の発明によれば、リニアログ変換型センサを備えた撮像装置において、上記と同様の効果を得ることができる。
【００８０】
請求項１４又は請求項２８記載の発明によれば、変換係数が異なる複数の線形変換特性を有する撮像素子を備えた撮像装置において、上記と同様の効果を得ることができる。
【発明を実施するための最良の形態】
【００８１】
本発明の実施の形態について、図面を参照して説明する。
【００８２】
図１に、本実施形態に係る撮像装置１の機能的構成を示す。
【００８３】
図１に示すように、撮像装置１はシステム制御部２を備えている。システム制御部２はＣＰＵ（Central Processing Unit）、書き換え可能な半導体素子で構成されるＲＡＭ（Random Access Memory）及び不揮発性の半導体メモリで構成されるＲＯＭ（Read Only Memory）から構成されている。
【００８４】
また、システム制御部２には撮像装置１の各構成部分が接続されており、システム制御部２は、ＲＯＭに記録された処理プログラムをＲＡＭに展開してＣＰＵによりこの処理プログラムを実行することにより、これらの各構成部分を駆動制御するようになっている。
【００８５】
図１に示すように、システム制御部２には、レンズユニット３、絞り制御部４、撮像素子５、アンプ６、ＡＤコンバータ（ＡＤＣ）７、タイミング生成部８、変曲点制御部９、黒基準補正部１０、線形化信号補正部１１、ＡＥ・ＡＷＢ評価値検出部１２及び画像処理部１３が接続されている。
【００８６】
レンズユニット３は、被写体光像を撮像素子５の撮像面に結像する複数のレンズ及びそのレンズによって集光される光の量を調整する絞り部から構成されている。
【００８７】
絞り制御部４は、レンズユニット３においてレンズにより集光される光の量を調整する絞り部を駆動制御するようになっている。すなわち、絞り制御部４は、システム制御部２から入力される制御値に基づき、撮像素子５の撮像動作開始直前に絞り部を開口させてから所定の露光時間の経過後に絞り部を閉塞させ、また、非撮像時は撮像素子５への入射光を遮断することによって、入射光量を制御するようになっている。
【００８８】
撮像素子５は、レンズユニット３を透過した入射光を電気信号に光電変換して取り込むようになっている。
【００８９】
ここで、本発明の撮像素子は複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子であり、複数の変換特性の出力信号が切換点を介して連続的に変化するようになっている。
【００９０】
本実施形態の撮像素子５は、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサとして構成されている。すなわち、撮像素子５の出力信号は変曲点を介してリニア領域からログ領域に連続的に変化するようになっている。ここで、「変曲点」とは線形変換動作と対数変換動作との境界を意味し、複数種類の変換特性を有する撮像素子の出力信号の「切換点」の下位概念となる語である。
【００９１】
以下に、本実施形態の撮像素子５の構成例を示す。
【００９２】
図２に示すように、本実施形態の撮像素子５は行列配置（マトリクス配置）された複数の画素Ｇ11〜Ｇmn（但し、ｎ，ｍは１以上の整数）を有している。各画素Ｇ11〜Ｇmnは、入射光を光電変換して電気信号を出力するものである。
【００９３】
また、画素Ｇ11〜Ｇmnのレンズユニット３側には、ベイヤ配列の色（ＲＧＢ）フィルタが配置されている。なお、本実施形態では色フィルタの配置をベイヤ配列としているが、色フィルタの配置はこれに限られるものではない。
【００９４】
また、本実施形態の撮像素子５は各画素にＲＧＢフィルタを備えるものとしたが、シアン（Cyan）、マゼンタ（Magenta）、イエロー（Yellow）など他の色フィルタを備えるものとしてもよい。
【００９５】
図２に示すように、各画素Ｇ11〜Ｇmnには、レンズユニット３から入射した光を電荷に光電変換するフォトダイオードＤと、フォトダイオードＤから読み出された電荷を蓄積するキャパシタＣと、フォトダイオードＤ及びキャパシタＣのリセット動作及び電荷の読み出しを制御するトランジスタＱ１，Ｑ２と、キャパシタＣから読み出された電荷を電圧に変換するトランジスタＱ３と、各画素Ｇ11〜Ｇmnからの電圧信号の読み出しを制御するトランジスタＱ４とがそれぞれ設けられている。
【００９６】
図２に示すように、トランジスタＱ１には信号入力ラインＬＲ１〜ＬＲｎが接続されると共に、電源電圧ＶＤＤが接続されている。また、トランジスタＱ２には信号入力ラインＬＴ１〜ＬＴｎが接続されており、トランジスタＱ３には電源電圧ＶＤＤが接続されていると共に、トランジスタＱ４が接続されている。また、トランジスタＱ４には信号読出ラインＬＳＹ１〜ＬＳＹｎが接続されていると共に、トランジスタＱ５が接続されている。更に、トランジスタＱ５には信号読出ラインＬＳｘ１〜ＬＳｘｎが接続されている。なお、トランジスタＱ１〜Ｑ５は、ＰチャネルのＭＯＳトランジスタである。
【００９７】
信号入力ラインＬＲ１〜ＬＲｎ及び信号入力ラインＬＴ１〜ＬＴｎは各画素Ｇ11〜Ｇmnが備えるトランジスタＱ１，Ｑ２に対して転送信号φＴＲＦ，リセット信号φＲＳＴ（図３参照）をそれぞれ入力するようになっている。これら信号入力ラインＬＲ１〜ＬＲｎ及び信号入力ラインＬＴ１〜ＬＴｎにはタイミング生成部８が接続されており、所定のタイミングでトランジスタＱ１，Ｑ２に転送信号φＴＲＦ，リセット信号φＲＳＴを入力することにより、各画素Ｇ11〜Ｇmnのリセット動作や露光動作の開始及び終了を制御するようになっている。
【００９８】
信号読出ラインＬＳＹ１〜ＬＳＹｎは各画素Ｇ11〜Ｇmnが備えるトランジスタＱ４に対して信号φＳＹ（図３参照）を入力するようになっている。この信号読出ラインＬＳＹ１〜ＬＳＹｎには垂直シフトレジスタ１９が接続されており、タイミング生成部８からの信号に基づき信号を入力する対象の信号読出ラインＬＳＹ１〜ＬＳＹｎをＹ方向に切り換えることによって、Ｙ方向に配列された各画素Ｇｍ１〜Ｇmnから順次信号を読み出せる状態とするようになっている。
【００９９】
信号読出ラインＬＳｘ１〜ＬＳｘｎはトランジスタＱ５に対して信号φＳｘ（図３参照）を入力するようになっている。この信号読出ラインＬＳｘ１〜ＬＳｘｎには水平シフトレジスタ２０が接続されており、タイミング生成部８からの信号に基づき信号を入力する対象の信号読出ラインＬＳｘ１〜ＬＳｘｎをＸ方向に切り換えることによって、Ｘ方向に配列された各画素Ｇ１ｎ〜Ｇmnから順次信号を読み出せる状態とするようになっている。
【０１００】
このように、垂直シフトレジスタ１９及び水平シフトレジスタ２０による信号φＳｘ，φＳＹの入力によって、行列配置された複数の画素Ｇ11〜Ｇmnのうち任意の位置の画素Ｇmnで生成された電気信号を順次導出できるようになっており、各画素Ｇ11〜Ｇmnから導出された撮像素子５の出力端の電気信号とグランドとの間の信号変化がアンプ６に出力されるようになっている。
【０１０１】
このような回路構成をとることにより、各画素Ｇ11〜Ｇmnは図３に示すような動作を行うようになっている。
【０１０２】
なお、図３における説明の便宜上、図２に示す４つの画素を画素Ｇ11，Ｇ12，Ｇ21，Ｇ22として、タイミング生成部８が信号入力ラインＬＲ１より画素Ｇ12，Ｇ22のトランジスタＱ１にリセット信号φＲＳＴ１を入力すると共に信号入力ラインＬＲ２より画素Ｇ11，Ｇ21のトランジスタＱ１にリセット信号φＲＳＴ２を入力し、また、信号入力ラインＬＴ１より画素Ｇ12，Ｇ22のトランジスタＱ２に転送信号φＴＲＦ１を入力すると共に信号入力ラインＬＴ２より画素Ｇ11，Ｇ21のトランジスタＱ２に転送信号φＴＲＦ２を入力するものとする。また、垂直シフトレジスタ１９が信号読出ラインＬＳＹ１より画素Ｇ12，Ｇ22のトランジスタＱ４に信号φＳＹ１を入力すると共に信号読出ラインＬＳＹ２より画素Ｇ11，Ｇ21のトランジスタＱ４に信号φＳＹ２を入力するものとし、水平シフトレジスタ２０が信号読出ラインＬＳｘ１より画素Ｇ21，Ｇ22に接続されたトランジスタＱ５に信号φＳｘ１を入力すると共に信号読出ラインＬＳｘ２より画素Ｇ11，Ｇ12に接続されたトランジスタＱ５に信号φＳｘ２を入力するものとする。
【０１０３】
撮影の開始に際しては、図３に示すように、転送信号φＴＲＦ１，φＴＲＦ２をＨとして各画素が備えるトランジスタＱ２をＯＮにし、リセット信号φＲＳＴ１，φＲＳＴ２をＨとして各画素が備えるトランジスタＱ１をＯＮにすると、フォトダイオードＤ及びキャパシタＣの電圧は電源電圧ＶＤＤと同じ電圧にリセットされる。そして、転送信号φＴＲＦ１をＭ、転送信号φＴＲＦ２をＬとしてトランジスタＱ２をＯＦＦにすると共に、リセット信号φＲＳＴ１，φＲＳＴ２をＬとしてトランジスタＱ１をＯＦＦにすると、リセット動作が完了するようになっている。
【０１０４】
また、タイミング生成部８は、各画素に入力する転送信号φＴＲＦ１，φＴＲＦ２をＨとしてトランジスタＱ２をＯＮとすることにより電荷を転送し、転送信号φＴＲＦ１，φＴＲＦ２をＬとしてトランジスタＱ２をＯＦＦとして電荷の転送を終了させるようになっている。
【０１０５】
また、電荷の転送が終了すると、信号φＳＹ１をＨとして画素Ｇ12，Ｇ22のトランジスタＱ４をＯＮにした状態で、信号φＳｘ１をＨとして画素Ｇ21，Ｇ22に接続されたトランジスタＱ５をＯＮにすることによって、トランジスタＱ３で電荷から変換された電圧信号が画素Ｇ22から読み出される。また、信号φＳＹ１をＨとして画素Ｇ12，Ｇ22のトランジスタＱ４をＯＮにした状態で、信号φＳｘ２をＨとして画素Ｇ11，Ｇ12に接続されたトランジスタＱ５をＯＮにすることによって、画素Ｇ12から信号が読み出される。更に、信号φＳＹ２をＨとして画素Ｇ11，Ｇ21のトランジスタＱ４をＯＮにした状態で、信号φＳｘ１をＨとして画素Ｇ21，Ｇ22に接続されたトランジスタＱ５をＯＮにすることによって、画素Ｇ21から信号が読み出される。また、信号φＳＹ２をＨとして画素Ｇ11，Ｇ21のトランジスタＱ４をＯＮにした状態で、信号φＳｘ２をＨとして画素Ｇ11，Ｇ12に接続されたトランジスタＱ５をＯＮにすることによって、画素Ｇ11から信号が読み出される。このようにして、画素Ｇ11，Ｇ12，Ｇ21，Ｇ22から順次信号が読み出されるようになっている。
【０１０６】
ここで、本実施形態の各画素Ｇ11〜ＧmnにはフォトダイオードＤと並列して図示しないキャパシタが設けられており、線形変換動作では入射光量に応じて発生した電荷が図示しないキャパシタに蓄積され、図示しないキャパシタが飽和するときに線形変換動作から対数変換動作に切り換わるようになっている。
【０１０７】
これにより、線形変換動作では入射光量の積分値に応じた信号が出力され、対数変換動作では信号を読み出す時点の入射光量に応じた信号が出力されることから、図４のグラフに実線で示すように、撮像素子５の出力信号は入射光量に応じて線形領域及び対数領域が連続的に変化するようになっている。
【０１０８】
また、図３に示すように、トランジスタＱ２に入力する転送信号φＴＲＦ１，φＴＲＦ２はそれぞれ２値の電圧信号となっている。より詳細には、転送信号φＴＲＦ１は入射光量が所定の閾値を超えたときにトランジスタＱ２をサブスレッショルド領域で動作させるための電圧値ＶＭと、トランジスタＱ２を導通状態にする電圧値ＶＨとの２つの値をとるようになっている。また、転送信号φＴＲＦ２は入射光量が所定の閾値を超えたときにトランジスタＱ２をサブスレッショルド領域で動作させるための電圧値ＶＬと、トランジスタＱ２を導通状態にする電圧値ＶＨとの２つの値をとるようになっている。
【０１０９】
この転送信号φＴＲＦ１，φＴＲＦ２のｏｆｆ時の電圧を低くすると、各画素Ｇｍ１〜Ｇmnが備えるトランジスタＱ２のゲート・ソース間のポテンシャル差が大きくなり、トランジスタＱ２がカットオフ状態で動作する被写体輝度の割合が大きくなる。
【０１１０】
したがって、入射光量の輝度範囲が狭い場合はｏｆｆ時の電圧値を低くして線形変換動作する輝度範囲を広くし、また、入射光量の輝度範囲が広い場合はｏｆｆ時の電圧値を高くして対数変換動作する輝度範囲を広くして、被写体の特性に合った光電変換特性とすることが可能である。また、電圧値を最小として常に線形変換動作する状態とすることや、電圧値を最大として常に対数変換動作する状態とすることもできる。これにより、転送信号φＴＲＦ１，φＴＲＦ２のｏｆｆ時の電圧値を制御して、線形変換動作と対数変換動作との境界である変曲点を任意に設定することが可能となっている。
【０１１１】
本実施形態では、転送信号φＴＲＦ１のｏｆｆ時の電圧はＭレベル、φＴＲＦ２のｏｆｆ時の電圧はＬレベルとすることにより、横の画素行毎に変曲点の設定を変更することが可能となっている。
【０１１２】
このように、本実施形態の撮像素子５は横の画素行毎に変曲点の設定を変えることが可能な構成となっているが、縦の画素列毎に変曲点の設定を変えることが可能な構成とすることもできる。
【０１１３】
例えば、図５に示すように、信号入力ラインＬＴＡ１〜ＬＴＡｎ及び信号入力ラインＬＴＢ１〜ＬＴＢｎをそれぞれ縦の画素列毎に接続することにより、縦の画素列毎に変曲点の設定を変えることができる。
【０１１４】
この場合、図６に示すように、信号入力ラインＬＴＡ１〜ＬＴＡｎではｏｆｆ時の電圧をＭレベルとし、信号入力ラインＬＴＢ１〜ＬＴＢｎではｏｆｆ時の電圧をＬレベルとすればよい。
【０１１５】
また、本実施形態の撮像素子５はリニアログ変換型センサとして構成されているが、本発明の撮像装置は、複数種類の変換特性のうち少なくとも一つが対数変換特性又は線形変換特性である撮像素子や、図７のグラフに実線で示すように、変換係数が異なる複数（図７では３種類）の線形変換特性を有する撮像素子を備えた構成とすることも可能である。
【０１１６】
図１に戻り、撮像素子５には、アンプ６及びＡＤコンバータ（ＡＤＣ）７がこの順に接続されており、撮像素子５及びＡＤコンバータ７にはタイミング生成部８が接続されている。また、タイミング生成部８には変曲点制御部９が接続されており、変曲点制御部９は撮像素子５に接続されている。
【０１１７】
更に、ＡＤコンバータ７には黒基準補正部１０及び線形化信号補正部１１がこの順に接続されており、線形化信号補正部１１にはＡＥ・ＡＷＢ評価値検出部１２及び画像処理部１３がそれぞれ接続されている。
【０１１８】
このうち、アンプ６は、撮像素子５から出力された電気信号を所定の規定レベルに増幅して撮影画像のレベル不足を補償するようになっている。
【０１１９】
また、ＡＤコンバータ７は、アンプ６において増幅された電気信号をアナログ信号からデジタル信号に変換するようになっている。
【０１２０】
また、タイミング生成部８は、所定のタイミングパルスを生成して撮像素子５に出力することにより撮像素子５の撮影動作（露光に基づく電荷蓄積や蓄積電荷の読出しなど）を制御するようになっている。すなわち、システム制御部２からの撮影制御信号に基づき、信号入力ラインＬＲ１〜ＬＲｎ及び信号入力ラインＬＴ１〜ＬＴｎより各画素Ｇ11〜ＧmnのトランジスタＱ１，Ｑ２に転送信号φＴＲＦ，リセット信号φＲＳＴを入力すると共に、垂直シフトレジスタ１９及び水平シフトレジスタ２０に水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号などを入力するようになっている。
【０１２１】
また、タイミング生成部８は、Ａ／Ｄコンバータ７において用いられるＡ／Ｄ変換用のクロックも生成する。
【０１２２】
また、変曲点制御部９は、複数の変換特性の切換点を設定する切換点制御部としての機能を果たすものである。本実施形態の撮像装置１は、複数の変曲点を設定し、注目画素の出力信号の変曲点近傍領域における変換誤差を、その出力信号の変曲点近傍領域に対応する他の近傍画素からの出力信号の領域を使用して補正する必要から、撮像素子５の画素Ｇ11〜Ｇmnを規則的なグループに分け、そのグループ毎に変曲点近傍領域が重ならないように変曲点を設定するようになっている。
【０１２３】
この「複数のグループ」としては、例えば、所定の画素行又は所定の画素列とすることが考えられる。すなわち、縦の画素列毎に２種類又は４種類の変曲点を設定することや、横の画素行毎に２種類又は４種類の変曲点を設定することなどが可能である。
【０１２４】
また、連続して画像を撮影する場合は、連続する複数のフレーム毎に変曲点近傍領域が重ならないように変曲点を設定するようになっている。すなわち、動画のように連続して画像データの出力を行う場合であって、あまり動きの速い被写体を撮影しない場合は、前後の２フレーム間又は２以上の複数フレーム間で異なるように変曲点を設定することにより、補正を行うようになっている。
【０１２５】
この場合、画素間の変曲点は異なるものとして設定する必要はなく、画素構成を簡易化することができる。また、連続して画像を撮影する場合にも、複数の画素Ｇ11〜Ｇmnを規則的なグループに分け、そのグループ毎に変曲点近傍領域が重ならないように変曲点を設定し、フレーム毎に変曲点を反転させて変曲点を設定することも可能である。
【０１２６】
本実施形態の撮像素子５では、上述のように色フィルタの配置がベイヤ配列となっており、ＲＧＢ毎に異なる変曲点をそれぞれ最低２種類ずつ設定することが好ましい。また、最低でもＧに関して２つの異なる変曲点を設定し、ＲＢ間に関して異なる変曲点を設定することが好ましい。
【０１２７】
例えば、図２に示す構成の撮像素子５を使用する場合は、横の画素行毎に変曲点を変更することができる。この場合は、縦方向の解像度を犠牲にすることなく変曲点を設定することが可能となる。
【０１２８】
例えば、図８に示すように、ＧＢ行を変曲点ａ、ＲＧ行を変曲点ｂに設定することが可能である。この結果、Ｇに関しては変曲点が２設定となり、ＲＢに関しては色間で２設定となるが、同一色では２設定とならない。これにより、Ｇに関しては同一色間で補正を行うことができるが、ＲＢに関しては他の色（Ｇなど）から補正を行うことになる。
【０１２９】
また、図９に示すように、２行の画素行毎に変曲点ａ、変曲点ｂを設定することも可能である。この結果、ＲＧＢのそれぞれに関して変曲点は２設定となる。これにより、ＲＧＢのそれぞれについて同一色間で補正を行うことができる。
【０１３０】
また、図５に示す構成の撮像素子５を使用する場合は、縦の画素列毎に変曲点を変更することが可能である。
【０１３１】
例えば、図１０に示すように、ＧＲ行を変曲点ａ、ＢＧ行を変曲点ｂに設定することが可能である。この結果、Ｇに関しては変曲点が２設定となり、ＲＢに関しては色間では２設定となるが、同一色では２設定とならない。これにより、Ｇに関しては同一色間で補正を行うことができるが、ＲＢに関しては他の色（Ｇなど）から補正を行うことになる。
【０１３２】
また、図１１に示すように、２列の画素列毎に変曲点ａ、変曲点ｂを設定することも可能である。この結果、ＲＧＢのそれぞれに関して変曲点は２設定となる。これにより、ＲＧＢのそれぞれについて同一色間で補正を行うことができる。
【０１３３】
更に、図１２に示すように、１列の画素列毎に変曲点ａ〜ｄを設定することも可能である。この結果、Ｇに関しては４設定となり、ＲＢに関しては２設定となる。これにより、ＲＧＢのそれぞれについて同一色間で補正を行うことができる。
【０１３４】
なお、図８〜図１２は変曲点の設定パターンとして好ましい例を示したものであり、他の設定パターンとすることも可能である。例えば、Ｇに関してのみ変曲点を２設定とすることや、Ｇに関しては２設定とし、Ｒに関しては縦又は横に２設定、Ｂに関しては横又は縦に２設定とすることなども可能である。また、変曲点ａの値と変曲点ｂの値とをフレームごとに反転させることも可能である。
【０１３５】
図１に戻り、黒基準補正部１０は、最低輝度値となる黒レベルを、基準値に補正するようになっている。すなわち、撮像素子５の黒レベルが変動するため、ＡＤコンバータ７から出力されるＲＧＢ各信号の信号レベルに対して、黒レベルとなる基準信号レベルとの差分を減算することで黒基準補正を行うようになっている。
【０１３６】
また、線形化信号補正部１１は、注目画素の出力信号の変曲点近傍領域における変換誤差を、切換点の異なる近傍画素の出力信号の対応する領域を使用して補正する信号補正部としての機能を果たすものである。すなわち、線形化信号補正部１１は、変換誤差を生じた注目画素の出力信号値を、切換点の異なる近傍画素の出力信号から求めた補間値に相当する値とする補正を行うようになっている。
【０１３７】
ここで、「補間値に相当する値とする」とは、注目画素の出力信号値を補間値に置き換えることのほか、注目画素の出力信号値と補間値との差の大きさに応じて注目画素の出力信号値に係数を乗算することなどを意味する。
【０１３８】
図１３に示すように、線形化信号補正部１１は、リニアログ変換部２１、補間値算出部２２、比較部２３及び切替部２４を備えて構成されており、画素からの出力信号のうち対数変換された部分を線形化すると共に、変換誤差を補正するようになっている。
【０１３９】
リニアログ変換部２１は、撮像素子５の出力信号を一つの変換特性によって統一的に変換された状態に変換する特性変換部としての機能を果たすものであり、撮像素子５の出力信号のうち対数変換された部分を線形化するようになっている。例えば、図１４は、２種類の変曲点が設定された撮像素子５の出力信号を線形化する例である。
【０１４０】
補間値算出部２２は、リニアログ変換部２１における変換誤差を補正するための補間値を算出するようになっている。
【０１４１】
ここで「変換誤差」とは、図４、図７又は図１４に点線で示すような、線形領域及び対数領域の出力信号をそれぞれ数式化した出力信号モデルを利用し、線形化処理を行った場合に生じる変換誤差をいう。
【０１４２】
すなわち、実際の出力信号は、図４、図７又は図１４に実線で示すように、線形領域から対数領域になだらかに変化している。したがって、図４、図７又は図１４に点線で示す信号モデルを用いて線形化処理を行うと、変曲点近傍領域で出力信号モデルとの乖離が生じ、変換誤差が生じる。
【０１４３】
そこで、この変曲点近傍領域における変換誤差を、周辺画素の出力信号を利用して補正するようになっている。すなわち、上述のようにＲＧＢ毎に異なる変曲点をそれぞれ最低２種類ずつ設定すると、注目画素と周辺画素とでは変曲点が異なることから、注目画素の出力信号が変曲点近傍領域であるとき、周辺画素の出力信号は完全線形領域又は完全対数領域にあることになる。そこで、変換誤差のない周辺画素の出力信号を利用して、変曲点近傍領域における変換誤差を補正するようになっている。
【０１４４】
例えば、２種類の変曲点を設定した場合は、図１５に示すように、出力信号（Ａ）の変曲点近傍領域における変換誤差は、出力信号（Ｂ）の完全対数領域を利用して補正することができる。また、出力信号（Ｂ）の変曲点近傍領域における変換誤差は、出力信号（Ａ）の完全線形領域を利用して補正を行うことができる。
【０１４５】
また、図１２に示すように、４種類の変曲点を設定した場合は、図１６に示すように、出力信号（Ｃ）の変曲点近傍領域における変換誤差は出力信号（Ｅ）又は出力信号（Ｆ）の完全対数領域を利用し、出力信号（Ｄ）の変曲点近傍領域における変換誤差は出力信号（Ｆ）の完全対数領域を利用し、出力信号（Ｅ）の変曲点近傍領域における変換誤差は出力信号（Ｃ）の完全対数領域を利用し、出力信号（Ｆ）の変曲点近傍領域における変換誤差は出力信号（Ｃ）又は出力信号（Ｄ）の完全対数領域を利用して補正を行うことができる。
【０１４６】
具体的には、周辺画素の出力信号に基づき、注目画素において変換誤差がない場合の出力信号値に相当する補間値を求め、実際の注目画素の出力信号値と補間値との差が誤差許容値以上である場合は、注目画素の出力信号値を補間値に置き換えることにより、変換誤差の補正を行う。
【０１４７】
例えば、図１７は同一色間で補正を行う場合の概念図である。図１７に示すように、注目画素の出力信号及び周辺画素の出力信号には相関関係があることから、周辺画素の出力信号に基づいて補間値を求めることが可能であり、注目画素の出力信号値を補間値に置き換えることにより補正を行うことができる。
【０１４８】
また、図１８は他の色から補正を行う場合の概念図である。この場合も同様に、周辺画素の出力信号に基づいて補間値を求め、注目画素の出力信号値として置き換えることにより補正を行うことができる。
【０１４９】
次に、「補間値」の内容について説明する。
【０１５０】
補間値算出部２２が算出する「補間値」とは、注目画素の周辺に位置する複数画素の出力信号の「平均値」に「所定値」を乗算した値をいう。
【０１５１】
図１９において、縦の画素列１列毎に異なる変曲点を設定とし、注目画素を注目画素Ｇαとした場合は、周辺画素ＧＳα１〜ＧＳα４の平均値Ｇａｖαを求める。また、注目画素を注目画素Ｇβとした場合は、周辺画素ＧＳβ１〜ＧＳβ４の平均値Ｇａｖβを求める。
【０１５２】
また、「平均値」に乗算する「所定値」とは、注目画素の出力信号と周辺画素の出力信号のレベル差に相当する値である。この「所定値」は、注目画素の出力信号の平均値と周辺画素の出力信号の平均値との差をとることなどによって求めることができる。
【０１５３】
次に、「補間値」の算出式について、図２０のように２種類の変曲点（ｉ）及び（ii）を設定した場合を例にして、具体的に説明する。
【０１５４】
図２０の例において、Ｇ２２ｍ，２ｎの補正を行う場合（Ｇ２が変曲点近傍領域にある場合）は下記式（１）となる。ただし、下記式（１）〜（８）において「α」は「所定値」に相当する係数を意味し、「Ｓｇ」、「Ｓｂ」、「Ｓｇ１」、「Ｓｇ３」はそれぞれ誤差許容値を意味する。
【０１５５】
【数１】
0004710617.tif 000002
【０１５６】
また、図２０の例において、Ｇ１２ｍ−１，２ｎ−１の補正を行う場合（Ｇ１が変曲点近傍領域にある場合）は下記式（２）となる。
【０１５７】
【数２】
0004710617.tif 000003
【０１５８】
次に、Ｂ２２ｍ−１，２ｎの補正を行う場合について説明する。
【０１５９】
まず、Ｇ１画素が変曲点近傍領域にない場合は下記式（３）となる。
【０１６０】
【数３】
0004710617.tif 000004
【０１６１】
また、Ｇ２画素が変曲点近傍領域にない場合は下記式（４）となる。
【０１６２】
【数４】
0004710617.tif 000005
【０１６３】
次に、Ｒ１２ｍ，２ｎ−１の補正を行う場合について説明する。
【０１６４】
まず、Ｇ２画素が変曲点近傍領域にない場合は下記式（５）となる。
【０１６５】
【数５】
0004710617.tif 000006
【０１６６】
また、Ｇ１画素が変曲点近傍領域にない場合は下記式（６）となる。
【０１６７】
【数６】
0004710617.tif 000007
【０１６８】
更に、「補間値」の算出式について、図２１のように４種類の変曲点（ｉ）〜（iv）を設定した場合を例にして、具体的に説明する。
【０１６９】
図２１の例において、Ｇ１２ｍ−１，４ｎ−３の補正を行う場合は下記式（７）となる。
【０１７０】
【数７】
0004710617.tif 000008
【０１７１】
また、図２１の例において、Ｇ３２ｍ−１，４ｎ−１の補正を行う場合は下記式（８）となる。
【０１７２】
【数８】
0004710617.tif 000009
【０１７３】
また、図２１の例において、Ｇ２とＧ４、Ｂ２とＢ４、Ｒ１とＲ３の補正も上記式（７）又は（８）と同様の計算式によって行うことができる。
【０１７４】
比較部２３は、注目画素と補間値とのレベル差を比較して、比較結果を切替部２４に出力するようになっている。
【０１７５】
切替部２４は、比較部２３における比較結果に基づき、注目画素と補間値とのレベル差が誤差許容値以下の場合は、リニアログ変換部２１の出力信号をそのまま出力し、注目画素と補間値とのレベル差が誤差許容値より大きい場合は、補間値算出部２２において算出された補間値を出力するようになっている。すなわち、線形化信号補正部１１は、注目画素の出力信号値と補間値との差が許容誤差範囲外である場合のみ補正を行うようになっている。
【０１７６】
図１に戻り、ＡＥ・ＡＷＢ評価値検出部１２は、黒基準補正部１０において黒基準補正された電気信号から、自動露出制御（ＡＥ）及び自動ホワイトバランス（ＡＷＢ）を行うためのそれぞれの評価値を検出するようになっている。
【０１７７】
また、画像処理部１３は、ＡＷＢ制御部１４、色補間部１５、色補正部１６、階調変換部１７及び色空間変換部１８を備えて構成され、これらの構成部分はこの順に接続されている。
【０１７８】
このうちＡＷＢ制御部１４は、線形化信号補正部１１の出力信号から補正係数を算出することによって、撮像画像のＲ，Ｇ，Ｂの各色成分のレベル比（Ｒ／Ｇ，Ｂ／Ｇ）を調整して白色を正しく表示するようになっている。
【０１７９】
また、色補間部１５は、撮像素子５の画素において得られる信号が原色のうち一つあるいは二つだけである場合に、各画素についてＲ，Ｇ，Ｂの各色成分値を求めることができるように、欠落する色成分を画素毎に補間する色補間処理を行うようになっている。
【０１８０】
また、色補正部１６は、色補間部１５から入力する画像データの画素毎の色成分値を補正して、各画素の色合いを強調した画像を生成するようになっている。
【０１８１】
また、階調変換部１７は、画像を忠実に再現すべく、画像の入力から最終出力までにおいてガンマを１として理想階調再現特性を実現するために、画像の階調の応答特性を撮像素子５のガンマ値に応じた最適のカーブに補正するガンマ補正処理を行うようになっている。
【０１８２】
また、色空間変換部１８は、色空間をＲＧＢからＹＵＶに変換するようになっている。ＹＵＶは、輝度（Y）信号と青の色差（U、Cb）と赤の色差（V、Cr）の２つの色度で色を表現する色空間の管理方法であり、色空間をＹＵＶに変換することにより、色差信号のデータ圧縮が行いやすくなる。
【０１８３】
次に、本実施形態の撮像装置１を使用した本発明の撮像方法について説明する。
【０１８４】
まず、変曲点制御部９は、撮像素子５の画素を複数のグループに分けて、各グループの出力信号の変曲点近傍領域が重ならないように、そのグループ毎に異なる変曲点を設定する。
【０１８５】
本実施形態の撮像素子５では、上述のように色フィルタの配置がベイヤ配列となっていることから、ＲＧＢ毎に異なる変曲点をそれぞれ最低２種類ずつ設定することが好ましい。
【０１８６】
例えば、図２に示す構成の撮像素子５を使用する場合は、図８又は図９に示すように、横の画素行毎に変曲点を変更することができる。この場合は、縦方向の解像度を犠牲にすることなく変曲点を設定することが可能となる。また、図５に示す構成の撮像素子５を使用する場合は、図１０又は図１１に示すように、縦の画素列毎に変曲点を変更することが可能である。
【０１８７】
次に、撮像素子５の各画素Ｇ11〜Ｇmnから信号処理部６に電気信号が出力されると、アンプ６は撮像素子５から出力された電気信号を所定の規定レベルに増幅し、ＡＤコンバータ７は増幅された電気信号をデジタル信号に変換する。
【０１８８】
続いて、黒基準補正部１０が最低輝度値となる黒レベルを基準値に補正して、線形化信号補正部１１に出力する。
【０１８９】
次に、線形化信号補正部１１は、注目画素の出力信号の変曲点近傍領域における変換誤差を、切換点の異なる近傍画素の出力信号の対応する領域を使用して補正する。
【０１９０】
すなわち、まず線形化信号補正部１１のリニアログ変換部２１は、撮像素子５から出力される電気信号のうち、対数変換された部分を線形化する。例えば、図１４は、２種類の変曲点が設定された撮像素子５の出力信号を線形化する例である。
【０１９１】
続いて、補間値算出部２２は、リニアログ変換部２１における変換誤差を補正するための補間値を算出する。
【０１９２】
例えば、２種類の変曲点を設定した場合は、図１５に示すように、出力信号（Ａ）の変曲点近傍領域における変換誤差は、出力信号（Ｂ）の完全対数領域を利用して補正する。また、出力信号（Ｂ）の変曲点近傍領域における変換誤差は、出力信号（Ａ）の完全線形領域を利用して補正を行う。
【０１９３】
また、図１２に示すように、４種類の変曲点を設定した場合は、図１６に示すように、出力信号（Ｃ）の変曲点近傍領域における変換誤差は出力信号（Ｅ）又は出力信号（Ｆ）の完全対数領域を利用し、出力信号（Ｄ）の変曲点近傍領域における変換誤差は出力信号（Ｆ）の完全対数領域を利用し、出力信号（Ｅ）の変曲点近傍領域における変換誤差は出力信号（Ｃ）の完全対数領域を利用し、出力信号（Ｆ）の変曲点近傍領域における変換誤差は出力信号（Ｃ）又は出力信号（Ｄ）の完全対数領域を利用して補正を行う。
【０１９４】
具体的には、周辺画素の出力信号に基づき、注目画素において変換誤差がない場合の出力信号値に相当する補間値を求める。
【０１９５】
すなわち、補間値算出部２２は、注目画素の周辺に位置する複数画素の出力信号の「平均値」に「所定値」を乗算することにより、「補間値」を算出する。
【０１９６】
例えば、図１９において、縦の画素列１列毎に異なる変曲点を設定とし、注目画素を注目画素Ｇαとした場合は、周辺画素ＧＳα１〜ＧＳα４の平均値Ｇａｖαを求める。また、注目画素を注目画素Ｇβとした場合は、周辺画素ＧＳβ１〜ＧＳβ４の平均値Ｇａｖβを求める。
【０１９７】
また、「平均値」に乗算する「所定値」とは、注目画素の出力信号と周辺画素の出力信号のレベル差に相当する値である。この「所定値」は、注目画素の出力信号の平均値と周辺画素の出力信号の平均値との差をとることなどによって求めることができる。
【０１９８】
すなわち、「補間値」の算出方法について具体的に説明すると、図２０のように２種類の変曲点（ｉ）及び（ii）を設定した場合は、Ｇ２２ｍ，２ｎの補正は上記式（１）によって、Ｇ１２ｍ−１，２ｎ−１の補正は上記式（２）によって、Ｂ２２ｍ−１，２ｎの補正を行う場合であって、Ｇ１画素が変曲点近傍領域にない場合は上記式（３）によって、同様の場合にＧ２画素が変曲点近傍領域にない場合は上記式（４）によって補正を行うことができる。また、図２０の例において、Ｒ１２ｍ，２ｎ−１の補正を行う場合であって、Ｇ２画素が変曲点近傍領域にない場合は上記式（５）によって、Ｇ１画素が変曲点近傍領域にない場合は上記式（６）によって補正を行うことができる。
【０１９９】
また、図２１のように４種類の変曲点（ｉ）〜（iv）を設定した場合は、Ｇ１２ｍ−１，４ｎ−３の補正は上記式（７）によって、Ｇ３２ｍ−１，４ｎ−１の補正は上記式（８）によって行うことができる。更に、図２１の例において、Ｇ２とＧ４、Ｂ２とＢ４、Ｒ１とＲ３の補正も上記式（７）又は（８）と同様の計算式によって行うことができる。
【０２００】
次に、補間値算出部２２が補間値を算出すると、比較部２３は、注目画素と補間値とのレベル差を比較して、比較結果を切替部２４に出力する。
【０２０１】
次に、切替部２４は、比較部２３における比較結果に基づき、注目画素と補間値とのレベル差が誤差許容値以下の場合は、リニアログ変換部２１の出力信号をそのまま出力し、注目画素と補間値とのレベル差が誤差許容値より大きい場合は、補間値算出部２２において算出された補間値を出力する。
【０２０２】
次に、ＡＥ・ＡＷＢ評価値検出部１２は、線形化信号補正部１１の出力信号からＡＥ（自動露出）のために必要な評価値を検出してシステム制御部２に送出する。
【０２０３】
また、画像処理部１３のＡＷＢ制御部１４が線形化信号補正部１１の出力信号から補正係数を算出してＡＷＢ処理を行うと、色補間部１５は色補間処理を行い、色補正部１６は色補正処理を行う。続いて、階調変換部１７は、ガンマ補正処理を行い、色空間変換部１８は色空間をＲＧＢからＹＵＶに変換する。
【０２０４】
以上より本実施形態によれば、複数の変曲点を設定することによって、互いに相関関係があり、かつ切換点近傍領域が重ならない複数の出力信号を得ることが可能となる。これにより、リニアログ変換で変曲点近傍領域に生じた変換誤差を、その変曲点近傍領域に対応する他の近傍画素からの出力信号における変曲点近傍領域以外の領域を使用して補正することが可能となる。
【０２０５】
すなわち、各特性の出力信号を数式化した出力信号モデルを用いて特性変換を行うと、実際の出力信号はなだらかに変化しているため、変曲点近傍領域において出力信号モデルとの乖離が生じる。そこで、他の近傍画素からの出力信号における変曲点近傍領域以外の領域を利用して変換誤差がなかった場合の出力信号を求めることにより、変換誤差を補正することが可能となる。
【０２０６】
また、複数の画素Ｇ11〜Ｇmnを規則的なグループに分けて、そのグループ毎に変曲点を設定することにより、撮影画像への影響を抑えつつ、リニアログセンサの変曲点を設定することが可能となる。
【０２０７】
また、動画を撮影する場合に、複数のフレーム毎に変曲点を設定することにより、撮影画像への影響を抑えつつ、複数の変換特性の変曲点を設定することが可能となる。
【０２０８】
また、動画を撮影する場合において、画素Ｇ11〜Ｇmnのグループ毎に設定した変曲点をフレーム毎に反転させることにより、複数フレームにつき異なる変曲点を容易に設定することが可能となる。
【０２０９】
また、縦の画素列毎に２種類の変曲点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にＲＧＢフィルタを備える場合、同一色間又は異なる色間で補正を行うことができる。
【０２１０】
また、縦の画素列毎に４種類の変曲点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にＲＧＢフィルタを備える場合は、ＲＧＢのそれぞれについて同一色間で補正を行うことが可能となる。
【０２１１】
また、横の画素行毎に２種類の変曲点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にＲＧＢフィルタを備える場合、同一色間又は異なる色間で補正を行うことができる。また、縦方向の解像度を犠牲にすることなく補正を行うことが可能となる。
【０２１２】
また、横の画素行毎に４種類の変曲点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にＲＧＢフィルタを備える場合は、ＲＧＢのそれぞれについて同一色間で補正を行うことが可能となる。また、縦方向の解像度を犠牲にすることなく補正を行うことが可能となる。
【０２１３】
また、変曲点の異なる複数の出力信号は互いに相関関係があることから、他の近傍画素からの出力信号から変換誤差がない場合の注目画素の出力信号値に相当する補間値を求め、注目画素の出力信号値を補間値に置き換えるか、注目画素の出力信号値と補間値との比に応じて係数をかけることなどにより変換誤差を補正することが可能となる。
【０２１４】
また、注目画素の出力信号値と補間値との差が許容誤差範囲外である場合、すなわち変換誤差が撮影画像に影響を及ぼす程度の大きさである場合のみ変換誤差の補正を行うことから、不要な処理を省いて信号処理を効率化することが可能となる。
【０２１５】
なお、リニアログ変換型センサのみならず、対数変換特性を有する撮像素子、線形変換特性を有する撮像素子又は変換係数が異なる複数の線形変換特性を有する撮像素子を備えた撮像装置においても、上記と同様の作用を得ることができる。
【０２１６】
以上述べたように本発明の撮像装置及び撮像方法によれば、複数種類の光電変換特性を有する撮像素子を用いた撮像装置及び撮像方法において、撮像素子の出力信号の状態を統一化する際の変換誤差を最小限に抑制することが可能となる。
【図面の簡単な説明】
【０２１７】
【図１】本実施形態に係る撮像装置の機能的構成を示すブロック図である。
【図２】本実施形態に係る撮像素子の構成例を示す回路図である。
【図３】本実施形態に係る撮像素子の動作を示すタイムチャートである。
【図４】本実施形態に係る撮像素子の出力信号を示すグラフである。
【図５】本実施形態に係る撮像素子の他の構成例を示す回路図である。
【図６】本実施形態に係る他の構成例として示す撮像素子の動作を示すタイムチャートである。
【図７】本実施形態に係る他の撮像素子の出力信号の例を示すグラフである。
【図８】本実施形態に係る撮像素子における各画素の変曲点の設定パターンを示す平面図である。
【図９】各画素の変曲点の他の設定パターンを示す平面図である。
【図１０】各画素の変曲点の他の設定パターンを示す平面図である。
【図１１】各画素の変曲点の他の設定パターンを示す平面図である。
【図１２】各画素の変曲点の他の設定パターンを示す平面図である。
【図１３】本実施形態に係る線形化信号補正部の構成を示すブロック図である。
【図１４】本実施形態に係る撮像素子の出力信号の対数領域を線形化する様子を示すグラフである。
【図１５】本実施形態に係る撮像素子の出力信号の変曲点近傍領域及びその補正領域を示すグラフである。
【図１６】本実施形態に係る撮像素子の出力信号の変曲点近傍領域及びその補正領域の他の例を示すグラフである。
【図１７】本実施形態に係る線形化信号補正部が同一色間で補正を行う場合の概念図である。
【図１８】本実施形態に係る線形化信号補正部が他の色から補正を行う場合の概念図である。
【図１９】本実施形態に係る線形化信号補正部の補正内容を示す概念図である。
【図２０】本実施形態に係る撮像素子において２種類の変曲点を設定した例を示す平面図である。
【図２１】本実施形態に係る撮像素子において４種類の変曲点を設定した例を示す平面図である。
【符号の説明】
【０２１８】
１  撮像装置
２  システム制御部
３  レンズユニット
４  絞り制御部
５  撮像素子
６  アンプ
７  ＡＤコンバータ
８  タイミング生成部
９  変曲点制御部
１０  黒基準補正部
１１  線形化信号補正部
１２  評価値検出部
１３  画像処理部
１４  ＡＷＢ制御部
１５  色補間部
１６  色補正部
１７  階調変換部
１８  色空間変換部
１９  垂直シフトレジスタ
２０  水平シフトレジスタ
２１  リニアログ変換部
２２  補間値算出部
２３  比較部
２４  切替部
【図１】
0004710617.tif 000010
【図２】
0004710617.tif 000011
【図３】
0004710617.tif 000012
【図４】
0004710617.tif 000013
【図５】
0004710617.tif 000014
【図６】
0004710617.tif 000015
【図７】
0004710617.tif 000016
【図８】
0004710617.tif 000017
【図９】
0004710617.tif 000018
【図１０】
0004710617.tif 000019
【図１１】
0004710617.tif 000020
【図１２】
0004710617.tif 000021
【図１３】
0004710617.tif 000022
【図１４】
0004710617.tif 000023
【図１５】
0004710617.tif 000024
【図１６】
0004710617.tif 000025
【図１７】
0004710617.tif 000026
【図１８】
0004710617.tif 000027
【図１９】
0004710617.tif 000028
【図２０】
0004710617.tif 000029
【図２１】
0004710617.tif 000030