(57)【特許請求の範囲】
【請求項１】
複数の画素を有する撮像素子と、
予め定められた基準撮像条件における各画素の光電変換特性を分類して分類番号を付し、前記各画素と当該分類番号とを対応付けて予め記憶する分類番号記憶部と、
前記各画素の前記基準撮像条件を含む撮像条件毎の光電変換特性を、前記分類番号毎に平均化して代表特性を予め求め、当該代表特性を所定の出力特性に変換するためのルックアップテーブルを予め記憶するルックアップテーブル記憶部と、
前記基準撮像条件における各画素の分類番号に基づいて、各画素の撮像条件毎の光電変換特性に最も近い代表特性に対応するルックアップテーブルを特定するための分類番号補正情報を予め記憶する補正情報記憶部と、
撮影時、前記各画素について、前記分類番号記憶部から前記分類番号を読み出し、前記補正情報記憶部から撮像条件に対応する分類番号補正情報を読み出す読出部と、
前記読み出した分類番号及び分類番号補正情報に基づいて当該分類番号を補正する補正部と、
前記補正部により補正された補正分類番号に基づいて、前記ルックアップテーブル記憶部から前記各画素のルックアップテーブルを読み出し、前記各画素が出力した画素値を当該ルックアップテーブルを用いて変換する変換部と、
を備える撮像装置。
【請求項２】
前記補正情報記憶部は、前記各画素の撮像条件毎の光電変換特性に最も近い前記代表特性の分類番号と当該各画素の分類番号との差分を当該各画素に対応付けて予め記憶し、
前記補正部は、前記読出部が読み出した各画素の分類番号に当該各画素の差分を加算して補正を行う請求項１に記載の撮像装置。
【請求項３】
前記補正情報記憶部は、
前記各画素の撮像条件毎の光電変換特性に最も近い前記代表特性の分類番号と当該各画素の分類番号との差分が全ての撮像条件を通して同じ又は近似している画素に対して同じ特性変化分類番号を割り当てて予め記憶する特性変化分類番号記憶部と、
前記特性変化分類番号と対応付けて、前記各撮像条件における前記差分を予め記憶する特性変化パターン記憶部と、
を有し、
前記読出部は、前記各画素について、前記分類番号記憶部から前記分類番号を読み出すと共に、前記特性変化分類番号記憶部から前記特性変化分類番号を読み出し、当該読み出した特性変化分類番号及び撮影条件に基づいて前記特性変化パターン記憶部から前記差分を読み出し、
前記補正部は、前記読み出した各画素の分類番号に当該各画素の差分を加算して補正を行う請求項１に記載の撮像装置。
【請求項４】
前記撮像条件は前記撮像素子のシャッタースピード及び温度の少なくともいずれか一方により規定される請求項１に記載の撮像装置。
【請求項５】
前記光電変換特性は低輝度側がリニア特性、高輝度側がログ特性であるリニアログ特性であり、
前記ルックアップテーブルは、前記リニアログ特性をリニア特性又はログ特性の出力特性に変換する請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素毎に異なる光電変換特性を有する撮像装置において、出力特性のばらつきを補正する撮像装置に関するものである。
【背景技術】
【０００２】
近年、ダイナミックレンジの拡大を図るために、変曲点を境に低輝度側にリニア特性を持ち、高輝度側にログ特性を持つ撮像装置が知られている。このような光電変換特性は、リニアログ特性と呼ばれている。以下、リニアログ特性において、リニア特性を持つ領域をリニア領域、ログ特性を持つ領域をログ領域と記述する。【０００３】
撮像素子が有する画素の特性のばらつきが起因して、光電変換特性も画素毎にばらつくと共に、撮像条件が変化した際の各画素の光電変換特性の変化にも画素毎にばらつきが発生する。このため、撮像条件（撮像素子の温度、シャッタースピード等）が変化したとき、画素毎の特性変化に応じて各画素が出力する画素値を予め定められた出力特性に変換して補正する必要がある。【０００４】
特許文献１には、画素毎に光電変換特性及び温度特性を測定して画素毎の補正係数として保持し、撮像した画像データを補正する方法が記載されている。【０００５】
しかしながら、特許文献１に記載された方法の場合、撮影条件毎に各画素の補正係数を保持するとなると、データ量が多いため、メモリ容量が増大し、コストアップやメモリＩＣの増加に伴って基板の小型化が困難になる等の問題がある。また、補正係数を用いた画像データの補正は、補正精度が悪い。特に、変曲点のセンサ電流は全画素で同じとしているが、実際は画素毎に異なる。従って、変曲点付近での補正誤差が大きくなり、画質悪化を招いてしまう。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３４４８１７号公報
【発明の概要】
【０００７】
本発明の目的は、補正に必要なデータ量を抑えつつ、画素値を精度良く補正する撮像装置を提供することである。
【０００８】
本発明の一態様による撮像装置は、複数の画素を有する撮像素子と、予め定められた基準撮像条件における各画素の光電変換特性を分類して分類番号を付し、前記各画素と当該分類番号とを対応付けて予め記憶する分類番号記憶部と、前記各画素の前記基準撮像条件を含む撮像条件毎の光電変換特性を、前記分類番号毎に平均化して代表特性を予め求め、当該代表特性を所定の出力特性に変換するためのルックアップテーブルを予め記憶するルックアップテーブル記憶部と、前記基準撮像条件における各画素の分類番号に基づいて、各画素の撮像条件毎の光電変換特性に最も近い代表特性に対応するルックアップテーブルを特定するための分類番号補正情報を予め記憶する補正情報記憶部と、撮影時、前記各画素について、前記分類番号記憶部から前記分類番号を読み出し、前記補正情報記憶部から撮像条件に対応する分類番号補正情報を読み出す読出部と、前記読み出した分類番号及び分類番号補正情報に基づいて当該分類番号を補正する補正部と、前記補正部により補正された補正分類番号に基づいて、前記ルックアップテーブル記憶部から前記各画素のルックアップテーブルを読み出し、前記各画素が出力した画素値を当該ルックアップテーブルを用いて変換する変換部と、を備える。
【図面の簡単な説明】
【０００９】
【図１】第１の実施の形態における撮像装置の全体構成を示すブロック図。
【図２】第１の実施の形態における分類番号メモリ、分類番号補正値メモリ及び特性変換ＬＵＴに記憶されるデータの作成方法の流れを示した図。
【図３】第１の実施の形態における分類番号メモリ、分類番号補正値メモリ及び特性変換ＬＵＴに記憶されるデータの作成方法の流れを示した図。
【図４】第１の実施の形態における分類番号メモリのデータ構成の一例を示した図。
【図５】分類番号メモリのデータ構成の一例を示した図。
【図６】分類番号ｉに分類された画素の撮像条件Ａでの光電変換特性とその平均値である代表特性を示した図。
【図７】代表特性とＬＵＴの一例と、変換後の出力を示した図。
【図８】ＬＵＴのデータ構成の一例を示した図。
【図９】撮像条件Ｂでの撮像素子の分類番号ｉに属する各画素の光電変換特性と分類番号ｉ＋１に属する各画素の光電変換特性。
【図１０】図９のグラフの一部領域を拡大したもの。
【図１１】第１の実施の形態における分類番号補正値メモリのデータ構成の一例を示した図。
【図１２】撮影時における撮像素子が出力した画素値の変換処理の流れを示した図。
【図１３】第２の実施の形態における撮像装置の全体構成を示すブロック図。
【図１４】第３の実施の形態における撮像装置の全体構成を示すブロック図。
【図１５】第３の実施の形態における分類番号メモリ、分類番号補正ＬＵＴ及び特性変換ＬＵＴに記憶されるデータの作成方法の流れを示した図。
【図１６】第３の実施の形態における分類番号メモリ、分類番号補正ＬＵＴ及び特性変換ＬＵＴに記憶されるデータの作成方法の流れを示した図。
【図１７】各撮像条件における画素の光電変換特性と、その光電変換特性に最も近い代表特性の分類番号を示した図。
【図１８】分類番号補正値をまとめた表。
【図１９】第３の実施の形態における分類番号メモリのデータ構成の一例を示した図。
【図２０】第３の実施の形態における分類番号補正ＬＵＴのデータ構成の一例を示した図。
【図２１】第３の実施の形態における撮影時における撮像素子が出力した画素値の変換処理の流れを示した図。
【図２２】第４の実施の形態における撮像装置の全体構成を示すブロック図。
【発明を実施するための形態】
【００１０】
〔第１の実施の形態〕
図１は、第１の実施の形態における撮像装置１の全体構成を示すブロック図である。図１に示す撮像装置１は、リニア特性とログ特性とが変曲点で切り替わるリニアログ特性の光電変換特性を持つ撮像装置である。具体的には、第１の実施の形態における撮像装置１は、変曲点より低輝度側がリニア特性を持ち、高輝度側がログ特性を持つリニアログ特性の光電変換特性を持つ撮像装置である。
【００１１】
撮像装置１は、撮像素子１１０及び画像処理部１２０（読出部、変換部）を備えている。撮像素子１１０及び画像処理部１２０は１つのＩＣチップ内に構成されていても良いし、別のＩＣチップとして構成されても良い。
【００１２】
画像処理部１２０は、分類番号メモリ１２１（分類番号記憶部）、分類番号補正値メモリ１２２（補正情報記憶部）、加算器１２４（補正部）及び特性変換ＬＵＴ１２５（ルックアップテーブル記憶部）を備える。尚、画像処理部１２０は、通常、撮像素子１１０の動作を制御する制御信号を生成する制御部を備えるが、本実施の形態では説明を省略する。
【００１３】
撮像素子１１０は、画素値（画像信号）を画像処理部１２０に出力する。画像処理部１２０は、撮像条件に応じて分類番号メモリ１２１から分類番号を、更に分類番号補正値メモリ１２２から分類番号補正値を読み出す。加算器１２４は読み出された分類番号と分類番号補正値を加算し、補正分類番号として出力する。画像処理部１２０は、撮像条件と補正分類番号とに基づいて特性変換ＬＵＴ１２５から該当するＬＵＴを抽出し、画素値を抽出したＬＵＴに基づいて変換して、画素出力値として外部装置に出力する。ここで、外部装置としては、液晶パネルや有機ＥＬパネル等の表示装置や、画像出力値を保持するメモリ等が該当する。
【００１４】
なお、撮像条件としては、撮像素子１１０のシャッタースピード及び撮像素子１１０の温度等の少なくともいずれか１つ又は組み合わせが採用される。
【００１５】
以下、分類番号メモリ１２１、分類番号補正値メモリ１２２及び特性変換ＬＵＴ１２５に記憶されるデータの作成方法及びデータ構成について、詳しく説明する。図２及び図３は、分類番号メモリ１２１、分類番号補正値メモリ１２２及び特性変換ＬＵＴ１２５に記憶されるデータの作成方法の流れを示した図である。各データは、撮像装置１の工場出荷前に測定・算出されて、各メモリに記憶される。
【００１６】
まず、基準撮像条件（以下、撮像条件Ａという）における撮像素子１１０の光電変換特性を測定する（ステップＳ１１）。そして、測定によって取得した光電変換特性を分類し、分類番号を各画素に対応付けて分類番号メモリ１２１に記憶する（ステップＳ１２）。
【００１７】
図４の左側のグラフは、撮像条件Ａでの撮像素子１１０の各画素の光電変換特性であり、グラフの一部領域を拡大したものが右側の図である。予め定められた輝度での画素値の最大最小範囲が許容される変換誤差の幅に分割し、各画素に対して分類番号を割り当てる。図５は、分類番号メモリ１２１のデータ構成の一例を示した図である。図中、ｉ及びｎは１以上の整数でありｎは分類番号の最大値、ｘ及びｙは０以上の整数であり、撮像素子１１０にマトリクス状に並ぶ画素の縦横の数を示している。
【００１８】
続いて、分類番号ｉに分類された画素の光電変換特性を平均し、撮像条件Ａでの分類番号ｉの代表特性とする（ｉ＝１〜ｎ、ステップＳ１３）。図６は、分類番号ｉに分類された画素の撮像条件Ａでの光電変換特性とその平均値である代表特性を示した図である。
【００１９】
続いて、撮像条件Ａでの分類番号ｉの代表特性を予め定められた所定の出力特性に変換するＬＵＴを作成し、特性変換ＬＵＴ１２５に記憶する（ステップＳ１４）。予め定められた所定の出力特性とは、例えばリニア特性又はログ特性であり、仮にログ特性である場合、リニアログ特性をもつ代表特性がＬＵＴを介することでログ特性に変換される。図７は、代表特性とＬＵＴの一例と、変換後の出力特性を示した図である。右上の第１象限は、分類番号ｉの代表特性であり、横軸はセンサ面照度（対数スケール）、縦軸は画素値を示す。左下の第３象限は、分類番号ｉのＬＵＴを示す。右下の第４象限は代表特性をＬＵＴを用いて変換した出力特性を示す。
【００２０】
続いて、基準撮像条件以外の非基準撮像条件（以下、撮像条件Ｂという）における撮像素子１１０の光電変換特性を測定し（ステップＳ１５）、分類番号ｉに分類された画素の光電変換特性を平均し、撮像条件Ｂでの分類番号ｉの代表特性とする（ｉ＝１〜ｎ、ステップＳ１６）。そして、撮像条件Ｂでの分類番号ｉの代表特性を所定の出力特性に変換するＬＵＴを作成し、特性変換ＬＵＴ１２５に記憶する（ステップＳ１７）。図８は、特性変換ＬＵＴ１２５のデータ構成の一例を示した図である。特性変換ＬＵＴ１２５は、撮像条件毎に各分類番号のＬＵＴを記憶する。
【００２１】
続いて、撮像条件Ｂでの画素ｊの光電変換特性と撮像条件Ｂでの各代表特性とを比較し、画素ｊの光電変換特性に最も近い代表特性の分類番号と画素ｊの分類番号との差分を算出する。そして、その差分を撮像条件Ｂにおける画素ｊの分類番号補正値として分類番号補正値メモリ１２２に記憶する（ｊ＝１〜ｍ、ステップＳ１８）。ここで、ｍは撮像素子１１０の画素数を示す。尚、図５においては各画素を示すためにｘｙ座標を用いているが、説明の簡単化のため、以下においては適宜変数ｊを用いる。いずれも各画素を示すものである。
【００２２】
図９は、撮像条件Ｂでの撮像素子１１０の分類番号ｉに属する各画素の光電変換特性（実線）と分類番号ｉ＋１に属する各画素の光電変換特性（点線）を示している。更に、図９において、太い実線は分類番号ｉ、ｉ＋１の代表特性を示す。
【００２３】
そして、図１０は、図９のグラフの一部領域を拡大したものである。例えば、分類番号ｉに属する画素（ｘ０，ｙ０）の光電変換特性は分類番号ｉの代表特性より分類番号ｉ＋１の代表特性に近似している。つまり、分類番号ｉの代表特性に基づいたＬＵＴを用いて画素（ｘ０，ｙ０）の画素値を変換すると、補正精度が悪化してしまう。
【００２４】
従って、画素（ｘ０，ｙ０）の画素値は分類番号ｉ＋１の代表特性に基づいたＬＵＴを用いて変換を行う。つまり、画素（ｘ０，ｙ０）が属する分類番号ｉと、撮影条件Ｂの時に画素（ｘ０，ｙ０）の画素値の変換に用いるＬＵＴが属する分類番号ｉ＋１との差は＋１である。分類番号補正値メモリ１２２は、画素（ｘ０，ｙ０）について撮像条件Ｂと対応付けて差分＋１を記憶する。
【００２５】
図１１は、分類番号補正値メモリ１２２のデータ構成の一例を示した図である。図１１において、撮像条件Ａは基準撮像条件として分類番号を作成した撮像条件であるため、分類番号の補正は不要である。従って、分類番号補正値メモリ１２２の撮像条件Ａは全画素０とする。または、基準撮像条件の分類番号補正値は、記憶させなくてもよい。
【００２６】
また、上記では非基準撮像条件として、撮像条件Ｂについてのみ説明しているが、撮像装置１の温度やシャッタースピード等によって撮像素子１１０の出力特性が変化する。従って、複数の異なる非基準撮像条件について図２で示したステップＳ１５〜Ｓ１８の処理を繰り返し、各撮像条件について分類番号補正値メモリ１２２や特性変換ＬＵＴ１２５にデータを記憶させることが好ましい。
【００２７】
次に、実際の撮影時の処理について説明する。図１２は、撮影時における撮像素子１１０が出力した画素値の変換処理の流れを示した図である。まず画像処理部１２０は、画素ｊの分類番号を分類番号メモリ１２１から読み出し（ステップＳ２１）、更に撮影時の撮像条件（撮像条件Ｚ）での画素ｊの分類番号補正値を分類番号補正値メモリ１２２から読み出す（ステップＳ２２）。加算器１２４は、読み出された分類番号と分類番号補正値とを加算し、補正分類番号として出力する（ステップＳ２３）。
【００２８】
例えば、撮像条件Ａの場合、図５及び図１１に示すように、画素（０，０）の分類番号が１、分類番号補正値が０であるため、加算器１２４は１＋０の和である１を補正分類番号として出力する。尚、撮像条件Ａの場合は分類番号補正値が全画素において０であるため、加算器１２４を介さずに、画像処理部１２０は分類番号メモリ１２１から読み出した各画素の分類番号を用いて特性変換ＬＵＴ１２５から該当するＬＵＴを抽出してもよい。
【００２９】
また、撮像条件Ｂの場合、画素（０，０）の分類番号が１、分類番号補正値が＋２であるため、加算器１２４は１＋２の和である３を補正分類番号として出力する。
【００３０】
次に、画像処理部１２０は、撮像条件Ｚでの補正分類番号のＬＵＴを特性変換ＬＵＴ１２５から読み出して、撮像素子１１０から出力された画素ｊの画素値を変換する（ステップＳ２４）。画像処理部１２０は全画素に対してステップＳ２１〜Ｓ２４の処理を行う。
【００３１】
以上、説明したように、各画素の光電変換特性を分類し、分類された光電変換特性を平均して代表特性とし、この代表特性を予め定められた特性に変換するルックアップテーブルを特性変換ＬＵＴ１２５が記憶するため、各画素に対してルックアップテーブルを記憶させるよりもデータ量を削減できる。
【００３２】
また、分類番号メモリ１２１は基本撮像条件（撮像条件Ａ）における分類番号のみを記憶し、非基準撮像条件における各画素の光電変換素子に最も近い代表特性の分類番号については加算器１２４が分類番号記憶部から読み出された分類番号に差分を加算することで取得できる。つまり、各画素、各撮像条件について分類番号を記憶するのではないため、データ量を削減できる。
【００３３】
また、撮像条件が変化した際、変化後の撮像条件での光電変換特性に最も近い代表特性のルックアップテーブルを用いて変換されるため、変曲点付近やログ領域の非線形性を含めて特性変換でき、従来に比べて精度良く補正することができる。
【００３４】
〔第２の実施の形態〕
図１３は、第１の実施の形態の撮像装置１における分類番号メモリ１２１のデータ（分類番号８１１）及び分類番号補正値メモリ１２２のデータ（分類番号補正値８１２）をＲＯＭ（Read Only Memory）８１（分類番号記憶部、補正情報記憶部）に記憶させ、分類番号と分類番号補正値の加算処理をＣＰＵ（Central Processing Unit）８４（読出部、補正部、変換部）によるソフトウェア処理にて行う特性変換を行う撮像装置２のブロック図である。分類番号ＲＡＭ（Random Access Memory）８２は、ＣＰＵ８４によるソフトウェア処理で補正された各画素の分類番号を記憶する。バス８３は、ＣＰＵ８４、ＲＯＭ８１及び分類番号ＲＡＭ８２間に配線されたデータ線である。
【００３５】
図１２を用いて、本実施の形態の撮影時における撮像素子１１０が出力した画素値の変換処理の流れを説明する。まず、ＣＰＵ８４は、撮影開始時または撮像条件変化時に、各画素の分類番号をＲＯＭ８１から読み出し（ステップＳ２１）、更に撮像条件（撮像条件Ｚ）での各画素の分類番号補正値をＲＯＭ８１から読み出す（ステップＳ２２）。そして、ＣＰＵ８４は、読み出した分類番号と分類番号補正値とを加算し、各画素の補正分類番号として分類番号ＲＡＭ８２に格納する（ステップＳ２３）。
【００３６】
撮影時は、画素位置に対応した補正分類番号が分類番号ＲＡＭ８２より読み出され、特性変換ＬＵＴ１２５中の撮像条件Ｚの補正分類番号に対応したＬＵＴを用いて撮像素子１１０から出力された画素値を変換する（ステップＳ２４）。
【００３７】
〔第３の実施の形態〕
第１の実施の形態では、各画素の分類番号の差分を分類番号補正値メモリ１２２が保持する撮像装置１について説明した。しかし、この方法では画素数が多いと分類番号補正値メモリ１２２のデータ量が多くなり、更なるメモリ容量削減を行う必要がある可能性が高い。そこで、本実施の形態では、分類番号の差分（分類番号補正値）の全撮像条件を通した変化パターンを分類することで、分類番号の補正に用いるデータ量を更に少なくする方法について説明する。
【００３８】
図１４は、第３の実施の形態における撮像装置３の全体構成を示すブロック図である。尚、第１の実施の形態において図１にて示した撮像装置３の構成要素と同様のものには同じ符号を付し、説明を省略する。
【００３９】
画像処理部２２０（読出部、変換部）は、分類番号メモリ２２１（分類番号記憶部、補正情報記憶部、特性変化分類番号記憶部）、分類番号補正ＬＵＴ２２２（補正情報記憶部、特性変化パターン記憶部）、加算器１２４（補正部）及び特性変換ＬＵＴ１２５（ルックアップテーブル記憶部）を備えている。
【００４０】
撮像素子１１０は、画素値を画像処理部２２０に出力する。画像処理部２２０は、分類番号メモリ２２１から分類番号及び特性変化分類番号を読み出し、撮像条件に応じて設定された分類番号補正ＬＵＴ２２２に基づいて特性変化分類番号を分類番号補正値に変換する。加算器１２４は、分類番号補正値と分類番号メモリ２２１から読み出された分類番号とを加算し、補正分類番号として出力する。画像処理部２２０は、撮像条件と補正分類番号とに基づいて特性変換ＬＵＴ１２５から該当するＬＵＴを抽出し、画素値を抽出したＬＵＴに基づいて変換して、画素出力値として外部装置に出力する。
【００４１】
以下、分類番号メモリ２２１及び分類番号補正ＬＵＴ２２２に記憶されるデータの作成方法及びデータ構成について、詳しく説明する。図１５及び図１６は、分類番号メモリ２２１、分類番号補正ＬＵＴ２２２及び特性変換ＬＵＴ１２５に記憶されるデータの作成方法の流れを示した図である。ここで、図１５に示すフローチャートのステップＳ３１からステップＳ３７については、図２で示したフローチャートのステップＳ１１からステップＳ１７と同じ処理であるため、説明を省略する。
【００４２】
ステップＳ３７の後、撮像条件Ｂでの画素ｊの光電変換特性と撮像条件Ｂでの各代表特性を比較し、画素ｊの光電変換特性に最も近い代表特性の分類番号と画素ｊの分類番号との差分を算出し、表にまとめる（ｊ＝１〜ｍ、ステップＳ３８）。ここで、異なる複数の非基準撮像条件について、ステップＳ３５〜ステップＳ３８を繰り返して行う。
【００４３】
図１７は、各撮像条件における画素の光電変換特性と、その光電変換特性に最も近い代表特性の分類番号とを示している。以下、説明を分かりやすくするために、撮像素子１１０が有する画素のうち、代表して画素ａ、ｂ、ｃ及びｄの４つの画素を用いて説明する。
【００４４】
図１７（ａ）は撮像条件Ａでの画素ａ〜ｄの光電変換特性を示している。そして、画素ａの光電変換特性は撮像条件Ａでの分類番号＃１００の代表特性に最も近く、画素ｂの光電変換特性は撮像条件Ａでの分類番号＃１０１の代表特性に最も近いとする。画素ｃ及びｄについては図の通りである。
【００４５】
図１７（ｂ）は撮像条件Ｂでの画素ａ〜ｄの光電変換特性を示しており、画素ａの光電変換特性は撮像条件Ｂでの分類番号＃１０１の代表特性に最も近く、画素ｂの光電変換特性は撮像条件Ｂでの分類番号＃１０２の代表特性に最も近いとする。画素ｃ及びｄについては図の通りである。
【００４６】
図１７（ｃ）は撮像条件Ｃでの画素ａ〜ｄの光電変換特性を示しており、画素ａの光電変換特性は撮像条件Ｃでの分類番号＃１０２の代表特性に最も近く、画素ｂの光電変換特性は撮像条件Ｃでの分類番号＃１０３の代表特性に最も近いとする。画素ｃ及びｄについては図の通りである。そして、各撮像条件において、各画素の分類番号と当該画素の光電変換特性と最も近い代表特性の分類番号との差分（分類番号補正値）をまとめる。
【００４７】
図１８は、以上の結果をまとめた表である。そして、差分の変化パターンが同じ画素に対して同じ特性変化分類番号を割り当てる（ステップＳ３９）。例えば、画素ａと画素ｂとは撮像条件Ｂでの分類番号補正値が＋１であり、撮像条件Ｃでの分類番号補正値が＋２と、差分の変化パターンは同じである。従って、この変化パターンに対して独自の特性変化分類番号を割り当てる。同様に、画素ｃの変化パターン及び画素ｄの変化パターンにもそれぞれ特性変化分類番号を割り当てる。
【００４８】
次に、各画素の分類番号と特性変化分類番号を分類番号メモリ２２１に記憶させる（ステップＳ４０）。図１９は、分類番号メモリ２２１のデータ構成の一例を示した図である。ステップＳ３８にてまとめた差分の変化パターンが同じ画素には、同じ特性変化分類番号が対応付けられて記憶される。
【００４９】
次に、各特性変化分類番号と対応する差分の変化パターンを分類番号補正ＬＵＴ２２２に記憶させる（ステップＳ４１）。図２０は、分類番号補正ＬＵＴ２２２のデータ構成の一例を示した図である。撮像条件Ａは基準撮像条件であるため、各特性変化分類番号は０となる。または、基準撮像条件の特性分類番号は、記憶させなくてもよい。
【００５０】
次に、実際の撮影時の処理について説明する。図２１は、撮影時における撮像素子１１０が出力した画素値の変換処理の流れを示した図である。まず画像処理部２２０は、画素ｊの分類番号と特性変化分類番号とを分類番号メモリ２２１から読み出す（ステップＳ５１）。更に、画像処理部２２０は、読み出した特性分類番号の撮像条件（撮像条件Ｚ）での分類番号補正値を分類番号補正ＬＵＴ２２２から導出する（ステップＳ５２）。そして、加算器１２４は、ステップＳ５１で読み出された分類番号とステップＳ５２で導出された分類番号補正値とを加算し、補正分類番号として出力する（ステップＳ５３）。
【００５１】
例えば、撮像条件Ａの場合、画素ａの分類番号が１００、特性変化分類番号は０である。更に特性変化分類番号０の撮像条件Ａでの分類番号補正値は０である。従って、加算器１２４は１００＋０の和である１００を補正分類番号として出力する。尚、撮像条件Ａの場合は分類番号補正値が全画素において０であるため、加算器１２４を介さずに、画像処理部２２０が分類番号メモリ１２１から読み出した各画素の分類番号に基づいて特性変換ＬＵＴ１２５から該当するＬＵＴを抽出してもよい。
【００５２】
また、撮像条件Ｂの場合、画素ａの分類番号が１００、特性変化分類番号は０である。更に特性変化分類番号０の撮像条件Ｂでの分類番号補正値は＋１である。従って、加算器１２４は１００＋１の和である１０１を補正分類番号として出力する。
【００５３】
次に、画像処理部２２０は、撮像条件Ｚでの補正分類番号のＬＵＴを特性変換ＬＵＴ１２５から抽出し、撮像素子１１０から出力された画素ｊの画素値を変換する（ステップＳ５４）。画像処理部１２０は全画素に対してステップＳ５１〜Ｓ５４の処理を行う。
【００５４】
尚、本実施の形態では、４画素、３撮像条件を例に挙げて説明したが、画素数や撮像条件が増えると特性変化分類番号の数が増えるため、分類番号補正ＬＵＴ２２２の内容を全分類番号に対応できるだけ用意するのは現実的ではない。このような場合、図１５のステップＳ３９において、分類番号補正値の誤差が最小になるように特性変化分類番号を割り当てる（つまり、近似した変化パターンは同じ特性変化分類番号を付す）ことで、特性変化分類番号の数を分類番号補正ＬＵＴ２２２に実装可能な数以下に減らすようにしてもよい。
【００５５】
以上、説明したように、各画素の光電変換特性を分類し、分類された光電変換特性を平均して代表特性とし、この代表特性を予め定められた特性に変換するルックアップテーブルを特性変換ＬＵＴ１２５が記憶するため、各画素に対してルックアップテーブルを記憶させるよりもデータ量を削減できる。また、撮像条件が変化した際、変化後の撮像条件での光電変換特性に最も近い代表特性のルックアップテーブルを用いて変換されるため、変曲点付近やログ領域の非線形性を含めて特性変換でき、従来に比べて精度良く補正することができる。
【００５６】
また、各画素の分類番号と各画素の光電変換特性に最も近い代表特性の分類番号との差分が全ての撮像条件を通して同じ又は近似している画素に対して同じ特性変化分類番号を割り当て、更に分類番号補正ＬＵＴ２２２が特性変化分類番号毎に各撮像条件の差分を記憶する。そのため、画素毎については分類番号と特性変化分類番号とを記憶するだけでよい（分類番号メモリ２２１）。従って、データ量を削減することができる。
【００５７】
また、撮像条件が変化したとき、画像処理部２２０は分類番号メモリ２２１から特性変化分類番号を読み出して加算器１２４に加算処理をさせた後、特性変換ＬＵＴ１２５から新たなＬＵＴを抽出すればよいため、第１の実施の形態に比べて読み出すデータが少ない。従って、撮像条件の変化に対して素早い処理が可能である。
【００５８】
〔第４の実施の形態〕
図２２は、第３の実施の形態の撮像装置４における分類番号メモリ２２１のデータ（分類番号９１１）及び分類番号補正ＬＵＴ２２２のデータ（分類番号補正ＬＵＴ９１２）をＲＯＭ９１に記憶させ、分類番号と分類番号補正値の加算処理をＣＰＵ８４（読出部、補正部、変換部）によるソフトウェア処理にて行う特性変換を行う撮像装置４のブロック図である。
【００５９】
図２２を用いて、本実施の形態の撮影時における撮像素子１１０が出力した画素値の変換処理の流れを説明する。まずＣＰＵ８４は、撮影開始時または撮像条件変化時に、各画素の分類番号と特性変化分類番号とをＲＯＭ９１（分類番号記憶部、補正情報記憶部）から読み出す（ステップＳ５１）。更に、ＣＰＵ８４は、読み出した特性分類番号の撮像条件Ｚでの分類番号補正値を分類番号補正ＬＵＴ９１２から導出し（ステップＳ５２）、ステップＳ５１で読み出された分類番号とステップＳ５２で導出した分類番号補正値を加算して、補正分類番号として分類番号ＲＡＭ８２へ格納する（ステップＳ５３）。
【００６０】
撮影時は、画素ｊに対応した補正分類番号が分類番号ＲＡＭ８２より読み出され、特性変換ＬＵＴ１２５中の撮像条件Ｚの補正分類番号に対応したＬＵＴを用いて撮像素子１１０から出力された画素ｊの画素値が変換される（ステップＳ５４）。
【００６１】
（本実施の形態の纏め）
上記の撮像装置は、複数の画素を有する撮像素子と、予め定められた基準撮像条件における各画素の光電変換特性を分類して分類番号を付し、前記各画素と当該分類番号とを対応付けて予め記憶する分類番号記憶部と、前記各画素の前記基準撮像条件を含む撮像条件毎の光電変換特性を、前記分類番号毎に平均化して代表特性を予め求め、当該代表特性を所定の出力特性に変換するためのルックアップテーブルを予め記憶するルックアップテーブル記憶部と、前記基準撮像条件における各画素の分類番号に基づいて、各画素の撮像条件毎の光電変換特性に最も近い代表特性に対応するルックアップテーブルを特定するための分類番号補正情報を予め記憶する補正情報記憶部と、撮影時、前記各画素について、前記分類番号記憶部から前記分類番号を読み出し、前記補正情報記憶部から撮像条件に対応する分類番号補正情報を読み出す読出部と、前記読み出した分類番号及び分類番号補正情報に基づいて当該分類番号を補正する補正部と、前記補正部により補正された補正分類番号に基づいて、前記ルックアップテーブル記憶部から前記各画素のルックアップテーブルを読み出し、前記各画素が出力した画素値を当該ルックアップテーブルを用いて変換する変換部と、を備える。
【００６２】
この構成によれば、各画素の光電変換特性が分類され、分類された光電変換特性が平均されて代表特性とされ、この代表特性を予め定められた特性に変換するルックアップテーブルがルックアップテーブル記憶部に記憶される。そのため、各画素のルックアップテーブルを記憶させるよりもデータ量を削減できる。
【００６３】
また、分類番号記憶部は基本撮像条件における分類番号のみを記憶し、他の撮像条件の分類番号については、補正部が、分類番号記憶部に記憶されている分類番号を、分類番号補正情報を用いて補正することで取得できる。つまり、各画素、各撮像条件について分類番号を記憶するのではないため、データ量を削減できる。
【００６４】
また、撮像条件が変化した際、変化後の撮像条件での光電変換特性に最も近い代表特性のルックアップテーブルを用いて画素値が変換されるため、変曲点付近やログ領域の非線形性を含めて特性変換でき、従来に比べて精度良く補正することができる。
【００６５】
また、上記構成において、前記補正情報記憶部は、前記各画素の撮像条件毎の光電変換特性に最も近い前記代表特性の分類番号と当該各画素の分類番号との差分を当該各画素に対応付けて予め記憶し、前記補正部は、前記読出部が読み出した各画素の分類番号に当該各画素の差分を加算して補正を行うこととしてもよい。
【００６６】
この構成によれば、分類番号記憶部は基本撮像条件における分類番号のみを記憶し、他の撮像条件における各画素の光電変換特性に最も近い代表特性の分類番号については、補正部が、分類番号記憶部に記憶されている分類番号に、補正情報記憶部から読み出した差分を加算することで取得できる。つまり、各画素、各撮像条件について分類番号を記憶するのではないため、データ量を削減できる。
【００６７】
また、上記構成において、前記補正情報記憶部は、前記各画素の撮像条件毎の光電変換特性に最も近い前記代表特性の分類番号と当該各画素の分類番号との差分が全ての撮像条件を通して同じ又は近似している画素に対して同じ特性変化分類番号を割り当てて予め記憶する特性変化分類番号記憶部と、前記特性変化分類番号と対応付けて、前記各撮像条件における前記差分を予め記憶する特性変化パターン記憶部と、を有し、前記読出部は、前記各画素について、前記分類番号記憶部から前記分類番号を読み出すと共に、前記特性変化分類番号記憶部から前記特性変化分類番号を読み出し、当該読み出した特性変化分類番号及び撮影条件に基づいて前記特性変化パターン記憶部から前記差分を読み出し、前記補正部は、前記読み出した各画素の分類番号に当該各画素の差分を加算して補正を行うこととしてもよい。
【００６８】
この構成によれば、各画素の分類番号と各画素の光電変換特性に最も近い代表特性の分類番号と差分が全ての撮像条件を通して同じ又は近似している画素に対して同じ特性変化分類番号を割り当て、更に特性変化パターン記憶部が特性変化分類番号毎に各撮像条件の差分を記憶するため、画素毎については分類番号と特性変化分類番号を記憶するだけでよい。従って、データ量を削減することができる。
【００６９】
また、上記構成において、前記撮像条件は前記撮像素子のシャッタースピード及び温度の少なくともいずれか一方により規定されてもよい。
【００７０】
この構成によれば、撮像素子のシャッタースピードや撮像素子の温度が変動しても、適切なルックアップテーブルを用いて画素値が変換される。
【００７１】
また、上記構成において、前記光電変換特性は低輝度側がリニア特性、高輝度側がログ特性であるリニアログ特性であり、前記ルックアップテーブルは、前記リニアログ特性をリニア特性又はログ特性の出力特性に変換してもよい。
【００７２】
この構成によれば、各画素値の光電変換特性がリニアログ特性からリニア特性又はログ特性に統一されるため、画像処理に適したデータに画素値が変換される。
【要約】
基準撮像条件における撮像素子（１１０）の光電変換特性を分類し、分類番号を分類番号メモリ（１２１）に記憶する。分類番号ｉの画素の光電変換特性を平均し、基準撮像条件での分類番号ｉの代表特性とし、分類番号ｉの代表特性を所定の出力特性に変換するＬＵＴを特性変換ＬＵＴ（１２５）に記憶する。非基準撮像条件における光電変換特性について分類番号ｉ毎に平均し、非基準撮像条件での分類番号ｉの代表特性とする。非基準撮像条件での分類番号ｉの代表特性のＬＵＴを特性変換ＬＵＴ（１２５）に記憶する。非基準撮像条件での画素ｊの光電変換特性と非基準撮像条件での各代表特性とを比較し、画素ｊの光電変換特性に最も近い代表特性の分類番号と画素ｊの分類番号との差分を撮像条件Ｂにおける画素ｊの分類番号補正値として分類番号補正値メモリ（１２２）に記憶する。【図１】
0005423935.tif 000002
【図２】
0005423935.tif 000003
【図３】
0005423935.tif 000004
【図４】
0005423935.tif 000005
【図５】
0005423935.tif 000006
【図６】
0005423935.tif 000007
【図７】
0005423935.tif 000008
【図８】
0005423935.tif 000009
【図９】
0005423935.tif 000010
【図１０】
0005423935.tif 000011
【図１１】
0005423935.tif 000012
【図１２】
0005423935.tif 000013
【図１３】
0005423935.tif 000014
【図１４】
0005423935.tif 000015
【図１５】
0005423935.tif 000016
【図１６】
0005423935.tif 000017
【図１７】
0005423935.tif 000018
【図１８】
0005423935.tif 000019
【図１９】
0005423935.tif 000020
【図２０】
0005423935.tif 000021
【図２１】
0005423935.tif 000022
【図２２】
0005423935.tif 000023