(57)【要約】【課題】可能な限り容易な構成を用いて階調変換関数の変更や調整を行うことにより、いわゆる白飽和現象を低減するカラ−撮像装置を実現することを目的とする。【解決手段】被写体から得られる入力光を光電変換する撮像素子と、撮像素子の飽和電荷量に応じて、撮像素子で得られた画素デ−タの階調変換に適用する階調変換関数を変更する階調変換関数決定部と、階調変換関数決定部が決定する階調変換関数で画素デ−タの階調変換処理を行う階調変換処理部とを備える撮像装置とする。【選択図】    図１
2009017400.tif 000002
【特許請求の範囲】
【請求項１】
被写体から得られる入力光を光電変換する撮像素子と、
該撮像素子の飽和電荷量に応じて、該撮像素子で得られた画素デ−タの階調変換に適用する階調変換関数を変更する階調変換関数決定部と、
該階調変換関数決定部が決定する階調変換関数で該画素デ−タの階調変換処理を行う階調変換処理部と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記撮像素子を所定の露光時間で露光制御する露光制御部と、
該撮像素子の温度を検出する温度検出部と、
該温度検出部が検出する温度に応じて又は該所定の露光時間に応じて前記階調変換関数を変更する階調変換関数決定部と、
を備えることを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記被写体の明るさを測光する光検出部と、
該光検出部の測光に基づき前記所定の露光時間を演算する露光時間算出部と、
を備えることを特徴とする撮像装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の撮像装置において、
複数の前記飽和電荷量に対応して複数の前記階調変換関数を記録する記憶部と、
該記憶部に記録された該複数の階調変換関数の中から、該飽和電荷量に応じて一の階調変換関数を選択する前記階調変換関数決定部と、
を備えることを特徴とする撮像装置。
【請求項５】
請求項１乃至請求項４のいずれか一項に記載の撮像装置において、
前記画素デ−タの階調変換に適用する階調変換関数を、演算によって算出して変更する前記階調変換関数決定部
を備えることを特徴とする撮像装置。
【請求項６】
請求項１乃至請求項５のいずれか一項に記載の撮像装置において、
前記撮像素子は、被写体から赤色、青色、緑色の入力光をそれぞれ検出して光電変換し、
前記変更された階調変換関数が適用される画素デ−タは、該緑色の画素デ−タである
ことを特徴とする撮像装置。
【請求項７】
請求項１乃至請求項６のいずれか一項に記載の撮像装置において、
前記階調変換関数決定部が決定する前記階調変換関数は、前記撮像素子のその撮像における飽和電荷量を階調変換後の最大値とする階調変換関数である
ことを特徴とする撮像装置。
【請求項８】
被写体を撮像するカラ−撮像装置において、
撮像時の露光量を算出する工程と、
該露光量に基づいて予め記憶部に記録される階調変換関数を読み出す工程と、
該読み出した階調変換関数に基づき画像デ−タを階調変換する工程と、
を有することを特徴とする画像デ−タの階調変換方法。
【請求項９】
請求項８に記載する階調変換方法であって、前記撮像装置は温度検出部を備え、
該温度検出部が撮像素子の温度を検出する工程を有し、
該露光量又は該検出温度に基づき予め記憶部に記録される階調変換関数を読み出す工程と、
を有することを特徴とする画像デ−タの階調変換方法。
【請求項１０】
請求項８又は請求項９に記載する階調変換方法において、
前記階調変換に用いる階調変換関数は、その撮像の飽和電荷量を変換後の最大値とする階調変換関数である
ことを特徴とする画像デ−タの階調変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤやＣＭＯＳ等の光電変換素子を用いて被写体を長秒時露光や高温下で撮像する場合でも白飽和を抑制可能なカラ−撮像をする撮像装置に関し、またその撮像装置の画像処理についての階調変換方法に関する。
【背景技術】
【０００２】
電子カメラを用いて被写体を撮像する場合に、長時間の露光条件で撮像したり、高温の撮像環境下で撮像すると、露光量に応じてＣＣＤ等の光電変換素子の飽和電荷量が減少することが知られている。
【０００３】
このため、例えば色フィルタをＣＣＤの光入射側に備えた撮像素子を用いてカラ−画像を撮像する場合には、各色フィルタに対応する各光電変換素子ごとに飽和電荷量が減少する素子と、飽和電荷量が減少しない素子とが生じ、これにより、ホワイトバランス調整後の色が正しく再現されないという問題が生じていた。
【０００４】
すなわち、各色フィルタに対応する各光電変換素子ごとに、それぞれ入射光量は異なるところ、入射光量の多い光電変換素子に対応する画像部分は、いわゆる白飽和により、被写体が白であってもマゼンダ系の色として、いわゆるマゼンダ被りして表示されることとなる。
【０００５】
これに対し、例えば特開２００１−５７４１７に記載されるように、長時間露光の場合には電圧制御回路の制御方法を変えることで、飽和電荷量の減少によるマゼンダ被りの影響を低減する技術が開示されている。
【特許文献１】特開２００１−５７４１７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上述のように電圧制御の制御方法を変更することは、処理が複雑となることから部品点数が増加し、装置の小型化やコスト低減の面からも、さらなる改良が期待されるところであった。
【０００７】
本発明は、可能な限り容易な構成を用いて階調変換関数の変更や調整を行うことにより、いわゆる白飽和現象を低減するカラ−撮像装置と階調変換方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明にかかる撮像装置は、被写体から得られる入力光を光電変換する撮像素子と、撮像素子の飽和電荷量に応じて、撮像素子で得られた画素デ−タの階調変換に適用する階調変換関数を変更する階調変換関数決定部と、階調変換関数決定部が決定する階調変換関数で画素デ−タの階調変換処理を行う階調変換処理部と、を備えることを特徴とする。
【０００９】
また、この発明にかかる撮像装置は、好ましくは撮像素子を所定の露光時間で露光制御する露光制御部と、撮像素子の温度を検出する温度検出部と、温度検出部が検出する温度に応じて又は所定の露光時間に応じて階調変換関数を変更する階調変換関数決定部と、を備えることを特徴とする。
【００１０】
また、この発明にかかる撮像装置は、さらに好ましくは被写体の明るさを測光する光検出部と、光検出部の測光に基づき所定の露光時間を演算する露光時間算出部と、を備えることを特徴とする。
【００１１】
また、この発明にかかる撮像装置は、さらに好ましくは複数の飽和電荷量に対応して複数の階調変換関数を記録する記憶部と、記憶部に記録された複数の階調変換関数の中から、飽和電荷量に応じて一の階調変換関数を選択する階調変換関数決定部と、を備えることを特徴とする。
【００１２】
また、この発明にかかる撮像装置は、さらに好ましくは画素デ−タの階調変換に適用する階調変換関数を、演算によって算出して変更する階調変換関数決定部を備えることを特徴とする。
【００１３】
また、この発明にかかる撮像装置は、さらに好ましくは撮像素子が、被写体から赤色、青色、緑色の入力光をそれぞれ検出して光電変換し、変更された階調変換関数が適用される画素デ−タは、緑色の画素デ−タであることを特徴とする。
【００１４】
また、この発明にかかる撮像装置は、さらに好ましくは階調変換関数決定部が決定する階調変換関数が、撮像素子のその撮像における飽和電荷量を階調変換後の最大値とする階調変換関数であることを特徴とする。
【００１５】
また、この発明にかかる画像デ−タの階調変換方法は、被写体を撮像するカラ−撮像装置において、撮像時の露光量を算出する工程と、露光量に基づいて予め記憶部に記録される階調変換関数を読み出す工程と、読み出した階調変換関数に基づき画像デ−タを階調変換する工程と、を有することを特徴とする。
【００１６】
また、この発明にかかる画像デ−タの階調変換方法は、好ましくは撮像装置が温度検出部を備え、温度検出部が撮像素子の温度を検出する工程を有し、露光量又は検出温度に基づき予め記憶部に記録される階調変換関数を読み出す工程と、を有することを特徴とする。
【００１７】
また、この発明にかかる画像デ−タの階調変換方法は、さらに好ましくは階調変換に用いる階調変換関数が、その撮像の飽和電荷量を変換後の最大値とする階調変換関数である
ことを特徴とする。
【発明の効果】
【００１８】
本発明により、低コストでかつ簡易的な処理により、明るい白い被写体を撮像した場合のマゼンダ被りを低減することが可能となる。
【発明を実施するための最良の形態】
【００１９】
（第一の実施形態）
本発明の実施形態について、図面を用いて以下に説明する。図１は、本発明の撮像装置の構成を概念的に示すブロック図である。撮像装置１は、被写体から得られる光をレンズ１００にて集光し、絞り１０１の開閉に応じた入射光を撮像素子１０２で受光して光電変換する。
【００２０】
撮像素子１０２で光電変換されたアナログ信号は、ＩＳＯ１００等の感度に対応するアナログゲイン処理（図示せず）の後、Ａ／Ｄ変換部１０３でディジタル信号にＡ／Ｄ変換される。さらに、ホワイトバランス調整部１０４で、所定のホワイトバランスゲインの演算処理等により、ホワイトバランスの調整がなされる。
【００２１】
続いて、補間処理（図示せず）により、撮像素子１０２のＲＧｒＧｂＢベイヤ−配列の色デ−タを、表示形態や処理形態等に対応したＲＧＢの画素デ−タへと演算処理する。階調変換部１０５は、階調変換関数であるいわゆるガンマカ−ブの適用処理により、１２ｂｉｔのデ−タを８ｂｉｔのデ−タへと階調変換処理を行う。
【００２２】
８ｂｉｔデ−タへ変換処理された画像デ−タは、画像処理部（図示せず）にてノイズ低減処理やエッジ処理、各種色補正処理等を施された後、表示部１０６に撮像画像として表示されることとなる。また、各種画像処理をして作成した画像デ−タは、ＪＰＥＧ等の形式にてメモリに保存して後に読み出すこともできる。
【００２３】
また、この実施形態の撮像装置１は、測光部１０７を備える。測光部１０７では、被写体の明るさを測定して測光デ−タを取得し、ＣＰＵ１０９ではその測光デ−タを用いて露光量の決定を行う。ＣＰＵ１０９は、ＡＥ算出部１１５を備えるので、測光部１０７の測光デ−タにより自動的に露光量を算出する。また、その露光量に対応して露光制御部１１４が、絞り１０１やレリ−ズ時間の露光制御を行う。そして、シャッタ−釦等からなるレリ−ズ指示部１１０の指示に基づき、撮像素子１０２が所定時間露光され被写体像を取り込む。なお、ＣＰＵ１０９はクロック生成器を備え、タイマ−による露光時間の測定を行う。
【００２４】
ここで、図３に、露光時間と撮像素子１０２の白飽和レベルの対応関係を概念的に示す。露光時間が長くなると、ある露光時間から飽和電荷量の減少が生じる。すなわち、本来、１２ｂｉｔで３６００ＬＳＢ（Least Significant Bit）の飽和電荷量が出力される撮像素子１０２から、例えば３００秒の長秒時露光では、約２８００ＬＳＢの飽和電荷量しか出力されなくなる。いわゆる、白飽和やマゼンダ被りといわれ、電荷抜けとも言われる現象である。従って、この場合、本来の３６００ＬＳＢから２８００ＬＳＢを減算した８００ＬＳＢが、露光時間３００秒時の飽和電荷減少量となる。飽和電荷量や飽和電荷減少量は、露光時間や撮像素子１０２の温度との関係で関係付けられる。より正確には、露光量と温度との関係となる。露光量は、撮像素子１０２が取り込む光の量であり、露光時間と絞り１０１と撮像時の被写体の明るさにより決めることができる。
【００２５】
また、この実施形態の撮像装置１は、温度検出部１０８を備える。温度検出部１０８は、撮像素子１０２の温度を検出する。撮像素子１０２は、温度に依存してその飽和電荷量も異なり、温度が高くなれば飽和電荷量もそれに対応して減少する。従って、ＣＰＵ１０９の階調変換関数選択部１１６は、ＡＥ算出部１１５が算出した露光量と、温度検出部１０８が検出した温度とに対応して最適な階調変換関数を決定する。
【００２６】
また、この実施形態の撮像装置１は、露光設定部１１１や階調設定部１１２を備える。露光設定部１１１には、撮像装置１のオペレ−タが、任意の露光量や絞り１０１の開口度を設定することができる。また、階調設定部１１２には、撮像装置１のオペレ−タが任意のガンマ関数たる階調変換関数を、記憶部１１３に記録される複数の所定のガンマ関数のなかから選択等により設定し、又はユ−ザカスタム設定することが可能である。
【００２７】
露光設定部１１１に露光量の設定があった場合には、温度検出部１０８での検出温度と設定された露光量との関係で、撮像素子１０２の飽和電荷量が決定されるので、階調変換関数選択部１１６は、最適な階調変換関数を選択して適用する。階調変換関数は、予め撮像素子１０２の温度と露光量との関数として記憶部１１３に記録する。この関数は、予めシミュレ−ション等により、装置固有の関数として求めることもできるし、階調変換関数を撮像素子１０２の温度と露光量の関数として定義して記憶しておいてもよい。また、記憶部１１３は、予め測定した露光量や温度と対応する撮像素子１０２の飽和電荷量が記録されている。
【００２８】
また、階調変換関数選択部１１６は、階調変換関数演算部１１７で階調変換関数を演算により求めることができる。例えば、図４（ａ）に示すように、ある本撮像時の飽和電荷量がＣＰＵ１０９により記憶部１１３から読み出された場合、その飽和電荷量を８ｂｉｔの２５５の値に対応させる線形な関数とする。そして、階調変換関数演算部１１７は、図４（ｂ）に示すような、非線形な基準となる階調変換関数と線形な関数との積算をすることで、すなわち図４の（ａ）の関数と図４の（ｂ）の関数との積をとり、いわば規格化することで、適用する階調変換関数を演算により求めることができる。また、複数の階調変換関数間で平均化等により補間処理し、最適な階調変換関数を算出してもよい。この場合、その撮像での飽和電荷量を最大値として８ｂｉｔ２５５値に変換するガンマ関数とすることが、ダイナミックレンジの有効活用の観点から好ましい。
【００２９】
ここで、基準となる階調変換関数である図４（ｂ）は、例えば日中晴天時の屋外撮影モ−ドでの階調変換関数であってもよく、夜間室内におけるストロボ撮影モ−ドでの階調変換関数であってもよく、任意の階調変換関数を利用することができる。この演算処理により、本撮像時の１２ｂｉｔでの飽和電荷量が８ｂｉｔの２５５値に対応するように、いわば規格化されるので、白飽和減少を低減することができる。また、階調設定部１１２に設定された、オペレ−タの任意による階調関数は、階調変換関数演算部１１７により演算処理されることなく、そのまま階調変換部１０５で階調変換に適用される構成としてもよい。  
【００３０】
次に、本実施形態の撮像装置１における動作について、図２に示す動作概念フロ−図を用いて順次説明する。
【００３１】
（ステップ１）撮像装置１のオペレ−タは、カメラ電源をオンにして撮像準備を整える。これにより、ＣＰＵ１０９等に通電され、測光部１０７や温度検出部１０８も動作可能な状態となる。
【００３２】
（ステップ２）ＣＰＵ１０９は、オ−ト露光（ＡＥ）するかどうかを判断する。オ−ト露光の場合には、ステップ３へ進み、マニュアル露光の場合には、ステップ１４へと進む。オ−ト露光かどうかの判断は、表示部１０６に表示されるメニュ−選択画面等により設定する構成としてもよい。また、露光設定部１１１により、オペレ−タが自動露光か否かを設定できる構成としてもよい。
【００３３】
（ステップ３）レリ−ズが半押しされたかどうかを判断する。レリ−ズが半押しの場合はステップ４へと進み、レリ−ズが半押しされない場合はステップ２に戻る。
【００３４】
（ステップ４）ＣＰＵ１０９は、測光部１０７に被写体の測光を行わせる。測光部１０７は、各種フォトダイオ−ド等のフォトセンサで構成することができる。
【００３５】
（ステップ５）ＣＰＵ１０９は、温度検出部１０８に撮像素子１０２の温度を検出させる。温度検出部１０８は、撮像素子１０２、またはその周辺の温度を測定することが好ましいが、撮像装置１のいずれかの個所の温度で代替することとしてもよい。また、撮像装置１の環境温度を用いることとしてもよい。温度検出部１０８で検出する温度と、撮像素子１０２の飽和電荷量との相関関係が得られるものであれば、その検出温度を指標として用いることができる。
【００３６】
（ステップ６）ステップ４で測定した測光デ−タと絞り１０１での開口量と露光時間とから露光量を算出する。露光量は、ＡＥ算出部１１５により決定される自動露光量でもよく、露光設定部１１１から設定される露光量でもよいが、その撮像に用いられる露光量である。
【００３７】
（ステップ７）レリ−ズの全押しにより、被写体の撮像を行う。レリ−ズの全押しが行われなければステップ１５へと進み、レリ−ズが全押しされればステップ８へと進む。
【００３８】
（ステップ８）ステップ６で算出された露光量と、ステップ５で検出した温度とから電荷漏れが発生するか否かを判断する。電荷漏れが生じない場合は、この発明による階調変換関数の変更は行わなくてもよいのでステップ１２へと進む。また、電荷漏れが生じる場合には、この発明による階調変換関数の変更を行う。一般に、人の視感度に対応させて、緑色（Ｇ）の検出感度を高く設定することが多いことから、緑色の光電変換素子の飽和電荷量が最初に低下することが想定される。
【００３９】
（ステップ９）ＣＰＵ１０９が、露光量と温度との関係で記憶部１１３に記録される飽和電荷量を読み出しする。なお、このステップ９は、ステップ８に先立って行うこととしてもよい。飽和電荷量が所定の値、例えば３６００であれば電荷漏れは生じないと判断することとしてもよい。または、飽和電荷減少量を算出することとしてもよい。また、実際に露光した露光時間等のデ−タをケイア−ル通信等によりＣＰＵ１０９が取得し、取得した露光量に基づいて対応する飽和電荷量を記憶部１０６から読み出すことができる。
【００４０】
（ステップ１０）ＣＰＵ１０９は、ステップ９で読み出し又は算出した飽和電荷量等に対応する階調変換関数を記憶部１１３から読み出す。また、図４（ａ）に示すようにこの時の飽和電荷量を８ｂｉｔの２５５値に規格化した線形関数と、図４（ｂ）に示す所定の階調変換関数との積（ｍｅｒｇｅ）をとることで、この撮像時の飽和電荷量が８ｂｉｔ最大出力値２５５に対応するように規格化する。このような演算は、ＣＰＵ１０９が備える階調変換関数演算部１１７で行うことができる。また、適用する階調変換関数の決定は、階調変換関数選択部１１６で選択し決定することができる。
【００４１】
ＣＰＵ１０９は、ステップ４とステップ５とで各々得た測光デ−タと温度デ−タと、ステップ６で得た露光量とから、これに対応する飽和電荷量又は階調変換関数を記憶部１１３から読み出す。記憶部１１３には、その撮像装置１での露光量や温度との関係で、予めシミュレ−ションや測定で対応する飽和電荷量や階調変換関数が複数の関係式等として算出されて、記録されている。このため、この対応関係を参照テ−ブルとして記憶部１１３に記録しておいて、読み出すこととしてもよい。また、露光量と温度との関係式として記録しておき、ＣＰＵ１０９で、対応する飽和電荷量や階調変換関数を算出できる構成としてもよい。
【００４２】
（ステップ１１）階調変換部１０５は、ステップ１０で階調変換関数選択部１１６が決定した階調変換関数を用いて、画像デ−タに階調変換処理を行う。これにより、１２ｂｉｔデ−タが８ｂｉｔデ−タに変換される。この際、いわゆる電荷抜けにより飽和電荷量として、例えば２８００Ｒａｗしか出力されない緑色検出デ−タについて、８ｂｉｔ２５５値に変換される階調変換関数が適用されるので、これに対応する画像を表示部１０６で表示してもマゼンダ被りを抑止することができる。
【００４３】
（ステップ１２）得られた画像デ−タについて、必要に応じて各種画像処理を行う。この画像処理は、ノイズ低減処理やエッジ処理や赤目軽減処理やコントラストの調整等所定の処理を任意に行うこととできる。また、表示部１０６の画像処理メニュ−等から選択され、設定される処理を行う構成としてもよい。
【００４４】
（ステップ１３）表示部１０６に画像を表示する。このフロ−図に示す階調変換関数の変更処理を経た画像は、白飽和の低減処理されているのでマゼンダ被りを低減することができる。
【００４５】
（ステップ１４）オ−ト露光を行わない場合は、露光設定部１１１からシャッタ−速度等の露光量に関わるファクタ−を設定する。設定が完了すればステップ５へと進む。
【００４６】
（ステップ１５）レリ−ズが全押しされなければ、そのままで待機するかどうかを判断する。待機する場合はステップ７へと戻り、待機しない場合はステップ２へ戻る。この時、待機するのかしないのかについて、表示部１０６の表示メニュ−によりオペレ−タが選択できる構成としてもよい。
【００４７】
次に、上述のマゼンダ被りの低減について、図５に示す説明図を用いて説明する。図５（ａ）に、常温時の撮像素子１０２から出力される１２ｂｉｔＲａｗデ−タと、ホワイトバランス調整部１０４でのホワイトバランスゲイン処理値と、階調変換部１０５での８ｂｉｔ階調変換処理値と、表示部１０６での表示色とを示す。なお、ホワイトバランス調整部１０４では、ＲＧｒＧｂＢのベイヤ−配列に対応する画像デ−タであるが、説明の容易化のためＲＧＢ画素デ−タであるとして以下説明する。図５（ｂ）に、高温時の撮像素子１０２から出力される１２ｂｉｔＲａｗデ−タと、ホワイトバランス調整部１０４でのホワイトバランスゲイン処理値と、階調変換部１０５での８ｂｉｔ階調変換処理値と、表示部１０６での表示色とを示す。図５（ｃ）に、高温時の撮像素子１０２から出力される１２ｂｉｔＲａｗデ−タと、ホワイトバランス調整部１０４でのホワイトバランスゲイン処理値と、本実施形態で変更した階調変換関数を適用して階調変換部１０５で８ｂｉｔ階調変換処理をした値と、表示部１０６での表示色とを示す。
【００４８】
なお、ホワイトバランス調整部１０４での調整ゲインは、いずれの場合もＲ＝１．３３、Ｇ＝１、Ｂ＝１．３５とする。また、被写体は白色であり、Ｒａｗデ−タは、電荷抜けが生じない本来は、Ｒ＝２７０６、Ｇ＝３６００、Ｂ＝２６６６であるものとする。図５においては、Ｇ（緑色）の感度が高く設定され、本来３６００ＬＳＢとして出力されるべきところ、図５（ｂ）に示すように高温時下の撮像では、Ｇ＝２８００ＬＳＢしか出力されない場合が生じる。
【００４９】
図５（ｂ）に示す状況において、本実施形態に説明する階調変換関数の変更を行わなければ、８ｂｉｔ階調変換処理後の値は、図５（ｃ）に示すようにＧ＝２４０となる。一方、ＲとＢの値は、共に２５５のままとなるので、いわゆる緑色のみが相対的に不足する状態となり、被写体は白色であるにもかかわらずマゼンダとして表示される。
【００５０】
一方、図５（ｃ）に示すように、階調変換部１０５で１２ｂｉｔから８ｂｉｔへ変換処理する際に、緑色についてはＧ＝２８００を８ｂｉｔ２５５値に対応させる階調変換関数を適用することで、電荷抜けが生じても被写体の白色を白色として表示することが可能となる。
【００５１】
これについて、さらに図６、図７、図８を用いて詳細に説明する。図６は、飽和電荷量が減少する様子を異なる検出色について示す模式図である。図６（ａ）は緑色光電変換素子の露光量に対する１２ｂｉｔＲａｗ出力ＬＳＢを示し、図６（ｂ）は、赤色光電変換素子又は青色光電変換素子の露光量に対する１２ｂｉｔＲａｗ出力ＬＳＢを示すものである。
【００５２】
カラ−画像の撮像を行う場合、撮像素子１０２は、赤青緑の三色のカラ−フィルタをそれぞれ光入射側に備える三種類の光電変換素子で構成される。各色のカラ−フィルタに対応する光電変換素子は、各々その色に対応する色成分を検出する。また、人の視感度は緑色が最も大きいので、これに対応するために緑色の光電変換素子の感度も高く設定することが好ましい。
【００５３】
このため、飽和電荷量の減少は、図６（ａ）に示すように緑色の光電変換素子に対応する減少が、図６（ｂ）に示す他の色の光電変換素子に対応する減少より少ない露光量で生じる傾向がある。また、図６に示すＥ１の露光量の範囲では、図６（ａ）の緑色の光電変換素子に対応するもののみの飽和電荷量が減少する。そして図６に示すＥ２の露光量の範囲では、図６（ｂ）の赤色や青色の光電変換素子に対応するものの飽和電荷量も減少することが推定される。
【００５４】
このことから、Ｅ１の露光量の領域では、緑色に対応する光電変換素子に適用する階調変換関数のみ変更し、他の赤色や青色に対応する光電変換素子に適用する階調変換関数は変更しなくてもよい。また、Ｅ２の露光量の領域では、緑色に対応する光電変換素子に適用する階調変換関数も変更し、かつ他の赤色や青色に対応する光電変換素子に適用する階調変換関数も変更することとしてもよい。
【００５５】
図７に、階調変換関数を変更するべき露光量を、白飽和レベルが低下する範囲として示している。撮像素子１０２の緑色光電変換素子に対応する１２ｂｉｔ出力が、２８００ＬＳＢであった場合、露光量Ａのように飽和電荷量が減少せずに２８００ＬＳＢとなる場合と、露光量Ｂのように飽和電荷量が減少して２８００ＬＳＢとなる場合とがある。既に、説明してきたように、露光量Ａの場合には、被写体からの入射光量が忠実に反映された値として、２８００ＬＳＢが出力される。一方、露光量Ｂの場合には、被写体からの入射光量を忠実に反映する出力は、本来３６００ＬＳＢであるはずであるが、飽和電荷量が減少し、いわゆる電荷抜けの現象が生じていることにより、２８００ＬＳＢしか出力しない。この両者の分別は、測光センサ等による被写体の明るさとシャッタ−開放時間と絞り開口度等から算出される露光量の違いにより分別可能である。さらに、露光量と飽和電荷量との関係も、撮像装置である電子カメラやカメラ設定の固有値として、予めシミュレ−ションや測定により求めておき、記憶装置に記録しておくことも可能である。露光量Ａの場合には、この実施形態で説明する階調変換関数の変更は行う必要はない。露光量Ｂの場合には、この実施形態で説明する階調変換関数の変更を行うことにより、本来３６００ＬＳＢの１２ｂｉｔ出力に対応して８ｂｉｔ２５５値と変換されるべき値が、２８００ＬＳＢの１２ｂｉｔ出力にて８ｂｉｔ２５５値と変換されることとなり、マゼンダ被りを低減させた画像表示が実現される。
【００５６】
次に、図８に示す階調変換関数の変更について、さらに詳細に説明する。図８Ｃに示すのが、飽和電荷量の減少が生じていない場合の基本となる階調変換関数である。図８Ｃの関数を適用すれば、１２ｂｉｔ３６００ＬＳＢで８ｂｉｔ２５５値に変換される。図８Ｂは、飽和電荷量３２００ＬＳＢに対応する階調変換関数であり、図８Ａは、飽和電荷量２８００ＬＳＢに対応する階調変換関数である。この３つの階調変換関数は、予めその撮像装置固有の関係としてシミュレ−ションや予備測定により求められ、メモリ等に記録されている。
【００５７】
典型例として、実際の撮像時に図８に示すように本撮像時の飽和電荷量がＸである場合について説明する。この場合、階調変換関数選択部１１６は、本撮像時の飽和電荷量Ｘより小さくて最も近い階調変換関数Ａを選択する。階調変換関数Ｂでは、対応する光検出素子からの１２ｂｉｔ出力最大値がＸしかないので、最大出力時でも８ｂｉｔ２５５値に変換されず（例えば２４０となる）、いわゆるマゼンダ被りが生じるからである。
【００５８】
すなわち、階調変換関数選択部１１６は、本撮像時の飽和電荷量Ｘ以下であり、かつ飽和電荷量Ｘに最も近い１２ｂｉｔ出力値を８ｂｉｔ２５５値に変換できる階調変換関数を、記憶部に記録された複数の階調変換関数から選択することが好ましい。これにより、ダイナミックレンジを最大限大きく活用することができる。
【００５９】
また、階調変換関数演算部が１１７が、晴天日中屋外撮影モ−ド若しくは雨天日中屋内撮影モ−ドに対応する階調変換関数若しくは硬調モ−ド若しくは軟調モ−ドまたは、図８に示す階調変換関数ＣやＢ等を基礎となる非線形階調変換関数すなわち、図４（ｂ）に示す関数とし、図４（ａ）に示す本撮像時の飽和電荷量Ｘを８ｂｉｔ２５５値に変換する線形関数との積算処理を演算することにより、適用する階調変換関数を求めることとしてもよい。さらに、階調変換関数の変更にあたっては、急激に大幅な関数変更を行うと変更前後で色合いの急変を生じることがあることから、段階的に変更することが好ましい。例えば、図８において関数Ｃから関数Ａへと変更する必要がある場合に、関数Ｃから関数Ｂへと変更し、一定期間をかけて関数Ｂから関数Ａへと段階的に変更することが好ましい。
【００６０】
また、この実施形態では１２ｂｉｔ出力を８ｂｉｔに変換する場合を典型例として示したが、変換前後の値は、任意のものであってよい。また、電子ディジタルカメラを典型例とする静止画像撮像装置や動画撮像装置等に利用してもよい。
【００６１】
また、階調変換関数選択部１１６は、撮像後に実際の露光量に基づいて対応する階調変換関数をメモリ等から読み出し選択することとしてもよい。また、記憶部１１３に記録される露光量と飽和電荷量との相関関係、飽和電荷量とそれに対応する階調変換関数との相関関係等の記録内容は予めＲＯＭ等に記録することとしてもよい。また、適宜ファ−ムアップ等のメンテナンスで書き換え可能となるように記憶部１１３をフラッシュメモリ等を用いる構成としてもよい。
【００６２】
また、階調設定部１１２にてオペレ−タが設定する階調変換関数は、予め記録された複数の所定の階調変換関数から適宜選択するものであってもよく、オペレ−タが任意に作成し、アレンジする階調変換関数を設定する構成としてもよい。
【００６３】
また、この実施形態において説明する階調変換関数の変更は、他の階調変換関数の設定や変更と並存して、あるいは重畳して行うこととしてもよい。また、緑色の光電変換素子に対応する階調変換関数だけでなく、赤色や青色の光検出素子に対応する階調変換関数にもこの実施形態を適用してもよい。また、緑色の光電変換素子に対応する階調変換関数を変更する場合に、他の赤色や青色の光電変換素子に対応する階調変換関数もその階調変換関数に整合させて変更することが好ましい。これにより、画像全体として自然な色合いで表示することが可能となる。
【００６４】
また、階調変換関数は、緑（Ｇ）だけでなく赤（Ｒ）もしくは青（Ｂ）も併せて変更してもよいし、緑（Ｇ）以外の赤（Ｒ）及び青（Ｂ）の階調変換関数を変更してもよい。さらに、ＲＧＢ全ての階調変換関数を変更してもよい。その場合、例えば光源色がＲやＢに偏っている状況などでの色被りを抑制することも可能である。階調変換関数を変更する場合のＲＧＢの組み合わせは、Ｇのみ、Ｒのみ、Ｂのみ、ＧとＲ、ＧとＢ、ＲとＢ、ＲとＧとＢ等のいずれかとしてもよい。
【００６５】
なお、この実施形態で説明するＣＰＵや階調変換処理にかかる各種演算部等は、ＡＳＩＣ等を用いて適宜構成してもよく、この説明に限られない。
【００６６】
本発明においては、白飽和に対応してガンマカ−ブの選択と変更を適宜行うことが可能である。ガンマカ−ブは、その撮像における温度や露光量で決定される飽和電荷量を最大値としてガンマ変換後の最大ビット数（例えば８ｂｉｔ２５５）とする関数が、ダイナミックレンジの有効活用の観点から好ましい。また、この関数は緑色だけでなく赤色や青色に対応する光電変換素子のガンマ関数として適用することが好ましい。
【００６７】
また、シャッタ−速度やシャッタ−開の時間（秒数）と関連付けてガンマカ−ブを変更する構成としてもよい。例えば、２９秒露光時、３０秒露光時、３１秒露光時で順次、段階的にガンマ関数を、その飽和電荷量に応じて変更する構成としてもよい。
【００６８】
また、温度センサ−等による検出温度に応じて、ガンマカ−ブを変更する構成としてもよい。例えば、３０℃、３５℃、４０℃の撮像環境において、順次、階調変換に用いるガンマ関数を、各々の飽和電荷量に対応させて段階的に変更することとできる。特に、動画の撮像時においては、温度の関連付けてガンマ関数を変更することが好ましい。
【産業上の利用可能性】
【００６９】
本発明は、カラ−撮像画像を撮像し、画像処理して後に表示する撮像装置やカラ−イメ−ジスキャナ、カラ−監視カメラ等に広く適用可能である。
【図面の簡単な説明】
【００７０】
【図１】本発明にかかる撮像装置のブロック図
【図２】本発明にかかる撮像装置の動作概念フロ−図
【図３】飽和電荷量の減少の説明図
【図４】階調変換関数の積算の説明図
【図５】マゼンダ被りの低減説明図
【図６】検出色による飽和電荷量の減少の相違を示す図
【図７】露光量と１２ｂｉｔ出力レベルの関係説明図
【図８】階調変換関数の変更説明図
【符号の説明】
【００７１】
１・・撮像装置、１００・・レンズ、１０１・・絞り、１０２・・撮像素子、１０３・・Ａ／Ｄ変換部、１０４・・ホワイトバランス調整部、１０５・・階調変換部、１０６・・表示部、１０７・・測光部、１０８・・温度検出部、１０９・・ＣＰＵ、１１０・・レリ−ズ指示部、１１１・・露光設定部、１１２・・階調設定部、１１３・・記憶部、１１４・・露光制御部、１１５・・ＡＥ算出部、１１６・・階調変換関数選択部、１１７・・階調変換関数演算部
【図１】
2009017400.tif 000003
【図２】
2009017400.tif 000004
【図３】
2009017400.tif 000005
【図４】
2009017400.tif 000006
【図５】
2009017400.tif 000007
【図６】
2009017400.tif 000008
【図７】
2009017400.tif 000009
【図８】
2009017400.tif 000010