(57)【要約】【課題】被写体により忠実な画像を得ることのできる撮像装置を提供する。【解決手段】画像処理部は、線形変換動作による画素データを用いて第１ＷＢ評価値を算出し（♯１２）、対数変換動作による画素データについては特性変換を行いこの変換後の画素データを用いて第２ＷＢ評価値を算出する（♯１４）。画像処理部は第１、第２ＷＢ評価値から補正係数を算出し（♯１５）、該補正係数からＲ画素及びＢ画素についての閾値THR，THBを算出し（♯１６）、画素ごとに、線形変換動作による画素データの画素値と当該画素についての閾値との大小に応じて線形変換動作及び対数変換動作による画素データのうち一方を選択する（♯１７）。ただし、高輝度から低輝度への被写体の輝度変化が生じた場合は当該画素についての閾値を画素データとして選択する。画像処理部５は選択した画素データに対し前記補正係数を用いてホワイトバランスの補正を行う（♯１８）。【選択図】図１０
2008271123.tif 000002
【特許請求の範囲】
【請求項１】
第１光電変換特性で露光される第１露光動作と、前記第１光電変換特性と異なる第２光電変換特性で露光される第２露光動作とを行って前記第１及び第２露光動作で得られた第１及び第２出力信号を各々出力可能なカラー撮像素子と、
前記第１及び第２出力信号のホワイトバランスを補正するための補正係数を算出する補正係数算出部と、
前記第１又は第２出力信号の信号レベルと閾値とを比較することによって、前記第１及び第２出力信号のうち画像を構成する信号として用いる出力信号を色ごとに選択する処理部と、
前記閾値を前記補正係数に応じて色ごとに設定する閾値設定部と
を備える撮像装置。
【請求項２】
前記閾値設定部は、予め定められた色について予め設定された閾値と前記補正係数とを用いて他の色についての閾値を算出し、
前記処理部は、前記第１又は第２出力信号の信号レベルと当該出力信号に対応する色についての閾値とを比較することによって、前記第１及び第２出力信号のうち画像を構成する信号として用いる出力信号を色ごとに選択する請求項１に記載の撮像装置。
【請求項３】
前記補正係数を用いて前記第１及び第２出力信号のホワイトバランスを補正するホワイトバランス補正部を備え、
前記処理部は、前記第１又は第２出力信号の信号レベルと予め定められた色について予め設定された閾値とを比較することによって、前記第１及び第２出力信号のうち画像を構成する信号として用いる出力信号を色ごとに選択する請求項１に記載の撮像装置。
【請求項４】
前記処理部は、前記第１及び第２出力信号の信号レベルについて、当該出力信号に対応する色についての閾値との大小を比較し、該閾値に対する大小関係が異なる場合には、前記第１及び第２出力信号をいずれも画像を構成する信号として用いず、各色について設定された閾値に相当する信号レベルの出力信号を、画像を構成する信号として設定する請求項１ないし３のいずれかに記載の撮像装置。
【請求項５】
前記予め定められた色は、各色の中で前記カラー撮像素子による受光率が最も高い光の色である請求項２ないし４のいずれかに記載の撮像装置。
【請求項６】
前記第１露光動作は、露光開始からの露光量の積算値に比例した出力値の出力信号を出力する線形変換特性で露光される露光動作であり、前記第２露光動作は、露光量を対数圧縮した出力値の出力信号を出力する対数変換特性で露光される露光動作である請求項１ないし５のいずれかに記載の撮像装置。
【請求項７】
前記第１露光動作は、露光開始から露光量の積算値に比例した出力値の出力信号を出力する第１の線形変換特性で露光される露光動作であり、前記第２露光動作は、前記第１の線形変換特性と異なる比例定数で、露光開始からの露光量の積算値に比例した出力値の出力信号を出力する第２の線形変換特性で露光される露光動作である請求項１ないし５のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受光した光を電気信号に変換する光電変換処理を行う撮像装置に関する。
【背景技術】
【０００２】
下記特許文献１には、所定の露光量（入射光量；以下、閾値という）までは、露光により生成した電荷を積分し、その露光積分量に比例した電圧に変換する線形変換動作と、露光量が前記閾値を超えると、前記積分を行わないで露光量を対数圧縮した電圧に変換する対数変換動作とを実行する撮像素子が提案されている。
【０００３】
このような撮像素子においては、線形変換動作状態で用いた場合、画素で生成された電荷量に比例した出力が得られることから、低輝度の被写体でも高コントラストな（高い階調性を有した）画像信号が得られる等の利点がある反面、ダイナミックレンジが狭くなるという不具合がある。一方、対数動作状態で用いた場合には、入射光量に対して自然対数的に変換された出力が得られることから、広いダイナミックレンジが確保できるという利点がある反面、画像信号が対数圧縮されることからコントラスト性が悪化するという不具合がある。
【特許文献１】特開２００６−５０５４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この種の撮像素子を搭載する撮像装置においては、図１６に示すように、露光期間中に撮像対象の被写体が高輝度のもの（以下、高輝度被写体という）から輝度が略０に近い低輝度のもの（以下、低輝度被写体という）に変化すると、得られる画像に色ずれが発生するという問題があった。図１６は、撮像素子の或る画素に注目した場合に（この画素を注目画素という）、該注目画素に対して相対的に被写体が矢印の方向に移動することにより、該注目画素の撮像対象が露光期間中に高輝度被写体から低輝度被写体に変化する状態を示した図である。以下、前記問題点について詳細に説明する。なお、前記問題点を説明するにあたり、以下の点（１）〜（７）を前提とする。
【０００５】
（１）前記撮像素子は、透過させる光の波長帯域（色）が互いに異なる複数のカラーフィルタが配設されたものであり、色ごとに画素の感度が異なること。
【０００６】
（２）前記注目画素が、第１の色のカラーフィルタが配設された画素（以下、第１色画素という）である場合と、第２の色のカラーフィルタが配設された画素（以下、第２色画素という）である場合とを想定すること。
【０００７】
（３）第１色画素は、第２色画素より感度が高いこと。
【０００８】
（４）前記露光期間の露光時間は比較的長い時間であること。
【０００９】
（５）以下に使用する「画素値」とは、画素から出力される画素信号の出力値だけでなく、光電変換動作により画素内部で生成されている電荷に相当する信号値を含むこと。
【００１０】
（６）高輝度被写体及び低輝度被写体の各々は、全域に亘って一様な輝度を有していること。
【００１１】
（７）前記高輝度被写体として、高輝度に分類される被写体の中でも輝度が高い側の被写体（以下、第１高輝度被写体という）と輝度が低い側の被写体（以下、第２高輝度被写体という）とを想定し、第１高輝度被写体と第２高輝度被写体とは同色であること。
【００１２】
図１７は、前述のように、露光期間中に注目画素の撮像対象が高輝度被写体から低輝度被写体に変化した場合において、該注目画素が露光を開始（時刻Ｔ＝０）してから経過した時間（タイミング）Ｔに対する入射光量（瞬時値）の変化を示す図であり、タイミングＴ＝Ｔ１で、注目画素の撮像対象が高輝度被写体から低輝度被写体に変化し、経過時間Ｔ＝Ｔ２で露光を終了したことを示している。なお、前記タイミングＴ１を明暗変化タイミングという。
【００１３】
また、図１７のグラフＡ１は，前記高輝度被写体のうち第１高輝度被写体の場合における入射光量（瞬時値）の変化を表すグラフであり、このグラフが示すように、前記露光を開始してから明暗変化タイミングＴ１までの期間は、一定の入射光量Ｌ１が注目画素に入射し、前記明暗変化タイミングＴ１で前記入射光量ＬがＬ１から略０に瞬間的に低下し、前記明暗変化タイミングＴ１から露光が完了する露光完了タイミングＴ２までの期間は、前記入射光量Ｌが略０となる状態が継続する。また、グラフＡ２は，前記高輝度被写体のうち第２高輝度被写体の場合における入射光量（瞬時値）の変化を表すグラフであり、露光を開始してから前記明暗変化タイミングＴ１までの期間で受光する光の入射光量ＬがＬ２（＜Ｌ１）となる以外は前記第１高輝度被写体の場合と略同様である。
【００１４】
次に、第１色画素及び第２色画素における、前記経過時間Ｔに対する画素値の変化について説明する。図１８のグラフＧ２，Ｂ２は、前記高輝度被写体が前記第２高輝度被写体である場合の、前記経過時間Ｔに対する第１色画素及び第２色画素の画素値の変化を示すグラフであり、図１９のグラフＧ３，Ｂ３は、前記高輝度被写体が前記第１高輝度被写体である場合の、前記経過時間Ｔに対する第１色画素及び第２色画素の画素値の変化を示すグラフである。
【００１５】
図１８，図１９に示すように、前記撮像素子の各画素は、前述したように、入射光量の積算値が或る基準光量より少ないときには、受光開始からの入射光量の積算値に比例した画素値を生成する光電変換動作を行う線形変換特性と、前記基準光量以上であるときには、前記入射光量（瞬時値）を対数圧縮した画素値を生成する光電変換動作を行う対数変換特性とを有する。図１８，図１９に示す「Ｓ１」は、前記入射光量の積算値が前記基準光量となったときに画素により生成される画素信号の画素値（以下、閾値Ｓ１という）を示し、図１８，図１９に示すグラフおいて、この画素値Ｓ１より小さい領域を線形変換領域（Ｌｉｎ領域）といい、前記画素値ＳがＳ１以上の領域を対数変換領域（Ｌｏｇ領域）というものとする。
【００１６】
図１８に示すように、前記露光期間のうち前記高輝度被写体を撮像している期間は、第１色画素及び第２色画素とも、露光時間に比例して画素値が略一定の割合で増加する。また、第１色画素は第２色画素より感度が高いので、第１色画素より第２色画素の方が画素値の増加率が大きくなる。したがって、第１色画素の画素値の変化を表すグラフは、図１８のグラフＧ２となり、第２色画素の画素値の変化を表すグラフは、図１８のグラフＢ２となる。
【００１７】
また、図１８に示すように、前記高輝度被写体が前記第２高輝度被写体である場合、第１色画素及び第２色画素の両方とも画素値の増加率が比較的小さく、各画素値が前記閾値Ｓ１を超える前に前記明暗変化タイミングＴ１を迎える。この明暗変化タイミングＴ１の時点における第１色画素の画素値をＳ２、第２色画素の画素値をＳ３とすると、第１色画素及び第２色画素の両方とも前記タイミングＴ１以降の入射光量は略０となるため、露光完了タイミングＴ２まで略一定の画素値Ｓ２，Ｓ３を維持する（図１８のグラフＧ２，Ｂ２のうち平坦部分）。すなわち、露光期間中、前記注目画素は線形変換領域でのみ動作し、注目画素が第１色画素である場合には、露光完了後に出力される画素信号の画素値はＳ２となり、前記注目画素が第２色画素である場合には、露光完了後に出力される画素信号の画素値はＳ３となる。
【００１８】
一方、前記高輝度被写体が前記第１高輝度被写体である場合、図１９に示すように、前記露光期間のうち高輝度被写体を撮像している期間は、第１色画素及び第２色画素とも、露光時間に比例して画素値が略一定の増加率で増加する。また、第１色画素は第２色画素より感度が高いので、第１色画素より第２色画素の方が画素値の増加率が大きくなる。したがって、第１色画素の画素値の変化を表すグラフは、図１９のグラフＧ３となり、第２色画素の画素値の変化を表すグラフは、図１９のグラフＢ３となる。
【００１９】
また、図１９に示すように、前記高輝度被写体が前記第１高輝度被写体である場合、第１色画素及び第２色画素の両方とも、前記高輝度被写体が前記第２高輝度被写体である場合に比して画素値の上昇率が大きい。ただし、第２色画素については、各画素値が前記閾値Ｓ１を超える前に前記明暗変化タイミングＴ１を迎える。この明暗変化タイミングＴ１の時点における第２色画素の画素値をＳ３’とすると、前記タイミングＴ１以降の入射光量は略０となるため、露光完了タイミングＴ２まで略一定の画素値Ｓ３’を維持する。すなわち、露光期間中、前記注目画素としての第２色画素は線形変換領域でのみ動作する。
【００２０】
一方、第１色画素については、明暗変化タイミングＴ１を迎える手前のタイミングＴｓで画素値が前記閾値Ｓ１に達する。したがって、このタイミングＴｓから明暗変化タイミングＴ１までの期間、注目画素としての第１色画素は対数変換動作を実行する。すなわち、該第１色画素は、入射光量の対数値を画素値として生成する。その結果、図１９のグラフＧ３のように、前記タイミングＴｓで画素値が瞬間的に大きくなり（このときの画素値をＳ２’とする）、前記明暗変化タイミングＴ１までの間、入射光量が一定であるから画素値Ｓ２’が維持される。
【００２１】
ここで、次のような問題が生じる。すなわち、前記対数変換領域では、前述したように前記入射光量の対数値を生成する領域であり積分動作が行われないため、入射光量が略０となる前記明暗変化タイミングＴ１の時点で画素値はＳ２’から低下する。その際、第１色画素には前記閾値Ｓ１分に相当する電荷を蓄積しているため、画素値Ｓ１まで低下することとなり、その変化は瞬間的なものとなる。そして、露光完了後に第１色画素から出力される画素信号の画素値はＳ１となる。このように、第１色画素から出力される画素信号の画素値がＳ２’とはならずにＳ１となることで、生成される画像に色ずれが生じる。
【００２２】
すなわち、第２色画素については、前記高輝度被写体が第１高輝度被写体である場合に得られる画素信号の画素値Ｓ３’と、前記高輝度被写体が第２高輝度被写体である場合に得られる画素信号の画素値Ｓ３との比（Ｓ３’／Ｓ３）が、図１７に示す入射光量Ｌ１，Ｌ２の比（Ｌ１／Ｌ２）に一致する。
【００２３】
一方、第１色画素については、露光完了後に出力されるべき画素信号の画素値は本来ならば、前記タイミングＴｓから明暗変化タイミングＴ１までの期間も、前記対数変換動作ではなく線形変換動作を行ったものと仮定した場合に、前記明暗変化タイミングＴ１の時点で得られる画素値Ｓ２”（図１９参照）である。画素値Ｓ２”が、前記タイミングＴｓから明暗変化タイミングＴ１までの期間で行われた光電変換動作が反映された画素値であるからである。また、前記高輝度被写体が前記第２高輝度被写体である場合にこの第１色画素から得られる本来の画素値Ｓ２”と、前記高輝度被写体が第２高輝度被写体である場合に第１色画素から得られる画素信号の画素値Ｓ２との比（Ｓ２”／Ｓ２）が、図１７に示す入射光量Ｌ１，Ｌ２の比（Ｌ１／Ｌ２）に一致する。
【００２４】
そして、前記各画素値Ｓ２，Ｓ２”，Ｓ３，Ｓ３’に着目すると、Ｓ２”／Ｓ２＝Ｓ３’／Ｓ３＝Ｌ１／Ｌ２が成立し、この式から、Ｓ２／Ｓ３＝Ｓ２”／Ｓ３’が導出される。ここで、第１色画素の出力信号の画素値と第２色画素の出力信号の画素値との比に基づいてホワイトバランスをとる場合、Ｓ２／Ｓ３＝Ｓ２”／Ｓ３’となることから、前記高輝度被写体は、第１高輝度被写体であっても第２高輝度被写体であっても同色で表されることが分かる。
【００２５】
ところが、前記高輝度被写体が第１高輝度被写体である場合に実際に第１色画素から得られる画素信号の画素値は、前記タイミングＴｓから前記明暗変化タイミングＴ１までの光電変換動作が反映されていない画素値Ｓ１（≠Ｓ２’）となる。したがって、この画素値Ｓ１と前記高輝度被写体が第１高輝度被写体である場合に第２色画素から得られる画素信号の画素値Ｓ３’との比Ｓ１／Ｓ３’は、前記高輝度被写体が第２高輝度被写体である場合に第１色画素及び第２色画素からそれぞれ得られる画素信号の画素値Ｓ２，Ｓ３の比Ｓ２／Ｓ３とは不一致となる。すなわち、前記高輝度被写体が第１高輝度被写体であるか第２高輝度被写体であるかによって、該高輝度被写体が異なる色として表されることとなり、ここに前述の色ずれが生じることとなる。
【００２６】
本発明は、上述した問題点を解決するためになされたものであり、前記色ずれを抑制することのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００２７】
請求項１に記載の発明は、第１光電変換特性で露光される第１露光動作と、前記第１光電変換特性と異なる第２光電変換特性で露光される第２露光動作とを行って前記第１及び第２露光動作で得られた第１及び第２出力信号を各々出力可能なカラー撮像素子と、前記第１及び第２出力信号のホワイトバランスを補正するための補正係数を算出する補正係数算出部と、前記第１又は第２出力信号の信号レベルと閾値とを比較することによって、前記第１及び第２出力信号のうち画像を構成する信号として用いる出力信号を色ごとに選択する処理部と、前記閾値を前記補正係数に応じて色ごとに設定する閾値設定部とを備える撮像装置である。
【００２８】
この発明によれば、カラー撮像素子の第１露光動作により出力信号が得られるとともに、前記第２露光動作により出力信号が得られる。このように各出力信号がそれぞれ得られると、前記補正係数算出部により各出力信号のホワイトバランスを補正するための補正係数が算出され、閾値設定部により前記補正係数に応じて色ごとに出力信号の信号レベルについての閾値が設定される。そして、処理部により、色ごとに、第１及び第２出力信号の信号レベルと閾値とが比較され、その比較結果に応じて、前記第１及び第２出力信号のうち画像を構成する信号として用いる出力信号が選択される。これらの処理により、被写体に忠実なホワイトバランスを有する画像を得ることが可能となる。
【００２９】
その際、請求項２に記載の発明のように、前記閾値設定部は、予め定められた色について予め設定された閾値と前記補正係数とを用いて他の色についての閾値を算出し、前記処理部は、前記第１又は第２出力信号の信号レベルと当該出力信号に対応する色についての閾値とを比較することによって、前記第１及び第２出力信号のうち画像を構成する信号として用いる出力信号を色ごとに選択するようにしてもよい。
【００３０】
また、請求項３に記載の発明のように、前記補正係数を用いて前記第１及び第２出力信号のホワイトバランスを補正するホワイトバランス補正部を備え、前記処理部は、前記第１又は第２出力信号の信号レベルと予め定められた色について予め設定された閾値とを比較することによって、前記第１及び第２出力信号のうち画像を構成する信号として用いる出力信号を色ごとに選択するようにしてもよい。
【００３１】
請求項４に記載の発明は、請求項１ないし３のいずれかに記載の撮像装置において、前記処理部は、前記第１及び第２出力信号の信号レベルについて、当該出力信号に対応する色についての閾値との大小を比較し、該閾値に対する大小関係が異なる場合には、前記第１及び第２出力信号をいずれも画像を構成する信号として用いず、各色について設定された閾値に相当する信号レベルの出力信号を、画像を構成する信号として設定するものである。
【００３２】
この発明によれば、被写体に輝度変化が生じた場合であっても、被写体に忠実なホワイトバランスを有する画像を得ることができる。
【００３３】
請求項５に記載の発明は、請求項２ないし４のいずれかに記載の撮像装置において、前記予め定められた色が、各色の中で前記カラー撮像素子による受光率が最も高い光の色であるものである。
【００３４】
この発明によれば、前記処理部による処理を容易化することができる。
【００３５】
請求項６に記載の発明は、請求項１ないし５のいずれかに記載の撮像装置において、前記第１露光動作が、露光開始からの露光量の積算値に比例した出力値の出力信号を出力する線形変換特性で露光される露光動作であり、前記第２露光動作が、露光量を対数圧縮した出力値の出力信号を出力する対数変換特性で露光される露光動作であるものである。
【００３６】
この発明によれば、第１露光動作が、露光開始からの露光量の積算値に比例した出力値の出力信号を出力する線形変換特性で露光される露光動作であり、前記第２露光動作が、露光量を対数圧縮した出力値の出力信号を出力する対数変換特性で露光される露光動作であるものにおいて、請求項１ないし５のいずれかに記載の発明が特に有効なものとなる。
【００３７】
請求項７に記載の発明は、請求項１ないし５のいずれかに記載の撮像装置において、前記第１露光動作が、露光開始から露光量の積算値に比例した出力値の出力信号を出力する第１の線形変換特性で露光される露光動作であり、前記第２露光動作が、前記第１の線形変換特性と異なる比例定数で、露光開始からの露光量の積算値に比例した出力値の出力信号を出力する第２の線形変換特性で露光される露光動作であるものである。
【００３８】
この発明によれば、第１露光動作が、露光開始から露光量の積算値に比例した出力値の出力信号を出力する第１の線形変換特性で露光される露光動作であり、前記第２露光動作が、前記第１の線形変換特性と異なる比例定数で、露光開始からの露光量の積算値に比例した出力値の出力信号を出力する第２の線形変換特性で露光される露光動作であるものにおいて、請求項１記載の発明が特に有効なものとなる。
【発明の効果】
【００３９】
本発明によれば、各画素の感度差に起因する色ずれ、特に１つの露光期間中に被写体が高輝度の被写体から低輝度の被写体に変化した場合の色ずれの発生を防止又は低減し、被写体により忠実な画像を得ることができる。
【発明を実施するための最良の形態】
【００４０】
本発明に係る撮像装置の実施形態について説明する。図１は、本発明に係る撮像装置の構成例を示すブロック図である。
【００４１】
図１に示すように、撮像装置１は、撮影光学系２と、撮像素子３と、Ａ／Ｄ変換部４と、画像処理部５と、操作部６と、制御部７とを備えて構成されている。
【００４２】
撮影光学系２は、詳細な図示は行っていないが、撮影倍率（焦点距離）を変更するためのズームレンズと、焦点位置を調節するためのフォーカスレンズと、撮像素子３へ入射される光量を調節するための絞りとが、鏡胴内において光軸方向に保持されてなり、被写体の光像を取り込んで該光像を撮像素子３に結像するものである。
【００４３】
撮像素子３は、マトリックス（行列）状に２次元配列された各画素に分光特性の異なる例えばＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタが１：２：１の比率で配設されてなり、撮影光学系２により導かれた被写体光の光量に応じてＲ、Ｇ、Ｂ各成分の画像信号に光電変換して出力するカラーエリアセンサである。なお、本実施形態では、Ｇ（緑）のカラーフィルタが配設された画素（Ｇ画素）、Ｒ（赤）のカラーフィルタが配設された画素（Ｒ画素）、Ｂ（青）のカラーフィルタが配設された画素（Ｂ画素）の順に感度が高いものとする。
【００４４】
本実施形態の撮像素子３は、図２に示すように、センサ面照度（センサ入射輝度）が低い場合（暗時）に電気信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形変換特性領域と、センサ面照度が高い場合（明時）に電気信号が対数的に変換（対数圧縮）されて出力される対数変換特性領域とからなる光電変換特性、換言すれば低輝度側が線形変換特性、高輝度側が対数変換特性の光電変換特性を有する撮像素子である。この光電変換特性の線形変換特性と対数変換特性との切替点（以下、変曲点Ｖｔｈという）は、撮像素子３の各画素回路に対する所定の制御信号により任意に制御可能とされている。
【００４５】
本実施形態の撮像素子３では、線形変換特性に基づく撮像時では変曲点を、画素が飽和状態となったときの画素値（以下、飽和レベルという）以上に設定し、撮像信号を全て線形変換特性にて出力するように制御し、また、対数変換特性に基づく撮像時では変曲点を最低出力レベル以下に設定し、撮像信号を全て対数変換特性にて出力するように制御する。
【００４６】
撮像素子３は、例えばフォトダイオード等の光電変換素子やＰ型（又はＮ型）のＭＯＳＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）、或いはＦＤ（Floating Diffusion）等を画素回路内に備える複数の画素がマトリックス状に配置されたＭＯＳ型固体撮像素子であり、所謂Ｘ−ＹアドレスタイプのＣＭＯＳイメージセンサである。撮像素子３は、この構成において、例えば上記ＭＯＳＦＥＴにおける転送トランジスタの転送ゲート電位やリセットトランジスタのリセットゲート電位等を変化させることで、ＦＤから線形変換特性を有する画素信号（線形変換特性出力）、及び対数変換特性を有する画素信号（対数変換特性出力）を出力する。なお、これに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。
【００４７】
撮像素子３は、具体的には例えば図３に示す回路構成を有している。すなわち、撮像素子３は、画素部３１、垂直走査回路３２、第１水平走査回路３３、第２水平走査回路３４、第１読出し回路３５及び第２読出し回路３６を備えている。画素部３１は、複数の画素３１１（ピクセル）を備え、被写体光像の光量に応じて上記線形変換特性及び対数変換特性の画像信号に光電変換して出力するものである。この画素部３１は、ゲートに負荷電圧（信号ＶＤ）が印加されて所謂電子負荷として機能する負荷トランジスタＱａを有した負荷回路３１２を備えている。
【００４８】
垂直走査回路３２は、画素部３１の各画素３１１（全画素行）に対する垂直走査を行う垂直シフトレジスタであって、各行選択信号線３１３を順次走査する。第１水平走査回路３３及び第２水平走査回路３４はそれぞれ、各画素３１１に対する水平走査（列選択動作）を行う水平シフトレジスタであって、各垂直信号線３１４（列選択信号線；出力信号線）を順次走査する。ただし、第１水平走査回路３３は各画素３１１からの線形変換特性出力に対する水平走査を行い、一方、第２水平走査回路３４は各画素３１１からの対数変換特性出力（対数圧縮特性出力）に対する水平走査を行う。
【００４９】
第１読出し回路３５は、垂直走査回路３２により走査された画素行の各画素３１１から垂直信号線３１４に導出された線形変換特性出力による画像信号を、第１水平走査回路３３による水平走査に従って画素毎に順次読み出すための回路である。第２読出し回路３６は、同様に垂直信号線３１４に導出された対数変換特性出力による画像信号を、第２水平走査回路３４による水平走査に従って画素毎に順次読み出すための回路である。このように、本実施形態では、各画素３１１の光電変換特性における異なる特性毎の、すなわち線形変換特性出力及び対数変換特性出力それぞれに対応した専用（個別）の読出し回路を備えている。これら第１及び第２読出し回路３５、３６はそれぞれ、当該線形変換特性出力及び対数変換特性出力による画像信号とノイズ信号とをサンプルホールド（サンプリング）する所謂サンプルホールド回路として機能する。
【００５０】
すなわち、第１読出し回路３５は、シグナルサンプルホールド用スイッチＳａ１及びシグナルサンプルホールド容量Ｃａ１からなるシグナルサンプルホールド回路３５１と、ノイズサンプルホールド用スイッチＳａ２及びノイズサンプルホールド容量Ｃａ２からなるノイズサンプルホールド回路３５２とを有する線形変換特性出力用のサンプルホールド回路３５３を備え、入力されたアナログ信号としてのシグナル（画像信号）及びノイズ（ノイズ信号）をサンプリング（標本化）し、この値を一時的に保持する。同様に、第２読出し回路３６は、シグナルサンプルホールド用スイッチＳｂ１及びシグナルサンプルホールド容量Ｃｂ１からなるシグナルサンプルホールド回路３６１と、ノイズサンプルホールド用スイッチＳｂ２及びノイズサンプルホールド容量Ｃｂ２からなるノイズサンプルホールド回路３６２とを有する対数変換特性出力用のサンプルホールド回路３６３を備え、シグナル及びノイズをサンプルホールドする。
【００５１】
また、第１及び第２読出し回路３５、３６はそれぞれ、アンプ３５４、３６４（アナログ増幅部；差動アンプ）を備えており、これら各アンプによって、各画素３１１の感度バラツキによるノイズ成分を除去するとともに、各画素３１１の信号をアナログの状態で増幅するつまりアナログゲインをかけて増幅する。アンプ３５４、３６４においてノイズ除去及びゲイン調整された線形変換特性及び対数変換特性の画像データ（画像信号）は、後段のＡ／Ｄ変換部４に送信される。なお、サンプルホールド回路３５３（３６３）における１つのシグナルサンプルホールド回路３５１（３６１）及びノイズサンプルホールド回路３５２（３６２）からなる回路のことを垂直出力回路３５０（３６０）と表現する。
【００５２】
図４は、撮像素子３の電気的な構成を示すブロック図である。この図４に示す撮像素子３は、図３に示す上記画素部３１、上記垂直走査回路３２に相当する垂直走査部３２０、第１水平走査回路３３及び第１読出し回路３５（アンプ３５４は含まない）に相当する第１水平走査部３３０、第２水平走査回路３４及び第２読出し回路３６に相当する第２水平走査部３４０（アンプ３６４は含まない）、アンプ３５４及び３６４、並びに、図４に示す第１及び第２増幅率制御部３８１及び３８２を含むセンサ制御部３８０を備えている。
【００５３】
撮像素子３は、画素部３１（全画素３１１）における画素行（水平１ライン）ごとに線形変換特性及び対数変換特性の露光を行い、これら特性での撮像信号を、各特性毎に異なる出力回路（読出し回路或いは出力端子（アンプ３５４、３６４））から出力する。撮像素子３は、外部からすなわち画像処理部５或いは主制御部６からの制御信号（第１及び第２増幅率（増幅率制御信号）、タイミング信号等）に呼応して撮像動作を行い、各特性の撮像信号を出力する。画素部３１での光電変換動作により得られた撮像信号は、垂直走査部３２０によって水平１ライン分の撮像信号（水平１ラインの画素行における各画素３１１の画素信号）が特性毎に第１水平走査部３３０又は第２水平走査部３４０に出力され、これら水平走査部にて保持される。第１及び第２水平走査部３３０、３４０に保持された各特性の撮像信号は画素毎にアンプ３５４、３６４にて増幅処理され、アンプ３５４からは、上記線形変換特性撮像信号が、アンプ３６４からは、上記対数変換特性撮像信号が出力される。なお、アンプ３５４、３６４それぞれの増幅率は、上記外部からの制御信号に基づいてセンサ制御部３８０により設定される。また、センサ制御部３８０は、上記外部からの制御信号に呼応して、アンプ３５４、３６４の増幅処理を制御するとともに、画素部３１の光電変換動作、垂直走査部３２０の垂直走査動作、及び第１及び第２水平走査部３３０、３４０の水平走査動作を制御する。
【００５４】
図１に戻り、Ａ／Ｄ変換部４は、撮像素子３内のアンプ３５４、３６４にて増幅されたアナログ値の画像信号（アナログ信号）をデジタル値の画像信号（以下、画素データ）にそれぞれ変換（以下、この変換をＡ／Ｄ変換という）するものである。画像処理部５は、Ａ／Ｄ変換部４から出力された画素データに対して後述する画像処理を行うものである。
【００５５】
操作部６は、当該撮像装置１の電源をオンオフするための電源ボタン、撮像素子３による露光動作のタイミングを指示するためのシャッターボタン、静止画や動画を撮影する撮影モードや記録済みの画像を再生する再生モード等、撮像装置１に搭載されたモードや機能を択一的に選択するダイヤルやボタン、撮影条件（絞り値、シャッタースピード、フラッシュ発光の有無等）の設定等の指示を入力するためのダイヤルやボタン等を含むものであり、これらの操作情報を制御部７に出力する。
【００５６】
制御部７は、各制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ、及び制御プログラム等をＲＯＭから読み出して実行する（中央演算処理装置：ＣＰＵ）等からなり、操作部６から出力される操作情報にしたがって、撮像素子３、Ａ／Ｄ変換部４及び画像処理部５の動作を互いに関連付けて制御するものであり、機能的に、撮像素子３の撮像動作を制御する撮像制御部７１を備える。
【００５７】
図５は、撮像素子３の水平１ライン毎における各光電変換特性での露光及び撮像信号の出力（読み出し）についてのタイミングを示す図である。例えば水平３ライン分について説明すると、撮像制御部７１は、先ず、或る水平１ライン（ラインＬ１）において、線形変換特性での露光を開始させ、所定露光時間が終了すると、この線形変換特性での露光により得られた撮像信号を第１水平走査部３３０に出力させて該第１水平走査部３３０に保持させる（ｔ１〜ｔ３；時刻ｔ１からｔ３までの間の時間）。次に、撮像制御部７１は、対数変換特性での露光を開始させ、所定露光時間が終了すると、この対数変換特性での露光により得られた撮像信号を第２水平走査部３４０に出力させて該第２水平走査部３４０に保持させる（ｔ３〜ｔ４）。その後、第１水平走査部３３０及び第２水平走査部３４０から、各特性の撮像信号をそれぞれ出力させる、すなわちアンプ３５４、３６４により所定の増幅率で増幅させて出力させる（ｔ４〜ｔ６）。
【００５８】
このように、本実施形態は、各画素から、線形変換動作により得られた画素信号と、対数変換動作により得られた画素信号とが分離した態様で出力され、Ａ／Ｄ変換部４は、各画素信号をそれぞれＡ／Ｄ変換する。
【００５９】
また、次の水平１ライン（ラインＬ２）、さらに次の水平１ライン（ラインＬ３）も同様に、露光及び読み出し制御が撮像制御部７１により行われ、上記ラインＬ１の撮像信号出力に続いて順にラインＬ２、ラインＬ３の撮像信号が出力される（ラインＬ１の撮像信号出力時間ｔ４〜ｔ６に続いてライン２のｔ６〜ｔ８、ライン３のｔ８〜ｔ９と連続的に出力される）。このように、ライン毎の線形変換特性及び対数変換特性の露光、出力動作が、画素部３１の全水平ライン（全画素行）に亘って行われる。
【００６０】
図６は、画像処理部５の電気的な構成を示すブロック図である。図６に示すように、画像処理部５は、光電変換特性変換部５１と、第１ＷＢ評価値算出部５２と、第２ＷＢ評価値算出部５３と、ＷＢ補正係数算出部５４と、閾値算出部５５と、比較選択部５６と、ＷＢ補正部５７とを備える。なお、「ＷＢ」は「ホワイトバランス」を意味する。
【００６１】
光電変換特性変換部５１は、Ａ／Ｄ変換部４から出力された画素データのうち対数変換動作で得られた画素データを、当該対数変換動作ではなく線形変換動作を行ったものと仮定した場合に得られる画素データに変換する処理、換言すると、対数変換特性の出力値を線形変換特性の出力値に変換する特性変換処理を行うものである。
【００６２】
図７は、白色の被写体をＧ色、Ｂ色及びＲ色の画素が線形変換動作及び対数変換動作でそれぞれ撮像した場合に得られる被写体輝度（明るさ）に応じた画素値を示すグラフである。図７の実線で示すように、線形変換特性は被写体輝度の増加に伴って画素値が増加し、或る画素値THGで飽和する。また、図７の破線で示すように、対数変換特性も被写体輝度に伴って画素値が増加するものの、その画素値の増加率は、線形変換領域における画素値の増加率より小さくなる。なお、本実施形態では、Ｇ画素、Ｒ画素、Ｂ画素の順に感度が高いため、画素値の増加率もこの順に高くなっている。なお、図７の「Ｌｉｎ」は線形変換特性のグラフであることを示し、「Ｌｏｇ」は対数変換特性のグラフであることを示す。
【００６３】
図７の点線で示す対数変換特性の出力値を線形変換特性の出力値に変換する特性変換処理を行うと、図８に示すようなグラフの特性となる。図８は、白色の被写体を撮影した場合に、横軸を被写体輝度、縦軸を画素値として、線形変換特性を示すグラフ（実線）と、対数変換特性の出力値を線形変換特性の出力値に変換した場合のグラフ（破線）とを示す図である。図８に示すように、対数変換特性の出力値を線形変換特性の出力値に変換する特性変換処理を行うと、そのグラフは、本来の線形変換特性を示すグラフを所定量延長したグラフとなる。なお、図８において、「Ｌｉｎ」は線形変換特性のグラフであることを示し、「Ｌｏｇ２Ｌｉｎ」は、対数変換特性を線形変換特性に変換した場合のグラフであることを示し、図８では、各特性のグラフを視覚的に明確化するために若干ずらして描いている。このグラフから判るように、対数変換特性は本来の線形変換特性に比してダイナミックレンジが広いという特徴を有している。
【００６４】
光電変換特性変換部５１は、同一の被写体輝度（明るさ）における、対数変換動作で得られる画素データの画素値と、前記対数変換動作に代えて線形変換動作を行ったものと仮定した場合に得られる画素データの画素値との対応関係（図７の破線で示すグラフにおける各画素値と、図８の破線で示すグラフにおける各画素値との対応関係）を、例えばＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）として記憶しており、このＬＵＴを用いて、対数変換動作により得られた画素データの画素値を線形変換動作を行ったものと仮定した場合に得られる画素データの画素値に変換する。
【００６５】
例えば、図７、図８に示すように、被写体輝度がＬ３である場合に、対数変換動作により得られた画素データの画素値がＳＧ３であり、また、この対数変換動作に代えて線形変換動作を行ったものと仮定した場合に得られる画素データの画素値ＳＧ２であるとき、光電変換特性変換部５１は、これらの画素値ＳＧ３と画素値ＳＧ２とを対応させた状態で予め記憶しており、対数変換動作により得られた画素データの画素値がＳＧ３であったときには、この画素値ＳＧ３を画素値ＳＧ２に変換する。
【００６６】
第１ＷＢ評価値算出部５２は、Ａ／Ｄ変換部４を介して撮像素子３から得られた画素データのうち線形変換動作により得られた画素データについて、色ごとに、例えば撮像面全体の平均値を第１ＷＢ評価値として算出するものである。なお、Ｒ色の第１ＷＢ評価値をAveRL、Ｇ色の第１ＷＢ評価値をAveGL、Ｂ色の第１ＷＢ評価値をAveBLと表すものとする。
【００６７】
第２ＷＢ評価値算出部５３は、Ａ／Ｄ変換部４を介して撮像素子３から得られた画素データのうち対数変換動作により得られた画素データについて、色ごとに、例えば撮像面全体の平均値を第２ＷＢ評価値として算出するものである。なお、Ｒ色の第２ＷＢ評価値をAveRH、Ｇ色の第２ＷＢ評価値をAveGH、Ｂ色の第２ＷＢ評価値をAveBHと表すものとする。
【００６８】
なお、ここでは、第１，第２ＷＢ評価値算出部５２，５３により第１、第２ＷＢ評価値を算出する際に用いる画素データの取得対象範囲を撮像面全体としたが、これに代えて、撮像面のうち一部分としてもよい。また、撮像面全体又は撮像面の一部分に属する画素の画素データを単純平均したものを第１、第２ＷＢ評価値として算出する形態に代えて、線形変換動作及び対数変換動作によりそれぞれ得られた各画素データについて画像の位置に応じて重みを設定し、線形変換動作及び対数変換動作によりそれぞれ得られた画素データごとに前記重みを用いて算出した各加重平均値を第１、第２ＷＢ評価値として設定する形態を採用してもよい。
【００６９】
ＷＢ補正係数算出部５４は、Ａ／Ｄ変換部４を介して撮像素子３から得られた画素データに対して行うホワイトバランスの補正に用いる係数（以下、補正係数という）を算出するものである。ＷＢ補正係数算出部５４は、まず、第１，第２ＷＢ評価値算出部５２，５３によりそれぞれ算出された第１、第２ＷＢ評価値に予め設定された重み係数を用いた重み付け平均を行う。
【００７０】
すなわち、第１ＷＢ評価値算出部５２に予め設定された第１重み係数をkL、第２ＷＢ評価値算出部５３に予め設定された第２重み係数をkHと表すものとすると、ＷＢ補正係数算出部５４は、Ｒ色評価値AveR、Ｇ色評価値AveG、Ｂ色評価値AveBを、
AveR＝｛（AveRL×ｋL）+（AveRH×ｋH）｝÷（ｋL＋ｋH）・・・（１）
AveG＝｛（AveGL×ｋL）+（AveGH×ｋH）｝÷（ｋL＋ｋH）・・・（２）
AveB＝｛（AveBL×ｋL）+（AveBH×ｋH）｝÷（ｋL＋ｋH）・・・（３）
に基づいて算出する。
【００７１】
そして、ＷＢ補正係数算出部５４は、前記各式（１）〜（３）により算出したＲ色評価値AveR、Ｇ色評価値AveG及びＢ色評価値AveBを用いて、Ｒ色評価値AveRとＧ色評価値AveGとの比AveG／AveRをＲ色補正係数Rgainとして算出するとともに、Ｂ色評価値AveBとＧ色評価値AveGとの比AveG／AveBをＢ色補正係数Bgainとして算出する。
【００７２】
ここで、本実施形態では、線形変換動作により得られた画素データと対数変換動作により得られた特性変換処理後の画素データとのうち、画像を構成する画素データとして用いる画素データを選択する処理を行うとともに、この選択方法として、線形変換動作により得られた画素データの画素値と基準値（後述する閾値）との大小に応じて選択する方法を採用している。
【００７３】
また、本実施形態では、最も感度の高い画素（ここではＧ画素）の色について前記閾値が予め設定されており（閾値THG）、他の色についての閾値を、前記閾値THGと前記補正係数Rgain，Bgainとを用いて算出するようにしている。なお、本実施形態では、Ｇ画素（緑）についての前記閾値THGは飽和レベルに設定されている。ただし、前記閾値THGは、前記飽和レベルに限定されるものではなく、前記飽和レベル以下の範囲で適宜設定可能である。
【００７４】
閾値算出部５５は、Ｇ画素についての閾値THGを用いて、下記式（４），（５）に基づき他の画素（ここではＲ画素及びＢ画素）についての閾値THR，THBをそれぞれ算出するものである。
【００７５】
THR＝THG／Rgain      ・・・（４）
THB＝THG／Bgain      ・・・（５）
これらの閾値THR，THBは、図８に示すＧ画素についてのグラフのうち該画素がちょうど飽和状態になる点Ａを変曲点Ａというものとしたとき、白色の被写体を撮影した場合に、Ｒ色及びＢ色の画素の線形変換特性を示すグラフのうち前記変曲点Ａと同一の被写体輝度となる点Ｂ，Ｃを定義する値である。
【００７６】
比較選択部５６は、Ｇ画素、Ｒ画素及びＢ画素の各画素について、線形変換動作により得られた画素データと当該画素の色についての閾値（THG，THR，THBのいずれか）とをそれぞれ比較し、その比較結果に応じて、線形変換動作により得られた画素データと対数変換動作により得られた画素データとのいずれか一方を、後段のＷＢ補正部５７によるホワイトバランスの補正の対象とする画素データ、ひいては撮影画像を構成する画素データとして選択するものである。
【００７７】
すなわち、比較選択部５６は、各画素について、線形変換動作により得られた画素データの画素値が、当該画素に対応する閾値より小さい場合には、前記線形変換動作により得られた画素データを選択し、閾値以上である場合には、対数変換動作により得られた画素データを選択する。
【００７８】
例えば図８に示す特性に基づいて説明すると、被写体輝度がL１以下の例えばL３であった場合、或るＧ色の画素の線形変換動作により得られた画素データの画素値はSG2であり、この画素値SG2は当該画素の色についての閾値THGより小さい。したがって、この画素については、線形変換動作により得られた画素データ（画素値SG2）を選択する。また、同じ被写体輝度Ｌ３において、或るＲ色の画素の線形変換動作により得られた画素データの画素値はSR2であり、この画素値SR2は当該画素の色についての閾値THRより小さい。したがって、この画素についても、線形変換動作により得られた画素データ（画素値SR2）を選択する。また、同じ被写体輝度Ｌ３において、或るＢ色の画素の線形変換動作により得られた画素データの画素値はSB2であり、この画素値SB2は当該画素の色についての閾値THBより小さい。したがって、この画素についても、線形変換動作により得られた画素データ（画素値SB2）を選択する。
【００７９】
一方、例えば被写体輝度が前記輝度Ｌ１を超える例えば輝度Ｌ２であった場合、或るＧ色の画素の線形変換動作により得られた画素データの画素値は閾値THGとなっている。したがって、この画素については、対数変換動作により得られた画素データ（画素値SG1）を選択する。また、或るＲ色の画素の線形変換動作により得られた画素データの画素値はSR1であり、この画素値SR1は閾値THRより大きい。したがって、この画素についても、対数変換動作により得られた画素データ（画素値SR1）を選択する。また、或るＢ色の画素の線形変換動作により得られた画素データの画素値はSB1であり、この画素値SB1は閾値THBより大きい。したがって、この画素についても、対数変換動作により得られた画素データ（画素値SB1）を選択する。
【００８０】
ただし、１つの露光期間中に撮像対象の被写体の輝度が相対的に高いもの（以下、高輝度被写体という）から輝度が相対的に低いもの（以下、低輝度被写体という）に変化した場合には、線形変換動作は主に高輝度被写体に対して行われ、対数変換動作は主に低輝度被写体に対して行われることとなる。
【００８１】
ここで、或る画素の線形変換動作により得られた画素データが、当該画素の色に対応する閾値より小さくないからといって、どのような被写体であっても、対数変換動作により得られた画素データを選択する処理を行うようにすると、主に低輝度被写体に対して行われた対数変換動作で得られた画素データは高輝度被写体が忠実に反映されたものではないため、前記高輝度被写体を含む画像を生成する必要があるにも拘らず、そのような画像が得られなくなる。
【００８２】
例えば、或る露光期間中に、撮像対象の被写体が例えば輝度Ｌ２を有する高輝度被写体から輝度Ｌ３を有する低輝度被写体に変化した場合、各色の画素の線形変換動作により得られた画素データが、当該画素に対応する閾値以上となることから対数変換動作により得られた画素データを採用すると、その画素データの画素値はSG2，SR2，SB2となっており、これは前記低輝度被写体の輝度Ｌ３を主に反映したものであって、高輝度被写体の輝度Ｌ２を反映したものではない。したがって、この場合、高輝度被写体が忠実に反映された画像が得られなくなる。
【００８３】
そこで、本実施形態では、各画素について、線形変換動作により得られた画素データが、対応する閾値より小さくない場合であっても、前述のような被写体の輝度変化が生じた場合には、例外的に、当該画素の画素値について設定された閾値に相当する画素値を有する画素データを、ＷＢ補正部５７によるホワイトバランスの補正の対象とする画素データとして選択する。
【００８４】
すなわち、比較選択部５６は、前記被写体の輝度が例えばL2からL3に変化した場合、Ｇ色の画素については、画素値THGを有する画素データを、ＷＢ補正部５７によるホワイトバランスの補正の対象とする画素データとして選択し、Ｒ色の画素については、画素値THRを有する画素データを、ＷＢ補正部５７によるホワイトバランスの補正の対象とする画素データとして選択し、Ｂ色の画素については、画素値THBを有する画素データを、ＷＢ補正部５７によるホワイトバランスの補正の対象とする画素データとして選択する。
【００８５】
前記閾値THR，THBは、被写体輝度L2と異なる被写体輝度L1での各色の画素データの画素値に相当するものであるから、閾値THG，THR，THBに相当する画素値を有する画素データを、ＷＢ補正部５７によるホワイトバランスの補正の対象とする画素データとして選択すると、得られる画像の輝度は実際の被写体輝度とずれが生じるが、同一の被写体輝度で各色の画素から得られる画素データの画素値であるため、後段のＷＢ補正部５７によりホワイトバランスの補正を行ったときに、画像のホワイトバランスを実際の被写体に忠実なものに設定することができる。
【００８６】
なお、被写体の輝度変化が生じたか否かは、当該画素の対数変換動作により得られた画素データの画素値が、当該画素の色に対応する閾値より小さいか否かに基づいて判断することができ、比較選択部５６は、対数変換動作により得られた画素データの画素値が、当該画素に対応する閾値より小さい場合に、前述のような被写体の輝度変化が生じたものと判断する。
【００８７】
ＷＢ補正部５７は、ＷＢ補正係数算出部５４により算出された補正係数Rgain，Bgainを用いて、比較選択部５６により選択された画素データに対してホワイトバランスの補正を行うものである。すなわち、ＷＢ補正部５７は、比較選択部５６から出力されたＲ色の画素の線形変換動作又は対数変換動作により得られた画素データの画素値に前記補正係数Rgainを乗算し、この乗算値を有するデータを、ホワイトバランスを補正した画像データとして制御部７に出力する。また、ＷＢ補正部５７は、比較選択部５６から出力されたＢ色の画素の線形変換動作又は対数変換動作により得られた画素データの画素値に前記補正係数Bgainを乗算し、この乗算値を有するデータを、ホワイトバランスを補正した画像データとして制御部７に出力する。
【００８８】
図９は、撮像装置１の撮像動作を示すフローチャートである。図９に示すように、撮像装置１は、図略の電源ボタンにより撮像装置１の電源がオンされ（ステップ♯１でＹＥＳ）、シャッターボタンにより撮影の指示が入力されると（ステップ♯２でＹＥＳ）、撮像素子３を用いて撮像動作を実行する（ステップ♯３）。この撮像動作は、前記線形変換動作を行ったのち対数変換動作を行う動作である。そして、撮像装置１は、撮像素子３の各画素から出力される、線形変換動作又は対数変換動作で得られた画素データに対してホワイトバランスの補正処理を実行し（ステップ♯４）、さらにガンマ補正処理等の他の画像処理を実行したのち（ステップ♯５）、制御部７に出力したり図略の記録部に記録したりする（ステップ♯６）。撮像装置１は、電源ボタンにより電源がオフされるまで（ステップ♯７でＮＯ）、ステップ♯２〜♯７の処理の繰り返し実行し、電源ボタンにより電源がオフされると（ステップ♯７でＹＥＳ）、一連の処理を終了する。
【００８９】
図１０は、画像処理部５による画像処理を示すフローチャートである。図１０に示すように、画像処理部５は、Ａ／Ｄ変換部４から取得した画素データが線形変換動作により得られたものである場合には（ステップ♯１０でＹＥＳ，♯１１でＮＯ）、この画素データを用いて撮像面全体の平均値を第１ＷＢ評価値として算出する（ステップ♯１２）。一方、画像処理部５は、Ａ／Ｄ変換部４から取得した画素データが対数変換動作により得られたものである場合には（ステップ♯１０でＹＥＳ，♯１１でＹＥＳ）、この画素データを線形変換動作を行ったものと仮定した場合に得られる画素データに変換する特性変換処理を実行し（ステップ♯１３）、この変換処理後の画素データを用いて撮像面全体の平均値を第２ＷＢ評価値として算出する（ステップ♯１４）。
【００９０】
次に、画像処理部５は、ステップ♯１２，♯１４の処理により算出された第１、第２ＷＢ評価値から前記式（１）〜（３）を用いて補正係数Rgain，Bgainを算出し（ステップ♯１５）、この補正係数Rgain，BgainとＧ（緑）色についての閾値THGとから前記式（４），（５）を用いてＲ画素及びＢ画素についての閾値THR，THBをそれぞれ算出する（ステップ♯１６）。
【００９１】
そして、画像処理部５は、各画素について、線形変換動作で得られた画素データの画素値と、当該色の画素に対応する閾値との大小に応じて、線形変換動作で得られた画素データと対数変換動作で得られた画素データとのうちいずれか一方を選択する（ステップ♯１７）。ただし、前述したように、被写体が高輝度被写体から低輝度被写体に変化した場合には、例外的に、当該画素の色について設定された閾値を、ホワイトバランスの補正の対象とする画素データとして選択する。そして、画像処理部５は、選択した画素データに対し、前記補正係数を用いてホワイトバランスの補正を行う（ステップ♯１８）。
【００９２】
このように、本実施形態では、線形変換動作で得られた画素データと対数変換動作で得られた画素データとを用いて、補正係数Rgain，Bgain及びＲ色及びＢ色についての閾値THR，THBを算出し、各色の画素による線形変換動作で得られた画素データの画素値と当該色の画素についての閾値との大小に応じて、ホワイトバランスの補正の対象とする画素データとして、線形変換動作で得られた画素データ及び対数変換動作で得られた画素データのうちいずれかを選択するようにしたので、被写体に忠実な画像が得られるようにホワイトバランスの補正を行うことができる。
【００９３】
そして、特に本実施形態では、露光中に高輝度被写体から低輝度被写体への被写体の輝度変化が生じた場合には、ホワイトバランスの補正の対象とする画素データとして、前記各色の画素についての閾値に相当する画素データを選択するようにしたので、前記のような被写体の輝度変化が生じても、被写体に忠実な画像が得られるようにホワイトバランスの補正を行うことができる。その結果、従来のような色ずれが生じるのを回避することができる。
【００９４】
（第２の実施形態）
本実施形態は、画像処理部の電気的な構成及びホワイトバランスの補正処理が第１の実施形態と異なるものであり、それ以外の点については第１の実施形態と略同様であるから、相違点についてのみ説明する。図１１は、本実施形態における画像処理部５’の電気的な構成を示すブロック図である。
【００９５】
図１１に示すように、画像処理部５’は、光電変換特性変換部５１と、第１ＷＢ評価値算出部５２と、第２ＷＢ評価値算出部５３と、ＷＢ補正係数算出部５４と、第１ＷＢ補正部５８と、第２ＷＢ補正部５９と、比較選択部５６’とを備える。なお、光電変換特性変換部５１、第１ＷＢ評価値算出部５２、第２ＷＢ評価値算出部５３及びＷＢ補正係数算出部５４については前記第１の実施形態と略同様であるため、第１の実施形態と同一の番号を付し、それらの説明については省略する。
【００９６】
本実施形態は、線形変換動作により得られた画素データと対数変換動作により得られた画素データとのいずれを撮影画像を構成する画素データとして採用するかを選択する前に、線形変換動作により得られた画素データと、対数変換動作により得られた画素データとのそれぞれについてホワイトバランスの補正を行うようにしたものである。
【００９７】
第１ＷＢ補正部５８は、線形変換動作により得られた画素データについてホワイトバランスの補正を行うものである。すなわち、第１ＷＢ補正部５８は、Ｒ色及びＢ色の画素の線形変換動作により得られた各画素データに、前記ＷＢ補正係数算出部５４により算出された前記補正係数Rgain，Bgainを乗算する。第１ＷＢ補正部５８による処理は、図８に示すＲ色及びＢ色の画素における線形変換特性を示すグラフを、図１２に示すように、Ｇ色の画素における線形変換特性を示すグラフに変換する処理に相当する。
【００９８】
第２ＷＢ補正部５９は、対数変換動作により得られた画素データについてホワイトバランスの補正を行うものである。すなわち、第２ＷＢ補正部５９は、Ｒ色及びＢ色の画素の対数変換動作により得られた光電変換特性変換後の各画素データに、前記ＷＢ補正係数算出部５４により算出された前記補正係数Rgain，Bgainを乗算する。第２ＷＢ補正部５９による処理は、図８に示すＲ色及びＢ色の画素における、特性変換処理で得られる線形変換特性を示すグラフを、図１２に示すように、Ｇ色の画素における、特性変換処理で得られる線形変換特性を示すグラフに変換する処理に相当する。
【００９９】
本実施形態では、このように前記第１、第２ＷＢ補正部５７，５８によりホワイトバランスの補正を行うことで、各色についての閾値THG，THR，THBは一致する。
【０１００】
比較選択部５６’は、各画素について、当該画素の線形変換動作により得られた画素データと前記閾値THGとを比較し、その比較結果に応じて、画素ごとに、線形変換動作により得られた画素データ及び対数変換動作により得られた画素データとのうちいずれか一方を、撮影画像を構成する画素データとして選択するものである。
【０１０１】
すなわち、比較選択部５６’は、線形変換動作により得られた画素データが閾値THGより小さい画素については、線形変換動作により得られた画素データを選択する。例えば図１２に示す特性に基づいて説明すると、被写体輝度がL１以下の例えばL３であった場合、各色の線形変換動作により得られた画素データの画素値はそれぞれSG2，SR2，SB2であり、各画素値SG2，SR2，SB2は閾値THG（＝THR＝THB）よりそれぞれ小さい。したがって、比較選択部５６’は、Ｇ色の画素については、画素値SG2を有する線形変換動作により得られた画素データを、撮影画像を構成する画素データとして選択し、また同様にして、Ｒ色の画素については、画素値SR2を有する線形変換動作により得られた画素データを、撮影画像を構成する画素データとして選択し、Ｂ色の画素については、画素値SB2を有する線形変換動作により得られた画素データを、撮影画像を構成する画素データとして選択する。
【０１０２】
一方、比較選択部５６’は、線形変換動作により得られた画素データが閾値THG以上である画素については、対数変換動作により得られた画素データを選択する。図１２に示すように、例えば被写体輝度が前記輝度Ｌ１を超える例えば輝度Ｌ２であった場合、各色の線形変換動作により得られた画素データの画素値SG1，SR1，SB1であり、画素値SG1，SR1，SB1は閾値THGよりそれぞれ大きいので、Ｇ色の画素については、画素値SG1を有する線形変換動作により得られた画素データを、撮影画像を構成する画素データとして選択し、また同様にして、Ｒ色の画素については、画素値SR1を有する線形変換動作により得られた画素データを、撮影画像を構成する画素データとして選択し、Ｂ色の画素については、画素値SB1を有する線形変換動作により得られた画素データを、撮影画像を構成する画素データとして選択する。
【０１０３】
さらに、被写体が高輝度被写体（例えば輝度Ｌ２の被写体）から低輝度被写体（例えば輝度Ｌ３の被写体）に変化した場合には、前記第１の実施形態と同様、或る画素の線形変換動作により得られた画素データが閾値THGより小さくない場合であっても、対数変換動作により得られた画素データを、撮影画像を構成する画素データとして選択せず、前記閾値THGに相当する画素値を有する画素データを、撮影画像を構成する画素データとして選択する。
【０１０４】
すなわち、比較選択部５６’は、前記被写体の輝度が例えばL2からL3に変化した場合、各色の画素について、画素値THG（＝THR＝THB）を有する画素データを、画像を構成する画素データとして選択する。
【０１０５】
図１３は、画像処理部５’による画像処理を示すフローチャートである。図１３に示すように、画像処理部５は、Ａ／Ｄ変換部４から画素データを取得すると（ステップ♯２０）、図１０のステップ♯１１〜♯１５と同様の処理を実行する（ステップ♯２１〜♯２５）。
【０１０６】
そして、画像処理部５’は、各画素の線形変換動作で得られた画素データと対数変換動作で得られた画素データとのそれぞれについてホワイトバランスの補正を行った後（ステップ♯２６）、各色の画素の線形変換動作で得られた画素データの画素値と前記閾値THGとの大小に応じて、線形変換動作で得られた画素データと対数変換動作で得られた画素データとのうちいずれか一方を、撮影画像を構成する画素データとして選択する（ステップ♯２７）。
【０１０７】
このように、本実施形態においても、被写体により忠実な画像が得られるようにホワイトバランスの補正を行うことができ、特に、露光中に高輝度被写体から低輝度被写体への被写体の輝度変化が生じても、被写体により忠実な画像を得ることができる。
【０１０８】
本件は、前記各実施形態に代えて、或いは前記各実施形態に加えて次の変形形態も採用可能である。
【０１０９】
［１］前記第１の実施形態では、前記式（４），（５）から判るように、Ｇ色の画素の画素データを基準として補正係数を算出するようにしたが、他の色の画素の画素データを基準として補正係数を算出するようにしてもよい。ただし、Ｇ色の画素の画素データを基準として補正係数を算出する方が、比較選択部５６による処理を容易化することができる。
【０１１０】
［２］前記第１、第２の実施形態では、前記式（４），（５）を用いて補正係数を算出するようにしたが、この補正係数に代えて、各色の第１、第２ＷＢ評価値に基づいて被写体を照明する光源を推定し、この推定した光源に対して予め定められた補正係数を採用してもよい。
【０１１１】
［３］本件は、各画素に行わせる光電変換動作の組み合わせとして、前記第１、第２の実施形態のような線形変換動作と対数変換動作との組合せに限らず、露光時間が異なる第１、第２の線形変換動作の組合せも含む。
【０１１２】
図１４は、白色の被写体をＧ色、Ｂ色及びＲ色の画素が前記第１の線形変換動作及び前記第２の線形変換動作でそれぞれ撮像した場合に得られる被写体輝度（明るさ）に応じた画素値を示すグラフである。図１４の実線で示すように、第１の線形変換特性は被写体輝度の増加に伴って画素値が増加し、或る画素値ＳＧ１（前記閾値THG）で飽和する。また、図１４の破線で示すように、同一色同士で比較すると、第２の線形変換特性も被写体輝度に伴って画素値が増加するものの、その画素値の増加率は、第１の線形変換領域における画素値の増加率より小さくなる。なお、本実施形態では、Ｇ画素、Ｒ画素、Ｂ画素の順に感度が高いため、画素値の増加率もこの順に高くなっている。
【０１１３】
図１５は、横軸を被写体輝度、縦軸を画素値として、図１４の実線で示す第１の線形変換特性を示すグラフ（実線）と、図１４の点線で示す第２の線形変換特性を第１の線形変換特性に変換した場合のグラフ（破線）とを示す図である。図１５に示すように、第２の線形変換特性を第１の線形変換特性に変換すると、そのグラフは、第１の線形変換特性を示すグラフを所定量延長したグラフとなり、第２の線形変換特性は、第１の線形変換特性に比してダイナミックレンジが広い。
【０１１４】
本件は、このように露光時間が異なる複数の線形変換動作を行わせる場合についても、前記第１、第２の実施形態と同様の処理を行うことで、各画素の感度差に起因する色ずれ、特に前述のような被写体の輝度変化が生じた場合の色ずれの発生を防止又は低減することができる。
【０１１５】
［４］前記実施形態では、Ｇ（緑）のカラーフィルタが配設された画素と、Ｂ（青）のカラーフィルタが配設された画素とに注目して説明を行ったが、注目する画素は、これらに限られない。Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが配設された撮像素子の場合、Ｒ（赤）のカラーフィルタが配設された画素は、Ｂ（青）のカラーフィルタが配設された画素と略同様の光電変換動作を行う。また、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）の撮像素子が搭載された撮像装置にも本発明は適用可能である。
【図面の簡単な説明】
【０１１６】
【図１】本発明に係る撮像装置の構成例を示すブロック図である。
【図２】撮像素子の光電変換特性の一例を示すグラフ図である。
【図３】撮像素子の回路構成の一例を示す図である。
【図４】異なる光電変換特性が線形変換特性及び対数変換特性であるの場合の撮像素子のブロック図である。
【図５】線形変換特性及び対数変換特性での露光及び撮像信号出力のタイミングを説明するための模式図である。
【図６】第１の実施形態の画像処理部の電気的な構成を示すブロック図である。
【図７】白色の被写体をＧ色、Ｂ色及びＲ色の画素が線形変換動作及び対数変換動作でそれぞれ撮像した場合に得られる被写体輝度（明るさ）に応じた画素値を示すグラフである。
【図８】横軸を被写体輝度、縦軸を画素値として、線形変換特性を示すグラフ（実線）と、対数変換特性を線形変換特性に変換した場合のグラフ（破線）とを示す図である。
【図９】撮像装置の撮像動作を示すフローチャートである。
【図１０】画像処理部による画像処理を示すフローチャートである。
【図１１】第２の実施形態の画像処理部の電気的な構成を示すブロック図である。
【図１２】第２の実施形態において、横軸を被写体輝度、縦軸を画素値として、線形変換特性を示すグラフ（実線）と、対数変換特性を線形変換特性に変換した場合のグラフ（破線）とを示す図である。
【図１３】第２の実施形態の画像処理部による画像処理を示すフローチャートである。
【図１４】各画素に行わせる光電変換動作の組み合わせとして、露光時間が異なる第１、第２の線形変換動作の組合せを採用した場合に、白色の被写体をＧ色、Ｂ色及びＲ色の画素が第１の線形変換動作及び第２の線形変換動作でそれぞれ撮像した場合に得られる被写体輝度（明るさ）に応じた画素値を示すグラフである。
【図１５】横軸を被写体輝度、縦軸を画素値として、図１４の実線で示す第１の線形変換特性を示すグラフ（実線）と、図１４の点線で示す第２の線形変換特性を第１の線形変換特性に変換した場合のグラフ（破線）とを示す図である。
【図１６】露光期間中に或る画素の撮像対象の被写体が高輝度のものから輝度が略０に近い低輝度のものに変化する状態を示す図である。
【図１７】従来技術の問題点の説明図である。
【図１８】従来技術の問題点の説明図である。
【図１９】従来技術の問題点の説明図である。
【符号の説明】
【０１１７】
１  撮像装置
２  撮影光学系
３  撮像素子
５  画像処理部
６  操作部
７  制御部
８  画素
５１  光電変換特性変換部
５２  第１ＷＢ評価値算出部
５３  第２ＷＢ評価値算出部
５４  ＷＢ補正係数算出部
５５  閾値算出部
５６，５６’  比較選択部
５７  ＷＢ補正部
５８  第１ＷＢ補正部
５９  第２ＷＢ補正部
【図１】
2008271123.tif 000003
【図２】
2008271123.tif 000004
【図３】
2008271123.tif 000005
【図４】
2008271123.tif 000006
【図５】
2008271123.tif 000007
【図６】
2008271123.tif 000008
【図７】
2008271123.tif 000009
【図８】
2008271123.tif 000010
【図９】
2008271123.tif 000011
【図１０】
2008271123.tif 000012
【図１１】
2008271123.tif 000013
【図１２】
2008271123.tif 000014
【図１３】
2008271123.tif 000015
【図１４】
2008271123.tif 000016
【図１５】
2008271123.tif 000017
【図１６】
2008271123.tif 000018
【図１７】
2008271123.tif 000019
【図１８】
2008271123.tif 000020
【図１９】
2008271123.tif 000021