(57)【要約】【課題】撮像センサに起因して生じた領域毎の露出設定の誤差を適切に補正することができ、良好な画像を得ることができる。【解決手段】領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をする画像処理装置であって、撮像センサが露出設定可能な領域間の境界を示す境界情報を取得する境界情報取得手段と、境界情報に基づいて、画像データが表す画像における境界の周辺画素の画素値を取得する画素値取得手段と、画素値取得手段が取得した画素値を用いて、各領域の境界で生じる階調の段差を評価する評価値を導出する評価値導出手段と、評価値に基づいて各領域における露出設定の誤差を推定し、推定した露出設定の誤差を補正するための補正値を導出する補正値導出手段と、補正値導出手段が導出した補正値を用いて、画像データを補正する補正手段と、を備える。【選択図】図９
2019075658.tif 000002
【特許請求の範囲】
【請求項１】
領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をする画像処理装置であって、
前記撮像センサが露出設定可能な領域間の境界を示す境界情報を取得する境界情報取得手段と、
前記境界情報に基づいて、前記画像データが表す画像における前記境界の周辺画素の画素値を取得する画素値取得手段と、
前記画素値取得手段が取得した画素値を用いて、各領域の前記境界で生じる階調の段差を評価する評価値を導出する評価値導出手段と、
前記評価値に基づいて前記各領域における露出設定の誤差を推定し、前記推定した露出設定の誤差を補正するための補正値を導出する補正値導出手段と、
前記補正値導出手段が導出した前記補正値を用いて、前記画像データを補正する補正手段と、を備える
ことを特徴とする画像処理装置。
【請求項２】
前記領域は、第１の方向と該第１の方向とは異なる第２の方向とに複数画素が配置された形状を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記評価値導出手段は、
着目領域と該着目領域に隣接する領域との境界における、前記着目領域側の周辺画素の平均値と前記着目領域側ではない側の周辺画素の平均値とを用いて、前記着目領域に対応する前記評価値を導出し、
前記補正値導出手段は、
前記各領域に対応する前記評価値を加算して得られる総合評価値に基づいて、前記補正値を導出する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記評価値導出手段は、
前記境界に隣接する少なくとも１画素幅分の周辺画素を用いて、前記着目領域側の周辺画素の平均値と前記着目領域側ではない側の周辺画素の平均値とを算出する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記評価値導出手段は、
着目領域と該着目領域に隣接する領域との境界における、前記着目領域側の周辺画素の平均値及び微分値と前記着目領域側ではない側の周辺画素の平均値及び微分値とを用いて、前記着目領域に対応する前記評価値を導出する
ことを特徴とする請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記評価値導出手段は、
前記境界に隣接する少なくとも２画素幅分の周辺画素を用いて、前記着目領域側の周辺画素の微分値と前記着目領域側ではない側の周辺画素の微分値とを算出する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記補正値導出手段は、
前記推定した露出設定の誤差の値が、前記撮像センサがとり得る所定範囲を超えている場合に、前記推定した露出設定の誤差の値を前記所定範囲に収まる値に変更してから前記補正値を導出する
ことを特徴とする請求項１から請求項６のうちのいずれか１項に記載の画像処理装置。
【請求項８】
前記補正値導出手段は、
予め前記撮像センサを測定して得られる、前記所定範囲を示す誤差特性情報に基づいて、前記推定した露出設定の誤差の値が前記所定範囲を超えているか否かを判定する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記補正値導出手段は、
予め前記撮像センサを測定して得られる、前記各領域における露出設定の誤差の分布特性から、正則化項を導出し、
前記導出した正則化項を加えた前記評価値に基づいて、前記各領域における露出設定の誤差を推定する
ことを特徴とする請求項１から請求項６のうちのいずれか１項に記載の画像処理装置。
【請求項１０】
前記評価値導出手段は、
前記評価値を導出する際に、飽和画素と欠陥画素とに対応する画素値を前記導出の対象から除外する
ことを特徴とする請求項１から請求項９のうちのいずれか１項に記載の画像処理装置。
【請求項１１】
複数の画素からなる領域毎に露出設定を行うことが可能な撮像センサと、
前記領域間の境界を示す境界情報に基づいて、前記撮像センサにより撮像された画像データから前記境界の周辺画素の画素値を取得する取得手段と、
前記取得手段が取得した画素値を用いて、各領域の前記境界で生じる階調の段差を評価する評価値を導出する評価値導出手段と、
前記評価値に基づいて前記各領域における露出設定の誤差を推定し、前記推定した露出設定の誤差を補正するための補正値を導出する補正値導出手段と、
前記補正値導出手段が導出した前記補正値を用いて、前記画像データを補正する補正手段と、を備える
ことを特徴とする撮像装置。
【請求項１２】
領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をする画像処理装置の制御方法であって、
前記撮像センサが露出設定可能な領域間の境界を示す境界情報を取得する境界情報取得ステップと、
前記境界情報に基づいて、前記画像データが表す画像における前記境界の周辺画素の画素値を取得する画素値取得ステップと、
前記画素値取得ステップで取得された画素値を用いて、各領域の前記境界で生じる階調の段差を評価する評価値を導出する評価値導出ステップと、
前記評価値に基づいて前記各領域における露出設定の誤差を推定し、前記推定した露出設定の誤差を補正するための補正値を導出する補正値導出ステップと、
前記補正値導出ステップで導出された前記補正値を用いて、前記画像データを補正する補正ステップと、を含む
ことを特徴とする制御方法。
【請求項１３】
複数の画素からなる領域毎に露出設定を行うことが可能な撮像センサを備える撮像装置の制御方法であって、
前記領域間の境界を示す境界情報に基づいて、前記撮像センサにより撮像された画像データから前記境界の周辺画素の画素値を取得する取得ステップと、
前記取得ステップで取得された画素値を用いて、各領域の前記境界で生じる階調の段差を評価する評価値を導出する評価値導出ステップと、
前記評価値に基づいて前記各領域における露出設定の誤差を推定し、前記推定した露出設定の誤差を補正するための補正値を導出する補正値導出ステップと、
前記補正値導出ステップで導出された前記補正値を用いて、前記画像データを補正する補正ステップと、を含む
ことを特徴とする制御方法。
【請求項１４】
コンピュータを、請求項１から請求項１０のうちのいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高ダイナミックレンジの画像の撮像を制御する技術に関する。
【背景技術】
【０００２】
カメラのダイナミックレンジは、撮像センサの飽和電子数とＡ／Ｄ変換後のビット精度とによって制限される。カメラのダイナミックレンジを広げるために、撮像センサの露出を部分的に変更する方法が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１３６９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像センサの露出を部分的に変更する方法では、撮像センサを複数の領域に分け、領域毎にそれぞれ露出（露光時間やアナログゲイン）を設定する。そして、撮像センサにより得られたデジタル信号に対して、領域毎の露出設定の違い（差）を補正するために、領域毎の補正ゲインを露出設定から算出してその補正ゲインを信号値に乗じる。しかし、撮像センサに起因して、露光時間やアナログゲインに設計値からの誤差が生じた場合、領域間で露出が合わず境界で階調の段差が生じる可能性がある。
【０００５】
そこで、本発明は、撮像センサに起因して生じる領域毎の露出の設定誤差を適切に補正することができ、良好な画像を撮像するための画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明による画像処理装置は、領域毎に露出設定可能な撮像センサにより撮像された画像データに対して補正をする画像処理装置であって、撮像センサが露出設定可能な領域間の境界を示す境界情報を取得する境界情報取得手段と、境界情報に基づいて、画像データが表す画像における境界の周辺画素の画素値を取得する画素値取得手段と、画素値取得手段が取得した画素値を用いて、各領域の境界で生じる階調の段差を評価する評価値を導出する評価値導出手段と、評価値に基づいて各領域における露出設定の誤差を推定し、推定した露出設定の誤差を補正するための補正値を導出する補正値導出手段と、補正値導出手段が導出した補正値を用いて、画像データを補正する補正手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮像センサに起因して生じる領域毎の露出設定の誤差を適切に補正することができ、良好な画像を撮像することができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態における撮像装置の構成を示すブロック図である。
【図２】第１実施形態における境界周辺画素値評価部の内部構成を示すブロック図である。
【図３】第１実施形態における補正値算出部の内部構成を示すブロック図である。
【図４】撮像センサの各領域に対する露出設定の一例を示す図である。
【図５】撮像センサの領域毎に設定される、露出設定の違いによる比例係数の逆数を示す図である。
【図６】露出設定の誤差を説明するための図である。
【図７】領域と領域の境界とを説明するための図である。
【図８】領域の境界周辺の画素値の平均値を算出する際に用いられる画素を示す図である。
【図９】第１実施形態における撮像装置の動作を示すフローチャートである。
【図１０】第２実施形態における境界周辺画素値評価部の内部構成を示すブロック図である。
【図１１】第２実施形態における補正値算出部の内部構成を示すブロック図である。
【図１２】領域の境界周辺の画素値の平均値と微分値とを算出する際に用いられる画素を示す図である。
【図１３】第２実施形態における撮像装置の動作を示すフローチャートである。
【図１４】第２実施形態における補正値算出部の内部構成を示すブロック図である。
【図１５】第３実施形態における撮像装置の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
［実施形態１］
第１実施形態における撮像装置の構成について、図１を参照して説明する。撮像装置は光学系１０１、測光センサ１０２、撮像センサ１０３、撮像センサ制御部１０４、露出設定算出部１０５、光学系制御部１０６、設定露出差補正処理部１０７、境界周辺画素値評価部１０８、補正値算出部１０９、及び信号処理部１１０を備える。また、ＲＡＭ１１１、ＲＯＭ１１２、ＣＰＵ１１３、操作部１１４、外部インターフェース（Ｉ／Ｆ）１１５、及びメインバス１１６を備える。
【００１０】
ＣＰＵ１１３は、ＲＯＭ１１２に記録されたプログラムを読み出して実行することで、各種動作を実行する。ユーザは、操作部１１４を介して撮像装置の状態を設定したり、撮像装置（より具体的には撮像装置のＣＰＵ１１３）に各種動作を実行させるための指示を出したりする。撮像装置が実行する動作の例としては、予備露光や本撮像などがある。
【００１１】
ユーザが撮像装置を被写体に向け、操作部１１４を操作して予備露光の指示を出すと、ＣＰＵ１１３はその指示を検知して、予めプログラムされた通りに予備露光を開始する。予備露光では、撮像センサ１０３にて被写体からの光を検出し、被写体に対するフォーカスを評価し、ピントを合わせるために光学系制御部１０６を通じて光学系１０１を駆動する。また、測光センサ１０２にて被写体の光量を感知して、撮像センサ１０３の基本露出設定（以下、単に基本露出と呼ぶ）を決定する。さらに、その基本露出に基づいて撮像センサ１０３で予備露光を行う。なお、本実施形態における撮像センサ１０３は、高ダイナミックレンジの撮像を実現可能とするために、後述するように２次元の複数の領域に予め分割されていて、領域毎に動的に露出設定が可能なように構成されている。したがって、本実施形態における予備露光では、各領域のそれぞれに対して、上記決定された基本露出が設定される。ＣＰＵ１１３は露出設定算出部１０５を駆動して、ＲＡＭ１１１に記録された予備露光データ（予備露光により得られた画素値）から、撮像センサ１０３の領域毎に本撮像のための露出設定を算出する。例えば、予備露光データの画素値が飽和している領域に対しては、基本露出よりも露光時間を短くしたり、ゲインを下げたりする。逆に、予備露光データの画素値が小さすぎる領域に対しては、基本露出よりも露光時間を長くしたり、ゲインを上げたりする。このようにして、領域毎に、本撮像のための露出設定（露光時間とゲイン）が算出される。そして、算出された露出設定を示す情報（以下、露出設定情報と呼ぶ）がＲＡＭ１１１に記録される。
【００１２】
ユーザが操作部１１４を介して本撮像を指示すると、ＣＰＵ１１３は、その指示を検知して撮像動作を開始する。本撮像では、まず、予備露光でＲＡＭ１１１に記録された各領域の露出設定情報を読み込み、撮像センサ制御部１０４に渡す。そして、撮像センサ制御部１０４は、受け取った露出設定情報に基づいて撮像センサ１０３を制御して露光を行う。それにより、撮像センサ１０３によって受光された光の量がデジタル信号に変換され、該デジタル信号が設定露出差補正処理部１０７に入力される。以下、このデジタル信号を画像データと表現する場合がある。画像データは、設定露出差補正処理部１０７で処理（設定露出差補正処理と呼ぶ）されたのち、ＲＡＭ１１１にいったん記録される。そして、設定露出差補正処理が施された画像データは、境界周辺画素値評価部１０８と信号処理部１１０とに入力される。信号処理部１１０は、受け取った画像データに対して後述する補正処理を行う。さらに、信号処理部１１０は、デモザイクや色補正などの現像処理と符号化処理とを行い、符号化された画像データを、外部Ｉ／Ｆ１１５に接続された記録メディアに記録する。
【００１３】
図２は、第１実施形態における境界周辺画素値評価部１０８の内部構成を示すブロック図である。図２に示すように、境界周辺画素値評価部１０８は、境界周辺画素値取得部２０１と、境界周辺画素平均値算出部２０２とを有する。境界周辺画素値取得部２０１は、設定露出差補正処理が施された画像データと、境界の位置情報を示す２次元領域境界情報（以下、単に境界情報と呼ぶ）とに基づいて、各領域の境界周辺にある画素の画素値を取得する。境界周辺画素平均値算出部２０２は、各領域の境界周辺の画素値の平均値（以下、境界周辺画素平均値と呼ぶ場合がある）を算出し、算出した平均値を補正値算出部１０９に送る。境界周辺画素平均値の算出については後述する。
【００１４】
図３は、第１実施形態における補正値算出部１０９の内部構成を示すブロック図である。図３に示すように、補正値算出部１０９は、境界周辺画素平均値取得部３０１と補正値推定部３０２とを有する。境界周辺画素平均値取得部３０１は、境界周辺画素平均値を受け取る。補正値推定部３０２は、境界周辺画素平均値に基づいてデジタル信号（設定露出差補正処理が施された画像データ）を補正するための補正値を推定（算出）し、ＲＡＭ１１１に記録する。補正値算出部１０９における補正値の算出については後述する。
【００１５】
＜領域毎の露出設定と誤差＞
図４は、撮像センサ１０３の各領域に対する露出設定の一例を示す図である。図４に示されるように、本実施形態における撮像センサ１０３は縦横それぞれ８個ずつの長方形の領域に分割されている。そして、分割された領域毎に露光時間ＴとゲインＧが設定可能である。なお、撮像センサ１０３における領域分割については、他の態様であってもよい。例えば、縦６個、横１０個の長方形に分割してもよい。また領域の形状は長方形以外の形状であってもよい。図４において、Ｔ＝１／１００と記載されている領域は、露光時間が１／１００秒に設定されていることを示している。Ｔ＝１／２００と記載されている領域は、露光時間が1／２００秒に設定されていることを示している。Ｇ＝６ｄＢと記載されている領域は、Ｇ＝０ｄＢと記載されている領域に比べて２倍のアナログゲイン（デジタルゲインを含んでもよい)が設定されていることを示している。撮像センサ１０３が出力する画素値は、以下の式１で表すことができる。
【００１６】
【数１】
2019075658.tif 000003
【００１７】
ここで、ｘ，ｙは撮像センサ１０３上の画素位置を示す座標である。Ｉ（ｘ，ｙ）は画素位置（ｘ，ｙ）における画素値（デジタル信号の値）である。Ｂは黒レベル（遮光して撮像した場合の画素値の平均）である。ｋは比例定数である。Ｓ（ｘ，ｙ）は、撮像センサ１０３上の位置（ｘ，ｙ）において、光学系１０１によって形成される被写体の像の照度である。Ｔｎはｎ番目の領域の露光時間であり、Ｇｎはｎ番目の領域のゲインである。仮に、ある２点でＳ（ｘ，ｙ）が同じであった場合、Ｔｎ＝１／１００，Ｇｎ＝０ｄＢに設定された領域ｎと、Ｔｍ＝１／２００，Ｇｍ＝０ｄＢに設定された領域ｍとでは、黒レベルを除いた場合、領域ｍは、領域ｎよりも２倍の画素値を有することになる。したがって、露光時間ＴｎとゲインＧｎとに誤差が全くない場合に、画像全体においてＳ（ｘ，ｙ）に対して線形性を有する信号Ｏ（ｘ，ｙ）を得るためには、撮像して得られた画素値Ｉ（ｘ，ｙ）に対して以下の式に表される設定露出差補正処理を行う。
【００１８】
【数２】
2019075658.tif 000004
【００１９】
ここで、ｑは定数であり、Ｂ1は任意の黒レベルである。式２は、露出設定の違いによる比例係数Ｔn１０＾（Ｇn／２０）を打ち消すように、該比例係数の逆数を乗算する処理である。図５には、各領域に対応する逆数の例が示されている。式２に式１を代入すると、以下の式３が得られる。
【００２０】
【数３】
2019075658.tif 000005
【００２１】
式３では、Ｏ（ｘ，ｙ）とＳ（ｘ，ｙ）は、領域によらず線形な関係となっている。このとき、定数ｑはＯ（ｘ，ｙ）の画素値の範囲が適正になるように決定される。
【００２２】
しかし、撮像センサ１０３に起因して、Ｔn，Ｇnにそれぞれ誤差ΔＴn，ΔＧnが生じている場合がある。すなわち、目標値である露出設定Ｔn、Ｇnに対して、実際にセンサで露光した時間や増幅のゲインがそれぞれＴn＋ΔＴn，Ｇn＋ΔＧnになる場合がある。このような場合には、同様の処理を行っても以下の式４に示すように線形な関係が成立しなくなる。以下、「実際の露出」または単に「露出」と表現した場合には、Ｔn＋ΔＴnやＧn＋ΔＧnを指すものとする。
【００２３】
【数４】
2019075658.tif 000006
【００２４】
また、黒レベルＢにも領域毎に誤差ΔＢｎがある場合には、式５に示すようにさらに誤差が生じる。
【００２５】
【数５】
2019075658.tif 000007
【００２６】
ここで、
【００２７】
【数６】
2019075658.tif 000008
【００２８】
として式５を簡略化すると、以下の式６が得られる。
【００２９】
【数７】
2019075658.tif 000009
【００３０】
式６に示すように、誤差は、ゲイン性の誤差ΔＦｎとオフセット性の誤差ΔＯｎとに分類できる。本実施形態における信号処理部１１０は、後述する補正処理においてこれらの誤差を補正する。図６（ａ）には、各領域におけるゲインＧの誤差の例が示されている。図６（ｂ）には、図６（ａ）に示すゲインＧの誤差によって信号Ｏ（ｘ，ｙ）に生じるゲイン性の誤差の例が示されている。図６（ｂ）において、“×１”や“×１．０１４”、“×０．９８６”といった値は、各領域における信号Ｏ（ｘ，ｙ）のゲイン性の誤差の程度を示していて、“×１”は、ゲイン性の誤差が生じていないことを示している。
【００３１】
＜補正処理の原理＞
誤差ΔＦｎと誤差ΔＯｎとが存在する場合、領域間の境界（以下、領域境界と呼ぶ）において、本来被写体上に存在しない画素値（階調）の段差（以下、偽の段差と表現する）が生じる。本実施形態では、このような画素値の段差がなくなるように領域毎に誤差ΔＦｎと誤差ΔＯｎとを推定し、デジタル信号（設定露出差補正処理が施された画像データ）を補正する。図７に示すように、領域の形状が長方形である場合、着目領域については、４つの隣接した領域が存在し、偽の段差が生じうる領域境界が４つ存在する。偽の段差は４つの領域境界毎に異なり、補正処理後においてはこれらの偽の段差が同時に解消されなければならない。また、偽の段差は、隣接した領域の誤差ΔＦｍ，ΔＯｍとにも依存し、その隣接した領域の誤差は、その隣接した領域にさらに隣接した領域の偽の段差に影響する。したがって、本実施形態では、画像全体に存在する全ての領域境界に発生する偽の段差が解消されるように、すべての領域の誤差ΔＦｎ，ΔＯｎを推定する。そして推定した誤差に基づいて、誤差を打ち消すように補正処理を行う。なお、図７において、白抜きの四角は、領域境界における画素のうち着目領域側の画素を表し、斜線付きの白抜きの四角は、領域境界における画素のうち着目領域側ではない側の画素を表している。
【００３２】
＜境界周辺画素平均値の算出＞
上記誤差を打ち消す補正処理を実現するために、本実施形態では、境界周辺画素値評価部１０８にて、上述した境界周辺画素平均値を算出する。ここで、図７において、画像の左上から数えて右にｉ番目、下にｊ番目の領域を、領域ｉ，ｊと記す。また、着目領域である領域ｉ，ｊと、着目領域の右側に隣接する領域ｉ＋１，ｊとの境界における、着目領域側の画素の平均値をＡ(i,j),(i+1,j)と記す。そして、該境界における着目領域側ではない側の画素の平均値をＡ(i+1,j),(i,j)と記す。図８は、境界周辺画素平均値を算出する際に用いられる画素を示す図である。図８に示されるように、本実施形態では、各領域境界に隣接した１画素幅分の画素を用いて境界周辺画素平均値を算出する。なお、境界周辺画素平均値を算出する際、欠陥画素を検出して省いたり、飽和画素を省いたりして算出するほうが好ましい。このように、境界周辺画素平均値の算出対象から欠陥画素や飽和画素を除外することで、より正確な境界周辺画素平均値を求めることが可能となる。
【００３３】
＜補正値算出処理＞
次に、境界周辺画素平均値から補正値を算出する処理を説明する。補正値算出処理（補正値導出処理とも呼ぶ）では、まず、以下のように、境界周辺画素平均値から評価値を導出する評価値導出処理が行われる。ここで、領域ｉ，ｊのゲイン性の誤差及びオフセット性の誤差を、ΔＦi,j及びΔＯi,jとする。すると、誤差補正後の領域ｉ，ｊと、該領域ｉ，ｊの右側及び下側に隣接する領域との段差の評価値Ｅi,jは、以下の式７で定義される。
【００３４】
【数８】
2019075658.tif 000010
【００３５】
式７の右辺第一項は、右側に隣接する領域との段差に対応する項である。第二項は、下側に隣接する領域との段差に対応する項である。なお、領域が画像の端に位置していて、該領域の右側あるいは下側に隣接する領域が存在しない場合は、該当する項を０とする。補正値算出部１０９の補正値推定部３０２は、この評価値Ｅi,jをすべての領域で加算して、総合評価値Ｅを導出する。総合評価値Ｅは、以下の式８で示される。
【００３６】
【数９】
2019075658.tif 000011
【００３７】
次いで、補正値算出部１０９の補正値推定部３０２は、導出した総合評価値Ｅが最小となるように、ΔＦi,jとΔＯi,jとを決定（推定）する。なお、オフセット性の誤差ΔＯi,jが無視できる撮像センサ１０３については、総合評価値Ｅを最小化は、平均値Ａの二次式を係数に有する誤差ΔＦi,jについての連立一次方程式となる。そのため、その連立一次方程式を解くことで、ΔＦi,jを推定することができる。オフセット性の誤差ΔＯi,jが無視できない場合は、収束演算によってΔＦi,jとΔＯi,jとを推定すればよい。例えば、まずΔＯi,jを０と過程してΔＦi,jを求め、次にΔＦi,jを固定してΔＯi,jを求め、次にΔＯi,jを固定してΔＦi,jを求め、というように、ΔＦi,jとΔＯi,jとを交互に固定して収束するまで計算すればよい。それにより、ΔＦi,jとΔＯi,jとを推定することができる。または、一般的な最小化問題と同様にして、総合評価値Ｅを最小化するΔＦi,jとΔＯi,jとを推定してもよい。本実施形態では、このようにして得られたΔＦi,j，ΔＯi,jを補正値として用いて、後述する補正処理を行う。
【００３８】
＜補正処理の詳細＞
補正値算出処理で得られた補正値ΔＦi,j，ΔＯi,jを用いて、式２に従って生成された信号Ｏ（ｘ，ｙ）に対して、信号処理部１１０にて以下の補正処理を適用し、補正画像Ｃ（ｘ，ｙ）を生成する。
【００３９】
【数１０】
2019075658.tif 000012
【００４０】
ここで、Ｂ２は任意の黒レベルであり、画像全体で同じ値である。このとき、領域ｉ，ｊは画素座標（ｘ，ｙ）に対応している必要がある。つまり、領域ｉ，ｊは、画素座標（ｘ，ｙ）が属する領域である必要がある。
【００４１】
なお、撮像センサ１０３がベイヤ配列などであって複数の色（たとえば赤、緑１、緑２、青)に分かれている場合には、色毎にこれらの処理を行えばよい。
【００４２】
また、本実施形態では、撮像センサ１０３から得られたデジタル信号に対して、設定露出差補正処理を行ってから補正値を算出した。しかし、ゲイン性の誤差ΔＦi,jと露出設定差に起因するゲインの違いとは区別がつきにくい。例えば、ある領域における実際のゲインが２．２倍であるときに、２倍のゲイン設定に対して１．１倍の誤差が生じて２．２倍になったのか、１倍のゲイン設定（つまり、ゲインをかけない設定）に対して２．２倍の誤差が生じたのかが区別しにくい。このため、設定露出差補正処理を行わずに、撮像センサ１０３から受け取ったデジタル信号を境界周辺画素値評価部１０８に直接入力してもよい。それにより、精度はいくらか落ちるものの、設定露出差補正のためのゲインとゲイン性の誤差とを同時に考慮した補正値を算出することが可能となる。また、設定露出差補正処理を行う必要がなくなるため、設定露出差補正処理部１０７を省略することができる。つまり、本実施形態においては、設定露出差補正処理部１０７は必須の構成要素ではない。
【００４３】
＜撮像装置の処理フロー＞
図９は、第１実施形態における撮像装置の動作を示すフローチャートである。図９には、本撮像が実行された後における撮像装置の動作が示されている。
【００４４】
まず、設定露出差補正処理部１０７は、各領域の露出設定情報を取得する（ステップＳ９０１）。次いで、設定露出差補正処理部１０７は、露出設定情報に基づいて、撮像センサ１０３から入力されるデジタル信号に対して設定露出差補正処理を行う（ステップＳ９０２）。この時点では、デジタル信号（設定露出差補正処理が施された画像データ）に誤差があり、領域境界に段差が生じている。
【００４５】
次いで、境界周辺画素値評価部１０８は、各領域の境界情報を取得し、該境界情報をもとに、設定露出差補正処理が施された画像データに対して、領域境界の周辺画素の画素値を取得する（ステップＳ９０３）。そして、境界周辺画素値評価部１０８は、領域境界の周辺画素の画素値の平均値を算出する（ステップＳ９０４）。次いで、補正値算出部１０９は、ステップＳ９０４で算出した平均値に基づいて、補正値を算出する（ステップＳ９０５）。最後に、信号処理部１１０は、設定露出差補正処理が施された画像データに対して、ステップＳ９０５で算出された補正値に基づいて補正処理を行う（ステップＳ９０６）。その後、信号処理部１１０は、補正処理を行った画像データに対して、現像処理や符号化処理などを行う。
【００４６】
以上のように、本実施形態では、領域境界の周辺画素の画素値の平均値を用いて評価値を求め、その評価値から算出した補正値を用いて画像データを補正する。したがって、本実施形態によれば、撮像センサに起因して各領域の露出設定に誤差が生じた場合でも、領域境界において階調の段差を生じにくくすることができ、良好な画像を生成することが可能となる。
【００４７】
なお、ノイズによる影響を避けるためには、領域境界の平均値Ａ(i,j),(i+1,j)，Ａ(i+1,j),(i,j)は複数画素から求められる必要がある。したがって、領域の形状は、２つの方向、例えば縦方向（図７における上下方向）及び横方向（図７における左右方向）に、複数画素が配置された２次元的に広がった形状であることが望ましい。また、撮像センサ１０３がベイヤ配列などであり複数の色に分かれている場合であって、かつ色毎に信号処理が行われる場合には、各色（各色に対応する画素）のそれぞれが２次元的に広がった形状であることが望ましい。
【００４８】
［実施形態２］
第１実施形態では、領域境界における段差を無くすように誤差ΔＦn，ΔＯnを算出する撮像装置を例にした。第２実施形態では、画像における被写体にもともと存在する画素値の勾配を考慮して、より精度の高い補正を行う撮像装置について説明する。
【００４９】
第２実施形態の撮像装置の構成は、第１実施形態と同様である。ただし、境界周辺画素値評価部１０８と補正値算出部１０９の内部構成が異なる。以下では、第１実施形態と異なる部分について説明する。
【００５０】
図１０は、第２実施形態における境界周辺画素値評価部１０８の内部構成を示すブロック図である。図１１は、第２実施形態における補正値算出部１０９の内部構成を示すブロック図である。第１実施形態では、領域境界の周辺画素の画素値の平均値を用いて評価値を求め、その評価値に基づいて補正値を算出した。本実施形態では、領域境界の周辺画素の画素値の平均値だけでなく微分値も用いて評価値を求める。したがって、図１０に示すように、本実施形態の境界周辺画素値評価部１０８は、第１実施形態の構成要素に加えて、境界周辺画素微分値算出部１００１を有する。さらに、図１１に示すように、本実施形態の補正値算出部１０９は、第１の実施形態の構成要素に加えて、境界周辺画素微分値取得部１１０１を有する。
【００５１】
境界周辺画素微分値算出部１００１は、領域境界の周辺画素の画素値の微分値（以下、境界周辺画素微分値と呼ぶ場合がある）を算出する。境界周辺画素微分値取得部１１０１は、境界周辺画素微分値算出部１００１が算出した境界周辺画素微分値を取得し、補正値推定部３０２に渡す。補正値推定部３０２は、境界周辺画素平均値取得部３０１から受け取った境界周辺画素平均値と、境界周辺画素微分値取得部１１０１から受け取った境界周辺画素微分値とから、補正値を推定（算出）する。
【００５２】
図１２は、境界周辺画素平均値と境界周辺画素微分値とを算出する際に用いられる画素を示す図である。図１２に示すように、本実施形態の境界周辺画素値評価部１０８の境界周辺画素値取得部２０１は、領域境界の周辺画素の画素値として、２画素幅分の画素の画素値を取得する。そして、境界周辺画素値評価部１０８の境界周辺画素微分値算出部１００１は、２画素幅分の範囲にある画素の画素値から微分値Ｄ(i,j),(i+1,j)、Ｄ(i,j),(i,j+1)を算出する。このように、本実施形態では、領域境界の周辺画素の画素値の平均値だけでなく微分値を算出する。微分値を算出する理由は、境界領域に微分値と同程度の勾配を存在させるためである。なお、平均値については、第１実施形態と同様に、１画素幅の範囲にある画素の画素値から求めればよい。また、境界周辺画素微分値を算出する際、境界周辺画素平均値を算出するときと同様に、欠陥画素や飽和画素を省いて算出することが好ましい。
【００５３】
以上のような考え方によると、式６に対応する評価値Ｅi,jは以下の式のように表すことができる。
【００５４】
【数１１】
2019075658.tif 000013
【００５５】
本実施形態における総合評価値Ｅは、式１０を式８に代入して得られる。つまり、すべての領域について式１０で得られるＥi,jを加算したものが、本実施形態における総合評価値Ｅとなる。そして、本実施形態における補正値は、このようにして得られる総合評価値Ｅを最小化するΔＦi,jとΔＯi,jとを算出することで得られる。なお、第１実施形態と同様に、誤差ΔＯi,jが０とみなせるような撮像センサ１０３においては、総合評価値Ｅの最小化は、平均値Ａや微分値Ｄによって得られる値を係数として有する誤差ΔＦi,jに対する連立一次方程式となる。したがって、その場合には、その方程式を解くことで誤差ΔＦi,jを推定できる。同様に、ΔＯi,jが０とみなせない場合でも、第１実施形態において説明した収束演算によってΔＦi,jとΔＯi,jとを算出できる。
【００５６】
＜撮像装置の処理フロー＞
図１３は、第２実施形態における撮像装置の動作を示すフローチャートである。図１３には、図９と同様に、本撮像が実行された後における撮像装置の動作が示されている。なお、ステップＳ１３０１，Ｓ１３０２の処理は、ステップＳ９０１，Ｓ９０２の処理と同様であるため説明を省略する。
【００５７】
ステップＳ１３０２の後、境界周辺画素値評価部１０８は、各領域の境界情報を取得する処理（境界情報取得処理）を行う。そして、境界周辺画素値評価部１０８は、取得した該境界情報をもとに、設定露出差補正処理が施された画像データに対して、領域境界の周辺画素の画素値を取得する処理を行う（ステップＳ１３０３）。このとき、境界周辺画素値評価部１０８は、上述したように、領域境界の周辺画素の画素値として、２ピクセル幅の範囲にある画素の画素値を取得する。そして、境界周辺画素値評価部１０８は、領域境界の周辺画素の画素値の平均値と微分値とを算出する（ステップＳ１３０４）。次いで、補正値算出部１０９は、ステップＳ１３０４で算出した平均値と微分値とに基づいて、補正値を算出する（ステップＳ１３０５）。最後に、信号処理部１１０は、設定露出差補正処理が施された画像データに対して、ステップＳ１３０５で算出された補正値に基づいて補正処理を行う（ステップＳ１３０６）。その後、信号処理部１１０は、補正処理を行った画像データに対して、現像処理や符号化処理などを行う。
【００５８】
以上のように、本実施形態では、領域境界の周辺画素の画素値の平均値だけでなく微分値も用いて評価値を求め、その評価値に基づいて補正値を算出するようにしている。それにより、被写体画像にもともと存在する画素値の勾配を考慮した、より精度の高い補正を行うことが可能となる。したがって、例えば、被写体画像におけるグラデーションが領域境界を跨いで存在している場合でも、該グラデーションをより忠実に再現することができる。
【００５９】
［実施形態３］
撮像センサ１０３に起因する露出の設定値からの誤差ΔＴｎ，ΔＧｎは、どのような値でもとるわけではない。例えば、露出設定Ｔｎ＝１／１００に対して実際の露出Ｔｎ＋ΔＴｎが１／２００と推定されるような、本来撮像センサ１０３で生じ得ない誤差が推定された場合には、その推定結果をある範囲（誤差ΔＴｎ，ΔＧｎとしてとり得る値の範囲）に抑える必要がある。その理由は、そのような推定結果を補正値の算出にそのまま用いてしまうと、適切な補正値が得られなくなる可能性があるためである。そこで、本実施形態では、そのような範囲を事前情報として用いることで、さらに精度の高い補正を行う撮像装置について説明する。
【００６０】
第３実施形態の撮像装置の構成は、第２実施形態と同様である。ただし、補正値算出部１０９の内部構成が異なる。以下では、第２実施形態と異なる部分について説明を行う。
【００６１】
図１４は、第３実施形態における補正値算出部１０９の内部構成を示すブロック図である。本実施形態の補正値算出部１０９は、第２実施形態の構成要素に加えて、露出誤差特性取得部１４０１を有する。本実施形態では、予め測定して得られた、露出設定の誤差の範囲を示す露出誤差特性情報がＲＯＭ１１２に記録されていて、露出誤差特性取得部１４０１は、ＲＯＭ１１２から露出誤差特性情報を読み出す。補正値推定部３０２は、露出誤差特性取得部１４０１から受け取った露出誤差特性情報を、誤差ΔＦi,jと誤差ΔＯi,jとの推定に用いる。具体的には、補正値推定部３０２は、誤差ΔＦi,jや誤差ΔＯi,jの推定結果が露出誤差特性情報によって示される露出設定の誤差の範囲を超えているかを判定する。そして、ΔＦi,jやΔＯi,jが露出誤差特性情報によって示される露出設定の誤差の範囲を超えている場合には、補正値推定部３０２は、それらの値が露出設定の誤差の範囲に収まるようにそれらの値を変更する。
【００６２】
あるいは、より精度の高い補正を行う方法として、式１０に示す評価値Ｅi,jに対して以下の正則化項Ｒを加えた上で、誤差ΔＦi,jと誤差ΔＯi,jとを推定する方法がある。
【００６３】
【数１２】
2019075658.tif 000014
【００６４】
ここで、σFとσOはそれぞれ、誤差ΔＦi,jと誤差ΔＯi,jの標準偏差であり、予め測定されＲＯＭ１１２に記録されている。また、Ｚは、正則化項Ｒの効果の強さを決めるパラメータであり、予め決定されＲＯＭ１１２に記録されている。この正則化項Ｒは、誤差ΔＦi,jと誤差ΔＯi,jがその標準偏差を超えると急激に大きくなる。そのため、この正則化項Ｒを加えた総合評価値Ｅを最小化することで、そのような大きな推定結果が導出されることを避けることでき、誤差ΔＦi,jと誤差ΔＯi,jとを精度よく算出することが可能となる。このように、正則化項Ｒを用いた方法によっても、誤差ΔＦi,jと誤差ΔＯi,jとを所定範囲に抑えることが可能となる。
【００６５】
なお、総合評価値Ｅの最小化は、第１実施形態及び第２実施形態と同様にして行えばよい。また、本実施形態では、露出設定の誤差の性質を活用するため、設定露出差補正処理部１０７を省略せずに、必須の構成要素とすることが望ましい。また、本実施形態では、正則化項Ｒの算出に標準偏差σF，σOを用いる例を説明したが、分散など標準偏差以外の分布特性を用いるようにしてもよい。さらに、上述した正則化項Ｒを加える方法を、第１実施形態に適用するようにしてもよい。すなわち、第１実施形態における式７に正規化項Ｒを加えるようにしてもよい。
【００６６】
＜撮像装置の処理フロー＞
図１５は、第３実施形態における撮像装置の動作を示すフローチャートである。図１５には、図９及び図１３と同様に、本撮像が実行された後における撮像装置の動作が示されている。なお、ステップＳ１５０１〜Ｓ１５０４，Ｓ１５０７の処理は、ステップＳ１３０１〜Ｓ１３０４，Ｓ１３０６の処理と同様であるため説明を省略する。
【００６７】
ステップＳ１５０４の後、補正値算出部１０９は、ＲＯＭ１１２から露出誤差特性情報を取得する（ステップＳ１５０５）。次いで、補正値算出部１０９は、露出誤差特性取得部１４０１から受け取った露出誤差特性情報と、ステップＳ１５０４で算出した平均値及び微分値とに基づいて、補正値を算出する（ステップＳ１５０６）。
【００６８】
以上のように、本実施形態では、誤差ΔＦi,j，ΔＯi,jを推定する際に、それらの値が所定範囲を超えないようにしている。それにより、例えば、露出設定Ｔｎ＝１／１００に対して実際の露出Ｔｎ＋ΔＴｎが１／２００と推定されてしまうようなことを抑制できる。したがって、本実施形態によれば、より精度の高い補正値を得ることができ、領域境界における偽の段差をより発生しづらくさせることが可能となる。
【００６９】
（その他の実施形態）
上述の実施形態では、撮像装置の内部に境界周辺画素値評価部、補正値算出部、信号処理部が搭載された形態として説明した。しかしながら、撮像装置とは別の装置としてもよい。例えば、撮像装置に接続されたパーソナルコンピュータ（画像処理装置）でもよい。この場合、画像処理装置が、撮像装置が撮像センサ（領域毎に露出設定可能な撮像センサ）を用いて撮像した画像データや露出設定を行う領域の単位などを示す情報を取得する。そして、画像処理装置が、画像データが表す画像における領域の境界情報に基づいて、露出設定の誤差を推定し導出した補正値を用いて画像データを補正してもよい。
【００７０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７１】
また、撮像画像に対して演算を施すことが可能な積層型撮像センサを用いれば、上述の実施形態における撮像センサ１０３と撮像センサ１０３以外の構成要素とを容易に一体とすることができる。例えば、撮像センサ１０３と境界周辺画素値評価部１０８とを一体とした積層型撮像センサを用いれば、画像データと評価値とを同時に取得することができるようになる。図１に示すように、境界周辺画素値評価部１０８が撮像センサ１０３とは別のチップに設けられた構成では、補正値が決定されるまで画像データをＲＡＭ１１１に記録させておく必要がある。しかし、上記のように撮像センサ１０３と境界周辺画素値評価部１０８とを一体とした積層型撮像センサを用いれば、その必要がなくなる。
【符号の説明】
【００７２】
１０８  境界周辺画素値評価部
１０９  補正値算出部
１１０  信号処理部
【図１】
2019075658.tif 000015
【図２】
2019075658.tif 000016
【図３】
2019075658.tif 000017
【図４】
2019075658.tif 000018
【図５】
2019075658.tif 000019
【図６】
2019075658.tif 000020
【図７】
2019075658.tif 000021
【図８】
2019075658.tif 000022
【図９】
2019075658.tif 000023
【図１０】
2019075658.tif 000024
【図１１】
2019075658.tif 000025
【図１２】
2019075658.tif 000026
【図１３】
2019075658.tif 000027
【図１４】
2019075658.tif 000028
【図１５】
2019075658.tif 000029