(57)【要約】  本技術は、個別調整工程を必要とせず、各レンズ固有の特性に応じて画像を補正することができるようにする画像処理装置、画像処理方法、および撮像装置に関する。本技術の第１の側面である画像処理装置は、取得された画像に基づくサンプル画像の定量値を算出する定量値算出部と、複数の前記サンプル画像から算出された前記定量値の平均値を算出する平均値算出部と、算出された前記定量値の前記平均値を保持する保持部と、保持されている前記定量値の前記平均値に基づき、撮像された画像を補正する補正部とを備える。本技術は、デジタルカメラに適用できる。
2018034157.tif 000002
【特許請求の範囲】
【請求項１】
取得された画像に基づくサンプル画像の定量値を算出する定量値算出部と、
複数の前記サンプル画像から算出された前記定量値の平均値を算出する平均値算出部と、
算出された前記定量値の前記平均値を保持する保持部と、
保持されている前記定量値の前記平均値に基づき、撮像された画像を補正する補正部と
を備える画像処理装置。
【請求項２】
前記定量値算出部は、前記サンプル画像を複数の領域に区分して前記領域毎に前記定量値を算出し、
前記平均値算出部は、複数の前記サンプル画像の前記領域毎に算出された前記定量値の平均値を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記補正部は、前記平均値に基づき画像補正値を算出し、算出された前記画像補正値に基づいて撮像された画像を補正する
請求項１に記載の画像処理装置。
【請求項４】
前記平均値算出部は、さらに、異なる領域間の前記定量値の前記平均値の比を算出し、
前記保持部は、さらに、異なる領域間の前記定量値の前記平均値の比を保持し、
前記補正部は、保持されている異なる領域間の前記定量値の前記平均値の比に応じて、撮像された画像を補正する
請求項２に記載の画像処理装置。
【請求項５】
前記定量値算出部は、前記サンプル画像の定量値としてパワースペクトルを算出し、
前記補正部は、保持されている前記定量値としての前記パワースペクトルの前記平均値に基づき、撮像された画像を補正する
請求項２に記載の画像処理装置。
【請求項６】
前記補正部は、撮像された画像の解像度を補正する
請求項５に記載の画像処理装置。
【請求項７】
前記平均値算出部は、前記サンプル画像の重力方向に対して左右に並ぶ領域間の前記パワースペクトルの前記平均値の比を算出し、
前記補正部は、保持されている、前記サンプル画像の重力方向に対して左右に並ぶ領域間の前記パワースペクトルの前記平均値の比に応じて、撮像された画像の片ボケを補正する
請求項５に記載の画像処理装置。
【請求項８】
前記平均値算出部は、前記サンプル画像の中心の領域と周辺の領域の間の前記パワースペクトルの前記平均値の比を算出し、
前記補正部は、保持されている、前記サンプル画像の中心の領域と周辺の領域の間の前記パワースペクトルの前記平均値の比に応じて、撮像された画像の周辺の領域における解像度を補正する
請求項５に記載の画像処理装置。
【請求項９】
前記定量値算出部は、前記サンプル画像の定量値として各色成分の画素値を算出し、
前記補正部は、保持されている前記定量値としての前記各色成分の画素値の平均値に基づき、撮像された画像のカラーシェーディングを補正する
請求項２に記載の画像処理装置。
【請求項１０】
前記平均値算出部は、前記サンプル画像の重力方向に対して直交する方向に配置された領域間の前記各色成分の画素値の平均値の比を算出し、
前記補正部は、保持されている、前記サンプル画像の重力方向に対して直交する方向に配置された領域間の前記各色成分の画素値の平均値の比に応じて、撮像された画像のカラーシェーディングを補正する
請求項９に記載の画像処理装置。
【請求項１１】
前記補正部は、前記サンプル画像の数が閾値以上になった後、保持されている前記定量値の前記平均値に基づき、撮像された画像を補正する
請求項２に記載の画像処理装置。
【請求項１２】
取得された前記画像から前記サンプル画像を選別する選別部をさらに備える
請求項２に記載の画像処理装置。
【請求項１３】
前記選別部は、取得された前記画像から、所定ISO値よりも高いISO値で撮像された画像、所定露出値よりも高いまたは低い露出値で撮像された画像、および連写された画像を除外することによって、前記サンプル画像を選別する
請求項１２に記載の画像処理装置。
【請求項１４】
前記保持部は、前記サンプル画像の撮像に用いた撮像部の構成要素に対応付けて、算出された前記定量値の前記平均値を保持する
請求項１に記載の画像処理装置。
【請求項１５】
光学レンズおよび前記光学レンズによって集光された入射光に応じて画素信号を生成する撮像素子を含む前記撮像部をさらに備える
請求項１４に記載の画像処理装置。
【請求項１６】
前記平均値算出部は、異なる複数の撮像装置によって撮像された前記サンプル画像の同じ位置の領域間の前記パワースペクトルの前記平均値の比を算出し、
前記補正部は、保持されている、異なる複数の撮像装置によって撮像された前記サンプル画像の同じ位置の領域間の前記パワースペクトルの前記平均値の比に応じて、異なる複数の撮像装置によって撮像された画像の解像度を補正する
請求項５に記載の画像処理装置。
【請求項１７】
前記保持部は、前記サンプル画像の撮像に用いた撮像装置に対応付けて、算出された前記定量値の前記平均値を保持する
請求項１６に記載の画像処理装置。
【請求項１８】
画像処理装置の画像処理方法において、
前記画像処理装置による、
取得された画像に基づくサンプル画像の定量値を算出する定量値算出ステップと、
複数の前記サンプル画像から算出された前記定量値の平均値を算出する平均値算出ステップと、
算出された前記定量値の前記平均値を保持する保持ステップと、
保持されている前記定量値の前記平均値に基づき、撮像された画像を補正する補正ステップと
を含む画像処理方法。
【請求項１９】
光学レンズと、
前記光学レンズによって集光された入射光に応じて画素信号を生成する撮像素子と、
前記画素信号から成る画像を取得する取得部と、
取得された前記画像に基づくサンプル画像の定量値を算出する定量値算出部と、
複数の前記サンプル画像から算出された前記定量値の平均値を算出する平均値算出部と、
算出された前記定量値の前記平均値を保持する保持部と、
保持されている前記定量値の前記平均値に基づき、撮像された画像を補正する補正部と
を備える撮像装置。
【請求項２０】
前記光学レンズまたは前記撮像素子の少なくとも一方は、着脱交換可能である
請求項１９に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、および撮像装置に関し、特に、片ボケ等のレンズ固有の画像劣化を補正できるようにした画像処理装置、画像処理方法、および撮像装置に関する。
【背景技術】
【０００２】
撮像装置の各レンズ固有の問題に起因する画像劣化として片ボケが知られている。片ボケは、レンズ/カメラモジュールの製造工程におけるレンズの製造誤差や各部材の組み立て誤差が主要因であり、各個体によってその程度が異なるので、これを効果的に補正するためには、製造工程の中に個別調整工程が必要となる。具体的には、所定の模様を撮影することにより各レンズ固有の特性を測定し、測定結果に応じた個別の解像度補正を行うことになる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２１６５７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したように、製造工程に個別調整工程を含めるとコスト高となる。また、レンズをぶつけたり、落下させたりする等の出荷後の事故に起因して生じ得る片ボケ等の画像劣化については、それを補正することができなかった。【０００５】
本技術はこのような状況に鑑みてなされたものであり、製造工程の個別調整工程を不要としコストを削減するとともに、出荷後の事故に起因して生じ得る画像劣化を補正できるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の第１の側面である画像処理装置は、取得された画像に基づくサンプル画像の定量値を算出する定量値算出部と、複数の前記サンプル画像から算出された前記定量値の平均値を算出する平均値算出部と、算出された前記定量値の前記平均値を保持する保持部と、保持されている前記定量値の前記平均値に基づき、撮像された画像を補正する補正部とを備える。【０００７】
前記定量値算出部は、前記サンプル画像を複数の領域に区分して前記領域毎に前記定量値を算出することができ、前記平均値算出部は、複数の前記サンプル画像の前記領域毎に算出された前記定量値の平均値を算出することができる。【０００８】
前記補正部は、前記平均値に基づき画像補正値を算出し、算出された前記画像補正値に基づいて撮像された画像を補正することができる。【０００９】
前記平均値算出部は、さらに、異なる領域間の前記定量値の前記平均値の比を算出することができ、前記保持部は、さらに、異なる領域間の前記定量値の前記平均値の比を保持することができ、前記補正部は、保持されている異なる領域間の前記定量値の前記平均値の比に応じて、撮像された画像を補正することができる。【００１０】
前記定量値算出部は、前記サンプル画像の定量値としてパワースペクトルを算出することができ、前記補正部は、保持されている前記定量値としての前記パワースペクトルの前記平均値に基づき、撮像された画像を補正することができる。【００１１】
前記補正部は、撮像された画像の解像度を補正することができる。【００１２】
前記平均値算出部は、前記サンプル画像の重力方向に対して左右に並ぶ領域間の前記パワースペクトルの前記平均値の比を算出することができ、前記補正部は、保持されている、前記サンプル画像の重力方向に対して左右に並ぶ領域間の前記パワースペクトルの前記平均値の比に応じて、撮像された画像の片ボケを補正することができる。【００１３】
前記平均値算出部は、前記サンプル画像の中心の領域と周辺の領域の間の前記パワースペクトルの前記平均値の比を算出することができ、前記補正部は、保持されている、前記サンプル画像の中心の領域と周辺の領域の間の前記パワースペクトルの前記平均値の比に応じて、撮像された画像の周辺の領域における解像度を補正することができる。【００１４】
前記定量値算出部は、前記サンプル画像の定量値として各色成分の画素値を算出することができ、前記補正部は、保持されている前記定量値としての前記各色成分の画素値の平均値に基づき、撮像された画像のカラーシェーディングを補正することができる。【００１５】
前記平均値算出部は、前記サンプル画像の重力方向に対して直交する方向に配置された領域間の前記各色成分の画素値の平均値の比を算出することができ、前記補正部は、保持されている、前記サンプル画像の重力方向に対して直交する方向に配置された領域間の前記各色成分の画素値の平均値の比に応じて、撮像された画像のカラーシェーディングを補正することができる。【００１６】
前記補正部は、前記サンプル画像の数が閾値以上になった後、保持されている前記定量値の前記平均値に基づき、撮像された画像を補正することができる。【００１７】
取得された前記画像から前記サンプル画像を選別する選別部をさらに備えることができる。【００１８】
前記選別部は、取得された前記画像から、所定ISO値よりも高いISO値で撮像された画像、所定露出値よりも高いまたは低い露出値で撮像された画像、および連写された画像を除外することによって、前記サンプル画像を選別することができる。【００１９】
前記保持部は、前記サンプル画像の撮像に用いた撮像部の構成要素に対応付けて、算出された前記定量値の前記平均値を保持することができる。【００２０】
光学レンズおよび前記光学レンズによって集光された入射光に応じて画素信号を生成する撮像素子を含む前記撮像部をさらに備えることができる。【００２１】
前記平均値算出部は、異なる複数の撮像装置によって撮像された前記サンプル画像の同じ位置の領域間の前記パワースペクトルの前記平均値の比を算出することができ、前記補正部は、保持されている、異なる複数の撮像装置によって撮像された前記サンプル画像の同じ位置の領域間の前記パワースペクトルの前記平均値の比に応じて、異なる複数の撮像装置によって撮像された画像の解像度を補正することができる。【００２２】
前記保持部は、前記サンプル画像の撮像に用いた撮像装置に対応付けて、算出された前記定量値の前記平均値を保持することができる。【００２３】
本技術の第１の側面である画像処理方法は、画像処理装置による、取得された画像に基づくサンプル画像の定量値を算出する定量値算出ステップと、複数の前記サンプル画像から算出された前記定量値の平均値を算出する平均値算出ステップと、算出された前記定量値の前記平均値を保持する保持ステップと、保持されている前記定量値の前記平均値に基づき、撮像された画像を補正する補正ステップとを含む。【００２４】
本技術の第１の側面においては、取得された画像に基づくサンプル画像の定量値が算出され、複数の前記サンプル画像から算出された前記定量値の平均値が算出されて保持され、保持されている前記定量値の前記平均値に基づき、撮像された画像が補正される。【００２５】
本技術の第２の側面である撮像装置は、光学レンズと、前記光学レンズによって集光された入射光に応じて画素信号を生成する撮像素子と、前記画素信号から成る画像を取得する取得部と、取得された前記画像に基づくサンプル画像の定量値を算出する定量値算出部と、複数の前記サンプル画像から算出された前記定量値の平均値を算出する平均値算出部と、算出された前記定量値の前記平均値を保持する保持部と、保持されている前記定量値の前記平均値に基づき、撮像された画像を補正する補正部とを備える。【００２６】
前記光学レンズまたは前記撮像素子の少なくとも一方は、着脱交換可能とすることができる。【００２７】
本技術の第２の側面においては、光学レンズによって集光された入射光に応じて画素信号が生成され、前記画素信号から成る画像が取得され、取得された前記画像に基づくサンプル画像の定量値が算出され、複数の前記サンプル画像から算出された前記定量値の平均値が算出されて保持され、保持されている前記定量値の前記平均値に基づき、撮像された画像が補正される。
【発明の効果】
【００２８】
本技術の第１および第２の側面によれば、製造工程の個別調整工程を不要としコストを削減するとともに、出荷後の事故に起因して生じ得る画像劣化を補正できる。
【図面の簡単な説明】
【００２９】
【図１】本技術を適用した撮像装置の構成例を示すブロック図である。
【図２】画像処理部の構成例を示すブロック図である。
【図３】重力方向の種類を示す図である。
【図４】サンプルとなる画像を複数の領域に分割する例を示す図である。
【図５】１枚のサンプル画像における重力方向に対して左右対称となる領域のパワースペクトルを示す図である。
【図６】サンプル画像数の変化に対する重力方向に対して左右対称となる領域間のパワースペクトルの平均値の比の変化を示す図である。
【図７】１枚のサンプル画像における重力方向に対して左右対称ではない領域のパワースペクトルを示す図である。
【図８】サンプル画像数の変化に対する重力方向に対して左右対称ではない領域間のパワースペクトルの平均値の比の変化を示す図である。
【図９】比較解析部の動作を説明する図である。
【図１０】比較解析部の動作を説明する図である。
【図１１】比較解析部の動作を説明する図である。
【図１２】比較解析部の動作を説明する図である。
【図１３】第１のＤＢ更新処理を説明するフローチャートである。
【図１４】第２のＤＢ更新処理を説明するフローチャートである。
【図１５】片ボケ補正処理を説明するフローチャートである。
【図１６】ステレオカメラシステムの概要を示す図である。
【図１７】本技術を適用したステレオカメラシステムの構成例を示すブロック図である。
【図１８】ステレオカメラシステムにおける画像処理装置のＤＢ更新処理を説明する図である。
【図１９】ステレオカメラシステムにおける画像処理装置のＤＢ更新処理を説明するフローチャートである。
【図２０】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２１】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００３０】
以下、本技術を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００３１】
＜本技術の実施の形態である撮像装置の構成例＞
図１は、本技術の実施の形態である撮像装置の構成例を示すブロック図である。
【００３２】
この撮像装置１０は、光学レンズ１１、撮像素子１２、画像処理部１３、表示部１４、記録部１５、操作部１６、撮像制御部１７、およびセンサ部１８を備える。
【００３３】
光学レンズ１１は、複数のレンズと絞り機構等を有しており、被写体の光学像を集光して後段の撮像素子１２に入射させる。
【００３４】
撮像素子１２は、例えば、裏面照射型のCMOSイメージセンサ等から成り、光学レンズ１１によって集光された入射光に応じて光電変換を行うことにより、各画素の画素信号を生成して画像処理部１３に出力する。
【００３５】
なお、光学レンズ１１および撮像素子１２は、それぞれ撮像装置１０に対して着脱交換可能としてもよい。その場合、撮像装置１０では、装着されている光学レンズ１１や撮像素子１２の識別情報を取得し、メモリ２７（図２）に保持できるようにする。
【００３６】
画像処理部１３は、CPU等の信号処理回路から成り、撮像素子１２から入力される画素信号に対して、所定の画像処理（現像処理、各種の補正処理等）を行い、その結果得られる画像データを表示部１４および記録部１５に出力する。なお、画像処理部１３における各種の補正処理の詳細については後述する。
【００３７】
ただし、画像処理部１３による片ボケ補正処理、周辺解像度補正処理、およびカラーシェーディング補正処理は、ユーザの設定に応じてキャンセルすることが可能である。これにより、例えば、光学特性に偏り等が生じてしまっている古い光学レンズ１１を撮像装置１０に装着した場合等において、その古い光学レンズ１１の光学特性に偏り等を意図的に画像に残すことができる。
【００３８】
表示部１４は、構図確認用のスルー画像や撮像（記録）した画像、再生した画像等を表示する。また、表示部１４は、各種の設定情報等を表示する。記録部１５は、撮像された画像の画像データを半導体メモリ等に記録、再生する。操作部１６は、筐体に形成されたボタンやダイアル、表示部１４に積層されたタッチパネル等から成り、ユーザからの操作入力を受け付けてそれに対応する操作信号を画像処理部１３および撮像制御部１７に通知する。
【００３９】
撮像制御部１７は、CPU等の制御回路から成り、操作部１６から通知される操作信号に応じ、光学レンズ１１および撮像素子１２の駆動を制御する。
【００４０】
センサ部１８は、撮像装置１０の位置（緯度、経度、高度）、撮像方向、重力方向等を検出する。
【００４１】
＜画像処理部１３の構成例＞
次に、図２は、画像処理部１３が実行する各種の補正処理のうち、本技術に関わる片ボケ補正処理、周辺解像度補正処理、およびカラーシェーディング補正処理を実行するための構成例を示している。
【００４２】
すなわち、画像処理部１３は、片ボケ補正処理、周辺解像度補正処理、およびカラーシェーディング補正処理を実行するためのデータベース（ＤＢ）部２０および補正部３０を有する。
【００４３】
ＤＢ部２０は、上述した片ボケ補正処理等を実行するための情報を蓄積、更新するものであり、画像取得部２１、サンプル条件判定部２２、ラベル付与部２３、周波数特性算出部２４、色別画素平均値算出部２５、比較解析部２６、およびメモリ２７を有する。
【００４４】
画像取得部２１は、撮像が行われる毎に撮像素子１２から出力される、画像処理前の１フレーム分の画素信号（以下、画像と称する）を取得してサンプル条件判定部２２に供給する。サンプル条件判定部２２は、供給された画像がサンプルとしてメモリ２７の更新に用いることが適切であるか否かを判定し、サンプルとして用いることができる画像（以下、サンプル画像と称する）をラベル付与部２３に供給する。
【００４５】
ここで、サンプルとして用いることができる画像とは、所定の模様等を撮像した画像ではなく、任意の被写体を撮像した一般的な画像である。ただし、所定ISO値よりも高いISO値で撮像されたためにノイズが多い画像、HDR（ハイダイナミックレンジ）合成用等に撮影された所定露出値よりも高い（または低い）露出値で撮像された画像、連写された画像等、多数の画像の画素値の平均値を算出する被写体のパワースペクトルをキャンセルするという目的に効果が無いもの、逆効果になるものはサンプルから除外する。なお、例えば、ドライブレコーダ等のように連続して継続的に撮像が行われている場合には、周期的に画像を抽出してサンプルとして用いることができる。
【００４６】
ラベル付与部２３は、センサ部１８の検出結果に基づき、サンプル画像における重力方向を判定し、該画像に対して重力方向を表すラベル付けを行う。また、ラベル付与部２３は、サンプル画像の撮影環境における光源（太陽光、電球、蛍光灯等、またはは色温度）を推定して、該画像に対して光源を表すラベル付けを行う。
【００４７】
さらに、ラベル付与部２３は、光学レンズ１１や撮像素子１２がそれぞれ撮像装置１０に対して着脱、交換可能となっているような場合、光学レンズ１１や撮像素子１２の識別情報を表すラベルもサンプル画像に付与することができる。
【００４８】
図３は、ラベル付与部２３による重力方向の判定の様子を示している。重力方向の判定は、少なくとも、同図Ａに示すようにサンプル画像を横長においた場合の下方向が重力方向となる場合（０°方向）と、同図Ｂに示すようにサンプル画像を縦長においた場合の下方向が重力方向となる場合（９０°方向）の２種類のどちらかに判定する。
【００４９】
なお、同図Ｃに示すように、サンプル画像を斜めにおいた場合の下方向が重力方向となる場合（４５°方向）を加えた３種類のいずれかに判定するようにしてもよい。ただし、重力方向を３種類とした場合、補正時の精度は向上するものの、計算コストは増加することになる。したがって、精度を重視するか、計算コスト削減を重視するかによって、重力方向の種類を２種類とするか、３種類とするかをユーザが選択できるようにしてもよい。もちろんより精度を上げるために4種類以上としてもよい。
【００５０】
図２に戻る。周波数特性算出部２４は、サンプル画像を複数の領域に分割し、領域毎にパワースペクトルを算出して比較解析部２６に出力する。パワースペクトルの算出は、サンプル画像の画素信号が複数の色を持つ場合は、そのうち１種類以上を用いて算出すればよい。
【００５１】
図４は、周波数特性算出部２４において、サンプル画像を複数の領域に分割する例を示している。同図の場合、サンプル画像を３×３の領域に分割している。以下の説明では、サンプル画像を３×３の領域に分割した場合を例に説明する。また、サンプル画像の重力方向を下向きとして、左上の領域をＬＨ、中央上の領域をＣＨ、右上の領域をＲＨ、左中の領域をＬＣ、中央中の領域をＣＣ、右中の領域をＲＣ、左下の領域をＬＬ、中央下の領域をＣＬ、右下の領域をＲＬと称する。
【００５２】
ただし、サンプル画像を分割する領域の数は２以上の任意の数であり、各領域の面積は、該領域におけるパワースペクトルを検出できる程度まで小さくすることができる。サンプル画像を分割する領域の数を多くした場合、補正時の精度は向上するものの、計算コストは増加することになる。したがって、精度を重視するか、計算コスト削減を重視するかによって、サンプル画像を分割する領域の数を決定すればよい。また、サンプル画像を分割する領域の数をユーザが選択できるようにしてもよい。
【００５３】
ここで、重力方向に対して左右対称となる領域のパワースペクトルについて、図５および図６を参照して説明する。
【００５４】
図５は、ある１枚のサンプル画像における、重力方向に対して左右対称となる領域ＬＣと領域ＲＣのパワースペクトルを示している。
【００５５】
同図Ａは、領域ＬＣのパワースペクトルを３次元グラフ化したものである。同図Ｂは、領域ＲＣのパワースペクトルを３次元グラフ化したものである。同図Ａおよび同図Ｂに示されたように、領域ＬＣと領域ＲＣのパワースペクトルは、各領域の被写体に依存するので、通常は異なるものとなる。
【００５６】
同図Ｃは、重力方向に対して左右対称となる領域ＬＣと領域ＲＣのパワースペクトルの比（領域ＬＣのパワースペクトル／領域ＲＣのパワースペクトル）を３次元グラフ化したものである。
【００５７】
図６は、サンプル画像の数ｎを徐々に増加した場合の、領域ＬＣと領域ＲＣのパワースペクトルの平均値の比の変化を示している。
【００５８】
重力方向に対して左右対称となる領域間のパワースペクトルの比は、サンプル画像の数ｎが１である場合、図５のＣに示されたように、各領域の被写体のパワースペクトルの差が明確に表れる。しかしながら、図６のＡ乃至図６のＦに示されるように、サンプル画像の数ｎを徐々に増加させると、重力方向に対して左右対称となる各領域の被写体のパワースペクトルの違いはキャンセルされて、撮像装置１０の光学レンズ１１のパワースペクトルのみが抽出されることになる。したがって、撮像装置１０の光学レンズ１１に解像度の左右差が無ければ、重力方向に対して左右対称となる領域間のパワースペクトルの比が１に収束することになる。換言すれば、サンプル画像の数ｎを十分に大きくした状態で該比が１からずれていれば、それは光学レンズ１１に生じた解像度の左右差に起因する片ボケが原因である。よって、これを打ち消す方向に、光軸に対して非対称に強度調整可能な解像度補正処理を行えば、片ボケを補正することが可能となる。
【００５９】
次に、重力方向に対して左右対称とならない領域のパワースペクトルについて、図７および図８を参照して説明する。
【００６０】
図７は、１枚のサンプル画像における、重力方向に対して左右対称とならない領域ＣＬと領域ＣＨのパワースペクトルを示している。
【００６１】
同図Ａは、領域ＣＬのパワースペクトルを３次元グラフ化したものである。同図Ｂは、領域ＣＨのパワースペクトルを３次元グラフ化したものである。同図Ａおよび同図Ｂに示されたように、領域ＣＨと領域ＣＨのパワースペクトルは、各領域の被写体に依存するので、通常は異なるものとなる。
【００６２】
同図Ｃは、重力方向に対して左右対称とならない領域ＣＬと領域ＣＨのパワースペクトルの比（領域ＣＬのパワースペクトル／領域ＣＨのパワースペクトル）を３次元グラフ化したものである。
【００６３】
図８は、サンプル画像の数を徐々に増加した場合の、領域ＣＬと領域ＣＨのパワースペクトルの平均値の比の変化を示している。
【００６４】
重力方向に対して左右対称とならない領域間のパワースペクトルの比は、サンプル画像の数ｎが１である場合、図７のＣに示すように、図５に示された重力方向に対して左右対称となる領域間のパワースペクトルの比と同様、各領域の被写体のパワースペクトルの差が明確に表れる。ただし、図８のＡ乃至図８のＦに示されるように、サンプル画像の数ｎを徐々に増加させても、重力方向に対して左右対称とならない各領域の被写体のパワースペクトルの違いはキャンセルされないことが分かっている。したがって、サンプル画像の数ｎを十分に大きくしても、重力方向に対して左右対称とならない領域間のパワースペクトルの比は１に収束しない。
【００６５】
したがって、サンプル画像の数ｎが十分に大きい場合、重力方向に対して左右対称となる領域間のパワースペクトルの比が１からずれている場合、そのずれは光学系（光学レンズ１１）に固有の特性に由来し、片ボケの原因になるものと判断できる。
【００６６】
図２に戻る。色別画素平均値算出部２５は、周波数特性算出部２４と同様に、サンプル画像を複数の領域に分割し、領域毎に各色成分の平均値を算出して比較解析部２６に出力する。なお、平均値の算出については、相加平均（算術平均）、相乗平均（幾何平均）、調和平均、調整平均（トリム平均）等のいずれかを適用すればよい。
【００６７】
比較解析部２６は、周波数特性算出部２４からサンプル画像の領域毎のパワースペクトルが入力される毎、メモリ２７に重力方向のラベル毎に登録されている、サンプル画像の各領域のパワースペクトルの平均値とサンプル画像の数ｎを読み出し、周波数特性算出部２４から入力を用いて該平均値を再計算し、再計算した平均値と１だけインクリメントしたサンプル画像数ｎ＋１をメモリ２７に登録、更新する。
【００６８】
また、比較解析部２６は、重力方向に対して左右対称となる領域（領域ＬＨと領域ＲＨ、領域ＬＣと領域ＲＣ、および領域ＬＬと領域ＲＬ）におけるパワースペクトルの平均値の比を算出してメモリ２７に登録。更新する。この比は、片ボケが生じている場合に１から離れる値となり、片ボケ補正処理を行う際に参照される。なお、比較解析部２６は、パワースペクトルの平均値の比を算出する領域として重力方向に対して左右対称となる領域に限定されず、左右方向に並ぶ複数の領域でもよい。
【００６９】
図９は、重力方向に対して左右対称となる領域の例として、領域ＬＣと領域ＲＣにおけるパワースペクトルの平均値の比を算出する場合を示している。
【００７０】
さらに、比較解析部２６は、画像の中央の領域と左側の領域（領域ＣＨと領域ＬＨ、領域ＣＣと領域ＬＣ、および領域ＣＬと領域ＬＬ）、並びに、中央の領域と右側の領域（領域ＣＨと領域ＲＨ、領域ＣＣと領域ＲＣ、および領域ＣＬと領域ＲＬ）におけるパワースペクトルの平均値の比（領域ＣＨ／領域ＣＣ等）を算出してメモリ２７に登録、更新する。一般的には中央領域が最も解像度が高く、周辺領域で解像度が低くなる。そのためこの比は、１よりも小さくなるほど、周辺の領域に大きなボケが生じていることになるので、周辺解像度補正処理を行う際に参照される。
【００７１】
図１０は、中央の領域と左側の領域の例として、領域ＣＣと領域ＬＣ、中央の領域と右側の領域の例として領域ＣＣと領域ＲＣそれぞれにおけるパワースペクトルの平均値の比（ＬＣ／ＣＣとＲＣ／ＣＣ）を算出する場合を示している。
【００７２】
またさらに、比較解析部２６は、色別画素平均値算出部２５からサンプル画像の領域毎の各色成分の平均値が入力される毎、メモリ２７に重力方向と光源のラベル毎に登録されている、複数のサンプル画像の各領域の各色成分の平均値とサンプル数ｎを読み出し、色別画素平均値算出部２５からの入力を用いて該平均値を再計算し、再計算した平均値と１だけインクリメントしたサンプル画像数ｎ＋１をメモリ２７に登録、更新する。
【００７３】
図１１は、メモリ２７に重力方向、光源のラベル毎、複数のサンプル画像の各領域の各色成分の平均値がメモリ２７に登録されている状態を表している。
【００７４】
また、比較解析部２６は、メモリ２７からに重力方向、光源のラベル毎に登録されている、複数のサンプル画像の各領域の各色成分の平均値を読み出し、重力方向に対して直交する方向に並ぶ領域間（例えば、領域ＣＣと領域ＬＣ、領域ＣＣと領域ＲＣ等）における同色成分の平均値の比を算出してメモリ２７に登録、更新する。この比は、カラーシェーディング補正処理を行う際に参照される。
【００７５】
図１２は、重力方向に対して直交する方向に並ぶ領域間の例として、領域ＣＣと領域ＬＣ、および、領域ＣＣと領域ＲＣにおける同色成分の平均値の比を算出する場合を示している。
【００７６】
なお、サンプル画像の数ｎが十分に大きい場合、重力方向に対して直交する方向に並ぶ領域間の被写体の色成分の違いはキャンセルされて、撮像装置１０の光学レンズ１１や撮像素子１２に起因する変化のみが抽出されることになる。したがって、光学レンズ１１や撮像素子１２にシェーディングが無ければ、重力方向に対して直交する方向に並ぶ領域間の同色成分の平均値の比が１に収束することになる。換言すれば、サンプル画像の数ｎを十分に大きくした状態で、該比が１からずれていれば、それは光学レンズ１１や撮像素子１２等に起因するシェーディングが原因である。よって、これを打ち消す方向に光軸に対して非対称に強度調整可能なゲインを設定すれば、該シェーディングを適切に補正することが可能となる。
【００７７】
メモリ２７は、不揮発性メモリ等から成り、比較解析部２６から入力される、サンプル画像の各領域のパワースペクトルの平均値や領域間の比を記憶するとともに、その算出に用いたサンプル数も記憶する。また、メモリ２７は、比較解析部２６から入力される、サンプル画像の各領域の各色成分の平均値や領域間の比を記憶するとともに、その算出に用いたサンプル数も記憶する。
【００７８】
なお、メモリ２７は、サンプル画像の画像データそのものを記憶するのではなく、上述した各種の情報を記憶できる程度の容量があればよい。
【００７９】
補正部３０は、解像度補正部３１およびシェーディング補正部３２を有する。解像度補正部３１は、メモリ２７を参照して、片ボケ補正処理、および周辺解像度補正処理を実行する。シェーディング補正部３２は、メモリ２７を参照して、カラーシェーディング補正処理を実行する。
【００８０】
＜ＤＢ部２０によるＤＢ更新処理について＞
次に、撮像装置１０の画像処理部１３におけるＤＢ部２０によるＤＢ更新処理について説明する。
【００８１】
図１３は、第１のＤＢ更新処理を説明するフローチャートである。該第１のＤＢ更新処理は、片ボケ補正処理、および周辺解像度補正処理を実行する際に参照されるＤＢ部２０のメモリ２７の情報を登録、更新するためのものである。
【００８２】
ステップＳ１において、画像取得部２１は、撮像が行われる毎に撮像素子１２から出力される、画像処理前の画像を取得してサンプル条件判定部２２に供給する。ステップＳ２において、サンプル条件判定部２２は、供給された画像がサンプル画像に用いることができるか否かを判定する。該画像をサンプル画像に用いることができると判定した場合、画像取得部２１は、該画像をサンプル画像としてラベル付与部２３に供給し、処理をステップＳ３に進める。反対に、該画像をサンプル画像に用いることができないと判定した場合、処理はステップＳ１に戻される。
【００８３】
ステップＳ３において、ラベル付与部２３は、センサ部１８の検出結果に基づき、サンプル画像における重力方向を判定し、該画像に対して重力方向を表すラベル付けを行う。
【００８４】
ステップＳ４において、周波数特性算出部２４は、サンプル画像を複数の領域に分割し、領域毎にパワースペクトルを算出して比較解析部２６に出力する。
【００８５】
ステップＳ５において、比較解析部２６は、周波数特性算出部２４からサンプル画像の領域毎のパワースペクトルが入力される毎、メモリ２７に重力方向のラベル毎に登録されている、サンプル画像の各領域のパワースペクトルの平均値とサンプル画像の数ｎを読み出し、周波数特性算出部２４から入力を用いて該平均値を再計算し、再計算した平均値と１だけインクリメントしたサンプル画像数ｎ＋１をメモリ２７に登録、更新する。
【００８６】
ステップＳ６において、比較解析部２６は、重力方向に対して左右対称となる領域間、中央の領域と左側の領域、および中央の領域と右側の領域の各領域間におけるパワースペクトルの平均値の比を算出してメモリ２７に登録する。この後、処理はステップＳ１に戻されて、それ以降が繰り返されることになる。
【００８７】
なお、該第１のＤＢ更新処理は、撮像装置１０の電源がオンとされている間に継続して実行するようにしてもよいし、例えば、毎日、０１：００に実行するなどのように所定の周期における所定のタイミングで実行するようにしてもよい。また、ユーザからの操作に応じて実行させるようにしてもよい。
【００８８】
次に、図１４は、第２のＤＢ更新処理を説明するフローチャートである。該第２のＤＢ更新処理は、カラーシェーディング補正処理を実行する際に参照されるＤＢ部２０のメモリ２７の情報を登録、更新するためのものである。
【００８９】
ステップＳ１１において、画像取得部２１は、撮像が行われる毎に撮像素子１２から出力される、画像処理前の画像を取得してサンプル条件判定部２２に供給する。ステップＳ１２において、サンプル条件判定部２２は、供給された画像がサンプル画像に用いることができるか否かを判定する。該画像をサンプル画像に用いることができると判定した場合、画像取得部２１は、該画像をサンプル画像としてラベル付与部２３に供給し、処理をステップＳ１３に進める。反対に、該画像をサンプル画像に用いることができないと判定した場合、処理はステップＳ１１に戻される。
【００９０】
ステップＳ１３において、ラベル付与部２３は、センサ部１８の検出結果に基づき、サンプル画像における重力方向を判定し、該画像に対して重力方向を表すラベル付けを行う。また、光源推定を行い、光源を表すラベル付けを行う。
【００９１】
なお、ステップＳ１１乃至Ｓ１３の処理は、上述した第１のＤＢ更新処理におけるステップＳ１乃至Ｓ３の処理結果を流用してもよい。
【００９２】
ステップＳ１４において、色別画素平均値算出部２５は、サンプル画像を複数の領域に分割し、領域毎に各色成分の平均値を算出して比較解析部２６に出力する。
【００９３】
ステップＳ１５において、比較解析部２６は、色別画素平均値算出部２５からサンプル画像の領域毎の各色成分の平均値が入力される毎、メモリ２７に重力方向、光源のラベル毎に登録されている、サンプル画像の各領域の各色成分の平均値とサンプル画像の数ｎを読み出し、色別画素平均値算出部２５から入力を用いて該平均値を再計算し、再計算した平均値と１だけインクリメントしたサンプル画像数ｎ＋１をメモリ２７に登録、更新する。
【００９４】
ステップＳ１６において、比較解析部２６は、重力方向に対して左右対称となる領域間、中央の領域と左側の領域、および中央の領域と右側の領域の各領域間における各色成分の平均値の比を算出してメモリ２７に登録する。この後、処理はステップＳ１１に戻されて、それ以降が繰り返されることになる。
【００９５】
なお、該第２のＤＢ更新処理は、撮像装置１０の電源がオンとされている間に継続して実行するようにしてもよいし、例えば、毎日、０１：００に実行するなどのように所定の周期における所定のタイミングで実行するようにしてもよい。また、ユーザからの操作に応じて実行させるようにしてもよい。
【００９６】
さらに、上述した第１のＤＢ更新処理と該第２のＤＢ更新処理は、同時に並行して実行してもよし、それぞれ個別に実行してもよい。
【００９７】
＜補正部３０による補正処理について＞
撮像装置１０の画像処理部１３における補正部３０による補正処理について説明する。
【００９８】
図１５は、補正部３０の解像度補正部３１による片ボケ補正処理を説明するフローチャートである。
【００９９】
ステップＳ２１おいて、解像度補正部３１は、撮像が行われる毎に撮像素子１２から出力される画像処理前の画像を取得する。ステップＳ２２において、解像度補正部３１は、取得した画像の重力方向を判断し、対応する重力方向を示すラベルが付与されているサンプル画像数ｎと、重力方向に対して左右対称となる領域間におけるパワースペクトルの平均値の比をＤＢ部２０のメモリ２７から取得する。
【０１００】
ステップＳ２３において、解像度補正部３１は、ＤＢ部２０のメモリ２７から取得した情報が、補正の条件に合致するか否かを判定する。具体的には、解像度補正部３１は、サンプル画像数ｎが予め設定されている閾値α以上であり、且つ、重力方向に対して左右対称となる領域間におけるパワースペクトルの平均値の比が１．０±所定の閾値βの範囲を超えている場合にのみ、補正の条件に合致していると判断する。
【０１０１】
ステップＳ２３で補正の条件に合致すると判断された場合、処理はステップＳ２４に進められる。ステップＳ２４において、解像度補正部３１は、重力方向に対して左右対称となる領域間におけるパワースペクトルの平均値の比に基づき、光軸に対して非対称な解像度補正を行う。具体的には、該比に基づき、既存の領域毎にゲインを調整可能な解像度復元処理、例えば前述の特許文献１に述べられている処理の設定値に該比を反映させたりする方法を適用できる。なお、解像度補正部３１は、パワースペクトルの平均値の比に基づき解像度補正値を算出し、算出された解像度補正値に基づいて光軸に対して非対称な解像度補正を行ってもよい。
【０１０２】
なお、ステップＳ２３において、補正の条件に合致していないと判断された場合、ステップＳ２４はスキップされる。以上で、片ボケ補正処理の説明を終了する。
【０１０３】
次に、補正部３０の解像度補正部３１による周辺解像度補正処理について説明する。周辺解像度補正処理は、上述した片ボケ補正処理と同様に実行できる。ただし、片ボケ補正処理では、重力方向に対して左右対称となる領域間におけるパワースペクトルの平均値の比を参照していたことに対して、周辺解像度補正処理では、画像の中央の領域と左側の領域、および、中央の領域と右側の領域におけるパワースペクトルの平均値の比を参照する。
【０１０４】
そして、サンプル画像数ｎが予め設定されている閾値α以上であり、且つ、該比が１よりも小さい場合にのみ、補正の条件に合致していると判断する。なお、周辺解像度補正でも、光軸に対して非対称な解像度補正を行う。具体的には、該比に基づき、既存の領域毎にゲインを調整可能な解像度復元処理、例えば前述の特許文献１に述べられている処理の設定値に該比を反映させたりする方法を適用できる。
【０１０５】
なお、片ボケ補正の条件となるサンプル画像数ｎに対する閾値αと、周辺解像度補正の条件となるサンプル画像数ｎに対する閾値αは、同じ値でもよいし、異なる値でもよい。
【０１０６】
次に、補正部３０のシェーディング解像度補正部３２によるカラーシェーディング補正処理について説明する。カラーシェーディング補正処理についても、上述した片ボケ補正処理と同様に実行できる。ただし、カラーシェーディング補正処理では、推定した重力方向と光源を示すラベルが付与されているサンプル画像数ｎと、重力方向に対して直交する方向に並ぶ領域間（例えば、領域ＣＣと領域ＬＣ、領域ＣＣと領域ＲＣ等）における同色成分の平均値の比を参照する。
【０１０７】
そして、サンプル画像数ｎが予め設定されている閾値α以上であり、且つ、重力方向に対して直交する方向に並ぶ領域間における各色成分の平均値の比が１．０±所定の閾値γの範囲を超えている場合にのみ、補正の条件に合致していると判断し、補正を行う。具体的には、該比を打ち消す方向に光軸に対して非対称に強度調整可能なゲインを設定して、該シェーディングを補正する。
【０１０８】
なお、カラーシェーディング補正処理におけるサンプル画像数ｎに対する閾値αは、片ボケ補正処理の場合や周辺解像度補正処理の場合と同じ値を設定してよいし、異なる値を設定してもよい。
【０１０９】
＜応用例＞
次に、本実施の形態である撮像装置１０の応用例について説明する。
【０１１０】
視差を活用した測距や３Ｄ撮像等を行うステレオカメラシステムのように、同一の光学レンズと同一の撮像素子を搭載した複数の撮像装置を用いる複眼カメラシステムでは、各撮像装置の特性を一致させることが望ましい。
【０１１１】
なお、同一の撮像装置であってもその特性には多少の差異があるが、各撮像装置を個別調整すれば、コスト高になるものの特性を一致させることは可能である。ただし、出荷時に各撮像装置の特性が一致していたとしても、撮像装置をぶつけたり、落下させたりする等の出荷後の事故に起因して特性に差異が生じた場合、それを補正することができなかった。
【０１１２】
このような不都合に対して、ステレオカメラシステムに本実施の形態である撮像装置１０を採用し、さらに、本技術を適用すれば、出荷後の事故に起因して複数の撮像装置に生じた特性に差異を一致させることができる。
【０１１３】
図１６は、本実施の形態である撮像装置１０をステレオカメラシステムに採用した場合の概要を示している。ステレオカメラシステムの場合、撮像装置１０−１と１０−２には視差が有るので同じ被写体を撮像しても完全に同じ画像とはならない。撮像装置１０に近い被写体ほどこの画像の差は大きくなる。そこで、多数のサンプル画像を用いて被写体の特徴をキャンセルし、撮像装置１０−１と１０−２の特性の比較するようにする。
【０１１４】
図１７は、本実施の形態である撮像装置１０を採用したステレオカメラシステムの構成例を示している。該ステレオカメラシステムは、撮像装置１０−１および１０−２の他、画像処理装置５０を備える。
【０１１５】
画像処理装置５０は、図２に示されたＤＢ部２０および補正部３０と同様の構成が搭載されているものとする。画像処理装置５０に対しては、撮像装置１０−１および１０−２で撮影された画像が入力される。その入力画像は、所定の画像処理（上述した片ボケ補正処理、周辺解像度補正処理、およびカラーシェーディング補正処理を含む）が行われていてもよい。
【０１１６】
＜画像処理装置５０におけるＤＢ更新処理について＞
画像処理装置５０においては、撮像装置１０−１から取得した画像にラベル付けをした後、複数の領域に分割し、各領域のパワースペクトルを算出し、領域毎の平均値を計算してメモリ（不図示）に登録、更新する。同様に、撮像装置１０−２から取得した画像にラベル付けをした後、複数の領域に分割し、各領域のパワースペクトルを算出し、領域毎の平均値を計算してメモリに登録、更新する。さらに、撮像装置１０−１からの画像と、撮像装置１０−２からの画像の同じ位置の領域におけるパワースペクトルの平均値の比を算出してメモリに登録、更新する。
【０１１７】
図１８は、撮像装置１０−１からの画像と、撮像装置１０−２からの画像の同じ位置の領域の例として、領域ＬＨ１と領域ＬＨ２、および、領域ＬＬ１と領域ＬＬ２におけるパワースペクトルの平均値の比を算出する場合を示している。
【０１１８】
サンプル画像の数ｎが十分に大きい場合、該比は１に収束する。よって、この比が１からずれている場合、そのずれは撮像装置１０−１と１０−２の特性の差異に由来するものと判断できる。したがって、これを打ち消す方向に（通常は解像度が悪い方を良い方に近づける）、解像度補正処理を行えば、撮像装置１０−１と１０−２の特性の差異に起因する解像差分を抑制することができる。
【０１１９】
図１９は、画像処理装置５０におけるＤＢ更新処理を説明するフローチャートである。該ＤＢ更新処理は、撮像装置１０−１と１０−２の特性の差異を補正する補正処理を実行する際に参照される情報を登録、更新するためのものである。
【０１２０】
ステップＳ３１において、画像処理装置５０は、撮像装置１０−１と１０−２が撮像した画像を取得する。ステップＳ３２において、画像処理装置５０は、取得した画像がサンプル画像に用いることができるか否かを判定する。該画像をサンプル画像に用いることができると判定した場合、画像処理装置５０は、処理をステップＳ３３に進める。反対に、該画像をサンプル画像に用いることができないと判定した場合、処理はステップＳ３１に戻される。
【０１２１】
ステップＳ３３において、画像処理装置５０は、サンプル画像における重力方向を判定し、該画像に対して重力方向と撮像装置１０−１または１０−２のいずれかを示すラベル付けを行う。
【０１２２】
ステップＳ３４において、画像処理装置５０は、サンプル画像を複数の領域に分割し、領域毎にパワースペクトルを算出する。ステップＳ３５において、画像処理装置５０は、メモリにラベル毎に登録されている、サンプル画像の各領域のパワースペクトルの平均値とサンプル画像の数ｎを読み出し、ステップＳ３４の算出結果を用いて該平均値を再計算し、再計算した平均値と１だけインクリメントしたサンプル画像数ｎ＋１をメモリに登録、更新する。
【０１２３】
ステップＳ３６において、画像処理装置５０は、撮像装置１０−１からの画像と、撮像装置１０−２からの画像の同じ位置の領域におけるパワースペクトルの平均値の比を算出してメモリに登録、更新する。この後、処理はステップＳ３１に戻されて、それ以降が繰り返されることになる。
【０１２４】
なお、該ＤＢ更新処理は、撮像装置１０−１および１０−２が撮像を行っている間に継続して実行するようにしてもよいし、例えば、毎日、０１：００に実行するなどのように所定の周期における所定のタイミングで実行するようにしてもよい。また、ユーザからの操作に応じて実行させるようにしてもよい。
【０１２５】
＜画像処理装置５０における補正処理について＞
次に、画像処理装置５０における補正処理について説明する。該補正処理は、上述した片ボケ補正処理と同様に実行できる。すなわち、サンプル画像数ｎが予め設定されている閾値α以上であり、且つ、撮像装置１０−１からの画像と、撮像装置１０−２からの画像の同じ位置の領域におけるパワースペクトルの平均値の比が１．０±所定の閾値βの範囲を超えている場合にのみ、補正の条件に合致していると判断して解像度補正処理を実行する。
【０１２６】
具体的には、そのずれを打ち消す方向に、解像度が悪い方を良い方に近づける（反対に、解像度が良い方を悪い方に近づけるでもよい）ように解像度補正処理を行う。これにより、撮像装置１０−１と１０−２の特性の差異に起因する解像差分を抑制することができる。
【０１２７】
なお、上述した画像処理装置５０におけるＤＢ更新処理と補正処理は、２台の撮像装置１０を用いるステレオカメラシステムに限らず、３台以上の撮像装置１０を用いるシステムにも適用できる。
【０１２８】
＜まとめ＞
本実施の形態によれば、製造工程から個別調整工程を省略することができるので、個別調整工程を行っていた場合に比較して製造コストを抑制することができる。
【０１２９】
また、出荷後に発生した落下等の事故に起因する片ボケ等の画質劣化を補正することが可能となる。
【０１３０】
さらに、本実施の形態によれば、異なる光源にそれぞれ対応してＤＢを構築するので、カラーシェーディング補正処理の精度を向上させることができる。
【０１３１】
ただし、本実施の形態は、十分なサンプル画像数を撮像してＤＢを構築した後による上述した効果を奏することができる。よって、特に、ユーザが意識的に撮像操作を行わなくても多数の画像が撮像されるウェアラブルでライフログを記録するようなカメラや、ドライブレコーダをはじめとするマシンビジョンに用いられるカメラ等の撮像装置に好適である。
【０１３２】
＜その他の適用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１３３】
図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller  Area  Network）、ＬＩＮ（Local  Interconnect  Network）、ＬＡＮ（Local  Area  Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
【０１３４】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２０では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
【０１３５】
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock  Brake  System）又はＥＳＣ（Electronic  Stability  Control）等の制御装置としての機能を有してもよい。
【０１３６】
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【０１３７】
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１３８】
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【０１３９】
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time  Of  Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【０１４０】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light  Detection  and  Ranging、Laser  Imaging  Detection  and  Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【０１４１】
ここで、図２１は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１４２】
なお、図２１には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
【０１４３】
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【０１４４】
図２０に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【０１４５】
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
【０１４６】
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【０１４７】
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal  Digital  Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
【０１４８】
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read  Only  Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard  Disc  Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【０１４９】
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global  System  of  Mobile  communications）、ＷｉＭＡＸ、ＬＴＥ（Long  Term  Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer  To  Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine  Type  Communication）端末）と接続してもよい。
【０１５０】
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless  Access  in  Vehicle  Environment）、ＤＳＲＣ（Dedicated  Short  Range  Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle  to  Vehicle）通信、路車間（Vehicle  to  Infrastructure）通信、車両と家との間（Vehicle  to  Home）の通信及び歩車間（Vehicle  to  Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
【０１５１】
測位部７６４０は、例えば、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
【０１５２】
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
【０１５３】
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）又はＷＵＳＢ（Wireless  USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal  Serial  Bus）、ＨＤＭＩ（High-Definition  Multimedia  Interface）、又はＭＨＬ（Mobile  High-definition  Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
【０１５４】
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【０１５５】
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced  Driver  Assistance  System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【０１５６】
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【０１５７】
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented  Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【０１５８】
なお、図２０に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
【０１５９】
なお、図２を用いて説明した本実施形態に係るＤＢ部２０および補正部３０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１６０】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１６１】
本技術は以下のような構成も取ることができる。
（１）
取得された画像に基づくサンプル画像の定量値を算出する定量値算出部と、
複数の前記サンプル画像から算出された前記定量値の平均値を算出する平均値算出部と、
算出された前記定量値の前記平均値を保持する保持部と、
保持されている前記定量値の前記平均値に基づき、撮像された画像を補正する補正部と
を備える画像処理装置。
（２）
前記定量値算出部は、前記サンプル画像を複数の領域に区分して前記領域毎に前記定量値を算出し、
前記平均値算出部は、複数の前記サンプル画像の前記領域毎に算出された前記定量値の平均値を算出する
前記（１）に記載の画像処理装置。
（３）
前記補正部は、前記平均値に基づき画像補正値を算出し、算出された前記画像補正値に基づいて撮像された画像を補正する
前記（１）に記載の画像処理装置。
（４）
前記平均値算出部は、さらに、異なる領域間の前記定量値の前記平均値の比を算出し、
前記保持部は、さらに、異なる領域間の前記定量値の前記平均値の比を保持し、
前記補正部は、保持されている異なる領域間の前記定量値の前記平均値の比に応じて、撮像された画像を補正する
前記（１）または（２）に記載の画像処理装置。
（５）
前記定量値算出部は、前記サンプル画像の定量値としてパワースペクトルを算出し、
前記補正部は、保持されている前記定量値としての前記パワースペクトルの前記平均値に基づき、撮像された画像を補正する
前記（１）または（２）に記載の画像処理装置。
（６）
前記補正部は、撮像された画像の解像度を補正する
前記（５）に記載の画像処理装置。
（７）
前記平均値算出部は、前記サンプル画像の重力方向に対して左右に並ぶ領域間の前記パワースペクトルの前記平均値の比を算出し、
前記補正部は、保持されている、前記サンプル画像の重力方向に対して左右に並ぶ領域間の前記パワースペクトルの前記平均値の比に応じて、撮像された画像の片ボケを補正する
前記（５）または（６）に記載の画像処理装置。
（８）
前記平均値算出部は、前記サンプル画像の中心の領域と周辺の領域の間の前記パワースペクトルの前記平均値の比を算出し、
前記補正部は、保持されている、前記サンプル画像の中心の領域と周辺の領域の間の前記パワースペクトルの前記平均値の比に応じて、撮像された画像の周辺の領域における解像度を補正する
前記（５）または（６）に記載の画像処理装置。
（９）
前記定量値算出部は、前記サンプル画像の定量値として各色成分の画素値を算出し、
前記補正部は、保持されている前記定量値としての前記各色成分の画素値の平均値に基づき、撮像された画像のカラーシェーディングを補正する
前記（１）または（２）に記載の画像処理装置。
（１０）
前記平均値算出部は、前記サンプル画像の重力方向に対して直交する方向に配置された領域間の前記各色成分の画素値の平均値の比を算出し、
前記補正部は、保持されている、前記サンプル画像の重力方向に対して直交する方向に配置された領域間の前記各色成分の画素値の平均値の比に応じて、撮像された画像のカラーシェーディングを補正する
前記（９）に記載の画像処理装置。
（１１）
前記補正部は、前記サンプル画像の数が閾値以上になった後、保持されている前記定量値の前記平均値に基づき、撮像された画像を補正する
前記（１）から（１０）のいずれかに記載の画像処理装置。
（１２）
取得された前記画像から前記サンプル画像を選別する選別部をさらに備える
前記（１）から（１１）のいずれかに記載の画像処理装置。
（１３）
前記選別部は、取得された前記画像から、所定ISO値よりも高いISO値で撮像された画像、所定露出値よりも高いまたは低い露出値で撮像された画像、および連写された画像を除外することによって、前記サンプル画像を選別する
前記（１２）に記載の画像処理装置。
（１４）
前記保持部は、前記サンプル画像の撮像に用いた撮像部の構成要素に対応付けて、算出された前記定量値の前記平均値を保持する
前記（１）に画像処理装置。
（１５）
光学レンズおよび前記光学レンズによって集光された入射光に応じて画素信号を生成する撮像素子を含む前記撮像部をさらに備える
前記（１４）に画像処理装置。
（１６）
前記平均値算出部は、異なる複数の撮像装置によって撮像された前記サンプル画像の同じ位置の領域間の前記パワースペクトルの前記平均値の比を算出し、
前記補正部は、保持されている、異なる複数の撮像装置によって撮像された前記サンプル画像の同じ位置の領域間の前記パワースペクトルの前記平均値の比に応じて、異なる複数の撮像装置によって撮像された画像の解像度を補正する
前記（５）に記載の画像処理装置。
（１７）
前記保持部は、前記サンプル画像の撮像に用いた撮像装置に対応付けて、算出された前記定量値の前記平均値を保持する
前記（１６）に記載の画像処理装置。
（１８）
画像処理装置の画像処理方法において、
前記画像処理装置による、
取得された画像に基づくサンプル画像の定量値を算出する定量値算出ステップと、
複数の前記サンプル画像から算出された前記定量値の平均値を算出する平均値算出ステップと、
算出された前記定量値の前記平均値を保持する保持ステップと、
保持されている前記定量値の前記平均値に基づき、撮像された画像を補正する補正ステップと
を含む画像処理方法。
（１９）
光学レンズと、
前記光学レンズによって集光された入射光に応じて画素信号を生成する撮像素子と、
前記画素信号から成る画像を取得する取得部と、
取得された前記画像に基づくサンプル画像の定量値を算出する定量値算出部と、
複数の前記サンプル画像から算出された前記定量値の平均値を算出する平均値算出部と、
算出された前記定量値の前記平均値を保持する保持部と、
保持されている前記定量値の前記平均値に基づき、撮像された画像を補正する補正部と
を備える撮像装置。
（２０）
前記光学レンズまたは前記撮像素子の少なくとも一方は、着脱交換可能である
前記（１９）に記載の撮像装置。
【符号の説明】
【０１６２】
１０  撮像装置，  １１  光学レンズ，  １２  撮像素子，  １３  画像処理部，  １４  表示部，  １５  記録部，  １６  操作部，  １７  撮像制御部，  １８  センサ部，  ２０  ＤＢ部，  ２１  画像取得部，  ２２  サンプル条件判定部，  ２３  重力判定部，  ２４  周波数特性算出部，  ２５  色別画素平均値算出部，  ２６  比較解析部，  ２７  メモリ，  ３０  補正部，  ３１  解像度補正部，  ３２  シェーディング補正部，  ５０  画像処理装置
【図１】
2018034157.tif 000003
【図２】
2018034157.tif 000004
【図３】
2018034157.tif 000005
【図４】
2018034157.tif 000006
【図５】
2018034157.tif 000007
【図６】
2018034157.tif 000008
【図７】
2018034157.tif 000009
【図８】
2018034157.tif 000010
【図９】
2018034157.tif 000011
【図１０】
2018034157.tif 000012
【図１１】
2018034157.tif 000013
【図１２】
2018034157.tif 000014
【図１３】
2018034157.tif 000015
【図１４】
2018034157.tif 000016
【図１５】
2018034157.tif 000017
【図１６】
2018034157.tif 000018
【図１７】
2018034157.tif 000019
【図１８】
2018034157.tif 000020
【図１９】
2018034157.tif 000021
【図２０】
2018034157.tif 000022
【図２１】
2018034157.tif 000023
【国際調査報告】
2018034157.tif 000024
2018034157.tif 000025
2018034157.tif 000026