(57)【要約】【課題】画像から色ずれ量を検出するに際して光学特性としての画像解像度情報を用いることで検出精度を低下させることなく相関値演算の処理負荷を低減することができる撮像装置を提供する。【解決手段】光学系を介して入射した光学像を光電変換して色別の信号値を得る撮像部と、前記色別の信号値を色信号毎に分離する色プレーン生成部と、生成された色プレーンを用いてエッジ領域を検出するエッジ検出部と、検出されたエッジ領域周辺の基準色の色プレーンの信号値をテンプレートとして基準色以外の信号値との相関値を取得する相関値取得部と、取得した相関値から基準色に対する基準色以外の信号のずれ量を算出するずれ量算出部と、を有し、前記相関値取得部は、前記光学系の設計値情報を基に前記テンプレートの画素を間引いて前記相関値を取得する。【選択図】図１
2019029834.tif 000002
【特許請求の範囲】
【請求項１】
光学系を介して入射した光学像を光電変換して色別の信号値を得る撮像部と、
前記色別の信号値を色信号毎に分離する色プレーン生成部と、
生成された色プレーンを用いてエッジ領域を検出するエッジ検出部と、
検出されたエッジ領域周辺の基準色の色プレーンの信号値をテンプレートとして基準色以外の信号値との相関値を取得する相関値取得部と、
取得した相関値から基準色に対する基準色以外の信号のずれ量を算出するずれ量算出部と、を有し、
前記相関値取得部は、前記光学系の設計値情報を基に前記テンプレートの画素を間引いて前記相関値を取得することを特徴とする撮像装置。
【請求項２】
前記相関値取得部は、前記エッジ領域が検出された像高における設計値から算出されたＭＴＦに応じて前記テンプレートの画素を間引いて前記相関値を取得することを特徴とする請求項１に記載の撮撮像装置。
【請求項３】
前記相関値取得部は、前記エッジ領域が検出された像高における設計値から算出された色ずれ量に応じて前記テンプレートの画素を間引いて前記相関値を取得することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学系を通して撮像された画像を解析する撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の光学系を通して撮像された画像で発生する倍率色収差による色ずれを補正して画質を改善する技術が知られている。特許文献１では撮影画像のＲ、Ｂ信号の位相をＧ信号に対して設計値から得られた色ずれ量分だけずらして画像を補正する技術が開示されている。また、補正に用いる色ずれ量を撮影した画像の特徴点（主にエッジ部）から検出することで、カメラの個体差バラつきがある場合でも、色ずれ補正を高精度に実施する技術が知られている。
【０００３】
特許文献２では、画像中のエッジ部を中心に設定した局所的なテンプレート領域から取得したＧ信号と、動径方向に画素位置をずらしながら取得したＲ、Ｂ信号の相関値からＧ信号に対するＲ、Ｂ信号の色ズレ量を推定する技術が開示されている。
【０００４】
また特許文献３では、相関値演算の負荷を削減する方法として画像の解像度情報の値に応じて相関値を取得する移動ステップ数を変更する技術が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１５９４６号公報
【特許文献２】ＷＯ２００５／１０１８５４号公報
【特許文献３】特開２０１１−１９７７２７公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献２に開示された従来技術では、検出されるエッジが長くなるほど、つまりテンプレートのサイズが大きくなるほど相関値を取得するための演算量が大きくなるという課題があった。例えば特許文献２では、テンプレートのサイズは検出されたエッジの長さの４倍を一辺とする矩形領域とすることが記載されている。画像解像度およびコントラストの低い領域ではエッジがなだらかになるため、相関値演算の負荷が大きくなり、回路規模あるいは処理時間が増大してしまう。
【０００７】
相関値演算の負荷を削減する方法として特許文献３が知られているが、演算負荷の低減に伴い検出精度が低下してしまうという課題がある。
【０００８】
そこで本発明の目的は、画像から色ずれ量を検出するに際して光学特性としての画像解像度情報を用いることで検出精度を低下させることなく相関値演算の処理負荷を低減することができる撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明に係る撮像装置は、光学系を介して入射した光学像を光電変換して色別の信号値を得る撮像部と、前記色別の信号値を色信号毎に分離する色プレーン生成部と、生成された色プレーンを用いてエッジ領域を検出するエッジ検出部と、検出されたエッジ領域周辺の基準色の色プレーンの信号値をテンプレートとして基準色以外の信号値との相関値を取得する相関値取得部と、取得した相関値から基準色に対する基準色以外の信号のずれ量を算出するずれ量算出部と、を有し、前記相関値取得部は、前記光学系の設計値情報を基に前記テンプレートの画素を間引いて前記相関値を取得することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画像から色ずれ量を検出するに際して光学特性としての画像解像度情報を用いることで検出精度を低下させることなく相関値演算の処理負荷を低減することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の全ての実施形態に係わるデジタルカメラの概要を示した図である。
【図２】本発明の全ての実施形態に係わるベイヤー配列の概要を示したである。
【図３】本発明の全ての実施形態に係わるレンズ設計地情報の一例を示したグラフである。
【図４】本発明の全ての実施形態に係わる色ずれ量の検出方向を示した図である。
【図５】本発明の全ての実施形態に係わる像高の区間分割の概要を示した図である。
【図６】本発明の全ての実施形態に係わる色ずれ量検出のフローチャートである。
【図７】本発明の全ての実施形態に係わる色プレーン生成の概要を示した図である。
【図８】本発明の全ての実施形態に係わる補間処理に用いるＬＰＦを示した図である。
【図９】本発明の全ての実施形態に係わるエッジ検出の概要を示した図である。
【図１０】本発明の全ての実施形態に係わるエッジ検出フィルターを示した図である。
【図１１】本発明の第１の実施形態に係わる間引き量設定テーブルの例を示した図である。
【図１２】本発明の全ての実施形態に係わる相関値演算により得られたグラフの例である。
【図１３】本発明の全ての実施形態に係わる相関値演算の概要を示した図である。
【図１４】本発明の全ての実施形態に係わる相関値演算の概要を示した図である。
【図１５】本発明の第２の実施形態に係わる間引き量設定テーブルの例を示した図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１３】
（第１の実施形態）
図１は、本発明の全ての実施形態に係るデジタルカメラ１００の構成を示す図である。
撮像レンズ１０１はズームレンズ、フォーカスレンズおよび絞りを含むレンズ群である。撮像素子１０２は撮像レンズ１０１からの入射光を電気信号に変換するためのＣＣＤやＣＭＯＳ素子である。撮像素子１０２の前には入射光をＲ，Ｇ，Ｂの色成分に分離して結像する為のカラーフィルターが取り付けられている。カラーフィルターと画素位置の対応は図２に示すようなベイヤー配列が多く用いられる。
【００１４】
Ａ／Ｄ変換器１０３は、撮像素子１０２から出力されるアナログ信号をデジタル信号に変換するために用いられる。Ａ／Ｄ変換器１０３から出力されるデジタル信号（以降、ＲＡＷ画像データ）は一時記憶メモリであるＲＡＭ１０４に保存される。
【００１５】
レンズ情報保持部１０５は不揮発性メモリで構成され、撮像レンズ１０１の設計値を基に算出されたＭＴＦ、または色ずれ量が保存されている。ＭＴＦ、色ずれ量の詳細については後述する。
【００１６】
色ずれ検出部１０６はＲＡＭ１０４からＲＡＷ画像データをブロック単位で読み出し、レンズ情報保持部１０５に保存された情報を参照しながら色ずれ量の検出を行う。色ずれを検出する方向は読みだしたブロックの中心画素が図４（ａ）に示す画像中心を基点に８領域に分割したｄ０からｄ７のどの領域に含まれるかに応じて図４（ｂ）に示す１方向に行う。ブロック毎に検出された色ずれ量は図５に示すような像高を一定の間隔で分割した区間（ｈ１〜ｈ５）毎に集計され各像高区間における平均値が算出される。
【００１７】
色ずれ補正部１０７は色ずれ検出部１０６で算出された像高区間別の色ずれ量の平均値を用いてＲＡＷ画像データに対して色ずれ補正を実施する。
【００１８】
画像処理部１０８は色ずれ補正後のＲＡＷ画像データに対して現像処理やノイズリダクション処理等の画像処理を施す。画像処理が施された画像データは外部メモリ制御部１０９を介して外部メモリ１１０に保存される。
【００１９】
（色ずれ検出部１０５の処理）
続いて、本発明の第１の実施形態における色ずれ検出部１０５の処理の詳細を図６のフローチャートを用いて説明する。まず、Ｓ６０１でＲＡＭ１０４から１ブロック分のＲＡＷ画像データを読み出す。続いて、Ｓ６０２で読み出した１ブロック分のＲＡＷ画像データを変換してＲ、Ｇ、Ｂプレーンを生成する。Ｒ、Ｇ、Ｂプレーン生成の一例を図７を用いて説明する。
【００２０】
まず、入力されたＲＡＷ画像データ（図７ａ）から同色の画素値を抜き出した後（図７ｂ）、信号値のない画素位置にゼロ挿入を行う（図７ｃ）。続いて図８に示すローパス・フィルターを用いて補間処理を行いＲプレーンを作成する（図７ｄ）。Ｂ、Ｇ信号についても同様の方法を用いてＢ、Ｇプレーンを作成する。ＧについてはＲ（Ｂ）との帯域を合わせるため、Ｇ１、Ｇ２いずれか一方の信号のみを用いてＧプレーン生成を行う。
【００２１】
続いて、Ｓ６０３でＲ、Ｇ、Ｂプレーンそれぞれに対してエッジ検出を行う。エッジの検出方向はブロックの中央画素の位置に応じて図４（ｂ）に示した１方向にのみ行う。
【００２２】
エッジ検出の一例を図９を用いて説明する。図９（ａ）はＧプレーンからエッジ検出方向に抜き出した１列分のＧ信号配列（以降、Ｇラインデータ）である。まずＧラインデータに対して、図１０のようなエッジ検出フィルターを施し、フィルター出力（図９ｂ）を得る。
【００２３】
続いてフィルター出力の絶対値と、あらかじめ設定されたエッジレベル判定値を比較する。フィルター出力の絶対値がエッジレベル判定値よりも大きい場合は閾値判定出力（図９ｃ）に１を出力する。閾値判定出力が１となる領域があらかじめ設定されたエッジ長さ判定値以上連続して存在する領域をエッジ部とする。図９の例において、エッジレベル判定値を３００、エッジ長さ判定値を３とした場合、画素位置４から７がエッジ部となる。同様にＲ、Ｂプレーンから抽出したＲ、Ｂの各ラインデータについてもエッジ検出を行う。ＧとＲ、またはＧとＢで同一方向（立ち上がり、または立下り）のエッジが検出された場合にのみ以降のＳ６０４，Ｓ６０５にてＧラインデータのエッジ部周辺をテンプレートとして相関値を取得する。
【００２４】
Ｓ６０４ではレンズ情報保持部１０５から処理ブロックの像高付近のＭＴＦを取得し、
取得したＭＴＦの値に応じて図１１に示すテーブルを参照してテンプレート画素の間引き量を決定する。ＭＴＦは図３（ａ）に示すような像高別のコントラストあるいは解像度に関する性能指標でＲＡＷ画像データ取得時の撮像レンズ１０１の撮影条件（焦点距離、被写体距離、絞り値）や評価方向（同心円方向、放射線方向）、評価周波数よって異なる値をとる。本実施形態における色ずれ量検出では放射線方向のナイキスト周波数の２分の１付近のＭＴＦを保持しておくのが望ましい。また撮影条件については焦点距離、被写体距離、絞りのパラメータ毎に値離散的な値を保持して置き、撮影条件確定後に保持されている撮影条件近辺の値から補間処理を用いてＭＴＦを算出してもよい。
【００２５】
ＭＴＦと間引き量の関係については予め各像高に無彩色エッジを配した平面チャートを用いて、間引き量を変化させた場合の色ずれ量検出結果を比較し、色ずれ量検出の精度に影響が出ない値を設定しておく。
【００２６】
続いて、Ｓ６０５では、検出されたエッジ部周辺のＧ信号をテンプレートとして、Ｒ（またはＢ）信号の読み出し位置を１画素ずつずらしながら相関値を取得する。相関値として差分絶対値和（Ｓｕｍ  Ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ，  以降ＳＡＤ）を取得する場合、ずらし位置ｄにおけるＳＡＤの値は以下の式で算出される。
【００２７】
【数１】
2019029834.tif 000003
【００２８】
ここで、ＫｓはＧのエッジ部の始点画素位置、ｍはテンプレートの間引き画素数、Ｎは相関値を取得するテンプレート画素数でＧのエッジ長さを間引き画素数ｍ＋１で割った値となる。ｇａｉｎはＧとＲ（Ｂ）信号レベルを合わせるための調整値（局所的なＷＢゲイン）でありエッジ部周辺におけるＧ信号の積分値をＲ信号の積分値で割った値である。
【００２９】
間引きのありなしによるテンプレート画素とＲ（Ｂ）信号の関係を図を用いて説明する。図１２は間引きなし（ｍ＝０）の場合のテンプレート画素と各ずらし位置におけるＲ（またはＢ）信号の関係を示した図である。図１２（ａ）はＧラインデータの信号レベルとデータ配列を示しており、エッジ検出により検出されたエッジの始点画素位置（Ｋｓ）から終点画素位置（Ｋｅ）までの各画素がテンプレート画素となる。図１２（ｂ）は、−４から＋４までの各ずらし位置におけるＲラインデータ上の参照画素の位置を灰色で示したものである。灰色の各画素についてＧラインデータ上の対応画素との間で差分絶対値の演算が必要となるため、図１２の例（ずらし位置−４〜＋４の９か所、テンプレート画素数Ｎ＝８）では計７２回の差分絶対値演算が必要となる。
【００３０】
続いて図１３は間引き量が１画素（ｍ＝１）の場合のテンプレート画素と各ずらし位置におけるＲ（またはＢ）信号の関係を示した図である。ｍ＝１の場合には図１３（ａ）に示すようにＧのエッジ部を１画素置きに間引いた灰色の画素位置の信号がテンプレートとなる。またＲ（またはＢ）信号についても図１３（ｂ）に示すように１画素置きに信号を取得して差分絶対値を算出する。エッジの長さが８の場合、テンプレート総画素数Ｎは４となるため、ずらし位置−４〜＋４の９か所で相関値を取得する場合、差分絶対値演算は計３６回となり、図１２の間引きなしの場合と比べると演算量が半減する。同様に間引き画素数ｍを２、３と増やすことで演算量を３分の１、４分の１に削減することができる。
【００３１】
取得したずらし位置（ｄ）毎のＳＡＤをプロットすることで図１４のようなグラフが得られる。ＳＡＤが最少値となるずらし位置（Ｄ）付近のＳＡＤから以下の式を用いて色ずれ量ｘを推定する（Ｓ６０６）。
【００３２】
【数２】
2019029834.tif 000004
【００３３】
右辺第２項は放物線近似によるサブピクセルレベルの色ずれ量推定である。
【００３４】
倍率色収差の補正ではサブピクセルレベルでの補正量の違いがエッジ部の色つきに影響を与える為、色ずれ量の検出もサブピクセルレベルで精度を確保する必要がある。本実施形態によれば、レンズ設計値情報から算出されたＭＴＦに基づいて図１１のテーブルに示した間引き画素数の制御を行うことで相関値の演算負荷を削減しつつ、サブピクセルレベルで検出精度を確保できることが確認されている。
【００３５】
（第２の実施形態）
続いて、本発明の第２の実施形態について説明する。第２の実施形態ではレンズ設計値から算出された像高別の色ずれ量を用いて間引き量を制御する。色ずれ量の一例を図３（ｂ）に示す。色ずれ量はレンズ１０１の撮影条件（焦点距離、被写体距離、絞り値）によって異なる値をとる。レンズ情報保持部１０５には焦点距離、被写体距離、絞りのパラメータ毎に値離散的な値を保持して置き、撮影条件確定後に保持されている撮影条件近辺の値から補間処理を用いて色ずれ量を算出してもよい。
【００３６】
色ずれ量検出の基本的な流れは実施形態１の図６で説明したフローチャートと同様であるが、Ｓ６０４の間引き量設定で参照するテーブルが実施形態１と異なる。実施形態２では図１５に示す設計値から算出された色ずれ量に対して間引き量を設定したテーブルを参照して間引き量の制御を行う。
【００３７】
色ずれ量が数画素以上と大きくなる領域ではＭＴＦも低下する特性を利用して、色ずれ量が大きな場合に間引き量を大きく設定する。ＭＴＦを参照する場合に比べ細かい間引き量制御はできなくなるため演算量の削減効果は小さくなるが、レンズ情報保持部１０５に保存するデータ容量がＭＴＦに対して削減できるという利点が得られる。
【００３８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００３９】
１００ デジタルカメラ
１０１ 撮像レンズ
１０２ 撮像素子
１０３ Ａ／Ｄ変換器
１０４  ＲＡＭ
１０５  レンズ情報保持部
１０６ 色ずれ検出部
１０７ 色ずれ補正部
１０８ 画像処理部
１０９  外部メモリ制御部
１１０  外部メモリ
【図１】
2019029834.tif 000005
【図２】
2019029834.tif 000006
【図３】
2019029834.tif 000007
【図４】
2019029834.tif 000008
【図５】
2019029834.tif 000009
【図６】
2019029834.tif 000010
【図７】
2019029834.tif 000011
【図８】
2019029834.tif 000012
【図９】
2019029834.tif 000013
【図１０】
2019029834.tif 000014
【図１１】
2019029834.tif 000015
【図１２】
2019029834.tif 000016
【図１３】
2019029834.tif 000017
【図１４】
2019029834.tif 000018
【図１５】
2019029834.tif 000019