(57)【要約】【課題】再サンプリングによる画像信号への影響を信頼度として算出することを可能にした画像処理装置を提供すること。【解決手段】画像処理装置は、取得部４０１から出力される信号の周波数に応じて着目画素に信頼度を割り当てる信頼度生成部４０３と、取得部４０１から出力される信号を再サンプリングする間引き部４０２および画像加算処理部４０５と、画像加算処理部４０５から出力される信号に基づいて距離に対応する分布情報を算出し、分布情報の信頼度を算出する検出部４０６と、信頼度生成部４０３が出力した信頼度と、検出部４０６が出力した信頼度を統合する統合部４０７と、を備える。【選択図】図４
2019049616.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段から出力される信号から所定の周波数帯域を抽出する抽出手段と、
前記抽出手段の出力に応じて着目画素に信頼度を割り当てる第１の信頼度生成手段と、を備えることを特徴とする画像処理装置。
【請求項２】
撮像手段から出力される信号を再サンプリングするサンプリング手段と、
前記サンプリング手段から出力される信号に基づいて距離に対応する分布情報を算出するデフォーカス手段と、
前記分布情報の信頼度を算出する第２の信頼度生成手段と、
前記第１の信頼度生成手段が出力した信頼度と、前記第２の信頼度生成手段が出力した信頼度を統合する統合手段と、を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記再サンプリングは、加算間引き処理もしくは補間処理であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の信頼度生成手段は、撮像手段から出力される信号の周波数が閾値より高い場合には低い信頼度を割り当てることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記抽出手段は、ハイパスフィルタもしくはバンドパスフィルタであり、
前記第１の信頼度生成手段は、前記抽出手段の出力と閾値とを比較し、該出力が前記閾値より大きい場合は低い信頼度を割り当てることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記抽出手段は、ローパスフィルタであり、
前記第１の信頼度生成手段は、前記抽出手段の出力と閾値とを比較し、該出力が前記閾値より小さい場合は低い信頼度を割り当てることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項７】
光電変換部を有する撮像手段と、
請求項１乃至６のいずれか１項に記載の画像処理装置と、を備えることを特徴とする撮像装置。
【請求項８】
前記撮像手段は、複数のマイクロレンズのそれぞれに対応する複数の画素を備え、各画素は、第１の光電変換部および第２の光電変換部を備えることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記撮像手段は、前記光電変換部から出力される信号を加算して出力することを特徴とする請求項７または請求項８に記載の撮像装置。
【請求項１０】
画像処理装置の制御方法であって、
撮像手段から出力される信号から所定の周波数帯域を抽出する抽出工程と、
前記抽出工程の出力に応じて着目画素に信頼度を割り当てる第１の信頼度生成工程と、を有することを特徴とする制御方法。
【請求項１１】
撮像手段から出力される信号を再サンプリングするサンプリング工程と、
前記サンプリング工程で出力される信号に基づいて距離に対応する分布情報を算出するデフォーカス工程と、
前記分布情報の信頼度を算出する第２の信頼度生成工程と、
前記第１の信頼度生成工程で出力した信頼度と、前記第２の信頼度生成工程で出力した信頼度を統合する統合工程と、を有することを特徴とする請求項１０に記載の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および画像処理装置の制御方法に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置において、信号を読み出す際に、連写の際の撮影枚数を増加させたり、高速での動画撮影行ったり、カメラの電池を抑制したりする技術が知られている。特許文献１は、画素の間引き駆動や画素信号の加算を伴った読み出し（再サンプリング）を行い、低解像度で撮像することが可能な構成を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２７８４５３号公報
【特許文献２】特開２００８−０１５７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、加算間引き後の画像信号には偽の周波数をもつエイリアス信号（折り返し成分）により、画像の一部が変質する「モアレ」が生じており画像の品位が低下している。また、特許文献２は、撮影光学系の瞳の異なる領域から到来する光束が生ずる複数の被写体像の相対的偏位量から被写体像までの距離情報を表すデフォーカス量分布を検出する画像処理装置を開示している。折り返し成分を含む画像信号を用いて特許文献２におけるデフォーカス分布を検出すると、偽解像被写体によってデフォーカス量の誤検出が発生してしまう。
【０００５】
本発明は、再サンプリングによる画像信号への影響を信頼度として算出することを可能にした画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の画像処理装置は、撮像手段から出力される信号から所定の周波数帯域を抽出する抽出手段と、前記抽出手段の出力に応じて着目画素に信頼度を割り当てる第１の信頼度生成手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、再サンプリングによる画像信号への影響を信頼度として算出することを可能にした画像処理装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の構成を示すブロック図である。
【図２】撮像部の画素の配置を示す図である。
【図３】射出瞳から出る光束と撮像部の単位画素との関係を説明する図である。
【図４】撮像部と画像処理部の機能構成を示したブロック図である。
【図５】撮像部と画像処理部の動作を説明するフローチャートである。
【図６】水平画素加算間引き処理について説明する図である。
【図７】加算処理のフィルタ係数について説明する図である。
【図８】輝度加算のフィルタ係数の周波数特性について説明する図である。
【図９】正規化周波数が０．０８の帯域の被写体について説明する図である。
【図１０】正規化周波数が０．２６の帯域の被写体について説明する図である。
【図１１】ハイパスフィルタの周波数特性について説明する図である。
【図１２】バンドパスフィルタの周波数特性について説明する図である。
【図１３】ローパスフィルタの周波数特性について説明する図である。
【図１４】折り返し信頼度マップの抽出間隔について説明する図である。
【図１５】画像加算処理について説明する図である。
【図１６】撮像部と画像処理部の機能構成を示したブロック図である。
【発明を実施するための形態】
【０００９】
（第１実施形態）
図１は、撮像装置１００の機能構成を示すブロック図である。撮像装置１００は、例えばデジタルカメラである。撮像装置１００は、システム制御部１０１、ＲＯＭ１０２、ＲＡＭ１０３，光学系１０４、撮像部１０５、画像処理部１０６、記録媒体１０７およびバス１０８を備える。なお、光学系１０４を除く各ブロックの集合は、画像処理装置として実現されてもよい。
【００１０】
システム制御部１０１は、撮像装置１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより、撮像装置１００が備える各ブロックの動作を制御する。システム制御部１０１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。ＲＯＭ（Ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）１０２は、書き換え可能な不揮発性メモリであり、撮像装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。焦点検出などで必要なレンズ情報として、射出瞳距離もＲＯＭ１０２に記憶されている。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３は、書き換え可能な揮発性メモリであり、撮像装置１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【００１１】
光学系１０４は、被写体像を撮像部１０５に結像する。光学系１０４には絞りも含まれており、光学系の開口径を調節することで撮影時の光量調節を行う。撮像部１０５は、撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号にＡ／Ｄ変換処理を適用し、デジタル画像信号をＲＡＭ１０３に出力して記憶させる。撮像部１０５は、例えば、ＣＣＤセンサやＣＭＯＳセンサ等である。また、本実施形態の撮像部１０５は、特開２００８−２７８４５３号公報で開示される、画素の間引き駆動や画素信号の加算を伴った読み出しを行うことができる構成となっている。さらに、撮像部１０５は、Ａ／Ｄ変換処理後のデジタル画像信号に対して、ハイパスフィルタやバンドパスフィルタなどのフィルタ処理を施すことも可能である。
【００１２】
画像処理部１０６は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリングなどの各種処理や、さらにデフォーカスマップの作成など様々な画像処理を行う。記録媒体１０７は、着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶され画像処理部１０６で処理された画像や、撮像部１０５でＡ／Ｄ変換された画像などが、記録画像として記録される。バス１０８は、各ブロックの間で信号のやり取りを行うために用いられる。
【００１３】
図２は、撮像部１０５の画素の配置を示す図である。撮像部１０５の撮像素子は、複数のマイクロレンズと、複数のマイクロレンズそれぞれに対応する複数の画素を備えている。図２に示すように、撮像部１０５には、単位画素２００（一画素）が行列状に２次元配列されている。そして、各画素上にはそれぞれＲ（Ｒｅｄ）／Ｇ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）のカラーフィルタがベイヤー配列により配置されている。また、また、単位画素２００内にはそれぞれ、第１光電変換部である副画素ａと、第２光電変換部である副画素ｂが配置されている。副画素ａにはＦＤ（フォトダイオード）２０１ａが、副画素ｂにはＦＤ２０１ｂが配置されている。副画素ａおよび副画素ｂのそれぞれの出力信号は、デフォーカス量検出に利用される。また、副画素ａおよび副画素ｂの出力信号を加算して得られた信号（ａ／ｂ加算信号）は、撮影用の画像の生成に用いられる。
【００１４】
図３は、光学系１０４の射出瞳から出る光束と単位画素２００との関係を示す模式図である。単位画素２００上には、カラーフィルタ３０１およびマイクロレンズ３０２が形成されている。光軸３０４は、マイクロレンズ３０２を有する画素（単位画素２００）に対して射出瞳３０３から出た光束の中心を示している。射出瞳３０３を通過した光束は、光軸３０４を中心として単位画素２００に入射する。
【００１５】
瞳領域３０５および瞳領域３０６は、射出瞳のうち互いに異なる瞳領域（一部領域）である。瞳領域３０５を通過する光束は、マイクロレンズ３０２を介して、副画素ａ（ＦＤ２０１ａ）により受光される。一方、瞳領域３０６を通過する光束は、マイクロレンズ３０２を介して、副画素ｂ（ＦＤ２０１ｂ）により受光される。このように、副画素ａおよび副画素ｂは、それぞれ、撮影レンズの射出瞳の別々の領域の光を受光している。このため、副画素ａの出力信号と副画素ｂの出力信号を比較することにより、位相差方式のデフォーカス量検出が可能となる。
【００１６】
図４は、撮像部１０５と画像処理部１０６の処理内容を説明するためのブロック図である。撮像部１０５は、Ａ像・Ｂ像取得部（以下、取得部という）４０１、水平画素加算間引き部（以下、間引き部という）４０２、折り返し成分信頼度生成部（以下、信頼度生成部という）４０３および信頼度マップ抽出部（以下、抽出部という）４０４を有する。画像処理部１０６は、画像加算処理部４０５、デフォーカス量検出部（以下、検出部という）４０６および信頼度マップ統合部（以下、統合部という）４０７を有する。図５は、撮像部１０５と画像処理部１０６の動作を説明するためのフローチャートである。以下、図４と図５を参照し説明を行う。
【００１７】
ステップＳ５０１で、取得部４０１は、撮像素子の出力信号であるＡ像ベイヤー信号とＢ像ベイヤー信号を取得する。Ａ像ベイヤー信号は、副画素ａから得られる像信号であり、Ｂ像ベイヤー信号は、副画素ｂから得られる像信号である。以降の説明のため、取得部４０１で取得する信号の画素数をフルサイズと呼ぶこことする。また、本実施形態において水平画素数は６０００画素とする。
【００１８】
ステップＳ５０２で、間引き部４０２は、ステップＳ５０１で取得したフルサイズのＡ像ベイヤー信号とＢ像ベイヤー信号それぞれに対し、水平画素加算間引き処理を行い、画素信号を生成する。水平画素加算間引き処理は、再サンプリングの一例である。本実施形態において、フルサイズのベイヤー信号の水平画素数は６０００画素であったが、水平画素加算間引き処理により、画素信号の水平画素数は２０００画素となる。
【００１９】
図６は、水平画素加算間引き処理を説明するための模式図である。ＲＧ行６０１は、Ｒ画素が配置されているＲＧ行を、ＧＢ行６０２は、Ｂ画素が配置されているＧＢ行を示している。水平画素加算間引き処理では、黒塗りの画素位置において画素値が加算され、加算間引き後の画素数は１／３になる。１／３加算間引きされた際の水平画素数は、６０００×１／３＝２０００画素となる。フィルタ係数６０７は、ＲＧ行６０１のＲ画素６０３およびＧＢ行６０２のＧ画素６０４における、３画素加算フィルタの係数である。また、フィルタ係数６０８は、ＲＧ行６０１のＧ画素６０５およびＧＢ行６０２のＢ画素６０６における３画素加算フィルタの係数である。例えば、Ｒ画素６０３における画素値の加算は、フィルタ係数６０７に従って行われる。
【００２０】
ステップＳ５０３で、信頼度生成部４０３は、折り返し成分に対する信頼度を折り返し信頼度マップとして生成する。具体的には、フルサイズのＡ像ベイヤー信号とＢ像ベイヤー信号（出力信号）それぞれにフィルタ処理を施してＡ像の信頼度マップとＢ像の信頼度マップと生成し、２つの信頼度マップを統合して折り返し信頼度マップを生成する。
【００２１】
まず、折り返し成分について説明する。折り返し成分は、加算による画素の間引き数に応じて変化する。本実施形態では、加算による画素の間引きは、間引き部４０２と画像加算処理部４０５において合計２回行われる。画像加算処理部４０５では、２×２画素のベイヤー単位で画素信号を加算して輝度信号を生成する。この処理により、画素数は水平方向において１／２、垂直方向においても１／２減少する。つまり、ステップＳ５０１で取得したフルサイズのベイヤー信号は、間引き部４０２で加算され、水平画素数が２０００画素の画素信号となる。さらに、水平画素数が２０００画素の画素信号が画像加算処理部４０５で加算されることで、水平画素数が１０００画素の輝度信号（Ｙ）となる。
【００２２】
図７は、加算処理のフィルタ係数について説明する図である。フィルタ係数７０１は、輝度加算フィルタ係数である。フィルタ係数７０１は、画像加算処理部４０５での加算処理（ステップＳ５０５）を示すフィルタ係数である。輝度信号（Ｙ）を生成するための加算処理では、間引き部４０２において加算間引き処理した画素をさらに加算する。画像加算処理部４０５は、例えば、水平方向のＲＧ行６０１においては、加算間引き処理後のＲ画素６０３とＧ画素６０５を加算する。
図８は、フィルタ係数７０１の周波数特性を表した図である。横軸は、サンプリング周波数で正規化した正規化周波数で、０．５がナイキスト周波数である。縦軸は、正規化周波数＝０の振幅で正規化した正規化振幅である。デフォーカス量検出用の輝度信号の水平画素数はフルサイズの水平画素数に対して１／６に縮小されているので、正規化周波数が１／６＝０．１６６より高周波の信号、すなわち、図８における灰色の領域が折り返し成分となる。折り返し成分では、画像の一部が変質してモアレが発生し、画像の品位が低下する。
【００２３】
次に、折り返し成分がデフォーカス量検出に与える影響について説明する。図９で、折り返し成分にはならない周波数帯域の場合を説明し、図１０で、折り返し成分の周波数帯域の場合を説明する。
図９（Ａ）は、図８における正規化周波数が０．０８の帯域をもつサイン波被写体のラインプロファイルを示す図である。正規化周波数が０．０８の帯域は、図８における白色の領域、すなわち、折り返し成分ではない領域にある。横軸は水平方向の座標を、縦軸は信号値を表している。実線９０１が副画素ａの出力信号を、破線９０２が副画素ｂの出力信号を表している。実線９０１と破線９０２より、副画素ａと副画素ｂとは水平方向に１画素分、位相がずれていることがわかる。
【００２４】
図９（Ｂ）は、図９（Ａ）で示される出力信号に対して加算間引き処理を施した輝度信号を表す図である。実線９０３が副画素ａの出力信号より生成した輝度信号を、破線９０４が副画素ｂの出力信号より生成した輝度信号を表している。加算間引き処理により、画素数がフルサイズの１／６になっているので、位相のずれ量も縮退している。すなわち、サブピクセル単位で位相ずれを検出すると、ずれ量は１／６画素となる。図９（Ｂ）に示されるように、折り返し成分にはならない周波数帯域では加算間引き処理を行っても副画素の位相のずれ量を正確に抽出することができる。そのため、正しいデフォーカス量を検出することができる。なお、副画素の位相のずれ量からデフォーカス量を計算する手法については、例えば特開２００８−１５７５４号公報に開示されている方法を用いればよい。
【００２５】
一方、図１０（Ａ）は、図８における正規化周波数が０．２６の帯域をもつサイン波被写体のラインプロファイルを示す図である。正規化周波数が０．２６の帯域は、図８における灰色の領域、すなわち、折り返し成分の領域である。横軸は水平方向の座標を、縦軸は信号値を表している。実線１００１が副画素ａの出力信号を、破線１００２が副画素ｂの出力信号を表している。実線１００１と破線１００２より、副画素ａと副画素ｂは水平方向に１画素位相がずれていることがわかる。
【００２６】
図１０（Ｂ）は、図１０（Ａ）で示される出力信号に対して加算間引き処理を施した輝度信号を示す図である。実線１００３が副画素ａの出力信号より生成した輝度信号を、破線１００４が副画素ｂの出力信号より生成した輝度信号を表している。図１０（Ｂ）に示されるように、折り返し成分となる周波数帯域の出力信号を加算間引き処理した輝度信号は、折り返しによって位相が変化し、位相ずれが正しいずれ量である１／６画素とはなっていない。
【００２７】
すなわち、フルサイズの状態での正規化周波数の帯域が０．１６６より高い場合は、折り返し成分により正しいデフォーカス量を検出できず、一方、０．１６６より低い場合は、正しいデフォーカス量を検出することができる。したがって、加算間引き処理後に正しいデフォーカス量を検出できるか否かを判断するには、フルサイズの状態での正規化周波数の帯域が０．１６６より高いか、低いかを検出すればよい。
【００２８】
そこで、フルサイズの状態での正規化周波数の帯域が０．１６６より高いか、低いかに基づいて、折り返し信頼度マップを生成する。具体的には、フルサイズのＡ像ベイヤー信号とＢ像ベイヤー信号それぞれにハイパスフィルタ（ＨＰＦ）を施し、予め設定した閾値より出力値の方が低い場合には高信頼度を、出力値の方が高い場合には低信頼度を割り当て、信頼度マップを生成する。なお、高信頼度の領域は、図８の白い領域に対応し、低信頼度の領域は、折り返し成分を示す図８の灰色の領域に対応する。そして、Ａ像の信頼度マップとＢ像の信頼度マップとを統合して、折り返し信頼度マップを生成する。
【００２９】
図１１は、ハイパスフィルタの周波数特性について説明する図である。本実施形態では、周波数が０．１６６より低い高信頼度の領域の周波数を減衰し、周波数が０．１６６より高い低信頼度の領域の周波数を通す周波数特性１１０１のハイパスフィルタを用いる。周波数特性１１０１のハイパスフィルタは、例えば、フィルタ係数が［−１  ２  −１］のハイパスフィルタであり、図９（Ａ）と図１０（Ａ）の出力信号に対しては、閾値を４０に設定することで、信頼度の割り当てを行うことができる。
【００３０】
折り返し信頼度マップを生成するのに、ハイパスフィルタではなくバンドパスフィルタ（ＢＰＦ）を用いてもよい。バンドパスフィルタを用いることで、演算規模は大きくなるが、より精度の高い信頼度を割り当てることができる。図１２は、バンドパスフィルタの周波数特性について説明する図である。本実施形態では、周波数が０．１６６より低い高信頼度の領域の周波数をカットオフし、周波数が０．１６６より高い低信頼度の領域の周波数を通す周波数特性１２０１のバンドパスフィルタを用いる。フィルタ係数のタップ数を５０タップ設けることで、急峻なフィルタ特性を有する周波数特性１２０１のバンドパスフィルタを構成するが可能である。バンドパスフィルタを用いて折り返し信頼度マップを生成する場合には、バンドパスフィルタを施した出力値について、予め設定した閾値より出力値の方が低い場合には高信頼度を、出力値の方が高い場合には低信頼度を割り当てる。
【００３１】
折り返し信頼度マップを生成するのに、ハイパスフィルタではなくローパスフィルタ（ＬＰＦ）を用いてもよい。図１３は、ローパスフィルタの周波数特性について説明する図である。本実施形態では、周波数が０．１６６より低い高信頼度の領域の周波数を通し、周波数が０．１６６より高い低信頼度の領域の周波数をカットオフする周波数特性１３０１のローパスフィルタを用いる。ローパスフィルタを用いて折り返し信頼度マップを生成する場合には、ローパスフィルタを施した出力値について、予め設定した閾値より高い出力値には高信頼度を、予め設定した閾値より低い出力値には低信頼度を割り当てる。
【００３２】
本実施形態では、ハイパスフィルタ（もしくはバンドパスフィルタ、ローパスフィルタ）をフルサイズのＡ像ベイヤー信号とＢ像ベイヤー信号それぞれに施し、Ａ像における折り返し信頼度マップとＢ像における折り返し信頼度マップを生成する。さらに、生成した２つの信頼度マップを論理和で統合した、折り返し信頼度マップを出力する。つまり、統合した折り返し信頼度マップでは、Ａ像とＢ像における信頼度が両方とも高信頼となっている場合のみ高信頼として出力され、それ以外の組み合わせは低信頼として出力される。なお、本実施形態における信頼度マップの階調は、高信頼か低信頼かの２値であるが、これに限定されるものではなく、上記フィルタの出力値に応じて多値の信頼度としてもよい。また、本実施形態では１／６に加算間引きする場合について説明したが、これに限定されるものではない。信頼度を抽出するフィルタの抽出帯域は、加算間引き数に応じて適宜変更すればよい。
【００３３】
ステップＳ５０４で、抽出部４０４は、ステップＳ５０３で生成した折り返し信頼度マップから所定間隔ごとに値を抽出する。所定間隔は、ステップＳ５０６にて説明するデフォーカスマップ（もしくはデフォーカスマップの信頼度マップ）に合わせて設定される。図１４は、折り返し信頼度マップの抽出間隔について説明する図である。画素１４０１は、ステップＳ５０３で生成した折り返し信頼度マップにおける１画素を表す。抽出部４０４は、ステップＳ５０６で検出部４０６が検出するデフォーカス量の位置に合わせて、黒色の着目画素１４０２の間隔で折り返し信頼度マップの情報を抽出する。本実施形態においては、例えば、１２０画素おきに折り返し信頼度マップの情報を抽出するものとする。ステップＳ５０３で生成した折り返し信頼度マップの水平画素数が６０００画素であるとすると、抽出後の折り返し信頼度マップの水平画素数は６０００／１２０＝５０画素となる。なお、ステップＳ５０３において折り返し成分の信頼度を算出する着目画素の位置をデフォーカス量算出時と同一の座標として離散的に算出しておき、抽出部４０４では何もしない構成としてもよい。
【００３４】
ステップＳ５０５で、画像加算処理部４０５は、ステップＳ５０２で間引き部４０２により水平画素加算間引き処理された画素信号を加算して、輝度信号を生成する。図１５は、画像加算処理について説明する図である。画像加算処理部４０５は、図１５に示されるように、２×２画素のベイヤー単位で画素信号を加算して輝度信号を生成する。例えば、画像加算処理部４０５は、太線で囲まれたＲａ、Ｇａ、Ｇａ、Ｂａの各画素の信号を加算してＹａの輝度信号を生成する。この処理により、画素数は水平方向において１／２、垂直方向においても１／２減少する。つまり、ステップＳ５０１で取得したフルサイズのベイヤー信号は、間引き部４０２で加算され（ステップＳ５０２）、さらに、画像加算処理部４０５で加算される（ステップＳ５０５）ことで、水平１０００画素の輝度信号となる。なお、本実施形態においては、ステップＳ５０２およびステップＳ５０５において加算間引き処理を行う例を説明したが、これに限られるものではなく、補間処理によって再サンプリングして画素を減縮してもよい。
【００３５】
ステップＳ５０６で、検出部４０６は、ステップＳ５０５で生成したＡ像の輝度信号およびＢ像の輝度信号に基づいて、デフォーカスマップとデフォーカスマップの信頼度マップを生成する。そして、検出部４０６は、生成したデフォーカスマップをＲＡＭ１０３に出力する。デフォーカスマップは、距離に対応する分布情報である。デフォーカス量とその信頼度を算出する位置は離散的であり、本実施形態においては２０画素おきにデフォーカス量を検出するものとする。そのため、生成されるデフォーカスマップとデフォーカスマップの信頼度マップの水平画素数は１０００／２０＝５０画素となる。
【００３６】
検出部４０６は、例えば、特開２００８−１５７５４号公報開示されている方法を用いて画素信号の相関量からデフォーカス量を算出して、デフォーカスマップを生成する。また、検出部４０６は、Ａ像とＢ像のコントラストを評価し、低コントラストである場合はデフォーカス量に低い信頼度を割り当て、高コントラストである場合にはデフォーカス量高い信頼度を割り当て、信頼度マップを生成する。なお、信頼度マップの生成方法はこれに限定されるものではなく、例えばＡ像とＢ像の相関演算を行った際の最小値が所定値以上かを判定し、所定値以上の場合は低い信頼度を割り当て、所定値未満の場合は高い信頼度を割り当てるようにしてもよい。
【００３７】
ステップＳ５０７で、統合部４０７は、ステップＳ５０４で生成した折り返し信頼度マップと、ステップＳ５０６で生成したデフォーカスマップの信頼度マップとを論理和で統合する。論理和の演算は、ステップＳ５０３と同様である。また、信頼度が多値の場合は、例えば、加重平均などの方法を用いて統合する。統合部４０７は、統合した信頼度マップをＲＡＭ１０３に出力する。
【００３８】
ＲＡＭ１０３に出力されたデフォーカスマップおよび統合後の信頼度マップは、オートフォーカスや、撮像画像に対する背景ボケ付与などの画像処理に用いられる。着目画素が低信頼となっている場合は、周囲の高信頼となっている画素のデフォーカス量を参照することで、加算間引きによって誤検出しているデフォーカス量を用いることを回避し、より高精度な画像処理を行うことができる。なお、本実施形態においては、加算間引き後の画像信号を参照して生成したデフォーカスマップに対応する信頼度マップとして、折り返し成分の信頼度マップを生成する場合について説明したがこれに限られるものではない。折り返し成分の信頼度マップは、動きベクトルが正確であるかの評価や、「モアレ」によって画質の品位が低下しているか否かの判断に適用してもよい。
【００３９】
以上説明したように、本実施形態によれば、撮像部で、加算間引き前のフルサイズの信号から、加算間引き後に折り返し成分が含まれるか否かを、折り返し成分に対する信頼度として算出できる。そのため、加算間引き後の画像信号から位相差方式で検出したデフォーカス量について、加算間引きによる折り返し成分の影響で誤検出が発生する領域を高精度に検出することができる。
【００４０】
（第２実施形態）
第１実施形態の撮像部１０５は、間引き部４０２、信頼度生成部４０３および抽出部４０４を備え、画素の加算間引きや折り返し成分に対する信頼度の算出を行っていた。本実施形態では、これらの処理を画像処理部１０６で行う場合について説明する。なお、本実施形態における撮像装置１００の構成は、第１実施形態において図１を用いて説明されている各構成と同様である。また、撮像部１０５の画素配置も、第１実施形態において図２を用いて説明されている画素配置と同様である。画像処理部１０６は、画像処理装置として実現されてもよい。
【００４１】
図１６は、撮像部１０５と画像処理部１０６の処理内容を説明するためのブロック図である。なお、本実施形態ではデフォーカスマップと信頼度マップの生成に加えて、４Ｋ記録用に像信号ＡＢベイヤー画像もＲＡＭ１０３に出力する。
撮像部１０５は、取得部４０１を備える。撮像部１０５は、取得部４０１において、水平画素数６０００画素のフルサイズのＡ像ベイヤー信号とＢ像ベイヤー信号を取得する。第１実施形態においては、撮像部１０５は、画素の加算間引きを行ったりフィルタ処理を施して信頼度を算出したりできる構成であったが、本実施形態ではそれらを削減し撮像部の構成を簡素化している。
【００４２】
画像処理部１０６は、間引き部４０２、信頼度生成部４０３、抽出部４０４、画像加算処理部４０５、検出部４０６、統合部４０７、ＡＢ像生成部１６０１および適応補間縮小部１６０２を備える。画像処理部１０６における、水平画素加算間引き部４０２から統合部４０７までの動作は第１実施形態と同様である。ここでもデフォーカス量の検出を行う際に加算間引きによる折り返し成分の影響で誤検出が発生する領域を低信頼として検出することができる。そのため、デフォーカス量に応じて追尾する被写体領域を決めるなどで応用する際に、デフォーカス量の誤検出を抑制し、より高精度に追尾被写体の領域を定めることができる。
【００４３】
次に、画像処理部１０６の４Ｋ記録動作について説明する。ＡＢ像生成部１６０１は、Ａ像ベイヤー信号とＢ像ベイヤー信号を加算しＡＢ像ベイヤー信号を生成する。生成したＡＢ像ベイヤー信号の水平画素数は６０００画素である。適応補間縮小部１６０２は、ＡＢ像ベイヤー信号を縮小して、４ＫサイズのＡＢ像ベイヤー信号を生成する。適応補間縮小部１６０２は、水平画素加算間引き部４０２のように単純な画素の間引きによる縮小ではなく、より品位が良好な縮小画像が得られる方法を用いる。例えば、特開２０１６−１０３７９７号公報に開示されているように、信号の相関が高い方向を判定し、判定結果に基づいて着目画素の信号を補間する方法が変化するようにして、より品位が良好な縮小画像が得られる方法を用いる。本実施形態において、適応補間縮小部１６０２は、水平画素数が６０００画素のＡＢ像ベイヤー信号を補間処理により縮小して、水平画素数が４０００画素の４ＫサイズのＡＢ像ベイヤー信号を生成する。
【００４４】
なお、本実施の形態においては、画像処理部において加算間引き処理からデフォーカスマップに対応する信頼度マップとして折り返し成分の信頼度マップの生成まで行う場合について説明したが、これに限定されるものではない。例えば、特開２０１６−５８９６３号公報に開示されているようにデジタルフロントエンド部を設けて、デジタルフロントエンド部において加算間引きやフィルタ処理による信頼度マップの生成を行う構成としてもよい。
【００４５】
以上説明したように、本実施形態によれば、画像処理部において折り返し成分に対する信頼度の算出を行うことができる。そのため、画像処理部において加算間引き後の画像信号から位相差方式のデフォーカス量の検出を行う際に、加算間引きによって誤検出が発生する領域を低信頼として判定することができる。
【００４６】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４７】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００４８】
１００  撮像装置
１０１  システム制御部
１０５  撮像部
１０６  画像処理部
【図１】
2019049616.tif 000003
【図２】
2019049616.tif 000004
【図３】
2019049616.tif 000005
【図４】
2019049616.tif 000006
【図５】
2019049616.tif 000007
【図６】
2019049616.tif 000008
【図７】
2019049616.tif 000009
【図８】
2019049616.tif 000010
【図９】
2019049616.tif 000011
【図１０】
2019049616.tif 000012
【図１１】
2019049616.tif 000013
【図１２】
2019049616.tif 000014
【図１３】
2019049616.tif 000015
【図１４】
2019049616.tif 000016
【図１５】
2019049616.tif 000017
【図１６】
2019049616.tif 000018