(57)【要約】  本開示は、マイクロレンズ直下において瞳分割された複数の画素のそれぞれの画素信号を有効に利用して高解像度の画像を撮像できるようにする撮像装置、および撮像方法、並びに画像処理装置、および画像処理方法に関する。瞳分割された複数の分割画素のそれぞれの画素値に基づいて、瞳単位で視差を検出し、複数の分割画素の画素値を瞳単位で合算し、合算画素値を求め、視差に応じて、分割画素単位で、分割画素の画素値と、合算画素値とをブレンドする。本開示は、撮像装置に適応することができる。
2018163843.tif 000002
【特許請求の範囲】
【請求項１】
瞳分割された複数の分割画素からなり画像を撮像する撮像素子と、
瞳単位で前記分割画素間の視差を検出する視差検出部と、
前記瞳分割された前記複数の分割画素の画素値に、前記瞳単位で前記視差に応じた処理を施す処理部と
を含む撮像装置。
【請求項２】
前記処理部は、
前記複数の分割画素の画素値を瞳単位の平均値からなる合算画素値として求める合算部と、
前記視差に応じて、前記分割画素の画素値と、前記合算画素値とをブレンドする画素値ブレンド処理部とを含む
請求項１に記載の撮像装置。
【請求項３】
前記視差に応じて、前記分割画素の画素値と、前記合算画素値とをブレンドする際の画素値ブレンド比を算出する画素値ブレンド比算出部をさらに含み、
前記画素値ブレンド処理部が、前記視差に応じて算出される前記画素値ブレンド比で、前記分割画素の画素値と、前記合算画素値とをブレンドする
請求項２に記載の撮像装置。
【請求項４】
前記画素値ブレンド比算出部は、前記視差が大きい程、前記合算画素値の比率が高い画素値ブレンド比を算出し、前記視差が小さい程、前記分割画素の画素値の比率が高い画素値ブレンド比を算出する
請求項３に記載の撮像装置。
【請求項５】
前記撮像素子は、第１の撮像素子、および第２の撮像素子からなり、
前記第１の撮像素子は、瞳単位で所定の配色がなされたRGB画素から構成されており、
前記第２の撮像素子は、全画素が白色画素から構成されており、
前記視差検出部は、
前記第１の撮像素子により撮像された前記分割画素のそれぞれの画素値に基づいて、前記瞳単位で第１の視差を検出する第１の視差検出部と、
前記第２の撮像素子により撮像された前記分割画素のそれぞれの画素値に基づいて、前記瞳単位で第２の視差を検出する第２の視差検出部とからなり、
前記合算部は、
前記第１の撮像素子について、前記複数の分割画素の画素値を瞳単位の平均値として合算し、第１の合算画素値を求める第１の合算部と、
前記第２の撮像素子について、前記複数の分割画素の画素値を瞳単位の平均値として合算し、第２の合算画素値を求める第２の合算部とからなり、
前記画素値ブレンド処理部は、
前記第１の視差に応じて、前記第１の撮像素子の前記分割画素の画素値と、前記第１の合算画素値とをブレンドする第１のブレンド処理部と、
前記第２の視差に応じて、前記第２の撮像素子の前記分割画素の画素値と、前記第２の合算画素値とをブレンドする第２のブレンド処理部とからなり、
前記処理部は、
前記第１のブレンド処理部によりブレンドされた画素値の第１の輝度と、前記第２のブレンド処理部によりブレンドされた画素値の第２の輝度とをブレンドする輝度ブレンド処理部を含む
請求項３に記載の撮像装置。
【請求項６】
前記輝度ブレンド処理部は、前記第１のブレンド処理部によりブレンドされた画素値の第１の輝度と、前記第２のブレンド処理部によりブレンドされた画素値の第２の輝度とを所定の輝度ブレンド比でブレンドする
請求項５に記載の撮像装置。
【請求項７】
前記第１の輝度と、前記第２の輝度とに基づいて、前記輝度ブレンド比を算出する輝度ブレンド比算出部をさらに含む
請求項５に記載の撮像装置。
【請求項８】
前記輝度ブレンド比算出部は、
前記第１の輝度と、前記第２の輝度との差分に基づいて差分輝度ブレンド比を算出する差分輝度ブレンド比算出部と、
前記第２の輝度について、各画素の周辺画素における最大値と最小値とから得られるダイナミックレンジに基づいてダイナミックレンジ輝度ブレンド比を算出するダイナミックレンジ輝度ブレンド比算出部と、
前記差分輝度ブレンド比、および前記ダイナミックレンジ輝度ブレンド比のうち、小さい方を輝度ブレンド比として選択する選択部を含む
請求項７に記載の撮像装置。
【請求項９】
前記撮像素子の前段において、前記撮像素子に入射する光を集光する光学部と、
前記光学部を調整して前記光を集光する焦点位置を調整すると共に、焦点位置の基準となるポジションの情報を出力する焦点調整部と、
デプスを検出し、デプスマップを生成するデプス検出部とをさらに含み、
前記画素値ブレンド比算出部は、前記デプスマップより前記ポジションのデプスとほぼ同一のデプスとなるデプスマップの領域では、前記視差がほぼゼロであるとみなして、前記領域における前記分割画素の画素値と、前記合算画素値とをブレンドする際の画素値ブレンド比を算出する
請求項３に記載の撮像装置。
【請求項１０】
前記処理部は、
前記視差に基づいて、所定の学習により得られる所定数の係数と、前記分割画素と所定の位置関係の画素群からなる予測タップを構成する各画素の画素値との積和により前記分割画素の画素値を予測する予測部を含み、
前記予測部の予測結果を、前記瞳単位で前記視差に応じた処理を施した処理結果として出力する
請求項１に記載の撮像装置。
【請求項１１】
前記分割画素と所定の位置関係の画素群からなるクラスタップ、および前記視差検出部により検出される視差に基づいて、前記分割画素をクラスに分類するクラス分類部と、
前記クラス毎に前記所定数の係数からなる係数セットを格納する係数セット格納部とをさらに含み、
前記予測部は、前記クラス分類部により分類されたクラスに対応する係数セットを、前記係数セット格納部より読み出し、前記係数セットの各係数と、前記分割画素と所定の位置関係の画素群からなる予測タップを構成する各画素の画素値との積和により前記分割画素の画素値を予測する
請求項１０に記載の撮像装置。
【請求項１２】
前記所定の学習は、高解像度画像からなる教師画像と、前記教師画像を前記瞳単位で前記視差に基づいてワーピングされ、さらに、低画質化されることで生成された生徒画像とを用いて、前記生徒画像の各画素について、所定の位置関係の画素群からなる予測タップを構成する画素の画素値と前記所定数の係数との積和の結果と、前記教師画像における対応する画素位置の画素値との誤差が統計的に最小となるように係数を決定する学習である
請求項１０に記載の撮像装置。
【請求項１３】
前記処理部により瞳単位で前記視差に基づいた処理が施された、前記複数の分割画素の画素値より、前記視差に基づいて、ノイズを除去するノイズ除去部をさらに含む
請求項１に記載の撮像装置。
【請求項１４】
前記画像の一部をズームするとき、前記ズームが指定された範囲の画素の画素値は、前記処理部により、前記瞳単位で前記視差に応じた処理が施された、前記瞳分割された前記複数の分割画素の画素値である
請求項１に記載の撮像装置。
【請求項１５】
前記撮像素子は、像面位相差型の撮像素子である
請求項１に記載の撮像装置。
【請求項１６】
前記撮像素子の分割画素は、水平方向に瞳分割された分割画素である
請求項１に記載の撮像装置。
【請求項１７】
前記撮像素子は、ライトフィールドカメラである
請求項１に記載の撮像装置。
【請求項１８】
瞳分割された複数の分割画素からなり画像を撮像する撮像素子の前記分割画素間の視差を検出し、
前記瞳分割された前記複数の分割画素の画素値に、前記瞳単位で前記視差に応じた処理を施す
ステップを含む撮像方法。
【請求項１９】
瞳分割された複数の分割画素からなり画像を撮像する撮像素子と、
瞳単位で前記分割画素間の視差を検出する視差検出部と、
前記瞳分割された前記複数の分割画素の画素値に、前記瞳単位で前記視差に応じた処理を施す処理部と
を含む画像処理装置。
【請求項２０】
瞳分割された複数の分割画素からなり画像を撮像する撮像素子の前記分割画素間の視差を検出し、
前記瞳分割された前記複数の分割画素の画素値に、前記瞳単位で前記視差に応じた処理を施す
ステップを含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、および撮像方法、並びに画像処理装置、および画像処理方法に関し、特に、高解像度の画像を撮像できるようにした撮像装置、および撮像方法、並びに画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
１枚のマイクロレンズの直下に左右２画素が構成される瞳分割により、左右の画素のそれぞれの画素値を用いて視差画像を取得し、測距を行う撮像装置が提案されている（特許文献１参照）。【０００３】
上記の特許文献１に記載の撮像装置においては、撮像用の画像には、マイクロレンズ直下において分割されている複数の画素の画素値の平均値となる画素信号が、撮像する画像の１画素分の画素値として用いられて、画像が生成される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−０２９１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮像装置における各画素上の合焦点の有無にかかわらず、左右の画素の画素値の平均値を１画素とみなして画像を生成することで、センサが持つ本来の解像度に比べて、ボケた画像しか得られなくなる恐れがあった。【０００６】
本開示は、このような状況に鑑みてなされたものであり、特に、マイクロレンズ直下において瞳分割された複数の画素のそれぞれの画素信号を有効に利用して高解像度の画像を撮像できるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の一側面の撮像装置は、瞳分割された複数の分割画素からなり画像を撮像する撮像素子と、瞳単位で前記分割画素間の視差を検出する視差検出部と、前記瞳分割された前記複数の分割画素の画素値に、前記瞳単位で前記視差に応じた処理を施す処理部とを含む撮像装置である。【０００８】
前記処理部には、前記複数の分割画素の画素値を瞳単位の平均値からなる合算画素値として求める合算部と、前記視差に応じて、前記分割画素の画素値と、前記合算画素値とをブレンドする画素値ブレンド処理部とを含ませるようにすることができる。【０００９】
前記視差に応じて、前記分割画素の画素値と、前記合算画素値とをブレンドする際の画素値ブレンド比を算出する画素値ブレンド比算出部をさらに含ませるようにすることができ、前記画素値ブレンド処理部には、前記視差に応じて算出される前記画素値ブレンド比で、前記分割画素の画素値と、前記合算画素値とをブレンドさせるようにすることができる。【００１０】
前記画素値ブレンド比算出部には、前記視差が大きい程、前記合算画素値の比率が高い画素値ブレンド比を算出し、前記視差が小さい程、前記分割画素の画素値の比率が高い画素値ブレンド比を算出させるようにすることができる。【００１１】
前記撮像素子は、第１の撮像素子、および第２の撮像素子からなるようにすることができ、前記第１の撮像素子は、瞳単位で所定の配色がなされたRGB画素から構成されるようにすることができ、前記第２の撮像素子は、全画素が白色画素から構成されるようにすることができ、前記視差検出部は、前記第１の撮像素子により撮像された前記分割画素のそれぞれの画素値に基づいて、前記瞳単位で第１の視差を検出する第１の視差検出部と、前記第２の撮像素子により撮像された前記分割画素のそれぞれの画素値に基づいて、前記瞳単位で第２の視差を検出する第２の視差検出部とからなるようにすることができ、前記合算部は、前記第１の撮像素子について、前記複数の分割画素の画素値を瞳単位の平均値として合算し、第１の合算画素値を求める第１の合算部と、前記第２の撮像素子について、前記複数の分割画素の画素値を瞳単位の平均値として合算し、第２の合算画素値を求める第２の合算部とからなるようにすることができ、前記画素値ブレンド処理部は、前記第１の視差に応じて、前記第１の撮像素子の前記分割画素の画素値と、前記第１の合算画素値とをブレンドする第１のブレンド処理部と、前記第２の視差に応じて、前記第２の撮像素子の前記分割画素の画素値と、前記第２の合算画素値とをブレンドする第２のブレンド処理部とからなるようにすることができ、前記処理部には、前記第１のブレンド処理部によりブレンドされた画素値の第１の輝度と、前記第２のブレンド処理部によりブレンドされた画素値の第２の輝度とをブレンドする輝度ブレンド処理部を含ませるようにすることができる。【００１２】
前記輝度ブレンド処理部には、前記第１のブレンド処理部によりブレンドされた画素値の第１の輝度と、前記第２のブレンド処理部によりブレンドされた画素値の第２の輝度とを所定の輝度ブレンド比でブレンドさせるようにすることができる。【００１３】
前記第１の輝度と、前記第２の輝度とに基づいて、前記輝度ブレンド比を算出する輝度ブレンド比算出部をさらに含ませるようにすることができる。【００１４】
前記輝度ブレンド比算出部には、前記第１の輝度と、前記第２の輝度との差分に基づいて差分輝度ブレンド比を算出する差分輝度ブレンド比算出部と、前記第２の輝度について、各画素の周辺画素における最大値と最小値とから得られるダイナミックレンジに基づいてダイナミックレンジ輝度ブレンド比を算出するダイナミックレンジ輝度ブレンド比算出部と、前記差分輝度ブレンド比、および前記ダイナミックレンジ輝度ブレンド比のうち、小さい方を輝度ブレンド比として選択する選択部を含ませるようにすることができる。【００１５】
前記撮像素子の前段において、前記撮像素子に入射する光を集光する光学部と、前記光学部を調整して前記光を集光する焦点位置を調整すると共に、焦点位置の基準となるポジションの情報を出力する焦点調整部と、デプスを検出し、デプスマップを生成するデプス検出部とをさらに含ませるようにすることができ、前記画素値ブレンド比算出部には、前記デプスマップより前記ポジションのデプスとほぼ同一のデプスとなるデプスマップの領域では、前記視差がほぼゼロであるとみなして、前記領域における前記分割画素の画素値と、前記合算画素値とをブレンドする際の画素値ブレンド比を算出させるようにすることができる。【００１６】
前記処理部には、前記視差に基づいて、所定の学習により得られる所定数の係数と、前記分割画素と所定の位置関係の画素群からなる予測タップを構成する各画素の画素値との積和により前記分割画素の画素値を予測する予測部を含ませるようにすることができ、前記予測部の予測結果を、前記瞳単位で前記視差に応じた処理を施した処理結果として出力させるようにすることができる。【００１７】
前記分割画素と所定の位置関係の画素群からなるクラスタップ、および前記視差検出部により検出される視差に基づいて、前記分割画素をクラスに分類するクラス分類部と、前記クラス毎に前記所定数の係数からなる係数セットを格納する係数セット格納部とをさらに含ませるようにすることができ、前記予測部には、前記クラス分類部により分類されたクラスに対応する係数セットを、前記係数セット格納部より読み出し、前記係数セットの各係数と、前記分割画素と所定の位置関係の画素群からなる予測タップを構成する各画素の画素値との積和により前記分割画素の画素値を予測させるようにすることができる。【００１８】
前記所定の学習は、高解像度画像からなる教師画像と、前記教師画像を前記瞳単位で前記視差に基づいてワーピングされ、さらに、低画質化されることで生成された生徒画像とを用いて、前記生徒画像の各画素について、所定の位置関係の画素群からなる予測タップを構成する画素の画素値と前記所定数の係数との積和の結果と、前記教師画像における対応する画素位置の画素値との誤差が統計的に最小となるように係数を決定する学習とすることができる。【００１９】
前記処理部により瞳単位で前記視差に基づいた処理が施された、前記複数の分割画素の画素値より、前記視差に基づいて、ノイズを除去するノイズ除去部をさらに含ませるようにすることができる。【００２０】
前記画像の一部をズームするとき、前記ズームが指定された範囲の画素の画素値は、前記処理部により、前記瞳単位で前記視差に応じた処理が施された、前記瞳分割された前記複数の分割画素の画素値とすることができる。【００２１】
前記撮像素子は、像面位相差型の撮像素子とすることができる。【００２２】
前記撮像素子の分割画素は、水平方向に瞳分割された分割画素とすることができる。【００２３】
前記撮像素子は、ライトフィールドカメラとすることができる。【００２４】
本開示の一側面の撮像方法は、瞳分割された複数の分割画素からなり画像を撮像する撮像素子の前記分割画素間の視差を検出し、前記瞳分割された前記複数の分割画素の画素値に、前記瞳単位で前記視差に応じた処理を施すステップを含む撮像方法である。【００２５】
本開示の一側面の画像処理装置は、瞳分割された複数の分割画素からなり画像を撮像する撮像素子と、瞳単位で前記分割画素間の視差を検出する視差検出部と、前記瞳分割された前記複数の分割画素の画素値に、前記瞳単位で前記視差に応じた処理を施す処理部とを含む画像処理装置である。【００２６】
本開示の一側面の画像処理方法は、瞳分割された複数の分割画素からなり画像を撮像する撮像素子の前記分割画素間の視差を検出し、前記瞳分割された前記複数の分割画素の画素値に、前記瞳単位で前記視差に応じた処理を施すステップを含む画像処理方法である。【００２７】
本開示の一側面においては、瞳分割された複数の分割画素からなり画像が撮像され、瞳単位で前記分割画素間の視差が検出され、前記瞳分割された前記複数の分割画素の画素値に、前記瞳単位で前記視差に応じた処理が施される。
【発明の効果】
【００２８】
本開示の一側面によれば、マイクロレンズ直下において瞳分割された複数の画素のそれぞれの画素信号を有効に利用して高解像度の画像を撮像することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】本開示の撮像装置の概要を説明する図である。
【図２】撮像装置の第１の実施の形態の構成例を説明する図である。
【図３】図１の画像処理部の構成例を説明する図である。
【図４】図３のズーム処理部の構成例を説明する図である。
【図５】図３の画像処理部による画像処理を説明するフローチャートである。
【図６】視差ベクトルの大きさに基づいたブレンド比αの決定方法を説明する図である。
【図７】図４のズーム処理部によるズーム処理を説明するフローチャートである。
【図８】図４のズーム処理部によるズーム処理を説明する図である。
【図９】第１の実施の形態における第１の変形例の画像処理部の構成例を説明する図である。
【図１０】図９の画像処理部によるノイズ除去処理を説明するフローチャートである。
【図１１】第１の実施の形態における第２の変形例となる撮像装置の概要を説明する図である。
【図１２】第１の実施の形態における第２の変形例となる撮像装置の構成例を説明する図である。
【図１３】図１２の画像処理部の構成例を説明する図である。
【図１４】図１２の画像処理部による画像処理を説明するフローチャートである。
【図１５】第１の実施の形態における第３の変形例となる撮像装置の構成例を説明する図である。
【図１６】図１５のズーム処理部の構成例を説明する図である。
【図１７】学習処理を説明するフローチャートである。
【図１８】図１５のズーム処理部によるズーム処理を説明するフローチャートである。
【図１９】第２の実施の形態における撮像装置の構成例を説明する図である。
【図２０】図１９の画像処理部の構成例を説明する図である。
【図２１】図２０のフュージョン処理部の構成例を説明する図である。
【図２２】図２１のブレンド比算出部の構成例を説明する図である。
【図２３】図２０の画像処理部による画像処理を説明するフローチャートである。
【図２４】図２０のフュージョン処理部によるフュージョン処理を説明するフローチャートである。
【図２５】図２１のブレンド比算出部によるブレンド比算出処理を説明するフローチャートである。
【図２６】第２の実施の形態の第１の変形例における画像処理部の構成例を説明する図である。
【図２７】第２の実施の形態の第２の変形例における画像処理部の構成例を説明する図である。
【図２８】図２７の画像処理部による画像処理を説明するフローチャートである。
【図２９】第２の実施の形態の第３の変形例の撮像素子の構成例を説明する図である。
【図３０】図２９の撮像素子の解像度差を説明する図である。
【図３１】第２の実施の形態の第４の変形例となる撮像素子の構成例を説明する図である。
【図３２】第３の実施の形態となる撮像素子の構成例を説明する図である。
【図３３】図３２の撮像素子に対応する画像処理部の構成例を説明する図である。
【図３４】第４の実施の形態となる画像処理部の概要を説明する図である。
【図３５】第４の実施の形態となる画像処理部の構成例を説明する図である。
【図３６】図３５の画像処理部による画像処理を説明するフローチャートである。
【図３７】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための形態】
【００３０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３１】
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本開示の撮像装置の概要
２．第１の実施の形態
２−１．第１の実施の形態における第１の変形例
２−２．第１の実施の形態における第２の変形例
２−３．第１の実施の形態における第３の変形例
３．第２の実施の形態
３−１．第２の実施の形態における第１の変形例
３−２．第２の実施の形態における第２の変形例
３−３．第２の実施の形態における第３の変形例
３−４．第２の実施の形態における第４の変形例
４．第３の実施の形態
５．第４の実施の形態
６．ソフトウェアにより実行させる例
【００３２】
＜１．本開示の撮像装置の概要＞
本開示の技術を適用した撮像装置の説明にあたり、その概要について説明する。
【００３３】
本開示の撮像装置は、例えば、図１の左上部で示されるような、全面像面位相差型の撮像素子が用いられる。
【００３４】
図１の左上部の全面像面位相差型の撮像素子ＩＳは、点線で示される単位で図示せぬマイクロレンズ（オンチップレンズ）が設けられており、１個のマイクロレンズの直下の点線で囲まれる画素Ｐの単位で、ＲＧＢ画素が設定されており、図１の左上部においては、ベイヤ配列にされている。
【００３５】
さらに、各画素Ｐは、水平方向に２個に瞳分割されており、それぞれ分割された画素ＰＬ，ＰＲから構成される。
【００３６】
尚、以降においては、図１の左上部の撮像素子ＩＳ中の点線で囲まれた１枚のマイクロレンズ単位で設定される画素Ｐについては、瞳画素Ｐと称し、分割された画素については、分割画素ＰＬ，ＰＲと称する。したがって、瞳画素Ｐは、１対の分割画素ＰＬ，ＰＲにより構成される。
【００３７】
画素信号は、分割画素ＰＬ，ＰＲ単位で出力される。このため、１個のマイクロレンズでカバーされる瞳画素Ｐについて、水平方向に分割画素ＰＬ，ＰＲの２画素分の画素信号を得ることができるので、分割画素ＰＬ，ＰＲの視差に伴った画素値の位相差により画素Ｐ単位で測距を実現することができる。
【００３８】
従って、図１の左上部の撮像素子ＩＳは、瞳画素Ｐ単位でデプス画像（測距画像）を求めることができる。
【００３９】
さらに、従来においては、このような構成において、各瞳画素Ｐにおいて、分割画素ＰＬ，ＰＲの画素値の平均値を求め、瞳画素Ｐ単位で共通化した画素信号を生成し、瞳画素Ｐ単位の画素信号を用いた画像を生成していた。
【００４０】
ところで、分割画素ＰＬ，ＰＲにより生成される画像は、一般的に、合焦点でフォーカスされている場合、ほぼ一致し、合焦点ではない、例えば、無限遠にフォーカスが合う場合、分割画素ＰＬ，ＰＲの視差に伴ったずれが生じる。
【００４１】
すなわち、合焦点でフォーカスされる場合、図１の中央上部で示されるように、分割画素ＰＬの画素信号のみから生成される画像ＡＬ１と、分割画素ＰＲの画素信号のみから生成される画像ＡＲ１とが撮像されることになる。
【００４２】
図１の中央上部の場合、画像ＡＬ１，ＡＲ１は、いずれも合焦点でフォーカスされた画像になるので、一致した画像となる。尚、画像ＡＬ１，ＡＲ１は、ずれの有無が確認できるように中央に点線が付されており、画像ＡＬ１，ＡＲ１では、いずれもゴルフをする人物がほぼ画像中央に存在する。
【００４３】
これに対して、無限遠でフォーカスされる場合、図１の右上部で示されるように、分割画素ＰＬの画素信号のみから生成される画像ＡＬ２と、分割画素ＰＲの画素信号のみから生成される画像ＡＲ２とが撮像されることになる。
【００４４】
図１の右上部の場合、画像ＡＬ２，ＡＲ２は、いずれも無限遠でフォーカスが合わされた画像になるので、分割画素ＰＬ，ＰＲの視差に伴ったずれが生じる。尚、画像ＡＬ２，ＡＲ２にも、ずれの有無が確認できるように中央に点線が付されており、画像ＡＬ２では、ゴルフをする人物がほぼ画像中央に存在するが、画像ＡＲ２では、右側にずれて存在する。
【００４５】
このような違いから、合焦点でフォーカスされている場合、画像ＡＬ１，ＡＲ１を構成する分割画素ＰＲ，ＰＬは、図１の中央下部で示されるように、それぞれ独立した画素信号として画像を構成することにより、瞳画素を１画素とした場合の画像に対して、水平方向に２倍の解像度を持つ画像にすることができる。特に、光学ズームではなく、いわゆる、デジタルズームと呼ばれる画素信号を加工してズーム画像を生成する際には、高解像度の画素信号を用いることで、高画質のズーム画像を生成することができる。
【００４６】
一方、無限遠でフォーカスされている場合、画像ＡＬ２，ＡＲ２を構成する分割画素ＰＲ，ＰＬは、それぞれ異なる位置の画像を構成するものであり、独立した画素信号として用いることができないので、図１の右下部で示されるように、従来同様に、それぞれ画素ＰＲ，ＰＬの平均値を用いて瞳画素単位で分割画素ＰＬ，ＰＲの画素値を共通化することで、瞳画素を１画素とした場合の画像とする。
【００４７】
すなわち、本開示の撮像装置においては、このような原理に基づいて、画像内において、合焦点近傍の領域の画素については、分割画素ＰＬ，ＰＲ単位の画素信号を独立して使用することで高解像度化し、それ以外の領域の画素については、分割画素ＰＬ，ＰＲを加算（合算）して画素数で除することで平均値を求めて瞳画素単位で共通化した画素信号として用いるようにする。結果として、マイクロレンズ直下において瞳分割された複数の分割画素のそれぞれの画素信号を有効に利用して高解像度の画像を撮像することが可能となる。
【００４８】
＜２．第１の実施の形態＞
次に、図２のブロック図を参照して、本開示の撮像装置の第１の実施の形態の構成例について説明する。尚、図２の右部は、本開示に係る撮像装置の第１の実施の形態の構成例を示すブロック図であり、図２の左部は、入射光の入射方向に対向する撮像素子３２の正面図である。図２の撮像装置は、上述したように、マイクロレンズ直下において瞳分割された複数の分割画素のそれぞれの画素信号を有効に利用して高解像度の画像を撮像する。
【００４９】
図２の撮像装置１１は、レンズ群などからなる光学部３１、図１の撮像素子ＩＳに対応する、マイクロレンズＭＬの直下において、瞳分割された分割画素ＰＬ，ＰＲからなる瞳画素Ｐを２次元のアレイ状に配置した撮像素子３２、および画像処理部３３を備える。また、撮像装置１１は、フレームメモリ３４、表示部３５、記録部３６、操作部３７、および電源部３８も備える。画像処理部３３、フレームメモリ３４、表示部３５、記録部３６、操作部３７および電源部３８は、バスライン３９を介して相互に接続されている。
【００５０】
光学部３１は、被写体からの入射光（像光）を取り込んで撮像素子３２の撮像面上に結像する。撮像素子３２は、光学部３１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。図２の左部で示されるように、撮像素子３２は、撮像面上に入射光の光量を画素単位で電気信号に変換して画素信号を出力する瞳画素Ｐがアレイ状に配置されている。
【００５１】
さらに、撮像素子３２の瞳画素Ｐには、入射光の入射方向に対して光を瞳画素Ｐ単位で透過させるマイクロレンズＭＬが設けられており、瞳画素Ｐ単位で光を集光する。マイクロレンズＭＬの入射光の透過方向に対して直下には、分割画素ＰＬ，ＰＲが設けられており、１対の分割画素ＰＬ，ＰＲが瞳画素Ｐを構成する。また、瞳画素Ｐ単位で、ＲＧＢの図示せぬカラーフィルタが設けられており、例えば、瞳画素について２画素×２画素の単位でベイヤ配列とされる。尚、画素の色の配列については、これ以外の配列であってもよい。
【００５２】
画像処理部３３は、撮像素子３２より出力される画素信号に各種の画像処理を加えて出力する。画像処理部３３は、撮像素子３２より出力される画像信号に各種の画像処理を加えるにあたって、必要に応じてフレームメモリ３４を使用して画像を一時的に記憶させる。
【００５３】
表示部３５は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、撮像素子３２で撮像された動画または静止画を表示する。記録部３６は、撮像素子３２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
【００５４】
操作部３７は、ユーザによる操作の下に、撮像装置１１が持つ様々な機能について操作指令を発する。電源部３８は、画像処理部３３、フレームメモリ３４、表示部３５、記録部３６および操作部３７の動作電源となる各種の電力を、これら供給対象に対して適宜供給する。
【００５５】
尚、撮像装置１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用するようにしてもよい。
【００５６】
＜図２の画像処理部の構成例＞
次に、図３のブロック図を参照して、画像処理部３３の構成例について説明する。
【００５７】
画像処理部３３は、視差検出部５１、判定部５２、およびズーム処理部５３を備えている。
【００５８】
視差検出部５１は、瞳画素Ｐを構成する１対の分割画素ＰＬ，ＰＲの画素信号に基づいて、分割画素ＰＬとＰＲの視差を、視差ベクトルとして検出し、判定部５２に出力する。すなわち、視差ベクトルとは、上述した分割画素ＰＬとＰＲの視差のずれを表す指標であり、視差ベクトルが小さい程、瞳画素Ｐ上において分割画素ＰＬ，ＰＲの視差が小さく合焦点になっている可能性が高く、逆に、視差ベクトルが大きいほど、分割画素ＰＬ，ＰＲの視差が大きい。
【００５９】
判定部５２は、視差ベクトルの大きさに基づいて、ズーム処理部５３において、分割画素単位で、分割画素ＰＬ，ＰＲを独立した画素信号として扱う場合の非合算画素値と、瞳画素Ｐ単位で分割画素ＰＬ，ＰＲの画素値を合算して平均化し、分割画素ＰＬ，ＰＲの画素値として置き換えることで、瞳画素Ｐ単位で画素信号を扱う場合の合算画素値とのブレンド比を算出し、ズーム処理部５３に出力する。
【００６０】
すなわち、上述したように、視差ベクトルが小さい瞳画素Ｐほど、視差が小さく合焦点の近傍の画素であると考えることができるので、分割画素ＰＬ，ＰＲ単位の画素信号を独立した非合算画素値として使用することで高解像度の画素信号として使用することができる。
【００６１】
逆に、視差ベクトルが大きい瞳画素Ｐほど、分割画素ＰＬ，ＰＲ間の視差が大きく合焦点の近傍ではないと考えることができるので、分割画素ＰＬ，ＰＲ単位の画素信号を合算して平均値を求め、分割画素ＰＬ，ＰＲの画素信号を、求めた平均値で置き換え、瞳画素Ｐ単位で統一した合算画素値として使用する。
【００６２】
このように画像内において、合焦点付近の領域については、分割画素ＰＬ，ＰＲ単位で画素信号を独立して使用する非合算画素値として扱うことで画像を高解像度化する。一方、合焦点以外の領域については、分割画素ＰＬ，ＰＲを瞳画素Ｐ単位の平均値に置き換えて使用する合算画素値として扱うことで、分割画素ＰＬ，ＰＲ単位の画素信号を有効に利用して、破たんのない高解像度な画像を生成する。
【００６３】
尚、以降において、分割画素ＰＬ，ＰＲ単位で独立した画素信号からなる画像を分割画素画像と称する。また、瞳画素Ｐ毎に分割画素ＰＬ，ＰＲの平均値を求めて、分割画素ＰＬ，ＰＲのそれぞれの画素信号を同一の平均値からなる画素信号に置き換えて使用する場合の画像を瞳画素画像と称する。
【００６４】
ここで、瞳画素画像は、瞳画素Ｐを構成する分割画素ＰＬ，ＰＲの画素値が、それぞれの平均値からなる同一の画素値に置き換えられて使用されるので、実質的な最小画素が、瞳画素Ｐ単位となる。このため、分割画素画像は、瞳画素画像に対して水平方向の解像度が実質的に２倍の画像となる。ただし、垂直方向に対しての解像度は、瞳画素画像、および分割画素画像のいずれも同一である。
【００６５】
そこで、判定部５２は、分割画素ＰＬ，ＰＲ単位で、それぞれの平均値となる画素信号からなる瞳画素画像の画素信号と、分割画素ＰＬ，ＰＲの画素信号を独立してそのまま使用するときの画素値とを、分割画素ＰＬ，ＰＲ単位でブレンドする際のブレンド比を、視差ベクトルの大きさに基づいて、求めてズーム処理部５３に出力する。
【００６６】
ズーム処理部５３は、ＲＧＢのそれぞれの瞳画素画像をデモザイクすると共に、ＲＧＢの分割画素画像をデモザイクする。
【００６７】
そして、ズーム処理部５３は、ＲＧＢの分割画素画像と、ＲＧＢの瞳画素画像とを分割画素ＰＬ，ＰＲ単位で、判定部５２からの判定結果であるブレンド比α（０≦α≦１）で、ブレンドし、ＲＧＢ画像およびズーム画像として出力する。尚、ズーム処理部４２の詳細な構成については、図４を参照して後述する。このブレンド比αが０または１に切り替えられる場合については、ＲＧＢの分割画素画像と、ＲＧＢの瞳画素画像とが、その値により、完全に切り替えられることになる。また、ブレンド比αが０乃至１の範囲で変化するときには、ブレンド比αが０に近い程ＲＧＢの分割画素画像の重みが大きくなるようにブレンドされ、逆に、１に近い程ＲＧＢの瞳画素画像の重みが大きくなるようにブレンドされる。
【００６８】
＜図３のズーム処理部の構成例＞
次に、図４のブロック図を参照して、ズーム処理部５３の構成例について説明する。
【００６９】
ズーム処理部５３は、合算部７１、フレームメモリ７２、デモザイク処理部７３−１，７３−２、フレームメモリ７４−１，７４−２、およびブレンド処理部７５を備えている。
【００７０】
合算部７１は、撮像素子３２より供給される分割画素単位で供給される画素信号について、分割画素ＰＬ，ＰＲの画素信号を合算して平均値を求めて、分割画素ＰＬ，ＰＲの画素信号として置き換え、フレームメモリ７２に記憶させる。
【００７１】
より詳細には、合算部７１は、分割画素ＰＲ，ＰＬ単位の画素信号の平均値を求め、求めた画素信号を、分割画素ＰＲ，ＰＬのそれぞれの画素信号に置き換える。すなわち、合算部７１は、分割画素ＰＲ，ＰＬの画素信号を、瞳画素単位の平均値に変換することで、瞳画素単位の画素信号として求める。このため、ＲＧＢ瞳画素画像は、瞳画素単位で同一の画素信号であるが、画素信号は、瞳画素単位の分割画素ＰＬ，ＰＲで、それぞれ同一とされる。
【００７２】
デモザイク処理部７３−１は、撮像素子３２より分割画素ＰＬ，ＰＲ単位で独立した画素信号からなる分割画素画像にデモザイク処理を施し、ＲＧＢそれぞれの分割画素画像を生成してフレームメモリ７４−１に記憶させる。
【００７３】
デモザイク処理部７３−２は、フレームメモリ７２に格納された瞳画素Ｐ単位で同一の平均値となる分割画素ＰＬ，ＰＲ単位の画素信号からなる瞳画素画像にデモザイク処理を施し、ＲＧＢそれぞれの瞳画素画像を生成してフレームメモリ７４−２に記憶させる。
【００７４】
ブレンド処理部７５は、フレームメモリ７４−１，７４−２に記憶されているＲＧＢ分割画素画像と、ＲＧＢ瞳画素画像とを、分割画素単位で、かつ、判定部５２より供給されるブレンド比αでブレンドし、ＲＧＢ画像、またはズーム画像としてフレームメモリ７６に記憶させ、１フレーム分の画像を生成したところで出力させる。ブレンド処理部７５は、ズームが指定されない場合、分割画素単位でブレンドした全画素を出力し、ズームが指定されている場合、分割画素単位でブレンドした全画素のうち、ズームが指定された範囲の画素を出力する。
【００７５】
＜図３の画像処理部による画像処理＞
次に、図５のフローチャートを参照して、図３の画像処理部３３による画像処理について説明する。
【００７６】
ステップＳ１１において、撮像素子３２が、画像を撮像し、撮像した画素信号を分割画素単位で出力する。これにより、画像処理部３３に対して分割画素ＰＬ，ＰＲ単位の画素値からなる画像が入力される。
【００７７】
ステップＳ１２において、視差検出部５１は、瞳画素単位で未処理の画素のいずれかを処理対象画素に設定する。
【００７８】
ステップＳ１３において、視差検出部５１は、処理対象画素となる瞳画素Ｐを構成する左右の分割画素ＰＬ，ＰＲの画素値を用いて視差ベクトルを求め、処理対象画素の視差ベクトルとして判定部５２に出力する。
【００７９】
より詳細には、視差検出部５１は、一般的なオプティカルフロー推定により視差ベクトルを算出する。一般的なオプティカルフロー推定を用いた手法としては、例えば、ブロックマッチングを用いた方法や、KLT（Kanade Lucas-Tomasi）法が上げられる。
【００８０】
ブロックマッチングを用いた手法としては、例えば、以下の式（１）で定義されるSSD(Sum of Squared Differences)や、以下の式（２）で定義されるSAD(Sum of Absolute Differeces)などのコスト値を用いて、ブロック単位で類似領域を探索する手法が挙げられる。
【００８１】
【数１】
2018163843.tif 000003
・・・（１）
【００８２】
【数２】
2018163843.tif 000004
・・・（２）
【００８３】
ここで、εは、コスト値であり、wは、探索領域であり、Jは参照画像であり、Iは基準画像であり、xは処理対象となる画素の座標であり、dは変位量である。
【００８４】
このようにして求められた類似領域を構成する２画素を用いて、視差ベクトルが求められる。
【００８５】
尚、KLT法の詳細については、Bruce D. Lucas and Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981.、または、Carlo Tomasi and Takeo Kanade. Detection and Tracking of Point Features. Carnegie Mellon University Technical Report CMU-CS-91-132, April 1991.を参照されたい。
【００８６】
ステップＳ１４において、判定部５２は、処理対象画素の視差ベクトルの大きさに基づいて、処理対象画素における、分割画素画像の画素と、瞳画素画像の画素とのそれぞれの画素値のブレンド比αを算出し、ズーム処理部５３に記憶させる。
【００８７】
判定部５２は、例えば、図６で示されるような関係を用いて視差ベクトルの大きさに基づいて、ブレンド比αを算出する。
【００８８】
図６は、視差ベクトルの大きさを横軸とし、縦軸をブレンド比αとした関数を表している。
【００８９】
すなわち、判定部５２は、視差ベクトルの大きさが閾値ｔ０よりも小さいときは、ブレンド比αを０とし、視差ベクトルの大きさが閾値ｔ０乃至ｔ１のときは、ブレンド比αを０乃至１の範囲で視差ベクトルの大きさに比例した値とし、視差ベクトルの大きさが閾値ｔ１より大きいときは、ブレンド比αを１とする。尚、閾値ｔ１，ｔ２は、任意に設定することができる。すなわち、判定部５２は、図６で示されるように、視差ベクトルの大きさが小さい程、ブレンド比αを小さくし、視ベクトルの大きさが大きい程、ブレンド比αを大きくする。
【００９０】
ステップＳ１５において、視差検出部５１は、未処理の瞳画素が存在するか否かを判定し、未処理の瞳画素が存在する場合、処理は、ステップＳ１２に戻る。すなわち、未処理の瞳画素がなくなるまで、ステップＳ１２乃至Ｓ１５の処理が繰り返されて、瞳画素単位でブレンド比αが順次計算されて、ズーム処理部５３のブレンド処理部７５に記憶される。
【００９１】
ステップＳ１５において、未処理の瞳画素が存在しないとみなされた場合、処理は、ステップＳ１６に進む。
【００９２】
ステップＳ１６において、ズーム処理部５３が、ズーム処理を実行して、分割画素ＰＬ，ＰＲを用いて、分割画素画像と瞳画素画像とを生成し、さらに、瞳画素単位で設定されるブレンド比αにより、分割画素画像と瞳画素画像とをブレンドして出力し処理を終了する。
【００９３】
＜図４のズーム処理部によるズーム処理＞
ここで、図７のフローチャートを参照して、図４のズーム処理部５３によるズーム処理について説明する。
【００９４】
ステップＳ３１において、合算部７１は、撮像素子３２より供給されてくる左右の分割画素ＰＬ，ＰＲの画素値を、瞳画素単位で合算して平均値を求めて、それぞれの分割画素値ＰＬ，ＰＲとして置き換えて、瞳画素画像を生成し、フレームメモリ７２に格納させる。尚、上述したように、瞳画素画像は、瞳画素Ｐ単位で、分割画素ＰＬ，ＰＲがそれぞれの平均値となる画素値を備えている。したがって、瞳画素画像は、瞳画素Ｐ単位で分割画素ＰＬ，ＰＲの画素値が同一であるが、画素値そのものは、分割画素ＰＬ，ＰＲ単位で格納されている。
【００９５】
ステップＳ３２において、デモザイク処理部７３−２は、フレームメモリ７２に格納されている瞳画素画像を瞳画素単位でデモザイクして、ＲＧＢの瞳画素画像を生成してフレームメモリ７４−２に格納させる。
【００９６】
ステップＳ３３において、デモザイク処理部７３−１は、撮像素子３２より供給される分割画素ＰＬ，ＰＲ単位の分割画素画像をデモザイクして、ＲＧＢの分割画素画像を生成してフレームメモリ７４−１に格納させる。
【００９７】
ステップＳ３４において、ブレンド処理部７５は、瞳画素単位で未処理となる画素のいずれかを処理対象画素に設定する。
【００９８】
ステップＳ３５において、ブレンド処理部７５は、ＲＧＢ分割画素画像のうちの、処理対象画素となる瞳画素Ｐに対応する左用の分割画素ＰＬの画素値と、ＲＧＢ瞳画素画像のうちの、処理対象画素となる瞳画素Ｐを構成する分割画素ＰＬの画素値とを、ブレンド比αを用いてブレンドし、処理対象画素における左用分割画素の画素値としてフレームメモリ７６に格納させる。より詳細には、ブレンド処理部７５は、例えば、以下の式（３）を演算することにより、ブレンドしてフレームメモリ７６に格納させる。
【００９９】
Imageout_L＝α×ImageCOMB_L＋（１−α）×ImageDIV_L
・・・（３）
【０１００】
ここで、αはブレンド比であり、ImageCOMB_Lは、ＲＧＢ瞳画素画像のうち、処理対象画素となる瞳画素Ｐに対応する左用の分割画素ＰＬの画素値であり、ImageDIV_Lは、ＲＧＢ分割画素画像のうち、処理対象画素となる瞳画素Ｐに対応する左用の分割画素ＰＬの画素値であり、Imageout_Lは、ブレンドされた処理対象画素における左用分割画素ＰＬの画素値である。
【０１０１】
ステップＳ３６において、ブレンド処理部７５は、ＲＧＢ分割画素画像のうちの、処理対象画素となる瞳画素Ｐに対応する右用の分割画素ＰＲの画素値と、ＲＧＢ瞳画素画像のうちの、処理対象画素となる瞳画素Ｐを構成する分割画素ＰＲの画素値とを、ブレンド比αを用いてブレンドし、処理対象画素における右用分割画素の画素値としてフレームメモリ７６に格納させる。より詳細には、ブレンド処理部７５は、例えば、以下の式（４）を演算することにより、ブレンドしてフレームメモリ７６に格納させる。
【０１０２】
Imageout_R＝α×ImageCOMB_R＋（１−α）×ImageDIV_R
・・・（４）
【０１０３】
ここで、αはブレンド比であり、ImageCOMB_Rは、ＲＧＢ瞳画素画像のうちの、処理対象画素となる瞳画素に対応する右用の分割画素ＰＲの画素値であり、ImageDIV_Rは、ＲＧＢ分割画素画像のうち、処理対象画素となる瞳画素に対応する右用の分割画素ＰＲの画素値であり、Imageout_Rは、ブレンドされた処理対象画素における右用分割画素ＰＲの画素値である。
【０１０４】
ステップＳ３７において、ブレンド処理部７５は、未処理の瞳画素が存在するか否かを判定し、未処理の瞳画素が存在する場合、処理は、ステップＳ３４に戻る。すなわち、瞳画素単位で、ＲＧＢ分割画素画像とＲＧＢ瞳画素画像との分割画素ＰＬ，ＰＲがブレンド比αで全てブレンドされるまで同様の処理が繰り返される。
【０１０５】
そして、ステップＳ３７において、未処理の瞳画素が存在しないとみなされた場合、処理は、ステップＳ３８に進む。
【０１０６】
ステップＳ３８において、ブレンド処理部７５は、フレームメモリ７６に格納されているブレンド済みの画像を出力する。ここで、ズーム倍率やズームの中心位置に応じて出力される画素信号の範囲を切り替える。
【０１０７】
以上の処理により、図８で示されるような処理が実現される。
【０１０８】
すなわち、図８で示されるように、デモザイク処理部７３−１は、撮像素子３２からの分割画素画像ＩＰＤを分割画素単位でデモザイク処理することにより、フレームメモリ７４−１には、ＲＧＢのそれぞれに対応するＲ分割画素画像ＰＤＲ、Ｇ分割画素画像ＰＤＧ、Ｂ分割画素画像ＰＤＢが生成されて格納される。
【０１０９】
一方、合算部７１は、撮像素子３２からの分割画素画像ＩＰＤにおける瞳画素Ｐ単位で、分割画素ＰＬ，ＰＲの画素信号を合算して、平均値を求めて、瞳画素単位で、それぞれ分割画素ＰＬ，ＰＲの画素値に置換することで、瞳画素画像ＩＰＣを生成する。
【０１１０】
そして、デモザイク処理部７３−２が、瞳画素画像ＩＰＣを瞳画素単位でデモザイク処理することにより、フレームメモリ７４−２には、ＲＧＢのそれぞれに対応するＲ瞳画素画像ＰＣＲ、Ｇ瞳画素画像ＰＣＧ、Ｂ瞳画素画像ＰＣＢが生成されて格納される。
【０１１１】
さらに、ブレンド処理部７５は、瞳画素単位で設定されているブレンド比αを用いて、瞳画素単位で分割画素ＰＬ，ＰＲのそれぞれを、ＲＧＢのそれぞれの、瞳画素画像における分割画素ＰＬ，ＰＲの画素値と分割画素画像の分割画素ＰＬ，ＰＲの画素値とをそれぞれブレンドし、ＲＧＢのそれぞれの分割画素画像からなる出力画像ＯＰＲ，ＯＰＧ，ＯＰＢとして出力する。
【０１１２】
ここで、図６で示されるように、視差ベクトルの大きさが小さく、実質的に視差が略ないとみなされる場合、すなわち、合焦点付近の瞳画素である場合には、ブレンド比αは、小さく設定されるので、上述した式（３），式（４）のいずれにおいても第二項が支配的になり、分割画素ＰＬ，ＰＲのブレンド比率が大きくなり、より高解像度の画素を実現することができる。
【０１１３】
一方、視差ベクトルの大きさが大きく、すなわち、合焦点付近の瞳画素ではない場合には、ブレンド比αは、大きく設定されるので、上述した式（３），式（４）のいずれにおいても第一項が支配的になり、瞳画素Ｐのブレンド比率が大きくなる。
【０１１４】
結果として、画像内において、合焦点付近の画像を高解像度化することができるようになるので、マイクロレンズ直下において瞳分割された複数の分割画素のそれぞれの画素信号を有効に利用して、適切に高解像度の画像を生成することが可能となる。
【０１１５】
＜２−１．第１の実施の形態における第１の変形例＞
以上においては、合焦点付近の領域においては、分割画素画像の割合を高めて、それ以外の領域については、瞳画素画像の割合を高めて、分割画素画像と瞳画素画像とをブレンドする例について説明してきたが、合焦点付近の領域と、それ以外の領域との境界については、Ｓ／Ｎ比（Signal to Noise Ratio）が異なるため、ノイズムラとして見える事がある。そこで、ノイズムラを緩和するために、後処理としてエッジ保存型のノイズ除去部を追加するようにしても良い。
【０１１６】
図９は、合焦点付近の領域と、それ以外の領域との境界付近に生じるノイズムラを緩和するために、後処理としてエッジ保存型のノイズ除去部を追加した画像処理部３３の構成例である。
【０１１７】
図９の画像処理部３３において、図３の画像処理部３３と異なる点は、ノイズ除去部９１がズーム処理部５３の後段に設けられている点である。
【０１１８】
ノイズ除去部９１は、例えば、以下の式（５）で定義されるバイラテラルフィルタであり、強度パラメータσに基づいて、各画素に掛けるノイズ除去の強度を変化させて、各画素単位でノイズを除去する。
【０１１９】
【数３】
2018163843.tif 000005
・・・（５）
【０１２０】
ここで、fは、入力画像であるズーム処理部５３の処理画像であり、i,jは中心画素位置であり、m,nは処理対象画素と所定の位置関係の画素の画素位置を特定するパラメータであり、wはフィルタ係数である。また、σはノイズ除去の強度パラメータであり、例えば、視差が小さく分割画素画像の画素信号が支配的な場合ほど強く、大きな値となり、視差が大きく瞳画素画像の画素信号が支配的な場合ほど弱く、小さな値となる。
【０１２１】
式（５）のバイラテラルフィルタを用いた場合、ブレンド比αが０に近い場合、すなわち、合焦点付近の領域の画素の場合、強度パラメータσが大きくなり、ノイズ除去が強くなされる。また、ブレンド比αが１に近い場合、すなわち、合焦点ではない領域の画素の場合、強度パラメータσが小さくなり、ノイズ除去が弱くなされる。
【０１２２】
＜ノイズ除去処理＞
次に、図１０のフローチャートを参照して、図９の画像処理部３３におけるノイズ除去処理について説明する。尚、ノイズ除去処理については、上述した図５のステップＳ１６の処理の後、すなわち、ズーム処理により分割画素画像と瞳画素画像とがブレンド比αでブレンドされた後の処理となる。また、ステップＳ１４の処理で求められるブレンド比αは、ステップＳ１４の処理において、ノイズ除去部９１においても、瞳画素単位で記憶されているものとする。
【０１２３】
すなわち、ステップＳ７１において、ノイズ除去部９１は、未処理の瞳画素のいずれかを処理対象画素に設定する。
【０１２４】
ステップＳ７２において、ノイズ除去部９１は、自らで記憶している処理対象画素に対応付けて記憶しているブレンド比αを読み出す。
【０１２５】
ステップＳ７３において、ノイズ除去部９１は、処理対象画素を構成する分割画素ＰＬ，ＰＲのそれぞれに対して、ブレンド比αの値に応じた強度σで、上述した式（５）で示される演算により、ノイズを除去する。
【０１２６】
ステップＳ７４において、ノイズ除去部９１は、未処理の瞳画素が残されているか否かを判定し、未処理の瞳画素が残されている場合、処理は、ステップＳ７１に戻る。すなわち、未処理の瞳画素がないとみなされるまで、ステップＳ７１乃至Ｓ７４の処理が繰り返される。
【０１２７】
そして、ステップＳ７４において、未処理の瞳画素が存在しない、すなわち、全ての瞳画素について、ノイズが除去されたものとみなされた場合、処理は終了する。
【０１２８】
以上の処理により、合焦点付近の領域と、それ以外の領域との境界における、Ｓ／Ｎ比（Signal to Noise Ratio）の違いにより生じるノイズムラを抑制することが可能となる。
【０１２９】
＜２−２．第１の実施の形態における第２の変形例＞
以上においては、瞳画素単位で視差ベクトルを用いて合焦点であるか否かを判定し、合焦点であるときには、分割画素画像の重みを大きくしてブレンドし、それ以外のときには、瞳画素画像の重みを大きくしてブレンドする例について説明してきたが、合焦点であるか否かを判定できれば、その他の方法を用いるようにしてもよい。
【０１３０】
例えば、図１１の左部で示されるように、画像Ｐｉｃ１を撮像装置１１で撮像する際、画像Ｐｉｃ１１内におけるAF（Auto Focus）の基準となる位置（AFポジション）を求める。同時に、図１１の右部で示されるように、TOF（Time Of Flight）やStructured Lightのようなデプス推定手法により、画像Ｐｉｃ１１に対応するデプスマップからなる画像Ｐｉｃ１２を求める。そして、画像Ｐｉｃ１１，Ｐｉｃ１２に基づいて、AFポジションにおけるデプスと同一、または、その近傍のデプスの領域を合焦点として分割画素画像の画素値の重みを大きくし、それ以外の領域においては、瞳画素画像の画素値の重みを大きくするようにブレンドするようにしてもよい。
【０１３１】
図１１の画像Ｐｉｃ１１においては、被写体としての人物Ｈ１乃至Ｈ４が手前側に存在し、例えば、人物Ｈ４がAFポジションである場合が示されている。デプスマップ画像Ｐｉｃ１２において、画像Ｐｉｃ１１におけるAFポジションに存在する人物Ｈ４とほぼ同一のデプスとなる人物Ｈ１乃至Ｈ４が存在する領域Ｚ１が合焦点であるものとみなされ、それ以外の領域が非合焦点であるものとみなされている例が示されている。このように合焦点であるとみなされる領域Ｚ１においては、瞳画素単位でブレンド比αを０に近い値に設定し、それ以外の領域については、ブレンド比αを１に近い値に設定することで、瞳画素画像と分割画素画像とを適切にブレンドすることが可能となる。
【０１３２】
＜AFポジションとデプスマップとを用いて合焦点とを求めるようにした撮像装置の構成例＞
次に、図１２のブロック図を参照して、AFポジションとデプスマップとを用いて合焦点を求めるようにした撮像装置の構成例について説明する。
【０１３３】
図１２の撮像装置１１において、図１の撮像装置１１と異なる点は、画像処理部３３に代えて、画像処理部１１３が設けられると共に、新たにAF制御部１１１、およびデプス検出部１１２が設けられた点である。
【０１３４】
AF（Auto Focus）制御部１１１は、撮像素子３２より出力される画像に基づいて、コントラスト法、位相差法、または、分割画素ＰＬ，ＰＲを用いた像面位相差などを用いた方式により、光学部３１の焦点位置を制御して、フォーカスを制御する。この際、AF制御部１１１は、画像内のフォーカスの基準となる位置を示すAFポジションの情報を画像処理部１１３に出力する。
【０１３５】
デプス検出部１１２は、TOF（Time of Flight）法、またはStructure Light法などにより撮像素子３２により撮像される画角に対応する範囲のデプスマップを生成し、画像処理部１１３に出力する。
【０１３６】
画像処理部１１３は、AF制御部１１１からのAFポジションと、デプス検出部１１２からのデプスマップに基づいて、ブレンド比αを算出し、ズーム処理を実行する。尚、画像処理部１１３の詳細な構成については、図１３を参照して後述する。
【０１３７】
＜図１２の画像処理部の構成例＞
次に、図１３のブロック図を参照して、画像処理部１１３の構成例について説明する。
【０１３８】
図１３の画像処理部１１３において、図３の画像処理部３３と異なる点は、視差検出部５１、および判定部５２に代えて、判定部１２１が設けられた点である。
【０１３９】
判定部１２１は、AF制御部１１１からのAFポジションと、デプス検出部１１２からのデプスマップに基づいて、AFポジションにおけるデプスを求めて、同一、または、ほぼ同一のデプスを取る範囲を合焦点の領域とみなして、対応する領域については、瞳画素単位でブレンド比αを０とし、それ以外の領域を１に設定する。
【０１４０】
ただし、AFポジションである合焦点を取る領域と、それ以外の領域との境界付近においては、ブレンド比αが急激に変化することで、ノイズが生じてしまう恐れがあるため、例えば、境界付近の瞳画素については、境界に隣接する瞳画素のブレンド比αを０．５とし、境界付近の合焦点領域側の瞳画素については、境界からの距離に応じてブレンド比αを段階的に小さくし、合焦点以外の領域の瞳画素については、境界からの距離に応じてブレンド比αを段階的に大きくするように設定してもよい。
【０１４１】
また、デプスマップに基づいて、合焦点となるAFポジションと同一、または、ほぼ同一のデプスからなる領域と、それ以外の領域におけるデプスの差分に応じてブレンド比αを設定するようにしてもよい。
【０１４２】
＜図１２の画像処理部による画像処理＞
次に、図１４のフローチャートを参照して、図１２の画像処理部３３による画像処理について説明する。
【０１４３】
ステップＳ９１において、AF制御部１１１は、光学部３１を制御して、AFを制御する。この際、AF制御部１１１は、AFポジションを画像処理部１１３に出力する。
【０１４４】
ステップＳ９２において、撮像素子３２は、画像を撮像し、撮像した画像を、瞳画素Ｐを構成する分割画素ＰＬ，ＰＲ単位で画像処理部１１３に出力する。
【０１４５】
ステップＳ９３において、デプス検出部１１２は、撮像素子３２により撮像される画角に相当するデプスマップを生成し、画像処理部３３に出力する。
【０１４６】
ステップＳ９４において、画像処理部１１３の判定部１２１は、瞳画素単位で未処理の画素のいずれかを処理対象画素に設定する。
【０１４７】
ステップＳ９５において、判定部１２１は、デプス検出部１１２より供給されてきたデプスマップより、処理対象画素のデプスを取得する。
【０１４８】
ステップＳ９６において、判定部１２１は、AFポジションにおけるデプスと、処理対象画素のデプスとの情報に基づいて、ブレンド比αを算出する。
【０１４９】
ステップＳ９７において、判定部１２１は、未処理の瞳画素が存在するか否かを判定し、未処理の瞳画素が存在する場合、処理は、ステップＳ９４に戻る。すなわち、未処理の瞳画素が存在しないとみなされるまで、すなわち、全ての瞳画素についてブレンド比αが求められるまで、ステップＳ９４乃至Ｓ９７の処理が繰り返される。そして、ステップＳ９７において、未処理の瞳画素が存在しないとみなされた場合、処理は、ステップＳ９８に進む。
【０１５０】
ステップＳ９８において、ズーム処理部５３は、ズーム処理を実行し、瞳画素単位で、分割画素画像と、瞳画素画像とをブレンド比αでブレンドして出力する。尚、ズーム処理については、図７のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０１５１】
すなわち、以上の処理により、デプス検出部１１２により検出されるデプスマップと、AF制御部１１１からのAFポジションに基づいて、ブレンド比αを求めることが可能となる。これにより、上述した視差ベクトルを求める演算などが不要となり、演算負荷を低減しつつ、画像内において、合焦点付近の画像を高解像度化することができるようになる。結果として、マイクロレンズ直下において瞳分割された複数の画素のそれぞれの画素信号を有効に利用して高解像度の画像を撮像することが可能となる。
【０１５２】
＜２−３．第１の実施の形態における第３の変形例＞
以上のズーム処理については、ブレンド比αに基づいて、分割画素画像および瞳画素画像のそれぞれについて、分割画素単位でブレンドする例について説明してきたが、各画素について所定の位置関係の複数の画素の画素値と、学習により予め求められた係数セットとの積和によりズーム処理による画素値を予測する学習型のズーム処理を実現するようにしてもよい。
【０１５３】
図１５は、学習型のズーム処理を実現するようにした画像処理部３３の構成例を示したブロック図である。
【０１５４】
図１５の画像処理部３３において、図３の画像処理部３３と異なる点は、ズーム処理部５３に代えて、ズーム処理部１４１を設けた点である。
【０１５５】
ズーム処理部１４１は、予め学習により求められた係数セットを記憶しており、分割画素単位の各画素について、所定の位置関係に存在する画素の画素値と係数との積和によりズーム処理により求められる画素値を予測する。尚、ズーム処理部１４１の詳細な構成については、図１６を参照して後述する。
【０１５６】
＜図１５のズーム処理部の構成例＞
次に、図１６のブロック図を参照して、図１５のズーム処理部１４１の構成例について説明する。尚、図１６の右部は、図１５のズーム処理部１４１の構成例であり、図１６の左部は、図１６の右部の係数セットDB（データベース）１８２の学習を説明する図である。また、図中右部のズーム処理部１４１の処理は、撮像する際に実行されるオンラインプロセスであるのに対して、図中左部の学習部１６２の処理は、撮像する前に実行されるオフラインプロセスである。
【０１５７】
ズーム処理部１４１は、図１６の右部で示されるように、分類部１８１、係数セットDB１８２、予測部１８３、およびフレームメモリ１８４を備えている。
【０１５８】
分類部１８１は、撮像素子３２より供給される画素信号のうち、処理対象画素の画素信号、処理対象画素により所定の位置関係に設定される画素の画素信号、およびブレンド比αに基づいて、処理対象画素をクラスに分類し、分類結果であるクラスの情報を予測部１８３に出力する。
【０１５９】
例えば、図１６の右下部で示されるような丸印が撮像素子３２の各画素であるとした場合、処理対象画素が黒丸印で示される画素であるとき、対応する位置関係の画素は、例えば、上下左右方向にそれぞれ隣接する２画素、および斜め方向に隣接する４画素の合計１２画素として設定する。尚、処理対象画素について、図１６の右下部で設定されるような、所定の画素に対して所定の位置関係となる１２画素からなる画素群を、処理対象画素のクラスを分類するための画素であるので、処理対象画素のクラスタップと称する。
【０１６０】
ここで、クラスを分類する方法としては、例えば、クラスタップとしての（画素の）画素値を量子化するADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【０１６１】
ADRCを用いる方法では、クラスタップを構成する画素（の画素値）が量子化され、その結果得られるADRCコードにしたがって、処理対象画素のクラスが決定される。
【０１６２】
すなわち、LビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップを構成する画素の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がLビットに量子化される。具体的には、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Lで除算（量子化）される。
【０１６３】
そして、以上のようにして得られる、クラスタップを構成するLビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【０１６４】
ここでは、さらに、分割画素ＰＬ，ＰＲごとに、分割画素ＰＬ，ＰＲの画素値と、その平均値とからなる瞳画素の画素値とのブレンド比αが特徴量として加えられるので、ADRCコードに、例えば、ブレンド比αが０または１の２値であるとき、L+1ビットからなるコードがクラスを分類するクラスコードとなる。ブレンド比αを２ビット以上とする場合、L+1ビット以上のコードがクラスコードとなる。
【０１６５】
係数セットDB１８２には、分類部１８１により分類されたクラスごとに予め学習で求められた係数セットが格納されている。
【０１６６】
予測部１８３は、分類部１８１より供給されるクラスの情報に基づいて、対応するクラスに設定される係数セットを係数セットDB１８２より読み出し、予測に用いる処理対象画素と所定の位置関係の画素群である予測タップを構成する各画素の画素値と係数との積和により処理対象画素の画素値を予測して出力する。より詳細には、予測部１８３は、以下の式（６）を演算することにより、処理対象画素の画素値を予測し、フレームメモリ１８４に格納する。
【０１６７】
【数４】
2018163843.tif 000006
・・・（６）
【０１６８】
ここで、X(i,j)は、処理対象画素として予測される画素値であり、(i,j)は処理対象画素の座標であり、x(i,j)nは、処理対象画素の画素位置に応じて設定される予測タップを構成するｎ個の画素のそれぞれの画素値であり、w(i,j)nは、予測タップを構成するｎ個の画素のそれぞれの画素値に乗じられる係数である。
【０１６９】
ここで、係数セットDB１８２に格納されている係数セットについて説明する。
【０１７０】
係数セットは、図１６の左部で示されるカメラシミュレーション処理部１６１および学習部１６２による理想画像であって、高解像度画像である教師画像と、理想画像である高解像度画像に基づいて擬似的に生成される生徒画像とを用いた学習処理により求められる。
【０１７１】
より詳細には、カメラシミュレーション処理部１６１は、理想画像である高解像度画像より、各画素の視差のずれの程度に応じた合焦または非合焦の程度の分布を示すAFマップ情報を用いて、ワーピングにより分割画素ＰＬ，ＰＲにより撮像されることが想定される視差を含んだ画像を生成し、さらに、間引き処理などの低画質化処理を施すことで、擬似的に生徒画像を生成し学習部１６２に出力する。
【０１７２】
尚、AFマップは、瞳画素単位の合焦非合焦の程度を示すマップ、すなわち、視差の大きさを示すマップであり、例えば、視差ベクトルの大きさ、デプスの差分値、または、ブレンド比αでもよい。ここでは、AFマップとして、ブレンド比αを０または１のいずれかであるものとして、合焦点であるか、または、非合焦点であるかを示す１ビットの情報として使用する例について説明する。
【０１７３】
学習部１６２は、生成した生徒画像と、理想画像となる高解像度画像とを用いた学習処理を実行し、係数セットを学習する。この際、学習部１６２は、係数セットの学習にあたって、生徒画像の分割画素単位の各画素についてクラスタップとなる画素を抽出し、クラスタップを用いて、各画素をクラスに分類する。尚、ここで使用されるクラスタップは、分類部１８１で使用されるクラスタップと同一のものであり、同一の手法でクラスコードが生成されて、クラスコードに応じてクラスに分類される。
【０１７４】
また、学習部１６２は、生徒画像の分割画素単位の各画素について所定の位置関係となる画素群からなる予測タップのそれぞれの画素値を抽出し、予測タップと未知数となる係数との積和を用いて、教師画像の画素値との誤差が最小値となる係数を求めるように、最小二乗法に基づいた連立方程式（正規方程式）を生成し、これを解いて係数セットを決定する。学習部１６２は、決定した係数セットを、クラスタップにより分類されたクラスに対応付けて係数セットDB１８２に格納する。尚、予測タップは、予測部１８３で使用される予測タップと同一のものである。
【０１７５】
＜学習処理＞
次に、図１７のフローチャートを参照して、学習処理について説明する。尚、この処理は、撮像装置１１により画像を撮像するときよりも事前になされるオフラインプロセスである。
【０１７６】
ステップＳ１０１において、カメラシミュレーション処理部１６１および学習部１６２は、教師画像として理想画像である高解像度のＲＧＢ分割画素画像の入力を受け付ける。
【０１７７】
ステップＳ１０２において、カメラシミュレーション処理部１６１は、合焦または非合焦を示すAFマップ情報を用いて、教師画像をワーピングすることにより分割画素ＰＬ，ＰＲにより様々な視差を持つ画像を生成し、さらに、間引き処理などの低画質化処理を施して、分割画素ＰＬ，ＰＲからなる生徒画像を複数に生成し学習部１６２に出力する。
【０１７８】
ステップＳ１０３において、学習部１６２は、生徒画像の分割画素単位で、それぞれのクラスタップを構成する画素の画素値とAFマップ情報であるブレンド比αとからクラスコードを生成し、クラスを分類する。
【０１７９】
ステップＳ１０４において、学習部１６２は、生徒画像の各画素について予測タップとなる画素の画素値と、未知数となる係数との積和、および、対応する教師画像の画素の画素値との関係に基づいた連立方程式（正規方程式）をクラス毎に生成する。
【０１８０】
ステップＳ１０５において、学習部１６２は、生成した連立方程式（正規方程式）を解くことにより、統計的に誤差を最小にする係数からなる、係数セットをクラスごとに決定し、クラスタップを用いて分類したクラスに対応付けて係数セットDB１８２に格納する。
【０１８１】
以上の学習処理により、学習部１６２は、クラス毎に係数セットを求めて、クラスに対応付けて係数セットDB１８２に格納させることができる。
【０１８２】
このように、ズーム処理により得られる教師画像として、高解像度画像である理想画像を用いた学習をすることで、ズーム処理により高解像度画像である理想画像が得られるような係数セットをクラスごとに予め求めるようにすることが可能となる。
【０１８３】
＜図１６のズーム処理部によるズーム処理＞
次に、図１８のフローチャートを参照して、図１６のズーム処理部１４１によるズーム処理について説明する。尚、この処理は、撮像装置１１により画像を撮像するときになされるオンラインプロセスである。
【０１８４】
ステップＳ１１１において、分類部１８１は、撮像素子３２より出力される分割画素単位の画素のうち、未処理の画素を処理対象画素に設定する。
【０１８５】
ステップＳ１１２において、分類部１８１は、処理対象画素の画素位置に対して所定の位置関係となる画素からなるクラスタップの各画素の画素値と、AFマップ情報であるブレンド比αを特徴量として抽出する。
【０１８６】
ステップＳ１１３において、分類部１８１は、処理対象画素の特徴量に基づいてクラスコードを算出し、クラスコードに基づいて、クラスを分類し、分類結果を予測部１８３に供給する。
【０１８７】
ステップＳ１１４において、予測部１８３は、分類結果である処理対象画素のクラスに対応する係数セットを係数セットDB１８２より読み出す。
【０１８８】
ステップＳ１１５において、予測部１８３は、処理対象画素に対応して予測タップを構成する画素の画素値を読み出し、係数セットの各係数との積和により、処理対象画素の画素値を予測し、フレームメモリ１８４に格納する。
【０１８９】
ステップＳ１１６において、分類部１８１は、未処理の分割画素が存在するか否かを判定し、未処理の分割画素が存在する場合、処理は、ステップＳ１１１に戻る。すなわち、全ての分割画素のそれぞれについて、ズーム処理後の画素値が予測されるまで、ステップＳ１１１乃至Ｓ１１６の処理が繰り返される。
【０１９０】
そして、ステップＳ１１６において、全ての分割画素のそれぞれについて、ズーム処理後の画素値が予測されると、処理は、ステップＳ１１７に進む。
【０１９１】
ステップＳ１１７において、フレームメモリ１８４に格納されたズーム処理がなされた画像を構成する画素信号が出力される。
【０１９２】
以上の処理により、クラスタップを用いたクラスコードによりクラスを分類し、学習処理によりクラス毎に予め求められた係数セットのうち、分類されたクラスの係数セットを読み出し、予測タップを構成する画素の画素値との積和によりズーム処理で求められる各画素の画素値を予測することが可能となる。尚、クラスタップと予測タップとは処理対象画素に対して、同一でもよいし、異なるものでもよい。
【０１９３】
結果として、マイクロレンズ直下において瞳分割された複数の画素のそれぞれの画素信号を有効に利用して高解像度の画像を撮像することが可能となる。
【０１９４】
＜３．第２の実施の形態＞
以上においては、撮像素子３２が１個からなる撮像装置１１の構成例について説明してきたが、撮像素子３２を２個設けるようにしてもよい。
【０１９５】
図１９は、撮像素子３２を２個設けるようにした撮像装置１１の構成例を示している。
【０１９６】
すなわち、図１９の撮像装置１１において、図２の撮像装置１１と異なる点は、撮像素子３２が、撮像素子３２−１，３２−２の２個となり、対応して光学部３１が、光学部３１−１，３１−２の２個とされ、さらに、画像処理部３３に代えて画像処理部１９１が設けられている点である。
【０１９７】
ただし、撮像素子３２−２は、カラーフィルタが設けられておらず、全画素が白色画素（白黒画素またはBW（Black & White）画素とも称する）の画素信号であり、換言すれば、輝度値からなる画素信号を検出する。
【０１９８】
撮像素子３２−１，３２−２は、撮像した画像を画像処理部１９１に出力する。
【０１９９】
＜図１９の画像処理部の構成例＞
次に、図２０を参照して、図１９の画像処理部１９１の構成例について説明する。
【０２００】
画像処理部１９１は、L-R合算部２０１−１，２０１−２、視差検出部２０２、ワープ処理部２０３、視差検出部２０４−１，２０４−２、判定部２０５−１，２０５−２、ズーム処理部２０６−１，２０６−２、およびフュージョン処理部２０７を備えている。
【０２０１】
L-R合算部２０１−１，２０１−２は、それぞれ撮像素子３２−１，３２−２より供給される分割画素ＰＲ，ＰＬのそれぞれを合算して平均値を求め、視差検出部２０２に出力する。より詳細には、L-R合算部２０１−１，２０１−２は、それぞれ撮像素子３２−１，３２−２より供給される分割画素ＰＲ，ＰＬのそれぞれの画素値の平均値を合算値として求めて、瞳画素単位の画素信号として視差検出部２０２に出力する。
【０２０２】
視差検出部２０２は、機能としては、図２の視差検出部５１と同一であるが、ここでは、分割画素ＰＬ，ＰＲではなく、撮像素子３２−１，３２−２のそれぞれの瞳画素単位の画素Ｐの視差ベクトルを求めて、ワープ処理部２０３に出力する。すなわち、光軸が異なる撮像素子３２−１，３２−２においては、視差が発生するため、発生した視差に伴った視差ベクトルが求められてワープ処理部２０３に供給される。
【０２０３】
ワープ処理部２０３は、視差検出部２０２からの視差ベクトルの情報に基づいて、撮像素子３２−１より供給される分割画素単位の画素信号を、撮像素子３２−２の視線方向と同一の視線方向にワープさせて視差検出部２０４−１に出力する。すなわち、この処理により、撮像素子３２−１，３２−２のそれぞれにより撮像される画像の視差が補償されて、同一視線の画像として扱うことが可能となる。尚、撮像素子３２−２により撮像された画像の分割画素信号を、撮像素子３２−１により撮像された画像の視線方向に合わせるようにワープ処理するようにしてもよい。ただし、ベイヤ配列の画素信号からなる撮像素子３２−２の画素信号を、撮像素子３１−１の画素信号に合わせるようにワープする方が、解像度と視差ずれの見え難さから有利となる。
【０２０４】
視差検出部２０４−１，２０４−２、判定部２０５−１，２０５−２、ズーム処理部２０６−１，２０６−２は、図３の視差検出部５１、判定部５２、およびズーム処理部５３と同様であるので、その説明は省略する。尚、図２０においては、判定部２０５−１，２０５−２のそれぞれより出力されるブレンド比は、α１、α２として区別して表現する。
【０２０５】
フュージョン処理部２０７は、撮像素子３２−１より供給されるＲＧＢ分割画素画像より求められる輝度Ｙと撮像素子３２−２より白色画素の画素信号として供給される輝度Ｗとの差分とノイズ強度に基づいた、ブレンド比でブレンドする。尚、フュージョン処理部２０７の構成例については、図２１を参照して詳細を後述する。
【０２０６】
＜フュージョン処理部の構成例＞
次に、図２１を参照して、フュージョン処理部２０７の構成例について説明する。
【０２０７】
フュージョン処理部２０７は、信号変換部２２１、ブレンド処理部２２２、信号変換部２２３、フレームメモリ２２４、およびブレンド比算出部２２５を備えている。
【０２０８】
信号変換部２２１は、ズーム処理部２０６−１より供給されるＲＧＢ分割画素画像に基づいて、分割画素単位で画素信号を輝度Ｙ、および色差信号Ｕ，Ｖに変換して、輝度Ｙをブレンド処理部２２２およびブレンド比算出部２２５に出力し、色差信号Ｕ，Ｖを信号変換部２２３に出力する。
【０２０９】
ブレンド処理部２２２は、信号変換部２２１より供給されるＲＧＢ分割画素画像に基づいて生成された分割画素画像の輝度Ｙと、撮像素子３２−２より供給される白色画素の分割画素画像からなる画素値である輝度Ｗとをブレンド比算出部２２５より供給されるブレンド比βでブレンドし、輝度Ｙ’（＝β×Ｙ＋（１−β）×Ｗ）として信号変換部２２３に出力する。
【０２１０】
信号変換部２２３は、ブレンド処理部２２２より供給される輝度Ｙ’と、信号変換部２２１より供給される色差信号Ｕ，ＶとをＲＧＢ信号に変換して、ＲＧＢ分割画素画像を生成してフレームメモリ２２４に出力し、全画素が生成された後、出力させる。尚、以降において、信号変換部２２１より供給されるＲＧＢ分割画素画像に基づいて生成された分割画素画像の輝度Ｙを、単に輝度Ｙと称し、撮像素子３２−２より供給される白色画素の分割画素画像からなる画素値である輝度Ｗを単に輝度Ｗと称し、ブレンド処理部２２２より出力される輝度Ｙ’を輝度Ｙ’と称する。
【０２１１】
ブレンド比算出部２２５は、輝度Ｙ、輝度Ｗ、および、ノイズ強度σに基づいて、ブレンド比βを算出して、ブレンド処理部２２２に供給する。尚、ブレンド比算出部２２５の構成については、図２２を参照して、後述する。
【０２１２】
＜図２１のブレンド比算出部の構成例＞
次に、図２２のブロック図を参照して、ブレンド比算出部２２５の構成例について説明する。
【０２１３】
ブレンド比算出部２２５は、差分判定部２４１、DR（Dynamic Range）判定部２４２、および選択部２４３を備えている。
【０２１４】
差分判定部２４１は、輝度Ｙ、輝度Ｗ、およびノイズ強度σに基づいて、輝度Ｙと輝度Ｗとの差分に基づいた、ブレンド比βDIFFを算出し、選択部２４３に出力する。
【０２１５】
より詳細には、差分判定部２４１は、差分算出部２５１、および判定部２５２を備えている。
【０２１６】
差分算出部２５１は、輝度Ｙと、輝度Ｗとの差分（Ｗ−Ｙ）を求めて、判定部２５２に出力する。
【０２１７】
判定部２５２は、差分（Ｗ−Ｙ）とノイズ強度σに基づいて、例えば、以下の式（７）を演算することによりブレンド比βDIFFを求める。
【０２１８】
【数５】
2018163843.tif 000007
・・・（７）
【０２１９】
ここで、（Ｗ−Ｙ）は、輝度Ｗと輝度Ｙとの差分であり、σは、ノイズ強度であって、調整パラメータである。尚、式（７）において、ブレンド比βDIFFは、0.5が最大となっているが、それ以外の値でもよく、例えば、ノイズ強度σの逆比などでもよい。
【０２２０】
DR（Dynamic Range）判定部２４２は、撮像素子３２−２より出力される白色画素のそれぞれの所定の範囲内の輝度Ｗの最大値と最小値との差分に基づいて、ブレンド比βDRを算出し、選択部２４３に出力する。
【０２２１】
より詳細には、DR判定部２４２は、最大最小抽出部２６１、および判定部２６２を備えている。最大最小抽出部２６１は、撮像素子３２−２より供給される白色画素のそれぞれについて、例えば、図２２の右下部で示されるように、色が付された処理対象画素Ｐを中心とした水平方向にi画素×j画素の範囲における輝度Ｗの最大値と最小値とを抽出して、判定部２６２に出力する。
【０２２２】
判定部２６２は、最大最小抽出部２６１より供給される輝度Ｗの最大値と最小値との差分に基づいて、例えば、以下の式（８）を算出して、ブレンド比βDRを算出する。
【０２２３】
【数６】
2018163843.tif 000008
・・・（８）
【０２２４】
ここで、MAX，MINは、各画素を中心としたi画素×j画素の範囲内における輝度Ｗの最大値と最小値であり、DRは、輝度Ｗの最大値MAXと最小値MINとの差分であるダイナミックレンジである。
【０２２５】
すなわち、ダイナミックレンジDRが大きいほど、エッジやテクスチャの可能性が高いため、図２２の右下部で示されるように、輝度Ｙよりも輝度Ｗの値を支配的にする方がよいため、ブレンド比βDRを小さくする。
【０２２６】
選択部２４３は、差分判定部２４１より供給されるブレンド比βDIFFと、DR判定部２４２より供給されるブレンド比βDRとを比較して、小さい方をブレンド比βとして選択し、ブレンド処理部２２２に出力する。
【０２２７】
＜図２０の画像処理部による画像処理＞
次に、図２３のフローチャートを参照して、図２０の画像処理部１９１による画像処理について説明する。
【０２２８】
ステップＳ１３１において、撮像素子３２−１，３２−２により画像が撮像されて、画像処理部１９１に対して、ＲＧＢのベイヤ配列の画素信号からなる分割画素画像と、白色画素のみの画素信号からなる分割画素画像とが供給される。
【０２２９】
ステップＳ１３２において、L-R合算部２０１−１，２０１−２は、それぞれ撮像素子３２−１，３２−２より供給される左右の分割画素ＰＲ，ＰＬのそれぞれの画素値の平均値を合算値として求めて、瞳画素Ｐ単位の画素値として視差検出部２０２に出力する。
【０２３０】
ステップＳ１３３において、視差検出部２０２は、撮像素子３２−１，３２−２の瞳画素Ｐ単位の画素値に基づいて、撮像素子３２−１，３２−２間の瞳画素単位の画素Ｐの視差ベクトルを求めて、ワープ処理部２０３に出力する。
【０２３１】
ステップＳ１３４において、ワープ処理部２０３は、視差ベクトルの情報に基づいて、撮像素子３２−１より供給される分割画素単位の画素値を、撮像素子３２−２の視線方向と同一の視線方向にワーピングさせて視差検出部２０４−１に出力する。
【０２３２】
ステップＳ１３５において、視差検出部２０４−１，２０４−２、判定部２０５−１，２０５−２、ズーム処理部２０６−１，２０６−２は、それぞれ視差ズーム処理を実行し、ズーム処理結果となるＲＧＢ分割画素画像と、白色画素からなる画像とをフュージョン処理部２０７に出力する。尚、ここでいう視差ズーム処理とは、図５のフローチャートを参照して説明した図３の画像処理部３３による画像処理そのものであるので、その説明は省略する。
【０２３３】
ステップＳ１３６において、フュージョン処理部２０７は、フュージョン処理を実行し、ＲＧＢ分割画素画像と、Ｗ分割画素画像とを用いて、撮像素子３２−１，３２−２の視差とノイズ強度とに基づいて輝度Ｙと輝度Ｗとをブレンドして輝度Ｙ’を生成し、輝度Ｙ’を用いてＲＧＢ分割画素画像を生成し、出力する。
【０２３４】
＜フュージョン処理＞
ここで、図２４のフローチャートを参照して、フュージョン処理について説明する。
【０２３５】
ステップＳ１５１において、信号変換部２２１、ブレンド処理部２２２、および信号変換部２２３は、未処理の分割画素を処理対象画素に設定する。
【０２３６】
ステップＳ１５２において、信号変換部２２１は、ＲＧＢ分割画素画像のそれぞれの処理対象画素の画素信号を、輝度Ｙ、および色差信号Ｕ，Ｖに変換し、輝度Ｙをブレンド処理部２２２およびブレンド比算出部２２５に、色差信号Ｕ，Ｖを信号変換部２２３にそれぞれ出力する。
【０２３７】
ステップＳ１５３において、ブレンド処理部２２２は、処理対象画素の輝度Ｗと輝度Ｙとをブレンド比βに基づいて、ブレンドし、輝度Ｙ’（＝β×Ｙ＋（１−β）×Ｗ）を生成して信号変換部２２３に出力する。
【０２３８】
ここで、ブレンド比βは、後述するブレンド比算出処理により、ブレンド比算出部２２５において求められる。ブレンド比算出処理については、図２５を参照して、詳細を後述する。
【０２３９】
ステップＳ１５４において、信号変換部２３３は、処理対象画素の輝度Ｙ’、および色差信号Ｕ，ＶをＲＧＢ画素信号に変換して、フレームメモリ２２４に記憶させる。
【０２４０】
ステップＳ１５５において、信号変換部２２１、ブレンド処理部２２２、および信号変換部２２３は、未処理の分割画素が存在するか否かを判定し、未処理の分割画素が存在する場合、処理は、ステップＳ１５１に戻る。すなわち、分割画素の全てについて、輝度Ｙと輝度Ｗとがブレンド比βによりブレンドされた状態で求められたＹＵＶ信号がＲＧＢ信号に変換された分割画素画像が生成されるまで、ステップＳ１５１乃至Ｓ１５６の処理が繰り返される。そして、ステップＳ１５６において、未処理の分割画素が存在しないとみなされた場合、処理は、ステップＳ１５７に進む。
【０２４１】
ステップＳ１５７において、信号変換部２２３は、フレームメモリ２２４に格納されている、輝度Ｙと輝度Ｗとがブレンド比βによりブレンドされた状態で求められたＹ’ＵＶ信号がＲＧＢ信号に変換された分割画素画像を出力させる。
【０２４２】
以上の処理により、輝度Ｙと輝度Ｗとがブレンド比βによりブレンドされた状態で求められたＹ’ＵＶ信号がＲＧＢ信号に変換された分割画素画像を求めることが可能となる。結果として、ベイヤ配列により配置されるカラーフィルタで低下する感度を白色画素からなる輝度Ｗで補うことが可能となり、エッジやテクスチャなどの感度を向上させた画像にすることができる。
【０２４３】
＜ブレンド比算出処理＞
次に、図２５のフローチャートを参照して、図２２のブレンド比算出部２２５によるブレンド比算出処理について説明する。
【０２４４】
ステップＳ１７１において、未処理の分割画素のいずれかが処理対象画素に設定される。
【０２４５】
ステップＳ１７２において、差分算出部２５１は、処理対象画素の輝度Ｙと輝度Ｗとの差分（Ｗ−Ｙ）を算出し、判定部２５２に出力する。
【０２４６】
ステップＳ１７３において、判定部２５２は、差分（Ｗ−Ｙ）とノイズ強度σとの値に基づいて、上述した式（７）を演算することにより、差分判定による処理対象画素のブレンド比βDIFFを算出し、選択部２４３に出力する。
【０２４７】
ステップＳ１７４において、最大最小抽出部２６１は、処理対象画素を中心としたi画素×j画素の範囲の周辺画素の輝度Ｗを読み出す。
【０２４８】
ステップＳ１７５において、最大最小抽出部２６１は、処理対象画素の周辺画素のうち、最大値および最小値となる輝度Ｗを抽出し、判定部２６２に出力する。
【０２４９】
ステップＳ１７６において、判定部２６２は、処理対象画素の周辺画素のうち、最大となる輝度Ｗと、最小となる輝度Ｗとを用いて、上述した式（８）を演算することにより、DR判定によるブレンド比βDRを算出し、選択部２４３に出力する。
【０２５０】
ステップＳ１７７において、選択部２４３は、差分判定によるブレンド比βDIFFとDR判定によるブレンド比βDRのうち、小さい方を輝度Ｙと輝度Ｗとのブレンド比βとしてブレンド処理部２２２に出力する。
【０２５１】
ステップＳ１７８において、未処理の分割画素が存在するか否かが判定され、未処理の分割画素が存在する場合、処理は、ステップＳ１７１に戻る。すなわち、分割画素単位の全てにおいて、ブレンド比βが求められるまで、ステップＳ１７１乃至Ｓ１７８の処理が繰り返される。そして、ステップＳ１７８において、未処理の分割画素が存在しない、すなわち、全ての分割画素について、ブレンド比βが求められたとみなされた場合、処理は終了する。
【０２５２】
以上の処理により、分割画素単位で、差分判定によるブレンド比βDIFFとDR判定によるブレンド比βDRのうち、小さい方が輝度Ｙと輝度Ｗとのブレンド比βとして求められる。
【０２５３】
結果として、各画素について視差とDRに基づいて、適切に輝度Ｙと輝度Ｗとをブレンドすることが可能となる。結果として、ベイヤ配列により配置されるカラーフィルタで低下する感度を白色画素からなる輝度Ｗで補うことが可能となり、エッジやテクスチャなどの感度を向上させた画像にすることができる。
【０２５４】
＜３−１．第２の実施の形態の第１の変形例＞
以上においては、撮像素子３２−１，３２−２により撮像された分割画素画像のそれぞれの瞳画素単位の視差を用いてワーピングした後、視差ベクトルを検出し、瞳画素と分割画素とのブレンド比αを求めてズーム処理し、フュージョン処理を施す例について説明してきた。しかしながら、ズーム処理した後、ワーピングし、フュージョン処理するようにしてもよい。
【０２５５】
図２６は、ズーム処理した後、ワーピングし、フュージョン処理するようにした画像処理部１９１の構成例を示している。
【０２５６】
すなわち、前段に視差検出部２０４−１，２０４−２、判定部２０５−１，２０５−２、およびズーム処理部２０６−１，２０６−２が設けられており、その後段にL-R合算部２０１−１，２０１−２、視差検出部２０２、およびワープ処理部２０３が設けられている。
【０２５７】
図２６の画像処理部１９１の画像処理については、図２３のフローチャートを参照して説明した図２０の画像処理部１９１による画像処理におけるステップＳ１３５の視差ズーム処理がステップＳ１３１の処理の後段であって、ステップＳ１３２の処理の前段になされることで実現される。尚、個々の処理については、図２３のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０２５８】
＜３−２．第２の実施の形態の第２の変形例＞
以上においては、図２０の画像処理部１９１の、視差検出部２０４−１，２０４−２、判定部２０５−１，２０５−２、およびズーム処理部２０６−１，２０６−２は、いずれも図３の画像処理部３３の視差検出部５１、判定部５２、およびズーム処理部５３と同様の構成により実現される例について説明してきた。しかしながら、ズーム処理部２０６−１，２０６−２およびフュージョン処理部２０７については、図１５の画像処理部３３のズーム処理部１４１と同様に学習により求められた係数セットを用いた予測により実現されるようにしてもよい。
【０２５９】
図２７の画像処理部１９１は、ズーム処理部２０６−１，２０６−２、およびフュージョン処理部２０７に代えて、図１５の画像処理部３３のズーム処理部１４１と同様に学習のより求められた係数セットを用いた予測により実現するズーム処理部２７１を設けるようにした画像処理部１９１の構成例である。
【０２６０】
図２６の画像処理部１９１において、図２０の画像処理部１９１と異なる点は、ズーム処理部２０６−１，２０６−２、およびフュージョン処理部２０７に代えて、ズーム処理部２７１が設けられている点である。
【０２６１】
ズーム処理部２７１は、ズーム処理部１４１と同様に、学習により予め求められた係数セットを構成する各係数と、各画素について設定されるクラスタップとなる画素の画素値を特徴量として抽出して、クラスに分類し、分類したクラスに対応付けて予め設定されている係数セットの各係数と予測タップとの積和により画素値を予測する。
【０２６２】
ズーム処理部２７１においては、処理対象画素に対して特徴量として抽出される処理タップが、撮像素子３２−１，３２−２のそれぞれより求められ、さらに、ブレンド比α１，α２が求められることになる。このため、クラスを分類する際に使用するクラスタップ数、および予測に使用される予測タップ数が、それぞれ２倍になるので、係数セットを構成する係数も２倍になる。
【０２６３】
また、学習処理に用いられる画像についても、撮像素子３２−１，３２−２のそれぞれに対応する画像が用いられ、この際、教師画像には、ズーム処理とフュージョン処理とがなされたことを前提とする高解像度の分割画素画像が用いられ、生徒画像は、教師画像を撮像素子３２−１，３２−２により撮像された視差とフュージョン処理がなされていない状態となるように低解像度化された分割画素画像となる。
【０２６４】
結果として、クラスタップによりクラスを分類し、分類したクラス毎に設定される係数と、予測タップとの積和により各画素の画素信号を予測する点において、ズーム処理部２７１によりなされる処理は、実質的にズーム処理部１４１によりなされる処理と同様の処理となる。
【０２６５】
＜図２７の画像処理部による画像処理＞
次に、図２８のフローチャートを参照して、図２７の画像処理部１９１による画像処理について説明する。尚、ステップＳ１９１乃至Ｓ１９４の処理については、図２３のステップＳ１３１乃至Ｓ１３４の処理と同様であり、また、ステップＳ１９５，Ｓ１９６の処理は、図５のステップＳ１２乃至Ｓ１４の処理と同様であるので、その説明は省略する。
【０２６６】
また、ステップＳ１９７のズーム処理は、各画素について設定される処理タップとなる画素、およびブレンド比α１，α２とで分類されるクラス毎に設定される、係数と処理タップの画素の画素信号との積和により予測される処理であり、実質的に、図１８のズーム処理と同様であるので、その説明は省略する。
【０２６７】
以上の処理により、学習により求められた係数セットを用いて、ズーム処理とフュージョン処理とがなされた画素を予測することが可能となる。
【０２６８】
結果として、マイクロレンズ直下において瞳分割された複数の画素のそれぞれの画素信号を有効に利用して高解像度の画像を撮像することが可能となる。
【０２６９】
＜３−３．第２の実施の形態の第３の変形例＞
以上においては、撮像素子３２−２は、水平方向の解像度が、垂直方向の解像度の２倍の構成とされる例について説明してきたが、それ以外の解像度となる構成のものが組み合わされていてもよく、例えば、図２９で示されるように、以下の４種類の組み合わせ２８１乃至２８４でもよい。
【０２７０】
すなわち、上述した撮像素子３２−１，３２−２の組み合わせ２８１においては、いずれも水平方向の解像度が、垂直方向の解像度の２倍の構成とされる。すなわち、組み合わせ２８１が、上述した図１９の撮像装置１１に設けられた撮像素子３２−１，３２−２の構成となる。
【０２７１】
また、上述した撮像素子３２−１，３２−２’の組み合わせ２８２においては、撮像素子３２−２’の垂直方向の解像度が、水平方向の解像度の２倍の構成とされている。すなわち、撮像素子３２−２’は、撮像素子３２−２を入射光の光軸を中心として９０度回転させたものである。
【０２７２】
さらに、上述した撮像素子３２−１，３２−２’’の組み合わせ２８３においては、撮像素子３２−２’’も撮像素子３２−１と同様にベイヤ配列にされている。
【０２７３】
また、上述した撮像素子３２−１，３２−２’’’の組み合わせ２８４においては、撮像素子３２−２’’’の垂直方向の解像度が、水平方向の解像度の２倍の構成とされている。すなわち、撮像素子３２−２’’’は、撮像素子３２−１を入射光の光軸を中心として９０度回転させたものである。
【０２７４】
組み合わせ２８１乃至２８４のそれぞれの水平方向および垂直方向の解像度に対するナイキスト周波数の分布は、例えば、図３０で示される関係となる。
【０２７５】
尚、図３０は、図３０の最左部で示される、撮像素子３２−１，３２−２のそれぞれが瞳画素単位であるときの水平方向および垂直方向のナイキスト周波数の分布を基準としたものである。
【０２７６】
図３０の最左部で示されるように、基準となる組み合わせ２９１における、撮像素子３２−１の瞳画素単位の解像度が、各頂点が水平方向と垂直方向のナイキスト周波数fs/2となるひし形状の範囲となり、撮像素子３２−２の瞳画素単位の解像度が、水平方向の上端および下端、並びに、垂直方向の左端および右端がそれぞれナイキスト周波数fs/2となる方形状の範囲となる。
【０２７７】
図３０の左から２番目で示されるように、組み合わせ２８１における、撮像素子３２−１の分割画素単位の解像度は、水平方向については、基準に対してナイキスト周波数fs/2の２倍の範囲となり、垂直方向には基準に対してナイキスト周波数fs/2と等倍になるひし形状の範囲となる。また、撮像素子３２−２の分割画素単位の解像度は、水平方向については、基準に対してナイキスト周波数fs/2の２倍の範囲となり、垂直方向には基準に対してナイキスト周波数fs/2と等倍になる方形状の範囲である。このため、水平方向には基準に対して２倍の解像度となり、垂直方向には基準に対して等倍の解像度となる。
【０２７８】
尚、図３０の左から２番目から５番目までは、上段に組み合わせ２８１乃至２８４が、中段にサンプリング周波数の水平方向および垂直方向の分布が示されており、下段に基準に対する解像度の水平方向と垂直方向の解像度の比率が記載されている。
【０２７９】
図３０の左から３番目で示されるように、組み合わせ２８２における、撮像素子３２−２’の分割画素単位の解像度は、水平方向については、基準に対してナイキスト周波数fs/2と等倍の範囲となり、垂直方向には基準に対してナイキスト周波数fs/2と２倍になる方形状の範囲となる。このため、水平方向には基準に対して２倍の解像度となり、垂直方向には基準に対して２倍の解像度となる。
【０２８０】
図３０の左から４番目で示されるように、組み合わせ２８３における、撮像素子３２−２’’の分割画素単位の解像度は、水平方向については、基準に対してナイキスト周波数fs/2と２倍の範囲となり、垂直方向には基準に対してナイキスト周波数fs/2と等倍になるひし形状の範囲である。このため、水平方向には基準に対して２倍の解像度となり、垂直方向には基準に対して等倍の解像度となる。
【０２８１】
図３０の左から５番目で示されるように、組み合わせ２８４における、撮像素子３２−２’’’の分割画素単位の解像度は、水平方向については、基準に対してナイキスト周波数fs/2と等倍の範囲となり、垂直方向には基準に対してナイキスト周波数fs/2と２倍になるひし形状の範囲である。このため、水平方向には基準に対して２倍の解像度となり、垂直方向には基準に対して２倍の解像度となる。
【０２８２】
以上のように組み合わせにより、瞳画素単位の解像度分布に対して、水平方向および垂直方向のそれぞれに必要とされる解像度を切り替えるようにすることが可能となる。
【０２８３】
結果として、マイクロレンズ直下において瞳分割された複数の画素のそれぞれの画素信号を有効に利用して高解像度の画像を撮像することが可能となる。
【０２８４】
＜３−４．第２の実施の形態の第４の変形例＞
以上においては、撮像素子３２−１，３２−２の撮像に係る光軸が異なるので、撮像素子３２−１，３２−２により撮像される画像には視差が生じる場合の例について説明してきた。しかしながら、同一光源からの光を、ビームスプリッタを用いることで分光させるようにすることで視差のない同一の光軸の画像として処理できるようにしてもよい。
【０２８５】
すなわち、例えば、図３１で示されるように、光学部３１の後段にビームスプリッタ３０１を設け、図中の左方向から入射する入射光を分光して撮像素子３２−１，３２−２にそれぞれ透過させるようにしてもよい。
【０２８６】
このような構成により、光学部３１を透過する同一の光軸の光を撮像素子３２−１，３２−３に透過させることが可能となる。
【０２８７】
結果として、以降の処理において、ワープ処理部２０３を設ける必要がなくなる。
【０２８８】
＜４．第３の実施の形態＞
以上においては、撮像素子３２−１，３２−２は、図３２の左部で示されるように、１個のマイクロレンズＭＬの直下に構成される瞳画素Ｐに対して、分割画素ＰＬ，ＰＲが２個設けられている例について説明してきた。しかしながら、マイクロレンズＭＬの直下に分割して配置される画素数はそれ以上であってもよい。例えば、図３２の中央部で示されるように、１個のマイクロレンズＭＬの直下の瞳画素Ｐについて、３画素×３画素の分割画素Ｐ１乃至Ｐ９が設けられている。図３２の撮像素子３２は、いわゆるライトフィールドカメラと呼ばれるものである。
【０２８９】
図３２の中央部の場合、視差ベクトルを求めるときには、図３２の右部で示されるように、各瞳画素Ｐにおける分割画素Ｐ４，Ｐ６の画素値の差分を用いて視差ベクトルを求めるようにしてもよい。
【０２９０】
また、図３３の左部で示されるように、瞳画素Ｐを構成する３画素×３画素における中央の画素Ｐ５と、その周辺の画素Ｐ１乃至Ｐ３，Ｐ４，Ｐ６，Ｐ７乃至Ｐ９とのそれぞれの視差ベクトルを用いて、画素Ｐ１乃至Ｐ３，Ｐ４，Ｐ６，Ｐ７乃至Ｐ９のそれぞれについてブレンド比を算出するようにして、それらの平均値をブレンド比αとしてもよい。さらに、分割画素Ｐ５と、その周辺の分割画素Ｐ１乃至Ｐ３，Ｐ４，Ｐ６，Ｐ７乃至Ｐ９とのそれぞれの視差ベクトルを合成し、合成された視差ベクトルに基づいてブレンド比αを求めるようにしてもよい。
【０２９１】
図３３の右部は、瞳画素Ｐを構成する３画素×３画素における中央の画素Ｐ５と、その周辺の画素Ｐ１乃至Ｐ３，Ｐ４，Ｐ６，Ｐ７乃至Ｐ９とのそれぞれの視差ベクトルを用いて、画素Ｐ１乃至Ｐ３，Ｐ４，Ｐ６，Ｐ７乃至Ｐ９のそれぞれについてブレンド比を算出するようにして、それらの平均値をブレンド比αにするようにした画像処理部３３の構成例を示している。
【０２９２】
図３３の画像処理部３３は、視差検出部３４１−１乃至３４１−８、判定部３４２、およびズーム処理部３４３を備えている。
【０２９３】
視差検出部３４１−１乃至３４１−８は、瞳画素Ｐを構成する３画素×３画素における中央の分割画素Ｐ５と、その周辺の分割画素Ｐ１乃至Ｐ３，Ｐ４，Ｐ６，Ｐ７乃至Ｐ９とのそれぞれの視差ベクトルを求めて判定部３４２に出力する。
【０２９４】
判定部３４２は、瞳画素Ｐのそれぞれについて、分割画素Ｐ５と、その周辺の分割画素Ｐ１乃至Ｐ３，Ｐ４，Ｐ６，Ｐ７乃至Ｐ９との視差ベクトルのそれぞれに基づいて、ブレンド比を算出し、さらに、それぞれに求められたブレンド比の平均値をブレンド比αとしてズーム処理部３４３に出力する。また、判定部３４２は、分割画素Ｐ５と、その周辺の分割画素Ｐ１乃至Ｐ３，Ｐ４，Ｐ６，Ｐ７乃至Ｐ９との視差ベクトルをベクトル合成して、合成された視差ベクトルに基づいてブレンド比αを求めるようにしてもよい。
【０２９５】
ズーム処理部３４３は、分割画素Ｐ１乃至Ｐ９の画素値の平均値を求めることで瞳画素Ｐ単位の画素値を求め、求められた平均値と、分割画素Ｐ１乃至Ｐ３，Ｐ４，Ｐ６，Ｐ７乃至Ｐ９の画素値とをそれぞれブレンド比αでブレンドし、分割画素Ｐ５については、例えば、画素値の平均値に置き換えるようにしてもよい。
【０２９６】
尚、視差ベクトルを求める手法、個々のブレンド比を算出する方法、およびブレンド比を用いて平均値と各分割画素の画素値とのブレンドについての基本的な処理については、いずれも図３の画像処理部３３における視差検出部５１、判定部５２、およびズーム処理部５３における処理と同様であるので、その説明は省略する。
【０２９７】
また、以上においては、１枚のマイクロレンズＭＬの直下に３画素×３画素からなる分割画素が設けられる構成について説明してきたが、それ以外の数の分割画素が設けられるようにしてもよく、例えば、５画素×５画素、または、７画素×７画素などの分割画素が設けられるようにしてもよい。
【０２９８】
＜５．第４の実施の形態＞
以上においては、瞳画素Ｐを構成する分割画素ＰＬ，ＰＲの視差ベクトルの大きさに応じてブレンドする例について説明してきたが、例えば、画像内の領域毎に分割画素ＰＬ，ＰＲの合算の有無を指定できるようにしてもよい。
【０２９９】
例えば、図３４の左部で示されるように、分割画素ＰＬからなる画像Ｐｉｃ−Ｌと、分割画素ＰＲからなる画像Ｐｉｃ−Ｒとを用いる場合、例えば、領域Ｚについて分割画素ＰＬ，ＰＲの画素値のそれぞれを合算して平均値を求めて、分割画素ＰＬ，ＰＲの画素値に置換するようにすることで、画像Ｐｉｃ−Ｍで示されるように、領域Ｚにボケを生じさせることができる。
【０３００】
図３５は、画像内の領域毎に分割画素ＰＬ，ＰＲの合算の有無を指定できるようにした画像処理部３３の構成例を示している。
【０３０１】
図３５の画像処理部３３は、合算非合算指示部３８１、L-R合算部３８２、およびフレームメモリ３８３を備えている。
【０３０２】
合算非合算指示部３８１は、操作部３７の操作に応じて、画像内における合算領域または非合算領域を指定する操作内容に応じて、対応する分割画素の画素位置における合算領域または非合算領域を指定する情報をL-R合算部３８２に出力する。
【０３０３】
L-R合算部３８２は、合算非合算指示部３８１より供給される、合算領域または非合算領域を指定する情報に基づいて、合算領域の瞳画素Ｐに対応する分割画素ＰＬ，ＰＲの画素値の平均値を求めて、分割画素ＰＬ，ＰＲの画素値に置換し、フレームメモリ３８３に記憶させる。
【０３０４】
これにより、合算が指定された領域の瞳画素Ｐについて、分割画素ＰＬ，ＰＲのそれぞれの画素値が、同一の平均値に置換されるので、瞳画素Ｐ単位で同一の画素値にされ、結果として、画像内にボケを生じさせることができる。
【０３０５】
＜図３５の画像処理部による画像処理＞
次に、図３６のフローチャートを参照して、図３５の画像処理部３３による画像処理について説明する。
【０３０６】
ステップＳ２３１において、合算非合算指示部３８１は、撮像素子３２−１の、分割画素ＰＲを表示部操作部３７の操作内容に応じた操作信号により、画像内における、合算非合算領域を指定する情報の入力を受け付ける。
【０３０７】
ステップＳ２３２において、合算非合算指示部３８１は、瞳画素単位で未処理の画素のいずれかを処理対象画素に設定する。
【０３０８】
ステップＳ２３３において、合算非合算指示部３８１は、処理対象画素が合算画素として指定されているか否かを判定する。
【０３０９】
ステップＳ２３３において、合算画素に指定されている場合、処理は、ステップＳ２３４に進む。
【０３１０】
ステップＳ２３４において、合算非合算指示部３８１は、処理対象画素の瞳画素Ｐを構成する分割画素ＰＬ，ＰＲの画素値の合算をL-R合算部３８２に指示する。これにより、L-R合算部３８２は、分割画素ＰＬ，ＰＲの画素値の合算値を求め、さらに、平均値を求めて、分割画素ＰＬ，ＰＲの画素値に置換してフレームメモリ３８３に格納させる。
【０３１１】
ステップＳ２３３において、合算画素に指定されていない場合、処理は、ステップＳ２３５に進む。
【０３１２】
ステップＳ２３５において、合算非合算指示部３８１は、処理対象画素の瞳画素Ｐを構成する分割画素ＰＬ，ＰＲの画素値をそのまま記憶させるように指示する。これにより、L-R合算部３８２は、分割画素ＰＬ，ＰＲの画素値のそれぞれをそのままフレームメモリ３８３に格納させる。
【０３１３】
ステップＳ２３６において、合算非合算指示部３８１は、瞳画素単位での未処理の画素があるか否かを判定し、未処理の画素がある場合、処理は、ステップＳ２３２に戻る。
【０３１４】
すなわち、瞳画素単位で未処理の画素がなくなるまで、合算非合算を示す情報に基づいて、分割画素ＰＬ，ＰＲを合算して平均値としてフレームメモリ３８３に格納させるか、または、そのままの分割画素の画素値としてフレームメモリ３８３に格納させる。
【０３１５】
そして、ステップＳ２３６において、未処理の画素がないとみなされた場合、処理は、ステップＳ２３７に進む。
【０３１６】
ステップＳ２３７において、全ての瞳画素が合算非合算の指定された情報に基づいて合算、または、非合算の状態の分割画素ＰＬ，ＰＲからなる画像がフレームメモリ３８３より出力される。
【０３１７】
以上の処理により、ユーザにより指定された領域の分割画素ＰＬ，ＰＲの画素値の平均値を求めて、置換することで、合算が指定された領域をボケさせることが可能となる。
【０３１８】
結果として、マイクロレンズ直下において瞳分割された複数の画素のそれぞれの画素信号を有効に利用して高解像度の画像を撮像することが可能となる。
【０３１９】
＜６．ソフトウェアにより実行させる例＞
ところで、上述した画像処理部３３，１９１の一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０３２０】
図３７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０３２１】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０３２２】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３２３】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０３２４】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３２５】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０３２６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３２７】
尚、図４２におけるCPU１００１が、制御部８３に、入力部１００６，出力部１００７が撮像部８１、および操作部８６に、通信部１００９が通信部８５にそれぞれ対応するものである。
【０３２８】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０３２９】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０３３０】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３３１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３３２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３３３】
尚、本開示は、以下のような構成も取ることができる。
＜１＞  瞳分割された複数の分割画素からなり画像を撮像する撮像素子と、
瞳単位で前記分割画素間の視差を検出する視差検出部と、
前記瞳分割された前記複数の分割画素の画素値に、前記瞳単位で前記視差に応じた処理を施す処理部と
を含む撮像装置。
＜２＞  前記処理部は、
前記複数の分割画素の画素値を瞳単位の平均値からなる合算画素値として求める合算部と、
前記視差に応じて、前記分割画素の画素値と、前記合算画素値とをブレンドする画素値ブレンド処理部とを含む
＜１＞に記載の撮像装置。
＜３＞  前記視差に応じて、前記分割画素の画素値と、前記合算画素値とをブレンドする際の画素値ブレンド比を算出する画素値ブレンド比算出部をさらに含み、
前記画素値ブレンド処理部が、前記視差に応じて算出される前記画素値ブレンド比で、前記分割画素の画素値と、前記合算画素値とをブレンドする
＜２＞に記載の撮像装置。
＜４＞  前記画素値ブレンド比算出部は、前記視差が大きい程、前記合算画素値の比率が高い画素値ブレンド比を算出し、前記視差が小さい程、前記分割画素の画素値の比率が高い画素値ブレンド比を算出する
＜３＞に記載の撮像装置。
＜５＞  前記撮像素子は、第１の撮像素子、および第２の撮像素子からなり、
前記第１の撮像素子は、瞳単位で所定の配色がなされたRGB画素から構成されており、
前記第２の撮像素子は、全画素が白色画素から構成されており、
前記視差検出部は、
前記第１の撮像素子により撮像された前記分割画素のそれぞれの画素値に基づいて、前記瞳単位で第１の視差を検出する第１の視差検出部と、
前記第２の撮像素子により撮像された前記分割画素のそれぞれの画素値に基づいて、前記瞳単位で第２の視差を検出する第２の視差検出部とからなり、
前記合算部は、
前記第１の撮像素子について、前記複数の分割画素の画素値を瞳単位の平均値として合算し、第１の合算画素値を求める第１の合算部と、
前記第２の撮像素子について、前記複数の分割画素の画素値を瞳単位の平均値として合算し、第２の合算画素値を求める第２の合算部とからなり、
前記画素値ブレンド処理部は、
前記第１の視差に応じて、前記第１の撮像素子の前記分割画素の画素値と、前記第１の合算画素値とをブレンドする第１のブレンド処理部と、
前記第２の視差に応じて、前記第２の撮像素子の前記分割画素の画素値と、前記第２の合算画素値とをブレンドする第２のブレンド処理部とからなり、
前記処理部は、
前記第１のブレンド処理部によりブレンドされた画素値の第１の輝度と、前記第２のブレンド処理部によりブレンドされた画素値の第２の輝度とをブレンドする輝度ブレンド処理部を含む
＜３＞に記載の撮像装置。
＜６＞  前記輝度ブレンド処理部は、前記第１のブレンド処理部によりブレンドされた画素値の第１の輝度と、前記第２のブレンド処理部によりブレンドされた画素値の第２の輝度とを所定の輝度ブレンド比でブレンドする
＜５＞に記載の撮像装置。
＜７＞  前記第１の輝度と、前記第２の輝度とに基づいて、前記輝度ブレンド比を算出する輝度ブレンド比算出部をさらに含む
＜５＞に記載の撮像装置。
＜８＞  前記輝度ブレンド比算出部は、
前記第１の輝度と、前記第２の輝度との差分に基づいて差分輝度ブレンド比を算出する差分輝度ブレンド比算出部と、
前記第２の輝度について、各画素の周辺画素における最大値と最小値とから得られるダイナミックレンジに基づいてダイナミックレンジ輝度ブレンド比を算出するダイナミックレンジ輝度ブレンド比算出部と、
前記差分輝度ブレンド比、および前記ダイナミックレンジ輝度ブレンド比のうち、小さい方を輝度ブレンド比として選択する選択部を含む
＜７＞に記載の撮像装置。
＜９＞  前記撮像素子の前段において、前記撮像素子に入射する光を集光する光学部と、
前記光学部を調整して前記光を集光する焦点位置を調整すると共に、焦点位置の基準となるポジションの情報を出力する焦点調整部と、
デプスを検出し、デプスマップを生成するデプス検出部とをさらに含み、
前記画素値ブレンド比算出部は、前記デプスマップより前記ポジションのデプスとほぼ同一のデプスとなるデプスマップの領域では、前記視差がほぼゼロであるとみなして、前記領域における前記分割画素の画素値と、前記合算画素値とをブレンドする際の画素値ブレンド比を算出する
＜３＞に記載の撮像装置。
＜１０＞  前記処理部は、
前記視差に基づいて、所定の学習により得られる所定数の係数と、前記分割画素と所定の位置関係の画素群からなる予測タップを構成する各画素の画素値との積和により前記分割画素の画素値を予測する予測部を含み、
前記予測部の予測結果を、前記瞳単位で前記視差に応じた処理を施した処理結果として出力する
＜１＞乃至＜９＞のいずれかに記載の撮像装置。
＜１１＞  前記分割画素と所定の位置関係の画素群からなるクラスタップ、および前記視差検出部により検出される視差に基づいて、前記分割画素をクラスに分類するクラス分類部と、
前記クラス毎に前記所定数の係数からなる係数セットを格納する係数セット格納部とをさらに含み、
前記予測部は、前記クラス分類部により分類されたクラスに対応する係数セットを、前記係数セット格納部より読み出し、前記係数セットの各係数と、前記分割画素と所定の位置関係の画素群からなる予測タップを構成する各画素の画素値との積和により前記分割画素の画素値を予測する
＜１０＞に記載の撮像装置。
＜１２＞  前記所定の学習は、高解像度画像からなる教師画像と、前記教師画像を前記瞳単位で前記視差に基づいてワーピングされ、さらに、低画質化されることで生成された生徒画像とを用いて、前記生徒画像の各画素について、所定の位置関係の画素群からなる予測タップを構成する画素の画素値と前記所定数の係数との積和の結果と、前記教師画像における対応する画素位置の画素値との誤差が統計的に最小となるように係数を決定する学習である
＜１０＞に記載の撮像装置。
＜１３＞  前記処理部により瞳単位で前記視差に基づいた処理が施された、前記複数の分割画素の画素値より、前記視差に基づいて、ノイズを除去するノイズ除去部をさらに含む
＜１＞乃至＜１２＞のいずれかに記載の撮像装置。
＜１４＞  前記画像の一部をズームするとき、前記ズームが指定された範囲の画素の画素値は、前記処理部により、前記瞳単位で前記視差に応じた処理が施された、前記瞳分割された前記複数の分割画素の画素値である
＜１＞乃至＜１３＞のいずれかに記載の撮像装置。
＜１５＞  前記撮像素子は、像面位相差型の撮像素子である
＜１＞乃至＜１４＞のいずれかに記載の撮像装置。
＜１６＞  前記撮像素子の分割画素は、水平方向に瞳分割された分割画素である
＜１＞乃至＜１５＞のいずれかに記載の撮像装置。
＜１７＞  前記撮像素子は、ライトフィールドカメラである
＜１＞乃至＜１６＞のいずれかに記載の撮像装置。
＜１８＞  瞳分割された複数の分割画素からなり画像を撮像する撮像素子の前記分割画素間の視差を検出し、
前記瞳分割された前記複数の分割画素の画素値に、前記瞳単位で前記視差に応じた処理を施す
ステップを含む撮像方法。
＜１９＞  瞳分割された複数の分割画素からなり画像を撮像する撮像素子と、
瞳単位で前記分割画素間の視差を検出する視差検出部と、
前記瞳分割された前記複数の分割画素の画素値に、前記瞳単位で前記視差に応じた処理を施す処理部と
を含む画像処理装置。
＜２０＞  瞳分割された複数の分割画素からなり画像を撮像する撮像素子の前記分割画素間の視差を検出し、
前記瞳分割された前記複数の分割画素の画素値に、前記瞳単位で前記視差に応じた処理を施す
ステップを含む画像処理方法。
【符号の説明】
【０３３４】
１１  撮像装置，  ３１，３１−１，３１−２  光学部，  ３２，３２−１，３２−２，３２−２’乃至，３２−２’’’  撮像素子，  ３３  画像処理部，  ５１  視差検出部，  ５２  判定部，  ５３  ズーム処理部，  ７１  合算部，  ７２  フレームメモリ，  ７３，７３−１，７３−２  デモザイク処理部，  ７４−１，７４−２  フレームメモリ，  ７５  ブレンド処理部，  ９１  ノイズ除去部，  １１１  AF制御部，  １１２  デプス検出部，  １２１  判定部，  １４１  ズーム処理部，  １６１  カメラシミュレーション処理部，  １６２  学習部，  １８１  分類部，  １８２  係数セットDB，  １８３  予測部，  １８４  フレームメモリ，  ２０１，２０１−１，２０１−２  L-R合算部，  ２０２  視差検出部，  ２０３  ワープ処理部，  ２０４，２０４−１，２０４−２  視差検出部，  ２０５，２０５−１，２０５−２  判定部，  ２０６，２０６−１，２０６−２  ズーム処理部，  ２０７  フュージョン処理部，  ２２１  信号変換部，  ２２２  ブレンド処理部，  ２２３  信号処理部，  ２２４  フレームメモリ，  ２２５  ブレンド比算出部，  ２４１  差分判定部，  ２４２  DR判定部，  ２５１  差分算出部，  ２５２  判定部，  ２５３  選択部，  ２６１  最大最小抽出部，  ２６２  判定部，  ３０１  ビームスプリッタ，  ３４１−１乃至３４１−８  視差検出部，  ３４２  判定部，  ３４３  ズーム処理部，  ３８１  合焦非合焦指示部，  ３８２  L-R合算部，  ３８３  フレームメモリ
【図１】
2018163843.tif 000009
【図２】
2018163843.tif 000010
【図３】
2018163843.tif 000011
【図４】
2018163843.tif 000012
【図５】
2018163843.tif 000013
【図６】
2018163843.tif 000014
【図７】
2018163843.tif 000015
【図８】
2018163843.tif 000016
【図９】
2018163843.tif 000017
【図１０】
2018163843.tif 000018
【図１１】
2018163843.tif 000019
【図１２】
2018163843.tif 000020
【図１３】
2018163843.tif 000021
【図１４】
2018163843.tif 000022
【図１５】
2018163843.tif 000023
【図１６】
2018163843.tif 000024
【図１７】
2018163843.tif 000025
【図１８】
2018163843.tif 000026
【図１９】
2018163843.tif 000027
【図２０】
2018163843.tif 000028
【図２１】
2018163843.tif 000029
【図２２】
2018163843.tif 000030
【図２３】
2018163843.tif 000031
【図２４】
2018163843.tif 000032
【図２５】
2018163843.tif 000033
【図２６】
2018163843.tif 000034
【図２７】
2018163843.tif 000035
【図２８】
2018163843.tif 000036
【図２９】
2018163843.tif 000037
【図３０】
2018163843.tif 000038
【図３１】
2018163843.tif 000039
【図３２】
2018163843.tif 000040
【図３３】
2018163843.tif 000041
【図３４】
2018163843.tif 000042
【図３５】
2018163843.tif 000043
【図３６】
2018163843.tif 000044
【図３７】
2018163843.tif 000045
【国際調査報告】
2018163843.tif 000046
2018163843.tif 000047