(57)【要約】【課題】視差が異なる複数画像の符号化を効率的にする。【解決手段】撮像部１０の撮像素子部１００において、各撮像素子２０２は、２つの光電変換部２０３、２０４に瞳分割されている。撮像素子部１００では、光電変換部２０３、２０４の各々からの信号を加算した加算信号（Ｄ）が生成され、出力される。また、光電変換部２０３、２０４の各々からの信号を平均した平均信号（Ｄ／２）が生成され、光電変換部２０３からの信号（Ａ像）と平均信号との差分をとった差分信号（Ｃ）が符号化されて出力される。【選択図】図４
2018046324.tif 000002
【特許請求の範囲】
【請求項１】
各々が撮像レンズの異なる瞳面の光を受光するように配置された光電変換部を、複数のマイクロレンズの各々に対応して複数備えた画素部を有し、前記画素部が２次元マトリックス状に配列された撮像素子部と、
前記光電変換部の各々からの信号を加算した加算信号を生成する第１の生成手段と、
前記光電変換部の各々からの信号を平均した平均信号を生成する第２の生成手段と、
前記光電変換部からの信号の少なくとも１つと前記第２の生成手段により生成された平均信号との差分をとった差分信号を生成する第３の生成手段と、
前記第３の生成手段により生成された差分信号を符号化する符号化手段と、
前記第１の生成手段により生成された加算信号と前記符号化手段により符号化された差分信号とを出力する出力手段と、を有することを特徴とする撮像センサ。
【請求項２】
前記撮像レンズの絞り値及び射出瞳距離の少なくとも一方に基づいて、前記光電変換部の各々からの信号を補正する補正手段を有し、
前記第３の生成手段は、前記光電変換部の各々からの信号の前記少なくとも１つであって前記補正手段により補正されたものと前記平均信号との差分をとって前記差分信号を生成することを特徴とする請求項１に記載の撮像センサ。
【請求項３】
前記光電変換部の受光特性に基づいて、前記補正手段による補正を行うかどうかを判定する判定手段を有することを特徴とする請求項２に記載の撮像センサ。
【請求項４】
前記第２の生成手段は、前記加算信号から前記平均信号を生成することを特徴とする請求項１〜３のいずれか１項に記載の撮像センサ。
【請求項５】
前記撮像素子部は、１つの前記マイクロレンズに対応して２つの前記光電変換部を有し、
前記第３の生成手段は、２つの前記光電変換部のうち一方の光電変換部からの信号と前記平均信号との差分をとって前記差分信号を生成することを特徴とする請求項１〜４のいずれか１項に記載の撮像センサ。
【請求項６】
前記撮像素子部は、１つの前記マイクロレンズに対応してｎ行×ｍ列の前記光電変換部を有し、
前記第３の生成手段は、ｎ×ｍ−１個の前記光電変換部の各々からの信号と前記平均信号との差分をとってｎ×ｍ−１個の前記差分信号を生成することを特徴とする請求項１〜４のいずれか１項に記載の撮像センサ。
【請求項７】
各々が撮像レンズの異なる瞳面の光を受光するように配置された光電変換部を、複数のマイクロレンズの各々に対応して複数備えた画素部を有し、前記画素部が２次元マトリックス状に配列された撮像素子部と、
前記光電変換部の各々からの信号のうち１つを基準信号として設定する設定手段と、
前記光電変換部の各々からの信号のうち前記設定手段により設定された基準信号以外の少なくとも１つの信号と前記基準信号との差分をとった差分信号を生成する生成手段と、
前記生成手段により生成された差分信号を符号化する符号化手段と、
前記基準信号と前記符号化手段により符号化された差分信号とを出力する出力手段と、を有することを特徴とする撮像センサ。
【請求項８】
前記撮像レンズの絞り値及び射出瞳距離の少なくとも一方に基づいて、前記光電変換部からの信号を補正する補正手段を有し、
前記生成手段は、前記光電変換部からの前記少なくとも１つの信号であって前記補正手段により補正されたものと前記基準信号との差分をとって前記差分信号を生成することを特徴とする請求項７に記載の撮像センサ。
【請求項９】
前記光電変換部の受光特性に基づいて、前記補正手段による補正を行うかどうかを判定する判定手段を有することを特徴とする請求項８に記載の撮像センサ。
【請求項１０】
前記撮像素子部は、１つの前記マイクロレンズに対応して３以上の奇数行×３以上の奇数列の前記光電変換部を有し、
前記設定手段は、前記光電変換部のうち前記奇数行の中央で且つ前記奇数列の中央に該当する光電変換部からの信号を前記基準信号として設定することを特徴とする請求項７〜９のいずれか１項に記載の撮像センサ。
【請求項１１】
前記生成手段は、前記光電変換部の各々からの信号のうち前記基準信号以外の全ての信号の各々と前記基準信号との差分をとって複数の前記差分信号を生成することを特徴とする請求項７〜１０のいずれか１項に記載の撮像センサ。
【請求項１２】
請求項１〜６のいずれか１項に記載の撮像センサと、
前記撮像センサにおける前記出力手段から出力された差分信号を復号化すると共に、前記復号化した差分信号と、前記出力手段から出力された加算信号とに基づいて、デフォーカス量を算出する処理手段と、を有する撮像装置。
【請求項１３】
請求項７〜１１のいずれか１項に記載の撮像センサと、
前記撮像センサにおける前記出力手段から出力された差分信号を復号化すると共に、前記復号化した差分信号と、前記出力手段から出力された基準信号とに基づいて、デフォーカス量を算出する処理手段と、を有する撮像装置。
【請求項１４】
各々が撮像レンズの異なる瞳面の光を受光するように配置された光電変換部を、複数のマイクロレンズの各々に対応して複数備えた画素部を有し、前記画素部が２次元マトリックス状に配列された撮像素子部、を有する撮像センサの制御方法であって、
前記光電変換部の各々からの信号を加算した加算信号を生成する第１の生成ステップと、
前記光電変換部の各々からの信号を平均した平均信号を生成する第２の生成ステップと、
前記光電変換部からの信号の少なくとも１つと前記第２の生成ステップにより生成された平均信号との差分をとった差分信号を生成する第３の生成ステップと、
前記第３の生成ステップにより生成された差分信号を符号化する符号化ステップと、
前記第１の生成ステップにより生成された加算信号と前記符号化ステップにより符号化された差分信号とを出力する出力ステップと、を有することを特徴とする撮像センサの制御方法。
【請求項１５】
各々が撮像レンズの異なる瞳面の光を受光するように配置された光電変換部を、複数のマイクロレンズの各々に対応して複数備えた画素部を有し、前記画素部が２次元マトリックス状に配列された撮像素子部、を有する撮像センサの制御方法であって、
前記光電変換部の各々からの信号のうち１つを基準信号として設定する設定ステップと、
前記光電変換部の各々からの信号のうち前記設定ステップにより設定された基準信号以外の少なくとも１つの信号と前記基準信号との差分をとった差分信号を生成する生成ステップと、
前記生成ステップにより生成された差分信号を符号化する符号化ステップと、
前記基準信号と前記符号化ステップにより符号化された差分信号とを出力する出力ステップと、を有することを特徴とする撮像センサの制御方法。
【請求項１６】
請求項１４または１５に記載の撮像センサの制御方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の光電変換部に瞳分割された画素部を有する撮像センサから視差画像を取得する技術に関する。
【背景技術】
【０００２】
従来、撮像レンズの射出瞳を複数の領域に分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。特許文献１には、１つの画素が１つのマイクロレンズと２つの副画素に分割された受光部からなり、分割された各々の副画素が撮像レンズの異なる瞳面の光を受光するように構成された２次元撮像センサを用いた撮像装置が開示されている。１つの画素が１つのマイクロレンズと複数の副画素に分割された受光部からなり、分割された各々の副画素が撮像レンズの異なる瞳面の光を受光するように構成された２次元撮像素子を、ここでは、「瞳分割型の撮像センサ」と呼ぶ。瞳分割型の撮像センサのうち、特に１つの画素がｎ行ｍ列の副画素に分割されているものを、ｎ行ｍ列の瞳分割型の撮像センサと呼ぶ。瞳分割型の撮像センサにより取得された各々の瞳面の受光画像を瞳分割画像と呼ぶ。
【０００３】
特許文献１には、撮像センサから２つに分割された瞳分割画像をそれぞれ別々の画像として出力するモードと、２つに分割された瞳分割画像の各画素を加算した画像を加算画像として出力するモードとが開示されている。この加算画像は、１つの画素が１つのマイクロレンズに対応した射出瞳が分割されない構成の撮像センサの出力画像と同等の画像となる。
【０００４】
２つに分割された瞳分割画像は視差が異なる画像となることから、２つの画像の相関量を算出し、相関量から像ずれ量を求めることで、位相差方式のデフォーカス量を算出する手法が提案されている。デフォーカス量の算出により焦点検出やデフォーカスマップの生成を行うことができる。特許文献１の撮像装置によりデフォーカス量を算出する場合、撮像センサから視差が異なる２つの画像を読み出すことから、１画素当りの画像の読み出し時間が、加算画像を読み出す場合と比較して倍増し、伝送路の帯域を圧迫する。
【０００５】
一方、特許文献２では、撮像センサ内で画像の圧縮符号化を行う撮像装置が開示される。特許文献２では、高解像度化、動画像の高フレームレート化に伴う撮像センサからの画像の読み出しデータ量の増加に対して、撮像センサ内で画像を圧縮符号化することで、撮像センサからの画像の読み出しデータ量を削減する方法が提案される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−０８３４０７号公報
【特許文献２】特開２０１４−１０３５４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２の方法を、瞳分割型の撮像センサから視差が異なる複数の画像を読み出す処理に適用した場合、視差が異なるそれぞれの画像に対して独立に圧縮符号化の処理を行うことになるため、符号化効率が低いという問題がある。符号化効率が低くデータ量が多くなると、適切なフレームレートを確保するのが困難となる。視差が異なる複数の画像は互いに類似している画像であることから、符号化効率向上の観点で改善の余地がある。
【０００８】
本発明は、視差が異なる複数画像の符号化を効率的にすることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明は、各々が撮像レンズの異なる瞳面の光を受光するように配置された光電変換部を、複数のマイクロレンズの各々に対応して複数備えた画素部を有し、前記画素部が２次元マトリックス状に配列された撮像素子部と、前記光電変換部の各々からの信号を加算した加算信号を生成する第１の生成手段と、前記光電変換部の各々からの信号を平均した平均信号を生成する第２の生成手段と、前記光電変換部からの信号の少なくとも１つと前記第２の生成手段により生成された平均信号との差分をとった差分信号を生成する第３の生成手段と、前記第３の生成手段により生成された差分信号を符号化する符号化手段と、前記第１の生成手段により生成された加算信号と前記符号化手段により符号化された差分信号とを出力する出力手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、視差が異なる複数画像の符号化を効率的にすることができる。
【図面の簡単な説明】
【００１１】
【図１】撮像装置のブロック図である。
【図２】撮像部のブロック図である。
【図３】撮像素子部の画素配列の構成例（図（ａ））、撮像素子の拡大断面図（図（ｂ））である。
【図４】受光データ処理部のブロック図である。
【図５】Ａ像とＢ像の像高中心の受光感度特性の例を示す図である。
【図６】デフォーカスマップの生成処理のフローチャートである。
【図７】像ずらし量と相関量との関係を示す図である。
【図８】Ａ像とＢ像の受光感度特性が非対称的となる例を示す図である。
【図９】受光データ処理部のブロック図である。
【図１０】対称補正処理のフローチャートである。
【図１１】デフォーカスマップの生成処理のフローチャートである。
【図１２】撮像素子部の画素配列の構成例（図（ａ））、撮像素子の拡大断面図（図（ｂ））、図１２（ｂ）のＡ−Ａ線に沿う断面図（図（ｃ））である。
【図１３】受光データ処理部のブロック図である。
【図１４】加算画像と複数の圧縮符号化画像を出力する処理のフローチャートである。
【図１５】デフォーカスマップの生成処理のフローチャートである。
【図１６】受光データ処理部のブロック図である。
【図１７】基準画像と複数の圧縮符号化画像を出力する処理のフローチャートである。
【図１８】デフォーカスマップの生成処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態を説明する。
【００１３】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像センサを有する撮像装置のブロック図である。この撮像装置１は例えばデジタルカメラとして構成される。本実施の形態では、１行２列の瞳分割型の撮像センサを有するデジタルカメラにおいて、撮像センサから２つの画像を読み出す処理を説明する。撮像センサから読み出す２つの画像の１つは加算画像とし、もう１つは瞳分割画像の平均画像と瞳分割画像との差分を符号化した画像とする。
【００１４】
撮像装置１において、撮像レンズ３は、ズームレンズ、フォーカスレンズを含むレンズ群、レンズ制御部、絞りなどにより構成される（個々には図示せず）。撮像レンズ３は、システム制御部２０から送信される制御信号により、レンズ制御部によって焦点の調整や絞り値（Ｆ値）が制御される。撮像部１０は瞳分割型の撮像センサであり、被写体の光学像を電気信号に変換する撮像素子を備える。撮像素子は、例えばＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）素子等で構成されるエリアイメージセンサである。撮像部１０は撮像した画像に対して、撮像部１０の内部で加算や符号化を行い、加算画像と符号化画像を画像処理部３０に出力する。撮像部１０の詳細は後述する。
【００１５】
画像処理部３０は、撮像部１０から出力されるデータ、またはメモリ５０から読み出されるデータに対し、所定の画素補間や縮小といったリサイズ処理、色変換処理、後述する画像の復号化やデフォーカス量の算出を行う。また、画像処理部３０では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部２０が露光制御、測距制御を行う。これにより、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＡＦ（オートフォーカス）処理が行われる。
【００１６】
撮像部１０からの出力データは、直接にメモリ５０に書き込まれるか、または画像処理部３０を介してメモリ５０に書き込まれる。メモリ５０は、撮像部１０によって得られた画像データや、表示部１４に表示するための画像データを格納する。メモリ５０は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ５０は画像表示用のメモリ（ビデオメモリ）を兼ねている。
【００１７】
Ｄ／Ａ変換器１３は、メモリ５０に格納されている画像表示用のデータをアナログ信号に変換して表示部１４に供給する。メモリ５０に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部１４により表示される。不揮発性メモリ４０は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等である。不揮発性メモリ４０には、システム制御部２０の動作用の定数のほか、後述する各種フローチャートを実行するための制御プログラムが格納される。また、不揮発性メモリ４０には、後述する瞳分割画像の受光感度特性（受光特性）の補正に使用される補正パラメータが記憶される。
【００１８】
システム制御部２０は、撮像装置１の全体を制御する。システム制御部２０は、前述した不揮発性メモリ４０に記録された制御プログラムを実行することで後述する各処理を実現する。システムメモリ２１に例えばＲＡＭが用いられる。システムメモリ２１には、システム制御部２０の動作用の定数、変数のほか、不揮発性メモリ４０から読み出したプログラム等が展開される。記録媒体４は、撮像された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。記録媒体Ｉ/Ｆ６０は、メモリカードやハードディスク等の記録媒体４とのインターフェースである。
【００１９】
図２は、撮像部１０のブロック図である。撮像部１０は、撮像素子部１００、Ａ（アナログ）／Ｄ（デジタル）変換器１０１、受光データ処理部１０２及び画像送信部１０３から構成される。
【００２０】
図３（ａ）は、撮像素子部１００の画素配列の構成例を示す模式図である。撮像素子部１００は、撮像素子２０２（画素部）が２次元マトリックス状に配列されている。図３（ａ）では、２次元配列における縦７行と横７列の範囲について、撮像レンズ３側から見た状態が示されている。カラーフィルタとしてはベイヤー配列が適用され、奇数行の撮像素子２０２には、左から順に緑（Ｇ）と赤（Ｒ）のカラーフィルタが交互に設けられる。偶数行の撮像素子２０２には、左から順に青（Ｂ）と緑（Ｇ）のカラーフィルタが交互に設けられる。
【００２１】
図３（ｂ）は、撮像素子部１００のある１つの撮像素子２０２の断面構造を拡大して示す図である。複数の撮像素子２０２の各々の構成は共通であるので、代表して１つについて説明する。撮像素子２０２は、マイクロレンズ２０１と、入射光を受光して電気信号に変換する一対の光電変換部２０３、２０４とから構成される。光電変換部２０３と光電変換部２０４は、分割された各々が撮像レンズ３の異なる瞳面の光を受光するように配置・構成されている。
【００２２】
本実施の形態では、光電変換部２０３により光電変換された画像信号に対応する第１の画像をＡ像と称し、光電変換部２０４によって光電変換された画像信号に対応する第２の画像をＢ像と称する。光電変換部２０３、２０４から、一対の視差を有する画像信号が取得される。なお、光電変換部の分割方向および分割数については、仕様に応じて任意に変更が可能である。本実施の形態では、撮像素子部１００は、光電変換部２０３の画像信号と光電変換部２０４の画像信号を１行単位で交互にＡ／Ｄ変換器１０１に送信するものとする。なお、光電変換部２０３の画像信号と光電変換部２０４の画像信号を同時にＡ／Ｄ変換器１０１に送信できる構成としてもよい。Ａ／Ｄ変換器１０１（図２）は、光電変換部２０３と光電変換部２０４とから取得したアナログ信号をデジタル信号に変換し、受光データ処理部１０２に送信する。
【００２３】
図４は、受光データ処理部１０２のブロック図である。受光データ処理部１０２は、加算部１０４、平均画像生成部１０５、画像選択部１０６、減算部１０７及び符号化部１０８を有する。受光データ処理部１０２は、Ａ／Ｄ変換器１０１から送信されたＡ像とＢ像の各データを加算部１０４で加算することで通常の撮像画像データを生成する。Ａ像とＢ像を加算して得られる画像を「加算画像」と呼ぶ。加算画像は、加算部１０４からＮ画素（Ｎは１以上の整数）単位で画像送信部１０３に送信される。
【００２４】
平均画像生成部１０５は、加算画像（加算信号）の各画素のデータを１ビット右シフトすることで平均画像（平均信号）を生成する。なお、平均画像生成部１０５は、加算画像の各画素の最下位ビットを０捨１入して平均画像を生成してもよい。画像選択部１０６は、減算部１０７において減算に使用する瞳分割画像を、Ａ像、Ｂ像のいずれとするかを選択する。いずれが選択されるかは予め設定されていてもよい。本実施の形態ではＡ像が選択されるとする。なお、Ｂ像を選択しても同様の圧縮符号化の効果が得られるので、Ｂ像を選択してもよい。
【００２５】
減算部１０７は、画像選択部１０６で選択された画像を平均画像（Ｄ／２）から減算して差分画像（差分信号）を生成する。例えば、ある画素のＡ像の値（画素値）をＡとし、Ｂ像の値をＢとし、差分画像の値をＣとし、加算画像の値をＤとする。すると、値Ｃ、値Ｄは式１、２で表される。
【００２６】
−Ａ／２＋Ｂ／２＝Ｃ…（式１）
Ａ＋Ｂ＝Ｄ…（式２）
符号化部１０８は、減算部１０７で生成された差分画像の値Ｃを、ＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）によりＮ画素単位で符号化し、符号化した差分画像を画像送信部１０３に送信する。
【００２７】
図５は、Ａ像とＢ像の像高中心（画像の中央）の受光感度特性の例を示す図である。同図において、横軸に撮像素子２０２への入射角度、縦軸に受光強度をとっている。Ａ像の受光感度特性５００とＢ像の受光感度特性５０１とを比べる。光電変換部２０３、２０４の受光感度特性が図５に例示したように対称的である場合、Ａ像とＢ像とで受光感度特性は異なるが、合焦近傍の被写体のＡ像とＢ像は同程度の受光強度を示す。そのため、合焦近傍のＡ像の値ＡとＢ像の値Ｂの値は、同程度の値となる。従って、合焦近傍では、差分画像の値Ｃとしては０に近い値が期待できるため、ＤＰＣＭにより効率的な圧縮符号化ができる。
【００２８】
また、平均画像（Ｄ／２）の生成に加算画像の値Ｄを使用しているので、撮像部１０内の回路規模の増加が抑えられる。なお、差分画像の値ＣをＤＰＣＭによりＮ画素単位で符号化するものとしたが、ＤＰＣＭではなく他の方式で差分画像を符号化してもよい。画像送信部１０３は、加算画像と符号化された差分画像（Ｃ）とを１行単位またはＮ画素単位で交互に画像処理部３０に送信（出力）する。
【００２９】
なお、受光データ処理部１０２は、システム制御部２０と協働して、本発明における第１の生成手段、第２の生成手段、第３の生成手段としての役割を果たす。画像送信部１０３は、システム制御部２０と協働して、本発明における出力手段としての役割を果たす。
【００３０】
次に画像処理部３０の処理の詳細について説明する。画像処理部３０は、加算画像と差分画像とからＡ像とＢ像を生成し、Ａ像とＢ像の相関量を算出し、相関量から像ずれ量を求めることで、デフォーカス量を算出する。図６はこのデフォーカスマップの生成処理のフローチャートである。このフローチャートの処理は、システム制御部２０が、不揮発性メモリ４０に格納されたプログラムをシステムメモリ２１に読み出して実行することにより実現される。この処理は、メモリ５０に加算画像と符号化画像が記憶されると開始される。
【００３１】
まず、ステップＳ１００では、システム制御部２０は、メモリ５０から加算画像と符号化画像（差分画像）を読み出して画像処理部３０に送信する。ステップＳ１０１では、システム制御部２０は、画像処理部３０を制御して、符号化画像を復号化して差分画像（Ｃ）を生成する。ステップＳ１０２では、システム制御部２０は、画像処理部３０を制御して、上記読み出した加算画像の値Ｄと上記復号化した差分画像の値Ｃとに基づいて、Ａ像とＢ像を生成する。Ａ像とＢ像は、各画素において式３と式４の連立方程式を解くことにより得られる。
【００３２】
Ａ＝−Ｃ＋Ｄ／２…（式３）
Ｂ＝Ｃ＋Ｄ／２…（式４）
次に、ステップＳ１０３では、システム制御部２０は、画像処理部３０を制御して、Ａ像とＢ像の相関演算を行い像ずれ量ｘを算出する。システム制御部２０は、Ａ像の画素データＡ１〜ＡＮ、Ｂ像の画素データＢ１〜ＢＮに対し、式５による周知の相関演算（ＳＡＤ：Sum of Absolute Difference）を行い、一対の被写体像の一致度を表す相関量Ｃ(ｋ)を演算する。
【００３３】
Ｃ(ｋ)＝Σ｜Ａｗ−Ｂｗ＋ｋ｜…（式５）
式５において、Σ演算は変数ｗについて累積される。変数ｗの範囲は、像ずらし量ｋに応じてデータＡｗ、Ｂｗ＋ｋが存在する範囲に限定される。像ずらし量ｋは整数であり、一対の被写体像信号列に対応する一対のデータ列のデータ間隔を単位とした相対的シフト量である。式５の演算結果では、図７に示すように、一対の被写体像信号列に対応する一対のデータ列の相関が高いときの像ずらし量において、相関量Ｃ（ｋ）が極小になる。相関量Ｃ（ｋ）の値が小さいほど、一対の被写体像の相関度が高く、すなわち一対の被写体像の一致度が大きい。
【００３４】
図７では、像ずらし量ｋ＝２のとき、相関量Ｃ（ｋ）は最も小さい値をとり、すなわち一対の被写体の一致度が最も大きい。像ずらし量ｋは整数のため、相関量Ｃ（ｋ）は離散値となるが、式６〜式９による３点内挿の手法を用い、連続的な相関量における極小値Ｃ（ｘ）を与える像ずれ量ｘを求める。
【００３５】
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ…（式６）
Ｃ（ｘ）＝Ｃ（ｋｊ）−｜Ｄ｜…（式７）
Ｄ＝｛Ｃ（ｋｊ−１）−Ｃ（ｋｊ＋１）｝／２…（式８）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）｝…（式９）
ステップＳ１０４では、システム制御部２０は、画像処理部３０を制御して、算出したＡ像とＢ像の像ずれ量ｘから、被写体の結像面に対するデフォーカス量ＤＥＦを式１０により算出し、デフォーカスマップを作成して処理を終了する。
【００３６】
ＤＥＦ＝ＫＸ・ＰＹ・ｘ…（式１０）
式１０において、ＰＹは撮像素子２０２の画素ピッチ（撮像素子を構成する画素間距離）である。ＫＸは一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数であり、その単位はｍｍ／ｐｉｘｅｌである。なお、一対の測距瞳を通過する光束の重心の開き角の大きさは、レンズの絞り開口の大きさ（Ｆ値）に応じて変化するので、レンズ情報に応じて決定される。システム制御部２０は、着目画素位置を１画素ずつずらしてデフォーカス量を算出することで、被写体のデフォーカス量分布を示すデフォーカスマップを生成することができる。
【００３７】
本実施の形態によれば、光電変換部２０３、２０４の各々からの信号を加算した加算信号（Ｄ）が生成され、出力される。また、光電変換部２０３、２０４の各々からの信号を平均した平均信号（Ｄ／２）が生成され、光電変換部２０３からの信号（Ａ像）と平均信号との差分をとった差分信号（Ｃ）が符号化されて出力される。
【００３８】
すなわち、視差が異なるそれぞれの画像（Ａ像、Ｂ像）に対して独立に圧縮符号化の処理を行うと符号化効率が低い。しかし、受光感度特性にもよるが、Ａ像、Ｂ像は互いに類似している画像であり、これらの差分画像の値Ｃは０に近い小さい値となる。そのため、差分画像を符号化することで、Ａ像、Ｂ像をそれぞれ符号化することに比べて符号化処理が効率的となり、データ量も小さくなる。よって、視差が異なる複数画像の符号化を効率的にし、適切なフレームレートを確保することができる。
【００３９】
（第２の実施の形態）
上記第１の実施の形態では、減算部１０７は、画像選択部１０６で選択された画像（Ａ像）を平均画像から減算して差分画像を生成した。これに対し、本発明の第２の実施の形態では、平均画像から減算する画像（Ａ像）を減算前に補正する。従って、撮像部１０を除く装置構成は第１の実施の形態と同様であるのでその説明は省略する。撮像素子部１００については１行２列の瞳分割型であり、第１の実施の形態と同様である。本実施の形態では、主として受光データ処理部１０２の構成が第１の実施の形態とは異なる。第１の実施の形態に対し、図５、図４、図６に代えて、図８、図９、図１１を用い、さらに図１０を加えて本実施の形態を説明する。
【００４０】
一般に、瞳分割型の撮像センサの受光感度特性は、撮像レンズの絞り値や射出瞳距離や像高位置などによって異なり、信号レベルの低下や信号強度むら等に起因して、Ａ像とＢ像の受光感度特性が非対称的となることがある。図８に、Ａ像とＢ像の受光感度特性が非対称的となる例を示す。Ａ像の受光感度特性６００とＢ像の受光感度特性６０１とが非対称的な特性である場合、実際には合焦状態であってもＡ像とＢ像の信号値に差が生じる。そのため、像ずれ量の算出において誤差が生じ、デフォーカス量の算出結果にも誤差が生じる。また、合焦状態であっても、瞳分割画像の平均画像からＡ像またはＢ像を減算した画像の差が大きくなる（０に近くならない）ため、圧縮効率が低下してしまう。
【００４１】
ここで、特開２０１２−１４１５８５号公報には、受光感度特性の非対称的な特性に対して、受光感度特性が対称的な特性で受光された画像と同等の画像となるように、補正パラメータを用いてＡ像とＢ像の画像を補正する処理が開示されている。この補正処理によれば、良好な焦点検出を行える。以後、このような画像補正処理を「対称補正処理」と呼ぶ。本実施の形態では、特開２０１２−１４１５８５号公報に記載されたのと同様の補正処理により対称補正処理を行う。対称補正処理に関する機能は、画像処理部３０と撮像部１０のそれぞれが持つものとする。
【００４２】
図９は、受光データ処理部１０２のブロック図である。受光データ処理部１０２は、加算部１１４、平均画像生成部１１５、画像選択部１１６、減算部１１７、符号化部１１８及び画像補正部１１９を有する。加算部１１４、平均画像生成部１１５、画像選択部１１６の構成は、図４の加算部１０４、平均画像生成部１０５、画像選択部１０６と同じである。従って、加算部１１４は加算画像（Ｄ＝Ａ＋Ｂ）を画像送信部１０３へ送信する。
【００４３】
画像補正部１１９は、画像選択部１１６で選択された画像（Ａ像またはＢ像）の対称補正処理を行う。本実施の形態ではＡ像が選択されるとするが、Ｂ像が選択されてもよい。以降、対称補正処理によってＡ像を補正した後の補正画像をＡ’像と呼び、Ｂ像を補正した後の補正画像をＢ’像と呼ぶ。画像補正部１１９で算出される、ある画素の補正係数をαとする。減算部１１７は、画像補正部１１９で補正された画像を平均画像から減算して差分画像を生成する。例えば、ある画素のＡ像の値をＡとし、Ｂ像の値をＢとし、差分画像の値をＥとし、Ａ’像の画像の値をＡ’とする。すると、値Ａ’、値Ｅは、式１１、１２で表される。
【００４４】
Ａ’＝αＡ…（式１１）
Ａ／２＋Ｂ／２―Ａ’＝Ｅ…（式１２）
符号化部１１８は、減算部１１７で生成された差分画像の値Ｅを、ＤＰＣＭによりＮ画素単位のアライメントで符号化し、画像送信部１０３に送信する。Ａ’像の値Ａ’は、合焦近傍では平均画像（Ｄ／２）の値と同程度の値となる。そのため、合焦近傍では差分画像の値Ｅとしては、０に近い値が期待できるため、ＤＰＣＭにより効率的な圧縮符号化が可能となる。また、平均画像の生成に加算画像の値Ｄを使用しているので、撮像部１０内の回路規模の増加が抑えられる。なお、差分画像の値ＥをＤＰＣＭによりＮ画素単位で符号化するものとしたが、ＤＰＣＭではなく他の方式で差分画像を符号化してもよい。画像送信部１０３は、加算画像と符号化した差分画像（Ｅ）とを１行単位またはＮ画素単位で交互に画像処理部３０に送信（出力）する。
【００４５】
図１０は、画像補正部１１９における対称補正処理のフローチャートである。このフローチャートの処理は、システム制御部２０が、不揮発性メモリ４０に格納されたプログラムをシステムメモリ２１に読み出して実行することにより実現される。この処理は、画像選択部１１６から画像補正部１１９にＡ像（またはＢ像）が入力されると開始される。
【００４６】
まず、ステップＳ２００では、システム制御部２０は、対称補正処理における画像補正条件として、画像選択部１１６で選択された補正対象画像（Ａ像とする）と撮像レンズ３の絞り値と撮像レンズ３の射出瞳距離とを取得する。ステップＳ２０１では、システム制御部２０は、不揮発性メモリ４０から画像補正条件に応じた補正パラメータを読み出し、撮像部１０の画像補正部１１９に送信する。この補正パラメータは、絞り値と射出瞳距離とに対応して予め記憶されている。なお、絞り値と射出瞳距離のいずれかのみに対応して補正パラメータが設定されていてもよい。ステップＳ２０２では、システム制御部２０は、画像補正部１１９を制御して、補正パラメータと画像の像高とに応じて補正係数αを算出する。ステップＳ２０３では、システム制御部２０は、画像補正部１１９を制御して、補正対象画像に対して、補正係数αを用いて対称補正処理による画像補正を実行して、図１０の処理を終了する。
【００４７】
次に画像処理部３０の処理の詳細について説明する。図１１は、デフォーカスマップの生成処理のフローチャートである。このフローチャートの処理は、システム制御部２０が、不揮発性メモリ４０に格納されたプログラムをシステムメモリ２１に読み出して実行することにより実現される。この処理は、メモリ５０に加算画像と符号化画像とが記憶されると開始される。この処理では、システム制御部２０は、加算画像と差分画像とからＡ’像とＢ’像を生成し、Ａ’像とＢ’像の相関量を算出し、相関量から像ずれ量ｘを求めることで、デフォーカス量を算出する。
【００４８】
まず、ステップＳ３００では、システム制御部２０は、メモリ５０から加算画像と符号化画像（差分画像）を読み出して画像処理部３０に送信する。ステップＳ３０１では、システム制御部２０は、画像処理部３０を制御して、符号化画像を復号化して差分画像を生成する。ステップＳ３０２では、システム制御部２０は、対称補正処理における画像補正条件として、撮像レンズ３の絞り値と撮像レンズ３の射出瞳距離とを取得する。ステップＳ３０３では、システム制御部２０は、不揮発性メモリ４０からＡ像とＢ像のそれぞれに関する画像補正条件に応じた補正パラメータを読み出し、画像処理部３０に送信する。
【００４９】
ステップＳ３０４では、システム制御部２０は、画像処理部３０を制御して、補正パラメータと画像の像高とに応じて補正係数αを算出する。Ａ像の補正係数αは、ステップＳ２０２で算出した補正係数αと同じとなる。算出したＢ像の補正係数をβとし、Ｂ’像の画像の値をＢ’とする。値Ｂ’は式１３で表される。
【００５０】
Ｂ’＝βＢ…（式１３）
ステップＳ３０５では、システム制御部２０は、画像処理部３０を制御して、加算画像（Ｄ＝Ａ＋Ｂ）と差分画像（Ｅ＝Ａ／２＋Ｂ／２−Ａ’）と補正係数α、βとからＡ’像及びＢ’像を生成する。ここで、Ａ’像、Ｂ’像は、各画素において式２と式１１と式１２と式１３の連立方程式を解くことにより得られる。値Ａ’、値Ｂ’は、式１４、式１５により表される。
【００５１】
Ａ’＝Ｅ−Ｄ／２…（式１４）
Ｂ’＝β｛（α＋１／２）Ｄ−Ｅ｝…（式１５）
ステップＳ３０６では、システム制御部２０は、画像処理部３０を制御して、Ａ’像とＢ’像の相関演算を行い像ずれ量ｘを算出する。この相関演算の処理は図６のステップＳ１０３と同様である。ステップＳ３０７では、システム制御部２０は、画像処理部３０を制御して、ステップＳ３０６で算出したＡ’像とＢ’像の像ずれ量ｘから、被写体の結像面に対するデフォーカス量を式１０により算出し、デフォーカスマップを作成して処理を終了する。この処理は図６のステップＳ１０４と同様である。
【００５２】
このように、瞳分割画像の平均画像と瞳分割画像の補正画像との差分を圧縮符号化した画像を生成することで、瞳分割画像の受光感度特性が非対称的な特性となる場合においても、効率的な圧縮符号化を行える。
【００５３】
本実施の形態によれば、視差が異なる複数画像の符号化を効率的にすることに関し、第１の実施の形態と同様の効果を奏することができる。また、差分画像（Ｅ）を生成するために、平均画像（Ｄ／２）から減算する信号（Ａ像）が、減算前に対称補正処理により補正される。これにより、仮にＡ像とＢ像との受光感度特性が非対称であったとしても、平均画像からＡ像を減算した後の差分画像が小さくなり、０に近くなることが期待される。従って、圧縮効率が高くなる。
【００５４】
なお、本実施の形態では、一律に対称補正処理を行うとしたが、撮像レンズの絞り値と射出瞳距離に応じた受光感度特性の対称性を考慮し、対称補正処理を行うどうかをシステム制御部２０が判定し、必要な場合にだけ対称補正処理を行う構成としてもよい。例えば、システム制御部２０は、非対称性の程度が所定以上の場合は、画像補正部１１９による対称補正処理が必要であると判定する。
【００５５】
（第３の実施の形態）
上記第１、第２の実施の形態では１行２列の瞳分割型の撮像センサを例示したが、本発明の第３の実施の形態では、３以上の奇数行×３以上の奇数列（ｎ行ｍ列）（３行３列）の瞳分割型の撮像センサを例示する。撮像センサから読み出す画像は、加算画像と、瞳分割画像の平均画像と瞳分割画像との差分を圧縮符号化した複数の圧縮符号化画像とする。従って、撮像部１０を除く装置構成は第１の実施の形態と同様であるのでその説明は省略する。本実施の形態では、主として受光データ処理部１０２の構成が第１の実施の形態とは異なる。第１の実施の形態に対し、図３、図４、図６に代えて、図１２、図１３、図１５を用い、さらに図１４を加えて本実施の形態を説明する。
【００５６】
図１２（ａ）は、撮像素子部１００の画素配列の構成例を示す模式図である。図１２（ａ）では、２次元配列における縦７行と横７列の範囲について、撮像レンズ３側から見た状態が示されている。カラーフィルタとしてはベイヤー配列が適用され、図３（ａ）の構成と同様である。図１２（ｂ）は、撮像素子部１００のある１つの撮像素子３０２の拡大図である。図１２（ｃ）は、図１２（ｂ）のＡ−Ａ線に沿う断面図である。複数の撮像素子３０２の各々の構成は共通であるので、代表して１つについて説明する。
【００５７】
撮像素子３０２は、複数のマイクロレンズ３０１の各々に対応して光電変換部を複数備える。すなわち、撮像素子３０２は、マイクロレンズ３０１と、入射光を受光して電気信号に変換する光電変換部３１１、３１２、３１３、３２１、３２２、３２３、３３１、３３２、３３３から構成される。各光電変換部は、分割された各々の素子が撮像レンズ３の異なる瞳面の光を受光するように配置・構成されている。本実施の形態では、各光電変換部で光電変換された画像信号に対応する瞳分割画像を、図１２（ｂ）に示すように、Ｐ１１像、Ｐ１２像、Ｐ１３像、Ｐ２１像、Ｐ２２像、Ｐ２３像、Ｐ３１像、Ｐ３２像、Ｐ３３像と称する。
【００５８】
図１３は、受光データ処理部１０２のブロック図である。受光データ処理部１０２は、加算部１２４、平均画像生成部１２５、画像選択部１２６、減算部１２７及び符号化部１２８を有する。受光データ処理部１０２は、Ａ／Ｄ変換器１０１から送信された各瞳分割画像である複数（９個）のＰｎｍ像（ｎ＝1〜３、ｍ＝１〜３）を加算部１２４で加算することで通常の撮像画像データを生成する。Ｐｎｍ像を加算した画像を加算画像と呼ぶ。加算画像は、Ｎ画素（Ｎは１以上の整数）単位で画像送信部１０３に送信される。
【００５９】
平均画像生成部１２５は、加算画像（Ｑ）を、加算に使用された瞳分割画像の数（ｎ×ｍ；この例では９）で除算するか、または数ビット右シフトすることで平均画像（Ｔ＝Ｑ／ｎ×ｍ）を生成する。画像選択部１２６は、減算部１２７で減算に使用する瞳分割画像を少なくとも１つ選択する。減算部１２７は、画像選択部１２６で選択された画像を平均画像から減算して差分画像を生成する。ある画素のＰｎｍ像の値をＰｎｍとし、加算画像の値をＱとし、平均画像の値をＴとし、平均画像とＰｎｍ像との差分画像の値をＳｎｍとする。値Ｑ、値Ｔ、値Ｓｎｍは、式１６〜式１８で表される。
【００６０】
【数１】
2018046324.tif 000003
【００６１】
符号化部１２８は、減算部１２７で生成された差分画像をＤＰＣＭによりＮ画素単位で画像を符号化し、画像送信部１０３に送信する。合焦近傍の被写体のＰｎｍ像のそれぞれの画素値である値Ｐｎｍは、互いに同程度の値となることが期待される。そのため、合焦近傍では差分画像の値Ｓｎｍは０に近い値となることが期待できるため、ＤＰＣＭにより効率的な圧縮符号化が可能となる。また、平均画像の値Ｔの生成に加算画像の値Ｑを使用しているので、撮像部１０内の回路規模の増加が抑えられる。なお、差分画像の値ＳｎｍをＤＰＣＭによりＮ画素単位で符号化するものとしたが、ＤＰＣＭではなく他の方式で差分画像を符号化してもよい。
【００６２】
図１４は、加算画像と複数の圧縮符号化画像を出力する処理のフローチャートである。このフローチャートの処理は、システム制御部２０が、不揮発性メモリ４０に格納されたプログラムをシステムメモリ２１に読み出して実行することにより実現される。この処理は、受光データ処理部１０２にＰｎｍ像が入力されると開始される。
【００６３】
まず、ステップＳ４００では、システム制御部２０は、加算部１２４を制御して、各瞳分割画像であるＰｎｍ像をＮ画素単位で加算して加算画像（Ｑ）を生成する。ステップＳ４０１では、システム制御部２０は、Ｎ画素単位の加算画像を加算部１２４から画像送信部１０３へ送信する。ステップＳ４０２では、システム制御部２０は、平均画像生成部１２５を制御して、平均画像（Ｔ）を生成する。ステップＳ４０３では、システム制御部２０は、差分画像の処理回数を計数するカウンタＣＴを１に設定する。
【００６４】
ステップＳ４０４では、システム制御部２０は、画像選択部１２６を制御して、差分画像の処理回数（カウンタＣＴの値）に応じて、減算部１２７で減算に使用する瞳分割画像であるＰｎｍ像を選択する。なお、画像選択部１２６で選択される画像の順番は、は、システム制御部２０により事前に設定されているものとする。ステップＳ４０５では、システム制御部２０は、減算部１２７を制御してＮ画素単位で差分画像（Ｓｎｍ）を生成する。ここでは、平均画像から、今回選択されているＰｎｍ像が減算されることで差分画像が生成される。
【００６５】
ステップＳ４０６では、システム制御部２０は、符号化部１２８を制御して、差分画像を符号化する。ステップＳ４０７では、システム制御部２０は、Ｎ画素単位の符号化された複数の差分画像を受光データ処理部１０２から画像送信部１０３へ送信する。ステップＳ４０８では、システム制御部２０は、設定された数の差分画像の処理を完了したか否かを判別する。本実施の形態では、設定数は８とする。そして、設定された数の差分画像の処理が完了していない場合、処理はステップＳ４０９へ進む。ステップＳ４０９では、システム制御部２０は、カウンタＣＴをインクリメント（ＣＴ←ＣＴ＋１）して、処理をステップＳ４０４に戻す。ステップＳ４０８で、設定された数の差分画像の処理が完了した場合、図１４の処理は終了する。従って、ステップＳ４０４〜Ｓ４０８の設定数の繰り返しによって、差分画像の送信数は設定数（例えば、８）となる。なお、図１４のフローチャートはＮ画素単位の処理を示しており、この処理を撮像素子部１００の全画素に対して繰り返すことで、１フレーム分の画像の読み出しが完了する。
【００６６】
次に画像処理部３０の処理の詳細について説明する。図１５は、デフォーカスマップの生成処理のフローチャートである。このフローチャートの処理は、システム制御部２０が、不揮発性メモリ４０に格納されたプログラムをシステムメモリ２１に読み出して実行することにより実現される。この処理は、メモリ５０に加算画像と符号化画像が記憶されると開始される。この処理では、システム制御部２０は、加算画像と複数の差分画像とから複数の瞳分割画像（Ｐｎｍ像）を生成し、複数のＰｎｍ像の相関量を算出し、相関量から像ずれ量ｘを求めることで、デフォーカス量を算出する。
【００６７】
ステップＳ５００では、システム制御部２０は、メモリ５０から加算画像と複数の符号化画像（差分画像）を読み出して画像処理部３０に送信する。ステップＳ５０１では、システム制御部２０は、画像処理部３０を制御して、複数の符号化画像を復号して複数の差分画像（Ｓｎｍ）を生成する。ステップＳ５０２では、システム制御部２０は、画像処理部３０を制御して、加算画像（Ｑ）と複数の差分画像（Ｓｎｍ）から複数の瞳分割画像（Ｐｎｍ像）を生成する。複数のＰｎｍ像は、各画素において式１６と式１７と式１８との連立方程式を解くことにより得られる。ただし、連立方程式を解くためには式１８におけるＳｎｍはｎ×ｍ−１個以上必要となる。本実施例ではｎ＝３、ｍ＝３としているので８個以上の値Ｓｎｍが必要となる。
【００６８】
ステップＳ５０３では、システム制御部２０は、相関演算を行う瞳分割画像の組み合わせのパラメータを不揮発性メモリ４０から読み出す。これらのパラメータは予め記憶されている。ステップＳ５０４では、システム制御部２０は、相関演算を行う瞳分割画像の組み合わせを決定する。ステップＳ５０５では、システム制御部２０は、画像処理部３０を制御して、ステップＳ５０４で決定された瞳分割画像の相関演算を行い、像ずれ量ｘを算出する。ここでの像ずれ量ｘの算出は、図６のステップＳ１０３と同様の処理である。
【００６９】
ステップＳ５０６では、システム制御部２０は、設定された数の組み合わせの相関演算が完了したか判定する。設定された数の組み合わせの相関演算が完了していない場合、処理はステップＳ５０４へ戻る。一方、設定された数の組み合わせの相関演算が完了すると、処理はステップＳ５０７へ移行する。ステップＳ５０７では、システム制御部２０は、画像処理部３０を制御して、複数の像ずれ量ｘからデフォーカス量を算出し、デフォーカスマップを作成して処理を終了する。この処理は図６のステップＳ１０４と同様である。
【００７０】
このように、瞳分割画像の平均画像と複数の瞳分割画像の各々との差分を符号化することで、効率的な圧縮符号化を行うことができる。また、複数の符号化画像を読み出すので、圧縮符号化による撮像センサからの読み出しデータ量削減の効果は読み出す画像の枚数に比例して大きくなる。
【００７１】
本実施の形態によれば、視差が異なる複数画像の符号化を効率的にすることに関し、第１の実施の形態と同様の効果を奏することができる。
【００７２】
なお、本実施の形態でも第２の実施の形態で採用した対称補正処理を適用しても良い。すなわち、差分画像の生成の際に平均画像から減算されるＰｎｍ像を、減算前に「対称補正処理」によって補正してもよい。
【００７３】
（第４の実施の形態）
本発明の第４の実施の形態における撮像センサはｎ行ｍ列（３行３列）の瞳分割型であり、撮像素子部１００の構成は第３の実施の形態（図１２）と同じである。撮像センサから読み出す画像は、後述する基準画像と、基準画像と複数の瞳分割画像の各々との差分を圧縮符号化した複数の圧縮符号化画像とする。なお、受光データ処理部１０２を除く装置構成は第３の実施の形態と同様である。第３の実施の形態に対し、図１３、図１４、図１５に代えて、図１６、図１７、図１８を用いて本実施の形態を説明する。
【００７４】
図１６は、受光データ処理部１０２のブロック図である。受光データ処理部１０２は、基準画像設定部１３５、画像選択部１３６、減算部１３７及び符号化部１３８を有する。基準画像設定部１３５は、複数に分割された光電変換部の中央部に位置する光電変換部の瞳分割画像を基準画像（基準信号）として設定する設定手段である。本実施の形態では３行３列構成を例示したので、Ｐ２２像が基準画像となる。画像選択部１３６は、減算部１３７において減算に使用する瞳分割画像を選択する。ただし、画像選択部１３６では基準画像とした画像は選択されない。つまり、Ｐ２２像以外（基準信号以外）のＰｎｍ像の少なくとも１つが選択される。減算部１３７は、画像選択部１３６で選択された画像を基準画像から減算して差分画像を生成する。ある画素のＰｎｍ像の値をＰｎｍとし、基準画像の値をＵとし、基準画像とＰｎｍ像との差分画像の値をＶｎｍとする。すると、値Ｕ、値Ｖｎｍは式１９、式２０で表される。
【００７５】
Ｕ＝Ｐ２２…（式１９）
Ｖｎｍ＝Ｕ−Ｐｎｍ…（式２０）
合焦近傍の被写体のＰｎｍ像のそれぞれの画素値である値Ｐｎｍは、互いに同程度の値となることが期待される。そのため、合焦近傍では差分画像の値Ｖｎｍは０に近い値となることが期待できるため、ＤＰＣＭにより効率的な圧縮符号化が可能となる。
【００７６】
図１７は、基準画像と複数の圧縮符号化画像を出力する処理のフローチャートである。このフローチャートの処理は、システム制御部２０が、不揮発性メモリ４０に格納されたプログラムをシステムメモリ２１に読み出して実行することにより実現される。この処理は、受光データ処理部１０２にＰｎｍ像が入力されると開始される。
【００７７】
まず、ステップＳ６００では、基準画像設定部１３５は、撮像素子３０２に対応する光電変換部の行数の中央で且つ列数の中央に該当するＰ２２像を基準画像として設定する。ステップＳ６０１では、システム制御部２０は、Ｎ画素単位の基準画像（Ｐ２２像）を受光データ処理部１０２から画像送信部１０３に送信する。ステップＳ６０２では、システム制御部２０は、図１４のステップＳ４０３と同様の処理を実行する。ステップＳ６０３では、システム制御部２０は、画像選択部１３６を制御して、差分画像の処理回数（カウンタＣＴの値）に応じて、減算部１３７で減算に使用する瞳分割画像であるＰｎｍ像を基準画像以外から選択する。なお、画像選択部１３６で選択される画像の順番は、システム制御部２０により事前に設定されているものとする。Ｐ２２像は基準画像なので選択されない。ステップＳ６０４では、システム制御部２０は、減算部１３７を制御してＮ画素単位で差分画像（Ｖｎｍ）を生成する。ここでは、基準画像（Ｕ）から、今回選択されているＰｎｍ像が減算されることで差分画像が生成される。ステップＳ６０５、Ｓ６０６では、システム制御部２０は、図１４のステップＳ４０６、Ｓ４０７と同様の処理を実行する。
【００７８】
ステップＳ６０７では、システム制御部２０は、設定された数の差分画像の処理を完了したか否かを判別する。本実施の形態では、設定数は８とする。そして、設定された数の差分画像の処理が完了していない場合、処理はステップＳ６０８へ進む。ステップＳ６０８では、システム制御部２０は、カウンタＣＴをインクリメント（ＣＴ←ＣＴ＋１）して、処理をステップＳ６０３へ戻す。ステップＳ６０７で、設定された数の差分画像の処理が完了した場合、図１７の処理は終了する。従って、ステップＳ６０３〜Ｓ６０８の設定数の繰り返しによって、差分画像の送信数は設定数（例えば、８）となる。なお、図１７のフローチャートはＮ画素単位の処理を示しており、この処理を撮像素子部１００の全画素に対して繰り返すことで、１フレーム分の画像の読み出しが完了する。
【００７９】
次に画像処理部３０の処理の詳細について説明する。図１８は、デフォーカスマップの生成処理のフローチャートである。このフローチャートの処理は、システム制御部２０が、不揮発性メモリ４０に格納されたプログラムをシステムメモリ２１に読み出して実行することにより実現される。この処理は、メモリ５０に基準画像と符号化画像が記憶されると開始される。この処理では、システム制御部２０は、基準画像と複数の差分画像とから複数の瞳分割画像（Ｐｎｍ像）を生成し、複数のＰｎｍ像の相関量を算出し、相関量から像ずれ量ｘを求めることで、デフォーカス量を算出する。
【００８０】
ステップＳ７００では、システム制御部２０は、メモリ５０から基準画像と複数の符号化画像（差分画像）を読み出して画像処理部３０に送信する。ステップＳ７０１では、画像処理部３０を制御して、複数の符号化画像を復号して複数の差分画像（Ｖｎｍ）を生成する。ステップＳ７０２では、システム制御部２０は、画像処理部３０を制御して、基準画像（Ｕ）と複数の差分画像（Ｖｎｍ）の各々とから複数の瞳分割画像（Ｐｎｍ像）を生成する。複数のＰｎｍ像は、各画素において式１９と式２０とから得られる。
【００８１】
Ｐｎｍ＝Ｐ２２−Ｖｎｍ（式２１）
ステップＳ７０３〜Ｓ７０７では、システム制御部２０は、図１５のステップＳ５０３〜Ｓ５０７と同様の処理を実行する。ここで、ステップＳ７０７でのデフォーカスマップの生成においては、複数の像ずれ量ｘから算出したデフォーカス量の平均値を使用したり、画像の方向性を考慮して複数の像ずれ量ｘから算出したデフォーカス量に重みづけをしたりしてもよい。通常画像は、画像処理部３０で全ての瞳分割画像が復号できる数（基準画像以外の画像の数）の圧縮符号化画像を撮像センサから読み出し、画像処理部３０で加算することで生成できる。
【００８２】
このように、基準画像と瞳分割画像との差分を符号化することで、効率的な圧縮符号化を行うことができる。また、複数の符号化画像を読み出すので、圧縮符号化による撮像センサからの読み出しデータ量削減の効果は読み出す画像枚数に比例して大きくなる。
【００８３】
本実施の形態によれば、視差が異なる複数画像の符号化を効率的にすることに関し、第１の実施の形態と同様の効果を奏することができる。
【００８４】
また、デフォーカスマップを生成することに限れば、撮像センサから読み出す圧縮符号化画像の数を減らす（例えば、７個以下にする）ことは可能である。そうすれば圧縮符号化の効率はさらに高まる。さらに、撮像センサ内に加算回路を持つ必要がないので、撮像センサ内の回路規模を削減することができる。
【００８５】
なお、本実施の形態でも第２の実施の形態で採用した対称補正処理を適用しても良い。すなわち、差分画像の生成の際に基準画像から減算されるＰｎｍ像を、減算前に「対称補正処理」によって補正してもよい。
【００８６】
なお、本実施の形態において、中央部になるべく近い光電変換部の瞳分割画像を基準画像とするのが符号化効率向上の観点からは望ましい。しかし、基準画像は中央部の光電変換部の瞳分割画像であることは必須でない。また、ｎ行ｍ列の光電変換部において、ｎまたはｍが偶数である場合、行、列の各方向における中央に最も近い位置に配置された光電変換部のうち１つの瞳分割画像を基準画像としてもよい。
【００８７】
なお、システム制御部２０による制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで全体の制御を行ってもよい。なお、本発明は、デジタルカメラに限らず、複数の光電変換部に瞳分割された画素部を有する撮像センサを備える撮像装置に適用可能である。従って、撮像装置の呼称はカメラに限らず、携帯端末装置、画像ビューワ、デジタルフォトフレーム、音楽プレーヤ、ゲーム機、電子ブックリーダ等であってもよい。
【００８８】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【００８９】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【００９０】
２０  システム制御部
１００  撮像素子部
１０２  受光データ処理部
１０３  画像送信部
１０４  加算部
１０５  平均画像生成部
１０７  減算部
１０８  符号化部
２０２、３０２  撮像素子
２０３、２０４、３１１〜３１３、３２１〜３２３、３３１〜３３３  光電変換部
【図１】
2018046324.tif 000004
【図２】
2018046324.tif 000005
【図３】
2018046324.tif 000006
【図４】
2018046324.tif 000007
【図５】
2018046324.tif 000008
【図６】
2018046324.tif 000009
【図７】
2018046324.tif 000010
【図８】
2018046324.tif 000011
【図９】
2018046324.tif 000012
【図１０】
2018046324.tif 000013
【図１１】
2018046324.tif 000014
【図１２】
2018046324.tif 000015
【図１３】
2018046324.tif 000016
【図１４】
2018046324.tif 000017
【図１５】
2018046324.tif 000018
【図１６】
2018046324.tif 000019
【図１７】
2018046324.tif 000020
【図１８】
2018046324.tif 000021