(57)【要約】【課題】複数の視点画像から合成画像を生成する場合に、領域ごとにユーザが意図した画像処理を可能とする。【解決手段】画像処理装置３００は、複数の視点画像を取得するメモリ３２１と、複数の視点画像に基づく画像データに画像処理を施して、合成画像を生成する視点変更処理部３２７と、視点変更処理部３２７による画像処理を行う領域を指定する領域指定部３２５と、領域指定部３２５が指定した領域ごとに画像処理の調整可能範囲の設定を行う調整部３２６と、を備える。【選択図】図２
2018121235.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点画像を取得する取得手段と、
前記複数の視点画像に基づく画像データに画像処理を施して、合成画像を生成する画像処理手段と、
前記画像処理手段による前記画像処理を行う領域を指定する指定手段と、
前記指定手段が指定した前記領域ごとに前記画像処理の調整可能範囲の設定を行う調整手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記指定手段は、ユーザからの指定に基づいて前記領域を指定し、
前記ユーザからの指定は、前記画像処理を行う領域の指定、もしくは、前記画像処理を行わない領域の指定であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記調整手段は、前記画像処理を行う領域の他の領域の調整可能範囲を、前記画像処理を行う領域の調整可能範囲より小さく設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像処理手段は、前記複数の視点画像を合成して前記合成画像を生成し、前記領域ごとに設定された前記調整可能範囲の範囲内で指定された調整値に基づいて、前記領域ごとに前記複数の視点画像の加算比率を決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像処理手段は、前記画像処理を行う所定の領域の境界領域における前記複数の視点画像の加算比率を、前記所定の領域の調整値と、前記所定の領域に隣接する領域の調整値に基づいて決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像処理は、視点移動の処理であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像処理は、リフォーカス処理または被写界深度の変更処理であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像処理を行う領域の指定をユーザが行うための画像と、前記調整可能範囲を示すユーザインタフェースを表示装置に出力する出力部をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の画像処理装置と、
被写体を撮像する撮像素子と、を備えることを特徴とする撮像装置。
【請求項１０】
前記撮像素子は、複数のマイクロレンズと、複数の光電変換部を有し、各マイクロレンズがそれぞれ前記複数の光電変換部に対応しており、
前記各マイクロレンズに対応する前記複数の光電変換部により出力される信号に基づく前記複数の視点画像が出力されることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
複数の視点画像を取得する工程と、
画像処理を行う領域を指定する工程と、
指定された領域ごとに前記画像処理の調整可能範囲の設定を行う工程と、
領域ごとに前記調整可能範囲の範囲内で設定された調整値を取得して、前記調整値に基づいて前記複数の視点画像に基づく画像データに画像処理を施して、合成画像を生成する工程と、を有することを特徴とする画像処理方法。
【請求項１２】
請求項１１に記載の各工程を画像処理装置のコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視点画像を同時に撮影することができる撮像装置が提案されている。
特許文献１は、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置を開示している。複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、瞳分割を行う。複数に分割された光電変換部で受光したそれぞれの信号から、分割された瞳部分領域に応じた複数の視点画像を生成することができる。特許文献２は、分割された光電変換部で受光した信号を、全て加算することにより撮像画像を生成する撮像装置を開示している。
【０００３】
撮影された複数の視点信号は、光強度の空間分布および角度分布情報であるライトフィールド（Ｌｉｇｈｔ  Ｆｉｅｌｄ）データと等価である。非特許文献１は、取得されたライトフィールドデータを用いて撮像面とは異なる仮想結像面における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許４４１０８０４号明細書
【特許文献２】特開２００１−０８３４０７号公報
【非特許文献】
【０００５】
【非特許文献１】Ａａｒｏｎ  Ｉｓａｋｓｅｎ、  Ｌｅｏｎａｒｄ  ＭｃＭｉｌｌａｎ、  Ｓｔｅｖｅｎ  Ｊ．  Ｇｏｒｔｌｅｒ、  “Ｄｙｎａｍｉｃａｌｌｙ  ｒｅｐａｒａｍｅｔｅｒｉｚｅｄ  ｌｉｇｈｔ  ｆｉｅｌｄｓ”、  ＳＩＧＧＲＡＰＨ‘００  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２７ｔｈ  ａｎｎｕａｌ  ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  ｇｒａｐｈｉｃｓ  ａｎｄ  ｉｎｔｅｒａｃｔｉｖｅ  ｔｅｃｈｎｉｑｕｅｓ、（ＵＳＡ）、２０００、ｐ．２９７−３０６
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、視点移動した合成画像を生成する場合に、複数の視点画像の重み付けが変化することにより、合成画像の一部においてボケ形状が真円から変形したボケ像となるなど、ユーザが意図しない画像変化が生じる場合がある。
【０００７】
本発明は、複数の視点画像から合成画像を生成する場合に、領域ごとにユーザが意図した画像処理を可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の画像処理装置は、複数の視点画像を取得する取得手段と、前記複数の視点画像に基づく画像データに画像処理を施して、合成画像を生成する画像処理手段と、前記画像処理手段による前記画像処理を行う領域を指定する指定手段と、前記指定手段が指定した前記領域ごとに前記画像処理の調整可能範囲の設定を行う調整手段と、を備える。
【発明の効果】
【０００９】
本発明によれば、複数の視点画像から合成画像を生成する場合に、領域ごとにユーザが意図した画像処理を可能とする画像処理装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置の構成例を示すブロック図である。
【図２】画像処理装置の構成例を示すブロック図である。
【図３】画素配列の概略図である。
【図４】画素の概略平面図と概略断面図である。
【図５】画素と瞳分割の概略説明図である。
【図６】画素内部の光強度分布の例を示す図である。
【図７】瞳強度分布の例を示す図である。
【図８】撮像素子と瞳分割の概略説明図である。
【図９】第１視点画像と第２視点画像のデフォーカス量と像ずれ量の概略関係図である。
【図１０】視点移動の概略説明図である。
【図１１】撮像素子の周辺像高での瞳ずれの概略説明図である。
【図１２】視点画像の例を示す図である。
【図１３】視点画像とユーザインタフェースの概略図である。
【図１４】メインフローチャートである。
【図１５】視点変更処理のサブフローチャートである。
【図１６】現像処理のサブフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について図面などを参照して説明する。なお、以下の実施形態では、デジタルカメラ等の撮像装置に適用した場合について説明するが、本発明に係る画像処理を実行する画像処理装置や情報処理装置、電子機器等に幅広く適用可能である。
【００１２】
図１は、撮像素子を有する撮像装置の構成例を示すブロック図を示している。画像処理装置３００は、撮像装置に備えられていてもよいし、撮像装置とは別に独立して存在してもよい。
撮像装置の詳細について説明する。撮像光学系（結像光学系）の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサと周辺回路からなり、撮像光学系の結像面に配置される。本実施形態の撮像素子１０７の各画素は、複数の光電変換部に対応する複数の副画素（例えば、第１副画素と第２副画素）を有しており、構成の詳細については、図３〜５を用いて後述する。
【００１３】
ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。
【００１４】
被写体照明用の電子フラッシュ１１５は撮影時に使用し、キセノン管を用いた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。
【００１５】
カメラ本体部の制御部を構成するＣＰＵ（中央演算処理装置）１２１は、種々の制御を司る制御中枢機能をもつ。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバーター、Ｄ／Ａコンバーター、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムに従って、カメラ内の各種回路を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。また、ＣＰＵ１２１は、後述する画像処理装置３００の機能を有していてもよい。
【００１６】
電子フラッシュ制御回路１２２はＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源回路１２３はＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は撮像素子１０７の撮像動作を制御するとともに、取得した撮像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５はＣＰＵ１２１の制御指令に従い、撮像素子１０７により取得した画像のガンマ変換、カラー補間、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）圧縮等の処理を行う。
【００１７】
フォーカス駆動回路１２６はＣＰＵ１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８はＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９はＣＰＵ１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。
【００１８】
表示部１３１はＬＣＤ（液晶表示装置）等の表示デバイスを有し、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部１３２は操作スイッチとして、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備え、操作指示信号をＣＰＵ１２１に出力する。フラッシュメモリ１３３はカメラ本体部に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。
【００１９】
次に、図２を用いて画像処理装置３００の構成について説明する。図２は、画像処理装置３００の構成例を示すブロック図である。
メモリ３２１は、画像データを保存する。保存する画像データは、表示部１３１での表示やフラッシュメモリ１３３への記録などにも用いる撮像画像および複数の視点画像である。撮像画像は、第１副画素と第２副画素の信号を全て合成した画像（Ａ＋Ｂ像）である。視点画像は、例えば、画素毎に第１副画素の信号を選択し生成した、第１視点画像（Ａ像）である。減算部３２２は、撮像画像（Ａ＋Ｂ像）から第１視点画像（Ａ像）を減算することで第２視点画像（Ｂ像）を生成する。メモリ３２１は、例えば、撮像素子１０７から取得されフラッシュメモリ１３３に記録され画像データを、フラッシュメモリ１３３から取得する。
【００２０】
シェーディング処理部３２３は、第１視点画像と第２視点画像の像高による光量変化を補正する。操作部３２４は、ユーザが視点移動の調整を行うユーザインタフェースを生成し、出力部３１４を介して不図時の表示装置へ表示し、ユーザがユーザインタフェースにて設定した視点移動とピント調整（リフォーカス）の調整値を受け取る。そして、ユーザが操作した調整値を視点変更処理部３２７へ転送する。視点変更処理部３２７は、操作部３２４から取得した調整値に基づき、複数の視点画像を用いて画像処理を行う。視点変更処理部３２７は、画像処理により、視点画像の加算比率を変えて視点変更した画像や被写界深度を変更した画像を生成する。
【００２１】
画像から複数の領域を指定する領域指定手段である領域指定部３２５は、ユーザが表示画面上のＵＩ操作により画像内の任意の領域指定を可能にし、指定された領域の座標位置、縦横サイズなどの座標情報を記憶し、調整部３２６へ受け渡す。調整部３２６は、領域指定部３２５から指定された領域の情報を受け取り、視点変更等の画像処理の調整範囲を領域ごとに変更する。
【００２２】
次に、画像処理装置３００のうち現像処理を行う構成要素について説明する。ホワイトバランス部３０８は、ホワイトバランス処理を行う。具体的には、白の領域のＲ，Ｇ，Ｂが等色になるようにＲ，Ｇ，Ｂの各色にゲインをかける。ホワイトバランス処理をデモザイキング処理前に行うことで、彩度を算出する際に、色かぶり等により偽色の彩度よりも高い彩度になることを回避し、誤判定を防止することが可能となる。
【００２３】
デモザイキング部３０９は、各画素において欠落している３原色のうちの２色のカラーモザイク画像データを補間することによって、全ての画素においてＲ，Ｇ，Ｂのカラー画像データが揃ったカラー画像を生成する。具体的には、まず注目画素に対してその周辺の画素を用いてそれぞれの規定方向で補間を行い、その後、方向選択を行うことで、各画素について補間処理結果としてＲ、Ｇ，Ｂの３原色のカラー画像信号を生成する。ガンマ変換部３１０は、各画素のカラー画像データにガンマ補正処理を行い、基本的なカラー画像データを生成する。色調整部３１１は、画像の見栄えを改善するための処理であるノイズ低減、彩度強調、色相補正、エッジ強調といった各種の色調整処理を行う。
【００２４】
圧縮部３１２は、色調整されたカラー画像データをＪＰＥＧ等の方法で圧縮し、記録時のデータサイズを小さくする。記録部３１３は、圧縮部３１２で圧縮された画像データをフラッシュメモリ等の記録媒体に記録する。出力部３１４は、不図時の表示装置にユーザインタフェースや画像を表示させるため、生成したユーザインタフェースや画像を出力する。なお、本実施形態では、画像処理を画像処理装置３００内での処理で説明したが、画像処理装置とは別に上記の画像処理の制御プログラムを撮像装置が有する構成でもよい。その場合、出力部３１４は、撮像装置の表示部１３１にユーザインタフェースや画像を出力する。
【００２５】
図３は、撮像素子の画素と副画素の配列の概略図を示す図である。図３の左右方向をｘ軸方向とし、上下方向をｙ軸方向とし、ｘ軸方向およびｙ軸方向に直交する方向（紙面に垂直な方向）をｚ軸方向と定義する。図３は、本実施形態の２次元ＣＭＯＳセンサー（撮像素子）の画素配列を４列×４行の範囲で、副画素配列を８列×４行の範囲で示したものである。
【００２６】
図３に示した２列×２行の画素２００では、Ｒ（赤）の分光感度を有する画素２００Ｒが左上の位置に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下の位置に、Ｂ（青）の分光感度を有する画素２００Ｂが右下の位置に配置されている。さらに、各画素は、ｘ軸方向に２分割、ｙ軸方向に１分割された第１副画素２０１と第２副画素２０２を有している。つまり、ｘ方向における分割数をＮｘと表記し、ｙ方向における分割数をＮｙと表記し、分割数をＮＬＦと表記すると、図３はＮｘ＝２、Ｎｙ＝１、ＮＬＦ＝Ｎｘ×Ｎｙ＝２の例を示している。副画素はそれぞれ、焦点検出信号を出力する焦点検出画素としての機能を有する。
【００２７】
図３に示す例では、４列×４行の画素（８列×４行の副画素）を面上に多数配置することで、表示部１３１での表示やフラッシュメモリ１３３への記録などにも用いる撮像画像（Ａ＋Ｂ像）および複数の視点画像を生成するための信号を取得可能である。本実施形態においては、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、副画素の列方向周期ＰＳが２μｍ、副画素数ＮＳが横１１１５０列×縦３７２５行＝約４１５０万画素の撮像素子として説明を行う。
【００２８】
図４（Ａ）は、図３に示す撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図である。図４（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図４（Ｂ）は、図４（Ａ）のａ−ａ切断線に沿って−ｙ側から見た場合の断面図である。
【００２９】
図４（Ａ）および図４（Ｂ）に示されるように、画素２００Ｇには、各画素の受光面側（＋ｚ軸方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。さらに、ｘ方向に２分割、ｙ方向に１分割された分割数２の複数の光電変換部が形成されている。第１光電変換部３０１と第２光電変換部３０２が、それぞれ、第１副画素２０１と第２副画素２０２に対応する。なお、光電変換部（副画素）の分割数については２に限定されない。分割の方向もｘ方向に限定されず、ｙ方向に分割してもよい。
【００３０】
第１光電変換部３０１と第２光電変換部３０２は、２つの独立したｐｎ接合フォトダイオードであり、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードである。また、必要に応じてイントリンシック層を省略し、ｐｎ接合フォトダイオードとしてもよい。各画素には、マイクロレンズ３０５と、第１光電変換部３０１および第２光電変換部３０２との間に、カラーフィルター３０６が形成される。また、必要に応じて、画素毎や光電変換部毎（副画素毎）にカラーフィルター３０６の分光透過率を変えてもよいし、カラーフィルターを省略しても構わない。
【００３１】
画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光されたのち、第１光電変換部３０１と第２光電変換部３０２それぞれで受光される。第１光電変換部３０１と第２光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。第１光電変換部３０１と第２光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。
【００３２】
図５は、画素構造と瞳分割との対応関係を示す概略説明図である。図５には、図４（Ａ）に示した画素構造のａ−ａ切断線での断面を＋ｙ側から見た断面図と、結像光学系の射出瞳面を−ｚ軸方向から見た図を示す。図５では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図４に示す状態に対して反転させて示している。撮像素子は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子が配置された面を撮像面とする。
【００３３】
第１副画素２０１の第１瞳部分領域５０１は、重心が−ｘ方向に偏心している第１光電変換部３０１の受光面と、マイクロレンズ３０５によって、概ね光学的に共役関係になっている。第１瞳部分領域５０１は、第１副画素２０１で受光可能な瞳領域を表している。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心している。
第２副画素２０２の第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している第２光電変換部３０２の受光面と、マイクロレンズ３０５によって、概ね光学的に共役関係になっている。第２瞳部分領域５０２は、第２副画素２０２で受光可能な瞳領域を表している。第２副画素２０２の第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。
【００３４】
瞳領域５００は、第１光電変換部３０１と第２光電変換部３０２を全て合わせた受光面と、マイクロレンズ３０５によって、概ね光学的に共役な関係になっている。瞳領域５００は、第１副画素２０１と第２副画素２０２を全て合わせた画素２００Ｇ全体で受光可能な瞳領域である。
【００３５】
図６は、各画素に形成されたマイクロレンズに、光が入射した場合の光強度分布の例を示す図である。図６（Ａ）はマイクロレンズの光軸に平行な断面での光強度分布を示す。図６（Ｂ）はマイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図５の第１瞳部分領域５０１と第２瞳部分領域５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。
【００３６】
図７は、光の入射角に依存した受光率分布（瞳強度分布）の例を示す図である。横軸は瞳座標を表し、縦軸は受光率を表す。図７に実線で示すグラフ線Ｌ１は、図５の第１瞳部分領域５０１のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図７に破線で示すグラフ線Ｌ２は、第２瞳部分領域５０２のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対（左右対称的）に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。
【００３７】
図８は、撮像素子と瞳分割との対応関係を示す概略図である。第１光電変換部３０１と第２光電変換部３０２が、それぞれ、第１副画素２０１と第２副画素２０２に対応する。撮像素子の各画素において、２×１分割された第１副画素２０１と第２副画素２０２は、それぞれ結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束を受光する。すなわち、第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束は、撮像素子の各画素にそれぞれ異なる角度で入射し、２×１分割された第１副画素２０１と第２副画素２０２でそれぞれ受光される。
【００３８】
各副画素で受光された信号から、画素毎に第１副画素２０１と第２副画素２０２の中から特定の副画素の信号を選択することで、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２の中の特定の瞳部分領域に対応した視点画像を生成できる。例えば、各画素において、第１副画素２０１の信号を選択することで、結像光学系の第１瞳部分領域５０１に対応した画素数Ｎの解像度を有する第１視点画像を生成できる。他の副画素でも同様である。本実施形態の撮像素子は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部（副画素）が設けられた画素が複数配列された構造を有し、異なる瞳部分領域毎に複数の視点画像を生成することができる。
【００３９】
本実施形態では、第１視点画像および第２視点画像は、それぞれベイヤー配列の画像となる。必要に応じて、第１視点画像、第２視点画像に、デモザイキング処理を行ってもよい。また、撮像素子の画素毎に、第１副画素２０１と第２副画素２０２の信号を加算して読み出すことで、有効画素数Ｎの解像度の撮像画像を生成することができる。
【００４０】
次に、本実施形態の撮像素子により取得される第１視点画像と第２視点画像のデフォーカス量と像ずれ量の関係について説明する。図９は、第１視点画像と第２視点画像のデフォーカス量と第１視点画像と第２視点画像間の像ずれ量の概略関係を示す図である。撮像面８００に撮像素子（不図示）が配置され、図５、図８の場合と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２×１分割される。
【００４１】
デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面８００までの距離を表す。被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号（ｄ＞０）として向きを定義する。被写体の結像位置が撮像面（合焦位置）にある合焦状態は、ｄ＝０である。図９で、被写体８０１は合焦状態（ｄ＝０）のに対応する位置の例を示しており、被写体８０２は前ピン状態（ｄ＜０）のに対応する位置の例を示している。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）という。
【００４２】
前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（または第２瞳部分領域５０２）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がる。この場合、撮像面８００上でボケ像となる。ボケ像は、撮像素子に配列された各画素を構成する第１副画素２０１（または第２副画素２０２）により受光され、第１視点画像（または第２視点画像）が生成される。よって、被写体８０２は、第１視点画像（または第２視点画像）では、撮像面８００上の重心位置Ｇ１（またはＧ２）にて、ボケ幅Γ１（Γ２）をもった被写体像（ボケ像）の画像データとして記録される。
【００４３】
被写体像のボケ幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１視点画像と第２視点画像間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。
【００４４】
したがって、本実施形態では、第１視点画像と第２視点画像、または、第１視点画像と第２視点画像を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１視点画像と第２視点画像間の像ずれ量の大きさが増加する。
【００４５】
次に、視点移動の画像処理の原理を、図１０を用いて説明する。図１０は、視点移動の概略説明図である。図１０において、撮像面８００に本実施形態の撮像素子（不図示）が配置され、図５、図８、図９の場合と同様に、結像光学系の射出瞳が第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。視点移動は、複数の光電変換部を有する撮像素子により取得された、複数の視差画像を用いて行われる。本実施形態では、第１視点画像と第２視点画像により視点移動を行い、合成画像を生成する。
【００４６】
図１０（Ａ）は、主被写体ｑ１の合焦像ｐ１に、手前の被写体ｑ２のボケ像Γ１＋Γ２が重なって撮影され、撮影画像において遠近競合（主被写体への前ボケ被り）が生じている例である。この例を、結像光学系の第１瞳部分領域５０１を通過する光束と、第２瞳部分領域５０２を通過する光束とに、それぞれ分けたものを、図１０（Ｂ）および図１０（Ｃ）に示す。
【００４７】
図１０（Ｂ）では、主被写体ｑ１からの光束は、第１瞳部分領域５０１を通過して、合焦状態で像ｐ１に結像する。一方、手前の被写体ｑ２からの光束は、第１瞳部分領域５０１を通過して、デフォーカス状態でボケ像Γ１に広がり、撮像素子の各画素の第１副画素２０１で受光される。そして、第１副画素２０１の受光信号から、第１視点画像が生成される。第１視点画像では、主被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ１が重ならずに、異なる位置で撮像される。
【００４８】
一方、図１０（Ｃ）では、主被写体ｑ１からの光束は、第２瞳部分領域５０２を通過して、合焦状態で像ｐ１に結像する。一方、手前の被写体ｑ２からの光束は、第２瞳部分領域５０２を通過して、デフォーカス状態でボケ像Γ２に広がり、撮像素子の各画素の第２副画素２０２で受光される。そして、第２副画素２０２の受光信号から、第２視点画像が生成される。第２視点画像では、主被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ２が重なって撮像される。
【００４９】
図１０（Ｂ）および図１０（Ｃ）において、主被写体ｑ１の像ｐ１近傍の領域を、所定領域ｒとする。図１０（Ｂ）で生成される第１視点画像と図１０（Ｃ）で生成される第２視点画像を比較すると、所定領域ｒにおいて、第１視点画像の手前の被写体ｑ２のボケ像Γ１は、第２視点画像の手前の被写体ｑ２のボケ像Γ２よりボケ像の範囲が狭い。また、第１視点画像の所定領域ｒでは、ボケ像Γ１の写りが少なく、主被写体ｑ１の像ｐ１にボケ像Γ１が重なることはないため、所定領域ｒのコントラスト評価値が大きくなる。一方、第２視点画像の所定領域ｒでは、ボケ像Γ２の写りが多く、主被写体ｑ１の像ｐ１とボケ像Γ２とが重なって撮像されるため、所定領域ｒのコントラスト評価値は小さくなる。
【００５０】
本実施形態では、合成画像の所定領域ｒにおいて、複数の視点画像の中で、至近側の被写体が最も広い範囲で撮影されている視点画像の重み係数を最も小さく、または、至近側の被写体が最も狭い範囲で撮影されている視点画像の重み係数を最も大きくする。言い換えると、本実施形態では、合成画像の所定領域ｒにおいて、複数の視点画像の中で、コントラスト評価値が最も小さい視点画像の重み係数を最も小さく、または、コントラスト評価値が最も大きい視点画像の重み係数を最も大きくする。
【００５１】
したがって、本実施形態では、所定領域ｒにおいて、像ｐ１とボケ像Γ１の重なりが少ない第１視点画像の第１重み係数Ｗａを、像ｐ１とボケ像Γ２の重なりが多い第２視点画像の第２重み係数Ｗｂより大きくし、合成画像を生成する。このような視点移動を行うことで、所定領域において主被写体への前ボケ被りを低減した合成画像を生成することができる。
【００５２】
ここで、撮像素子の周辺像高での瞳ずれについて説明する。図１１は、撮像素子の周辺像高での瞳ずれの概略説明図である。具体的には、撮像素子の周辺像高に配列された各画素の第１光電変換部３０１が受光する第１瞳部分領域５０１、第２光電変換部３０２が受光する第、および結像光学系の射出瞳４００の関係を示す。第１光電変換部３０１と第２光電変換部３０２が、それぞれ、第１副画素２０１と第２副画素２０２に対応する。
【００５３】
図１１（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓが、概ね一致する場合である。この場合、中央像高と同様に、撮像素子の周辺像高でも、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が概ね均等に瞳分割される。
【００５４】
これに対して、図１１（Ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合である。この場合、撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。図１１（Ｂ）の例では、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。反対側の像高では、逆に、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。
【００５５】
図１１（Ｃ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合である。この場合も、撮像素子の周辺像高では、撮像素子の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４００が、第１瞳部分領域５０１と第２瞳部分領域５０２により不均一に瞳分割される。図１１（Ｃ）の例では、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。反対側の像高では、逆に、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。
【００５６】
瞳ずれにより周辺像高で瞳分割が不均一になるのに伴い、第１視点画像と第２視点画像の実効Ｆ値も不均一になり、そのため、第１視点画像と第２視点画像のいずれかのボケの広がり方が大きくなり、他方のボケの広がり方が小さくなる。そのため、合成画像の所定領域において、複数の視点画像の中で、実効絞り値が最も小さい視点画像の重み係数を最も小さく、または、実効絞り値が最も大きい視点画像の重み係数を最も大きくすることが望ましい。以上の構成により、撮影後に視点移動の画像処理を行うことで主被写体への前ボケ被りを低減させることができる。
【００５７】
次に、深度変更処理について説明する。図１１（Ｂ）では第１瞳部分領域５０１を通過した像が第１視点画像となり、第２瞳部分領域５０２を通過した像が第２視点画像となる。各視点画像は本来の瞳領域の半分を通過した画像であり、水平方向２分割の瞳部分領域の場合には水平方向の絞り径としては半分となるため、水平方向の被写界深度は４倍になる。なお、本実施形態の例では垂直方向に瞳分割した構成ではないため、垂直方向の被写界深度の変化は変化しない。そのため第１視点画像または第２視点画像は、第１と第２視点画像を合成した画像（Ａ＋Ｂ像）の被写界深度に対して、縦横平均として倍の被写界深度の画像になる。
【００５８】
以上により、視点変更処理部３２７で、第１視点画像と第２視点画像の加算比率を１：１以外に変えた合成画像を生成することで、被写界深度が拡大した画像を生成することができる。さらに、視点変更処理部３２７で、コントラスト分布、像ずれ分布を用いたアンシャープマスク処理を第１視点画像と第２視点画像の加算比率を変更した画像に対して行うことで、深度拡大し、かつ輪郭強調した合成画像を生成できる。
【００５９】
次に、領域指定について図１２および１３を用いて説明する。図１２は、視点画像および合成画像におけるボケ形状の例を図である。図１３は、ユーザが領域を指定して、視点移動や深度変更を行う例を示す図である。
【００６０】
図１２（Ａ）は、第１視点画像と第２視点画像を合成した画像（Ａ＋Ｂ像）である。図１２（Ｂ）は、第１視点画像（Ａ像）である。図１３（Ｃ）は、第２視点画像（Ｂ像）である。Ａ＋Ｂ像とＡ像、Ｂ像のボケ形状を、各図の点線内で囲った領域１２００で比較する。Ａ＋Ｂ像の画像（合成画像）である図１３（Ａ）に対して、Ａ像の画像（第１視点画像）である図１３（Ｂ）は、領域１２００のボケ形状の右側が欠けた画像となっている。また、Ｂ像の画像（第２視点画像）である図１３（Ｃ）は、領域１２００のボケ形状の左側が欠けた画像となる。第１視点画像と第２視点画像は、それぞれ瞳領域の一部である第１瞳部分領域５０１と第２瞳部分領域５０２を通過した光束のため、実効Ｆ値が大きくかつ形状が半円形状となるため、ボケ形状が真円から変形したボケになってしまう。
【００６１】
そこで、本実施形態では、望まないボケ形状の変化等を抑制するためユーザが指定した領域でのみ視点移動や深度拡大を行い、その他の領域では視点画像を用いた画像処理の効果を禁止または低減する。したがって、ユーザが視点移動したい領域を指定し、指定領域と指定領域以外で異なるパラメータで画像処理を行えるようにする。また、本実施形態においては、視点移動処理を行わない領域、即ち指定領域以外の領域では、結像光学系のボケ形状を変化させないために、複数の視点画像毎の重み係数（第１重み係数、第２重み係数）を、概ね均等に加算し、合成画像を生成する。
【００６２】
図１３に、領域を指定して視点移動を行う例を示す。
まず、図１３（Ａ）のようにＡ＋Ｂ像を表示する。そして、ユーザに画像の中から視点移動や深度拡大を行う指定領域１００１を指定させる。本実施形態の撮像素子は、水平方向に２分割の瞳分割した構成のため、水平方向の視点画像を有している。そのため、ユーザに視点が変わる方向へ操作させるためのＵＩとして、スライダーバー１００２とスライダー１００３を水平方向に配置する。スライダーの右端の値を１、中央を０、左端の値を−１と定義した場合に、スライダーが任意の位置ｘにある場合には、第１視点画像と第２視点画像の比率は（１＋ｘ）：（１−ｘ）となるように加算比率を変更し、視点移動した合成画像を生成する。
【００６３】
図１３（Ａ）は、スライダー位置が中央の場合の画像であり、この場合の第１視点画像と第２視点画像の合成比率は１：１である。図１３（Ｂ）は、スライダー位置を左端とした場合の画像であり、この場合の第１視点画像と第２視点画像の合成比率は０：２である。図１３（Ｃ）は、スライダー位置を右端とした場合の画像であり、この場合の第１視点画像と第２視点画像の合成比率は２：０である。したがって、図１３（Ｂ）の指定領域１００１は第２視点画像のみ、図１３（Ｃ）の指定領域１００１は第１視点画像のみで生成される。一方、指定領域１００１においてのみ視点画像の加算比率を変更させるため、指定領域１００１以外の領域（例えば点線内の領域１２００）における各視点画像の合成比率は１：１のまま、すなわち元のＡ＋Ｂ像のままである。そのため、領域１２００のボケ形状が真円から変形したボケになることはない。
【００６４】
本実施形態では指定領域１００１以外の領域に対して視点画像の加算比率を変更しない例を説明したが、指定領域１００１以外の領域を指定領域１００１とは異なる調整範囲としてもよい。例えば、視点画像の加算比率を指定領域１００１では最大（０：１０）から最小（１０：０）まで、指定領域１００１以外は最大（３：７）から最小（７：３）までとし、ボケ形状が真円から変形したボケになることを低減できる調整範囲に制限してもよい。
以上により、分割された瞳領域に応じた複数の視点画像の重み付けを変えて合成する場合に、ボケ形状が真円から変形するのを低減し、所望の被写体（領域）にのみ視点移動や深度拡大を行うことができる。
【００６５】
次に、本実施形態における視点移動の画像処理について説明する。視点移動により、例えば、ボケを調整して主被写体への前ボケ被りを低減することができる。
まず、画像処理装置３００は、撮像素子１０７により取得された撮像画像と第１視点画像を取得し、減算部３２２に入力して第２視点画像を生成する。そして、第１視点画像と第２視点画像を、視点変更処理部３２７に入力する。視点変更処理部３２７は、取得した複数の視点画像（第１視点画像と第２視点画像）から合成画像を生成する。この合成画像は、各視点画像の合成比率（重み）を変えることで、視点移動が可能な画像である。なお、減算部３２２が取得する画像は、予め本実施形態の撮像素子により撮影され、記録媒体に保存されている画像を用いてもよい。
以下、ｊ、ｉを整数として、第１視点画像および第２視点画像の行方向ｊ番目、列方向ｉ番目の位置を（ｊ、ｉ）とし、位置（ｊ、ｉ）の画素の第１視点画像をＡ（ｊ、ｉ）、第２視点画像をＢ（ｊ、ｉ）とする。
【００６６】
調整部３２６は、第１ステップとして、視点移動を行う指定領域Ｒ＝［ｊ１、ｊ２］×［ｉ１、ｉ２］、および、指定領域の境界幅σを設定する。指定領域Ｒは、表示画面上のＵＩ操作などによりユーザにより指定された任意の領域である。領域指定部３２５がユーザが指定した領域の座標情報などを取得し、調整部３２６に入力する。調整部３２６は、式（１）により、指定領域Ｒと指定領域の境界幅σに応じたテーブル関数Ｔ（ｊ、ｉ）を算出する。
【数１】
2018121235.tif 000003
【００６７】
テーブル関数Ｔ（ｊ、ｉ）は、指定領域Ｒの内側で１、指定領域Ｒの外側で０となり、指定領域Ｒの境界幅σで、概ね１から０に連続的に変化する。必要に応じて、指定領域は、円形や、その他の任意の形状としてもよい。また、必要に応じて、複数の指定領域、および、境界幅を設定してもよい。
【００６８】
視点変更処理部３２７は、第２ステップとして、視点移動を行う指定領域Ｒにおける各視点画像の重み係数を算出する。具体的には、実係数ｗ（−１≦ｗ≦１）とし、式（２Ａ）により、第１視点画像Ａ（ｊ、ｉ）の第１重み係数Ｗａ（ｊ、ｉ）を算出する。さらに、式（２Ｂ）により、第２視点画像Ｂ（ｊ、ｉ）の第２重み係数Ｗｂ（ｊ、ｉ）を算出する。
【数２】
2018121235.tif 000004
【数３】
2018121235.tif 000005
【００６９】
視点変更処理部３２７は、第３ステップとして、指定領域Ｒの視点移動を行った合成画像を生成する。具体的には、第１視点画像Ａ（ｊ、ｉ）、第２視点画像Ｂ（ｊ、ｉ）、第１重み係数Ｗａ（ｊ、ｉ）、第２重み係数Ｗｂ（ｊ、ｉ）から、式（３）により、合成画像Ｉ（ｊ、ｉ）を生成する。
【数４】
2018121235.tif 000006
【００７０】
視点変更処理部３２７は、必要に応じて、シフト量ｓとして、リフォーカス処理と組み合わせて、式（４Ａ）もしくは式（４Ｂ）により、合成画像Ｉｓ（ｊ、ｉ）を生成してもよい。
【数５】
2018121235.tif 000007
【数６】
2018121235.tif 000008
【００７１】
本実施形態では、結像光学系の異なる瞳部分領域を通過した光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子により取得される、信号から複数の視点画像を生成する。そして、複数の視点画像毎に重み係数をかけて合成し合成画像を生成する。複数の視点画像毎の重み係数は、合成画像の領域に応じて連続的に変化する。本実施形態では、複数の視点画像毎に重み係数をかけて加算もしくはシフト加算し、合成画像を生成する。
【００７２】
最後に、図１４〜図１６を用いて、複数の視点画像を用いて合成画像を生成する処理の流れを説明する。
図１４は、合成画像を生成する処理のメインフローチャートである。Ｓ１００でスタートし、Ｓ１０１へ進む。Ｓ１０１では、撮像素子１０７で視点画像（Ａ＋Ｂ像とＡ像）を撮像する。そして、Ｓ１０２で、視点画像（Ａ＋Ｂ像とＡ像）を撮像素子１０７から出力し、１つのファイルフォーマットの画像データとしてフラッシュメモリ１３３に記憶する。Ｓ１０３では、Ｓ１０２でフラッシュメモリ１３３に記憶した画像データを画像処理装置３００のメモリ３２１に読み込む。このとき、減算部３２２はメモリ３２１に読み込まれた撮像画像（Ａ＋Ｂ像）と第１視点画像（Ａ像）から、第２視点画像（Ｂ像）を生成し、メモリ３２１は原残部により生成された第２視点画像も読み込む。Ｓ１０４で、画像処理装置３００は、画像処理（視点画像操作処理）を行い、Ｓ１０５へ進み完了となる。Ｓ１０４での画像処理（視点画像操作処理）は図１５のサブフローチャートで説明する。
【００７３】
次に、図１５のサブフローチャートを用いて、領域指定による画像処理（視点画像操作処理）について説明する。ここでは、画像処理の例として、視点移動処理を行う場合について説明する。
Ｓ２００で視点画像操作処理をスタートし、Ｓ２０１へ進む。Ｓ２０１では、操作部３２４が出力部３１４を介して表示装置に画像とユーザインターフェース（以下、ＵＩ）を表示する。このとき表示する画像は、複数の視点画像に基づく画像データに対応する画像であり、最初に表示されるのは、各視点画像の加算比率が１：１の画像、すなわち撮像画像（Ａ＋Ｂ像）である。Ｓ２０２では、操作部３２４がＵＩにおけるユーザの選択に基づいて視点移動を行うかどうかを判定し、視点移動を行う場合にはＳ２０３へ進む。一方、視点移動を行わない場合にはＳ２０９へ進み処理を終了する。
【００７４】
Ｓ２０３では、ユーザが視点移動を行う領域を表示装置に表示された画像上で指定し、領域指定部３２５が指定された領域の座標やサイズなどの座標情報を取得する。Ｓ２０４では、調整部３２６がＳ２０３で指定した各領域のパラメータの調整可能範囲を設定する。なお、本実施形態のパラメータは各視点画像の加算比率であるが、シャープネス等のその他の画像処理をパラメータとしてもよい。Ｓ２０５では、ユーザが視点移動ＵＩを操作し、操作部３２４がユーザにより設定されたスライダー位置に応じて調整値を取得する。視点移動ＵＩは、例えば、図１３で示したスライダーバー１００２とスライダー１００３である。スライダーバー１００２の範囲はＳ２０４で設定した調整可能範囲であり、ユーザがスライダーを操作して設定できる調整値は、調整可能範囲の範囲内である。Ｓ２０６では、Ｓ２０５で取得された調整値に応じて、視点変更処理部３２７が、視点画像の加算比率を変更する。視点画像である第１視点画像（Ａ像）は左側の視点の画像であり、第２視点画像（Ｂ像）は右側の視点の画像である。そこで、スライダー位置に応じて第１視点画像と第２視点画像の加算比率を変更した合成画像を生成することで視点移動した画像を生成する。スライダーの右端の値を１、中央を０、左端の値を−１と定義した場合に、スライダーが任意の位置ｘにある場合には、第１視点画像と第２視点画像の比率は（１＋ｘ）：（１−ｘ）となるように加算比率を変更する。また、このとき指定領域の境界領域の加算比率を、指定領域の加算比率と指定領域に隣接する領域の加算比率の中間になるように決定してもよい。
【００７５】
Ｓ２０７では、画像処理を施された画像データ、すなわちユーザから指定された領域において視点画像の加算比率を変えた画像で現像処理を行い、合成画像を生成する。現像処理の詳細は、図１６のサブフローチャートを用いて後述する。Ｓ２０８では、Ｓ２０７で現像処理した合成画像を出力部３１４が表示装置に出力し、表示装置で表示する。そして、Ｓ２０９へ進み、視点画像操作処理を完了する。
【００７６】
なお、本実施形態では、指定された領域以外の領域は調整を行わず、第１視点画像と第２視点画像の加算比率が１：１となる例を示したが、これに限られるものではない。例えば、指定された領域以外の領域において、指定領域より制限された調整範囲で視点移動を行えるようにしてもよい。
【００７７】
次に、図１６を用いて現像処理について説明する。Ｓ３００で処理をスタートし、Ｓ３０１へ進む。Ｓ３０１では、ホワイトバランス部３０８がホワイトバランス処理を行う。ホワイトバランス処理は白の領域のＲ，Ｇ，Ｂが等色になるようにＲ，Ｇ，Ｂの各色にゲインをかける処理である。Ｓ３０２では、デモザイキング部３０９がデモザイキング処理を行う。デモザイキング処理は、それぞれの規定方向で補間を行い、その後、方向選択を行うことで、各画素について補間処理結果としてＲ、Ｇ，Ｂの３原色のカラー画像信号を生成する処理である。Ｓ３０３では、ガンマ変換部３１０がガンマ処理を行う。Ｓ３０４では、色調整部３１１が色調整処理を行う。色調整処理は、画像の見栄えを改善するための処理であるノイズ低減、彩度強調、色相補正、エッジ強調といった各種の処理である。Ｓ３０５では、圧縮部３１２が色調整されたカラー画像データをＪＰＥＧ等の方法で圧縮処理する。Ｓ３０６では、記録部３１３が圧縮処理で圧縮された画像データを記録媒体に記録する。そして、Ｓ３０７で処理を完了し、視点画像操作のサブフローチャートに戻る。
【００７８】
なお、以上では領域を指定して視点移動を行う例を説明したが、画像処理（視点画像操作処理）は視点移動のみに限られない。例えば、領域を指定してピント調整（リフォーカス）を行ったり被写界深度を変更する処理を行ったりしてもよい。この場合も、指定された領域でのみ、複数の視点画像の重み係数（加算比率）が変更され、指定された領域以外の領域において意図しない変化が生じるのを抑制することができる。また、指定された領域について視点画像操作を行い、その他の領域については行わない例を示したが、逆に、ボケを残したい領域などを、視点画像操作を行わない領域として指定して、その他の領域において視点画像操作を行うようにしてもよい。
【００７９】
以上のように、本実施形態によれば、分割された瞳領域に応じた複数の視点画像の重み付けを変えて合成画像を生成する場合に、ユーザが意図した合成画像を提供可能とする。
【００８０】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８１】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００８２】
３００  画像処理装置
３０５  領域指定部
３０７  視点変更処理部
【図１】
2018121235.tif 000009
【図２】
2018121235.tif 000010
【図３】
2018121235.tif 000011
【図４】
2018121235.tif 000012
【図５】
2018121235.tif 000013
【図６】
2018121235.tif 000014
【図７】
2018121235.tif 000015
【図８】
2018121235.tif 000016
【図９】
2018121235.tif 000017
【図１０】
2018121235.tif 000018
【図１１】
2018121235.tif 000019
【図１２】
2018121235.tif 000020
【図１３】
2018121235.tif 000021
【図１４】
2018121235.tif 000022
【図１５】
2018121235.tif 000023
【図１６】
2018121235.tif 000024