(57)【要約】【課題】領域に関する視差マップを生成する。【解決手段】画像処理装置１０は、被写体像の第１視点方向の画像と第２視点方向の画像との少なくとも２つの画像を入力する画像入力部２０５ａ、第１視点方向の画像と第２視点方向の画像との間のエッジ部分に関する視差量を表すエッジ視差マップを生成するエッジ視差マップ生成部２０５ｂ、被写体像のエッジ成分を抽出するエッジ抽出部２０５ｃ、及びエッジ視差マップをエッジ成分の強度に基づいて補正し、各画素の領域に関する視差量を表す領域視差マップを生成する領域視差マップ生成部２０５ｄとを備える。これにより、被写体像のエッジ部分に関する視差マップを領域に関する視差マップに変換することができる。階調精度の高い、例えば連続階調を有する視差マップが得られるとともに、画像構造に影響されることなく高精度な視差マップを導出することが可能となる。【選択図】図１
2019091234.tif 000002
【特許請求の範囲】
【請求項１】
被写体像の第１視点方向の画像と第２視点方向の画像との少なくとも２つの画像を入力する画像入力部と、
前記第１視点方向の画像と前記第２視点方向の画像との間のエッジ部分に関する視差量を表すエッジ視差マップを生成するエッジ視差マップ生成部と、
前記被写体像のエッジ成分を抽出するエッジ抽出部と、
前記エッジ視差マップを前記エッジ成分の強度に基づいて補正し、各画素の領域に関する視差量を表す領域視差マップを生成する領域視差マップ生成部と、
を備える画像処理装置。
【請求項２】
前記第１視点方向の画像と前記第２視点方向の画像とは、被写体像を共通の光学系を通して撮像して得られた画像であり、
前記エッジ視差マップ生成部は、各画素について、前記第１視点方向の画像と前記第２視点方向の画像との間の相加平均と相乗平均との比を算出し、該比に基づいて前記エッジ視差マップを生成する、請求項１に記載の画像処理装置。
【請求項３】
前記エッジ視差マップ生成部は、前記エッジ視差マップをグリーン関数法により積分して、補正されたエッジ視差マップを生成する、請求項２に記載の画像処理装置。
【請求項４】
前記エッジ視差マップ生成部は、前記エッジ視差マップに関する面Ｃ（０）に対して第１の平滑化を加え、更に、前記第１視点方向の画像と前記第２視点方向の画像との平均画像Ｎの最小視差弁別単位を基準とした明るさレベルを乗算することにより補正しながら第２の平滑化を行う、請求項１に記載の画像処理装置。
【請求項５】
前記面Ｃ（０）に対する前記第１の平滑化は、前記面Ｃ（０）及び前記面Ｃ（０）の逆数の強度を表す面Ｗ（０）＝１／（Ｃ（０）＋１）に関連する重み係数に基づく、請求項４に記載の画像処理装置。
【請求項６】
前記面Ｃ（０）に対する前記第１の平滑化が基づく前記重み係数は、さらに、実在構成変数及び予告構成変数に関連する、請求項５に記載の画像処理装置。
【請求項７】
前記エッジ視差マップ生成部は、前記エッジ視差マップに関する面Ｃに対して前記第２の平滑化を行うとともに、前記面Ｃの逆数の強度を表す面Ｗ＝１／（Ｃ＋１），１／Ｃに対して前記第２の平滑化を行う、請求項４から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記面Ｃ及び前記面Ｗに対する前記第２の平滑化は、前記面Ｃ、前記面Ｗ、前記領域視差マップに関する面Ｐ、及び前記面Ｐの逆数の強度を表す面Ｚ＝１／（Ｐ＋１），１／Ｐに関連する重み係数に基づく、請求項７に記載の画像処理装置。
【請求項９】
前記領域視差マップ生成部は、前記補正されたエッジ視差マップをグリーン関数法により積分して、前記領域視差マップを生成する、請求項３に記載の画像処理装置。
【請求項１０】
前記領域視差マップ生成部は、前記領域視差マップに関する面Ｐに対して、前記第１視点方向の画像と前記第２視点方向の画像との平均画像Ｎの最小視差弁別単位を基準とした明るさレベルを乗算することにより補正しながら第２の平滑化を行い、更に、その結果として得られる面Ｐ（０）に対して第１の平滑化を加える、請求項４に記載の画像処理装置。
【請求項１１】
前記面Ｐ（０）に対する前記第１の平滑化は、前記面Ｐ（０）及び前記面Ｐ（０）の逆数の強度を表す面Ｚ（０）＝１／Ｐ（０）に関連する重み係数に基づく、請求項１０に記載の画像処理装置。
【請求項１２】
前記面Ｐ（０）に対する前記第１の平滑化が基づく前記重み係数は、さらに、実在構成変数及び予告構成変数に関連する、請求項１１に記載の画像処理装置。
【請求項１３】
前記領域視差マップ生成部は、前記領域視差マップに関する面Ｐに対して前記第２の平滑化を行うとともに、前記面Ｐの逆数の強度を表す面Ｚ＝１／（Ｐ＋１），１／Ｐに対して前記第２の平滑化を行う、請求項１０から１２のいずれか一項に記載の画像処理装置。
【請求項１４】
前記面Ｐ及び前記面Ｚに対する前記第２の平滑化は、前記エッジ視差マップに関する面Ｃ、前記面Ｃの逆数の強度を表す面Ｗ＝１／（Ｃ＋１），１／Ｃ、前記面Ｐ、及び前記面Ｚに由来する重み係数に基づく、請求項１３に記載の画像処理装置。
【請求項１５】
前記第１の平滑化及び前記第２の平滑化は、前記第１視点方向の画像と前記第２視点方向の画像との間の最大視差量と同程度のフィルタ径の範囲について処置される、請求項５から８及び１０から１４のいずれか一項に記載の画像処理装置。
【請求項１６】
前記領域視差マップ生成部は、前記エッジ視差マップを前記エッジ成分の強度の２乗で除算することにより補正する、請求項１から１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記エッジ抽出部は、
前記第１視点方向と前記第２視点方向との間の基準視点方向の画像を入力し、
前記基準視点方向の画像をラプラシアン演算によりフィルタリングして、逐次的に複数の解像度からなる高周波帯域画像を生成し、
前記高周波帯域画像を低い解像度から逐次的に統合して、１つに統合された高周波帯域画像を生成し、
前記１つに統合された高周波帯域画像を前記エッジ成分として抽出する、請求項１から１６のいずれか一項に記載の画像処理装置。
【請求項１８】
前記画像入力部は、さらに、前記第１視点方向の画像を階調反転した画像と前記第２視点方向の画像を階調反転した画像との少なくとも２つの階調反転した画像を入力し、
前記エッジ視差マップ生成部は、さらに、前記第１視点方向の画像を階調反転した画像と前記第２視点方向の画像を階調反転した画像との間のエッジ部分に関する視差量を表す階調反転後のエッジ視差マップを生成し、
前記エッジ抽出部は、さらに、前記被写体像の階調反転したエッジ成分を抽出し、
前記領域視差マップ生成部は、さらに、前記階調反転後のエッジ視差マップを前記階調反転したエッジ成分の強度に基づいて補正し、各画素の領域に関する視差量を表す階調反転後の領域視差マップを生成する、
前記領域視差マップ生成部は、さらに、前記領域視差マップと前記階調反転後の領域視差マップとの平均に基づいて領域視差マップを生成する、請求項１から１７のいずれか一項に記載の画像処理装置。
【請求項１９】
被写体像の第１視点方向の画像と第２視点方向の画像との少なくとも２つの画像を入力する段階と、
前記第１視点方向の画像と前記第２視点方向の画像との間のエッジ部分に関する視差量を表すエッジ視差マップを生成する段階と、
前記被写体像のエッジ成分を抽出する段階と、
前記エッジ視差マップを前記エッジ成分の強度に基づいて補正し、各画素の領域に関する視差量を表す領域視差マップを生成する段階と、を備える画像処理方法。
【請求項２０】
被写体像の第１視点方向の画像と第２視点方向の画像との少なくとも２つの画像を入力する手順と、
前記第１視点方向の画像と前記第２視点方向の画像との間のエッジ部分に関する視差量を表すエッジ視差マップを生成する手順と、
前記被写体像のエッジ成分を抽出する手順と、
前記エッジ視差マップを前記エッジ成分の強度に基づいて補正し、各画素の領域に関する視差量を表す領域視差マップを生成する手順と、をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
右視差画像と左視差画像との間の被写体像のずれ量、すなわち各画素の視差量をオプティカルフローと捉え、オプティカルフローの枠組みで視差マップを推定する方法が提案されている（例えば、非特許文献１）。
【０００３】
しかしながら、非特許文献１に開示されるような方法では、領域に関する視差量を抽出することができるが、視差量の階調精度が粗い視差マップしか得られなかった。また、画像構造の影響を受けて、同じ奥行領域にある被写体像が異なる視差量として抽出される場合があった。
［非特許文献１］  M. Drulea, S. Nedevschi: "Total variation regularization of local-global optical flow," 14th Int. IEEE Conf. on Intelligent Transportation Systems (ITSC), 2011, pp. 318-323.
【発明の概要】
【０００４】
本発明の第１の態様においては、被写体像の第１視点方向の画像と第２視点方向の画像との少なくとも２つの画像を入力する画像入力部と、第１視点方向の画像と第２視点方向の画像との間のエッジ部分に関する視差量を表すエッジ視差マップを生成するエッジ視差マップ生成部と、被写体像のエッジ成分を抽出するエッジ抽出部と、エッジ視差マップをエッジ成分の強度に基づいて補正し、各画素の領域に関する視差量を表す領域視差マップを生成する領域視差マップ生成部と、を備える画像処理装置が提供される。
【０００５】
本発明の第２の態様においては、被写体像の第１視点方向の画像と第２視点方向の画像との少なくとも２つの画像を入力する段階と、第１視点方向の画像と第２視点方向の画像との間のエッジ部分に関する視差量を表すエッジ視差マップを生成する段階と、被写体像のエッジ成分を抽出する段階と、エッジ視差マップをエッジ成分の強度に基づいて補正し、各画素の領域に関する視差量を表す領域視差マップを生成する段階と、を備える画像処理方法が提供される。
【０００６】
本発明の第３の態様においては、被写体像の第１視点方向の画像と第２視点方向の画像との少なくとも２つの画像を入力する手順と、第１視点方向の画像と第２視点方向の画像との間のエッジ部分に関する視差量を表すエッジ視差マップを生成する手順と、被写体像のエッジ成分を抽出する手順と、エッジ視差マップをエッジ成分の強度に基づいて補正し、各画素の領域に関する視差量を表す領域視差マップを生成する手順と、をコンピュータに実行させるプログラムが提供される。
【０００７】
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】デジタルカメラの構成を示す。
【図２】撮像素子の断面構成を示す。
【図３】１つの画素に含まれる光電変換素子（２ＰＤ）の構成を示す。
【図４】光線の入射角度に対する左側の光電変換部による受光の３つの態様を示す。
【図５】光線の入射角度に対する左側の光電変換部の画素感度を示す。
【図６】視差なし画素におけるデフォーカスの概念を示す。
【図７】視差画素におけるデフォーカスの概念を示す。
【図８】視差なし画素と視差画素の光強度分布を示す。
【図９】視差画素及び視差なし画素の光強度分布を示す。
【図１０】非合焦領域に存在する物点の点像分布を示す。
【図１１】本枠処理の経路積分における畳込み因子と積分順序の関係を示す。
【図１２】積分に関与する状態面（粒子）と相互作用の関係を示す。
【図１３】多重解像度統合エッジ画像の生成原理を示す。
【図１４】多重解像度空間での平滑化処理の原理を示す。
【図１５】変形例に係るデジタルカメラの撮像素子の断面構成を示す。
【図１６】変形例に係る画素配列の一例を示す。
【図１７】サンプリング周波数の領域を表す周波数空間図（ｋ空間図）を示す。
【図１８Ａ】視差画素ＲＬｔ，Ｒｔ及びＢＬｔ，Ｒｔのナイキスト周波数を殺すための斜め平滑化ａ）に対応するローパスフィルタの構成を示す。
【図１８Ｂ】視差画素ＧＬｔ，Ｒｔのナイキスト周波数を殺すための縦横平滑化ｂ）に対応するローパスフィルタの構成を示す。
【図１８Ｃ】視差なし画素ＲＮ及びＢＮのナイキスト周波数を殺すための斜め平滑化ｃ）に対応するローパスフィルタの構成を示す。
【図１８Ｄ】視差なし画素ＲＮ及びＢＮのナイキスト周波数を殺すための縦横平滑化ｄ）に対応するローパスフィルタの構成を示す。
【図１８Ｅ】視差なし画素ＧＮのナイキスト周波数を殺すための斜め平滑化ｅ）に対応するローパスフィルタの構成を示す。
【図１８Ｆ】撮像画像Ｎのナイキスト周波数を殺すための縦横平滑化ｆ）に対応するローパスフィルタの構成を示す。
【図１８Ｇ】視差画素ＧＬｔ／Ｒｔのナイキスト周波数を殺すための縦横平滑化ｂ１）に対応するローパスフィルタの構成を示す。
【図１８Ｈ】視差画素ＧＲｔ／Ｌｔのナイキスト周波数を殺すための縦横平滑化ｂ２）に対応するローパスフィルタの構成を示す。
【図１９】本実施形態に係るコンピュータの構成の一例を示す。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
画像処理装置の一形態である本実施形態に係るデジタルカメラは、一度の撮影により、１つの被写体像に対する複数の視点からの画像を生成することができる。異なる複数の視点のからの画像を視差画像と呼ぶ。本実施形態では、一例として、左目と右目に対応する２つの視点（左視点及び右視点）からの左視差画像（Ｌｔ）及び右視差画像（Ｒｔ）を生成することとする。なお、本実施形態に係るデジタルカメラは、視差画像を生成するとともに、例えば中央視点などの基準方向の視点からの視差のない画像（視差なし画像と呼ぶ）を生成することもできる。
【００１１】
図１は、本実施形態に係るデジタルカメラ１０の構成を示す。ここで、図１において、後述する撮影レンズ２０の光軸２１に平行な方向をＺ軸方向（撮影レンズ２０から撮像素子１００へ向かう方向を＋Ｚ方向）、Ｚ軸と直交する平面における紙面垂直方向をＸ軸方向（紙面奥へ向かう方向を＋Ｘ方向）及び紙面上下方向をＹ軸方向（紙面上方向を＋Ｙ方向）とする。その他の図においては、図１の座標軸に対応する座標軸を表示する。デジタルカメラ１０は、撮影レンズ２０、撮像素子１００、Ａ／Ｄ変換回路２０２、メモリ２０３、画像処理部２０５、メモリカードＩＦ２０７、ＬＣＤ制御回路２１０、表示部２０９、操作部２０８、駆動部２０４、及び制御部２０１を備える。
【００１２】
撮影レンズ２０は、複数の光学レンズ群から構成され、被写体像からの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を図示の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表している。撮影レンズ２０は、撮影光学系として光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。なお、撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであってもよい。
【００１３】
撮像素子１００は、複数の画素が二次元的に配列されたイメージセンサであり、例えばＣＣＤ、ＣＭＯＳセンサ等を使用することができる。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置され、撮影レンズ２０を介して受光面上に結像された被写体像を画素信号に変換してＡ／Ｄ変換回路２０２へ出力する。ここで、画像信号は、左視点及び右視点の画像信号を含む。撮像素子１００の構成の詳細については後述する。
【００１４】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画素信号をデジタル信号に変換してメモリ２０３へ出力する。
【００１５】
メモリ２０３は、画像処理部２０５により画像処理を施すためのワークスペースである。
【００１６】
画像処理部２０５は、メモリ２０３内の画像信号に対して種々の画像処理を施し、画像データを生成する。画像データは、例えば、左視点に対応する画像データ及び右視点に対応する画像データを含む。また、基準方向の視点に対応する画像データを含んでもよい。画像処理部２０５は、さらに、左視点と右視点の視差に関する評価データを生成する。評価データは、例えば、合焦位置に対する被写体の奥行きに関する位置情報を示す視差マップデータを含む。なお、本実施形態において、視差マップをデプスマップ（深度マップ）と称することも可能である。画像処理部２０５は、画像入力部２０５ａ、エッジ視差マップ生成部２０５ｂ、エッジ抽出部２０５ｃ、及び領域視差マップ生成部２０５ｄを含む。
【００１７】
画像入力部２０５ａは、メモリ２０３から、被写体像の第１視点方向の画像信号と第２視点方向の画像信号との少なくとも２つの画像を入力する。ここで、第１及び第２視点方向は異なる２つの視点方向であり、本実施形態では左視点及び右視点とする。さらに、画像入力部２０５ａは、左視点方向の画像を階調反転した画像と右視点方向の画像を階調反転した画像との少なくとも２つの階調反転した画像を入力する。
【００１８】
エッジ視差マップ生成部２０５ｂは、左視点及び右視点の画像信号の間のエッジ部分に関する視差量を表すエッジ視差マップを生成する。さらに、エッジ視差マップ生成部２０５ｂは、左視点方向の画像を階調反転した画像と右視点方向の画像を階調反転した画像との間のエッジ部分に関する視差量を表す階調反転後のエッジ視差マップを生成する。
【００１９】
エッジ抽出部２０５ｃは、被写体像のエッジ成分を抽出する。さらに、エッジ抽出部２０５ｃは、被写体像の階調反転したエッジ成分を抽出する。
【００２０】
領域視差マップ生成部２０５ｄは、エッジ視差マップをエッジ成分の強度に基づいて補正し、各画素の領域に関する視差量を表す領域視差マップを生成する。さらに、領域視差マップ生成部２０５ｄは、階調反転後のエッジ視差マップを階調反転したエッジ成分の強度に基づいて補正し、各画素の領域に関する視差量を表す階調反転後の領域視差マップを生成し、領域視差マップと階調反転後の領域視差マップとの平均に基づいて領域視差マップを生成する。
【００２１】
画像処理部２０５（その構成各部）による画像処理の詳細については後述する。
【００２２】
なお、画像処理部２０５は、他にも、選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。例えばＪＰＥＧファイル形式の画像データを生成する場合には、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。
【００２３】
メモリカードＩＦ２０７は、メモリカード２２０が装着されるインタフェースである。メモリカード２２０に、画像処理部２０５により生成された画像データ及び評価データが記録される。
【００２４】
ＬＣＤ駆動回路２１０は、画像処理部２０５により生成された画像データ及び／又は評価データを表示信号に変換して、表示部２０９に送る。
【００２５】
表示部２０９は、ＬＣＤ駆動回路２１０から表示信号を受けて、それに変換された画像データ及び／又は評価データを表示する。
【００２６】
操作部２０８は、ユーザからの操作を受けて制御部２０１へ操作信号を出力する。それにより、一連の撮影シーケンスが開始する。
【００２７】
駆動部２０４は、撮影シーケンスの開始に伴って撮像素子１００をタイミング制御して駆動する。
【００２８】
制御部２０１は、構成各部を制御する。制御部２０１は、例えば、撮影レンズ２０を制御して撮影シーケンスに付随するＡＦ、ＡＥ等の各種動作を実行するとともに駆動部２０４を介して撮像素子１００を駆動する。
【００２９】
上述の構成のデジタルカメラ１０において、ユーザが操作部２０８を介して撮影シーケンスの開始を指示すると、制御部２０１が撮影レンズ２０を制御してＡＦ、ＡＥ等の各種動作を実行するとともに駆動部２０４を介して撮像素子１００を駆動することで画素信号が得られ、画像処理部２０５がその画素信号を画像処理することで画像データが生成される。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に送信されてその画面上に表示されるとともにメモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
【００３０】
図２に、撮像素子１００の断面構成を示す。撮像素子１００は、マイクロレンズ１０１、配線層１０５、及び複数の光電変換素子１０８を含む基板１０９から構成されている。
【００３１】
マイクロレンズ１０１は、最上段（すなわち、被写体側）に配列され、入射する被写体光束を複数の光電変換素子１０８へ導くための集光レンズであり、複数の光電変換素子１０８に対して各１つ設けられている。なお、マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。
【００３２】
配線層１０５は、光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等を送信するための配線１０６が埋設され、マイクロレンズ１０１の下に設けられている。配線１０６は、対応するマイクロレンズ１０１の直下に位置する開口１０７を形成し、それらを介して入射する被写体光束を規定する。
【００３３】
基板１０９は、マイクロレンズ１０１及び配線層１０５を支持する板状部材であり、その上面に複数の光電変換素子１０８が二次元配列されている。複数の光電変換素子１０８は、入射する光を電気信号に変換する素子であり、一例として２つのフォトダイオードを採用することができる。なお、このような構造を２ＰＤ構造或いは単に２ＰＤと呼び、２ＰＤ構造を有する画素を分割画素とも呼ぶ。
【００３４】
なお、複数の光電変換素子１０８に対して各１つ設けられるマイクロレンズ１０１の一単位を画素１０３と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
【００３５】
図３に、１つの画素１０３に含まれる光電変換素子１０８（２ＰＤ）の構成を示す。光電変換素子１０８は、分離部１０８ｓを介して画素中心１０８ｃに対して左右に対称に配置された２つの光電変換部、すなわち左側の光電変換部１０８Ｌ及び右側の光電変換部１０８Ｒを含む。左側の光電変換部１０８Ｌのみ駆動すれば画素１０３は左視差画素として機能し、右側の光電変換部１０８Ｒのみ駆動すれば画素１０３は右視差画素として機能し、光電変換部１０８Ｌ，１０８Ｒの両方を駆動すれば画素１０３は左及び右視差画素並びに視差なし画素として機能する。ただし、光電変換部１０８Ｌ，１０８Ｒのそれぞれの検出信号の和を算出することで、視差なし画素の検出値を得ることができる。したがって、光電変換素子１０８を採用することにより、１つの画素１０３はその内に左視差画素及び右視差画素並びに視差なし画素を含むこととなる。
【００３６】
図４に、画素１０３への光線の入射角度θに対する左側の光電変換部１０８Ｌによる受光の３つの態様を示す。各図は、有効画素領域の端部の断面における画素１０３の構成、特に画素１０３を構成するマイクロレンズ１０１及び光電変換素子１０８（左側の光電変換部１０８Ｌ及び右側の光電変換部１０８Ｒ）を示している。先述のとおり、左側の光電変換部１０８Ｌ及び右側の光電変換部１０８Ｒは、分離部１０８ｓを介して画素中心１０８ｃに対して左右に対称に配置されている。ここで、それらの受光面はマイクロレンズ１０１の焦点位置より手前（レンズ側）に位置している。なお、図示の都合のため分離部１０８ｓを誇張して示しているが、光電変換部１０８Ｌ，１０８Ｒの受光面に対してその表面は十分に小さいものとする。
【００３７】
図４の中央の図は、光線（平行光）が垂直にマイクロレンズ１０１に入射する状態を示す。光線の半分が光電変換部１０８Ｌに入り、残りの半分が右側の光電変換部１０８Ｒに入る。図４の左図は、光線が時計回りの方向（−θ方向）に傾いてマイクロレンズ１０１に入射する状態を示す。光線の多くが光電変換部１０８Ｌに入り、僅かな残部１１１が光電変換部１０８Ｒに入る。図４の右図は、光線が反時計回りの方向（＋θ方向）に傾いてマイクロレンズ１０１に入射する状態を示す。光線の一部１１２のみが光電変換部１０８Ｌに入り、ほとんどが光電変換部１０８Ｒに入る。
【００３８】
図５に、画素１０３への光線の入射角度θに対する左側の光電変換部１０８Ｌの画素感度を示す。ここで、破線は、視差なし画素の画素感度（左側の光電変換部１０８Ｌ及び右側の光電変換部１０８Ｒのそれぞれの画素感度の和に等しい）を示す。１点鎖線は、光電変換部１０８Ｌの受光面がマイクロレンズ１０１の焦点位置に位置している場合の光電変換部１０８Ｌの画素感度を示す。この場合、光電変換部１０８Ｌは、光線が−θ範囲でのみ受光面に入るため、その範囲でのみ感度を有する。
【００３９】
光電変換部１０８Ｌの受光面がマイクロレンズ１０１の焦点位置より手前（レンズ側）に位置しているため、光電変換部１０８Ｌは、−θ範囲に限らず＋θ範囲においても感度を有する。図４の左図に示した状態では、残部１１１が光電変換部１０８Ｌに入らないため、−θ範囲において感度を損ない、領域１１３に相当する分だけ画素感度が低下する。一方、図４の右図に示した状態では、光線の一部１１２が光電変換部１０８Ｌに入るため、＋θ範囲においても感度を有し、領域１１４に相当する分だけ画素感度が増大する。
【００４０】
なお、上述の左側の光電変換部１０８Ｌの画素感度と同様に、ただし光線の入射角度に対して対称に、右側の光電変換部１０８Ｒの画素感度も説明することができる。光電変換部１０８Ｌ，１０８Ｒの配列により、左視差画素の強度分布と右視差画素の強度分布とが互いに部分的に重なることとなる。一般に、光電変換部１０８Ｌ，１０８Ｒの受光面がマイクロレンズ１０１の焦点位置からずれていれば、同様のことが言える。
【００４１】
視差Ｌｔ画素及び視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する。
【００４２】
まず、視差なし画素におけるデフォーカスの概念について簡単に説明する。図６に、視差なし画素におけるデフォーカスの概念を示す。
【００４３】
図６（ａ）に示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。
【００４４】
一方、図６（ｂ）に示すように、撮像素子受光面から遠ざかる方向に物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。
【００４５】
また、図６（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。
【００４６】
他方、図６（ｄ）に示すように、撮像素子受光面に近づく方向に物点が焦点位置からずれた場合にも、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示す。
【００４７】
図７に、視差画素におけるデフォーカスの概念を示す。視差Ｌｔ画素及び視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本明細書において、単一のレンズ瞳における互いに異なる仮想瞳から到達する被写体光束を受光することによって視差画像を撮像する方式を単眼瞳分割撮像方式という。
【００４８】
図７（ａ）に示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。
【００４９】
一方、図７（ｂ）に示すように、撮像素子受光面から遠ざかる方向に物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。すなわち、撮像素子受光面の水平方向に対して点像の広がりを有することになるので、ぼけ量は増す。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。視差Ｌｔ画素及び視差Ｒｔ画素が示す光強度分布のピーク間のずれ量は、視差量に相当する。
【００５０】
また、図７（ｃ）に示すように、さらに物点が焦点位置からずれると、図７（ｂ）の状態に比べてさらになだらかとなった同一の光強度分布がより離間して現れる。点像の広がりがより大きくなるので、ぼけ量は増す。また、視差Ｌｔ画素及び視差Ｒｔ画素が示す光強度分布のピーク間のずれも大きくなっているので、視差量も増す。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。
【００５１】
他方、図７（ｄ）に示すように、撮像素子受光面に近づく方向に物点が焦点位置からずれた場合には、図７（ｃ）の状態とは逆に、視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れる。視差Ｌｔ画素が示す光強度分布のピークは、視差Ｒｔ画素における一方向とは逆向きに離れた位置に現れる。すなわち、物点のずれの方向に応じて、視差Ｌｔ画素及び視差Ｒｔ画素が示す光強度分布のピークが、像点に対応する画素からどちらの方向に離れた位置に現れるかが決まる。
【００５２】
図８に、図６で説明した視差なし画素の光強度分布及び図７で説明した視差画素の光強度分布を示す。ここで、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表す。この出力値は実質的に光強度に比例する。
【００５３】
なお、上述のように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合も、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示すので、図において、撮像素子受光面に近づく方向にずれた場合の光強度分布の変化を省略している。撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の視差Ｌｔ画素及び視差Ｒｔ画素が示す光強度分布のピークについても、撮像素子受光面から遠ざかる方向に物点がずれた場合の視差Ｌｔ画素及び視差Ｒｔ画素が示す光強度分布のピークと同様であるので、省略している。
【００５４】
図８（ａ）に、図６で説明した視差なし画素の光強度分布の変化を示す。分布曲線１８０１は、図６（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図６（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図６（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。
【００５５】
図８（ｂ）に、図７で説明した視差画素の光強度分布の変化を表す。分布曲線１８０４と分布曲線１８０５は、それぞれ図７（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図７（ｂ）に対して同等のデフォーカス状態である図６（ｂ）の視差なし画素に対する分布曲線１８０２と相似形状を示す。
【００５６】
分布曲線１８０７と分布曲線１８０８は、それぞれ図７（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図７（ｃ）に対して同等のデフォーカス状態である図６（ｃ）の視差なし画素に対する分布曲線１８０３と相似形状を示す。なお、図７（ｄ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布は、図７（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布の位置を入れ替えた関係になるので、それぞれ分布曲線１８０８と分布曲線１８０７に相当する。
【００５７】
図９に、視差画素及び視差なし画素の光強度分布を示す。横軸は画素位置を表し、中心位置が像点に対応する画素位置である。曲線（分布）Ｌｔ，Ｒｔは、それぞれ、視差Ｌｔ画素及び視差Ｒｔ画素の光強度分布を表す。曲線（分布）Ｎは、視差なし画素の光強度分布である。
【００５８】
図９（ａ）は、撮像素子受光面から遠ざかる方向に物点が焦点位置からずれた場合における視差Ｌｔ画素及び視差Ｒｔ画素の光強度分布Ｌｔ，Ｒｔを示す。分布Ｌｔ，Ｒｔは、それぞれ、図８（ｂ）の分布曲線１８０４，１８０５に相当する。分布Ｎは、図８（ｂ）の合成分布曲線１８０６と相似形状を示す。視差なし画素の光強度分布Ｎのぼけ幅は、Ｌｔ画素と視差Ｒｔ画素の光強度分布Ｌｔ，Ｒｔの和のぼけ幅と同程度となる。
【００５９】
図９（ｂ）は、撮像素子受光面に近づく方向に物点が焦点位置からずれた場合における視差Ｌｔ画素及び視差Ｒｔ画素の光強度分布Ｌｔ，Ｒｔを示す。分布Ｌｔ，Ｒｔは、視差なし画素の光強度分布Ｎのぼけ幅が分布Ｌｔ，Ｒｔの和のぼけ幅と同程度になるという関係を維持しつつ、図９（ａ）の分布Ｌｔ，Ｒｔに対して位置関係が逆転している。
【００６０】
（視差マップの生成原理）
次に、視差の検出方法の考え方について述べる。後述するように、単眼瞳分割撮像方式では、被写体像のぼけ幅を推定することにより等価的に視差量を検知することができる。
【００６１】
図１０に、非合焦領域に存在する物点の点像分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、画素値を表す。左視点の点像分布Ｌｔと右視点の点像分布Ｒｔは、図９に示した視差Ｌｔ画素及び視差Ｒｔ画素の光強度分布のぼけ幅を示している。
【００６２】
図１０（ａ）に示すように、左視点の点像分布Ｌｔと右視点の点像分布Ｒｔは画素位置ｘの関数で表される。左視点の点像分布Ｌｔと右視点の点像分布Ｒｔの相加平均も画素位置ｘの関数で表される。例えば、画素位置ｘ１においては、ＬｔもＲｔも画素値を持つので、演算結果は正の値となる。画素位置ｘ２においては、Ｌｔは画素値を持たないものの、Ｒｔは画素値を持つので、演算結果はやはり正の値となる。以上のように、相加平均を算出する場合には、ＬｔとＲｔのいずれかが画素値を持てば、その演算結果は正の値となる。したがって、各画素位置における点像分布Ｌｔと点像分布Ｒｔの相加平均は、全体としてみると、点像分布Ｌｔ及びＲｔの広がり幅の和となる。これは、図９で示した視差なし画素に対応する広いぼけ幅に相当する。
【００６３】
なお、相加平均は、点像分布Ｌｔ及びＲｔの広がり幅の和を捉えるための演算の一例である。点像分布Ｌｔ及びＲｔの広がり幅の和を捉えることができるのであれば、他の演算を利用してもよい。
【００６４】
図１０（ｂ）に示すように、左視点の点像分布Ｌｔと右視点の点像分布Ｒｔの相乗平均も画素位置ｘの関数で表される。例えば、画素位置ｘ１においては、ＬｔもＲｔも画素値を持つので、演算結果は正の値となる。一方、画素位置ｘ２においては、Ｒｔは画素値を持つものの、Ｌｔは画素値を持たないので、演算結果はゼロとなる。以上のように、相乗平均を算出する場合には、ＬｔとＲｔのいずれもが画素値を持つ場合に、その演算結果は正の値となる。したがって、各画素位置における点像分布Ｌｔと点像分布Ｒｔの相乗平均は、全体としてみると、点像分布Ｌｔ及びＲｔの広がり幅の積となる。相乗平均の広がり幅は、相加平均に比べて狭くなり、視差量が増えると相対的に更に小さくなるので、視差量に相関を持つといえる。
【００６５】
なお、相乗平均は、点像分布Ｌｔ及びＲｔの広がり幅の積を捉えるための演算の一例である。点像分布Ｌｔ及びＲｔの広がり幅の積を捉えることができるのであれば、他の演算を利用してもよい。なお、一般的に、被写体は物点の集合と考えることができるので、画像は各物点に対する点像の積分ということができる。よって、画像のぼけは、上述した点像分布のぼけと同様に考えることができる。
【００６６】
したがって、実被写体に対して左視差画像と右視差画像を平均した画像を算出すると、相加平均と相乗平均の２つの平均の取り方を変えることによって、同じ画素位置で同じ画像構造の振る舞いをした被写体像を生成しつつ、ボケ幅の異なる被写体像を形成することができる。ゆえに、各画素において相加平均と相乗平均の比をとると、画像構造に関する情報は排除され、被写体像のボケ幅の比に関する情報だけが残る。
【００６７】
単眼瞳分割撮像方式に固有の特性であるぼけ幅が大きくなるほど視差が大きくなる性質を考えると、視差が大きくなるほど相加平均と相乗平均の比が大きくなるといえる。相加平均と相乗平均は、和と積の関係に相当するからである。合焦位置の被写体では、左視差の点像分布と右視差の点像分布が一致するので、相加平均と相乗平均の結果も一致する。したがって、相加平均と相乗平均の比の値は、１以上となる。相加平均と相乗平均の比の値が１になるのは合焦位置であり、合焦位置から離れた被写体になるほど、その値は大きくなる。実験的に、視差が最も大きくなるレンズの絞りを開放位置に持ってきた条件で求めてみると、最大でもその比の値は２程度の範囲に収まる。
【００６８】
したがって、下記の式１を定義すると、合焦位置では視差がゼロで、非合焦位置では視差の値が大きくなる指標が得られる。ここでは、合焦位置における相加平均と相乗平均の比の値（基準値）がゼロとなるよう、相加平均と相乗平均の比の値を−１している。
【数１】
2019091234.tif 000003
【００６９】
式１は、各画素の２次元マップを表すので、そのまま視差マップとして定義することができる。式１の右辺第１項の分子は視差なし画素のぼけ幅を表し、分母は視差画素のぼけ幅を表していると考えると、以下のような２つの比もぼけ幅の比を捉えていると考えることができる。
【数２】
2019091234.tif 000004
【００７０】
ただし、式２と式３では、画像構造に関する情報は完全に排除されていない。なぜなら、右辺第１項の分母と分子との間で視差が存在するため同じ画素位置で異なる被写体の画像構造の比をとっている。そこで、画像構造に関する情報を排除するために、以下のような２つの共役な式を定義する。
【数３】
2019091234.tif 000005
【００７１】
式４と式５は、式１を用いて表すことができる。
【数４】
2019091234.tif 000006
【００７２】
式６は、相加平均と相乗平均のボケ幅の比を二乗したようなスケールで変化する視差マップを抽出している。式７は、右辺第２項で相加平均と相乗平均のボケ幅の比を捉えつつ、第１項で画像構造に関する要因を分母で排除しながら、左視差画像と右視差画像の信号変化に起因した何らかの符号要因を捉えている。
【００７３】
一般に、立体撮像光学系において、光学系の焦点位置に位置する被写体像に対して、それより手前にある被写体像は、左視差画像においては右側に、右視差画像においては左側に像がぶれる。一方、それより奥にある被写体像は、左視差画像においては左側に、右視差画像においては右側に像がぶれる。式７には、その変化方向を捉えた情報が含まれている。
【００７４】
実験的に、式７が表す意味を分析した結果、次の事実が判明した。すなわち、合焦域より前に存在する被写体領域（前ピン領域）では、被写体像が右側に行くほど明るくなる領域では正の符号となり、被写体像が右側に行くほど暗くなる領域では負の符号となる。それとは反対に、合焦域より後ろに存在する被写体領域（後ピン領域）では、被写体像が右側に行くほど明るくなる領域では負の符号となり、被写体像が右側に行くほど暗くなる領域では正の符号となる。
【００７５】
したがって、右側に行くほど暗くなる被写体領域の符号を反転する操作を加えれば、合焦点より手前にある被写体なのか奥にある被写体なのかを判別することが可能になる。すなわち、式７の右辺の第１項の符号から、被写体の画像構造に起因する符号要因を排除することができれば、式７は、合焦点から前後の位置関係を符号として捉え、かつ、合焦点からの距離に比例して視差量が増える符号付き視差情報を捉えることできるようになる。
【００７６】
式７の符号から画像構造要因の符号を排除するには、被写体像の水平方向の一次微分の符号を掛け合わせるとうまく排除することができる。被写体像の代表として、視差のない画像を参照することにする。左視差画像と右視差画像の相加平均画像をＮで表すと以下の式８が得られる。
【数５】
2019091234.tif 000007
したがって、新たに以下の量を定義すると符号付き視差マップを得ることできる。
【数６】
2019091234.tif 000008
なお、式１０を一般化して、以下のように閾値σｎに対して定義することもできる。閾値σｎの大きさは、画像データのノイズの揺らぎを基準とする。
【数７】
2019091234.tif 000009
【００７７】
このように、単眼瞳分割撮像方式においては、ぼけの中に視差が含まれることに着目して、極めて単純な平均操作をするだけの演算でぼけ幅を推定し、各点の視差情報を得ることが可能になる。
【００７８】
なお、得られる視差情報は、平坦部領域ではゼロとなる視差情報である。すなわち、被写体のエッジ部領域で検出されるぼけ幅が同定される。したがって、画像のエッジ部領域に着眼した視差マップ情報となる。これは、画像の領域単位の視差マップ情報ではない。ゆえに、被写体像がエッジ領域から平坦部領域に移行するにしたがって、視差が消滅するような視差の分布情報が得られる。
【００７９】
なお、上述のようにして求めた視差マップは、エッジ領域の視差マップを表すことから、以降ではエッジ視差マップと呼ぶこともある。
【００８０】
（視差マップの初期状態）
式２と式３から、２つの共役な視差マップ状態である式９と式６が得られる。これらを、以下の視差マップの初期状態と定義する。
【数８】
2019091234.tif 000010
式１２が符号付き初期エッジ視差マップであり、式１３が符号なし初期エッジ視差マップである。
【００８１】
（逆数化時の特異点）
ここで、２つの共役な変数を逆数化した時の特異点の発生を考える。式１２はＬｔ＝Ｒｔとなる合焦点領域で分子が０となるため、逆数化時に０に特異点を持つ。暗黒部Ｌｔ＝Ｒｔ＝０においても逆数化時に０に特異点を持つ。式１３はＬｔ＝Ｒｔとなる合焦点領域では比が１となる。一方、暗黒部Ｌｔ＝Ｒｔ＝０の領域では比が０又は∞発散する可能性がある。したがって、式１３は逆数化時に０と−１に特異点を持つ。
【００８２】
式１２は、視差＝０で発生する逆数化時の特異点と明るさ＝０で発生する逆数化時の特異点が２つとも０に縮退して現れるといえる。式１３は、視差＝０で発生する逆数化時の特異点と明るさ＝０で発生する逆数化時の特異点の場所が０と−１で異なっている。２つの特異点のどちらを対象としているかを区別するため、逆数化前後の両変数に対して視差＝０で発生する特異点を記号０、明るさ＝０で発生する特異点を記号１で表す場合がある。
【００８３】
（視差マップの領域化の概念原理）
次に、視差マップの領域化の概念を説明する。式１２及び式１３はエッジ領域で視差量が発生している。そこで、エッジ視差マップがラプラシアン・エッジと酷似している場合、概念的に以下の微分方程式を仮定する。
△Ｎ＝Ｃ（０）
ここで、ラプラシアン演算子の逆数演算子がグリーン関数となる。グリーン関数は特異点に解の固有値を持つデルタ関数を与える。Ｎ（ｘ，ｙ）を被積分関数としてデルタ関数に畳み込んで逐次積分すれば、積分方程式の解が求まる。解が領域化された視差マップを与える。上記概念式は、両辺を２乗した時、共役な２つの解を表すと仮定する。
［△Ｎ］２＝Ｃ±（０）
実際には、エッジ視差マップがラプラシアン・エッジと完全酷似しているわけではないので、ラプラシアン演算子の高次項による補正も必要となる。これが視差マップ領域化の基本原理である。
【００８４】
（ラプラシアン・エッジ）
ΔＮは、２次微分フィルタによって抽出したラプラシアン・エッジを表す。
【００８５】
上記の式１２のエッジ視差マップは、画像の解像度に依存しない画像全体の大局的な情報を表している。例えば、大きなボケ領域のエッジは大きな領域として認知する。したがって、分母側のエッジ成分も、画像の解像度に依存しない画像全体に渡る大局的なエッジ情報でなければならない。このような性質を持つエッジ成分としては、本発明者によって導入された統合エッジによるノイズ精錬（米国特許出願公開第２０１３／０１６３８９５号明細書）や統合エッジのヒストグラム形状による画像分類（米国特許出願公開第２０１０／００７４５２３号明細書）に開示される多重解像度統合エッジが最適である。
【００８６】
これらの文献では、ウェーブレット変換を用いた場合の多重解像度統合エッジとラプラシアン・ピラミッド表現を用いた場合の多重解像度統合エッジの２通りについて述べているが、本実施形態では、ラプラシアン・ピラミッドで生成したエッジ成分の統合エッジを用いることにする。すなわち、原画像を等価的に最低解像度のガウシアン成分と各解像度のラプラシアン成分の連なりの画像に分解する。それから、最低解像度のガウシアン成分をゼロに設定した上で、ラプラシアン成分を最低解像度から順に統合し、原画像と同じ解像度を持つ統合エッジ成分を作る（P. H. Burt and E. H. Adelson, "The Laplacian Pyramid as a Compact Image Code," IEEE Transactions on Communications, Vol.31, No.4, pp.532-540, 1983）。
【００８７】
（視差の最小弁別単位）
式１２と式１３は、相加平均と相乗平均のボケ幅の比を基準とした１に規格化された変数である。上述の逐次積分を実行するとき、ラプラシアン・エッジ△Ｎと画像信号Ｎの２つがその他の変数として現れる。これらの変数も１を基準とした変数に変換して積分を実行する。そのときの基準点としてラプラシアン・エッジ△Ｎはノイズのゆらぎ幅σnが基準点を与える。一方の画像信号Ｎに対する基準点σdは、左右の視差画素の明るさが所定レベル以上の明るさを持った時に初めて視差を知覚する最小の明るさに設定する。これを、最小視差弁別単位と呼ぶことにする。すなちわ、
【数９】
2019091234.tif 000011
【００８８】
最小視差弁別単位σdを決定するために、次のような思考実験を行う。式１２の符号付き視差マップを多種多様な画像に対して適用してみると、大部分で正しい符号情報、すなわち奥行き情報を発生するものの、次のような箇所では画素単位で正負に符号が入れ替わる不安定領域が存在する。すなわち、暗部で平坦な領域のような箇所では、強い強度で正負に符号が入れ替わる。
【００８９】
エッジ視差マップに対して仮想的に、以下のようなＬｔ画像とＲｔ画像の各々の画素値に定数を加える操作を行う。そうすると、このような不安定性は急に目立たなくなる明るさレベルσdが存在する。
Ｌｔ（ｘ，ｙ）→Ｌｔ（ｘ，ｙ）＋σｄ
Ｒｔ（ｘ，ｙ）→Ｒｔ（ｘ，ｙ）＋σｄ
これを最小視差弁別単位として採用する。２５６階調の場合、σd=７２程度である。なお、このような定数加算は実際には行わず、式１２と式１３の定義を以下では用いる。
【００９０】
（階調反転）
左視差画像Ｌｔと右視差画像Ｒｔの間で発生している最終的な領域視差マップの量は、階調反転した左視差画像及び右視差画像（階調反転後の左視差画像及び右視差画像とも呼ぶ）
【数１０】
2019091234.tif 000012
の間で発生している最終的な領域視差マップの量と同じとなるべきはずのものである。
【００９１】
階調反転前の初期エッジ視差マップの式１２と式１３の他に、階調反転した初期エッジ視差マップの下式を新たに独立な情報として持ちうることになる。
【数１１】
2019091234.tif 000013
【００９２】
階調反転前のＬｔとＲｔ画像から初期エッジ視差マップＣ±（０）を生成し、積分を行って順にエッジ視差マップＣ±、領域視差マップＰ±、最終領域視差マップＰ±（０）へと生成する視差マップの形式に移行していく段階で、同時並列に階調反転後の左視差画像及び右視差画像から初期エッジ視差マップ（階調反転後の初期エッジ視差マップとも呼ぶ）
【数１２】
2019091234.tif 000014
を生成し、積分を行って順にエッジ視差マップ（階調反転後のエッジ視差マップとも呼ぶ）
【数１３】
2019091234.tif 000015
領域視差マップ（階調反転後の領域視差マップとも呼ぶ）
【数１４】
2019091234.tif 000016
最終領域視差マップ（階調反転後の最終領域視差マップとも呼ぶ）
【数１５】
2019091234.tif 000017
を生成することができる。
【００９３】
最終的に出力する領域視差マップは、階調反転なしとありの２つの平均値をとる。出力として意味があるのは、符号付き領域視差マップの側である。
【数１６】
2019091234.tif 000018
なお、以降の説明の大部分では、階調反転した場合の定義式は式が複雑になるので省略する。
【００９４】
（別枠処理の積分と本枠処理のグリーン関数による経路積分）
上述のとおりに段階的に積分をしていく段階で、初期エッジ視差マップと最終領域視差マップの積分処理は、ノイズ除去・化粧直しの役割をする別枠処理に該当する。本枠処理である経路積分はエッジ視差マップと領域視差マップに対して行う。すなわち、Ｎを被積分因子としてグリーン関数に畳み込む積分は、本枠処理の経路積分で行う。別枠処理ではＮ被積分因子を畳み込まないため、因子はｘ１となる。
【００９５】
図１１及び図１２に、それぞれ、本枠処理の経路積分における畳込み因子と積分順序の関係及び積分に関与する状態面（粒子）と相互作用の関係を示す。視差マップ領域化の逐次積分は、経路積分することに相当し、グリーン関数法と呼ばれる手法の形態に類する。２つの共役な視差面を状態或いは粒子と呼ぶ。多体系を２粒子記述する方式に当てはまる。図１２の相互作用のダイヤグラムは、場の量子論ではファイマンダイヤグラムとも呼ばれるものに相当する。
【００９６】
視差マップが領域化される様子は次のような描像で語ることができる。画像構造におけるキーポイントを中心に特異点源が発生するので、それらが物体境界に沿って背景領域内と前景領域内の各領域単位で十分に平滑化された段階で算出する視差量の分布が領域として現れる。キーポイントにおける特異点源の構造は粒子を定義した時や粒子の逆数変数をとった時に現れる。
【００９７】
図１２では、０に特異点をもつ粒子を記号０，−１に特異点を持つ粒子を記号１で表す。前方のＷＣ粒子は、ＺＰに対して０と１以外の固有値による定義粒子が存在し、それはあたかもファイマン図形ではＺＰ面で波が反射するような役割を担う。ダイヤグラムでは、図を見やすくするため後方からの波線で記述した。
【００９８】
ダイヤグラムでは、別枠処理で記述した入口と出口は波として実は等価的性質を備えている。したがって、別枠処理で行う積分の経路を構成する変数は、入口側の初期エッジ視差マップのノイズ除去処理と出口側の最終領域視差マップの化粧直し処理では同じ変数で構成される。
【００９９】
初期エッジ視差マップの定義式を構成する変数を実在構成変数と呼び、ダイヤグラムの粒子が関与するＮと［ΔＮ］２の高次系を予告構成変数と呼ぶ。予告構成変数は重複を含めて、波の反射による高次化も考慮する。具体的には、実在構成変数は、
【数１７】
2019091234.tif 000019
であり、予告構成変数は、
【数１８】
2019091234.tif 000020
である。
【０１００】
以下に、粒子の定義、各粒子に対する経路積分式をまとめる。
【０１０１】
（初期エッジ視差マップのノイズ抑制）
粒子及び逆数の定義
【数１９】
2019091234.tif 000021
【０１０２】
（Ｗ＋（０）→Ｃ±（０）→Ｗ−（０））各面の積分（エッジ視差マップ又はこれに関する各面に対する第１の平滑化の一例）
【数２０】
2019091234.tif 000022
ここに、
【数２１】
2019091234.tif 000023
なお、上記のグリーン関数について、図１２の左のダイヤグラムにおけるループａが指数内の第１及び第２項に表されるＣ-（０）及びＷ−（０）面の相互作用を表し、矢印ｂが指数内の第３及び第４項に表されるＣ-（０）及びＷ−（０）面の相互作用を表している。また、上記の式２１〜式２３による平滑化（すなわち、経路積分）は、面Ｃ（０）及び面Ｗ（０）との相互作用に由来する経路に少なくとも基づき、左視差画像Ｌｔと右視差画像Ｒｔとの間の最大視差量と同程度のフィルタ径（２ｒｔｈ）の範囲について処置される。
【０１０３】
（エッジ視差マップの経路積分）
粒子の定義
【数２２】
2019091234.tif 000024
【０１０４】
逆数の定義
【数２３】
2019091234.tif 000025
【０１０５】
粒子の定義
【数２４】
2019091234.tif 000026
【０１０６】
逆数の定義
【数２５】
2019091234.tif 000027
【０１０７】
粒子の定義
【数２６】
2019091234.tif 000028
【０１０８】
逆数の定義
【数２７】
2019091234.tif 000029
【０１０９】
Ｃ粒子に基づく特殊な逆数の定義
【数２８】
2019091234.tif 000030
ここに、
【数２９】
2019091234.tif 000031
【０１１０】
（Ｗ＋１→Ｃ±１→Ｗ−１）→（Ｗ＋０→Ｃ±０→Ｗ−０）各面の経路積分（エッジ視差マップ又はこれに関する各面に対する第２の平滑化の一例）
【数３０】
2019091234.tif 000032
ここに、
【数３１】
2019091234.tif 000033
なお、上記のグリーン関数について、図１２の中央のダイヤグラムにおけるループａが指数内の第１から第４項に表されるＣ-及びＷ−面の相互作用を表し、矢印ｂが指数内の第５から第８項に表されるＣ-及びＷ−面の相互作用を表し、矢印ｃが指数内の第９から第１２項に表されるＣ-及びＷ−面の相互作用を表し、矢印ｄが指数内の第１３から第１６項に表されるＣ-及びＷ−面の相互作用を表し、矢印ｅが指数内の第１７から第２０項に表されるＣ-及びＷ−面の相互作用を表し、矢印ｆが指数内の第２１から第２４項に表されるＣ-及びＷ−面の相互作用を表している。また、上記の式３２〜式３７による平滑化（すなわち、経路積分）は、面Ｃ、面Ｗ、面Ｐ、及び面Ｚとの相互作用に由来する経路に少なくとも基づき、左視差画像Ｌｔと右視差画像Ｒｔとの間の最大視差量と同程度のフィルタ径（２ｒｔｈ）の範囲について処置される。
【０１１１】
（領域視差マップの経路積分）
（Ｐ＋１→Ｚ±１→Ｐ−１）→（Ｐ＋０→Ｚ±０→Ｐ−０）各面の経路積分（領域視差マップ又はこれに関する各面に対する第２の平滑化の一例）
【数３２】
2019091234.tif 000034
ここに、
【数３３】
2019091234.tif 000035
なお、上記のグリーン関数について、図１２の中央のダイヤグラムにおけるループｇが指数内の第１から第４項に表されるＰ-及びＺ−面の相互作用を表し、矢印ｈが指数内の第５から第８項に表されるＰ-及びＺ−面の相互作用を表し、矢印ｉが指数内の第９から第１２項に表されるＰ-及びＺ−面の相互作用を表し、矢印ｊが指数内の第１３から第１６項に表されるＰ-及びＺ−面の相互作用を表し、矢印ｋが指数内の第１７から第２０項に表されるＰ-及びＺ−面の相互作用を表し、矢印ｌが指数内の第２１から第２４項に表されるＰ-及びＺ−面の相互作用を表している。また、上記の式３９〜式４４による平滑化（すなわち、経路積分）は、面Ｃ、面Ｗ、面Ｐ、及び面Ｚとの相互作用に由来する経路に少なくとも基づき、左視差画像Ｌｔと右視差画像Ｒｔとの間の最大視差量と同程度のフィルタ径（２ｒｔｈ）の範囲について処置される。
【０１１２】
（最終領域視差マップの化粧直し）
粒子及び逆数の定義
【数３４】
2019091234.tif 000036
【０１１３】
（Ｐ＋（０）→Ｚ±（０）→Ｐ−（０））各面の積分（領域視差マップ又はこれに関する各面に対する第１の平滑化の一例）
【数３５】
2019091234.tif 000037
ここに、
【数３６】
2019091234.tif 000038
なお、上記のグリーン関数について、図１２の右のダイヤグラムにおけるループｍが指数内の第１及び第２項に表されるＰ-（０）及びＺ−（０）面の相互作用を表し、矢印ｎが指数内の第３及び第４項に表されるＰ-（０）及びＺ−（０）面の相互作用を表している。また、上記の式４７〜式４９による平滑化（すなわち、経路積分）は、面Ｐ（０）及び面Ｚ（０）との相互作用に由来する経路に少なくとも基づき、左視差画像Ｌｔと右視差画像Ｒｔとの間の最大視差量と同程度のフィルタ径（２ｒｔｈ）の範囲について処置される。
【０１１４】
（階調反転を考慮した場合の４倍経路化）
階調反転を考慮した場合、積分の経路を表す。
【数３７】
2019091234.tif 000039
は４倍の経路にまで増える。階調反転前の経路が
【数３８】
2019091234.tif 000040
である場合の例を考察する。
【０１１５】
階調反転面の追加によって経路が２倍化する。
【数３９】
2019091234.tif 000041
【０１１６】
更に、階調反転前と階調反転後は等価的とみなす強制経路を追加すると、経路は４倍化する。
【数４０】
2019091234.tif 000042
【０１１７】
階調反転前の経路が
【数４１】
2019091234.tif 000043
である場合の４倍経路化の例は次のようになる。
【数４２】
2019091234.tif 000044
【０１１８】
図１２のダイヤグラムでは、階調反転した粒子（バーの付いた記号）を追加することによって２倍経路化を図示し、４倍経路化の相互作用を両方向矢印で図示している。式１９から式５０は、実際は、階調反転した粒子も定義し、４倍経路化した積分経路ｗによって実際の演算は行う。ここに述べた４倍経路化の規則を、１つ１つのガウシアンの引数に当てはめる。
【０１１９】
画像処理の手順は、以下の通りである。
１）左右の視差画像の入力
１−１）モノクロ・視差多重化画像データ入力
１−２）視差なし画像の生成
１−３）多重解像度統合エッジ画像の生成
１−４）実在構成変数と予告構成変数の生成
２）初期エッジ視差マップの生成（Ｗ＋（０）→Ｃ±（０）→Ｗ−（０））
２−０）Ｃ−（０）面、Ｃ＋（０）面の生成
２−１）Ｗ−（０）面、Ｗ＋（０）面への変換
２−２）Ｗ＋（０）面の平滑化処理
２−３）Ｃ−（０）面、Ｃ＋（０）面への逆変換
２−４）Ｃ−（０）面、Ｃ＋（０）面の平滑化処理
２−５）Ｗ−（０）面、Ｗ＋（０）面への変換
２−６）Ｗ−（０）面の平滑化処理
２−７）Ｃ−（０）面、Ｃ＋（０）面への逆変換
３）エッジ視差マップの生成（Ｗ＋１→Ｃ±１→Ｗ−１→Ｗ＋０→Ｃ±０→Ｗ−０）
３−０）Ｃ−面、Ｃ＋面の生成
３−１）Ｗ−１面、Ｗ＋１面への変換
３−２）Ｗ＋１面の平滑化処理
３−３）Ｃ−１面、Ｃ＋１面への逆変換
３−４）Ｃ−１面、Ｃ＋１面の平滑化処理
３−５）Ｗ−１面、Ｗ＋１面への変換
３−６）Ｗ−１面の平滑化処理
３−７）Ｃ−面、Ｃ＋面への逆変換
３−８）Ｗ−０面、Ｗ＋０面への変換
３−９）Ｗ＋０面の平滑化処理
３−１０）Ｃ−０面、Ｃ＋０面への逆変換
３−１１）Ｃ−０面、Ｃ＋０面の平滑化処理
３−１２）Ｗ−０面、Ｗ＋０面への変換
３−１３）Ｗ−０面の平滑化処理
３−１４）Ｃ−面、Ｃ＋面への逆変換
４）領域視差マップの生成（Ｐ＋１→Ｚ±１→Ｐ−１→Ｐ＋０→Ｚ±０→Ｐ−０）
４−０）Ｐ−面、Ｐ＋面の生成
４−１）Ｐ＋１面の平滑化処理
４−２）Ｚ−１面、Ｚ＋１面への変換
４−３）Ｚ−１面、Ｚ＋１面の平滑化処理
４−４）Ｐ−１面、Ｐ＋１面への逆変換
４−５）Ｐ−１面の平滑化処理
４−６）Ｐ＋０面の平滑化処理
４−７）Ｚ−０面、Ｚ＋０面への変換
４−８）Ｚ−０面、Ｚ＋０面の平滑化処理
４−９）Ｐ−０面、Ｐ＋０面への逆変換
４−１０）Ｐ−０面の平滑化処理
５）最終領域視差マップの生成（Ｐ＋（０）→Ｚ±（０）→Ｐ−（０））
５−０）Ｐ−（０）面、Ｐ＋（０）面の生成
５−１）Ｐ＋（０）面の平滑化処理
５−２）Ｚ−（０）面、Ｚ＋（０）面への変換
５−３）Ｚ−（０）面、Ｚ＋（０）面の平滑化処理
５−４）Ｐ−（０）面、Ｐ＋（０）面への逆変換
５−５）Ｐ−（０）面の平滑化処理
６）階調反転なしとありの最終視差マップの平均出力
以下、順に説明する。
【０１２０】
１）左右の視差画像の入力
１−１）モノクロ・視差多重化画像データ入力
画像入力部２０５ａは、１つの画素１０３の中に左側光束を受光する光電変換部１０８Ｌと右側光束を受光する光電変換部１０８Ｒが含まれる、つまり１つの画素１０３が左視差画素と右視差画素の２つの視差画素として機能する撮像素子１００（図２及び図３参照）から画像を入力する。なお、モノクロセンサの場合、右視差画素の出力を集めると右視差画像Ｒｔが、左視差画素の出力を集めると左視差画像Ｌｔが得られる。
【０１２１】
撮像素子の出力は、光量に比例した出力である線形階調特性である。式１や式９のエッジ視差マップの導出は線形階調特性のままでも行うことができるが、後のノイズ除去の平滑化を行うことを考えると、均等ノイズ空間に移行しておくと都合がよい（例えば、米国特許第７，９５７，５８８号明細書参照）。
【０１２２】
入力信号ｘの階調と出力信号ｙの階調は共に範囲［０，１］で定義されるものとする。入出力特性が（ｘ，ｙ）＝（０，０）と（１，１）を通るように階調曲線（ガンマ曲線）を定義する。実際の入力階調Ｘの最大値をＸｍａｘ、出力階調Ｙの最大値をＹｍａｘとすると、ｘ＝Ｘ／Ｘｍａｘ、ｙ＝Ｙ／Ｙｍａｘであり、階調変換は以下のように行われる。
【数４３】
2019091234.tif 000045
ここに、ｙ＝ｆ（ｘ）の階調特性は、以下のとおりである。
【数４４】
2019091234.tif 000046
正のオフセット値εは、暗電流ノイズ成分が増える高感度の撮影条件になるほど大きな値を設定することとする。
【０１２３】
このようにして、左視差画像Ｌｔ（＝Ｌｔ（ｘ，ｙ））と右視差画像Ｒｔ（＝Ｒｔ（ｘ，ｙ））が続く処理の入力画像として準備される。
【０１２４】
１−２）視差なし画像の生成
エッジ抽出部２０５ｃは、上で準備された左視差画像Ｌｔと右視差画像Ｒｔの平均をとることによって、左視点方向と右視点方向との間の基準視点方向の視差なし画像（２Ｄ画像）を生成する。
【数４５】
2019091234.tif 000047
【０１２５】
１−３）多重解像度統合エッジ画像の生成
エッジ抽出部２０５ｃは、図１３に示すように、基準視点方向の視差なし画像Ｎ（ｘ，ｙ）から多重解像度統合エッジ△Ｎ（ｘ，ｙ）を生成する。エッジ成分としては２次微分のラプラシアン成分を抽出する。
【０１２６】
まず、エッジ抽出部２０５ｃは、基準視点方向の視差なし画像Ｎ（ｘ，ｙ）をラプラシアン演算によりフィルタリングして、逐次的に複数の解像度からなる高周波帯域画像を生成する。そのためにラプラシアン・ピラミッドＬ０〜Ｌ５を生成する。Ｎ（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）として、ガウシアン・ピラミッドをＧ０〜Ｇ６によって表す。最低解像度の段数は、１０００万画素クラスの画像に対しては６段程度とる。ラプラシアン・ピラミッドは多重解像度の高周波画像の連なりを表すＨバンドと呼ぶこともできる。一方のガウシアン・ピラミッドは多重解像度の低周波画像の連なりを表すＬバンドと呼ぶこともできる。原画像の等価表現のためには、最低解像度のガウシアン成分と各解像度の高周波成分の連なりだけが必要な成分である。残りのガウシアン成分の連なりは余分な成分である。なお、後のノイズ除去では、この余分な成分も冗長な周波数空間表現のために使用する。具体的には、次のような手続きを踏む。
【０１２７】
［分解ステップ１］
Ｇ０画像にエイリアジング防止のためのＬＰＦフィルタ、例えば（１，５，８，５，１）／２０を掛けた後に、１／２解像度に間引いた画像をＧ１画像とする。
［分解ステップ２］
Ｇ１画像をバイリニアによって２倍に線形拡大し、Ｇ０と同じ解像度に戻した上で、Ｇ０画像との差分をとり、それをＬ０画像とする。
分解ステップ１及び分解ステップ２を繰り返して、Ｇ０〜Ｇ６画像とＬ０〜Ｌ５画像を生成する。等価表現のためには、Ｇ０〜Ｇ５画像は不要である。
次に、多重解像度統合エッジを作るために、Ｇ６画像を全てゼロにセットする。
それから上述の分解ステップと逆の処理を行い、つまり高周波帯域画像を低い解像度から逐次的に統合（エッジ統合）して、１つに統合された高周波帯域画像を生成し、これをエッジ成分として抽出する。
［統合ステップ１］
Ｇ６画像を２倍に線形拡大し、Ｌ５画像と加算したＬ５'画像（低周波成分が除外されたＧ５画像）を作る。
［統合ステップ２］
Ｌ５'画像を２倍に線形拡大し、Ｌ４画像と加算したＬ４'画像を作る。
統合ステップ２を繰り返して、原画像と同じ解像度のＬ０'画像をつくる。Ｌ０'画像がラプラシアン・ピラミッドＬ０〜Ｌ５を統合した多重解像度統合エッジ成分である。
【０１２８】
１−４）実在構成変数と予告構成変数の生成
エッジ視差マップ生成部２０５ｂは、実在構成変数
【数４６】
2019091234.tif 000048
及び予告構成変数
【数４７】
2019091234.tif 000049
を予め算出しておく。
【０１２９】
なお、水平方向の微分は、次のように定義する。水平方向の一次微分の分母の区間の取り方として、単眼瞳分割撮像方式では視差が増えるほど被写体像のボケが増えることに対応して、ボケ幅が大きいほど微分区間を広くとると微分値がより安定化する。そのとき、各画素のボケ幅の情報として、以下のように、式１に示したＤ（ｘ，ｙ）を参照するのがよい。
【数４８】
2019091234.tif 000050
ただし、ｄｘ＝ＭＡＸ（ＮＸ×Ｄ（ｘ，ｙ），１）は整数値とする。
【０１３０】
ここに、ＮＸは単眼瞳分割撮像方式の水平方向の最大視差量程度の大きさにとり、画像全体の水平画素数に対して５％程度の画素幅にとる。例えば、水平画素数が２０００画素程度の場合は、ＮＸ＝１００程度の値をとる。
【０１３１】
左視差画像と右視差画像で捉える被写体像の分布の内、視差情報を捉えることができるのは、縦線の被写体像のみならず、斜め線の縦方向に縦方向に僅かでも成分をもつ被写体像も左右にボケ幅が分離する。視差情報が全く発生しないのは、完全に横線の被写体像だけである。したがって、被写体像の水平方向の微分として、以下のように、視差の検知が可能な斜め方向にも拡張を行うことができる。
【数４９】
2019091234.tif 000051
右辺括弧内の３項は、いずれも水平方向に微分の成分を持つ。
【０１３２】
２）初期エッジ視差マップの生成
２−０）Ｃ−（０）面、Ｃ＋（０）面の生成
エッジ視差マップ生成部２０５ｂは、式１２と式１３に基づいて、符号付き初期エッジ視差マップＣ−（０）（Ｃ−（０）面とも呼ぶ）と符号なし初期エッジ視差マップＣ＋（０）（Ｃ＋（０）面とも呼ぶ）を生成する。
【数５０】
2019091234.tif 000052
これに先立って、エッジ視差マップ生成部２０５ｂは、各画素について、左視差画像Ｌｔと右視差画像Ｒｔとの間の相加平均（Ｌｔ＋Ｒｔ）／２と相乗平均√（Ｌｔ・Ｒｔ）との比を算出し、これを用いて上記エッジ視差マップを生成している。
【０１３３】
（Ｗ＋（０）→Ｃ±（０）→Ｗ−（０））
２−１）Ｗ−（０）面、Ｗ＋（０）面への変換
エッジ視差マップ生成部２０５ｂは、Ｃ−（０）面及びＣ＋（０）面を逆数空間Ｗ−（０）面及びＷ＋（０）面へ変換する。
【数５１】
2019091234.tif 000053
【０１３４】
（階調サンプリングに伴う量子化誤差の対策）
式５８と式５９は、浮動小数点変数を用いて実際は数値演算を行う。しかし、分母が零になるところは、特異点で発散してしまう。それを防止して演算を可能にするには、数値計算の処方として、式５８と式５９に定義される式１２と式１３の定義式の浮動小数点精度を考慮に入れる。左視差画像Ｌｔと右視差画像Ｒｔが１４ビット整数型にＡ／Ｄ変換されて入力される場合は、分子／分母の最小単位は１／（２１４）２〜３ｘ１０−１０程度の小数点精度しか保有していない。したがって、分母が零になる発散を防止するために分母側にこの微小定数を加えて逆数をとる。このようにすると、数値計算上の特異点制御が可能となる。これに続く逆数化では、実際の数値演算では、同様に定義式が持つ最小精度の定数を考察して付加するものとする。
【０１３５】
２−２）Ｗ＋（０）面の平滑化処理
エッジ視差マップ生成部２０５ｂは、Ｗ＋（０）面に対して、式２１に基づいて平滑化を行う。ここでは、Ｗ−（０）面の平滑化は行わない。
【０１３６】
２−２−１）空間サンプリングに伴うエイリアジング除去
後述する変形例においてその詳細を説明する。
【０１３７】
２−２−２）Ｗ＋（０）面の多重解像度空間での平滑化処理
Ｌ／Ｈ両バンドの多重解像度ノイズ除去（例えば、米国特許第８，２４４，０３４号明細書参照）には、Ｌバンド側のノイズ除去の方法として、多重解像度分解時にＬバンドを逐次的にノイズ除去するＡｎａｌｙｓｉｓ逐次方式（当該文献の図６参照）と多重解像度統合時に逐次的にノイズ除去するＳｙｎｔｈｅｓｉｓ逐次方式（当該文献の図１０参照）の２通りがある。本実施形態では、特異点をきれいに排除するために、図１４に示すＡｎａｌｙｓｉｓ逐次とＳｙｎｔｈｅｓｉｓ逐次を併用する方式を採用する。Ｈバンドについては、多重解像度分解が完了して高周波画像の連なりとして表現された段階で、各面に個別にノイズ除去を行う。
【０１３８】
２−３−２−１）Ａｎａｌｙｓｉｓ逐次によるＬバンドの平滑化
Ｚ（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）として、ガウシアン・ピラミッドＧ０〜Ｇ６とラプラシアン・ピラミッドＬ０〜Ｌ５を生成する。それぞれは、冗長な周波数空間表現の低周波バンドと高周波バンドに相当する。
【０１３９】
［ステップ０（ノイズ除去）］
Ｇ０画像に対して、式２１で定義したノイズ除去フィルタを掛ける。これをＧ０*画像として出力する。
式２１は２次元非分離型フィルタで定義しているが、実用上は１次元分離型フィルタを水平方向と垂直方向に分けてフィルタリングしてよい。
［ステップ１（分解）］
ステップ０で出力されたＧ０*画像にエイリアジング防止のためのＬＰＦフィルタ、例えば（１，５，８，５，１）／２０を掛けた後に、１／２解像度に間引いた画像をＧ１画像とする。
［ステップ２（分解）］
Ｇ１画像をバイリニアによって２倍に線形拡大し、Ｇ０*と同じ解像度に戻した上で、Ｇ０*画像との差分をとり、それをＬ０画像とする。
【０１４０】
ステップ０からステップ２を繰り返して、ノイズ除去されたＧ０*〜Ｇ５*画像とノイズ除去されていないＧ６画像、及び、それらの面から導出されたＬ０〜Ｌ５画像を生成する。なお、ステップ０のノイズ除去フィルタで設定するノイズ揺らぎ幅σｎは、各々のサブバンドに適した値を設定するものとする。原画像のノイズ揺らぎ幅の定数倍で連動し、その定数は多重解像度変換の定義式で自動的に定まる。
【０１４１】
２−３−２−２）Ｈバンドの平滑化
ラプラシアン・ピラミッド成分Ｌ０〜Ｌ５の各々の画像に対し、式２１で定義したノイズ除去フィルタを掛ける。これをＬ０*〜Ｌ５*画像として出力する。
【０１４２】
ここでも、分離型フィルタを用いてよい。ノイズ除去フィルタで設定するノイズ揺らぎ幅σｎは、各々のサブバンドに適した値を設定するものとする。以下についても同様である。
【０１４３】
２−３−２−３）Ｓｙｎｔｈｅｓｉｓ逐次によるＬバンドの平滑化
［ステップ０（ノイズ除去）］
Ｇ６画像に対して、式２１で定義したノイズ除去フィルタを掛ける。これをＧ６**画像として出力する。
【０１４４】
［ステップ１（統合）］
Ｇ６**画像を２倍に線形拡大し、Ｌ５*画像と加算したＧ５'画像を作る。
【０１４５】
［ステップ２（ノイズ除去）］
Ｇ５'画像に対して、式２１で定義したノイズ除去フィルタを掛ける。これをＧ５**画像として出力する。
【０１４６】
［ステップ３（統合）］
Ｇ５**画像を２倍に線形拡大し、Ｌ４*画像と加算したＧ４'画像を作る。ステップ２〜ステップ３を繰り返して、原画像と同じ解像度のＧ０'画像をつくる。
【０１４７】
［ステップｎ（ノイズ除去）］
Ｇ０'画像に対して、式２１で定義したノイズ除去フィルタを掛ける。これをＧ０**画像として出力する。
【０１４８】
Ｇ０**画像がラプラシアン・ピラミッドによる多重解像度表現を逆変換して元の信号状態に戻した面である。ただし、平滑化が完了している。これをＷ＋（０）面（ｘ，ｙ）面として出力する。
【０１４９】
２−３）Ｃ−（０）面、Ｃ＋（０）面への逆変換
エッジ視差マップ生成部２０５ｂは、Ｗ−（０）面とＷ＋（０）面を元のＣ−（０）面とＣ＋（０）面に逆変換する。
【数５２】
2019091234.tif 000054
【０１５０】
２−４）Ｃ−（０）面、Ｃ＋（０）面の平滑化処理
エッジ視差マップ生成部２０５ｂは、Ｃ−（０）面とＣ＋（０）面に対して、式２２に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。
【０１５１】
２−５）Ｗ−（０）面、Ｗ＋（０）面への変換
ステップ２−１）と同様である。
【０１５２】
２−６）Ｗ−（０）面の平滑化処理
エッジ視差マップ生成部２０５ｂは、Ｗ−（０）面に対して、式２３に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。ここでは、Ｗ＋（０）面の平滑化は行わない。
【０１５３】
２−７）Ｃ−（０）面、Ｃ＋（０）面への逆変換
ステップ２−３）と同様である。
【０１５４】
３）エッジ視差マップの生成
３−０）Ｃ−面、Ｃ＋面の生成
次に経路積分を行うため、エッジ視差マップ生成部２０５ｂは、Ｃ−面とＣ＋面を生成する。同時に前方側Ｂ−面とＢ＋面、後方側Ｐ−面とＰ＋面も生成する。
【数５３】
2019091234.tif 000055
ここに、式１５を書き下し、基準視点方向の視差なし画像Ｎに対する最小視差弁別単位σｄでの規格化を陽に記述している。このように上記の各面に対して視差なし画像Ｎの最小視差弁別単位σｄを基準とした明るさレベルを乗算して補正する。また、エッジ視差マップをエッジ成分の強度の２乗で除算することにより補正する。その上で、以下の平滑化を行う。
【０１５５】
（Ｗ＋１→Ｃ±１→Ｗ−１→Ｗ＋０→Ｃ±０→Ｗ−０）
３−１）Ｗ−１面、Ｗ＋１面への変換
エッジ視差マップ生成部２０５ｂは、Ｃ−面とＣ＋面の逆数空間のＷ−１面とＷ＋１面へ積分対象面を変換する。同時に、積分経路として参照する逆数面も式２６と式２８と式３０で変換しておく。
【数５４】
2019091234.tif 000056
【０１５６】
３−２）Ｗ＋１面の平滑化処理
エッジ視差マップ生成部２０５ｂは、Ｗ＋１面に対して式３２に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。ここでは、Ｗ−１面の平滑化は行わない。
【０１５７】
３−３）Ｃ−１面、Ｃ＋１面への逆変換
エッジ視差マップ生成部２０５ｂは、Ｗ−１面とＷ＋１面を元のＣ−１面とＣ＋１面に逆変換する。
【数５５】
2019091234.tif 000057
【０１５８】
３−４）Ｃ−１面、Ｃ＋１面の平滑化処理
エッジ視差マップ生成部２０５ｂは、Ｃ−１面とＣ＋１面に対して、式３３に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。
【０１５９】
３−５）Ｗ−１面、Ｗ＋１面への変換
ステップ３−１）と同様である。
【０１６０】
３−６）Ｗ−１面の平滑化処理
エッジ視差マップ生成部２０５ｂは、Ｗ−１面に対して、式３４に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。ここでは、Ｗ＋１面の平滑化は行わない。
【０１６１】
３−７）Ｃ−面、Ｃ＋面への逆変換
ステップ３−３）と同様である。
【０１６２】
３−８）Ｗ−０面、Ｗ＋０面への変換
エッジ視差マップ生成部２０５ｂは、Ｃ−面とＣ＋面の逆数空間のＷ−１面とＷ＋１面へ積分対象面を変換する。同時に、積分経路として参照する逆数面も式２６と式２８と式３０で変換しておく。
【数５６】
2019091234.tif 000058
【０１６３】
３−９）Ｗ＋０面の平滑化処理
エッジ視差マップ生成部２０５ｂは、Ｗ＋０面に対して、式３５に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。ここでは、Ｗ−０面の平滑化は行わない。
【０１６４】
３−１０）Ｃ−０面、Ｃ＋０面への逆変換
エッジ視差マップ生成部２０５ｂは、Ｗ−０面とＷ＋０面を元のＣ−０面とＣ＋０面に逆変換する。
【数５７】
2019091234.tif 000059
【０１６５】
３−１１）Ｃ−０面、Ｃ＋０面の平滑化処理
エッジ視差マップ生成部２０５ｂは、Ｃ−１面とＣ＋１面に対して、式３６に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。
【０１６６】
３−１２）Ｗ−０面、Ｗ＋０面への変換
ステップ３−８）と同様である。
【０１６７】
３−１３）Ｗ−０面の平滑化処理
エッジ視差マップ生成部２０５ｂは、Ｗ−０面に対して、式３７に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。ここでは、Ｗ＋０面の平滑化は行わない。
【０１６８】
３−１４）Ｃ−面、Ｃ＋面への逆変換
ステップ３−１０）と同様である。
【０１６９】
４）領域視差マップの生成
４−０）Ｐ−面、Ｐ＋面の生成
次に経路積分を行うため、領域視差マップ生成部２０５ｄは、Ｐ−面とＰ＋面を生成する。
【数５８】
2019091234.tif 000060
ここに、式１５を書き下し、基準視点方向の視差なし画像Ｎに対する最小視差弁別単位σｄでの規格化を陽に記述している。このように上記の各面に対して視差なし画像Ｎの最小視差弁別単位σｄを基準とした明るさレベルを乗算して補正する。また、エッジ視差マップをエッジ成分の強度の２乗で除算することにより補正する。その上で、以下の平滑化を行う。
【０１７０】
（Ｐ＋１→Ｚ±１→Ｐ−１→Ｐ＋０→Ｚ±０→Ｐ−０）
４−１）Ｐ＋１面の平滑化処理
領域視差マップ生成部２０５ｄは、Ｐ＋１面に対して、式３９に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。ここでは、Ｐ−１面の平滑化は行わない。
【０１７１】
４−２）Ｚ−１面、Ｚ＋１面への変換
領域視差マップ生成部２０５ｄは、Ｐ−面とＰ＋面の逆数空間のＺ−１面とＺ＋１面へ積分対象面を変換する。同時に、積分経路として参照する逆数面も式２８と式３０と式３１で変換しておく。
【数５９】
2019091234.tif 000061
【０１７２】
４−３）Ｚ−１面、Ｚ＋１面の平滑化処理
領域視差マップ生成部２０５ｄは、Ｚ−１面とＺ＋１面に対して、式４０に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。
【０１７３】
４−４）Ｐ−１面、Ｐ＋１面への逆変換
領域視差マップ生成部２０５ｄは、Ｚ−１面とＺ＋１面を元のＰ−１面とＰ＋１面に逆変換する。
【数６０】
2019091234.tif 000062
【０１７４】
４−５）Ｐ−１面の平滑化処理
領域視差マップ生成部２０５ｄは、Ｐ−１面に対して、式４１に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。ここでは、Ｐ＋１面の平滑化は行わない。
【０１７５】
４−６）Ｐ＋０面の平滑化処理
領域視差マップ生成部２０５ｄは、Ｐ＋０面に対して、式４２に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。ここでは、Ｐ−０面の平滑化は行わない。
【０１７６】
４−７）Ｚ−０面、Ｚ＋０面への変換
領域視差マップ生成部２０５ｄは、Ｐ−面とＰ＋面の逆数空間のＺ−０面とＺ＋０面へ積分対象面を変換する。同時に、積分経路として参照する逆数面も式２８と式３０と式３１で変換しておく。
【数６１】
2019091234.tif 000063
【０１７７】
４−８）Ｚ−０面、Ｚ＋０面の平滑化処理
領域視差マップ生成部２０５ｄは、Ｚ−１面とＺ＋１面に対して、式４３に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。
【０１７８】
４−９）Ｐ−０面、Ｐ＋０面への逆変換
領域視差マップ生成部２０５ｄは、Ｚ−１面とＺ＋１面を元のＰ−１面とＰ＋１面に逆変換する。
【数６２】
2019091234.tif 000064
【０１７９】
４−１０）Ｐ−０面の平滑化処理
領域視差マップ生成部２０５ｄは、Ｐ−０面に対して、式４４に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。ここでは、Ｐ＋０面の平滑化は行わない。
【０１８０】
５）最終領域視差マップの生成
５−０）Ｐ−（０）面、Ｐ＋（０）面の生成
次に化粧直し処理を行うため、領域視差マップ生成部２０５ｄは、Ｐ−（０）面とＰ＋（０）面を生成する。
【数６３】
2019091234.tif 000065
【０１８１】
（Ｐ＋（０）→Ｚ±（０）→Ｐ−（０））
５−１）Ｐ＋（０）面の平滑化処理
領域視差マップ生成部２０５ｄは、Ｐ＋（０）面に対して、式４７に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。ここでは、Ｐ−（０）面の平滑化は行わない。
【０１８２】
５−２）Ｚ−（０）面、Ｚ＋（０）面への変換
領域視差マップ生成部２０５ｄは、Ｐ−（０）面とＰ＋（０）面の逆数空間のＺ−（０）面とＺ＋（０）面へ積分対象面を変換する。
【数６４】
2019091234.tif 000066
【０１８３】
５−３）Ｚ−（０）面、Ｚ＋（０）面の平滑化処理
領域視差マップ生成部２０５ｄは、Ｚ−（０）面とＺ＋（０）面に対して、式４８に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。
【０１８４】
５−４）Ｐ−（０）面、Ｐ＋（０）面への逆変換
領域視差マップ生成部２０５ｄは、Ｚ−（０）面とＺ＋（０）面を元のＰ−（０）面とＰ＋（０）面に逆変換する。
【数６５】
2019091234.tif 000067
【０１８５】
５−５）Ｐ−（０）面の平滑化処理
領域視差マップ生成部２０５ｄは、Ｐ−（０）面に対して、式４９に基づいて平滑化を行う。手続きはステップ２−２）と全く同様である。ここでは、Ｐ＋（０）面の平滑化は行わない。
【０１８６】
６）階調反転なしとありの最終視差マップの平均出力
説明の便宜上、階調反転なしの場合の説明を行ったが、実際は階調反転を考慮する。積分経路は４倍経路化した上で、積分対象面は階調反転ありの記号バーをつけた面も生成する。最終出力は階調反転なし面と階調反転あり面の結果を平均する。
【０１８７】
画像処理装置の一形態である本実施形態に係るデジタルカメラは、被写体像のエッジ部分に関する視差マップを領域に関する視差マップに変換することができる。これにより、階調精度の高い、例えば連続階調を有する視差マップが得られるとともに、画像構造に影響されることなく高精度な視差マップを導出することが可能となる。
【０１８８】
＜変形例＞
本実施形態ではモノクロ画像に対して視差マップを生成したが、色画像に対して視差マップを生成することもできる。変形例に係る画像処理の手順は、以下の通りである。
１）左右の視差画像の入力
１−１）色・視差多重化モザイク画像データ入力
１−２）色・視差画像の補間
１−３）輝度面の生成
１−４）視差なし画像の生成
１−５）多重解像度統合エッジ画像の生成
１−６）実在構成変数と予告構成変数の生成
２）初期エッジ視差マップの生成
２−０）Ｃ−（０）面、Ｃ＋（０）面の生成（Ｗ＋（０）→Ｃ±（０）→Ｗ−（０））
２−１）Ｗ−（０）面、Ｗ＋（０）面への変換
２−２）Ｗ＋（０）面の平滑化処理
２−３）Ｃ−（０）面、Ｃ＋（０）面への逆変換
２−４）Ｃ−（０）面、Ｃ＋（０）面の平滑化処理
２−５）Ｗ−（０）面、Ｗ＋（０）面への変換
２−６）Ｗ−（０）面の平滑化処理
２−７）Ｃ−（０）面、Ｃ＋（０）面への逆変換
３）エッジ視差マップの生成
３−０）Ｃ−面、Ｃ＋面の生成（Ｗ＋１→Ｃ±１→Ｗ−１→Ｗ＋０→Ｃ±０→Ｗ−０）
３−１）Ｗ−１面、Ｗ＋１面への変換
３−２）Ｗ＋１面の平滑化処理
３−３）Ｃ−１面、Ｃ＋１面への逆変換
３−４）Ｃ−１面、Ｃ＋１面の平滑化処理
３−５）Ｗ−１面、Ｗ＋１面への変換
３−６）Ｗ−１面の平滑化処理
３−７）Ｃ−面、Ｃ＋面への逆変換
３−８）Ｗ−０面、Ｗ＋０面への変換
３−９）Ｗ＋０面の平滑化処理
３−１０）Ｃ−０面、Ｃ＋０面への逆変換
３−１１）Ｃ−０面、Ｃ＋０面の平滑化処理
３−１２）Ｗ−０面、Ｗ＋０面への変換
３−１３）Ｗ−０面の平滑化処理
３−１４）Ｃ−面、Ｃ＋面への逆変換
４）領域視差マップの生成
４−０）Ｐ−面、Ｐ＋面の生成（Ｐ＋１→Ｚ±１→Ｐ−１→Ｐ＋０→Ｚ±０→Ｐ−０）
４−１）Ｐ＋１面の平滑化処理
４−２）Ｚ−１面、Ｚ＋１面への変換
４−３）Ｚ−１面、Ｚ＋１面の平滑化処理
４−４）Ｐ−１面、Ｐ＋１面への逆変換
４−５）Ｐ−１面の平滑化処理
４−６）Ｐ＋０面の平滑化処理
４−７）Ｚ−０面、Ｚ＋０面への変換
４−８）Ｚ−０面、Ｚ＋０面の平滑化処理
４−９）Ｐ−０面、Ｐ＋０面への逆変換
４−１０）Ｐ−０面の平滑化処理
５）最終領域視差マップの生成
５−０）Ｐ−（０）面、Ｐ＋（０）面の生成（Ｐ＋（０）→Ｚ±（０）→Ｐ−（０））
５−１）Ｐ＋（０）面の平滑化処理
５−２）Ｚ−（０）面、Ｚ＋（０）面への変換
５−３）Ｚ−（０）面、Ｚ＋（０）面の平滑化処理
５−４）Ｐ−（０）面、Ｐ＋（０）面への逆変換
５−５）Ｐ−（０）面の平滑化処理
６）階調反転なしとありの最終視差マップの平均出力
以下、順に説明する。
【０１８９】
図１５に、変形例に係るデジタルカメラの撮像素子１００'の断面構成を示す。撮像素子１００'は、マイクロレンズ１０１、カラーフィルタ１０２、配線層１０５、及び複数の光電変換素子１０８'を含む基板１０９'から構成されている。先述の撮像素子１００に対して、撮像素子１００'はカラーフィルタ１０２を備えること、複数の光電変換素子１０８（２ＰＤ）を含む基板１０９に代えて複数の光電変換素子１０８'を含む基板１０９'を備えることが異なる。以下、これらについてのみ説明する。
【０１９０】
カラーフィルタ１０２は、光電変換素子１０８'に対して光束のうちの特定の波長帯域のみが透過するように着色されたフィルタであり、複数の光電変換素子１０８'に対して各１つ、対応するマイクロレンズ１０１の下に設けられている。カラーフィルタ１０２は、カラー画像を出力するために互いに異なる少なくとも２種類のフィルタを含んでよく、より高画質のカラー画像を出力するために３種類以上のフィルタを含んでよい。例えば、赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、及び青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列するとよい。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹＣＭｇの補色フィルタの組合せであってもよい。
【０１９１】
基板１０９'は、マイクロレンズ１０１、カラーフィルタ１０２、及び配線層１０５を支持する板状部材であり、その上面に複数の光電変換素子１０８'が二次元配列されている。複数の光電変換素子１０８は、入射する光を電気信号に変換する素子であり、それぞれ一例として１つのフォトダイオードを含む。
【０１９２】
１）左右の視差画像の入力
１−１）色・視差多重化モザイク画像データ入力
本変形例では、図１６に示すような視差画素Ｌｔ，Ｒｔのみならず視差なし画素Ｎも含み視差画素が等方的でかつ疎に（Ｎ：Ｌｔ：Ｒｔ＝６：１：１）に配列されたカラーフィルタ１０２を用いて撮像素子１００'で撮像した場合について説明する。基本処理は先述の実施形態と同じであり、異なる部分についてのみ説明する。
【０１９３】
１−２）色・視差画像の補間
画像入力部２０５ａは、左右の照度ムラ補正（国際公開第２０１３／１３６８０９号参照）に基づいて、左視差カラー画像ＲＬｔ（ｘ，ｙ），ＧＬｔ（ｘ，ｙ），ＢＬｔ（ｘ，ｙ）及び右視差カラー画像ＲＲｔ（ｘ，ｙ），ＧＲｔ（ｘ，ｙ），ＢＲｔ（ｘ，ｙ）を生成する。
【０１９４】
１−２−１）仮の視差画像の生成
画像入力部２０５ａは、空間周波数解像度の低い分解能の左視差画像と右視差画像を生成する。左視差画素ばかりを集めたＧ色面内の単純平均補間を行う。隣接に存在する画素値を用いて、距離の比に応じて線形補間を行う。それにより、仮の左視差画像Ｌｔ（ｘ，ｙ）が生成される。同様に、右視差画素ばかりを集めたＧ色面内の単純平均補間を行う。それにより、仮の右視差画像Ｒｔ（ｘ，ｙ）が生成される。
【０１９５】
１−２−２）視差なし基準画像の生成
画像入力部２０５ａは、先と同様に平方根型の階調変換を施し、均等ノイズ空間に移行する。次に、画像入力部２０５ａは、Ｇ画素でない画素（Ｒ画素もしくはＢ画素）に関して、縦方向の類似度及び横方向の類似度を算出し、その結果を用いて類似度の方向を判定する。次に、画像入力部２０５ａは、判定した類似方向に基づき、Ｒ成分もしくはＢ成分の凸凹情報を利用してＧ成分の補間（Ｇ補間）を行う。すなわち、周辺のＧ成分の内分点補間だけでは予測できない外分点に補間すべきか否かの情報を補間対象位置に存在する他の色成分の情報と近傍に位置するそれと同じ色成分の情報を見て、画像構造が上に凸なのか下に凸なのかを判断することによって得ることができる。すなわち、他の色成分のサンプリングによって得られた高周波成分の情報を補間対象色成分に重畳する。次に、画像入力部２０５ａは、Ｇ補間により得られた全ての画素位置に対応するＧ成分信号値の凸凹情報を利用して、Ｒ成分の補間（Ｒ補間）及びＢ成分の補間（Ｂ補間）を行う。最後に、画像入力部２０５ａは、ＲＧＢ各色面に対して逆階調変換を施して線形階調のＲＧＢデータに戻す。それにより得られた視差なしのＲＧＢカラー画像をＲＮ（ｘ，ｙ）、ＧＮ（ｘ，ｙ）、ＢＮ（ｘ，ｙ）と表す。
【０１９６】
１−２−３）視差画像の生成
画像入力部２０５ａは、解像力の低い仮の左視差画像Ｌｔ（ｘ，ｙ）と解像力の高い視差なしのカラー画像ＲＮ（ｘ，ｙ）、ＧＮ（ｘ，ｙ）、ＢＮ（ｘ，ｙ）を用いて、実際に出力する解像力の高い左視差のカラー画像ＲＬｔ（ｘ，ｙ）、ＧＬｔ（ｘ，ｙ）、ＢＬｔ（ｘ，ｙ）を生成する。同様に、解像力の低い仮の右視差画像Ｒｔ（ｘ，ｙ）と解像力の高い視差なしのカラー画像ＲＮ（ｘ，ｙ）、ＧＮ（ｘ，ｙ）、ＢＮ（ｘ，ｙ）を用いて、実際に出力する解像力の高い右視差のカラー画像ＲＲｔ（ｘ，ｙ）、ＧＲｔ（ｘ，ｙ）、ＢＲｔ（ｘ，ｙ）を生成する。これは、仮の視差画像が持つ視差成分を重畳することによって変位処理を実現するため、視差変調と呼ぶことができる。
【０１９７】
視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法の２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用するのがよい。
【０１９８】
次に、先と同様に、視差画像の各々に対して平方根型の階調変換を施し、均等ノイズ空間に移行しておく。
【０１９９】
１−３）輝度面の生成
通常の輝度の定義式に従って、視差マップを生成するのに輝度面だけを利用する。なお、各色面毎に視差マップを生成することもできる。
Lt(x,y) = 0.2990×RLt(x,y)+0.5870×GLt(x,y)+0.1140×BLt(x,y)
Rt(x,y) = 0.2990×RRt(x,y)+0.5870×GRt(x,y)+0.1140×BRt(x,y) 
【０２００】
ステップ１−４）〜６）の処理は、先述のそれらと同様である。ただし、上で説明を省略したステップ２−２−１）についてのみここで説明する。
【０２０１】
２−２−１）Ｗ＋（０）面の空間サンプリングに伴うエイリアジング除去処理
式１２と式１３で定義されるＣ−（０）面とＣ＋（０）面を生成した段階で、分母側にも分子側にもＬｔ画像、Ｒｔ画像、Ｎ画像の何れもを用いている。その元々の撮像段階での解像能力は、図１７の周波数空間図（ｋ空間図）に記載されたサンプリング周波数の領域に限られる。より外側に解像能力を持つ成分を相互に利用することによって、解像範囲を広げる処理が加えられているが、元来図１７に示した各成分のナイキスト周波数に相当する周波数帯で、エイリアジングによる折り返し成分の発生が常に存在する。このエイリアジングが式１２と式１３で用いる各画像の間で異なっているので、ある周波数帯の画像構造を入力したときに、別々の位相で振る舞うことによる特異点の発生源となる。したがって、空間サンプリングの精度不足による特異点の発生を未然に防ぐには、エイリアジングの発生する周波数帯のキャリアを殺す必要がある。
【０２０２】
したがって、次のステップ２−２−２）に進む前に、以下のローパスフィルタを順次掛けて、エイリアジングによる特異点の発生源を消滅させる。すなわち、図１７の各成分のナイキスト周波数を潰すローパスフィルタを全て掛ける。更に、実験的に判明したことは、センサ自身のサンプリングで規定される最も広いナイキスト周波数に対しても、ローパスフィルタを必要とすることである。その発生源は、縦横１００％に相当する（±π／ａ，０），（０，±π／ａ）を横切るローパスフィルタを必要とする。
【０２０３】
これらの考察から、エイリアジングによる特異点の発生を均等に抑止するためには、縦横平滑化と斜め平滑化を交互に導入する必要がある。
【０２０４】
対象とする平滑化を列挙する。図１８Ａから図１８Ｆに、対応するローパスフィルタの構成を示す。なお、フィルタ係数の和で規格化するものとする。
ａ）視差画素ＲＬｔ，Ｒｔ及びＢＬｔ，Ｒｔのナイキスト周波数を殺すための斜め平滑化（図１８Ａ参照）
ｂ）視差画素ＧＬｔ，Ｒｔのナイキスト周波数を殺すための縦横平滑化（図１８Ｂ参照）
ｃ）視差なし画素ＲＮ及びＢＮのナイキスト周波数を殺すための斜め平滑化（図１８Ｃ参照）
ｄ）視差なし画素ＲＮ及びＢＮのナイキスト周波数を殺すための縦横平滑化（図１８Ｄ参照）
ｅ）視差なし画素ＧＮのナイキスト周波数を殺すための斜め平滑化（図１８Ｅ参照）
ｆ）撮像画像Ｎのナイキスト周波数を殺すための縦横平滑化（図１８Ｆ参照）
【０２０５】
ｃ）は視差なし画素ＲＮ及びＢＮの第１ブリルアンゾーンに相当するナイキスト周波数を殺している。一方のｄ）はｃ）視差なし画素ＲＮ及びＢＮの第２ブリルアンゾーンに相当するナイキスト周波数を殺している。また、ｃ）は視差なし画素ＧＮの第２ブリルアンゾーンに相当するナイキスト周波数を殺す役割も果たしている。
【０２０６】
なお、ｂ）は視差画素ＧＬｔ，Ｒｔの配置を近似的に表した場合の平滑化であるが、より視差画素ＧＬｔ，Ｒｔの配置を正確に反映してｂ１）とｂ２）の２つに置き換えたほうが好ましい。図１８Ｇ及び図１８Ｈに、対応するローパスフィルタの構成を示す。なお、フィルタ係数の和で規格化するものとする。
ｂ１）視差画素ＧＬｔ／Ｒｔのナイキスト周波数を殺すための縦横平滑化（図１８Ｇ参照）
ｂ２）視差画素ＧＲｔ／Ｌｔのナイキスト周波数を殺すための縦横平滑化（図１８Ｈ参照）
【０２０７】
なお、先述の実施形態において説明を省略した部分部分においても、図１８Ｆに相当するフィルタが必要である。
【０２０８】
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階又は（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階及びセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
【０２０９】
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャート又はブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。
【０２１０】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マ被写体像命令、マ被写体像依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
【０２１１】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ又はプログラマブル回路に対し、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャート又はブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【０２１２】
図１９は、本発明の複数の態様が全体的又は部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作又は当該装置の１又は複数のセクションとして機能させることができ、又は当該操作又は当該１又は複数のセクションを実行させることができ、及び／又はコンピュータ２２００に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。
【０２１３】
本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、及びディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ−ＲＯＭドライブ２２２６、及びＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０及びキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。
【０２１４】
ＣＰＵ２２１２は、ＲＯＭ２２３０及びＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等又はそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。
【０２１５】
通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラム及びデータを格納する。ＤＶＤ−ＲＯＭドライブ２２２６は、プログラム又はデータをＤＶＤ−ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラム又はデータを提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。
【０２１６】
ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、及び／又はコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。
【０２１７】
プログラムが、ＤＶＤ−ＲＯＭ２２０１又はＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、又はＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ２２００の使用に従い情報の操作又は処理を実現することによって構成されてよい。
【０２１８】
例えば、通信がコンピュータ２２００及び外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ−ＲＯＭ２２０１、又はＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
【０２１９】
また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ−ＲＯＭドライブ２２２６（ＤＶＤ−ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。
【０２２０】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
【０２２１】
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ２２００上又はコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバーシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。
【０２２２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０２２３】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０２２４】
１０…デジタルカメラ、２０…撮影レンズ、１００…撮像素子、１０１…マイクロレンズ、１０２…カラーフィルタ、１０３…画素、１０５…配線層、１０６…配線、１０７…開口、１０８…光電変換素子、１０８ｃ…画素中心、１０８Ｌ，１０８Ｒ…光電変換部、１０８ｓ…分離部、１０９…基板、１１１…残部、１１２…一部、１１３，１１４…領域、２０１…制御部、２０２…Ａ／Ｄ変換回路、２０３…メモリ、２０４…駆動部、２０５…画像処理部、２０５ａ…画像入力部、２０５ｂ…エッジ視差マップ生成部、２０５ｃ…エッジ抽出部、２０５ｄ…領域視差マップ生成部、２０７…メモリカードＩＦ、２０８…操作部、２０９…表示部、２１０…ＬＣＤ駆動回路、２２０…メモリカード、１８０１，１８０２，１８０３，１８０４，１８０５，１８０７，１８０８…分布曲線、１８０６…合成分布曲線、１８０９…合成分布曲線、２２００…コンピュータ、２２０１…ＲＯＭ、２２１０…ホストコントローラ、２２１２…ＣＰＵ、２２１４…ＲＡＭ、２２１６…グラフィックコントローラ、２２１８…ディスプレイデバイス、２２２０…出力コントローラ、２２２２…通信インタフェース、２２２４…ハードディスクドライブ、２２２６…ＲＯＭドライブ、２２３０…ＲＯＭ、２２４０…出力チップ、２２４２…キーボード。
【図１】
2019091234.tif 000068
【図２】
2019091234.tif 000069
【図３】
2019091234.tif 000070
【図４】
2019091234.tif 000071
【図５】
2019091234.tif 000072
【図６】
2019091234.tif 000073
【図７】
2019091234.tif 000074
【図８】
2019091234.tif 000075
【図９】
2019091234.tif 000076
【図１０】
2019091234.tif 000077
【図１１】
2019091234.tif 000078
【図１２】
2019091234.tif 000079
【図１３】
2019091234.tif 000080
【図１４】
2019091234.tif 000081
【図１５】
2019091234.tif 000082
【図１６】
2019091234.tif 000083
【図１７】
2019091234.tif 000084
【図１８Ａ】
2019091234.tif 000085
【図１８Ｂ】
2019091234.tif 000086
【図１８Ｃ】
2019091234.tif 000087
【図１８Ｄ】
2019091234.tif 000088
【図１８Ｅ】
2019091234.tif 000089
【図１８Ｆ】
2019091234.tif 000090
【図１８Ｇ】
2019091234.tif 000091
【図１８Ｈ】
2019091234.tif 000092
【図１９】
2019091234.tif 000093