(57)【要約】【課題】デプス検出可能な画素を持ったセンサで検出されたデプスの像高依存性を低減させる撮像装置を提供する。【解決手段】デプスを検出することが可能な画素を備える撮像素子と、前記画素により得られた信号を用いてデプスを検出する画像処理部と、前記画像処理部においてデプスの像高依存性を補正する補正マップを前記信号に基づいて生成する補正マップ生成部と、を備える、撮像装置が提供される。【選択図】図９
2020034830.tif 000002
【特許請求の範囲】
【請求項１】
デプスを検出することが可能な画素を備える撮像素子と、
前記画素により得られた信号を用いてデプスを検出し、前記デプスに基づく処理を実行する画像処理部と、
前記画像処理部においてデプスの像高依存性を補正する補正データを前記信号に基づいて生成する補正データ生成部と、
を備える、撮像装置。
【請求項２】
前記画像処理部は、デプスの検出時に前記補正データを適用してデプスの像高依存性を補正する、請求項１に記載の撮像装置。
【請求項３】
前記画像処理部は、前記デプスに基づく処理を実行する際に前記補正データを適用してデプスの像高依存性を補正する、請求項１に記載の撮像装置。
【請求項４】
前記画像処理部は、前記信号に対して前記補正データを適用してデプスの像高依存性を補正する、請求項１に記載の撮像装置。
【請求項５】
前記補正データ生成部は、前記撮像素子に被写体像を結像させるレンズの位置を変化させながら取得したデプスの情報に基づき、前記レンズの位置と前記デプスとの関係を全ての像高位置において算出することで前記補正データを生成する、請求項１に記載の撮像装置。
【請求項６】
前記補正データ生成部は、被写体と前記撮像素子との間の距離を変化させながら取得したデプスの情報に基づき、前記距離と前記デプスとの関係を全ての像高位置において算出することで前記補正データを生成する、請求項１に記載の撮像装置。
【請求項７】
前記補正データ生成部は、所定の被写体と前記撮像素子との間の距離を固定した状態で前記所定の被写体を撮像して取得したデプスの情報に基づき、基準となる像高からのデプスのオフセットずれ量を保持した前記補正データを生成する、請求項１に記載の撮像装置。
【請求項８】
前記補正データ生成部は、前記撮像素子に被写体像を結像させるレンズの設計データを用いたシミュレーションにより得られるデプスの情報と、実際のデプスの情報とに基づいて前記補正データを生成する、請求項１に記載の撮像装置。
【請求項９】
プロセッサが、
デプスを検出することが可能な画素を備える撮像素子から得られた信号を用いてデプスを検出し、前記デプスに基づく処理を実行することと、
検出された前記デプスの像高依存性を補正する補正データを前記信号に基づいて生成することと、
を含む、補正方法。
【請求項１０】
コンピュータに、
デプスを検出することが可能な画素を備える撮像素子から得られた信号を用いてデプスを検出し、前記デプスに基づく処理を実行することと、
検出された前記デプスの像高依存性を補正する補正データを前記信号に基づいて生成することと、
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、補正方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
ビデオカメラやデジタルスチルカメラ等には、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal-Oxide  Semiconductor）等のイメージセンサによって構成された半導体イメージングデバイス（撮像装置）が用いられている。これら撮像装置では、素子ごとにフォトダイオードを含む受光部が形成されており、受光部では入射光を光電変換して信号電荷が生成されている。
【０００３】
近年、撮像装置において撮像画素の一部を使用して位相を検出し、オートフォーカス（ＡＦ）速度を速めようとする方式（像面位相差検出方式）の開発がなされている。この位相差検出方式は、イメージセンサの各画素にオンチップレンズが設けられた２次元のセンサを用いて瞳分割法の焦点検出を行うものである。このオンチップレンズの下部に設けられる画素を瞳分割画素と称する。そして、この瞳分割画素が生成する画像を用いることで、画像中の被写体の距離情報をデプスマップとして得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１２８１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
瞳分割画素を用いてデプス検出を行う際には、レンズが湾曲した形状をしていることや、レンズマウントずれに起因した、デプスの像高依存性が生じていた。すなわち、異なる像高位置に同じ距離の被写体が存在していたとしても、それらの被写体から検出されるデプスが異なるという現象が観測されていた。
【０００６】
上記特許文献１では、コントラストＡＦ（Auto  Focus）でin-focusとなる（焦点が合っている）レンズ位置を探し出し、その位置における位相差をオフセットずれとして用いている。しかし特許文献１で開示された目的とするのは位相差ＡＦの改善であり、補正しているのはオフセットずれのみである。そのため、レンズ位置が変化した際に生じる位相差のずれ量は補正することができず、結果的にデプスマップにおける面内のデプスのばらつきを補正しきれない。
【０００７】
そこで本開示は、デプス検出可能な画素を持ったセンサで検出されたデプスの像高依存性を低減させる、新規かつ改良された撮像装置、補正方法及びコンピュータプログラムを提供する。
【課題を解決するための手段】
【０００８】
本開示によれば、デプスを検出することが可能な画素を備える撮像素子と、前記画素により得られた信号を用いてデプスを検出し、前記デプスに基づく処理を実行する画像処理部と、前記画像処理部においてデプスの像高依存性を補正する補正データを前記信号に基づいて生成する補正データ生成部と、を備える、撮像装置が提供される。
【０００９】
また、本開示によれば、プロセッサが、デプスを検出することが可能な画素を備える撮像素子から得られた信号を用いてデプスを検出し、前記デプスに基づく処理を実行することと、検出された前記デプスの像高依存性を補正する補正データを前記信号に基づいて生成することと、を含む、補正方法が提供される。
【００１０】
また、本開示によれば、コンピュータに、デプスを検出することが可能な画素を備える撮像素子から得られた信号を用いてデプスを検出し、前記デプスに基づく処理を実行することと、検出された前記デプスの像高依存性を補正する補正データを前記信号に基づいて生成することと、を実行させる、コンピュータプログラムが提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、デプス検出可能な画素を持ったセンサで検出されたデプスの像高依存性を低減させる、新規かつ改良された撮像装置、補正方法及びコンピュータプログラムが提供される。
【００１２】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１３】
【図１】瞳分割画素の例を示す説明図である。
【図２Ａ】瞳分割画素から生成した画像の例を示す説明図である。
【図２Ｂ】瞳分割画素から生成した画像の例を示す説明図である。
【図２Ｃ】瞳分割画素から生成した画像の例を示す説明図である。
【図２Ｄ】瞳分割画素から生成した画像の例を示す説明図である。
【図３】イメージセンサが生成する画像及びその画像から生成したデプスマップの例を示す説明図である。
【図４】像高について示す説明図である。
【図５】デプスの像高依存性を示す説明図である。
【図６】コントラストＡＦについて示す説明図である。
【図７】位相差ＡＦについて示す説明図である。
【図８】特許文献１における技術を示す説明図である。
【図９】本開示の実施の形態に係る撮像装置の機能構成例を示す説明図である。
【図１０】複数の像高におけるフォーカス（レンズ位置）とデプスとの関係例を示す説明図である。
【図１１】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図１２】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図１３】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図１４】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図１５】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図１６】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図１７】被写体までの距離とデプスとの関係をグラフで示す説明図である。
【図１８】撮像装置が補正マップの生成時に撮像する被写体の例を示す説明図である。
【図１９】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図２０】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図２１】像高によるデプスの違いと、それにより変化させるアプリケーション側のパラメータとの関係例を示す説明図である。
【図２２】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図２３】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図２４】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図２５】瞳分割画像から得られたデプスマップから、瞳分割画像を補正する様子を示す説明図である。
【図２６】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図２７】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図２８】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図２９】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図３０】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図３１】同実施形態に係る撮像装置の動作例を示す流れ図である。
【図３２】同実施形態に係る撮像装置の動作例を示す流れ図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．経緯
１．２．構成例
１．３．動作例
２．まとめ
【００１６】
＜１．本開示の実施の形態＞
［１．１．経緯］
まず、本開示の実施の形態に至った経緯について説明する。上述したように、瞳分割画素が生成する画像を用いることで、画像中の被写体の距離情報をデプスマップとして得ることができる。図１は、瞳分割画素の例を示す説明図である。瞳分割画素は、１つのオンチップレンズ１０に対応する複数の画素からなる。図１では、１つのオンチップレンズ１０に４つの瞳分割画素が存在しているが、１つのオンチップレンズあたりの瞳分割画素の数は係る例に限定されるものではない。
【００１７】
例えば、図１のように１つのオンチップレンズあたり４つの瞳分割画素が存在する場合、画像の生成に用いる瞳分割画素を上下または左右で異ならせると、画像中の被写体のシフト量がイメージセンサからの距離に応じて変化する。つまり、ピントが合っている位置（合焦位置）ではシフト量はゼロとなり、合焦位置から離れるほどシフト量が大きくなる。
【００１８】
図２Ａ〜２Ｄは、瞳分割画素から生成した画像の例を示す説明図である。図２Ａ〜２Ｄには、いずれもチェッカパターンの板と、その板の前に置かれている人形とを、瞳分割画素を用いて撮像した画像の例が示されている。これらの画像は、いずれもチェッカパターンの板のやや奥で合焦するようにピントが調整されている。
【００１９】
図２Ａは、４つの瞳分割画素の内、左の２つの画素で生成した画像の例である。図２Ｂは、４つの瞳分割画素の内、右の２つの画素で生成した画像の例である。画像の生成に用いる瞳分割画素を切り替えると、図２Ａ、２Ｂに示したように、合焦位置からあまり離れていない奥のチェッカパターンの板はあまりシフトしないが、その手前に置かれた、合焦位置からより離れている人形は比較的大きくシフトしている。
【００２０】
図２Ｃは、４つの瞳分割画素の内、下の２つの画素で生成した画像の例である。図２Ｄは、４つの瞳分割画素の内、上の２つの画素で生成した画像の例である。画像の生成に用いる瞳分割画素を切り替えると、図２Ｃ、２Ｄに示したように、合焦位置からあまり離れていない奥のチェッカパターンの板はあまりシフトしないが、その手前に置かれた、合焦位置からより離れている人形は比較的大きくシフトしている。
【００２１】
このシフト量を用いることで、イメージセンサから被写体までの距離（デプス）の算出ができる。
【００２２】
デプスマップとは、イメージセンサから被写体までの距離を画像化したものである。デプスマップの例として、被写体までの遠近を白黒の濃淡で表現したものがある。図３は、イメージセンサが生成する画像及びその画像から生成したデプスマップの例である。図３に示したデプスマップは、イメージセンサから近い位置にあるほど黒く、遠いほど白くなる画像である。
【００２３】
このように瞳分割画素を用いてデプス検出を行う際、レンズが湾曲した形状をしていることや、レンズマウントずれに起因した、デプスの像高依存性が生じていた。すなわち、異なる像高位置に同じ距離の被写体が存在していたとしても、それらの被写体から検出されるデプスが異なるという現象が観測されていた。
【００２４】
像高とは、光軸（例えば画像の中心）からの距離のことをいう。光軸が画像の中心の場合、画像の中央部分は像高が低いと表現され、画像の端の部分は像高が高いと表現される。図４は、像高について示す説明図である。図４では、画像の中心を光軸とした場合の像高を示しており、画像の中央部分は像高が低く、画像の端の部分は像高が高いことを現している。
【００２５】
模様の描かれた板を撮像すると、板は平面なので、イメージセンサからの距離は像高に依らず等しいはずであるが、この板を撮像した画像から得られたデプスマップを見ると、像高によってデプスの値が異なるという現象が生じる。この現象のことをデプスの像高依存性と称する。図５は、デプスの像高依存性を示す説明図である。図５の上の画像のような、模様が描かれている板を撮像した画像から得られるデプスマップの例を図５の左下に示す。このように像高によってデプスの値が異なるという現象が生じる。像高によってデプスの値が異なると、例えば、デプスの値から距離を求めるアプリケーションが、イメージセンサから同じ距離にある被写体であっても、像高によってその被写体が異なる距離にあると判定してしまう。
【００２６】
続いて、被写体に自動的に合焦させる技術について説明する。被写体に自動的に合焦させる方法として、コントラストＡＦと、位相差ＡＦとがある。コントラストＡＦとは、レンズの位置を動かして、画像のコントラストがピークになるレンズの位置を探し出す方法である。図６は、コントラストＡＦについて示す説明図である。図６のグラフは、横軸がレンズ位置、縦軸が画像のコントラストである。レンズ位置とコントラストとの関係が図６のグラフのような場合、コントラストがもっとも大きいレンズ位置が、被写体にピントが合っている位置であるとするのがコントラストＡＦである。
【００２７】
位相差ＡＦは、レンズの位置を動かして、画像の位相差（ぼけ量）がゼロになるレンズの位置を探し出す方法である。図７は、位相差ＡＦについて示す説明図である。図７のグラフは、横軸がレンズ位置、縦軸が位相差である。レンズ位置と位相差との関係が図７のグラフのような場合、位相差がゼロとなるレンズ位置が、被写体にピントが合っている位置であるとするのが位相差ＡＦである。
【００２８】
位相差ＡＦを用いると、原理的にはin-focusの位置で位相差が０になるはずであるが、実際はオフセットが乗ってしまう。上記特許文献１では、コントラストＡＦを用いてin-focusのレンズ位置を探し、その位置における位相差の値をオフセットとして、このオフセットを補正する技術が開示されている。図８は、上記特許文献１における技術を示す説明図である。図８に示したグラフは、実線がレンズ位置とコントラストとの関係を、一点鎖線がレンズ位置と位相差との関係を表している。
【００２９】
しかし特許文献１で開示された目的とするのは位相差ＡＦの改善であり、補正しているのはオフセットずれのみである。そのため、レンズ位置が変化した際に生じる位相差のずれ量は補正することができず、結果的にデプスマップにおける面内のデプスのばらつきを補正しきれない。
【００３０】
そこで本件開示者は、上述した点に鑑み、デプスマップにおける面内のデプスのばらつきを補正することが可能な技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、デプスマップにおける面内のデプスのばらつきを補正することが可能な技術を考案するに至った。
【００３１】
以上、本開示の実施の形態に至った経緯について説明した。続いて、本開示の実施の形態について詳細に説明する。
【００３２】
［１．２．構成例］
まず、本開示の実施の形態に係る撮像装置の機能構成例について説明する。図９は、本開示の実施の形態に係る撮像装置１００の機能構成例を示す説明図である。以下、図９を用いて本開示の実施の形態に係る撮像装置１００の機能構成例について説明する。
【００３３】
図９に示したように、本開示の実施の形態に係る撮像装置１００は、レンズ部１１０と、撮像素子１１２と、画像処理部１２０と、補正マップ生成部１３０と、を含んで構成される。
【００３４】
レンズ部１１０は、撮像素子１１２へ光を照射するためのレンズ群が配置されている。本実施形態では、後述の補正マップ生成部１３０が補正マップを生成する際に、レンズ部１１０が補正マップ生成部１３０により駆動されて、レンズ位置が移動される。
【００３５】
撮像素子１１２は、上述の、１つのオンチップレンズに複数の画素が対応しているような、デプス検出可能に構成されるイメージセンサで構成される。撮像素子１１２は、レンズ部１１０を通して照射された光から画像データを生成して、後段の画像処理部１２０に出力する。本実施形態では、撮像素子１１２は２つの瞳分割画像Ａ、Ｂを生成して画像処理部１２０に出力する。瞳分割画像は、瞳分割画素を集めて得られる画像である。この瞳分割画像は、図２Ａ、２Ｂに示したような左右の瞳分割画素から生成したものであってもよく、図２Ｃ、２Ｄに示したような上下の瞳分割画素から生成したものであってもよい。また、瞳分割画像は図１に示した４つの瞳分割画素のうち、右上と左下、または左上と右下のような斜めのペアから生成したものであってもよい。
【００３６】
画像処理部１２０は、撮像素子１１２から出力される画像データを用いた画像処理を実行する。本実施形態では、画像処理部１２０は、撮像素子１１２から出力される画像データを用いてデプスマップを生成し、そのデプスマップを用いた処理を実行する。図９に示したように、画像処理部１２０は、画像のデプスを検出してデプスマップを生成するデプス検出処理部１２２と、デプス検出処理部１２２が生成したデプスマップを用いた処理を実行するアプリケーション１２４と、を含んで構成される。
【００３７】
デプス検出処理部１２２は、瞳分割画像Ａ、Ｂを用いて画像中のデプスを検出し、デプスマップを生成する。上述したように、画像の生成に用いる瞳分割画素を上下、左右または斜め方向で異ならせると、画像中の被写体のシフト量が撮像素子１１２からの距離に応じて変化する。つまり、撮像素子１１２に合焦している被写体のシフト量はゼロとなり、撮像素子１１２の合焦位置から離れている被写体のシフト量は、合焦位置から離れるほど大きくなる。デプス検出処理部１２２は、このシフト量の大小の情報を用いてデプスマップを生成する。
【００３８】
アプリケーション１２４は、デプス検出処理部１２２から送られるデプスマップに基づいた各種処理を実行する。アプリケーション１２４が実行する処理には、例えばオートフォーカス処理、背景ぼかし処理、測距処理などがあり得る。
【００３９】
画像処理部１２０は、例えば、汎用的なプロセッサとして構成されてもよく、画像処理プロセッサやグラフィックプロセッサのような画像処理に特化したプロセッサとして構成されてもよい。また画像処理部１２０は、アプリケーション１２４の実体が記憶される各種メモリを備えていても良い。
【００４０】
補正マップ生成部１３０は、画像処理部１２０において生成されるデプスマップを補正するための補正マップ１３２を生成する。補正マップ１３２は、本開示の補正データの一例であり、デプスマップに対して像高依存性を補正するための、マップ形式の補正データである。従って補正マップ生成部１３０は、本開示の補正データ生成部として機能する。
【００４１】
補正マップ生成部１３０は、補正マップ１３２の生成に際し、複数のレンズ位置でのデプスマップのデータを用いる。従って補正マップ生成部１３０は、レンズ部１１０を駆動させる機能を有しうる。この補正マップ生成部１３０による補正マップ１３２の生成は、製品の出荷前に実行されることを想定しているが、その他にも、例えば撮像装置１００に対するユーザの操作により実行されても良い。
【００４２】
補正マップ生成部１３０は、例えば、汎用的なプロセッサとして構成されてもよく、画像処理プロセッサやグラフィックプロセッサのような画像処理に特化したプロセッサとして構成されてもよい。
【００４３】
補正マップ生成部１３０が生成した補正マップ１３２は、デプスマップの補正に用いられる。デプス検出処理部１２２が、補正マップ１３２を用いて補正したデプスマップを出力しても良く、アプリケーション１２４が、補正マップ１３２を用いてデプス検出処理部１２２が生成したデプスマップを補正しても良く、撮像素子１１２が出力する瞳分割画像に対して補正マップ１３２が適用されても良い。
【００４４】
デプス検出処理部１２２が、補正マップ１３２を用いて補正したデプスマップを出力するということは、デプス検出処理部１２２のデプス検出処理の途中でデプスマップの像高依存性の補正を行うことである。
【００４５】
アプリケーション１２４が、補正マップ１３２を用いてデプス検出処理部１２２が生成したデプスマップを補正するとは、デプス検出処理部１２２が生成するデプスマップの像高依存性を補正せずに、後段のアプリケーション側のパラメータを像高別に変化させることである。
【００４６】
撮像素子１１２が出力する瞳分割画像に対して補正マップ１３２が適用されるようにするとは、デプスの像高依存性が軽減されるように瞳分割画像を補正することである。それぞれの手法については後に詳述する。
【００４７】
本開示の実施の形態に係る撮像装置１００は、係る構成を有することで、デプスの像高依存性を補正したデプスマップを生成することが出来る。
【００４８】
なお、図９に示した撮像装置１００は、２つの瞳分割画像を用いてデプスを検出し、デプスマップを生成しているが、デプスを検出するための瞳分割画像の数は係る例に限定されるものでは無い。
【００４９】
以上、本開示の実施の形態に係る撮像装置１００の機能構成例について説明した。続いて、本開示の実施の形態に係る撮像装置１００の動作例について説明する。
【００５０】
［１．３．動作例］
（１．３．１）デプス検出処理の途中でデプスマップを補正
まず、デプス検出処理部１２２のデプス検出処理の途中でデプスマップの像高依存性の補正を行う場合の動作例を説明する。デプス検出処理部１２２は、複数の瞳分割画像を入力し、それらを用いてデプス検出処理を行う。この際に、デプス検出処理部１２２は、事前に作成された補正マップ１３２を用いることで、デプスマップの像高依存性を補正する。補正マップの作成方法の例として、以下のようなものが挙げられる。
【００５１】
（１）テクスチャ付きの被写体を複数のレンズ位置で撮像して補正
撮像装置１００は、例えば、テクスチャ（チェッカパターン、ラダーパターン、ランダムドットパターンなど）のある板を撮像装置１００の前に固定して設置し、異なるフォーカス（レンズ位置）で撮像することによって補正マップを作成してもよい。図１０は、複数の像高におけるフォーカス（レンズ位置）とデプスとの関係例を示す説明図である。撮像装置１００は、このような、フォーカスとデプスとの関係を表すデータを全像高位置において複数得ることができる。撮像装置１００は、これらのデータを用いることで、例えば以下のような補正マップを取得できる。
【００５２】
撮像装置１００は、各フォーカスに対応した補正マップを作成することができる。デプス検出処理部１２２は、補正処理を行う際には、その時のフォーカスに対応する補正マップを用意し、デプスの像高ばらつきを軽減するような計算をそれぞれの像高に対して行うことができる。
【００５３】
図１１は、本実施形態に係る撮像装置１００の動作例を示す流れ図であり、補正マップ生成部１３０による、複数のフォーカスに対応する補正マップの作成例を示す流れ図である。
【００５４】
撮像装置１００は、まず変数ｉを０に初期化する（ステップＳ１０１）。続いて、撮像装置１００は、変数ｉが、所望のデプスマップの数を示す変数Ｎ未満であるかどうか判断する（ステップＳ１０２）。ｉがＮ未満であれば（ステップＳ１０２、Ｙｅｓ）、撮像装置１００は、上述したように、レンズ部１１０のレンズを移動させて、テクスチャのある板をレンズ位置ｉで撮像する（ステップＳ１０３）。このレンズ位置ｉとは、補正マップの生成の際に予め定められた複数のレンズ位置の内のｉ番目のレンズ位置のことを指す。レンズ位置は、等間隔に定められてもよいが、必ずしも等間隔に定められている必要は無い。
【００５５】
続いて撮像装置１００は、レンズ位置ｉで撮像した画像を用いて、デプス検出処理部１２２でデプス検出処理を行い、デプスマップｉを取得する（ステップＳ１０４）。そして、撮像装置１００は、そのデプスマップｉを用いて、特定の像高（例えば画像中央の像高）のデプスに合わせこんだ、デプスの像高補正マップｉを補正マップ生成部１３０で作成する（ステップＳ１０５）。
【００５６】
その後、撮像装置１００は変数ｉを１つインクリメントし（ステップＳ１０６）、ステップＳ１０２の判断処理に戻る。ｉがＮ以上となれば（ステップＳ１０２、Ｎｏ）、撮像装置１００は、一連の処理を終了する。
【００５７】
図１０のように、フォーカス（レンズ位置）とデプスの関係をプロットし、それらの点をｎ次式（ｎは任意の１以上の整数）で回帰させることができる。撮像装置１００は、このｎ次式の像高ばらつきを軽減できるような計算を行うための補正マップを作成する。デプス検出処理部１２２は、補正処理を行う際には、この補正マップから撮像時のフォーカスに対応する補正値を取得し、デプスの像高ばらつきを軽減するような計算をそれぞれの像高に対して行うことができる。
【００５８】
図１２は、本実施形態に係る撮像装置１００の動作例を示す流れ図であり、補正マップ生成部１３０による補正マップの作成例を示す流れ図である。
【００５９】
撮像装置１００は、まず変数ｉを０に初期化する（ステップＳ１１１）。続いて、撮像装置１００は、変数ｉが、所望のデプスマップの数を示す変数Ｎ未満であるかどうか判断する（ステップＳ１１２）。ｉがＮ未満であれば（ステップＳ１１２、Ｙｅｓ）、撮像装置１００は、上述したように、テクスチャのある板をレンズ位置ｉで撮像する（ステップＳ１１３）。
【００６０】
続いて撮像装置１００は、レンズ位置ｉで撮像した画像を用いて、デプス検出処理部１２２でデプス検出処理を行い、デプスマップｉを取得する（ステップＳ１１４）。そして、続いて、撮像装置１００は変数ｉを１つインクリメントし（ステップＳ１１５）、ステップＳ１０２の判断処理に戻る。ｉがＮ以上となれば（ステップＳ１１２、Ｎｏ）、撮像装置１００は、Ｎ個のデプスマップを用いて、特定の像高（例えば画像中央の像高）のデプスに合わせこんだ、デプスの像高補正マップを補正マップ生成部１３０で作成する（ステップＳ１１６）。
【００６１】
（２）テクスチャ付きの被写体を１つのフォーカスで撮像して補正
撮像装置１００は、例えば、テクスチャのある板を撮像装置１００の前に固定して設置し、１つのレンズ位置（例えばin-focusとなる位置）で撮像することによって補正マップを作成してもよい。この補正マップの作成の際に、撮像装置１００は、位相差ＡＦを用いてなるべくin-focusに近い位置にレンズを移動させておく。そして撮像装置１００は、基準となる像高（例えば像高中心）のデプスと各像高のデプスの差を計算することで、各像高におけるデプスのオフセットずれ量を保持したマップを作成する。撮像装置１００は、このずれ量を補正値として用いることで、デプスの像高依存性を軽減することができる。
【００６２】
図１３は、本実施形態に係る撮像装置１００の動作例を示す流れ図であり、補正マップ生成部１３０による補正マップの作成例を示す流れ図である。
【００６３】
撮像装置１００は、位相差ＡＦを用いて、in-focusに近い位置にレンズ部１１０のレンズを移動させ、その１種類のレンズ位置で撮像する（ステップＳ１２１）。続いて撮像装置１００は、そのレンズ位置で撮像した画像を用いて、デプス検出処理部１２２でデプス検出処理を行い、デプスマップを取得する（ステップＳ１２２）。
【００６４】
そして撮像装置１００は、この１つのデプスマップを用いて、特定の像高（例えば画像中央の像高）のデプスに合わせこんだ、デプスの像高補正マップを補正マップ生成部１３０で作成する（ステップＳ１２３）。
【００６５】
（３）シミュレーション結果を用いて補正
撮像装置１００は、例えば、レンズ部１１０に備えられるレンズの設計データを用いたシミュレーションによって、誤差のない理想状態におけるデプス値（理想デプス値）を算出し、テクスチャのある板を撮影して得られた実際のデプスデータを理想デプス値に合わせこむような補正マップを生成しても良い。実データを用いた像高補正マップの作成方法は先述のいずれの方法でも良い。
【００６６】
図１４は、図１１に示した複数のフォーカスに対応する補正マップの作成例の変形例である。図１４に示した流れ図は、図１１に示した流れ図と比較して、デプスの像高補正マップを作成する処理が、シミュレーション結果に合わせこむように作成する（ステップＳ１０５’）点で異なる。
【００６７】
図１５は、図１２に示したｎ次式の像高ばらつきを軽減できるような計算を行うための補正マップの作成例の変形例である。図１５に示した流れ図は、図１２に示した流れ図と比較して、デプスの像高補正マップを作成する処理が、シミュレーション結果に合わせこむように作成する（ステップＳ１１６’）点で異なる。
【００６８】
図１６は、図１３に示した１つのフォーカスに対応する補正マップの作成例の変形例である。図１６に示した流れ図は、図１３に示した流れ図と比較して、デプスの像高補正マップを作成する処理が、シミュレーション結果に合わせこむように作成する（ステップＳ１２３’）点で異なる。
【００６９】
（４）テクスチャ付きの被写体を複数の距離で撮像して補正
図１７は、被写体までの距離とデプスとの関係をグラフで示す説明図である。図１７には、像高中心における被写体までの距離とデプスとの関係、および、注目しているある像高における被写体までの距離とデプスとの関係が示されている。
【００７０】
撮像装置１００は、例えば、テクスチャのある板をカメラの前に設置し、フォーカスを固定した状態で、カメラと板の距離を変化させながら撮像することによって補正マップを作成してもよい。このように補正マップを作成することで、図１７に示したような関係を表すデータを、全像高位置において複数得ることができる。撮像装置１００は、これらのデータを用いることで、像高ごとに異なっているデプスを補正するためのマップを作成することができる。
【００７１】
図１８は、撮像装置１００が補正マップの生成時に撮像する被写体の例を示す説明図である。図１８には、複数の距離の平面が含まれている被写体の例が示されている。撮像装置１００は、図１８に示したような、画像を分割して得られた各領域内に、複数の距離の平面が含まれているような被写体を撮像し、その撮像データから補正マップを作成してもよい。図１８に示した平面にはテクスチャが描かれているものとする。撮像装置１００は、この図１８に示したような被写体を一度撮像するだけで、複数の距離のデータを得ることができる。
【００７２】
図１９は、本実施形態に係る撮像装置１００の動作例を示す流れ図であり、補正マップ生成部１３０による補正マップの作成例を示す流れ図である。
【００７３】
撮像装置１００は、まず変数ｉを０に初期化する（ステップＳ１４１）。続いて、撮像装置１００は、変数ｉが、所望のデプスマップの数を示す変数Ｎ未満であるかどうか判断する（ステップＳ１４２）。ｉがＮ未満であれば（ステップＳ１４２、Ｙｅｓ）、撮像装置１００は、上述したように、テクスチャのある板を被写体位置ｉで撮像する（ステップＳ１４３）。被写体位置ｉとは、補正マップの生成の際に予め定められた被写体までの複数の位置の内のｉ番目の位置のことを指す。
【００７４】
続いて撮像装置１００は、被写体位置ｉで撮像した画像を用いて、デプス検出処理部１２２でデプス検出処理を行い、デプスマップｉを取得する（ステップＳ１４４）。そして、続いて、撮像装置１００は変数ｉを１つインクリメントし（ステップＳ１４５）、ステップＳ１０２の判断処理に戻る。ｉがＮ以上となれば（ステップＳ１４２、Ｎｏ）、撮像装置１００は、Ｎ個のデプスマップを用いて、特定の像高（例えば画像中央の像高）のデプスに合わせこんだ、デプスの像高補正マップを補正マップ生成部１３０で作成する（ステップＳ１４６）。
【００７５】
なお、ステップＳ１４６の処理は、図２０に示した流れ図のようにシミュレーション結果に合わせこむように作成する（ステップＳ１４６’）ものであってもよい。
【００７６】
（１．３．２）アプリケーションのパラメータの像高別変化
本開示の実施の形態に係る撮像装置１００は、アプリケーション１２４においてデプスマップを使用する際に、デプスマップに対しては像高依存性の補正処理を適用せず、像高ごとにアプリケーション側のパラメータを変化させることで、デプスの像高依存性を軽減してもよい。
【００７７】
図２１は、像高によるデプスの違いと、それにより変化させるアプリケーション側のパラメータとの関係例を示す説明図である。図２１のように、テクスチャのある板を撮影した際に、像高中心と像高端でデプスの大小が異なったというケースを考える。この場合、撮像装置１００は、アプリケーション１２４においてデプスマップを背景ぼかしに用いる際に、像高によるデプスの変化に連動させてぼかし量を決定する閾値を変化させる。また、撮像装置１００は、アプリケーション１２４においてデプスマップをオートフォーカス処理に用いる場合であれば、像高によるデプスの変化に連動させて、デプスとレンズの移動量の比例定数を変化させる。
【００７８】
アプリケーション１２４でパラメータを変化させることで像高依存性を軽減させる場合、補正マップは上述の図１１〜図１６のいずれかの方法で生成されたものであってもよい。
【００７９】
図２２は、本実施形態に係る撮像装置１００の動作例を示す流れ図であり、補正マップ生成部１３０による、複数のフォーカスに対応する補正マップの作成例を示す流れ図である。
【００８０】
図２２に示した流れ図は、図１１に示した流れ図と同様に、複数のレンズ位置で撮像して得られるデプスマップから、そのレンズ位置に対応する補正マップを生成するものである。図２２に示した処理では、デプスの像高補正マップではなく、アプリケーションのパラメータを像高ごとに決定した補正マップを取得する（ステップＳ１５１）点で図１１に示した処理と異なっている。
【００８１】
図２３は、本実施形態に係る撮像装置１００の動作例を示す流れ図であり、補正マップ生成部１３０による補正マップの作成例を示す流れ図である。
【００８２】
図２３に示した流れ図は、図１２に示した流れ図と同様に、ｎ次式の像高ばらつきを軽減できるような計算を行うための補正マップを生成するものである。図２３に示した処理では、デプスの像高補正マップではなく、アプリケーションのパラメータを像高ごとに決定した補正マップを取得する（ステップＳ１５２）点で図１２に示した処理と異なっている。
【００８３】
図２４は、本実施形態に係る撮像装置１００の動作例を示す流れ図であり、補正マップ生成部１３０による補正マップの作成例を示す流れ図である。
【００８４】
図２４に示した流れ図は、図１３に示した流れ図と同様に、１つのレンズ位置（例えばin-focusとなる位置）で撮像することによって補正マップを生成するものである。図２４に示した処理では、デプスの像高補正マップではなく、アプリケーションのパラメータを像高ごとに決定した補正マップを取得する（ステップＳ１５３）点で図１３に示した処理と異なっている。
【００８５】
図２２〜２４の例では、１つまたは複数のレンズ位置で撮像して得られるデプスマップから、そのレンズ位置に対応する補正マップを生成しているものであるが、本開示は係る例に限定されるものではない。撮像装置１００は、図１４〜１６に示した処理のように、シミュレーション結果に合わせこむように補正マップを生成しても良い。
【００８６】
（１．３．３）デプス検出用の瞳分割画像を補正
本実施形態に係る撮像装置１００は、デプスを検出するために複数の瞳分割画像を用いる。その際、撮像装置１００は、それらの瞳分割画像を補正することで、デプスの像高依存性を軽減してもよい。
【００８７】
瞳分割画素のうち、図２Ａのように左の画素のみを集めて得られた画像をＬ画像、図２Ｂのように右の画素のみを集めて得られた画像をＲ画像と呼ぶことにする。そして本実施形態に係る撮像装置１００は、テクスチャのある板を撮影し、このＬ画像とＲ画像とでデプス検出を行うとする。もちろん、上述したようにデプス検出に用いられる瞳分割画像は、左右だけでなく、上下または斜め方向で異ならせた瞳分割画素から生成されてもよい。
【００８８】
撮像装置１００は、このＬ画像とＲ画像とから得られたデプスマップを参照することでＬ画像とＲ画像とを補正し、全像高でデプスのばらつきを軽減させてもよい。図２５は、Ｌ画像とＲ画像とから得られたデプスマップから、Ｌ画像とＲ画像とを補正する様子を示す説明図である。この補正に際し、撮像装置１００は、Ｌ画像とＲ画像とのそれぞれに対し、像高ごとに補正するための補正値を記録したマップを作成する。
【００８９】
瞳分割画像を補正することで像高依存性を軽減させる場合、補正マップは上述の図１１〜図１６のいずれかの方法で生成されたものであってもよい。
【００９０】
図２６は、本実施形態に係る撮像装置１００の動作例を示す流れ図であり、補正マップ生成部１３０による、複数のフォーカスに対応する補正マップの作成例を示す流れ図である。
【００９１】
図２６に示した流れ図は、図１１に示した流れ図と同様に、複数のレンズ位置で撮像して得られるデプスマップから、そのレンズ位置に対応する補正マップを生成するものである。図２６に示した処理では、瞳分割画像を補正するための補正マップを取得する（ステップＳ１６１）点で図１１に示した処理と異なっている。
【００９２】
図２７は、本実施形態に係る撮像装置１００の動作例を示す流れ図であり、補正マップ生成部１３０による補正マップの作成例を示す流れ図である。
【００９３】
図２７に示した流れ図は、図１２に示した流れ図と同様に、ｎ次式の像高ばらつきを軽減できるような計算を行うための補正マップを生成するものである。図２７に示した処理では、瞳分割画像を補正するための補正マップを取得する（ステップＳ１６２）点で図１１に示した処理と異なっている。
【００９４】
図２８は、本実施形態に係る撮像装置１００の動作例を示す流れ図であり、補正マップ生成部１３０による補正マップの作成例を示す流れ図である。
【００９５】
図２８に示した流れ図は、図１３に示した流れ図と同様に、１つのレンズ位置（例えばin-focusとなる位置）で撮像することによって補正マップを生成するものである。図２８に示した処理では、瞳分割画像を補正するための補正マップを取得する（ステップＳ１６３）点で図１３に示した処理と異なっている。
【００９６】
図２６〜２８の例では、１つまたは複数のレンズ位置で撮像して得られるデプスマップから、そのレンズ位置に対応する補正マップを生成しているものであるが、本開示は係る例に限定されるものではない。撮像装置１００は、図１４〜１６に示した処理のように、シミュレーション結果に合わせこむように補正マップを生成しても良い。
【００９７】
（１．３．４）上述の方法の組み合わせ
本開示の実施の形態に係る撮像装置１００は、レンズの位置と被写体までの距離の両方を変化させることで、上述の手法を組み合わせた像高依存性を補正するための補正マップを生成しても良い。
【００９８】
すなわち本開示の実施の形態に係る撮像装置１００は、テクスチャのある板とイメージセンサとの間の距離を変化させながら、各距離にてレンズ位置を変化させて撮像することで補正マップを生成しても良い。逆に、本開示の実施の形態に係る撮像装置１００は、レンズ位置を変化させながら、板とイメージセンサの間の距離を変化させて撮像することで補正マップを生成しても良い。
【００９９】
図２９は、本実施形態に係る撮像装置１００の動作例を示す流れ図であり、補正マップ生成部１３０による補正マップの作成例を示す流れ図である。
【０１００】
撮像装置１００は、まず変数ｉ、ｊをいずれも０に初期化する（ステップＳ２０１）。続いて、撮像装置１００は、変数ｉが変数Ｎ未満であるかどうか判断する（ステップＳ２０２）。ｉがＮ未満であれば（ステップＳ２０２、Ｙｅｓ）、続いて撮像装置１００は、撮像装置１００は、変数ｊが、変数Ｍ未満であるかどうか判断する（ステップＳ２０３）。ｊがＭ未満であれば（ステップＳ２０３、Ｙｅｓ）、撮像装置１００は、被写体（テクスチャのある板）までの距離がｉの状態で、レンズ位置ｊで撮像する（ステップＳ２０４）。
【０１０１】
続いて撮像装置１００は、被写体までの距離がｉ、レンズ位置ｊで撮像した画像を用いて、デプス検出処理部１２２でデプス検出処理を行い、デプスマップ（ｉ，ｊ）を取得する（ステップＳ２０５）。そして、撮像装置１００は、そのデプスマップ（ｉ，ｊ）を用いて、特定の像高（例えば画像中央の像高）のデプスに合わせこんだ、デプスの像高補正マップ（ｉ，ｊ）を補正マップ生成部１３０で作成する（ステップＳ２０６）。
【０１０２】
その後、撮像装置１００は変数ｉを１つインクリメントし（ステップＳ２０７）、ステップＳ２０３の判断処理に戻る。ｊがＭ以上となれば（ステップＳ２０３、Ｎｏ）、撮像装置１００は、変数ｉを１つインクリメントし（ステップＳ２０８）、ステップＳ２０２の判断処理に戻る。ｉがＮ以上となれば（ステップＳ２０２、Ｎｏ）、撮像装置１００は、一連の処理を終了する。
【０１０３】
図２９に示した処理では、被写体までの距離を固定してからレンズ位置を移動させて、全てのレンズ位置で撮像し終えたら被写体までの距離を変えていたが、本開示は係る例に限定されるものではない。先にレンズ位置を固定してから被写体までの距離を変化させ、全ての被写体距離で撮像し終えたらレンズ位置を変えても良い。
【０１０４】
図３０は、本実施形態に係る撮像装置１００の動作例を示す流れ図であり、補正マップ生成部１３０による補正マップの作成例を示す流れ図である。
【０１０５】
撮像装置１００は、まず変数ｉ、ｊをいずれも０に初期化する（ステップＳ２０１）。続いて、撮像装置１００は、変数ｉが変数Ｎ未満であるかどうか判断する（ステップＳ２０２）。ｉがＮ未満であれば（ステップＳ２０２、Ｙｅｓ）、続いて撮像装置１００は、撮像装置１００は、変数ｊが、変数Ｍ未満であるかどうか判断する（ステップＳ２０３）。ｊがＭ未満であれば（ステップＳ２０３、Ｙｅｓ）、撮像装置１００は、レンズ位置ｉの状態で、被写体（テクスチャのある板）までの距離ｊで撮像する（ステップＳ２０４’）。
【０１０６】
続いて撮像装置１００は、レンズ位置ｉ、被写体までの距離ｊで撮像した画像を用いて、デプス検出処理部１２２でデプス検出処理を行い、デプスマップ（ｉ，ｊ）を取得する（ステップＳ２０５’）。そして、撮像装置１００は、そのデプスマップ（ｉ，ｊ）を用いて、特定の像高（例えば画像中央の像高）のデプスに合わせこんだ、デプスの像高補正マップ（ｉ，ｊ）を補正マップ生成部１３０で作成する（ステップＳ２０６’）。
【０１０７】
その後、撮像装置１００は変数ｉを１つインクリメントし（ステップＳ２０７）、ステップＳ２０３の判断処理に戻る。ｊがＭ以上となれば（ステップＳ２０３、Ｎｏ）、撮像装置１００は、変数ｉを１つインクリメントし（ステップＳ２０８）、ステップＳ２０２の判断処理に戻る。ｉがＮ以上となれば（ステップＳ２０２、Ｎｏ）、撮像装置１００は、一連の処理を終了する。
【０１０８】
図３１は、本実施形態に係る撮像装置１００の動作例を示す流れ図であり、補正マップ生成部１３０による補正マップの作成例を示す流れ図である。
【０１０９】
撮像装置１００は、まず変数ｉ、ｊをいずれも０に初期化する（ステップＳ２１１）。続いて、撮像装置１００は、変数ｉが変数Ｎ未満であるかどうか判断する（ステップＳ２１２）。ｉがＮ未満であれば（ステップＳ２１２、Ｙｅｓ）、続いて撮像装置１００は、撮像装置１００は、変数ｊが、変数Ｍ未満であるかどうか判断する（ステップＳ２１３）。ｊがＭ未満であれば（ステップＳ２１３、Ｙｅｓ）、撮像装置１００は、被写体（テクスチャのある板）までの距離がｉの状態で、レンズ位置ｊで撮像する（ステップＳ２１４）。
【０１１０】
続いて撮像装置１００は、被写体までの距離がｉ、レンズ位置ｊで撮像した画像を用いて、デプス検出処理部１２２でデプス検出処理を行い、デプスマップ（ｉ，ｊ）を取得する（ステップＳ２１５）。
【０１１１】
その後、撮像装置１００は変数ｉを１つインクリメントし（ステップＳ２１６）、ステップＳ２１３の判断処理に戻る。ｊがＭ以上となれば（ステップＳ２１３、Ｎｏ）、撮像装置１００は、変数ｉを１つインクリメントし（ステップＳ２１７）、ステップＳ２１２の判断処理に戻る。ｉがＮ以上となれば（ステップＳ２１２、Ｎｏ）、撮像装置１００は、デプスマップ（０，０）からデプスマップ（Ｎ−１，Ｍ−１）を用いて、特定の像高（例えば画像中央の像高）のデプスに合わせこんだ、デプスの像高補正マップを補正マップ生成部１３０で作成する（ステップＳ２１８）。撮像装置１００は、補正マップを生成すると、一連の処理を終了する。
【０１１２】
図３１に示した処理では、被写体までの距離を固定してからレンズ位置を移動させて、全てのレンズ位置で撮像し終えたら被写体までの距離を変えていたが、本開示は係る例に限定されるものではない。先にレンズ位置を固定してから被写体までの距離を変化させ、全ての被写体距離で撮像し終えたらレンズ位置を変えても良い。
【０１１３】
図３２は、本実施形態に係る撮像装置１００の動作例を示す流れ図であり、補正マップ生成部１３０による補正マップの作成例を示す流れ図である。
【０１１４】
撮像装置１００は、まず変数ｉ、ｊをいずれも０に初期化する（ステップＳ２１１）。続いて、撮像装置１００は、変数ｉが変数Ｎ未満であるかどうか判断する（ステップＳ２１２）。ｉがＮ未満であれば（ステップＳ２１２、Ｙｅｓ）、続いて撮像装置１００は、撮像装置１００は、変数ｊが、変数Ｍ未満であるかどうか判断する（ステップＳ２１３）。ｊがＭ未満であれば（ステップＳ２１３、Ｙｅｓ）、撮像装置１００は、レンズ位置ｉの状態で、被写体（テクスチャのある板）までの距離ｊで撮像する（ステップＳ２１４’）。
【０１１５】
続いて撮像装置１００は、レンズ位置ｉ、被写体までの距離ｊで撮像した画像を用いて、デプス検出処理部１２２でデプス検出処理を行い、デプスマップ（ｉ，ｊ）を取得する（ステップＳ２１５’）。
【０１１６】
その後、撮像装置１００は変数ｉを１つインクリメントし（ステップＳ２１６）、ステップＳ２１３の判断処理に戻る。ｊがＭ以上となれば（ステップＳ２１３、Ｎｏ）、撮像装置１００は、変数ｉを１つインクリメントし（ステップＳ２１７）、ステップＳ２１２の判断処理に戻る。ｉがＮ以上となれば（ステップＳ２１２、Ｎｏ）、撮像装置１００は、デプスマップ（０，０）からデプスマップ（Ｎ−１，Ｍ−１）を用いて、特定の像高（例えば画像中央の像高）のデプスに合わせこんだ、デプスの像高補正マップを補正マップ生成部１３０で作成する（ステップＳ２１８）。撮像装置１００は、補正マップを生成すると、一連の処理を終了する。
【０１１７】
この図２９〜３２で生成する補正マップは、上述したようなマップ（デプスマップそのものを補正するマップ、アプリケーションのパラメータを補正するマップ、瞳分割画像を補正するマップ）に限らず、デプスの像高依存性を補正できるようなマップであればどのようなものでも良い。
【０１１８】
（１．３．４）画像位置ごとの補正量決定
上述の手法では、補正量を像高に基づいて決定しているが、本開示は係る例に限定されるものでは無い。例えば、撮像装置１００は、像高に限らず画像中の位置に応じて補正量を決定しても良い。例えば、撮像装置１００は、同じ像高の位置であっても、画像の左上と右下で補正量が異なる補正マップを生成しても良い。
【０１１９】
＜２．まとめ＞
以上説明したように本開示の実施の形態によれば、デプスマップにおける面内のデプスのばらつきを補正することが可能な撮像装置１００が提供される。デプスマップにおける面内のデプスのばらつきを補正することで、本開示の実施の形態に係る撮像装置１００は、例えば、デプスの値によって距離を求めるようなアプリケーションを実行する場合、撮像素子から同じ距離にある被写体は、像高によらず同じ距離にあると判定することが出来る。
【０１２０】
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１２１】
また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
【０１２２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２３】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１２４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
デプスを検出することが可能な画素を備える撮像素子と、
前記画素により得られた信号を用いてデプスを検出し、前記デプスに基づく処理を実行する画像処理部と、
前記画像処理部においてデプスの像高依存性を補正する補正データを前記信号に基づいて生成する補正データ生成部と、
を備える、撮像装置。
（２）
前記画像処理部は、デプスの検出時に前記補正データを適用してデプスの像高依存性を補正する、前記（１）に記載の撮像装置。
（３）
前記画像処理部は、前記デプスに基づく処理を実行する際に前記補正データを適用してデプスの像高依存性を補正する、前記（１）に記載の撮像装置。
（４）
前記画像処理部は、前記信号に対して前記補正データを適用してデプスの像高依存性を補正する、前記（１）に記載の撮像装置。
（５）
前記補正データ生成部は、前記撮像素子に被写体像を結像させるレンズの位置を変化させながら取得したデプスの情報に基づき、前記レンズの位置と前記デプスとの関係を全ての像高位置において算出することで前記補正データを生成する、前記（１）〜（４）のいずれかに記載の撮像装置。
（６）
前記補正データ生成部は、被写体と前記撮像素子との間の距離を変化させながら取得したデプスの情報に基づき、前記距離と前記デプスとの関係を全ての像高位置において算出することで前記補正データを生成する、前記（１）〜（４）のいずれかに記載の撮像装置。
（７）
前記補正データ生成部は、所定の被写体と前記撮像素子との間の距離を固定した状態で前記所定の被写体を撮像して取得したデプスの情報に基づき、基準となる像高からのデプスのオフセットずれ量を保持した前記補正データを生成する、前記（１）〜（４）のいずれかに記載の撮像装置。
（８）
前記補正データ生成部は、前記撮像素子に被写体像を結像させるレンズの設計データを用いたシミュレーションにより得られるデプスの情報と、実際のデプスの情報とに基づいて前記補正データを生成する、前記（１）〜（４）のいずれかに記載の撮像装置。
（９）
プロセッサが、
デプスを検出することが可能な画素を備える撮像素子から得られた信号を用いてデプスを検出し、前記デプスに基づく処理を実行することと、
検出された前記デプスの像高依存性を補正する補正データを前記信号に基づいて生成することと、
を含む、補正方法。
（１０）
コンピュータに、
デプスを検出することが可能な画素を備える撮像素子から得られた信号を用いてデプスを検出し、前記デプスに基づく処理を実行することと、
検出された前記デプスの像高依存性を補正する補正データを前記信号に基づいて生成することと、
を実行させる、コンピュータプログラム。
【符号の説明】
【０１２５】
１００    撮像装置
１２０    画像処理部
【図１】
2020034830.tif 000003
【図２Ａ】
2020034830.tif 000004
【図２Ｂ】
2020034830.tif 000005
【図２Ｃ】
2020034830.tif 000006
【図２Ｄ】
2020034830.tif 000007
【図３】
2020034830.tif 000008
【図４】
2020034830.tif 000009
【図５】
2020034830.tif 000010
【図６】
2020034830.tif 000011
【図７】
2020034830.tif 000012
【図８】
2020034830.tif 000013
【図９】
2020034830.tif 000014
【図１０】
2020034830.tif 000015
【図１１】
2020034830.tif 000016
【図１２】
2020034830.tif 000017
【図１３】
2020034830.tif 000018
【図１４】
2020034830.tif 000019
【図１５】
2020034830.tif 000020
【図１６】
2020034830.tif 000021
【図１７】
2020034830.tif 000022
【図１８】
2020034830.tif 000023
【図１９】
2020034830.tif 000024
【図２０】
2020034830.tif 000025
【図２１】
2020034830.tif 000026
【図２２】
2020034830.tif 000027
【図２３】
2020034830.tif 000028
【図２４】
2020034830.tif 000029
【図２５】
2020034830.tif 000030
【図２６】
2020034830.tif 000031
【図２７】
2020034830.tif 000032
【図２８】
2020034830.tif 000033
【図２９】
2020034830.tif 000034
【図３０】
2020034830.tif 000035
【図３１】
2020034830.tif 000036
【図３２】
2020034830.tif 000037