(57)【要約】【課題】視差のある画像を取得可能な装置において、近い被写体と遠い被写体を含む画像で被写体（領域）ごとに正確な距離情報を取得すること。【解決手段】撮像装置は、撮像光学系で結像された被写体の光学像を撮像して、視差を有する複数の画像信号を生成する撮像手段と、複数の画像信号から被写体の距離情報を取得し、距離情報に基づいて被写体の距離分布を生成する距離分布生成手段と、撮像手段および距離分布生成手段を制御し、被写体を含む画像の距離分布を生成する制御手段とを備え、制御手段は、視差を有する複数の画像信号を生成する撮像での被写界深度を、複数の画像信号から撮像光学系で結像された被写体の距離情報が取得できる浅さとする。【選択図】図１
2016099322.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系で結像された被写体の光学像を撮像して、視差を有する複数の画像信号を生成する撮像手段と、
前記複数の画像信号から前記被写体の距離情報を取得し、前記距離情報に基づいて前記被写体の距離分布を生成する距離分布生成手段と、
前記撮像手段および前記距離分布生成手段を制御し、前記被写体を含む画像の距離分布を生成する制御手段と、
を備え、
前記制御手段は、前記視差を有する複数の画像信号を生成する撮像での被写界深度を、前記複数の画像信号から前記撮像光学系で結像された被写体の距離情報が取得できる浅さとすることを特徴とする撮像装置。
【請求項２】
前記撮像手段により撮像された画像から被写体を検出する検出手段をさらに備え、
前記制御手段は、前記検出手段による被写体検出の結果に従って前記撮像手段および前記距離分布生成手段を制御して前記各被写体の距離分布を生成し、各被写体の距離分布から前記画像の距離分布を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段が異なる被写体を検出した場合、各被写体の距離分布は、前記撮像光学系で結像された各被写体の光学像を前記撮像手段で撮像して生成された前記視差を有する複数の画像信号から前記距離分布生成手段により生成された距離分布であり、前記撮像手段により撮像された画像の距離分布は、各被写体の距離分布を合成した距離分布であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記検出手段が検出した異なる被写体に対して、前記距離分布生成手段による距離分布の生成の優先順位を決定し、前記優先順位に従って前記撮像手段および距離分布生成手段を制御して各被写体の距離分布を生成することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記距離分布生成手段は、前記検出手段の被写体検出の結果に従って、前記被写体の合焦位置から近い距離の画像領域における距離分布を生成することを特徴とする請求項３又は４に記載の撮像装置。
【請求項６】
前記検出手段は、前記撮像手段により撮像された前記画像を矩形領域に分割し、前記分割された矩形領域を各被写体の領域として分類し、前記距離分布生成手段は、各矩形領域から取得された前記距離情報に基づいて各被写体の距離分布を生成することを特徴とする請求項３又は４に記載の撮像装置。
【請求項７】
前記制御手段は、前記撮像手段により撮像された前記画像と前記画像の距離分布とを関連付けて記憶することを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
【請求項８】
撮像光学系で結像された被写体の光学像を撮像して、視差を有する複数の画像信号を生成する撮像手段を有する撮像装置の制御方法であり、
前記複数の画像信号から前記被写体の距離情報を取得し、前記距離情報に基づいて前記被写体の距離分布を生成する距離分布生成工程と、
前記撮像手段および前記距離分布生成工程を制御し、前記被写体を含む画像の距離分布を生成する制御工程と、
を備え、
前記制御工程は、前記視差を有する複数の画像信号を生成する撮像での被写界深度を、前記複数の画像信号から前記撮像光学系で結像された被写体の距離情報が取得できる浅さとする工程を有することを特徴とする制御方法。
【請求項９】
撮像光学系で結像された被写体の光学像を撮像して、視差を有する複数の画像信号を生成する撮像手段を有する撮像装置を制御するプログラムであり、
コンピュータを、
前記複数の画像信号から前記被写体の距離情報を取得し、前記距離情報に基づいて前記被写体の距離分布を生成する距離分布生成手段、
前記撮像手段および前記距離分布生成手段を制御して前記被写体を含む画像の距離分布を生成し、前記視差を有する複数の画像信号を生成する撮像での被写界深度を、前記複数の画像信号から前記撮像光学系で結像された被写体の距離情報が取得できる浅さとする制御手段
として機能させることを特徴とするプログラム。
【請求項１０】
請求項９に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は視差画像の撮影が可能な撮像装置に関し、特に視差画像から被写体の距離情報を取得することが可能な撮像装置に関する。
【背景技術】
【０００２】
従来、３Ｄレリーフのような凹凸を有する立体的な画像を印刷する印刷装置用の印刷データを生成する装置がある。例えば、特許文献１では画像の複数の領域毎の距離情報を取得し、領域毎の距離情報から画像情報に対応した印刷時の厚さ情報を生成し、画像情報と厚さ情報を関連付けて記録している。
【０００３】
例えば、パンフォーカスの様に近くの被写体から遠くの被写体までくっきり写っている画像を３Ｄレリーフとして印刷したい場合、くっきり写っている部分の凹凸を表現するために近くの被写体と遠くの被写体の両方の距離情報を正確に取得する必要がある。しかし、特許文献１では被写体と背景の前後関係がわかる印刷データを生成することは可能だが、被写体の凹凸がわかる印刷データを生成することは困難である。
【０００４】
これに対し、特許文献２では特定の深度に合焦した画像からその画像の合焦範囲よりも広い範囲に合焦している全焦点画像を生成し、さらに全焦点画像から別途取得するぼけパラメータによりぼけ画像群を生成し、画像領域ごとに比較して距離情報を取得している。画像領域ごとにぼけ画像群の異なるぼけ画像を選別し、選別したぼけ画像から取得した距離情報に基づいて距離分布を作成している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４８８２８２３号公報
【特許文献２】国際公開第１１／１５８５１５号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献２に開示された処理では、特定の深度の画像を複数枚撮影し、それから全焦点画像を生成し、さらに全焦点画像からぼけパラメータにより複数のぼけ画像を生成してからそれらを用いて距離を算出している。そのため、最終的に距離マップを合成しているため処理の負荷が大きい。また、ぼけ画像の数が少なく深度のバリエーションが少ない場合、正しい距離情報が得られないという課題がある。
【０００７】
ここで、近年視差のある画像を取得可能な撮像装置が開発されており、取得した視差から被写体までの距離を算出することが可能となっている。しかし、この方法でもパンフォーカス撮影を行った時は、近くの被写体も遠くの被写体も許容錯乱円の中に入って視差がほぼ存在しないため距離情報が得られない。また、大きくぼけている画像領域では得られる視差の信頼度が低く、収差による測距ずれも存在するため、合焦位置付近の焦点面以外では精度の高い距離情報を得ることは困難である。
【０００８】
本発明は上記の問題点に鑑み、視差のある画像を取得可能な撮像装置において、近い被写体と遠い被写体を含む画像の被写体（領域）ごとの正確な距離情報を取得することを可能にすることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の撮像装置は、撮像光学系で結像された被写体の光学像を撮像して、視差を有する複数の画像信号を生成する撮像手段と、複数の画像信号から被写体の距離情報を取得し、距離情報に基づいて被写体の距離分布を生成する距離分布生成手段と、撮像手段および距離分布生成手段を制御し、被写体を含む画像の距離分布を生成する制御手段とを備え、制御手段は、視差を有する複数の画像信号を生成する撮像での被写界深度を、複数の画像信号から撮像光学系で結像された被写体の距離情報が取得できる浅さとする。
【発明の効果】
【００１０】
本発明によれば、視差画像を取得可能な撮像装置において、撮影画像の他にそれより被写界深度の浅い視差画像を撮像し、得られた視差画像から生成した距離情報を撮影画像の距離情報とするが可能となる。これにより、近い被写体と遠い被写体を含む画像において被写体（領域）ごとに正確な距離情報を取得することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施例に係わる撮像装置の構成例を示すブロック図である。
【図２】本発明の第１の実施例に係わる撮像装置が有する撮像素子の画素の構造を示す図である。
【図３】本発明の第１の実施例に係わる撮像装置の動作のフローチャートを示す図である。
【図４】本発明の第１の実施例に係わる撮像装置の動作を説明するための図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１３】
図１は、本発明の第１の実施例に係わるデジタルカメラ等の撮像装置１００の構成例を示す図である。同図において、撮像装置１００は撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換器１０３、画像処理部１０４、一時記憶メモリ１０５、被写体検出部１０６、距離分布生成部１０７、距離分布合成部１０８、ＣＰＵ１０９によって構成されている。撮像光学系１０１は、ズームレンズ、フォーカシングレンズ、絞りにより構成される。撮像素子１０２は、撮像光学系１０１にて結像された被写体の光学像を光電変換して画像信号（電気信号）を生成して出力する。
【００１４】
Ａ／Ｄ変換部１０３は、撮像素子１０２が出力する画像信号を、アナログ信号からデジタル信号に変換する。画像処理部１０４は、Ａ／Ｄ変換部１０３によりデジタル信号に変換された画像データに対して各種画像処理を行う。一時記憶メモリ１０５は、画像処理部１０４で処理された画像データや各種データを格納する。
【００１５】
被写体検出部１０６は、画像処理部１０４で処理した画像を一時記憶メモリ１０５から読み出し、画像中に被写体が存在するか否かの検出を行う。距離分布生成部１０７は前記被写体検出部で検出した被写体領域について距離分布の生成を行う。距離分布合成部１０８は、距離分布生成部１０７で生成した複数の被写体領域の距離分布を合成し、複数の被写体領域の距離を示す距離分布を生成する。
【００１６】
ＣＰＵ１０９は、不図示のメモリに格納されているプログラムを実行することで、上述した撮像装置１００の各部を制御して各種処理動作を実現する。
【００１７】
なお、図１に示した撮像装置の構成は一例であり、これに限定されるものではなく、以下に説明する本実施例の動作を実行できる構成であればよい。
【００１８】
以下、撮影画像とそれより被写界深度の浅い画像を撮像し、被写界深度の浅い画像の撮像で得られる視差画像から生成した距離情報を撮影画像の距離情報として保存する構成を例にして本実施例を説明する。まず、本実施例に係わる撮像装置１００における撮像素子１０２の構成について説明する。
【００１９】
図２は撮像素子１０２の構造を示す図であり、一つの画素を側面から見たときの断面図である。同図において、被写体からの光はマイクロレンズ２０１によって光電変換部に効率的に集光され、その後カラーフィルター２０２で所望の波長域のみが選択的に通過される。２０３は半導体の配線層である。カラーフィルター２０２を通過した光は光電変換部であるフォトダイオード２０４で受光され、光電変換により電気信号に変換される。通常の撮像素子は一つのマイクロレンズ２０１に対して一つのフォトダイオードを有しているが、本実施例では、２つのフォトダイオード２０４が配置された構造になっている。このように２つのフォトダイオード２０４が１つのマイクロレンズ２０１を共有する構造にすることで瞳分割像を取得することが可能となる。
【００２０】
本実施例では、図１および図２に示した撮像装置１００で静止画撮影を行い、取得された静止画から被写体を検出し、検出の結果に従って被写体ごとの撮影および距離分布生成を行い、被写体ごとの距離分布を合成する。この処理動作を、図３に示すフローチャートを用いて説明する。
【００２１】
ステップＳ３０１において、ＣＰＵ１０９は撮像装置１００を制御してパンフォーカス撮影を行い、撮影画像を取得する。ここで、パンフォーカス画像とは、撮像装置からの距離が近い被写体と遠い被写体の両方にピントが合っているように見える被写界深度の深い画像である。また、撮像装置１００は図２に示すように、一つの画素に対して２つのフォトダイオード２０４が存在し、それぞれ独立に瞳分割像データを取得することができる。取得される２つの瞳分割像は厳密には視差を有する画像であるが、ピントが合っている部分については瞳分割像がぴったり重なって見えるため視差は無いとみなされる。図４に示す画像４１０は、ステップＳ３０１で撮影された撮影画像（パンフォーカス画像）の例を模式的に示している。
【００２２】
ステップＳ３０２において、被写体検出部１０６が撮影画像４１０に対して被写体検出を行う。被写体検出部１０６は、画像中から、人物や顔、ペットやランドマークなどの画像パターンをテンプレートマッチングによって検出するように構成しても、また、１フレーム前の画像との比較により動き量や変化量の大きい領域を検出するように構成してもよい。このような検出方法は周知技術であるので、ここでは省略する。図４の撮影画像４１０の場合は、被写体検出部１０６は、人物４０１と人物４０１より遠い位置の被写体として建物４０２を検出する。
【００２３】
ステップＳ３０３において、ＣＰＵ１０９は、ステップＳ３０２で検出した被写体に対してどのような順序で距離分布生成を行うかについて優先順位を決定する。なお、この決定処理は、距離分布生成部１０７で行ってもよい。優先順位の決定は、例えば、画像処理部１０４で導出した被写体の画像中における位置や大きさ、被写体の種類（人や移動する被写体の優先度を高くするなど）に基づいて行う。図４の撮影画像４１０の例では、人物４０１が建物４０２よりも高い優先度であるとする。
【００２４】
ステップＳ３０４において、ＣＰＵ１０９は撮像装置１００を制御して、ステップＳ３０３で最優先とされた被写体に合焦して撮影を行い、瞳分割像を取得する。ここで、ステップＳ３０４ではステップＳ３０１のパンフォーカス撮影と比較して被写界深度を浅くして撮影を行う。撮影画像４１０では人物４０１が最優先の被写体であるため、まずは、人物４０１に合焦して撮影を行い、撮影画像４１１を取得する。
【００２５】
ステップＳ３０５において、ステップＳ３０４で撮影を行った被写体に関する距離分布を距離分布生成部１０７で生成する。ここで、距離分布生成部１０７が被写体に関する距離分布を生成する方法について述べる。
【００２６】
ステップＳ３０４での撮影で取得した２枚の瞳分割画像には浅い被写界深度のために合焦点の近辺においても視差があり、この視差を用いて合焦位置から近い画像領域の距離を算出することが出来る。このように、瞳分割画像から合焦した被写体の距離分布を生成する。原理的には２枚の瞳分割像で視差がある部分については距離を算出することが出来るため、合焦した被写体についてだけでなく画像全体で距離分布を生成可能である。しかし、大きくぼけている部分では得られる視差の信頼度が低く、撮像光学系１０１の収差による測距ずれも存在するため、合焦位置付近の焦点面以外では精度の高い距離分布を得ることは困難である。そのため、本実施例における撮影画像４１１からは画像全体の距離分布ではなく、合焦被写体の領域での距離分布が生成される。その結果、ステップＳ３０５では図４の撮影画像４１０の人物４０１の領域についてのみの距離分布４２１が生成される。
【００２７】
なお、ステップＳ３０４では距離分布算出のための瞳分割像を取得することが目的であり、ステップＳ３０４で撮影した撮影画像自体を画像データとして保存する必要は無く、ステップＳ３０５での距離分布生成を終えたら一時記憶メモリ１０５から消去しても良い。
【００２８】
ステップＳ３０６において、ＣＰＵ１０９は、距離分布が未生成である被写体があるかどうかを判定する。なお、この判定処理も、距離分布生成部１０７で行ってもよい。距離分布が未生成の被写体がある場合は、ステップＳ３０４へ進む。検出された全ての被写体について距離分布が生成されていれば、ステップＳ３０７へ進む。図４の撮影画像４１０の例では人物４０１の距離分布の生成が完了し、建物４０２の距離分布の生成がまだであるのでステップＳ３０４へ戻り、人物４０１と同様に、建物４０２に合焦した視差画像の撮影を行い、建物４０２についての距離分布４２２を生成する。人物４０１、建物４０２の距離分布がともに生成されたらステップＳ３０７へ進む。
【００２９】
ステップＳ３０７において、距離分布合成部１０８は、ステップＳ３０４からＳ３０５で生成された各被写体毎の距離分布を合成し、全ての被写体の距離情報を含む距離分布を生成する。図４の例では、距離分布４２１と距離分布４２２が距離分布合成部１０８によりが合成されて距離分布４２３が生成される。距離分布４２３には人物４０１と建物４０２の両方の被写体近辺の距離情報が含まれる。
【００３０】
ステップＳ３０８において、ＣＰＵ１０９は、ステップＳ３０７で生成した距離分布をステップＳ３０１で撮影したパンフォーカス画像の距離分布として保存する。図４の撮影画像４１０の例では、画像中の被写体である人物４０１、建物４０２の距離情報を含む距離分布４２３が撮影画像４１０の画像データと関連付けられて保存される。
【００３１】
ところで、上述した本実施例では、距離分布を取得するための撮像素子１０２の構成を、視差のある２枚の画像の画像信号を出力する構成として説明した。しかし、異なる瞳領域を通過して結像された被写体像を撮像して複数の像信号を出力する構成でさえあれば、図２の構成に限らず、さらに多くの光電変換部２０４を一つのマイクロレンズ２０１下に配列する構成であってもよい。
【００３２】
また、本実施例の図４の例では、距離分布４２３では被写体の検出されなかった領域の距離情報は取得されていない。しかし、３Ｄレリーフのように被写体部分のみに凹凸を付けて印刷したい場合には被写体の検出されなかった領域の距離情報は無視されるためこのような構成でも良い。
【００３３】
一方、被写体検出時に撮影画像４１０を矩形領域に分割して、夫々の領域で距離分布を取得するようにしてもよい。例えば、輝度や色、空間周波数、隣接する領域との差異、差異の少ない領域同士を足し合わせた大きさなどから、空や草花、ビルなど被写体毎に予め定めておいた条件を満たすかを判定し、撮影画像の全ての領域がいずれかの被写体領域に含まれるよう分類してもよい。
【００３４】
以上のように、本発明によれば、視差のある画像を取得可能な撮像装置において、撮影画像より被写界深度の浅い画像を撮像し、得られた視差画像から生成した距離情報を撮影画像の距離情報としている。これにより、近い被写体と遠い被写体を含む画像で被写体（領域）ごとに正確な距離情報を取得することが可能となり、３Ｄレリーフのような凹凸を有する立体的な画像を印刷する印刷装置用の印刷データを効率的かつ精度よく生成することが可能となる。
【００３５】
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００３６】
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図１】
2016099322.tif 000003
【図２】
2016099322.tif 000004
【図３】
2016099322.tif 000005
【図４】
2016099322.tif 000006