(57)【要約】【課題】連写した複数枚の画像を１枚の画像に合成する際に、被写体が重畳することなく合成できる撮像装置を提供すること。【解決手段】被写体を撮像し複数の画像データを生成する撮像手段と、前記画像データから被写体の距離データを取得する被写体距離データ取得手段と、前記距離データから各々が個別の被写体距離の範囲に対応する複数の被写体領域を抽出した画像を生成する分割像生成手段と、前記分割画像を衝立上に配置して合成する合成手段と、前記合成画像の被写体が重畳しているか判定する被写体重畳判定手段を有し、前記被写体重畳判定の結果に基づき、前記分割画像の配置を変更する分割画像配置変更手段を有することを特徴とする。【選択図】図１
2018006934.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し複数の画像データを生成する撮像手段と、
前記画像データから被写体の距離データを取得する被写体距離データ取得手段と、
前記距離データから各々が個別の被写体距離の範囲に対応する複数の被写体領域を抽出した画像を生成する分割像生成手段と、
前記分割画像を衝立上に配置して合成する合成手段と、
前記合成画像の被写体が重畳しているか判定する被写体重畳判定手段を有し、
前記被写体重畳判定の結果に基づき、前記分割画像の配置を変更する分割画像配置変更手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記画像合成手段は、
前記分割画像を積層して合成する積層合成手段をさらに有し、
前記被写体の動き量を算出する動き量算出手段と、
前記動き量算出結果に基づいて、前記分割画像の合成処理を切替える合成処理切替え手段と、
を有することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特には動きを伴う被写体の連写画像を活用した画像処理技術に関する。
【背景技術】
【０００２】
従来、動いている被写体を連写して、被写体の動きを確認する際に、複数枚の画像を駒割にして表示していた。
【０００３】
しかし、上記駒割の表示では、撮影された複数枚の画像を単に１つの画面上に並べているに過ぎず、全体の動きを視覚的には把握するには不十分であった。
【０００４】
そこで、特許文献１の装置では、連写した複数の画像に対して、動きを伴う被写体部分の検出を行うとともに、検出された被写体部分の切り出し抽出を行い、且つ、切り出し抽出された被写体部分の画像を積層して合成画像を生成することで、被写体全体の動きを把握し易くした。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−３３１６９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の発明では、撮像装置に対し、光軸方向に動く被写体を合成する場合、被写体が重畳されてしまい、被写体全体の動きが把握できなくなってしまう。
【０００７】
そこで、本発明は、連写した複数枚の画像を１枚の画像に合成する際に、被写体が重畳することなく合成できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る撮像装置は、
被写体を撮像し複数の画像データを生成する撮像手段と、
前記画像データから被写体の距離データを取得する被写体距離データ取得手段と、
前記距離データから各々が個別の被写体距離の範囲に対応する複数の被写体領域を抽出した画像を生成する分割像生成手段と、
前記分割画像を衝立上に配置して合成する合成手段と、
前記合成画像の被写体が重畳しているか判定する被写体重畳判定手段を有し、
前記被写体重畳判定の結果に基づき、前記分割画像の配置を変更する分割画像配置変更手段を有することを特徴とする。
【発明の効果】
【０００９】
本発明に係る撮像装置によれば、連写した複数枚の画像を１枚の画像に合成する際に、被写体が重畳することなく合成できる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施例のデジタルカメラのブロック図
【図２】第１の実施例の衝立合成画像を生成するフローチャート
【図３】第２の実施例のデジタルカメラのブロック図
【図４】第２の実施例の衝立合成画像を生成するフローチャート
【図５】第１の実施例の衝立合成画像と距離画像を例示した概略図
【図６】第１の実施例の重畳判定方法を例示した概略図
【図７】第２の実施例の積層合成画像と距離画像を例示した概略図
【図８】第２の実施例の衝立合成画像を例示した概略図
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【実施例１】
【００１２】
本発明による第１の実施例である複数の画像データを衝立状に配置して合成するデジタルカメラの構成について図１を用いて説明する。
【００１３】
撮像装置１００は、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、メモリカードコントローラ１０４、メモリ部１０５、画像処理部１０６、制御部１０７、距離画像生成部１０８、分割画像生成部１０９、画像合成部１１０、重畳判定部１１１、分割画像配置指示部１１２、表示部１１３、操作部１１４、内部バス１１５によって構成される。メモリカード１１６は、撮像装置１００に着脱される。
【００１４】
制御部１０７は、例えばプログラマブルプロセッサ（以下、ＣＰＵ）と、ＲＯＭと、ＲＡＭを有し、ＲＯＭに記憶されたプログラムをＣＰＵで実行し、各部を制御して撮像装置１００の機能を実現する。
【００１５】
メモリカードコントローラ１０４は、各ブロックからの要求に基づき、画像データを撮像装置１００本体に接続された着脱可能な記録媒体であるメモリカード１１３に記録する。
【００１６】
メモリ部１０５は、揮発性メモリであり、各ブロックからの要求に基づき、一時的に画像データや距離画像などを保存するためのバッファメモリである。
【００１７】
光学系１０１は、レンズ、シャッター、絞りを有し、制御部１０７の指示に基づき、合焦距離、絞りの開口量、およびシャッターの開閉を制御することができる。
【００１８】
撮像素子１０２は、制御部１０７の制御に基づき、光学系１０１を通過した光束を光電変換して被写体像のアナログ信号を生成する。また、撮像素子１０２は、測距機能を有する素子を備える。例えば、特開２００７−０６５３３０公報のように、光学系１０１のレンズの瞳上の異なる領域を通過した光束が、測距機能を有する画素を配置した撮像素子１０２に露光し、露光された光像の像ズレ量からデフォーカス量を算出できるよう構成する。
【００１９】
Ａ／Ｄ変換部１０３は、制御部１０７の制御に基づき、撮像素子１０２から出力されたアナログ信号に対してＡ／Ｄ変換を行うことによりデジタル信号（以下、ＲＡＷデータと呼ぶ）を生成して、メモリ部１０５に格納する。
【００２０】
画像処理部１０６は、制御部１０７の制御に基づき、メモリ部１０５に格納されたＲＡＷデータに対して、ノイズ除去、ガンマ補正処理、ホワイトバランス調整処理などを施すことにより画像データを生成する。さらに、必要に応じて符号化処理や復号処理を行い、得られた画像データをメモリ１０５に格納する。
【００２１】
距離画像生成部１０８は、制御部１０７の制御に基づき、撮像素子１０２で得られた像ズレ量から被写体領域毎のデフォーカス量を算出し、領域毎の距離画像を生成して、メモリ部１０５に格納する。
【００２２】
分割画像生成部１０９は、制御部１０７の制御に基づき、メモリ部１０５に格納された画像データと距離画像から、画像データを特定の距離範囲の被写体のみを含むような複数の画像に分離した分割画像を生成し、メモリ部１０５に格納する。また、特定の距離より遠い範囲にある被写体は背景の分割画像として生成し、メモリ部１０５に格納する。背景に指定する特定距離は、ユーザーによって任意に設定できる。
【００２３】
画像合成部１１０は、制御部１０７の制御に基づき、後述する分割画像配置指示部１１２からの分割画像配置情報を受け取る。そして、分割画像配置情報に従い、分割画像を衝立状に配置して合成した衝立合成画像を生成し、メモリ部１０５に格納する。また、分割画像を配置する際に、分割画像内の被写体領域を示す被写体領域情報を算出して、メモリ部１０５に格納する。
【００２４】
重畳判定部１１１は、制御部１０７の制御に基づき、メモリ部１０５に格納された被写体領域情報を取得し、画像合成部１１０によって配置された分割画像の被写体領域が、合成先の衝立合成画像の各被写体領域に対し重畳しないかを判定する。畳判定結果は、後述する分割画像配置指示部１１２へ通知する。
【００２５】
図６を参照して、重畳判定方法について説明する。
【００２６】
図６（ａ）の６１０と図６（ｂ）の６２０は、それぞれ合成前の分割画像である。図６（ａ）の６１１は、分割画像６１０の被写体領域である。図６（ｂ）の６２１は、分割画像６２０の被写体領域である。図６（ｃ）の６３０は、分割画像６１０と６２０を同じ画角位置で合成したときの合成画像である。図６（ｄ）の６４０は、被写体領域の重畳を判定する画像である。６４１は、被写体領域６１１と６２１が重なる重畳領域である。被写体領域と重畳領域の面積を算出して、被写体領域に対して、重畳領域が占める割合がある閾値を超えた場合、重畳していると判定される。前記閾値は、ユーザーによって任意に設定できる。
【００２７】
分割画像配置指示部１１２は、制御部１０７の制御に基づき、分割画像の配置位置を示す配置情報を生成して、画像合成部１０９へ転送する。また、重畳判定部１１１による重畳判定結果の通知を受け、被写体領域が重畳していると判定された場合、分割画像の配置位置情報を変更して、画像合成部１０９へ転送する。
【００２８】
表示部１１３は、ＬＣＤ（液晶表示装置）とＬＣＤコントローラーを有し、制御部１０７の制御に基づき、メモリ部１０５に格納された衝立合成画像を読み出して、ＬＣＤに表示する。また、制御部１０７の制御に基づき、撮像装置１００の状態や各種設定値などの各種情報、メニュー画面のようなユーザインタフェースなどを表示する。
【００２９】
操作部１１４は、デジタルカメラの外装に設けられたボタン等で構成され、ユーザーはそれを操作することで、制御部１０７へ指示を伝えることができる。
【００３０】
次に、図５を用いて、衝立合成画像と距離画像の例について説明する。
【００３１】
図５は撮像装置１００に向かって光軸方向に移動する被写体を連写撮影したときの衝立合成画像と距離画像の例である。
【００３２】
まず、図５（ａ）から（ｅ）を用いて、分割画像の被写体が重畳しない場合について説明する。
【００３３】
図５（ａ）は光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０６によって撮像された画像データ５１０である。被写体として、人物５１１が撮影されている。
【００３４】
図５（ｂ）は画像データ５１０に対して、距離画像生成部１０８によって生成される距離画像５２０ある。画素値（輝度値）がその画素における被写体距離を表す単色画像である。
【００３５】
図５（ｃ）は図５（ａ）の次に撮像された画像データ５３０である。人物５３１が撮像装置１００に近づく様子を示している。
【００３６】
図５（ｄ）は画像データ５３０に対して、距離画像生成部１０８によって生成される距離画像５４０ある。
【００３７】
図５（ｅ）は距離画像５２０を基に分割画像生成部１０９が生成した分割画像５５１、５５２と、距離画像５４０を基に分割画像生成部１０９が生成した分割画像５５３を、画像合成部１０９が衝立状に合成した衝立合成画像５５０である。分割画像５５１は、特定の距離より遠い範囲にある背景を抽出した分割画像であり、連写撮影の最初の画像データから生成される。詳細の説明は割愛するが、５５４、５５５、５５６は、分割画像５５３に続いて連写撮影された分割画像である。分割画像の配置は、分割画像配置指示部１１２の指示に従って、レール上に示した所定の位置１から７へ撮影した順番に配置される。
【００３８】
次に、図５（ｆ）と（ｇ）を用いて、分割画像の被写体が重畳する場合について説明する。
【００３９】
図５（ｆ）は分割画像５６５、５６６の被写体が、重畳判定部１１１によって、重畳していると判断される場合の衝立合成画像５６０である。
【００４０】
図５（ｇ）は図５（ｆ）の衝立合成画像５６０に対して、分割画像配置指示部１１２が、変更した配置位置情報を画像合成部１０９へ転送し、分割画像５７５、５７６の被写体が重畳しないように再合成された衝立合成画像５７０である。分割画像５７６の配置位置情報は、位置５をスキップし、位置６が指定される。
【００４１】
配置位置の変更指示について、本実施例では、光軸方向への配置変更にて説明するが、被写体の重畳を避けるために撮像面方向への配置変更でも構わない。
【００４２】
次に、図２を用いて、衝立合成画像を生成するフローについて説明する。
【００４３】
フロー処理開始前に、連写撮影して複数のＲＡＷデータと距離画像がメモリ部１０５に格納されているものとする。
【００４４】
ステップＳ２０１において、画像処理部１０６が、メモリ部１０５に格納されている複数のＲＡＷデータを撮影順に読み出し、画像データを生成する。
【００４５】
ステップＳ２０２において、分割画像生成部１０９が、ステップＳ２０１で生成した画像データと、メモリ部１０５に格納されている画像データに対応する距離画像を読み出し、分割画像を生成する。
【００４６】
ステップＳ２０３において、分割画像配置指示部１１２が、分割画像の配置位置情報を画像合成部１１０へ転送する。分割画像の配置位置は、所定の間隔に沿って撮影した順番に並ぶように、分割画像配置指示部１１２が算出する。
【００４７】
ステップＳ２０４において、画像合成部１１０が、ステップＳ２０３で算出した分割画像配置情報を受け取り、分割画像配置情報に従い、分割画像を衝立状に配置して合成した衝立合成画像を生成する。また、分割画像の被写体領域を示す被写体領域情報を算出する。
【００４８】
ステップＳ２０５において、重畳判定部１１１が、ステップＳ２０４で算出した被写体領域情報を取得し、画像合成部１１０によって配置された分割画像の被写体領域が、合成先の衝立合成画像の各被写体領域に対し重畳しないかを判定する。分割画像の被写体が重畳している場合、ステップＳ２０６へ移行させる。重畳していない場合、ステップＳ２０７へ移行させる。
【００４９】
ステップＳ２０６において、分割画像配置指示部１１２が、前記所定の間隔が広くなるよう変更した分割画像の配置位置情報を画像合成部１１０へ転送する。そして、ステップＳ２０４へ戻り、変更した分割画像配置位置情報で、再度、衝立合成画像を生成し、ステップＳ２０５による重畳判定が重畳しなくなるまで、繰り返し処理が実施される。
【００５０】
ステップＳ２０７において、制御部１０７が、メモリ部１０５に格納されているＲＡＷデータがすべて処理されたかを判定する。ＲＡＷデータがすべて処理された場合、フローを終了する。すべて処理されていない場合、ステップＳ２０１へ戻り、ＲＡＷデータから分割画像を生成し、衝立合成画像に追加する処理が繰り返し実施される。
【００５１】
本実施例に示したように構成された撮像装置によれば、連写した複数枚の画像を１枚の画像に合成する際に、被写体が光軸方向に移動する場合においても、被写体が重畳することなく合成することが可能となる。
【実施例２】
【００５２】
次に、本発明による第２の実施例について説明する。
【００５３】
本実施例では、第１の実施例のデジタルカメラの構成に対し、さらに被写体の動き量を算出する機能が追加され、画像データを合成する際に、動き量によって合成方法を切り替える点が第１の実施例と異なる。
【００５４】
図３を用いて、本実施例におけるデジタルカメラの構成について説明する。
【００５５】
撮像装置３００において、１０１から１０９、１１１から１１５のブロックは、第１の実施例の撮像装置１００のブロックと同じである。
【００５６】
動き量算出部３０１は、制御部１０７の制御に基づき、メモリ部１０５に格納された現在の分割画像と直前に処理した分割画像との相関値を算出する。相関値の算出は、一方の画像を複数のマクロブロックに分割し、個々のマクロブロックをテンプレートとして、他方の画像における対応するマクロブロックの位置を中心とする所定の探索範囲内を移動しながら両者の類似度を求める方法である。そして、動き量算出部３０１は、相関値の算出結果より、現在の分割画像と直前の分割画像との対応付けを行い、対応付けられた分割画像が位置する距離の差分から分割画像の光軸方向の動き量を算出する。
【００５７】
画像合成部１１０は、制御部１０７の制御に基づき、動き量算出部３０１の動き量算出結果によって、被写体が光軸方向に移動していた場合、第１の実施例と同様に衝立合成画像を生成する。また、被写体が撮像面方向に移動していた場合、分割画像を積層して合成する積層合成画像を生成する。積層合成画像は、分割画像の被写体部分を同一分割画像に積層して合成した画像である。
【００５８】
次に、図７を用いて、積層合成画像と距離画像の例について説明する。
【００５９】
図７は撮像装置１００に対して撮像面方向に移動する被写体を連写撮影したときの積層合成画像と距離画像の例である。
【００６０】
図７（ａ）は光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０６によって撮像された画像データ７１０である。被写体として、人物７１１が撮影されている。
【００６１】
図７（ｂ）は画像データ７１０に対して、距離画像生成部１０８によって生成される距離画像７２０ある。
【００６２】
図７（ｃ）は図７（ａ）の次に撮像された画像データ７３０である。人物７３１が撮像面を左から右へ移動している様子を示している。
【００６３】
図７（ｄ）は画像データ７３０に対して、距離画像生成部１０８によって生成される距離画像７４０ある。
【００６４】
図７（ｅ）は距離画像７２０を基に分割画像生成部１０９が生成した分割画像と、距離画像５４０を基に分割画像生成部１０９が生成した分割画像を、画像合成部１０９が積層して合成した積層合成画像７５０である。
【００６５】
次に、図４を用いて、第２の実施例における衝立合成画像と積層合成画像を生成するフローについて説明する。
【００６６】
ステップＳ４０１からステップＳ４０７は、第１の実施例の図２で説明したステップＳ２０１からステップＳ２０７と同じ処理フローである。
【００６７】
ステップＳ４０８において、動き量算出部３０１が、ステップＳ４０２で生成した各分割画像と直前に処理した分割画像とをブロックマッチングすることで被写体の動き量算出を行う。
【００６８】
ステップＳ４０９において、制御部１０７が、ステップＳ４０８の被写体の動き量算出結果を受け取り、被写体が光軸方向に移動した場合は、ステップＳ４０４へ移行させる。撮像面方向に移動した場合は、ステップＳ４１０へ移行させる。
【００６９】
ステップＳ４１０において、画像合成部１１０が、分割画像を積層して合成した積層合成画像を生成する。
【００７０】
図８を用いて、被写体が撮像面方向へ移動してから、光軸方向へ移動を変更したときに連写撮影した衝立合成画像８１０ついて説明する。
【００７１】
８１１は、特定の距離より遠い範囲にある背景を抽出した分割画像であり、連写撮影の最初の画像データから生成された分割画像である。
【００７２】
８１２は、被写体が撮像面方向へ移動しており、画像合成部１１０によって、積層して合成された分割画像である。レール上に示した所定の位置１に配置される。
【００７３】
８１３から８１６は、被写体が光軸方向へ移動しており、画像合成部１１０によって、位置２から５へ衝立状に配置された分割画像である。
【００７４】
本実施例に示したように構成された撮像装置によれば、連写した複数枚の画像を１枚の画像に合成する際に、被写体が光軸方向に移動する場合においても、被写体が重畳することなく合成でき、さらに被写体の光軸方向と撮像面方向の動きを表現することが可能となる。
【符号の説明】
【００７５】
１００  デジタルカメラ本体、１０１  光学系、１０２  撮像素子、
１０３  Ａ／Ｄ変換部、１０４  メモリカードコントローラ、１０５  メモリ部、
１０６  画像処理部、１０７  制御部、１０８  距離画像生成部、
１０９  距離画像生成部、１１０  画像合成部、１１１  重畳判定部、
１１２  分割画像配置指示部、１１３  表示部、１１４  操作部、１１５  内部バス、
１１６  メモリカード
【図１】
2018006934.tif 000003
【図２】
2018006934.tif 000004
【図３】
2018006934.tif 000005
【図４】
2018006934.tif 000006
【図５】
2018006934.tif 000007
【図６】
2018006934.tif 000008
【図７】
2018006934.tif 000009
【図８】
2018006934.tif 000010