【手続補正書】
【提出日】平成26年2月6日(2014.2.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域を決定する被写体領域決定部と、
前記決定した近接被写体の領域の位置に基づき前記撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する合成画像生成部と
を備える画像合成装置。
【請求項２】
前記合成画像生成部は、前記近接被写体の領域が決定されている場合には、前記近接被写体の領域を分割しないように画像の切り出しを行う請求項１記載の画像合成装置。
【請求項３】
前記合成画像生成部は、前記近接被写体の領域が決定されていない場合には、中央部分の画像の切り出しを行う請求項１または請求項２に記載の画像合成装置。
【請求項４】
前記合成画像生成部は、前記被写体距離情報に基づき画像間の前記近接被写体の領域の重複を判別して、前記近接被写体の領域が重複する場合には、該重複する近接被写体の領域がより中央に位置する撮像画像から、前記近接被写体の領域の画像の切り出しを行う請求項１乃至請求項３の何れかに記載の画像合成装置。
【請求項５】
前記合成画像生成部は、前記重複する近接被写体の領域が、画像を繋ぎ合わせる方向において、より中央に位置する撮像画像から、前記近接被写体の領域の画像の切り出しを行う請求項１乃至請求項４の何れかに記載の画像合成装置。
【請求項６】
前記合成画像生成部は、前記検出された近接被写体の領域に対応する被写体距離情報の相関を検出して、検出結果に基づき画像間における前記近接被写体の領域の重複を判別する請求項１乃至請求項５の何れかに記載の画像合成装置。
【請求項７】
前記被写体距離情報に基づいて画像間の重複領域を推定して、該推定した重複領域における前記被写体距離情報の差分に応じて、画像の拡大または縮小を行う拡大縮小部をさらに備え、
前記合成画像生成部は、前記被写体距離情報の差分に応じて拡大または縮小された画像の繋ぎ合わせを行う請求項１乃至請求項６の何れかに記載の画像合成装置。
【請求項８】
前記拡大縮小部は、前記被写体距離情報の相関を検出して、検出結果に基づき画像間の重複領域を推定する請求項７に記載の画像合成装置。
【請求項９】
前記被写体距離情報に基づいて、連続する２つの撮像画像間の移動ベクトルを検出する移動ベクトル検出部をさらに備え、
前記合成画像生成部は、前記検出した移動ベクトルに基づいて前記合成画像の生成を行う請求項１乃至請求項８の何れかに記載の画像合成装置。
【請求項１０】
前記移動ベクトルは、前記被写体距離情報に基づいて画像間の移動ベクトルの第１の検出を行い、第１の検出結果に基づき探索範囲を設定して、該探索範囲の画像データを用いて前記移動ベクトルの第２の検出を行う請求項９に記載の画像合成装置。
【請求項１１】
前記被写体領域決定部は、予め設定されている閾値と前記被写体距離情報を比較して、比較結果に基づき前記近接被写体の領域を決定する請求項１乃至請求項１０の何れかに記載の画像合成装置。
【請求項１２】
撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域を決定する工程と、
前記決定した近接被写体の領域の位置に基づき前記撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する工程と
を含む画像合成方法。
【請求項１３】
複数の撮像画像から広画角の合成画像を生成する画像合成をコンピュータで実行させるプログラムであって、
撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域を決定する手順と、
前記決定した近接被写体の領域の位置に基づき前記撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する手順と
を前記コンピュータで実行させるプログラム。
【請求項１４】
撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域を決定する被写体領域決定部と、
前記決定した近接被写体の領域の位置に基づき前記撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する合成画像生成部と
を備える撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
この技術の第１の側面は、撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域を決定する被写体領域決定部と、前記決定した近接被写体の領域の位置に基づき前記撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する合成画像生成部とを備える画像合成装置にある。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
Ａ系列の像とＢ系列の像を比較すると、デフォーカス量が大きいほど、Ａ系列の像とＢ系列の像との間に生じるＡＦラインＬｆ(水平方向)方向のシフト量(ズレ量)が増大する。図３は、Ａ系列とＢ系列の像との間に生じるシフト量と、デフォーカス量との関係を例示している。なお、図３においては、横軸がＡ系列の像の重心位置に対するＢ系列の像の重心位置の差(画素ピッチ)を示し、縦軸がデフォーカス量(μｍ)を示している。なお、各像の重心位置Ｘgは、式(１)により求められる。なお、式(１)において、Ｘ1〜Ｘnは、例えばＡＦラインＬｆにおける左端からの画素位置を表し、Ｙ1〜Ｙnは、各位置Ｘ1〜Ｘnの第１ＡＦ画素１２ｆ-a、第２ＡＦ画素１２ｆ-bからの出力値を表している。
【数１】
2012191486.tif 000001
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
図４は、合成処理部２９の構成を示している。合成処理部２９は、移動ベクトル検出部２９１と拡大縮小部２９２と被写体領域決定部２９３および合成画像生成部２９４を有している。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
合成画像生成部２９４は、被写体領域の検出結果に基づき画像を切り出して、移動ベクトル検出部２９１で検出された移動ベクトルに基づき位置を調整して合成することで、繋ぎ目部分の画像が連続している合成画像を生成する。合成画像生成部２９４は、被写体領域の検出結果で近接被写体が示されている場合、画像の繋ぎ目が近接被写体の位置とならないように画像の切り出しを行う。また、合成画像生成部２９４は、被写体領域の検出結果で近接被写体が示されていない場合、撮像レンズ部１１等による画像歪みの影響の少ない中央部分の画像を切り出す。例えば、画像を繋ぎ合わせる方向において、より中央に位置する撮像画像から、近接被写体の領域の画像の切り出しを行う。さらに、画像の切り出しは、被写体領域の検出結果と移動ベクトルに基づき、繋ぎ目部分で画像のブレンドを行うことができるように、繋ぎ目部分の被写体が重複するように切り出しを行うようにしてもよく、繋ぎ目部分で一方の画像から他方の画像に切り替わり、繋ぎ目部分の被写体の画像が連続するように切り出しを行うようにしてもよい。合成画像生成部２９４は、切り出した画像を順に繋ぎ合わせて広画角の合成画像すなわちパノラマ画像を生成する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
また、合成画像生成部２９４は、被写体距離情報に基づき撮像画像間の近接被写体の領域の重複を判別して、近接被写体の領域が重複する場合には、近接被写体の領域がより中央に位置する画像すなわち画像歪みの影響の少ない近接被写体の領域の画像の切り出しを行う。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
図５に戻り、ステップＳＴ２で撮像装置１０は、撮像終了であるか判別する。撮像装置１０は、撮像動作を継続する場合にはステップＳＴ１に戻り、撮像動作を終了する場合にはステップＳＴ３に進む。撮像装置１０は、撮像終了操作が行われるまで撮像動作を継続して、撮像終了操作が行われた場合に撮像動作を終了する。また、撮像装置１０は、例えば所定フレーム数分の撮像画像を生成した場合や、パノラマ画像の生成のために行われた撮像装置１０のスイング動作または平行移動動作が終了した場合に撮像動作の終了としてもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
また、本技術は以下のような構成も取ることができる。
（１）撮像時に測距を行って生成された複数点の被写体距離情報に基づき、撮像画像における近接被写体の領域を決定する被写体領域決定部と、
前記決定した近接被写体の領域の位置に基づき前記撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する合成画像生成部と
を備える画像合成装置。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
（２）前記合成画像生成部は、前記近接被写体の領域が決定されている場合には、前記近接被写体の領域を分割しないように画像の切り出しを行う前記（１）に記載の画像合成装置。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
（３）前記合成画像生成部は、前記近接被写体の領域が決定されていない場合には、中央部分の画像の切り出しを行う前記（１）または前記（２）に記載の画像合成装置。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
（４）前記合成画像生成部は、前記被写体距離情報に基づき画像間の前記近接被写体の領域の重複を判別して、前記近接被写体の領域が重複する場合には、該重複する近接被写体の領域がより中央に位置する撮像画像から、前記近接被写体の領域の画像の切り出しを行う前記（１）乃至前記（３）の何れかに記載の画像合成装置。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
（５）前記合成画像生成部は、前記重複する近接被写体の領域が、画像を繋ぎ合わせる方向において、より中央に位置する撮像画像から、前記近接被写体の領域の画像の切り出しを行う前記（１）乃至前記（４）の何れかに記載の画像合成装置。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
（６）前記合成画像生成部は、前記検出された近接被写体の領域に対応する被写体距離情報の相関を検出して、検出結果に基づき画像間における前記近接被写体の領域の重複を判別する前記（１）乃至前記（５）の何れかに記載の画像合成装置。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
（７）前記被写体距離情報に基づいて画像間の重複領域を推定して、該推定した重複領域における前記被写体距離情報の差分に応じて、画像の拡大または縮小を行う拡大縮小部をさらに備え、
前記合成画像生成部は、前記被写体距離情報の差分に応じて拡大または縮小された画像の繋ぎ合わせを行う前記（１）乃至前記（６）の何れかに記載の画像合成装置。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
（９）前記被写体距離情報に基づいて、連続する２つの撮像画像間の移動ベクトルを検出する移動ベクトル検出部をさらに備え、
前記合成画像生成部は、前記検出した移動ベクトルに基づいて前記合成画像の生成を行う前記（１）乃至前記（８）の何れかに記載の画像合成装置。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
１０・・・撮像装置、１１・・・撮像レンズ部、１２・・・撮像素子、１２ｆ・・・ＡＦ画素対、１２ｆ-a・・・第１ＡＦ画素、１２ｆ-b・・・第２ＡＦ画素、１３・・・撮像素子駆動部、１４・・・前処理部、２０・・・カメラＤＳＰ部、２１・・・カメラ信号処理部、２２・・・メモリ制御部、２３・・・レンズ制御部、２４・・・解像度変換部、２５・・・表示制御部、２６・・・コーデック部、２７・・・メディア制御部、２８・・・被写体距離計測部、２９・・・合成処理部、３０・・・内部バス、４１・・・メモリ部、４２・・・表示部、４３・・・記録媒体、５０・・・システム制御部、５１・・・操作部、１２１・・・Ｒ画素、１２２・・・Ｇ画素、１２３・・・Ｂ画素、２９１・・・移動ベクトル検出部、２９２・・・拡大縮小部、２９３・・・被写体領域決定部、２９４・・・合成画像生成部
【手続補正１７】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2012191486.tif 000002