(57)【要約】【課題】  撮影画角内に遠距離被写体、近距離被写体が混在していても全領域で手振れの影響を低減しつつＳ／Ｎのよい画像を取得することを可能にした撮像装置を提供する。【解決手段】  そこで、撮影画像の被写体距離の分布を取得する距離分布取得手段と、前記被写体距離の分布に応じた複数の分割領域毎の露光時間及び前記複数の分割領域毎の撮影枚数を決定する撮影条件決定手段と、前記決定された複数の分割領域毎の露光時間及び複数の分割領域毎の撮影枚数を用いて前記複数の分割領域毎に露光時間の異なる画像を複数枚撮影する撮影手段と、前記複数の分割領域毎に異なる露光時間で撮影された複数枚の画像を合成して合成画像を生成する画像合成手段と、を有する構成とした。【選択図】  図１
2015133668.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像の被写体距離の分布を取得する距離分布取得手段と、前記被写体距離の分布に応じた複数の分割領域毎の露光時間及び前記複数の分割領域毎の撮影枚数を決定する撮影条件決定手段と、前記決定された複数の分割領域毎の露光時間及び複数の分割領域毎の撮影枚数を用いて前記複数の分割領域毎に露光時間の異なる画像を複数枚撮影する撮影手段と、前記複数の分割領域毎に異なる露光時間で撮影された複数枚の画像を合成して合成画像を生成する画像合成手段と、を有することを特徴とする撮像装置。
【請求項２】
前記被写体距離の分布を用いて、被写体距離が第１の閾値よりも長い分割領域の露光時間を第１の所定値よりも長くし、被写体距離が第１の閾値以下の分割領域の露光時間を前記第１の所定値よりも短くする請求項１に記載の撮像装置。
【請求項３】
前記露光時間が前記第１の所定値よりも短い画像の合成枚数を前記露光時間が前記第１の所定値よりも長い画像の合成枚数よりも多くする請求項２に記載の撮像装置。
【請求項４】
前記撮影された複数枚の画像のうち同じ露光時間で撮影された画像を前記分割領域毎に加算平均する請求項１乃至３の何れか１項に記載の撮像装置。
【請求項５】
合焦位置の異なる複数枚の画像から合焦情報を取得する合焦情報取得手段を備え、
前記合焦情報を用いて前記複数の分割領域毎に異なる露光時間で撮影された複数枚の画像を合成して合成画像を生成する請求項１乃至４の何れか１項に記載の撮像装置。
【請求項６】
振れ検出手段を備え、
前記撮影手段は、前記振れ検出手段の出力が所定値よりも大きい場合、前記決定された複数の分割領域毎の露光時間及び複数の分割領域毎の撮影枚数を用いて前記複数の分割領域毎に露光時間の異なる画像を複数枚撮影する請求項１乃至５の何れか１項に記載の撮像装置。
【請求項７】
撮影画像の被写体距離の分布を取得する距離分布取得工程と、前記被写体距離の分布に応じた複数の分割領域毎の露光時間及び前記複数の分割領域毎の撮影枚数を決定する撮影条件決定工程と、前記決定された複数の分割領域毎の露光時間及び複数の分割領域毎の撮影枚数を用いて前記複数の分割領域毎に露光時間の異なる画像を複数枚撮影する撮影工程と、前記複数の分割領域毎に異なる露光時間で撮影された複数枚の画像を合成して合成画像を生成する画像合成工程と、を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手振れを抑えたＳ／Ｎのよい画像を取得する手法に関する。
【０００２】
特に、デジタルカメラ、等の撮影機能を有する撮像装置からの距離の異なる被写体を含むシーンにおいて複数枚撮影し、それらの画像を合成することで手振れを抑えたＳ／Ｎのよい画像を取得する手法に関するものである。
【背景技術】
【０００３】
従来、被写体距離に応じて手ぶれ補正手段を切り替える方法が提案されていた。
【０００４】
例えば、特許文献１では、通常シーンではジャイロセンサで検出された角速度に基づいて電子／光学手振れ補正をする。
【０００５】
しかし、近距離ではシフトブレの影響が大きいがさらに加速度センサを使用するとコストアップにつながるため、電子手振れ補正／合成を行う手法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１７１３２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献に開示された従来技術では、被写体距離に応じて手振れ補正方法を切り替えることが提案されているが、撮影画角内に遠距離被写体と近距離被写体が混在する場合の補正方法については記載されていない。
【０００８】
そこで、本発明の目的は、距離に応じて手振れの影響が抑えられる範囲で露光時間を変えて撮影した画像を選択することとする。
【０００９】
よって、撮影画角内に遠距離被写体、近距離被写体が混在していても全領域で手振れの影響を低減しつつＳ／Ｎのよい画像を取得することを可能にした画像処理方法を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の撮像装置は、撮影画像の被写体距離の分布を取得する距離分布取得手段と、前記被写体距離の分布に応じた複数の分割領域毎の露光時間及び前記複数の分割領域毎の撮影枚数を決定する撮影条件決定手段と、前記決定された複数の分割領域毎の露光時間及び複数の分割領域毎の撮影枚数を用いて前記複数の分割領域毎に露光時間の異なる画像を複数枚撮影する撮影手段と、前記複数の分割領域毎に異なる露光時間で撮影された複数枚の画像を合成して合成画像を生成する画像合成手段と、を有する構成とした。
【発明の効果】
【００１１】
本発明によれば、距離毎に露出時間の異なる画像を合成することで、手振れを抑えたＳ／Ｎのよい画像を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施の形態の画像処理装置を構成するブロック図である。
【図２】第１の実施の形態の処理を表すフローチャートである。
【図３】第１の実施の形態の被写体距離に応じた手振れ量の影響を表した図である。
【図４】第１の実施の形態の撮影シーンである。
【図５】第１の実施の形態の撮影シーンの距離分布取得方法を表す図である。
【図６】第１の実施の形態の距離マップを表す図である。
【図７】第１の実施の形態の画像合成の処理を表すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる撮像装置としての画像処理装置の構成を表したブロック図である。
【実施例１】
【００１４】
（図１の撮影装置のブロック図の説明）
以下、図１、図２を参照して、本発明の第１の実施例による撮影方法と画像合成方法について説明する。本実施例では、被写体距離に応じて手振れの影響が抑えられる範囲で露光時間を変えて画像を撮影し、被写体距離毎に撮影された画像の中から選択して合成することで、画像内の全領域で手振れの影響を低減しつつＳ／Ｎのよい画像を取得する。
【００１５】
撮像レンズ１０２は、撮影像を光学的に撮像素子１０４上に結像させる。撮像素子１０４は、その撮影像をアナログの電気信号に変換する。また、撮像素子１０４は複数の色フィルタを有する。Ａ／Ｄ変換器１０６は、この撮像素子１０４から出力されるアナログ信号をデジタル信号に変換する。
【００１６】
画像信号処理手段１１４は、撮影された画像データに対して、同時化処理、ホワイトバランス処理、γ処理、ＮＲ処理等の画像信号処理を行い、画像データを現像してメモリ１１２に記憶させる。
【００１７】
メモリ１１２は、撮影した画像データを一時的に格納するための揮発性のメモリである。
【００１８】
１０６はＡ／Ｄ変換機、１１０は撮影条件決定手段、１１２はメモリ、１１４は画像信号処理手段、１１６は距離分布取得手段、１１８は合焦情報取得手段としての距離マップ取得手段である。
【００１９】
制御回路１０８は、１０６、１１０、１１２、１１４、１１６、１１８の各々の手段と位置ずれ検出手段１２０、位置ずれ補正手段１２２、画像合成手段１２４の間のデータの流れの制御を行う。
【００２０】
撮影条件決定手段１１０は、距離分布取得手段１１６で取得した被写体距離分布に基づいて、撮影条件（特に露出時間と撮影枚数）を決定する。
【００２１】
距離分布取得手段１１６は、撮影画角に含まれる被写体距離分布を撮影前に取得する。
【００２２】
距離マップ取得手段１１８は、撮影画角の距離マップを取得する。
【００２３】
位置ずれ検出手段１２０は、２枚の画像の位置ずれ量を算出する。
【００２４】
位置ずれ補正手段１２２は、位置ずれ検出手段１２０で検出された位置ずれ量を基に２枚の画像の位置ずれを抑えるように画像を座標変換して位置を補正する。
【００２５】
画像合成手段１２４は、距離マップ取得手段２１８で取得した距離マップに基づき、画像の領域毎に所定の露出時間で撮影した画像を所定枚数合成する。
【００２６】
（図２の画像処理方法のフローチャートの説明）
図２は、本発明の実施形態にかかわる画像処理装置の処理を示すフローチャートである。
【００２７】
まず、距離分布取得手段１１６において、撮影画角に含まれる被写体の距離分布を取得する（Ｓ２００）。
【００２８】
本実施例では、撮影画角上にＡＦ評価枠を配置し、評価枠ごとにＡＦ評価値を取得することで撮影画角内の被写体距離分布を取得する。撮影画角４００（図４）に対し、図５に示すようにＡＦ評価枠５０１を整列させて複数配置させ、ＡＦ評価枠毎にＡＦ評価値を取得する。
【００２９】
ＡＦ評価値は、撮像レンズ１０２のピント位置を変更しながら、評価枠内の画像に対して所定の帯域のみ通過させるＢＰＦ（バンドパスフィルタ）をかけ、得られた信号値を積分することで取得する。
【００３０】
そして、ＡＦ評価値が最大になるピント位置からその評価枠の距離を取得する。評価枠毎に距離を取得することで、撮影画角内の粗い距離分布を取得できる。
【００３１】
本実施例ではＡＦ評価値を用いて被写体距離分布を取得する方法を説明したが、この方法に限定されない。例えば、ＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）方式のように別光源を有し、光源から出た光が対象物で反射し受光部に届くまでの光の飛行時間から被写体までの距離を取得して、撮影画角の距離分布を取得してもよい。
【００３２】
次に、距離分布取得手段１１６で得られた距離分布に基づき、撮影条件、特に露出時間と露出条件毎の撮影枚数を決定する（Ｓ２０２）。撮影条件を決定する処理を説明する前に、手振れ量に対する遠距離被写体と近距離被写体の撮像素子１０４上でのずれ量の影響を図３（Ａ）、（Ｂ）を用いて説明する。
【００３３】
（図３のずれ量の影響の説明）
まず、手振れの影響のない図３（Ａ）に示された状態では、撮像素子１０４に遠景被写体３０２と近景被写体３０４が同じ大きさの被写体像３０６として写像されている。次に手振れ３０８により図３（Ｂ）に状態が変化した場合を考える。遠距離被写体３０２が遠距離被写体像３１０、近距離被写体３０４が近距離被写体像３１２として撮像素子１０４に写像されている。
【００３４】
その際、近距離被写体像ずれ量３１６より遠距離被写体像ずれ量３１４の方が小さくなる。つまり、同じ手振れ量が発生した場合おいても、より遠距離被写体の方がより長い露出時間で撮影しても手振れの影響が撮影画像に発生しにくい。
【００３５】
そこで、本実施例では、撮影距離毎に手振れの影響が撮影画像に発生しないように露出時間を決めて撮影する。
【００３６】
例えば、近景被写体の手ぶれ限界の露出時間をＴｖ１＝１／６０［秒］とし、遠景被写体の手ぶれ限界をＴｖ３＝１／１５［秒］、遠景と近景の中間にある中景被写体の手ぶれ限界をＴｖ２＝１／３０［秒］に決定する。
【００３７】
後で詳細に記載する通り、領域毎に露出時間の異なる画像を選択して合成することで最終画像を生成する。しかし、露出時間の異なる画像の明るさをあわせるために撮影感度を調整すると撮影画像間でＳ／Ｎに差異が出るため、最終画像においても領域毎にＳ／Ｎ差が表れてしまう。
【００３８】
そこでＳ／Ｎ差の発生を抑えるために、露出時間の所定の閾値よりも短い撮影条件では複数枚撮影し、後で合成することで最終画像の領域毎にＳ／Ｎ差が生じないようにする。具体的には、本実施例のＴｖ１、Ｔｖ２、Ｔｖ３の関係の場合は、例えばＴｖ１で１６枚、Ｔｖ２で４枚、Ｔｖ１で１枚撮影する。
【００３９】
Ｓ２０２で撮影条件が決定されたらその撮影条件で撮影を行う（Ｓ２０４）。本実施例の場合、１／６０［秒］で１６枚（非図示の撮影画像１〜１６）、１／３０［秒］で４枚（非図示の撮影画像１７〜２０）、１／１５［秒］で１枚（非図示の撮影画像２１）撮影する。
【００４０】
さらに距離マップ取得用に露出時間を１／１５［秒］で前記２１枚とは別に合焦位置を近距離から遠距離に移動させながら異なる合焦位置で４枚（非図示の撮影画像２２〜２５）撮影する。
【００４１】
つまり、被写体距離分布を用いて、被写体距離が第１の閾値よりも長い分割領域の露光時間を第１の所定値よりも長くし、被写体距離が第１の閾値以下の分割領域の露光時間を第１の所定値よりも短くする。
【００４２】
そして、露光時間が第１の所定値よりも短い画像の合成枚数を露光時間が第１の所定値よりも長い画像の合成枚数よりも多くする。
【００４３】
次に画像信号処理手段１１４において撮影画像１〜２５を現像処理し画像１〜２５（非図示）としてメモリ１１２に記録する。現像処理は具体的には同時化処理、ホワイトバランス処理、γ処理、ＮＲ処理等の画像信号処理を行う。
【００４４】
（位置ずれ量の算出方法の説明）
続いて、位置ずれ検出手段１２０において画像間の位置ずれ量を検出する（Ｓ２０６）。位置ずれ量の算出方法としては、例えば特開２００９−３０１１８１に記載の手法を用いる。
【００４５】
画像２１を基準画像とし、それ以外の画像を比較画像とし、基準画像の小領域を比較画像の小領域内で移動させながら相関値を求め、相関値が最も小さい位置までの動きベクトルをその分割領域のずれ量とする。相関値としては、例えば差分絶対値和（ＳＡＤ）などを使用する。
【００４６】
次に、位置ずれ補正手段１２２において２枚の画像の位置ずれを対応づける座標変換情報を算出する（Ｓ２０８）。位置ずれ補正手段１２２は、分割領域毎に検出したずれ量を基に、被写体像の変形を示す射影変換係数を算出する。射影変換係数は、画像に対して１つ算出してもよいし、領域毎に異なる射影変換係数を算出してもよい。
【００４７】
また、本実施例では座標変換情報として射影変換係数を用いるが、これに限定されるわけではなくアフィン変換係数などの別の座標変換情報を算出してもよい。
【００４８】
さらに合焦位置の異なる画像（画像２２〜２５）を用いて、合焦情報取得手段としての距離マップ取得手段１１８において距離マップを生成する（Ｓ２１０）。
【００４９】
（図６の合焦情報取得方法の説明）
距離マップの生成は以下の方法で行う。
【００５０】
まず、画像２２と画像２３に対しバンドパスフィルタをかけて特定の周波数帯域を抽出した基準エッジ画像と比較エッジ画像を生成する。
【００５１】
次に分割領域毎にエッジ積分値を比較し、基準エッジ画像に対して、比較エッジ画像のエッジ積分値が減少していれば、基準エッジ画像に対して比較エッジ画像で画像がぼけたことになるのでその領域の距離は近距離であると判定する。
【００５２】
逆に基準エッジ画像に対して比較エッジ画像のエッジ積分値が増加していれば、基準エッジ画像に対して比較エッジ画像で画像が合焦したことになるのでその領域は遠距離であると判定する。
【００５３】
画像２３と画像２４、画像２４と画像２５についても上記処理を繰り返すことで、領域毎に距離情報を取得できる。
【００５４】
本実施例では、評価値としてエッジ積分値の差分値を用いているが、エッジ積分値の比率を用いてもよいし、周波数特性の異なる複数のフィルタで抽出したエッジのエッジ積分値を組み合わせて評価値算出に用いるエッジ積分値として使用してもよい。また、距離マップ生成方法は上記手段に限らず、２枚の画像の視差を利用してもよい。
【００５５】
生成された距離マップ６００を図６に示す。距離マップ６００では、輝度値の高い分割領域が近距離にあり、輝度値の低い分割領域がより遠距離にあることを表している。
【００５６】
最後に、得られた距離マップ６００に基づき、画像合成手段１２４において、距離毎に撮影された画像から適当な画像を選択して合成する。合成フローは図７に別途詳細に示す。まず、Ｓ２０８で位置合わせした画像の中から同露出時間で撮影された画像同士を加算平均する（Ｓ７００）。
【００５７】
本実施例では、画像１〜１６、画像１７〜２０をそれぞれ加算平均して合成画像１、合成画像２を生成する。次に距離マップ６００で示される距離に基づき、分割領域毎に合成画像１、合成画像２、画像２１の中から１枚を選択し合成し１枚の画像を生成する（Ｓ７０２）。
【００５８】
本実施例では、例えば、被写体距離６０１の領域は遠景被写体であるので画像２１を選択する。
【００５９】
そして、被写体距離６０２と被写体距離６０３は中景被写体であるので合成画像２を選択し、被写体距離６０４は近景被写体であるので合成画像６０４を選択し、１枚の画像を生成する。
【００６０】
上記のように最終画像を合成することで、分割領域毎に手振れの影響を抑えつつ、領域毎にＳ／Ｎを揃えた最終画像を取得できる。
【００６１】
また、本実施例では図２に示したフローチャートに従って各処理を撮像装置１００内で行ったが、現像（Ｓ２０５）以降の処理は撮像装置１００内では行わずに撮像装置１００から取り出しパソコン上のアプリケーションで実施してもよい。その場合には、撮像装置１００では撮影画像１〜２５のうちの任意の１枚だけを現像し、撮影者に撮影画像の確認用として表示装置（図１には図示していない）に表示すればよい。
【００６２】
（変形例）
図２の画像処理方法を振れ検出手段の出力が所定値よりも大きい場合に実行しても良い。
【００６３】
振れ検出手段の出力が所定値よりも大きい場合、手振れの影響が大きいので、本発明の課題は顕著に問題となる。
【００６４】
振れ検出手段は、角速度センサである（図１に図示されていない）。
【００６５】
角速度センサは、撮像装置に加わる振れの検出を行うためのセンサである。例えば、振動ジャイロ等で構成されており、手振れ等による撮像装置全体の振れの角速度を検出して電気信号を出力する。
【００６６】
角速度センサは、光軸に直交する一平面上で互いに直交した検出軸をなすように、例えば水平方向の回転軸（Ｙａｗ）と垂直方向の回転軸（Ｐｉｔｃｈ）との２軸方向に２つの角速度センサを配置する。そして、検出した各軸別々に補正量を算出し、水平方向及び垂直方向の２軸方向に第１、第２の補正光学系を制御する。
【００６７】
角速度センサで検出した振れ信号を分離して、第１の補正光学系でブレ補正を行うための第１の分離振れ信号と、第２の補正光学系でブレ補正を行うための第２の分離振れ信号を生成する。
【００６８】
なお、角速度センサで検出した振れを２つの補正光学系を用いて精度良く補正するためには、第１の分離振れ信号と第２の分離振れ信号は互いに相補的な信号に分離し、加算したときに元の振れ信号に復元できるように分離することが望ましい。
【００６９】
上記のような構成とすることで、高周波帯域の振れ信号と低周波帯域の振れ信号は互いに相補的な関係となり、２つの補正光学系を用いて補正する場合であっても、元の振れ信号の周波数帯域を漏れなく補正できる。
【００７０】
但し、振れ検出手段は、位置ずれ量の算出方法に用いた撮像素子１０４から出力される動きベクトルを検出する手段でも良い。
【００７１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００７２】
１００  画像処理装置
１０２  撮像レンズ
１０４  撮像素子
１０６  Ａ／Ｄ変換器１０６
１０８  制御手段
１１０  撮影条件決定手段
１１２  メモリ
１１４  画像信号処理手段
１１６  距離分布取得手段
１１８  距離マップ取得手段
１２０  位置ずれ検出手段
１２２  位置ずれ補正手段
１２４  画像合成手段
【図１】
2015133668.tif 000003
【図２】
2015133668.tif 000004
【図３】
2015133668.tif 000005
【図４】
2015133668.tif 000006
【図５】
2015133668.tif 000007
【図６】
2015133668.tif 000008
【図７】
2015133668.tif 000009