【手続補正書】
【提出日】平成26年1月8日(2014.1.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
露出を変えて撮影された複数の画像を合成する画像処理装置において、
前記撮影された画像から被写体領域を検出する被写体検出手段と、
前記検出された被写体領域の中から主被写体領域を決定する主被写体決定手段と、
前記検出された被写体領域について、前記主被写体領域との距離に関する被写体距離情報を算出する距離算出手段と、
前記算出された被写体距離情報に応じた合成方法で前記複数の画像の前記被写体領域の合成を行い、ハイダイナミックレンジ画像を生成する合成手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記複数の画像は、前記被写体領域以外の背景領域の明るさが適正となる露出で撮影された第１の画像と、前記被写体領域の明るさが適正となる露出で撮影された第２の画像とを含み、
前記合成手段は、前記被写体領域の画像の合成において、前記主被写体領域からの被写体距離が遠いほど、前記第２の画像の合成比率を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像は、前記被写体領域以外の背景領域の明るさが適正となる露出で撮影された第１の画像と、前記被写体領域の明るさが適正となる露出で撮影された第２の画像とを含み、
前記合成手段は、撮影位置からの被写体距離が前記主被写体領域の被写体距離よりも近い被写体領域の画像では、前記主被写体領域の被写体距離よりも遠い被写体領域の画像よりも前記第２の画像の合成比率を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記複数の画像は、前記被写体領域以外の背景領域の明るさが適正となる露出で撮影された第１の画像と、前記被写体領域の明るさが適正となる露出で撮影された第２の画像とを含み、
前記合成手段は、前記被写体領域の画像の合成において、前記主被写体領域からの被写体距離が第１の距離にある前記被写体領域には前記第２の画像を出力し、前記主被写体領域からの被写体距離が前記第１の距離より遠い第２の距離である前記被写体領域には前記第１の画像を出力することで前記ハイダイナミックレンジ画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記複数の画像は、前記被写体領域以外の背景領域の明るさが適正となる露出で撮影された第１の画像と、前記被写体領域の明るさが適正となる露出で撮影された第２の画像とを含み、
前記合成手段は、前記被写体領域の画像の合成において、撮影位置からの被写体距離が前記主被写体領域の被写体距離よりも近い被写体領域には前記第１の画像を出力し、前記主被写体領域の被写体距離よりも遠い被写体領域には前記第２の画像を出力することで、前記ハイダイナミックレンジ画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記合成手段は、前記被写体領域の明るさが所定の明るさより暗く、前記被写体領域と前記被写体領域以外の背景領域との明るさの差が所定以上であった場合に、前記被写体距離情報に応じた合成方法を行うことを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
【請求項７】
前記被写体検出手段は、前記被写体領域を顔検出処理によって顔を検出することで検出することを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
【請求項８】
前記距離算出手段は、前記被写体検出手段によって検出される各被写体領域の顔の大きさに基づいて前記主被写体領域との距離を推定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
被写体を撮像する撮像手段と、
前記撮像手段の撮像する画像の露出値を算出する露出算出手段と、をさらに有することを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
【請求項１０】
露出を変えて撮影された複数の画像を合成する画像処理装置における画像処理方法であって、
前記撮影された画像から被写体領域を検出する被写体検出ステップと、
前記検出された被写体領域の中から主被写体領域を決定する主被写体決定ステップと、
前記検出された被写体領域について、前記主被写体領域との距離に関する被写体距離情報を算出する距離算出ステップと、
前記算出された被写体距離情報に応じた合成方法で前記複数の画像の前記被写体領域の合成を行い、ハイダイナミックレンジ画像を生成する合成ステップと、を有することを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１ないし９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１２】
コンピュータを、請求項１ないし９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを格納した記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、露出を変えて撮影された複数の画像を合成する画像処理装置において、前記撮影された画像から被写体領域を検出する被写体検出手段と、前記検出された被写体領域の中から主被写体領域を決定する主被写体決定手段と、前記検出された被写体領域について、前記主被写体領域との距離に関する被写体距離情報を算出する距離算出手段と、前記算出された被写体距離情報に応じた合成方法で前記複数の画像の前記被写体領域の合成を行い、ハイダイナミックレンジ画像を生成する合成手段と、を有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
【図１】本実施形態の画像処理装置のブロック図。
【図２】レンズ位置と被写体距離との関係を示す図。
【図３】本実施形態の画像生成処理を示すフローチャート（ａ）及び背景が適正露出となるように撮影された画像の例示する図（ｂ）。
【図４】本実施形態の画像撮影処理（ａ）及び距離情報取得処理（ｂ）を示すフローチャート。
【図５】図４（ｂ）の距離情報取得処理において、（ａ）は画像をブロック分割した状態を示す図、（ｂ）はブロックごとの距離情報を格納するリストを例示する図。
【図６】本実施形態の合成対象領域判定処理を示すフローチャート。
【図７】主被写体が適正露出となるように撮影された画像を例示する図。
【図８】本実施形態のＨＤＲ合成処理を示すフローチャート（ａ）、主被写体の背景に存在する被写体に対する合成比率を示す図（ｂ）、主被写体の手前に存在する被写体に対する合成比率を示す図（ｃ）、及びＨＤＲ合成結果を例示する図（ｄ）。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
１１０はユーザの操作・指示を受け付けて撮像装置に伝達するＵＩユニットである。ＵＩユニット１１０は撮影ボタン、メニューボタン等を含む複数のボタン、ダイヤル、タッチパネル等を有する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
本実施形態で対象とする被写体は、人物の顔である。検出方法は公知の顔検出方法を用いる。顔検出の公知技術は、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがあり、検出精度向上のためにこれらを組み合わせて顔検出を行うのが一般的である。具体的には特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。被写体検出により出力される情報としては、検出数分の被写体の位置、大きさ、傾き、検出結果の信頼度などが挙げられる。顔領域を特定した後、顔以外の人物領域を抽出し、被写体領域に含める。上記抽出方法については周知の方法を利用する。例えば、顔領域の座標の画素と、隣接する画素との画素値の差分を計算し、予め定めた閾値以下であれば、同一の人物領域と判定し被写体領域に含める。システム制御部１０１は、抽出した被写体領域の座標情報を、領域ごとにＲＡＭ１０８に格納する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
ステップＳ４０５では、システム制御部１０１は、ＵＩユニット１１０から合焦指示の有無を確認する。具体的には、ユーザがレリーズボタンを半押しした場合を合焦指示とみなす。合焦指示がされた場合はステップＳ４０６に進み、合焦指示がない場合にはステップＳ４０１に戻り、構図決定用（プレビュー）の画像を更新する。