(57)【要約】【課題】フラッシュ（あるいはストロボ）撮影時の手振れを補正する。【解決手段】フラッシュ撮影時に、フラッシュ光照射領域５００と非照射領域を判別する。フラッシュ光照射領域は手振れ補正を行わず、非照射領域のみ手振れ補正を行う。手振れ補正後に、手振れ補正していないフラッシュ光照射領域と手振れ補正済みの非照射領域とを合成する。合成する際に、フラッシュ光照射領域５００をブレンド範囲６００にわたって合成することで両領域の境界をぼかす。【選択図】図９
2008164758.tif 000002
【特許請求の範囲】
【請求項１】
撮影して得られた撮影画像に対して復元処理を行う画像復元装置であって、
撮影時に閃光を照射して得られた撮影画像から閃光照射領域を検出する検出手段と、
前記撮影画像のうち、前記検出手段で検出された前記閃光照射領域を除く非閃光照射領域のみを対象として復元処理を行う処理手段と、
を有することを特徴とする画像復元装置。
【請求項２】
請求項１記載の装置において、
前記検出手段は、閃光が照射されていない場合に得られたプレビュー画像を用いて前記閃光照射領域を検出することを特徴とする画像復元装置。
【請求項３】
請求項２記載の装置において、
前記検出手段は、閃光が照射されていない場合に得られたプレビュー画像とプリ閃光を照射して得られたプレビュー画像とを比較することで前記閃光照射領域を検出することを特徴とする画像復元装置。
【請求項４】
請求項２記載の装置において、
前記検出手段は、閃光が照射されていない場合に得られたプレビュー画像と閃光を照射して得られた撮影画像とを比較することで前記閃光照射領域を検出することを特徴とする画像復元装置。
【請求項５】
請求項１記載の装置において、
前記処理手段は、前記撮影画像のうち前記閃光照射領域を抽出し、前記撮影画像のうち前記非閃光照射領域に復元処理を行い、復元処理を行っていない前記閃光照射領域と復元処理を行った前記非閃光照射領域とを合成することを特徴とする画像復元装置。
【請求項６】
請求項１記載の装置において、
前記処理手段は、前記撮影画像のうち前記閃光照射領域を抽出し、前記撮影画像に対して復元処理を行った後に前記非閃光照射領域を抽出し、抽出した両領域を合成することを特徴とする画像復元装置。
【請求項７】
請求項６記載の装置において、
前記処理手段は、抽出した両領域を合成する際に、前記閃光照射領域と非閃光照射領域との境界からの距離に応じて連続的に変化する合成率で合成することを特徴とする画像復元装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像復元装置、特に手振れ画像から原画像を復元する処理に関する。
【背景技術】
【０００２】
近年、デジタルカメラには撮影時の手振れを低減する手振れ補正機構が搭載されている。手振れ補正機構には、撮影可能領域を一定サイズに狭めて撮影時にバッファメモリに画像を読み込み、最初に撮影した画像とそれ以降に撮影した画像とを比較してはみだし量を演算し、撮影可能領域を自動的にシフトさせて撮影し記録する電子式手振れ補正、レンズ内に振動ジャイロ機構を備えた補正レンズを組み込み、手振れを打ち消す方向に補正レンズをシフトさせることで光軸を補正する光学式手振れ補正、振動ジャイロ機構で手振れを検出し、ＣＣＤやＣＭＯＳ等のイメージセンサを手振れに応じてシフトさせることで光軸を補正するイメージセンサシフト式手振れ補正等がある。さらに、撮影後の画像を加工して原画像を復元することで手振れを補正する方法も提案されている。撮影後の加工には、手振れ量を表すＰＳＦ（Point Spread Function：点拡がり関数）を用いる方法が知られている。
【０００３】
一方、被写体の輝度が低い場合には、フラッシュ装置（あるいはストロボ装置）を駆動してフラッシュ光を照射しつつ撮影を行うが、フラッシュ撮影時にも手振れ補正を行うことが考えられる。但し、例えば人物等をフラッシュ撮影する場合、フラッシュ光に照射されている人物の部分はフラッシュ光が照射されている短い時間だけ露光されるが、フラッシュ光が照射されておらず別の光源が照射されている背景では実際にシャッタが閉じるまで露光されることになる。また、人物に他の光源からの光が照射されている場合には、フラッシュ光と当該他の光源からの光の寄与率で人物画像が形成されることとなる。結局、画像内で人物部分と背景部分とでＰＳＦが異なる事となり、単一のＰＳＦを用いて画像を復元する方法を用いた場合には、人物部分に不要なぶれが生じてしまう。
【０００４】
図８に、フラッシュ撮影時の手振れ補正の概念図を示す。図８（Ａ）は、背景と人物が存在する被写界を示す。被写界の輝度は小さくフラッシュ発光が必要であるとする。フラッシュ装置を駆動してフラッシュ撮影を行うと、相対的に近距離にある人物にはフラッシュ光が照射され、相対的に遠距離にある背景にはフラッシュ光は照射されず別の光源からの光が照射される。人物の露光時間は実質的にフラッシュ光の照射時間となるため手振れは生じにくく、背景の露光時間はシャッタの開閉により定まる実際の露光時間となるためカメラを操作するユーザの手振れがそのまま影響してぶれが生じる。図８（Ｂ）に、人物には手振れが生じず背景に手振れ７００が生じている状態を示す。したがって、撮影時に手振れ補正を実行すると、図８（Ｃ）に示すように背景の手振れは抑制できるが人物に本来生じていないぶれ８００が生じてしまう。
【０００５】
下記の特許文献１には、閃光発光の有無にかかわらずぶれ補正効果が高いカメラシステムを提供することを目的として、閃光発光を行う場合に、ＰＳＦを演算した後に閃光発光に関する閃光情報に基づいてＰＳＦを補正し、補正後のＰＳＦを用いて画像復元を行うことが開示されている。
【０００６】
また、下記の特許文献２には、閃光撮影時に像ぶれ補正装置を作動させないことが開示されている。
【０００７】
【特許文献１】特開２００４−２０５８０２号公報
【特許文献２】特開平７−２９５００５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１では、フラッシュ撮影時にＰＳＦを補正することは開示されているものの、補正したＰＳＦを用いて画像復元を行う以上、復元処理により多少なりとも人物にぶれが生じてしまう。また、背景のぶれが復元できない問題もある。また、特許文献２ではフラッシュ撮影時に像ぶれ補正装置を作動させないため、手振れ補正により人物にぶれは生じないものの、撮影時に存在する背景の手振れはそのまま残存することになる。
【０００９】
本発明の目的は、手振れ補正等の原画像復元処理を高精度に実行できる装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明は、撮影して得られた撮影画像に対して復元処理を行う画像復元装置であって、撮影時に閃光を照射して得られた撮影画像から閃光照射領域を検出する検出手段と、前記撮影画像のうち、前記検出手段で検出された前記閃光照射領域を除く非閃光照射領域のみを対象として復元処理を行う処理手段とを有することを特徴とする。
【００１１】
本発明において、前記処理手段は、前記撮影画像のうち前記閃光照射領域を抽出し、前記撮影画像のうち前記非閃光照射領域に復元処理を行い、復元処理を行っていない前記閃光照射領域と復元処理を行った前記非閃光照射領域とを合成してもよい。
【００１２】
また、本発明において、前記処理手段は、前記撮影画像のうち前記閃光照射領域を抽出し、前記撮影画像に対して復元処理を行った後に前記非閃光照射領域を抽出し、抽出した両領域を合成してもよい。
【発明の効果】
【００１３】
本発明によれば、フラッシュ装置あるいはストロボ装置などの閃光照射装置を駆動させて閃光撮影を行った場合でも、非閃光照射領域のみを対象として画像復元処理を行うので高精度な復元処理を行うことができる。本発明によれば、例えば主要被写体のみに閃光が照射される場合でも、閃光が照射されない背景領域の手振れが補正され、かつ、主要被写体についてもぶれのない画像が得られる。
【発明を実施するための最良の形態】
【００１４】
以下、図面に基づき、本発明の実施形態について手振れ補正機構を備えるデジタルカメラを例にとり説明する。
【００１５】
図１及び図２に、本実施形態におけるデジタルカメラの構成ブロック図を示す。図１は、デジタルカメラのうち撮影画像を記録媒体に記録するユニットであり、図２は記録媒体に記録された画像を読み出して手振れ補正を行うために復元処理を行うユニットである。本実施形態のデジタルカメラは、撮影後に撮影画像を加工して手振れ補正する機構を備えており、ＰＳＦを用いて撮影画像から原画像を復元する。
【００１６】
図１において、光学系１０は、レンズ群やシャッタ、絞りを有し、被写体からの光をＣＣＤ等のイメージセンサに結像する。
【００１７】
ＣＣＤ１２は、被写体からの光を電気信号に変換し、アナログ画像信号として出力する。
【００１８】
アナログフロントエンド（ＡＦＥ）／タイミングジェネレータ（ＴＧ）１４は、アナログ画像信号をデジタル画像信号に変換する。デジタル画像信号は、セレクタ１６を介して画像メモリａ１８あるいは画像メモリｂ３４に格納される。セレクタ１６は、デジタル画像信号を画像メモリａ１８、画像メモリｂ３４のいずれの画像メモリに格納するかを選択する。選択は、フラッシュ制御部３０からのフラッシュ制御信号に応じて実行される。本実施形態では、基本的にフラッシュが照射されていない場合に得られた画像は画像メモリｂ３４に格納され、フラッシュが照射された場合に得られた画像は画像ａ１８に格納される。
【００１９】
フラッシュ制御部３０は、フラッシュ装置２８を駆動するとともに、フラッシュ制御信号をセレクタ１６に供給する。
【００２０】
静止画（Still）／プレビュー（preview）制御部３２は、レリーズボタンの操作信号に応じて静止画とプレビューを切り替える。ユーザがデジタルカメラの電源をオンすると、静止画／プレビュー制御部３２はプレビューモードに切り替え、ユーザがレリーズボタンを操作すると静止画モードに切り替える。静止画／プレビュー制御部３２からの切替信号は、ＡＦＥ／ＴＧ１４に供給される。ＡＦＥ／ＴＧ１４は、プレビューモード時にはＣＣＤ１２からのアナログ画像信号を間引きしてデジタル画像信号を生成する。プレビューモード時の間引きは、デジタルカメラの所定サイズ（例えば２．５型）の背面ＬＣＤに画像を表示するためである。
【００２１】
リサイズ処理部３６は、画像メモリｂ３４に格納された画像をリサイズする。すなわち、画像メモリｂ３４に格納された画像が間引きされたプレビュー画像である場合、これを静止画モード時の撮影画像のサイズと同じサイズとなるまで補間拡大する。
【００２２】
領域判定部３８は、リサイズされたプレビュー画像において、フラッシュ光照射領域と非照射領域とを判別する。このため、領域判定部３８には、画像メモリａ１８からのフラッシュが照射された場合に得られた画像が供給される。領域判定部３８は、フラッシュが照射された場合に得られた画像と、フラッシュが照射されていない場合に得られた画像とを比較してフラッシュ光照射領域と非照射領域とを判別する。
【００２３】
マスク画像あるいはマスクパス生成部４０は、領域判定部３８で得られた判別結果を用いてマスク画像あるいはマスクパスを生成する。
【００２４】
画像処理部２２は、画像メモリａ１８から読み出され、セレクタ２０を介して供給された画像（フラッシュが照射された場合に得られた撮影画像）に対してエッジ強調、ホワイトバランス調整、γ補正、ＪＰＥＧ圧縮等の処理を施して画像メモリｃ２４に格納する。また、マスク画像あるいはマスクパス生成部４０で生成されたマスク画像あるいはマスクパスも画像に関連づけて画像メモリｃ２４に格納される。画像メモリｃ２４に格納された撮影画像と、これに関連付けられたマスク画像（あるいはマスクパス）はともにフラッシュメモリ等の記録媒体２６に格納される。画像メモリａ１８、画像メモリｂ３４、画像メモリｃ２４への画像データの書込及び読み出しはメモリコントローラ４２で制御される。
【００２５】
図２において、記録媒体２６に格納された撮影画像及びこれに関連付けられたマスク画像は読み出されて画像メモリｄ５０に格納される。
【００２６】
画像復元部５２は、画像メモリｄ５０に格納された撮影画像を読み出して、撮影時の手振れ情報から得られたＰＳＦを用いて復元処理を行う。ＰＳＦを用いた復元処理は公知である。ＰＳＦは、手振れにより生じる点光源の移動軌跡をイメージセンサの各ピクセル毎の輝度分布関数として表現したものである。ＰＳＦを用いた画像復元の例として最急降下法が知られており、その概要は以下のとおりである。すなわち、撮影画像の∇Ｊを算出する。ここに、Ｊは一般逆フィルタの評価量であり、撮影画像である劣化画像Ｇ、復元画像Ｆ、劣化関数Ｈとした場合に、
Ｊ＝‖Ｇ−ＨＦ‖２
で与えられる。上式は、評価量Ｊは、復元画像Ｆに劣化関数Ｈを作用させて得られる画像ＨＦと実際の劣化画像Ｇとの差分の大きさで与えられることを意味する。復元画像が正しく復元されていれば、理論的にはＨＦ＝Ｇであって評価量は０である。評価量Ｊが小さいほど、復元画像Ｆはより良く復元されたことになる。最急降下法では、この評価量Ｊの勾配である∇Ｊの大きさ、すなわち∇Ｊのノルムの２乗がしきい値以下となるまで反復計算を繰り返し、しきい値以下となった時点で反復計算を終了して復元画像Ｆを得るものである。撮影画像（劣化画像Ｇ）と復元画像Ｆ、並びにＰＳＦ、すなわち劣化関数Ｈを用いて評価量Ｊを算出し、さらに∇Ｊを算出する。ＰＳＦはデジタルカメラに取り付けられたジャイロで検出された角速度と撮像系の像倍率から導出される手振れによる像の動き量から算出される。算出した∇Ｊのノルムの２乗をしきい値と大小比較し、しきい値以下であるか否かを判定する。しきい値以下であれば∇Ｊのノルムは十分小さく最適解に収束したものとみなして反復計算を終了する。一方、∇Ｊのノルムの２乗がしきい値を超えていれば、いまだ復元は十分ではないとして反復計算を続行する。このような復元処理は、撮影画像の全領域に対して行う。すなわち、撮影画像のうちフラッシュ光照射領域及び非照射領域のいずれも復元処理を行う。但し、復元処理を行ったフラッシュ光照射領域は後段の乗算器５６で破棄される。画像復元処理が施された撮影画像は画像メモリｆ５４に格納される。
【００２７】
デコーダ６２は、記録媒体２６に記憶されたＪＰＥＧ圧縮されたマスク画像を読み込み、デコードしてリサイズ処理部６４に供給する。マスク画像は０または１の１ビットデータであるためＪＰＥＧ圧縮ではなくランレングス符号化やＪＢＩＧ圧縮で記録媒体２６に格納してもよく、あるいは公知の画像処理ソフトウェアのパス情報のようにペジェ曲線の制御点情報として格納してもよい。
【００２８】
リサイズ処理部６４は、マスク画像が撮影画像と同一サイズとなるように補間拡大処理する。この処理はプレビュー画像を生成する際の間引き処理の逆変換である。なお、マスク画像がプレビュー画像から生成されている場合にはリサイズ処理が必要であるが、既にリサイズ処理されている場合には再度リサイズ処理する必要はなく、デコードしたマスク画像をそのまま出力する。
【００２９】
ブレンド率演算部６６は、マスク画像の境界、すなわちフラッシュ光照射領域と非照射領域の境界が連続的に変化するようにマスク画像を加工する。境界部の加工は、ＲＯＭ７２に予め記憶された距離関数を用いて実行される。距離関数は、境界部を基準点としてどの距離まで連続的な変化を認めるかを規定する関数である。例えば、基準点から数画素程度の範囲を連続変化の範囲とすることができる。距離は、着目画素中心と直近の境界画素中心の距離である。距離は、フラッシュ光照射領域から非照射領域側に向けた距離である。境界部分が連続的に変化するマスク画像は画像メモリｅ６８に格納される。
【００３０】
乗算器７０は、画像メモリｄ５０に格納された撮影画像（復元処理されていない撮影画像）と画像メモリｅ６８に格納されたマスク画像との乗算を演算する。すなわち、撮影画像の各画素の画素値と、マスク画像の対応する画素値とを乗算する。マスク画像はフラッシュ光照射領域が「１」、非照射領域が「０」であるから、乗算器７０は、復元処理されていない撮影画像からフラッシュ光照射領域を抽出する機能を有する。
【００３１】
減算器５８は、全ての画素値が１の基準画像とマスク画像との差分を演算する。マスク画像はフラッシュ光照射領域が「１」、非照射領域が「０」であるから、基準画像との差分を演算することでフラッシュ光照射領域が「０」、非照射領域が「１」の反転マスク画像を生成する。
【００３２】
乗算器５６は、画像メモリｆ５４に格納された復元処理済みの撮影画像と反転マスク画像との乗算を演算する。すなわち、復元処理済みの撮影画像の各画素値と、反転マスク画像の対応する画素値との論理積を演算する。反転マスク画像はフラッシュ光照射領域が「０」、非照射領域が「１」であるから、乗算器５６は、復元処理済みの撮影画像から非照射領域を抽出する機能を有する。すなわち、復元処理された撮影画像のうちフラッシュ光照射領域を破棄し非照射領域のみを残す。
【００３３】
加算器６０は、乗算器５６の出力と乗算器７０の出力とを加算して画像メモリｄ５０に格納する。乗算器５６の出力は撮影画像のうち復元処理済みの非照射領域であり、乗算器７０の出力は撮影画像のうち復元処理されていないフラッシュ光照射領域であり、両者を加算することで復元処理済みの非照射領域に復元処理されていないフラッシュ光照射領域を合成した画像が得られる。
【００３４】
以下、本実施形態における処理をより詳細に説明する。本実施形態の処理は、撮影画像の中でフラッシュ光照射領域と非照射領域とを判別して撮影画像を記録する第１処理と、撮影画像の中の非照射領域のみを復元処理した上で撮影画像の中の復元処理を施していないフラッシュ光照射領域と合成する第２処理から構成される。
【００３５】
まず、第１処理について説明する。
【００３６】
図３に、第１処理の処理フローチャートを示す。まず、デジタルカメラの電源をＯＮしてプレビュー画像を取り込む。プレビュー画像は実際の撮影時に得られる静止画画像に比べて間引きされてサイズが縮小化された画像である。セレクタ１６は、フラッシュ制御部３０からの制御信号に応じ、フラッシュ装置２８が駆動されていないのでプレビュー画像を画像メモリｂ３４に格納する。
【００３７】
次に、フラッシュ装置２８を駆動してプリ発光を実行する。プリ発光は公知であり、本発光に先立って所定の光量でフラッシュ光を照射し、被写体からの反射光を受光することで本発光時の発光量を制御するものである。セレクタ１６は、フラッシュ制御部３０からの制御信号に応じ、フラッシュ装置２８が駆動されているのでプリ発光時のプレビュー画像を画像メモリａ１８に格納する。この処理により、画像メモリａ１８にプリ発光時のプレビュー画像が格納され、画像メモリｂ３４にプリ発光なしのプレビュー画像が格納される。
【００３８】
次に、画像メモリａ１８に格納されたプリ発光時のプレビュー画像は読み出されて領域判定部３８に供給され、画像メモリｂ３４に格納されたプリ発光なしのプレビュー画像は読み出されてリサイズ処理部３６に供給される。但し、いずれの画像もプレビュー画像であるため、リサイズ処理部３６は静止画／プレビュー制御部３２からの制御信号に応じ、画像メモリｂ３４からのプリ発光なしの画像をリサイズすることなくそのまま領域判定部３８に供給する。領域判定部３８は、プリ発光時のプレビュー画像とプリ発光なしのプレビュー画像とを比較する。すなわち、プリ発光時のプレビュー画像（画像メモリａ１８の画像）を構成する各画素とプリ発光なしのプレビュー画像（画像メモリｂ３４の画像）を構成する各画素のうち位置が対応する画素の差分を演算し、差分値が所定のしきい値を超える画素をフラッシュ光が照射された画素と判定する（Ｓ１０３）。判定結果はマスク画像あるいはマスクパス生成部４０に供給される。
【００３９】
プレビュー画像においてプリ発光のフラッシュ光が照射された部分を検出した後、フラッシュ装置２８を駆動して本発光させ、静止画を撮影する。セレクタ１６は、フラッシュ制御部３０からの制御信号に応じ、フラッシュ装置２８が駆動されているので本発光時の画像を画像メモリａ１８に格納する。本発光時の画像はユーザが撮影した撮影画像であり、画像処理部２２でホワイトバランス調整処理やエッジ強調処理、ＪＰＥＧ圧縮処理等が施されて画像メモリｃ２４に格納される（Ｓ１０５）。
【００４０】
マスク画像あるいはマスクパス生成部４０は、領域判定部３８からの判定結果に基づき、プレビュー画像のうちフラッシュ光照射領域を「１」、非照射領域を「０」とする２値マスク画像を生成し、あるいは、フラッシュ光照射領域の外周をペジェ曲線等で表現し、当該曲線を構成する点群をマスクパスとして生成する（Ｓ１０６）。２値マスク画像あるいはマスクパスは画像メモリｃ２４に格納される。画像メモリｃ２４に格納する際、画像処理部２２で画像処理された本発光時の撮影画像のヘッダ領域に、２値マスク画像（あるいはマスクパス）の情報をフラッシュ光照射領域の情報として格納する（Ｓ１０７）。そして、ヘッダ領域に２値マスク画像（あるいはマスクパス）の情報が付加された画像は記録媒体２６に格納される（Ｓ１０８）。マスク画像は必ずしも撮影画像のヘッダ領域に付加する必要はなく、要するに撮影画像に関連づけて撮影画像とそのマスク画像が１：１に対応するように格納すればよい。マスク画像を透かし画像として撮影画像に埋め込んでも良い。
【００４１】
以上の処理により、撮影画像のヘッダ領域に、フラッシュ光照射領域及び非照射領域を特定する情報が格納され記憶される。但し、フラッシュ光照射領域及び非照射領域を特定する情報はプレビュー画像から検出されたものであり、プレビュー画像と撮影画像はサイズが異なるためそのままでは撮影画像に適用できない。プレビュー画像から得られたフラッシュ光照射領域及び非照射領域を特定する情報は、撮影画像に適用できるようにリサイズすることが必要である。
【００４２】
図３の処理では、フラッシュ装置２８のプリ発光を用いてフラッシュ光照射領域と非照射領域とを判別しているが、プリ発光を用いることなくフラッシュ光照射領域と非照射領域とを判別することも可能である。
【００４３】
図４に、プリ発光を用いない第１処理のフローチャートを示す。まず、プレビュー画像を画像メモリｂ３４に格納する（Ｓ２０１）。次に、ユーザのレリーズボタンの操作に応じフラッシュ装置２８を本発光して静止画画像を撮影し、画像メモリａ１８に格納する。画像メモリｂ３４に格納されたプレビュー画像はプレビュー用に間引き処理されたサイズの小さい画像であるから、リサイズ処理部３６で撮影画像と同じサイズとなるように補間拡大する（Ｓ２０３）。リサイズされたプレビュー画像は領域判定部３８に供給される。また、画像メモリａ１８に格納された画像、すなわち本発光時の撮影画像も領域判定部３８に供給されるとともに、画像処理部２２でホワイトバランス調整処理やエッジ強調処理、ＪＰＥＧ圧縮処理等が施された後に画像メモリｃ２４に格納される（Ｓ２０４）。
【００４４】
領域判定部３８は、画像メモリａ１８から読み出された本発光時の撮影画像と、画像メモリｂ３４から読み出された発光なしのリサイズ済みプレビュー画像とを比較し、その差分値が所定のしきい値を超える画素をフラッシュ光が照射された画素と判定する（Ｓ２０５）。判定結果はマスク画像あるいはマスクパス生成部４０に供給される。マスク画像あるいはマスクパス生成部４０は、フラッシュ光の照射された領域を「１」、非照射領域を「０」とする２値マスクをマスク画像として生成し、あるいはフラッシュ光照射領域の外周をペジェ曲線等で表し、これを構成する点群をマスクパスとして生成する（Ｓ２０６）。２値マスク画像（あるいはマスクパス）は画像メモリｃ２４に格納される。この際、画像処理部２２で画像処理された、本発光時の画像のヘッダ領域に、２値マスク画像あるいはマスクパスの情報をフラッシュ光照射領域の情報として格納する（Ｓ２０７）。画像メモリｃ２４に格納された画像情報、すなわちヘッダ領域に２値マスク画像（あるいはマスクパス）の情報が付加された画像は記録媒体２６に格納される（Ｓ２０８）。以上の処理により、撮影画像のヘッダ領域に、フラッシュ光照射領域及び非照射領域を特定する情報が格納され記憶される。フラッシュ光照射領域及び非照射領域を特定する情報は撮影画像とリサイズ済みプレビュー画像から検出されたものであり、フラッシュ光照射領域及び非照射領域を特定する情報は、撮影画像にそのまま適用できる。
【００４５】
なお、図３及び図４の処理において、フラッシュ装置２８を本発光して撮影した際にジャイロセンサで検出された手振れ情報はＰＳＦとして記録媒体２６に格納される。ＰＳＦはマスク画像と同様に撮影画像のヘッダ領域に格納してもよく、あるいは撮影画像に関連づけて格納してもよい。
【００４６】
図５に、第２処理のフローチャートを示す。この第２処理では、撮影画像からＰＳＦを用いて原画像を復元する際に、フラッシュが照射されていない非照射領域のみを対象として復元処理を施す。画像復元を行うか否かは、ユーザが適宜選択する。すなわち、デジタルカメラの背面ＬＣＤに撮影画像を一覧表示させ、ユーザは画像復元を望む撮影画像をデジタルカメラのカーソルやボタン等で選択する。各撮影画像にはＰＳＦ情報が付加されて記録媒体２６に格納されており、ＰＳＦが所定の条件を満たしＰＳＦを用いた画像復元が可能である撮影画像にのみ特定のマークを付して背面ＬＣＤに表示することで、ユーザの選択を容易化してもよい。すなわち、ユーザが特定のマークが付された撮影画像群が手振れ補正可能な画像群であり、これらの中から所望の画像を選択して画像復元を指定する。
画像復元が指定された撮影画像は記録媒体２６から読み出されて画像メモリｄ５０に格納される（Ｓ３０１）。撮影画像のヘッダ領域にはフラッシュ光照射領域及び非照射領域の情報がマスク画像（あるいはマスクパス）の情報として付加されているから、この情報をヘッダ領域から読み込んでデコーダ６２でデコードする（Ｓ３０２）。
【００４７】
次に、デコードして得られたマスク画像が、画像メモリｄ５０に格納された撮影画像と同一サイズであるか否かを判定する（Ｓ３０３）。既述したとおり、図３に示す方法で生成されたマスク画像はプレビュー画像に基づいて生成されたものであり撮影画像よりも小さいサイズであり、図４に示す方法で作成されたマスク画像はプレビュー画像をリサイズして生成されたものであり撮影画像と同一サイズである。マスク画像が撮影画像と同一サイズでない場合、撮影画像と同一サイズとなるようにリサイズ処理部６４で補間拡大する（Ｓ３０４）。マスク画像と撮影画像を同一サイズとした後、マスク画像はブレンド率演算部６６に供給される。
【００４８】
ブレンド率演算部６６は、ＲＯＭ７２に予め格納された、ブレンド率を演算するための距離関数を読み込んで（Ｓ３０５）、距離関数を用いてブレンド率を計算する（Ｓ３０６）。距離関数は、フラッシュ光照射領域の外縁、あるいはフラッシュ光照射領域と非照射領域の境界を距離の基準点とし、基準点からの距離に対するブレンド率を規定する関数である。図６に、距離関数を用いて計算されたブレンド率の例を示す。横軸は距離であり、着目する画素と直近の境界画素との間の距離である。あるブレンド率は、基準点において１００％であり、距離が増大するに従い線形に減少し、しきい距離Ｒｔｈでブレンド率０％となる（符号１００で示す関数）。別のブレンド率は、距離が増大するほど非線形に減少する（符号２００で示す関数）。ブレンド率は、復元処理が施されないフラッシュ光照射領域を復元処理が施される非照射領域に対して合成する際の混合率であり、両領域を合成した場合に両領域の境界が不自然に目立たないようにするために徐々に変化させることが好適である。距離関数の一例はローパスフィルタ（ＬＰＦ）であり、マスク画像をローパスフィルタに通過させることで、マスク画像の境界を連続的に変化させてぼかすことができる。
【００４９】
図７に、ブレンド率を用いて加工したマスク画像の一例を示す。図７（Ａ）は加工前のマスク画像の１つの水平ラインの画素値を示したものである。「０」は非照射領域、「１」はフラッシュ光照射領域を示す。図７（Ｂ）は加工後のマスク画像の同一水平ラインを示す。フラッシュ光照射領域と非照射領域の境界が連続的に変化している。ブレンド率を用いて加工されたマスク画像は画像メモリｅ６８に格納される。
【００５０】
一方、画像メモリｄ５０に格納された撮影画像は、画像復元部５２に供給され、記録媒体２６に記憶された撮影時の手振れ量を示すＰＳＦを用いて原画像が復元される。ＰＳＦを用いて復元処理された画像は画像メモリｆ５４に格納される（Ｓ３０７）。この復元処理では、フラッシュ光照射領域と非照射領域とを区別することなく、画像全体を対象として復元処理を行う。復元処理が施された画像は乗算器５６に供給される。また、画像メモリｄ５０に格納された撮影画像は、乗算器７０にも供給される。
【００５１】
乗算器７０は、画像復元処理されていない撮影画像と画像メモリｅ６８に格納されたマスク画像とを乗算する（Ｓ３０８）。マスク画像は、フラッシュ光照射領域で「１」、非照射領域で「０」となる２値マスクであるから、撮影画像とマスク画像の乗算を行うと、撮影画像のうちフラッシュ光照射領域の画素値はそのまま残り、非照射領域はその画素値が０となる。すなわち、撮影画像からフラッシュ光照射領域のみを抽出した画像となる。フラッシュ光照射領域画像は加算器６０に供給される。
【００５２】
また、値が全て１の基準画像とマスク画像は減算器５８に供給される。減算器５８は、両者の差分を演算することで反転マスク画像を生成する。反転マスク画像は乗算器５６に供給される。乗算器５６は、画像復元処理済みの撮影画像と反転マスク画像の乗算を演算する（Ｓ３０９）。反転マスク画像は、非照射領域の画素値が「１」、フラッシュ光照射領域の画素値が「０」である。反転マスク画像と撮影画像との乗算を演算すると、撮影画像のうち非照射領域のみが残りフラッシュ光照射領域の画素値は０となる。
【００５３】
以上のようにして、Ｓ３０８で画像復元処理前の撮影画像にマスク画像を乗じて画像復元前のフラッシュ光照射領域を抽出し、かつ、Ｓ３０９で画像処理復元後の撮影画像に反転マスク画像を乗じて画像復元後の非照射領域を抽出した後、両画像を加算器６０で加算してブレンドする（Ｓ３１０）。ブレンド率は境界からの距離が増大する程連続的に小さくなる。これにより、画像復元されていないフラッシュ光照射領域と画像復元された非照射領域が合成された画像、すなわち非照射領域のみを対象として画像復元処理を施した画像が得られる。得られた画像は画像メモリｄ５０に格納され、さらに記録媒体２６に格納される（Ｓ３１１）。
【００５４】
本実施形態では、撮影画像においてフラッシュの非照射領域のみを対象として復元処理を行うように構成したので、例えばナイトポートレイトのように夜景を背景として人物を撮影する場合等においても、背景部分の手振れのみを補正し、かつ、フラッシュ光が照射された人物部分もはっきりした画像が得られる。
【００５５】
本実施形態では、フラッシュ光照射領域と非照射領域とを合成して一つの画像を生成するため、両領域の境界部が目立たないようにブレンド率を調整しているが、ブレンド率を調整しなくてもよい。あるいは調整するかしないかをユーザが選択できるように構成してもよい。また、ブレンド率は距離に応じて連続的に変化させる他、非連続的に変化させてもよい。また、ブレンド率を距離に応じて変化させる他、フラッシュ光が照射される主要被写体の形状に応じてブレンド範囲を設定してもよい。図９に、検出されたフラッシュ光照射領域の形状に応じて設定されるブレンド範囲の例を示す。図９（Ａ）はフラッシュ光照射領域５００を示し、主要被写体である人物である。図９（Ｂ）は主要被写体である人物の周辺に設定されたブレンド範囲６００を示す。設定されたブレンド範囲６００においては、ブレンド率は外縁にいくほど連続的に減少していく。
【００５６】
さらに、本実施形態ではプレビュー画像とプリ発光時のプレビュー画像とを比較する、あるいはプレビュー画像と本発光時の撮影画像とを比較することでフラッシュ光照射領域と非照射領域とを判別したが、他の方法で判別してもよい。例えば、被写体までの測距データに基づき、フラッシュ光が当然に届くと考えられる距離の領域をフラッシュ光照射領域として判別してもよい。あるいは、主要被写体である人物部分を自動的にフラッシュ照射領域と判別してもよい。
【図面の簡単な説明】
【００５７】
【図１】実施形態のデジタルカメラの構成図である。
【図２】実施形態のデジタルカメラの構成図である。
【図３】実施形態の記録時処理フローチャートである。
【図４】実施形態の他の記録時処理フローチャートである。
【図５】実施形態の復元時処理フローチャートである。
【図６】距離関数の説明図である。
【図７】マスク画像の円滑化説明図である。
【図８】フラッシュ発光を伴う撮影画像の手振れ補正説明図である。
【図９】ブレンド範囲の設定説明図である。
【符号の説明】
【００５８】
１０  光学系、１２  ＣＣＤ、１４  ＡＦＥ／ＴＧ、１６  セレクタ、１８  画像メモリａ、２０  セレクタ、２２  画像処理部、２４  画像メモリｃ、２６  記録媒体、２８  フラッシュ装置（あるいはストロボ装置）、３０  フラッシュ制御部、３２  静止画／プレビュー制御部、３４  画像メモリｂ、３６  リサイズ処理部、３８  領域判定部、４０  マスク画像あるいはマスクパス生成部、４２  メモリコントローラ、５０  画像メモリｄ、５２  画像復元部、５４  画像メモリｆ、５６  乗算器、５８  減算器、６０  加算器、６２  デコーダ、６４  リサイズ処理部、６６  ブレンド率演算部、６８  画像メモリｅ、７０  乗算器。
【図１】
2008164758.tif 000003
【図２】
2008164758.tif 000004
【図３】
2008164758.tif 000005
【図４】
2008164758.tif 000006
【図５】
2008164758.tif 000007
【図６】
2008164758.tif 000008
【図７】
2008164758.tif 000009
【図８】
2008164758.tif 000010
【図９】
2008164758.tif 000011