(57)【要約】【課題】画像に光学的にぼかしたかのような自然なぼかし処理を施す。【解決手段】撮影画像取得部１１１は、異なる撮影条件で撮影した撮影画像を取得する。輝度飽和領域判定部１１２は、撮影画像に輝度飽和領域があるか否かを判定する。被写体判定部１１４は、異なる露出レベルで撮影された撮影画像の輝度差に基づき、輝度飽和領域の被写体が光源であるか否かを判定する。被写体領域判定部１１５は、主要被写体領域と背景領域を推定する。ぼかし対象領域特定部１１７は、ぼかし処理の対象領域を特定する。ぼかし処理部１１８は、輝度飽和領域に撮像された被写体が光源である場合、撮影画像の画素値と重み付けされた係数行列とを用いて畳み込み演算を実行し、ぼかし処理の対象領域にぼかし処理を施す。【選択図】図２
2015090562.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体を異なる露出で撮影した第１画像と第２画像とを取得する取得手段と、
前記取得手段により取得された前記第１画像に輝度が飽和している飽和領域があるか否かを判定する第１判定手段と、
前記第１判定手段により前記第１画像に前記飽和領域があると判定された場合、前記飽和領域と前記第２画像における前記飽和領域に対応する領域との輝度値の差に基づいて、前記飽和領域に撮像された被写体が光源であるか否かを判定する第２判定手段と、
前記第２判定手段による判定結果に応じて特性の異なる複数のぼかし処理から一のぼかし処理を選択し、前記飽和領域に前記一のぼかし処理を施すぼかし手段と、
を備える画像処理装置。
【請求項２】
前記第１画像は、前記被写体に焦点を合わせて適正露出で撮影した画像であり、
前記第２画像は、前記被写体に焦点を合わせて前記適正露出より低い露出で撮影した画像である、
請求項１に記載の画像処理装置。
【請求項３】
前記ぼかし手段は、前記第２判定手段により前記飽和領域に撮像された被写体が光源であると判定された場合、前記第１画像の画素値を指数変換し、指数変換された画素値と重み付けされた係数行列とを用いて畳み込み演算を実行し、その結果を対数変換することにより、前記飽和領域にぼかしを施す、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記ぼかし手段は、前記第２判定手段により前記飽和領域に撮像された被写体が光源ではないと判定された場合、前記第１画像の画素値と重み付けされた係数行列とを用いて畳み込み演算を実行することにより、前記飽和領域にぼかしを施す、
請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１画像の被写体領域と背景領域とを判定する第３判定手段と、
前記第３判定手段により判定された前記背景領域に含まれる、前記第１判定手段により判定された前記飽和領域を、ぼかし処理の対象領域と特定する特定手段と、
を更に備え、
前記ぼかし手段は、前記特定手段により特定されたぼかし処理の対象領域に、選択した前記一のぼかし処理を施す、
請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記取得手段は、前記第１画像とは異なる位置に合焦した第３画像をさらに取得し、
前記第３判定手段は、前記第１画像と前記第３画像のそれぞれの輝度分布に基づいて、前記第１画像の被写体領域と背景領域とを判定する、
請求項５に記載の画像処理装置。
【請求項７】
撮影位置から被写体までの距離を推定する推定手段を、さらに備え、
前記ぼかし手段は、前記推定手段により推定された前記距離に応じて前記重み付けを決定する、
請求項３又は４に記載の画像処理装置。
【請求項８】
前記取得手段は、前記第１画像とは異なる視点から前記被写体を撮影した第４画像をさらに取得し、
前記推定手段は、前記第１画像と前記第４画像の視差に基づいて、撮影位置から被写体までの距離を推定し、
前記ぼかし手段は、前記推定手段により推定された前記距離に応じて前記重み付けを決定する、
請求項７に記載の画像処理装置。
【請求項９】
画像にぼかし処理を施す画像処理装置の方法であって、
同一の被写体を異なる露出で撮影した第１画像と第２画像とを取得するステップと、
前記第１画像に輝度が飽和している飽和領域があるか否かを判定するステップと、
前記第１画像に前記飽和領域があると判定された場合、前記飽和領域と前記第２画像における前記飽和領域に対応する領域との輝度値の差に基づいて、前記飽和領域に撮像された被写体が光源であるか否かを判定するステップと、
前記飽和領域に撮像された被写体が光源であるか否かの判定結果に応じて特性の異なる複数のぼかし処理から一のぼかし処理を選択し、前記飽和領域に前記一のぼかし処理を施すステップと、を含む方法。
【請求項１０】
画像にぼかし処理を施す画像処理装置を制御するコンピュータに、
同一の被写体を異なる露出で撮影した第１画像と第２画像とを取得する機能、
前記第１画像に輝度が飽和している飽和領域があるか否かを判定する機能、
前記第１画像に前記飽和領域があると判定された場合、前記飽和領域と前記第２画像における前記飽和領域に対応する領域との輝度値の差に基づいて、前記飽和領域に撮像された被写体が光源であるか否かを判定する機能、
前記飽和領域に撮像された被写体が光源であるか否かの判定結果に応じて特性の異なる複数のぼかし処理から一のぼかし処理を選択し、前記飽和領域に前記一のぼかし処理を施す機能、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタル画像に含まれる輝度が飽和した領域を、光学的にぼかしたようにぼかすぼかし技術が、特許文献１に開示されている。
【０００３】
特許文献１に開示されたぼかし技術は、輝度値の高い画像データを増幅し、ぼかしフィルタ（平滑化フィルタ）を用いて畳み込み演算を行った後に逆変換することによりぼかし処理を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２１８７０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術は、輝度値が高い画像データに増幅及び逆変換を伴うぼかし処理を一律に実施している。このため、不自然なぼかし画像となってしまうことがある。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、画像に光学的にぼかしたかのような自然なぼかし処理を施すことができる画像処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を解決するため、本発明に係る画像処理装置は、同一の被写体を異なる露出で撮影した第１画像と第２画像とを取得する取得手段と、前記取得手段により取得された前記第１画像に輝度が飽和している飽和領域があるか否かを判定する第１判定手段と、前記第１判定手段により前記第１画像に前記飽和領域があると判定された場合、前記飽和領域と前記第２画像における前記飽和領域に対応する領域との輝度値の差に基づいて、前記飽和領域に撮像された被写体が光源であるか否かを判定する第２判定手段と、前記第２判定手段による判定結果に応じて特性の異なる複数のぼかし処理から一のぼかし処理を選択し、前記飽和領域に前記一のぼかし処理を施すぼかし手段と、を備える。
【０００８】
また、上記の目的を解決するため、本発明に係る方法は、画像にぼかし処理を施す画像処理装置の方法であって、同一の被写体を異なる露出で撮影した第１画像と第２画像とを取得するステップと、前記第１画像に輝度が飽和している飽和領域があるか否かを判定するステップと、前記第１画像に前記飽和領域があると判定された場合、前記飽和領域と前記第２画像における前記飽和領域に対応する領域との輝度値の差に基づいて、前記飽和領域に撮像された被写体が光源であるか否かを判定するステップと、前記飽和領域に撮像された被写体が光源であるか否かの判定結果に応じて特性の異なる複数のぼかし処理から一のぼかし処理を選択し、前記飽和領域に前記一のぼかし処理を施すステップと、を含む。
【０００９】
さらに、上記の目的を解決するため、本発明に係るプログラムは、画像にぼかし処理を施す画像処理装置を制御するコンピュータに、同一の被写体を異なる露出で撮影した第１画像と第２画像とを取得する機能、前記第１画像に輝度が飽和している飽和領域があるか否かを判定する機能、前記第１画像に前記飽和領域があると判定された場合、前記飽和領域と前記第２画像における前記飽和領域に対応する領域との輝度値の差に基づいて、前記飽和領域に撮像された被写体が光源であるか否かを判定する機能、前記飽和領域に撮像された被写体が光源であるか否かの判定結果に応じて特性の異なる複数のぼかし処理から一のぼかし処理を選択し、前記飽和領域に前記一のぼかし処理を施す機能、を実現させる。
【発明の効果】
【００１０】
本発明によれば、画像に光学的にぼかしたかのような自然なぼかし処理を施すことができる。
【図面の簡単な説明】
【００１１】
【図１】本願発明の実施形態１に係る画像処理装置の物理構成を示すブロック図である。
【図２】実施形態１に係る画像処理装置の機能構成を示すブロック図である。
【図３】撮像装置により適正露出で撮影された画像の例である。
【図４】撮像装置により適正露出よりも低い露出レベルで撮影された画像の例である。
【図５】（Ａ）は、適正露出画像における輝度飽和領域の輝度値を表す図である。（Ｂ）は、低露出画像における光源の輝度値を表す図である。（Ｃ）は、低露出画像における光源以外の高輝度物体の輝度値を表す図である。
【図６】実施形態１に係る画像処理装置が実行するぼかし処理のフローチャートである。
【図７】この発明の実施形態２に係る画像処理装置の機能構成を示すブロック図である。
【図８】被写体距離と畳み込み演算の重みとの関係を示すグラフである。
【図９】実施形態２に係る画像処理装置が実行するぼかし処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態に係る画像処理装置について、図面を参照しながら説明する。
【００１３】
（実施形態１）
図１を参照して、本発明の実施形態１に係る画像処理装置１００の物理構成について説明する。画像処理装置１００は、撮像装置２００から取得した撮影画像にぼかし処理を施す装置である。図１に示すように、画像処理装置１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、通信インターフェース１０４、記憶装置１０５、入力装置１０６、表示装置１０７、内部バス１０８、を備える。
【００１４】
ＣＰＵ１０１は、ＲＯＭ１０２に格納された動作プログラムを実行することにより、画像処理装置１００全体の動作を制御する。また、ＣＰＵ１０１は、動作プログラムを実行することにより、画像処理、特に、背景画像中の輝度飽和領域をぼかすぼかし処理を実行する。
【００１５】
ＲＯＭ１０２は、画像処理装置１００全体の動作を制御するための動作プログラムや各種データ、また、画像処理用の動作プログラムを記憶する不揮発性メモリである。
【００１６】
ＲＡＭ１０３は、ＣＰＵ１０１が各種の処理を実行する際に生成した情報や、その情報を生成するために必要なデータを一時的に格納する揮発性メモリである。
【００１７】
通信インターフェース１０４は、撮像装置２００から処理対象の撮影画像を受信し、受信した撮影画像を記憶装置１０５や表示装置１０７に供給する。また、通信インターフェース１０４は、ＣＰＵ１０１による指示に従って、画像処理後の撮影画像を撮像装置２００に送信する。通信インターフェース１０４は、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４等のシリアルバスインターフェースであってもよいし、ＮＩＣ（Network Interface Card）等のＬＡＮ（Local Area Network）インターフェースであってもよい。
【００１８】
記憶装置１０５は、各種の情報を記憶する不揮発性メモリである。記憶装置１０５は、例えば、撮像装置２００から取得した撮影画像、ぼかし処理後の撮影画像等を記憶する。記憶装置１０５は、例えば、フラッシュメモリ、ハードディスクから構成される。
【００１９】
入力装置１０６は、画像処理装置１００のユーザからの各種の操作、指示を受け付ける装置である。入力装置１０６は、例えば、ユーザによるぼかし処理の指示を受け付ける。入力装置１０６は、例えば、キーボードやマウスから構成される。
【００２０】
表示装置１０７は、ＣＰＵ１０１等から供給された画像信号に基づく画像を表示する。表示装置１０７は、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイ等の表示デバイスである。なお、表示装置１０７は、タッチスイッチ機能を備えるタッチパネルのような入力機能と表示機能とが組み合わされた装置であってもよい。また、表示装置１０７は、画像処理装置１００に組み込まれているとは限らず、ケーブル等を介して画像処理装置１００に接続された外部ディスプレイであってもよい。
【００２１】
内部バス１０８は、画像処理装置１００が備える各構成要素を相互に接続し、各構成要素間で各種データを伝送する。
【００２２】
撮像装置２００は、ユーザからの撮像の指示に従って、撮影条件が異なる複数の撮影画像（画像データ）を生成する。具体的には、撮像装置２００は、ユーザの１回のシャッタ操作等に応答し、主要な被写体（以下、「主要被写体」という）に焦点を合わせて適正露出で撮影した適正露出画像と、主要被写体に焦点を合わせて適正露出より低い露出で撮影した低露出画像と、主要被写体以外の背景に焦点を合わせて適正露出で撮影した背景合焦画像との組を自動的に生成する。なお、適正露出とは、撮像素子を適度な光量で露出することであり、絞りと露光時間（シャッター速度）の組み合わせとＩＳＯ感度によって調整され、撮像装置２００により設定される。また、低露出画像の露出の程度は、撮像装置２００で適宜設定される。撮像装置２００は、画像処理装置１００と撮影画像等を送受信するための通信インターフェースを備える。撮像装置２００は、通信インターフェースを介して生成した１組の撮影画像を画像処理装置１００に供給する。撮像装置２００は、例えば、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯情報端末等から構成される。
【００２３】
次に、図２を参照して、上記構成を有する画像処理装置１００の備える機能について説明する。画像処理装置１００は、機能的には、撮影画像取得部１１１、輝度飽和領域判定部（第１判定手段）１１２、位置ずれ補正部１１３、被写体判定部（第２判定手段）１１４、被写体領域判定部（第３判定手段）１１５、ぼかし対象領域特定部１１７、ぼかし処理部１１８、を備える。
【００２４】
撮影画像取得部１１１は、撮像装置２００から、上述の適正露出画像と低露出画像と背景合焦画像との組を撮像装置２００から取得し、適正露出画像を輝度飽和領域判定部１１２に、低露出画像と背景合焦画像とを位置ずれ補正部１１３に、それぞれ供給する。撮影画像取得部１１１は、物理的には、ＣＰＵ１０１、通信インターフェース１０４、記憶装置１０５、内部バス１０８から構成される。
【００２５】
輝度飽和領域判定部１１２は、撮影画像取得部１１１から供給された適正露出画像に輝度飽和領域が含まれているか否かを判定する。輝度飽和領域とは、入射光のエネルギーが撮像素子の許容量（ダイナミックレンジ）を超えた結果、輝度値が最大値を示す画素によって形成される領域である。撮影画像がＲ（Red）、Ｇ（Green）、Ｂ（Blue）の３色の輝度で構成される８ビットのＲＧＢ画像データにより表現される場合、各画素の輝度値は、各色、０〜２５５の２５６階調度で示される。被写体の輝度が撮像装置２００のダイナミックレンジを越えて各画素が輝度飽和状態になった場合、その画素の輝度値は、全色、最大値２５５を示す。したがって、輝度飽和領域判定部１１２は、適正露出画像のＲＧＢ画像データからＲＧＢの輝度値がいずれも２５５である画素を検索することにより、輝度飽和領域が含まれるか否かを判定する。輝度飽和領域判定部１１２は、輝度飽和領域が含まれると判定した場合、輝度飽和領域を特定し、その位置を示す輝度飽和領域情報を生成する。輝度飽和領域判定部１１２は、適正露出画像と生成した輝度飽和領域情報とを、位置ずれ補正部１１３に供給する。輝度飽和領域判定部１１２は、輝度飽和領域が含まれていないと判定した場合、各機能ブロック１１３〜１１８に、処理を終了を通知し、画像処理装置１００は、今回のぼかし処理を終了する。輝度飽和領域判定部１１２は、物理的には、ＣＰＵ１０１から構成される。
【００２６】
位置ずれ補正部１１３は、ＣＰＵ１０１等から構成され、適正露出画像を基準として、低露出画像と背景合焦画像の位置ずれをアフィン変換により補正する。
【００２７】
位置ずれ補正のため、位置ずれ補正部１１３は、まず、撮影画像取得部１１１から供給された低露出画像から適正露出画像への動きベクトルを算出する。具体的には、位置ずれ補正部１１３は、適正露出画像を複数個のブロックに分割し、任意のブロックをテンプレートブロックとして設定し、このテンプレートブロックを低露出画像上で走査し、相関の最も高い位置を探索する。相関の程度は、例えば、相対位置が等しい画素の輝度値の差の２乗和を評価式とするＳＳＤ（Sum of Squared Difference）、輝度値の差の絶対値の和を評価式とするＳＡＤ（Sum of Absolute Difference）等を用いて判定する。位置ずれ補正部１１３は、低露出画像上の相関の最も高い画像領域から適正露出画像上のテンプレートブロックの位置に向かう動きベクトルを算出する。位置ずれ補正部１１３は、適正露出画像上のすべてのブロックで同様の処理を行い、すべてのブロックの動きベクトルを算出する。
【００２８】
次に、位置ずれ補正部１１３は、ブロック毎に算出した動きベクトルに基づいて、低露出画像を適正露出画像に位置合わせするためのアフィン変換の変換パラメータを算出する。
【００２９】
アフィン変換では、（ｘ，ｙ）を変換前の画素位置、（ｘ’，ｙ’）を変換後の画素位置としたとき、これらの画素位置の関係は、下記の式（１）で表される。
【００３０】
【数１】
2015090562.tif 000003
【００３１】
上記の式（１）の係数ａ、ｂ、ｃ、ｄ、ｅ、ｆは、アフィンパラメータと呼ばれ、これらの係数の値を算出することによって、平行移動、回転、拡大縮小、剪断等の各種変換を行うことができる。例えば、係数ａ＝１、ｂ＝０、ｄ＝０、ｅ＝１とした場合、変換前の画素位置（ｘ，ｙ）を、ｘ軸方向にｃ、ｙ軸方向にｆ、平行移動することができる。また、ａ＝ｃｏｓθ、ｂ＝−ｓｉｎθ、ｄ＝ｓｉｎθ、ｅ＝ｃｏｓθとした場合、変換前の画素位置（ｘ，ｙ）を、回転角θだけ回転させることができる。
【００３２】
上記の式（１）は、ｎ個のブロックに分割された低露出画像のｉ番目のブロックの動きベクトルｖｉ＝（ｘ'ｉ−ｘｉ，ｙ'ｉ−ｙｉ）に基づいて、下記の式（２）のように表すことができる。
【００３３】
【数２】
2015090562.tif 000004
上記の式（２）には、誤差が存在し、その誤差量は、単純に式（２）の右辺と左辺の差である。位置ずれ補正部１１３は、例えば、最小二乗法を用いて、式（２）の誤差量の二乗和を最小にする連立方程式を導き出す。二乗和の誤差関数δは、下記の式（３）で表すことができる。
【００３４】
【数３】
2015090562.tif 000005
【００３５】
位置ずれ補正部１１３は、上記の式（３）を、係数ａ、ｂ、ｃ、ｄ、ｅ、ｆを変数としてそれぞれ偏微分することにより、上記の式（３）の誤差関数δの勾配を表す関数を求め、それらの関数値を０とする連立方程式を導出する。導出した連立方程式を、行列を用いて整理すると、下記の式（４）となる。位置ずれ補正部１１３は、下記の２式を解くことにより、アフィンパラメータの最適値を算出する。
【００３６】
【数４】
2015090562.tif 000006
【００３７】
位置ずれ補正部１１３は、式（４）式で求められたアフィン係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを式（１）に代入する。続いて、位置ずれ補正部１１３は、低露出画像の各画素の画素位置（ｘ，ｙ）を、式（１）に代入することにより、適正露出画像に位置合わせした画素位置（ｘ’，ｙ’）に変換し、変換後の画素位置（ｘ’，ｙ’）の輝度値を元の画素位置（ｘ，ｙ）の輝度値に一致させる。
【００３８】
このして、位置ずれ補正部１１３は、アフィン変換を用いて、低露出画像を幾何学的に変換して、位置ずれを補正して適正露出画像に位置合わせした新たな低露出画像を作成する。位置ずれ補正部１１３は、適正露出画像と新たな低露出画像と輝度飽和領域判定部１１２から供給された輝度飽和領域情報とを、被写体判定部１１４に供給する。
【００３９】
位置ずれ補正部１１３は、撮影画像取得部１１１から供給された背景合焦画像についても、同様に、アフィン変換を用いて、適正露出画像に位置合わせして、新たな背景合焦画像を生成する。位置ずれ補正部１１３は、適正露出画像と新たな背景合焦画像とを被写体領域判定部１１５に供給する。
【００４０】
被写体判定部１１４は、輝度飽和領域に撮像された被写体が、光源であるか単に明るい物体（以下、「高輝度物体」という）であるかを判定する。輝度飽和してＲＧＢの輝度値がいずれも最高値２５５となった画素によって形成される輝度飽和領域は、白く塗りつぶされた、いわゆる白飛びとなる。この場合、適正露出画像のみから、輝度飽和領域の被写体が、光源であるか高輝度物体であるかを判定することは困難である。本実施形態では、被写体判定部１１４は、適正露出画像と低露出画像とを比較して、被写体が、光源であるか高輝度物体であるかを判定する。
【００４１】
具体的には、被写体判定部１１４は、適正露出画像の輝度飽和領域に対応する低露出画像上の領域を特定して、その輝度値を求めて予め設定された閾値Ｌｔと比較し、輝度値が閾値Ｌｔより大きい場合には、被写体は光源であると判定する。一方、低露出画像における適正露出画像の輝度飽和領域に対応する領域の輝度値が閾値Ｌｔより小さい場合、被写体判定部１１４は、輝度飽和領域に撮像された被写体は高輝度物体であると判定する。
【００４２】
被写体判定部１１４は、適正露出画像の輝度飽和領域に撮像された被写体が光源であるか光源以外の高輝度物体であるかを示す被写体情報と位置ずれ補正部１１３から供給された輝度飽和領域情報を、ぼかし対象領域特定部１１７に供給する。被写体判定部１１４は、ＣＰＵ１０１等から構成される。
【００４３】
ここで、図３から図５を参照して、輝度飽和領域に撮像された被写体が光源であるか高輝度物体であるかを判定する方法について、具体例に基づいてより詳細に説明する。
【００４４】
図３に示す適正露出画像３００は、適正露出で室内撮影した撮影画像である。適正露出画像３００に写っている室内照明３０１とテーブル３０２は、共に、輝度飽和して白飛びしている。室内照明３０１は、点灯中は光源となり、適正露出で撮影した場合でも輝度飽和して白飛びする。テーブル３０２は、光源ではないため、通常、適正露出で撮影した場合には輝度飽和する可能性は低いが、室内照明３０１からの照明光をテーブル上面が反射して輝度飽和し、白飛びが生じている。この状態では、室内照明３０１とテーブル３０２は、対応する画素のＲＧＢの輝度値は、図５（Ａ）に示すように、各色、最大値２５５を示し、適正露出画像３００単独では、輝度飽和領域に撮像される被写体が光源であるか高輝度物体であるかを判定することは困難である。
【００４５】
一方、図４に示す低露出画像３１０は、適正露出よりも低い露出レベルで室内撮影した画像である。室内照明３０１は、光源であるため、露出レベルを下げて撮影しても、輝度値の低下は小さく、図５（Ｂ）に示すように、ＲＧＢの輝度値は、各色、閾値Ｌｔを上回る。一方、テーブル３０２は、露出レベルを下げて撮影した場合には、輝度値の低下が大きく、図５（Ｃ）に示すように、ＲＧＢの輝度値はいずれも閾値Ｌｔを下回る。したがって、被写体判定部１１４は、輝度値の低下が小さい室内照明３０１は光源であると判定し、輝度値の低下が大きいテーブル３０２は光源以外の高輝度物体であると判定する。
【００４６】
図２に示す被写体領域判定部１１５は、ＣＰＵ１０１等から構成され、適正露出画像の主要被写体領域と背景領域とを判定する。この判定のため、被写体領域判定部１１５は、まず、位置ずれ補正部１１３から供給された、適正露出画像と新たな背景合焦画像のそれぞれの輝度分布を分析し、エッジ成分、例えば、高周波数成分のみを取り出す。高周波数成分の抽出には、（ｉ）特定のカットオフ周波数以上の周波数成分のみを透過させるバンドパスフィルタを用いる方法、（ｉｉ）ローパスフィルタにより低周波成分を抽出した後、原信号から低周波信号を減算する方法等、公知の方法を適用すればよい。
【００４７】
被写体領域判定部１１５は、適正露出画像から高周波数成分が抽出され、背景合焦画像からは高周波数成分が抽出されなかった画像領域を主要被写体領域、適正露出画像から高周波数成分が抽出されず、背景合焦画像から高周波数成分が抽出された画像領域を背景領域と判定する。被写体領域判定部１１５は、判定した主要被写体領域と背景領域をそれぞれ特定する被写体領域情報を、ぼかし対象領域特定部１１７に供給する。
【００４８】
ぼかし対象領域特定部１１７は、ＣＰＵ１０１等から構成され、ぼかし処理の対象領域を特定する。より詳細には、ぼかし対象領域特定部１１７は、被写体判定部１１４から取得した輝度飽和領域情報と、被写体領域判定部１１５から取得した被写体領域情報とを参照して、輝度飽和領域が背景領域に含まれる場合、適正露出画像の輝度飽和領域をぼかし処理の対象領域と特定する。ぼかし対象領域特定部１１７は、ぼかし処理の対象領域を示すぼかし対象領域情報を、ぼかし処理部１１８に供給する。
【００４９】
ぼかし処理部１１８は、ＣＰＵ１０１等から構成され、ぼかしフィルタを用いてぼかし対象領域特定部１１７により特定されたぼかし対象領域にぼかし処理を施す。
【００５０】
以下、ぼかし処理部１１８が、ぼかしフィルタにガウシアンフィルタを用いる例について説明する。ガウシアンフィルタは、空間的配置を考慮して、フィルタの中央（原点）に位置する注目画素に近いほど重みが大きくなるようにガウス関数による重み付けをして加重平均を取ることにより画像を平滑化する。この重み付けの重み量は、下記の式（５）により決定される。
【００５１】
【数５】
2015090562.tif 000007
【００５２】
式（５）は、ガウシアンフィルタの重み係数Ｇ（ｘ，ｙ）を、注目画素を原点（ｘ＝０，ｙ＝０）とする座標により示す式である。また、σは任意の定数であり、標準偏差を、σ２は分散を示す。σは、ぼかしの広がりの大きさとみなすことができ、σの値が大きいほど、より強くぼかしを施すことができる。
【００５３】
ぼかし処理部１１８は、被写体判定部１１４により輝度飽和領域に撮像された被写体が高輝度物体であると判定された場合、ぼかし対象領域特定部１１７から取得したぼかし対象領域情報が示す領域に、ガウシアンフィルタＧ（ｘ，ｙ）にさらに重み係数ｋを乗算することにより重みｋ・Ｇ（ｘ，ｙ）が設定されたぼかしフィルタを適用してぼかし処理を行う。ここで、重み係数ｋは、ぼかし対象領域の適正露出画像と低露出画像における輝度値の差Ｌｓが小さい程大きくなる正の係数値である。
【００５４】
一方、ぼかし処理部１１８は、被写体判定部１１４により輝度飽和領域に撮像された被写体が光源であると判定された場合、ぼかし対象領域特定部１１７から取得したぼかし対象領域情報が示す領域の画素値を指数変換した後、上述したガウシアンフィルタを適用して畳み込み演算し、得られた畳み込み演算の結果をさらに逆変換する、疑似的なフィルタ（以下、単に「疑似フィルタ」という）を用いてぼかし処理を実行する。以下、疑似フィルタについて具体的に説明する。
【００５５】
ＣＣＤ（Charge Coupled Device）の受光素子（フォトダイオード）、網膜の受光器官等は、輝度（明るさ）を対数的な感度でとらえることが知られている。したがって、直線的に表現されるＲＧＢの輝度値は、実際の輝度（明るさ）を対数変換した数値で表されているといえる。
【００５６】
そのため、ぼかし処理するにあたり、各画素のＲＧＢの輝度値をそのまま畳み込み演算するのではなく、一旦、輝度値Ｌ（ｘ，ｙ）を光エネルギーｅｘｐ（Ｌ（ｘ，ｙ））に指数変換し、指数変換した輝度値ｅｘｐ（Ｌ（ｘ，ｙ））とガウシアンフィルタＧ（ｘ，ｙ）との積の総和を求めることにより、畳み込み演算を行い、最後に、畳み込み演算の結果（Ｊ（ｘ，ｙ））を対数変換してＲＧＢの輝度値ｌｎ（Ｊ（ｘ，ｙ））に戻す。これにより、光エネルギーが非常に強い光源を光学的にぼかしたときに発生する円形のぼけ（以下、「玉ぼけ」という）と同様の画像が形成される。
【００５７】
このように、ぼかし処理部１１８は、被写体判定部１１４による判定結果に応じて、適用するぼかしフィルタを選択してぼかし処理を施す。これにより、高輝度物体を被写体とする輝度飽和領域には、輝度値に応じた重みを付加したぼかし処理を行うことにより、自然なぼかし画像を得ることができる。一方、光源を被写体とする輝度飽和領域には、光エネルギーが非常に強い光源を光学的にぼかしたときに発生する玉ぼけを形成することができる。従って、本実施形態によれば、被写体に応じた好適なぼかしフィルタを選択して適用することにより、光学的なぼかしと同様のぼかしがかかった自然な風合いの撮影画像を得ることができる。
【００５８】
次に、図６に示すフローチャートを参照して、上記構成及び機能を備える画像処理装置１００が実行するぼかし処理について説明する。本ぼかし処理は、ＣＰＵ１０１が、ユーザからの指示を入力装置１０６を介して受信したことに応答して開始する。
【００５９】
まず、前提として、撮像装置２００が、ぼかし処理の対象となる、適正露出画像と付随する低露出画像及び背景合焦画像とを取得しているものとする。
ＣＰＵ１０１は、撮影画像取得部１１１として、通信インターフェース１０４を介して、適正露出画像と付随する低露出画像及び背景合焦画像とを撮像装置２００から取得し、記憶装置１０５に記憶する（ステップＳ１０１）。
【００６０】
次に、ＣＰＵ１０１は、輝度飽和領域判定部１１２として、適正露出画像に、ＲＧＢデータの輝度値のいずれもが最大値２５５を示す画素で形成される領域があるか否かを判定することにより、適正露出画像に輝度飽和領域が存在するか否を判定する（ステップＳ１０２）。ＣＰＵ１０１は、存在すると判定した場合（ステップＳ１０２；ＹＥＳ）、輝度飽和領域の位置を示す輝度飽和領域情報をＲＡＭ１０３等に記憶する。
【００６１】
続いて、ＣＰＵ１０１は、位置ずれ補正部１１３として、適正露出画像を基準として、低露出画像と背景合焦画像の位置ずれを補正する（ステップＳ１０３）。具体的には、ＣＰＵ１０１は、上述したように、低露出画像と背景合焦画像とをそれぞれ複数個のブロックに分割し、適正露出画像とのマッチングをとることにより動きベクトルを求め、求めた動きベクトルからアフィンパラメータを求め、求めたアフィンパラメータを用いてアフィン変換を行って、低露出画像と背景合焦画像とをそれぞれ適正露出画像に位置合わせする。
【００６２】
続いて、ＣＰＵ１０１は、被写体領域判定部１１５とぼかし対象領域特定部１１７として、適正露出画像と背景合焦画像とを用いて、適正露出画像の主要被写体領域と背景領域を判定し、適正露出画像において輝度飽和領域が背景領域に含まれるか否かを判定する（ステップＳ１０４）。ＣＰＵ１０１は、輝度飽和領域が背景領域に含まれると判定した場合（ステップＳ１０４；ＹＥＳ）、処理をステップＳ１０６に進める。
【００６３】
一方、ＣＰＵ１０１は、適正露出画像において輝度飽和領域が背景領域に含まれていないと判定した場合（ステップＳ１０４；ＮＯ）、輝度飽和領域がぼかし処理の対象ではないため、処理をステップＳ１０９に進める。
【００６４】
ＣＰＵ１０１は、ステップＳ１０６において、被写体判定部１１４として、輝度飽和領域に撮像された被写体が光源であるか否かを判定する（ステップＳ１０６）。具体的には、ＣＰＵ１０１は、ステップＳ１０３において適正露出画像に位置合わせされた低露出画像上の適正露出画像の輝度飽和領域に対応する領域のＲＧＢ画像データの輝度値が閾値Ｌｔ以上であるか否かを判別し、輝度値が閾値Ｌｔ以上であると判別した場合（ステップＳ１０６；ＹＥＳ）、輝度飽和領域の被写体は光源であり、処理をステップＳ１０７に進める。
【００６５】
一方、ＣＰＵ１０１は、適正露出画像の輝度飽和領域に対応する低露出画像上の領域のＲＧＢ画像データの輝度値が閾値Ｌｔ未満であると判定した場合（ステップＳ１０６；ＮＯ）、輝度飽和領域に撮像された被写体は高輝度物体であり、処理をステップＳ１０８に進める。
【００６６】
ＣＰＵ１０１は、ステップＳ１０７において、ぼかし処理部１１８として、輝度飽和領域に撮像された被写体が光源である輝度飽和領域に、疑似フィルタを用いてぼかし処理を施す（ステップＳ１０７）。これにより、輝度飽和領域に、光学的にぼかしたときにみられる玉ぼけを形成することができる。ＣＰＵ１０１は、ステップＳ１０７の処理を完了すると、処理をステップＳ１０９に進める。
【００６７】
ＣＰＵ１０１は、ステップＳ１０８において、ぼかし処理部１１８として、輝度飽和領域に撮像された被写体が光源以外の高輝度物体である輝度飽和領域に対して、ガウシアンフィルタを用いてぼかし処理を施す（ステップＳ１０８）。これにより、輝度飽和領域に、光学的にぼかしたような自然なぼかしを施すことができる。ＣＰＵ１０１は、ステップＳ１０８の処理を完了すると、処理をステップＳ１０９に進める。
【００６８】
ＣＰＵ１０１は、適正露出画像に輝度飽和領域が複数存在する場合、全ての輝度飽和領域についてステップＳ１０４〜Ｓ１０８の処理を実行したか否かを判定する（ステップＳ１０９）。ＣＰＵ１０１は、全ての輝度飽和領域について上記の処理を実行したと判定した場合（ステップＳ１０９；ＹＥＳ）、本ぼかし処理を終了する。一方、ＣＰＵ１０１は、全ての輝度飽和領域について上記の処理を実行していないと判定した場合（ステップＳ１０９；ＮＯ）、処理をステップＳ１０４に戻し、全ての輝度飽和領域についてステップＳ１０４〜１０８の処理を実行する。
【００６９】
なお、ＣＰＵ１０１は、ステップＳ１０２において、適正露出画像に輝度飽和領域が存在しないと判定した場合（ステップＳ１０２；ＮＯ）、本ぼかし処理の対象が存在しないため、本ぼかし処理を終了する。
【００７０】
以上、説明したように、本実施形態によれば、被写体を光源とする背景領域の輝度飽和領域に、背景を光学的にぼかした場合に見られる玉ぼけを形成することができる。一方、被写体を高輝度物体とする背景領域の輝度飽和領域に、自然なぼかし処理を施すことができる。このように、背景領域に含まれる輝度飽和領域に異なるぼかし処理を施すことにより、光学的にぼかしたかのようなぼかしを施した撮影画像を得ることができる。
【００７１】
（実施形態２）
実施形態１では、ぼかし処理におけるぼかしフィルタの重み付けには、撮像装置２００（撮影位置）から被写体までの距離（以下、「被写体距離」という）を考慮していない。しかし、ぼかしの広がりの大きさは、被写体距離等に依存することが知られている。したがって、実施形態２では、被写体距離を考慮してぼかしフィルタの重み付けをする画像処理装置１５０について説明する。
【００７２】
実施形態２に係る画像処理装置１５０の物理構成は、図１に示す画像処理装置１００の物理構成と同様である。
【００７３】
一方、実施形態２に係る撮像装置２５０は、ユーザからの撮像の指示に従って、適正露出画像と、低露出画像と、背景合焦画像に加え、適正露出画像と同一被写体を異なる視点から適正露出で撮影した視点変化画像の計４枚の画像の組を自動的に生成する。撮像装置２５０は、その他の機能等については、撮像装置２００と同様である。なお、適正露出画像と視点変化画像とを取得するための手法は任意である。例えば、撮像装置２５０で適正露出画像を撮影した後、撮像装置２５０をスライド移動させて同一被写体を撮影するようにしてもよいし、１台の撮像装置２５０が備える光軸が平行な２つの撮像部を用いて撮像してもよいし、２つの撮像装置２５０を光軸が平行になるように配置してほぼ同時に撮影を行うようにしてもよい。
【００７４】
図７に示すように、実施形態２に係る画像処理装置１５０は、機能的には、撮影画像取得部１５１、輝度飽和領域判定部（第１判定手段）１５２、位置ずれ補正部１５３、被写体判定部（第２判定手段）１５４、被写体領域判定部（第３判定手段）１５５、被写体距離算出部１５６、ぼかし対象領域特定部１５７、ぼかし処理部１５８、を備える。なお、画像処理装置１５０が備える被写体距離算出部１５６以外の構成要素は、画像処理装置１００が備える構成要素とそれぞれ同様である。したがって、画像処理装置１５０が画像処理装置１００に追加して備える被写体距離算出部１５６を中心に説明する。
【００７５】
撮影画像取得部１５１は、ＣＰＵ１０１から撮影の指示に従って撮像装置２５０が生成した適正露出画像と視点変化画像とを撮像装置２５０から取得し、被写体距離算出部１５６に供給する。
【００７６】
被写体距離算出部１５６は、ＣＰＵ１０１等から構成され、適正露出画像の撮影位置からぼかし対象領域に写っている被写体（光源又は高輝度物体）までの距離Ｄを求める。まず、被写体距離算出部１５６は、ぼかし対象領域特定部１５７により特定されたぼかし対象領域の適正露出画像の位置を求める。次に、被写体距離算出部１５６は、画像マッチング技術を用いて、視点変化画像上のぼかし対象領域を特定し、その位置を求める。続いて、被写体距離算出部１５６は、適正露出画像上のぼかし対象領域の水平座標ｘと視点変化画像上のぼかし対象領域の水平座標ｘ’のずれ、即ち、視差（ｘ−ｘ’）を求める。続いて、被写体距離算出部１５６は、適正露出画像の撮影位置と視点変化画像の撮影位置との距離ｄ（＝基線長）と、視差＝（ｘ−ｘ’）と、撮像装置２５０の焦点距離ｆと、画素ピッチｐとに基づいて、下記の式（６）に基づいて、各画素に写っている被写体までの距離を求める。
【００７７】
【数６】
2015090562.tif 000008
【００７８】
被写体距離算出部１５６は、求めた距離Ｄをぼかし処理部１５８に供給する。
【００７９】
ぼかし処理部１５８は、被写体距離算出部１５６から取得した被写体距離情報が示す各被写体距離を、ぼかしフィルタの重み付けに反映して、畳み込み演算をすることにより、輝度飽和領域にぼかし処理を施す。図８に示すように、高輝度物体については、被写体距離が長くなるほどぼかしフィルタに大きな重みを付加する。また、高輝度物体以外の被写体については、被写体距離が短い場合には特に重みを付加しないが、被写体距離が長い場合には畳み込み演算の効果が生じるようにぼかしフィルタに重みを付加する。実施形態１で説明した式（１）におけるσの値は、被写体距離に比例するため、被写体距離が長いほど大きな重みを付加することができる。このように、ぼかしの対象である被写体が撮影位置から遠いほど、ぼかしフィルタに大きな重みを付加して畳み込み演算をすることにより、ぼかしの広がりを大きくすることができる。
【００８０】
次に、図９に示すフローチャートを参照して、画像処理装置１５０が実行するぼかし処理について説明する。本ぼかし処理は、ユーザからのぼかし処理の指示をＣＰＵ１０１が受信したことに応答して開始される。
【００８１】
図９に示すフローチャート中のステップＳ２０１〜Ｓ２０４、Ｓ２０６〜Ｓ２０９は、図６に示すフローチャート中のＳ１０１〜Ｓ１０４、Ｓ１０６〜Ｓ１０９とそれぞれ同様である。図９に示すフローチャートは、図６に示すフローチャートにステップＳ２０５の処理が追加されている。したがって、ここでは、ステップＳ２０５の処理を中心に説明する。
【００８２】
ＣＰＵ１０１は、ステップＳ２０１において、撮影画像取得部１５１として、適正露出画像と同一被写体について異なる視点から適正露出で撮影された視点変化画像を撮像装置２００からさらに取得し、記憶装置１０５に記憶する（ステップＳ２０１）。
【００８３】
ＣＰＵ１０１は、ステップＳ２０４においてＹＥＳと判定した場合、ステップＳ２０１において取得した適正露出画像と視点変化画像とを用いて被写体距離を算出する（ステップＳ２０５）。より詳細には、ＣＰＵ１０１は、上述したように、被写体距離算出部１５６として機能し、適正露出画像と視点変化画像との同一の被写体に対する視差θと適正露出画像の撮影位置と視点変化画像の撮影位置との距離ｄとに基づいて、三角測量の原理を用いて各被写体までの距離を算出する。
【００８４】
ＣＰＵ１０１は、ステップＳ２０６において、輝度飽和領域に撮像された被写体が光源であるか否かを判定した後、判定結果に応じて適用するぼかしフィルタを選択し、それぞれぼかし処理を施す（ステップＳ２０７、Ｓ２０８）。ＣＰＵ１０１は、ぼかし処理を施す際、ステップＳ２０５で算出された被写体距離をぼかしフィルタの重み付けに反映させる。ＣＰＵ１０１は、上述したように、被写体距離が短いほど小さい重みを付加し、被写体距離が長くなるほど大きな重みを付加する。
【００８５】
ＣＰＵ１０１は、適正露出画像のすべての輝度飽和領域にステップＳ２０７又はＳ２０８によるぼかし処理を施した後（ステップＳ２０９）、本ぼかし処理を終了する。
【００８６】
以上説明したように、実施形態１では、適正露出画像の輝度飽和領域に撮像された被写体に応じて、輝度飽和領域をぼかすためのぼかしフィルタを選択し、実施形態２では、さらに、輝度飽和領域に撮像された被写体が撮影位置から遠いほど、選択されたぼかしフィルタに大きい重みを付加して畳み込み演算を実行する。これにより、実際の撮影環境により即した多様なぼかしの効果を得ることができる。
【００８７】
（変形例１）
低露出画像として、ガンマ補正が施されていない適正露出画像を使用することも可能である。この場合、撮像装置２００又は２５０は、ガンマ補正が施された適正露出画像と、ガンマ補正が施されていない適正露出画像と、背景合焦画像とを生成し出力する。あるいは、撮像装置２００又は２５０は、ガンマ補正が施された適正露出画像を出力し、画像処理装置１００又は１５０で、ガンマ補正が施されていない適正露出画像を生成してもよい。ガンマ補正は、表示・印刷される画像の輝度を修正するための処理であり、ガンマ補正が施されていない撮影画像の輝度値は、ガンマ補正が施された撮影画像の輝度値と比較して低い傾向がある。したがって、被写体判定部１１４、１５４は、低露出画像として、ガンマ補正が施されていない適正露出画像を処理することにより、一定のぼかし効果を得ることができる。
【００８８】
（変形例２）
被写体領域判定部１１５、１５５は、適正露出画像の主要被写体領域と背景領域とを判定する方法として、上述した方法に限らず、他の公知の方法を用いてもよい。例えば、合焦領域とこれに連続する特定の範囲内の色度差の領域を主要被写体領域としてもよい。また、主要被写体が人物である場合、例えば、顔認識機能を用いて顔領域を推定し、これを主要被写体領域としてもよい。
【００８９】
（変形例３）
実施形態１及び２では、ＲＧＢの輝度値のいずれもが最大値２５５である画素を輝度飽和した画素であると判別したが、これに限られない。ＲＧＢの輝度値の少なくとも１つが最大値２５５となった画素を輝度飽和した画素であると判別し、同じ色で輝度飽和した画素により形成される領域にぼかし処理を施すようにしてもよい。これにより、白飛びした輝度飽和領域だけでなく、例えば、赤く発光する高輝度物体を被写体とする輝度飽和領域もぼかし処理の対象となるため、撮影環境に即したぼかし画像を得ることができる。
【００９０】
（変形例４）
上記実施形態では、撮像装置２００、２５０がＲＧＢ輝度データを出力する例を示したが、撮像装置２００、２５０は、輝度信号Ｙ、色差信号Ｕ（Ｂ−Ｙ）、Ｖ（Ｒ−Ｙ）を出力する装置、例えば、デジタルビデオカメラでもよい。撮像装置２００、２５０の出力データが、例えば、８ビットのＹＵＶ画像データである、各画素の輝度値を輝度信号Ｙを用いて上述した各種処理を実行すればよい。ＲＧＢ画像データは、各色、０〜２５５の全階調度で示されるが、ＹＵＶ画像データでは、一般的に、輝度信号Ｙは１６〜２３５、色差信号Ｕ、Ｖは１６〜２４０の限定された階調度で示される。したがって、輝度飽和した画素の輝度信号Ｙの値は、最大値２３５を示す。このように、各画素の輝度値が１つの輝度信号Ｙの値で表現されるため、ＲＧＢ画像データの場合と比較して、輝度飽和領域の検出時間等を短縮することができる。なお、撮影画像がＲＧＢ画像データにより表現されている場合でも、下記の式（６）を用いて、ＹＵＶ画像データに変換することができる。
【００９１】
【数７】
2015090562.tif 000009
【００９２】
（変形例５）
実施形態２において、被写体距離算出部１５６は、複数の画像から光源又は高輝度物体までの距離を求めたが、各画素に写っている被写体までの距離を求め、そのうちから、光源又は高輝度物体までの距離を抽出するようにしてもよい。また、画像処理により光源又は高輝度物体までの距離を求める例に限定されない。例えば、撮像装置２５０に任意の被写体までの距離を検出する測距センサ等を配置し、測距センサにより光源又は高輝度物体までの距離を測定し、測定値を被写体距離算出部１５６に供給するようにしてもよい。
【００９３】
なお、上記実施形態では、疑似フィルタ、ガウシアンフィルタ等を用いて適正露出画像の輝度飽和領域に各種ぼかし処理を施す例を説明したが、背景領域のぼかし処理はこの例に限らない。上記実施形態で説明した輝度飽和領域に施すぼかし処理とは別に、適宜、輝度飽和領域以外の背景領域にぼかし処理を施してもよい。
【００９４】
なお、本発明に係る機能を実現するための構成を予め備えた画像処理装置として提供することができることはもとより、プログラムの適用により、既存の情報機器を、本発明に係る画像処理装置として機能させることもできる。すなわち、上記実施形態で例示した画像処理装置１００による各機能構成を実現させるためのプログラムを、既存の情報機器を制御して機能させることができる。また、本発明に係る制御方法は、画像処理装置を用いて実施できる。
【００９５】
また、このようなプログラムの適用方法は、任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ、メモリーカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネット等の通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。
【００９６】
また、上記の実施形態は、本発明を説明するためのものであり、本発明の範囲を制限するものではない。したがって、当業者であれば上記の各構成要素を均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００９７】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願発明の当初の特許請求の範囲に記載された発明を付記する。
【００９８】
（付記１）
同一の被写体を異なる露出で撮影した第１画像と第２画像とを取得する取得手段と、
前記取得手段により取得された前記第１画像に輝度が飽和している飽和領域があるか否かを判定する第１判定手段と、
前記第１判定手段により前記第１画像に前記飽和領域があると判定された場合、前記飽和領域と前記第２画像における前記飽和領域に対応する領域との輝度値の差に基づいて、前記飽和領域に撮像された被写体が光源であるか否かを判定する第２判定手段と、
前記第２判定手段による判定結果に応じて特性の異なる複数のぼかし処理から一のぼかし処理を選択し、前記飽和領域に前記一のぼかし処理を施すぼかし手段と、
を備える画像処理装置。
【００９９】
（付記２）
前記第１画像は、前記被写体に焦点を合わせて適正露出で撮影した画像であり、
前記第２画像は、前記被写体に焦点を合わせて前記適正露出より低い露出で撮影した画像である、
付記１に記載の画像処理装置。
【０１００】
（付記３）
前記ぼかし手段は、前記第２判定手段により前記飽和領域に撮像された被写体が光源であると判定された場合、前記第１画像の画素値を指数変換し、指数変換された画素値と重み付けされた係数行列とを用いて畳み込み演算を実行し、その結果を対数変換することにより、前記飽和領域にぼかしを施す、
付記１又は２に記載の画像処理装置。
【０１０１】
（付記４）
前記ぼかし手段は、前記第２判定手段により前記飽和領域に撮像された被写体が光源ではないと判定された場合、前記第１画像の画素値と重み付けされた係数行列とを用いて畳み込み演算を実行することにより、前記飽和領域にぼかしを施す、
付記１乃至３のいずれか１つに記載の画像処理装置。
【０１０２】
（付記５）
前記第１画像の被写体領域と背景領域とを判定する第３判定手段と、
前記第３判定手段により判定された前記背景領域に含まれる、前記第１判定手段により判定された前記飽和領域を、ぼかし処理の対象領域と特定する特定手段と、
を更に備え、
前記ぼかし手段は、前記特定手段により特定されたぼかし処理の対象領域に、選択した前記一のぼかし処理を施す、
付記１乃至４のいずれか１つに記載の画像処理装置。
【０１０３】
（付記６）
前記取得手段は、前記第１画像とは異なる位置に合焦した第３画像をさらに取得し、
前記第３判定手段は、前記第１画像と前記第３画像のそれぞれの輝度分布に基づいて、前記第１画像の被写体領域と背景領域とを判定する、
付記５に記載の画像処理装置。
【０１０４】
（付記７）
撮影位置から被写体までの距離を推定する推定手段を、さらに備え、
前記ぼかし手段は、前記推定手段により推定された前記距離に応じて前記重み付けを決定する、
付記３又は４に記載の画像処理装置。
【０１０５】
（付記８）
前記取得手段は、前記第１画像とは異なる視点から前記被写体を撮影した第４画像をさらに取得し、
前記推定手段は、前記第１画像と前記第４画像の視差に基づいて、撮影位置から被写体までの距離を推定し、
前記ぼかし手段は、前記推定手段により推定された前記距離に応じて前記重み付けを決定する、
付記７に記載の画像処理装置。
【０１０６】
（付記９）
画像にぼかし処理を施す画像処理装置の方法であって、
同一の被写体を異なる露出で撮影した第１画像と第２画像とを取得するステップと、
前記第１画像に輝度が飽和している飽和領域があるか否かを判定するステップと、
前記第１画像に前記飽和領域があると判定された場合、前記飽和領域と前記第２画像における前記飽和領域に対応する領域との輝度値の差に基づいて、前記飽和領域に撮像された被写体が光源であるか否かを判定するステップと、
前記飽和領域に撮像された被写体が光源であるか否かの判定結果に応じて特性の異なる複数のぼかし処理から一のぼかし処理を選択し、前記飽和領域に前記一のぼかし処理を施すステップと、を含む方法。
【０１０７】
（付記１０）
画像にぼかし処理を施す画像処理装置を制御するコンピュータに、
同一の被写体を異なる露出で撮影した第１画像と第２画像とを取得する機能、
前記第１画像に輝度が飽和している飽和領域があるか否かを判定する機能、
前記第１画像に前記飽和領域があると判定された場合、前記飽和領域と前記第２画像における前記飽和領域に対応する領域との輝度値の差に基づいて、前記飽和領域に撮像された被写体が光源であるか否かを判定する機能、
前記飽和領域に撮像された被写体が光源であるか否かの判定結果に応じて特性の異なる複数のぼかし処理から一のぼかし処理を選択し、前記飽和領域に前記一のぼかし処理を施す機能、
を実現させるためのプログラム。
【符号の説明】
【０１０８】
１００，１５０…画像処理装置、１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…通信インターフェース、１０５…記憶装置、１０６…入力装置、１０７…表示装置、１０８…内部バス、１１１…撮影画像取得部、１１２…輝度飽和領域判定部（第１判定手段）、１１３…位置ずれ補正部、１１４…被写体判定部（第２判定手段）、１１５…被写体領域判定部（第３判定手段）、１１７…ぼかし対象領域特定部、１１８…ぼかし処理部、１５１…撮影画像取得部、１５２…輝度飽和領域判定部、１５３…位置ずれ補正部、１５４…被写体判定部、１５５…被写体領域判定部、１５６…被写体距離算出部、１５７…ぼかし対象領域特定部、１５８…ぼかし処理部、２００，２５０…撮像装置、３００…適正露出画像、３０１…室内照明、３０２…テーブル、３１０…低露出画像
【図１】
2015090562.tif 000010
【図２】
2015090562.tif 000011
【図３】
2015090562.tif 000012
【図４】
2015090562.tif 000013
【図５】
2015090562.tif 000014
【図６】
2015090562.tif 000015
【図７】
2015090562.tif 000016
【図８】
2015090562.tif 000017
【図９】
2015090562.tif 000018