(57)【要約】      （修正有）【課題】ボケやブレのある画像の鮮鋭化を可能にするとともに、推定した点拡がり関数（ＰＳＦ）の推定誤差による影響を低減する。【解決手段】入力画像から被写体の情報を検出する主被写体検出部２０９と、被写体の情報に基づいて点拡がり関数を推定するＰＳＦ推定部３０２と、入力画像のブレの状態に基づいて点拡がり関数を補正する平滑化処理部３０３と、補正された点拡がり関数に基づいて入力画像にエッジ強調処理を行うエッジ強調処理部３０４と、を有する。【選択図】図３
2017146882.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から被写体の情報を検出する検出部と、
前記被写体の情報に基づいて点拡がり関数を推定する推定部と、
前記入力画像のブレの状態に基づいて前記点拡がり関数を補正する補正部と、
補正された前記点拡がり関数に基づいて前記入力画像にエッジ強調処理を行う処理部と、を有することを特徴とする画像処理装置。
【請求項２】
前記補正部は、前記入力画像のブレの方向および大きさに基づいて、前記点拡がり関数を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正部は、前記入力画像のブレの方向および大きさに基づいて、前記点拡がり関数を平滑化することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正部は、前記入力画像のブレの方向および大きさに基づいて、前記点拡がり関数の強度を変更することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記処理部は、補正された前記点拡がり関数を前記入力画像に畳み込み処理した画像に基づいて、前記エッジ強調処理を行うことを特徴とする請求項１から４のいずれかに１項に記載の画像処理装置。
【請求項６】
前記処理部は、前記検出部により検出される被写体の距離と他の被写体の距離の差分に基づいて、前記エッジ強調処理を行うことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記処理部は、前記検出部により検出される被写体の距離と合焦している被写体の距離の差分に対するゲインが最小となるように前記エッジ強調処理のゲインを設定することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
入力画像から被写体の情報を検出するステップと、
前記被写体の情報に基づいて点拡がり関数を推定するステップと、
前記入力画像のブレの状態に基づいて前記点拡がり関数を補正するステップと、
補正された前記点拡がり関数に基づいて前記入力画像にエッジ強調処理を行うステップと、を有することを特徴とする画像処理方法。
【請求項９】
請求項８に記載の画像処理方法の各工程をコンピュータに実行させるための画像処理プログラム。
【請求項１０】
請求項９に記載の画像処理プログラムを記録するコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、および記憶媒体に関する。
【背景技術】
【０００２】
従来、点拡がり関数（ＰＳＦ）を用いて撮影画像を鮮鋭化する技術が知られている。例えば、特許文献１では、撮影時のカメラの動き情報からＰＳＦを推定し、推定したＰＳＦに基づいてエッジ強調をすることで手振れなどの要因で劣化した画像を鮮鋭化する技術が開示されている。また、特許文献２では、非特許文献１に記載の方法で画像からＰＳＦの近似解を推定し、推定したＰＳＦの近似解と入力画像をデコンボリューションすることで画像のブレやボケを鮮鋭化する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５１９１２２４号公報
【特許文献２】特開２０１５−６４８９０号公報
【非特許文献】
【０００４】
【非特許文献１】Ｑｉ  Ｓｈａｎ,  Ｊｉａｙａ  Ｊｉａ,  ａｎｄ  Ａｓｅｅｍ  Ａｇａｒｗａｌａ,  “Ｈｉｇｈ-ｑｕａｌｉｔｙ  Ｍｏｔｉｏｎ  Ｄｅｂｌｕｒｒｉｎｇ  ｆｒｏｍ  ａ  Ｓｉｎｇｌｅ  Ｉｍａｇｅ”,  ＳＩＧＧＲＡＰＨ  ２００８
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術では、被写体の焦点ボケを示すＰＳＦを推定できないため、焦点ボケを考慮した鮮鋭化ができない。また、特許文献２に開示された技術では、画像からＰＳＦを推定することで、被写体の焦点ボケを鮮鋭化することが可能であるが、ＰＳＦの近似解を推定するため、推定誤差による弊害が生じる可能性がある。特に、デコンボリューション処理は、周波数空間上で行うため、ギブス現象等により弊害が顕著になる傾向がある。
【０００６】
このような課題に鑑みて、本発明は、ボケやブレのある画像の鮮鋭化を可能にするとともに、推定したＰＳＦの推定誤差による影響を低減可能な画像処理装置、画像処理方法、画像処理プログラム、および記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、入力画像から被写体の情報を検出する検出部と、前記被写体の情報に基づいて点拡がり関数を推定する推定部と、前記入力画像のブレの状態に基づいて前記点拡がり関数を補正する補正部と、補正された前記点拡がり関数に基づいて前記入力画像にエッジ強調処理を行う処理部と、を有することを特徴とする。
【０００８】
また、本発明の他の側面としての画像処理方法は、入力画像から被写体の情報を検出するステップと、前記被写体の情報に基づいて点拡がり関数を推定するステップと、前記入力画像のブレの状態に基づいて前記点拡がり関数を補正するステップと、補正された前記点拡がり関数に基づいて前記入力画像にエッジ強調処理を行うステップと、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ボケやブレのある画像の鮮鋭化を可能にするとともに、推定したＰＳＦの推定誤差による影響を低減可能な画像処理装置、画像処理方法、画像処理プログラム、および記憶媒体を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係るデジタルカメラのブロック図である。
【図２】画像処理部のブロック図である。
【図３】鮮鋭化処理部のブロック図である（実施例１）。
【図４】鮮鋭化処理を示すフローチャートである（実施例１）。
【図５】平滑化処理部のブロック図である（実施例１）。
【図６】エッジ強調処理部のブロック図である（実施例１）。
【図７】主被写体との距離差とエッジ強調強度の関係図である（実施例１）。
【図８】鮮鋭化処理部のブロック図である（実施例２）。
【図９】ＰＳＦ強度変更部のブロック図である（実施例２）。
【図１０】ゲイン特性図である（実施例２）。
【発明を実施するための形態】
【００１１】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１２】
図１は、本発明の実施形態に係るデジタルカメラのブロック図である。デジタルカメラは、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、記録部１０５、制御部１０６、焦点検出部１０７、ブレ状態判断部１０８、操作部１０９、および表示部１１０を備える。
【００１３】
光学系１０１は、フォーカスレンズ、絞り、およびシャッタを備える。光学系１０１は、撮影時にはフォーカスレンズを駆動し被写体のピント合わせを行い、絞りやシャッターを制御することで露光量を調節する。撮像素子１０２は、光学系１０１において結像された被写体像を光電変換によって電気信号に変換するＣＣＤやＣＭＯＳ等の光電変換素子である。Ａ／Ｄ変換部１０３は、入力された電気信号をデジタル化し、画像処理部１０４に出力する。画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された信号に対して、同時化処理、ホワイトバランス補正処理、色変換処理、ガンマ処理、および鮮鋭化処理等を実行し、処理された信号を記録部１０５に出力する。また、画像処理部１０４は、主被写体検出処理を実行する。記録部１０５は、画像処理部１０４が出力した画像情報をＪＰＥＧ等の画像形式に変換し、記録する。制御部１０６は、デジタルカメラ全体の動作制御を行う。制御部１０６は、例えば、撮影画像に基づいて所定の評価値を算出し、画像処理部１０４で行う画像処理のパラメータを決定する。焦点検出部１０７は、撮影時の被写体までの距離情報を取得し、距離マップを生成する。距離マップとは、撮影画像の画素単位での被写体までの距離情報を示す二次元配列である。ブレ状態判断部１０８は、カメラに搭載されている動きセンサを用いて撮影時のデジタルカメラのブレの方向と大きさを判断する。操作部１０９は、ユーザが操作指示を行う部分である。表示部１１０は、例えば、カメラ背面に設けられた液晶ディスプレイ等であり、撮影時の操作の補助を行うための画面や、記録部１０５に保存されている画像等を表示する。
【００１４】
図２を参照して、画像処理部１０４の詳細な説明を行う。図２は、画像処理部１０４のブロック図である。画像処理部１０４は、同時化処理部２０１、ホワイトバランス補正処理部２０２、および輝度・色信号生成部２０３を備える。また、画像処理部１０４は、色変換処理部２０４、色ガンマ処理部２０５、輝度ガンマ処理部２０６、色差信号生成部２０７、鮮鋭化処理部２０８、および主被写体検出部（検出部）２０９を備える。なお、本実施例の画像処理部１０４により実行される画像処理は、ソフトウエアおよびハードウエア上で動作するコンピュータプログラムとしての画像処理プログラムにしたがって実行される。画像処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録されていてもよい。
【００１５】
同時化処理部２０１は、入力されたベイヤーＲＧＢの画像データに対して同時化処理を行い、色信号Ｒ，Ｇ，Ｂを生成する。ホワイトバランス補正処理部２０２は、制御部１０６が算出したホワイトバランスゲイン値に基づいて同時化処理部２０１が生成した色信号ＲＧＢにゲインをかけてホワイトバランスを調整する。輝度・色信号生成部２０３は、ホワイトバランス補正処理部２０２によりホワイトバランスが調整された色信号ＲＧＢに基づいて輝度信号Ｙを生成する。輝度・色信号生成部２０３は、生成した輝度信号Ｙを輝度ガンマ処理部２０６に出力するとともに、色信号ＲＧＢを色変換処理部２０４に出力する。
【００１６】
色変換処理部２０４は、色信号ＲＧＢに対するマトリクス演算などにより、所望のカラーバランスに変換する。色ガンマ処理部２０５は、色信号ＲＧＢにガンマ補正を行う。色差信号生成部２０７は、色信号ＲＧＢからＲ−Ｙ、Ｂ−Ｙ信号を生成し、生成したＲ−Ｙ、Ｂ−Ｙ信号を記録部１０５に出力する。
【００１７】
輝度ガンマ処理部２０６は、輝度信号Ｙに対してガンマ補正を行い、輝度信号Ｙを鮮鋭化処理部２０８および主被写体検出部２０９に出力する。鮮鋭化処理部２０８は、輝度ガンマ処理部２０６から入力された輝度信号Ｙに対して、鮮鋭化処理を実行する。鮮鋭化処理が施された輝度信号Ｙは、記録部１０５に出力され、記録される。主被写体検出部２０９は、輝度信号Ｙに基づいて主被写体の位置と大きさを検出する。主被写体とは、本実施例では、人物の顔を指すが、人体やその一部などでもよい。
【実施例１】
【００１８】
図３および図４を参照して、本実施例の鮮鋭化処理部２０８について説明する。図３は、本実施例の鮮鋭化処理部２０８のブロック図である。図４は、鮮鋭化処理を示すフローチャートである。鮮鋭化処理部２０８は、局所領域抽出部３０１、ＰＳＦ推定部（推定部）３０２、平滑化処理部（補正部）３０３、およびエッジ強調処理部（処理部）３０４を備える。
【００１９】
ステップＳ４０１では、局所領域抽出部３０１は、鮮鋭化処理部２０８に入力された輝度信号Ｙと、主被写体の位置と大きさの情報を用いて、輝度信号Ｙから主被写体の輝度信号を抽出し、ＰＳＦ推定部３０２に出力する。
【００２０】
ステップＳ４０２では、ＰＳＦ推定部３０２は、局所領域抽出部３０１から出力された輝度信号を用いて点拡がり関数（以下、ＰＳＦという）を推定し、推定したＰＳＦを平滑化処理部３０３に出力する。
【００２１】
ここで、ＰＳＦの推定方法について説明する。ＰＳＦ推定部３０２に入力された画像Ｂは、式（１）に示されるように、推定したいＰＳＦを示すＫと、ブレやボケのない画像（潜像）を示すＬの畳み込み演算で表すことができる。
2017146882.tif 000003
【００２２】
は、畳み込み演算を表す。
【００２３】
【数１】
2017146882.tif 000004
【００２４】
ＰＳＦを示すＫと潜像Ｌは未知数であるが、潜像Ｌの初期値を設定することで、暫定的なＰＳＦの推定が可能である。暫定的なＰＳＦを用いて暫定的な潜像Ｌの推定を行い、更に暫定的な潜像Ｌを用いて暫定的なＰＳＦを推定する。このように、ＰＳＦと潜像Ｌの推定を反復し、更新を繰り返す。これにより、ＰＳＦと、潜像Ｌの推定精度を高め、一定の条件を満たしたＰＳＦを、最終的なＰＳＦとする。
【００２５】
ＰＳＦと潜像Ｌの具体的な推定方法は、式（１）の両辺の差を表す項を含むエネルギー関数を最小化することである。それぞれのエネルギー関数は、式（２）と式（３）で表される。式（２）と式（３）のσは、正則化項を表す。正則化項σの例として、画像およびＰＳＦをベクトルとして扱ったときに要素の二乗和をとるＬ２ノルムなどがある。エネルギー関数の最小化の方法として、例えば共役勾配法を用いる方法がある。
【００２６】
【数２】
2017146882.tif 000005
【００２７】
ステップＳ４０３では、平滑化処理部３０３は、ブレ状態判断部１０８が判断したブレの方向と大きさに基づいて、ＰＳＦ推定部３０２が推定したＰＳＦを平滑化する。主被写体に焦点ボケが生じ、かつ、ブレの大きさが小さい場合、平滑化処理部３０３は、ブレの方向に関係なく均等に平滑化を行う。また、主被写体にブレがある場合、平滑化処理部３０３は、ブレの方向へ伸びるように平滑化を行う。これにより、ＰＳＦの推定誤差の影響を効果的に低減し、エッジ強調処理部３０４において良好な鮮鋭化が可能となる。
【００２８】
図５を参照して、ＰＳＦの平滑化方法について具体的に説明する。図５は、平滑化処理部３０３のブロック図である。平滑化処理部３０３は、ＰＳＦ回転部５０１、水平方向ローパスフィルタ部５０２、垂直方向ローパスフィルタ部５０３、およびＰＳＦ逆回転部５０４を備える。
【００２９】
ＰＳＦ回転部５０１は、平滑化処理部３０３に入力されたＰＳＦとブレ方向に基づいてＰＳＦを回転させる。具体的には、ＰＳＦ回転部５０１は、ブレ方向が水平になるようにＰＳＦを回転させる。
【００３０】
水平方向ローパスフィルタ部５０２は、平滑化処理部３０３に入力されたブレの大きさに基づいて、ＰＳＦ回転部５０１が回転させたＰＳＦにローパスフィルタをかける。本実施例で用いるローパスフィルタは、例えば、タップ数をＮとしたとき、式（４）に示されるように、タップ数が大きくなるほど平滑化量が多くなる。
【００３１】
【数３】
2017146882.tif 000006
【００３２】
ローパスフィルタのタップ数は、ブレの大きさが大きい程大きくなる。ただし、タップ数は、あらかじめ設定された最小値Ｔ＿ＭＩＮより大きい。
【００３３】
垂直方向ローパスフィルタ部５０３は、水平方向ローパスフィルタ部５０２によりフィルタ処理されたＰＳＦに、垂直方向へローパスフィルタをかける。タップ数は、Ｔ＿ＭＩＮとする。これにより、ブレ方向に対して、ブレ方向と直交する方向より多タップの平滑化フィルタを用いることでブレ方向に伸びる楕円のように平滑化が可能である。
【００３４】
ＰＳＦ逆回転部５０４は、平滑化処理部３０３に入力されたブレ方向に基づいて、垂直方向ローパスフィルタ部５０３によりフィルタ処理されたＰＳＦを回転させる。回転方向はＰＳＦ回転部５０１による回転方向と逆方向とし、ＰＳＦ逆回転部５０４が出力するＰＳＦの方向特性は平滑化処理部３０３に入力される前のＰＳＦの方向特性と同じになる。ＰＳＦ逆回転部５０４は、方向特性を戻したＰＳＦをエッジ強調処理部３０４に出力する。
【００３５】
ステップＳ４０４では、エッジ強調処理部３０４は、平滑化処理部３０３で平滑化したＰＳＦ、焦点検出部１０７で取得した距離マップ、および主被写体検出部２０９で検出した主被写体の位置と大きさを用いて、輝度信号Ｙを鮮鋭化する。
【００３６】
図６を参照して、エッジ強調処理について説明する。図６は、エッジ強調処理部３０４のブロック図である。エッジ強調処理部３０４は、畳み込み部６０１、強度算出部６０２、減算部６０３、乗算部６０４、および加算部６０５を備える。
【００３７】
畳み込み部６０１は、エッジ強調処理部３０４に入力された輝度信号Ｙを平滑化されたＰＳＦと畳み込み演算し、算出された輝度信号Ｙ’を減算部６０３に出力する。減算部６０３は、輝度信号Ｙと輝度信号Ｙ’との差分信号Ｙ−Ｙ’を生成し、乗算部６０４に出力する。乗算部６０４は、差分信号Ｙ−Ｙ’と強度算出部６０２から出力された強度情報を乗算し、乗算した信号を加算部６０５に出力する。加算部６０５は、乗算部６０４で乗算された信号と輝度信号Ｙを足し合わせることでエッジ強調する。エッジ強調処理部３０４は、輝度信号Ｙと、平滑化されたＰＳＦを畳み込むことで、ブレやボケの特性に基づいてボケを付与された輝度信号Ｙ’との差分から高周波成分を抽出することで、ブレやボケの特性に合わせたエッジ強調信号を生成する。そのため、エッジ強調処理部３０４は、差分信号Ｙ−Ｙ’を輝度信号Ｙに加算することでブレやボケの特性に合わせたエッジ強調処理を実現することが可能となる。
【００３８】
強度算出部６０２の処理について詳細に説明する。強度算出部６０２は、エッジ強調処理部３０４に入力された距離マップ、主被写体の位置とサイズの情報、および合焦領域の位置とサイズの情報を用いて強度情報を算出する。まず、強度算出部６０２は、距離マップを参照し、主被写体の距離平均Ｄ１と、注目領域の距離平均Ｄ２を算出する。次に、距離平均Ｄ１と距離平均Ｄ２との差分の絶対値Ｄ＿ａｂｓを算出し、絶対値Ｄ＿ａｂｓに基づいて強度情報を決定する。このとき、合焦被写体にエッジ強調処理を行うと画質劣化が生じる可能性があるので、絶対値Ｄ＿ａｂｓが合焦領域の平均距離Ｄｐより大きい場合、図７に示されるように、強度は０とする。強度情報の最大値は、あらかじめ設定された値とする。
【００３９】
以上説明したように、本実施例の画像処理部１０４は、推定したＰＳＦの推定誤差による影響を低減しつつ画像を鮮鋭化することが可能となる。
【実施例２】
【００４０】
実施例１では、鮮鋭化処理部２０８において平滑化処理部３０３を用いてＰＳＦの推定誤差の影響を低減したが、本発明はこれに限定されない。図８は、本実施例の鮮鋭化処理部２０８のブロック図である。本実施例では、鮮鋭化処理部２０８は、平滑化処理部３０３の代わりにＰＳＦ強度変更部（補正部）８０１を備える。
【００４１】
図９を参照して、ＰＳＦ強度変更部８０１について説明する。図９は、ＰＳＦ強度変更部８０１のブロック図である。ＰＳＦ強度変更部８０１は、ゲイン設定部９０１、ゲイン整形部９０２、および乗算部９０３を備える。ＰＳＦ強度変更部８０１は、ＰＳＦ推定部３０２で推定したＰＳＦとブレ状態判断部１０８で判断したブレの方向と大きさに基づいて、ＰＳＦにゲイン処理を行い、強度を変更する。強度を変更されたＰＳＦは、エッジ強調処理部３０４に出力される。
【００４２】
ゲイン設定部９０１は、ＰＳＦ推定部３０２から出力されたＰＳＦに基づいて０．０〜１．０のゲインを設定する。ゲインは２次元のＰＳＦにかけるため、２次元で表現される。図１０（ａ）は、ゲイン設定部９０１のゲイン特性図である。横軸がＰＳＦの中心からの距離を示し、縦軸がゲインを示す。図１０（ａ）に示されるように、中心からの距離が大きいほどＰＳＦにかけるゲインは低くなり、あらかじめ設定された閾値Ｔｈを超えるとゲインは０になる。これにより円型に広がるゲインが設定でき、設定されたゲインはゲイン整形部９０２に出力される。
【００４３】
ゲイン整形部９０２は、ゲイン設定部９０１から出力されたゲインと、ブレ状態判断部１０８から出力されたブレの方向を用いて整形を行う。具体的には、ゲイン整形部９０２は、ブレの方向のゲインがブレの方向に直交する方向のゲインよりも高くなるように、ブレの方向に直交する方向へ０〜１のゲインをかけて整形する。図１０（ｂ）は、ゲイン整形部９０２のゲイン特性図である。横軸がＰＳＦの中心を通り、ブレの方向へ伸びる直線との距離を示し、縦軸がゲインを示す。図１０（ｂ）に示されるように、ブレの方方向に直交する方向の距離が大きいほどゲインが低くなり、あらかじめ設定された閾値Ｔｈ＿ｍｉｎを超えるとゲインは０になる。閾値Ｔｈ＿ｍｉｎは、閾値Ｔｈより小さくなるように設定される。その結果、ブレの方向のゲイン強度がブレの方向に直交する方向のゲインよりも高くなる。設定されたゲインは、乗算部９０３に出力される。
【００４４】
乗算部９０３は、ＰＳＦ強度変更部８０１に入力されたＰＳＦとゲイン整形部９０２から出力されたゲインを乗算し、ＰＳＦの強度を変更する。
【００４５】
以上説明したように、本実施例の画像処理部１０４は、推定したＰＳＦの推定誤差による影響を低減しつつ画像を鮮鋭化することが可能となる。
【００４６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４７】
１０４  画像処理部（画像処理装置）
２０９  主被写体検出部（検出部）
３０２  ＰＳＦ推定部（推定部）
３０３  平滑化処理部（補正部）
３０４  エッジ強調処理部（処理部）
８０１  ＰＳＦ強度変更部（補正部）
【図１】
2017146882.tif 000007
【図２】
2017146882.tif 000008
【図３】
2017146882.tif 000009
【図４】
2017146882.tif 000010
【図５】
2017146882.tif 000011
【図６】
2017146882.tif 000012
【図７】
2017146882.tif 000013
【図８】
2017146882.tif 000014
【図９】
2017146882.tif 000015
【図１０】
2017146882.tif 000016