(57)【特許請求の範囲】
【請求項１】
ぼけ修正画像を決定する方法であって、前記方法は、データ処理システムにより少なくとも一部が実施され、
（ａ）短い露光時間でキャプチャされたシーンの鮮明な画像を受信するステップ、
（ｂ）前記鮮明な画像より長い露光時間でキャプチャされた前記シーンのぼけ画像を受信するステップであって、前記ぼけ画像は前記鮮明な画像より高いレベルのモーション・ブラーを有する、ステップ、
（ｃ）前記鮮明な画像及び前記ぼけ画像に応答してぼけの中核を決定するステップ、
（ｄ）前記鮮明な画像に応答して１又は複数の基準差分画像を決定するステップであって、
特定の基準差分画像の各ピクセルは、前記鮮明な画像内の対応するピクセルと所定の相対位置にある前記鮮明な画像内の近隣ピクセルとの間の差を計算することにより決定され、各基準デジタル画像は、異なる所定の相対位置に関連付けられる、ステップ、
（ｅ）前記基準差分画像と候補ぼけ修正画像について計算された候補差分画像の対応するセットとの間の差の関数である画像差分項を含むエネルギ関数を定めるステップであって、前記候補ぼけ修正画像について計算された候補差分画像は、対応する基準差分画像と関連付けられた前記所定の相対位置を用いて計算される、ステップ、
（ｆ）前記エネルギ関数を用いて候補ぼけ修正画像を評価することにより、前記ぼけ画像、前記ぼけの中核に応答してぼけ修正画像を決定するステップ、
（ｇ）前記ぼけ修正画像をプロセッサによりアクセス可能なメモリ・システムに格納するステップ、
を有する方法。
【請求項２】
前記ぼけの中核は、前記候補画像と前記鮮明な画像をぼけの中核の候補と畳み込むことにより決定された候補ぼけ画像との間の差の関数である項を含むエネルギ関数を最小化する最適化方法を用いることにより決定される、請求項１に記載の方法。
【請求項３】
前記ぼけの中核は、前記鮮明な画像内の画像ピクセルのサブセット及び前記ぼけ画像内の画像ピクセルの対応するサブセットのみを分析することにより決定され、２つの前記サブセットは、重要な画像の詳細を含むよう決定される、請求項２に記載の方法。
【請求項４】
前記鮮明な画像のピクセルのサブセットは、
前記鮮明な画像若しくは前記ぼけ画像又はそれらの両方からラプラシアン画像を決定し、
前記ラプラシアン画像を分析して重要な画像の詳細を含む画像ピクセルのサブセットを決定することにより、前記鮮明な画像内の画像ピクセルのサブセット及び前記ぼけ画像内の画像ピクセルの対応するサブセットを選択する、
ことにより選択される、請求項３に記載の方法。
【請求項５】
前記画像ピクセルのサブセットは、所定の閾を超える前記ラプラシアン画像内のピクセルを含む、請求項４に記載の方法。
【請求項６】
ノイズ除去アルゴリズム若しくはトーン・スケール調整アルゴリズム又はそれらの両方は、前記ぼけの中核を決定するために用いられる前に、前記鮮明な画像に適用される、請求項２に記載の方法。
【請求項７】
前記ぼけの中核は、複数のサイズ変更された前記鮮明な画像及び異なる解像度を有する前記ぼけ画像を分析することにより決定される、請求項２に記載の方法。
【請求項８】
前記１又は複数の基準差分画像は、水平方向のオフセットを有する所定の相対位置に対応する水平差分画像及び垂直方向のオフセットを有する所定の相対位置に対応する垂直差分画像を有する、請求項１に記載の方法。
【請求項９】
前記ぼけ修正画像は、ベイズ推定方法を用いて決定される、請求項１に記載の方法。
【請求項１０】
前記ベイズ推定方法は、エネルギ関数を用いて候補ぼけ修正画像を評価することを含む、請求項９に記載の方法。
【請求項１１】
前記エネルギ関数は、
前記ぼけ画像と候補ぼけ修正画像を前記ぼけの中核と畳み込むことにより決定された候補ぼけ画像との間の差の関数である画像忠実度の項、
を含む、請求項１０に記載の方法。
【請求項１２】
前記エネルギ関数は、前記候補ぼけ修正画像の勾配の関数である項を更に含む、請求項１１に記載の方法。
【請求項１３】
前記エネルギ関数は、共役勾配アルゴリズムを用いて最適化される、請求項１０に記載の方法。
【請求項１４】
前記ぼけ修正画像は、周波数領域の逆畳み込み方法を用いて決定される、請求項１に記載の方法。
【請求項１５】
前記鮮明な画像を前記ぼけ画像と良好に協調させるために、前記鮮明な画像及び前記ぼけ画像にアフィン変換を適用するステップ、を更に有する請求項１に記載の方法。
【請求項１６】
前記鮮明な画像及び前記ぼけ画像は、１回のボタン押下に応答して、デジタル・カメラを用いて順次キャプチャされる、請求項１に記載の方法。
【請求項１７】
前記モーション・ブラーは、少なくとも部分的に、前記鮮明な画像及び前記ぼけ画像がキャプチャされる時間中の前記デジタル・カメラの動きによる、請求項１６に記載の方法。
【請求項１８】
前記モーション・ブラーは、少なくとも部分的に、前記鮮明な画像及び前記ぼけ画像がキャプチャされる時間中の前記シーン内の被写体の動きによる、請求項１４に記載の方法。
【請求項１９】
前記鮮明な画像及び前記ぼけ画像は、デジタル・ビデオのフレームである、請求項１に記載の方法。
【請求項２０】
デジタル・カメラ・システムであって、
シーンの画像をキャプチャする画像センサ、
前記画像センサに前記シーンを画像化するレンズ・システム、
プロセッサによりアクセス可能なメモリ・システム、
データ処理システム、
を有し、前記データ処理システムは、
短い露光時間でキャプチャされたシーンの鮮明な画像を受信するステップ、
前記鮮明な画像より長い露光時間でキャプチャされた前記シーンのぼけ画像を受信するステップであって、前記ぼけ画像は前記鮮明な画像より高いレベルのモーション・ブラー及び低いレベルの画像ノイズを有する、ステップ、
前記鮮明な画像及び前記ぼけ画像に応答してぼけの中核を決定するステップ、
前記鮮明な画像に応答して１又は複数の基準差分画像を決定するステップ、であって、
特定の基準差分画像の各ピクセルは、前記鮮明な画像内の対応するピクセルと所定の相対位置にある前記鮮明な画像内の近隣ピクセルとの間の差を計算することにより決定され、各基準デジタル画像は、異なる所定の相対位置に関連付けられる、ステップ、
前記基準差分画像と候補ぼけ修正画像のために計算された候補差分画像の対応するセットとの間の差の関数である画像差分項を含むエネルギ関数を定めるステップであって、前記候補ぼけ修正画像のために計算された候補差分画像は、対応する基準差分画像と関連付けられた前記所定の相対位置を用いて計算される、ステップ、
前記エネルギ関数を用いて候補ぼけ修正画像を評価することにより、前記ぼけ画像、前記ぼけの中核に応答してぼけ修正画像を決定するステップ、
前記ぼけ修正画像をプロセッサによりアクセス可能なメモリ・システムに格納するステップ、
を実行する、デジタル・カメラ・システム。
【請求項２１】
ぼけ修正画像を決定するコンピュータ・プログラムであって、非一時的プロセッサ可読媒体に格納された実行可能ソフトウェア・アプリケーションを有し、前記実行可能ソフトウェア・アプリケーションは、データ処理システムに、
（ａ）短い露光時間でキャプチャされたシーンの鮮明な画像を受信するステップ、
（ｂ）前記鮮明な画像より長い露光時間でキャプチャされた前記シーンのぼけ画像を受信するステップであって、前記ぼけ画像は前記鮮明な画像より高いレベルのモーション・ブラーを有する、ステップ、
（ｃ）前記鮮明な画像及び前記ぼけ画像に応答してぼけの中核を決定するステップ、
（ｄ）前記鮮明な画像に応答して１又は複数の基準差分画像を決定するステップであって、
特定の基準差分画像の各ピクセルは、前記鮮明な画像内の対応するピクセルと所定の相対位置にある前記鮮明な画像内の近隣ピクセルとの間の差を計算することにより決定され、各基準差分画像は、異なる所定の相対位置に関連付けられる、ステップ、
（ｅ）前記基準差分画像と候補ぼけ修正画像のために計算された候補差分画像の対応するセットとの間の差の関数である画像差分項を含むエネルギ関数を定めるステップであって、前記候補ぼけ修正画像のために計算された候補差分画像は、対応する基準差分画像と関連付けられた前記所定の相対位置を用いて計算される、ステップ、
（ｆ）前記エネルギ関数を用いて候補ぼけ修正画像を評価することにより、前記ぼけ画像、前記ぼけの中核に応答してぼけ修正画像を決定するステップ、
（ｇ）前記ぼけ修正画像をプロセッサによりアクセス可能なメモリ・システムに格納するステップ、
を実行させる、コンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ぼけ画像修正の分野に関し、より詳細には短い露光時間でキャプチャされた第１の鮮明な画像とより長い露光時間でキャプチャされたシーンの第２のぼけ修正画像とを用いてぼけ修正画像を決定する方法に関する。
【背景技術】
【０００２】
デジタル画像におけるぼけ画像のある共通のソースは、画像のキャプチャに関連する露光時間（積分時間）中のカメラとシーンとの間の相対運動である。この種のぼけ画像は、「モーション・ブラー（motion  blur）」、「スミア（smear）」と呼ばれる。モーション・ブラーは、通常、画像キャプチャ環境の光レベルが暗く、長い露光時間が必要なときに生じる。
【０００３】
モーション・ブラーを低減する１つのアプローチは、採光を補完するために電子フラッシュを用いることである。しかしながら、これは、被写体が比較的カメラの近くにいるときにのみ効果的である。さらに、多くのユーザは、フラッシュ撮影された写真が満足のいくものではないことを知っている。
【０００４】
モーション・ブラーを低減する別のアプローチは、画像キャプチャ中の露光時間を短縮するために、電子画像センサの光感度を向上させることである。近年、この分野で大きな進歩があるが、現在利用可能な電子画像センサの光感度は、多くの画像キャプチャ環境においてモーション・ブラーを防ぐほど十分高くない。
【０００５】
電子画像センサの光感度を低下させる１つの要因は、カラー画像を形成させるためにセンサの上に配置されるカラー・フィルタの使用である。例えば、米国特許番号第３，９７１，０６５号明細書で教示されている良く知られた「バイヤ・パターン」は、カラー画像信号を検出するために、赤、緑及び青色フィルタの繰り返しアレイの使用を教示している。この一般的なアプローチは、今日、大部分の消費者デジタル・カメラで用いられているが、カラー・フィルタ・アレイ（ＣＦＡ）は入射光の約３分の２を無駄にしてしまうという望ましくない効果を有するので、画像システムの写真の速度を実質的に低下させてしまう。
【０００６】
Muramatsuの米国特許番号第４，８７６，５９１号明細書は、ビーム・スプリッタと２つの異なるセンサとを有する電子画像システムを開示している。このシステムでは、１つのセンサはカラー・フィルタを持たず、他のセンサはあるパターンのカラー・フィルタを有する。カラー・フィルタを有しないセンサは、向上した光感度を提供し、他のセンサは色情報を提供する。このシステムは、単一の従来の画像センサよりも光感度を改善しているが、２つのセンサとビーム・スプリッタ・とを必要とするため、システムの全体的な複雑性、大きさ及びコストが増大している。さらに、ビーム・スプリッタは画像から各センサへの光の半分しか検出せず、写真の速度の改善が限られる。
【０００７】
Hamilton他の米国特許出願番号２００７／００４６８０７号明細書は、幾つかのカラー画像ピクセルを有する単一のセンサを用いたデジタル画像システムであって、カラー・フィルタ及びカラー・フィルタを有しない幾つかのパンクロマティック画像ピクセルを備えたシステムを教示している。補間アルゴリズムは、高速パンクロマティック画像ピクセルが画像の詳細情報を提供する場合、フルカラー画像を再構成するために用いられる。このアプローチは、短い露光時間を可能にすることによりモーション・ブラーをある程度まで低減できるが、多くの低光画像シナリオではあるレベルのモーション・ブラーが依然として存在する。
【０００８】
デジタル画像のモーション・ブラーの影響を低減する別の方法は、キャプチャされた画像のぼけを補償する画像増強アルゴリズムを使用することである。このようなアルゴリズムは、「ぼけ修正」又は「逆畳み込み（デコンボリューション）」アルゴリズムと呼ばれる。このようなアルゴリズムは、大きく２つのカテゴリに分類できる。つまり、「ブラインド」と「非ブラインド」である。ぼけ画像に関連するぼけの中核が未知のとき、問題は、「ブラインド・デコンボリューション」であり、ぼけの中核が分かっているとき、「非ブラインド・デコンボリューション」であると言われる。
【０００９】
非ブラインド・デコンボリューションでは、最も一般的な技術は、「ルーシー・リチャードソン（ＲＬ）」デコンボリューションである。（文献W.H.Richardson,  "Bayesian-based  iterative  method  of  image  restoration,"  Journal  of  the  optical  society  of  America,  Vol.６２,  pp.５５-５９,  １９７２、及びL.B.Lucy,  "Aniterative  technique  for  the  rectification  of  observed  distributions,"  Astronomical  Journal,  vol.７９,  pp.７４５-７５４,  １９７４を参照）この方法は、ぼけ修正画像のピクセル強度がポアソン分布に従うという仮定の下で、ぼけ修正画像（「潜在画像（latent  image）」とも称される）の決定を含む。
【００１０】
文献「Improved  image  deblurring  with  anti-reflective  boundary  conditions  and  re-blurring」(Inverse  Problems,  Vol.２２,  pp.２０３５-２０５３,  ２００６),Donatellie  et  al.は、ＰＤＥ（Partial  Differential  Equation）に基づくモデルを用い、反射防止境界条件及び再ぼけ段階を組み込むことにより、リンギングの低減されたぼけ修正された画像を回復している。
【００１１】
文献「Progressive  inter-scale  and  intra-scale  non-blind  image  deconvolution」(ACM  Transaction  on  Graphics,  Vol.２７,  Iss.３,  ２００８),  Yuan,  et  al.は、有意にリンギングを低減する進行型スケール間およびスケール内非ブラインド画像デコンボリューションを開示している。
【００１２】
ブラインド・デコンボリューションは、不良設定問題であり、極めて興味深い。純粋なブラインド・デコンボリューションへのアプローチは、単一のぼけ画像又は複数のぼけ画像のいずれかに適用される。最も興味深い問題は、単一画像のブラインドぼけ修正であり、ぼけ修正画像の同時推定及び画像ぼけに関する点像分布関数（Point  Spread  Function:  PSF）を必要とする。
【００１３】
文献「Removingcamerashakefromasinglephotograph」(ACM  Transaction  on  Graphics,  Vol.２５,  pp.７８７-７９４,  ２００６),  Fergus  et  al.は、ぼけの中核が複雑で鮮明であることが多いことを示している。彼らは、自然画像の勾配について特定の統計的分布を仮定しながら、ぼけの中核を回復させるために集合体の学習のアプローチを教示している。
【００１４】
文献「High-quality  motion  deblurring  from  a  single  image」(ACM  Transaction  on  Graphics,  Vol.２７,  pp.１-１０,  ２００８),  Shan  et  al.は、ぼけの中核の推定及び非ぼけ画像の再構成の両方の統一された確率的モデルを用い、モーション・ブラーを除去する方法を開示している。
【００１５】
文献「Understanding  and  evaluating  blind  deconvolution  algorithms」(Proc.  IEEE  Conf.  on  Computer  Vision  and  Pattern  Recognition,  ２００９,  Vol.２７,  pp.１-１０,  ２００８),  Levin,  et  al.は、多数の単一画像のブラインド・デコンボリューション・アルゴリズムを記載及び評価している。
【００１６】
複数のぼけ画像を有し、ぼけ修正過程に更なる制約をもたらしうる。文献「Two  motion-blurred  images  are  better  than  one」(Pattern  Recognition  Letters,  Vol.３６,  pp.２１１-２１７,  ２００５),  Rav-Acha,  etal.は、中核の推定の向上をもたらすために異なるぼけ方向を有する画像の使用を教示している。
【００１７】
近年、別の種類のブラインド・デコンボリューションが開示されている。これは、ぼけ像に加えて追加情報を用い、デコンボリューションを改善する。この方法は、「疑似ブラインド・デコンボリューション」として分類される。文献「Simultaneous  image  formation  and  motion  blur  restoration  via  multiple  capture」(Proc.  International  Conference  Acoustics,  Speech,  Signal  Processing,  pp.１８４１-１８４４,  ２００１),  Liu  et  al.は、通常の露光時間内に複数の高速フレームをキャプチャするために、ＣＭＯＳセンサを用いることを教示している。モーション・ブラーを有する画像ピクセルは、高速フレームの中の１つからのピクセルで置換される。
【００１８】
文献「Motion  deblurring  using  hybrid  imaging」(Proc.  IEEE  Conf.  on  Computer  Vision  and  Pattern  Recognition,  Vol.１,  pp.６５７−６６４,  ２００３),  Ben-Ezra,  et  al.は、時間的に同期した低解像度画像シーケンスと一緒に同時に高解像度画像シーケンスをキャプチャするハイブリッド・カメラを開示している。この方法では、高解像度画像の全体的なモーション・ブラーを推定するために、オプティカル・フローが低解像度画像から得られる。
【００１９】
文献「Codedexposurephotograph:motiondeblurringusingflutteredshutter」(ACM  Transaction  on  Graphics,  Vol.２５,  pp.７９５-８０４,  ２００６),  Rasker,  et  al.は、疑似ランダム・シーケンスを有する通常の露光時間中にシャッターを開閉する「フラッタード・シャッター」カメラを開示している。フラッターは、通常の「ボックス・フィルタ」を変更し、ぼけ画像の高周波数の空間的詳細を保ソンする広帯域フィルタにする。結果として、対応するデコンボリューションは、良設定問題になる。
【００２０】
文献「image  deblurring  with  blurred/noisy  image  pairs」,(ACM  Transaction  on  Graphics,  Vol.２６,  Issue  ３,  ２００７),  Yuan,  et  al.は、ぼけたノイズの多い画像対を用いた画像ぼけ修正の方法を開示している。各画像対は、長い露光時間でキャプチャされたぼけ画像と短い露光時間でキャプチャされたノイズのある画像を有する。短い露光時間の画像に関連するノイズは、低光条件では深刻なので、ぼけ修正はノイズ除去動作の性能に大きく依存する。
【００２１】
文献「Image  and  depth  from  a  conventional  camera  with  a  coded  aperture」(ACM  Transaction  on  Graphics,  Vol.２６,  Issue  ６,  ２００７),  Levin,  et  al.は、ぼけ修正アルゴリズムで使用できる概算ぼけ中核を得るために符号化開口を用いる。このぼけ修正アプローチは、ピンぼけに起因する画像ぼけに限られる。
【発明の概要】
【課題を解決するための手段】
【００２２】
本発明は、ぼけ修正画像を決定する方法を提示する。当該方法は、データ処理システムにより少なくとも一部が実施され、短い露光時間でキャプチャされたシーンの鮮明な画像を受信するステップ、前記鮮明な画像より長い露光時間でキャプチャされた前記シーンのぼけ画像を受信するステップであって、前記ぼけ画像は前記鮮明な画像より高いレベルのモーション・ブラー及び低いレベルの画像ノイズを有する、ステップ、前記鮮明な画像及び前記ぼけ画像に応答してぼけの中核を決定するステップ、前記鮮明な画像に応答して１又は複数の基準差分画像を決定するステップ、前記ぼけ画像、前記ぼけの中核及び前記１又は複数の基準差分画像に応答してぼけ修正画像を決定するステップ、前記ぼけ修正画像をプロセッサによりアクセス可能なメモリ・システムに格納するステップ、を有する。
【００２３】
本発明は、鮮明な画像より低いノイズ・レベルを有するが、ぼけ画像より高い鮮明さのレベルを有するぼけ修正画像を生成するという利点を有する。
【００２４】
本発明は、従来のぼけ修正アルゴリズムよりも少ないリンギング・アーティファクトを有するぼけ修正画像を生成するという更なる利点を有する。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態によるデジタル画像を分類するシステムのコンポーネントを示す高位レベルの図である。
【図２】本発明の好適な実施形態のフローチャートである。
【図３】短い露光時間及び長い露光時間で画像対をキャプチャするタイミング図である。
【図４】本発明の好適な実施形態による図２のぼけの中核を推定するステップの更なる詳細を示すフローチャートである。
【図５】基準差分画像を決定するために用いられるインデックスのアレイである。
【発明を実施するための形態】
【００２６】
以下の説明では、本発明の幾つかの実施形態は、通常ソフトウェア・プログラムとして実施されるという観点で記載される。当業者は、このようなソフトウェアの等価物がハードウェアで構成されうることを直ちに理解するだろう。画像操作アルゴリズム及びシステムは良く知られているので、本願明細書は、特に本発明による方法の一部を形成する又はより直接的にその方法と協働するアルゴリズム及びシステムを教示する。このようなアルゴリズム及びシステムの他の態様は、関連する画像信号を生成及びその他処理するハードウェア及びソフトウェアと共に、本願明細書に詳細に示され又は記載されないが、従来知られているシステム、アルゴリズム、コンポーネント及び要素から選択されてよい。以下の本発明によるシステムが記載され、本発明の実施に有用なソフトウェアは特に示され、提案され又は記載されないが、従来通りであり当業者の技術の範囲内である。
【００２７】
本発明は、本願明細書に騎士あされた実施形態の組合せを包含する。「特定の実施形態」等への言及は、本発明の少なくとも１つの実施形態に存在する特徴を表す。「一実施形態」又は「特定の実施形態」等の別個の言及は、必ずしも同一の１又は複数の実施形態を表すものではない。しかしながら、このような実施形態は、特に示されない限り相互に排他的ではなく、又は直ちに当業者に明らかである。「方法」等の言及に用いられる単数又は複数の使用は、限定的ではない。特に明示されない限り又は文脈上必要でない限り、本願明細書における「又は」の使用は非排他的である。
【００２８】
本願明細書で用いられる「デジタル画像ファイル」の語は、デジタル・スチル画像又はデジタル・ビデオ・ファイルのような任意のデジタル画像ファイルを表す。
【００２９】
図１は、本発明の実施形態によるぼけ修正画像を決定するシステムのコンポーネントを示す高位レベルの図である。システムは、データ処理システム１１０、周辺システム１２０、ユーザ・インタフェース・システム１３０及びデータ記憶システム１４０を有する。周辺システム１２０は、ユーザ・インタフェース・システム１３０及びデータ記憶システム１４０は、データ処理システム１１０に通信可能に接続される。
【００３０】
データ処理システム１１０は、本願明細書に記載された例示的な処理を含む本発明の種々の実施形態の処理を実施する１又は複数のデータ処理装置を有する。用語「データ処理装置」又は「データ・プロセッサ」は、中央演算ユニット（ＣＰＵ）、デスクトップ・コンピュータ、ラップトップ・コンピュータ、メインフレーム・コンピュータ、パーソナル・デジタル・アシスタント、Blackberry（登録商標）、デジタル・カメラ、携帯電話機、又は電気的、磁気的、光学的、バイオロジカル・コンポーネント等で実施されるか否かに関わらずデータを処理し、データを管理し若しくはデータを取り扱う任意の他の装置のような任意の処理装置を包含する。
【００３１】
データ記憶システム１４０は、本願明細書に記載された例示的な処理を含む本発明の種々の処理を実行するために必要な情報を含む情報を格納する１又は複数のプロセッサによりアクセス可能なメモリを有する。データ記憶システム１４０は、データ処理システム１１０に複数のコンピュータ又は装置を介して通信可能に接続された複数のプロセッサによりアクセス可能なメモリを含む分散型のプロセッサによりアクセス可能なメモリ・システムであってもよい。一方で、データ記憶システム１４０は、分散型のプロセッサによりアクセス可能なメモリ・システムである必要はなく、したがって、単一のデータ・プロセッサ又は装置内に配置された１又は複数のプロセッサによりアクセス可能なメモリを有してもよい。
【００３２】
用語「プロセッサによりアクセス可能なメモリ」は、揮発性か不揮発性か、電子的、磁気的、光学的又はその他に関わらず、任意のプロセッサによりアクセス可能なデータ記憶装置を包含し、レジスタ、フロッピ・ディスク、ハード・ディスク、コンパクト・ディスク、ＤＶＤ、フラッシュ・メモリ、ＲＯＭ及びＲＡＭを含むがこれらに限定されない。
【００３３】
用語「通信可能に接続される」は、有線か無線かに関わらず、装置間、データ・プロセッサ管、又はプログラム間のデータが伝達される任意の種類のコネクションを包含する。用語「通信可能に接続される」は、単一のデータ・プロセッサ内の素子間又はプログラム間のコネクション、異なるデータ・プロセッサに配置された素子間又はプログラム間のコネクション、データ・プロセッサ内に配置されていない素子間の全てのコネクションを包含する。これに関し、データ記憶システム１４０は、データ処理システム１１０と別に示されるが、当業者は、データ記憶システム１４０がデータ処理システム１１０内に完全に又は部分的に格納されてもよいことを理解するだろう。さらに、これに関し、周辺システム１２０及びユーザ・インタフェース・システム１３０はデータ処理システム１１０と別個に示されるが、当業者は、これらのシステムの一方又は両方がデータ処理システム１１０内に完全に又は部分的に格納されてもよいことを理解するだろう。
【００３４】
周辺システム１２０は、データ処理システム１１０にデジタル・コンテンツ・レコードを提供する１又は複数の装置を有してもよい。例えば、周辺システム１２０は、デジタル・スチル・カメラ、デジタル・ビデオ・カメラ、携帯電話機、又は他のデータ・プロセッサを有してもよい。データ処理システム１１０は、デジタル・コンテンツ・レコードを周辺システム１２０の装置から受信すると、このデジタル・コンテンツ・レコードをデータ記憶システム１４０に格納する。
【００３５】
ユーザ・インタフェース・システム１３０は、マウス、キーボード、別のコンピュータ、又はデータがデータ処理システム１１０に入力される任意の装置又は装置の組合せを有してもよい。これに関し、周辺システム１２０はユーザ・インタフェース・システム１３０と別個に示されるが、周辺システム１２０は、ユーザ・インタフェース・システム１３０に一部として含まれてもよい。
【００３６】
ユーザ・インタフェース・システム１３０は、ディスプレイ装置、プロセッサによりアクセス可能なメモリ、又はデータがデータ処理システム１１０により出力される任意の装置又は装置の組合せを有してもよい。これに関し、ユーザ・インタフェース・システム１３０がプロセッサによりアクセス可能なメモリを有する場合、図１にはユーザ・インタフェース・システム１３０とデータ記憶システム１４０が別個に示されているが、このようなメモリは、データ記憶システム１４０の一部であってもよい。
【００３７】
図２を参照して本発明を説明する。ぼけ画像を受信するステップ２００は、ぼけ画像２０５を受信するために用いられる。また、鮮明な画像を受信するステップ２１０は、鮮明な画像２１５を受信するために用いられる。次に、ぼけの中核を推定するステップ２２０は、ぼけ画像２０５及び鮮明な画像２１５に応じて、ぼけの中核２２５を決定するために用いられる。ぼけの中核２２５は、ぼけ画像２０５とほぼ等しい鮮明さの特徴と有する画像を生成するために鮮明な画像２１５に適用される畳み込みカーネルである。次に、基準差分画像（reference  differential  image）を計算するステップ２３０は、１又は複数の基準差分画像２３５のセットを鮮明な画像２１５から計算するために用いられる。基準差分画像２３５のセットは、異なる方向（例えば、ｘ及びｙ）の数学的導関数を計算することにより計算された勾配画像（gradient  image）又は異なるピクセル間隔（例えば、Δｘ＝１、２、３）の数学的導関数を計算することにより計算された勾配画像を含む。次に、ぼけ修正画像を計算するステップ２４５は、ぼけ画像２０５、ぼけの中核２２５、及び基準差分画像２３５に応じて、ぼけ修正画像２５０を計算するために用いられる。後に詳述するように、本発明の好適な実施形態では、ぼけ修正画像を計算するステップ２４５は、ＭＡＰ（Maximum-A-Posterior）推定を用いるベイジアン推定方法を利用する。最後に、ぼけ修正画像を格納するステップ２２５は、結果として生じたぼけ修正画像２５０をプロセッサによりアクセス可能なメモリに格納するために用いられる。プロセッサによりアクセス可能なメモリは、ＲＡＭ又はハード・ディスクのような任意の種類のデジタル記憶装置であってもよい。
【００３８】
本発明の一実施形態では、ぼけ画像２０５及び鮮明な画像２１５は、デジタル・カメラを用い、２つの連続的な露出を用いてキャプチャされる。鮮明な画像２１５は、短い露光時間を用いてキャプチャされ、低いレベルのモーション・ブラーを有する画像を提供する。しかしながら、この画像は、通常、特にシーンが低いレベルの最高で写真を撮られた場合に、高いレベルの画像ノイズを有する。ぼけ画像２０５は、長い露光時間を用いてキャプチャされ、低いレベルの画像ノイズを有する画像を提供する。しかしながら、露光時間中にシーン内のカメラと被写体との間に相対運動がある場合、ぼけ画像２０５は高いレベルのモーション・ブラーを有する。図３は、短い露光時間と長い露光時間で画像対をキャプチャするタイミング図の例を示す。短い露光時間２７０（時間ｔ＝０とｔ＝ｔ１との間）は、鮮明な画像２１５をキャプチャするために用いられる。第２の長い露光時間２８０（時間ｔ＝ｔ１とｔ＝ｔ２との間）は、ぼけ画像２０５をキャプチャするために用いられる。露光時間は、デジタル・センサの積分時間を調整することにより、或いはシャッターを制御することにより、制御することができる。本発明の好適な実施形態では、２つの画像は、１回のボタン押下に応答してデジタル・カメラによりキャプチャされる。
【００３９】
図４は、本発明の好適な実施形態によるぼけの中核を推定するステップ２２０の詳細を提供するフローチャートを示す。ぼけの中核は通常、色チャネルと独立なので、ぼけ画像２０５と鮮明な画像２１５のグレイスケール版を用いてぼけの中核を決定することが概して望ましい。画像を前処理するステップ４００は、ぼけ画像２０５からぼけたグレイスケール画像４０５を計算するため、及び鮮明な画像２１５から鮮明なグレイスケール画像４１０を計算するために用いられる。カラー画像からグレイスケール画像への変換は、従来知られている任意の方法を用いて実行できる。本発明の好適な実施形態では、グレイスケール画像は、カラー・チャネルの加重和を実行することにより決定される。
【００４０】
【数１】
0005543605.tif 000002
ここで、Ｒ、Ｇ及びＢは、それぞれ入力画像の赤、緑及び青色チャネルのピクセル値である。ａＲ、ａＧ及びａＢは定数である。Ｐはグレイスケール画像のピクセル値である。
【００４１】
画像を前処理するステップ４００は、画像をグレイスケール・フォーマットに変換するのに加えて他の機能を実行することもできる。例えば、画像を前処理するステップ４００は、鮮明な画像２１５にノイズ除去アルゴリズムを適用してノイズ・レベルを低減することができる。メジアン・フィルタリング・アルゴリズムのような多くの従来知られたノイズ除去アルゴリズムがある。
【００４２】
画像を前処理するステップ４００は、トーン・スケール調整処理を適用し、２つの画像の信号レベルを等しくすることができる。ヒストグラムの均等化は、従来知られたトーン・スケール調整処理の一例である。
【００４３】
画像を前処理するステップ４００は、ぼけ画像２０５又は鮮明な画像２１５にアフィン変換を適用し、他方の画像と良好に協調するために用いることができる。これは、２つの画像がキャプチャされた時間と時間の間のカメラ又はシーンの動きを説明するために用いることができる。
【００４４】
画像を前処理するステップ４００は、ぼけ画像２０５のサブセット及び対応する鮮明な画像２１５のサブセットをトリミング（crop  out）し、計算効率を向上させるために用いることもできる。望ましくは、有意な画像の詳細（大きな強度偏差）を有する画像領域が選択される。何故なら、この画像領域では、モーション・ブラーの効果が最も重大だからである。このような画像領域は、ラプラシアン演算子をぼけ画像２０５に適用してラプラシアン画像を形成し、次に高い信号レベルを有するラプラシアン画像の領域を選択することにより、決定することができる。任意的に、ラプラシアン画像は、ラプラシアン演算子を鮮明な画像２１５に適用するか、ぼけ画像２０５と鮮明な画像２１５の両方に適用することにより決定することができる。選択された画像領域は、特定のサイズの方形領域のような隣接する画像領域でありうる。或いは、選択された画像領域は、大きさが所定の閾を超えているラプラシアン画像内の画像ピクセルの周囲の近隣の画像ピクセルのような、画像全体に散乱した画像ピクセルのサブセットを有しうる。本発明の代替の実施形態では、画像領域は手動でユーザにより選択することができる。
【００４５】
本発明の好適な実施形態では、ぼけの中核２２５は、ＭＡＰ（Maximum-A-Posterior）推定を用いたベイズ推定方法で決定される。この方法を用いて、ぼけの中核２２５は、次式のエネルギ関数を定めることにより決定される。
【００４６】
【数２】
0005543605.tif 000003
ここで、ＰＢはぼけたグレイスケール画像４０５であり、ＰＳは鮮明なグレイスケール画像４１０である。Ｋはぼけの中核２２５である。λ３は重み係数である。
【００４７】
【数３】
0005543605.tif 000004
は畳み込み演算子である。
【００４８】
【数４】
0005543605.tif 000005
はl-norm演算子である。Ｅ（Ｋ）はエネルギ値であり、ぼけの中核の関数である。このエネルギ関数はぼけ画像（ＰＢ）と、鮮明な画像（ＰＳ）を候補のぼけの中核（Ｋ）と共に畳み込みすることにより決定された候補のぼけ画像との間の差の関数である第１の項を有することが分かる。
【００４９】
本発明の好適な実施形態では、このＭＡＰ問題は、良く知られた共役勾配方法により解かれ、次の偏微分方程式（ＰＤＥ）を解くことによりエネルギを最小化するぼけの中核を決定する。
【００５０】
【数５】
0005543605.tif 000006
共役勾配方法を用いてＰＤＥを解くことに関する更なる情報については、前述の文献「Image  and  depth  from  a  conventional  camera  with  a  coded  aperture」Levin,  et  alを参照のこと。
【００５１】
本発明の好適な実施形態では、マルチスケール・アプローチが、スケーリングされた画像の階層に基づき用いられ、最適渦中の極小にトラップされるのを回避する。マルチスケール・アプローチでは、粗い画像スケールで開始する一連のスケールでぼけの中核の推定を順次最適化する反復処理が用いられる。通常、各スケールが２倍だけ異なる２又は３の異なるスケールが良好に動作することが分かっている。
【００５２】
最も粗いスケールで、ぼけの中核を初期化するステップ４１５は、ぼけの中核２２５（Ｋ）を等しい要素を有する所定の範囲の四角形カーネルとして初期化するために用いられる。画像をダウンサンプリングするステップ４２０は、ぼけたグレイスケール画像４０５及び鮮明なグレイスケール画像４１０を現在のスケールにダウンサンプリングするために用いられる。例えば、３つのスケールが用いられる場合、最初の反復は４×ダウンサンプリングを必要とし、２番目の反復は２×ダウンサンプリングを必要とし、３番目の反復は完全な解像度の画像を用いるだろう。
【００５３】
次に、ぼけの中核を更新するステップ４２５は、共役勾配方法を用いて式（３）で与えられたＰＤＥを解くことにより、ぼけの中核２２５の新たな推定を計算するために用いられる。ここで、前の反復からのぼけの中核はＰＤＥの回の初期の推測として用いられる。任意的なぼけの中核の閾を適用する（threshold）ステップ４３０（破線で示される）は、小さいぼけの中核要素（例えば、全エネルギの０．１％より小さい）を閾にして、推定のノイズを低減するために用いられる。ぼけの中核を正規化するステップ４３５は、推定されたぼけの中核を正規化して、ぼけの中核の要素の和が１．０になるようにするために用いられる。テスト４４０は、処理の必要な追加のスケールがあるか否かを決定するために用いられる。追加のスケールがある場合、ぼけの中核の現在の推定は、ぼけの中核をアップサンプリングするステップ４４５を用いて次のスケールにアップサンプリングされる。これは、三次補間のような任意の知られている補間技術を用いて実行できる。処理すべきスケールがもはや残されていない場合、ぼけの中核を出力するステップ４５０は、ぼけの中核２２５の最終的な推定を出力するために用いられる。
【００５４】
本発明の好適な実施形態では、ぼけ修正画像を計算するステップ２４５は、ＭＡＰ（Maximum-A-Posterior）推定と共にベイズ推定方法を用いる。この方法を用いて、ぼけ修正画像２５０は、次式のエネルギ関数を定めることにより決定される。
【００５５】
【数６】
0005543605.tif 000007
ここで、Ｌはぼけ修正画像２５０、Ｋはぼけの中核２２５、Ｂはぼけ画像２０５、Ｓは鮮明な画像２１５、ｊはインデックス値、
【００５６】
【数７】
0005543605.tif 000008
は畳み込み演算子、
【００５７】
【数８】
0005543605.tif 000009
は絶対値演算子、
【００５８】
【数９】
0005543605.tif 000010
は勾配演算子、
【００５９】
【数１０】
0005543605.tif 000011
はｊ番目のインデックスに対応する微分演算子、ｗはピクセルに依存する重み係数、λ１、λ２及びｃｊは重み定数である。
【００６０】
インデックスｊは、差分値を計算する目的で近隣ピクセルを識別するために用いられる。本発明の好適な実施形態では、差分値は、特定のピクセルを中心として５×５ピクセルのウインドウについて計算される。図５は、現在のピクセルを中心としたインデックスのアレイ５００を示す。インデックスのアレイ５００内に示された番号は、インデックスｊである。例えば、ｊ＝６のインデックス値は、現在のピクセル位置５１０の１行上で２列左にあるピクセルに対応する。
【００６１】
微分演算子
【００６２】
【数１１】
0005543605.tif 000012
は現在のピクセルのピクセル値と、インデックスｊにより指定された相対位置のピクセル値との間の差を決定する。例えば、
【００６３】
【数１２】
0005543605.tif 000013
は、鮮明な画像Ｓ内の各ピクセルと、１行上２列左にある対応するピクセルとの間の差を取ることにより決定された差分画像に対応する。これは次式の形式で与えられる。
【００６４】
【数１３】
0005543605.tif 000014
ここで、Δｘｊ及びΔｙｊは、それぞれｊ番目のインデックスに対応する列及び行のオフセットである。差分画像
【００６５】
【数１４】
0005543605.tif 000015
のセットは、ぼけ修正画像２５０について生成されるべき所望の差分画像の推定を表すので、基準差分画像として表すことができる。基準差分画像を計算するステップ２３０は、式（５）を用いて基準差分画像２３５のセットを決定するために用いられる。通常、基準差分画像２３５のセットは、水平方向の近隣ピクセル間の差を表す１又は複数の水平差分画像及び垂直方向の近隣ピクセル間の差を表す１又は複数の垂直差分画像、並びに対角線方向の近隣ピクセル間の差を表す１又は複数の対角差分画像を有することが望ましい。
【００６６】
式（４）で与えられたエネルギ関数の最初の項は、画像忠実度の項である。ベイズ推定の用語では、これは「尤度（likelihood）項」として表されることが多い。この項はぼけ画像２０５（Ｂ）と、ぼけの中核２２５（Ｋ）と共に畳み込みされたぼけ修正画像（Ｌ）のぼけた版との間の差が小さいときに小さくなることが分かる。
【００６７】
式（４）で与えられたエネルギ関数の２番目及び３番目の項は、「画像の事前確率（image  prior）」として表されることが多い。２番目の項は、ぼけ修正画像２５０（Ｌ）の勾配の大きさが小さいとき、低いエネルギを有する。これは、鮮明な画像が、通常、ぼけの端の幅が減少するほど、小さい勾配値でより多くのピクセルを有するという事実を反映している。前述の文献「Image  and  depth  from  a  conventional  camera  with  a  coded  aperture」Levin,  et  alで議論されている理由から、ピクセルに依存する重み係数ｗが次式を用いて決定されることが望ましい。
【００６８】
【数１５】
0005543605.tif 000016
ここで、αは定数（例えば、０．８）である、最適化処理中、
【００６９】
【数１６】
0005543605.tif 000017
は、前の反復のために決定されたＬの推定を用いて各反復のために計算される。代替として、鮮明な画像２１５（Ｓ）は、ぼけ修正画像２５０（Ｌ）の推定として用いることができる。
【００７０】
式（４）で与えられたエネルギ関数の３番目の項は、基準差分画像２３５
【００７１】
【数１７】
0005543605.tif 000018
とぼけ修正画像に対して計算された差分画像
【００７２】
【数１８】
0005543605.tif 000019
との間の差を計算する。この項は、画像微分項として表すことができる。基準差分画像２３５の各々について貢献が決定され、この貢献は、次に１つのエネルギ項を決定するために重み付けされ加算される。この項に対応するエネルギは、ぼけ修正画像に対する差分画像
【００７３】
【数１９】
0005543605.tif 000020
が基準差分画像２３５
【００７４】
【数２０】
0005543605.tif 000021
にほぼ等しいとき、低くなる。
【００７５】
他の研究者等は、式（４）に示されるエネルギ関数の最初の２つの項を有するエネルギ関数を利用している。（例えば、前述の文献「Image  and  depth  from  a  conventional  camera  with  a  coded  aperture」Levin,  et  alを参照のこと。）基準差分画像を含むエネルギ関数に３番目の項を追加することは、先行文献に記載されたエネルギ関数に対して有意な利点を示す。特に、この項の使用は、従来の方法が画像の端近くに生じる傾向のあるリンギング・アーティファクトを低減することにより、ぼけ修正画像２５０の品質を有意に向上することが分かった。
【００７６】
ぼけ修正画像を計算するステップ２４５は、当業者に良く知られている最適化方法を用いて式（４）で与えられたエネルギ関数を最小化することにより、ぼけ修正画像２５０を計算する。本発明の好適な実施形態では、最適化問題は、ＰＤＥとして次式で与えられる。
【００７７】
【数２１】
0005543605.tif 000022
この式は、従来のＰＤＥ解法を用いて解くことができる。本発明の好適な実施形態では、ＰＤＥ解法は、ＰＤＥが共役勾配アルゴリズムのような従来の一次方程式の解法を用いて解くことができる一次方程式の形式に変換されて用いられる。ＰＤＥ解法に関する更なる詳細については、前述の文献「Image  and  depth  from  a  conventional  camera  with  a  coded  aperture」Levin,  et  alを参照のこと。
【００７８】
ぼけ修正画像を計算するステップ２４５は、ベイズ推定方法に加えて他の技術を用いることできることが当業者により理解されるだろう。例えば、従来の周波数領域の逆畳み込み方法は、ぼけ画像が周波数領域に変換され、ぼけの中核２２５を周波数領域に変換することにより決定された伝達関数により分けられる場合に用いることができる。次に、フィルタリングされた画像が、空間領域に逆変換される。この技術の変形は、良く知られたウィーナ・フィルタを含む。
【００７９】
本発明の方法は、任意の種類のデジタル画像システムにも適用できる。本発明の好適な実施形態では、この方法は、デジタル・スチル・カメラ・システムの一部として実装される。この方法は、デジタル・スチル・カメラ内のプロセッサにより実施されてもよく、代替としてパーソナル・コンピュータのようなデジタル・スチル・カメラの外部のプロセッサにより全体又は一部が実施されてもよい。本発明の方法は、デジタル・ビデオ画像を処理するためにも用いることができる。この場合、デジタル・ビデオのフレームは、短い露光時間と長い露光時間で交互にキャプチャでき、ぼけ修正画像を形成するためにビデオ・フレームの対が処理される。
【００８０】
コンピュータ・プログラム・プロダクトは、１又は複数の記憶媒体、例えば（フロッピ・ディスクのような）磁気ディスク又は磁気テープのような磁気記憶媒体、光ディスク、光学テープ又は機械読み取り可能なバーコードのような光記憶媒体、ＲＡＭ（Random  Access  Memory）又はＲＯＭ（Read-Only  Memory）のような固体電子記憶素子、又は本発明による方法を実行するよう１又は複数のコンピュータを制御するための命令を有するコンピュータ・プログラムを格納するために用いられる任意の他の物理装置若しくは媒体を含む。
【符号の説明】
【００８１】
１１０  データ処理システム
１２０  周辺システム
１３０ユーザ・インタフェース・システム
１４０  データ記憶システム
２００  ぼけ画像を受信するステップ
２０５  ぼけ画像
２１０  鮮明な画像を受信するステップ
２１５  鮮明な画像
２２０  ぼけの中核を推定するステップ
２２５  ぼけの中核
２３０  基準差分画像を計算するステップ
２３５  基準差分画像
２４５  ぼけ修正画像を計算するステップ
２５０  ぼけ修正画像
２５５  ぼけ修正画像を格納するステップ
２７０  短い露光時間
２８０  長い露光時間
４００  画像を前処理するステップ
４０５  ぼけたグレイスケール画像
４１０  鮮明なグレイスケール画像
４１５  ぼけの中核を初期化するステップ
４２０  画像をダウンサンプリングするステップ
４２５  ぼけの中核を更新するステップ
４３０  ぼけの中核に閾を適用するステップ
４３５  ぼけの中核を正規化するステップ
４４０  テスト
４４５  ぼけの中核をアップサンプリングするステップ
４５０  ぼけの中核を出力するステップ
５００  インデックスのアレイ
５１０  現在のピクセル位置
【図１】
0005543605.tif 000023
【図２】
0005543605.tif 000024
【図３】
0005543605.tif 000025
【図４】
0005543605.tif 000026
【図５】
0005543605.tif 000027