(57)【特許請求の範囲】
【請求項１】
各々の画像源から得られる第１の画像及び第２の画像であり、前記第２の画像が前記第１の画像に比べて異なる解像度及び異なる露光時間である前記各画像につき、
シーンの露光不足で鮮明な第１の画像を取得するステップと、
名目上同じシーンで前記第１の画像と比較して相対的に良く露光され且つぼけのある第２の画像を取得するステップと、
前記第１の画像及び第２の画像をスキャニングして、
前記第１の画像の一部を、適応フィルターに入力信号として提供するステップと、
前記第２の画像の対応する一部を、前記適応フィルターに希望信号として提供するステップと、
前記スキャニングの位置のために、前記入力信号と、前記希望信号の関数と、既存のフィルター係数と、の組合せに基づいた規定のスキャニングの位置で、前記画像らの一部のためのフィルター係数を算出するステップと、
前記フィルター係数に基づいて前記入力信号を適応フィルタリングして出力信号を生成するステップと、
前記出力信号からフィルタリングされた第１の画像を、前記第２の画像よりもぼけが少なくなるように構築するステップと、
を含む画像処理方法。
【請求項２】
前記第１及び第２の画像は、ＲＧＢフォーマットであり、前記画像の一部は、前記第１及び第２の画像の各々の色平面を含み、さらに、
前記フィルター係数及び前記入力信号色平面情報の組合せから、前記フィルタリングされた第１の画像の各色平面を構築することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記第１及び第２の画像はＹＣＣフォーマットであり、前記画像の一部は、前記第１及び第２の画像のそれぞれのＹ平面を含み、
前記フィルタリングされた第１の画像を構築するステップは、前記出力信号を前記フィルタリングされた第１の画像のＹ平面として使用し、前記入力画像のＣｂ及びＣｒ平面を前記フィルタリングされた第１の画像前記フィルタリングされた第１の画像のＣｂ及びＣｒ平面として使用することを含むことを特徴とする請求項１記載の画像処理方法。
【請求項４】
前記フィルタリングされた第１の画像の一部を前記入力信号として適応フィルターに供給するステップと；
前記第２の画像の対応する部分を希望信号として前記適応フィルターに供給するステップと；
前記入力信号をさらに適応的にフィルタリングして更なる出力信号を作り出すステップと；
前記更なる出力信号から、前記フィルタリングされた第１の画像よりもぼけが少ない更なるフィルタリングされた画像を構築するステップと、
を含むことを特徴とする請求項１記載の画像処理方法。
【請求項５】
前記第１及び第２の画像は、ＲＧＢフォーマットであり、
前記フィルタリングされた第１の画像を作り出すために、前記画像の一部は、前記第１及び第２の画像のそれぞれの色平面を含み；
前記フィルタリングされた第１の画像の一部を供給するステップは、前記フィルタリングされた第１の画像をＹＣＣフォーマットに変換することを含み；
さらに前記第２の画像をＹＣＣフォーマットに変換することを含み；
更なる適応的なフィルタリングのために、前記画像の一部は、前記変換された画像のそれぞれのＹ平面を含むことを特徴とする請求項４記載の画像処理方法。
【請求項６】
前記第１及び第２の画像は、ＹＣＣフォーマットであり、
前記フィルタリングされた第１の画像を作り出すために、前記画像の一部は、前記第１及び第２の画像のそれぞれのＹ平面を含み；
前記フィルタリングされた第１の画像の一部を供給するステップは、前記フィルタリングされた第１の画像をＲＧＢフォーマットに変換することを含み；
さらに前記第２の画像をＲＧＢフォーマットに変換することを含み；
更なる適応的なフィルタリングのために、前記画像の一部は、前記変換された画像のそれぞれの色平面を含むことを特徴とする請求項４記載の画像処理方法。
【請求項７】
前記第２の画像のための前記画像源は、前記第１の画像のための前記画像源よりも相対的に高い解像度である請求項１記載の画像処理方法。
【請求項８】
適応フィルタリングに先立って、前記第２の画像のための点広がり関数（ＰＳＦ：Point Spread Function）を推定し、
前記ＰＳＦが予め定義された閾値未満であることに応答して、前記点広がり関数を用いて前記第２の画像をぼけ修正することを含む請求項７記載の画像処理方法。
【請求項９】
前記第２の画像のための前記画像源は、前記第１の画像のための前記画像源よりも相対的に低い解像度であることを特徴とする請求項１記載の画像処理方法。
【請求項１０】
さらに、前記第２の画像源を整列させ補間することで、前記第１の画像源の配置及び解像度と一致させ、
予め定義された閾値を越えることにより、正しく整列されていない前記第１及び第２の画像源に応答して、前記第１及び第２の画像源の線形の組合せから前記希望信号を提供することを含む請求項９記載の画像処理方法。
【請求項１１】
さらに、前記第２の画像源を整列させ補間することで、前記第１の画像源の配置及び解像度と一致させ、
予め定義された閾値を越えることにより、正しく整列されていない前記第１及び第２の画像源に応答して、前記第１及び第２の画像源の内の１つからの位相値の組合せから前記希望信号を提供し、前記第１及び第２の画像源の内の他についての値を増幅することを含む請求項９記載の画像処理方法。
【請求項１２】
前記適応フィルタリングは、前記入力信号について行又は列方向の内の一つで遂行され、さらなる適応フィルタリングが、前記入力信号について行又は列方向の内の他の一つで遂行される請求項４記載の画像処理方法。
【請求項１３】
前記適応フィルタリングに先立って前記露光不足の画像の輝度特性を増幅するステップを含む請求項７記載の画像処理方法。
【請求項１４】
前記第１の画像は、前記第２の画像の直前又は直後に取得された画像の内の１つであることを特徴とする請求項７記載の画像処理方法。
【請求項１５】
プロセッサをプログラミングして請求項１乃至１４のいずれかの方法を遂行するための埋め込まれたコードを有する一以上のプロセッサ読込み可能な媒体。
【請求項１６】
光センサー及び画像センサーと、プロセッサと、前記プロセッサをプログラミングして請求項１乃至１４のいずれかの方法を遂行するための埋め込まれたコードを有するメモリと、を含む画像取得及び処理装置。
【請求項１７】
各々の画像源から得られる第１及び第２の画像につき、シーンの露光不足で鮮明な第１の画像と、名目上同じシーンで前記第１の画像と比較して相対的に良く露光され且つぼけのある第２の画像と、を処理するように配置された画像処理装置であって、
適応フィルターを含み、
前記第１の画像及び第２の画像をスキャニングして、
前記第１の画像の一部を前記適応フィルターに入力信号として提供し、
前記第２の画像の対応する一部を、前記適応フィルターに希望信号として提供し、
前記スキャニングの位置のために、前記入力信号と、前記希望信号と、既存のフィルター係数と、の組合せに基づいた規定のスキャニングの位置で、前記画像らの一部のためのフィルター係数を算出し、
前記適応フィルターは、前記フィルター係数に基づいて前記入力信号から出力信号を生成するように配置され、
前記出力信号から、前記第２の画像よりも相対的にぼけが少ない、フィルタリングされた第１の画像を構築するように配置された画像生成器を含むことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法及び装置に関する。
【背景技術】
【０００２】
名目上同じシーンの２つの源画像(source image)を使用して、どちらかの源画像よりもより良い質またはより高い解像度の単一の対象画像（target image)を作り出すように試みることは、良く知られている。
【０００３】
例えば、Ｇｕｎｔｕｒｋらによる「多数の異なって露光された画像からの高解像度画像再構成」（ＩＥＥＥ信号処理レター、２００６年４月、第４号、第１３巻）、或いは、リンゼイ  ピックアップ（Lyndsey Pickup）らによる「超解像技術（super-resolution）のための最適化及び学習」（英国、エディンバラ、２００６年９月４〜７日、ＢＭＶＣ２００６）に示されているように、超解像技術では、多数の異なって露光されたより低い解像度の画像は、組み合わせられて、シーンの単一の高解像度画像を作り出すことができる。しかしながら、超解像技術では、カメラ又は被写体の移動のいずれかを原因とする個々の源画像のぼけは、源画像を組み合せる前には、通常考慮されない。
【０００４】
米国特許第７，０７２，５２５号明細書は、利得ノイズ、アップサンプリングの副作用（artifact：アーチファクト）または圧縮のアーチファクトを含む処理の影響を緩和するために、画像の元版(original version)を処理することにより作り出された画像の対象版（target version）の適応フィルタリングを開示する。
【０００５】
国際特許出願ＰＣＴ／ＥＰ２００５／０１１０１１（Ｒｅｆ：ＦＮ１０９）号明細書は、１以上の推定された鮮明で短い露光時間（ＳＥＴ：Short Exposure Time）の試写画像からの情報を使用して、より完全に露光されたより高い解像度の主画像のための動き関数（motion function）を計算し、主画像のぼけ修正を支援することを開示する。
【０００６】
スーク・ホアン  リム（Suk Hwan Lim）らによる米国特許公開出願第２００６／０１８７３０８号明細書、及びル  ユエン（Lu Yuan）らによる「ぼかし／ノイズ入り画像対による画像ぼけ修正」（カリフォルニア州サンディエゴ、２００７年８月５〜９日、ＳＩＧＧＲＡＰＨ０７）を含む、他の実に多くの文献は、主画像をぼけ修正する前に第２の参照画像を使用して、主画像中のぼかし関数の計算を試みることに向けられる。
【０００７】
米国特許公開出願第２００６／００１７８３７号明細書に示されたような他のアプローチは、ＳＥＴ画像中の高い画像詳細（image detail）を備えた領域から、及び、より長い露光時間の画像中の低い画像詳細を備えた領域から、画像情報が選ばれる対象画像を再構築するために、各種露光時間を有する２つ以上の画像からの情報を選択することが含まれる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、異なる解像度及び露光量における鮮明な画像とぼけのある画像とを組み合わせることで、相対的に高解像度で、完全に露光され、かつ相対的に鮮明な画像を生成するための、改良された方法及び装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明によれば、添付した請求項に従った方法及び装置が提供される。
【図面の簡単な説明】
【００１０】
本発明の実施の形態は、以下に例を示し、添付した図面を参照して記述される。上述の事項は、以下によって特徴づけられる。
【図１】本発明の第１の実施の形態による適応フィルタリングに先立つ画像の処理を説明するブロック図である。
【図２】図１の処理で使用される試写及び最大解像度画像からの対応する格子点を説明する図である。
【図３】本発明の一の実施例によるＲ／Ｇ／Ｂ色空間中の画像の適応フィルタリングを説明する図である。
【図４】本発明の他の実施例によるＹＣｂＣｒ色空間中の画像の適応フィルタリングを説明する図である。
【図５】（ａ）及び（ｂ）は、発明の第１の実施例の２つの変形による画像の適応フィルタリングをより詳細に例証する図である。
【図６】Ｌ＝３について連続的に繰り返され、図５のフィルタリングにおいて使用されるスライディングベクトル（sliding vector）を説明する図である。
【図７】本発明の他の実施の形態による適応フィルタリングに先立つ画像の処理を説明するブロック図である。
【図８】本発明のさらに他の実施の形態で使用するための、２つの画像を取得することに関して説明するタイミング図である。
【図９（ａ）】図８の画像取得の間に作り出されたいくつかの画像データを示す。
【図９（ｂ）】図８の画像取得の間に作り出されたいくつかの画像データを示す。
【図９（ｃ）】図８の画像取得の間に作り出されたいくつかの画像データを示す。
【図９（ｄ）】図８の画像取得の間に作り出されたいくつかの画像データを示す。
【図９（ｅ）】図８の画像取得の間に作り出されたいくつかの画像データを示す。
【発明を実施するための形態】
【００１１】
ここで図１を参照すると、本発明の第１の実施の形態では、画像を組み合わせて向上された画質の最大解像度画像を作り出す目的で、良く露光されぼけのある相対的に低解像度の画像１２と、鮮明であるが露光不足の最大解像度画像１０とが、処理のために利用される。
【００１２】
より低い解像度の画像１２のサイズはＯｘＰであり、露光不足の最大解像度画像１０のサイズは、ＱｘＲ（但し、Ｏ＜Ｑ、及びＰ＜Ｒ）である。
【００１３】
画像がデジタルスチルカメラ、カメラ付き携帯電話、あるいはデジタルビデオカメラのようなデジタル画像収集装置中で取得される場合、より低い解像度の画像１２は、カメラの種類及び設定に依存する試写及び最大解像度画像の寸法（demensions）を有し、最大解像度画像１０を含む主画像の取得の直前又は直後に取得されたシーンの試写画像であり得る。例えば、試写サイズは３２０ｘ２４０（Ｏ＝３２０；  Ｐ＝２４０）とされることができ、また、最大解像度画像は非常に大きくなり得る（例えば、Ｑ＝３６４８；  Ｒ＝２７３６）。
【００１４】
本発明に従って、適応フィルタリング（後に詳細に記述される）は、（場合により予め処理された）源画像１０，１２に適用され、改善されたフィルタリングされた画像を作り出す。適応フィルタリングは、入力画像（本明細書中でｘ（ｋ）と称される）と、同サイズの希望画像（本明細書中でｄ（ｋ）と称される）を必要とし、合成のフィルタリングされた画像（本明細書中でｙ（ｋ）と称される）もまた、入力画像及び希望画像の両方と同じサイズになる。
【００１５】
そのため、好ましい実施の形態では、試写画像は、最大解像度画像のサイズＱｘＲに補間（interpolate）される。
【００１６】
試写画像を補間する際に、補間された画像１４と最大解像度画像との間の不整合が存在し得ることが理解されるだろう。そのため、好ましい実施の形態では、画像らは、整列されて（１６）、整列され補間された試写画像（整列補間試写画像）１８と、整列された最大解像度画像（最大解像度整列画像）２０を作り出す。例えばＣ  Ｄ．Ｋｕｇｌｉｎ及びＤ  Ｃ．ハインズ（Hines）による「位相相関性画像整列方法」（１９７５年９月、ＩＥＥＥ  ”人工頭脳工学及び社会”国際会議（ルーマニア、ブカレスト）の会議録、第１６３−１６５頁）に記述されるような、任意の既知の画像整列手段が使用されることができる。
【００１７】
他の可能な画像登録方法は、バーバラ  Ｚｉｔｏｖａ及びジャン  フラッサーの「画像登録方法：概説」（画像及び映像計算２１（２００３年）、９７７−１０００頁）で概説される。
【００１８】
あるいは、そのような手段を作り出すカメラセンサーが利用可能な場合、画像１０及び１２／１４間の変位（displacement）が測定されることができる。
【００１９】
どのような場合も、整列前または整列中のいずれかに、最大解像度画像は、補間されている試写画像を備えた中間のサイズＳｘＴにダウンサンプリングされることができ、その結果、整列１６の後、整列補間画像及び最大解像度整列画像のサイズがＳｘＴ（ここでＳ≦Ｑ，Ｔ≦Ｒ）になるように、要求された解像度の入力及び希望画像を作り出す。
【００２０】
ここで、これらの画像は、破線２４で示されるように、画像整列部１６から提供される変位値（ら）に基づく決定がなされた後の適応フィルタリング中で使用されるための入力及び希望画像（画像１及び画像２）を計算する、さらなる処理２２の対象とされる。
【００２１】
実際の状況では、画像１０と画像１４すなわち、酷くぼかされている一の画像と露光不足の別の画像との間で、相対的に大きな違いがあり得る。そのため、整列は、画像間の正しい変位を与えないかもしれない。
【００２２】
変位値（displacement value）が特定のピクセル数（例えば２０）よりも低い場合には、最大解像度整列画像２０は画像１として使用され、また、整列補間試写画像は画像２として使用される。
【００２３】
或いは、変位値が特定のピクセル数よりも高い場合には、画像２のための幾つかの代案が可能であり、概してそれらは、多くのやり方の内の１つにおいて、補間された試写画像１４及び最大解像度画像１０を組み合わせることで画像２を取得することを含む。
【００２４】
第１の実施例では、我々は２つの係数ｃ１及びｃ２を計算し、また、画像２のピクセル値は、最大解像度画像１０のピクセル値にｃ１を掛けさらにｃ２を加えることにより得られる。これらの係数は、線形回帰を使用して計算される。また、線形回帰の共通の形式は、最小二乗適合である（Ｇ．Ｈ．ゴラブ及びＣ．Ｆ．ヴァン・ローンによるマトリックス計算。ジョン・ホプキンズ大学出版局、ボルティモア、ＭＤ、第３版、１９９６年）。図２を参照すると、例えば２５個の点を含むグリッド（格子）が試写画像１２から選択され、また、これに対応する２５個の格子点が最大解像度画像１０から選択される。試写画像の１つのピクセルが座標（ｋ，ｌ）を有する場合、対応する最大解像度画像から選択されたピクセルは、
座標
0004643764.tif 000002
を有する。したがって、我々は、試写画像から選択されたピクセル値に相当するＭ１と、最大解像度画像から選択されたピクセル値に相当するＭ２と、の２つの５ｘ５マトリックスを得る。２つのベクトルは、Ｍ１（ａ＝（ａｉ）及びＭ２ｂ＝（ｂｉ））の列方向順によって、これらのマトリックスのピクセル値から得られる。したがって、我々は、ｉ＝１，２，．．．，ｎ（ｎ＝２５、ｎは各画像からの格子点の合計数）についてのデータのペア（ａｉ，ｂｉ）を有している。
我々は、
マトリックス
0004643764.tif 000003
と定義する。係数ベクトルｃ＝［ｃ１  ｃ２］は、線形システムＶＴＶｃ＝ＶＴｂの解決により得られる。線形システムは、任意の既知の方法で解決することができる。
【００２５】
他の代案は、両方の画像１０，１２の２５個の格子点の平均値の比率で、露光不足の画像１０のピクセルを増幅し、また、画像２として使用するための［０−２５５］区間内で拡大縮小（scale）し直すことである。
【００２６】
さらに他の代案では、画像２は、補間されたぼけのある試写画像１４の振幅スペクトルと露光不足の最大解像度画像１０の位相とを組み合わせることにより取得される。そのため、画像２は、露光不足の画像１０と整列されるであろうが、いくつかの色アーチファクトと共に、わずかにぼけ修正されるだろう。これは、適応フィルタリングにより作り出された最終画像において、相対的により少ないアーチファクトを作り出すであろう。
【００２７】
あるいは、最大解像度画像に関するＦＦＴを計算して位相値を決定する代わりに、ぼかされた画像１２の振幅スペクトルと、露光不足の画像１０の縮小されたサイズのバージョンの位相とを組み合わせることによって、試写解像度の中間の画像が計算されることができる。これは、続いて画像２を作り出すために補間されることができる。
【００２８】
他の可能性は、画像２のように、画像２０及び画像１８の重み付けの組合せ、例えば０．１＊（画像１８）＋０．９＊（画像２０）を使用することである。これは、試写画像１２が飽和された広い領域を有している場合に、使用することができる。
【００２９】
どのような場合も、ひとたび処理２２が完遂すると、同様のサイズの２つの画像は、適応フィルタリング３０のために利用可能である（図３及び図４参照）。
【００３０】
第１の実施例では、入力及び希望の画像はＲＧＢ色空間にあるが（図３）、別の実施例では、入力及び希望の画像はＹＣＣ空間にある（図４）。ＲＧＢの場合については、１つの色平面（例えばＧ平面）は両方の画像から選択され、また、適応フィルタリングからの計算されたフィルター係数は、全ての色平面に対するピクセル値を更新するために使用される。フィルター係数ｗ（ｋ）は、フィルター３６の各反復で得られる。全ての色平面のための最新のピクセル値は、ｙＧ（ｋ）＝ｗ（ｋ）・ｘＧ（ｋ），ｙＲ（ｋ）＝ｗ（ｋ）・ｘＲ（ｋ），ｙＢ（ｋ）＝ｗ（ｋ）・ｘＢ（ｋ）（但し、ｘＲ（ｋ），ｘＧ（ｋ），ｘＢ（ｋ）は、それぞれ、Ｒ，Ｇ，Ｂ平面に対するスライディングベクトル３２）になるであろう。これは、全ての３つの色平面に関してフィルターする、縮小された数の複雑性への解決策を提供する。
【００３１】
ＹＣＣの場合では、Ｙ平面は、変更されていないＣｂ及びＣｒ平面で選択される。
【００３２】
ここで、図３及び図４の適応フィルタリングがより詳細に示された図５（ａ）を参照する。適応フィルターの長さがＬである場合、次元Ｌとともに２つの一次元のスライディングベクトル３２，３４が生成される。適応フィルター内では、入力信号ｘ（ｋ）は第１のベクトル信号３２であり、一方、希望信号ｄ（ｋ）は第２のベクトル３４である。
【００３３】
最も単純な実施例では、Ｌ＝１であり、これは、元の画像収集装置が短い露光時間で露光不足の画像を良い質で供給することができるならば、使用され得る。かかる収集装置が低質及びノイズのある露光不足の画像を作り出す場合には、より長いフィルター長Ｌ（例えば、２または３の係数）が選ばれるべきである。
【００３４】
スライディングベクトル３２，３４は、図６の画像マトリックスの列から得られる。かかるベクトルは、適応フィルターの各反復とともに、両方のマトリックスを列毎にスキャンし、続くピクセル値が当該ベクトルに加えられ、それに続くピクセル値が廃棄される。
【００３５】
ベクトル３２，３４が適応フィルター３６中で組み合わせられる場合、第１のスライディングベクトル３２に加えられた最新のピクセル値が更新される。好ましい実施の形態では、かかる最新のピクセルは、フィルター係数のドット積及び第１のベクトルのＬピクセル値である。任意の適合アルゴリズム（最小二乗平均に基づき、再帰的最小二乗に基づいたもの）が適用されることができ、また、多くのそのようなアルゴリズムは、Ｓ．ヘイキン（Haykin）の「適応フィルター理論」（Ｐｒｅｎｔｉｃｅ  Hａｌｌ、１９９６年）で見つけることができる。好ましくは、Ｍ  ヘイズ（Hayes）により記述されたサイン（ｓｉｇｎ）・データＬＭＳ（１９９６年、ウィリー、ニューヨーク州、統計的なデジタル信号処理及びモデリング）が使用される。
【００３６】
数式は次の通りである：
ｘ（ｋ）＝［ｘ（ｋ），ｘ（ｋ−１）．．．ｘ（ｋ−Ｌ＋１）］，
ｗ（ｋ）＝［ｗ（ｋ），ｗ（ｋ−１）．．．ｗ（ｋ−Ｌ＋１）］，
ｙ（ｋ）＝ｗ（ｋ）・ｘ（ｋ），
ｅ（ｋ）＝ｄ（ｋ）−ｙ（ｋ），
ｗ（ｋ＋１）＝ｗ（ｋ）＋μ（ｋ）・ｅ（ｋ）・ｓｉｇｎ（ｘ（ｋ））＝ｗ（ｋ）＋μ（ｋ）・ｅ（ｋ），
ここで、
ｗ（ｋ）は、フィルター３６内で計算されたフィルター係数であり、
μ（ｋ）は、ステップサイズ（固定値あるいは変数）であり、
ｘ（ｋ）は、画像１からのスライディングベクトル３２の最新のピクセル値（ら）（それは常に正の値を有している）であり、
ｄ（ｋ）は、画像２からのスライディングベクトル３４の最新のピクセル値（ら）であり、
ｙ（ｋ）は、スライディングベクトル３２及びフィルター係数ベクトルｗのスカラー積であり、
ｅ（ｋ）は、ｄ（ｋ）とｙ（ｋ）との間の差異として計算された誤差信号である。
【００３７】
他に考えられた変形例は以下の通りである：
ｗ（ｋ＋１）＝ｗ（ｋ）＋μ（ｋ）・ｅ（ｋ）・ｘ（ｋ）（標準ＬＭＳ）または
ｗ（ｋ＋１）＝ｗ（ｋ）＋μ（ｋ）・ｅ（ｋ）／（１＋ｘ（ｋ））
【００３８】
１＋ｘ（ｋ）の項は、ゼロによる除算を回避するために上記で使用される。代替的に、数式：
0004643764.tif 000004
は、１と置き換えられた任意のゼロ値のｘピクセル値と共に使用されることができる。
【００３９】
さらなる変形として、ステップサイズμ（ｋ）は、以下のように可変である：
0004643764.tif 000005
または
0004643764.tif 000006
したがって、上記の数式を使用して：
ｗ（ｋ＋１）＝ｗ（ｋ）＋μ（ｋ）・ｅ（ｋ）・ｓｉｇｎ（ｘ（ｋ））＝ｗ（ｋ）＋μ（ｋ）・ｅ（ｋ）
これは以下のようになる：
0004643764.tif 000007
【００４０】
もしもμ（ｋ）＝μ＝１−αで、Ｌ＝１に対して、αが１に非常に近い場合（例えば０．９９９９９）、我々は、スカラーで置き換えられているベクトルで、
0004643764.tif 000008
を有する。したがって、この特定の固定されたステップサイズに対して、サイン・データＬＭＳと先の数式は、等価である。
【００４１】
βパラメーターは、ゼロによる除算を回避するために、また、任意の黒いピクセルを繰り返し増幅する（over-amplify）ために、使用することができる。βは、好ましくは［１．．１０］区間内にあり、そして、特に露光不足の画像が暗すぎる場合、好ましくは［５．．１０］区間内にある。そうでなければ、β＝１で十分である。
【００４２】
フィルター係数ｗ（ｋ）又は出力値ｙ（ｋ）に対して幾つかの閾値またはリセットすることは、フィルタリングされた画像３８中のアーチファクトを回避するために課することができる。上限の閾値δは、ｗ（ｋ）の係数について許可され得る値（言い換えると、反復回数ｋで計算された値が上記δであれば、ｉが（ｉ＝１．．Ｌの）どのような数であっても、ｗｉ（ｋ）＝δ）に対して課される。言及されたＬＭＳアルゴリズムにふさわしい閾値は、
0004643764.tif 000009
として選択でき、ここで、
0004643764.tif 000010
及び
0004643764.tif 000011
は、
それぞれ、上述したベクトルｂ及びａの平均値である。さらに、フィルター出力は、ｕｉｎｔ８の画像が使用される場合に、［０  ２５５］区間内にあることを強制することができる。図示のように、最新のピクセル値ｙ（ｋ）は、古いピクセル値ｘ（ｋ）を置き換え、次のスライディングベクトルを取り入れることができる。
【００４３】
最後の列からの最後のピクセルが更新された場合に、最新の色マトリックス３８は完成する。フィルタリングがＲＧＢ空間で遂行されている場合、最終的に再構築される画像４０は、Ｒ／Ｇ／Ｂの最新のマトリックスらの連結により得られる。もう一つの方法として、フィルタリングがＹＣＣ空間で遂行されている場合、連結された最新のＹ平面（すなわちマトリックス３８）は、露光不足の画像１０の変化されないＣｂ及びＣｒ平面で、ＲＧＢ色空間に戻すよう変換されることができる。
【００４４】
当該フィルタリングは、再構築された画像４０を露光不足の画像（すなわち画像１）に置き換えることを繰り返すことができる。
【００４５】
この場合、適応フィルタリングは、前のフィルタリングがＲＧＢ空間で行なわれていたならば、ＲＧＢ空間から変換された画像のＹ平面上で遂行されることができる。あるいは、もう一つの方法として、フィルタリングは、前のフィルタリングがＹ平面上で行なわれていたならば、ＹＣＣ空間から変換された画像のＲＧＢ色平面上で遂行されることができる。
【００４６】
さらに、フィルタリングは、列方向または行方向に操作されることが理解されるであろう。そのため、適応フィルタリングは、第１の列または行方向に、続いて他の列または行方向に遂行されることができる。
【００４７】
フィルタリングが繰り返される各事例において、２つのフィルタリング操作後の再構築された画像の質は、各個別のフィルタリング結果よりも優れていることが分かった。
【００４８】
図５（ｂ）を参照すると、幾つかの事例では、特に、係数ｃ１が大きな値である場合（例えば、非常に暗い露光不足の画像及び非常に明るいぼけのある画像を使用した場合）、フィルタリングされた画像に飽和（saturation）の問題が現われるかもしれない。この飽和は、例えば、Ｍ．Ｊｏｕｒｌｉｎ及びＪ．Ｃ．Ｐｉｎｏｌｉの「送信された画像の表現及び処理からの数学的物理的なフレームワークの対数的画像処理」（画像及び電子物理学における進歩、第１１５号（２００１年）、１２９〜１９６頁）、或いはＧ．Ｄｅｎｇ、Ｌ．Ｗ．カーヒル（Cahill）、及びＧ．Ｒ．トービン（Tobin）の「対数的画像処理モデル及びその画像増強するアプリケーションの研究」（画像処理に関するＩＥＥＥ  Ｔｒａｎｓ．第４号（１９９５年）、５０６〜５１２頁）に記述された技術を使用して、回避することができる。
【００４９】
したがって、フィルタリングされた画像ｚ（ｋ）のピクセル値は、次の数式によって生成される：
0004643764.tif 000012
【００５０】
ここで、Ｄは、最大許容値である（例えば、画像の８ビット表現における２５５）。適応フィルターは、誤差信号ｅ（ｋ）を使用して計算された第１のフィルター係数ｗ（ｋ）を提供する。飽和の問題を縮小する別の代案は、ステップサイズμ（ｋ）の値を減らすことである。
【００５１】
ここで図７を参照すると、本発明の第２の実施の形態では、露光不足で相対的に鮮明な低解像度画像と、ぼけのある最大解像度画像７２と、が利用できる。低解像度画像（例えば、前述のような試写画像）は、補間され、最大解像度画像と整列されて画像７０を作り出す。
【００５２】
ＰＳＦ推定部７４は、序論で概説されたような任意の適切な方法を使用して、補間された試写画像７０及び最大解像度画像７２から、ぼけのある画像７２のためのＰＳＦを計算する。
【００５３】
その後、ぼけのある７２の画像は、この推定されたＰＳＦを使用してぼけ修正され、相対的にぼけのない画像７６を作り出す。ＰＳＦを使用したぼけ修正の例は、ピーター（Peter）Ａ．Ｊａｎｎｓｏｎによって編集された「画像とスペクトルのデコンボリューション」（１９９７年、アカデミックプレス、第２版）、及び、Ｈ．Ｃ．アンドリュース（Andrews）及びＢ．Ｒ．ハント（Hunt）によって著された「デジタル画像復旧」（１９７７年、プレンティス  ホール）に開示される。
【００５４】
適応フィルタリングに先立って、補間された試写画像７０の平均輝度は、処理部７８で、（相対的に）ぼけ修正された最大解像度画像７６の平均輝度と等しくされる。好ましくは、これは、露光不足の画像のガンマ（γ）増幅を含む。ガンマの正確な値は、ぼけのある最大解像度及び試写画像についての平均輝度の比率（ＹＣＣフォーマットでの
0004643764.tif 000013
）を取得し、続いてこの比率を、γを返す参照テーブルのためのインデックスとして使用することによって、決定される。
【００５５】
その後、ぼけ修正された最大解像度画像７６は、画像２として選定され、また、処理部７８によって作り出された、補間され／整列され／輝度が等しくされた試写画像は、画像１として選定される。
【００５６】
適応フィルタリングは、その後、第１の実施の形態でのような画像１及び画像２に必要な場合に、適用及び再適用される。この場合もやはり、適応フィルタリングを繰り返す場合に、露光不足の画像、すなわち画像１は、再構築された画像と置き換えられる。
【００５７】
第２の実施の形態では、特に、ＰＳＦが相対的に大きい場合、適応フィルタリングにより作り出された再構築された画像７６の質は、十分には良くないかもしれない。そのような場合、ＰＳＦを使用したぼけ修正は、それが著しいリンギング（ringing）を導入し得ることから、使用されないかもしれない。
【００５８】
このような場合、第１の実施の形態におけるような適応フィルタリングを再度適用することは、元の画像７２中のぼけのアーチファクトを減じて、ある程度まで画像の質を改善することが可能となる。
【００５９】
この場合もやはり、ＲＧＢフィルタリングが以前にＲＧＢ色空間上で行なわれていた場合で、Ｙフィルタリングが以前に行なわれていれば、適応フィルタリングは、Ｙ平面上で遂行されることができる。
【００６０】
この場合もやはり、フィルタリングは、列または行上で、及び続いて列及び行上で操作されることができる。
【００６１】
最大解像度画像７２と試写画像寸法との比率が３未満であって、試写画像に多くのノイズがなければ、第２の実施の形態が有用であることもまた分かった。そうでない場合には、フィルタリングされた画像は、ぼけのある画像を序論で説明されたような非常に良いＰＳＦ推定でぼけ修正することで得られた質と比較して、より低い質を有し得る。
【００６２】
上述した両方の実施の形態において、単一の試写画像は、最大解像度画像の解像度と一致するように補間されるものとして説明される。しかしながら、名目上同一のシーンにおいて、１以上の試写画像の超解像技術は、第１及び第２の実施形態の補間された画像１４，７０を生成するために使用され得ることが理解されるだろう。
【００６３】
上記の実施の形態、特に第２の実施の形態に関して、（鮮明であると仮定された）短期の露光時間の画像は、高解像度の主画像の取得の直前又は直後のいずれかに得られた試写画像を含むものとして説明される。
【００６４】
しかしながら、さらなる洗練された実施の形態では、２つの画像は、相対的にぼけのある画像の取得のより長い期間中に取得される。この実施の形態の好ましい実施例では、画像取得の間に画像センサーの非破壊読み出しを許すＣＭＯＳセンサーを含む画像収集装置が使用され、画像を取得する。
【００６５】
これらの画像の取得が引き起こされるタイミングの概要の表現は、図８との関連で説明される。暗いシーンに対して、画像Ｆを露光するのに必要となる露光時間Ｔｌｏｎｇは、手ジッタによって引き起こされた動きぼけに相応した結果となり得る。それにもかかわらず、非破壊センサーを使用して、露光不足（ノイズが生じがち）であるが鮮明な画像Ｇを提供するＴｓｈｏｒｔで、中間の読み出しをさせることは可能である。
【００６６】
好ましい実施の形態では、露光不足の画像の読み出しは、より長い露光期間、すなわちＴ０とＴ０＋Ｔｓｈｏｒｔとの間の期間により中間的（mid-way）にセットされる。そのようなものとして、実際の露光のスキームは、以下のように行う：
・ｔ＝０で、露光を開始する。
・ｔ＝Ｔ０で、第１の読み出しを選択してＧ’を得る。
・ｔ＝Ｔ０＋Ｔｓｈｏｒｔで、第２の読み出しを選択してＧ”を得る。
・短時間露光の画像はＧ＝Ｇ’−Ｇ”である。
・ｔ＝Ｔｌｏｎｇで、第３（最後）の読み出しを選択して、良く露光されたフレームＦを得る。
・画像センサーをリセットする。
【００６７】
これは、統計的に、短時間露光画像Ｇと長時間露光画像Ｆとの間の内容が違う可能性が最小限にされることを意味する。従って、この場合もやはり、統計的に、かかる違いが期間［０，Ｔｌｏｎｇ］に存在する運動によってのみ引き起こされることは、より起こり得る。良く露光された画像は、その露光期間中に存在する運動によってぼかされ、これに対して、他方の画像は、全く移動が無い、これを言い換えると、動きぼけは内容（コンテンツ）の違いを発生させるということである。
【００６８】
ここで図９を参照すると、シーンの静止画像が記録される。期間Ｔ０は、時間Ｔ０で読み込まれた画像Ｇ’中に動作が現われるように、十分に長い期間が選択される（図９（ｃ））。この画像に対するＰＳＦの値は、図９（ａ）中に示される。Ｔ０からＴｓｈｏｒｔまでの間は、追加の動作が現われるための十分な時間は無い。しかしながら、全区間である［０；Ｔ０＋Ｔｓｈｏｒｔ］は、図９（ｄ）の現れた画像Ｇ”が、図９（ｂ）の対応するＰＳＦ値から見ることができるようなぼけを有する程度に、十分に長い。図９（ｅ）の現れた露光不足の画像Ｇ＝Ｇ”−Ｇ’は、元の画像Ｇ”及びＧ’に対するＰＳＦ値の間の小さな違いから見ることができるように、ぼけがない。
【００６９】
ここで画像Ｇは、上述のような適応フィルタリングを通じて画像Ｆと結合することができる。また、特に第２の実施の形態に関し、画像Ｇについての輝度増強は、画像Ｆと結合される前に遂行されることができる。
【００７０】
適応フィルタリングの１以上のステップを通じてフィルタリングされた画像４０を作り出した後に、当該フィルタリングされた画像は、さらなる処理の対象とされ、その質を一層改善することができる。
【００７１】
フィルタリングされた画像のノイズ補正は、リー最小二乗平方（ＬＬＭＳＥ：Ｌｅｅ  Ｌｅａｓｔ  Ｍｅａｎ  Ｓｑｕａｒｅ）フィルターの修正版を使用して行なうことができる。次の例で、Ｇ１はフィルタリングされた画像であり、Ｇ１ｘは、ＸｘＸの一定の平均化カーネルを用いたＧ１の畳み込みである；したがって、Ｇ１３は、３ｘ３の一定の平均化カーネルを用いたＧ１の畳み込みである；また、Ｇ１７は、７ｘ７の一定の平均化カーネルを用いたＧ１の畳み込みである。
【００７２】
ノイズが取り除かれた画像は、次の通りである：Ｇ２＝αＧ１ｘ＋（１−α）Ｇ１
ここで、
0004643764.tif 000014
ＳＧ１は、ピクセルの５ｘ５近傍のために計算された、フィルタリングされた画像標準偏差である；
ＳＦは、対応するピクセルの３ｘ３近傍のために計算された、良く露光された画像の二乗標準偏差である；そして、
Ｓｎ＝｜ＳＦ−ＳＧ１｜
【００７３】
ＳＦが、予め定義された閾値（完全に同じ形の領域における現在のピクセルを意味する）よりも小さい場合には、Ｇ１ｘ＝Ｇ１７であり、そうでなければ（端に存在する現在のピクセル近傍では）、Ｇ１ｘ＝Ｇ１３である。したがって、ピクセルのまわりの変化が高いところでは、Ｇ２はＧ１とほぼ等しいことが理解されるだろう。
【００７４】
既に述べたように、取得された露光不足の画像は、範囲のより低い部分（暗闇の範囲）で強度（intensities）を有している。この領域において、カメラのスペクトル特性は、正常に露光された領域のものと異なる。したがって、適応フィルタリングされた画像であるＧ１又はＧ２は、ノイズフィルタリングが適用されたか否かに依存して、色に偏差を有しているかもしれない。これらの偏差に対する補償のために、（Ｃｂ，Ｃｒ）平面中で、回転または移転（translation）が適用されることができる。これらのオペレーション用のパラメータ値は、カメラ及び、良く露光された画像と露光不足の画像の間の露光絞り（exposure stop）の数に依存するだろう。ＲＢＧ空間での色補正の１つの典型的なスキームは、以下の通りである：
平均輝度
0004643764.tif 000015
を計算する：
色平均値
0004643764.tif 000016
を計算する：
Ｇ２を補正して以下のようにＧ３を得る：
0004643764.tif 000017
【図１】
0004643764.tif 000018
【図２】
0004643764.tif 000019
【図３】
0004643764.tif 000020
【図４】
0004643764.tif 000021
【図５】
0004643764.tif 000022
【図６】
0004643764.tif 000023
【図７】
0004643764.tif 000024
【図８】
0004643764.tif 000025
【図９（ａ）】
0004643764.tif 000026
【図９（ｂ）】
0004643764.tif 000027
【図９（ｃ）】
0004643764.tif 000028
【図９（ｄ）】
0004643764.tif 000029
【図９（ｅ）】
0004643764.tif 000030