(57)【要約】  本発明は、画像エンハンスのための方法であって、入力画像のボケた画像部分とボケていない画像部分とを区別する第１のステップ41と、出力画像を生成するために、前記入力画像の前記ボケた画像部分のうちの少なくとも１つをエンハンスさせる第２のステップ42と、を有する方法に関する。前記ボケた画像部分及びボケていない画像部分は、例えば、ダウンスケーリングされた411入力画像の線形的なアップスケーリングされた414表現と前記入力画像との間の差異415、並びにダウンスケーリングされた入力画像の非線形的なアップスケーリングされた412表現と前記入力画像との間の差異413を比較する416ことによって区別される。前記ボケた画像部分は、例えば、該ボケた画像部分を、前記ダウンスケーリングされた入力画像の非線形的なアップスケーリングされた表現の一部分と置換する42ことによってエンハンスをされる。本発明は、装置、計算機プログラム、及び計算機プログラム製品にも関する。
2008518318.tif 000002
【特許請求の範囲】
【請求項１】
画像エンハンスのための方法であって、
−入力画像のボケた画像部分とボケていない画像部分とを区別する第１のステップと、
−出力画像を生成するために、前記入力画像の前記ボケた画像部分のうちの少なくとも１つをエンハンスさせる第２のステップと、
を有する方法。
【請求項２】
前記ボケていない画像部分はエンハンスされない、請求項１に記載の方法。
【請求項３】
前記第１のステップが、
−変換された入力画像部分を得るために、第１変換に従い前記入力画像の少なくとも一部分を変換するステップと、
−エンハンスされた変換入力画像部分を得るために、前記変換された入力画像部分の表示をエンハンスさせるステップと、
−前記入力画像の前記ボケた画像部分とボケていない画像部分とを区別するために、少なくとも前記入力画像の前記一部分と、前記エンハンスさせられた変換入力画像部分と、前記変換された入力画像部分を第２変換に従い変換することによって得られる画像部分及び前記変換された入力画像部分のうちの一つと、を処理するステップを、
を有する、請求項１又は２に記載の方法。
【請求項４】
前記入力画像の前記ボケた画像部分とボケていない画像部分とを区別する前記処理するステップが、
−前記入力画像の前記部分と前記エンハンスされた変換入力画像部分との間の第１差異を決定するステップと、
−前記変換された入力画像部分を前記第２変換に従い変換することによって得られる前記画像部分又は前記変換された入力画像部分と、前記入力画像の前記部分との間の第２差異を決定するステップと、
−前記入力画像のボケた画像部分とボケていない画像部分とを区別するために、前記第１及び第２差異を比較するステップと、
を有する、請求項３に記載の方法。
【請求項５】
前記第１変換が、前記入力画像の前記部分のスペクトル成分の低減又は除去を生じさせ、前記エンハンスが、前記変換された入力画像部分の前記表現のスペクトル成分の復元又は推定を目的とする、請求項３又は４に記載の方法。
【請求項６】
前記第１及び第２のステップが、少なくとも２回反復され、各反復において、それぞれ異なるスペクトル成分が関連される、請求項５に記載の方法。
【請求項７】
前記第１変換が、前記入力画像の前記部分のボケを生じさせ、前記エンハンスさせるステップが、前記変換された入力画像部分の前記表現のボケ修正を目的とし、前記第２の差異が、前記入力画像の前記部分と前記変換された入力画像部分との間において決定され、前記第１差異が前記第２差異より大きい画像部分がボケた画像部分として見なされる、請求項３乃至６の何れか一項に記載の方法。
【請求項８】
前記第１変換が、前記入力画像の前記部分のダウンスケーリングを生じさせ、前記エンハンスが、前記変換された入力画像部分の前記表現の非線形アップスケーリングを生じさせ、前記第２の差異が、前記入力画像の前記部分と前記変換された入力画像部分を前記第２変換に従い変換することによって得られる前記画像部分との間において決定され、前記第２変換が、前記変換された入力画像部分の線形アップスケーリングを生じさせ、前記第１差異が前記第２差異より大きい画像部分がボケた画像部分として見なされる、請求項３乃至６の何れか一項に記載の方法。
【請求項９】
前記少なくとも１つのボケた画像部分が、前記第２ステップにおいて、前記第１ステップにおいて得られるエンハンスされた変換入力画像部分を用いて該少なくとも１つのボケた画像部分を置換することによってエンハンスされる、請求項３乃至８の何れか一項に記載の方法。
【請求項１０】
前記第１及び第２ステップが、元の入力画像から最終的な出力画像を生成するために、Ｎ回の反復において反復され、各反復n=1,…,Nにおいて、前記元の入力画像の前記部分への前記第１変換のN-n回折り畳み適用から得られる前記元の入力画像の少なくとも一部分のN-n回折り畳み変換されたバージョンが、前記入力画像の前記部分として用いられ、第１番目の反復n=1において、前記元の入力画像の前記部分への前記第１変換のN回折り畳み適用から得られる前記元の入力画像の前記部分のN回折り畳み変換されたバージョンが、前記変換された入力画像部分の前記表現として用いられ、各他の反復n=2,…Nにおいて、先行する反復n-1によって生成される前記出力画像の少なくとも一部分が、前記変換された入力画像部分の前記表現として用いられ、最後の反復n=Nにおいて生成される出力画像が前記最終的な出力画像である、請求項３乃至９の何れか一項に記載の方法。
【請求項１１】
Ｎが３に等しい、請求項１０に記載の方法。
【請求項１２】
前記非線形アップスケーリングが、PixelPlus、Digital  Reality  Creation、又はDigital  Emotional  Technology技術に従い実行される、請求項８に記載の方法。
【請求項１３】
処理器に、請求項１乃至１２の何れか一項に記載の方法のステップを実行させるように動作可能な命令を含む計算機プログラム。
【請求項１４】
処理器に、請求項１乃至１２の何れか一項に記載の方法のステップを実行させるように動作可能な命令を含む計算機プログラムを含む計算機プログラム製品。
【請求項１５】
画像エンハンスのための装置であって、
−入力画像のうちのボケた画像部分とボケていない画像部分とを区別するように構成される第１手段と、
−出力画像を生成するために、前記入力画像の前記ボケた画像部分のうちの少なくとも１つをエンハンスさせるように構成される第２手段と、
を有する装置。
【請求項１６】
前記第１手段が、
−変換された入力画像部分を得るために、第１変換に従い前記入力画像の少なくとも一部分を変換するように構成される手段と、
−エンハンスされた変換入力画像部分を得るために、前記変換された入力画像部分の表示をエンハンスさせる手段と、
−第２変換に従い前記変換された入力画像部分を変換するように構成される手段と、
−前記入力画像の前記ボケた画像部分とボケていない画像部分とを区別するために、少なくとも前記入力画像の前記一部分、前記エンハンスされた変換入力画像部分、及び前記変換された入力画像部分を前記第２変換に従い変換することによって得られる画像部分、を処理するように構成される手段を、
を有する、請求項１５に記載の装置。
【請求項１７】
少なくとも前記入力画像の前記一部分、前記エンハンスされた変換入力画像部分、及び前記変換された入力画像部分を前記第２変換に従い変換することによって得られる画像部分、を処理するように構成される前記手段が、
−前記入力画像の前記部分と前記エンハンスされた変換入力画像部分との間の第１差異を決定するように構成される手段と、
−前記変換された入力画像部分を前記第２変換に従い変換することによって得られる前記画像部分と、前記入力画像の前記部分との間の第２差異を決定するように構成される手段と、
−前記入力画像のボケた画像部分とボケていない画像部分とを区別するために、前記第１及び第２差異を比較するように構成される手段と、
を有する、請求項１６に記載の装置。
【請求項１８】
前記第１手段が、
−変換された入力画像部分を得るために、第１変換に従い前記入力画像の少なくとも一部分を変換するように構成される手段と、
−エンハンスされた変換入力画像部分を得るために、前記変換された入力画像部分の表示をエンハンスさせるように構成される手段と、
−前記入力画像の前記ボケた画像部分とボケていない画像部分とを区別するために、少なくとも前記入力画像の前記一部分、前記エンハンスされた変換入力画像部分、及び前記変換された入力画像部分、を処理するように構成される手段と、
を有する、請求項１５に記載の装置。
【請求項１９】
少なくとも前記入力画像の前記一部分、前記エンハンスされた変換入力画像部分、及び前記変換された入力画像部分、を処理するように構成される前記手段が、
−前記入力画像の前記部分と前記エンハンスされた変換入力画像部分との間の第１差異を決定するように構成される手段と、
−前記変換された入力画像部分と前記入力画像の前記部分との間の第２差異を決定するように構成される手段と、
−前記入力画像のボケた画像部分とボケていない画像部分とを区別するために、前記第１及び第２差異を比較するように構成される手段と、
を備える、請求項１８に記載の装置。
【請求項２０】
前記第１及び第２手段が、ユニットを形成し、Ｎ個のこれらユニットが、元の入力画像から最終的な出力画像を生成する直列接続として相互接続され、各ユニットn=1,…,Nにおいて、前記元の入力画像の前記部分への前記第１変換のN-n回折り畳み適用から得られる前記元の入力画像の少なくとも一部分のN-n回折り畳み変換されたバージョンが、前記入力画像として用いられ、第１番目のユニットn=1において、前記元の入力画像の前記部分への前記第１変換のN回折り畳み適用から得られる前記元の入力画像の前記部分のN回折り畳み変換されたバージョンが、前記変換された入力画像部分の前記表現として用いられ、各他のユニットn=2,…Nにおいて、先行するユニットn-1によって生成される前記出力画像の少なくとも一部分が、前記変換された入力画像部分の前記表現として用いられ、最後のユニットn=Nにおいて生成される出力画像が前記最終的な出力画像である、請求項１６乃至１９の何れか一項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のエンハンスに関する方法、計算機プログラム、計算機プログラム製品、及び装置に関する。
【背景技術】
【０００２】
例えばシングルショットポートレート又は動画の連続する画像などの画像は、有用な情報を記録又は表示するために生成されるが、画像形式又は記録の処理は、不完全である。記録される画像は、常に、元のシーンの劣化されたものを表す。３つの主な種類の劣化である、ボケ、点別非線形性、及びノイズが発生し得る。
【０００３】
ボケ・ボカシ(blurring)は、画像形成処理による、画像の帯域幅低下の形式である。このことは、カメラと元のシーンとの間の相対的な動きによって、又は焦点から外れている光学系によって生じされ得る。
【０００４】
焦点ズレのボケは、例えば、３次元シーンがカメラにより２次元画像フィールドへ撮像され、該シーンのある部分は焦点が合っている（鮮明である）一方で、他の部分は焦点ズレしている（不鮮明又はボケている）場合に、直面される。ピンボケの程度は、有効レンズ直径、及び被写体とカメラとの位置に依存する。
【０００５】
映画監督は、通常、背景領域において知覚される動きの激しい振動を緩和するために、制限された焦点深さを好んで用いて背景追跡ショットを記録する。しかし、動き補償された画像レートアップコンバージョンを用いた最新のテレビは、正しい位置において動いている被写体を示す（記録された画像間における）追加的な画像を計算することによって、より進んだ手法で動きの激しい振動を推定し得る。これらのテレビに関して、背景領域におけるボケは、目障りなものである。
【０００６】
制限された焦点深さは、乏しい照明環境によっても発生し得るか、又は美的な理由に関して意図的に作成され得る。
【０００７】
ボケの除去に努めるために、米国特許第6,404,460B1号は、画像縁エンハンスに関する方法及び機器を提案する。それにおいては、画像の縁において発生するビデオ信号におけるトランジションがエンハンスされる。しかし、背景ノイズのエンハンスを避けるために、特定のしきい値よりも上の振幅を有するビデオ信号のトランジションのみがエンハンスされる。
【０００８】
したがって、米国特許第6,404,460B1号は、ボケた部分が基本的に変更されないで残されるようなトランジションが十分明確に示される、画像のボケていない部分の鮮明さのみを増加させる。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述の問題を鑑みて、本発明の全体としての目的は、特に、画像のボケた部分をエンハンスする方法、計算機プログラム、計算機プログラム製品、及び装置を提供することである。
【課題を解決するための手段】
【００１０】
画像エンハンスのための方法であって、入力画像のボケた画像部分とボケていない画像部分とを区別する第１のステップと、前記入力画像の前記ボケた画像部分のうちの少なくとも１つをエンハンスさせ、出力画像を生成する第２のステップと、を有する方法が提案される。
【００１１】
前記入力画像は、写真、又は例えばＭＰＥＧビデオストリームのフレームとしての、ビデオ複数の連続する画像のうちの１つ、などの１つの画像であり得る。第１のステップにおいて、前記入力画像のボケた画像部分及びボケていない画像部分は、区別される。この場合、画像部分は、前記入力画像の画素又は画素の群を表し得る。ボケていない画像部分は、例えば、特定のしきい値より上の鮮明さを有する前記入力画像の部分として考慮され得、一方で、前記入力画像のボケた画像部分は、特定のしきい値より下の鮮明さを有し得る。隣接する又は分離され得るいくつかのボケた画像部分が十分に存在し得、対応して、隣接する又は分離され得るいくつかのボケていない画像部分が十分に存在し得る。前記ボケた画像部分は、例えば、制限された焦点深さで記録されている、つまり、焦点から外れており、カメラともとのシーンとの間の相対的動きによって生じられ得る、ビデオの画像の背景を表し得る。同様に十分に、前記ボケた画像部分は、画像の前景部分を表し得、この場合、背景はボケていなくあり得る。更に、前記入力画像は、ボケた画像部分のみ又はボケていない画像部分のみを有し得る。様々な規準及び技法が、前記入力画像のボケた画像部分及びボケていない画像部分を区別するために前記第１のステップにおいて適用され得る。
【００１２】
前記第２のステップにおいて、前記第１のステップにおいて区別されている少なくとも１つのボケた画像部分がエンハンスされる。いくつかのボケた画像部分が検出されている場合、それらの全てがエンハンスされる。前記エンハンスは、例えば、エンハンスされたボケた画像部分によって前記入力画像における前記ボケた画像部分を置換することによって達成され得る。前記入力画像の前記少なくとも１つのボケた画像部分のエンハンスは、前記エンハンスされたボケた画像部分を少なくとも含む出力画像の生成に導く。例えば、前記出力画像は、前記エンハンスされたボケた画像部分によって置換された画像部分を除いた前記入力画像を表し得る。
【００１３】
前記エンハンスは、前記入力画像と比較して前記出力画像の客観的ポートレイト又は主観的受信の向上として生じる全ての種類の画像処理を参照し得る。例えば、前記エンハンスは、ボケ解除ステップ、すなわち画像部分のコントラスト、輝度又は色の群を変更することを参照し得る。
【００１４】
したがって、本発明は、始めに入力画像画像のボケた画像部分及びボケていない画像部分を区別し、次にこのボケた／ボケていないかの区別の結果に依存して向上された出力画像を生成するために、ボケた画像をエンハンスすることを提案する。したがって、従来技術においては背景ノイズの増加を防ぐためにボケていない画像部分のみがエンハンスされる一方で、区別されたボケた画像部分はいずれにしてもエンハンスされる。本発明によるアプローチは、したがって、実際にエンハンスを必要とする画像部分のみをエンハンスし、これにより、余分な、すなわちボケていない画像部分のおそらく品質を低下させるエンハンスが回避され、結果的に、計算労力がかなり低減され得、画像品質が増加され得る。エンハンスされる画像部分に対する決定が、例えば画像信号の移行の振幅などの測定に基づかれる必要は必ずしもないので、ノイズのある画像よりもボケた画像部分のより簡潔なエンハンスが達成され得る。
【００１５】
本発明の好ましい実施例によると、前記ボケていない画像部分はエンハンスされない。このことは、非常に簡単で、計算的に効率的なセットアップを可能にし得る。この場合、ボケた画像部分のみがエンハンスされ、出力画像は、例えば、ボケた画像部分をエンハンスされたボケた画像部分を用いて置換することによって容易に獲得され得る。しかし、特定の量の処理が、前記ボケていない画像部分に適用され得、例えば、ボケた画像部分に適用されるエンハンスとは異なる種類のエンハンスが適用され得る。ボケていない及びボケた画像部分に関する異なるエンハンス技法のこの適用は、本発明の第１のステップに従いボケた画像部分及びボケていない画像部分間の区別によってのみ可能である。
【００１６】
本発明の更なる好ましい実施例によると、前記第１のステップが、変換された入力画像部分を得るために、第１変換に従い前記入力画像の少なくとも一部分を変換するステップと、エンハンスされた変換入力画像部分を得るために、前記変換された入力画像部分の表示をエンハンスさせるステップと、前記入力画像の前記ボケた画像部分とボケていない画像部分とを区別するために、前記入力画像の少なくとも前記一部分、前記エンハンスされた変換入力画像部分、及び第２変換に従い前記変換された入力画像部分を変換することによって得られる画像部分及び前記変換された入力画像部分の、を処理するステップを、を有する。
【００１７】
前記入力画像の、例えば画素又は画素の群などの少なくとも一部分は、第１変換に従い変換される。十分に同様に、前記完全な入力画像は、変換され得る。前記第１変換は、前記入力画像の前記部分のスペクトル成分を低減又は除去し得、前記入力画像の前記部分のボカシ又はダウンスケーリングが行われ得る。
【００１８】
前記変換された入力画像部分の表現は、この場合、エンハンスされる。この場合、前記変換された入力画像部分の前記表現は、前記変換された入力画像部分自体であり得るか、前記変換された入力画像部分に似ている又はそうでなければ前記変換された入力画像部分に関連する画像部分であり得る。例えば、前記変換された入力画像部分の前記表現は、既にエンハンスされた画像部分の変換されたバージョンであり得る。
【００１９】
この場合、前記変換された入力画像部分の前記表現は、エンハンスされた変換入力画像部分を得るためにエンハンスされる。前記エンハンスは、例えば、前記第１変換において低減された又は除去された前記入力画像の前記部分のスペクトル成分の復元又は推定を目的とし得る。例えば、前記第１変換が前記入力画像の前記部分のボカシすなわちダウンスケーリングを実行した場合、前記エンハンスは、前記変換された入力画像部分のボケ修正又は非線形アップスケーリングのそれぞれを目的とし得る。
【００２０】
前記第２変換は、類似の目標が追求される意味で前記エンハンスに関連され得るが、前記目標対して異なるアルゴリズムが適用される。
【００２１】
例えば、前記第１変換はが前記入力画像の前記部分のダウンスケーリングを生じさせ、前記エンハンスが、前記変換された入力画像部分の非線形アップスケーリングを目的とする場合、前記第２変換は、例えば、前記変換された入力画像の線形アップスケーリングを目的とし得る。
【００２２】
本発明のこの実施例に従うアプローチの背後の理論的根拠は、ボケた画像部分及びボケていない画像部分が前記第１変換及び後続のエンハンスに対して異なって反応するという観察である。ボケた画像部分が前記第１変換及び前記後続のエンハンスによってかなり修正される一方で、ボケていない画像部分は前記第１変換及び前記後続のエンハンスによってあまり修正されない。参照画像部分を得るために、前記入力画像の画像部分は、第１変換及び可能であれば第２変換にも従い、この場合、斯様にして得られた参照画像部分は、前記入力画像のボケた画像部分及びボケていない画像部分を区別するために、前記入力画像の前記部分及び前記エンハンスされた変換入力画像を用いて一緒に処理され得る。
【００２３】
前記処理は、例えば、一方で、前記入力画像の前記部分と前記エンハンスされた変換入力画像部分との間の差異、他方で、前記入力画像の前記部分と前記参照画像部分（前記変換された入力画像部分又は前記第２変換から得られる前記他の画像部分のいずれか）との間の差異を形成するステップと、これらの差異を比較するステップを有し得る。
【００２４】
本発明の更なる好ましい実施例によると、前記入力画像の前記ボケた画像部分とボケていない画像部分とを区別する前記処理するステップが、前記入力画像の前記部分と前記エンハンスされた変換入力画像部分との間の第１差異を決定するステップと、前記変換された入力画像部分を前記第２変換に従い変換することによって得られる前記画像部分又は前記変換された入力画像部分と、前記入力画像の前記部分との間の第２差異を決定するステップと、前記入力画像のボケた画像部分及びボケていない画像部分を区別するために、前記第１及び第２差異を比較するステップと、を有する。
【００２５】
入力画像の部分の前記第１変換を有するエンハンス処理チェーンによって生じさせられる入力画像の部分における修正と、前記入力画像の前記部分の前記第１変換及び可能であれば第２変換を有する参照処理チェーンによって生じさせられる前記入力画像の前記部分における修正を有する前記エンハンスとを比較するステップは、ボケた画像部分及びボケていない画像部分が前記第１変換及び前記後続のエンハンスに対して異なって反応するので、前記入力画像（又はその部分）の考慮される部分がボケているかボケていないかを区別することを可能にする。
【００２６】
本発明の更なる好ましい実施例によると、前記第１変換が、前記入力画像の前記部分のスペクトル成分の低減又は除去を生じさせ、前記エンハンスが、前記変換された入力画像部分の前記表現のスペクトル成分の復元又は推定を目的とする。
【００２７】
元々ボケた画像部分において、何の重要なスペクトル成分も存在しないので、したがって、前記入力画像の前記部分をボケさせる又はダウンスケーリングさせるなどの前記第１変換を適用することは、スペクトル成分を低減又は除去しない。しかし、エンハンスチェーンにおいて、ボケ修正又は非線形アップスケーリングなどによって変換された画像部分をエンハンスする場合、スペクトル成分は、これらは元々前記画像には存在していなかったが、復元又は推定されるように試みられる。その場合、エンハンスされた画像部分は、スペクトル成分を復元又は推定するように試みない、参照チェーンによって出力される画像部分よりも元の画像部分に似ていない。対照的に、元々ボケた画像部分において、斯様なスペクトル成分は存在し、これらのスペクトル成分は、前記第１変換において実際に低減される又は除去され、前記エンハンスチェーンの前記エンハンスにおいて前記スペクトル成分を復元又は推定する試みは、スペクトル成分を復元又は推定するように試みない、前記参照チェーンによって出力される画像部分よりも元の画像部分に似ている画像部分を導く。
【００２８】
本発明の更なる好ましい実施例によると、前記第１及び第２のステップが、少なくとも２回反復され、各反復において、それぞれ異なるスペクトル成分が関連される。このアプローチは、異なる量のボケを処理することを可能にする。
【００２９】
本発明の更なる好ましい実施例によると、前記第１変換が、前記入力画像の前記部分のボケを生じさせ、前記エンハンスさせるステップが、前記変換された入力画像部分の前記表現のボケ修正を目的とし、前記第２の差異が、前記入力画像の前記部分と前記変換された入力画像部分との間において決定され、前記第１差異が前記第２差異より大きい画像部分がボケた画像部分として見なされる。
【００３０】
本発明の更なる好ましい実施例によると、前記第１変換が、前記入力画像の前記部分のダウンスケーリングを生じさせ、前記エンハンスが、前記変換された入力画像部分の前記表現の非線形アップスケーリングを生じさせ、前記第２の差異が、前記変換された入力画像部分を前記第２変換に従い変換することによって得られる前記画像部分と、前記入力画像の前記部分との間において決定され、前記第２変換が、前記変換された入力画像部分の線形アップスケーリングを生じさせ、前記第１差異が前記第２差異より大きい画像部分がボケた画像部分として見なされる。
【００３１】
前記アップスケーリング及びダウンスケーリングは、スケールされる画像部分の幅及び／又は高さの低減を生じさせ、前記幅及び／又は高さに関する対応するスケーリング因数又は結合スケーリング因数によって表され得る。前記ダウンスケーリングは、好ましくは線形である。前記線形スケーリングは、線形演算のみを有する一方で、前記非線形アップスケーリングは、ダウンスケーリング処理において失われてあって、線形アップスケーリング技法を用いては再生成され得ない少なくともある程度の詳細を再生成し得るPixelPlus、Digital  Reality  Creation、Digital  Emotional  Technology技法などの解像度アップコンバージョン技術を更に有し得る。
【００３２】
本発明の更なる好ましい実施例によると、前記少なくとも１つのボケた画像部分が、前記第２ステップにおいて、前記第１ステップにおいて得られるエンハンスされた変換入力画像部分を用いて該少なくとも１つのボケた画像部分を置換することによってエンハンスされる。
【００３３】
本発明のこの実施例は、ボケた画像部分及びボケていない画像部分を区別する処理における副生成物として計算されるエンハンスされた変換入力画像部分が、出力画像を得るために、入力画像における区別されたボケた画像部分を置換するのに実際に用いられ得るので、特に有利である。
【００３４】
本発明の更なる好ましい実施例によると、前記第１及び第２ステップが、元の入力画像から最終的な出力画像を生成するために、Ｎ回の反復において反復され、各反復n=1,…,Nにおいて、前記元の入力画像の前記部分への前記第１変換のN-n回折り畳み適用から得られる前記元の入力画像の少なくとも一部分のN-n回折り畳み変換されたバージョンが、前記入力画像の前記部分として用いられ、第１番目の反復n=1において、前記元の入力画像の前記部分への前記第１変換のN回折り畳み適用から得られる前記元の入力画像の前記部分のN回折り畳み変換されたバージョンが、前記変換された入力画像部分の前記表現として用いられ、各他の反復n=2,…Nにおいて、先行する反復n-1によって生成される前記出力画像の少なくとも一部分が、前記変換された入力画像部分の前記表現として用いられ、最後の反復n=Nにおいて生成される出力画像が前記最終的な出力画像である。
【００３５】
本発明のこのアプローチの背後の理論的根拠は、入力画像におけるボケの量が検討可能であり得るので、例えば大きなダウンスケーリング及びアップスケーリング係数を得るために、前記第１変換及び前記エンハンスがダウンスケーリング及び非線形アップスケーリングのそれぞれに向けられる場合、最高の結果がいくつかの反復Nを用いて達成され得るという観察である。N=3が選択される場合、その後第１番目の反復は、前記元の入力画像の前記部分の３回折り畳み(3-fold)変換バージョンを用いて開始する。前記入力画像の前記部分のこの３回折り畳み(3-fold)変換バージョン準備すると、エンハンス及び任意追加的に第２変換が並行して実行され、この結果を基づいて、ボケた画像部分及びボケていない画像部分は区別され、少なくとも１つのボケた画像部分がこの第１番目の反復の出力画像を得るためにエンハンスされる。第二番目の反復において、前の反復のこの出力画像の少なくとも一部分に関してエンハンスが実行され、任意追加的に前記第２変換が、前記元の入力画像の２折り畳み変換部分に関して実行される。結果の比較に基づいて、この第２番目の反復は、次の反復などへの入力として作用するエンハンスされたボケた画像部分を有する出力画像を生成する。最終的に、この第３番目の反復で得られる出力画像は、エンハンス工程の最終的な出力画像として用いられる。
【００３６】
本発明の更なる好ましい実施例によると、Ｎが３に等しい。反復の前記数は、画像品質と計算的労力との間の良好なトレードオフを可能にし得る。
【００３７】
本発明の更なる好ましい実施例によると、前記非線形アップスケーリングが、PixelPlus、Digital  Reality  Creation、又はDigital  Emotional  Technology技術に従い実行される。前記非線形アップスケーリング技法は、ダウンスケーリングされた画像に適用される場合、通常、特に焦点が合った画像部分に関して線形アップスケーリング技法を上回るが、その理由は、この技法が、ダウンスケーリング処理において失われた少なくともある程度の詳細を再生成し得るからである。
【００３８】
処理器に、上述の方法ステップを実行させるように動作可能な命令を含む計算機プログラムが更に提案されている。
【００３９】
処理器に、上述の方法ステップを実行させるように動作可能な命令を含む計算機プログラムを含む計算機プログラム製品が更に提案されている。
【００４０】
画像エンハンスのための装置であって、入力画像のボケた画像部分とボケていない画像部分とを区別するように構成される第１手段と、出力画像を生成するために、前記入力画像の前記ボケた画像部分のうちの少なくとも１つをエンハンスさせる第２手段と、を有する装置が更に提案されている。
【００４１】
本発明の更なる好ましい実施例によると、前記第１手段が、変換された入力画像部分を得るために、第１変換に従い前記入力画像の少なくとも一部分を変換するように構成される手段と、エンハンスされた変換入力画像部分を得るために、前記変換された入力画像部分の表示をエンハンスさせる手段と、第２変換に従い前記変換された入力画像部分を変換するように構成される手段と、前記入力画像の前記ボケた画像部分とボケていない画像部分とを区別するために、前記入力画像の少なくとも前記一部分、前記エンハンスされた変換入力画像部分、前記変換された入力画像部分、及び前記変換された入力画像部分を前記第２変換に従い変換することによって得られる画像部分、を処理するように構成される手段を、を有する。
【００４２】
本発明の更なる好ましい実施例によると、前記入力画像の前記少なくとも一部分、前記エンハンスされた変換入力画像部分、前記変換された入力画像部分、及び前記変換された入力画像部分を前記第２変換に従い変換することによって得られる画像部分、を処理するように構成される前記手段が、前記入力画像の前記部分と前記エンハンスされた変換入力画像部分との間の第１差異を決定するように構成される手段と、前記変換された入力画像部分を前記第２変換に従い変換することによって得られる前記画像部分又は前記変換された入力画像部分と、前記入力画像の前記部分との間の第２差異を決定するように構成される手段と、前記入力画像のボケた画像部分及びボケていない画像部分を区別するために、前記第１及び第２差異を比較するように構成される手段と、を有する。
【００４３】
本発明の更なる好ましい実施例によると、前記第１手段が、変換された入力画像部分を得るために、第１変換に従い前記入力画像の少なくとも一部分を変換するように構成される手段と、エンハンスされた変換入力画像部分を得るために、前記変換された入力画像部分の表示をエンハンスさせるように構成される手段と、前記入力画像の前記ボケた画像部分とボケていない画像部分とを区別するために、前記入力画像の少なくとも前記一部分、前記エンハンスされた変換入力画像部分、及び前記変換された入力画像部分、を処理するように構成される手段と、を有する。
【００４４】
本発明の更なる好ましい実施例によると、前記入力画像の少なくとも前記一部分、前記エンハンスされた変換入力画像部分、及び前記変換された入力画像部分、を処理するように構成される前記手段が、前記入力画像の前記部分と前記エンハンスされた変換入力画像部分との間の第１差異を決定するように構成される手段と、前記変換された入力画像部分と前記入力画像の前記部分との間の第２差異を決定するように構成される手段と、前記入力画像のボケた画像部分とボケていない画像部分とを区別するために、前記第１及び第２差異を比較するように構成される手段と、を備える。
【００４５】
本発明の更なる好ましい実施例によると、前記第１及び第２手段が、ユニットを形成し、Ｎ個のこれらユニットが、元の入力画像から最終的な出力画像を生成する直列接続として相互接続され、各ユニットn=1,…,Nにおいて、前記元の入力画像の前記部分への前記第１変換のN-n折り畳み適用から得られる前記元の入力画像の少なくとも一部分のN-n折り畳み変換されたバージョンが、前記入力画像の前記部分として用いられ、第１番目のユニットn=1において、前記元の入力画像の前記部分への前記第１変換のN折り畳み適用から得られる前記元の入力画像の前記部分のN折り畳み変換されたバージョンが、前記変換された入力画像部分の前記表現として用いられ、各他のユニットn=2,…Nにおいて、先行するユニットn-1によって生成される前記出力画像の少なくとも一部分が、前記変換された入力画像部分の前記表現として用いられ、最後のユニットn=Nにおいて生成される出力画像が前記最終的な出力画像である。
【００４６】
本発明のこれら及び他の態様は、以下に説明される実施例から明らかであり、これらを参照にして説明され得る。
【発明を実施するための最良の形態】
【００４７】
本発明は、入力画像ボケた画像部分をエンハンスする簡単で計算的に効率的な技法を提案し、このエンハンスは、例えば、これらボケた画像部分の鮮明さのエンハンスに関し得る。これを達成するために、始めに、入力画像におけるボケた画像部分及びボケていない画像部分が区別され、その後前記ボケた画像部分の少なくとも１つがエンハンスされる。
【００４８】
図１は、本発明に従う画像エンハンスに関する装置１０の第１の実施例を概略的に描写する。この実施例において、ボケた画像部分及びボケていない画像部分の間の区別は、入力画像のダウンスケーリングの線形及び非線形アップスケーリングが、ボケた画像部分及びボケていない画像部分に関して異なる結果を獲得し、これにより、（元の）入力画像と両方のアップスケーリングされた画像の差異の比較に基づき、前記ボケた画像部分及びボケていない画像部分の区別が可能になるという観察に基づく。前記非線形アップスケーリングされた画像部分は、この場合、（元の）入力画像におけるボケた画像部分の置換に関するエンハンスされたボケた画像部分として有利に用いられ得る。この技法の反復的な適用も可能であり、１回のステップの適用と比べて、画像品質の優れたエンハンスを獲得し得る。
【００４９】
図１の装置１０において、本発明の画像エンハンス技法が１回のステップで実行される。これを実現するために、例えばボケた画像部分を含む入力画像などの、エンハンスされるべき入力画像が、前記装置１０のダウンスケーリングインスタンス１０１へ供給される。前記ダウンスケーリングインスタンスにおいて、前記入力画像の幅及び／または高さは、スケーリング因数によって低減され、例えば、共通のスケーリング因数が、前記幅及び高さの低減に関して用いられ得る。この実施例において、このダウンスケーリングは、例えば線形であり得る。例えば、前記入力画像が両方の空間次元において２の因数によりダウンスケーリングされる場合、（それぞれ標本化周波数の半分に位置される）古い及び新しいナイキストボーダーの間の全てのスペクトル成分は失われるか又はエイリアスされる。この場合、ダウンスケーリングされた入力画像は、非線形アップスケーリングインスタンス１０２へ供給され、非線形アップスケーリングインスタンス１０２は、ダウンスケーリングされた入力画像の表現として作用し、例えばPixelPlusなどの非線形アップスケーリングによってエンハンスされる。スペクトルの内容を変化させず、ただ同じ画像信号をより精細なグリッドにマップする線形アップスケーリングとは対照的に、この非線形アップスケーリングは、画像信号をより精細なグリッドにマップし、また２つのナイキスト周波数間におけるハーモニックスを導入する。例えば、PixelPlusは、このことを、前記画像信号におけるエッジ信号の開始及び終了を認識することによって達成し、対応するエッジを元のエッジと同一の位置を中央として位置される急勾配なエッジにより置換する。PixelPlus技法のより詳細な説明は、公報の"A  high-definition  experience  from  standard  definition  video"  by  E.  B.  Bellers  and  J.  Caussyn,  Proceedings  of  the  SPIE,  Vol.  5022,  2003,  pp.  594-603、及び"Improving  non-linear  up-scaling  by  adapting  to  the  local  edge  orientation"  by  J.  Tegenbosch,  P.  Hofman  and  M.  Bosma,  Proceedings  of  the  SPIE,  Vol.  5308,  January  2004,  pp.  1181-1190において提供される。代替的に、例えばKondoの方法(Digital  Reality  Creation)又はAtkinの方法(Resolution  Synthesis)などの、ニューラルネットワークを用いる又は分類化に基づく一定適合型補間技法などの他の非線形アップスケーリング技法も用いられ得る。
【００５０】
この場合、生じる非線形アップスケーリング画像は、比較インスタンス１０４に供給される。同様に、ダウンスケーリングされた入力画像は、この入力画像が線形にアップスケーリングされる線形アップスケーリングインスタンス１０３に供給される。ダウンスケーリング演算において遭遇される品質のありえる損失により、線形アップスケーリングされた画像がもはや入力画像と同一でなくあり得ることが特記されるべきである。線形アップスケーリングインスタンス１０３の出力も、比較インスタンス１０４へ供給される。この場合、線形アップスケーリングされた画像と入力画像との差異Dlin、及び非線形アップスケーリングされた画像と入力画像との差異Dnlin、が、例えば各画素に関して又は画素の群に関して決定される。その後、比較インスタンス１０４は、画素毎に基づいて、差異Dlin及びDnlinを比較し、Dlin<Dnlinを維持するような画像部分と、Dlin?Dnlinを維持するような画像部分を識別する。第１の場合、前記画像部分は、ボケた画像部分に関して、線形アップスケーリングが非線形アップスケーリングよりも通常良好な結果を生成するので、ボケた画像部分として考慮される。第２の場合、前記画像部分は、ボケていない画像部分に関して、非線形アップスケーリングが線形アップスケーリングよりも通常良好な結果を生成するので、ボケていない画像部分として考慮される。
【００５１】
その後、ボケた画像部分に関する情報は、入力として前記入力画像も受信する置換インスタンス１０５に供給される。前記置換インスタンスにおいて、区別されたボケた画像部分は、前記非線形アップスケーリングインスタンス１０２から前記置換インスタンス１０５へ供給される例えばインスタンス１０２において計算された非線形アップスケーリングされた画像の部分などのエンハンスされたボケた画像の部分によって置換される。検出されたボケていない画像部分は、置換インスタンス１０５において置換されず、これにより、置換インスタンス１０５によって出力される出力画像は、基本的に、置換されるボケた画像部分を有する入力画像である。
【００５２】
したがって、本発明は、入力画像のボケた画像部分とボケていない画像部分を、ボケた／ボケていない画像部分に関してダウンスケーリングされた入力画像の線形／非線形アップスケーリングの異なる遂行を利用することによって区別し、この検出処理の副生成物を用いて区別されたボケた画像部分を置換する。
【００５３】
あまり効率的でないけれども、区別されたボケた画像部分を、ボケた／ボケていない画像部分を区別する処理においてインスタンス１０２において生成されないエンハンスされた画像部分で置換することも可能である。このことは、一方で、ボケた／ボケていない画像部分を区別するステップに関するアルゴリズム、他方で、区別されたボケた画像部分の実際のエンハンスするための異なるエンハンスに関するアルゴリズムを用いることを可能にする。
【００５４】
図２は、本発明に従う画像エンハンスに関する装置２０の第２実施例を概略的に示し、ボケた／ボケていない画像部分を区別するステップと、ボケた画像部分を置換するステップとが、反復する形式でN=3回元の入力画像へ適用される。対応して、装置２０は、特定の小さい修正を含んで、副装置として、図１の第１の実施による装置を３倍有する。図２における一番右の副装置１０は、図１０の装置１０と同一であり、図２の中央の副装置10´-2及び一番左の副装置10´-1は、非線形アップスケーリングインスタンス１０２へ供給される画像に関してわずかに異なる。副装置１０において、非線形アップスケーリング１０２がダウンスケーリングインスタンス１０１の出力を提供される一方で、副装置10´-1及び10´-2において、非線形アップスケーリングインスタンス１０２は、対応する右の副装置１０及び10´-2によって生成される出力画像を提供される。しかし、全ての副装置１０、10´-1及び10´-2の動作は、まさしく図１を参照して説明されるものである。
【００５５】
図２において、装置２０によってエンハンスされるべき元の入力画像は、３つの副装置10´-1、10´-2、及び１０のダウンスケーリングインスタンス１０１を介して進む。各ダウンスケーリングインスタンス１０１は、２のダウンスケーリング因数を適用し、その後副装置１０のインスタンス１０１の出力における画像は、３回折り畳みダウンスケーリングされており、８の全体ダウンスケーリング因数を生じさせる。このダウンスケーリングされた画像は、因数２によって非線形に（インスタンス１０２）及び線形に（インスタンス１０３）アップスケーリングされ、その後非線形及び線形アップスケーリング画像と４の因数によってダウンスケーリングされた元の入力画像である副装置１０の入力画像との差異が、ボケていない画像部分及びボケた画像部分を検出するために、副装置１０のインスタンス１０４において比較される。ボケた画像部分は、インスタンス１０５において置換され、副装置１０の出力画像としても作用する置換インスタンス１０５の出力画像は、副装置10´-2のインスタンス１０２へ供給される。
【００５６】
副装置10´-2において、１回折り畳みダウンスケーリングされた元の入力画像（スケーリング因数２）は、線形アップスケーリングに関して使用され、副装置１０の出力画像は、非線形アップスケーリングに関して用いられる。同様に、線形／非線形アップスケーリング差異は、１回折り畳みダウンスケーリングされた元の入力画像である装置10´-2の入力画像に対して比較され、前記副装置10´-2の前記入力画像における検出されたボケた画像部分を置換することによってエンハンスが実行される。副装置10´-2の置換インスタンス１０５の出力信号は、非線形アップスケーリングに関して副装置10´-1のインスタンス１０２へ供給される。
【００５７】
最終的に、副装置10´-1において、元の入力画像は、入力画像として作用し、検出されるボケた画像部分は、装置２０の最終的な出力画像を得るためにこの元の出力画像において直接置換される。
【００５８】
本発明のステップの反復的な適用の簡易的な説明は、以下の疑似コード例の形式で利用可能であり、図２における装置２０に類似して、３つのステップのアプローチが、例示的に説明され、同様に、ボケた画像部分及びボケていない画像部分のダウンスケーリング及び後続の線形／非線形アップスケーリングへの異なる反応が利用される（コメントは、ダブルフォワードスラッシュで開始する）。
//疑似コードの例を開始する
org=Input
//初めに、ダウンスケーリングにより、３つのスケーリングレベルであるsmall、smaller及びsmallestを生成する。
Downscale(org,small);
Downscale(small,smaller);
Downscale(smaller,smallest);
//最小のものをsmallerUPNLinへ非線形アップスケーリングし、
//最小のものをsmallerUPLinへ線形アップスケーリングし、
//スマートな組合せを作成し、その後、これは、バッファsmallerhelpに含まれる。
UpscaleNLin(smallest,smallerUpNLin);
UpscaleLin(smallest,smallerUpLin);
Combine(smallerUpLin,smallerUpNLin,smaller,smallerhelp);
//smallerhelpをsmallUPNLinへ非線形アップスケーリングし、
//smallerをsmallUPLinへ線形アップスケーリングし、
//スマートな組合せを作成し、その後、これは、バッファsmallhelpに含まれる。
UpscaleNLin(smallerhelp,smallUpNLin);
UpscaleLin(smaller,smallUpLin);
Combine(smallUpLin,smallUpNLin,small,smallhelp);
//smallerhelpをorgUPNLinへ非線形アップスケーリングし、
//smallをorgUPLinへ線形アップスケーリングし、
//スマートな組合せを作成し、その後、これは、バッファorghelpに含まれる。
UpscaleNLin(smallhelp,orgUpNLin);
UpscaleLin(small,orgUpLin);
Combine(orgUpLin,orgUpNLin,org,orghelp);
//現在、バッファorghelpは、出力（ボケエンハンス）画像を含む。
Output=orghelp;
//疑似コード例を終了する。
【００５９】
図３は、本発明に従う画像エンハンスに関する第３の実施例の装置３０の概略的表現である。この実施例において、ボケた画像部分及びボケていない画像部分の間の区別は、入力画像の意図的にボケた部分に対するエンハンスを実施すること及びエンハンスを実施しないことが、ボケた画像部分及びボケていない画像部分に関して異なる結果を獲得し、これにより、前記エンハンスされた画像部分及び前記エンハンスされていない意図的にボケた画像部分の差異を、前記入力画像の前記部分と比較することに基づいて前記ボケた画像部分及びボケていない画像部分の区別が可能になるという観察に基づく。この場合、エンハンスされた意図的にボケた画像部分は、（元の）入力画像におけるボケた画像部分の置換用に用いられ得る。同様に十分、前記区別されたボケた画像部分は、異なるエンハンス技法に従いエンハンスされ得、この場合、前記出力画像を得るために、前記入力画像において置換され得る。
【００６０】
図３において、例えばボケた画像部分を含む入力画像などの、エンハンスされるべき入力画像は、前記装置３０のボカシインスタンス３０１へ供給される。前記ボカシインスタンス３０１において、入力画像は、意図的にボケされられる。その後、前記意図的にボケた入力画像は、ボケ修正インスタンス３０２へ供給され、そこでは、前記画像は、ボケの低減に関してエンハンスされる。その後、生じるボケ修正された画像は、比較インスタンス３０４へ供給される。意図的にボケた入力画像も、比較インスタンス３０４へ直接供給される。そこにおいて、インスタンス３０２によって出力されるボケ修正画像と元の入力画像との間の第１の差異、及びインスタンス３０１によって出力される意図的にボケた入力画像と元の入力画像との間の第２の差異、が、各画素に関して、又は画素の群に関して決定される。その後、比較インスタンス３０４は、例えば各画素毎に基づき第１及び第２差異を比較し、第１差異が第２差異よりも小さいような画像部分、及び第１差異が第２差異よりと等しいかより大きいような画像部分を識別する。前者の場合、前記画像部分は、ボケていない画像部分として考慮され、後者の場合、前記画像部分は、ボケた画像部分として考慮される。これは、対応するスペクトルが重要なエネルギーを含まないような元々ボケた入力画像部分の場合、インスタンス３０１における意図的なボカシは、前記入力画像部分を含まず、これにより、インスタンス３０１によって出力される意図的にボケた入力画像部分と元の入力画像との間の第２の差異は小さいという事実による。対照的に、元々ボケた入力画像部分の場合も、インスタンス３０２における意図的にボケた入力画像のエンハンスは、ボケた画像が元々ボケていなかったスペクトルを生成し、これにより、インスタンス３０２によって出力されるエンハンスされた意図的にボケた入力画像と元の入力画像との間の第２の差異が大きくなるようにされる。ボケていない入力画像部分に関して、意図的なボカシ及び後続のエンハンスは、意図的なボカシのみよりも良好な結果を獲得する。この工程を異なるスペクトル成分に関して繰り返すことによって、異なる量のボカシを用いて処理され得る。
【００６１】
図３に戻ると、ボケた／ボケていない画像部分の区別の後、ボケた画像部分に関する情報は、前記入力画像を入力としても受信する置換インスタンス３０５へ供給される。前記置換インスタンス３０５において、区別されたボケた画像部分は、前記ボケ修正インスタンス３０２から前記置換インスタンス３０５へ供給されるエンハンスされたボケた画像部分によって置換される。検出されたボケていない画像部分は、置換インスタンス３０５において置換されず、これにより、置換インスタンス１０５によって出力される出力画像は、基本的に、置換されるボケた画像部分を有する入力画像である。
【００６２】
本発明のこの第３の実施例は、効率的な実施化を達成するために、ダウンスケーリング及びアップスケーリングとも組み合わせられ得ることを特記されるべきである。
【００６３】
図４は、本発明に従う画像エンハンスに関する方法の例証的なフローチャートである。第１ステップ４１において、入力画像のボケた画像部分およびボケていない画像部分が区別される。第２ステップ４２において、区別されたボケた画像部分は、出力画像を得るために、入力画像において置換される。ここにおいて、ステップ４１は、以下のサブステップを含む。サブステップ４１１において、入力画像の少なくとも一部分は、変換された入力画像部分を得るために、第１変換（例えば、ボカシ又はダウンスケーリング）に従い変換される。続いて、前記変換された入力画像部分自体、又はその表現は、サブステップ４１２においてエンハンスされた変換入力画像部分を得るために、（例えば、ボケ修正、又は非線形アップスケーリングなどにより）エンハンスされる。このエンハンスされた変換入力画像部分及び前記入力画像の前記部分の間の第１の差異は、サブステップ４１３において決定される。変換された入力画像部分は、サブステップ４１４において、第２変換（例えば、線形アップスケーリング）に従い任意追加的に変換される。サブステップ４１５において、前記入力画像の前記部分と前記変換された入力画像部分（例えば、前記第１変換がボカシを表す場合）又は第２変換に従い更に変換される前記任意追加的に変換された入力画像部分（例えば、前記第１変換がダウンスケーリングを表す場合における線形アップスケーリング）との間の第２の差異が決定される。サブステップ４１６において、サブステップ４１３及び４１６において決定された第１及び第２の差異が、前記入力画像のどの画像部分がボケていて、どれがボケていないかを決定するために比較される。
【００６４】
本発明は、好ましい実施例を用いて上記において説明されてきた。当業者にとって明らかであり、添付の請求の範囲及び精神から逸脱することなく実施化され得る代替手法及び変形態様が存在することを特記されるべきである。
【図面の簡単な説明】
【００６５】
【図１】図１は、本発明に従う画像エンハンスに関する装置の第１の実施例の概略的表現である。
【図２】図２は、本発明に従う画像エンハンスに関する装置の第２の実施例の概略的表現である。
【図３】図３は、本発明に従う画像エンハンスに関する装置の第３の実施例の概略的表現である。
【図４】図４は、本発明に従う画像エンハンスに関する方法の例証的なフローチャートである。
【図１】
2008518318.tif 000003
【図２】
2008518318.tif 000004
【図３】
2008518318.tif 000005
【図４】
2008518318.tif 000006
【国際調査報告】
2008518318.tif 000007
2008518318.tif 000008
2008518318.tif 000009