(57)【要約】【課題】ノイズの入った圧縮画像の印刷処理法。【解決手段】高速技法は、低画質の圧縮画像出力を有する廉価なセンサ／カメラから得た画像を処理するために、オーバーコンプリートなＤＣＴ表現を用いると共に、変換係数をしきい値処理及び変換することによってブロック解除、ノイズ除去、ぼやけ解除を行なう。色相変換を補償するために色バランスアルゴリズムを用いる。色チャネル間の質の差とチャネル間相関を利用し、計算必要量を有意に減らすと共に印刷前にそうした画像を処理するための高性能技法を生む。【選択図】図１
2005176350.tif 000002
【特許請求の範囲】
【請求項１】
ノイズの入った圧縮デジタル画像を処理するための方法であって、
(a)再構成された第１色データを得るために、
(a)(1)画像の複数のブロックの各々に対する初期第１色データの変換表現を計算し、計算された各変換表現は複数の変換係数からなり、
(a)(2)各ブロックの中の変換係数をしきい値処理及びスケーリングし、
(a)(3)各ブロックで指定された画素に対する再構成された第１色値を判定するために各ブロックの中のしきい値処理及びスケーリングされた変換係数を逆転する、
ことによって画像の初期第１色データを処理するステップと、
(b)画像の初期第１色データの少なくとも一部分と初期第２及び第３色データ各々の少なくとも対応する一部分との間の局所マップを空間的に判定するステップと、
(c)画像の再構成された第２及び第３色データを得るために、ステップ(a)で得た選択された再構成第１色値から各ブロックで指定された画素に対する再構成第２及び第３色値をステップ(b)で判定されたマップを用いて推定するステップとを備える方法。
【請求項２】
複数のブロックは画素の近傍を各々含んでおり、各ブロックはそれぞれの指定画素を有し、その指定画素に対する再構成された第１色値が決定される、請求項１に記載の方法。
【請求項３】
処理ステップ(a)はある特定の近傍内の各画素に対する再構成された第１色値が判定されるまで実行されてから、その近傍内の再構成された第１色値から、対応する指定画素に対する再構成された第２及び第３値を推定するステップ(b)及び(c)に進む、請求項２に記載の方法。
【請求項４】
第１色データは緑、第２色データは赤、第３色データは青である、請求項１に記載の方法。
【請求項５】
再構成された緑、赤、青の色データに色相変化を実行するステップをさらに備える請求項４に記載の方法。
【請求項６】
再構成された画像データを別の解像度に補間するステップをさらに備える請求項１に記載の方法。
【請求項７】
ステップ(a)(2)のしきい値処理はソフト・スレショルディングである、請求項１に記載の方法。
【請求項８】
ノイズの入った圧縮デジタル画像を処理するための装置であって、
画像の初期第１色データを処理するように構成された変換領域処理モジュールを備え、変換領域処理モジュールは、
画像の複数のブロックの各々の初期第１色データの変換表現を形成するように構成された変換ブロックプロセッサを有し、計算された各変換表現は複数の変換係数からなり、
各ブロックの中の変換係数をしきい値処理及びスケーリングし、各ブロックの中のしきい値処理及びスケーリングされた変換係数を逆転するように構成された変換係数プロセッサを有して、
変換領域処理モジュールは各ブロックの中のある指定された画素に対する再構成された第１色値を判定するものであり、さらに、
画像の再構成された第２及び第３色データを得るために、(i)画像の初期第１色データの少なくとも一部分と初期第２及び第３色データ各々で対応する少なくとも一部分との間の局所マップを空間的に判定し、(ii)判定されたマップを用いて、選択された再構成第１色値から各ブロックの中の指定された画素に対する再構成された第２及び第３色値を推定するように構成された再構成モジュールを備える装置。
【請求項９】
変換領域処理モジュールによって処理された複数のブロックは画素の近傍を各々含んでおり、各ブロックにはそれぞれの指定画素があり、その画素に対する再構成された第１色値が判定される、請求項８に記載の装置。
【請求項１０】
再構成モジュールは、ある特定の近傍内の対応する指定画素に対する再構成された第２及び第３の色値を、その近傍に入っている各画素に対する再構成された第１色値が判定されてから、その近傍内の再構成された第１色値に基づいて推定する、請求項９に記載の装置。
【請求項１１】
第１色データは緑の色データで、第２色データは赤の色データ、そして第３色データは青の色データであって、再構成された緑、赤、青の色データに色相変化を実行するように構成された色相変化モジュールをさらに備える、請求項８に記載の装置。
【請求項１２】
再構成された画像データを別の解像度に補間するように構成された補間モジュールをさらに備える、請求項８に記載の装置。
【請求項１３】
装置はコンピュータ又はプリンタからなる、請求項８に記載の装置。
【請求項１４】
ノイズの入った圧縮デジタル画像を機械に処理させるための命令プログラムを有する機械可読媒体であって、命令プログラムは、
(a)再構成された第１色データを得るために、
(a)(1)画像の複数のブロック各々に対する初期第１色データの変換表現を計算し、計算された各変換表現は複数の変換係数からなり、
(a)(2)各ブロック内の変換係数をしきい値処理及びスケーリングし、
(a)(3)各ブロックにおいて指定された画素に対する再構成された第１色値を判定するために各ブロック内のしきい値処理及びスケーリングされた変換係数を逆転する、
ことによって画像の初期第１色データを処理するための命令と、
(b)画像の初期第１色データの少なくとも一部分と初期第２及び第３色データ各々で少なくとも対応する一部分との間の局所マップを空間的に判定するための命令と、
(c)画像の再構成された第２及び第３の色データを得るために、各ブロック内の指定された画素に対する再構成された第２及び第３色値を、ステップ(a)で得た選択された再構成された第１色値から、ステップ(b)で判定されたマップを用いて推定するための命令とからなる、機械可読媒体。
【請求項１５】
複数のブロックは各々が画素の近傍を含んでおり、各ブロックはそれぞれの指定画素を有し、その指定画素に対する再構成された第１色値が判定される、請求項１４に記載の機械可読媒体。
【請求項１６】
ある特定の近傍内の各画素に対する再構成された第１色値が判定されるまで処理命令(a)を実行してから、対応する指定画素に対する再構成された第２及び第３の色値をその近傍内の再構成された第１色値から推定するように指図する命令(b)及び(c)に進む、請求項１５に記載の機械可読媒体。
【請求項１７】
第１色データは緑の色データで、第２色データは赤の色データ、そして第３色データは青の色データである、請求項１４に記載の機械可読媒体。
【請求項１８】
再構成された緑、赤、青の色データに色相変化を実行するための命令をさらに有する、請求項１７に記載の機械可読媒体。
【請求項１９】
再構成された画像データを別の解像度に補間するステップをさらに有する、請求項１４に記載の機械可読媒体。
【請求項２０】
(a)(2)におけるしきい値処理はソフト・スレショルディングである、請求項１４に記載の機械可読媒体
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はノイズの入った圧縮画像を処理する技法に関する。この技法はデータの一色を処理し、最初のカラーの処理及び未処理データに基づいて他の色データを再構成することによってそうしたデータの高速処理を可能にする。この技法は、装置（例えば、コンピュータ）に、デバイス（例えば、集積回路）に、或いは機械可読媒体に実装された命令プログラム（例えば、ソフトウェア）として実施可能である。
【背景技術】
【０００２】
カメラ装備の携帯電話、ウェブカム、ＰＤＡ、ロボットといった多数の低コスト・低パワーデバイスには廉価なＣＭＯＳセンサが広く使用されている。そうしたデバイスから出力される画像は解像度が低かったり信号対雑音比が悪いために劣化するのが普通である。センサのノイズに起因する劣化に加えて、そうした画像は、赤、緑、青の色成分についていろいろな空間密度で明視野(light field)をサンプリングする（そのために、いろいろな位置がいろいろなスペクトル成分に反応する単一のセンサを使用可能）「モザイク式」センサの使用や、小さなアパチャが固定されたプラスチックレンズという形になった簡単なオプティックスの使用といったコスト削減対策が原因で生じるアーティファクトも含んでいる。測定された近傍サンプルから各画素位置で色成分を補間するプロセスは「モザイク解除」と呼ばれる。人間の目は可視スペクトルの中の緑から黄色にかけての部分に最も敏感だから、ほとんどのモザイク式センサは緑に反応する素子を多数用いて作られている。そうしたセンサには緑に反応する素子が赤又は青に反応する素子の２倍が使われていることが多い。画像ストレージメモリの要件を軽減するために、これらのセンサは往々にしてＪＰＥＧなど一般的な圧縮アルゴリズムを用いてセンサ収集データを圧縮する画像圧縮モジュールと結合されている。しかしながら、ノイズの入ったデータをＪＰＥＧで圧縮するとブロック状の画像アーティファクトを生じることが多い。そうしたノイズの入ったアーティファクト含有画像は携帯電話やＰＤＡなど小さな画像のディスプレイで見るぶんには特に問題にならないけれど、画像を拡大すると画質がさらに劣化する。そのために、そうした画像はインクジェットプリンタなど高解像度のデバイスにレンダリングするのに向いていない。ノイズの入ったブロック状のアーティファクト及び／又はぼやけに関連する問題の他に、画像（例えば、蛍光灯による照明の室内シーンの画像）によっては色相変化(hue shifts)によっても劣化する。
【０００３】
【特許文献１】米国特許6141054号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００４】
そこで、本発明の目的は、上記の問題を克服し、ノイズ、アーティファクト、ぼやけ、及び／又は色相変化に起因して劣化した画像を処理するための技法を提供することである。
【０００５】
本発明のもう一つの目的は、低画質の圧縮画像出力を有する廉価なセンサ／カメラから得た画像を処理するように設計された高速技法を提供することである。
【課題を解決するための手段】
【０００６】
本発明の一つの態様によれば、ノイズの入った圧縮されたデジタル画像を処理するための方法を提供する。この方法は、（ａ）再構成された第１色データを得るために、(a)(1)複数の画像ブロックの各々に対する初期第１色データの変換表現を計算し、計算された各変換表現は複数の変換係数からなるものであり、(a)(2)各ブロック内の変換係数をしきい値処理（例えば、ソフト・スレショルディング）及びスケーリングし、(a)(3)ブロック毎に指定された画素に対する再構成された第１色値を判定するために各ブロックのしきい値処理及びスケーリングされた変換係数を逆転させることによって、画像の初期第１色データを処理するステップからなる。さらに、この方法は、(b)画像の少なくとも初期第１色データの一部分と少なくとも初期第２及び第３色データ各々の対応する部分との間の局所マップを空間的に判定し、(c)画像の再構成された第２及び第３色データを得るために、ステップ(a)で得た選択された再構成された第１色値から、各ブロックの指定された画素に対する再構成された第２及び第３色値を、ステップ(b)で判定されたマップを用いて推定するステップからなる。
【０００７】
複数のブロックは画素の近傍を各々含んでおり、各ブロックは再構成された第１色値が決定されたそれぞれの指定画素を有するのが好ましい。
【０００８】
ある特定の近傍に入っている各画素に対する再構成された第１色値が決定されるまで処理ステップ(a)を実行してから、対応する指定された画素に対する再構成された第２及び第３色値をその近傍内の再構成された第１色値から推定されるステップ(b)及び(c)に進むのが好ましい。すなわち、ある画素に対する再構成された第２及び第３色値の推定はその近傍内の全て画素に対する再構成された第１色値（再構成された赤及び青の値を推定する基になる）が決定されるとすぐに開始される。従って、第２及び第３色値の処理は第１色データの処理に軽く遅れるが、第１色データの処理が完了するまで第２及び第３色データの処理の開始を待たなければならないということではない。第２及び第３色データを並列処理して構わない。
【０００９】
好適な実施例において、第１色データは緑の色データで、第２色データは赤の色データ、第３色データは青の色データである。
【００１０】
この方法はさらに、再構成された緑、赤、青の色データに色相変化を実行すると共に／又は再構成された画像データを別の解像度に補間するステップを有する。
【００１１】
別の態様において、発明はノイズの入った圧縮されたデジタル画像を処理するための装置が必要になるが、装置はコンピュータ又はプリンタで構わない。装置には変換領域処理モジュールがあり、このモジュールにはさらに変換ブロックプロセッサと変換係数プロセッサとがある。再構成モジュール(reconstruct module)もこの装置の一部である。実施例によっては、装置にさらに色相変化モジュール及び／又は補間モジュールがある。これらのモジュールは各々、関連付けられる処理を実行するように構成されている。各モジュールはソフトウェアで実現されるのが便利だけれども、代わってハードウェアを用いて実現しても構わない。後者の場合、ハードウェアは一つ以上の次のもの：命令ベースのプロセッサ（例えば、中央処理装置（ＣＰＵ））、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号処理回路機構、又はそれらの組合せで構わない。
【００１２】
発明の更なる態様によれば、先に説明した方法又はそのステップは、実行するためにコンピュータ又はその他のプロセッサ制御型デバイスに格納又は伝達可能な命令プログラム（例えば、ソフトウェア）で実施することができる。代わって、方法又はステップを機能的に同等のハードウェア（例えば、ＡＳＩＣ、デジタル信号処理回路機構など）を用いて、或いはソフトウェアとハードウェアとの組合せで実現しても構わない。
【００１３】
発明をよりよく理解すると共に発明の他の目的及び成果は、添付の図面と共に以下に述べる説明並びに請求項を読めば明白になるし評価するだろう。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を図面に基づいて説明する。
【実施例１】
【００１５】
A.  方法／アルゴリズム
図１の流れ図において、本発明のアルゴリズム／方法はステップ１０１でカラー（ＲＧＢ）入力画像の検査されていない画素を考察して始まる。次に、その画素を中心とした奇数サイズのブロックの中の緑の色データの変換表現（例えば、離散コサイン変換（ＤＣＴ））が計算される（ステップ１０２）。変換係数の約２５％によって中心画素が全面的に判定されるから、完全な変換表現の係数のほとんどを計算する必要がない。ステップ１０３で、変換係数がしきい値処理及びスケーリングされる。しきい値及びスケーリング係数は予め工場で設定してもいいし、任意の適切なキャリブレーション手順によってデバイスごとに決めても構わない。しきい値処理によりノイズを有効に低減できる一方、それと同時にスケーリングにより入力画像のぼやけを解除できる。
【００１６】
結果として生じる係数が次に中心画素について再構成された緑の色値を決めるために逆転される（１０４）。変換係数を修正した結果、逆転値は画素の許容範囲内に入らないかもしれない。その決定がステップ１０５で行なわれる。逆転値が許容範囲内に入っていなければ、変換逆転（例えば、ＤＣＴ逆転）の結果を許可範囲にマッピングするためにステップ１０６で輝度リマッピング手順を用いる。
【００１７】
ステップ１０７に進み、ある特定の近傍内の全ての画素がすでに考察されたかどうか判定される。未だならば、このアルゴリズムはステップ１０１にループバックし、そこで次の画素を得て、その画素に対してステップ１０２から１０６が繰り返される。しかしながら、適したサイズ（例えば、３ｘ３又は５ｘ５）を有する所与の近傍内の全ての画素に対する再構成された緑の色値を得るとすぐにこのアルゴリズムはステップ１０８に進み、そこで近傍の対象（例えば、中心）画素について対応する赤と青の色値が再構成及び推定される。そうした赤及び青の色データは、未処理の（つまり、ノイズの入った）画像データを用いて緑の色データと赤及び青の色データとの間の局所マップを空間的に先ず判定することによって再構成される。これらのマップは次に、画素の近傍の再構成された緑のチャネル値から近傍の対象画素の赤と青のチャネル値を推定するのに用いられる。高速インプリメンテーションには、例えば、再構成された緑のチャネルをスケーリングして画像の赤と青のチャネルを推定するためにローカル手段の比率を用いることができる。このステップは、色チャネル間の局所空間相関と、センサに緑に敏感なセンサ素子がより多く使われていることと緑に敏感なセンサ素子は分光感度が優れているために緑のチャネルの品質は赤及び青のチャネルと比べはるかに優れているという事実とを利用している。
【００１８】
次に、ステップ１０９で、入力画像の中に考察しなければならない画素がまだ残っているかどうか判定される。そうならば、このアルゴリズムはステップ１０１にループバックし、そこで次の未検査の画素が考察される。この画素は新たな画素近傍における最初の画素で、内部ループのステップ１０１から１０８の処理の対象になる。各色チャネルに対する再構成された完全なデータ集合を得た後、このアルゴリズムは再構成後の処理を続ける。
【００１９】
オプションのステップ１１０で、色相変化はよく知られた灰色世界仮説(gray-world assumption)を用いることによって補正可能である。この仮説によれば、画像の中の全てのカラーの平均はほぼグレイであるはずである。従って、色相の調整を行なうために、画像の全画素の色の平均をとることによって平均の色が計算される。計算された平均値が十分に高い輝度を有し、グレーとそれほど違わなければ（つまり、全ての色成分が実質的に同じ強さを有していれば）、色相変化を補償するために平均値のグレーとの偏差を全ての画素から差し引くことができる。実際には、偏差の縮小版が全ての画素から差し引かれ、色相変化を行なうために結果として生じる色が許容範囲内の色域に合わせてクリッピングされる。色相変化補正アルゴリズムを選択的に適用することで、特殊ビジュアル効果（例えば、日没、ダンスフロアなど）に適した特別の照明条件下で撮られた画像がいつも悪影響を受けるとは限らないようにすることができる。先に述べたように、このステップはスキップして構わない。
【００２０】
印刷前に、処理された画像を別の（より高い）解像度に補間しなければならないことがある。従って、ステップ１１１で、そうした補間が必要かどうかについて決定が行なわれ、もし必要ならば、ステップ１１２で補間が実行される。必要な処理やメモリの資源が少なくてすむ単純な双一次補間を用いて構わない。しかしながら、双一次補間には画像に対する平滑化効果がある。この効果は、双一次補間を用いて補間する場合、視覚的にアピール力のあるわずかに鮮鋭化されすぎた画像を生成するためにステップ１０３でスケーリング因子を調整して補償することができる。ステップ１１２（又は補間が不要と思われる場合はステップ１１１）の後、ステップ１１３で画像が印刷される。
【００２１】
B.  更なる詳細
B.1  ＤＣＴ計算
2005176350.tif 000003
【００２２】
B.2  色チャネルをマッピング
先に説明したように、緑の色チャネルは一般的に、この色チャネルに対してセンサは空間サンプリングが高いことと分光感度が優れているために、データの質が最も高い。赤と青のチャネルは一般的にノイズが多く、センサでサンプリングされる密度がもっと疎である。変換係数を計算し、その中のいくつかを修正して、その結果を逆転するのは計算的に高価だから、本発明は高価でないモデルを採用して緑のチャネルから赤と青のチャネルを予測し、再構成された緑のチャネルを用いて赤と青のチャネルを再構成するという点で長所がある。ＤＣＴベースの再構成アルゴリズムを用いて赤と青のチャネルを個別に処理する操作よりも安上がりな推定及び予測の操作を有するモデルを用いると相応して計算の節約になる。
【００２３】
2005176350.tif 000004
【００２４】
先に説明したマップはセンサから検索した画像からの色データを用いて構築される。画素の赤と青のチャネルの処理は、赤と青の変換が推定される近傍に属する全ての画素に対する緑のチャネルが処理（ノイズ除去(de-noised)及びぼやけ解消(de-blurred)）されたらすぐに開始される。従って、赤と青のチャネルの処理は緑のチャネルの処理よりもわずかに遅れるが、緑のチャネルの処理が完全に終わるまで赤と青のチャネルの処理の開始を待つ必要はない。赤と青のチャネルを並列処理して構わない。
【００２５】
対応する処理された緑のチャネル値から赤と青のチャネルに対する新たな値を得るための別のやり方は、入力画像で、画素毎に、その画素の近傍内の所望のチャネル（赤又は青）の局所平均(local mean)と緑のチャネルの局所平均との比に等しい因子によって処理された緑のチャネル値をスケーリングすることである。
【００２６】
B.3  ＤＣＴ係数修正
先に説明したように、各ウィンドウの中央にあるノイズ除去及びぼやけ解消された色を判定するために、ＤＣＴ係数をソフト・スレショルディングした後にスケーリングすることによって修正する。ソフト・スレショルディングは、ＤＣＴ係数の高周波数に対応する振幅を減らすために滑らかな増加しない(non-increasing)関数を使用する。この操作は画像ノイズを減らす。しきい値処理操作後、零でない高周波数ＤＣＴ係数の振幅を増やすためにしきい値処理されたＤＣＴ係数にスケーリング関数を適用する。ぼやけを解消し、画像を鮮鋭にするソフト・スレショルディング操作を実現するのに、例えば、減少するシグモイドのテンソル積、ガウスフィルタを巻き込んだ(convolved with)減少する単位ステップ関数のテンソル積など、様々な関数を用いることができる。
【００２７】
ソフト・スレショルディング及びスケーリング操作のパラメータは、テストシーンに対してセンサが得た画像を調べることによって得ることができる。色勾配の低い滑らかな照明のシーンの画像のＤＣＴは基本的に中及び高周波数係数に対するノイズを含んでいる。各ＤＣＴ係数に対するしきい値を、知覚画質を最善の状態にする実験的に決められた因子でスケーリングされた滑らかなシーンのＤＣＴに対する対応する係数に設定することができる。
【００２８】
画像のぼやけを減らすのに各ＤＣＴ係数が必要とするスケーリング因子を決めるのに、シャープな画像の遷移（例えば、白地に載った黒円の画像）のソフト・スレショルディングされたＤＣＴを用いることができる。各係数に対するスケーリング因子は理想の画像（例えば、白地に載った黒円）のＤＣＴ係数と対応する、ソフト・スレショルディング操作を生き延びた零でないＤＣＴ係数との比であるのが好ましい。このプロセスはノイズに対して敏感だから、好適な実施例において、放物表面(parabolic surface)を特定の必要条件を満たしたＤＣＴ係数に対して推定されたスケーリング因子に適合させ、スケーリング操作を実行するのにこの面の一様にスケーリングされたバージョンを用いる。この適合には放物表面が好ましいが、任意の他の低次元で、放射状に対称な減少しない表面を代わりに用いることができる。知覚画質を最善の状態にするために、推定表面をスケーリングするためのスケーリング因子を実験的に決める。
【００２９】
C.  インプリメンテーション
本発明のアルゴリズム／方法は、ソフトウェアで実現するのが便利である。代わって、本発明のアルゴリズム／方法をハードウェア又はハードウェアとソフトウェアの組合せで実現しても構わない。このことを念頭に入れて、図２にユニット２１を示した。ユニット２１は、発明どおりに処理を実行するソフトウェア及び／又はハードウェアで構成された装置又はデバイスを表わしている。ユニット２１が実行する処理を様々なモジュールで表わしている。先に説明したように、ノイズやぼやけなどで劣化している圧縮入力画像を表わす入力画像データが入力２２から受け取られ、変換領域処理モジュール２３に伝達される。変換領域処理モジュール２３には次のモジュールがある。つまり、各画素を中心にした奇数サイズのブロック内の第１（例えば、緑）色データの変換表現を計算するように構成された変換ブロックプロセッサ２４と、ブロック内の変換係数をしきい値処理及びスケーリングし、そのブロック内のしきい値処理及びスケーリングされた係数を逆転されるように構成された変換係数プロセッサ２５とがある。この処理の結果、変換領域処理モジュール２３は入力画像データの中の各画素に対する第１（例えば、緑）色値を判定する。
【００３０】
再構成モジュール２６は、(i)画像の少なくとも初期第１（例えば、緑）色データと初期第２及び第３（例えば、赤と青）色データ各々との間の局所マップを空間的に判定することによって画像の第２及び第３（例えば、赤と青）色データの各々を再構成し、(ii)得た再構成された第１（例えば、緑）色データから画像の再構成された第２及び第３（例えば、赤と青）色データをその判定されたマップを用いて推定するように構成されている。先に述べたように、赤と青の色データの処理は、対応する処理済みの緑のデータ（例えば、対応する赤と青の色データが推定される近傍に属する全ての画素に対する処理済みの緑のデータ）が使用可能になると、実行される。
【００３１】
色相変化モジュール２７は、補正が必要な場合や望ましい場合に、再構成された画像の色相変化を補正するように構成されている。補間モジュール２８は補間が必要な場合に画像を補間するように構成されている。
【００３２】
再構成された画像は次に、高解像度レンダリングするために出力２９からレンダリングデバイス（例えば、プリンタ又はディスプレイ）に伝送される。
【００３３】
ユニット２１は、図３に示したタイプの画像処理システム３０上に全部又は一部実施することができる。この画像処理システムは本質的に、画像入力装置や画像出力装置、つまり、プリンタやディスプレイなど周辺デバイス付きコンピュータである。そうした周辺デバイスは処理を実行するのに不可欠なものではないが、入力画像を得られるデバイス及び処理された画像をレンダリングできるデバイスを例をあげて説明するために表示している。コンピュータそれ自体は、本発明のアルゴリズムを実行するのに適していれば、スタイル、メーカーや機種を問わない。なお、アルゴリズムを他の適した装置に実施しても構わない。例えば、発明のアルゴリズムをプリンタに直接実装することもできる。
【００３４】
図３に示した画像処理システムには、計算資源を提供すると共にシステムを制御する中央処理装置（ＣＰＵ）３１が備わっている。ＣＰＵ３１はマイクロプロセッサなどで実現できるし、数学計算に対応できるように浮動小数点プロセッサを備えることもできる。ＣＰＵ３１は、イメージ／グラフィックス、ビデオ、オーディオの各データを処理するように構成されているのが好ましい。このために、ＣＰＵ３１はそうした処理をハンドリングするように特別に設計された１個以上の他のチップを備えていてもいい。システム３０にはさらにシステムメモリ３２があり、システムメモリ３２はランダムアクセスメモリ（ＲＡＭ）及びリードオンリーメモリ（ＲＯＭ）といった形になっていて構わない。
【００３５】
そうしたシステム３０は、図３に示すように、多数のコントローラ及び周辺デバイスを含んでいるのが一般的である。図解した実施例において、入力コントローラ３３は、キーボード、マウス又はスタイラスといった１個以上の入力デバイス３４とのインタフェースを表わしている。画像入力デバイス３６と通信するコントローラ３５もある。画像入力デバイス３６は、携帯電話、ウェブカム、ＰＤＡ、ロボットなど様々な低コスト・低パワーデバイスのどれか、或いは画像取得可能な同等のデバイスで構わない。ストレージコントローラ３７は１個以上のストレージデバイス３８とインタフェースをとり、ストレージデバイス３８には各々、磁気テープ又はディスク、光学式媒体といった記憶媒体がある。記憶媒体は、オペレーティングシステム、ユーティリティ、アプリケーション用の命令プログラムを記録するのに使用することができ、命令プログラムは本発明の様々な態様を実現するプログラムの実施例を含んでいるかもしれない。ストレージデバイス３８は、入力画像データ及び／又は発明に従って処理された出力データを格納するために使用することもできる。ディスプレイコントローラ３９は表示装置４１とのインタフェースを可能にする。表示装置４１は任意の公知のタイプの表示装置で構わない。プリンタ４２と通信できるようにプリンタコントローラ４２も備えられている。プリンタ４２は高解像度プリンタで構わない。本発明の処理を、プリンタコントローラ４２（例えば、プリンタドライバ）において実施しても構わない。
【００３６】
通信コントローラ４４は通信デバイス４５とインタフェースをとり、通信デバイス４５により、インターネット、ローカル又はワイドエリアネットワークなど様々なネットワークのどれかで、或いは赤外線信号など任意の適した電磁搬送波信号で、システム３０が遠隔デバイスに接続できるようになる。
【００３７】
図解したシステムにおいては、全ての主要なシステムコンポーネントがバス４６に接続され、バス４６は１本以上の物理的バスを表わして構わない。
【００３８】
発明の特定のアプリケーションによっては、様々なシステムコンポーネントが物理的に相互に近接しているかも或いはしていないかもしれない。例えば、入力画像データ及び／又は出力画像データは、遠隔地から受け取り及び／又は遠隔地に伝送されるかもしれない。また、本発明の画像処理の様々な態様を実現するプログラムは、ネットワークで遠隔地（例えば、サーバ）からアクセス可能である。そうしたデータ及び／又はプログラムは、磁気テープ又はディスクや光ディスクなど様々な機械可読媒体、ネットワーク信号、或いは赤外線信号など任意の適した電磁搬送波信号のうちのどれかで伝達することもできる。
【００３９】
本発明は、ソフトウェアで実現するのが便利だけれども、ハードウェア・インプリメンテーション又はハードウェア／ソフトウェアの組合せインプリメンテーションも可能である。ハードウェア・インプリメンテーションは、例えば、ＡＳＩＣ、デジタル信号処理回路機構などを用いて実現できる。そのために、クレーム表現「機械可読媒体」には、ソフトウェア搬送メディアだけでなく、必要な処理を実行するための命令がハードワイヤードになっているハードウェア並びにハードウェアとソフトウェアとの組合せも含まれる。同様に、クレーム表現「命令プログラム」には、ソフトウェアだけでなくハードウェアに実装されている命令も含まれる。また、請求項の中で言及しているモジュール及びプロセッサには各々、命令駆動型プロセッサ（例えば、ＣＰＵ）、ＡＳＩＣ，デジタル信号処理回路機構、又はそれらの組合せなど、しかるべき構成になった任意の処理装置が含まれる。こうしたインプリメンテーションの変形例を念頭に入れて、図及びそれに伴う説明は当業者がプログラムコード（つまり、ソフトウェア）を書いたり、必要な処理を実行するための回路（つまり、ハードウェア）を作ったりするのに必要な機能情報を提供していると理解すべきである。
【００４０】
上記の説明から実証されるように、本発明は、特に、インクジェットプリンタなど高解像度デバイスにレンダリングするために拡大したとき、ノイズ、アーティファクト、及び／又はぼやけに関連する問題が原因で劣化している画像を処理する高速且つ有効な方法を提供している。本発明の処理は、携帯電話、カメラ、ウェブカムなど低コスト・低パワーデバイスに組み込まれた廉価なセンサから得る画像に用いるのによく適している。というのは、そうした画像は一般に、本発明の設計が補正の対象としている問題がまさに原因で劣化しているから。
【００４１】
発明をいくつかの具体的な実施例と共に説明してきたが、上記の説明に照らして、当業者ならば、多数の更なる変形例、修正例、変更例、応用例が明白になる。従って、本書で説明している発明は、添付の特許請求の範囲並びに精神から逸脱しない限りにおいて、そうした変形例、修正例、変更例、及び応用例を全て包含するものと考える。
【図面の簡単な説明】
【００４２】
【図１】発明の実施例による、ノイズの入った圧縮画像に適したアルゴリズム／方法の処理ステップを説明する流れ図。
【図２】発明の実施例による画像処理を実行するように構成されたユニットのブロック図。
【図３】発明のアルゴリズム／方法の実施例を実現するのに使用可能な模式的画像処理システムのブロック図。
【符号の説明】
【００４３】
１０１・・・カラー（ＲＧＢ）入力画像の検査されていない画素を考察するステップ
１０２・・・その画素を中心とした奇数サイズのブロックの中の緑の色データの変換表現が計算されるステップ
１０３・・・変換係数がしきい値処理及びスケーリングされるステップ
１０４・・・結果として生じる係数が次に中心画素について再構成された緑の色値を決めるために逆転されるステップ
１０５・・・変換係数を修正した結果、逆転値が画素の許容範囲内に入るか否かが決定されるステップ
１０６・・・輝度リマッピング手順を用いるステップ
１０７・・・ある特定の近傍内の全ての画素がすでに考察されたかどうか判定されるステップ
１０８・・・近傍の対象（例えば、中心）画素について対応する赤と青の色値が再構成及び推定されるステップ
１０９・・・入力画像の中に考察しなければならない画素がまだ残っているかどうか判定されるステップ
１１０・・・色相の調整を行なうために、画像の全画素の色の平均をとることによって平均の色が計算されるステップ
１１１・・・補間が必要かどうか決定されるステップ
１１２・・・補間が実行されるステップ
１１３・・・画像が印刷されるステップ
【図１】
2005176350.tif 000005
【図２】
2005176350.tif 000006
【図３】
2005176350.tif 000007