(57)【要約】画像の１以上の大気の変数を値を決定することで画像形成装置により生成される画像においてぼやけが低減される。１以上の大気の変数は、画像が生成される条件を特徴付ける。これらの値により、鮮鋭化フィルタがその画像について決定される。鮮鋭化フィルタは、その画像について決定された１以上の大気の変数の値により特徴付けられる条件で画像形成装置の変調伝達関数から導出される。鮮鋭化フィルタは、続いて画像に適用される。
2010515341.tif 000002
【特許請求の範囲】
【請求項１】
画像形成装置により生成された画像におけるぼやけを低減する方法であって、
当該方法は、
画像の１以上の大気の変数の値を決定するステップと、前記１以上の大気の変数は、前記画像が生成される条件を特徴付けるものであり、
前記画像の鮮鋭化フィルタを決定するステップと、前記鮮鋭化フィルタは、前記画像について決定された前記１以上の大気の変数の値により特徴付けられる条件で前記画像形成装置の変調伝達関数から導出され、
前記鮮鋭化フィルタを前記画像に適用するステップと、
を含むことを特徴とする方法。
【請求項２】
前記１以上の大気の変数のうちの１つは温度を含む、
請求項１記載の方法。
【請求項３】
前記１以上の大気の変数のうちの１つは湿度を含む、
請求項１記載の方法。
【請求項４】
前記１以上の大気の変数のうちの１つは圧力を含む、
請求項１記載の方法。
【請求項５】
前記画像の鮮鋭化フィルタは、前記画像について決定された前記１以上の大気の変数の値により特徴付けられる条件での前記画像形成装置の前記変調伝達関数と、前記１以上の大気の変数の異なる値により特徴付けられる条件での前記画像形成装置の前記変調伝達関数との間でポイント毎の割合に実質的に等しい変調伝達関数を有する、
請求項１記載の方法。
【請求項６】
前記画像の鮮鋭化フィルタを決定するステップは、メモリから鮮鋭化フィルタを特徴付ける情報を取得するステップを含む、
請求項１記載の方法。
【請求項７】
前記鮮鋭化フィルタを前記画像に適用するステップは、前記鮮鋭化フィルタを周波数領域で画像に適用するステップを含む、
請求項１記載の方法。
【請求項８】
前記鮮鋭化フィルタを前記画像に適用するステップは、前記鮮鋭化フィルタを空間領域で画像に適用するステップを含む、
請求項１記載の方法。
【請求項９】
前記鮮鋭化フィルタを前記画像に適用するステップは、畳み込みカーネルを前記画像に適用するステップを含む、
請求項１記載の方法。
【請求項１０】
前記１以上の大気の変数により特徴付けられるそれぞれの条件について前記画像形成装置の変調伝達関数を決定するステップを更に含む、
請求項１記載の方法。
【請求項１１】
前記画像形成装置の前記変調伝達関数を決定するステップは、前記画像形成装置の製造業者により実行される、
請求項１０記載の方法。
【請求項１２】
１以上の大気の変数により特徴付けられるそれぞれの条件について変調伝達関数が決定される画像形成装置であって、
当該画像形成装置は、画像を生成するために動作し、
画像の１以上の大気の変数の値を決定するセンサと、前記１以上の大気の変数は、前記画像が生成される条件を特徴付けるものであり、
前記画像の鮮鋭化フィルタを与えるフィルタテーブルを記憶するメモリと、前記鮮鋭化フィルタは、前記画像について決定された前記１以上の大気の変数の値により特徴付けられる条件での前記画像形成装置の変調伝達関数から導出され、
前記鮮鋭化フィルタを前記画像に適用するプロセッサと、
を有することを特徴とする画像形成装置。
【請求項１３】
前記センサは、デジタル温度計、デジタル湿度計及びデジタル圧力計のうちの少なくとも１つを有する、
請求項１２記載の画像形成装置。
【請求項１４】
前記フィルタテーブルは、ＰＲＯＭ（Programmable  Read-Only  Memory）、ＥＰＲＯＭ（Erasable  Programmable  Read-Only  Memory）又はＥＥＰＲＯＭ（Electrically  Erasable  Programmable  Read-Only  Memory）で実現される、
請求項１２記載の画像形成装置。
【請求項１５】
画像を生成する画像形成システムであって、
１以上の大気の変数により特徴付けられるそれぞれの条件で画像形成装置の変調伝達関数が決定される画像形成装置であって、前記画像が生成される条件を特徴付ける画像の１以上の大気の変数の値を決定するセンサを有する画像形成装置と、
前記画像について決定された前記１以上の大気の変数の値により特徴付けられた条件で前記画像形成装置の前記変調伝達関数から導出される前記画像の鮮鋭化フィルタを与えるフィルタテーブルを記憶するメモリと、前記鮮鋭化フィルタを前記画像に適用するプロセッサとを含むコンピュータ装置と、
を有することを特徴とする画像形成システム。
【請求項１６】
前記画像形成装置は、デジタルカメラを有する、
請求項１５記載の画像形成システム。
【請求項１７】
前記デジタルカメラは、前記画像について決定された前記１以上の大気の変数の変数で前記画像をデジタルで符号化する、
請求項１６記載の画像形成システム。
【請求項１８】
画像形成システムの画像形成装置により生成される画像におけるぼやけを低減する機能を前記画像形成システムに提供するために、前記画像形成システムを構成する方法であって、
１以上の大気の変数により特徴付けられるそれぞれの条件について前記画像形成装置の変調伝達関数を決定するステップと、
前記１以上の大気の変数により特徴付けられるそれぞれの条件について前記画像形成装置の鮮鋭化フィルタを決定するステップと、前記鮮鋭化フィルタは、決定された伝達関数から導出され、
前記鮮鋭化フィルタをメモリに記憶するステップと、
を含むことを特徴とする方法。
【請求項１９】
前記メモリは、前記画像形成装置で実現される、
請求項１８記載の方法。
【請求項２０】
前記メモリは、前記画像形成装置から分離してコンピュータ装置で実現される、
請求項１８記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像形成装置に関し、より詳細には、画像における大気条件で誘発されるピンぼけの低減に関する。
【背景技術】
【０００２】
画像形成装置における光学素子に作用する温度及び湿度の変動により、光学素子の光学特性が変動し、これにより、画像形成装置の性能に悪影響が及ぼされる。温度及び湿度の変化により、たとえば、光学素子の屈折率が変化し、形状が変化し、それらのマウント内での移動が生じる場合がある。係る兆候は、プラスティック製の光学素子を含む画像形成装置において特によく見られる。安価なカメラで見られるようなプラスティック製の光学素子は、ガラス製の光学素子の屈折率よりも大気条件に応答してより著しく変化する屈折率を有することがある。結果として、プラスティック製の光学素子は、ガラス製の光学素子と同じ温度及び湿度の範囲で焦点を保持することができない場合がある。
【０００３】
各種画像形成装置において大気条件で誘発されるピンぼけを補正する試みが行われている。大気条件から生じる焦点における変化は、たとえば適切な光学機械装置の設計を通してある程度にまで補償されるされる場合がある。光学機械装置の設計は、A.Ahmad  (editor),  Handbook  of  Optomechanical  Engneering,  CRC,  1996のような幾つかの容易に入手可能な引用文献において記載される。係る設計では、大気の条件における変化に関連する焦点の変化をオフセットするやり方で大気の条件に応答する材料及びマウンティングスキームが選択される。通常、これは、小さな熱膨張係数を有する材料を選択することを必要とする。残念ながら、これらの選択の制約のため、解決策は物理的に大きく、小型カメラのようなサイズが制約されたシステムに役立つものではない。さらに、高価であるため、光学機械の解決策は、安価な画像形成装置で実施可能ではない場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
結果として、大気の条件で誘発されるピンぼけを生じる画像形成装置で捕捉される画像におけるぼけを低減するために動作する方法及び装置が必要とされている。
【課題を解決するための手段】
【０００５】
本発明の実施の形態は、大気の条件で誘発されるピンぼけを示す画像形成装置で捕捉される画像においてピンぼけを低減する方法及び装置を提供することで、上述された必要に対処するものである。
【０００６】
本発明の態様によれば、ピンぼけは、画像について画像が生成される条件を特徴付ける１以上の大気の変数の値を決定することで、画像形成装置により生成された画像において低減される。これらの値により、その画像について鮮鋭化フィルタが決定される。鮮鋭化フィルタは、その画像について決定された１以上の大気の変数の値により特徴付けられる条件で、画像形成装置の変調伝達関数（MTF:  Modulation  Transfer  Function）から導出される。鮮鋭化フィルタは、続いて画像に適用される。
【０００７】
本発明の上述された実施の形態の１つによれば、デジタルカメラは、大気の条件に誘発されたピンぼけに苦しむ。デジタルカメラは、温度及び湿度センサ、フィルタメモリ及びイメージプロセッサを有する。デジタルカメラの製造業者は、フィルタメモリに、異なる温度及び湿度の条件向けの幾つかの鮮鋭化フィルタをロードする。これらの鮮鋭化フィルタは、ある範囲の温度及び湿度の条件を通して製造業者により実行されるＭＴＦ測定から導出される。ユーザが画像を撮影する場合、温度及び湿度は、デジタルカメラにおける温度及び湿度センサにより、その画像について測定される。これらの温度及び湿度の測定に対応する鮮鋭化フィルタは、フィルタメモリから取り出される。イメージプロセッサは、この鮮鋭化フィルタを画像に適用し、これにより、画像におけるぼやけが低減される。
【０００８】
本発明のこれらの特徴及び利点並びに他の特徴及び利点は、添付図面と共に読まれる以下の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【０００９】
【図１】本発明の態様が実現される例示的な画像形成システムのブロック図である。
【図２】本発明の態様に係るデジタルカメラのブロック図である。
【図３】図２のデジタルカメラにおける画像の鮮鋭化の例示的なプロセスのフローチャートである。
【図４Ａ】図２のデジタルカメラの公称のＭＴＦ曲線を示すグラフである。
【図４Ｂ】特定の温度及び湿度条件での図２のデジタルカメラのカメラのＭＴＦ曲線を示すグラフである。
【図４Ｃ】図４Ｂにおける特定の温度及び湿度条件について図２のデジタルカメラのフィルタのＭＴＦ曲線を示すグラフである。
【図５】図４ＣのフィルタのＭＴＦ曲線に対応する畳み込みカーネルを示す図である。
【発明を実施するための最良の形態】
【００１０】
本発明は、例示的な実施の形態を参照して記載される。これらの実施の形態に対して様々な変更を行うことができ、結果的に本発明の範囲になお含まれることが想定される。本明細書で記載される特定の実施の形態に関する制限が意図されないか、推定されるべきではない。
【００１１】
図１は、本発明の態様が実現される例示的なデジタル画像形成システム１００のブロック図である。この特定のデジタル画像形成システムは、デジタルカメラ１１０及びコンピュータ１２０を含む。しかしながら、幾つかの他のコンフィギュレーションが想定され、本発明の範囲に含まれる。デジタルカメラよりはむしろ、画像形成システムは、たとえば、フィルムで現像された画像をデジタルデータに変換するために動作する光学スキャナをもつフィルムカメラを含む。代替的に、画像形成システムは、スチルカメラの代わりに、ビデオカメラを含む。デジタルカメラは、移動電話、パーソナルデジタルアシスタント（ＰＤＡ）又は無線電子メール装置のような別の装置と結合される場合がある。
【００１２】
図２は、デジタルカメラ１１０の更なる詳細を示す。レンズ２１０は、被写体（図示せず）からの画像光を、アパーチャ／シャッターコントローラ２１２及びアンチエリアシングフィルタ２１４を通してイメージセンサ２１６に向け、このイメージセンサは、好ましくは電荷結合素子（ＣＣＤ）センサ又は相補型金属酸化膜半導体（ＣＭＯＳ）イメージャである。イメージセンサ２１６は、アナログデジタル（Ａ／Ｄ）コンバータ２２０により画像信号に変換される前に、アナログビデオプロセッサ２１８により処理される画像信号を生成する。デジタル化された画像信号は、フレームメモリ２２２に一時的に記憶され、次いで、イメージプロセッサ２２４により処理及び圧縮される。温度及び湿度センサ２２６、並びにフィルタメモリ２２８は、以下に更に詳細に記載される、温度及び湿度に依存した画像処理を容易にするため、イメージプロセッサに結合される。ひとたび処理及び圧縮されると、圧縮された画像信号は、次いでデータメモリ２３０に記憶されるか、メモリカード２３２がメモリカードスロット２３４に存在する場合、メモリカードインタフェース２３６を通してメモリカードに転送される。
【００１３】
カメラのマイクロプロセッサ２３８は、シャッターリリーススイッチからのようなユーザ入力２４０を受け、（必要とされる場合）フラッシュユニット２４２をトリガしてタイミングジェネレータ２４４に指示することで捕捉シーケンスを始動する。タイミングジェネレータは、一般に、温度／湿度測定、デジタル変換、圧縮及び画像信号の記憶を制御するため、図２に示されるデジタルカメラのエレメントに接続される。マイクロプロセッサは、適切な露光を決定するためにフォトダイオード（ＰＤ）２４６からの信号を処理し、これに応じて、アパーチャ及びシャッター速度を設定するに露光ドライバ２４８を指示する。イメージセンサ２１６は、画像信号を生成するため、センサドライバ２５０を介してタイミングジェネレータから駆動される。
【００１４】
ひとたびカメラデータメモリ２３０又はメモリカード２３２に記憶されると、圧縮された画像は、ホストコンピュータインタフェースを介してコンピュータ１２０に送出されるか、代替的に、デジタルカメラからメモリカードを取り外して、コンピュータに、メモリカードリーダを使用して直接的にメモリカードからデータを読み取らせる場合もある。コンピュータは、好ましくは、画像を記憶、送信、プリント及び更に修正するために動作するソフトウェアを含む。コンピュータは、たとえば「ＩＢＭ  ＰＣコンパチブル」クラスのコンピュータと一般に呼ばれるパーソナルコンピュータのような汎用コンピュータである。代替的に、コンピュータは、特定用途向けコンピュータ装置である場合がある。
【００１５】
本発明の例示的な態様のため、デジタルカメラ１１０の光学素子は大気条件で誘発されるピンぼけに苦しむことが想定される。より詳細には、２つの大気の変数、すなわち温度及び湿度における変化により、デジタルカメラの光学素子の焦点が変化することが想定される。しかし、他の大気の条件に帰属されるピンぼけは、同様の技術を使用して低減される場合があることが理解される。
【００１６】
図３は、上述されたデジタルカメラ１１０のコンポーネントを使用して、このピンぼけを補正する例示的なプロセスのフローチャートである。例示的なプロセスにおけるステップ３１０は、フィルタメモリ２２８に画像鮮鋭化フィルタを提供することを含む。この提供は、カメラの製造業者により好ましくは実行される幾つかのサブステップを含む。第一のサブステップでは、制御されるテスト環境を使用してデジタルカメラが動作することが望まれる温度及び湿度の条件の範囲にわたり、デジタルカメラのＭＴＦが決定される。
【００１７】
ＭＴＦは、水平軸上のある範囲の空間周波数（サイクル／サンプル）に対する垂直軸上の被写体のコントラスト（変調）に関する画像のコントラストを示すグラフとして表現される場合がある。図４Ａにおける曲線は、たとえば、特定の温度及び湿度の条件（たとえば２５℃、５０％相対湿度（ＲＨ））についてデジタルカメラ１１０のＭＴＦを示す。水平軸上の高い空間周波数は、被写体の微かな詳細に対応する。被写体のファクシミリ画像を生成することが可能な場合、画像のコントラストは、全ての周波数で被写体のコントラストと同じであり、ＭＴＦは、１．０の変調レベルで直線の水平ラインにより示される。図４Ａでは、しかし、特定の温度及び湿度条件での変調は、空間周波数の増加と共に低下して示される。
【００１８】
異なる温度及び湿度の条件でデジタルカメラ１１０のＭＴＦを特徴付けるために幾つかの従来の技術が利用され、これらの技術は、当業者にとって公知である。デジタルカメラは、たとえばＩＳＯ（International  Standards  Organization）１２２３３に従って構成されるテストチャートを画像形成するために使用される場合がある。このタイプのテストチャートは、異なる空間周波数をもつ多数の異なるラインパターン及びＭＴＦを容易に計算することができる傾斜エッジを含む。別の例として、ＭＴＦは、スリットを照射することで典型的に形成される狭い光のラインを画像形成することで、デジタルカメラについて決定される場合がある。これらの技術と他の技術の組み合わせが使用される場合がある。
【００１９】
想定される温度及び湿度条件の範囲にわたりデジタルカメラ１１０のＭＴＦがひとたび決定されると、これら同じ大気条件について鮮鋭化フィルタが決定される。用語「鮮鋭化フィルタ」は、広義に解釈されるべきであり、有形の光学装置ではなくフィルタデータのセットを包含することが意図される。鮮鋭化フィルタは、特定の温度及び湿度条件でのデジタルカメラのＭＴＦ（カメラＭＴＦ）と公称の温度及び湿度条件であるとして製造業者により考慮される温度及び湿度でのデジタルカメラのＭＴＦ（公称ＭＴＦ）との間でのポイント毎の割合（ratio）であるＭＴＦ（フィルタＭＴＦ）で設計されることが好ましい。たとえば、公称ＭＴＦが図４Ａで示され、カメラＭＴＦが図４Ｂで示される場合、フィルタＭＴＦは図４Ｃで示されるように見える。したがって、鮮鋭化フィルタの特定のカメラＭＴＦで生成された画像への適用により、その画像のＭＴＦが鮮鋭化され、これにより、画像は、デジタルカメラの公称のＭＴＦ曲線に類似するＭＴＦ曲線を達成する。言い換えれば、図４Ａ〜図４Ｃで示される特定の例では、鮮鋭化フィルタは、中間の空間周波数で低いカメラのＭＴＦを幾分補正するように作用する。
【００２０】
このように、鮮鋭化フィルタは、デジタルカメラ１１０の温度及び湿度の関数として決定される場合がある。ひとたび導出されると、これらの鮮鋭化フィルタは、デジタルカメラのフィルタメモリ２２８に記憶されることが好ましい。これらは、たとえばそれぞれの温度及び湿度条件の個々の鮮鋭化フィルタとして記憶されるか、湿度及び温度の関数として所望の鮮鋭化フィルタを記述する１以上に数学的な関係により表される場合がある。物理的に、フィルタメモリは、たとえば、従来のＰＲＯＭ（Programmable  Read-Only  Memory）、ＥＰＲＯＭ（Erasable  Programmable  Read-Only  Memory）又はＥＥＰＲＯＭ（Electrically  Erasable  Programmable  Read-Only  Memory）を含む。フィルタメモリは、別の目的に使用される大型のカメラメモリの一部である場合がある。
【００２１】
図３を参照して、ステップ３２０は、デジタルカメラ１１０による画像の生成をユーザが始動することを含む。画像が生成されたとき、タイミングジェネレータ２４４は、ステップ３３０で、温度及び湿度センサ２６６に指示して、特定の画像について大気条件を決定する。
【００２２】
デジタル温度センサ（たとえばデジタル温度計）及びデジタル湿度センサ（たとえばデジタル湿度計）は、広い範囲の電子機器で使用されており、結果として当業者にとって公知である。デジタル温度計は、たとえば、サーミスタ、サーモカプラ又は抵抗温度検出器を含む場合がある。対照的に、デジタル湿度計は、センサにおける容量又は抵抗を変化するように作用する水性ポリマーフィルムを含む場合がある。
【００２３】
ひとたび温度及び湿度が画像について決定されると、ステップ３４０で、この情報はフィルタメモリに送出され、その温度条件の適切な鮮鋭化フィルタ（たとえば、まさに測定された温度及び湿度に最も近い温度及び湿度の条件の鮮鋭化フィルタ）が取得される。取得された鮮鋭化フィルタは、次いで、イメージプロセッサ２２４に送出される。ステップ３５０で、イメージプロセッサは、鮮鋭化フィルタを画像に適用する。
【００２４】
鮮鋭化フィルタを画像に適用することは、周波数領域又は空間領域のいずれかで実行される場合がある。周波数領域においてフィルタリングを実行することは、フィルタＭＴＦを画像のフーリエ変換で乗算することを含む場合がある。対照的に、鮮鋭化フィルタを空間領域において適用することは、フィルタＭＴＦが畳み込みカーネルに変換されることを典型的に必要とする。係る変換は、慣習的に実行されており、結果として当業者にとって公知である。さらに、係る変換は、A.Oppenheim等による“Digital  Signal  Processing”  Prentice-Hall,  1975のような多数の容易に入手可能な引用文献で記載され、この引用文献は、引用により本明細書に盛り込まれる。
【００２５】
図５は、たとえば図４Ｃに示されるフィルタＭＴＦに対応するカンマで区切られたフォーマットでの７×７畳み込みカーネルを示す。空間領域において鮮鋭化フィルタを画像に適用することは、周波数領域においてフィルタを適用することに対して好ましい場合がある。これは、空間領域において鮮鋭化フィルタを画像に適用することは、少ない計算リソースを必要とするからである。しかしながら、いずれかの方法によっても同様の結果が得られ、本発明の範囲に含まれる。
【００２６】
鮮鋭化フィルタを適用した後、結果３６０として示されるように、画像が生成されたときに存在する大気条件について画像が補正される。画像を圧縮した後、画像は、上述されたように、データメモリ２３０又はメモリカード２３２に記憶される場合がある。デジタルカメラ１１０は、次いで、別の画像を生成する準備がされる。
【００２７】
本発明の例示的な実施の形態が添付図面を参照して本明細書で記載されたが、本発明はそれら正確な実施の形態に限定されるものではないことが強調される。たとえば、本発明の態様に係る方法又は装置は、圧力のような（これによりデジタルカメラはデジタル圧力計が設けられることが必要とされる）、温度及び湿度に加えて又は温度及び湿度以外の大気の変数から生じるピンぼけを補正する場合がある。さらに、上述された画像形成システム１００における鮮鋭化フィルタがデジタルカメラ１１０に記憶され、デジタルカメラにおいて画像に適用される一方で、これらは、代わりに、コンピュータ１２０に記憶され、画像がデジタルカメラから転送された後に、コンピュータの画像修正機能の一部としてコンピュータにおいて画像に適用される場合がある。係るケースでは、デジタルカメラは、画像が生成されたときに存在する大気の条件（たとえば温度及び湿度）でそれぞれの画像をエンコードすることが好ましい。デジタルカメラの鮮鋭化フィルタは、購入のときにデジタルカメラに設けられるコンピュータ読取可能な記録媒体で（たとえば磁気ディスク、コンパクトディスク又はデジタルバーサティルディスク）又は購入後にインターネットを通して、コンピュータによる使用向けにエンドユーザに提供される。当業者であれば、これらの変形及び変更、並びに他の変形及び変更が特許請求の範囲から逸脱することなしに行われる場合があることを認識されるであろう。
【符号の説明】
【００２８】
１００：デジタル画像形成システム
１１０：デジタルカメラ
１２０：コンピュータ
２１０：レンズ
２１２：アパーチャ／シャッターコントローラ
２１４：アンチエリアシングフィルタ
２１６：イメージセンサ
２１８：アナログビデオプロセッサ
２２０：アナログ−デジタルコンバータ
２２２：フレームメモリ
２２４：イメージプロセッサ
２２６：温度及び湿度センサ
２２８：フィルタメモリ
２３０：データメモリ
２３２：メモリカード
２３４：メモリカードスロット
２３６：メモリカードインタフェース
２３８：カメラマイクロプロセッサ
２４０：ユーザ入力
２４２：フラッシュユニット
２４４：タイミングジェネレータ
２４６：フォトダイオード
２４８：露光ドライバ
２５０：センサドライバ
３１０−３６０：処理ステップ
【図１】
2010515341.tif 000003
【図２】
2010515341.tif 000004
【図３】
2010515341.tif 000005
【図４Ａ】
2010515341.tif 000006
【図４Ｂ】
2010515341.tif 000007
【図４Ｃ】
2010515341.tif 000008
【図５】
2010515341.tif 000009
【国際調査報告】
2010515341.tif 000010
2010515341.tif 000011
2010515341.tif 000012