(57)【要約】  本発明は、色付き相対照度のものを含む、あらゆる相対照度現象に介在する、デジタル画像処理の方法及び関連するシステムに言及する。この目的のため、本発明では、処理されるべき任意のデジタル画像に適切な修正を行うために、撮影されたシーンの発光体を考慮することが提案される。
2009532969.tif 000002
【特許請求の範囲】
【請求項１】
シーンを描写する、処理されるべきデジタル画像の処理方法であって、処理されるべき前記デジタル画像が、センサと光学系を備えるデジタル取込装置を使用して取得され、前記方法が、
処理されるべき前記取得された画像上の前記描写されたシーンの発光体を決定するステップと、
処理されるべき前記取得された画像上で、前記発光体に従って相対照度を修正するステップとからなる様々なステップを含む、方法。
【請求項２】
修正する前記ステップが、前記デジタル画像内の相対照度の変動及び／又は前記デジタル画像の色チャネルごとの相対照度の変動を修正するステップからなる請求項に記載の方法。
【請求項３】
前記修正するステップが、相対照度修正パラメータを使用して実施される請求項に記載の方法。
【請求項４】
前記照度修正パラメータが選択され及び／又は計算される請求項に記載の方法。
【請求項５】
前記シーンの前記発光体を決定するステップからなる前記ステップが、ホワイトバランス推定アルゴリズムからの結果を使用して実施される請求項のうちの一項に記載の方法。
【請求項６】
前記発光体の決定が、使用者による選択に依存する請求項のうちの一項に記載の方法。
【請求項７】
前記発光体の決定が、フラッシュの起動に依存する請求項のうちの一項に記載の方法。
【請求項８】
前記相対照度修正パラメータが、所定の数の典型的な発光体に対して予め計算されている請求項のうちの一項及び請求項３に記載の方法。
【請求項９】
前記相対照度修正パラメータが、前記予め計算された相対照度修正パラメータのすべて又は一部を使用して計算される、請求項８に記載の方法。
【請求項１０】
処理されるべき前記デジタル画像が、いくつかの色チャネルの重ね合わせであり、前記相対照度修正が、各色チャネルに対して実施される請求項のうちの一項及び請求項３に記載の方法。
【請求項１１】
前記相対照度を修正するステップからなる前記ステップが、第１の閾値を低減するステップ及び／若しくは取り消すステップ、並びに／又は処理されるべき前記画像内のオフセット相対照度測定値より低くするステップからなるオペレーションを含む請求項に記載の方法。
【請求項１２】
前記相対照度を修正するステップからなる前記ステップが、各色チャネルに対して、第２の閾値を低減するステップ及び／若しくは取り消すステップ、並びに／又は処理されるべき前記画像内の相対照度測定値より低くするステップからなるオペレーションを含む請求項９又は１０に記載の方法。
【請求項１３】
相対照度の前記修正が、前記色チャネルのうちの少なくとも１つに、画素ごとの利得を適用するステップからなる請求項９から１１のうちの一項に記載の方法。
【請求項１４】
前記相対照度修正が、前記取込装置の少なくとも１つの可変パラメータに依存し、前記可変パラメータが、処理されるべき前記デジタル画像を取得するために前記取込装置によって使用される焦点距離、集束距離、及び／又は結像されたシーンから推定される距離、露光時間、利得、感度、露光レベル、あるいは開口度である請求項のうちの少なくとも一項及び請求項３に記載の方法。
【請求項１５】
処理されるべき前記取得されたデジタル画像上に描写された前記シーンの前記発光体の決定が、処理されるべき前記デジタル画像の前の１つ又はいくつかの取得されたデジタル画像上の前記シーンの発光体からのデータを使用する請求項のうちの一項に記載の方法。
【請求項１６】
前記発光体を決定するステップ又は前記相対照度現象を修正するステップのうちの少なくとも１つが、前記取込装置とは異なる外部処理装置内で実施される請求項のうちの少なくとも一項に記載の方法。
【請求項１７】
前記発光体を決定するステップ、前記相対照度現象を修正するステップ、又は前記相対照度現象を修正するステップのうちの少なくとも１つが、前記取込装置内で実施される請求項のうちの少なくとも一項に記載の方法。
【請求項１８】
前記相対照度を修正する前記ステップが、前記光学系内に含まれる１つ又はいくつかのフィルタ及び／あるいは前記センサの仕様を考慮して、前記発光体に従って前記相対照度を変化させる請求項のうちの一項に記載の方法。
【請求項１９】
前記相対照度を修正する前記ステップが、縦方向の色収差を示す光学系の仕様を考慮して、前記発光体に従って前記相対照度を変化させる請求項のうちの一項に記載の方法。
【請求項２０】
センサと光学系を備えるデジタル取込装置を使用して取得された、シーンを描写するデジタル画像を処理するためのデジタル画像処理システムであって請求項のうちの少なくとも一項に記載の前記方法を実施することができ、処理されるべき前記取得されたデジタル画像上に描写された前記シーンの発光体を決定する手段と、処理されるべき前記デジタル画像上で、前記発光体に従って相対照度を修正する手段とを備える、システム。
【請求項２１】
前記取込装置内に組み込まれることを特徴とする請求項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像上の相対照度現象の処理方法である。また、本発明はそのような相対照度現象に対する処理システムに関する。本発明の目的は、本質的に、デジタル画像取込装置内に介在する新しいタイプのセンサに適合された相対照度現象に対する解決策を提案することである。
【背景技術】
【０００２】
本発明の分野は、一般的に言えば、デジタル写真の分野であり、より詳細には、デジタル写真に適用される画像処理の分野である。デジタル写真とは、デジタル画像を印刷した結果得られる写真を意味する。一般的に言えば、デジタル画像は画素から構成され、各画素は、画像空間の位置と部分を指定し、少なくとも１つの画素値を有する。「写真画像」と呼ばれる、すべての写真装置に由来する画像は、ある平面の方形部分としての画像空間の意味の範囲内で、２次元の画像である。しかし、画像、特に物理的又は医学的観察に由来する画像は、より多くの次元、特に３次元を有することがある。同様に、たとえばビデオカメラに由来するビデオは、２次元の画像の連続又は３次元の単一の画像と見なすことができる。この場合、最初の２つの次元は画像の次元であり、第３の次元はビデオ内の画像の数である。
【０００３】
デジタル画像は、デジタル取込装置を使用して取得される。一般的に言えば、デジタル取込装置は、少なくとも１つのセンサと１つの光学系を備える装置であり、デジタル画像を取得できる。センサは、光をデジタル値に変換するシステムであり、デジタル画像の各点の色強度を反映する。センサは特に、光子エネルギーを電気エネルギーに変換できる受光器を含む。標準的なセンサ構造内では、そのような受光器は、１組のフォトサイト(photosite)として定義することができる。フォトサイトは特に、たとえば、２つの緑色フォトサイト、１つの赤色フォトサイト、１つの青色フォトサイトを含むバイエル構造の場合など、特定の色に関連させることができる。一般的に言えば、光学系は、１組のレンズ、鏡、及びジオプトリで分けられた透明かつ均質な媒体である。
【０００４】
デジタル写真技術の分野では、その取り込みから紙の上での再現まで、写真製造系統のデジタル化により、ますます頻繁に、デジタル取込装置を使用して取得された多数のデジタル画像上の特定の目に見える欠陥を取り除くことができる画像処理の解決策が提案されている。たとえば、非常に頻繁に起こる欠陥は、「赤目」現象と呼ばれるものである。写真装置の使用に関する他の問題は、実際にデジタルであるか否かにかかわらず存在する。したがって、たとえばディストーションの問題が頻繁に発生する。一般的に言えば、周知の歪み現象は、幾何学的収差であることを特徴とする幾何学的ディストーションであり、ディストーションの存在下では、撮影されたシーン内に整列された物体点が、整列された画像点を形成しない。そのような幾何学的ディストーションは、視野内の位置に応じた画像拡大の変更によって特徴付けられる。視野の縁部に近づくとき、局所的な拡大が減少するか又は増大するかに応じて、たる型ディストーション及び糸巻き型ディストーションという２種類のディストーションを区別することができる。
【０００５】
発生する別の問題は、横方向と縦方向の色収差という名で知られる。一般的に言えば、周知の色収差現象は、幾何学的収差などの横方向と縦方向の色収差に関し、その存在下では、画像の拡大は、波長に従って変動する。横方向色収差では、平面上のその位置は波長に依存するが、画像は、波長にかかわらず、同じ平面上に形成される。縦方向色収差では、集束平面の位置は、波長によって変動し、波長に応じて異なるぼけを生成する。色収差は、画像遷移の近傍に虹色の色を付ける。そのような問題に対処するために、現況技術では様々な解決策が提案されてきた。
【０００６】
写真技術の分野における別の周知の問題、特にデジタル写真技術の問題は、相対照度現象の発現と呼ばれる問題である。
【０００７】
相対照度とは、視野内の画素の位置によって、デジタル画像上で画素値の変動を引き起こす現象を指す。たとえば、均質なシーンのデジタル画像では、相対照度現象は、視野内の画素の位置に従った画素値の変動に対応する。相対照度現象は、隅部が暗くなり、またさらにはデータが損失することによって認識できるようになる。図１は、そのようなタイプの相対照度現象を示す。ここで曲線１０は、横座標の軸上で徐々に変化する基準点に関して、画像内の位置に従って縦座標の軸上で徐々に変化する、暗くなる現象を示す。
【０００８】
装置に由来する画像に対して、いくつかの相対照度の原因を識別することができる。
−レンズは、その視野角及び視野範囲によって特徴付けられる。光源は、所与の受光器の形式を含むように計算される。相対照度は、主として、レンズ内の窓効果による。レンズに入る軸に平行なビームは完全に透過され、一方斜めのビームは、境界角度を越えて透過されないように、レンズマウントによって部分的に阻止される。レンズが、特定の開口値に対する感光面の寸法を有する完全な光の視野を形成するように設計される場合、完全に開かれたとき、受光器の表面は、完全な光の視野の表面を上回る可能性があり、それにより画像の隅部が暗くなる。相対照度現象は、視野範囲が受光面の形式より小さいときに発生する。
−レンズによって覆われた視野内では、照明は、測光や幾何形状という単純な事実のため、その画像を含む光線に従って、厳密に均一というわけではない。画像が軸から遠ければ遠いほど、相対照度現象はより高まる。
−デジタルセンサは、それらの設計に照らしてみると、それに影響する光線の入射に応じて、様々な応答をもたらす。画像が軸から遠ければ遠いほど、相対照度現象はより高まる。
−相対照度現象は、装置の本体を通る画像光線の遮蔽によって、又はレンズの視野内に配置された付属品よって生じる可能性がある。これは、たとえば、フィルタの取付けによって、又はより一般的には、不適切な日よけによって生じる可能性がある。
【０００９】
相対照度現象は、露光評定を有する装置に由来する画像上で測定することができ、相対照度値は、デジタル画像の縁部で受け取った光の量と、デジタル画像の中心で受け取った光の量との露光評定の差を測定する。
【００１０】
そのような相対照度現象に対する解決策が、現況技術で提案されてきた。
【００１１】
にもかかわらず、デジタル画像取込装置内に介在する新しいセンサの出現により、色付き相対照度と呼ばれる新しい問題が生じている。色付き相対照度とは、デジタル画像の色チャネルに応じて、視野内の画素の位置に従ってデジタル画像上の画素値の変動を引き起こす現象を指す。画像は、多くの形でチャネルに分解することができ、したがってチャネルは、チャネルごとの画素値に対応する画像画素を有する。カラー画像の特定の場合、チャネルへの分解は、特に、ＲＧＢ、ｓＲＧＢ、ＬＭＳ、Ｌａｂ、Ｙｕｖ、ＨＳＬ、ＨＳＶ、ＸＹＺ、ｘｙｚ色空間内での分解を使用して実施することができる。したがってそのようなチャネルは、「色チャネル」と呼ばれる。そのような用語は、ｓＲＧＢを除き、たとえば、「Ｍｅａｓｕｒｉｎｇ  Ｃｏｌｏｒ」，第３版，Ｒ．Ｗ．Ｄ．Ｈｕｎｔ，Ｆｏｕｎｔａｉｎ  Ｐｒｅｓｓ，Ｋｉｎｇｓｔｏｎ−ｕｐｏｎ−Ｔｈａｍｅｓ，Ｅｎｇｌａｎｄ  １９９８，ＩＳＢＮ  ０８６３４３３８７１という刊行物で、又は「Ｃｏｌｏｒ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌｓ」，Ｍ．Ｆａｉｒｃｈｉｌｄ，Ａｄｄｉｓｏｎ  Ｗｅｓｌｅｙ，１９９８，ＩＳＢＮ  ０２０１６３４６４３という刊行物で定義されている。ｓＲＧＢ色空間は、ＩＥＣ規格６１９６６−２−１，「Ｍｕｌｔｉｍｅｄｉａ  ｓｙｓｔｅｍｓ  ａｎｄ  ｅｑｕｉｐｍｅｎｔ−Ｃｏｌｏｕｒ  ｍｅａｓｕｒｅｍｅｎｔ  ａｎｄ  ｍａｎａｇｅｍｅｎｔ−Ｐａｒｔ  ２−１：Ｃｏｌｏｕｒ  ｍａｎａｇｅｍｅｎｔ−Ｄｅｆａｕｌｔ  ＲＧＢ  ｃｏｌｏｕｒ  ｓｐａｃｅ＆ｓＲＧＢ」に記載されている。また、本発明では、デジタル画像は、たとえば、物理的寸法、特に高度、距離、温度に関するデジタル値など、色に関係しない他のデータに関する１つ又はいくつかのチャネルで構成されている。
【００１２】
デジタル画像の場合、色付き相対照度現象の観察は、たとえば、各色チャネル上の露光評定(exposure rating)での相対照度測定である。露光評定は、色付き相対照度現象の場合、すべて同一というわけではない。図２は、そのような色付き相対照度現象を示す。ここで第１の曲線２０、第２の曲線２１はそれぞれ、横座標の軸上で徐々に変化する基準点に関して、画像内の位置に従って縦座標の軸上で徐々に変化する第１の色チャネル、第２の色チャネルに対する露光評定を示す。観察されるように、色付き相対照度現象は、色チャネルごとに異なる。単一の次元、たとえばある一点への距離の範囲内で異なる色付き相対照度現象をここに示す。別の実施形態では、そのような色付き照度現象は、画像のいくつかの次元に従って異なる。
【００１３】
光源とは、可視エネルギーの物理的送信器を意味する。光源の例には、異なる時刻の空、ネオン照明、タングステン電球がある。発光体は、光源のスペクトル分布を表す。スペクトル分布は、波長に従った放射量を表す。そのような放射量は特に、光源の場合はスペクトル露光とし、又は光を反射する材料の場合は光源のスペクトル分布による材料からのスペクトル反射率の結果とし、又は光を透過する材料の場合は光源のスペクトル分布による材料からの光透過率の結果とすることができる。発光体の例には、色温度が２８５６Ｋのプランク放射体の形の光源であるＣＩＥ  Ａ発光体、約６５００Ｋの色温度に対応する平均的な昼光を統計的に表すＣＩＥ  Ｄ６５発光体、ＣＩＥ  Ｃ発光体、ＣＩＥ  Ｅ発光体、ＣＩＥ  Ｄ発光体（ＣＩＥ  Ｄ５０発光体を含む）、ＣＩＥ  Ｆ発光体（ＣＩＥ  Ｆ２、ＣＩＥ  Ｆ８、又はＣＩＥ  Ｆ１１を含む）がある。そのような用語や他の発光体の例は、たとえば、「Ｍｅａｓｕｒｉｎｇ  Ｃｏｌｏｒ」，第３版，Ｒ．Ｗ．Ｄ．Ｈｕｎｔ，Ｆｏｕｎｔａｉｎ  Ｐｒｅｓｓ，Ｋｉｎｇｓｔｏｎ−ｕｐｏｎ−Ｔｈａｍｅｓ，Ｅｎｇｌａｎｄ  １９９８，ＩＳＢＮ  ０８６３４３３８７１という刊行物で、又は「Ｍｅａｓｕｒｉｎｇ  Ｃｏｌｏｒ」，第３版，Ｒ．Ｗ．Ｄ．Ｈｕｎｔ，Ｆｏｕｎｔａｉｎ  Ｐｒｅｓｓ，Ｋｉｎｇｓｔｏｎ−ｕｐｏｎ−Ｔｈａｍｅｓ，Ｅｎｇｌａｎｄ  １９９８，ＩＳＢＮ  ０８６３４３３８７１という刊行物で、又は「Ｃｏｌｏｒ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌｓ」，Ｍ．Ｆａｉｒｃｈｉｌｄ，Ａｄｄｉｓｏｎ  Ｗｅｓｌｅｙ，１９９８，ＩＳＢＮ  ０２０１６３４６４３で定義されている。
【００１４】
図３は、所与の色チャネルに対する色付き相対照度現象が、２つの違った発光体で異なることを示す。この図では、第１の曲線３０、第２の曲線３１はそれぞれ、横座標の軸上で徐々に変化する基準点に関して、画像内の位置に従って縦座標の軸上で徐々に変化する、第１のタイプの発光体、第２のタイプの発光体に対する相対照度現象を示す。観察されるように、色付き相対照度現象は、色チャネルごとに異なる。単一の次元、たとえばある一点への距離の範囲内で異なる色付き照度現象をここに示す。別の実施形態では、そのような色付き照度現象は、画像のいくつかの次元によって異なる。
【００１５】
所与の発光体は、図４、５に示すように、波長に応じた光源のスペクトル分布に関連する。図４、５はそれぞれ、第１の発光体のスペクトル分布を表す第１の曲線４０、第２の発光体のスペクトル分布を表す第２の曲線５０を示す。
【００１６】
図６、７に示すように、デジタルセンサへの入射光の光子エネルギー量は、発光体に従って異なる可能性がある。図６、７はそれぞれ、以下を示す。
−所与のセンサに対して、同じ入射角で、第１の発光体に対して２つの異なる波長で伝達された信号の振幅を表す第１の曲線６０。
−同じ所与のセンサに対して、同じ入射角で、第２の発光体に対して図６に示すものと同じ２つの異なる波長で伝達された信号の振幅を表す第２の曲線７０。
【００１７】
波長に応じた光子エネルギーの量は、フィルタへの入射光の波長に応じて伝達されるエネルギーを変更できるフィルタの有無など、光学系の仕様に従って変更する。
【００１８】
デジタルセンサは、スペクトル応答を有し、デジタル画像の各点の色チャネルの強度を反映するデジタル値の振幅は、センサへの入射光の波長に依存する。センサへの光の入射角は、特に、高い色収差、又は平均光線角度、すなわち光学系の光軸と物体の頂点及び瞳の中心を通過する光線との間の角度の値の光学部品などの、光学系の仕様に依存する。
【００１９】
図８に示すように、デジタルセンサは、それに影響する光線の入射角に応じた受光器の各部分で同じ応答を出すのではない。図８は、第１の入射角ｉ１に対する所与のセンサの第１のスペクトル応答、及び第２の入射角ｉ２に対して同じセンサによって与えられる第２の応答にそれぞれ対応する、第１の曲線８０及び第２の曲線８１を示す。
【００２０】
以下は、そのような現象の原因と考えられる。
−センサの物理構造における非対称。フォトサイトのセンサへの注入角度が異なる。
−フォトサイトに従った様々なマイクロレンズ。マイクロレンズは、その結果を改善するためのフォトサイトである受光器の方向のデジタルセンサ上に入射光線を集束するように設計された光学系である。
−フォトサイトに応じた異なる配線。
−たとえばトランジスタ又は非対称の接続の存在のため、フォトサイトに従って異なる３Ｄ幾何形状。
−視野内の異なる物理的注入。
−隣接するフォトサイトに対して異なる幾何形状。
−ＩＲフィルタ、すなわち特に、たとえば波長４２５から６７５ｎｍの光の通過を可能にするフィルタの特性。光線の向きに応じて、フィルタの光透過率特性は数十ｎｍ異なる可能性があり、画像の隅部及び中心の色レベルで、異なる挙動を引き起こす。
−フォトサイトの色に従って異なる向き。
【００２１】
角度が大きければ大きいほど、入射光線は、センサの最も感度の高いゾーンに影響を与えず、あるいは、たとえば転送レジスタを覆う不透な遮蔽材によって阻止される可能性が高くなる。一般的に言えば、入射角が大きくなると、センサの応答は低減する。１つの点の画像は、１つの光線ではなく、入射が２つの境界値間に構成された複数の光線の光束によって形成される。そのような光束を含む多くの入射は、センサによって異なった解釈がなされる。すなわち、受光器への入射光のエネルギーは、すべての波長に対して同じというわけではなく、これは隣接するフォトサイトにも当てはまる。
【００２２】
隣接するフォトサイトは、異なる色チャネルを表す。センサ上の少なくとも１つの幾何学的位置が対応する各フォトサイトでは、前述のような物理的仕様に加えて、信号の振幅は特に、フォトサイトへの入射光の波長やそのような光の入射角に従ったセンサのスペクトル応答に依存し、そのような光の光子エネルギーは発光体や光学系の仕様に依存する。色付き相対照度は、発光体に関連し、かつデジタル画像の画素の各色チャネル内の画素値に関連し、それらの画素値は特定の数のセンサのフォトサイトの信号の振幅に依存する。
【００２３】
すべてのそのような現象や考慮事項は、相対照度現象、たとえばデジタル画像取込システムを使用して撮影された写真上の色付き相対照度の出現を伴う。したがって写真の品質に影響する。
【発明の開示】
【発明が解決しようとする課題】
【００２４】
本発明の目的は、前述の問題及び不都合への解決策を提案することである。一般的に言えば、本発明は、色付き相対照度を含む、あらゆる相対照度現象のレベルで介在する、デジタル画像処理方法を提案する。この目的のため、本発明では、処理されるべき任意のデジタル画像に適切な修正を行うために、撮影されたシーンの発光体を考慮することが提案される。
【課題を解決するための手段】
【００２５】
したがって本発明は本質的に、シーンを描写する、処理されるべきデジタル画像の処理方法に関し、処理されるべきデジタル画像は、センサと光学系を備えるデジタル取込装置を使用して取得され、この方法は特に、
−処理されるべき取得された画像の描写されたシーンの発光体を決定するステップと、
−処理されるべきデジタル画像上で、発光体に従って相対照度現象を修正するステップとからなる様々なステップを含む。
【００２６】
前段落で述べた主要な仕様に加えて、本発明による方法は、以下の中から１つ又はいくつかの追加の仕様とすることができる。
−修正するステップが、特に、デジタル画像内の相対照度の変動及び／又はデジタル画像の色チャネルごとの相対照度の変動を修正するステップからなる。
−修正するステップが特に、相対照度修正パラメータを使用して実施される。
−相対照度修正パラメータが、選択され及び／又は計算される。
−シーンの発光体を決定するステップからなるステップが、ホワイトバランス推定アルゴリズムからの結果を使用して実施される。
−発光体の決定が、使用者の選択に依存する。
−発光体の決定が、フラッシュの起動に依存する。
−修正パラメータが、所定の数の発光体タイプに対して予め計算されている。
−修正パラメータが、予め計算された修正パラメータのすべて又は一部を使用して計算される。
−処理されるべきデジタル画像が、いくつかの色チャネルの重ね合わせであり、修正パラメータが、各色チャネルに対して選択され及び／又は計算される。
−相対照度現象を修正するステップからなるステップが特に、第１の閾値を低減するステップ及び／若しくは取り消すステップ、並びに／又は処理されるべき画像内のオフセット相対照度測定値より低くするステップからなるオペレーションを含む。
−相対照度現象を修正するステップからなるステップが特に、各色チャネルに対して、第２の閾値を低減するステップ及び／若しくは取り消すステップ、並びに／又は処理されるべき画像内の相対照度測定値より低くするステップからなるオペレーションを含む。
−修正パラメータが、色チャネルのうちの少なくとも１つに適用されるべき利得値である。
−相対照度修正が、取込装置の少なくとも１つの可変パラメータに依存し、可変パラメータが特に、処理されるべきデジタル画像を取得するために取込装置によって使用される焦点距離、集束距離、及び／又は結像されたシーンから推定される距離、露光時間、利得、感度、露光レベル、あるいは開口度である。
−処理されるべき取得されたデジタル画像上に描写されたシーンの発光体の決定が、処理されるべきデジタル画像の前に取得された１つ又はいくつかのデジタル画像上のシーンの発光体からのデータを使用する。
−発光体を決定するステップ又は相対照度現象を修正するステップのうちの少なくとも１つが、取込装置とは異なる外部処理装置内で実施される。
−発光体を決定するステップ、又は相対照度現象を修正するステップのうちの少なくとも１つが、取込装置内で実施される。
−相対照度を修正するステップが、光学系内に含まれる１つ又はいくつかのフィルタ及び／又はセンサの仕様を考慮して、発光体に従って相対照度を変動させる。
−相対照度を修正するステップが、縦方向の色収差を示す光学系の仕様を考慮して、発光体に従って相対照度を変動させる。
【００２７】
本発明はまた、特にセンサと光学系を備えるデジタル取込装置を使用して取得された、シーンを描写するデジタル画像を処理するためのデジタル画像処理システムに言及する。前記システムは、前記請求項のうちの少なくとも一項による方法を実施することができ、処理されるべき取得されたデジタル画像に描写されたシーンの発光体を決定する手段、及び処理されるべきデジタル画像上で、発光体に従って相対照度を修正する手段を備える。本発明の特定の実施形態では、システムは、少なくとも部分的に取込装置内に組み込まれる。
【００２８】
本発明及びその様々な適用分野は、以下の説明を読めばよりよく理解されるであろう。
【発明を実施するための最良の形態】
【００２９】
あらゆる相対照度現象を処理するために、本発明による方法は、２つの本質的なステップを提案する。その種々の実装形態について、以下に説明する。
【００３０】
本発明による方法の第１のステップは、処理されるべきデジタル画像上に見えるシーンの取り込み中に、既存の発光体を決定するステップからなる。
【００３１】
このステップを実施する第１の例では、ホワイトバランス推定アルゴリズムが使用される。
【００３２】
実際に、所与の光源は、波長に応じてスペクトル分布に対応する。これは、特定の波長、したがって、たとえば４００から８００ｎｍの間に位置する特定の目に見える色が、多かれ少なかれ、特定の光源下で描写されることを示唆する。たとえば、色温度が低いタングステン照明では、目に見える視野内の青色に対応する波長の放射量は、赤色の波長に関連するものに対してほとんど描写されず、そのような比は、光源の色温度が上昇すると逆になる。人間の目は自然に、発光体が何であれ、色相互間のバランスのそのような違いを補償し、したがって、高い色温度の場合と同様に、低い色温度でも灰色の壁を灰色であると解釈する。補償は特に、周知の文脈の範囲内で、特に色チャネル比の点で、人間の目のものに近い結果を画像上で得るために、色チャネル相互間の比を修正するステップからなる。センサは、波長に従った放射量の違いを自動的に補償するというわけではない。したがって、タングステン電球などの温度の低い光源下のセンサによる灰色の壁の画像は、青色が欠けているため、黄色の色調が優勢になる。
【００３３】
目が写真を見るとき、発光体の色補償は、撮影されたシーン内に存在する光ではなく、その写真を見る場所の光に依存する。したがって、写真技術では、画像を再現する前に補償が実施されることが重要である。デジタル写真装置では、そのような補償は、組み込まれたデジタル処理を使用して、装置内で行われる。色を補償する手段は、デジタル画像が、取り込みにおいて、人間の目によって得られるものにできるだけ近い色の結果を描写するように、ホワイトバランス・アルゴリズムを適用するステップからなる。デジタル取込装置のほとんどは、自動ホワイトバランス決定アルゴリズムを備える。自動ホワイトバランス・アルゴリズムの一種の実装形態は、たとえば、赤色と緑色及び／又は青色と緑色の比など、センサに由来する画像内の色チャネルの比率を考慮し、それによってアナログ及び／又はデジタル利得の形で、色チャネルのそれぞれで適用されるべき乗数を決定するステップからなる。本発明では、自動ホワイトバランス・アルゴリズムの使用により、光源に対応する発光体に関するデータを取り出すことができる。光学系及びセンサ（フィルタ及びマイクロレンズなどの光学要素を含む）によって生じる画像内の位置に応じた強度と色の変動を取り消すために、データを使用して、位置及び／又はチャネル、及び／又はチャネルの最大数及び発光体に従って利得を適用することによってチャネルを補償する。発光体上のデータの一例は、チャネルを補償するために各チャネル上で適用されるべき利得からなる。データの別の例は、Ｎ個の画素チャネルを示し、かつ色付き相対照度を修正するべきＮ個のチャネル相互間で区別される変動を修正することを目的とする、Ｎ×Ｎ行列（Ｎはチャネル数を表す自然整数である）である。色付き相対照度の修正パラメータは、たとえば、スカラー、テーブル、多項式、行列、補間テーブルなどの形式のデジタル・データである。データの一例は、各色チャネルに対する多項式である。多項式は、画像内の位置に依存する。多項式は、２Ｄ空間内の画素の座標を示すＸ、Ｙ、あるいは画像の幾何学的中心とみなされる視野の一点又は他の場所までの距離を示すＲの多項式とすることができる。中心の座標は、チャネルに応じて異なる。データは、各チャネルに対して各画素内の多項式の値を求めることによって、あるいは、たとえばＫＸ又はＫＹ画素ごとの値など、画像の幾何学的ゾーンに対する値を与える値の表を使用することによって得ることができる。ＫＸ及びＫＹは、２Ｄ画像に対する、画像の幾何学的座標に応じた等しい又は異なる画素数である。
【００３４】
たとえば、自動ホワイトバランス・アルゴリズムによって与えられるデータは、下側α青色レベルから緑色レベル、及び上側β赤色から緑色レベルのタイプとすることができ、これにより、タングステン発光体を識別可能となる。さらに、データは、γ青色レベルから緑色レベル、及びδ赤色から緑色レベルのタイプとすることができ、たとえば、「Ｄ６５」と呼ばれる昼光発光体を識別可能となる。
【００３５】
別の実装例では、本発明による方法を実施する装置の使用者は、識別子を決定させるデータを供給する。第１の事例では、これは、使用者が使用している装置からの要求に応じて行うことができる。たとえば、ＬＣＤ画面上に表示可能なメニューが、標準的な発光体の一覧を提案する。そのようなメニューには、たとえば、タングステン、ネオン照明、昼光、曇り、陰、フラッシュ、使用者によって定められるべき色温度、自動モードという選択肢が見られる。他の発光体は、たとえば、「Ｍｅａｓｕｒｉｎｇ  Ｃｏｌｏｒ」，第３版，Ｒ．Ｗ．Ｄ．Ｈｕｎｔ，Ｆｏｕｎｔａｉｎ  Ｐｒｅｓｓ，Ｋｉｎｇｓｔｏｎ−ｕｐｏｎ−Ｔｈａｍｅｓ，Ｅｎｇｌａｎｄ  １９９８，ＩＳＢＮ  ０８６３４３３８７１という刊行物で、又は「Ｃｏｌｏｒ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌｓ」，Ｍ．Ｆａｉｒｃｈｉｌｄ，Ａｄｄｉｓｏｎ  Ｗｅｓｌｅｙ，１９９８，ＩＳＢＮ  ０２０１６３４６４３で定義されている。
【００３６】
したがって使用者は、使用者によって起動されるべき装置上の適切なボタンを使用して、一覧内の発光体のうちの１つを選択する。
【００３７】
第２の事例では、装置は、当該装置の使用の条件に関連するデータを使用することができる。たとえば、風景機能が選択されるということは、使用者が自身の装置を屋外で利用しているということを示唆し、したがって決定される発光体は昼光である。
【００３８】
有利な実装形態では、処理されるべき画像を取り込むためのフラッシュの使用に関するデータが利用され、それによって、画像に対応するシーンの発光体を決定する。
【００３９】
フラッシュは、アナログ利得、デジタル利得、露光時間（自動露光アルゴリズムを使用）などの写真撮影データを考慮して、ビデオ・フロー上又は取り込まれるべき画像上でデジタル取込装置によって受け取られた光の量の決定後に起動される。光の量が十分でない場合、フラッシュを備えるデジタル取込装置は、写真を撮影するために、フラッシュデバイスを起動させることができる。
【００４０】
フラッシュは、光源に対応し、したがってスペクトル分布が知られた発光体に対応する。本発明の一実装例では、発光体の推定が、フラッシュなしのシーンの発光体、並びに、たとえば対象が遠すぎてフラッシュが効率的でない画像取り込みの場合のフラッシュである発光体を考慮した計算に基づく事例も想定される。
【００４１】
特定の実装形態では、発光体の決定は、処理されるべきデジタル画像を取得する直前に取得されたデジタル画像の発光体を自動的に外挿することによって実施される。
【００４２】
実際に、デジタル取込装置のほとんどは、少なくとも２つの動作モード、すなわち、おそらく「プレビュー」モードに適するモードと、「取り込み」モードに適するモードとを備える。「取り込み」モードは、画像がアルゴリズム・チェーンによって最大の解像度で処理されるモードに対応する。使用者が取り込もうとするシーンを視覚化できるようにするために、「プレビュー」モードの実装は、時間計算上の制約を満たすために、最大の解像度より小さいことが多い寸法の画像の連続的なビデオ・フローを使用者が取得できるようにする。そのようなビデオ・フローは、「ＲＡＷ」と呼ばれる画像を使用して取得され、その上で、発光体が、各画像に対して計算される。発光体の計算は、たとえば、解像度の低い画像の平均ゾーン内の色平面相互間の比など、解像度の低い画像上で求められた統計を使用し、次いで、たとえば、タングステン、ネオン照明、異なる温度に対する昼光、曇りなどの標準的な発光体に対する色の比の値を含む計算表内のそのような統計の蓄積のシステムを使用して実施される。発光体計算の急速な変化を避けるために、共通の画像の発光体を選択するように、ビデオ・フローの共通の画像から上流の特定の数の画像上で計算される発光体が考慮される。同じ原理が、「プレビュー」モードから「取り込み」モードへ推移するときに適用される。取り込まれた画像に対して保持される発光体は、その取り込まれた画像より前の特定の数の画像の発光体を考慮することによって得られたものとすることができる。タングステン発光体の「プレビュー」モードから昼光発光体への発光体の遷移を示す一例として、自動ホワイトバランスによって生成されるデータは、タングステン発光体の青色チャネル上の信号を大幅に増大させ、かつ昼光モードではより控えめにする必要を示す。複数の予め定義された画像中は、青色チャネル上の信号が中レベルから高レベルへ増大する推移は、たとえば、青色チャネル上に適用されるべき利得の強度を使用していくつかの段階を定義することによって、累進的に実施される。
【００４３】
それに比べて、ＲＡＷ画像上の発光体の計算は、たとえば、解像度が最大の画像の平均ゾーン内の色平面相互間の比など、解像度が最大の画像上で求められた統計を使用し、次いで、たとえば、タングステン、ネオン照明、異なる温度に対する昼光、曇りなどの標準的な発光体に対する色の比の値を含む計算表内のそのような統計の蓄積のシステムを使用して実施される。
【００４４】
本発明による方法の追加のステップは、第１のステップ中に決定された照度に応じた相対照度現象の修正パラメータの選択及び／又は計算からなる。
【００４５】
相対照度現象の修正パラメータは、各チャネル上の画素値の各画素内の色付き相対照度の修正である。色付き相対照度の修正は、光学系及びセンサ（フィルタ及びマイクロレンズなどの光学要素を含む）によって生じる画像内の位置に応じた強度と色の変動を取り消すために、位置及び／又はチャネル、及び／又はチャネルの最大数及び発光体に応じて利得を適用するステップからなる。
【００４６】
色付き相対照度現象に対する修正パラメータの一例は、各色チャネルに対する多項式である。多項式は画像内の位置に依存する。多項式は、２Ｄ空間内の画素の座標を示すＸ、Ｙ、あるいは画像の幾何学的中心とみなされる視野の一点又は他の場所までの距離を示すＲの多項式とすることができる。中心の座標は、チャネルに応じて異なる可能性がある。適用されるべき利得は、各チャネルに対して各画素内の多項式の値を求めることによって、あるいはたとえばＫＸ又はＫＹ画素ごとの値など、画像の幾何学的ゾーンに対する値を与える値の表を使用することによって得ることができる。ＫＸ及びＫＹは、２Ｄ画像に対する、画像の幾何学的座標に応じた等しい又は異なる画素数である。
【００４７】
この目的のため、この追加のステップに対する第１の実装形態では、修正パラメータの選択は、方法を実施するデバイスによってアクセス可能なメモリモジュール内の予め計算されかつ記憶されたパラメータの一覧の中から行われる。予め計算されたパラメータの一覧は、典型的な発光体、好ましくは最もよくある発光体に対応するパラメータを含む。この第１の実装形態では、発光体が決定され、またそのような発光体に関するデータが生成されるが、そのような発光体を指定するデータが修正パラメータに直接関連付けられていないとき、生成された情報に最も近いデータによって示される発光体に関連付けられた修正パラメータが選択される。
【００４８】
第２の実装形態では、発光体が決定され、またそのような発光体に関するデータが生成されるが、そのような発光体を指定するデータが修正パラメータに直接関連付けられていないとき、予め計算されたパラメータを使用して修正パラメータが計算され、その修正パラメータが決定された発光体に対応する。計算は、たとえば、修正パラメータが利用可能である識別された発光体に最も近い発光体の識別機構によって実施される。識別された発光体に最も近い発光体は、そのデータがたとえば、識別された発光体のデータを含むそのような発光体のデータ量に等しい寸法間隔を規定する発光体である。一例では、識別された発光体の修正パラメータは、修正パラメータが利用可能である識別された発光体に最も近い発光体の修正パラメータを内挿することによって決定される。内挿は、たとえば、介在することに重点をおき、修正パラメータの選択において、識別された発光体に近い特定の発光体に特別の重点をおくことを可能にする。
【００４９】
特定の実装形態では、修正パラメータは、決定された発光体に依存するだけでなく、可変パラメータとして指定される他のパラメータに依存し、その中で、処理されるべきデジタル画像に対して、特に以下が見られる。
−光学系の焦点距離。相対照度現象は、画像を形成する光線の角度に依存する。
−光学系の絞りの開口。
−デジタルセンサの応答。
−集束距離及び／又は結像されたシーンからの推定される距離。
−付属品の使用。フィルタ又は日よけなどの付属品を使用すると、相対照度現象を引き起こす可能性がある。
−デジタル画像の露光レベルは、相対照度現象に影響を与える可能性がある。この現象は、装置内に組み込まれた処理ソフトウェアに特定の修正によって生じる。
【００５０】
本発明による方法の第２の本質的なステップは、修正パラメータが選択又は計算された後に介在する。第３のステップは、処理されるべきデジタル画像上で、観察された相対照度現象を修正するステップからなる。
【００５１】
このステップに対する第１の実装形態では、第１の閾値を低減するステップ及び／若しくは取り消すステップ、並びに／又は処理されるべき画像内のオフセット相対照度測定値より低くするステップからなるオペレーションが実行される。
【００５２】
修正パラメータは、各画素内で利得を適用し、そのような画素の各色チャネルの画素値を修正するために使用される。
【００５３】
色付き相対照度の修正パラメータは、各色チャネルに対する画像の視野内の画素の位置に応じて多項式の値を計算することによって、各画素内で推定することができる。多項式は、２Ｄ空間内の画素の座標を示すＸ、Ｙとすることができる。色付き相対照度を修正するために位置画素Ｘ１、Ｙｌに適用されるべき利得は、Ｘ１、Ｙ１座標で、又は、たとえば画素Ｘ１、Ｙ１座標を含む幾何学的ゾーンの中心に対応するＸ２、Ｙ２座標での多項式の値を求めることによって、各色チャネル内で決定することができる。多項式は、おそらく画像の幾何学的中心である視野の一点又は他の場所までの距離を示すＲの多項式とすることができる。中心の座標は、チャネルに応じて異なる可能性がある。色付き相対照度を修正するために、視野ｏ１の一点から距離Ｒ１だけ離された画素に適用されるべき利得は、Ｒ１距離で、又は、たとえば視野ｏ１から距離Ｒ１に位置する画素を含む幾何学的ゾーンの中心に対応するＲ２距離での多項式の値を求めるによって、各色チャネル内で決定することができる。適用されるべき利得は、たとえばＫＸ又はＫＹ画素ごとの値など、画像の幾何学的ゾーンに対して、内挿によって選択され及び／又は計算されるべき値を与える値の表のデジタル・データにアクセスすることによって決定することができる。ＫＸ及びＫＹは、２Ｄ画像に対する、画像の幾何学的座標に応じた等しい又は異なる画素数である。色付き相対照度の画素への修正は、平方画素の色チャネルの数に対応する次元行列の適用とすることができる。前述の相対照度のすべての修正例では、たとえば、特に前述の方法のうちの１つによって、色チャネルｃ１で値が求められた利得に適用されるべき係数ｋ１、及び特に先に引用された方法のうちの１つによって、色チャネルｃ２で値が求められた利得に適用されるべき係数ｋ２など、各色チャネル内の修正の強度に重み因子を適用することが可能である。
【００５４】
第２の実装形態では、各色チャネルに対して、第２の閾値を低減するステップ及び／若しくは取り消すステップ、並びに／又は処理されるべき画像内の相対照度測定値より低くするステップからなるオペレーションが実施される。
【００５５】
たとえば、修正パラメータは、たとえば光子エネルギーから電気エネルギーへの変換がデジタル画像の各チャネル及び各画素内の画素値によって変換される間にデジタルセンサの各フォトサイト内の色チャネルごとに異なるアナログ利得が適用される場合に、センサ上で適用することができる。
【００５６】
修正パラメータはまた、たとえば、各チャネルの各画素内の画素値を、対応する色チャネルのデジタル利得の結果と、この同じ色チャネル内の色付き相対照度修正パラメータの評価結果とによって乗算することで、デジタル利得を適用するのと同時に、デジタル画像に直接適用することができる。
【００５７】
本発明による方法に本質的な２つのステップ、又は特に説明した追加のステップのうちの１つ又はいくつかは、デジタル画像を取得する取込装置内で、あるいは適切な処理ソフトウェアなどを内蔵する任意の周辺装置、たとえば精巧なプリンタ又はパーソナル・コンピュータ内で実施することができる。
【００５８】
本発明はまた、１つ又はいくつかの電子装置から構成される任意のシステムに関し、そのような装置のうちの１つはおそらく、たとえば、本発明による方法の３つの本質的なステップを実施するための様々な必要な手段を含む、デジタル画像を取得する取込装置である。そのような手段の中には、たとえば、ホワイトバランス推定アルゴリズム、ホワイトバランス推定アルゴリズムが発光体を決定するための解釈アルゴリズム、予め計算された修正パラメータを記憶する手段、たとえばマイクロプロセッサ内に組み込まれた計算容量、予め計算された修正パラメータを使用する修正パラメータ、相対照度現象を修正するために画素値を修正するアルゴリズムが見られる。
【００５９】
相対照度修正は、たとえば、飽和した画素値、すなわち色チャネルごとのセンサ信号の最大及び／又は最小の振幅に対応する最大及び／又は最小の画素値に等しい又は近い画素値など、各色チャネル内の画素の特定の画素値仕様を考慮する。各チャネル内の画素の画素値の別の仕様例は、たとえば１つの画素のすべての色チャネルの画素値の線形の組合せなど、１つの画素の各色チャネルに対する画素値の組合せの結果である。各チャネル内の画素の画素値の仕様を考慮する別の例は、各色チャネルに対する当該画素の画素値への相対照度の修正利得の適用中に閾値に達する第１の画素値に応じて、すべての色チャネルに対する画素値相互間の比を維持することである。
【００６０】
相対照度の具体的な例は、一般に「口径食」と呼ばれる。口径食は、たとえば、光学部品を設計するとき光学技術者によって実施できる特定の操作であり、１つ又はいくつかのレンズの縁部で光線を遮断するステップからなり、したがって中心より低い相対照度を隅部で効果的に導入する。
【図面の簡単な説明】
【００６１】
【図１】相対照度現象を示す図。
【図２】色付き相対照度現象を示す図。
【図３】所与の色チャネルに対する色付き相対照度現象が、２つの違った発光体で異なることを示す図。
【図４】第１の発光体のスペクトル分布を表す第１の曲線を示す図。
【図５】第２の発光体のスペクトル分布を表す第２の曲線５０を示す図。
【図６】所与のセンサに対して、同じ入射角で、第１の発光体に対して２つの異なる波長で伝達された信号の振幅を表す第１の曲線を示す図。
【図７】所与のセンサに対して、同じ入射角で、第２の発光体に対して図６に示すものと同じ２つの異なる波長で伝達された信号の振幅を表す第２の曲線を示す図。
【図８】第１の入射角に対する所与のセンサの第１のスペクトル応答、及び第２の入射角に対して同じセンサによって与えられる第２の応答にそれぞれ対応する、第１の曲線と第２の曲線を示す図。
【図１】
2009532969.tif 000003
【図２】
2009532969.tif 000004
【図３】
2009532969.tif 000005
【図４】
2009532969.tif 000006
【図５】
2009532969.tif 000007
【図６】
2009532969.tif 000008
【図７】
2009532969.tif 000009
【図８】
2009532969.tif 000010
【手続補正書】
【提出日】平成20年12月9日(2008.12.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
シーンを描写する、処理されるべきデジタル画像の処理方法であって、処理されるべき前記デジタル画像が、センサと光学系を備えるデジタル取込装置を使用して取得され、処理されるべき前記デジタル画像が、いくつかの色チャネルの重ね合わせであり、前記方法が、
前記画像内の画素の位置に応じて、前記センサの物理構造内の非対称性の関数として、所定の数の発光体タイプに対して、相対照度修正パラメータを予め決定するステップと、
処理されるべき前記取得された画像上の前記描写されたシーンの発光体を決定するステップと、
処理されるべき前記取得された画像上で、前記画像内の画素の位置に応じて、前記発光体に従って前記相対照度を修正するステップと
からなるステップと
を含む、デジタル画像の処理方法。
【国際調査報告】
2009532969.tif 000011
2009532969.tif 000012
2009532969.tif 000013
2009532969.tif 000014
2009532969.tif 000015
2009532969.tif 000016