(57)【要約】      （修正有）【課題】絞りを備えたカメラにより取得されたデジタルビデオ中のカラーフリンジの影響を検出して低減する方法、装置及びシステムを提供する。【解決手段】第１の絞り開口サイズ１０４を用いて第１のデジタル画像フレーム１１０を取得し、第１の開口サイズ１０４よりも小さい第２の絞り開口サイズ１０６を用いて第２のデジタル画像フレーム１２０を取得する。少なくとも１つのの色成分について、第１と第２のデジタル画像フレーム１１０、１２０を比較して、第１のデジタル画像フレーム１１０と第２のデジタル画像フレーム１２０との間で特定の色成分の強度比が比例しない領域１３０ａ、１３０ｂを特定し、特定した領域１３０ａ、１３０ｂにおいて特定の色成分を抑える、デジタル画像フレームを取得する。【選択図】図３
2019118099.tif 000002
【特許請求の範囲】
【請求項１】
絞りを備えたカメラにより取得されたデジタルビデオ中のカラーフリンジの影響を検出して低減する方法であって、前記デジタルビデオが、一連の取得されたＲＧＢデジタル画像フレームを含み、各デジタル画像フレームが、赤色、緑色、および青色のチャネルに格納された画像情報を含み、
前記カメラにより、第１の絞り開口サイズを含む第１のカメラ設定を用いて第１のデジタル画像フレームを取得することと、
前記カメラにより、第２の絞り開口サイズを含む第２のカメラ設定を用いて第２のデジタル画像フレームを取得することであって、前記第２の開口サイズが前記第１の開口サイズよりも小さい、第２のデジタル画像フレームを取得することと、
前記赤色、緑色、および青色の成分のうちの少なくとも１つの特定の色成分について、前記第１および前記第２のデジタル画像フレームを比較することであって、前記赤色、緑色、および青色の成分がそれぞれ、前記赤色、緑色、および青色のチャネルに格納された画像情報に対応する、デジタル画像フレームを比較することとを含み、さらに、
前記第１のデジタル画像フレームと前記第２のデジタル画像フレームとの間で前記特定の色成分の強度比が比例しない領域を特定することと、
前記特定した領域において前記特定の色成分を抑えることにより、後続のデジタル画像フレームを取得することと、
を含む、方法。
【請求項２】
前記特定した領域の前記特定の色成分の前記比例しない強度比が、前記第１のデジタル画像フレームと前記第２のデジタル画像フレームとの間の平均強度の比よりも大きい、請求項１に記載の方法。
【請求項３】
前記特定の色成分が、前記特定した領域内に存在する画素について、前記取得する後続のデジタル画像フレームそれぞれの前記赤色、緑色、および青色のチャネルの既存の強度レベルを互いに等しい新たな強度レベルに置き換えることによって抑えられる、請求項２に記載の方法。
【請求項４】
前記特定の色成分が、前記特定した領域内に存在する画素について、前記取得する後続のデジタル画像フレームそれぞれの既存の強度レベルを隣接画素の強度レベルに基づく新たな強度レベルで置き換えることによって抑えられる、請求項２に記載の方法。
【請求項５】
前記特定の色成分が、前記特定した領域内に存在する画素について、前記取得する後続のデジタル画像フレームそれぞれの既存の強度レベルを前記第２のデジタル画像フレームの強度レベルで置き換えることによって抑えられる、請求項２に記載の方法。
【請求項６】
前記特定の色成分が、前記青色のチャネルに格納された画像情報に対応する青色の成分である、請求項１または２に記載の方法。
【請求項７】
前記青色の成分が、前記特定した領域内に存在する画素について、前記取得する後続のデジタル画像フレームそれぞれの前記青色のチャネルの既存の強度レベルを前記既存の強度レベルの所定割合である新たな強度レベルに置き換えることによって抑えられる、請求項６に記載の方法。
【請求項８】
前記第２のカメラ設定が、前記第２のデジタル画像フレームが前記第１のデジタル画像フレームと同じ露出を得るように前記第１のカメラ設定と関係する、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記特定した領域において前記特定の色成分を抑えるステップが、所定数の取得する後続のデジタル画像フレームに対して実行される、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記一連の取得されたＲＧＢデジタル画像フレームが、前記第１のデジタル画像フレーム、前記第２のデジタル画像フレーム、および前記取得する後続のデジタル画像フレームを含む、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
処理能力を有する機器により実行された場合に、請求項１から１０のいずれか一項に記載の方法の前記第１および前記第２のデジタル画像フレームを比較するステップと、前記特定の色成分の強度比が比例しない領域を特定するステップと、前記特定した領域において前記青色の成分を抑えることにより、後続のデジタル画像フレームを取得するステップと、を実行するように適合しているコンピュータコード命令を含む、コンピュータ可読媒体。
【請求項１２】
カメラを制御して、前記カメラにより取得されたデジタルビデオ中のカラーフリンジの影響を低減する装置であって、前記デジタルビデオが、一連の取得されたＲＧＢデジタル画像フレームを含み、各デジタル画像フレームが、赤色、緑色、および青色のチャネルに格納された画像情報を含み、
前記カメラに、第１の絞り開口サイズを含む第１のカメラ設定を用いて第１のデジタル画像フレームを前記カメラが取得することに関係する命令を伝達することと、
前記カメラに、第２の絞り開口サイズを含む第２のカメラ設定を用いて第２のデジタル画像フレームを前記カメラが取得することに関係する命令を伝達することであって、前記第２の開口サイズが前記第１の開口サイズよりも小さい、命令を伝達することと、
前記赤色、緑色、および青色の成分のうちの少なくとも１つの特定の色成分について、前記第１および前記第２のデジタル画像フレームを比較することであって、前記赤色、緑色、および青色の成分がそれぞれ、前記赤色、緑色、および青色のチャネルに格納された画像情報に対応する、デジタル画像フレームを比較することと、を行うように設定されており、さらに、
前記第１のデジタル画像フレームと前記第２のデジタル画像フレームとの間で前記特定の色成分の比が比例しない領域を特定することと、
前記特定した領域において前記色成分を抑えることにより、後続のデジタル画像フレームを取得することと、
を行うように設定された、装置。
【請求項１３】
カメラにより取得されたデジタルビデオ中のカラーフリンジの影響を検出して低減するシステムであって、
一連の取得されたデジタル画像フレームを含むデジタルビデオを取得するように設定されたカメラであって、絞りを備えた、カメラと、
請求項１２に記載の装置と、
を備えた、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラにより取得されたデジタルビデオ中のカラーフリンジの影響を検出して低減する方法に関する。本発明はさらに、カメラを制御して、カメラにより取得されたデジタルビデオ中のカラーフリンジの影響を低減する装置およびカメラにより取得されたデジタルビデオ中のカラーフリンジの影響を検出して低減するシステムに関する。
【背景技術】
【０００２】
レンズを装備したカメラでデジタルビデオを取得する場合は、レンズの収差によってさまざまな問題が生じる可能性がある。この種のレンズ収差の１つとして色収差があり、レンズ材料に対する光の屈折率がその波長によって変動するという事実に起因するものであって、通常は、カメラのデジタル画像センサ等の画像捕捉面において偽色が生じる。レンズの収差は、カラーフリンジと称することの多いものの原因となる主要な現象である。カラーフリンジは、青色／紫色波長領域において最も顕著になることが多い。このため、パープルフリンジという用語がよく使われる。ただし、カラーフリンジは、如何なる色でも発生し得る。カラーフリンジは、取得されたデジタル画像フレームにおいて、物体周りの偽色の境界として現れる。境界は、取得されたデジタル画像フレームの縁部近くの露出オーバーエリアの周りに現れることが多い。上記問題は、デジタル画像処理を実行してシーンの視認性を向上させる場合に大きくなり得るため、デジタル画像フレームの後処理が必要となる多くの用途で相当な問題となる可能性がある。
【０００３】
カラーフリンジの問題のいくつかは、カメラの撮像光学素子における縦方向色収差に起因する。縦収差は、青色の光が緑色または赤色の光よりも屈折することの結果である。このため、たとえば青色の光が像面の前で合焦されるようになっていてもよく、その結果、青色の光は像面で焦点外となる。何らかのカラーフリンジが横方向色収差に起因する場合もあるが、これは、斜め入射光が像面内のさまざまな空間位置へと合焦した結果である。そこで、すべての色が同じ面へと合焦されることになるが、焦点は入射光の光軸に沿って配置されない。
【０００４】
蛍石等の特殊な材料で構成された高品質レンズの使用等、色収差に起因するカラーフリンジを低減する方法が存在する。ただし、このようなレンズの製造には高いコストを要するため、多くの用途で価格が高くなり過ぎてしまう。カラーフリンジを低減する別の方法として、デジタル画像フレームの解析および後処理がある。後処理によって既存のデジタル画像フレーム中のカラーフリンジを最小限に抑える方法が複数存在する。ただし、これは見過ごせない問題である。デジタル画像フレーム中でどの領域が問題を生じるか容易には明らかとならないためである。１つの手法としては、カラーフリンジを生じる可能性があるエリアでカラーフリンジを修正する。カラーフリンジが発生する場所の代表例は、デジタル画像フレームの外縁の露出オーバーエリアに近い。カラーフリンジは紫色であることが多いため、ある手法では、デジタル画像フレームの露出オーバーエリアの境界で紫色のフリンジを修正するようにしてもよい。この手法は、場合により役に立つものの、不適当な動きにつながり得る場合もある。その理由として、露出オーバーエリアに近いすべての画素でカラーフリンジが生じているわけではないということがある。このような状況の一例は、青空の積雲である。積雲は、過飽和エリアとなって現れる可能性があり、その結果、画像解析によって、空と雲との間の境界での青空がカラーフリンジの発生領域として誤って解釈される可能性がある。したがって、当技術分野においては、デジタルビデオ中のカラーフリンジの影響を検出して低減する改良された方法が求められている。
【発明の概要】
【０００５】
当技術分野における上記識別された不備および不都合のうちの１つまたは複数を単独または任意の組み合わせで軽減、緩和、または除去するとともに、少なくとも前述の問題を解決することを目的とする。
【０００６】
第１の態様によれば、絞りを備えたカメラにより取得されたデジタルビデオ中のカラーフリンジの影響を検出して低減する方法であって、上記デジタルビデオが、一連の取得されたデジタル画像フレームを含み、
カメラにより、第１の絞り開口サイズを含む第１のカメラ設定を用いて第１のデジタル画像フレームを取得することと、
カメラにより、第２の絞り開口サイズを含む第２のカメラ設定を用いて第２のデジタル画像フレームを取得することであって、第２の開口サイズが第１の開口サイズよりも小さい、第２のデジタル画像フレームを取得することと、
少なくとも１つの特定の色成分について、第１および第２のデジタル画像フレームを比較することと、
第１のデジタル画像フレームと第２のデジタル画像フレームとの間で特定の色成分の強度比が比例しない領域を特定することと、
特定した領域において特定の色成分を抑えることにより、後続のデジタル画像フレームを取得することと、
を含む、方法が提供される。
【０００７】
「絞り（ｉｒｉｓ）」という用語は、サイズを調整可能な開口を有する光学素子として解釈されるものとする。絞りは、虹彩絞りとも称する。
【０００８】
デジタル画像フレームの「色成分（ｃｏｌｏｒ  ｃｏｍｐｏｎｅｎｔ）」という用語は、デジタル画像フレーム中に存在する紫色、青色、緑色、および赤色等の特定色に関する画像情報の一部として解釈されるものとする。「色（ｃｏｌｏｒ）」という用語は、広く解釈されるべきものであることを強調する。このため、色という用語は、電磁スペクトルの特定の波長にも、特定範囲の波長にも限定されない。代わりに、色という用語は、色空間表現中のあるエリアを網羅する波長が混ざり合ったものであってもよい。色成分は、デジタル画像フレーム内の各画素に対して規定されていてもよい。色成分は、ＲＧＢ色分けデジタル画像フレームの色チャネルのデジタルデータであってもよい。このため、青色の成分は、青色のチャネルに格納された画像情報の一部に対応することも可能である。この代替または追加として、色成分は、２つ以上のチャネルからのデータを含んでいてもよい。たとえば、青色の成分としては、デジタル画像フレームのＲＧＢ色空間内の特定の青色（または、少なくとも青みがかった）エリアも可能である。
【０００９】
「露出（ｅｘｐｏｓｕｒｅ）」という用語は、カメラのデジタル画像センサに達する単位面積当たりの光量すなわち像面照度×露出時間として規定されることが多く、シャッタースピード、レンズ開口、およびシーン輝度によって決まる。ただし、本開示の背景において、「露出」という用語は、ＩＳＯ番号を用いて言及することが多いデジタル撮影において、デジタル画像センサの利得も含むように広がっている。このため、露出は、絞り開口サイズ、シャッタースピード、およびＩＳＯ番号を調整することによって変更可能である。
【００１０】
当業者が容易に認識できる通り、第１および第２のデジタル画像フレームを取得する時間的順序は、重要ではない。したがって、第１のデジタル画像フレームが最初に取得されるようになっていてもよいし、第２のデジタル画像フレームが最初に取得されるようになっていてもよい。取得する後続のデジタル画像フレームは、第１および第２のデジタル画像ペアの比較により導出された情報を用いて選択的に後処理されることになる。
【００１１】
この方法は、単に画像解析に依拠する必要なく、カラーフリンジが発生するデジタル画像フレームの領域を決定可能であるため都合が良いと考えられる。異なる絞り開口サイズを含む異なるカメラ設定を用いて取得された２つのデジタル画像フレームを比較することにより、２つの画像に存在するカラーフリンジの程度は異なるものと予想される。これは、絞りを閉じることによって、カラーフリンジ現象の少なくとも一部の原因となる縦方向色収差を低減可能であるという事実に由来する。絞り開口サイズのみが調整され、カメラ設定のパラメータの残りが一定に保たれる場合は、絞りを閉じることによって、デジタル画像センサに入射する光が少なくなるため、デジタル画像フレームが暗くなる。このため、青空と雲の例に戻るなら、デジタル画像フレーム中の「真」の青色領域（すなわち、青空）も暗くなる。ただし、縦方向色収差に由来する青色領域が存在する場合、これらの青色領域は、「真」の青色領域よりもはるかに暗くなる。これは、絞りを閉じることによって、デジタル画像センサの全体照明のみならず、縦方向色収差の低減にも影響が及んだ結果である。このため、２つのデジタル画像フレームを比較することにより、カラーフリンジが生じている領域から「真」の青色領域を分離することができるため、特定した領域においてデジタル画像フレームを選択的に後処理することにより、デジタル画像フレームのカラーフリンジを低減可能となる。具体的に、本発明の概念によれば、特定した領域において、取得する後続の一連のデジタル画像フレームを後処理することができる。これは、監視カメラからのデジタルビデオストリーム等のデジタルビデオに関して特に重要と考えられる。一対のデジタル画像フレームそれぞれについて異なる絞り開口サイズを用いることにより、ペアの各デジタル画像フレームをカメラで取得可能とすることによって、カラーフリンジの領域を特定するように一対のデジタル画像フレームが解析されるようになっていてもよい。そして、特定した領域を規定する座標を入力として用いる画像後処理アルゴリズムによって、取得する後続のデジタル画像フレームが後処理されるようになっていてもよい。後処理は、特定ステップが不要なため簡素化されて、後処理ステップの速度が増す場合もある。さらに、本発明の概念を用いて得られる特定ステップは、単一のデジタル画像フレームの画像解析に純粋に基づく特定ステップと比較して、デジタル画像フレーム中のアーチファクトが小さくなる。この方法は、実質的に静止したシーンを示すデジタルビデオ中のカラーフリンジの低減に特に有用と考えられる。ただし、この方法は、物体が移動するシーンにも同様に当てはまり得る。
【００１２】
絞り開口サイズが変化した場合は、それとともに像露出も変化する。このため、第１および第２の画像間で画像強度が変化することになる。縦方向色収差が生じているデジタル画像フレームの領域は、絞り開口が小さくなることにより、第１および第２のデジタル画像フレームを比較した場合に、縦方向色収差が生じていないデジタル画像フレームの他の領域で見られる強度の変化よりも顕著に強度が変化することになる。これは、比例しない強度比が常に基準強度比よりも大きくなることを暗示する。基準強度比は、絞り開口サイズの低下により予想される強度の比と考え得る。実際の状況においては、基準強度比を推定する必要がある。基準強度比を推定する１つの方法として、第１および第２の画像間の平均強度の比を計算する。言い換えると、特定した領域の青色の成分の比例しない強度比は、第１のデジタル画像フレームと第２のデジタル画像フレームとの間の平均強度の比より大きくてもよい。基準強度比を推定する別の方法として、第１および第２の画像間の緑色チャネルの強度の比を計算する。基準強度比は、第１および第２のデジタル画像フレームから計算してはならない。代わりに、基準強度比は、光学素子ならびに第１および第２の開口サイズを把握していることによって決まる所定値であってもよい。
【００１３】
いくつかの実施形態によれば、特定した領域の特定の色成分の比例しない強度比は、第１のデジタル画像フレームと第２のデジタル画像フレームとの間の平均強度の比よりも大きい。ノイズを低減するため、閾値が用いられるようになっていてもよい。このため、いくつかの実施形態によれば、特定した領域の特定の色成分の比例しない強度比は、閾値および第１のデジタル画像フレームと第２のデジタル画像フレームとの間の平均強度の比の合計よりも大きい。
【００１４】
いくつかの実施形態によれば、一連の取得されたデジタル画像フレームの取得されたデジタル画像フレームは、赤色、緑色、および青色のチャネルを含むＲＧＢデジタル画像フレームである。
【００１５】
いくつかの実施形態によれば、特定の色成分は、特定した領域内に存在する画素について、取得する後続のデジタル画像フレームそれぞれの赤色、緑色、および青色のチャネルの既存の強度レベルを互いに等しい新たな強度レベルに置き換えることによって抑えられる。この手法は、演算能力に劣るシステムに対しても適用可能と考えられるカラーフリンジの簡単かつ高速な低減をもたらし得る。新たな強度レベルは、赤色、緑色、および青色のチャネルそれぞれの強度レベルの算術平均を求めることによって導出可能である。
【００１６】
いくつかの実施形態によれば、特定の色成分は、特定した領域内に存在する画素について、取得する後続のデジタル画像フレームそれぞれの既存の強度レベルを隣接画素の強度レベルに基づく新たな強度レベルで置き換えることによって抑えられる。この手法は、いくつかの用途において改良されたデジタルビデオをもたらし得る。
【００１７】
いくつかの実施形態によれば、第２のカメラ設定は、第２のデジタル画像フレームが第１のデジタル画像フレームと同じ露出を得るように第１のカメラ設定と関係する。これは、上記カメラ設定が絞り開口サイズ以外のパラメータを含んでいてもよいことを暗示する。具体的に、カメラ設定には、デジタル画像センサの利得に関係する露出時間（たとえば、シャッタースピード）およびＩＳＯ番号をさらに含む。このため、異なるカメラ設定を用いて同じ露出が得られるようになっていてもよい。たとえば、開口サイズの大きな第１のカメラ設定が、絞り開口サイズの小さな第２のカメラ設定よりも短い露出時間を有していてもよい。
【００１８】
いくつかの実施形態によれば、取得する後続のデジタル画像フレームは、第１のカメラ設定を用いて取得される。あるいは、取得する後続のデジタル画像フレームは、第１の絞り開口サイズを含む別のカメラ設定を用いて取得される。
【００１９】
いくつかの実施形態によれば、特定の色成分は、特定した領域内に存在する画素について、取得する後続のデジタル画像フレームそれぞれの既存の強度レベルを第２のデジタル画像フレームの強度レベルで置き換えることによって抑えられる。この手法は、多くの状況で作用し得る。多くの現実的状況において、絞り開口サイズの低下によりカラーフリンジのレベルが高度に低下することが分かっているためである。この手法は、同じ露出を得るように取得された第１および第２のデジタル画像フレームに基づく。ただし、第２のデジタル画像フレームから取得する後続のデジタル画像フレームへと画像データを置き換えることは、第１および第２のデジタル画像が異なる露出を得ている状況においても実現可能である。このような場合は、取得する後続のデジタル画像フレームの既存の強度レベルの置き換えに入る前に、露出の差異に対して、第２のデジタル画像フレームの特定した領域から収集された画像データを調整することが必要になる。
【００２０】
いくつかの実施形態によれば、特定の色成分は、青色の成分である。これは、たとえばＲＧＢ色分けデジタル画像の青色のチャネルに格納された画像情報の部分等、青色または「青みがかった」色と関係する画像情報の部分と色成分が関係することを暗示する。
【００２１】
いくつかの実施形態によれば、青色の成分は、特定した領域内に存在する画素について、取得する後続のデジタル画像フレームそれぞれの青色のチャネルの既存の強度レベルを既存の強度レベルの所定割合である新たな強度レベルに置き換えることによって抑えられる。この手法は、演算能力に劣るシステムに対しても適用可能と考えられる青色フリンジの簡単かつ高速な低減をもたらし得る。あるいは、この提案方法は、緑色成分に適用され、緑色チャネルの既存の強度レベルの置き換えを含んでいてもよいし、赤色成分に適用され、赤色チャネルの既存の強度レベルの置き換えを含んでいてもよい。
【００２２】
いくつかの実施形態によれば、特定した領域において特定の色成分を抑えるステップは、所定の期間において実行される。あるいは、特定した領域において特定の色成分を抑えるステップは、所定数の取得する後続のデジタル画像フレームに対して実行される。これは、いずれの手法が用いられるかに関わらず、この方法が連続して開始され得ることを暗示する。たとえば、この方法は、所定の期間の最後に開始されるようになっていてもよい。このため、新たな一対の第１および第２のデジタル画像フレームが５分ごとに取得されるようになっていてもよい。この期間は、カメラにより撮像されるシーンによって決まる。動的なシーンでは、実質的に静的なシーンよりも短い時間間隔でこの方法を適用することが必要となるためである。
【００２３】
いくつかの実施形態によれば、一連の取得されたデジタル画像フレームは、第１のデジタル画像フレーム、第２のデジタル画像フレーム、および取得する後続のデジタル画像フレームを含む。これは、取得された画像がビデオから省略されないことを暗示する。これにより、フレームレートが一定に保たれるため、滑らかなデジタルビデオが可能となる。デジタルビデオの一連のデジタル画像フレームには、第１のデジタル画像フレーム、第２のデジタル画像フレーム、および取得する後続のデジタル画像フレームを時間系列に含んでいてもよい。さらに、プロセスを繰り返し可能な場合は、新たな一組の取得する後続のデジタル画像フレームが後続する新たな一対の第１および第２のデジタル画像フレームが追加等されるようになっていてもよい。
【００２４】
第２の態様によれば、処理能力を有する機器により実行された場合に、第１の態様に記載の方法を実行するように適合しているコンピュータコード命令を含むコンピュータ可読媒体が提供される。
【００２５】
第３の態様によれば、カメラを制御して、カメラにより取得されたデジタルビデオ中のカラーフリンジの影響を低減する装置であって、上記デジタルビデオが、一連の取得されたデジタル画像フレームを含み、
カメラに、第１の絞り開口サイズを含む第１のカメラ設定を用いて第１のデジタル画像フレームをカメラが取得することに関係する命令を伝達することと、
カメラに、第２の絞り開口サイズを含む第２のカメラ設定を用いて第２のデジタル画像フレームをカメラが取得することに関係する命令を伝達することであって、第２の開口サイズが第１の開口サイズよりも小さい、命令を伝達することと、
少なくとも１つの特定の色成分について、第１および第２のデジタル画像フレームを比較することと、
第１のデジタル画像フレームと第２のデジタル画像フレームとの間で特定の色成分の比が比例しない領域を特定することと、
特定した領域において色成分を抑えることにより、後続のデジタル画像フレームを取得することと、
を行うように設定された、装置が提供される。
【００２６】
第４の態様によれば、カメラにより取得されたデジタルビデオ中のカラーフリンジの影響を検出して低減するシステムであって、
一連の取得されたデジタル画像フレームを含むデジタルビデオを取得するように設定されたカメラであって、絞りを備えた、カメラと、
第３の態様に記載の装置と、
を備えた、システムが提供される。
【００２７】
カメラは、壁または天井等の支持構造への搭載に適した監視カメラであってもよい。システムは、当該システムが実行する方法のステップの少なくとも一部が監視カメラ内で実行されるように、少なくとも一部がカメラハウジングに含まれていてもよい。
【００２８】
第２、第３、および第４の態様の効果および特徴については、第１の態様に関して上述したものと概ね類似する。第１の態様に関して前述した実施形態は、第２、第３、および第４の態様にも概ね適合する。さらに、本発明の概念は、別段の明示的な記述のない限り、すべての考え得る特徴の組み合わせに関する。
【００２９】
本発明の適用可能性の別の範囲については、以下に示す詳細な説明から明らかとなるであろう。ただし、詳細な説明および具体例は、本発明の好適な実施形態を示すものであるが、一例として与えているに過ぎないことが了解されるものとする。当業者には、この詳細な説明から、本発明の範囲内の種々変更および改良が明らかとなるためである。
【００３０】
そこで、本発明は、上記機器の特定の構成部分にも上記方法のステップにも限定されないことが了解されるものとする。このような機器および方法は、変更可能なためである。また、本明細書において使用する専門用語は、特定の実施形態の説明のみを目的としており、何ら限定を意図したものではないことが了解されるものとする。なお、本明細書および添付の特許請求の範囲において使用する通り、冠詞「ａ」、「ａｎ」、「ｔｈｅ」、および「ｓａｉｄ」は、文脈上の別途明確な指定がない限り、要素が１つまたは複数存在することを意味する意図があることに留意する必要がある。したがって、たとえば「ユニット（ａ  ｕｎｉｔ）」または「前記ユニット（ｔｈｅ  ｕｎｉｔ）」という表現には、複数の機器を含んでいてもよい。さらに、単語「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「具備する（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｃｏｎｔａｉｎｉｎｇ）」、および類似の表現は、他の要素またはステップを除外しない。
【００３１】
以下、本発明の現時点の好適な実施形態を示す添付の図面を参照しつつ、一例として本発明をより詳しく説明する。
【図面の簡単な説明】
【００３２】
【図１】本開示の実施形態に係る、システムの模式図である。
【図２】本開示の実施形態に係る、方法のフローチャートである。
【図３】本開示の実施形態に係る、第１および第２のデジタル画像フレームから抽出可能な特定領域を示した、第１および第２のデジタル画像フレームそれぞれの３つの色チャネルの模式図である。
【図４Ａ】カラーフリンジの特定領域を有するデジタル画像フレームの部分を強調した、図３の第１のデジタル画像フレームの青色のチャネルを示した図である。
【図４Ｂ】図４Ａに規定のラインＬに沿って、第１および第２のデジタル画像フレームそれぞれの青色のチャネルから得られた強度プロファイルを示した図である。
【図４Ｃ】図４Ｂの２つの強度プロファイル間の比を示した図である。
【図４Ｄ】図４Ａに規定のラインＬに沿って、第１および第２のデジタル画像フレームそれぞれの緑色チャネルから得られた強度プロファイルを示した図である。
【図４Ｅ】図４Ｄの２つの強度プロファイル間の比を示した図である。
【図５】本開示の実施形態に係る、一連のデジタル画像フレームを含むデジタルビデオの模式図である。
【発明を実施するための形態】
【００３３】
以下、本発明の現時点の好適な実施形態を示す添付の図面を参照して、本発明をより詳しく説明する。ただし、本発明は、多くの異なる形態で具現化されるようになっていてもよく、本明細書に記載の実施形態に限定されるとの解釈はなされないものとする。むしろ、これらの実施形態は、完全性および網羅性を目的として与えており、本発明の範囲を当業者に対して十分に伝達するものである。
【００３４】
まず、本発明の基礎となる原理を短く説明する。本開示の発明に係る概念は、捕捉されたデジタル画像フレーム中のカラーフリンジの重大性がカメラの絞りの開口サイズによって決まるという事実の利用に基づく。絞り開口サイズが大きくなると、より多くの光がカメラに入射可能となるものの、それと同時にレンズの収差も大きくなる。開口サイズがレンズ収差に及ぼす影響は、縦方向色収差において最も顕著になり、光軸に沿った異なる位置に入射光が合焦する。レンズ開口を小さくすることにより、レンズの周辺部を通った光線は、レンズの中心部を通った光線よりも多く遮断されることになる。縦方向色収差の重大性は、レンズ中心からの半径方向距離に対応するため、全体的な影響としては、開口の縮小によって、捕捉されたデジタルビデオ中の縦方向色収差ひいてはカラーフリンジの影響が小さくなる。縦方向色収差の場合に最も顕著ではあるものの、開口の縮小によって、カラーフリンジと関連する他の種類の画像アーチファクトも軽減されることが分かっている。
【００３５】
カメラの開口が小さくなると、カメラのデジタル画像センサに衝突する光の総量も減ることになる。これは一般的に、画像の品質が低下するリスクとなり得るため、望ましくない。これを補償するため、画像像露出時間および／またはデジタル画像センサの利得が増加されるようになっていてもよい。ただし、これは、すべての状況に望ましいわけではない。たとえば、露出時間が長くなると、時間分解能が低下して、運動する物体の正確な捕捉が困難になる。また、デジタル画像センサの利得が高くなると、捕捉画像のノイズが増えて、一般的には画像の品質が低下するほか、画像アーチファクトが生じるリスクとなる。
【００３６】
本発明では、特定の時点においてのみ開口サイズを小さくすることによって、上記を解決する。小さな開口サイズで取得されたデジタル画像フレームとその直後または直前に大きな開口サイズで取得されたデジタル画像フレームとの比を解析することによって、カラーフリンジが顕著に見える領域を検出可能である。この情報を用いることにより、カラーフリンジに対して、取得する後続の画像フレームが修正されるようになっていてもよい。この方法は、静止しているデジタル画像フレームまたは少なくとも静止していることが大半のデジタル画像フレームに示された物体に依拠し得ることが認識される。したがって、この技術の適用可能性は、異なる用途に対して異なっていてもよい。
【００３７】
図１は、カメラ２１０により取得されたデジタルビデオ中のカラーフリンジの影響を検出して低減するシステム２００の模式図である。
【００３８】
システム２００は、一連の取得されたデジタル画像フレーム１５０を含むデジタルビデオを取得するように設定されたカメラ２１０を備える。デジタルビデオを図５に模式的に示す。カメラ２１０は、カメラ２１０に入射する光を集光する集光光学素子２１６を備えた光学系２１３を備える。通常、集光光学素子２１６は、一連のレンズをレンズ系に備える。光学系２１３は、絞り開口サイズを変化させ得るように制御可能な絞り２１２をさらに備える。絞り２１２は、取り外し可能なカメラレンズの場合によくあることだが、集光光学素子２１６の一体部分であってもよい。カメラ２１０は、当該カメラ２１０の集光光学素子を通じて入射する光を捕捉するように設定されたデジタル画像センサ２１４をさらに備える。
【００３９】
システム２００は、カメラ２１０を制御して、カメラ２１０により取得されたデジタルビデオ中のカラーフリンジの影響を低減する装置２２０をさらに備える。具体的に、装置２２０は、本明細書に開示の実施形態に係る、カメラ２１０により取得されたデジタルビデオ中のカラーフリンジの影響を検出して低減する方法を実行するように設定されている。この方法については、以下で詳しく論じる。
【００４０】
装置２２０は、カメラ２１０と通信するように設定された通信インターフェース２２２を備える。装置２２０は、カメラ２１０が１つまたは複数のデジタル画像フレームを取得することに関係する命令をカメラ２１０に伝達するように設定されている。これには、単一のデジタル画像フレームすなわち写真または一連のデジタル画像フレーム１５０すなわちデジタルビデオの捕捉を含んでいてもよい。装置２２０は、絞り開口サイズに関する情報を含むカメラ設定をカメラ２１０に伝達するようにさらに設定されている。装置２２０は、取得されたデジタル画像フレームをカメラ２１０から受信して後処理するようにさらに設定されている。
【００４１】
以下、装置２２０をより詳しく説明する。装置２２０は、カメラ２１０を制御する制御ユニット２２６を備える。具体的に、制御ユニット２２６は、通信インターフェース２２２を介して、１つまたは複数のデジタル画像フレームの取得の開始、デジタル画像フレームの取得の停止、露出の設定の調整等をカメラに指示するように設定されている。これらの設定は、絞り開口サイズ、露出時間、およびデジタル画像センサ２１４の利得（ＩＳＯ番号）と関係する情報を含むカメラ設定を用いてカメラ２１０に伝達される。
【００４２】
装置２２０は、カメラ２１０から受信されたデジタル画像フレーム等のデジタルデータを処理する処理ユニット２２４をさらに備える。具体的に、処理ユニット２２４は、デジタル画像フレームを互いに比較して解析するとともに、その比較および解析の結果に基づいて、取得する後続のデジタル画像フレーム１４０を後処理するように設定されている。
【００４３】
装置２２０は、カメラ２１０に含まれていてもよいし、カメラ２１０に対して動作可能に接続された別個の部分として設けられていてもよい。あるいは、以下に開示の方法のステップの一部がカメラ２１０で実行され、一部がカメラ２１０の外側で実行されるように、装置２２０の第１の部分がカメラ２１０中に位置付けられ、装置２２０の第２の部分がカメラ２１０外に位置付けられていてもよい。一例として、制御ユニット２２６がカメラ２１０に含まれていてもよく、一方、処理ユニット２２４がカメラ２１０外に位置付けられ、たとえばカメラ２１０に対して動作可能に接続されたコンピュータまたは別の機器において実装されていてもよい。
【００４４】
以下、図２〜図４を参照して、システム２００の動作を開示する。特に、カメラ２１０により取得されたデジタルビデオ中のカラーフリンジの影響を検出して低減する方法を説明する。この方法は、本明細書に開示のシステム２００により実行されるが、添付の特許請求の範囲により規定される方法を別のシステムが実行するように設定されていてもよいことが了解される。
【００４５】
図２は、カメラ２１０により取得されたデジタルビデオ中のカラーフリンジの影響を検出して低減する方法のフローチャートである。デジタルビデオには、一連の取得されたデジタル画像フレーム１５０を含み、たとえばＡＶＩ、ＭＰＥＧ等の如何なるフォーマットであってもよい。上記開示の通り、カメラ２１０は、絞り開口サイズを変化させるように調整可能な絞り２１２を備える。
【００４６】
この方法は、カメラ２１０により、第１の絞り開口サイズ１０４を含む第１のカメラ設定を用いて第１のデジタル画像フレーム１１０を取得することＳ１０２を含む。この方法は、カメラ２１０により、第２の絞り開口サイズ１０６を含む第２のカメラ設定を用いて第２のデジタル画像フレーム１２０を取得することＳ１０４をさらに含む。第２の開口サイズ１０６は、第１の開口サイズ１０４よりも小さい。このため、第１のデジタル画像フレーム１１０および第２のデジタル画像フレーム１２０に用いられるカメラ設定は、少なくとも絞り開口サイズに関して異なることになる。また、他の設定が異なっていてもよい。たとえば、第１のデジタル画像フレーム１１０および第２のデジタル画像フレーム１２０が同様の露出レベルを有し得るように、露出時間および／またはデジタル画像センサ２１４の利得が調整されるようになっていてもよい。第１のデジタル画像フレーム１１０および第２のデジタル画像フレーム１２０を取得するステップは、デジタル画像フレームの取得と関係する命令をカメラ２１０に伝達するように設定された装置２２０の制御ユニット２２６によって開始される。制御ユニット２２６は、特定の絞り開口サイズを含む正しい露出でカメラ２１０が画像を取得できるように、カメラ設定をカメラ２１０に伝達するようにさらに設定されている。ここで、第１のデジタル画像フレーム１１０および第２のデジタル画像フレーム１２０は、通信インターフェース２２２を介して装置２２０に伝送されるようになっていてもよい。
【００４７】
この方法は、少なくとも１つの特定の色成分について、第１のデジタル画像フレーム１１０と第２のデジタル画像フレーム１２０とを比較することＳ１０６をさらに含む。このステップは、処理ユニット２２４において実行される。特定の色成分は、異なる方法で規定されるようになっていてもよい。通常、一連の取得されたデジタル画像フレーム１５０の取得されたデジタル画像フレームは、赤色、緑色、および青色のチャネルを含むＲＧＢデジタル画像フレームである。第１のデジタル画像フレーム１１０および第２のデジタル画像フレーム１２０それぞれの赤色、緑色、および青色のチャネルを示す図３において、この状況を示す。図３に示すように、本例において、カラーフリンジは、主として青色のチャネルにおいて発生する。このため、本例の場合、カラーフリンジを青色フリンジあるいは紫色フリンジと称する場合がある。具体的には、特に円形物体の境界において、第１のデジタル画像フレーム１１０の青色のチャネル１１０Ｂに重大なカラーフリンジが見られる可能性がある。図３において模式的に示すように、第２のデジタル画像フレーム１２０の青色のチャネル１２０Ｂにおけるカラーフリンジが抑えられる（図３においては、明瞭化のため、カラーフリンジを完全に除去している）。図３の例において、特定の色成分は、青色のチャネルに格納されたデジタルデータである。ただし、この代替または追加として、特定の色成分は、赤色チャネルあるいは緑色チャネル等の他のチャネルからのデータを含んでいてもよい。たとえば、特定の色成分としては、ＲＧＢ色空間内の特定の青色（または、少なくとも青みがかった）エリアも可能である。
【００４８】
この方法は、第１のデジタル画像フレーム１１０と第２のデジタル画像フレーム１２０との間で特定の色成分の強度比が比例しない領域１３０ａ、１３０ｂを特定することＳ１０８をさらに含む。絞り開口が変化した場合は、それとともに像露出も変化する。このため、第１の画像１１０および第２の画像１２０間で画像強度が変化することになる。縦方向色収差が生じているデジタル画像フレームの領域は、絞り開口サイズが小さくなることにより、第１のデジタル画像フレーム１１０および第２のデジタル画像フレーム１２０を比較した場合に、縦方向色収差が生じていないデジタル画像フレームの他の領域で見られる強度の変化よりも顕著に強度が変化することになる。このため、比例しない強度比が常に基準強度比よりも大きくなる。基準強度比は、絞り開口サイズの低下により予想される強度の比と考え得る。実際の状況においては、基準強度比を推定する必要がある。基準強度比を推定する１つの方法として、第１の画像１１０および第２の画像１２０間の平均強度の比を計算する。言い換えると、特定した領域１３０ａ、１３０ｂの特定の色成分の比例しない強度比は、第１のデジタル画像フレーム１１０と第２のデジタル画像フレーム１２０との間の平均強度の比より大きくてもよい。基準強度比を推定する別の方法として、第１の画像１１０および第２の画像１２０間の基準チャネルの強度の比を計算する。このような基準チャンネルは、カラーフリンジが最も生じないと予想されるチャネルとなるように選択されるようになっていてもよい。これは通常、緑色チャネルである。基準強度比は、第１のデジタル画像フレーム１１０および第２のデジタル画像フレーム１２０から計算してはならない。代わりに、基準強度比は、光学素子ならびに第１の開口サイズ１０４および第２の開口サイズ１０６を把握していることによって決まる所定値であってもよい。
【００４９】
図３を参照して論じる本例において、第１のデジタル画像フレーム１１０および第２のデジタル画像フレーム１２０は、ＲＧＢデジタル画像フレームである。第１のデジタル画像フレーム１１０と第２のデジタル画像フレーム１２０との間で特定の色成分の強度比が比例しない領域１３０ａ、１３０ｂを特定するステップＳ１０８は、第１の画像フレーム１１０の青色のチャネル１１０Ｂの強度と第２のデジタル画像フレーム１２０の青色のチャネル１２０Ｂの強度との間の比を有するデジタル画像フレーム内のいずれの画素が基準強度比よりも大きいかを決定することを含む。本例において、基準強度比は、第１のデジタル画像フレーム１１０の緑色チャネル１１０Ｇの平均強度と第２のデジタル画像フレーム１２０の緑色チャネル１２０Ｇの平均強度との間の比として計算される。これを図４Ｂに示すが、この図は、図４Ａに示すラインＬに沿って、第１のデジタル画像フレーム１１０の青色のチャネル１１０Ｂの強度Ｉ１Ｂおよび第２のデジタル画像フレーム１２０の青色のチャネル１２０Ｂの強度Ｉ２Ｂを示している。図４Ｃは、２つの強度プロファイル間の比すなわち比Ｉ１Ｂ／Ｉ２Ｂを示している。図４Ｂに見られる通り、大きい方の絞り開口サイズを用いて得られる強度プロファイル（強度プロファイルＩ１Ｂ）は、小さい方の絞り開口サイズを用いて得られる強度プロファイル（強度プロファイルＩ２Ｂ）には見られない２つの最大値を有する。これら２つの最大値は、過剰なカラーフリンジの結果である。２つの強度プロファイル間の比Ｉ１Ｂ／Ｉ２Ｂを決定することにより、プロファイル形状の相対差が抽出されることになる。カラーフリンジが皆無であれば、比Ｉ１Ｂ／Ｉ２Ｂは、ラインＬに沿って実質的に一定になるものと予想される。ただし、図４Ｃに見られるように、Ｉ１Ｂの２つの最大値は、比Ｉ１Ｂ／Ｉ２Ｂの２つの最大値として現れることになる。第１のカメラ設定と第２のカメラ設定との間の関係に応じて、オフセットＰが変化することになる。これは、問題にならないと考えられる。エッジ検出アルゴリズム等の画像処理アルゴリズムによって、最大値を容易に追跡可能なためである。ただし、必要に応じて、たとえば緑色チャネルから得られた対応する比で除算することによって、情報が校正されるようになっていてもよい。これを図４Ｄおよび図４Ｅに示す。
【００５０】
この方法は、特定した領域１３０ａ、１３０ｂにおいて特定の色成分を抑えることにより、後続のデジタル画像フレーム１４０を取得することＳ１１０をさらに含む。このため、デジタル画像フレーム中でカラーフリンジが発生しそうな場所を把握していることを利用して、カラーフリンジを選択的に補償することも可能となり得る。この補償は、異なる方法で実現されるようになっていてもよい。
【００５１】
一実施形態において、特定の色成分は、特定した領域１３０ａ、１３０ｂ内に存在する画素について、取得する後続のデジタル画像フレーム１４０それぞれの赤色、緑色、および青色のチャネルの既存の強度レベルを互いに等しい新たな強度レベルに置き換えることによって抑えられる。これは、特定した領域中の色情報が無視されることを暗示する。
【００５２】
別の実施形態において、特定の色成分は、特定した領域１３０ａ、１３０ｂ内に存在する画素について、取得する後続のデジタル画像フレーム１４０それぞれの既存の強度レベルを隣接画素の強度レベルに基づく新たな強度レベルで置き換えることによって抑えられる。これは、拡張領域の画像解析が必要であることを暗示する。当業者には、デジタル画像フレームの領域をデジタル的に修正する方法を対象とした当技術分野の方法論が多く存在することが理解される。したがって、特許請求の範囲内で特定の色成分の上記抑制を実現する多くの代替方法が存在することが了解されるものとする。
【００５３】
さらに別の実施形態において、カラーフリンジは、青色フリンジが支配的であるため、色成分は青色の成分である。本実施形態において、青色の成分は、特定した領域１３０ａ、１３０ｂ内に存在する画素について、取得する後続のデジタル画像フレーム１４０それぞれの青色のチャネルの既存の強度レベルを既存の強度レベルの所定割合である新たな強度レベルに置き換えることによって抑えられる。所定割合は、たとえば基準比に由来していてもよい。あるいは、所定割合は、ユーザにより予め設定された値であってもよい。
【００５４】
図５に示すように、デジタルビデオの一連のデジタル画像フレーム１５０は、同じく第１のデジタル画像フレーム１１０および第２のデジタル画像フレーム１２０を含んでいてもよい。このため、一連の取得されたデジタル画像フレーム１５０は、第１のデジタル画像フレーム１１０、第２のデジタル画像フレーム１２０、および取得する後続のデジタル画像フレーム１４０を含む。これを図５に模式的に示すが、この図では、サイズが変動する開口を使って、各デジタル画像フレームを記号的に示している。本例において、第１のデジタル画像フレーム１１０および取得する後続のデジタル画像フレーム１４０は、同じカメラ設定すなわち第１のカメラ設定を用いて取得される。さらに、第２のカメラ設定は、第２のデジタル画像フレーム１２０が第１のデジタル画像フレーム１１０と同じ露出を得るように第１のカメラ設定と関係する。これは、本例において、第２のデジタル画像フレーム１２０を取得する場合の露出時間（たとえば、シャッタースピード）を長くするとともに、デジタル画像センサの利得（ＩＳＯ番号）を大きくすることによって達成される。デジタル画像センサ２１４の利得によって画像ノイズが増えるため、ＩＳＯ番号の調整は、撮像シーンが事実上静止している状況では回避されるようになっていてもよい。このようなシーンの場合は、第１の画像１１０と第２の画像１２０とで同じ露出を実現するのに、露出時間を長くすれば十分と考えられる。
【００５５】
デジタルビデオに第１のデジタル画像フレーム１１０および第２のデジタル画像フレーム１２０を含む利点として、フレームレートを一定に保つことにより、滑らかなデジタルビデオを可能にするのに役立つ。
【００５６】
特定した領域１３０ａ、１３０ｂにおいて特定の色成分を抑えるステップは、所定の期間Ｔにおいて実行されるようになっていてもよい。あるいは、所定数の取得する後続のデジタル画像フレームに対して実行されるようになっていてもよい。これにより、たとえば５分ごとに、別の一対の第１のデジタル画像フレーム１１０’および第２のデジタル画像フレーム１２０’が取得されるようになっていてもよい。上記期間は、カメラ２１０により撮像されるシーンによって決まり得る。動的なシーンでは、実質的に静的なシーンよりも短い時間間隔でこの方法を適用することが必要となるためである。これを図５に示すが、この図は、シーケンス１５０の後に追加された別の一連のデジタル画像フレーム１５０’を示している。この別の一連のデジタル画像フレーム１５０’には、別の一組の取得する後続のデジタル画像フレーム１５０’が後続する別の一対の第１のデジタル画像フレーム１１０’および第２のデジタル画像フレーム１２０’を含む。このプロセスは、任意の回数だけ繰り返されるようになっていてもよい。したがって、デジタルビデオは、デジタル画像フレームの連続ストリームであってもよい。図５に示すように、このプロセスは、期間Ｔの後に繰り返される。別の一連のデジタル画像フレーム１５０’の期間Ｔ’は、この別の一連のデジタル画像フレーム１５０’がより長い期間またはより短い期間の後に更新されるように調整可能である。このため、一連のデジタル画像フレーム内のデジタル画像フレーム数は、デジタルビデオ内の一連のデジタル画像フレーム間で異なっていてもよい。具体的に、上記期間は、カメラ２１０により撮像されるシーン中の運動レベルに応じて変動するようになっていてもよい。
【００５７】
当業者には、本発明が上述の好適な実施形態に何ら限定されないことが理解される。逆に、添付の特許請求の範囲において、多くの改良および変形が可能である。
【００５８】
たとえば、第１のカメラ設定を用いて２つ以上のデジタル画像フレームが取得されるようになっていてもよく、第２のカメラ設定を用いて２つ以上のデジタル画像フレームが取得されるようになっていてもよい。言い換えると、第１の組のデジタル画像フレームが第２の組のデジタル画像フレームと比較され、第１および第２の組が異なる絞り開口サイズを用いて取得されていてもよい。
【００５９】
また、特許請求の範囲に係る発明の実施においては、図面、本開示、および添付の特許請求の範囲の検討により、当業者が開示の実施形態の変形例を理解して有効化することができる。
【図１】
2019118099.tif 000003
【図２】
2019118099.tif 000004
【図３】
2019118099.tif 000005
【図４Ａ】
2019118099.tif 000006
【図４Ｂ】
2019118099.tif 000007
【図４Ｃ】
2019118099.tif 000008
【図４Ｄ】
2019118099.tif 000009
【図４Ｅ】
2019118099.tif 000010
【図５】
2019118099.tif 000011
【外国語明細書】
2019118099000001.pdf
2019118099000002.pdf
2019118099000003.pdf
2019118099000004.pdf