(57)【特許請求の範囲】
【請求項１】
第１及び第２の参照画像を使用して、主デジタル画像中のフラッシュ目欠陥を判定及び補正する方法であって、
カメラレンズから異なる距離で配置された第１及び第２の光源をそれぞれ使用して、主デジタル画像と第１及び第２の参照画像を取得し、
前記第１及び第２の参照画像を正規化して、正規化された第１及び第２の参照画像を生成し、
前記正規化された第１及び第２の参照画像間における１又は２以上の差分を解析し、
前記解析に基づいて主画像中のフラッシュ目欠陥を判定し補正して、補正された主画像を生成し、
前記補正された主画像を、格納、送信、通信、表示、或いは投影し、またはこれらを組み合わせること
を含み、
前記解析は、第１及び第２の光源のレンズからの特定の異なる距離を考慮に入れることを特徴とする方法。
【請求項２】
第１及び第２の参照画像を使用して、主デジタル画像中のフラッシュ目欠陥を判定及び補正する方法であって、
光源及び該光源から異なる距離で配置された第１及び第２のカメラレンズをそれぞれ使用して、主デジタル画像と第１及び第２の参照画像を取得し、
前記第１及び第２の画像を正規化して、正規化された第１及び第２の参照画像を生成し、
前記正規化された第１及び第２の参照画像間における１又は２以上の差分を解析し、
前記解析に基づいて主画像中のフラッシュ目欠陥を判定し補正して、補正された主画像を生成し、
前記補正された主画像を、格納、送信、通信、表示、或いは投影し、またはこれらを組み合わせること
を含み、
前記解析は、前記光源の前記第１及び第２のレンズからの特定の異なる距離を考慮に入れることを特徴とする方法。
【請求項３】
前記解析は、第１及び第２の参照画像を減算することを含むことを特徴とする請求項１又は２記載の方法。
【請求項４】
前記正規化は、輝度正規化を含むことを特徴とする請求項１又は２記載の方法。
【請求項５】
前記フラッシュ目欠陥は、赤目欠陥を含むことを特徴とする請求項１又は２記載の方法。
【請求項６】
前記正規化は、前記第１及び第２の参照画像の１つ或いは両方のサイズ変更をすることを含むことを特徴とする請求項１又は２記載の方法。
【請求項７】
前記差分は、色差を含むことを特徴とする請求項１又は２記載の方法。
【請求項８】
前記差分は、明度差を含むことを特徴とする請求項１又は２記載の方法。
【請求項９】
前記第１及び第２の参照画像は、主デジタル画像を取得するのに使用されるフラッシュの強度と比較して、相対的に低い強度のプレフラッシュを使用して各々取得されることを特徴とする請求項１又は２記載の方法。
【請求項１０】
前記解析は、さらに、１又は２以上の物体への距離及び凝視角を考慮に入れることを特徴とする請求項１又は２記載の方法。
【請求項１１】
主デジタル画像を取得するに先立って、第１及び第２の試写画像が連続的に取得されることを特徴とする請求項１又は２記載の方法。
【請求項１２】
請求項１乃至１１のいずれか記載の方法を遂行するようにプロセッサーをプログラムするために埋め込まれたデジタルコードを有するプロセッサー読取り可能な１以上の媒体。
【請求項１３】
主デジタル画像と第１及び第２の参照画像とを取得するためのレンズ及びセンサーと、
取得されたシーン中の１又は２以上の物体を照らすためにレンズから異なる距離で配置された第１及び第２の光源と、
主デジタル画像を格納するためのメモリと、
請求項１記載の方法を遂行するようにプロセッサーをプログラムするために埋め込まれたデジタルコードを有するプロセッサー読取り可能な１以上の媒体と、
を含む携帯用のデジタル画像取得装置。
【請求項１４】
主デジタル画像と第１及び第２の参照画像とを取得するための第１及び第２のレンズ及び少なくとも１つのセンサーと、
取得されたシーン中の１又は２以上の物体を照らすために、第１及び第２のレンズから異なる距離で配置された光源と、
主デジタル画像を格納するためのメモリと、
請求項２記載の方法を遂行するようにプロセッサーをプログラムするために埋め込まれたデジタルコードを有するプロセッサー読取り可能な１以上の媒体と、
を含む携帯用のデジタル画像取得装置。
【発明の詳細な説明】
【背景技術】
【０００１】
非フラッシュ画像を捕捉し、その後にフラッシュ画像を、及びこれらの画像を（いくらかの輝度正規化を含み）減算し、赤目欠陥（フラッシュ目）がどこにあるかを示す差分画像を取得可能であることが知られている（例えば、米国特許第７，０２７，６６２号及び米国特許第６，８５９，５６５号参照）。
【０００２】
さらに、本願と同一の出願人に譲渡され「赤目フィルター方法及び装置」と題された米国公開特許出願第２００５／００４１１２１号は、参照非フラッシュ及び主フラッシュ画像が最初に異なるサイズとすることができ、また、これら画像が輝度正規化及び／又は減算の前に同じ次元にサイズ変更され、整列させられる技術について説明する。
【０００３】
輝度について正規化された後に減算される２つの画像を捕捉し、主取得画像中の有望な目の位置を表示し、その後に主画像の取得が続くことを含む、改善された技術を持つことが望まれる。当該プロセスは、参照ペア及び主取得画像のどのような不整合をも最小限にするために、素早く（典型的には１秒未満で）遂行されるであろう。
【０００４】
さらに、フラッシュ画像よりも著しく暗い傾向がある非フラッシュ画像に関連した問題点、及び、特に、実際の輝度正規化を達成するのが難しい室内環境における問題点を克服する技術を持つことが望まれる。
【発明の概要】
【０００５】
携帯用のデジタル画像取得装置が提供される。本発明装置は、主デジタル画像及び第１及び第２の参照画像を取得するためのレンズ及びセンサーを含む。本装置は、さらに、取得されたシーン中の１又は２以上の物体を照らすためにレンズから異なる距離で配置された第１及び第２の光源を含む。主画像はメモリに格納される。本装置は、さらに、第１及び第２の参照画像を使用して、主デジタル画像のフラッシュ目欠陥を判定し補正する方法を行なうようにプロセッサーをプログラムするために埋め込まれたデジタル・コードを有するプロセッサー読取り可能な１以上の媒体を含む。本発明方法は、第１及び第２の光源をそれぞれ使用して、第１及び第２の参照画像を取得することを含む。第１及び第２の画像は、第１及び第２の参照画像を生成するために正規化される。正規化された第１及び第２の参照画像間の１又は２以上の差分が解析される。本方法は、さらに、補正された主画像を生成するために、前記解析に基づいて主画像中のフラッシュ目欠陥を判定し補正することを含む。当該補正された主画像または更に処理された版（バージョン）は、格納され、送信され、通信され、表示され、或いは投影される。
【０００６】
他の携帯用のデジタル画像取得装置が提供される。この装置は、主デジタル画像と第１及び第２の参照画像とを取得するための第１及び第２のレンズ及び少なくとも１つのセンサーを含む。本装置は、さらに、取得されたシーン中の１又は２以上の物体を照らすために、第１及び第２のレンズから異なる距離で各々配置された光源を含む。主デジタル画像及び／又は更に処理された版は、メモリに格納される。本発明装置は、第１及び第２の参照画像を使用して、主デジタル画像中のフラッシュ目欠陥を判定し補正する方法を遂行するようにプロセッサーをプログラムするために埋め込まれたデジタルコードを有するプロセッサー判読可能な１以上の媒体を含む。本発明方法は、光源と第１及び第２のレンズをそれぞれ使用して、第１及び第２の参照画像を取得することを含む。第１及び第２の画像は、第１及び第２の参照画像を生成するために正規化される。正規化された第１及び第２の参照画像間の１又は２以上の差分が解析される。本方法は、さらに、補正された主画像を生成するために、前記解析に基づいて主画像中のフラッシュ目欠陥を判定する及び補正することを含む。補正された主画像及び／又はさらに処理された版は、送信され、格納され、通信され、表示され、及び／又は投影される。
【０００７】
一方の装置では、解析は、第１及び第２の参照画像を減算することを含めることができる。
【０００８】
正規化は、輝度正規化を含むことができる。
【０００９】
フラッシュ目欠陥は、赤目欠陥を含むことができる。
【００１０】
正規化は、１つあるいは第１及び第２の参照画像両方にサイズ変更をすることを含むことができる。
【００１１】
正規化は、第１及び第２の参照画像を整列させることを含むことができる。整列は、第１及び第２の画像中の１つ以上の目を整列させることを含むことができる。
【００１２】
前記差分は、色差及び／又は明度差を含むことができる。
【００１３】
前記第１及び第２の参照画像は、主デジタル画像を取得するのに使用されるフラッシュの強度と比較して、相対的に低い強度のプレフラッシュを使用して各々取得されることができる。
【００１４】
前記解析は、第１の装置中の第１及び第２の光源とレンズの間の、あるいは第２の装置中の第１及び第２のレンズと光源の間の特定の異なる距離を考慮に入れることができる。
【００１５】
前記解析は、さらに、１又は２以上の物体への距離、凝視角、周囲照明状態、取得されたシーン中の顔の虹彩の色又は肌の色合いを考慮に入れることができる。
【００１６】
第１及び第２の試写画像は、主デジタル画像を取得するに先立って連続的に取得されることができる。
【００１７】
第１及び第２の参照画像を使用して、主デジタル画像中のフラッシュ目欠陥を判定し補正する方法も提供される。かかる方法を遂行するようにプロセッサーをプログラムするために埋め込まれたコードを有するコンピューター読取り可能な媒体も提供される。
【図面の簡単な説明】
【００１８】
特許又は出願書類は、カラーで作成された少なくとも１つの図面を含む。カラー図面付きのこの特許又は特許出願公報は、請求及び必要な料金の支払いによって、庁により提供されるだろう。
【図１Ａ】画像を取得するための光学レンズに近接したフラッシュ付きのカメラを示す。
【図１Ｂ】図１Ａで示されたフラッシュよりも、光学レンズからより遠いフラッシュ付きのカメラを示す。
【図２Ａ】図１Ａのカメラで取得されたデジタル画像中のフラッシュ目欠陥を示す。
【図２Ｂ】図１Ｂのカメラで取得されたデジタル画像中のフラッシュ目欠陥を示す。
【図３Ａ】図１Ａのカメラで取得されたデジタル画像中のフラッシュ目欠陥を示す。
【図３Ｂ】図１Ｂのカメラで取得されたデジタル画像中のフラッシュ目欠陥を示す。
【図４Ａ】図１Ａのカメラで取得されたデジタル画像中のフラッシュ目欠陥を示す。
【図４Ｂ】図１Ｂのカメラで取得されたデジタル画像中のフラッシュ目欠陥を示す。
【図５】カメラのレンズから異なる距離で分離された２つのフラッシュ付きのカメラを示す。
【図６】カメラのフラッシュから異なる距離で分離された２つの光学レンズ付きのカメラを示す。
【図７】特定の実施の形態に従った方法を示すブロックダイヤグラムである。
【図８】追加的な実施の形態に従った方法を示すブロックダイヤグラムである。
【発明を実施するための形態】
【００１９】
光源が結像レンズから異なる空間距離に配置される場合、画像中の目領域の色及び明るさが著しく変わることができることが認められる。その一方で、画像の残りの部分は、色と明るさにおいて多くは異ならない。
【００２０】
図１Ａ及び１Ｂは、単一のフラッシュ及び単一のレンズをそれぞれ備えた２台のカメラを示す。しかしながら、フラッシュ−レンズ距離は、図１Ａのカメラよりも図１Ｂのカメラの方がより長い。図２Ａ，３Ａ及び４Ａは、図１Ａのカメラで少なくとも３人の目を撮影した写真である。図２Ｂ，２Ｃ及び２Ｄは、図１Ｂのカメラで少なくとも同じ３人の目を撮影した写真である。図２Ａは、図２Ｂ中に捕捉された同一人物の目よりも明るい赤色を明白に示す。かかる目は、さらに、図２Ａ中のものの方が図２Ｂ中のものよりも明るいように見える。図３Ａは、図３Ｂ中に捕捉された同一人物の目よりも明るい赤色を明白に示す。かかる目は、さらに、図３Ａ中のものの方が図３Ｂ中のものよりも明るいように見える。図１Ａのカメラで撮影された図４Ａ中の右の目は、図１Ｂのカメラで撮影された図４Ｂ中の同一人物の右の目よりも明るい赤色として現われる。図４Ａ中の左の目は、金色で、非常に明るく見え、一方で、図４Ｂ中の左の目は、赤く、図４Ａの左の目より全く明るくなく見えている。図２Ａ，３Ａ及び４Ａ及び図２Ｂ，３Ｂ及び４Ｂ中の捕捉された目の間の差分は、図１Ａ及び１Ｂで示されたような、それぞれの使用されたカメラのフラッシュと光学レンズの間の異なる距離である。図２Ａ及び２Ｂ中で示された部分的な顔の他の特徴は、著しく異なるようには見えず、図３Ａ−３Ｂ及び図４Ａ−４Ｂで同じに見える。
【００２１】
特定の実施の形態に従って、図５は、主レンズ４から異なる距離で２つの別個の光源２ａ及び２ｂを備えたカメラを概略的に示す。試写、ポスト表示及び／又は並列表示画像のような２つの参照画像は、２つの別個のフラッシュ装置２ａ，２ｂからの低強度のプレフラッシュを使用して取得される。図５で概略的に示されたカメラは、さらに、格納、送信、表示、投影、通信、及び／又は更なる処理がされることを意図される試写画像及び主画像を含む画像をデジタル処理で捕捉するために、レンズ４と提携したＣＭＯＳセンサーのような光検出器６を含む。当該カメラは、さらに、プロセッサー８と、プログラム・コードが格納される１つ以上のデジタル媒体１０とを含む。これらの媒体１０及び／又は他の媒体は、同様に、画像データを格納するのに使用されることができる。当該カメラは、プリンター、ＰＣ、表示装置、他のカメラ、電話機、などのような別の装置にケーブルで或いは無線で接続するために、及び／又は、フラッシュカード又は他の搭載可能な装置に差し込むために、１又は複数のポートのような他の機能を有することができる。
【００２２】
図５で概略的に示されたカメラ１Ａで、全ての種類の欠陥目を高精度に検知し補正する方法は、デジタル・フラッシュ・カメラ上で提供される。特定の実施の形態は、２つの試写または他の参照画像間の色の差位に専念することにより、赤目フラッシュ欠陥をより大きな考慮に入れ、一方、他の実施の形態は、金色の目、白い目、及び／又はゾンビ目のような他の欠陥をより大きな考慮に入れる。かかる方法は、フラッシュ光の目からカメラのＣＣＤ及び／又はＣＭＯＳまでの反射の効果に基づく。そのようなものは、幾つかのパラメーターの関数である。すなわち、欠陥目分布は、フラッシュ−レンズの位置決め、被写体への距離、凝視角、周囲照明状態、虹彩の色、人種、他の要因間の関数である。特定の実施の形態の方法は、レンズと、カメラの主光源（閃光ランプ、焦点調節ＬＥＤ、あるいは他の光源光）の間の距離で、欠陥目分布の変動を利用する。
【００２３】
欠陥のキャラクターが振る舞うように、欠陥の分布は、閃光ランプとレンズの間の距離とともに変化する。赤目欠陥以外の取得する頻度は、フラッシュとレンズの間の距離の増加とともに減少する。さらに、欠陥目の強度は、フラッシュとレンズの間の距離の増加とともに減少する。例えば、第１のフラッシュとレンズの間の距離は２ｃｍとし、一方、第２のフラッシュとレンズの間の距離は５ｃｍとすることができる。２つの光源２ａ，２ｂの最適な位置調整は、２つの試写又は他の参照画像上の欠陥目の分布間の極大差、及び試写画像らの残余間の最小の差分を提供するだろう。
【００２４】
２つのフラッシュ光源は、レンズ４に関連した２つの異なる位置で同じカメラ１Ａ上の、同一の光源２ａ，２ｂ、例えば、閃光ランプ、或いは２つの焦点ランプ、或いはＬＥＤとすることができる。かかる光源は、相異することができ、カメラ１Ａは、当該相異点を考慮に入れたソフトウェアを備えるであろう。しかしながら、２つの同一の光源は、レンズ４に関連した位置に関する場合以外は、２つのほとんど同一の試写または他の参照画像を提供する。このように、２つの試写の差の分布図（ｄｉｆｆｅｒｅｎｃｅ  ｍａｐ）を取得することは、可能であり、最適である。
【００２５】
カメラ１Ａは、最終フラッシュ写真、或いは２つのポストビュー画像、あるいは各々のうちの１つの直前に、連続した２つの試写写真を撮ることができる。最初の試写あるいは他の参照画像は、カメラ１Ａの第１の光源２ａで取得され、また、第２の試写あるいは他の参照画像は、第２の光源２ｂで取得される。
【００２６】
２つの試写あるいは他の参照画像の差の分布図が生成される。当該差分は、様々な方法で、例えば、より接近している光源光試写から開始し、赤目欠陥を検知するための赤チャンネル上のみで、あるいは白目欠陥または金目欠陥のための輝度チャンネル上のみで、判定されることができる。
【００２７】
第１の光源光２ａは、好ましくは、カメラ１Ａのレンズ４に非常に接近して位置する。例えば、光源光２ａは、図１ａで示されるように、レンズの右側か左側に１ｃｍ乃至２ｃｍとすることができる。第２の光源２ｂは、図２ｂで示されるように、レンズ４の右側か左側に４ｃｍ乃至５ｃｍのような、より長い距離とすることができる。第１の試写画像はフラッシュ２ａを使用して捕捉されることができ、一方、フラッシュ２ｂを使用して、第２の試写画像が捕捉されることができる。その後、主画像が捕捉されることができる。示されるように、ポストビュー画像は、代替的に捕捉され得る。試写あるいはポストビューの画像の差の分布図が計算される。差の分布図は、僅かな相違、影などを除去するためにフィルターされ、また、残る有意差は、フラッシュ目欠陥補正アルゴリズムに従う高い確実性の又は少なくとも可能性のある欠陥目として、解析されるだろう。光源２ａ，２ｂは、２つの集束ランプ（例えばＬＥＤ）という最も単純な形態とされ得るし、あるいは２つの閃光ランプという複雑な形態とされ得る。
【００２８】
追加的な実施の形態に従って、図６は、光源１２及び、フラッシュ１２から異なる距離での２つの別個の光学系／レンズ１４ａ及び１４ｂを備えたカメラを概略的に示す。フラッシュ装置１２からの低強度プレフラッシュを使用して、２つの試写画像が取得されることができる。図６で概略的に例証されたカメラは、さらに、格納され、送信され、表示され、投影され、通信され及び／又はさらに処理されるための試写画像及び主画像を含む画像を含む、デジタル処理で捕捉される画像のためのレンズ１４ａ，１４ｂと提携された少なくとも１つの光検出器６を含み、例えば、各レンズ１４ａ、１４ｂまたは単一のセンサーに対して２つの別個の光検出器を含む。カメラは、さらに、プロセッサー１８と、プログラム・コードが格納される１つ以上のデジタル媒体２０を含む。これらの媒体２０及び／又は他の媒体は、同様に、画像データを格納するのに使用されることができる。当該カメラは、プリンター、ＰＣ、表示装置、別のカメラ、電話機、などのような別の装置にケーブルで或いは無線で接続するために、及び／又は、フラッシュカード又は他の搭載可能な装置に差し込むために、１又は複数のポートのような他の機能を有することができる。
【００２９】
図６の実施の形態では、カメラ１Ｂは、単一のフラッシュ装置１２及び２つの結像レンズ１４ａ，１４ｂを有している。十分な２重の画像パイプラインが、同様に提供されることができる。この実施の形態では、第１の試写画像は、プレフラッシュ照明を用いて結像レンズ１４ａのうちの１つを使用して取得される。同時に又はほぼ同時に、第２の試写画像は、同じ弱いプレフラッシュからの照明を用いて第２の結像レンズ１４ｂを使用して取得される。その結果は、フラッシュ光源から各々異なる距離である１ペアの同時の試写画像である。どんな整列エラーも、もっぱら被写体又はカメラの動きによるのではなく幾何学的因子によるであろうし、また、補償アルゴリズムは、予め調整されることができる。
【００３０】
参照画像は、図５のカメラの異なるフラッシュ２ａ，２ｂの使用で、或いは図６のカメラの２つのセンサー１４ａ，１４ｂで捕捉され、その後、比較され、（輝度正規化を用いて、あるいはかかる正規化を用いずに）減算され、及び／又は、そうでなければ解析されることができる。目領域だけが非常に異なる特性を持つときに、目領域の位置はこのような方法で判定され得る。その後、３番目のフラッシュ画像は、十分な強さのフラッシュを使用して取得され得る。これは、フラッシュ装置２ａ，２ｂ，１２のうちの１つにより大きな電力を印加することにより、または図５のカメラの２つのフラッシュ装置２ａ，２ｂを共に組み合わせることによって、あるいはそうでなければ例えば３番目のフラッシュを含めることによって、達成され得る。
【００３１】
図７は、図５のカメラ１Ａに関する方法を示す。第１及び第２の参照画像は、図５のカメラ１Ａの第１及び第２の光源及び光学系４を使用して、６２段階でそれぞれ取得される。第１及び第２の画像は、６４段階で正規化されて、正規化された第１及び第２の参照画像を生成する。第１及び第２の正規化された参照画像間の１又は２以上の差分が、６６段階で解析される。かかる解析に基づいて、６８段階で、主画像中のフラッシュ目欠陥が判定され補正され、補正された主画像を生成する。当該補正された主画像及び／又は更に処理された版は、６９段階で、格納され、送信され、通信され、表示され、及び／又は投影される。
【００３２】
図８は、図６のカメラ１Ｂに関する方法を示す。第１及び第２の参照画像は、図６のカメラ１Ｂの光源１２及び第１及び第２のレンズ１４ａ，１４ｂを使用して、７２段階で取得される。第１及び第２の画像は、７４段階で正規化されて、正規化された第１及び第２の参照画像を生成する。正規化された第１及び第２の参照画像間の１又は２以上の差分が、７６段階で解析される。かかる解析に基づいて、７８段階で、主画像中のフラッシュ目欠陥が判定され補正され、補正された主画像を生成する。当該補正された主画像及び／又は更に処理された版は、７９段階で、格納され、送信され、通信され、表示され、及び／又は投影される。
【００３３】
加えて、好ましい実施の形態によってここに行なわれ得るし、上述された方法では、処理は、選択された活版印刷の順序で記述された。しかしながら、かかる順序は、選択され、そのように活版印刷の便宜のために順序付けられたものであり、また、特別の順序付けが明示的に述べられ得る場合に、あるいは特別の順序付けが必要であると当業者が見なし得るものを除いて、処理を遂行するためのどのような特別な順序付けも意味するようには意図されない。
【図５】
0005530440.tif 000002
【図６】
0005530440.tif 000003
【図７】
0005530440.tif 000004
【図８】
0005530440.tif 000005
【図１Ａ】
0005530440.tif 000006
【図１Ｂ】
0005530440.tif 000007
【図２Ａ】
0005530440.tif 000008
【図２Ｂ】
0005530440.tif 000009
【図３Ａ】
0005530440.tif 000010
【図３Ｂ】
0005530440.tif 000011
【図４Ａ】
0005530440.tif 000012
【図４Ｂ】
0005530440.tif 000013