(57)【要約】  観察者によってポインタ（７）が移動可能であるデジタル画像の観察者へフィードバックを提供する方法であり、ポインタから予め決められた距離より近く、予め決められた値の範囲内に収まる一つ以上のパラメータを有する赤目ピクセル（１０）を特定すること、および、上記赤目ピクセル（１０）のそれぞれがより大きい修正可能な赤目領域（６）の一部を形成するかどうかを決定することを含む。そのとき、さらなる観察者からの相互作用を必要とせずに、修正可能な赤目領域が存在することが観察者に示される。
2005516291.tif 000002
【特許請求の範囲】
【請求項１】
観察者によってポインタが移動可能なデジタル画像の観察者へ、フィードバックを提供する方法であり、
上記ポインタから予め決められた距離より近く、予め決められた値の範囲内に収まる一つ以上のパラメータを有する赤目ピクセルを特定すること、
上記赤目ピクセルがそれぞれ、より大きい修正可能な赤目の一部を形成するかを決定すること、および、
上記観察者からのさらなる相互作用を必要とせずに、赤目領域が存在することを観察者に示すこと、を含む方法。
【請求項２】
上記ポインタが移動する時毎に、赤目ピクセルを特定するステップがなされる、請求項１に記載の方法。
【請求項３】
さらに、上記修正可能な赤目領域の範囲を特定することを含む、請求項１または２に記載の方法。
【請求項４】
上記修正可能な赤目領域が存在することが、聞き取れる信号によって、観察者に示される、請求項１〜３の何れか１項に記載の方法。
【請求項５】
上記修正可能な赤目領域が存在することが、赤目領域に重なる印によって、観察者に示される、請求項１〜４の何れか１項に記載の方法。
【請求項６】
上記印が赤目領域より大きい、請求項５に記載の方法。
【請求項７】
修正可能な赤目領域の存在を観察者に示すことが、赤目領域へ修正がなされること、および修正可能な赤目領域を表示することを含む、請求項１〜６の何れか１項に記載の方法。
【請求項８】
修正可能な赤目領域の存在を観察者に示すことが、ポインタの形状を変化させることを含む、請求項１〜７の何れか１項に記載の方法。
【請求項９】
上記の特定される赤目ピクセルそれぞれが、修正可能な赤目領域の一部を形成するかを決定するステップが、閉領域を探すために各赤目ピクセルの周りのピクセルを調査することを含み、
上記閉領域では、全てのピクセルが、予め決められた値の範囲内に収まる一つ以上のパラメータを有する、請求項１〜８の何れか１項に記載の方法。
【請求項１０】
一つ以上のピクセルが同じ修正可能な赤目領域に属していると発見されれば、一つだけの赤目領域が存在しているように、観察者に示される、請求項９に記載の方法。
【請求項１１】
上記一つ以上のパラメータが色調を含む、請求項１〜１０の何れか１項に記載の方法。
【請求項１２】
上記一つ以上のパラメータが彩度を含む、請求項１〜１１の何れか１項に記載の方法。
【請求項１３】
上記一つ以上のパラメータが明るさを含む、請求項１〜１２の何れか１項に記載の方法。
【請求項１４】
上記予め決められた値の範囲が、赤目領域で発見される赤の形式に相当する、請求項１１〜１３の何れか１項に記載の方法。
【請求項１５】
さらに、上記修正可能な赤目領域を、観察者による選択に応じて修正することを含む、請求項１〜１４の何れか１項に記載の方法。
【請求項１６】
観察者による選択が、マウスのクリックを含む、請求項１５に記載の方法。
【請求項１７】
請求項１〜１６の何れか１項に記載の方法を実行するように構成された、装置。
【請求項１８】
処理装置上で実行されるときに、請求項１〜１６の何れか１項に記載の方法を実行するように配置されるプログラム、を記憶したコンピュータ記憶媒体。
【請求項１９】
添付図面を参照してここで述べるような、方法。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
本発明は、赤目領域を取り除くための画像処理、特に、デジタル画像から赤目領域を相互作用的に除去することを補助するための、フィードバックの適用に関する。
【０００２】
写真における赤目現象が知られている。人（または動物）を照らすためにフラッシュが用いられるとき、光はしばしば、被写体の網膜の奥からカメラへ直に反射する。これにより、写真を表示するまたは印刷するとき、被写体の目が赤くなる。
【０００３】
写真をますます、一般的にはピクセルの配列のように、デジタル画像として記憶するようになってきている。デジタル画像では、各ピクセルが２４ビット値で表される。そのようなピクセルのために、各ピクセルの色を、赤、緑、および青の強度を表す、３つの８ビット値として、２４ビット値内に符号化してもよい。代わりに、２４ビット値が、”色調”、”彩度”、および”明るさ”を表す３つの８ビット値から成るように、ピクセルの配列を変換してもよい。色調は、０が赤を表し、数値が大きくなるに連れて緑と青とを通過し、２５５で赤に戻るように色を定義する”循環型の”尺度を提供する。彩度は、色調によって決まる色の強さの比率を提供する。明るさは、照明の量の割合として示されてもよい。
【０００４】
これらのデジタル画像を上手く取り扱うことにより、赤目領域を減らせる。この課題を果たすソフトウェアが知られている。このソフトウェアは、一般的に、赤目領域のピクセルを変更することにより、赤い量が減るように作用する。通常、赤目領域のピクセルは、代わりに黒または灰色として配置される。このことを、赤い領域の明るさ、および／または彩度を減らすことにより達成できる。
【０００５】
赤目領域を最も減らすソフトウェアでは、各赤目領域の中心および半径範囲を上手く取り扱うことが必要である。この情報を提供する最も単純な方法は、ユーザが各赤目領域の中心のピクセルを選択し、赤目領域の半径範囲を示すことである。しかしながら、これはユーザからの重要な指示を必要とする。各赤目領域の正確な中心を特定し、かつ、正確な半径を選択することは困難である。
【０００６】
赤目領域を特定して修正するための代わりの方法において、ユーザがマウスをクリックして修正されるべき赤目領域を示すことにより、それを特定する。クリックすることにより、修正する領域の存在および範囲を検出するプロセスを始動させる。それから、修正可能な領域が見つかれば、修正の実行へ移る。ソフトウェアは、ユーザが赤目領域の部分を確かに選択したか否かを見出すために、ユーザにより選択された周囲のピクセルを、調査する。これは、選択されたピクセルの周囲領域のピクセルが、赤目領域に一致する色調（つまり、赤）であるか否かを見て調査することにより、行われてもよい。この場合、赤い領域の範囲が特定され、標準方法で修正される。目を示すこと、およびクリックすること以外の動作は必要ない。
【０００７】
これにより、赤目領域を特定し修正することに対して、ユーザの負荷を減らすが、試行および失敗要素はまだ存在する。一旦ユーザが赤目領域の部分を、またはその近くをクリックし、ソフトウェアが赤目領域を発見すれば、赤目領域は修正される。ユーザが赤目領域を含まない領域をクリックしたために、または、ソフトウェアが存在している赤目領域を検出できなかったために、赤目領域が見つからなければ、ユーザは、例えば、ダイアログ・ボックスのメッセージのような幾つかの方法で知らされる。ユーザは、わずかに異なる場所をクリックすることにより、赤目領域と同じ領域を特定しようとする可能性がある。現在のところ、クリックして修正する環境下では、赤目全てを特定するのを保証できる赤目の検出の方法は、無い。これは、幾つかの試行および失敗要素がプロセスに存在することをユーザが受け入れなければならないということを、意味する。
【０００８】
本発明の第一の特徴によれば、デジタル画像の観察者へ、フィードバックを提供する方法を実現する。このとき、ポインタは観察者によって移動可能である。この方法は、予め決められた値の範囲内に収まる１つ以上のパラメータを用いて、ポインタからの予め決められた距離より近い赤目ピクセルを特定すること、および、修正可能な赤目領域が存在していることを観察者に示すことを含む。この方法は、修正可能な赤目領域の存在を特定することもまた含んでいることが好ましい。それゆえに、観察者のポインタ付近に修正可能な赤目領域が存在していることを観察者に示せば、観察者は、現行の位置でポインタをクリックすると赤目領域の修正につながることがわかる。
【０００９】
ポインタが動かされる時間毎に、赤目ピクセルを特定するステップがタイミングよく行われてもよい。これは、起こりうる赤目領域を絶えず調査する必要が無く、ポインタが新しい位置へ移動する時間毎にのみ調査する必要があることを意味する。
【００１０】
聞き取れる信号を用いた方法により、修正可能な赤目領域の存在を観察者へ示してもよい。代わりに、あるいは付加的に、印を赤目領域の上に重ねる。印は、ポインタでわかりにくくない、または見るのに小さ過ぎないことを保証するために、赤目領域より広くてもよい。修正される領域のプレビューを観察者に供給しても良い。代わりに、または付加的に、ポインタの形状を変化させてもよい。
【００１１】
修正可能な赤目領域の部分を各赤目ピクセルが形成するか否かを決定するステップは、特定される各赤目ピクセルの周りのピクセルを調査することを含む。予め決められた値の範囲内に収まる１つ以上のパラメータを全てのピクセルが有する閉領域、を探すように調査する。この調査を、単一またはほぼ単一の領域を特定するための周知の方法を用いて、行ってもよい。１つ以上の赤目ピクセルが同じ修正可能な赤目領域に属して見つかれば、一つだけの赤目領域が存在するとして観察者へ示される。
【００１２】
調査されるパラメータは、色調、彩度、および明るさの内の全て、または幾つかであればよい。予め決められる値の範囲は、赤目領域内で見つかる赤の型式に対応していることが好ましい。上述したように、本発明の好ましい実施の形態は、ポインタ近くの赤いピクセルを調査すること、および、この赤いピクセルがより広い赤い領域の部分を形成するか否かを決定することを含む。それにより、観察者がそのポイントでクリックすれば赤目領域を修正できるであろうということが、観察者に示される。好ましくは、修正可能な赤目領域は、例えば、マウスのクリックによる観察者の選択に応じて修正される。
【００１３】
本発明の他の特徴によると、上述したような方法を実行するように配置された装置、および、プログラムを記憶しているコンピュータ記憶媒体を提供する。このプログラムは、処理装置上で実行されるときに上述した方法を行うように配置される。
【００１４】
これにより、本発明の好ましい実施の形態では、ユーザが、修正可能な赤目領域の近く、または内部の領域をポインタが示すようにマウスを動かすときに、フィードバックを提供する。フィードバックは、ユーザに明白な表示を与える。この表示により、クリックすると目が修正されるという結果が生じる。このため、修正を行うためにクリックする場所を見つけることにおいて、ユーザが推量する、または幾つかの試みを行う必要が無いので時間が節約される。ユーザは常に、クリックすると修正されるという結果が生じるか否かを確信できる。この方法のさらなる利点は、ユーザがピクセルを正確に指定するために写真を拡大する必要が無いことである。フィードバックは、ポインタが充分接近している時に、ユーザに知らせる。拡大する必要性、および、続いて拡大された映像を左右に回転する必要性を排除することは、さらに効率を向上させる。
【００１５】
本発明の一部の実施の形態について、以下の図を参照して、例を用いて述べる。
【００１６】
図１は、赤目領域を示す、概略図である。
【００１７】
図２は、領域内に位置するマウスポインタを備えた赤目領域を示す、概略図である。
【００１８】
図３は、赤目領域の範囲が特定される方法を示す、概略図である。
【００１９】
図４は、領域の外側に位置するマウスポインタを備えた赤目領域を示す、概略図である。
【００２０】
図５は、（ａ）が、マウスの移動に従ってユーザへ赤目領域の存在を示すことに関するステップを示す、フローチャートであり、（ｂ）が、マウスのクリックに従って赤目領域を修正することに関するステップを示す、フローチャートである。
【００２１】
図１は、通常の赤目領域１を示す、概略図である。しばしば赤目領域１の中心に、被写体の瞳に相当する領域３に囲まれる、白または白に近い”ハイライト部分”２がある。赤目が存在しない場合、この領域３は通常黒となる。しかし、赤目領域において、この領域３がやや赤い色調を帯びる。これは、鈍い輝きから明るい赤までの範囲に及ぶ可能性がある。瞳領域３を囲むものは、虹彩４である。虹彩４の全てまたは一部は、瞳領域３から、鈍い赤色を幾らか帯びるように現れることがある。続く議論のために、”赤目領域”という用語は、通常は、図１に示される部分１である赤い部分を参照して用いられるだろう。これは、一般的に、瞳領域３から成る円の（または、ほぼ円の）領域、および、ことによっては虹彩領域４の一部であるだろう。
【００２２】
観察者が画像を見るとき、通常はマウスを用いた方法で、観察者が利用できるポインタを備えている。ポインタは画像上で動かされる。画像は観察者に表示される前に変換される。そのため、各ピクセルが色調、彩度、および明るさの値で表される。マウスが動く時毎に新しいポインタの位置が記され、起こりうる赤目領域が近くに位置しているか否かを決定するための調査が行われる。
【００２３】
図２は、ポインタ７が赤目領域６の中心に位置するときの彩度を示す。ポインタ７がグリッド８の中心のピクセル９を示すように、ピクセル（この場合、５ピクセル×５ピクセル）から成る１つのグリッド８が選択される。これらのピクセルは、修正可能な赤目領域の部分を形成するかどうかを決定するために、それぞれ順番に調査される。上記の手段を、以下のように、アルゴリズムで表すことができる。
【００２４】
MouseMove(MouseX,MouseY)
ExtraPixels=2
Create empty list of points to check
For Y=MouseY-ExtraPixels to MouseY+ExtraPixels
for X=Mouse X-ExtraPixels to MouseX+ExtraPixels
add X,Y to list of points to check
next
next
DetectArea(list of points to check)
End MouseMove
この調査は、直接的にピクセルの値を調査することである。もし値が以下のようであれば、
・220≦Hue≦255,or0≦Hue≦10,and
・Saturation≧80,and
・Lightness＜200,
そのとき、ピクセルは”修正可能”であり、修正可能領域の部分を形成する可能性がある。たとえ、ピクセルがハイライト領域２の部分（図１に示した）であっても、やはりこれらの性質を有している可能性がある。その場合、やはり赤目領域が検出される。いずれにせよ、ハイライト領域は一般的に非常に小さい。そのため、たとえハイライト領域内のピクセルが必要とされる性質を有していなくても、５×５ピクセル・グリッドにある他のピクセルの内１つは、やはり、ハイライト領域外の赤目領域６内にあるであろう。それゆえに、ハイライト領域は”修正可能な”性質を有するべきである。その結果、赤目領域はやはり検出されるだろう。
【００２５】
ピクセルの一部が上記に示したような状態を満足すれば、そのとき、このピクセルが、赤目で形成されるかもしれない領域部分を形成するかどうかを決定するための調査が行われる。これは、ピクセルが、大部分のピクセルが上述した特徴を満足する値を有している、分割された、おおよそ円の領域の一部であるかどうかを見る調査により行われる。領域の範囲および存在を特定するための周知の方法は多くある。そのため、ここでは詳細には述べない。調査では、ピクセルが修正可能ではないかもしれないハイライト領域が存在している可能性があるという事実を、考慮すべきである。分割された領域内のソフトウェアは、赤目領域に対応する。
【００２６】
図３に示した、領域の存在を特定する一つの方法は、ピクセル１１の列に沿って”修正可能”である開始ピクセル１０から外側へ移動し、領域６の縁で選択の特徴を満たさない（すなわち、修正可能なように区別されない）ピクセルに会うまで移動し続けることを含む。修正可能なピクセルの縁に沿って周辺全体を判断するまで、赤目領域６の縁の周り１２、１３を移動することができる。領域が囲い込まれていなければ、または、領域が予め決められた限界より小さければ、または大きければ、または、充分に円形でなければ、修正可能な赤目領域として定められない。
【００２７】
赤目領域の部分を形成するかもしれない、本質的に、充分”修正可能”であると決定される他のピクセル毎に、類似した調査を実行開始する。原グリッド内の２５ピクセル全てが赤目領域内にあるか、また赤目領域が２５回特定されるような検出が行われるかが、認識されるだろう。たとえこのような場合でなくても、同じ領域が一度以上検出される可能性がある。そんな場合、”重複する”領域は、一つだけが残るまで割り引かれる。
【００２８】
図４は、マウスポインタが赤目領域６の外に位置する状況を示している。５×５ピクセルからなる１つのグリッド８を修正可能なピクセルに対して調査する。そのため、ピクセル１０の内少なくとも１つのピクセルが、赤目領域内になり、上述した状態を満足する色調、彩度、および明るさの値を有する可能性がある。領域の範囲を、前と同じ方法で特定できる。
【００２９】
上述したように赤目領域６がポインタ７に接近していると決定されれば、ユーザはこの事実を知らされる。この情報がユーザに渡される方法は、以下に示すフィードバックの手段の全てまたは一部を含んでいてもよい。
・聞き取れる信号
・円、または／および十字線が赤目領域の上に重ねられる。おそらく、このような表示は、はっきり見るのに小さすぎる、および／または、部分的におよび／または全体的にマウスポインタで邪魔される可能性があり、修正可能な領域自体より大きくなければならないだろう。また表示に対して、顕著さを増大させるための動作を利用してもよい。例えば、十字線の拡大と縮小とが繰り返してなされてもよい、または、おそらく十字線が回転してもよい。
・マウスポインタの形状を変化させる。ポインタがユーザの注意の的であるため、形状の変化に簡単に気づくだろう。
【００３０】
上述した事象の手順を、図５（ａ）のフローチャートに示す。この事象の手順は、操作システムによって戻る”マウス移動”の事象によって開始する。
【００３１】
ユーザがこの位置でポインタを用いてマウスをクリックすれば、赤目領域へ修正を適用する修正アルゴリズムが呼び出される。そのため、赤目領域はより明白となる。赤目の修正を実行するための多くの周知の方法があり、今は適当なプロセスについて述べる。述べたプロセスは、赤目を修正するための非常に基本的な方法である。当業者は、特に修正領域の縁を和らげることに関して、よりよい結果を達成するための改良の範囲があることを認識できるだろう。
【００３２】
赤目修正のための適当なアルゴリズムは以下に従う。
【００３３】
For each pixel within the circle enclosing the red-eye region
If the saturation of this pixel >=80 and...
...the hue of this pixel >=220 or <=10 then
set the saturation of this pixel to 0
if the lightness of this pixel <200 then
set the lightness of this pixel to 0
end if
end if
end for
各ピクセルに対して、各直接的な動作が連続的になされる、２つの非常に直接的な調査がある。
１．ピクセルが中間のまたは高い彩度であれば、またピクセルが赤の範囲内であれば、ピクセルの彩度は全体的に小さくされる。すなわち、赤いピクセルが灰色になる、”０”の彩度に設定される。
２．その上に、ピクセルが暗いまたは中間の明るさであれば、それを黒に変化させる。多くの場合、これは、実際に第一の調査の結果としてなされる調節を取り消す。これにより、赤目領域の大部分のピクセルが黒に変化するだろう。それらのピクセルの内で黒に変化しないものは、ハイライト内の、および周りのピクセルである。黒に変化させることは、赤目領域から赤さを取り除いてしまうだろう。その結果、暗く黒い瞳を有する目および明るく白いハイライトが生じる。
【００３４】
修正方法の特徴は、効果が累積しないということである。修正がある領域に適用された後、同じ領域への連続した修正は効果が無いだろう。これはまた、赤目領域が修正された後、マウスがその領域に接近して移動しても赤目領域が検出されないだろうということを、意味する。
【００３５】
赤目領域を修正することに含まれる事象の手順を、図５（ｂ）のフローチャートに示した。この事象の手順は、操作システムによって戻る”マウスクリック”の事象によって開始される。
【００３６】
完全な修正が起きる前に、例えばポインタの近くに修正可能な領域があることをユーザに知らせるプロセスの一部として、修正される赤目領域のプレビューがまたユーザに表示される。それゆえに、赤目領域が存在するか否かを検出するために、”赤の”ピクセルを探すことに加えて、または代わりにマウスポインタ周辺のこのハイライトを探すことにおいて便利である。
【００３７】
述べる実施の形態において、赤目領域を探すことは、”マウス移動”の事象によって開始される。他の事象が、例えばマウスポインタが予め決められた時間より長く一つの位置にとどまっているといったような探求を開始させる。
【００３８】
上述した実施の形態において、全てのピクセルが、色調、彩度、および明るさの値で表されるように、画像が変換される。このことは、常には必要でないということが認識されるだろう。例えば、画像のピクセルを、赤、緑、および青の値で表すことができる。ポインタの周りのピクセルは、赤目領域の一部であるかを見られて調査され、調査のときに色調、彩度、および明るさの値に変換されてもよい。代わりに、赤、緑、および青の予め決められた範囲を用いて調査がなされてもよい。ただし、ピクセルが色調、彩度、および明るさで表されれば、一般に必要とされる範囲がより単純になる。
【図面の簡単な説明】
【００３９】
【図１】赤目領域を示す、概略図である。
【図２】領域内に位置するマウスポインタを備えた赤目領域を示す、概略図である。
【図３】赤目領域の範囲が特定される方法を示す、概略図である。
【図４】領域の外側に位置するマウスポインタを備えた赤目領域を示す、概略図である。
【図５】（ａ）が、マウスの移動に従ってユーザへ赤目領域の存在を示すことに関するステップを示す、フローチャートであり、（ｂ）が、マウスのクリックに従って赤目領域を修正することに関するステップを示す、フローチャートである。
【図１】
2005516291.tif 000003
【図２】
2005516291.tif 000004
【図３】
2005516291.tif 000005
【図４】
2005516291.tif 000006
【図５】
2005516291.tif 000007
【国際調査報告】
2005516291.tif 000008
2005516291.tif 000009
2005516291.tif 000010