(57)【要約】【課題】赤目補正の条件をユーザーが容易に設定できる画像処理装置および赤目処理方法を提供する。【解決手段】画像を表示する画像表示部（１）と、この画像表示部（１）に表示される画像上の位置を指定する位置指定手段（２）と、この位置指定手段により指定された位置を含む領域に含まれる赤目を検出して補正する赤目補正手段（５）とを有し、赤目補正手段（５）は、赤目の補正に使用するパラメーターを変化させて得られる複数の補正結果を画像表示部（１）に一覧表示させ、位置指定手段（２）により指定される補正結果を選択する。【選択図】図１
2011180953.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する画像表示部と、
この画像表示部に表示される画像上の位置を指定する位置指定手段と、
この位置指定手段により指定された位置を含む領域に含まれる赤目を検出して補正する赤目補正手段と
を有し、
上記赤目補正手段は、赤目の補正に使用するパラメーターを変化させて得られる複数の補正結果を上記画像表示部に一覧表示させ、上記位置指定手段により指定される補正結果を選択する
ことを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、前記赤目補正手段は、赤目の検出および補正の確からしさを指標とし、この確からしさが所定値に満たないときに、複数の補正結果を前記画像表示装置に一覧表示させることを特徴とする画像処理装置。
【請求項３】
請求項２記載の画像処理装置において、前記赤目補正手段は、赤目を構成する色の分布と他の部分の色の分布との分離の度合いを指標とし、この分離の度合いが所定値に満たないときに、複数の補正結果を前記画像表示装置に一覧表示させることを特徴とする画像処理装置。
【請求項４】
請求項１記載の画像処理装置において、前記赤目補正手段は、一覧表示に対して前記位置指定手段より選択された補正結果の傾向を学習して、その傾向に沿った補正結果を一覧表示させることを特徴とする画像処理装置。
【請求項５】
画像表示部が表示する画像上で位置指定手段が指定した位置を含む領域に含まれる赤目を赤目補正手段が検出して補正する赤目補正方法において、
上記赤目補正手段が、赤目の補正に使用するパラメーターを変化させて得られる複数の補正結果を上記画像表示部に一覧表示させ、上記位置指定手段により指定される補正結果を選択する
ことを特徴とする赤目補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および赤目処理方法に関する。
【背景技術】
【０００２】
写真撮影の際にフラッシュを使用すると、人物などの目が赤く写ることがある。このように赤く写った目を「赤目」、赤目が生じる現象を赤目現象という。赤目現象は、光が瞳孔から眼球内に入射して網膜に届き、光で照らされた網膜が写真に写るために生じる。したがって、厳密には、「目」が赤く写るのではなく、瞳孔の少なくとも一部が赤く写る現象である。また、条件によっては、瞳孔から眼球内に入射した光が眼球内で反射し、金色などに写ることもある。このように赤以外の色であっても、ここでは、本来の目（瞳孔）の色とは異なって写った状態を、「赤目」と総称することにする。
【０００３】
赤目現象は、特に、暗いため瞳孔が開いている状況で、瞳孔が収縮するより短い時間でフラッシュを発光させるために生じる。そこで、撮影の直前にフラッシュを少し点灯させ、瞳孔が収縮したタイミングでフラッシュを再度点灯させて撮影するなどの方法により、赤目現象の発生を抑えることができる。また、視線をカメラから逸らすことでも、赤目現象の発生を抑えることができる。さらに、撮影された赤目を、コンピューターやプリンター、あるいはデジタルカメラの画像処理機能を用いて、画像処理により補正することも考えられている（特許文献１参照）。
【０００４】
画像処理により赤目を補正する方法としては、赤目となっている領域（以下、「赤目領域」という）を自動的あるいはユーザー操作により特定して、その領域を黒く、あるいは暗い色にすることが一般的である。なお、赤目が生じるのは瞳孔の部分であり、一般に「目の色」と呼ばれる虹彩の色は、赤目領域の色を補正するうえでは、それほど考慮されていない。
【０００５】
赤目となっている領域をユーザーが特定する方法のひとつとして、ユーザーが画面上でマウスポインターなどのカーソルを移動させて特定の位置を指定し、画像処理プログラムが、その指定地された位置を含む領域から赤目と思われる領域を検出して補正する方法が考えられている。この方法によれば、ユーザーが領域を指定するので、画像処理プログラムで画面前回から赤目領域を検出する場合に比べ、処理負荷が軽くなる。また、ユーザーがひとつの点を指定するだけで、画像処理プログラムがその点の周囲の赤目領域を自動的に検出し、ユーザーにとっては操作が簡単である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−０２３３９２９号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、ユーザーの指定する位置が実際の赤目の場所からずれていたり、場所は正しくてもその赤目がそれほど顕著ではない場合などには、画像処理プログラムが赤目領域の場所を正確に検出できないことがある。また、画像処理プログラムが赤目領域を正確に検出できたとしても、その赤目をどの程度の範囲まで補正するか、どのような色（どの程度の暗さ）に補正するか、などの条件をさらに設定するためには、ユーザーがそれぞれの条件の指定を要求する必要がる。さらに、赤目現象が生じるような撮影条件では、虹彩の色も不自然になる可能性がある。これについても、ユーザーが設定する必要がある。
【０００８】
本発明は、赤目補正の条件をユーザーが容易に設定することのできる画像処理装置および赤目処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、画像を表示する画像表示部と、この画像表示部に表示される画像上の位置を指定する位置指定手段と、この位置指定手段により指定された位置を含む領域に含まれる赤目を検出して補正する赤目補正手段とを有し、赤目補正手段は、赤目の補正に使用するパラメーターを変化させて得られる複数の補正結果を画像表示部に一覧表示させ、位置指定手段により指定される補正結果を選択することを特徴とする。複数の補正結果を画像表示部に表示させることで、ユーザーは、位置指定手段を用いて、自分の望む補正結果が得られるように赤目補正の条件を容易に設定することができる。
【００１０】
赤目補正手段は、赤目の検出および補正の確からしさを指標とし、この確からしさが所定値に満たないときに、複数の補正結果を画像表示装置に一覧表示させることができる。赤目の検出および補正が正しいかどうか不確かなときだけ、一覧表示を行う。確からしいときには、ユーザーの手を煩わせる必要がない。
【００１１】
赤目補正手段は、赤目を構成する色の分布と他の部分の色の分布との分離の度合いを指標とし、この分離の度合いが所定値に満たないときに、複数の補正結果を画像表示装置に一覧表示させることができる。赤目を構成する色の分布と他の部分の色の分布との分離の度合いが高い場合には、赤目を正確に検出でき、赤目補正も確実に行うことができる。この場合には、一覧表示を行う必要はなく、ユーザーの手を煩わせる必要はない。
【００１２】
赤目補正手段は、一覧表示に対して位置指定手段より選択された補正結果の傾向を学習して、その傾向に沿った補正結果を一覧表示させることもできる。これにより、ユーザーの好みに応じた補正結果を自動的に選択することができる。
【００１３】
本発明の赤目補正方法は、画像表示部が表示する画像上で位置指定手段が指定した位置を含む領域に含まれる赤目を赤目補正手段が検出して補正する赤目補正方法において、赤目補正手段が、赤目の補正に使用するパラメーターを変化させて得られる複数の補正結果を画像表示部に一覧表示させ、位置指定手段により指定される補正結果を選択することを特徴とする。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る画像処理装置を示すブロック構成図である。
【図２】図１に示す画像処理装置中のパーソナルコンピューター上で実行される赤目補正プログラムの処理の流れの一例を示すフローチャートである。
【図３】図１に示す画像処理装置中の画像表示部に表示される赤目、赤目の補正結果の一覧および指定された補正結果の例を示す図である。
【図４】図１に示す画像処理装置中のパーソナルコンピューター上で実行される赤目補正プログラムの処理の流れの別の例を示すフローチャートである。
【図５】赤目を構成する色の分布と他の部分の色との分布の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施の形態について説明する。
【００１６】
［ＰＣによる実施の形態］
図１は、本発明の実施の形態に係る画像処理装置を示すブロック構成図である。ここでは、パーソナルコンピューター（ＰＣ）上で動作するアプリケーションプログムにより赤目補正の処理を行う場合の構成を例に説明する。
【００１７】
図１に示す画像処理装置は、画像表示部１、ポインティングデバイス２、パーソナルコンピューター３および印刷装置４を備える。画像表示部１は、たとえば液晶表示装置であり、パーソナルコンピューターで処理される画像を表示する。ポインティングデバイス２は、たとえばマウス、あるいは画像表示部１と一体に構成されたタッチパネルであり、ユーザーの操作により、画像表示部１に表示される画像上の位置を指定する。パーソナルコピューター３は、内蔵記憶装置、外部の記憶装置あるいはネットワークからから画像を取り込み、画像表示部１に表示させるとともに、赤目補正手段としての赤目補正プログラム５を実行して、ポインティングデバイス２により指定された位置を含む領域に含まれる赤目を検出して補正する。赤目補正プログラム５はまた、赤目の補正に使用するパラメーターを変化させて得られる複数の補正結果を画像表示部１に一覧表示させ、ポインティングデバイス２により指定される補正結果を選択する。
【００１８】
［処理の流れ］
図２は、図１に示す画像処理装置中のパーソナルコンピューター上で実行される赤目補正プログラム５の処理の流れの一例を示すフローチャートである。
【００１９】
この赤目補正プログラム５は、画像が入力されると、その画像を画像表示部１に表示させる（ステップＳ１）。ユーザーがポインティングデバイス２を操作して、赤目の点をクリック、またはその領域を指定すると、赤目補正プログラム５は、その指定された位置を含む領域で赤目を検出する（ステップＳ２）。
【００２０】
赤目を検出する領域の大きさとしては、経験的に人の目が入るであろう大きさで固定してもよく、画像の大きさに対してある比率の大きさとしてもよく、画像から顔を検出して、その大きさに対して所定の比率となるように設定してもよい。ある領域から赤目を検出する方法としては、たとえば、赤目を構成する色の分布と他の領域の色の分布により分離する方法を用いる（ステップＳ２）。
【００２１】
赤目を検出した後、赤目補正プログラム５は、赤目補正のためのパラメーターを変化させて、複数の赤目補正を行う（ステップＳ３）。そして、その結果を画像表示部１に一覧表示させる（ステップＳ４）。
【００２２】
赤目補正のためのパラメーターとしては、補正範囲すなわち赤目として補正する円の大きさ、瞳孔の色、虹彩の色、ポインティングデバイス２で指定した位置からのずれなどを用いる。補正範囲については、瞳孔に少しくらい赤い部分が残っても、完全に補正するよりも自然に見える場合がある。また、赤目の領域がぼやけている場合などには、大きめに補正した方がよい場合もある。これのパラメーターを変化させて、一覧表示する。瞳孔の色については、完全に黒くするか、少し赤みを残すか、どれくらい黒くするか、などをパラメーターとして一覧表示する。虹彩の色については、通常は写真に虹彩の色が残っていると考えられるが、赤の色が残ってグレーになることもある。１枚の写真からは、本来の虹彩の色を推定することが難しい場合がある。指定した位置からのずれについては、ポインティングデバイス２で指定した位置が実際の赤目の部分とはずれていることがあり、そのような場合には、中心点を、たとえば１あるいは数ピクセルずつずらして一覧表示する。ユーザーのクリックした位置で、補正したい部分か瞳孔か虹彩かを判断することもできる。
【００２３】
一覧表示を行った後、赤目補正プログラム５は、ポインティングデバイス２により指定された補正結果を用いて、画像全体を再度、画像表示部１に表示させる（ステップＳ５）。そして、印刷が必要であれば印刷装置４に出力し、保存が必要であれば内部の、あるいは外付けされた記憶装置にその画像を保存する（ステップＳ６）。
【００２４】
［一覧表示の例］
図３は、図１に示す画像処理装置中の画像表示部１に表示される赤目、赤目の補正結果の一覧および指定された補正結果の例を示す図である。
【００２５】
画像表示部１に表示される画像上でポインティングデバイス２のカーソル１０により赤目１１（虹彩１２に囲まれた赤い部分）が指定されると、赤目補正プログラム５は、赤目補正結果を一覧表示する（ステップＳ４）。図３の例では、補正範囲１３を変化させた複数の補正結果の例を示す。ここで、図３に示すように６番目の補正結果（一覧の上から２段目の最も右側の補正結果）がポインティングデバイス２により選択され、赤目補正プログラム５は、その補正結果を含む画像全体を画像表示部１に表示させる（ステップＳ５）。
【００２６】
一覧表示の形式としては、３×３程度がユーザーにとって利用しやすいのではないかと考えられる。パラメーターとして、ひとつのパラメーターを変化させるだけでなく、たとえば補正範囲と補正強度（色）のようにふたつのパラメーターを変化させ、一方のパラメーターについては縦あるいは横方向に、他方のパラメーターについては横あるいは縦方向に表示することもできる。
【００２７】
［効果］
以上の実施の形態によれば、複数の補正結果を画像表示部１に表示させることで、ユーザーは、ポインティングデバイス２を用いて、自分の望む補正結果が得られるように赤目補正の条件を容易に設定することができる。
【００２８】
［他の実施の形態］
図４は、図１に示す画像処理装置中のパーソナルコンピューター３上で実行される赤目補正プログラム５の処理の流れの他の例を示すフローチャートである。
【００２９】
この例では、赤目補正プログラム５は、図２に示す処理と同様にして赤目を検出した（ステップＳ２）後に、赤目の検出および補正の確からしさを自信度とし、この自信度が所定値に満たないときに（ステップＳ１１でＮｏ）、図２に示す処理と同様の処理（ステップＳ３〜Ｓ６）を行う。すなわち赤目の検出および補正の確からしさを指標とし、この確からしさが所定値に満たないときに、複数の補正結果が一覧表示される。一方、自信度が高いときには、一覧表示を行うことなく、最終的な補正結果の画像全体を画像表示装置１に表示させる（ステップＳ１２）。
【００３０】
図５は、赤目を構成する色の分布と他の部分の色との分布の一例を示す図である。横軸は、色をＲＧＢ（赤、グリーン、青）で表したときのＲの値、縦軸はＲ／Ｇの値を示す。赤目のピクセルと赤目でないピクセルとは、分布が異なる。たとえば図５に示す分布のＲ値ごとのヒストグラムをとると、赤目の領域と赤目でない領域とで異なるピークが得られる。このようにヒストグラムのピークが分離できる場合には、赤目の検出精度が高く、良好な赤目補正を行うことができる。すなわち、赤目を構成する色の分布と他の部分の色の分布との分離の度合いを指標とし、この分離の度合いが所定値に満たしているとき、好な赤目補正を行うことができる。この場合、補正結果の一覧表示は必ずしも必要ではない。一方、赤目のピクセルと赤目でないピクセルとの分布が重なっている場合には、ヒストグラムのピークは分離できなくなり、赤目の検出精度が低くなる。このような場合には、補正結果の一覧表示を行うことが望ましい。
【００３１】
このように、赤目補正の自信度により一覧表示を行うかどうかを決定することで、赤目の検出および補正が正しいかどうか不確かなときだけ、一覧表示を行うことができる。自信度が高いときには、ユーザーの手を煩わせる必要はない。また、明確な赤目であっても、それが小さい場合には、ヒストグラムでピークを分離することが困難な場合がある。そのような場合、そもそも赤目が小さいことから、一覧表示でユーザーの判断を仰ぐほうが望ましい。
【００３２】
［他の実施の形態］
赤目補正プログラム５は、一覧表示に対してポインティングデバイス２より選択された補正結果の傾向を学習して、その傾向に沿った補正結果を一覧表示させることもできる。これにより、ユーザーの好みに応じた補正結果を自動的に選択することができる。また、公知の技術として、どのアプリケーションを起動するかを表示するときに学習するものがあるが、それを応用して、ユーザーが望みそうなものを選択しやすく（たとえば真ん中に表示）できるようすることもできる。あるいは、赤みが多少残っていても補正範囲が小さい方がよい傾向のユーザーもいるので、それを学習して、そのような補正結果を表示するようにしてもよい。
【００３３】
最初の目（たとえば左目）を補正したとき、次の目（右目）について、最初の目に対する補正と同じような補正を中央に表示することもできる。両目であると判断できる場合には、片目に対する補正の設定を利用し、他方の目は自動で補正してもよい。
【００３４】
以上の説明では、パーソナルコンピューター３を用いて赤目補正を行うとものとしたが、たとえば、ポインティングデバイス２としてタッチパネルを用いて、印刷装置４で同様の処理を行うこともできる。
【符号の説明】
【００３５】
１  画像表示部、２  ポインティングデバイス（位置指定手段）、３  パーソナルコンピューター、４  印刷装置、５  赤目補正プログラム（赤目補正手段）、１０  カーソル、１１  赤目、１２  虹彩、１３  補正範囲
【図１】
2011180953.tif 000003
【図２】
2011180953.tif 000004
【図３】
2011180953.tif 000005
【図４】
2011180953.tif 000006
【図５】
2011180953.tif 000007