(57)【要約】【課題】  画像から赤目を検出して修正するときのユーザ（オペレータ）の作業負担を軽減する。【解決手段】  赤目を自動検出した後（Ｓ１０２）、その検出結果に対する自信の度合いを表す自信度を算出する（Ｓ１０４）。ユーザに要求する操作の内容が異なる複数の処理の中から、自信度算出部により算出された自信度に基づいて選択された処理を実行する。例えば自信度が高いときには検出結果に基づき修正した画像を直ちに出力し（Ｓ１０９）、自信度が低いときには、ユーザに確認を促して、修正操作を要求する（Ｓ１０６〜Ｓ１０８）。【選択図】          図１
2005286837.tif 000002
【特許請求の範囲】
【請求項１】
画像の中から瞳孔の少なくとも一部が赤く表示された赤目を検出して該赤目の色を修正する作業を支援する赤目修正作業支援装置であって、
赤目を自動検出する赤目自動検出部と、
前記赤目自動検出部による赤目の検出結果の自信度を算出する自信度算出部と、
前記赤目の色が修正された画像を得るための処理であってユーザに要求する操作の内容が異なる複数の処理の中から、前記自信度算出部により算出された自信度に基づいて一の処理を選択して実行する処理選択実行部とを備え、
前記処理選択実行部は、前記自信度が高いほど前記ユーザの操作負担が少ない処理を選択することを特徴とする赤目修正作業支援装置。
【請求項２】
前記処理選択実行部が、前記自信度算出部により算出された自信度が所定の閾値よりも低い場合に、ユーザに対し前記検出結果および／または修正画像の確認操作を要求する処理を選択して実行することを特徴とする請求項１記載の赤目修正作業支援装置。
【請求項３】
前記確認操作を要求する処理は、所定の音声を出力する処理であることを特徴とする請求項１または２記載の赤目修正作業支援装置。
【請求項４】
前記処理選択実行部が、前記自信度算出部により算出された自信度が所定の閾値よりも低い場合に、前記画像を所定のリストに登録する処理を選択することを特徴とする請求項１から３のいずれか１項記載の赤目修正作業支援装置。
【請求項５】
画像の中から瞳孔の少なくとも一部が赤く表示された赤目を検出して該赤目の色を修正する作業を支援する処理をコンピュータに実行させる赤目修正作業支援プログラムであって、コンピュータを、
赤目を自動検出する赤目自動検出部、
前記赤目自動検出部による赤目の検出結果の自信度を算出する自信度算出部、および
前記赤目の色が修正された画像を得るための処理であってユーザに要求する操作の内容が異なる複数の処理の中から、前記自信度算出部により算出された自信度に基づいて一の処理を選択して実行する処理選択実行部として機能させ、
前記処理選択実行部を、前記自信度が高いほど前記ユーザの操作負担が少ない処理を選択するように機能させることを特徴とする赤目修正作業支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、写真画像を局所的に修正する処理の過程で必要となるオペレータの作業を支援する装置およびプログラムに関する。
【背景技術】
【０００２】
夜間あるいは暗い場所で人物や動物をストロボ撮影すると、瞳孔（あるいは瞳孔の一部）が、赤色あるいは金色に撮影されてしまうことがある。このため、赤く、あるいは金色に撮影されてしまった瞳孔（以下、金色の場合も含めて「赤目」と称する）を、デジタル画像処理により本来の瞳孔の色に修正する方法が種々提案されている。
【０００３】
例えば、特許文献１には、オペレータが指定した領域の中から、瞳孔の色、位置、大きさに基づいて赤目を自動認識する方法および装置が開示されている。また、特許文献２にも、オペレータが指定した領域について画素ごとに所定の特徴量を計算し、瞳孔部分の特徴を最も有する部分を修正対象として選択する方法が開示されている。但し、瞳孔部分の特徴のみに基づく認識処理では、赤い電飾など局所的に赤みを持つ対象を赤目と区別することは難しい。このため、オペレータの操作を介さず、すべて自動で処理することは困難である。
【０００４】
これに対し、特許文献３には、顔検出処理との組み合わせにより、赤目を検出する方法が開示されている。この方法では、顔を正確に検出することができれば赤目を自動検出することができる。しかし、横顔、手や髪で顔が覆われている場合など、顔検出が困難な画像では、やはりオペレータの介入なく赤目を検出することは難しい。
【特許文献１】特開２０００−１３６８０号公報
【特許文献２】特開２００１−１４８７８０号公報
【特許文献３】特開２０００−１２５３２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記事情に鑑みて、赤目を検出して修正する過程で必要となるオペレータの作業負担を軽減するための、赤目修正作業支援装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上記目的を達成するために、画像の中から瞳孔の少なくとも一部が赤く表示された赤目を検出して赤目の色を修正する作業を支援する赤目修正作業支援装置を提供する。この赤目修正作業支援装置は、赤目を自動検出する赤目自動検出部と、赤目自動検出部による赤目の検出結果の自信度を算出する自信度算出部と、赤目の色が修正された画像を得るための処理であってユーザに要求する操作の内容が異なる複数の処理の中から、自信度算出部により算出された自信度に基づいて一の処理を選択して実行する処理選択実行部とを備え、その処理選択実行部が、算出された自信度が高いほどユーザの操作負担が少ない処理を選択することを特徴とする。
【０００７】
ここで、自信度とは、赤目検出の過程で行われた判断がどの程度確実なものかを表す指標である。例えば、通常コンピュータによる判定処理は判定の対象となる値と所定の閾値との大小を比較することにより行われるが、閾値との差が大きければその判定に対する自信の度合いは強く、閾値との差が小さければ、その判定に対する自信の度合いは弱いと考えることができる。
【０００８】
処理選択実行部は、例えば自信度算出部により算出された自信度が所定の閾値よりも低い場合に、ユーザに対し検出結果や修正画像の確認操作を要求する処理を選択して実行する機能を提供する。確認操作を要求する処理としては、所定の音声を出力する処理などが考えられる。
【０００９】
また、処理選択実行部は、自信度算出部により算出された自信度が所定の閾値よりも低い場合に、画像を所定のリストに登録する処理を選択し、ユーザが後でまとめて確認操作を行えるようにしてもよい。
【００１０】
また、本発明の赤目修正作業支援プログラムは、画像の中から瞳孔の少なくとも一部が赤く表示された赤目を検出して該赤目の色を修正する作業を支援する処理をコンピュータに実行させる赤目修正作業支援プログラムであって、コンピュータを、赤目を自動検出する赤目自動検出部、赤目自動検出部による赤目の検出結果の自信度を算出する自信度算出部、および赤目の色が修正された画像を得るための処理であってユーザに要求する操作の内容が異なる複数の処理の中から自信度算出部により算出された自信度に基づいて一の処理を選択して実行する処理選択実行部として機能させ、処理選択実行部を、自信度が高いほどユーザの操作負担が少ない処理を選択するように機能させることを特徴とする。
【発明の効果】
【００１１】
本発明の赤目修正作業支援装置およびプログラムによれば、自信度に基づいて、ユーザの確認操作が必要なケースと自動処理でよいケースとが自動的に区別される。このため、オペレータの作業負担は大幅に軽減される。
【００１２】
特に、自信度が低く確認操作が必要なケースについては、音声出力などユーザの注意を喚起する処理を実行するようにすれば、ユーザは確認の要不要を調べることなく、ただ要求された操作を行うのみで必要な確認を行うことができる。
【００１３】
また、自信度が低く確認操作が必要なケースをリストに登録する機能を設ければ、リストに蓄積された情報をまとめて確認することが可能になるので、さらに使い勝手が向上する。
【発明を実施するための最良の形態】
【００１４】
本発明の赤目修正作業支援装置の機能は、主としてソフトウェアプログラムにより実現される。したがって、赤目修正作業支援装置は、プログラムや画像データを記憶し得る記憶手段と、記憶されたプログラムを実行し得る演算手段を備えている装置であればよく、外観、大きさは特に問わない。
【００１５】
具体的には、例えば、ＣＰＵ、メモリ、ハードディスク、その他各種入出力インタフェースを備えた汎用コンピュータに、赤目修正作業支援プログラムをインストールすれば、その汎用コンピュータは赤目修正作業支援装置として機能する。
【００１６】
また、デジタル写真プリンタのような専用機の場合も、赤目修正作業支援プログラムを組み込んで実行させることが可能であれば、その装置に赤目修正作業支援機能を追加することができる。
【００１７】
あるいは、メモリ・ロジック混載型の半導体デバイスとして提供することも可能である。半導体デバイスとして提供した場合には、そのデバイスをデジタルカメラなどに搭載して動作させれば、そのデジタルカメラが赤目修正作業支援機能つきのカメラとして機能するようになる。
【００１８】
一般には、赤目検出プログラムや赤目修正プログラムにより実行される一連の処理の中に、赤目修正作業支援処理を追加することにより実現することが好ましい。よって以下の説明では、赤目修正作業支援機能を備えた各種装置の処理を通して、本発明の赤目修正作業支援装置を開示する。
【００１９】
（実施の形態１）
第１の実施の形態は、写真のプリントサービスを提供するラボラトリィに設置される画像処理装置に、赤目修正作業支援機能を組み込んだ例である。図１に、画像処理装置が実行する赤目検出処理および赤目修正処理の概要を示す。
【００２０】
図１のフローチャートに示すように、画像処理装置は、赤目検出、補正処理の対象となる画像を取得する（Ｓ１０１）。画像は、ハードディスクや各種メディアに記憶されているデータを読み出すことにより取得する。続いて、取得した画像に対し赤目検出（Ｓ１０２）および赤目修正（Ｓ１０３）の処理を施す。
【００２１】
続いて、赤目検出、修正処理の自信度を算出する（Ｓ１０４）。自信度は赤目検出が正確に行われたか否か、あるいは画像の修正が適切に行われたか否かを表す指標である。
【００２２】
ステップＳ１０５において、算出された自信度が所定の閾値よりも大きいと判定された場合には、ステップＳ１０３において修正された画像が、そのままステップＳ１０９において出力される。
【００２３】
ステップＳ１０５において、算出された自信度が所定の閾値以下であると判定された場合には、画像処理装置は通知音を発生させるとともにステップＳ１０３において修正された画像を画像処理装置の表示画面に表示する（Ｓ１０６）。オペレータからの修正を指示する入力が検出された場合（Ｓ１０７）には、その指示にしたがって画像を修正した後（Ｓ１０８）、修正画像を出力する（Ｓ１０９）。
【００２４】
一方、オペレータからの入力がない場合には、ステップＳ１０３において修正された画像を、修正前の画像、およびステップＳ１０２において得られた検出結果とともに、確認待ちリストに登録する（Ｓ１１０）。以上の処理が完了したら、ステップＳ１０１に戻り次の画像を取得して同様の処理を繰り返す。
【００２５】
図２は、確認待ちリストに登録された画像に対する確認処理の概要を示すフローチャートである。図に示すように、画像処理装置は、最初に確認待ちリストを画面に表示する（Ｓ２０１）。オペレータがリストの中から一の画像を選択すると、その選択を受け付け（Ｓ２０２）、選択された画像を表示画面に表示する（Ｓ２０３）。オペレータからの修正を指示する入力が検出された場合（Ｓ２０４）には、その指示にしたがって画像を修正した後（Ｓ２０５）、修正画像を出力する（Ｓ２０６）。オペレータからの指示入力がない場合には、図１のステップＳ１０３において得られ、ステップＳ１１０において保存された修正画像をそのまま出力する。
【００２６】
以上の説明から明らかであるように、上記処理では、赤目検出・修正処理の自信度が高い場合には、オペレータが介入することなく修正画像が自動的に出力される。一方、自信度が低い場合には、オペレータの介入を促す通知音が発生し、オペレータからの修正を受け付ける。また、オペレータが直ぐに修正作業を行えない場合に備え、後で修正作業を行えるように一旦確認待ちリストに登録しておいて、後で確認を行う機能も提供している。
【００２７】
したがって、オペレータはすべての画像を１つ１つ確認しながら介入が必要か否かを判断する必要はなく、通知があったときのみ画像に注意を向ければよい。さらには、リストに登録しておき、後にまとめて処理することもできるため、自分の都合に合わせて作業を進めることができる。これによりオペレータの負担は大幅に軽減される。
【００２８】
以下、図１のフローチャートを構成する主なステップについて、さらに詳細に説明する。はじめにステップＳ１０２の赤目検出処理について説明する。本実施の形態では、以下に説明する方法により赤目を検出する。但し、本発明において赤目を自動的に検出する方法は特に限定されず、公知のあらゆる方法を適用することができる。
【００２９】
図３は、赤目検出処理の概要を示すフローチャートである。はじめに、解像度別画像を取得する（Ｓ３０１）。図４は解像度別画像について説明するための図である。本実施の形態では、図に示すように、入力画像１０と同じ解像度の画像１５、入力画像１０の１／２の解像度の画像１６、入力画像１０の１／４の解像度の画像１７が、前もって生成され、メモリに記憶されている。
【００３０】
入力画像１０と解像度が同じ画像１５は、入力画像１０をコピーすることにより生成され、入力画像１０と解像度が異なる画像１６、１７は、入力画像１０のデータに対し画素数を低減する、いわゆる間引き処理を実行することによって生成される。図３のステップＳ３０１では、メモリ内に記憶されている一の解像度別画像を読み出すことにより、解像度別画像を取得する。
【００３１】
次に、取得した解像度別画像に対し、色空間変換処理を施す（Ｓ３０２）。具体的には、解像度別画像を構成する各画素のＲ(赤)，Ｇ（緑），Ｂ(青)の値を、所定の変換式により、Ｙ（輝度）、Ｃｂ（緑と青の色差）、Ｃｒ（緑と赤の色差）、Ｃｒ＊（肌色と赤の色差）の値に置き換えることにより、画像の表色系を変換する。
【００３２】
Ｙ，Ｃｂ，Ｃｒは、一般にＪＰＥＧ画像などで利用されている座標系であり、Ｃｒ＊は、ＲＧＢ空間において赤色と肌色とをもっともよく分離する方向を表す座標軸である。この座標軸の方向は、赤色のサンプルと肌色のサンプルに線形判別分析法を適用して予め決定しておく。このような座標軸を定義することにより、赤目の検出精度を、通常のＹＣｂＣｒ空間で検出を行う場合よりも高めることができる。
【００３３】
続いて、色空間変換後の画像上に判定対象範囲を設定し（Ｓ３０３）、その判定対象範囲について赤目の識別判定処理を行う（Ｓ３０４）。図４に、ステップＳ３０３の対象範囲設定処理と、ステップＳ３０４の識別判定処理の概要を示す。
【００３４】
図５（ａ）は、ステップＳ３０２において色空間変換された解像度別画像１５上に、判定対象範囲１８を設定した状態を表している。本実施の形態では、判定対象範囲１８は１３画素×１３画素の領域であるが、説明の便宜上、図では判定対象範囲１８を大きめに表している。
【００３５】
識別判定処理では、設定された判定対象範囲１８に含まれる画像を、複数の赤目検出器にかけ、その複数の検出器の検出結果の組み合わせから、その判定対象範囲１８に含まれる画像が、赤目と推定し得るか否か判断する。赤目と推定し得る場合には、その領域を赤目として検出する。
【００３６】
但しここで、赤目検出器とは、赤目と非赤目との区別に有効な特徴量を算出するためのパラメータと、算出された特徴量を入力として赤目らしさの度合いを表す識別ポイントを出力する識別器と、そのパラメータと識別器を多数の赤目サンプルに適用して識別ポイントの累積加算値を算出し、所定の正検出率を維持できるように決定された閾値の組み合わせを意味する。
【００３７】
パラメータや識別器は、多数の赤目サンプルと非赤目サンプルを利用してあらかじめ学習を行うことにより決定する。学習は、マシーンラーニング技術として知られているニューラルネットワークの手法あるいはブースティングの手法など、公知の方法を用いて行うことができる。
【００３８】
学習に用いられるサンプルは、例えば図６（ａ）、（ｂ）、（ｃ）に示すように、瞳孔全体が赤いサンプル、瞳孔の８０％の領域が赤いサンプル、瞳孔の６０％が赤いサンプルというように、単位矩形内に締める赤色領域の大きさに所定のバリエーションをもたせることが好ましい。
【００３９】
また学習用サンプルの中に、赤色領域の中心が単位矩形の中心から少しずれたサンプルを含めておけば、ずれた状態でも赤色領域を抽出できるようになる。このため、画像上に特徴量を算出する判定対象範囲を設定し、走査する際に、間隔をあけても抽出の精度を保つことができ、処理時間を短縮することができる。
【００４０】
また、閾値は、学習により決定された特徴量算出パラメータおよび識別器を、できるだけ多くの赤目サンプルに対して適用して識別ポイントの累積加算値を算出し、所定の確率以上の確率で正しく検出できるように定めるとよい。
【００４１】
図７は、図３のステップＳ３０４の識別判定処理の具体的な処理ステップを示すフローチャートである。フローチャート中の記号ｉは赤目検出器を区別するための記号であり、赤目検出器がＮ個ある場合には、０≦ｉ≦Ｎ−１となる。Ｎ個の赤目検出器、すなわち特徴量の算出に利用されるパラメータｉ、識別器ｉ、閾値ｉ（０≦ｉ≦Ｎ−１）は、メモリあるいはハードディスクなどに記憶されている。
【００４２】
はじめに、ｉおよび累積識別ポイントの値を、いずれも０に初期化する（Ｓ４０１）。次に、特徴量算出パラメータｉを利用して前述の判定対象範囲１８について、特徴量を算出し、算出結果を得る（Ｓ４０２）。次に、算出結果に基づいて識別器ｉを参照して識別ポイントを得（Ｓ４０３）、その識別ポイントを累積識別ポイントに加算する（Ｓ４０４）。次に、その累積識別ポイントを、閾値ｉと比較する（Ｓ４０５）。この時点で、累積識別ポイントが閾値ｉを下回っていれば、非赤目と判定する。
【００４３】
一方、累積識別ポイントが閾値ｉを越えていれば、ｉがＮ−１か否かを判定することによって全識別器について処理が終了したか否かを判定する（Ｓ４０６）。ｉがＮ−１より小さい場合には、ｉを１つカウントアップして（Ｓ４０７）、同様に、ステップＳ４０２からＳ４０７までの処理を繰り返す。全識別器について処理が終了した場合には（Ｓ４０６）、その時点で判定対象範囲１８内の画像を、赤目候補領域と判断し、候補リストに登録する。
【００４４】
なお、本実施の形態では、特徴量算出パラメータは、参照するチャンネル（Ｙ、Ｃｂ、Ｃｒ、Ｃｒ＊）、特徴量のタイプ（画素値そのもの、２点差分、４点差分）、参照する画素の判定対象範囲内における座標からなる。
【００４５】
以上に説明した識別判定処理は、図５の画像１５中の矢印に示すように、判定対象範囲１８を少しずつずらしながら（走査しながら）、繰り返し実行する。判定対象範囲の設定と識別判定処理は、図３のフローチャートのステップＳ３０５において走査終了と判定された時点で終了する。
【００４６】
次に、図３のステップＳ３０６において、全解像度画像についての処理が終了したか否かを判定する。他の解像度別画像が未処理であれば、ステップＳ３０１に戻り、図４の次の解像度別画像１６が取得されて、同様の処理が繰り返される。
【００４７】
なお、解像度を異ならせて処理を繰り返すのは、以下の理由による。図５（ｂ）は、解像度別画像１５よりも解像度が低い画像１６上に、判定対象範囲１８を設定した状態を表している。判定対象範囲１８の大きさは前述のとおり１３画素×１３画素である。解像度を低くすると、判定対象範囲１８には、解像度が高い場合よりも、より広い範囲が含まれることになる。
【００４８】
したがって、例えば図５（ａ）、（ｂ）に示すように、画像中に瞳孔１９の画像が含まれている場合、図５（ａ）の解像度別画像１５に対する識別処理では検出できなかった瞳孔１９が、解像度別画像１６に対する識別処理では検出できる場合がある。赤目を検出できたときの画像の解像度の情報は、メモリなどに記憶される。
【００４９】
ステップＳ３０６において、全解像度別画像についての処理が終了したと判定したら、次に、候補整理処理を実行する（Ｓ３０７）。図８は候補整理処理について説明するための図である。図に示すように、上記判定対象範囲設定処理および識別判定処理では、１つの赤目が２個の赤目として検出されてしまう場合がある。
【００５０】
例えば赤目が図８に示される楕円領域２０である場合に、判定対象範囲１８ａに対して行われた識別判定処理で領域２１ａが赤目と判定され、判定対象範囲１８ｂに対して行われた識別判定処理で、領域２１ｂが赤目と判定されるような場合である。候補整理処理は、このような場合に、赤目２１ａと赤目２１ｂのうち、前述の識別ポイントが高いほうの領域のみを残し、他方をリストから削除する処理である。
【００５１】
以上の処理により最終的に残った領域の中心座標およびサイズが赤目リストとして出力される。
【００５２】
続いて、図１のステップＳ１０３の赤目修正処理について説明する。本実施の形態では、赤目検出処理により検出された各赤目について、色差Ｃｒの値が所定の値を越えている画素を抽出し、モフォロジー処理により、その領域を整形し、整形した領域を構成する各画素の色を、所定の明るさのグレーなど、瞳孔の色として適切な色に置き換えている。但し、本発明において、赤目の自動修正方法も特に限定されず、公知のあらゆる方法を適用することができる。
【００５３】
次に、ステップＳ１０４の自信度算出処理について説明する。本実施の形態では、自信度は、上記赤目検出処理の過程で算出される識別ポイントを利用して算出される。赤目検出処理では、前述のように、識別ポイントが閾値ｉ以上であれば赤目、閾値ｉを下回っていれば非赤目と判定しているが、この方法では、識別ポイントと閾値との差が小さいときよりも識別ポイントと閾値の差が大きいときのほうが判定結果の信頼性は高いと考えられる。そこで、自信度を、その差が大きいときに高く、差が小さいときに低くなるように予め定義しておけば、検出処理後に、その検出の信頼性を表す指標となる自信度を求めることができる。
【００５４】
続いて、ステップＳ１０５の判定処理について説明する。ステップＳ１０５では前述のように、算出された自信度が所定の閾値よりも大きいか否かの判定がなされる。閾値は常時一定の値としてもよいが、誤検出・誤修正がもたらす影響は画像の用途によっても変わるため、本実施の形態では、用途に応じて、それぞれ最適な閾値を設定した上で判定を行っている。
【００５５】
例えば、赤目補正後の画像をプリント出力する場合、プリントサイズが大きくなるほど、誤検出や誤修正は目立ちやすい。そこで、本実施の形態では、閾値を、プリントサイズが大きいほど高くなるように設定している。
【００５６】
また、プリントサイズが大きくなくても、人物の顔がアップで写された写真など、画像の中で赤目の占める割合が大きい画像でも、同様に誤検出や誤修正が目立ちやすいので、閾値を高く設定している。
【００５７】
さらに、フィルムに記録された画像をデジタル化してメディアなどに保管するサービスの場合、その画像は将来あらゆる用途に利用される可能性がある。そこで、このようなサービスでは、その画像がどのような用途に利用されても誤検出や誤修正の影響が気にならないように、閾値を高めに設定して判定を行う。
【００５８】
ステップＳ１０６の処理は、本実施の形態では通知音を発生し、修正画像を画面上に表示する処理としているが、オペレータの注意を喚起することができる処理であれば、他の処理であってもよい。例えば、音に代えて、画面全体を点滅させることにより注意を喚起する方法なども考えられる。また、自信度に応じて段階的に通知のしかたを代えてもよい。例えば音量を自信度に応じて変化させたり、画面を表示して修正指示入力を待つ時間を自信度に応じて変化させてもよい。
【００５９】
次にステップＳ１０７およびＳ１０８の処理について説明する。ユーザから入力される修正指示としては、例えば次のような指示が考えられる。１つは、誤検出の除去の指示である。本実施の形態では、赤目以外の例えば電飾などが赤目として検出され、目の色に修正されてしまっている場合に、ユーザが修正を要求できるように、画面上の所望の領域を指定する手段と修正のキャンセル指示を入力するためのメニュー、ボタンなどを画面に表示する。さらには、誤って修正された箇所をユーザが直接修正できる機能も提供する。
【００６０】
一方、検出から漏れた赤目を画面上で直接指定して修正を指示したり、検出から漏れた赤目を含む領域を指定して、その限られた領域で赤目の再検出処理を実行させ、自動修正を行う機能も提供する。あるいは、特に領域は指定させず、赤目の自動検出、自動補正処理を再実行させてもよい。再実行の際に、識別ポイントの閾値を低めに設定して検出処理を行えば、赤目の検出数が増加し、未検出を減らすことができる。
【００６１】
なお、ステップＳ１０９において修正済画像を出力する際には、ステップＳ１０１で取得した画像を直接書き換えた画像を出力してもよいし、もとの画像と修正済画像との差分情報を出力してもよい。後者の場合には、その結果を利用する装置（プリンタなど）において、もとの画像と差分情報を合成して、修正画像を形成する。
【００６２】
（実施の形態２）
第２の実施の形態は、第１の実施の形態と同様、写真のプリントサービスを提供するラボラトリィに設置される画像処理装置に、赤目修正作業支援機能を組み込んだ例である。但し、本実施の形態では、赤目修正作業支援機能が組み込まれている第１の画像処理装置と、赤目修正処理を実行する第２の画像処理装置とは異なる装置である。
【００６３】
図９に、第１の画像処理装置が実行する赤目検出処理の概要を示す。フローチャートに示すように、画像処理装置は、赤目検出処理の対象となる画像を取得する（Ｓ５０１）。画像は、ハードディスクや各種メディアに記憶されているデータを読み出すことにより取得する。続いて、取得した画像に対し赤目検出の処理が自動的に施される（Ｓ５０２）。
【００６４】
続いて、赤目検出の自信度を算出する（Ｓ５０３）。ステップＳ５０４において、算出された自信度が所定の閾値よりも大きいと判定された場合には、ステップＳ５０２において検出された結果が、ステップＳ５０８において、そのまま出力される。
【００６５】
ステップＳ５０４において、算出された自信度が所定の閾値以下であると判定された場合には、画像処理装置は通知音を発生させるとともにステップＳ５０２において検出された赤目の位置や大きさなど、赤目検出結果を表示画面に表示する（Ｓ５０５）。オペレータからの修正を指示する入力が検出された場合（Ｓ５０６）には、その指示にしたがって検出結果を修正した後（Ｓ５０７）、検出結果を出力する（Ｓ５０８）。
【００６６】
一方、オペレータからの入力がない場合には、ステップＳ５０２において赤目検出の対象となった画像を、その赤目検出結果とともに、確認待ちリストに登録する（Ｓ５０９）。以上の処理が完了したら、ステップＳ５０１に戻り、次の画像を取得して同様の処理を繰り返す。
【００６７】
図１０は、確認待ちリストに登録された画像に対する確認処理の概要を示すフローチャートである。図に示すように、画像処理装置は、最初に確認待ちリストを画面に表示する（Ｓ６０１）。オペレータがリストの中から一の画像を選択すると、その選択を受け付け（Ｓ６０２）、選択された画像に対する赤目検出の結果を表示画面に表示する（Ｓ６０３）。オペレータからの修正を指示する入力が検出された場合（Ｓ６０４）には、その指示にしたがって画像を修正した後（Ｓ６０５）、修正済みの検出結果を出力する（Ｓ６０６）。オペレータからの指示入力がない場合には、図９のステップＳ５０２において得られた検出結果をそのまま出力する。
【００６８】
図１１は、第２の画像処理装置が実行する赤目修正処理の概要を示すフローチャートである。図に示すように第２の画像処理装置は、第１の画像処理装置が出力した画像および赤目検出結果を取得する（Ｓ７０１）。そして、検出された赤目を修正して（Ｓ７０２）、修正画像を出力する（Ｓ７０４）。
【００６９】
なお、赤目検出や赤目修正の方法および自信度の算出方法については、第１の実施の形態と同じであるため説明を省略する。
【００７０】
第１の実施の形態は、ユーザが自動修正された後の画像を確認して修正の指示を入力する形態であったが、第２の実施の形態は画像を修正する前の検出結果のみの段階で、自信度が低い場合にはユーザに確認を促す。画像の修正処理を実行する前に、オペレータに誤認識などを訂正させるので、第１の実施の形態よりも装置にかかる負担は少なくなる。
【００７１】
（実施の形態３)
第３の実施の形態は、デジタルカメラに、赤目修正作業支援機能を組み込んだ例である。図１２に、デジタルカメラが実行する赤目検出処理および赤目修正処理の概要を示す。
【００７２】
図１２のフローチャートに示すように、デジタルカメラは、赤目検出、補正処理の対象となる画像を撮影もしくはメモリから読み出すことにより取得する（Ｓ８０１）。続いて、取得した画像に対し赤目検出（Ｓ８０２）および赤目修正（Ｓ８０３）の処理を施す。
【００７３】
続いて、赤目検出、修正処理の自信度を算出する（Ｓ８０４）。ステップＳ８０５において、算出された自信度が所定の閾値よりも大きいと判定した場合には、修正画像をデジタルカメラが備える液晶モニタに出力する（Ｓ８０６）。
【００７４】
ステップＳ８０５において、算出された自信度が所定の閾値以下であると判定した場合には、デジタルカメラは通知音を発生させるとともにステップＳ８０３において修正された画像を液晶モニタに表示する。この際、デジタルカメラはモニタのサイズが小さく確認が難しいため、修正画像を表示するときは修正箇所に枠をつけて強調表示したり、修正箇所を拡大表示するなどして確認が容易になるようにする（Ｓ８０７）。
【００７５】
オペレータからの修正を指示する入力を検出した場合（Ｓ８０８）には、その指示にしたがって画像を修正した後（Ｓ８０９）、修正画像を出力する（Ｓ８１０）。
【００７６】
一方、オペレータからの入力がない場合には、ステップＳ８０３において修正された画像を、そのまま修正画像として保存する（Ｓ８１０）。以上の処理が完了したら、ステップＳ８０１に戻り次の画像を取得して同様の処理を繰り返す。
【００７７】
なお、赤目検出や赤目修正の方法および自信度の算出方法については、第１の実施の形態と同じであるため説明を省略する。
【００７８】
デジタルカメラの場合には、特に液晶モニタが小さい場合、修正操作が必要な画像か否かを判断することは困難である。このため、本実施の形態の装置のように、検出処理の自信度に基づいて自動的に修正を要する画像と修正を必要としない画像とを振り分けることができれば、ユーザの負担は軽減される。
【図面の簡単な説明】
【００７９】
【図１】赤目検出・修正処理の一例を示すフローチャート
【図２】リスト登録された画像の確認処理の概要を示すフローチャート
【図３】赤目検出処理の概要を示すフローチャート
【図４】解像度別画像について説明するための図
【図５】判定対象範囲設定処理と識別判定処理の概要を示す図
【図６】赤目検出器の学習に用いられるサンプルの例を示す図
【図７】識別判定処理の具体的な処理ステップを示すフローチャート
【図８】候補整理処理について説明するための図
【図９】赤目検出処理の他の例を示すフローチャート
【図１０】リスト登録された検出結果の確認処理の概要を示すフローチャート
【図１１】赤目修正処理の概要を示すフローチャート
【図１２】赤目検出・修正処理の他の例を示すフローチャート
【符号の説明】
【００８０】
１０  入力画像
１５，１６，１７  解像度別画像
１８，１８ａ，１８ｂ，２３  判定対象範囲
１９  瞳孔
２０  赤目
２１ａ，２１ｂ  赤目候補
【図１】
2005286837.tif 000003
【図２】
2005286837.tif 000004
【図３】
2005286837.tif 000005
【図４】
2005286837.tif 000006
【図５】
2005286837.tif 000007
【図７】
2005286837.tif 000008
【図８】
2005286837.tif 000009
【図９】
2005286837.tif 000010
【図１０】
2005286837.tif 000011
【図１１】
2005286837.tif 000012
【図１２】
2005286837.tif 000013
【図６】
2005286837.tif 000014