(57)【要約】【課題】画像全域を探索範囲として特徴領域を自動検出する探索方法は処理負荷が大きく、処理時間も長く必要である。【解決手段】探索条件を満たす特徴領域を自動的に探索する画像認識装置に、（ａ）画像全域を探索範囲に設定し、画像データの特定成分が基準値より多い領域を探索する探索部と、（ｂ）検出された領域に、領域特定用の指標を初期表示する表示制御部とを設ける。この結果、ＣＰＵの処理能力によらず、短時間のうちに探索動作を実行できる。また、領域特定用の指標を実際に検出された領域に初期表示できるため、特徴領域又はその近傍に指標が表示される可能性を高めることができる。【選択図】図６
2005338972.tif 000002
【特許請求の範囲】
【請求項１】
探索条件を満たす特徴領域を自動的に探索する画像認識装置であって、
画像全域を探索範囲に設定し、画像データの特定成分が基準値より多い領域を探索する探索部と、
検出された領域に、領域特定用の指標を初期表示する表示制御部と
を有することを特徴とする画像認識装置。
【請求項２】
請求項１に記載の画像認識装置において、
前記探索部は、探索条件を満たす領域が検出される度、ユーザーにより前記指標の表示位置が確定されるまで、探索動作を一時中断する
ことを特徴とする画像認識装置。
【請求項３】
請求項１に記載の画像認識装置において、
前記探索部は、ユーザーにより前記指標の表示位置が修正された場合、修正位置から探索動作を再開する
ことを特徴とする画像認識装置。
【請求項４】
請求項１に記載の画像認識装置において、
前記表示制御部は、初期表示された前記指標の表示位置の修正が指示された場合、直前回までに確認対象となった領域を除き、検出された複数の領域の中で画像中央部に一番近い領域に前記指標を移動させる
ことを特徴とする画像認識装置。
【請求項５】
請求項２に記載の画像認識装置において、
前記表示制御部は、初期表示された前記指標の表示位置の修正が指示された場合、直前回までに確認対象となった領域を除き、検出された複数の領域の中で直前回の検出領域に一番近い領域に前記指標を移動させる
ことを特徴とする画像認識装置。
【請求項６】
請求項１に記載の画像認識装置において、
前記表示制御部は、画像全域の探索動作の終了後、検出された領域が複数ある場合、画像中央部に一番近い領域に、領域特定用の指標を初期表示する
ことを特徴とする画像認識装置。
【請求項７】
請求項１に記載の画像認識装置において、
前記表示制御部は、画像全域の探索動作の終了後、検出された領域が複数ある場合、特定成分の割合の一番多い領域に、領域特定用の指標を初期表示する
ことを特徴とする画像認識装置。
【請求項８】
請求項６又は７に記載の画像認識装置において、
前記表示制御部は、２回目以降、直前回までに確認対象となった指標の表示位置を除き、画面中央部に一番近い検出領域に、領域特定用の指標を初期表示する
ことを特徴とする画像認識装置。
【請求項９】
請求項６又は７に記載の画像認識装置において、
前記表示制御部は、２回目以降、探索対象領域として確定された直前回の検出領域に一番近い検出領域に、領域特定用の指標を初期表示する
ことを特徴とする画像認識装置。
【請求項１０】
請求項６又は７に記載の画像認識装置において、
前記表示制御部は、２回目以降、直前回までに確認対象となった指標の表示位置を除き、特定成分の割合の一番多い領域に、領域特定用の指標を初期表示する
ことを特徴とする画像認識装置。
【請求項１１】
請求項６又は７に記載の画像認識装置において、
前記表示制御部は、２回目以降、探索対象領域として確定された直前回の検出領域から取り出した画像データの特定成分との類似度が一番高い検出領域に、領域特定用の指標を初期表示する
ことを特徴とする画像認識装置。
【請求項１２】
探索条件を満たす特徴領域を自動的に探索し、特定された瞳領域の色調を補正する色調補正装置であって、
画像全域を探索範囲に設定し、画像データの特定成分が基準値より多い領域を探索する探索部と、
検出された領域に、領域特定用の指標を初期表示する表示制御部と
を有することを特徴とする色調補正装置。
【請求項１３】
印刷デバイスと、
給紙機構と、
ユーザーが瞳領域として特定した領域の色調を補正する色調補正部とを有し、
前記色調補正部が、
画像全域を探索範囲に設定し、画像データの特定成分が基準値より多い領域を探索する探索部と、
検出された領域に、領域特定用の指標を初期表示する表示制御部と
を有することを特徴とする印刷装置
【請求項１４】
探索条件を満たす特徴領域を自動的に探索する画像認識方法であって、
画像全域を探索範囲に設定し、画像データの特定成分が基準値より多い領域を探索する探索処理と、
検出された領域に、領域特定用の指標を初期表示する表示制御処理と
を有することを特徴とする画像認識方法。
【請求項１５】
探索条件を満たす特徴領域を自動的に探索し、特定された瞳領域の色調を補正する色調補正方法であって、
画像全域を探索範囲に設定し、画像データの特定成分が基準値より多い領域を探索する探索処理と、
検出された領域に、領域特定用の指標を初期表示する表示制御処理と
を有することを特徴とする色調補正方法。
【請求項１６】
探索条件を満たす特徴領域を自動的に探索する画像認識装置として機能するコンピュータに、
画像全域を探索範囲に設定し、画像データの特定成分が基準値より多い領域を探索する探索処理と、
検出された領域に、領域特定用の指標を初期表示する表示制御処理と
を実行させることを特徴とするプログラム。
【請求項１７】
探索条件を満たす特徴領域を自動的に探索し、特定された瞳領域の色調を補正する色調補正装置として機能するコンピュータに、
画像全域を探索範囲に設定し、画像データの特定成分が基準値より多い領域を探索する探索処理と、
検出された領域に、領域特定用の指標を初期表示する表示制御処理と
を実行させることを特徴とするプログラム。
【請求項１８】
探索条件を満たす特徴領域を自動的に探索する画像認識装置として機能するコンピュータに、
画像全域を探索範囲に設定し、画像データの特定成分が基準値より多い領域を探索する探索処理と、
検出された領域に、領域特定用の指標を初期表示する表示制御処理と
を実行させるプログラムを記録したことを特徴とする記録媒体。
【請求項１９】
探索条件を満たす特徴領域を自動的に探索し、特定された瞳領域の色調を補正する色調補正装置として機能するコンピュータに、
画像全域を探索範囲に設定し、画像データの特定成分が基準値より多い領域を探索する探索処理と、
検出された領域に、領域特定用の指標を初期表示する表示制御処理と
を実行させるプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
１つの発明は、特定成分が基準値より多い領域を自動的に探索する画像認識装置に関する。他の１つの発明は、特定の色成分が基準値より多い瞳領域を検出し、その色調を補正する色調補正装置に関する。他の１つの発明は、色調補正装置を搭載する印刷装置に関する。
他の１つの発明は、特定成分が基準値より多い領域を自動的に探索する機能を実現する画像認識方法に関する。他の１つの発明は、色調不良を有する瞳領域を検出して補正する機能を実現する色調補正方法に関する。
他の１つの発明は、特定成分が基準値より多い領域を自動的に探索する画像認識方法を実現するプログラムに関する。他の１つの発明は、色調不良を有する瞳領域を検出して補正する色調補正方法を実現するプログラムに関する。他の１つの発明は、これらプログラムを格納する記録媒体に関する。
【背景技術】
【０００２】
画像処理は、画像の分析、操作、記憶、表示を基本的な処理要素とする。各処理要素は、おおよそ３つの連続ステップで構成される。入力ステップと、処理ステップと、出力ステップである。画像認識は、画像処理の１つである。
画像認識は、処理対象とする画像から特定の条件を満たす特徴領域を検出するもので、様々な用途が考えられる。
ここでは、人物や動物を被写体とする場合について、従来技術の一例を説明する。
人物や動物を正面からフラッシュ撮影する場合、フラッシュ光の反射の影響で、瞳が赤色や金色に写ることがある。この現象は、一般に赤目現象と呼ばれる。赤目現象の生じた画像は、見る人に不自然な印象を与える。
このため、画像処理の１つとして、瞳の色を本来の色に補正する技術が提案されている。
例えば、特許文献１には、操作者が指定した領域について赤目領域を検出し、その色調不良を補正する技術が提案されている。
また例えば、特許文献２には、赤目領域を自動検出して補正する技術が提案されている。
【特許文献１】特開平１０−０７５３７４号公報
【特許文献２】特開平１１−２８４８７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、操作者が補正領域を指示入力する方式の場合、補正領域を指示する指示カーソルが画面中央に初期表示される。これは、被写体である人間や動物は、画面中央に映っていることが多いためである。
図１（Ａ）に、指示カーソル１の表示例を示す。図に示すように、指示カーソル１は、赤目領域３の近傍に初期表示されている。
しかし、人間や動物が画面中央から離れている位置（例えば、画面の端）に映っていることも多い。この場合、従来方式では、指示カーソル１の初期位置と赤目領域３とが、大きくかけ離れたものとなる。
図１（Ｂ）に、指示カーソル１の表示例を示す。図に示すように、指示カーソル１の表示位置は、赤目領域３から大きくかけ離れている。
この場合、ユーザーは、指示カーソルの表示位置を修正する必要がある。
【０００４】
ところが、使用可能なポインティングデバイスは、必ずしも細かな位置決めに適していない場合もある。かかる場合、ユーザーによる指示カーソルの位置決めには、多くの手間と時間を必要とする。
そこで、画像認識プログラムを用いて、指示カーソルの表示位置を赤目領域又はその近傍に位置決めする方法が考えられる。
指示カーソルを赤目領域又はその近傍に初期表示することができれば、位置決めに要する手間と時間を大幅に短縮できる。この効果は、使用可能なポインティングデバイスの操作性が劣る場合に特に効果的である。
【０００５】
しかし、画像認識プログラムの処理負荷は大きい。このため、処理時間を短くするには処理能力の高いＣＰＵ（central processing unit）が必要となる。
ところが、赤目補正機能を搭載する画像処理装置の全てに、処理能力の高いＣＰＵが搭載されているとは限らない。
実際、赤目補正機能を搭載する画像処理装置には、処理能力の小さいＣＰＵが搭載されていることが多い。
このため、既存の画像認識プログラムによる指示カーソルの位置決めには、未だ解決すべき技術課題を含んでいる。なお、この技術課題は、他の画像認識処理についても同様である。
【課題を解決するための手段】
【０００６】
本発明者は、以上の技術課題に着目し、以下の技術手法を提案する。
すなわち、本発明者は、発明の好ましい１つの形態として、(a) 画像全域を探索範囲に設定し、画像データの特定成分が基準値より多い領域を探索する探索部と、(b)
検出された領域に、領域特定用の指標を初期表示する表示制御部とを有する画像認識装置を提案する。
ここで、画像データは、ピクセル又はサブピクセルの明るさを与える階調データをいう。モノクロ画像の場合、サブピクセルとピクセルは一致する。一方、カラー画像の場合、サブピクセルは、ピクセルを構成する各色成分に対応する。色成分とは、一般に、赤、緑、青の３色である。
従って、画像データの特定成分は、これら３種類の色成分に対応する１つ又は複数の階調データをいう。なお、基準値は、例えば各特定成分について個別に設定する。また、基準値は、例えば全て又は一部の特定成分と同じ値を使用する。
【発明の効果】
【０００７】
発明に係る技術の採用により、ＣＰＵの処理能力によらず、短時間のうちに探索動作を完了することができる。
また、発明に係る技術の採用により、領域特定用の指標を、絵柄に応じた検出領域に初期表示することができる。これにより、領域特定用の指標を適切な領域に位置決めするための手間と時間を大幅に削減できる。
【発明を実施するための最良の形態】
【０００８】
以下、発明に係る認識技術を採用する画像処理装置の実施例を説明する。
ここでは、画像認識技術の一例として、画像中の赤目を探索する場合について説明する。
勿論、探索対象とする特徴領域は、色調異常の生じた瞳（赤目）に限るものではなく、画像データの特定成分に特徴のある領域の認識に使用できる。
なお、本明細書で特に図示又は記載していない部分には、当該技術分野の周知又は公知技術を適用する。また以下に説明する実施形態は、発明の一つの実施形態であって、これらに限定されない。
【０００９】
（Ａ）赤目補正装置
赤目補正機能は、画像認識技術と色調補正技術の組み合わせにより実現される。
赤目補正機能を搭載する画像処理装置には、画像データを扱うのに十分な処理能力と、表示部に画像を表示できる出力能力を有することが望ましい。
なお、表示部は、画像処理装置の筐体に一体化されているものでも、外付けされているものでも良い。
かかる画像処理装置には、例えばコンピュータ、印刷装置、ビデオカメラ、デジタルカメラ、ゲーム機器、スキャナ、携帯情報端末（携帯型のコンピュータ、携帯電話機、携帯型ゲーム機、電子書籍等）、時計、画像再生装置（例えば、光ディスク装置、ホームサーバー）、モニタ、テレビジョン受像器、発明に係る機能を搭載した処理ボードや処理カードが含まれる。
【００１０】
なおいずれの画像処理装置の場合にも、筐体と、信号処理部と、外部インターフェースとを共通構成とし、商品形態に応じた周辺装置が組み合わされて構成される。
例えば、ビデオカメラやデジタルカメラであれば、前述の構成に加え、カメラユニットや撮像された映像データを記憶媒体に保存するための書き込み回路を有する。
また例えば、携帯電話機その他の通信機能を有する電子機器であれば、前述の構成に加え、送受信回路やアンテナを有する。
以下では、赤目補正技術を印刷装置に搭載する場合について説明する。
【００１１】
（Ｂ）システム構成
図２に、印刷装置１１の実施例を示す。この印刷装置１１は、制御部１３、操作部１５、表示部１７、印刷デバイス１９、外部インターフェース２１、２３、２５を主要な構成とする。
制御部１３は、コンピュータを基本構成とする。すなわち、ＣＰＵ、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）で構成される。
赤目補正機能（赤目探索機能を含む。）は、制御部１３が提供する機能の１つとして実現される。
制御部１３の機能は、ファームウェア又はソフトウェアとして実現される。これらのプログラムは、ＲＯＭその他の記憶媒体（例えば、光ディスク、ハードディスク）に格納されており、記憶媒体から読み出されて実行される。勿論、赤目補正機能を実現するプログラムもその１つである。
なお、赤目補正機能を実現するプログラムは、印刷装置１１の筐体に対して着脱できる記憶媒体に格納されていても良い。
制御部１３は、専用装置、処理ボード又は制御ボードとして実現することもできる。
【００１２】
操作部１５は、印刷装置１１に対する指示をユーザーが入力するのに使用するデバイスとそのインターフェースである。例えば、十字キー、操作ボタン、トラックボール、ジョイスティックその他を使用する。なお、操作部１５は、機能の選択、実行、位置決めその他に使用される。
表示部１７は、指示入力の内容、動作の進行状況、その他の情報をユーザーが確認できるように搭載されている。例えば、液晶ディスプレイ装置を使用する。
印刷デバイス１９は、印刷媒体上に文字や画像を印刷する出力デバイスである。印刷デバイス１９には、印刷方式に応じた機構が搭載される。印刷方式には、例えばインクジェット方式、レーザー方式、熱転写方式その他がある。
【００１３】
外部インターフェースは、外部装置との通信を実現するインターフェースである。この実施例では、外部メモリ・インターフェース２１、ホスト装置・インターフェース２３、モニタ装置・インターフェース２５を搭載する。
外部メモリ・インターフェース２１は、外部メモリ装着用のスロットと、通信回路とで構成される。外部メモリ２７には、例えば、カード形状の半導体メモリ、光ディスク、磁気ディスクその他の記憶媒体が用いられる。
ホスト装置・インターフェース２３は、ホスト装置２９との通信回路で構成される。ホスト装置・インターフェース２３を通じて、画像データや制御データが入出力される。
なお、ホスト装置２９には、コンピュータ、デジタルカメラ、ビデオカメラ、その他の画像処理装置が用いられる。
モニタ装置・インターフェース２５は、大型の表示領域を有するモニタ装置３１との通信回路で構成される。モニタ装置３１は、印刷内容の確認や赤目補正の対象となる画像の確認用に必要に応じて接続される。
なお、外部装置との接続方式は、有線方式でも無線方式でも良い。例えば、外部装置を有線路経由で接続する場合、外部インターフェースには、ＵＳＢ（universal serial bus）インターフェース、ＩＥＥＥ１３９４インターフェース、ＳＣＳＩ（Small Computer System Interface ）、ＡＴＡＰＩ（ATA
Pachet Interface）等を使用する。また例えば、ＬＡＮ（local area network）インターフェースを使用する。
また、外部装置を無線路経由で接続する場合、外部インターフェースには、赤外線インターフェース、無線ＬＡＮインターフェース等を使用する。
【００１４】
（Ｃ）赤目補正機能
続いて、印刷装置１１に搭載する赤目補正機能の実行手順例を示す。
この実施例の場合、特徴領域を赤目領域とする。すなわち、印刷装置１１は、画像データの赤色成分が基準値より多い領域を探索するものとする。なお、基準値は、検出精度を考慮して定める。
またこの実施例の場合、領域特定用の指標には指示カーソルを使用するものとする。もっとも、指標には、特定する領域を囲む枠その他の領域を識別可能な表示形態を採用しても良い。
【００１５】
（Ｃ−１）実施例１
（ａ）実行手順
図３及び図４に、赤目補正機能として実行される一つの処理手順例を示す。
ここでは、赤色成分が基準値よりも高い領域が検出される度、探索動作を一時中断する処理方式について説明する。
なお、探索動作の中断は少なくとも、ユーザーにより指示カーソルの表示位置が確定されるまで継続される。この実施例では、赤目補正処理が終了するまで探索動作の中断が継続される。
また、赤目補正機能の実行は、操作部１５を通じて実行されるものとする。赤目補正の対象画像についても操作部１５を通じて選択されるものとする。
【００１６】
もっとも、モニタ装置２１の画面上に表示されたメニュー画面を通じて赤目補正機能の実行を指示入力することも可能である。対象画像の選択についても同様である。
赤目補正機能が起動されると、当該プログラムは、画像全域を探索範囲に設定し、画像データの赤色成分が基準値より多い領域を探索する（プロセスＰ１）。
この探索処理は、ピクセル又はブロック（複数ピクセルの集合）単位で実行される。
なお、ピクセル又はサブピクセルの画素データ（ビットマップデータ）は、例えばラスタ走査に従って取り出される。ラスタ走査は、例えば画面の左上隅から開始する。もっとも、他の位置から開始しても良い。
【００１７】
次に、探索単位毎に赤目領域（赤目の可能性のある領域）の有無が判断される（プロセスＰ２）。すなわち、基準値よりも大きい赤色成分を有するピクセルの有無が判断される。
探索単位について赤目の可能性のある領域が検出されなかった場合、プログラムは、否定結果を得る。この後、プログラムはプロセスＰ３に進み、画像全域について探索処理が終了したか否かを判断する。
そして、否定結果が得られている間、プログラムはプロセスＰ１に戻る。すなわち、画像全域についての探索処理が終了するまで、プロセスＰ１〜Ｐ３までの処理が繰り返し実行される。
なお、プロセスＰ３で肯定結果が得られた場合、プログラムはプロセスＰ４に進み、赤目補正処理の終了をユーザーに通知する。この後、赤目補正処理は終了する。この通知機能より、ユーザーは探索動作の終了を視覚的に確認できる。
【００１８】
これに対して、赤目の可能性のある領域が検出された場合、プログラムは判断プロセスＰ２で肯定結果を得る。このとき、プログラムは、検出された領域に指示カーソルを初期表示する（プロセスＰ５）。
図５（Ａ）及び図６（Ａ）に、モニタ装置３１の画面例を示す。
図５（Ａ）は、画面中央に人物が配置された構図であって、右目（図中左側）に赤目現象が生じている場合の表示例である。
図６（Ａ）は、画面右端に人物が配置された構図であって、やはり右目（図中左側）に赤目現象が生じている場合の表示例である。
いずれの場合も、指示カーソル３３が右目３５の位置に表示されている。これは画像データの取り出し方向が画面左側から右方向だからである。
図５（Ａ）及び図６（Ａ）に示すように、この実施例の場合、指示カーソル３３は、人物の位置によらず赤目領域又はその近傍に初期表示されている。
【００１９】
次に、プログラムは、検出された領域の正否（すなわち赤目であるか否か）をユーザーに問い合わせる画面を表示する（プロセスＰ６）。ユーザーの判断結果は、操作部１５を通じてプログラムに与えられる。検出された領域が、赤目補正領域と異なる可能性もあるためである。
ユーザーの入力が検出領域の誤検出を意味する場合、プログラムは、ユーザーの領域指定を受け付けるプロセスＰ７に進む。領域の指定は、操作部１５を通じて行われる。
領域の指定が終了すると、再びプロセスＰ６に戻り、領域の指定が正しいか再確認する状態になる。
プロセスＰ６において肯定結果が得られた場合、プログラムは、赤目を補正する。すなわち、領域の色成分を、瞳本来の色調に補正する（プロセスＰ８）。色調の補正処理は、赤色成分のみならず、必要に応じて他の色成分についても行われる。
補正後の画像は、モニタ装置３１に表示される。この後、プログラムは、赤目補正が正しく実行されたか否かをユーザーに問い合わせる画面を表示する（プロセスＰ９）。この場合も、ユーザーの判断結果は、操作部１５を通じてプログラムに与えられる。
ここで、ユーザーの入力が否定的である場合、プログラムは、領域の指定プロセスに戻る。
【００２０】
これに対し、ユーザーの入力が肯定的であった場合、プログラムは、赤目補正機能の実行を中止するか問い合わせる画面を表示する（プログラムＰ１０）。
この機能は、ユーザーが強制的に探索処理を終了したい場合に有効である。例えば、既に必要な赤目補正が終了し、探索動作の継続を必要としない場合に有効である。
この判断プロセスＰ１０において肯定結果が得られた場合、プログラムは、プロセスＰ４に移動して赤目補正処理の終了をユーザーに通知する。この後、赤目補正処理は終了する。
一方、この判断プロセスＰ１０において否定結果が得られた場合、プログラムは、再びプロセスＰ１に戻る。すなわち、プログラムは、プロセスＰ１〜Ｐ３の処理を繰り返し、赤目の可能性のある領域を探索する。この際、赤目領域の探索処理は、初期位置から再開しても良いし、探索処理が中断した位置から再開しても良い。
そして、画面全体の探索処理が終了する前に、赤目の可能性のある領域が検出された場合（プロセスＰ２で肯定結果が得られた場合）、プログラムは、プロセスＰ５〜Ｐ１０までの処理を実行する。
この実施例では、探索動作の再開後、左目（図中右側）の赤目領域が見つかったとする。
図５（Ｂ）及び図６（Ｂ）に、人物位置に応じた画面例を示す。いずれの場合も、指示カーソル３３が左目（図中右側）３７の位置に表示されている。
この場合も、指示カーソル３３は、人物の位置によらず赤目領域又はその近傍に初期表示されている。
【００２１】
（ｂ）実施例の効果
前述した技術の採用により、人物位置に関わらず、指示カーソル３３を赤目領域又はその近傍に初期表示することができる。これにより、赤目領域を特定するまでの操作性を格段に向上できる。
また、赤色成分と基準値との比較により赤目の可能性のある領域を探索するため、非力なＣＰＵを用いる場合でも短時間のうちに探索処理を実行できる。
【００２２】
（Ｃ−２）実施例２
（ａ）実行手順
図７及び図８に、赤目補正機能として実行される別の処理手順例を示す。
ここでは、赤色成分が基準値よりも高い領域を画像領域の全域について一度に探索する処理方式について説明する。
すなわち、赤目の可能性がある全ての領域を特定した上で、最も可能性の高い領域に指示カーソルを初期表示する処理方式について説明する。
この場合も、赤目補正機能が起動されると、当該プログラムは、画像全域を探索範囲に設定し、画像データの赤色成分が基準値より多い領域を探索する（プロセスＰ２１）。
【００２３】
また、この実施例の場合も、ピクセル又はサブピクセルの画素データは、画面の左上隅からラスタ走査順に取り出される。図９に、この走査例を示す。
この探索処理は、画像全域の探索動作が完了するまで継続される。
すなわち、探索条件を満たす領域が見つかっても、探索動作は中断せず、探索動作が継続される。このため、探索処理の終了時点には、赤目の可能性のある全ての領域の位置情報が得られる。
図９の例の場合、赤色成分が基準値より多い領域は４つある。木の枝に実った林檎の実３９、左右２つの瞳４１、４３、衣類に印刷された赤い丸４５の４つである。
なお、領域は、個々のピクセルについてではなく、探索条件を満たすピクセル群を単位として把握されるものとする。
【００２４】
次に、プログラムは、赤目領域（赤目の可能性のある領域）の有無を判断する（プロセスＰ２２）。
すなわち、プログラムは、基準値よりも大きい赤色成分を有するピクセルの有無を判断する。この判断プロセスにおいて、プログラムは、検出された領域が１つでもあれば肯定結果を得る。
ここで、否定結果が得られた場合、プログラムはプロセスＰ２３に進み、赤目補正処理の終了をユーザーに通知する。この後、赤目補正処理は終了する。この通知機能より、ユーザーは探索動作の終了を視覚的に確認できる。
【００２５】
一方、プロセスＰ２２で肯定結果が得られた場合（赤目の可能性のある領域が１つでも検出されていた場合）、プログラムはプロセスＰ２４に進む。プロセスＰ２４において、プログラムは、検出された領域が複数であるか否かを判断する。
検出された領域が１つの場合（否定結果が得られた場合）、プログラムは、検出された領域に指示カーソルを初期表示する（プロセスＰ２５）。
これに対して、検出された領域が複数の場合（肯定結果が得られた場合）、プログラムは、検出された領域のうち画面中央に最も近い領域を一つ決定し、その領域位置に指示カーソルを初期表示する（プロセスＰ２６）。
【００２６】
この決定処理では、画面中央と各領域までの距離が演算される。
距離は、例えば画面中央の点から各領域の中心までの長さとして定義する。
この他、距離は、例えば画面中央の点から各領域の外縁までの長さが最短のものとして定義する。
また例えば、距離は、画面中央の点から各領域の外縁までのピクセル数（例えば、水平方向のピクセル数と垂直方向のピクセル数の和）の最小値として定義する。
【００２７】
この決定処理で、画面中央に最も近い領域を選択するのは、赤目現象が発生する被写体は画面中央に写っている可能性が高いためである。
従って、図９の画像を探索対象とする場合、図１０（Ａ）に示すように、左目（図中右側）の領域又はその近傍を指し示すように指示カーソル４７が表示される。
このように、赤目の蓋然性の高い領域に指示カーソル４７が表示されると、プログラムは、検出結果の正否（すなわち赤目であるか否か）をユーザーに問い合わせる画面を表示する（プロセスＰ２７）。
この表示に対するユーザーの判断は、操作部１５を通じてプログラムに与えられる。
【００２８】
ここで、ユーザーの入力が検出領域の誤検出を意味する場合、プログラムは、ユーザーの領域指定を受け付けるプロセスＰ２８に進む。領域の指定は、操作部１５を通じて行われる。
領域の指定が終了すると、再びプロセスＰ２７に戻り、領域の指定が正しいか再確認する状態になる。
プロセスＰ２７において肯定結果が得られた場合、プログラムは、赤目を補正する。すなわち、領域の色情報を、瞳本来の色調に補正する（プロセスＰ２９）。
補正後の画像は、モニタ装置３１に表示される。
【００２９】
この後、プログラムは、赤目補正が正しく実行されたか否かをユーザーに問い合わせる画面を表示する（プロセスＰ３０）。
この場合も、ユーザーの判断結果は、操作部１５を通じてプログラムに与えられる。
【００３０】
ここで、ユーザーの入力が否定的である場合、プログラムは、領域の指定プロセスに戻る。
これに対し、ユーザーの入力が肯定的であった場合、プログラムは、他に赤目の可能性のある領域が検出されているかを判断する（プロセスＰ３１）。
ここで、検出された全ての領域についてユーザーの判断が与えられている場合（否定結果が得られた場合）、プログラムは、プロセスＰ２３に移動する。すなわち、赤目補正処理の終了をユーザーに通知する。
一方、ユーザーの判断を受けていない領域が存在する場合（肯定結果が得られた場合）、プログラムは、残っている領域のうち画面中央に最も近い領域を一つ決定し、その領域位置に指示カーソルを初期表示する（プロセスＰ３２）。
【００３１】
例えば、図９の画像を探索対象とする場合、図１０（Ｂ）に示すように、右目（図中左側）の領域又はその近傍を指し示すように指示カーソル４７が表示される。
この場合も、プログラムは、検出結果の正否（すなわち赤目であるか否か）をユーザーに問い合わせる画面を表示する（プロセスＰ３３）。
この表示に対するユーザーの判断は、操作部１５を通じてプログラムに与えられる。
【００３２】
ここで、ユーザーの入力が検出領域の誤検出を意味する場合、プログラムは、ユーザーの領域指定を受け付けるプロセスＰ３４に進む。領域の指定は、操作部１５を通じて行われる。
領域の指定が終了すると、再びプロセスＰ３３に戻り、領域の指定が正しいか再確認する状態になる。
【００３３】
プロセスＰ３３において肯定結果が得られた場合、プログラムは、赤目を補正する。すなわち、領域の色情報を、瞳本来の色調に補正する（プロセスＰ３５）。
補正後の画像は、モニタ装置３１に表示される。この後、プログラムは、赤目補正が正しく実行されたか否かをユーザーに問い合わせる画面を表示する（プロセスＰ３６）。
この場合も、ユーザーの判断結果は、操作部１５を通じてプログラムに与えられる。
ここで、ユーザーの入力が否定的である場合、プログラムは、領域の指定プロセスに戻る。
【００３４】
これに対し、ユーザーの入力が肯定的であった場合、プログラムは、赤目補正機能の実行を中止するか問い合わせる画面を表示する（プログラムＰ３７）。
この機能は、ユーザーが強制的に探索処理を終了したい場合に有効である。例えば、既に必要な赤目補正が終了した場合にも有効である。
この判断プロセスＰ３７において肯定結果が得られた場合、プログラムは、プロセスＰ２３に移動して赤目補正処理の終了をユーザーに通知する。この後、赤目補正処理は終了する。
【００３５】
一方、この判断プロセスＰ３７において否定結果が得られた場合、プログラムは、再びプロセスＰ３１に戻る。
すなわち、プログラムは、プロセスＰ３１〜Ｐ３６の処理を繰り返し、赤目の可能性のある領域に対する赤目補正を実行する。
そして、赤目の可能性のある領域が存在しなくなるか、ユーザーが赤目補正の終了を指示することで、ルーチン処理を抜けて一連の処理を終了する。
【００３６】
（ｂ）実施例の効果
前述した技術の採用により、人物又は動物が画面中央に位置する場合に、指示カーソルを赤目領域又はその近傍に初期表示することができる。これにより、赤目領域を特定するまでの操作性を格段に向上できる。
また、赤色成分と基準値との比較により赤目の可能性のある領域を探索するため、非力なＣＰＵを用いる場合でも短時間で探索結果を得ることができる。
【００３７】
（Ｃ−３）実施例３
（ａ）実行手順
図１１に、赤目補正機能として実行される他の処理手順例を示す。図１１は、実施例２の図８に対応する図である。
なお、図１１の前処理として、実施例２の図７（プロセスＰ２１〜Ｐ２３）と同じ処理が実行される。
すなわち、赤目補正機能が起動されると、当該プログラムは、画像全域を探索範囲に設定し、画像データの赤色成分が基準値より多い領域を探索する処理が実行される。
【００３８】
この実施例の場合も、ピクセル又はサブピクセルの画素データは、画面の左上隅からラスタ走査順に取り出される。
図１２に、走査例を示す。この実施例では、人物が画面左端に位置する構図を想定する。また、赤色成分の多い他の領域が画面の中央付近にある構図を想定する。
プロセスＰ２１の探索処理は、画像全域の探索動作が完了するまで継続される。すなわち、探索処理の終了時点において、赤目の可能性のある全ての領域の位置情報が得られる。
図１２の例の場合も、赤色成分が基準値より多い領域は４つある。木の枝に実った林檎の実３９、左右２つの瞳４１、４３、衣類に印刷された赤い丸４５の４つである。
この場合も、領域は、個々のピクセルについてではなく、探索条件を満たすピクセル群を単位として把握されるものとする。
【００３９】
次に、プログラムは、赤目領域（赤目の可能性のある領域）の有無を判断する（プロセスＰ２２）。
すなわち、基準値よりも大きい赤色成分を有するピクセルの有無が判断される。この判断プロセスでは、検出された領域が１つでもあれば肯定結果が得られる。
ここで、否定結果が得られた場合、プログラムはプロセスＰ２３に進み、赤目補正処理の終了をユーザーに通知する。この後、赤目補正処理は終了する。
この通知機能より、ユーザーは探索動作の終了を視覚的に確認できる。
【００４０】
これに対し、赤目の可能性のある領域が１つでも検出されていた場合、プログラムはプロセスＰ４４に進む。プロセスＰ４４において、プログラムは、検出された領域が複数であるか否かを判断する。
検出された領域が１つの場合（否定結果が得られた場合）、プログラムは、検出された領域に指示カーソルを初期表示する（プロセスＰ４５）。
これに対して、検出された領域が複数の場合（肯定結果が得られた場合）、プログラムは、検出された領域のうち赤色成分の割合が一番多い領域を一つ決定し、その領域位置に指示カーソルを初期表示する（プロセスＰ４６）。
【００４１】
ここで、赤色成分の割合は、例えば青色成分と緑色成分のうち大きい方を基準とする赤色成分の比率として定義する。
なお、探索対象とする領域全体としての赤色成分の割合は、例えば領域全体の平均値として定義する。また、探索対象とする領域全体としての赤色成分の割合は、例えば領域内の最大値として定義する。
この決定処理で、赤色成分の割合が最も多い領域を選択するのは、赤目現象が生じている領域は、非常に赤色成分の割合が高いためである。
【００４２】
図１２を探索対象とする場合の指示カーソルの初期表示例を図１３に示す。図１３（Ａ）は、左目（図中右側）４３の赤色成分の割合が最も多い場合の表示例である。
指示カーソル４７は、左目（図中右側）の領域又はその近傍を指し示すように表示されている。
このように、赤目の蓋然性の高い領域に指示カーソル４７が表示されると、プログラムは、検出結果の正否（すなわち赤目であるか否か）をユーザーに問い合わせる画面を表示する（プロセスＰ４７）。この表示に対するユーザーの判断は、操作部１５を通じてプログラムに与えられる。
【００４３】
ここで、ユーザーの入力が検出領域の誤検出を意味する場合、プログラムは、ユーザーの領域指定を受け付けるプロセスＰ４８に進む。領域の指定は、操作部１５を通じて行われる。
領域の指定が終了すると、再びプロセスＰ４７に戻り、領域の指定が正しいか再確認する状態になる。
プロセスＰ４７において肯定結果が得られた場合、プログラムは、赤目を補正する。すなわち、領域の色情報を、瞳本来の色調に補正する（プロセスＰ４９）。
【００４４】
補正後の画像は、モニタ装置３１に表示される。この後、プログラムは、赤目補正が正しく実行されたか否かをユーザーに問い合わせる画面を表示する（プロセスＰ５０）。
この場合も、ユーザーの判断結果は、操作部１５を通じてプログラムに与えられる。
ここで、ユーザーの入力が否定的である場合、プログラムは、領域の指定プロセスに戻る。
【００４５】
これに対し、ユーザーの入力が肯定的であった場合、プログラムは、他に赤目の可能性のある領域が検出されているかを判断する（プロセスＰ５１）。
ここで、検出された全ての領域についてユーザーの判断が与えられている場合（否定結果が得られた場合）、プログラムは、プロセスＰ２３に移動する。すなわち、赤目補正処理の終了をユーザーに通知する。
一方、ユーザーの判断を受けていない領域が存在する場合（肯定結果が得られた場合）、プログラムは、残っている領域のうち直前回に赤目領域として指定された領域に最も近い領域を一つ決定し、その領域位置に指示カーソルを初期表示する（プロセスＰ５２）。
【００４６】
この決定処理では、画面中央と各領域までの距離が演算される。
距離は、例えば直前回に特定した赤目領域の中心と各領域の中心との長さとして定義する。
また例えば、距離は、直前回に特定した赤目領域の外縁から各領域の外縁までの長さが最短のものとして定義する。
また例えば、距離は、直前回に特定した赤目領域から各領域の外縁までのピクセル数（例えば、水平方向のピクセル数と垂直方向のピクセル数の和）の最小値として定義する。
【００４７】
この決定処理で、直前回に特定した赤目領域に最も近い領域を選択するのは、赤目現象は両目共に発生する可能性が高く、直前回の近傍に赤目領域が存在する可能性が非常に高いためである。
従って、図１１の画像を探索対象とする場合、図１２（Ｂ）に示すように、右目（図中左側）の領域又はその近傍を指し示すように指示カーソル４７が表示される。
この場合も、プログラムは、検出結果の正否（すなわち赤目であるか否か）をユーザーに問い合わせる画面を表示する（プロセスＰ５３）。この表示に対するユーザーの判断は、操作部１５を通じてプログラムに与えられる。
【００４８】
ここで、ユーザーの入力が検出領域の誤検出を意味する場合、プログラムは、ユーザーの領域指定を受け付けるプロセスＰ５４に進む。領域の指定は、操作部１５を通じて行われる。
領域の指定が終了すると、再びプロセスＰ５３に戻り、領域の指定が正しいか再確認する状態になる。
プロセスＰ５３において肯定結果が得られた場合、プログラムは、赤目を補正する。すなわち、領域の色情報を、瞳本来の色調に補正する（プロセスＰ５５）。
【００４９】
補正後の画像は、モニタ装置３１に表示される。この後、プログラムは、赤目補正が正しく実行されたか否かをユーザーに問い合わせる画面を表示する（プロセスＰ５６）。
この場合も、ユーザーの判断結果は、操作部１５を通じてプログラムに与えられる。
ここで、ユーザーの入力が否定的である場合、プログラムは、領域の指定プロセスに戻る。
【００５０】
これに対し、ユーザーの入力が肯定的であった場合、プログラムは、赤目補正機能の実行を終了するか問い合わせる画面を表示する（プログラムＰ５７）。
この機能は、ユーザーが強制的に探索処理を終了したい場合に有効である。例えば、既に必要な赤目補正が終了した場合にも有効である。
この判断プロセスＰ５７において肯定結果が得られた場合、プログラムは、プロセスＰ２３に移動して赤目補正処理の終了をユーザーに通知する。この後、赤目補正処理は終了する。
【００５１】
一方、この判断プロセスＰ５７において否定結果が得られた場合、プログラムは、再びプロセスＰ５１に戻る。すなわち、プログラムは、プロセスＰ５１〜Ｐ５６の処理を繰り返し、赤目の可能性のある領域に対する赤目補正を実行する。
そして、赤目の可能性のある領域が存在しなくなるか、ユーザーが赤目補正の終了を指示することで、ルーチン処理を抜けて一連の処理を終了する。
【００５２】
（ｂ）実施例の効果
前述した技術の採用により、人物や動物が画面の端に位置している場合でも、指示カーソルを赤目領域又はその近傍に初期表示することができる。これにより、赤目領域を特定するまでの操作性を格段に向上できる。
また、赤色成分と基準値との比較により赤目の可能性のある領域を探索するため、非力なＣＰＵを用いる場合でも短時間で探索結果を得ることができる。
【００５３】
（４）他の実施形態
（ａ）前述の実施例１では、探索動作の再開は、領域の修正の有無にかかわらず、初期位置から又は中断した位置から探索動作を再開するものとして説明した。
しかし、指示カーソルの位置がユーザーにより修正された場合には（プロセスＰ７）、修正後の位置から探索動作を再開しても良い。
この手法の採用により、画面中に探索対象とする領域以外にも探索条件を満たす領域が多数ある場合にも、赤目領域に指示カーソルが初期表示される確率を高めることができる。
（ｂ）前述の実施例２では、指示カーソル４７の２回目以降の初期表示位置を画面中央部に一番近い検出領域とするものとして説明した。
しかし、実施例３の場合と同様、探索対象領域として確定された直前回の検出領域に一番近い検出領域に、指示カーソル４７を初期表示しても良い。
（ｃ）前述の実施例３では、指示カーソル４７の２回目以降の初期表示位置を、直前回に確定した領域に最も近い検出領域として説明した。
しかし、実施例２の場合と同様、画面中央部に一番近い検出領域に、指示カーソル４７を初期表示しても良い。
【００５４】
（ｄ）前述の実施例３では、指示カーソル４７の２回目以降の初期表示位置を、直前回に確定した領域に最も近い検出領域として説明した。
ところで、赤目領域は、水平方向又は垂直方向に隣り合うことが多い。瞳は水平方向に並ぶように撮影されるか、又は、縦横逆向きに撮影されるためである。
従って、直前回に確定した領域に最も近い検出領域は、直前回に確定した領域に対して水平方向又は垂直方向の領域内から選択することが望ましい。もっとも、瞳の並びは、厳密な意味で水平又は垂直である必要はない。
【００５５】
なお、実際の探索処理では、これら探索方向を予め選択又は設定できることが望ましい。この探索方向の切替は、ユーザーインターフェースを通じて行われることが望ましい。いずれか一方のみを実行することで、常に両方を実行する場合に比して処理時間の短縮を実現できる。
もっとも、探索方向の切替は、画像情報から自動的に実行することもできる。例えば、赤目領域の検出時に目の向き（例えば、まぶたの輪郭線の方向）も検出し、他方の瞳の並び方向を推定して探索方向を切り替えても良い。
【００５６】
これに対し、水平方向への探索処理と垂直方向への探索処理の両方を実行する手法を採用しても良い。例えば、水平方向について赤目領域を検出できない場合には、垂直方向について赤目領域の検出を開始することにしても良い。
このように、２方向の探索処理を組み合わせることにより、被写体像の向きが分からない状態でも、指示カーソルを赤目領域位置に初期表示できる。
勿論、赤目の存在する可能性の高い領域を優先的に探索するため、探索時間の短縮を実現できる。
なお、ここでは水平と垂直方向の２方向について説明しているが、３方向以上に方向に探索範囲を広げる手法を採用しても良い。
【００５７】
（ｅ）前述の実施例２及び３においても、指示カーソル４７の２回目以降の初期表示位置を、赤色成分の割合の一番多い領域としても良い。
（ｆ）前述の実施例２及び３において、指示カーソル４７の２回目以降の初期表示位置を、直前回に確定した検出領域から取り出した画像データの色成分との類似度が一番高い領域としても良い。
赤色領域との類似度の高い領域は、赤目領域である蓋然性が高いためである。この手法の採用により、赤目領域の探索精度を高めることが期待できる。
【００５８】
（ｇ）前述の実施例２及び３では、指示カーソルの初期表示位置が不適当な場合（修正が指示された場合）、ユーザーが操作部を通じて表示位置を入力する場合について説明した。
しかし、検出された領域の中から選択した領域に、指示カーソルの表示位置を移動させても良い。
例えば、直前回までに確認対象となった領域を除き、検出された複数の領域の中で画像中央部に一番近い領域に指示カーソルを移動させても良い。
また例えば、直前回までに確認対象となった領域を除き、検出された複数の領域の中で直前回の検出領域に一番近い領域に指示カーソルを移動させても良い。
この機能の搭載により、ユーザーの指示入力に必要な操作をボタン等のプッシュ操作など簡単なものとできる。
【００５９】
（ｈ）前述の実施形態においては、色調異常のある瞳（すなわち、赤目）を特徴領域として探索し、検出された領域の色調を補正する赤目補正機能について説明した。
しかし、特徴領域の探索結果は赤目補正に使用する場合に限らない。
例えば、色調異常の無い瞳を特徴領域として顔認識に使用しても良い。また例えば、手足その他の部位を特徴領域とすることもできる。
また例えば、特徴的な形状や色で定義されるパターンを特徴領域に定め、検出結果を検査装置やセキュリティ装置として使用しても良い。この場合、探索対象となるパターンは、対又は組の状態で近傍に存在又は出現する蓋然性の高いものであれば、どのようなものでも良い。
（ｉ）前述の実施形態には、発明の趣旨の範囲内で様々な変形例が考えられる。また、本明細書の記載に基づいて創作される各種の変形例及び応用例も考えられる。
【図面の簡単な説明】
【００６０】
【図１】従来使用されている探索方法の概念図である。
【図２】発明に係る画像処理装置の実施例を示す図である。
【図３】赤目補正機能の処理手順の一部を示す図である。
【図４】赤目補正機能の処理手順の一部を示す図である。
【図５】指示カーソルの初期表示例を示す図である。
【図６】指示カーソルの初期表示例を示す図である。
【図７】赤目補正機能の処理手順の一部を示す図である。
【図８】赤目補正機能の処理手順の一部を示す図である。
【図９】探索対象とする画面例を示す図である。
【図１０】指示カーソルの初期表示例を示す図である。
【図１１】赤目補正機能の処理手順の一部を示す図である。
【図１２】探索対象とする画面例を示す図である。
【図１３】指示カーソルの初期表示例を示す図である。
【符号の説明】
【００６１】
１１        印刷装置
１３        制御部
１５        操作部
１７        表示部
１９        印刷デバイス
２１        外部メモリ・インターフェース
２３        ホスト装置・インターフェース
２５        モニタ装置・インターフェース
３３、４７  指示カーソル
【図１】
2005338972.tif 000003
【図２】
2005338972.tif 000004
【図３】
2005338972.tif 000005
【図４】
2005338972.tif 000006
【図５】
2005338972.tif 000007
【図６】
2005338972.tif 000008
【図７】
2005338972.tif 000009
【図８】
2005338972.tif 000010
【図９】
2005338972.tif 000011
【図１０】
2005338972.tif 000012
【図１１】
2005338972.tif 000013
【図１２】
2005338972.tif 000014
【図１３】
2005338972.tif 000015