(57)【要約】【課題】赤目領域検出の精度を落とすことなく、メモリ資源を節約し高速に赤目領域を検出することができる画像処理装置、画像処理方法、画像処理プログラムを提供する。【解決手段】ブロック符号化されている符号画像をブロック毎に復号化し画像を生成する復号化手段と、前記画像を所定の単位領域毎を解析対象として解析し、前記画像内における赤目候補領域の位置を検出する検出手段と、検出された前記赤目候補領域が含まれる前記単位領域のみを解析対象として解析し、前記赤目候補領域から所定の選抜条件によって選抜された赤目領域の位置を特定する特定手段と、前記単位領域に対応するブロックを前記復号化手段に復号化させ、復号化された前記単位領域を前記検出手段に解析させることを前記画像の全体の解析が終了するまで繰り返し、前記赤目候補領域が含まれる前記単位領域に対応するブロックのみを前記復号化手段に復号化させ、前記特定手段に前記赤目領域の位置を特定させる、制御手段と、を備える画像処理装置。【選択図】図１
2007156694.tif 000002
【特許請求の範囲】
【請求項１】
ブロック符号化されている符号画像をブロック毎に復号化し画像を生成する復号化手段と、
前記画像を所定の単位領域毎を解析対象として解析し、前記画像内における赤目候補領域の位置を検出する検出手段と、
検出された前記赤目候補領域が含まれる前記単位領域のみを解析対象として解析し、前記赤目候補領域から所定の選抜条件によって選抜された赤目領域の位置を特定する特定手段と、
前記単位領域に対応するブロックを前記復号化手段に復号化させ、復号化された前記単位領域を前記検出手段に解析させることを前記画像の全体の解析が終了するまで繰り返し、前記赤目候補領域が含まれる前記単位領域に対応するブロックのみを前記復号化手段に復号化させ、前記特定手段に前記赤目領域の位置を特定させる、制御手段と、
を備える画像処理装置。
【請求項２】
前記制御手段は、前記画像のうち前記解析対象の前記単位領域のみを前記内部記憶媒体に保持させる、
請求項１に記載の画像処理装置。
【請求項３】
前記符号画像はＪＰＥＧフォーマットで符号化されており、
前記制御手段は、前記赤目候補領域が含まれる前記単位領域まではブロック毎にハフマン復号化までを行い、前記赤目候補領域が含まれる前記単位領域に対応するブロックのみを復号化する、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記赤目領域を補正する補正手段と、
前記画像をプリントユニットに印刷させるための印刷データを生成し前記プリントユニットに印刷させる印刷制御手段と、をさらに備え、
前記制御手段は、前記赤目領域が含まれる前記単位領域に対応するブロックを前記復号化手段に復号化させ、前記補正手段に補正させた後、前記印刷制御手段に前記赤目領域が補正された前記単位領域の前記印刷データを生成させ前記プリントユニットに印刷させる、
請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項５】
前記赤目領域を補正する補正手段と、
前記画像をブロック毎に符号化し符号画像を生成する符号化手段と、をさらに備え、
前記制御手段は、前記赤目領域が含まれる単位領域に対応するブロックのみを前記復号化手段に復号化させ、前記補正手段に補正させた後、前記赤目領域が補正された前記単位領域に対応するブロックを前記符号化手段に符号化させる、
請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項６】
前記赤目領域を補正する補正手段と、
表示ユニットに前記画像を表示させる表示制御手段と、をさらに備え、
前記制御手段は、前記赤目領域が含まれる前記単位領域に対応するブロックを前記復号化手段に復号化させ、前記補正手段に補正させた後、前記表示制御手段に前記赤目領域が補正された前記画像を表示させる、
請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項７】
ブロック符号化されている符号画像をブロック毎に復号化し画像を生成し、
前記画像を所定の単位領域毎を解析対象として解析し、前記画像内における赤目候補領域の位置を検出し、
検出された前記赤目候補領域が含まれる前記単位領域のみを解析対象として解析し、前記赤目候補領域から所定の選抜条件によって選抜された赤目領域の位置を特定し、
前記単位領域に対応するブロックを前記復号化手段に復号化させ、復号化された前記単位領域を前記検出手段に解析させることを前記画像の全体の解析が終了するまで繰り返し、前記赤目候補領域が含まれる前記単位領域に対応するブロックのみを前記復号化手段に復号化させ、前記特定手段に前記赤目領域の位置を特定させる、
ことを含む画像処理方法。
【請求項８】
ブロック符号化されている符号画像をブロック毎に復号化し画像を生成する復号化手段と、
前記画像を所定の単位領域毎を解析対象として解析し、前記画像内における赤目候補領域の位置を検出する検出手段と、
検出された前記赤目候補領域が含まれる前記単位領域のみを解析対象として解析し、前記赤目候補領域から所定の選抜条件によって選抜された赤目領域の位置を特定する特定手段と、
前記単位領域に対応するブロックを前記復号化手段に復号化させ、復号化された前記単位領域を前記検出手段に解析させることを前記画像の全体の解析が終了するまで繰り返し、前記赤目候補領域が含まれる前記単位領域に対応するブロックのみを前記復号化手段に復号化させ、前記特定手段に前記赤目領域の位置を特定させる、制御手段と、
してコンピュータを機能させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及び画像処理プログラムに関し、特に赤目補正に関する。
【背景技術】
【０００２】
夜間にストロボを発光させて人物を撮影すると人物の目が赤く写る、いわゆる赤目現象が発生することがある。これは、薄暗い環境下で瞳孔が大きく開かれた状態で、ストロボから発せられ目に対して正面から入射した光が、拡大した瞳孔を通って網膜の血管に反射し、その反射光がカメラのレンズに入射するためと考えられている。赤目現象には、目が赤く写る赤目や金色に写る金目等がある（本明細書ではそれらを含めて赤目と言う）。従来、撮影前に予備発光し瞳孔の開きを小さくさせることによって赤目現象を低減するカメラが知られている。近年では赤目現象が発生している画像をディジタル画像処理によって補正するソフトウェアも知られている。
赤目現象が発生している画像から、ユーザによる赤目領域の選択等の処理の介在なしに、自動的に赤目領域を検出し補正する方法には、各種の公知の方法があり（例えば特許文献１）、例えば最初に顔の領域を検出して顔の領域内から色や形状等を判定して赤目の領域を検出する等の方法がある。赤目検出から補正までの処理の無駄を省くために、画像の撮影情報（例えばシーンモードやストロボ発光の有無等）を参照して赤目が発生している画像であろうと判定された画像に対して、赤目検出と補正処理をする方法も考えられている（例えば特許文献２）。
ところで、メモリ資源が豊富でない電子機器の場合、例えばスタンドアロン型のプリンタを例にすると、１つの画像全体を内部メモリに置かずにメモリーカードや外付けのハードディスク等から画像を印刷処理バンド毎に逐次読み出して印刷データを生成し印刷すること等が行われている。このようなプリンタで上述のような自動赤目補正を実現しようとすると、例えば上述のような顔検出処理や赤目特定処理等の処理ステップ毎に外部の記憶媒体にアクセスしなければならないし、画像が符号化されているような場合は、処理毎に何度も復号化を繰り返さなければならないという問題があった。また、まず画像全体を走査して粗い精度で赤目候補領域の位置を検出して、次に赤目候補領域から赤目領域を特定するという二段階のステップのどちらかを省略すると赤目検出の精度が落ちるという問題があった。
【０００３】
【特許文献１】特開２００４−１４５２８７号公報
【特許文献２】特開２００５−４５４９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、赤目領域検出の精度を落とすことなく、メモリ資源を節約し高速に赤目領域を検出することができる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
（１）上記目的を達成するための画像処理装置は、ブロック符号化されている符号画像をブロック毎に復号化し画像を生成する復号化手段と、前記画像を所定の単位領域毎を解析対象として解析し、前記画像内における赤目候補領域の位置を検出する検出手段と、検出された前記赤目候補領域が含まれる前記単位領域のみを解析対象として解析し、前記赤目候補領域から所定の選抜条件によって選抜された赤目領域の位置を特定する特定手段と、前記単位領域に対応するブロックを前記復号化手段に復号化させ、復号化された前記単位領域を前記検出手段に解析させることを前記画像の全体の解析が終了するまで繰り返し、前記赤目候補領域が含まれる前記単位領域に対応するブロックのみを前記復号化手段に復号化させ、前記特定手段に前記赤目領域の位置を特定させる、制御手段と、を備える。
赤目候補領域から赤目領域を選抜する際、赤目候補領域が含まれる単位領域に対応するブロックのみを復号化して解析する構成であるので、赤目候補領域が含まれない単位領域も含めて全てのブロックを復号化する場合と比較して、赤目領域の特定に要する処理時間を短縮することができる。
【０００６】
（２）前記制御手段は、前記画像のうち前記解析対象の前記単位領域のみを前記内部記憶媒体に保持させてもよい。
画像のうち解析対象の単位領域のみを内部記憶媒体に保持させる構成は、解析対象でない、つまり赤目候補領域を含まない単位領域も含む復号化された画像全体を内部記憶媒体に保持する場合と比較して、メモリ資源を節約することができる。
【０００７】
（３）前記符号画像はＪＰＥＧフォーマットで符号化されており、前記制御手段は、前記赤目候補領域が含まれる前記単位領域まではブロック毎にハフマン復号化までを行い、前記赤目候補領域が含まれる前記単位領域に対応するブロックのみを復号化してもよい。
ＪＰＥＧフォーマットに符号化されている符号画像に対してハフマン復号化までを行うことにより符号化の単位である各ブロックのサイズは固定長となる。赤目候補領域が含まれる単位領域まではブロック毎にハフマン復号化までを行うことにより赤目候補領域が含まれない単位領域を読み飛ばし、赤目候補領域が含まれる単位領域に対応するブロックのみを、ハフマン復号化を含む全復号化処理を行うことにより、赤目候補領域が含まれない単位領域に対しても全復号化処理を行う場合と比較して、高速に赤目候補領域の解析を開始することができる。
【０００８】
（４）前記赤目領域を補正する補正手段と、前記画像をプリントユニットに印刷させるための印刷データを生成し前記プリントユニットに印刷させる印刷制御手段と、をさらに備え、前記制御手段は、前記赤目領域が含まれる前記単位領域に対応するブロックを前記復号化手段に複合化させ、前記補正手段に前記赤目領域を補正させた後、前記印刷制御手段に前記赤目領域が補正された前記単位領域の前記印刷データを生成させ前記プリントユニットに印刷させてもよい。
赤目領域を含まない単位領域に対しては赤目補正処理を起動せずに印刷データを生成しプリントユニットに印刷させ、赤目領域を含む単位領域に対してのみ赤目補正処理を施して印刷データを生成しプリントユニットに印刷させることにより、赤目領域を含まない単位領域に対しても赤目補正処理を起動する場合と比較して、処理の無駄を省き高速にプリントユニットに赤目補正された画像を印刷させることができる。
【０００９】
（５）前記赤目領域を補正する補正手段と、前記画像をブロック毎に符号化し符号画像を生成する符号化手段と、をさらに備え、前記制御手段は、前記赤目領域が含まれる単位領域に対応するブロックのみを前記復号化手段に復号化させ、前記補正手段に補正させた後、前記赤目領域が補正された前記単位領域に対応するブロックを前記符号化手段に符号化させてもよい。
赤目領域を含まない単位領域に対応するブロックに対しては復号化処理と赤目補正処理を実行せず、赤目領域を含む単位領域に対応するブロックに対して復号化処理、赤目補正処理を実行して再び符号化することにより、赤目領域を含まない単位領域に対して、復号化と補正処理を起動する場合と比較して、処理の無駄を省き高速に赤目補正された符号画像を生成することができると共に、復号化と符号化を行うことによる画質の劣化を赤目領域を含まない単位領域に対して発生させなくすることができる。
【００１０】
（６）前記赤目領域を補正する補正手段と、表示ユニットに前記画像を表示させる表示制御手段と、をさらに備え、前記制御手段は、前記赤目領域が含まれる前記単位領域に対応するブロックを前記復号化手段に復号化させ、前記補正手段に補正させた後、前記表示制御手段に前記赤目領域が補正された前記画像を表示させてもよい。
赤目領域を含まない単位領域に対しては赤目補正処理を起動せずに表示ユニットに表示させ、赤目領域を含む単位領域に対して赤目補正処理を施して表示ユニットに表示させることにより、赤目領域を含まない単位領域に対しても赤目補正処理を起動する場合と比較して、処理の無駄を省き高速に表示ユニットに赤目補正された画像を表示させることができる。
【００１１】
（７）上記目的を達成するための画像処理方法は、ブロック符号化されている符号画像をブロック毎に復号化し画像を生成し、前記画像を所定の単位領域毎を解析対象として解析し、前記画像内における赤目候補領域の位置を検出し、検出された前記赤目候補領域が含まれる前記単位領域のみを解析対象として解析し、前記赤目候補領域から所定の選抜条件によって選抜された赤目領域の位置を特定し、前記単位領域に対応するブロックを前記復号化手段に復号化させ、復号化された前記単位領域を前記検出手段に解析させることを前記画像の全体の解析が終了するまで繰り返し、前記赤目候補領域が含まれる前記単位領域に対応するブロックのみを前記復号化手段に復号化させ、前記特定手段に前記赤目領域の位置を特定させることを含む。
赤目候補領域から赤目領域を選抜する際、赤目候補領域が含まれるブロックを含む単位領域のみを復号化して解析する構成であるので、全てのブロックを復号化する場合と比較して、赤目領域の特定に要する処理時間を短縮できる。
【００１２】
（８）上記目的を達成するための画像処理プログラムは、ブロック符号化されている符号画像をブロック毎に復号化し画像を生成する復号化手段と、前記画像を所定の単位領域毎を解析対象として解析し、前記画像内における赤目候補領域の位置を検出する検出手段と、検出された前記赤目候補領域が含まれる前記単位領域のみを解析対象として解析し、前記赤目候補領域から所定の選抜条件によって選抜された赤目領域の位置を特定する特定手段と、前記単位領域に対応するブロックを前記復号化手段に復号化させ、復号化された前記単位領域を前記検出手段に解析させることを前記画像の全体の解析が終了するまで繰り返し、前記赤目候補領域が含まれる前記単位領域に対応するブロックのみを前記復号化手段に復号化させ、前記特定手段に前記赤目領域の位置を特定させる、制御手段と、してコンピュータを機能させる。
赤目候補領域から赤目領域を選抜する際、赤目候補領域が含まれるブロックを含む単位領域のみを復号化して解析する構成であるので、全てのブロックを復号化する場合と比較して、赤目領域の特定に要する処理時間を短縮できる。
【００１３】
尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。また、本発明は装置の発明として特定できるだけでなく、プログラムの発明としても、そのプログラムを記録した記録媒体の発明としても、方法の発明としても特定することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明をマルチファンクションプリンタに適用した実施の形態を次の順に説明する。
１．画像処理装置の構成
２．赤目補正印刷
２−１．赤目候補領域検出処理
２−２．赤目領域特定処理
３．その他の実施形態
【００１５】
１．画像処理装置の構成
図２は、本発明を適用したマルチファンクションプリンタ（ＭＦＰ）１の概略構成を示すブロック図である。ＭＦＰ１は、リムーバブルメモリ１０から汎用フォーマットの画像を読み込み、これらのデータに基づいて印刷が可能な所謂スタンドアロン型である。またＭＦＰ１は、ディジタルカメラ３０、ＰＣ（Personal Computer）３２、カメラ付携帯型電話端末３４等の外部システムから汎用フォーマットの画像を直接入力し、その画像に基づいて印刷が可能である。また、画像を読み取って印刷する機能も備えている。
【００１６】
外部ＩＦ（Inter Face）２０は、ディジタルカメラ３０、ＰＣ３２、カメラ付携帯型電話端末３４等の外部システムと通信するためのＵＳＢコントローラ、ＵＳＢコネクタ等を備える。通信規格はＵＳＢに限らず、ＩＥＥＥ１３９４、赤外線、イーサネット（登録商標）等のいかなる規格でもよい。
【００１７】
リムーバブルメモリコントローラ（ＲＭＣ）１２は、図示しないコネクタを介して外部記憶媒体としてのリムーバブルメモリ１０に接続され、リムーバブルメモリ１０とＲＡＭ１４との間でデータ転送を制御する。リムーバブルメモリ１０は、カード型フラッシュメモリ（所謂メモリカード）でもよいし、その他の繰り返し書き込み可能ないかなる不揮発性記憶媒体であってもよい。
【００１８】
画像処理ユニット１６は、シャープネス補整処理・階調補整処理等の画像補整処理、分版処理、ハーフトーニング、インタレース処理等をＣＰＵ２２と協働して高速に実行するための画像処理ＬＳＩやＤＳＰで構成される。尚、これらの処理をＣＰＵ２２によるプログラム処理によって実行してもよい。また画像処理ユニット１６にＪＰＥＧ圧縮・伸張機能を追加し、ＪＰＥＧ圧縮・伸張処理を高速化してもよい。
【００１９】
プリントユニット１８は、印刷データに基づいてインクジェット方式で用紙に画像を形成するための記録ヘッド、記録ヘッドの往復移動機構、給排紙機構等を備える。尚、印刷方式は、インクジェット方式、レーザ方式、サーマル方式、ドットインパクト方式等のいかなる印刷方式でも採用し得る。
スキャンユニット１９は、原稿を読み取るための光学系、イメージセンサ、イメージセンサの往復移動機構等を備える。
【００２０】
ＲＡＭ１４は、制御プログラムや制御プログラムの処理対象となる画像、印刷データ等が一時的に格納される揮発性メモリである。
ＣＰＵ２２は、フラッシュメモリ２４に格納されている制御プログラムを実行することにより、ＭＦＰ１の各部を制御し、復号化手段、検出手段、特定手段、制御手段、補正手段、印刷制御手段、符号化手段及び表示制御手段として機能する。制御プログラムはコンピュータ読み取り可能な記憶媒体からフラッシュメモリ２４に転送してもよいし、遠隔地のサーバからネットワークを経由してフラッシュメモリ２４に転送してもよい。
【００２１】
操作ユニット２６は、ユーザのメニュー操作や印刷要求を受け付けるための操作ボタン、ジョグダイヤル、その他各種のボタンを供えている。特定のモードで特定のボタンが押されると、そのモードに応じた各種の要求がＭＦＰ１に入力される。
表示ユニット２８は、ＬＣＤ等のＦＰＤ（Flat Panel Display）、グラフィックコントローラ等を備える。ＦＰＤに文字や画像を表示するために必要なフレームメモリ領域は表示ユニット２８の専用メモリに確保してもよいし、ＲＡＭ１４の一部領域に割り当ててもよい。フレームメモリ領域に書き込まれたデータがグラフィックコントローラによって定期的に読み出されることにより、ＦＰＤに表示される文字や画像が更新される。
【００２２】
２．赤目補正印刷
図３は、本発明を適用したＭＦＰ１の赤目補正印刷処理の流れを示すフローチャートである。図３に示す処理は、印刷対象ファイル選択モードにおいて印刷対象としてＪＰＥＧファイルがユーザによって選択されると起動され、制御プログラムがＣＰＵ２２によって実行されることによって進行する。
【００２３】
２−１．赤目候補領域検出処理
ステップＳ１００では、赤目候補領域検出処理が実行される。
図４は、赤目候補領域検出処理の流れを示すフローチャートである。
はじめに、印刷対象のＪＰＥＧファイルがオープンされる（ステップＳ２００）。具体的には、印刷対象のＪＰＥＧファイルのファイル情報が取得される。ファイル情報とは例えば、ファイル内のデータの参照ポインタやファイルサイズ等を含む情報である。ここでは、ファイル内のデータの参照ポインタがファイルの先頭位置に設定される。
【００２４】
ステップＳ２０２では、画像のサイズが取得される。具体的には、印刷対象のＪＰＥＧファイルのヘッダ情報が解析され、画像の幅及び高さの情報が取得される。
ステップＳ２０４では、赤目候補領域検出の初期化が実行される。具体的には、ステップＳ２０２で取得された画像の幅及び高さを、後述の赤目候補領域検出メイン処理が使用可能となるように設定される。
ステップＳ２０６では、注目行が画像の先頭行に設定される。本実施形態では、赤目候補領域検出メイン処理や後述の赤目領域特定メイン処理及び赤目領域補正メイン処理は、画像の１行分のデータを処理単位として実行される。
【００２５】
ステップＳ２０８では、注目行が復号化済みであるか判定される。
ステップＳ２１０では、注目行が復号化済みでなければ、注目行を含む単位領域に対応するブロックを復号化する。復号化された単位領域の画像はＲＡＭ１４に保持される。
図１（Ａ）は、赤目現象が発生している画像を模式的に示す図である。ＪＰＥＧフォーマットの符号化及び復号化の最小単位はＭＣＵと呼ばれており、ＪＰＥＧフォーマットの符号画像は上記のＭＣＵ単位で符号化され、水平方向は左辺から右辺の方向に１画面は上辺から下辺の方向に配列して構成されている。ＭＣＵは例えば縦８画素×横８画素や縦１６画素×横１６画素等の領域を指す。本実施形態では、ＭＣＵを８画素×８画素の領域とし、１つのＭＣＵに対応する領域が請求項に記載のブロックに相当する。図１（Ａ）で、例えばブロック１Ａは１つのＭＣＵを表しており、画像中の８行分に対応する領域（例えばブロック１Ａからブロック１Ｌまで）が請求項に記載の単位領域に相当する。１つの単位領域が復号化されると、ハフマン復号化、量子化逆変換、ＤＣＴ逆変換、色空間変換等を経て、８行分のＲＧＢ３チャンネルを有する画像が生成された状態となる。本実施形態では、復号化された画像のうち解析対象となる単位領域のみがＲＡＭ１４に保持される構成であるので、復号化された画像全体をＲＡＭ１４に保持する構成と比較して、メモリ資源を節約することができる。尚、本実施形態では、単位領域を１ブロック行として説明するが、単位領域は複数のブロック行であってもよいし、または１つのブロックであってもよい。１つのブロックを単位領域とする場合は、赤目候補領域検出メイン処理や、後述する赤目領域特定メイン処理及び赤目補正処理の処理単位を１つのブロックとする。
【００２６】
ステップＳ２１２では、赤目候補領域検出メイン処理が行われる。赤目候補領域検出メイン処理は画像中の１行毎を処理単位として実行される。赤目候補領域の検出は公知の方法で行えばよく、ここでは例えば、国際公開第２００３−０７１７８１号パンフレットに記載されている方法で赤目候補領域の検出が行われる。この方法では、ＨＳＬ（色相、彩度、明度）色空間に変換された画素が水平方向に１画素ずつ走査され、赤目の特徴的なパターンに当てはまる領域が検出される。赤目の特徴的なパターンとは例えば、瞳孔領域に囲まれたハイライト領域の有無や大きさ、瞳孔領域の色相、概ね円形の閉領域であるか否か、等によって判定される。
ファイル内のデータ参照ポインタもここで１画素ずつ１行分更新される。
【００２７】
ステップＳ２１４では、注目行が更新される。具体的には、注目行が１行下の位置に更新される。
ステップＳ２１６では、画像の最終行まで処理済みであるか判定される。注目行が画像の最終行を超えていない場合は、ステップＳ２０８に戻り、ステップＳ２１６までの処理が繰り返される。
ステップＳ２１８では、ステップＳ２１６で画像の最終行まで処理済みであると判定されると、赤目候補領域検出の終了処理が実行される。具体的には例えば、赤目候補領域検出メイン処理が内部で管理しているデータ参照ポインタに空アドレスが設定される。
ステップＳ２２０では、ファイルがクローズされる。具体的には、印刷対象のＪＰＥＧファイルのファイル情報が破棄される。
【００２８】
ステップＳ２２２では、赤目候補の個数が取得される。具体的には、上述の赤目候補領域検出メイン処理が画像の行数分繰り返されることによって検出された赤目候補の合計数が取得される。図１（Ａ）の画像であれば、赤目候補として例えば５つの領域１００、１０２、１０４、１０６、１０８が検出される。
ステップＳ２２４では、赤目候補情報が保存される。赤目候補情報とは、少なくとも赤目候補領域の位置情報を含む。具体的には例えば、虹彩と瞳孔を含む目の領域の中心座標（ｘ，ｙ）と、目の領域の半径、虹彩の色、瞳孔の色等の情報である。ここでは、ステップＳ２２２で取得した赤目候補領域の個数分の上記の赤目候補情報がＲＡＭ１４に確保された領域に保存される。
以上、赤目候補検出処理について説明した。
【００２９】
２−２．赤目領域特定処理
ステップＳ１０２では、赤目領域特定処理が実行される。
図５は、赤目領域特定処理の流れを示すフローチャートである。
ステップＳ３００では、ファイルがオープンされる。具体的には、上述のファイル情報が取得され、ファイル内のデータの参照ポインタがファイルの先頭位置に設定される。
ステップＳ３０２では、画像のサイズが取得される。具体的には、既に取得されている画像の幅と高さが設定される。既に解析されているヘッダ情報が破棄されている場合は、再度ヘッダ情報が解析され、画像の幅及び高さが取得される。
【００３０】
ステップＳ３０４では、赤目候補情報が画像の高さ方向に上から順に並び替えられる。具体的には、後述の赤目領域特定メイン処理のための復号化処理が無駄なく実行されるように、保存されている各赤目候補の目の中心座標と目の半径とに基づいて各赤目候補領域の上辺を求め、赤目候補領域の上辺位置が上から順になるように各赤目候補情報が並べ替えられる。
【００３１】
ステップＳ３０６では、赤目領域特定のための初期化が実行される。具体的にはステップＳ３０２で取得された画像の幅及び高さを、後述の赤目領域特定メイン処理が使用可能となるように設定される。
ステップＳ３０８では、先頭の赤目候補領域が注目赤目候補領域として設定される。具体的には、目の中心座標と目の半径とから、先頭の赤目候補領域の上辺と下辺の位置が設定される。
ステップＳ３１０では、注目行が画像の先頭行に設定される。
【００３２】
ステップＳ３１２では、注目行は赤目候補領域を含む単位領域に含まれるか判定される。
ステップＳ３１４では、注目行が注目赤目候補領域を含む単位領域に含まれない場合、赤目候補領域を含まない単位領域に対応するブロックに対してハフマン復号化のみを施し、注目行を更新する。本実施形態では、ＭＣＵの単位を８画素×８画素としているので、注目行は８行下の行に更新される。ＪＰＥＧフォーマットに符号化されている符号画像に対してハフマン復号化までを行うと、符号化の単位である各ブロックのサイズは固定長となる。赤目候補領域が含まれる単位領域まではブロック毎にハフマン復号化までを行うことにより赤目候補領域が含まれない単位領域をブロック毎に読み飛ばす構成であるため、赤目候補領域が含まれない単位領域に対してもハフマン復号化を含む全復号化処理を行う場合と比較して、高速に赤目候補領域の解析を開始することができる。尚、ステップＳ３１２及びステップＳ３１４の処理は、例えば赤目候補領域検出処理において赤目候補領域が含まれる単位領域に対応するブロック群のうちの先頭ブロックが符号画像データの先頭からのオフセットを各赤目候補領域毎に記憶しておき、記憶しておいたその位置にファイル内のデータ参照ポインタや注目行を更新してステップＳ３１６以降の処理を実行するようにしてもよい。
【００３３】
ステップＳ３１６では、注目行が復号化済みであるか判定される。
ステップＳ３１８では、注目行が復号化済みでない場合、注目行を含む単位領域に対応するブロックが復号化される。復号化された単位領域の画像はＲＡＭ１４に確保された領域に保持される。図１（Ｂ）は赤目候補領域が含まれる単位領域を示している。以降の処理が進行することにより、赤目候補領域を含む単位領域４、６及び９がＲＡＭ１４に保持される。
本実施形態では、赤目候補領域が含まれる単位領域に対応するブロックのみを復号化して解析する構成であるので、赤目候補領域が含まれない単位領域も含めて全てのブロックを復号化する場合と比較して、赤目領域の特定に要する処理時間を短縮することができる。画像のうち解析対象の単位領域のみをＲＡＭ１４に保持させる構成は、解析対象でない、つまり赤目候補領域を含まない単位領域も含む復号化された画像全体をＲＡＭ１４に保持する場合と比較して、メモリ資源を節約することができる。
【００３４】
ステップＳ３２０では、赤目領域特定メイン処理が実行される。赤目領域の特定は公知の方法で行えばよく、ここでは例えば、国際公開第２００３−０７１７８１号パンフレットに記載されている方法で赤目候補領域からより確からしい赤目領域の選抜が行われる。この方法では、赤目候補として挙げられた各領域内の色相、彩度、明度の値の平均値と標準偏差等が算出され、それらに基づいた統計処理を含む複数の統計処理により確からしい赤目領域が選抜される。
赤目領域特定メイン処理と以降の処理が進行することにより、赤目領域特定メイン処理の所定の選抜条件によって、図１（Ｂ）の領域１０８以外の４つの領域１００、１０２、１０４、１０６が選抜される。
【００３５】
ステップＳ３２２では、注目行が更新される。具体的には、注目行が１行下の位置に更新される。
ステップＳ３２４では、注目行が注目赤目候補領域に含まれるか判定される。ステップＳ３２２で更新された注目行が注目赤目候補領域に含まれる場合は、ステップＳ３１６の処理に戻りステップＳ３２４までの処理が繰り返される。注目行が注目赤目候補領域に含まれるかどうかは、上述の赤目候補領域の上辺と下辺の位置から判定される。
【００３６】
ステップＳ３２６では、注目行が注目赤目候補領域に含まれない場合、注目赤目候補領域が最終の赤目候補領域であるか判定される。言い換えると、全ての赤目候補領域が処理されたかどうかが判定される。
ステップＳ３２８では、注目赤目候補領域が最終の赤目候補領域でない場合、次の処理対象である赤目候補領域が設定される。
【００３７】
ステップＳ３３０では、注目赤目候補領域が最終の赤目候補領域である場合、赤目領域特定の終了処理が実行される。具体的には例えば赤目領域特定メイン処理が内部で管理しているデータ参照ポインタに空アドレスが設定される。
ステップＳ３３２では、ファイルがクローズされる。具体的には、印刷対象のＪＰＥＧファイルのファイル情報が破棄される。
【００３８】
ステップＳ３３４では、上述の処理によって選抜された赤目の個数が取得される。
ステップＳ３３６では、赤目情報が保存される。赤目情報とは、選抜された赤目領域の少なくとも位置情報を含む情報で、前述した赤目候補情報の構成要素と同様のものであってよい。ステップＳ３３４で取得された赤目の個数分の赤目情報がＲＡＭ１４に確保された領域に保存される。
以上、赤目領域特定処理について説明した。
【００３９】
ステップＳ１０４では、ファイルがオープンされる。具体的には、上述のファイル情報が取得され、ファイル内のデータの参照ポインタがファイルの先頭位置に設定される。
ステップＳ１０６では、画像サイズが取得される。具体的には、既に取得されている画像の幅と高さが設定される。
ステップＳ１０８では、赤目情報が画像の高さ方向に上から順に並び替えられる。具体的には、保存されている各赤目情報の目の中心座標と目の半径とに基づいて各赤目領域の上辺を求め、赤目領域の上辺位置が上から順になるように各赤目情報が並べ替えられる。
【００４０】
ステップＳ１１０では、赤目領域補正のための初期化が実行される。具体的にはステップＳ１０６で取得された画像の幅及び高さが、後述の赤目領域補正メイン処理が使用可能となるように設定される。
ステップＳ１１２では、先頭の赤目領域が設定される。具体的には、目の中心座標と目の半径とから、先頭の赤目領域の上辺と下辺の位置が設定される。
ステップＳ１１４では、注目行が画像の先頭行に設定される。
【００４１】
ステップＳ１１６では、印刷対象バンドが設定される。以降、画像から印刷データが生成され、プリントユニット１８によって印刷が実行されるまでの流れは、バンド単位で実行される。バンド単位でこれらの処理が実行されることにより、メモリ資源を節約することができる。印刷対象バンドに補正対象である赤目領域を含む単位領域が含まれる場合は、その単位領域に対して赤目領域の補正が施された後、印刷データが生成される。図１（Ａ）に示す画像の単位領域１から９に向かう順序でバンド単位の処理が実行されるものとして、以下説明する。
【００４２】
ステップＳ１１８では、注目行が復号化済みであるか判定される。
ステップＳ１２０では、注目行が復号化済みでない場合、注目行を含む単位領域に対応するブロックが復号化される。
ステップＳ１２２では、注目行は注目赤目領域に含まれるか判定される。
ステップＳ１２４では、赤目領域補正メイン処理が実行される。赤目領域の補正は公知の方法で行えばよいが、ここでは例えば、国際公開第２００３−０７１７８１号パンフレットに記載されている方法で赤目領域の補正が施される。この方法では、オリジナル画素の色相、彩度及び明度の値に基づいて、目の中心から放射状にかつ赤目の周辺領域とのエッジやコントラストが滑らかに変化するように決定された補正用の色相、彩度及び明度の値で赤目領域の各画素の値が補正される。
【００４３】
ステップＳ１２６では、注目行が更新される。具体的には、注目行が１行下の位置に更新される。
ステップＳ１２８では、更新された注目行は注目赤目領域に含まれるか判定される。
ステップＳ１３０では、更新された注目行が注目赤目領域に含まれない場合、全ての赤目領域が補正済みであるか判定される。
ステップＳ１３２では、全ての赤目領域が補正済みでない場合、次の赤目領域が注目赤目領域として設定される。
【００４４】
ステップＳ１３４では、印刷対象バンド内の全ての行が終了したか判定される。具体的には、ステップＳ１２６で更新された注目行が印刷対象バンド内の最終行を超えたかどうか判定される。
ステップＳ１３６では、印刷対象バンドの印刷データが生成され、印刷が実行される。具体的には、分版処理、ハーフトトーニング、インタレース処理が実行され、印刷対象バンドの印刷データが生成されると、プリントユニット１８が印刷データを用いて用紙に画像を印刷する。
【００４５】
ステップＳ１３８では、全バンドの処理が終了したか判定される。全バンドの処理が終了していない場合は、ステップＳ１１６に戻りステップＳ１３８までの処理が繰り返される。
ステップＳ１４０では、赤目領域補正の終了処理が実行される。具体的には例えば赤目領域補正メイン処理が内部で管理しているデータ参照ポインタに空アドレスが設定される。
ステップＳ１４２では、ファイルがクローズされる。具体的には、印刷対象のＪＰＥＧファイルのファイル情報が破棄される。
【００４６】
以上のようにして、赤目領域が自動的に補正された画像を印刷することができる。また、本実施形態では、上述のように画像全体を解析して検出された赤目候補領域から所定の選抜条件によってより確からしい赤目領域を選抜する方法を採用するため、画像全体から顔領域を検出し検出された顔領域から赤目領域を特定する方法を採用すると、顔検出の失敗によって赤目領域の検出漏れが発生するような画像であっても、赤目領域の検出漏れが発生しにくい。すなわち、精度よく確からしい赤目領域を特定することができる。
以上、赤目補正印刷を例にして本発明の実施形態を説明した。
【００４７】
３．その他の実施形態
その他の実施形態として、上述の赤目領域特定処理によって特定された赤目領域を含む単位領域のみを復号化し、赤目領域の補正を施した後、再び符号化するようにしてもよい。その場合、図１（Ｃ）に示すように単位領域４及び６のみが処理対象となる。赤目領域を含まない単位領域に対応するブロックに対しては復号化処理と赤目補正処理を実行せず、赤目領域を含む単位領域に対応するブロックに対して復号化処理、赤目補正処理を実行して再び符号化することにより、赤目領域を含まない単位領域に対して、復号化と補正処理を起動する場合と比較して、処理の無駄を省き高速に赤目補正された符号画像を生成することができると共に、復号化と符号化を行うことによる画質の劣化を赤目領域を含まない単位領域に対して発生させなくすることができる。
また、赤目補正が施された画像がＭＦＰ１のＦＰＤに表示されてもよい。赤目領域を含まない単位領域に対しては赤目補正処理を呼び出さずに表示ユニットに表示させ、赤目領域を含む単位領域に対して赤目補正処理を施して表示ユニットに表示させることにより、赤目領域を含まない単位領域に対しても赤目補正処理を呼び出す場合と比較して、処理の無駄を省き高速に表示ユニットに赤目補正された画像を表示させることができる。尚、本発明はフォトビューワ等の表示機器や表示装置を備えた電子機器全般に適用することができる。
【図面の簡単な説明】
【００４８】
【図１】本発明の一実施例に係る模式図。
【図２】本発明の一実施例に係る画像処理装置の概略構成を示すブロック図。
【図３】本発明の一実施例に係るフローチャート。
【図４】本発明の一実施例に係るフローチャート。
【図５】本発明の一実施例に係るフローチャート。
【符号の説明】
【００４９】
１：ＭＦＰ（画像処理装置）、１０：リムーバブルメモリ、１２：ＲＭＣ、１４：ＲＡＭ、１６：画像処理ユニット、１８：プリントユニット、１９：スキャンユニット、２０：外部ＩＦ、２２：ＣＰＵ（復号化手段、検出手段、特定手段、制御手段、補正手段、印刷制御手段、符号化手段、表示制御手段）、２４：フラッシュメモリ、２６：操作ユニット、２８：表示ユニット、３０：ディジタルカメラ、３４：カメラ付携帯型電話端末
【図１】
2007156694.tif 000003
【図２】
2007156694.tif 000004
【図３】
2007156694.tif 000005
【図４】
2007156694.tif 000006
【図５】
2007156694.tif 000007