(57)【要約】【課題】自動検出できない「顔」の領域も、自動モード時に自動補正を施すこと。【解決手段】画像データ内の顔に対して、画像補正や画像加工等の画像処理を行う画像処理装置において、画像データを読み込む画像読込手段と、前記読み込んだ画像を表示装置に表示させる表示制御手段と、画像処理を自動で行うか手動で行うかを選択させる選択手段と、手動の場合、どの領域に対して画像処理を行うかを指定させる領域指定手段と、前記指定された領域を登録することができる登録手段と、自動の場合、前記表示装置に表示されている画像の中から顔だと思われる領域を検出する検出手段と、前記手動の場合に登録した領域を読み出し、前記自動検出した顔領域と重ならない領域を検出する検出手段と、前記検出した領域に所定の画像処理を実行する実行手段を有する。【選択図】図２
2006270565.tif 000002
【特許請求の範囲】
【請求項１】
画像データ内の顔に対して、画像補正や画像加工等の画像処理を行う画像処理装置において、
画像データを読み込む画像読込手段と、前記読み込んだ画像を表示装置に表示させる表示制御手段と、画像処理を自動で行うか手動で行うかを選択させる選択手段と、手動の場合、どの領域に対して画像処理を行うかを指定させる領域指定手段と、前記指定された領域を登録することができる登録手段と、自動の場合、前記表示装置に表示されている画像の中から顔だと思われる領域を検出する検出手段と、前記手動の場合に登録した領域を読み出し、前記自動検出した顔領域と重ならない領域を検出する検出手段と、前記検出した領域に所定の画像処理を実行する実行手段を有することを特徴とする画像処理装置。
【請求項２】
画像データ内の顔に対して、画像補正や画像加工等の画像処理を行う画像処理方法において、
画像データを読み込む画像読込工程と、前記読み込んだ画像を表示装置に表示させる表示制御工程と、画像処理を自動で行うか手動で行うかを選択させる選択工程と、前記手動の場合、どの領域に対して画像処理を行うかを指定させる領域指定工程と、前記指定させた領域を登録することができる登録工程と、前記自動の場合、前記表示装置に表示されている画像の中から顔だと思われる領域を検出する検出工程と、前記手動の場合に登録した領域を読み出し、前記自動検出した顔領域と重ならない領域を検出する検出工程と、前記検出した領域に所定の画像処理を実行する実行工程を有することを特徴とする画像処理方法。
【請求項３】
コンピュータが読込み実行することで、コンピュータに所定の画像処理方法を制御可能とするモジュールを有するプログラムであって、
コンピュータに画像を読み込ませる画像読込モジュールと、前記読み込んだ画像を表示装置に表示させる表示制御モジュールと、画像処理を自動で行うか手動で行うかを選択させる選択モジュールと、前記手動の場合、どの領域に対して画像処理を行うかを指定させる領域指定モジュールと、前記指定させた領域を登録することができる登録モジュールと、前記自動の場合、前記表示装置に表示されている画像の中から顔だと思われる領域を検出する検出モジュールと、前記手動の場合に登録した領域を読み出し、前記自動検出した顔領域と重ならない領域を検出する検出モジュールと、前記検出した領域に所定の画像処理を実行する実行モジュールを有することを特徴とするプログラム。
【請求項４】
請求項２の画像処理方法をコンピュータに実行させるためのプログラムを格納する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを編集、補正等するための画像処理方法、画像処理装置、プログラム及び記憶媒体に関するものである。
【背景技術】
【０００２】
従来、画像データ内の「顔」に対して、何らかの補正処理や加工処理を実行する画像処理においては、自動モードと手動モードの２つのモードが設けられることが多い。
【０００３】
前記自動モードの場合、画像データ内の「顔」を自動検出する技術を用い、検出された顔領域内に前記画像処理を行う。
【０００４】
又、前記手動モードの場合、操作者に顔だと思われる領域を指定させ、前記指定された領域に対して、前記画像処理を行うものであった。
【０００５】
【特許文献１】特開２００２−１８３７３１号公報
【特許文献２】特開２００３−０３０６６７号公報
【特許文献３】特開平８−０６３５９７号公報
【特許文献４】特開２０００−１０５８２９号公報
【特許文献５】特開平８−０７７３３４号公報
【特許文献６】特開２００１−２１６５１５号公報
【特許文献７】特開平５−１９７７９３号公報
【特許文献８】特開平１１−０５３５２５号公報
【特許文献９】特開２０００−１３２６８８号公報
【特許文献１０】特開２０００−２３５６４８号公報
【特許文献１１】特開平１１−２５０２６７号公報
【特許文献１２】特許第２５４１６８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前記従来技術において、多くの場合は前記自動モードを用いることで、全ての「顔」に対して画像処理を施すことができるが、画像データ内の「顔」によっては、少し傾いていたり、横を向いていたり、うつむいていたり等していることで、自動的に検出できない「顔」も存在する。
【０００７】
前記のような、自動で検出できない「顔」に対しては、従来、手動モードで画像処理を行わせていた。
【０００８】
しかしながら、画像補正処理や画像加工処理の種類が多くなってきた場合、自動検出できない「顔」に関しては、画像補正の種類だけ、毎回、「顔」の領域を指定しなければならないという問題があった。
【０００９】
本発明は上記問題に鑑みてなされたもので、自動検出できない「顔」の領域も、自動モード時に自動補正を施すことができることを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、上記の問題を解決するため、前記手動モードを操作者が使い、領域を指定した場合は、そこが「顔」であると判断し、指定された領域を不揮発性の記憶媒体に保存できる登録手段を設け、自動モード時に前記登録した「顔」領域を、検出結果として使用することで、あたかも自動検出したごとく、画像処理を行えることを特徴とする。
【００１１】
図３は、前記指定された領域の登録形態を示す。
【００１２】
この登録情報は、画像データ毎に作成され、操作者が手動モードによって指定した領域の座標値を全てリストにして登録することができる。
【００１３】
尚、顔及び器官位置の検出に関しては、従来より様々な方法が提案されている。
【００１４】
例えば、特開２００２−１８３７３１号公報によれば、先ず、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。該顔候補領域に対して、画素毎の輝度勾配及び輝度勾配の重みを算出し、これらの値が、予め設定されている理想的な顔基準画像の勾配及び勾配の重みと比較した時に、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する方法が記載されている。
【００１５】
又、特開２００３−０３０６６７号公報によれば、先ず、画像中から肌色領域を検出し、同領域内において、人間の虹彩色画素を検出することにより、目の位置を検出することが可能であるとしている。
【００１６】
更に、特開平８−０６３５９７号公報によれば、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算し、マッチング度が最も高いテンプレートを選択し、最も高かったマッチング度が予め定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。同テンプレートを用いるこことで、目の位置を検出することが可能であるとしている。
【００１７】
又、特開２０００−１０５８２９号公報によれば、先ず、鼻画像パターンをテンプレートとし、画像全体、或は画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する。
【００１８】
次に、画像の鼻の位置よりも上の領域を目が存在する領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングを取り、或る閾値よりもマッチ度が度置きい画素の集合である目存在候補位置集合を求める。
【００１９】
更に、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。その距離が最も短くなるクラスタを目が存在するクラスタと決定することで、器官位置の検出が可能であるとしている。
【００２０】
その他、顔及び器官位置を検出する方法としては、特開平８−０７７３３４号、特開２００１−２１６５１５号、特開平５−１９７７９３号、特開平１１−０５３５２５号、特開２０００−１３２６８８号、特開２０００−２３５６４８号、特開平１１−２５０２６７号、特許第２５４１６８８号公報等、数多くの手法が提案されており、本発明においてはそれらのうちどのような手法を用いても良い。
【００２１】
又、顔及び器官位置の検出法については、上記記載に限定されることはなく、その他のどのような手法を用いても構わない。
【００２２】
尚、顔及び器官位置の検出に関しては、従来方法が様々な文献で開示されているため、ここでの詳細な説明は省略する。
【発明の効果】
【００２３】
本発明によれば、画像データ内に自動検出できない「顔」が存在しても、操作者が一度でも手動モードで、前記自動検出できない「顔」の領域を指定すれば、次回の自動モードでは、自動検出されるようになるという効果が得られる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照しながら本発明の実施の形態を説明する。
【００２５】
＜実施の形態１＞
図１は本発明の実施形態を示す画像編集装置を適用可能な画像形成システムの構成例を示すブロック構成図である。
【００２６】
図に示すように、本実施形態における画像形成システムでは、印刷データ（制御コマンドを含む、以下において同じ）を生成する情報処理装置１００と、その印刷データに基づいて画像を形成するプリンタ１７０とで構成される。
【００２７】
情報処理装置１００は、メモリ１１０、ＣＰＵ１３０、ハードディスク・コントローラ（ＨＤＣ）１２０、ハードディスク（ＨＤ）１２１、フロッピー（登録商標）ディスク・コントローラ（ＦＤＣ）１２５、フロッピー（登録商標）ディスクドライブ（ＦＤ）１２６、プリンタ・コントローラ（ＰＲＴＣ）１４０、キーボード・コントローラ（ＫＢＣ）１５０、キーボード（ＫＢ）１５１、ＣＲＴコントローラ（ＣＲＴＣ）１６０、ＣＲＴ１６１を備える。
【００２８】
メモリ１１０は、例えば、ＨＤ１２１からロードされた本発明における画像編集の処理を司るアプリケーション１１１、プリンタ１７０に対応する印刷データを生成するためのソフトウェアであるプリンタドライバ１１２、プリンタ１７０に供給すべき印刷データをスプールするスプーラ領域１１３、その他不図示のＯＳ（オペレーティングシステム）やワーク領域等を有する。
【００２９】
ＣＰＵ１３０は、メモリ１１０内のアプリケーション１１１、プリンタドライバ１１２、ＯＳ等に基づいて動作するが、電源投入時は不図示のＲＯＭによりブートし、ＨＤ１２１からＯＳのメモリ１１０にロードした後、アプリケーションプログラムも同様にロードすることで画像形成システムとして機能する。又、当然のことながら、ＣＰＵ１３０は、ＨＤＣ１２０を介してＨＤ１２１にアクセスすることができる。
【００３０】
ＰＲＴＣ１４０は、スプーラ領域１１３に蓄えられた印刷データを順次プリンタ１７０に送信する処理を行う。ＫＢＣ１５０は、ＫＢ１５１を制御し、ユーザからの指示データを装置内に取り込む。ＣＲＴＣ１６０は、表示装置であるＣＲＴ１６１を制御するコントローラである。これらのブロック１５０，１５１，１６０，１６１等は、ユーザインターフェースを構成するが、例えば、ポインティング・デバイス等の他のブロックを更に備えても良い。
【００３１】
又、プリンタ１７０には、情報処理装置１００から印刷データを受信するため及び各種ステータスを情報処理装置１００に通知するためのインターフェース１７１、主として受信したプリンタデータを解釈し、ビットマップイメージデータを発生するプリンタ制御部１７２、プリンタ制御部１７２から出力されてきたビットマップイメージデータを受け、実際に画像を形成するプリンタエンジン１７３で構成される。尚、図示してはいないが、操作パネル等も具備している。
【００３２】
上記構成において、情報処理装置１００にプリンタ１７０を接続した際には、その最初の段階ではプリンタ１７０に対応するプリンタデータを生成するためのプリンタドライバを情報処理装置１００にインストールする必要がある。言うまでもないが、このインストールは、格別の理由がない限りは、通常は一度行なえば事足りるものである。
【００３３】
図２は本発明の画像編集方法における画像処理領域指定手順の一例を示すフローチャートであり、読み込んだ画像データに対して、マウス等のポインティングデバイスで画像処理領域を指定し、画像処理を実行するまでの処理フローを示している。
【００３４】
尚、このフローチャートの処理は、図１に示したＣＰＵ１３０によりＨＤ１２１に格納されメモリ１１０上にロードされたプログラムに基づいて実行されるものとする。又、Ｓ１１〜Ｓ１９は各ステップを示す。
【００３５】
以下、このフローチャートに従って説明していく。
【００３６】
尚、本実施の形態での領域指定操作は、マウスを用いたドラッグアンドロップ操作で説明しているが、これに限るものではなく、タッチパッドで始点終点を指定する矩形指定であっても良い。
【００３７】
又、以下では画像補正処理で説明しているが、画像処理の内容は補正処理に限定するものではなく、トリミング処理や回転処理、画像反転処理等の如何なる画像処理であっても良い。
【００３８】
先ず、ステップＳ１１で画像をメモリ１１０上にロードし、画像表示手段により、ＣＲＴ１６１上に画像を表示する。
【００３９】
次に、ステップＳ１２で、操作者が選択した、「赤目補正」「ピンボケ補正」等の補正の種類を取得する。
【００４０】
次に、ステップＳ１３で、前記取得した種類の補正を「自動補正」するのか「手動補正」するのかを操作者に選択させる。
【００４１】
もし「手動補正」が選択された場合は、操作者に補正対象となる顔領域を指定させ、ステップＳ１４でその指定された領域の座標を獲得する。
【００４２】
次に、ステップＳ１５で、前記指定された領域に対して、前記ステップＳ１２で選択された補正を実行する。
【００４３】
次に、ステップＳ１６で、前記手動補正した領域の座標値を不揮発性の記憶媒体に図３に示すような形態で登録する。
【００４４】
その後、ステップＳ１３で、「自動」が選択された場合、ステップＳ１７で、「顔」自動検出手段を用い、画像内の「顔」を検出する。このとき、ステップＳ１８で、前記手動モード時に登録した「顔」領域リストを読み込み、自動で検出された領域と重ならない領域を前記「顔」領域リストから検出する。
【００４５】
次に、ステップＳ１９で、前記ステップＳ１７で自動検出した「顔」領域と、前記ステップＳ１８で検出した「顔」領域に対して、全てに画像処理を行う。このことにより、自動検出できなかった「顔」に関しても、自動検出できたかのように、画像処理を施すことが可能となる。
【００４６】
＜他の実施の形態＞
本発明の目的は、前述したように、実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード若しくはプログラム中で所定の機能を実行させるモジュール自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００４７】
又、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００４８】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施形態におけるシステムのブロック構成図である。
【図２】本発明の実施形態における画像編集プログラムの処理内容を示すフローチャートである。
【図３】手動モード時指定された領域の登録形態を示す図である。
【符号の説明】
【００５０】
１００  情報処理装置
１１０  メモリ
１１１  アプリケーション
１１２  プリンタドライバ
１１３  スプーラ領域
１２０  ハードディスクコントローラ
１２１  ハードディスク
１２５  フロッピー（登録商標）ディスクコントローラ
１２６  フロッピー（登録商標）ディスク
１３０  ＣＰＵ
１４０  プリンタコントロール
１５０  キーボードコントローラ
１５１  キーボード
１６０  ＣＲＴコントローラ
１６１  ＣＲＴ
１７０  プリンタ
１７１  インターフェース
１７２  プリンタ制御部
１７３  プリンタエンジン
【図１】
2006270565.tif 000003
【図２】
2006270565.tif 000004
【図３】
2006270565.tif 000005