(57)【要約】【課題】画像データから人物の顔領域を適正に抽出し、当該抽出した顔領域の情報に基づいて適切な画像処理を施すことである。【解決手段】画像データから肌色領域を抽出する際、少なくとも１つのエッジ抽出閾値と複数の単純領域拡張閾値との組合せによる複数の抽出条件ごとに、画像エッジを抽出して単純領域拡張方法を用いて画像エッジ内の肌色領域を抽出し、その複数の肌色領域から人物の顔領域であるものを判別し、判別された顔領域の情報に基づく画像処理が画像データに施される。【選択図】図５
2005316581.tif 000002
【特許請求の範囲】
【請求項１】
複数画素の信号からなる画像データを取得する画像取得工程と、
前記画像データから、複数の異なる抽出条件を用いて複数の画像領域を抽出する画像領域抽出工程と、
前記複数の画像領域の各々に対して、人物の顔であるか否かを判別する顔判別工程と、
人物の顔であると判別された画像領域の情報に基づいて、前記画像データに所定の画像処理を施す画像処理工程と、を含み、
前記画像領域抽出工程は、
前記複数画素から、人物の肌を表す画素を特定する条件を満たす画素を初期画素として抽出する初期画素抽出工程と、
前記初期画素から画像領域の単純領域拡張を行う画像領域拡張工程と、を含み、複数の異なる偏差条件により前記単純領域拡張を複数回行うことにより複数の画像領域を抽出することを特徴とする画像処理方法。
【請求項２】
前記画像領域抽出工程は、
複数の異なるエッジ抽出条件により前記複数画素から複数の画像エッジを抽出するエッジ抽出工程と、
前記画像領域拡張工程で前記画像エッジのエッジ画素に到達した場合には、当該単純領域拡張を停止する領域拡張停止工程と、を含み、前記複数の画像エッジに対して前記単純領域拡張を複数回行うことにより複数の画像領域を抽出することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
複数画素の信号からなる画像データを取得する画像取得手段と、
前記画像データから、複数の異なる抽出条件を用いて複数の画像領域を抽出する画像領域抽出手段と、
前記複数の画像領域の各々に対して、人物の顔であるか否かを判別する顔判別手段と、
人物の顔であると判別された画像領域の情報に基づいて、前記画像データに所定の画像処理を施す画像処理手段と、を備え、
前記画像領域抽出手段は、
前記複数画素から、人物の肌を表す画素を特定する条件を満たす画素を初期画素として抽出する初期画素抽出手段と、
前記初期画素から画像領域の単純領域拡張を行う領域拡張手段と、を有し、複数の異なる偏差条件により前記単純領域拡張を複数回行うことにより複数の画像領域を抽出することを特徴とする画像処理装置。
【請求項４】
前記画像領域抽出手段は、
複数の異なるエッジ抽出条件により前記複数画素から複数の画像エッジを抽出する画像エッジ抽出手段と、
前記画像領域拡張手段の単純領域拡張で前記画像エッジのエッジ画素に到達した場合には、当該単純領域拡張を停止する領域拡張停止手段と、を備え、前記複数の画像エッジに対して前記単純領域拡張を複数回行うことにより複数の画像領域を抽出することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
コンピュータに、
複数画素の信号からなる画像データを取得する画像取得機能と、
前記画像データから、複数の異なる抽出条件を用いて複数の画像領域を抽出する画像領域抽出機能と、
前記複数の画像領域の各々に対して、人物の顔であるか否かを判別する顔判別機能と、
人物の顔であると判別された画像領域の情報に基づいて、前記画像データに所定の画像処理を施す画像処理機能と、を実現させ、
前記画像領域抽出機能は、
前記複数画素から、人物の肌を表す画素を特定する条件を満たす画素を初期画素として抽出する初期画素抽出機能と、
前記初期画素から画像領域の単純領域拡張を行う画像領域拡張機能と、を有し、複数の異なる偏差条件により前記単純領域拡張を複数回行うことにより複数の画像領域を抽出することを特徴とする画像処理プログラム。
【請求項６】
前記画像領域抽出機能は、
複数の異なるエッジ抽出条件により前記複数画素から画像エッジを抽出する画像エッジ抽出機能と、
前記画像領域拡張機能で前記画像エッジのエッジ画素に到達した場合には、当該単純領域拡張を停止する領域拡張停止機能と、を有し、前記複数の画像エッジに対して前記単純領域拡張を複数回行うことにより複数の画像領域を抽出することを特徴とする請求項５に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理を行う画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、カラー写真フィルム上に形成された画像をＣＣＤ（Charge Coupled Device）センサー等で光電的に読みとって、画像信号に変換する技術が広く用いられている。
【０００３】
このような画像信号は、ネガポジ反転、輝度調整、カラーバランス調整、粒状除去、鮮鋭性強調に代表される種々の画像処理を施された後に、ＣＤ−Ｒ（CD-recordable）、ＣＤ−ＲＷ（CD-ReWritable）、フロッピーディスク（登録商標）、メモリーカード等の媒体やインターネット経由で配布され、銀塩印画紙、インクジェットプリンタ、サーマルプリンタ等でハードコピー画像として出力されたり、ＣＲＴ（Cathode Ray Tube）、液晶ディスプレイ、プラズマディスプレイ等の媒体に表示されたりして鑑賞される。
【０００４】
また近年はデジタルスチルカメラ（携帯電話やラップトップパソコン等の機器に組み込まれたものも含み、以下ＤＳＣと略称する）が広く普及し、カラー写真フィルムと同様にハードコピー画像として出力されたり、ＣＲＴ等の媒体に表示されたりして鑑賞される。
【０００５】
ここで鑑賞対象となる画像に人物の顔が写っている場合には、鑑賞時に最も注目されるのは人物の顔である。このため、高い品質の画像とするためには、人物の顔に適正な色、明るさ、鮮鋭感、ノイズ感、立体感等を持たせる必要がある。
【０００６】
しかし、画像撮影時には、人物の顔が適正な色、明るさ、鮮鋭感、ノイズ感、立体感等を持った画像として撮影されるような環境になっていないのが一般的である。
【０００７】
例えば逆光での撮影では顔が暗く撮影されてしまい好ましい品質の画像とならない。また安価なカメラ、ＤＳＣでの撮影では固定焦点での撮影であるため、画像全体にピントがあったような状態となってしまい、人物の顔部分に立体感が感じられない画像となってしまう。
【０００８】
このような問題を解決するために、例えば単純領域拡張法を用いて画像から特定の画像領域を抽出し、当該領域が顔であるか否かを判別し、顔領域以外の領域にボカシ処理を行う技術が提案されている（例えば、特許文献１参照）。
【０００９】
ここで単純領域拡張法とは、画素間のデータ差が閾値以下の互いに隣接する画素を同一画像領域に属するものとして当該領域を拡張していくことにより画像領域の抽出を行う画像処理方法である（例えば、非特許文献１参照）。すなわち、指定された特定条件に合致する初期画素から出発し、当該初期画素に対して隣接する画素（４連結、８連結の何れでも可）のデータ差が閾値以下である場合に当該隣接画素と初期画素とを同一画像領域に属するものとし、更に、当該同一画素に属するとした画素に対し隣接する画素についても同様の判定を行っていき、初期画素から出発して同一領域を除々に拡張させることによって画像領域の抽出を行う画像処理方法である。
【特許文献１】特開２００１―５７６３０号公報
【非特許文献１】高木幹雄、下田陽久監修、「画像解析ハンドブック」、初版、財団法人東京大学出版会、１９９１年１月１７日
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、本発明者が検討した結果、特許文献１に開示された画像領域の抽出方法では、画像の状態により、所望の画像領域を正確に抽出できない場合があることが判明し、その後の適正な画像処理が行えないことが判明した。
【００１１】
例えば写真フィルムをＣＣＤで光電的に読みとって画像信号を生成した場合には、写真フィルムの粒状ノイズにより隣り合う画素間のデータ差が、抽出条件として設定した閾値よりも大きくなってしまい、うまく領域分割できないことが判明した。
【００１２】
また、画像信号が、比較的安価なＤＳＣ等により生成されたものであっても、所望の画像領域を正確に抽出するのが困難となる。すなわち、このようなＤＳＣは、イメージセンサの画素ピッチが短いので、低感度でショットノイズが発生し易い上、イメージセンサの冷却も考慮されていないので、イメージセンサの加熱により生じる暗電流ノイズも発生し易く、更に、ＣＭＯＳイメージセンサが搭載されたＤＳＣの場合には、当該イメージセンサから生じるリーク電流によるノイズも発生し易い。こうしたノイズが、カラーフィルタ配列の補間やエッジ強調の画像処理を経ることにより、モトル状の粒状ムラが形成され易くなる。このため、このような粒状ムラの存在が原因となり、隣り合う画素間のデータ差が閾値よりも大きくなる可能性が生じ、画像領域を正確に抽出するのが困難となる（ＤＳＣのノイズや、カラーフィルター配列の補間については、例えば「ファインイメージングとディジタル写真」、日本写真学会出版委員会編、コロナ社、２．３章、参照）。
【００１３】
また、上記した問題を解決するために閾値を更に大きな値に設定しても、当該閾値に基づいて抽出された画像領域が、所望の画像領域よりも大きな領域となる等の不都合が生じ得るため、所望の画像領域を正確に抽出するのがなお困難となる。
【００１４】
更に、画像領域の抽出が正確でないと、画像処理を適切に施し得ない場合が生じる。すなわち、画像処理が特定の画像領域に対して施されるものである場合には画像領域の正確な抽出が前提となるため、正確に抽出された画像領域でなければ、例え画像処理を施したとしても、所望とする効果が得られない可能性が高い。また、人物の顔領域を正確に抽出する要請がある。
【００１５】
本発明の課題は、画像データから人物の顔領域を適正に抽出し、当該抽出した顔領域の情報に基づいて適切な画像処理を施すことである。
【課題を解決するための手段】
【００１６】
上記課題を解決するため、請求項１に記載の発明は、
複数画素の信号からなる画像データを取得する画像取得工程と、
前記画像データから、複数の異なる抽出条件を用いて複数の画像領域を抽出する画像領域抽出工程と、
前記複数の画像領域の各々に対して、人物の顔であるか否かを判別する顔判別工程と、
人物の顔であると判別された画像領域の情報に基づいて、前記画像データに所定の画像処理を施す画像処理工程と、を含み、
前記画像領域抽出工程は、
前記複数画素から、人物の肌を表す画素を特定する条件を満たす画素を初期画素として抽出する初期画素抽出工程と、
前記初期画素から画像領域の単純領域拡張を行う画像領域拡張工程と、を含み、複数の異なる偏差条件により前記単純領域拡張を複数回行うことにより複数の画像領域を抽出することを特徴とする画像処理方法である。
【００１７】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、
前記画像領域抽出工程は、
複数の異なるエッジ抽出条件により前記複数画素から複数の画像エッジを抽出するエッジ抽出工程と、
前記画像領域拡張工程で前記画像エッジのエッジ画素に到達した場合には、当該単純領域拡張を停止する領域拡張停止工程と、を含み、前記複数の画像エッジに対して前記単純領域拡張を複数回行うことにより複数の画像領域を抽出することを特徴とする。
【００１８】
請求項３に記載の発明は、
複数画素の信号からなる画像データを取得する画像取得手段と、
前記画像データから、複数の異なる抽出条件を用いて複数の画像領域を抽出する画像領域抽出手段と、
前記複数の画像領域の各々に対して、人物の顔であるか否かを判別する顔判別手段と、
人物の顔であると判別された画像領域の情報に基づいて、前記画像データに所定の画像処理を施す画像処理手段と、を備え、
前記画像領域抽出手段は、
前記複数画素から、人物の肌を表す画素を特定する条件を満たす画素を初期画素として抽出する初期画素抽出手段と、
前記初期画素から画像領域の単純領域拡張を行う領域拡張手段と、を有し、複数の異なる偏差条件により前記単純領域拡張を複数回行うことにより複数の画像領域を抽出することを特徴とする画像処理装置である。
【００１９】
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記画像領域抽出手段は、
複数の異なるエッジ抽出条件により前記複数画素から複数の画像エッジを抽出する画像エッジ抽出手段と、
前記画像領域拡張手段の単純領域拡張で前記画像エッジのエッジ画素に到達した場合には、当該単純領域拡張を停止する領域拡張停止手段と、を備え、前記複数の画像エッジに対して前記単純領域拡張を複数回行うことにより複数の画像領域を抽出することを特徴とする。
【００２０】
請求項５に記載の発明は、
コンピュータに、
複数画素の信号からなる画像データを取得する画像取得機能と、
前記画像データから、複数の異なる抽出条件を用いて複数の画像領域を抽出する画像領域抽出機能と、
前記複数の画像領域の各々に対して、人物の顔であるか否かを判別する顔判別機能と、
人物の顔であると判別された画像領域の情報に基づいて、前記画像データに所定の画像処理を施す画像処理機能と、を実現させ、
前記画像領域抽出機能は、
前記複数画素から、人物の肌を表す画素を特定する条件を満たす画素を初期画素として抽出する初期画素抽出機能と、
前記初期画素から画像領域の単純領域拡張を行う画像領域拡張機能と、を有し、複数の異なる偏差条件により前記単純領域拡張を複数回行うことにより複数の画像領域を抽出することを特徴とする画像処理プログラムである。
【００２１】
請求項６に記載の発明は、請求項５に記載の画像処理プログラムにおいて、
前記画像領域抽出機能は、
複数の異なるエッジ抽出条件により前記複数画素から画像エッジを抽出する画像エッジ抽出機能と、
前記画像領域拡張機能で前記画像エッジのエッジ画素に到達した場合には、当該単純領域拡張を停止する領域拡張停止機能と、を有し、前記複数の画像エッジに対して前記単純領域拡張を複数回行うことにより複数の画像領域を抽出することを特徴とする。
【発明の効果】
【００２２】
請求項１、３又は５に記載の発明によれば、画像データから肌色領域を抽出する際、複数の異なる偏差条件により、単純領域拡張で複数の画像領域を抽出し、その複数の画像領域から顔領域を特定するので、所望とする顔領域を適切に抽出でき、当該抽出した顔領域の情報に基づいて適切な画像処理を画像データに施すことができる。
【００２３】
請求項２、４又は６に記載の発明によれば、複数の異なるエッジ抽出条件により複数の画像エッジを抽出して単純領域拡張を行うとともに、その単純領域拡張の際に、予め抽出された画像エッジのエッジ画素に至ると当該単純領域拡張が強制的に停止されるので、所望とする領域がより適正に抽出できる。
【発明を実施するための最良の形態】
【００２４】
以下、添付図を参照して本発明に係る実施の形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
【００２５】
〈画像処理装置１の外観構成〉
まず、図１を参照して画像処理装置１の外観構成を説明する。
【００２６】
画像処理装置１は、図１に示すように、筐体２の一側面に、感光材料を装填するためのマガジン装填部３が設けられている。筐体２の内側には、感光材料に露光する露光処理部４と、露光された感光材料を現像処理して乾燥し、プリントを作成するためのプリント作成部５とが設けられている。筐体２の他側面には、プリント作成部５で作成されたプリントを排出するためのトレー６が設けられている。
【００２７】
また、筐体２の上部には、表示装置としてのＣＲＴ８と、透過原稿を読み込む装置であるフィルムスキャナ部９と、反射原稿入力装置１０と、操作部１１とが設けられている。更に、筐体２には、各種デジタル記録媒体に記録された画像を読み取る画像読込部１４、各種デジタル記録媒体に画像信号を書き込む（出力）画像書込部１５が設けられている。また、筐体２の内部には、画像処理装置１を構成する各部を統括的に制御する制御部７が設けられている。
【００２８】
画像読込部１４には、ＰＣカード用アダプタ１４ａ、ＦＤ用アダプタ１４ｂが設けられ、ＰＣカード１３ａやＦＤ１３ｂが差し込み可能になっている。
【００２９】
画像書込部１５には、ＦＤ用アダプタ１５ａ、ＭＯ（Magneto-Optical）用アダプタ１５ｂ、光ディスク用アダプタ１５ｃが設けられ、それぞれ、ＦＤ１６ａ、ＭＯ１６ｂ、光ディスク１６ｃが差し込み可能になっている。光ディスク１６ｃとしては、ＣＤ−Ｒ、ＤＶＤ−Ｒ（Digital Versatile Disk-Recordable）、ＤＶＤ−ＲＷ（DVD-ReWritable）等がある。
【００３０】
なお、図１では、操作部１１、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４が、筐体２に一体的に設けられた構成となっているが、これらのうち少なくとも１つを別体として設けた構成であってもよい。
【００３１】
なお、図１に示した画像処理装置１では、感光材料に露光して現像してプリントを作成するものが例示されているが、プリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。
【００３２】
〈画像処理装置１の内部構成〉
次に、図２を参照して、画像処理装置１の内部構造を説明する。画像処理装置１は、図２に示すように、制御部７と、露光処理部４と、プリント作成部５と、フィルムスキャナ部９と、反射原稿入力装置１０と、画像読込部１４と、通信手段（入力）３２と、画像書込部１５と、データ蓄積手段７１と、操作部１１と、ＣＲＴ８と、通信手段（出力）３３と、を備える。
【００３３】
露光処理部４は、感光材料に画像の露光を行い、この感光材料をプリント作成部５に出力する。プリント作成部５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。
【００３４】
制御部７は、マイクロコンピュータにより構成され、ＲＯＭ（Read Only Memory）と、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）（ともに図示略）と、を備えて構成され、ＲＯＭから読み出される画像処理プログラム等の各種制御プログラムがＲＡＭに展開され、ＲＡＭ内の各種プログラムと、ＣＰＵとの協働により、画像処理装置１を構成する各部の動作を統括的に制御する。
【００３５】
制御部７は、画像処理部７０を有し、操作部１１からの入力信号（指令情報）に基づいて、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４、外部機器から通信手段（入力）３２から入力された各画像データに対して露光用の画像データを形成し、露光処理部４に出力する。画像処理部７０については後に詳述する。
【００３６】
フィルムスキャナ部９は、アナログカメラにより撮像された現像済みのネガフィルムＮやリバーサルフィルム等の透過原稿に記録された画像を読み取る。
【００３７】
反射原稿入力装置１０は、図示しないフラットベットスキャナにより、プリントＰ（写真プリント、書画、各種の印刷物）に形成された画像を読み取る。
【００３８】
操作部１１は、情報入力手段１２を有する。情報入力手段１２は、例えば、タッチパネル等により構成されており、情報入力手段１２の押下信号を入力信号として制御部７に出力する。なお、操作部１１は、キーボードやマウス等を備えて構成されるようであってもよい。ＣＲＴ８は、制御部７から入力された表示制御信号に従って画像等を表示する。
【００３９】
画像読込部１４は、画像転送手段３０を有し、ＰＣカード１３ａやＦＤ１３ｂに記録された画像を読み出して制御部７に転送する。画像転送手段３０は、ＰＣカード用アダプタ１４ａ、ＦＤ用アダプタ１４ｂ等を有する。
【００４０】
画像読込部１４は、ＰＣカード用アダプタ１４ａに差し込まれたＰＣカード１３ａや、ＦＤ用アダプタ１４ｂに差し込まれたＦＤ１３ｂに記録された画像データを読み出し、当該読み出した画像データを画像転送手段３０を用いて制御部７に転送する。
【００４１】
画像書込部１５は、画像搬送部３１を備え、画像搬送部３１は、ＦＤ用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃ等を備える。画像書込部１５は、制御部７から入力される書込信号に従って、ＦＤ用アダプタ１５ａに差し込まれたＦＤ１６ａ、ＭＯ用アダプタ１５ｂに差し込まれたＭＯ１６ｂ、光ディスク用アダプタ１５ｃに差し込まれた光ディスク１６ｃに対し各種データを書き込む。
【００４２】
通信手段（入力）３２は、画像処理装置１が設置された施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから画像データや各種コマンド等を受信する。
【００４３】
通信手段（出力）３３は、画像データや注文情報等を、画像処理装置１が設置された施設内の他のコンピュータや、インターネット等を介した遠方のコンピュータに対して送信する。
【００４４】
データ蓄積手段７１は、画像データや注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）等のデータを格納する。
【００４５】
〈画像処理部７０の構成〉
次に、図３を参照して画像処理部７０の構成を説明する。画像処理部７０は、図３に示すように、フィルムスキャンデータ処理部７０１と、反射原稿スキャンデータ処理部７０２と、画像データ書式解読処理部７０３と、画像取得手段、画像領域抽出手段、顔判別手段及び画像処理手段としての画像調整処理部７０４と、ＣＲＴ固有処理部７０５と、プリンタ固有処理部７０６と、プリンタ固有処理部７０７と、画像データ書式作成処理部７０８と、を備える。
【００４６】
フィルムスキャンデータ処理部７０１は、フィルムスキャナ部９から入力された画像データに対し、フィルムスキャナ部９に固有の校正操作、ネガ原稿の場合のネガポジ反転、グレーバランス調整、コントラスト調整等を施し、画像調整処理部７０４に出力する。また、フィルムスキャンデータ処理部７０１は、フィルムサイズ、ネガポジ種別、フィルムに光学的又は磁気的に記録されたＩＳＯ（International Organization for Standardization）感度、メーカー名、主要被写体に関わる情報、撮影条件に関する情報（例えばＡＰＳ（Advanced Photo System）の記載情報内容）等も併せて画像調整処理部７０４に出力する。
【００４７】
反射原稿スキャンデータ処理部７０２は、反射原稿入力装置１０から入力された画像データに対し、反射原稿入力装置１０に固有の校正操作、ネガ原稿の場合のネガポジ反転、グレーバランス調整、コントラスト調整等を施し、画像調整処理部７０４に出力する。
【００４８】
画像データ書式解読処理部７０３は、画像転送手段３０や通信手段（入力）３２から入力された画像データのデータ書式に従って、圧縮符号の復元、色データの表現方法の変換等を行い、画像調整処理部７０４に出力する。
【００４９】
画像調整処理部７０４は、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２から入力された画像データに対し、各種画像処理を施す。特に、画像調整処理部７０４は、図４及び図５のフローチャートに示す画像処理を実行する。
【００５０】
また、画像調整処理部７０４は、上記画像処理済みの画像データを、ＣＲＴ固有処理部７０５、プリンタ固有処理部７０６、プリンタ固有処理部７０７、画像データ書式作成処理部７０８、データ蓄積手段７１に出力する。
【００５１】
ＣＲＴ固有処理部７０５は、画像調整処理部７０４から入力された画像データに対して、画素数変更、カラーマッチング等の処理を施し、各種表示情報とともにＣＲＴ８に出力する。
【００５２】
プリンタ固有処理部７０６は、画像調整処理部７０４から入力された画像処理済みの画像データに対して、プリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部４に出力する。
【００５３】
本実施の形態の画像処理装置１に、インクジェットプリンタ等の外部プリンタ３４に応じたプリンタ固有処理部７０７が設けられている。このプリンタ固有処理部７０７は、画像調整処理部７０４から入力された画像データに対して、プリンタ固有の適正な校正処理、カラーマッチング、画素数変更等を行う。
【００５４】
画像データ書式作成処理部７０８は、画像調整処理部７０４から入力された画像に対して、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、Ｅｘｉｆ（Exchangeable image file format）等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部３１や通信手段（出力）３３に出力する。
【００５５】
なお、制御部７の上記各部（例えば、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部７０６及び７０７、画像データ書式作成処理部７０８等）は、必ずしも物理的に独立したデバイスとして実現される必要はなく、制御部７が具備するＣＰＵにより処理されるプログラムが有する機能を表したものであってもよい。また、画像処理装置１は、上述の内容に限定されるものではなく、デジタルフォトプリンタ、プリンタドライバ、各種の画像処理ソフトのプラグイン等、種々の形態に適用することができる。
【００５６】
次に、図４及び図５を参照して、画像処理装置１において実行される画像処理を説明する。図４に、画像処理を示す。図５に、図４の画像処理内の画像領域抽出処理を示す。
【００５７】
画像処理は、画像処理対象の入力画像データ（元画像データとする）から顔領域を特定し、その顔領域に所定の画像処理を施す処理である。例えば、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２等を介して複数画素からなる元画像データが画像調整処理部７０４に入力開始されたことをトリガとして、画像調整処理部７０４において、図示しない内部ＣＰＵと、図示しない内部ＲＯＭから読み出されて図示しない内部ＲＡＭに格納された画像処理プログラムとの協働で、画像処理が実行される。
【００５８】
図４に示すように、まず、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２等を介して元画像データが取得される（ステップＳ１）。元画像データは、カラー画像を表す複数の画素から構成されるものとする。そして、画像領域抽出処理が実行される（ステップＳ２）。
【００５９】
ここで、図５を参照して、ステップＳ２の画像領域抽出処理を詳細に説明する。ステップＳ１の処理後、画像データから画像エッジを抽出するためのエッジ抽出条件としてのエッジ抽出閾値から未選択のものが１つ選択される（ステップＳ２１）。複数のエッジ抽出条件は、少なくとも１つが予め設定されているものとするが、複数であることが好ましい。
【００６０】
ここで画像エッジを抽出するための複数の条件について説明する。一般に画像エッジ抽出は、公知の画像エッジ抽出フィルタ（例えばラプラシアン，ｓｏｂｅｌフィルタ等）を用い、特定閾値以上の強度を持った画素を画像エッジとする。例えば、その特定閾値をエッジ抽出条件としてのエッジ抽出閾値とする。本実施の形態においては、このエッジ抽出条件を複数設け、異なる画像エッジを抽出することが好ましい。また別の方法としては、二項ウェーブレット変換等を用いて、異なる周波数条件をエッジ抽出条件として画像エッジを抽出しても良い。
【００６１】
そして、ステップＳ２１において選択されたエッジ抽出閾値を用いて元画像データから画像エッジが抽出される（ステップＳ２２）。そして、画像エッジ内の領域から単純領域拡張法により肌色領域を抽出するための複数の異なる偏差条件としての複数の異なる単純領域拡張閾値から未選択のものが１つ選択される（ステップＳ２３）。複数の単純領域拡張閾値は、予め設定されているものとする。単純領域拡張法により、隣接画素との信号値の差分が特定閾値以内である画素を、人物の肌色を表す肌色領域として拡張していく。この特定閾値を単純領域拡張閾値とする。上記差分をとる信号値は、例えば、ＲＧＢ信号、輝度色差信号、色相信号及び彩度信号のうちのいずれか１つの信号値とする。輝度色差信号とは、例えば、画像処理対象の画像信号のＲＧＢの３色強度信号を、公知のＹＩＱ基底、ＹＵＶ基底等に変換するか、或いはｓＲＧＢ（standard RGB）やＮＴＳＣ（National TV Standards Committee）等の規格に基づきＣＩＥ１９３１表色系のＸＹＺ基底、ＣＩＥ１９７６の勧告するＬ＊ａ＊ｂ＊基底、Ｌ＊ｕ＊ｖ＊基底等に変換した信号であり、ＲＧＢの平均値を輝度信号とし、これに直交する２軸を色差信号とするような変換がなされた信号としてもよい。
【００６２】
また、上記差分をとる信号値は、上記各種信号のうちの複数の信号値としてもよい。この場合、各種信号ごとに閾値が設定され、各種信号値の差分がそれぞれ各閾値以内となる場合（ＡＮＤ条件）に肌色領域を拡張していく。例えば、色相及び彩度の両方にそれぞれ色相閾値及び彩度閾値が設定され、対象画素の色相信号値の差分が色相閾値以内となり且つ彩度信号値の差分が彩度閾値以内となる場合に肌色領域を拡張していく構成が最も好ましい。このように、上記複数の異なる偏差条件として、複数種類の信号値に対応する複数の閾値が、さらに異なる値で複数設定される場合の閾値群を含めてもよい。
【００６３】
目や口は顔領域中に形成されているが、単純領域拡張法で領域抽出した場合、肌色領域の一部として抽出されない。しかし目や口は該領域内で閉領域として存在している。従って、閉領域が単純領域拡張で抽出した肌色領域内に存在する場合は、該閉領域は肌色領域の一部として取り扱うことが好ましい。
【００６４】
そして、ステップＳ２２において抽出された画像エッジ内の領域から、検査画素として人物の肌色を表す単数又は複数の肌色初期画素が抽出される（ステップＳ２４）。この肌色初期画素は、ユーザが画像上の点（画素）をマウス等で指定し、当該指定された画素の画像信号に基づいて設定されるものであっても良いし、また予め決められたＲＧＢ値に基づいて設定されるものであっても良い。この際、人物の肌色は略同一の光源下では一定範囲内の色相（Hue）、彩度（Satulation）を有するため、肌色初期画素は、色相および彩度を規定した条件に基づいて選択されるのが好ましい。また、色相、彩度を規定した条件は、撮影時の光源種により変更されるのが好ましく、更に、撮影時の光源種は公知の方法により自動的に判別されるのが好ましい。
【００６５】
そして、ステップＳ２４において抽出された肌色初期画素から未選択のものが１つ選択される（ステップＳ２５）。そして、ステップＳ２５において選択された肌色初期画素又はステップＳ３４において選択された肌色画素（以下、選択肌色画素とする）の隣接画素が１つ選択される（ステップＳ２６）。隣接画素は、例えば、選択肌色画素の４連結、８連結の画素とする。そして、ステップＳ２６において選択された隣接画素と、選択肌色画素との信号値の差分が算出され、その差分がステップＳ２３において選択された単純領域拡張閾値と比較される（ステップＳ２７）。
【００６６】
そして、ステップＳ２７において算出された差分が、単純領域拡張閾値以内であるか否かが判別される（ステップＳ２８）。差分が単純領域拡張閾値以内である場合（ステップＳ２８；ＹＥＳ）、選択中の隣接画素が画像エッジのエッジ画素であるか否かが判別される（ステップＳ２９）。選択中の隣接画素が画像エッジのエッジ画素でない場合（ステップＳ２９；ＮＯ）、選択中の隣接画素の位置を肌色領域との同一領域に含め、選択中の隣接画素が肌色画素に設定される（ステップＳ３０）。
【００６７】
差分が単純領域拡張閾値以内でない場合（ステップＳ２８；ＮＯ）、又は選択中の隣接画素が画像エッジのエッジ画素である場合（ステップＳ２９；ＹＥＳ）、選択中の隣接画素の位置を肌色領域との同一領域に含めず、選択中の隣接画素が肌色画素に設定されない（ステップＳ３１）。そして、未選択の隣接画素が残っているか否かが判別される（ステップＳ３２）。未選択の隣接画素が残っている場合（ステップＳ３２；ＹＥＳ）、ステップＳ２６に移行される。
【００６８】
未選択の隣接画素が残っていない場合（ステップＳ３２；ＮＯ）、未選択の肌色画素が残っているか否かが判別される（ステップＳ３３）。未選択の肌色画素が残っている場合（ステップＳ３３；ＹＥＳ）、肌色画素のうちから未選択のものが１つ選択され（ステップＳ３４）、ステップＳ２６に移行される。未選択の肌色画素が残っていない場合（ステップＳ３３；ＮＯ）、未選択の肌色初期画素が残っているか否かが判別される（ステップＳ３５）。未選択の肌色初期画素が残っている場合（ステップＳ３５；ＹＥＳ）、ステップＳ２５に移行される。
【００６９】
未選択の肌色初期画素が残っていない場合（ステップＳ３５；ＮＯ）、未選択の単純領域拡張閾値が残っているか否かが判別される（ステップＳ３６）。未選択の単純領域拡張閾値が残っている場合（ステップＳ３６；ＹＥＳ）、ステップＳ２３に移行される。未選択の単純領域拡張閾値が残っていない場合（ステップＳ３６；ＮＯ）、未選択のエッジ抽出閾値が残っているか否かが判別される（ステップＳ３７）。未選択のエッジ抽出閾値が残っている場合（ステップＳ３７；ＹＥＳ）、ステップＳ２１に移行される。未選択のエッジ抽出閾値が残っていない場合（ステップＳ３７；ＮＯ）、画像領域抽出処理が終了され、ステップＳ３に移行される。
【００７０】
画像領域抽出処理では、各エッジ抽出閾値と、各単純領域拡張閾値との組み合わせごとに、肌色領域が抽出される。例えば、２つのエッジ抽出閾値と、２つの単純領域拡張閾値とが予め用意される場合には、４つの肌色画像領域が抽出される。
【００７１】
そして、ステップＳ２において抽出された全ての肌色領域について、顔画像であるか否かが判別される（ステップＳ３）。抽出された肌色領域が顔であるか否かを判別する方法は、ニューロネットワークや，パターンマッチングを用いたもの等の公知の判別方法が利用可能である。そして、ステップＳ３の判別結果に基づいて、顔領域が特定される（ステップＳ４）。例えば、全肌色領域のうち、最も顔に近い肌色領域が１つ特定される。
【００７２】
そして、元画像データに対して、ステップＳ４において特定された顔領域の情報に基づいた所定の画像処理が施され（ステップＳ５）、画像処理が終了される。顔領域の情報に基づいた所定の画像処理としては、例えば顔領域の平均輝度を算出し、適正な輝度になるようにする階調変換処理や、顔領域の色を適正な色に変換するカラー調整処理などの公知の画像処理を施すことで好ましい画質に改善することが可能である。画像中に複数の顔がある場合には、複数の領域の平均により階調変換処理やカラー調整処理を行うことが好ましく、また領域の大きさや画面中の位置によって重み付けを行い処理を行ってもよい。また顔領域に対して鮮鋭強調処理を行うことで、立体感のある画像とすることも可能である。複数の顔が有る場合にはそれぞれの顔領域に行うことが好ましい。またダイナミックレンジ調整処理を行ってもよい。また、他にも、粒状除去等の処理を行ってもよい。
【００７３】
また、特に、肌色領域の抽出時間の短縮化を図るため、元画像データの画像サイズを縮小した縮小画像データに対して肌色領域の抽出を行い、当該抽出した縮小画像の肌色領域に対応する元画像データの領域に対して画像処理を行うようにしても良い。
【００７４】
本願発明者が検討した結果、単一の領域抽出条件でなく、複数の領域抽出条件により領域抽出を行い、抽出された全ての領域に対して顔か否かを判定することで、画像の状態にかかわらず、画像中に人物の顔が存在する場合には、適切に顔領域を抽出できることが判明した。抽出された顔領域の情報に基づいて、所定の画像処理を施すことで好ましい画質に改善可能である。
【００７５】
更に、本願発明者が検討した結果、複数の偏差条件（複数の単純領域拡張閾値）を用いる構成により、顔領域の抽出をさらに好ましく達成可能である事が判明した。特に異なる複数の偏差条件で単純領域拡張法を複数回実行することで、１つの偏差条件では、顔領域を適切に抽出できない場合でも、他の条件で抽出可能となることが判明した。
【００７６】
また、上記画像処理の構成において、例えば２つ異なる抽出条件で領域抽出を行なった時に、複数の画素を共有しているがやや異なる２つの領域が抽出され、かつその２つの領域が顔であるか否かの判別が分かれた場合は、顔であると判別された領域を顔として取り扱う。また例えば片方の領域が他方に完全に内包され、かつ両領域とも顔と判別された場合には、内包された領域を優先することが好ましい。
【００７７】
以上、本実施の形態によれば、画像調整処理部７０４は、元画像データから肌色領域を抽出する際、少なくとも１つのエッジ抽出閾値と、複数の異なる単純領域拡張閾値との組合せにより、単純領域拡張で複数の肌色領域を抽出し、その複数の肌色領域から顔領域を特定するので、所望とする顔領域を適切に抽出でき、当該抽出した顔領域の情報に基づいて元画像データに適切な画像処理を施すことができる。特に、例えば、撮影時の光源種が特定できない画像データや、複数の顔が含まれ、さらにそれぞれが異なる光源で照らされているような画像データであっても、当該画像データから顔領域を適正に抽出できる。
【００７８】
また、画像エッジを抽出して単純領域拡張を行うとともに、その単純領域拡張の際に、予め抽出された画像エッジのエッジ画素に至ると当該単純領域拡張が強制的に停止されるので、所望とする肌色領域がより適正に抽出できる。
【００７９】
なお、本実施の形態における記述は、本発明に係る画像処理方法、画像処理装置及び画像処理プログラムの一例を示すものであるが、これに限定されるものではなく、本発明の主旨を逸脱しない範囲で適宜変更可能である。
【図面の簡単な説明】
【００８０】
【図１】本発明に係る実施の形態の画像処理装置１の外観構成を示す斜視図である。
【図２】画像処理装置１の内部構造を示すブロック図である。
【図３】図２に示す画像処理部７０の内部構成を主に示すブロック図である。
【図４】画像処理を示すフローチャートである。
【図５】図４の画像処理内の画像領域抽出処理を示すフローチャートである。
【符号の説明】
【００８１】
１  画像処理装置
２  筐体
３  マガジン装填部
４  露光処理部
５  プリント作成部
６  トレー
７  制御部
７０  画像処理部
７０１  フィルムスキャンデータ処理部
７０２  反射原稿スキャンデータ処理部
７０３  画像データ書式解読処理部
７０４  画像調整処理部
７０５  ＣＲＴ固有処理部
７０６，７０７  プリント固有処理部
７０８  画像データ書式作成処理部
７１  データ蓄積手段
８  ＣＲＴ
９  フィルムスキャナ部
１０  反射原稿入力装置
１１  操作部
１２  情報入力手段
１３ａ  カード
１３ｂ  ＦＤ
１４  画像読込部
１４ａ  ＰＣカード用アダプタ
１４ｂ  ＦＤ用アダプタ
１５  画像書込部
１５ａ  ＦＤ用アダプタ
１５ｂ  ＭＯ用アダプタ
１５ｃ  光ディスク用アダプタ
１６ａ  ＦＤ
１６ｂ  ＭＯ
１６ｃ  光ディスク
３０  画像転送手段
３１  画像搬送部
３２  通信手段（入力）
３３  通信手段（出力）
３４  外部プリンタ
【図１】
2005316581.tif 000003
【図２】
2005316581.tif 000004
【図３】
2005316581.tif 000005
【図４】
2005316581.tif 000006
【図５】
2005316581.tif 000007