(57)【要約】【課題】画像の顔領域を修整するシステムおよび方法を提供する。【解決手段】先ず、少なくとも１つの顔領域を表すデータを含む画像データが受け取られる。次いで、受け取られた全体画像から、顔領域を表す顔領域画像データが分離される。顔領域を表す顔領域画像データに対応する輝度データおよびクロミナンス・データが生成される。その後、生成された輝度データにスムージング・アルゴリズムが適用され、スムージングされた輝度データが生成される。次いで、画像データに対応する画像中の肌色ではない領域である非肌色トーン領域のマッピング・データが生成される。生成されたマッピング・データ、クロミナンス・データ、およびスムージングされた輝度データにしたがって、修整画像データが生成される。【選択図】図４
2008192138.tif 000002
【特許請求の範囲】
【請求項１】
顔領域を表す顔領域画像データを含む画像データを受け取る手段と、
この手段によって受け取った前記画像データから前記顔領域画像データを分離する分離手段と、
この手段によって分離された前記顔領域画像データに対応する輝度データおよびクロミナンス・データを生成する変換手段と、
この変換手段によって生成された輝度データに対してスムージング・アルゴリズムを適用し、スムージングされた輝度データを生成するスムージング手段と、
前記画像データに対応する画像中の肌色ではない領域である非肌色トーン領域にしたがってマッピング・データを生成する手段と、
前記マッピング・データと、前記クロミナンス・データと、前記スムージングされた輝度データにしたがって修整画像データを生成する修整画像生成手段と
を有することを特徴とする画像の顔領域を修整するシステム。
【請求項２】
スムージングされた輝度データおよびクロミナンス・データにしたがってスムージングされた顔領域画像データを生成する手段を、さらに、有し、
前記修整画像生成手段は、前記スムージングされた顔領域画像データおよび前記マッピング・データにしたがって前記修整画像データを生成する手段を含むことを特徴とする請求項１に記載の画像の顔領域を修整するシステム。
【請求項３】
スムージングされた顔領域画像データをＲＧＢ色空間表現に変換する手段を、さらに、有することを特徴とする請求項２に記載の画像の顔領域を修整するシステム。
【請求項４】
前記修整画像生成手段は、前記顔領域画像データにしたがって修整画像データを生成する手段を、さらに、含むことを特徴とする請求項２に記載の画像の顔領域を修整するシステム。
【請求項５】
前記顔領域画像データに対して選択された閾値範囲を適用し、前記マッピング・データを生成する手段を、さらに、有することを特徴とする請求項４に記載の画像の顔領域を修整するシステム。
【請求項６】
前記輝度データおよび前記クロミナンス・データは、ＹＣｂＣｒ空間において表現されることを特徴とする請求項５に記載の画像の顔領域を修整するシステム。
【請求項７】
前記マッピング・データと前記スムージングされた顔領域画像データのブレンディングを表すブレンディング・データを生成する手段を、さらに、有し、
前記修整画像生成手段は、前記スムージングされた顔領域画像データ、前記マッピング・データおよび前記ブレンディング・データにしたがって前記修整画像データを生成する手段を含むことを特徴とする請求項５に記載の画像の顔領域を修整するシステム。
【請求項８】
顔領域を表す顔領域画像データを含む画像データを受け取るステップと、
受け取った前記画像データから前記顔領域画像データを分離するステップと、
前記顔領域画像データに対応する輝度データおよびクロミナンス・データを生成するステップと、
生成された輝度データに対してスムージング・アルゴリズムを適用し、スムージングされた輝度データを生成するステップと、
前記画像データに対応する画像中の肌色ではない領域である非肌色トーン領域にしたがってマッピング・データを生成するステップと、
前記マッピング・データと、前記クロミナンス・データと、前記スムージングされた輝度データにしたがって修整画像データを生成するステップと
を含むことを特徴とする画像の顔領域を修整する方法。
【請求項９】
スムージングされた輝度データおよびクロミナンス・データにしたがってスムージングされた顔領域画像データを生成するステップを、さらに、含み、
前記修整画像データを生成するステップは、前記スムージングされた顔領域画像データおよび前記マッピング・データにしたがって前記修整画像データを生成することを含むことを特徴とする請求項８に記載の画像の顔領域を修整する方法。
【請求項１０】
スムージングされた顔領域画像データをＲＧＢ色空間表現に変換するステップを、さらに、含むことを特徴とする請求項９に記載の画像の顔領域を修整する方法。
【請求項１１】
前記修整画像データを生成するステップは、前記顔領域画像データにしたがって修整画像データを生成することを、さらに、含むことを特徴とする請求項９に記載の画像の顔領域を修整する方法。
【請求項１２】
前記顔領域画像データに対して選択された閾値範囲を適用し、前記マッピング・データを生成するステップを、さらに、含むことを特徴とする請求項１１に記載の画像の顔領域を修整する方法。
【請求項１３】
前記輝度データおよび前記クロミナンス・データは、ＹＣｂＣｒ空間において表現されることを特徴とする請求項１２に記載の画像の顔領域を修整する方法。
【請求項１４】
前記マッピング・データと前記スムージングされた顔領域画像データのブレンディングを表すブレンディング・データを生成するステップを、さらに、含み、
前記修整画像データを生成するステップは、前記スムージングされた顔領域画像データ、前記マッピング・データおよび前記ブレンディング・データにしたがって前記修整画像データを生成することを含むことを特徴とする請求項１２に記載の画像の顔領域を修整する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の顔領域を修整するシステムおよび方法に関し、特に、画像の顔領域をスムージングし、かつアーティファクト（artifact）を低減する画像の顔領域を修整するシステムおよび方法に関する。
【背景技術】
【０００２】
しみ等の斑点を含めた顔のアーティファクト（artifact）は、写真、特にポートレイトまたはクローズアップ撮影において一般的である。しみは、多くの場合、皮膚の上の平らな、特に日光に対する反復的な露出の後にランダムに発生する円形のスポットである。しみは色が多様であるが、しみがメラニンとして知られる暗い色素の沈着に起因するために、しみを取り囲む皮膚より必ず暗い。しみのタイプは２つあり、すなわち夏期に現れて冬季に薄れる雀卵斑、および時間にわたって蓄積されて薄れることがない黒子である。雀卵斑は、子供、特に赤毛またはブロンドの子供により一般的であり、黒子は高齢者に非常に一般的である。
【０００３】
斑点が外見を損なうことから、以前は、修正写真でそれらを和らげるか除去するために手作業で適用されるエア・ブラシの巧みな適用等のテクニックを使用していた。より最近では、容易に入手できる写真編集ソフトウェアを用いてディジタル写真が修正可能となったが、基本的にそれらのソフトウェアは、エア・ブラシ操作のディジタル化された変形に過ぎず、頻繁にマウスを用いる操作等、面倒な手作業が必要であるという問題点があった。
【０００４】
したがって、面倒な手作業が不要、もしくは軽減された、画像の顔領域を修整するシステムおよび方法が望まれている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記の従来の問題点に鑑みてなされたもので、画像の顔領域を修整するシステムおよび方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明による画像の顔領域を修整するシステムは、顔領域を表す顔領域画像データを含む画像データを受け取る手段と、この手段によって受け取った前記画像データから顔領域画像データを分離する分離手段と、この分離手段によって分離された顔領域画像データに対応する輝度データおよびクロミナンス・データを生成する変換手段と、この変換手段によって生成された輝度データに対してスムージング・アルゴリズムを適用し、スムージングされた輝度データを生成するスムージング手段と、画像データに対応する画像中の肌色ではない領域である非肌色トーン領域（non-skin tone region）にしたがってマッピング・データを生成する手段と、マッピング・データ、クロミナンス・データおよびスムージングされた輝度データにしたがって修整画像データを生成する修整画像生成手段とを有する。
【０００７】
本発明の他の実施形態においては、本システムは、スムージングされた輝度データおよびクロミナンス・データにしたがってスムージングされた顔領域画像データを生成する手段を、さらに、有する。この実施形態においては、修整画像生成手段は、スムージングされた顔領域画像データおよびマッピング・データにしたがって修整画像データを生成する手段を含む。
【０００８】
本発明によるさらに他の実施形態においては、本システムは、スムージングされた顔領域画像データをＲＧＢ色空間表現に変換する手段を、さらに、有する。
【０００９】
本発明による他の実施形態においては、修整画像生成手段は、顔領域画像データにしたがって修整画像データを生成する手段を、さらに、含む。
【００１０】
本発明のさらに他の実施形態においては、本システムは、顔領域画像データに対して選択された閾値範囲（threshold range）を適用し、マッピング・データを生成する手段を、さらに、有する。
【００１１】
本発明のさらに他の実施形態においては、輝度データおよびクロミナンス・データは、ＹＣｂＣｒ空間において表現される。
【００１２】
さらに、本発明による別の実施形態においては、本システムは、マッピング・データとスムージングされた顔領域画像データのブレンディング（blending）を表すブレンディング・データを生成する手段を、さらに、有する。この実施形態において、修整画像生成手段は、スムージングされた顔領域画像データ、マッピング・データおよびブレンディング・データにしたがって修整画像データを生成する手段を含む。
【００１３】
本発明による画像の顔領域を修整する方法は、顔領域を表す顔領域画像データを含む画像データを受け取るステップと、受け取った画像データから顔領域画像データを分離するステップと、顔領域画像データに対応する輝度データおよびクロミナンス・データを生成するステップと、生成された輝度データに対してスムージング・アルゴリズムを適用し、スムージングされた輝度データを生成するステップと、画像データに対応する画像中の肌色ではない領域である非肌色トーン領域にしたがってマッピング・データを生成するステップと、マッピング・データと、クロミナンス・データと、スムージングされた輝度データにしたがって修整画像データを生成するステップとを含む。
【発明の効果】
【００１４】
本発明によれば、画像の顔領域を修整するシステムおよび方法が提供される。
【発明を実施するための最良の形態】
【００１５】
以下、適宜、図面を参照しながら本発明による実施形態の説明を行う。図１は本発明による実施形態が適用されるシステム全体の構成例を示す。図に示したシステム１００は、コンピュータ・ネットワーク１０２として表されている分散コンピューティング環境を利用している。コンピュータ・ネットワーク１０２は、複数の電子装置間におけるデータの交換を可能とする本技術分野で知られている任意の分散通信システムである。コンピュータ・ネットワーク１０２は、例えば、仮想ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、パーソナル・エリア・ネットワーク、ローカル・エリア・ネットワーク、インターネット、イントラネット、またはそれらの任意の組み合わせを含む本技術分野で知られている任意のコンピュータ・ネットワークである。本発明による一実施形態において、コンピュータ・ネットワーク１０２は、例えば、トークン・リング、IEEE802.11(x)、Ethernet（登録商標）またはその他の無線ベースまたは有線ベースのデータ通信メカニズム等の既存の多数のデータ転送メカニズムによって例示されるような物理レイヤおよびトランスポート・レイヤから構成される。図１にコンピュータ・ネットワーク１０２を示したが、本技術分野で知られているように、本発明はスタンドアローンの形態のシステムにおける実施も同様に可能である。
【００１６】
システム１００は、さらに、様々なドキュメント処理を実行するために適切な多機能周辺装置（Multi-Function Peripheral；以下、ＭＦＰということがある。）として図に表されている、少なくとも１つのドキュメント処理装置１０４を含む。しかし、ＭＦＰはドキュメント処理装置の一形態であって、本発明におけるドキュメント処理装置がＭＦＰに限定されるものではない。ドキュメント処理装置における処理動作には、例えば、ファクシミリ通信、画像走査、コピー、印刷、電子メール、ドキュメント管理、ドキュメント保存等がある。本発明による一形態においては、ドキュメント処理装置１０４は、リモート・ドキュメント処理サービスを外部装置あるいはネットワーク装置に対して提供する。ドキュメント処理装置１０４は、ユーザ、ネットワークに接続された装置等とやり取りするように構成された、ハードウェア、ソフトウェアおよびこれらの任意の適切な組み合わせを含んでいる。
【００１７】
また、本発明による一実施形態において、ドキュメント処理装置１０４は、例えば、IEEE 1394あるいはＵＳＢインターフェイスを有する各種ドライブ、多様なＩＣメモリカード等の、複数のポータブル記憶媒体を受け入れるためのインターフェイスを備える。本発明の実施形態においては、ドキュメント処理装置１０４は、さらに、タッチ・スクリーン、ＬＣＤ、英数字キーパッド等のユーザ・インターフェイス１０６を備え、ユーザは、このようなユーザ・インターフェイスを介してドキュメント処理装置１０４と直接やり取りすることができる。ユーザ・インターフェイス１０６は、ユーザに対して情報を伝達するとともに、ユーザから選択内容を受け取るために用いられる。ユーザ・インターフェイス１０６は、本技術分野で知られているとおり、ユーザにデータを提示するために適切な種々のコンポーネントを含む。本発明による一実施形態において、ユーザ・インターフェイス１０６は、ユーザにグラフィック要素、テキスト・データ、画像等を表示し、ユーザから入力を受け取り、受け取った入力をコントローラ１０８等のコンポーネントに伝達するために適切に適合されたディスプレイを含む。ドキュメント処理装置１０４は、適切な通信リンク１１２を介して、コンピュータ・ネットワーク１０２に通信可能に接続されている。適切な通信リンク１１２には、例えば、WiMax（Worldwide Interoperability for Microwave Access）、IEEE802.11a、IEEE802.11b、IEEE802.11g、IEEE802.11(x)、Bluetooth（登録商標）、公衆交換電話網、専用通信ネットワーク、赤外線接続、光接続、または、本技術分野において知られている他の適切な有線または無線のデータ通信チャネルがある。
【００１８】
本発明による実施形態において、ドキュメント処理装置１０４は、さらに、ドキュメント処理装置１０４による処理動作を容易にする適切なコントローラ１０８として示されているコンポーネントを内蔵している。コントローラ１０８は、ドキュメント処理装置１０４の動作の制御、あるいはユーザ・インターフェイス１０６による画像の表示の制御、または電子画像データの操作の指示等の処理を容易にするように構成されたハードウェア、ソフトウェアあるいはこれらの適切な組み合わせによって実装される。以下の説明においては、コントローラ１０８という用語は、後述する動作を実行する、もしくは実行させる、もしくは制御する、またはその他の方法で管理するように機能するハードウェア、ソフトウェア、またはこれらの組み合わせを含むドキュメント処理装置１０４と関連する任意の多数のコンポーネントの意味で、使用する。なお、図および上記の説明において、コントローラ１０８をドキュメント処理装置１０４に内蔵された形態としたが、コントローラ１０８は、ドキュメント処理装置１０４に通信可能に接続された外部装置の形態であってもよい。コントローラ１０８との関連において説明を行う動作は、本技術分野において知られている任意の汎用コンピューティング・システムによって実行可能である。したがって、コントローラ１０８は、このような汎用的なコンピューティング装置を表しており、以下の説明において使用する際にも、そのように意図されている。また、以下の説明においてはコントローラ１０８を使用しているが、これは実施形態の例にすぎず、その他の実施形態においても、本発明による画像の顔領域の修整のためのシステムおよび方法を利用することができる。コントローラ１０８の構成等については、後ほど図２と図３を参照しながら説明を行う。
【００１９】
また、ドキュメント処理装置１０４にはデータ記憶装置１１０が通信可能に接続されている。データ記憶装置１１０は、例えば、ハードディスク・ドライブ、その他の磁気記憶装置、光学式記憶装置、フラッシュ・メモリまたはそれらの任意の組み合わせを含む本技術分野で知られている大容量記憶装置である。一実施形態においては、データ記憶装置１１０は、ドキュメント・データ、画像データ、電子データベースのデータ等を保存するように適切に適合されている。データ記憶装置１１０は、図においてはシステム１００の独立したコンポーネントとして例示されているが、例えば、内蔵ハードディスク・ドライブ等のような、ドキュメント処理装置１０４の内部記憶装置、あるいはコントローラ１０８のコンポーネント等として実装することができる。本発明による一実施形態において、データ記憶装置１１０は、写真データ、コンピュータによって生成された画像、電子ドキュメント等といった画像を表すデータを含む。
【００２０】
システム１００は、図においてカメラ１１４として表されている画像取込み装置を含み、この画像取込み装置は電子画像データの生成に適合している。本技術分野で知られている任意の適切な写真装置は、本発明による実施形態にしたがった処理のために、画像データを取り込むことができる。カメラ１１４は、適切な通信リンク１１６を介して、ドキュメント処理装置１０４に画像データを送信することができる。通信リンク１１６は、例えば、IEEE802.11a、IEEE802.11b、IEEE802.11g、IEEE802.11(x)、Bluetooth（登録商標）、専用通信ネットワーク、WiMax、赤外線接続、光接続、公衆交換電話網、または、本技術分野において知られている他の適切な有線または無線のデータ通信チャネルである。本発明による一つの特定の実施形態においては、カメラ１１４は、ドキュメント処理装置１０４に接続可能な、電子画像データを保存するポータブル記憶媒体を含む。ポータブル記憶媒体としては、例えば、多様なＩＣメモリカード、IEEE 1394あるいはＵＳＢインターフェイスを有する各種ドライブ等がある。さらに、カメラ１１４は一般的なフィルム・カメラであっても良く、この場合には通信リンク１１６がドキュメント処理装置１０４への画像のハードコピーの提供に相当し、ドキュメント処理装置１０４が、提供された画像を画像走査し、以降述べる方法にしたがって使用される画像データを生成する。カメラ１１４はユーザ装置に画像データを伝達し、ユーザ装置がその後の処理のために伝達された画像データをドキュメント処理装置１０４に伝達することも可能である。
【００２１】
システム１００は、適切な通信リンク１２０を介して、コンピュータ・ネットワーク１０２とのデータ通信を行うユーザ装置１１８を、さらに、含む。図においてはユーザ装置１１８をデスクトップ形パーソナル・コンピュータとして示しているが、これは例示にすぎない。ユーザ装置１１８は、例えば、ワークステーション、ノート形パーソナル・コンピュータ、携帯情報端末（ＰＤＡ）、ウェブ適合携帯電話、スマートフォン、専用通信ネットワーク用の装置、またはその他のウェブ適合電子装置を含む本技術分野において知られている任意のパーソナル・コンピューティング装置を表している。通信リンク１２０は、例えば、Bluetooth（登録商標）、WiMax、IEEE802.11a、IEEE802.11b、IEEE802.11g、IEEE802.11(x)、専用通信ネットワーク、赤外線接続、光接続、公衆交換電話網、または、本技術分野において知られている他の適切な有線または無線のデータ通信チャネルである。ユーザ装置１１８は、例えば、画像データ、電子ドキュメント、ドキュメント処理インストラクション、ユーザ・インターフェイスの変更、アップグレード、更新、パーソナル化データ等を生成し、生成したデータ等をドキュメント処理装置１０４またはコンピュータ・ネットワーク１０２に接続されているその他の類似装置に送信する。
【００２２】
システム１００はネットワーク・ストレージ・サーバ１２２をさらに、含み、ネットワーク・ストレージ・サーバ１２２にはデータ記憶装置１２４が接続されている。ネットワーク・ストレージ・サーバ１２２は、ドキュメント・データ、画像データ、ビデオ・データ、サウンド・データ、マルチメディア・データまたはその他の本技術分野で知られている電子データを保存することができる本技術分野で知られている任意のネットワーク記憶装置を表している。本発明による一実施形態において、データ記憶装置１２４が、画像データ、ドキュメント・データ等の複数の電子データを含む。ネットワーク・ストレージ・サーバ１２２は、適切な通信リンク１２６を介してコンピュータ・ネットワーク１０２と通信可能に接続されている。通信リンク１２６は、例えば、専用通信ネットワーク、赤外線接続、光接続、Bluetooth（登録商標）、WiMax、IEEE802.11a、IEEE802.11b、IEEE802.11g、IEEE802.11(x)、公衆交換電話網、または、本技術分野において知られている他の適切な有線または無線のデータ通信チャネルである。
【００２３】
次に、図２および図３を参照しながら、本発明による実施形態におけるシステムの動作が実行されるコントローラのハードウェアおよび機能構成等を説明する。図２に本発明による実施形態においてシステム１００の動作が実行されるコントローラ２００（例えば、図１に示したコントローラ１０８）のハードウェア・アーキテクチャの構成例を示す。コントローラ１０８は、本明細書に記載する方法を円滑に実行する能力を有する、本技術分野において知られている任意の汎用的なコンピューティング装置を表している。コントローラ２００には、少なくとも一つのＣＰＵを含むプロセッサ２０２が含まれている。プロセッサ２０２は、互いに協調して動作する複数のＣＰＵから構成されることもある。また、コントローラ２００には、ＢＩＯＳ機能、システム機能、システム構成データおよびコントローラ２００の動作に使用する他のルーチンもしくはデータ等の静的または固定的なデータ、あるいはインストラクションのために有効に使用される、不揮発性または読出し専用メモリ（ＲＯＭ）２０４が含まれている。
【００２４】
また、コントローラ２００には、ダイナミック・ランダム・アクセス・メモリ、スタティック・ランダム・アクセス・メモリ、または他の任意の適切なアドレス指定可能かつ書込み可能なメモリ・システムから構成されるＲＡＭ２０６が含まれている。ＲＡＭ２０６は、プロセッサ２０２によって処理されるアプリケーションおよびデータ処理に関係するデータ・インストラクションのための記憶領域を提供する。
【００２５】
ストレージ・インターフェイス２０８は、コントローラ２００に関連するデータの不揮発性保存、大容量保存または長期的な保存ためのメカニズムを提供する。ストレージ・インターフェイス２０８は、２１６として図示したディスク・ドライブ、あるいは光学式ドライブ、テープ・ドライブ等の適切な任意のアドレス指定可能、またはシリアル記憶装置等の大量記憶装置の他、当業者に知られている適切な任意の記憶媒体を使用する。
【００２６】
ネットワーク・インターフェイス・サブシステム２１０は、ネットワークとの間の入出力を適切にルーティングすることによって、コントローラ２００が他の装置と通信することを可能にする。ネットワーク・インターフェイス・サブシステム２１０は、装置２００に対する外部装置との一つまたは複数のコネクションのインターフェイスを適切にとる。図においては、例えば、Ethernet（登録商標）、トークン・リング等といった固定または有線ネットワークとのデータ通信のための少なくとも一つのネットワーク・インターフェイス・カード２１４、およびWiFi（Wireless Fidelity）、WiMax、無線モデム、セルラ・ネットワークまたは適切な任意の無線通信システム等の手段を介した無線通信のために適切な無線インターフェイス２１８を示している。ネットワーク・インターフェイス・サブシステム２１０は、任意の物理的データ転送レイヤあるいは物理的データ転送レイヤではないデータ転送レイヤまたはプロトコル・レイヤを適切に利用する。ネットワーク・インターフェイス・カード２１４は、例えば、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークまたはそれらの組合せから適切に構成される物理的ネットワーク２２０を介したデータ交換を行うために、相互接続されている。
【００２７】
プロセッサ２０２、読出し専用メモリ２０４、ＲＡＭ２０６、ストレージ・インターフェイス２０８およびネットワーク・インターフェイス・サブシステム２１０の間のデータ通信は、バス２１２によって例示したバス・データ転送メカニズムを介して行われる。
【００２８】
また、ドキュメント・プロセッサ・インターフェイス２２２もバス２１２を介してデータ通信を行う。ドキュメント・プロセッサ・インターフェイス２２２は、様々なドキュメント処理動作を実行するために、ドキュメント処理ハードウェア２３２との接続を提供する。様々なドキュメント処理動作には、コピー・ハードウェア２２４によって実行されるコピー、画像走査ハードウェア２２６によって実行される画像走査、印刷ハードウェア２２８によって実行される印刷、およびファクシミリ・ハードウェア２３０によって実行されるファクシミリ通信が含まれる。コントローラ２００は、これらのドキュメント処理動作のいずれかまたは全部を適切に動作させる。複数のドキュメント処理動作を実行可能なシステムは、前述したように、ＭＦＰと呼ばれる。システム１００の機能は、ドキュメント処理装置と関連するインテリジェント・サブシステムとして図２に示したコントローラ２００（図１においてはコントローラ１０８として示されている）を含む、ドキュメント処理装置１０４等の適切なドキュメント処理装置において実行される。
【００２９】
次に図３を参照しながらシステムの動作が実行されるコントローラの機能ブロックと動作の概要を説明する。図３に、本発明による実施形態のシステム１００の動作が実行されるコントローラ３００の機能ブロックの構成例を示す。コントローラ３００の機能は、ドキュメント処理エンジン３０２を含む。図３は、ソフトウェアおよびオペレーティング・システム機能と関連して、図２に示したハードウェアの機能性を例示している。
【００３０】
一実施形態において、ドキュメント処理エンジン３０２は、印刷動作、コピー動作、ファクシミリ通信動作および画像走査動作を可能にする。これらの機能が一つの装置で実行できる装置は、業界において一般に好まれるドキュメント処理周辺装置であるＭＦＰである。しかし、コントローラ３００が上記のドキュメント処理動作のすべてを可能にする必要は必ずしもない。コントローラは、上記のドキュメント処理動作のサブセットである、専用のドキュメント処理装置、あるいはより限定した目的のドキュメント処理装置においても有効に用いられる。
【００３１】
ドキュメント処理エンジン３０２はユーザ・インターフェイス・パネル３１０と適切にインターフェイスされており、ユーザまたは管理者は、このユーザ・インターフェイス・パネル３１０を介して、ドキュメント処理エンジン３０２によって制御される機能にアクセスすることができる。アクセスは、コントローラへのローカルなインターフェイスを介して行われるか、遠隔のシン・クライアント（thin client）またはシック・クライアント（thick client）によって遠隔から行われる。
【００３２】
ドキュメント処理エンジン３０２は、印刷機能部３０４、ファクシミリ通信機能部３０６および画像走査機能部３０８とデータ通信を行う。これらの機能部は、印刷、ファクシミリの送受信、およびドキュメント画像をコピーのために取得するか、またはドキュメント画像の電子バージョンを生成するための、ドキュメント画像走査の実際の処理操作を容易にする。
【００３３】
ジョブ・キュー（job queue）３１２は、印刷機能部３０４、ファクシミリ通信機能部３０６および画像走査機能部３０８とデータ通信を行う。ビットマップ・フォーマット、ページ記述言語（ＰＤＬ）フォーマットまたはベクター・フォーマット等の種々の画像形式は、画像走査機能部３０８からジョブ・キュー３１２を介して以降の処理のために中継される。
【００３４】
ジョブ・キュー３１２は、また、ネットワーク・サービス機能部３１４ともデータ通信を行う。一実施形態において、ジョブ制御、状態データまたは電子ドキュメント・データが、ジョブ・キュー３１２とネットワーク・サービス機能部３１４との間で交換される。このように、適切なインターフェイスが、クライアント側ネットワーク・サービス機能３２０を介したコントローラ３００へのネットワーク・ベースのアクセスのために設けられ、それは、任意の適切なシン・クライアントまたはシック・クライアントである。一実施形態において、ウェブ・サービス・アクセスは、ハイパーテキスト転送プロトコル（HTTP）、ファイル転送プロトコル（FTP）、ユニフォーム・データ・ダイアグラム・プロトコル（uniform data diagram protocol）または他の任意の適切な交換メカニズムによって実行される。ネットワーク・サービス機能部３１４は、また、ＦＴＰ、電子メール、テルネット（TELNET）等を介した通信のために、クライアント側ネットワーク・サービス機能３２０とのデータ交換も有効に提供する。このように、コントローラ機能３００は、種々のネットワーク・アクセス・メカニズムによって、電子ドキュメントおよびユーザ情報の出力あるいは受信を容易にする。
【００３５】
ジョブ・キュー３１２は、また、画像プロセッサ３１６ともデータ通信を行う。画像プロセッサ３１６は、印刷機能部３０４、ファクシミリ通信機能部３０６または画像走査機能部３０８等の装置機能と、電子ドキュメントを交換するために適したフォーマットに変換するラスタ画像処理（ＲＩＰ）、ページ記述言語インタープリタまたは任意の適切な画像処理を行うメカニズムである。
【００３６】
最後に、ジョブ・キュー３１２はジョブ解析部（job parser）３１８とデータ通信を行い、このジョブ解析部３１８はクライアント装置サービス部３２２等の外部装置からの印刷ジョブ言語（ＰＪＬ）ファイルを受け取る働きをする。クライアント装置サービス部３２２は、電子ドキュメントの印刷、ファクシミリ通信、またはコントローラ機能３００による処理が有効である他の適切な電子ドキュメントの入力を含む。ジョブ解析部３１８は、受け取った電子ドキュメント・ファイルを解析し、前述した機能およびコンポーネントと関連する処理のために、解析した電子ドキュメント・ファイル情報をジョブ・キュー３１２に中継する働きをする。
【００３７】
以下、本発明における画像の顔領域の修整動作の概要を説明する。先ず、顔領域のデータを含む画像データが受け取られる。画像データの受取りに続いて、全体の画像データから顔領域画像データが分離される。分離された顔領域画像データに対応して輝度データおよびクロミナンス・データが生成される。その後、生成された輝度データについてスムージング・アルゴリズムが適用され、スムージングされた輝度データが生成される。その後、画像データに対応する画像中の肌色ではない領域である非肌色トーン領域（non-skin tone region）にしたがってマッピング・データが生成される。その後、生成されたマッピング・データ、クロミナンス・データおよびスムージングされた輝度データにしたがって、修整された画像データが生成される。
【００３８】
本発明による一つの例示的な実施形態においては、画像データが任意の適切な方法によってドキュメント処理装置１０４によって受け取られる。ドキュメント処理装置１０４が画像データを受け取る適切な方法としては、例えば、コンピュータ・ネットワーク１０２を介して、ユーザ装置１１８、データ・ストレージ・サーバ１２２、カメラ１１４またはその他のコンピュータ・ネットワーク１０２に接続されたコンピューティング装置から受け取る方法、ディジタル・カメラ１１４との直接接続による方法、ハードコピーをドキュメント処理装置によって画像走査する方法、ドキュメント処理装置１０４にポータブル記憶媒体を接続する方法、データ記憶装置１１０を検索する方法がある。ドキュメント処理装置１０４によって受け取られる画像データは、少なくとも１つの顔領域、例えば人物の顔の表現を含む。顔領域の顔領域画像データは、コントローラ１０８またはドキュメント処理装置１０４のその他の適切なコンポーネントによって、受け取った全体の画像データから分離される。コントローラ１０８等は、例えば、ヴィオラ（Viola）およびジョーンズ（Jones）による、またはヘンリー・シュナイダーマン（Henry Schneiderman）による方法等の、人間の顔検出方法を適用し、その後、検出された人間の顔を、受け取った全体の画像データから切り取るか、または別な方法で分離する。
【００３９】
次いで、輝度およびクロミナンス・データが、ドキュメント処理装置１０４によって検出された顔領域に対応する画像データから生成される。言い換えると、コントローラ１０８またはドキュメント処理装置１０４のその他の適切なコンポーネントは、分離された顔領域のＲＧＢ（レッド、ブルー、グリーン）色空間表現を、デバイス非依存色空間における輝度およびクロミナンス表現に変換する。デバイス非依存色空間としては、例えばＹＣｂＣｒ（輝度（Ｙ）、ブルー‐イエロ・クロミナンス（Ｃｂ）、レッド‐イエロ・クロミナンス（Ｃｒ））ＨＳＶ（色相（Ｈ）、彩度（Ｓ）、明度（Ｖ））、ＹＩＱ（輝度（Ｙ）、オレンジ‐ブルー・クロミナンス（Ｉ）、パープル‐グリーン・クロミナンス（Ｑ））、またはその他の、本技術分野で知られているデバイス非依存色空間がある。なお、顔のアーティファクト、例えば、しみ、斑点、瘢痕、切創痕等は、輝度チャネルでは見えるが、クロミナンス・チャネルでは殆ど見えない。
【００４０】
コントローラ１０８またはドキュメント処理装置１０４のその他の適切なコンポーネントは、その後、顔領域の、デバイス非依存色空間に変換された輝度データに適切なスムージング・アルゴリズムを適用し、スムージングされた輝度データを生成する。適切なスムージング・アルゴリズムは、例えば、ガウス・フィルタ、メディアン・フィルタ等を含む。スムージングされた輝度データとオリジナルのクロミナンス・データは結合され、ＲＧＢ色空間表現に逆変換されて中間画像が生成される。
【００４１】
その後、選択された閾値範囲（threshold range）が、コントローラ１０８またはドキュメント処理装置１０４のその他の適切なコンポーネントによって、顔領域画像データに適用される。その後、非肌色トーン領域のマッピング・データおよびスムージングされた顔領域画像データが生成される。本発明による一実施形態においては、ブレンディング（blending）関数を使用して、スムージングされた顔領域と、その近傍にあって詳細が保たれている領域、例えば、非肌色トーン領域との間におけるアーティファクトが低減されるように、ブレンディング・データを生成することができる。その後、スムージングされた顔領域画像データと、非肌色トーン領域のマッピング・データにしたがって、修整画像データが生成される。本発明による一実施形態にしたがったブレンディング関数の使用は、スムージングされた顔領域画像データ、マッピング・データ、およびブレンディング・データにしたがった修整画像データを生成する結果をもたらす。
【００４２】
以上、図１ないし図３を参照しながら説明を行った、本発明による実施形態であるシステム１００およびコンポーネントは、以下に図４および図５を参照しながら行う動作説明によって、より良好な理解が得られることになろう。
【００４３】
次に図４および図５を参照しながら、本発明による実施形態において、画像の顔領域を修整する動作を説明する。図４に、本発明による実施形態において、画像の顔領域を修整する基本的な動作例を表すフローチャートを示す。先ず、Ｓ４０２で、少なくとも１つの顔領域を表すデータを含む画像データが受け取られる。顔領域を表す顔領域画像データは、Ｓ４０２で受け取られた全体画像から、Ｓ４０４において、分離される。Ｓ４０６においては、顔領域を表す顔領域画像データに対応する輝度データおよびクロミナンス・データが生成される。その後Ｓ４０８において、生成された輝度データにスムージング・アルゴリズムが適用され、すなわちスムージング処理が行われ、スムージングされた輝度データが生成される。次いでＳ４１０において、画像データに対応する画像中の肌色ではない領域である非肌色トーン領域のマッピング・データが生成される。生成されたマッピング・データ、クロミナンス・データ、およびスムージングされた輝度データにしたがって、Ｓ４１２において、修整画像データが生成される。
【００４４】
次に図５を参照しながら、本発明による実施形態において、画像の顔領域を修整する動作をさらに詳細に説明する。図５に、本発明による実施形態において、画像の顔領域を修整する動作例をさらに詳細に表したフローチャートを示す。先ず、Ｓ５０２において、顔領域を表すデータを含む画像データが受け取られる。画像データが受け取られる適切な方法としては、例えば、コンピュータ・ネットワーク１０２を介して、ユーザ装置１１８、データ・ストレージ・サーバ１２２、カメラ１１４等から受け取る方法、ポータブル記憶媒体を介して受け取る方法、ハードコピーをドキュメント処理装置によって画像走査することによって生成される画像データを受け取る方法、ドキュメント処理装置によるファクシミリ受信による方法、またはその他の本技術分野で知られている適切な方法がある。
【００４５】
顔領域に対応する顔領域画像データが、Ｓ５０２において受け取った全体画像データから、Ｓ５０４において分離される。本発明による一実施形態によれば、ドキュメント処理装置１０４のコントローラ１０８によって、入力画像データである顔領域を表すデータを含む画像データが受け取られ、顔検出スキームにかけられる。顔領域が特定されると、特定された顔領域は、例えば切り取られることによって分離され、顔領域画像データが分離される。その後Ｓ５０６において、顔領域の画像データに対応する輝度データとクロミナンス・データが生成される。本発明による一実施形態においては、顔領域画像データは、例えば、ＹＣｂＣｒ、ＨＳＶ、ＹＩＱ、またはその他の、輝度およびクロミナンスのチャネルを別々に含むデバイス非依存色空間等の輝度‐クロミナンス色空間におけるデータに変換される。
【００４６】
その後Ｓ５０８において、Ｓ５０６で生成された輝度データに対してスムージング・アルゴリズムが適用され、スムージングされた輝度データが生成される。すなわち、輝度チャネル・データがスムージング・フィルタにかけられ、その結果、スムージングされた輝度チャネル・データが生成される。クロミナンス・データおよびスムージングされた輝度データは、その後Ｓ５１０において、ＲＧＢ色空間における表現に変換される。言い換えると、オリジナルのクロミナンス・チャネルおよびスムージングされた輝度チャネルが単一チャネルに、すなわちＲＧＢ色空間に再結合され、スムージングされた顔領域画像データが生成される。
【００４７】
その後Ｓ５１２において、顔領域画像データに、選択された閾値範囲が適用される。次いでＳ５１４において、画像データに対応する画像中の肌色ではない領域である非肌色トーン領域のマッピング・データが生成される。非肌色トーン領域のマッピング・データの生成は、経験的に定められた閾値にしたがって実行される。次にＳ５１６において、スムージングされた顔領域画像データが生成される。本発明による一実施形態においては、マッピング・データとスムージングされた顔領域画像データの間における遷移を滑らかにする重み付け係数を決定する適切なブレンディング関数によって、ブレンディング・データがＳ５１８において生成される。その後Ｓ５２０において、スムージングされた顔領域画像データ、マッピング・データ、およびブレンディング・データにしたがって、修整画像データが生成される。ここで、Ｓ５１８におけるブレンディング・データの生成は例示目的のためであって、本発明によれば、ブレンディング・データを生成することなく、スムージングされた顔領域画像データおよびマッピング・データだけを用いて修整画像データを生成することもできる。
【００４８】
以上、説明を行ったシステムおよびその動作は、図６ないし図２１に示す具体的な画像が処理されていく過程を把握することによって、より良好な理解が得られるであろう。但し、以下の図６ないし図２１の説明は、例示目的だけのためであり、本発明を限定するものではない。
【００４９】
ここで図６を参照すると、入力される画像データに対応する画像を示しており、この入力画像から図７の中の白枠によって囲まれた人間の顔が検出される。この白枠部分が、図６に示したオリジナルの画像から切り取られ、図８に示す顔領域画像が分離される。その後、図８に示した分離された顔領域画像のデータが、ＲＧＢ色空間表現から、例えば、ＹＣｂＣｒ色空間表現に変換される。前述したとおりＹＣｂＣｒ色空間のみならず、任意のデバイス非依存の輝度、クロミナンス色空間を、本明細書で述べている方法にしたがって使用することができる。図９、図１０および図１１は、分離された顔領域画像の輝度チャネル、クロミナンスＣｂチャネル、クロミナンスＣｒチャネルを、それぞれ、例示している。顔のアーティファクトは、分離された顔領域画像の輝度チャネル（図９）において容易に認識されるが、図１０および図１１に例示したクロミナンス・チャネルにおいては殆ど見えない。
【００５０】
その後、分離された顔領域画像の輝度チャネルにスムージング・フィルタ処理が施され、その結果、図１２に例示する顔領域画像が生成される。スムージングされた新たな輝度チャネルが、オリジナルのクロミナンス・チャネルと結合されて、図１３に示す中間画像が生成される。
【００５１】
続いて、非肌色トーン領域における処理が実行され、図２１に示す最終的な修整画像に使用するための詳細（details）が結果としてもたらされる。非肌色トーン領域の詳細を取得するために、顔領域の区分け（segmentation）が行われる。この区分けは、図１４に示すように、オリジナルの顔領域画像に基づくエッジ・マップの生成または導出から開始する。このエッジ・マップに、経験的に定められた閾値が、適用され、図１５に示す閾値マップが生成される。図１５に示した閾値マップは、その後、反転され、図１６に示す反転された閾値マップが生成される。また図１６には、小部分（fragments）、例えば顔の斑点、しみ、瘢痕、マーク等をクリーンアップするために適用されるスライディング・ウィンドウの適用も四角の枠で示されている。小部分のクリーンアップは、顔領域画像の寸法によって定められるサイズのウィンドウ内において実行される。図１７は、スライディング・ウィンドウの内容をクローズアップした図の例であり、顔領域画像に含まれる小部分を示す。図１８は、図１７に示したスライディング・ウィンドウ内の顔の小部分の除去、消去またはその他、包み隠すように機能するボックスを含んでいる。
【００５２】
クリーンアップを行った後の反転された閾値マップの例を図１９に示す。図１９に示した、クリーンアップ後の反転された閾値マップに対して、スミアリング・フィルタ（smearing filter）が適用され、図２０に示す非肌色トーン区分けマップが生成される。スミアリング・フィルタのサイズは、顔領域画像の寸法によって定められる。図２０に示した非肌色トーン区分けマップは、その後、図１３に示した中間画像と結合され、図２１に示す修整画像が生成される。
【００５３】
本発明によるシステムおよび方法は、上記と同じ非肌色トーン区分けを用いて、顔の画像をスムージングするための一般的な応用が可能である。さらに、スムージングされた顔領域画像と、その近傍にあって詳細が保たれている領域との間におけるアーティファクトを低減するためにブレンディング関数が実装される。適切なブレンディング関数の例のグラフを図２２に示す。ブレンディング関数は、図２２に示したように、完全な詳細の再生と完全なスムージングの間における遷移をスムージングするための重みづけ係数を定め、非肌色トーン区分けマップにおける強度の関数である。図２３は、ブレンディング関数を適用する前の非肌色トーン区分け画像の例を示している。図２４は、ブレンディング関数を適用した、図２３の非肌色トーン区分け画像を示している。
【００５４】
以上の説明から明らかなように、本発明によれば、画像の顔領域を修整するシステムおよび方法が提供される。また、さらに、本発明による実施形態によれば、面倒な手作業の介入を必要とすることなく顔画像のスムージングを実行し、かつアーティファクトを低減する画像の顔領域の修整を行うことができる。さらに、本発明による一実施形態によれば、顔のアーティファクトを低減することによって写真内の顔の皮膚の領域を滑らかにするが、顔ではない領域にわたるすべての詳細を保つことができる。
【００５５】
本発明は、ソース・コード、オブジェクト・コード、部分的にコンパイルされた形のようなコード中間ソースおよびオブジェクト・コードの形、あるいは本発明の実施形態で使用するために適した任意の他の形のコンピュータ・プログラムに適用される。コンピュータ・プログラムは、スタンドアローンのアプリケーション、ソフトウェア・コンポーネント、スクリプトまたは他のアプリケーションへのプラグ・インとすることができる。本発明を実施するコンピュータ・プログラムは、例えば、ＲＯＭやＲＡＭ等の記憶媒体、ＣＤ−ＲＯＭ等の光記録媒体、フロッピー（登録商標）ディスク等の磁気記録媒体等の、コンピュータ・プログラムを伝達することができる任意の実体または装置である担体上で、あるいは電気ケーブルまたは光ケーブルによって、または無線や他の手段によって伝えられる電気信号や光信号等の任意の伝達可能な担体で具体化することができる。コンピュータ・プログラムは、サーバからインターネットを介してダウンロードすることもできる。また、コンピュータ・プログラムの機能は集積回路に組み込むこともできる。説明を行った本発明の原理を実質的にコンピュータまたはプロセッサに実行させるコードを含む任意およびすべての実施形態は、本発明の範囲内にある。
【００５６】
本発明の好ましい実施形態の以上の説明は、例示と説明のために行った。説明は網羅的ではなく、本発明を開示した形態に限定しようとするものでもない。以上の開示を鑑みて明らかな修正または変形が可能である。実施形態は、本発明の原理とその実際的な応用例を最もよく示し、それにより当業者が、本発明を、意図された特定の使用に適した様々な実施形態において様々な修正で使用できるように選択され説明された。そのようなすべての修正と変形は、特許請求の範囲の記載に明示されるとおりの本発明の原理および範囲内において、当業者によって行われ得ることは明らかであり、特許請求の範囲の記載によって定められる発明の範囲内にある。
【図面の簡単な説明】
【００５７】
【図１】本発明による実施形態が適用されるシステム全体の構成例である。
【図２】本発明による実施形態のシステムの動作が実行されるコントローラのハードウェアの構成例である。
【図３】本発明による実施形態のシステムの動作が実行されるコントローラの機能ブロックの構成例である。
【図４】本発明による実施形態において、画像の顔領域の修整を行う基本的な動作例を表すフローチャートである。
【図５】本発明による実施形態において、画像の顔領域の修整を行う動作例をさらに詳細に表したフローチャートである。
【図６】本発明による実施形態にしたがって処理される画像の例である。
【図７】本発明による実施形態において、図６の画像から検出される顔領域の例を示す図である。
【図８】本発明による実施形態において、図６の画像から分離された顔領域画像の例である。
【図９】本発明による実施形態において、図８の顔領域画像の輝度チャネル画像の例である。
【図１０】本発明による実施形態において、図８の顔領域画像のクロミナンス（Ｃｒ）チャネル画像の例である。
【図１１】本発明による実施形態において、図８の顔領域画像のクロミナンス（Ｃｂ）チャネル画像の例である。
【図１２】本発明による実施形態において、図８の顔領域画像の輝度チャネルにスムージング・フィルタ処理を施して生成される顔領域画像の例である。
【図１３】本発明による実施形態において、図８の顔領域画像のクロミナンス・チャネルと、スムージングされた新たな輝度チャネルとを結合して生成される画像の例である。
【図１４】本発明による実施形態において、図８の顔領域画像から導出されたエッジ・マップの例である。
【図１５】本発明による実施形態において、図８の顔領域画像から生成された閾値マップの例である。
【図１６】本発明による実施形態において、図８の顔領域画像から生成され、反転された閾値マップの例である。
【図１７】本発明による実施形態において、図８の顔領域画像のクリーンアップのためのスライディング・ウィンドウの内容の拡大図である。
【図１８】本発明による実施形態において、図１７に示したスライディング・ウィンドウの内容を部分的にクリーンアップした後の内容の拡大図である。
【図１９】本発明による実施形態において、図８の顔領域画像から生成され、反転およびクリーンアップ後の閾値マップの例である。
【図２０】本発明による実施形態にしたがって生成された、顔領域画像の非肌色トーン区分けマップの例である。
【図２１】本発明による実施形態にしたがって修整された顔領域画像の例である。
【図２２】本発明による実施形態におけるブレンディング関数の例である。
【図２３】本発明による実施形態にしたがった非肌色トーン区分け画像の例である。
【図２４】本発明による実施形態にしたがったブレンディング関数の適用を伴う図２３の非肌色トーン区分け画像の例である。
【符号の説明】
【００５８】
１００  システム
１０２  コンピュータ・ネットワーク、分散通信システム
１０４  ドキュメント処理装置、ＭＦＰ
１０６  ユーザ・インターフェイス
１０８  コントローラ
１１０、１２４  データ記憶装置
１１２、１１６、１２０、１２６  通信リンク
１１４  カメラ、画像取込み装置
１１８  ユーザ装置
１２２  ネットワーク・ストレージ・サーバ
２００、３００  コントローラ
２０２  プロセッサ
２０４  読み出し専用メモリ、ＲＯＭ
２０６  ＲＡＭ
２０８  ストレージ・インターフェイス
２１０  ネットワーク・インターフェイス・サブシステム
２１２  バス
２１４  ネットワーク・インターフェイス・カード
２１６  ディスク・ドライブ
２１８  無線インターフェイス
２２０  物理的ネットワーク
２２２  ドキュメント・プロセッサ・インターフェイス
２２４  コピー・ハードウェア
２２６  画像走査ハードウェア
２２８  印刷ハードウェア
２３０  ファクシミリ・ハードウェア
２３２  ドキュメント処理ハードウェア
３０２  ドキュメント処理エンジン
３０４  印刷機能部
３０６  ファクシミリ通信機能部
３０８  画像走査機能部
３１０  ユーザ・インターフェイス・パネル
３１２  ジョブ・キュー
３１４  ネットワーク・サービス機能部
３１６  画像プロセッサ
３１８  ジョブ解析部
３２０  クライアント側ネットワーク・サービス機能
３２２  クライアント装置サービス部
【図１】
2008192138.tif 000003
【図２】
2008192138.tif 000004
【図３】
2008192138.tif 000005
【図４】
2008192138.tif 000006
【図５】
2008192138.tif 000007
【図１６】
2008192138.tif 000008
【図１７】
2008192138.tif 000009
【図１８】
2008192138.tif 000010
【図１９】
2008192138.tif 000011
【図２２】
2008192138.tif 000012
【図６】
2008192138.tif 000013
【図７】
2008192138.tif 000014
【図８】
2008192138.tif 000015
【図９】
2008192138.tif 000016
【図１０】
2008192138.tif 000017
【図１１】
2008192138.tif 000018
【図１２】
2008192138.tif 000019
【図１３】
2008192138.tif 000020
【図１４】
2008192138.tif 000021
【図１５】
2008192138.tif 000022
【図２０】
2008192138.tif 000023
【図２１】
2008192138.tif 000024
【図２３】
2008192138.tif 000025
【図２４】
2008192138.tif 000026