(57)【要約】【課題】写真をカリカチュア画像に変換するための方法および装置。【解決手段】デジタル画像からカリカチュア画像を作成する方法が提供される。方法はデジタル画像データを取り込むことから開始される。方法は取り込まれた画像データ内の顔面領域の位置を特定することを含む。次に、顔面領域の顔面部分に合致する顔面部分テンプレートが選ばれる。次に、顔面部分を顔面部分テンプレートで置き換える。次に、顔面部分テンプレートがカリカチュアまたは比写実的画像に変換される。コンピュータ読み取り可能な媒体、取り込まれた画像からカリカチュアを作成することのできる画像取り込み装置、および集積回路も提供される。【選択図】図１
2006012172.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像からカリカチュア画像を作成する方法であって、
デジタル画像データを取り込む操作と、
取り込まれた画像データ内の顔面領域の位置を特定する操作と、
顔面領域の顔面部分に合致する顔面部分テンプレートを選択する操作と、
顔面部分テンプレートを顔面部分に置き換える操作と、
顔面部分テンプレートを変換する操作と、
を含む方法。
【請求項２】
前記取り込まれた画像データ内の顔面領域の位置を特定する操作が、
デジタル画像のピクセルを肌色調ピクセルまたは非肌色調ピクセルに識別する操作と、
肌色調ピクセルから肌色調領域を定義する操作と
を含む請求項１に記載の方法。
【請求項３】
前記顔面領域の顔面部分に合致する顔面部分テンプレートを選択する操作が、
複数の顔面部分テンプレートと顔面部分との対応するピクセルを比較する操作と、複数の顔面部分テンプレートの内対応ピクセル間で最小の差異を有する１つを選択する操作と
を含む請求項１に記載の方法。
【請求項４】
前記顔面部分テンプレートを変換する操作が、顔面部分テンプレートに幾何学的変換技法を適用する操作を含む請求項１に記載の方法。
【請求項５】
前記取り込まれた画像データ内の顔面領域の位置を特定する操作が、
顔面領域の中央の座標を判断する操作と、
顔面領域の垂直重心線および水平重心線双方の中央を判断する操作と、
垂直重心線および水平重心線双方の中央を顔面領域の中央に収れんさせる操作と
を含む請求項１に記載の方法。
【請求項６】
前記垂直重心線および水平重心線双方の中央を顔面領域の中央に収れんさせる操作が、
顔面領域の中央の座標と、対応する垂直および水平重心線の中央の座標との差を計算する操作と、
差が閾値を超えるか判断する操作と、
差が閾値を超える場合、顔面領域の中央の座標を対応する垂直および水平重心線の中央の座標で置き換える操作と、
計算および判断を繰り返す操作と、
ことを含む請求項５項に記載の方法。
【請求項７】
後に変換するために画像内の顔面領域の位置を特定する方法であって、
画像の肌色調マップを生成する操作と、
肌色調マップ内の肌色調領域の位置を特定する操作と、
肌色調領域内の水平重心線および垂直重心線双方を特定する操作と、
水平重心線の水平中央点と垂直重心線の垂直中央点とを収れんさせる操作と、
収れんされた中央点の周囲に顔面領域を定義する操作と、
を含む方法。
【請求項８】
水平重心線および垂直重心線が肌色調領域の初期中央で交差する請求項７に記載の方法。
【請求項９】
肌色調マップ内の肌色調領域の位置を特定する方法操作が、肌色調領域の位置を特定する前に非隣接の肌色調領域を切り捨てる操作を含む、請求項７に記載の方法。
【請求項１０】
水平重心線が肌色調領域の最大幅を表し、垂直重心線が肌色調領域の最大高さを表す、請求項７に記載の方法。
【請求項１１】
水平重心線の水平中央点と垂直重心線の垂直中央点とを収れんさせる操作が、
顔面領域の中央の座標と対応する垂直および水平中央点の座標との差を計算する操作と、
差が閾値を超えるか判断する操作と、
差が閾値を超える場合、垂直および水平中央点の座標で顔面領域の中央の座標を置き換える操作と、
を含む請求項７に記載の方法。
【請求項１２】
デジタル画像からカリカチュア画像を作成するためのプログラム命令を有するコンピュータ読み取り可能な媒体であって、
デジタル画像データを取り込むためのプログラム命令と、
取り込まれた画像データ内の顔面領域の位置を特定するためのプログラム命令と、
顔面領域の顔面部分に合致する顔面部分テンプレートを選択するためのプログラム命令と、
顔面部分テンプレートを顔面部分に置き換えるためのプログラム命令と、
顔面部分テンプレートを変換するためのプログラム命令と
を含む媒体。
【請求項１３】
前記取り込まれた画像データ内の顔面領域の位置を特定するためのプログラム命令が、
デジタル画像のピクセルを肌色調ピクセルまたは非肌色調ピクセルに識別するプログラム命令と、
肌色調ピクセルから肌色調領域を定義するためのプログラム命令と
を含む請求項１２に記載のコンピュータ読み取り可能な媒体。
【請求項１４】
前記顔面領域の顔面部分に合致する顔面部分テンプレートを選択するためのプログラム命令が、
複数の顔面部分テンプレートと顔面部分との対応するピクセルを比較するためのプログラム命令と、
複数の顔面部分テンプレートの内対応ピクセル間で最小の差異を有する１つを選択するためのプログラム命令と
を含む請求項１２に記載のコンピュータ読み取り可能な媒体。
【請求項１５】
前記顔面部分テンプレートを変換するためのプログラム命令が顔面部分テンプレートに幾何学的変換技法を適用するためのプログラム命令を含む請求項１２に記載のコンピュータ読み取り可能な媒体。
【請求項１６】
取り込まれた画像データ内の顔面領域の位置を特定するためのプログラム命令が、
顔面領域の中央の座標を判断するためのプログラム命令と、
顔面領域の垂直重心線および水平重心線双方の中央を判断するためのプログラム命令と、
垂直重心線および水平重心線双方の中央を顔面領域の中央に収れんさせるためのプログラム命令と、
を含む請求項１２に記載のコンピュータ読み取り可能な媒体。
【請求項１７】
垂直重心線および水平重心線双方の中央を顔面領域の中央に収れんさせるためのプログラム命令が、
顔面領域の中央の座標と、対応する垂直および水平重心線の中央の座標との差を計算するためのプログラム命令と、
差が閾値を超えるか判断するためのプログラム命令と、
差が閾値を超える場合、顔面領域の中央の座標を対応する垂直および水平重心線の中央の座標で置き換えるためのプログラム命令と、
計算および判断を繰り返すためのプログラム命令と、
を含む請求項１６項に記載のコンピュータ読み取り可能な媒体。
【請求項１８】
後に変換するために画像内の顔面領域の位置を特定するためのプログラム命令を有するコンピュータ読み取り可能な媒体であって、
画像の肌色調マップを生成するためのプログラム命令と、
肌色調マップ内の肌色調領域の位置を特定するためのプログラム命令と、
肌色調領域内の水平重心線および垂直重心線双方を特定するためのプログラム命令と、
水平重心線の水平中央点と垂直重心線の垂直中央点とを収れんさせるためのプログラム命令と、
収れんされた中央点の周囲に顔面領域を定義するためのプログラム命令と、
を含む媒体。
【請求項１９】
水平重心線および垂直重心線が肌色調領域の初期中央で交差する請求項１８に記載のコンピュータ読み取り可能な媒体。
【請求項２０】
前記肌色調マップ内の肌色調領域の位置を特定するためのプログラム命令が、肌色調領域の位置を特定する前に非隣接の肌色調領域を切り捨てるためのプログラム命令を含む、請求項１８に記載のコンピュータ読み取り可能な媒体。
【請求項２１】
水平重心線が肌色調領域の最大幅を表し、垂直重心線が肌色調領域の最大高さを表す、請求項18に記載のコンピュータ読み取り可能な媒体。
【請求項２２】
水平重心線の水平中央点と垂直重心線の垂直中央点とを収れんさせるためのプログラム命令が、
顔面領域の中央の座標と対応する垂直および水平中央点の座標との差を計算するためのプログラム命令と、
差が閾値を超えるか判断するためのプログラム命令と、
差が閾値を超える場合は、垂直および水平中央点の座標で顔面領域の中央の座標を置き換えるためのプログラム命令と、
を含む請求項１８に記載のコンピュータ読み取り可能な媒体。
【請求項２３】
デジタル画像からカリカチュア画像を作成することのできる画像取り込み装置であって、
デジタル画像データを取り込むための画像取り込み回路と、
画像データの顔面領域を変換するように構成されたカリカチュア生成ロジックで：
顔面領域の位置を特定するように構成された顔面部分位置特定ロジックで、該顔面部分位置特定ロジックはさらに顔面領域内の検索領域の位置を特定し、顔面部分位置特定ロジックが生成する階調画像により検索領域内で顔面部分の位置が特定される顔面部分位置特定ロジックと、
顔面部分をテンプレートと突き合わせ、該テンプレートを画像データにおいて顔面部分に置き換えるように構成されたテンプレート突合せロジックと、
置き換えられたテンプレートを変換してカリカチュアを形成するように構成された画像変換ロジックと、を含む前記カリカチュア生成ロジックと、
を含む装置。
【請求項２４】
前記顔面部分位置特定ロジックが検索領域の垂直階調の最大和と特定するように構成された階調画像生成ロジックを含み、該最大和が顔面部分の位置を示す請求項２３に記載の画像取り込み装置。
【請求項２５】
請求項２３に記載の画像取り込み装置で、さらに画像取り込み装置のメモリに格納されるテンプレート・ライブラリを含み、該テンプレート・ライブラリはテンプレートを格納し、テンプレートはエンドポイントのセットとして格納される装置。
【請求項２６】
前記顔面部分位置特定ロジックがさらに水平重心線の中央点と顔面領域の中央点とを収れんさせるように構成された請求項２３に記載の画像取り込み装置。
【請求項２７】
前記顔面部分位置特定ロジックがさらに顔面領域内で最初に眼の位置を特定し、次に顔面領域内で口の位置を特定するように構成された、請求項２３に記載の画像取り込み装置。
【請求項２８】
画像データ内で顔面部分を特定するように構成された集積回路であって、
画像データの顔面領域を特定するように構成され、さらに顔面領域内で顔面部分が位置するウィンドウを設定するように構成された顔面部分位置特定回路と、
顔面部分をテンプレートと突合せるように構成され、顔面部分をテンプレートで置き換えるテンプレート突合せロジックと、
置き換えられたテンプレートの画像データを変換し、カリカチュアを形成するように構成された画像変換ロジックと、
を含む集積回路。
【請求項２９】
前記顔面部分位置特定回路が、検索領域の階調画像を生成するように構成され、検索領域内の顔面部分の位置を特定するために階調画像の垂直構成要素が使用される階調画像生成回路を含む、請求項２８に記載の集積回路。
【請求項３０】
前記ウィンドウが、集積回路が組み込まれている装置に係わる接眼レンズを通して見るテンプレートにより定義される請求項２８に記載の集積回路。
【請求項３１】
前記テンプレート突合せロジックが顔面部分およびテンプレートの対応するピクセルの差異を比較するように構成されたロジックを含む請求項２８に記載の集積回路。
【請求項３２】
前記画像変換ロジックが、画像データを幾何学的変換により変換するように構成され、該幾何学的変換は転換、引き伸ばし、および回転のグループから選択される請求項２８に記載の集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的にシステムを提供することに関し、より具体的にはデジタル画像のカリカチュアを生成する方法および装置に関する。
【背景技術】
【０００２】
現在消費者がデジタル・カメラまたは携帯電話カメラで撮影した写真からカリカチュア(caricature)画像を生成したい場合、使用者は処理するために画像をデスクトップ・コンピュータに転送しなければならない。現在の携帯電子装置ではカリカチュア画像を展開するのに必要な演算能力が得られない。その結果使用者は携帯装置で取り込んだデジタル画像からただちにカリカチュア画像を作成する手段を有さない。携帯電話カメラおよびその他のカメラ機能付き手持ち装置の普及と同時に取り込んだ画像を共有することが簡単なため、使用者は常により高度な機能を有する装置を求めている。従って、携帯装置から画像を作成する機能を持てば、使用者は例えば携帯電話カメラのアプリケーションなどでカリカチュア画像を電子メールで受信者に送信し、または単に写真の被写体といっしょに画像を見るということもできる。
【０００３】
【特許文献１】米国特許第6,619,860号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従って、携帯電子画像取り込み装置の限られた演算能力に適合した方法でカリカチュア画像の自動的生成を可能にするためには従来技術の問題点を解決する必要がある。  
【課題を解決するための手段】
【０００５】
本発明はおおまかに言って、画像データのカリカチュアまたは非写実的変容を効率的に生成できる方法およびシステムを提供することにより、前述の必要を満足させる。本発明は方法、システム、コンピュータ読み取り可能な媒体または装置を含み、多数の形態で実施することができることが理解されよう。本発明の創意的な実施形態をいくつか以下に説明する。
【０００６】
一実施形態では、デジタル画像からカリカチュア画像を作成する方法が提供される。この方法はデジタル画像データを取り込むことから始まる。方法は取り込まれた画像データ内の顔面領域の位置を特定することが含まれる。次に顔面領域の顔面部分に合った顔面部分テンプレートが選択される。続いて顔面部分を顔面部分テンプレートで置き換える。次に顔面部分テンプレートがカリカチュアまたは非写実的(non-photo-realistic)画像に変容される。
【０００７】
別の実施形態では後の変容のために画面内の顔面領域の位置を特定する方法が提供される。この方法は画像の肌色調(skin tone)マップを生成することから始まる。方法は肌色調マップ内で肌色調領域を特定することを含む。次に肌色調領域内の水平重心線および垂直重心線双方が特定される。続いて水平重心線の水平中央点および垂直重心線の垂直中央点が収れんされる。次に顔面領域が収れんされた中央点の周囲に定義される。
【０００８】
さらに別の実施形態では、デジタル画像からカリカチュア画像を作成するためのプログラム命令を有するコンピュータ読み取り可能な媒体が提供される。コンピュータ読み取り可能な媒体はデジタル画像データを取り込むためのプログラム命令および取り込まれた画像データ内の顔面領域の位置を特定するプログラム命令を含む。顔面領域の顔面部分に合った顔面部分テンプレートを選ぶためのプログラム命令が含まれる。また顔面部分を顔面部分テンプレートで置き換えるためのプログラム命令および顔面部分テンプレートを変容させるためのプログラム命令が提供される。
【０００９】
さらに別の実施形態では、後の変換用に画面内の顔面領域の位置を特定するためのプログラム命令を有するコンピュータ読み取り可能な媒体が提供される。  コンピュータ読み取り可能な媒体は画像の肌色調マップを生成するためのプログラム命令および肌色調マップ内で肌色調領域を特定するためのプログラム命令を含む。肌色調領域内の水平重心線および垂直重心線双方を特定するためのプログラム命令が含まれる。また水平重心線の水平中央点および垂直重心線の垂直中央点を収れんするためのプログラム命令および顔面領域を収れんされた中央点の周囲に定義するためのプログラム命令が提供される。
【００１０】
別の実施形態では取り込まれた画像からカリカチュアを作成することができる画像取り込み装置が提供される。画像取り込み装置はデジタル画像データを取り込むための画像取り込み回路および画像データの顔面領域を変容させるように構成されたカリカチュア生成ロジックを含む。カリカチュア生成ロジックは顔面領域を特定するように構成された顔面部分位置特定ロジックを含む。顔面部分位置特定ロジックはさらに顔面領域内の検索領域を特定するように構成されている。顔面部分は顔面部分位置特定ロジックが生成する階調画像（gradient image）を通して検索領域内で特定される。カリカチュア生成ロジックは顔面部分をテンプレートに突合わせるテンプレート突合せロジックを含む。テンプレートは顔面部分を置き換えて画像データに組み込まれる。カリカチュア生成ロジックには画像変形ロジックが含まれる。画像変形ロジックは 置き換えられたテンプレートで画像データを変換しカリカチュアを形成するように構成される。
【００１１】
さらに別の実施形態では、画像データ内で顔面部分の位置を特定するように構成された集積回路が提供される。集積回路は顔面領域を特定するように構成された顔面部分位置特定回路を含む。顔面部分位置特定回路は顔面領域内の検索領域を特定するように構成される。顔面部分位置特定回路は検索領域の階調画像を生成するように構成された階調画像生成回路を含み、同検索領域で階調画像の垂直構成要素が検索領域内の顔面部分の位置を特定するために用いられる。顔面部分をテンプレートで置き換えるために顔立ちをテンプレートと突き合わせるように攻勢されたテンプレート突合せロジックが含まれる。集積回路には置き換えられたテンプレートで画像データを変換し、カリカチュアを形成するように構成された画像変形ロジックが提供される。
【００１２】
本発明の原則を示す添付図面と合わせて以下の詳細な説明から発明の他の態様および利点が明らかになろう。
【発明を実施するための最良の形態】
【００１３】
画像データからカリカチュアを生成するシステムおよび方法が説明される。但し本発明はこれらの具体的な詳細の一部または全てなしで実施することが当業者には明らかであろう。 別途、本発明を不必要に分かりにくくしないよう周知の処理操作は 詳しく説明されていない。
【００１４】
本明細書に説明される実施形態はデジタル画像、すなわち写真、をカリカチュアに変換する方法およびシステムを提供する。肌色調アルゴリズムおよび顔面部分位置特定ロジックを使用し、顔面の主要な部分の位置を特定し、操作の上カリカチュアにする。デジタル画像で位置を特定された顔面部分は次にライブラリに格納されたテンプレートと突き合わされ、最も似通ったテンプレートが特定される。次に最大合致のテンプレートでデジタル画像の顔面部分を置き換える。一実施形態で置き換えられたテンプレートは歪められた顔面部分である。あるいは、テンプレートを後述する画像変形方法による歪めることができる。別の実施形態で顔面領域の主要顔面部分は画像を撮る時点で定義される。例えば使用者は画像データを取り込む前にファインダーにより定義されるテンプレートに画像の被写体の顔面部分を入れることができる。
【００１５】
図１は画像をカリカチュアに変換するための後述する実施形態の結果を示すハイレベル（high level）概要図である。ここで画像100 はデジタル・カメラ、携帯電話カメラ、またはその他適当なカメラ機能付き手持ち電子装置などの画像取り込み装置により取り込まれたデジタル画像の表示である。後述する方法により、画像100 はカリカチュア画像102に変容される。この変容は画像取り込み装置のロジックおよび回路によって行なわれ、それにより使用者は取り込まれた画像を瞬間的に変容させることができる。もちろん背景の特色またはその他適当な特色を歪んだ顔面画像とともにカリカチュア画像に組み込むことができる。例えば画像102 には魔法のランプが組み入れられている。
【００１６】
図２は本発明の一実施形態による、デジタル画像のカリカチュア画像への変換を達成させる主要モジュールを示すハイレベル概要図である。モジュール104a でデジタル画像が取り込まれる、すなわち手持ち装置により写真が撮影される。画像を取り込むために使用される手持ち装置はデジタル・カメラ、携帯電話カメラ、カメラ機能付きの携帯端末、等々で良い。例えば画像104b はそのように画像取り込み装置で取り込むことのできる画像である。モジュール 106a は取り込まれた画像の顔面部分の位置を特定する機能に相当する。ここで画像104bの画像データは顔面領域をまず定義し、次に顔面領域内における顔面部分の位置を特定するために分析される。一実施形態では顔面領域を見出すために肌色調アルゴリズムが用いられる。顔面領域が決定されると次に顔面領域内の顔面部分が特定される。例えば領域106b-1、106b-2、106b-3、および106b-4は顔面部分が特定された位置を示す。すなわち、眉毛は領域106b-1内に位置し、目は領域106b-2に、鼻は領域106b-3に、および口は領域106b-4に位置している。テンプレート突き合わせモジュール108aにより位置が特定された顔面部分はテンプレートと突き合わされる。テンプレートは適当なライブラリに格納され、これは画像取り込み装置内に、または画像取り込み装置外に存在することができる。つまり、テンプレートは装置の不揮発性メモリに格納することができる。
【００１７】
一実施形態ではテンプレートおよび調節された取り込み画像とのピクセルを比較することによって合致が判断され、エラーが最も少ない比較が最大の合致と特定される。位置が特定された顔面部分とテンプレート・ライブラリに存在する対応テンプレートに関連した類似の大きさの領域同士の同種の比較を提供すべく、位置が特定された顔面部分は大きさを調節されることがあることが理解されよう。画像108b は合致したテンプレートでデジタル画像106bにおいて置換を行なった結果を示す。ここでは眉毛、目、鼻、および口の顔面部分が画像において置き換えられている。画像変形モジュール110a はテンプレートで置換された画像108b をカリカチュア画像または非写実的(non-photo-realistic)画像に変容させる機構を提供する。画像110b は置換テンプレートを変容させてカリカチュアを表示することができる画像変形の結果を示す。位置が特定された顔面部分のみならず元の画像における他のデータも変容させてカリカチュア画像を実現することができる。基本的にいかなる画像データも引き伸ばし、回転、縮小、転換(translation)、またはその他の適当な幾何学的変換(transformation)方法により変容させることができる。さらに画像データにオブジェクトを組み込むことができる。例えば画像110b において、画像の被写体は頭に冠が置かれている。使用者の望む結果を実現するために画像にその他多数の品目、オブジェクトの追加や置換を行うことができることを当業者は理解するであろう。
【００１８】
2006012172.tif 000003
【００１９】
同様に、ytおよびybは垂直重心に沿った両端の２つ肌色色調点を表し、以下を満足する：
2006012172.tif 000004
【００２０】
一実施形態では、目および口の位置は検索領域におけるウィンドウの垂直方向の階調(vertical gradient)の最大和(maximum sum)を見出すことにより判断される。位置の精度はウィンドウおよび検索領域の大きさに依存する。鼻や眉毛など他の顔面部分の検索は、例えば眉毛は目の上にあり、鼻は口と目の間にあるなど顔の幾何学的制約に依存する。このように、一旦垂直方向の階調の最大和により目と口の位置が特定された場合、残りの顔面部分はこのような幾何学的制約の知識により位置を特定することができる。
【００２１】
2006012172.tif 000005
【００２２】
別の実施形態では本明細書に説明される実施形態に対し、肌色調アルゴリズムにより顔面部分の位置を特定する代わりにテンプレートに補助される方法を利用することができる。この場合、テンプレートをファインダーに組み込み、使用者が被写体の顔面部分を対応するテンプレート領域にはめることができる。例えば、ファインダーまたは使用者が画像取り込み装置を通して見ている情景に図４におけるウィンドウ120a、122a、および 124aの輪郭を描くことができる。ここで使用者は、被写体の顔面部分が対応する領域120a、122a、および124aに入るようにピントを合わせ、またはズームなど必要な調節を行ないことができる。より具体的には被写体の目はウィンドウ120aおよび122aに入れられ、一方被写体の口はウィンドウ124a内に含まれる。一旦顔面部分がこれらのウィンドウに入れらると使用者は画像データの取り込み、すなわち情景の写真撮影、を開始することができる。本明細書で説明されるテンプレート突合せ機構および画像変形機構により取り込まれた画像のカリカチュアを生成することができる。
【００２３】
図５は本発明の一実施形態による、テンプレート突合せ機構を示す簡略概要図である。図４に関連して上述したように、一旦顔面部分が特定されると、各顔面部分は重ね合わせ(registration)処理をされ、対応する顔面部分とテンプレートとの間における最小エラー数が判断される。ここで、顔面部分を多数の対応テンプレートと比較した場合、各比較に関連してエラー数が生じる。これらすべての比較の中で最小エラー数が最大の合致を示す。ここで、図130で特定された顔面 部分はテンプレート・ライブラリ132における対応顔面部分と比較される。つまり、眉毛はテンプレート・ライブラリ132内の対応する眉毛と比較され、図130の目はテンプレート・ライブラリ132内の対応する目と比較され、以下同様である。テンプレート・ライブラリは任意の適当なテンプレート数を格納するように構成できる。さらに、テンプレート・ライブラリは合致したテンプレートに置き換わることのできる、変形済みテンプレートを格納することができる。一実施形態では、顔面部分が異なった写真において異なった大きさや異なった方向性を持つので、顔面部分の大きさをテンプレートの大きさに調節し、類似した大きさの領域を比較するようにできる。別の実施形態では幾何学的変換(transformation)が次のように定義される：
2006012172.tif 000006
【００２４】
最初のα0 は選ばれることが理解されよう。誤差E(a)が減少している場合は同じα が次の反復に使用される。そうでない場合はその前のaが復活し、αは低減される。
【００２５】
対応する顔面部分とテンプレートとの間で最大の合致が一旦見出されると整合性および再写像(remapping)モジュール134 が、元の画像130にテンプレートを置き換える際、顔面部分が正しい領域に置かれることを確実にする。例えば、整合性および再写像モジュール134は目が正しい位置に行くことを確実にすることができる。さらに、鼻が２つの目の下にあり、口が鼻の下に来るようここで幾何学的制約を課すことができる。再写像により対応するテンプレートは画像136に「縫い込まれ」、それにより顔面部分がテンプレートにより置き換えられる。もちろん上述のように変形済みテンプレートで置き換えることもできる。
【００２６】
図６は本発明の一実施形態による、取り込まれた画像からカリカチュア画像を作成する機能を使用者に提供するように構成された装置の簡略概要図である。ここで装置140 は電荷結合素子（ＣＣＤ）142、中央演算装置（ＣＰＵ）144、メモリ 146、バス 158 およびカリカチュア変換ロジック150を含む。ＣＣＤ 142 は装置140のレンズの背後に置かれ、該装置140は画像取り込み装置、すなわちカメラ機能を有する装置であり得る。  装置140 内の各モジュールはバス158経由で相互に通信することができる。メモリ 146 はテンプレート・ライブラリ148を含む。一実施形態では、テンプレート・ライブラり148は装置140によりアクセスされることができ、例えばテンプレート・ライブラリは装置140外にあっても良い。つまり、テンプレート・ライブラリ148 は外付きのサーバに格納されることができ、装置140により無線または有線接続によりアクセスされる。テンプレート・ライブラリに複数のテンプレートを格納するのに要するメモリ量を最小限にするために、テンプレートは画像全体をメモリに格納するのではなく、エンドポイントのセットとして格納することができることは理解されよう。ディスプレー画面160 は装置140 と通信しているが、ディスプレー画面160 は 一体化されたユニットとして装置140 に組み込まれても良いことは理解されよう。また、ディスプレー画面160 は例えば液晶ディスプレー・コントローラなど別途の画像処理装置（例示されず）により駆動されても良いことは理解されよう。
【００２７】
図６のカリカチュア変換ロジック150 は顔面部分位置特定ロジック152、テンプレート突合せロジック154 および画像変形ロジック156を含む。顔面部分位置特定ロジック152は顔面領域を判断し、さらに図２−４に関連して説明されたように顔面領域内の顔面部分を判断するロジックを含む。テンプレート突合せロジック154 は顔面部分位置特定ロジック152 により位置が特定された顔面部分とテンプレート・ライブラリ148のテンプレートとの突合せを可能にするロジックを含む。ここで、テンプレート突合せロジック154 は図５に関連して説明された機能を達成するためのロジックを含む。画像変形ロジック156 はカリカチュアまたは非写実的画像を定義するために画像データの変形を可能にするロジックを含む。ここで、幾何学的変形を適用することができる。例えば引き伸ばし変形、回転変形、縮小変形、および転換変形を適用して、画像の変容を達成する。基本的に顔面部分または画像を歪めるどのような変形も適用できる。
【００２８】
図７は本発明の一実施形態による、デジタル画像からカリカチュア画像を作成するための方法操作を示すフローチャート図である。方法はデジタル画像データが取り込まれる操作170 で開始される。デジタル画像データはデジタル・カメラまたは携帯電話カメラなど任意の適当な画像取り込み装置で取り込むことができる。方法は次に操作172 に進み、取り込み画像データ内の顔面領域の位置が特定される。ここで顔面部分位置特定ロジックが顔面領域を定義し、その後前述の如く、顔面領域内の顔面部分を特定するための検索領域の位置を特定する。一実施形態では、図３に関連して前述の如く、顔面領域の位置を特定するために肌色調アルゴリズムが画像データに適用される。別の実施形態では顔面領域内で顔面部分の位置を判断するために階調データを分析する。
【００２９】
方法は次に操作174 に進み、顔面領域のある顔面部分に合致する顔面部分テンプレートが選ばれる。ここで、顔面部分と複数のテンプレートとの間で最大の合致を判断するために操作172 で特定された顔面部分と格納されたテンプレートとの比較が行なわれる。一実施形態では、顔面部分とテンプレートとの間で対応するピクセル値を比較して合致を特定する。方法は次に操作176 に進み、顔面部分テンプレートを画像データ内の顔面部分に置き換える。図５に関連して説明したように、ここで重ね合わせ、整合性、および再写像の機能を行なうことができる。方法は次に操作178 に進み、顔面部分テンプレートは画像変形により変形される。さらに元の取り込みデジタル画像データのカリカチュア画像を提示するために、例えば背景データまたは他のオブジェクトなど顔面部分テンプレート以外のデータを変形または組み込むことができる。
【００３０】
図８は本発明の一実施形態による、後の変換用に画面内の顔面領域の位置を特定するための方法操作を示すフローチャート図である。方法は画像の肌色調マップが生成される操作 180 で開始される。ここで、肌色調アルゴリズムを画像データの各ピクセルに適用することにより、ピクセルを肌色調ピクセルまたは非肌色調ピクセルと識別する肌色調マップを生成する。 方法は次に操作182 に進み、肌色調マップ内の肌色調領域が特定される。ここで、孤立した、または外れた肌色調領域を切り捨てることができる。方法は次に操作184 に進み、肌色調領域内の水平重心線および垂直重心線が特定される。水平重心線および垂直重心線の交点は顔面領域の初期中央点を定義する。
【００３１】
図８の方法は次に操作186 に進み、水平重心線の水平中央点および垂直重心線の垂直中央点が反復プロセスにより収れんされる。一実施形態では、反復プロセスが水平重心線の中央点と以前の重心座標とを比較する。これら２つの要素の違いがある閾値より大きい場合、新しい中央点が定義され、後続の中央点の比較が閾値未満になるまでプロセスは続けられる。同様の処理が垂直重心線に対しても行われる。例えば、中央点を収れんさせるために図３関連した前述の方程式をここで適用することができる。方法は次に操作188 に進み、顔面領域が収れんされた中央点の周りに定義される。収れんされた中央点は操作186に関連して上述したとおり、反復的に判断されることが理解されよう。一実施形態では真の顔面領域を計算する際に顔面が左右対称であると仮定される。
【００３２】
要約すると、上述の発明は取り込まれた画像からカリカチュア画像を作成する方法および装置を提供する。一実施形態では機構に顔面部分位置特定技法に続き、テンプレート突合せおよび画像変形を含む。顔面部分位置特定技法は例えば顔面領域を定義する肌色調アルゴリズムなど画像分析によって達成できる。顔面領域内で取り込み画像の被写体の目および口の位置は、図４に関連して記述したように、検索領域のウィンドウ内で垂直方向の階調の最大和を見出すことによって判断される。あるいは、テンプレートに補助される方法では、顔面が顔面領域を定義する長方形の枠に置かれ、または顔面領域が前述のように予め設定されたテンプレートに入れられる。テンプレート突合せおよび画像変換技法によりカリカチュア画像が直ちに生成されるので、使用者は画像を取り込んだ手持ち式の装置で画像を直ちに見ることができる。取り込まれた顔面部分は人間の顔面部分として説明されてきたが、本明細書で説明される実施形態は動物の顔面部分にも適用されることが理解されよう。基本的には顔面が人間のであろうとなかろうと、顔面を含む画像は前述のように操作することができる。
【００３３】
上述の各実施形態を念頭にして、本発明はコンピュータ・システムに格納されたデータに関連した各種コンピュータ実行操作を使用できることが理解されよう。これらの操作は物理量の物理的操作を必要とするものである。必ずしもではないが通常これらの量は記憶、転送、結合、比較、およびその他操作可能な電気的あるいは磁気的信号の形を取る。さらに、行なわれる操作はしばしば作成、識別、判断、あるいは比較などの用語で引き合いにされる。
【００３４】
上述の発明は手持ち式の装置、マイクロプロセッサ・システム、マイクロプロセッサに基づいた、またはプログラム可能な消費者エレクトロニクス、ミニコンピュータ、メインフレーム・コンピュータ等々、他のコンピュータ・システム構成で実施することができる。本発明はさらに通信ネットワークを通じてリンクされる遠隔処理装置がタスクを実行する分散型コンピュータ環境においても実施することができる。
【００３５】
発明はまたコンピュータ読み取り可能な媒体上のコンピュータ読み取り可能なコードとして実施することができる。コンピュータ読み取り可能な媒体とは後にコンピュータ・システムにより読み取れるデータを格納することができるデータ記憶装置である。コンピュータ読み取り可能な媒体はさらにコンピュータ・コードが具体化される電磁搬送波も含む。コンピュータ読み取り可能な媒体の例にはハードドライブ、ネットワーク接続記憶装置（ＮＡＳ）、読み取り専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、ならびにその他光学的および非光学的データ記憶装置を含む。またコンピュータ読み取り可能な媒体はコンピュータ読み取り可能なコードが分散された形で格納され実行されるようにネットワーク結合のコンピュータ・システム上に分散されるても良い。
【００３６】
前記の発明は明瞭な理解を図るためかなり詳細に説明されたが、添付請求項の範囲内で一定の変更および修正を実施することは可能であることは明らかであろう。従って、本実施形態は例示とみなされるもので限定するものではなく、発明はここで叙述された詳細に限定されるものではなく、添付請求項の範囲および同等内容において修正できるものである。請求項において、要素および／あるいは工程は請求項に明示的に記載されない限り、特定の操作順序を意味するものではない。  
【図面の簡単な説明】
【００３７】
【図１】画像をカリカチュアに変換するための後述する実施形態の結果を示すハイレベル概要図。
【図２】本発明の一実施形態による、デジタル画像のカリカチュア画像への変換を達成させる主要モジュールを示すハイレベル概要図。
【図３】本発明の一実施形態による、画像被写体の顔面領域の位置特定方法を示す簡略概要図。
【図４】本発明の一実施形態による、顔面領域内の検索ウィンドウおよび対応する顔面部分位置領域を示す簡略概要図。
【図５】本発明の一実施形態による、テンプレート突合せ機構を示す簡略概要図。
【図６】本発明の一実施形態による、取り込まれた画像からカリカチュア画像を作成する機能を使用者に提供するように構成された装置の簡略概要図。
【図７】本発明の一実施形態による、デジタル画像からカリカチュア画像を作成するための方法操作を示すフローチャート図。
【図８】本発明の一実施形態による、後の変換用に画面内の顔面領域の位置を特定するための方法操作を示すフローチャート図。
【符号の説明】
【００３８】
104a  写真
106a  顔面部分の位置特定
108a  テンプレートの突合せ
110a  画像の変換
142  ＣＣＤ
144  ＣＰＵ
146  メモリ
148  ＴＬ
152  顔面部分位置特定ロジック
154  テンプレート突合せロジック
156  画像変換ロジック
160  ディスプレー画面
170  デジタル画像データの取り込み
172  取り込まれた画像データ内の顔面領域の位置特定
174  顔面領域の顔面部分と合致する顔面部分テンプレートの選択
176  顔面部分を顔面部分テンプレートで置換
178  顔面部分テンプレートの変換
180  画像の肌色調マップの生成
182  肌色調マップ内の肌色調領域の特定
184  肌色調領域内の水平重心線および垂直重心線双方の特定
186  水平重心線の水平中央点と垂直重心線の垂直中央点との収れん
188  収れんされた中央点の周囲に顔面領域を定義
【図６】
2006012172.tif 000007
【図７】
2006012172.tif 000008
【図８】
2006012172.tif 000009
【図１】
2006012172.tif 000010
【図２】
2006012172.tif 000011
【図３】
2006012172.tif 000012
【図４】
2006012172.tif 000013
【図５】
2006012172.tif 000014