(57)【要約】      （修正有）【課題】特定の治療を施す価値があるか否かを決定するため、一連の治療を受ける前に得られそうな結果の提示がなされることは、患者にとって役に立つ。このような画像を生成できる、画像処理方法及び装置を提供する。【解決手段】ディジタルカメラ１を介して患者２の画像が取得される。次に、結果として患者２の容貌となる、発色団の分布を表すデータを、画像データから導出するように、ＲＧＢ画像データが処理される。次に、所望の化粧上の、外科的治療上の、又は医学的異常についての、効果を表す、発色団の改訂された分布が導出されるように、発色団の計算された分布が使用される。次に、この発色団の分布は、その治療の期待される結果を示す出力画像３４を生成するように、処理される。生成された画像３４は、期待される改善の程度が決定可能となるように、原の画像３３と同時に表示可能である。【選択図】  図１
2007190364.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上の発色団の密度と、前記１つ以上の発色団の密度を含む、皮膚の外見上の色を示すデータとの関係を定義する、モデルデータを格納するデータ格納手段（１４、２０）と、  前記データ格納手段（１４、２０）に格納されたモデルデータを用いて、患者の画像を表す、受信された画像データを処理し、表された前記患者の皮膚内の少なくとも１つの発色団の分布を決定する分布決定モジュール（１２）と、  前記分布決定モジュール（１２）によって決定された少なくとも１つの発色団分布の、決定された分布を処理して、改訂された発色団の分布を表すデータを生成する処理モジュール（１６）と、  前記分布決定モジュール（１２）によって決定された少なくとも１つの決定された発色団の分布と、患者の画像を表す受信された画像データとを使用し、表された患者の皮膚における、前記少なくとも１つの発色団の分布以外の要因による患者の皮膚の容貌における変動を決定する、変動決定モジュール（２２）と、  前記プロセスモジュール（１６）によって決定された改訂された発色団の分布を表すデータ、１つ以上の発色団の密度と前記１つ以上の発色団の前記密度を含む皮膚の外見上の色を示すデータとの前記関係を定義する前記格納されたデータ（１４、２０）、及び、前記変動決定モジュール（２２）によって決定され、表された患者の皮膚内の前記少なくとも１つの発色団の分布以外の要因による前記患者の皮膚の容貌における変動を用いて、患者を表すデータを生成する画像データ生成モジュール（１８、２４）と、を備えることを特徴とする画像処理装置。
【請求項２】
前記分布決定モジュール（１２）が、患者の画像を表す、受信された画像データを処理して、表された前記患者の皮膚内の少なくとも１つの発色団分布を決定し、前記少なくとも１つの発色団が、血液、メラニン、コラーゲン、ビリルビン、刺青剤若しくは染色剤、ケラチン、又は、体毛のリストから選択される、少なくとも１つの発色団からなる、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記分布決定モジュール（１２）が、患者の画像を表す、受信された画像データを処理して、表された患者の皮膚内の血液及びメラニンの分布を決定する、ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記変動決定モジュール（２２）が、前記分布決定モジュール（１２）によって決定された少なくとも１つの発色団の、決定された分布を用いることによって、表された患者の皮膚内の前記少なくとも１つの発色団の分布以外の要因による、前記患者の皮膚の容貌における変動を決定し、前記少なくとも１つの発色団の分布による患者の皮膚の容貌を表す画像データを生成し、生成された前記画像を、前記患者の実際の容貌の画像を表す、受信された画像データと比較する、ことを特徴とする請求項１乃至請求項３に記載の画像処理装置。
【請求項５】
患者を表す画像データを取得するカメラ（１）と、  患者を偏光した光で照らす光源（３、３８）と、  前記光源（３、３８）によって生成された偏光した光を除去する、偏光フィルタ（３６）と、を備え、  前記カメラ（１）が、前記偏光フィルター（３６）を介し光源（３、３８）によって照らされた患者を表す画像データを取得するように構成されている、ことを特徴とする画像処理装置。
【請求項６】
前記カメラ（１）が、前記偏光フィルタ（３６）を介し前記光源（３、３８）によって照らされた患者の画像データ、及び、前記偏光フィルタ（３６）を外したときの前記光源（３、３８）によって照らされた患者を表す画像データ、を取得し、  前記分布決定モジュール（１２）が、前記偏光フィルタ（３６）を介して前記光源（３、３８）によって照らされた患者の画像データを処理し、  前記変動決定モジュール（２２）が、前記偏光フィルタ（３６）を外したときの、前記光源（３、３８）によって照らされた患者を表す画像データを使用して、表されている患者の皮膚内の前記少なくとも１つの発色団の分布以外の要因による、前記患者の皮膚の容貌における変動を決定する、ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記偏光フィルタ（３６）を外したときの患者を表す画像データを取得可能なカメラ（１）を、さらに備え、  前記分布決定モジュール（１２）が、前記偏光フィルタ（３６）を介して前記光源（３、３８）によって照らされた患者の画像データを処理し、  前記変動決定モジュール（２２）が、前記偏光フィルタ（３６）を外したときの前記光源（３、３８）によって照明された患者を表す画像データを使用して、表された患者の皮膚内の少なくとも１つの発色団の分布以外の要因による、患者の皮膚の容貌における変動を決定する、ことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記処理モジュール（１６）が、発色団の異常な分布を特定し、検出された前記異常な分布を減らすように特定された前記発色団の異常な分布を処理することによって、改訂された発色団の分布を表すデータを生成するように、少なくとも１つの発色団の決定された分布を処理する、ことを特徴とする請求項１乃至請求項７に記載の画像処理装置。
【請求項９】
前記処理モジュール（１６）が、１つ以上の発色団の過剰な密度を特定し、検出された前記過剰な密度を減らすように特定された前記発色団の過剰な密度を処理することによって、改訂された発色団の分布を表すデータを生成するように、少なくとも１つの発色団の決定された分布を処理する、ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記処理モジュール（１６）が、１つ以上の発色団の過剰な密度を特定し、特定された発色団の過剰な密度をくすませる機能を働かせることによって検出された過剰な密度を減らすように処理することによって、改訂された発色団分布を表すデータを生成するように、少なくとも１つの発色団の決定された分布を処理することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
１つ以上の発色団の密度と、前記１つ以上の発色団の前記密度を含む皮膚の外見上の色を示すデータと、の関係を定義するモデルデータを格納し、  前記格納されたモデルデータを用いて、患者の画像を表す、受信された画像データを処理して、表された患者の皮膚内の少なくとも１つの発色団の分布を決定し、  少なくとも１つの発色団の決定された分布を処理して、改訂された発色団の分布を表すデータを生成し、  少なくとも１つの発色団の決定された分布と、患者の画像を表す受信された画像データとを用いて、表された患者の皮膚内の前記少なくとも１つの発色団の分布以外の要因による前記患者の皮膚の容貌における変動を決定し、  前記改訂された発色団の分布を表す前記データ、前記格納されたモデルデータ、及び、表された患者の皮膚内の前記少なくとも１つの発色団の分布以外の要因による患者の皮膚における決定された変動、を用いて、患者を表すデータを生成する、ことを特徴とする画像処理方法。
【請求項１２】
前記少なくとも１つの発色団が、血液、メラニン、コラーゲン、ビリルビン、刺青剤若しくは染色剤、ケラチン、又は、体毛のリストから選択される、少なくとも１つの発色団からなる、ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
受信された画像データを処理して、表された患者の皮膚内の少なくとも１つの発色団の分布を決定することが、受信された画像データを処理して、表された患者の皮膚内の血液及びメラニンの分布を決定することからなる、ことを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
表された患者の皮膚内の前記少なくとも１つの発色団の分布以外の要因による前記患者の皮膚の容貌における変動を決定することが、  少なくとも１つの発色団の決定された分布を用いて、前記少なくとも１つの発色団の分布による患者の皮膚の容貌を表す画像データを生成し、  生成された前記画像と前記患者の実際の容貌の画像を表す受信された画像データとを比較することからなる、ことを特徴とする請求項１１乃至請求項１３に記載の画像処理方法。
【請求項１５】
偏光した光を発生する光源（３、３８）からの偏光した光を患者に照らし、  偏光した光で照らされた前記患者を表す画像データを、前記光源（３、３８）によって発生された光と同一の偏光を有する光を除去する偏光フィルタ（３６）を介して観測されたものとして、生成する、ことを特徴とする請求項１１乃至請求項１４に記載の画像処理方法。
【請求項１６】
さらに、前記偏光フィルタ（３６）を外したときの偏光した光で照らされた前記患者を表す画像を取得し、  受信した画像データを処理して皮膚内の少なくとも１つの発色団の分布を決定することが、前記光源によって発生させられた光と、同一の偏光を有する光を除去する偏光フィルタ（３６）を介して観測されたものとして、偏光した光で照らされた患者を表す画像データを処理することからなり、  前記少なくとも１つの発色団の分布以外の要因による患者の皮膚の容貌における変動を決定することが、少なくとも１つの発色団の決定された分布と、前記偏光フィルタ（３６）を外して得られ偏光した光で照らされた患者の画像を表す、受信された画像データとを用いることを含む、ことを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
少なくとも１つの発色団の決定された分布を処理して、改訂された発色団の分布を表すデータを生成することが、発色団の異常分布を特定し、検出された特定分布を減らすように特定された発色団の異常分布を処理することからなる、ことを特徴とする請求項１１乃至請求項１６に記載の画像処理方法。
【請求項１８】
前記少なくとも１つの発色団の決定された分布を処理することが、発色団の過剰な密度を特定し、検出された過剰な密度を減らすように特定された前記過剰な密度を処理することからなる、ことを特徴とする請求項１７に記載の画像処理方法。
【請求項１９】
少なくとも１つの発色団の決定された分布を処理して、改訂された発色団の分布を表すデータを生成することが、発色団の過剰な密度を特定し、特定された前記発色団の過剰な密度をくすませる機能を働かせることによって処理することからなる、ことを特徴とする請求項１８に記載の画像処理方法。
【請求項２０】
プログラミング可能なコンピュータ（４）を請求項１乃至請求項４に記載の装置に構成する、又は、プログラミング可能な装置（４）を請求項１１乃至請求項１４に記載の方法を実行するように構成する、コンピュータがインタープリット可能な命令を記憶する、ことを特徴とする記憶媒体。
【請求項２１】
コンピュータディスクからなる、ことを特徴とする請求項２０に記載の記憶媒体（５、６）。
【請求項２２】
磁気ディスク、光ディスク、又は光磁気ディスクからなる、ことを特徴とする請求項２１に記載の記憶媒体（５）。
【請求項２３】
通信ネットワーク内の信号（６）からなる、ことを特徴とする請求項２１に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】  本願は、画像処理に関する。特に、本願の実施例は、患者の画像を処理して、美容若しくは外科的措置の結果を表す画像、又は医学的異常の進行を表す画像を生成する方法及び装置に関する。
【背景技術】
【０００２】  細絡、加齢斑等の多くの皮膚の異常は、患者の容貌を下げるように影響する。それゆえこれらの異常に対処するために、種々の美容及び外科的技術が開発されてきた。そして、例えば、細絡の出現は、変調をきたした血管を、レーザを用いたお灸によって小さくすることが行われることがある。同様に、加齢斑の出現に関しては、酸を使用した剥皮を施して処置されることがある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】  特定の治療を施す価値があるか否かを決定するため、一連の治療を受ける前に得られそうな結果の提示がなされることは、患者にとって役に立つ。このような画像は、正確であればあるほど望ましい。それゆえ、従来技術よりも治療の得られそうな結果をより正確に表すことができるように、このような画像を生成できる、画像処理方法及び装置に対する要望がある。
【課題を解決するための手段】
【０００４】  本発明の１つの側面によれば、  少なくとも１つの発色団の異なる密度のために生ずる皮膚の容貌におけるばらつきのモデルを定義するモデルデータを保存し、  患者の画像を取得し、  保存された前記モデルデータを使って画像を処理し、画像内における患者の容貌の原因である少なくとも１つの発色団の分布を決定し、  前記少なくとも１つの発色団の改訂された分布を決定し、  前記少なくとも１つの発色団の改訂され決定された分布と前記保存されたモデルデータを用いて、前記画像内に、前記患者の表示を生成する、患者の画像を生成する方法が提供される。【０００５】  本発明の一実施例に拠れば、画像内への患者の表示の生成は、  画像内の患者の皮膚における少なくとも１つの発色団の決定された分布を使用し、前記少なくとも１つの発色団の分布とは異なる要因で発生している患者の容貌における変動を決定し、  前記少なくとも１つの発色団の改訂され決定された分布、保存された前記モデルデータ、及び、前記患者の容貌における決定された前記変動であって前記少なくとも１つの発色団の分布とは異なって発生したものと決定されたもの、を用いて前記患者の表示を前記画像内に生成する、ように構成されるのでもよい。
【図面の簡単な説明】
【０００６】  本発明の更なる側面及び実施例は、付随の図面を参照して明らかになる。【図１】は、本発明の第１の実施例による画像処理システムの模式的なブロック図である。
【図２】は、皮膚の構造及びこの構造と入射光との相互作用を示す、皮膚の層の模式的な断面図である。
【図３】は、図１の画像処理システムによって行われる処理のフローチャートである。
【図４Ａ】は、患者の例示的な原の画像である。
【図４Ｂ】は、図４Ａの画像に対して導出され、血液分布として決定されたものを表す画像である。
【図４Ｃ】は、図４Ａの画像のメラニンの決定された分布を表す画像である。
【図４Ｄ】は、図４Ｂの画像を処理して決定された、改訂後の血液分布を表す画像である。
【図４Ｅ】は、図４Ｄ及び図４Ｃに示す血液分布及びメラニンの分布を用いて生成された画像である。
【図４Ｆ】は、図４Ｃ及び図４Ｄの発色団の分布以外の要因による付加的な変動を容貌に付加するように、図４Ｅに示す画像を処理して導出された最終画像である。
【図５Ａ】は、画像内に表れている細絡を示す図４Ａ内に見える、患者の頬の画像の一部を拡大したものである。
【図５Ｂ】は、図５Ａの拡大された画像部分に対して決定された、血液分布を示す図である。
【図５Ｃ】は、図５Ａ内に見える細絡を治療した後に予測される血液分布を示す、修正された血液分布の図である。
【図５Ｄ】は、図５Ａに示す図４Ａ内の拡大された領域に対応する、図４Ｅの画像の拡大された部分である。
【図５Ｅ】は、図５Ａに示す図４Ａ内の拡大された領域に対応する、図４Ｆの画像の拡大された部分である。
【図６Ａ】は、図４Ａ内の患者の目を示す拡大された部分である。
【図６Ｂ】は、図４Ｅ内の患者の目を示す拡大された画像部分である。
【図６Ｃ】は、図４Ｆ内の患者の目を示す拡大された画像部分である。
【図７】は、本発明の第２の実施例による画像処理システムの模式的なブロック図である。
【図８】は、図７に示す画像処理システムによって行われる処理のフローチャートである。
【図９Ａ】は、本発明の第３の実施例によって生成された１対の画像である。
【図９Ｂ】は、本発明の第３の実施例によって生成された１対の画像である。
【０００７】第１の実施例  図１は、本発明の第１の実施例の模式的なブロック図である。本実施例によれば、デジタルカメラ１は、光源３によって照らされた患者２の画像を得るように構成された従来のデジタルカメラからなる。デジタルカメラ１によって得られた画像は、次に、ディスク５から供給され又は通信ネットワークを介して電気信号を受信することによるソフトウェアによって、コンピュータ４を、デジタルカメラ１から受信した画像データを処理し、ディスプレイ３１に表示される出力画像を生成するようにする、多数の機能モジュール１６−２４によって構成されるコンピュータ４に送信される。【０００８】  頬に美容上の傷３２を有する患者が示されている本実施例において、出力画像３０は、デジタルカメラ１によって生成された原画像を表す第１の画像部分３３、及び患者２に治療を施すことによって予想される結果を表す、数値計算によって得られる患者２の画像を示す第２の画像部分３４である。【０００９】光と皮膚との相互作用  コンピュータ４の種々の機能モジュール１０〜２４の詳細な処理について記載する前に、図２を参照して、皮膚の生理学的な構造、及び皮膚と光との相互作用について簡単に説明する。【００１０】  図２に示すように、皮膚は、外側の角質層５０、表皮５２、及び、皮膚のための毛細血管５５を有する乳頭層５４と網状層５６とに分類される真皮からなる、層構造を有する。【００１１】  光が皮膚に入射し、外側の角質層５０に当たったとき、殆どの光は直ちに反射される。しかしながら、一部の入射光は、角質層５０を通過して進んで行き、表皮５２の構成要素及び乳頭層５４と相互作用する。光が表皮５２と乳頭層５４を進むにつれて、光は皮膚内に存在する、乳頭層内の毛細血管５５内の血液中に存在するヘモグロビン、メラニン、表皮５２内のメラニン細胞５７によって生成された色素、及び皮膚全体に存在する繊維状の物質であるコラーゲン等を主とする、種々の発色団によって吸収される。入射光が網状層５６に達する頃には、光の散乱は高い割合で前方散乱になり、それゆえ網状層５６は、事実上光を反射しないと考えられる。【００１２】  表皮５２及び乳頭層５４中に存在し種々の波長を吸収する発色団に加え、皮膚内の主にコラーゲンからなる所定の構造は、入射光を反射させる。それゆえ、皮膚の外観は、角質層５０によって直ちに反射された光と、表皮５２及び乳頭層５４内に存在する発色団と相互作用して再放出された光とが混ざったものと考えられる。引用することによって取り込まれた、出願人の先の米国特許ＵＳ６３２４４１７、及び米国への同時継続中の出願ＵＳ０９／７６０３８７、ＵＳ１０／２４００７１、ＵＳ１０／５２１６３９、及びＵＳ１０／５３２１５８に示されるように、皮膚から再放出される光を処理して、皮膚内に存在する種々の発色団を測定することができる。【００１３】  乳頭層５４及び表皮５２内の発色団の密度と分布を測定するために、表皮５２及び乳頭層５４内に存在する発色団と相互作用して再放出された光を測定できるように、角質層５０によって直接反射される光の効果は取り除かれるべきである。【００１４】  図１に戻って、本実施例では、第１の偏光フィルタ３６がデジタルカメラ１��レンズの前に配置され、第２の偏光フィルタ３８が光源３の前に交差偏光となるように配置される。これらのフィルタを設けることによって、皮膚内で光とコラーゲンとの相互作用が、光が偏光を失うようになされるためである。皮膚の他の層と相互作用することなく角質層５０によって直接反射され、第２の偏光フィルタ３８を通過する光は、第１の偏光フィルタ３６によって除去される。それゆえ、デジタルカメラ１によって取得された画像データは、患者の皮膚の表皮５２と乳頭層５４の構造と相互作用して再放出された光だけを表すものである。【００１５】  先に言及したように、ディスク５に供給されたソフトウェア又は通信ネットワークを介した電気信号６としてのソフトウェアは、コンピュータ４の記憶手段とプロセッサーを多数の機能モジュールで構成されたようにする。【００１６】  図１に示す機能モジュールは、特許請求の範囲に記載された発明の働きを理解することを補助するための純粋に概念的なものであり、所定の実施例においてはソフトウェア用のソースコード中のコードのブロックに直接対応しないこともある。他の実施例においては、図示された機能モジュールによって遂行される機能は、異なるモジュール間で分割されるのでもよく、また、複数の異なる機能が同一のモジュールを再使用して遂行されるのでもよい。【００１７】  本実施例では、機能モジュールは、ＲＧＢ画像データを対応する球面座標系に変換する球面変換ユニット１０、画像変換モジュール１２、及び球面角度座標系で画像処理して血液密度とメラニン密度を示すデータを生成するための変換テーブル１４、並びに、変換モジュール１２によって生成された発色団の分布を処理して、治療を表す改訂された発色団の分布を決定するように構成された治療シミュレーションモジュール１６、発色団の分布データを用いて画像データを生成する画像生成モジュール１８と逆変換テーブル２０、発色団の密度のばらつきのために現れていない、患者の画像中の容貌におけるばらつきを特定する組織決定モジュール２２、及び、組織決定モジュール２２によって生成された組織データと画像生成モジュール１８によって生成された画像データとを結合し、ディスプレイの画面３１上に表示するためのシミュレーションした治療画像３４を出力するコンビネーションモジュール２４、を備える。【００１８】得られた画像データの処理  図１に示すコンピュータ４によって行われる処理のフローチャートである図３によれば、まず、光源３によって照らされた患者２の画像が、デジタルカメラ１で取得される（Ｓ３−１）。本実施例では、デジタルカメラ１は、通常のデジタルカメラによって構成される。デジタルカメラ１によって生成された画像は、それゆえ、画素の大配列に対して０〜２５５の値をとるＲＧＢ値からなり、ＲＧＢ値は、画像内の各画素に対して、カメラ１内の受光器によって受光された光量を示し、完全に黒の画素が（０、０、０）のＲＧＢ値を有し、完全に明るい白の画素が（２５５、２５５、２５５）のＲＧＢ値を有するように、赤、緑、及び青を表す。【００１９】  患者２の画像がカメラ１で取得されたとき、画像は、まず、画像内の各画素に対する従来のＲＧＢデータを、球面角度θ、ψが実質的にデジタルカメラ１で撮像された画像内の個々の画素によって表される色相及び色度を示し、動径座標ｒが実質的に画素の明度を示す、球面座標系θ、ψ、ｒの対応するセットに変換する（Ｓ３−２）、球面変換モジュール１０に送られる。【００２０】  この変換は、以下の式を用いて従来の方法で達成される。【数１】
2007190364.tif 000003
この変換は、デジタルカメラで生成された画像を対象に、元の画素の配列内の各画素に対して行われる。変換の結果は、原の画像内の各画素に対する球面座標系θ、ψ、ｒのセットである。
【００２１】  次に、動径方向要素ｒの配列が直接画像生成モジュール１８に送られるのに対し、球面角度座標θ、ψの計算値の配列は、本実施例では画像変換モジュール１２に送られる。【００２２】  球面変換モジュール１０が画像についてのＲＧＢ値を球面座標に変換した後、画像変換モジュール１２は、次に、生成したθ、ψ値の配列を処理して、患者の皮膚の表面上の個々の点における血液密度及びメラニン密度を示す値を取得する。【００２３】  本実施例では、これは、θ、ψ値がπ〜−π及び０〜π／２の値をとる代わりに、スケールされたθ、ψ値が０〜２５５の値をとる整数値からなるように、配列内の各画素に対して、θ、ψ値を順番にスケールする各θ、ψ値の対の処理によって達成される。次に、これらのスケールされたθ、ψ値は、本実施の形態においては、スケールされたθ、ψ座標の対を、このようなスケールされたθ、ψ値を与える血液とメラニンの密度に対応させる、２５５ｘ２５５のルックアップテーブルである、変換テーブル１４にアクセスするときに用いられる。本実施例では、変換テーブル１４は、血液密度とメラニン密度を種々のθ、ψ値に対応させるテーブルからなり、θ、ψ値は、皮膚に対する色空間の予想された範囲内の値をとる。特定の画素に対するθ、ψ値の組み合わせが、発色団の密度のデータが変換テーブル１４内に保存されている、範囲の値からはみ出す場合、本実施例では、変換モジュール１２は、この画素に対して、そのθ、ψ値を有する画素の血液密度とメラニン密度として０を返す。【００２４】  例えば図４Ａ、図４Ｂ、及び図４Ｃを参照するが、図４Ａは、デジタルカメラ１によって撮像された患者の顔の画像を示す例である。画像内の画素は、それぞれ、赤、緑、及び青の画素値からなる。図４Ｂ及び図４Ｃは、それぞれ、図４Ａの例示的な画像を処理して導出され、決定された血液密度とメラニン密度を表すものであり、血液密度とメラニン密度のより高いものが画像内により黒い点で示されている。【００２５】  出願人は、皮膚からの光の再放出を解析して、偏光した白色光の制御された照射下で、皮膚によって再放出された光が定義された色空間内にあることを正しく評価した。この色空間内で、皮膚のある部分に現れる色相又は色は、主に、血液密度及びメラニン密度の変動によって説明される。換言すれば、皮膚の特定の部分の明度は、主に、皮膚への入射光の明度、皮膚の特定の部分を照らす光の角度、対象物と光源との距離、及び、コラーゲンの密度によって多かれ少なかれ反射が起こることによる特定の点のコラーゲン密度、の組み合わせによって決定される。【００２６】  本解析によって、出願人は、さらに、照明光の強さ、距離、及び角度が制御されない非制御の照明条件の下で、照明の強さ、距離、及び角度の変動は、皮膚の外見上の明るさに重大な変動を起こすが、皮膚の外見上の色又は色相には限定的な影響しか及ぼさないことを、正しく評価した。それゆえ、デジタル画像内の画素に対するＲＧＢ値が球面座標系の変換されたとき、照明とコラーゲン密度の変動による明度の変化は、特定の画素に対して、主に動径ｒ値の変化によって説明される。これに対して、ＲＧＢ画像を球面座標系に変換して得られた角度値θ、ψは、主に、血液密度���びメラニン密度の変動によって決定され、実質的に光の配置に影響されない。出願人は、それゆえ、血液密度及びメラニン密度の測定が角度値のみを処理して決定され、それによって、カメラ１で撮像された画像から、そのような密度の測定値を導出するために必要とされるデータ量を減らすことができることを、正当に評価した。【００２７】  図３に戻って、画像内の各画素についての血液及びメラニンの発色団の分布値が、変換モジュール１２によって計算された後、この発色団分布データは、変換モジュール１２によって、治療シミュレーションモジュール１６と画像生成モジュール１８に出力される。発色団の分布値が治療シミュレーションモジュール１６によって受信されたとき、治療シミュレーションモジュール１６は、受信した発色団の分布値を処理して、治療後の発色団の分布を示す、改訂された発色団の分布値を生成する（Ｓ３−４）。【００２８】  図４Ａの画像内に見える患者の場合を例にとると、患者は、図４Ａの画像の左側に示された彼らの頬の上に多数の細絡を有する。これらの細絡は、図５Ａの拡大された画像内において、よりはっきりと観測されることがあり、図５Ｂとして示された図４Ｂの拡大された画像部分に対応している。【００２９】  そのような細絡は、皮膚の表面付近に過剰に大きい血管が存在するために生ずる。これらの細絡は、望まない血管のカテーテル療法によって治療できる。患者にこのような治療の結果を見せるため、本実施例において、治療シミュレーションモジュール１６は、血液の密度を表す受信された発色団の分布を処理し、治療後の血液の期待される分布である改訂された血液分布のデータを生成する。【００３０】  細絡の出現を除くように画像を処理する例である本実施例において、改訂された血液の分布データは、治療がなされる画像部分をくすませる従来のアルゴリズムを応用して決定される。【００３１】  そのようなくすみのアルゴリズムを用いた図４Ｂの画像の処理の結果が、図４Ｄとして示されている。図５Ｂ内のハイライトが当てられた、これらの特定の画像領域を処理した結果が図５Ｃとして示されている。図４Ｂと図４Ｄとを、図５Ｂと図５Ｃとを比較することによって分かるように、治療シミュレーションモジュール１６による処理の結果は、本実施例において、患者に対して、血液が計算された原の分布において存在するものよりもよりスムーズに分布する、血液分布を示す血液分布データを生成することである。【００３２】  図３に戻って、治療シミュレーションモジュール１６への発色団の分布データの出力に加え、変換モジュール１２は、また、発色団の分布データを、発色団の異なる分布のために見えない患者の容貌における変動を示す、組織のデータを、逆変換テーブル２０及び組織決定モジュール２２と伴って決定するように処理を進める、画像生成モジュール１８にも出力する（Ｓ３−５）。【００３３】  さらに、先に説明したように、患者の皮膚のくっきりと明るい部分の主たる変動は、コラーゲンの密度と照明とにおける変動によって見え、一方、患者の皮膚の色相がくっきりとしている部分は、主に、血液及びメラニンからなる発色団の分布及び密度の変動によって見える。しかしながら、その他の因子も本��は、患者の容貌に影響する。典型的には、そのような因子は、狭い範囲の皮膚の組織によって見える変動を含む。しかしながら、以下に説明されるように、他の因子によって見える容貌におけるこれらの変動を特定することは、可能である。【００３４】  本実施例では、画像生成モジュール１８は、まず、画像内の各画素について修正されていない発色団の分布データを処理し、対応するθ、ψの色角度の期待値の対を生成する。本実施例では、この変換は、画素についての血液及びメラニンの決定された密度の各可能な対を、対応するθ、ψの期待値に対応させるルックアップテーブルである、逆変換テーブル２０にアクセスする画像生成モジュール１８によって達成される。それゆえ、逆変換テーブル２０は、変換テーブル１４に格納されているようにθ、ψ値を血液密度及びメラニン密度の測定値に変換する関数、に対応する逆関数を表すデータである。発色団の分布データ内の０値に対応させられる画素の場合、θ、ψ値は決定されない。【００３５】  発色団の分布データをこのように処理すること、及び、球面変換モジュール１０によって生成された、画素に対する動径座標ｒにアクセスすることによって、画像生成モジュール１８は、変換モジュール１２が発色団の分布値を決定することのできる各画素値が、球面変換モジュール１０によって決定されるように、色角度θ、ψの計算値の対とその特定の画素の動径値に対応する動径値ｒとによって表される、導出画像を生成することができる。【００３６】  次に、この導出画像データは、受け取ったθ、ψ、ｒデータの並びを等価なＲＧＢ値画像に変換するように処理を進める組織決定モジュール２２に出力される。【００３７】  これは、各画素のθ、ψ、ｒデータに次の式を適用して達成される。【数２】
2007190364.tif 000004
【００３８】  次に、組織決定モジュール２２は、各画素に対して、その画素に対する計算されたＲＧＢ値と、デジタルカメラ１によって取得された原の画像データ内の対応するＲＧＢ値との差をとる処理を行う。【００３９】  変換モジュール１２によって発色団データが生成されない画素の場合、この差のデータは、原画像内の対応する画素に対するＲＧＢ値に対応する。ここで、変換モジュール１２が特定の画素に対して発色団の分布データを導出することができ、もし、導出されたＲＧＢ値が原画像内のその画素に対するＲＧＢ値に正確に対応しないとき、これは、その画素によって表される皮膚の領域の何らかの明確な発色が、皮膚のその領域に対する血液及びメラニンの推定された密度以外の要因によって見えることを意味する。次に、ＲＧＢ値の差の並びは、コンビネーションモジュール２４に出力される組織データとして出力される。【００４０】  変換モジュール１２によって出力された発色団の原の分布データと球面変換モジュール１０によって出力された動径データの処理に加え、本実施例では、画像生成モジュール１８は、また、治療シミュレーションモジュール１６によって生成された発色団の改訂された分布を、個々の画素に対する動径値ｒと共に、治療シミュレーションモジュール１６によって決定された発色団の分布における変化となる治療の後の、特定の部分の皮膚の容貌、を示すθ、ψ値を生成する方法と同様に、処理するようにも構成される（Ｓ３−６）。【００４１】  発色団の原の分布データの処理の場合のように、これは、逆変換テーブル２０にアクセスし、個々の画素に対して、決定された血液密度とメラニン密度をθ、ψ値に変換する画像生成モジュール１８によって、達成される。次に、得られたθ、ψ値は、画素について決定された球面座標系の元の動径要素ｒと共に、上記の従来の方法で処理され、得られたθ、ψ、ｒ値がその画素によって表される患部に対する赤、緑、青のチャンネルの強度を表す、その画素に対する従来のＲＧＢ値に変換される。この処理は、発色団の分布が変換モジュール１２によって決定された、全ての画素に対して繰り返される。次に、生成された赤、緑、及び青の画値は、画像生成モジュール１８によって、治療画像として、コンビネーションモジュール２４に出力される。【００４２】  それゆえ、図４Ｄの修正された血液の画像、図４Ｃのメラニンの画像、及び図４Ａの画像を処理して決定された動径座標値を例にとると、細絡の原因の血管が、図４Ｄに示す血液分布となるように治療された、図４Ａの画像内に見える患者の容貌を示す治療画像が生成され、図４Ｅのように示される。【００４３】  図に見えるように、処理の結果は、細絡によって見える異常が取り除かれているところ以外は、原の画像のものと同様の画像が生成される。この違いは、図５Ａにハイライトされた原の画像部分に対応する画像部分を、図５Ｄに示され、図４Ｅからのハイライトされた対応する画像部分と比較することによって、最も明確に見えるであろう。【００４４】  上述したように、球面座標系から発色団の分布への変換、及びそのような発色団の分布から角度座標系への再変換は、特定画像部分の色相の全ての変化が発色団の密度の変化によるという仮定に基礎を置くため、画像生成モジュール１８によって生成された治療画像は、他の因子によって見える特徴が欠けているであろう。【００４５】  それゆえ、例えば、図４Ａと図４Ｅとを、また図５Ａと図５Ｄとを比較すると、図４Ｅ及び図５Ｄの生成された画像は、対応する図４Ａ及び図５Ａの原の画像と比較したとき、組織が欠けて見える。これは、画像内に見える患者の目に対応する画像部分内に、最も明確に見てとれる。【００４６】  これらの差異を示すために、患者の目の部分に対応する、図４Ａの原の画像内の部分が図６Ａに示され、図４Ｅの生成された画像からの対応する部分が図６Ｂとして示される。目の部分の周りの２つのこれらの画像内に処理の結果として最もくっきりと見てとれるように、目の周りの細かい線状組織の大部分はなくなっている。【００４７】  球面座標系についての変換と逆変換によって失われた詳細構造は、治療画像の生成に用いた発色団分布のいかなる取り扱いにも無関係なので、この失われた組織の情報は、本実施例では、まさに画像に対して組織決定モジュール２２によって決定された組織のデータである。【００４８】  それゆえ、本実施例では、この失われた情報は、コンビネーションモジュール２４によって、治療画像内の各画素の赤、緑、及び青の値を、組織決定モジュール２２によって決定されたこれらの画素に対して決定された、対応する赤、緑、及び青の値に変えることよって、画像に戻されうる。本実施例において、この処理は、見えなくなった組織を戻すことに加え、画像変換モジュール１２が球面座標θ、ψを発色団の密度に変換できなかった画素もまた、デジタルカメラ１によって得られた原の画像からのこれらの画素に対する原の画素値によって表されるようにする。【００４９】  この組織を図４Ｅの治療画像に戻した後に生成された最終画像は、図４Ｆに示される。図５Ｄ及び図６Ｂに示された部分に対応する、最終画像のハイライトが当てられた部分は、また、それぞれ図５Ｅ及び図６Ｃとして図示されている。【００５０】  特に、図６Ｃから見てとれるように、組織決定モジュールによって導出された組織データを付加することは、画像に、図６Ａの原の画像と比較したときに、図６Ｂの生成された画像には見えない詳細な組織を、戻している。【００５１】  次に、カメラによって生成された原の画像３３と最終的に生成された画像３４は、出力され、出力画像３０としてディスプレイ３１上に同時に表示されることができ、もって、患者に治療の期待される結果を示すことができる。【００５２】第２の実施例  以下、本発明の第２の実施例は、それぞれが、本発明の第２の実施例の画像処理システムの模式的なブロック図と画像処理システムによって行われる処理のフローチャートである、図７及び図８を参照して、記載される。【００５３】  第１の実施例では、画像処理システムは、画像生成モジュール１８が、発色団の分布データと球面変換モジュール１０によって導出された動径ｒデータを用いて、導出画像と治療画像を生成するものとして記載された。次に、導出画像のデータは組織決定モジュール２２によって処理され、出力画像を生成するために、生成された治療画像のデータとコンビネーションモジュール２４によって次に結合��れる、組織のデータが得られた。【００５４】  本実施例では、画像に対して球面変換モジュール１０によって決定されたｒ座標を用いることなく、導出画像のデータと治療画像のデータから直接出力画像を生成する、他の画像処理システムが記載される。【００５５】  図７に示すように、本発明の本実施例の画像処理システムは、組織決定モジュール２２とコンビネーションモジュール２４が出力モジュール１００によって置き換えられ、画像生成モジュール１８と逆変換テーブル２０が修正画像生成モジュール１０１と修正逆変換テーブル１０２に置き換えられていることを除けば、先の実施例の画像処理システムと同一である。システムの残りの要素は、先に第１の実施例と関連して記載された要素と同一であり、先に図１において使用されたものと同一の参照番号によって特定される。【００５６】  図７の画像処理システムによって実行される処理は、図８のフローチャートによって図示される。入力画像のデータから発色団の分布データを導出し、その発色団の分布データを用いて模擬された治療データを導出する、システムによる処理（ｓ８−１〜ｓ８−４）は、第１の実施例において確保された対応するステップ（ｓ３−１〜ｓ３−４）と同一であり、これらのステップについての記載は繰り返されない。【００５７】  図７の画像処理システムが発色団の分布データと模擬された治療データを導出した後、このデータは、次に、画像生成モジュール１０１によって処理される（ｓ８−５）。【００５８】  特に、本実施例では、画像処理モジュール１０１が、導出された発色団の分布データと模擬された治療データとを、本実施例において、血液密度とメラニン密度の対を、固定された照明条件の下で見えるそのような血液密度とメラニン密度を有する皮膚の外見上の色を表すＲＧＢ値に、対応させるルックアップテーブルからなる、修正された逆変換テーブル１０２にアクセスして処理する。【００５９】  修正された逆変換テーブル１０２に格納されたＲＧＢ値は、固定された照明条件の下で見える、血液密度比及びメラニン密度比を含む、皮膚の外見の経験データを格納することによって生成されるのでもよい。しかしながら、本実施例においては、ＲＧＢ値は、血液密度及びメラニン密度を、変換テーブル１４内のデータによって定義されているような球面座標θ、ψに関連付ける逆関数を適用し、決定された球面座標θ、ψをｒを固定してＲＧＢ値に変換することによって決定されたＲＧＢの計算値からなる。【００６０】  先の実施例におけるように、画像生成モジュール１０１は、発色団の分布と改訂された発色団の分布における、発色団の密度値の各対を、順次処理する。画像処理モジュール１０１によって実行され、発色団の分布を定義する配列の処理の結果として、画像生成モジュール１０１は、１対のＲＧＢ画像を生成する。次に、これらの画像は出力モジュール１００に出力される。【００６１】  先に記載したように、ＲＧＢ画像データが球面座標データに変換されるとき、角度座標θ、ψは、皮膚内に血液、メラニン等の発色団が存在すること及びその密度により見える、個々の画素によって表される色相及び色度を実質的に示す。そして、動径座標ｒは、実質的に、照明の要因と皮膚内の���ラーゲンの密度とを組み合わせることによって生ずる、画素の明度を示す。本実施例において、導出画像及び治療画像内の画素に対するＲＧＢ値は一定のｒ値を用いて生成されるため、画像は、固定された照明条件の下の、コラーゲンの密度が一定の、皮膚の領域を表すであろう。【００６２】  実際の照明条件下の患者及び変動するコラーゲンの量を表す画像を生成するため、画像内の各画素に対するＲＧＢの出力値は、以下の式を用いて導出される（ｓ８−６）。【数３】
2007190364.tif 000005
【００６３】ここで、Ｒｏｕｔ（ｘ、ｙ）、Ｇｏｕｔ（ｘ、ｙ）、及びＢｏｕｔ（ｘ、ｙ）は座標ｘ、ｙでの画素に対するＲＧＢの出力値であり、Ｒｏｒｉｇｉｎａｌ（ｘ、ｙ）、Ｒｄｅｒｉｖｅｄ（ｘ、ｙ）、Ｒｔｒｅａｔｅｄ（ｘ、ｙ）、Ｇｏｒｉｇｉｎａｌ（ｘ、ｙ）、Ｇｄｅｒｉｖｅｄ（ｘ、ｙ）、Ｇｔｒｅａｔｅｄ（ｘ、ｙ）、Ｂｏｒｉｇｉｎａｌ（ｘ、ｙ）、Ｂｄｅｒｉｖｅｄ（ｘ、ｙ）、Ｂｔｒｅａｔｅｄ（ｘ、ｙ）は、それぞれ、デジタルカメラ１によって取得された原の画像、画像生成モジュール１０１によって生成された、導出画像及び治療画像、内における座標ｘ、ｙでの対応する画素に対する赤、緑及び青の値である。【００６４】  各画素における各色のチャネルに対して、カメラ１によって出力された原の画像内の色の値と、生成された導出画像内の対応する色の値との比を決定し、次に、治療画像内における対応する色の値をこの比よってスケーリングすることによって、照明及び原の画像内に存在するコラーゲンの変動による見掛け上の明度の変動を反映させ、もって、実際的な最終出力画像を生成するように、各画素の明度を変化させる手段が提供される。最後に、生成された出力画像が出力され（ｓ８−７）、表示画面３１上に表示される。【００６５】第３の実施例  以下、本発明の第３の実施例が、図９Ａ及び図９Ｂを参照して、簡潔に記載される。【００６６】  第１及び第２の実施例では、細絡の治療の効果を模擬する画像を生成するシステムについて記載されたが、記載されたシステムが患者の皮膚内の発色団の分布を変える美容上又は外科上の治療を模擬するように修正されるのでもよいことが、適切に認識されるであろう。それゆえ、例えば、他の実施例においては、改訂されたメラニンの分布に基づいて生成された画像が、生成されるのでもよい。このようなシステムは、例えば、加齢斑の出現に関しての、酸を使用した剥皮の効果を模擬するのでもよい。【００６７】  代わりに、本発明は、軽い疾患又は老化の進行の効果を示すことに、用いることができる。そのような実施例において、第１及び第２の実施例の治療シミュレーションモジュール１６は、画像変換モジュール１２によって生成されて得られた発色団分布を処理して、改訂された発色団分布が軽い疾患又は加齢によって生ずる分布を表す、改訂された発色団分布を生成するように変更される。【００６８】  それゆえ、例えば、図９Ａ及び図９ｂを参照すると、図９Ａは、患者の原の画像の一例である。図９Ｂは、患者の顔にできたざそうが図９Ａの画像に対して決定された発色団の分布を処理することによって模擬される、本発明の第３の実施例によって生成された例示的な画像である。【００６９】  さらに他の実施例は、例えば、修正された発色団の分布を生成し、また、他の異常、又は、日焼け等の疾患の画像を生成することができる。【００７０】他の実施例及び修正  上記の第１の実施例において、偏光した光によって照らされた画像が得られるシステムが記載された。クロス偏光フィルタ３６を用いて画像を取得することによって、患者の皮膚の表面からの、直接的な鏡面反射が除去される。【００７１】  他の実施例においては、鏡面反射が除去された患者の画像が得られることに加え、クロス��光フィルタ３６を外したときに、更なる画像が得られることが理解されるであろう。そして、クロス偏光フィルタ３６を外したときに得られる画像は、導出画像と、偏光フィルタ３６を外したときに得られる画像との差異を特定する組織データを生成するように、組織決定モジュール２２によって処理されるのでもよい。この組織のデータが治療画像と組み合わされたとき、導出画像から失われた組織のみならず、皮膚の表面からの鏡面反射に由来する見え方の差異をも含む、最終出力画像が生成される。このようなシステムの利点は、コンピュータによって生成された画像が、直接反射が生成された画像中にも存在するため、より実際的であるということである。【００７２】  偏光フィルタ３６を入れたときと外したときの両方で画像が得られるシステムにおいては、２つの画像が偏光フィルタ３６を外して連続的に取得可能であり、又は、代わりに、クロス偏光フィルタ３６を外したときの画像データを取得するための目的でのみ付加的なデジタルカメラが設けられることが、理解される。【００７３】  上記の実施例には、１種類の発色団の分布の処理を含むシステムが記載されてきた。他の実施例において、発色団についての修正された複数の発色団の分布が生成され、また、発色団についての改訂された複数の発色団の分布に基づいて生成された模擬画像が生成されうることが理解される。【００７４】  上記の実施例では、血液密度及びメラニン密度が測定されるシステムが記載されてきたが、ビリルビン、刺青剤若しくは染色剤、ケラチン、及び体毛等の他の発色団を測定するように、システムが変更され得ることが理解される。このような他の実施例において、デジタルカメラによって検出される放出光の波長は、例えばメラニン等の存在によって実質的に影響されない波長を測定するように、選択されるのでもよい。記載されたようにそのような測定値を処理することは、他の発色団の測定値を得ることを可能にする。【００７５】  他に、デジタルカメラによって取得された画像内の、赤、緑、及び青のチャネルに対応する３種類の測定値を得る代わりに、より多くの波長帯に対する強度測定値を取得する修正されたカメラが設けられ、付加的な測定値が、例えば、血液、メラニン、コラーゲン等の密度の測定値を決定するために用いられるのでもよい。このようなシステムにおいては、通常の、赤、緑、及び青のチャネルに加え、赤外領域での測定値が得られるように構成されたデジタルカメラが、使用されるのでもよい。【００７６】  他の実施例においては、画像変換モジュールによって生成された発色団の分布データを処理して発色団の異常な分布を識別する手段が、設けられるのでもよい。【００７７】  それゆえ、例えば細絡の場合、特定の体の部分に対して、異常に高い血液の密度が自動的に検出され、密度の期待値の平均値で置き換えられるのでもよい。他の実施例においては、異常に高い又は低い、他の発色団の密度が検出され修正されるのでもよい。上記の実施例では、メラニン密度の測定値を得ることについて記載されたが、異なる種類のメラニンの分布及び密度の測定値が提供される、実施例が構成可能であることが理解される。それゆえ、例えば、ある実施例では、メラニンの測定値��、メラニンの総量の測定値よりもむしろ、オイメラニンの分布の測定値のみ、又は、代わりにフェオメラニンの測定値のみからなるように、システムが構成されるのでもよい。【００７８】  上記の実施例では、生成された画像データがスクリーンイメージとして出力されるように記載してきたが、もし画像内に見える患者の３Ｄコンピュータモデルが使用できる場合、生成された画像データは、モデルに現れる組織用の組織付与データとしてとして使用され、もって、改訂された発色団の分布を使用した患者の容貌の３Ｄモデルを生成することが可能であることが、理解される。【００７９】  図面を参照して記載された本発明の実施例は、コンピュータ及びコンピュータ内で実行される処理からなるが、本発明は、また、本発明を実施するコンピュータプログラム、特に、キャリア上の又はキャリア内のコンピュータプログラムに拡張される。プログラムは、ソースコード、オブジェクトコード、又は、本発明による工程の設定における使用に適したいかなる他の形態であってもよい。キャリアは、プログラムを持ち運べる、いかなる実体又はデバイスであってもよい。【００８０】  例えば、キャリアは、ＣＤ−ＲＯＭ、半導体ＲＯＭ等のＲＯＭからなる記憶メディア、又は、フロッピーディスク（登録商標）、ハードディスク等の磁気記録媒体からなるのでもよい。さらに、キャリアは、電気的なケーブル又は光学的なケーブルを介して電波又は他の手段で搬送される電気信号又は光学信号等の、伝播するキャリアであってもよい。【００８１】  プログラムがケーブル又は他の装置若しくは手段によって直接搬送される信号に実現されるとき、キャリアは、そのようなケーブル又は他の装置若しくは手段によって構成されるのでもよい。【００８２】  代わりに、キャリアは、プログラムが埋め込まれ、関連する処理を遂行するように調節された、又は関連する処理の性能において使用される、集積回路によって構成されるのでもよい。
【図１】
2007190364.tif 000006
【図２】
2007190364.tif 000007
【図３】
2007190364.tif 000008
【図４Ａ】
2007190364.tif 000009
【図４Ｂ】
2007190364.tif 000010
【図４Ｃ】
2007190364.tif 000011
【図４Ｄ】
2007190364.tif 000012
【図４Ｅ】
2007190364.tif 000013
【図４Ｆ】
2007190364.tif 000014
【図５Ａ】
2007190364.tif 000015
【図５Ｂ】
2007190364.tif 000016
【図５Ｃ】
2007190364.tif 000017
【図５Ｄ】
2007190364.tif 000018
【図５Ｅ】
2007190364.tif 000019
【図６Ａ】
2007190364.tif 000020
【図６Ｂ】
2007190364.tif 000021
【図６Ｃ】
2007190364.tif 000022
【図７】
2007190364.tif 000023
【図８】
2007190364.tif 000024
【図９Ａ】
2007190364.tif 000025
【図９Ｂ】
2007190364.tif 000026
【外国語明細書】
Specification
Title of Invention
IMAGE PROCESSING METHOD AND APPARATUS
The present application relates to image processing. In particular embodiments of the present application concern methods and apparatus for processing images of individuals to generate images representative of the results of cosmetic or surgical interventions or the progression of medical conditions. 
Many skin conditions for example thread veins and age spots can adversely affect the appearance of individuals. Various cosmetic and surgical techniques have therefore been developed to address these conditions. Thus for example the appearance of thread veins can be minimised through laser cauterisation of the affected blood vessels. Similarly the appearance of age spots can be addressed through the application of an acid peel.
In order to determine whether a particular intervention is worth pursuing, it is useful for an individual to be given an indication of the likely results of the intervention prior to undertaking a course of treatment. It is desirable that such representations are as accurate as possible. There is therefore a need for image processing methods and apparatus which enable such images to be generated in such a way that they can be more accurate representations of the likely results of an intervention than exists in the prior art.
In accordance with one aspect of the present invention there is provided a method of generating an image of an individual comprising:
storing model data defining a model of the variations in appearance of skin arising due to different concentrations of at least one chromophores;
obtaining an image of an individual;
processing the image utilising said stored model data to determine the distribution of at least one chromophore responsible for the appearance of the individual in the image;
determining a revised distribution of said at least one chromophore; and
generating a representation of said individual in said image utilising said determined revised distribution of said at least one chromophore and said stored model data.
In accordance with an embodiment of the present invention, the generation of a representation of an individual in an image may comprise:
utilising a determined distribution of at least one chromophore in the skin of an individual in an image to determine variations in appearance of said individual arising from factors other than the distribution of said at least one chromophores; and
generating a representation of said individual in said image utilising said determined revised distribution of said at least one chromophore, said stored model data and said determined variations in appearance of said individual determined not to arise from the distribution of said at least one chromophore.
Brief Description of Drawings
Further aspects and embodiments of the present invention will become apparent with reference to the accompanying drawings in which:
Figure 1 is a schematic block diagram of an image processing system in accordance with a first embodiment of the present invention;
Figure 2 is a schematic cross sectional view through a layer of skin illustrating the structure of the skin and the interaction of that structure with incident light;
Figure 3 is a flow diagram of the processing performed by the image processing system of Figure 1;
Figure 4A is an exemplary original image of an individual;
Figure 4B is an image representative of a determined distribution of blood derived for the image of Figure 4A;
Figure 4C is an image illustrating a determined distribution of melanin of the image of Figure 4A;
Figure 4D is an image illustrating a revised distribution of blood determined by processing the image of Figure 4B;
Figure 4E is an image generated utilising the blood and melanin distributions illustrated in Figures 4D and C;
Figure 4F is a final image derived by processing the image of Figure 4E to add additional variations in appearance due to factors other than chromophore distributions of Figures 4C and 4D;
Figure 5A is an enlarged portion of the image of the cheek of the individual appearing in Figure 4A illustrating thread veins appearing in that image; 
Figure 5B is an illustration of the distribution of blood determined for the enlarged image portion of Figure 5A;
Figure 5C is an illustration of a corrected distribution of blood illustrative of the expected distribution of blood after the treatment of the thread veins appearing in Figure 5A;
Figure 5D is an enlarged portion of the image of Figure 4E corresponding to the enlarged area of Figure 4A shown in Figure 5A; 
Figure 5E is an enlarged portion of the image of Figure 4F corresponding to the enlarged area of Figure 4A shown in Figure 5A;
Figure 6A is an enlarged portion illustrating the eye of the individual in Figure 4A;
Figure 6B is an enlarged image portion illustrating the eye of the individual in Figure 4E;
Figure 6C is an enlarged image portion of illustrating the eye of the individual in Figure 4F;
accompanying drawings in which:
Figure 7 is a schematic block diagram of an image processing system in accordance with a second embodiment of the present invention; 
Figure 8 is a flow diagram of the processing performed by the image processing system of Figure 7; and
Figures 9A and 9B are a pair of illustrative images generated by a third embodiment of the present invention.
First Embodiment
Figure 1 is a schematic block diagram of a first embodiment of the present invention. In accordance with this embodiment, a digital camera 1 comprising a conventional digital camera is provided which is arranged to obtain an image of an individual 2 illuminated by a light source 3. The images obtained by the digital camera 1 are then transmitted to a computer 4 which is configured by software either provided on a disk 5 or by receiving an electrical signal 6 by via a communications network to be configured into a number of functional modules 16-24 which cause the computer 4 to process the image data received from the digital camera 1 to generate an output image 30 which is shown on a display 31. 
In this embodiment where the individual is shown with a cosmetic disfigurement 32 on their cheek the output image 30 comprises a first image portion 33 being a representation of the original image data generated by the digital camera 1 and a second image portion 34 being a calculated representation of the individual 2 illustrating the expected results from a treatment affecting the individual 2. 
Interaction of Light with the Skin
Prior to describing the detailed processing of the various functional modules 10-24 of the computer 4, the physical structure of skin and the interaction of skin with light will be briefly explained with reference to Figure 2.
As shown in Figure 2, skin has a layered structure comprising an outer cornified layer 50, the epidermis 52, and the dermis which itself can be divided into the papillary dermis 54 which contains the blood supply 55 for the skin and the reticular dermis 56. 
When light is incident on the skin, much of the light is immediately reflected when coming into contact with the outer cornified layer 50. A proportion of incident light does, however, pass through the cornified layer 50 and proceeds to interact with the constituents of the epidermis 52 and the papillary dermis 54. As light passes through the epidermis 52 and the papillary dermis 54 the light is absorbed by various chromophores present in the skin, most notably chromophores such as haemoglobin present in the blood in blood vessels 55 in the papillary dermis, melanin, a pigment produced by melanocytes 57 in the epidermis 52 and collagen a fibrous material present throughout the skin. By the time the incident light reaches the reticular dermis 56 the scattering of light is highly forward and therefore for that reason the reticular dermis 56 can for all intents and purposes be considered returning no light. 
In addition to chromophores present in the epidermis 52 and papillary dermis 54 absorbing various wavelengths, certain structures in the skin most notably collagen cause incident light to be reflected. The outward appearance of the skin can therefore be considered to be a mixture of the light immediately reflected by the cornified layer 50 and the remitted light which has interacted with the chromophores present in the epidermis 52 and the papillary dermis 54. As has been demonstrated in the applicant’s prior US patent US6324417 and co-pending US patent applications US09/760387, US10/240071, US10/521639 and US10/532158 all of which are hereby incorporated by reference it is possible to process light remitted from the skin to obtain measurements of various chromophores present in the skin. 
In order to obtain measurements of the concentrations and distribution of chromophores in the papillary dermis 54 and epidermis 52, the effect of reflection of light directly by the cornified layer 50 is required to be removed so that a measurement of the remitted light which has interacted with the chromophores present in the epidermis 52 and papillary dermis 54 can be made.
Returning to Figure 1, in this embodiment a first polarising filter 36 is provided in front of the lens of the digital camera 1 and a second polarising filter 38 cross polarised with the first is provided in front of the light source 3. As the interaction of light with collagen in the skin is such to cause the light to lose its polarisation, by providing these filters. Light from the light source 3 passing through the second polarising filter 38 which is reflected directly by the cornified layer 50 without interacting with the other layers of the skin is caused to be filtered by the first polarising filter 36. The image data obtained by the digital camera 1 is thereby caused to be solely representative of the light remitted which has interacted with the structures of the epidermis 52 and papillary dermis 54 of an individual’s skin. 
As stated previously, software provided on a disk 5 or as an electrical signal 6 via a communications network causes the memory and processors of the computer 4 become configured as a number of functional modules.
The functional modules illustrated in Figure 1 are purely notional in order to assist with the understanding of the working of the claimed invention and may not in certain embodiments directly correspond with blocks of code in the source code for the software. In other embodiments the function performed by the illustrated functional modules may be divided between different modules or may be performed by the re use of the same modules for different functions.
In the present embodiment the functional modules comprise a spherical conversion unit 10 for converting RGB image data into corresponding spherical co-ordinates, an image conversion module 12 and a conversion table 14 for processing spherical angular co-ordinates to generate data indicative of concentrations of blood and melanin; a treatment simulation module 16 arranged to determine a revised chromophore distribution representative of a treatment by processing chromophore distributions generated by the conversion module 12; an image generation module 18 and an inverse conversion table 20 operable to generate image data utilising chromophores distribution data; a texture determination module 22 for identifying variations in appearance in an image of an individual which do not arise due to variations in chromophore concentrations; and a combination module 24 for combining texture data generated by the texture determination module 22 and image data generated by the image generation module 18 and outputting a simulated treated image 34 for display on a display screen 31. 
Processing of Obtained Image Data
Referring to Figure 3 which is a flow diagram of the processing performed by the computer 4 of Figure 1, initially (S3-1) an image is obtained by the digital camera 1 of the individual 2 illuminated by the light source 3. In this embodiment the digital camera 1 comprises a conventional digital camera. The image data generated by the digital camera 1 therefore comprises RGB values ranging from 0 to 255 for a large array of pixels where the RGB values are indicative of the extent light received by a photo receptor within the camera 1 for each pixel in an image appears to be red, green and blue where a completely black pixel has RGB values of 0, 0, 0 and a completely bright white pixel has RGB values of 255, 255, 255. 
When an image of an individual 2 has been obtained by the camera 1, the image is initially passed to the spherical conversion module 10 which converts (S3-2) the conventional RGB data for each pixel in an image into a corresponding set of spherical co-ordinates θ ψ r where the spherical angles of θ ψ are substantially indicative of the hue and chromaticity represented by an individual pixel in an image captured by the digital camera 1 and the radial co-ordinate r is substantially indicative of the brightness of the pixel. 
This conversion is achieved in a conventional manner with
2007190364.tif 000027
The conversion is performed for each pixel in the original pixel array for the image generated by the digital camera. The result of the conversion is a set of spherical θ ψ r co-ordinates for each pixel in the original image. 
The array of radial elements r is then passed directly to the image generation module 18 whereas arrays of the calculated angular spherical co-ordinates θ and ψ are in this embodiment passed to the image conversion module 12. 
After the spherical conversion module 10 has converted the RGB values for an image into spherical co-ordinates, the image conversion module 12 then processes the generated array of θ and ψ values to obtain values indicative of the concentration of blood and melanin at individual points on the surface of the skin of the individual. 
In this embodiment this is achieved by processing each pair of θ and ψ values for each pixel in an array in turn by scaling the θ and ψ values so that instead of comprising values between π and - π, and 0 and π/2, the scaled θ and ψ values comprise integer values ranging between 0 and 255. These scaled θ and ψ values are then utilised to access the conversion table 14 which in this embodiment is a 255 by 255 a lookup table associating pairs of scaled θ and ψ co-ordinates with pairs of concentrations of blood and melanin liable to give rise to such scaled θ and ψ values. In this embodiment, the conversion table 14 comprises a table associating blood and melanin concentrations with various θ and ψ values, where the θ and ψ values fall within the expected range of the colour space for skin. In the event that the combination of θ and ψ values for a particular pixel falls outside the range of values for which chromophores concentration data is stored within the conversion table 14, in this embodiment the conversion module 12 returns a null value for the concentration of blood and melanin for the pixel with θ and ψ values for the pixel. 
By way of example referring to Figures 4A, B and C, Figure 4A is an illustrative example of an image of an individual’s face captured by a digital camera 1. The pixels in the image will each comprise a red, green and blue pixel value. Figures 4B and 4C are illustrative representations of determined concentrations of blood and melanin respectively derived by processing the exemplary image of Figure 4A where greater concentrations of blood and melanin are shown by darker points within the images.
The applicants have appreciated through analysis of the remittance of light from the skin that under controlled lighting using polarised white light, light remitted by the skin lies within a well defined colour space. In this colour space apparent hue or colour of a portion of skin is predominantly accounted for through variations in blood and melanin concentration. Conversely, the brightness of a particular portion of skin is primarily determined through a combination of: the brightness of light incident on the skin, the angle at which light illuminates a particular portion of skin, the distance between a subject and a light source, and the concentration of collagen at a particular point since the concentration of collagen makes skin more or less reflective.
Through this analysis, the applicants have further appreciated that under uncontrolled illumination conditions where the strength, distance and angle of illumination of light is not controlled, variations in strength, distance and angle of illumination cause significant variations in the apparent brightness of the skin but have only a limited effect on the apparent colour or hue of the skin. Thus when the RGB values for a pixel in a digital image obtained by a digital camera 1 are converted to spherical co-ordinates, the variation in brightness due to variation in illumination and collagen concentration is primarily accounted for through variations in the radial r value for a particular image pixel. In contrast, the angular values θ ψ obtained through converting an RGB image to spherical co-ordinates are primarily determined by variations in concentration of blood and melanin and such values are substantially independent of lighting geometry. The applicants have therefore appreciated that measurements of the concentrations of blood and melanin can be determined by processing solely the angular values alone thereby reducing the amount of data required to derive measurements of such concentrations from an image captured by the camera 1.
Returning to Figure 3, after chromophore distribution values for blood and melanin for each of the pixels in an image have been calculated by the conversion module 12, this chromophore distribution data is then passed by the conversion module 12 to the treatment simulation module 16 and the image generation module 18. When the chromophore distribution values are received by the treatment simulation modules 16, the treatment simulation module 16 then (S3-4) processes the received chromophore distribution data to generate revised chromophore distribution data indicative of the chromophore distribution after a treatment.
By way of example in the case of the individual appearing in the image of Figure 4A, the individual has a number of thread veins on their cheek shown in the left hand side of the image of Figure 4A. These thread veins may more clearly be observed in the enlarged image of Figure 5A and in corresponding enlarged image portion of Figure 4B shown as Figure 5B. 
Such thread veins arise due to excessively large blood vessels being present near the surface of the skin. These thread veins can be treated through cauterisation of the unwanted blood vessels. In order to illustrate to an individual the result of such intervention, in this embodiment the treatment simulation module 16 processes the received chromophore distribution data representing the concentration of blood to generate revised blood distribution data which is the expected distribution of blood after treatment. 
In this embodiment which is an illustrative example of processing an image to remove the appearance of thread veins, the revised blood distribution data is determined through applying a conventional blurring algorithm to the portions of the image where treatment would occur. 
The result of processing the image of Figure 4B using such a blurring algorithm is shown as Figure 4D. The result of processing these specific areas of image highlighted in Figure 5B is shown as Figure 5C. As can be seen by comparing Figures 4B and 4D and Figures 5B and 5C, the result of processing by the treatment simulation module 16 in this embodiment is to generate blood distribution data illustrating a distribution of blood where the blood is more smoothly distributed than exists in the original calculated distribution for the individual. 
Returning to Figure 3, in addition to passing chromophore distribution data to the treatment simulation model 16, the conversion model 12 also passes the chromophore distribution data to the image generation module 18 which together with the inverse conversion table 20 and the texture determination module 22 proceeds to determine (S3-5) texture data indicative of the variation in appearance of an individual which does not arise due to different distributions of chromophores. 
More specifically as has previously been explained, the majority of the variation in apparent brightness of portions of an individual’s skin arises due to variations in collagen concentration and in illumination whereas the apparent hue of portions of an individual’s skin largely arises due to variations in the distribution and concentration of chromophores principally blood and melanin. Other factors do however affect the appearance of an individual. Typically such factors include variations arising due to the small scale texture of the skin. It is, however, possible to identify these variations in appearance which arise due to other factors as will now be explained. 
In this embodiment initially the image generation module 18 processes the unamended chromophore distribution data for each pixel in an image to generate a corresponding expected pair of θ and ψ colour angles. In this embodiment this conversion is achieved by the image generation module 18 accessing the inverse conversion table 20 which is a lookup table which associates each possible pair of determined blood and melanin concentrations for a pixel with a corresponding expected θ and ψ values. The inverse conversion table 20 is therefore data representative of an inverse function corresponding to the function for converting θ and ψ values to measurements of blood and melanin concentration as is stored in the conversion table 14. In the case of pixels which are associated with null values of within the chromophore distribution data no θ and ψ values are determined.
By processing the chromophore distribution data in this way, and accessing the radial co-ordinates r for pixels generated by the spherical conversion module 10, the image generation module 18 is able to generate a derived image where each pixel image for which the conversion module 12 is able to determine chromophore distribution values is represented by a pair of calculated colour angles θ and ψ and a radial value r corresponding to the radial value for that particular pixel as determined by the spherical conversion module 10. 
This derived image data is then passed to the texture determination module 22 which proceeds to convert the array of received θ ψ r data into an image of equivalent RGB values. 
This is achieved by applying the following equations to the θ ψ r data for each pixel:
R = r sin θ cos ψ
G = r sin θ sin ψ
B = r cos θ 
The texture determination module 22 then performs a difference operation comparing for each pixel the calculated RGB values for that pixel with the corresponding RGB values in the original image data obtained by the digital camera 1. 
In the case of pixel for which no chromophore data is generated by the conversion module 12, this difference data will correspond to the RGB values for the corresponding pixels in the original image. Where the conversion module 12 is able to derive chromophore distribution data for a particular pixel, if the derived RGB values for a particular pixel do not exactly correspond to the RGB values for that pixel in the original image, this indicates that some of the apparent colouring of the area of skin represented by that pixel arises due to factors other than the estimated concentrations of blood and melanin for that area of skin. The array of differences in RGB values is then output as texture data which is passed to the combination module 24.
In addition to processing the original chromophore distribution data output by the conversion module 12 and the radial spherical co-ordinate data output by the spherical conversion module 10, in this embodiment the image generation module 18 is also arranged to process (S3-6) the revised chromophore distribution data generated by the treatment simulation module 16 in a similar way to generate θ and ψ values which together with the radial value r for individual pixels are indicative for a particular portion of skin of the appearance of that portion after treatment which results in the change in chromophore distribution determined by the treatment simulation modules 16. 
As in the case of the processing of the original chromophore distribution data, this is achieved by the image generation module 18 accessing the inverse conversion table 20 to convert determined blood and melanin concentration values for individual pixels into θ and ψ values. The obtained θ and ψ values together with the original radial r element of the spherical co-ordinate determined for a pixel are then processed in a conventional way described above to convert the obtained θ ψ r values into conventional RGB values for that pixel representing the intensities in the red, green and blue channels for the portion of the individual represented by that pixel. This processing is repeated for all the pixels for which a chromophore distribution has been determined by the conversion module 12. The generated array of red, green and blue pixel values is then output by the image generation module 18 as a treated image and passed to the combination module 24. 
Thus by way of example in the case of the modified blood image of Figure 4D, the melanin image of Figure 4C and the radial co-ordinate values determined by processing the image of Figure 4A, a treated image indicative of the appearance of the individual appearing in the image of Figure 4A where the blood vessels responsible for the thread veins has been treated so as to result in a distribution of blood as shown in Figure 4D would be generated and is illustrated as Figure 4E. 
As can be seen the result of the processing is to generate an image similar to that of the original image but where the disfigurement arising due to the thread veins has been removed. This difference may most clearly be seen by comparing the image portion corresponding to the original image portion highlighted in Figure 5A a corresponding highlighted image portion from Figure 4E which is shown in Figure 5D.
As stated above since the conversion of angular spherical co-ordinates to a chromophore distribution and a reconversion of that a chromophore distribution to angular co-ordinates is based on the assumption that all of the variation in hue of a particular image portion rises due to variations in concentration of chromophore, the treated image generated by the image generation module 18 will lack features which arise due to other factors. 
Thus for example comparing Figures 4A and Figures 4E and also Figures 5A and 5D, the generated images of Figures 4E and 5D appear to lack texture when compared with the corresponding original images of Figures 4A and 5A. This can be seen most clearly in the portion of the images corresponding to the individual’s eye appearing in the image. 
To illustrate these differences, the portion in the original image of Figure 4A corresponding to the individual’s eye is shown in Figure 6A and the corresponding portion from the generated image of Figure 4E is shown as Figure 6B. As can be seen most clearly in these two images around the eye portion as a result of the processing much of the detailed texture of lines about the eye is lost.
As the detail which is lost through the conversion and reconversion of spherical co-ordinates is independent of any underlying manipulation of the chromophore distributions used to generate a treated image, this missing texture information in this embodiment is exactly the texture data for an image determined by the texture determination module 22. 
Thus in this embodiment this missing information can therefore be reintroduced to the image by the combination module 24 varying the red, green and blue values for each pixel in the treated image by the corresponding red, green and blue values determined for those pixels determined by the texture determination module 22. In this embodiment this processing, in addition to reintroducing the missing texture, also causes pixels which the image conversion module 12 is unable to convert θ and ψ spherical co-ordinates into chromophore concentrations to be represented by the original pixel values for those pixel from the original image obtained by the digital camera 1.
A final image generated after reintroducing this texture to the treated image of Figure 4E is shown in Figure 4F. Highlighted portions of the final images corresponding to the portions shown in Figure 5D and Figure 6B are also illustrated as Figures 5E and 6C respectively. 
As can be seen in particular in Figure 6C, the addition of the texture data derived by the texture determination module reintroduces to the image the detailed texture which is missing from the generated image of Figure 6B when compared with the original image of Figure 6A. 
The original image 33 generated by the camera and the final generated image 34 can then be output and displayed simultaneously as an output image 30 on a display 31 thereby illustrating to the individual the expected result of the treatment. 
Second Embodiment
A second embodiment of the present invention will now be described with reference to Figures 7 and 8 which are a schematic block diagram of an image processing system in accordance with a second embodiment of the present invention and a flow diagram of the processing performed by the image processing system respectively.
In the first embodiment an image processing system was described in which an image generation module 18 generated a derived and treated image utilising chromophore distribution data and r co-ordinate data derived by a spherical conversion module 10. The derived image data was then processed by a texture determination module 22 to obtain texture data which was then combined with the generated treated image data by a combination module 24 in order to generate an output image.
In this embodiment and alternative image processing system will be described which generates output image data directly from derived and treated image data without utilising the r co-ordinates determined for an image by a spherical conversion module 10. 
Referring to Figure 7, the image processing system in accordance with this embodiment of the present invention is identical to the image processing system of the previous embodiment with the exception that the texture determination and combination modules 22, 24 are replaced by an output module 100 and the image generation module 18 and the inverse conversion table 20 are replaced with a modified image generation module 101 and a modified inverse conversion table 102. The remaining elements of the system and are identical to the elements previously described in relation to the first embodiment and are identified by the same reference numerals as were previously used in Figure 1.
The processing performed by the image processing system of Figure 7 is illustrated by the flow diagram of Figure 8. The processing by the system to derive chromophore distribution data from input image data and to derive simulated treatment data using that chromophore distribution data (s8-1 - s8-4) is identical to the corresponding steps (s3-1 - s3-4) undertaken in the first embodiment and description of these steps will not be repeated.
After the image processing system in Figure 7 has derived chromophore distribution data and simulated treatment data, this data is then processed (s8-5) by the image generation module 101.
More specifically, in this embodiment the image generation module 101 processes the derived chromophore distribution data and simulated treatment data by accessing a modified inverse conversion table 102 which in this embodiment comprises a look up table associating pairs of blood and melanin concentrations with RGB values representative of the apparent colour of skin having such blood and melanin concentrations as viewed under fixed lighting conditions.
The RGB values stored in the modified inverse conversion table 102 could be generated by storing empirical data of the appearance of skin containing specific blood and melanin concentrations as viewed under fixed lighting conditions. However, in this embodiment, the RGB values comprise calculated RGB values determined by applying the inverse function relating blood and melanin concentrations to θ and ψ spherical co-ordinates as defined by data in the conversion table 14 and converting the determined θ and ψ spherical co-ordinates to RGB values using a fixed value for r.
As in the previous embodiment, the image generation module 101 processes each pair of chromophore concentration values in the chromophore distribution and the revised chromophore distribution in turn. As a result of the processing of the arrays defining the chromophore distributions performed by the image generation module 101, the image generation module 101 generates a pair of RGB images. These images are then passed to the output module 100.
As has previously been stated when RGB image data is converted to spherical co-ordinate data the angular θ ψ co-ordinates are substantially indicative of the hue and chromaticity represented by an individual pixel which arises due to the presence and concentrations of chromophores such as blood and melanin in the skin. The radial co-ordinate r is then substantially indicative of the brightness of the pixel which arises due to a combination of lighting factors and the concentrations of collagen in the skin. As in this embodiment, the RGB values for pixels in the derived and treated images are generated utilising a constant r value, the images will be representative of areas of skin under fixed lighting conditions and where the concentration of collagen is constant. 
In order to generate an image representative of an individual under true lighting conditions and representative of varying amounts of collagen, output RGB data for each pixel in an image is derived (s8-6) utilising the following equations:
2007190364.tif 000028
where Rout(x,y), Gout(x,y) and Bout(x,y) are the output RGB values for a pixel at position x,y and Roriginal(x,y), Rderived(x,y) Rtreated(x,y), Goriginal(x,y), Gderived(x,y) Gtreated(x,y), Boriginal(x,y), Bderived(x,y) Btreated(x,y)are the red green and blue values for corresponding pixels at position x,y in an original image obtained by the digital camera 1 and in the derived and treated images generated by the image generation module 101 respectively.
By determining for each colour channel in each pixel the ratio of a colour value in the original image output by the camera 1 to the corresponding colour value in a generated derived image and then scaling the corresponding colour value in a treated image by that ratio, a means is provided to vary the brightness of each pixel so as to reflect the variations in apparent brightness due to variations in lighting and collagen concentration present in the original image and thereby generate a realistic final output image. Finally, a generated output image is output (s8-7) and displayed on a display screen 31.
Third embodiment
A third embodiment of the present invention will now be briefly described with reference to Figures 9A and B.
In the first and second embodiments a system for generating images simulating the effect of the treatment for thread veins has been described, it will be appreciated that the described system could be modified to simulate any cosmetic or surgical treatment which varies the distribution of choromophores within the skin of an individual. Thus for example in other embodiments, images generated on the basis of a revised melanin distribution might be created. Such a system could for example simulate the effect of an acid peel on the appearance of age spots. 
Alternatively the present invention could be utilised to illustrate the effect of the progression of an aliment or of aging. In such an embodiment, the treatment simulation module 16 of the first and second embodiments would be modified so as to process obtained chromophore distributions generated by the image conversion module 12 to generate a revised chromophore distribution where the revised chromophore distribution was representative of a distribution arising due to an aliment or through aging.
Thus for example referring to Figures 9A and B, Figure 9A is an illustrative example of an original image of an individual. Figure 9B is an illustrative example image generated by a third embodiment of the present invention in which the appearance of acne on the face of the individual is simulated by processing a determined chromophore distribution for the image of Figure 9A.
Other alternative embodiments could for example generate modified chromophore distributions and generate representations of other conditions and ailments such as for example sunburn. 
Alternative Embodiments and Modifications
In the first above described embodiment, a system has been described in which an image illuminated by polarised light is obtained. By obtaining an image through a cross polarising filter 36, specular reflections directly from the surface of an individual’s skin are eliminated. 
It will be appreciated that in alternative embodiments, in addition to obtaining an image of an individual in which specular reflections have been eliminated, a further image could be obtained when the absence of the cross polarising filter 36. The image obtained in the absence of the cross polarising filter 36 could then be processed by the texture determination module 22 so as to generate texture data which identifies the difference between a derived image and an image obtained in the absence of the polarising filter 36. When this texture data is combined with a treated image, a final output image would then be generated where the output image included not only the texture missing from a derived image but also the difference in appearance resulting from specular reflections from the surface of the skin. The advantage of such a system would be that the images generated by the computer would be more realistic as the direct reflections would also be present in the generated images.
It will be appreciated that in a system where images are obtained both in the presence and the absence of a polarising filter 36, either two images could be obtained successively with the polarising filter 36 being removed or alternatively an additional digital camera could be provided solely for the purpose of obtaining image data in the absence of the cross polarising filter 36.
In the above embodiments, systems involving the manipulation of a single chromophore distribution have been described. It will be appreciated that in other embodiments, modified chromophore distributions for more than one chromophore might be generated and simulated images created based on the revised chromophore distributions for more than one chromophore could be created. 
Although in the above described embodiments, a system has been described in which measurements of the concentration of blood and melanin are obtained, it will be appreciated that the system could be modified to obtain measurements of other chromophores such as bilirubin, tattoo pigments or dye stuffs, keratin and hair. In such alternative embodiments the wavelengths of emitted light detected by a digital camera could be selected so as to measure wavelengths which are substantially unaffected by the presence of for example melanin. Processing such measurements in the way described would enable measurements of other chromophores to be obtained.
Alternatively instead of obtaining only three measurements corresponding to the red, green and blue channels in an image obtained by a digital camera, a modified camera obtaining intensity measurements for more wavebands could be provided and the additional measurements could be utilised to determine measurements of for example blood, melanin and collagen concentrations. In such a system in addition to the usual red, green and blue channels a digital camera arranged to obtain measurements in an infrared region might be utilised. 
In other embodiments means could be provided to process the chromophore distribution data generated by the image conversion module to identify abnormal distributions of chromophores. The processing performed by a treatment simulation module could then be selected to normalise the abnormal distributions.
Thus for example in the case of thread veins abnormally high concentrations of blood might be automatically detected and replaced with an average expected concentration for a particular body part. In other embodiments abnormally high or low concentrations of other chromophores might be detected and corrected.
Although in the above embodiments reference has been made to obtaining measurements of melanin concentrations, it will be appreciated that embodiments could be provided where measurements of the distribution and concentration of different types of melanin could be provided. Thus for example in some embodiments a system could be provided so that measurements of melanin comprised measurements of the distribution of only eumelanin or alternatively measurements of only pheomelanin rather than total melanin measurements.
Although in the above described embodiments generated image data has been described as being output as a screen image, it will be appreciated that if a 3D computer model of an individual appearing in an image is available the generated image data could be used as texture render data for texture rendering a model thereby generating a 3D model of an individual’s appearance utilising a revised chromophore distribution.
Although the embodiments of the invention described with reference to the drawings comprise computer apparatus and processes performed in computer apparatus, the invention also extends to computer programs, particularly computer programs on or in a carrier, adapted for putting the invention into practice. The program may be in the form of source or object code or in any other form suitable for use in the implementation of the processes according to the invention. The carrier can be any entity or device capable of carrying the program.
For example, the carrier may comprise a storage medium, such as a ROM, for example a CD ROM or a semiconductor ROM, or a magnetic recording medium, for example a floppy disc or hard disk. Further, the carrier may be a transmissible carrier such as an electrical or optical signal which may be conveyed via electrical or optical cable or by radio or other means.
When a program is embodied in a signal which may be conveyed directly by a cable or other device or means, the carrier may be constituted by such cable or other device or means.
Alternatively, the carrier may be an integrated circuit in which the program is embedded, the integrated circuit being adapted for performing, or for use in the performance of, the relevant processes.
Claims
1. An image processing apparatus comprising:
a data store (14,20) operable to store model data defining a relationship between concentrations of one or more chromophores and data indicative of the apparent colour of skin including said concentrations of said one or more chromophores;
a distribution determination module (12) operable to process received image data representative of an image of an individual to determine the distribution of at least one chromophore in the skin of the represented individual utilising model data stored in said data store (14,20); 
a processing module (16) operable to process a determined distribution of at least one chromophore determined by said distribution determination module (12) to generate data representative of a revised chromophore distribution; 
a variation determination module (22) operable to utilise a determined distribution of at least one chromophore determined by said distribution determination module (12) and received image data representative of an image of an individual to determine variations in appearance of an individual’s skin due to factors other than the distribution of said at least one chromophore in the skin of the represented individual; and
an image data generation module (18,24) operable to generate data representative of an individual utilising data representative of a revised chromophore distribution determined by said processing module (16) and said model data stored in said data store (14,20) defining said relationship between concentrations of one or more chromophores, data indicative of the apparent colour of skin including said concentrations of said one or more chromophores, and variations in appearance of an individual’s skin due to factors other than the distribution of said at least one chromophore in the skin of the represented individual determined by said variation determination module (22).
2. An image processing apparatus in accordance with claim 1 wherein said distribution determination module (12) is operable process received image data representative of an image of an individual to determine the distribution of at least one chromophore in the skin of the represented individual wherein said at least one chromophore comprises at least one chromophore selected from the list of blood, melanin, collagen, bilirubin, tattoo pigments or dye stuffs, keratin and hair.
3.  An image processing apparatus in accordance with claim 2 wherein said distribution determination module (12) is operable process received image data representative of an image of an individual to determine the distribution of blood and melanin in the skin of the represented individual.
4. An image processing apparatus in accordance with any preceding claim wherein said variation determination module (22) operable to determine variations in appearance of an individual’s skin due to factors other than the distribution of said at least one chromophore in the skin of the represented individual by utilising a determined distribution of one or more chromophores determined by said distribution determination module (12) to generate image data representative of the appearance of an individual’s skin due to the distribution of said one or more chromophores and comparing said generated image with received image data representative of an image of the actual appearance of said individual.
5. An image processing apparatus in accordance with any preceding claim further comprising:
a camera (1) operable to obtain image data representative of an individual;
a light source (3,38) operable to illuminate an individual with polarized light; and
a polarizing filter (36)  operable to filter polarized light generated by said light source (3,38), wherein said camera (1) is arranged to obtain image data representative of an individual illuminated by said light source (3,38) via said polarizing filter (36).
6. An image processing apparatus in accordance with claim 5 wherein said camera (1) is operable to obtain image data of an individual illuminated by said light source (3,38) via said polarizing filter (36) and image data representative of an individual illuminated by said light source (3,38) in the absence of said polarizing filter (36), wherein said distribution determination module (12) is operable to process image data of an individual illuminated by said light source (3,38) obtained via said polarizing filter (36) and said variation determination module (22)is operable to utilise image data representative of an individual illuminated by said light source (3,38) obtained in the absence of said polarizing filter (36) to determine variations in appearance of an individual’s skin due to factors other than the distribution of said at least one chromophore in the skin of the represented individual.
7. An image processing apparatus in accordance with claim 5 further comprising a camera (1) operable to obtain image data representative of an individual in the absence of said polarizing filter (36) wherein said distribution determination module (12) is operable to process image data of an individual illuminated by said light source (3,38) obtained via said polarizing filter (36) and said variation determination module (22)is operable to utilise image data representative of an individual illuminated by said light source (3,38) obtained in the absence of said polarizing filter (36) to determine variations in appearance of an individual’s skin due to factors other than the distribution of said at least one chromophore in the skin of the represented individual.
8. An image processing apparatus in accordance with any preceding claim wherein said processing module (16) is operable to process a determined distribution of at least one chromophore to generate data representative of a revised chromophore distribution by identifying abnormal chromophore distributions and processing said identified abnormal chromophore distributions to reduce the detected abnormal distributions.
9. An image processing apparatus in accordance with claim 8 wherein said processing module (16) is operable to process a determined distribution of at least one chromophore to generate data representative of a revised chromophore distribution by identifying excessive concentrations of one or more chromophores and processing said identified excessive chromophore concentrations to reduce the detected excessive concentrations.
10. An image processing apparatus in accordance with claim 9 wherein said processing module (16) is operable to process a determined distribution of at least one chromophore to generate data representative of a revised chromophore distribution by identifying excessive concentrations of one or more chromophores and processing said identified excessive chromophore concentrations to reduce the detected excessive concentrations by performing a blurring function.
11. An image processing method comprising:
storing model data defining a relationship between concentrations of one or more chromophores and data indicative of the apparent colour of skin including said concentrations of said one or more chromophores;
processing received image data representative of an image of an individual utilising said stored model data to determine the distribution of at least one chromophore in the skin of the represented individual; 
processing a determined distribution of at least one chromophore to generate data representative of a revised chromophore distribution; 
utilising a determined distribution of at least one chromophore and received image data representative of an image of an individual to determine variations in appearance of an individual’s skin due to factors other than the distribution of said at least one chromophore in the skin of the represented individual; and
generating data representative of an individual utilising said data representative of said revised chromophore distribution, said stored model data and said determined variations in appearance of an individual’s skin due to factors other than the distribution of said at least one chromophore in the skin of the represented individual.
12. An image processing method in accordance with claim 11 wherein said at least one chromophore comprises at least one chromophore selected from the list of blood, melanin, collagen, bilirubin, tattoo pigments or dye stuffs, keratin and hair.
13.  An image processing method in accordance with claim 12 wherein processing received image data to determine the distribution of at least one chromophore in the skin of the represented individual comprises processing received image data to determine the distribution of blood and melanin in the skin of the represented individual.
14. An image processing method in accordance with any of claims 11 - 13 wherein determining variations in appearance of an individual’s skin due to factors other than the distribution of said at least one chromophore in the skin of the represented individual comprises:
utilising a determined distribution of at least one chromophore to generate image data representative of the appearance of an individual’s skin due to the distribution of said at least one chromophore; and
comparing said generated image with received image data representative of an image of the actual appearance of said individual.
15. An image processing method in accordance with any of claims 11-14 further comprising:
illuminating an individual with polarized light from a light source (3,38) operable to generated polarized light; and 
obtaining image data representative of said individual illuminated with polarized light as viewed via a polarizing filter (36) operable to filter light having the same polarization as light generated by said light source (3,38).
16. An image processing method in accordance with claim 15 further comprising obtaining image data representative of said individual illuminated with polarized light in the absence of said polarizing filter (36), wherein processing received image data to determine the distribution of at least one chromophore in the skin comprises processing image data representative of an individual illuminated with polarized light as viewed via  a polarizing filter (36) operable to filter light having the same polarization as light generated by said light source (3,38) and wherein determining variations in the appearance of an individual’s skin due to factors other than the distribution of said at least one chromophore comprises utilising the determined distribution of at least one chromophore and received image data representative of an image of an individual illuminated with polarized light obtained in the absence of said polarizing filter (36).
17. An image processing method in accordance with any of claims 11-16 wherein processing a determined distribution of at least one chromophore to generate data representative of a revised chromophore distribution comprises identifying abnormal chromophore distributions and processing said identified abnormal chromophore distributions to reduce the detected abnormal distributions.
18. An image processing method in accordance with claim 17 wherein said processing a determined distribution of at least one chromophore to generate data representative of a revised chromophore distribution comprises identifying excessive concentrations of chromophores and processing said identified excessive chromophore concentrations to reduce the detected excessive concentrations.
19. An image processing method in accordance with claim 18 wherein processing a determined distribution of at least one chromophore to generate data representative of a revised chromophore distribution comprises identifying excessive concentrations of chromophores and processing said identified excessive chromophore concentrations by performing a blurring function.
20. A recording medium storing computer interpretable instructions for causing a programmable computer (4) to become configured as an apparatus in accordance with any of claims 1-4 or to cause a programmable apparatus (4) to perform a method in accordance with any of claims 11-14.
21. A recording medium (5,6) in accordance with claim 20 comprising a computer disc.
22. A computer disc (5) in accordance with claim 21 comprising a magnetic, optical or magneto-optical disc.
23. A recording medium in accordance with claim 21 comprising a signal (6) in a communications network.
１  Abstract
An image of an individual (2) is obtained via a digital camera (1).  The RGB image data is then processed to derive from the image data data representative of the distribution of chromophores resulting in the appearance of the individual (2).  A calculated chromophore distribution is then utilised to derive a revised chromophore distribution representing the effect of the desired cosmetic or surgical intervention or medical condition.  This chromophore distribution is then processed to generate an output image (34) illustrating the expected result of that intervention.  The generated image (34) can be displayed simultaneously with an original image (33) so that the extent of expected improvement can be determined.
２  Representative  Drawing
Refers to Figure 1
Figures
2007190364.tif 000029
2007190364.tif 000030
2007190364.tif 000031
2007190364.tif 000032
2007190364.tif 000033
2007190364.tif 000034
2007190364.tif 000035
2007190364.tif 000036
2007190364.tif 000037
2007190364.tif 000038
2007190364.tif 000039