(57)【要約】【課題】顔画像から評価対象となる肌領域を比較的簡単な操作で画定でき、同一顧客に対して毎回肌領域を画定するような操作が不要となる画像処理装置。【解決手段】標準顔要素及び標準解析対象要素の配置情報で規定された標準顔画像と解析対象顔画像を表示部に重ね合わせて表示する顔画像表示処理部と、解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動処理部と、移動された標準解析対象要素を解析対象顔画像と関連付けて記憶する解析対象要素生成処理部を備え、標準顔要素移動処理部に、特定標準顔要素を中心とする所定範囲に位置する他の標準顔要素及び標準解析対象要素を抽出する移動要素抽出処理部と、抽出された他の標準顔要素及び標準解析対象要素を、特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動処理部を備えている。【選択図】図３
2009000410.tif 000002
【特許請求の範囲】
【請求項１】
複数のサンプル顔画像に基づいて得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像と、撮像装置で撮影された解析対象顔画像を、表示部に重ね合わせて表示する顔画像表示処理部と、
前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動処理部を備え、
前記標準顔要素移動処理部に、前記特定標準顔要素と関連付けられた標準解析対象要素を抽出する移動要素抽出処理部と、前記移動要素抽出処理部で抽出された標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動処理部を備え、
前記標準顔要素移動処理部で移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成処理部を備えている画像処理装置。
【請求項２】
移動要素抽出処理部は、前記特定標準顔要素を中心とする所定範囲に位置する標準解析対象要素を抽出する請求項１記載の画像処理装置。
【請求項３】
複数のサンプル顔画像に基づいて得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像と、撮像装置で撮影された解析対象顔画像を、表示部に重ね合わせて表示する顔画像表示処理部と、
前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動処理部を備え、
前記標準顔要素移動処理部に、前記特定標準顔要素を中心とする所定範囲に位置する他の標準顔要素及び標準解析対象要素を抽出する移動要素抽出処理部と、前記移動要素抽出処理部で抽出された他の標準顔要素及び標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動処理部を備え、
前記標準顔要素移動処理部で移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成処理部を備えている画像処理装置。
【請求項４】
前記標準顔要素及び標準解析対象要素の配置情報が、複数の基準点と各基準点を接続する接続線で定義され、
前記移動関数が、前記特定標準顔要素移動前の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ要素間距離Ｌ１及び前記特定標準顔要素の基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素の基準点の移動距離Ｌが、ΔＬ／Ｌ１を変数として導出され、前記特定標準顔要素の移動後の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ直線上で、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素または標準解析対象要素の基準点から離隔するときに接近させ、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素または標準解析対象要素の基準点に接近するときに離隔させる関数として定義される請求項３記載の画像処理装置。
【請求項５】
前記所定範囲が、前記特定標準顔要素の移動距離ΔＬに基づいて可変に設定される請求項４記載の画像処理装置。
【請求項６】
複数のサンプル顔画像に基づいて得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像と、撮像装置で撮影された解析対象顔画像を、表示部に重ね合わせて表示する顔画像表示ステップと、
前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動ステップを備え、
前記標準顔要素移動ステップに、前記特定標準顔要素と関連付けられた標準解析対象要素を抽出する移動要素抽出ステップと、前記移動要素抽出ステップで抽出された標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動ステップ部を備え、
前記標準顔要素移動ステップで移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成ステップを備えている画像処理方法。
【請求項７】
移動要素抽出ステップは、前記特定標準顔要素を中心とする所定範囲に位置する標準解析対象要素を抽出する請求項６記載の画像処理方法。
【請求項８】
複数のサンプル顔画像に基づいて得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報を備えた標準顔画像と、撮像装置で撮影された解析対象顔画像を、表示部に重ね合わせて表示する顔画像表示ステップと、
前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動ステップを備え、
前記標準顔要素移動ステップに、前記特定標準顔要素を中心とする所定範囲に位置する他の標準顔要素及び標準解析対象要素を抽出する移動要素抽出ステップと、前記移動要素抽出ステップで抽出された他の標準顔要素及び標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動ステップを備え、
前記標準顔要素移動ステップで移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成ステップを備えている画像処理方法。
【請求項９】
前記標準顔要素及び標準解析対象要素の配置情報が、複数の基準点と各基準点を接続する接続線で定義され、
前記移動関数が、前記特定標準顔要素移動前の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ要素間距離Ｌ１及び前記特定標準顔要素の基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素の基準点の移動距離Ｌが、ΔＬ／Ｌ１を変数として導出され、前記特定標準顔要素の移動後の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ直線上で、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素または標準解析対象要素の基準点から離隔するときに接近させ、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素または標準解析対象要素の基準点に接近するときに離隔させる関数として定義される請求項８記載の画像処理方法。
【請求項１０】
前記所定範囲が、前記特定標準顔要素の移動距離ΔＬに基づいて可変に設定される請求項９記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮影された人の顔画像情報に基づいて、染み、毛穴、皺等、顔の肌の変色部位の特性情報を抽出するための画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
美容外科やエステティックサロン等では、染み、毛穴の汚れ、皺等、顔の肌の状態を改善する美容施術の前後に、肌の状態がどの程度改善されたかを客観的に判断するため、撮像装置で人の顔画像を撮影し、撮影した顔画像に対して所定の画像処理を行なって、染み、毛穴の汚れ、皺等の状態を評価する必要がある。
【０００３】
そのため、特許文献１では、第１デジタルイメージは肌の色を有しており、人の顔の第１デジタルイメージを生成するデジタルイメージジェネレータと、前記デジタルイメージジェネレータによって生成された人の顔の第１デジタルイメージに基づいて人の顔の視覚的な表示を生成するために、デジタルイメージジェネレータと連動するように接続されたディスプレイ装置と、前記デジタルイメージジェネレータ及び前記ディスプレイ装置と連動するように接続され、前記デジタルイメージジェネレータから第１デジタルイメージを受信すると前記ディスプレイ装置に人の顔の視覚的な表示を生成させ、実際に存在する複数の肌の欠陥の複数の位置を示す座標の組を判定するために第１デジタルイメージを分析し、第２デジタルイメージは肌の欠陥を含む領域内に実質的に存在する複数のピクセルの色を第１デジタルイメージの肌の色から視覚的に識別できる少なくとも１つの色に電子的に変換することによってデジタルイメージ内にある複数の欠陥領域を視覚的に同定するものであって、前記第１デジタルイメージ及び座標の組に基づいて第２デジタルイメージを作成し、前記ディスプレイ装置に第２デジタルイメージを表示させるコントローラとを備える人の顔に関する複数の視覚的な肌の欠陥の位置を判定する装置が提案されている。
【０００４】
上述の装置では、ディスプレイ装置に表示された顔画像の目印に基づいて診断対象となる肌領域を画定する輪郭線を手動操作により生成し、または自動的に生成し、画定された肌領域に対して画素の色情報等に基づく画像処理により、肌の変色部位の位置等を判定するように構成されていた。
【特許文献１】特開２００１−４１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
顔画像から毛穴や染み等を検出する際に、必ずしも顔画像の全体からそれらを検出するとは限らず、顔画像の部分的な領域から毛穴や染み等を検出する場合もある。頬、額、顎、鼻等、顧客が気にしている部位の毛穴や染み等が施術対象となることがあるからである。
【０００６】
そのような場合に、従来のように、撮像装置により撮影された顧客の顔画像に対して、その都度、オペレータが診断対象となる肌領域を手動操作により画定する必要があると、非常に煩雑な作業を強いられるという問題があった。人の顔の形状、大きさ、目、鼻、口等の各器官の位置関係は千差万別で、思いの外異なっているため、熟練者であっても操作時間が長くなるのである。
【０００７】
さらに、評価対象となる肌領域が常に正確に画定されるとは限らず、画定された肌領域に多少の変動が生じると、そのような肌領域に対して行なわれた画像処理の結果も変動し、客観的に美容施術の結果を評価できなくなるという問題もあった。このような問題は、肌領域を画定する輪郭線を自動的に生成する場合も同様である。
【０００８】
本発明は、上述した従来の問題点に鑑みてなされたものであり、顔画像から評価対象となる肌領域を比較的簡単な操作で画定でき、同一顧客に対して毎回肌領域を画定するような操作が不要となる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の目的を達成するため、本発明による画像処理装置の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、複数のサンプル顔画像に基づいて得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像と、撮像装置で撮影された解析対象顔画像を、表示部に重ね合わせて表示する顔画像表示処理部と、前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動処理部を備え、前記標準顔要素移動処理部に、前記特定標準顔要素と関連付けられた標準解析対象要素を抽出する移動要素抽出処理部と、前記移動要素抽出処理部で抽出された標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動処理部を備え、前記標準顔要素移動処理部で移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成処理部を備えている点にある。
【００１０】
顔画像表示処理部に、複数のサンプル顔画像に基づいて予め生成された顔を構成する目、鼻、口等の標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像と、撮像装置で撮影された依頼者の解析対象顔画像が、表示部に重ね合わせて表示される。
【００１１】
このとき、標準顔要素移動処理部により、標準顔画像の目、鼻、口等の任意の標準顔要素が特定標準顔要素として、対応する依頼者の解析対象顔画像の目、鼻、口等の任意の特定顔要素に一致するように移動されると、当該特定標準顔要素に関連付けられた標準解析対象要素が抽出され、それらが移動関数に基づいて所定の移動量だけ移動されることにより、標準顔画像の標準解析対象要素つまり解析対象領域が、依頼者の解析対象顔画像に対応した解析対象要素つまり解析対象領域として適正に配置されるようになる。
【００１２】
このようにして依頼者の解析対象顔画像とマッチした解析対象要素が、解析対象要素生成処理部により当該解析対象顔画像と関連付けて記憶部に記憶される。従って、その後、撮影された依頼者の解析対象顔画像に対する解析対象要素は記憶部に記憶された解析対象要素を再利用することができる。従って、依頼者の顔画像を撮影する度に解析対象要素つまり解析対象領域を設定するための煩雑な処理を行なう必要が無くなるのである。
【００１３】
同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、移動要素抽出処理部は、前記特定標準顔要素を中心とする所定範囲に位置する標準解析対象要素を抽出する点にある。
【００１４】
上述の構成によれば、移動対象となる標準解析対象要素が特定標準顔要素を中心とする所定範囲に位置する標準解析対象要素に限られるので、依頼者の解析対象顔画像に対応した解析対象要素つまり解析対象領域としてより自然且つ適正に配置されるようになる。
【００１５】
同第三の特徴構成は、同請求項３に記載した通り、複数のサンプル顔画像に基づいて得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像と、撮像装置で撮影された解析対象顔画像を、表示部に重ね合わせて表示する顔画像表示処理部と、前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動処理部を備え、前記標準顔要素移動処理部に、前記特定標準顔要素を中心とする所定範囲に位置する他の標準顔要素及び標準解析対象要素を抽出する移動要素抽出処理部と、前記移動要素抽出処理部で抽出された他の標準顔要素及び標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動処理部を備え、前記標準顔要素移動処理部で移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成処理部を備えている点にある。
【００１６】
顔画像表示処理部に、複数のサンプル顔画像に基づいて予め生成された顔を構成する目、鼻、口等の標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像と、撮像装置で撮影された依頼者の解析対象顔画像が、表示部に重ね合わせて表示される。
【００１７】
このとき、標準顔要素移動処理部により、標準顔画像の目、鼻、口等の任意の標準顔要素が特定標準顔要素として、対応する依頼者の解析対象顔画像の目、鼻、口等の任意の特定顔要素に一致するように移動されると、当該特定標準顔要素を中心とする所定範囲内の他の標準顔要素及び標準解析対象要素が抽出され、それらが移動関数に基づいて所定の移動量だけ移動されることにより、標準顔画像の標準解析対象要素つまり解析対象領域が、依頼者の解析対象顔画像に対応した解析対象要素つまり解析対象領域として適正に配置されるようになる。
【００１８】
このようにして依頼者の解析対象顔画像とマッチした解析対象要素が、解析対象要素生成処理部により当該解析対象顔画像と関連付けて記憶部に記憶される。従って、その後、撮影された依頼者の解析対象顔画像に対する解析対象要素は記憶部に記憶された解析対象要素を再利用することができる。従って、依頼者の顔画像を撮影する度に解析対象要素つまり解析対象領域を設定するための煩雑な処理を行なう必要が無くなるのである。
【００１９】
同第四の特徴構成は、同請求項４に記載した通り、上述の第三特徴構成に加えて、前記標準顔要素及び標準解析対象要素の配置情報が、複数の基準点と各基準点を接続する接続線で定義され、前記移動関数が、前記特定標準顔要素の移動前の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ要素間距離Ｌ１及び前記特定標準顔要素の基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素の基準点の移動距離Ｌが、ΔＬ／Ｌ１を変数として導出され、前記特定標準顔要素の移動後の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ直線上で、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素または標準解析対象要素の基準点から離隔するときに接近させ、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素の基準点に接近するときに離隔させる関数として定義される点にある。
【００２０】
標準顔画像の目、鼻、口等の任意の特定標準顔要素を、対応する依頼者の解析対象顔画像の目、鼻、口等の任意の特定顔要素に一致するように移動する際に、その周辺に存在する他の標準顔要素や標準解析対象要素を特定標準顔要素の移動に連動して移動させる必要がある。そのときの他の標準顔要素や標準解析対象要素の適正な移動量及び移動方向が移動関数により求められるのである。
【００２１】
具体的には、標準顔要素及び標準解析対象要素の配置情報が、複数の基準点と各基準点を接続する接続線で定義される場合に、特定標準顔要素の移動前の基準点と他の標準顔要素または標準解析対象要素の基準点とを結ぶ要素間距離Ｌ１及び特定標準顔要素の基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素の基準点の移動距離Ｌが、ΔＬ／Ｌ１を変数として導出されるので、特定標準顔要素の基準点に近い標準顔要素または標準解析対象要素の基準点ほど大きな移動量で移動され、特定標準顔要素の基準点から離隔した標準顔要素または標準解析対象要素の基準点ほど小さな移動量で移動されるようになる。
【００２２】
つまり、特定標準顔要素の移動に伴ってその周辺の標準顔要素または標準解析対象要素の基準点が、大きく歪むことなく自然な一関係を満たした状態で整合されるのである。
【００２３】
そのような周辺の標準顔要素または標準解析対象要素の基準点は、前記特定標準顔要素の移動後の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ直線上で、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素または標準解析対象要素の基準点から離隔するときに接近し、特定標準顔要素の移動後の基準点が前記他の標準顔要素の基準点に接近するときに離隔する。
【００２４】
同第五の特徴構成は、同請求項５に記載した通り、上述の第三特徴構成に加えて、前記所定範囲が、前記特定標準顔要素の移動距離ΔＬに基づいて可変に設定される点にある。
【００２５】
特定標準顔要素の移動距離が短いときには、特定標準顔要素のごく近辺に存在する他の標準顔要素または標準解析対象要素を移動させれば十分であるが、特定標準顔要素の移動距離が長いときには、特定標準顔要素から離れた位置に存在する他の標準顔要素または標準解析対象要素をも移動させなければ、標準顔画像が大きく不自然に歪むことになり、依頼者の解析対象顔画像とのマッチングが困難になる。そこで、特定標準顔要素の移動距離に伴い所定範囲を可変に設定することにより、影響を及ぼす範囲を変動させて、依頼者の解析対象顔画像との整合性を確保するのである。
【００２６】
本発明による画像処理方法の第一の特徴構成は、同請求項６に記載した通り、複数のサンプル顔画像に基づいて得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像と、撮像装置で撮影された解析対象顔画像を、表示部に重ね合わせて表示する顔画像表示ステップと、前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動ステップを備え、前記標準顔要素移動ステップに、前記特定標準顔要素と関連付けられた標準解析対象要素を抽出する移動要素抽出ステップと、前記移動要素抽出ステップで抽出された標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動ステップ部を備え、前記標準顔要素移動ステップで移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成ステップを備えている点にある。
【００２７】
同第二の特徴構成は、同請求項７に記載した通り、上述の第一特徴構成に加えて、移動要素抽出ステップは、前記特定標準顔要素を中心とする所定範囲に位置する標準解析対象要素を抽出する点にある。
【００２８】
同第三の特徴構成は、同請求項８に記載した通り、複数のサンプル顔画像に基づいて得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報を備えた標準顔画像と、撮像装置で撮影された解析対象顔画像を、表示部に重ね合わせて表示する顔画像表示ステップと、前記表示部に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素を移動させる標準顔要素移動ステップを備え、前記標準顔要素移動ステップに、前記特定標準顔要素を中心とする所定範囲に位置する他の標準顔要素及び標準解析対象要素を抽出する移動要素抽出ステップと、前記移動要素抽出ステップで抽出された他の標準顔要素及び標準解析対象要素を、前記特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動させる要素移動ステップを備え、前記標準顔要素移動ステップで移動された標準解析対象要素を、前記解析対象顔画像に対する解析対象要素として前記解析対象顔画像と関連付けて記憶部に記憶する解析対象要素生成ステップを備えている点にある。
【００２９】
同第四の特徴構成は、同請求項９に記載した通り、上述した第三特徴構成に加えて、前記標準顔要素及び標準解析対象要素の配置情報が、複数の基準点と各基準点を接続する接続線で定義され、前記移動関数が、前記特定標準顔要素移動前の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ要素間距離Ｌ１及び前記特定標準顔要素の基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素の基準点の移動距離Ｌが、ΔＬ／Ｌ１を変数として導出され、前記特定標準顔要素の移動後の基準点と前記他の標準顔要素または標準解析対象要素の基準点とを結ぶ直線上で、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素または標準解析対象要素の基準点から離隔するときに接近させ、前記特定標準顔要素の移動後の基準点が前記他の標準顔要素の基準点に接近するときに離隔させる関数として定義される点にある。
【００３０】
同第五の特徴構成は、同請求項１０に記載した通り、上述した第四特徴構成に加えて、前記所定範囲が、前記特定標準顔要素の移動距離ΔＬに基づいて可変に設定される点にある。
【発明の効果】
【００３１】
以上説明した通り、本発明によれば、顔画像から評価対象となる肌領域を比較的簡単な操作で画定でき、同一顧客に対して毎回肌領域を画定するような操作が不要となる画像処理装置及び画像処理方法を提供することができるようになった。
【発明を実施するための最良の形態】
【００３２】
以下に本発明による画像処理装置が組み込まれた画像診断システムの実施の形態を説明する。
【００３３】
図１に示すように、画像診断システムは、依頼人の顔画像を撮影する撮像装置１と、撮像装置１で撮影され、電子データに変換された依頼人の顔画像を格納するハードディスク等で構成されたメモリ２と、液晶画面を備えた表示部３と、パーソナルコンピュータに本発明を具現化するアプリケーションプログラムがインストールされた画像処理装置４を備えて構成されている。
【００３４】
撮像装置１は、依頼人の顔を一定姿勢に保つ顎ガイドと頭部ガイドを備えた顔保持部１ａと、顔保持部１ａで保持された依頼人の顔を照明する照明装置１ｂと、照明装置１ｂで照明された依頼人の顔を撮影する撮像部１ｃを備えている。
【００３５】
画像処理装置４は、依頼人の顔画像領域に解析対象要素つまり解析対象領域を画定する解析対象領域生成部４ａと、解析対象領域生成部４ａで生成された解析対象要素を構成する画素群の画素値に基づいて、染み、毛穴の汚れ、皺等、肌の特性情報を抽出する肌特性抽出処理部４ｂと、肌特性抽出処理部４ｂで抽出された肌の特性情報に基づいて肌状態を診断する診断処理部４ｃを備えている。
【００３６】
撮像装置１で撮影された依頼人の顔画像はメモリ２に格納され、画像処理装置４によってメモリ２から読み出されて表示部３に表示される。解析対象領域生成部４ａにより、表示部３に表示された依頼人の顔画像の肌に、図２に示すような解析対象要素Ｒつまり解析対象領域が画定される。解析対象要素Ｒとして、具体的には、額領域Ｒ１、頬領域Ｒ２、鼻領域Ｒ３、顎領域Ｒ４が画定されるのであるが、これに限るものではなく、目尻の周辺領域等、適宜設定することができる。
【００３７】
肌特性抽出処理部４ｂは、顔画像領域に画定された解析対象要素の構成画素データから所定範囲の肌色領域を特定し、肌色領域を構成する複数の画素の青色成分値が所定の閾値より大であるか小であるかを、ラベリング法を用いて判別し、染みｄ１、毛穴の汚れｄ２、皺ｄ３等の発生領域を抽出する。
【００３８】
具体的に、ラベリング処理は、染みｄ１、毛穴の汚れｄ２、皺ｄ３等、夫々に対して適切に設定された閾値で解析対象要素Ｒ内の画素を二値化処理し、解析対象要素Ｒ内で閾値より上回る画素値（ここでは、二値化処理で１に設定されている）を有する任意の画素に特定のラベルを付し、ラベルを付した画素と隣接する画素であって、同様に閾値より上回る隣接画素に同一ラベルを付す処理を、閾値より上回る隣接画素が無くなるまで繰り返す処理で、解析対象要素Ｒ内の全ての画素に対してラベリング処理を行なうことにより、染みｄ１、毛穴の汚れｄ２、皺ｄ３に対応した単一または複数の領域が抽出される。
【００３９】
診断処理部４ｃは、肌特性抽出処理部４ｂで抽出された領域の面積（画素数）、形状、画素値等に基づいて、染み、毛穴の汚れ、皺の何れであるかを判別し、解析対象要素内における夫々の位置、面積、解析対象要素Ｒに対する面積比、画素値等でなる肌特性情報を生成する。
【００４０】
このとき、表示部３に表示された顔画像のうち、肌特性抽出処理部４ｂにより抽出された変色部位の表示色を、周辺の肌領域と識別可能な色に変えて表示することにより視覚的に容易に認識できるようになる。
【００４１】
例えば、６００万画素の顔画像では、３×３画素程度の面積が毛穴に相当するため、それより画素数が大きな領域は染みまたは皺と判別でき、領域の直交方向の連続画素値のうち、小さい方の連続画素値が数画素から十数画素で、且つ、小さい方の連続画素値と大きい方の連続画素値が所定値以上であれば皺であると判別できる。
【００４２】
一般に、上述した肌の特性を抽出する場合、画素を構成する赤、緑、青の各色成分のうち、青成分の値を採用することが好適である。皮膚の深層部の状況が青成分に現れるからである。従って、照明装置１ｂの光源に青色の透過フィルタや紫外線ランプを用いることが好ましい。
【００４３】
解析対象領域生成部４ａにより画定された解析対象要素Ｒ、肌特性抽出処理部４ｂで抽出された肌の特性情報、及び、診断処理部４ｃで診断された診断情報は、依頼人を特定するＩＤデータ、診断日、施術内容等と関連付けられてメモリ２に格納される。
【００４４】
診断処理部４ｃは、メモリ２に格納された依頼人の過去の肌の特性情報と今回の特性情報に基づいて肌の状態が改善されているか否かの診断情報を生成する。医師、エスティシャン、美容カウンセラーは、当該診断情報に基づいてどのような施術または処方が好ましいか、どのような化粧品が好ましいか等を判断して、適切に対応する。
【００４５】
以下、本発明による画像処理装置または画像処理方法が採用される解析対象領域生成部４ａの構成及び動作について、図３から図７を参照しながら詳述する。
【００４６】
解析対象領域生成部４ａは、図１（ｂ）に示すように、複数のサンプル顔画像を統計処理することにより得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報で規定された標準顔画像Ａ（図３（ａ）参照）と、撮像装置で撮影された解析対象顔画像Ｂ（図３（ｂ）参照）を、表示部３に重ね合わせて表示する（図３（ｃ）参照）顔画像表示処理部１０と、表示部３に表示された解析対象顔画像Ｂの特定顔要素Ｅの表示位置に、対応する特定標準顔要素ｅを移動させる標準顔要素移動処理部１２と、標準顔要素移動処理部１２で移動された標準解析対象要素ｒを、解析対象顔画像Ｂに対する解析対象要素Ｒとして解析対象顔画像Ｂと関連付けて記憶部２に記憶する解析対象要素生成処理部１８を備えている。
【００４７】
さらに、標準顔要素移動処理部１２に、特定標準顔要素ｅを中心とする所定範囲Ｓに位置する他の標準顔要素ｅ´及び標準解析対象要素ｒを抽出する移動要素抽出処理部１４と、移動要素抽出処理部１４で抽出された他の標準顔要素ｅ´及び標準解析対象要素ｒを、特定標準顔要素ｅの移動に伴って、所定の移動関数Ｆに基づいて算出された移動方向及び移動距離だけ移動させる要素移動処理部１６を備えている。
【００４８】
標準顔要素ｅ及び標準解析対象要素ｒの配置情報は、複数の基準点ｐと各基準点ｐを接続する接続線ｑで定義され、移動関数Ｆは、特定標準顔要素ｅの移動前の基準点ｐ１と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐとを結ぶ要素間距離Ｌ１及び特定標準顔要素ｅの基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素ｅ´の基準点ｐの移動距離Ｌが、ΔＬ／Ｌ１を変数として導出され、特定標準顔要素ｅの移動後の基準点ｐ２と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点とを結ぶ直線上で、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐから離隔するときに接近させ、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐに接近するときに離隔させる関数として定義されている。
【００４９】
図３（ａ）に示す標準顔画像Ａは、予め収集した多数のサンプル顔画像に対して、顔を構成する輪郭、髪の生え際、眉、目、耳、鼻、口といった顔要素の大きさや相対距離を計測し、その結果を統計処理して標準的な顔要素の大きさ、位置を算出して、算出した値に基づいて標準顔要素を配置した標準顔画像を生成し、生成した標準顔画像に対して、オペレータがマウス等のポインティングデバイスを手動操作して、肌の変色等の特性の状態を探る解析対象要素ｒ、つまり解析対象領域を画定して得られた画像で、標準的な輪郭、髪の生え際、眉、目、耳、鼻、口といった顔要素、つまり標準顔要素ｅの配置情報及び標準解析対象要素ｒの配置情報で規定された画像である。
【００５０】
ここで、配置情報は、所定のＸ，Ｙ二次元座標系で基準点ｐが位置する座標と、接続線ｑの属性情報で構成され、属性情報には接続線ｑの両端の基準点ｐを特定する基準点特定情報と、接続線が直線か曲線か特定する線種情報、曲線の場合にはその曲率等の情報が含まれる。
【００５１】
顔画像表示処理部１０により、予めメモリ２に格納された標準顔画像Ａと解析対象顔画像Ｂが読み出されて、図３（ｃ）に示すように表示部３に重ね合わせて表示されるのである。
【００５２】
このような標準顔要素ｅ及び標準解析対象要素ｒの配置情報は、図４（ａ）に示すように、複数の基準点ｐと各基準点ｐを接続する接続線ｑで定義されている。標準顔要素移動処理部１２は、オペレータにより基準点ｐまたは接続線ｑがマウスでドラッグ操作された状態で移動され、ドロップ操作されると、基準点ｐまたは接続線ｑをその位置まで移動処理する。
【００５３】
図４（ｂ）に示すように、基準点ｐが移動操作されると、当該基準点ｐのみを移動し、移動操作されなかった基準点ｐと移動操作された基準点ｐを結ぶように接続線ｑを変更し、図４（ｃ）に示すように、接続線ｑが移動操作されると、接続線ｑと当該接続線ｑにより接続された全ての基準点ｐを位置関係を保った状態で移動する。
【００５４】
このとき、移動要素抽出処理部１４は、図４（ｄ）に示すように、特定標準顔要素ｅを中心とする所定範囲Ｓに位置する他の標準顔要素ｅ´及び標準解析対象要素ｒを、特定標準顔要素ｅの移動に伴なって同時に移動処理する対象として抽出する。所定範囲Ｓは、特定標準顔要素ｅの移動距離、つまり、一つの基準点のみが移動されるときには当該基準点Ｐの移動距離ΔＬ、接続線ｑが移動されるときには当該接続線の移動距離ΔＬの関数で定めることができ、例えば、移動前の基準点の位置または接続線ｑの中心位置を中心として半径がＮ×ΔＬの範囲に含まれる円領域に設定される。
【００５５】
また、移動前の基準点Ｐの位置または接続線ｑの中心位置を中心として一辺の長さがＮ×ΔＬの矩形領域に設定されるものであってもよい。ここに、Ｎは自然数であり、標準的には２〜３が選択されるが、対象画像の画素数により適宜変更設定するものであってもよい。
【００５６】
つまり、上述した所定範囲Ｓが、特定標準顔要素ｅの移動距離ΔＬに基づいて可変に設定されるのである。従って、特定標準顔要素ｅの移動距離ΔＬが長ければそれだけ影響を受ける他の標準顔要素ｅ´及び標準解析対象要素ｒが多くなり、特定標準顔要素ｅの移動距離ΔＬが短ければそれだけ影響を受ける他の標準顔要素ｅ´及び標準解析対象要素ｒが少なくなる。尚、簡易的には、上述した所定範囲Ｓを固定範囲とすることも可能である。
【００５７】
要素移動処理部１６は、移動要素抽出処理部１４で抽出された他の標準顔要素ｅ´及び標準解析対象要素ｒを、特定標準顔要素ｅの移動に伴って、上述の移動関数Ｆに基づいて算出された移動方向及び移動距離だけ移動させる。
【００５８】
図５は、標準顔要素の眉、目（閉じた状態）、標準解析対象要素の鼻領域に対して、移動関数Ｆの特性を説明する図である。図５（ａ）に示すように、移動関数Ｆは、特定標準顔要素ｅの移動前の基準点ｐ１と他の標準顔要素ｅ´の基準点Ｐ（または接続線の中心位置）、または、特定標準顔要素ｅの移動前の基準点ｐ１と標準解析対象要素ｒの基準点ｐ（または接続線の中心位置）とを結ぶ要素間距離Ｌ１及び特定標準顔要素ｅの基準点の移動距離ΔＬに対して、ΔＬ≦Ｌ１のときに当該他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐの移動距離Ｌを、Ｌ＝ａ×（ΔＬ／Ｌ１）＋ｂ（ａ，ｂは定数）の数式に基づいて導出し、特定標準顔要素ｅの移動後の基準点ｐ２と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐとを結ぶ直線上で、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐから離隔するときに接近させ、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐに接近するときに離隔させる関数として定義されている。尚、本実施形態では、ａ＝１，ｂ＝０に設定しているが、解析対象画像の画素数に基づいて適宜設定すればよい。また、基準点ｐの移動距離ＬはＸ，Ｙ二次元座標系でＸ成分及びＹ成分毎に演算される。
【００５９】
さらに、移動関数Ｆは、ΔＬ＞Ｌ１のときに当該他の標準顔要素ｅ´の基準点ｐの移動距離ＬをΔＬに設定し、特定標準顔要素ｅの移動後の基準点ｐ２と他の標準顔要素ｅ´または標準解析対象要素ｒの基準点とを結ぶ直線上で、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐから離隔するときに接近させ、特定標準顔要素ｅの移動後の基準点ｐ２が他の標準顔要素ｅ´または標準解析対象要素ｒの基準点ｐに接近するときに離隔させる関数として定義されている。つまり、図５（ｂ）に示すように、要素移動処理部１６は、ΔＬ＞Ｌ１のときには、特定標準顔要素ｅの移動前の基準点ｐ１と他の標準顔要素ｅ´の基準点ｐの離間距離を保った状態で移動させる。
【００６０】
ここで、ΔＬ≦Ｌ１のときに、基準点ｐまたは接続線ｑの移動操作量ΔＬが微小な値のときには、当該基準点ｐまたは接続線ｑのみを移動させ、他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐの位置はそのまま元の位置を維持するように移動関数Ｆを定義してもよい。
【００６１】
例えば、顔画像の全画素数に対して予め正整数Ｋが設定され、移動操作された基準点ｐまたは接続線ｑの直近に位置する他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐに対する要素間距離Ｌと移動距離ΔＬにＬ１／ΔＬ≧Ｋ（Ｋは正整数）の関係があるときに、他の標準顔要素ｅ´の基準点ｐまたは標準解析対象要素ｒの基準点ｐの位置を移動させることなく、そのまま元の位置を維持するように移動関数を定義するのである。
【００６２】
図６に示すように、標準顔要素移動処理部１２によって、標準顔画像Ａの夫々の標準顔要素ｅが解析対象顔画像Ｂの対応する顔要素Ｅの位置に移動処理されることにより、標準顔要素ｅの移動処理に伴なって移動処理された標準解析対象要素ｒが、解析対象顔画像Ｂの解析対象要素Ｒつまり解析対象領域として画定される。
【００６３】
このようにして、解析対象顔画像Ｂに画定された適切な解析対象要素Ｒが、当該依頼人を特定するＩＤデータ、診断日、施術内容等と関連付けられてメモリ２に格納される。
【００６４】
そして、それ以降に新たに当該依頼人の顔を撮影した場合には、メモリ２に格納された解析対象要素Ｒが読み出され、当該依頼人の新たな顔画像に当該解析対象要素Ｒが画定される。尚、顔画像の画素数、倍率、基準座標は、当該解析対象要素Ｒの倍率、基準座標と整合される必要があることはいうまでもない。
【００６５】
以上説明した解析対象領域生成部４ａによる画像処理方法を、図７に示すフローチャートに基づいて概説する。
【００６６】
顔画像表示処理部１０により、顔画像表示ステップが実行され（Ｓ１）、複数のサンプル顔画像に基づいて得られた顔を構成する標準顔要素の配置情報及び標準解析対象要素の配置情報を備えた標準顔画像と、撮像装置で撮影された解析対象顔画像が表示部に重ね合わせて表示される。
【００６７】
次に、標準顔要素移動処理部１２により、標準顔要素移動ステップが実行され（Ｓ２）、オペレータによるマウスのドラッグ操作に従って、表示部３に表示された解析対象顔画像の特定顔要素の表示位置に、対応する特定標準顔要素が移動処理される。
【００６８】
マウスのドラッグ操作中に、所定時間間隔で、移動要素抽出処理部１４により移動要素抽出ステップが実行され（Ｓ３）、要素移動処理部１６により要素移動ステップ（Ｓ４）が繰り返し実行される（Ｓ５，Ｓ６）。従って、表示部３を目視するオペレータには、特定標準顔要素の移動処理中に他の標準顔要素及び標準解析対象要素が同時に連続して移動するように認識される。このとき、移動要素抽出処理部１４により移動要素抽出ステップが実行される度に所定範囲Ｓが順次変更される。
【００６９】
移動要素抽出ステップでは、移動要素抽出処理部１４により、前記特定標準顔要素を中心とする所定範囲に位置する他の標準顔要素及び標準解析対象要素が抽出され、要素移動ステップでは、要素移動処理部１６により、移動要素抽出ステップで抽出された他の標準顔要素及び標準解析対象要素が、特定標準顔要素の移動に伴って、所定の移動関数に基づいて算出された移動方向及び移動距離だけ移動される。
【００７０】
オペレータによりマウスがドロップ操作されると（Ｓ５）、標準顔要素移動処理部１２による標準顔要素移動処理の一単位が終了し、ステップＳ２からステップ５までの処理が標準顔要素毎に繰り返される。全ての標準顔要素が解析対象画像の顔要素位置と整合すると、一連の処理を終了し（Ｓ７）、解析対象要素生成処理部１８により解析対象要素生成ステップが実行され（Ｓ８）、標準顔要素移動ステップで移動された標準解析対象要素が、解析対象顔画像に対する解析対象要素として画定され、解析対象顔画像と関連付けて記憶部３に記憶される。
【００７１】
上述のフローチャートでは、マウスのドラッグ操作中に、所定時間間隔で、移動要素抽出ステップ及び要素移動ステップが繰り返し実行される場合を説明したが、マウスのドロップ操作が行なわれたときに移動要素抽出ステップ及び要素移動ステップが実行されるように構成してもよい。
【００７２】
上述した実施形態では、移動要素抽出処理部が特定標準顔要素を中心とする所定範囲に位置する他の標準顔要素及び標準解析対象要素を抽出するように構成するものを説明したが、移動要素抽出処理部を、特定標準顔要素と関連付けられた標準解析対象要素のみを抽出するように構成するものであってもよい。この場合、特定標準顔要素を中心とする所定範囲に位置する標準解析対象要素を抽出するように構成することにより、より自然且つ適切に解析対象要素を配置することができる。
【００７３】
この場合には、各標準顔要素と標準解析対象要素が予め関連付けられている必要があり、例えば、標準顔要素の眉を額領域Ｒ１の標準解析対象要素と関連付け、標準顔要素の目を鼻領域Ｒ３及び頬領域Ｒ２の標準解析対象要素と関連付け、標準顔要素の口を顎領域Ｒ４の標準解析対象要素と関連付け、各標準顔要素及び標準解析対象要素が夫々の関連付け情報とともにメモリ２に格納しておけばよい。
【００７４】
尚、移動関数及び標準解析対象要素を抽出する所定領域は上述と同様に構成すればよい。
【００７５】
上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各機能ブロックの具体的構成等を適宜変更設計できることは言うまでもない。
【図面の簡単な説明】
【００７６】
【図１】（ａ）は画像診断システムの機能ブロック構成図、（ｂ）は画像処理装置のブロック構成図
【図２】顔画像の肌に画定される解析対象要素の説明図
【図３】（ａ）は表示部に表示された標準顔画像の説明図、（ｂ）は表示部に表示された解析対象顔画像の説明図、（ｃ）は表示部に重ね合わせて表示された標準顔画像と解析対象顔画像の説明図
【図４】（ａ）は標準顔要素及び標準解析対象要素の配置情報の説明図、（ｂ）はオペレータにより基準点が移動操作されるときの標準顔要素及び標準解析対象要素の移動態様の説明図、（ｃ）はオペレータにより接続線が移動操作されるときの標準顔要素及び標準解析対象要素の移動態様の説明図、（ｄ）は特定標準顔要素とともに移動する他の標準顔要素及び標準解析対象要素が抽出される所定範囲の説明図
【図５】（ａ）はΔＬ≦Ｌ１のときに他の標準顔要素の基準点の移動距離及び方向を示す説明図、（ｂ）はΔＬ＞Ｌ１のときに他の標準顔要素及び標準解析対象要素の基準点の移動距離及び方向を示す説明図
【図６】解析対象顔画像に画定された解析対象要素の説明図
【図７】本発明による画像処理方法を説明するフローチャート
【符号の説明】
【００７７】
２：記憶部
３：表示部
４ａ：解析対象領域生成部
１０：顔画像表示処理部
１２：標準顔要素移動処理部
１４：移動要素抽出処理部
１６：要素移動処理部
１８：解析対象要素生成処理部
Ａ：標準顔画像
Ｂ：解析対象顔画像
ｅ：標準顔要素
Ｅ：顔要素
ｒ：標準解析対象要素
Ｒ：解析対象要素
【図１】
2009000410.tif 000003
【図２】
2009000410.tif 000004
【図３】
2009000410.tif 000005
【図４】
2009000410.tif 000006
【図５】
2009000410.tif 000007
【図６】
2009000410.tif 000008
【図７】
2009000410.tif 000009