(57)【特許請求の範囲】
【請求項１】
被写体を所定の条件下で撮影して撮影画像データを取得するデジタルカメラと、
上記撮影画像データを取り込んで、該撮影画像データの各ピクセルの明度を比較して、明度マップを生成する明度マップ生成手段と、
上記明度マップを、明度に応じた３次元量に変換して３Ｄマップを生成する明度・３次元量変換手段と、
上記３Ｄマップを３Ｄ・ＣＧを用いて表示する３Ｄ・ＣＧ表示手段と、
上記３Ｄマップの３次元量の体積を計算する３次元量体積計算手段と、
を具備することを特徴とする２次元模様の３次元変換装置。
【請求項２】
上記撮影画像データを上記被写体の画像として表示し、かつ、該画像中の要部を指示できるカーソルを備えた被写体表示手段を更に備え、
上記画像中の要部に対応する３Ｄマップ部分が、上記３Ｄ・ＣＧ表示手段に立体的に強調表示される
請求項１に記載の２次元模様の３次元変換装置。
【請求項３】
上記３Ｄ・ＣＧ表示手段を複数備え、
上記撮影画像データおよび３Ｄマップを複数保存するメモリを更に備え、
上記メモリから、ひとつの３Ｄマップをひとつの３Ｄ・ＣＧ表示手段で、他の３Ｄマップを他の３Ｄ・ＣＧ表示手段でそれぞれ表示することにより、ふたつの撮影画像データをビジュアルに比較して、その差異を認識しやすくした
請求項１に記載の２次元模様の３次元変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、写真、絵画、布地、衣料品等における濃淡の模様を、その濃淡の程度を３次元の形状に変換して、ビジュアルに、明瞭に認識しやすくする２次元模様の３次元変換装置に関し、特に、美容皮膚科領域に適用して、色素斑（「しみ」、「そばかす」）、赤ら等の濃淡レベルを写真よりもビジュアルに、明瞭に認識でき、施術する医師にも、施術される患者にも、客観的に理解でき、より優れた施術、医師と患者との信頼関係の構築を良好にできる２次元模様の３次元変換装置に関する。
【背景技術】
【０００２】
写真、絵画や布地の微妙な濃淡の解析、衣料品の淡いシミの確認等、目視では明確に識別しにくい濃淡模様を、より明確に調べたいことがあり、種々の試みがなされている。
【０００３】
例えば、特許文献１には、皮膚画像のコンピュータ解析のための技術が開示されている。
【０００４】
特許文献１では、顔等を複数の方向から写真撮影して、この写真撮影した皮膚画像データから色素斑等の面積、形、濃度、分布をデータ化して、解析したデータを２次元画像や表で表示し（段落番号００６６、図１０）、あるいは、データベースとして、全体的、定量的評価に使用しようとしている。しかし、このような２次元画像では、患者に対してばかりでなく、医師にとっても、色素斑等の状態を直感的に理解しがたく、診療現場では使いにくいという問題がある。
【０００５】
色素斑等をビジュアルに表示して直感的に理解しやすくするためには、３次元ＣＧを採用するのが好ましいのである。しかし、実用化されている３次元ＣＧは、２次元の写真、絵画、図面等から、そこに表現された本来存在する筈の３次元の物体等を、３次元ＣＧを使って、立体的に表示するものである。たとえば、特許文献２では、２次元画像から、違和感のない３次元画像を作成して、現実に存在する立体像を再現しようとしている（図１４参照）。
【０００６】
３次元ＣＧを使用して、色素斑等をビジュアルに表示して直感的に理解しやすくする技術は未だ発明されていない。
【０００７】
【特許文献１】特開２００４−３２１７９３号公報
【０００８】
【特許文献２】特開２００４−３２０１８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
この発明は、上記問題点を解決するためになされたものであり、その目的とするところは、写真、絵画、布地、衣料品等における濃淡の模様を、その濃淡の程度を３次元の形状に変換して、ビジュアルに、明瞭に表示する２次元模様の３次元変換装置を提供しようとするものである。
【課題を解決するための手段】
【００１０】
上述の課題を解決するために、この発明の２次元模様の３次元変換装置は、被写体を所定の条件下で撮影して撮影画像データを取得するデジタルカメラと、上記撮影画像データを取り込んで、該撮影画像データの各ピクセルの明度を比較して、明度マップを生成する明度マップ生成手段と、上記明度マップを、明度に応じた３次元量に変換して３Ｄマップを生成する明度・３次元量変換手段と、上記３Ｄマップを３Ｄ・ＣＧを用いて表示する３Ｄ・ＣＧ表示手段と、上記３Ｄマップの３次元量の体積を計算する３次元量体積計算手段と、を具備することを特徴とする。
【００１４】
ディスプレイに表示した被写体の画像の要部をカーソルで指示し、この要部に対応する３Ｄマップ部分を３Ｄ・ＣＧ表示するようにして、被写体全体の中の要部の３Ｄマップ部分を拡大表示してもよい。
【００１５】
この発明において、「２次元模様」とは、撮像の中の模様であって、たとえば、写真、絵画、図形の像形の輪郭、濃淡、人物写真の肌の「色素斑」、「赤ら」、「しわ」等を含む。すなわち、完全な２次元に限らず、油絵や毛穴、しわのような多少の３次元模様を含む。
【００１６】
この発明において、「明度に応じた３次元量」とは、明度に比例または反比例した３次元量に限るものではなく、たとえば、著しく高い明度領域または著しく低い明度領域で、次第に飽和させる等、用途に適した、明度に非線型に応じた３次元量も含む。
【発明の効果】
【００１７】
この発明においては、写真、絵画、布地、衣料品等における濃淡の模様を、ビジュアルに、明瞭に強調して表示するから、微妙な濃淡を直感的、数量的に容易に認識することが出来るという効果がある。
【００１８】
美容皮膚科領域に適用すれば、色素斑、赤ら等の濃淡レベルを写真よりもビジュアルに、明瞭に認識でき、施術する医師にも、施術される患者にも、直感的、客観的に理解できるようになり、医師は、より優れた施術を行うことが出来、医師と患者との信頼関係の構築も良好になる、という効果がある。
【発明を実施するための最良の形態】
【００１９】
以下、この発明に係る実施形態を図面を参照して説明する。
【００２０】
図１は、この発明の一実施の形態を示すブロック図、図２および図３は、それぞれ、図１の実施の形態を示すフローチャートである。
【００２１】
図１において、１は、患者の顔等の被写体を撮影して撮影画像データを取得するデジタルカメラである。同類の被写体間や、患者の施術前後の比較解析のためには、撮影時の照明、背景、デジタルカメラ、カメラアングル、顔等の姿勢は、常に同一となるように、所定の条件下で撮影が行われる。
【００２２】
同一条件下で撮影しやすくするために、カメラセット位置、明るさ、照明アングル、位置が設定された照明装置、被写体位置、姿勢が定まる被写体受け等を備えた撮影ボックス（図示省略）を用いることが好ましい。
【００２３】
２は、デジタルカメラ１で撮影された患者の顔等の撮影画像データ、撮影日時等の撮影データを受け入れるカメラデータ受け入れ部である。このカメラデータ受け入れ部２は、処理装置Ｐに設けられていて、撮影データを一時保持し、データの種類毎に分別して、処理装置Ｐの後述する他の部分に送るようになっている。また、一時保持する撮影データのうち、デジタルカメラ１から得られない被写体の名前、撮影者の名前等は、キーボード等の入力部１Ａからカメラデータ受け入れ部２に入力する。
【００２４】
３は、上記撮影画像データおよび３Ｄマップ、被写体名、撮影日時、その他の撮影画像データを複数保存するメモリである。このメモリ３は処理装置Ｐに設けられていて、３Ｄマップは後述する明度・３次元量変換手段５から、撮影画像データ、被写体名、撮影日時、その他の撮影画像データは、上記カメラデータ受け入れ部２から、各項目が各データに対応付けられて、受け入れて保存するようになっている。
【００２５】
４は、デジタルカメラ１で撮影された患者の顔等の撮影画像データを取り込んで、この撮影画像データの各ピクセルの明度を比較して、明度マップを生成する明度マップ生成手段である。明度マップ生成時に、周囲よりも暗い部分と周囲とのコントラスト付けと、ピクセルレベルの明度ムラをスムージングする処理も行なっている。
【００２６】
撮影される撮影画像は、色彩、輪郭、濃淡のある２次元模様をなしているものである。しかし、この撮影画像には、人物写真の肌の「色素斑」、「赤ら」、「しわ」、「毛穴」、や油絵等多少の３次元模様も含まれている。
【００２７】
明度マップ生成の際、用途によっては、純粋の明度を使用するのでなく、色彩や彩度を若干加味した明度を採用すると、一層解析がしやすくなることもある。
【００２８】
この明度マップ生成手段４は、処理装置Ｐに設けられている。
【００２９】
デジタルカメラ１から撮影画像データを取り込むには、この実施の形態では、ＵＳＢケーブルでデジタルカメラ１と明度マップ生成手段４とをつないでいる。ＵＳＢケーブルを用いれば、着脱が簡単であるから、撮影場所から移動したデジタルカメラ１を、処理装置Ｐの付近に持ってきて容易に接続することができる。
【００３０】
５は、明度マップ生成手段４により生成された明度マップを、明度に応じた３次元量に変換して、３Ｄマップを生成する明度・３次元量変換手段である。この実施の形態では、ピクセル毎の明度を高さに変換して、周囲よりも暗く濃い部分が山状に凸になるような３Ｄマップを生成している。更に、山状の形を３Ｄ・ＣＧで表示した場合に見やすいように、陰影を作成している。更に、この３Ｄマップ生成時に表示の際見やすいように、カラーリングしておくこともできる。
【００３１】
明度に応じた３次元量に変換する場合、必ずしも明度に比例または反比例した３次元量に変換する必要はない。用途に応じて、解析対象とならない著しく高い明度領域または著しく低い明度領域は、一定のピーク値にし、解析対象となる明度領域に変化が現れるように、明度に非線型に変換する方が一般的である。つまり、周辺領域の明度を基準として、解析対象領域を変化のある山形、谷形等に変換し、解析対象外の領域（たとえば、顔の場合の目や眉）は、飽和値にして処理するのである。
【００３２】
この明度・３次元量変換手段５も処理装置Ｐに設けられている。
【００３３】
３Ｄマップは、他の立体形状のものにしてもよく、たとえば、同一サイズの○を明度に応じて集積したり、○のサイズを明度に応じて変えたりしてもよい。
【００３４】
６は、明度・３次元量変換手段５により明度マップから変換された３Ｄマップを、３Ｄ・ＣＧを用いて表示する３Ｄ・ＣＧ表示手段である。この３Ｄ・ＣＧ表示手段６は、上記メモリ３の３Ｄマップ出力側に接続されている。
【００３５】
７は、上記３Ｄマップの３次元量の体積を計算する３次元量体積計算手段である。この３次元量体積計算手段７は処理装置Ｐに設けられている。
【００３６】
８は、上記撮影画像データを上記被写体の画像として表示する被写体表示手段で、この被写体表示手段８では、表示された画像中の要部、たとえば、色素斑を指示することのできるカーソルを備えている。そして、カーソルで要部を指示すると、その要部の３Ｄマップ部分が上記３Ｄ・ＣＧ表示手段６に表示されるようになっている。この被写体表示手段８は、上記メモリ３の撮影画像データ出力側に接続されている。
【００３７】
上記３Ｄ・ＣＧ表示手段６と被写体表示手段８は、別々の表示装置を用いても、あるいは、ひとつの表示装置に順次表示するようにしてもよいが、ひとつの表示装置を２分割して、一方を被写体表示手段８とし、他方を３Ｄ・ＣＧ表示手段６として同時に表示することが、視覚的に見やすく、好ましい。
【００３８】
図４（ａ）に、ひとつの表示装置の画面に、被写体（顔）と患部の３Ｄマップを表示した例を示す。図４（ａ）においては、カーソルで指示した１カ所の患部に対応する３Ｄマップ部分を回転角度と倍率を変えた複数種の画像で表示する例を示している。下側の５個の被写体画像は、治療経過に沿って並べた５つの被写体画像であって、その中からひとつの被写体画像を選択し、右側に拡大表示し、その拡大表示した被写体画像の患部をカーソルで指示して、患部に対応する３Ｄマップ部分を複数表示しているのである。図４（ａ）はやや不鮮明な部分があるので、模式化したものが図４（ｂ）である。図４（ｂ）では、Ｘが被写体のカーソル指示部分、Ｙ１、Ｙ２が、対応する３Ｄマップ部分である。
【００３９】
更に、選択する被写体画像を複数にして、それぞれについて患部の複数種の３Ｄマップ部分を表示し、比較するようにしてもよい。
【００４０】
このようにすると、被写体表示手段８により、被写体、たとえば、顔全体を把握でき、その中のカーソル指示部が、３Ｄ・ＣＧ表示手段６に３Ｄマップに変換された内容がリアルタイムに拡大表示されて、色素斑部分等の要部の状態を把握できる。３Ｄ・ＣＧ表示手段６では、要部の立体化された３Ｄマップ部を自由に回転したり、拡縮したりして、あたかもカメラの向き、画角、位置を変えたように表示できるから、どのような立体か分かりやすく、非常にビジュアルに状態を確認できる。
【００４１】
この実施の形態では、３Ｄマップとして、撮影画像データのピクセル毎の明度を、明度が低く暗いピクセルを高く、周囲の色素斑のない明るい領域のピクセルを低い平坦な高さに変換して、視覚的に色素斑を立体的、量的に表示して、色素斑の状態を分かりやすく表示する。また、色素斑の数値情報として、上記３次元量体積計算手段７により計算された３次元量の体積、すなわち、３Ｄマップ上の色素斑の各ピクセルの高さ（周囲の平坦領域との差）を積分して得た体積（色素斑の濃さ）と、カーソル位置座標値（色素斑の位置）を３Ｄ・ＣＧ表示手段６の画面に表にして表示している。
【００４２】
３Ｄ・ＣＧ表示手段６と被写体表示手段８とを併せ表示すると、上述のように被写体全体とその中の要部の詳細が関連付けられるが、要部の時間経過や施術前後の状態比較をするためには、次のようにする。
【００４３】
すなわち、上記３Ｄ・ＣＧ表示手段６を複数備え、上記メモリ３から、ひとつの３Ｄマップをひとつの３Ｄ・ＣＧ表示手段（６Ａ）で、他の３Ｄマップを他の３Ｄ・ＣＧ表示手段（６Ｂ）でそれぞれ表示する。これにより、ふたつの撮影画像データをビジュアルに比較して、その差異を認識しやすくなる。この場合も、ひとつの表示装置を２分割して（６Ａ）と（６Ｂ）とを併せて表示することが好ましい。
【００４４】
図２は、撮影画像データを被写体表示手段８に、３Ｄマップを３Ｄ・ＣＧ表示手段６に、それぞれ表示する場合のこの発明のフローチャートを示す。
【００４５】
図２において、１０１は、被写体を所定の条件下でデジタルカメラ１で撮影して撮影画像データを取得する被写体撮影ステップ、１０２は、上記撮影画像データを取り込み、カメラ１からは得られない撮影場所、撮影者、被写体名等のデータを追加入力し、これらのデータをメモリ３に保存する撮影データ入力ステップ、１０３は、上記撮影画像データを取り込んでメモリ３に保存し、その撮影画像データの各ピクセルの明度を比較して、明度マップを生成する明度マップ生成ステップ、１０４は、上記明度マップを、明度に応じた３次元量に変換して３Ｄマップを生成して、上記撮影画像データと対応付けてメモリに保存する明度・３次元量変換ステップ、１０５は、メモリ３に保存した上記３Ｄマップを３Ｄ・ＣＧを用いて表示する３Ｄ・ＣＧ表示ステップ、１０６は、メモリに保存した上記撮影画像データを上記被写体の画像として表示する撮影画像データ表示ステップである。
【００４６】
これらのステップは、図１に示し、既に説明したものをフローチャートで示したものであるから、詳細な説明の繰り返しを避ける。１０７は、ステップ１０６で表示した被写体の画像の中から、カーソルを用いて要部を選択指示するステップである。
【００４７】
被写体全体について変換した３次元量を表示させたいときは、ステップ１０１からステップ１０５に単純に進む。
【００４８】
被写体の要部、たとえば、特定の色素斑部分の３次元量を表示させたいときは、Ｃ１のプロセスを付加する。すなわち、ステップ１０１、１０２で得た上記撮影画像データを、撮影画像データ表示ステップ１０６で被写体の画像として表示する。更に、ステップ１０７で、その表示した被写体の画像の中から、カーソルを用いて要部を選択指示して、この部分の３Ｄマップを、ステップ１０５で、３Ｄ・ＣＧ表示する。
【００４９】
３Ｄ・ＣＧ表示する際は、オペレータの指示にできるだけ速く反応して表示を切り替えることが望ましい。それ故、この実施の形態では、ステップ１０１から１０４までを予め実行しておいて、生成した３Ｄマップをメモリに保存し、ステップ１０５では、オペレータの指示に応じた処理のみを行なうようにした。前述したカラーリングは、画面を見ながら変えたいことがあるから、ステップ１０５で行なうようにしている。
【００５０】
図３は、ふたつの撮影データの３Ｄマップを３Ｄ・ＣＧ表示手段６に表示する場合のこの発明のフローチャートを示す。
【００５１】
この方法は、時間が経過した同一の被写体のふたつの撮影画像データ、あるいは、施術前後の同一人物のふたつの撮影画像データを比較するのに適している。
【００５２】
図３において、Ｄ１とＤ２は、それぞれ、被写体撮影から、被写体の明度分布を明度・３次元量変換して３次元マップを生成するまでのプロセスであって、第１の被写体に対するＤ１のステップ１０１〜１０４は、図２と同様である。第２の被写体に対するＤ２のステップ２０１〜２０４は、ステップ１０１〜１０４と同様である。
【００５３】
ステップ１０４では、第１の明度マップを、明度に応じた３次元量に変換して第１の３Ｄマップを生成して、上記第１の撮影画像データと対応付けてメモリ３に保存し、ステップ２０４では、第２の明度マップを、明度に応じた３次元量に変換して第２の３Ｄマップを生成して、上記第２の撮影画像データと対応付けてメモリ３に保存しておき、ステップ３０５において、メモリ３に保存した上記第１および第２の３Ｄマップを３Ｄ・ＣＧを用いてそれぞれ表示する。この実施の形態では、ひとつの表示装置を２分割して第１および第２の３Ｄマップを表示している。
【産業上の利用可能性】
【００５４】
この発明は、絵画、写真等の画像の濃淡程度の解析に利用できる可能性がある。
【図面の簡単な説明】
【００５５】
【図１】この発明の美容皮膚科領域における一実施の形態を示すブロック図。
【図２】図１の実施の形態のフローチャート。
【図３】図１の実施の形態の他のフローチャート。
【図４】この発明になる、ひとつの表示装置に被写体と被写体上のカーソル指示部分に対応する３Ｄマップ部分とを表示した表示画面を示す説明図で、（ａ）は、写真から生成し、（ｂ）は、模式化したもの。
【符号の説明】
【００５６】
１  デジタルカメラ
２  カメラデータ受け入れ部
３  メモリ
４  明度マップ生成手段
５  明度・３次元量変換手段
６  ３Ｄ・ＣＧ表示手段
７  ３次元量体積計算手段
８  被写体表示手段
Ｐ  処理装置
１０１、２０１  被写体撮影ステップ
１０２、２０２  撮影データ入力ステップ
１０３、２０３  明度マップ生成ステップ
１０４、２０４  明度・３次元量変換ステップ
１０５、３０５  ３Ｄ・ＣＧ表示ステップ
１０６  撮影画像データ表示ステップ
１０７  カーソル指示ステップ
【図１】
0004825238.tif 000002
【図２】
0004825238.tif 000003
【図３】
0004825238.tif 000004
【図４】
0004825238.tif 000005