(57)【要約】【課題】  簡単かつ低コストで化粧あるいは美容シミュレーションシステムを実現する。【解決手段】  形状情報を取得する手段は、撮影対象となる三次元物体を異なる角度からそれぞれ撮影する位置に設けられた複数のステレオ画像撮影カメラと、このカメラ毎に設けられたパターン投影装置とを備え、色情報を取得する手段は、撮影対象となる三次元物体を形状撮影用のパターンを観察可能な位置から撮影する位置に設けられた色彩撮影カメラを備え、パターン投影装置により投影されるパターンは赤外光により投影され、ステレオ画像撮影カメラは赤外光を撮影するカメラであり、色彩撮影カメラは、可視光を撮影するカメラである。【選択図】  図１
2005284775.tif 000002
【特許請求の範囲】
【請求項１】
三次元物体を撮影し、その形状情報を取得する手段と、
三次元物体を撮影し、その色情報を取得する手段と、
取得した前記形状情報および前記色情報に基づき、色情報撮影用カメラで取得した画像の画素単位で、各画素に対応する前記三次元物体の位置情報をあわせ持つ画像信号を生成する手段と
を備えた画像処理装置であって、
前記形状情報を取得する手段は、
撮影対象となる前記三次元物体を異なる角度からそれぞれ撮影する位置に設けられた複数のステレオ画像撮影カメラと、
このカメラ毎に設けられたパターン投影装置と
を備え、
前記色情報を取得する手段は、撮影対象となる前記三次元物体を、当該三次元物体に投影される形状撮影用のパターンの一部あるいは全部が当該三次元物体に投影される全てのパターンについて、そのカメラが撮影する画角内で観察可能な任意の位置から撮影する位置に設けられた色情報撮影カメラを備え、
前記パターン投影装置により投影されるパターンは前記色情報撮影カメラには感応しない
ことを特徴とする画像処理装置。
【請求項２】
前記パターン投影装置により投影されるパターンは赤外光により投影され、前記ステレオ画像撮影カメラは赤外光を撮影するカメラであり、前記色情報撮影カメラは、可視光を撮影するカメラである請求項１記載の画像処理装置。
【請求項３】
前記三次元物体は人の顔または身体の一部である請求項１または２記載の画像処理装置。
【請求項４】
前記ステレオ画像撮影カメラは、人の顔または身体の一部を上下左右からそれぞれ撮影する位置に１台ずつ合計４台設けられ、前記色情報撮影カメラは、前記人の顔または身体の一部を前記ステレオ画像撮影カメラによって囲まれる四角形の内部から撮影する位置に１台設けられた請求項３記載の画像処理装置。
【請求項５】
前記ステレオ画像撮影カメラは、人の顔を上下左右からそれぞれ撮影する位置に１台ずつ合計４台設けられ、前記色情報撮影カメラは、前記人の顔を前記ステレオ画像撮影カメラによって囲まれる四角形の内部から撮影する位置に１台設けられた請求項３記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人体等、三次元物体の形状および色の情報を同時に取得する技術に関する。
【背景技術】
【０００２】
出願人は、被験者の顔の色画像をカメラにより撮影し、この撮影した画像に、被験者が希望するタイプの化粧による顔の変化を表す化粧データを被験者の顔画像に適合するように変形して合成し、被験者の化粧した場合の顔の様子を表示する化粧アドバイスシステムを特許出願した（特許文献１参照）。
【０００３】
また、出願人は被験者の顔の色情報に加えて、形状情報も同時に取得し、それらの情報をもとに、よりリアリティのある画像を表示する化粧アドバイスシステムを実現するための三次元物体測定装置を開発し特許出願した（特許文献２参照）。
【０００４】
その他に３次元物体全体の形状情報および色情報を取得する技術としては、例えば、特許文献３に開示されている技術がある。この技術では、形状情報撮影用カメラとパターン投影装置と色情報撮影用カメラの組を複数配置することで、３次元物体全体の形状および色の情報を取得することができる。
【特許文献１】特開２０００−１９４８３５号公報
【特許文献２】特開２００３−５７０１７号公報
【特許文献３】特開２００１−８２９４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１では、出力表示が静止画像のみを対象としており、動画像を処理することは考えられていない。
【０００６】
特許文献２では、２種類のカメラを使用し、３次元物体の色および形状の情報を抽出することは提案しているが、被測定三次元物体の色情報、形状情報および形状の変位量を必要とするため、必ずしも簡易なシステムとはいえず、システムのコストおよび設置スペースを小さくすることは難しい。
【０００７】
特許文献３では、２種類のカメラを使用し、３次元物体の形状および色の情報を抽出することは提案しているが、形状情報撮影用カメラとパターン投影装置と色情報撮影用カメラの組を複数配置するため、特許文献２と同様に、必ずしも簡易なシステムとはいえない。また、色情報撮影用カメラで取得した画像の画素単位で、各画素に対応する三次元物体の位置情報を併せ持つ画像信号を生成する手段もないため、取得した色情報および形状情報に基づく動画像処理をリアルタイムで処理することは難しい。
【０００８】
一方、化粧アドバイスシステムは、デパートの化粧品売り場などの比較的狭小なスペースに設置することが多く、また、全国規模に販売活動を展開することを考えると多数設置する必要があり、システムが小型で簡単であり、また、コストが安価であることが重要である。
【０００９】
また、デパートの化粧品売り場などで化粧シミュレーションを実施する場合には、顧客との対話の中で実施する必要があり、顔画像処理がリアルタイムに行われることが重要である。
【００１０】
本発明は、このような背景の下に行われたものであって、小型で簡単かつ低コストでリアルタイムに動画像を表示する、化粧あるいは美容シミュレーションシステムを実現することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、三次元物体を撮影し、その形状情報を取得する手段と、三次元物体を撮影し、その色情報を取得する手段と、取得した前記形状情報および前記色情報に基づき、色情報撮影用カメラで取得した画像の画素単位で、各画素に対応する前記三次元物体の位置情報をあわせ持つ画像信号を生成する手段とを備えた画像処理装置である。
【００１２】
ここで、本発明の特徴とするところは、前記形状情報を取得する手段は、撮影対象となる前記三次元物体を異なる角度からそれぞれ撮影する位置に設けられた複数のステレオ画像撮影カメラと、このカメラ毎に設けられたパターン投影装置とを備え、前記色情報を取得する手段は、撮影対象となる前記三次元物体を、当該三次元物体に投影される形状撮影用のパターンの一部あるいは全部が当該三次元物体に投影される全てのパターンについて、そのカメラが撮影する画角内で観察可能な任意の位置から撮影する位置に設けられた色情報撮影カメラを備え、前記パターン投影装置により投影されるパターンは前記色情報撮影カメラには感応しないところにある。
【００１３】
前記パターン投影装置により投影されるパターンは赤外光により投影され、前記ステレオ画像撮影カメラは赤外光を撮影するカメラであり、前記色情報撮影カメラは、可視光を撮影するカメラであることが好ましい。前記三次元物体は、例えば、人の顔または身体の一部である。
【００１４】
また、前記形状情報は、対象物体の三次元位置情報であり、画像の他、点列データなどでもよく、その書式には制限はない。
【００１５】
このように、本発明では、ステレオ画像撮影カメラを用いるところに最も主要な特徴がある。ステレオ画像撮影カメラは、あらかじめ一つの筐体内に二つの小型カメラ装置が内蔵されており、専門的な知識を有しない者がセッティングを行ってもステレオ画像の撮影性能には影響しない。したがって、例えば、デパートの化粧品売り場あるいはエステティックサロンなどのように、ステレオ画像撮影に関して専門的知識を有する者がいない場所であっても、正確なセッティングを行うことができる。
【００１６】
また、一つの筐体内に二つの小型カメラ装置が内蔵されていることから、個々に二つカメラ装置を設置する場合と比較して占有するスペースを小さくすることができる。さらに、このようなステレオ画像撮影用カメラは一般に市販されており、安価に入手することができる。
【００１７】
また、三次元形状情報を取得するためのパターンの投影は赤外光で行われるため、被験者は自己の顔面または身体の一部にパターンが投影されていることを認識することなく、顔または身体の一部の画像を撮影することができる。
【００１８】
前記ステレオ画像撮影カメラは、人の顔または身体の一部を上下左右からそれぞれ撮影する位置に１台ずつ合計４台設けられ、前記色情報撮影カメラは、前記人の顔または身体の一部を前記ステレオ画像撮影カメラによって囲まれる四角形の内部から撮影する位置に１台設けられることが望ましい。
【００１９】
あるいは、前記ステレオ画像撮影カメラは、人の顔を上下左右からそれぞれ撮影する位置に１台ずつ合計４台設けられ、前記色情報撮影カメラは、前記人の顔を前記ステレオ画像撮影カメラによって囲まれる四角形の内部から撮影する位置に１台設けられることが望ましい。
【００２０】
このようなカメラのセッティングは、あらかじめ枠体にカメラを組み込んだ状態で、ユーザに提供することもできるし、あるいは、ユーザ自身がセッティングを行ってもよい。ユーザ自身がセッティングを行う場合でも、個々のステレオ画像撮影カメラは、既に一つの筐体内に二つの小型カメラ装置が組み込まれているので、精密なセッティングは不要であり、ユーザの知識不足によるセッティングの失敗を回避することができる。
【００２１】
また、本発明では、複数のステレオ画像撮影カメラにより、被験者の顔または身体の一部を近距離から部分的に撮影するので、一台のステレオ画像撮影カメラにより被験者の顔または身体の一部の全体を遠距離から撮影する場合と比較すると、個々のカメラの解像度を低くすることができる。したがって、画素数が少ないために、三次元形状情報を演算する速度を高速化することができる。例えば、１秒間に３０フレームの撮影が可能であれば、これにより動画像に対応することができる。
【発明の効果】
【００２２】
本発明は、動的に変化する三次元物体の動きや形状の変化をリアルタイムに捉え、同時に表面色も計測し、それらに対してコンピュータグラフィックス（以下ＣＧという）技術を適用して仮想的な画像を作成するシミュレーション装置に利用される。本発明は、化粧あるいは美容シミュレーション装置に利用するために開発されたものであるが、映画やゲームのキャラクター等、捉えられた物体像に種々の画像処理を施して仮想の合成画像を作成する画像処理技術にも適用できる。
【００２３】
また、本発明によれば、小型で簡単かつ低コストな装置を用いて、リアルタイムに動画像による化粧あるいは美容シミュレーションを実施することができる。
【発明を実施するための最良の形態】
【００２４】
本発明実施例の画像処理装置を図１および図２を参照して説明する。図１は本実施例の画像処理装置の全体構成図であり、正面（被験者の後部）から見た図である。図２は本実施例の画像処理装置の全体構成図であり、側面から見た図である。
【００２５】
本実施例の画像処理装置は、三次元物体を撮影し、その形状情報を取得する手段と、三次元物体を撮影し、その色情報を取得する手段と、取得した前記形状情報および前記色情報に基づき、色情報撮影用カメラで取得した画像の画素単位で、各画素に対応する前記三次元物体の位置情報をあわせ持つ画像信号を生成する手段とを備えた画像処理装置であって、図１および図２に示すように、前記形状情報を取得する手段は、撮影対象となる前記三次元物体を異なる角度からそれぞれ撮影する位置に設けられた複数のステレオ画像撮影カメラ１と、このカメラ１毎に設けられたパターン投影装置２とを備え、前記色情報を取得する手段は、撮影対象となる前記三次元物体を当該三次元物体に投影される形状撮影用のパターンの一部あるいは全部が当該三次元物体に投影される全てのパターンについてそのカメラが撮影する画角内で観察可能な任意の位置から撮影する位置に設けられた色情報撮影カメラ３を備え、パターン投影装置２により投影されるパターンは赤外光により投影され、ステレオ画像撮影カメラ１は赤外光を撮影するカメラであり、色情報撮影カメラ３は、可視光を撮影するカメラであることを特徴とする。
【００２６】
（第一実施例）
第一実施例では、前記三次元物体は人の顔である。
【００２７】
ステレオ画像撮影カメラ１は、顔を上下左右からそれぞれ撮影する位置に１台ずつ合計４台設けられ、色情報撮影カメラ３は前記顔を正面から撮影する位置に１台設けられる。
【００２８】
図３はランダムパターンを示す図である。パターン投影装置２により投影されるパターンは、図３に示すランダムパターンである。ステレオ画像撮影カメラ１は、投影されたランダムパターンを内蔵されている二つのカメラで異なる位置から撮影する。演算装置４は、二つのカメラで異なる位置から撮影されたランダムパターンを取り込み、その見え方の相違を解析することよって、顔の立体形状を認識する。すなわち、ランダムパターンのマッチングを解析することにより三次元形状情報を演算することができる。
【００２９】
このとき、４台のステレオ画像撮影カメラ１は、個々にランダムパターンを投影するが、投影タイミングが重なったとしても立体形状認識に支障は無い。あるいは、個々の投影タイミングが重ならないように、演算装置４からの信号によってタイミングをずらす制御を行うことも容易である。
【００３０】
本実施例では、顔を上下左右からそれぞれ撮影することを特徴とする。これは、一つの方向から立体形状を撮影した場合には、遮蔽によって見えない部分が生じるが、顔を上下左右から撮影することにより、遮蔽によって見えない部分を無くすことができるためである。特に、化粧シミュレーションを実施する場合に、被験者の習性として、顔を動かしながら細部にわたり化粧の状態を確認する傾向がある。このときに、上下左右からそれぞれ撮影することは、顎の下部や顔の側面なども撮影することができ、死角を作らないために有効である。
【００３１】
また、高精細な１台のステレオ画像撮影カメラを用いれば、遮蔽によって見えない部分が生じない距離まで顔とカメラ装置とを十分に離して撮影することも可能ではあるが、高精細なステレオ画像撮影カメラは高価であり、また、画素数が多いために、三次元形状の演算処理に時間がかかり、本発明のコストを低くするという目的あるいはリアルタイムに動画像を表示するという目的に適合しない。これに対し、本発明では、顔とステレオ画像撮影カメラ１との距離を近づけることにより、高精細なステレオ画像撮影カメラを必要としない利点が生ずる。また、顔とステレオ画像撮影カメラ１との距離を短くすることにより、設置スペースを小さくすることができる利点も生じる。
【００３２】
次に、本実施例の画像処理装置を用いた化粧シミュレーションの例を図４および図５を参照して説明する。被験者の顔は、複数のステレオ画像撮影カメラ１および色情報撮影カメラ３によって撮影される（Ｓ１）。ステレオ画像撮影カメラ１により撮影された画像は、それぞれ演算装置４に取り込まれ、それぞれのステレオ画像撮影カメラ１毎に、三次元形状情報が生成され、さらに、その複数の三次元形状情報に基づいて被験者の顔の三次元形状情報を生成する。これにより、四台のステレオ画像撮影カメラ１によりそれぞれ取得した三次元形状情報は一つの情報に集約される。このときに、色情報撮影カメラ３の真正面の位置が三次元形状情報の基準点となる。
【００３３】
この三次元形状情報は、画像合成装置６に取り込まれる。また、色情報撮影カメラ３によって撮影された画像は、色情報として画像合成装置６に取り込まれる（Ｓ２）。また、色情報撮影カメラ３によって撮影された画像は、可視光による画像であり、そのまま表示部８に、被験者の顔のシミュレーション開始以前の状態として表示させることができる。さらに、色情報撮影カメラ３によって撮影された画像は、画像合成装置６の内部で、化粧シミュレーションの被験者として認識される。このとき、画像合成装置６は、三次元形状情報に基づき、被験者の顔を立体的に認識することができる。
【００３４】
次に、メモリ７に蓄積された多数の化粧データの中から所望する化粧データを入力装置５の操作により選択し（Ｓ３）、この化粧データを取り込んだ三次元形状情報に基づいて被験者の顔画像に合致するように加工する（Ｓ４）。化粧データとは、口紅やファンデーションなどの色に関するデータである。このように被験者の顔画像に合致するように加工された化粧データは合成され（Ｓ５）、表示部８に表示される（Ｓ６）。
【００３５】
なお、ステレオ画像撮影カメラ１により撮影する画像は、１フレーム分有ればよいので、きわめて短時間に撮影を行うことができる。本実施例で用いたステレオ画像撮影カメラ１の場合には、１秒間に３０フレームの撮影が可能であるから、撮影に要する時間は約１／３０秒である。これに演算装置４による三次元形状情報の演算時間を加えても、ほとんどリアルタイムで被験者の顔画像を処理することができる。また、入力装置５の操作により所望する化粧データを変更しても、ほとんどリアルタイムで被験者の顔画像を処理することができる。
【００３６】
これにより、デパートの化粧品売り場などで、顧客との対話の中でリアルタイムに被験者の顔の動きに応動して化粧シミュレーションを動画像により実施することが可能となり、顔の表情の変化に対応した化粧シミュレーションの表示ができる。
【００３７】
（第二実施例）
第二実施例では、前記三次元物体は人の身体の一部である。例えば、痩身や整形を行うに際し、現状の体型と、痩身あるいは整形が行われた後の体型とを被験者に擬似的に比較させるために利用することができる。例えば、痩身を行うに際し、腹部の現状の体型と痩身後の体型とを被験者に擬似的に比較させることができる。
【００３８】
撮影方法および手順は、第一実施例で説明した顔の撮影方法および手順と同様であり、詳細な説明は省略する。
【００３９】
本実施例の画像処理装置を用いた美容シミュレーションの例を図４および図６を参照して説明する。被験者の身体の一部は、複数のステレオ画像撮影カメラ１および色情報撮影カメラ３によって撮影される（Ｓ１１）。ステレオ画像撮影カメラ１により撮影された画像は、それぞれ演算装置４に取り込まれ、それぞれのステレオ画像撮影カメラ１毎に、三次元形状情報が生成され、さらに、その複数の三次元形状情報に基づいて被験者の身体の一部の三次元形状情報を生成する。これにより、四台のステレオ画像撮影カメラ１によりそれぞれ取得した三次元形状情報は一つの情報に集約される。このときに、色情報撮影カメラ３の真正面の位置が三次元形状情報の基準点となる。
【００４０】
この三次元形状情報は、画像合成装置６に取り込まれる。また、色情報撮影カメラ３によって撮影された画像は、色情報として画像合成装置６に取り込まれる（Ｓ１２）。また、色情報撮影カメラ３によって撮影された画像は、可視光による画像であり、そのまま表示部８に、被験者の身体の一部のシミュレーション開始以前の状態として表示させることができる。さらに、色情報撮影カメラ３によって撮影された画像は、画像合成装置６の内部で、美容シミュレーションの被験者として認識される。このとき、画像合成装置６は、三次元形状情報に基づき、被験者の身体の一部を立体的に認識することができる。
【００４１】
次に、メモリ７に蓄積された多数の整形データの中から所望する体型データを入力装置５の操作により選択し（Ｓ１３）、取り込んだ身体の画像データと形状データとの整合がはかられるように加工する（Ｓ１４）。体型データとは、骨格や人体組織の変形など形状に関するデータである。このように被験者の身体の一部の画像に合致するように加工された身体の画像データは合成され（Ｓ１５）、表示部８に表示される（Ｓ１６）。
【００４２】
なお、ステレオ画像撮影カメラ１により撮影する画像は、１フレーム分有ればよいので、きわめて短時間に撮影を行うことができる。本実施例で用いたステレオ画像撮影カメラ１の場合には、１秒間に３０フレームの撮影が可能であるから、撮影に要する時間は約１／３０秒である。これに演算装置４による三次元形状情報の演算時間を加えても、ほとんどリアルタイムで被験者の身体の一部の画像を処理することができる。また、入力装置５の操作により所望する体型データを変更しても、ほとんどリアルタイムに被験者の身体の一部の画像を処理することができる。
【００４３】
これにより、エステティックサロンなどで、顧客との対話の中でリアルタイムに被験者の身体の一部の動きに応動して美容シミュレーションを動画像により実施することが可能となり、身体の一部の変化に対応した美容シミュレーションの表示ができる。
【産業上の利用可能性】
【００４４】
本発明によれば、小型で簡単かつ低コストな装置を用いてリアルタイムに動画像による化粧あるいは美容シミュレーションを実施することができるので、デパートの化粧品売り場あるいはエステティックサロンのような狭小なスペースに適する。また、多数の販売拠点を設ける場合でも、各拠点に化粧あるいは美容シミュレーションシステムを設置した場合のコストを安価にすることができる。また、リアルタイムで化粧あるいは美容シミュレーションを実施できることから、顧客との対話の中で自然に化粧あるいは美容シミュレーションを行うことができる。
【図面の簡単な説明】
【００４５】
【図１】本実施例の画像処理装置の正面図。
【図２】本実施例の画像処理装置の側面図。
【図３】ランダムパターンを示す図。
【図４】第一実施例の化粧シミュレーションシステムの全体構成図。
【図５】第一実施例の化粧シミュレーションの手順を示すフローチャート。
【図６】第二実施例の美容シミュレーションの手順を示すフローチャート。
【符号の説明】
【００４６】
１  ステレオ画像撮影カメラ
２  パターン投影装置
３  色情報撮影カメラ
４  演算装置
５  入力装置
６  画像合成装置
７  メモリ
８  表示部
【図１】
2005284775.tif 000003
【図２】
2005284775.tif 000004
【図３】
2005284775.tif 000005
【図４】
2005284775.tif 000006
【図５】
2005284775.tif 000007
【図６】
2005284775.tif 000008