(57)【要約】【課題】  ユーザに対象物体の質感、光沢感、立体感などをよりリアルに伝えることが可能な三次元画像処理装置を提供することを目的とするものである。【解決手段】  実在物体の三次元情報を入力する三次元画像処理方法において、対象物体の表面から見て二次元の広がりを持つ輝度分布を有しかつ三次元形状取得と表面属性取得に共通して用いられる明暗パターンを対象物体に投影する第１のステップと、対象物体を随時回転させる第2のステップと、対象物体から形状および表面属性を取得するために共通に用いられる実測データを入力する第3のステップと、この実測データに基づいて対象物体の形状および表面属性に関する三次元統合データを生成し出力する第4のステップとを有することを特徴とする、三次元画像処理方法等、を提供する。【選択図】  図１
2006146342.tif 000002
【特許請求の範囲】
【請求項１】
実在物体の三次元情報を処理する三次元画像処理方法において、
対象物体の表面から見て二次元の広がりを持つ輝度分布を有しかつ三次元形状取得と表面属性取得に共通して用いられる明暗パターンを対象物体に投影する第１のステップと、
対象物体を随時回転させる第２のステップと、
対象物体から形状および表面属性を取得するために共通に用いられる実測データを入力する第３のステップと、
この実測データに基づいて対象物体の形状および表面属性に関する三次元統合データを生成し出力する第４のステップと、
を有することを特徴とする三次元画像処理方法。
【請求項２】
実在物体の三次元情報を処理する三次元画像処理方法において、
対象物体の表面から見て二次元の広がりを持つ輝度分布を有しかつ三次元形状取得と表面属性取得に共通して用いられる明暗パターンを対象物体に投影する第１のステップと、
前記明暗パターンを対象物体の回転軸に平行に随時移動させる第２のステップと、
対象物体を前記回転軸まわりに随時回転させる第３のステップと、
対象物体から形状および表面属性を取得するために共通に用いられる実測データを入力する第４のステップと、
この実測データに基づいて対象物体の形状および表面属性に関する三次元統合データを生成し出力する第５のステップと、
を有することを特徴とする三次元画像処理方法。
【請求項３】
前記第１のステップで投影する明暗パターンは、対象物体の回転軸に垂直でない明暗のエッジを１本のみ有する第１のパターンと、第１のパターンの明暗を反転した第２のパターンの二つのパターンであることを特徴とする請求項１又は２に記載の三次元画像処理方法。
【請求項４】
前記第１のステップで投影する明暗パターンは、対象物体の回転軸に垂直でない明暗のエッジを2本有する第１のパターンと、第１のパターンの明暗を反転した第2のパターンの二つのパターンであることを特徴とする請求項１又は２に記載の三次元画像処理方法。
【請求項５】
前記第１のステップで投影する明暗パターンは、明部の輝度分布がガウス関数で近似されていることを特徴とする請求項１乃至４のいずれか１項に記載の三次元画像処理方法。
【請求項６】
コンピュータに三次元画像処理を行わせるための三次元画像処理プログラムであって、
コンピュータに、
対象物体の表面から見て二次元の広がりを持つ輝度分布を有しかつ三次元形状取得と表面属性取得に共通して用いられる明暗パターンを対象物体に投影する第１の手順と、
対象物体を随時回転させる第２の手順と、
対象物体から形状および表面属性を取得するために共通に用いられる実測データを入力する第３の手順と、
この実測データに基づいて対象物体の形状および表面属性に関する三次元統合データを生成し出力する第４の手順と、
を実行させることを特徴とする三次元画像処理プログラム。
【請求項７】
コンピュータに三次元画像処理を行わせるための三次元画像処理プログラムであって、
コンピュータに、
対象物体の表面から見て二次元の広がりを持つ輝度分布を有しかつ三次元形状取得と表面属性取得に共通して用いられる明暗パターンを対象物体に投影する第１の手順と、
前記明暗パターンを対象物体の回転軸に平行に随時移動させる第２の手順と、
対象物体を前記回転軸まわりに随時回転させる第３の手順と、
対象物体から形状および表面属性を取得するために共通に用いられる実測データを入力する第４の手順と、
この実測データに基づいて対象物体の形状および表面属性に関する三次元統合データを生成し出力する第５の手順と、
を実行させることを特徴とする三次元画像処理プログラム。
【請求項８】
前記第１の手順で投影する明暗パターンは、対象物体の回転軸に垂直でない明暗のエッジを１本のみ有する第１のパターンと、第１のパターンの明暗を反転した第２のパターンの二つのパターンであることを特徴とする請求項６又は７に記載の三次元画像処理プログラム。
【請求項９】
前記第１の手順で投影する明暗パターンは、対象物体の回転軸に垂直でない明暗のエッジを２本有する第１のパターンと、第１のパターンの明暗を反転した第２のパターンの二つのパターンであることを特徴とする請求項６又は７に記載の三次元画像処理プログラム。
【請求項１０】
前記第１の手順で投影する明暗パターンは、明部の輝度分布がガウス関数で近似されていることを特徴とする請求項６乃至９のいずれか１項に記載の三次元画像処理プログラム。
【請求項１１】
実在物体の三次元情報を処理する三次元画像処理装置において、
対象物体の表面から見て二次元の広がりを持つ輝度分布を有しかつ三次元形状取得と表面属性取得に共通して用いられる明暗パターンを対象物体に投影する手段と、
対象物体を随時回転させる手段と、
対象物体から形状および表面属性を取得するために共通に用いられる実測データを入力する手段と、
この実測データに基づいて対象物体の形状および表面属性に関する三次元統合データを生成し出力する手段と、
を有することを特徴とする三次元画像処理装置。
【請求項１２】
実在物体の三次元情報を処理する三次元画像処理装置において、
対象物体の表面から見て二次元の広がりを持つ輝度分布を有しかつ三次元形状取得と表面属性取得に共通して用いられる明暗パターンを対象物体に投影する手段と、
前記明暗パターンを対象物体の回転軸に平行に随時移動させる手段と、
対象物体を前記回転軸まわりに随時回転させる手段と、
対象物体から形状および表面属性を取得するために共通に用いられる実測データを入力する手段と、
この実測データに基づいて対象物体の形状および表面属性に関する三次元統合データを生成し出力する手段と、
を有することを特徴とする三次元画像処理装置。
【請求項１３】
前記明暗パターンは、対象物体の回転軸に垂直でない明暗のエッジを１本のみ有する第１のパターンと、第１のパターンの明暗を反転した第２のパターンの二つのパターンであることを特徴とする請求項１１又は１２に記載の三次元画像処理装置。
【請求項１４】
前記明暗パターンは、対象物体の回転軸に垂直でない明暗のエッジを２本有する第１のパターンと、第１のパターンの明暗を反転した第２のパターンの二つのパターンであることを特徴とする請求項１１又は１２に記載の三次元画像処理装置。
【請求項１５】
前記明暗パターンは、明部の輝度分布がガウス関数で近似されていることを特徴とする請求項１１乃至１４のいずれか１項に記載の三次元画像処理装置。
【請求項１６】
任意環境画像生成部、操作部、画像出力部を備え、取り込まれた三次元統合データを画像処理して任意の環境における画像を生成し、画像出力装置に表示又は印刷出力する三次元画像処理装置と、
請求項１１乃至１５のいずれか１項に記載の三次元画像処理装置と、
を有することを特徴とする三次元画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象となる実物体の形状、色、質感などをよりリアルに三次元画像として表示する三次元画像処理に関する。
【背景技術】
【０００２】
実在する物体の三次元情報（形状、表面属性）を入力する画像処理装置として、接触型の位置センサを利用した方法が知られている。この方法は、探針を物体の各点に接触させ、探針の三次元位置座標を位置センサにより検出し、物体の各点の三次元位置情報を入力する方法である。
【０００３】
但し、この接触型の位置センサを用いる方法では、探針を物体の各点に接触させる必要があるため、対象となる物体としては、ある程度の強度を持つ物体に限られ、また計測にある程度の時間を要する等の制限がある。
【０００４】
また、非接触型の三次元計測装置も知られている。この非接触型は、接触型に比べて高速の計測が可能であることから、ＣＧシステムやＣＡＤシステムへのデータ入力、身体計測、ロボットの視覚認識などに利用されている。
【０００５】
非接触の三次元計測の方法としては、スリット光投影法（光切断法ともいう）またはパターン投影法が知られている。これらの方法は、特定の参照光（検出光ともいう）を計測対象に照射し、三角測定の原理で距離画像（三次元画像データ、三次元データ、または三次元形状データともいう）を得る能動的計測方法の一種である。
【０００６】
また、スリット光投影法では、スリット光を照射しかつ偏向することによって計測対象を走査する。パターン投影法では、複数の２次元パターン光を順次照射する。得られた距離画像は、計測対象上の複数部位の三次元位置を示す画素の集合である。
【０００７】
このような三次元計測装置には、計測対象物体の距離画像を得るための距離計測光学系と、対象物体表面のテクスチャ情報を取得するためのカラー光学系（モニタ光学系ともいう）とが設けられる。距離計測光学系には、計測対象物体に参照光を照射する投光部、参照光の計測対象物体による反射光を受光する受光センサなどが含まれる。そして、受光センサからの出力などに基づいて、三次元形状データが演算により求められる。
【０００８】
カラー光学系には、同じ計測対象物体のカラー画像（モニタ画像、２次元画像、２次元データ、または２次元画像データともいう）を撮像する撮像センサなどが含まれる。カラー光学系により得られるカラー画像は、対象物体表面のテクスチャ情報を取得するために用いられる他、距離計測光学系による計測を開始する際に、距離計測により得られる距離画像の範囲を予め確認するために用いられ、さらには、得られた距離画像を修正する際に、その修正箇所の特定のために用いられる。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来技術における三次元画像処理装置においては、対象物体の質感や光沢感を再現することは、考慮されていなかった。そのため、撮影環境と再現環境とで照明器具の形状、位置、色が異なった場合などは、対象物体における鏡面反射の状態が変化してしまい、見た目にも大きく変わってしまうため、従来技術の三次元画像処理装置を用いた場合では、対象物体の質感や光沢感までを正確に伝えることは困難であった。
【００１０】
そこで、本発明は、対象となる実物体の形状・テクスチャ・色だけでなく、再現時の観察環境、すなわち、照明光の形状・位置・方向・色、ユーザの位置・方向を考慮し、かつ対象物体を自由に移動および回転することを可能にすることにより、ユーザに対象物体の質感、光沢感、立体感などをよりリアルに伝えることが可能な三次元画像処理装置を提供することを目的としている。
【００１１】
さらに、三次元形状取得と表面属性取得に用いる照明光源を共通化することで、装置をより簡単な構成で実現することを目的としている。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために本発明は、実在物体の三次元情報を入力する三次元画像処理方法において、対象物体の表面から見て二次元の広がりを持つ輝度分布を有しかつ三次元形状取得と表面属性取得に共通して用いられる明暗パターンを対象物体に投影する第１のステップと、対象物体を随時回転させる第2のステップと、対象物体から形状および表面属性を取得するために共通に用いられる実測データを入力する第3のステップと、この実測データに基づいて対象物体の形状および表面属性に関する三次元統合データを生成し出力する第4のステップとを有することを特徴とする、三次元画像処理方法等、を提供する。
【発明の効果】
【００１３】
本発明の三次元画像処理装置によると、対象物体の三次元形状および表面属性を取得し、三次元統合データとして統合し、ユーザが設定した観察環境下での対象物体の画像を再構築、提示することで、ユーザに対象物体の質感、光沢感、立体感などをよりリアルに伝えることが可能となる。また、三次元形状取得と表面属性取得に用いる照明光源を共通化することで、装置をより簡単な構成で実現することが可能となる。また、ポジ／ネガ一対のパターンを用いることにより、投影パターンのエッジをより正確に抽出することが可能となり、対象物体の三次元形状取得の精度を向上させることができ、よりリアリティの高い物体描画が可能となる。
【００１４】
さらに、対象物体の三次元形状データを作成する際に２本のエッジを有するポジ／ネガ一対のパターンを用いることにより、対象物体のオクルージョンの影響で注目画素が入力画像に写らない問題や投影パターンが影になり対象物体表面の注目画素まで届かない問題を軽減することが可能となり、対象物体の三次元形状取得の精度を向上させることができ、よりリアリティの高い物体描画が可能となる。
【００１５】
さらに、対象物回転装置の各回転角においてパターン投影装置を複数位置に移動させて画像入力を行うことにより、注目画素に対してより多くの照明環境下でのデータを取得することが可能となり、対象物体の表面属性取得の精度を向上させることができ、よりリアリティの高い物体描画が可能となる。
【発明を実施するための最良の形態】
【００１６】
（第１の実施例）
図１は、本実施例の構成を示す概略構成図である。本発明の三次元画像処理装置は、取り込まれた対象物体を再現する際に、観察に用いる照明環境を任意に設定し、かつ対象物体の位置および向きを観察空間内で自由に変更することで、所望の観察環境下での対象物体の画像を表示および印刷出力する装置である。構成として、対象物体を照明するパターン投影部４と、パターンを投影された対象物の画像を入力する画像入力部６と、対象物体を回転させる対象物回転部８と、パターン投影部４、画像入力部６、対象物回転部８を制御するための制御部２と、画像入力部６により得られた画像列と制御部２により設定された入力環境パラメータを用いて対象物体の三次元形状を取得する三次元形状取得部３と、画像入力部６により得られた画像列と制御部２により設定された入力環境パラメータと三次元形状取得部３により作成された三次元形状データを用いて対象物体の色・光沢・質感などを取得する表面属性取得部１と、これらの三次元データを統合する三次元データ統合部５と、画像再現時の観察環境を設定する操作部９と、三次元統合データおよび再現時の観察環境データに基づき対象物体の画像を再構築する任意環境画像生成部７と、表示および印刷出力する画像出力部１１とで構成される。
【００１７】
パターン投影部４は、対象物体の三次元形状取得と表面属性取得に用いる画像列を入力する際に使用する照明であり、対象物体に対してポジ／ネガ一対の特殊なパターンを切替えて照射する。
【００１８】
画像入力部６は、光像を画像データに光電変換して入力する、ディジタルスチルカメラ、ビデオカメラ、マルチスペクトルカメラなどの画像入力装置から成り、パターン投影部４により照明された対象物体の一対の画像を入力する。
【００１９】
対象物回転部８は、対象物体を回転軸まわりに単位ステップ刻みで回転させ、パターン投影部４、画像入力部６は、各回転角において、随時、パターン照射、画像入力を行っていく。
【００２０】
パターン投影部４、画像入力部６、対象物回転部８は、制御部２によって制御される。
【００２１】
三次元形状取得部３は、画像入力部６によって入力された回転刻み数分の画像対列と、制御部２から得られる画像入力時の環境パラメータ（パターン投影部、画像入力部、対象物回転部の位置、パターン、回転角など）を用いて、対象物の三次元立体形状モデルを生成する。ここで、三次元立体形状モデルとしては、たとえばポリゴンによる表面モデル、あるいは異なる形状の表面形状要素の集合として表現することができる。
【００２２】
表面属性取得部１は、画像入力部６によって入力された回転刻み数分の画像対列のうちパターンの明部が投影されている領域と、制御部２から得られる画像入力時の環境パラメータ（パターン投影部、画像入力部、対象物回転部の位置、パターン、回転角など）と、三次元形状取得部３により生成された三次元立体形状モデルを用いて、対象物体の色・光沢・質感にかかわる表面属性パラメータを推定し、表面属性データを生成する。表面属性データにより、再現時の対象物体・照明光源・視点の位置関係や照明光源の色・形状といった観察環境に応じて、再現画像における鏡面反射の位置・広がり・形状・強度などを変化させることが可能となり、対象物体の質感、光沢感、立体感などをよりリアルに表現することができる。
【００２３】
三次元データ統合部５は、三次元形状取得部３により得られた三次元立体形状モデルと、表面属性取得部１により得られた表面属性データとを統合し、対象物体の三次元統合データを作成する。
【００２４】
ユーザは、操作部９により所望の照明条件・対象物体の位置や向きなどの観察環境の設定を行う。
【００２５】
任意環境画像生成部７は、操作部９により設定された観察環境データに従い、ユーザが所望する観察環境下での対象物体の画像を再構築する。
【００２６】
画像出力部１１は、ＴＶモニタやプリンタなどからなり、任意環境画像生成部７により再構築された画像の表示や印刷出力を行う。
【００２７】
図２は、本実施例の三次元形状取得および表面属性取得における装置の概略図である。対象物体５１は、コンピュータ制御可能な対象物回転装置５５の上に配置され、コンピュータ５９から指令された角度で連続的に回転軸５６を中心として回転する。測定環境における回転軸５６の位置は既知とする。
【００２８】
パターン投影装置５７は、対象物体の三次元形状取得と表面属性取得に用いる画像列を入力する際に使用する照明であり、コンピュータ５９からの指令により、対象物体に対してポジ／ネガ一対の特殊なパターンを切替えて照射する。
【００２９】
画像入力装置５３は、対象物体５１から離れた位置に配置され、コンピュータ５９からの指令により、画像データ入力を行うことができる。
【００３０】
コンピュータ５９は、対象物回転装置５５、パターン投影装置５７に対して指令を送り測定環境を確定した後に、画像入力装置５３に対し指令を送り画像入力を行う。さらに、この実測データから三次元形状および表面属性の取得を行い、三次元統合データを作成する。
【００３１】
次に制御部２の構成を図４を用いて説明する。制御部２は、パターン投影部４、画像入力部６、対象物回転部８の制御を行い、その際の入力環境パラメータを表面属性取得部１、三次元形状取得部３へと送る。図において、対象物回転部制御部７７は、対象物回転部８の回転角度を連続的に制御する。パターン投影部制御部７８は、パターン投影部４に対して、ポジ／ネガパターンの切替え制御を行う。画像入力部制御部７６は、対象物回転部８の回転、パターン投影部４のポジ／ネガパターン切替えを行うたびに、随時画像データの入力を行う。
【００３２】
次に表面属性取得部１の構成を図３を用いて説明する。表面属性取得部１は、実測データ、入力環境パラメータおよび三次元形状データを用いて、対象物体の色・光沢・質感にかかわる表面属性パラメータを推定し、表面属性データを生成する。図において、実測データ取捨選択部４１は、入力された実測データのうち、パターンの暗部が投影されている領域のデータや、入力環境パラメータの情報に基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により情報が欠如したり誤差を大きく含むデータを除去し、実測データの取捨選択を行う。拡散反射領域抽出部４３は、選別された実測データの中から拡散反射成分のみのデータを抽出する。鏡面反射成分分離部４５は、鏡面反射成分を含んだデータから、鏡面反射成分を分離する。推定処理の流れについては後で詳しく述べる。
【００３３】
次にパターン投影部４によって照射されるポジ／ネガ一対の特殊なパターンについて図７を用いて説明する。図において、１ラインポジパターン照明光３１は、対象物体の表面から見て二次元の広がりを持つ輝度分布を有する明暗パターンである。また、測定環境において明部の輝度分布は既知であり、例えばガウス関数で近似される輝度分布を有する。１ラインネガパターン照明光３３は、１ラインポジパターン照明光３１の明暗を反転した輝度分布を有するパターンである。さらに、１ラインポジパターン照明光３１を照射して得られる入力画像と、１ラインネガパターン照明光３３を照射して得られる入力画像とを比較することで、１ラインパターン照明光エッジ３４が明確に検出できるようになっている。パターン投影部４は、対象物体に対して、１ラインポジパターン照明光３１と１ラインネガパターン照明光３３を切替えて照射し、その都度、画像入力部６により対象物の画像データが取り込まれる。
【００３４】
次に本実施例の三次元画像処理装置において、実測から三次元統合データ作成までの処理について、図２の装置概略図および図６のフローチャートを参照しながら説明する。まず、パターン投影装置５７による照射パターンをポジパターン照明光に設定し、画像入力装置５３により画像データを入力する（ステップＳ１）。続いて、パターン投影装置５７による照射パターンをネガパターン照明光に切替え、画像入力装置５３により画像データを入力する（ステップＳ３）。対象物回転装置５５を１ステップ回転させ（ステップＳ５）、ステップＳ１及びステップＳ３を繰り返し、画像データ入力を行う。対象物回転装置５５を１回転させて対象物の全周の画像データ入力が終了すると（ステップＳ６）、まず、三次元形状取得処理を行う。対象物回転装置５５の各回転角におけるポジ画像とネガ画像を比較処理することにより、入力画像における投影パターンのエッジを抽出する（ステップＳ７）。この処理を対象物回転装置５５の全ての回転角におけるポジ／ネガ画像組に対して行う（ステップＳ９）。つぎに入力環境パラメータ、得られた入力画像上のエッジから対象物体の三次元形状データを作成する（ステップＳ１０）。入力環境パラメータには、実測を行った対象物回転装置５５の回転角、画像入力装置５３の位置、パターン投影装置５７の位置およびポジ／ネガ各パターンの輝度分布が記述されている。
【００３５】
続いて、表面属性推定処理を行う。ここでは、物体表面における反射光は、拡散反射成分と鏡面反射成分の二つに分けられるという２色性反射モデルの特徴を利用する。これにより、複数の環境下で実測した実測データのうちパターンの明部が投影されている領域のデータにおける各頂点の対応点の輝度・色の変化を解析することで、それぞれの頂点における表面属性を推定することができる。まず、入力した実測データのうち、パターンの暗部が投影されている領域のデータや、入力環境パラメータの情報および前ステップで作成された三次元形状データに基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により、情報が欠如したり誤差を大きく含むデータを除去し、実測データの取捨選択を行う（ステップＳ１１）。続いて、選別された実測データのみを用いて、拡散反射成分のみのデータを抽出する（ステップＳ１２）。抽出されたデータから、表面属性パラメータのうち物体色に関するパラメータの推定を行う（ステップＳ１４）。続いて、鏡面反射成分を含んだデータから、鏡面反射成分を分離し（ステップＳ１５）、表面属性パラメータのうち反射特性に関するパラメータの推定を行う（ステップＳ１６）。以上の処理を各頂点ごとに行うことで各頂点における表面属性パラメータを推定し、対象物体表面全体の推定を行う。
【００３６】
対象物体表面全体の推定が終了した時点で（ステップＳ１７）、三次元統合データが作成されている（ステップＳ１９）。ここでは、対象物体表面の構成単位を頂点として説明したが、頂点の代わりに微小面を用いることも可能である。なお、２次元の広がりを持つ輝度分布を有する光源を照射した場合の表面属性推定についての詳細は、ＩＰシリアルＮｏ．１７３３５０９に示す通りである。
【００３７】
図９は、三次元データ統合部５によって作成される三次元統合データの一例を示す図である。１頂点の三次元座標および物体色情報や反射特性情報などの表面属性パラメータを格納する構造を要素とし、この要素を頂点の数分だけ用意した構造となっている。三次元統合情報として新たな頂点が生成、追加されるたびに、三次元統合データの要素数は拡大されていく。ここで、構成要素として頂点の代わりに微小面を用いることもできる。この場合、微小面の三次元位置情報および表面属性情報を格納する構造を要素とし、この要素を微小面の数分だけ用意した構造となっている。要素となる微小面は、近傍の頂点あるいは微小面のうち、表面属性情報が類似しているものを統合していくことで生成される。微小面の三次元位置情報は、たとえば、三角形の３頂点の座標および法線ベクトルで表現される。微小面の表面属性情報は、物体色情報および反射特性情報から構成されており、パラメータ形式、あるいは微小面に対応する画像形式で表現される。三次元統合情報として新たな微小面が生成、追加されるたびに、三次元統合データの要素数は拡大されていく。
【００３８】
以上のような三次元統合データは、三次元形状取得および表面属性取得実行中は、装置のメモリ上に置かれ、三次元形状取得および表面属性取得が終了すると、ハードディスクなどの記憶媒体に保存される。
【００３９】
次に操作部９の構成を図５を用いて説明する。操作部９は、ユーザの入力操作により、所望の照明条件・対象物体の位置や向きなどの観察環境データを作成する。図において、照明光源設定部８１は、再現時に対象物体に照射する照明光の色、輝度、位置、形状（点光源、線光源、面光源、平行光など）、個数を設定する。対象物体配置設定部８３は、対象物体に対して上下、左右、手前奥の三次元的な移動、および任意の軸を中心とした回転を設定する。これらの設定値をもとに再現時に用いる観察環境データを作成する。
【００４０】
次に本実施例の三次元画像処理装置において、ユーザが所望する観察環境下での対象物体の画像を再現するための、操作部および任意環境画像生成・提示について、図１０を参照しながら説明する。ユーザは、照明光源設定部９７により、対象物体に照射する照明光の色、輝度、位置、形状（点光源、線光源、面光源、平行光など）を設定する。ここで、複数の照明光源を設定することができるようになっている。これにより、観察空間において任意の色、輝度、形状をもつ、一つまたは複数の照明光源を９３に示すように任意の位置に配置することができる。さらに、ユーザは、対象物体配置設定部９５により、対象物体に対して上下、左右、手前奥の三次元的な移動、および任意の軸を中心とした回転を設定する。これにより、観察空間において、対象物体を９１に示すように任意の方向に移動、回転させることができ、対象物体を所望する方向から観察することができる。任意環境画像生成部７は、照明光源設定部９７および対象物体配置設定部９５により設定された観察環境データに従い、ユーザが所望する観察環境下での対象物体の画像を再構築し、提示する。ユーザが設定する対象物体・照明光源・視点の位置関係や照明光源の色・輝度・形状といった観察環境に応じて、再現画像における鏡面反射の位置・広がり・形状・強度などを変化させることができるので、対象物体の質感、光沢感、立体感などをよりリアルに表現することが可能となる。
【００４１】
以上述べたように、対象物体の三次元形状および表面属性を取得し、三次元統合データとして統合し、ユーザが設定した観察環境下での対象物体の画像を再構築、提示することで、ユーザに対象物体の質感、光沢感、立体感などをよりリアルに伝えることが可能となる。また、三次元形状取得と表面属性取得に用いる照明光源を共通化することで、装置をより簡単な構成で実現することが可能となる。また、ポジ／ネガ一対のパターンを用いることにより、投影パターンのエッジをより正確に抽出することが可能となり、対象物体の三次元形状取得の精度を向上させることができ、よりリアリティの高い物体描画が可能となる。
【００４２】
（第２の実施例）
本実施例では、第１の実施例におけるパターン投影部４により照射されるポジ／ネガ一対の特殊なパターンを以下のように置き換える。三次元画像処理装置の構成などは、第１の実施例と同様である。
【００４３】
本実施例における、パターン投影部４によって照射されるポジ／ネガ一対の特殊なパターンについて図８を用いて説明する。図において、２ラインポジパターン照明光３５は、対象物体の表面から見て二次元の広がりを持つ輝度分布を有する明暗パターンである。また、測定環境において明部の輝度分布は既知であり、例えばガウス関数で近似される輝度分布を有する。２ラインネガパターン照明光３７は、２ラインポジパターン照明光３５の明暗を反転した輝度分布を有するパターンである。さらに、２ラインポジパターン照明光３５を照射して得られる入力画像と、２ラインネガパターン照明光３７を照射して得られる入力画像とを比較することで、２ラインパターン照明光第１エッジ３８および２ラインパターン照明光第２エッジが明確に検出できるようになっている。パターン投影部４は、対象物体に対して、２ラインポジパターン照明光３５と２ラインネガパターン照明光３７を切替えて照射し、その都度、画像入力部６により対象物の画像データが取り込まれる。
【００４４】
次に本実施例の三次元画像処理装置において、実測から三次元統合データ作成までの処理について、図２の装置概略図および図６のフローチャートを参照しながら説明する。まず、パターン投影装置５７による照射パターンを２ラインポジパターン照明光に設定し、画像入力装置５３により画像データを入力する（ステップＳ１）。続いて、パターン投影装置５７による照射パターンを２ラインネガパターン照明光に切替え、画像入力装置５３により画像データを入力する（ステップＳ３）。対象物回転装置５５を１ステップ回転させ（ステップＳ５）、ステップＳ１及びステップＳ３を繰り返し、画像データ入力を行う。対象物回転装置５５を１回転させて対象物の全周の画像データ入力が終了すると（ステップＳ６）、まず、三次元形状取得処理を行う。対象物回転装置５５の各回転角におけるポジ画像とネガ画像を比較処理することにより、入力画像における投影パターンの第１エッジおよび第２エッジを抽出する（ステップＳ７）。ここで、投影パターンの第１エッジと第２エッジは、入力画像の走査線上で明から暗に変化するエッジなのか、それとも暗から明に変化するエッジなのかによって区別することができる。この処理を対象物回転装置５５の全ての回転角におけるポジ／ネガ画像組に対して行う（ステップＳ９）。つぎに入力環境パラメータ、得られた入力画像上の第１エッジおよび第２エッジから対象物体の三次元形状データを作成する（ステップＳ１０）。入力環境パラメータには、実測を行った対象物回転装置５５の回転角、画像入力装置５３の位置、パターン投影装置５７の位置およびポジ／ネガ各パターンの輝度分布が記述されている。本実施例では、対象物体の三次元形状データを作成する際に２本のエッジを用いることにより、注目画素と画像入力装置５３との位置関係が２通り存在するため対象物体のオクルージョンの影響で注目画素が入力画像に写らない問題を軽減することができ、さらに注目画素とパターン投影装置５７による投影パターンエッジとの位置関係が２通り存在するため投影パターンが影になり対象物体表面の注目画素まで届かない問題を軽減することができる。
【００４５】
続いて、表面属性推定処理を行う。ここでは、物体表面における反射光は、拡散反射成分と鏡面反射成分の二つに分けられるという２色性反射モデルの特徴を利用する。これにより、複数の環境下で実測した実測データのうちパターンの明部が投影されている領域のデータにおける各頂点の対応点の輝度・色の変化を解析することで、それぞれの頂点における表面属性を推定することができる。まず、入力した実測データのうち、パターンの暗部が投影されている領域のデータや、入力環境パラメータの情報および前ステップで作成された三次元形状データに基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により、情報が欠如したり誤差を大きく含むデータを除去し、実測データの取捨選択を行う（ステップＳ１１）。続いて、選別された実測データのみを用いて、拡散反射成分のみのデータを抽出する（ステップＳ１２）。抽出されたデータから、表面属性パラメータのうち物体色に関するパラメータの推定を行う（ステップＳ１４）。続いて、鏡面反射成分を含んだデータから、鏡面反射成分を分離し（ステップＳ１５）、表面属性パラメータのうち反射特性に関するパラメータの推定を行う（ステップＳ１６）。以上の処理を各頂点ごとに行うことで各頂点における表面属性パラメータを推定し、対象物体表面全体の推定を行う。対象物体表面全体の推定が終了した時点で（ステップＳ１７）、三次元統合データが作成されている（ステップＳ１９）。ここでは、対象物体表面の構成単位を頂点として説明したが、頂点の代わりに微小面を用いることも可能である。なお、２次元の広がりを持つ輝度分布を有する光源を照射した場合の表面属性推定についての詳細は、ＩＰシリアルＮｏ．１７３３５０９に示す通りである。
【００４６】
以上述べたように、対象物体の三次元形状データを作成する際に２本のエッジを有するポジ／ネガ一対のパターンを用いることにより、対象物体のオクルージョンの影響で注目画素が入力画像に写らない問題や投影パターンが影になり対象物体表面の注目画素まで届かない問題を軽減することが可能となり、対象物体の三次元形状取得の精度を向上させることができ、よりリアリティの高い物体描画が可能となる。
【００４７】
（第３の実施例）
図１１は、本実施例の構成を示す概略構成図である。本発明の三次元画像処理装置は、取り込まれた対象物体を再現する際に、観察に用いる照明環境を任意に設定し、かつ対象物体の位置および向きを観察空間内で自由に変更することで、所望の観察環境下での対象物体の画像を表示および印刷出力する装置である。構成として、位置を変えながら対象物体を照明する可動パターン投影部１０と、パターンを投影された対象物の画像を入力する画像入力部６と、対象物体を回転させる対象物回転部８と、可動パターン投影部１０、画像入力部６、対象物回転部８を制御するための制御部１２と、画像入力部６により得られた画像列と制御部１２により設定された入力環境パラメータを用いて対象物体の三次元形状を取得する三次元形状取得部３と、画像入力部６により得られた画像列と制御部１２により設定された入力環境パラメータと三次元形状取得部３により作成された三次元形状データを用いて対象物体の色・光沢・質感などを取得する表面属性取得部１と、これらの三次元データを統合する三次元データ統合部５と、画像再現時の観察環境を設定する操作部９と、三次元統合データおよび再現時の観察環境データに基づき対象物体の画像を再構築する任意環境画像生成部７と、表示および印刷出力する画像出力部１１とで構成される。
【００４８】
可動パターン投影部１０は、対象物体の三次元形状取得と表面属性取得に用いる画像列を入力する際に使用する照明であり、対象物体の回転軸に平行に移動可能であり、対象物体に対してポジ／ネガ一対の特殊なパターンを切替えて照射する。
【００４９】
画像入力部６は、光像を画像データに光電変換して入力する、ディジタルスチルカメラ、ビデオカメラ、マルチスペクトルカメラなどの画像入力装置から成り、可動パターン投影部１０により照明された対象物体の一対の画像を入力する。
【００５０】
対象物回転部８は、対象物体を回転軸まわりに単位ステップ刻みで回転させ、各回転角において、可動パターン投影部１０は移動を繰り返す。対象物回転部８の各回転角、可動パターン投影部１０の各位置において、可動パターン投影部１０、画像入力部６は、随時、パターン照射、画像入力を行っていく。
【００５１】
可動パターン投影部１０、画像入力部６、対象物回転部８は、制御部１２によって制御される。
【００５２】
三次元形状取得部３は、画像入力部６によって入力された対象物回転部８の回転刻み数分の画像対列と、制御部１２から得られる画像入力時の環境パラメータ（可動パターン投影部、画像入力部、対象物回転部の位置、パターン、回転角など）を用いて、対象物の三次元立体形状モデルを生成する。ここで、三次元立体形状モデルとしては、たとえばポリゴンによる表面モデル、あるいは異なる形状の表面形状要素の集合として表現することができる。
【００５３】
表面属性取得部１は、画像入力部６によって入力された「対象物回転部８の回転刻み数」×「可動パターン投影部１０の移動数」分の画像対列のうちパターンの明部が投影されている領域と、制御部１２から得られる画像入力時の環境パラメータ（可動パターン投影部、画像入力部、対象物回転部の位置、パターン、回転角など）と、三次元形状取得部３により生成された三次元立体形状モデルを用いて、対象物体の色・光沢・質感にかかわる表面属性パラメータを推定し、表面属性データを生成する。表面属性データにより、再現時の対象物体・照明光源・視点の位置関係や照明光源の色・形状といった観察環境に応じて、再現画像における鏡面反射の位置・広がり・形状・強度などを変化させることが可能となり、対象物体の質感、光沢感、立体感などをよりリアルに表現することができる。
【００５４】
三次元データ統合部５は、三次元形状取得部３により得られた三次元立体形状モデルと、表面属性取得部１により得られた表面属性データとを統合し、対象物体の三次元統合データを作成する。
【００５５】
ユーザは、操作部９により所望の照明条件・対象物体の位置や向きなどの観察環境の設定を行う。
【００５６】
任意環境画像生成部７は、操作部９により設定された観察環境データに従い、ユーザが所望する観察環境下での対象物体の画像を再構築する。
【００５７】
画像出力部１１は、ＴＶモニタやプリンタなどからなり、任意環境画像生成部７により再構築された画像の表示や印刷出力を行う。
【００５８】
図１２は、本実施例の三次元形状取得および表面属性取得における装置の概略図である。対象物体５１は、コンピュータ制御可能な対象物回転装置５５の上に配置され、コンピュータ５９から指令された角度で連続的に回転軸５６を中心として回転する。測定環境における回転軸５６の位置は既知とする。
【００５９】
可動パターン投影装置５８は、対象物体の三次元形状取得と表面属性取得に用いる画像列を入力する際に使用する照明であり、コンピュータ５９からの指令により、対象物体の回転軸に平行に移動し、それぞれの位置において対象物体に対してポジ／ネガ一対の特殊なパターンを切替えて照射する。
【００６０】
画像入力装置５３は、対象物体５１から離れた位置に配置され、コンピュータ５９からの指令により、画像データ入力を行うことができる。
【００６１】
コンピュータ５９は、対象物回転装置５５、可動パターン投影装置５８に対して指令を送り測定環境を確定した後に、画像入力装置５３に対し指令を送り画像入力を行う。さらに、この実測データから三次元形状および表面属性の取得を行い、三次元統合データを作成する。
【００６２】
次に制御部１２の構成を図１３を用いて説明する。制御部１２は、可動パターン投影部１０、画像入力部６、対象物回転部８の制御を行い、その際の入力環境パラメータを表面属性取得部１、三次元形状取得部３へと送る。図において、対象物回転部制御部７７は、対象物回転部８の回転角度を連続的に制御する。可動パターン投影部制御部７９は、可動パターン投影部１０に対して、測定環境における位置、ポジ／ネガパターンの切替えの制御を行う。画像入力部制御部７６は、対象物回転部８の回転、可動パターン投影部１０の移動、ポジ／ネガパターン切替えを行うたびに、随時画像データの入力を行う。
【００６３】
次に本実施例の三次元画像処理装置において、実測から三次元統合データ作成までの処理について、図１２の装置概略図および図１４のフローチャートを参照しながら説明する。まず、可動パターン投影装置５８による照射パターンを２ラインポジパターン照明光に設定し、画像入力装置５３により画像データを入力する（ステップＳ２１）。続いて、可動パターン投影装置５８による照射パターンを２ラインネガパターン照明光に切替え、画像入力装置５３により画像データを入力する（ステップＳ２３）。可動パターン投影装置５８を１ステップ移動させる（ステップＳ２２）。ステップＳ２１及びステップＳ２３を繰り返し、画像データ入力を行う。可動パターン投影装置５８を全ての投射位置に移動させて全位置の画像データ入力が終了すると（ステップＳ２４）、対象物回転装置５５を１ステップ回転させる（ステップＳ２５）。その後、ステップＳ２１、Ｓ２３、Ｓ２２及びＳ２４を繰り返し、画像データ入力を行う。対象物回転装置５５を１回転させて対象物の全周の画像データ入力が終了すると（ステップＳ２６）、まず、三次元形状取得処理を行う。対象物回転装置５５の各回転角におけるポジ画像とネガ画像を比較処理することにより、入力画像における投影パターンの第１エッジおよび第２エッジを抽出する（ステップＳ２７）。ここで、投影パターンの第１エッジと第２エッジは、入力画像の走査線上で明から暗に変化するエッジなのか、それとも暗から明に変化するエッジなのかによって区別することができる。この処理を対象物回転装置５５の全ての回転角におけるいずれか一つのポジ／ネガ画像組に対して行う（ステップＳ２８）。つぎに入力環境パラメータ、得られた入力画像上の第１エッジおよび第２エッジから対象物体の三次元形状データを作成する（ステップＳ３０）。入力環境パラメータには、実測を行った対象物回転装置５５の回転角、画像入力装置５３の位置、可動パターン投影装置５８の位置およびポジ／ネガ各パターンの輝度分布が記述されている。ここでは、可動パターン投影装置５８による照射パターンを２ラインポジ／ネガパターン照明光として説明したが、照射パターンを１ラインポジ／ネガパターン照明光としても構わない。
【００６４】
続いて、表面属性推定処理を行う。ここでは、物体表面における反射光は、拡散反射成分と鏡面反射成分の二つに分けられるという２色性反射モデルの特徴を利用する。これにより、複数の環境下で実測した実測データのうちパターンの明部が投影されている領域のデータにおける各頂点の対応点の輝度・色の変化を解析することで、それぞれの頂点における表面属性を推定することができる。まず、入力した実測データのうち、パターンの暗部が投影されている領域のデータや、入力環境パラメータの情報および前ステップで作成された三次元形状データに基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により、情報が欠如したり誤差を大きく含むデータを除去し、実測データの取捨選択を行う（ステップＳ３１）。続いて、選別された実測データのみを用いて、拡散反射成分のみのデータを抽出する（ステップＳ３２）。抽出されたデータから、表面属性パラメータのうち物体色に関するパラメータの推定を行う（ステップＳ３４）。続いて、鏡面反射成分を含んだデータから、鏡面反射成分を分離し（ステップＳ３５）、表面属性パラメータのうち反射特性に関するパラメータの推定を行う（ステップＳ３６）。本実施例では、対象物回転装置５５の各回転角においてパターン投影装置５７を複数位置に移動させて画像入力を行うことにより、注目画素とパターン投影装置５７との位置関係が複数存在するため、注目画素に対してより多くの照明環境下でのデータを取得できるようになる。以上の処理を各頂点ごとに行うことで各頂点における表面属性パラメータを推定し、対象物体表面全体の推定を行う。対象物体表面全体の推定が終了した時点で（ステップＳ３７）、三次元統合データが作成されている（ステップＳ３９）。ここでは、対象物体表面の構成単位を頂点として説明したが、頂点の代わりに微小面を用いることも可能である。なお、２次元の広がりを持つ輝度分布を有する光源を照射した場合の表面属性推定についての詳細は、ＩＰシリアルＮｏ．１７３３５０９に示す通りである。
【００６５】
以上述べたように、対象物回転装置の各回転角においてパターン投影装置を複数位置に移動させて画像入力を行うことにより、注目画素に対してより多くの照明環境下でのデータを取得することが可能となり、対象物体の表面属性取得の精度を向上させることができ、よりリアリティの高い物体描画が可能となる。
【００６６】
なお、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
【図面の簡単な説明】
【００６７】
【図１】本発明の第１の実施例の三次元画像処理装置の構成を示す概略構成図である。
【図２】本発明の第１の実施例の三次元画像処理装置の三次元形状取得および表面属性取得を示す概略図である。
【図３】本発明の表面属性取得部の構成を示す概略構成図である。
【図４】本発明の第１、第２の実施例の制御部の構成を示す概略構成図である。
【図５】本発明の操作部の構成を示す概略構成図である。
【図６】本発明の第１の実施例の実測から三次元統合データ作成までの処理を示すフローチャートである。
【図７】本発明の第１の実施例のパターン照明光を示す図である。
【図８】本発明の第２の実施例のパターン照明光を示す図である。
【図９】本発明の三次元統合データの一例を示す図である。
【図１０】本発明の三次元画像処理装置の任意環境画像提示を示す図である。
【図１１】本発明の第３の実施例の三次元画像処理装置の構成を示す概略構成図である。
【図１２】本発明の第３の実施例の三次元画像処理装置の三次元形状取得および表面属性取得を示す概略図である。
【図１３】本発明の第３の実施例の制御部の構成を示す概略構成図である。
【図１４】本発明の第３の実施例の実測から三次元統合データ作成までの処理を示すフローチャートである。
【符号の説明】
【００６８】
１：表面属性取得部
２：制御部
３：三次元形状取得部
４：パターン投影部
５：三次元データ統合部
６：画像入力部
７：任意環境画像生成部
８：対象物回転部
９：操作部
１０：可動パターン投影部
１１：画像出力部
１２：制御部
３１：１ラインポジパターン照明光
３３：１ラインネガパターン照明光
３４：１ラインパターン照明光エッジ
３５：２ラインポジパターン照明光
３７：２ラインネガパターン照明光
３８：２ラインパターン照明光第１エッジ
３９：２ラインパターン照明光第２エッジ
４１：実測データ取捨選択部
４３：拡散反射領域抽出部
４５：鏡面反射成分分離部
５１：対象物体
５３：画像入力装置
５５：対象物回転装置
５６：回転軸
５７：パターン照明光源
５８：可動パターン照明光源
５９：コンピュータ
７６：画像入力部制御部
７７：対象物回転部制御部
７８：パターン投影部制御部
７９：可動パターン投影部制御部
８１：照明光源設定部
８３：対象物体配置設定部
９１：対象物体
９３：照明光源
９５：対象物体配置設定部
９７：照明光源設定部
【図１】
2006146342.tif 000003
【図２】
2006146342.tif 000004
【図３】
2006146342.tif 000005
【図４】
2006146342.tif 000006
【図５】
2006146342.tif 000007
【図６】
2006146342.tif 000008
【図７】
2006146342.tif 000009
【図８】
2006146342.tif 000010
【図９】
2006146342.tif 000011
【図１０】
2006146342.tif 000012
【図１１】
2006146342.tif 000013
【図１２】
2006146342.tif 000014
【図１３】
2006146342.tif 000015
【図１４】
2006146342.tif 000016