(57)【要約】【課題】実在する対象物の表面属性情報を一般的な照明環境下で取得することが可能な３次元データ処理プログラム及び３次元データ処理システムを提供する。【解決手段】  対象物及び反射体の撮影画像データを取得する第１のステップと、撮影画像データに関する撮影情報を取得する第２のステップと、対象物の表面形状を表す立体形状データを取得する第３のステップと、反射体の撮影画像データと撮影情報とに基づいて、照明に関する情報を推定する第４のステップと、対象物の撮影画像データ、撮影情報、立体形状データ及び照明に関する情報に基づいて、対象物の表面属性情報を推定する第５のステップとを有する【選択図】  図１
2006163545.tif 000002
【特許請求の範囲】
【請求項１】
対象物及び反射体の撮影画像データを取得する第１のステップと、
前記撮影画像データに関する撮影情報を取得する第２のステップと、
前記対象物の表面形状を表す立体形状データを取得する第３のステップと、
前記反射体の前記撮影画像データと前記撮影情報とに基づいて、照明に関する情報を推定する第４のステップと、
前記対象物の撮影画像データ、前記撮影情報、前記立体形状データ及び前記照明に関する情報に基づいて、前記対象物の表面属性情報を推定する第５のステップとを有することを特徴とする３次元データ処理プログラム。
【請求項２】
前記撮影情報は、前記第１及び第２の対象物の位置及び姿勢情報を含むことを特徴とする請求項１に記載の３次元データ処理プログラム。
【請求項３】
前記対象物の撮影画像データは、前記対象物の姿勢、観測方向のうち少なくとも一つが異なるように撮影された画像データ群であることを特徴とする請求項１又は２に記載の３次元データ処理プログラム。
【請求項４】
前記第５のステップは、前記反射体に照射された光の入射方向と反射方向とに応じた複数の反射率から１つの反射率を選択することを特徴とする請求項１から３のいずれか１つに記載の３次元データ処理プログラム。
【請求項５】
前記表面属性情報は、所定の反射モデル関数における定数であることを特徴とする請求項１から４のいずれか１つに記載の３次元データ処理プログラム。
【請求項６】
前記表面属性情報は、所定の反射モデル関数における定数及び法線変位であることを特徴とする請求項１から４のいずれか１つに記載の３次元データ処理プログラム。
【請求項７】
前記反射モデル関数は、法線方向、前記反射体に照射された光の入射方向及び反射方向に応じた前記反射率を算出する双方向反射分布関数であることを特徴とする請求項５又は６に記載の３次元データ処理プログラム。
【請求項８】
前記定数は、前記反射体に照射された光の入射方向に対して前記反射モデル関数を前記照明に関する情報に応じて積分した際の、前記対象物の前記撮影画像データに基づく輝度変化に応じた値であることを特徴とする請求項５又は６に記載の３次元データ処理プログラム。
【請求項９】
前記反射モデル関数は、散乱反射成分と鏡面反射成分との線形結合で表され、前記定数は、前記散乱反射成分に関する散乱反射モデル定数又は前記鏡面反射成分に関する鏡面反射モデル定数であることを特徴とする請求項５又は６に記載の３次元データ処理プログラム。
【請求項１０】
前記照明に関する情報は、前記反射体及び前記対象物に照射された光の光束密度を前記入射方向に対して表した関数であることを特徴とする請求項１から９のいずれか１つに記載の３次元データ処理プログラム。
【請求項１１】
前記反射体の表面形状及び表面属性は既知であることを特徴とする請求項１から１０のいずれか１つに記載の３次元データ処理プログラム。
【請求項１２】
前記反射体の前記表面形状は曲面を含むことを特徴とする請求項１１に記載の３次元データ処理プログラム。
【請求項１３】
前記反射体の前記表面形状の少なくとも一部が球面であることを特徴とする請求項１２に記載の３次元データ処理プログラム。
【請求項１４】
対象物及び反射体の撮影画像データを取得する第１のステップと、
前記撮影画像データに関する撮影情報を取得する第２のステップと、
前記対象物の表面形状を表す立体形状データを取得する第３のステップと、
前記反射体の前記撮影画像データと前記撮影情報とに基づいて、照明に関する情報を推定する第４のステップと、
前記対象物の撮影画像データ、前記撮影情報、前記立体形状データ及び前記照明に関する情報に基づいて、前記対象物の表面属性情報を推定する第５のステップと、
前記表面属性情報を用いて３次元画像を生成する第６のステップとを有することを特徴とする３次元画像処理プログラム。
【請求項１５】
対象物及び反射体を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像データに関する撮影情報を取得する撮影情報取得手段と、
前記対象物の表面形状を表す立体形状データを取得する立体形状取得手段と、
前記反射体の前記撮影画像データと前記撮影情報とに基づいて、照明に関する情報を推定する照明情報推定手段と、
前記対象物の撮影画像データ、前記撮影情報、前記立体形状データ及び前記照明に関する情報に基づいて、前記対象物の表面属性情報を推定する表面属性推定手段とを有することを特徴とする３次元データ処理システム。
【請求項１６】
対象物及び反射体を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像データに関する撮影情報を取得する撮影情報取得手段と、
前記対象物の表面形状を表す立体形状データを取得する立体形状取得手段と、
前記反射体の前記撮影画像データと前記撮影情報とに基づいて、照明に関する情報を推定する照明情報推定手段と、
前記対象物の撮影画像データ、前記撮影情報、前記立体形状データ及び前記照明に関する情報に基づいて、前記対象物の表面属性情報を推定する表面属性推定手段と、
前記表面属性情報を用いて３次元画像を生成する３次元画像生成手段とを有することを特徴とする３次元画像処理システム。
【請求項１７】
対象物及び反射体の撮影画像データを取得する第１のステップと、
前記撮影画像データに関する撮影情報を取得する第２のステップと、
前記対象物の表面形状を表す立体形状データを取得する第３のステップと、
前記反射体の前記撮影画像データと前記撮影情報とに基づいて、照明に関する情報を推定する第４のステップと、
前記対象物の撮影画像データ、前記撮影情報、前記立体形状データ及び前記照明に関する情報に基づいて、前記対象物の表面属性情報を推定する第５のステップとを有することを特徴とする３次元データ処理方法。
【請求項１８】
対象物及び反射体の撮影画像データを取得する第１のステップと、
前記撮影画像データに関する撮影情報を取得する第２のステップと、
前記対象物の表面形状を表す立体形状データを取得する第３のステップと、
前記反射体の前記撮影画像データと前記撮影情報とに基づいて、照明に関する情報を推定する第４のステップと、
前記対象物の撮影画像データ、前記撮影情報、前記立体形状データ及び前記照明に関する情報に基づいて、前記対象物の表面属性情報を推定する第５のステップと、
前記表面属性情報を用いて３次元画像を生成する第６のステップとを有することを特徴とする３次元画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実在する対象物をＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で利用するために必要なモデルデータを生成する３次元画像生成技術に係り、特に立体形状モデルに表面属性情報を付加する技術に関する。
【背景技術】
【０００２】
従来、実在の物体をＣＧで再現するとき、立体形状モデル各部に実物体をカメラで撮影した画像を貼り付ける手法がある。このような手法では、様々な視点のＣＧにも対応することができるため、複数の方向から撮影された複数の画像を用意し、再現時には適切な画像を選択して貼り付けている（特許文献１参照）。
【０００３】
しかしながら、ＣＧで再現する物体が撮影時と異なる照明で照らすことができない。つまり、カメラで撮影した画像には陰影やハイライトが含まれているため、カメラで撮影した画像を貼り付けた物体に対してさらに陰影やハイライトを付加しようとすると不自然な画像になる。
【０００４】
そこで、照明方向や観測方向による反射率の変化を反射関数として表し、反射関数に数式モデルを導入し、反射モデル定数により表面属性を表す手法がある。この手法では、立体形状モデル表面に配置される彩色部の反射特性を反射モデル定数として保持し、再現時には反射モデル関数に定数を代入計算することにより、比較的小さな表面属性情報で任意の照明条件・視線方向で自然な陰影やハイライトの再現が可能になる。
【特許文献１】特開２０００−３４８２１３（段落０１７４〜０１８８、図１４、図１５等）
【非特許文献１】SIGGRAPH  Computer Graphics Proceedings,Annual Conference Series,1997,p379-387『Object Shape and Reflectance Modeling from Observation』
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記反射モデル定数の推定は対象物の画像情報を得る際に、所定の照明条件下での撮影が必要とされる。このために、暗室や専用の光源を用いて撮影を行わなければならない。
【０００６】
本発明の例示的な目的の１つは、実在する対象物の表面属性情報を一般的な照明環境下で取得することが可能な３次元データ処理プログラム、３次元データ処理システム及び３次元データ処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の１つの観点としての３次元データ処理プログラムは、対象物及び反射体の撮影画像データを取得する第１のステップと、撮影画像データに関する撮影情報を取得する第２のステップと、対象物の表面形状を表す立体形状データを取得する第３のステップと、反射体の撮影画像データと撮影情報とに基づいて、照明に関する情報を推定する第４のステップと、対象物の撮影画像データ、撮影情報、立体形状データ及び照明に関する情報に基づいて、対象物の表面属性情報を推定する第５のステップとを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、従来に比べて暗室や特定の照明光源を必要とせず、任意の照明環境下で対象物の表面属性情報を得ることができる。
【０００９】
このため、実在する対象物を再現する際に自然な陰影やハイライトを容易かつ適切に付加することが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下に本発明の実施例について説明する。
【実施例１】
【００１１】
図１は、本発明の実施例１の３次元画像処理システム（３次元データ処理システム）１００の構成ブロック図、図２には、図１に示す３次元画像処理システム１００のデータの流れを示している。
【００１２】
本実施例の３次元画像処理システム１００は、画像情報取得部１１０、撮影情報取得部１２０、立体形状取得部１３０、照明分布推定部２００、表面属性推定部１４０、モデルデータ記憶部１５０、制御部１８０、メモリ１９０とで構成される３次元データ処理システムに、ＣＧ生成部１６０、ＣＧ表示部１７０が設けられた構成である。
【００１３】
したがって、図１に示すように、３次元画像処理システム１００の各部は、例えば、バスインターフェースなどを介し各々データを送受信可能に構成され、本実施例の３次元データ処理システムを対象物の表面属性情報のみを付加するシステム又は装置として構成することも可能である。
【００１４】
１１０は、対象物Ｏの撮影画像データ及び反射体Ｒの撮影画像データを取得する画像情報取得部である。この画像情報取得部１１０には、例えばカラーＣＣＤカメラなどから構成され、ＲＧＢの３つのカラーバンドからなる画像情報を作成する撮影装置１１２が設けられ、対象物Ｏ及び反射体Ｒを撮影することで対象物Ｏの撮影画像データ及び反射体Ｒの撮影画像データを取得可能としている。また、画像情報取得部１１０は対象物Ｏにおける観測（撮影）方向又は対象物Ｏの姿勢が異なる複数の画像を取得する。
【００１５】
図３に示すように、対象物Ｏは当該対象物Ｏを載置する面に垂直な方向を回転軸として回転可能な回転台に載置されており、撮影装置１１２は対象物Ｏに対して一方向からそれぞれ単独に又は同期して角度、すなわち撮影位置を変えることで複数方向からの撮影を行えるように構成されている。
【００１６】
撮影装置１１２は、例えば三脚などに固定し、その高さを変えることで撮影角度を変えることができる。なお、これ以外に図示しない移動機構などに接続された撮影装置１１２を制御部１８０により制御することで自動的に撮影装置１１２の角度を変えて撮影を行うように構成してもよい。
【００１７】
図４は、対象物Ｏが載置される回転台と同様な回転台に反射体Ｒが載置された時の概略図である。この反射体Ｒの形状は既知であり、表面が鏡面で周囲の景色が映り込むもの、例えば金属球を用いている。そして、図３及び図４に示すように、画像情報取得部１１０は反射体Ｒを対象物Ｏと変わらない照明条件の下での撮影画像データを取得する。つまり、対象物Ｏが撮影される際の設置場所と同じ若しくは近傍の位置に反射体Ｒを設置して撮影を行う。
【００１８】
なお、本実施例では対象物Ｏは１軸にのみ回転可能な回転台上に載置されるが、対象物Ｏは複数の回転軸を有する装置に設置されてもよい。このような構成によれば、撮影装置１１２は所定の場所に固定されていても複数方向からの対象物Ｏの撮影を行うことが可能となる。また、対象物Ｏを固定系とし、撮影装置１１２の位置を変化させながら撮影を行うようにしてもよく、撮影装置１１２、対象物Ｏ双方の位置や姿勢を変化させながら撮影を行うようにしてもよい。
【００１９】
このように本実施例の画像情報取得部１１０は、対象物Ｏを視線方向あるいは光源方向が異なる複数の撮影画像データを取得可能に構成され、後述する表面属性推定部１４０及び照明分布推定部２００に撮影画像データを出力する。
【００２０】
また、本実施例の３次元画像処理装置１００は、別の装置等で撮影され半導体メモリ・磁気ディスク・光ディスクなどの記録媒体に格納された撮影画像データを読み込み可能とすることで画像情報取得部１１０を省略することも可能であり、該記録媒体からの撮影画像データの取得と、画像情報取得部１１０からの撮影画像データの取得とを併用する構成としてもよい。
【００２１】
１２０は撮影情報取得部で、画像情報取得部１１０が生成する撮影画像データに対する撮影パラメータ（撮影情報）を取得する。具体的には、撮影情報取得部１２０は、撮影装置１１２に関する情報と、視点・対象物Ｏ又は反射体Ｒの位置及び姿勢情報などの撮影時の情報を取得する。この撮影パラメータは後述する表面属性推定部１４０及び照明分布推定部２００に出力可能に構成されている。
【００２２】
なお、撮影パラメータはオペレータ（撮影者又は３次元画像処理システム１００のオペレータを含む）によりキーボードなどの入力装置を介して直接入力することも可能である。この場合、画像情報取得部１１０が取得する撮影画像データ毎の撮影時の撮影装置１１２、対象物Ｏ又は反射体Ｒの配置や撮影装置１１２の画角など情報を記録しておく必要があるが、画像情報取得部１１０が制御部１８０により制御されて対象物Ｏの撮影を自動的に行うように構成し、制御部１８０により画像毎の撮影時情報を取得すればよい。
【００２３】
また、撮影情報においても撮影画像データと同様に半導体メモリ・磁気ディスク・光ディスクなどの記録媒体に格納してデータとして読み込み可能とすることで撮影情報取得部１２０を省略する構成とすることも可能であり、該記録媒体による読み込み及び撮影情報取得部１２０を併用可能とする構成でもよい。
【００２４】
なお、撮影情報の一部は画像撮影時に記録しなくとも、画像情報取得部１１０により取得する撮影画像データから制御部１８０によって推定することも可能である。例えば、画像撮影時に対象物Ｏ及び反射体Ｒに固定したマーカーが対象物Ｏ及び反射体Ｒと共に画像に写るようにしておけばよい。もしくは対象物Ｏ及び反射体Ｒ上にマーカーの代用となる特徴的な部分があれば、それをマーカーの代用として、撮影画像上のマーカーの位置や色情報から撮影パラメータを推定することができる。この推定法は、例えば、佐藤淳著「コンピュータビジョン」（コロナ社，１９９９）第６章に記載された方法を使用する方法などが考えられる。
【００２５】
１３０は立体形状取得部で、対象物Ｏの立体形状データを取得する。立体形状データは対象物Ｏの表面形状を表すものであり、表面各部の３次元座標を保持するものである。この立体形状取得部１３０はレンジファインダー等の３次元形状取得装置を利用することができる。立体形状取得部１３０は表面属性推定部１４０及びデータモデル記憶部１５０に情報を出力可能に構成されており、取得された立体形状モデル（各平面）は表面属性推定部１４０及びデータモデル記憶部１５０に出力することができる。
【００２６】
また、本実施例の３次元画像処理システム、別の装置で処理され半導体メモリ・磁気ディスク・光ディスクなどの記録媒体に格納された立体形状モデルを読み込み可能とすることで立体形状取得部１３０を省略する構成であってもよい。また、これらの機能と立体形状取得部１３０とを併用可能とする構成であってもよい。
【００２７】
２００は照明分布推定部で、画像情報取得部１１０及び撮影情報取得部１２０により各々入力された情報を基に照明分布を推定する。この照明分布推定部２００は表面属性推定部１４０に情報を出力可能に構成されており、推定された照明分布情報は表面属性推定部１４０に出力することができる。
【００２８】
１４０は表面属性推定部で、画像情報取得部１１０、撮影情報取得部１２０、立体形状取得部１３０及び照明分布推定部２００により各々入力された情報をもとに表面属性を推定する。表面属性推定部１４０はモデルデータ記憶部１５０に情報を出力可能に構成されており、推定された表面属性情報はデータモデル記憶部１５０に出力することができる。
【００２９】
１５０はモデルデータ記憶部で、立体形状取得部１３０により取得された立体形状モデルと、表面属性推定部１４０により処理された彩色部の反射モデル定数を格納する。データモデル記憶部１５０は各種の記憶媒体を利用することができ、また、上述したメモリ１９０を代用してもよい。モデルデータ記憶部１５０はＣＧ生成部１６０に情報を出力可能に構成されており、ＣＧ生成部１６０に出力することができる。
【００３０】
１６０はＣＧ生成部であり、モデルデータ記憶部１５０に格納された情報を基にオペレータの指定などに応じた各種視点・照明環境における対象物Ｏの３次元画像情報を生成する。なお、ＣＧ生成部１６０は当該周知のＣＧ生成装置として実現することが可能であり、ここでの詳細な説明は省略する。
【００３１】
ＣＧ表示部１７０は、ＣＧ生成部１６０により生成された３次元画像情報を表示する。ＣＧ表示部１７０はＣＲＴ、ＬＣＤなどの各種表示装置を使用することができる。また、ＣＧ表示部１７０は画像情報を印刷可能なプリンタなどの印刷装置としてもよい。
【００３２】
制御部１８０は、ＣＰＵ、ＭＰＵなどのマイクロプロセッサで、メモリ１９０に格納された動作プログラムを用いて各部の動作を制御する。
【００３３】
メモリ１９０は、例えば、３次元画像処理システム１００の動作プログラムや処理に必要な各種のデータなどを格納するＲＯＭなどの不揮発性メモリと、画像及び必要な制御プログラムを一時的に格納するＲＡＭなどの揮発性メモリとを有している。
【００３４】
次に、本実施例の３次元画像処理システム１００の動作について、図５〜図７を用いて説明する。
【００３５】
＜反射体撮影処理：ステップ１（Ｓ１）＞
まず、図４に示すように、反射体Ｒを回転台上に設置し、反射体Ｒに対して撮影装置１１２を配置する。そして、該撮影装置１１２を用いてＲＧＢの３つのカラーバンドからなる撮影画像データを取得する。この撮影画像データは図１５に示すように、反射体Ｒの周囲の景色の映り込んだものとなる。そして、この撮影画像データは照明分布推定部２００に出力される。
【００３６】
この際、撮影情報取得部１２０では画像撮影時に、撮影装置１１２に関する情報と撮影装置、反射体Ｒの位置及び姿勢情報を取得する。なお、上述したように撮影パラメータの一部は画像撮影時に記録せずとも、撮影画像データから推定してもよい。
【００３７】
＜照明分布推定処理：ステップ２（Ｓ２）＞
照明分布推定部２００では、入力された各情報及び、既知である反射体Ｒの形状モデル及び反射率をもとに照明分布を推定し、得られた照明分布を表面属性推定部１４０に出力する。立体形状モデルは対象物Ｏの表面各部において、その３次元座標と法線方向を示すものである。ここで、図５は、図１に示す表面属性推定部１４０の動作一例を示すフローチャートである。
【００３８】
図５において、まず、反射体Ｒを撮影した画像情報より反射体Ｒ表面の鏡面部分が写っている領域より１つの画素を呼び出す（ステップ１０１）。
【００３９】
そして図１６で示すように、呼び出された１つの画素に対し、撮影パラメータ及び反射体Ｒの形状から、画素に写っている反射体Ｒ表面上の対応点、及び、撮影装置１１２から対応点に向かうベクトルの正反射方向ベクトルθiを求める(ステップ１０２)。この計算は光線追跡法として知られている。なお、方向ベクトルとは水平方向角・仰角あるいはそれと変換可能な２つの自由度を持ち、天球上の一方向を示すものである。
【００４０】
そして、画素の示す画像上輝度を前記対応点における反射体Ｒの反射率で除算し、正反射方向における照明照度Ｌ（θi）とする（ステップ１０３）。
【００４１】
以上の処理を鏡面部分が写っている領域中の全ての画素に対して行い、表面属性推定部１４０に出力する。
【００４２】
なお、本実施例の照明分布推定部２００の推定法では照明照度を求める際に、全ての方向に対する照明照度を求める上記方法によって求めることができない場合があるが、例えば、求めることができなかった方向の近傍における照明照度を利用して補完処理を行うことで、全ての方向に対する照明照度を求めることができる。
【００４３】
＜対象物撮影処理：ステップ３（Ｓ３）＞
次に、図３に示すように、対象物Ｏを回転台上に設置し、対象物Ｏに対して撮影装置１１２を配置する。そして回転台を回転させながら、撮影装置１１２を用い複数の角度で撮影し、ＲＧＢの３つのカラーバンドからなる撮影画像データを取得する。これにより、対象物Ｏの姿勢が変化し、相対的に観測方向を変えて撮影された撮影画像データを得ることができる。また、撮影装置１１２の対象物Ｏに対する角度を変えることで更に撮影画像データを得ることができる。そして、この撮影画像データは表面属性推定部１４０に出力される。
【００４４】
この際、撮影情報取得部１２０では画像撮影時に、撮影装置１１２に関する情報と撮影装置、対象物Ｏの位置及び姿勢情報を取得する。そして、これらの撮影情報は表面属性推定部１４０に出力される。また、上述したように撮影情報の一部は画像撮影時に記録せずとも、取得した撮影画像データから推定してもよい。
【００４５】
なお、対象物Ｏを回転台上に設置したが、複数の回転軸を持つ装置に対象物Ｏを設置して撮影を行ってもよく、撮影装置１１２の位置や方向を変化させながら撮影したり、撮影装置１１２及び対象物Ｏの双方の位置を変化させながら撮影してもよい。このように撮影することで、対象物Ｏの姿勢や観測方向が異なる複数の画像を得ることができる。
【００４６】
＜立体形状取得処理：ステップ４（Ｓ４）＞
立体形状取得部１３０では対象物Ｏの立体形状データ（立体形状モデル）を取得する。立体形状データは対象物Ｏの表面各部において、その３次元座標と法線方向を示すものである。但し、法線方向に関しては各部の３次元座標から推定することができる。取得された立体形状データは表面属性推定部１４０に出力されると共に、モデルデータ記憶部１５０に記録される。
【００４７】
＜表面属性推定処理：ステップ５（Ｓ５）＞
表面属性推定部１４０では、入力された各情報をもとに表面属性情報を推定し、得られた反射定数をモデルデータ記憶部１５０に記録する。ここで、図６は、図１に示す表面属性推定部１４０の動作を示すフローチャートである。
【００４８】
図６において、まず、立体形状データを構成する各部より表面属性情報を推定すべき１つの彩色部を呼び出す（ステップ１１１）。
【００４９】
そして図１７に示すように、撮影された対象物Ｏの姿勢や観測方向が異なる複数の画像全てに対し、１つの彩色部における法線方向ベクトルθｎ、観測方向ベクトルθｏ、画像上輝度(Ｒ，Ｇ，Ｂ)を計算し、対応表を作成する（ステップ１１２）。法線方向、観測方向は撮影情報取得部１２０より取得することができる。
【００５０】
つまり、撮影時の撮影装置１１２、対象物Ｏの姿勢及び配置情報から、彩色部における法線方向、観測方向及び画像上の位置を算出すればよい。そして、画像から輝度を得ることができる。画像上で彩色部が裏面であったり、他の部位の背後であったり、画像外であったりして、画像上輝度が不明である場合は対応表にはデータには含めないものとする。
【００５１】
次に、この対応表を照明分布を考慮した反射モデル関数に代入する（ステップ１１３）。一例として反射モデル関数には以下の数式１から数式３に示すＰｈｏｎｇの反射モデルを使用し、モデルから導かれるカラーバンド毎の反射率をＢＲＤＦｒ、ＢＲＤＦｇ、ＢＲＤＦｂ、図８に示す角度変数φ、ρ及び、散乱反射定数をＣｄＲ、ＣｄＧ、ＣｄＢ、鏡面反射定数をＣｓ、ｎとして表す。
【００５２】
【数１】
2006163545.tif 000003
【００５３】
【数２】
2006163545.tif 000004
【００５４】
【数３】
2006163545.tif 000005
【００５５】
そして反射モデルを照明分布でコンボリュートした値と測定値の差を各測定値の誤差εｒ、εｇ、εｂとすると、対応表の値の組を用いて以下の数式４から数式６に示す数式を導くことができる。
【００５６】
【数４】
2006163545.tif 000006
【００５７】
【数５】
2006163545.tif 000007
【００５８】
【数６】
2006163545.tif 000008
【００５９】
ここでα、βは法線変位を示すパラメータであり、rollαβ(θｎ)は図１８に示すように、θｎをそれと垂直な２つの軸に対し各々α、β回転したベクトルを示し、φ(θi,θn)は方向ベクトルθiと方向ベクトルθｎのなす角、ρ(θi,θｏ,θｎ)は方向ベクトルθiと方向ベクトルθｏの中間方向ベクトルが方向ベクトルθｎとなす角である。これを対応表の各画像毎に行う。なお、添え字ｊは画像番号を示す。
【００６０】
そして、上記誤差を最適な値にする定数の組（ＣｄＲ、ＣｄＧ、ＣｄＢ、Ｃｓ、ｎ、α、β）を求め、彩色部の散乱反射定数としてモデルデータ記憶部１５０に記録する(ステップ１１４)。
【００６１】
最適化には各種の数学的手法を用いることができるが、本実施例ではこの手法を限定するものではなく。例えば、最小２乗法を用いるのならば評価関数を数式７に示すような誤差εｒｊ、εｇｊ、εｂｊの２乗和とし、最小となる定数の組を求めればよい。
【００６２】
【数７】
2006163545.tif 000009
【００６３】
上述した評価関数ｆは全ての誤差を等価に扱っているが、各値の信頼性を考慮した評価関数を設定してもよい。これにより、モデルデータ記憶部１５０に対象物ＯをＣＧで再現するのに必要なモデルデータが揃う。
【００６４】
そして、対象物ＯをＣＧで生成表示する際には、ＣＧ生成部１６０において要求される仮想空間内での撮影装置１１２、対象物Ｏの配置情報及び照明分布とモデルデータ記憶部１５０に記録された立体形状データから各彩色部における観測方向・法線方向及び生成画像上の表示位置を算出する。そして、観測方向・法線方向と照明分布、モデルデータ記憶部１５０に記録された反射モデル定数を反射モデル関数に代入し観測輝度を計算する。
【００６５】
観測輝度を表示色として生成画像上の表示位置に描画することで、表示部１７０で表現可能となる。このことにより任意の照明条件・視線方向で自然な陰影やハイライトが再現される。
【００６６】
なお、本実施例では、撮影画像データはＲ、Ｇ、Ｂの３色から構成された場合を挙げて説明したが、単色若しくは他の色、スペクトル情報、偏光画像であってもよく、対応した反射モデル関数が作成することができれば、適用可能である。
【００６７】
また、反射モデル関数にＰｈｏｎｇ反射モデルを用いて説明したが、本実施例では、例えば、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル等の反射モデル関数でも、反射率が散乱反射成分と鏡面反射成分の線形和として与えられ、各々複数または一つの定数と角度変数により表現される対応表が作成できればよい。
【００６８】
また、表面属性推定部１４０の推定法において全ての彩色点において反射定数や法線変位が一意に求まらない場合は、求まらない定数を持つ要素点の近傍要素点の反射定数から補完する、典型的な値で代用する等の手法を併用することができる。
【実施例２】
【００６９】
図９に本発明の実施例２における３次元画像処理システムの表面属性推定部の動作フローチャートを示す。その他の３次元画像処理システムの構成は上記実施例１の図１、図２と同様である。
【００７０】
本実施例の表面属性推定部１４０では、入力された各情報を基に表面属性情報を推定し、得られた指標をモデルデータ記憶部１５０に記録する。
【００７１】
図９において、まず、立体形状データを構成する各部より表面属性情報を推定すべき１つの彩色部を呼び出す（ステップ１１１）。
【００７２】
そして図１５に示すように、撮影された対象物Ｏの姿勢や観測方向が異なる複数の画像全てに対し、１つの彩色部における法線方向ベクトルθｎ、観測方向ベクトルθｏ、画像上輝度(Ｒ，Ｇ，Ｂ)を計算し、対応表を作成する（ステップ１１２）。法線方向、観測方向は撮影情報取得部１２０より取得することができる。つまり、撮影時の撮影装置１１２、対象物Ｏの姿勢及び配置情報から、彩色部における法線方向、観測方向及び画像上の位置を算出すればよい。そして、画像から輝度を得る。画像上で平面が裏面であったり、他の部位の背後であったり、画像外であったりして、反射率が不明である場合は対応表にはデータには含めないものとする。
【００７３】
次に、この対応表を表面属性一覧中のサンプルデータと順次比較する（ステップ２１３）。表面属性一覧（図１０参照）とは、様々のサンプルｋに対して、例えば、法線方向をｚ軸とする接空間座標における光線の入射方向θi′と反射方向θｏ′に対応する一連の反射率を示した反射率表ＴＡＢＬＥ(ｋ,θi’,θｏ’)である。すなわち、彩色点の表面属性がサンプルｋであった場合に、画像輝度は数式８から数式１０のように表すことができる。
【００７４】
【数８】
2006163545.tif 000010
【００７５】
【数９】
2006163545.tif 000011
【００７６】
【数１０】
2006163545.tif 000012
【００７７】
これを対応表の各画像毎に行う。なお、ｊは画像番号、ｋはサンプル指標を示す。そして、対応表に最も近いサンプルデータを示す指標ｋをモデルデータ記憶部１５０に記録する（ステップ２１４）。
【００７８】
これにより、モデルデータ記憶部１５０に対象物をＣＧで再現するのに必要なモデルデータが揃う。そして、対象物ＯをＣＧで生成表示する際には、ＣＧ生成部１６０において要求される仮想空間内での撮影装置１１２及び対象物Ｏの配置情報・照明分布とモデルデータ記憶部１５０に記録された立体形状データから各彩色部における観測方向・法線方向及び生成画像上の表示位置を算出する。
【００７９】
そして、照明方向・観測方向と、モデルデータ記憶部１５０に記録された指標を用いて、反射率表から反射率を得る。反射率と照明分布の積分値から観測輝度を計算する。観測輝度を表示色として生成画像上の表示位置に描画することで、表示部１７０で表現可能となる。このように任意の照明条件・視線方向で自然な陰影やハイライトが再現される。
【実施例３】
【００８０】
図１１に本発明の実施例３の３次元画像処理システムの概略図を示す。本実施例では図１１に示すように、対象物Ｏを回転台上に設置し、さらに対象物Ｏ近傍に反射体Ｒを設置し（反射体Ｒは回転台には載置していない）、対象物Ｏ及び反射体Ｒを同一の撮影画像データとして取得する。対象物Ｏ及び反射体Ｒに向けて設置された撮影装置１１２により回転台を回転させながら、複数の角度で撮影し、ＲＧＢの３つのカラーバンドからなる撮影画像データを取得する。これにより、対象物Ｏの姿勢が変化し、相対的に観測方向を変えて撮影された撮影画像データを得ることができる。また、撮影装置１１２の対象物Ｏに対する角度を変えることで更に撮影画像データを得ることができる。そして、撮影画像データは表面属性推定部１４０及び照明分布推定部２００に出力される。
【００８１】
なお、対象物Ｏを回転台上に設置しているが、複数の回転軸を持つ回転台に対象物Ｏを設置して撮影をおこなってもよい。あるいは、撮影装置１１２の位置や方向を変化させながら撮影してもよく、撮影装置１１２及び対象物Ｏの双方の位置を変化させながら撮影してもよい。
【００８２】
そして、照明分布推定部２００は、撮影画像データのうち反射体投影部の画像と画像撮影時の撮影装置１１２に関する情報と、撮影装置及び反射体Ｒの位置及び姿勢情報、既知である反射体Ｒの形状モデル及び反射率を基に照明分布を推定し、得られた照明分布を表面属性推定部１４０に出力する。立体形状データは対象物表面各部において、その３次元座標と法線を示すものである。
【００８３】
このように本実施例では、反射体Ｒと対象物Ｏを同時に撮影するため、光源が時間変動する場合にも利用できる。
【実施例４】
【００８４】
次に、本発明の実施例４における３次元画像処理システムの概略図を図１２に示す。図１２において、対象物Ｏが回転台上に設置するとともに、対象物Ｏの近傍に複数の反射体Ｒを設置し（反射体Ｒは回転台には載置していない）、対象物Ｏ及び反射体Ｒが同一の撮影画像データに収まるように撮影装置１１２を設置している。そして回転台を回転させながら、撮影装置１１２を用い複数の角度で撮影し、ＲＧＢの３つのカラーバンドからなる撮影画像データを取得する。
【００８５】
上記構成により、対象物Ｏの姿勢が変化し、相対的に観測方向を異にして撮影された撮影画像データを得ることができる。また、撮影装置１１２の対象物Ｏに対する角度を変えることで更に撮影画像データを得ることができる。そして、取得された撮影画像データは、上記実施例１と同様に表面属性推定部１４０及び照明分布推定部２００に出力される。
【００８６】
なお、対象物Ｏを回転台上に設置しているが、複数の回転軸を持つ装置に対象物Ｏを設置して撮影をおこなってもよく、撮影装置１１２の位置や方向を変化させながら撮影してもよい。また、撮影装置１１２及び対象物Ｏの双方の位置を変化させながら撮影してもよい。
【００８７】
本実施例の照明分布推定部２００は、撮影画像データと画像撮影時の撮影装置１１２に関する情報と撮影装置１１２及び反射体Ｒの位置・姿勢情報、既知である反射体Ｒの形状モデル・反射率を基に、対象物Oの位置における照明分布を推定し、得られた照明に関する情報を表面属性推定部１４０に出力する。立体形状データは対象物Ｏの表面各部において、その３次元座標と法線を示すものである。
【００８８】
まず、画像情報上で反射体Ｒｊ(ｊは反射体番号)の写っている各画素に対し、画像撮影時の撮影装置１１２及び反射体Ｒｊの位置関係、反射体Ｒの形状から視線の正反射方向ベクトルθiを計算し、画像上輝度を反射体Ｒの反射率で除算した値を各反射体位置における照明分布Ｌｊ(θi)の値とし、反射体Ｒと対象物Oの位置関係と各反射体位置における照明分布Ｌｊ(θi)から対象物Oの位置における照明分布Ｌ(θi)を求める。これには例えばＬｊの加重平均、あるいはモーフィング、３次元復元によりＬｊ(θi)の中間像を生成してＬ(θi)とする。
【００８９】
このように本実施例では、複数の反射体Ｒの位置から対象物Ｏの位置における照明分布を得るので、反射体Ｒと対象物Ｏとの位置のズレのよる影響を受けることなく、適切な表面属性データ及び３次元画像を生成することが可能となる。
【実施例５】
【００９０】
次に、本発明の実施例５における３次元画像処理システムの概略図を図１３に示す。図１３に示すように、照明環境の変化しない場所で、対象物Ｏを回転台上中心、反射体Ｒを回転台上であって、該回転台の中心から外れた位置に設置し、対象物Ｏ及び反射体Ｒが同一の撮影画像データに収まるように撮影装置１１２を配置する。そして、回転台を回転させながら、撮影装置１１２を用い複数の角度で撮影し、ＲＧＢの３つのカラーバンドからなる撮影画像データを取得する。
【００９１】
このため、対象物Ｏの姿勢が変化し、相対的に観測方向を変えて撮影された撮影画像データを得ることができる。また、撮影装置１１２の対象物Ｏに対する角度を変えることで撮影画像データを得ることもできる。そして、得られた撮影画像データは表面属性推定部１４０及び照明推定部２００に出力される。
【００９２】
なお、対象物Ｏを回転台上に設置しているが、複数の回転軸を持つ装置に対象物Ｏを設置して撮影をおこなってもよく、撮影装置１１２の位置や方向を変化させながら撮影してもよい。また、撮影装置１１２及び対象物Ｏの双方の位置を変化させながら撮影してもよい。
【００９３】
そして、本実施例の照明分布推定部２００は、撮影画像データと画像撮影時の撮影装置１１２に関する情報と撮影装置及び反射体Ｒの位置・姿勢情報、既知である反射体Ｒの形状モデル・反射率を基に対象物Oの位置における照明分布を推定し、得られた照明分布を表面属性推定部１４０に出力する。立体形状データは対象物Ｏの表面各部において、その３次元座標と法線を示すものである。
【００９４】
まず、画像情報上で回転に伴い変化する反射体位置ｊにおいて、画像撮影時の撮影装置１１２及び反射体Ｒの位置関係と反射体Ｒの形状から視線の正反射方向ベクトルθiを計算し、撮影画像上の輝度を反射体Ｒの反射率で除算した値を各反射体位置における照明分布Ｌｊ(θi)の値とし、反射体Ｒと対象物Ｏの位置関係と各反射体位置における照明分布Ｌｊ(θi)から対象物Ｏの位置における照明分布Ｌ(θi)を求める。
【００９５】
このように本実施例では、複数の反射体Ｒの位置から対象物Ｏの位置における照明分布を得るので、反射体Ｒと対象物Ｏとの位置のズレのよる影響を受けることなく、適切な表面属性データ及び３次元画像を生成することが可能となる。
【実施例６】
【００９６】
次に、本発明の実施例６における３次元画像処理システムの概略図を図１４に示す。図１４に示すように、照明環境の変化しない場所で、対象物Ｏと１つ又は複数の反射体Ｒを回転台上で回転中心から等距離の位置に設置し、対象物Ｏ及び反射体Ｒが同一の撮影画像データとして撮影されるように撮影装置１１２を配置する。そして、回転台を回転させながら、撮影装置１１２を用い複数の角度で撮影し、ＲＧＢの３つのカラーバンドからなる撮影画像データを取得する。
【００９７】
このため、対象物Ｏの姿勢が変化し、相対的に観測方向を変えて撮影された撮影画像データを得ることができる。また、撮影装置１１２の対象物Ｏに対する角度を変えることで撮影画像データを得ることもできる。そして、得られた撮影画像データは表面属性推定部１４０及び照明推定部２００に出力される。
【００９８】
なお、対象物Ｏを回転台上に設置しているが、複数の回転軸を持つ装置に対象物Ｏを設置して撮影をおこなってもよく、撮影装置１１２の位置や方向を変化させながら撮影してもよい。また、撮影装置１１２及び対象物Ｏの双方の位置を変化させながら撮影してもよい。
【００９９】
そして、本実施例の照明分布推定部２００は、撮影画像データと画像撮影時の撮影装置１１２に関する情報、撮影装置１１２及び反射体Ｒの位置・姿勢情報、既知である反射体Ｒの形状モデル・反射率を基に、回転に伴い変化する対象物Oの各位置における照明分布を推定し、得られた照明分布を表面属性推定部１４０に出力する。立体形状データは対象物Ｏの表面各部において、その３次元座標と法線を示すものである。
【０１００】
まず、回転台の回転によって、対象物Oの位置に反射体Ｒが位置する撮影画像データ上で画像撮影時の撮影装置１１２及び反射体Ｒの位置関係、反射体Ｒの形状から視線の正反射方向ベクトルθiを計算し、撮影画像データ上の輝度を反射体Ｒの反射率で除算した値を対象物各位置における照明分布Ｌ（θi）の値とする。
【０１０１】
例えば、１つの反射体Ｒを対象物Ｏと軸対象の位置に設置し、回転台の角度が３０度であるときには、反射体Ｒから得られた照明分布Ｌ（θi）を回転台の角度が２１０度である時の対象物Oに適用する。
【０１０２】
このように本実施例では、回転台の回転により反射体Ｒを対象物Ｏと同一の位置に移動させて撮影画像データを取得しているので、該対象物Ｏと反射体Ｒとの位置のズレによる影響、すなわち照明に関する情報や表面属性情報等の精度を低下させることなく、適切な３次元画像を生成することが可能となる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の実施例１の３次元画像処理システムの構成ブロック図。
【図２】本発明の実施例１の３次元画像処理システムにおけるデータフローを示す図。
【図３】本発明の実施例１の３次元画像処理システムにおける概要図。
【図４】本発明の実施例１の３次元画像処理システムにおける概要図。
【図５】本発明の実施例１の３次元画像処理システムにおける照明分布推定処理におけるフローチャート図。
【図６】本発明の実施例１の３次元画像処理システムにおける対象物の表面属性情報推定処理におけるフローチャート図。
【図７】本発明の実施例１の３次元画像処理システムの動作フローチャート図。
【図８】本発明の実施例１の３次元画像処理システムの照明分布推定におけるφ、ρの説明図。
【図９】本発明の実施例２の３次元画像処理システムにおける対象物の表面属性情報推定処理におけるフローチャート図。
【図１０】本発明の実施例２の３次元画像処理システムにおける表面属性一覧図。
【図１１】本発明の実施例３の３次元画像処理システムにおける概要図。
【図１２】本発明の実施例４の３次元画像処理システムにおける概要図。
【図１３】本発明の実施例５の３次元画像処理システムにおける概要図。
【図１４】本発明の実施例６の３次元画像処理システムにおける概要図。
【図１５】本発明の３次元画像処理システムにおける反射体を撮影した際の撮影画像データ例。
【図１６】本発明の３次元画像処理システムにおける照明分布推定の説明図。
【図１７】本発明の３次元画像処理システムにおける表面属性情報推定の説明図。
【図１８】本発明の３次元画像処理システムにおける法線変位の説明図である。
【符号の説明】
【０１０４】
１００      ３次元画像処理システム
１１０      画像情報取得部
１２０      撮影情報取得部
１３０      立体形状取得部
１４０      表面属性推定部
１５０      モデルデータ記憶部
１６０      ＣＧ生成部
１７０      ＣＧ表示部
１８０      制御部
１９０      メモリ
２００      照明分布推定部
【図１】
2006163545.tif 000013
【図２】
2006163545.tif 000014
【図３】
2006163545.tif 000015
【図４】
2006163545.tif 000016
【図５】
2006163545.tif 000017
【図６】
2006163545.tif 000018
【図７】
2006163545.tif 000019
【図８】
2006163545.tif 000020
【図９】
2006163545.tif 000021
【図１０】
2006163545.tif 000022
【図１１】
2006163545.tif 000023
【図１２】
2006163545.tif 000024
【図１３】
2006163545.tif 000025
【図１４】
2006163545.tif 000026
【図１５】
2006163545.tif 000027
【図１６】
2006163545.tif 000028
【図１７】
2006163545.tif 000029
【図１８】
2006163545.tif 000030