(57)【要約】【課題】ＣＧによる仮想体の質感を実物体の質感により近づける。【解決手段】質感調整支援システムは、コンピュータグラフィックスにより質感が実物体に近い仮想体を生成する際に、質感を設定する質感設定パラメータの調整を支援する質感調整支援システムであって、外部からの光を遮断する内部空間を有する容器であり、内部の所定の位置に実物体を配置し、実物体を照明する光源を任意の位置に移動可能な光源ユニット及び実物体を撮像する撮像装置が配置された撮像ボックスと、撮像ボックスにおける光源の位置と、撮像装置の位置との各々を制御する撮像ボックス制御部と、撮像ボックスにおいて撮像装置が実物体を撮像した撮像動画像と同一の照明条件及び視点条件によって、仮想体の再現動画像を生成する再現画像生成部と、撮像動画像と仮想体の再現動画像とを比較可能に画像表示部に表示させる表示制御部とを備える。【選択図】図２
2020095484.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータグラフィックスにより質感が実物体に近い仮想体を生成する際に、前記質感を設定する質感設定パラメータの調整を支援する質感調整支援システムであって、
外部からの光を遮断する内部空間を有する容器であり、内部の所定の位置に前記実物体を配置し、前記実物体を照明する光源を任意の位置に移動可能な光源ユニット及び前記実物体を撮像する撮像装置が配置された撮像ボックスと、
前記撮像ボックスにおける前記光源の位置と、前記撮像装置の位置との各々を制御する撮像ボックス制御部と、
前記撮像ボックスにおいて前記撮像装置が前記実物体を撮像した撮像動画像と同一の照明条件及び視点条件によって、前記仮想体の再現動画像を生成する再現画像生成部と、
前記撮像動画像と前記仮想体の再現動画像とを比較可能に画像表示部に表示させる表示制御部と
を備えることを特徴とする質感調整支援システム。
【請求項２】
ユーザの操作に応じて、前記仮想体の前記質感設定パラメータを調整する仮想体調整部を備え、
前記表示制御部は、前記撮像動画像と、前記仮想体調整部が前記質感設定パラメータを調整した前記仮想体の再現動画像とを比較可能に前記画像表示部に表示させる
ことを特徴とする請求項１に記載の質感調整支援システム。
【請求項３】
前記再現画像生成部は、前記仮想体調整部が前記質感設定パラメータを調整した前記仮想体の再現動画像を生成し、
前記表示制御部は、前記質感設定パラメータを示す情報を前記画像表示部に表示させ、前記ユーザの操作に応じて、前記質感設定パラメータを示す情報を変更させて前記画像表示部に表示させるとともに、前記撮像動画像と、前記仮想体調整部が前記質感設定パラメータを調整した前記仮想体の再現動画像とを比較可能に前記画像表示部に表示させる
ことを特徴とする請求項２に記載の質感調整支援システム。
【請求項４】
前記表示制御部は、前記光源の位置及び照明条件を示す情報と、前記撮像装置の位置及び撮像条件を示す情報とを前記画像表示部に表示させ、ユーザの操作に応じて、前記光源の位置及び照明条件を示す情報と、前記撮像装置の位置及び撮像条件を示す情報とを変更させて前記画像表示部に表示させ、
前記撮像ボックス制御部は、前記ユーザの操作に応じて、前記光源の位置及び照明条件と、前記撮像装置の位置及び撮像条件との各々を制御する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の質感調整支援システム。
【請求項５】
前記撮像ボックスは、前記所定の位置に配置された前記実物体と前記撮像装置との相対位置関係を変更する位置関係変更機構を備え、
前記撮像動画像は、前記位置関係変更機構が前記相対位置関係を変更しながら前記撮像装置が前記実物体を撮像した動画像である
ことを特徴とする請求項１から請求項４のいずれか一項に記載の質感調整支援システム。
【請求項６】
前記光源が、少なくとも、１つ又は複数の点光源、線光源、及び面光源のいずれかである
ことを特徴とする請求項１から請求項５のいずれか一項に記載の質感調整支援システム。
【請求項７】
前記光源ユニットが、ディスプレイにより構成されている
ことを特徴とする請求項１から請求項６のいずれか一項に記載の質感調整支援システム。
【請求項８】
前記撮像ボックス制御部は、少なくとも、前記光源の位置、輝度、色温度、及び配光分布のいずれかあるいは組み合わせを制御する
ことを特徴とする請求項１から請求項７のいずれか一項に記載の質感調整支援システム。
【請求項９】
前記撮像ボックス制御部は、少なくとも、前記撮像装置の位置、焦点距離、シャッタースピード、絞り値、ＩＳＯ感度、及びフレームレートのいずれかあるいは組み合わせを制御する
ことを特徴とする請求項１から請求項８のいずれか一項に記載の質感調整支援システム。
【請求項１０】
外部からの光を遮断する内部空間を有する容器であり、内部の所定の位置に実物体を配置し、前記実物体を照明する光源を任意の位置に移動可能な光源ユニット及び前記実物体を撮像する撮像装置が配置された撮像ボックスを備え、コンピュータグラフィックスにより質感が前記実物体に近い仮想体を生成する際に、前記質感を設定する質感設定パラメータの調整を支援する質感調整支援システムの質感調整支援方法であって、
撮像ボックス制御部が、前記撮像ボックスにおける前記光源の位置と、前記撮像装置の位置との各々を制御する撮像ボックス制御ステップと、
再現画像生成部が、前記撮像ボックスにおいて前記撮像装置が前記実物体を撮像した撮像動画像と同一の照明条件及び視点条件によって、前記仮想体の再現動画像を生成する再現画像生成ステップと、
表示制御部が、前記撮像動画像と前記仮想体の再現動画像とを比較可能に画像表示部に表示させる表示制御ステップと
を含むことを特徴とする質感調整支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、質感調整支援システム、及び質感調整支援方法に関する。
【背景技術】
【０００２】
従来、３ＤＣＧ（three-dimensional computer graphics）制作において、ＣＧデザイナーは、現実の対象物をモデリングすることによって形成された３次元形状に対して質感設定を行い、写実的な表現がなされたＣＧ画像を生成してきた。
また、３ＤＣＧ制作において、モデリングした３次元形状における質感設定とは、主にマテリアル（表面材質属性）の調整を示している。上記モデリングにおいて、基本的なマテリアルの質感設定のパラメータ（以下、質感設定パラメータ）としては、例えば、拡散色、拡散率、反射光、光沢、鏡面反射率、透明度、屈折率、不透明度、及びバンプマップ（バンプマップ深さ）などがある。また、非特許文献１に示されるように自動車のメタリック塗板などを表現するための反射モデルでは、例えば、塗料内のアルミ顔料やパール顔料による光輝感をパラメータとして持つ。
【０００３】
また、ＣＧにおける仮想体と比較する際に、実物体を照明する光源によって、ＣＧデザイナーが知覚する実物体に対する質感が異なるため、実物体とＣＧにおける仮想体との照明環境が同等となる、質感に対する知覚が統一された質感調整手段が求められる。
例えば、従来においては、光沢を調整するために、特定の光源で照明された実物体と表示ディスプレイ上の再現画像とを同時に観察・比較しながら表面からの反射成分（反射光成分）を編集する手法がとられている（例えば、非特許文献２参照）。
【０００４】
また、同様の手法として、特許文献１では、照明アレイを備えて実物体を照明するライトボックスとスクリーンとを一体化させる視覚化システムが記載されている。この手法では、スクリーンに仮想ライトボックスと仮想体とを表示することで観察者には、連続的なライトボックスがあるように感じられる。
また、他の手法としては、実物体を撮像した画像から実物体表面の質感パラメータを推定する方法が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第６３５７５１３号公報
【特許文献２】特許第３９６２５８８号公報
【非特許文献】
【０００６】
【非特許文献１】M. Rump, G. Muller, R. Sarlette, D. Koch and R. Klein, “Photo-realistic Rendering of Metallic Car Paint from Image-Based Measurements” Computer Graphics Forum, Ｖｏｌ．２７−２, ｐ５２７−５３６（２００８）
【非特許文献２】滝口貴裕、津村徳道、中口俊哉、三宅洋一、”実物体における光沢感再現システムの構築”  日本写真学会誌  vol.６８, No. Supplement1, ｐ３０-３１（２００５）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の手法では、例えば、実物体に対する光源の位置、照明する光の特性、及びＣＧデザイナーの視点の位置などを同一条件において実物体とＣＧにおける仮想体との質感を比較することが困難であった。そのため、上述した従来の手法では、ＣＧによる仮想体の質感を実物体に近い質感とするように、質感設定パラメータを調整することが困難であった。
【０００８】
本発明は、このような状況に鑑みてなされたもので、ＣＧによる仮想体の質感を実物体の質感により近づけることができる質感調整支援システム、及び質感調整支援方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記問題を解決するために、本発明の一態様は、コンピュータグラフィックスにより質感が実物体に近い仮想体を生成する際に、前記質感を設定する質感設定パラメータの調整を支援する質感調整支援システムであって、外部からの光を遮断する内部空間を有する容器であり、内部の所定の位置に前記実物体を配置し、前記実物体を照明する光源を任意の位置に移動可能な光源ユニット及び前記実物体を撮像する撮像装置が配置された撮像ボックスと、前記撮像ボックスにおける前記光源の位置と、前記撮像装置の位置との各々を制御する撮像ボックス制御部と、前記撮像ボックスにおいて前記撮像装置が前記実物体を撮像した撮像動画像と同一の照明条件及び視点条件によって、前記仮想体の再現動画像を生成する再現画像生成部と、前記撮像動画像と前記仮想体の再現動画像とを比較可能に画像表示部に表示させる表示制御部とを備えることを特徴とする質感調整支援システムである。
【００１０】
また、本発明の一態様は、上記の質感調整支援システムにおいて、ユーザの操作に応じて、前記仮想体の前記質感設定パラメータを調整する仮想体調整部を備え、前記表示制御部は、前記撮像動画像と、前記仮想体調整部が前記質感設定パラメータを調整した前記仮想体の再現動画像とを比較可能に前記画像表示部に表示させることを特徴とする。
【００１１】
また、本発明の一態様は、上記の質感調整支援システムにおいて、前記再現画像生成部は、前記仮想体調整部が前記質感設定パラメータを調整した前記仮想体の再現動画像を生成し、前記表示制御部は、前記質感設定パラメータを示す情報を前記画像表示部に表示させ、前記ユーザの操作に応じて、前記質感設定パラメータを示す情報を変更させて前記画像表示部に表示させるとともに、前記撮像動画像と、前記仮想体調整部が前記質感設定パラメータを調整した前記仮想体の再現動画像とを比較可能に前記画像表示部に表示させることを特徴とする。
【００１２】
また、本発明の一態様は、上記の質感調整支援システムにおいて、前記表示制御部は、前記光源の位置及び照明条件を示す情報と、前記撮像装置の位置及び撮像条件を示す情報とを前記画像表示部に表示させ、ユーザの操作に応じて、前記光源の位置及び照明条件を示す情報と、前記撮像装置の位置及び撮像条件を示す情報とを変更させて前記画像表示部に表示させ、前記撮像ボックス制御部は、前記ユーザの操作に応じて、前記光源の位置及び照明条件と、前記撮像装置の位置及び撮像条件との各々を制御することを特徴とする。
【００１３】
また、本発明の一態様は、上記の質感調整支援システムにおいて、前記撮像ボックスは、前記所定の位置に配置された前記実物体と前記撮像装置との相対位置関係を変更する位置関係変更機構を備え、前記撮像動画像は、前記位置関係変更機構が前記相対位置関係を変更しながら前記撮像装置が前記実物体を撮像した動画像であることを特徴とする。
【００１４】
また、本発明の一態様は、上記の質感調整支援システムにおいて、前記光源が、少なくとも、１つ又は複数の点光源、線光源、及び面光源のいずれかであることを特徴とする。
【００１５】
また、本発明の一態様は、上記の質感調整支援システムにおいて、前記光源ユニットが、ディスプレイにより構成されていることを特徴とする。
【００１６】
また、本発明の一態様は、上記の質感調整支援システムにおいて、前記撮像ボックス制御部は、少なくとも、前記光源の位置、輝度、色温度、及び配光分布のいずれかあるいは組み合わせを制御することを特徴とする。
【００１７】
また、本発明の一態様は、上記の質感調整支援システムにおいて、前記撮像ボックス制御部は、少なくとも、前記撮像装置の位置、焦点距離、シャッタースピード、絞り値、ＩＳＯ感度、及びフレームレートのいずれかあるいは組み合わせを制御することを特徴とする。
【００１８】
また、本発明の一態様は、外部からの光を遮断する内部空間を有する容器であり、内部の所定の位置に実物体を配置し、前記実物体を照明する光源を任意の位置に移動可能な光源ユニット及び前記実物体を撮像する撮像装置が配置された撮像ボックスを備え、コンピュータグラフィックスにより質感が前記実物体に近い仮想体を生成する際に、前記質感を設定する質感設定パラメータの調整を支援する質感調整支援システムの質感調整支援方法であって、撮像ボックス制御部が、前記撮像ボックスにおける前記光源の位置と、前記撮像装置の位置との各々を制御する撮像ボックス制御ステップと、再現画像生成部が、前記撮像ボックスにおいて前記撮像装置が前記実物体を撮像した撮像動画像と同一の照明条件及び視点条件によって、前記仮想体の再現動画像を生成する再現画像生成ステップと、表示制御部が、前記撮像動画像と前記仮想体の再現動画像とを比較可能に画像表示部に表示させる表示制御ステップとを含むことを特徴とする質感調整支援方法である。
【発明の効果】
【００１９】
本発明によれば、ＣＧによる仮想体の質感を実物体の質感により近づけることができる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態による質感調整支援システムの構成の一例を示す図である。
【図２】第１の実施形態による質感調整支援システムの一例を示す機能ブロック図である。
【図３】第１の実施形態における光源情報記憶部のデータ例を示す図である。
【図４】第１の実施形態における撮像情報記憶部のデータ例を示す図である。
【図５】第１の実施形態における撮像画像記憶部のデータ例を示す図である。
【図６】第１の実施形態における仮想体情報記憶部のデータ例を示す図である。
【図７】第１の実施形態における再現画像記憶部のデータ例を示す図である。
【図８】第１の実施形態における画像表示装置の表示画面の一例を示す図である。
【図９】第１の実施形態による質感調整支援システムの動作の一例を示すフローチャートである。
【図１０】第２の実施形態による質感調整支援システムの構成の一例を示す図である。
【図１１】第３の実施形態による質感調整支援システムの構成の一例を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態による質感調整支援システム及び質感調整支援方法について図面を参照して説明する。
【００２２】
＜第１の実施形態＞
図１は、第１の実施形態による質感調整支援システム１の構成の一例を示す図である。
図１に示すように、質感調整支援システム１は、撮像ボックス１０と、撮像ボックス制御装置１１と、質感調整支援装置２０と、画像表示装置２１とを備えている。質感調整支援システム１は、コンピュータグラフィックス（ＣＧ）により質感が実物体３０に近い仮想体を生成する際に、質感を設定する質感設定パラメータの調整を支援する。
【００２３】
撮像ボックス１０は、外部からの光を遮光（遮断）する素材から形成された容器である筐体により構成され、内面全てに対して、内部に設けられた光源Ｌ１の反射を防止するための黒塗り塗装が施されている。撮像ボックス１０の筐体底面には、実物体３０（仮想体の対象物である現実の物体）を配置する回転ステージ１４が設けられている。開閉扉１３は、撮像ボックス１０の筐体側壁に設けられており、実物体３０を撮像ボックス１０内に挿入する際に開けられ、実物体３０の撮像動画像を撮像する際に外部からの環境光を遮断するために閉じられる。
また、撮像ボックス１０は、動画カメラ１２と、回転ステージ１４と、光源ユニット１５とを備えている。
【００２４】
回転ステージ１４は、撮像ボックス１０の筐体底面に配置され、撮像ボックス１０の内部の所定の位置に実物体３０を配置するためのステージである。回転ステージ１４は、所定の位置に配置された実物体３０と動画カメラ１２との相対位置関係を変更する位置関係変更機構の一例である。回転ステージ１４は、ステージを回転させることにより、実物体３０と動画カメラ１２との相対位置関係（例えば、実物体３０の向きなど）を変更する。回転ステージ１４は、後述する撮像ボックス制御装置１１によってステージの回転位置が制御される。
【００２５】
光源ユニット１５は、実物体３０を照明する光源Ｌ１を任意の位置に移動可能な構成である。光源ユニット１５は、光源Ｌ１と、光源移動レール１５１とを備えている。光源ユニット１５は、後述する撮像ボックス制御装置１１によって、光源Ｌ１の位置、輝度、色温度、及び配光分布などが制御される。ここで、光源Ｌ１の輝度、色温度、及び配光分布は、光源Ｌ１の照明条件の一例である。
【００２６】
光源Ｌ１は、撮像ボックス１０の内部の光源移動レール１５１に配置され、実物体３０を照明する。光源Ｌ１は、一例として、１つの点光源として説明するが、例えば、少なくとも１つ又は複数の点光源、線光源、及び面光源のいずれかであってもよい。すなわち、光源Ｌ１は、１個あるいは２個以上の複数個のそれぞれ単体、あるいは組み合わせにより実物体３０を証明してもよい。
【００２７】
光源移動レール１５１は、例えば、撮像ボックス１０の筐体上面に配置され、レールに沿って光源Ｌ１を任意の位置に移動可能な機構である。なお、光源移動レール１５１は、筐体上面の他に、筐体側面などにも配置されるようにしてもよい。
【００２８】
動画カメラ１２（撮像装置の一例）は、撮像ボックス１０の内部に配置され、光源ユニット１５によって照明された実物体３０を撮像する。動画カメラ１２は、例えば、光源移動レール１５１によって光源Ｌ１の照明を変更しながら、あるいは、回転ステージ１４によって、実物体３０との相対位置関係を変更しながら、実物体３０を含む動画像を撮像する。動画カメラ１２は、後述する撮像ボックス制御装置１１によって、動画カメラ１２の位置、焦点距離、シャッタースピード、絞り値、ＩＳＯ感度、及びフレームレートなどが制御される。
【００２９】
ここで、焦点距離、シャッタースピード、絞り値、ＩＳＯ感度、及びフレームレートは、動画カメラ１２の撮像条件の一例である。また、動画カメラ１２の位置は、ユーザの視点条件に対応する。また、動画カメラ１２は、撮像した動画像（撮像動画像）を、撮像ボックス制御装置１１を介して質感調整支援装置２０に出力する。
なお、撮像動画像は、回転ステージ１４が実物体３０と動画カメラ１２との相対位置関係を変更しながら動画カメラ１２が実物体３０を撮像した動画像であってもよいし、光源ユニット１５が光源Ｌ１の照明を変更しながら動画カメラ１２が実物体３０を撮像した動画像であってもよい。
【００３０】
撮像ボックス制御装置１１（撮像ボックス制御部の一例）は、撮像ボックス１０の動画カメラ１２、回転ステージ１４、及び光源ユニット１５を制御する。撮像ボックス制御装置１１は、後述する質感調整支援装置２０からの指令に基づいて、例えば、光源Ｌ１の位置及び照明条件（例えば、輝度、色温度などの設定）を制御する。また、撮像ボックス制御装置１１は、後述する質感調整支援装置２０からの指令に基づいて、例えば、動画カメラ１２の位置及び撮像条件（例えば、焦点距離、シャッタースピード、絞り値、ISO感度、フレームレートなど）を制御する。
【００３１】
また、撮像ボックス制御装置１１は、後述する質感調整支援装置２０からの指令に基づいて、回転ステージ１４の回転位置を制御する。
また、撮像ボックス制御装置１１は、動画カメラ１２が撮像した撮像動画像を、質感調整支援装置２０に出力する。また、撮像ボックス制御装置１１は、例えば、光源Ｌ１の位置及び照明条件と、質感調整支援装置２０からの要求に応じて、動画カメラ１２の位置及び撮像条件とを、質感調整支援装置２０に出力する。
【００３２】
質感調整支援装置２０は、例えば、３Ｄ（three dimensions）ＣＧ（以下、単にＣＧと示す）における三次元座標系において、三次元形状として形成された仮想体の質感設定パラメータを、ユーザの調整に対応して変更する。質感調整支援装置２０は、質感設定パラメータが変更された三次元形状の仮想体から、ユーザの視点位置（視点条件）に対応した再現画像（再現動画像）を生成して、画像表示装置２１の表示画面に表示させる。すなわち、質感調整支援装置２０は、撮像ボックス１０における視点位置に対応した、ＣＧにおける三次元座標系の座標値（視点位置）からの視線方向（撮像方向）に対して垂直な面に、仮想体を投影して再現画像を生成する。なお、本実施形態において、再現画像には、再現動画像と、再現静止画像とが含まれるものとする。
【００３３】
次に、図２を参照して、質感調整支援装置２０の詳細な構成について説明する。
図２は、本実施形態による質感調整支援システム１の一例を示す機能ブロック図である。図２に示すように、質感調整支援システム１は、撮像ボックス制御装置１１と、動画カメラ１２と、回転ステージ１４と、光源ユニット１５と、質感調整支援装置２０と、画像表示装置２１と、入力装置２２とを備えている。
【００３４】
画像表示装置２１（画像表示部の一例）は、例えば、液晶ディスプレイなどの表示装置であり、上述した撮像動画像や再現画像（再現動画像）、各種メニュー画面などを表示しる。
入力装置２２は、例えば、キーボード、タッチパネル、マウスなどであり、ユーザの操作を受け付ける。
【００３５】
質感調整支援装置２０は、装置記憶部２３と、装置制御部２４とを備えている。
装置記憶部２３は、質感調整支援装置２０が利用する各種情報を記憶する。装置記憶部２３は、光源情報記憶部２３１と、撮像情報記憶部２３２と、撮像画像記憶部２３３と、仮想体情報記憶部２３４と、三次元形状記憶部２３５と、再現画像記憶部２３６とを備えている。
【００３６】
光源情報記憶部２３１は、動画カメラ１２が撮像した撮像動画像と、光源情報とを対応付けて、光源情報テーブルとして記憶する。ここで、図３を参照して、光源情報記憶部２３１が記憶する光源情報テーブルのデータ例について説明する。
図３は、本実施形態における光源情報記憶部２３１のデータ例を示す図である。
図３に示すように、光源情報記憶部２３１は、「撮像画像」と、「光源位置（ｘＬ，ｙＬ，ｚＬ）」と、「輝度分布」と、「色温度」とを対応付けて記憶する。
【００３７】
ここで、「撮像画像」は、動画カメラ１２が撮像した撮像動画像を識別する識別情報である撮像画像番号である。なお、本実施形態において、撮像画像には、撮像動画像と、撮像静止画像とが含まれるものとする。また、「光源位置（ｘＬ，ｙＬ，ｚＬ）」、「輝度分布」、及び「色温度」は、撮像画像番号に対応する撮像動画像が撮像された際の光源Ｌ１の位置、輝度、及び色温度を示している。なお、「光源位置（ｘＬ，ｙＬ，ｚＬ）」は、光源Ｌ１の三次元座標を示し、動画カメラ１２が実物体３０を動画で撮像した際には、各フレームの光源位置が格納される。
例えば、図３に示す例では、「撮像画像」が“００１”に対応する撮像動画像が撮像された際の「光源位置（ｘＬ，ｙＬ，ｚＬ）」が“ＰＬ１”であり、「輝度分布」が“Ｉ１”であり、「色温度」が“Ｋ１”であることを示している。
【００３８】
図２の説明に戻り、撮像情報記憶部２３２は、動画カメラ１２が撮像した撮像動画像と、撮像情報とを対応付けて、撮像情報テーブルとして記憶する。ここで、図４を参照して、撮像情報記憶部２３２が記憶する撮像情報テーブルのデータ例について説明する。
図４は、本実施形態における撮像情報記憶部２３２のデータ例を示す図である。
図４に示すように、撮像情報記憶部２３２は、「撮像画像」と、「カメラ位置（ｘＣ，ｙＣ，ｚＣ）」と、「シャッタースピード」と、「絞り値」と、「ＩＳＯ感度」と、「焦点距離」とを対応付けて記憶する。
【００３９】
ここで、「撮像画像」は、上述した光源情報記憶部２３１と同様に、撮像画像番号を示している。また、「カメラ位置（ｘＣ，ｙＣ，ｚＣ）」、「シャッタースピード」、「絞り値」、「ＩＳＯ感度」、及び「焦点距離」のそれぞれは、撮像画像番号に対応する撮像動画像が撮像された際の動画カメラ１２の位置、シャッタースピード、絞り値、ＩＳＯ感度、及び焦点距離を示している。なお、撮像情報記憶部２３２には、「動画カメラ１２が実物体３０を動画で撮像した際には、さらに、動画のフレームレート情報（「フレームレート」）が格納される。
【００４０】
例えば、図４に示す例では、「撮像画像」が“００１”に対応する撮像動画像が撮像された際の「カメラ位置（ｘＣ，ｙＣ，ｚＣ）」が“ＰＣ１”であり、「シャッタースピード」が“Ｓ１”であり、「絞り値」が“Ｆ１”であることを示している。また、この場合に、「ＩＳＯ感度」が“ＩＳＯ１”であり、「焦点距離」が“ｄ１”であり、「フレームレート」が“ＦＲ１”であることを示している。
【００４１】
再び、図２の説明に戻り、撮像画像記憶部２３３は、動画カメラ１２が撮像した撮像動画像を記憶する。撮像画像記憶部２３３は、例えば、撮像動画像の識別情報と、動画像データとを対応付けて記憶する。ここで、図５を参照して、撮像画像記憶部２３３が記憶するデータ例について説明する。
【００４２】
図５は、本実施形態における撮像画像記憶部２３３のデータ例を示す図である。
図５に示すように、撮像画像記憶部２３３は、「撮像画像」と、「撮像画像データ」とを対応付けて記憶する。ここで、「撮像画像」は、撮像動画像の識別情報を示し、上述した光源情報記憶部２３１と同様に、撮像画像番号を示している。また、「撮像画像データ」は、動画カメラ１２が撮像した画像データを示している。
例えば、図５に示す例では、「撮像画像」が“００１”に対応する「撮像画像データ」が“動画像データＡ”であることを示している。
【００４３】
再び、図２の説明に戻り、仮想体情報記憶部２３４は、三次元形状識別情報と、三次元形状識別情報が示す仮想体の三次元形状データインデックス及び質感設定パラメータとを対応付けて、仮想体テーブルとして記憶する。ここで、図６を参照して、仮想体情報記憶部２３４が記憶する仮想体テーブルのデータ例について説明する。
図６は、本実施形態における仮想体情報記憶部２３４のデータ例を示す図である。
図６に示すように、仮想体情報記憶部２３４は、「三次元形状識別情報」と、「三次元形状データインデックス」と、「質感設定パラメータ」とを対応付けて記憶する。
【００４４】
ここで、「三次元形状識別情報」は、仮想体を識別する識別情報を示している。また、「三次元形状データインデックス」は、仮想体の三次元形状データの格納先を示すインデックス情報であり、例えば、後述する三次元形状記憶部２３５の三次元形状データの格納アドレスやタグ情報などを示している。また、「質感設定パラメータ」は、仮想体の質感を調整するパラメータのデータを示している。
例えば、図６に示す例では、「三次元形状識別情報」が“ＣＢ１”に対応する仮想体は、「三次元形状データインデックス」が“ＸＸＸＸＸＸ”であり、「質感設定パラメータ」が“ＸＸＸＸＸＸ”であることを示している。
【００４５】
なお、本実施形態において、実物体３０及び仮想体の各々は、例えば、建装材であり、三次元形状データが絵柄、エンボスの形状情報の各々の情報から構成されている。また、例えば、自動車塗板である場合には、質感設定パラメータは、ソリッド層絵柄、パール層透過・屈折率、及び、フレーク光輝度の各々の情報から構成される。
【００４６】
再び、図２の説明に戻り、三次元形状記憶部２３５は、上述した仮想体の三次元形状データを記憶する。なお、三次元形状記憶部２３５が記憶する三次元形状データは、上述した三次元形状データインデックスに基づいて読み出される。
【００４７】
再現画像記憶部２３６は、後述する再現画像生成部２４４が生成した再現画像（再現動画像）を示す再現画像データ（再現動画像データ）と、上述した動画カメラ１２が撮像した撮像動画像とを対応付けて、再現画像テーブルとして記憶する。ここで、図７を参照して、再現画像記憶部２３６が記憶する再現画像テーブルのデータ例について説明する。
図７は、本実施形態における再現画像記憶部２３６のデータ例を示す図である。
図７に示すように、再現画像記憶部２３６は、「再現画像」と、「再現画像データ」と、「撮像画像」とを対応付けて記憶する。
【００４８】
ここで、「再現画像」は、再現画像生成部２４４が生成した再現画像を示す識別情報であり、例えば、再現画像番号を示している。また、「再現画像データ」は、再現画像番号に対応する再現画像データを示している。また、「撮像画像」は、再現画像に対応する撮像動画像の識別情報を示し、上述した光源情報記憶部２３１と同様に、撮像画像番号を示している。
【００４９】
例えば、図７に示す例では、「再現画像」が“Ｓ００１”に対応する「再現画像データ」が“再現動画像データＡ”であることを示している。また、この「再現画像」に対応する「撮像画像」が“００１”であることを示している。このように、再現画像記憶部２３６では、再現画像記憶部２３６は、再現画像生成部２４４が生成した再現画像（再現動画像）を記憶するとともに、仮想体の質感設定パラメータを比較する際に比較する「再現画像」と「撮像画像」とを対応付けている。
【００５０】
再び、図２の説明に戻り、装置制御部２４は、例えば、ＣＰＵ（Central Processing Unit）などを含むプロセッサであり、質感調整支援装置２０を統括的に制御する。装置制御部２４は、撮像環境取得部２４１と、質感設定パラメータ取得部２４２と、仮想体調整部２４３と、再現画像生成部２４４と、表示制御部２４５と、撮像環境制御部２４６とを備えている。
【００５１】
撮像環境取得部２４１は、撮像ボックス制御装置１１より撮像動画像を取得する。また、撮像環境取得部２４１は、撮像ボックス制御装置１１から撮像動画像の光源情報及び撮像情報の各々を取得する。撮像環境取得部２４１は、取得した撮像動画像を、上述した図５に示すように、撮像画像記憶部２３３に記憶させる。また、撮像環境取得部２４１は、取得した撮像動画像の光源情報を光源情報テーブルとして、上述した図３に示すように光源情報記憶部２３１に記憶させる。また、撮像環境取得部２４１は、取得した撮像動画像の撮像情報を撮像情報テーブルとして、上述した図４に示すように撮像情報記憶部２３２に記憶させる。
【００５２】
質感設定パラメータ取得部２４２は、ＣＧデザイナーなどのコンピュータグラフィックシステムの操作者が調整する質感設定パラメータを取得する。本実施形態において、質感設定パラメータには、例えば、拡散色、拡散率、反射光、光沢、鏡面反射率、透明度、屈折率、不透明度、バンプマップ（バンプマップ深さ）などが含まれる。また、質感設定パラメータには、例えば、自動車のメタリック塗板などに特有のパール層における色調の変化であるフリップフロップカラーテーブルや、フレークによる光輝度といったパラメータも含まれる。質感設定パラメータ取得部２４２は、入力装置２２に対する操作者（ユーザ）の操作に応じて、これらの質感設定パラメータの入力を受け付け、入力装置２２から質感設定パラメータを取得する。質感設定パラメータ取得部２４２は、取得した質感設定パラメータを、上述した図６に示すように、仮想体情報記憶部２３４に記憶させる。
【００５３】
仮想体調整部２４３は、入力装置２２に対する操作者（ユーザ）の操作に応じて、仮想体の質感設定パラメータを調整する。仮想体調整部２４３は、操作者の指定した仮想体の三次元形状識別情報に対応した仮想体の三次元形状データインデックスと、質感設定パラメータとの各々を、仮想体情報記憶部２３４が記憶する仮想体テーブルから読み出す。仮想体調整部２４３は、仮想体情報記憶部２３４の三次元形状データインデックスが示す三次元形状記憶部２３５の領域（格納位置）から仮想体の三次元形状データを読み出す。
【００５４】
また、仮想体調整部２４３は、入力装置２２に対する操作者（ユーザ）の操作に応じて、ＣＧの三次元座標系における仮想体の質感設定パラメータを調整し、仮想体の質感を変更する。仮想体調整部２４３は、調整した仮想体の質感設定パラメータを、当該仮想体に対応する仮想体情報記憶部２３４の「質感設定パラメータ」に記憶させて、質感設定パラメータを変更する。
【００５５】
再現画像生成部２４４は、撮像ボックス１０において動画カメラ１２が実物体３０を撮像した撮像動画像と同一の照明条件及び視点条件によって、仮想体の再現動画像を生成する。再現画像生成部２４４は、例えば、操作者（ユーザ）の指定した仮想体と質感を比較する撮像動画像の撮像画像番号に対応し、この撮像動画像を撮像した際の光源情報と撮像情報との各々を、光源情報記憶部２３１及び撮像情報記憶部２３２から読み出す。
【００５６】
例えば、再現画像生成部２４４は、撮像動画像を撮像した際の光源位置に対応する、ＣＧの三次元座標系における座標値ＰＬ（ｘＬ，ｙＬ，ｚＬ）を、光源情報記憶部２３１から読み出す。また、再現画像生成部２４４は、撮像動画像を撮像した際の視点位置に対応する、ＣＧの三次元座標系における座標値ＰＣ（ｘＣ，ｙＣ，ｚＣ）を、撮像情報記憶部２３２から読み出す。再現画像生成部２４４は、これにより仮想体の描画幾何条件を決定する。
【００５７】
また、再現画像生成部２４４は、撮像情報記憶部２３２から撮像動画像を撮像した際のカメラ設定に関する情報であるシャッタースピード、絞り値、ＩＳＯ感度、焦点距離情報、フレームレートの各々を読み出す。再現画像生成部２４４は、取得したカメラ設定情報に基づいて、仮想体を描画するカメラパラメータを設定し、同様の画角、露光量で仮想体の再現画像を生成する。また、撮像に要した撮像装置の解像度やイメージセンササイズといった情報は、予め撮像情報記憶部２３２に格納されていてもよい。
【００５８】
また、再現画像生成部２４４は、光源情報記憶部２３１から撮像動画像を撮像した際の照明に関する情報である輝度分布、色温度の各々を読み出す。再現画像生成部２４４は、取得した光源情報に基づいて、仮想体に照明する光源Ｌ１を設定する。
【００５９】
また、再現画像生成部２４４は、仮想体調整部２４３が仮想体情報記憶部２３４から読み出した、又は調整した質感設定パラメータと、仮想体調整部２４３が三次元形状記憶部２３５から読み出した仮想体の三次元形状データと、上述した撮像情報及び光源情報とを用いることで、仮想体の再現動画像を生成する。すなわち、再現画像生成部２４４は、取得又は調整された質感設定パラメータと、仮想体の三次元形状データと、上述した撮像情報及び光源情報とに基づいて、撮像ボックス１０と同様の照明・撮像環境における仮想体の再現動画像を生成する。再現画像生成部２４４は、生成した再現動画像を、上述した図７に示すように、再現画像記憶部２３６に記憶させる。
【００６０】
撮像環境制御部２４６は、入力装置２２に対する操作者（ユーザ）の操作に応じて、撮像ボックス１０の撮像環境（例えば、光源Ｌ１の位置及び照明条件、動画カメラ１２の位置及び撮像条件など）を、撮像ボックス制御装置１１に変更させる制御を行う。また、撮像環境制御部２４６は、変更させた撮像環境で、動画カメラ１２に撮像画像を撮像させる。
【００６１】
表示制御部２４５は、上述した撮像動画像と仮想体の再現動画像とを比較可能に画像表示装置２１に表示させる。例えば、表示制御部２４５は、撮像画像記憶部２３３から撮像動画像を読み込んで、当該撮像動画像を画像表示装置２１に表示させる。また、表示制御部２４５は、表示させた撮像動画像と同一条件で再現画像生成部２４４が生成した再現動画像を、画像表示装置２１の表示画面に撮像動画像と並列に表示させる。ここで、図８を参照して、表示制御部２４５が表示させる画像表示装置２１の表示画面について説明する。
【００６２】
図８は、本実施形態における画像表示装置２１の表示画面の一例を示す図である。
図８に示すように、表示制御部２４５の制御に基づいて、画像表示装置２１は、表示画面Ｇ１を表示する。表示画面Ｇ１には、例えば、仮想体画像表示領域Ａ１と、撮像画像表示領域Ａ２と、質感パラメータ設定領域Ａ３と撮像環境設定領域Ａ４とが設けられている。
【００６３】
仮想体画像表示領域Ａ１は、仮想体の再現画像（例えば、再現動画像など）が表示される領域であり、撮像画像表示領域Ａ２は、実物体３０の撮像画像（例えば、撮像動画像など）が表示される領域である。また、ハイライトｈ１は、仮想体のハイライトであり、ハイライトｈ２は、実物体３０のハイライトである。
また、質感パラメータ設定領域Ａ３は、仮想体の質感設定パラメータを変更可能に表示する領域であり、質感パラメータ設定領域Ａ３には、実物体３０の材質ごとに設定された複数の質感設定パラメータを調整するための、スライドバーもしくは数値入力ボックス等が設けられている。
【００６４】
また、撮像環境設定領域Ａ４は、実物体３０の撮像環境である、光源Ｌ１の位置及び照明条件と、動画カメラ１２の位置及び撮像条件とを変更可能に表示する領域である。撮像環境設定領域Ａ４には、例えば、光源Ｌ１及び動画カメラ１２の各種パラメータを任意に調整できるスライドバーや数値入力ボックスなどが設けられている。
【００６５】
表示制御部２４５は、再現画像生成部２４４が生成した再現画像を仮想体画像表示領域Ａ１に表示させるとともに、比較のために、動画カメラ１２が撮像した撮像画像を撮像画像表示領域Ａ２に表示させる。すなわち、表示制御部２４５は、操作者（ユーザ）によって入力装置２２を介して指定された再現画像に対応する再現画像データを再現画像記憶部２３６から読み出して、仮想体画像表示領域Ａ１に表示させる。そして、表示制御部２４５は、再現画像に対応する撮像画像番号（「撮像画像」）を再現画像記憶部２３６から取得し、当該撮像画像番号に対応する撮像動画像データを撮像画像記憶部２３３から読み出して、撮像画像表示領域Ａ２に表示させる。
【００６６】
また、表示制御部２４５は、質感設定パラメータ取得部２４２によって取得された質感設定パラメータを質感パラメータ設定領域Ａ３に表示させる。質感の調整のために操作者によって質感パラメータ設定領域Ａ３の質感設定パラメータが変更されると、仮想体調整部２４３が質感設定パラメータを変更（調整）し、表示制御部２４５は、変更に応じて質感パラメータ設定領域Ａ３の表示を変更する。また、質感設定パラメータが変更されると、再現画像生成部２４４は、質感設定パラメータの変更に応じた再現画像を生成し、表示制御部２４５は、当該再現画像を仮想体画像表示領域Ａ１に表示させる。
【００６７】
このように、表示制御部２４５は、撮像動画像と、仮想体調整部２４３が質感設定パラメータを調整した仮想体の再現動画像とを比較可能に画像表示装置２１に表示させる。すなわち、表示制御部２４５は、質感設定パラメータを示す情報を画像表示装置２１に表示させ、操作者の操作に応じて、質感設定パラメータを示す情報を変更させて画像表示装置２１に表示させるとともに、撮像動画像と、仮想体調整部が質感設定パラメータを調整した仮想体の再現動画像とを比較可能に画像表示装置２１に表示させる。なお、表示制御部２４５は、撮像動画像と再現動画像とを、静止画像として比較可能に表示させるようにしてもよい。
【００６８】
また、表示制御部２４５は、撮像環境取得部２４１によって取得された撮像環境設定を撮像環境設定領域Ａ４に表示させる。操作者によって撮像環境設定領域Ａ４の撮像環境設定が変更されると、撮像環境制御部２４６が、設定の変更を撮像ボックス制御装置１１に伝送して、リアルタイムに、例えば、光源Ｌ１の位置や強度もしくは動画カメラ１２の焦点といった撮像条件を反映させる。表示制御部２４５は、この設定の変更に応じて撮像環境設定領域Ａ４の表示を変更する。
このように、表示制御部２４５は、光源Ｌ１の位置及び照明条件を示す情報と、動画カメラ１２の位置及び撮像条件を示す情報とを画像表示装置２１に表示させ、操作者の操作に応じて、光源Ｌ１の位置及び照明条件を示す情報と、動画カメラ１２の位置及び撮像条件を示す情報とを変更させて画像表示装置２１に表示させる。
【００６９】
また、操作者によって撮像環境設定領域Ａ４の撮像環境設定が変更された場合、表示制御部２４５は、変更された撮像環境設定でリアルタイムに撮像された撮像動画像を撮像画像表示領域Ａ２に表示させるとともに、撮像環境設定に基づいて、再現画像生成部２４４が再生成した再現画像を仮想体画像表示領域Ａ１に表示させる。
【００７０】
次に、図９を参照して、本実施形態による質感調整支援システム１の動作について説明する。
図９は、本実施形態による質感調整支援システム１の動作の一例を示すフローチャートである。なお、図９に示す例では、実物体３０を建装材とし、建装材における絵柄、エンボス加工における凹凸形状及びコーティング材による光沢を再現する仮想体の質感調整を行なう処理について説明する。
【００７１】
図９に示すように、質感調整支援システム１は、まず、動画カメラ１２と表示画像のホワイトバランスとを調整する（ステップＳ１０１）。質感調整支援システム１では、撮像ボックス１０の回転ステージ１４上に、既知の分光反射率を持った白色板を配置して、表示画像のホワイトバランス及び色温度を調整することが可能である。質感調整支援装置２０は、操作者の操作に応じて、例えば、装置記憶部２３が記憶するホワイトバランス調整用白色板の仮想体を読み込み、画像表示装置２１に当該仮想体（再現画像）を表示させる。また、質感調整支援装置２０は、撮像ボックス１０内の照明環境と仮想体の照明環境とを同一にして実物体３０である白色板を動画カメラ１２に撮像させて、撮像画像を画像表示装置２１に表示させる。
【００７２】
ここで、質感調整支援装置２０の表示制御部２４５は、白色板の再現画像と撮像画像とを画像表示装置２１に比較可能に表示させる。操作者は、白色板の再現画像と撮像画像とを比較して、ホワイトバランス調整を実施する。すなわち、質感調整支援装置２０は、操作者の操作に応じて、ホワイトバランス調整を実行する。なお、質感調整支援装置２０は、例えば、調整は画像処理を用いて自動的にホワイトバランスを補正するようにしてもよい。
【００７３】
次に、質感調整支援システム１では、実物体３０が撮像ボックス１０に設置される（ステップＳ１０２）。すなわち、操作者は、撮像ボックス１０の開閉扉１３を開け、回転ステージ１４上の所定の位置に固定させて実物体３０を配置する。操作者は、実物体３０を配置が終了した後、撮像ボックス１０の開閉扉１３を閉じ、撮像ボックス１０の内部に外部から環境光が入射しないように、撮像ボックス１０の内部を密閉空間とする。これにより、撮像ボックス１０には、実物体３０が配置される。
【００７４】
次に、質感調整支援システム１は、実物体３０の動画像を撮像する（ステップＳ１０３）。質感調整支援装置２０の表示制御部２４５は、上述した図８に示すような表示画面を画像表示装置２１に表示させる。操作者の操作によって、撮像環境設定領域Ａ４が設定されると、質感調整支援装置２０の撮像環境制御部２４６が、撮像ボックス制御装置１１を介して、光源Ｌ１の位置及び照明条件、動画カメラ１２の位置及び撮像条件、等の撮像環境の設定を制御し、動画カメラ１２が、実物体３０を撮像する。動画カメラ１２は、例えば、光源Ｌ１の位置及び照明条件が変化する状況で実物体３０の動画像を撮像する。
【００７５】
また、質感調整支援装置２０の撮像環境取得部２４１は、上述したように、撮像された実物体３０の撮像動画像を、撮像ボックス制御装置１１を介して随時取得し、撮像画像記憶部２３３に記憶させる。また、表示制御部２４５は、取得した撮像動画像を随時、画像表示装置２１の撮像画像表示領域Ａ２に表示させる。また、撮像環境取得部２４１は、光源情報及び撮像情報を撮像ボックス制御装置１１から取得する。撮像環境取得部２４１は、取得した光源情報を光源情報テーブルとして、上述した図３に示すように光源情報記憶部２３１に記憶させるとともに、取得した撮像情報を撮像情報テーブルとして、上述した図４に示すように撮像情報記憶部２３２に記憶させる。
【００７６】
次に、質感調整支援装置２０は、同一照明環境下での再現動画像を生成する（ステップＳ１０４）。質感調整支援装置２０の再現画像生成部２４４は、撮像動画像を撮像した際に付与された撮像画像番号に対応させて、光源情報記憶部２３１及び撮像情報記憶部２３２に記憶された光源情報及び撮像情報の各々を読み出し、仮想体の再現画像を生成するための照明環境及び幾何条件を決定する。ここで、操作者の操作によって、実物体３０の形状データ及び質感設定パラメータが選択され、仮想体調整部２４３は、仮想体情報記憶部２３４及び三次元形状記憶部２３５から対応する情報を読み出す。
【００７７】
また、表示制御部２４５は、選択された質感設定パラメータを調整するための調整スライダー及び入力ボックスを、画像表示装置２１の質感パラメータ設定領域Ａ３に表示させる。再現画像生成部２４４は、仮想体調整部２４３が仮想体情報記憶部２３４から読み出した、又は調整した質感設定パラメータと、仮想体調整部２４３が三次元形状記憶部２３５から読み出した仮想体の三次元形状データと、上述した撮像情報及び光源情報とを用いることで、仮想体の再現画像（例えば、再現動画像）を生成する。表示制御部２４５は、再現画像生成部２４４が生成した再現動画像を画像表示装置２１の仮想体画像表示領域Ａ１に表示させる。また、再現画像生成部２４４は、生成した再現動画像を、上述した図７に示すように、再現画像記憶部２３６に記憶させる。
【００７８】
次に、質感調整支援システム１は、撮像動画像と再現動画像とを比較して仮想体の質感調整を行う（ステップＳ１０５）。すなわち、撮像動画像と再現動画像とを比較した操作者の操作によって、質感パラメータ設定領域Ａ３の質感設定パラメータが変更されて調整されると、仮想体調整部２４３は、順次変更される質感設定パラメータを取得し、仮想体の質感を変更するように再現画像生成部２４４に指示する。再現画像生成部２４４は、質感が変更された仮想体の再現動画像を生成し、表示制御部２４５は、質感が変更された仮想体の再現動画像を画像表示装置２１の仮想体画像表示領域Ａ１に表示させる。
【００７９】
例えば、平面的で光沢のある対象物では光源Ｌ１と動画カメラ１２の位置関係により光沢が生じる。質感調整支援システム１では、光源Ｌ１を動かしながら、上述した図８に示す仮想体のハイライトｈ１の強さや広がり方を実物体３０のハイライトｈ２と同様にするように質感設定パラメータを調整する。このようにリアルタイムで連続的に変化する実物体３０と仮想体の質感を合わせるように質感設定パラメータを調整することで、質感調整支援システム１では、実物体３０と同等の質感設定パラメータを持った仮想体を生成することができる。
【００８０】
次に、操作者が、撮像動画像における実物体３０の質感と、再現動画像における仮想体の質感とが同様であるか否かを判定する（ステップＳ１０６）。例えば、表示制御部２４５が、画像表示装置２１の表示画面に質感が同様になったか否かを問い合わせるボタン等を表示させて、質感調整支援装置２０は、入力装置２２を介して当該ボタンが選択されたか否かによって、質感が同様になったか否か判定する。質感調整支援装置２０は、操作者の操作によって質感が同様になったと判定した場合（ステップＳ１０６：ＹＥＳ）に、仮想体の質感の変更処理を終了する。また、質感調整支援装置２０は、操作者の操作によって質感が同様になっていないと判定した場合（ステップＳ１０６：ＮＯ）に、処理をステップＳ１０７に進め、質感を調整する処理を継続する。
【００８１】
ステップＳ１０７において、操作者が、質感の調整が困難であるか否かを判定する。操作者が質感の調整が困難であると判定した場合（ステップＳ１０７：ＹＥＳ）には、質感調整支援装置２０は、処理をステップＳ１０８に進める。また、操作者が質感の調整が困難でないと判定した場合（ステップＳ１０７：ＮＯ）には、質感調整支援装置２０は、処理をステップＳ１０５に戻し、質感を調整する処理を繰り返す。
【００８２】
ステップＳ１０８において、質感調整支援装置２０は、撮像環境設定領域Ａ４に対する操作者の操作に応じて、光源Ｌ１又は動画カメラ１２の設定変更を受け付けて、処理をステップＳ１０３に戻す。これにより、動画カメラ１２が、光源Ｌ１又は動画カメラ１２の設定変更された撮像環境により再度、実物体３０を撮像する。
【００８３】
以上説明したように、本実施形態による質感調整支援システム１は、コンピュータグラフィックス（ＣＧ）により質感が実物体３０に近い仮想体を生成する際に、質感を設定する質感設定パラメータの調整を支援する質感調整支援システムであって、撮像ボックス１０と、撮像ボックス制御装置１１（撮像ボックス制御部）と、再現画像生成部２４４と、表示制御部２４５とを備える。撮像ボックス１０は、外部からの光を遮断する内部空間を有する容器であり、内部の所定の位置に実物体３０を配置し、実物体３０を照明する光源Ｌ１を任意の位置に移動可能な光源ユニット１５及び実物体３０を撮像する動画カメラ１２（撮像装置）が配置されている。撮像ボックス制御装置１１は、撮像ボックス１０における光源Ｌ１の位置と、動画カメラ１２の位置との各々を制御する。再現画像生成部２４４は、撮像ボックス１０において動画カメラ１２が実物体３０を撮像した撮像動画像と同一の照明条件及び視点条件によって、仮想体の再現動画像を生成する。表示制御部２４５は、撮像動画像と仮想体の再現動画像とを比較可能に画像表示装置２１（画像表示部）に表示させる。
【００８４】
これにより、本実施形態による質感調整支援システム１は、質感を再現したい実物体３０の撮像動画像を撮像ボックス１０内部において撮像するため、外部の環境光を遮断し、光源Ｌ１の位置及び視点の位置（視線方向を含み）が既知の状態における撮像動画像が得られ、且つ、この撮像動画像と同様の撮像環境により生成した仮想体の再現画像を得ることが可能となる。そのため、本実施形態による質感調整支援システム１は、撮像動画像と、当該撮像動画像と同様の撮像環境によって生成した再現画像との各々の質感を比較し、質感設定パラメータを調整することができるため、ＣＧデザイナーなどの操作者（ユーザ）が環境光の影響を排除し、且つ同一撮像条件下における三次元形状の仮想体の質感調整を行うことができる。よって、本実施形態による質感調整支援システム１は、ＣＧによる仮想体の質感を実物体３０の質感により近づけることができる。
【００８５】
また、ＣＧにおいては、実物体３０の持つ凹凸形状を擬似的に表現するため、実際に形状を変化させずに表面の法線方向を変化させることにより、シェーディングによる面の明るさを変化させて凹凸感を表すバンプマッピングという手法がある。
バンプマッピングにより生じる法線変化の光沢は、光源位置及び視点位置（視線方向も含む）により異なって観察されるため、本実施形態による質感調整支援システム１では、再現される仮想体の凹凸形状の質感をバンプマッピングにより表現する場合であっても、仮想体の質感の調整を、質感設定パラメータの調整により行なうことができる。
【００８６】
また、上述した特許文献２に記載の従来技術では、対象物表面の反射光を複数の光源・視点より撮像し、撮像画像から物体表面での反射の方向および強度を示す双方向反射分布関数を自動的に推定するため、ＣＧデザイナーのいずれもが同一の質感パラメータが得られるという利点がある。しかしながら、特許文献２に記載の従来技術では、双方向反射分布関数として用いられる反射モデル関数で表現できる材質は、光を透過しない等方性反射を持つ物体に限られる。また、特許文献２に記載の従来技術では、金属などの強い光沢を持つ実物体３０を、精度よくＣＧにおける仮想体として再現するためには、光源位置及び視点の位置の各々を、細かくずらした撮像画像の複数、それも多数の枚数を撮像する必要があり、反射モデル関数により推定する際に非常に長い時間を要する。
【００８７】
これに対して、本実施形態による質感調整支援システム１では、撮像動画像と再現動画像とを比較することで、ＣＧデザイナーなどの操作者（ユーザ）が環境光の影響を排除し、且つ同一撮像条件下における三次元形状の仮想体の質感調整を行うことができ、特許文献２に記載の従来技術のように、反射モデル関数による推定のための非常に長い時間を要する必要がない。
また、上述した特許文献１に記載の従来技術では、実物体３０の表面における凹凸形状により生じる陰影や、透過性、光輝感を有する実物体３０を透過する光の透過度を調整することはできない。これに対して、本実施形態による質感調整支援システム１では、上述したように仮想体の凹凸形状の質感をバンプマッピングにより表現する場合であっても、仮想体の質感の調整を、質感設定パラメータの調整により行なうことができる。
【００８８】
また、本実施形態による質感調整支援システム１は、操作者（ユーザ）の操作に応じて、仮想体の質感設定パラメータを調整する仮想体調整部２４３を備える。表示制御部２４５は、撮像動画像と、仮想体調整部２４３が質感設定パラメータを調整した仮想体の再現動画像とを比較可能に画像表示装置２１に表示させる。
これにより、本実施形態による質感調整支援システム１は、撮像動画像と、再現動画像とを比較しながら適切に質感設定パラメータを調整することができる。
【００８９】
また、本実施形態では、再現画像生成部２４４は、仮想体調整部２４３が質感設定パラメータを調整した仮想体の再現動画像を生成する。表示制御部２４５は、質感設定パラメータを示す情報を画像表示装置２１に表示させ、操作者の操作に応じて、質感設定パラメータを示す情報を変更させて画像表示装置２１に表示させるとともに、撮像動画像と、仮想体調整部が質感設定パラメータを調整した仮想体の再現動画像とを比較可能に画像表示装置２１に表示させる。
これにより、本実施形態による質感調整支援システム１は、画像表示装置２１に表示された質感設定パラメータを示す情報を見ながら、容易に質感設定パラメータを変更できるとともに、質感設定パラメータを調整した仮想体の再現動画像がリアルタイムに表示されて反映されるため、比較をしながら質感設定パラメータを適切に調整することができる。
【００９０】
また、本実施形態では、表示制御部２４５は、光源Ｌ１の位置及び照明条件を示す情報と、動画カメラ１２の位置及び撮像条件を示す情報とを画像表示装置２１に表示させ、操作者の操作に応じて、光源Ｌ１の位置及び照明条件を示す情報と、動画カメラ１２の位置及び撮像条件を示す情報とを変更させて画像表示装置２１に表示させる。撮像ボックス制御装置１１は、ユーザの操作に応じて、光源Ｌ１の位置及び照明条件と、動画カメラ１２の位置及び撮像条件との各々を制御する。
【００９１】
これにより、本実施形態による質感調整支援システム１は、画像表示装置２１に表示された光源Ｌ１の位置及び照明条件を示す情報及び動画カメラ１２の位置及び撮像条件を示す情報を見ながら、光源Ｌ１の位置及び照明条件と、動画カメラ１２の位置及び撮像条件とを容易に変更することができる。そして、本実施形態による質感調整支援システム１は、変更した光源Ｌ１の位置及び照明条件と、変更した動画カメラ１２の位置及び撮像条件とに対応した撮像動画像を適切に取得することができる。
【００９２】
また、本実施形態では、撮像ボックス１０は、所定の位置に配置された実物体３０と動画カメラ１２との相対位置関係を変更する位置関係変更機構（例えば、回転ステージ１４）を備える。撮像動画像は、位置関係変更機構（例えば、回転ステージ１４）が相対位置関係を変更しながら動画カメラ１２が実物体３０を撮像した動画像である。
これにより、本実施形態による質感調整支援システム１は、実物体３０と動画カメラ１２との相対位置関係を変更しながら（例えば、実物体３０を回転させながら）、質感の変化を撮像することで連続的な光沢の変化を表示することができる。よって、本実施形態による質感調整支援システム１は、実物体３０との相対位置関係が連続的に変化した場合でも、ＣＧによる仮想体の質感を実物体３０の質感により近づけることができる。
【００９３】
また、本実施形態では、光源Ｌ１が、少なくとも、１つ又は複数の点光源、線光源、及び面光源のいずれかである。
これにより、本実施形態による質感調整支援システム１は、複雑な照明条件に対応させて、ＣＧによる仮想体の質感を実物体３０の質感により近づけることができる。
【００９４】
また、本実施形態では、撮像ボックス制御装置１１は、少なくとも、光源Ｌ１の位置、輝度、色温度、及び配光分布のいずれかあるいは組み合わせを制御する。
これにより、本実施形態による質感調整支援システム１は、さらに複雑な照明条件に対応させて、ＣＧによる仮想体の質感を実物体３０の質感により近づけることができる。
【００９５】
また、本実施形態では、撮像ボックス制御装置１１は、少なくとも、動画カメラ１２の位置、焦点距離、シャッタースピード、絞り値、ＩＳＯ感度、及びフレームレートのいずれかあるいは組み合わせを制御する。
これにより、本実施形態による質感調整支援システム１は、自由度の高い撮像条件（視点条件）に対応させて、ＣＧによる仮想体の質感を実物体３０の質感により近づけることができる。
【００９６】
また、本実施形態による質感調整支援方法は、上述した撮像ボックス１０を備え、コンピュータグラフィックス（ＣＧ）により質感が実物体３０に近い仮想体を生成する際に、質感を設定する質感設定パラメータの調整を支援する質感調整支援システム１の質感調整支援方法であって、撮像ボックス制御ステップと、再現画像生成ステップと、表示制御ステップとを含む。撮像ボックス制御ステップにおいて、撮像ボックス制御装置１１が、撮像ボックス１０における光源Ｌ１の位置と、動画カメラ１２の位置との各々を制御する。再現画像生成ステップにおいて、再現画像生成部２４４が、撮像ボックス１０において動画カメラ１２が実物体３０を撮像した撮像動画像と同一の照明条件及び視点条件によって、仮想体の再現動画像を生成する。表示制御ステップにおいて、表示制御部２４５が、撮像動画像と仮想体の再現動画像とを比較可能に画像表示装置２１に表示させる。
これにより、本実施形態による質感調整支援方法は、上述した質感調整支援システム１と同様の効果を奏し、ＣＧによる仮想体の質感を実物体３０の質感により近づけることができる。
【００９７】
＜第２の実施形態＞
次に、図面を参照して、第２の実施形態による質感調整支援システム１ａについて説明する。
図１０は、第２の実施形態による質感調整支援システム１ａの構成の一例を示す図である。
図１０に示すように、質感調整支援システム１ａは、撮像ボックス１０ａと、撮像ボックス制御装置１１と、質感調整支援装置２０と、画像表示装置２１とを備えている。
【００９８】
本実施形態では、撮像ボックス１０ａの構成が異なる点を除いて、第１の実施形態と同様である。図１０において、図１に示す第１の実施形態と同一の構成には同一の符号を付与し、その説明を省略する。
本実施形態の撮像ボックス１０ａは、光源ユニット１５ａを備えており、光源ユニット１５ａは、光源Ｌ２と光源移動アーチ１５１ａとを備える。光源Ｌ２は、光源移動アーチ１５１ａは、撮像ボックス１０ａ内部にアーチ状に取り付けられている。光源Ｌ２は、光源移動アーチ１５１ａ上を移動することができる。
【００９９】
光源移動アーチ１５１ａは、実物体３０を設置する回転ステージ１４の中心に対して天頂角方向０°〜９０°まで伸びている。また、光源移動アーチ１５１ａは、回転ステージ１４の中心に対して方位角方向に３６０°回転して移動することができる。
操作者（ユーザ）は、質感調整支援装置２０を操作し、画像表示装置２１の表示画面の撮像環境設定領域Ａ４から光源Ｌ２の天頂角及び方位角を指定して光源位置を制御することができる。
【０１００】
以上説明したように、本実施形態による質感調整支援システム１ａは、第１の実施形態と同様に、質感設定パラメータを調整するため、ＣＧデザイナーなどの操作者が環境光の影響を排除し、同一撮像条件下における実物体３０の質感に対して三次元形状の仮想体の質感を近づける調整を行うことができる。
【０１０１】
さらに、本実施形態による質感調整支援システム１ａは、実物体３０に対してあらゆる角度から照明することができ、実物体３０の光沢を余すことなく捉えることができる。特に建装材や自動車塗板といったパール材料を含んだ層がある実物体３０では、フリップフロップ現象による照明角度に対する色味の変化が重要となる。また、例えば、自動車塗板のようなフレーク材料を含んだ実物体３０では、照明の入射角度が浅い角度から深い角度に至るまでの、光輝感の変化が重要である場合がある。本実施形態による質感調整支援システム１ａは、このような場合であっても、光源移動アーチ１５１ａ上の光源Ｌ２を連続的に移動させながら撮像動画像を撮像し、当該撮像動画像と質感調整支援装置２０で生成した仮想体の再現動画像とを表示することで連続的な質感の変化を比較して、質感パラメータを決定することができる。
【０１０２】
＜第３の実施形態＞
次に、図面を参照して、第３の実施形態による質感調整支援システム１ｂについて説明する。
図１１は、第３の実施形態による質感調整支援システム１ｂの構成の一例を示す図である。
図１１に示すように、質感調整支援システム１ｂは、撮像ボックス１０ｂと、撮像ボックス制御装置１１と、質感調整支援装置２０と、画像表示装置２１とを備えている。
【０１０３】
本実施形態では、撮像ボックス１０ｂの構成が異なる点を除いて、第１の実施形態と同様である。図１１において、図１に示す第１の実施形態と同一の構成には同一の符号を付与し、その説明を省略する。
本実施形態の撮像ボックス１０ａは、光源ユニットとして、照明用ディスプレイ１５ｂを備えている。
【０１０４】
照明用ディスプレイ１５ｂは、例えば、照明用ＬＣＤ（液晶ディスプレイ）Ｌ３を備えており、これを照明光源として用いる。本実施形態では、照明用ＬＣＤＬ３の表示を変更することで、光源として任意の位置、形状、輝度、色を設定することができる。例えば、照明用ディスプレイ１５ｂの１画素のみを点灯することで非常に小さい点光源を表現することが可能である。また、照明用ディスプレイ１５ｂの表示を変更することで、線光源や面光源といった任意の形状の光源を移動させながら照明することが可能である。さらに、照明用ディスプレイ１５ｂは、入力として絵柄のある動画像を用いて照明光源として用いることができる。
なお、図１１に示す例では、撮像ボックス１０ｂの上部に照明用ディスプレイ１５ｂが設置されている例を説明したが、撮像ボックス１０ｂの側面にも配置されているようにしてもよい。
【０１０５】
以上説明したように、本実施形態による質感調整支援システム１ｂは、第１の実施形態と同様に、質感設定パラメータを調整するため、ＣＧデザイナーなどの操作者が環境光の影響を排除し、同一撮像条件下における実物体３０の質感に対して三次元形状の仮想体の質感を近づける調整を行うことができる。
【０１０６】
また、本実施形態では、光源ユニットが、照明用ディスプレイ１５ｂ（ディスプレイ）により構成されている。
これにより、本実施形態による質感調整支援システム１ｂは、光源情報として画像を用いることができるので光源制御が用意となる。また、本実施形態による質感調整支援システム１ｂは、質感調整支援装置２０において、照明光を作成する際にも同じ画像を用いることができるため、再現画像を生成する際の計算が容易となる。また、本実施形態による質感調整支援システム１ｂは、質感設定パラメータを調整した後に、線光源や、面光源といった異なる照明環境下でも実物体３０と同様の質感が得られているか確認することがさえらに容易になる。
【０１０７】
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、表示制御部２４５は、一例として、撮像動画像と、再現動画像とを併記して比較可能に表示する例を説明したが、これに限定されるものではない。表示制御部２４５は、例えば、撮像動画像と再現動画像とを重ねて表示するようにしてもよいし、併記した表示と重ねての表示とを切り替えて表示するようにしてもよい。
【０１０８】
また、上記の各実施形態において、表示制御部２４５は、撮像動画像と再現動画像とを比較するための、スケール（目盛）や、２つの画像上の位置を比較するための補助線などを表示するようにしてもよい。また、表示制御部２４５は、操作者の操作に応じて、指定された２つの画像上の位置の座標や輝度値などを表示するようにしてもよい。
【０１０９】
また、上記の各実施形態において、撮像ボックス１０（１０ａ、１０ｂ）が、位置関係変更機構の一例として、回転ステージ１４を備える例を説明したが、これに限定されるものではなく、実物体３０と動画カメラ１２との相対位置関係を変更可能な機構であれば、他の機構であってもよい。
【０１１０】
なお、上述した質感調整支援システム１（１ａ、１ｂ）が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した質感調整支援システム１（１ａ、１ｂ）が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した質感調整支援システム１（１ａ、１ｂ）が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。
【０１１１】
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に質感調整支援システム１（１ａ、１ｂ）が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１１２】
また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【符号の説明】
【０１１３】
１、１ａ、１ｂ…質感調整支援システム
１０、１０ａ、１０ｂ…撮像ボックス
１１…撮像ボックス制御装置
１２  動画カメラ
１３  開閉扉
１４  回転ステージ
１５、１５ａ…光源ユニット
１５ｂ…照明用ディスプレイ
２０…質感調整支援装置
２１…画像表示装置
２２…入力装置
２３…装置記憶部
２４…装置制御部
３０…実物体
１５１…光源移動レール
１５１ａ…光源移動アーチ
２３１…光源情報記憶部
２３２…撮像情報記憶部
２３３…撮像画像記憶部
２３４…仮想体情報記憶部
２３５…三次元形状記憶部
２３６…再現画像記憶部
２４１…撮像環境取得部
２４２…質感設定パラメータ取得部
２４３…仮想体調整部
２４４…再現画像生成部
２４５…表示制御部
２４６…撮像環境制御部
Ｌ１、Ｌ２…光源
Ｌ３…照明用ＬＣＤ
【図１】
2020095484.tif 000003
【図２】
2020095484.tif 000004
【図３】
2020095484.tif 000005
【図４】
2020095484.tif 000006
【図５】
2020095484.tif 000007
【図６】
2020095484.tif 000008
【図７】
2020095484.tif 000009
【図８】
2020095484.tif 000010
【図９】
2020095484.tif 000011
【図１０】
2020095484.tif 000012
【図１１】
2020095484.tif 000013