(57)【要約】【課題】スペクトル情報を維持するとともに、全てのレンダリング処理をやり直すことなくマルチバンドのＣＧの再計算を可能とする画像生成装置を提供する。【解決手段】画像生成装置１０ａにおいて、反射特性計測部１１ａは、撮影装置２０ａから被写体の反射光のスペクトル信号を得て、スペクトル信号と撮影時の角度に基づくマルチバンドデータと、分光反射率推定行列とを出力する。マルチバンド画像生成部１３は、複数のマルチバンドデータの中からＣＧシーンデータ生成装置２１から入力される画像データの各画素に対応するマルチバンドデータを抽出してマルチバンド画像データを生成する。色再現処理部１５は、マルチバンド画像データと分光反射率推定行列と照明光スペクトルデータとに基づいて反射光スペクトルデータを算出する。表示装置用画像生成部１６は、反射光スペクトルデータに基づいて、ＣＧ画像を生成して表示装置に出力する。【選択図】    図１
2006277515.tif 000002
【特許請求の範囲】
【請求項１】
表示装置に接続され、入力される画像データ及び照明光スペクトルデータに基づいて生成される目的画像を前記表示装置に出力する画像生成装置であって、
複数の角度から光源が照射される被写体からの反射光を撮影し、前記反射光のスペクトル信号と撮影時の前記角度とに基づく複数の撮影情報と、予め算出される分光反射率推定行列とを出力する反射特性計測手段と、
前記反射特性計測手段から出力される前記複数の撮影情報の中から前記入力される画像データの各画素に対応する前記撮影情報を前記各画素の角度に基づいて抽出し、抽出した前記撮影情報から構成される画像構成データを生成し、生成した前記画像構成データと前記分光反射率推定行列とを出力する画像生成手段と、
前記画像生成手段により出力される前記画像構成データと、前記分光反射率推定行列と、前記入力される前記照明光スペクトルデータとに基づいて反射光スペクトルデータを算出する色再現手段と、
前記色再現手段により算出される前記反射光スペクトルデータに基づいて前記目的画像を生成し、生成した前記目的画像を前記表示装置に出力する表示装置用画像生成手段と、
を具備したことを特徴とする画像生成装置。
【請求項２】
前記反射特性計測手段から出力される前記撮影情報のバンド数が予め設定される所定バンド数でない場合、前記撮影情報に対応する分光反射率推定行列と、予め設定される仮想照明光源及び前記所定バンドを有する仮想撮影装置の情報に基づいて前記所定バンド数に対応する第２の分光反射率推定行列を算出する分光反射率推定手段と、
前記分光反射率推定手段によって算出される前記第２の分光反射率推定行列と、前記撮影情報と、予め設定される仮想照明光源及び前記所定バンドを有する仮想撮影装置とに基づいて、前記所定バンド数を有する第２の撮影情報を算出し、算出した第２の撮影情報と前記第２の分光反射率推定行列とを前記画像生成手段に出力する仮想撮影情報生成手段と、を備え、
前記反射特性計測手段は、
前記撮影情報のバンド数が所定バンド数か否かを判定し、バンド数が前記所定バンド数と一致しない場合、前記撮影情報と前記撮影情報に対応する分光反射率推定行列とを前記分光反射率推定手段に出力し、バンド数が前記所定バンド数と一致する場合、前記撮影情報と、前記撮影情報に対応する分光反射率推定行列とを前記画像生成手段に出力することを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記撮影情報と、前記撮影情報に対応する前記分光反射率推定行列を記憶する第１の記憶手段を更に備え、
前記反射特性計測手段は、
前記撮影情報と前記分光反射率推定行列とを出力する際に、前記撮影情報と前記分光反射率推定行列とを前記第１の記憶手段に記録し、
前記画像生成手段は、
前記第１の記憶手段に記憶されている前記複数の撮影情報の中から前記入力される画像データの各画素に対応する前記撮影情報を前記各画素の角度に基づいて抽出し、抽出した前記撮影情報から構成される画像構成データを生成し、生成した前記画像構成データと前記分光反射率推定行列とを出力することを特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
前記分光反射率推定手段は、
前記第２の分光反射率推定行列を算出した際に、算出した前記第２の分光反射率推定行列を前記第１の記憶手段に記録し、
前記仮想撮影情報生成手段は、
前記第２の撮影情報を出力する際に、前記第２の撮影情報を前記第２の分光反射率推定行列に対応付けて前記第１の記憶手段に記録することを特徴とする請求項３に記載の画像生成装置。
【請求項５】
前記画像構成データと前記分光反射率推定行列を記憶する第２の記憶手段を更に備え、
前記画像生成手段は、
前記画像構成データと前記分光反射率推定行列とを出力する際に、前記画像構成データと前記分光反射率推定行列とを前記第２の記憶手段に記録し、
前記色再現手段は、
前記第２の記憶手段から前記画像構成データと前記分光反射率推定行列とを読み出し、読み出した前記画像構成データと、前記分光反射率推定行列と、前記入力される前記照明光スペクトルデータとに基づいて反射光スペクトルデータを算出することを特徴とする請求項１から４のいずれか１つに記載の画像生成装置。
【請求項６】
表示装置に接続され、入力される画像データ及び照明光スペクトルデータに基づいて生成される目的画像を前記表示装置に出力する画像生成装置における画像生成方法であって、
複数の角度から光源が照射される被写体からの反射光を撮影し、前記反射光のスペクトル信号と撮影時の前記角度とに基づく複数の撮影情報と、予め算出される分光反射率推定行列とを出力するステップと、
出力される前記複数の撮影情報の中から前記入力される画像データの各画素に対応する前記撮影情報を前記各画素の角度に基づいて抽出し、抽出した前記撮影情報から構成される画像構成データを生成し、生成した前記画像構成データと前記分光反射率推定行列とを出力するステップと、
出力される前記画像構成データと、前記分光反射率推定行列と、前記入力される前記照明光スペクトルデータとに基づいて反射光スペクトルデータを算出するステップと、
算出される前記反射光スペクトルデータに基づいて前記目的画像を生成し、生成した前記目的画像を前記表示装置に出力するステップと、
を有することを特徴とする画像生成方法。
【請求項７】
表示装置に接続され、入力される画像データ及び照明光スペクトルデータに基づいて生成される目的画像を前記表示装置に出力する画像生成装置のコンピュータに、
複数の角度から光源が照射される被写体からの反射光を撮影し、前記反射光のスペクトル信号と撮影時の前記角度とに基づく複数の撮影情報と、予め算出される分光反射率推定行列とを出力するステップと、
出力される前記複数の撮影情報の中から前記入力される画像データの各画素に対応する前記撮影情報を前記各画素の角度に基づいて抽出し、抽出した前記撮影情報から構成される画像構成データを生成し、生成した前記画像構成データと前記分光反射率推定行列とを出力するステップと、
出力される前記画像構成データと、前記分光反射率推定行列と、前記入力される前記照明光スペクトルデータとに基づいて反射光スペクトルデータを算出するステップと、
算出される前記反射光スペクトルデータに基づいて前記目的画像を生成し、生成した前記目的画像を前記表示装置に出力するステップと、
を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主にコンピュータ・グラフィックスの生成に用いられる画像生成装置及び画像生成方法並びにコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、コンピュータ・グラフィックス（以下、ＣＧ：Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）の技術を用いた画像生成の分野では、実際に物を制作した時と同じ色や光沢の見え方を正確にシミュレーションにより再現、すなわち当該対象物があたかも画面上に実際に存在するように人によって見られるように正確にシミュレーションにより再現するＣＧの製作技術が要望されており、これまでに幾つかの技術が提案されている。
【０００３】
例えば、非特許文献１に記載の技術では、カメラで実測した被写体の反射率をＣＧのソフトウェアに入力することにより非常にリアルな３Ｄ−ＣＧを作成している。しかし、ＲＧＢカメラによって計測される計測値からでは正しい分光反射率情報が推定できないため、実物を実際に観察した場合と同じ色の見え方を再現することは非常に難しいと認識されていた。
【０００４】
正しい色や光沢の見え方をシミュレーションするためには、非特許文献２に記載の技術のように、ＲＧＢカメラではなく、分光放射輝度計等を用いて分光スペクトルや分光反射率を計測し、その計測結果をＣＧ製作に適用する技術が提案されているが、その計測結果は、数百次元のデータとなり、計算コストの観点から実用的ではないものと認識されていた。
【０００５】
非特許文献２の技術に用いられる数百次元のデータの次元数を減らす方法として、波長方向にサンプリングを行った結果を用いてレンダリングする方法が一般的な方法として存在する。しかし、十分な数のサンプリングを行った場合を除いて、レンダリングの過程でスペクトル情報が失われてしまい、特に、蛍光灯のような複雑な照明光スペクトル形状をもつ場合や、分光反射率の形状がなめらかでない被写体が含まれる場合には、ＣＧ製作において正確にシミュレーションすることは困難であった。
【０００６】
非特許文献３及び４では、レンダリング過程においてスペクトル情報を維持するために、照明光スペクトルと被写体表面からの反射光のスペクトルを同じ基底関数の線形和で表現するマルチバンド・レンダリングを実現する手段が提案されている。しかし、非特許文献３及び４に記載の技術では、ある１種類の照明光スペクトルを仮定して基底関数を求めているため、レンダリング時とは異なる照明光の下での画像を再計算するためには全てのレンダリング処理をやり直す必要があり、デザイン工程などインタラクティブに照明光の種類を変えたい場合には実用的な技術として利用することは困難であった。
【０００７】
非特許文献５及び６では、上記非特許文献３及び４の技術で課題となっているレンダリング処理について、全てのレンダリング処理をやり直さずに再計算を行う手段が提案されている。その手段とは、実際の被写体をマルチスペクトルカメラで撮影し、得られたマルチバンドデータを用いてマルチバンドでのレンダリングを行い、レンダリングの結果に対してマルチバンド画像から分光反射率を精度良く推定するものである。
【非特許文献１】Ｙ．Ｙａｍａｕｃｈｉ，Ｍ．Ｓｅｋｉｎｅ，Ｓ．Ｙａｎａｇａｗａ，“Ｂｉｄｉｒｅｃｔｉｏｎａｌ  Ｔｅｘｔｕｒｅ  Ｍａｐｐｉｎｇ  ｆｏｒ  Ｒｅａｌｉｓｔｉｃ  Ｃｌｏｔｈ  Ｒｅｎｄｅｒｉｎｇ”，ＡＣＭ  ＳＩＧＧＲＡＰＨ２００３  ｏｎ  Ｓｋｅｔｃｈｅｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ（２００３）．
【非特許文献２】Ｊｏｙ  Ｓ．Ｇｏｎｄｅｋ，Ｇｒａｙ  Ｗ．Ｍｅｙｅｒ，Ｊｏｎａｔｈａｎ  Ｇ．Ｎｅｗｍａｎ，“Ｗａｖｅｌｅｎｇｔｈ  ｄｅｐｅｎｄｅｎｔ  ｒｅｆｌｅｃｔａｎｃｅ  ｆｕｎｃｔｉｏｎｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２１ｓｔ  ａｎｎｕａｌ  ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  ｇｒａｐｈｉｃｓ  ａｎｄ  ｉｎｔｅｒａｃｔｉｖｅ  ｔｅｃｈｎｉｑｕｅｓ，１９９４．
【非特許文献３】Ｍａｒｋ  Ｓ．Ｐｅｅｒｃｙ，“Ｌｉｎｅａｒ  ｃｏｌｏｒ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ  ｆｏｒ  ｆｕｌｌ  ｓｐｅｃｔｒａｌ  ｒｅｎｄｅｒｉｎｇ”，Ｐｒｏｃ  ＡＣＭ  ＳＩＧＧＲＡＰＨ９３  Ｃｏｎｆ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ，１９９３，ｐ１９１−１９８．
【非特許文献４】Ｍａｒｋ  Ｓ．Ｐｅｅｒｃｙ，Ｂｅｎｊａｍｉｎ  Ｍ．Ｚｈｕ，Ｄａｎｉｅｌ  Ｒ．Ｂａｕｍ，“Ｉｎｔｅｒａｃｔｉｖｅ  ｆｕｌｌ  ｓｐｅｃｔｒａｌ  ｒｅｎｄｅｒｉｎｇ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｉｎｔｅｒａｃｔｉｖｅ  ３Ｄ  Ｇｒａｐｈｉｃｓ，１９９５，ｐ６７−６８．
【非特許文献５】Ｍ．Ｙａｍａｇｕｃｈｉ，Ｙ．Ｍｕｒａｋａｍｉ，Ｔ．Ｕｃｈｉｙａｍａ，Ｋ．Ｏｈｓａｗａ  ａｎｄ  Ｎ．Ｏｈｙａｍａ，“Ｎａｔｕｒａｌ  Ｖｉｓｉｏｎ”，ＩＤＷ’００，２０００，Ｐ１１１５−１１１８．
【非特許文献６】Ｍ．Ｙａｍａｇｕｃｈｉ，Ｔ．Ｔｅｒａｊｉ，Ｋ．Ｏｈｓａｗａ，Ｔ．Ｕｃｈｉｙａｍａ，Ｈ．Ｍｏｔｏｍｕｒａ，Ｙ．Ｍｕｒａｋａｍｉ，ａｎｄ  Ｎ．Ｏｈｙａｍａ，“Ｃｏｌｏｒ  ｉｍａｇｅ  ｒｅｐｒｏｄｕｃｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ｔｈｅ  ｍｕｌｔｉｓｐｅｃｔｒａｌ  ａｎｄ  ｍｕｌｔｉｐｒｉｍａｒｙ  ｉｍａｇｉｎｇ：Ｅｘｐｅｒｉｍｅｎｔａｌ  ｅｖａｌｕａｔｉｏｎ”，Ｐｒｏｃ．ＳＰＩＥ  Ｖｏｌ．４６６３，１５−２６（２００２）．
【非特許文献７】Ｔ．Ｕｃｈｉｙａｍａ，Ｍ．Ｙａｍａｇｕｃｈｉ，Ｈ．Ｈａｎｅｉｓｈｉ，Ｎ．Ｏｈｙａｍａ，ａｎｄ  Ｓ．Ｎａｍｂｕ，“Ａ  Ｍｅｔｈｏｄ  ｆｏｒ  ｔｈｅ  Ｕｎｉｆｉｅｄ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  Ｍｕｌｔｉｓｐｅｃｔｒａｌ  Ｉｍａｇｅｓ  ｗｉｔｈ  Ｄｉｆｆｅｒｅｎｔ  Ｎｕｍｂｅｒ  ｏｆ  Ｂａｎｄｓ”，Ｔｈｅ  Ｊｏｕｒｎａｌ  ｏｆ  Ｉｍａｇｉｎｇ  Ｓｉｅｎｃｅ  ａｎｄ  Ｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．４８，Ｎｏ．２，１２０−１２４（２００４）．
【非特許文献８】Ｔ．Ａｊｉｔｏ，Ｋ．Ｏｈｓａｗａ，Ｔ．Ｏｂｉ，Ｍ．Ｙａｍａｇｕｃｈｉ，ａｎｄ  Ｎ．Ｏｈｙａｍａ，“Ｃｏｌｏｒ  Ｃｏｎｖｅｒｓｉｏｎ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｍｕｌｔｉｐｒｉｍａｒｙ  Ｄｉｓｐｌａｙ  Ｕｓｉｎｇ  Ｍａｔｒｉｘ  Ｓｗｉｔｃｈｉｎｇ”，Ｏｐｔｉｃａｌ  Ｒｅｖｉｅｗ，  ８，Ｎｏ．３，（２００１）ｐｐ１９１−１９７．
【非特許文献９】Ｔ．Ｕｃｈｉｙａｍａ，Ｍ．Ｙａｍａｇｕｃｈｉ，Ｈ．Ｈａｎｅｉｓｈｉ，ａｎｄ  Ｎ．Ｏｈｙａｍａ，“Ａ  Ｖｉｓｕａｌ  Ｅｖａｌｕａｔｉｏｎ  ｏｆ  ｔｈｅ  Ｉｍａｇｅ  Ｒｅｐｒｏｄｕｃｅｄ  ｂｙ  Ｃｏｌｏｒ  Ｄｅｃｏｍｐｏｓｉｔｉｏｎ  ｂａｓｅｄ  ｏｎ  Ｓｐｅｃｔｒａｌ  Ａｐｐｒｏｘｉｍａｔｉｏｎ  ｆｏｒ  Ｍｕｌｔｉｐｒｉｍａｒｙ  Ｄｉｓｐｌａｙ”，Ｐｒｏｃ．ｏｆ  ＳＧＩＶ２００４，２８１−２８５，２００４
【非特許文献１０】Ｊ．Ｋｉｓｈｉｍｏｔｏ，Ｈ．Ｆｕｋｕｄａ，Ｈ．Ｈａｎｅｉｓｈｉ，Ｙ．Ｉｉｚｕｋａ，Ｍ．Ｎｉｓｈｉｋｏ，Ｎ．Ｏｈｙａｍａ，Ｍ．Ｔｓｕｃｈｉｄａ，ａｎｄ  Ｍ．Ｙａｍａｇｕｃｈｉ，“ＩＲＯＤＯＲＩ：Ａ  Ｃｏｌｏｒ−Ｒｉｃｈ  Ｐａｌｅｔｔｅ  Ｂａｓｅｄ  ｏｎ  Ｎａｔｕｒａｌ  Ｖｉｓｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ”，Ｐｒｏｃ．ｏｆ  ＳＩＧＧＲＡＰＨ，２００４．
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献５及び６に記載の技術では、以下のような問題がある。すなわち、当該技術による手段ではマルチバンドデータ同士の乗算が行われるため、十分な数のバンド数のスペクトル信号でなければレンダリングの過程でスペクトル情報が失われてしまうという問題がある。また、バンド数が異なるカメラ、即ち計測データの次元数や分光感度等の装置特性が異なるカメラで計測された複数のデータは、そのままＣＧのレンダリングに利用することができず、現時点では、予め定められたバンド数のカメラを用いて撮影しなければならないという問題がある。
【０００９】
本発明は、上記問題を解決すべくなされたもので、その目的は、マルチスペクトルカメラでの撮影により得られるマルチバンドデータを用いてレンダリング処理を行う際に、その過程でスペクトル情報を維持するとともに、全てのレンダリング処理をやり直すことなくマルチバンドのＣＧの再計算を可能とする画像生成装置及び画像生成方法並びにコンピュータプログラムを提供することにある。
【００１０】
また、本発明の目的は、バンド数が異なるマルチスペクトルカメラで計測されるマルチバンドデータを用いて一定のバンド数を有するマルチバンドのＣＧの生成を可能とする画像生成装置及び画像生成方法並びにコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記問題を解決するために、本発明は、表示装置に接続され、入力される画像データ及び照明光スペクトルデータに基づいて生成される目的画像を前記表示装置に出力する画像生成装置であって、複数の角度から光源が照射される被写体からの反射光を撮影し、前記反射光のスペクトル信号と撮影時の前記角度とに基づく複数の撮影情報と、予め算出される分光反射率推定行列とを出力する反射特性計測手段と、前記反射特性計測手段から出力される前記複数の撮影情報の中から前記入力される画像データの各画素に対応する前記撮影情報を前記各画素の角度に基づいて抽出し、抽出した前記撮影情報から構成される画像構成データを生成し、生成した前記画像構成データと前記分光反射率推定行列とを出力する画像生成手段と、前記画像生成手段により出力される前記画像構成データと、前記分光反射率推定行列と、前記入力される前記照明光スペクトルデータとに基づいて反射光スペクトルデータを算出する色再現手段と、前記色再現手段により算出される前記反射光スペクトルデータに基づいて前記目的画像を生成し、生成した前記目的画像を前記表示装置に出力する表示装置用画像生成手段と、を具備したことを特徴とする画像生成装置である。
【００１２】
本発明は、上記に記載の発明において、前記反射特性計測手段から出力される前記撮影情報のバンド数が予め設定される所定バンド数でない場合、前記撮影情報に対応する分光反射率推定行列と、予め設定される仮想照明光源及び前記所定バンドを有する仮想撮影装置の情報に基づいて前記所定バンド数に対応する第２の分光反射率推定行列を算出する分光反射率推定手段と、前記分光反射率推定手段によって算出される前記第２の分光反射率推定行列と、前記撮影情報と、予め設定される仮想照明光源及び前記所定バンドを有する仮想撮影装置とに基づいて、前記所定バンド数を有する第２の撮影情報を算出し、算出した第２の撮影情報と前記第２の分光反射率推定行列とを前記画像生成手段に出力する仮想撮影情報生成手段と、を備え、前記反射特性計測手段は、前記撮影情報のバンド数が所定バンド数か否かを判定し、バンド数が前記所定バンド数と一致しない場合、前記撮影情報と前記撮影情報に対応する分光反射率推定行列とを前記分光反射率推定手段に出力し、バンド数が前記所定バンド数と一致する場合、前記撮影情報と、前記撮影情報に対応する分光反射率推定行列とを前記画像生成手段に出力することを特徴とする請求項１に記載の画像生成装置である。
【００１３】
本発明は、上記に記載の発明において、前記撮影情報と、前記撮影情報に対応する前記分光反射率推定行列を記憶する第１の記憶手段を更に備え、前記反射特性計測手段は、前記撮影情報と前記分光反射率推定行列とを出力する際に、前記撮影情報と前記分光反射率推定行列とを前記第１の記憶手段に記録し、前記画像生成手段は、前記第１の記憶手段に記憶されている前記複数の撮影情報の中から前記入力される画像データの各画素に対応する前記撮影情報を前記各画素の角度に基づいて抽出し、抽出した前記撮影情報から構成される画像構成データを生成し、生成した前記画像構成データと前記分光反射率推定行列とを出力することを特徴とする。
【００１４】
本発明は、上記に記載の発明において、前記分光反射率推定手段は、前記第２の分光反射率推定行列を算出した際に、算出した前記第２の分光反射率推定行列を前記第１の記憶手段に記録し、前記仮想撮影情報生成手段は、前記第２の撮影情報を出力する際に、前記第２の撮影情報を前記第２の分光反射率推定行列に対応付けて前記第１の記憶手段に記録することを特徴とする。
【００１５】
本発明は、上記に記載の発明において、前記画像構成データと前記分光反射率推定行列を記憶する第２の記憶手段を更に備え、前記画像生成手段は、前記画像構成データと前記分光反射率推定行列とを出力する際に、前記画像構成データと前記分光反射率推定行列とを前記第２の記憶手段に記録し、前記色再現手段は、前記第２の記憶手段から前記画像構成データと前記分光反射率推定行列とを読み出し、読み出した前記画像構成データと、前記分光反射率推定行列と、前記入力される前記照明光スペクトルデータとに基づいて反射光スペクトルデータを算出することを特徴とする。
【００１６】
本発明は、表示装置に接続され、入力される画像データ及び照明光スペクトルデータに基づいて生成される目的画像を前記表示装置に出力する画像生成装置における画像生成方法であって、複数の角度から光源が照射される被写体からの反射光を撮影し、前記反射光のスペクトル信号と撮影時の前記角度とに基づく複数の撮影情報と、予め算出される分光反射率推定行列とを出力するステップと、出力される前記複数の撮影情報の中から前記入力される画像データの各画素に対応する前記撮影情報を前記各画素の角度に基づいて抽出し、抽出した前記撮影情報から構成される画像構成データを生成し、生成した前記画像構成データと前記分光反射率推定行列とを出力するステップと、出力される前記画像構成データと、前記分光反射率推定行列と、前記入力される前記照明光スペクトルデータとに基づいて反射光スペクトルデータを算出するステップと、算出される前記反射光スペクトルデータに基づいて前記目的画像を生成し、生成した前記目的画像を前記表示装置に出力するステップと、を有することを特徴とする画像生成方法である。
【００１７】
本発明は、表示装置に接続され、入力される画像データ及び照明光スペクトルデータに基づいて生成される目的画像を前記表示装置に出力する画像生成装置のコンピュータに、複数の角度から光源が照射される被写体からの反射光を撮影し、前記反射光のスペクトル信号と撮影時の前記角度とに基づく複数の撮影情報と、予め算出される分光反射率推定行列とを出力するステップと、出力される前記複数の撮影情報の中から前記入力される画像データの各画素に対応する前記撮影情報を前記各画素の角度に基づいて抽出し、抽出した前記撮影情報から構成される画像構成データを生成し、生成した前記画像構成データと前記分光反射率推定行列とを出力するステップと、出力される前記画像構成データと、前記分光反射率推定行列と、前記入力される前記照明光スペクトルデータとに基づいて反射光スペクトルデータを算出するステップと、算出される前記反射光スペクトルデータに基づいて前記目的画像を生成し、生成した前記目的画像を前記表示装置に出力するステップと、を実行させるためのコンピュータプログラムである。
【発明の効果】
【００１８】
この発明によれば、画像生成装置は、複数の角度から光源が照射される被写体からの反射光を撮影し、反射光のスペクトル信号と撮影時の前記角度とに基づく複数の撮影情報と、予め算出される分光反射率推定行列とを出力する。また、出力される複数の撮影情報の中から入力される画像データの各画素に対応する撮影情報を各画素の角度に基づいて抽出し、抽出した撮影情報から構成される画像構成データを生成する。また、生成した画像構成データと分光反射率推定行列とを出力する。また、出力される画像構成データと、分光反射率推定行列と、入力される前記照明光スペクトルデータとに基づいて反射光スペクトルデータを算出する構成とした。これにより、幾何的な画像構成データを生成する構成と、画像の色を再現して反射光スペクトルを生成する構成とを分けることができ、画像構成データの生成時に、撮影情報を抽出するだけで、撮影情報同士の演算を行う必要がなくなり、撮影情報に含まれるスペクトル情報を維持することができる。また、照明光スペクトルデータを入れ替える場合には、既に生成された画像構成データを用いて色再現を行うことができるため、全ての再計算を行うことなく色再現を行うことができる。
【００１９】
また、本発明によれば、画像生成装置は、撮影情報のバンド数が予め設定される所定バンド数でない場合、撮影情報に対応する分光反射率推定行列と、予め設定される仮想照明光源及び所定バンドを有する仮想撮影装置の情報に基づいて所定バンド数に対応する第２の分光反射率推定行列を算出する。また、第２の分光反射率推定行列と、撮影情報と、予め設定される仮想照明光源及び所定バンドを有する仮想撮影装置とに基づいて、所定バンド数を有する第２の撮影情報を算出する構成とした。これにより、予め定められている所定バンド数と異なるバンド数の撮影情報が入力されても所定バンド数の撮影情報とそれに対応する分光反射率推定行列を算出することができ、画像構成データの生成や色再現を行う構成が、所定バンド数の入力しか許容していない構成であっても画像構成データの生成及び色再現を行うことが可能となる。
【００２０】
この発明によれば、画像生成装置は、撮影情報と分光反射率推定行列とを出力する際に、撮影情報と分光反射率推定行列とを前記第１の記憶手段に記録し、第１の記憶手段に記憶されている複数の撮影情報の中から入力される画像データの各画素に対応する撮影情報を各画素の角度に基づいて抽出し、抽出した撮影情報から構成される画像構成データを生成する構成とした。これにより、撮影情報と分光反射率推定行列を演算結果に対応する分光反射率を記憶しておく必要がなくなり、データ量を削減することが可能となる。
【００２１】
この発明によれば、画像生成装置は、画像構成データと分光反射率推定行列とを出力する際に、画像構成データと分光反射率推定行列とを第２の記憶手段に記録し、第２の記憶手段から画像構成データと分光反射率推定行列とを読み出し、読み出した画像構成データと、分光反射率推定行列と、入力される前記照明光スペクトルデータとに基づいて反射光スペクトルデータを算出する構成とした。これにより、照明光スペクトルデータを入れ替える際に、画像構成データを再計算して生成する必要がなくなり、計算量を削減することが可能となる。
【発明を実施するための最良の形態】
【００２２】
（第１実施形態）
以下、本発明の第１実施形態による画像生成装置を図面を参照して説明する。
図１は、第１実施形態による画像生成装置１０ａ及びそれに接続される撮影装置２０ａ及びＣＧシーンデータ生成装置２１及び表示装置２２を示す概略ブロック図である。
【００２３】
図１において、撮影装置２０ａは、所定バンド数を有するマルチスペクトルカメラであり、照明光源に照らされる被写体を複数の角度から撮影し、撮影時のカメラ信号を画像生成装置１０ａに出力する。ＣＧシーンデータ生成装置２１は、例えば、一般的なＣＧデータを生成するプログラムが実装されるコンピュータであり、ＣＧとして製作する画像（以下、目的画像）をコンピュータ上で描くことにより、当該目的画像の画像データ、例えば３次元のモデリングデータや背景画像のデータを出力し、さらに、指定された当該目的画像の照明光スペクトルデータを出力する。
【００２４】
画像生成装置１０ａは、被写体の光源から照射される角度を変化させる駆動手段を有しており、撮影時の被写体の角度を測定し、撮影装置２０ａから出力されるスペクトル信号であるカメラ信号を受信し、撮影時の角度とカメラ信号とに基づく上述した撮影情報に相当するマルチバンドデータを生成する。また、画像生成装置１０ａは、生成したマルチバンドデータと、ＣＧシーンデータ生成装置２１から入力されるＣＧの画像データ及び照明光スペクトルデータとに基づいて、レンダリング処理を行い所定バンド数を有する上述した画像構成データに相当するＣＧレンダリング画像（以下、マルチバンド画像データと記載）を生成し、表示装置２２が表示可能な画像データのフォーマットに変換して出力する。表示装置２２は、例えば、ＲＧＢ表示装置、多原色表示装置あるいは、プリンタなどが適用され、画像生成装置１０ａから出力される画像データを表示あるいは印刷する。
【００２５】
なお、駆動手段は、光源から被写体への照射の角度を変化させることにより、反射の角度が変わればよく、被写体を固定しておき、光源を駆動させる手段でも、光源を固定して被写体を駆動させる手段であってもよい。
【００２６】
ここで、上記の所定バンド数のバンド数とは、波長方向のサンプリング間隔やサンプリング点数や分光特性により定められる値であり、例えば従来のＲＧＢカメラの場合にはＲとＧとＢの３つの信号が得られるため、前記所定バンド数は、３バンドとなる。
ところで、色情報としての明度、色相、彩度を忠実に再現するためには、一般に３バンドを超える多くのバンド数を必要とすることが知られており、第１実施形態において利用される撮影装置２０ａが有する所定バンド数としては、３バンドを超えるバンド数、例えば、６バンド、１６バンドなどの値が適用されることになる。
【００２７】
画像生成装置１０ａにおいて、反射特性計測部１１ａは、位置が固定される同一の照明光源からの照射光を様々な角度から被写体に対して照射するため、被写体を駆動する駆動手段を有している。また、反射特性計測部１１ａは、撮影装置２０ａから出力されるカメラ信号を受信し、撮影時に計測される被写体と照明光源と撮影装置２０ａの位置関係を示す角度と、受信したカメラ信号とから特定されるマルチバンドデータを出力する。また、反射特性計測部１１ａは、予め算出して内部に記憶される当該撮影装置２０ａの分光反射率推定行列の情報と、マルチバンドデータとをマルチバンドデータ記憶部１２に記録するとともに、マルチバンド画像生成部１３に出力する。
【００２８】
マルチバンド画像生成部１３は、反射特性計測部１１ａから受信したマルチバンドデータに基づき、ＣＧシーンデータ生成装置２１から送信されるＣＧの画像データの各画素に対応するマルチバンドデータを抽出する。また、マルチバンド画像生成部１３は、抽出したマルチバンドデータから構成されるマルチバンド画像データと、受信した分光反射率推定行列の情報とを色再現処理部１５に送信するとともにマルチバンド画像データ記憶部１４にマルチバンド画像データと分光反射率推定行列の情報を記録する。
【００２９】
色再現処理部１５は、ＣＧシーンデータ生成装置２１から入力される目的画像の照明光スペクトルの情報と、マルチバンド画像生成部１３から送信されるマルチバンド画像データ及び分光反射率推定行列とに基づいて目的画像の反射光スペクトルデータを算出する。表示装置用画像生成部１６は、色再現処理部１５から出力される反射光スペクトルデータに基づいて表示装置２２が表示できるフォーマットでＣＧの画像データを生成する。
【００３０】
なお、上述した反射特性計測手段は、反射特性計測部１１ａに該当するが、撮影装置２０ａと反射特性計測部１１ａとを含めた構成であってもよい。
また、上述した画像生成手段は、マルチバンド画像生成部１３に該当し、色再現手段は、色再現処理部１５に該当し、表示装置用画像生成手段は、表示装置用画像生成部１６に該当し、第１の記憶手段は、マルチバンドデータ記憶部１２に該当する。
【００３１】
次に、図２を参照して上述した被写体と照明光源と撮影装置２０ａの位置関係を示す角度について説明し、さらにカメラ信号と、撮影時の角度と、分光反射率推定行列の関係について説明する。
図２は、被写体表面のある１点に角度（κ，ψ）から照明光が入射し、当該１点から角度（φ，θ）で反射される反射光を撮影する場合の位置関係を示した図である。このとき、照射光スペクトルをＥ（λ）とすると、被写体と照明光源と撮影装置２０ａの位置関係は幾何パラメータ（φ，θ，κ，ψ）で表すことができ、幾何パラメータと波長で特定される反射光スペクトルｖ（φ，θ，κ，ψ，λ）は次式（１）のように表される。
【００３２】
【数１】
2006277515.tif 000003
【００３３】
式（１）においてｆ（φ，θ，κ，ψ、λ）は、被写体表面の分光反射率であり、照射光の入射方位と、観察方位と波長の関数として表される。被写体上のある一点からの反射光スペクトルデータを算出するためには、全てのφ、θ、κ、ψに関して、以下の（手順１）から（手順４）を行う必要がある。すなわち、
（手順１）分光反射率ｆ（φ，θ，κ，ψ、λ）を計測、あるいはモデル化する。
（手順２）幾何パラメータφ、θ、κ、ψを特定する。
（手順３）分光反射率ｆφ，θ，κ，ψ（λ）を算出する。
（手順４）分光反射率ｆφ，θ，κ，ψ（λ）と照明光スペクトルＥ（λ）とを乗算する。
上記の手順を全ての幾何パラメータについて行うことで、それに対応する全ての反射光スペクトルデータを得ることができ、得られた反射光スペクトルデータから、目的とするＣＧの画像の各画素に対応する反射スペクトルデータを抽出することで、撮影した情報に基づいたＣＧ画像を生成することが可能となる。
【００３４】
次に、上記の手順をマルチバンド画像に適用する場合について説明する。マルチバンド画像の場合には、反射光スペクトルの次元数はバンド数となるため、式（１）の反射光スペクトルはベクトルで表記され、次式（２）として表されることになる。
【００３５】
【数２】
2006277515.tif 000004
【００３６】
式（２）においてベクトルＥは、照明光スペクトルのベクトルである。ここで、被写体が完全拡散体の場合には、観察方向に依存しないものとなり、幾何パラメータκとψとは無関係の関数として次式（３）のように示される
【００３７】
【数３】
2006277515.tif 000005
【００３８】
この反射光スペクトルを上記の撮影装置２０ａで撮影することにより得られるマルチバンドデータは、撮影装置２０ａから出力されるカメラ信号ｃと撮影時の角度を示す幾何パラメータφ、θ、κ、ψとで示される関数として次式（４）のように表される。
【００３９】
【数４】
2006277515.tif 000006
【００４０】
式（４）において、ｈは撮影装置２０ａの分光感度であり、Ｈは、ｈとＥとを乗算した行列である。このとき、式（４）は線形逆問題の式となり、Ｗｉｅｎｅｒ推定により、分光反射率の推定値であるベクトルｆ＾（φ，θ，κ，ψ）は、次式（５）で表されることになる。
【００４１】
【数５】
2006277515.tif 000007
【００４２】
式（５）においてＧは分光反射率推定行列であり、上記のＨと、被写体の分光反射率の自己相関行列Ｒにより、次式（６）によりＣＧを生成する処理の前にＷｉｅｎｅｒ推定に基づいて予め算出される。
【００４３】
【数６】
2006277515.tif 000008
【００４４】
式（５）で示されるように、分光反射率ｆ（φ，θ，κ，ψ，λ）自体を計測して記憶しておかなくとも、撮影装置２０ａから出力されるカメラ信号ｃ（φ，θ，κ，ψ）と、分光反射率推定行列Ｇとを記憶しておくことで、分光反射率ｆ（φ，θ，κ，ψ，λ）はいつでも算出することができるため、記録しておくデータ量を削減することができる。
【００４５】
次に、図３を参照しつつ第１実施形態の画像生成装置１０ａにおける画像生成処理について説明する。
【００４６】
最初に、同一の照明光源に照射される被写体が、反射特性計測部１１ｂの駆動手段により全ての角度、すなわち全ての幾何パラメータφ、θ、κ、ψで撮影されるように駆動され、撮影装置２０ｂは、幾何パラメータφ、θ、κ、ψごとのカメラ信号を反射特性計測部１１ａに出力する。なお、当該撮影装置２０ａにおける分光反射率推定行列Ｇは、当該撮影を開始する前に、予め反射特性計測部１１ａにより被写体及び撮影装置２０ａ及び照明光源の特性等に基づいて算出され、内部に記憶されているものとする（ステップＳａ１）。
【００４７】
反射特性計測部１１ａは、撮影ごとの幾何パラメータφ、θ、κ、ψを計測し、撮影装置２０ａから受信したカメラ信号及び当該カメラ信号が得られた際の幾何パラメータによって対応付けられるマルチバンドデータｃ（φ、θ、κ、ψ）と分光反射率推定行列Ｇとをマルチバンドデータ記憶部１２に記録するとともにマルチバンド画像生成部１３に出力する（ステップＳａ２）。
【００４８】
マルチバンド画像生成部１３は、ＣＧシーンデータ生成装置２１から入力される目的画像の画像データに基づいて、画素ごとの反射光を算出する。ここで、反射光の算出について説明する。照明が点光源１つのみであって、画像上の一画素には、被写体上のある一点からの反射光のみが記録される場合を想定する。このとき、当該一画素についての幾何パラメータ（φ，θ，κ，ψ）は、光線追跡法により一定の定数として（α，β，ρ，ω）として特定することが可能となる。一定の定数（α，β，ρ，ω）より特定されるマルチバンドデータは、次式（７）として表される。
【００４９】
【数７】
2006277515.tif 000009
【００５０】
マルチバンド画像生成部１３は、光線追跡をＣＧシーンデータ生成装置２１により入力される画像データの全ての画素について行い、反射特性計測部１１ａから送信されるマルチバンドデータの中から特定した（α，β，ρ，ω）に対応するマルチバンドデータを抽出し、抽出したマルチバンドデータから構成されるマルチバンド画像データを生成する（ステップＳａ３）。そして、生成したマルチバンド画像データとマルチバンドデータ記憶部１２から読み出した分光反射率推定行列Ｇとをマルチバンド画像データ記憶部１４に記録するとともに色再現処理部１５に出力する（ステップＳａ４）。
【００５１】
次に、色再現処理部１５は、マルチバンド画像生成部１３によって生成されるマルチバンド画像データから分光反射率を算出する。分光反射率は、マルチバンド画像データの個々の画素のデータである、ｃα，β，ρ，ωと分光反射率推定行列により次式（８）によって算出される。
【００５２】
【数８】
2006277515.tif 000010
【００５３】
さらに、色再現処理部１５は、算出した分光反射率ｆα，β，ρ，ωとＣＧシーンデータ生成装置２１より入力される目的画像の照明光スペクトルデータＷとに基づいて次式（９）により目的画像の反射スペクトルデータｖα，β，ρ，ωを算出し、算出した反射スペクトルデータを表示装置用画像生成部１６に出力する（ステップＳａ５）。
【００５４】
【数９】
2006277515.tif 000011
【００５５】
表示装置用画像生成部１６は、色再現処理部１５から出力される反射スペクトルデータに基づいて表示装置２２が表示可能なフォーマットで画像データを生成し、表示装置２２に送信する（ステップＳａ６）。
【００５６】
上記第１実施形態の構成により、マルチバンドデータに対する光線追跡等のレンダリング、シェイディング処理において、従来では同時に行われていた色情報（分光スペクトル情報）と幾何情報（光線追跡やシェイディング）に対する処理を、最初に各バンドでの強度が等しい仮想的な照明光を仮定して、幾何的要因による陰影付の処理をマルチバンド画像生成部１３により行った後、色再現処理部１５によりマルチバンド画像生成部１３により生成されるマルチバンド画像データに対し、照明光などの分光的性質に依存する陰影付けの処理、すなわち照明光変換を含む色再現処理を行う構成とした。これにより、マルチバンド画像生成部１３によるレンダリング処理の際には、マルチバンドデータ同士の乗算が行われないため、シェイディング等の処理をしてもスペクトル情報を維持することができる。また、スペクトル情報を維持した状態で色再現処理を行うことができるため、高い色再現を行うことができ、従来のＣＧでは困難と言われていた色の見え方のシミュレーションをすることが可能となる。
【００５７】
また、上記第１実施形態の構成による演算により、計算量が削減され、マルチバンドデータでレンダリングを行った場合でも、スペクトル・レンダリングとほぼ同等の精度で色の見え方をシミュレーションすることができる。また、実測データを入力した場合には、試作シミュレーションとしても利用することが可能となる。
【００５８】
なお、マルチバンド画像生成部１３は、反射特性計測部１１ａから受信したマルチバンドデータと分光反射率推定行列の情報を用いるのではなく、マルチバンドデータ記憶部１２に記憶されているマルチバンドデータと分光反射率推定行列とを読み出し、読み出したマルチバンドデータと分光反射率推定行列とを用いるようにしてもよい。
【００５９】
また、色再現処理部１５は、マルチバンド画像生成部１３から受信したマルチバンド画像データと分光反射率推定行列の情報を用いるのではなく、マルチバンド画像データ記憶部１４に記憶されているマルチバンド画像データと分光反射率推定行列とを読み出し、読み出したマルチバンド画像データと分光反射率推定行列とを用いるようにしてもよい。これにより、全てのレンダリング処理、光線追跡による幾何パラメータの特定及び反射光スペクトルの算出の処理をやり直すことなく、照明光スペクトルデータを入れ替えるだけで、異なる照明光スペクトルを有する光源下での画像の生成を行うことが可能となる。照明光スペクトルデータの入れ替えの処理を、既存のＣＧソフトウェアで実現する際には、各チャンネル（波長）で強度が均一な照明光を仮定し、全てのバンドに関して通常のレンダリング処理を行い、レンダリング処理の結果に対して照明光スペクトルの変換処理を行うことで実現することができる。
【００６０】
（第２実施形態）
次に、本発明の第２実施形態による画像生成装置を図面を参照して説明する。
図４は、第２実施形態による画像生成装置１０ｂ及びそれに接続される複数の撮影装置２０ｂ−１〜２０ｂ−ｎ（以下、撮影装置２０ｂ−１〜２０ｂ−ｎから１つを選択したものを示す場合は、撮影装置２０ｂと記載）及びＣＧシーンデータ生成装置２１及び表示装置２２を示す概略ブロック図である。第２実施形態の画像生成装置１０ｂは、例えば、撮影装置２０ｂの中の１つであるＲＧＢの３バンドのカメラを用いて被写体を撮影することにより得られるカメラ信号から、上述した第１実施形態における３バンドを超える所定バンドのマルチスペクトルカメラで撮影した場合に得られるマルチスペクトルデータを算出し、当該所定バンド数を有するマルチバンド画像データを生成するものである。
なお、撮影装置２０ｂとしては、ＲＧＢの３バンドカメラ以外に、分光計なども適用が可能であり、また、白黒カメラと所定の波長のみを透過させるフィルタを備えた光源との組み合わせや、逆に所定の波長のみを透過させるフィルタを備えた白黒カメラと光源との組み合わせや、白黒カメラと光源の両方に所定の波長のみを透過させるフィルタを備えた構成なども適用可能である。
【００６１】
図４において、図１と同じ機能を有する構成については同じ符号を付し、異なる構成について以下に説明する。
画像生成装置１０ｂのマルチバンド画像生成部１３及び色再現処理部１５においてレンダリング処理が行われるマルチバンドデータの所定バンド数を例えばＮバンドとする。つまり、撮影装置２０ｂとしてＮバンドのカメラが適用される場合には第１実施形態と同じ処理が行われることになる。また、以下の説明ではＮバンドを有するマルチスペクトルカメラを基準カメラと記載する。
【００６２】
画像生成装置１０ｂにおいて、反射特性計測部１１ｂは、例えばデイライトや白熱灯などの幾つかの異なる照明光源を選択して切り替える選択手段と、被写体に対して様々な角度から照明光を照射するための駆動手段を有している。また、反射特性計測部１１ｂは、複数の撮影装置２０ｂ−１〜２０ｂ−ｎから１つを選択し、当該撮影装置２０ｂから送信されるカメラ信号を受信し、当該カメラ信号のバンド数がＮバンドであるか否かを判定する。また、反射特性計測部１１ｂは、カメラ信号と幾何パラメータからなるマルチバンド信号ｃ（φ、θ、κ、ψ）と、予め算出される選択されている当該撮影装置２０ｂと照明光源の組み合わせに対応する分光反射率推定行列Ｇとを判定結果に基づいてマルチバンド画像生成部１３あるいは分光反射率推定部１７に出力する。
【００６３】
分光反射率推定部１７は、反射特性計測部１１ｂから受信したマルチバンドデータに含まれるカメラ信号及び幾何パラメータと、分光反射率推定行列Ｇとに対して、点光源などの仮想照明光源を想定し、当該仮想照明光源に照らされた状態で、基準カメラによる撮影を行った場合の分光反射率推定行列Ｇ’を算出し、算出した分光反射率推定行列Ｇ’をマルチバンドデータ記憶部１２に記録するとともに、分光反射列推定行列Ｇ’とカメラ信号と当該カメラ信号に対応する幾何パラメータとを仮想マルチバンドデータ生成部１８に出力する。
【００６４】
仮想マルチバンドデータ生成部１８は、分光反射率推定部１７から送信されるカメラ信号と幾何パラメータと分光反射率推定行列Ｇ’とに基づいて、分光反射率推定部１７で適用された仮想照明光源に照らされた状態で、基準カメラによる撮影シミュレーションを行ってＮバンドのマルチバンドデータを算出し、算出したＮバンドのマルチバンドデータをマルチバンドデータ記憶部１２に記録するとともに、マルチバンド画像生成部１３に出力する。
【００６５】
なお、上述した分光反射率推定手段は、分光反射率推定部１７に該当し、仮想撮影情報生成手段は、仮想マルチバンドデータ生成部１８に相当する。
また、上述した反射特性計測手段は、反射特性計測部１１ｂに該当するが、複数の撮影装置２０ｂ−１〜２０ｂ−ｎと反射特性計測部１１ｂとを含めた構成であってもよい。
また、上述した仮想撮影装置は、基準カメラに該当し、第２に撮影情報は、仮想マルチバンドデータ生成部１８のＮバンドの基準カメラによるシミュレーションにより生成されるＮバンドのマルチバンドデータに該当し、第２の分光反射率推定行列は、分光反射率推定行列Ｇ’に該当する。
【００６６】
次に、図５を参照しつつ、第２実施形態の画像生成装置１０ｂにおける画像生成処理について説明する。
最初に、反射特性計測部１１ｂは、計測者の操作を受けて、幾つかの照明光源の中から撮影に利用する照明光源を選択手段により選択する。そして、反射特性計測部１１ｂは、選択された照明光線に照らされる被写体が、反射特性計測部１１ｂの駆動手段により全ての幾何パラメータφ、θ、κ、ψで撮影されるように駆動され、撮影装置２０ｂにより幾何パラメータφ、θ、κ、ψごとのカメラ信号が反射特性計測部１１ａに出力される。なお、当該撮影装置２０ｂと選択された照明光源とに対応する分光反射率推定行列Ｇは、予め反射特性計測部１１ａにより算出され、内部に記憶されているものとする（ステップＳｂ１）。
【００６７】
次に、反射特性計測部１１ｂは、撮影装置２０ｂから送信されるカメラ信号のバンド数がＮバンドか否かを判定する（ステップＳｂ２）。撮影装置２０ｂから送信されるカメラ信号のバンド数がＮバンドの場合には、撮影装置２０ｂから受信したカメラ信号と、撮影時に計測した幾何パラメータφ、θ、κ、ψ、とによって対応付けられるマルチバンドデータｃ（φ、θ、κ、ψ）と、予め算出される分光反射率推定行列Ｇとをマルチバンドデータ記憶部１２に記録するとともにマルチバンド画像生成部１３に出力する（ステップＳＳｂ３）。
【００６８】
一方、カメラ信号のバンド数がＮバンドでない場合には、反射特性計測部１１ｂは、撮影装置２０ｂから受信したカメラ信号と、撮影時に計測した幾何パラメータφ、θ、κ、ψ、と、予め算出される分光反射率推定行列Ｇとを分光反射率推定部１７に送信する。分光反射率推定部１７は、受信したカメラ信号と幾何パラメータと分光反射率推定行列Ｇとに基づき、仮想照明光源と基準カメラによって行われる撮影シミュレーション時の、分光反射率推定行列Ｇ’を算出する。そして、分光反射率推定部１７は、算出した分光反射率推定行列Ｇ’をマルチバンドデータ記憶部１２に記録するとともに、分光反射率推定行列Ｇ’と、受信したカメラ信号と幾何パラメータとを仮想マルチバンドデータ生成部１８に出力する。（ステップＳｂ４）。
【００６９】
仮想マルチバンドデータ生成部１８は、分光反射率推定部１７から受信した分光反射率推定行列Ｇ’と、受信したカメラ信号と幾何パラメータとに基づいて、分光反射率推定部１７において適用された仮想照明光源と基準カメラによる撮影シミュレーションを行ってＮバンドのマルチバンドデータを算出する（ステップＳｂ５）。そして、仮想マルチバンドデータ生成部１８は、算出したＮバンドのマルチバンドデータをマルチバンドデータ記憶部１２に記録するとともに、分光反射率推定行列Ｇ’とＮバンドのマルチバンドデータをマルチバンド画像生成部１３に出力する（ステップＳｂ６）
【００７０】
ここで、ステップＳｂ４及びステップＳｂ５における撮影シミュレーションについて説明する。次式（１０）は、撮影装置２０ｂ及び選択される照明光源の組み合わせにおいて、ｉ番目の組み合わせで撮影された場合の分光反射率ｆ（φ，θ，κ，ψ）を示したものである。ここでＧ［ｉ］はｉ組目の撮影装置２０ｂ及び照明光源に対応する分光反射率推定行列であり、ｃ［ｉ］（φ，θ，κ，ψ）は、ｉ組目の撮影装置２０ｂで撮影されたカメラ信号である。
【００７１】
【数１０】
2006277515.tif 000012
【００７２】
分光反射率ｆ（φ，θ，κ，ψ）に対して、仮想照明光源に照射される状態での基準カメラによる撮影シミュレーションを行うと、次式（１１）で表されるマルチバンドデータｃ’（φ１，θ１，φ２，θ２）が算出される。
【００７３】
【数１１】
2006277515.tif 000013
【００７４】
式（１１）において、Ｅ’は仮想照明光源の照明光スペクトルであり、ｈ￣はＮバンドのマルチスペクトルカメラの分光感度である。式（１１）は、上述した式（４）と同じく線形逆問題の式であり、Ｗｉｅｎｅｒ推定により、分光反射率の推定値ｆ＾（φ１，θ１，φ２，θ２）が次式（１２）により算出される。
【００７５】
【数１２】
2006277515.tif 000014
【００７６】
式（１２）において、Ｇ’は、当該被写体と仮想照明光源の照明光スペクトルＥ’と基準カメラに対応する分光反射率推定行列である。このようにして、Ｎバンド以外のマルチスペクトルカメラで撮影された場合であっても、Ｎバンドのマルチバンドデータとそれに対応する分光反射率推定行列Ｇ’とを得ることが可能となる。仮想マルチバンドデータ生成部１８は、上記処理を、全ての幾何パラメータφ１、θ１、φ２、θ２について行いマルチバンドデータと分光反射率推定行列Ｇ’とをマルチバンドデータ記憶部１２に記録するとともに、マルチバンド画像生成部１３に出力する。
【００７７】
なお、式（１１）に示されるようにマルチバンドデータｃ’（φ１，θ１，φ２，θ２）は、撮影装置２０ｂから出力されるカメラ信号ｃ［ｉ］（φ，θ，κ，ψ）と、分光反射率推定行列Ｇ［ｉ］とに対して分光感度ｈ￣と仮想照明光源の照明光スペクトルＥ’を乗算することにより算出されるため、ｈ￣・Ｅの演算結果、あるいはｈ￣・Ｅ・Ｇ［ｉ］の演算結果と、カメラ信号ｃ［ｉ］（φ，θ，κ，ψ）とをマルチバンドデータ記憶部１２に記憶するようにしておいてもよい。このとき、新たに撮影することで別のカメラ信号ｃ［ｉ］（φ，θ，κ，ψ）が得られた場合であっても、ｈ￣・Ｅの演算結果、あるいはｈ￣・Ｅ・Ｇ［ｉ］の演算結果に基づいてマルチバンドデータｃ’（φ１，θ１，φ２，θ２）を算出できるため演算量を削減することが可能となる。
【００７８】
マルチバンド画像生成部１３は、ＣＧシーンデータ生成装置２１から入力される目的画像の画像データに基づいて、光線追跡を行い、反射特性計測部１１ａあるいは仮想マルチバンドデータ生成部１８から送信されるＮバンドのマルチバンドデータの中から特定した（α，β，ρ，ω）に対応するマルチバンドデータを抽出し、抽出したマルチバンドデータから構成されるマルチバンド画像データを生成する（ステップＳｂ７）。そして、生成したマルチバンド画像データとマルチバンドデータ記憶部１２から読み出した分光反射率推定行列Ｇとをマルチバンド画像データ記憶部１４に記録するとともに色再現処理部１５に出力する（ステップＳｂ８）。
【００７９】
次に、色再現処理部１５は、マルチバンド画像生成部１３によって生成されるマルチバンド画像データから分光反射率を算出する。さらに、色再現処理部１５は、算出した分光反射率ｆα，β，ρ，ωとＣＧシーンデータ生成装置２１より入力される目的画像の照明光スペクトルデータＷとに基づいて次式（１３）により目的画像の反射スペクトルデータｖα，β，ρ，ωを算出し、算出した反射スペクトルデータを表示装置用画像生成部１６に出力する（ステップＳｂ９）。
【００８０】
【数１３】
2006277515.tif 000015
【００８１】
表示装置用画像生成部１６は、色再現処理部１５から出力される反射スペクトルデータに基づいて表示装置２２が表示可能なフォーマットで画像データを生成し、表示装置２２に送信する（ステップＳｂ１０）。
【００８２】
なお、マルチバンド画像生成部１３は、反射特性計測部１１ｂあるいは仮想マルチバンドデータ生成部１８から受信したマルチバンドデータと分光反射率推定行列の情報を用いるのではなく、マルチバンドデータ記憶部１２に記憶されているマルチバンドデータと分光反射率推定行列とを読み出し、読み出したマルチバンドデータと分光反射率推定行列とを用いるようにしてもよい。
【００８３】
上記第２実施形態の構成により、画像生成装置１０ｂおいて、マルチバンドのＣＧ画像を生成するマルチバンド画像生成部１３及び色再現処理部１５などは所定バンド数のデータが入力されることを想定して構築でき、所定バンド数以外のデータが入力された場合には、当該データを基準カメラで撮影した場合のデータへ変換することが可能となる。また、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）などにより求められる最適化された分光感度を有する仮想的なカメラを基準カメラとする場合には、さらにデータ量や計算量の削減を図ることができ、データや生成した画像の可搬性を向上させることができる。また、過去に異なる計測装置などで計測されたデータであっても、マルチバンドの分光反射率に変換することができるため再利用することも可能である。
【００８４】
また、上記第１及び第２実施形態では、被写体の反射特性を表すパラメータとして分光反射率を用いて説明したが、反射特性はＢＲＤＦ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ  Ｒｅｆｌｅｃｔａｎｃｅ  Ｄｉｓｔｒｉｂｕｔｉｏｎ  Ｆｕｎｃｔｉｏｎ）、ＢＴＦ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ  Ｔｅｘｔｕｒｅ  Ｆｕｎｃｔｉｏｎ）などであってもよい。ＢＴＦの場合には、被写体は点ではなく面として表されるため、上記の幾何パラメータ（φ，θ，κ，ψ）に、更に（ｕ，ｖ）などの平面を示す座標系が加わり（φ，θ，κ，ψ，ｕ，ｖ）として幾何パラメータが表されることになる。
また、被写体の反射特性ではなく、透過特性を適用することも可能であり、その場合には、マルチバンドデータと分光透過率推定行列の組み合わせで分光透過率が表されることになる。
【００８５】
また、上述した画像生成装置を製造業でのデザイン工程に適用することで、実物の試作を画像生成装置によって行うことができるため、開発期間の大幅短縮、費用の大幅削減、少量多品種な要求への迅速な対応、開発終了と同時に即プロモーションが展開できるなどの産業上の利用の効果が期待される。
【００８６】
上述の画像生成装置１０ａ及び１０ｂは内部に、コンピュータシステムを有している。そして、上述した画像生成処理は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【図面の簡単な説明】
【００８７】
【図１】第１実施形態における画像生成装置を示すブロック図である。
【図２】第１実施形態における被写体と照明光源と撮影装置の位置関係を説明するための図である。
【図３】第１実施形態における画像生成処理のフロチャートである。
【図４】第２実施形態における画像生成装置を示すブロック図である。
【図５】第２実施形態における画像生成処理のフロチャートである。
【符号の説明】
【００８８】
１０ａ  画像生成装置
２０ａ  撮影装置
１１ａ  反射特性計測部
１２  マルチバンドデータ記憶部
１３  マルチバンド画像生成部
１４  マルチバンド画像データ記憶部
１５  色再現処理部
１６  表示装置用画像生成部
２１  ＣＧシーンデータ生成装置
２２  表示装置
【図１】
2006277515.tif 000016
【図２】
2006277515.tif 000017
【図３】
2006277515.tif 000018
【図４】
2006277515.tif 000019
【図５】
2006277515.tif 000020