(57)【要約】【課題】表面に凹凸を有する対象物の色を簡便かつ高精度に取得する。【解決手段】表面に凹凸を有する対象物を撮像して得られた画像データであって、撮像時の照明方向がそれぞれ異なる複数の画像データを入力する入力手段と、対象物表面の凹凸の法線方向に基づいて、複数の画像データの各々について、影の生じにくさの度合を示す第１の信頼度を画素位置ごとに算出する第１の信頼度算出手段と、撮像に用いた撮像装置に撮像時の正反射光が入射する照明方向と、対象物の光沢の特性を示す光沢特性データとに基づいて、複数の画像データの各々について、光沢の生じにくさの度合を示す第２の信頼度を画素位置ごとに算出する第２の信頼度算出手段と、第１の信頼度と第２の信頼度とに基づいて、各画素位置の画素値を、複数の画像データの対応する画素位置の画素値から決定する決定手段とを備える。【選択図】図４
2017045416.tif 000002
【特許請求の範囲】
【請求項１】
表面に凹凸を有する対象物を撮像して得られた画像データであって、撮像時の照明方向がそれぞれ異なる複数の前記画像データを入力する入力手段と、
前記対象物表面の凹凸の法線方向に基づいて、前記複数の画像データの各々について、影の生じにくさの度合を示す第１の信頼度を画素位置ごとに算出する第１の信頼度算出手段と、
前記撮像に用いた撮像装置に撮像時の正反射光が入射する照明方向と、前記対象物の光沢の特性を示す光沢特性データとに基づいて、前記複数の画像データの各々について、光沢の生じにくさの度合を示す第２の信頼度を画素位置ごとに算出する第２の信頼度算出手段と、
前記第１の信頼度と前記第２の信頼度とに基づいて、各画素位置の画素値を、前記複数の画像データの対応する画素位置の画素値から決定する決定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の信頼度は、撮像時の照明方向が、当該第１の信頼度が算出された画素位置に対応する、前記対象物表面の領域の法線方向に近くなるほど、高くなる
請求項１に記載の画像処理装置。
【請求項３】
前記第２の信頼度は、撮像時の照明方向が、前記撮像装置に撮像時の正反射光が入射する照明方向に近くなるほど、低くなる
請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記第１の信頼度と前記第２の信頼度とに基づいて、前記複数の画像データの各々について、第３の信頼度を画素位置ごとに算出する第３の信頼度算出手段をさらに備え、
前記決定手段は、各画素位置の画素値を、前記複数の画像データの対応する画素位置の画素値のうち前記第３の信頼度が最も高い画素値に決定し、
前記第３の信頼度は、
ｋ×第１の信頼度＋（１−ｋ）×第２の信頼度
により算出され、
前記ｋは、０より大きく１より小さい値である
請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
【請求項５】
前記第２の信頼度算出手段は、前記撮像装置に撮像時の正反射光が入射する照明方向と、前記対象物の光沢の特性を示す光沢特性データとに加え、前記対象物の照明環境を示す環境マップに基づいて、前記第２の信頼度を算出する
請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
【請求項６】
前記第２の信頼度算出手段は、前記複数の画像データの各々について、各画素位置の輝度を取得し、取得した当該輝度に基づいて、前記撮像装置に撮像時の正反射光が入射する照明方向を算出する
請求項１から請求項５のうちのいずれか１項に記載の画像処理装置。
【請求項７】
前記第２の信頼度算出手段は、前記対象物表面の凹凸の法線方向と、前記撮像装置の位置を示す情報とに基づいて、前記撮像装置に撮像時の正反射光が入射する照明方向を算出する
請求項１から請求項６のうちのいずれか１項に記載の画像処理装置。
【請求項８】
表面に凹凸を有する対象物を撮像して得られた画像データであって、撮像時の照明方向がそれぞれ異なる複数の前記画像データを入力する入力ステップと、
前記対象物表面の凹凸の法線方向に基づいて、前記複数の画像データの各々について、影の生じにくさの度合を示す第１の信頼度を画素位置ごとに算出する第１の信頼度算出ステップと、
前記撮像に用いた撮像装置に撮像時の正反射光が入射する照明方向と、前記対象物の光沢の特性を示す光沢特性データとに基づいて、前記複数の画像データの各々について、光沢の生じにくさの度合を示す第２の信頼度を画素位置ごとに算出する第２の信頼度算出ステップと、
前記第１の信頼度と前記第２の信頼度とに基づいて、各画素位置の画素値を、前記複数の画像データの対応する画素位置の画素値から決定する決定ステップと
を含むことを特徴とする画像処理方法。
【請求項９】
コンピュータを請求項１から請求項７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表面に凹凸を有する対象物の色を取得する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、表面に凹凸を有する対象物（被写体）から色を取得する様々な方法が知られている。特に、表面に凹凸を有する被写体から色を取得する場合、被写体表面の一部領域で光沢や影が生じるため、色の取得精度が低下することがある。そのため、光沢や影が生じないように照明装置や撮像装置を制御する様々な技術が提案されている。
【０００３】
例えば、偏光フィルタを用いて被写体表面の色と光沢とを分離して取得することで、凹凸を有する被写体表面の色を取得することを可能とする手法が提案されている（特許文献１）。また、公知の技術として凹凸を有する被写体の面法線方向に照明を配置することで、凹凸による影の発生を抑えて色を取得する手法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−６８８９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載された手法では、１方向の照明を用いて色を取得するため、被写体表面の凹凸により一部領域で影が生じるおそれがある。複数方向に照明装置を配置し、照明装置毎に偏光フィルタを取り付けることで、影の発生を抑えることはできるが、照明装置毎に偏光フィルタを取り付ける方法は、各偏光フィルタの偏光角度の調整作業が煩雑になり、実用上の課題がある。被写体の面法線方向に照明を配置して色を取得する手法では、被写体表面の各位置における面法線方向に照明装置を配置して撮像することにより、影の発生を抑えることが可能である。しかし、被写体表面の凹凸により、被写体表面の面法線の方向が、撮像に用いられる撮像装置の方向と近くなる場合がある。その場合、面法線の方向と正反射光が入射する方向とが近くなる。そのため、被写体表面の各位置における面法線の方向に照明装置を配置したとしても、一部領域で光沢が生じるおそれがある。
【０００６】
そこで、本発明では、表面に凹凸を有する対象物の色を簡便かつ高精度に取得することを目的とする。
【課題を解決するための手段】
【０００７】
本発明による画像処理装置は、表面に凹凸を有する対象物を撮像して得られた画像データであって、撮像時の照明方向がそれぞれ異なる複数の画像データを入力する入力手段と、対象物表面の凹凸の法線方向に基づいて、複数の画像データの各々について、影の生じにくさの度合を示す第１の信頼度を画素位置ごとに算出する第１の信頼度算出手段と、撮像に用いた撮像装置に撮像時の正反射光が入射する照明方向と、対象物の光沢の特性を示す光沢特性データとに基づいて、複数の画像データの各々について、光沢の生じにくさの度合を示す第２の信頼度を画素位置ごとに算出する第２の信頼度算出手段と、第１の信頼度と第２の信頼度とに基づいて、各画素位置の画素値を、複数の画像データの対応する画素位置の画素値から決定する決定手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、表面に凹凸を有する対象物の色を簡便かつ高精度に取得することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例１にかかる撮像システムの一例を示す説明図である。
【図２】実施例１にかかる撮像装置のハードウェア構成を示すブロック図である。
【図３】実施例１にかかる画像処理部の内部構成を示すブロック図である。
【図４】実施例１にかかる画像処理部における画像処理を示すフローチャートである。
【図５】実施例１において入力される光沢特性データの一例を示す説明図である。
【図６】画像処理部に入力される画像データと、画像処理部から出力される画像データとの一例を示す模式図である。
【図７】ステップＳ４０５の面法線方向の算出処理を示すフローチャートである。
【図８】ステップＳ４０６の影除去信頼度の算出処理の詳細を示すフローチャートである。
【図９】影除去信頼度算出部が算出した影除去信頼度を示すグラフである。
【図１０】ステップＳ４０８の光沢除去信頼度算出処理を示すフローチャートである。
【図１１】光沢除去信頼度算出部が算出した光沢除去信頼度を示すグラフである。
【図１２】ステップＳ４０９の処理で算出された凹凸物色信頼度を示すグラフである。
【図１３】同一の被写体に対して、被写体の面法線方向に配置した照明下で撮像する手法を用いて取得した画像と、実施例１にかかる撮像装置により取得した画像とを示す模式図である。
【図１４】実施例２において入力される照明場データの一例を示す説明図である。
【図１５】実施例２にかかる、ステップＳ４０８の光沢除去信頼度算出処理を示すフローチャートである。
【図１６】実施例２にかかる照明場データの画素値を白黒反転させた画像データに、正反射照明方向をプロットした様子を示す模式図である。
【図１７】光沢除去信頼度算出部が算出した、照明場データに基づく光沢除去信頼度を示すグラフである。
【図１８】ステップＳ１５０６の処理で算出された、光沢除去信頼度を示すグラフである。
【発明を実施するための形態】
【００１０】
［実施例１］
図１は、実施例１にかかる撮像システムの一例を示す説明図である。図１に示すように、本実施例にかかる撮像システムは、照明装置１〜１５と、撮像装置２００とを備える。本実施例では、図１（ａ）に示すように、天頂方向を原点とした仰角θ＝―８４°、―７２°、・・・、８４°の方向に計１５個の照明装置を配置する。そして、撮像装置２００が、表面に凹凸を有する対象物（被写体１００）の色を取得する。具体的には、図１（ｂ）に示すように、計１５個の照明装置１，照明装置２，・・・，照明装置１５の内１つの照明装置のみを点灯した状態で撮像した、計１５枚の画像５０１，画像５０２，・・・，画像５１５を用いて、被写体１００の色を取得する。
【００１１】
ここで、本実施例にかかる撮像装置２００のシステム構成を図２を用いて説明する。図２は、実施例１にかかる撮像装置２００のハードウェア構成を示すブロック図である。図２に示すように、撮像装置２００は、撮像部２０１と、フラッシュ２０２と、ＲＯＭ２０３と、ＲＡＭ２０４と、ＣＰＵ２０５と、撮像制御部２０６と、操作部２０７と、ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）生成部２０８と、表示部２０９と、デジタル信号処理部２１０と、圧縮・伸長部２１１と、外部メモリ制御部２１２と、メディア２１３と、画像処理装置（以下、画像処理部という）２１４とを備える。メディア２１３を除く各構成要素は、バス２１５を介して相互に接続される。
【００１２】
撮像部２０１は、レンズ、絞り、シャッタ、光学ローパスフィルタ、カラーフィルタ、および、ＣＭＯＳやＣＣＤなどのセンサから構成される。撮像部２０１は、被写体の光量を検知し、検知した光量をＡ／Ｄ変換によりデジタルデータに変換し、バス２１５に出力する。
【００１３】
フラッシュ２０２は、被写体に光を照射する。
【００１４】
ＲＯＭ２０３とＲＡＭ２０４は、撮像や画像処理に必要なプログラム、データなどを記憶する。また、ＲＯＭ２０３とＲＡＭ２０４は、ＣＰＵ２０５の作業領域として機能する。
【００１５】
ＣＰＵ２０５は、ＲＡＭ２０４をワークメモリとして、ＲＯＭ２０３やＲＡＭ２０４に記憶されたプログラムを実行し、バス２１５を介して各構成要素を制御する。これにより、後述する様々な処理が実行される。
【００１６】
撮像制御部２０６は、フォーカスを合わせる、シャッタを開く、絞りを調節する、などの撮像部２０１に対する制御を、ＣＰＵ２０５からの指示に基づいて行う。
【００１７】
操作部２０７は、ボタンやモードダイヤルなどであり、これらを介して入力されるユーザ指示を受け取る。
【００１８】
ＣＧ生成部２０８は、文字やグラフィックなどを表示するためのデータを生成する。
【００１９】
表示部２０９は、例えば液晶ディスプレイである。本実施例では、表示部２０９は、ＣＧ生成部２０８やデジタル信号処理部２１０や画像処理部２１４から受け取ったデータをもとに、画像や文字の表示を行う。なお、表示部２０９は、タッチスクリーン機能を有していてもよい。その場合、操作部２０７の代わりに、または操作部２０７とともに、表示部２０９が、ユーザ指示を入力するようにしてもよい。
【００２０】
デジタル信号処理部２１０は、デジタルデータにホワイトバランス処理、ガンマ処理、ノイズ低減処理などを行い、画像データを生成する。
【００２１】
圧縮・伸張部２１１は、上記画像データをＪｐｅｇやＭｐｅｇなどのファイルフォーマットに変換する処理を行う。
【００２２】
外部メモリ制御部２１２は、メディア２１３とバス２１５とをつなぐためのインターフェースである。
【００２３】
メディア２１３は、記憶媒体であって、例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリである。
【００２４】
画像処理部２１４は、撮像部２０１から出力されるデジタルデータまたは、デジタル信号処理部２１０から出力される画像データを利用して新たな画像データを生成し、その結果をバス２１５へ出力する。画像処理部２１４の詳細については、後述する。
【００２５】
なお、撮像装置２００の構成要素は上記以外にも存在するが、本実施例の主眼ではないので説明を省略する。
【００２６】
［画像処理部２１４の構成］
図３は、実施例１にかかる画像処理部２１４の内部構成を示すブロック図である。
【００２７】
画像処理部２１４は、入力端子３０１〜３０４と、撮像画像データ入力部３０５と、照明場データ入力部３０６と、カメラ位置データ入力部３０７と、光沢特性データ入力部３０８と、影除去信頼度算出部３１０と、正反射照明方向算出部３１１と、光沢除去信頼度算出部３１２と、凹凸物色信頼度算出部３１３と、色取得照明探索部３１４と、画素値決定部３１５と、出力端子３１６とを含む。
【００２８】
撮像画像データ入力部３０５は、入力端子３０１を介してデジタル信号処理部２１０で生成された画像データを入力する。撮像画像データ入力部３０５は、入力した画像データを、面法線方向算出部３０９および画素値決定部３１５へ出力する。
【００２９】
照明場データ入力部３０６は、入力端子３０２を介して撮像時の照明場データを入力する。照明場データ入力部３０６は、入力した照明場データを、面法線方向算出部３０９、影除去信頼度算出部３１０および光沢除去信頼度算出部３１２へ出力する。
【００３０】
カメラ位置データ入力部３０７は、入力端子３０３を介してカメラ位置データを入力する。カメラ位置データ入力部３０７は、入力したカメラ位置データを、面法線方向算出部３０９および正反射照明方向算出部３１１へ出力する。
【００３１】
光沢特性データ入力部３０８は、入力端子３０４を介して被写体の光沢特性データを入力する。光沢特性データ入力部３０８は、入力した光沢特性データを、光沢除去信頼度算出部３１２へ出力する。
【００３２】
面法線方向算出部３０９は、撮像画像データ入力部３０５から出力された画像データと、照明場データ入力部３０６から出力された照明場データと、カメラ位置データ入力部３０７から出力されたカメラ位置データとをもとに、被写体の面法線方向を算出する。面法線方向算出部３０９は、算出した面法線方向を示すデータ（以下、面法線データという）を影除去信頼度算出部３１０、正反射照明方向算出部３１１へ出力する。
【００３３】
影除去信頼度算出部３１０は、照明場データ入力部３０６から出力されたが照明場データと、面法線方向算出部３０９から出力された面法線データとをもとに、影除去の信頼度（以下、影除去信頼度という）を算出する。本実施例における影除去信頼度は、影の生じにくさの度合である。影除去信頼度算出部３１０は、算出した影除去信頼度を示すデータ（以下、影除去信頼度データという）凹凸物色信頼度算出部３１３へ出力する。
【００３４】
正反射照明方向算出部３１１は、カメラ位置データ入力部３０７から出力されたカメラ位置データと、面法線方向算出部３０９から出力された面法線データとをもとに、撮像装置２００に撮像時の正反射光が入射する照明方向（以下、正反射照明方向という）を算出する。正反射照明方向算出部３１１は、算出した正反射照明方向を示すデータ（以下、正反射照明方向データという）を光沢除去信頼度算出部３１２へ出力する。
【００３５】
光沢除去信頼度算出部３１２は、照明場データ入力部３０６から出力された照明場データと、光沢特性データ入力部３０８から出力された光沢特性データと、正反射照明方向算出部３１１から出力された正反射照明方向データとをもとに、光沢除去の信頼度（以下、光沢除去信頼度という）を算出する。本実施例における光沢除去信頼度は、光沢の生じにくさの度合である。光沢除去信頼度算出部３１２は、算出した光沢除去信頼度を示すデータ（以下、光沢除去信頼度データという）を凹凸物色信頼度算出部３１３へ出力する。
【００３６】
凹凸物色信頼度算出部３１３は、影除去信頼度算出部３１０から出力されたが影除去信頼度データと、光沢除去信頼度算出部３１２から出力された光沢除去信頼度データとをもとに、被写体表面の凹凸により生じる影と光沢を考慮した、色信頼度（以下、凹凸物色信頼度という）を算出する。凹凸物色信頼度算出部３１３は、算出した凹凸物色信頼度を示すデータ（以下、凹凸物色信頼度データという）を色取得照明探索部３１４へ出力する。
【００３７】
色取得照明探索部３１４は、凹凸物色信頼度算出部３１３から出力された凹凸物色信頼度データをもとに、各画素位置において、凹凸物色信頼度を最大にする照明装置を探索する。色取得照明探索部３１４は、探索した照明装置の識別番号を示す照明情報を画素値決定部３１５へ出力する。本実施例では、照明装置１〜１５に、識別番号として１〜１５がそれぞれ割り当てられる。
【００３８】
画素値決定部３１５は、色取得照明探索部３１４から出力された照明情報をもとに、各画素位置の画素値を決定する。本実施例では、画素値決定部３１５は、色を示す画素値、例えばＲＧＢ値を決定する。画素値決定部３１５は、決定した各画素値を対応する画素位置に設定した、新たな画像データを生成する。そして、画素値決定部３１５は、生成した新たな画像データを出力端子３１６から出力する。
【００３９】
なお、撮像画像データ入力部３０５は、撮像部２０１で生成されたデジタルデータを入力し、当該デジタルデータに対して処理を行うようにしてもよい。
【００４０】
［画像処理部２１４の動作］
図４は、実施例１にかかる画像処理部における画像処理を示すフローチャートである。図４示すフローを記述した、コンピュータで実行可能なプログラムをＲＯＭ２０３からＲＡＭ２０４上に読み込んだ後に、ＣＰＵ２０５によって該プログラムを実行することによって当該画像処理が実施される。以下、図４に示すフローについて説明する。
【００４１】
ステップＳ４０１では、撮像画像データ入力部３０５が、デジタル信号処理部２１０から、各照明装置下で撮像して得られた画像データを入力する。撮像画像データ入力部３０５は、入力した画像データをＲＡＭ２０４に記憶する。
【００４２】
ステップＳ４０２では、照明場データ入力部３０６が、撮像時の照明場データを入力する。本実施例では、図１に示す各照明装置からの照明は輝度が同じであり、かつ平行光であり、各照明装置から被写体全面に均一な平行光が照射されるものとする。従って、計１５個の照明装置の照明方向ベクトルＬ1，Ｌ2，・・・，Ｌ15が照明場データとして、照明場データ入力部３０６に入力される。本実施例では、Ｌ1＝（ｓｉｎ（―８４°），０，ｃｏｓ（―８４°））、Ｌ2＝（ｓｉｎ（―７２°），０，ｃｏｓ（―７２°））、・・・、Ｌ15＝（ｓｉｎ（８４°），０，ｃｏｓ（８４°））となる。照明場データ入力部３０６は、入力した照明場データをＲＡＭ２０４に記憶する。
【００４３】
ステップＳ４０３では、カメラ位置データ入力部３０７が、撮像時のカメラ位置データを入力する。カメラ位置データ入力部３０７は、入力したカメラ位置データをＲＡＭ２０４に記憶する。
【００４４】
ステップＳ４０４では、光沢特性データ入力部３０８が、被写体の光沢特性データを入力する。本実施例では、光沢特性データ入力部３０８は、被写体の光沢特性データとして、被写体の光沢度を表すパラメータを入力する。具体的には、被写体を撮像した画像の各画素について、照明方向が変化したときの光沢度Ｉの半値半幅θHWHM（ｐ）を光沢特性データとして入力する。ｐは、画素位置を表す番号である。図５は、実施例１において入力される光沢特性データの一例を示す説明図である。以下、画素位置ｐにおける画素を、画素ｐと記す。本実施例では、光沢度Ｉの半値半幅は被写体全面で同じ値であるとする。すなわち、θHWHM（ｐ）＝θHWHMとする。なお、光沢特性データとして、光沢度以外のパラメータを用いるようにしてもよい。
【００４５】
ステップＳ４０５では、面法線方向算出部３０９が、上記処理においてＲＡＭ２０４に記憶された、画像データと照明場データとカメラ位置データともとに、各画素における被写体の面法線方向を算出する。面法線方向の算出処理の詳細は、図７を用いて後述する。面法線方向算出部３０９は、算出した面法線方向Ｎ（ｐ）を示す面法線方向データをＲＡＭ２０４に記憶する。
【００４６】
ステップＳ４０６では、影除去信頼度算出部３１０が、上記処理においてＲＡＭ２０４に記憶された、照明場データと面法線データとをもとに、面法線にもとづく影除去信頼度を算出する。面法線にもとづく影除去信頼度の算出処理の詳細は、図８を用いて後述する。影除去信頼度算出部３１０は、算出した影除去信頼度を示す影除去信頼度データをＲＡＭ２０４に記憶する。
【００４７】
ステップＳ４０７では、正反射照明方向算出部３１１が、上記処理においてＲＡＭ２０４に記憶された、カメラ位置データと面法線データとをもとに、以下の式（１）に従い、正反射照明方向ＬS（ｐ）を算出する。正反射照明方向ＬS（ｐ）は、画素ｐ（具体的には、画素ｐに対応する被写体１００上の領域）における、撮像時の正反射光が撮像装置２００に入射する照明方向である。すなわち、正反射照明方向ＬS（ｐ）は、画素ｐにおける正反射光を撮像装置２００で撮像できる照明方向である。
【００４８】
【数１】
2017045416.tif 000003
【００４９】
Ｖ（ｐ）は、画素ｐの位置を原点としたときの撮像装置の位置を被写体―撮像装置間の距離で除算した、撮像装置の方向ベクトルである。本実施例では、撮像装置２００は仰角θ＝４５°の方向に配置されていて、かつ、被写体１００と撮像装置２００との距離は十分離れているため、全画素について、Ｖ（ｐ）＝（ｓｉｎ（４５°），０，ｃｏｓ（４５°））となる。正反射照明方向算出部３１１は、算出した正反射照明方向ＬS（ｐ）を示す正反射照明方向データをＲＡＭ２０４に記憶する。なお、本実施例では、式（１）から算出されるＬS（ｐ）を用いずに、ステップＳ４０５の面法線方向算出処理内における、後述のステップＳ６０６の処理で算出されるＬS（ｐ）を用いてもよい。すなわち、ステップＳ４０５の面法線方向算出処理においてＬS（ｐ）が算出される場合には、ステップＳ４０７の処理をスキップしてもよい。
【００５０】
ステップＳ４０８では、光沢除去信頼度算出部３１２が、上記処理においてＲＡＭ２０４に記憶された、照明場データとカメラ位置データと光沢特性データとをもとに、光沢除去信頼度を算出する。光沢除去信頼度の算出処理の詳細は図１０を用いて後述する。光沢除去信頼度算出部３１２は、算出した光沢除去信頼度を示す光沢除去信頼度データをＲＡＭ２０４に記憶する。
【００５１】
ステップＳ４０９では、凹凸物色信頼度算出部３１３が、上記処理においてＲＡＭ２０４に記憶された、影除去信頼度データと光沢除去信頼度データとを読み出し、ステップＳ４０６の処理で算出された影除去信頼度と、ステップＳ４０８の処理で算出された光沢除去信頼度とを取得する。そして、凹凸物色信頼度算出部３１３は、以下の式（２）に従い、凹凸物色信頼度Ｗ（ｉ，ｐ）を算出する。
【００５２】
【数２】
2017045416.tif 000004
【００５３】
Ｗ（ｉ，ｐ）は、画素ｐ（具体的には、画素ｐに対応する被写体上の領域）における凹凸物色信頼度を表す。ｉは、照明装置の識別番号を表す。例えば、Ｗ（５，３）は、照明装置５下で撮像された画像の画素３における凹凸物色信頼度を表す。ｋは、影除去信頼度と光沢除去信頼度の重み付けを表す係数であり、０より大きく１より小さい値である。本実施例では、ｋ＝０．５とする。Ｗc（ｉ，ｐ）は、ステップＳ４０６の処理で算出された影除去信頼度である。例えば、Ｗc（５，３）は、照明装置５下で撮像された画像の画素３における影除去信頼度を表す。Ｗs（ｉ，ｐ）は、ステップＳ４０８の処理で算出された光沢除去信頼度である。例えば、Ｗs（５，３）は、照明装置５下で撮像された画像の画素３における光沢除去信頼度を表す。凹凸物色信頼度算出部３１３は、算出した凹凸物色信頼度Ｗ（ｉ，ｐ）を示す凹凸物色信頼度データをＲＡＭ２０４に記憶する。
【００５４】
ステップＳ４１０では、色取得照明探索部３１４が、上記処理においてＲＡＭ２０４に記憶された、凹凸物色信頼度データを読み出し、凹凸物色信頼度Ｗ（ｉ，ｐ）を取得する。そして、色取得照明探索部３１４は、凹凸物色信頼度Ｗ（ｉ，ｐ）をもとに、各画素位置において、当該信頼度を最大にする照明装置を探索する。色取得照明探索部３１４は、探索された照明装置の識別番号を示す照明情報ＬW（ｐ）をＲＡＭ２０４に記憶する。
【００５５】
ステップＳ４１１では、画素値決定部３１５が、ステップＳ４１０の処理でＲＡＭ２０４に記憶された照明情報ＬW（ｐ）を読み出す。そして、画素値決定部３１５は、画素位置ごとに、ＬW（ｐ）によって特定される照明装置下で撮像した画像データから、色を示す画素値、例えばＲＧＢ値を取得する。そして、画素値決定部３１５は、取得した画素値を対応する画素位置に設定した、新たな画像データを生成する。そして、画素値決定部３１５は、生成した新たな画像データを出力端子３１６から出力し、処理を終了する。
【００５６】
なお、上記の処理では、ＲＡＭ２０４を介して、構成要素間で各種データの受け渡しが行われているが、それらのデータの受け渡しは、他の記憶装置を介して行われるようにしてもよい。
【００５７】
図６は、画像処理部２１４に入力される画像データと、画像処理部２１４から出力される画像データとの一例を示す模式図である。図６（ａ）には、画像処理部２１４に入力される１５個の画像データの一例が示されている。画像データ４０１〜４１５は、それぞれ照明装置１〜１５下で撮像して得られた画像データである。図６（ｂ）には、画像処理部２１４から出力される画像データが示されている。図６（ａ）における太い黒枠は、各画素位置において、凹凸物色信頼度が最も高い画素値を有する画素を示す。画素値決定部３１５は、図６（ｂ）に示すような画像データ、具体的には、凹凸物色信頼度が最も高い画素有する画素で構成された画像データを、出力端子３１６から出力する。なお、図６では、説明を簡単にするために、３×３画素の画像データが例示されているが、画像データのサイズは３×３画素に限定されない。
【００５８】
［面法線方向算出部３０９の動作］
以下では、ステップＳ４０５の面法線方向の算出処理の詳細について図７を用いて説明する。図７は、ステップＳ４０５の面法線方向の算出処理を示すフローチャートである。
【００５９】
ステップＳ６０１では、面法線方向算出部３０９が、照明装置の識別番号を示す変数ｉを１に初期化する。
【００６０】
ステップＳ６０２では、面法線方向算出部３０９は、ステップＳ４０１の処理で入力された画像データのうち、変数ｉ（＝１）で特定される照明装置、すなわち照明装置１下で撮像して得られた画像データのＲＧＢ値を、ＹＣｂＣｒに変換する。そして、面法線方向算出部３０９は、各画素におけるＹ値を輝度画像データＹi（ｐ）として算出する。面法線方向算出部３０９は、算出した輝度画像データＹi（ｐ）をＲＡＭ２０４に記憶する。
【００６１】
ステップＳ６０３では、面法線方向算出部３０９が、ステップＳ４０２の処理で入力された照明場データから、照明装置１の照明方向を取得する。そして、面法線方向算出部３０９は、照明装置１の照明方向を、正反射照明方向ＬS（ｐ）の初期値として設定する。本実施例では、正反射照明方向ＬS（ｐ）の初期値は、全画素とも、（ｓｉｎ（―８４°），０，ｃｏｓ（―８４°））となる。
【００６２】
ステップＳ６０４では、面法線方向算出部３０９が、ステップＳ４０１の処理で入力された画像データのうち、変数ｉ＋１で特定される照明装置下で撮像して得られた画像データのＲＧＢ値をＹＣｂＣｒに変換する。そして、面法線方向算出部３０９は、各画素におけるＹ値を輝度画像データＹi+1（ｐ）として算出する。面法線方向算出部３０９は、算出した輝度画像データＹi+1（ｐ）をＲＡＭ２０４に記憶する。
【００６３】
ステップＳ６０５では、面法線方向算出部３０９が、各画素について、Ｙi+1（ｐ）＞Ｙi（ｐ）を満たすかどうか判定する。
【００６４】
Ｙi+1（ｐ）＞Ｙi（ｐ）を満たす画素ｐが存在する場合は（ステップＳ６０５のＹｅｓ）、面法線方向算出部３０９は、変数ｉ＋１で指定される照明装置が、画素ｐにおける正反射光を撮像部２０１に入射する照明装置であると判定し、ステップＳ６０６の処理へ移行する。
【００６５】
Ｙi+1（ｐ）＞Ｙi（ｐ）を満たす画素ｐが存在しない場合は（ステップＳ６０５のＮｏ）、面法線方向算出部３０９は、ステップＳ６０７の処理へ移行する。
【００６６】
ステップＳ６０６では、面法線方向算出部３０９が、ステップＳ６０５の処理でＹi+1（ｐ）＞Ｙi（ｐ）を満たすと判定された画素ｐに対応する、正反射照明方向ＬS（ｐ）を更新する。具体的には、面法線方向算出部３０９は、ステップＳ４０２の処理で入力された照明場データから、変数ｉ＋１で指定される照明装置の照明方向を取得する。そして、面法線方向算出部３０９は、取得した照明方向で、正反射照明方向ＬS（ｐ）を更新する。面法線方向算出部３０９は、更新した正反射照明方向ＬS（ｐ）を格納した正反射照明方向データをＲＡＭ２０４に記憶する。
【００６７】
ステップＳ６０７では、面法線方向算出部３０９が、変数ｉに１を加算して（ｉ＝ｉ＋１）、変数ｉを更新する。
【００６８】
ステップＳ６０８では、面法線方向算出部３０９が、変数ｉがｉ＞ｎ−２を満たすかどうかを判定する。ｎは、照明装置の全台数を表す。本実施例では、ｎにあらかじめ１５が設定されている。
【００６９】
ｉ＞ｎ−２を満たす場合は（ステップＳ６０８のＹｅｓ）、面法線方向算出部３０９は、全ての輝度画像データを比較して正反射照明方向を算出したと判定し、ステップＳ６１０の処理へ移行する。
【００７０】
ｉ＞ｎ−２を満たさない場合は（ステップＳ６０８のＮｏ）、面法線方向算出部３０９は、ステップＳ６０４の処理に戻る。
【００７１】
ステップＳ６０９では、面法線方向算出部３０９が、ステップＳ４０３の処理で入力されたカメラ位置データと、ステップＳ６０６で更新した正反射照明方向とをもとに、以下の式（３）に従い、画素ｐ（具体的には、画素ｐに対応する被写体上の領域）における面法線方向Ｎ（ｐ）を算出する。
【００７２】
【数３】
2017045416.tif 000005
【００７３】
Ｖ（ｐ）は、式（１）におけるＶ（ｐ）と同様である。面法線方向算出部３０９は、算出した面法線方向Ｎ（ｐ）を示す面法線方向データをＲＡＭ２０４に記憶する。
【００７４】
なお、上記の処理では、各種データをＲＡＭ２０４に記憶させているが、それらのデータを他の記憶装置に格納させるようにしてもよい。
【００７５】
［影除去信頼度算出部３１０動作］
以下では、ステップＳ４０６の影除去信頼度の算出処理の詳細について説明する。図８は、ステップＳ４０６の影除去信頼度の算出処理の詳細を示すフローチャートである。
【００７６】
ステップＳ７０１では、影除去信頼度算出部３１０が、照明装置の識別番号を示す変数ｉを１に初期化する。
【００７７】
ステップＳ７０２では、影除去信頼度算出部３１０が、ステップＳ４０２の処理で入力された照明場データと、ステップＳ４０５の処理で算出された面法線方向とをもとに、以下の式（４）に従い、照明装置ごとに、各画素における影除去信頼度ＷC（ｉ，ｐ）を算出する。
【００７８】
【数４】
2017045416.tif 000006
【００７９】
本実施例では、影除去信頼度算出部３１０は、式（４）に示すように、照明場データ（具体的には、照明場データによって示される照明方向）と面法線方向との内積を、影除去信頼度ＷC（ｉ，ｐ）として算出する。影除去信頼度算出部３１０は、算出した影除去信頼度ＷC（ｉ，ｐ）を示す影除去信頼度データをＲＡＭ２０４に記憶する。
【００８０】
ステップＳ７０３では、影除去信頼度算出部３１０が、変数ｉに１を加算し（、ｉ＝ｉ＋１）、変数ｉを更新する。
【００８１】
ステップＳ７０４では、影除去信頼度算出部３１０が、変数ｉがｉ＞ｎ−１を満たすかどうかを判定する。
【００８２】
ｉ＞ｎ−１を満たす場合は（ステップＳ７０４のＹｅｓ）、影除去信頼度算出部３１０は、全ての照明装置に対する影除去信頼度を算出したと判定し、処理を終了する。
【００８３】
ｉ＞ｎ−１を満たさない場合は（ステップＳ７０４のＮｏ）、影除去信頼度算出部３１０は、ステップＳ７０２の処理に戻る。図９は、影除去信頼度算出部３１０が算出した影除去信頼度を示すグラフである。図９には、ｘ軸に照明番号ｉ、ｙ軸に信頼度ＷC（ｉ，ｐ）をプロットしたグラフが示されている。画素ｐにおける面法線方向Ｎ（ｐ）と照明場データＬiとが同じ方向を示す場合には、Ｎ（ｐ）とＬiとの内積は最大になる。したがって、図９に示すグラフは、面法線方向近傍の照明装置ＴNにおいてＷC（ｉ，ｐ）の値が最大となる、凸型のグラフになる。
【００８４】
［光沢除去信頼度算出部３１２の動作］
以下では、ステップＳ４０８の光沢除去信頼度算出処理の詳細について説明する。図１０は、ステップＳ４０８の光沢除去信頼度算出処理を示すフローチャートである。
【００８５】
ステップＳ８０１では、光沢除去信頼度算出部３１２が、照明装置を識別するための変数ｉを、１に初期化する。
【００８６】
ステップＳ８０２では、光沢除去信頼度算出部３１２が、照明場データＬiと、光沢特性データθHWHM（ｐ）と、正反射照明方向データＬS（ｐ）とをもとに、以下の式（５）に従い、照明装置ごとに、各画素における光沢除去信頼度ＷS（ｉ，ｐ）を算出する。
【００８７】
【数５】
2017045416.tif 000007
【００８８】
光沢除去信頼度算出部３１２は、算出した光沢除去信頼度ＷS（ｉ，ｐ）を示す光沢除去信頼度データを、ＲＡＭ２０４に記憶する。
【００８９】
ステップＳ８０３では、光沢除去信頼度算出部３１２が、変数ｉに１を加算し（ｉ＝ｉ＋１）、変数ｉを更新する。
【００９０】
ステップＳ８０４では、光沢除去信頼度算出部３１２が、変数ｉがｉ＞ｎ−１を満たすかどうかを判定する。
【００９１】
ｉ＞ｎ−１を満たす場合は（ステップＳ８０４のＹｅｓ）、光沢除去信頼度算出部３１２は、全ての照明装置に対する光沢除去信頼度を算出したと判定し、処理を終了する。
【００９２】
ｉ＞ｎ−１を満たさない場合は（ステップＳ８０４のＮｏ）、光沢除去信頼度算出部３１２は、ステップＳ８０２の処理に戻る。
【００９３】
図１１は、光沢除去信頼度算出部３１２が算出した光沢除去信頼度ＷS（ｉ，ｐ）を示すグラフである。図１１には、ｘ軸に照明番号ｉ、ｙ軸に光沢除去信頼度ＷS（ｉ，ｐ）をプロットしたグラフが示されている。照明場データＬiと正反射照明方向データＬS（ｐ）とが同じ方向を示す場合には、ＬiとＬS（ｐ）との内積（Ｌi・ＬS（ｐ））は１になる。その場合、ａｒｃｃｏｓ（Ｌi・ＬS（ｐ））は０になり、式（５）の右辺は１−ｅｘｐ（０）＝０となる。したがって、図１１に示すグラフは、正反射照明方向近傍の照明装置ＴSにおいてＷS（ｉ，ｐ）の値が最小となる、凹型のグラフになる。
【００９４】
図１２は、ステップＳ４０９の処理で算出された凹凸物色信頼度Ｗ（ｉ，ｐ）を示すグラフである。図１２には、ｘ軸に照明番号ｉ、ｙ軸に凹凸物色信頼度Ｗ（ｉ，ｐ）をプロットしたグラフが示されている。図１２に示すグラフは、照明装置ＴNより正反射照明装置ＴSから離れた位置に配置した照明装置ＴWにおいてＷ（ｉ，ｐ）の値が最大となる、凸型のグラフになる。
【００９５】
なお、上記の処理では、各種データをＲＡＭ２０４に記憶させているが、それらのデータを他の記憶装置に格納させるようにしてもよい。
【００９６】
ここで、被写体の面法線方向に配置した照明下で撮像する手法により取得した画像データと、本実施例にかかる撮像装置２００により取得した画像データとを比較して、本実施例の効果を説明する。
【００９７】
図１３は、同一の被写体に対して、被写体の面法線方向に配置した照明下で撮像する手法を用いて撮像した画像（図１３（ａ））と、実施例１にかかる撮像装置により撮像した画像（図１３（ｂ））とを示す模式図である。図１３（ａ）に示すように、被写体表面の凹凸形状によりカメラ方向近傍に面法線を有する領域（図１３（ａ）において斜線で示された領域）では、面法線方向が正反射照明方向と近くなるため、被写体表面上に光沢が生じる。一方、本実施例では、画素位置ごとに、影除去信頼度と光沢除去信頼度とをもとに探索された照明装置下で撮像して得られた画像データから、画素値を取得するので、図１３（ｂ）に示すように、カメラ方向近傍に面法線を有する領域（図１３（ｂ）における、図１３（ａ）において斜線で示された領域に対応する領域）でも光沢がない画像を取得することができる。
【００９８】
以上に説明したように、本実施例では、複数の照明装置下で撮像して得られた複数の画像データから、画素位置ごとに、影除去信頼度および光沢除去信頼度が高い画素を取得するので、凹凸を有する対象物表面の色を簡便かつ高精度に取得することができる。
【００９９】
なお、本実施例では、方位角φ＝０°の平面上に配置した１５個の照明装置下で画像データを取得したが、方位角が異なる位置に照明装置を配置してもよく、特に照明装置の配置を限定するものではない。
【０１００】
また、本実施例では、１５個の照明装置の内１つのみを点灯した状態で撮像した画像から画素値を取得したが、被写体１００の表面凹凸や光沢特性に応じて照明装置の数を増減させたり、複数の照明装置を点灯させたりしてもよく、特に照明方法や照明装置の数、撮像画像枚数を限定するものではない。
【０１０１】
また、本実施例では、１５個の照明装置をそれぞれ所定の位置に設置する場合を例にしたが、照明装置を移動可能なようにしてもよい。例えば、照明装置を１つ用意し、当該照明装置を、天頂方向を原点とした仰角θ＝―８４°、―７２°、・・・、８４°の各位置に移動させて、撮像するようにしてもよい。
【０１０２】
また、本実施例では、正反射照明方向から被写体の面法線方向を算出したが、パターン投影法による三角測量により測定した形状データから算出してもよく、特に面法線方向の算出方法を限定するものではない。
【０１０３】
また、本実施例では、光沢特性データとして光沢度を表すパラメータを入力したが、光沢特性データとしてその他のパラメータを用いてもよく、特に光沢特性データを光沢度に限定するものではない。また、光沢除去信頼度の算出方法は、図１０に示される算出方法に限定されず、例えば、光沢度を閾値処理し、所定の閾値以下は光沢の影響を無視できるとして光沢除去信頼度を算出してもよい。
【０１０４】
また、本実施例では、ｋ＝０．５としているが、ユーザがｋを任意に指定可能であってもよい。例えば、操作部２０７を介して、ユーザが、ｋに設定する値をＲＡＭ２０４等に格納できるようにしてもよい。また、本実施例では、ｋを０より大きく１より小さい値としているが、ｋに０または１の値を設定してもよい。例えば、被写体が表面凹凸をほとんど有さない場合には、影を除去する必要がなくなるので、ｋに０を設定するようにしてもよい。
【０１０５】
また、本実施例では、ステップＳ４１０において、凹凸物色信頼度Ｗ（ｉ，ｐ）を最大にする照明装置を探索しているが、Ｗ（ｉ，ｐ）が大きい照明装置を複数選択してもよい。そして、ステップＳ４１１において、選択された複数の照明装置下で撮像した画像データの各々から取得された画素値の平均値などを採用するようにしてもよい。
【０１０６】
また、本実例では、画素単位で処理を行っているが、処理を画素単位に限定するものではない。
【０１０７】
［実施例２］
実施例１では、仰角θ＝―８４°、―７２°、・・・、８４°の方向に配置された、輝度が同一の平行光を照射する照明装置を用いて、凹凸を有する被写体の色を取得する方法を説明した。本実施例では、照明が点光源のように様々な方向に光を照射する配光特性を有する場合でも、凹凸を有する被写体の色を高精度に取得できる方法を説明する。従って、本実施例では実施例１と同じ方向に配置した、計１５個の点光源を用いて被写体の色を取得する。
【０１０８】
本実施例の画像処理の流れは、ステップＳ４０８の処理以外は実施例１と同じである。なお、本実施例では、上述したように、様々な方向に光が照射される配光特性を有する照明装置を用いて、表面に凹凸を有する被写体の色を取得する。そのため、ステップＳ４０２の処理では、照明場データ入力部３０６は、図１４に示す２ｒ（ｐｉｘｅｌ）×２ｒ（ｐｉｘｅｌ）の環境マップを照明場データとして入力する。図１４は、実施例２において入力される照明場データの一例を示す説明図である。環境マップはＣＧ分野で一般的に用いられる撮像時の照明環境を表現する画像データである。本実施例では、予め被写体の画素ｐの位置で魚眼レンズを用いて照明装置を撮像した画像データを用いる。図１４に示す照明場データＬ1、Ｌ2、・・・、Ｌ15は、ある画素の位置で魚眼レンズを用いて各照明装置を撮像した画像データである。
【０１０９】
以下、図１５を用いて本実施例における画像処理の詳細を説明する。図１５は、実施例２にかかる、ステップＳ４０８の光沢除去信頼度算出処理を示すフローチャートである。
【０１１０】
ステップＳ１５０１、Ｓ１５０２は実施例１のステップＳ８０１、Ｓ８０２と同じであるため、説明を省略する。ステップＳ１５０３では、光沢除去信頼度算出部３１２が、照明場データＬi、正反射照明方向ＬS（ｐ）から、以下の式（６）に従い、画素ｐにおける、照明場データに基づく光沢除去信頼度ＷL（ｉ，ｐ）を算出する。
【０１１１】
【数６】
2017045416.tif 000008
【０１１２】
ｎｅｇａ［Ｌi（ｕS（ｐ），ｖS（ｐ））］は、照明場データＬi（ｕS（ｐ），ｖS（ｐ））の画素値を白黒反転させた画像データである。（ｕS（ｐ），ｖS（ｐ））は、ステップＳ４０７の処理で算出された、画素ｐにおける正反射照明方向ＬS（ｐ）を表す、照明場データＬi上の画素位置である。光沢除去信頼度算出部３１２は、以下の式（７）に従い、（ｕS（ｐ），ｖS（ｐ））を算出する。
【０１１３】
【数７】
2017045416.tif 000009
【０１１４】
φS（ｐ）、θS（ｐ）は、画素ｐにおける正反射照明方向ＬS（ｐ）の方位角成分、仰角成分である。
【０１１５】
光沢除去信頼度算出部３１２は、照明場データＬiの画素値を白黒反転させた画像データに対して、正反射照明方向（ｕS（ｐ），ｖS（ｐ））をプロットすることで、光沢除去信頼度ＷL（ｉ，ｐ）を算出する。図１６は、実施例２にかかる照明場データＬiの画素値を白黒反転させた画像データに、正反射照明方向（ｕS（ｐ），ｖS（ｐ））をプロットした様子を示す模式図である。図１６における×印は、プロットされた正反射照明方向（ｕS（ｐ），ｖS（ｐ））を示す。本実施例では、各照明装置と被写体との距離は十分離れているため、全画素について同じ信頼度となる。光沢除去信頼度算出部３１２は、光沢除去信頼度ＷL（ｉ，ｐ）を示すデータをＲＡＭ２０４に記憶する。
【０１１６】
ステップＳ１５０４、Ｓ１５０５の処理は、実施例１におけるステップＳ８０３、Ｓ８０４の処理と同じであるため、説明を省略する。
【０１１７】
図１７は、光沢除去信頼度算出部３１２が算出した、照明場データに基づく光沢除去信頼度ＷL（ｉ，ｐ）を示すグラフである。図１７には、ｘ軸に照明番号ｉ、ｙ軸に照明場データに基づく光沢除去信頼度ＷL（ｉ，ｐ）をプロットしたグラフが示されている。プロットされた正反射照明方向（ｕS（ｐ），ｖS（ｐ））（図１６における×印）と照明装置の位置（図１６における黒い円の中心）とが近くなるにつれて、光沢が生じやすくなる。したがって、図１７に示すグラフは、正反射照明方向にある照明装置ＴSにおいてＷL（ｉ，ｐ）の値が最小となる、凹型のグラフとなる。
【０１１８】
ステップＳ１５０６では、光沢除去信頼度算出部３１２が、ステップＳ１５０２で算出された光沢除去信頼度、すなわち光沢度に基づく光沢除去信頼度と、ステップＳ１５０３で算出された、照明場データに基づく光沢除去信頼度とをもとに、以下の式（８）に従い、光沢除去信頼度Ｗ’S（ｉ，ｐ）を算出する。
【０１１９】
【数８】
2017045416.tif 000010
【０１２０】
ｋSは、光沢度に基づく光沢除去信頼度ＷS（ｉ，ｐ）と照明場データに基づく光沢除去信頼度ＷL（ｉ，ｐ）との重み付けを表す係数であり、０より大きく１より小さい値である。本実施例では、ｋS＝０．５とする。ＷS（ｉ，ｐ）は、ステップＳ１５０２の処理で算出された、光沢度に基づく光沢除去信頼度である。ＷL（ｉ，ｐ）は、ステップＳ１５０３の処理で算出された、照明場データに基づく光沢除去信頼度である。光沢除去信頼度算出部３１２は、算出したＷ’S（ｉ，ｐ）を示すデータをＲＡＭ２０４に記憶する。図１８は、ステップＳ１５０６の処理で算出された、光沢除去信頼度Ｗ’S（ｉ，ｐ）を示すグラフである。図１８には、ｘ軸に照明番号ｉ、ｙ軸に光沢除去信頼度Ｗ’S（ｉ，ｐ）をプロットしたグラフが示されている。図１８に示すように、光沢除去信頼度Ｗ’S（ｉ，ｐ）は、正反射照明方向にある照明装置ＴSの信頼度が最小となる、凹型の信頼度となっている。
【０１２１】
以上に説明したように、本実施例では、照明場データとして入力した環境マップに対して、光沢除去信頼度を算出する。それにより、点光源のように様々な方向に光を照射する配光特性を有する照明下においても、凹凸を有する対象物表面の色を高精度に取得することができる。
【０１２２】
なお、本実施例では、照明場データとして予め被写体の画素ｐの位置で魚眼レンズを用いて照明を撮像した画像データを用いたが、照明の位置と配光特性から計算した環境マップを用いてもよい。
【０１２３】
また、本実施例では、ｋS＝０．５としているが、ユーザがｋSを任意に指定可能であってもよい。例えば、操作部２０７を介して、ユーザが、ｋSに設定する値をＲＡＭ２０４等に格納できるようにしてもよい。また、本実施例では、ｋSを０より大きく１より小さい値としているが、ｋSに０または１の値を設定するようにしてもよい。
【０１２４】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１２５】
３０５  撮像画像データ入力部
３０６  照明場データ入力部
３０７  カメラ位置データ入力部
３０８  光沢特性データ入力部
３０９  面法線方向算出部
３１０  影除去信頼度算出部
３１１  正反射照明方向算出部
３１２  光沢除去信頼度算出部
３１３  凹凸物色信頼度算出部
３１４  色取得照明探索部
３１５  画素値決定部
【図１】
2017045416.tif 000011
【図２】
2017045416.tif 000012
【図３】
2017045416.tif 000013
【図４】
2017045416.tif 000014
【図５】
2017045416.tif 000015
【図６】
2017045416.tif 000016
【図７】
2017045416.tif 000017
【図８】
2017045416.tif 000018
【図９】
2017045416.tif 000019
【図１０】
2017045416.tif 000020
【図１１】
2017045416.tif 000021
【図１２】
2017045416.tif 000022
【図１３】
2017045416.tif 000023
【図１４】
2017045416.tif 000024
【図１５】
2017045416.tif 000025
【図１６】
2017045416.tif 000026
【図１７】
2017045416.tif 000027
【図１８】
2017045416.tif 000028