(57)【要約】【課題】対象物の色特性を高精度に取得すること。【解決手段】本発明は、対象物の色の分布を表す色画像を生成する画像処理装置であって、前記対象物の拡散反射光と表面反射光とを表す第１反射光を撮影することで得られる第１の反射画像と、前記拡散反射光を表す第２反射光を撮影することで得られる第２の反射画像とを取得する取得手段と、前記取得手段により取得された第１の反射画像と第２の反射画像とに基づき、前記色画像を生成する生成手段を有することを特徴とする画像処理装置である。【選択図】図５
2017215247.tif 000002
【特許請求の範囲】
【請求項１】
対象物の色の分布を表す色画像を生成する画像処理装置であって、
前記対象物の拡散反射光と表面反射光とを表す第１反射光を撮影することで得られる第１の反射画像と、前記拡散反射光を表す第２反射光を撮影することで得られる第２の反射画像とを取得する取得手段と、
前記取得手段により取得された第１の反射画像と第２の反射画像とに基づき、前記色画像を生成する生成手段を有することを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記色画像の画素値として、前記第１の反射画像の画素値と、前記第２の反射画像の画素値と、の何れかを画素毎に代入することで、前記色画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記色画像の画素値として、前記第１の反射画像の画素値と、前記第２の反射画像の画素値と、前記第１の反射画像の画素と前記第２の反射画像の画素とを合成した画素の画素値と、の何れかを画素毎に代入することで、前記色画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
異なる複数の位置から前記対象物を撮影することで取得した複数の第１の反射画像に基づき、前記色画像の画素値として、何れの画素値を代入するか判定する判定手段をさらに有することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
同じ位置から前記対象物を分割撮影することで取得した複数の第１の反射画像に基づき、前記色画像の画素値として、何れの画素値を代入するか判定する判定手段をさらに有することを特徴とする請求項２または３に記載の画像処理装置。
【請求項６】
前記判定手段は、前記複数の第１の反射画像から各画素の標準偏差を算出し、該算出した標準偏差と所定の閾値との間の大小関係の判定結果に基づき、何れの画素値を代入するか判定することを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記対象物の凹凸画像に基づき、前記色画像の画素値として、何れの画素値を代入するか判定する判定手段をさらに有することを特徴とする請求項２または３に記載の画像処理装置。
【請求項８】
前記判定手段は、前記凹凸画像から各画素の標準偏差を算出し、該算出した標準偏差と所定の閾値との間の大小関係の判定結果に基づき、何れの画素値を代入するか判定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記対象物の各画素における素材を示す素材情報に基づき、前記色画像の画素値として、何れの画素値を代入するか判定する判定手段をさらに有することを特徴とする請求項２または３に記載の画像処理装置。
【請求項１０】
対象物の色の分布を表す色画像を生成する画像処理方法であって、
前記対象物の拡散反射光と表面反射光とを表す第１反射光を撮影することで得られる第１の反射画像と、前記拡散反射光を表す第２反射光を撮影することで得られる第２の反射画像とを取得する取得ステップと、
前記取得ステップで取得された第１の反射画像と第２の反射画像とに基づき、前記色画像を生成する生成ステップとを有することを特徴とする画像処理装置。
【請求項１１】
コンピュータに、請求項１０に記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の色特性を取得するための技術に関する。
【背景技術】
【０００２】
近年、絵画などの美術品の複製や保存を目的として、対象物の色特性を忠実に取得する技術が求められている。色特性を取得する方法としては、対象物から反射する光を撮像装置などにより取得する方法が一般的である。物体から反射する光は、対象物の表面で反射する表面反射光と、対象物の内部に進入した光が散乱、吸収されて再び対象物の表面から出てくる拡散反射光とに分類できる。表面反射光は、反射光の全成分の内の入射光に対して正反射方向に反射する成分であり、光の写り込み（光沢）として認識され、色としては認識されにくい。そこで、拡散反射光のみを取得する方法として、特許文献１には、光源と撮像装置との夫々に対して偏光子を設置し、光源の偏光子および撮像素子の偏光子を互いに直交ニコル状態に設定することで拡散反射光のみを取得する方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１２０７９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
表面に微細な凹凸を有するような対象物の場合、物体表面で反射する表面反射光が微細凹凸により様々な方向に反射するため、正反射方向以外であっても、物体から反射する光に、拡散反射光と表面反射光とが含まれる。このような光は四方に散乱された光であり、正反射方向に反射する光量よりも小さいため、光沢としては感じられないが、拡散反射光に対して無視できないほど大きい場合がある。特に、油彩画などの美術品には、１枚の画像の中に異なる凹凸パターンを有するものがあり、特許文献１のように表面反射光を除去した反射特性を色特性として取得すると、対象物中の位置によっては色が正しく取得できない場合があった。そこで、本発明では、対象物の各位置の情報に基づいて、対象物の色特性を高精度に取得する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、対象物の色の分布を表す色画像を生成する画像処理装置であって、前記対象物の拡散反射光と表面反射光とを表す第１反射光を撮影することで得られる第１の反射画像と、前記拡散反射光を表す第２反射光を撮影することで得られる第２の反射画像とを取得する取得手段と、前記取得手段により取得された第１の反射画像と第２の反射画像とに基づき、前記色画像を生成する生成手段を有することを特徴とする画像処理装置である。
【発明の効果】
【０００６】
本発明により、対象物の色特性を高精度に取得することが可能となる。
【図面の簡単な説明】
【０００７】
【図１】実施例１における画像処理装置の概略構成を示すブロック図
【図２】実施例１における画像処理装置の機能構成を示すブロック図
【図３】実施例１における画像処理装置が実行する処理のフローチャート
【図４】実施例１における光学系を示す図
【図５】実施例１における色画像生成処理のフローチャート
【図６】実施例１で扱う対象物における表面凹凸と反射特性との関係を示す図
【図７】実施例２における分割撮影を説明する図
【図８】実施例２における画像処理装置が実行する処理のフローチャート
【図９】実施例２における色画像生成処理のフローチャート
【図１０】実施例３における画像処理装置の機能構成を示すブロック図
【図１１】実施例３における画像処理装置が実行する処理のフローチャート
【図１２】実施例３における色画像生成処理のフローチャート
【図１３】実施例４における色画像生成処理のフローチャート
【図１４】実施例５における画像処理装置の機能構成を示すブロック図
【図１５】実施例５における画像処理装置が実行する処理のフローチャート
【図１６】実施例５におけるユーザーインターフェース
【図１７】実施例５における素材マップ
【図１８】実施例５における色画像生成処理のフローチャート
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、以下で説明する特徴の組み合わせの全てが本発明の解決手段として必須のものとは限らない。なお、同一の構成要素については、同一の符号を付与する。
【０００９】
［実施例１］
＜画像処理装置の概略構成について＞
図１は、本実施例における画像処理装置１の概略構成を示すブロック図である。画像処理装置１は、入力部１０１と、表示部１０２と、データ保存部１０３と、ＣＰＵ１０４と、ＲＯＭ１０５と、ＲＡＭ１０６と、通信部１０７とを有する。入力部１０１は、ユーザからの指示を受け付け可能なデータを入力するための装置であり、マウスなどのポインティングデバイスやキーボードを含む。表示部１０２は、ＧＵＩなどを表示してユーザに情報を提示するための装置であり、例えばＣＲＴや液晶ディスプレイなどである。データ保存部１０３は、画像データ、プログラムなどのデータを格納するための装置であり、通常は、ハードディスクが用いられる。ＣＰＵ１０４は、上述の要素を含む画像処理装置１を構成する全要素を統括的に制御するための装置であり、各要素の処理全てに関わる。ＲＯＭ１０５及びＲＡＭ１０６は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０４に提供する。処理に必要な制御プログラムがデータ保存部１０３やＲＯＭ１０５に格納されている場合、ＲＡＭ１０６に読み込まれてからＣＰＵ１０４によって実行される。通信部１０７は、機器間の通信を行うためのインタフェースであり、例えば、ＥｔｈｅｒｎｅｔやＵＳＢ、ＩＥＥＥ、Ｂｌｕｅｔｏｏｔｈなどの公知の通信方式の装置が用いられる。画像処理装置１が通信部１０７を経由してプログラムを受信する場合、データ保存部１０３に記録した後にＲＡＭ１０６に読み込まれて実行されるか、又は、通信部１０７からＲＡＭ１０６に直接読み込まれて実行される。なお、画像処理装置１は上記の物以外にも様々な要素を有するが、本発明の主眼ではないため、それらの説明は省略する。
【００１０】
＜画像処理装置の機能構成について＞
図２は、本実施例における画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、拡散・表面反射画像取得部２０１と、拡散反射画像取得部２０２と、画像保持部２０３と、色画像生成部２０４と、画像出力部２０５とを有する。拡散・表面反射画像取得部２０１は、拡散・表面反射画像を画像保持部２０３から取得する。拡散・表面反射画像とは、対象物の撮影により、該対象物の拡散反射光と表面反射光とを含む光を取得することで得られる画像である。拡散反射画像取得部２０２は、拡散反射画像を画像保持部２０３から取得する。拡散反射画像とは、対象物の撮影により、該対象物の拡散反射光を取得することで得られる画像である。拡散・表面反射画像および拡散反射画像は、後述の光学系（図４参照）を用いて取得され、画像保持部２０３で保持されている。なお、画像保持部２０３で拡散・表面反射画像および拡散反射画像を保持するにあたり、これらの画像を予めどのように取得しておくかについては後述する。色画像生成部２０４は、拡散・表面反射画像取得部２０１で取得された拡散・表面反射画像、及び、拡散反射画像取得部２０２で取得された拡散反射画像に基づいて、対象物の色の分布を表す色画像を生成する。なお、観察者と対象物との位置関係に応じて対象物の見え方は異なってくるが、本明細書における色画像が有する色情報によって表される対象物の色とは、対象物を正面（０度方向）から観察した場合の色である。画像出力部２０５は、色画像生成部２０４で生成された色画像に基づき画像を出力する。
【００１１】
＜画像処理装置が実行する処理について＞
以下、本実施例における画像処理装置１が実行する処理について説明する。ただし本実施例では、画像保持部２０３に保持されている画像は、所定の光学系を用いて予め取得した画像であることから、画像処理装置１の処理を説明する前に、この光学系について図４を用いて説明する。
【００１２】
図４に示すように、測定（測色）対象である対象物４０１が、試料台４０２上に固定される。光源４０３は、対象物４０１に光を投影する。光源４０３として、例えば６４０ｘ４８０画素、ＬＥＤ光源を用いた単板モノクロのＤＬＰ方式プロジェクターを用いることができるが、これに限るものではない。対象物４０１に光を照射できるものであれば、光源４０３として任意の物を用いてよい。撮像装置４０４、４０５は、対象物４０１を撮影するための、ＤＳＬＲ（Ｄｉｇｉｔａｌ  Ｓｉｎｇｌｅ  Ｌｅｎｓ  Ｒｅｆｌｅｘ  ｃａｍｒａ）等から成る装置である。撮像装置４０４、４０５として、例えば８６８８ｘ５７９２画素のＣＭＯＳ方式のエリアセンサを有するＤＳＬＲと、焦点距離が１００ｍｍのマクロレンズとを組み合わせたものを用いることができるが、これに限るものではない。対象物４０１の表面にピントが合うようティルトレンズ等を組み合わせてもよい。なお、本実施例では、撮像装置４０４、４０５は対象物４０１上の輝度に対し線形な信号値を得る光電変換特性を有する。また、撮像装置４０４、４０５によって取得される画像データは、各画素でＲＧＢ３チャンネルの色情報を有し、各チャンネルが８ビットで量子化されているものとする。撮像装置４０４及び撮像装置４０５について、両者は異なる位置であれば任意の位置に設置して良いが、図４に示すように、お互いが光源４０３を基準として反対となるような位置に設置することが望ましい。
【００１３】
光源４０３には偏光子４０６が設置され、撮像装置４０４には偏光子４０７と偏光子４０８とが設置され、撮像装置４０５には偏光子４０９と偏光子４１０とが設置されている。ここで、偏光子４０７において直線偏光が透過する方向は、光源４０３に設置される偏光子４０６において直線偏光が透過する方向と平行であり、このときの偏光子４０６および偏光子４０７の状態は平行ニコル状態である。また、偏光子４０８において直線偏光が透過する方向は、偏光子４０６において直線偏光が透過する方向と垂直であり、このときの偏光子４０６および偏光子４０８の状態は直行ニコル状態である。撮像装置４０４と同様に、撮像装置４０５には偏光子４０６と平行ニコル状態の偏光子４０９と、偏光子４０６と直交ニコル状態の偏光子４１０とが設置されている。図４に示す光学系では、偏光子４０７および偏光子４０８と、偏光子４０９および偏光子４１０との夫々について、用いる偏光子を切り替えることが可能である。つまり、撮像装置４０４、４０５での撮影時に光源の偏光子４０６に対して平行ニコル状態の偏光子４０７、４０９を用いることにより、対象物４０１の拡散・表面反射画像を取得する。また、撮像装置４０４、４０５での撮影時に光源の偏光子４０６に対して直交ニコル状態の偏光子４０８、４１０を用いて表面反射光をカットすることにより、対象物４０１の拡散反射画像を取得する。なお、以下では説明の便宜上、撮像装置４０４を左カメラ、撮像装置４０５を右カメラとも呼ぶ。左カメラ４０４、および、右カメラ４０５で撮影することで取得した拡散・表面反射画像、および、拡散反射画像が、画像保持部２０３に予め保持されている。
【００１４】
以下、画像処理装置１が実行する処理について、図３を用いて説明する。まず、ステップＳ３０１において、拡散・表面反射画像取得部２０１は、光源４０３の偏光子４０６に対して平行ニコル状態の偏光子４０７および左カメラ４０４を用いて撮影した画像Ｉp,Lを、画像保持部２０３から取得する。本ステップで取得する画像は、対象物４０１の拡散反射光と表面反射光とが含まれた反射光を左カメラ４０４が取得することで得た画像である。ステップＳ３０２において、拡散・表面反射画像取得部２０１は、光源４０３の偏光子４０６に対して平行ニコル状態の偏光子４０９および右カメラ４０５を用いて撮影した画像Ｉp,Rを、画像保持部２０３から取得する。ステップＳ３０３において、拡散反射画像取得部２０２は、光源４０３の偏光子４０６に対して直行ニコル状態の偏光子４０８および左カメラ４０４を用いて撮影した画像Ｉc,Lを、画像保持部２０３から取得する。本ステップで取得される画像は、表面反射光がほぼ含まれず、拡散反射光が支配的な反射光を左カメラ４０４が取得することで得た画像である。ステップＳ３０４において、色画像生成部２０４は、ステップＳ３０１で取得された画像Ｉp,Lと、ステップＳ３０２で取得された画像Ｉp,Rと、ステップＳ３０３で取得された画像Ｉc,Lとに基づき、対象物４０１の色画像Ｉを生成する。なお、ステップＳ３０４の詳細については後述する。ステップＳ３０５において、画像出力部２０５は、ステップＳ３０４で生成された色画像に基づく画像を表示部１０２に表示する。なお、以下では説明の便宜上、光源の偏光子と撮像装置の偏光子とが平行ニコル状態における撮影により得た画像を平行画像とも呼び、光源の偏光子と撮像装置の偏光子とが直交ニコル状態における撮影により得た画像を直交画像とも呼ぶ。
【００１５】
＜ステップＳ３０４の処理の詳細について＞
以下、ステップＳ３０４の色画像生成処理に関して、図５を用いて説明する。ステップＳ５０１において、色画像生成部２０４は、画像の座標を表す変数（ｘ，ｙ）を初期値（０,０）に設定する。ステップＳ５０２において、色画像生成部２０４は、平行画像Ｉp,Lの座標（ｘ，ｙ）における画素値と、平行画像Ｉp,Rの座標（ｘ，ｙ）における画素値との標準偏差σp（ｘ，ｙ）を以下の式により算出する。なお、以下では、画像Ｉp,Lの座標（ｘ，ｙ）における画素値をＩp,L（ｘ，ｙ）、画像Ｉp,Rの座標（ｘ，ｙ）における画素値をＩp,R（ｘ，ｙ）等と表す。左右のカメラで撮影した平行画像が異なる場合、色相と輝度と彩度とのうちで輝度の変化が最も大きくなる。従って、本実施例では輝度情報を多く含むＧチャンネルの画素値Ｇp,L（ｘ，ｙ）、Ｇp,R（ｘ，ｙ）に基づいて、式（１）、式（２）を用いて標準偏差σp（ｘ，ｙ）を算出する。なお、標準偏差の算出手法は、Ｇチャンネルを用いるものに限らない。例えば、公知の手法によりＲＧＢ値からＣＩＥＬａｂ値に変換し、L*の値を用いて標準偏差を算出しても良い。
【００１６】
【数１】
2017215247.tif 000003
【００１７】
【数２】
2017215247.tif 000004
【００１８】
ステップＳ５０３において、色画像生成部２０４は、ステップＳ５０２で算出されたσp（ｘ，ｙ）と予め設定された閾値Ｔｈ１との大小関係を式（３）により判定する。ここで、ステップＳ５０３における判定処理について、図６を用いて説明する。図６は、対象物における表面凹凸と反射特性との関係を示す図であり、図６（ａ）は、略平滑な表面６０１で光が反射する場合の反射特性を示し、図６（ｂ）は、微細な凹凸を有する表面６０４で光が反射する場合の反射特性を示す。図６（ａ）において、太実線６０２は対象物の拡散反射光を、破線６０３は対象物の表面反射光を示す。図６（ａ）に示すように、対象物の表面が略平滑の場合、対象物に照射された光は入射角度と等しい反射角度の方向を中心に反射する。従って、図中に×印で示すように、異なる２つの観察角度で取得される反射光の量（反射強度）は、観察角度に応じて大きく異なる。また、このような場合、表面反射光の成分は入射角度と略同一の反射角度の方向を中心に偏在し、一般に対象物を観察する方向（０度方向）に表面反射光はほぼ含まれないため、０度方向においては、拡散反射光６０２のみが取得される。一方、図６（ｂ）において、太実線６０５は対象物の拡散反射光を、破線６０６は対象物の表面反射光を示す。図６（ｂ）に示すように、対象物が表面に微細な凹凸を持つ場合、対象物に照射された光は該表面で様々な方向に散乱する。従って、図中に×印で示すように、異なる２つの観察角度で取得される反射強度は、観察角度が変わっても大きく変化しない。また、このような場合、表面反射光の成分が０度方向にも存在するため、０度方向においては、拡散反射光６０５と表面反射光６０６とが含まれた反射光が取得される。本実施例では異なる位置（観察角度）に設置された左カメラと右カメラとで取得された平行画像の標準偏差σp（ｘ，ｙ）が式（３）を満たす場合、図６（ａ）の状態であると判定しステップＳ５０４に進む。一方、式（３）を満たさない場合、図６（ｂ）の状態であると判定しステップＳ５０５に進む。
【００１９】
σp（ｘ，ｙ）＞Ｔｈ１・・・式（３)
【００２０】
ステップＳ５０４において、色画像生成部２０４は、式（４）に示すように、色画像Ｉの座標（ｘ，ｙ）における画素値に、偏光子４０８および左カメラ４０４を用いて撮影した直交画像Ｉc,Lの座標（ｘ，ｙ）における画素値を代入する。
【００２１】
Ｉ（ｘ，ｙ）＝Ｉc,L（ｘ，ｙ）・・・式（４）
【００２２】
ステップＳ５０５において、色画像生成部２０４は、式（５）に示すように、色画像Ｉの座標（ｘ，ｙ）における画素値に、偏光子４０７および左カメラ４０４を用いて撮影した平行画像Ｉp,Lの座標（ｘ，ｙ）における画素値を代入する。
【００２３】
Ｉ（ｘ，ｙ）＝Ｉp,L（ｘ，ｙ）・・・式（５）
【００２４】
ステップＳ５０６において、色画像生成部２０４は、全ての画素に対して処理を行ったかを判定する。ステップＳ５０６の判定結果が真の場合、一連の処理は終了する一方、当該判定結果が偽の場合、ステップＳ５０７に進む。ステップＳ５０７において、色画像生成部２０４は、処理対象である着目画素の座標を示す変数（ｘ，ｙ）の値を更新し、ステップＳ５０２に戻る。
【００２５】
以上の処理で生成する色画像は、直交画像Ｉc,Lの画素と、平行画像Ｉp,Lの画素とが、選択的に配置された画像となる。このように色画像を生成することにより、対象物を観察する際の色を高精度に把握することが可能になる。
【００２６】
なお、本実施例では、色画像生成の際、複数の観察角度にわたっての反射強度の変化に関する情報を取得するために、標準偏差を算出し、該算出した標準偏差を用いて閾値判定を行っている。しかし、この判定に用いるパラメータは標準偏差に限らず、例えば、画素値の分散でも良いし、画素値の差分であってもよい。
【００２７】
本実施例では、複数の観察角度にわたっての反射強度の変化に関する情報を取得するために、異なる位置に設置された２台の撮像装置（即ち左カメラ、右カメラ）で対象物を撮影している。しかし、複数の観察角度にわたっての反射強度の変化に関する情報が取得できるのであれば、２台以上の撮像装置が異なる位置に設置された光学系を用いて良く、２台以上の撮像装置で対象物を撮影しても良い。
【００２８】
本実施例では、色画像生成処理において、左カメラで取得した画像の画素値に基づき色画像を生成しているが、色画像は右カメラで取得した画像の画素値に基づき生成しても良い。
【００２９】
本実施例では、光源の偏光子に対し平行ニコル状態の偏光子を透過した光を撮像装置が撮影することで取得した画像を、拡散・表面反射画像として用いている。しかし、拡散・表面反射画像はこれに限らず、拡散反射光および表面反射光が含まれる光を撮影することで取得される任意の画像を用いて良い。例えば撮像装置に偏光子を設置しない構成で取得した画像を、拡散・表面反射画像として用いても良い。
【００３０】
［実施例２］
実施例１では、複数の観察角度にわたっての反射強度の変化に関する情報を取得するために、異なる位置に設置した複数の撮像装置により、対象物を撮影することで取得した画像を用いる。しかしながら、複数の観察角度にわたっての反射強度の変化に関する情報を取得できるのであれば、１台の撮像装置で取得した画像を用いても良い。本実施例では、撮影領域が重複するように、１台の撮像装置で対象物を分割撮影する。なお、以下では説明の便宜上、図４に示した光学系の左カメラ４０４を用いて分割撮影を行うものとする。また、本実施例において、実施例１と共通する内容については、説明を簡略化または割愛する。
【００３１】
図７は、本実施例における分割撮影を説明する図である。図７において、実線７０１は対象物を、破線７０２、７０３、７０４、７０５は夫々、分割撮影時の１ショットの撮影領域を示す。本実施例では図７に示すように、１ショットの撮影領域（撮影領域７０２と撮影領域７０３等）が部分的に重複するように対象物７０１を分割撮影する。そして、撮影領域が部分的に重複する重複領域において、複数の観察角度にわたっての反射強度の変化に関する情報を取得する。
【００３２】
＜画像処理装置が実行する処理について＞
以下、本実施例における画像処理装置１が実行する処理について、図８を用いて説明する。ステップＳ８０１において、拡散・表面反射画像取得部２０１は、光源４０３の偏光子４０６に対して平行ニコル状態の偏光子４０７および左カメラ４０４を用いて撮影した、全撮影領域に対する拡散・表面反射画像群（平行画像群）を取得する。なお、本実施例では対象物を４分割して撮影しており（図７参照）、本ステップでは４つの画像が取得される。ステップＳ８０２において、拡散反射画像取得部２０２は、光源４０３の偏光子４０６に対して直交ニコル状態の偏光子４０８および左カメラ４０４を用いて撮影した、全撮影領域に対する拡散反射画像群を取得する。ステップＳ８０３において、色画像生成部２０４は、ステップＳ８０１及びステップＳ８０２で取得した画像群に基づいて色画像Ｉを生成する。なお、ステップＳ８０３の詳細については後述する。ステップＳ８０４において、画像出力部２０５は、ステップＳ８０３で生成された色画像に基づき画像を出力する。
【００３３】
＜ステップＳ８０３の処理の詳細について＞
以下、ステップＳ８０３の色画像生成処理に関して、図９を用いて説明する。ステップＳ９０１において、色画像生成部２０４は、対象物の表面上の位置を表す変数（ｘ，ｙ）を初期値に設定する。なお、本実施例では、ステップＳ８０１で取得した画像群と、ステップＳ８０２で取得した画像群とについて、予め位置合わせがなされているものとする。位置合わせが行なわれていない場合は、各撮影領域の画像で対応点を探索し、変数（ｘ，ｙ）を初期値に設定する。なお、対応点探索の方法として、例えば公知のブロックマッチング法などを用いることができる。対応点探索の方法については、本発明の主眼ではないため説明を省略する。
【００３４】
ステップＳ９０２において、色画像生成部２０４は、ステップＳ８０１で取得した全撮影領域に対する拡散・表面反射画像群から、座標（ｘ，ｙ）におけるＧチャンネルの画素値を抽出し、式（６）及び式（７）により標準偏差σ（ｘ，ｙ）を算出する。なお、これらの式において、Ｎは領域の分割数（本実施例では４）を表し、Ｇp,k（ｘ，ｙ）はｋ番目の領域に対する拡散・表面反射画像（平行画像）の座標（ｘ，ｙ）におけるＧチャンネルの画素値を表す。
【００３５】
【数３】
2017215247.tif 000005
【００３６】
【数４】
2017215247.tif 000006
【００３７】
ステップＳ９０３において、色画像生成部２０４は、式（８）を満たすかを判定する。式（８）において、Ｔｈ２は予め設定された閾値である。ステップＳ９０３の判定結果が真の場合、複数の観察角度にわたっての反射強度の変化が大きい状態（図６（ａ）参照）であると判定され、ステップＳ９０４に進む。一方、ステップＳ９０３の判定結果が偽の場合、複数の観察角度にわたっての反射強度の変化が小さい状態（図６（ｂ）参照）であると判定され、ステップＳ９０５に進む。
【００３８】
σ（ｘ，ｙ）＞Ｔｈ２・・・式（８）
【００３９】
ステップＳ９０４において、色画像生成部２０４は、色画像Ｉの座標（ｘ，ｙ）における画素値に、ステップＳ８０２で取得した直交画像群のうち、Ｇチャンネルの平均値に最も近いＧチャンネルの値を有する画像の（ｘ，ｙ）における画素値を代入する。
【００４０】
ステップＳ９０５において、色画像生成部２０４は、色画像Ｉの座標（ｘ，ｙ）における画素値に、ステップＳ８０１で取得した平行画像群のうち、Ｇチャンネルの平均値に最も近いＧチャンネルの値を有する画像の（ｘ，ｙ）における画素値を代入する。
【００４１】
ステップＳ９０６及びステップＳ９０７は、実施例１のステップＳ５０６及びステップＳ５０７と同様である。
【００４２】
本実施例により、１台の撮像装置で取得した画像群に基づき、対象物を観察する際の色情報を実施例１と同様に高精度に取得することが可能になる。
【００４３】
なお、本実施例では、図７に示すように対象物を４分割して撮影を行っているが、撮影領域が部分的に重複するのであれば分割数は４に限らず任意の数で良い。
【００４４】
本実施例では、左カメラ４０４を用いて分割撮影を行っているが、右カメラ４０５を用いて分割撮影を行っても良い。
【００４５】
［実施例３］
実施例１及び実施例２では、複数の観察角度にわたっての反射強度の変化に関する情報を取得するために、光源の偏光子に対して平行ニコル状態の偏光子が設置された撮像装置を用いて撮影した拡散・表面反射画像（平行画像）を用いる。本実施例では、複数の観察角度にわたっての反射強度の変化に関する情報を取得するために、対象物の凹凸情報を用いる。なお、本実施例において、上述の実施例と共通する内容については、説明を簡略化または割愛する。
【００４６】
図１０は、実施例３における画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、拡散・表面反射画像取得部１００１と、拡散反射画像取得部１００２と、画像保持部１００３と、凹凸画像取得部１００４と、色画像生成部１００５と、画像出力部１００６とを有する。拡散・表面反射画像取得部１００１、拡散反射画像取得部１００２、及び画像保持部１００３は、実施例１の拡散・表面反射画像取得部２０１、拡散反射画像取得部２０２、及び画像保持部２０３と同様である。凹凸画像取得部１００４は、対象物の位置毎の凹凸情報を表す凹凸画像を画像保持部１００３から取得する。なお、本実施例における凹凸画像とは、各画素が基準面に対する高さを画素値として持つ８ビットグレースケールのビットマップ画像である。色画像生成部１００５は、拡散・表面反射画像取得部１００１で取得された拡散・表面反射画像、拡散反射画像取得部１００２で取得された拡散反射画像、及び凹凸画像取得部１００４で取得された凹凸画像に基づいて色画像を生成する。画像出力部１００６は、実施例１の画像出力部２０５と同様である。
【００４７】
＜画像処理装置が実行する処理について＞
以下、本実施例における画像処理装置１が実行する処理について、図１１を用いて説明する。
【００４８】
ステップＳ１１０１において、拡散・表面反射画像取得部１００１は、光源の偏光子に対して平行ニコル状態の偏光子が設置された撮像装置を用いて撮影した拡散・表面反射画像（平行画像）Ｉｐを画像保持部１００３から取得する。ステップＳ１１０２において、拡散反射画像取得部１１０２は、光源の偏光子に対して直交ニコル状態の偏光子が設置された撮像装置を用いて撮影した拡散反射画像（直交画像）Ｉｃを画像保持部１００３から取得する。ステップＳ１１０３において、凹凸画像取得部１００４は、対象物の凹凸画像Ｈを画像保持部１００３から取得する。ステップＳ１１０４において、色画像生成部１００５は、ステップＳ１１０１で取得した平行画像Ｉｐと、ステップＳ１１０２で取得した直交画像Ｉｃと、ステップＳ１１０３で取得した凹凸画像Ｈとに基づいて色画像を生成する。なお、ステップＳ１１０４の詳細については後述する。ステップＳ１１０５において、画像出力部１００６は、ステップＳ１１０４で生成された色画像に基づき画像を出力する。
【００４９】
＜ステップＳ１１０４の処理の詳細について＞
以下、ステップＳ１１０４の色画像生成処理に関して、図１２のフローチャートを用いて説明する。
【００５０】
ステップＳ１２０１において、色画像生成部１００５は画像の座標を表す変数（ｘ，ｙ）を初期値（０,０）に設定する。ステップＳ１２０２において、色画像生成部１００５は、ステップＳ１１０３で取得された凹凸画像Ｈの座標（ｘ，ｙ）の近傍画素としてａ×ｂの範囲を参照し、凹凸画像の標準偏差σh（ｘ，ｙ）を式（９）及び式（１０）により算出する。
【００５１】
【数５】
2017215247.tif 000007
【００５２】
【数６】
2017215247.tif 000008
【００５３】
ステップＳ１２０３において、色画像生成部１００５は、式（１１）を満たすかを判定する。式（１１）において、Ｔｈ３は予め設定された閾値である。ステップＳ１２０３の判定結果が真の場合、対象物の表面が平滑（図６（ａ）参照）と判定され、ステップＳ１２０４に進む。一方、ステップＳ１２０３の判定結果が偽の場合、対象物が表面に微細な凹凸を持つ（図６（ｂ）参照）と判定され、ステップＳ１２０５に進む。
【００５４】
σh（ｘ，ｙ）＜Ｔｈ３・・・式（１１）
【００５５】
ステップＳ１２０４において、色画像生成部１００５は、式（１２）に示すように、色画像Ｉの座標（ｘ，ｙ）における画素値に、直交画像Ｉｃの座標（ｘ，ｙ）における画素値を代入する。
【００５６】
Ｉ（ｘ，ｙ）＝Ｉｃ（ｘ，ｙ）・・・式（１２）
【００５７】
ステップＳ１２０５において、色画像生成部１００５は、式（１３）に示すように、色画像Ｉの座標（ｘ，ｙ）における画素値に、平行画像Ｉｐの座標（ｘ，ｙ）における画素値を代入する。
【００５８】
Ｉ（ｘ，ｙ）＝Ｉｐ（ｘ，ｙ）・・・式（１３）
【００５９】
ステップＳ１２０６及びステップＳ１２０７は、実施例１のステップＳ５０６及びステップＳ５０７と同様である。
【００６０】
本実施例により、凹凸画像の標準偏差に基づいて色画像を生成することで、対象物の色情報を実施例１と同様に高精度に取得することが可能になる。
【００６１】
［実施例４］
実施例１では、拡散・表面反射画像Ｉp,Lの画素と、拡散反射画像Ｉc,Lの画素とを座標に応じて選択的に配置することで、色画像を生成する。本実施例では、拡散・表面反射画像Ｉp,Lの画素と、拡散・表面反射画像Ｉp,Lの画素と拡散反射画像Ｉc,Lの画素との合成画素と、拡散反射画像Ｉc,Lの画素とを座標に応じて選択的に配置することで、色画像を生成する。なお、本実施例において、実施例１と異なる内容について詳細に説明し、実施例１と共通する内容については、説明を簡略化または割愛する。
【００６２】
＜ステップＳ３０４の処理の詳細について＞
本実施例における画像処理装置１が実行する処理は、実施例１と同様である（図３参照）。従って以下では、本実施例におけるステップＳ３０４の色画像生成処理に関して、図１３を用いて説明する。
【００６３】
ステップＳ１３０１、ステップＳ１３０２は、実施例１のステップＳ５０１、ステップＳ５０２と同様である。ステップＳ１３０３において、色画像生成部２０４は、式（１４）を満たすかを判定する。式（１４）において、Ｔｈ４は予め設定された閾値である。ステップＳ１３０３の判定結果が真の場合、複数の観察角度にわたっての反射強度の変化が大きいと判定され、ステップＳ１３０５に進む。一方、ステップＳ１３０３の判定結果が偽の場合、ステップＳ１３０４に進む。
【００６４】
σp（ｘ，ｙ）＞Ｔｈ４・・・式（１４）
【００６５】
ステップＳ１３０４において、色画像生成部２０４は、式（１５）を満たすかを判定する。式（１５）において、Ｔｈ５は予め設定された閾値である。ステップＳ１３０４の判定結果が真の場合、複数の観察角度にわたっての反射強度の変化が中程度と判定され、ステップＳ１３０６に進む。一方、ステップＳ１３０４の判定結果が偽の場合、複数の観察角度にわたっての反射強度の変化が小さいと判定され、ステップＳ１３０７に進む。
【００６６】
σp（ｘ，ｙ）＞Ｔｈ５・・・式（１５）
【００６７】
ステップＳ１３０６において、色画像生成部２０４は、式（１６）により色画像Ｉの座標（ｘ，ｙ）における画素値を求める。式（１６）に示すように、色画像Ｉの座標（ｘ，ｙ）における画素として、表面・拡散反射画像Ｉp,Lの座標（ｘ，ｙ）における画素と、拡散反射画像Ｉc,Lの座標（ｘ，ｙ）における画素とを合成した画素を用いる。
【００６８】
Ｉ（ｘ，ｙ)＝Ｔｈ４／（Ｔｈ４−Ｔｈ５)×Ｉp,L（ｘ，ｙ）＋Ｔｈ５／（Ｔｈ４−Ｔｈ５）×Ｉc,L（ｘ，ｙ） ・・・式（１６）
【００６９】
ステップＳ１３０５、ステップＳ１３０７、ステップＳ１３０８、及びステップＳ１３０９は夫々、実施例１のステップＳ５０４、ステップＳ５０５、ステップＳ５０６、及びステップＳ５０７と同様である。
【００７０】
本実施例により、対象物の色情報を実施例１よりも高精度に取得することが可能になる。
【００７１】
なお、本実施例では、異なる位置に設置した複数の撮像装置により、対象物を撮影することで取得した画像を用いて複数の観察角度にわたっての反射強度の変化に関する情報を取得する場合（実施例１）について説明している。しかしながら、本実施例は、撮影領域が重複するように、１台の撮像装置で対象物を分割撮影する場合（実施例２）や、対象物の凹凸画像を用いる場合（実施例３）にも適用できる。
【００７２】
［実施例５］
上述の実施例では、対象物の標準偏差を導出し、該導出した標準偏差を用いて複数の観察角度にわたっての反射強度の変化を推定することで、色画像を生成している。本実施例では、対象物の素材の種類を指定する情報に基づいて、複数の観察角度にわたっての反射強度の変化を推定することで、色画像を生成する。例えば、対象物の素材が金属などの場合、表面の平滑性が高いため複数の観察角度にわたっての反射強度の変化が大きいと推定できる（図６（ａ）参照）。一方、対象物が油彩画などの場合、表面に微細な凹凸を有しており、複数の観察角度にわたっての反射強度の変化が小さいと推定できる（図６（ｂ）参照）。なお、本実施例において、上述の実施例と共通する内容については、説明を簡略化または割愛する。
【００７３】
図１４は、本実施例における画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、拡散・表面反射画像取得部１４０１と、拡散反射画像取得部１４０２と、画像保持部１４０３と、素材情報取得部１４０４と、色画像生成部１４０５と、画像出力部１４０６とを有する。拡散・表面反射画像取得部１４０１、拡散反射画像取得部１４０２、及び画像保持部１４０３は、実施例１の拡散・表面反射画像取得部２０１、拡散反射画像取得部２０２、及び画像保持部２０３と同様である。素材情報取得部１４０４は、対象物を構成する素材の種類に関する情報（素材情報）を取得する。本実施例における素材情報は、素材を指定する画素値から成るビットマップ形式のデータであり、表示部１０２に表示されたユーザーインターフェースを介してユーザが入力する。なお、本実施例では、素材情報を素材マップともいう。色画像生成部１４０５は、拡散・表面反射画像取得部１４０１で取得された拡散・表面反射画像と、拡散反射画像取得部１４０２で取得された拡散反射画像と、素材情報取得部１４０４で取得された素材情報とに基づいて、色画像を生成する。画像出力部１４０６は、実施例１の画像出力部２０５と同様である。
【００７４】
＜画像処理装置が実行する処理について＞
以下、本実施例における画像処理装置１が実行する処理について、図１５を用いて説明する。ステップＳ１５０１、ステップＳ１５０２は、実施例３におけるステップＳ１１０１、ステップＳ１１０２と同様である。
【００７５】
ステップＳ１５０３において、素材情報取得部１４０４は、対象物の素材情報（素材マップ）を取得する。図１６は、ユーザが素材マップを入力するために用いるユーザーインターフェースの一例である。図示するように、ユーザーインターフェースは、画像表示部１６０１と、素材指定部１６０３と、ＯＫボタン１６０５とを有する。画像表示部１６０１には、対象物の画像１６０２が表示され、本実施例では、ステップＳ１５０１で取得された拡散・表面反射画像（平行画像）が表示される。ユーザは拡散・表面反射画像１６０２の各画素をポインタ１６０４で指定し、素材指定部１６０３に表示されているラジオボタンの何れかを選択することで、対象物の各画素における素材を指定する。なお、画素ごとではなく複数画素から成る所定サイズのブロックごとに素材を指定してもよい。また、本実施例では、素材指定部１６０３は、複数の角度にわたっての反射強度の変化が大きい素材であることを指定するラジオボタンと、該変化が小さい素材であることを指定するラジオボタンと、該変化が中程度であることを指定するラジオボタンとを有する。しかしながら、ラジオボタンの数は３つに限定されず、２つであっても良いし、４つ以上であっても良い。ユーザが前述の操作を全ての画素に対して実行し、ＯＫボタン１６０５を押下すると、素材マップの入力が完了する。以上の処理によって対象物を構成する素材の種類が画素ごとに記述された素材マップ（Ｍとする）が得られる。図１７に、素材マップＭの一例を示す。図示するように、素材マップは、素材を指定する画素毎の画素値から成るビットマップ形式のデータである。なお、本実施例では、光沢強に対応する値を０、光沢弱に対応する値を１、光沢中に対応する値を２としているが、素材の種類と取り得る画素値との対応関係が明確であれば、使用する画素値はこれらに限られず、任意の値を使用して良い。
【００７６】
ステップＳ１５０４において、色画像生成部１４０５は、ステップＳ１５０１で取得された拡散・表面反射画像（平行画像）、ステップＳ１５０２で取得された拡散反射画像（直交画像）、及びステップＳ１５０３で取得された素材情報に基づき、色画像を生成する。なお、ステップＳ１５０４の詳細については後述する。
【００７７】
ステップＳ１５０５は、実施例３のステップＳ１１０５と同様である。
【００７８】
＜ステップＳ１５０４の詳細について＞
以下、ステップＳ１５０４の色画像生成処理に関して、図１８を用いて説明する。
【００７９】
ステップＳ１８０１は実施例１のステップＳ５０１と同様である。
【００８０】
ステップＳ１８０２において、色画像生成部１４０５は、ステップＳ１５０３で取得された素材マップＭの座標（ｘ，ｙ）における値Ｍ（ｘ，ｙ）を取得する。
【００８１】
ステップＳ１８０３において、色画像生成部１４０５は、ステップＳ１８０２で取得した値Ｍ（ｘ，ｙ）について判定する。ステップＳ１８０３の判定の結果、Ｍ（ｘ，ｙ）＝０の場合、ステップＳ１８０４に進み、Ｍ（ｘ，ｙ）＝１の場合、ステップＳ１８０５に進み、Ｍ（ｘ，ｙ）＝２の場合、ステップＳ１８０６に進む。
【００８２】
ステップＳ１８０４、ステップＳ１８０５、ステップＳ１８０６は、実施例４のステップＳ１３０５、ステップＳ１３０７、ステップＳ１３０６と同様である。ステップＳ１８０７、ステップＳ１８０８は、実施例１のステップＳ５０６、ステップＳ５０７と同様である。
【００８３】
本実施例により、標準偏差を導出することなく、対象物の色情報を高精度に取得することが可能になる。
【００８４】
なお、本実施例では、色画像の画素値に、拡散・表面反射画像の画素値と、拡散反射画像の画素値と、拡散・表面反射画像の画素と拡散反射画像の画素とを合成した画素の画素値と、の何れかを画素毎に代入する場合（実施例４）について説明している。しかしながら、本実施例は、実施例１〜３にも適用できる。
【００８５】
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８６】
１・・・画像処理装置
２０４・・・色画像生成部
【図１】
2017215247.tif 000009
【図２】
2017215247.tif 000010
【図３】
2017215247.tif 000011
【図４】
2017215247.tif 000012
【図５】
2017215247.tif 000013
【図６】
2017215247.tif 000014
【図７】
2017215247.tif 000015
【図８】
2017215247.tif 000016
【図９】
2017215247.tif 000017
【図１０】
2017215247.tif 000018
【図１１】
2017215247.tif 000019
【図１２】
2017215247.tif 000020
【図１３】
2017215247.tif 000021
【図１４】
2017215247.tif 000022
【図１５】
2017215247.tif 000023
【図１６】
2017215247.tif 000024
【図１７】
2017215247.tif 000025
【図１８】
2017215247.tif 000026