(57)【要約】【課題】  物体の形状や撮像条件に依らずに、物体の色を評価するための処理を提供することを目的とする。【解決手段】  本発明に係る画像処理装置は、光源によって光が照射された第１物体を撮像して得られた、前記第１物体の色情報を取得する第１取得手段と、前記第１物体を撮像する際の、前記第１物体を撮像する方向と、前記第１物体に対して前記光源が光を照射する方向と、前記第１物体の法線の方向と、によって決まる条件に基づいて、第２物体の色情報を取得する第２取得手段と、前記第１物体の色情報と前記第２物体の色情報とに応じた情報を出力する出力手段と、を有することを特徴とする。【選択図】  図３
2019185730.tif 000002
【特許請求の範囲】
【請求項１】
光源によって光が照射された第１物体を撮像して得られた、前記第１物体の色情報を取得する第１取得手段と、
前記第１物体を撮像する際の、前記第１物体を撮像する方向と、前記第１物体に対して前記光源が光を照射する方向と、前記第１物体の法線の方向と、によって決まる条件に基づいて、第２物体の色情報を取得する第２取得手段と、
前記第１物体の色情報と前記第２物体の色情報とに応じた情報を出力する出力手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記出力手段は、前記第１物体の色情報と前記第２物体の色情報とに基づいて、前記第１物体の色の評価に関する情報を出力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記出力手段は、前記第１物体の色情報と前記第２物体の色情報とに基づいて、前記第１物体の色の評価値を出力することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記出力手段は、前記色の評価値として、前記第１物体の色情報が表す色と、前記第２物体の色情報が表す色と、の色差を出力することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２取得手段は、前記条件と前記第２物体の色情報との対応関係を保持するテーブルを用いて、前記第２物体の色情報を取得することを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記テーブルは、前記第２物体を複数の条件において撮像することによって得られたテーブルであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第１物体の形状を表す形状データを取得する第３取得手段をさらに有し、
前記第２取得手段は、前記形状データに基づいて、前記第２物体の色情報を取得することを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。
【請求項８】
前記形状データは、前記第１物体の法線の方向を表すデータであることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記光源に関する光源データを取得する第４取得手段をさらに有し、
前記第２取得手段は、前記光源データに基づいて、前記第２物体の色情報を取得することを特徴とする請求項１乃至請求項８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記光源データは、前記第１物体に対して前記光源が光を照射する方向を表すデータであることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記第１取得手段は、前記第１物体を撮像して得られた画像データが表す画像における対象の領域の色情報を取得し、
前記出力手段は、前記対象の領域に関する、前記第１物体の色情報と前記第２物体の色情報とに応じた情報を出力することを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記第１物体を撮像して得られた画像データに基づいて、前記形状データを生成する第１生成手段をさらに有し、
前記第３取得手段は、前記生成された形状データを取得することを特徴とする請求項７に記載の画像処理装置。
【請求項１３】
前記形状データは、ＣＡＤデータに基づいて生成されたデータであることを特徴とする請求項７に記載の画像処理装置。
【請求項１４】
前記第１物体を撮像して得られた画像データに基づいて、前記光源データを生成する第２生成手段をさらに有し、
前記第４取得手段は、前記生成された光源データを取得することを特徴とする請求項９に記載の画像処理装置。
【請求項１５】
前記光源データは、ユーザによって指定された前記光源の位置に基づいて生成されたデータであることを特徴とする請求項９に記載の画像処理装置。
【請求項１６】
前記第２取得手段は、前記第１物体の色情報を得るための撮像の条件と同じ条件において前記第２物体を撮像することによって得られた前記第２物体の色情報を取得することを特徴とする請求項１乃至請求項１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記第２取得手段は、前記第２物体の色情報として、前記第２物体の分光反射率を取得することを特徴とする請求項１乃至請求項１６のいずれか一項に記載の画像処理装置。
【請求項１８】
前記第２取得手段は、前記第２物体の色情報として、前記第２物体の反射特性のパラメータを取得することを特徴とする請求項１乃至請求項１６のいずれか一項に記載の画像処理装置。
【請求項１９】
前記出力手段は、前記第１物体の色情報と前記第２物体の色情報とに応じた情報として、前記第１物体の色の評価結果を表示手段に表示することを特徴とする請求項１乃至請求項１８のいずれか一項に記載の画像処理装置。
【請求項２０】
第１物体と第２物体とを同じ撮像条件において撮像して得られる各色情報と、基準の物体の色情報と比較することにより、前記第１物体の色と前記第２物体の色とを評価する評価手段と、
前記評価手段による評価の結果に応じた情報をユーザに提供する提供手段と、を有し、
前記第１物体と前記第２物体とは立体物であり、前記第１物体と前記第２物体とを部品として組み合わせることにより１つの工業製品になることを特徴とする画像処理装置。
【請求項２１】
コンピュータを請求項１乃至請求項２０のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項２２】
光源によって光が照射された第１物体を撮像して得られた、前記第１物体の色情報を取得する第１取得ステップと、
前記第１物体を撮像する際の、前記第１物体を撮像する方向と、前記第１物体に対して前記光源が光を照射する方向と、前記第１物体の法線の方向と、によって決まる条件に基づいて、第２物体の色情報を取得する第２取得ステップと、
前記第１物体の色情報と前記第２物体の色情報とに応じた情報を出力する出力ステップと、
を有することを特徴とする画像処理方法。
【請求項２３】
第１物体と第２物体とを同じ撮像条件において撮像して得られる各色情報と、基準の物体の色情報と比較することにより、前記第１物体の色と前記第２物体の色とを評価する評価ステップと、
前記評価手段による評価の結果に応じた情報をユーザに提供する提供ステップと、を有し、
前記第１物体と前記第２物体とは立体物であり、前記第１物体と前記第２物体とを部品として組み合わせることにより１つの工業製品になることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の色を評価するための画像処理技術に関する。
【背景技術】
【０００２】
従来、デジタルカメラから取得された撮像画像を用いて、撮像対象物の色を評価する技術が知られている。特許文献１は、撮像によって得られた検査物の色度分布を基準物の色度分布と比較することにより、色のテクスチャの違いを検査する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１６４５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
物体を撮像して物体の色を評価する場合、物体の形状や撮像条件に応じて、撮像によって取得される色が異なってしまう。しかしながら、特許文献１のような従来の技術においては、物体の形状と撮像条件との少なくとも一方が変わると、色の評価も変わってしまうという課題があった。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、物体の形状や撮像条件に依らずに、物体の色を評価するための処理を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る画像処理装置は、光源によって光が照射された第１物体を撮像して得られた、前記第１物体の色情報を取得する第１取得手段と、前記第１物体を撮像する際の、前記第１物体を撮像する方向と、前記第１物体に対して前記光源が光を照射する方向と、前記第１物体の法線の方向と、によって決まる条件に基づいて、第２物体の色情報を取得する第２取得手段と、前記第１物体の色情報と前記第２物体の色情報とに応じた情報を出力する出力手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、物体の形状や撮像条件に依らずに、物体の色を評価することができる。
【図面の簡単な説明】
【０００８】
【図１】色評価システムの構成を示す図
【図２】画像処理装置の機能構成を示す図
【図３】画像処理装置が実行する処理を示すフローチャート
【図４】マーカーを用いた物体の形状算出方法を説明するための図
【図５】メタデータの例を示す図
【図６】物体を撮像する様子を示す図
【図７】光源データを生成する処理を説明するための図
【図８】形状データを生成する処理を示すフローチャート
【図９】物体の色を評価する処理を示すフローチャート
【図１０】反射特性データを説明するための図
【図１１】反射特性データから色情報を取得する処理を説明するための図
【図１２】評価結果の表示例を示す図
【図１３】光源データを生成する方法を説明するための図
【図１４】画像処理装置の機能構成を示す図
【図１５】画像処理装置が実行する処理を示すフローチャート
【図１６】ＣＡＤデータの例を示す図
【図１７】画像処理装置が実行する処理を示すフローチャート
【図１８】基準板の分光反射率を測定する方法を説明するための図
【図１９】反射特性データの例を示す図
【図２０】光源データを生成する処理を示すフローチャート
【図２１】光源位置を指定するためのＵＩの例を示す図
【図２２】光源位置を指定するためのＵＩの例を示す図
【図２３】反射特性データを説明するための図
【図２４】球体に対応する領域をユーザに指定させるためのＵＩの例を示す図
【図２５】評価結果の表示例を示す図
【図２６】評価結果の表示例を示す図
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１０】
［第１実施形態］
＜色評価システムの構成＞
図１（ａ）は、本実施形態における色評価システムの構成を示す図である。色評価システムは、画像処理装置１と、撮像装置２と、から構成される。
【００１１】
撮像装置２は、レンズとＣＭＯＳ等の４０００×２０００画素のエリアセンサとを備えており、Ｒ（レッド）値、Ｇ（グリーン）値、Ｂ（ブルー）値の各色８ビット、計２４ビットの色情報を画素毎に有する画像を表す画像データを生成する。尚、撮像装置２は、撮像対象物の色情報の２次元分布を取得できるカメラであればどのようなものであってもよく、色数やビット深度、画素数などは上述した一例に限定されない。光源４は、物体３を照明するための光源である。
【００１２】
図１（ｂ）は、画像処理装置１のハードウェア構成を示すブロック図である。画像処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、画像処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インターフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインターフェースカード）１０７を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１１２などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１１２などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、ディスプレイ１１４が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスやキーボードなどの入力デバイス１１０や撮像装置２が接続される。ＳＡＴＡＩ／Ｆ１０６には、シリアルバス１１１を介して、ＨＤＤ１１２や各種記録メディアの読み書きを行う汎用ドライブ１１３が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１１２や汎用ドライブ１１３にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインターフェース）をディスプレイ１１４に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。
【００１３】
＜画像処理装置１の機能構成＞
図２（ａ）は、本実施形態における画像処理装置１の機能構成を示す図である。画像処理装置１は、画像データ取得部２０、形状データ生成部２１、光源データ生成部２２、反射特性データ保持部２３、色評価部２４、表示制御部２５を有する。
【００１４】
画像データ取得部２０は、光源４によって照明された物体３を撮像することによって得られた撮像画像データを取得する。画像データ取得部２０は、ＨＤＤ１１２に予め保存されていた撮像画像データを、ＨＤＤ１１２から取得する。以下において、撮像画像データを得るための撮像の様子を図６を用いて説明する。図６における球体５は、光源データを生成するために配置された、表面が鏡面の球体である。光源データは、光源４から物体３への光の方向を表すデータである。また、マーカー６は、形状データを生成するために物体３に貼り付けられたマーカーである。形状データは、物体３の表面の形状を表すデータである。撮像は、物体３と、球体５と、マーカー６と、が撮像範囲に含まれるように行われる。形状データ生成部２１は、画像データ取得部２０が取得した撮像画像データに基づいて、物体３の三次元形状を表す形状データを生成する。光源データ生成部２２は、画像データ取得部２０が取得した撮像画像データに基づいて、光源４から物体３へ照射する光の方向を表す光源データを生成する。反射特性データ保持部２３は、色の評価において物体３の比較対象となる物体の反射特性を表す反射特性データを保持する。本実施形態における比較対象の物体は基準板である。色評価部２４は、撮像画像データと、形状データと、光源データと、反射特性データと、に基づいて、物体３の表面の色を評価する。表示制御部２５は、色評価部２４による色の評価結果をディスプレイ１１４に表示させる。
【００１５】
＜画像処理装置１が実行する処理＞
図３（ａ）は、画像処理装置１が実行する処理を示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。
【００１６】
Ｓ３１において、画像データ取得部２０は、撮像装置２の撮像によって得られた撮像画像データを取得する。Ｓ３２において、形状データ生成部２１は、撮像画像データに基づいて、物体３の三次元形状を表す形状データを生成する。Ｓ３２における処理の詳細は後述する。
【００１７】
Ｓ３３において、光源データ生成部２２は、光源４から物体３への光の方向を表す光源データを生成する。以下において、光源データを生成する処理を図７を用いて説明する。図７（ａ）は、撮像画像における鏡面の球体５に映る光源４の例である。図７（ｂ）は、光源４から物体３へ照射する光の方向を表す光源ベクトルを算出する処理を説明するための図である。円８１は、撮像画像における鏡面の球体５であり、物体３の表面に対して方位角方向のどの角度に光源が存在するかを示している。半円８２は、物体３の表面に対して仰角方向のどの角度に光源が存在するかを示している。Ｓ３３において、光源データ生成部２２は、まず、撮像画像における球体５に対応する領域の中心の画素位置を算出する。具体的には、撮像画像の画素値を２値化する。この２値化処理は、所定の閾値以上の画素値を有する画素を白、所定の閾値未満の画素値を有する画素を黒とする２値化処理である。２値化処理後の撮像画像において公知のキャニー法を用いてエッジ位置を抽出し、８つの近傍画素にエッジ位置がある画素を同一の輪郭とみなしてグループ化する輪郭抽出を行う。抽出した複数の輪郭グループの中から円又は楕円の輪郭を選択する。円又は楕円の輪郭が１つである場合は、その１つを球体５に対応する領域とし、エッジ位置上において所定の距離以上離れた３点の重心を、球体５に対応する領域の中心の画素位置とする。尚、重心の算出の方法は、エッジ位置上の少なくとも３点を用いればよく、より多くの点を用いることによって、より高精度に球体５に対応する領域の中心の画素位置を算出できる。円又は楕円の輪郭が複数ある場合は、輪郭内の平均輝度が最も高い輪郭を、球体５に対応する領域とする。次に、球体５に映り込んだ光源４の中心の画素位置を算出する。ここでは、撮像画像における球体５に対応する領域の中で、輝度が最も大きい画素を光源４の中心の画素位置とする。次に、光源データ生成部２２は、図７（ｂ）に示すｘｌ、ｙｌを算出する。ｘｌ、ｙｌはそれぞれ、球体５に対応する領域の中心の画素位置から、光源４の中心の画素位置までのｘ方向、ｙ方向の画素数である。次に、式（１）を用いて、ｚｌを算出する。
【００１８】
【数１】
2019185730.tif 000003
【００１９】
ここで、ｒは撮像画像における球体５の半径である。半径ｒは、球体５に対応する領域の中心の画素位置から、球体５に対応する領域のエッジ位置までの画素数とする。ｘｌ、ｙｌ、ｚｌを算出後に、光源ベクトル（ｘｌ、ｙｌ、ｚｌ）を各画素に記録した光源データを生成する。
【００２０】
Ｓ３４において、色評価部２４は、撮像画像データと、形状データと、光源データと、反射特性データと、に基づいて、物体３の表面の色を評価する。Ｓ３４における処理の詳細は後述する。Ｓ３５において、表示制御部２５は、色評価部２４による色の評価結果をディスプレイ１１４に表示させる。Ｓ３５における処理の詳細は後述する。
【００２１】
＜Ｓ３２における処理＞
以下において、マーカー６を用いて物体３の三次元形状を算出する方法を説明する。図４（ａ）は、物体３の三次元形状を算出する方法を説明するための図である。図４（ａ）において、物体３には、マーカー６が貼り付けられている。マーカー６には、印領域４１と、ＩＤコード領域４２と、評価領域４３と、が設けられている。印領域４１は白色の円領域であり、マーカー６に少なくとも３つ以上配置される。マーカー６は、所定の間隔で配置された複数の印領域４１から構成されるパターンを含む領域を有する。図４（ａ）においては、横方向に５個、縦方向に２個並ぶ計１０個の印領域４１が設けられている。評価領域４３は、マーカー６において切り抜かれた領域である。このため、マーカー６を物体３に貼り付けると物体３の表面が露出し、物体３の表面の色の評価を行うことができる。ＩＤコード領域４２は、識別情報をコード化した領域である。識別情報は、マーカー６を識別するための情報であり、製造されたマーカー６毎に割り振られた番号である。この識別番号により、複数のマーカー６が１つの撮像画像中に含まれていても、評価領域４３を区別して色を評価することが可能となる。ＩＤコード領域４２のパターンは、領域を８×８画素の計６４個のブロックに分割し、各ブロックを白と黒との２値で表現することによって、６４ビットの識別番号が表現可能なものを使用する。尚、マーカー６の背景の色は、印領域４１とのコントラストを大きくすることによって、撮像画像から印領域４１を抽出する処理を高精度に行うため、黒色が望ましい。本実施形態のＳ３２においては、マーカー６が貼り付けられた物体３を撮像することによって得られた撮像画像データを用いて物体３の三次元形状を算出する。
【００２２】
図８（ａ）は、Ｓ３２における処理を示すフローチャートである。以下において、Ｓ３２における処理の流れを図８（ａ）を用いて説明する。
【００２３】
Ｓ６１において、形状データ生成部２１は、画像データ取得部２０が取得した撮像画像データを読み込む。Ｓ６２において、形状データ生成部２１は、読み込んだ撮像画像データが表す撮像画像からＩＤコード領域４２に対応する領域を抽出し、抽出した領域からマーカー６の識別番号を読み取る。具体的には、撮像画像の画素値を２値化する。この２値化処理は、所定の閾値以上の画素値を有する画素を白、所定の閾値未満の画素値を有する画素を黒とする２値化処理である。２値化処理後の撮像画像において公知のキャニー法を用いてエッジ位置を抽出し、８つの近傍画素にエッジ位置がある画素を同一の輪郭とみなしてグループ化する輪郭抽出を行う。抽出した複数の輪郭グループの中から四角形の輪郭を選択し、ＩＤコード領域４２が実際の形状と同じになるように輪郭を変形する。変形された輪郭の内部のパターンを、８×８画素のブロックに分割し、各ブロックの濃淡に基づいて識別番号を読み取る。
【００２４】
Ｓ６３において、形状データ生成部２１は、識別番号に対応するマーカー６についての情報を有するメタデータを読み込む。図５は、メタデータの例を示す図である。図５（ａ）は、メタデータに記録される内容を示す図である。領域９０１は、印領域４１の中心点の紙面上における三次元座標値（Ｘ，Ｙ，Ｚ）が記録される領域であり、ＮＸ×ＮＹ行記録される。この座標値には、左上の印領域４１の中心点を原点とした場合の、原点との相対的な位置が記録される。領域９０２は、マーカー画像における各印領域４１の中心点の２次元座標値（ｕ，ｖ）が記録される領域である。２次元座標値（ｕ，ｖ）は、左上の印領域４１の中心点を原点とした場合の、マーカー画像の画素単位の２次元座標値がＮＸ×ＮＹ行記録される。領域９０３は、ポリゴン情報が記録される領域である。本実施形態におけるポリゴンは、図５（ｂ）に示すように、４つの印領域４１の中心点を頂点として有する矩形であり、ポリゴン情報は、矩形を構成する各頂点の情報である。具体的に、ポリゴン情報は、各行に、反時計回りに矩形の外周を回る順で４頂点分の、領域９０１の行の番号及び領域９０２の行番号が記録された情報である。
【００２５】
Ｓ６４において、形状データ生成部２１は、撮像画像データに基づいて、各印領域４１の中心座標を算出する。ここでは、Ｓ６２と同様に輪郭抽出までの処理を行い、輪郭グループの中から円又は楕円となる輪郭の候補を挙げる。輪郭の候補として挙げられた円又は楕円の輪郭により囲まれる面積を算出し、算出した各輪郭の面積と予め設定された印領域４１の面積との差に応じて候補の順位づけを行う。順位１〜１０の印領域４１の複数の輪郭を抽出し、各輪郭の中心座標値を算出する。また、各輪郭の中心座標値の相対的な位置関係が、領域９０２に記載されている座標値の相対的な位置関係と一致するように各輪郭の中心座標値をソートする。これにより、領域９０３で定義される矩形と、矩形に対応する印領域４１の中心座標と、の対応を容易にとることができる。
【００２６】
Ｓ６５において、形状データ生成部２１は、各印領域４１の中心座標に基づいて、物体３の表面における法線ベクトルを算出し、算出した法線ベクトルを表す形状データを生成する。以下において、Ｓ６５における処理の詳細を説明する。図８（ｂ）は、Ｓ６５における処理を示すフローチャートである。
【００２７】
Ｓ１１０１において、形状データ生成部２１は、メタデータから矩形の頂点の三次元座標値（Ｘ，Ｙ，Ｚ）を読み込む。具体的には、メタデータにおいて、領域９０３に示したポリゴン情報から一行を読み取り、ポリゴン情報が示す矩形の各頂点に対応する座標値を領域９０１から読み取る。
【００２８】
Ｓ１１０２において、形状データ生成部２１は、Ｓ６４において算出した印領域４１の中心座標から、Ｓ１１０１において座標値を読み取った各頂点に対応する座標値を読み取る。印領域４１の中心座標の順は、Ｓ６４において、領域９０２に記録されている座標値の順と一致するようにソートされている。そのため、Ｓ１１０２においては、Ｓ１１０１と同様に領域９０３に記録されている頂点の番号に対応する中心座標を抽出すればよい。
【００２９】
Ｓ１１０３において、形状データ生成部２１は、式（２）において示す係数ｒ１１〜ｒ３３からなる回転行列Ｒと、係数ｔ１〜ｔ３からなる並進ベクトルｔと、を推定する。この処理により、矩形の平面に対する撮像装置２の位置及び姿勢を算出することができる。
【００３０】
【数２】
2019185730.tif 000004
【００３１】
ここで、ｆｘ、ｆｙは、撮像装置２の位置を原点とする三次元空間における、ｘ方向及びｙ方向の撮像装置２の焦点距離である。ｃｘ、ｃｚは、ｘ方向及びｚ方向の撮像装置２の主点位置である。ｆｘ、ｆｙ、ｃｘ、ｃｚは、予め決められた値としてＨＤＤ１１２において保持されている。また、式（２）における座標（ｕ，ｖ）は、Ｓ１１０２において読み取った撮像画像における印領域４１の中心座標である。式（２）における座標（Ｘ，Ｙ，Ｚ）は、座標（ｕ，ｖ）に対応する、Ｓ１１０１において読み取ったメタデータに記録されている三次元座標値である。ｓはスケーリングファクタであり、式（２）の右辺の計算によって得られる三次元ベクトルの３行目の要素が１となるように、その逆数をとった値である。Ｓ１１０３において、形状データ生成部２１は、矩形の４つの頂点における座標（ｕ，ｖ）と座標（Ｘ，Ｙ，Ｚ）との対応に基づいて、回転行列と並進ベクトルとを推定する。この推定方法は、３点以上の座標（ｕ，ｖ）と、座標（ｕ，ｖ）に対応する座標（Ｘ，Ｙ，Ｚ）と、を用いて回転行列及び並進ベクトルを推定する方法である。
【００３２】
Ｓ１１０４において、形状データ生成部２１は、撮像装置２の位置を原点とする矩形の各頂点の三次元座標（ｘ，ｙ，ｚ）と、各頂点を含む平面に対する法線ベクトルと、を算出する。まず、式（３）において、各頂点の三次元座標（ｘ，ｙ，ｚ）を算出する。
【００３３】
【数３】
2019185730.tif 000005
【００３４】
ここで、ＲはＳ１１０３において算出した回転行列であり、ｔはＳ１１０３において算出した並進ベクトルである。座標（Ｘ，Ｙ，Ｚ）は、Ｓ１１０１において読み取ったメタデータにおける各頂点の三次元座標値である。次に、形状データ生成部２１は、矩形における１つの頂点の座標（ｘ，ｙ，ｚ）を原点として他の２つの頂点の座標（ｘ，ｙ，ｚ）のベクトルを算出する。算出した２つのベクトルの外積ベクトルが示す方向の単位ベクトルを、矩形の表面に対する法線ベクトルとして算出する。尚、各頂点の座標（Ｘ，Ｙ，Ｚ）のＺ値が同じ場合は、回転行列Ｒの３列目のｒ１３、ｒ２３、ｒ３３を成分とする単位ベクトルを法線ベクトルとしてもよい。
【００３５】
形状データ生成部２１は、上述したＳ１１０１〜Ｓ１１０４の処理を全ての矩形領域に対して行い、撮像装置２の位置を原点とする各矩形の頂点の三次元座標（ｘ，ｙ，ｚ）を取得する。得られた座標は、物体３が曲面であっても、各矩形が平面とみなせる間隔で配置されている場合であれば、物体３の三次元座標値であるとみなすことができる。
【００３６】
Ｓ１１０５において、形状データ生成部２１は、印領域４１の中心の三次元座標（ｘ，ｙ，ｚ）を決定する。Ｓ１１０１〜Ｓ１１０４の処理において算出した各矩形の頂点は、図５（ｂ）に示したように重複している。そこで、Ｓ１１０５において、形状データ生成部２１は、重複した頂点の座標（ｘ，ｙ，ｚ）を再計算する。具体的には、まず、各矩形において、隣接する矩形と重複する頂点を含み、矩形の法線ベクトルを法線とする平面を算出する。次に、重複していない頂点の座標と原点とを通る直線を算出し、直線と平面との交点を新たな重複しない頂点の座標とする。このように座標値を再計算することによって、各矩形の法線ベクトルを維持することが可能となる。尚、重複する頂点の座標（ｘ，ｙ，ｚ）の平均値を、対応する印領域４１の中心の三次元座標値としてもよい。
【００３７】
Ｓ１１０６において、形状データ生成部２１は、矩形毎に算出した法線ベクトルを、格画素に記録した形状データを生成する。ここでは、矩形内は全て同じ法線ベクトルであるとして、各画素に法線ベクトル（ｘｎ、ｙｎ、ｚｎ）を記録する。尚、本実施形態における色の評価は評価領域４３に対して行われるため、形状データが表す法線ベクトルは、評価領域４３に対応する画素にのみ記録されていればよい。
【００３８】
＜Ｓ３４における処理＞
図９は、Ｓ３４における処理を示すフローチャートである。以下において、Ｓ３４における処理の流れを図９を用いて説明する。
【００３９】
Ｓ２４１において、色評価部２４は、撮像画像の各画素に記録された色情報（ＲＧＢ値）をＸＹＺ値に変換する。ＲＧＢ値からＸＹＺ値への変換は、公知の方法を用いて行う。Ｓ２４２において、色評価部２４は、形状データ生成部２１が生成した形状データを取得する。Ｓ２４３において、色評価部２４は、光源データ生成部２２が生成した光源データを取得する。
【００４０】
Ｓ２４４において、色評価部２４は、反射特性データ保持部２３から、反射特性データを取得する。以下において、反射特性データ保持部２３が保持する反射特性データについて説明する。図１０（ａ）及び図１０（ｂ）は、反射特性データを生成する方法を説明するための図である。図１０（ａ）において、基準板９１は色の評価において物体３の比較対象となる平面状の板である。反射特性データは、基準板９１を撮像することによって得られる、撮像条件と基準板９１の色情報との対応関係を保持するルックアップテーブルである。撮像の方法を図１０（ｂ）を用いて説明する。図１０（ｂ）に示すように、光源４の位置を固定して、撮像装置２を基準板９１に対して方位角０°から３５０°まで１０°ずつ移動させ、移動させる度に撮像を行う。この撮像を基準板９１に対して仰角０°から９０°まで１０°毎に行う。次に、撮像装置２を移動させる度に行う撮像を、光源４を基準板９１に対して方位角０°から３５０°まで１０°ずつ移動させて行う。さらに、この撮像を、光源４を基準板９１に対して仰角０°から９０°まで１０°ずつ移動させる度に行う。尚、撮像装置２の位置と光源４の位置とが重複する場合は、撮像は行わない。また、仰角９０°の位置においては方位角を変えられないため、方位角方向の移動は行わない。基準板９１はどの領域も同じ色であるとして、撮像して得られた撮像画像の任意の画素に記録された色情報（ＲＧＢ値）を各撮像条件における基準板９１の色情報とする。図１０（ｃ）は、各撮像条件における色情報（ＲＧＢ値）が記録された反射特性データである。ここで撮像条件は、光源４の位置の方位角及び仰角と、撮像装置２の位置の方位角及び仰角と、によって決まる。尚、撮像装置２及び光源４を移動させる角度は１０°ずつである必要はなく、１°毎にしてもよい。また、光源４から基準板９１への光の正反射方向付近は反射強度が大きく変化するため、正反射方向付近においては１°毎の移動とし、正反射方向から離れるにつれて移動させる角度を大きくしてもよい。
【００４１】
Ｓ２４５において、色評価部２４は、撮像画像の評価領域４３に対応する領域の色情報と比較するための、基準板の色情報を反射特性データから取得する。まず、図１１（ａ）に示すように、撮像画像における評価領域４３に対応する領域内の画素の法線ベクトル（ｘｎ、ｙｎ、ｚｎ）、光源ベクトル（ｘｌ、ｙｌ、ｚｌ）、撮像装置２から物体３への方向を表すベクトル（ｘｃ、ｙｃ、ｚｃ）を取得する。以下、撮像装置２から物体３への方向を表すベクトルを撮像方向ベクトルと呼ぶ。法線ベクトル（ｘｎ、ｙｎ、ｚｎ）は形状データから取得し、光源ベクトル（ｘｌ、ｙｌ、ｚｌ）は光源データから取得する。撮像方向ベクトルは、撮像装置２が撮像する面に対して正対しているため、（０，０，−１）となる。次に、図１１（ｂ）に示すように、法線ベクトルが真上を向く状態に回転させる回転行列を算出し、光源ベクトル、撮像方向ベクトルを算出した回転行列で回転する。回転後の光源ベクトルを（ｘｌ’，ｙｌ’，ｚｌ’）とし、回転後の撮像方向ベクトルを（ｘｃ’，ｙｃ’，ｚｃ’）とする。法線ベクトルが真上を向く状態に回転させるのは、反射特性データを生成する際に、基準板の表面の法線が真上を向いた状態において撮像を行っているためである。尚、法線ベクトルが真上を向く状態は、法線ベクトル（ｘｎ、ｙｎ、ｚｎ）が（０，０，√（ｘｎ２＋ｙｎ２＋ｚｎ２））となる状態である。（ｘｌ’，ｙｌ’，ｚｌ’）と、（ｘｃ’，ｙｃ’，ｚｃ’）と、がそれぞれ表す光源の方向と、撮像の方向と、に最も近い撮像条件における撮像によって得られた基準板９１の色情報を、反射特性データから取得する。尚、基準板の色情報は、近い撮像条件の色情報を反射特性データから４つ抽出して補間処理によって算出してもよい。さらに、基準板の色情報（ＲＧＢ値）を、Ｓ２４１における方法と同じ方法によって、ＸＹＺ値に変換する。
【００４２】
Ｓ２４６において、色評価部２４は、撮像画像における評価領域４３に対応する領域の各画素の色情報と、その色情報に対応する基準板の色情報と、に基づいて、色の評価値を算出する。具体的には、まず、式（４）〜式（８）を用いて、ＸＹＺ値をＬ＊ａ＊ｂ＊値を変換する。撮像画像の色情報を（Ｘｃ、Ｙｃ、Ｚｃ）とし、基準板の色情報を（Ｘｂ、Ｙｂ、Ｚｂ）とし、基準白色のＸＹＺ値を（Ｘｗ、Ｙｗ、Ｚｗ）とする。基準白色のＸＹＺ値には、予め設定されている値を用いる。式（４）〜式（８）を用いて、（Ｘｃ、Ｙｃ、Ｚｃ）、（Ｘｂ、Ｙｂ、Ｚｂ）をそれぞれ（Ｘ，Ｙ，Ｚ）に代入した場合の、（Ｌ＊ｃ、ａ＊ｃ、ｂ＊ｃ）、（Ｌ＊ｂ、ａ＊ｂ、ｂ＊ｂ）をそれぞれ求める。
【００４３】
【数４】
2019185730.tif 000006
【００４４】
【数５】
2019185730.tif 000007
【００４５】
算出した（Ｌ＊ｃ、ａ＊ｃ、ｂ＊ｃ）、（Ｌ＊ｂ、ａ＊ｂ、ｂ＊ｂ）を用いて、色差ΔＥ、明度差ΔＬ＊、Δａ＊、Δｂ＊、彩度差ΔＣのいずれかを評価値として算出する。評価値の算出は、以下の式（９）を用いる。本実施形態においては、色差ΔＥを評価値とするように予め設定されているものとする。
【００４６】
【数６】
2019185730.tif 000008
【００４７】
尚、上述した色差ΔＥ、明度差ΔＬ＊、Δａ＊、Δｂ＊、彩度差ΔＣを複数組み合わせた値を評価値としてもよい。また、ディスプレイ１１４に評価値の候補を表示させて、評価値をユーザに選択させてもよい。
【００４８】
＜Ｓ３５における処理＞
Ｓ３５において、表示制御部２５は、色評価部２４による色の評価結果をディスプレイ１１４に表示させる。図１２に、評価結果の表示例を示す。図１２において、画面２５１は評価領域４３に対する評価結果を表示する画面であり、評価値スケール２５２は評価値のスケールを表す。最大値２５３は評価値スケールの最大値である。表示２５４は、評価領域４３内の各画素における評価値が全て所定の閾値以下であり、検査が合格（ＯＫ）である場合の表示である。表示２５５は、評価領域４３内の各画素における評価値が１つでも所定の閾値より大きく、検査が不合格（ＮＧ）である場合の表示である。尚、画面２５１における表示の際、評価値が０の場合に評価値スケール２５２の１番下の色、評価値が評価値スケールの最大値２５３以上の場合に評価値スケール２５２の１番上の色になるように表示する。０以上、かつ、評価値スケール２５２の最大値以下の場合には線形補間で算出された中間の色を表示する。尚、所定の画素数よりも、評価値が所定の閾値より大きい画素の数が少なければ、検査合格（ＯＫ）であると判定してもよい。
【００４９】
＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、光源によって光が照射された第１物体を撮像して得られた、第１物体の色情報を取得する。第１物体を撮像する際の、第１物体を撮像する方向と、第１物体に対して光源が光を照射する方向と、第１物体の法線の方向と、によって決まる条件に基づいて、第２物体の色情報を取得する。第１物体の色情報と第２物体の色情報とに応じた情報を出力する。これにより、物体の形状や撮像条件に依らずに、物体の色を評価することができる。
【００５０】
＜変形例＞
本実施形態においては、物体３にマーカー６を直接貼り付けていたが、プロジェクタなど投影装置を用いてマーカー画像を物体３に投影する形態であってもよい。図４（ｂ）に、プロジェクタ８を用いてマーカー画像を物体３に投影する様子を示す。物体３の形状を算出する処理は、Ｓ３２と同様である。
【００５１】
また、本実施形態のＳ２４４において取得される反射特性データは、図１０（ｂ）に示すように、基準板９１を固定し、撮像装置２及び光源４を移動させながら撮像を行うことにより生成されるが、反射特性データの生成方法は上記一例に限定されない。例えば、図２３（ａ）に示すように、撮像装置２及び光源４を固定し、基準板９１を回転させながら撮像を行うことにより反射特性データを生成してもよい。この場合、物体３を撮像する際の撮像条件と同じ撮像条件となるように撮像装置２及び光源４を固定し、基準板９１を回転させながら撮像を行う。具体的には、基準板９１の法線方向の方位角を固定し、基準板９１の法線方向を仰角０°から仰角１８０°まで１０°ずつ変化させ、法線方向を変化させる度に撮像を行う。この撮像を基準板９１の法線方向の方位角０°から３６０°まで１０°毎に行う。図２３（ｂ）は、基準板９１の各法線方向に対応する色情報（ＲＧＢ値）が記録された反射特性データである。この反射特性データの生成方法においては、撮像装置２及び光源４を移動させながらの撮像よりも少ない撮像の回数で反射特性データを生成することができる。また、基準板９１の色情報を反射特性データから取得する際に、光源ベクトルと撮像方向ベクトルとを用いる必要がなく、法線ベクトルを回転させる処理を行う必要がない。ここでは一例として、撮像装置２及び光源４を固定した例を説明したが、撮像装置２のみ固定してもよいし、光源４のみ固定してもよい。また、撮像装置２、光源４、基準板９１の３つ全てを固定しなくてもよい。
【００５２】
また、本実施形態のＳ３３において、光源データ生成部２２は、物体３と、球体５と、マーカー６と、が撮像範囲に含まれるように撮像して得られた撮像画像を基に、撮像画像における球体５に対応する領域を算出した。撮像画像における球体５に対応する領域を決定する方法は上記一例に限定されない。例えば、ＵＩを用いてユーザから、撮像画像における球体５に対応する領域の指定を受け付けてもよい。図２４に、撮像画像における球体５に対応する領域をユーザに指定させるためのＵＩの一例を示す。撮像画像２４０１をディスプレイ１１４に表示し、入力デバイス１１０を用いたユーザからの指示に応じてカーソル２４０２を移動させる。ユーザからの領域を決定する指示に基づいて、カーソル２４０２が示す領域を撮像画像２４０１における球体５に対応する領域として決定する。この決定方法により、撮像画像において、誤った領域を球体５に対応する領域として決定することを抑制することができる。
【００５３】
また、本実施形態のＳ３５において表示する色の評価結果の表示方法の一例として図１２を示したが、図２５に示す表示方法であってもよい。図２５に示す画像は、画像の画素毎に検査合格（ＯＫ）であるか、又は、検査不合格（ＮＧ）であるかの判定を行った結果を各画素に保持する２値画像である。ここでは、白く表示された領域２５０１は検査合格（ＯＫ）の画素から成り、黒く表示された領域２５０２は検査不合格（ＮＧ）の画素から成る。評価領域４３において、評価値が所定の閾値以下の画素は検査合格（ＯＫ）と判定され、評価値が所定の閾値より大きい画素は検査不合格（ＮＧ）と判定される。
【００５４】
また、本実施形態においては、評価領域４３毎に検査合格（ＯＫ）であるか、又は、検査不合格（ＮＧ）であるかの判定を行っていたが、自動車のような複数の部品から構成される工業製品の色を検査する場合には、部品毎に判定を行ってもよい。図２６に、Ｓ３５において表示する色の評価結果の表示方法の一例を示す。図２６における自動車は、フロントフェンダー２６０１、リアフェンダー２６０２、フロントバンパー２６０３、フロントドア２６０４、リアドア２６０５、リアバンパー２６０６、フロントタイヤ２６０７、リアタイヤ２６０８、ミラー２６０９から構成される。この場合、部品毎に評価値が算出され、評価値が所定の閾値以下であるか否かが判定される。部品毎の評価値は、例えば、部品に対応する領域に含まれる各画素の評価値の平均値や中央値などである。図２６のように、検査ＯＫである場合は、部品全体を白く表示し、検査不合格（ＮＧ）である場合は、部品全体を黒く表示する。図２６の例においては、フロントドア２６０４、リアバンパー２６０６、ミラー２６０９が検査不合格（ＮＧ）と判定され、黒く表示されており、それ以外の部品は検査合格（ＯＫ）と判定され、白く表示されている。また、図２６の例においては、フロントタイヤ２６０７及びリアタイヤ２６０８を検査の対象から外しているが、ユーザからの指定により、検査の対象を選択するようにしてもよい。また、検査不合格（ＮＧ）の部品を含む自動車などの工業製品は、塗装による色のムラなどが生じているため、部品毎に塗装の方法などの情報をユーザに提供するようにしてもよい。尚、工業製品の一例として自動車を説明したが、複数の立体物を組み合わせて形成される物体であれば、カメラやプリンタなど他の工業製品であってもよい。
【００５５】
また、本実施形態においては、撮像画像の色情報と基準板の色情報と用いて色の評価値を算出し、算出した評価値に応じた出力を行ったが、撮像画像の色情報と基準板の色情報とに応じた情報を出力できれば、情報の出力方法は上記一例に限定されない。例えば、撮像画像の色情報と基準板の色情報とを対応関係がわかるように表示してもよい。
【００５６】
［第２実施形態］
第１実施形態においては、撮像画像データに基づいて光源データを生成していたが、予め生成しておいた光源データを取得してもよい。本実施形態においては、予め生成しておいた光源データを取得し、取得した光源データを色の評価に用いる。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。
【００５７】
＜画像処理装置１の機能構成＞
図２（ｂ）は、本実施形態における画像処理装置１の機能構成を示す図である。画像処理装置１は、画像データ取得部２０、形状データ生成部２１、反射特性データ保持部２３、色評価部２４、表示制御部２５、光源データ保持部２６を有する。光源データ保持部２６は、予め生成された光源データを保持する。
【００５８】
＜画像処理装置１が実行する処理＞
図３（ｂ）は、画像処理装置１が実行する処理を示すフローチャートである。尚、Ｓ３１、Ｓ３２、Ｓ３５における処理は、第１実施形態のＳ３１、Ｓ３２、Ｓ３５における処理と同じであるため説明を省略する。本実施形態においては、Ｓ３４におけるＳ２４３の処理が第１実施形態と異なるため、Ｓ２４３を説明する。Ｓ２４３において、色評価部２４は、光源データ保持部２６から光源データを取得する。以下において、光源データを予め生成しておく方法を図１３を用いて説明する。図１３（ａ）における天井７１は撮像を行う環境における天井である。撮像装置２及び光源４は、撮像装置２による撮像の際の位置と同じ位置に配置されている。撮像装置７は魚眼レンズを備えた撮像装置である。撮像装置７は、撮像装置２における撮像の際に物体３が配置される位置に上向きに配置され、撮像を行う。図１３（ｂ）は、図１３（ａ）の条件において撮像を行うことによって得られる画像を示している。光源ベクトルの算出方法を図７（ｃ）を用いて説明する。円８３は、撮像画像における鏡面の球体５であり、物体３の表面に対して方位角方向のどの角度に光源が存在するかを示している。半円８４は、物体３の表面に対して仰角方向のどの角度に光源が存在するかを示している。撮像装置７が備える魚眼レンズは、等距離射影方式であるため、ｘ、ｙ方向は円８３の中心からの位置がそのまま半円８４に投影され、ｚ方向は円８３の同心円状に半円８４の同一角度に射影される。そのため、図７（ｃ）の例の場合は、円８３の９個ある同心円の外側から２番目の同心円上に光源４があるため、光源４はｚ方向において２０°の位置に存在する。尚、本実施形態におけるｚｌの算出は、式（１）ではなく式（１０）を用いて行う。
【００５９】
【数７】
2019185730.tif 000009
【００６０】
＜第２実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、予め生成しておいた光源データを用いて基準板の色情報を取得し、物体の色の評価を行った。よって、物体の形状や撮像条件に依らずに、物体の色を評価することができる。
【００６１】
［第３実施形態］
第１実施形態においては、撮像画像データに基づいて形状データを生成していたが、ＣＡＤデータに基づいて形状データを生成してもよい。本実施形態においては、物体３の概略形状を表すＣＡＤデータを取得し、ＣＡＤデータに基づいて生成した形状データを色の評価に用いる。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。
【００６２】
＜画像処理装置１の機能構成＞
図１４は、本実施形態における画像処理装置１の機能構成を示す図である。画像処理装置１は、画像データ取得部２０、形状データ生成部２１、光源データ生成部２２、反射特性データ保持部２３、色評価部２４、表示制御部２５、ＣＡＤデータ保持部２７、パターンマッチング部２８を有する。ＣＡＤデータ保持部２７は、物体３の概略形状を表すＣＡＤデータを保持する。パターンマッチング部２８は、撮像画像データとＣＡＤデータとに基づいて、パターンマッチングを行い、形状データを生成する。
【００６３】
＜画像処理装置１が実行する処理＞
図１５は、画像処理装置１が実行する処理を示すフローチャートである。尚、Ｓ３１、Ｓ３３、Ｓ３４、Ｓ３５における処理は、第１実施形態のＳ３１、Ｓ３３、Ｓ３４、Ｓ３５における処理と同じであるため説明を省略する。
【００６４】
Ｓ３８において、パターンマッチング部２８は、ＣＡＤデータ保持部２７からＣＡＤデータを取得する。図１６に、ＣＡＤデータの例を示す。ＣＡＤデータにおいて物体３は複数のポリゴンから構成され、ＣＡＤデータにはポリゴンの各頂点の三次元座標が記録されている。Ｓ３９において、パターンマッチング部２８は、撮像画像データと、ＣＡＤデータと、に基づいて、パターンマッチングを行い、形状データを生成する。具体的には、まず、ＣＡＤデータに基づいて、物体３を仮想の位置及び姿勢で撮像した画像をシミュレーションする。撮像画像データが表す撮像画像とシミュレーションにより得られた画像との特徴量が一致するか否かを判定する処理を、物体３の位置及び姿勢を変えながら繰り返し行う。特徴量が一致する位置及び姿勢のシミュレーション結果に基づいて、物体３の三次元座標と撮像画像の各画素との対応関係を算出する。算出された対応関係に基づいて、撮像画像の各画素に対応する法線ベクトルを算出し、各画素に法線ベクトルが記録された形状データを生成する。法線ベクトルは、ポリゴンの法線を頂点の三次元座標から算出することによって得られる。
【００６５】
＜第３実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、ＣＡＤデータに基づいて生成した形状データを用いて基準板の色情報を取得し、物体の色の評価を行った。よって、物体の形状や撮像条件に依らずに、物体の色を評価することができる。
【００６６】
［第４実施形態］
第１実施形態においては、基準板の反射特性をＲＧＢ値で取得したが、分光反射率で取得してもよい。分光反射率で基準板の反射特性を測定することによって、反射特性を測定する際の光源と物体を撮像する際の光源が異なっていても、高精度に物体の色の評価を行うことが可能となる。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。
【００６７】
＜反射特性データ＞
本実施形態における反射特性データ保持部２３は、基準板を分光反射輝度計を用いて測定して得られた分光反射率を表す反射特性データを保持する。図１８を用いて基準板の分光反射率を測定する方法を説明する。図１８（ａ）に、基準板９１、光源４、分光放射輝度計１０を示す。図１０（ｂ）と同様に、基準板９１に対し光源４と分光放射輝度計１０を１０°毎に動かし、それぞれの幾何条件における分光放射輝度Ｐ（λ）を測定する。次に、図１８（ｂ）に示すように、基準板９１に対し光源４と分光放射輝度計１０をほぼ垂直方向に配置し、分光放射輝度ＰＷ（λ）を測定する。そして、以下の式（１１）に従って各角度における分光反射率ρ（λ）を算出する。
【００６８】
【数８】
2019185730.tif 000010
【００６９】
算出した分光反射率を表す反射特性データを反射特性データ保持部２３に保存する。
【００７０】
図１９に反射特性データ保持部２３が保持する反射特性データの例を示す。図１９に示すように、反射特性データは、方位角、仰角それぞれ１０°毎に、波長λ＝３８０ｎｍ〜７３０ｎｍまで１０ｎｍ毎の分光反射率を保持する。
【００７１】
＜画像処理装置１が実行する処理＞
図１７（ａ）は、画像処理装置１が実行する処理を示すフローチャートである。尚、Ｓ３１、Ｓ３２、Ｓ３３、Ｓ３５における処理は、第１実施形態のＳ３１、Ｓ３２、Ｓ３３、Ｓ３５における処理と同じであるため説明を省略する。
【００７２】
Ｓ３９において、色評価部２４は、撮像画像データと、形状データと、光源データと、反射特性データと、に基づいて、物体３の表面の色を評価する。図１７（ｂ）を用いてＳ３９における処理の詳細を説明する。尚、Ｓ２４１、Ｓ２４２、Ｓ２４３、Ｓ２４６における処理は、第１実施形態のＳ２４１、Ｓ２４２、Ｓ２４３、Ｓ２４６における処理と同じであるため説明を省略する。
【００７３】
Ｓ２９１において、色評価部２４は、反射特性データ保持部２３から反射特性データを取得する。この反射特性データは、上述したように、基準板９１の分光反射率を測定することによって得られたデータである。Ｓ２９２において、色評価部２４は、撮像画像の評価領域４３に対応する領域の色情報と比較するための、基準板の色情報（分光反射率）を反射特性データから取得する。まず、図１１（ａ）に示すように、撮像画像における評価領域４３に対応する領域内の画素の法線ベクトル（ｘｎ、ｙｎ、ｚｎ）、光源ベクトル（ｘｌ、ｙｌ、ｚｌ）、撮像装置２から物体３への方向を表すベクトル（ｘｃ、ｙｃ、ｚｃ）を取得する。以下、撮像装置２から物体３への方向を表すベクトルを撮像方向ベクトルと呼ぶ。法線ベクトル（ｘｎ、ｙｎ、ｚｎ）は形状データから取得し、光源ベクトル（ｘｌ、ｙｌ、ｚｌ）は光源データから取得する。撮像方向ベクトルは、撮像装置２が撮像する面に対して正対しているため、（０，０，−１）となる。次に、図１１（ｂ）に示すように、法線ベクトルが真上を向く状態に回転させる回転行列を算出し、光源ベクトル、撮像方向ベクトルを算出した回転行列で回転する。回転後の光源ベクトルを（ｘｌ’，ｙｌ’，ｚｌ’）とし、回転後の撮像方向ベクトルを（ｘｃ’，ｙｃ’，ｚｃ’）とする。法線ベクトルが真上を向く状態に回転させるのは、反射特性データを生成する際に、基準板の表面の法線が真上を向いた状態において撮像を行っているためである。尚、法線ベクトルが真上を向く状態は、法線ベクトル（ｘｎ、ｙｎ、ｚｎ）が（０，０，√（ｘｎ２＋ｙｎ２＋ｚｎ２））となる状態である。（ｘｌ’，ｙｌ’，ｚｌ’）と、（ｘｃ’，ｙｃ’，ｚｃ’）と、がそれぞれ表す光源の方向と、撮像の方向と、に最も近い撮像条件における撮像によって得られた基準板９１の分光反射率を、反射特性データから取得する。尚、基準板の分光反射率は、近い撮像条件の色情報を反射特性データから４つ抽出して補間処理によって算出してもよい。取得した分光反射率を用いて、式（１２）に従って、ＸＹＺ値を算出する。尚、光源４の分光放射輝度Ｐｌ（λ）と、等色関数（ｘｅ（λ），ｙｅ（λ），ｚｅ（λ），）と、は予め設定されている。
【００７４】
【数９】
2019185730.tif 000011
【００７５】
＜第４実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、基準板の分光反射率を表す反射特性データを用いて基準板の色情報を取得し、物体の色の評価を行った。よって、物体の形状や撮像条件に依らずに、物体の色を評価することができる。また、分光反射率を反射特性として用いることによって、反射特性を測定する際の光源と物体を撮像する際の光源が異なっていても、高精度に物体の色の評価を行うことが可能となる。
【００７６】
［第５実施形態］
第１実施形態においては、撮像画像データに基づいて光源データを生成していたが、ユーザによって指定された光源の位置に基づいて光源データを生成してもよい。本実施形態においては、ユーザの指示に基づいて光源データを取得し、取得した光源データを色の評価に用いる。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。
【００７７】
＜Ｓ３３における処理＞
Ｓ３３において、光源データ生成部２２は、ユーザからの指示に基づいて、光源データを生成する。図２０を用いてＳ３３における処理の詳細を説明する。
【００７８】
Ｓ３８０１において、光源データ生成部２２は、撮像画像データを取得する。また、図２１に示すＵＩをディスプレイに表示させる。領域３９０１には、撮像画像データが表す撮像画像が表示される。
【００７９】
Ｓ３８０２において、光源データ生成部２２は、領域３９０１に表示された撮像画像において、光源位置を指定する際の基準となる物体３上の画素を基準点３９０３として設定する。基準点３９０３は法線ベクトルを算出可能な画素であれば任意に決定できる。本実施形態においては、評価領域４３の中心に対応する画素とする。
【００８０】
Ｓ３８０３において、光源データ生成部２２は、Ｓ３２において生成した形状データを参照して、基準点３９０３として設定された画素の法線ベクトルを取得する。
【００８１】
Ｓ３８０４において、光源データ生成部２２は、Ｓ３８０２において設定した基準点３９０３について、Ｓ３８０３において取得した法線ベクトル３９０４を基準として光源位置を設定する。図２１に示すＵＩにおける領域３９０２に、基準点３９０３及び法線ベクトル３９０４、光源３９０５が３Ｄ表示されている。このＵＩが表示されている状態において、ユーザは、入力デバイス１１０を用いて光源３９０５を指定して領域３９０２内をドラッグすることにより、光源位置を指定することができる。つまり、Ｓ３８０４において、光源データ生成部２２は、ユーザから光源位置を指定する情報を受け取り、指定された光源位置に基づいて光源データを生成する。ユーザによって指定された光源位置の仰角は領域３９０６、方位角は領域３９０７、距離は領域３９０８にそれぞれ表示される。ここで、方位角の指定範囲は−１８０°〜１８０°、仰角の指定範囲は０°〜１８０°である。尚、距離の指定範囲は特に制限はないが、物体３の撮像時に照明が影になったり、遠すぎて光量が不足したりしない範囲で設定すればよい。また、より詳細に光源位置を設定するために、領域３９０６、領域３９０７、領域３９０８においてユーザに直接数値を入力させるようにしてもよい。また、基準点３９０３に対する光源位置の候補がいくつか決まっている場合は、候補の中からユーザに選択させるようにしてもよい。
【００８２】
＜第５実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、ユーザによって指定された光源位置に基づいて生成された光源データを用いて基準板の色情報を取得し、物体の色の評価を行った。よって、物体の形状や撮像条件に依らずに、物体の色を評価することができる。
【００８３】
＜変形例＞
物体３の大きさに対して光源４が十分に遠方にあり、光源４が撮像画像内の物体３に対応する領域と同じ方向にあるとみなせる場合は、領域３９０８における距離の表示及び入力を行わなくてもよい。この場合は、図２２に示すＵＩの領域４００２において、光源４００５を移動させて、光源位置を設定することができる。仰角は領域４００６、方位角は領域４００７に表示される。さらに、物体３に異方性を有さない場合などに指定する光源位置は垂直方向だけでもよい。
【００８４】
また、光源の位置情報だけでなく、分光放射輝度などの色情報を入力して、第４実施形態と組み合わせることも可能である。例えば、図２２の領域４００９のように、波長に対する放射輝度のデータを入力すればよい。
【００８５】
［その他の実施形態］
上述した実施形態における反射特性データは、反射特性として、各撮像条件における色情報を有していたが、反射特性を表す情報は上記一例に限定されない。例えば、反射特性を表す情報は、ＢＲＤＦ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  Ｒｅｆｌｅｃｔａｎｃｅ  Ｄｉｓｔｒｉｂｕｔｉｏｎ  Ｆｕｎｃｔｉｏｎ）のパラメータであってもよい。
【００８６】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８７】
１  画像処理装置
２０  画像データ取得部
２３  反射特性データ保持部
２４  色評価部
【図１】
2019185730.tif 000012
【図２】
2019185730.tif 000013
【図３】
2019185730.tif 000014
【図４】
2019185730.tif 000015
【図５】
2019185730.tif 000016
【図６】
2019185730.tif 000017
【図７】
2019185730.tif 000018
【図８】
2019185730.tif 000019
【図９】
2019185730.tif 000020
【図１０】
2019185730.tif 000021
【図１１】
2019185730.tif 000022
【図１２】
2019185730.tif 000023
【図１３】
2019185730.tif 000024
【図１４】
2019185730.tif 000025
【図１５】
2019185730.tif 000026
【図１６】
2019185730.tif 000027
【図１７】
2019185730.tif 000028
【図１８】
2019185730.tif 000029
【図１９】
2019185730.tif 000030
【図２０】
2019185730.tif 000031
【図２１】
2019185730.tif 000032
【図２２】
2019185730.tif 000033
【図２３】
2019185730.tif 000034
【図２４】
2019185730.tif 000035
【図２５】
2019185730.tif 000036
【図２６】
2019185730.tif 000037