(57)【要約】【課題】角度による色変化と色ムラとをユーザが識別するための情報を提供する。【解決手段】本発明の画像処理装置は、撮像手段の撮影位置を示す撮影位置情報および撮影時の姿勢を示す撮影姿勢情報を取得する第一の取得手段と、前記撮像手段で撮影される被写体の形状および位置を示す被写体情報を取得する第二の取得手段と、前記撮影位置情報、前記撮影姿勢情報、および前記被写体情報に基づいて、前記撮像手段で前記被写体を撮影した画像を示す画像データにおける画素毎に、前記画素それぞれに対応する前記被写体における表面の局所領域における、前記撮像手段に対する撮影角度を導出する角度導出手段と、前記画素それぞれの色情報と基準値との色差に基づいて、所定の撮影角度毎の平均色差および前記撮影角度内の色差変動幅を導出する色差導出手段と、前記平均色差および前記色差変動幅を表示する表示手段とを有する。【選択図】図２
2019197002.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段の撮影位置を示す撮影位置情報および撮影時の姿勢を示す撮影姿勢情報を取得する第一の取得手段と、
前記撮像手段で撮影される被写体の形状および位置を示す被写体情報を取得する第二の取得手段と、
前記撮影位置情報、前記撮影姿勢情報、および前記被写体情報に基づいて、前記撮像手段で前記被写体を撮影した画像を示す画像データにおける画素毎に、前記画素それぞれに対応する前記被写体における表面の局所領域における、前記撮像手段に対する撮影角度を導出する角度導出手段と、
前記画素それぞれの色情報と基準値との色差に基づいて、所定の撮影角度毎の平均色差および前記撮影角度内の色差変動幅を導出する色差導出手段と、
前記平均色差および前記色差変動幅を表示する表示手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記撮影角度は、前記被写体の局所領域と前記撮像手段の視点との線分と、当該被写体の局所領域に対応する法線とのなす角度であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記平均色差は、前記所定の角度内にて、前記色差の最大値および前記色差の最小値から導出されることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記色差変動幅は、前記色差が前記色情報の平均値および前記基準値に基づき導出され、前記撮影角度内にて、前記色差の最大値および前記色差の最小値から導出されることを特徴とする請求項１から３の何れか一項に記載の画像処理装置。
【請求項５】
前記色差導出手段は、受け付けられたユーザからの設定に対応する、前記平均色差および前記色差変動幅を導出する
ことを特徴とする請求項１から４の何れか一項に記載の画像処理装置。
【請求項６】
前記平均色差および前記色差変動幅のそれぞれが判定基準を満たすかを判定する色差判定手段を有し、
前記表示手段は、前記色差判定手段の判定結果を表示することを特徴とする請求項１から５の何れか一項に記載の画像処理装置。
【請求項７】
前記表示手段は、前記平均色差が前記判定基準を満たさないと、色ムラありを表示し、
前記色差変動幅が前記判定基準を満たさないと、角度による色変化ありを表示する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記判定基準は、前記被写体の材質および塗装に応じて設定される
ことを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
第一の取得手段により、撮像手段の撮影位置を示す撮影位置情報および撮影時の姿勢を示す撮影姿勢情報を取得する第一の取得ステップと、
第二の取得手段により、前記撮像手段で撮影される被写体の形状および位置を示す被写体情報を取得する第二の取得ステップと、
角度導出手段により、前記撮影位置情報、前記撮影姿勢情報、および前記被写体情報に基づいて、前記撮像手段で前記被写体を撮影した画像を示す画像データにおける画素毎に、前記画素それぞれに対応する前記被写体における表面の局所領域における、前記撮像手段に対する撮影角度を導出する角度導出ステップと、
色差導出手段により、前記画素それぞれの色情報と基準値との色差に基づいて、所定の角度毎の平均色差および前記撮影角度内の色差変動幅を導出する色差導出ステップと、
表示手段により、前記平均色差および前記色差変動幅を表示する表示ステップとを含むことを特徴とする画像処理方法。
【請求項１０】
コンピュータを、請求項１から８の何れか一項に記載の装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像データの色を変換する技術に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルビデオカメラ等のデジタル撮像装置を用いて対象物を検査する技術が種々開発されている。例えば、特許文献１は、カメラで得た対象物の画像データを解析して輝度を導出し、この輝度を用いて塗装ムラの検査を行う技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２０５８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、塗装ムラだけではなく、検査対象物に存在する、凹面や凸面等の曲面等の形状に起因して輝度が変化することがある。上述の特許文献１の技術では、凹面や凸面等の曲面等の形状に起因する輝度の変化も塗装ムラと判定してしまうことがある。そのため、検査精度が低下する。
【０００５】
以上のことから、本発明は上記課題に鑑み、角度による色変化と色ムラとをユーザが識別するための情報を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決する本発明の一態様の画像処理装置は、撮像手段の撮影位置を示す撮影位置情報および撮影時の姿勢を示す撮影姿勢情報を取得する第一の取得手段と、前記撮像手段で撮影される被写体の形状および位置を示す被写体情報を取得する第二の取得手段と、前記撮影位置情報、前記撮影姿勢情報、および前記被写体情報に基づいて、前記撮像手段で前記被写体を撮影した画像を示す画像データにおける画素毎に、前記画素それぞれに対応する前記被写体における表面の局所領域における、前記撮像手段に対する撮影角度を導出する角度導出手段と、前記画素それぞれの色情報と基準値との色差に基づいて、所定の撮影角度毎の平均色差および前記撮影角度内の色差変動幅を導出する色差導出手段と、前記平均色差および前記色差変動幅を表示する表示手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、角度による色変化と色ムラとをユーザが識別するための情報を提供することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置のハードウェア構成の一例を示す図である。
【図２】画像処理装置のソフトウェア構成を示す機能ブロック図である。
【図３】色差情報表示処理手順例を示すフローチャートである。
【図４】角度情報導出処理手順例を示すフローチャートである。
【図５】角度情報導出処理の説明図である。
【図６】ポリゴン面と法線の関係を表す模式図である。
【図７】撮影時の被写体に対する仰角θと方位角φを説明する模式図である。
【図８】色差情報導出処理手順例を示すフローチャートである。
【図９】表示制御部により提供されるＵＩを示す図である。
【図１０】表示制御部により提供されるＵＩを示す図である。
【図１１】表示制御部により提供されるＵＩを示す図である。
【図１２】角度情報導出処理の説明図である。
【図１３】表示制御部により提供されるＵＩを示す図である。
【図１４】画像処理装置のソフトウェア構成を示す機能ブロック図である。
【図１５】色差情報表示処理手順例を示すフローチャートである。
【図１６】基準色差データの一例を示す図である。
【図１７】表示制御部により提供されるＵＩを示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を必ずしも限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【００１０】
［実施形態１］
本実施形態に係る画像処理装置の概略構成について、図１を参照して説明する。図１は、本実施形態の画像処理装置のハードウェア構成の一例を示すブロック図である。図１に示すように、本実施形態の画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（以下、インターフェースを「Ｉ／Ｆ」と記す。）１０４及びモニタ１０８を備える。また、それらは、メインバス１０９によりデータを送受信可能に相互に接続される。汎用Ｉ／Ｆ１０４はカメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの外部メモリ１０７をメインバス１０９に接続する。
【００１１】
以下では、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。
【００１２】
まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、形状や撮影時の位置等に関する対象物の被写体情報、撮像装置１０５で撮影された画像データ、入力装置１０６からの指示などがＲＡＭ１０２に転送される。なお、撮像装置１０５には、撮像装置１０５の外部パラメータ、すなわち、撮像装置１０５の撮影位置や撮影姿勢などの撮影位置姿勢情報を取得するためのセンサが備えられているものとする。前記センサとして、例えば、ＧＰＳセンサ（位置センサ）、地磁気センサ（方位センサ）などが挙げられる。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されている画像データに対してＣＰＵ１０１からの指令に基づき各種演算が行われる。演算結果はモニタ１０８に表示されたり、ＨＤＤ１０３、外部メモリ１０７に格納されたりする。
【００１３】
上記の構成の画像処理装置１００において、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションにより画像データを解析して色差情報を表示する処理の詳細について説明する。
【００１４】
（画像処理装置の機能構成）
次に、本実施形態の画像処理装置の機能構成について、図２を参照して説明する。図２は、画像処理装置１００のソフトウェア構成を示す機能ブロック図である。本実施形態の画像処理装置１００は、撮影位置姿勢情報取得部（第一の取得部）２０１、形状位置データ取得部（第二の取得部）２０２、角度導出部（受光角導出部）２０３、画像取得部２０４、色差導出部２０５、表示制御部２０６を有する。なお、図２に示す各部の機能は、ＣＰＵ１０１がＨＤＤ１０３内に格納されたプログラムを読み込み実行することで実現される。なお、各部に相当する専用の処理回路を備える画像処理装置を構成するようにしてもよい。
【００１５】
撮影位置姿勢情報取得部２０１は、ＣＰＵ１０１からの指示に基づいて、撮像装置１０５の撮影位置姿勢情報を取得する。撮影位置姿勢情報は、撮像装置１０５の撮影位置を示す撮影位置情報と、撮像装置１０５の撮影時の撮影方向を示す撮影姿勢情報とを含む。
【００１６】
形状位置データ取得部２０２は、ＣＰＵ１０１からの指示に基づいて、撮影対象となる被写体の形状及びその位置等に関する被写体情報を取得する。本実施形態では、被写体情報として取得するデータを形状位置データと呼ぶ。形状位置データは、例えば、多角形（通常は三角形）の頂点座標（ｘ，ｙ，ｚ）を含み、頂点の組み合わせに基づいて決定される面の集合で記述されるポリゴンデータを有する。ポリゴンデータは公知技術で導出された法線情報と対応付けられ、形状位置データはＨＤＤ１０３や外部メモリ１０７等に予め格納される。
【００１７】
角度導出部２０３は、ＣＰＵ１０１からの指示に基づいて、撮影位置姿勢情報取得部２０１で取得した撮影位置姿勢情報と、形状位置データ取得部２０２で取得した形状位置データに基づいて、被写体の各点における受光角を導出する。受光角とは、被写体上を反射した光が撮像装置のセンサ面に受光する方向と光が反射した点における被写体の法線とのなす角であり、詳細については後述する。すなわち、角度導出部２０３は、撮像装置１０５の撮影位置姿勢情報と被写体の形状データに基づいて、ポリゴンデータの各ポリゴン面での受光角を導出する。導出した受光角はＲＡＭ１０２やＨＤＤ１０３等に記憶される（格納される）。
【００１８】
画像取得部２０４は、ＣＰＵ１０１からの指示に基づいて、撮像装置１０５が被写体を撮影した画像を表す画像データを取得する。画像データは、２次元の色情報を有するデータである。色情報は、例えば、ＲＧＢやＸＹＺ、Ｌａｂ値などの任意の形式で良い。本実施形態では、色情報は、デバイス非依存の３刺激値ＸＹＺ値であるとする。また、画像取得部２０４は、ＣＰＵ１０１からの指示に基づいて、画像データの２次元の色情報を色変換する。すなわち、画像取得部２０４は、画像データを取得する機能と、画像データから色情報を取得する機能と、色情報を変換する機能とを有する。
【００１９】
色差導出部２０５は、ＣＰＵ１０１からの指示に基づいて、画像取得部２０４で取得した画像データが有する２次元の色情報と角度導出部２０３で導出した角度（受光角）とに基づいて、被写体における色差情報を導出する。
【００２０】
表示制御部２０６は、ＣＰＵ１０１からの指示に基づいて、色差導出部２０５で導出した色差情報をモニタ１０８に表示する。なお、表示制御部２０６による表示処理の詳細については後述する。
【００２１】
（実施形態１のメイン処理フロー）
以下では、図２で説明した画像処理装置のソフトウェア構成において、画像データの色情報と、被写体情報（形状位置データ）と、撮影位置姿勢情報とに基づいて被写体の色差を導出し、導出結果を表示する処理の詳細について図３を参照して説明する。図３は、画像処理装置１００による色差導出結果表示処理の手順例を示すフローチャートである。なお、以下の各記号のＳは、フローチャートにおけるステップであることを意味する。
【００２２】
Ｓ３０１では、画像取得部２０４は、被写体を撮影して得られる画像データを取得する。画像データは、各画素が撮像装置１０５で撮像することによって得られるデバイス非依存の３刺激値ＸＹＺ値を持つ画像データである。
【００２３】
Ｓ３０２では、画像取得部２０４は、Ｓ３０１にて取得した画像データのＸＹＺ値に対して、ＣＩＥで規定されている色変換式を用いてＬ*ａ*ｂ*に変換する。
【００２４】
Ｓ３０３では、形状位置データ取得部２０２は、ＨＤＤ１０３または外部メモリ１０７に記憶されている被写体の形状位置データを取得する。形状位置データは、各面の法線情報が対応付けられた複数のポリゴン面を有するポリゴンデータと、撮像装置１０５による撮影時の被写体の位置情報とを含むデータである。
【００２５】
Ｓ３０４では、撮影位置姿勢情報取得部２０１は、対象物（被写体）を撮影したときの撮像装置１０５の撮影位置を示す情報とその撮影姿勢を示す情報とを含む撮影位置姿勢情報を取得する。本実施形態では、撮像装置１０５に搭載されたＧＰＳセンサおよび地磁気センサのそれぞれで検出したカメラの撮影位置を示す情報および方向（撮影姿勢）を示す情報を取得するとする。
【００２６】
Ｓ３０５では、角度導出部２０３は、被写体の場所毎の受光角（角度）を導出する。受光角の導出方法の詳細については後述する。
【００２７】
Ｓ３０６では、色差導出部２０５は、Ｓ３０２にて得た色情報とＳ３０５にて導出した受光角の情報とに基づいて、受光角に応じた色差情報を導出する。受光角に応じた色差情報の導出方法の詳細については後述する。
【００２８】
Ｓ３０７では、表示制御部２０６は、Ｓ３０６にて導出した色差情報の結果をモニタ１０８に表示する。
【００２９】
（Ｓ３０５の詳細）
以下では、Ｓ３０５の場所毎の受光角（角度）導出方法の詳細について、図４のフローと図５の模式図を用いて説明する。
【００３０】
まず、図４のフローで導出する角度について図５の模式図を用いて説明する。図５は角度情報導出処理を説明するための模式図であって、被写体、撮像装置の位置関係を２次元で表した模式図である。図５において、符号Ａは撮像装置１０５の視点位置を示し、符号Ｂｉは被写体５０１におけるあるポリゴン面の中心位置を示している。ここで、符号５０２は撮像装置１０５の焦点距離、解像度に応じて設定されるワールド座標系での仮想的なスクリーンを示す。スクリーン５０２は、撮像装置１０５の撮像素子に対する被写体の投影面と言い換えることができる。スクリーン５０２における符号Ｐｉは、撮像素子の画素を示している。なお、符号Ｐｉの添え字ｉは、１以上の整数Ｎであり、画素位置を示す。なお、画素数Ｎは撮像装置１０５の解像度に応じて設定される。また、符号Ｂｉの添え字ｉは、撮像装置１０５の視点位置Ａとあるポリゴン面の中心位置との線分が交わるスクリーン５０２の画素Ｐｉに対応して設定される。また、図５では、撮像装置１０５と被写体５０１が近接した状態で示しているが、実際には十分に離間した状態にあるものとする。また、本実施形態では照明が、被写体から十分に遠い場所から被写体に対して均一に照射しているものとする。なお、本実施形態では、あるポリゴン面の中心位置Ｂを用いる場合について説明するが、ポリゴン面の中心位置に限定されるものではない。ただし各ポリゴン面において共通する位置を用いることが望ましい。
【００３１】
ここで図４のフローチャートを用いて角度導出方法について説明する。図４は、角度情報導出処理手順例を示すフローチャートである。
【００３２】
まず、Ｓ４０１では、角度導出部２０３は、Ｓ３０４で取得した撮影位置姿勢情報（撮像装置１０５の位置および姿勢の情報）に基づいて、視点位置Ａに対して、スクリーン５０２を設定する。すなわち、角度導出部２０３は、仮想的なグローバル座標系空間に、撮像装置１０５の視点位置Ａ、被写体５０１に対応する形状データ、スクリーン５０２を設定する。
【００３３】
次に、Ｓ４０２では、角度導出部２０３は、スクリーン５０２において画素Ｐｉを設定する。なお、画素Ｐｉの添え字ｉは、１からＮの整数であり、撮像装置の解像度などに応じて設定されるとする。
【００３４】
Ｓ４０３では、角度導出部２０３は、撮像装置１０５の視点位置Ａから画素Ｐｉに向かうベクトル方向に被写体５０１に対応するポリゴン面（ポリゴンメッシュ）が存在するか否かを判定する。判定には、一般的にＣＧ分野で使われる、レイ（視線）とポリゴン面の交差判定の一般式である下式（１）が用いられる。
【００３５】
【数１】
2019197002.tif 000003
【００３６】
ここで、Ａは撮像装置１０５の視点位置であり、Ｐｉはスクリーン５０２の１画素の位置であり、Ｂｉは、画素Ｐｉに対応したポリゴン面の中心位置であり、Ｏはポリゴン面の中心位置Ｂｉに対する法線方向の位置である。また、ＡＰｉは撮像装置１０５の視線を示すベクトルであり、ＢｉＯはポリゴン面における中心位置の法線ベクトルである。ｔは、レイとポリゴン面の関係を示すパラメータである。
【００３７】
上記式（１）の各点の位置関係について、図６を用いて説明する。図６は、あるポリゴン面の中心位置と法線方向とを説明するための図である。符号Ｂ１、Ｂ２、Ｂ３は、あるポリゴン面（ポリゴンメッシュ）が三角形状である場合の各頂点を示している。符号Ｂｉは、３つの頂点Ｂ１，Ｂ２，Ｂ３を有するポリゴン面における中心位置を示している。符号Ｏは、ポリゴン面における中心位置Ｂｉに対する法線方向を示している。角度導出部２０３は、式（１）を用いてｔを導出する。そして、ｔが０又は正である場合、ベクトルＡＰｉとベクトルＢｉＯとが一致する、又は交差する位置関係となっており、角度導出部２０３は、ベクトルＡＰｉの方向に被写体５０１のある局所領域に対応したポリゴン面が存在すると判定する。ポリゴン面が存在すると判定した場合には、Ｓ４０５に進む。他方、ｔが負である場合、ベクトルＡＰｉとベクトルＢｉＯとがねじれの位置関係となっており、角度導出部２０３は、ベクトルＡＰｉの方向に被写体５０１のある局所領域に対応したポリゴン面が存在しないと判定する。ポリゴン面が存在しないと判定した場合には、Ｓ４０４に進む。
【００３８】
Ｓ４０４では、角度導出部２０３は、Ｓ４０２で設定した画素Ｐｉに関し、Ｓ４０３でポリゴン面が存在しないと判定したことから、ベクトルＡＰｉの方向に被写体が存在せず、メモリ（ＲＡＭ１０２）にＮＵＬＬを格納する。メモリへ格納した後、Ｓ４０６に進む。
【００３９】
Ｓ４０５では、角度導出部２０３は、Ｓ４０２で設定した画素Ｐｉに関し、ベクトルＡＰｉとベクトルＢＯとのなす角度（受光角度）を導出し、導出した角度をメモリ（ＲＡＭ１０２）に格納する。ここで、ＡＰ＝（ａ１，ａ２，ａ３）、ＢＯ＝（ｂ１，ｂ２，ｂ３）とすると、両ベクトルのなす角θは、下式（２）で表される。
【００４０】
【数２】
2019197002.tif 000004
【００４１】
この角度θが、被写体における表面の、ある局所領域のポリゴン面に対する撮影角度を表す。
【００４２】
また、図５では、２次元で図示し、仰角方向の角度θのみを図示している。ただし、図７に示すように、方位角方向の角度φも光の反射分布に影響を与える角度である。そこで仰角方向の角度θに加えて方位角φも導出することで、角度に対する色差に関し、角度毎の平均色差と角度区間内の色差変動幅とをより詳細に導出することができる。方位角方向の角度φは、上述の（２）式と同様、ＡＰ＝（ａ１，ａ２，ａ３）、ＢＯ＝（ｂ１，ｂ２，ｂ３）とすると、下式（３）で表される。
【００４３】
【数３】
2019197002.tif 000005
【００４４】
なお、本実施形態では、方位角方向の角度の導出を行わず、仰角方向の角度に対する色差に関し、角度毎の平均色差ΔＥmax min,θと角度区間内（撮影角度内）の色差変動幅ΔＥall,θとをそれぞれ導出するものとする。
【００４５】
次に、Ｓ４０６では、角度導出部２０３は、全画素を画素Ｐｉとして設定し、角度導出処理を行ったか否かを判定する。未処理の画素がある場合にはＳ４０２に戻り、角度導出部２０３は、角度導出処理を行った画素以外である他の画素を画素Ｐｉとして設定する。そして、角度導出部２０３は、Ｓ４０２で新たに設定した画素Ｐｉに関し、Ｓ４０３〜Ｓ４０５にて、前回と同様、ベクトルＡＰｉの方向にてポリゴン面の存在の有無の判定、判定結果のメモリへの格納を行う。そして、角度導出部２０３は、全画素に対して、角度導出処理を行ったと判定すると、本処理が終了となる。
【００４６】
（Ｓ３０６の詳細）
以下では、Ｓ３０６の受光角毎の色差情報導出方法の詳細について、図８のフローを用いて説明する。図８は、色差情報導出処理手順例を示すフローチャートである。
【００４７】
まず、Ｓ８０１では、入力装置１０６に対するユーザ指示に応じて角度計算を行う角度区間を設定する。例えば、角度−４５度から４５度まで５度刻みで角度区間を設定した場合は、合計で１８区間の角度区間が設定される。なお、角度刻みは５度に限定されるものではなく、ユーザ指示により任意に設定可能である。また、各角度区間の下限値は角度以上、上限値は角度未満を表すとする。
【００４８】
次に、Ｓ８０２では、色差導出部２０５は、Ｓ３０５にて導出した各画素の角度を該当する角度区間に設定する。本実施形態では、Ｓ３０５にて導出した角度が複数の角度区間のうちどの角度区間に該当するかを判定し、判定結果に応じて該当する角度区間を設定する。例えば、Ｓ３０５で導出した角度が２３度である場合、色差導出部２０５は、２３度が２０度以上２５度未満の角度区間に該当しており、２３度を２０度以上２５度未満の角度区間に設定する。
【００４９】
次に、Ｓ８０３では、色差導出部２０５は、Ｓ８０２で設定した角度区間毎に、Ｌ*ａ*ｂ*の平均値Ｌ*ave,θ、ａ*ave,θ、ｂ*ave,θを導出する。各平均値の導出には、下式（４）、式（５）、式（６）がそれぞれ用いられる。
【００５０】
【数４】
2019197002.tif 000006
【００５１】
【数５】
2019197002.tif 000007
【００５２】
【数６】
2019197002.tif 000008
【００５３】
式（４）〜式（６）にて、Ｌ*、ａ*およびｂ*の添え字「θ」は上述した仰角方向の角度を示している。式（４）のＮは角度区間内にあるＬ*の数量であり、式（５）のＮは角度区間内にあるａ*の数量であり、式（６）のＮは角度区間内にあるｂ*の数量である。また、Ｌ*、ａ*およびｂ*の添え字「ｉ」、「ｊ」は、スクリーンの画素を示している。「ｉ」は、図５にてスクリーン５０２の左右方向の画素位置を示し、「ｊ」は図５にてスクリーン５０２の「ｉ」に対して直行方向の画素位置を示している。
【００５４】
次に、Ｓ８０４では、色差導出部２０５は、任意の基準となるＬａｂ値Ｌ*0ａ*0ｂ*0に対して、全画素のＬi,j,θ、ａi,j,θ、ｂi,j,θとの色差ΔＥi,j,θと、Ｓ８０３で導出したＬ*ave,θ a* ave,θ b* ave,θとの色差ΔＥave,θとを導出する。なお、Ｌ*0ａ*0ｂ*0は、被写体の色情報に応じて設定される数値である。色差ΔＥi,j,θの導出には下式（７）、色差ΔＥave,θの導出には下式（８）が用いられる。
【００５５】
【数７】
2019197002.tif 000009
【００５６】
式（７）にて、ΔＥ、Ｌ*、ａ*、ｂ*の添え字「ｉ」、「ｊ」は、上述の式（４）〜式（６）と同様、それぞれスクリーンの画素を示している。
【００５７】
【数８】
2019197002.tif 000010
【００５８】
次に、Ｓ８０５では、色差導出部２０５は、Ｓ８０４にて式（７）で導出した色差ΔＥi,j,θに対し、所定の角度区間のθ毎に最大値と最小値の色差の変動量である同一角度内色差（以下、角度毎の平均色差ともいう）を導出する。角度毎の平均色差の導出には下式（９）が用いられる。
【００５９】
【数９】
2019197002.tif 000011
【００６０】
さらに、色差導出部２０５は、Ｓ８０４にて式（８）で導出した色差ΔＥave,θに対し、角度区間の変化による色差の変動量である角度変化での色差（以下、角度区間内の色差変動幅ともいう）を導出する。色差変動幅の導出には、下式（１０）が用いられる。
【００６１】
【数１０】
2019197002.tif 000012
【００６２】
ここで、式（９）の導出結果であるΔＥmax min,θは角度による色変化の影響を受けない所定の角度区間内の色差のみを演算対象としており、所定の角度区間内の角度を同一の角度とみなして導出された数値である。そのため、ユーザは、導出したΔＥmax min,θを、塗料の角度変化による影響、すなわち、角度による色変化の影響を受けない色ムラの情報として識別することが可能となる。式（１０）の導出結果であるΔＥall,θは角度区間内の色差を演算対象として導出された数値である。そのため、ユーザは、導出したΔＥall,θを塗料の角度による色変化の情報として識別することが可能となる。なお、本実施形態では仰角θに対して色差を導出したが、方位角φについても計測している場合は、仰角θと方位角φとの組み合わせで色差を導出することも可能である。
【００６３】
（表示制御部２０６が提供するＵＩ例）
表示制御部２０６が、Ｓ３０７にて、モニタ１０８に表示するＵＩの例について、図９〜１１を用いて説明する。図９〜１１はそれぞれ、表示制御部により提供されるＵＩの一例を示す図である。図９〜１１では、色差マップは色差の度合い（大きさ）を示しており、色差マップにて白は色差が最も小さく黒は最も大きく、白から黒へのグラデーションは色差の大きさの漸増を示している。図９は、６つの区間に設定されている場合を示している。
【００６４】
図９に示すように、ＵＩ画面９０１には、角度区間θ１〜θ２，θ２〜θ３，θ３〜θ４，θ４〜θ５，θ５〜θ６，θ６〜θ７のそれぞれに対応して、色差マップ９０２、平均色差９０３、色差変動幅９０４が表示される。平均色差９０３には、例えば、式（９）の導出結果である角度毎の平均色差ΔＥmax min,θが表示される。色差変動幅９０４には、例えば、式（１０）の導出結果である角度区間内の色差変動幅ΔＥall,θが表示される。このように角度毎の平均色差と、角度区間内の色差変動幅とをＵＩ画面に表示することで、角度毎の平均色差に基づいては色ムラを識別し、角度区間内の色差変動幅に基づいては角度による色変化を識別することが可能となる。
【００６５】
また、図１０に示すように、ＵＩ画面１００１に、特定の角度区間に応じた、色差マップ１００２、平均色差１００３、色差変動幅１００４の他に、色差導出結果のグラフ１００５と角度変化による色差変動幅１００６とを表示することも可能である。なお、図１０では、角度区間θ１〜θ２の場合を示している。
【００６６】
図１１に示すように、ＵＩ画面１１０１に、任意の角度を設定可能な、角度区間の下限値１１０２および上限値１１０３を表示することも可能である。この場合、さらに、ＵＩ画面１１０１に、全ての角度区間に対応した色差マップ１１０５と、設定した角度区間に対応した平均色差１１０６および色差変動幅１１０７が表示される表示領域１１０４を表示することも可能である。このように任意の角度区間に対して平均色差１１０６、色差変動幅１１０７を表示することも可能である。また、色差マップ１１０５を設定した角度区間に対応したものを表示することも可能である。
【００６７】
ここで、図５を用いて説明した例と異なり、曲面以外の被写体に対して、計測した例について説明する。図１２は、角度情報導出処理を説明するための模式図であって、被写体、撮像装置の位置関係を２次元で表した模式図である。なお、図１２では、図５と同じものには同一の符号を付記しその説明を省略する。図１２において、符号Ｂは１つの変曲点を持つ平面の板、すなわち２つの平面で構成された被写体１２０１の、一方の平面の中心位置を示している。また、本実施形態では撮像装置１０５と被写体１２０１は十分に離れた状態であるものとする。
【００６８】
この場合、面ＱＲと面ＲＳの２つの面それぞれに対応した撮影角度が角度θとして得られる。この場合の表示制御部２０６により提供されるＵＩの一例を図１３に示す。図１３に示すように、ＵＩ画面１３０１に、２種類の角度区間（角度）のそれぞれに対応する色差マップ１３０２、１３０５、平均色差１３０３、１３０６、色差変動幅１３０４、１３０７を表示することも可能である。また、ＵＩ画面１３０１に、色差導出結果である各角度での色差データのグラフ１３０８を表示することも可能である。このように角度が局所的に変わるような被写体の場合であっても、本実施形態を適用することで、角度が一定の面に対して色差を解析することが可能となる。
【００６９】
以上、本実施形態によれば、撮影位置姿勢情報および形状位置データに基づいて、画像データにおける画素毎に、前記画素それぞれに対応する被写体における表面の局所領域における、撮像装置に対する撮影角度を導出する。そして、画素それぞれの色情報と基準値との色差に基づいて、所定の撮影角度毎の平均色差と撮影角度内の色差変動幅とを導出し、所定の撮影角度毎の平均色差と撮影角度内の色差変動幅とをモニタ１０８に表示する。これにより、ユーザが所定の撮影角度毎の平均色差に基づいては色ムラを識別し、撮影角度内の色差変動幅に基づいては角度による色変化を識別するための情報を提供することが可能となる。
【００７０】
［実施形態２］
実施形態１では、同じ角度区間内の色差である平均色差と、角度変化による色差である色差変動幅を表示する場合について説明した。本実施形態ではさらに、所定の角度区間内の色差および、角度変化による色差を基準色差に基づいて判定するための色差判定手段を持ち、判定結果を表示制御部に表示する画像処理装置について説明する。
【００７１】
（画像処理装置の機能構成）
以下では、本実施形態の画像処理装置の機能構成について、図１４を参照して説明する。図１４は、画像処理装置の機能構成例を示すブロック図である。本実施形態では、実施形態１と同じ機能部には同一の符号を付記しその説明を省略する。本実施形態の画像処理装置１００は、基準色差取得部（判定値取得部）１４０１、色差判定部１４０２をさらに有する。
【００７２】
基準色差取得部１４０１は判定値である基準色差を取得する。色差判定部１４０２は色差導出部２０５で導出した色差と基準色差取得部１４０１で取得した基準色差とを比較し、比較結果を表示制御部２０６に送信する。
【００７３】
（実施形態２のメイン処理フロー）
次に、本実施形態における全体のフローについて図１５を参照して説明する。図１５は、実施形態２の画像処理装置による色差導出結果表示処理の手順例を示すフローチャートである。なお、以下の各記号のＳは、フローチャートにおけるステップであることを意味する。図１５では、図３と同じステップには同一の符号を付記しその説明を適宜省略する。
【００７４】
まず、Ｓ１５０１では、基準色差取得部１４０１は、入力装置１０６にユーザ指示が入力されることに応じて、ＣＰＵ１０１は外部メモリ１０７に記憶されている、色差を判定するための基準値である基準色差データを取得する。本実施形態における基準色差の例を図１６に示す。図１６は基準色差データの一例を示すテーブルである。本実施形態では、図１６に示すように、部材（材質）や塗料ごとに、所定の角度内（同一角度内）に対応する基準色差と、角度変化に対応する基準色差とが設定されているものとする。本実施形態では、図１６のテーブルを予め外部メモリ１０７に保持し、ユーザ指示により部材（材質）および塗料を設定することで、テーブル内の基準色差（判定基準）を取得するものとする。なお、基準色差テーブルは、部材（材質）および塗料（塗装）との関係を示す基準色差テーブルに限定されるものではなく、同一角度内色差や角度変化による色差に影響を及ぼしえる被写体の特性との関係を示す基準色差テーブルとすることが可能である。
【００７５】
ここで、色差が発生する要因について説明する。所定の角度内での色差は塗装ムラの影響を大きく受けており、塗装ムラがあるとその大きさ等に応じて色差も大きくなる。一方、角度変化による色差はそもそも塗料が持つ特性であるが、被写体が生産部品であると、製造誤差により形状が変化し測定時の被写体の角度が変化することで色差が生じる。
【００７６】
次に、実施形態１と同様、Ｓ３０１〜Ｓ３０７の処理を行う。
【００７７】
次に、Ｓ１５０２では、色差判定部１４０２は、Ｓ３０６にて色差導出部２０５で導出した色差（取得色差）とＳ１５０１で取得した基準色差（判定基準）と比較する。得られた比較結果は、表示制御部２０６へ送られる。
【００７８】
次に、Ｓ１５０３では、表示制御部２０６は、Ｓ１５０２で得られた比較結果、すなわち、色差判定部１４０２で判定した比較結果をモニタ１０８に表示する。ここで、表示制御部２０６が、Ｓ１５０３にて、モニタ１０８に表示するＵＩの例について、図１７を用いて説明する。図１７は、表示制御部により提供されるＵＩの一例を示す図である。図１７に示すように、ＵＩ画面１７０１には、図１０と同様、特定の角度区間に応じた、色差マップ１７０２、平均色差１７０３、色差変動幅１７０４と、色差導出結果のグラフ１７０５と、角度変化による色差変動幅１７０６とが表示される。さらに、ＵＩ画面１７０１には、被写体の部材１７１１、被写体の塗料１７１２、基準色差にて同一角度内１７１３および角度変化での色差１７１４が表示される。また、ＵＩ画面１７０１には、計測結果にて同一角度内１７１５および角度変化での色差１７１６と、それぞれの判定結果１７１７、１７１８が表示される。図１７では、判定基準を満たすと判定されると、判定結果１７１７、１７１８にはＯＫが表示され、判定基準を満たさないと判定されると、判定結果１７１７、１７１８にはＮＧが表示される。図１７では、同一角度内に関し、基準色差が２．０であり、計測結果が基準色差より小さい１．４であることから、判定基準を満たし判定結果がＯＫとなる場合を示している。また、角度変化での色差に関し、基準色差が５．０であり、計測結果が基準色差より大きい５．２であることから、判定基準を満たさず判定結果がＮＧとなる場合を示している。なお、判定結果の表示はこれに限定されない。例えばＯＫ、ＮＧの表示の代わりに数値表示の色を変えることで判定結果を報知するようにしてもよい。また、色差マップや計測結果のグラフの領域にＯＫとＮＧを表示するようにしてもよい。また、同一角度内の色差（所定の角度毎の平均色差）に関し、計測結果が判定基準を満たさないと、ＮＧの代わりに色ムラありを表示するようにしてもよい。角度変化での色差（撮影角度内の色差変動幅）に関し、計測結果が判定基準を満たさないと、ＮＧの代わりに角度による色変化ありを表示するようにしてもよい。
【００７９】
本実施形態の色差判定部１４０２による比較結果（判定結果）がモニタ１０８に表示されてユーザによって確認可能となる。その結果、ユーザは、以下のように判断することが可能となる。すなわち、ユーザは、例えば同一角度内での判定がＮＧである場合には塗装ムラの影響を受けたというように、色差の原因が色ムラであると識別することが可能となる。また、角度変化での色差がＮＧである場合には形状の誤差による色ずれの影響を受けたというように、色差の原因が角度による色変化であると識別することが可能となる。
【００８０】
以上、本実施形態によれば、被写体の部材や塗料に応じて予め設定した基準色差を同一角度内と角度変化での色差のそれぞれの計測結果と比較し、この比較結果をモニタ１０８に表示する。そのため、色差の原因が色ムラまたは角度による色変化であるかを、ユーザが容易に識別することが可能となる。
【００８１】
［その他の実施形態］
実施形態１、２では、色変換処理を行って得られた色情報から色差を導出する例を説明したが、色情報をもつ画像データから色差を導出する処理を行うことも可能である。
【００８２】
実施形態１、２では、形状位置データを取得した後に、撮影位置姿勢情報を取得する例を説明したが、撮影位置姿勢情報を取得した後に、形状位置データを取得することも可能である。
【００８３】
実施形態１、２では、画像処理アプリケーションに画像データを入力して処理する例を説明したが、撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する方法であってもかまわない。
【００８４】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2019197002.tif 000013
【図２】
2019197002.tif 000014
【図３】
2019197002.tif 000015
【図４】
2019197002.tif 000016
【図５】
2019197002.tif 000017
【図６】
2019197002.tif 000018
【図７】
2019197002.tif 000019
【図８】
2019197002.tif 000020
【図９】
2019197002.tif 000021
【図１０】
2019197002.tif 000022
【図１１】
2019197002.tif 000023
【図１２】
2019197002.tif 000024
【図１３】
2019197002.tif 000025
【図１４】
2019197002.tif 000026
【図１５】
2019197002.tif 000027
【図１６】
2019197002.tif 000028
【図１７】
2019197002.tif 000029