(57)【要約】      （修正有）【課題】物体の撮像画像を基に得られる反射率のピークが、物体の反射特性に応じた反射率のピークであるか否かを特定するための画像処理を提供する。【解決手段】画像処理装置は、複数のカラー画像それぞれを表す複数のカラー画像データを取得する取得手段と、前記複数のカラー画像においてある画素位置に対応する複数の画素値それぞれを構成する複数種類の色値のうち、少なくとも２つの色値の相関度合いを算出する算出手段と、前記算出された相関度合いに基づいて、前記ある画素位置に対応する複数の画素値に前記物体に光の反射方向に関する特徴が表れているか否かを示す２値情報を生成する生成手段と、を有する。【選択図】図２
2020071218.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置の位置と物体に光を照射する光源の位置とに応じた複数の幾何条件において前記物体を撮像することによって得られる、各画素の色が複数種類の色値によって表現される複数のカラー画像を基に、前記物体の特徴に関する判定を行う画像処理装置であって、
前記複数のカラー画像それぞれを表す複数のカラー画像データを取得する取得手段と、
前記複数のカラー画像においてある画素位置に対応する複数の画素値それぞれを構成する前記複数種類の色値のうち、少なくとも２つの色値の相関度合いを決定する決定手段と、
前記決定された相関度合いに基づいて、前記ある画素位置に対応する複数の画素値に前記物体の光の反射方向に関する特徴が表れているか否かを判定する判定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記判定手段は、前記幾何条件に応じた前記複数の画素値の変化におけるピークが、前記物体の反射特性に応じた反射率のピークであるか、又は、前記カラー画像に含まれるノイズによるピークであるかを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記少なくとも２つの色値の相関係数を決定し、
前記判定手段は、前記決定された相関係数に基づいて判定を行うことを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記複数種類の色値は、Ｒ値と、Ｇ値と、Ｂ値と、であることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
前記決定手段は、Ｒ値とＧ値、Ｇ値とＢ値、Ｂ値とＲ値の少なくとも１つの相関係数を決定することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記決定手段は、前記カラー画像における画素値の平均値に基づいて、Ｒ値とＧ値、Ｇ値とＢ値、Ｂ値とＲ値のいずれか１つの相関係数を決定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記判定手段は、Ｒ値とＧ値、Ｇ値とＢ値、Ｂ値とＲ値の少なくとも１つの相関係数が所定の閾値より大きい場合に、前記幾何条件に応じた前記複数の画素値の変化におけるピークが前記物体の反射特性に応じた反射率のピークであると特定することを特徴とする請求項５又は請求項６に記載の画像処理装置。
【請求項８】
前記相関係数は、ピアソンの積率相関係数であることを特徴とする請求項５乃至請求項７のいずれか一項に記載の画像処理装置。
【請求項９】
前記相関係数は、スピアマンの順位相関係数であることを特徴とする請求項５乃至請求項７のいずれか一項に記載の画像処理装置。
【請求項１０】
前記相関係数は、ケンドールの順位相関係数であることを特徴とする請求項５乃至請求項７のいずれか一項に記載の画像処理装置。
【請求項１１】
前記判定手段は、前記幾何条件に応じた前記複数種類の色値それぞれの変化に関数を近似させることによって、色値のピークに対応する幾何条件を算出し、前記色値のピークに対応する幾何条件に基づいて、前記ある画素位置に対応する複数の画素値に前記物体の光の反射方向に関する特徴が表れているか否かを判定することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項１２】
前記判定手段は、前記複数種類の色値それぞれのピークに対応する幾何条件の差が所定の閾値より小さい場合に、前記複数の画素値に前記物体の光の反射方向に関する特徴が表れていると判定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記判定手段は、前記複数の画素値それぞれが所定の閾値より大きいか否かを判定し、前記複数種類の色値のうち２つ以上の色値が前記所定の閾値より大きい画素が多い場合に、前記幾何条件に応じた前記複数の画素値の変化におけるピークが前記物体の反射特性に応じた反射率のピークであると判定することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項１４】
前記複数のカラー画像データと、各カラー画像データに対応する撮像時の幾何条件に関する情報と、に基づいて、前記物体の反射特性を推定する推定手段をさらに有することを特徴とする請求項１乃至請求項１３のいずれか一項に記載の画像処理装置。
【請求項１５】
前記推定手段は、前記判定手段の判定結果に基づいて、前記反射特性を推定するために用いる反射モデルを選択することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記推定手段は、前記判定手段の判定結果に基づいて、注目画素の反射特性を推定する際に参照する近傍画素を選択することを特徴とする請求項１４又は請求項１５に記載の画像処理装置。
【請求項１７】
前記物体の光の反射方向に関する特徴は、前記物体に含まれるフレークにおける反射の特徴であることを特徴とする請求項１乃至請求項１６のいずれか一項に記載の画像処理装置。
【請求項１８】
前記物体の光の反射方向に関する特徴は、前記物体の表面凹凸に応じた反射の特徴であることを特徴とする請求項１乃至請求項１６のいずれか一項に記載の画像処理装置。
【請求項１９】
コンピュータを請求項１乃至請求項１８のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項２０】
撮像の位置と物体に光を照射する光源の位置とに応じた複数の幾何条件において前記物体を撮像することによって得られる、各画素の色が複数種類の色値によって表現される複数のカラー画像を基に、前記物体の特徴に関する判定を行う画像処理方法であって、
前記複数のカラー画像それぞれを表す複数のカラー画像データを取得する取得ステップと、
前記複数のカラー画像においてある画素位置に対応する複数の画素値それぞれを構成する前記複数種類の色値のうち、少なくとも２つの色値の相関度合いを決定する決定ステップと、
前記決定された相関度合いに基づいて、前記ある画素位置に対応する複数の画素値に前記物体の光の反射方向に関する特徴が表れているか否かを判定する判定ステップと、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の反射特性を取得するための画像処理技術に関する。
【背景技術】
【０００２】
物体の素材や塗装の質感を表現するために、物体に対して光源が照射する光の方向と物体を観察する方向とに応じて反射率が異なる反射特性を測定する技術が知られている。特許文献１は、撮像装置を用いて物体の反射特性を測定する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２１１３２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のように、撮像装置を用いて物体の反射特性を測定する場合、撮像画像には撮像素子に応じたノイズが含まれる。このため、撮像画像を基に得られる反射特性における反射率のピークが、ノイズによるピークであるか、又は、物体の反射特性に応じた反射率のピークであるかを特定できないという課題があった。
【０００５】
本発明は上記の課題を鑑みてなされたものであり、物体の撮像画像を基に得られる反射率のピークが、物体の反射特性に応じた反射率のピークであるか否かを特定するための画像処理を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る画像処理装置は、撮像装置の位置と物体に光を照射する光源の位置とに応じた複数の幾何条件において前記物体を撮像することによって得られる、各画素の色が複数種類の色値によって表現される複数のカラー画像を基に、前記物体の特徴に関する判定を行う画像処理装置であって、前記複数のカラー画像それぞれを表す複数のカラー画像データを取得する取得手段と、前記複数のカラー画像においてある画素位置に対応する複数の画素値それぞれを構成する前記複数種類の色値のうち、少なくとも２つの色値の相関度合いを決定する決定手段と、前記決定された相関度合いに基づいて、前記ある画素位置に対応する複数の画素値に前記物体の光の反射方向に関する特徴が表れているか否かを判定する判定手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、物体の撮像画像を基に得られる反射率のピークが、物体の反射特性に応じた反射率のピークであるか否かを特定することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置のハードウェア構成を示すブロック図
【図２】画像処理装置の機能構成を示すブロック図
【図３】画像処理装置の処理を示すフローチャート
【図４】撮像画像の例を示す模式図
【図５】幾何変換された撮像画像の例を示す模式図
【図６】幾何条件と画素値との関係を示す図
【図７】幾何条件とＲ値、Ｇ値、Ｂ値との関係を示す図
【図８】メタリック塗装の断面を示す模式図
【図９】画素値における色間の相関関係を説明するための図
【図１０】画像処理装置の機能構成を示すブロック図
【図１１】画像処理装置の処理を示すフローチャート
【図１２】反射特性の例を示す図
【図１３】属性値マップの例を示す模式図
【図１４】画像処理装置の処理を示すフローチャート
【図１５】反射特性における色間の相関関係を説明するための図
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１０】
［第１実施形態］
＜画像処理装置１のハードウェア構成＞
図１は、画像処理装置１のハードウェア構成を示すブロック図である。画像処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、画像処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インターフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインターフェースカード）１０７を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１１３などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１１３などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、ディスプレイ１１５が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスやキーボードなどの入力デバイス１１０や撮像装置１１１が接続される。ＳＡＴＡＩ／Ｆ１０６には、シリアルバス１１２を介して、ＨＤＤ１１３や各種記録メディアの読み書きを行う汎用ドライブ１１４が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１１３や汎用ドライブ１１４にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインターフェース）をディスプレイ１１５に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。
【００１１】
＜画像処理装置１の機能構成＞
図２（ａ）は、画像処理装置１の機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２又はＨＤＤ１１３に格納されたプログラムを読み出して実行することによって、図２（ａ）に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。
【００１２】
画像処理装置１は、撮像画像データ取得部２０１と、幾何変換部２０２と、属性判定部２０３と、を有する。撮像画像データ取得部２０１は、測定対象の物体を複数の幾何条件において撮像することによって得られた複数の撮像画像データと、各撮像画像データに対応する撮像時の幾何条件に関する情報と、をＨＤＤ１１３等の記憶装置から取得する。尚、本実施形態における撮像装置１１１は、物体に対して仰角４５°の方向に配置された光源から物体に対して光が照射された条件において、物体を撮像する方向を変化させながら撮像を行うこととする。また、幾何条件に関する情報は、物体の表面の法線に対する光の入射角と、物体の表面の法線に対する撮像装置１１１の受光角と、を表す情報である。幾何変換部２０２は、撮像画像データ取得部２０１が取得した複数の撮像画像データが表す各画像に対して、画像間で同じ領域を対応付けるための幾何変換処理を行う。
【００１３】
属性判定部２０３は、幾何変換された画像の画素ごとに、変換画像データを基に算出される反射特性が物体の反射特性に応じた反射率のピークを有するか否かを判定する。図２（ｂ）は、属性判定部２０３の構成を示すブロック図である。属性判定部２０３は、変換画像データ取得部２０３１と、算出部２０３２と、生成部２０３３と、を有する。変換画像データ取得部２０３１は、幾何変換された画像を表す変換画像データを取得する。算出部２０３２は、幾何変換された画像の各画素について、画素が画素値として有する複数の色値の互いの相関度合いを表す相関係数を算出する。生成部２０３３は、変換画像データが表す画像の各画素において、変換画像データを基に算出される反射特性が物体の反射特性に応じた反射率のピークを有するか否かを表す二値情報を各画素に有する属性値マップを生成する。生成した属性値マップをＨＤＤ１１３等の記憶装置に出力する。
【００１４】
＜画像処理装置１の処理の流れ＞
図３（ａ）は、画像処理装置１が実行する処理を示すフローチャートである。以下、図３（ａ）を参照して画像処理装置１の処理の詳細を説明する。図３（ａ）のフローチャートが示す処理は、ユーザによって入力デバイス１１０を介して指示が入力され、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。
【００１５】
Ｓ３０１において、撮像画像データ取得部２０１は、測定対象の物体を複数の幾何条件において撮像することによって得られた複数の撮像画像データと、各撮像画像データに対応する撮像時の幾何条件に関する情報と、を取得する。撮像画像データは、各画素にＲ（レッド）値、Ｇ（グリーン）値、Ｂ（ブルー）値が記録されたカラー画像を表すカラー画像データである。撮像画像データ取得部２０１は、予めＨＤＤ１１３等の記憶装置に保持された複数の撮像画像データ及び幾何条件に関する情報を取得する。
【００１６】
Ｓ３０２において、幾何変換部２０２は、複数の撮像画像データが表す各画像に対して、幾何変換処理を行う。図４は、撮像画像データ取得部２０１が取得した複数の撮像画像データが表す画像の例を示す。図４に示す３つの画像は、測定対象の物体４０１に対する光の入射角を固定し、撮像装置１１１の受光角を変化させながら物体４０１を撮像して得られた画像である。図４（ａ）は、物体に正対する位置（仰角９０°）から撮像して得られた画像である。図４（ｂ）は、物体の表面の法線に対して少し傾いた位置（仰角４５°）から撮像して得られた画像である。図４（ｃ）は、物体の表面の法線に対してさらに傾いた位置（仰角２０°）から撮像して得られた画像である。図４（ａ）、図４（ｂ）、図４（ｃ）において、実線のマスは画像上の位置を示すためのマスであり、各マスは複数の画素から成る。また、物体４０１上の点線で区切られたエリアが物体の表面上の位置を示している。図４（ｂ）及び図４（ｃ）のように、物体の表面の法線に対して傾いた位置からの撮像により得られた画像は、傾きが大きいほど画像における物体の変形の度合いが大きい。このため、物体の表面上の位置と画像の画素位置との対応関係が、物体に正対する位置から撮像して得られた画像と正対していない位置から撮像して得られた画像とで異なってしまう。そこで、Ｓ３０２における幾何変換部２０２は、物体の表面上の位置を同一の画素位置に対応させるために、傾いた位置から撮像して得られた画像に対して、正対した位置から撮像して得られた画像を基準に幾何変換を行う。本実施形態においては、画像の特徴量に基づいた公知のアフィン変換により画像の幾何変換を行う。この幾何変換処理により、幾何条件が異なる画像間で物体の表面上の位置を同じ画素位置に対応付けることができる。幾何変換された撮像画像を変換画像とし、変換画像を表すデータを変換画像データとする。
【００１７】
Ｓ３０３において、属性判定部２０３は、幾何変換された画像の画素ごとに、物体の反射特性に応じた反射率のピークを有するか否かを判定する。まず、ピークの判定方法の概要について説明する。図５に幾何変換された撮像画像の例を示す。図５に示す画像は、上述したように幾何変換されているため、物体上の位置が同じ画素位置に対応している。尚、本実施形態においては複数の幾何条件において物体を撮像するが、ここでは画素位置を示すために複数の画像のうち１つの画像の例を示す。また、各画像における各画素には、それぞれの撮像時の幾何条件に応じて、物体上の位置がどの幾何条件において撮像されたかを示す情報が対応付けられている。図５（ａ）は、画像にノイズを生じさせない理想的な撮像装置が測定対象の物体を撮像する場合に得られる画像を模式的に示している。図５（ｂ）は、画像にノイズを生じさせる撮像装置が測定対象の物体を撮像する場合に得られる画像を模式的に示している。図５（ａ）の画像と図５（ｂ）の画像とは同じ幾何条件における撮像により得られた画像である。図６は、図５における座標（ｘ１，ｙ１）及び座標（ｘ２，ｙ２）それぞれにおける幾何条件と画素値との関係を示すグラフである。本実施形態における撮像は、入射角を固定とし、受光角を変化させる条件における撮像であるため、グラフの横軸は受光角とする。図６においては、物体の反射特性を推定するため、複数の画像における同じ画素位置の画素値が受光角ごとにプロットされている。図６に示す幾何条件に応じた画素値の変化に基づいて、物体上のある位置における反射特性が推定される。図６における画素値はＲ値である。図６において、黒く塗りつぶされた棒グラフはノイズを含まない理想的な画素値であり、点線の棒グラフは画素値に含まれるノイズ成分を示している。また、図６（ａ）及び図６（ｃ）における折れ線グラフは、ノイズを生じさせない理想的な撮像装置を用いた撮像によって得られると想定される画素値の変化を示している。また、図６（ｂ）及び図６（ｄ）における折れ線グラフは、ノイズを生じさせる撮像装置を用いた撮像によって得られる画素値の変化を示している。図６（ａ）と図６（ｂ）とを比較すると、同じ受光角でも黒く塗りつぶされた棒グラフが示す画素値が異なる場合がある。これは撮像装置が有するセンサの感度に応じて理想的な画素値が十分に得られない結果、図６（ｂ）のグラフにおいてノイズを含まない画素値であっても、図６（ａ）のグラフにおける同じ受光角の理想的な画素値よりも小さい画素値となってしまう。また、十分に理想的な画素値が得られた場合であっても、ノイズが付加されることによって、図６（ａ）と図６（ｂ）とにおける同じ受光角において異なる画素値となる場合がある。
【００１８】
図６（ａ）は、図５（ａ）に示す場合のようなノイズを生じさせない理想的な撮像装置のみを用いた撮像による複数の画像を用いて、座標（ｘ１，ｙ１）における受光角に応じた画素値の変化を導出した結果を示している。座標（ｘ１、ｙ１）に対応する物体の位置においては、幾何条件に応じて反射率が変化し、鏡面反射の条件において反射率が高くなる特性を有する。このような反射特性を有する位置においては、同じ画素位置の画素群に基づいて反射特性を算出すると、理想的には、図６（ａ）に示す通り、１つのピークを有する結果が得られる。また、図６（ｃ）は、図５（ａ）の画像の座標（ｘ２，ｙ２）における受光角に応じた画素値の変化を示している。座標（ｘ２、ｙ２）に対応する物体の位置においては、幾何条件が変化しても反射率があまり変化しない反射特性を有する。このような反射特性を有する位置においては、同じ画素位置の画素群に基づいて反射特性を算出すると、理想的には、図６（ｃ）に示す通り、画素値はほとんど平坦な変化を示す。
【００１９】
一方、図６（ｂ）は、図５（ｂ）に示す場合のような画像にノイズを生じさせる撮像装置のみを用いた撮像による複数の画像を用いて、座標（ｘ１，ｙ１）における受光角に応じた画素値の変化を導出した結果を示している。画像にノイズが生じている場合は、物体自体の反射特性によるピークの他にも、画素値が大きい幾何条件がある。また、図６（ｄ）は、図５（ｂ）の画像の座標（ｘ２，ｙ２）における受光角に応じた画素値の変化を示している。本来画素値にピークが生じないはずであるにも関わらず、ノイズの影響により、画素値が大きくなりピークが出現してしまっている。このように、図６（ｂ）及び図６（ｄ）においては、画素値に複数のピークが表れるが、物体の反射特性に応じたピークは１つである。つまり、物体の反射特性を高精度に得るためには、画素値に表れる複数のピークのうち反射特性に応じたピークを特定する必要がある。しかしながら、これらのピークが物体の反射特性に応じたピークであるか、又は、ノイズであるかを特定することは困難である。
【００２０】
図７は、図５（ｂ）における座標（ｘ１，ｙ１）及び座標（ｘ２，ｙ２）それぞれにおける幾何条件と画素値としての各色値（Ｒ値、Ｇ値、Ｂ値）との関係を示すグラフである。図７（ａ）、図７（ｂ）、図７（ｃ）はそれぞれ、図５（ｂ）の画像の座標（ｘ１，ｙ１）における受光角に応じたＲ値、Ｇ値、Ｂ値の変化を示している。図７（ｄ）、図７（ｅ）、図７（ｆ）はそれぞれ、図５（ｂ）の画像の座標（ｘ２，ｙ２）における受光角に応じたＲ値、Ｇ値、Ｂ値の変化を示している。図７（ａ）におけるＲ値、図７（ｂ）におけるＧ値、図７（ｃ）におけるＢ値にはそれぞれノイズが含まれている。一方で、図７（ａ）、図７（ｂ）、図７（ｃ）においては、ノイズを含まない画素値のピーク、つまり物体の反射特性に応じたピークが生じる角度においてはいずれも画素値が大きい。また、ノイズを含まない画素値のピークではない角度においては、ある色のグラフにおいて画素値が大きい角度であっても他の色のグラフにおいては必ずしも画素値が大きくないことがわかる。その理由を図８を参照して説明する。図８は、メタリック塗装の断面を示す模式図である。図８における塗装は、基材１００３上にクリア層１００１及び着色層１００２を有する。フレーク１００４はアルミなどの金属フレークを示している。金属調を表現するためのメタリック塗装の表面は、反射率が高いフレーク１００４が含まれる位置において、鏡面反射の条件の場合に高い反射率のピークを有する反射特性となる。一方で、フレーク１００４が含まれない位置においては、鏡面反射の条件の場合であってもフレーク１００４が含まれる位置ほど高い反射率のピークにはならない。上述した座標（ｘ１，ｙ１）及び座標（ｘ２，ｙ２）は、それぞれフレーク１００４が含まれる位置とフレーク１００４が含まれない位置とを示している。フレーク１００４における反射光は、光が入射及び反射する過程において、着色層１００２により一部の波長の色が吸収され、着色層１００２と同じ色に色付く。例えば、紫色の着色層を有するメタリック塗装においては、Ｒ値とＢ値とで反射率のピークを有する。つまり、Ｒ，Ｇ，Ｂのうち２つ以上の色が混色した色である物体について、異なる色の間で反射率のピークが生じる角度が同じ場合、そのピークは物体の反射特性に応じたピークであり、それ以外の場合のピークはノイズである可能性が高い。デジタルカメラなどの撮像装置においては読み出しノイズが素子単位で発生するため、画像に対するディベイヤー処理後に同一画素となるＲ値，Ｇ値，Ｂ値において同時にノイズが発生する可能性は低い。このため、画像に色間の相関が小さいランダムノイズが生じると考えられる。本実施形態においては、この原理を利用し、画素値における色間の相関の度合いに基づいて、ピークの属性を判定する。
【００２１】
図３（ｂ）は、属性判定部２０３が実行する処理を示すフローチャートである。以下、図３（ｂ）を参照して属性判定部２０３の処理の詳細を説明する。
【００２２】
Ｓ３０３１において、変換画像データ取得部２０３１は、複数の変換画像データと、各変換画像データに対応する撮像時の幾何条件に関する情報と、を取得する。Ｓ３０３２において、算出部２０３２は、幾何変換された撮像画像の各画素位置において、異なる幾何条件において得られた複数の画素値を用いて、色間の相関の度合いを表す相関情報を算出する。ここで、色間の相関は、Ｒ値とＧ値との相関、Ｇ値とＢ値との相関、Ｂ値とＲ値との相関の少なくとも１つを指す。本実施形態においては、相関の度合いを表す値として相関係数が決定される。図９は、Ｒ値、Ｇ値、Ｂ値の相関を示すための散布図である。図９（ａ）、図９（ｂ）、図９（ｃ）はそれぞれ、図５（ｂ）の座標（ｘ１，ｙ１）におけるＲ値とＧ値との関係、Ｇ値とＢ値との関係、Ｂ値とＲ値との関係を示す散布図である。図９（ｄ）、図９（ｅ）、図９（ｆ）はそれぞれ、図５（ｂ）の座標（ｘ２，ｙ２）におけるＲ値とＧ値との関係、Ｇ値とＢ値との関係、Ｂ値とＲ値との関係を示す散布図である。図９においてプロットされた点は、同じ画素位置において複数の幾何条件における撮像により得られた２つの色値の関係を示している。グラフにおける直線は、プロットされた各点に対する近似直線である。高い反射率のピークを有する座標（ｘ１，ｙ１）においては、高い反射率のピークを有しない座標（ｘ２，ｙ２）と比べて色間の相関が高いことがわかる。相関係数の算出には、公知のピアソンの確率相関係数を用いる。相関を算出する色の画素値をそれぞれａｉ、ｂｉ（ｉは画素の識別番号）とした場合、相関係数ｒは式（１）により算出する。
【００２３】
【数１】
2020071218.tif 000003
【００２４】
ここで、ａａｖｅ、ｂａｖｅはそれぞれ、画像における各色、Ｒ，Ｇ，Ｂのうちいずれか２つの色の画素値の平均値である。尚、画素の識別番号については、例えば座標（ｘ１，ｙ１）の相関係数を算出するために用いる幾何変換された撮像画像の数が１０である場合、各撮像画像の座標（ｘ１，ｙ１）の画素にはそれぞれ１〜１０の番号が付けられる。
【００２５】
Ｓ３０３３において、生成部２０３３は、相関情報が表す相関係数に基づいて、画像の各画素位置において、物体の反射特性に応じた反射率のピークを有するか否かを判定し、判定結果を属性値として有する属性値マップを生成する。属性値マップは。各画素に１又は０の画素値を有する二値データである。１は物体の反射特性に応じた反射率のピークを有することを示し、０は物体の反射特性に応じた反射率のピークを有しないことを示す。生成部２０３３は、色間の相関係数３つが所定の閾値より大きいか否かを判定し、少なくとも１つの相関係数が閾値より大きい場合に、属性値マップの画素値を１とする。全ての相関係数が閾値以下である場合に、属性値マップの画素値を０とする。生成部２０３３は、生成した属性値マップをＨＤＤ１１３等の記憶装置に出力する。
【００２６】
＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、複数のカラー画像それぞれを表す複数のカラー画像データを取得する。複数のカラー画像においてある画素位置に対応する複数の画素値それぞれを構成する複数種類の色値のうち、少なくとも２つの色値の相関度合いを決定する。決定した相関度合いに基づいて、該画素位置に対応する複数の画素値に物体の光の反射方向に関する特徴が表れているか否かを判定する。これにより、物体の撮像画像を基に得られる反射率のピークが、物体の反射特性に応じた反射率のピークであるか否かを特定することができる。例えば、金属フレークが含まれる反射率が高い塗装面を測定対象の物体とした場合、金属フレークに起因する反射率のピークとそれ以外の領域の反射率との差が小さい。これにより、金属フレークに起因する反射率のピークがノイズに埋もれてしまうため、単純に画像の画素値と閾値とを比較しても高精度にピークの属性を判定することは難しい。本実施形態の方法によれば、金属フレークが含まれる反射率が高い塗装面を測定対象の物体とした場合であっても、色値の相関度合いと閾値とを比較しているため、ピークの判定をより高精度に行うことができる。これは、低反射率の領域に低反射率のフレークが含まれる場合なども同様である。
【００２７】
［第２実施形態］
第１実施形態においては、画素値における色間の相関係数に基づいて、撮像画像に表れる反射率のピークが、物体の反射特性に応じた反射率のピークであるか否かを特定した。本実施形態においては、第１実施形態によって得られた属性値マップに基づいて、物体の反射特性の２次元分布を算出する。尚、本実施形態における画像処理装置のハードウェア構成は第１実施形態のものと同様であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、同一の構成については、同じ符号を付して説明する。
【００２８】
＜画像処理装置１の機能構成＞
図１０は、画像処理装置１の機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２又はＨＤＤ１１３に格納されたプログラムを読み出して実行することによって、図１０に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。
【００２９】
画像処理装置１は、撮像画像データ取得部２０１と、幾何変換部２０２と、属性判定部２０３と、反射特性推定用データ取得部１１０１と、推定部１１０２と、出力部１１０３と、を有する。反射特性推定用データ取得部１１０１は、複数の変換画像データと、各変換画像データに対応する撮像時の幾何条件に関する情報と、属性値マップと、を反射特性推定用データとして取得する。推定部１１０２は、反射特性推定用データに基づいて、物体の反射特性の２次元分布を推定する。出力部１１０３は、推定部によって推定された反射特性を表す反射特性データをＨＤＤ１１３等の記憶装置に出力する。
【００３０】
＜画像処理装置１の処理の流れ＞
図１１は、画像処理装置１が実行する処理を示すフローチャートである。以下、図１１を参照して画像処理装置１の処理の詳細を説明する。図１１のフローチャートが示す処理は、ユーザによって入力デバイス１１０を介して指示が入力され、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。
【００３１】
Ｓ３０１乃至Ｓ３０３の処理は、第１実施形態と同じであるため説明を省略する。Ｓ１２０１において、反射特性推定用データ取得部１１０１は、属性判定部２０３から反射特性推定用データを取得する。反射特性推定用データは、上述したように、複数の変換画像データと、各変換画像データに対応する撮像時の幾何条件に関する情報と、属性値マップと、である。
【００３２】
Ｓ１２０２において、推定部１１０２は、反射特性推定用データに基づいて、物体の反射特性の２次元分布を推定する。図１２（ａ）、図１２（ｂ）それぞれに、第１実施形態における図５（ｂ）の座標（ｘ１，ｙ１）、座標（ｘ２，ｙ２）において推定される反射特性を示す。画素値１３０１は座標（ｘ１，ｙ１）における画素値、画素値１３０２は座標（ｘ２，ｙ２）における画素値である。また、反射特性１３０３は座標（ｘ１，ｙ１）の画素値１３０１及び属性値に基づいて推定された変角反射特性、反射特性１３０４は座標（ｘ２，ｙ２）の画素値１３０２及び属性値に基づいて推定された反射特性である。推定部１１０２は、座標（ｘ１，ｙ１）について、属性値が１であることに基づいて、ピークを有する反射モデルで近似することにより、反射特性を推定する。ピークを有する反射モデルとしては、例えば、公知のガウス関数によって表される反射モデルや、Ｐｈｏｎｇモデル、Ｔｏｒｒａｎｓ−Ｓｐａｒｒｏｗモデルなどを用いることができる。推定部１１０２は、座標（ｘ２，ｙ２）について、属性値が０であることに基づいて、ピークを有しない反射モデルや単調増加関数又は単調減少関数で近似することにより、反射特性を推定する。ピークを有しない反射モデルとしては、例えば、公知のＯｒｅｎ−Ｎａｙｅｒモデルなどを用いることができる。このように、推定部１１０２は、属性値に応じた反射モデルを用いて、各画素の反射特性を推定する。さらに、推定部１１０２は、推定した反射特性を表すパラメータを各画素に有する反射特性データを生成する。
【００３３】
Ｓ１２０３において、出力部１１０３は、生成部１１０２によって生成された反射特性データをＨＤＤ１１３等の記憶装置に出力する。
【００３４】
＜第２実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、物体を含む撮像画像を基に得られた反射率のピークが、物体の反射特性に応じた反射率のピークであるか否かを特定する情報に基づいて、物体の反射特性の２次元分布を推定する。これにより、各画素位置において適した反射モデルを用いて反射特性の推定を行うことができるため、高精度に反射特性を推定することができる。
【００３５】
［変形例］
上述した実施形態においては、物体に対する光の入射角を固定し、撮像装置１１１の受光角を変化させながら撮像して得られた画像を用いたが、撮像の条件は上記一例に限定されない。例えば、撮像装置１１１の受光角を固定し、物体に対する光の入射角を変化させながら撮像してもよいし、入射角と受光角との両方を変化させながら撮像してもよい。
【００３６】
また、上述した実施形態においては、撮像画像データを取得し、取得した撮像画像データが表す撮像画像を幾何変換したが、予め撮像画像を幾何変換して得られた変換画像データを直接取得してもよい。
【００３７】
また、上述した実施形態においては、画素ごとにピークの属性を判定し、反射特性を推定したが、処理は画素ごとでなくてもよい。例えば、複数の画素から成る領域（画素群）ごとに処理を行ってもよい。
【００３８】
また、上述した実施形態においては、公知のアフィン変換により幾何変換処理を行ったが、幾何変換処理は上記一例に限定されない。例えば、上述した幾何条件に関する情報に基づいて、幾何学的な変形処理を行ってもよい。
【００３９】
また、上述した形態においては、反射率のピークに関する属性として、物体の反射特性に応じた反射率のピークを有するか否かを判定する際に、画素値において色間の相関係数を算出した。しかし、画素値における色間の相関の度合いを表す情報が相関係数でなくてもよい。例えば、撮像画像データが表す画像の各画素位置の画素値に対して、所定の閾値より大きいか否かを判定し、異なる色間で閾値より画素値が大きい画素の一致した数が多い場合に、その画素位置の属性値を１とする。
【００４０】
また、上述した実施形態においては、Ｒ値とＧ値との相関係数、Ｇ値とＢ値との相関係数、Ｂ値とＲ値との相関係数を算出したが、３つの相関係数全てを算出しなくてもよい。例えば、画像の平均的な色を画素値に基づいて算出し、Ｒ、Ｇ、Ｂのうち算出した平均的な色に近い２色の相関係数のみを算出するようにしてもよい。例えば、物体の色が紫色である場合はＲ値とＢ値との相関係数に基づいて属性値を判定する。
【００４１】
また、上述した実施形態においては、相関係数をピアソンの積率相関係数としたが、相関係数の算出方法は上記一例に限定されない。例えば、公知のスピアマンの順位相関係数やケンドールの順位相関係数などであってもよい。
【００４２】
また、上述した実施形態における幾何変換部２０２は、撮像画像データ取得部２０１が取得した複数の撮像画像データが表す各画像に対して、画像間で同じ領域を対応付けるための幾何変換処理を行った。しかし、画像処理装置１は撮像画像データ取得部２０１と幾何変換部２０２の代わりに、予め生成された変換画像データを取得する変換画像データ取得部を有していてもよい。この場合、変換画像データ取得部は、予め撮像画像に対して幾何変換処理が行われ、画像間で物体上の各位置が同じ画素位置に対応付けられた複数の変換画像それぞれを表す複数の変換画像データをＨＤＤ１１３等の記憶装置から取得する。また、画像間で物体上の各位置が同じ画素位置に対応付けられるのであれば、幾何変換処理を行わなくてもよい。例えば、画像の特徴量を算出し、特徴量に基づいて物体上の各位置と画素位置との対応付けを行ってもよい。この場合、相関係数を算出する処理において、複数の撮像画像データとは別に、画素の対応関係を表す情報が用いられる。
【００４３】
また、上述した実施形態においては、色間の相関係数に基づいて、画像の各画素位置において、物体の反射特性に応じた反射率のピークを有するか否かを判定したが、相関係数を用いずにピークに対する判定を行ってもよい。例えば、属性値を決定する前に同一画素位置に対応する複数のＲ値、複数のＧ値，複数のＢ値それぞれに反射モデルを近似させ、反射率のピークが生じる角度（以下、ピーク角度と呼ぶ）を特定する。Ｒ値，Ｇ値，Ｂ値それぞれに対応するピーク角度の差のうち少なくとも１つが予め設定された所定の角度より小さければ、属性値を１とする。図１４は、属性判定部２０３が実行する処理を示すフローチャートである。以下、図１４を参照して属性判定部２０３の処理の詳細を説明する。
【００４４】
Ｓ１５０１において、変換画像データ取得部２０３１は、複数の変換画像データと、各変換画像データに対応する撮像時の幾何条件に関する情報と、を取得する。Ｓ１５０２において、算出部２０３２は、幾何変換された撮像画像の各画素位置において、異なる幾何条件において得られた複数の画素値を用いて、Ｒ，Ｇ，Ｂ各色のピーク角度を算出する。図１５は、図５における座標（ｘ１，ｙ１）及び座標（ｘ２，ｙ２）それぞれにおける幾何条件と画素値との関係を示すグラフである。図１５（ａ）、図１５（ｂ）、図１５（ｃ）は座標（ｘ１，ｙ１）に対応するグラフであり、図１５（ｄ）、図１５（ｅ）、図１５（ｆ）は座標（ｘ２，ｙ２）に対応するグラフである。グラフにおける近似曲線は画素値に対してガウス関数を近似させた曲線であり、一点鎖線はピーク角度を示している。Ｓ１５０３において、生成部２０３３は、ピーク角度に基づいて、画像の各画素位置において、物体の反射特性に応じた反射率のピークを有するか否かを判定し、判定結果を属性値として有する属性値マップを生成する。具体的には、Ｒ値とＧ値とのピーク角度差、Ｇ値とＢ値とのピーク角度差、Ｂ値とＲ値とのピーク角度差のうち、少なくとも１つが予め設定された所定の角度より小さければ属性値を１とする。Ｒ値とＧ値とのピーク角度差、Ｇ値とＢ値とのピーク角度差、Ｂ値とＲ値とのピーク角度差のうち、いずれの角度差も予め設定された所定の角度以上であれば属性値を０とする。
【００４５】
また、第２実施形態においては、属性値の情報を利用して、反射特性の２次元分布を推定する際のノイズを低減した。第１実施形態において算出した属性値は、反射特性を推定する際のノイズ低減以外にも利用可能であり、例えば、物体の表面の評価に用いることができる。物体の表面における反射率のピークの数を評価してもよいし、光源の位置や観察角度の変化に応じて微小な輝点の位置がきらきらと変化する特性（光輝感）を評価してもよい。また、メタリックの度合いを評価してもよい。また、第２実施形態において推定した反射特性を用いて物体の評価を行ってもよい。評価に用いる反射特性のパラメータとして、鏡面反射光の強度や鏡面反射光の広がり、拡散反射光の強度などが考えられる。これにより、人間の視覚に近い物体の評価が可能となる。上述した実施形態の画像処理装置１は、上述した評価を行う評価部をさらに有していてもよい。
【００４６】
また、第２実施形態においては、１つの注目画素の反射特性を推定するために、１つの幾何条件ごとに注目画素の画素値１つを用いていたが、注目画素の近傍画素の画素値をさらに用いて反射モデルの近似の精度を高めてもよい。この方法により、画素値に含まれるノイズの影響を低減することができる。この場合、属性値マップを用いて、参照する近傍画素の画素値を選択してもよい。図１３は属性値マップの例を示す図である。注目画素の属性値と同じ近傍画素の画素値を参照して反射モデルの近似を行うことによって、注目画素において高精度に反射特性を推定することができる。図１３における注目画素１４０１について参照する近傍画素は、枠１４０４によって囲われた画素群である。注目画素１４０２について参照する近傍画素は、属性値が１である１つの画素を除く枠１４０５によって囲われた画素群である。注目画素１４０３については、枠１４０６内の近傍に同じ属性値を有する画素がないため、近傍画素の画素値を参照しない。
【００４７】
また、上述した実施形態においては、メタリック塗装のフレークにおける反射によって生じる反射率のピークについて判定したが、物体の表面凹凸に起因する反射率のピークについて判定してもよい。例えば、複素屈折率の波長選択性が低い物体において、表面凹凸に応じた反射率のピークは色間の相関が高くなるため、上述した処理によってノイズとの識別が可能である。また、複素屈折率の波長選択性が高い物体においても、表面反射光の分光分布がＲ，Ｇ，Ｂのカラーフィルタの単一のバンド幅内になることは少ないため、同様に上述した処理によってノイズとの識別が可能である。つまり、上述した実施形態により、物体に含まれるフレークにおける反射や物体の表面凹凸に応じた反射など、物体の光の反射方向に関する特徴が画素値に表れているかを判定することができる。
【００４８】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４９】
１  画像処理装置
２０１  撮像画像データ取得部
２０３  属性判定部
【図１】
2020071218.tif 000004
【図２】
2020071218.tif 000005
【図３】
2020071218.tif 000006
【図４】
2020071218.tif 000007
【図５】
2020071218.tif 000008
【図６】
2020071218.tif 000009
【図７】
2020071218.tif 000010
【図８】
2020071218.tif 000011
【図９】
2020071218.tif 000012
【図１０】
2020071218.tif 000013
【図１１】
2020071218.tif 000014
【図１２】
2020071218.tif 000015
【図１３】
2020071218.tif 000016
【図１４】
2020071218.tif 000017
【図１５】
2020071218.tif 000018