(57)【特許請求の範囲】
【請求項１】
第１波長域の第１画像成分と第２波長域の既知の第２画像成分とを含む画像面に照射光の強度分布に基づく集光模様および／または影模様が表れた像を、前記第１波長域と前記第２波長域との識別が可能なように検出して得られた検出画像から、前記第２波長域の強度成分に由来する成分を抽出する抽出ステップと、
任意の画像成分に前記第２波長域の強度成分に由来する成分またはその関数値を加味する画像処理ステップとを有する、画像処理方法。
【請求項２】
第１波長域の第１画像成分と第２波長域の既知の第２画像成分とを含む画像面に照射光の強度分布に基づく集光模様および／または影模様が表れた像を、前記第１波長域と前記第２波長域との識別が可能なように検出して得られた検出画像から、前記第１波長域の強度成分に由来する成分および前記第２波長域の強度成分に由来する成分を抽出する抽出ステップと、
前記第１波長域の強度成分に由来する成分またはその関数値から、前記第２波長域の強度成分に由来する成分またはその関数値の減算を含む演算を行う画像処理ステップと、を有し、
前記画像処理ステップは、重み付け減算、重み付け加算、または重み付け乗算の少なくとも何れかを含む演算を行うステップを含む、画像処理方法。
【請求項３】
第１波長域の第１画像成分と第２波長域の既知の第２画像成分とを含む画像面に照射光の強度分布に基づく集光模様および／または影模様が表れた像を、前記第１波長域と前記第２波長域との識別が可能なように検出して得られた検出画像から、前記第２波長域の強度成分に由来する成分を抽出する抽出ステップを有し、
前記第２画像成分の画像パタンの空間周波数が零または零の近傍である、画像処理方法。
【請求項４】
第１波長域の第１画像成分と第２波長域の既知の第２画像成分とを含む画像面に照射光の強度分布に基づく集光模様および／または影模様が表れた像を、前記第１波長域と前記第２波長域との識別が可能なように検出して得られた検出画像から、前記第２波長域の強度成分に由来する成分を抽出する抽出部と、
任意の画像成分に前記第２波長域の強度成分に由来する成分またはその関数値を加味する画像処理部とを有する、画像処理装置。
【請求項５】
第１波長域の第１画像成分と第２波長域の既知の第２画像成分とを含む画像面に照射光の強度分布に基づく集光模様および／または影模様が表れた像を、前記第１波長域と前記第２波長域との識別が可能なように検出して得られた検出画像から、前記第１波長域の強度成分に由来する成分および前記第２波長域の強度成分に由来する成分を抽出する抽出部と、
前記第１波長域の強度成分に由来する成分またはその関数値から、前記第２波長域の強度成分に由来する成分またはその関数値の減算を含む演算を行う画像処理部と、を有し、
前記画像処理部は、重み付け減算、重み付け加算、または重み付け乗算の少なくとも何れかを含む演算を行う、画像処理装置。
【請求項６】
第１波長域の第１画像成分と第２波長域の既知の第２画像成分とを含む画像面に照射光の強度分布に基づく集光模様および／または影模様が表れた像を、前記第１波長域と前記第２波長域との識別が可能なように検出して得られた検出画像から、前記第２波長域の強度成分に由来する成分を抽出する抽出部を有し、
前記第２画像成分の画像パタンの空間周波数が零または零の近傍である、画像処理装置。
【請求項７】
請求項１から３の何れかの画像処理方法のステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照射光の強度分布に基づく模様が表れた画像から当該模様の成分を抽出する技術に関する。
【背景技術】
【０００２】
ある面における光の屈折や反射によって、それとは異なる面上に光が集められると、その部分の輝度が他よりも明るくなる。この輝度変調によって生成された模様は集光模様（コースティックパタン）と呼ばれている。集光模様の原因となる屈折・反射を生じさせる面をここでは集光面と呼び、集光模様が形成される２次元平面を投影面と呼ぶ。投影面に生成される集光模様は、集光面を形作る３次元形状や屈折率に応じて変動する。従来、主にグラフィックス分野において、任意の集光模様を生成するための透明物体の形状設計（例えば、非特許文献１参照）や、逆に透明物体の形状から簡易に集光模様を生成するための方法（例えば、非特許文献２参照）が提案されてきた。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Yue, Y., Iwasaki, K., Chen, Ｂ., DoＢashi, Y., & Nishita, T., “Poisson-Ｂased Continuous Surface Generation for Goal-Ｂased Caustics,” ACM Transactions on Graphics (TOG), 33(3), (2014), 31.
【非特許文献２】Gutierrez, D., Lopez-Moreno, J., Fandos, J., Seron, F., Sanchez, M., Reinhard, E., “Depicting Procedural Caustics in Single Images,” ACM Transactions on Graphics (Proc. of SIGGRAPH Asia), 27(5), (2008), 120.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、投影面に集光模様が生成されたとき、集光模様を投影面から抽出する手法は確立されていない。これは集光模様に限られたことではない。すなわち、照射光の強度分布に基づく模様が表れた画像から当該模様の成分を抽出する手法は確立されていない。
【０００５】
本発明の課題は、照射光の強度分布に基づく模様が表れた画像から当該模様の成分を抽出する技術を提供することである。
【課題を解決するための手段】
【０００６】
第１波長域の第１画像成分と第２波長域の既知の第２画像成分とを含む画像面に照射光の強度分布に基づく模様が表れた像を、第１波長域と第２波長域との識別が可能なように検出して得られた検出画像から、第２波長域の強度成分に由来する成分を抽出する。
【発明の効果】
【０００７】
第２画像成分の画像パタンが既知であるため、照射光の強度分布に基づく模様が表れた画像から当該模様の成分を抽出できる。
【図面の簡単な説明】
【０００８】
【図１】図１は実施形態の装置構成を例示するための概念図である。
【図２】図２Ａおよび図２Ｂは情報処理部の詳細を例示するためのブロック図である。
【図３】図３Ａは投影面の構成を例示するための図であり、図３Ｂは撮影画像およびその一部の画像を例示するための図であり、図３Ｃは撮影画像の一部から抽出されたＧチャネル成分、Ｒチャネル成分、および照射光の強度分布に基づく模様が除去された除去画像成分を例示するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を説明する。
［概要］
テクスチャに由来する画像パタンはテクスチャの持つ色特性を反映する。一方で、テクスチャに表れた光の強度分布に基づく模様は、光そのものの色特性を反映する。このような光学的な特性を利用し、照射光の強度分布に基づく模様が表れた画像から当該模様の成分を抽出する。
【００１０】
まず、「第１波長域の第１画像成分」と「第２波長域の第２画像成分」とを含む「画像面（テクスチャ面）」に「照射光の強度分布に基づく模様」が表れた「像」の「検出画像」を得る。「第１波長域」および「第２波長域」は可視光の波長域であってもよいし、可視光以外（紫外線または赤外線）の波長域を含んでもよい。「第１波長域」と「第２波長域」とは互いに識別可能な波長域である。言い換えると「第１波長域」と「第２波長域」とは互いに重複しない。「第１波長域」および「第２波長域」は、互いに異なる単一の波長（例えば、ＲＧＢの三刺激値（赤・緑・青の三原色）の何れか単一刺激値の波長）のみを含んでいてもよいし、複数の波長成分を含んでいてもよい。「第２画像成分」の画像パタンは既知であり、例えば、そのすべての画素値は予め定められている。通常、重み付け演算（後述する）の簡略化の観点から「第２画像成分」の画像パタンは一様または一様に近いことが望ましい。言い換えると「第２画像成分」の画像パタンの水平方向および垂直方向の空間周波数が零（０Ｈｚ）または零の近傍であることが望ましい。ただし、これは本発明を限定するものではない。用途によっては、「第２画像成分」の画像パタンに偏りがあってもよい。「αの近傍」とはα−β１以上α＋β２以下の範囲に属することを意味する。β１およびβ２は正値であり、β１＝β２であってもよいし、β１＝β２でなくてもよい。「第１画像成分」の画像パタンは未知であってもよいし、既知であってもよい。例えば、「第１画像成分」の画像パタンと「第２画像成分」の画像パタンとは互いに相違する。「第１画像成分」の画像パタンの例は、負または正の空間周波数成分（非零の空間周波数成分）を含む画像パタンである。「画像面」は、少なくとも「第１波長域の第１画像成分」および「第２波長域の第２画像成分」の２個の波長域の画像成分を含むが、さらにそれら以外の波長域の画像成分を含んでもよい。「照射光」は「画像面」に照射された光である。「照射光」の例は、例えば、光源から発せられた光が互いに光の屈折率の異なる複数の「光透過媒体」を透過して「画像面」に照射されたものである。この場合、「光透過媒体」の境界面（集光面）を形作る３次元形状に応じた集光模様が「画像面」に表れる。「照射光」の他の例は、一部の領域に「光遮蔽物」が配置された「光透過媒体」を透過して「画像面」に照射されたものである。この場合、「光遮蔽物」の形状に応じた影模様が「画像面」に表れる。すなわち「照射光の強度分布に基づく模様」の例は、「画像面」に表れた集光模様や影模様である。「光透過媒体」や「光遮蔽物」は、流体であってもよいし、個体であってもよい。「光透過媒体」の例は、空気、水、油、ガラス、プラスチックなどである。「光遮蔽物」の例は、人体、光透過媒体の浮遊物、煙などである。「照射光」は、例えば「第２波長域」の成分を含む光、または「第１波長域」および「第２波長域」の成分を含む光である。「光源から発せられた光」は可視光であってもよいし、可視光でなくてもよい。「光源から発せられた光」は、「第１波長域」と「第２波長域」との強度が等しいか（例えば白色光）または略等しい光（「第１波長域」と「第２波長域」とのエネルギー比が��またはその近傍）であることが望ましい。「検出画像」は、「第１波長域」と「第２波長域」との識別が可能なように検出される。例えば、「第１波長域」と「第２波長域」とを区別して検出するイメージセンサによって「像」を撮影することで「検出画像」を得る。「第１波長域」がＲＧＢの三刺激値の何れか単一刺激値（例えば、ＲＧＢ表色系におけるＧ（緑色））の波長域であり、「第２波長域」が他の単一刺激値（例えば、Ｒ（赤色））の波長域である場合、ＲＧＢの三刺激値を識別可能なイメージセンサ（通常のデジタルカメラやビデオカメラ等）によって「像」を撮影することで「検出画像」を得ることができる。
【００１１】
次に、「検出画像」から「第２波長域の強度成分に由来する成分」を抽出する。「γに由来するδ」は、「γから得られるδ」「γに対応するδ」と言い換えることができる。δ＝γでもよいし、δ＝ｆ（γ）であってもよい。ただし、ｆ（γ）はγの関数値である。「第２波長域の強度成分に由来する成分」の例は、第２波長域の強度成分、第２波長域の強度成分に所定の重み係数を乗じた値、第２波長域の強度成分から第２基準値を減じた値（強度変化、強度レベルの変化量）、第２波長域の強度成分に所定の重み係数を乗じた値から第２基準値を減じた値、その他の第２波長域の強度成分の関数値である。「第２基準値」の例は、第２画像成分の強度成分の平均値であり、「第２波長域の強度成分」の例は、第２波長域に対応する色の画素値（強度レベル）である。
【００１２】
以上のように抽出された「第２波長域の強度成分に由来する成分」は、「第２画像成分の画像パタン」と「照射光の強度分布に基づく模様」とに由来する。「第２画像成分の画像パタン」は既知であるため、「第２波長域の強度成分に由来する成分」から「照射光の強度分布に基づく模様」の強度成分を抽出できる。例えば、「第２画像成分の画像パタン」が一様であり、かつ「第２波長域の強度成分に由来する成分」が「第２画像成分の画像パタン」に基づく成分を含んでいないとみなせるのであれば「第２波長域の強度成分に由来する成分」を「照射光の強度分布に基づく模様」の強度成分とできる。または、「第２画像成分の画像パタン」に対応する既知の重み付けやフィルタリングによって「第２波長域の強度成分に由来する成分」から「第２画像成分の画像パタン」に基づく強度成分を抽出してもよい。
【００１３】
「第２波長域の強度成分に由来する成分」を用いた画像処理が行われてもよい。例えば、さらに「検出画像」から「第１波長域の強度成分に由来する成分」を抽出し、「第１波長域の強度成分に由来する成分」またはその関数値から、「第２波長域の強度成分に由来する成分」またはその関数値の減算を含む演算を行ってもよい。「第１波長域の強度成分に由来する成分」の例は、前述の「第２波長域の強度成分に由来する成分」の例の「第２波長域」を「第１波長域」に置換したものである。これにより、「第１画像成分の画像パタン」の画像から「照射光の強度分布に基づく模様」を除去または抑圧した強度成分を得ることができる。あるいは、任意の画像成分に「第２波長域の強度成分に由来する成分」またはその関数値を加味した画像を生成してもよい。これにより、任意の画像成分に「照射光の強度分布に基づく模様」またはその関数値を統合した画像を得ることができる。「加味する」とは、例えば「合成すること」「重ね合わせること」「統合すること」「追加すること」「反映すること」「盛り込むこと」である。これらの画像処理は、例えば重み付け減算、重み付け加算、または重み付け乗算の少なくとも何れかを含む演算によって行うことができる。これらの具体例については後述する。
【００１４】
［第１実施形態］
第１実施形態では、概要で述べた技術を用い、互いに異なる屈折率を持つ２個の光透過媒体を透過した照射光の強度分布に基づく模様（例えば、集光模様や影模様）を取り除き、光の屈折によって変形して見える「画像面（テクスチャ面）」の情報（テクスチャ変形情報）を抽出する。以下では、画像面上に「透明な液体（例えば水）」の層が存在し、この「透明な液体」の層の上にそれと屈折率の異なる「透明な気体（例えば空気）」の層が存在する場合を例示する。この場合、「透明な液体」および「透明な気体」の動きに応じて光の屈折の仕方が変化し、「透明な気体」の層側から見える画像面の像が光学的に変形する。同時に、集光模様や影模様等の「照射光の強度分布に基づく模様」が「画像面」に形成されることもある。本技術を用いることで、このような像から「照射光の強度分布に基づく模様」を取り除き、「画像面」のテクスチャ変形情報を抽出できる。
【００１５】
＜構成＞
図１に例示するように、本形態のシステムは、情報処理装置１１、イメージセンサ１２、光源１３、容器１４、および光透過媒体１５１，１５２を有する。
【００１６】
情報処理装置１１は、メモリ１１１、抽出部１１２、および情報処理部１１３を有する。図２Ａに例示するように、情報処理部１１３は減算部１１３１および重み付け部１１３２を有する。情報処理装置１１は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）やＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
【００１７】
イメージセンサ１２は、第１波長域と第２波長域との識別が可能なように画像を検出する装置である。本形態では、一例としてＲＧＢの三刺激値（ＲチャネルとＧチャネルとＢチャネル）を識別可能なイメージセンサ１２（通常のデジタルカメラやビデオカメラ等）を用いる。また、光源１３は光を放つ装置である。本形態では、一例として可視光（例えば白色光等）を放つ光源１３を用いる。
【００１８】
容器１４の内側底面には画像面１４１（投影面）が設けられている。画像面１４１にはテクスチャ画像１４１Ｔが表れている。テクスチャ画像１４１Ｔは「第１波長域の第１画像成分」と「第２波長域の第２画像成分」とを含む。本形態の「第２画像成分の画像パタン」は既知であり、空間的に一様なパタン（すべての画素値が同一）またはそれに近いパタンである。すなわち、「第２画像成分の画像パタン」の空間周波数は零または零の近傍である。一方、本形態の「第１画像成分の画像パタン」は「第２画像成分の画像パタン」と相違し、空間的に非一様なパタンである。本形態では、ＲＧＢの三刺激値のうち２個の刺激値（ＧとＲ）によってテクスチャ画像１４１Ｔを構成する例を示す。図３Ａに例示するように、テクスチャ画像１４１Ｔの刺激値Ｒ（赤色）によるＲチャネル成分１４１ｒは「第２波長域の第２画像成分」であり、強度が一様なパタンである。テクスチャ画像１４１Ｔの刺激値Ｇ（緑色）によるＧチャネル成分１４１ｇは「第１画像成分の画像パタン」であり、強度が非一様なパタンである。テクスチャ画像１４１Ｔは、通常のカラープリンタによって画像面１４１に印刷されていてもよいし、塗料等によって描かれていてもよいし、素材自体の色であってもよい。あるいは、画像面１４１がテクスチャ画像１４１Ｔを表示していてもよい。例えば、容器１４の底面が透明板であり、この透明板の外側に容器１４の内側に向けられたディスプレイが配置され、そのディスプレイからテクスチャ画像１４１Ｔが表示されてもよい。表示されたテクスチャ画像１４１Ｔは容器１４の底面を透過し、画像面１４１に表れる。ディスプレイは空間的に均一な強度で色を表示できるものが望ましい。その他、画像面１４１がテクスチャ画像１４１Ｔを表示するディスプレイそのものであってもよい。
【００１９】
容器１４の内側には光透過媒体１５１が配置される。光透過媒体１５１が配置された容器１４は別の光透過媒体１５２の中に配置され、光透過媒体１５１の上面が光透過媒体１５２に接している。光透過媒体１５１と光透過媒体１５２とは互いに光の屈折率が異なる。本形態では、光透過媒体１５１が透明な液体（例えば水）であり、光透過媒体１５２が透明な気体（例えば空気）である例を示す。
【００２０】
＜処理＞
光源１３から発せられた光は、光透過媒体１５２を透過し、さらに光透過媒体１５１を透過し、テクスチャ画像１４１Ｔが表れた画像面１４１に照射される。これによって、画像面１４１には、光透過媒体１５１の動きに応じて変化する「照射光の強度分布に基づく模様」が表れる。「照射光の強度分布に基づく模様」および「テクスチャ画像１４１Ｔ」に基づく「像」は、光透過媒体１５１を透過し、さらに光透過媒体１５２を透過する。この過程でも、光透過媒体１５１の動きに応じて「像」が光学的に変化する。この「像」は「第１波長域の第１画像成分と第２波長域の第２画像成分とを含む画像面に照射光の強度分布に基づく模様が表れた像」の一例であり、光透過媒体１５２内に配置されたイメージセンサ１２によって検出（撮影）される。得られた撮影画像１２１は、それに含まれるＲチャネル成分とＧチャネル成分とが識別可能なようにメモリ１１１に格納される（図３Ｂ）。
【００２１】
抽出部１１２は、メモリ１１１から撮影画像１２１の一部の２次元領域である検出画像１２１１を切り出す（図３Ｂ）。検出画像１２１１は、例えば、テクスチャ画像１４１Ｔの像を含まない領域が取り除かれた画像である。さらに、光透過媒体１５１と光透過媒体１５２との境界面で全反射した光の像の領域が取り除かれた画像であってもよい。検出画像１２１１は「第１波長域と第２波長域との識別が可能なように検出して得られた検出画像」の一例である。ここで、検出画像１２１１の座標（ｘ，ｙ）の強度成分に由来する成分Ｉ（ｘ，ｙ）を以下のように表す（式（１））。
Ｉ（ｘ，ｙ）＝ＧＩ（ｘ，ｙ）＋ＲＩ（ｘ，ｙ）    （１）
ただし、ｘは水平位置を表し、ｙは垂直位置を表す。水平位置の下限および上限をｘｍｉｎおよびｘｍａｘ（ｘｍｉｎ＜ｘｍａｘ）とし、垂直位置の下限および上限ｙｍｉｎおよびｙｍａｘ（ｙｍｉｎ＜ｙｍａｘ）とする。ｘ，ｙはｘｍｉｎ≦ｘ≦ｘｍａｘ，ｙｍｉｎ≦ｙ≦ｙｍａｘを満たす。ＧＩ（ｘ，ｙ）は、Ｉ（ｘ，ｙ）のＧチャネル成分であり、「第１波長域の強度成分に由来する成分」の一例である。ＧＩ（ｘ，ｙ）の例は、検出画像１２１１の座標（ｘ，ｙ）のＧチャネルの画素値Ｇ（ｘ，ｙ）、画素値Ｇ（ｘ，ｙ）に所定の重み係数を乗じた値、画素値Ｇ（ｘ，ｙ）から基準値ＡＧを減じた値（強度レベルの変化量）、画素値Ｇ（ｘ，ｙ）から基準値ＡＧを減じた値に所定の重み係数を乗じた値、その他の画素値Ｇ（ｘ，ｙ）の関数値である。「基準値ＡＧ」の例は、検出画像１２１１のＧチャネルの画素値Ｇ（ｘ，ｙ）（ただし、ｘｍｉｎ≦ｘ≦ｘｍａｘ，ｙｍｉｎ≦ｙ≦ｙｍａｘ）の平均値である。一方、ＲＩ（ｘ，ｙ）は、Ｉ（ｘ，ｙ）のＲチャネル成分であり、「第２波長域の強度成分に由来する成分」の一例である。ＲＩ（ｘ，ｙ）の例は、検出画像１２１１の座標（ｘ，ｙ）のＲチャネルの画素値Ｒ（ｘ，ｙ）、画素値Ｒ（ｘ，ｙ）に所定の重み係数を乗じた値、画素値Ｒ（ｘ，ｙ）から基準値ＡＲを減じた値（強度レベルの変化量）、画素値Ｒ（ｘ，ｙ）から基準値ＡＲを減じた値に所定の重み係数を乗じた値、その他の画素値Ｒ（ｘ，ｙ）の関数値である。「基準値ＡＲ」の例は、検出画像１２１１のＲチャネルの画素値Ｒ（ｘ，ｙ）（ただし、ｘｍｉｎ≦ｘ≦ｘｍａｘ，ｙｍｉｎ≦ｙ≦ｙｍａｘ）の平均値である。
【００２２】
抽出部１１２は、検出画像１２１１からＧＩ（ｘ，ｙ）およびＲＩ（ｘ，ｙ）（ただし、ｘｍｉｎ≦ｘ≦ｘｍａｘ，ｙｍｉｎ≦ｙ≦ｙｍａｘ）を分離抽出する（図３Ｃ）。ここで、ＧチャネルのＧＩ（ｘ，ｙ）のうち「テクスチャ画像１４１Ｔ」がもたらす成分をＧＩＴ（ｘ，ｙ）とし、「照射光の強度分布に基づく模様」がもたらす成分をＧＩＣ（ｘ，ｙ）とする。ＧＩ（ｘ，ｙ）は以下のように表現される（式（２））。
ＧＩ（ｘ，ｙ）＝ＧＩＴ（ｘ，ｙ）＋ＧＩＣ（ｘ，ｙ）    （２）
ここで、ＧＩＴ（ｘ，ｙ）はＧチャネル成分１４１ｇの画像パタン（図３Ａ）を反映する。一方、ＧＩＣ（ｘ，ｙ）は、主に「照射光の強度分布に基づく模様」そのものの色特性を反映し、Ｇチャネル成分１４１ｇの画像パタンにほとんど影響されない。
【００２３】
また、ＲチャネルのＲＩ（ｘ，ｙ）のうち「テクスチャ画像１４１Ｔ」がもたらす成分をＲＩＴ（ｘ，ｙ）とし、「照射光の強度分布に基づく模様」がもたらす成分をＲＩＣ（ｘ，ｙ）とする。ＲＩ（ｘ，ｙ）は以下のように表現される（式（３））。
ＲＩ（ｘ，ｙ）＝ＲＩＴ（ｘ，ｙ）＋ＲＩＣ（ｘ，ｙ）    （３）
ここで、ＲＩＴ（ｘ，ｙ）はＲチャネル成分１４１ｒの画像パタン（図３Ａ）を反映する。一方、ＲＩＣ（ｘ，ｙ）は、主に「照射光の強度分布に基づく模様」そのものの色特性を反映し、Ｒチャネル成分１４１ｒの画像パタンにほとんど影響されない。本形態のテクスチャ画像１４１ＴのＲチャネル成分１４１ｒは一様であるため、ＲＩＴ（ｘ，ｙ）を定数ＲＩＴ（既知）とみなせる（式（４））。
ＲＩ（ｘ，ｙ）＝ＲＩＴ＋ＲＩＣ（ｘ，ｙ）    （４）
すなわち、ＲＩ（ｘ，ｙ）は「照射光の強度分布に基づく模様」に基づく強度に対応する。特に、ＲＩ（ｘ，ｙ）＝Ｒ（ｘ，ｙ）−ＡＲ（ただし、ＡＲは検出画像１２１１のＲチャネルの画素値Ｒ（ｘ，ｙ）の平均値）である場合、ＲＩＴ（ｘ，ｙ）＝ＲＩＴ＝０とみなせる。この場合にはＲＩ（ｘ，ｙ）を以下のように表すことができる（式（５））。
ＲＩ（ｘ，ｙ）＝ＲＩＣ（ｘ，ｙ）    （５）
【００２４】
ＧＩ（ｘ，ｙ）およびＲＩ（ｘ，ｙ）（ただし、ｘｍｉｎ≦ｘ≦ｘｍａｘ，ｙｍｉｎ≦ｙ≦ｙｍａｘ）は情報処理部１１３に送られる（図２Ａ）。情報処理部１１３は、ＧＩ（ｘ，ｙ）からＲＩ（ｘ，ｙ）の重み付け値ｗ×ＲＩ（ｘ，ｙ）を減算する（重み付け減算）。これは「第１波長域の強度成分に由来する成分またはその関数値から、第２波長域の強度成分に由来する成分またはその関数値の減算を含む演算」の一例である。例えば、ＲＩ（ｘ，ｙ）が重み付け部１１３２に入力され、重み付け部１１３２が重み付け値ｗ×ＲＩ（ｘ，ｙ）を計算して出力する。ｗは重みを表す定数であり（ただしｗ≠０）、例えば、以下の関係を満たす（式（６））。
０＝ＧＩＣ（ｘ，ｙ）−ｗ×ＲＩＣ（ｘ，ｙ）    （６）
式（６）のｗの値はＧＩＣ（ｘ，ｙ）とＲＩＣ（ｘ，ｙ）の比率を表す。ＧＩＣ（ｘ，ｙ）やＲＩＣ（ｘ，ｙ）は、主に「照射光の強度分布に基づく模様」そのものの色特性を反映する。そのため、ｗの値は、主にイメージセンサ１２のＧチャネルとＲチャネル（「第１波長域」と「第２波長域」）での感度比、および「照射光の強度分布に基づく模様」のＧチャネル成分とＲチャネル成分（「第１波長域」と「第２波長域」）の強度比に依存する。イメージセンサ１２の感度比や光源１３から発せられる光は既知であるため、ｗの値を事前に設定することもできる。特に、「照射光の強度分布に基づく模様」が理想的な等エネルギー白色光としてイメージセンサ１２に入射することを仮定した場合、イメージセンサ１２のＧチャネルとＲチャネルでの感度比をｗとできる。この場合には容易に適切なｗを設定できる。そのため、光源１３から発せられる光は白色光またはそれに近い光であることが望ましい。なお、ＧＩＴ（ｘ，ｙ）およびＲＩＣ（ｘ，ｙ）は画像パタンにほとんど影響されないため、ｗは各座標（ｘ，ｙ）に対して同一でよい。また、厳密に式（６）を満たす必要はなく、式（６）の右辺が０の近傍であってもよい。さらに、ｗが調整可能であってもよい。
【００２５】
ＧＩ（ｘ，ｙ）およびｗ×ＲＩ（ｘ，ｙ）は減算部１１３１に入力され、減算部１１３１は以下のように強度成分Ｉ’（ｘ，ｙ）を計算する（式（７））。
Ｉ’（ｘ，ｙ）＝ＧＩ（ｘ，ｙ）−ｗ×ＲＩ（ｘ，ｙ）    （７）
ここで、式（２）（４）（６）から式（７）は以下のように変形できる（式（８））。
Ｉ’（ｘ，ｙ）＝｛ＧＩＴ（ｘ，ｙ）＋ＧＩＣ（ｘ，ｙ）｝−ｗ×｛ＲＩＴ＋ＲＩＣ（ｘ，ｙ）｝＝ＧＩＴ（ｘ，ｙ）−ｗ×ＲＩＴ    （８）
特にＲＩＴ（ｘ，ｙ）＝ＲＩＴ＝０の場合には以下のようになる（式（９）、図３Ｃ）。
Ｉ’（ｘ，ｙ）＝ＧＩＴ（ｘ，ｙ）    （９）
式（８）および式（９）に示すように、ＧＩ（ｘ，ｙ）から適切な重みｗを付してＲＩ（ｘ，ｙ）を減じることで、「照射光の強度分布に基づく模様」に基づく成分を除去した強度成分Ｉ’（ｘ，ｙ）（画像面１４１のテクスチャ変形情報）を得ることができる（図３Ｃ）。また、式（８）のｗ×ＲＩＴは既知であるため、式（８）にｗ×ＲＩＴを加えたものをＩ’（ｘ，ｙ）としてもよい。さらに一般的に、式（８）または式（９）のベースレベルを変更した値をＩ’（ｘ，ｙ）としてもよい。
【００２６】
強度成分Ｉ’（ｘ，ｙ）（ただし、ｘｍｉｎ≦ｘ≦ｘｍａｘ，ｙｍｉｎ≦ｙ≦ｙｍａｘ）は、そのままＧチャネルの座標（ｘ，ｙ）の画素値とされてもよいし、その他のＲまたはＢチャネルの座標（ｘ，ｙ）の画素値とされてもよいし、ＲＧＢすべてのチャネルの座標（ｘ，ｙ）の画素値とされてもよいし、座標（ｘ，ｙ）の輝度値とされてもよい。このような画像を用いることで、集光模様や影模様等「照射光の強度分布に基づく模様」の影響を受けずに、光透過媒体１５１越しのテクスチャ画像１４１Ｔの変動を観察できる。また、本形態の構成は、２つの色チャンネルで構成されたテクスチャ画像とデジタルカメラ等の簡易な設備によって実現可能である。
【００２７】
なお、式（６）を満たすｗを用いるのではなく、任意に設定可能なｗを用いてもよい。この場合には、ｗの値を変更することで「照射光の強度分布に基づく模様」の有無や濃度を操作できる。これにより、画像の印象を変えることができる。
【００２８】
抽出された「照射光の強度分布に基づく模様」の成分のみが出力されてもよい。例えば、式（４）もしくは式（５）のＲＩ（ｘ，ｙ）またはＲＩ（ｘ，ｙ）のベースレベルを変更した値がＩ’（ｘ，ｙ）として出力されてもよい。また、本形態では、ＧＩ（ｘ，ｙ）からｗ×ＲＩ（ｘ，ｙ）を減算してＩ’（ｘ，ｙ）を得たが、逆にＧＩ（ｘ，ｙ）に重みを付した値からＲＩ（ｘ，ｙ）を減算してＩ’（ｘ，ｙ）を得てもよい。または、ＧＩ（ｘ，ｙ）に重みを付した値から、ＲＩ（ｘ，ｙ）に重みを付した値を減算してＩ’（ｘ，ｙ）を得てもよい。すなわち、「第１波長域の強度成分に由来する成分またはその関数値から、第２波長域の強度成分に由来する成分またはその関数値の減算を含む演算」であれば、どのような演算が行われてもよい。
【００２９】
また、上述したテクスチャ画像１４１Ｔは一例にすぎず、Ｒチャネル成分を「第２波長域の第２画像成分」とし、Ｂチャネル成分を「第１波長域の第１画像成分」としてもよいし、Ｇチャネル成分を「第２波長域の第２画像成分」とし、Ｂチャネル成分を「第１波長域の第１画像成分」としてもよい。また、各チャンネルの役割を入れ替えてもよい。
【００３０】
［第１実施形態の変形例１］
「第２画像成分の画像パタン」は既知であればよく、必ずしも一様またはそれに近いパタンである必要はない。本変形例では、「第２画像成分の画像パタン」が一様またはそれに近いパタンでない場合にも適用可能な方式を説明する。なお、以下では第１実施形態との相違点を中心に説明し、第１実施形態と共通する部分については同じ参照番号を流用して説明を簡略化する。
【００３１】
＜構成＞
図１に例示するように、本変形例のシステムは、第１実施形態のシステムの情報処理装置１１が情報処理装置１１’に置換されたものである。情報処理装置１１’は、メモリ１１１、抽出部１１２、および情報処理部１１３’を有する。図２Ａに例示するように、情報処理部１１３’は減算部１１３１および重み付け部１１３２，１１３４’を有する。情報処理装置１１’は、例えば、前述のコンピュータが所定のプログラムを実行することで構成される装置である。
【００３２】
＜処理＞
第１実施形態との相違点は情報処理部１１３’の処理のみである。以下では情報処理部１１３’の処理のみを説明する。情報処理部１１３’は、ＧＩ（ｘ，ｙ）からＲＩ（ｘ，ｙ）の重み付け値ｗ×ＲＩ（ｘ，ｙ）を減算し、さらに「第２画像成分の画像パタン」に応じた座標（ｘ，ｙ）ごとの重みｗ２（ｘ，ｙ）（ただし、ｘｍｉｎ≦ｘ≦ｘｍａｘ，ｙｍｉｎ≦ｙ≦ｙｍａｘ）を加算する。
【００３３】
すなわち、まず減算部１１３１が、入力されたＧＩ（ｘ，ｙ）およびＲＩ（ｘ，ｙ）から、以下のように強度成分Ｉ’’（ｘ，ｙ）を計算する（式（１０））。
Ｉ’’（ｘ，ｙ）＝ＧＩ（ｘ，ｙ）−ｗ×ＲＩ（ｘ，ｙ）    （１０）
ここで、式（２）（３）（６）から式（１０）は以下のように変形できる（式（１１））。
Ｉ’’（ｘ，ｙ）＝｛ＧＩＴ（ｘ，ｙ）＋ＧＩＣ（ｘ，ｙ）｝−ｗ×｛ＲＩＴ（ｘ，ｙ）＋ＲＩＣ（ｘ，ｙ）｝＝ＧＩＴ（ｘ，ｙ）−ｗ×ＲＩＴ（ｘ，ｙ）    （１１）
強度成分Ｉ’’（ｘ，ｙ）は重み付け部１１３４’’に入力される。
【００３４】
次に重み付け部１１３４’’が、強度成分Ｉ’’（ｘ，ｙ）に重みｗ２（ｘ，ｙ）（ただし、ｘｍｉｎ≦ｘ≦ｘｍａｘ，ｙｍｉｎ≦ｙ≦ｙｍａｘ）を加算して強度成分Ｉ’（ｘ，ｙ）を得て出力する（式（１２））。
Ｉ’（ｘ，ｙ）＝Ｉ’’（ｘ，ｙ）＋ｗ２（ｘ，ｙ）    （１２）
【００３５】
ここでｗ２（ｘ，ｙ）が以下の関係を満たすとする（式（１３））。
ｗ２（ｘ，ｙ）＝ｗ×ＲＩＴ（ｘ，ｙ）    （１３）
すると、式（１１）から式（１３）より、強度成分Ｉ’’（ｘ，ｙ）は以下のようになる（式（１４））
Ｉ’（ｘ，ｙ）＝ＧＩＴ（ｘ，ｙ）    （１４）
そのため、式（１３）を満たすｗ２（ｘ，ｙ）またはそれに近似するｗ２（ｘ，ｙ）を設定すれば、第１実施形態と同様な強度成分Ｉ’（ｘ，ｙ）を得ることができる。本形態のテクスチャ画像のＲチャネル成分（第２画像成分の画像パタン）、イメージセンサ１２、および光源１３は既知である。そのため、このようなｗ２（ｘ，ｙ）を設定することは容易である。例えば、テクスチャ画像のＲチャネル成分の画素値ＰＲ（ｘ，ｙ）にイメージセンサ１２および光源１３に応じた定数ｗ３を乗じたものをｗ２（ｘ，ｙ）としてもよい（式（１５））。
ｗ２（ｘ，ｙ）＝ｗ３×ＰＲ（ｘ，ｙ）    （１５）
あるいはｗ３を調整可能な値として式（１５）のｗ２（ｘ，ｙ）を定めてもよい。その他は第１実施形態と同じである。
【００３６】
［第２実施形態］
本形態では、任意の画像成分に第１実施形態またはその変形例１のように抽出したＲＩ（ｘ，ｙ）（第２波長域の強度成分に由来する成分）またはその関数値を加味する。
【００３７】
＜構成＞
図１に例示するように、本変形例のシステムは、第１実施形態のシステムの情報処理装置１１が情報処理装置２１に置換されたものである。情報処理装置２１は、メモリ１１１、抽出部１１２、および情報処理部２１３を有する。図２Ｂに例示するように、情報処理部２１３は統合部２１３１および重み付け部２１３２を有する。情報処理装置２１は、例えば、前述のコンピュータが所定のプログラムを実行することで構成される装置である。
【００３８】
＜処理＞
第１実施形態との相違点は情報処理部２１３の処理のみである。以下では情報処理部２１３の処理のみを説明する。情報処理部２１３（図２Ｂ）の重み付け部２１３２にはＲＩ（ｘ，ｙ）が入力される。重み付け部２１３２は、ＲＩ（ｘ，ｙ）に重みを付した値ＲＩ’（ｘ，ｙ）を得て出力する（式（１６）または式（１７））。
ＲＩ’（ｘ，ｙ）＝ｗ４×ＲＩ（ｘ，ｙ）    （１６）
ＲＩ’（ｘ，ｙ）＝ｗ４（ｘ，ｙ）×ＲＩ（ｘ，ｙ）    （１７）
ただし、式（１６）はテクスチャ画像のＲチャネル成分（第２画像成分の画像パタン）が一様またはそれに近い場合（第１実施形態のように抽出されたＲＩ（ｘ，ｙ）を用いる場合）の処理を表す。ｗ４はすべての座標（ｘ，ｙ）（ただし、ｘｍｉｎ≦ｘ≦ｘｍａｘ，ｙｍｉｎ≦ｙ≦ｙｍａｘ）において同一である。ｗ４は前述のｗと同一であってもよいし、それ以外の値であってもよい。なお、ｗ４＝１の場合には重み付け部２１３２を省略し、ＲＩ’（ｘ，ｙ）＝ＲＩ（ｘ，ｙ）としてもよい。一方、式（１７）はテクスチャ画像のＲチャネル成分（第２画像成分の画像パタン）が一様またはそれに近いとは限らない場合の処理を表す。ｗ４（ｘ，ｙ）は前述のｗ２（ｘ，ｙ）やｗ３（ｘ，ｙ）と同一であってもよいし、それら以外の値であってもよい。
【００３９】
ＲＩ’（ｘ，ｙ）は統合部２１３１に入力される。統合部２１３１は、さらに入力された任意の画像Ｐ（ｘ，ｙ）＝｛Ｐｒ（ｘ，ｙ），Ｐｇ（ｘ，ｙ），Ｐｂ（ｘ，ｙ）｝にＲＩ’（ｘ，ｙ）を加味した強度成分Ｉ’（ｘ，ｙ）（ただし、ｘｍｉｎ≦ｘ≦ｘｍａｘ，ｙｍｉｎ≦ｙ≦ｙｍａｘ）を得て出力する。ただし、Ｐｒ（ｘ，ｙ），Ｐｇ（ｘ，ｙ），Ｐｂ（ｘ，ｙ）は、それぞれＰ（ｘ，ｙ）のＲチャネル成分，Ｇチャネル成分，Ｂチャネル成分を表す。例えば、統合部２１３１は、Ｐｒ（ｘ，ｙ），Ｐｇ（ｘ，ｙ），Ｐｂ（ｘ，ｙ）のそれぞれにＲＩ’（ｘ，ｙ）を重み付け加算または重み付け乗算したものをＩ’（ｘ，ｙ）とする。これにより、任意の画像Ｐ（ｘ，ｙ）に「照射光の強度分布に基づく模様」を付した画像を得ることができ、液体に近い印象を与えることができる。
【００４０】
［その他の変形例等］
なお、本発明は上述の実施の形態に限定されるものではない。上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００４１】
上述の情報処理構成をコンピュータによって実現する場合、情報処理構成が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【００４２】
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４３】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【００４４】
また、「検出画像」から抽出された第２波長域の強度成分に由来する成分を表すデータを有するデータ構造を流通させてもよい。ただし、「検出画像」は第１波長域の第１画像成分と第２波長域の既知の第２画像成分とを含む画像面に照射光の強度分布に基づく模様が表れた像を、第１波長域と第２波長域との識別が可能なように検出して得られたものである。この流通は、そのデータ構造をインターネット等によって配信することで行われてもよいし、そのデータ構造を記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行われてもよい。このデータ構造の提供を受けた装置は、第２波長域の強度成分に由来する成分を表すデータを画像処理部に入力し、画像処理部は第２波長域の強度成分に由来する成分を用いた画像処理を行う。
【符号の説明】
【００４５】
１１，１１’，２１  情報処理装置
【図１】
0006267656.tif 000002
【図２】
0006267656.tif 000003
【図３】
0006267656.tif 000004