(57)【要約】【課題】線スペクトル画像から色検査を実施する等のニーズに対応でき、利用範囲の拡大に寄与できる撮像システムを提供する。【解決手段】撮像システム１０は、撮像装置１２と、分光画像生成手段としてのＦＰＧＡ１４と、生成された分光画像から画素毎のスペクトルを推定するスペクトル推定手段としての制御部１６とを有している。撮像装置１２は、異なる分光特性を有する複数のフィルタフィルタから成るフィルタ手段２６を有している。複数のフィルタのうち少なくとも１つは、制御部１６によって線スペクトルを推定可能な透過率を有している。【選択図】図２
2014132256.tif 000002
【特許請求の範囲】
【請求項１】
異なる分光特性を有する複数のフィルタないしフィルタ領域からなるフィルタ手段と、
撮像素子と、
前記撮像素子によって得られた分光画像から、対象物の反射スペクトル画像または発光スペクトル画像を推定するスペクトル推定手段と、
を有する撮像システムにおいて、
前記スペクトル推定手段は線スペクトルを推定する機能を有し、前記複数のフィルタないしフィルタ領域のうち少なくとも１つは、前記スペクトル推定手段によって線スペクトルを推定可能な透過率を有していることを特徴とする撮像システム。
【請求項２】
請求項１に記載の撮像システムにおいて、
推定するスペクトルの波長帯域のいかなる波長においても、少なくとも２つ以上のフィルタないしフィルタ領域の透過率が０％を超え、
前記スペクトル推定手段は、前記透過率が０％を超えたフィルタないしフィルタ領域を透過した分光画像の出力強度比から線スペクトルを推定することを特徴とする撮像システム。
【請求項３】
請求項２に記載の撮像システムにおいて、
前記透過率に閾値が設定され、該閾値以上の透過率を有するフィルタないしフィルタ領域を透過した分光画像の出力強度比から線スペクトルを推定することを特徴とする撮像システム。
【請求項４】
請求項３に記載の撮像システムにおいて、
前記閾値は、どのフィルタないしフィルタ領域を透過した分光画像であるか区別できないレベルを除去するように設定されていることを特徴とする撮像システム。
【請求項５】
請求項１〜４のいずれか１つに記載の撮像システムにおいて、
前記スペクトル推定手段は、連続スペクトルを推定する機能と、線スペクトルを推定する機能とを有することを特徴とする撮像システム。
【請求項６】
請求項５に記載の撮像システムにおいて、
前記フィルタ手段は前記フィルタないしフィルタ領域を３つ以上有し、３つ以上の分光画像のうち、少なくとも１つ以上の分光画像の出力が無い場合、線スペクトルと判定して推定することを特徴とする撮像システム。
【請求項７】
請求項５に記載の撮像システムにおいて、
前記フィルタないしフィルタ領域がｍ（ｍ＞３）種類であり、
推定するスペクトルの波長帯域のいかなる波長においても、少なくともｎ（ｎ＞２）種類のフィルタないしフィルタ領域は線スペクトルを推定可能な透過率を有し、
ｍ−ｎ（ｍ＞ｎ）種類の分光画像の出力が無い場合、線スペクトルと判定して推定することを特徴とする撮像システム。
【請求項８】
請求項１〜７のいずれか１つに記載の撮像システムにおいて、
第１の光学系と第２の光学系とを有し、
第１の光学系の絞り付近に前記フィルタ手段が配置され、
第１の光学系と前記撮像素子との間に第２の光学系が配置され、
第２の光学系は、前記撮像素子の二次元平面方向と略平行に複数のレンズが並んだレンズアレイであることを特徴とする撮像システム。
【請求項９】
請求項１〜８のいずれか１つに記載の撮像システムにより得られたスペクトル情報に基づき色情報を抽出し、該色情報を用いて色検査を行うことを特徴とする色検査システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の反射スペクトルや発光スペクトルを評価するための撮像システム、該撮像システムを用いた色検査システムに関する。
【背景技術】
【０００２】
物体の反射スペクトルや発光スペクトルを評価することにより、物体の色、状態、特性を観察することができる。
スペクトルを測定する装置としては、プリズムや回折格子（グレーティング）、液晶チューナブルフィルタ等を利用した分光器が一般的に知られている。
これまでの分光器は、リアルタイム（瞬時的）に点、線分の分光反射率特性および発光スペクトルを測定することはできるが、面を一度に測定することでできない、といった問題があった。
具体的に面を計測するためには、線測定の分光器を利用し、スキャンすることで面を測定していた。
【０００３】
特許文献１には、複数のマルチスペクトル画像から、二次元の分光反射率画像を推定するシステムが開示されている。
特許文献２には、二次元の色むらを測定する目的で、複数のバンドパスフィルタを介して得られるマルチスペクトル画像から色検査を行うシステムが開示されている。
これは、異なる帯域を持つ複数のバンドパスフィルタを透過した、対象物からの反射分光スペクトルを撮像手段により撮像し、撮像された反射分光スペクトルから統計的手法を用いた分類のための分類スペクトルを算出するものである。
【０００４】
近年、レーザーとＭＥＭＳ(Micro Electro Mechanical Systems)やポリゴンモーターなどの走査装置を組み合わせたレーザープロジェクション画像などにおいては、線スペクトル画像から色検査を実施するニーズが高まっている。
従来においては、物体の分光反射率や、ＬＥＤ発光スペクトルなどの連続した分光スペクトルを、ウィナー推定の原理を利用して推定している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、レーザーなどの線スペクトルについては、ウィナー推定の原理上、発光スペクトルを推定することができなかった。
このため、線スペクトル画像から色検査を実施する等のニーズに対応することは困難であった。
【０００６】
本発明は、このような現状に鑑みて創案されたもので、線スペクトル画像から色検査を実施する等のニーズに対応でき、利用範囲の拡大に寄与できる撮像システムの提供を、その主な目的する。
【課題を解決するための手段】
【０００７】
上記目的を達成すべく、本発明は、異なる分光特性を有する複数のフィルタないしフィルタ領域からなるフィルタ手段と、撮像素子と、前記撮像素子によって得られた分光画像から、対象物の反射スペクトル画像または発光スペクトル画像を推定するスペクトル推定手段と、を有する撮像システムにおいて、前記スペクトル推定手段は線スペクトルを推定する機能を有し、前記複数のフィルタないしフィルタ領域のうち少なくとも１つは、前記スペクトル推定手段によって線スペクトルを推定可能な透過率を有していることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、物体の二次元の線スペクトルを計測することができる。これにより、線スペクトル画像から色検査を実施する等のニーズに対応でき、利用範囲の拡大に寄与できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の撮像システムの原理を説明するための模式図である。
【図２】本発明の第１の実施形態に係る撮像システムの構成を示す概要断面図である。
【図３】各フィルタの分光透過率を示す特性図である。
【図４】図３で示した分光画像データに基づいてレーザー走査画像の推定方法の一例を示す図である。
【図５】連続スペクトルと線スペクトルの判断を示すフローチャートである。
【図６】第２の実施形態における撮像システムの構成の概要を示す図で、（ａ）は正面図、（ｂ）は側面図である。
【図７】第３の実施形態における色検査システムの構成の概要を示す図である。
【図８】色検査システムにおける判断工程を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図を参照して説明する。
本実施形態に係る撮像システムの具体的構成を説明する前に、図１に基づいて本発明の原理を説明する。
ここでは、機能原理を分かり易く説明するために、第１の光学系としての光学系２は単レンズで示し、光学系２の絞り位置Ｓを単レンズの中心としている。
単レンズ２の中心には、フィルタ手段を構成する３種類のフィルタｆ１（Ｒ：レッド）、ｆ２（Ｇ：グリーン）、ｆ３（Ｂ：ブルー）が並べられている。
実際にはレンズ内にフィルタが位置することはない。
【００１１】
単レンズ２の集光位置付近には、第２の光学系としてのマイクロレンズアレイ（以下、「ＭＬＡ」という）３が配置されている。図中のイメージ領域４においては、撮像素子としてのセンサ５が配置されている。
ＭＬＡ３は、撮像素子の二次元平面方向と略平行に複数のレンズが二次元的に並んだレンズアレイである。
ここでは、簡便な理解のために、センサ５はモノクロセンサとする。
【００１２】
物体１の一点から広がった光は、単レンズ２上の異なる位置に入射し、位置に応じて異なる分光特性を有するフィルタｆ１〜ｆ３を通過する。
フィルタを通過した光は、ＭＬＡ３付近で一度結像するが、その後ＭＬＡ３により、各々センサ５の別位置に照射される。
この時、ある一点からの異なる分光特性を持つ光が、センサ５上に異なる位置に照射されるために、一度に複数の分光情報をセンサ５上に投影することができる。
【００１３】
物体１の上記一点とは異なった位置の分光情報も、上記と同様に、センサ５の異なる位置に照射され、最終的に画像処理で、分光特性毎に並べ替えを実施することで、分光特性毎の二次元画像を一度に取得することができる。
この原理を応用すれば、単レンズ２の絞り付近に複数のバンドパスフィルタを配置することで、物体の二次元のスペクトルを瞬時的に計測することができる。
一般的に、自然界のスペクトルを計測するためには、最低6バンド以上のバンドパスフィルタが必要と言われている。
【００１４】
ここで、「絞り付近」とは、絞り位置を含み、種々の画角の光線が通過できる部位を意味する。
本発明に係るフィルタ手段は、異なる分光特性を有する複数のフィルタで構成される場合と、異なる分光特性を有する複数のフィルタ領域で構成される場合とがある。
前者の場合は複数のフィルタを結合ないし組み合わせて構成され、後者の場合は一体物のフィルタにおいて領域毎に分光特性が異なる構成となる。
【００１５】
第１の実施形態に係る撮像システムの構成を図２に基づいて説明する。
撮像システム１０は、物体からの分光情報を取得する撮像装置１２と、分光画像生成手段としてのＦＰＧＡ（Field-Programmable Gate Array）１４とを有している。
ＦＰＧＡ１４は、モノクロセンサ６により取得された分光情報に基づいて複数種類の分光画像を生成する。
また、撮像システム１０は、生成された分光画像から画素毎のスペクトルを推定するスペクトル推定手段としての制御部１６を有している。制御部１６は、ＣＰＵ、ＲＯＭ、ＲＡＭ等で構成され、ＲＯＭにはスペクトル推定のためのソフトウェアが記憶されている。
換言すれば、制御部１６は、対象物の反射スペクトル画像または発光スペクトル画像を推定する手段である。
【００１６】
撮像装置１２は、レンズモジュール１８と、カメラ部２０とから構成されており、ＦＰＧＡ１４はカメラ部２０に内蔵されている。
レンズモジュール１８は、鏡筒２２と、該鏡筒２２内に設けられた第１の光学系としてのメインレンズ２４と、該メインレンズの絞り付近に配置されたフィルタ手段２６と、レンズ２８とを有している。
【００１７】
カメラ部２０は、その内部に第２の光学系としてのＭＬＡ３と、撮像素子としてのモノクロセンサ６と、ＦＰＧＡ１４とを有している。
ＦＰＧＡ１４は撮像装置１２の外部に設けられていてもよい。
ＭＬＡ３は、メインレンズ２４の光軸と直交する二次元方向に複数のマイクロレンズを配置した構成を有している。
図示しないが、モノクロセンサ６上には、ＭＬＡ３とは異なり、１画素ずつに対応したマイクロレンズが実装されている。
一般的なカラーセンサは、ベイヤー配列でＲＧＢのカラーフィルタが画素毎に配備されている。
【００１８】
図３に、本実施形態に係るフィルタ手段２６の分光透過率を示す。
フィルタ手段２６は、６枚の分光フィルタからなり、制御部１６はＦＰＧＡ１４の出力を用いて可視域（４００−７００ｎｍ域）のスペクトルを推定している。
図１では３枚のフィルタからなる構成を例示したが、本実施形態ではフィルタ手段２６は６枚のフィルタから構成されている。
各フィルタ（チャンネル；以下「ＣＨ」とも表示する）の透過率分布は、式（１）に示すガウス関数により表され、ＣＨ１〜ＣＨ６の各パラメータは表１のようになる。
表１において、ａはフィルタのピーク波長の透過率［％］を、ｂはフィルタのピーク波長［ｎｍ］を、ｃは半値幅を示している。式（１）において、ｘは波長を示している。
【００１９】
【数１】
2014132256.tif 000003
【００２０】
【表１】
2014132256.tif 000004
【００２１】
本実施形態に係る撮像システムは、可視域のスペクトル推定を目的としているが、図３に示すように、測定対象となる４００−７００ｎｍにおけるいかなる波長においても、少なくとも２つ以上のフィルタの透過率は０％より大きくなっている。
一方、各ＣＨからの出力があるのか、またはノイズなのかを判別する上では、図４に示すように、測定対象となる４００−７００ｎｍにおけるいかなる波長においても、少なくとも２つ以上のフィルタの透過率は５％以上となっていることが望ましい。
【００２２】
これは、2つ以上のフィルタを透過した撮像画像の比、換言すれば、分光画像の出力強度比から、線スペクトルを推定することを目的としているためである。
一例として、図４に、５００ｎｍのレーザー走査画像の推定方法を示す。
５００ｎｍのレーザーを本撮像システムに入力した場合、各ＣＨの出力強度は、光学系、センサの分光感度比を一律に正規化した場合、
ＣＨ１：ＣＨ２：ＣＨ３：ＣＨ４：ＣＨ５：ＣＨ６＝０：２６：６６：１：０：０
となる。
ＣＨ２とＣＨ３の割合は、図４における黒丸で示すクロスポイントの透過率に対応している。
【００２３】
フィルタの波形形状は式（１）により表現されているため、上記のＣＨ２：ＣＨ３の比率で、中心波長はＣＨ２とＣＨ３の出力強度の和となることから、線スペクトル強度を算出することができる。
従来においては、ＣＨ２とＣＨ３の連続スペクトルの出力強度がわかっていても、これらのデータから所定のアルゴリズムを用いて線スペクトルのピーク位置と強度を精度良く推定することはできなかった。
上記「５％」は実験的に求められる値（閾値）で、どのフィルタないしフィルタ領域を透過した分光画像であるか区別できないレベルをノイズとして除去することを目的として設定された値である。
上記「５％」の透過率は、線スペクトルを推定可能な透過率の一例である。
【００２４】
上記にも示した通り、単一線スペクトルの場合は、ＣＨ２とＣＨ３からは出力を得られるが、それ以外のＣＨについては、ＣＨ４がノイズで埋もれることを考慮すると、実質的な出力値は得られない。
具体的には、最大と最小で９０：５以上の比率の差があった場合、最小出力画像はノイズとみなす。
本撮像システムにおいて、スペクトル推定手段としての制御部１６は、連続スペクトルを推定する機能と、線スペクトルを推定する機能とを有している。
３つ以上の分光画像のうち、少なくとも１つ以上の分光画像の出力が無い場合には、「線スペクトル」と判定して推定処理をするようになっている。
その制御動作を、連続スペクトルと線スペクトルの判断フローである図５に基づいて説明する。
【００２５】
測定が開始されると（Ｓ１）、少なくとも１つ以上出力強度が０となるＣＨ（フィルタないしフィルタ領域）が存在するか否かが判断される（Ｓ２）。
出力強度が０となるＣＨが存在しない場合は、線スペクトルが存在しない場合であり、連続スペクトルモードでの推定処理を実行する（Ｓ３）。
連続スペクトルモードでは、制御部１６は、全ＣＨの出力値から連続スペクトルを推定する（Ｓ４）。
その後、三刺激値であるＸＹＺの計算をして色変換を行い（Ｓ５）、ＸＹＺ値を算出する（Ｓ６）。色変換以降の処理は後述する色検査システムで実行される。
【００２６】
Ｓ２で、出力強度が０となるＣＨが１つでも存在した場合には、線スペクトルと判断し、線スペクトルモードでの推定処理を実行する（Ｓ７）。
線スペクトルモードでは、少なくとも２つ以上のＣＨの出力値から、線スペクトル（中心波長）を推定する（Ｓ８）。
【００２７】
自然界の中には、一部の波長の光を吸収する被写体（連続スペクトル）も存在するため、出力強度が得られる２つのＣＨ以外の出力値が０となった場合、「線スペクトルモード」として自動的に切り替えても良い。
具体的には撮像システムはｍ（ｍ＞３）種類の異なる分光特性を有するフィルタ手段を有し、フィルタの透過率特性は、推定するスペクトルの波長帯域のいかなる波長においても、少なくともｎ（ｎ＞２）種類のフィルタの透過率が５％以上である。
ｍ−ｎ種類の分光画像の出力が無い場合「線スペクトル」と判定する。
【００２８】
上記では、２つ以上のフィルタの透過率が０％を超える場合において、それらの出力強度の比から線スペクトルを推定することとしたが、本発明はこれに限定されない。
例えば、ＣＨ２のみが０％を超え、その他のＣＨが０％の場合には、ＣＨ２の中心波長のところを線スペクトルのピークとすることができる。
【００２９】
図６に、第２の実施形態を示す。
第１の実施形態では、撮像装置としてＭＬＡを利用した分光カメラ（プレノプティックカメラ）を用いる構成としたが、本発明はこれに限定されない。
本実施形態における撮像装置３０は、レンズユニット３２と、カメラ部２０と、レンズユニット３２の前に配置されたフィルタ手段３４と、該フィルタ手段３４を回転させるモータ３６とから構成されている。
フィルタ手段３４は、円板状の基体にＣＨ１〜ＣＨ６のフィルタ領域を設けた構成を有している。
フィルタ手段３４をモータ３６で所定方向（矢印Ｒ方向）に回転させることにより、時系列で異なる分光画像を撮影することができる。
【００３０】
第１の実施形態における撮像システムでは、フィルタ手段２６を構成する複数のフィルタを光が同時に透過するため、二次元の線スペクトル画像をリアルタイム（瞬時）に測定できる。
本実施形態の撮像システムでは、フィルタ手段３４が１回転することによって、初めて対象物体の分光反射率、発光スペクトルを推定することができる。
ここで利用している複数のフィルタは、第１の実施形態における６枚のフィルタと同一の分光特性を有している。
【００３１】
図７及び図８に基づいて第３の実施形態（色検査システム）を説明する。
色検査システム５０は、上述した撮像システム１０と、処理基板５２と、ＰＣ（パーソナルコンピュータ）５４とを有している。
Ｓ１１〜Ｓ１６は、図５のＳ１〜Ｓ６に対応している。
処理基板５２は、撮像システム１０において計測、演算されたスペクトル情報からＸＹＺ計算（色変換）を行って色情報を抽出する。
その後、抽出された色情報を三刺激値であるＸＹＺに変換し（Ｓ１６）、あるいはＲＧＢに変換する（Ｓ１９）。
【００３２】
ＸＹＺ値は、スペクトルから以下のように算出される。
スペクトル関数を、φ（λ）ＣＩＥ同色関数として、下記のように表示すると、
【００３３】
【数２】
2014132256.tif 000005
【００３４】
【数３】
2014132256.tif 000006
【００３５】
となる。ここで、定数ｋは、
【００３６】
【数４】
2014132256.tif 000007
【００３７】
であり、積分範囲は可視波長域でとるものとする。
なお、ＸＹＺ値から算出する色空間については、ＸＹＺ表色系に限らず、ＲＧＢ表色系でもよい。
ＸＹＺからＲＧＢへの変換は以下のように算出される。
【００３８】
【数５】
2014132256.tif 000008
【００３９】
算出されたＸＹＺ及びＲＧＢ値は、色限度基準の範囲内であるかどうかが判定され（Ｓ２０）、検査結果としてＯＫ又はＮＧが表示される。
例えばレーザーによるスキャニング結果をＰＣ５４のディスプレイ上に表示した場合のディスプレイ上の色むらを検査するときには、ディスプレイ座標上の色データが出力される。
この場合、色データはＸＹＺで出力され、あるいはＲＧＢで出力される。
処理基板５２は出力された色データに対し、色限度基準の範囲内であるかどうかを判定し、ＰＣ５４のディスプレイ上に判定結果（ＯＫ又はＮＧ）を表示する。
【００４０】
撮像システム１０の制御部１６に処理基板５２の機能が組み込まれている構成としてもよい。
【符号の説明】
【００４１】
３  第２の光学系としてのマイクロレンズアレイ
１０  撮像システム
１６  スペクトル推定手段としての制御部
２６  フィルタ手段
ＣＨ１〜ＣＨ６  フィルタないしフィルタ領域
５０  色検査システム
【先行技術文献】
【特許文献】
【００４２】
【特許文献１】特開２００１−９９７１０号公報
【特許文献２】特開２００４−３４０９７８号公報
【図１】
2014132256.tif 000009
【図２】
2014132256.tif 000010
【図３】
2014132256.tif 000011
【図４】
2014132256.tif 000012
【図５】
2014132256.tif 000013
【図６】
2014132256.tif 000014
【図７】
2014132256.tif 000015
【図８】
2014132256.tif 000016