(57)【要約】【課題】  本発明は、顕微分光装置の分光測定における自動サンプル検出技術の精度向上に関する。【解決手段】  試料２０に励起光を照射する光源１２と、励起光を前記試料２０の所定位置に照射するとともに該試料２０からの反射光を集光する集光レンズ１６と、集光した光を検出する分光器２４と、該分光器２４からの信号を解析する解析制御手段３０と、を含み、試料２０の観察画像を利用して分光測定を行う顕微分光装置１０である。  解析制御手段３０は、観察画像を全焦点画像に変換処理して記憶する画像記憶部３２と、当該顕微分光装置１０を測定動作させる制御部３４を含み、  画像記憶部３２は、前記全焦点画像に対して分光測定の対象となるサンプルポイントの検出情報を付加処理してサンプルサーチ画像データを作成し、  制御部３４は、サンプルサーチ画像データを利用してサンプルポイントを自動検出することを特徴とする。【選択図】      図１
2020134228.tif 000002
【特許請求の範囲】
【請求項１】
試料に励起光を照射する光源と、励起光を前記試料の所定位置に照射するとともに該試料からの反射光または透過光を集光する集光レンズと、集光した光を検出する分光器と、該分光器からの信号を解析する解析制御手段と、を含み、前記試料の観察画像を利用して分光測定を行う顕微分光装置であって、
前記解析制御手段は、前記観察画像を全焦点画像に変換処理して記憶する画像記憶部と、当該顕微分光装置を測定動作させる制御部と、を含み、
前記画像記憶部は、前記全焦点画像に対して分光測定の対象となるサンプルポイントの検出情報を付加してサンプルサーチ画像データを作成し、
前記制御部は、前記サンプルサーチ画像データを利用してサンプルポイントを自動検出することを特徴とする顕微分光装置。
【請求項２】
請求項１に記載の顕微分光装置であって、
前記サンプルサーチ画像データには、前記全焦点画像を解析してサンプルポイントの重心位置、面積、円形度、色、フェレ径、および回転角度のうちのいずれかが検出情報として付加されていることを特徴とする顕微分光装置。
【請求項３】
請求項１または請求項２のいずれかに記載の顕微分光装置であって、
前記サンプルサーチ画像データには、前記試料におけるサンプルポイントの高さ位置情報が検出情報として付加されていることを特徴とする顕微分光装置。
【請求項４】
請求項１から請求項３のいずれかに記載の顕微分光装置であって、
前記画像記憶部は、前記サンプルサーチ画像データを作成する前処理として全焦点画像の二値化処理を行うことを特徴とする顕微分光装置。
【請求項５】
請求項１から請求項４のいずれかに記載の顕微分光装置であって、
前記制御部は、前記サンプルサーチ画像データを利用して画像のマッチング動作としてのテンプレートマッチングによるサンプルポイントの自動検出を行うことを特徴とする顕微分光装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は顕微分光装置、特に顕微分光装置の分光測定における自動サンプル検出技術の精度向上に関する。
【背景技術】
【０００２】
従来から試料に含まれる物質を特定するための手段として分光測定が広く知られている。例えば、ラマン分光測定では励起光によって試料から発生するラマン散乱光を検出し、励起光とラマン散乱光との振動数の差分（ラマンシフト）に基づいて試料に含まれる物質を特定することができる。
【０００３】
通常、測定対象の位置がはっきりしていればポイント測定によるラマン分光測定を行い、得られたスペクトルデータを解析することで測定対象を特定することが出来る。ところが、未知試料を測定する場合や異物検査などの場合に、試料のどの領域に測定対象が位置しているかをあらかじめ把握出来ていることは稀である。
【０００４】
そこで特許文献１には、注射溶剤（検査チップの液材収容部）をマッピングして画像を撮影し、撮影画像をコンピュータで二値化処理し、異物の重心の二次元座標を記録し、顕微ラマン分光装置の対物レンズを高倍率の対物レンズに切り替えて、異物が存在する座標位置にステージを移動させてラマン分光測定法により異物のスペクトルを取得する技術、すなわち分光測定において異物の自動測定が可能な技術が開示されている。さらに、特許文献１では深さ方向のマッピング測定を行うことで三次元画像を作成し、該三次元画像により異物を特定する技術についても開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２９２７０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のように二値化処理等の所定処理を施した撮影画像を利用すれば試料（特許文献１では注射溶剤）における異物の座標位置を特定し該異物を自動検出してスペクトルを取得することは出来るが、実際の撮影画像には必ず焦点のズレが生じており、その結果、異物の種類によっては誤検出を招くおそれがある。
【０００７】
また、特許文献１では上記のとおり深さ方向のマッピング測定を行うことで三次元画像を作成し、該三次元画像により異物を特定することも開示されている。この方法であれば深さ方向の情報も利用した自動検出が可能とも思えるが、実際には必ずしも撮影画像の全領域において焦点のズレが解消しているとは言えず深さ情報が正確でない領域を有することにより精度の良い測定が困難な場合もあり、まだまだ改良の余地がある。
【０００８】
本発明は上記従来技術の課題に鑑みて行われたものであって、その目的は従来よりも誤検出が少なく、且つ、精度の良い分光測定が可能な自動サンプル検出機能を有する顕微分光装置を実現することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明にかかる顕微分光装置は、
試料に励起光を照射する光源と、励起光を前記試料の所定位置に照射するとともに該試料からの反射光または透過光を集光する集光レンズと、集光した光を検出する分光器と、該分光器からの信号を解析する解析制御手段と、を含み、前記試料の観察画像を利用して分光測定を行う顕微分光装置であって、
前記解析制御手段は、前記観察画像を全焦点画像に変換処理して記憶する画像記憶部と、当該顕微分光装置を測定動作させる制御部と、を含み、
前記画像記憶部は、前記全焦点画像に対して分光測定の対象となるサンプルポイントの検出情報を付加してサンプルサーチ画像データを作成し、
前記制御部は、前記サンプルサーチ画像データを利用してサンプルポイントを自動検出することを特徴とする。
【００１０】
また、本発明にかかる顕微分光装置は、
前記サンプルサーチ画像データには、前記全焦点画像を解析してサンプルポイントの重心位置、面積、円形度、色、フェレ径、および回転角度のうちのいずれかが検出情報として付加されていることを特徴とする。
【００１１】
また、本発明にかかる顕微分光装置は、
前記サンプルサーチ画像データには、前記試料におけるサンプルポイントの高さ位置情報が検出情報として付加されていることを特徴とする。
【００１２】
また、本発明にかかる顕微分光装置は、
前記画像記憶部は、前記サンプルサーチ画像データを作成する前処理として全焦点画像の二値化処理を行うことを特徴とする。
【００１３】
また、本発明にかかる顕微分光装置は、
前記制御部は、前記サンプルサーチ画像データを利用して画像のマッチング動作としてのテンプレートマッチングによるサンプルポイントの自動検出を行うことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、観察画像を変換処理して得られた全焦点画像に対して試料において分光測定の対象となるサンプルポイントの検出情報を付加してサンプルサーチ画像データを作成し、このサンプルサーチ画像データを利用してサンプルポイントを自動検出することで、従来よりも誤検出が少なく、且つ、精度の良い分光測定が可能な自動サンプル検出機能を有する顕微分光装置を提供できる効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係るラマン顕微分光測定装置の概略構成図を示す。
【図２】本実施形態に係るラマン顕微分光測定装置におけるサンプルサーチ機能のフローチャートを示す。
【図３】本実施形態に係るラマン顕微分光測定装置における全焦点画像の取得方法の概略図を示す。
【図４】本実施形態における全焦点画像に対するシェーディング処理の概略イメージ図を示す。
【図５】本実施形態における全焦点画像に対するノイズ除去についての概略イメージ図を示す。
【図６】本実施形態における全焦点画像に対する先鋭化処理についての概略イメージ図を示す。
【図７】本実施形態の二値化処理におけるサンプルポイントの明るさについての概略イメージ図を示す。
【図８】本実施形態における手動二値化処理の概略イメージ図を示す。
【図９】本実施形態における適応的二値化処理の概略イメージ図を示す。
【図１０】本実施形態における領域分割処理の概略イメージ図を示す。
【図１１】本実施形態におけるサンプルポイントの特徴評価についての概略イメージ図を示す。
【図１２】一般的なテンプレートマッチング処理（画像のマッチング処理）の概略イメージ図を示す。
【図１３】本実施形態におけるテンプレートマッチング処理によるサンプルサーチの概略図を示す。
【図１４】本実施形態における二値化検出によるサンプルサーチについての概略図を示す。
【図１５】本実施形態における試料の傾斜による影響について示す。
【発明を実施するための形態】
【００１６】
以下、本発明の顕微分光装置について図面を用いて説明するが、本発明の趣旨を超えない限り何ら以下の例に限定されるものではない。
【００１７】
図１に本発明の実施形態に係る顕微分光装置の概略構成図を示す。本実施形態に係る顕微分光装置は、ラマン顕微分光測定装置である。同図に示すラマン顕微分光測定装置１０は、励起光を試料２０に照射する光源１２と、該励起光を試料２０方向へ導光するビームスプリッター１４と、励起光を試料２０の所定位置に照射するとともに試料２０からの反射光を集光する集光レンズ機能を有する対物レンズ１６と、試料２０が載置される可動ステージ１８と、集光した試料２０からの反射光の中から測定に不要な特定の光を除去するフィルタ２２と、該フィルタ２２を通過したラマン散乱光を検出する分光器２４と、該分光器２４に接続された解析制御手段としてのコンピュータ３０と、から構成されている。また、コンピュータ３０は、顕微測定による観察画像を記憶する画像記憶部３２と当該ラマン顕微分光測定装置１０を測定動作させる制御部３４を有している。
【００１８】
はじめにラマン分光測定のおおまかな流れについて説明する。光源１２から放射された励起光は、ビームスプリッター１４によって試料２０方向へ反射され、対物レンズ１６を経由して試料２０の所定位置へ照射される。試料２０に照射された励起光により、励起光の波長とは異なる光（ラマン散乱光）が試料２０から散乱する。
【００１９】
そして、対物レンズ１６によってラマン散乱光が取り込まれ（対物レンズ１６は集光レンズとしての役割も果たしている）、その後、ビームスプリッター１４を通過したラマン散乱光はフィルタ２２を介して分光器２４へと進む。本実施形態におけるフィルタ２２には、例えばノッチフィルタやエッジフィルタのようなリジェクションフィルタを利用することが出来る。
【００２０】
分光器２４によって検出されたラマン散乱光はコンピュータ３０に取り込まれ、スペクトルデータとして目的に合わせた所定の解析が行われる。本実施形態におけるラマン分光測定は概略以上のような流れで行われる。ここで、本実施形態に係るラマン顕微分光測定装置１０は、ラマン分光測定におけるサンプルポイントを自動検出できるサンプルサーチ機能を有している。以下、本発明の特徴的な機能であるサンプルサーチについて詳しく説明する。
【００２１】
サンプルサーチ機能
図２には、本実施形態に係るラマン顕微分光測定装置におけるサンプルサーチ機能のフローチャートを示す。なお、本フローチャートは、ラマン顕微分光測定装置１０によるラマン分光測定の前段階におけるそれぞれの処理または工程をあらわしている。
【００２２】
図２に示すように、はじめに試料２０の全焦点画像を取得する（Ｓ１）。本明細書における全焦点画像とは、ラマン顕微分光測定装置１０で顕微測定した全領域において焦点が定まっている観察画像、または全領域において焦点を定めるための何らかの処理が施された観察画像のことを言う。
【００２３】
例えば図３に示すように、焦点の異なる複数の画像を合成することで、ボケの無い鮮明な全焦点画像を取得することが出来る。また、全焦点画像を取得する際に、試料２０の高さ情報も同時に取得することが出来る。さらに、本実施形態における全焦点画像は顕微測定と同時に各点をオートフォーカス等することで取得しても良いが、例えば顕微測定した観察画像を図１の画像記憶部３２に記憶し、その後に所定の処理を施して全焦点画像に加工することも出来る。
【００２４】
そして、得られた全焦点画像に対してサンプルサーチに利用しやすい画像とするための補正処理を行う（Ｓ２）。画像の補正処理としては例えばシェーディング処理、ノイズ除去、先鋭化処理等を行うことが出来る。
【００２５】
シェーディング処理は図４に示すように、その後の二値化処理（図２のＳ３）において背景画像に対してコントラストが小さい領域に位置するサンプルポイントを検出する場合に有効である（図４のようにシェーディング処理の補正なしの場合には、サンプルポイントを特定することが困難なこともある）。
【００２６】
ノイズ除去は、例えばメディアンフィルターを用いて行うことができる。メディアンフィルターは図５に示すように、各画素の周辺範囲（例えば３×３の９ピクセル）と比較して、その中央値を算出して置き換える。外れ値を除去する効果があるため、画像中のごま塩ノイズの除去に特に効果的である。本実施形態におけるフィルターサイズは、小で３×３、中で５×５、大で７×７としているが特にこれらの数値に限定されるものではない。
【００２７】
先鋭化処理は図６に示すように、全焦点画像における背景画像とサンプルポイントとの輪郭をはっきりとさせる効果を有する。本実施形態では先鋭化処理の効果を小で３×３、中で５×５、大で７×７の範囲で処理することとしているが特にこれらの数値に限定されるものではない。
【００２８】
次に、図２のフローチャートのＳ２で補正処理がされた全焦点画像に対して二値化処理を行う（Ｓ３）。この二値化処理を行う前に、検出するサンプルポイントが背景画像と比較して明るいか、あるいは暗いかを設定する。例えば図７（ａ）のように背景画像に対してサンプルポイントが明るい場合にはコンピュータ３０の設定画面（図示を省略）で「明るい」を設定し、図７（ｂ）のように背景画像に対してサンプルポイントが暗い場合には「暗い」を設定する。二値化処理は、しきい値を手動で設定する手動二値化、自動でしきい値を設定する自動二値化、および適応的二値化をユーザーが選択して行うようにすることができる。
【００２９】
手動二値化は図８に示すように、全焦点画像に対してしきい値を手動で設定し、各点の輝度値がしきい値以上であれば検出領域とみなしてその部分を抽出し、それ以外を背景画像とみなして白黒表示をする。しきい値の設定は、例えばコンピュータ３０の設定画面に表示されるスクロールバーを操作して設定したり、あるいはテキストボックスへ数値を入力するようにしても良い。
【００３０】
自動二値化は、しきい値の設定を判別分析法で自動決定する方法である。この判別分別法は大津の二値化とも呼ばれており、例えば分離度が最大となるしきい値を求め、自動的に二値化を行うことができる。
【００３１】
適応的二値化は図９に示すように、平均化する領域サイズ（検出領域）とオフセットの値を設定することができる。画像に輝度ムラがあると、しきい値が固定の場合では適切な二値化処理ができない場合がある。この適応的二値化の処理は、各画素でしきい値を固定せずに、周辺の輝度値を参照してしきい値を設定できる方法である。このように本実施形態では、二値化処理の方法をサンプルポイントや測定状況に合わせて選択できるようにしている。
【００３２】
次に領域分割処理（Ｓ４）について説明する。領域分割処理（分水嶺処理とも呼ぶ）は、Ｓ３で二値化処理された画像に対して所定の処理を行うことで実現できる。図１０に示すように、全焦点画像の二値化画像を用いて、輪郭からサンプルポイントの中心に向かっていくほど輝度値が変化する距離地図を作成する。この距離地図に対して頂点位置を検出する。そして各頂点から縁に向かって膨張処理をする。膨張時に重なり合った場所を境界面として認識することで領域の分割を適正に行うことができる。
【００３３】
次に全焦点画像に対してＳ２〜Ｓ４までの処理を施した画像に対して、ラベリング処理を行う（Ｓ５）。ラベリング処理とは、二値化画像における連結していない複数の領域に対して、それらを区別するために一つの領域に一つの数値を割り当てることを言うが、本実施形態では厳密にこの処理を行う必要はなく、例えばこれに類似する処理が施されていれば良い。
【００３４】
次に、Ｓ６ではサンプルポイントの特徴評価を行う。ここでは全焦点画像についてＳ２〜Ｓ５までの処理を施した二値化画像に対して検索を行い、例えば図１１に示すようにサンプルポイントの重心位置、面積、色、円形度、水平および垂直方向のフェレ径や回転角度（図示を省略）などの特徴評価を行う。
【００３５】
また、本実施形態では全焦点画像を利用しているので、例えば試料２０におけるサンプルポイントの高さ位置情報を付加することも出来る。このＳ６の処理によってサンプルポイントの特徴が付加された画像データのことを本明細書ではサンプルサーチ画像データと呼ぶ。例えば重心位置の評価ではサンプルポイントの重心位置を求め、この重心位置がサンプルサーチ画像データに座標として登録される。
【００３６】
本実施形態におけるフェレ径の評価では、図１１のように外接長方形のＸ軸に平行な辺の長さを水平方向フェレ径とし、外接長方形のＹ軸に平行な辺の長さを垂直方向フェレ径として求めるようにする。面積の評価では、サンプルポイントの面積を求める。円形度の評価では、面積と周囲長から円形度を求めるようにする（円形度＝４π×面積÷（周囲長）２）。色の評価では、サンプルポイントの色情報を取得する。色情報は、例えばＲＧＢ形式で表示することができる（Ｒ：０〜２５５、Ｇ：０〜２５５、Ｂ：０〜２５５）。
【００３７】
次に検出条件の設定（フローチャートのＳ７）について説明する。Ｓ７では、サンプルサーチ画像データに対して分光測定の測定条件を設定する。この測定条件は、前記サンプルポイントの大きさ、面積、円形度、色、フェレ径、回転角度等から必要に応じて設定することができる。そして、設定した測定条件に基づいて測定点の登録を行い（Ｓ８）、登録された測定点についてラマン顕微分光測定装置１０によるラマン分光測定が行われる。
【００３８】
このように、全焦点画像の取得後（Ｓ１）に一連の処理（Ｓ２〜Ｓ６）を施してサンプルサーチ画像データを得た後に、設定した検出条件に基づいて測定点の登録を行うことで（Ｓ７、Ｓ８）、本実施形態では誤検出が少なく、且つ、精度の良いサンプルサーチ（サンプルポイントの自動検出）が可能となる。
【００３９】
テンプレートマッチングについて
上述したとおり、本実施形態に係るラマン顕微分光測定装置１０では全焦点画像（サンプルサーチ画像データ）を利用してサンプルサーチを行っている。具体的には、本実施形態ではフローチャートのＳ８で登録された測定点についてテンプレートマッチング（画像のマッチング動作）によるサンプルサーチを行っている。ここで言うテンプレートマッチングとは、例えば全焦点画像（サンプルサーチ画像データ）とその後の分光測定による画像とを重ね合わせることで形状の抽出やサンプルポイントの特定などを行うマッチング技術のことである。
【００４０】
図１２には一般的なテンプレートマッチング処理の概略イメージについて示す。図１２の左上に示すようなテンプレート画像に対してテンプレートマッチング（画像のマッチング動作）の走査範囲を広くすると、サンプルポイントに類似する画像の位置へ誤検出をしてしまう場合がある（実際にサンプルサーチをしてみると似た形状のものが多い）。
【００４１】
そこで、本実施形態では図１３に示すように走査範囲を狭めてテンプレートマッチングを実行することで誤検出を少なくすることができる。具体的には、テンプレート画像および走査する範囲は、サンプルポイントのフェレ径よりもある程度大きい範囲を個別に設定することができる。
【００４２】
例えば、テンプレート画像のサイズ指定としてサンプルポイントのフェレ径＋αとし、走査範囲としてサンプルポイントのフェレ径＋β（α、βはユーザーが設定）とすることができる。このようにテンプレート画像サイズと走査範囲を制限することで、誤検出が少なく精度の良いサンプルサーチを実現することが出来る。
【００４３】
また、本実施形態では全焦点画像を利用することで全領域における焦点が一致した状態となっているので、正確なサンプルポイントの検出が可能となる。図１４に示すように、従来の方法（全焦点画像を利用していない場合）であれば二値化検出によるテンプレートマッチング（サンプルサーチ）を行うとサンプルポイントを検出することができない、あるいは不正確な寸法測定となってしまう可能性が高い。そこで、本実施形態のように全焦点画像を利用したサンプルサーチを実行することで、サンプルポイントの正確な検出および寸法測定が可能となる。
【００４４】
さらに、図１５に示すように、従来であれば試料に傾斜がある場合（例えば図１では可動ステージ１８に載置された試料２０に傾斜がある場合）には撮影画像がボケてしまい、試料の特徴抽出がうまくできず、結果としてテンプレートマッチングが正しくできない場合がある。一方、本実施形態のように全焦点画像を利用することで、試料の高さ位置情報を得られた状態でサンプルサーチを行うことができるので、正確にサンプルポイントを検出することが出来る。
【００４５】
以上のように本発明に係るラマン顕微分光測定装置１０では、コンピュータ３０が有する画像記憶部３２で観察画像を変換処理し、得られた全焦点画像に対してサンプルポイントの検出情報を付加してサンプルサーチ画像データを作成し、このサンプルサーチ画像データを利用することで、誤検出が少なく、且つ、精度の良い分光測定が可能なサンプルサーチ機能を有するラマン顕微分光測定装置１０を実現することができる。
【００４６】
また、本実施形態ではラマン分光測定について説明したが、本発明はラマン分光測定に限られず他の分光測定においても同様の効果を得ることができる。例えば赤外分光測定や紫外可視分光測定に本実施形態と同様のサンプルサーチ画像データを利用してサンプルサーチを行うことで、従来に比べて誤検出が少なく、且つ、精度の良いサンプルサーチを実現することが出来る。
【符号の説明】
【００４７】
１０        ラマン顕微分光測定装置
１２        光源
１４        ビームスプリッター
１６        対物レンズ（集光レンズ）
１８        可動ステージ
２０        試料
２２        フィルタ
２４        分光器
３０        コンピュータ
３２        画像記憶部
３４        制御部
【図１】
2020134228.tif 000003
【図２】
2020134228.tif 000004
【図３】
2020134228.tif 000005
【図４】
2020134228.tif 000006
【図５】
2020134228.tif 000007
【図６】
2020134228.tif 000008
【図７】
2020134228.tif 000009
【図８】
2020134228.tif 000010
【図９】
2020134228.tif 000011
【図１０】
2020134228.tif 000012
【図１１】
2020134228.tif 000013
【図１２】
2020134228.tif 000014
【図１３】
2020134228.tif 000015
【図１４】
2020134228.tif 000016
【図１５】
2020134228.tif 000017