(57)【要約】【課題】装置に振動センサなどの新たな構成要素を付加することなく、撮影された画像を利用して、振動の発生を検知できる撮影装置を提供する。【解決手段】画像中の観察対象の位置を確認するための位置参照用画像と、該観察対象の分光分布を調べるための複数の輝度参照用画像を撮影する際に、第１の振動検出部にて前記位置参照用画像の振動検出を行い、振動が検出されなかった位置参照用画像から位置確認用のマスク画像を作成し、輝度参照用画像を撮影する毎に前記マスク画像と比較して位置ずれの有無を判定し、位置ずれが確認された場合には、位置参照用画像の撮影からやり直すことにより、振動を含んだ画像を排除する。【選択図】  図１
2005292124.tif 000002
【特許請求の範囲】
【請求項１】
同一の形状を持つ複数の撮影対象に参照光を照射し、該撮影対象のシルエットを撮影し、該各撮影対象の存在位置を求めるための位置参照用画像を取得する位置参照用画像撮影部と、
前記撮影対象に励起光を照射し、所定の通過帯域を持つ複数の光学フィルタ毎に前記撮影対象の輝度画像を撮影し、前記各撮影対象の輝度を前記各光学フィルタ毎に求めるための複数の輝度参照用画像を取得する輝度参照用画像撮影部と、
前記位置参照用画像の前記撮像対象の数あるいは面積の変化量と、前記撮像対象の形状変化の少なくとも一つを検出し、該検出結果に基づいて、前記位置参照用画像撮影部において前記撮影対象の撮影時に該各撮影対象に振動が生じたか否かを判定する第１の振動検出部と、
前記第１の振動検出部にて振動が検出されなかった位置参照用画像から、前記撮影対象の存在領域を示すマスク画像を作成するマスク画像作成部と、
前記各輝度参照用画像と前記マスク画像とをオーバレイ表示させ、前記各撮影対象の存在領域の外側に撮影対象が存在するか否かを検出し、該検出結果に基づいて、前記輝度参照用画像撮影部において前記撮影対象の撮影時に該各撮影対象に振動が生じたか否かを判定する第２の振動検出部と、を備える、
ことを特徴とする撮影装置。
【請求項２】
請求項１に記載の撮影装置において、
前記第１の振動検出部は、前記位置参照用画像上の個々の撮像対象の形状を表わす特徴量を求める形状変化検出部を備え、
該形状変化検出部で検出された特徴量と、予め保持されている該特徴量の閾値とを比較し、前記位置参照用画像上の複数の撮影対象のうち、前記閾値より大きな特徴量を持つものが、所定の個数以上、又は所定の割合以上存在する場合に、振動が生じたものと判定する、
ことを特徴とする撮影装置。
【請求項３】
請求項２に記載の撮影装置において、
前記撮像対象が球状をした物体である場合、前記特徴量は該撮影対象の最大直径の長さである、
ことを特徴とする撮影装置。
【請求項４】
請求項２に記載の撮影装置において、
前記撮像対象が球状であり、且つ高い光透過性を持つ物質である場合、前記特徴量は該撮像対象の高輝度部分の最大直径の長さである、
ことを特徴とする撮影装置。
【請求項５】
請求項１に記載の撮影装置において、
前記マスク画像作成部は、前記第１の振動検出部で振動が検出されなかった位置参照用画像上の前記撮影対象部分、及び該撮影対象部分に接する外周部分、をぬりつぶして、前記マスク画像を作成する、
ことを特徴とする撮影装置。
【請求項６】
請求項１に記載の撮影装置において、
前記第２の振動検出部は、前記輝度参照用画像と前記マスク画像とをオーバレイ表示し、該輝度参照用画像上の、前記撮影対象の存在領域以外の画素の輝度値と、予め保持されている該輝度値の閾値とを比較し、
前記撮影対象の存在領域以外の画素のうち、前記閾値より高い輝度値を持つ画素が、所定の個数以上、又は所定の割合より多く存在する場合に、振動が生じたものと判定する、
ことを特徴とする撮影装置。
【請求項７】
請求項１に記載の撮影装置において、
前記第２の振動検出部は、前記輝度参照用画像と前記マスク画像とをオーバレイ表示し、該輝度参照用画像上の、前記撮影対象の存在領域の外周に接する画素の輝度値と、予め保持されている該輝度値の閾値とを比較し、前記撮影対象の存在領域の外周に接する画素のうち、前記閾値より高い輝度値を持つ画素が、所定の個数以上、又は所定の割合より多く存在する場合に、振動が生じたものと判定する、
ことを特徴とする撮影装置。
【請求項８】
請求項１に記載の撮影装置において、
前記第１の振動検出部あるいは前記第２の振動検出部のいずれかにおいて振動が検出された場合、前記位置参照用画像及び前記各輝度参照用画像の全てを取得しなおす、
ことを特徴とする撮影装置。
【請求項９】
請求項１に記載の撮影装置において、
前記第１の振動検出部あるいは前記第２の振動検出部のいずれかにおいて振動が検出された場合、振動が検出された輝度参照用画像と、該振動が検出された輝度参照用画像上の前記撮影対象の存在位置を求めるための位置参照用画像とを取得しなおす、
ことを特徴とする撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、取得及び処理した画像を蓄積すると同時にこれを解析する撮影装置に関し、特に、解析対象の画像から振動した画像を排除して、信頼性の高いデータ解析を行なう撮影装置に関する。
【背景技術】
【０００２】
近年、撮影装置を用いた画像処理技術は、さまざまな分野に応用されており、遺伝子発現解析装置などの医療装置分野への応用例も数多くある。例えば、リアルタイムＰＣＲ法や、ＤＮＡマイクロアレイ（ＤＮＡチップともいう）、半導体ナノクリスタルを用いた遺伝子発現解析装置がある。
【０００３】
以下、従来の撮影装置として、蛍光顕微鏡を用いた遺伝子発現解析装置を例に挙げて説明する。
従来の遺伝子発現解析装置の撮影対象は、種々の分光特性を持った直径１０μｍ程度のビーズである。そしてこれらビーズには、その分光特性毎に特定の種類のｍＲＮＡが結合するようにしておく。当該遺伝子発現解析装置は、前記ビーズを撮影し、各ビーズの分光特性を解析することにより、存在するビーズの種類に対応したｍＲＮＡを特定する。
【０００４】
図１３は従来における蛍光顕微鏡を用いた遺伝子発現解析装置のブロック図である。
図１３において、従来の遺伝子発現解析装置６００は、観察対象である複数のビーズを注入する複数個のウエル６０２から構成されたウエルプレート６０１と、該ウエルプレート６０１を２次元平面ＸＹ方向に移動させるウエルプレート駆動部６０３と、該複数のビーズのシルエットを撮影する位置参照用画像撮影部６３０と、前記複数のビーズの輝度画像を、異なる通過波長領域を有する複数個の光学フィルタ毎に撮影する輝度参照用画像撮影部６４０と、ＣＣＤカメラ６１０を制御するＣＣＤカメラ制御部６１１と、当該装置６００全体を制御すると共に、前記各撮影部６３０，６４０にて撮影された画像を解析するＣＰＵ６２０とを備える。
【０００５】
より詳細に述べると、前記位置参照用画像撮影部６３０は、当該装置６００中の、参照光としてのＬＥＤ６０６、対物レンズ６０５、該対物レンズ６０５をＺ軸方向に移動させるＺ軸駆動部６１２、所定の波長未満の光を反射し、所定の波長以上の光を通過させるダイクロイックミラー６０７、結像レンズ６０９、及びＣＣＤカメラ６１０から構成されるものであり、前記ＬＥＤ６０６からのＬＥＤ光をウエル６０２内の観察対象である複数のビーズに照射し、それにより得られたビーズのシルエット光を対物レンズ６０５により拡大した後、ダイクロイックミラー６０７、バンドパスフィルタ６０８を通過させて、結像レンズ６０９によって集光し、この際、Ｚ軸駆動部６１２により前記対物レンズ６０５を駆動してフォーカス位置を合わせるようにし、前記シルエット光をＣＣＤカメラ６１０で撮影して、二次元画像に変換したシルエット画像を得るものである。
【０００６】
そして、前記輝度参照用画像撮影部６４０は、当該装置６００中の、励起光源６１３、対物レンズ６０５、Ｚ軸駆動部６１２、ダイクロイックミラー６０７、所定の波長域のみを通過させるバンドパスフィルタ６０８を複数個保持するフィルタホイール６１４、該フィルタホイール６１４を回転駆動するフィルタホイール駆動部６１５、結像レンズ６０９、及びＣＣＤカメラ６１０、から構成されるものであり、前記励起光源６１３からの励起光をダイクロイックミラー６０７で反射させて対物レンズ６０５を介してウエル６０２内の観察対象である複数のビーズに照射し、該照射光によって各ビーズが発光した光を、対物レンズ６０５により拡大した後、ダイクロイックミラー６０７、バンドパスフィルタ６０８を通過させて、結像レンズ６０９によって集光し、この際、Ｚ軸駆動部６１２により対物レンズ６０５を駆動させてフォーカス位置を合わせた後、該各ビーズが発光した光をＣＣＤカメラ６１０で撮影して二次元画像に変換した輝度画像を得るものである。
【０００７】
さらに、前記ＣＰＵ６２０内には、当該装置６００全体を制御する制御部６２１と、前記ＣＣＤカメラ６１０にて撮影した２次元画像を解析する解析部６２２と、前記位置参照用画像から、該撮影対象であるビーズの存在領域を示すマスク画像を作成するマスク画像作成部６２３と、が備えられている。
【０００８】
以下、動作を説明する。図１４は、従来の遺伝子発現解析装置において、観察対象であるビーズの分光特性を得るまでの一連の動作を示すフローチャート図である。
まず、ステップＳ１０１において、当該装置６００のＣＰＵ６２０内に、撮影対象である複数のビーズの存在位置を求めるための位置参照用画像を取り込む。具体的には、まずＣＰＵ６２０内の制御部６２１は、ウエルプレート駆動部６０３を制御して、観察対象が注入されたウエル６０２が対物レンズ６０５の真上に位置するように、ウエルプレート６０１を移動させる。この後、制御部６２１は、ＬＥＤ６０６を点灯し、前記ウエル６０２にＬＥＤ光を照射させる。ＬＥＤ光は、ウエル６０２内の観察対象であるビーズのシルエット光となり、対物レンズ６０５により拡大され、ダイクロイックミラー６０７、バンドパスフィルタ６０８を通過し、さらに、結像レンズ６０９によって集光されて、ＣＣＤカメラ６１０に到達する。前記制御部６２１は、Ｚ軸駆動部６１２に、前記シルエット光を撮影するためにフォーカス位置に合わせるよう指令した後、ＣＣＤカメラ制御部６１１に指令を与え、ＣＣＤカメラ６１０によって観察対象である複数のビーズのシルエット画像を撮影する。そして、この撮影されたシルエット画像を、ＣＰＵ６２０内の解析部６２２において２値化処理し、処理後の画像を、該各撮影対象の存在位置を求めるための位置参照用画像としてＣＰＵ６２０に記憶する。
【０００９】
次に、ステップＳ１０２において、前記ＣＰＵ６２０内に、前記各光学フィルタ通過後の前記各撮影対象の輝度値を求めるための複数の輝度参照用画像を取り込む。具体的には、まず制御部６２１は、ＬＥＤ６０６を消灯し、励起光源６１３から励起光を照射させる。励起光は、青色レーザー光のような短波長の光であり、該励起光がダイクロイックミラー６０７に当たると、該ダイクロイックミラー６０７の所定の波長未満の光を反射させるという性質によって、前記励起光を対物レンズ６０５の方向へ反射する。対物レンズ６０５はダイクロイックミラー６０７からの光をウエル６０２内の観察対象に集光させ、ウエル６０２内に存在する観察対象である複数のビーズは、前記対物レンズ６０５から照射された光によって、その分光特性に応じた発光パターンを示す。そして、該各ビーズが発光した光は、前述したシルエット光と同様、対物レンズ６０５、ダイクロイックミラー６０７、バンドパスフィルタ６０８を通過し、さらに、結像レンズ６０９によって集光されて、ＣＣＤカメラ６１０に到達する。このとき、バンドパスフィルタ６０８は、特定の波長域のみを通過させる性質を持つため、観察対象が発光した光の特定の波長域のみが、ＣＣＤカメラ６１０に到達する。前記制御部６２１は、ＣＣＤカメラ制御部６１１に指令を与え、観察対象が発光した光のうち、前記バンドパスフィルタ６０８を通過した特定の波長域のみの輝度画像を、ＣＣＤカメラ６１０で撮影する。そして、この撮影された輝度画像を、ＣＰＵ６２０内の解析部６２２で２値化処理し、該処理後の画像を、輝度参照用画像としてＣＰＵ６２０内に記憶する。
【００１０】
この後、ステップＳ１０３において、前述のようにして得た輝度参照用画像が、所定枚数取り込まれたかを確認し、まだ所定枚数に達していない場合、制御部６２１は、フィルタホイール駆動部６１５を制御して、フィルタホイール６１４を回転し、異なる波長域を通過させるバンドパスフィルタ６０８を光路中に設置し、前述と同様の処理を行って、観察対象が発光した光のうち、新たに設置されたバンドパスフィルタ６０８を通過した特定の波長域の輝度画像を、ＣＣＤカメラ６１０で撮影する。そして、前記撮影された輝度画像を解析部６２２にて２値化処理し、これを新たな輝度参照用画像として記憶する。この処理を所定回数、ここでは最終的に８枚の輝度参照用画像を取得できるまで繰り返し行い、種々の波長における輝度参照用画像を取得する。
【００１１】
前述のようにして得た位置参照用画像と輝度参照用画像とを用いて、前記観察対象である複数のビーズの種類を特定する解析ステップに移行する。
ここで、前記各輝度参照用画像に表示されたビーズと、位置参照用画像に表示されたビーズは、同じ位置に存在するはずである。よって、解析ステップでは、これを利用して前記各輝度参照用画像から、光学フィルタ毎の各ビーズの輝度値を求め、該輝度値よりビーズの種類を特定する。
【００１２】
まず、ステップＳ１０４において、ＣＰＵ６２０内のマスク画像作成部６２３で、取り込んだ位置参照用画像を用いて、ビーズの存在領域を示すマスク画像を作成する（ステップＳ１０４）。
【００１３】
図１５は、マスク画像と複数の輝度参照用画像とを示す図である。図１５において、８０１は位置参照用画像に、ビーズの中央部の高輝度部を塗りつぶすマスク処理をして得た、ビーズの存在領域を示すマスク画像である。
【００１４】
ここで、図中の７０１ａは、５０５ｎｍの光を通すバンドパスフィルタ６０８を通して取得した第１の輝度参照用画像であり、７０１ｂは、５２５ｎｍの光を通すバンドパスフィルタを通して取得した第２の輝度参照用画像であり、７０１ｃは、５４５ｎｍの光を通すバンドパスフィルタを通して取得した第３の輝度参照用画像である。
【００１５】
ここでは、２０ｎｍ毎に異なる波長域の光を通過させる８枚のバンドパスフィルタ６０８を用い、全部で８枚の輝度参照用画像を取得する。
なお、図１５では８枚の輝度参照用画像のうちの最初の３枚のみを示している。
【００１６】
前記マスク画像８０１上の領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍそれぞれは、ビーズＢ１，Ｂ２，Ｂ３が存在するビーズ存在領域であり、第１〜第３の輝度参照用画像７０１ａ〜７０１ｃ上の領域Ｂ１ａ〜Ｂ１ｃ，（Ｂ２ａ〜Ｂ２ｃ）（図中では、図示されず）、Ｂ３ａ〜Ｂ３ｃのそれぞれは、各輝度参照用画像上における、前記マスク画像８０１上の領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍに相当する領域である。
【００１７】
ステップＳ１０５〜Ｓ１０６において、前記ＣＰＵ６２０内の解析部６２２では、前記各輝度参照用画像上に存在するビーズ領域Ｂ１ａ〜Ｂ１ｃ，Ｂ２ａ〜Ｂ２ｃ，Ｂ３ａ〜Ｂ３ｃの位置は、それぞれ前記マスク画像８０１上に存在するビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの位置と同じであることを前提とし、該各輝度参照用画像上の領域Ｂ１ａ〜Ｂ１ｃ，Ｂ２ａ〜Ｂ２ｃ，Ｂ３ａ〜Ｂ３ｃのそれぞれの輝度平均値を求める。
【００１８】
例えば、第１の輝度参照用画像７０１ａ上のＢ１ａ領域の輝度平均値がＡで、第２の輝度参照用画像７０１ｂ上のＢ１ｂ領域の輝度平均値がＢで、第３の輝度参照用画像７０１ｃ上のＢ１ｃ領域の輝度平均値がＣである、ものとする。
そして、ステップＳ１０７において、以上のようにして得た輝度平均値をプロットする。
【００１９】
図１６は、マスク画像上の３つのビーズ領域に相当する、輝度参照用画像上の領域の輝度平均値をプロットした図である。
図１６において、横軸がバンドパスフィルタの透過波長を示し、縦軸が輝度平均値を示す。図中の、９０１はビーズ存在領域Ｂ１ｍに相当する第１〜第８の輝度参照用画像上の領域の輝度平均値をプロットし、該プロット点を繋いで得たビーズＢ１の特性を示す分光曲線であり、９０２はビーズ存在領域Ｂ２ｍに相当する領域の輝度平均値をプロットし、該プロット点を繋いで得たビーズＢ２の特性を示す分光曲線であり、９０３はビーズ存在領域Ｂ３ｍに相当する輝度参照用画像上の領域の輝度平均値をプロットし、該プロット点を繋いで得たビーズＢ３の特性を示す分光曲線である。
【００２０】
そして、ステップＳ１０８において、前記解析部６２２は、このようして得た各ビーズの分光曲線９０１〜９０３から、各ビーズＢ１〜Ｂ３の分光特性を解析し、ビーズの種類を同定する。
【００２１】
このように、従来手法においては、図１７（ａ）に示すように、第１の輝度参照用画像にマスク画像をオーバレイ表示させた際に、マスク画像上のビーズ領域Ｂ１ｍ〜Ｂ３ｍと、該第１の輝度参照用画像上のビーズ領域Ｂ１ａ〜Ｂ３ａとが、同じ位置にあることを前提とし、マスク画像のビーズ存在領域Ｂ１ｍ〜Ｂ３ｍに相当する輝度参照用画像上の領域の輝度平均値を得、その平均値から前記ビーズの種類を特定していた。
【００２２】
従って従来の手法では、振動を検出する手段がなく、輝度参照用画像の撮影中に振動が生じて、輝度参照用画像上のビーズの位置に変動が生じたとしても前述と同様に処理され、例えば図１７（ｂ）に示すように、輝度参照用画像にマスク画像をオーバレイ表示した際、マスク画像上のビーズ存在領域Ｂ１ｍ〜Ｂ３ｍと輝度参照用画像上のビーズ領域にずれが生じた場合、解析部６２２は、各輝度参照用画像上の各ビーズの正確な輝度平均値が求められず、この結果、ビーズの種類を正しく特定することができなかった。
【００２３】
なお、図１７は、従来のマスク画像中に存在するビーズ領域と第１の輝度参照用画像中に存在するビーズ領域の関係を示す図であり、図（ａ）は振動が発生していない場合の、輝度参照用画像にマスク画像をオーバレイ表示したものを示し、図（ｂ）は振動が発生した場合の、輝度参照用画像にマスク画像をオーバレイ表示したものを示す。
【００２４】
これを解決する方法として、例えば、特許文献１の技術を用いて、撮影対象近傍に振動検出センサを取りつけ、各輝度参照用画像の撮影前あるいは撮影中に、ビーズの位置に変動が生じたか否かを判定して、データの有効性を判定することが考えられる。
【特許文献１】特開平５−１３０５４５号公報
【発明の開示】
【発明が解決しようとする課題】
【００２５】
しかしながら、前記特許文献１のような振動検知方法を用いた場合、振動を検知するための振動センサを当該装置６００内に設ける必要があるため、コストアップの原因となることに加え、振動とビーズ位置の変動との対応付けに多大な労力を必要とする、という課題が生じる。
【００２６】
すなわち、振動の強弱や方向、センサの取りつけ位置、あるいは振動とセンサの位置との関係などについて、詳細な解析を行わない限り、センサからの出力と、実際のビーズ位置の変動の許容範囲を正確に対応付けるのは困難である。
【００２７】
本発明は、このような課題を解決するためになされたものであり、装置に振動センサなどの新たな構成要素を付加することなく、振動の発生を検出し、振動した画像を排除して信頼性の高いデータ解析を行なえる撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００２８】
前記従来の課題を解決するため、本発明の請求項１にかかる撮影装置は、同一の形状を持つ複数の撮影対象に参照光を照射し、該撮影対象のシルエットを撮影し、該各撮影対象の存在位置を求めるための位置参照用画像を取得する位置参照用画像撮影部と、前記撮影対象に励起光を照射し、所定の通過帯域を持つ複数の光学フィルタ毎に前記撮影対象の輝度画像を撮影し、前記各撮影対象の輝度を前記各光学フィルタ毎に求めるための複数の輝度参照用画像を取得する輝度参照用画像撮影部と、前記位置参照用画像の前記撮像対象の数あるいは面積の変化量と、前記撮像対象の形状変化の少なくとも一つを検出し、該検出結果に基づいて、前記位置参照用画像撮影部において前記撮影対象の撮影時に該各撮影対象に振動が生じたか否かを判定する第１の振動検出部と、前記第１の振動検出部にて振動が検出されなかった位置参照用画像から、前記撮影対象の存在領域を示すマスク画像を作成するマスク画像作成部と、前記各輝度参照用画像と前記マスク画像とをオーバレイ表示させ、前記各撮影対象の存在領域の外側に撮影対象が存在するか否かを検出し、該検出結果に基づいて、前記輝度参照用画像撮影部において前記撮影対象の撮影時に該各撮影対象に振動が生じたか否かを判定する第２の振動検出部と、を備えるものである。
これにより、当該装置にて取得した画像を用いて、撮影時に振動が生じたか否かを検出可能となる。
【００２９】
さらに、本発明の請求項２にかかる撮影装置は、請求項１に記載の撮影装置において、前記第１の振動検出部は、前記位置参照用画像上の個々の撮像対象の形状を表わす特徴量を求める形状変化検出部を備え、該形状変化検出部で検出された特徴量と、予め保持されている該特徴量の閾値とを比較し、前記位置参照用画像上の複数の撮影対象のうち、前記閾値より大きな特徴量を持つものが、所定の個数以上、又は所定の割合以上存在する場合に、振動が生じたものと判定するものである。
これにより、取得した位置参照用画像を用いて、前記撮影対象のシルエットを撮影する際に振動が生じたか否かを検出することができる。
【００３０】
さらに、本発明の請求項３にかかる記載の撮影装置は、請求項２に記載の撮影装置において、前記撮像対象が球状をした物体である場合、前記特徴量は該撮影対象の最大直径の長さである、ものとしたものである。
これにより、撮影対象の形状を容易に求めることができる。
【００３１】
さらに、本発明の請求項４にかかる撮影装置は、請求項２に記載の撮影装置において、前記撮像対象が球状であり、且つ高い光透過性を持つ物質である場合、前記特徴量は該撮像対象の高輝度部分の最大直径の長さである、ものとしたものである。
これにより、撮影対象の形状をより正確且つ簡単に求めることができる。
【００３２】
さらに、本発明の請求項５にかかる撮影装置は、請求項１に記載の撮影装置において、前記マスク画像作成部は、前記第１の振動検出部で振動が検出されなかった位置参照用画像上の前記撮影対象部分、及び該撮影対象部分に接する外周部分、をぬりつぶして、前記マスク画像を作成するものである。
これにより、作成されたマスク画像を用いて、前記撮影対象の輝度画像を撮影する前あるいは撮影する際に、振動が生じたか否かを容易に検出することが可能となる。
【００３３】
さらに、本発明の請求項６にかかる撮影装置は、請求項１に記載の撮影装置において、前記第２の振動検出部は、前記輝度参照用画像と前記マスク画像とをオーバレイ表示し、該輝度参照用画像上の、前記撮影対象の存在領域以外の画素の輝度値と、予め保持されている該輝度値の閾値とを比較し、前記撮影対象の存在領域以外の画素のうち、前記閾値より高い輝度値を持つ画素が、所定の個数以上、又は所定の割合より多く存在する場合に、振動が生じたものと判定するものである。
これにより、前記マスク画像を用いて、撮影時に振動が生じたか否かをより確実に検出することができる。
【００３４】
さらに、本発明の請求項７にかかる撮影装置は、請求項１に記載の撮影装置において、前記第２の振動検出部は、前記輝度参照用画像と前記マスク画像とをオーバレイ表示し、該輝度参照用画像上の、前記撮影対象の存在領域の外周に接する画素の輝度値と、予め保持されている該輝度値の閾値とを比較し、前記撮影対象の存在領域の外周に接する画素のうち、前記閾値より高い輝度値を持つ画素が、所定の個数以上、又は所定の割合より多く存在する場合に、振動が生じたものと判定するものである。
これにより、検出対象が少なくなるため、輝度画像の撮影前あるいは撮影時に振動が生じたか否かをより短時間で検出することができる。
【００３５】
さらに、本発明の請求項８にかかる撮影装置は、請求項１に記載の撮影装置において、前記第１の振動検出部あるいは前記第２の振動検出部のいずれかにおいて、振動が検出された場合、前記位置参照用画像及び前記各輝度参照用画像の全てを取得しなおすものである。
これにより、振動が検出された画像を確実に排除することができ、この結果、当該装置における解析データの信頼性を格段に向上させることができる。
【００３６】
さらに、本発明の請求項９にかかる撮影装置は、請求項１に記載の撮影装置において、前記第１の振動検出部あるいは前記第２の振動検出部のいずれかにおいて振動が検出された場合、振動が検出された輝度参照用画像と、該振動が検出された輝度参照用画像上の前記撮影対象の存在位置を求めるための位置参照用画像とを取得しなおすものである。
これにより、振動が検出された画像を排除したすべての画像を取得するまでの時間を短縮できる。
【発明の効果】
【００３７】
本発明の撮影装置によれば、位置参照用画像撮影部にて撮影された位置参照用画像を用いて、該画像の撮影中に振動が生じたか否かを検出する第１の振動検出部と、前記マスク画像作成部にて前記位置参照用画像から作成された前記ビーズ存在領域を示すマスク画像を用いて、輝度参照用画像撮影部にて撮影された複数の輝度参照用画像の撮影前あるいは撮影中に振動が生じたか否かを検出する第２の振動検出部とを設けるようにしたので、撮影された位置参照用画像及び各輝度参照用画像を用いて、それらの撮影前あるいは撮影時に生じた振動を容易に検出し、撮影された画像のうち、振動が生じた画像を排除することが可能となる。この結果、当該装置において、信頼性の高いデータ解析を行うことができる。
【発明を実施するための最良の形態】
【００３８】
以下に、本発明の撮影装置の実施の形態を図面とともに詳細に説明する。
（実施の形態１）
本実施の形態１による撮影装置は、画像を撮影する前あるいは撮影中に振動が生じたか否かを、該撮影した画像から検出するものである。ここで、本実施の形態１においては、撮影装置が、背景技術で述べた、撮影された画像中に存在するビーズの分光特性を解析して該ビーズの種類を特定し、そのビーズの種類に対応したｍＲＮＡを同定する遺伝子発現解析装置である場合を例に挙げて説明する。
また、撮影対象は、種々の分光特性を持った直径１０μｍ程度のビーズであるものとする。
【００３９】
図１は、本実施の形態１における遺伝子発現解析装置の構成を示す図である。
図１において、本実施の形態１による遺伝子発現解析装置１００は、観察対象である複数のビーズを注入する複数個のウエル１０２から構成されたウエルプレート１０１と、該ウエルプレート１０１を２次元平面ＸＹ方向に移動させるウエルプレート駆動部１０３と、撮影対象である複数のビーズのシルエットを撮影する位置参照用画像撮影部１３０と、前記ビーズの輝度画像を、異なる通過波長領域を有する複数個の光学フィルタ毎に撮影する輝度参照用画像撮影部１４０と、ＣＣＤカメラ１１０を制御するＣＣＤカメラ制御部１１１と、ＣＰＵ１２０とを備える。そして、前記ＣＰＵ１２０には、当該装置１００全体を制御する制御部１２１と、前記ＣＣＤカメラ１１０で撮影した画像を解析する解析部１２２と、前記位置参照用画像から、ビーズの存在領域を示すマスク画像を作成するマスク画像作成部１２３に加え、前記位置参照用画像を撮影中に振動が生じたか否かを検出する第１の振動検出部１２４と、前記輝度参照用画像を撮影する前あるいは撮影中に振動が生じたか否かを検出する第２の振動検出部１２５とが設けられている。
なお、図１において、図１１に示す従来装置６００と同一又は相当する箇所には、該従来装置に付した番号と同一または相当する番号を付している。
【００４０】
以下詳細に説明する。前記位置参照用画像撮影部１３０は、本装置１００中の、参照光としてのＬＥＤ１０６、対物レンズ１０５、Ｚ軸駆動部１１２、ダイクロイックミラー１０７、結像レンズ１０９、及びＣＣＤカメラ１１０から構成されるものであり、前記ＬＥＤ１０６からのＬＥＤ光をウエル１０２内の観察対象である複数のビーズに照射し、それにより得られたビーズのシルエット光を対物レンズ１０５により拡大した後、ダイクロイックミラー１０７、バンドパスフィルタ１０８を通過させて、結像レンズ１０９によって集光し、この際、Ｚ軸駆動部１１２によりフォーカス位置を合わせるようにし、前記シルエット光をＣＣＤカメラ１１０で撮影して二次元画像に変換したシルエット画像を得るものである。
【００４１】
そして、前記輝度参照用画像撮影部１４０は、当該装置１００中の、励起光源１１３、対物レンズ１０５、Ｚ軸駆動部１１２、ダイクロイックミラー１０７、フィルタホイール１１４、フィルタホイール駆動部１１５、結像レンズ１０９、及びＣＣＤカメラ１１０、から構成されるものであり、前記励起光源１１３からの励起光をダイクロイックミラー１０７、対物レンズ１０５を介して、ウエル１０２内の観察対象である複数のビーズに照射し、該照射光によって各ビーズが発光した光を対物レンズ１０５により拡大した後、ダイクロイックミラー１０７、バンドパスフィルタ１０８を通過させて、結像レンズ１０９によって集光し、この際、Ｚ軸駆動部１１２により対物レンズ１０５を移動させてフォーカス位置を合わせた後、該各ビーズが発光した光をＣＣＤカメラ１１０で撮影して二次元画像に変換した輝度画像を得るものである。
【００４２】
次に、動作を説明する。
本実施の形態１の遺伝子発現解析装置１００では、前述した従来装置６００と同様、観察対象である複数のビーズを撮影して、位置参照用画像と複数の輝度参照用画像を取り込んだ後、該取り込んだ画像を用いて、ビーズの分光特性を解析する（図１４参照）。
【００４３】
本実施の形態１における解析ステップの工程は、従来装置における解析ステップの工程と同じであるため、ここでは、画像を取り込む画像取り込みステップの詳細な工程について説明する。
【００４４】
図２は、本実施の形態１の遺伝子発現解析装置の画像取り込みステップの一連の流れを示すフローチャートである。
まず、ステップＳ１において、当該装置１００のＣＰＵ１２０内に、撮影対象である複数のビーズの存在位置を求めるための位置参照用画像を取り込む。具体的には、まずＣＰＵ１２０の制御部１２１は、ウエルプレート駆動部１０３を制御して、観察対象が注入されたウエル１０２が対物レンズ１０５の真上に位置するように、ウエルプレート１０１を移動させる。この後、制御部１２１は、ＬＥＤ１０６を点灯させ、ウエル１０２にＬＥＤ光を照射する。ＬＥＤ光は、ウエル１０２内の観察対象であるビーズのシルエット光となり、対物レンズ１０５により拡大され、ダイクロイックミラー１０７、バンドパスフィルタ１０８を通過し、さらに結像レンズ１０９によって集光されて、ＣＣＤカメラ１１０に到達する。前記制御部１２１は、Ｚ軸駆動部１１２に、前記シルエット光を撮影するためにフォーカス位置を合わせるよう指令した後、ＣＣＤカメラ制御部１１１に指令を与え、ＣＣＤカメラ１１０によって、前記複数のビーズのシルエット画像を撮影する。そして、この撮影されたシルエット画像を、ＣＰＵ１２０内の解析部１２２において２値化処理し、処理後の画像を、該各撮影対象の存在位置を求めるための位置参照用画像としてＣＰＵ１２０に記憶する。
【００４５】
図３（ａ）は、撮影されたシルエット画像を示す図であり、図３（ｂ）は、図３（ａ）に示すシルエット画像中に存在する１つのビーズの拡大図であり、図３（ｃ）は、図３（ａ）に示すシルエット画像から得た位置参照用画像を示す図である。なお、現実のシルエット画像には数百のビーズが写るが、図３では、簡単のために５個のビーズのみを示している。
【００４６】
図３（ｂ）に示されているように、ビーズは中央部に非常に明るい領域を持っている。これは、ビーズが半透明なアクリルでてきているため、ＬＥＤ光を照射した場合にレンズの働きを示し、中央部分に集光して中央が非常に明るくなり、ビーズの周縁部分は光が曲げられて届かないため、非常に暗くなるからである。
【００４７】
次に、ステップＳ２において、前記ＣＰＵ１２０内の第１の振動検出部１２４で、前記位置参照用画像撮影部１３０にてシルエット画像を撮影する際に振動が生じたか否かを検出する。
【００４８】
以下、前記第１の振動検出部１２４における振動検出方法について示す。図６は、第１の振動検出ステップの流れを示すフローチャートである。
ステップＳ２１として、第１の振動検出部１２４は、まず数・面積変化検出部１２４ａにおいて、位置参照用画像上のビーズの数、あるいは個々のビーズ面積を検出し、ステップＳ２２として、該検出されたビーズ数、あるいは個々のビーズ面積と、予め保持していた閾値とを比較する（ステップＳ２２）。
【００４９】
そして前記ステップＳ２２において、ビーズ数、あるいは個々のビーズ面積が前記閾値未満と判定された場合は、シルエット画像の撮影中に激しい振動が生じたと判定して、図２に示すステップＳ１に移行し、再度シルエット画像を撮影し直す。
【００５０】
ここで、位置参照用画像上に表示されたビーズの数、あるいは個々のビーズ面積を検出することで、振動が検出できる理由を述べる。
図４（ａ）は、シルエット画像の撮影時に激しい振動が生じた場合に得られるシルエット画像を示す図であり、図４（ｂ）は、図４（ａ）中のビーズＢ５を２値化した図である。
【００５１】
撮影時に激しい振動が生じた際に撮影されたシルエット画像２０１は、図４（ａ）に示すように大きくボケてしまい、その結果、ビーズ数が極めて少なくなったり（図４中では５つから３つに減少）、または図４（ｂ）に示されるように、個々のビーズ部分の面積が小さくなる。
【００５２】
この現象を利用し、数・面積変化検出部１２４ａにおいて、位置参照用画像上のビーズ数、及び個々のビーズ面積を検出し、該ビーズ数あるいは個々のビーズ面積を所定の閾値と比較することにより、撮影時に激しい振動が生じたか否かを検出する。
【００５３】
次に、前記数・面積変化検出部１２４ａに予め保持しておく閾値の計算方法を示す。
１つのウエル１０２に投入するビーズの数Ｎは、予め設定されており、しかも該ビーズは、前記ウエル１０２内に平均して分布している。従って、前記ウエル１０２のウエル面積をＳWとし、位置参照用画像で観察するウエル面積をＳMとすると、位置参照用画像中のビーズ数Ｎｘは、Ｎｘ＝（ＳW／ＳM）×Ｎとなり、これを上限とする値をビーズ数の閾値として設定する。この閾値が前記上限値に近ければ近いほど、小さい振動も検出できる。
【００５４】
また、ビーズ面積の閾値については、ビーズの形状は同じなので、前記ビーズ数の閾値から、個々のビーズ面積を計算し、これをビーズ面積の閾値として設定する。例えば、位置参照用画像２０１中のビーズ数の閾値を２００個とし、個々のビーズ面積の閾値を８０画素とする。
【００５５】
これらの閾値を予め保持しておき、該数・面積変化検出部１２４ａで検出した、位置参照用画像２０１中のビーズ数が２００個未満の場合に、撮影中に激しい振動が生じたと判定する。または、該数・面積変化検出部１２４ａで検出した、位置参照用画像２０１中の個々のビーズ面積のうちの最大面積をもつビーズ面積が８０画素未満である場合に、撮影中に激しい振動が生じたと判定する。もちろん、前記位置参照用画像２０１中の全てのビーズ面積を、前記ビーズ数の閾値と個々のビーズ面積の閾値とから計算し、この値をビーズ面積の閾値として保持してもよい。この場合、該数・面積変化検出部１２４ａで検出した、ビーズ面積が２００個×８０画素＝１６０００画素未満である場合に、激しい振動が生じたと判定する。
【００５６】
一方、前記ステップＳ２２において、前記数・面積変化検出部１２４ａで検出された値が閾値以上の場合は、次にステップＳ２３で、前記第１の振動検出部１２４内の形状変化検出部１２４ｂにおいて、前記位置参照用画像に存在するビーズの特徴量を検出し、ステップＳ２４において、該特徴量と、前記形状変化検出部１２４ｂに予め保持していた閾値とを比較する。
【００５７】
そして、前記ステップＳ２４において、前記ビーズの特徴量が前記閾値より大きいと判定された場合は、シルエット画像の撮影中に穏やかな振動が生じたものとして、図２に示すステップＳ１に移行し、再度シルエット画像を撮影し直す。
【００５８】
図５（ａ）は、撮影時に穏やかな振動が発生した場合に得られるシルエット画像を示す図であり、図５（ｂ）は、図５（ａ）を２値化した位置参照用画像中に存在する１つのビーズＢ５の拡大図であり、図５（ｃ）は、該ビーズＢ５の中央部分に存在する高輝度部を示す図である。
【００５９】
撮影時に穏やかな振動が生じた際に撮影されたシルエット画像中に存在するビーズは、図５（ａ）に示すように、形状に多少歪みが生じて楕円となるが、ビーズ数は変化せず、個々のビーズ面積の変化も少ないため、前述した前記数・面積変化検出部１２４ａによる振動検出方法は適用できない。
【００６０】
しかし、穏やかな振動が生じた場合、前述したようにシルエット画像中のビーズは、その形状に歪みが生じるため、この現象を利用して、形状変化検出部１２４ｂにおいて、ビーズの形状変化を検出し、撮影中に穏やかな振動が生じたか否かを検出する。
【００６１】
以下、形状変化検出部１２４ｂにおいて、ビーズの形状変化を検出する方法について説明する。
位置参照用画像に存在するビーズの形状変化は、形状変化検出部１２４ｂにて、ビーズ形状が楕円形か否かを検出して求める。よって、位置参照用画像上のビーズの形状を示す値（以下「特徴量」と称す）として、ビーズの最大直径を検出し、該最大直径が予め保持されていた閾値より大きければ、振動が生じたと判定する。
【００６２】
なお、図５（ｂ）に示すように、ビーズが高い光透過性を持つ場合は、該ビーズの中央部がレンズ作用により集光されて輝度値が非常に高く、２値化後も安定した形状を保つので、この高輝度部分の形状の最大直径を特徴量とする。
【００６３】
このとき、予め保持しておく閾値は、通常時のビーズの直径を下限とする値を設定する。この閾値が前記下限値に近ければ近いほど、かすかな振動も検出できる。なお、形状が楕円形か否かの判定は、ビーズの長軸の長さと短軸の長さを求めてその比が１から離れている場合を楕円と判定するという方法でも行える。
【００６４】
以下、ビーズが高い光透過性を持つ場合の特徴量の求め方について説明する。
図５（ｃ）において、２２０はビーズの高輝度部分の白い領域の外形状である。外形状２２０において、最も右にある画素２１１の座標を、（Ｘｍａｘ，Ｙａ）、最も左にある画素２１２の座標を、（Ｘｍｉｎ，Ｙｂ）、最も上にある画素２１３の座標を、（Ｘａ，Ｙｍａｘ）、最も下にある画素２１４の座標を、（Ｘｂ，Ｙｍｉｎ）とする。
【００６５】
このとき、横幅２１５は、（Ｘｍａｘ−Ｘｍｉｎ）で求められ、高さ２１６は、（Ｙｍａｘ−Ｙｍｉｎ）で求められる。楕円形の長軸を求めるためには、横幅（Ｘｍａｘ−Ｘｍｉｎ）と高さ（Ｙｍａｘ−Ｙｍｉｎ）とを比較し、横幅（Ｘｍａｘ−Ｘｍｉｎ）の方が大きいときには、Ｌ＝（Ｘｍａｘ−Ｘｍｉｎ)2＋（Ｙａ−Ｙｂ)2とし、高さ（Ｙｍａｘ−Ｙｍｉｎ）の方が大きいときには、Ｌ＝（Ｘａ−Ｘｂ)2＋（Ｙｍａｘ−Ｙｍｉｎ)2とする。
【００６６】
ここで求めたＬ値は、長さ２１７の２乗であり、楕円の長軸２１８の２乗に近い値となる。
なお、Ｌ値は大小の比較に用いるだけであるため、平方根をとる必要が無く、このまま用いるものとする。
【００６７】
以上のようにして、位置参照用画像に存在する全てのビーズのＬ値を求めた後、これらの平均値を求め、この値をＬＡ値とする。
このときの、前記形状変化検出部１２４ｂに予め保持しておく閾値は、振動がない場合の、前記位置参照用画像に存在する全てのビーズの直径の平均値ＬＡ値を下限とする値Ｌｍａｘである。
【００６８】
一方、前記ステップＳ２４において、前記形状変化検出部１２４ｂでビーズの形状変化が検出されなかった場合は、振動が生じなかったものとして、図２に示す次のステップＳ３に進む。
ステップＳ３では、位置参照用画像からマスク画像を作成する。
【００６９】
以下、マスク画像について説明する。図７（ａ）は、位置参照用画像を示す図であり、図７（ｂ）は、図７（ａ）よりマスク画像を作成する途中経過を示す図であり、図７（ｃ）は、作成されたマスク画像を示す図である。
【００７０】
マスク画像は、位置参照用画像に存在するビーズの存在位置を示すものであり、図７（ａ）に示す位置参照用画像に対し、マスク処理を施すことで得る。具体的には、図７（ｂ）に示すように、まずビーズの中央部の高輝度部を塗りつぶす処理を行った後、該ビーズＢ１，Ｂ２，Ｂ３の外周が一回り大きくなるように処理を施し、図７（ｃ）に示すようなマスク画像を得る。なお、本実施の形態１では、各ビーズＢ１，Ｂ２，Ｂ３の外周を一画素分大きくする処理を施している。
【００７１】
そして、ステップＳ４において、前記ＣＰＵ１２０内に、前記各光学フィルタ通過後の前記各撮影対象の平均輝度値を求めるための複数の輝度参照用画像を取り込む。具体的には、まずＣＰＵ１２０の制御部１２１は、ＬＥＤ１０６を消灯し、励起光源１１３から励起光を照射する。励起光は、ダイクロイックミラー１０７により対物レンズ１０５の方向へ反射し、対物レンズ１０５は、ダイクロイックミラー１０７からの光をウエル１０２内の観察対象である複数のビーズに集光させる。ウエル１０２内に存在する複数のビーズは、前記対物レンズ１０５から照射された光によって、その分光特性に応じた発光パターンを示し、該各ビーズが発光した光は、前述したＬＥＤ光によるビーズのシルエット光と同様、対物レンズ１０５、ダイクロイックミラー１０７、バンドパスフィルタ１０８を通過し、さらに結像レンズ１０９によって集光されて、ＣＣＤカメラ１１０に到達する。このとき、バンドパスフィルタ１０８は、特定の波長域のみを通過させる性質を持つため、ビーズが発光した光の特定の波長域のみが、ＣＣＤカメラ１１０に到達する。この状態で、制御部１２１は、ＣＣＤカメラ制御部１１１に指令を与え、ビーズが発光した光のうち、前記バンドパスフィルタ１０８を通過した特定の波長域のみの輝度画像を、ＣＣＤカメラ１１０で撮影する。そして、ＣＰＵ１２０内の解析部１２２で、撮影された輝度画像を２値化処理し、該処理後の画像を、輝度参照用画像としてＣＰＵ１２０内に記憶する。図８は、マスク画像と輝度参照用画像を示す図である。
【００７２】
ステップＳ５では、前記ステップＳ４にて１枚の輝度参照用画像がＣＰＵ１２０内に取り込まれた後、第２の振動検出部１２５で、前記ステップＳ３で作成されたマスク画像を用いて、該取り込まれた輝度画像の撮影時に振動が生じたか否かを検出する。
【００７３】
以下、前記第２の振動検出部１２５における輝度参照用画像の振動検出方法について示す。
輝度参照用画像の振動を検出する際には、すでに振動していない位置参照用画像２１０が、ＣＰＵ１２０内に記憶されており、該位置参照用画像より、該画像中のビーズ存在位置を示すマスク画像４０１が作成されている。
【００７４】
前述したようにマスク画像４０１中の各ビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍは、位置参照用画像に存在するビーズＢ１，Ｂ２，Ｂ３の外周を一回り大きくする。
ここでは１画素分大きくする処理を施しているため、輝度画像を撮影した際に振動が生じていなければ、図９（ａ）に示すように、輝度参照用画像３０１とマスク画像４０１とをオーバレイ表示した場合に、輝度参照用画像３０１ａ上のビーズ領域Ｂ１ａ〜Ｂ３ａの周囲に、マスク画像４０１の塗りつぶされたビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍが存在するはずである。
【００７５】
図９は、マスク画像上のビーズ領域と、第１の輝度参照用画像上のビーズ領域の関係を示す図であり、図（ａ）は振動が発生していない場合の輝度参照用画像に、マスク画像をオーバレイ表示したものであり、図（ｂ）は撮影前あるいは撮影中に振動が発生した場合の輝度参照用画像に、マスク画像をオーバレイ表示したものである。
【００７６】
図９中、領域Ｂ１ａ，Ｂ２ａ，Ｂ３ａは、励起光によってビーズＢ１，Ｂ２，Ｂ３が発光した光を表示したものであり、領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍは、ビーズＢ１，Ｂ２，Ｂ３のマスク領域を前記輝度参照用画像にオーバレイ表示したものである。
【００７７】
輝度参照用画像を撮影する前あるいは撮影時に振動が生じなかった場合、位置参照用画像と輝度参照用画像とのビーズ位置にずれが生じないため、図９（ａ）に示すように、輝度参照用画像３０１ａ上の各ビーズ領域Ｂ１ａ，Ｂ２ａ，Ｂ３ａは、該輝度参照用画像にオーバレイ表示されたマスク画像の各ビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの内部におさまる。よってこの場合、輝度参照用画像３０１ａにオーバレイ表示されたマスク画像のビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外側に、輝度の高い部分は存在しない。
【００７８】
一方、輝度参照用画像を撮影する前あるいは撮影時に振動が生じた場合は、位置参照用画像と輝度参照用画像とのビーズ位置にずれが生じるため、図９（ｂ）に示すように、輝度参照用画像３０１ａにオーバレイ表示したマスク画像の各ビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外側に、該輝度参照用画像３０１ａ上のビーズ領域Ｂ１ａ，Ｂ２ａ，Ｂ３ａがはみだす。よってこの場合、輝度参照用画像３０１ａにオーバレイ表示されたマスク画像のビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外側に高輝度の部分が存在することとなる。
【００７９】
第２の振動検出部１２５は、以上の現象を利用して、輝度参照用画像の振動検出を行う。図１０は、第２の振動検出ステップの流れを示すフローチャートである。
まず、ステップＳ５１において、第１の輝度参照用画像３０１ａの輝度分布について調べる。本実施の形態１の輝度参照用画像３０１ａでは、全面積の大部分を占める背景である部分は低輝度を示し、ビーズが存在する、励起されている領域Ｂ１ａ，Ｂ２ａ，Ｂ３ａのみが高輝度を示している。
【００８０】
よって、輝度参照用画像の輝度分布を調べるために、輝度参照用画像３０１ａから、各階調毎にその階調を示す画素の数を求めてヒストグラムを作成する。図１１は、輝度参照用画像から作成されたヒストグラムを示す。
【００８１】
そして、ステップＳ５２において、前記ステップＳ５１で作成したヒストグラムの低輝度側から探索し、低輝度側に位置する画素数の合計が全体の５％となる輝度値ＩＬを求め、また、前記ヒストグラムの高輝度側から探索し、高輝度側に位置する画素数の合計が全体の０．５％となる輝度値ＩＨを求める。ここで、低輝度と高輝度で画素数の全体比が異なるのは、低輝度側の分布は密であり、高輝度側の分布は粗であるからである。
【００８２】
そして、前述のようにして得た輝度値ＩＬ，ＩＨを、下記に示す（式１）に代入して、境界値ＴＨを求める。
境界値ＴＨ＝（ＩＬ＋ＩＨ）／２…（式１）
【００８３】
そして、ステップＳ５３において、輝度参照用画像３０１ａ全体を探索し、オーバレイ表示されたマスク画像のビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外側に位置している画素のうち、前述のようにして得た境界値ＴＨよりも高い輝度をもつ画素の数をカウントする。
【００８４】
ステップＳ５４において、前記ステップＳ５３にて得た境界値ＴＨよりも高い輝度をもつ画素数と、予め第２の振動検出部１２５に保持されていた閾値とを比較し、境界値ＴＨよりも高い輝度をもつ画素数が閾値よりも大きい場合は、撮影中に振動が生じたと判定し、前記図２に示すステップＳ１に移行して、再度、位置参照用画像から撮影をし直す。
【００８５】
なお、この際、輝度参照用画像３０１ａにオーバレイ表示されたマスク画像のビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外側に位置している画素の総数を求め、該画素の総数に占める、前記ステップＳ５３で得た境界値ＴＨよりも高い輝度をもつ画素数の割合が、あらかじめ与えられていた比率を超える場合に、振動が生じたと判定するものであってもよい。
【００８６】
さらに、前述の方法においては、輝度参照用画像３０１ａにオーバレイ表示されたマスク画像のビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外側に位置している画素すべてを探索したが、想定される振動がそれほど大きくなく、振動によるビーズのずれ量がビーズの直径程度以下である場合には、処理時間短縮のために、輝度参照用画像にオーバレイ表示されたマスク画像のビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外周付近の画素のみを調べることで、振動が生じたか否かを検出することが可能である。
【００８７】
すなわち、輝度参照用画像にオーバレイ表示されたマスク画像の各ビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外周に接する画素の輝度を調べ、前記境界値ＴＨよりも高い輝度を示した画素の数をカウントする。そして、カウントされた画素の総数、または輝度を調べた画素の総数に占める、前記カウントされた画素の総数の割合が、予め与えられていた閾値よりも大きい場合に、振動が発生したと判定するものであってもよい。
【００８８】
一方、前記ステップＳ５４において、前記ステップＳ５３にて得た境界値ＴＨよりも高い輝度をもつ画素数が、前記閾値以下であった場合は、振動が生じていないと判定して、図２に示す次のステップＳ６に移行する。
【００８９】
ステップＳ６では、輝度参照用画像がＣＰＵ１２０内に所定枚数取り込まれたか否かを判断し、まだ取り込まれていない場合は、前述した図２のステップＳ４に移行して、次の輝度画像を撮影し、前記マスク画像４０１を用いて、該輝度画像を撮影する前あるいは撮影中に振動が生じたか否かを検出する。
一方、前記ステップＳ６にて所定枚数の輝度参照用画像が取り込まれたと判断された場合は、画像取り込みステップを終了する。
【００９０】
以上のように、本実施の形態１では、ＣＰＵ１２０内に、位置参照用画像撮影部１３０にてシルエット画像を撮影中に振動が生じたか否かを検出する第１の振動検出部１２４と、輝度参照用画像撮影部１４０にて輝度画像を撮影中に振動が生じたか否かを検出する第２の振動検出部１２５とを設け、前記第１の振動検出部１２４で、該撮影された位置参照用画像を用いて撮影時に振動が生じたか否かを検出し、また前記第２の振動検出部１２５で、前記各輝度参照用画像が撮影される毎に、振動が検出されなかった位置参照用画像から作成されたビーズ存在位置を示すマスク画像を用いて撮影時に振動が生じたか否かを検出するようにし、前記各振動検出部１２４，１２５にて振動を検出した場合は、すべての画像を撮影し直すようにしたので、撮影時に振動が生じた画像を確実、且つ容易に排除可能となり、当該装置において、信頼性の極めて高いデータ解析をおこなうことができる。
【００９１】
なお、本実施の形態１では、輝度参照用画像の背景部分が低輝度、ビーズが励起されている領域が高輝度として説明したが、輝度の関係が逆の場合であっても、同様の方法により振動の判定を行うことができる。
【００９２】
（実施の形態２）
前記実施の形態１においては、所定枚数の輝度参照用画像のうちすでに何枚か輝度参照用画像を取得した後であっても、輝度参照用画像にて振動を検出した場合は、全ての画像の取得をやり直すものであったが、本実施の形態２においては、全ての画像を取得しなおすのではなく、振動が検出される前に撮影した画像はそのまま保持しておき、振動が検出された輝度参照用画像を再度撮影し直すとともに、該撮影しなおされた輝度参照用画像の輝度値を求めるために用いる位置参照用画像を取得するものである。
【００９３】
本実施の形態２の振動検出方法は、前記マスク画像と輝度参照用画像とをオーバレイ表示した際に、ビーズのずれ量がビーズの直径以下である場合に適用する。よって、本実施の形態２の撮影装置は、機械的な対策などが施されており、撮影時の振動がかなり軽減されていることを前提とする。
【００９４】
本実施の形態２では、撮影装置が、前記実施の形態１と同様の構成を有し、撮影された画像中に存在するビーズの分光特性を解析して該ビーズの種類を特定し、そのビーズの種類に対応したｍＲＮＡを同定する遺伝子発現解析装置である場合を例に挙げて説明する。また、撮影対象は、種々の分光特性を持った直径１０μｍ程度のビーズであるものとする。
【００９５】
以下、動作を説明する。
本実施の形態２の遺伝子発現解析装置では、前述した従来装置６００と同様、観察対象であるビーズを撮影して、位置参照用画像と複数の輝度参照用画像を取り込んだ後、該取り込んだ画像を用いて、ビーズの分光特性を解析する（図１４参照）。
【００９６】
本実施の形態２における解析ステップの工程は、従来装置における解析ステップの工程と同じであるため、ここでは、画像を取り込む画像取り込みステップの詳細な工程について説明する。
【００９７】
図１２は、本実施の形態２の遺伝子発現解析装置の画像取り込みステップの一連の流れを示すフローチャートである。
まず、ステップＳ１において、当該装置１００のＣＰＵ１２０内に、撮影対象である複数のビーズの存在位置を求めるための位置参照用画像を取り込む。具体的には、まずＣＰＵ１２０の制御部１２１は、ウエルプレート駆動部１０３を制御して、観察対象が注入されたウエル１０２が対物レンズ１０５の真上に位置するように、ウエルプレート１０１を移動させた後、ＬＥＤ１０６を点灯させて、該ウエル１０２内の観察対象である複数のビーズのシルエット光を、対物レンズ１０５、ダイクロイックミラー１０７、バンドパスフィルタ１０８、結像レンズ１０９を介して、ＣＣＤカメラ１１０にてシルエット画像を撮影する。そして前記ＣＰＵ１２０内の解析部１２２にて、該シルエット画像を２値化処理した位置参照用画像ＡをＣＰＵ１２０内に記憶する。
【００９８】
次に、ステップＳ２において、前述の実施の形態１で図６を用いて説明したのと同様の方法を用いて、第１の振動検出部１２４で、前記位置参照用画像撮影部１３０にてでシルエット画像を撮影する際に振動が生じたか否かを検出する。なお、本実施の形態２では、振動がかなり軽減されていることが前提となっているため、前記実施の形態１のように、数・面積変化検出部１２４ａにて位置参照用画像中に存在するビーズの数あるいは個々のビーズ面積の変化により激しい振動を検出した後、形状変化検出部１２４ｂでビーズの形状変化を検出して穏やかな振動を検出するのではなく、形状変化検出部１２４ｂだけで、画像の撮影時における振動の検出を行ってもよい。
そして、前記ステップＳ２において振動が検出された場合は、前記ステップＳ１に移行して、再度、位置参照用画像Ａを取得する。
【００９９】
一方、前記ステップＳ２において、振動が検出されなかった場合は、次のステップＳ３に移行して、前述の実施の形態１と同様の方法で、前記位置参照用画像Ａから、該画像上におけるビーズ存在位置を示すマスク画像Ａを作成する。
【０１００】
この後、ステップＳ４において、１枚目の輝度参照用画像の取り込みを行う。そして、ステップＳ５において、第２の振動検出部１２５で、前述の実施の形態１と同様の方法により、前記ステップＳ３で作成したマスク画像Ａを用いて、前記ステップＳ４にて取得した輝度参照用画像の振動検出を行う。
【０１０１】
前記ステップＳ５において、振動が検出されなかった場合には、次のステップＳ６に移行し、所定枚数の輝度参照用画像をＣＰＵ１２０内に取り込んだか否かについて判定を行い、未取得の場合には、前記ステップＳ４に移行して、所定枚数取得できるまでステップＳ４〜ステップＳ６を繰り返す。
【０１０２】
ここで、例えば６枚目の輝度参照用画像をＣＰＵ１２０内に取り込んだ後に、前記ステップＳ５において、振動が検出されたものとする。この場合は、ステップＳ７に移行し、振動検出された輝度参照用画像の位置参照用画像Ａ’を再度取得する。
【０１０３】
そして、ステップＳ８において、第１の振動検出部１２４で、前記ステップＳ２と同様の方法で、前記位置参照用画像Ａ’を用いて、画像撮影時に振動が生じたか否かを検出する。
【０１０４】
前記ステップＳ８にて振動が検出されなかった場合は、次のステップＳ９に移行し、該位置参照用画像Ａ’からマスク画像Ａ’を作成する。
一方、前記ステップＳ８において、振動が検出された場合は、前記ステップＳ７に移行して、再度位置参照用画像Ａ’を取得しなおす。
【０１０５】
次に、ステップＳ１０において、再度６枚目の輝度参照用画像の取り込みを行う。そして、ステップＳ１１において、第２の振動検出部１２５で、前述の実施の形態１と同様の方法により、前記ステップＳ９で作成したマスク画像Ａ’を用いて、該６枚目の輝度参照用画像の振動検出を行う。そして、前記ステップＳ１１において振動が検出されなかった場合は、ステップＳ１２に移行し、残りの輝度参照用画像がＣＰＵ１２０内に取得されたか否か判断し、未取得の場合は、残りの輝度参照用画像が全て得られるまでステップＳ１０〜ステップＳ１２を繰り返す。
【０１０６】
以上の方法で取得した画像は、位置参照用画像Ａ、位置参照用画像Ａ’と、８枚の輝度参照用画像であるが、１〜５枚目の輝度参照用画像はマスク画像Ａ上のビーズ領域により該各画像上のビーズ領域が求められ、６〜８枚目の輝度参照用画像はマスク画像Ａ’上のビーズ領域により該各画像上のビーズ領域が求められる。
【０１０７】
前述したように本実施の形態２においては、振動によるビーズのずれ量がビーズの直径程度以下であることを想定しているため、マスク画像Ａとマスク画像Ａ’のビーズの対応関係は、各ビーズがオーバラップしていることを利用して容易に求めることができる。
【０１０８】
したがって、図１６に示すような分光分布図を作成するためには、１〜５枚目の輝度参照用画像上の、マスク画像Ａ上のビーズ領域に相当する領域の輝度平均と、６〜８枚目の輝度参照用画像上の、マスク画像Ａ上のビーズ領域とオーバラップしているマスク画像Ａ’上のビーズ領域に相当する領域の輝度平均とを求め、全ての輝度平均をプロットすればよいこととなる。
以上により作成した分光曲線から各ビーズの分光特性が分かり、これに対応してビーズの種類同定を行うことが可能となる。
【０１０９】
また、前述したようにして６枚目の輝度参照用画像を取得した後、例えば７枚目の輝度参照用画像で振動が検出された場合は、ステップＳ７に移行し、振動検出された７枚目の輝度参照用画像用の位置参照用画像Ａ”を再度取得し、該位置参照用画像Ａ”からマスク画像Ａ”を作成する。そして解析する際には、位置参照用画像Ａ、位置参照用画像Ａ’、位置参照用画像Ａ”と、８枚の輝度参照用画像のうち、１〜５枚目の輝度参照用画像はマスク画像Ａ上のビーズ領域により該各画像上のビーズ領域が求められ、６枚目の輝度参照用画像はマスク画像Ａ’上のビーズ領域により該画像上のビーズ領域が求められ、７〜８枚目の輝度参照用画像はマスク画像Ａ”上のビーズ領域により該各画像上のビーズ領域が求められる。また、図１６に示す分光分布図を作成するためには、１〜５枚目の輝度参照用画像上の、マスク画像Ａ上のビーズ領域に相当する、領域の輝度平均と、６枚目の輝度参照用画像上の、マスク画像Ａのビーズ領域とオーバラップするマスク画像Ａ’上のビーズ領域に相当する領域の輝度平均と、７〜８枚目の輝度参照用画像上の、マスク画像Ａ’上のビーズ領域とオーバラップするマスク画像Ａ”上のビーズ領域に相当する領域の輝度平均とを求め、これらすべての輝度平均をプロットすればよい。
以上のように、本実施の形態２においては、ＣＰＵ１２０内に位置参照用画像撮影部１３０にてシルエット画像撮影中に振動が生じたか否かを検出する第１の振動検出部１２４と、輝度参照用画像撮影部１４０にて輝度画像を撮影中に振動が生じたか否かを検出する第２の振動検出部１２５とを設け、前記位置参照用画像Ａが撮影された後に、前記第１の振動検出部１２４で、該撮影された位置参照用画像Ａを用いて、撮影時に振動が生じたか否かを検出し、また前記各輝度参照用画像が撮影された後に、前記第２の振動検出部１２５で、振動が検出されなかった位置参照用画像Ａから作成された、該画像上のビーズ存在位置を示すマスク画像Ａを用いて、撮影時に振動が生じたか否かを検出するようにし、すでに複数枚の輝度参照用画像を撮影した後、その次に撮影された輝度参照用画像において振動を検出した場合は、前記位置参照用画像Ａとは別の位置参照用画像Ａ’を再度取得し、該位置参照用画像Ａ’から作成されたマスク画像Ａ’を用いて、振動検出後に再度取得された輝度参照用画像において振動が生じたか否かを検出するようにしたので、撮影時に振動が生じた画像を排除可能となり、当該装置において、信頼性の極めて高いデータ解析をおこなうことができる。また、画像を全て取得するまでの時間を短縮することができる。
【産業上の利用可能性】
【０１１０】
本発明にかかる撮影装置は、振動の影響によりフィルタ画像間の位置関係がずれるのを防ぐことにより、確実なデータ解析が行えることから、分光特性を複数のフィルタ画像により観測する、蛍光顕微鏡を用いた遺伝子発現解析装置などのバイオ解析装置として有効である。
【図面の簡単な説明】
【０１１１】
【図１】本発明における、蛍光顕微鏡を用いた遺伝子発現解析装置の構成を示す図である。
【図２】本発明の実施の形態１における、画像取り込みステップのフローチャートを示す図である。
【図３】本発明の実施の形態１において、位置参照用画像撮影部で撮影中に振動が生じなかった場合に得られる画像であり、図（ａ）はシルエット画像を示し、図（ｂ）は、図（ａ）中の１つのビーズを拡大した図であり、図（ｃ）は位置参照用画像を示す。
【図４】本発明の実施の形態１において、位置参照用画像撮影部で撮影中に激しい振動が生じた場合に得られる画像であり、図（ａ）はシルエット画像を示し、図（ｂ）は、図（ａ）中の１つのビーズを２値化した図である。
【図５】本発明の実施の形態１において、位置参照用画像撮影部で撮影中に穏やかな振動が生じた場合に得られる画像であり、図（ａ）はシルエット画像を示し、図（ｂ）は、図（ａ）中の１つのビーズを２値化した図であり、図（ｃ）は図（ｂ）のビーズの高輝度部のみを示す図である。
【図６】本発明の実施の形態１における、第１の振動検出ステップのフローチャートを示す図である。
【図７】本発明の実施の形態１における、マスク画像の作成方法を説明する図であり、図（ａ）は位置参照用画像を示し、図（ｂ）はマスク画像の作成途中を示す図であり、図（ｃ）は図（ａ）から得られたマスク画像を示す。
【図８】本発明の実施の形態１における、マスク画像と複数枚の輝度参照用画像とを示す図である。
【図９】本発明の実施の形態１における、マスク画像と第１の輝度参照用画像との関係を示す図であり、図（ａ）は振動が発生していない場合の輝度参照用画像にマスク画像をオーバレイさせた図であり、図（ｂ）は振動が発生した場合の輝度参照用画像にマスク画像をオーバレイさせた図である。
【図１０】本発明の実施の形態１における、第２の振動検出ステップのフローチャートを示す図である。
【図１１】本発明の実施の形態１における、第１の輝度参照用画像から作成されたヒストグラムである。
【図１２】本発明の実施の形態２における、画像取り込みステップのフローチャートを示す図である。
【図１３】従来における、蛍光顕微鏡を用いた遺伝子発現解析装置の構成を示す図である。
【図１４】従来の遺伝子発現解析装置における、一連の動作を示すフローチャートである。
【図１５】従来における、マスク画像と複数枚の輝度参照用画像とを示す図である。
【図１６】輝度平均値をプロットした図である。
【図１７】従来における、マスク画像と第１の輝度参照用画像との関係を示す図であり、図（ａ）は振動が発生していない場合の輝度参照用画像にマスク画像をオーバレイさせた図であり、図（ｂ）は振動が発生した場合の輝度参照用画像にマスク画像をオーバレイさせた図である。
【符号の説明】
【０１１２】
１０１，６０１  ウエルプレート
１０２，６０２  ウエル
１０３，６０３  ウエルプレート駆動部
１０５，６０５  対物レンズ
１０６，６０６  ＬＥＤ
１０７，６０７  ダイクロックミラー
１０８，６０８  バンドパスフィルタ
１０９，６０９  結像レンズ
１１０，６１０  ＣＣＤカメラ
１１１，６１１  ＣＣＤカメラ制御部
１１２，６１２  Ｚ軸駆動部
１１３，６１３  励起光源
１１４，６１４  フィルタホイール
１１５，６１５  フィルタホイール駆動部
１２０，６２０  ＣＰＵ
１２１，６２１  制御部
１２２，６２２  解析部
１２３，６２３  マスク画像作成部
１２４  第１の振動検出部
１２４ａ  数・面積変化検出部
１２４ｂ  形状変化検出部
１２５  第２の振動検出部
１３０，６３０  位置参照用画像撮影部
１４０，６４０  輝度参照用画像撮影部
２０１  シルエット画像
２１０  位置参照用画像
２１１  最も右に位置する画素
２１２  最も左に位置する画素 
２１３  最も上に位置する画素 
２１４  最も下に位置する画素
２１５  横方向幅
２１６  縦方向幅
２１７  評価値
２１８  楕円の長軸
２２０  振動が生じた時のビーズ中央高輝度部の外形
３０１，７０１  輝度参照用画像
４０１，８０１  マスク画像
９０１  ビーズＢ１の分光曲線
９０２  ビーズＢ２の分光曲線
９０３  ビーズＢ３の分光曲線
【図１】
2005292124.tif 000003
【図２】
2005292124.tif 000004
【図３】
2005292124.tif 000005
【図４】
2005292124.tif 000006
【図５】
2005292124.tif 000007
【図６】
2005292124.tif 000008
【図７】
2005292124.tif 000009
【図８】
2005292124.tif 000010
【図９】
2005292124.tif 000011
【図１０】
2005292124.tif 000012
【図１１】
2005292124.tif 000013
【図１２】
2005292124.tif 000014
【図１３】
2005292124.tif 000015
【図１４】
2005292124.tif 000016
【図１５】
2005292124.tif 000017
【図１６】
2005292124.tif 000018
【図１７】
2005292124.tif 000019