(57)【特許請求の範囲】
【請求項１】
複数光路の切り換えによって撮像方向が変わる画像を、撮像手段を介して画像取込装置に取り込む共焦点顕微鏡システムにおいて、
前記複数光路による画像が同一撮像方向となるように、前記切り換えに対応して前記撮像手段から出力された画像データに対し反転および回転の少なくともいずれかを施し、前記画像取込装置に出力する画像回転ユニット
を備え、
前記複数光路は共焦点光路と明視野光路からなることを特徴とする共焦点顕微鏡システム。
【請求項２】
前記画像回転ユニットは、
前記撮像手段からの画像データの画素座標を逐次生成するマッピング処理部と、
このマッピング処理されたデータの読み出し開始位置および読み出し方向の少なくともいずれかを変更する回転処理部と
を備えたことを特徴とする請求項１記載の共焦点顕微鏡システム。
【請求項３】
前記画像回転ユニットは前記撮像手段から出力された画像データに対し、９０度、１８０度、２７０度回転、上下反転、左右反転、左右反転＋９０度回転、左右反転＋２７０度回転およびスルーの少なくともいずれかの処理を行うことを特徴とする請求項１または２に記載の共焦点顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等に入射する画像の撮像方向が光路の切り換えによって変化する共焦点顕微鏡システムに関する。
【背景技術】
【０００２】
従来の共焦点顕微鏡システムでは、共焦点スキャナユニット(以下ＣＳＵと記す)が顕微鏡の観察接続ポートに取り付けられ、励起光(一般的にはレーザ光を使用)がピンホールを通して試料に照射され、試料から出る蛍光を検出器でとらえる。このままでは点情報しか得られないので、面情報を取り込むためにレーザビームを２次元的にスキャンし（図示しないがマルチビームスキャン）、２次元情報として撮像素子(カメラ)を介して画像取込装置に取り込まれる。
【０００３】
図６は従来の共焦点顕微鏡システムの一例を示す構成説明図である。
【０００４】
顕微鏡１は試料観察用蛍光顕微鏡である。ＣＳＵ２は、顕微鏡１の観察接続ポートに取付けられ、内部に明視野光路２１と共焦点光路２２の２系統の光路を備える共焦点スキャナユニットである。レーザ光源３は励起用光源である。光ファイバ４はレーザ光源３からの励起光をＣＳＵ２に導入する。撮像素子５はＣＣＤカメラなどからなり、ＣＳＵ２の明視野光路２１と共焦点光路２２の２系統の光路から出射される試料の蛍光画像のいずれかを検出する。画像取込装置６はパソコン、ソフトウェア、ボードなどからなり、撮像素子５からの画像データを取込む。画像取込装置６は取り込んだ画像データに基づいて試料の蛍光画像をディスプレイに表示する。
【０００５】
図６システムの動作を次に説明する。
【０００６】
共焦点観察を行う場合（光路は共焦点側）、レーザ光源３から出射された励起光は光ファイバ４を介してＣＳＵ２に導入され、ピンホール（図示せず）を通って試料に照射される。励起された試料から出た蛍光はＣＳＵ２の共焦点光路２２（ピンホール通過）を経由して撮像素子５で検出される。撮像素子５から出力された画像データは画像取込装置６に取り込まれ、画像がディスプレイに表示される。
【０００７】
明視野観察を行う場合（光路は明視野側）、顕微鏡１により観察される像が、ピンホールを通過せずにＣＳＵ２の明視野光路２１を経由して撮像素子５で検出される。撮像素子５から出力された画像データは画像取込装置６に取り込まれ、画像がディスプレイに表示される。共焦点光路２２とは別に設けた明視野光路２１では、ピンホールを通過しないので、光量が減ることなく、光学顕微鏡、蛍光顕微鏡や干渉顕微鏡などの観察像がそのまま得られる。
【０００８】
共焦点顕微鏡システムの先行技術としては下記のような特許文献が知られている。
【０００９】
【特許文献１】特開２００２−０６２４８０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上記の共焦点顕微鏡システムでは、明視野光路２１で光学顕微鏡、蛍光顕微鏡や干渉顕微鏡などの画像が観察できるので、それぞれと共焦点光路２２からの共焦点画像との比較が行われる。この場合、観察中（ＬＩＶＥ）の比較の他、一度取り込んだ画像での比較が行われる。通常、観察中（ＬＩＶＥ）は明視野画像か共焦点画像のいずれか一方が表示され、観察中の画像が取り込まれた後では、両者が並べて表示された状態で比較される。
【００１１】
また、共焦点顕微鏡の場合、バイオ関連のターゲットは生きた細胞なので、レーザを照射し過ぎると細胞が弱ってしまう。これをできるだけ避けるため、明視野光路でまず細胞の大体の位置を探しておき、その後共焦点光路に切換えて観察する。
【００１２】
ところで、上記の共焦点顕微鏡システムの各光路で出力像の撮像方向が異なると、利用者は画像の比較をリアルタイムに行うことができない。
【００１３】
例えば、図６のシステムで、ＣＳＵ２への入力像に対して明視野光路２１から正立像が出力され、共焦点光路２２から倒立像（１８０度回転）が出力される場合、明視野画像と共焦点画像が反転しているため、１枚の画像を取り込むたびに、像の回転操作を行う必要がある。すなわち、両光路のライブデータを比較するには、光路を切り換える度に画像取込装置６の画像ソフトウェアを操作して画像を１８０度回転させなければならず、大変煩雑になるという問題があった。
【００１４】
本発明は上記従来技術の課題を解決するためになされたもので、画像処理ソフトの操作が不要で、ユーザーが特に意識することなく、リアルタイムに画像比較できる共焦点顕微鏡システムを実現することを目的としている。
【課題を解決するための手段】
【００１５】
このような課題を達成するために、本発明のうち請求項１記載の発明は、
複数光路の切り換えによって撮像方向が変わる画像を、撮像手段を介して画像取込装置に取り込む共焦点顕微鏡システムにおいて、
前記複数光路による画像が同一撮像方向となるように、前記切り換えに対応して前記撮像手段から出力された画像データに対し反転および回転の少なくともいずれかを施し、前記画像取込装置に出力する画像回転ユニット
を備え、
前記複数光路は共焦点光路と明視野光路からなることを特徴とする。
【００１６】
請求項２記載の発明は、
請求項１記載の共焦点顕微鏡システムにおいて、
前記画像回転ユニットは、
前記撮像手段からの画像データの画素座標を逐次生成するマッピング処理部と、
このマッピング処理されたデータの読み出し開始位置および読み出し方向の少なくともいずれかを変更する回転処理部と
を備えたことを特徴とする。
【００１８】
請求項３記載の発明は、
請求項１または２に記載の共焦点顕微鏡システムにおいて、
前記画像回転ユニットは前記撮像手段から出力された画像データに対し、９０度、１８０度、２７０度回転、上下反転、左右反転、左右反転＋９０度回転、左右反転＋２７０度回転およびスルーの少なくともいずれかの処理を行うことを特徴とする。
【発明の効果】
【００１９】
本発明の共焦点顕微鏡システムによれば、複数光路の切り換えによって撮像方向が変わる画像を、撮像手段を介して画像取込装置に取り込む共焦点顕微鏡システムにおいて、光路切換信号に対応して、前記複数光路による画像が同一撮像方向となるように、前記撮像手段から出力された画像データを上下または左右の方向に反転、および回転、の少なくともいずれかで処理し前記画像取込装置に出力する画像回転ユニットを備えたことによって、画像処理ソフトの操作が不要で、ユーザーが特に意識することなく、リアルタイムに画像比較できる共焦点顕微鏡システムを実現することができる。
【発明を実施するための最良の形態】
【００２０】
以下本発明の実施の形態について図面を用いて詳細に説明する。
【００２１】
図１は本発明の実施の形態に係る、共焦点顕微鏡システムの一実施例で、図６と同様、光路が２系統の場合を示す構成説明図である。図６と同一要素には同一記号を付して重複する説明は省略する。
【００２２】
画像回転ユニット７は、撮像素子５と画像取込装置６の間に接続され、複数光路２１，２２による画像が同一撮像方向となるように、複数光路２１，２２の切り換えに対応して撮像素子５から出力される画像データをディジタル処理するユニットである。その処理内容は、画像を上下または左右の方向に反転、および回転、の少なくともいずれかで、ＣＳＵ２から出力される光路切換信号により切り換えられる。
【００２３】
図２は、画像回転ユニット７でＣＰＵ（図示せず）が行う処理に関する処理ブロック図である。
【００２４】
画像データメモリ７１は撮像素子５からの画像データが書き込まれる記憶手段である。マッピング処理部７２は画像データメモリ７１の画素に対応して、画面を左上から右下まで１ラインずつ走査した場合の画素座標（ｘ，ｙ）を逐次生成することにより、撮像素子５からの画像データをマッピング処理する。回転処理部７３は、設定された処理内容に従って、マッピング処理されたデータの読み出し開始位置（座標）および読み出し方向の少なくともいずれかを変更することにより、マッピング処理部７２によって生成された座標（ｘ，ｙ）を回転または反転させ、新たな座標（ｘ，ｙ）を生成する。再マッピング処理部７４は、回転処理部７３で生成された新たな配列の画素に対応して、前述のように画面を左上から右下まで１ラインずつ走査した場合の座標（ｘ，ｙ）を逐次生成する。画像データ転送部７５は再マッピング処理部７４で再マッピングされた画像データを逐次読み出し、画像取込装置６に転送する。
【００２５】
図２の画像回転ユニット７の動作を次に説明する。図２の（ａ）〜（ｉ）では、理解しやすいようにＲの文字を取り込んだイメージを用いて各処理段階の画像を示す。
【００２６】
最初に、処理例として光路切換信号により９０度右回転する場合を示す。撮像素子５から出力された画像データ（図２（ａ））は、画像データメモリ７１に格納される。画像データメモリ７１から、画面を左上から右下まで１ラインずつ走査するように画像データが読み出され（図２（ｂ））、これに対応してマッピング処理部７２で座標（ｘ，ｙ）が逐次生成される（図２（ｃ））。水平１０００ドット垂直１０００ドットの画面の場合、（０，０），（１，０）…（１０００，０），（０，１）…（１０００，１０００）という座標が生成される。この画像データは回転処理部７３で座標（０，１０００）から右下の座標（１０００，０）に向けて読み出され、９０度右回転した画素配列となる（図２（ｄ））。９０度右回転した画像データに対応して、再マッピング処理部７４で再び画面を左上から右下まで１ラインずつ走査した場合の座標（ｘ，ｙ）が逐次生成される（図２（ｅ））。再マッピングされた画像データは画像データ転送部７５により逐次読み出され、画像取込装置６に転送される（図２（ｆ））。この結果、画像取込装置６にて９０度右回転した画像が表示される（図２（ｇ））。
【００２７】
通常、ＣＳＵ２内部において、２枚の対構成で使用されるリレーレンズで像は１８０度反転され、ミラーの枚数により回転も変わる。図１のＣＳＵ２内部のミラーとレンズの組み合わせでは、両光路のミラーの枚数は同じ４枚で、レンズの構成は、明視野光路が４枚（２枚×２）なので、１８０度回転×２＝３６０度回転で正立像となり、共焦点光路は２枚なので１８０度回転した倒立像となる。図３（ａ）は、このような画像回転ユニットを有しない従来システムでの明視野画像（左側）と共焦点画像（右側）を示す。
【００２８】
この場合は、共焦点光路２２から取得した画像に基づく画像データを画像回転ユニット７で処理する際に、図２（ｈ）に示すように、回転処理部７３において、座標（１０００，１０００）から右下の座標（０，０）に向けて読み出すことにより、共焦点光路２２からの倒立像（１８０度回転）を正立像にした画像データを画像取込装置６に送ることができる。したがって、光路切換信号が明視野光路２１を選択している場合は、回転なしのスルー（回転処理部７３で、座標（０，０）から右下の座標（１０００，１０００）に向けて画素を読み出す）で画像データを画像取込装置６に送り、光路切換信号が共焦点光路２２を選択している場合は、前述のようにして倒立像（１８０度回転）を正立像にした画像データを画像取込装置６に送るので、図３（ｂ）に示すように、明視野画像（左側）と共焦点画像（右側）の撮像方向を合わせることができる。
【００２９】
上記のような共焦点顕微鏡システムによれば、撮像素子５から出力された画像データを、画像回転ユニット７で１８０度回転することにより、光路切り換えがあっても表示画像の撮像方向を同一とすることができるので、従来光路を切り換える度に行っていた画像処理ソフトの操作が不要となり、ユーザーが特に意識することなく、リアルタイムに画像比較可能な共焦点顕微鏡システムを実現することができる。
【００３０】
また、画像取込装置６において、明視野画像と共焦点画像とを重畳して観察することも可能となる。
【００３１】
なお、図１のシステムにおいて必要に応じ、共焦点画像をスルーにして明視野画像を１８０度回転させるように構成してもよい。
【００３２】
また、図２（ｉ）に示すように、回転処理部７３において座標（１０００，０）から右下の座標（０，１０００）に向けて読み出すことにより、２７０度回転することもできる。
【００３３】
また、回転処理部７３において座標を読み出す方向を変えることにより、上下反転や左右反転も可能である。
【００３４】
また、画像回転ユニット７において、９０度回転、１８０度回転、２７０度回転、上下反転、左右反転、左右反転＋９０度回転、左右反転＋２７０度回転、スルー、などの処理を設定することができるので、ミラーやレンズの枚数が変わった場合でも対応可能である。これらの設定および設定変更は、ロータリーセレクトスイッチや通信コマンド等により行う。
【００３５】
また、回転処理部７３において、座標を斜めの座標方向に読み出すことにより、撮像素子に対して傾いた画像を正立させることも可能である。
【００３６】
また、それぞれの光路で独立に、入力画像に対して、上記回転のデータ処理を設定してもよい。
【００３７】
また、あらかじめ画像回転ユニット７の処理内容と対応付けた光路切換信号により画像回転ユニット７の各設定を自動的に切り換えてもよい。
【００３８】
図４は本発明の実施の形態に係る共焦点顕微鏡システムの第２の実施例で、ＣＳＵの外部に別光路がある場合を示す構成説明図である。図１と同一要素には同一記号を付して重複する説明は省略する。
【００３９】
ＣＳＵ２Ａは、顕微鏡１の観察接続ポートに取付けられ、共焦点光路２２を備える共焦点スキャナユニットである。外部光路８は、ＣＳＵ２Ａの外部に設けられた明視野光路で、図示しない光路切換部により共焦点光路２２との間で光路の切り換えが可能な構造となっている。撮像素子５は外部光路８と共焦点光路２２の２系統の光路から出射される試料の蛍光画像を検出する。画像回転ユニット７の処理内容は、前記光路切換部から出力される光路切換信号により切り換えられる。
【００４０】
図４のシステムにおける、画像回転ユニット７による処理動作は図１の場合と同様である。
【００４１】
上記のような共焦点顕微鏡システムによれば、ＣＳＵのオプション外で外部光路を取り付けたような場合においても、光路を切り換える度に画像処理ソフトの操作が不要で、ユーザーが特に意識することなく、リアルタイムに画像比較可能な共焦点顕微鏡システムを実現することができる。
【００４２】
なお、図１〜図４の各実施例においては、光路が２つの場合を示したが、これに限らず、ＣＳＵ内の明視野光路と外部の明視野光路を併用する場合など、任意の数の光路を切り換える場合に適用することができる。
【００４３】
図５は画像回転ユニット７の他の応用例で、共焦点スキャナシステムに限らず、カメラからの画像を回転させる目的で使用する画像撮像システムを示す構成説明図である。図１と同一要素には同一記号を付して重複する説明は省略する。
【００４４】
構成するカメラの取り付け方向が限られているため、撮像素子５からは入力画像を右９０度回転した画像信号が出力されるが、画像回転ユニット７を２７０度回転として設定することにより画像取込装置７において正立した画像を得ている。
【００４５】
上記のような画像撮像システムによれば、画像回転ユニットの回転設定を変更することにより、カメラの取り付け方向をいろいろ変えることができる。したがって、さまざまなカメラ形状により取り付け方向が制限される場合に有効である。
【００４６】
また、画像取込ボードで画像データが反転する場合などにも画像方向修正用として有効である。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施の形態に係る共焦点顕微鏡システムの一実施例を示す構成説明図である。
【図２】画像回転ユニット７で行われる処理を示す処理ブロック図である。
【図３】従来システムおよび図１システムにおける明視野画像と共焦点画像を示す動作説明図である。
【図４】本発明の実施の形態に係る共焦点顕微鏡システムの第２の実施例を示す構成説明図である。
【図５】画像回転ユニット７の他の応用例を示す構成説明図である。
【図６】従来の共焦点顕微鏡システムの一例を示す構成説明図である。
【符号の説明】
【００４８】
５  撮像手段
６  画像取込装置
７  画像回転ユニット
８，２１  明視野光路
２２  共焦点光路
７２  マッピング処理部
７３  回転処理部
【図２】
0005077824.tif 000002
【図３】
0005077824.tif 000003
【図１】
0005077824.tif 000004
【図４】
0005077824.tif 000005
【図５】
0005077824.tif 000006
【図６】
0005077824.tif 000007