(57)【要約】  顕微鏡システム１は、接眼レンズ１０４と、試料からの光を接眼レンズ１０４へ導く対物レンズ１０２と、接眼レンズ１０４と対物レンズ１０２の間の光路上に配置され試料からの光に基づいて試料の光学画像を形成する結像レンズ１０３と、第１補助画像を含む投影画像を表す投影画像データを生成する投影画像生成部１３と、光学画像が形成されている像面へ投影画像を投影する投影装置１３１とを備える。第１補助画像は、試料の画像であって、光学画像に対応する実視野よりも広い領域を写した画像である。
2020066042.tif 000002
【特許請求の範囲】
【請求項１】
接眼レンズと、
試料からの光を前記接眼レンズへ導く対物レンズと、
前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、
第１補助画像を含む投影画像を表す投影画像データを生成する投影画像生成部であって、前記第１補助画像は、前記試料の画像であって前記光学画像に対応する実視野よりも広い領域を写した画像である、前記投影画像生成部と、
前記光学画像が形成されている像面へ前記投影画像を投影する投影装置と、を備える
ことを特徴とする顕微鏡システム。
【請求項２】
請求項１に記載の顕微鏡システムにおいて、
前記第１補助画像は、前記領域の互いに異なる部分の画像である複数の画像をタイリングした画像である
ことを特徴とする顕微鏡システム。
【請求項３】
請求項１又は請求項２に記載の顕微鏡システムにおいて、
前記投影画像は、さらに、前記第１補助画像内の前記光学画像に対応する位置を示す第２補助画像を含み、
前記投影装置は、前記像面に投影されている前記第１補助画像内の前記位置に、前記第２補助画像を投影する
ことを特徴とする顕微鏡システム。
【請求項４】
請求項３に記載の顕微鏡システムにおいて、さらに、
前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
前記撮像装置で取得した前記デジタル画像データと、前記第１補助画像を表す第１補助画像データと、に基づいて、前記位置を特定する画像解析部と、を備える
ことを特徴とする顕微鏡システム。
【請求項５】
請求項４に記載の顕微鏡システムにおいて、
前記画像解析部は、前記第１補助画像と前記デジタル画像データが表すデジタル画像とを比較することで、前記位置を特定する
ことを特徴とする顕微鏡システム。
【請求項６】
請求項５に記載の顕微鏡システムにおいて、
前記画像解析部は、さらに、前記第１補助画像の座標情報と前記試料の移動量に基づいて、前記位置を更新する
ことを特徴とする顕微鏡システム。
【請求項７】
請求項６に記載の顕微鏡システムにおいて、
前記画像解析部は、前記撮像装置で取得した前記試料の複数のデジタル画像データに基づいて、前記移動量を算出する
ことを特徴とする顕微鏡システム。
【請求項８】
請求項６に記載の顕微鏡システムにおいて、さらに、
前記試料を載置する電動ステージを備え、
前記画像解析部は、前記電動ステージの制御情報に基づいて、前記移動量を算出する
ことを特徴とする顕微鏡システム。
【請求項９】
請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、を備え、
前記投影画像生成部は、前記撮像装置で取得した前記試料の複数のデジタル画像データに基づいて、前記第１補助画像を表す第１補助画像データを生成する
ことを特徴とする顕微鏡システム。
【請求項１０】
請求項９に記載の顕微鏡システムにおいて、
前記投影画像生成部は、前記複数のデジタル画像データの各々が取得される度に、前記第１補助画像データを生成する
ことを特徴とする顕微鏡システム。
【請求項１１】
請求項９に記載の顕微鏡システムにおいて、さらに、
前記試料を載置する電動ステージを備え、
前記投影画像生成部は、前記電動ステージが指定された範囲を移動した後に、前記電動ステージの移動中に取得された前記複数のデジタル画像データに基づいて、前記第１補助画像データを生成する
ことを特徴とする顕微鏡システム。
【請求項１２】
請求項９乃至請求項１１のいずれか１項に記載の顕微鏡システムにおいて、さらに、
前記複数のデジタル画像データは、前記対物レンズの焦点位置が前記対物レンズの光軸方向に異なる状態で取得された２枚以上のデジタル画像データを含む
ことを特徴とする顕微鏡システム。
【請求項１３】
請求項１２に記載の顕微鏡システムにおいて、
前記第１補助画像は、全焦点画像である
ことを特徴とする顕微鏡システム。
【請求項１４】
請求項９乃至請求項１３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
前記第１補助画像データと、前記複数のデジタル画像データの各々が表すデジタル画像の座標情報と、を記録する、記録部を備える
ことを特徴とする顕微鏡システム。
【請求項１５】
請求項１４に記載の顕微鏡システムにおいて、
前記記録部は、前記座標情報を、前記デジタル画像データと関連付けて記録する
ことを特徴とする顕微鏡システム。
【請求項１６】
請求項１４又は請求項１５に記載の顕微鏡システムにおいて、さらに、
前記デジタル画像データを解析する画像解析部を備え、
前記記録部は、前記座標情報を、前記デジタル画像データの解析結果に関連付けて記録する
ことを特徴とする顕微鏡システム。
【請求項１７】
請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
前記撮像装置で取得した前記デジタル画像データを解析する画像解析部と、を備え、
前記投影画像は、さらに、前記画像解析部での解析結果を示す第３補助画像を含む
ことを特徴とする顕微鏡システム。
【請求項１８】
請求項１７に記載の顕微鏡システムにおいて、
前記画像解析部は、訓練済みのニューラルネットワークを用いて前記デジタル画像データを解析する
ことを特徴とする顕微鏡システム。
【請求項１９】
請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
前記デジタル画像データに基づいて、前記試料内の注目領域を追跡する画像解析部と、を備え、
前記投影画像は、さらに、前記注目領域の追跡の正否を示す第４補助画像を含む
ことを特徴とする顕微鏡システム。
【請求項２０】
請求項１９に記載の顕微鏡システムにおいて、さらに、
前記試料を載置する電動ステージと、を備え、
前記電動ステージは、前記画像解析部の追跡結果に基づいて、前記注目領域が前記対物レンズの光軸上に位置するように、移動する
ことを特徴とする顕微鏡システム。
【請求項２１】
請求項１乃至請求項２０のいずれか１項に記載の顕微鏡システムにおいて、
前記投影画像生成部は、前記実視野のサイズに応じて、前記像面における前記第１補助画像のサイズを決定する
ことを特徴とする顕微鏡システム。
【請求項２２】
請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
前記試料を載置する電動ステージと、
アクティブ方式のオートフォーカス装置と、を備え、
前記電動ステージが移動したときに、前記オートフォーカス装置がオートフォーカス処理を行う
ことを特徴とする顕微鏡システム。
【請求項２３】
請求項１乃至請求項１３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
検出されたイベントに応答して、前記イベントに応じた情報を記録する記録部を備える
ことを特徴とする顕微鏡システム。
【請求項２４】
対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、
試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
第１補助画像を含む投影画像を表す投影画像データを生成する投影画像生成部であって、前記第１補助画像は、前記試料の画像であって前記結像レンズにより形成された光学画像に対応する実視野よりも広い領域を写した画像である、前記投影画像生成部と、
前記光学画像が形成されている像面へ前記投影画像を投影する投影装置と、を備える
ことを特徴とする投影ユニット。
【請求項２５】
顕微鏡システムが行う画像投影方法であって、
前記顕微鏡システムは、
第１補助画像を含む投影画像を表す投影画像データを生成し、ここで、前記第１補助画像は、試料の画像であって前記試料の光学画像に対応する実視野よりも広い領域を写した画像であり、
前記試料からの光に基づいて前記光学画像が形成されている像面へ前記投影画像を投影する
ことを特徴とする顕微鏡システム。
【請求項２６】
請求項１に記載の顕微鏡システムにおいて、
前記第１補助画像は、前記顕微鏡システムとは異なるWSIシステムによってあらかじめ取得したWS画像であり、
前記WS画像は、前記領域の互いに異なる部分の画像である複数の画像をタイリングした画像である
ことを特徴とする顕微鏡システム。
【請求項２７】
請求項２６に記載の顕微鏡システムにおいて、さらに、
前記WS画像と、前記顕微鏡システムで観察する前記試料を自動的に照合する手段を備える
ことを特徴とする顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書の開示は、顕微鏡システム、投影ユニット、及び、画像投影方法に関する。
【背景技術】
【０００２】
病理診断における病理医の負担を軽減する技術の一つとして、WSI（Whole Slide Imaging）技術が注目されている。WSI技術とはスライドガラス上の検体全域のデジタル画像を作成する技術である。WSI技術については、例えば、特許文献１に記載されている。【０００３】
また、WSI技術のような、複数の画像をタイリングすることで顕微鏡の視野よりも広い領域を高い解像力で画像化する技術は、工業用途でも使用されている。例えば、品質管理のため、工業用部品の材料の微細組織を検査し、評価するなどの用途がその一例である。【０００４】
上述した技術によれば、モニタに表示した高解像度の画像を見ながら対象物の任意の領域を観察することが可能となる。このため、診断、検査、評価等における作業者の負担を軽減することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００１−５１９９４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
その一方で、接眼レンズを覗いて試料の光学画像を目視するニーズも引き続き存在する。これは、一般に、デジタル画像は、光学画像と比較して、色再現性とダイナミックレンジにおいて劣っているためである。例えば、病理診断では、色と濃淡の情報は極めて重要であることから、光学画像を用いて診断を行いたいといったニーズが存在する。また、仮に、光学画像と同程度まで高い色再現性と広いダイナミックレンジをデジタル画像に要求すると、顕微鏡システムは、非常に高価なものになってしまう。このため、そのような顕微鏡システムを導入できる利用者は、限られてしまう。【０００７】
本発明の一側面に係る目的は、光学顕微鏡によって得られる光学画像に基づいて行う、診断、検査、評価などの作業を補助することで、作業者の負担を軽減する新たな技術を提供することである。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る顕微鏡システムは、接眼レンズと、試料からの光を前記接眼レンズへ導く対物レンズと、前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、第１補助画像を含む投影画像を表す投影画像データを生成する投影画像生成部であって、前記第１補助画像は、前記試料の画像であって前記光学画像に対応する実視野よりも広い領域を写した画像である、前記投影画像生成部と、前記光学画像が形成されている像面へ前記投影画像を投影する投影装置と、を備える。【０００９】
本発明の一態様に係る投影ユニットは、対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、第１補助画像を含む投影画像を表す投影画像データを生成する投影画像生成部であって、前記第１補助画像は、前記試料の画像であって前記結像レンズにより形成された光学画像に対応する実視野よりも広い領域を写した画像である、前記投影画像生成部と、前記光学画像が形成されている像面へ前記投影画像を投影する投影装置と、を備える。【００１０】
本発明の一態様に係る画像投影方法は、顕微鏡システムが行う画像投影方法であって、前記顕微鏡システムは、第１補助画像を含む投影画像を表す投影画像データを生成し、ここで、前記第１補助画像は、試料の画像であって前記試料の光学画像に対応する実視野よりも広い領域を写した画像であり、前記試料からの光に基づいて前記光学画像が形成されている像面へ前記投影画像を投影する。
【発明の効果】
【００１１】
上記の態様によれば、光学顕微鏡によって得られる光学画像に基づいて行う、診断、検査、評価などの作業を補助することで、作業者の負担を軽減することができる。
【図面の簡単な説明】
【００１２】
【図１】顕微鏡システム１の構成を示した図である。
【図２】制御装置１０の構成を示した図である。
【図３】顕微鏡システム１が行う画像投影処理のフローチャートの一例である。
【図４】顕微鏡システム１の接眼レンズ１０４から見える画像の一例である。
【図５】顕微鏡システム１が行う投影画像データ生成処理のフローチャートの一例である。
【図６】マップ画像Ｍ１について説明するための図である。
【図７】マップ画像の構築過程の一例について説明するための図である。
【図８】マップ画像の構築過程の別の例について説明するための図である。
【図９】マップ画像の構築過程の更に別の例について説明するための図である。
【図１０】顕微鏡システム１が行う投影画像データ生成処理のフローチャートの別の例である。
【図１１】顕微鏡システム１の接眼レンズ１０４から見える画像の別の例である。
【図１２】ニューラルネットワークの構成を示した図である。
【図１３】顕微鏡システム１が行う投影画像データ生成処理のフローチャートの更に別の例である。
【図１４】顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。
【図１５】顕微鏡システム１が行う投影画像データ生成処理のフローチャートの更に別の例である。
【図１６】顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。
【図１７】顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。
【図１８】顕微鏡２００の構成を示した図である。
【図１９】顕微鏡システム２の構成を示した図である。
【図２０】顕微鏡システム３の構成を示した図である。
【図２１】視野の大きさの異なる複数のシステムを示した図である。
【図２２】リーダー機器の一例である装置３０を示した図である。
【発明を実施するための形態】
【００１３】
［第１実施形態］
図１は、本実施形態に係る顕微鏡システム１の構成を示した図である。図２は、制御装置１０の構成を示した図である。顕微鏡システム１は、接眼レンズ１０４を覗いて試料を観察する顕微鏡システムであり、少なくとも、対物レンズ１０２と、結像レンズ１０３と、接眼レンズ１０４と、投影画像生成部１３と、投影装置１３１を備えている。以降では、病理医が病理診断で顕微鏡システム１を用いる場合を例に説明するが、顕微鏡システム１の用途はこれに限らない。
【００１４】
顕微鏡システム１は、対物レンズ１０２と結像レンズ１０３によって試料の光学画像が形成されている像面に、投影装置１３１を用いて投影画像を投影する。この投影画像は、試料の画像であって光学画像に対応する実視野よりも広い領域を写した画像を含んでいる。これにより、顕微鏡システム１の利用者は、試料のより広い範囲を大まか把握しながら、その試料の一部を光学画像でより詳細に観察することができる。このため、顕微鏡システム１は、利用者が光学画像で試料を観察しながら行う作業を補助することができる。
【００１５】
以下、図１及び図２を参照しながら、顕微鏡システム１の構成の具体例について詳細に説明する。顕微鏡システム１は、図１に示すように、顕微鏡１００と、制御装置１０と、入力装置２０と、を備えている。なお、顕微鏡システム１は、これらに加えて、表示装置などを備えても良い。
【００１６】
顕微鏡１００は、例えば、正立顕微鏡であり、顕微鏡本体１１０と、鏡筒１２０と、中間鏡筒１３０と、撮像装置１４０を備えている。なお、顕微鏡１００は、倒立顕微鏡であってもよい。
【００１７】
顕微鏡本体１１０は、試料を載置するステージ１０１と、試料からの光を接眼レンズ１０４に導く対物レンズ（対物レンズ１０２、対物レンズ１０２ａ）と、落射照明光学系と、視野絞りＦＳを含む透過照明光学系と、を備えている。ステージ１０１は、手動ステージであっても、電動ステージであってもよい。レボルバには、倍率の異なる複数の対物レンズが装着されていることが望ましい。例えば、対物レンズ１０２は、４倍の対物レンズであり、対物レンズ１０２ａは、２０倍の対物レンズである。なお、顕微鏡本体１１０は、落射照明光学系と透過照明光学系の少なくとも一方を備えていれば良い。透過照明光学系が視野絞りＦＳを備える例を示したが、落射照明光学系が視野絞りを備えてもよい。また、落射照明光学系は、対物レンズ１０２と後述する光偏向素子１３２の間に、図示しないリレー光学系を備えてもよく、視野絞りは、リレー光学系が形成する中間像位置に設けられても良い。
【００１８】
顕微鏡本体１１０は、さらに、顕鏡法を切り換えるためのターレット１１１を備えている。ターレット１１１には、例えば、蛍光観察法で用いられる蛍光キューブ、明視野観察法で用いられるハーフミラーなどが配置されている。その他、顕微鏡本体１１０は、特定の顕鏡法で用いられる光学素子を光路に対して挿脱自在に備えていても良い。具体的には、顕微鏡本体１１０は、例えば、微分干渉観察法で用いられるＤＩＣプリズム、ポラライザ、アナライザなどを備えても良い。
【００１９】
鏡筒１２０は、接眼レンズ１０４と撮像装置１４０が装着された三眼鏡筒である。鏡筒１２０内には、結像レンズ１０３が設けられる。結像レンズ１０３は、対物レンズ１０２と接眼レンズ１０４の間の光路上に配置されている。結像レンズ１０３は、接眼レンズ１０４と結像レンズ１０３の間の像面に、試料からの光に基づいて試料の光学画像を形成する。また、結像レンズ１０３は、撮像素子１４１と結像レンズ１０３の間の像面にも、試料からの光に基づいて試料の光学画像を形成する。結像レンズ１０３は、これらの像面に、投影装置１３１からの光に基づいて後述する投影画像も形成する。これにより、像面において光学画像上に投影画像が重畳されるため、顕微鏡システム１の利用者は、接眼レンズ１０４を覗くことで光学画像に投影画像が重畳した重畳画像を見ることができる。
【００２０】
なお、結像レンズ１０３は、像面の位置を変更することなく焦点距離を可変する機能、焦点距離を変更することなく像面の位置を可変する機能、または、像面の位置と焦点距離をそれぞれ独立して可変する機能を備える。これらの機能を実現するものには、結像レンズ１０３を構成するレンズの少なくとも一部を光軸方向に移動させるレンズが含まれる。また、結像レンズ１０３を構成する光学系の少なくとも一部のレンズを電気的に制御することで、レンズの曲率半径と屈折率の少なくとも一方を可変するアクティブレンズも含まれる。アクティブレンズは、例えば、液体レンズであってもよい。
【００２１】
中間鏡筒１３０は、顕微鏡本体１１０と鏡筒１２０の間に設けられている。中間鏡筒１３０は、投影装置１３１と、光偏向素子１３２と、投影レンズ１３３を備えている。
【００２２】
投影装置１３１は、制御装置１０からの命令に従って、投影画像を光学画像が形成されている像面に投影する装置である。投影装置１３１は、例えば、液晶デバイスを用いたプロジェクタ、デジタルミラーデバイスを用いたプロジェクタ、ＬＣＯＳを用いたプロジェクタなどである。
【００２３】
光偏向素子１３２は、投影装置１３１から出射した光を像面に向けて偏向する。光偏向素子１３２は、例えば、ハーフミラーなどのビームスプリッタである。光偏向素子１３２には、透過率と反射率を可変する可変ビームスプリッタが用いられても良い。また、光偏向素子１３２には、ダイクロイックミラーなどが用いられても良い。光偏向素子１３２は、対物レンズ１０２と結像レンズ１０３の間の光路上に配置される。
【００２４】
投影レンズ１３３は、投影装置１３１からの光を結像レンズ１０３へ導くレンズである。投影レンズ１３３の焦点距離によって、像面へ投影される投影画像の倍率が調整される。なお、投影レンズ１３３にも、結像レンズ１０３と同様に、像面の位置と焦点距離の少なくとも一方を可変する機能を備えたレンズ、例えば、アクティブレンズなどが採用されてもよい。
【００２５】
撮像装置１４０は、例えば、デジタルカメラであり、撮像素子１４１と、アダプタレンズ１４２を備えている。撮像装置１４０は、試料からの光に基づいて、試料のデジタル画像データを取得する。
【００２６】
撮像素子１４１は、試料からの光を検出する光検出器の一例である。撮像素子１４１は、二次元イメージセンサであり、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどである。撮像素子１４１は、試料からの光を検出し、電気信号へ変換する。アダプタレンズ１４２は、像面に形成された光学画像を撮像素子１４１へ投影する。
【００２７】
投影装置１３１が像面に投影画像を投影しているとき、撮像装置１４０には投影装置１３１からの光も入射する。このため、撮像装置１４０が取得するデジタル画像には、試料の光学画像に加えて投影画像も含まれ得る。ただし、投影装置１３１の投影期間と撮像装置１４０の露光期間とを調整することで、撮像装置１４０は、投影画像が含まれない試料のデジタル画像データを取得することができる。
【００２８】
入力装置２０は、利用者の入力操作に応じた操作信号を制御装置１０へ出力する。入力装置２０は、例えば、キーボードであるが、マウス、ジョイスティック、タッチパネルなどを含んでもよい。また、入力装置２０は、音声入力を受け付ける装置、例えば、マイクなどあってもよい。その場合、制御装置１０は、入力装置２０から入力された音声指示を認識する機能を備えてもよい。
【００２９】
制御装置１０は、顕微鏡システム１全体を制御する。制御装置１０は、顕微鏡１００、及び、入力装置２０に接続されている。制御装置１０は、主に投影装置１３１の制御に関連する構成要素として、図１に示すように、撮像制御部１１、画像解析部１２、投影画像生成部１３、投影制御部１４、記録部１５を備えている。
【００３０】
撮像制御部１１は、撮像装置１４０を制御することで、試料のデジタル画像データを取得する。撮像制御部１１が取得したデジタル画像データは、画像解析部１２、投影画像生成部１３、及び、記録部１５へ出力される。
【００３１】
画像解析部１２は、撮像制御部１１が取得したデジタル画像データを解析し、解析結果を投影画像生成部１３へ出力する。画像解析部１２が行う解析処理の内容は特に限定しない。
【００３２】
画像解析部１２は、例えば、撮像素子１４１で取得したデジタル画像データと、後述するマップ画像データと、に基づいて、像面に投影されているマップ画像内における光学画像に対応する位置を特定して、その位置情報を投影画像生成部１３へ出力しても良い。
【００３３】
より具体的には、画像解析部１２は、マップ画像とデジタル画像とを比較することで、上述した位置を特定する。画像解析部１２は、画像比較によって位置を特定する処理を、デジタル画像データを取得する度に行ってもよい。画像比較により一度位置が特定されると、マップ画像に含まれる座標情報と顕微鏡システム１が管理する座標情報の関係が定まる。このため、その後は、画像解析部１２は、マップ画像とデジタル画像の比較を行うことなく、マップ画像の座標情報と試料の移動量に基づいて、その位置を更新してもよい。
【００３４】
試料の移動量は、例えば、異なる時刻に取得した複数のデジタル画像データに基づいて算出してもよい。具体的には、例えば、異なる時刻に取得したデジタル画像データ同士を画像解析することによりデジタル画像データに写る被写体の移動距離を算出することができる。また、マップ画像に対して、異なる時刻に取得したデジタル画像をそれぞれ比較することにより、マップ画像に対するそれぞれの画像の座標を求め、それらの座標から移動量を算出することもできる。この場合、異なる時刻に取得したデジタル画像データが表すデジタル画像に空間的な重なりが無くても移動量を算出することができる。また、ステージ１０１が電動ステージであれば、電動ステージの制御情報に基づいて移動量を算出してもよい。電動ステージの制御情報は、例えば、制御装置１０がステージ１０１へ出力した移動指示に関する情報であってもよく、ステージ１０１から制御装置１０へ出力される移動結果に関する情報であってもよい。なお、移動結果に関する情報とは、例えば、ステージ１０１に設けられたエンコーダからの出力情報などである。
【００３５】
また、画像解析部１２は、例えば、デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類し、その一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する情報を含む解析結果を出力してもよい。より具体的には、画像解析部１２は、デジタル画像に写る細胞を染色強度に応じて分類し、細胞が分類されたクラス情報とその細胞の輪郭又はその細胞の核の輪郭を特定する位置情報とを含む解析結果を生成してもよい。なお、その場合、少なくとも一つのクラスに分類された構造物は、病理医による病理診断における判定の根拠となる対象物であることが望ましい。
【００３６】
また、画像解析部１２は、例えば、デジタル画像データに基づいて、試料内の注目領域を追跡しても良い。この場合、画像解析部１２が出力する解析結果には、注目領域の位置情報と、追跡の正否を示す追跡結果情報が含まれることが望ましい。なお、追跡すべき注目領域は、デジタル画像データを解析することで決定されてもよく、利用者が入力装置２０を用いて指定することで決定されてもよい。
【００３７】
投影画像生成部１３は、投影画像データを生成する。投影画像生成部１３で生成された投影画像データは、投影制御部１４及び記録部１５へ出力される。投影画像データが表す投影画像は、マップ画像を含む。ここで、マップ画像は、第１補助画像の一例である。マップ画像とは、試料の画像であって、像面に形成されている光学画像に対応する実視野よりも広い領域を写した画像のことである。このため、マップ画像は、例えば、対物レンズ１０２よりも低倍の対物レンズを用いて取得した試料の画像であってもよい。また、Whole Slide Imageのような複数の画像をタイリングすることで生成された画像であってもよい。この場合、複数の画像は、実視野よりも広い試料の領域の互いに異なる部分を写した画像である。なお、以降では、複数の画像をタイリングすることで生成されたマップ画像を例に説明する。
【００３８】
投影画像生成部１３で生成される投影画像データに含まれるマップ画像データは、顕微鏡システム１とは異なるシステムで生成された画像データであってもよい。投影画像生成部１３は、他のシステムで取得したマップ画像データを用いて投影画像データを生成してもよい。また、投影画像生成部１３は、撮像装置１４０で取得した試料の複数のデジタル画像データに基づいて、マップ画像データを生成してもよい。なお、マップ画像データとは、第１補助画像データの一例であり、マップ画像を表す画像データである。
【００３９】
投影画像には、マップ画像に加えて、その他の画像が含まれてもよい。例えば、投影画像は、マップ画像内の光学画像に対応する位置を示す位置画像を含んでもよい。位置画像は、第２補助画像の一例である。投影画像生成部１３は、画像解析部１２から出力された、マップ画像内の光学画像に対応する位置情報に基づいて位置画像データを生成してもよく、それによって、マップ画像と位置画像とを含む投影画像を表す投影画像データを生成してもよい。なお、位置画像データとは、位置画像を表す画像データである。
【００４０】
また、投影画像には、画像解析部１２での解析結果を示す解析画像を含んでもよい。この解析画像は、第３補助画像の一例である。投影画像生成部１３は、画像解析部１２から出力された、クラス情報と位置情報に基づいて解析画像データを生成してもよく、それによって、マップ画像と解析結果を示す解析画像とを含む投影画像を表す投影画像データを生成してもよい。なお、解析画像データとは、解析画像を表す画像データである。
【００４１】
また、投影画像には、画像解析部１２での追跡結果を示す解析画像を含んでもよい。この解析画像は、第４補助画像の一例であり、例えば、注目領域の追跡の正否を示す画像である。投影画像生成部１３は、画像解析部１２から出力された、注目領域の追跡結果情報に基づいて解析画像データを生成してもよく、それによって、マップ画像と追跡結果を示す解析画像とを含む投影画像を表す投影画像データを生成してもよい。
【００４２】
投影制御部１４は、投影装置１３１を制御することで、像面への投影画像の投影を制御する。投影制御部１４は、例えば、顕微鏡システム１の設定に応じて投影装置１３１を制御しても良い。具体的には、投影制御部１４は、顕微鏡システム１の設定に応じて、像面に投影画像を投影するか否かを決定してもよく、顕微鏡システム１が所定の設定のときに、投影装置１３１が像面へ投影画像を投影するように、投影装置１３１を制御しても良い。つまり、顕微鏡システム１は、投影画像を像面に投影するか否かを設定によって変更することができる。
【００４３】
また、投影制御部１４は、例えば、投影装置１３１の発光期間と撮像素子１４１の露光期間が重ならないように、投影装置１３１を制御しても良い。これにより、デジタル画像に投影画像が写りこむことを防止することができる。
【００４４】
記録部１５は、デジタル画像データを記録する。記録部１５は、利用者による記録指示の入力を検出したときに、デジタル画像データを記録してもよい。また、記録部１５は、顕微鏡システム１が所定のイベントを検出すると、そのイベントに応答してイベントに応じた情報を、デジタル画像データと共に記録してもよい。例えば、画像解析部１２での解析結果に基づいて癌細胞が検出されると、記録部１５は、その癌細胞の位置情報とデジタル画像データを記録してもよい。また、記録部１５は、その他、マップ画像データ、解析結果、座標情報などを記録しても良い。
【００４５】
なお、制御装置１０は、汎用装置であっても、専用装置であってもよい。制御装置１０は、特にこの構成に限定されるものではないが、例えば、図２に示すような物理構成を有してもよい。具体的には、制御装置１０は、プロセッサ１０ａ、メモリ１０ｂ、補助記憶装置１０ｃ、入出力インタフェース１０ｄ、媒体駆動装置１０ｅ、通信制御装置１０ｆを備えてもよく、それらが互いにバス１０ｇによって接続されてもよい。
【００４６】
プロセッサ１０ａは、例えば、ＣＰＵ（Central Processing Unit）を含む、任意の処理回路である。プロセッサ１０ａは、メモリ１０ｂ、補助記憶装置１０ｃ、記憶媒体１０ｈに格納されているプログラムを実行してプログラムされた処理を行うことで、上述した投影装置１３１の制御に関連する構成要素（撮像制御部１１、画像解析部１２、投影画像生成部１３等）を実現しても良い。また、プロセッサ１０ａは、ＡＳＩＣ、ＦＰＧＡ等の専用プロセッサを用いて構成されてもよい。
【００４７】
メモリ１０ｂは、プロセッサ１０ａのワーキングメモリである。メモリ１０ｂは、たとえば、ＲＡＭ（Random Access Memory）等の任意の半導体メモリである。補助記憶装置１０ｃは、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（Hard Disc Drive）等の不揮発性のメモリである。入出力インタフェース１０ｄは、外部装置（顕微鏡１００、入力装置２０）と情報をやり取りする。
【００４８】
媒体駆動装置１０ｅは、メモリ１０ｂ及び補助記憶装置１０ｃに格納されているデータを記憶媒体１０ｈに出力することができ、また、記憶媒体１０ｈからプログラム及びデータ等を読み出すことができる。記憶媒体１０ｈは、持ち運びが可能な任意の記録媒体である。記憶媒体１０ｈには、例えば、ＳＤカード、ＵＳＢ（Universal Serial Bus）フラッシュメモリ、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)などが含まれる。
【００４９】
通信制御装置１０ｆは、ネットワークへの情報の入出力を行う。通信制御装置１０ｆとしては、例えば、ＮＩＣ（Network Interface Card）、無線ＬＡＮ（Local Area Network）カード等が採用され得る。バス１０ｇは、プロセッサ１０ａ、メモリ１０ｂ、補助記憶装置１０ｃ等を、相互にデータの授受可能に接続する。
【００５０】
以上のように構成された顕微鏡システム１は、図３に示す画像投影処理を行う。図３は、顕微鏡システム１が行う画像投影処理のフローチャートである。図４は、顕微鏡システム１の接眼レンズ１０４から見える画像の一例である。図５は、顕微鏡システム１が行う投影画像データ生成処理のフローチャートの一例である。図６は、マップ画像Ｍ１について説明するための図である。以下、図３から図６を参照しながら、顕微鏡システム１の画像投影方法について説明する。
【００５１】
まず、顕微鏡システム１は、試料の光学画像を像面に投影する（ステップＳ１０）。ここでは、対物レンズ１０２が取り込んだ試料からの光を結像レンズ１０３が像面に集光し、試料の光学像を形成する。これにより、図４に示すように、像面上の領域Ｒ１に光学画像Ｏ１が投影される。なお、領域Ｒ１は、対物レンズ１０２からの光束が入射する像面上の領域を示している。また、領域Ｒ２は、接眼レンズ１０４を覗くことで見ることが出来る像面上の領域を示している。
【００５２】
次に、顕微鏡システム１は、試料のデジタル画像データを取得する（ステップＳ２０）。ここでは、撮像装置１４０が、試料からの光に基づいて試料を撮像することでデジタル画像データを生成する。なお、撮像素子１４１は矩形形状を有しているため、デジタル画像に対応する試料上の領域は光学画像に対応する試料上の領域、つまり、実視野、とは完全には一致しない。領域Ｒ４は、撮像装置１４０で撮像可能な試料上の領域に対応する像面上の領域を示している。なお、図４では、領域Ｒ４が領域Ｒ１内に収まっているが、領域Ｒ４は、領域Ｒ１からはみ出していても良い。但し、領域Ｒ１の中心位置と領域Ｒ４の中心位置は一致することが望ましい。
【００５３】
また、領域Ｒ１の外周の境界をよりクリアにするために、試料上の観察面と共役な位置に視野絞りを配置しても良い。例えば、視野絞りは、顕微鏡本体１１０の落射照明光路１１０ａ上、又は、透過照明光路１１０ｂ上の観察面と共役な位置に配置することが望ましい。なお、蛍光観察の場合は、照明光路で光束を制限しても試料からの蛍光は全方位に発生する。そのため、投影装置１３１からの光路と対物レンズ１０２からの光路が合流する位置に置かれた光偏向素子１３２と対物レンズ１０２との間に中間像を生成する為のリレー光学系を設け、中間像位置に視野絞りを配置するのが望ましい。
【００５４】
その後、顕微鏡システム１は、投影画像データを生成する（ステップＳ３０）。ここでは、顕微鏡システム１は、図５に示す投影画像データ生成処理を行う。
【００５５】
投影画像データ生成処理が開始されると、まず、顕微鏡システム１の投影画像生成部１３は、マップ画像データを取得する（ステップＳ３１）。ここでは、投影画像生成部１３は、例えば、予め生成されたマップ画像データを補助記憶装置１０ｃなどから読み出すことによって取得する。なお、マップ画像データが表すマップ画像Ｍ１は、図６に示すように、複数の要素画像Ｅをタイリングした画像である。
【００５６】
次に、顕微鏡システム１は、デジタル画像データとマップ画像データに基づいて、位置を特定する（ステップＳ３２）。ここでは、画像解析部１２がデジタル画像とマップ画像を比較することで、マップ画像上における光学画像に対応する位置を特定し、位置情報を投影画像生成部１３へ出力する。
【００５７】
位置が特定されると、顕微鏡システム１は、マップ画像と位置画像を含む投影画像を表す投影画像データを生成する（ステップＳ３３）。ここでは、投影画像生成部１３が、画像解析部１２から出力された位置情報に基づいて、位置画像データを生成する。そして、位置画像データとマップ画像データを合成して、マップ画像と位置画像とを含む投影画像を表す投影画像データを生成する。なお、位置画像Ｐ１は、例えば、図６に示すように、マップ画像上における光学画像に対応する位置を示す矩形マークである。
【００５８】
投影画像データ生成処理が終了すると、顕微鏡システム１は、投影画像を像面に投影する（ステップＳ４０）。ここでは、投影制御部１４がステップＳ３３で生成された投影画像データに基づいて投影装置１３１を制御することで、投影装置１３１が投影画像を像面に投影する。より詳細には、投影装置１３１は、図４に示すように、マップ画像Ｍ１内の光学画像Ｏ１に対応する位置に、位置画像Ｐ１を投影する。これにより、光学画像Ｏ１と投影画像（マップ画像Ｍ１、位置画像Ｐ１）が重畳した画像が像面に形成される。なお、図４に示す領域Ｒ３は、投影装置１３１が像面に投影される領域を示している。
【００５９】
顕微鏡システム１では、光学画像Ｏ１が形成される像面にマップ画像Ｍ１が投影される。これにより、利用者は、接眼レンズ１０４から眼を離すことなく、試料のより広い範囲を大まか把握しながら、その試料の一部を光学画像でより詳細に観察することができる。さらに、マップ画像Ｍ１上に位置画像Ｐ１が投影されることで、利用者は、現在観察中の領域が試料内のどの当たりに位置するか、及び、全体領域に対してどのくらいの大きさの領域を観察しているのかを容易に把握することができる。従って、顕微鏡システム１は、利用者が光学画像で試料を観察しながら行う作業を補助することができる。例えば、利用者は、どの方向へどのくらいステージを動かすべきかといった判断が容易になり、その結果、顕微鏡１００のステージ操作の負担が軽減される。
【００６０】
さらに、顕微鏡システム１では、デジタル画像に基づいて病理診断を行うＷＳＩシステムとは異なり高価な機器を必要としない。従って、顕微鏡システム１によれば、大幅な機器コストの上昇を回避しながら利用者の負担軽減を図ることができる。
【００６１】
なお、以上の例では、予め取得したマップ画像データを用いて投影画像データを生成する例を示したが、投影画像データを生成するときに、マップ画像データを生成してもよい。投影画像生成部１３は、例えば、図７に示すように、試料であるプレパラートＰ上で撮像領域Ｆが移動するたびにデジタル画像データを取得し、デジタル画像データが取得される度にマップ画像データを生成することで、マップ画像を更新してもよい。図７では、撮像領域Ｆの移動に伴って、マップ画像がマップ画像Ｍ１ａ、マップ画像Ｍ１ｂ、マップ画像Ｍ１ｃの順に更新され、それらのマップ画像上の撮像領域Ｆに対応する位置に位置画像Ｐ１が重畳している様子が示されている。
【００６２】
なお、撮影領域Ｆが移動中にマップ画像を生成する場合、例えば、特開2018-54690に記載される技術を用いてもよい。つまり、取得されたデジタル画像データを逐次、画像解析することにより、２枚の画像間の動きベクトルを算出し、動きベクトルを累積した現在位置にデジタル画像データを貼り合わせて、マップ画像を生成、更新しても良い。この場合、電動ステージ又はステージ位置を認識するエンコーダを用いることなく、手動ステージでマップ画像を生成することができるので、安価にシステムを構築することができる。
【００６３】
また、マップ画像データの生成に用いられる複数のデジタル画像データは、対物レンズ１０２の焦点位置が対物レンズ１０２の光軸方向に異なる複数の状態で取得された２枚以上のデジタル画像データを含んでもよい。例えば、図８に示すように、光軸と直交する方向の各位置で、対物レンズ１０２又はステージ１０１を光軸方向に移動させて複数のデジタル画像データを取得することで、全焦点画像を構築し、全焦点画像をタイリングすることでマップ画像を構築しても良い。なお、図８に示すマップ画像（マップ画像Ｍ１ｄ、Ｍ１ｅ、Ｍ１ｆ）のうち、マップ画像Ｍ１ｅとマップ画像Ｍ１ｆは全焦点画像を示している。
【００６４】
さらに、ステージ１０１が電動ステージである場合には、図９に示すように、観察開始前に、顕微鏡システム１がステージ１０１を制御して、利用者が指定した走査範囲Ｓを自動的に走査してもよい。そして、投影画像生成部１３は、ステージ１０１の移動完了後に、移動中に取得した複数のデジタル画像データに基づいて、マップ画像Ｍ１ｇを生成しても良い。
【００６５】
走査範囲Ｓの指定方法としては、例えば、利用者が接眼レンズ１０４を観察しながら走査範囲Ｓの外周付近を３か所、マウスのクリック等で指定する方法が採用されてもよい。この場合、顕微鏡システム１は、指定した３か所を含む範囲を走査範囲として自動設定すればよい。
【００６６】
なお、記録部１５は、マップ画像データが生成されるときに、マップ画像データと、マップ画像データの生成に用いられた複数のデジタル画像データの各々が表すデジタル画像の座標情報と、を記録しても良い。これにより、マップ画像データが座標情報を有することになるため、位置画像を投影すべき位置の特定が容易になる。
【００６７】
さらに、記録部１５は、マップ画像データに加えて、デジタル画像データを記録しても良い。この場合、座標情報をデジタル画像データと関連付けて記録することが望ましい。さらに、画像解析部１２がデジタル画像データを解析した場合には、座標情報をその解析結果に関連付けて記録してもよい。例えば、解析結果が癌細胞の有無であれば、マップ画像内における癌細胞の分布情報を得ることができる。
【００６８】
顕微鏡システム１は、図５に示す投影画像データ生成処理の代わりに図１０に示す投影画像データ生成処理を行ってもよい。図１０は、顕微鏡システム１が行う投影画像データ生成処理のフローチャートの別の例である。図１１は、顕微鏡システム１の接眼レンズ１０４から見える画像の別の例である。
【００６９】
図１０に示す投影画像データ生成処理が開始されると、顕微鏡システム１は、マップ画像データを取得し（ステップＳ５１）、デジタル画像データとマップ画像データに基づいて、位置を特定する（ステップＳ５２）。ステップＳ５１とステップＳ５２の処理は、図５に示すステップＳ３１とステップＳ３２と同様である。
【００７０】
その後、顕微鏡システム１は、デジタル画像データを解析する（ステップＳ５３）。ここでは、画像解析部１２が、デジタル画像データを解析して、例えば、病理診断を補助する情報を生成する。具体的には、解析により細胞の核を特定し、その染色強度に応じてクラス分けする。
【００７１】
解析が終了すると、顕微鏡システム１は、マップ画像と位置画像と解析画像を含む投影画像を表す投影画像データを生成する（ステップＳ５４）。ここでは、投影画像生成部１３が、画像解析部１２から出力された位置情報に基づいて、位置画像データを生成する。さらに、投影画像生成部１３が、画像解析部１２から出力された解析結果に基づいて、解析画像データを生成する。そして、投影画像生成部１３が、位置画像データとマップ画像データと解析画像データを合成して、マップ画像と位置画像と解析画像を含む投影画像を表す投影画像データを生成する。
【００７２】
図１１の画像Ｖ２には、マップ画像Ｍ２と位置画像Ｐ１を含む投影画像と、光学画像Ｏ２とが重畳した様子が示されている。これに対して、図１０に示す投影画像データ生成処理を行うことで、投影画像には、さらに解析画像Ａ１が含まれる。このため、図１１の画像Ｖ３に示すように、光学画像Ｏ２に解析画像Ａ１が重畳される。画像Ｖ３では、細胞の核が染色強度により色分けされているため、各細胞の染色状態を容易に判別することが可能である。
【００７３】
従って、顕微鏡システム１は、図１０に示す投影画像データ生成処理を行うことで、利用者が光学画像で試料を観察しながら行う作業をより良く補助することができる。例えば、利用者は、マップ画像によるステージ操作についての補助に加えて病理診断についても補助を得ることができる。
【００７４】
なお、顕微鏡システム１の画像解析部１２は、所定のアルゴリズムを用いて解析処理を行ってもよく、訓練済みのニューラルネットワークを用いて解析処理を行ってもよい。訓練済みのニューラルネットワークのパラメータは、顕微鏡システム１とは異なる装置において、ニューラルネットワークを訓練することで生成されても良く、制御装置１０は生成されたパラメータをダウンロードして画像解析部１２に適用しても良い。
【００７５】
図１２は、ニューラルネットワークＮＮの構成を示した図である。ニューラルネットワークＮＮは、入力層と複数の中間層と出力層を有している。入力データＤ１を入力層に入力することで出力層から出力される出力データＤ２を正解データＤ３と比較する。そして、誤差逆伝播法によって学習することで、ニューラルネットワークＮＮのパラメータを更新する。なお、入力データＤ１と正解データＤ３のセットが教師あり学習の訓練データである。
【００７６】
顕微鏡システム１は、図５に示す投影画像データ生成処理の代わりに図１３に示す投影画像データ生成処理を行ってもよい。図１３は、顕微鏡システム１が行う投影画像データ生成処理のフローチャートの更に別の例である。図１４は、顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。
【００７７】
図１３に示す投影画像データ生成処理が開始されると、顕微鏡システム１は、マップ画像データを取得し（ステップＳ６１）、デジタル画像データとマップ画像データに基づいて、位置を特定する（ステップＳ６２）。ステップＳ６１とステップＳ６２の処理は、図５に示すステップＳ３１とステップＳ３２と同様である。
【００７８】
その後、顕微鏡システム１は、デジタル画像データを解析する（ステップＳ６３）。ここでは、画像解析部１２が、デジタル画像データを解析して、例えば、注目領域を追跡する。具体的には、画像解析部１２は、例えば、試料内の特定の細胞を追跡し、その細胞の位置情報と追跡の正否を含む追跡結果を解析結果として投影画像生成部１３へ出力する。
【００７９】
解析が終了すると、顕微鏡システム１は、解析結果に基づいてステージ１０１を移動する（ステップＳ６４）。ここでは、制御装置１０からの命令に従って、ステージ１０１は、ステップＳ６３で得られた追跡結果に基づいて、注目領域が対物レンズ１０２の光軸上に位置するように、移動する。
【００８０】
ステージ１０１の移動が終了すると、顕微鏡システム１は、マップ画像と位置画像と解析画像を含む投影画像を表す投影画像データを生成する（ステップＳ６５）。ここでは、投影画像生成部１３が、画像解析部１２から出力された位置情報に基づいて、位置画像データを生成する。さらに、投影画像生成部１３が、画像解析部１２から出力された解析結果のうちの追跡の正否についての情報に基づいて、解析画像データを生成する。そして、投影画像生成部１３が、位置画像データとマップ画像データと解析画像データを合成して、マップ画像と位置画像と解析画像を含む投影画像を表す投影画像データを生成する。
【００８１】
図１４の画像Ｖ４には、像面において、投影画像と光学画像Ｏ３とが重畳した様子が示されている。投影画像には、マップ画像Ｍ３と位置画像Ｐ１と解析画像Ａ２が含まれている。解析画像Ａ２は、注目領域の追跡の正否を示す、信号機に類似した画像である。解析画像Ａ２は、追跡が成功している期間中は青いランプが点灯している画像であり、追跡が失敗している期間中は赤いランプが点灯している画像となる。また、図１４に示す注目領域Ｔは、追跡対象である細胞を含む領域を示している。この注目領域Ｔを示す矩形の画像も投影画像に含まれてもよい。また、細胞の移動の軌跡を示す点線も投影画像に含まれてもよい。
【００８２】
顕微鏡システム１は、図５に示す投影画像データ生成処理の代わりに図１５に示す投影画像データ生成処理を行ってもよい。図１５は、顕微鏡システム１が行う投影画像データ生成処理のフローチャートの更に別の例である。図１６は、顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。
【００８３】
図１５に示す投影画像データ生成処理が開始されると、顕微鏡システム１は、マップ画像データを取得し（ステップＳ７１）、デジタル画像データとマップ画像データに基づいて、位置を特定する（ステップＳ７２）。ステップＳ７１とステップＳ７２の処理は、図５に示すステップＳ３１とステップＳ３２と同様である。
【００８４】
その後、顕微鏡システム１は、実視野のサイズに応じてマップ画像のサイズを決定する（ステップＳ７３）。ここでは、投影画像生成部１３は、例えば、実視野のサイズによらず像面に投影される位置画像Ｐ１が示す範囲が一定の大きさになるように、マップ画像のサイズを決定してもよい。
【００８５】
マップ画像のサイズが決定されると、顕微鏡システム１は、マップ画像と位置画像を含む投影画像を表す投影画像データを生成する（ステップＳ７４）。ここでは、投影画像生成部１３は、ステップＳ７３で決定されたサイズのマップ画像データを生成する。さらに、投影画像生成部１３が、画像解析部１２から出力された位置情報に基づいて、位置画像データを生成する。そして、投影画像生成部１３がマップ画像データと位置画像データを合成してマップ画像と位置画像とを含む投影画像を表す投影画像データを生成する。
【００８６】
図１６の画像Ｖ１は、４倍の対物レンズ１０２を用いて観察中に、像面に形成される画像であり、図１６の画像Ｖ５及び画像Ｖ６は、２０倍の対物レンズ１０２ａを用いて観察中に、像面に形成される画像である。図１６の画像Ｖ１と画像Ｖ５に示すように、実視野の大きさ（倍率）に応じてマップ画像（マップ画像Ｍ１、マップ画像Ｍ４）の大きさを変更することで、位置画像Ｐ１の大きさが倍率によらずに維持されてもよい。また、図１６の画像Ｖ１と画像Ｖ６に示すように、マップ画像Ｍ１の大きさは実視野の大きさ（倍率）が変わっても変更せず、位置画像（位置画像Ｐ１、位置画像Ｐ２）の大きさを実視野の大きさに合わせても変更しても良い。この場合、対物レンズの倍率が４倍から２０倍へとなり、観察倍率が５倍だけさらに拡大されたので、位置画像Ｐ２は、位置画像Ｐ１の１辺の長さを１／５に縮小したものとして、マップ画像Ｍ１上に表示される。
【００８７】
以上では、マップ画像と光学画像が重なる領域が少なくなるように、マップ画像を投影する例を示したが、例えば、図１７に示すように、マップ画像は光学画像上に投影されてもよい。なお、図１７の画像Ｖ７には、光学画像が投影される領域Ｒ４（対物レンズからの光束が入射する像面上の領域）の大きさと接眼レンズ１０４から見える像面上の領域Ｒ５の大きさがほとんど同じ例を示している。
【００８８】
［第２実施形態］
図１８は、本実施形態に係る顕微鏡２００の構成を示した図である。なお、本実施形態に係る顕微鏡システムは、顕微鏡１００の代わりに顕微鏡２００を備える点を除き、顕微鏡システム１と同様である。
【００８９】
顕微鏡２００は、アクティブ方式のオートフォーカス装置３００を備えている点が、顕微鏡１００とは異なっている。その他の点は、顕微鏡１００と同様である。
【００９０】
オートフォーカス装置３００は、レーザ３０１、コリメートレンズ３０２、遮蔽板３０３、偏光ビームスプリッタ３０４、１／４波長板３０５、ダイクロイックミラー３０６、結像レンズ３０７、２分割ディテクタ３０８を備えている。レーザ３０１から出射したレーザ光は、コリメートレンズ３０２でコリメートされた後に、遮蔽板３０３でその半分の光束が遮断される。残りの半分の光束は、偏光ビームスプリッタ３０４で反射し、１／４波長板３０５、ダイクロイックミラー３０６を経由して、対物レンズ１０２に入射し、対物レンズ１０２によって試料に照射される。試料で反射したレーザ光は、対物レンズ１０２、ダイクロイックミラー３０６、１／４波長板３０５を経由して、再び、偏光ビームスプリッタ３０４へ入射する。偏光ビームスプリッタ３０４へ２度目に入射するレーザ光は、偏光ビームスプリッタ３０４で反射して以降、１／４波長板３０５を２度通過している。従って、偏光ビームスプリッタ３０４へ１度目に入射したときとの偏光方向とは直交する偏光方向を有している。このため、レーザ光は偏光ビームスプリッタ３０４を透過する。その後、レーザ光は、結像レンズ３０７により２分割ディテクタ３０８へ照射される。２分割ディテクタ３０８で検出される光量分布は、合焦状態からのずれ量に応じて変化する。このため、２分割ディテクタ３０８で検出される光量分布に応じてステージ１０１と対物レンズ１０２間の距離を調整することで、合焦状態を達成することができる。
【００９１】
本実施形態に係る顕微鏡システムは、ステージ１０１が対物レンズ１０２の光軸と直交する方向に移動したときに、オートフォーカス装置３００によりオートフォーカス処理を行う。これにより、顕微鏡システム１に比べて、更に利用者の作業負担を軽減することができる。
【００９２】
［第３実施形態］
図１９は、本実施形態に係る顕微鏡システム２の構成を示した図である。顕微鏡システム２は、顕微鏡１００の代わりに顕微鏡４００を備える点が、顕微鏡システム１とは異なっている。顕微鏡４００は、中間鏡筒１３０の代わりに中間鏡筒１５０を備えている。中間鏡筒１５０には、投影装置１３１、光偏向素子１３２、及び、投影レンズ１３３に加えて、撮像装置１４０と、光偏向素子１４３が設けられている。
【００９３】
光偏向素子１４３は、試料からの光を撮像素子１４１に向けて偏向する。光偏向素子１４３は、例えば、ハーフミラーなどのビームスプリッタである。光偏向素子１４３は、光偏向素子１３２と対物レンズ１０２の間の光路上に配置されることが望ましい。これにより、投影装置１３１からの光が撮像素子１４１へ入射することを回避することができる。
【００９４】
本実施形態に係る顕微鏡システム２によっても、顕微鏡システム１と同様の効果を得ることができる。
【００９５】
［第４実施形態］
図２０は、本実施形態に係る顕微鏡システム３の構成を示した図である。顕微鏡システム３は、顕微鏡１００の代わりに顕微鏡５００を備える点が、顕微鏡システム１とは異なっている。顕微鏡５００は、顕微鏡本体１１０と鏡筒１２０の間に投影ユニット１６０を備えている。
【００９６】
投影ユニット１６０は、対物レンズ１０２と結像レンズ１０３と接眼レンズ１０４を備える顕微鏡用の投影ユニットである。投影ユニット１６０内の光学素子の構成は、中間鏡筒１５０内の構成と同様である。即ち、投影ユニット１６０は、試料からの光に基づいて試料のデジタル画像データを取得する撮像装置１４０と、光学画像が形成される像面へ投影画像を投影する投影装置１３１を備えている。
【００９７】
投影ユニット１６０は、さらに、撮像制御部１６１と、画像解析部１６２と、投影画像生成部１６３と、投影制御部１６４を備えている。撮像制御部１６１、画像解析部１６２、投影画像生成部１６３、投影制御部１６４は、それぞれ撮像制御部１１、画像解析部１２、投影画像生成部１３、投影制御部１４と同様である。このため、詳細な説明は省略する。
【００９８】
本実施形態では、投影ユニット１６０を既存の顕微鏡に取り付けるだけで、顕微鏡システム１と同様の効果を得ることが可能である。従って、投影ユニット１６０及び顕微鏡システム３によれば、既存の顕微鏡システムを容易に拡張することができる。
【００９９】
上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。顕微鏡システム、投影ユニット、及び画像投影方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
【０１００】
また、上述した実施形態では、顕微鏡が撮像装置を含む例を示したが、上述した技術は、例えば、走査型顕微鏡に上述した技術を提供してもよい。その場合、顕微鏡は、撮像装置の代わりに、光電子増倍管（ＰＭＴ）などの光検出器を備えてもよい。
【０１０１】
また、試料は、顕微鏡システム１のみを用いて観察されてもよく、顕微鏡システム１に加えて、顕微鏡システム１とは実視野の大きさが異なる他のシステムを用いて観察されてもよい。他のシステムは、例えば、図２１に示すように顕微鏡システム４であってもよく、顕微鏡システムとは異なる観察システムであってもよい。この場合、マップ画像データの生成には、他のシステムである顕微鏡システム４を用いても良い。また、試料のマップ画像データの生成には、観察用の顕微鏡システムとは異なる、他の顕微鏡システムが用いられても良い。例えば、WSI技術を用いてWS(Whole Slide)画像を取得するWSIシステムが用いられてもよい。つまり、WS画像の画像データをマップ画像データとして用いても良い。この場合、顕微鏡システムは、あらかじめ取得したWS画像と、観察のために顕微鏡に載せられた試料と、を自動的に照合する手段を備えることが望ましい。照合する手段は、例えば、試料に貼り付けられたバーコードやRFID等を読み込むリーダー機器を含んでもよい。リーダー機器は、例えば、顕微鏡１００の撮像装置１４０であってもよく、図２２に示すような専用の装置３０であってもよい。なお、図２２には、装置３０は、プレパラートＰに貼り付けられたバーコードＣを読み取る様子が描かれている。装置３０と制御装置１０の組み合わせが照合する手段を構成してもよい。
【符号の説明】
【０１０２】
１、２、３、４                    顕微鏡システム
１０                              制御装置
１０ａ                            プロセッサ
１０ｂ                            メモリ
１０ｃ                            補助記憶装置
１０ｄ                            入出力インタフェース
１０ｅ                            媒体駆動装置
１０ｆ                            通信制御装置
１０ｇ                            バス
１０ｈ                            記憶媒体
１１、１６１                      撮像制御部
１２、１６２                      画像解析部
１３、１６３                      投影画像生成部
１４、１６４                      投影制御部
１５                              記録部
２０                              入力装置
３０                              装置
１００、２００、４００、５００    顕微鏡
１０１                            ステージ
１０２、１０２ａ                  対物レンズ
１０３、３０７                    結像レンズ
１０４                            接眼レンズ
１１０                            顕微鏡本体
１１１                            ターレット
１２０                            鏡筒
１３０、１５０                    中間鏡筒
１３１                            投影装置
１３２、１４３                    光偏向素子
１３３                            投影レンズ
１４０                            撮像装置
１４１                            撮像素子
１４２                            アダプタレンズ
１６０                            投影ユニット
３００                            オートフォーカス装置
３０１                            レーザ
３０２                            コリメートレンズ
３０３                            遮蔽板
３０４                            偏光ビームスプリッタ
３０５                            １／４波長板
３０６                            ダイクロイックミラー
３０８                            ２分割ディテクタ
Ａ１、Ａ２                        解析画像
Ｅ                                要素画像
Ｆ                                撮像領域
ＦＳ                              視野絞り
Ｍ１〜Ｍ５、Ｍ１ａ〜Ｍ１ｇ        マップ画像
Ｏ１〜Ｏ４                        光学画像
Ｐ                                プレパラート
Ｐ１、Ｐ２                        位置画像
Ｒ１〜Ｒ４                        領域
Ｓ                                走査範囲
Ｔ                                注目領域
Ｖ１〜Ｖ７                        画像
【図１】
2020066042.tif 000003
【図２】
2020066042.tif 000004
【図３】
2020066042.tif 000005
【図４】
2020066042.tif 000006
【図５】
2020066042.tif 000007
【図６】
2020066042.tif 000008
【図７】
2020066042.tif 000009
【図８】
2020066042.tif 000010
【図９】
2020066042.tif 000011
【図１０】
2020066042.tif 000012
【図１１】
2020066042.tif 000013
【図１２】
2020066042.tif 000014
【図１３】
2020066042.tif 000015
【図１４】
2020066042.tif 000016
【図１５】
2020066042.tif 000017
【図１６】
2020066042.tif 000018
【図１７】
2020066042.tif 000019
【図１８】
2020066042.tif 000020
【図１９】
2020066042.tif 000021
【図２０】
2020066042.tif 000022
【図２１】
2020066042.tif 000023
【図２２】
2020066042.tif 000024
【手続補正書】
【提出日】令和2年1月22日(2020.1.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
接眼レンズと、
試料からの光を前記接眼レンズへ導く対物レンズと、
前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、
第１補助画像を含む投影画像を表す投影画像データを生成する投影画像生成部であって、前記第１補助画像は、前記試料の画像であって前記光学画像に対応する実視野よりも広い領域を写した画像である、前記投影画像生成部と、
前記光学画像が形成されている像面へ前記投影画像を投影する投影装置と、を備え、
前記第１補助画像は、前記光学画像が形成されている像面上の、前記光学画像の外縁付近に投影される
ことを特徴とする顕微鏡システム。
【請求項２】
請求項１に記載の顕微鏡システムにおいて、
前記第１補助画像は、前記領域の互いに異なる部分の画像である複数の画像をタイリングした画像である
ことを特徴とする顕微鏡システム。
【請求項３】
請求項１又は請求項２に記載の顕微鏡システムにおいて、
前記投影画像は、さらに、前記第１補助画像内の前記光学画像に対応する位置を示す第２補助画像を含み、
前記投影装置は、前記像面に投影されている前記第１補助画像内の前記位置に、前記第２補助画像を投影する
ことを特徴とする顕微鏡システム。
【請求項４】
請求項３に記載の顕微鏡システムにおいて、さらに、
前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
前記撮像装置で取得した前記デジタル画像データと、前記第１補助画像を表す第１補助画像データと、に基づいて、前記位置を特定する画像解析部と、を備える
ことを特徴とする顕微鏡システム。
【請求項５】
請求項４に記載の顕微鏡システムにおいて、
前記画像解析部は、前記第１補助画像と前記デジタル画像データが表すデジタル画像とを比較することで、前記位置を特定する
ことを特徴とする顕微鏡システム。
【請求項６】
請求項５に記載の顕微鏡システムにおいて、
前記画像解析部は、さらに、前記第１補助画像の座標情報と前記試料の移動量に基づいて、前記位置を更新する
ことを特徴とする顕微鏡システム。
【請求項７】
請求項６に記載の顕微鏡システムにおいて、
前記画像解析部は、前記撮像装置で取得した前記試料の複数のデジタル画像データに基づいて、前記移動量を算出する
ことを特徴とする顕微鏡システム。
【請求項８】
請求項６に記載の顕微鏡システムにおいて、さらに、
前記試料を載置する電動ステージを備え、
前記画像解析部は、前記電動ステージの制御情報に基づいて、前記移動量を算出する
ことを特徴とする顕微鏡システム。
【請求項９】
請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、を備え、
前記投影画像生成部は、前記撮像装置で取得した前記試料の複数のデジタル画像データに基づいて、前記第１補助画像を表す第１補助画像データを生成する
ことを特徴とする顕微鏡システム。
【請求項１０】
請求項９に記載の顕微鏡システムにおいて、
前記投影画像生成部は、前記複数のデジタル画像データの各々が取得される度に、前記第１補助画像データを生成する
ことを特徴とする顕微鏡システム。
【請求項１１】
請求項９に記載の顕微鏡システムにおいて、さらに、
前記試料を載置する電動ステージを備え、
前記投影画像生成部は、前記電動ステージが指定された範囲を移動した後に、前記電動ステージの移動中に取得された前記複数のデジタル画像データに基づいて、前記第１補助画像データを生成する
ことを特徴とする顕微鏡システム。
【請求項１２】
請求項９乃至請求項１１のいずれか１項に記載の顕微鏡システムにおいて、さらに、
前記複数のデジタル画像データは、前記対物レンズの焦点位置が前記対物レンズの光軸方向に異なる状態で取得された２枚以上のデジタル画像データを含む
ことを特徴とする顕微鏡システム。
【請求項１３】
請求項１２に記載の顕微鏡システムにおいて、
前記第１補助画像は、全焦点画像である
ことを特徴とする顕微鏡システム。
【請求項１４】
請求項９乃至請求項１３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
前記第１補助画像データと、前記複数のデジタル画像データの各々が表すデジタル画像の座標情報と、を記録する、記録部を備える
ことを特徴とする顕微鏡システム。
【請求項１５】
請求項１４に記載の顕微鏡システムにおいて、
前記記録部は、前記座標情報を、前記デジタル画像データと関連付けて記録する
ことを特徴とする顕微鏡システム。
【請求項１６】
請求項１４又は請求項１５に記載の顕微鏡システムにおいて、さらに、
前記デジタル画像データを解析する画像解析部を備え、
前記記録部は、前記座標情報を、前記デジタル画像データの解析結果に関連付けて記録する
ことを特徴とする顕微鏡システム。
【請求項１７】
請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
前記撮像装置で取得した前記デジタル画像データを解析する画像解析部と、を備え、
前記投影画像は、さらに、前記画像解析部での解析結果を示す第３補助画像を含む
ことを特徴とする顕微鏡システム。
【請求項１８】
請求項１７に記載の顕微鏡システムにおいて、
前記画像解析部は、訓練済みのニューラルネットワークを用いて前記デジタル画像データを解析する
ことを特徴とする顕微鏡システム。
【請求項１９】
請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
前記デジタル画像データに基づいて、前記試料内の注目領域を追跡する画像解析部と、を備え、
前記投影画像は、さらに、前記注目領域の追跡の正否を示す第４補助画像を含む
ことを特徴とする顕微鏡システム。
【請求項２０】
請求項１９に記載の顕微鏡システムにおいて、さらに、
前記試料を載置する電動ステージと、を備え、
前記電動ステージは、前記画像解析部の追跡結果に基づいて、前記注目領域が前記対物レンズの光軸上に位置するように、移動する
ことを特徴とする顕微鏡システム。
【請求項２１】
請求項１乃至請求項２０のいずれか１項に記載の顕微鏡システムにおいて、
前記投影画像生成部は、前記実視野のサイズに応じて、前記像面における前記第１補助画像のサイズを決定する
ことを特徴とする顕微鏡システム。
【請求項２２】
請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
前記試料を載置する電動ステージと、
アクティブ方式のオートフォーカス装置と、を備え、
前記電動ステージが移動したときに、前記オートフォーカス装置がオートフォーカス処理を行う
ことを特徴とする顕微鏡システム。
【請求項２３】
請求項１乃至請求項１３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
検出されたイベントに応答して、前記イベントに応じた情報を記録する記録部を備える
ことを特徴とする顕微鏡システム。
【請求項２４】
対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、
試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
第１補助画像を含む投影画像を表す投影画像データを生成する投影画像生成部であって、前記第１補助画像は、前記試料の画像であって前記結像レンズにより形成された光学画像に対応する実視野よりも広い領域を写した画像である、前記投影画像生成部と、
前記光学画像が形成されている像面へ前記投影画像を投影する投影装置と、を備え、
前記第１補助画像は、前記光学画像が形成されている像面上の、前記光学画像の外縁付近に投影される
ことを特徴とする投影ユニット。
【請求項２５】
顕微鏡システムが行う画像投影方法であって、
前記顕微鏡システムは、
第１補助画像を含む投影画像を表す投影画像データを生成し、ここで、前記第１補助画像は、試料の画像であって前記試料の光学画像に対応する実視野よりも広い領域を写した画像であり、
前記試料からの光に基づいて前記光学画像が形成されている像面へ前記投影画像を投影し、前記光学画像が形成されている像面上の前記光学画像の外縁付近に前記第１補助画像を投影する
ことを特徴とする顕微鏡システム。
【請求項２６】
請求項１に記載の顕微鏡システムにおいて、
前記第１補助画像は、前記顕微鏡システムとは異なるＷＳＩシステムによってあらかじめ取得したＷＳ画像であり、
前記ＷＳ画像は、前記領域の互いに異なる部分の画像である複数の画像をタイリングした画像である
ことを特徴とする顕微鏡システム。
【請求項２７】
請求項２６に記載の顕微鏡システムにおいて、さらに、
前記ＷＳ画像と、前記顕微鏡システムで観察する前記試料を自動的に照合する手段を備える
ことを特徴とする顕微鏡システム。
【国際調査報告】
2020066042.tif 000025
2020066042.tif 000026
2020066042.tif 000027
2020066042.tif 000028