(57)【要約】  画像処理装置は、１以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定する蛍光量推定部と、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定する組織量推定部と、前記組織量推定部が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定する色素量推定部と、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成する透過光画像生成部と、を備える。これにより、蛍光画像に対して画像処理を施すことにより、精度が高い透過光画像を生成することができる画像処理装置を提供する。
2020039520.tif 000002
【特許請求の範囲】
【請求項１】
１以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定する蛍光量推定部と、
前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定する組織量推定部と、
前記組織量推定部が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定する色素量推定部と、
前記色素量推定部が推定した色素量から仮想的な透過光画像を生成する透過光画像生成部と、
を備える画像処理装置。
【請求項２】
前記蛍光画像、前記蛍光量推定部が推定した光量に基づいて生成した蛍光量画像、前記組織量推定部が推定した組織量に基づいて生成した組織量画像、前記色素量推定部が推定した色素量に基づいて生成した色素量画像、前記透過光画像のいずれかの画像を補正する画像補正部を更に備える請求項１に記載の画像処理装置。
【請求項３】
前記組織量推定部は、各画素から複数の組織の組織量を推定し、
前記色素量推定部は、各組織から複数の色素の色素量を推定し、
前記透過光画像生成部は、前記色素量推定部が推定した複数の色素の色素量を合成して前記透過光画像を生成する請求項１又は２に記載の画像処理装置。
【請求項４】
前記蛍光量推定部は、前記蛍光色素群の各蛍光色素の基準スペクトルに基づいて算出される行列Ｂｆにより、以下の式（１）によって算出される疑似逆行列Ｐｆを用いて、以下の式（２）により、前記蛍光色素群が発光する蛍光の光量Ａｆを推定する
【数１】
2020039520.tif 000026
【数２】
2020039520.tif 000027
請求項１〜３のいずれか１つに記載の画像処理装置。
【請求項５】
前記組織量推定部は、前記組織群の各組織量を、前記蛍光量推定部が推定した前記蛍光色素群の各蛍光色素が発光する蛍光の光量に、蛍光色素に応じて定まる係数を乗じて総和をとることにより算出する請求項１〜４のいずれか１つに記載の画像処理装置。
【請求項６】
前記色素量推定部は、前記明視野色素群の各色素量を、前記組織量推定部が推定した前記組織群の各組織量に、組織に応じて定まる係数を乗じて総和を取ることにより算出する請求項１〜５のいずれか１つに記載の画像処理装置。
【請求項７】
前記色素量推定部は、前記明視野色素群の各色素の基準スペクトルに基づいて算出される吸光度スペクトルｓａを用いて、以下の式（３）により、前記明視野色素群の仮想的な透過率ｓｔを推定し、前記透過率ｓｔに基づいて前記透過光画像を生成する
【数３】
2020039520.tif 000028
請求項１〜６のいずれか１つに記載の画像処理装置。
【請求項８】
請求項１〜７のいずれか１つに記載の画像処理装置と、
標本に照射する励起光を発生する照明部と、
前記照明部が発生した前記励起光を前記標本に照射する照明光学系と、
前記標本からの前記蛍光を結像する結像光学系と、
前記結像光学系が結像した前記蛍光を撮像する撮像部と、
を備える撮像システム。
【請求項９】
蛍光量推定部が、１以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定し、
組織量推定部が、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定し、
色素量推定部が、前記組織量推定部が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定し、
透過光画像生成部が、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成する画像処理装置の作動方法。
【請求項１０】
蛍光量推定部が、１以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定し、
組織量推定部が、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定し、
色素量推定部が、前記組織量推定部が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定し、
透過光画像生成部が、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成すること、
を画像処理装置に実行させる画像処理装置の作動プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムに関する。
【背景技術】
【０００２】
病理診断では、患者から摘出した検体に対して、切り出し、固定、包埋、薄切、染色、封入等の処理を施して、病理標本を作製する。そして、病理標本を顕微鏡により観察し、組織形状や染色状態から病気の有無や程度を診断する。【０００３】
顕微鏡による観察として、病理標本に光を照射し、病理標本を透過した光を拡大観察する透過光観察が用いられている。また、ＨＥ（Ｈｅｍａｔｏｘｙｌｉｎ  Ｅｏｓｉｎ）染色した病理標本を透過光観察することによる初期診断が行われている。ＨＥ染色では、細胞核や骨組織等の組織が青紫色に染色され、細胞質や結合組織、赤血球等の組織が赤色に染色される。そして、染色された組織の形状を観察することにより、形態学的に病気の有無を診断することができる。なお、透過光観察は、光の減衰を観察するため、厚い標本の観察には適さない。【０００４】
また、顕微鏡による観察として、蛍光色素で染色した標本に励起光を照射し、標本が発する蛍光を蛍光顕微鏡で拡大観察する蛍光観察が用いられている。蛍光観察は、光の発光を観察するため、透過光観察より厚い標本を観察することができる。【０００５】
病理標本は、顕微鏡にカメラを接続して撮像することにより、画像化することができる。また、バーチャル顕微鏡システム（バーチャルスライドシステム）では、病理標本全体を画像化することができる。病理標本を画像化することにより、教育や遠隔病理等に画像を利用することができる。【０００６】
さらに、病理標本画像に対して画像処理を施すことにより、診断を支援する方法が開発されている。診断支援には、病理医の診断を画像処理により模倣する方法と、大量の教師データを用いて機械学習を行う方法とがある。機械学習には、線形判別、深層学習等が用いられる。病理診断は、病理医の不足等により病理医の負担が大きくなっている。そのため、診断支援により、病理医の負担を軽減することが期待されている。【０００７】
病理標本画像に対する画像処理として、例えば、特許文献１では、ＨＥ染色画像に対して画像処理を施すことにより、仮想的に特殊染色等の異なる染色画像を生成する方法が提案されている。【０００８】
上述したように、厚い標本は、透過光観察には適さないが、蛍光観察により観察することができる。そのため、蛍光画像に対して画像処理を施すことにより、仮想的な透過光画像を生成することができれば、厚い標本を仮想的に透過光観察することができる。例えば、非特許文献１では、厚い標本を撮像することにより得られた蛍光画像に対して画像処理を施すことにより、仮想的な透過光画像を生成する方法が提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特表２０１４−５２６７００号公報
【非特許文献】
【００１０】
【非特許文献１】”Ｍｉｃｒｏｓｃｏｐｙ  ｗｉｔｈ  ＵＶ  Ｓｕｒｆａｃｅ  Ｅｘｃｉｔａｔｉｏｎ  （ＭＵＳＥ）  ｆｏｒ  ｓｌｉｄｅ−ｆｒｅｅ  ｈｉｓｔｏｌｏｇｙ  ａｎｄ  ｐａｔｈｏｌｏｇｙ  ｉｍａｇｉｎｇ”，Ｆａｒｚａｄ  Ｆｅｒｅｉｄｏｕｎｉ，  Ａｎａｎｙａ  Ｄａｔｔａ−Ｍｉｔｒａ，  Ｓｔａｖｒｏｓ  Ｄｅｍｏｓ  ａｎｄ  Ｒｉｃｈａｒｄ  Ｌｅｖｅｎｓｏｎ，  ＳＰＩＥ  Ｖｏｌ．９３１８
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、実際には、蛍光画像に対して色空間において画像処理を施し、仮想的な透過光画像を生成しても、精度が高い透過光画像を生成することができなかった。【００１２】
本発明は、上記に鑑みてなされたものであって、蛍光画像に対して画像処理を施すことにより、精度が高い透過光画像を生成することができる画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置は、１以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定する蛍光量推定部と、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定する組織量推定部と、前記組織量推定部が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定する色素量推定部と、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成する透過光画像生成部と、を備える。【００１４】
また、本発明の一態様に係る画像処理装置は、前記蛍光画像、前記蛍光量推定部が推定した光量に基づいて生成した蛍光量画像、前記組織量推定部が推定した組織量に基づいて生成した組織量画像、前記色素量推定部が推定した色素量に基づいて生成した色素量画像、前記透過光画像のいずれかの画像を補正する画像補正部を更に備える。【００１５】
また、本発明の一態様に係る画像処理装置は、前記組織量推定部は、各画素から複数の組織の組織量を推定し、前記色素量推定部は、各組織から複数の色素の色素量を推定し、前記透過光画像生成部は、前記色素量推定部が推定した複数の色素の色素量を合成して前記透過光画像を生成する。【００１６】
また、本発明の一態様に係る画像処理装置は、前記蛍光量推定部は、前記蛍光色素群の各蛍光色素の基準スペクトルに基づいて算出される行列Ｂｆにより、以下の式（１）によって算出される疑似逆行列Ｐｆを用いて、以下の式（２）により、前記蛍光色素群が発光する蛍光の光量Ａｆを推定する。
【数１】
2020039520.tif 000003
【数２】
2020039520.tif 000004
【００１７】
また、本発明の一態様に係る画像処理装置は、前記組織量推定部は、前記組織群の各組織量を、前記蛍光量推定部が推定した前記蛍光色素群の各蛍光色素が発光する蛍光の光量に、蛍光色素に応じて定まる係数を乗じて総和をとることにより算出する。【００１８】
また、本発明の一態様に係る画像処理装置は、前記色素量推定部は、前記明視野色素群の各色素量を、前記組織量推定部が推定した前記組織群の各組織量に、組織に応じて定まる係数を乗じて総和を取ることにより算出する。【００１９】
また、本発明の一態様に係る画像処理装置は、前記色素量推定部は、前記明視野色素群の各色素の基準スペクトルに基づいて算出される吸光度スペクトルｓａを用いて、以下の式（３）により、前記明視野色素群の仮想的な透過率ｓｔを推定し、前記透過率ｓｔに基づいて前記透過光画像を生成する。
【数３】
2020039520.tif 000005
【００２０】
また、本発明の一態様に係る撮像システムは、画像処理装置と、標本に照射する励起光を発生する照明部と、前記照明部が発生した前記励起光を前記標本に照射する照明光学系と、前記標本からの前記蛍光を結像する結像光学系と、前記結像光学系が結像した前記蛍光を撮像する撮像部と、を備える。【００２１】
また、本発明の一態様に係る画像処理装置の作動方法は、蛍光量推定部が、１以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定し、組織量推定部が、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定し、色素量推定部が、前記組織量推定部が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定し、透過光画像生成部が、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成する。【００２２】
また、本発明の一態様に係る画像処理装置の作動プログラムは、蛍光量推定部が、１以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定し、組織量推定部が、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定し、色素量推定部が、前記組織量推定部が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定し、透過光画像生成部が、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成すること、を画像処理装置に実行させる。
【発明の効果】
【００２３】
本発明によれば、蛍光画像に対して画像処理を施すことにより、精度が高い透過光画像を生成することができる画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムを実現することができる。
【図面の簡単な説明】
【００２４】
【図１】図１は、本発明の実施の形態１に係る撮像システムの構成例を示すブロック図である。
【図２】図２は、撮像システムの動作を示すフローチャートである。
【図３】図３は、蛍光色素の基準スペクトルを表す図である。
【図４】図４は、蛍光の光量を組織量に変換する際に用いる変換表を表す図である。
【図５】図５は、組織量を色素量に変換する際に用いる変換表を表す図である。
【図６】図６は、細胞核の組織量を色素量に変換する様子を表す図である。
【図７】図７は、細胞質の組織量を色素量に変換する様子を表す図である。
【図８】図８は、色素の基準スペクトルを表す図である。
【図９】図９は、仮想的な分光透過率を表す図である。
【図１０】図１０は、本発明の実施の形態２に係る撮像システムの構成例を示すブロック図である。
【図１１】図１１は、本発明の実施の形態３に係る撮像システムの構成例を示す図である。
【発明を実施するための形態】
【００２５】
以下に、図面を参照して本発明に係る画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、蛍光画像から透過光画像を生成する画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム一般に適用することができる。
【００２６】
また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
【００２７】
（実施の形態１）
図１は、本発明の実施の形態１に係る撮像システムの構成例を示すブロック図である。図１に示すように、本実施の形態１に係る撮像システム１は、蛍光顕微鏡等の撮像装置１７０と、該撮像装置１７０と接続可能なパーソナルコンピュータ等のコンピュータからなる画像処理装置１００とによって構成される。
【００２８】
画像処理装置１００は、撮像装置１７０から画像データを取得する画像取得部１１０と、画像処理装置１００及び撮像装置１７０を含むシステム全体の動作を制御する制御部１２０と、画像取得部１１０が取得した画像データ等を記憶する記憶部１３０と、記憶部１３０に記憶された画像データに基づき、所定の画像処理を実行する演算部１４０と、入力部１５０と、表示部１６０と、を備える。
【００２９】
画像取得部１１０は、当該画像処理装置１００を含むシステムの態様に応じて適宜構成される。例えば、撮像装置１７０を画像処理装置１００に接続する場合、画像取得部１１０は、撮像装置１７０から出力された画像データを取り込むインタフェースによって構成される。また、撮像装置１７０によって生成された画像データを保存しておくサーバを設置する場合、画像取得部１１０はサーバと接続される通信装置等により構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部１１０を、可搬型の記録媒体を着脱自在に装着し、該記録媒体に記録された画像データを読み出すリーダ装置によって構成しても良い。
【００３０】
制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の汎用プロセッサやＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部１２０が汎用プロセッサである場合、記憶部１３０が記憶する各種プログラムを読み込むことによって画像処理装置１００を構成する各部への指示やデータの転送等を行い、画像処理装置１００全体の動作を統括して制御する。また、制御部１２０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部１３０が記憶する各種データ等を用いることで、プロセッサと記憶部１３０が協働又は結合して種々の処理を実行しても良い。
【００３１】
制御部１２０は、画像取得部１１０や撮像装置１７０の動作を制御して画像を取得する画像取得制御部１２１を有し、入力部１５０から入力される入力信号、画像取得部１１０から入力される画像、及び記憶部１３０に格納されているプログラムやデータ等に基づいて画像取得部１１０及び撮像装置１７０の動作を制御する。
【００３２】
記憶部１３０は、更新記録可能なフラッシュメモリ等のＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）といった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク若しくはＤＶＤ−ＲＯＭ等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記憶部１３０は、画像処理プログラムを記憶するプログラム記憶部１３１と、当該画像処理プログラムの実行中に使用される画像データや各種パラメータ等を記憶する画像データ記憶部１３２と、を備える。
【００３３】
演算部１４０は、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部１４０が汎用プロセッサである場合、プログラム記憶部１３１が記憶する画像処理プログラムを読み込むことにより、マルチバンド画像に基づいて特定の組織が存在する深度を推定する画像処理を実行する。また、演算部１４０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部１３０が記憶する各種データ等を用いることで、プロセッサと記憶部１３０が協働又は結合して画像処理を実行しても良い。
【００３４】
詳細には、演算部１４０は、蛍光量推定部１４１と、組織量推定部１４２と、色素量推定部１４３と、透過光画像生成部１４４と、を備える。
【００３５】
蛍光量推定部１４１は、１以上の蛍光色素を含む蛍光色素群を用いて染色した１以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、蛍光色素群の各蛍光色素が発光する蛍光の光量を推定する。蛍光色素群は、例えば、ヘキスト及びエシオンであり、組織群である細胞核及び細胞質をそれぞれ染色する。ただし、蛍光色素群は、アクリジンオレンジ、アクリジンイエロー等であってもよく、組織として細胞膜、赤血球、線維、粘液、脂肪等を染色してもよい。また、免疫染色を行う場合には、蛍光色素群は、アビジン等であってもよく、組織として腫瘍細胞等を染色してもよい。
【００３６】
組織量推定部１４２は、蛍光量推定部１４１が推定した光量に基づいて、組織群の各組織の組織量を推定する。具体的には、組織量推定部１４２は、各画素から細胞核及び細胞質の組織量を推定する。
【００３７】
色素量推定部１４３は、組織量推定部１４２が推定した組織量に基づいて、１以上の色素を含む明視野色素群を用いて染色した組織群を透過型顕微鏡により撮像した場合の明視野色素群の各色素の仮想的な色素量を推定する。明視野色素群は、例えば、ヘマトキシリン及びエオシンであり、細胞核及び細胞質からヘマトキシリン及びエオシンの色素量をそれぞれ推定する。ただし、アニリン等を含む明視野色素群により、マッソン・トリクローム染色を行う場合の色素量を推定してもよい。また、明視野色素群により特殊染色であるギムザ染色や、免疫染色であるＤＡＢ（Ｄｉａｍｉｎｏ  Ｂｅｎｚｉｄｉｎｅ）法を行った場合の色素量を推定してもよい。
【００３８】
透過光画像生成部１４４は、色素量推定部１４３が推定した色素量から仮想的な透過光画像を生成する。具体的には、透過光画像生成部１４４は、色素量推定部１４３が推定したヘマトキシリン及びエオシンの色素量を合成して透過光画像を生成する。
【００３９】
入力部１５０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成されて、操作入力に応じた入力信号を制御部１２０に出力する。
【００４０】
表示部１６０は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）やＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ＣＲＴ（ＣａｔｈｏｄｅＲａｙ  Ｔｕｂｅ）ディスプレイ等の表示装置によって実現されるものであり、制御部１２０から入力される表示信号をもとに各種画面を表示する。
【００４１】
撮像装置１７０は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を含み、画像処理装置１００の画像取得部１１０による制御のもと、撮像素子の受光面に入射した光を、該光の強度に応じた電気信号に変換して画像データとして出力する。なお、撮像装置１７０は、ＲＧＢカメラを備え、ＲＧＢ画像を撮影してもよいし、マルチバンド画像を撮影してもよい。マルチバンド撮影には、照明光の波長を変更する方法、白色光である光源からの光の光路上にフィルタを設けて透過させる光の波長を変更する方法、多色センサを用いる方法がある。光路上にフィルタを設ける方法には、複数枚の透過させる波長が異なるバンドパスフィルタを用いる方法、回折格子を用いる方法、液晶又は音響による波長可変フィルタを用いる方法がある。また、光路を分岐して分光特性の異なる複数のカメラで同時受光してもよい。
【００４２】
次に、本実施の形態１に係る撮像システムを用いて仮想的な透過光画像を生成する処理を説明する。図２は、撮像システムの動作を示すフローチャートである。図２に示すように、まず、画像処理装置１００は、画像取得制御部１２１の制御により撮像装置１７０を動作させることにより、被写体の蛍光画像を撮像する（ステップＳ１）。本実施の形態１においては、蛍光色素群としてヘキスト及びエシオンを用いて、組織群である細胞核及び細胞質をそれぞれ染色した状態で蛍光画像を撮像する例を説明する。
【００４３】
続いて、蛍光量推定部１４１は、撮像した蛍光画像に含まれる各画素において、ヘキスト及びエオシンがそれぞれ発光する蛍光の光量を推定する（ステップＳ２）。まず、蛍光画像における各画素の画素値ｃｆは、カメラの感度特性ｃ、蛍光スペクトルｓｆ、ノイズｎを用いて、以下の式（４）のように表すことができる。
【数４】
2020039520.tif 000006
【００４４】
さらに、式（４）を行列で表記すると、以下の式（５）となる。
【数５】
2020039520.tif 000007
【００４５】
Ｗｉｅｎｅｒ推定行列Ｗは、サンプル蛍光スペクトルの自己相関行列ＲＳＳ、ノイズの自己相関行列ＲＮＮを用いて、以下の式（６）である。
【数６】
2020039520.tif 000008
【００４６】
従って、蛍光スペクトルＳｆは、Ｗｉｅｎｅｒ推定行列Ｗを用いて、以下の式（７）により求めることができる。
【数７】
2020039520.tif 000009
【００４７】
続いて、蛍光スペクトルｓｆは、蛍光色素の基準スペクトルｂｆ、蛍光の光量ａｆを用いて、以下の式（８）のように表すことができる。
【数８】
2020039520.tif 000010
【００４８】
図３は、蛍光色素の基準スペクトルを表す図である。図３に示すように、ヘキスト及びエオシンの基準スペクトルｂｆは既知である。従って、ｉ＝１をヘキスト、ｉ＝２をエオシンとして、式（８）に適用すると、ヘキスト及びエオシンによる蛍光の光量をそれぞれ求めることができる。
【００４９】
さらに、式（８）を行列で表記すると、以下の式（９）となる。
【数９】
2020039520.tif 000011
【００５０】
蛍光色素の基準スペクトルｂｆの疑似逆行列Ｐｆは、以下の式（１０）である。
【数１０】
2020039520.tif 000012
【００５１】
従って、蛍光の光量Ａｆは、疑似逆行列Ｐｆを用いて、以下の式（１１）により求めることができる。
【数１１】
2020039520.tif 000013
具体的には、式（１１）により、ヘキスト及びエオシンの蛍光の光量をそれぞれ求めることができる。
【００５２】
そして、組織量推定部１４２は、蛍光量推定部１４１が推定した光量に基づいて、組織群の各組織の組織量を推定する（ステップＳ３）。細胞核の組織量Ｔｎ及び細胞質の組織量Ｔｃは、ヘキストの蛍光の光量Ｆｈ、エオシンの蛍光の光量Ｆｅ、係数ｋｈｎ、係数ｋｅｎ、係数ｋｈｃ、係数ｋｅｃを用いて、以下の式（１２）及び（１３）により求めることができる。
【数１２】
2020039520.tif 000014
【数１３】
2020039520.tif 000015
【００５３】
図４は、蛍光の光量を組織量に変換する際に用いる変換表を表す図である。図４に示すように、係数ｋｈｎ＝１．００、ｋｅｎ＝０．００、係数ｋｈｃ＝０．００、係数ｋｅｃ＝１．００である。このように、１つの蛍光色素の光量を複数の組織量に紐づけることにより、蛍光画像から、より実際に撮像したものに近い透過光画像を生成することができる。
【００５４】
さらに、色素量推定部１４３は、明視野色素群としてヘマトキシリン及びエオシンを用いて染色した細胞核及び細胞質を透過型顕微鏡によりそれぞれ撮像した場合のヘマトキシリン及びエオシンの仮想的な色素量をそれぞれ推定する（ステップＳ４）。ヘマトキシリンの色素量Ｄｈ及びエオシンの色素量Ｄｅは、細胞核の組織量Ｔｎ、細胞質の組織量Ｔｃ、係数ｋｈｎ、係数ｋｅｎ、係数ｋｈｃ、係数ｋｅｃを用いて、以下の式（１４）及び（１５）により求めることができる。
【数１４】
2020039520.tif 000016
【数１５】
2020039520.tif 000017
【００５５】
図５は、組織量を色素量に変換する際に用いる変換表を表す図である。図５に示すように、係数ｋｈｎ＝１．５０、ｋｅｎ＝２．００、係数ｋｈｃ＝０．１５、係数ｋｅｃ＝２．００である。このように、１つの組織量を複数の色素の色素量に紐づけることにより、蛍光画像から、より実際に撮像したものに近い透過光画像を生成することができる。
【００５６】
図６は、細胞核の組織量を色素量に変換する様子を表す図である。図７は、細胞質の組織量を色素量に変換する様子を表す図である。図６及び図７に示すように、係数ｋｈｎ、係数ｋｅｎ、係数ｋｈｃ、係数ｋｅｃを適切に設定することにより、組織量を色素量に適切に変換することができる。
【００５７】
続いて、透過光画像生成部１４４は、色素量推定部１４３が推定した色素量から仮想的な透過光画像を生成する（ステップＳ５）。具体的には、透過光画像生成部１４４は、色素量推定部１４３がそれぞれ推定した色素量を合成して仮想的な透過光画像を生成する。まず、各色素による仮想的な吸光度スペクトルｓａは、吸光度空間での色素の基準スペクトルｂａ、各色素の色素量ｄａを用いて、以下の式（１６）のように表すことができる。
【数１６】
2020039520.tif 000018
【００５８】
従って、全ての色素による吸光度スペクトルｓａは、以下の式（１７）である。
【数１７】
2020039520.tif 000019
【００５９】
図８は、色素の基準スペクトルを表す図である。図８に示すように、ヘマトキシリン及びエオシンの基準スペクトルｂａは既知である。従って、ｉ＝１をヘマトキシリン、ｉ＝２をエオシンとして、式（１７）に適用すると、ヘマトキシリン及びエオシンによる吸光度スペクトルをそれぞれ求めることができる。
【００６０】
そして、仮想的な透過率ｓｔは、以下の式（１８）のように表すことができる。
【数１８】
2020039520.tif 000020
【００６１】
図９は、仮想的な分光透過率を表す図である。図９に示すように、式（１８）を用いることにより、細胞核及び細胞質の仮想的な分光透過率を求めることができる。
【００６２】
さらに、仮想的な透過光画像であるＲＡＷ画像は、カメラの感度特性ｃ、照明のスペクトルｌを用いて、以下の式（１９）のように表すことができる。
【数１９】
2020039520.tif 000021
【００６３】
また、仮想的な透過光画像として、ｓＲＧＢ画像を生成してもよい。まず、ＸＹＺは、ｆをＸＹＺ等色関数として、以下の式（２０）〜（２２）のように表すことができる。
【数２０】
2020039520.tif 000022
【数２１】
2020039520.tif 000023
【数２２】
2020039520.tif 000024
【００６４】
そして、ｓＲＧＢｌｉｎｅａｒは、以下の式（２３）により算出することができる。
【数２３】
2020039520.tif 000025
さらに、Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）≦０．００３１３０８（ｘ，ｙ，ｂ）の場合、Ｃｓｒｇｂ（ｘ，ｙ，ｂ）＝１２．９６・Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）、Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）＞０．００３１３０８の場合、Ｃｓｒｇｂ（ｘ，ｙ，ｂ）＝１．０５５・Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）１／２４−０．０５５を計算することにより、非線形なｓＲＣＧ画像を生成することができる。
【００６５】
そして、生成された透過光画像は、制御部１２０による制御のもと、表示部１６０に表示され、一連の処理が終了する。
【００６６】
以上説明したように、実施の形態１によれば、蛍光画像から透過光画像を生成する際に、組織を介在させることにより、病理標本の染色特性が忠実に表現された精度が高い透過光画像を生成することができる。一般に病理医は、透過光画像の観察になれているため、蛍光画像を透過光画像に変換することにより観察が容易となる。
【００６７】
なお、制御部１２０による制御のもと、表示部１６０に蛍光画像と透過光画像とを切り換えて、又は並べて表示してもよい。蛍光画像と透過光画像とを比較しやすくし、透過光画像が適切か否かを確認しやすくすることができる。
【００６８】
なお、計算方法は上述したものに限られない。上述した計算方法や以下に説明する計算方法を適宜組み合わせて計算を行うことができる。蛍光量推定行列に基づいて、蛍光画像から、直接、各蛍光色素の蛍光の光量を推定してもよい。蛍光量推定行列は、理論的に算出してもよいし、スペクトル推定行列と蛍光量推定行列との積から求めてもよい。
【００６９】
また、蛍光量推定行列は、統計的に算出してもよい。具体的には、複数の蛍光スペクトルからそれぞれの画素値と蛍光の光量とを対で算出する。そして、画素値と蛍光の光量との対の複数のデータから、画素値から蛍光の光量に回帰する推定行列（回帰行列）を算出する。回帰行列は、疑似逆行列により求めればよい。
【００７０】
また、ルックアップテーブルに基づいて、蛍光画像から、直接、各蛍光色素の蛍光の光量を算出してもよい。具体的には、複数の蛍光スペクトルからそれぞれの画素値と蛍光の光量とを対で算出する。そして、画素値と蛍光の光量との対の複数のデータから、画素値から蛍光の光量を参照するためのルックアップテーブルを作成することができる。
【００７１】
また、機械学習を用いて、蛍光画像から、直接、各蛍光色素の蛍光の光量を推定してもよい。具体的には、複数の蛍光画像から上述したいずれかの方法を用いて各画素の蛍光の光量を算出する。そして、蛍光画像と蛍光量画像との対の複数のデータから、画素値から蛍光の光量を推定するモデルを学習する。また、深層学習を用いてモデルを学習してもよい。
【００７２】
また、画素値算出行列に基づいて、仮想色素量から、直接、仮想的な透過光画像を算出してもよい。具体的には、複数の仮想的な色素量から上述した方法に基づいて、仮想的な透過光画像における各画素の画素値を算出する。そして、仮想的な色素量と仮想的な画素値との対の複数のデータから、仮想的な色素量から仮想的な画素値に回帰する推定行列（回帰行列）を算出する。回帰行列は、多項式近似でもよい。
【００７３】
また、ルックアップテーブルに基づいて、仮想的な色素量から、直接、仮想的な透過光画像を算出してもよい。具体的には、複数の仮想的な色素量から上述した方法に基づいて、仮想的な透過光画像における各画素の画素値を算出する。そして、仮想的な色素量と仮想的な画素値との対の複数のデータから、仮想的な色素量から仮想的な画素値を参照するためのルックアップテーブルを作成することができる。
【００７４】
また、機械学習を用いて、仮想的な色素量から、直接、仮想的な透過光画像を算出してもよい。具体的には、複数の仮想的な色素量から上述した方法に基づいて、仮想的な透過光画像における各画素の画素値を算出する。そして、仮想的な色素量と仮想的な画素値との対の複数のデータから、仮想的な色素量から仮想的な画素値を推定するモデルを学習する。また、深層学習によりモデルを学習してもよい。
【００７５】
（実施の形態２）
次に、本発明の実施の形態２について説明する。図１０は、本発明の実施の形態２に係る撮像システムの構成例を示すブロック図である。図１０に示すように、撮像システム１Ａにおいて、画像処理装置１００Ａの演算部１４０Ａは、蛍光画像、蛍光量推定部１４１が推定した光量に基づいて生成した蛍光量画像、組織量推定部１４２が推定した組織量に基づいて生成した組織量画像、色素量推定部１４３が推定した色素量に基づいて生成した色素量画像、透過光画像のいずれかの画像を補正する画像補正部としてのテクスチャ補正部１４５Ａを備える。その結果、実施の形態２によれば、蛍光画像から生成した仮想的な透過光画像において、透過光観察時と同程度の焦点深度のテクスチャを再現することができる。従って、実施の形態２によれば、より高精度な透過光画像を生成することができる。
【００７６】
（実施の形態３）
次に、本発明の実施の形態３について説明する。図１１は、本発明の実施の形態３に係る撮像システムの構成例を示す図である。図１１に示すように、本実施の形態３に係る撮像システム１Ｂは、撮像装置１７０が設けられた顕微鏡装置２００と、画像処理装置１００と、を備える。なお、画像処理装置１００の代わりに、図１０に示す画像処理装置１００Ａを設けても良い。
【００７７】
顕微鏡装置２００は、落射照明ユニット２０１及び透過照明ユニット２０２が設けられた略Ｃ字形のアーム２００ａと、該アーム２００ａに取り付けられ、観察対象である被写体ＳＰが載置される標本ステージ２０３と、鏡筒２０５の一端側に三眼鏡筒ユニット２０７を介して標本ステージ２０３と対向するように設けられた対物レンズ２０４と、標本ステージ２０３を移動させるステージ位置変更部２０６と、を有する。三眼鏡筒ユニット２０７は、対物レンズ２０４から入射した被写体ＳＰの観察光を、鏡筒２０５の他端側に設けられた撮像装置１７０と後述する接眼レンズユニット２０８とに分岐する。接眼レンズユニット２０８は、ユーザが被写体ＳＰを直接観察するためのものである。
【００７８】
落射照明ユニット２０１は、落射照明用光源２０１ａ及び落射照明光学系２０１ｂを備え、被写体ＳＰに対して落射照明光を照射する。落射照明光学系２０１ｂは、落射照明用光源２０１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
【００７９】
透過照明ユニット２０２は、透過照明用光源２０２ａ及び透過照明光学系２０２ｂを備え、被写体ＳＰに対して透過照明光を照射する。透過照明光学系２０２ｂは、透過照明用光源２０２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
【００８０】
対物レンズ２０４は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ２０４、２０４’）を保持可能なレボルバ２０９に取り付けられている。このレボルバ２０９を回転させて、標本ステージ２０３と対向する対物レンズ２０４、２０４’を変更することにより、撮像倍率を変化させることができる。
【００８１】
鏡筒２０５の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。
【００８２】
ステージ位置変更部２０６は、例えばステッピングモータ等の駆動部２０６ａを含み、標本ステージ２０３の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部２０６には、標本ステージ２０３をＺ軸に沿って移動させることにより、対物レンズ２０４の焦点を被写体ＳＰに合わせる。
【００８３】
このような顕微鏡装置２００において生成された被写体ＳＰの拡大像を撮像装置１７０においてマルチバンド撮像することより、被写体ＳＰのカラー画像が表示部１６０に表示される。そして、画像処理装置１００又は画像処理装置１００Ａが透過光画像を生成し、表示部１６０に透過光画像を表示する。
【００８４】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【００８５】
１、１Ａ、１Ｂ  撮像システム
１００、１００Ａ  画像処理装置
１１０  画像取得部
１２０  制御部
１２１  画像取得制御部
１３０  記憶部
１３１  プログラム記憶部
１３２  画像データ記憶部
１４０、１４０Ａ  演算部
１４１  蛍光量推定部
１４２  組織量推定部
１４３  色素量推定部
１４４  透過光画像生成部
１４５Ａ  テクスチャ補正部
１５０  入力部
１６０  表示部
１７０  撮像装置
２００  顕微鏡装置
２００ａ  アーム
２０１  落射照明ユニット
２０１ａ  落射照明用光源
２０１ｂ  落射照明光学系
２０２  透過照明ユニット
２０２ａ  透過照明用光源
２０２ｂ  透過照明光学系
２０３  標本ステージ
２０４、２０４’  対物レンズ
２０５  鏡筒
２０６  ステージ位置変更部
２０６ａ  駆動部
２０７  三眼鏡筒ユニット
２０８  接眼レンズユニット
２０９  レボルバ
【図１】
2020039520.tif 000029
【図２】
2020039520.tif 000030
【図３】
2020039520.tif 000031
【図４】
2020039520.tif 000032
【図５】
2020039520.tif 000033
【図６】
2020039520.tif 000034
【図７】
2020039520.tif 000035
【図８】
2020039520.tif 000036
【図９】
2020039520.tif 000037
【図１０】
2020039520.tif 000038
【図１１】
2020039520.tif 000039
【国際調査報告】
2020039520.tif 000040
2020039520.tif 000041
2020039520.tif 000042
2020039520.tif 000043