(57)【要約】【課題】対象画像の形態や形状などの情報に基づいて、対象画像を精度良く着色する。【解決手段】本開示によれば、色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を備える、画像着色装置画像着色装置が提供される。この構成により、対象画像の形態や形状などの情報に基づいて、対象画像を精度良く着色することが可能となる。【選択図】図１
2019106946.tif 000002
【特許請求の範囲】
【請求項１】
色が脱色された脱色画像を取得する取得部と、
前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、
を備える、画像着色装置。
【請求項２】
前記取得部は、色が付いた入力画像に脱色処理を施す脱色処理部から構成される、請求項１に記載の画像着色装置。
【請求項３】
前記学習結果情報は、複数の学習画像の形態情報と当該形態情報に対応する色情報との対応を学習して得られる、請求項１に記載の画像着色装置。
【請求項４】
前記入力画像にステイン分離処理を行うステイン分離部を備え、
前記着色部は、前記ステイン分離処理により得られる補助情報を使用して前記着色を行う、請求項２に記載の画像着色装置。
【請求項５】
前記補助情報は、前記ステイン分離処理により分離された前記入力画像中の所定の部位の位置情報であり、
前記着色部は、前記入力画像のうち前記位置情報に対応する部位については、前記所定の部位に対応する色を着色する、請求項４に記載の画像着色装置。
【請求項６】
前記所定の部位は、細胞核に対応する部位である、請求項５に記載の画像着色装置。
【請求項７】
前記着色部は、前記ステイン分離処理により分離された前記所定の部位において、前記入力画像から得られる色を着色する、請求項５に記載の画像着色装置。
【請求項８】
前記着色部は、前記ステイン分離処理により得られる前記所定の部位において、前記ステイン分離処理に基づいて前記学習結果情報から得られるリファレンス色を着色する、請求項５に記載の画像着色装置。
【請求項９】
前記入力画像はＨＥ染色により得られるＨＥ画像であり、前記着色部は前記脱色処理が施された前記入力画像に前記ＨＥ画像に対応する色を着色する、請求項２に記載の画像着色装置。
【請求項１０】
前記入力画像はＩＨＣ染色により得られるＩＨＣ画像であり、前記着色部は前記脱色処理が施された前記入力画像にＨＥ染色により得られるＨＥ画像に対応する色を着色する、請求項２に記載の画像着色装置。
【請求項１１】
前記取得部は、蛍光体を観察対象物に付与して得られる蛍光画像を前記脱色画像として取得し、
前記着色部は、前記蛍光画像にＨＥ染色により得られるＨＥ画像又はＩＨＣ染色により得られるＩＨＣ画像に対応する色を着色する、請求項１に記載の画像着色装置。
【請求項１２】
前記着色部は、前記蛍光画像を構成する複数の画像について着色を行い、着色された前記複数の画像の重ね合わせを行う、請求項１１に記載の画像着色装置。
【請求項１３】
前記着色部による着色の前に、前記蛍光画像のゲイン調整又はネガポジ反転処理を行う、請求項１１に記載の画像着色装置。
【請求項１４】
前記着色部は、前記脱色画像から黒色の領域を取得し、当該黒色の領域については予め定められた所定の色を着色する、請求項１に記載の画像着色装置。
【請求項１５】
前記着色部による着色前の画像と着色後の画像を表示装置に表示するための処理を行う表示処理部を備える、請求項１に記載の画像着色装置。
【請求項１６】
前記表示処理部は、同一の観察対象物について、前記観察対象物の第１の領域は着色前の画像を表示させ、前記観察対象物の第２の領域は着色後の画像を表示させる、請求項１５に記載の画像着色装置。
【請求項１７】
前記表示処理部は、着色前の画像と着色後の画像を同一画面上に表示し、操作情報に基づいて着色前の画像と着色後の画像を同じ方向に移動させる、請求項１５に記載の画像着色装置。
【請求項１８】
前記表示処理部は、着色前の画像と着色後の画像のそれぞれについて、奥行方向の断面位置が同じ画像を表示させ、操作情報に基づいて断面位置を変更する、請求項１５に記載の画像着色装置。
【請求項１９】
病理染色画像に着色を行う、請求項１に記載の画像着色装置。
【請求項２０】
色が脱色された脱色画像を取得することと、
前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色することと、
を備える、画像着色方法。
【請求項２１】
色が脱色された脱色画像を取得する手段、
前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する手段、
としてコンピュータを機能させるプログラム。
【請求項２２】
色が付いた学習画像に脱色処理を施す脱色処理部と、
前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、
を備える、画像学習装置。
【請求項２３】
色が付いた学習画像に脱色処理を施すことと、
前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習することと、
を備える、画像学習方法。
【請求項２４】
色が付いた学習画像に脱色処理を施す手段、
前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する手段、
としてコンピュータを機能させるプログラム。
【請求項２５】
色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を有する、画像学習装置と、
色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記学習部による学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を有する、画像着色装置と、
を備える、画像着色システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像着色装置、画像着色方法、画像学習装置、画像学習方法、プログラム、及び画像着色システムに関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１には、染色標本画像の色素量分布を標準標本画像の色素量分布に近似させ、染色標本画像の各画像位置における色素量を適切に補正することが記載されている。また、下記の特許文献２には、病理画像についてベクトル解析によりステイン分離処理を行う手法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１４３５５号公報
【特許文献２】米国特許第９０３６８８９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載された手法では、対象画像の色素量分布の分布形状特徴と標準標本クラスの色素量分布の分布形状特徴を比較して色素量を補正しているため、対象画像の形態や形状などに応じて所望の色を着色することは困難である。【０００５】
そこで、対象画像の形態や形状などの情報に基づいて、対象画像を精度良く着色することが求められていた。
【課題を解決するための手段】
【０００６】
本開示によれば、色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を備える、画像着色装置が提供される。【０００７】
本開示によれば、色が脱色された脱色画像を取得することと、前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色することと、を備える、画像着色方法が提供される。【０００８】
本開示によれば、色が脱色された脱色画像を取得する手段、前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する手段、としてコンピュータを機能させるプログラムが提供される。【０００９】
本開示によれば、色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を備える、画像学習装置が提供される。【００１０】
本開示によれば、色が付いた学習画像に脱色処理を施すことと、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習することと、を備える、画像学習方法が提供される。【００１１】
本開示によれば、色が付いた学習画像に脱色処理を施す手段、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する手段、としてコンピュータを機能させるプログラムが提供される。【００１２】
また、本開示によれば、色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を有する、画像学習装置と、色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記学習部による学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を有する、画像着色装置と、を備える、画像着色システムが提供される。
【発明の効果】
【００１３】
以上説明したように本開示によれば、対象画像の形態や形状などの情報に基づいて、対象画像を精度良く着色することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１４】
【図１】本開示の一実施形態に係るシステムの構成を示す模式図である。
【図２】学習画像のデータの例を示す模式図である。
【図３】入力画像をヘマトキシリン・エオジン（ＨｅｍａｔｏｘｙｌｉｎＥｏｓｉｎ：ＨＥ）染色によるＨＥ画像とした場合に、ステイン分離処理による分離結果を模式的に示す図である。
【図４】ＨＥ画像を入力画像とした場合に、ステイン分離処理による分離結果の実際の例を示す図である。
【図５】明視野画像の色変換の処理を示すフローチャートである。
【図６】ＩＨＣ画像をＨＥ画像に変換した例を示す図である。
【図７】蛍光画像を明視野画像に変換する処理を示すフローチャートである。
【図８】蛍光画像をＨＥ画像に変換した例を示す図である。
【図９】サンプルにアーチファクトなどの異物がある場合に、異物を含めて着色する処理を示すフローチャートである。
【図１０】入力画像であるＩＨＣ画像と、出力画像であるＨＥ画像を並べて表示した例を示す模式図である。
【図１１】観察対象物を表示画面の全体に表示した例であって、画面左側をＩＨＣ画像として表示し、画面右側をＨＥ画像として表示した例を示す模式図である。
【図１２】奥行き方向に複数の断面を有する画像を表示した例を示しており、左側に入力画像であるＩＨＣ画像を、右側に出力画像であるＨＥ画像を表示した例を示す模式図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
なお、説明は以下の順序で行うものとする。
１．システムの構成例
２．本実施形態のシステムによる着色処理の具体例
２．１．明視野画像の色変換
２．２．蛍光画像の色変換
２．３．明視野画像でサンプルにアーチファクトが存在する場合
３．表示アプリケーションの例
【００１７】
１．システムの構成例
本開示は、機械学習を使って画像の色変換する方法に関する。対象となる画像として、例えば病理染色画像などの病理画像が挙げられる。本実施形態では、特に、病理染色画像の色を変換する場合に、病理画像の色素の位置及び染色情報を使って、細胞核とその他の細胞領域及び組織領域に自動的に精度よく色付けをする手法について説明する。
【００１８】
図１は、本開示の一実施形態に係るシステム１０００の構成を示す模式図である。図１に示すように、このシステム１０００は、学習器１００、色変換器２００、及び表示装置２５０を備えている。学習器１００は、学習画像入力部１０２、学習部１０４、脱色フィルタ１０６、を有して構成されている。
【００１９】
学習画像入力部１０２には、学習画像（リファレンス画像）のＲＧＢ（赤、緑、青）の画像データが入力される。学習画像は、例えば上述した病理染色画像である。学習画像入力部１０２に入力された学習画像は、学習部１０４に入力される。また、学習画像入力部１０２に入力された学習画像は、脱色フィルタ１０６により脱色処理が行われる。脱色処理によりグレースケールの画像データが得られる。グレースケールの画像データは、学習部１０４に入力される。学習部１０４は、多数の学習画像の入力を受けて、グレースケール画像のテクスチャや濃淡などの形態及び形状の情報（以下、形態情報という）と、ＲＧＢデータの対応する色を学習する。
【００２０】
なお、グレースケール画像の代わりにエッジ画像を用いても良く、この場合は、ＲＧＢデータからエッジを検出する処理を行い、得られたエッジ画像を学習部１０４に入力する。学習部１０４は、エッジ画像の情報と、ＲＧＢデータの対応する色を学習する。つまり、脱色フィルタ１０６は、学習画像から色を取り除く脱色処理部として機能する。
【００２１】
学習部１０４による学習では、深層学習（ディープラーニング）を用いることができる。深層学習は、多層のニューラルネットワーク（ディープニューラルネットワーク（Ｄｅｅｐ
Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＮＮ）による機械学習手法である。学習画像には、細胞核、繊維、血球、脂肪、菌などの領域が含まれていることが望ましい。学習の工程で入力される学習画像を病理染色画像に限定することで、色の間違いが起こりにくい学習器１００を構成することができる。
【００２２】
図２は、学習画像のデータの例を示す模式図であって、脱色フィルタ１０６の脱色処理により得られたグレースケールの画像データ３００と、学習画像そのものであるＲＧＢの画像データ４００をピクセル毎に示している。図２では、形態情報を有するグレースケールの画像データ３００を左側に示している。また、グレースケールの画像データ３００に対応し、正解となる理想的な色情報を有する画像データ４００を右側に示している。このように、学習部１０４は、ピクセル毎に、任意の形態及び形状情報からそのピクセルの色を学習している。本実施形態において、学習部１０４は、基本的には病理画像のように染色による特徴的な色の学習のみを行う。病理画像の染色に特徴的な色は、明視野であれば２〜３色程度である。色変換したい染色の種類を増やす場合は、学習器１００を複数備えることが望ましい。
【００２３】
学習部１０４による学習の結果、学習画像の形態情報と色情報が対応付けされた学習結果情報が得られる。学習結果情報は、着色器２００の着色部２０６に送られる。
【００２４】
色変換器２００は、画像入力部２０２、脱色フィルタ２０４、着色部２０６、ステイン分離部２０８、表示処理部２１０、操作入力部２１２を有している。なお、図１に示す学習器１００、色変換器２００の各構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成することができる。
【００２５】
画像入力部２０２には、着色の対象である入力画像が入力される。入力画像は、脱色フィルタ２０４に送られる。脱色フィルタ２０４は、入力画像に脱色処理を施し、グレースケール画像を作成する。グレースケール画像の代わりにエッジ画像を用いても良く、この場合は、入力画像からエッジ画像を検出する。脱色フィルタ２０４は、学習画像から色を取り除く脱色処理部として機能し、エッジ検出の機能を備えていても良い。なお、入力画像が蛍光画像の場合、蛍光画像はグレースケール画像であるため、脱色フィルタ２０２による処理は行わなくて良い。画像入力部２０２または脱色フィルタ２０４は、脱色した画像を取得する取得部として機能する。色変換器２００の脱色フィルタ２０４は、学習器１００の脱色フィルタ１０６と同じものを使用することが好ましいが、ピンボケなどが発生している入力画像に対しては、入力画像への前処理としてエッジ強調フィルタ等をかけても良い。
【００２６】
入力画像を脱色フィルタ２０４に通すことにより、入力画像のグレースケール画像が得られる。得られたグレースケール画像は、着色部２０６に入力される。また、脱色フィルタ２０４による脱色処理と並行して、ステイン分離部２０８が入力画像にステイン分離処理を施す。ステイン分離部２０８は、前述した特許文献２に記載された手法を用い、画像の色の特徴を表すステインベクトルに基づいて入力画像の色を分離する。ステイン分離処理により、細胞核とその他の核以外の領域が判別可能になる。
【００２７】
着色部２０６は、入力されたグレースケール画像の形態情報を学習部１０４から得られる学習結果情報に当てはめることで、形態情報に対応する色情報を取得する。そして、形態情報に対応する色情報を用いてグレースケール画像に着色を行う。
【００２８】
着色の際、グレースケール画像のみで着色部２０６による着色は可能であるが、例えば細胞核と同様の大きさ、形状であるが、細胞核でない物体が入力画像に存在する場合、細胞核として着色が行われてしまう可能性がある。このため、ステイン分離処理により得られる情報を着色のヒント（補助情報）として用い、着色の精度を高めるようにする。
【００２９】
図３は、入力画像をヘマトキシリン・エオジン（Ｈｅｍａｔｏｘｙｌｉｎ
Ｅｏｓｉｎ：ＨＥ）染色による画像（以下、ＨＥ画像という）とした場合に、ステイン分離処理による分離結果を模式的に示す図である。また、図４は、ＨＥ画像を入力画像とした場合に、ステイン分離処理による分離結果の実際の例を示す図である。ヘマトキシリン・エオジン染色により、ＨＥ画像では、細胞核は紫色に染色され、細胞核以外の組織成分は赤色に染色される。図３及び図４に示したように、ＨＥ画像にステイン分離処理を施すことにより、細胞核は紫色に分離され、細胞核以外は赤色に分離される。
【００３０】
ステイン分離部２０２では、２つ以上に色分離された画像から着色部２０６による着色のヒントとなる座標を抽出する。座標の抽出では、閾値処理で高輝度の代表点を見つけて、所定の閾値以上の高輝度の領域を抽出し、その領域の重心或いは中心の座標を求める。検出位置の絞り込みの際にはＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ  Ｓｕｐｐｒｅｓｓｉｏｎ）等のアルゴリズムを使用しても良い。ステイン分離部２０２により分離された色と座標の位置情報を着色部２０６にヒントとして与えることで、着色部２０６による精度の高い色変換を実現できる。ステイン分離で使用するステインベクタは、学習画像から求められるものを与えても良い。なお、ステイン分離で使用するステインベクトルは、学習画像から求められるものを与えても良い。
【００３１】
ステイン分離部２０２によるステイン分離処理によれば、細胞核の領域は、図３及び図４で紫色の領域として認識されている。このため、着色部２０６による着色の際に、グレースケール画像の形態情報からは細胞核以外の領域が細胞核であると認識されたとしても、ステイン分離処理から得られる補助情報では、その領域の座標は細胞核の座標に合致しないことになる。従って、当該領域を細胞核以外の領域であると判定できる。従って、ステイン分離処理により得られる補助情報を着色部２０６による着色の際に用いることで、精度良く着色を行うことが可能である。
【００３２】
着色部２０６では、ステイン分離処理によって得られた領域の色を、画像入力部２０２に入力された原画像から抽出して着色を行う。例えば、形態情報からは細胞核の領域でないと判定された領域について、ステイン分離処理によってその領域に細胞核の色が付いている場合は、その領域で原画像から得られる色を着色する。一方、着色部２０６は、ステイン分離処理によって得られた領域に基づいて学習画像の色を参照することもできる。学習画像の色を参照する場合、原画像のステインベクトルと学習画像のステインベクトル（リファレンスベクトル）の距離が近い学習画像の色を選択し、着色の際の補助情報として使用する。この場合、学習部１０４にて、予め学習画像のステインベクトルを抽出しておく。学習画像のステインベクトルの抽出の際に機械学習を使ってもよい。
【００３３】
以上のように、色変換器２００による色付けの工程は、入力画像の細胞核と、その他の細胞領域及び組織領域の色を領域あるいは点毎に判別して記憶する工程と、画像にデジタルフィルタをかけて脱色し、形態あるいは形状情報を取得する工程と、領域あるいは点毎に記憶された色情報を使い、領域毎に形態或いは形状情報を元に学習された色を導き出し、理想的な色にデジタル染色を行う工程を含む。色付け工程における「領域」の検出には、ステイン分離処理を用いることで自動化が可能である。色付け工程における「点」の検出は、ステイン分離により得られる領域の中心や重心座標でも良いし、画像中のランダムな座標でも良い。なお、上述したように、学習部１０４は、基本的には病理画像のように染色による特徴的な色の学習のみを行う。このため、着色部２０６による着色の際には、入力画像のうち、例えばＨＥ染色では本来は出現しない色の領域に関しては、ＨＥ染色の範囲の色に限定して着色が行われる。従って、予期せぬ色に着色が行われてしまうことを抑制できる。
【００３４】
着色部２０６により着色が行われた画像は、出力画像として表示処理部２１０に入力される。表示処理部２１０は、出力画像を表示装置２５０に表示するための処理を行う。操作入力部２１２は、マウス、キーボード等からユーザの操作情報が入力される。操作入力部２１２は、表示処理部２１０に操作情報を送る。表示処理部２１０は、操作情報に基づいて表示装置２５０に表示する表示内容を制御する。なお、表示処理部２１０による処理については、後述する。
【００３５】
２．本実施形態のシステムによる着色処理の具体例
次に、本実施形態のシステムによる着色処理（色変換処理）のいくつかの具体例について説明する
【００３６】
２．１．明視野画像の色変換
先ず、明視野画像の色変換について説明する。明視野画像として、上述したＨＥ画像やＩＨＣ画像などが挙げられる。ここで、免疫組織化学（Ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ：ＩＨＣ）により、抗原抗体反応を利用して組織や細胞中の特定の物質を特異的に検出する際に用いる画像を、ＩＨＣ画像と称する。本実施形態によれば、これらの明視野画像間で相互に色変換処理を行うことができる。
【００３７】
先ず、入力画像がＨＥ画像であり、出力画像としてもＨＥ画像を出力する場合は、ステイン分離処理によって出てきた色情報を着色の基準色として保持しておく。上述したように、ステイン分離処理によって得られた領域の色を原画像から抽出しても良いし、学習画像の色を参照しても良い。
【００３８】
また、入力画像がＩＨＣ画像であり、出力画像としてＨＥ画像を出力する場合など、異なる染色の画像に変換する場合は、ステイン分離処理により得られた色にリファレンスの色を割り当てて基準色とすることが望ましい。例えば、入力画像がＩＨＣ画像であり、出力画像をＨＥ画像とする場合、ＩＨＣ画像では細胞核が青く染まるので、ＩＨＣ画像の青色に対して、ＨＥ画像の紫色を着色後の細胞核の領域の基準色として与える。これにより、ＩＨＣ画像を着色してＨＥ画像にする場合に、細胞核の領域を紫色に着色することができる。着色部２０６は、ステイン分離部２０８によるステイン分離後の色に対してリファレンスの色を割り当て、これを基準色として着色を行う。
【００３９】
以上のように、ステイン分離処理により得られた領域において染色位置のサンプリングを行い、脱色変換後のグレースケールの画像と基準色情報を元に着色する。なお、ＨＥ画像からＩＨＣ画像への色変換も可能である。
【００４０】
図５は、明視野画像の色変換の処理を示すフローチャートである。先ず、ステップＳ１０では、ステイン分離部２０８が入力画像に対してステイン分離処理を行う。次のステップＳ１２では、ステイン分離により得られた画像に基づいて、染色位置（核情報）のサンプリングを行う。次のステップＳ１４では、脱色フィルタ２０４が入力画像に脱色処理（脱色変換）を施すことで、グレースケール画像が得られる。次のステップＳ１６では、着色部２０６が、グレースケール画像の形態情報を、学習部１０４から得られる学習結果情報に当てはめて、グレースケール画像に着色を行う。
【００４１】
図６は、ＩＨＣ画像をＨＥ画像（Ｓｉｍｕｌａｔｅｄ  ＨＥ）に変換した例を示す図である。ＩＨＣ画像は、抗原抗体反応を利用した染色であり、例えば癌細胞などの特定には適しているが、細胞の形状を正確に観察するには必ずしも適していない場合がある。このような場合、本実施形態の手法によりＩＨＣ画像をＨＥ画像に変換することで、細胞などの形状観察を容易に行うことができる。上述のように、ＩＨＣ画像では細胞核が青く染まるので図６の左側に示すＩＨＣ画像の入力画像では、細胞核が青く染まっている（図６の左図で灰色の点で示される領域）。一方、図６の右側に示す着色後のＨＥ画像では、細胞核は紫に着色され（図６の右図で黒い点で示される領域）、細胞核以外は赤色に着色されている。従って、色変換後のＨＥ画像と元のＩＨＣ画像とで、細胞核の位置が対応しており、正確に変換が行われていることが判る。
【００４２】
２．２．蛍光画像の色変換
次に、蛍光画像の明視野色変換について説明する。例えば、蛍光画像からＨＥ画像またはＩＨＣ画像へ色変換する場合が挙げられる。例えばＤＡＰＩを蛍光色素として用い、観察対象物の染色を行い、観察対象物の蛍光画像を得る。そして、蛍光画像を核情報としてサンプリングする。そして、核情報に対してリファレンスの基準色を割り当てて着色を行う。リファレンスの基準色は、ＨＥ画像であれば紫、ＩＨＣ画像であれば青である。
【００４３】
蛍光画像は、信号が微弱なためゲイン調整が必要になる。また、例えば濃淡画像の場合は明暗が反対であるため、ネガ−ポジ反転処理を加えることが望ましい。
【００４４】
着色が完了すると、同様の処理を蛍光画像の枚数分だけ行い、重ね合わせる。例えばＩＨＣ画像などの２色以上の多重染色の場合は、それぞれの色を学習する必要があるので、学習器１００側では、多重染色明視野画像の事前学習を行っておく。
【００４５】
マルチプレクス（重ね合わせ）後の画像を扱う場合は、それぞれの蛍光画像の色の割り当てに応じたゲイン調整が必要になる。
【００４６】
図７は、蛍光画像を明視野画像に変換する処理を示すフローチャートである。先ず、ステップＳ２０では、蛍光により核が染色された領域を示す核染色画像をサンプリングする。ここでは、蛍光体によって染色された生体組織に所定の光を照射して得られる蛍光画像から、核染色画像をサンプリングする。次のステップＳ２２では、サンプリングした画像のゲイン調整を行う。次のステップＳ２４では、ネガ−ポジ反転処理を行う。
【００４７】
次のステップＳ２６では、サンプリングした細胞核に着色を行う。次のステップＳ２８では、画像のマルチプレクスを行う。複数の染色画像をミックスするような蛍光観察において、蛍光画像の領域毎に色を決定し混合画像上で色付け工程を進めることで、疑似的な明視野染色画像を得ることもできる。
【００４８】
図８は、蛍光画像をＨＥ画像（Ｓｉｍｕｌａｔｅｄ  ＨＥ）に変換した例を示す図である。蛍光画像は、図８の左側に示す蛍光画像の入力画像は、基本的にグレースケール画像であり、白く見える部分は基本的に細胞核の領域に相当する。蛍光画像において、核の部分は周囲よりも明るくなっているため、上記の核染色画像としてサンプリングされる。これにより、着色部２０６は、サンプリングされた細胞核の形状に基づいて核の部分に着色を行うことができる。図８を参照すると、蛍光画像を変換して得られるＨＥ画像（Ｓｉｍｕｌａｔｅｄ  ＨＥ）では、蛍光画像で白く見える細胞核の領域が、ＨＥ画像での細胞核の領域４５０の色に着色されていることが判る。学習器１００側で蛍光画像の新たな学習は不要であり、ＨＥ画像の学習データに基づいて蛍光画像からＨＥ画像への変換を行うことが可能である。
【００４９】
２．３．明視野画像でサンプルにアーチファクトが存在する場合
ここでは、明視野画像でサンプルにアーチファクト(人工物、異物)が存在する場合について説明する。病理染色画像の場合、アーチファクトとして例えば気泡が挙げられる。アーチファクトは、非常に深い黒色であり、他の色と識別が容易である。この黒色を検出する閾値処理でマスク画像を生成し、その領域に例えばＨＥ画像の赤(ピンク)の基準色を割り当てることで、通常の組織と同じ色になり視認性が向上する。本処理と上述した「２．１．明視野画像の色変換」の処理を繋げることで、アーチファクトのある標本に関してもリファレンス画像に近い色を再現することができる。
【００５０】
図９は、入力画像のサンプルにアーチファクト（異物）がある場合に、これらの異物を含めて着色する処理を示すフローチャートである。先ず、ステップＳ３０では、入力画像の画素値の閾値処理を行い、黒色の部分を検出する。次のステップＳ３２では、マスク処理を行うことで、ステップＳ３０で検出した黒色の部分を取り除く。次のステップＳ３４では、黒色の部分を取り除いた画像に対してステイン分離処理を行う。
【００５１】
次のステップＳ３６では、ステイン分離処理により得られた画像から、染色位置のサンプリングを行う。次のステップＳ３８では、入力画像に脱色処理を施すことで、グレースケール画像を得る。次のステップＳ３９では、グレースケール画像の形態情報を、学習部１０４から得られる学習結果情報に当てはめて、グレースケール画像に着色を行う。
【００５２】
３．表示アプリケーションの例
次に、出力画像を表示装置２５０に表示する際のアプリケーション例について説明する。本実施形態では、表示処理部２１０の処理により、入力画像と出力画像をともに表示装置２５０に表示することが可能である。例えば、ＩＨＣ画像が入力画像であり、ＨＥ画像が出力画像である場合、癌細胞などを判別するためにＩＨＣ画像を観察し、細胞の形状を判別するためにＨＥ画像を観察することが考えられる。
【００５３】
図１０は、入力画像であるＩＨＣ画像と、出力画像であるＨＥ画像を並べて表示した例を示す模式図である。図１０に示す例では、表示装置２５０の表示画面２５２上に、入力画像であるＩＨＣ画像は左側に表示され、出力画像であるＨＥ画像は右側に表示されている。これにより、観察者は、左側のＩＨＣ画像で癌細胞の位置を認識でき、右側のＨＥ画像で細胞の形状を認識することができる。表示処理部２１０は、ユーザがマウスなどを操作して操作入力部２１２から画像を画面ないで移動させる指示を入力した場合は、入力画像であるＩＨＣ画像と出力画像であるＨＥ画像を表示画面２５２上で同じ方向に移動させる。これにより、ユーザによる観察時の利便性を高めることができる。
【００５４】
図１１は、観察対象物を表示画面の全体に表示した例であって、画面左側をＩＨＣ画像として表示し、画面右側をＨＥ画像として表示した例を示す模式図である。ＩＨＣ画像とＨＥ画像の境界２５４は、ユーザがマウスなどを操作して操作入力部２１２から情報を入力することで、左右に移動することができる。図１１のような表示を行うことで、１の観察対象物について、画面左側で癌細胞を視認し、画面右側で形状を認識することが可能である。
【００５５】
図１２は、奥行き方向に複数の断面を有する画像を表示した例を示しており、左側に入力画像であるＩＨＣ画像を、右側に出力画像であるＨＥ画像を表示した例を示す模式図である。ＩＨＣ画像とＨＥ画像は、同じ奥行き位置の暗面の画像がそれぞれ紐付けられている。ユーザは、操作入力部２１２から情報を入力することで、所望の奥行き位置の断面において、ＩＨＣ画像とＨＥ画像をともに表示することができる。
【００５６】
以上説明したように本実施形態によれば、色変換器２００による着色を行うことで、染色が劣化した標本を綺麗に色再現することが可能となる。また、病理染色画像は、スキャナ毎に色合いが異なる場合があるが、色変換器２００による着色を行うことで、染色の色味を好みのリファレンス色に補正できる。また、色変換器２００による着色を行うことで、標本の汚れを見えなくして視認性を向上することができる。また、蛍光画像を明視野画像のように着色して観察することも可能となる。更に、トーンカーブ補正と異なり、各画像のスライドの中でそれぞれ適切な色に補正することも可能となる。
【００５７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００５８】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００５９】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）  色が脱色された脱色画像を取得する取得部と、
前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、
を備える、画像着色装置。
（２）  前記取得部は、色が付いた入力画像に脱色処理を施す脱色処理部から構成される、前記（１）に記載の画像着色装置。
（３）  前記学習結果情報は、複数の学習画像の形態情報と当該形態情報に対応する色情報との対応を学習して得られる、前記（１）又は（２）に記載の、画像着色装置。
（４）  前記入力画像にステイン分離処理を行うステイン分離部を備え、
前記着色部は、前記ステイン分離処理により得られる補助情報を使用して前記着色を行う、前記（２）に記載の画像着色装置。
（５）  前記補助情報は、前記ステイン分離処理により分離された前記入力画像中の所定の部位の位置情報であり、
前記着色部は、前記入力画像のうち前記位置情報に対応する部位については、前記所定の部位に対応する色を着色する、前記（４）に記載の画像着色装置。
（６）  前記所定の部位は、細胞核に対応する部位である、前記（５）に記載の画像着色装置。
（７）  前記着色部は、前記ステイン分離処理により分離された前記所定の部位において、前記入力画像から得られる色を着色する、前記（５）又は（６）に記載の画像着色装置。
（８）  前記着色部は、前記ステイン分離処理により得られる前記所定の部位において、前記ステイン分離処理に基づいて前記学習結果情報から得られるリファレンス色を着色する、前記（５）又は（６）に記載の画像着色装置。
（９）  前記入力画像はＨＥ染色により得られるＨＥ画像であり、前記着色部は前記脱色処理が施された前記入力画像に前記ＨＥ画像に対応する色を着色する、前記（２）に記載の画像着色装置。
（１０）  前記入力画像はＩＨＣ染色により得られるＩＨＣ画像であり、前記着色部は前記脱色処理が施された前記入力画像にＨＥ染色により得られるＨＥ画像に対応する色を着色する、前記（２）に記載の画像着色装置。
（１１）  前記取得部は、蛍光体を観察対象物に付与して得られる蛍光画像を前記脱色画像として取得し、
前記着色部は、前記蛍光画像にＨＥ染色により得られるＨＥ画像又はＩＨＣ染色により得られるＩＨＣ画像に対応する色を着色する、前記（１）に記載の画像着色装置。
（１２）  前記着色部は、前記蛍光画像を構成する複数の画像について着色を行い、着色された前記複数の画像の重ね合わせを行う、前記（１１）に記載の画像着色装置。
（１３）  前記着色部による着色の前に、前記蛍光画像のゲイン調整又はネガポジ反転処理を行う、前記（１１）又は（１２）に記載の画像着色装置。
（１４）  前記着色部は、前記脱色画像から黒色の領域を取得し、当該黒色の領域については予め定められた所定の色を着色する、前記（１）〜（１３）のいずれかに記載の画像着色装置。
（１５）  前記着色部による着色前の画像と着色後の画像を表示装置に表示するための処理を行う表示処理部を備える、前記（１）〜（１４）のいずれかに記載の画像着色装置。
（１６）  前記表示処理部は、同一の観察対象物について、前記観察対象物の第１の領域は着色前の画像を表示させ、前記観察対象物の第２の領域は着色後の画像を表示させる、前記（１５）に記載の画像着色装置。
（１７）  前記表示処理部は、着色前の画像と着色後の画像を同一画面上に表示し、操作情報に基づいて着色前の画像と着色後の画像を同じ方向に移動させる、前記（１５）に記載の画像着色装置。
（１８）  前記表示処理部は、着色前の画像と着色後の画像のそれぞれについて、奥行方向の断面位置が同じ画像を表示させ、操作情報に基づいて断面位置を変更する、前記（１５）に記載の画像着色装置。
（１９）  病理染色画像に着色を行う、請求項１に記載の画像着色装置。
（２０）  色が脱色された脱色画像を取得することと、
前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色することと、
を備える、画像着色方法。
（２１）  色が脱色された脱色画像を取得する手段、
前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する手段、
としてコンピュータを機能させるプログラム。
（２２）  色が付いた学習画像に脱色処理を施す脱色処理部と、
前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、
を備える、画像学習装置。
（２３）  色が付いた学習画像に脱色処理を施すことと、
前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習することと、
を備える、画像学習方法。
（２４）  色が付いた学習画像に脱色処理を施す手段、
前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する手段、
としてコンピュータを機能させるプログラム。
（２５）  色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を有する、画像学習装置と、
色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記学習部による学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を有する、画像着色装置と、
を備える、画像着色システム。
【符号の説明】
【００６０】
１００    学習器
１０４    学習部
１０６    脱色フィルタ
２００    着色器
２０２    画像入力部
２０４    脱色フィルタ
２０６    着色部
２０８    ステイン分離部
２１０    表示処理部
【図１】
2019106946.tif 000003
【図２】
2019106946.tif 000004
【図３】
2019106946.tif 000005
【図４】
2019106946.tif 000006
【図５】
2019106946.tif 000007
【図６】
2019106946.tif 000008
【図７】
2019106946.tif 000009
【図８】
2019106946.tif 000010
【図９】
2019106946.tif 000011
【図１０】
2019106946.tif 000012
【図１１】
2019106946.tif 000013
【図１２】
2019106946.tif 000014
【国際調査報告】
2019106946.tif 000015
2019106946.tif 000016