(57)【要約】  画像処理装置は、染色特性記録部が、染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、染色特性推定部が、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、染色特性変換部が、前記入力教師画像の色素の前記染色特性を、教師画像の色素の前記染色特性に変換し、仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、仮想的な染色標本画像を生成する。これにより、診断支援における精度を維持しながら教師画像の枚数を増やすことができる画像処理装置を提供する。
2020075226.tif 000002
【特許請求の範囲】
【請求項１】
染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、
染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、
染色特性変換部が、前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換し、
仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する画像処理装置の作動方法。
【請求項２】
前記染色特性変換部が、前記入力教師画像の各色素の前記染色特性を、前記記録部に記録された各教師画像の各色素の前記染色特性に繰り返し変換し、
前記仮想画像生成部が、前記染色特性変換部が変換した各色素の前記染色特性に基づいて、前記入力教師画像及び前記複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する請求項１に記載の画像処理装置の作動方法。
【請求項３】
組織特性推定部が、前記複数の教師画像及び前記入力教師画像の各画素の前記染色特性から各画素が属する組織を推定し、
前記染色特性変換部が、前記入力教師画像の少なくとも１つの選択した組織の前記染色特性を、前記記録部に記録されたいずれか１つの教師画像の前記選択した組織の前記染色特性に変換し、
前記仮想画像生成部が、前記染色特性変換部が変換した組織の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する請求項１又は２に記載の画像処理装置の作動方法。
【請求項４】
前記染色特性推定部が、前記複数の色素による染色を含む染色標本画像である入力画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、
推定オペレータ算出部が、前記複数の教師画像又は前記入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、前記入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出し、
正解画像推定部が、前記推定オペレータに基づいて、前記入力画像から正解画像を推定する請求項１〜３のいずれか１つに記載の画像処理装置の作動方法。
【請求項５】
前記染色特性推定部が、前記入力教師画像の各画素の前記染色特性から、各画素を分類し、
前記組織特性推定部が、各画素の分類に応じて複数の組織に分類し、分類した組織に属する画素の前記染色特性のそれぞれに基づいて算出される特徴量を各組織の前記染色特性とする請求項３に記載の画像処理装置の作動方法。
【請求項６】
複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録する染色特性記録部と、
前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定する染色特性推定部と、
前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換する染色特性変換部と、
前記染色特性変換部が変換し各色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する仮想画像生成部と、
を備える画像処理装置。
【請求項７】
染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、
染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、
染色特性変換部が、前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換し、
仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成すること、
を画像処理装置に実行させる画像処理装置の作動プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムに関する。
【背景技術】
【０００２】
病理診断では、患者から摘出した検体に対して、切り出し、固定、包埋、薄切、染色、封入等の処理を施して、病理標本を作製する。そして、病理標本を顕微鏡により観察し、組織形状や染色状態から病気の有無や程度を診断する。【０００３】
病理診断では、一次診断を行い、病気が疑われる場合に二次診断を行う。一次診断では、病理標本の組織形状から病気の有無を診断する。例えば、標本にＨＥ染色（ヘマトキシリン−エオジン染色）を施し、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色される。病理医は、組織形状から形態学的に病気の有無を診断する。【０００４】
二次診断では、分子の発現から病気の有無を診断する。例えば、標本に免疫染色を施し、抗原・抗体反応から分子の発現を可視化する。そして、病理医が、分子の発現から病気の有無を診断する。また、病理医は、陽性率（陰性細胞と陽性細胞との比率）から適切な治療方法を選択する。【０００５】
病理標本は、顕微鏡にカメラを接続して撮像することにより、画像化することができる。また、バーチャル顕微鏡システム（バーチャルスライドシステム）では、病理標本全体を画像化することができる。病理標本を画像化することにより、教育や遠隔病理等に画像を利用することができる。【０００６】
さらに、病理標本画像に対して画像処理を施すことにより、診断を支援する方法が開発されている。診断支援には、病理医の診断を画像処理により模倣する方法と、大量の教師画像を用いて機械学習を行う方法とがある。機械学習には、線形判別、深層学習等が用いられる。病理診断は、病理医の不足等により病理医の負担が大きくなっている。そのため、診断支援により、病理医の負担を軽減することが期待されている。【０００７】
深層学習は、予め設定された特徴量を自動的に計算できる機能を有し、計算資源の進歩にともなって実用され始めており、画像認識や音声認識を中心に幅広い用途で利用されている。深層学習は、病理標本画像の解析にも用いられており、非特許文献１には、深層学習を用いて、病理標本画像から乳がんを高精度に検出する方法が開示されている。深層学習は、精度のよい多数の教師画像を用意することができれば、従来の画像処理と比較しても容易に高精度な診断支援を行うことができる。【０００８】
病理標本画像には、様々な原因により色ばらつきが生じる。例えば、染色濃度等の標本作製状態は、病理医の好みや、臨床検査技師のスキル、標本作製設備の性能に応じて色ばらつきが生じる。その結果、病理標本画像の色ばらつきが、教師画像の範囲から外れる場合、その画像に対する診断支援を適切に行うことができない。そこで、適切に診断支援を行うためには、複数の標本作製施設において異なる標本作製工程によって生成された多数の教師画像を収集することが求められる。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】“Ａｃｃｕｒａｔｅ  ａｎｄ  ｒｅｐｒｏｄｕｃｉｂｌｅ  ｉｎｖａｓｉｖｅ  ｂｒｅａｓｔ  ｃａｎｃｅｒ  ｄｅｔｅｃｔｉｏｎ  ｉｎ  ｗｈｏｌｅｓｌｉｄｅ  ｉｍａｇｅｓ：  Ａ  Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ  ａｐｐｒｏａｃｈ  ｆｏｒ  ｑｕａｎｔｉｆｙｉｎｇ  ｔｕｍｏｒ  ｅｘｔｅｎｔ”  ，  Ｓｃｉｅｎｔｉｆｉｃ  Ｒｅｐｏｒｔｓ  ｜  ７：４６４５０  ｜  ＤＯＩ：  １０．１０３８／ｓｒｅｐ４６４５０
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、複数の標本製作施設においてあらゆる標本作製工程にそれぞれ対応して生成された画像を収集することは困難である。そのため、従来、教師画像の標本作製工程とは異なる標本作製工程によって生成された画像は、診断支援の対象外とされていた。また、教師画像に色空間内において画像補正を施し、教師画像の枚数を増やす技術もあるが、色空間内における画一的な画像補正では、診断支援の精度が低下してしまう。【００１１】
本発明は、上記に鑑みてなされたものであって、診断支援における精度を維持しながら教師画像の枚数を増やすことができる画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置の作動方法は、染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、染色特性変換部が、前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換し、仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する。【００１３】
また、本発明の一態様に係る画像処理装置の作動方法は、前記染色特性変換部が、前記入力教師画像の各色素の前記染色特性を、前記記録部に記録された各教師画像の各色素の前記染色特性に繰り返し変換し、前記仮想画像生成部が、前記染色特性変換部が変換した各色素の前記染色特性に基づいて、前記入力教師画像及び前記複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する。【００１４】
また、本発明の一態様に係る画像処理装置の作動方法は、組織特性推定部が、前記複数の教師画像及び前記入力教師画像の各画素の前記染色特性から各画素が属する組織を推定し、前記染色特性変換部が、前記入力教師画像の少なくとも１つの選択した組織の前記染色特性を、前記記録部に記録されたいずれか１つの教師画像の前記選択した組織の前記染色特性に変換し、前記仮想画像生成部が、前記染色特性変換部が変換した組織の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する。【００１５】
また、本発明の一態様に係る画像処理装置の作動方法は、前記染色特性推定部が、前記複数の色素による染色を含む染色標本画像である入力画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、推定オペレータ算出部が、前記複数の教師画像又は前記入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、前記入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出し、正解画像推定部が、前記推定オペレータに基づいて、前記入力画像から正解画像を推定する。【００１６】
また、本発明の一態様に係る画像処理装置の作動方法は、前記染色特性推定部が、前記入力教師画像の各画素の前記染色特性から、各画素を分類し、前記組織特性推定部が、各画素の分類に応じて複数の組織に分類し、分類した組織に属する画素の前記染色特性のそれぞれに基づいて算出される特徴量を各組織の前記染色特性とする。【００１７】
また、本発明の一態様に係る画像処理装置は、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録する染色特性記録部と、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定する染色特性推定部と、前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換する染色特性変換部と、前記染色特性変換部が変換し各色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する仮想画像生成部と、を備える。【００１８】
また、本発明の一態様に係る画像処理装置の作動プログラムは、染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、染色特性変換部が、前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換し、仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成すること、を画像処理装置に実行させる。
【発明の効果】
【００１９】
本発明によれば、診断支援における精度を維持しながら教師画像の枚数を増やすことができる画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムを実現することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の実施の形態１に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。
【図２】図２は、図１に示す画像処理装置の動作を示すフローチャートである。
【図３】図３は、標本作製工程プロトコルの一覧を表す図である。
【図４】図４は、入力教師画像の一画素の分光スペクトルを表す図である。
【図５】図５は、入力教師画像の一画素のＨ色素スペクトルを表す図である。
【図６】図６は、入力教師画像の一画素のＨ色素量を表す図である。
【図７】図７は、入力教師画像の一画素のＤＡＢ色素スペクトルを表す図である。
【図８】図８は、入力教師画像の一画素のＤＡＢ色素量を表す図である。
【図９】図９は、変換する教師画像のＨ色素スペクトルを表す図である。
【図１０】図１０は、変換する教師画像のＨ色素量を表す図である。
【図１１】図１１は、本発明の実施の形態２に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。
【図１２】図１２は、図１１に示す画像処理装置の動作を示すフローチャートである。
【図１３】図１３は、標本作製工程プロトコルの一覧を表す図である。
【図１４】図１４は、入力教師画像の各画素のＨ色素スペクトルを表す図である。
【図１５】図１５は、入力教師画像の各画素のＤＡＢ色素スペクトルを表す図である。
【図１６】図１６は、細胞核と細胞質とを分離する様子を表す図である。
【図１７】図１７は、細胞核と細胞質とのＨ色素スペクトルを表す図である。
【図１８】図１８は、細胞核と細胞質とのＨ色素量を表す図である。
【図１９】図１９は、細胞核と細胞質とのＤＡＢ色素スペクトルを表す図である。
【図２０】図２０は、細胞核と細胞質とのＤＡＢ色素量を表す図である。
【図２１】図２１は、変換する教師画像の細胞核と細胞質とのＨ色素スペクトルを表す図である。
【図２２】図２２は、変換する教師画像の細胞核と細胞質とのＨ色素量を表す図である。
【図２３】図２３は、本発明の実施の形態３に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。
【図２４】図２４は、図２３に示す画像処理装置の動作を示すフローチャートである。
【図２５】図２５は、本発明の実施の形態４に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下に、図面を参照して本発明に係る画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、複数の教師画像を用いて診断支援を行う画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム一般に適用することができる。
【００２２】
また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
【００２３】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図１に示すように、撮像システム１は、蛍光顕微鏡等の撮像装置１７０と、該撮像装置１７０と接続可能なパーソナルコンピュータ等のコンピュータからなる画像処理装置１００とによって構成される。
【００２４】
画像処理装置１００は、撮像装置１７０から画像データを取得する画像取得部１１０と、画像処理装置１００及び撮像装置１７０を含むシステム全体の動作を制御する制御部１２０と、画像取得部１１０が取得した画像データ等を記憶する記録部１３０と、記録部１３０に記憶された画像データに基づき、所定の画像処理を実行する演算部１４０と、入力部１５０と、表示部１６０と、を備える。
【００２５】
画像取得部１１０は、当該画像処理装置１００を含むシステムの態様に応じて適宜構成される。例えば、撮像装置１７０を画像処理装置１００に接続する場合、画像取得部１１０は、撮像装置１７０から出力された画像データを取り込むインタフェースによって構成される。また、撮像装置１７０によって生成された画像データを保存しておくサーバを設置する場合、画像取得部１１０はサーバと接続される通信装置等により構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部１１０を、可搬型の記録媒体を着脱自在に装着し、該記録媒体に記録された画像データを読み出すリーダ装置によって構成しても良い。
【００２６】
制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の汎用プロセッサやＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部１２０が汎用プロセッサである場合、記録部１３０が記憶する各種プログラムを読み込むことによって画像処理装置１００を構成する各部への指示やデータの転送等を行い、画像処理装置１００全体の動作を統括して制御する。また、制御部１２０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記録部１３０が記憶する各種データ等を用いることで、プロセッサと記録部１３０が協働又は結合して種々の処理を実行しても良い。
【００２７】
制御部１２０は、画像取得部１１０や撮像装置１７０の動作を制御して画像を取得する画像取得制御部１２１を有し、入力部１５０から入力される入力信号、画像取得部１１０から入力される画像、及び記録部１３０に格納されているプログラムやデータ等に基づいて画像取得部１１０及び撮像装置１７０の動作を制御する。
【００２８】
記録部１３０は、更新記録可能なフラッシュメモリ等のＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）といった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク若しくはＤＶＤ−ＲＯＭ等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記録部１３０は、画像処理プログラムを記憶するプログラム記録部１３１と、当該画像処理プログラムの実行中に使用される画像データや各種パラメータ等を記憶する画像データ記録部１３２と、を備える。
【００２９】
演算部１４０は、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部１４０が汎用プロセッサである場合、プログラム記録部１３１が記憶する画像処理プログラムを読み込むことにより、マルチバンド画像に基づいて特定の組織が存在する深度を推定する画像処理を実行する。また、演算部１４０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記録部１３０が記憶する各種データ等を用いることで、プロセッサと記録部１３０が協働又は結合して画像処理を実行しても良い。
【００３０】
詳細には、演算部１４０は、染色特性記録部１４１と、染色特性推定部１４２と、染色特性変換部１４３と、仮想画像生成部１４４と、を備える。
【００３１】
染色特性記録部１４１は、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと推定した染色特性とを関連づけて記録部１３０に記録する。
【００３２】
染色特性推定部１４２は、複数の色素による染色を含む複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力されたた染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性を推定する。
【００３３】
染色特性変換部１４３は、入力教師画像の各色素の染色特性を、記録部１３０に記録された各教師画像の各色素の染色特性に繰り返し変換する。ただし、染色特性変換部１４３は、入力教師画像の少なくとも１つの選択した色素の染色特性を、複数の教師画像のうちいずれか１つの教師画像の選択した色素の染色特性に変換すればよい。
【００３４】
仮想画像生成部１４４は、染色特性変換部１４３が変換した色素の染色特性に基づいて、複数の教師画像及び入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する。具体的には、仮想画像生成部１４４が、染色特性変換部１４３が変換した各色素の染色特性に基づいて、入力教師画像及び複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する。
【００３５】
入力部１５０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成されて、操作入力に応じた入力信号を制御部１２０に出力する。
【００３６】
表示部１６０は、ＬＣＤ（Ｌｉｑｕｉｄ  ＣｒｙｓｔａｌＤｉｓｐｌａｙ）やＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ等の表示装置によって実現されるものであり、制御部１２０から入力される表示信号をもとに各種画面を表示する。
【００３７】
撮像装置１７０は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を含み、画像処理装置１００の画像取得部１１０による制御のもと、撮像素子の受光面に入射した光を、該光の強度に応じた電気信号に変換して画像データとして出力する。なお、撮像装置１７０は、ＲＧＢカメラを備え、ＲＧＢ画像を撮影してもよいし、マルチバンド画像を撮影してもよい。マルチバンド撮影には、照明光の波長を変更する方法、白色光である光源からの光の光路上にフィルタを設けて透過させる光の波長を変更する方法、多色センサを用いる方法がある。光路上にフィルタを設ける方法には、複数枚の透過させる波長が異なるバンドパスフィルタを用いる方法、回折格子を用いる方法、液晶又は音響による波長可変フィルタを用いる方法がある。また、光路を分岐して分光特性の異なる複数のカメラで同時受光してもよい。
【００３８】
次に、本実施の形態１に係る撮像システムを用いて仮想的な教師画像を生成する処理を説明する。図２は、図１に示す画像処理装置の動作を示すフローチャートである。図２に示すように、まず、染色特性記録部１４１は、教師画像の各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと推定した染色特性とを関連づけて記録部１３０に記録する（ステップＳ１）。
【００３９】
続いて、演算部１４０は、全ての教師画像の染色特性を推定したか否かを判定する（ステップＳ２）。演算部１４０が、全ての教師画像の染色特性を推定していないと判定した場合、ステップＳ１に戻り処理が繰り返される。すなわち、演算部１４０は、全ての教師画像の染色特性を推定するまで、処理を繰り返す。
【００４０】
図３は、標本作製工程プロトコルの一覧を表す図である。図３に示すように、染色特性記録部１４１は、ステップＳ１〜Ｓ２の処理により、例えばヘマトキシリン（Ｈ）染色、ＤＡＢ（Ｄｉａｍｉｎｏ  Ｂｅｎｚｉｄｉｎｅ）染色により染色された互いに異なる複数の標本作製工程プロトコル（プロトコル１、２、・・・Ｎ）により作製された染色標本画像であるＮ枚の教師画像に対して、教師画像ごとに染色特性として色素スペクトル及び色素量を推定し、それらを互いに関連づけて記録部１３０に記録する。その結果、図３に示す染色特性のデータベースを生成することができる。図３に示すデータベースの標本作製工程プロトコルの欄には、各教師画像を作製した際の工程が記録されている。具体的には、固定、切り出し、包埋、薄切、染色、封入時の条件や使用した薬品の種類等を標本作製工程プロトコルとして記録する。また、図３に示すデータベースの染色特性の欄には、Ｈ色素、ＤＡＢ色素のそれぞれについて推定した色素スペクトル及び色素量が格納されている。図３には、染色特性を記録したファイル名のみが記載されているが、例えば「Ｈ色素スペクトルＡ」のファイルには、各教師画像の各画素におけるＨ色素スペクトルのデータ群が記録されており、「Ｈ色素量Ａ」のファイルには、各教師画像の各画素におけるＨ色素量のデータ群が記録されている。なお、実施の形態１において、ヘマトキシリン染色、ＤＡＢ染色により染色を行う例について説明するが、染色は、他の対比染色、特殊染色、免疫染色でもよい。
【００４１】
その後、染色特性推定部１４２は、入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性を推定する（ステップＳ３）。入力教師画像は、学習用の教師画像として入力され、Ｈ染色、ＤＡＢ染色による染色を含む標本作製工程プロトコルにより作製された染色標本画像であって、その標本作製工程プロトコルは、Ｎ枚の教師画像のそれぞれと異なる標本作製工程プロトコルである。
【００４２】
図４は、入力教師画像の一画素の分光スペクトルを表す図である。染色特性推定部１４２は、図４に示すような分光スペクトルを入力教師画像の各画素について推定する。
【００４３】
図５は、入力教師画像の一画素のＨ色素スペクトルを表す図である。図６は、入力教師画像の一画素のＨ色素量を表す図である。図７は、入力教師画像の一画素のＤＡＢ色素スペクトルを表す図である。図８は、入力教師画像の一画素のＤＡＢ色素量を表す図である。染色特性推定部１４２は、入力教師画像の各画素について、図４に示す分光スペクトルから、図５に示すＨ色素スペクトル、図６に示すＨ色素量、図７に示すＤＡＢ色素スペクトル、図８に示すＤＡＢ色素量をそれぞれ推定する。
【００４４】
染色特性の推定は、分光画像から推定してもよいし、入力画像から分光スペクトルを推定してもよい。特開２００９−２７０８９０号公報には、多バンド画像から分光スペクトルを推定する方法が開示されている。病理標本を透過光で観察する場合、標本が薄く、吸収が支配的であるから、ランベルト・ベールの法則に基づいて、色素量を推定してもよい。少バンド数から推定する場合、正確に色素量を推定するために様々な工夫をなすことが好ましい。また、特開２０１１−５３０７４号公報、特開２００９−８４８１号公報、特開２０１２−２０７９６１号公報には、入力画像から色素スペクトルを推定する方法が開示されている。これらの文献から、複数の色素スペクトルを用いる方法、色素スペクトルを計測スペクトルに一致するように補正する方法、色素スペクトルを変化モデルに基づいて補正する方法等を適宜選択して用いることができる。
【００４５】
さらに、染色特性変換部１４３は、入力教師画像の各色素の染色特性を、記録部１３０に記録された教師画像の色素の染色特性に変換する（ステップＳ４）。図９は、変換する教師画像のＨ色素スペクトルを表す図である。図１０は、変換する教師画像のＨ色素量を表す図である。図９及び図１０は、例えば図３に示すプロトコル１のＨ色素スペクトルＡ及びＨ色素量Ａにそれぞれ対応する。そして、染色特性変換部１４３は、図４に示す入力教師画像のＨ色素スペクトルを図９に示す教師画像のＨ色素スペクトルに変換し、図５に示す入力教師画像のＨ色素量を図１０に示す教師画像のＨ色素量に変換する。なお、Ｈ色素スペクトルは、例えば入力教師画像の各画素のＨ色素スペクトルを教師画像内の各画素のＨ色素スペクトルを平均したスペクトルと変換すればよい。また、Ｈ色素量は、例えば入力教師画像の各画素のＨ色素スペクトルの最大値と、教師画像内の各画素のＨ色素スペクトルの平均したスペクトルの最大値との比率に応じて算出すればよい。ＤＡＢ色素についても同様の方法で変換すればよい。
【００４６】
そして、仮想画像生成部１４４が、染色特性変換部１４３が変換した色素の染色特性に基づいて、入力教師画像及び複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する（ステップＳ５）。
【００４７】
続いて、演算部１４０は、全ての教師画像の全ての色素について変換したか否かを判定する（ステップＳ６）。演算部１４０が、全ての教師画像の全ての色素について変換していないと判定した場合、ステップＳ４に戻り処理が繰り返される。すなわち、演算部１４０は、全ての教師画像の全ての色素について変換するまで、処理を繰り返す。その結果、入力教師画像に対して、Ｎ枚の異なる標本作製工程プロトコルにより作製された教師画像と変換が行われる。さらに、Ｈ色素を変換する場合と、ＤＡＢ色素を変換する場合とを考慮すると、合計で２Ｎ枚の仮想的な染色標本画像を生成することができる。
【００４８】
以下において、具体的な計算方法を説明する。まず、座標（ｘ，ｙ）と波長λを用いて表される変換後の吸光度ａ’（ｘ，ｙ，λ）は、任意の教師画像の任意の色素の基準色素量をＤ、任意の教師画像の任意の色素の基準スペクトルをＡ（λ）、座標（ｘ，ｙ）の任意の色素の色素量をｄ（ｘ，ｙ）として、以下の式（１）のように表すことができる。なお、添え字Ｈはヘマトキシリン染色の色素量、ＤＡＢはＤＡＢ染色の色素量、ｓｒｃは変換前の色素量、ｄｅｓｔは変換後の色素量を表す。
【数１】
2020075226.tif 000003
【００４９】
続いて、変換後の透過率ｓ（ｘ，ｙ，λ）は、式（１）により求めた変換後の吸光度ａ’（ｘ，ｙ，λ）を用いて、以下の式（２）のように表すことができる。
【数２】
2020075226.tif 000004
【００５０】
さらに、ｓＲＧＢ画像は、式（２）により求めた変換後の透過率ｓ（ｘ，ｙ，λ）を用いて、以下の式（３）〜（５）のように表すことができる。なお、Ｘ（ｘ，ｙ）、Ｙ（ｘ，ｙ）、Ｚ（ｘ，ｙ）は、座標（ｘ，ｙ）の変換後のＸＹＺ色空間の値である。また、ｆＸ（λ）、ｆＹ（λ）、ｆＺ（λ）は、ＸＹＺ等色関数の値である。
【数３】
2020075226.tif 000005
【数４】
2020075226.tif 000006
【数５】
2020075226.tif 000007
【００５１】
そして、ｓＲＧＢｌｉｎｅａｒは、以下の式（６）により算出することができる。なお、Ｒｌｉｎｅａｒ、Ｇｌｉｎｅａｒ、Ｂｌｉｎｅａｒは、変換後の線形ｓＲＧＢの値である。
【数６】
2020075226.tif 000008
【００５２】
さらに、Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）≦０．００３１３０８（ｘ，ｙ，ｂ）の場合、Ｃｓｒｇｂ（ｘ，ｙ，ｂ）＝１２．９６・Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）、Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）＞０．００３１３０８の場合、Ｃｓｒｇｂ（ｘ，ｙ，ｂ）＝１．０５５・Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）１／２４−０．０５５を計算することにより、非線形なｓＲＣＧ画像を生成することができる。なお、Ｃｌｉｎｅａｒ、Ｃｓｒｇｂは、変換後の線形ｓＲＧＢのいずれかの値、変換後のｓＲＧＢのいずれかの値である。
【００５３】
なお、仮想的な染色標本画像として、ＲＧＢ画像に限らず、特殊光画像、多バンド画像、又は、分光画像を生成してもよい。特殊光画像、多バンド画像を生成する場合は、分光スペクトルにカメラ感度特性及び照明特性を乗算することにより仮想的な染色標本画像を算出する。なお、カメラ感度特性に加えてフィルタ特性を考慮してもよい。
【００５４】
以上説明したように、実施の形態１によれば、入力教師画像の染色特性と教師画像の染色特性とを入れ換えることにより、仮想的な標本作製工程プロトコルにより作製した多数の病理標本画像を作製することができる。そして、作製した仮想的な染色標本画像を新たな教師画像とすることにより、教師画像の枚数を大量に増やすことができる。この変換では、色素の情報を維持した変換を行うため、診断支援における精度を維持しながら教師画像の枚数を増やすことができる。なお、上述した実施の形態１では、全ての教師画像の全ての色素について変換を行ったが、少なくとも１枚の教師画像の１つの色素と変換を行えば仮想的な染色標本画像を作製することができる。
【００５５】
（実施の形態２）
次に、本発明の実施の形態２について説明する。図１１は、本発明の実施の形態２に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図１１に示すように、撮像システム１Ａにおいて、画像処理装置１００Ａの演算部１４０Ａは、複数の教師画像及び入力教師画像の各画素の染色特性から各画素が属する組織を推定する組織特性推定部１４５Ａを備える。
【００５６】
図１２は、図１１に示す画像処理装置の動作を示すフローチャートである。図１２に示すように、実施の形態１と同様に、染色特性記録部１４１は、教師画像の各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定する（ステップＳ１１）。
【００５７】
そして、組織特性推定部１４５Ａは、複数の教師画像の各画素の染色特性から各画素が属する組織を推定し、該教師画像の標本作製工程プロトコルと推定した組織とを関連づけて記録部１３０に記録する（ステップＳ１２）。
【００５８】
続いて、演算部１４０は、全ての教師画像の組織を推定したか否かを判定する（ステップＳ１３）。演算部１４０が、全ての教師画像の組織を推定していないと判定した場合、ステップＳ１に戻り処理が繰り返される。すなわち、演算部１４０は、全ての教師画像の組織を推定するまで、処理を繰り返す。
【００５９】
図１３は、標本作製工程プロトコルの一覧を表す図である。図１３に示すように、演算部１４０は、ステップＳ１１〜Ｓ１３の処理により、例えばＨ染色、ＤＡＢ染色により染色された互いに異なる複数の標本作製工程プロトコル（プロトコル１、２、・・・Ｎ）により作製された染色標本画像であるＮ枚の教師画像に対して、教師画像ごとに組織の染色特性として色素スペクトル及び色素量を推定し、それらを互いに関連づけて記録部１３０に記録する。その結果、図１３に示す組織の染色特性のデータベースを生成することができる。図１３に示すデータベースの標本作製工程プロトコルの欄には、実施の形態１の図３と同様に、各教師画像を作製した際の工程が記録されている。また、図１３に示すデータベースの組織の染色特性の欄には、細胞核及び細胞質のそれぞれについて、Ｈ色素、ＤＡＢ色素にそれぞれについて推定した色素スペクトル及び色素量が格納されている。
【００６０】
その後、染色特性推定部１４２は、入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性を推定する（ステップＳ１４）。
【００６１】
図１４は、入力教師画像の各画素のＨ色素スペクトルを表す図である。図１５は、入力教師画像の各画素のＤＡＢ色素スペクトルを表す図である。染色特性推定部１４２は、図４に示す分光スペクトルから、図１４、図１５に示す各色素のスペクトルを推定する。
【００６２】
続いて、組織特性推定部１４５Ａは、入力教師画像の各画素の染色特性から各画素が属する組織を推定する（ステップＳ１５）。図１６は、細胞核と細胞質とを分離する様子を表す図である。組織特性推定部１４５Ａは、図１４に示すＨ色素スペクトルから、画素ごとにＨ色素量とＨシフト量とを推定してプロットする。そして、プロットした点が位置する領域に応じて、領域Ｒ１に含まれる細胞質か、領域Ｒ２に含まれる細胞核か、各画素を分類する。なお、Ｈシフト量とは、Ｈ色素スペクトルのピークに対応する値である。また、組織は、細胞核、細胞質に限られず、細胞膜、赤血球、線維、粘液、脂肪等であってもよい。
【００６３】
なお、特開２０１２−１１７８４４号公報及び特開２０１２−２３３７８４号公報に開示されているように、各組織の染色特性を自動的に算出してもよい。これらの文献から、各組織の染色特性を自動的に算出する方法は、色素量分布から組織分類する方法、又は波長シフト量等の波長特徴量から組織分類する方法等を適宜選択して用いることができる。また、手動により各組織のサンプル画素を選択し、各組織の染色特性を設定してもよい。
【００６４】
図１７は、細胞核と細胞質とのＨ色素スペクトルを表す図である。図１８は、細胞核と細胞質とのＨ色素量を表す図である。図１９は、細胞核と細胞質とのＤＡＢ色素スペクトルを表す図である。図２０は、細胞核と細胞質とのＤＡＢ色素量を表す図である。染色特性推定部１４２は、入力教師画像の各画素について、図１４、図１５に示す各色素のスペクトルから、図１７に示す細胞核と細胞質とのＨ色素スペクトル、図１８に示す細胞核と細胞質とのＨ色素量、図１９に示す細胞核と細胞質とのＤＡＢ色素スペクトル、図２０に示す細胞核と細胞質とのＤＡＢ色素量をそれぞれ推定する。
【００６５】
さらに、染色特性変換部１４３は、入力教師画像の各組織の染色特性を、記録部１３０に記録された教師画像の組織の染色特性に変換する（ステップＳ１６）。図２１は、変換する教師画像の細胞核と細胞質とのＨ色素スペクトルを表す図である。図２２は、変換する教師画像の細胞核と細胞質とのＨ色素量を表す図である。図２１及び図２２は、例えば図１３に示すプロトコル１の「Ｈ色素スペクトルＡ１」及び「Ｈ色素量Ａ１」にそれぞれ対応する。そして、染色特性変換部１４３は、図１７に示す入力教師画像のＨ色素スペクトルを図２１に示す教師画像のＨ色素スペクトルに変換し、図１８に示す入力教師画像のＨ色素量を図２２に示す教師画像のＨ色素量に変換する。
【００６６】
そして、仮想画像生成部１４４が、染色特性変換部１４３が変換した組織の染色特性に基づいて、入力教師画像及び複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する（ステップＳ１７）。
【００６７】
続いて、演算部１４０は、全ての教師画像の全ての組織について変換したか否かを判定する（ステップＳ１８）。演算部１４０が、全ての教師画像の全ての組織について変換していないと判定した場合、ステップＳ１６に戻り処理が繰り返される。すなわち、演算部１４０は、全ての教師画像の全ての組織について変換するまで、処理を繰り返す。その結果、入力教師画像に対して、Ｎ枚の異なる標本作製工程プロトコルにより作製された教師画像と変換が行われる。さらに、細胞核を変換する場合と、細胞質を変換する場合とを考慮すると、合計で２Ｎ枚の仮想的な染色標本画像を生成することができる。
【００６８】
なお、計算方法は、実施の形態１と同様であるが、吸光度ａ’（ｘ，ｙ，λ）を計算する際に、細胞核の吸光度は、式（１）に代えて以下の式（７）により求めることができ、細胞質の吸光度は、式（１）に代えて以下の式（８）により求めることができる。
【数７】
2020075226.tif 000009
【数８】
2020075226.tif 000010
【００６９】
以上説明したように、実施の形態２によれば、組織の情報を維持した変換を行うため、診断支援における精度を維持しながら教師画像の枚数を増やすことができる。
【００７０】
（実施の形態３）
次に、本発明の実施の形態３について説明する。図２３は、本発明の実施の形態３に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図２３に示すように、撮像システム１Ｂにおいて、画像処理装置１００Ｂの演算部１４０Ｂは、複数の教師画像又は入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出する推定オペレータ算出部１４６Ｂと、推定オペレータに基づいて、入力画像から正解画像を推定する正解画像推定部１４７Ｂと、を備える。
【００７１】
図２４は、図２３に示す画像処理装置の動作を示すフローチャートである。図２４の処理を行う前に、図１２に記載した一連の処理は既に行われている。図２４に示すように、複数の色素による染色を含む染色標本画像である入力画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定する（ステップＳ２１）。
【００７２】
そして、組織特性推定部１４５Ａは、入力画像の各画素の染色特性から各画素が属する組織を推定し、該入力画像の標本作製工程プロトコルと推定した組織とを関連づけて記録部１３０に記録する（ステップＳ２２）。
【００７３】
推定オペレータ算出部１４６Ｂは、複数の教師画像又は入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出する（ステップＳ２３）。
【００７４】
回帰分析を用いた推定は、線形回帰でもよいし、機械学習（深層学習を含む）でもよい。従って、推定オペレータは、回帰行列でもよいし、深層学習のネットワークでもよい。
【００７５】
また、クラス分類は、線形判別でもよいし、機械学習（深層学習を含む）でもよい。従って、推定オペレータは、線形判別関数でもよいし、深層学習のネットワークでもよい。
【００７６】
正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像を推定する（ステップＳ２４）。
【００７７】
以下において、具体的な計算方法を説明する。まず、回帰行列は、ｅ、ｒ、ｇ、ｂを入力画像の任意の座標において推定される正解画像の画素値、ｍＲ、ｍＧ、ｍＢを回帰行列として、以下の式（９）、（１０）のように表すことができる。
【数９】
2020075226.tif 000011
【数１０】
2020075226.tif 000012
【００７８】
また、Ｅ、Ｃ、Ｍを行列表記とすると、以下の式（１１）、（１２）のように表すことができる。
【数１１】
2020075226.tif 000013
【数１２】
2020075226.tif 000014
【００７９】
また、深層学習のネットワークを用いる場合、回帰推定は、“Ｉｍａｇｅ−ｔｏ−Ｉｍａｇｅ  Ｔｒａｎｓｌａｔｉｏｎ  ｗｉｔｈ  Ｃｏｎｄｉｔｉｏｎａｌ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ”  ，  ａｒＸｉｖ：１６１１．０７００４ｖ１  ［ｃｓ．ＣＶ］  ２１  Ｎｏｖ  ２０１６に記載されている方法によって最適化することができる。
【００８０】
また、クラス分類を行う場合、“ＩｍａｇｅＮｅｔ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｗｉｔｈ  Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ”  ，  Ａｌｅｘ  Ｋｒｉｚｈｅｖｓｋｙ  ａｎｄ  Ｓｕｔｓｋｅｖｅｒ，  Ｉｌｙａ  ａｎｄ  Ｇｅｏｆｆｒｅｙ  Ｅ．  Ｈｉｎｔｏｎ  −  ＮＩＰＳ２０１２＿４８２４に記載されている方法によって最適化することができる。
【００８１】
また、別の用途のために学習したネットワークを利用して、転移学習を行ってもよい。転移学習によって、容易に推定を行うことができる。
【００８２】
なお、機械学習（深層学習を含む）を行う構成と、正解画像推定部１４７Ｂとを別の構成としてもよい。さらに、機械学習（深層学習を含む）を行う構成は、インターネット回線を経由して接続されたサーバ等に設けられていてもよい。
【００８３】
（変形例３−１）
変形例３−１では、教師画像としての免疫染色画像と、正解画像としての免疫染色画像から陽性細胞及び陰性細胞を検出した画像とのデータセットを用意する。正解画像は、例えば免疫染色画像に対して、医師が手作業で陽性細胞及び陰性細胞に対応する領域をマーキングすることにより準備することができる。
【００８４】
推定オペレータ算出部１４６Ｂは、用意したデータセットに基づいて、免疫染色画像である入力画像を陽性細胞、陰性細胞、それ以外の領域に分類するクラス分類処理を推定オペレータとして算出する。
【００８５】
正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像として陽性細胞及び陰性細胞を検出した画像を推定する。その結果、病理医は、正解画像により陽性細胞及び陰性細胞を容易に識別することができ、病理医の負担が軽減される。
【００８６】
（変形例３−２）
変形例３−２では、教師画像としてのＨＥ染色画像と、正解画像としてのＨＥ染色画像から正常領域及びがん領域を検出した画像とのデータセットを用意する。正解画像は、例えばＨＥ染色画像に対して、医師が手作業で正常領域及びがん領域に対応する領域をマーキングすることにより準備することができる。
【００８７】
推定オペレータ算出部１４６Ｂは、用意したデータセットに基づいて、ＨＥ染色画像である入力画像を正常領域、がん領域に分類するクラス分類処理を推定オペレータとして算出する。
【００８８】
正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像として正常領域及びがん領域を検出した画像を推定する。その結果、病理医は、正解画像により正常領域及びがん領域を容易に識別することができ、病理医の負担が軽減される。
【００８９】
（変形例３−３）
変形例３−３では、教師画像としての多重染色標本画像と、正解画像としての多重染色標本画像から各染色の色素スペクトル画像又は色素量画像とのデータセットを用意する。正解画像は、分光画像から算出することができる。
【００９０】
推定オペレータ算出部１４６Ｂは、用意したデータセットに基づいて、多重染色標本画像である入力画像から各染色の仮想的な色素スペクトル画像又は色素量画像を回帰推定する処理を推定オペレータとして算出する。
【００９１】
正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像として各染色の仮想的な色素スペクトル画像又は色素量画像を推定する。
【００９２】
（変形例３−４）
変形例３−４では、教師画像としてのＩＨＣ染色画像と、正解画像として標準とする標本作製工程プロトコルの標準染色特性画像とのデータセットを用意する。
【００９３】
推定オペレータ算出部１４６Ｂは、用意したデータセットに基づいて、ＩＨＣ染色画像である入力画像から標準染色特性画像を回帰推定する処理を推定オペレータとして算出する。
【００９４】
正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像として標準染色特性画像を推定する。
【００９５】
（変形例３−５）
変形例３−５では、教師画像としての組織標本画像と、正解画像としての組織標本画像に対して細胞核、細胞質等の組織を分類した画像とのデータセットを用意する。
【００９６】
推定オペレータ算出部１４６Ｂは、用意したデータセットに基づいて、組織標本画像である入力画像を細胞核、細胞質等に分類するクラス分類処理を推定オペレータとして算出する。
【００９７】
正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像として細胞核、細胞質等に分類した画像を推定する。
【００９８】
（実施の形態４）
次に、本発明の実施の形態４について説明する。図２５は、本発明の実施の形態４に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図２５に示すように、本実施の形態４に係る撮像システム１Ｃは、撮像装置１７０が設けられた顕微鏡装置２００と、画像処理装置１００と、を備える。なお、画像処理装置１００の代わりに、図１０に示す画像処理装置１００Ａ又は画像処理装置１００Ｂを設けても良い。
【００９９】
顕微鏡装置２００は、落射照明ユニット２０１及び透過照明ユニット２０２が設けられた略Ｃ字形のアーム２００ａと、該アーム２００ａに取り付けられ、観察対象である被写体ＳＰが載置される標本ステージ２０３と、鏡筒２０５の一端側に三眼鏡筒ユニット２０７を介して標本ステージ２０３と対向するように設けられた対物レンズ２０４と、標本ステージ２０３を移動させるステージ位置変更部２０６と、を有する。三眼鏡筒ユニット２０７は、対物レンズ２０４から入射した被写体ＳＰの観察光を、鏡筒２０５の他端側に設けられた撮像装置１７０と後述する接眼レンズユニット２０８とに分岐する。接眼レンズユニット２０８は、ユーザが被写体ＳＰを直接観察するためのものである。
【０１００】
落射照明ユニット２０１は、落射照明用光源２０１ａ及び落射照明光学系２０１ｂを備え、被写体ＳＰに対して落射照明光を照射する。落射照明光学系２０１ｂは、落射照明用光源２０１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
【０１０１】
透過照明ユニット２０２は、透過照明用光源２０２ａ及び透過照明光学系２０２ｂを備え、被写体ＳＰに対して透過照明光を照射する。透過照明光学系２０２ｂは、透過照明用光源２０２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
【０１０２】
対物レンズ２０４は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ２０４、２０４’）を保持可能なレボルバ２０９に取り付けられている。このレボルバ２０９を回転させて、標本ステージ２０３と対向する対物レンズ２０４、２０４’を変更することにより、撮像倍率を変化させることができる。
【０１０３】
鏡筒２０５の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。
【０１０４】
ステージ位置変更部２０６は、例えばステッピングモータ等の駆動部２０６ａを含み、標本ステージ２０３の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部２０６には、標本ステージ２０３をＺ軸に沿って移動させることにより、対物レンズ２０４の焦点を被写体ＳＰに合わせる。
【０１０５】
このような顕微鏡装置２００において生成された被写体ＳＰの拡大像を撮像装置１７０においてマルチバンド撮像することより、被写体ＳＰのカラー画像である教師画像が表示部１６０に表示される。そして、画像処理装置１００、画像処理装置１００Ａ、又は画像処理装置１００Ｂが、教師画像から仮想的な染色標本画像を生成する。
【０１０６】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【０１０７】
１、１Ａ、１Ｂ、１Ｃ  撮像システム
１００、１００Ａ、１００Ｂ  画像処理装置
１１０  画像取得部
１２０  制御部
１２１  画像取得制御部
１３０  記録部
１３１  プログラム記録部
１３２  画像データ記録部
１４０、１４０Ａ、１４０Ｂ  演算部
１４１  染色特性記録部
１４２  染色特性推定部
１４３  染色特性変換部
１４４  仮想画像生成部
１４５Ａ  組織特性推定部
１４６Ｂ  推定オペレータ算出部
１４７Ｂ  正解画像推定部
１５０  入力部
１６０  表示部
１７０  撮像装置
２００  顕微鏡装置
２００ａ  アーム
２０１  落射照明ユニット
２０１ａ  落射照明用光源
２０１ｂ  落射照明光学系
２０２  透過照明ユニット
２０２ａ  透過照明用光源
２０２ｂ  透過照明光学系
２０３  標本ステージ
２０４、２０４’  対物レンズ
２０５  鏡筒
２０６  ステージ位置変更部
２０６ａ  駆動部
２０７  三眼鏡筒ユニット
２０８  接眼レンズユニット
２０９  レボルバ
【図１】
2020075226.tif 000015
【図２】
2020075226.tif 000016
【図３】
2020075226.tif 000017
【図４】
2020075226.tif 000018
【図５】
2020075226.tif 000019
【図６】
2020075226.tif 000020
【図７】
2020075226.tif 000021
【図８】
2020075226.tif 000022
【図９】
2020075226.tif 000023
【図１０】
2020075226.tif 000024
【図１１】
2020075226.tif 000025
【図１２】
2020075226.tif 000026
【図１３】
2020075226.tif 000027
【図１４】
2020075226.tif 000028
【図１５】
2020075226.tif 000029
【図１６】
2020075226.tif 000030
【図１７】
2020075226.tif 000031
【図１８】
2020075226.tif 000032
【図１９】
2020075226.tif 000033
【図２０】
2020075226.tif 000034
【図２１】
2020075226.tif 000035
【図２２】
2020075226.tif 000036
【図２３】
2020075226.tif 000037
【図２４】
2020075226.tif 000038
【図２５】
2020075226.tif 000039
【国際調査報告】
2020075226.tif 000040
2020075226.tif 000041
2020075226.tif 000042
2020075226.tif 000043