(57)【要約】  簡易な工程で互いに異なる学習画像を取得することができる画像処理装置、画像処理方法およびプログラムを提供する。画像処理装置は、外部から入力される染色画像の画素毎に色相を算出する算出部と、前記色相に基づいて、前記染色画像の画素毎にクラス分類を行う分類部と、前記クラス分類されたクラス毎に画素の色調を変調する変調部と、を備える。
2019239532.tif 000002
【特許請求の範囲】
【請求項１】
外部から入力される染色画像の画素毎に色相を算出する算出部と、
前記色相に基づいて、前記染色画像の画素毎にクラス分類を行う分類部と、
前記クラス分類されたクラス毎に画素の色調を変調する変調部と、
を備える画像処理装置。
【請求項２】
前記変調部は、前記クラス分類されたクラス毎の色相平均値を予めクラス毎に定められた標準色相と一致する色相に変調する
請求項１に記載の画像処理装置。
【請求項３】
前記変調部は、前記クラス分類されたクラスに属する全画素の色相を予めクラス毎に定められた標準色相と一致する色相に変調する
請求項１に記載の画像処理装置。
【請求項４】
前記変調部は、前記クラス分類されたクラス毎に色調を変調する、または固定値で変調する
請求項１に記載の画像処理装置。
【請求項５】
前記クラス分類されたクラス毎の平均色相を算出することによって標準色相を生成する標準色相算出部をさらに備える
請求項２〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記算出部は、標準色算出用の標準画像の標準色相を画素毎に算出し、
前記分類部は、前記標準色相を用いて、前記標準画像の画素毎にクラス分類を行い、
前記標準色相算出部は、前記標準色相と、前記標準画像のクラス分類の分類結果とに基づいて、前記標準画像の画素毎にクラス分類されたクラス毎に平均色相を算出することによって前記標準色相を算出する
請求項５に記載の画像処理装置。
【請求項７】
前記標準色相算出部は、
正解値が紐付けられた入力画像の色相を互いに異なる回転角度で回転することによって色相が異なる複数の画像を生成し、
前記複数の画像を学習済みの学習部に入力し、
前記学習済みの学習部から出力された出力結果と前記正解値との誤差が許容範囲内である複数の出力画像の色相範囲を組み合わせて前記平均色相を算出することによって前記標準色相を算出する
請求項５に記載の画像処理装置。
【請求項８】
前記変調部によって色相変調された前記染色画像と前記染色画像に紐付けられた正解値とに基づいて、学習した学習結果を記憶部に記憶する学習部をさらに備える
請求項１〜７のいずれか一つに記載の画像処理装置。
【請求項９】
記録部が記憶する学習結果であって、予め学習部によって学習された学習結果と前記変調部によって色相変調された前記染色画像とに基づいて、推定を行う推定部をさらに備える
請求項１〜７のいずれか一つに記載の画像処理装置。
【請求項１０】
前記推定部が推定した推定結果を表示する表示部をさらに備える
請求項９に記載の画像処理装置。
【請求項１１】
画像処理装置が実行する画像処理方法であって、
外部から入力される染色画像の画素毎に色相を算出し、
前記色相に基づいて、前記染色画像の画素毎にクラス分類を行い、
前記クラス分類されたクラス毎に画素の色調を変調する。
【請求項１２】
画像処理装置が実行するプログラムであって、
外部から入力される染色画像の画素毎に色相を算出し、
前記色相に基づいて、前記染色画像の画素毎にクラス分類を行い、
前記クラス分類されたクラス毎に画素の色調を変調する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、特に病理標本の顕微鏡画像に対して画像処理を行う画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、病理標本を含む生体組織標本に対する診断は、臓器摘出によって取得したブロック標本または針生検によって取得された標本を数ミクロン程度の厚さに薄切し、この薄切された標本を顕微鏡で拡大した観察像を観察する。光学顕微鏡を用いた透過観察は、機材が安価で取り扱いが容易であるうえ、歴史的に古くから行われており、最も普及している観察方法の一つである。また、近年では、光学顕微鏡に取り付けた撮像装置によって観察像を撮像することで取得された画像上で診断を行う。【０００３】
ところで、薄切された生体組織標本（以下、「薄切標本」という）は、光をほとんど吸収したり、散乱したりせず、無職透明に近い。このため、一般的には、顕微鏡観察に先立って薄切標本に染色を行う。染色手法としては、種々のものが提案されており、その総数が１００種類以上に達する。その複数の染色手法との中でも、特に病理標本に対して、青紫色のヘマトキシリン（以下、単に「Ｈ」と記す）および赤色のエオシン（以下、単に「Ｅ」と記す）の２つの色素を用いるヘマトキシリン−エオシン染色（以下、「ＨＥ染色」という）が標準的に用いられている。【０００４】
また、臨床においては、ＨＥ染色で観察目的とする生体組織の視認が難しい場合または生体組織の形態診断を補間する場合、ＨＥ染色と異なる特殊な染色を標本に施し、観察対象の組織の色を変えて視覚的に強調する手法が用いられることもある。さらに、病理組織診断においては、例えば癌組織の抗原抗体反応を可視化するための各種マーカータンパク質を用いる免疫染色（Immunohistochemistry：ＩＨＣ）が用いられることもある。【０００５】
染色標本の観察は、目視によって行われる以外にも、染色標本を撮像装置で撮像することによって生成した画像を表示装置に表示することによっても行われている。また、近年においては、撮像装置によって撮像されることによって生成された染色標本画像に対して画像処理を行うことによって解析し、医師等による観察および診断を支援する試みが提案されている。この解析には、深層学習（Deep-Learning）等の学習を用いた方法がある。この場合、入力された画像のＲＧＢ値に対応した解析値との組むあわせを学習させることによって、算出するパラメータを求める。【０００６】
しかしながら、染色標本の観察は、染色標本に対する撮影状態による色の違い、染色工程による色の違い、例えば色素のスペクトルが異なっていたり、染色時間が異なっていたりするため、同じ状態の組織であっても、色合いが異なる場合がある。深層学習等においては、入力画像の色合いが学習画像の色合いと異なった場合、推定精度が悪くなる。このため、深層学習等においては、学習画像の色合いを多くして対応することが考えられるが、あらゆる条件の膨大な数の画像が必要となり、現実的ではない。そこで、色均等化を行うことによって、異なる色合いのものを同一の色合いに補正する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第５１３７４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した特許文献１では、互いに異なる学習画像を得るため、色均質化を行うことによって画像のヒストグラムを解析し、クラス分類した後に色合いを変調する等の複雑な工程が必要となるという問題点があった。【０００９】
本開示は、上記に鑑みてなされたものであって、簡易な工程で互いに異なる学習画像を取得することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本開示に係る画像処理装置は、外部から入力される染色画像の画素毎に色相を算出する算出部と、前記色相に基づいて、前記染色画像の画素毎にクラス分類を行う分類部と、前記クラス分類されたクラス毎に画素の色調を変調する変調部と、を備える。【００１１】
また、本開示に係る画像処理装置は、上記開示において、前記変調部は、前記クラス分類されたクラス毎の色相平均値を予めクラス毎に定められた標準色相と一致する色相に変調する。【００１２】
また、本開示に係る画像処理装置は、上記開示において、前記変調部は、前記クラス分類されたクラスに属する全画素の色相を予めクラス毎に定められた標準色相と一致する色相に変調する。【００１３】
また、本開示に係る画像処理装置は、上記開示において、前記変調部は、前記クラス分類されたクラス毎に色調を変調する、または固定値で変調する。【００１４】
また、本開示に係る画像処理装置は、上記開示において、前記クラス分類されたクラス毎の平均色相を算出することによって標準色相を生成する標準色相算出部をさらに備える。【００１５】
また、本開示に係る画像処理装置は、上記開示において、前記算出部は、標準色算出用の標準画像の標準色相を画素毎に算出し、前記分類部は、前記標準色相を用いて、前記標準画像の画素毎にクラス分類を行い、前記標準色相算出部は、前記標準色相と、前記標準画像のクラス分類の分類結果とに基づいて、前記標準画像の画素毎にクラス分類されたクラス毎に平均色相を算出することによって前記標準色相を算出する。【００１６】
また、本開示に係る画像処理装置は、上記開示において、前記標準色相算出部は、正解値が紐付けられた入力画像の色相を互いに異なる回転角度で回転することによって色相が異なる複数の画像を生成し、前記複数の画像を学習済みの学習部に入力し、前記学習済みの学習部から出力された出力結果と前記正解値との誤差が許容範囲内である複数の出力画像の色相範囲を組み合わせて前記平均色相を算出することによって前記標準色相を算出する。【００１７】
また、本開示に係る画像処理装置は、上記開示において、前記変調部によって色相変調された前記染色画像と前記染色画像に紐付けられた正解値とに基づいて、学習した学習結果を記憶部に記憶する学習部をさらに備える。【００１８】
また、本開示に係る画像処理装置は、上記開示において、記録部が記憶する学習結果であって、予め学習部によって学習された学習結果と前記変調部によって色相変調された前記染色画像とに基づいて、推定を行う推定部をさらに備える。【００１９】
また、本開示に係る画像処理装置は、上記開示において、前記推定部が推定した推定結果を表示する表示部をさらに備える。【００２０】
また、本開示に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、外部から入力される染色画像の画素毎に色相を算出し、前記色相に基づいて、前記染色画像の画素毎にクラス分類を行い、前記クラス分類されたクラス毎に画素の色調を変調する。【００２１】
また、本開示に係るプログラムは、画像処理装置が実行するプログラムであって、外部から入力される染色画像の画素毎に色相を算出し、前記色相に基づいて、前記染色画像の画素毎にクラス分類を行い、前記クラス分類されたクラス毎に画素の色調を変調する。
【発明の効果】
【００２２】
本開示によれば、簡易な工程で互いに異なる学習画像を取得することができるという効果を奏する。
【図面の簡単な説明】
【００２３】
【図１】図１は、本開示の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。
【図２】図２は、本開示の実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。
【図３】図３は、基準色相パラメータを模式的に示す図である。
【図４】図４は、入力画像の色相分布を模式的に示す図である。
【図５】図５は、彩度と色相角度との関係を模式的に示す図である。
【図６】図６は、入力画像の色相回転後の色相分布を模式的に示す図である。
【図７】図７は、本開示の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。
【図８】図８は、本開示の実施の形態２に係る画像処理装置が実行する処理の概要を示すフローチャートである。
【図９】図９は、本開示の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。
【図１０】図１０は、本開示の実施の形態３に係る画像処理装置が実行する処理の概要を示すフローチャートである。
【図１１】図１１は、基準色相パラメータを模式的に示す図である。
【図１２】図１２は、入力画像の色相分布を模式的に示す図である。
【図１３】図１３は、入力画像の色相固定値設定後の色相分布を模式的に示す図である。
【図１４】図１４は、本開示の実施の形態４に係る画像処理装置の機能構成を示すブロック図である。
【図１５】図１５は、本開示の実施の形態４に係る画像処理装置１Ａが実行する処理の概要を示すフローチャートである。
【図１６】図１６は、表示部が表示する画像の一例を模式的に示す図である。
【図１７】図１７は、表示部が表示する別の画像の一例を模式的に示す図である。
【図１８】図１８は、本開示の実施の形態５に係る画像処理装置の機能構成を示すブロック図である。
【図１９】図１９は、本開示の実施の形態５に係る画像処理装置が実行する処理の概要を示すフローチャートである。
【図２０】図２０は、入力部に入力される複数の画像の一例を模式的に示す図である。
【図２１】図２１は、標準色相算出部による標準分布の一例を模式的に示す図である。
【図２２】図２２は、平均色相軸を模式的に示す図である。
【図２３】図２３は、学習部に学習させる入力画像の一例を模式的に示す図である。
【図２４】図２４は、学習部に学習させる正解画像の一例を模式的に示す図である。
【図２５】図２５は、学習部の学習処理を模式的に説明する図である。
【発明を実施するための形態】
【００２４】
以下、本開示の実施の形態に係る画像処理装置、画像処理方法およびプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本開示が限定されるものではない。また、各図面の記載において、同一の部分には同一の符号を付して示している。
【００２５】
（実施の形態１）
〔画像処理装置の構成〕
図１は、実施の形態１に係る画像処理装置の機能構成を示すブロック図である。図１に示す画像処理装置１は、一例として、顕微鏡またはビデオマイクロスコープによって染色標本を撮像することによって取得された染色画像の色相を変調することで、簡易的に色正規化を行い、機械学習に用いる入力画像（染色画像）である教師画像の色ばらつきを抑制する画像処理を実行する装置である。ここで、染色画像および教師画像は、通常、各画素位置において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。
【００２６】
また、以下においては、染色画像は、ＨＥ染色、マッソントリクローム染色、パパニコロウ染色および免疫染色等によって染色された標本を撮像した画像である。ＨＥ染色は、一般的な組織の形態観察用に用いられ、核を青紫（ヘマトキシリン）および細胞質をピンク色（エオジン）に染色する。マッソントリクローム染色は、膠原繊維を青（アニリンブルー）、核を黒紫および細胞質を赤色に染色する。パパニコロウ染色は、細胞検査に用いられ、細胞質を分化度合いによってオレンジおよびライトグリーン等に染色される。免疫染色は、免疫抗体反応に用いられ、特定組織を染色する。具体的には、免疫染色は、抗体にＤＡＢ色素を結合させ、核をヘマトキシリンで染色する。なお、以下の実施の形態では、免疫染色によって染色された標本を撮像した画像を入力画像として説明するが、染色方法に応じて適宜変更することができる。
【００２７】
図１に示す画像処理装置１は、入力部１０と、算出部１１と、分類部１２と、変調部１３と、学習部１４と、記憶部１５と、を備える。
【００２８】
入力部１０は、画像処理装置１の外部から入力される入力画像と正解値とが対応付けられた学習データが入力される。入力部１０は、学習データのうち、入力画像（教師画像）を算出部１１へ出力するとともに、正解値を学習部１４へ出力する。入力部１０は、例えば外部と双方向に通信可能なインターフェースモジュールを用いて構成される。
【００２９】
算出部１１は、入力部１０から入力された入力画像の画素毎に色相を算出し、この算出した画素毎の色相と、入力部１０から入力された入力画像と、を分類部１２へ出力する。なお、算出部１１は、入力画像を所定の領域毎に分割し、この分割した領域毎に色相を算出してもよい。
【００３０】
分類部１２は、算出部１１から入力された画素毎の色相に基づいて、算出部１１から入力された入力画像中の各画素または所定の領域毎にクラス分類を行い、このクラス分類結果と算出部１１から入力された入力画像と、を変調部１３へ出力する。
【００３１】
変調部１３は、分類部１２から入力されたクラス分類されたクラス毎に画素の色調を変調し、この変調結果を学習部１４へ出力する。具体的には、変調部１３は、後述する記憶部１５の基準色相パラメータに基づいて、分類部１２から入力されたクラス分類されたクラス毎に各画像の色相の変調を行って学習部１４へ出力する。
【００３２】
学習部１４は、変調部１３から入力された色相変調された入力画像と、この入力画像紐付けされた正解値と、に基づいて、例えば回帰分析やニューラルネットワーク等の機械学習を行い、この学習結果を記憶部１５の学習結果記憶部１５１に記憶する。ここで、学習部１４が学習する対象は、様々あり、例えば色素量を推定するためのもの、組織分類を行うためのものおよび病態（病変）のグレードを判定するためのもの等が含まれる。また、正解値は、色素量の場合、画素毎に定量値を色素数分だけ有する画像であり、組織分布の場合、画素毎にクラス番号が付与され、病態のグレードの場合、１枚の画像に１つのグレードを表す値が付与されている。
【００３３】
記憶部１５は、揮発性メモリ、不揮発性メモリおよびメモリカード等を用いて構成される。記憶部１５は、学習結果記憶部１５１と、基準色相パラメータ記憶部１５２と、プログラム記憶部１５３と、を有する。学習結果記憶部１５１は、学習部１４が学習した学習結果を記憶する。基準色相パラメータ記憶部１５２は、変調部１３が教師画像の色相を変調する際に参照する基準色相パラメータを記憶する。プログラム記憶部１５３は、画像処理装置１が実行する各種プログラムおよびプログラムの実行中に使用する各種データを記憶する。
【００３４】
このように構成された画像処理装置１は、例えばＣＰＵ（Central  Processing  Unit）、ＧＰＵ（Graphics  Processing  Unit）、ＦＰＧＡ（Field  Programmable  Gate  Array）およびＤＳＰ（Digital  Signal  Processing）等を用いて構成され、記憶部１５のプログラム記憶部１５３から各種プログラムを読み込むことにより、画像処理装置１を構成する各部への指示やデータの転送を行うことによって各機能を発揮する。
【００３５】
〔画像処理装置の処理〕
次に、画像処理装置１が実行する処理について説明する。図２は、画像処理装置１が実行する処理の概要を示すフローチャートである。
【００３６】
図２に示すように、まず、入力部１０は、外部から入力画像および正解値を入力する（ステップＳ１０１）。この場合、入力部１０は、外部から入力した入力画像を算出部１１へ出力するとともに、正解値を学習部１４へ出力する。
【００３７】
続いて、算出部１１は、入力部１０から入力された入力画像の画素毎に色相を算出する（ステップＳ１０２）。具体的には、算出部１１は、入力画像の各画素の色相を算出し、この算出結果を分類部１２へ出力する。
【００３８】
その後、分類部１２は、算出部１１が算出した各画素の色相に基づいて、各画素のクラス分類を実行する（ステップＳ１０３）。具体的には、分類部１２は、算出部１１が算出した色相に基づいて、入力画像の各画素を、ＤＡＢの画素、Ｈの画素および、その他の画素にクラス分類を行い、このクラス分類した結果を変調部１３へ出力する。
【００３９】
続いて、変調部１３は、分類部１２から入力されたクラス分類毎の基準色相パラメータに基づいて、色相を変調する（ステップＳ１０４）。具体的には、変調部１３は、基準色相パラメータ記憶部１５２が記憶する基準色相パラメータに基づいて、分類部１２から入力されたクラス分類されたＤＡＢの画素およびＨの画素に対して色相変調を行い、その他の画素に対して色相変調を行わない。ステップＳ１０４の後、画像処理装置１は、後述するステップＳ１０５へ移行する。
【００４０】
ここで、変調部１３が実行する色相変調処理の詳細について説明する。図３は、基準色相パラメータを模式的に示す図である。図４は、入力画像の色相分布を模式的に示す図である。図５は、彩度と色相角度との関係を模式的に示す図である。図６は、入力画像の色相回転後の色相分布を模式的に示す図である。図３，図４，図６においては、ＤＡＢおよびＨの２色素の例について説明する。さらに、図３，図４，図６においては、色相分布をａ＊ｂ＊平面で表している。また、図３，図４，図６においては、各画素を一つのドットで表している。さらにまた、図３において、矢印ＹＨが標準色相パラメータのＨ色色相軸を表し、矢印ＹＤＡＢが標準色相パラメータのＤＡＢ色色相軸を表し、図４おいて、矢印ＹＨ１が標準色相パラメータのＨ色色相軸を表し、矢印ＹＤＡＢ１が標準色相パラメータのＤＡＢ色色相軸を表す。
【００４１】
図３に示すように、基準色相パラメータには、ＤＡＢの平均色相とＨの平均色相との２つが含まれている。まず、図４に示すように、変調部１３は、算出部１１によって算出された色相の分布に基づいて、ＤＡＢおよびＨの各々の平均色相を算出する。具体的には、矢印ＹＨ１、矢印ＹＤＡＢ１に示すように、変調部１３は、予め色素毎に設定した色相範囲内の画素の色相の平均値を算出する。その後、図５および図６に示すように、変調部１３は、入力画像の各画素の色相を回転させることによって、矢印ＹＨ１および矢印ＹＤＡＢ１が基準色相パラメータの矢印ＹＨおよび矢印ＹＤＡＢと一致させる。このように、変調部１３は、入力画像の各画素の平均色相と基準パラメータの基準色相とが一致するように入力画像の色相を回転させる。ここで、変調部１３は、入力画像の各画素のＲＧＢ値をＨＬＳ色空間の色相、明度および彩度に変換し、これらのうち色相の色相信号を変調する。なお、変調部１３は、色相の変調方法を、ＨＬＳ色空間以外に、Ｌａｂ色空間のＬ＊ａ＊ｂのａ＊ｂ平面のように輝度信号および色差信号に分割した後の色差信号平面で回転させてもよい。
【００４２】
図２に戻り、ステップＳ１０５以降の説明を続ける。
学習部１４は、変調部１３から入力された色相変調された教師画像と、入力部１０から入力された正解値との組から学習を行い（ステップＳ１０５）、学習結果である学習パラメータを学習結果記憶部１５１へ出力する（ステップＳ１０６）。ステップＳ１０６の後、画像処理装置１は、本処理を終了する。
【００４３】
以上説明した実施の形態１によれば、入力された入力画像の色相を変調して色合いを揃えることによって、染色の違いによって色がばらついた場合であっても、染色毎の入力画像の学習を必要とせず、簡易な工程で互いに異なる学習画像を取得することができるので、効率的な学習を行うことができる。
【００４４】
（実施の形態２）
次に、本開示の実施の形態２について説明する。実施の形態２では、入力画像の色相を変調した後に、学習結果を用いて推定を行う。以下においては、実施の形態２に係る画像処理装置の構成を説明後、実施の形態２に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して詳細な説明は省略する。
【００４５】
〔画像処理装置の構成〕
図７は、実施の形態２に係る画像処理装置の機能構成を示すブロック図である。図７に示す画像処理装置１Ａは、入力部１０と、算出部１１と、分類部１２と、変調部１３と、記憶部１５と、推定部１６と、出力部１７と、を備える。
【００４６】
推定部１６は、学習結果記憶部１５１が記憶する学習結果と変調部１３から入力された教師画像とに基づいて、推定を行い、この推定結果を出力部１７へ出力する。
【００４７】
出力部１７は、推定部１６から入力された推定結果を出力する。出力部１７は、例えば液晶または有機ＥＬ（Electro  Luminescence）等の表示パネルおよびスピーカ等を用いて構成される。もちろん、出力部１７は、外部の表示装置等に推定結果を出力する出力インターフェースのモジュールを用いて構成してもよい。
【００４８】
〔画像処理装置の処理〕
次に、画像処理装置１Ａが実行する処理について説明する。図８は、画像処理装置１Ａが実行する処理の概要を示すフローチャートである。図８において、ステップＳ２０１〜ステップＳ２０４は、上述した図２のステップＳ１０１〜ステップＳ１０４それぞれに対応する。
【００４９】
ステップＳ２０５において、推定部１６は、変調部１３から入力された変調された教師画像に対して学習結果記憶部１５１が記憶する学習結果である学習パラメータを適用することによって推定を実行する。この場合、推定部１６は、推定結果（推定値）を出力部１７へ出力する。
【００５０】
続いて、出力部１７は、推定部１６から入力された推定値を出力する（ステップＳ２０６）。
【００５１】
以上説明した実施の形態２によれば、入力された教師画像の色相を変調して色合いを揃えることにより、学習に用いた色合いと同じ色合いの画像を入力することができるので、より精度の高い推定を行うことができる。
【００５２】
（実施の形態３）
次に、本開示の実施の形態３について説明する。実施の形態３では、クラス毎に色相回転および固定を使い分けながら学習を行う。以下においては、実施の形態３に係る画像処理装置の構成を説明後、実施の形態３に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態２に係る画像処理装置１Ａと同一の構成には、同一の符号を付して詳細な説明は省略する。
【００５３】
〔画像処理装置の構成〕
図９は、実施の形態３に係る画像処理装置の機能構成を示すブロック図である。図９に示す画像処理装置１Ｂは、上述した実施の形態２に係る変調部１３に換えて、変調部１３Ｂを備える。変調部１３Ｂは、選択部１３１と、処理部１３２と、を有する。
【００５４】
選択部１３１は、分類部１２から入力されたクラス毎に色相の変調方法を選択することによって決定し、この決定結果、入力画像および分類結果の各々を処理部１３２へ出力する。
【００５５】
処理部１３２は、選択部１３１から入力された入力画像に対して、クラス毎に選択部１３１によって選択された変調方法によってクラス毎に色相を変調して推定部１６へ出力する。
【００５６】
〔画像処理装置の処理〕
次に、画像処理装置１Ｂが実行する処理について説明する。図１０は、画像処理装置１Ｂが実行する処理の概要を示すフローチャートである。図１０において、ステップＳ３０１〜ステップＳ３０３、ステップＳ３０６およびステップＳ３０７は、上述した図８のステップＳ２０１〜ステップＳ２０３、ステップＳ２０５およびステップＳ２０６それぞれに対応する。
【００５７】
ステップＳ３０４において、選択部１３１は、分類部１２から入力されたクラス毎に色相の変調方法を選択する。具体的には、選択部１３１は、分類部１２がＤＡＢおよびＨの２色素の場合において、クラス分類が色素毎のＤＡＢクラスおよびＨクラスのとき、ＤＡＢが定量値を必要とするので、元の分布を残す色相を回転する変調方式を選択する。また、選択部１３１は、Ｈが形状を識別できればよいので、色相を固定値とする色相の変調方式を選択する。
【００５８】
続いて、処理部１３２は、選択部１３１から入力された入力画像に対して、クラス毎に選択部１３１によって選択された変調方法によってクラス毎に色相を変調して推定部１６へ出力する（ステップＳ３０５）。ステップＳ３０５の後、画像処理装置１Ｂは、ステップＳ３０６へ移行する。
【００５９】
ここで、処理部１３２が実行する色相変調処理の詳細について説明する。図１１は、基準色相パラメータを模式的に示す図である。図１２は、入力画像の色相分布を模式的に示す図である。図１３は、入力画像の色相固定値設定後の色相分布を模式的に示す図である。図１１〜図１３においては、ＤＡＢおよびＨの２色素の例について説明する。さらに、図１１〜図１３においては、色相分布をａ＊ｂ＊平面で表している。また、図１１〜１３においては、各画素を一つのドットで表している。さらにまた、図１１〜図１３においては、矢印ＹＨが標準色相パラメータのＨ色色相軸を表し、矢印ＹＤＡＢが標準色相パラメータのＤＡＢ色色相軸を表す。また、図１１〜図１３においては、標準色相パラメータのＨ色色相軸およびＤＡＢ色色相軸を固定値とする。
【００６０】
図１１〜図１３に示すように、処理部１３２は、選択部１３１によって選択された変調方法に基づいて、ＤＡＢが固定値を必要とするので、元の分布を残すように色相を回転する。また、処理部１３２は、Ｈが形状を識別できればよいので、色相を固定値となるように色相の変更を行う。具体的には、図１１〜図１３に示すように、処理部１３２は、標準色相パラメータのＨ色色相軸およびＤＡＢ色色相軸を固定値として、入力画像の各画素の対応するクラス毎に色相値を基準色相に変調する。この結果、図１３に示すように、色相固定値の設定後における色相分布は、各クラスで同一の値を持つ直線的な分布となる。
【００６１】
以上説明した実施の形態３によれば、色相固定値の設定後における色相分布が各クラスで同一の値を持つ直線的な分布となり、学習に用いた色合いと同じ色合いの画像を入力することができるので、より精度の高い推定を行うことができる。
【００６２】
（実施の形態４）
次に、本開示の実施の形態４について説明する。実施の形態４では、色相変調を行うことによって異なる色合いの画像を同じ色合いにすることによって観察する。なお、上述した実施の形態２に係る画像処理装置１Ａと同一の構成には同一の符号を付して詳細な説明は省略する。
【００６３】
〔画像処理装置の構成〕
図１４は、実施の形態４に係る画像処理装置の機能構成を示すブロック図である。図１４に示す画像処理装置１Ｃは、上述した実施の形態２に係る画像処理装置１Ａの構成に加えて、表示部１８をさらに備える。
【００６４】
表示部１８は、推定部１６から出力された各種データに対応する情報および画像を表示する。表示部１８は、液晶または有機ＥＬ等を用いて構成される。
【００６５】
〔画像処理装置の処理〕
図１５は、実施の形態４に係る画像処理装置１Ｃが実行する処理の概要を示すフローチャートである。ステップＳ４０１〜ステップＳ４０３、ステップＳ４０５，ステップＳ４０６は、上述した図８のステップＳ２０１〜ステップＳ０３，ステップＳ２０５，ステップＳ２０６それぞれに対応し、ステップＳ４０４のみが異なる。以下においては、ステップＳ４０４のみについて説明する。
【００６６】
ステップＳ４０４において、変調部１３は、入力画像に対して、異なる色合いの画像が同じ色合いとなる色相変調を行う。ステップＳ４０４の後、画像処理装置１Ｃは、ステップＳ４０５へ移行する。
【００６７】
図１６は、表示部が表示する画像の一例を模式的に示す図である。図１７は、表示部が表示する別の画像の一例を模式的に示す図である。
【００６８】
図１６に示すように、変調部１３は、染色の度合い等で互いに色合いが異なる標本画像Ｐ１および標本画像Ｐ２に対して、色相を固定値にする色相変調を行うことによって決まった色合いの画像Ｐ１０，画像Ｐ２０を生成し、この画像Ｐ１０，画像Ｐ２０を表示部１８に出力する。表示部１８は、画像Ｐ１０，画像Ｐ２０を並列した状態で表示する。これにより、ユーザは、常に同じ色合いの画像を観察することができるので、構造および状態等を安定的に観察できる。
【００６９】
また、図１７に示すように、変調部１３は、染色の度合い等で標本画像Ｐ３と色合いが異なる標本画像Ｐ４に対して、色相を固定値にして標本画像Ｐ３の色合いと同じ色合いの画像Ｐ５を生成し、この画像Ｐ５を表示部１８に出力する。表示部１８は、標本画像Ｐ３および画像Ｐ５を並べて表示する。これにより、比較するときに色合いの違う標本画像同士では、ユーザが正しく評価ができない場合が考えられるが、互いに異なる色あいの標本画像を同じ色合いで表示部１８が表示するので、細胞および組織の状態の違いだけを純粋に観察および比較することができる。
【００７０】
以上説明した実施の形態４によれば、互いに異なる色あいの標本画像を同じ色合いで表示部１８が表示するので、細胞および組織の状態の違いだけを純粋に観察および比較することができる。
【００７１】
（実施の形態５）
次に、本開示の実施の形態５について説明する。実施の形態５に係る画像処理装置は、上述した実施の形態２に係る画像処理装置と構成が異なるうえ、実行する処理が異なる。具体的には、実施の形態５では、標準色相を算出する。以下においては、実施の形態５に係る画像処理装置の構成を説明後、実施の形態５に係る画像処理装置が実行する処理について説明する。
【００７２】
〔画像処理装置の構成〕
図１８は、実施の形態５に係る画像処理装置の機能構成を示すブロック図である。図１８に示す画像処理装置１Ｄは、上述した実施の形態２に係る画像処理装置１Ａの構成に加えて、標準色相算出部１９をさらに備える。
【００７３】
標準色相算出部１９は、予め作成された標準値を算出するための複数の画像に対して、色分布を算出することによって標準分布を算出する。
【００７４】
〔画像処理装置の処理〕
次に、画像処理装置１Ｄが実行する処理について説明する。図１９は、画像処理装置１Ｄが実行する処理の概要を示すフローチャートである。
【００７５】
図１９に示すように、まず、入力部１０は、外部から複数の画像を入力する（ステップＳ５０１）。図２０は、入力部１０に入力される複数の画像の一例を模式的に示す図である。図２０に示すように、入力部１０は、外部から複数の画像Ｐ１０１〜Ｐ１１０が入力される。
【００７６】
続いて、標準色相算出部１９は、入力部１０から入力された複数の画像に対して、色分布を算出することによって標準分布を算出し（ステップＳ５０２）、算出した標準分布を記憶部１５の基準色相パラメータ記憶部１５２に出力する（ステップＳ５０３）。ステップＳ５０３の後、画像処理装置１Ｄは、本処理を終了する。
【００７７】
ここで、標準色相算出部１９による標準分布の算出方法について説明する。図２１は、標準色相算出部１９による標準分布の一例を模式的に示す図である。図２２は、平均色相軸を模式的に示す図である。図２２において、矢印ＹＤＡＢ＿ＡがＤＡＢとみなす分布の色相の平均色相軸を示し、矢印ＹＨ＿ＡがＨとみなす分布の色相の平均色相軸を示す。
【００７８】
図２１〜図２３に示すように、まず、標準色相算出部１９は、予め作成された標準値を算出するための複数の画像の全てを合成することによって合成画像Ｐ１００各画素の色分布を算出し、この算出した算出結果を標準分布とする。そして、図２２に示すように、標準色相算出部１９は、標準分布のうち、ＤＡＢとみなす分布の色相の平均をＤＡＢ平均色相と、Ｈとみなす分布の色相の平均をＨ平均色相とする。図２３では、矢印ＹＤＡＢ＿Ａおよび矢印ＹＨ＿Ａに示すように、ＤＡＢ平均色相およびＨ平均式の各々をＤＡＢ平均色相軸およびＨ平均色相軸としている。標準色相算出部１９は、ＤＡＢおよびＨの分布範囲における色相の範囲を設定し、その範囲内の値を標準分布として生成する。この標準分布は、上述した実施の形態１〜４において説明した色相の回転および固定値に用いられる。
【００７９】
以上説明した実施の形態５によれば、標準色相算出部１９が標準分布のうち、ＤＡＢとみなす分布の色相の平均をＤＡＢ平均色相と、Ｈとみなす分布の色相の平均をＨ平均色相とするので、標準色相（標準色相パラメータ）を算出することができる。
【００８０】
（実施の形態６）
次に、本開示の実施の形態６について説明する。実施の形態６に係る画像処理装置は、上述した実施の形態５と同一の構成を有し、画像処理装置が実行する処理が異なる。具体的には、実施の形態６では、学習済みの学習部に対して適切な色に変調する。以下においては、本実施の形態６の画像処理装置が備える学習部が行う学習方法について説明する。なお、上述した実施の形態５と同一の構成には同一の符号を付して詳細な説明は省略する。
【００８１】
〔学習部による学習処理〕
図２３は、学習部１４に学習させる入力画像の一例を模式的に示す図である。図２４は、学習部１４に学習させる正解画像の一例を模式的に示す図である。図２５は、学習部１４の学習処理を模式的に説明する図である。
【００８２】
学習部１４は、学習に使用された画像が未知のため、適切な色合いにするためのパラメータを以下によって算出する。まず、図２３および図２５に示すように、標準色相算出部１９は、入力画像Ｐ２００の色相を互いに異なる回転角度で回転させた複数の画像Ｐ２０１〜画像Ｐ２０３を生成する。そして、図２５に示すように、標準色相算出部１９は、画像Ｐ２０１〜画像Ｐ２０３を学習部１４へ入力する。続いて、学習部１４は、標準色相算出部１９から入力された画像Ｐ２０１〜画像Ｐ２０３と学習結果とに基づいて、複数の出力画像Ｐ４０１〜出力画像Ｐ４０３を出力する。図２４および図２５に示すように、ユーザは、出力画像Ｐ４０１〜出力画像Ｐ４０３と、正解画像Ｐ３００とを比較し、誤差が許容範囲である出力画像に対して、図示しない操作部を操作することによって選択する。その後、標準色相算出部１９は、ユーザによって選択された出力画像Ｐ４０１，出力画像Ｐ４０２の入力画像の色分布を合成し、上述した実施の形態５と同様の方法によって平均色相を算出する。
【００８３】
以上説明した実施の形態６によれば、既存の学習部（学習器）に対しても、適切な色合いに変調した画像を入力することができる。
【００８４】
（その他の実施の形態）
上述した実施の形態１〜６に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態１〜６に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１〜５で説明した構成要素を適宜組み合わせてもよい。
【００８５】
また、実施の形態１〜６において、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、入力部は、入力手段や入力回路に読み替えることができる。
【００８６】
また、実施の形態１〜６に係る画像処理装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００８７】
また、実施の形態１〜６に係る画像処理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、実施の形態１〜６に係る画像処理装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するようにしてもよい。
【００８８】
また、実施の形態１〜６では、例えば伝送ケーブルを経由して各種機器から入力画像を受信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、各機器から信号を送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。
【００８９】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【００９０】
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本開示を実施することが可能である。
【符号の説明】
【００９１】
１，１Ａ，１Ｂ，１Ｃ，１Ｄ  画像処理装置
１０  入力部
１１  算出部
１２  分類部
１３，１３Ｂ  変調部
１４  学習部
１５  記憶部
１６  推定部
１７  出力部
１８  表示部
１９  標準色相算出部
１３１  選択部
１３２  処理部
１５１  学習結果記憶部
１５２  基準色相パラメータ記憶部
１５３  プログラム記憶部
【図１】
2019239532.tif 000003
【図２】
2019239532.tif 000004
【図３】
2019239532.tif 000005
【図４】
2019239532.tif 000006
【図５】
2019239532.tif 000007
【図６】
2019239532.tif 000008
【図７】
2019239532.tif 000009
【図８】
2019239532.tif 000010
【図９】
2019239532.tif 000011
【図１０】
2019239532.tif 000012
【図１１】
2019239532.tif 000013
【図１２】
2019239532.tif 000014
【図１３】
2019239532.tif 000015
【図１４】
2019239532.tif 000016
【図１５】
2019239532.tif 000017
【図１６】
2019239532.tif 000018
【図１７】
2019239532.tif 000019
【図１８】
2019239532.tif 000020
【図１９】
2019239532.tif 000021
【図２０】
2019239532.tif 000022
【図２１】
2019239532.tif 000023
【図２２】
2019239532.tif 000024
【図２３】
2019239532.tif 000025
【図２４】
2019239532.tif 000026
【図２５】
2019239532.tif 000027
【手続補正書】
【提出日】令和2年12月1日(2020.12.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
外部から入力される染色画像の画素毎に色相を算出する算出部と、
前記色相に基づいて、前記染色画像の画素毎にクラス分類を行う分類部と、
前記クラス分類されたクラス毎に画素の色調を変調する変調部と、
前記クラス分類されたクラス毎の平均色相を算出することによって標準色相を生成する標準色相算出部と、
を備え、
前記算出部は、標準色算出用の標準画像の標準色相を画素毎に算出し、
前記分類部は、前記標準色相を用いて、前記標準画像の画素毎にクラス分類を行い、
前記標準色相算出部は、前記標準色相と、前記標準画像のクラス分類の分類結果とに基づいて、前記標準画像の画素毎にクラス分類されたクラス毎に平均色相を算出することによって前記標準色相を算出する、
画像処理装置。
【請求項２】
前記変調部は、前記クラス分類されたクラス毎の色相平均値を予めクラス毎に定められた標準色相と一致する色相に変調する、
請求項１に記載の画像処理装置。
【請求項３】
前記変調部は、前記クラス分類されたクラスに属する全画素の色相を予めクラス毎に定められた標準色相と一致する色相に変調する、
請求項１に記載の画像処理装置。
【請求項４】
前記変調部は、前記クラス分類されたクラス毎に色調を変調する、または固定値で変調する、
請求項１に記載の画像処理装置。
【請求項５】
前記変調部によって色相変調された前記染色画像と前記染色画像に紐付けられた正解値とに基づいて、学習した学習結果を記憶部に記憶する学習部をさらに備える、
請求項１に記載の画像処理装置。
【請求項６】
記録部が記憶する学習結果であって、予め学習部によって学習された学習結果と前記変調部によって色相変調された前記染色画像とに基づいて、推定を行う推定部をさらに備える、
請求項１に記載の画像処理装置。
【請求項７】
前記推定部が推定した推定結果を表示する表示部をさらに備える、
請求項６に記載の画像処理装置。
【請求項８】
外部から入力される染色画像の画素毎に色相を算出する算出部と、
前記色相に基づいて、前記染色画像の画素毎にクラス分類を行う分類部と、
前記クラス分類されたクラス毎に画素の色調を変調する変調部と、
前記クラス分類されたクラス毎の平均色相を算出することによって標準色相を生成する標準色相算出部と、
を備え、
前記標準色相算出部は、
正解値が紐付けられた入力画像の色相を互いに異なる回転角度で回転することによって色相が異なる複数の画像を生成し、
前記複数の画像を学習済みの学習部に入力し、
前記学習済みの学習部から出力された出力結果と前記正解値との誤差が許容範囲内である複数の出力画像の色相範囲を組み合わせて前記平均色相を算出することによって前記標準色相を算出する、
画像処理装置。
【請求項９】
前記変調部は、前記クラス分類されたクラス毎の色相平均値を予めクラス毎に定められた標準色相と一致する色相に変調する
請求項８に記載の画像処理装置。
【請求項１０】
前記変調部は、前記クラス分類されたクラスに属する全画素の色相を予めクラス毎に定められた標準色相と一致する色相に変調する
請求項８に記載の画像処理装置。
【請求項１１】
前記変調部は、前記クラス分類されたクラス毎に色調を変調する、または固定値で変調する
請求項８に記載の画像処理装置。
【請求項１２】
前記学習部は、前記変調部によって色相変調された前記染色画像と前記染色画像に紐付けられた正解値とに基づいて、学習した学習結果を記憶部に記憶する
請求項８に記載の画像処理装置。
【請求項１３】
記録部が記憶する学習結果であって、予め前記学習部によって学習された学習結果と前記変調部によって色相変調された前記染色画像とに基づいて、推定を行う推定部をさらに備える
請求項８に記載の画像処理装置。
【請求項１４】
前記推定部が推定した推定結果を表示する表示部をさらに備える
請求項１３に記載の画像処理装置。
【請求項１５】
画像処理装置が実行する画像処理方法であって、
外部から入力される染色画像の画素毎に色相を算出し、
前記色相に基づいて、前記染色画像の画素毎にクラス分類を行い、
前記クラス分類されたクラス毎に画素の色調を変調し、
標準色算出用の標準画像の標準色相を画素毎に算出し、
前記標準色相を用いて、前記標準画像の画素毎にクラス分類を行い、
前記標準色相と、前記標準画像のクラス分類の分類結果とに基づいて、前記標準画像の画素毎にクラス分類されたクラス毎に平均色相を算出することによって前記標準色相を算出する、
画像処理方法。
【請求項１６】
画像処理装置が実行する画像処理方法であって、
外部から入力される染色画像の画素毎に色相を算出し、
前記色相に基づいて、前記染色画像の画素毎にクラス分類を行い、
前記クラス分類されたクラス毎に画素の色調を変調し、
正解値が紐付けられた入力画像の色相を互いに異なる回転角度で回転することによって色相が異なる複数の画像を生成し、
前記複数の画像を学習済みの学習部に入力し、
前記学習済みの学習部から出力された出力結果と前記正解値との誤差が許容範囲内である複数の出力画像の色相範囲を組み合わせて平均色相を算出することによって標準色相を算出する、
画像処理方法。
【請求項１７】
画像処理装置が実行するプログラムであって、
外部から入力される染色画像の画素毎に色相を算出し、
前記色相に基づいて、前記染色画像の画素毎にクラス分類を行い、
前記クラス分類されたクラス毎に画素の色調を変調し、
標準色算出用の標準画像の標準色相を画素毎に算出し、
前記標準色相を用いて、前記標準画像の画素毎にクラス分類を行い、
前記標準色相と、前記標準画像のクラス分類の分類結果とに基づいて、前記標準画像の画素毎にクラス分類されたクラス毎に平均色相を算出することによって前記標準色相を算出する、
プログラム。
【請求項１８】
画像処理装置が実行するプログラムであって、
外部から入力される染色画像の画素毎に色相を算出し、
前記色相に基づいて、前記染色画像の画素毎にクラス分類を行い、
前記クラス分類されたクラス毎に画素の色調を変調し、
正解値が紐付けられた入力画像の色相を互いに異なる回転角度で回転することによって色相が異なる複数の画像を生成し、
前記複数の画像を学習済みの学習部に入力し、
前記学習済みの学習部から出力された出力結果と前記正解値との誤差が許容範囲内である複数の出力画像の色相範囲を組み合わせて平均色相を算出することによって標準色相を算出する、
プログラム。
【国際調査報告】
2019239532.tif 000028
2019239532.tif 000029