(57)【要約】  病理診断装置（１０）は、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割する画像分割部（１３０）と、これらの複数の領域から選択された１つの領域において輪郭を抽出する輪郭抽出部（１５０）と、抽出された輪郭を用いて、当該画像に写る病変範囲を特定する病変範囲特定部（１７０）と、特定された病変範囲を提示する診断結果出力部（１９０）とを備える。
2019044579.tif 000002
【特許請求の範囲】
【請求項１】
身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割する画像分割部と、
前記複数の領域から選択された１つの領域において輪郭を抽出する輪郭抽出部と、
前記輪郭を用いて、前記画像に写る病変範囲を特定する病変範囲特定部と、
特定された前記病変範囲に基づく診断結果を出力する診断結果出力部とを備える
病理診断装置。
【請求項２】
前記病変範囲特定部は、前記輪郭の外接図形を算出し、前記外接図形に基づいて前記病変範囲を特定する
請求項１に記載の病理診断装置。
【請求項３】
前記病変範囲特定部は、前記輪郭について算出された前記外接図形の長径に対する短径の比率が第一閾値以下である場合、当該輪郭内の範囲を前記病変範囲として特定する
請求項２に記載の病理診断装置。
【請求項４】
前記病変範囲特定部は、前記外接図形から前記輪郭までの距離に基づいて前記病変範囲を特定する
請求項２に記載の病理診断装置。
【請求項５】
前記病変範囲特定部は、前記輪郭について、
（条件１）当該輪郭が、前記距離が第二閾値を超える画素を所定の個数より多く含む、
（条件２）当該輪郭が、前記距離が第三閾値を超える画素を所定の割合より多く含む、
（条件３）前記外接図形の長径に対する前記距離の比率が第四閾値を超える、
（条件４）前記外接図形の短径に対する前記距離の比率が第五閾値を超える、又は
（条件５）前記外接図形の周囲長に対する前記距離の比率が第六閾値を超える
のいずれかの条件が満たされる場合、
当該輪郭内の範囲を前記病変範囲として特定する
請求項４に記載の病理診断装置。
【請求項６】
前記病変範囲特定部は、前記外接図形の面積に対する前記輪郭の面積の比率が第七閾値以下である場合、当該輪郭内の範囲を前記病変範囲として特定する
請求項２に記載の病理診断装置。
【請求項７】
前記外接図形は、前記輪郭の凸包又は外接楕円である
請求項２から６のいずれか１項に記載の病理診断装置。
【請求項８】
前記病変範囲特定部は、前記輪郭内に含まれる画素の画素値の分散を示す値が第八閾値を超える場合、当該輪郭内の範囲を前記病変範囲として特定する
請求項１に記載の病理診断装置。
【請求項９】
前記画像分割部は、
前記輝度値の出現頻度の度数分布を、混合ガウス分布法を用いて複数の正規分布に分割し、
前記複数の正規分布のそれぞれに対応する画素の集合を同一の領域として扱うことで前記画像を前記複数の領域に分割する
請求項１から８のいずれか１項に記載の病理診断装置。
【請求項１０】
前記画像はカラー画像であって、
前記輪郭抽出部は、前記画像分割部による分割によって得られた当該カラー画像の第一領域又は第二領域を構成する画素の所定の色の階調値の出現頻度に基づいて前記複数の領域のいずれか１つを選択し、選択した当該領域から前記輪郭を抽出する
請求項９に記載の病理診断装置。
【請求項１１】
前記複数の領域には、第一領域及び前記第一領域より平均輝度が低い第二領域が含まれ、
前記出現頻度の度数分布は、第一極大値及び前記第一極大値よりも低い階調値における極大値である第二極大値を有し、
前記輪郭抽出部は、
前記第一極大値に対する前記第二極大値の比率が所定の閾値以下である場合、前記輪郭を抽出する対象として前記第一領域を選択し、
前記第一極大値に対する前記第二極大値の比率が所定の閾値より大きい場合、前記輪郭を抽出する対象として前記第二領域を選択する
請求項１０に記載の病理診断装置。
【請求項１２】
身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割し、
前記複数の領域から選択された１つの領域において輪郭を抽出し、
前記輪郭を用いて、前記画像に写る病変範囲を特定し、
前記病変範囲を前記画像上で提示するデータを生成する
画像処理方法。
【請求項１３】
プロセッサに、
身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割させ、
前記複数の領域から選択された１つの領域において輪郭を抽出させ、
前記輪郭を用いて、前記画像に写る病変範囲を特定させ、
特定された前記病変範囲に基づく診断結果を出力させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、診断対象である身体部位の画像に基づく病理診断に用いられる技術に関する。
【背景技術】
【０００２】
身体組織の異常の存在、性状、疾病の進行度等を判断する病理診断では、穿刺又は手術等によって外科的に採取した組織から作成される標本を顕微鏡で観察する生検が精度の高い有用な手法として従来行われている。【０００３】
また、別の判断手法として、血液等の生体サンプル中に測定されるバイオマーカーが用いられるものがある。血液の採取は、手術による組織の採取に比べると侵襲による検査対象者への身体的負担が小さい点で有用である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１２／０１１５７９号
【非特許文献】
【０００５】
【非特許文献１】Satoshi Suzuki and Keiichi Abe, K.,“Topological Structural Analysis of Digitized Binary Images by Border Following”, Computer Vision, Graphics, and Image Processing, April 1985, vol. 30, issue 1, pp. 32-46
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、疾病によっては、病理診断における上記の判断の基準である視覚上の違いを見つけるのが困難であり、また、その違いについて観察者間での正確な共有が困難であるために、観察者の熟練度によって判断にばらつきが生じやすいという問題がある。また、そのような視覚上の違いが微妙であるために、同じ観察者でも、組織の標本化又は病理画像の撮影の条件等によって判断にばらつきが生じやすいという問題がある。【０００７】
上記でいう観察者である医師の負担を減らす技術として、病理組織画像をその画素値を用いて分割して背景領域、細胞質領域、及び細胞核領域を得て、これらの領域を示す領域分割画像データから病理組織画像の特徴を抽出する手法に関する技術が提案されている（例えば特許文献１参照）。【０００８】
しかしながら、この手法において画像の分割のために行われる画像の２値化は、画像における対象物の像同士の差、又は対象物の像と背景との差の過小等の要因で適切に実行されないことがあり、その結果として病理組織画像の特徴を適切に抽出できない場合がある。【０００９】
また、血液中のある物質を何らかの疾病のバイオマーカーとして用いるには、その前提として、その物質の量とある組織の特定の異常との相関についての、多くの症例を通じた検証が行われる。この検証は、例えば各症例における血液検査の結果及び生検の結果を統計的に解析して行われる。そして、蓄積された解析結果に基づいて、物質の量とある組織の特定の異常との確かな相関が検証されれば、例えばその物質の量を測る血液検査単独でスクリーニングへの適用が可能になる。【００１０】
ところが、上記のように生検での医師の判断にばらつきの生じやすい疾病では、この生検の結果の確度が十分でないため、上記の相関の検証ができない。したがって、精度の高い診断には、検査対象者の身体的負担及びリスクのより大きい外科的な手法も依然として必要である。あるいは、検査対象者の既往歴によっては外科的な手法が適用できない場合もある。【００１１】
本発明はこのような問題に鑑みてなされたものであり、診断対象の部位が写る画像から、人の視覚によっては安定的な発見が困難な特徴を精度よく捉え、この特徴に基づいて当該画像に写る病変の範囲を特定する技術を提供する。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために提供される本発明の一態様に係る病理診断装置は、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割する画像分割部と、これらの複数の領域から選択された１つの領域において輪郭を抽出する輪郭抽出部と、抽出された輪郭を用いて、診断対象部位が写る画像に写る病変範囲を特定する病変範囲特定部と、特定された病変範囲に基づく診断結果を出力する診断結果出力部とを備える。【００１３】
また、上記の目的を達成するために提供される本発明の一態様に係る画像処理方法は、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割し、これらの複数の領域から選択された１つの領域において輪郭を抽出し、抽出された輪郭を用いて、診断対象部位が写る画像に写る病変範囲を特定し、特定された病変範囲を当該画像上で提示するデータを生成する方法である。
【発明の効果】
【００１４】
本発明によれば、診断対象の部位が写る画像から、人の視覚によっては安定的な発見が困難な特徴を精度よく捉えられ、この特徴に基づいて、当該画像に写る病変の範囲が特定される。
【図面の簡単な説明】
【００１５】
【図１Ａ】図１Ａは、脂肪化のみが認められる肝生検画像の例である。
【図１Ｂ】図１Ｂは、図１Ａに示す例よりさらに進んだ病変が認められる肝生検画像の例である。
【図２】図２は、実施の形態に係る病理診断装置の構成を示すブロック図である。
【図３】図３は、上記の病理診断装置が備える画像分割部の機能的な構成を示すブロック図である。
【図４Ａ】図４Ａは、上記の病理診断装置が備える画像分割部に含まれる、正規化部による度数分布の正規化処理の概要を説明するための図である。
【図４Ｂ】図４Ｂは、上記の正規化部による度数分布の正規化処理の概要を説明するための図である。
【図４Ｃ】図４Ｃは、混合ガウス分布法の度数分布への適用例を説明するための図である。
【図５】図５は、上記の病理診断装置による画像の取得から診断結果データの出力までの処理のための動作に含まれる一連の手順例を説明するためのフロー図である。
【図６Ａ】図６Ａは、上記の画像分割部による画像分割の処理の手順例を説明するためのフロー図である。
【図６Ｂ】図６Ｂは、上記の病理診断装置が備える輪郭抽出部による領域の選択の手順例を説明するためのフロー図である。
【図６Ｃ】図６Ｃは、上記の輪郭抽出部による前処理から輪郭の抽出までの手順例を説明するためのフロー図である。
【図７Ａ】図７Ａは、実施例にて用いられた肝生検画像の原画像である。
【図７Ｂ】図７Ｂは、上記の肝生検画像の原画像ヒストグラムである。
【図８Ａ】図８Ａは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域のひとつを示す画像を示す図である。
【図８Ｂ】図８Ｂは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域のひとつを示す上記画像のヒストグラムである。
【図９Ａ】図９Ａは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域の他のひとつを示す画像を示す図である。
【図９Ｂ】図９Ｂは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域の他のひとつを示す上記画像のヒストグラムである。
【図１０Ａ】図１０Ａは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域のさらに他のひとつを示す画像を示す図である。
【図１０Ｂ】図１０Ｂは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域のさらに他のひとつを示す上記画像のヒストグラムである。
【図１１】図１１は、実施例１において、上記の肝生検画像の複数の領域から選択されたひとつの領域の画像にオープニングの処理が行われた結果の画像である。
【図１２Ａ】図１２Ａは、実施例１において特定された病変範囲の結果を示す図である。
【図１２Ｂ】図１２Ｂは、上記の病変範囲の病理医による所見を示す図である。
【図１３Ａ】図１３Ａは、実施例２において所定の条件を用いて除外された血管の例を示す図である。
【図１３Ｂ】図１３Ｂは、実施例２において所定の条件を用いて除外された脂肪滴の例を示す図である。
【図１４】図１４は、実施例２において所定の条件を用いて実施したＢＨの判定結果を示す。
【図１５Ａ】図１５Ａは、実施例２において実施したＢＨの判定例を示す。
【図１５Ｂ】図１５Ｂは、実施例２において実施したＢＨの判定例を示す。
【図１５Ｃ】図１５Ｃは、実施例２において実施したＢＨの判定例を示す。
【図１５Ｄ】図１５Ｄは、実施例２において実施したＢＨの判定例を示す。
【発明を実施するための形態】
【００１６】
（本発明の基礎となった知見）
本発明者らは、非アルコール性脂肪肝炎（英語名称はｎｏｎ−ａｌｃｏｈｏｌｉｃ  ｓｔｅａｔｏｈｅｐａｔｉｔｉｓであり、以下では、その頭字語であるＮＡＳＨを用いて表記する）という疾患の診断において、以下の問題が生じることを見出した。
【００１７】
まず、脂肪性の肝疾患には、アルコールの過剰摂取を原因とするアルコール性の脂肪性肝障害と、顕著な飲酒歴がない人に発現する、非アルコール性脂肪性肝疾患（英語名称はｎｏｎ−ａｌｃｏｈｏｌｉｃ  ｆａｔｔｙ  ｌｉｖｅｒ  ｄｉｓｅａｓｅであり、以下では、その頭字語であるＮＡＦＬＤを用いて表記する）とがある。生検画像に大滴性の肝脂肪沈着が見られる点はいずれの疾患にも共通である。
【００１８】
さらに、このＮＡＦＬＤには２種類ある。ひとつは、組織の炎症や線維化を伴わない単純性脂肪肝である。この場合、多くは肥満が解消されることで好転し、予後は良好である。もうひとつが上述のＮＡＳＨであり、組織の炎症や線維化を伴い、進行性の症例を含む。進行性の場合には、肝硬変または肝がんに至ることがある。
【００１９】
ＮＡＳＨの患者数は、世界では約６０００万人、日本国内ではＢ型又はＣ型のウイルス性肝炎に匹敵する約１００万から２００万人といわれ、増加傾向にある。
【００２０】
ＮＡＳＨの治療方法としては、食事療法に加えて、線維化が進み始めている場合には対症的な薬物治療が行われるものの、承認されたＮＡＳＨの治療薬はまだない。
【００２１】
より早期のＮＡＳＨの診断ができれば、食事制限、運動の習慣化、又は薬物の投与等によって線維化への進行を抑制できる可能性もある。しかし、その時点では患者に自覚症状がほとんど現れない。また、血液検査、つまり血液標本中のバイオマーカーに基づく診断手法も研究は進められているが、この手法単独で臨床での早期診断への適用には至っていない。
【００２２】
このような状況にあって、ＮＡＳＨの早期診断の手法のひとつとして従来提案されているのが、血液検査、及び腹部エコー検査で肝臓の脂肪化がある程度以上進行していると認められる場合に肝生検を実施し、ＮＡＳＨの肝臓で見られる炎症細胞浸潤、風船様肝細胞、肝線維化の有無を確認するというものである。
【００２３】
ただし、ここでなお問題となるのが、肝生検画像に写る風船様肝細胞（英語名称はｂａｌｌｏｏｎｉｎｇ  ｈｅｐａｔｏｃｙｔｅであり、以下ではＢＨとも表記する）の判別の難しさである。単純性脂肪肝にも見られる脂肪変性をきたした肝細胞との区別は、ある程度以上経験のある病理専門医の間でも所見に差が出ることがある。参考までに、異常として脂肪化のみが認められる肝生検画像の例を図１Ａに、さらに進んだ病変が認められる肝生検画像の例を図１Ｂに示す。図１Ａの肝生検画像において、左右の中央付近で上下に並ぶ、丸みを帯びて白く写るのが脂肪変性をきたした肝細胞である。図１Ｂの肝生検画像にはＢＨ及び炎症細胞が見え、矢印で示されるのがＢＨの例である。
【００２４】
このような状況に鑑み、本発明者らは、肝生検画像のデータから、経験を積んだ病理専門医による判別に近い精度で肝生検画像に含まれるＢＨの像を特定するための画像処理方法に想到した。
【００２５】
以下では、このように、従来は各々経験豊かな病理専門医によって行われてきた病理画像に基づく診断を病理画像データの解析に基づいて行うための画像処理方法を実行する装置を、本発明の一実施の形態に係る病理診断装置として説明する。
【００２６】
なお、本発明は上述のとおりＢＨの像を特定するという課題の解決を着想の糸口とし、以下では、肝生検画像に含まれるＢＨの像を特定する手法を例に本発明の実施の形態及び実施例を説明するが、本発明の適用範囲はこれに限定されない。本発明の他の適用については後述する。
【００２７】
また、以下で説明する実施の形態は、本発明の包括的な例又は具体的な例を示すものである。ただし、実施の形態で示される数値、形状、材料、構成要素、並びに構成要素の位置、配置及び接続形態などは一例であり、本発明を限定する趣旨ではない。以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素は、本発明の任意の構成要素として説明される。
【００２８】
（実施の形態）
［１．構成］
図２は、実施の形態に係る病理診断装置の構成を示すブロック図である。
【００２９】
実施の形態に係る病理診断装置１０は、身体の診断対象の部位が写る画像のデータを処理することで、当該画像に写る病変範囲を特定し、特定された病変範囲に基づく診断結果を出力する。例えば病理診断装置１０は、この処理のためのプログラムを記憶する記憶装置（図示なし）と、このプログラムを実行する演算処理装置（プロセッサ、図示なし）を備える電子計算機として、又は対象とする疾病の病理診断専用の装置等に含まれる集積回路（マイクロコントローラ）として実現される。
【００３０】
病理診断装置１０は、画像取得部１１０、画像分割部１３０、輪郭抽出部１５０、病変範囲特定部１７０、及び診断結果出力部１９０を備える。
【００３１】
画像取得部１１０は、病理診断装置１０による処理の対象である、身体の診断対象部位が写る画像を取得する。より具体的には、例えば撮像装置２０で撮像されて得られる画像のデータ（画像データ）を取得する。
【００３２】
本実施の形態におけるこの画像は生検画像である。例えば検査対象者から外科的手法で採取された組織を固定、スライス、染色して得られたスライド標本の顕微鏡画像である。
【００３３】
また、この画像データは、例えばこの顕微鏡画像を撮像装置２０の一例であるデジタルカメラで撮影して得られたものである。なお、撮像装置２０としては、病理診断装置１０による処理が可能な画像データを出力可能な装置であれば特に限定されず、他の例としてフィルムスキャナを含むイメージスキャナが挙げられる。これにより、フィルムを用いて撮影された過去の症例の肝生検画像から病理診断装置１０による処理が可能な画像データが得られる。
【００３４】
また、病理診断装置１０の処理対象の画像は、過去に撮影して取得された画像データを記憶する記憶装置３０から取得されてもよい。例えば記憶装置３０は、外部のサーバ装置が備える、ハードディスクドライブ又はソリッドステートドライブ等である。または、記録型のコンパクトディスク又はＤＶＤ等の各種の記憶媒体４０から画像取得部１１０に入力されても良い。
【００３５】
その他、図２には示されていないが、処理対象の画像は、病理診断装置１０が備える記憶装置に保管され、この記憶装置から読み取られてもよい。
【００３６】
画像分割部１３０は、入力された画像を、その画像を構成する画素の画素データを用いて複数の領域に分割する処理（ｓｅｇｍｅｎｔａｔｉｏｎ）を実行する。図３は、病理診断装置１０が備える画像分割部１３０の機能的な構成を示すブロック図である。
【００３７】
画像分割部１３０は、統計処理部１３１、正規化部１３３、及び領域分割部１３５を備える。
【００３８】
統計処理部１３１は、画像取得部１１０が取得した画像の画素データから、当該画素の輝度の出現頻度の度数分布を取得する。画素の輝度は、例えば例えば８ビットの値（０〜２５５）で表わされる。この場合、統計処理部１３１は画素の輝度値に基づく０〜２５５までの２５６階級の度数分布を取得する。なお、各画素の輝度値は、画素データに直接示されていてもよいし、画素データが示す各種の画素値、例えばＲ（Ｒｅｄ）値、Ｇ（Ｇｒｅｅｎ）値、及びＢ（Ｂｌｕｅ）値の色値から算出（変換）して取得されてもよい。また、各画素の輝度値は、１６ビット又は３２ビット等のより多階調で表現されてもよい。
【００３９】
正規化部１３３は、統計処理部１３１が取得した度数分布を正規化する。例えば、輝度値が０から２５５の値を取り得る実行環境において、度数が分布している階級の最小値が０に、最大値が２５５になるように度数分布全体を拡張する。図４Ａ及び図４Ｂは、正規化部１３３による度数分布の正規化処理の概要を説明するための図である。図４Ａに示されるのは、統計処理部１３１が取得した輝度値の度数分布の模式図である。なお、図４Ａ及び図４Ｂ、並びに後述の図４Ｃは、便宜上、度数分布のヒストグラムの各柱の頂点を結ぶ線に近似する連続関数のみを示し、柱の図示は省略されている。
【００４０】
図４Ａは、ある画像の輝度値の度数分布を示す。この度数分布では度数が分布している階級の最小値は０より大きく、最大値は２５５より小さい。正規化処理によって度数分布全体が拡張された結果、図４Ｂに示されるように度数が分布している階級の最小値が０に、最大値が２５５になる。なお、連続関数の極値は正規化の前後で保持される。図４Ａと図４Ｂとを比較すれば、例えば正規化の前後でヒストグラムの最大値は変化せず、ヒストグラムがなす山は元の形状をある程度保って幅が拡大されていることがわかる。この正規化処理の結果、画像全体としてはコントラストが強調されるため、後述の領域分割部１３５による処理で良好な結果が得やすくなる。また、分布の峰の幅が狭い場合に後述の領域分割部１３５による処理がうまく行われない場合がある。正規化処理ではこの峰の幅が広げられるため、領域分割部１３５による処理で良好な結果が得やすくなる。
【００４１】
なお、処理対象として入力された画像の輝度分布が元々広範な場合には、正規化部１３３による正規化処理は省略されてもよい。
【００４２】
領域分割部１３５は、統計処理部１３１による正規化処理後の度数分布に基づいて、入力された画像の領域分割を実行する。
【００４３】
画像の領域分割には、閾値法、エッジ抽出法、ｋ−ｍｅａｎｓ分割法等の各種の既知の手法が利用可能であるが、本実施の形態においては、領域分割部１３５は混合ガウス分布法を利用する。より具体的には、上述のような度数分布のヒストグラムに近似する連続関数に近似させるように、複数のガウス分布（正規分布）を、それぞれの重み付け係数と、平均と、共分散とを調節して線形結合する。図４Ｃは、混合ガウス分布法の適用例を説明するための図である。この例では、破線、点線、又は一点鎖線の曲線で示される複数の正規分布の結合を、実線で示されるヒストグラム（その柱の頂点を結ぶ線に近似する連続関数）に近似させている。このように複数の正規分布で度数分布をモデリングすることを、本開示では度数分布（のヒストグラム）を正規分布で分割する、ともいい、混合ガウス分布法はこの処理のために用いられる。
【００４４】
次に領域分割部１３５は、複数の正規分布のそれぞれに対応する画素の集合（領域）を同一の領域として扱うことで入力画像を複数の領域に分割する。ここで、ある正規分布に対応する画素とは、例えば１つの正規分布の所定の偏差に収まる値を有する画素であることをいう。また、このような画素の集合を同一の領域として扱うことの具体的な例を挙げると、対応する正規分布に応じた画素の塗り分け、特定の正規分布に対応する画素の抽出、特定の正規分布に対応する画素を対象とする共通の規則（アルゴリズム）に従った処理が挙げられる。
【００４５】
上記のヒストグラムには、各画素の空間的情報（位置情報）は含まれないが、輝度（又は輝度に変換された色）の情報が反映されている。そして各画素の輝度の情報は、当該画素の部分に写る対象物の材料の組成又は構造をある程度反映していると考えられる。言い換えると、輝度又は色は、対象物の材料又は構造が反映された情報として扱うことができると本発明者らは考える。本実施の形態において画像分割に混合ガウス分布法が用いられるのは、同一又は類似の材料又は構造の対象物、例えば細胞内の同一の構造物の像は、輝度のヒストグラムを分割して得た複数の正規分布のうち、同じ正規分布に属する画素で構成されるという想定に基づくものである。
【００４６】
ここで、例えば上に挙げた閾値法では、閾値との大小関係に基づいて各画素の画素値を２値化し、画像は２値のそれぞれの領域に分割される。この閾値を最適な値に設定するための従来提案されている技術のひとつが特許文献１に記載の手法に採用されている。
【００４７】
この技術は、ある程度以上の大きさの明暗差（コントラスト）を含む画像の分離では好適な結果が得やすい。しかしながら、画像における対象物の像同士、又は対象物の像と背景との差が小さい場合には、これらが同一の領域に入ることがある。また、同一の対象物の像に含まれる画素の画素値の度数分布における範囲の幅が比較的大きく、かつその範囲での度数の変化が比較的小さい場合には、設定される閾値がその範囲内に入ることがある。したがって、画像分割の結果、画像に写る対象物の像、例えば細胞内で材料組成の異なる構造物の像が、単一の領域に入ったり、同一の構造物の像が複数の領域に入ったりする可能性について十分に考慮はされていない。
【００４８】
一方、上述したように、本実施の形態で用いられる混合ガウス分布法では、材料の組成又は構造の共通性が高い対象物の像の領域は単一の領域として扱われる可能性が高く、ひいては共通性が低い対象物の像の領域は別の領域として扱われる可能性が高い。したがって、画像をより適切に分割し、つまりは、画像に写る対象物に応じた分割画像、例えば生検画像であれば細胞内において材料組成の異なる構造物ごと等の分割画像が得やすい。
【００４９】
あるいは、閾値法では、２値化の手順を、設定を変えて複数回実行することで適切な画像分割の結果を得ることは可能である。例えば特許文献１では、１つの画像の２種類の別個のデータ（ＲＧＢ画像データ及びＣＩＥＬｕｖ画像データ）のそれぞれから２値化した画像データを取得し、後の手順で用いる領域をそれぞれで１つずつ（細胞質領域、背景領域）得ている。なお、特許文献１では、閾値法で得られた２つの分割画像の否定論理和を用いることで３つめの領域がさらに取得されている。
【００５０】
一方、本実施の形態で用いられる混合ガウス分布法では、１つの画像データから１回の画像分割の処理で、後の手順で用いる領域を３つ以上でも直接に取得することができるため、効率がよい。
【００５１】
より具体的には、混合ガウス分布法では、処理対象である画像の画素値（輝度値又は色値）のヒストグラムの連続関数を複数の正規分布の線形結合とみなして、当該ヒストグラムをこれらの正規分布に分割する。この線形結合の際に各正規分布に与えられる重み付け係数は正規分布間で調節される混合比に対応し、すべての重みの総和は１となる。
【００５２】
このようにして得られた各正規分布内の画素値を持つ画素の集合は、それぞれ同一の領域として扱われる。また、これらの正規分布はヒストグラム内で重複しない。つまり、ひとつの画素値が複数の正規分布に属することはないため、各画素が複数の領域に属することもない（１つの画素と２つ以上の正規分布とが対応することはない。）。さらに、ヒストグラム内で隣り合う正規分布間で間が空くこともない。したがって、混合ガウス分布法を用いる分割によってひとつの画像内にある各画素を、その画素値に応じて、もれなくいずれかひとつの領域に帰属させることができ、材料組成の互いに異なる構造物の像を高い割合でそれぞれ含む複数の領域が得られる。
【００５３】
なお、この処理では、診断の目的に応じてより適した結果が得られるように、用いられる正規分布の個数が適宜調整されてもよい。
【００５４】
画像分割部１３０によって取得されるこのような画像分割処理の結果のデータ（分割済み画像データ）は、輪郭抽出部１５０に入力される。
【００５５】
輪郭抽出部１５０は、画像分割部１３０から入力された分割済み画像データが示す複数の領域から選択された１つの領域において輪郭抽出を実行する。輪郭抽出部１５０は、この処理のためのプログラムを記憶する記憶装置から当該プログラムを読み出して実行する、電子計算機又は集積回路（マイクロコントローラ）のプロセッサによって実現される。
【００５６】
輪郭抽出の対象となる領域の選択は、人の手によって行われてもよいし、輪郭抽出部１５０が各領域に含まれる画素の画素値に基づいて行ってもよい。輪郭抽出部１５０による選択の処理についての詳細は後述する。
【００５７】
輪郭抽出の処理は、既知の輪郭抽出のアルゴリズムを用いて実行されてもよい。例えばＳｕｚｕｋｉ８５のアルゴリズムが挙げられる（非特許文献１参照）。
【００５８】
また、輪郭抽出部１５０は、輪郭抽出の前処理として、画像中に小さく写る線又は点の強調又は削除を目的として、膨張（ｄｉｌａｔｉｏｎ）、収縮（ｅｒｏｓｉｏｎ）、又はこれらを含むクロージング若しくはオープニングの処理をさらに実行してもよい。クロージングの処理では、暗い領域に含まれる明るい小領域が消され、オープニングの処理では、明るい領域に含まれる暗い小領域が消される。消される領域の大きさは、各処理で繰り返される膨張及び収縮の回数を変えることで調整可能である。輪郭抽出の処理で抽出される輪郭とは、細胞膜等からなる細胞内の構造物の輪郭、又は細胞の内外に存在するタンパク質、糖類等からなる構造物の輪郭である。この前処理は、これらのうち、病理診断に用いられる構造物を際立たせたり、又はこの構造物以外の物を目立たなくしたりするために、必要に応じて行われる。
【００５９】
輪郭抽出の結果を含む分割済み画像データは、病変範囲特定部１７０に入力される。
【００６０】
病変範囲特定部１７０もまた、特定の処理のためのプログラムを記憶する記憶装置から当該プログラムを読み出して実行する、電子計算機又は集積回路（マイクロコントローラ）のプロセッサによって実現される。
【００６１】
輪郭抽出の結果を含む分割済み画像データを受け取った病変範囲特定部１７０は、輪郭抽出部１５０によって抽出された輪郭を用いて、当該画像データが示す画像に写る病変範囲を特定する。病変範囲特定部１７０による病変範囲の特定の処理については、例を用いて後述する。
【００６２】
特定された病変範囲を示すデータは、診断結果出力部１９０に入力される。
【００６３】
診断結果出力部１９０は、病変範囲特定部１７０によって特定された病変範囲に基づく診断結果をデータ（診断結果データ）として出力する。
【００６４】
診断結果は様々な形で出力され得る。例えば、入力された一検査対象者の肝生検画像内の病変範囲を示す図形又は記号を付した画像のデータとして出力されてもよい。また、病変範囲の個数、大きさ等を示す統計的なデータとして出力されてもよい。また、疾病の有無、又は、画像から得られた情報からさらに取得可能であれば、さらなる検査の要否若しくはその疾病の程度（進行度）等、定性的な情報を示すデータが出力されてもよい。このようなデータは組み合わせて出力されてもよい。
【００６５】
なお、診断結果データは、例えば医師又は検査対象者等が見る目的で表示又は印刷に用いられる形式のデータであってもよい。この場合、診断結果出力部１９０が出力した診断結果データは、ディスプレイ又はプリンタに入力される。また、診断結果データは、電子計算機による他の目的のさらなる処理、例えば統計的な分析、又は人工知能による診断に資する機械学習用の教師データに利用可能な形式のデータであってもよい。この場合、診断結果出力部１９０が出力した診断結果データは、病理診断装置１０の内部又は外部の記憶装置に記憶される。
【００６６】
このような画像取得部１１０、画像分割部１３０、輪郭抽出部１５０、病変範囲特定部１７０、及び診断結果出力部１９０は、電子計算機又は集積回路によって実現される病理診断装置１０の機能的な構成要素であり、病理診断装置１０において、記憶装置から読み込まれたプログラムがプロセッサによって実行されることで実現される。
【００６７】
また、これらの機能的な各構成要素を実現するための手段は特に限定されず、例えばＷｉｎｄｏｗｓ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ａｎｄｏｒｏｉｄ（登録商標）等のオペレーティングシステムが実装されて稼働する電子計算機又は集積回路上で、ＯｐｅｎＣＶの画像処理ライブラリに含まれるプログラム及びＣ＋＋等のプログラミング言語で記述されたプログラムを必要に応じて組み合わせたプログラムがプロセッサによって実行されて実現されてもよい。または、そのような電子計算機等の上で、ＭＡＴＬＡＢ等のＣＡＥ（Ｃｏｍｐｕｔｅｒ  Ａｉｄｅｄ  Ｅｎｇｉｎｅｅｒｉｎｇ）ソフトウェアが用いられてもよいし、各構成要素による処理に対応する機能を備える画像処理ソフトウェア、若しくは各構成要素の処理内容が記述されたプログラムを用いて実現されてもよい。
【００６８】
［２．動作］
次に、上記の構成を有する病理診断装置１０の動作について説明する。図５は、病理診断装置１０による画像の取得から画像処理を経て、診断結果データの出力までの処理の動作に含まれる一連の手順例を説明するためのフロー図である。
【００６９】
まず、画像取得部１１０によって、処理対象の画像が取得される（ステップＳ１０）。この処理対象の画像とは、上述のとおりであり、より具体的には、診断対象部位が写る画像であり、例えば生検画像である。
【００７０】
次に、画像分割部１３０によって、処理対象の画像が当該画像を構成する画素の輝度値に基づいて複数の領域に分割される（ステップＳ２０）。この手順のより詳細については、図６Ａのフロー図を用いて説明する。図６Ａは、画像分割部１３０による画像分割の処理の手順例を説明するためのフロー図である。
【００７１】
まず、統計処理部１３１によって、この取得された画像の画素情報に基づく画素の度数分布が取得される（ステップＳ２１）。
【００７２】
次に、正規化部１３３によって、この取得された度数分布が正規化される（ステップＳ２２）。
【００７３】
次に、領域分割部１３５によって、この正規化された度数分布に混合ガウス分布法が適用され、複数の正規分布を用いてこの度数分布が分割される（ステップＳ２３）。
【００７４】
画像分割部１３０では、最後に、領域分割部１３５によって、複数の正規分布のそれぞれに対応する画素が単一の領域として扱われることで、画像が複数の領域に分割される（ステップＳ２４）。
【００７５】
次に、輪郭抽出部１５０によって、画像に含まれる複数の領域から、輪郭の抽出の対象である領域が選択される（ステップＳ３０）。図６Ｂは、この選択の手順例を示すフロー図である。この例では、輪郭抽出の処理の対象の候補である領域が第一領域と第二領域の２つある場合を想定している。なお、第一領域と第二領域とは、上記の混合ガウス分布法の結果得られた領域であるため、互いに異なるそれぞれの平均輝度（中央値）で区別することができる。
【００７６】
輪郭抽出部１５０は、例えば入力された生検画像を構成する画素の画素値を所定の条件に照らした結果に応じて第一領域又は第二領域のいずれかを選択する（ステップＳ３１からＳ３３）。
【００７７】
ここでいう所定の条件には、生検画像で輪郭が抽出される構造物の種類又は状態に応じて異なるものが用いられる。これは、構造物は、その外観が種類又は状態に応じて異なるためである。外観に影響し得る構造物の種類又は状態の例としては、細胞が採取された身体部位、染色等の標本化のための処理の種類及び結果（例えば染色の場合の染まり具合）、病状の進行度等が挙げられる。
【００７８】
所定の条件は、例えば生検画像の輝度値に関するものであってもよいし、生検画像がカラー画像であれば、いずれかの色値に関するものであってもよい。より具体的には、このような値を標本データとして得られる代表値などの各種の統計量と所定の閾値との大小関係、又は統計量同士の大小関係等に関する条件である。このような統計量は、生検画像全体、又は生検画像の分割された各領域での特徴を示す特徴量の例である。所定の条件にて用いられる具体的な特徴量の例は、後述する実施例において示す。
【００７９】
次に輪郭抽出部１５０は、選択した領域に対して輪郭抽出を実行する。ただし、構成の説明で上述したとおり、必要に応じてさらに前処理が行われてもよい。図６Ｃは、前処理が行われる場合の手順例を示すフロー図である。輪郭抽出部１５０では、選択された領域が第一領域であるか第二領域であるかに応じて、その後の輪郭抽出までの手順が変更される。
【００８０】
図６Ｃに示される例では、選択された領域が第一領域の場合（ステップＳ４１で「第一領域」）、第一領域がさらに細かい領域に分割されてその１つが選択されている（ステップＳ４２）。この分割の処理は、再び画像分割部１３０によってステップＳ２０と同じ手法で実行されてもよい。例えば、輪郭が抽出される構造物とそれ以外の構造物とが、材料又は構造が比較的近い場合、一度の分割ではこれらの構造物が同一の領域に含まれることがある。そのような場合に、画像分割を重ねて実行することで、輪郭が抽出される構造物をより高い割合で含む領域を得ることができる。選択された領域には、前処理Ａが施され（ステップＳ４３）、その後、輪郭抽出が実行される（ステップＳ４５）。前処理Ａとは、例えば上述のオープニングである。
【００８１】
一方、選択された領域が第二領域の場合には、第二領域に前処理Ｂが施され（ステップＳ４４）、その後、輪郭抽出が実行される（ステップＳ４５）。前処理Ｂとは、例えば上述のクロージングである。
【００８２】
このような、選択された領域に応じた処理が、病理診断に用いられる構造物の輪郭のより確実な抽出、又は抽出された輪郭に対するその後の処理の精度の向上を目的として行われてもよい。
【００８３】
なお、図６Ｃに示される一連の手順はあくまで例であり、ステップＳ２０で得られた領域に輪郭抽出アルゴリズムが適用されるまでの手順はこれに限定されない。再度の画像分割及び前処理は、上述のとおり必要に応じて実行されるものである。また、条件に照らして選択される領域に拘わらず、ステップＳ４５に先立つ前処理の内容は共通であってもよい。また、ステップＳ４１で選択肢として扱われる領域の数は複数であればよく、上記の例のように２つには限定されない。ステップＳ４２についても同様である。
【００８４】
次は、病変範囲特定部１７０によって、抽出された輪郭を用いて、病理画像で病変が写る範囲である病変範囲が特定される（ステップＳ５０）。
【００８５】
病理画像上の輪郭を用いて病変範囲を特定する方法には、病変によって細胞に起こる変化に応じた種々のものを選択し得る。以下に例を挙げる。
【００８６】
例えば、輪郭内の範囲にある画素の画素情報が用いられてもよい。ある構造物は、異常がなければほぼ均質であるが、異常があれば不純物等の異物が混じり、そしてこの異物は、当該構造物とは異なる色又は輝度を有する場合がある。または、異物の種類によって、色又は輝度に差が生じる場合がある。当該構造物中の異物は、生検画像内では、構造物の輪郭内での各色の画素値又は輝度値が他の部分と異なる像として現れ得る。具体例を挙げると、肝生検画像において、単純性脂肪肝で脂肪滴を有する肝細胞とＢＨとでは、前者は内部の色がほぼ一様であるが、線維化を伴うＢＨはその内部の貯留物が異なる色で現れる。つまり、肝生検画像における単純性脂肪肝の肝細胞と、今後の進行が危ぶまれるＢＨとを区別して特定するために、細胞の輪郭内のこのような異なる色の画素の存否又は量によって変化する画素値の分散を利用することができる。ステップＳ３０では、生検画像内でこの構造物、例えばある種の細胞が写る領域が選択され、ステップＳ４０ではこの構造物の輪郭が抽出された上で、ステップＳ５０において、当該構造物の輪郭内に含まれる画素の画素値の分散を示す値が所定の閾値を超える場合、この輪郭内の範囲が病変範囲と特定されてもよい。この閾値は、本実施の形態における第八閾値の例である。
【００８７】
また、特定対象の病変の種類又は検査対象の組織等に応じて、画素値の分散に代えて、画素値の平均を用いてもよいし、輪郭内の特定の色の画素値がより高い又は低い画素の個数又は割合を所定の閾値と比較して、当該輪郭内の範囲が病変範囲であるか否かが特定されてもよい。
【００８８】
また例えば、輪郭の形状に関する特徴が用いられてもよい。ある構造物は、異常がなければ縦横の寸法がほぼ等しい形状を呈するが、異常があれば変形して細長い形状を呈するか、又は異常が原因で中に増える異物の影響で細長く見える場合がある。このような場合には、例えば抽出された構造物の輪郭の外接楕円を算出し、外接楕円の長径に対する短径の比率（アスペクト比）が所定の閾値以下である場合に、この輪郭内の範囲を病変範囲と特定されてもよい。この閾値は、本実施の形態における第一閾値の例である。
【００８９】
また、このような外接楕円に基づく病変範囲の特定方法の他の例として、抽出された構造物の輪郭とその外接楕円との両方が用いられてもよい。ある構造物は、異常がない場合に真円に近い形状を呈し、異常があれば、変形していびつな形状を呈するか、又は異常が原因で中に増える異物の影響でいびつに見える場合がある。このような場合には、例えば外接楕円の面積に対する、当該輪郭の面積の比率が所定の閾値以下である場合に、この輪郭内の範囲を病変範囲と特定されてもよい。この閾値は本実施の形態における第七閾値の例である。
【００９０】
あるいはこのような構造物の形状のいびつさが、生検画像上での外接楕円からその中の輪郭までの距離に基づいて判定され、その結果に応じて病変範囲が特定されてもよい。例えば、抽出されたある構造物の輪郭について、当該輪郭上の画素に、その外接楕円上の画素からの距離が所定の閾値を超える画素が、所定の個数より多く含まれる場合、この輪郭内の範囲が病変範囲と特定されてもよい。この距離に関する所定の閾値は本実施の形態における第二閾値の例である。または、この輪郭上の画素に、その外接楕円上の画素からの距離が所定の閾値を超える画素が、所定の割合より多く含まれる場合、この輪郭内の範囲が病変範囲と特定されてもよい。この距離に関する所定の閾値は、本実施の形態における第三閾値の例である。
【００９１】
ここで、上記の所定の個数又は所定の割合は、固定の値であってもよいし、病理医等であるユーザが手動で、又は病理診断装置１０が自動的に調節可能な値であってもよい。ユーザ又は病理診断装置１０は、例えば病理画像の倍率、又は撮像装置２０若しくは画像データの仕様（画素数、ビット深度等）に応じて、診断のための観察に適した値に変更する。
【００９２】
また、外接楕円からその中の輪郭までの距離に基づく判定には、上記の例以外に、楕円の長径、短径、又は周囲長に対する当該距離の比率が用いられてもよい。つまり、この距離の、外接楕円の長径に対する比率が所定の閾値（第四閾値の例）を超えるか否か、外接楕円の短径に対する比率が所定の閾値（第五閾値の例）を超えるか否か、又は外接楕円の周囲長に対する比率が所定の閾値（第六閾値の例）を超えるか否か、といった条件が満たされるか否かに基づいて、当該輪郭内の範囲が病変範囲として特定されてもよい。このような比率が高いほど、当該構造物の形状は、その外接楕円に対していびつであるということができる。
【００９３】
また、上記の外接楕円からその中の輪郭までの距離に代えて、又は加えて、外接楕円の中心とその中の輪郭の重心（幾何中心）との距離が用いられてもよい。
【００９４】
また上記では、構造物の形状の特徴に関する判定に、抽出されたこの構造物の輪郭の外接楕円が用いられているが、外接楕円に代えて、輪郭上のあらゆる点の集合の凸包（以下、簡略に「輪郭の凸包」ともいう）が用いられてもよい。凸包が用いられる場合も、構造物の形状のいびつさは、外接楕円の場合と同様に、凸包の長手方向の大きさ（長径）に対する短手方向の大きさ（短径）の比率、凸包とその中の輪郭との距離、凸包の長径、短径、又は周囲長に対するその距離の比率、凸包と輪郭との面積比、又は凸包及び輪郭それぞれの幾何中心間の距離等に基づいて判定される。このような外接楕円及び凸包は、本実施の形態における輪郭の外接図形の例である。
【００９５】
なお、ここまでに例示した病変範囲の特定では、分散、比率、個数、又は割合等の数値に基づく病変範囲であるか否かの判定がなされているが、病変範囲である場合には、さらに病気の進行度の指標として利用される病変の程度についての特定がなされてもよい。例えばこれらの数値は、病変の程度を示す連続値又は離散値のスコアとして用いられてもよいし、これらの数値に基づく病変の段階分けがなされてもよい。あるいは、病変範囲であるか否かの二項分類的な判定に代えて、病変範囲である可能性に関する３段階以上の評価がこれらの数値に基づいてなされてもよい。
【００９６】
また、上記では第一閾値から第八閾値までのいずれかをそれぞれ含む、病変範囲を特定するための８つの条件を例示したが、これらの条件は単独で用いられてもよいし、複数が組み合わせて用いられてもよい。また、複数の条件が組み合わせて用いられる場合には、いずれかが満たされればよいＯＲ条件として用いられてもよいし、すべてが満たされるべきＡＮＤ条件として用いられてもよい。
【００９７】
後者の例として、輪郭内の範囲の色、つまり画素値の分散、平均等に関する条件と、輪郭又はその外接図形の形状又は面積に関する幾何的な条件との両方が満たされるか否かに基づいて、病変範囲であるか否かの判定、又は病変範囲である可能性の評価がなされてもよい。
【００９８】
なお、条件の組み合わせは、色に関する条件と幾何的な条件との組み合わせに限定されず、色に関する条件どうし、又は幾何的な条件どうしの組み合わせであってもよい。例えば輪郭の形状に関する２つ以上の条件が満たされるか否かに基づいて、病変範囲であるか否かの判定、又は病変範囲である可能性の評価がなされてもよい。
【００９９】
このようにして特定された病変範囲に関する情報に基づいて、診断結果出力部１９０は、当該情報をその利用目的に応じたデータとして、必要に応じて処理を加えて出力する（ステップＳ６０）。
【０１００】
［３．変形例］
本実施の形態に係る病理診断装置１０の構成及び動作は上記の説明に限定されるものでなく、その変形にも本発明の技術的範囲に含まれるものがあり、以下にその例を挙げる。
【０１０１】
例えば、上記の各種の条件を用いて生検画像中の病変範囲でない部分の特定が実行されてもよい。例えば病変範囲特定部１７０による病変範囲の特定の処理（ステップＳ５０）において、画素値又は幾何的な所定の条件を満たす範囲を、病変範囲として特定される範囲から除外してもよい。より具体的な例として、特定の色の画素値の分散が所定の閾値未満の画素、又はこの条件を満たす画素を所定の割合より多く含む範囲を、病変範囲として特定される範囲から除外してもよい。これにより、例えば肝細胞についての病変範囲を特定する際に、選択された領域内に混じって映る肝細胞以外の構造物、例えば間質又は血管の像の範囲を除外することができる。また別の例として、構造物の輪郭又はその外接図形の長径又は短径の大きさに基づく判定が実行されてもよい。例えば同種の構造物でも、正常な細胞と病変を来たしている細胞とでは、大きさに特定の傾向が見られる場合がある。例えば正常な肝細胞はその長径のほとんどが１０μｍ以下であるところ、異物を含んで膨化した異常な肝細胞はより大きい傾向がある。このような場合に、例えば１５μｍの閾値を設定して、色、形状又は面積に関する病変範囲の条件を満たす範囲であっても、この閾値以下の場合には病変範囲でないと特定されてもよい。
【０１０２】
これらのような条件を組み合わせて用いることで、生検画像中の病変範囲であり得る部分と病変範囲ではない範囲とがより高い精度で特定され、検査精度の向上につながる。例えばステップＳ２０で画素値に基づいて分割した領域内には、ノイズともいうべき病変範囲ではない病変範囲と近い外観を呈する構造物が混在することもある。このような構造物を含む範囲を誤って病変範囲と特定する可能性が抑えられる。
【０１０３】
また、上記の動作には、生検画像又はその分割された領域の画素値が所定の条件に照らされる判定の対象となる手順が含まれるが、この画素値には、所定の条件に照らす判定の前に、必要に応じて正規化の処理がなされてもよい。
【０１０４】
また、上記の動作の手順の例として、選択された１つの領域に対してさらに行われる領域分割の手順が示されているが、この領域分割には、上記に例示したような各種の領域分割の手法を用いることができる中で、再び混合ガウス分布法が用いられてもよいし、他の手法が用いられてもよい。
【０１０５】
また、上記において輪郭抽出部１５０が輪郭抽出の前に行う前処理は、選択された領域が第一領域であるか第二領域であるかに応じてその内容が変えられていたが、前処理の内容の決定手法はこれに限定されない。例えば、輝度値の度数分布の分散値等、選択された領域の画素値の各種の統計量に基づいて決定されてもよい。他の例として、選択された領域の、選択されなかった領域又は生検画像全体に対する面積比に基づいて決定されてもよい。
【０１０６】
これらを例とする前処理の内容の決定のための基準は、生検画像に写る検査対象の部位の像に、病変によって起こり得る外観上の変化に基づいてあらかじめ選択される。外観上の変化のより具体的な例としては、組織の線維化が進むと画像の輝度値のばらつきが大きくなる、又は細胞質の像をおもに含む第一領域の、線維の像をおもに含む第二領域に対する面積比が小さくなるといった変化を挙げることができる。前処理の内容は、例えば第一領域が選択されているときに、その輝度値の分散値が所定の値以下の場合には、前処理として第一領域にオープニングの処理が施される、というように決定される。または、複数の外観上の変化に照らして決定されてもよい。例えば、第一領域の輝度値の分散値が所定の値を超え、かつ、第二領域に対する面積比が所定の値を超える場合には、第一領域をさらに分割し、この分割によって得た領域のうち、平均輝度のより高い領域にオープニングの処理が施される、というように決定されてもよい。
【０１０７】
これにより、入力された画像又は選択されたその領域に写る、目的の構造物の輪郭をより適切に抽出することができる。
【０１０８】
このような変化は、例えば病理専門医等の知見を得てあらかじめ定めることができる。また、これらの変化の複数に基づいて前処理の内容が決定されてもよい。
【０１０９】
また、上記において輪郭抽出部１５０が輪郭抽出の前に行う領域の選択から前処理までは、画像分割部１３０による、分割の処理後の処理として実行されてもよい。つまり、画像の複数の領域への分割後であって、輪郭抽出の実行前に行われればよい。なお、上述のとおり、輪郭抽出部１５０及び病変範囲特定部１７０は、病理診断装置１０において、演算処理装置によってプログラムが実行されることで実現される機能的な構成要素であり、各構成要素への動作としての上記の各手順の分担は、説明のための便宜的なものである。上記とは異なる分担であっても、合理的である限り本発明の意図するところである。また、画像取得部１１０、画像分割部１３０、及び診断結果出力部１９０を含め、いずれの機能的な構成要素間での分担についても同様である。
【０１１０】
また、動作の各手順の順序は上記に限定されず、合理的である限り入れ替えられてもよいし、そのために各手順において変更が加えられてもよい。例えば、領域の選択は、輪郭の抽出に先行して行われず、すべての領域について輪郭抽出又は病変範囲の特定まで行われてもよい。領域の選択は、その後に各領域での輪郭抽出又は病変範囲の特定の結果に基づいて実行されてもよい。病変の対象に用いられる構造物をより高い割合で含む領域の選択の基準が十分に定まっていない場合、又は例外的な画像情報を含む病理画像で病理診断が行われる場合に、このように選択が後に回されることが考えられる。
【０１１１】
［４．実施例１］
次に、本実施の形態に係る病理診断装置１０の実施例を説明する。この説明では、病理診断装置１０を用いて、本発明の着想の基になった肝生検画像を用いたＮＡＳＨの兆候の有無に関する診断を例に用いる。なお、以下の実施例では、ＯｐｅｎＣＶにて提供される統計処理、正規化、領域分割、輪郭抽出、及び欠け検出のための各ライブラリ、並びに必要に応じて、本発明者らが用意したＣ＋＋で記述されたプログラムがこれらのライブラリと組み合わせて利用された。
【０１１２】
図７Ａは、本実施例にて用いられた肝生検画像の原画像であり、図７Ｂは、当該原画像のヒストグラムを示す。ただし、実際の原画像は、標本化の過程でヘマトキシリン・エオジン染色が施されたカラーの画像であった。図７Ｂにおいて、上から順にこの原画像の輝度、Ｒ値、Ｇ値、Ｂ値のヒストグラムである。
【０１１３】
この肝生検画像に画像分割部１３０による混合ガウス分布法を適用（ステップＳ２０）して得られたのが、図８Ａ、図９Ａ及び図１０Ａに示す画像であり、それぞれの画像の輝度、Ｒ値、Ｇ値及びＢ値のヒストグラムを図８Ｂ、図９Ｂ、図１０Ｂに示す。
【０１１４】
図８Ａに示されるのは、最も平均輝度が高い第一領域の画像であり、細胞質に対応する領域がおもに写る画像（以下では細胞質領域画像ともいう）である。図９Ａに示されるのは、次に平均輝度が高い第二領域の画像であり、アクチン等の線維に近い構造物又は線維に対応する領域がおもに写る画像（以下では線維領域画像ともいう）である。図１０Ａに示されるのは、最も平均輝度が低い第三領域の画像であり、細胞核に対応する領域がおもに写る画像である。
【０１１５】
ヘマトキシリン・エオジン染色では、細胞核はヘマトキシリンによって青紫色に染色される。また、細胞質及び線維はエオジンによって、材料又は構造が異なる構造物の種類ごとに、赤からピンクにかけての異なる濃度に染色される。このように構造物の種類によって異なる染色の結果は、混合ガウス分布法を利用する構造物ごとの領域に画像を分割するにあたって好都合に利用された。
【０１１６】
次に、本発明者らは、輪郭抽出部１５０に、分割の結果得られたこれらの３つの画像から、輪郭抽出の対象として用いる画像を選択させた（ステップＳ３０）。
【０１１７】
ＮＡＳＨに関する診断は、脂肪変性をきたした肝細胞に、ＢＨとしてＮＡＳＨの兆候を示す特徴が認められるか否かに基づいて行われる。ＢＨは変性の進行につれて、通常の肝細胞に比べて淡明化し、丸みを帯びて目立つ腫大となる。したがって、細胞質領域画像から細胞又はその主たる構造物の輪郭を抽出するというのはひとつの選択肢として可能性がある。
【０１１８】
しかしながら、ＮＡＳＨが進行すると肝組織の線維化が進み、進行がある程度に達すると、ＢＨには線維の一部からなる顆粒状の凝集物が含まれるようになる。この凝集物により、生検画像で平面視的に把握される肝細胞の形状は、本来の丸みを帯びた形状から欠けているように見える場合があることが経験豊かな病理医には知られていた。この点を利用して、ある程度進行したＮＡＳＨの可能性がある場合には、線維領域画像で輪郭抽出を行う方が良好な結果が得られる可能性もある。つまり、ここで第一領域の画像と第二領域の画像のいずれを使うかについての判定が何らかの条件に照らして可能であれば、診断をより効率よく行うことができる。
【０１１９】
ここで本発明者らは、多数の症例の肝生検画像を検討し、線維化が進むことで増加する、細胞質領域画像における線維の像の割合を画像情報から把握するひとつの手法を経験的に見出していた。これは、第一領域における、Ｂ値の度数分布における２つの極大値の比率に見られる傾向から導かれたものである。
【０１２０】
その傾向とは、２つの極大値を、階調値のより高い第一極大値とより低い第二極大値とした場合（図８Ａ参照）に、線維化が進んでいない症例では、第二極大値は第一極大値に比べて小さいが、線維化が進んだ症例ほど、第一極大値に対する第二極大値の比率が高くなるというものである。これは、図９Ｂのヒストグラムにも見られるように、染色された線維は細胞質に比べてより階調の低い青色成分を中心に含むことから生じる傾向であると考えられる。
【０１２１】
本実施例では、本発明者らは、輪郭抽出部１５０に、Ｂ値の分布において第一極大値に対する第二極大値の比率が閾値０．５５より大きい場合に、輪郭を抽出する対象の画像として線維領域画像を選択させた。本実施例の症例では、この比率が０．５５を下回ったため、細胞質領域画像、つまり第一領域の画像を、輪郭を抽出する対象の画像として選択した。
【０１２２】
選択された細胞質領域画像には、輪郭抽出部１５０によって、輪郭抽出の処理の前処理としてオープニング処理が行われた。図１１は、図８Ａの第一領域の画像に、オープニング処理を行った画像である。図８Ａの画像から明るい領域に含まれる暗い小領域が消滅している。
【０１２３】
次いで、輪郭抽出部１５０によって、オープニング処理後の第一領域の画像にＳｕｚｕｋｉ８５アルゴリズムを適用して輪郭の抽出が行われた（ステップＳ４０）。
【０１２４】
次に、本発明者らは、病変範囲特定部１７０に、病理範囲の特定の処理を実行させた（ステップＳ５０）。
【０１２５】
本発明者らは、病変範囲特定部１７０に、抽出された輪郭の外接楕円を算出させ、この外接楕円の面積に対する輪郭の内部の面積の比率を求めさせ、この比率が閾値０．９７０以下の場合に、当該輪郭をＢＨの輪郭の候補として扱わせた。この閾値０．９７０の値は、本発明者らが経験的に求めた、本実施例における第七閾値の例である。
【０１２６】
また、本発明者らは、病変範囲特定部１７０に、上記の外接楕円の長径に対する短径の比を求めさせ、この比が閾値０．９９９以下の場合に、当該輪郭をＢＨの輪郭の候補として扱わせた。この閾値０．９９９は、本発明者らが経験的に求めた、本実施例における第一閾値の例である。
【０１２７】
また、本発明者らは、病変範囲特定部１７０に、抽出された各輪郭に含まれる画素の画素値の分散を示す値が閾値０．４３を超える場合に、当該輪郭をＢＨの輪郭の候補として扱わせた。この閾値０．４３は、本発明者らが経験的に求めた、本実施例における第八閾値の例である。
【０１２８】
次に本発明者らは、病変範囲特定部１７０に、上記の第一閾値、第七閾値、及び第八閾値のいずれかをそれぞれ含む３つの条件のすべてを満たす輪郭を、ＢＨの輪郭の候補として絞り込ませた。
【０１２９】
次に本発明者らは、病変範囲特定部１７０に、上記のＢＨの候補である輪郭について、この輪郭の外接図形との距離として、この輪郭の凸包との距離を求めさせた。この距離の求め方には種々のバリエーションが考えられるが、本実施例では、抽出された輪郭の、凸包から乖離して内側に凹んだ部分の両端を結んだ直線から当該部分で最も遠い点までの距離を用いた。そしてこの距離が所定の閾値を超える輪郭を、ＢＨの輪郭と病変範囲特定部１７０に判定させた。この輪郭の範囲は、病変範囲特定部１７０が特定する病変範囲である。
【０１３０】
図１２Ａは、このようにして特定された病理範囲の結果を示す図である。また、図１２Ｂは、原画像を見た肝臓病理医による所見を示す図である。図１２Ａの画像には、輪郭抽出部１５０によって抽出された輪郭が表れている。また、その輪郭のうち、病変範囲特定部１７０によってＢＨの輪郭と特定されたものについては、当該輪郭がその凸包から内側への乖離している部分の両端が三角形の記号、これらの両端を結んだ直線から最も遠い点がクロス状の記号で示されている。このような線又は各記号は、病理診断に用いられる特徴又は特定された病変範囲を画像上で提示するために用いられるものの例である。
【０１３１】
一方、図１２Ｂの肝臓病理医による所見を示す画像では、実施例で病理診断装置１０に入力された原画像上で、病変範囲特定部１７０が特定した病変範囲に相当する細胞の像が長円で示されている。また、病理診断装置１０の特定結果と関係なく、肝臓病理医がこの原画像を見てＢＨであると判定した細胞を矢印で指している。
【０１３２】
図１２Ａ及び図１２Ｂからわかるように、病変範囲特定部１７０は、一部は肝臓病理医がＢＨであると判定していない細胞もＢＨと判定したが、肝臓病理医がＢＨであると判定した細胞はもれなくＢＨと判定した。
【０１３３】
本発明者らは、病理診断装置１０を用いて３１件の肝生検画像で上記の実施例と同様にＢＨの判定を行い、その判定の結果と肝臓病理医による所見とを照合した。３１件全体では、病理診断装置１０がＢＨと判定した細胞には、肝臓病理医の所見でＢＨと判定された５１個の細胞のうち４５個が含まれ、指摘率は約８８．２％であった。
【０１３４】
［５．実施例２］
本実施例では、病理診断装置１０を用いて、肝生検画像において、抽出した輪郭とその外接図形との形状又は面積比に関する条件を用いてＢＨの候補を特定し、そのうちで長径が１５μｍ以上であるものから、血管又は脂肪滴を除外するための条件を用いて最終的なＢＨの特定を行った。なお、ＢＨの候補の特定は、次の２段階で行った。
（段階１）輪郭の外接図形に対する欠け、へこみに基づく特定
（段階２）面積比に基づく特定
なお、段階１で用いられた手法は、段階２で用いられた手法に比べて処理を速く行うことができるが、ＢＨの特定に漏れが出やすい傾向があること、段階２で用いられた手法は、ＢＨの特定に漏れは出にくいが、正常細胞等を過剰にＢＨと判定しやすい傾向があることを、実施の時点で本発明者らは把握していた。
【０１３５】
血管の除外については、以下の条件を組み合わせて用いた。
【０１３６】
輪郭内の面積の外接図形の面積に対する比：＜０．７９９
外接図形のアスペクト比：＜０．７２
輪郭内の領域の画素値：０．１５＜Ｒ＜０．２９、０．４０＜Ｇ、かつＢ＜０．２９
なお、これらの条件に含まれるパラメータは、本発明者らが経験的に得た値である。
【０１３７】
図１３Ａは、上記の条件を用いて肝生検画像で検知されて除外される血管の像の例を示す図である。なお、実際の処理はカラーの肝生検画像で行われており、本図では、その結果として除外された血管の像（２か所）を、破線の長円で囲んで示している。
【０１３８】
また、脂肪滴の除外には以下の５種類の条件（又は条件の組み合わせ）を用いた。
（条件１）確実に脂肪滴である領域を除外するための条件の組み合わせ
輪郭内の面積の外接図形の面積に対する比：＜０．９７０
外接図形のアスペクト比：＜０．９１０
（条件２−１）くっついた２つの脂肪滴である領域を除外するための条件の組み合わせ
輪郭内の面積の外接図形の面積に対する比：＜０．８０
外接図形のアスペクト比：＜０．６０
（条件２−２）くっついた２つの脂肪滴である領域を除外するための条件
Ｒの分散値＜０．２９
（条件３）くっついた３つの脂肪滴である領域を除外するための条件の組み合わせ
輪郭内の面積の外接図形の面積に対する比：＜０．７２
外接図形のアスペクト比：＜０．７０
輪郭内の領域の赤色分散値＜０．２２
（条件４）上記以外の１つの脂肪滴である領域を除外するための条件の組み合わせ
輪郭内の面積の外接図形の面積に対する比：＜０．９０
外接図形のアスペクト比：＜０．７７０
輪郭内の領域の赤色分散値＜０．２９
なお、（条件２−１）の組み合わせ及び（条件２−２）は（条件１）に合致しないもの、（条件３）の組み合わせはさらに（条件２−１）の組み合わせ及び（条件２−２）のいずれにも合致しないもの、（条件４）の組み合わせはさらに（条件３）にも合致しないものに適用した。また、これらの条件に含まれるパラメータは、本発明者らが経験的に得た値である。
【０１３９】
図１３Ｂは、上記の条件を用いて肝生検画像で検知されて除外される脂肪滴の像の例を示す図である。なお、実際の処理はカラーの肝生検画像で行われており、本図では、その結果として除外された脂肪滴の像（６か所）を、破線の長円で囲んで示している。
【０１４０】
図１４は、これらの条件を用いて実施したＢＨの判定結果を示す。表中、ＢＨ数は、肝生検画像内で肝臓病理医が指摘したＢＨの個数である。また、指摘数は、病理診断装置１０によって上記条件を用いて指摘したＢＨの個数である。また、正解数は、病理診断装置１０が指摘したＢＨのうち、肝臓病理医が指摘したものと一致した個数、誤答数は、病理診断装置１０が指摘したＢＨのうち、肝臓病理医がＢＨではないと診断した細胞の個数である。正診率は、正解数／指摘数、誤診率は、誤答数／指摘数、指摘率は、正解数／ＢＨ数である。
【０１４１】
また、図１５Ａ、図１５Ｂ、図１５Ｃ、図１５Ｄは、それぞれ図１４の表に挙がる検体Ｅ、Ｆ、Ｈ、Ｉの肝生検画像であり、ＢＨの判定例を示す。図１５Ａ〜図１５Ｄのそれぞれにおいて、実線の円は段階１及び段階２の両方で特定されたＢＨの領域、点線の円は段階２のみで特定されたＢＨの領域、矢印は、肝臓病理医が別途行った目視で指摘したＢＨを示す。
【０１４２】
これらの図からわかるように、肝臓病理医が指摘したＢＨの９０％以上が病理診断装置１０によって特定されている。
【０１４３】
個別の例をみると、検体Ｅの例のように誤診率が高いものがある。ただし、肝臓病理医によれば、この例において画像右半分強の上端から約三分の二のやや明るい範囲は、ＢＨに近い細胞が集団を形成している領域である。つまり、この領域の誤答は正解に近い、又は肝臓病理医にとっても今後のＢＨへの変化具合を注視すべき箇所の細胞が特定されたともいえる。
【０１４４】
検体Ｆの例は、段階１及び２いずれにおいても、肝臓病理医と同等の結果が得られた好例である。
【０１４５】
検体Ｈ及びＩの例では、肝臓病理医が指摘したものの特定については比較的良好な結果を示したが、段階１及び２のいずれで特定されたものにも誤答があった。この点は、さらなる症例の積み重ねによって新たな条件又はより適切なパラメータを得ることで今後の誤診率の低下が可能である。なお、検体Ｉは図１３Ａにて示した、血管の像が除外された例である。段階１又は段階２でいったんＢＨと特定された領域であっても、血管の像の除外がなされた結果、誤答が削減された。
【０１４６】
［６．他の実施の形態］
上記の実施例１では、ＢＨの輪郭の判定に３つの条件を用いたが、これらの３つの条件を組み合わせて用いることは本発明に必須ではない。
【０１４７】
上記の実施の形態に係る病理診断装置１０を用いて多くの症例が積み重ねられることで、輪郭抽出より前に行われる処理に用いられるより適切なパラメータ、判定の条件に含まれる各閾値のより適切な値が得られることで、より少ない条件で同程度の確度での判定が可能であると考える。なお、上記の各閾値の値はあくまで例である。本発明が他の疾病の病理診断に応用されれば異なる値が用いられることは言うまでもなく、ＮＡＳＨの病理診断においても、異なる閾値が用いられてよい。
【０１４８】
また、実施の形態に記載した条件のうち、上記の本実施例では用いられなかった条件もＮＡＳＨに関する診断に利用可能である。例えば、抽出された細胞質の輪郭とその凸包又は外接楕円との距離のみに基づくＢＨに関する判定が高い精度を示した症例もあった。
【０１４９】
また、上記の実施の形態及び実施例では、外接図形として外接楕円及び凸包を例示したが、抽出された輪郭に外接する正多角形等の、外接楕円又は凸包以外の外接図形が用いられてもよい。用いられる図形は、診断のための観察の対象である細胞又は構造物の、正常な場合又は病変をきたしている場合の形状に応じて決定される。
【０１５０】
また、上記の実施例においては、輪郭の抽出の対象である領域の選択を、第一領域の画像における青色成分の分布に基づいて行ったが、これに限定されない。本発明者らは、肝生検細胞の画像には、緑色成分についても青色成分ほど高くはないが、線維化の度合いと相関する有意な傾向を見出した。したがって、細胞質領域画像における緑色成分の極大値を領域の選択の基準に用いることが可能であり、青色成分と併用されてもよい。
【０１５１】
また、度数分布から導かれる他の数値が用いられてもよい。例えばある画素値の度数分布が多峰性である場合に、各峰の所定の分散の範囲内での面積の比率に基づいて、輪郭の抽出の対象である領域が選択されてもよい。
【０１５２】
また、複数の画素値に基づいて領域が選択されてもよい。例えば輝度値及びＲＧＢの各色値の少なくとも２つ以上について、上記の各条件に照らした判定を行い、その結果の組み合わせに基づいて領域が選択されてもよい。また、２つの画素値の度数分布の面積の比率、最大値の大小関係等に基づいて領域が選択されてもよい。
【０１５３】
また、本発明がＮＡＳＨ以外の疾患の病理診断に応用されれば、領域の選択の基準に用いられる画素値、極大値等の統計量（特徴量）、及び閾値は、診断対象の組織に生じる病変、又は標本化で用いられる染色液の種類等に応じて上述の各例とは異なるものであってもよく、ＮＡＳＨの病理診断においても、上記の実施例とは異なる色値、又は特徴量等が基準に用いられてよい。
【０１５４】
また、領域の選択の基準に用いられる数値は、上記の実施例のような第一画像から得られるものに限定されない。各領域の画素値に基づく特徴量のいずれかが利用されてもよいし、又は複数の特徴量から導かれる数値が利用されてもよい。
【０１５５】
また、上記の例では生検画像の原画像全体のＢ値に関する１つの特徴量を用いて領域の選択がされたが、原画像全体の複数の画素値に関する複数の特徴量から導かれる数値が利用されてもよい。各領域の画素値に基づく特徴量を利用する選択手法で精度の高い選択が可能ではあるが、生検画像の分割の処理のみで長時間を要する場合に、さらに各領域での特徴量を求めることを要しない簡易的な選択手法として利用されてもよい。
【０１５６】
また、図１２Ａ及び図１２Ｂに示される各画像に見られる要素が、診断結果出力部１９０から出力される診断結果に含まれてもよい。例えば、診断結果出力部１９０から出力される画像データが示す画像は、元の病理画像上に、図１２Ａの画像に見られる輪郭の線又は記号のように、病理診断に用いられる画像の特徴を示す要素が重畳されたものであってもよい。あるいは、図１２Ｂの画像に見られる丸い囲み又は矢印等のように、元の病理画像に重畳される図形を用いて特定された病変範囲が提示されてもよい。また、これらの線、記号、又は図形の、元の病理画像に重畳しての表示／非表示がユーザの操作で切り替え可能な映像として出力されてもよい。また、ユーザに提示される画像には、元の病理画像に代えて、その明るさ、色調、又はコントラスト等を補正して得られた画像が適宜用いられてもよい。
【０１５７】
このような画像から、例えばユーザである病理医は、病変をきたした細胞、又はその蓋然性の高い細胞を容易に把握して、自らの診断の参考に用いることができる。また、病理医は、その画像を見て、病理診断装置１０において各処理で用いられるパラメータをさらに調整してもよい。これにより、ユーザは各症例にあわせたより適切な病理診断画像を病理診断装置１０から得ることができる。
【０１５８】
［７．効果］
本実施の形態に係る病理診断装置１０は、画像分割部１３０と、輪郭抽出部１５０と、病変範囲特定部１７０と、診断結果出力部１９０とを備える。
【０１５９】
画像分割部１３０は、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割する。
【０１６０】
輪郭抽出部１５０は、これらの複数の領域から選択された１つの領域において輪郭を抽出する。
【０１６１】
病変範囲特定部１７０は、抽出されたこの輪郭を用いて、上記の画像に写る病変範囲を特定する。
【０１６２】
診断結果出力部１９０は、特定されたこの病変範囲に基づく診断結果を出力する。
【０１６３】
これにより、診断対象の部位が写る画像から、人の視覚によっては安定的な発見が困難な特徴を精度よく捉え、この特徴に基づいて当該画像に写る病変範囲が特定される。また、特定された病変の範囲は、病理医等のユーザによって診断に利用な可能な形で提示される。
【０１６４】
例えば、病変範囲特定部１７０は、抽出された輪郭の外接図形を算出し、この外接図形に基づいて病変範囲を特定してもよい。
【０１６５】
細胞の内外には、病変の有無又は程度に応じて形状が変化する構造物がある。病理画像に写るこのような構造物の形状を、このような外接図形に基づいて解析することで病変範囲を特定することができる。
【０１６６】
一具体例として、病変範囲特定部１７０は、上記の外接図形の長径に対する短径の比率が第一閾値以下である場合、当該輪郭内の範囲を病変範囲として特定してもよい。
【０１６７】
これにより、正常であれば縦横比が１：１に近い構造物等の形状に基づいて病変範囲が特定される。
【０１６８】
なお、外接図形について長手方向及び短手方向を特定し得ない場合もあるが、本開示においては、そのような場合も便宜的に径の一方を長径、他方を短径として扱う。
【０１６９】
他の具体例として、病変範囲特定部１７０は、上記の外接図形からその中にある抽出された輪郭までの距離に基づいて病変範囲を特定してもよい。
【０１７０】
これにより、特定の構造物の変形の度合いに基づいて病変範囲が特定される。
【０１７１】
より具体的には、病変範囲特定部１７０は、抽出された輪郭について、
（条件１）当該輪郭が、その外接図形までの距離が第二閾値を超える画素を所定の個数より多く含む、
（条件２）当該輪郭が、その外接図形までの距離が第三閾値を超える画素を所定の割合より多く含む、
（条件３）外接図形の周囲長に対する外接図形までの距離の比率が第四閾値を超える、
（条件４）前記外接図形の長径に対する外接図形までの距離の比率が第五閾値を超える、又は
（条件５）前記外接図形の短径に対する外接図形までの距離の比率が第六閾値を超える
のいずれかの条件が満たされる場合、当該輪郭内の範囲を病変範囲として特定してもよい。
【０１７２】
いずれの条件でも、抽出された輪郭の、その外接図形との形状の差の大きさ、別の言い方をすれば輪郭が抽出された構造物は、ある程度を超える変形をしているか否かに関する判定がされる。これにより、特定の構造物の変形の度合いに基づいて病変範囲が特定される。
【０１７３】
また、病変範囲特定部１７０は、抽出された輪郭の、その外接図形に対する面積の比率が第七閾値以下である場合、当該輪郭内の範囲を病変範囲として特定してもよい。
【０１７４】
この条件では、抽出された輪郭の面積とその外接図形の面積との差に基づいて、構造物の形状がある程度を超えていびつか否かに関する判定がされる。これにより、特定の構造物の変形の度合いに基づいて病変範囲が特定される。
【０１７５】
また、上記の外接図形は、抽出された輪郭の凸包又は外接楕円であってもよい。
【０１７６】
これにより、例えば構造物の輪郭に凹みがあるか否か、あればその凹みの大きさに基づいて当該構造物の病変の有無又はその程度が判定される。上記の実施例では、肝細胞の細胞質の輪郭とその凸包を用いて、当該肝細胞がＢＨであるか否かの判定がなされた。
【０１７７】
なお、本開示において、「楕円」は真円を包含する概念の語として用いられている。
【０１７８】
また、病変範囲特定部１７０は、抽出された輪郭内に含まれる画素の画素値の分散を示す値が第八閾値を超える場合、当該輪郭内の範囲を病変範囲として特定してもよい。
【０１７９】
この条件では、例えば所定の病変に伴って不純物を内包する構造物が、この不純物をある程度の割合を超えて含むか否かに関する判定がされる。これにより、特定の構造物が含む不純物の多寡に基づいて病変範囲が特定される。
【０１８０】
また、画像分割部１３０は、上記の画像の輝度値の出現頻度の度数分布を、混合ガウス分布法を用いて複数の正規分布に分割し、これらの複数の正規分布のそれぞれに対応する画素の集合を同一の領域として扱うことで前記画像を前記複数の領域に分割してもよい。
【０１８１】
これにより、ひとつの画像を、材料又は構造が互いに異なる構造物をそれぞれおもに含む複数の領域に分割することができる。
【０１８２】
また、上記の画像はカラー画像であって、輪郭抽出部１５０は、画像分割部１３０による分割によって得られた当該カラー画像の第一領域又は第二領域を構成する画素の所定の色の階調値の出現頻度に基づいて複数の領域のいずれか１つを選択し、選択した当該領域から輪郭を抽出してもよい。
【０１８３】
これにより、病変の有無又は程度によって変化する構造物の画像情報に基づいて、輪郭抽出により適した領域を選択することができる。
【０１８４】
より具体的な例として、複数の領域には、第一領域及び前記第一領域より平均輝度が低い第二領域が含まれ、上記の出現頻度の度数分布は、第一極大値及び前記第一極大値よりも低い階調値における極大値である第二極大値を有しているとき、輪郭抽出部１５０は、第一極大値に対する第二極大値の比率が所定の閾値以下の場合、輪郭を抽出する対象として第一領域を選択してもよい。また、第一極大値に対する第二極大値の比率が所定の閾値より大きい場合、輪郭を抽出する対象として第二領域を選択してもよい。
【０１８５】
病変をきたしていなければ第二領域に写る構造物におもに含まれるある材料が、病変によって第一領域に含まれる量が増すことがある。このような場合に、この材料が第一領域に含まれる量がある程度を超えると、病変が進行していないときに輪郭を抽出する第一領域ではなく、第二領域を用いる、というように、輪郭の抽出の対象となる領域を切り替えることができる。
【０１８６】
また、上記の実施の形態では、病理診断装置を例として本発明の説明がなされたが、本発明は、当該病理診断装置において実行される処理のうち、画像処理のための手順を含む画像処理方法としても実現可能である。また、本発明は、病理診断装置１０で行われる各処理の手順を汎用の電子計算機が備える、又は専用の病理診断装置のマイクロコントローラに含まれる演算処理装置（プロセッサ）に実行させるプログラムとしても実現可能である。上記のような効果は、これらの方法又はプログラムによっても得られる。
【０１８７】
また、上記の実施の形態及び実施例では、本発明は生検画像を用いた病理診断を行うための装置等として実現され、診断者の経験、標本化の工程、又は撮影等の条件によって安定的な診断が困難であったという問題を解消するものとして説明されている。
【０１８８】
ここで、本発明は蓄積された過去の病理画像を資産として活用することも可能であることから、医療の現場のみならず、研究においても有用である。
【０１８９】
また、同一の症例についての病理画像による診断結果及び血液検査による診断結果がある程度まとまって利用可能であれば、統計的にこれらの結果の相関を得ることで、より信頼性が高く早期のスクリーニングに利用可能なバイオマーカーが発見される可能性がある。その結果、検査対象者への身体的負担及びリスクが採血よりも高い外科的な手法での生検用の組織の採取の必要性を下げることができる。さらには、従来は特別な検査が必要だった疾病の検査を、血液のみですでに高い確度で検査が可能な他の病気とあわせて容易に行うことを可能にする本発明は、公衆の健康増進に資する。
【０１９０】
［８．その他］
ここまでは、ＮＡＳＨの病理診断に関連して本発明を具体的に説明したが、本発明が適用可能な疾患はＮＡＳＨに限定されない。例えば、拡張型心筋症その他の線維化を伴う細胞変性が生じる各種の疾患、大腸ポリープ等のがんに移行する可能性がある疾患、又はがんとの判別が難しい疾患への適用が考えられる。このような疾患の生検画像で人の目には容易に分からない細胞又はその内外の構造体の形状、輝度、色等の特徴を本発明に係る病理診断装置で捉え、早期で正確な診断をすることができる。
【０１９１】
なお、このようにある疾患に本発明の技術を新たに適用する場合、病変範囲の特定に用いられる条件及びこの条件に含まれる閾値は、生検画像の原画像及び画像分割部が原画像を分割して得られた各領域の画素情報（輝度、ＲＧＢ値、及びこれらのヒストグラム）を用いることができる。
【０１９２】
より具体的には、これらの画素情報から導かれる統計量の特徴と、当該生検画像の症例の患者の病歴及び病状とを統計的に分析してこれらの相関を見出すことで、病変の有無又は進行度と関連の高い画像情報の統計量が特定される。そして、この統計量に関する条件の内容及び閾値が、多数の症例から導かれる。上記の実施例で本発明者らが経験的に求めて用いた条件及びその閾値もこのようにして導かれたものである。
【０１９３】
このような特徴の利用例としては、原画像を分割して得られた各領域の画素値（輝度値及びＲＧＢの各色値）が１以上の画素の個数（領域面積）、画素値の度数分布の極値、最頻値、標準偏差及びヒストグラム全体又は一部の面積又は裾幅を特徴量として用いるケースが挙げられる。また、原画像についてのこれらの特徴量が用いられてもよい。例えば本発明者らは、ＮＡＳＨの病理診断に用いる条件及びその閾値の検討の過程で、細胞質領域及び原画像のＢ値及びＧ値のヒストグラムの裾幅も求めた。
【産業上の利用可能性】
【０１９４】
本発明は、診断対象の部位が写る画像から、人の視覚によっては安定的な発見が困難な病変の特徴を精度よく特定するための病理診断装置又は画像処理方法、及び病理診断装置を実現するためのプログラムとして利用可能である。
【符号の説明】
【０１９５】
１０    病理診断装置
２０    撮像装置
３０    記憶装置
４０    記憶媒体
１１０  画像取得部
１３０  画像分割部
１３１  統計処理部
１３３  正規化部
１３５  領域分割部
１５０  輪郭抽出部
１７０  病変範囲特定部
１９０  診断結果出力部
【図１Ａ】
2019044579.tif 000003
【図１Ｂ】
2019044579.tif 000004
【図２】
2019044579.tif 000005
【図３】
2019044579.tif 000006
【図４Ａ】
2019044579.tif 000007
【図４Ｂ】
2019044579.tif 000008
【図４Ｃ】
2019044579.tif 000009
【図５】
2019044579.tif 000010
【図６Ａ】
2019044579.tif 000011
【図６Ｂ】
2019044579.tif 000012
【図６Ｃ】
2019044579.tif 000013
【図７Ａ】
2019044579.tif 000014
【図７Ｂ】
2019044579.tif 000015
【図８Ａ】
2019044579.tif 000016
【図８Ｂ】
2019044579.tif 000017
【図９Ａ】
2019044579.tif 000018
【図９Ｂ】
2019044579.tif 000019
【図１０Ａ】
2019044579.tif 000020
【図１０Ｂ】
2019044579.tif 000021
【図１１】
2019044579.tif 000022
【図１２Ａ】
2019044579.tif 000023
【図１２Ｂ】
2019044579.tif 000024
【図１３Ａ】
2019044579.tif 000025
【図１３Ｂ】
2019044579.tif 000026
【図１４】
2019044579.tif 000027
【図１５Ａ】
2019044579.tif 000028
【図１５Ｂ】
2019044579.tif 000029
【図１５Ｃ】
2019044579.tif 000030
【図１５Ｄ】
2019044579.tif 000031
【国際調査報告】
2019044579.tif 000032
2019044579.tif 000033
2019044579.tif 000034
2019044579.tif 000035