(57)【要約】  励起光を照射した生体から発生する蛍光のうち撮像面以外の蛍光の影響を除去した蛍光画像内の蛍光の強度を算出する蛍光強度算出部と、蛍光強度算出部が算出した複数の蛍光画像であって同一生体の異なる断面に対応する複数の蛍光画像の蛍光強度から同一生体の３次元的な蛍光強度分布を作成する蛍光強度分布作成部と、所定の生体組織の蛍光強度情報および検出対象の細胞の蛍光強度情報を記憶する蛍光強度情報記憶部と、蛍光強度分布作成部が作成した蛍光強度分布を用いて、蛍光強度情報記憶部から読み出した所定の生体組織の蛍光強度情報と一致する生体組織を判別する生体組織判別部と、蛍光強度分布作成部が作成した蛍光強度分布を用いて、蛍光強度情報記憶部から読み出した検出対象の細胞の蛍光強度情報と一致する細胞を生体組織判別部が判別した生体組織ごとに判別する細胞判別部と、細胞判別部が判別した細胞の情報に基づいて生体組織の状態を判定する状態判定部と、を備える。
2018008136.tif 000002
【特許請求の範囲】
【請求項１】
励起光を照射した生体から発生する蛍光のうち撮像面以外の蛍光の影響を除去した蛍光画像内の蛍光の強度を算出する蛍光強度算出部と、
前記蛍光強度算出部が算出した複数の蛍光画像であって同一生体の異なる断面に対応する複数の蛍光画像の蛍光強度から前記同一生体の３次元的な蛍光強度分布を作成する蛍光強度分布作成部と、
所定の生体組織の蛍光強度情報および検出対象の細胞の蛍光強度情報を記憶する蛍光強度情報記憶部と、
前記蛍光強度分布作成部が作成した前記蛍光強度分布を用いて、前記蛍光強度情報記憶部から読み出した前記所定の生体組織の蛍光強度情報と一致する生体組織を判別する生体組織判別部と、
前記蛍光強度分布作成部が作成した前記蛍光強度分布を用いて、前記蛍光強度情報記憶部から読み出した前記検出対象の細胞の蛍光強度情報と一致する細胞を前記生体組織判別部が判別した生体組織ごとに判別する細胞判別部と、
前記細胞判別部が判別した細胞の情報に基づいて前記生体組織の状態を判定する状態判定部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記生体組織判別部は、
前記複数の蛍光画像の各々に対して蛍光強度の閾値処理を行って２値化した画像の粒子解析を行うことにより、前記同一生体に存在する前記所定の生体組織を１つずつ判別することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生体組織判別部は、
前記複数の蛍光画像の各々に対して機械学習を行うことにより、前記同一生体に存在する前記所定の生体組織を１つずつ判別することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記状態判定部は、
前記生体組織ごとに前記検出対象の細胞の特徴量を計測し、
前記生体組織内の前記細胞の特徴量に応じて前記生体組織の状態を判定することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項５】
前記特徴量は、前記生体組織内の前記検出対象の細胞の数であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記特徴量は、前記生体組織内の前記検出対象の細胞の体積の統計値であることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記特徴量は、前記生体組織内の前記検出対象の細胞の体積の総計であることを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記特徴量は、前記生体組織内の前記検出対象の細胞の表面積の統計値であることを特徴とする請求項４に記載の画像処理装置。
【請求項９】
前記特徴量は、前記生体組織内の前記検出対象の細胞の表面積の総計であることを特徴とする請求項４に記載の画像処理装置。
【請求項１０】
前記所定の生体組織が消化管の腺管であることを特徴とする請求項１〜９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記腺管は未染色であることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記細胞がエンテロクロマフィン細胞であり、前記励起光の波長帯域が３４０〜３９０ｎｍであり、前記蛍光画像を撮像する波長帯域が４２０〜７００ｎｍであることを特徴とする請求項１〜１１のいずれか一項に記載の画像処理装置。
【請求項１３】
蛍光強度算出部が、励起光を照射した生体から発生する蛍光のうち撮像面以外の蛍光の影響を除去した蛍光画像内の蛍光の強度を算出する蛍光強度算出ステップと、
蛍光強度分布作成部が、複数の蛍光画像であって同一生体の異なる断面に対応する複数の蛍光画像の蛍光強度から前記同一生体の３次元的な蛍光強度分布を作成する蛍光強度分布作成ステップと、
生体組織判別部が、前記蛍光強度分布を用いて、所定の生体組織の蛍光強度情報および検出対象の細胞の蛍光強度情報を記憶する蛍光強度情報記憶部から読み出した前記所定の生体組織の蛍光強度情報と一致する生体組織を判別する生体組織判別ステップと、
細胞判別部が、前記蛍光強度分布を用いて、前記蛍光強度情報記憶部から読み出した前記検出対象の細胞の蛍光強度情報と一致する細胞を前記生体組織判別ステップで判別した生体組織ごとに判別する細胞判別ステップと、
状態判定部が、前記細胞判別ステップで判別した細胞の情報に基づいて生体組織の状態を判定する状態判定ステップと、
を含むことを特徴とする画像処理装置の作動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体を撮像した画像に対して処理を施す画像処理装置および画像処理装置の作動方法に関する。
【背景技術】
【０００２】
従来、生体の観察領域へ励起光を照射し、生体組織等の被観察物において発生する蛍光の強度分布を生成して観察用の蛍光画像を作成する技術が知られている。例えば、特許文献１には、光活性化蛍光物質を含む被観察物上に活性化光を集光し、活性化光の集光スポットで被観察物上の観察領域を走査し、その観察領域へ励起光を照射することによって蛍光強度分布を検出する光活性化限局顕微鏡が開示されている。この特許文献１には、光学系の光軸方向の標本高さを変化させながら蛍光画像を取得することによって３次元の蛍光像が得られることが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１０２３３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載の技術は、２次元の画像を重ねて３次元の画像を形成するに過ぎず、例えば大腸粘膜の腺管ごとに特定の細胞の情報を検出しようとした場合、異なる腺管を同一の腺管と混同してしまう可能性がある。このため、生体組織内の特定の細胞に関する正確な情報を取得することができず、生体組織の状態を精度よく判定することができなかった。【０００５】
本発明は、上記に鑑みてなされたものであって、生体に励起光を照射して得られる蛍光画像を用いて生体組織内の特定の細胞に関する情報を正確に取得し、生体組織の状態を精度よく判定することができる画像処理装置および画像処理装置の作動方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、励起光を照射した生体から発生する蛍光のうち撮像面以外の蛍光の影響を除去した蛍光画像内の蛍光の強度を算出する蛍光強度算出部と、前記蛍光強度算出部が算出した複数の蛍光画像であって同一生体の異なる断面に対応する複数の蛍光画像の蛍光強度から前記同一生体の３次元的な蛍光強度分布を作成する蛍光強度分布作成部と、所定の生体組織の蛍光強度情報および検出対象の細胞の蛍光強度情報を記憶する蛍光強度情報記憶部と、前記蛍光強度分布作成部が作成した前記蛍光強度分布を用いて、前記蛍光強度情報記憶部から読み出した前記所定の生体組織の蛍光強度情報と一致する生体組織を判別する生体組織判別部と、前記蛍光強度分布作成部が作成した前記蛍光強度分布を用いて、前記蛍光強度情報記憶部から読み出した前記検出対象の細胞の蛍光強度情報と一致する細胞を前記生体組織判別部が判別した生体組織ごとに判別する細胞判別部と、前記細胞判別部が判別した細胞の情報に基づいて前記生体組織の状態を判定する状態判定部と、を備えたことを特徴とする。【０００７】
本発明に係る画像処理装置は、上記発明において、前記生体組織判別部は、前記複数の蛍光画像の各々に対して蛍光強度の閾値処理を行って２値化した画像の粒子解析を行うことにより、前記同一生体に存在する前記所定の生体組織を１つずつ判別することを特徴とする。【０００８】
本発明に係る画像処理装置は、上記発明において、前記生体組織判別部は、前記複数の蛍光画像の各々に対して機械学習を行うことにより、前記同一生体に存在する前記所定の生体組織を１つずつ判別することを特徴とする。【０００９】
本発明に係る画像処理装置は、上記発明において、前記状態判定部は、前記生体組織ごとに前記検出対象の細胞の特徴量を計測し、前記生体組織内の前記細胞の特徴量に応じて前記生体組織の状態を判定することを特徴とする。【００１０】
本発明に係る画像処理装置は、上記発明において、前記特徴量は、前記生体組織内の前記検出対象の細胞の数であることを特徴とする。【００１１】
本発明に係る画像処理装置は、上記発明において、前記特徴量は、前記生体組織内の前記検出対象の細胞の体積の統計値であることを特徴とする。【００１２】
本発明に係る画像処理装置は、上記発明において、前記特徴量は、前記生体組織内の前記検出対象の細胞の体積の総計であることを特徴とする。【００１３】
本発明に係る画像処理装置は、上記発明において、前記特徴量は、前記生体組織内の前記検出対象の細胞の表面積の統計値であることを特徴とする。【００１４】
本発明に係る画像処理装置は、上記発明において、前記特徴量は、前記生体組織内の前記検出対象の細胞の表面積の総計であることを特徴とする。【００１５】
本発明に係る画像処理装置は、上記発明において、前記所定の生体組織が消化管の腺管であることを特徴とする。【００１６】
本発明に係る画像処理装置は、上記発明において、前記腺管は未染色であることを特徴とする。【００１７】
本発明に係る画像処理装置は、上記発明において、前記細胞がエンテロクロマフィン細胞であり、前記励起光の波長帯域が３４０〜３９０ｎｍであり、前記蛍光画像を撮像する波長帯域が４２０〜７００ｎｍであることを特徴とする。【００１８】
本発明に係る画像処理装置の作動方法は、蛍光強度算出部が、励起光を照射した生体から発生する蛍光のうち撮像面以外の蛍光の影響を除去した蛍光画像内の蛍光の強度を算出する蛍光強度算出ステップと、蛍光強度分布作成部が、複数の蛍光画像であって同一生体の異なる断面に対応する複数の蛍光画像の蛍光強度から前記同一生体の３次元的な蛍光強度分布を作成する蛍光強度分布作成ステップと、生体組織判別部が、前記蛍光強度分布を用いて、所定の生体組織の蛍光強度情報および検出対象の細胞の蛍光強度情報を記憶する蛍光強度情報記憶部から読み出した前記所定の生体組織の蛍光強度情報と一致する生体組織を判別する生体組織判別ステップと、細胞判別部が、前記蛍光強度分布を用いて、前記蛍光強度情報記憶部から読み出した前記検出対象の細胞の蛍光強度情報と一致する細胞を前記生体組織判別ステップで判別した生体組織ごとに判別する細胞判別ステップと、状態判定部が、前記細胞判別ステップで判別した細胞の情報に基づいて生体組織の状態を判定する状態判定ステップと、を含むことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、生体に励起光を照射して得られる蛍光画像を用いて生体組織内の特定の細胞に関する情報を正確に取得し、生体組織の状態を精度よく判定することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の一実施の形態に係る画像処理装置を備えた撮像システムの構成を示すブロック図である。
【図２】図２は、ヒトの正常な大腸粘膜の組織の断面を模式的に示す図である。
【図３】図３は、ヒトの正常な大腸粘膜の未染色標本を蛍光観察することにより取得した画像である。
【図４】図４は、ヒトの大腸粘膜であって大腸癌が発生した大腸粘膜の未染色標本を蛍光観察することにより取得した画像である。
【図５】図５は、本発明の一実施の形態において行う観察方法の概要を説明する図である。
【図６】図６は、本発明の一実施の形態に係る画像処理装置の判定用情報記憶部が記憶する判定用情報の構成例を示す図である。
【図７】図７は、本発明の一実施の形態に係る画像処理装置が実行する処理の概要を示すフローチャートである。
【図８】図８は、本発明の別の実施の形態に係る画像処理装置の判定用情報記憶部が記憶する判定用情報の構成例（第２例）を示す図である。
【図９】図９は、本発明の別の実施の形態に係る画像処理装置の判定用情報記憶部が記憶する判定用情報の構成例（第３例）を示す図である。
【図１０】図１０は、本発明の別の実施の形態に係る画像処理装置の判定用情報記憶部が記憶する判定用情報の構成例（第４例）を示す図である。
【図１１】図１１は、本発明の別の実施の形態に係る画像処理装置の判定用情報記憶部が記憶する判定用情報の構成例（第５例）を示す図である。
【発明を実施するための形態】
【００２１】
以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。
【００２２】
図１は、本発明の一実施の形態に係る画像処理装置を備えた撮像システムの構成を示すブロック図である。同図に示す撮像システム１は、撮像装置２と、画像処理装置３と、表示装置４とを備える。撮像システム１は、未染色の生体組織の蛍光画像を撮像し、この蛍光画像に基づいてその生体組織の状態を判定する。本実施の形態では、一例として生体組織が消化管の腺管である場合を説明する。ここでいう腺管とは、大腸、小腸、胃、食道等の粘膜上皮を形成する部位の総称である。
【００２３】
撮像装置２は、標本の生体に励起光を照射し、生体から発生する蛍光による蛍光画像を撮像することによって画像データを生成する落射型の蛍光顕微鏡である。撮像装置２は、生体から発生する蛍光のうち撮像面以外の蛍光の影響を除去した蛍光画像を撮像する機能を有する。
【００２４】
このような機能を有する撮像装置２は、入射した蛍光を結像する撮像レンズおよび撮像レンズの光軸と直交する方向に複数のマイクロレンズを並べて配置したマイクロレンズアレイを有するライトフィールド光学系と、マイクロレンズアレイの背面側に受光面がマイクロレンズアレイの並ぶ方向と平行となるように配置され、受光した光を光電変換して出力する撮像素子とを有するライトフィールドカメラを用いて構成される。撮像素子は、ＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementery  Metal  Oxide  Semiconductor）等のイメージセンサを用いて構成される。なお、ライトフィールドカメラは、例えば、Ren  Ng他著、「Light  Field  Photography  with  a  Hand-held  Plenoptic  Camera」、Computer  Science  Technical  Report  CSTR、Vol.2、No.11、pp.1-11、2005年4月、に開示されている。
【００２５】
ライトフィールドカメラは、撮像レンズの焦点面とは異なる仮想的な面（リフォーカス面とも呼ばれる）に合焦した画像を構成することができる。このため、ライトフィールドカメラは、生体から発生する蛍光のうち撮像面以外の蛍光の影響を除去することにより、互いに焦点が異なる複数の蛍光画像を撮像して３次元的な蛍光画像を得ることができる。
【００２６】
つぎに、画像処理装置３および表示装置４の構成を説明するのに先立って、図２〜図５を参照して、本実施の形態における画像処理の概要を説明する。図２は、生体組織の一例として、ヒトの正常な大腸粘膜の組織の断面を模式的に示す図である。図２に示す大腸粘膜は、腺管Ｍ１と、該腺管Ｍ１の間や下層に存在する粘膜固有層Ｍ２とを含む。腺管Ｍ１内には、杯細胞Ｃ１と、エンテロクロマフィン細胞（以下、ＥＣ細胞という）Ｃ２とが含まれる。また、腺管Ｍ１には、腺腔Ｃ３が形成されている。腺腔Ｃ３は、腺管内部の空間の呼称である。本願発明者は、ＥＣ細胞Ｃ２が、他の腺管組織とは異なる特異的な自家蛍光を有することを発見した。
【００２７】
図３は、ヒトの正常な大腸粘膜の未染色標本を蛍光観察することにより取得した画像である。観察対象の標本は、ヒトの正常な大腸粘膜をホルマリン固定してパラフィン包埋し、ミクロトームにより薄切した後に脱パラフィン処理を施してスライドグラス上に固定し、未染色の状態でキシレン系の封入剤を用いてスライドグラスにカバーグラスを接着させたものである。図３に示す画像は、この標本を撮像装置２が有するステージ上の所定位置にセットした後、励起光源が発生した波長帯域が３４０〜３９０ｎｍの励起光を標本に照射して観察を行ったものである。この観察において、ライトフィールドカメラの撮影波長を４００〜７００ｎｍとし、標本とライトフィールドカメラとの間の光路上に撮影波長を含む蛍光を透過可能な蛍光キューブを設けた。
【００２８】
図３においては、画像中で全体的に表示されている腺管（本実験中では青色で示された）の内部に、強い蛍光を発するＥＣ細胞（本実験中では緑色で示された）が特異的に観察された（図中矢印で指示）。ＥＣ細胞は、消化管（大腸、小腸、胃）の腺管内において、セロトニンを特異的に発現することが知られている。本願発明者は、緑色の自家蛍光分子が、セロトニンと発現部位が同じ分子であることを発見した。
【００２９】
なお、励起波長を４６０〜４９５ｎｍとし、撮影波長を５１０〜７００ｎｍとして上記同様の蛍光観察を行った場合には、腺管の内部に黄色の蛍光を発する細胞が観察された。また、励起波長を５３０〜５５０ｎｍとし、撮影波長を５７０〜７００ｎｍとして上記同様の蛍光観察を行った場合には、赤色の蛍光を発する細胞が観察された。本願発明者は、これらの自家蛍光分子が、セロトニン分子、またはセロトニンの発現分解に関与する分子であってセロトニンと発現部位が同じ分子であることを発見した。
【００３０】
図４は、ヒトの大腸粘膜であって大腸癌が発生した大腸粘膜の未染色標本を蛍光観察することにより取得した画像である。観察対象の標本は、大腸癌が発生した大腸粘膜を図３に示す標本と同様の手順により作成したものである。撮像装置２を用いた標本の観察を行う際、図３に示す場合と同様に励起波長を３４０〜３９０ｎｍとし、撮影波長を４００〜７００ｎｍとして観察したところ、図４に示すようにＥＣ細胞は１つも観察されなかった。本願発明者は、大腸癌が発生した大腸粘膜においては、ＥＣ細胞の特異的な発現が著しく減少することを発見した。
【００３１】
ところで、図３と図４を比較すると、図３は、図２に示す大腸粘膜とほぼ平行な断面を蛍光観察したものであるのに対し、図４は図２に示す大腸粘膜と交差する断面を蛍光観察したものであることがわかる。このように、標本を作成する際に細胞を薄切して得られる切断面はその都度変化する。そのため、例えば図４に示す場合には、この断面でＥＣ細胞が１つも観察されないからといって、同じ腺管の他の断面においてもＥＣ細胞が観察されないと断定することはできない。すなわち、図３や図４に示す断面だけを観察して腺管に含まれるＥＣ細胞の数を判定することはできない。そこで、個々の腺管を３次元的に認識することが重要となってくる。この点につき、従来の技術は複数の断面を観察して３次元画像を生成するに過ぎないため、腺管を３次元的に正しく判別できないおそれがあった。その結果、従来の技術では、大腸癌等の腺管の異常を高精度で検出することができなかった。
【００３２】
図５は、このような従来の問題を解決するために、本実施の形態において行う観察方法の概要を説明する図である。本実施の形態では、複数の２次元画像を用いて個々の腺管を３次元的に認識し、１つの腺管に含まれるＥＣ細胞の数を正確に判定する。具体的には、画像処理装置３は、図５の（ａ）に示すように、互いに異なるｘｙ平面における４つの２次元蛍光画像１０１〜１０４にそれぞれ含まれる部分腺管Ｍ１１〜Ｍ１４が、図５の（ｂ）に示すように１つの腺管Ｍ１を構成していることを認識する処理を行う。この認識の手法については後述する。その後、画像処理装置３は、部分腺管Ｍ１１〜Ｍ１４に含まれるＥＣ細胞Ｃ２の細胞数を算出し、この細胞数に基づいて腺管Ｍ１が正常であるか否かを判定する。
【００３３】
再び図１を参照して、画像処理装置３および表示装置４の構成を説明する。
画像処理装置３は、当該画像処理装置３に対する指示や情報の入力を受け付ける入力部３１と、処理対象の画像に対応する画像データを取得する画像取得部３２と、画像データや種々の演算結果を出力する出力部３３と、入力された画像データに対して所定の演算処理を施す演算部３４と、画像処理装置３の動作を統括して制御する制御部３５と、各種情報を記憶する記憶部３６とを備える。
【００３４】
入力部３１は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスや表示装置４の表示画面上に設けられるタッチパネル等のポインティングデバイスを含み、これらのデバイスに対して外部からなされる操作に応じた信号の入力を受け付けて制御部３５に入力する。
【００３５】
画像取得部３２は、撮像装置２が出力した画像データを受信するインタフェースである。撮像装置２と画像処理装置３は、通信ネットワークを介して情報の送受信を行うことが可能である。画像取得部３２は、撮像装置２から画像データを順次受信してもよいし、撮像装置２に一時的に保存された画像データを所定のタイミングで受信してもよい。ここでいう通信ネットワークとは、例えばＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）、既存の公衆回線網等の一または複数の組み合わせによって実現されるものであり、有線、無線を問わない。
【００３６】
出力部３３は、表示装置４に表示させる画像データを含む各種情報を表示装置４へ出力するインタフェースである。
【００３７】
演算部３４は、蛍光強度算出部３４１と、蛍光強度分布作成部３４２と、生体組織判別部３４３と、細胞判別部３４４と、状態判定部３４５とを有する。演算部３４は、例えばＣＰＵ（Central  Processing  Unit）等の汎用プロセッサまたはＡＳＩＣ（Application  Specific  Integrated  Circuit）もしくはＦＰＧＡ（Field  Programmable  Gate  Array）等の特定の機能を実行する専用の集積回路等を用いて構成され、記憶部３６が記憶する各種プログラムを読み込むことによって各種演算処理を実行する。
【００３８】
蛍光強度算出部３４１は、複数の蛍光画像内において生体組織である腺管から発生した蛍光の強度を算出する。蛍光強度算出部３４１は、蛍光画像内に含まれる画素の輝度値を蛍光強度として算出する。ここで蛍光強度を算出する複数の蛍光画像は、同一の生体を異なる断面で撮像した２次元的な画像である。撮像装置２は、１つの標本をもとに複数の蛍光画像を撮像してもよいし、初めからスライスして個別に作成した複数の標本をもとに複数の蛍光画像を撮像してもよい。
【００３９】
蛍光強度分布作成部３４２は、蛍光強度算出部３４１により算出された複数の蛍光画像内の蛍光強度を用いることにより、観察対象の生体組織を含む同一生体の３次元的な蛍光強度分布を作成する。蛍光強度分布作成部３４２は、例えばアンミキシング処理または色空間での閾値処理を行うことによって色を識別して同一生体の３次元的な蛍光強度分布を算出する。
【００４０】
生体組織判別部３４３は、蛍光強度分布作成部３４２が作成した３次元領域蛍光強度分布を用いて所定の生体組織として大腸粘膜の腺管を判別する。生体組織判別部３４３は、記憶部３６が有する蛍光強度情報記憶部３６１が記憶する大腸粘膜の腺管の蛍光強度情報と一致する生体組織を判別する。蛍光強度情報は、例えば腺管とみなしうる蛍光強度の範囲である。この際、生体組織判別部３４３は、複数の蛍光画像の各々に対して蛍光強度の閾値処理を行って２値化した画像をもとに粒子解析を行うことにより、３次元領域内に存在する腺管を１つずつ判別する。なお、本実施の形態では、生体組織が大腸粘膜の腺管である場合を説明するが、生体組織はこれに限られるわけではない。例えば、判別対象の生体組織がヒトの腎臓尿細管等でもよい。
【００４１】
生体組織判別部３４３は、予め隣接する腺管の隙間を拡張する処理を施してもよい。隣接する腺管の隙間を拡張する処理として、例えばモホロジー処理や、拡張したい隙間サイズを有するボトムハットフィルターを用いた処理を挙げることができる。このような処理を行うことにより、腺管の検出精度をさらに向上させることができる。
【００４２】
生体組織判別部３４３は、腺管の体積の算出結果に基づいて腺管を判別してもよい。腺管の体積は、例えば各２次元蛍光画像Ｐi（ｉ＝１，２，・・・，Ｎ）において求まる腺管の面積をＳiとするとともに、２次元面（図５のｘｙ平面に相当）と垂直な方向（図５のｚ軸方向に相当）において隣接する２次元蛍光画像間の距離をすべてｄとし、（Ｓ1＋Ｓ2＋・・・＋ＳN）・ｄにより算出される。なお、腺管を楕円柱で近似し、底面に相当する２つの平面の２次元蛍光画像において楕円の短径と長径を算出して各底面における楕円の面積ＳTおよびＳBをそれぞれ算出し、この２つの底面間の距離すなわち楕円柱の高さをＤとして、腺管の体積をＤ・（ＳT＋ＳD）／２によって算出してもよい。生体組織判別部３４３は、これらの算出結果が所定の範囲の値を有している場合に腺管であると判別する。この場合にも、腺管の検出精度をさらに向上させることができる。
【００４３】
生体組織判別部３４３は、蛍光画像に対して機械学習を行うことによって３次元領域内に存在する腺管を１つずつ判別してもよい。例えば、機械学習の１つであるパターン認識技術では、大量の教師データに基づいて機械学習を実施し、認識処理を行う識別器を構成する。識別器としては、ニューラルネットワーク（例えば、田中衛他著、「ニューラルネットと回路（現代非線形科学シリーズ）」、コロナ社、1999年4月を参照）やサポートベクターマシン（例えば、竹内一郎他著、「サポートベクトルマシン（機械学習プロフェッショナルシリーズ）」、講談社、2015年8月を参照）を適用することができる。
【００４４】
また、生体組織判別部３４３は、多層構造のニューラルネットワークを用いたディープラーニング（例えば、日経エレクトロニクス編集、「人工知能テクノロジー総覧」、日経ＢＰ社、2015年9月を参照）の手法を用いて生体組織を判別してもよい。ディープラーニングの手法を適用することにより、生体組織の判別を一段と高精度で行うことができる。
【００４５】
細胞判別部３４４は、蛍光強度分布作成部３４２が作成した３次元領域蛍光強度分布を用いて、腺管内にある検出対象の細胞としてＥＣ細胞を判別する。細胞判別部３４４は、記憶部３６が有する蛍光強度情報記憶部３６１が記憶するＥＣ細胞の蛍光強度情報と一致する細胞を判別する。蛍光強度情報としては、例えばＥＣ細胞とみなしうる蛍光強度の範囲が与えられる。本実施の形態における検出対象の細胞はＥＣ細胞であるが、検出対象の細胞はこれに限定されるわけではない。
【００４６】
状態判定部３４５は、細胞判別部３４４が判別したＥＣ細胞に相当する画素領域を解析してＥＣ細胞の特徴量を算出し、この特徴量を用いて腺管の状態を判定する。具体的には、状態判定部３４５は、細胞判別部３４４が判別したＥＣ細胞の特徴量と、後述する記憶部３６の判定用情報記憶部３６２が記憶する判定用情報とに基づいて、各腺管の状態を判定する。判定用情報は、状態判定部３４５がＥＣ細胞の特徴量に基づいて腺管の状態の判定を行うための情報であり、その詳細については後述する。本実施の形態において、ＥＣ細胞の特徴量は、１つの腺管内のＥＣ細胞の数（細胞数）である。
【００４７】
制御部３５は、ＣＰＵ等の汎用プロセッサまたはＡＳＩＣもしくはＦＰＧＡ等の特定の機能を実行する専用の集積回路等を用いて構成される。なお、制御部３５と演算部３４を同じ汎用プロセッサまたは集積回路によって構成することも可能である。
【００４８】
記憶部３６は、腺管の蛍光強度および該生体組織内で検出対象となるＥＣ細胞の蛍光強度の情報を記憶する蛍光強度情報記憶部３６１と、各腺管の状態を判定するために用いられる判定用情報記憶部３６２とを有する。
【００４９】
図６は、判定用情報記憶部３６２が記憶する判定用情報の構成例を示す図である。同図に示す判定用情報は、細胞の特徴量が１つの腺管内におけるＥＣ細胞の細胞数である場合の判定用情報の構成例を示す図である。図６に示す判定用情報では、ＥＣ細胞の細胞数が１０以上５０未満である場合が「正常」な状態に対応づけられている一方、ＥＣ細胞の細胞数が１０未満または５０以上である場合が「異常」な状態に対応づけられている。
【００５０】
記憶部３６は、画像取得部３２が取り込んだ画像データや、演算部３４および制御部３５がそれぞれ実行する複数のプログラムおよび各種設定情報も記憶する。複数のプログラムには、本実施の形態に係る画像処理装置の作動方法を実行するためのプログラムも含まれる。なお、プログラムは、コンピュータ読み取り可能な記録媒体に書き込んで記憶させてもよい。プログラムの記憶部３６または記録媒体への書き込みは、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。
【００５１】
記憶部３６は、ＲＡＭ（Random  Access  Memory）等の揮発性メモリおよびＲＯＭ（Read  Only  Memory）等の不揮発性メモリを用いて構成される。なお、外部から装着可能なメモリカード等のコンピュータ読み取り可能な記録媒体を用いて記憶部３６を構成してもよい。
【００５２】
表示装置４は、例えば、液晶または有機ＥＬ（Electro  Luminescence）等からなる表示パネルを用いて構成され、画像処理装置３の出力部３３から出力された画像や各種情報を表示する。
【００５３】
つぎに、画像処理装置３が実行する処理の概要について、図７に示すフローチャートを参照して説明する。まず画像取得部３２は、生体の未染色標本を撮像装置２が撮像して得られる蛍光画像を取得する（ステップＳ１）。この未染色標本は、例えば上述したヒトの大腸粘膜の未染色標本である。蛍光画像は２次元画像であり、他の撮像面における蛍光の影響が排除された画像である。画像取得部３２は、このような２次元の蛍光画像の画像データを複数取得する。複数の画像データは、全体として３次元的な生体の一部を再現可能であればよい。すなわち、複数の画像データは、１つの生体をスライスして複数の未染色標本を作成し、撮像装置２が各未染色標本を撮像したものでもよいし、１つの生体組織から作成した１つの未染色標本を撮像装置２が複数回撮像したものでもよい。
【００５４】
続いて、蛍光強度算出部３４１は、蛍光画像に含まれる各画素の輝度値を用いて、蛍光画像内の所定の生体組織である腺管から発生した蛍光の強度を算出する（ステップＳ２）。
【００５５】
この後、蛍光強度分布作成部３４２は、蛍光強度算出部３４１により算出された複数の画像の蛍光強度から、同一生体の３次元領域内における蛍光強度分布を作成する（ステップＳ３）。蛍光強度分布作成部３４２は、作成した蛍光強度分布を記憶部３６に書き込んで記憶させる。
【００５６】
続いて、生体組織判別部３４３は、蛍光強度分布作成部３４２が作成した蛍光強度分布を用いて、蛍光強度情報記憶部３６１から読み出した腺管の蛍光強度情報と一致する生体組織を判別する（ステップＳ４）。この際、生体組織判別部３４３は、例えば上述したように、蛍光画像に対して蛍光強度の閾値処理を行って２値化した画像をもとに粒子解析を行うか、または蛍光画像に対して機械学習を行うことにより、３次元的な腺管を個別に認識する。
【００５７】
続いて、細胞判別部３４４は、蛍光強度分布作成部３４２が作成した３次元領域蛍光強度分布を用いて、蛍光強度情報記憶部３６１から読み出した検出対象のＥＣ細胞の蛍光強度情報と一致する細胞を腺管ごとに判別する（ステップＳ５）。
【００５８】
この後、状態判定部３４５は、細胞判別部３４４が判別したＥＣ細胞の細胞数を腺管ごとに算出し、判定用情報記憶部３６２が記憶する判定用情報を参照することにより、各腺管の状態を判定する（ステップＳ６）。例えば、図５に示す腺管Ｍ１の場合、ＥＣ細胞の細胞数が８なので、状態判定部３４５は図６に示す判定用情報を参照し、図５に示す腺管Ｍ１が異常であると判定する。
【００５９】
最後に、制御部３５は、状態判定部３４５の判定結果を出力部３３から表示装置４へ出力させて表示装置４に判定結果を表示させるとともに、記憶部３６に判定結果を記憶させる（ステップＳ７）。制御部３５は、例えば表示装置４に判定結果を文字で表示させる。なお、この際に制御部３５は、判定を行った蛍光画像を判定結果とともに表示装置４に表示させてもよい。また、制御部３５は、細胞の特徴量を表示装置４にあわせて表示させてもよく、蛍光画像をあわせて表示させる場合には、各腺管に特徴量をマーキングさせてもよい。また、制御部３５は、異常な生体組織を他の生体組織と識別できるように、異常な生体組織を縁取りしたり塗りつぶしたりして表示装置４に表示させてもよい。また、制御部３５は、検出対象の細胞を他の細胞と異なる色で表示装置４に表示させたり点滅させたりしてもよい。この後、画像処理装置３は一連の処理を終了する。
【００６０】
以上説明した本発明の一実施の形態によれば、同一生体の３次元的な蛍光強度分布を用いて、予め記憶された所定の生体組織の蛍光強度情報と一致する生体組織を判別し、この生体組織ごとに検出対象の細胞を判別し、判別した細胞の情報に基づいて生体組織の状態を判定するため、生体に励起光を照射して得られた蛍光画像を用いて生体組織内の特定の細胞に関する情報を正確に取得し、生体組織の状態を精度よく判定することができる。
【００６１】
また、本実施の形態によれば、複数の蛍光画像の各々に対して蛍光強度の閾値処理を行って２値化した画像の粒子解析を行うか、または複数の蛍光画像の各々に対して機械学習を行うことにより、３次元領域内に存在する生体組織を１つずつ判別するため、２次元の蛍光画像間で生体組織が混同するのを防止し、生体組織の状態を精度よく判定することができる。
【００６２】
また、本実施の形態によれば、検出対象の細胞の特徴量を用いて生体組織の状態を判定するため、その生体組織の医師等による診断をより的確に支援することが可能となる。
【００６３】
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した一実施の形態によってのみ限定されるべきものではない。例えば、判定用情報に用いる細胞の特徴量は、上述した細胞数以外でもよい。図８〜図１１は、他の判定用情報の構成例を示す図である。
【００６４】
図８は、細胞の特徴量が同じ腺管内のＥＣ細胞の体積（μｍ3）の平均である場合の判定用情報の構成例を示す図である。図８に示す判定用情報では、１つの腺管に含まれるＥＣ細胞の体積の平均が２０μｍ3以上２００μｍ3未満である場合が「正常」な状態に対応づけられている一方、その体積の平均が２０μｍ3未満または２００μｍ3以上である場合が「異常」な状態に対応づけられている。この場合、状態判定部３４５は、例えば１つのＥＣ細胞を表している画素数をもとに、ＥＣ細胞の体積を算出する。具体的には、例えばＥＣ細胞を楕円球と仮定した上で、状態判定部３４５は、各２次元蛍光画像から楕円の長径２ａおよび短径２ｂに相当する量を計測し、さらに高さ方向（図５のｚ軸方向に相当）の径が画像で求めた短径２ｂであると仮定して、Ｖ＝（４／３）πａｂ2によりＥＣ細胞の体積を算出する。なお、同じ腺管内のＥＣ細胞の体積の平均を適用する代わりに、その最頻値や最大値等の他の統計値を用いてもよい。
【００６５】
図９は、細胞の特徴量が１つの腺管あたりのＥＣ細胞の体積の総計（μｍ3）である場合の判定用情報の構成例を示す図である。図９に示す判定用情報では、１つの腺管あたりのＥＣ細胞の体積の総計が２０００μｍ3以上１００００μｍ3未満の場合が「正常」な状態に対応づけられている一方、その総計が２０００μｍ3未満または１００００μｍ3以上である場合が「異常」な状態に対応づけられている。この場合、状態判定部３４５は、例えば上記同様にＥＣ細胞の体積を算出し、同じ腺管に含まれるＥＣ細胞の体積の総計を算出する。
【００６６】
図１０は、細胞の特徴量が１つのＥＣ細胞の表面積（μｍ2）の平均である場合の判定用情報の構成例を示す図である。図１０に示す判定用情報では、１つのＥＣ細胞の表面積の平均が１０μｍ2以上１００μｍ2未満の場合が「正常」な状態に対応づけられている一方、その表面積の平均が１０μｍ2未満または１０００μｍ2以上である場合が「異常」な状態に対応づけられている。この場合、状態判定部３４５は、例えば１つのＥＣ細胞を表している画素数をもとに、ＥＣ細胞の表面積を算出する。具体的には、例えばＥＣ細胞を楕円球と仮定した上で、状態判定部３４５は、各２次元蛍光画像においてＥＣ細胞に相当する楕円の長径２ａおよび短径２ｂに相当する量を計測し、さらに高さ方向（図５のｚ軸方向に相当）の径２ｃが２次元蛍光画像で求めた短径２ｂに等しいとして、下記の式（１）にしたがって表面積Ｓを算出する。
【数１】
2018008136.tif 000003
式（１）の右辺のＥ（ｘ，０）は第１種不完全楕円積分Ｅ（ｘ，ｋ）でｋ＝０としたものであり、Ｆ（ｘ，０）は第２種不完全楕円積分Ｆ（ｘ，ｋ）でｋ＝０としたものである。ここで一般に、ｘ＝（１−ｃ2／ａ2）1/2、ｋ＝ｘ-1（１−ｃ2／ｂ2）1/2（ａ≧ｂ≧ｃ）である。なお、同じ腺管内のＥＣ細胞の表面積の平均を適用する代わりに、その最頻値や最大値等の他の統計値を用いてもよい。
【００６７】
図１１は、細胞の特徴量が１つの腺管あたりのＥＣ細胞の表面積の総計（μｍ2）である場合の判定用情報の構成例を示す図である。図１１に示す判定用情報では、１つの腺管あたりの細胞の表面積の総計が１０００μｍ2以上５０００μｍ2未満の場合が「正常」な状態に対応づけられている一方、その表面積の総計が１０００μｍ2未満または５０００μｍ2以上である場合が「異常」な状態に対応づけられている。この場合、状態判定部３４５は、例えば上記同様にＥＣ細胞の表面積を算出し、同じ腺管に含まれるＥＣ細胞の表面積の総計を算出する。
【００６８】
図６および図８〜図１１にそれぞれ示す判定用情報は、単独で腺管の状態を判定する際に利用することができるが、状態判定部３４５がそれらの判定用情報の２つ以上を用いて腺管の状態を判定するようにしてもよい。２つ以上の判定用情報を用いる場合において、異なる判定結果が生じたとき、状態判定部３４５は多い方の判定結果を採用する。複数の判定用情報に基づく判定結果ごとの数が同じである場合、状態判定部３４５は、例えば常に異常とする、等の予め定めた規則にしたがって判定を行う。この規則をユーザが設定可能としてもよい。なお、２つ以上の判定用情報を用いる場合、予め各判定用情報に対して優先順位を設けておき、異なる判定結果が生じた場合、状態判定部３４５は優先順位にしたがって判定するようにしてもよい。この場合にも、優先順位をユーザが設定可能としてもよい。
【００６９】
また、撮像装置として、撮像したい断面からの蛍光のみを通過させることが可能である共焦点光学系を備えた共焦点顕微鏡を適用して３次元的な蛍光画像を撮像してもよいし、２光子吸収過程を利用して焦点面のみを励起する２光子光学系を有する２光子励起顕微鏡を適用して３次元的な蛍光画像を撮像してもよい。これらの場合には、ライトフィールド光学系を有する撮像装置と比較して、厚さが厚い標本に対しても適用することが可能である。厚さが厚い標本の例として、ホルマリン未固定のラット大腸の切除標本や、厚さが２０μｍ程度でホルマリン固定したラット大腸のパラフィン標本などを挙げることができる。
【００７０】
また、状態判定部３４５が状態を判定する際の指標として、異常度またはリスク度といった新たな指標を設けてもよい。例えば、標本全体の中で端側の腺管に異常が発生している場合、異常部分を取り残している可能性が高い。異常部分が癌である場合には、癌細胞が残っていると、癌が再発または転移して再手術等の措置を講じる必要が生じるおそれがある。そこで、標本全体の中で端側の腺管に異常が発生している場合、状態判定部３４５は、異常度またはリスク度を高く評価する。この場合には異常度が高く評価された腺管を表示装置４において強調表示するようにしてもよい。
【００７１】
また、表示装置４に様々な表示態様で判定結果を表示させることができる。例えば、表示装置４が生体組織を３次元的に異なる角度から見えるように回転させることができるように表示してもよい。また、表示装置４が、所定の生体組織の標本全体における位置をユーザが判別できるようにするための画像を表示してもよい。
【００７２】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【００７３】
１  撮像システム
２  撮像装置
３  画像処理装置
４  表示装置
３１  入力部
３２  画像取得部
３３  出力部
３４  演算部
３５  制御部
３６  記憶部
３４１  蛍光強度算出部
３４２  蛍光強度分布作成部
３４３  生体組織判別部
３４４  細胞判別部
３４５  状態判定部
３６１  蛍光強度情報記憶部
３６２  判定用情報記憶部
【図１】
2018008136.tif 000004
【図２】
2018008136.tif 000005
【図３】
2018008136.tif 000006
【図４】
2018008136.tif 000007
【図５】
2018008136.tif 000008
【図６】
2018008136.tif 000009
【図７】
2018008136.tif 000010
【図８】
2018008136.tif 000011
【図９】
2018008136.tif 000012
【図１０】
2018008136.tif 000013
【図１１】
2018008136.tif 000014
【国際調査報告】
2018008136.tif 000015
2018008136.tif 000016
2018008136.tif 000017
2018008136.tif 000018