(57)【要約】【課題】  対話形式に血管属性の修正を加え、血管属性を少ない作業負荷で的確に付与する眼底画像処理装置を提供する。【解決手段】  眼底画像に対して、血管確率が高い画素ほど高い値が設定された血管強調画像を得る血管領域強調手段１０と、血管強調画像の中で所定の値以上の値をもつ血管領域の各画素に対して、眼底画像の対応する画素から取得したＲＧＢ値を色相値に変換し、色相変換画像を得る色相変換手段（２０，３０，４０）と、色相変換画像の中で色相値の所定の値を境に仮動脈属性、仮静脈属性を付与し、血管領域の各画素に付与された属性が視覚的に識別可能な血管識別画像を生成する血管識別画像生成手段６０と、血管識別画像に対して指示された領域と属性に基づいて、領域内の血管領域に含まれる画素に対して、動脈属性、静脈属性、動静脈属性に修正する血管識別画像修正手段６３を有する。【選択図】  図２
2018171177.tif 000002
【特許請求の範囲】
【請求項１】
カラー眼底画像に対して、血管である確率が高い画素ほど高い値が設定されたグレースケールの血管強調画像を得る血管領域強調手段と、
前記血管強調画像の中で所定の値以上の値をもつ画素を血管領域の画素として抽出し、前記血管領域の各画素に対して、前記カラー眼底画像の対応する画素を参照してＲＧＢ値を取得し、取得したＲＧＢ値を色相値に変換し、画素値が色相値に変換された色相変換画像を得る色相変換手段と、
前記色相変換画像の中で色相値の所定の値を境に仮動脈属性、仮静脈属性を付与し、前記血管領域の各画素に付与された２種類の属性が視覚的に識別可能な血管識別画像を生成する血管識別画像生成手段と、
前記血管識別画像に対して指示された領域と属性に基づいて、前記領域内の前記血管領域に含まれる画素に対して、動脈属性、静脈属性、および動脈と静脈が重なった動静脈属性を少なくとも含む属性に修正する血管識別画像修正手段と、
を有することを特徴とする眼底画像処理装置。
【請求項２】
前記血管識別画像に対して、非血管領域の画素に非血管属性を付与し、仮動脈属性または仮静脈属性が付与された画素を非血管属性に変更し、各画素に動脈属性、静脈属性、動静脈属性、非血管属性のいずれか４種類の属性が付与された血管属性設定画像を生成する血管属性設定手段と、を更に有することを特徴とする請求項１に記載の眼底画像処理装置。
【請求項３】
前記血管属性設定手段は、
前記血管属性設定画像の中で非血管属性が付与された画素に対して、所定の範囲の近傍の画素に、動脈属性、静脈属性、動静脈属性のいずれかの属性が付与された画素が所定の個数以上存在する場合、前記非血管属性が付与された画素の属性を動脈属性、静脈属性、動静脈属性のいずれかの属性に修正することを特徴とする請求項２に記載の眼底画像処理装置。
【請求項４】
前記血管属性設定手段は、
前記血管属性設定画像に対して、静脈属性が付与された画素を非血管属性に変更し、動静脈属性が付与された画素を動脈属性に変更し、各画素に動脈属性または非血管属性のいずれか２種類の属性が付与された動脈属性設定画像を更に生成する、または動脈属性が付与された画素を非血管属性に変更し、動静脈属性が付与された画素を静脈属性に変更し、各画素に静脈属性または非血管属性のいずれか２種類の属性が付与された静脈属性設定画像を更に生成するようにしていることを特徴とする請求項２に記載の眼底画像処理装置。
【請求項５】
前記血管識別画像修正手段は、指示された領域内の仮動脈属性が付与された画素を動脈属性に変更する、または／かつ仮静脈属性が付与された画素を静脈属性に変更するようにしていることを特徴とする請求項１に記載の眼底画像処理装置。
【請求項６】
前記血管識別画像修正手段は、
前記血管識別画像を画面上に表示して修正対象の領域と属性を指示し、指示された領域内の前記血管領域に含まれる画素に対して、仮動脈属性、仮静脈属性、動脈属性、静脈属性、および動静脈属性のいずれか５種類の指示された属性に更に修正し、前記血管識別画像を更新するようにしていることを特徴とする請求項１に記載の眼底画像処理装置。
【請求項７】
前記血管識別画像修正手段は、
指示された領域内の動脈属性が付与された画素を静脈属性に修正する場合、または静脈属性が付与された画素を動脈属性に修正する場合、前記画素のいずれかに対して動静脈属性に修正するようにしていることを特徴とする請求項６に記載の眼底画像処理装置。
【請求項８】
前記血管識別画像修正手段は、
指示された領域内の動脈属性、静脈属性または動静脈属性が付与された画素に対して、非血管属性への修正が指示された場合、仮動脈属性または仮静脈属性のいずれかに修正することを特徴とする請求項６に記載の眼底画像処理装置。
【請求項９】
前記血管識別画像修正手段は、
前記血管識別画像に対応する前記カラー眼底画像を画面上に表示するとともに、前記血管識別画像に対して指示された領域を特定するマークを、前記カラー眼底画像上の対応する位置に表示することを特徴とする請求項１から請求項８のいずれか一項に記載の眼底画像処理装置。
【請求項１０】
前記血管識別画像修正手段は、
指示された領域に対して所定の画素数の複数の画素ブロックに分割し、前記分割された各画素ブロック内の各画素の画素値を機械学習手段に入力し、前記指示された属性を教師データとして前記機械学習手段に入力し、前記機械学習手段に対して学習処理を行うようにしていることを特徴とする請求項１から請求項９のいずれか一項に記載の眼底画像処理装置。
【請求項１１】
前記血管識別画像修正手段は、
前記血管識別画像に対して、前記所定の画素数の複数の画素ブロックに分割し、前記分割された各画素ブロック内の各画素の画素値を前記機械学習手段に入力し、前記画素ブロック内の当該画素に付与されている属性を、前記機械学習手段より出力される属性に修正することにより、前記血管識別画像を更新することを特徴とする請求項１０に記載の眼底画像処理装置。
【請求項１２】
前記機械学習手段は、
入力層に、前記画素ブロックの各画素の血管候補値と色相値からなる２種類の画素値に対応して、前記所定の画素数の２倍の個数のノードを備え、
出力層に、仮動脈属性、仮静脈属性、動脈属性、静脈属性、動静脈属性からなる５種類の属性に対応して５個のノードを備え、
所定の個数のノードを備えた中間層を少なくとも１つ以上もつ多層ニューラルネットワークで構成されることを特徴とする請求項１０または請求項１１に記載の眼底画像処理装置。
【請求項１３】
前記血管領域強調手段は、
前記カラー眼底画像が有する色成分のうち少なくとも１つの色成分に基づいてグレースケール眼底画像を得るグレースケール変換手段と、
前記グレースケール眼底画像の各画素に対して、所定の範囲に含まれる近傍画素の画素値の平均値を算出し、当該画素の画素値に所定の値から前記平均値を減算した値を加算することにより、平坦化画像を作成する画像平坦化手段と、
前記平坦化画像に対して、所定の構造要素を用いてオープニング処理を行い血管候補領域の輝度を一定以上に揃えた線状成分強調画像を作成する線状成分強調手段と、
前記線状成分強調画像において、所定の条件を満たさない画素値を、変換後の血管強調画像の階調の最小値になるように置き換え、前記所定の条件を満たす画素値が、階調の最小値付近の値から最大値の範囲になるように画素の階調を補正し、血管強調画像を作成する画素階調変換手段と、
を有することを特徴とする請求項１から請求項１２のいずれか一項に記載の眼底画像処理装置。
【請求項１４】
前記色相変換手段は、前記取得したＲＧＢ値をＫ階調の色相値に変換する際、Ｒ、Ｇ、Ｂに対応する値をｒ、ｇ、ｂとし、αを所定の実数値とし、ｈ＝（ｇ−ｂ）α／（２ｒ−ｇ−ｂ）を用い、２ｒ−ｇ−ｂ＝０の場合ｈ＝０とし、２ｒ−ｇ−ｂ＜０の場合、通常眼ではｈ＝０とし、白内障眼では、ｈ＝（ｇ−ｂ）α／（２ｒ−ｇ−ｂ）として、得られたｈの値に基づいて、変換を行うことを特徴とする請求項１から請求項１３のいずれか一項に記載の眼底画像処理装置。
【請求項１５】
前記色相変換手段は、
前記取得したＲＧＢ値をＫ（Ｋは２５６より大きい整数）階調の色相値に変換し、画素値がＫ階調の色相値に変換された多階調色相変換画像を得る多階調色相変換手段と、
前記Ｋ階調の範囲内に、ｃｍｉｎ（ｃｍｉｎは正の整数）からｃｍａｘ（ｃｍａｘはｃｍｉｎより大きくＫ−１より小さい）の範囲の中央階調領域を定義する中央階調領域定義手段と、
前記多階調色相変換画像に対して、ｃｍｉｎ以下を０、ｃｍａｘ以上をＬ−１に飽和させ、ｃｍｉｎからｃｍａｘまでを０から２５５の値をとる２５６階調の前記色相変換画像に変換する低階調化手段と、
を更に有することを特徴とする請求項１から請求項１４のいずれか一項に記載の眼底画像処理装置。
【請求項１６】
前記血管識別画像生成手段は、前記色相変換画像に対してＬ階調のヒストグラムを算出し、算出されたヒストグラムの階調１から階調（Ｌ−２）の範囲を用いて判別分析法の処理を実行し、前記所定のしきい値を算出することを特徴とする請求項１から請求項１５のいずれか一項に記載の眼底画像処理装置。
【請求項１７】
前記血管識別画像生成手段は、前記所定のしきい値をＳａｖとすると、前記色相変換画像の前記血管領域に対応する各画素の色相値Ｈｕｅに対して、（Ｈｕｅ−Ｓａｖ）×２なる演算を行って−Ｌから＋Ｌの範囲の色相値に変換し、色相値が正の画素に仮動脈属性を付与し、色相値が負の画素に仮静脈属性を付与し、前記血管領域に対応しない各画素に対して色相値０を設定し、前記血管識別画像を生成する際、前記変換された色相値の情報を保持するように、前記血管識別画像を生成することを特徴とする請求項１６に記載の眼底画像処理装置。
【請求項１８】
カラー眼底画像に対して、血管である確率が高い画素ほど高い値が設定されたグレースケールの血管強調画像を得る血管領域強調手段と、
前記血管強調画像の中で所定の値以上の値をもつ画素を血管領域の画素として抽出し、前記血管領域の各画素に対して、前記カラー眼底画像の対応する画素を参照してＲＧＢ値を取得し、取得したＲＧＢ値を色相値に変換し、画素値が色相値に変換された色相変換画像を得る色相変換手段と、
前記色相変換画像の中で色相値の所定の値を境に２種類の属性を付与し、前記血管領域の各画素に付与された２種類の属性が視覚的に識別可能な血管識別画像を生成する血管識別画像生成手段と、
前記血管識別画像に対して指示された領域と属性に基づいて、前記領域内の前記血管領域に含まれる画素に対して、動脈属性、静脈属性、および動脈と静脈が重なった動静脈属性を少なくとも含む属性に修正する血管識別画像修正手段と、
を有することを特徴とする眼底画像処理装置。
【請求項１９】
コンピュータを、請求項１から請求項１８のいずれか一項に記載の眼底画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼底画像の処理技術に関し、特に、眼底画像において血管領域の識別を行うための技術に関する。
【背景技術】
【０００２】
強度近視、緑内障など眼球後極の物理的な変形を伴う眼科疾患は言うまでもなく種々の眼科疾患の診断において、眼底カメラで撮影された眼底画像を用いて診断することが行われている。また、循環器疾患・糖尿病・メタボリックシンドロームの診断においても、眼底画像を用いて診断することが行われている。具体的には、眼底画像を用いて動脈、静脈、動静脈交叉部の各々複数の箇所の血管幅をもとに動脈硬化や高血圧の指標である動静脈径比、動静脈交叉部の静脈径比、動脈血柱反射幅比を定量的に解析することも行われるようになってきている。
【０００３】
上記のような様々な診断を的確に行うためには、眼底画像において血管領域を識別することが重要になる。出願人も眼底画像において血管領域を識別するための技術を提案してきている（特許文献１、２参照）。
【０００４】
一方、ペイントツール等のソフトウェアをコンピュータにおいて利用し、撮影された眼底画像を基に、手作業で赤色（動脈）と青色（静脈）に色分けすることも行われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−１６８１２６号公報
【特許文献２】特開２０１６−１６８１３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１、２に記載の技術では、動脈・静脈等の血管属性を判定する精度が十分でなく、さらなる改良の余地が見込まれる。また、ペイントツールを用いて色分けする場合、作業者ごとにバイアスが加わり、結果にバラツキがある。特に、血管領域の輪郭の設定においては、個人差が大きい。
【０００７】
そこで、本発明は、対話形式に血管属性の修正を加えた場合に、血管属性を少ない作業負荷で的確に付与することが可能な眼底画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明第１の態様では、
カラー眼底画像に対して、血管である確率が高い画素ほど高い値が設定されたグレースケールの血管強調画像を得る血管領域強調手段と、
前記血管強調画像の中で所定の値以上の値をもつ画素を血管領域の画素として抽出し、前記血管領域の各画素に対して、前記カラー眼底画像の対応する画素を参照してＲＧＢ値を取得し、取得したＲＧＢ値を色相値に変換し、画素値が色相値に変換された色相変換画像を得る色相変換手段と、
前記色相変換画像の中で色相値の所定の値を境に仮動脈属性、仮静脈属性を付与し、前記血管領域の各画素に付与された２種類の属性が視覚的に識別可能な血管識別画像を生成する血管識別画像生成手段と、
前記血管識別画像に対して指示された領域と属性に基づいて、前記領域内の前記血管領域に含まれる画素に対して、動脈属性、静脈属性、および動脈と静脈が重なった動静脈属性を少なくとも含む属性に修正する血管識別画像修正手段と、
を有することを特徴とする眼底画像処理装置を提供する。
【０００９】
本発明第１の態様によれば、カラー眼底画像に対して、血管である確率が高い画素ほど高い値が設定されたグレースケールの血管強調画像を得て、血管強調画像の中で所定の値以上の値をもつ画素を血管領域の画素として抽出し、血管領域の各画素の画素値が色相値に変換された色相変換画像を基に、仮動脈属性、仮静脈を付与した血管識別画像を生成し、血管識別画像に対して指示された領域と属性に基づいて、領域内の血管領域に含まれる画素に対して、動脈属性、静脈属性、および動脈と静脈が重なった動静脈属性を少なくとも含む属性に修正するようにしたので、少ない作業負荷で、個人ごとにバラツキの少ない属性の修正を行うことが可能となる。特に、血管強調画像から特定した血管領域の画素のみを修正対象とするため、作業者は、血管領域の輪郭については変更できない。このため、作業者は修正対象箇所を矩形等の領域で大まかに指示するだけでよく、個人差の少ない属性修正を行うことができる。また、一旦２種類の属性を付与することにより、直接手作業で修正するのに比べて、作業負荷が少なくなる。
【００１０】
また、本発明第１の態様によれば、色相変換の結果を基に得られた２種類の属性を有する血管識別画像に対して、作業者の修正指示を行うので、この結果を教師データとして記録しておくことにより、機械学習手段を用いた属性の自動修正に利用することが可能となる。
【００１１】
また、本発明第２の態様では、前記血管識別画像に対して、前記非血管領域の画素に非血管属性を付与し、仮動脈属性または仮静脈属性が付与された画素を非血管属性に変更し、各画素に動脈属性、静脈属性、動静脈属性、非血管属性のいずれか４種類の属性が付与された血管属性設定画像を生成する血管属性設定手段と、を更に有することを特徴とする。
【００１２】
また、本発明第３の態様では、前記血管属性設定手段は、前記血管属性設定画像の中で非血管属性が付与された画素に対して、所定の範囲の近傍の画素に、動脈属性、静脈属性、動静脈属性のいずれかの属性が付与された画素が所定の個数以上存在する場合、前記非血管属性が付与された画素の属性を動脈属性、静脈属性、動静脈属性のいずれかの属性に修正することを特徴とする。
【００１３】
また、本発明第４の態様では、前記血管属性設定手段は、前記血管属性設定画像に対して、静脈属性が付与された画素を非血管属性に変更し、動静脈属性が付与された画素を動脈属性に変更し、各画素に動脈属性または非血管属性のいずれか２種類の属性が付与された動脈属性設定画像を更に生成する、または動脈属性が付与された画素を非血管属性に変更し、動静脈属性が付与された画素を静脈属性に変更し、各画素に静脈属性または非血管属性のいずれか２種類の属性が付与された静脈属性設定画像を更に生成するようにしていることを特徴とする。
【００１４】
また、本発明第５の態様では、前記血管識別画像修正手段は、指示された領域内の仮動脈属性が付与された画素を動脈属性に変更する、または／かつ仮静脈属性が付与された画素を静脈属性に変更するようにしていることを特徴とする。
【００１５】
また、本発明第６の態様では、前記血管識別画像修正手段は、前記血管識別画像を画面上に表示して修正対象の領域と属性を指示し、指示された領域内の前記血管領域に含まれる画素に対して、仮動脈属性、仮静脈属性、動脈属性、静脈属性、および動静脈属性のいずれか５種類の指示された属性に更に修正し、前記血管識別画像を更新するようにしていることを特徴とする
【００１６】
また、本発明第７の態様では、前記血管識別画像修正手段は、指示された領域内の動脈属性が付与された画素を静脈属性に修正する場合、または静脈属性が付与された画素を動脈属性に修正する場合、前記画素のいずれかに対して動静脈属性に修正するようにしていることを特徴とする。
【００１７】
また、本発明第８の態様では、前記血管識別画像修正手段は、指示された領域内の動脈属性、静脈属性または動静脈属性が付与された画素に対して、非血管属性への修正が指示された場合、仮動脈属性または仮静脈属性のいずれかに修正することを特徴とする。
【００１８】
また、本発明第９の態様では、前記血管識別画像修正手段は、前記血管識別画像に対応する前記カラー眼底画像を画面上に表示するとともに、前記血管識別画像に対して指示された領域を特定するマークを、前記カラー眼底画像上の対応する位置に表示することを特徴とする。
【００１９】
また、本発明第１０の態様では、前記血管識別画像修正手段は、指示された領域に対して所定の画素数の複数の画素ブロックに分割し、前記分割された各画素ブロック内の各画素の画素値を機械学習手段に入力し、前記指示された属性を教師データとして前記機械学習手段に入力し、前記機械学習手段に対して学習処理を行うようにしていることを特徴とする。
【００２０】
また、本発明第１１の態様では、前記血管識別画像修正手段は、前記血管識別画像または前記血管識別画像に対して、前記所定の画素数の複数の画素ブロックに分割し、前記分割された各画素ブロック内の各画素の画素値を前記機械学習手段に入力し、前記画素ブロック内の当該画素に付与されている属性を、前記機械学習手段より出力される属性に修正することにより、前記血管識別画像を更新することを特徴とする。
【００２１】
また、本発明第１２の態様では、
前記機械学習手段は、
入力層に、前記画素ブロックの各画素の血管候補値と色相値からなる２種類の画素値に対応して、前記所定の画素数の２倍の個数のノードを備え、
出力層に、仮動脈属性、仮静脈属性、動脈属性、静脈属性、動静脈属性からなる５種類の属性に対応して５個のノードを備え、
所定の個数のノードを備えた中間層を少なくとも１つ以上もつ多層ニューラルネットワークで構成されることを特徴とする。
【００２２】
また、本発明第１３の態様では、
前記血管領域強調手段は、
前記カラー眼底画像が有する色成分のうち少なくとも１つの色成分に基づいてグレースケール眼底画像を得るグレースケール変換手段と、
前記グレースケール眼底画像の各画素に対して、所定の範囲に含まれる近傍画素の画素値の平均値を算出し、当該画素の画素値に所定の値から前記平均値を減算した値を加算することにより、平坦化画像を作成する画像平坦化手段と、
前記平坦化画像に対して、所定の構造要素を用いてオープニング処理を行い血管候補領域の輝度を一定以上に揃えた線状成分強調画像を作成する線状成分強調手段と、
前記線状成分強調画像において、所定の条件を満たさない画素値を、変換後の血管強調画像の階調の最小値になるように置き換え、前記所定の条件を満たす画素値が、階調の最小値付近の値から最大値の範囲になるように画素の階調を補正し、血管強調画像を作成する画素階調変換手段と、
を有することを特徴とする。
【００２３】
また、本発明第１４の態様では、前記色相変換手段は、前記取得したＲＧＢ値をＫ階調の色相値に変換する際、Ｒ、Ｇ、Ｂに対応する値をｒ、ｇ、ｂとし、αを所定の実数値とし、ｈ＝（ｇ−ｂ）α／（２ｒ−ｇ−ｂ）を用い、２ｒ−ｇ−ｂ＝０の場合ｈ＝０とし、２ｒ−ｇ−ｂ＜０の場合、通常眼ではｈ＝０とし、白内障眼では、ｈ＝（ｇ−ｂ）α／（２ｒ−ｇ−ｂ）として、得られたｈの値に基づいて、変換を行うことを特徴とする。
【００２４】
また、本発明第１５の態様では、前記色相変換手段は、
前記取得したＲＧＢ値をＫ（Ｋは２５６より大きい整数）階調の色相値に変換し、画素値がＫ階調の色相値に変換された多階調色相変換画像を得る多階調色相変換手段と、
前記Ｋ階調の範囲内に、ｃｍｉｎ（ｃｍｉｎは正の整数）からｃｍａｘ（ｃｍａｘはｃｍｉｎより大きくＫ−１より小さい）の範囲の中央階調領域を定義する中央階調領域定義手段と、
前記多階調色相変換画像に対して、ｃｍｉｎ以下を０、ｃｍａｘ以上をＬ−１に飽和させ、ｃｍｉｎからｃｍａｘまでを０から２５５の値をとる２５６階調の前記色相変換画像に変換する低階調化手段と、
を更に有することを特徴とする。
【００２５】
また、本発明第１６の態様では、前記血管識別画像生成手段は、前記色相変換画像に対してＬ階調のヒストグラムを算出し、算出されたヒストグラムの階調１から階調（Ｌ−２）の範囲を用いて判別分析法の処理を実行し、前記所定のしきい値を算出することを特徴とする。
【００２６】
また、本発明第１７の態様では、前記血管識別画像生成手段は、前記所定のしきい値をＳａｖとすると、前記色相変換画像の前記血管領域に対応する各画素の色相値Ｈｕｅに対して、（Ｈｕｅ−Ｓａｖ）×２なる演算を行って−Ｌから＋Ｌの範囲の色相値に変換し、色相値が正の画素に仮動脈属性を付与し、色相値が負の画素に仮静脈属性を付与し、前記血管領域に対応しない各画素に対して色相値０を設定し、前記血管識別画像を生成する際、前記変換された色相値の情報を保持するように、前記血管識別画像を生成することを特徴とする。
【００２７】
また、本発明第１８の態様では、カラー眼底画像に対して、血管である確率が高い画素ほど高い値が設定されたグレースケールの血管強調画像を得る血管領域強調手段と、
前記血管強調画像の中で所定の値以上の値をもつ画素を血管領域の画素として抽出し、前記血管領域の各画素に対して、前記カラー眼底画像の対応する画素を参照してＲＧＢ値を取得し、取得したＲＧＢ値を色相値に変換し、画素値が色相値に変換された色相変換画像を得る色相変換手段と、
前記色相変換画像の中で色相値の所定の値を境に２種類の属性を付与し、前記血管領域の各画素に付与された２種類の属性が視覚的に識別可能な血管識別画像を生成する血管識別画像生成手段と、
前記血管識別画像に対して指示された領域と属性に基づいて、前記領域内の前記血管領域に含まれる画素に対して、動脈属性、静脈属性、および動脈と静脈が重なった動静脈属性を少なくとも含む属性に修正する血管識別画像修正手段と、
を有することを特徴とする。
【００２８】
また、本発明第１９の態様では、コンピュータを、前記眼底画像処理装置として機能させるためのプログラムを提供する。
【発明の効果】
【００２９】
本発明によれば、対話形式に血管属性の修正を加えることにより、血管属性を少ない作業負荷で的確に付与することが可能となる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施形態に係る眼底画像処理装置１００のハードウェア構成図である。
【図２】本発明の一実施形態に係る眼底画像処理装置の構成を示す機能ブロック図である。
【図３】本発明の一実施形態に係る眼底画像処理装置の処理概要を示すフローチャートである。
【図４】フルカラー眼底画像と血管強調画像の一例を示す図である。
【図５】Ｋ＝２０４８としたときの、２０４８階調色相ヒストグラムを示す図である。
【図６】図５のヒストグラムを基に抽出された中央階調領域を示す図である。
【図７】Ｌ＝２５６としたときの、Ｌ階調変換画像Ｈｕｅ（ｘ，ｙ）の一例を示す図である。
【図８】Ｌ＝２５６としたときの、２５６階調色相ヒストグラムを示す図である。
【図９】血管識別画像の属性と基準値の関係を示す図である。
【図１０】血管識別画像修正手段６３の処理により表示部７の画面上に表示されたフルカラー眼底画像と、フルカラーの血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）を示す図である。
【図１１】修正指示、修正対象画素、修正後の属性の対応関係を示す図である。
【図１２】属性遷移規則を示す図である。
【図１３】血管識別画像の修正処理を示すフローチャートである。
【図１４】表示された血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）上に指定領域が表示された状態を示す図である。
【図１５】修正前後における実際の画像の変化の様子を示す図である。
【図１６】表示された血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）上に指定領域が表示された状態を示す図である。
【図１７】動静脈交叉モードにおける実際の画像の変化の様子を示す図である。
【図１８】ステップＳ８００における属性の設定の詳細を示すフローチャートである。
【図１９】グレースケール血管属性設定画像を、特許文献２の眼底画像処理装置に適用した例を示す図である。
【図２０】動脈属性設定画像、静脈属性設定画像を、特許文献２の眼底画像処理装置に適用した例を示す図である。
【図２１】第２の実施形態に係る眼底画像処理装置の構成を示す機能ブロック図である。
【図２２】機械学習手段６７の詳細を示す図である。
【図２３】第２の実施形態に係る眼底画像処理装置の処理概要を示すフローチャートである。
【図２４】第２の実施形態における機会学習を説明するための図である。
【図２５】血管領域強調手段１０の詳細を示す機能ブロック図である。
【図２６】血管領域強調手段１０によるステップＳ１００の血管領域強調処理の詳細を示すフローチャートである。
【図２７】グレースケール眼底画像上の画素（ｘ，ｙ）と平均値Ｍｅａｎ（ｘ，ｙ）を算出するための近傍画素との関係を示す図である。
【図２８】ステップＳ１３０の線状成分強調処理の詳細を示すフローチャートである。
【図２９】オープニング処理で用いる線形構造要素の一例を示す図である。
【図３０】オープニング処理で用いる円形構造要素の一例を示す図である。
【図３１】方向ｄ＝１の場合の線形構造要素の具体的な画素値を示す図である。
【図３２】方向ｄ＝２の場合の線形構造要素の具体的な画素値を示す図である。
【発明を実施するための形態】
【００３１】
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。
＜１．装置構成＞
図１は、本発明第１の実施形態に係る眼底画像処理装置のハードウェア構成図である。本実施形態に係る眼底画像処理装置１００は、汎用のコンピュータで実現することができ、図１に示すように、ＣＰＵ（Central Processing Unit）１と、コンピュータのメインメモリであるＲＡＭ（Random Access Memory）２と、ＣＰＵ１が実行するプログラムやデータを記憶するためのハードディスク、フラッシュメモリ等の大容量の記憶装置３と、キーボード、マウス等の指示入力Ｉ／Ｆ（インターフェース）４と、データ記憶媒体等の外部装置とデータ通信するためのデータ入出力Ｉ／Ｆ（インターフェース）５と、表示や機械学習を高速化するためのＧＰＵ（Graphical Processing Unit）６と、液晶ディスプレイ等の表示デバイスである表示部７と、を備え、互いにバスを介して接続されている。
【００３２】
図２は、本実施形態に係る眼底画像処理装置の構成を示す機能ブロック図である。図２において、１０は血管領域強調手段、２０は多階調色相変換手段、３０は中央階調領域定義手段、４０は低階調化手段、５０はしきい値算出手段、６０は血管識別画像生成手段、６３は血管識別画像修正手段、６５は血管属性設定手段、７０は眼底画像記憶手段、８０は処理画像記憶手段である。多階調色相変換手段２０、中央階調領域定義手段３０、低階調化手段４０は、まとめて色相変換手段として機能する。
【００３３】
血管領域強調手段１０、多階調色相変換手段２０、中央階調領域定義手段３０、低階調化手段４０、しきい値算出手段５０、血管識別画像生成手段６０、血管識別画像修正手段６３、血管属性設定手段６５は、ＣＰＵ１が、記憶装置３に記憶されているプログラムを実行することにより実現され、一部の処理においてはＧＰＵ６も使用される。眼底画像記憶手段７０は、可視光・光源方式の眼底カメラを用いてフルカラーで撮影された、血管領域の抽出対象となるフルカラー眼底画像を記憶した記憶手段であり、記憶装置３により実現される。眼底画像処理装置にフルカラー眼底画像を読み込ませて、そのまま処理を行う場合は、ＲＡＭ２が眼底画像記憶手段７０としての役割を果たす。フルカラー眼底画像とは、ＲＧＢの３成分により記録された画像データであり、被験者の眼底が撮影されたものである。本実施形態では、ＲＧＢ各色８ビット２５６階調で記録されたものを用いている。処理画像記憶手段８０は、血管識別画像生成手段６０により生成され、または、血管識別画像修正手段６３により修正された血管識別画像や、血管属性設定手段６５により生成された血管属性設定画像等、処理された画像を記憶する記憶手段であり、記憶装置３により実現される。
【００３４】
図２に示した各構成手段は、現実には図１に示したように、コンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。なお、本明細書において、コンピュータとは、ＣＰＵとＧＰＵ等の演算処理部を有し、データ処理が可能な装置を意味し、パーソナルコンピュータなどの汎用コンピュータだけでなく、ＧＰＵを搭載するタブレット等の携帯型端末も含む。
【００３５】
図１に示した記憶装置３には、ＣＰＵ１を動作させ、ＧＰＵ６を補助的に使用しながら、コンピュータを、眼底画像処理装置として機能させるための専用のプログラムが実装されている。この専用のプログラムを実行することにより、ＣＰＵ１は、血管領域強調手段１０、多階調色相変換手段２０、中央階調領域定義手段３０、低階調化手段４０、しきい値算出手段５０、血管識別画像生成手段６０、血管識別画像修正手段６３、血管属性設定手段６５としての機能を実現することになる。また、記憶装置３は、眼底画像記憶手段７０、処理画像記憶手段８０として機能するだけでなく、眼底画像処理装置としての処理に必要な様々なデータを記憶する。
【００３６】
＜２．処理動作＞
＜２．１．前処理＞
まず、処理対象とするフルカラー眼底画像を用意する。フルカラー眼底画像としては、デジタル方式の眼底カメラによりフルカラーで撮影した画像ファイルがあれば、そのまま使用できる。また、アナログ方式の眼底カメラにより写真媒体に記録された古いものであれば、保管されていたアナログのカラーのネガ・ポジフィルム、印画紙、インスタント写真等をスキャナによりフルカラーで読み取る等してデジタルのフルカラー眼底画像ファイルを取得する。一般には、可視光・光源方式の眼底カメラを用いてフルカラーで撮影することによりフルカラー眼底画像が得られる。取得したフルカラー眼底画像は、眼底画像処理装置の眼底画像記憶手段７０に記憶させる。本実施形態では、フルカラー眼底画像としてＲ，Ｇ，Ｂ各成分８ビット２５６階調のカラー画像を用意する。
【００３７】
＜２．２．処理概要＞
次に、図１、図２に示した眼底画像処理装置の処理動作について説明する。図３は、本発明の一実施形態に係る眼底画像処理装置の処理概要を示すフローチャートである。上述のように、処理対象であるフルカラー眼底画像は、ＲＧＢ各色８ビット２５６階調の画像データである。したがって、ｘ方向の画素数Ｘｓ、ｙ方向の画素数Ｙｓのフルカラー眼底画像は、色成分を示す変数ｃ＝０（Ｒｅｄ），１（Ｇｒｅｅｎ），２（Ｂｌｕｅ）とすると、Ｉｍａｇｅ（ｘ，ｙ，ｃ）＝０〜２５５（ｘ＝０，・・・，Ｘｓ−１；ｙ＝０，・・・，Ｙｓ−１；ｃ＝０，１，２）と定義される。
【００３８】
まず、血管領域強調手段１０が、フルカラー眼底画像に対して、血管領域を強調する処理を行い、血管強調画像を得る（ステップＳ１００）。血管領域強調手段１０、および血管領域強調手段１０が行うステップＳ１００の血管領域強調処理の詳細については後述する。血管強調画像Ｔｒａｙ（ｘ，ｙ）は、血管領域であるか否かの確率を示す２５６段階の血管確度をもつグレースケール画像である。血管強調画像において、Ｔｒａｙ（ｘ，ｙ）＝０の場合は完全に非血管領域を示し、Ｔｒａｙ（ｘ，ｙ）＝２５５の場合は完全に血管領域を示す。図４は、フルカラー眼底画像と血管強調画像の一例を示す図である。図４（ａ）に示すフルカラー眼底画像に対して、ステップＳ１００の処理を実行することにより、図４（ｂ）に示す血管強調画像が得られる。図４（ｂ）に示される通り、本実施形態における血管領域強調処理では、Ｔｒａｙ（ｘ，ｙ）の値が比較的大きい血管領域であると判定される画素領域の中には、眼底撮影時の枠線など、本来であれば非血管領域に含まれなくてはいけない非眼底領域の画素も含まれてしまう。
【００３９】
血管強調画像が得られたら、次に、多階調色相変換手段２０が、血管領域画素の色相変換を行う（ステップＳ２００）。具体的には、まず、血管強調画像Ｔｒａｙ（ｘ，ｙ）＞１２８を満たす座標（ｘ，ｙ）に対応する全ての画素Ｉｍａｇｅ（ｘ，ｙ，ｃ）に対して、以下の〔数式１〕に従った処理を実行することにより色相値ｈを得る。なお、〔数式１〕においては、ｒ＝Ｉｍａｇｅ（ｘ，ｙ，０）、ｇ＝Ｉｍａｇｅ（ｘ，ｙ，１）、ｂ＝Ｉｍａｇｅ（ｘ，ｙ，２）とする。
【００４０】
〔数式１〕
通常眼の場合
２ｒ＞ｇ＋ｂのとき、ｈ＝（ｇ−ｂ）α／（２ｒ−ｇ−ｂ）
２ｒ≦ｇ＋ｂのとき、ｈ＝０
白内障眼の場合
２ｒとｇ＋ｂが等しくないとき、ｈ＝（ｇ−ｂ）α／（２ｒ−ｇ−ｂ）
２ｒ＝ｇ＋ｂのとき、ｈ＝０
【００４１】
〔数式１〕に従った処理を実行する際、事前の設定に従って、通常眼、白内障眼に応じた処理が行われる。事前の設定は、オペレータが、指示入力Ｉ／Ｆ４を介して、通常眼、白内障眼であるかを指定することにより行われる。〔数式１〕におけるαとしては、任意の実数値を設定することができるが、本実施形態では、α＝７６８．０に設定されている。通常眼の場合は、血管領域では必ず２ｒ＞ｇ＋ｂとなり、それを満たさない画素は非眼底領域（撮影時の枠線など）と判断できるが、白内障眼の場合は、フルカラー眼底画像においてＢｌｕｅ成分であるｂの値が大きくなり、血管領域でも２ｒ＜ｇ＋ｂとなることがある。通常眼の設定で行うと、血管領域に対してｈ＝０と非眼底領域と誤判定し、多くの血管領域が抽出されなくなる。そのため、白内障と考えられる場合には、２ｒ＝ｇ＋ｂになる画素を除き全ての画素を血管領域とみなす。尚、数式１は血管強調画像Ｔｒａｙ（ｘ，ｙ）＞１２８を満たす血管領域の画素に対して適用しているが、眼底カメラで撮影時の枠線など眼底画像に含まれる非眼底領域の画素もＴｒａｙ（ｘ，ｙ）＞１２８を満たしてしまうため、そのまま血管領域として処理する。
【００４２】
〔数式１〕における処理は、ｈ＝（ｇ−ｂ）α／（２ｒ−ｇ−ｂ）を用い、２ｒ−ｇ−ｂ＝０の場合ｈ＝０とし、２ｒ−ｇ−ｂ＜０の場合、通常眼では非眼底領域（非血管領域）の画素と判断してｈ＝０とし、白内障眼では、血管領域でも２ｒ−ｇ−ｂ＜０を満たす画素があるため、血管領域であるか非眼底領域（非血管領域）の画素であるかを色相値で判断できないため、非眼底領域（非血管領域）の画素も含めて血管領域の画素とみなし、ｈ＝（ｇ−ｂ）α／（２ｒ−ｇ−ｂ）で算出される色相値を与える。
【００４３】
続いて、算出されたｈの最小値ｈｍｉｎ、ｈの最大値ｈｍａｘを用いて、以下の〔数式２〕に従った処理を実行することによりＫ階調変換画像Ｈｕｅｈ（ｘ，ｙ）を得る。Ｋ階調変換画像Ｈｕｅｈ（ｘ，ｙ）は、後述するＬ階調変換画像Ｈｕｅ（ｘ，ｙ）より相対的に多階調であるため、多階調色相変換画像と呼ぶこともできる。
【００４４】
〔数式２〕
Ｈｕｅｈ（ｘ，ｙ）＝（ｈ−ｈｍｉｎ）（Ｋ−１）／（ｈｍａｘ−ｈｍｉｎ）
０≦Ｈｕｅｈ（ｘ，ｙ）≦Ｋ−１
【００４５】
〔数式２〕の第１式の結果得られたＨｕｅｈ（ｘ，ｙ）は実数値であるため、小数点以下１桁を四捨五入して整数値に置き換える。〔数式２〕における階調Ｋとしては、任意の値を設定することができるが、本実施形態では、Ｋ＝２０４８に設定されている。この場合、Ｋ階調変換画像Ｈｕｅｈ（ｘ，ｙ）は、０〜２０４７の値をとる２０４８階調のグレースケール画像である。色相値ｈは、血管強調画像Ｔｒａｙ（ｘ，ｙ）＞１２８となる血管領域である可能性が高い画素についてのみ、求められているため、Ｋ階調変換画像Ｈｕｅｈ（ｘ，ｙ）も血管領域である可能性が高い画素に対応する画像となる。
【００４６】
Ｋ階調変換画像が得られたら、次に、中央階調領域定義手段３０が、中央階調領域の抽出を行う（ステップＳ３００）。具体的には、まず、Ｋ階調変換画像Ｈｕｅｈ（ｘ，ｙ）の、血管強調画像Ｔｒａｙ（ｘ，ｙ）＞１２８を満たす画素（ｘ，ｙ）におけるヒストグラムｈｉｓｔｈ（ｈ１）（０≦ｈ１≦Ｋ−１）を求める。ヒストグラムｈｉｓｔｈ（ｈ１）が得られたら、以下の〔数式３〕に従った処理を実行することにより、ヒストグラムｈｉｓｔｈ（ｈ１）の中央値（５０％位置）ｈｃを求める。
【００４７】
〔数式３〕
Ｃｔ＝Σh1=0,Kｈｉｓｔｈ（ｈ１）
Σh1=0,hcｈｉｓｔｈ（ｈ１）≧Ｃｔ／２
【００４８】
〔数式３〕において、Ｃｔは、Ｋ階調変換画像Ｈｕｅｈ（ｘ，ｙ）の画素の総数である。〔数式３〕の第２式の条件を満たすｈ１の最小値ｈｃを中央値とする。中央値ｈｃが得られたら、以下の〔数式４〕に従った処理を実行することにより、中央階調領域の最小値ｃｍｉｎと最大値ｃｍａｘを求める。
【００４９】
〔数式４〕
ｈｃ−１≧ｈ１≧０の範囲で、Σh1=cmin,hc-1ｈｉｓｔｈ（ｈ１）≧Ｃｔ／４
ｈｃ≦ｈ１≦Ｋ−１の範囲で、Σh1=hc,cmaxｈｉｓｔｈ（ｈ１）≧Ｃｔ／４
【００５０】
〔数式４〕において、第１式が成立するｈ１の最大値を中央階調領域の最小値ｃｍｉｎとし、第２式が成立するｈ１の最小値を中央階調領域の最大値ｃｍａｘとする。これにより、中央値ｈｃの両側それぞれにＣｔ／４の画素が含まれる範囲を中央階調領域として定義することができる。
【００５１】
図５は、Ｋ＝２０４８としたときの、２０４８階調色相の高精度ヒストグラムを示す図である。図５においては、中央値ｈｃ＝１０３２、最小値ｃｍｉｎ＝１０２３、最大値ｃｍａｘ＝１０３７となった例を示している。図６の表は、図５のヒストグラムの各頻度値を示す図である。図６にマーキングされているｃｍｉｎ（１０２３）からｃｍａｘ（１０３７）までが中央階調領域として抽出されている。中央階調領域が抽出されたら、次に、低階調化手段４０が、Ｋ階調変換画像Ｈｕｅｈ（ｘ，ｙ）の低階調化を行う（ステップＳ４００）。具体的には、以下の〔数式５〕に従った処理を実行することによりＬ階調色相変換画像Ｈｕｅ（ｘ，ｙ）を得る。なお、Ｌは正の整数である。
【００５２】
〔数式５〕
Ｔｒａｙ（ｘ，ｙ）＞１２８を満たす（ｘ，ｙ）に対して
Ｈｕｅ（ｘ，ｙ）＝（Ｈｕｅｈ（ｘ，ｙ）−ｃｍｉｎ）（Ｌ−１）／（ｃｍａｘ−ｃｍｉｎ）
Ｈｕｅ（ｘ，ｙ）＜０の場合、Ｈｕｅ（ｘ，ｙ）＝０
Ｈｕｅ（ｘ，ｙ）＞Ｌ−１の場合、Ｈｕｅ（ｘ，ｙ）＝Ｌ−１
【００５３】
〔数式５〕に示すように、演算後のＨｕｅ（ｘ，ｙ）が負の値かＬ−１を超える場合、それぞれ最小値０、最大値Ｌ−１に飽和させる。〔数式５〕における階調Ｌとしては、任意の値を設定することができるが、本実施形態では、Ｌ＝２５６に設定されている。この場合、Ｌ階調変換画像Ｈｕｅ（ｘ，ｙ）は、０〜２５５の値をとる２５６階調のグレースケール画像である。
【００５４】
図７は、Ｌ＝２５６としたときの、Ｌ階調変換画像Ｈｕｅ（ｘ，ｙ）の一例を示す図である。動脈に相当する画素は高輝度となり、静脈に相当する画素は低輝度となる。前述の通り、Ｔｒａｙ（ｘ，ｙ）＞１２８を満たす画素の中には、眼底カメラで撮影時の枠線など眼底画像に含まれる非眼底領域の画素も含まれ、これらのＬ階調色相変換画像Ｈｕｅ（ｘ，ｙ）の値は、飽和させた画素値の０（通常眼の場合）またはＬ−１（白内障眼の場合）をとる。
【００５５】
Ｌ階調変換画像が得られたら、次に、しきい値算出手段５０は、しきい値を算出する（ステップＳ５００）。具体的には、まず、０〜Ｌ−１の値をもつグレースケールのＬ階調変換画像Ｈｕｅ（ｘ，ｙ）（ｘ＝０，・・・，Ｘｓ−１；ｙ＝０，・・・，Ｙｓ−１）に対して、Ｔｒａｙ（ｘ，ｙ）＞１２８を満たす（ｘ，ｙ）について濃度ヒストグラムＨｉｓｔ（ｖａ）（ｖａ＝０，・・・，Ｌ−１）を算出する。そして、ヒストグラムを２分割する境界（しきい値）をｓ（ｓ＝２，・・・，Ｌ−２）とし、以下の〔数式６〕に従った処理を実行し、判別値Ｄ（ｓ）を算出する。
【００５６】
〔数式６〕
Ｓｕｍ１（ｓ）＝Σva=1,s-1Ｈｉｓｔ（ｖａ）ｖａ
Ｓｕｍ２（ｓ）＝Σva=s,L-2Ｈｉｓｔ（ｖａ）ｖａ
Ｎ１（ｓ）＝Σva=1,s-1Ｈｉｓｔ（ｖａ）
Ｎ２（ｓ）＝Σva=s,L-2Ｈｉｓｔ（ｖａ）
Ｖ１（ｓ）＝Ｓｕｍ１（ｓ）／Ｎ１（ｓ）
Ｖ２（ｓ）＝Ｓｕｍ２（ｓ）／Ｎ２（ｓ）
Ｗ（ｓ）＝（Ｖ１（ｓ）−Ｖ２（ｓ））
Ｄ（ｓ）＝Ｎ１（ｓ）Ｎ２（ｓ）Ｗ（ｓ）2
【００５７】
上記〔数式６〕の第１式において、Σの添え字の“ｖａ＝１，ｓ−１”は、ｖａが１からｓ−１までの総和を求めることを示している。同様に、第２式〜第４式においても添え字の範囲で総和を求める。ｖａ＝０の場合は静脈であることが明らかであり，ｖａ＝Ｌ−１の場合は動脈であることが明らかであり、血管領域に含まれる非眼底領域の画素もｖａ＝０（通常眼の場合）またはｖａ＝Ｌ−１（白内障眼の場合）をとるため、演算の範囲から除外している。また、上記〔数式６〕において、Ｎ１（ｓ）は階調値（画素値）ｓより低階調側の画素個数、Ｎ２（ｓ）は階調値（画素値）ｓより高階調側の画素個数、Ｖ１（ｓ）は階調値（画素値）ｓより低階調側の階調平均値、Ｖ２（ｓ）は階調値（画素値）ｓより高階調側の階調平均値である。例えば、Ｌ＝２５６の場合、ｖａ＝１〜２５４の範囲を用いて判別分析法の処理を実行していることになる。
【００５８】
上記〔数式６〕の最後の式である判別式に従ってＤ（ｓ）を算出し、判別値Ｄ（ｓ）を最大とするｓを二値化（動静脈識別）のしきい値Ｓａｖに選定する。ステップＳ５００における、しきい値Ｓａｖを特定する処理は、公知の判別分析法と実質的に同じものとなっている。
【００５９】
図８は、Ｌ＝２５６としたときの、２５６階調色相ヒストグラムを示す図である。図８の例では、中央値ｈｃ＝１０３２、最小値ｃｍｉｎ＝１０２３、最大値ｃｍａｘ＝１０３７である場合に、しきい値Ｓａｖ＝２０１が特定された例を示している。
【００６０】
しきい値Ｓａｖが得られたら、次に、血管識別画像生成手段６０が、血管識別画像を生成する（ステップＳ６００）。具体的には、まず、以下の〔数式７〕に従った処理を実行することにより符号付き色相変換画像Ｈｕｅｓ（ｘ，ｙ）を得る。
【００６１】
〔数式７〕
Ｔｒａｙ（ｘ，ｙ）＞１２８のとき、ｈ２＝（Ｈｕｅ（ｘ，ｙ）−Ｓａｖ）×２
Ｔｒａｙ（ｘ，ｙ）≦１２８のとき、ｈ２＝０
｜ｈ２｜＞２５５の場合、｜ｈ２｜←２５５（正負符号はそのまま）
Ｈｕｅｓ（ｘ，ｙ）＝ｈ２（正負の符号付き）
【００６２】
〔数式７〕においては、Ｌ階調変換画像Ｈｕｅ（ｘ，ｙ）としきい値Ｓａｖとの減算に基づいて、Ｈｕｅｓ（ｘ，ｙ）を求めている。〔数式７〕に従った処理の結果、動脈である可能性の高い画素（ｘ，ｙ）は正の値を持ち、静脈である可能性の高い画素（ｘ，ｙ）は負の値を持つ符号付き色相変換画像Ｈｕｅｓ（ｘ，ｙ）が得られる。すなわち、符号付き色相変換画像Ｈｕｅｓ（ｘ，ｙ）の各画素には、正負の符号により動脈または静脈の属性が付与されている。
【００６３】
符号付き色相変換画像Ｈｕｅｓ（ｘ，ｙ）は、血管であるか否かの確率を示す２５６段階の血管確度をもつグレースケール画像である血管強調画像Ｔｒａｙ（ｘ，ｙ）と同じサイズ（画素数Ｘｓ×Ｙｓ）である。
【００６４】
符号付き色相変換画像Ｈｕｅｓ（ｘ，ｙ）が得られたら、符号付き色相変換画像Ｈｕｅｓ（ｘ，ｙ）と血管強調画像Ｔｒａｙ（ｘ，ｙ）を基に、２つの基準値を算出する。具体的には、以下の〔数式８〕に従った処理を実行することにより２つの基準値Ｈｓ、Ｖｓを算出する。
【００６５】
〔数式８〕
Ｈｓ＝（｜Ｈｕｅｓ（ｘ，ｙ）｜／２＋Ｌ／２）×Ｔｒａｙ（ｘ，ｙ）／（Ｌ−１）
Ｖｓ＝Ｔｒａｙ（ｘ，ｙ）／４
【００６６】
次に、２つの基準値Ｈｓ、Ｖｓを用いて、フルカラーの血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）を得る。血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）においても、フルカラー眼底画像Ｉｍａｇｅ（ｘ，ｙ，ｃ）と同様、色成分を示す変数ｃ＝０（Ｒｅｄ），１（Ｇｒｅｅｎ），２（Ｂｌｕｅ）となっている。この血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）は、図９に示すように、２つの基準値Ｈｓ、Ｖｓを用いて、仮動脈(非血管) ・仮静脈(非血管)・確定動脈・確定静脈・確定動静脈の５種類の属性を表現することができる。初期状態においては、以下の〔数式９〕に従った処理を実行することにより仮動脈(非血管) ・仮静脈(非血管)の２種類が設定される。
【００６７】
〔数式９〕
Ｔｒａｙ（ｘ，ｙ）＞１２８かつＨｕｅｓ（ｘ，ｙ）＞０の場合は、仮動脈(非血管)として、
ＡＶｓｅｐ（ｘ，ｙ，０）＝Ｈｓ
ＡＶｓｅｐ（ｘ，ｙ，１）＝Ｈｓ
ＡＶｓｅｐ（ｘ，ｙ，２）＝Ｖｓ
上記以外の場合、即ちＨｕｅｓ（ｘ，ｙ）≦０の場合（Ｔｒａｙ（ｘ，ｙ）≦１２８の場合も含む）は、仮静脈(非血管)として、
ＡＶｓｅｐ（ｘ，ｙ，０）＝Ｖｓ
ＡＶｓｅｐ（ｘ，ｙ，１）＝Ｈｓ
ＡＶｓｅｐ（ｘ，ｙ，２）＝Ｈｓ
【００６８】
血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）が得られたら、次に、血管識別画像修正手段６３が、血管識別画像の修正を行う（ステップＳ７００）。具体的には、まず、血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）を表示部７に表示する。また、血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）に対応するフルカラー眼底画像を表示部７に表示する。そして、血管識別画像修正手段６３は、表示された血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）に重ねて指定領域の指示を促す。指定領域の形状は、任意の形状とすることができ、円形、楕円形や多角形とすることもできるが、本実施形態では、矩形としている。この矩形状の指定領域は、マウスやタッチパネル等から指示入力Ｉ／Ｆ４を介して、指示入力を行うことにより、位置、傾き、大きさを変更することが可能になっている。
【００６９】
利用者は、表示されたフルカラー眼底画像を見ながら、血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）において、血管であると思われる箇所を含むように任意の位置、傾き、大きさで指定領域を指示する。すると、血管識別画像修正手段６３は、血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）に指定領域を特定するマークを表示するとともに、フルカラー眼底画像の同一座標に指定領域を特定するマークを表示する。本実施形態では、指定領域を特定するマークとして、指定領域の外枠となる矩形状の枠を用いている。図１０は、血管識別画像修正手段６３の処理により表示部７の画面上に表示されたフルカラー眼底画像と、フルカラーの血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）を示す図である。図１０（ｂ）に示すように、矩形状の指定領域が血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）上で指定されると、図１０（ａ）に示すように、フルカラー眼底画像上の対応する位置に、指定領域の外枠となる矩形状マークが表示される。指定領域を特定するマークをフルカラー眼底画像上に表示することにより、利用者が血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）で指示した指定領域が、フルカラー眼底画像のどの位置に対応するかが明確になる。このため、血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）上でどのような属性を指定すべきかを、元の眼底画像の血管の状態を見ながら判断することができる。この時、図１０に示すように、血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）とフルカラー眼底画像の表示倍率は異なるように設定することができる。血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）の倍率は、図１０（ｂ）に示されるように、利用者が指定しやすいように一般に大き目に設定される。血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）と同倍率でフルカラー眼底画像を表示させると、血管の枝分かれ状態が見えずらく、視覚的に動静脈が判別しにくいため、図１０（ａ）に示されるように、フルカラー眼底画像の表示倍率は広域が見えるように低めに設定することが一般に行われる。そして、利用者は、指示された指定領域内の血管を見て、マウスやタッチパネル等から指示入力Ｉ／Ｆ４を介して、様々な属性への修正を指示する。本実施形態では、図１１に示すような７通りの修正指示が可能となっている。修正指示が行われた場合、指示された指定領域内の各修正対象画素は、図１１に示した対応関係に従って修正される。例えば、図１１の１行目に示すように、指示された指定領域に対して動脈に修正する指示がなされた場合、指示された指定領域に含まれる仮動脈、仮静脈、確定動静脈は確定動脈に、確定静脈は確定動脈または確定動静脈に変更される。
【００７０】
図１２は、属性遷移規則を示す図である。修正指示に従って属性は図１２に示すように遷移する。矢印は遷移可能な方向を示す図である。図１２に示すように現属性から他の３属性のいずれかに遷移することができる。例えば、確定動静脈からは図１２において矢印で示すように、確定動脈、確定静脈、仮静脈の３属性のいずれかに遷移することができる。また、仮動脈と仮静脈の間の遷移はできないようになっている。仮動脈から確定静脈に一旦遷移して確定静脈から仮静脈に遷移する操作を行えば、間接的に仮動脈から仮静脈に遷移することは可能であるが、仮動脈から確定静脈に誤って遷移した場合は、操作をキャンセルして仮動脈に戻すことを推奨している。仮動脈と仮静脈は最終的に非血管とみなされる点で等価であるが、修正前の初期の血管識別画像における判定結果をできる限り維持して後述する機械学習を行わせ、機械学習による判定精度を高めるようにするためである。
【００７１】
図１３は、血管識別画像修正手段６３による血管識別画像の修正処理を示すフローチャートである。血管識別画像修正手段は、修正指示が行われると、指定領域内の各画素の座標を順次特定する（ステップＳ７１０）。続いて、特定された座標における各画素のＲＧＢ値を取得する（ステップＳ７２０）。各画素のＲＧＢ値は、ＲはＡＶｓｅｐ（ｘ，ｙ，０）、ＧはＡＶｓｅｐ（ｘ，ｙ，１）、ＢはＡＶｓｅｐ（ｘ，ｙ，２）に対応している。図１３においては、図面が繁雑になるのをさけるため、Ｒ、Ｇ、Ｂの値を用いている。
【００７２】
各画素のＲＧＢ値の取得後、これらの関係に従って、新たな基準値を算出する（ステップＳ７３０〜Ｓ７７０）。具体的には、以下の〔数式１０〕〜〔数式１４〕に従った処理を実行し、新たな基準値Ｈｓ、Ｖｓを算出する。
【００７３】
〔数式１０〕
ＡＶｓｅｐ（ｘ，ｙ，０）＝ＡＶｓｅｐ（ｘ，ｙ，１）かつＡＶｓｅｐ（ｘ，ｙ，０）≧ＡＶｓｅｐ（ｘ，ｙ，２）の場合（仮動脈属性であると考えられる場合）
Ｈｓ＝ＡＶｓｅｐ（ｘ，ｙ，０）
Ｖｓ＝ＡＶｓｅｐ（ｘ，ｙ，２）
【００７４】
〔数式１１〕
ＡＶｓｅｐ（ｘ，ｙ，２）＝ＡＶｓｅｐ（ｘ，ｙ，１）かつＡＶｓｅｐ（ｘ，ｙ，２）≧ＡＶｓｅｐ（ｘ，ｙ，０）の場合（仮静脈属性であると考えられる場合）
Ｈｓ＝ＡＶｓｅｐ（ｘ，ｙ，２）
Ｖｓ＝ＡＶｓｅｐ（ｘ，ｙ，０）
【００７５】
〔数式１２〕
ＡＶｓｅｐ（ｘ，ｙ，０）＞ＡＶｓｅｐ（ｘ，ｙ，１）かつＡＶｓｅｐ（ｘ，ｙ，１）＞ＡＶｓｅｐ（ｘ，ｙ，２）の場合（確定動脈属性であると考えられる場合）
Ｈｓ＝ＡＶｓｅｐ（ｘ，ｙ，０）
Ｖｓ＝ＡＶｓｅｐ（ｘ，ｙ，１）
【００７６】
〔数式１３〕
ＡＶｓｅｐ（ｘ，ｙ，１）＞ＡＶｓｅｐ（ｘ，ｙ，０）かつＡＶｓｅｐ（ｘ，ｙ，２）＞ＡＶｓｅｐ（ｘ，ｙ，１）の場合（確定静脈属性であると考えられる場合）
Ｈｓ＝ＡＶｓｅｐ（ｘ，ｙ，２）
Ｖｓ＝ＡＶｓｅｐ（ｘ，ｙ，１）
【００７７】
〔数式１４〕
ＡＶｓｅｐ（ｘ，ｙ，０）＝ＡＶｓｅｐ（ｘ，ｙ，２）かつＡＶｓｅｐ（ｘ，ｙ，０）＞ＡＶｓｅｐ（ｘ，ｙ，１）の場合（確定動静脈属性であると考えられる場合）
Ｈｓ＝ＡＶｓｅｐ（ｘ，ｙ，０）
Ｖｓ＝ＡＶｓｅｐ（ｘ，ｙ，１）
【００７８】
続いて、上記〔数式１０〕〜〔数式１４〕に従った処理により算出された新たな基準値Ｖｓを、Ｌ／８（例えばＬ＝２５６）と比較する（ステップＳ７８０）。比較の結果、基準値ＶｓがＬ／８以下である場合には、その画素を非血管属性とみなし元の状態を維持し、ＡＶｓｅｐ（ｘ，ｙ，ｃ）（ｃ＝０，１，２とも）は更新されない。
【００７９】
一方、ステップＳ７８０における比較の結果、基準値ＶｓがＬ／８より大きい場合には、変更後の属性に従って、図９に示した属性区分に従いＲ、Ｇ、Ｂに対応するＡＶｓｅｐ（ｘ，ｙ，０）、ＡＶｓｅｐ（ｘ，ｙ，１）、ＡＶｓｅｐ（ｘ，ｙ，２）に新たな基準値Ｈｓ、Ｖｓを割り当てる（ステップＳ７９０）。図１３に従った処理を指定領域内の各画素に対して実行することにより、変更後の属性に従った血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）が得られる。
【００８０】
図１４は、表示された血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）上に矩形状の指定領域が表示された状態を示す図である。図１４（ａ）は、属性修正前の状態、図１４（ｂ）は、属性修正後の状態を示している。図１４（ａ）に示すように、利用者の指示に従って仮静脈、仮動脈上に矩形状の指定領域を設定した後、各指定領域に対して、それぞれ「静脈に変更」、「動脈に変更」の指示を行う。指示に基づいて血管識別画像修正手段は、血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）の修正を行う。
【００８１】
具体的には、図１４の上側の仮静脈に対する指定領域については、図９の属性区分に従って、ＡＶｓｅｐ（ｘ，ｙ，０）＝Ｖｓ、ＡＶｓｅｐ（ｘ，ｙ，１）＝Ｈｓ、ＡＶｓｅｐ（ｘ，ｙ，２）＝Ｈｓの仮静脈の状態から、ＡＶｓｅｐ（ｘ，ｙ，０）＝０、ＡＶｓｅｐ（ｘ，ｙ，１）＝Ｖｓ、ＡＶｓｅｐ（ｘ，ｙ，２）＝Ｈｓの確定静脈の状態に修正する。また、図１４の下側の仮動脈に対する矩形領域については、ＡＶｓｅｐ（ｘ，ｙ，０）＝Ｈｓ、ＡＶｓｅｐ（ｘ，ｙ，１）＝Ｈｓ、ＡＶｓｅｐ（ｘ，ｙ，２）＝Ｖｓの仮動脈の状態から、ＡＶｓｅｐ（ｘ，ｙ，０）＝Ｈｓ、ＡＶｓｅｐ（ｘ，ｙ，１）＝Ｖｓ、ＡＶｓｅｐ（ｘ，ｙ，２）＝０の確定動脈の状態に修正する。
【００８２】
修正の結果、表示された血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）は、指定領域内の仮静脈を示すシアンの箇所が確定静脈を示すブルーに変化し、指定領域内の仮動脈を示すイエローの箇所が確定動脈を示すレッドに変化する。図１５は、修正前後における実際の画像の変化の様子を示す図である。「動脈に変更」の指示が行われると、図１５（ａ）における指定領域内の仮静脈を示すシアンの箇所および同領域内の血管周辺部に分布する仮動脈を示すイエローの箇所が、図１５（ｂ）に示すように確定動脈を示すレッドに変化する。
【００８３】
図１６は、表示された血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）上に矩形状の指定領域が表示された状態を示す図である。図１６（ａ）は、属性修正前の状態を、図１６（ｂ）は、上書きモードによる属性修正後の状態を、図１６（ｃ）は、動静脈交叉モードによる属性修正後の状態を、それぞれ示している。図１６（ａ）に示すように、利用者の指示に従って確定静脈の下側を交叉する仮動脈に沿って矩形状の指定領域を設定した後、この領域に対して、それぞれ「動脈に変更」の指示を行う。指示に基づき、血管識別画像修正手段６３は、設定されているモードに応じた血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）の修正を行う。
【００８４】
上書きモードの場合は、図１６（ｂ）に示すように、指定領域内の仮動脈および確定静脈は全て確定動脈に修正される。動静脈交叉モードの場合は、図１６（ｃ）に示すように、指定領域内の仮動脈の箇所は確定動脈に修正されるが、指定領域内の確定静脈の箇所については確定動静脈に修正される。
【００８５】
修正の結果、上書きモードの場合、図１６（ｂ）に示すように、表示された動静脈判定結果画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）は、指定領域内の仮静脈を示すイエローの箇所および確定静脈を示すブルーの箇所が確定動脈を示すレッドに変化する。動静脈交叉モードの場合、図１６（ｃ）に示すように、表示された血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）は、指定領域内の仮静脈を示すイエローの箇所が確定動脈を示すレッドに変化し、確定静脈を示すブルーの箇所が確定動静脈を示すマゼンタに変化する。
【００８６】
図１７は、動静脈交叉モードにおける実際の画像の変化の様子を示す図である。「動脈に変更」の指示が行われると、図１７（ａ）における指定領域内の仮静脈を示すシアンの箇所が、図１７（ｂ）に示すように確定動脈を示すレッドに変化し、図１７（ａ）における指定領域内の確定静脈を示すブルーの箇所が、図１７（ｂ）に示すように確定動静脈を示すマゼンタに変化する。
【００８７】
血管識別画像が修正されたら、次に、血管属性設定手段６５が、血管識別画像に対して属性の設定を行う（ステップＳ８００）。図１８は、ステップＳ８００における属性の設定の詳細を示すフローチャートである。本実施形態では、血管識別画像に属性の設定を行って４つの異なる属性設定画像を生成する。具体的には、ステップＳ８１０〜Ｓ８４０において、動脈属性設定画像、静脈属性設定画像、グレースケール血管属性設定画像、カラー血管属性設定画像を生成する。これらの属性設定画像は、仮動脈属性または仮静脈属性をもつ画素を全て非血管属性に変換するようにしており、更に、動脈属性設定画像では確定静脈属性をもつ画素も非血管属性に変換し、静脈属性設定画像では確定動脈属性をもつ画素も非血管属性に変換し、仮動脈属性と仮静脈属性は存在しないため、属性設定画像では確定動脈属性と確定静脈属性と区別するための「確定」の語は特に必要ないため以降省略する。
【００８８】
ステップＳ８１０においては、動脈属性設定画像を生成する。具体的には、血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）における確定動脈属性または確定動静脈属性の画素の画素値を動脈属性としてＨｓ×αに設定し、それ以外の属性の画素の画素値を非血管属性として０に設定したグレースケール（モノクロ）の動脈属性設定画像ａＡＶｓｅｐ（ｘ，ｙ，ｃ）を生成する。基準値Ｈｓに乗じる係数αは１より大きい任意の値を設定することができる。
【００８９】
ステップＳ８２０においては、静脈属性設定画像を生成する。具体的には、血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）における確定静脈属性または確定動静脈属性の画素の画素値を静脈属性としてＨｓ×αに設定し、それ以外の属性の画素の画素値を非血管属性として０に設定したグレースケール（モノクロ）の静脈属性設定画像ｂＡＶｓｅｐ（ｘ，ｙ，ｃ）を生成する。基準値Ｈｓに乗じる係数αは１より大きい任意の値を設定することができる。
【００９０】
ステップＳ８３０においては、グレースケール血管属性設定画像を生成する。具体的には、血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）における確定動脈属性、確定静脈属性または確定動静脈属性の画素の画素値を血管属性としてＨｓ×αに設定し、それ以外の属性の画素の画素値を非血管属性として０に設定したグレースケール（モノクロ）の血管属性設定画像ｃＡＶｓｅｐ（ｘ，ｙ，ｃ）を生成する。基準値Ｈｓに乗じる係数αは１より大きい任意の値を設定することができる。血管属性という属性は本来無いが、動脈属性、静脈属性、動静脈属性を区別せずに総称した属性を血管属性と呼んでいる。
【００９１】
ステップＳ８４０においては、カラー血管属性設定画像を生成する。具体的には、血管識別画像ａＡＶｓｅｐ（ｘ，ｙ，ｃ）において、以下のように画素値を設定する。確定動脈属性の画素の画素値を、ｃ＝０（Ｒ）についてはＨｓ×α、ｃ＝１（Ｇ）、ｃ＝２（Ｂ）については０に設定し動脈属性とする。また、確定静脈属性の画素の画素値を、ｃ＝２（Ｂ）についてはＨｓ×α、ｃ＝０（Ｒ）、ｃ＝１（Ｇ）については０に設定し静脈属性とする。また、確定動静脈属性の画素の画素値を、ｃ＝１（Ｇ）については０、ｃ＝０（Ｒ）、ｃ＝２（Ｂ）についてはＨｓ×αに設定し、動静脈属性とする。さらに、それ以外の属性の画素の画素値を、ｃ＝０（Ｒ）、ｃ＝１（Ｇ）、ｃ＝２（Ｂ）について全て０に設定し非血管属性とする。これにより、フルカラーの血管属性設定画像ｄＡＶｓｅｐ（ｘ，ｙ，ｃ）が生成される。基準値Ｈｓに乗じる係数αは１より大きい任意の値を設定することができる。ステップＳ８１０〜ステップＳ８４０における係数αは、互いに全て異なっていてもよいし、複数のステップまたは全てのステップにおいて同一であってもよい。なお、ステップＳ８１０〜ステップＳ８４０における処理は、４つのステップ全て行ってもよいし、１つ〜３つのステップを選択して行うようにしてもよい。
【００９２】
４種いずれかの属性設定画像が生成されたら、次に、平滑フィルタ処理を行う（ステップＳ８５０）。具体的には、０〜２５５の値をもつグレースケールまたはカラーの属性設定画像ｓｅｐ（ｘ，ｙ，ｃ）（ｘ＝０，・・・，Ｘｓ−１；ｙ＝０，・・・，Ｙｓ−１；ｃ＝０，１，２）、平滑フィルタのサイズを（２Ｐ＋１）×（２Ｐ＋１）（Ｐは1以上の整数）とすると、Ｐ≦ｘ≦Ｘｓ−Ｐ−１, Ｐ≦ｙ≦Ｙｓ−Ｐ−１、ｃ＝０，１，２（モノクロの場合はｃ＝０のみ）に対して、以下の〔数式１５〕に従った処理を実行する。
【００９３】
〔数式１５〕
ｓｅｐ（ｘ，ｙ，ｃ）＝０の場合、
ｓｅｐ（ｘ，ｙ，ｃ）＝｛Σu=-P,PΣv=-P,Pｓｅｐ（ｘ＋ｕ，ｙ＋ｖ，ｃ）｝／｛（２Ｐ＋１）×（２Ｐ＋１）｝
【００９４】
上記〔数式１５〕においては、各画素（ｘ，ｙ）の周辺（２Ｐ＋１）×（２Ｐ＋１）画素の平均値により、平滑フィルタの中央の画素ｓｅｐ（ｘ，ｙ，ｃ）を置き換える処理を行っている。
【００９５】
上記〔数式１５〕に従った処理を全ての画素（ｘ，ｙ）に対して実行した後、さらに繰り返す。すなわち、全ての画素（ｘ，ｙ）に対する〔数式１５〕に従った処理を、所定の回数だけ繰り返す。所定の回数としては、３回以上であることが好ましい。この平滑フィルタ処理により、血管領域に含まれる非血管属性をもつ画素の一部が血管属性をもつ画素に変更され、血管領域の不連続性が改善される。
【００９６】
このようにして、動脈属性、静脈属性、動静脈属性、非血管属性の４種類のいずれかの属性が付与された属性設定画像が生成される。特に、カラー血管属性設定画像においては、４種類全ての属性が付与された属性設定画像が生成され、グレースケール血管属性設定画像においては、動脈属性、静脈属性、動静脈属性の３種類を区別せずに単一の血管属性にまとめ、血管属性または非血管属性の２種類のいずれかの属性が付与された属性設定画像が生成される。
【００９７】
ステップＳ８１０、Ｓ８２０、Ｓ８３０においてそれぞれ生成された動脈属性設定画像、静脈属性設定画像、グレースケール血管属性設定画像は、様々な眼底画像解析ツールで利用することができる。例えば、特許文献２で開示した眼底画像処理装置に適用することができる。特許文献２に記載の基準血管強調画像、補正血管強調画像として、本実施形態で生成された動脈属性設定画像、静脈属性設定画像、グレースケール血管属性設定画像を用いることにより、精度の高い眼底画像の整合処理を行うことが可能となる。
【００９８】
図１９は、本実施形態で生成されたグレースケール血管属性設定画像を、特許文献２の眼底画像処理装置に適用した例を示す図である。図１９には、６つの画像Ａ〜Ｆが示されている。図１９において、画像Ａは、１９８５年に撮影されたフルカラー眼底画像である。画像Ｃは、２０１４年に撮影された画像を、画像Ａに合わせるためにアフィン変換した後のフルカラー眼底画像である。画像Ｄは、フルカラー眼底画像である画像Ａに対して上記実施形態により得られたグレースケール血管属性設定画像である。画像Ｆは、フルカラー眼底画像である画像Ｃに対して上記実施形態により得られたグレースケール血管属性設定画像である。
【００９９】
そして、画像Ｂは、画像Ａに対して特許文献２に記載のグレースケールの基準血管強調画像に変換したものをＲ（赤）プレーン、画像Ｃに対して特許文献２に記載のグレースケールの補正血管強調画像に変換したものをＧ（緑）プレーンに割り当てたフルカラーの合成画像（オーバーレイ表示）である。また、画像Ｅは、画像Ｄをグレースケール化したものをＲ（赤）プレーン、画像Ｆをグレースケール化したものをＧ（緑）プレーンに割り当てたフルカラーの合成画像である。画像Ｂと画像Ｅを比較すると、本実施形態で生成したグレースケール血管属性設定画像を用いて得られた画像Ｅの方が血管の整合性をより的確に把握することができる。
【０１００】
図２０は、本実施形態で生成された動脈属性設定画像、静脈属性設定画像を、特許文献２の眼底画像処理装置に適用した例を示す図である。図２０には、６つの画像Ｇ〜Ｌが示されている。図２０において、画像Ｇは、フルカラー眼底画像である画像Ａに対して上記実施形態により得られた動脈属性設定画像である。画像Ｉは、フルカラー眼底画像である画像Ｃに対して上記実施形態により得られた動脈属性設定画像である。そして、画像Ｈは、画像ＧをＲ（赤）プレーン、画像ＩをＧ（緑）プレーンに割り当てたフルカラーの合成画像（オーバーレイ表示）である。また、画像Ｊは、フルカラー眼底画像である画像Ａに対して上記実施形態により得られた静脈属性設定画像である。画像Ｌは、フルカラー眼底画像である画像Ｃに対して上記実施形態により得られた静脈属性設定画像である。そして、画像Ｋは、画像ＪをＲ（赤）プレーン、画像ＬをＧ（緑）プレーンに割り当てたフルカラーの合成画像である。画像Ｈ、画像Ｋを、画像Ｂと比較すると、本実施形態で生成した動脈属性設定画像、静脈属性設定画像を用いて得られた画像Ｈ、画像Ｋでは、画像Ｂでは困難であった動静脈別の血管の経年変化を把握することができ、図２０の例では１９８５年から２０１４年の間に、動脈と静脈がほぼ同方向に変位しているのがわかる。
【０１０１】
＜３．第２の実施形態＞
次に、第２の実施形態について説明する。図２１は、第２の実施形態に係る眼底画像処理装置の構成を示す機能ブロック図である。図２１において、図２と同様の手段については、同一符号を付して説明を省略する。図２１において、６７は機械学習手段である。
【０１０２】
機械学習手段６７は、ＣＰＵ１が、記憶装置３に記憶されているプログラムの一部をＧＰＵ６にロードさせ、一連の学習処理と判定処理はＧＰＵ６で主に実行させることにより実現される。また、機械学習手段６７は、記憶装置３およびＧＰＵ６の所定の領域を確保し、所定の情報を記憶する機能を有する。
【０１０３】
図２２は、機械学習手段６７を公知の多層ニューラルネット（図２２では４層）で実現した事例を示す図である。機械学習手段６７の多層ニューラルネットワークは、入力層６７ａ、２層の中間層６７ｂと６７ｃ、出力層６７ｄを備えている。入力層６７ａは、画素ブロックの各画素の血管強調画像Ｔｒａｙ（ｘ，ｙ）の値である血管候補値と符号付き色相変換画像Ｈｕｅｓ（ｘ，ｙ）の値である色相値からなる２種類の画素値に対応して、画素ブロックの画素数の２倍の個数のノードＮａを備えている。画素ブロックのサイズが８×８画素である場合、１２８個のノードＮａを備えることになる。中間層は少なくとも１層以上必要であるが通常複数層で構成され、図２２では６７ｂおよび６７ｃの２層で構成されている。各中間層６７ｂおよび６７ｃには所定の個数のノードＮｂおよびＮｃを備えている。出力層６７ｄは、仮動脈属性、仮静脈属性、動脈属性、静脈属性、動静脈属性からなる５種類の属性に対応して５個のノードＮｄを備えている。入力層６７ａのノードＮａの個数や出力層６７ｄのノードＮｄの個数は、前述の通り入出力仕様に基づいて必然的に決定されるが、中間層の層の数、および各中間層のノードの個数は、決定するにあたって原理的な根拠は無く、機械学習の精度を評価しながら試行錯誤的に調整される。一般に、中間層６７ｂおよび中間層６７ｃの各層には出力層６７ｄのノードＮｄの個数より多く、入力層６７ａのノードＮａの個数より少ない個数のノードＮｂおよびノードＮｃを与えることが多く、更に、ノードＮｂとノードＮｃの個数は異なるように設定することが多い。
【０１０４】
図２２の例では、ノードＮｂの個数を３２個、ノードＮｃの個数を１０個に設定している。入力層６７ａのノードＮａの個数をＮｉ（＝１２８）、第１の中間層６７ｂのノードＮｂの個数をＮｊ（＝３２）、第２の中間層６７ｃのノードＮｃの個数をＮｋ（＝１０）、出力層６７ｄのノードＮｄの個数をＮｌ（＝５）とする。入力層６７ａの各ノードＮａと第１の中間層６７ｂの各ノードＮｂの間にはＮｉ×Ｎｊ個のリンクＬａｂが張られており、第１の中間層６７ｂの各ノードＮｂと第２の中間層６７ｃの各ノードＮｃの間にはＮｊ×Ｎｋ個のリンクＬｂｃが張られており、第２の中間層６７ｃの各ノードＮｃと出力層６７ｄの各ノードＮｄの間にはＮｋ×Ｎｌ個のリンクＬｂｃが張られている。ｉ番目（ｉ＝１，．．．，Ｎｉ）のノードＮａ（ｉ）とｊ番目（ｊ＝１，．．．，Ｎｊ）のノードＮｂ（ｊ）とのリンクＬａｂをＬａｂ（ｉ，ｊ）とし、ｊ番目のノードＮｂ（ｊ）とｋ番目（ｋ＝１，．．．，Ｎｋ）のノードＮｃ（ｋ）とのリンクＬｂｃをＬｂｃ（ｊ，ｋ）とし、ｋ番目のノードＮｃとｌ番目（ｌ＝１，．．．，Ｎｌ）のノードＮｄ（ｌ）とのリンクＬｃｄをＬｃｄ（ｋ，ｌ）とすると、Ｌａｂ（ｉ，ｊ）、Ｌｂｃ（ｊ，ｋ），Ｌｃｄ（ｋ，ｌ）には各々独立した正負符号をもつ実数値の重みＷａｂ（ｉ，ｊ）、Ｗｂｃ（ｊ，ｋ），Ｗｃｄ（ｋ，ｌ）が設定されており、後述する学習処理によりＧＰＵ６を用いて全ての重みが自動的に算出設定される。これらの重みＷａｂ（ｉ，ｊ）、Ｗｂｃ（ｊ，ｋ），Ｗｃｄ（ｋ，ｌ）が、記憶装置３およびＧＰＵ６の所定の領域に記録される。上記では、リンクＬａｂ（ｉ，ｊ）と重みＷａｂ（ｉ，ｊ）を区別して説明したが、ニューラルネットワーク理論で、機械学習や機械判定の計算に実際に使用されるのは、重みＷａｂ（ｉ，ｊ）であるため、「リンク」という表現は使わず、「ノード間の重み」という表現で説明されることが多い。
【０１０５】
第２の実施形態においては、機械学習手段６７を備え、血管識別画像修正手段６３により修正された情報を基に機械学習を行うことにより、必ずしも修正指示を必要とせずに、血管属性の設定を行うことができるようになる点が、第１の実施形態と異なっている。図２３は、第２の実施形態に係る眼底画像処理装置の処理概要を示すフローチャートである。ステップＳ１００〜ステップＳ６００までは、第１の実施形態と同様に処理が行われ、血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）が生成される。
【０１０６】
血管識別画像ＡＶｓｅｐ（ｘ，ｙ，ｃ）が生成されたら、機械判定を利用するか否かを決定する（ステップＳ６５０）。機械判定を利用するか否かについては、事前の設定に従う態様、機械学習の実施回数に基づく態様など、様々な態様を用いることができる。
【０１０７】
ステップＳ６５０において、機械判定を利用しないと決定された場合は、第１の実施形態と同様、利用者からの指示に基づき血管識別画像の修正を行う（ステップＳ７００）。血管識別画像の修正が行われたら、修正情報を記憶する（ステップＳ９００）。具体的には、ステップＳ７００における血管識別画像の修正の際、利用者に指定された領域から、所定のサイズの画素ブロックを設定し、各画素ブロックに含まれる画素の情報である画素ブロック情報と、画素ブロックごとの修正後の属性を対応付けて記憶し、機械学習に使用する。図２４（ａ）は、血管識別画像の修正に伴う機械学習の様子を示す図である。ステップＳ７００において血管識別画像の修正が行われた際、ステップＳ９００において、所定のサイズの画素ブロックを設定する。画素ブロックのサイズは適宜設定することができるが、例えば、８×８画素のサイズに設定することができる。そして、各画素ブロックに含まれる画素の情報である画素ブロック情報と、画素ブロックごとの修正後の属性を対応付けて記憶する。
【０１０８】
ステップＳ９００と並行して、第１の実施形態と同様、後処理を行う（ステップＳ８００）。機械学習手段は、ステップＳ７００の処理が行われる度に、画素ブロック情報と、その画素ブロックの修正後の属性に基づいて学習させていく。即ち、どのような画素ブロックがどのような属性に修正されたかを機械学習における教師データとみなし、教師あり学習をさせる。具体的には、機械学習手段は、当該画素ブロックの各画素の画素値を入力層６７ａの対応するノードＮａに与え、当該画素ブロックに修正指示された属性に対応する出力層６７ｄのノードＮｄに最大重み値＋１．０を与え、それ以外の出力層６７ｄのノードＮｄには０を与え、公知のバックプロパゲーション法（誤差逆伝搬法）に基づく学習アルゴリズムをＧＰＵ６で実行させる。そうすると、当該画素ブロックの各画素の画素値を入力層６７ａの対応するノードＮａに入力すると、当該画素ブロックの修正された属性に対応する出力層６７ｄのノードＮｄが最大出力を出すように、図２２に示す各層のノード間を結ぶ全てのリンクの重みが自動的に設定変更される。即ち、当該画素ブロックの各画素のパターンと当該画素ブロックに指示された属性との関係が自動的に学習される。機械学習手段は、ステップＳ７００における指示に基づく血管識別画像の修正が行われる度に、画素ブロックの画素値の特徴と当該画素ブロックに指示された属性との対応関係に基づいて、図２２に示す各層のノード間を結ぶ全てのリンクの重みＷａｂ（ｉ，ｊ）、Ｗｂｃ（ｊ，ｋ），Ｗｃｄ（ｋ，ｌ）を算出し、更新していく。すなわち、ステップＳ９００の処理が繰り返されることにより、機械学習手段は、修正前の血管識別画像の画素ブロックと、修正後の属性の対応関係に基づいて全てのリンクの重みＷａｂ（ｉ，ｊ）、Ｗｂｃ（ｊ，ｋ），Ｗｃｄ（ｋ，ｌ）を最適な値に近づけるように学習を進めていくことになる。
【０１０９】
一方、ステップＳ６５０において、機械判定を利用すると決定された場合は、機械判定に基づき血管識別画像の修正を行う（ステップＳ９５０）。図２４（ｂ）は、機械判定の結果を用いて属性修正を自動化した様子を示す図である。ステップＳ９５０においては、ステップＳ６００で生成された血管識別画像に対して画素ブロックを設定する。例えば、血管識別画像全体を分割するように画素ブロックを設定する。画素ブロックのサイズは適宜設定することができるが、機械学習の際と同一のサイズに設定する必要がある。血管識別画像全体に画素ブロックを設定したら、画素ブロックを１つずつ抽出し、当該画素ブロックの各画素の画素値を機械学習手段の入力層６７ａに対応するノードＮａに入力する。機械学習手段は、既に記憶されている各層のノード間を結ぶ全てのリンクの重みＷａｂ（ｉ，ｊ）、Ｗｂｃ（ｊ，ｋ），Ｗｃｄ（ｋ，ｌ）に基づいて、多層ニューラルネットワークをＧＰＵ６で実行させる。そして、出力層６７ｄのノードＮｄの中で最大出力を出したノードＮｄに対応する属性になるように、血管識別画像内の画素ブロックの各画素の属性を修正する。このように、機械学習手段が学習した後は、人間が介在することなく、機械判定により自動的に血管識別画像内の各画素に属性を設定することが可能となる。
【０１１０】
＜４．血管領域強調手段＞
次に、血管領域強調手段１０、および血管領域強調手段１０が行うステップＳ１００の血管領域強調処理の詳細について説明する。図１８は、血管領域強調手段１０の詳細を示す機能ブロック図である。図１８において、１１はグレースケール変換手段、１２は画像平坦化手段、１３は線状成分強調手段、１４は画素階調変換手段である。
【０１１１】
図２１は、血管領域強調手段１０によるステップＳ１００の血管領域強調処理の詳細を示すフローチャートである。グレースケール変換手段１１は、フルカラー眼底画像Ｉｍａｇｅ（ｘ，ｙ，ｃ）に対して、以下の〔数式１６〕に従った処理を実行することによりグレースケール変換する（ステップＳ１１０）。
【０１１２】
〔数式１６〕
Ｇｒ（ｘ，ｙ）＝Ｉｍａｇｅ（ｘ，ｙ，１）
【０１１３】
上記〔数式１６〕において、Ｉｍａｇｅ（ｘ，ｙ，１）は、フルカラー眼底画像のうち、Ｇ（グリーン、緑）の成分を示している。したがって、上記〔数式１６〕においては、各画素のＧ成分のみを抽出し、グレースケール形式の画像Ｇｒ（ｘ，ｙ）を得ている。一般に健常者の眼底画像は、主にＧ成分とＢ成分に血管像が現れる。一方、白内障の症状が進んだ患者の眼底画像は、Ｂ成分の血管像が健常者に比べてネガポジ反転したり（背景部のＢ成分の輝度が血管領域に対して向上する）、不鮮明になる。そのため、単一の色成分であるＧ成分を抽出することにより健常者、白内障患者の双方の血管成分を抽出し易くなる。
【０１１４】
さらに、グレースケール変換手段１１は、グレースケール形式の画像Ｇｒ（ｘ，ｙ）に対して、以下の〔数式１７〕に従った処理を実行することによりネガポジ反転してグレースケール眼底画像Ｇｒａｙ（ｘ，ｙ）を得る。ここで、眼底画像に対してネガポジ反転させる理由は、血管候補領域の輝度を高くし背景の非血管候補領域の輝度を低くすることにより、グレースケール眼底画像の血管候補領域に対して疑似カラーで着色することができ、複数のグレースケール眼底画像を合成しても背景部（非血管候補領域）が混ざり合わないため、血管候補領域の位置関係が把握しやすくなるためである。
【０１１５】
〔数式１７〕
Ｇｒａｙ（ｘ，ｙ）＝２５５−Ｇｒ（ｘ，ｙ）
【０１１６】
上記〔数式１７〕に従った処理を実行して、ネガポジ反転することにより、周囲に比べ輝度が低い血管領域の画素値が高い状態に変換される。ここで、ネガポジ反転とは、元の画素値の大きいもの程小さい値に変換する処理を意味する。
【０１１７】
グレースケール眼底画像が得られたら、次に、画像平坦化手段１２が、所定の範囲に含まれる近傍画素の画素値の平均値を算出し、その画素の画素値に所定の値から平均値を減算した値を加算することにより、平坦化画像を作成する（ステップＳ１２０）。具体的には、以下の〔数式１８〕に従った処理を実行することにより、グレースケールの平坦化画像Ｇｒａｙ´（ｘ，ｙ）を得る。
【０１１８】
〔数式１８〕
Ｍｅａｎ（ｘ，ｙ）＝｛Σj=-m+1,mΣi=-m+1,mＧｒａｙ（ｘ＋ｉ，ｙ＋ｊ）｝／（４ｍ2）
Ｇｒａｙ´（ｘ，ｙ）＝Ｇｒａｙ（ｘ，ｙ）＋Ｍｉｄ−Ｍｅａｎ（ｘ，ｙ）
【０１１９】
上記〔数式１８〕において、ｍは１以上の整数であり、Σの添え字の“ｊ＝−ｍ＋１，ｍ” “ｉ＝−ｍ＋１，ｍ”は、ｊが−ｍ＋１からｍまで、およびｉが−ｍ＋１からｍまでの４ｍ2個の画素の総和を求めることを示している。すなわち、Ｍｅａｎ（ｘ，ｙ）は、画素（ｘ，ｙ）から前後左右ｍ画素の範囲に含まれる近傍画素の画素値の平均値を示している。近傍画素の画素数としては、画像の全画素の１／３０００〜１／７０００の範囲とすることが好ましい。本実施形態では、ｍ＝８として近傍画素を２５６（＝４ｍ2＝２ｍ×２ｍ）個としている。これは、グレースケール眼底画像Ｇｒａｙ（ｘ，ｙ）が１２８０×１０２４画素の場合、約１／５００００に相当する。
【０１２０】
この平均値Ｍｅａｎ（ｘ，ｙ）を用いて、〔数式１８〕の第２式により、各画素（ｘ，ｙ）の画素値Ｇｒａｙ（ｘ，ｙ）に所定の値Ｍｉｄから平均値Ｍｅａｎ（ｘ，ｙ）を減算した値を加算することにより、平坦化画像Ｇｒａｙ´（ｘ，ｙ）が得られる。所定の値Ｍｉｄは、画素が取り得る階調の中央値である。本実施形態では、画像が０〜２５５の値を取り得るため、中央値としては、１２７、１２８の２つがあるが、便宜上Ｍｉｄ＝１２８としている。
【０１２１】
上記平均値Ｍｅａｎ（ｘ，ｙ）を算出する際、上記〔数式１８〕の第１式に示したように、直接近傍画素の画素値の総和を求めるようにしてもよいが、この手法だと、演算処理の負荷が高い。そのため、本実施形態では、画像平坦化手段１２は、以下の〔数式１９〕に従った処理を実行することにより、少ない処理負荷で高速に平均値Ｍｅａｎ（ｘ，ｙ）を算出するようにしている。
【０１２２】
〔数式１９〕
Ｓ（ｉ，ｊ）＝Σjj=0,j-1Σii=0,Xs-1Ｇｒａｙ（ｉｉ，ｊｊ）＋Σjj=0,iＧｒａｙ（ｉｉ，ｊ）
Ｍｅａｎ（ｘ，ｙ）＝｛Ｓ（ｘ＋ｍ，ｙ＋ｍ）−Ｓ（ｘ−ｍ，ｙ＋ｍ）−Ｓ（ｘ＋ｍ，ｙ−ｍ）＋Ｓ（ｘ−ｍ，ｙ−ｍ）｝／（４ｍ2）
【０１２３】
上記〔数式１９〕の第１式において、Ｓ（ｉ，ｊ）は、先頭の画素（画像の左上端ｘ＝０、ｙ＝０）から画素（ｉ，ｊ）までの画素値Ｇｒａｙ（ｉｉ，ｊｊ）の全Ｘｓ×ｊ＋i＋１個の累積値である。
【０１２４】
図２７は、グレースケール眼底画像上の画素（ｘ，ｙ）と平均値Ｍｅａｎ（ｘ，ｙ）を算出するための近傍画素との関係を示す図である。大きな太枠で囲ったように、平均値Ｍｅａｎ（ｘ，ｙ）を算出するために、左上方の画素（ｘ−ｍ＋１，ｙ−ｍ＋１）〜右下方の画素（ｘ＋ｍ，ｙ＋ｍ）の全２ｍ×２ｍ個の画素値を加算する必要がある。この際、画像の先頭の画素から画素（ｘ，ｙ）までの画素値の累積値Ｓ（ｘ，ｙ）を〔数式１９〕の第１式を用いて算出しておく。すると、前記２ｍ×２ｍ個の近傍画素と、それらの左方に隣接する画素（ｘ−ｍ，ｙ−ｍ＋１）〜画素（ｘ−ｍ，ｙ＋ｍ）からなる２ｍ個の画素、それらの上方に隣接する画素（ｘ−ｍ＋１，ｙ−ｍ）〜画素（ｘ＋ｍ，ｙ−ｍ）からなる２ｍ個の画素、およびそれらの左上方に隣接する画素（ｘ−ｍ，ｙ−ｍ）を加えた各画素は、図２７に示したような累積値をもつ。
【０１２５】
そうすると、平均値Ｍｅａｎ（ｘ，ｙ）は、〔数式１９〕の第２式に示すように、４つの画素の累積値を加減算するだけの少ない処理負荷で高速に算出することができる。ここで、累積値を加算する４つの画素とは、図２７に、小さい太枠で囲った（ｘ＋ｍ，ｙ＋ｍ）、（ｘ−ｍ，ｙ＋ｍ）、（ｘ＋ｍ，ｙ−ｍ）、（ｘ−ｍ，ｙ−ｍ）の４画素である。グレースケール眼底画像Ｇｒａｙ（ｘ，ｙ）の各画素（ｘ，ｙ）に近傍画素の平均値Ｍｅａｎ（ｘ，ｙ）を所定の値Ｍｉｄから減算した値を加算することにより、平坦化画像Ｇｒａｙ´（ｘ，ｙ）が得られる。
【０１２６】
結局、〔数式１９〕に従った処理を実行することにより、画像平坦化手段１２は、画像のサイズがＸｓ×Ｙｓである前記グレースケール眼底画像に対して、あらかじめ（０，０）から（Ｘｓ−１，ｙ−１）の範囲のＸｓ×ｙ個、および（０，ｙ）から（ｘ，ｙ）の範囲のｘ＋１個からなる全Ｘｓ×ｙ＋ｘ＋１個の画素値の総和を各画素（ｘ，ｙ）における累積値Ｓ（ｘ，ｙ）として算出する処理を行い、Ｓ（ｘ＋ｍ，ｙ＋ｍ）−Ｓ（ｘ−ｍ，ｙ＋ｍ）−Ｓ（ｘ＋ｍ，ｙ−ｍ）＋Ｓ（ｘ−ｍ，ｙ−ｍ）の値を、２ｍ×２ｍで除算した値を平均値として算出している。各画素（ｘ，ｙ）における累積値Ｓ（ｘ，ｙ）を事前に算出する処理が余分に加わるが、この計算はＸｓ×Ｙｓ回の加算演算だけで行える。これに対して、累積値Ｓ（ｘ，ｙ）を用いずに、各画素（ｘ，ｙ）における平均値Ｍｅａｎ（ｘ，ｙ）を算出しようとすると、各画素ごとに２ｍ×２ｍ回の加算演算が必要となり、トータルＸｓ×Ｙｓ×２ｍ×２ｍ回の加算演算が必要となる。これに対して、累積値Ｓ（ｘ，ｙ）を用いれば、各画素ごとに４回の加減算で済み、事前の画像全体の累積値計算を含めてトータルＸｓ×Ｙｓ×５回の加減算で完結する。
【０１２７】
平坦化画像が得られたら、次に、線状成分強調手段１３が、平坦化画像に対して、オープニング処理（収縮・膨張処理）を行って線状成分の強調を行い、線状成分強調画像を得る（ステップＳ１３０）。図２８は、ステップＳ１３０における線状成分強調の処理動作を示すフローチャートである。
【０１２８】
まず、線状成分強調手段１３は、画像平坦化手段１２により得られた平坦化画像に対して、８種の線形構造要素によるオープニング処理を行う（ステップＳ１３１）。ステップＳ１３１のオープニング処理では、線形構造要素を複数個用いて、複数の線形オープニング画像を作成する。本実施形態では、指定構造要素として８個の線形構造要素を用いる。これは、方向が８方向に異なる線形の構造要素である線形構造要素である。図２９は、本実施形態で用いる線形構造要素の一例を示す図である。
【０１２９】
図２９に示す線形構造要素は、マスクとしての役割を果たすものであるため、二値画像である。そのため、図２９において、“０”と表記された画素の値は“０”であるが、“０”以外の数値が表記された画素の値は、８種類の各方向ｄに応じて“１”となり、他の方向のとき“０”である。図２９における“０”以外の数字は方向を示している。“１”は水平方向（図面左右方向）であり、以後数字が１増えるに従って２２．５度間隔で方向が変化する。“２” “４”“６”“８”については、画素の格子状配置の関係から、同一数字の列が直線上に配列することができないため、近傍の区画に配置されている。“２３４”や“６７８”などの３桁の数字は、それぞれ“２” “３”“４”の３方向、“６”“７”“８”の３方向のいずれかの方向の場合に、画素値が“１”となることを示している。なお、“９”は中心となる画素を示しており、中心となる画素の値は常に“１”である。
【０１３０】
図２９に示すように、線形構造要素は、円形構造要素の半径Ｒの２倍の長さで画素幅が１画素であって、２２．５度間隔の直線の少なくとも近傍に配置され、８方向を定義したものとなる。実際には、各方向において画素値“１”が与えられる連続する画素は、直線となることが好ましいが、線形構造要素の全体画素数が少ない場合は、必ずしも直線にならない。そのため、図２９の例では、“２” “４”“６”“８”で示す方向については、直線ではなく、画素値“１”となる画素は、２２．５度間隔の直線の近傍に配置されることになる。
【０１３１】
実際に用いる線形構造要素は、中心から半径７画素の条件を追加したものとなる。すなわち、図２９に示した線形構造要素と、図３０に示した円形構造要素の論理積（ＡＮＤ）をとったものとなる。図３０は、本実施形態で用いる円形構造要素の一例を示す図である。図３０に示すように、本実施形態では、半径７画素、すなわち中心から距離７画素以下を有効とした１５×１５のマスク画像の形態である円形構造要素を用いる。図３０に示すように、１５×１５の画素のうち、中心から距離７画素以下の画素値は“１”、その他の中心から距離７を超える画素の画素値は“０”である。図２９に示した線形構造要素と、図３０に示した円形構造要素の論理積（ＡＮＤ）をとることにより、例えば、方向ｄ＝１の場合は、図３１に示したような二値のマスク画像が得られる。また、方向ｄ＝２の場合は、図３２に示したような二値のマスク画像が得られる。図３１、図３２において、“１”と示されている画素が参照画素である。すなわち、オープニング処理の際に参照される参照画素が定義された（２Ｒ＋１）×（２Ｒ＋１）画素の２値画像で、半径Ｒの円形内部に参照画素が定義され、２Ｒ＋１の長さで画素幅が１画素であって、２２．５度間隔の直線の少なくとも近傍に配置されることにより、８方向が定義されることになる。
【０１３２】
図２９に示した線形構造要素はＭ（ｄ，ｕ，ｖ）＝｛０，１｝（ｄ＝１，・・・，８；ｕ＝−Ｒ，・・・，０，・・・，Ｒ；ｖ＝−Ｒ，・・・，０，・・・，Ｒ）と定義することができる。なお、Ｒは有効とする半径を示しており、図２９の例では、Ｒ＝７である。また、ｕは図２９における横軸、ｖは図２９における縦軸を、それぞれ示す。線状成分強調手段１３は、線形構造要素Ｍ（ｄ，ｕ，ｖ）を用いて、上記〔数式１８〕に従った処理を実行して得られた平坦化画像Ｇｒａｙ´（ｘ，ｙ）に対して、以下の〔数式２０〕に従った処理を実行し、収縮画像Ｅｒａｙ（ｘ，ｙ）を得る。
【０１３３】
〔数式２０〕
Ｅｒａｙ（ｄ，ｘ，ｙ）＝ＭＩＮu=-R,R;v=-R,R［（２５５−Ｍ（ｄ，ｕ，ｖ）×２５４）×（Ｇｒａｙ´（ｘ＋ｕ，ｙ＋ｖ）＋１）−１］
【０１３４】
上記〔数式２０〕において、ＭＩＮは最小値をとることを示しており、ＭＩＮの添え字の“ｕ＝−Ｒ，Ｒ；ｖ＝−Ｒ，Ｒ”は、ｕ，ｖが−ＲからＲの範囲における演算を行うことを示している。すなわち、“ｘ＝Ｒ，・・・，Ｘｓ−Ｒ−１；ｙ＝Ｒ，・・・，Ｙｓ−Ｒ−１“の各画素Ｇｒａｙ´（ｘ，ｙ）に対して、“ｕ＝−Ｒ，Ｒ；ｖ＝−Ｒ，Ｒ”の隣接画素内でＭ（ｕ，ｖ）＝１である画素値の最小値に変換を行っている。したがって、図２９の例では、線形構造要素の（２Ｒ＋１）×（２Ｒ＋１）画素でＲ＝７として２２５画素を用いて演算を行い、その最小値がＥｒａｙ（ｘ，ｙ）として与えられることになる。
【０１３５】
上記〔数式２０〕に従った処理を実行して収縮画像Ｅｒａｙ（ｄ，ｘ，ｙ）が得られたら、このＥｒａｙ（ｄ，ｘ，ｙ）をＧｒａｙ´（ｘ，ｙ）に置き換えて、上記〔数式２０〕に従った処理を繰り返し実行することもできる。繰り返しの回数は、適宜設定することが可能である。ただし、通常は画質劣化を抑えるため、１回に設定し繰り返しは行わない。８つの各方向ｄについて行うことにより、ｄ＝１〜８の８種の収縮画像Ｅｒａｙ（ｄ，ｘ，ｙ）が得られる。
【０１３６】
収縮処理を繰り返し実行して８種の収縮画像Ｅｒａｙ（ｄ，ｘ，ｙ）が得られたら、次に、線状成分強調手段１３は、収縮処理に用いた線形構造要素を指定構造要素として用いて膨張処理を行う。具体的には、線形構造要素Ｍ（ｄ，ｕ，ｖ）を用いて、収縮画像Ｅｒａｙ（ｄ，ｘ，ｙ）に対して、以下の〔数式２１〕に従った処理を実行し、膨張後の画像Ｄｒａｙ（ｄ，ｘ，ｙ）を得る。
【０１３７】
〔数式２１〕
Ｄｒａｙ（ｄ，ｘ，ｙ）＝ＭＡＸu=-R,R;v=-R,R［Ｍ（ｄ，ｕ，ｖ）×Ｅｒａｙ（ｄ，ｘ＋ｕ，ｙ＋ｖ）］
【０１３８】
上記〔数式２１〕において、ＭＡＸは最大値をとることを示しており、ＭＡＸの添え字の“ｕ＝−Ｒ，Ｒ；ｖ＝−Ｒ，Ｒ”は、ｕ，ｖが−ＲからＲの範囲における演算を行うことを示している。すなわち、“ｘ＝Ｒ，・・・，Ｘｓ−Ｒ−１；ｙ＝Ｒ，・・・，Ｙｓ−Ｒ−１“の各画素Ｅｒａｙ（ｄ，ｘ，ｙ）に対して、“ｕ＝−Ｒ，Ｒ；ｖ＝−Ｒ，Ｒ”の隣接画素内でＭ（ｄ，ｕ，ｖ）＝１である画素値の最大値に変換を行っている。したがって、図２９の例では、線形構造要素の（２Ｒ＋１）×（２Ｒ＋１）画素として２２５画素を用いて演算を行い、その最大値がＤｒａｙ（ｄ，ｘ，ｙ）として与えられることになる。
【０１３９】
上記〔数式２１〕に従った処理を実行して膨張後の画像Ｄｒａｙ（ｄ，ｘ，ｙ）が得られたら、このＤｒａｙ（ｄ，ｘ，ｙ）をＥｒａｙ（ｄ，ｘ，ｙ）に置き換えて、上記〔数式２１〕に従った処理を繰り返し実行することもできる。繰り返しの回数は、収縮処理の繰り返しの回数と同じ回数にする必要があり、通常は収縮処理とも１回に設定し繰り返しは行わない。８つの各方向ｄについて行うことにより、ｄ＝１〜８の８種の膨張後の画像Ｄｒａｙ（ｄ，ｘ，ｙ）が得られる。収縮および膨張を行った結果得られる画像は、線形オープニング画像Ｄｒａｙ（ｄ，ｘ，ｙ）として得られる。
【０１４０】
次に、線状成分強調手段１３は、８種の線形オープニング画像の最大値の画像を作成する処理を行う（ステップＳ１３２）。具体的には、以下の〔数式２２〕に従った処理を実行し、最大値の画像である線状成分強調画像Ｌｒａｙ（ｘ，ｙ）を得る。
【０１４１】
〔数式２２〕
Ｌｒａｙ（ｘ，ｙ）＝ＭＡＸd=1,8Ｄｒａｙ（ｄ，ｘ，ｙ）
【０１４２】
上記〔数式２２〕において、ＭＡＸは最大値をとることを示しており、ＭＡＸの添え字の“ｄ＝１，８”は、８種の全ての線形オープニング画像Ｄｒａｙ（ｄ，ｘ，ｙ）における演算を行うことを示している。すなわち、各画素（ｘ，ｙ）について、８種の線形オープニング画像Ｄｒａｙ（ｄ，ｘ，ｙ）の最大値を取得する処理を行っている。この結果、最大値の画像である線状成分強調画像Ｌｒａｙ（ｘ，ｙ）が得られる。
【０１４３】
線状成分強調画像が得られたら、次に、画素階調変換手段１４が、線状成分強調画像に対して、階調変換（コントラスト補正）を行い、血管強調画像を得る（ステップＳ１４０）。具体的には、まず、画素階調変換手段１４は、０〜２５５の値をもつ、線状成分強調画像Ｌｒａｙ（ｘ，ｙ）のＸｓ×Ｙｓ個の全画素について、画素値ｖｂの度数分布Ｈ（ｖｂ）（ｖｂ＝０，・・・，２５５）を求める。そして、以下の〔数式２３〕に示す条件を満たす最小値ｖｂｍｉｎを求める。
【０１４４】
〔数式２３〕
Σvb=0,vbminＨ（ｖｂ）≧（Ｘｓ×Ｙｓ）×α
【０１４５】
上記〔数式２３〕において、Σの添え字の“ｖｂ＝０，ｖｂｍｉｎ”は、ｖｂが０からｖｂｍｉｎまでの総和を求めることを示している。したがって、上記〔数式２３〕に示す条件とは、全画素数（Ｘｓ×Ｙｓ）のうち、およそ比率α×１００％の画素が、画素値ｖｂｍｉｎ以下の画素値となることを示している。比率αとしては、眼底画像中に含まれる血管以外の領域の比率を与える必要があり、この比率は取得された眼底画像ごとに変動するが、平均的には０．７〜０．９、典型的な例として０．８と設定することが好ましい。結局、〔数式２３〕を用いることにより、線状成分強調画像に含まれる非血管候補領域と血管候補領域とを判別する画素値のしきい値として、線状成分強調画像の最小画素値ｖｂ＝０から数えて画素数の総和が線状成分強調画像の全画素数の所定の比率αを超える画素値のうち最小の画素値ｖｂｍｉｎを特定することができる。
【０１４６】
上記〔数式２３〕に示す条件を満たす最小値ｖｂｍｉｎが求められたら、次に、画素階調変換手段１４は、ｘ＝０，・・・，Ｘｓ−１；ｙ＝０，・・・，Ｙｓ−１の全画素に対して、以下の〔数式２４〕に従った処理を実行し、コントラスト補正を行い、血管強調画像Ｔｒａｙ（ｘ，ｙ）を得る。
【０１４７】
〔数式２４〕
Ｔｒａｙ（ｘ，ｙ）＝｛Ｌｒａｙ（ｘ，ｙ）−ｖｂｍｉｎ｝×２５５×β／（２５５−ｖｂｍｉｎ）
【０１４８】
上記〔数式２４〕において、βは輝度スケーリング値である。輝度スケーリング値βとしては、任意に設定することができるが、設定された比率αに依存するため、α＝０．８に設定した場合、好ましくは７０〜９０、特に好ましい例として８０とすることができる。すなわち、βはαの１００倍程度に設定することが好ましい。
【０１４９】
Ｔｒａｙ（ｘ，ｙ）は画素値であるため、〔数式２４〕の結果が負の値となった場合には、Ｔｒａｙ（ｘ，ｙ）＝０と置き換える。したがって、所定の条件Ｌｒａｙ（ｘ，ｙ）＞ｖｂｍｉｎを満たさない画素は、最小値“０”に置き換えられ、所定の条件Ｌｒａｙ（ｘ，ｙ）＞ｖｂｍｉｎを満たす画素は、最小値“０”より大きい値“１”から最大値の範囲になるようにＴｒａｙ（ｘ，ｙ）の画素値が設定される。Ｔｒａｙ（ｘ，ｙ）においては、階調の最小値である“０”が血管候補領域外を示し、血管候補領域は“１”以上、“２５５”以下となる。血管候補領域の最小値は、階調の最小値付近の値が設定される。本実施形態では、階調の最小値付近の値として、階調の最小値＋１を設定しているが、それ以上であってもよい。もちろん、血管領域のコントラストを高くするため、階調の最小値＋１であることが好ましい。このようにして得られた血管強調画像Ｔｒａｙ（ｘ，ｙ）は、血管領域である確率が高い画素ほど高い値をもつグレースケールの画像となる。
【０１５０】
所定の条件Ｌｒａｙ（ｘ，ｙ）＞ｖｂｍｉｎを満たさない画素を最小値に設定する場合、上述のように“０”とすることが好ましいが、“０”以外の値であってもよい。眼底領域は一般に円形をしているため、矩形形状の眼底画像には非眼底領域も含まれるため、非眼底領域を“０”に設定し、眼底領域内の非血管候補領域を“１”に設定し、眼底領域内の血管候補領域を“２”〜“２５５”に設定することもできる。コントラストを高くすることが目的であるため、当然のことながら、血管候補領域における最小値は“０”に近い値にすることが好ましい。
【０１５１】
本実施形態では、８種類の方向に従って８種の線形オープニング画像に対して処理を行うため、２２．５度の均等間隔で変更させた各方向に均等に粒状成分の抽出を抑えることができる。作成する画像の数も方向に応じた８個だけであるため、演算処理の負荷を抑えることができる。
【０１５２】
＜５．変形例等＞
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、撮影により得られた眼底画像としてフルカラー画像を用いたが、近年業務用のデジタルカメラの階調は１０ビット以上に拡大しており、各色１０２４階調等のフルカラー画像を取得することも可能になっており、より階調数の多いカラー画像を用いてもよい。
【０１５３】
また、上記実施形態では、血管識別画像生成手段が、仮動脈属性と仮静脈属性を付与するようにしたが、２種類の属性を設定することができれば、必ずしも仮動脈属性と仮静脈属性に限定されるものではない。
【０１５４】
また、上記実施形態では、血管識別画像修正手段が、血管識別画像上で指定領域が特定された際、血管識別画像上に指定領域を特定するマークを表示するとともに、フルカラー眼底画像の同一座標に指定領域を特定するマークを表示したが、逆に、フルカラー眼底画像上における指示に従って、フルカラー眼底画像上に指定領域を特定するマークを表示するとともに、血管識別画像の同一座標に指定領域を特定するマークを表示するようにしてもよい。
【符号の説明】
【０１５５】
１・・・ＣＰＵ（Central Processing Unit）
２・・・ＲＡＭ（Random Access Memory）
３・・・記憶装置
４・・・指示入力Ｉ／Ｆ
５・・・データ入出力Ｉ／Ｆ
６・・・ＧＰＵ（Graphical Processing Unit）
７・・・表示部
１０・・・血管領域強調手段
１１・・・グレースケール変換手段
１２・・・画像平坦化手段
１３・・・線状成分強調手段
１４・・・画素階調変換手段
２０・・・多階調色相変換手段（色相変換手段）
３０・・・中央階調領域定義手段（色相変換手段）
４０・・・低階調化手段（色相変換手段）
５０・・・しきい値算出手段
６０・・・血管識別画像生成手段
６３・・・血管識別画像修正手段
６５・・・血管属性設定手段
６７・・・機械学習手段
７０・・・眼底画像記憶手段
８０・・・処理画像記憶手段
１００・・・眼底画像処理装置
【図１】
2018171177.tif 000003
【図２】
2018171177.tif 000004
【図３】
2018171177.tif 000005
【図４】
2018171177.tif 000006
【図５】
2018171177.tif 000007
【図６】
2018171177.tif 000008
【図７】
2018171177.tif 000009
【図８】
2018171177.tif 000010
【図９】
2018171177.tif 000011
【図１０】
2018171177.tif 000012
【図１１】
2018171177.tif 000013
【図１２】
2018171177.tif 000014
【図１３】
2018171177.tif 000015
【図１４】
2018171177.tif 000016
【図１５】
2018171177.tif 000017
【図１６】
2018171177.tif 000018
【図１７】
2018171177.tif 000019
【図１８】
2018171177.tif 000020
【図１９】
2018171177.tif 000021
【図２０】
2018171177.tif 000022
【図２１】
2018171177.tif 000023
【図２２】
2018171177.tif 000024
【図２３】
2018171177.tif 000025
【図２４】
2018171177.tif 000026
【図２５】
2018171177.tif 000027
【図２６】
2018171177.tif 000028
【図２７】
2018171177.tif 000029
【図２８】
2018171177.tif 000030
【図２９】
2018171177.tif 000031
【図３０】
2018171177.tif 000032
【図３１】
2018171177.tif 000033
【図３２】
2018171177.tif 000034