(57)【要約】非一時的コンピュータ可読記憶媒体に格納されたコンピュータプログラム命令は、プロセッサに、網膜の画像を定義する画像データを処理して、画像内の網膜の解剖学的特徴の位置を決定させ、この決定は、画像データを受信することと、画像データのピクセルごとに画像に存在する血管の方向を示す各局所的方向ベクトルを計算することと、累算器配列に対して処理することであって、配列内の各累算器が各ピクセルに関連付けられており、この処理が、（ｉ）ピクセルごとに各値を、局所的方向ベクトルの方向を基準にした既定の方向に既定の値だけオフセットしているピクセルに関連付けられた累算器に加算すること、（ｉｉ）累算器内の値を平滑化すること、によって行われる、ことと、累積値を累積した累算器に関連付けられたピクセルの位置を用いて、網膜の画像内の解剖学的特徴の位置を決定することと、によって実行される。【選択図】図２
2019515725.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータプログラム命令を格納する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令が、プロセッサによって実行された場合に、前記プロセッサに、網膜の画像を定義する画像データを処理して前記画像内の前記網膜の解剖学的特徴の位置を決定させ、前記決定が、
前記画像データを受信することと、
前記受信された画像データの複数のピクセルのうちのピクセルごとに、前記ピクセルでの前記画像又は前記ピクセルに隣接する前記画像に存在する血管の方向を示す各局所的方向ベクトルを計算することと、
前記各ピクセルでの正規化された局所的方向ベクトルの大きさが共通の既定の値を取るように、前記複数のピクセルのピクセルごとに計算された前記局所的方向ベクトルを正規化することによって、前記複数のピクセルのピクセルごとに、前記正規化された局所的方向ベクトルを計算することと、
累算器配列に対して処理することであって、前記配列内の各累算器が、前記受信された画像データの各ピクセルに関連付けられ、前記処理が、
前記複数のピクセルのピクセルごとに、各値を、前記複数のピクセルのうちの前記ピクセルでの前記局所的方向ベクトルの方向を基準にした既定の方向に前記既定の値だけ、前記複数のピクセルのうちの前記ピクセルからオフセットしている前記受信された画像データのピクセルに関連付けられた累算器に加算することと、
前記累算器内の前記値を平滑化することとによって行われる、処理することと、
累算器内の累積値の極値から既定の範囲内にある前記累積値を累積した前記累算器に関連付けられた、前記受信された画像データのピクセルの前記位置を使用して、前記網膜の前記画像内の前記解剖学的特徴の前記位置を決定することとによって実行される、非一時的コンピュータ可読記憶媒体。
【請求項２】
前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、複数でありＮ個の累算器配列に対して処理させ、Ｎは少なくとも２に等しい整数であり、
前記累算器配列の各々が、前記局所的方向ベクトルのＮ個の量子化された方向のうちの各１つに関連付けられており、
前記Ｎ個の各配列内の前記各累算器が、前記受信された画像データ内の各ピクセルに関連付けられており、
前記プロセッサが、
前記複数のピクセルのピクセルごとに、
前記ピクセルでの前記計算された局所的方向ベクトルの方向を前記Ｎ個の量子化された方向のうちの１つに量子化することと、
各値を、前記ピクセルでの前記局所的方向ベクトルの前記量子化された方向と同じ前記量子化された方向に関連付けられた累算器配列の累算器に加算することであって、前記累算器が、前記複数のピクセルのうちの前記ピクセルでの前記局所的方向ベクトルの方向を基準にした前記既定の方向に前記既定の値だけ、前記複数のピクセルのうちの前記ピクセルからオフセットしている前記受信された画像データのピクセルに関連付けられている、ことと、
前記複数の累算器配列の前記累算器内の前記値を平滑化することと
によって、前記複数の累算器配列に対して処理し、
前記プロセッサが、異なる各累算器配列内に設けられ、前記受信された画像データの同じ前記ピクセルに関連付けられたＮ個の累算器のセットごとに、前記Ｎ個の累算器に累積された前記累積値のそれぞれの積をさらに計算し、
前記プロセッサが、前記累積値の計算された積が前記累積値の計算された積の極値から既定の範囲内にある、Ｎ個の累算器のセットに関連付けられた、前記受信された画像データのピクセルの前記位置を使用して、前記網膜の前記画像内の前記解剖学的特徴の前記位置を決定する、請求項１に記載の非一時的コンピュータ可読記憶媒体。
【請求項３】
２≦Ｎ≦３２であり、４≦Ｎ≦１６であることがさらに好ましい、請求項２に記載の非一時的コンピュータ可読記憶媒体。
【請求項４】
前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、前記各ピクセルでの第２の正規化された局所的方向ベクトルの大きさが共通の第２の既定の値を取るように、前記複数のピクセルのピクセルごとに計算された前記局所的方向ベクトルを正規化することによって、前記複数のピクセルのピクセルごとに前記第２の正規化された局所的方向ベクトルを計算することと、
前記複数のピクセルのピクセルごとに、各値を、前記複数のピクセルのうちの前記ピクセルでの前記局所的方向ベクトルの方向を基準にした前記既定の方向に前記第２の既定の値だけ、前記複数のピクセルのうちの前記ピクセルからオフセットしている前記受信された画像データ内のピクセルに関連付けられた累算器に加算することによって、各累算器配列に対してさらに処理することとをさらに実行させる、請求項１〜３のいずれか一項に記載の非一時的コンピュータ可読記憶媒体。
【請求項５】
前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、前記網膜の前記画像を定義する前記画像データを処理して前記画像内の前記網膜の前記解剖学的特徴の前記位置を決定させ、前記決定が、
選択されたピクセルの各ピクセルでの前記計算された局所的方向ベクトルの大きさがしきい値を超えるように、前記複数のピクセルからピクセルを選択することであって、
選択されたピクセルの各ピクセルでの前記正規化された局所的方向ベクトルの大きさが共通の既定の値を取るように、選択されたピクセルのピクセルごとに計算された前記局所的方向ベクトルを正規化することによって、選択されたピクセルのピクセルごとに、前記正規化された局所的方向ベクトルを計算することによって選択する、ことと、
前記選択されたピクセルのピクセルごとに、各値を、前記選択されたピクセルでの前記局所的方向ベクトルの方向を基準にした前記既定の方向に前記既定の値だけ、前記画像内の前記選択されたピクセルからオフセットしている前記受信された画像データのピクセルに関連付けられた累算器に加算することによって、各累算器配列に対して処理することとの追加のプロセスを実行することによって行われる、請求項１〜４のいずれか一項に記載の非一時的コンピュータ可読記憶媒体。
【請求項６】
前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、選択されたピクセルの各ピクセルでの前記計算された局所的方向ベクトルの大きさが、前記画像データ内の前記ピクセルの局所的方向ベクトルの大きさの５０番目の百分位数を超え、８０番目の百分位数を超えることがさらに好ましいように、前記複数のピクセルから前記ピクセルを選択させる、請求項５に記載の非一時的コンピュータ可読記憶媒体。
【請求項７】
前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、
前記複数のピクセルのピクセルごとに、前記各値として、各重み付けを、前記複数のピクセルのうちの前記ピクセルでの前記局所的方向ベクトルの方向を基準にした前記既定の方向に前記既定の値だけ、前記複数のピクセルのうちの前記ピクセルからオフセットしている前記受信された画像データ内のピクセルに関連付けられた前記累算器に加算することによって、各累算器配列に対して処理させ、前記重み付けが、前記複数のピクセルのうちの前記ピクセルでの前記局所的方向ベクトルの大きさを示す、請求項１〜６のいずれか一項に記載の非一時的コンピュータ可読記憶媒体。
【請求項８】
前記網膜の前記解剖学的特徴が、視神経乳頭、少なくとも２つの血管を接続する血管接合部、前記網膜の血管の重複、及び窩のうちの少なくとも１つを含む、請求項１〜７のいずれか一項に記載の非一時的コンピュータ可読記憶媒体。
【請求項９】
前記網膜の前記解剖学的特徴が前記視神経乳頭を含み、前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、前記複数のピクセルのうちの各ピクセルでの前記正規化された局所的方向ベクトルの大きさが０．５ＤＤ〜２．５ＤＤの範囲内になるように、前記複数のピクセルのピクセルごとに前記正規化された局所的方向ベクトルを計算させ、ＤＤが前記視神経乳頭の直径である、請求項８に記載の非一時的コンピュータ可読記憶媒体。
【請求項１０】
前記画像が前記網膜の自己蛍光画像及び前記網膜の蛍光血管造影画像のうちの１つであり、前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、前記複数のピクセルのうちの各ピクセルでの前記正規化された局所的方向ベクトルの大きさが０．８ＤＤ〜２．４ＤＤの範囲内になるように、前記複数のピクセルのピクセルごとに前記正規化された局所的方向ベクトルを計算させる、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１１】
前記画像が前記網膜の反射走査レーザ検眼鏡画像及び前記網膜の眼底写真のうちの１つであり、前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、前記複数のピクセルのうちの各ピクセルでの前記正規化された局所的方向ベクトルの大きさが０．４ＤＤ〜１．２ＤＤの範囲内になるように、前記複数のピクセルのピクセルごとに前記正規化された局所的方向ベクトルを計算させる、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１２】
前記網膜の前記解剖学的特徴が前記視神経乳頭を含み、前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、０．１ＤＤ〜０．５ＤＤの標準偏差を有し、０．２ＤＤ〜０．４ＤＤの標準偏差を有することがさらに好ましいカーネルを使用して、前記累算器内の前記値を平滑化させ、ＤＤが前記視神経乳頭の直径である、請求項８に記載の非一時的コンピュータ可読記憶媒体。
【請求項１３】
プロセッサ及びメモリを備えている画像処理装置であって、前記メモリが、前記プロセッサによって実行可能な命令を格納しており、以て、前記プロセッサが、網膜の画像を定義する画像データを処理して前記画像内の前記網膜の解剖学的特徴の位置を決定するよう機能し、前記決定が、
前記受信された画像データの複数のピクセルのうちのピクセルごとに、前記ピクセルでの前記画像又は前記ピクセルに隣接する前記画像に存在する血管の方向を示す各局所的方向ベクトルを計算することと、
前記各ピクセルでの正規化された局所的方向ベクトルの大きさが共通の既定の値を取るように、前記複数のピクセルのピクセルごとに計算された前記局所的方向ベクトルを正規化することによって、前記複数のピクセルのピクセルごとに、前記正規化された局所的方向ベクトルを計算することと、
累算器配列に対して処理することであって、前記配列内の各累算器が、前記受信された画像データの各ピクセルに関連付けられ、前記処理が、
前記複数のピクセルのピクセルごとに、各値を、前記複数のピクセルのうちの前記ピクセルでの前記局所的方向ベクトルの方向を基準にした既定の方向に前記既定の値だけ、前記複数のピクセルのうちの前記ピクセルからオフセットしている前記受信された画像データのピクセルに関連付けられた累算器に加算することと、
前記累算器内の前記値を平滑化することとによって行われる、処理することと、
累算器内の累積値の極値から既定の範囲内にある前記累積値を累積した前記累算器に関連付けられた、前記受信された画像データのピクセルの前記位置を使用して、前記網膜の前記画像内の前記解剖学的特徴の前記位置を決定することとによって実行される、画像処理装置。
【請求項１４】
前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、複数でありＮ個の累算器配列に対して処理させ、Ｎは少なくとも２に等しい整数であり、
前記累算器配列の各々が、前記局所的方向ベクトルのＮ個の量子化された方向うちの各１つに関連付けられており、
前記Ｎ個の各配列内の前記各累算器が、前記受信された画像データ内の前記ピクセルのうちの各１つに関連付けられており、
前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、
前記複数のピクセルのピクセルごとに、
前記ピクセルでの前記計算された局所的方向ベクトルの方向を前記Ｎ個の量子化された方向のうちの１つに量子化することと、
各値を、前記ピクセルでの前記局所的方向ベクトルの前記量子化された方向と同じ前記量子化された方向に関連付けられた累算器配列の累算器に加算することであって、前記累算器が、前記複数のピクセルのうちの前記ピクセルでの前記局所的方向ベクトルの方向を基準にした前記既定の方向に前記既定の値だけ、前記複数のピクセルのうちの前記ピクセルからオフセットしている前記受信された画像データのピクセルに関連付けられている、ことと、
前記複数の累算器配列の前記累算器内の前記値を平滑化することと
によって、前記複数の累算器配列に対して処理することと、
異なる各累算器配列内に設けられ、前記受信された画像データの同じ前記ピクセルに関連付けられたＮ個の累算器のセットごとに、前記Ｎ個の累算器に累積された前記累積値のそれぞれの積をさらに計算することと、
前記累積値の計算された積が前記累積値の計算された積の極値から既定の範囲内にある、Ｎ個の累算器のセットのうちの１つに関連付けられた、前記受信された画像データのピクセルの前記位置を使用して、前記網膜の前記画像内の前記解剖学的特徴の前記位置を決定することとを実行させる、請求項１３に記載の画像処理装置。
【請求項１５】
２≦Ｎ≦３２であり、４≦Ｎ≦１６であることがさらに好ましい、請求項１４に記載の画像処理装置。
【請求項１６】
前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、前記各ピクセルでの第２の正規化された局所的方向ベクトルの大きさが共通の第２の既定の値を取るように、前記複数のピクセルのピクセルごとに計算された前記局所的方向ベクトルを正規化することによって、前記複数のピクセルのピクセルごとに前記第２の正規化された局所的方向ベクトルを計算することと、
前記複数のピクセルのピクセルごとに、各値を、前記複数のピクセルのうちの前記ピクセルでの前記局所的方向ベクトルの方向を基準にした前記既定の方向に前記第２の既定の値だけ、前記複数のピクセルのうちの前記ピクセルからオフセットしている前記受信された画像データ内のピクセルに関連付けられた累算器に加算することによって、各累算器配列に対してさらに処理することとをさらに実行させる、請求項１３〜１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、前記網膜の前記画像を定義する前記画像データを処理して前記画像内の前記網膜の前記解剖学的特徴の前記位置を決定させ、前記決定が、
選択されたピクセルの各ピクセルでの前記計算された局所的方向ベクトルの大きさがしきい値を超えるように、前記複数のピクセルからピクセルを選択することであって、
選択されたピクセルの各ピクセルでの前記正規化された局所的方向ベクトルの大きさが共通の既定の値を取るように、選択されたピクセルのピクセルごとに計算された前記局所的方向ベクトルを正規化することによって、選択されたピクセルのピクセルごとに、前記正規化された局所的方向ベクトルを計算することによって選択する、ことと、
前記選択されたピクセルのピクセルごとに、各値を、前記選択されたピクセルでの前記局所的方向ベクトルの方向を基準にした前記既定の方向に前記既定の値だけ、前記画像内の前記選択されたピクセルからオフセットしている前記受信された画像データのピクセルに関連付けられた累算器に加算することによって、各累算器配列に対して処理することとの追加のプロセスを実行することによって行われる、請求項１３〜１６のいずれか一項に記載の画像処理装置。
【請求項１８】
前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、選択されたピクセルの各ピクセルでの前記計算された局所的方向ベクトルの大きさが、前記画像内の前記ピクセルの局所的方向ベクトルの大きさの５０番目の百分位数を超え、８０番目の百分位数を超えることがさらに好ましいように、前記複数のピクセルからピクセルを選択することによって、前記複数のピクセルから前記ピクセルを選択させる、請求項１７に記載の画像処理装置。
【請求項１９】
前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、
前記複数のピクセルのピクセルごとに、前記各値として、各重み付けを、前記複数のピクセルのうちの前記ピクセルでの前記局所的方向ベクトルの方向を基準にした前記既定の方向に前記既定の値だけ、前記複数のピクセルのうちの前記ピクセルからオフセットしている前記受信された画像データ内のピクセルに関連付けられた前記累算器に加算することによって、各累算器配列に対して処理させ、前記重み付けが、前記複数のピクセルのうちの前記ピクセルでの前記局所的方向ベクトルの大きさを示す、請求項１３〜１８のいずれか一項に記載の画像処理装置。
【請求項２０】
前記網膜の前記解剖学的特徴が、視神経乳頭、少なくとも２つの血管を接続する血管接合部、前記網膜の血管の重複、及び窩のうちの少なくとも１つを含む、請求項１３〜１９のいずれか一項に記載の画像処理装置。
【請求項２１】
前記網膜の前記解剖学的特徴が前記視神経乳頭を含み、前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、前記複数のピクセルのうちの各ピクセルでの前記正規化された局所的方向ベクトルの大きさが０．５ＤＤ〜２．５ＤＤの範囲内になるように、前記複数のピクセルのピクセルごとに前記正規化された局所的方向ベクトルを計算させ、ＤＤが前記視神経乳頭の直径である、請求項２０に記載の画像処理装置。
【請求項２２】
前記画像が前記網膜の自己蛍光画像及び前記網膜の蛍光血管造影画像のうちの１つであり、前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、前記複数のピクセルのうちの各ピクセルでの前記正規化された局所的方向ベクトルの大きさが０．８ＤＤ〜２．４ＤＤの範囲内になるように、前記複数のピクセルのピクセルごとに前記正規化された局所的方向ベクトルを計算させる、請求項２１に記載の画像処理装置。
【請求項２３】
前記画像が前記網膜の反射走査レーザ検眼鏡画像及び前記網膜の眼底写真のうちの１つであり、前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、前記複数のピクセルのうちの各ピクセルでの前記正規化された局所的方向ベクトルの大きさが０．４ＤＤ〜１．２ＤＤの範囲内になるように、前記複数のピクセルのピクセルごとに前記正規化された局所的方向ベクトルを計算させる、請求項２１に記載の画像処理装置。
【請求項２４】
前記網膜の前記解剖学的特徴が前記視神経乳頭を含み、前記命令が、前記プロセッサによって実行された場合に、前記プロセッサに、０．１ＤＤ〜０．５ＤＤの標準偏差を有し、０．２ＤＤ〜０．４ＤＤの標準偏差を有することがさらに好ましいカーネルを使用して、前記累算器内の前記値を平滑化させ、ＤＤが前記視神経乳頭の直径である、請求項２０に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般には、医用画像処理の分野に関連し、より詳細には、網膜の解剖学的特徴の画像内の位置を決定するための網膜画像の処理に関連する。
【背景技術】
【０００２】
多くの眼疾患は、網膜を画像化することによって、検出及び診断され得る。多忙な外来診療所では、画像が左目又は右目のいずれの画像であるかなどの基本的な情報でさえ、常に記録できるとは限らない。網膜画像の自動解析及び操作は、成長分野である。コンピュータアルゴリズムによる自動解析は、疾患検出又は改善された表示モードの形態で、支援を臨床医に提供することができる。多くの自動化手法は、それらの動作を補助するために、基本的な解剖学的ランドマークの位置情報を必要とする。この位置情報は、ソフトウェアに入力されてもよく、このソフトウェアは、例えば、（ｉ）網膜画像を、網膜の正確な寸法測定を実行可能にする均一な形式に投影すること、（ｉｉ）複数の網膜視野画像のセットを解析し、例えば、視野を識別して、必要なすべての視野が存在することを確認すること、（ｉｉｉ）１つのモダリティにおいて見える疾患の位置が別のモダリティにおいて識別され得るように、複数の網膜画像を登録すること、（ｉｖ）複数の網膜画像をモンタージュして、１つの画像で網膜のより広い表示を臨床医に提示すること、（ｖ）網膜のフライスループレゼンテーションをユーザに提示すること、及び／又は（ｖｉ）自動疾患決定を実行することを実行してもよく、この実行は、ソフトウェアが関連する領域（例えば、緑内障における視神経乳頭、加齢黄斑変性における黄斑）に対してのみ処理するように、又はソフトウェアが無関係な領域（例えば、糖尿病性網膜症における視神経乳頭）を無視するように行われるものであり得る。
【０００３】
眼底反射写真（主に、赤色又は緑色の光）において視神経乳頭及び窩などの、網膜の解剖学的特徴の位置を決定するための方法が開発されているが、他のモダリティの超広角表示用の網膜画像内の特徴などの位置を自動的及び確実に決定することの技術的問題が、アーチファクト及び病理、並びに眼球位置における変動及び画像モダリティ間の変動のために、困難な課題を提起する。
【発明の概要】
【０００４】
従来の網膜画像処理方法、及び上で要約されたデバイスの欠点を考慮して、本発明者は、コンピュータプログラム命令を格納する非一時的コンピュータ可読記憶媒体を考案した。このコンピュータプログラム命令は、プロセッサによって実行された場合に、プロセッサに、網膜の画像を定義する画像データを処理して、画像内の網膜の解剖学的特徴の位置を決定させ、この決定は、画像データを受信することと、受信された画像データの複数のピクセルのピクセルごとに、ピクセルでの画像又はピクセルに隣接する画像に存在する血管の方向を示す各局所的方向ベクトルを計算することと、各ピクセルでの正規化された局所的方向ベクトルの大きさが共通の既定の値を取るように、複数のピクセルのピクセルごとに計算された局所的方向ベクトルを正規化することによって、複数のピクセルのピクセルごとに、正規化された局所的方向ベクトルを計算することと、累算器配列に対して処理することであって、配列内の各累算器が、受信された画像データの各ピクセルに関連付けられており、この処理が、（ｉ）複数のピクセルのうちのピクセルごとに、各値を、複数のピクセルのうちのピクセルでの局所的方向ベクトルの方向を基準にした既定の方向に既定の値だけ、複数のピクセルのうちのピクセルからオフセットしている、受信された画像データのピクセルに関連付けられた累算器に加算することと、（ｉｉ）累算器内の値を平滑化することとによって行われる、ことと、累積値を累積した累算器に関連付けられた受信された画像データのピクセルの位置を使用して、網膜の画像内の解剖学的特徴の位置を決定することであって、この累積値が累算器内の累積値の極値から既定の範囲内にある、こととによって実行される。
【０００５】
本発明者は、プロセッサ及びメモリを備えている画像処理装置をさらに考案した。このメモリは、プロセッサによって実行可能な命令を格納しており、以て、プロセッサは、網膜の画像を定義する画像データを処理して、画像内の網膜の解剖学的特徴の位置を決定するよう機能し、この決定は、受信された画像データの複数のピクセルのピクセルごとに、ピクセルでの画像又はピクセルに隣接する画像に存在する血管の方向を示す各局所的方向ベクトルを計算することと、各ピクセルでの正規化された局所的方向ベクトルの大きさが共通の既定の値を取るように、複数のピクセルのピクセルごとに計算された局所的方向ベクトルを正規化することによって、複数のピクセルのピクセルごとに、正規化された局所的方向ベクトルを計算することと、累算器配列に対して処理することであって、配列内の各累算器が、受信された画像データの各ピクセルに関連付けられており、この処理が、（ｉ）複数のピクセルのうちのピクセルごとに、各値を、複数のピクセルのうちのピクセルでの局所的方向ベクトルの方向を基準にした既定の方向に既定の値だけ、複数のピクセルのうちのピクセルからオフセットしている、受信された画像データのピクセルに関連付けられた累算器に加算することと、（ｉｉ）累算器内の値を平滑化することとによって行われる、ことと、累積値を累積した累算器に関連付けられた受信された画像データのピクセルの位置を使用して、網膜の画像内の解剖学的特徴の位置を決定することであって、この累積値が累算器内の累積値の極値から既定の範囲内にある、こととによって実行される。
【０００６】
ここで、添付の図面を例として参照し、本発明の実施形態について詳細に説明する。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に従う画像処理装置の概略図である。
【図２】プロセスを示すフロー図の第１の部分であり、これによって、第１の実施形態の画像処理装置は、網膜の画像を定義する画像データを処理し、画像内の網膜の解剖学的特徴の位置を決定する。
【図３Ａ】網膜のＯｐｔｏｍａｐ（登録商標）画像の例を示す図である。
【図３Ｂ】図３ＡのＯｐｔｏｍａｐ画像の血管を強調した画像を示す図である。
【図３Ｃ】図３ＡのＯｐｔｏｍａｐ画像の平滑化されて血管を強調した画像を示す図である。
【図４】図２のフロー図の続きである。
【図５】図４のプロセスＳ５０を示すフロー図である。
【図６】網膜画像のピクセルｐｓｉｊ及びｐｏｉｊと、本明細書に記載された累算器配列の累算器ａｉｊの間の関係を示す概略図である。
【図７】プロセスを示す図２のフロー図の代替の続きであり、これによって、第２の実施形態に従う画像処理装置は、網膜の画像を定義する画像データを処理し、画像内の網膜の解剖学的特徴の位置を決定する。
【図８Ａ】網膜のＯｐｔｏｍａｐ緑色平面画像の例を示す図である。
【図８Ｂ】第１の実施形態に従って図８Ａの網膜画像を処理することによって生成された反応マップを示す図である。
【図８Ｃ】第２の実施形態に従って図８Ａの網膜画像を処理することによって生成された反応マップを示す図である。
【図９Ａ】網膜の別のＯｐｔｏｍａｐ画像の例を示す図である。
【図９Ｂ】第１の実施形態に従って図９Ａの網膜画像を処理することによって生成された反応マップを示す図である。
【図９Ｃ】第２の実施形態に従って図９Ａの網膜画像を処理することによって生成された反応マップを示す図である。
【図１０】プロセスを示す図２のフロー図の代替の続きであり、これによって、第１の実施形態の変形に従う画像処理装置は、網膜の画像を定義する画像データを処理し、画像内の網膜の解剖学的特徴の位置を決定する。
【発明を実施するための形態】
【０００８】
（実施形態１）
図１は、第１の実施形態に従う画像処理装置を示しており、画像化された網膜の１つ又は複数の解剖学的特徴の位置（又は、可能性のある複数の位置のうちの１つ）を決定するために、網膜の画像を定義する受信された画像データを処理するように構成されている。解剖学的特徴は、２つ以上の血管が合流する網膜の任意の解剖学的特徴（例えば、視神経乳頭、血管接合部、又は網膜内の血管の重複）、又は血管の合流を示す異なる解剖学的特徴（例えば、視神経乳頭）に関して明確に定義された位置を有する、窩などの特徴であってもよい。例として、本実施形態において対象となる解剖学的特徴は、視神経乳頭である。
【０００９】
本実施形態の画像処理装置は、図１に概略的に示されているように、プログラム可能な信号処理装置の一部を形成する。図１に示されている信号処理装置１００は、網膜の画像を定義する画像データを受信するため、及び視神経乳頭の決定された位置又はその位置に基づくさらなる処理動作の結果を出力するための入出力（Ｉ／Ｏ：ｉｎｐｕｔ／ｏｕｔｐｕｔ）セクション１１０を備える。信号処理装置１００は、プロセッサ１２０と、作業メモリ１３０と、コンピュータ可読命令を格納する命令ストア１４０とをさらに備え、これらのコンピュータ可読命令は、プロセッサ１２０によって実行された場合に、プロセッサ１２０に、網膜画像内の視神経乳頭の位置を決定するために、後述される処理動作を実行させる。Ｉ／Ｏセクション１１０、作業メモリ１３０、及び命令ストア１４０は、図１に示されているように、プロセッサ１２０に通信可能なように接続されている。命令ストア１４０は、コンピュータ可読命令が事前に読み込まれているＲＯＭを備えてもよい。代替として、命令ストア１４０は、ＲＡＭ又は同様の種類のメモリを備えてもよく、コンピュータ可読命令は、コンピュータ可読記憶媒体１５０（ＣＤ−ＲＯＭなど）などのコンピュータプログラム製品、又はコンピュータ可読命令を運ぶコンピュータ可読信号１６０から、命令ストア１４０に入力され得る。信号処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ：ｐｅｒｓｏｎａｌ  ｃｏｍｐｕｔｅｒ）又はネットワークサーバの一部を形成してもよく、周知のその他の構成要素（例えば、ディスプレイ、入力デバイスなど）を備えてもよい。本実施形態では、図１に示された、プロセッサ１２０、作業メモリ１３０、及び命令ストア１４０を含んでいるハードウェア構成要素の組み合わせ１７０が、本実施形態の画像処理装置の機能を実装するように構成され、次に、図２〜６を参照して、この機能について詳細に説明する。
【００１０】
図２は、プロセスの第１の部分を示すフローチャートであり、このプロセスによって、画像処理装置１７０は、網膜の画像を定義する画像データを処理し、さまざまなアプリケーションにおいて役立つ網膜画像内の位置を有する解剖学的ランドマークの例として、視神経乳頭の位置を決定する。
【００１１】
まず、ステップＳ１０で、プロセッサ１２０が、Ｉ／Ｏセクション１１０を介して、血管構造を備えている網膜の画像を定義する画像データを受信する。取得された画像データは、当業者に知られている複数の異なる種類のうちの１つであってもよい網膜画像（例えば、赤色及び緑色（ＲＧ：ｒｅｄ  ａｎｄ  ｇｒｅｅｎ）反射画像、自己蛍光（ＡＦ：ａｕｔｏｆｌｕｏｒｅｓｃｅｎｃｅ）画像、蛍光血管造影（ＦＡ：ｆｌｕｏｒｅｓｃｅｉｎ  ａｎｇｉｏｇｒａｍ）画像、網膜の反射走査レーザ検眼鏡（ＳＬＯ：ｓｃａｎｎｉｎｇ  ｌａｓｅｒ  ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）画像、又は網膜のカラー眼底写真）を定義することができ、網膜の超広角表示を提供することができる。
【００１２】
ステップＳ２０に進む前に、プロセッサ１２０は、画像内の脈管構造を強調するために、当業者に知られた（例えば、書籍「Ａｕｔｏｍａｔｅｄ  Ｉｍａｇｅ  Ｄｅｔｅｃｔｉｏｎ  ｏｆ  Ｒｅｔｉｎａｌ  Ｐａｔｈｏｌｏｇｙ」（Ｈ．Ｊｅｌｉｎｅｋ及びＭ．Ｊ．Ｃｒｅｅ著、ＣＲＣ  Ｐｒｅｓｓ、２００９年１月１日）の８章に記載されている）技術を使用して、受信された網膜画像データを前処理してもよい。例えば、
畳込み画像を生成するために、複素数値ガボールカーネル
【数１】
2019515725.tif 000003
が使用されてもよく、θの値は、ａ＝０．．．Ｎ−１の場合の各値２ａπ／Ｎになり、Ｎは、評価において使用される方向の数であり、例えば８〜１２の範囲内である（ただし、ＲＧ画像の前処理においてＮを６に減らすことが悪影響をもたらすということは、判明していない）。ガボールカーネルｇ内の他のパラメータに使用される値は、例えば、
【数２】
2019515725.tif 000004
である。
【００１３】
パラメータｓは、スケールを設定する。ｓ＝２の値がＯｐｔｏｍａｐ画像の前処理によく適していることが、分かっている。ただし、ｓの理想的な値は、画像の倍率（又は、１ピクセル当たりのミクロン単位の実際の寸法）によって決まり、この値は、画像モダリティ間及び画像形式間で可変である。また、ある範囲の直径を持つ血管を考慮するために、ある範囲のｓの値が使用されてもよい。この場合、ｓの各値で得られる血管の強調は、例えばピクセルごとに加算することによって、結合されてもよい。
【００１４】
この例では、各ガボールカーネルによる画像の畳み込みによって、複素数値画像の配列が生成される。この配列の各要素は、次のカーネルのうちの１つを使用して生成される。
【数３】
2019515725.tif 000005
各ピクセルで、次の最大絶対反応を与える方向インデックスが求められる。
【数４】
2019515725.tif 000006
方向インデックスは、血管上のピクセルの局所的に支配的な（離散化された）角度（すなわち、血管の方向）である。
【００１５】
血管が背景よりも明るく見える血管が強調された複素画像（Ｖ）は、配列Ｕ内の画像のうちの１つから選択された各ピクセルで、次の値を有する。
【数５】
2019515725.tif 000007
【００１６】
このようにして、図３Ａに示されたＯｐｔｏｍａｐ画像を処理することによって生成された、血管が強調された画像の例が、図３Ｂに示されている。
【００１７】
次に、平滑化された血管画像が、本実施形態におけるように、方向性ガボールカーネルによる畳み込みの最大値を２回評価することによって生成されてもよい。その場合、１回目の実行への入力は、１／２に縮小された血管が強調された画像であり、したがって、カーネルのサイズを事実上２倍にする。２回目の評価への入力画像は、１／２に縮小された１回目の評価の結果である。このようにして生成された、平滑化されて血管が強調された画像の例が、図３Ｃに示されている。
【００１８】
前処理の段階で、線形フィルタリング、非線形フィルタリング、及び／又は正規化の別の形態が、代替的に適用されてもよい。例えば、ノイズを減らすために、ローパスフィルタが使用されてもよい。追加的又は代替的に、照明の変化などの緩やかな画像強度の変化を除去するために、ハイパスフィルタが使用されてもよい。ハイパスフィルタは、より一貫性のある画像の正規化を促進することもできる。正規化は、何かのパラメータ（明るさの全体平均、コントラストの全体平均、又は画像ヒストグラムなど）の、画像間での変動を抑えるか、又はパラメータ（局所的な画像の明るさ、局所的なコントラスト、又は局所的なヒストグラム）の、１つの画像全体での変動を抑える働きをするいずれかの方法である。
【００１９】
図２のステップＳ２０で、プロセッサ１２０は、前述したように脈管構造を強調するように処理されていてもよい画像の複数のピクセルｐｉｊ（ｉ及びｊは、ピクセル配列の列及び行をそれぞれ表す）のピクセルごとに、ピクセルでの画像又はピクセルに隣接する画像に存在する血管（言い換えると、ピクセルでの画像又はピクセルに近接する（例えば、１つ又は複数のピクセルの既定の数の範囲内の）画像に存在することのある血管）の方向を示す各局所的方向ベクトルを計算する。そのような局所的方向ベクトルは、当業者に知られているさまざまな技術で求められ得る。例えば画像強度の一階微分又は二階微分を使用して、局所的方向及びエッジ強度が評価され得る。一階微分は、ソーベルカーネル又は（前述したような）その他のカーネルを使用した畳み込みによって、計算され得る。その後、局所的方向は、勾配のｙ成分とｘ成分の比の逆正接になる。二階微分は、ソーベルカーネル又はその他のカーネルを使用した反復される畳み込みによって、計算され得る。その後、局所的方向は、ヘッシアン行列
【数６】
2019515725.tif 000008
の最大の固有値を含む固有ベクトルのｙ成分とｘ成分の逆正接になり、ここでｚは画像強度である。
【００２０】
例えば、局所的方向ベクトルは、各ピクセルで、最大の固有値を有するヘッシアン行列の固有ベクトルを求めることによって、計算されてもよい。代替として、局所的方向ベクトルは、本実施形態におけるように、ピクセル値勾配ベクトルの形態を取ってもよく、ピクセル値勾配ベクトルは、血管セグメントの局所的方向（すなわち、血管の流れの方向、又はその反対方向、言い換えると、画像内で血管が伸びる方向）と直角な方向で、１つのピクセルと次のピクセルの間でピクセル値が相対的に急激に変化する、網膜画像内の血管の境界領域で大きい大きさを持つ傾向があり、血管から離れた位置では概して小さくなる。したがって、血管の一部（特に、血管のエッジ部分）を示している網膜画像の領域内のピクセルでのピクセル値勾配ベクトルは、血管の方向を示す。
【００２１】
したがって、本実施形態では、ステップＳ２０で、プロセッサ１２０が、平滑化された画像の複数のピクセルｐｉｊのピクセルごとに、ピクセルでの各ピクセル値勾配ベクトルｇ（ｉ，ｊ）（言い換えると、画像強度の勾配）を計算する。ピクセルは、ピクセルの配列上の位置（ｉ，ｊ）で変化する値を持つ離散関数ｆ（ｉ，ｊ）の各値を保持していると考えられてもよく、任意のピクセルでのピクセル値勾配ベクトルｇは、そのピクセルでのこの関数が最大に増加する方向を指し示し、ピクセル値勾配ベクトルの大きさ（｜ｇ｜）は、その方向での関数の傾きである。前述したように、網膜の画像内で、ピクセル値勾配ベクトルの大きさは、概して血管のエッジで最大になり、その領域では、血管が伸びる方向と直角な方向に、ピクセル値における急激な変化が存在する。
【００２２】
ピクセル値勾配ベクトルｇを計算するための任意の周知の技術が使用されてもよく、例えば、「Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ」（Ｒ．Ｃ．Ｇｏｎｚａｌｅｚ及びＲ．Ｅ．Ｗｏｏｄｓ著、Ｐｅａｒｓｏｎ、２００７年８月３１日）又は「Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  ａｎｄ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ」（Ｒ．Ｊ．Ｓｃｈａｌｋｏｆｆ著、Ｊｏｈｎ  Ｗｉｌｅｙ  ＆  Ｓｏｎｓ、１９９２年９月２日）に記載されている技術が挙げられる。標準的な方法では、ソーベル演算子、プルウィット演算子、又はロバーツ演算子を使用し、これらの演算子を使用して、勾配のｘ成分及びｙ成分、勾配の大きさ、並びに勾配の方向を決定するのに使用され得る。ステップＳ２０でピクセル値勾配ベクトルｇ（ｉ，ｊ）が計算される複数のピクセルｐｉｊは、平滑化された画像データのすべてのピクセルを包含してもよく、それらのピクセルのうちの一部のみを包含してもよい。プロセッサ１２０は、例えば、平滑化された画像の１つ又は複数の領域（例えば、画像の周辺領域）を定義するマスクを使用してもよく、それらの領域内では、ピクセル値勾配ベクトルｇの計算が実行されない。
【００２３】
その後、本実施形態におけるようなプロセスは、オプションのステップＳ３０に進んでもよく、ステップＳ３０で、プロセッサ１２０が、選択されたピクセルｐｓｉｊの各ピクセルでの局所的方向ベクトル（本実施形態では、計算されたピクセル値勾配ベクトルｇ（ｉ，ｊ））の大きさがしきい値を超えるように、複数のピクセルｐｉｊからピクセルｐｓｉｊを選択する。このオプションのステップは、局所的方向ベクトル（すなわち、｜ｇ｜）が小さいピクセル（すなわち、血管内又は血管のエッジにある可能性が低いピクセル）を、下で説明されているさらなる処理動作の資格がないと判定し、以て、計算リソースを節約し、さらに、視神経乳頭の中心位置をより高い精度で推定できるようにする。プロセッサ１２０は、例えば、選択されたピクセルｐｓｉｊの各ピクセルで計算されたピクセル値勾配ベクトルｇ（ｉ，ｊ）の大きさが、ピクセルｐｉｊのピクセル値勾配ベクトルの大きさの既定の百分位数を超えるように、複数のピクセルｐｉｊからピクセルｐｓｉｊを選択してもよい。この既定の百分位数は、５０番目の百分位数であってもよく、又は本実施形態におけるように、８０番目の百分位数であるのが、より好ましい。
【００２４】
プロセッサ１２０は、図４のステップＳ４０に進み、選択されたピクセルｐｓｉｊの各ピクセルでの正規化された局所的方向ベクトルの大きさが、選択されたピクセルｐｓｉｊのすべてについて同じ既定の値を取るように、選択されたピクセルｐｓｉｊのピクセルごとに計算された局所的方向ベクトルを正規化することによって、選択されたピクセルｐｓｉｊのピクセルごとに正規化された局所的方向ベクトルを計算する。ステップＳ３０が省略された場合、ステップＳ６０で、プロセッサ１２０は、選択されたピクセルｐｓｉｊの各ピクセルでの正規化された局所的方向ベクトルの大きさが、すべてのピクセルについて同じ既定の値を取るように、ピクセルｐｉｊのピクセルごとに計算された局所的方向ベクトルを正規化することによって、複数のピクセルｐｉｊのピクセルごとに正規化された局所的方向ベクトルを計算する。
【００２５】
局所的方向ベクトルは、本実施形態では、例として、ピクセル値勾配ベクトルであるため、ステップＳ４０で、プロセッサは、選択されたピクセルｐｓｉｊの各ピクセルでの正規化されたピクセル値勾配ベクトルの大きさ（｜ｇｎ（ｉ，ｊ）｜）が、選択されたピクセルｐｓｉｊのすべてについて同じ既定の値を取るように、選択されたピクセルｐｓｉｊのピクセルごとに計算されたピクセル値勾配ベクトルｇ（ｉ，ｊ）を正規化することによって、選択されたピクセルｐｓｉｊのピクセルごとに、正規化されたピクセル値勾配ベクトルｇｎ（ｉ，ｊ）を計算する。このようにして、｜ｇｎ（ｉ，ｊ）｜は、選択されたピクセルｐｓｉｊのすべてについて同じになるが、ｇｎの方向は、選択されたピクセルｐｓｉｊそれぞれでの局所的なピクセル値の勾配によって決まり、したがって、選択されたピクセル間で通常は異なる。現在のように、決定されることになる位置を持つ網膜の解剖学的特徴が視神経乳頭である実施形態では、プロセッサ１２０は、選択されたピクセルｐｓｉｊの各ピクセルでの前述のベクトルの大きさ（すなわち、Ｒ）が０．４ＤＤ〜２．５ＤＤの範囲内になるように、選択されたピクセルｐｓｉｊのピクセルごとに正規化されたピクセル値勾配ベクトルｇｎ（又は、前述したように、局所的方向ベクトルのその他の形態）を計算するのが好ましく、ＤＤは、網膜画像内の視神経乳頭の直径（眼科で広く使用されている網膜の距離単位）であり、例えば、ピクセルの数を単位として表されてもよい。ＤＤの値は、例えば網膜画像を調査することによって、容易に決定され、その後、本明細書に記載された技術を使用して、同様の条件下で取得された同じ画像又はその他の画像の自動処理において使用されてもよい。言い換えると、網膜画像のバッチの自動処理に使用される単位ＤＤの適切な値は、バッチ内の画像を代表するトレーニング画像のセットを手動で調べてＤＤの適切な測定値を取得することによって決定されてもよく、その後、決定されたＤＤの値は、画像のバッチの処理に使用され得る。
【００２６】
ステップＳ１０で受信された画像データが網膜の自己蛍光画像又は網膜の蛍光血管造影画像を定義している場合、プロセッサ１２０は、選択されたピクセルｐｓｉｊの各ピクセルで計算されたベクトルの大きさ（すなわち、Ｒ）が０．８ＤＤ〜２．４ＤＤの範囲内になるように、選択されたピクセルｐｓｉｊのピクセルごとにｇｎ（ｉ，ｊ）（又は、さらに一般的には、前述の局所的方向ベクトル）を計算するのが好ましい。一方、ステップＳ１０で受信された画像データが網膜の反射ＳＬＯ画像或いは網膜のＲＧ又はカラー眼底写真を定義している場合、プロセッサ１２０は、選択されたピクセルｐｓｉｊの各ピクセルで計算されたベクトルの大きさ（Ｒ）が０．４ＤＤ〜１．２ＤＤの範囲内になるように、選択されたピクセルｐｓｉｊのピクセルごとにｇｎ（ｉ，ｊ）（又は、さらに一般的には、前述の局所的方向ベクトル）を計算するのが好ましい。
【００２７】
ステップＳ５０で、プロセッサ１２０は、累算器配列を使用して、後述される動作を実行する。配列の各累算器（ａｉｊ）は、実数値（整数であってもなくてもよく、正又は負であってもよい）を受信し、受信された値の累積を示す累積値を計算するように構成される。例えば、各累算器ａｉｊは、本実施形態におけるように、累積値が受信された値の合計になるように、受信した正の整数値（以下では、「投票」とも呼ばれる）を合計してもよい。各累算器ａｉｊは、受信された各値を、以前に受信され、以て計算された値の合計に追加してもよく（言い換えると、各累算器ａｉｊは、新しい各値の受信時に、その累積値を更新してもよく）、又は各累算器ａｉｊは、受信された値を一時的に格納してから、ステップＳ５０での動作の終了時に、それらの値の合計を計算してもよい。しかし、他の実施形態では、各累算器ａｉｊは、代替的に、十分に大きい正数である初期値を格納するように初期化され、その後、受信された負の整数値を格納された値に加算してもよく（又は、受信された正の値を格納された値から差し引いてもよく）、以て、受信した各値で、格納された値を事実上デクリメントする。その場合、ステップＳ５０での動作の終了時に、この累積値も、受信された値の累積を示す。
【００２８】
本実施形態では、累算器配列は、作業メモリ１３０内の記憶素子を適切にアドレス指定して（格納された情報に対して、書き込み、読み取り、及びその他の処理を行うことを含めて）管理するように、命令ストア１４０内の前述の命令を実行するプロセッサ１２０によって実装される。各累算器ａｉｊは、受信された画像データの各ピクセルｐｉｊに関連付けられ、例えばプロセッサ１２０によって、作業メモリ１３０内で、関連付け、リンク、又はポインタが、各累算器ａｉｊを画像データ内の対応するピクセルｐｉｊに関連付ける。
【００２９】
ステップＳ５０で、プロセッサ１２０が、複数のピクセルのピクセルごとに、各値を、前述のピクセルでの局所的方向ベクトルの方向を基準にした既定の方向に既定の値だけ前述のピクセルからオフセットしている（すなわち、間隔を空けて離れている）受信された画像データ内の複数のピクセルのピクセルｐｏｉｊに関連付けられた累算器ａｉｊに加算することによって、及び累算器ａｉｊ内の値を平滑化することによって、累算器配列に対して処理する。ここで、図５及び６を参照して、ステップＳ５０のプロセスについてさらに詳細に説明する。
【００３０】
まず、図５を参照すると、ステップＳ５１で、各累算器ａｉｊに格納された累積値が共通の定数値（この実施形態では、ゼロ）になるように、プロセッサが、累算器配列を初期化する。累算器が、受信された正の値を初期（開始）値から減算する（又は等価的に、受信された負の値を初期値に加算する）前述の代替の実施形態では、各累算器ａｉｊは、ステップＳ５１で初期値を格納するように設定される。
【００３１】
ステップＳ５２で、選択されたピクセルｐｓｉｊの各ピクセルを順番に参照するために使用されるインデックスｌが、１の初期値に設定される。
【００３２】
次に、ステップＳ５３で、プロセッサ１２０が、選択されたピクセルｐｓｉｊのうちの第１のピクセルを（この段階ではｌ＝１として）、値（本実施形態では、例として１である）を、選択されたピクセルでの局所的方向ベクトルの方向を基準にした既定の方向に、既定の値Ｒだけ、画像データ内の選択されたピクセルｐｓｉｊからオフセットしている（すなわち、間隔を空けて離れている）受信された画像データのピクセルｐｏｉｊに関連付けられた累算器配列の累算器ａｉｊに加算することによって、処理する。この実施形態では、局所的方向ベクトルがピクセル値勾配ベクトルｇ（ｉ，ｊ）であるため、既定の方向は、選択されたピクセルｐｓｉｊでのピクセル値勾配ベクトルｇ（ｉ，ｊ）の方向と直角である。他の実施形態では、既定の方向は、局所的方向ベクトルがどのように計算されるかに応じて、局所的方向ベクトルの方向と直角であるか、又は局所的方向ベクトルの方向を基準にした別の既定の角度であってもよい。ステップＳ５３で考慮されるオフセットは、概して、図６に示されているように、選択されたピクセルで選択されたピクセルによって示された血管が伸びる方向にある。
【００３３】
さらに詳細には、図６は、網膜画像データのピクセルｐｓｉｊ及びｐｏｉｊと、本明細書に記載された累算器配列Ａの累算器ａｉｊの間の関係を示している。図６で、画像データは、図の上側部分に示されており、視神経乳頭ＯＤ及び視神経乳頭ＯＤで合流するさまざまな血管ＢＶを含んでいる網膜の画像を定義している。図６の下側部分は、前述の累算器ａｉｊを含んでいる累算器配列Ａの一部を示している。図６に示されているように、ピクセルｐｏｉｊは、ｐｓｉｊでｇ（ｉ，ｊ）の方向と直角な線上にある、この線に沿ったｐｓｉｊからの距離がＲに最も近いピクセルであると考えられる（言い換えると、ベクトルＲが指し示すピクセルであり、Ｒは、｜Ｒ｜＝｜ｇｎ（ｉ，ｊ）｜＝Ｒ及びＲ・ｇ（ｉ，ｊ）＝０となるように計算された、ｐｓｉｊからの画像平面内のベクトル変位である）。プロセッサ１２０は、ステップＳ４０で第１の選択されたピクセルｐｓｉｊに対して計算された正規化されたピクセル値勾配ベクトルｇｎ（ｉ，ｊ）に基づいて、第１の選択されたピクセルｐｓｉｊに関して、網膜画像データ内のどのピクセルが、計算されたオフセットＲを持つかを決定する（最も近いピクセルに丸められる）。プロセッサ１２０がピクセルｐｏｉｊの候補位置を除外するためにマスクを使用しない限り、プロセッサ１２０は、本実施形態におけるように、やはりステップＳ４０で第１の選択されたピクセルｐｓｉｊに対して計算された正規化されたピクセル値勾配ベクトルｇｎ（ｉ，ｊ）に基づいて、第１の選択されたピクセルｐｓｉｊに関して、網膜画像内のどのピクセルが、計算された−Ｒのオフセットを持つかをさらに決定してもよい（最も近いピクセルに丸められる）。
【００３４】
ステップＳ５３でのプロセスによって、プロセッサ１２０は、「投票」を、視神経乳頭の中心位置の候補になると考えられる各ピクセルに対応する（各ピクセルを基準にしたＲ及び−Ｒでの）累算器配列Ａの２つの各累算器に、事実上登録する。
【００３５】
次に、プロセスはステップＳ５４に進み、ステップＳ５４で、プロセッサ１２０は、インデックスｌが制限Ｌに達したかどうかを判定し、Ｌは、ステップＳ３０で選択されているピクセルｐｓｉｊの数である。カウンタｌがまだ制限Ｌに達していない場合、ステップＳ５５でカウンタｌが１だけインクリメントされ、プロセスがステップＳ５３に戻り、次に選択されたピクセルｐｓｉｊが、前述したように処理される。このようにして、ピクセル値の勾配の大きさがしきい値を越えている画像データ内の各ピクセルが、局所勾配に垂直な方向（したがって、血管の合流の方向と平行な方向）に距離Ｒだけ前述のピクセルからオフセットしているピクセルに対応する累算器内の投票に寄与する。
【００３６】
選択されたピクセルｐｓｉｊがすべて処理された後に（ステップＳ５４で、ｌ＝Ｌ）、プロセスがステップＳ５６に進み、ステップＳ５６で、プロセッサ１２０が、累算器内の累積値を平滑化して、反応マップを生成する。多数の選択されたピクセルが処理された後に、より多くの投票が、血管が合流する画像内のピクセルに関連付けられた累算器内で登録されており、これが反応マップに反映されることになる。任意の画像平滑化（又はローパスフィルタリング）処理を配列に適用することによって、累積値の配列が平滑化されてもよい。適切な画像平滑化方法の例は、「Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ」（Ｒ．Ｃ．Ｇｏｎｚａｌｅｚ及びＲ．Ｅ．Ｗｏｏｄｓ著、Ｐｅａｒｓｏｎ、２００７年８月３１日）及び「Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  ａｎｄ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ」（Ｒ．Ｊ．Ｓｃｈａｌｋｏｆｆ著、Ｊｏｈｎ  Ｗｉｌｅｙ  ＆  Ｓｏｎｓ、１９９２年９月２日）に記載されている。平滑化処理は、例えば、（移動平均フィルタを作成するために）ガウス形状又は同様の値の配列を有することがあるカーネルによる畳み込みなどの、線形処理であることができる。平滑化又はローパスフィルタリングは、周波数領域においても実行され得る。平滑化処理は、メジアンフィルタ又は形態学的フィルタなどの非線形処理であることもできる。プロセッサ１２０は、本実施形態におけるように、０．１ＤＤ〜０．５ＤＤの標準偏差を有することが好ましく、０．２ＤＤ〜０．４ＤＤの標準偏差を有することがさらに好ましく、０．３ＤＤの標準偏差を有することがさらにいっそう好ましいガウスカーネルを使用して、累算器内の値を平滑化してもよい。平滑化された値は、網膜の画像内の解剖学的特徴の位置（すなわち、本実施形態では、視神経乳頭の中心）の確率分布を示す。
【００３７】
再び図４を参照すると、Ｓ５０の完了後に、プロセスはステップＳ６０に進み、ステップＳ６０で、プロセッサ１２０が、累算器配列内の累積値のうちの極大値又は全体的最大値である累積値を累積した配列の累算器に関連付けられた、受信された画像データ内のピクセルの位置を使用して、網膜の画像内の視神経乳頭の位置を決定する（全体的最大値は、すべての累算器のうちで最大の累積値である）。さらに一般的には、プロセッサ１２０は、累算器配列内の累積値のうちの極大値又は全体的最大値を下回る値の既定の範囲（例えば、最大値から５％又は１０％に及ぶ、ゼロ以外の値の範囲）内にある値を累積した累算器に関連付けられた、受信された画像データ内のピクセルの位置を使用して、視神経乳頭の位置を決定してもよい。反応マップから決定された２つ以上の極大値の位置が、対象の解剖学的特徴の位置の決定に使用されてもよい。例えば、特定のしきい値を超えるすべての極大値を選択することによって、複数の極大値が選択されてもよい。目的が、複数の実例を含む対象の解剖学的特徴（血管接合部又は血管の交差など）を検出することである場合、又は極大値が、１つの実例を含む対象の特徴（視神経乳頭など）の候補として検討されていて、それらの候補からの選択が延期されている場合は、複数の極大値が検出されるであろう。反応マップ内の既定の対象領域が、極大値の選択を制限するために使用されてもよい。例えば、対象領域は、検出対象の特徴が発生する可能性が非常に高いことが経験から知られている領域であることができる。
【００３８】
一部の実施形態（例えば、累積値が負であるか、又は累算器が、受信された「投票」ごとに初期設定された数をデクリメントする実施形態）では、プロセッサ１２０は、累算器配列内の累積値のうちの極小値又は全体的最小値である累積値を累積した配列の累算器に関連付けられた、受信された画像データのピクセルの位置を使用して、網膜画像内の視神経乳頭の位置を決定してもよい。したがって、プロセッサ１２０は、さらに一般的には、累算器配列内の累積値の（局所的又は全体的）極値である累積値を累積した配列の累算器に関連付けられた、受信された画像データのピクセルの位置を使用して、網膜の画像内の視神経乳頭の位置を決定してもよい。
（実施形態２）
【００３９】
本実施形態では、プロセッサ１２０は、１つではなくＮ個の累算器配列に対して処理し、Ｎは２以上である。これらの累算器配列はそれぞれ、ピクセル値勾配ベクトルｇが向けられることがあるＮ個の異なる量子化された方向のうちの各１つに関連付けられ、対応するインデックスｎ（ｎ＝１，．．．Ｎ）でラベル付けされる。ｇが向けられる可能性がある方向は、角度の範囲［０，π］内に収まるように選択され、この範囲が、Ｎ個の部分範囲又は「量子化された方向」に量子化される。例えば、Ｎ＝４である場合、すべてのベクトルｇ（ｉ，ｊ）が、角度範囲［０，π／４］に対応する第１の量子化された方向、角度範囲［π／４，π／２］に対応する第２の量子化された方向、角度範囲［π／２，３π／４］に対応する第３の量子化された方向、又は角度範囲［３π／４，π］に対応する第４の量子化された方向に向けられているとして分類されてもよい。関数ｒｏｕｎｄ［Ｎｍｏｄ（θ，π）／π−０．５］（θ＝ａｒｃｔａｎ（ｇｙ／ｇｘ）、ｇｙはｇのｙ成分、ｇｘはｇのｘ成分）が、ｇの方向を量子化するために使用されてもよい。第１の量子化された方向に関連付けられた累算器配列にはｎ＝１が割り当てられ、第２の量子化された方向に関連付けられた累算器配列にはｎ＝２が割り当てられ、第３の量子化された方向に関連付けられた累算器配列にはｎ＝３が割り当てられ、第４の量子化された方向に関連付けられた累算器配列にはｎ＝４が割り当てられる。本実施形態では、ｎ番目の累算器配列（ｎ番目の量子化された方向に関連付けられている）のｉ番目の列及びｊ番目の行にある累算器は、ａｉｊｎと示される。各累算器配列内の各累算器ａｉｊｎは、網膜画像データ内の各ピクセルに関連付けられ、そのためＮ個の累算器（Ｎ個の累算器配列の累算器配列ごとに１つの累算器）が、画像データ内の各ピクセルに関連付けられている。
【００４０】
図７は、プロセスを示すフロー図であり、このプロセスによって、本実施形態の画像処理装置が、網膜の画像を定義する画像データを処理して視神経乳頭の位置を決定し、このプロセスは、前述した第１の実施形態のステップＳ１０〜Ｓ３０及びステップＳ４０の例示的な形態（図７では、Ｓ４０’のラベルが付けられている）（これらのステップの説明については、ここでは繰り返されない）、並びに、以下で説明される、Ｎ個の累算器配列に対して実行される一連の動作を含んでいる。本実施形態の構造及び動作は、以下で説明される違いを別にして、第１の実施形態と同じであるということに注意するべきである。さらに、前述した第１の実施形態に対する可能性能のある変更は、本実施形態に対して行われてもよい。
【００４１】
ステップＳ７１で、Ｎ個の累算器配列の各累算器が、図５のステップＳ５１と同じ方法で初期化されるため、各累算器ａｉｊに格納される累積値はゼロである。
【００４２】
ステップＳ７２で、選択されたピクセルｐｓｉｊの各ピクセルを順番に参照するために使用されるインデックスｌが、１の初期値に設定される。
【００４３】
次に、ステップＳ７３で、プロセッサ１２０が、選択されたピクセルｐｓｉｊのうちの第１のピクセルを（この段階ではｌ＝１として）、第１の選択されたピクセルｐｓｉｊでのｇ（ｉ，ｊ）又はｇｎ（ｉ，ｊ）のいずれかの方向をＮ個の量子化された方向のうちの１つに量子化することによって、処理する。したがって、ｎの値（１〜Ｎ）のうちの１つが、第１の選択されたピクセルｐｓｉｊでのｇの方向に応じて、このピクセルに関連付けられてもよく、これによって、対応する（同じｎの値を持っている）累算器配列を識別して、アクセスできるようになる。
【００４４】
ステップＳ７４で、プロセッサ１２０は、定数値（例えば、第１の実施形態におけるように、１）を、第１の選択されたピクセルｐｓｉｊでのｇ（ｉ，ｊ）の量子化された方向と同じ量子化された方向に関連付けられた累算器配列の累算器ａｉｊｎに加算し、値が加算される累算器は、（第１の実施形態におけるように）第１の選択されたピクセルｐｓｉｊから、第１の選択されたピクセルｐｓｉｊでのｇ（ｉ，ｊ）の方向と直角な方向に既定の値Ｒだけオフセットしている受信された画像データのピクセルｐｏｉｊに関連付けられる。したがって、本実施形態では、どの累算器が、選択されたピクセルの「投票」を受信するかは、やはり選択されたピクセルでのｇ（ｉ，ｊ）の方向によって決まり、この累算器は、ｇ（ｉ，ｊ）の量子化された方向と同じ量子化された方向に関連付けられ、選択されたピクセルでのｇ（ｉ，ｊ）の方向と直角な方向に既定の値Ｒだけ選択されたピクセルからオフセットしている受信された画像データのピクセルｐｏｉｊに関連付けられて、投票を受信する。
【００４５】
次に、プロセスはステップＳ７５に進み、ステップＳ７５で、プロセッサ１２０は、インデックスｌが制限Ｌに達したかどうかを判定しており、Ｌは、ステップＳ３０で選択されているピクセルｐｓｉｊの数である。カウンタｌがまだ制限Ｌに達していない場合、ステップＳ７６でカウンタｌが１だけインクリメントされ、プロセスがステップＳ７３に戻り、次に選択されたピクセルｐｓｉｊが、前述したように処理される。このようにして、｜ｇ｜がしきい値を超える画像データ内の選択された各ピクセルは、選択されたピクセルでのｇの量子化された方向と同じ量子化された方向ｎに関連付けられ、選択されたピクセルでの局所勾配に垂直な方向（したがって、血管の方向と平行な方向）に距離Ｒだけ選択されたピクセルからオフセットしているピクセルに対応する、累算器ａｉｊｎ内の投票に寄与する。
【００４６】
選択されたピクセルｐｓｉｊがすべて処理された後に（ステップＳ７５で、ｌ＝Ｌ）、プロセスがステップＳ７７に進み、ステップＳ７７で、プロセッサ１２０が、複数の累算器配列内の累積値を平滑化する。平滑化処理は、第１の実施形態に関連して説明された技術を使用して、複数の配列のうちの１つ又は複数に含まれる累積値に対して実行されてもよい。したがって、１つ又は複数の累算器配列のガウスぼかしが実行されてもよい。追加的又は代替的に、平滑化処理は、同じ技術を使用して、同じインデックスｉ及びｊを有するがインデックスｎ（１〜Ｎ）が異なるＮ個の累算器ａｉｊｎに累積された値に対して実行されてもよい。
【００４７】
ステップＳ８０で、プロセッサ１２０は、異なる各累算器配列内に設けられ、受信された画像データの同じピクセルｐｏｉｊに関連付けられたＮ個の累算器ａｉｊｎのセットごとに、Ｎ個の累算器ａｉｊｎに累積された各累積値の積を計算する。この積は、事実上、異なる勾配方向全体の「ソフトＡＮＤ」演算であり、そのため、この積の大きい値に関連付けられた画像内のピクセルは、ある範囲の異なる方向から血管が合流している位置にある傾向がある。言い換えると、この積がゼロ以外である位置には、必ず、Ｎ個の累算器配列に関連付けられたＮ個の方向それぞれからの寄与が存在するはずである。一部の応用（例えば、対象の解剖学的特徴が、多くの異なる血管が合流する視神経乳頭である応用）では、複数の累算器配列を使用することで、結果として、血管セグメント（２つの血管のみが合流する）及び血管接合部（３つ又は４つの血管のみが合流する）などの、反応マップ内の望ましくない反応を抑制することができ、その後のデータ処理において、対象の特徴をより容易に決定できるようにする。
【００４８】
図８Ａは、網膜のＯｐｔｏｍａｐ緑色平面画像を示しており、図８Ｂ及び図８Ｃは、それぞれＮ＝１及びＮ＝８に対して生成された反応マップを示している。これらの結果は、複数の（この場合は８つの）累算器配列を使用することで、１つの累算器配列のみが使用される場合と比較して、視神経乳頭の位置を視覚的により明確に区別できることを示している。Ｎ＝８のマップをＮ＝１のマップと直接比較するために、Ｎ＝８のマップ内の値の８乗根が計算された。ただし、Ｎ乗根の計算は、最も高いピークの位置に影響を与えないため、通常は不要である。図９Ａは、網膜の別のＯｐｔｏｍａｐ画像を示しており、この画像では、視神経乳頭の位置は、まつげによって部分的に覆い隠されているため、検出するのがより困難になっている。図９Ｂ及び図９Ｃは、それぞれＮ＝１及びＮ＝８で前述の技術を使用して、図９ＡのＯｐｔｏｍａｐ画像を処理することによって取得された反応マップを示している。この場合、ピーク反応は、Ｎ＝８の場合は正しい位置にあるが、Ｎ＝１の場合は間違った位置にある。
【００４９】
累算器配列の数（Ｎ）は、２≦Ｎ≦３２であることが好ましく、４≦Ｎ≦１６であることがさらに好ましい。Ｎ＝１（第１の実施形態と同じ）である場合、この方法は、勾配の方向を量子化する必要がなく、複数の累算器配列を「ソフトＡＮＤ」によって結合する必要がないというように、簡略化される。ただし、この簡略化は、「信号対ノイズ比」が、例えばＮ＝８の場合と比較して１／２に低下するという代償を払ってもたらされる。一方、大きすぎるＮの値を使用すると、計算コストが増加し、すべてのピクセル位置でステップＳ８０で計算された積がゼロになることがあるため、視神経乳頭又はその他の解剖学的特徴の位置を確実に決定できなくなる場合がある。視神経乳頭の検出の場合は、Ｎ＝８が好ましい。血管接合部の検出の場合は、より小さいＮの値（例えば、３又は４）が使用されてもよい。
【００５０】
再び図７を参照すると、プロセスはステップＳ８０からステップＳ９０に進み、ステップＳ９０で、プロセッサ１２０は、累積値の計算された積が累積値の計算された積のうちの極大値又は全体的最大値になる、Ｎ個の累算器のセットに関連付けられた、受信された画像のピクセルの位置を使用して、Ｎ個の累算器のセットに関連付けられた網膜の画像内の視神経乳頭の中心位置を決定する。さらに一般的には、プロセッサ１２０は、累積値の計算された積が累積値の計算された積のうちの（局所的又は全体的）最大値を下回る値の既定の範囲（ゼロであってもよい）内にある、Ｎ個の累算器のセットに関連付けられた、受信された画像データのピクセルの位置を使用して、Ｎ個の累算器のセットに関連付けられた網膜の画像内の視神経乳頭の位置を決定してもよい。反応マップから決定された２つ以上の極大値の位置が、対象の解剖学的特徴の位置の決定に使用されてもよい。例えば、特定のしきい値を超えるすべての極大値を選択することによって、複数の極大値が選択されてもよい。目的が、複数の実例を含む対象の解剖学的特徴（血管接合部又は血管の交差など）を検出することである場合、又は極大値が、１つの実例を含む対象の特徴（視神経乳頭など）の候補として検討されていて、それらの候補からの選択が、さらなる処理の後まで延期されている場合は、複数の極大値が検出されるであろう。反応マップ内の既定の対象領域が、極大値の選択を制限するために使用されてもよい。例えば、対象領域は、検出対象の特徴が発生する可能性が非常に高いことが経験から知られている領域であることができる。
（変更及び変形）
【００５１】
前述の実施形態に対して、多くのさらなる変更及び変形が行われ得る。
【００５２】
例えば、図２〜６を参照して上で説明された第１の実施形態は、図１０に示されているように、前述したステップＳ４０の例示的な形態（図１０ではＳ４０’のラベルが付けられている）の後、及びステップＳ５２の前に、追加ステップ（つまり、追加ステップＳ１００）を含むように変更されてもよく、ステップＳ１００で、プロセッサ１２０は、選択されたピクセルｐｓｉｊの各ピクセルでの｜ｇｎ２（ｉ，ｊ）｜が第２の共通の既定の値Ｒ２を取るように、選択されたピクセルｐｓｉｊのピクセルごとに計算されたピクセル値勾配ベクトルｇを正規化することによって、選択されたピクセルｐｓｉｊのピクセルごとに第２の正規化されたピクセル値勾配ベクトルｇｎ２（ｉ，ｊ）を計算する。第１の実施形態は、やはり図１０に示されているように、インデックスｌの値ごとに実行される追加ステップＳ１２０を含むようにさらに変更されてもよく、ステップＳ１２０で、プロセッサ１２０は、ｌ番目の選択されたピクセルに関して、各値を、ｌ番目の選択されたピクセルでのピクセル値勾配ベクトルｇの方向と直角の方向に第２の既定の値Ｒ２だけｌ番目の選択されたピクセルからオフセットしている受信された画像データ内のピクセルに関連付けられた累算器に加算する。その他の点では、この変形は第１の実施形態と同じである。ステップＳ１２０での追加は、代替的に、第２の既定の値Ｒ２に関連付けられた第２の累算器層に対して行われてもよく、その場合、２つの累算器配列内の対応する要素が、要素ごとの加算などの何らかのハード又はソフトＯＲ演算によって、ステップＳ５４の後に結合される。
【００５３】
さらに一般的には、ステップＳ５２の前に、３つ以上の正規化されたピクセル値勾配ベクトルが計算されてもよく、各ピクセル値勾配ベクトルは、前述した好ましい｜ｇｎ（ｉ，ｊ）｜の範囲内の大きさを有することが好ましい。これらの場合、値は、１つの累算器配列に累積されても、又は対応する数の累算器配列に累積された後、前述した方法で結合されてもよい。プロセスにおいて２つ以上の計算されて正規化されたピクセル値勾配ベクトルを使用することによって、視神経乳頭などの対象の解剖学的特徴の位置を、より確実に決定できるようにしてもよい。
【００５４】
前述の変更は、前述の第２の実施形態に対して行われてもよい。
【００５５】
前述の実施形態のいずれかに対して行われるか、又はこれらの実施形態に対する前述の変更のいずれかと組み合わされてもよいその他の変更として、プロセッサ１２０が、受信され（及び、光学的に前処理され）た画像データの複数のピクセルｐｉｊの各ピクセルでの各ピクセル値勾配ベクトルｇ（ｉ，ｊ）を計算するように、ステップＳ３０でのピクセルの選択が省略されてもよい。この変形では、その後、プロセッサ１２０は、各ピクセルでの｜ｇｎ（ｉ，ｊ）｜が共通の既定の値Ｒを取るように、ピクセルｐｉｊごとに計算されたピクセル値勾配ベクトルを正規化することによって、複数のピクセルｐｉｊのピクセルごとにｇｎ（ｉ，ｊ）を計算する。プロセッサ１２０は、複数のピクセルｐｉｊのピクセルごとに、各値を、複数のピクセルのうちのピクセルでのｇ（ｉ，ｊ）の方向と直角の方向に既定の値Ｒだけ複数のピクセルｐｉｊのピクセルからオフセットしている受信された画像データのピクセルｐｏｉｊに関連付けられた累算器に加算し、累算器内の値を平滑化することによって、累算器配列に対して処理する。この変形では、プロセッサは、各値として、各重み付けを、ピクセルｐｏｉｊに関連付けられた累算器に加算してもよく、この重み付けは、複数のピクセルのうちのピクセルでのｇ（ｉ，ｊ）の大きさを示す。その後、プロセッサは、上で詳細に説明されたように、累算器内の累積値の極値から既定の範囲内にある累積値を累積した累算器に関連付けられた、受信された画像データのピクセルの位置を使用して、網膜の画像内の解剖学的特徴（例えば、視神経乳頭）の位置を決定する。この変形では、複数のピクセルの各ピクセルから累算器への寄与が存在するが、各ピクセルからのこの寄与のサイズは、このピクセルでのｇ（ｉ，ｊ）の大きさによって決まる。
【００５６】
さらに、前述した実施形態及び実施形態の変更における方法のステップの一部の順序は、変更されてもよい。例えば、図１０のステップＳ４０’及びＳ１００の順序、並びに同様にＳ５３及びＳ１２０の順序は、逆転されてもよく、又はこれらのステップは、並列に実行されてもよい。さらに、累算器配列Ａの初期化は、図４、５、及び１０に示されたプロセス内のステップＳ５３の前のプロセス内の任意の時点で、及び図７に示されたプロセス内のステップＳ７３の前の任意の時点で、実行されてもよい（当然、初期化はインデックスｌについてのループの外側にある）。
【図１】
2019515725.tif 000009
【図２】
2019515725.tif 000010
【図３Ａ】
2019515725.tif 000011
【図３Ｂ】
2019515725.tif 000012
【図３Ｃ】
2019515725.tif 000013
【図４】
2019515725.tif 000014
【図５】
2019515725.tif 000015
【図６】
2019515725.tif 000016
【図７】
2019515725.tif 000017
【図８Ａ】
2019515725.tif 000018
【図８Ｂ】
2019515725.tif 000019
【図８Ｃ】
2019515725.tif 000020
【図９Ａ】
2019515725.tif 000021
【図９Ｂ】
2019515725.tif 000022
【図９Ｃ】
2019515725.tif 000023
【図１０】
2019515725.tif 000024
【国際調査報告】
2019515725.tif 000025
2019515725.tif 000026