(57)【要約】  本発明の画像処理装置２０は、三次元画像データに対して平滑化処理を実行する平滑化手段と、所定の方向に連続する複数枚の断層画像を平滑化処理後の三次元画像データから生成し、複数枚の断層画像を重層して一枚の正面画像を生成する正面画像生成手段３６と、を備える。平滑化手段が、注目画素と、所定の方向に直交する平面上において注目画素の周囲に位置する複数の周辺画素とに対してガウスぼかし処理を実行して注目画素の輝度値を置き換える第１フィルタ手段３４と、所定の方向に連続する注目画素を中心とした所望の範囲の複数の対象画素に対して移動平均処理を実行して注目画素の輝度値を置き換える第２フィルタ手段３５と、を有する。
2019156139.tif 000002
【特許請求の範囲】
【請求項１】
三次元画像データに対して平滑化処理を実行する平滑化手段と、
所定の方向に連続する複数枚の断層画像を平滑化処理後の三次元画像データから生成し、前記複数枚の断層画像を重層して一枚の正面画像を生成する正面画像生成手段と、を備え、
前記平滑化手段が、
注目画素と、前記所定の方向に直交する平面上において前記注目画素の周囲に位置する複数の周辺画素とに対してガウスぼかし処理を実行して前記注目画素の輝度値を置き換える第１フィルタ手段と、
前記所定の方向に連続する前記注目画素を中心とした所望の範囲の複数の対象画素に対して移動平均処理を実行して前記注目画素の輝度値を置き換える第２フィルタ手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記正面画像生成手段が、前記複数枚の断層画像それぞれの同一の位置にある複数の画素から、輝度値の大きい順に所定の数の画素を選択し、選択した所定の数の画素の輝度値の平均値を前記正面画像の当該位置の輝度値とすることにより、前記正面画像を生成することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記平滑化処理前の三次元画像データに対してノイズ除去処理を実行するノイズ除去手段を更に備えることを特徴とする、請求項１又は２に記載の画像処理装置。
【請求項４】
三次元画像データに対して平滑化処理を実行する平滑化工程と、
所定の方向に連続する複数枚の断層画像を平滑化処理後の三次元画像データから生成し、前記複数枚の断層画像を重層して一枚の正面画像を生成する正面画像生成工程と、を備え、
前記平滑化工程において、
注目画素と、前記所定の方向に直交する平面上において前記注目画素の周囲に位置する複数の周辺画素とに対してガウスぼかし処理を実行して前記注目画素の輝度値を置き換え、
前記所定の方向に連続する前記注目画素を中心とした所望の範囲の複数の対象画素に対して移動平均処理を実行して前記注目画素の輝度値を置き換えることを特徴とする画像処理方法。
【請求項５】
前記正面画像生成工程において、前記複数枚の断層画像それぞれの同一の位置にある複数の画素から、輝度値の大きい順に所定の数の画素を選択し、選択した所定の数の画素の輝度値の平均値を前記正面画像の当該位置の輝度値とすることにより、前記正面画像を生成することを特徴とする、請求項４に記載の画像処理方法。
【請求項６】
前記平滑化処理前の三次元画像データに対してノイズ除去処理を実行するノイズ除去工程を更に備えることを特徴とする、請求項４又は５に記載の画像処理方法。
【請求項７】
コンピュータを請求項１〜３のいずれか１項に記載の画像処理装置として機能させるための、あるいはコンピュータに請求項４〜６のいずれか１項に記載の画像処理方法を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元画像データから生成した複数枚の断層画像を重層して一の正面画像を生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
眼科診断機の一つで、網膜の断層像を撮影するＯＣＴ（Optical Coherence Tomography）という断層像撮影装置がある。一般的なＯＣＴの撮影を行えば、得られる断層像は、例えば４０枚／秒の速度で撮影され、一度の検査（網膜中のある一部分での撮影）で１００枚以上画像が取得される。近年、網膜血管の形態を把握するために、このＯＣＴを用いた擬似的な血管造影法であるＯＣＴアンギオグラフィ（ＯＣＴＡ：Optical Coherence Tomography Angiography）と呼ばれる手法が知られている。【０００３】
ＯＣＴアンギオグラフィでは、非侵襲的に蛍光剤を使用せずに血管造影のような画像を作成することができる。具体的には、被検眼の眼底の同一箇所を連続で数枚撮影して数ｍｓの時間差のあるＢスキャン画像を取得し、この時間差のあるＢスキャン画像間の短時間変化を血流変化であると仮定することで、眼底の微小血管を描出した血管断層画像（モーションコントラスト画像）を生成するものである。時間差のある複数のＢスキャン画像群から一枚の血管断層画像が生成され、これを観察対象領域に対してＣスキャン方向（ｙ方向）にスキャン位置を変えながら繰り返すことにより、空間的に連続する複数枚の血管断層画像を得ることができる。これら連続する複数枚の血管画像から、網膜における血管形態を立体的に捉えることのできる一つの三次元データセットが構築される。すなわち、三次元データセットは被検眼の眼底の観察対象領域を立体的にモデル化したデータである。【０００４】
この三次元データセットから今度は深さ方向（ｚ方向）に連続する複数のｘｙ平面の断層画像として血管断層画像を生成する。そして、所望の範囲にある連続する複数枚のｘｙ平面の血管断層画像を重層することにより当該範囲の網膜血管が重畳表示された一枚の正面画像（Ｅｎｆａｃｅ画像）を生成し、各種診断に利用する。血流変化の抽出には、例えば特許文献１や非特許文献１に示すように、ＯＭＡＧ（Optical Microangiography）法や、ＳＳＡＤＡ（Split-spectrum Amplitude-decorrelation Angiography）法等、数種類の手法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２０１３−５１８６９５号公報
【非特許文献】
【０００６】
【非特許文献１】Anqi Zhang et al., “Methods and algorithms for optical coherence tomography-based angiography: a review and comparison”, Journal of Biomedical Optics, Vol. 20(10), 100901 (October 2015)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、診断用の正面画像を生成するに際し、領域内に塩粒ノイズ（スパイクノイズ）があると、血管と血管との隙間にノイズが紛れ込み、血管の抽出成績を低下させてしまうという問題がある。また、ノイズによる影響を低減するために単純に平均化して正面画像を生成しようとしても、平均化処理が背景の黒レベルを上昇させてしまうため、正面画像のコントラストが低下してしまい、診断に適する正面画像を容易に得ることができないという問題点があった。【０００８】
本発明は、このような点に鑑みてなされたものであり、診断に適した正面画像を生成することのできる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。特に、コントラストが改善され、血管の視認性が向上された正面画像を生成することのできる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、第一に本発明は、三次元画像データに対して平滑化処理を実行する平滑化手段と、所定の方向に連続する複数枚の断層画像を平滑化処理後の三次元画像データから生成し、前記複数枚の断層画像を重層して一枚の正面画像を生成する正面画像生成手段と、を備え、前記平滑化手段が、注目画素と、前記所定の方向に直交する平面上において前記注目画素の周囲に位置する複数の周辺画素とに対してガウスぼかし処理を実行して前記注目画素の輝度値を置き換える第１フィルタ手段と、前記所定の方向に連続する前記注目画素を中心とした所望の範囲の複数の対象画素に対して移動平均処理を実行して前記注目画素の輝度値を置き換える第２フィルタ手段と、を有することを特徴とする画像処理装置を提供する（発明１）。【００１０】
上記発明（発明１）によれば、正面画像の生成に用いる断層画像の平面方向についてはガウスぼかし処理、深さ方向については移動平均処理という二つの異なるフィルタリング処理を実行して三次元画像データを処理することにより、血管の接続性を損なうことなく、平滑性の向上や背景の黒レベルを低下させることが可能となり、また現実的な計算量、計算時間で、診断に適した３次元画像や正面画像を生成することができる。【００１１】
断層画像において、深さ方向は平面方向に比べて解像度が高いので、深さ方向については、隣の画素の値の影響を受けやすい移動平均処理を施しても微小な構造物のデータを消失させる危険性が少なく、結果として血管の接続性を損なうことなく、平滑性の向上や背景の黒レベルの低下を図ることが可能である。【００１２】
一方、平面方向について移動平均処理を施してしまうと、隣の画素の値により自分のデータ値が大きく影響されるのでコントラストが低下して、構造物のデータが消えてしまう、あるいは血管の接続性が悪くなることが懸念される。そこで、平面方向については、ガウスぼかし処理という周りの画素値より自己の画素値の重みを大きくする処理を採用することにより、微小な構造のデータが埋もれてしまうのを防ぐことができる。【００１３】
なお、ガウスぼかし処理は、移動平均処理に比べて非常に計算量が多く、処理に時間がかかるので、すべての方向についてガウスぼかし処理を施すのは、計算量・計算時間の観点から好ましくない。これらのことから、本発明は、平面方向についてはガウスぼかし処理、深さ方向については移動平均処理という二つの異なるフィルタリング処理を実行するにより、血管の接続性を損なうことなく、平滑性の向上や背景の黒レベルを低下させることが可能となり、また現実的な計算量、計算時間で、診断に適した３次元画像や正面画像を生成することができるように構成されている。【００１４】
上記発明（発明１）においては、前記正面画像生成手段が、前記複数枚の断層画像それぞれの同一の位置にある複数の画素から、輝度値の大きい順に所定の数の画素を選択し、選択した所定の数の画素の輝度値の平均値を前記正面画像の当該位置の輝度値とすることにより、前記正面画像を生成することが好ましい（発明２）。【００１５】
また、上記発明（１，２）においては、前記平滑化処理前の三次元画像データに対してノイズ除去処理を実行するノイズ除去手段を更に備えることが好ましい（発明３）。【００１６】
第二に本発明は、三次元画像データに対して平滑化処理を実行する平滑化工程と、所定の方向に連続する複数枚の断層画像を平滑化処理後の三次元画像データから生成し、前記複数枚の断層画像を重層して一枚の正面画像を生成する正面画像生成工程と、を備え、前記平滑化工程において、注目画素と、前記所定の方向に直交する平面上において前記注目画素の周囲に位置する複数の周辺画素とに対してガウスぼかし処理を実行して前記注目画素の輝度値を置き換え、前記所定の方向に連続する前記注目画素を中心とした所望の範囲の複数の対象画素に対して移動平均処理を実行して前記注目画素の輝度値を置き換えることを特徴とする画像処理方法を提供する（発明４）。【００１７】
上記発明（発明４）によれば、正面画像の生成に用いる断層画像の平面方向についてはガウスぼかし処理、深さ方向については移動平均処理という二つの異なるフィルタリング処理を実行して三次元画像データを処理することにより、血管の接続性を損なうことなく、平滑性の向上や背景の黒レベルを低下させることが可能となり、また現実的な計算量、計算時間で、診断に適した３次元画像や正面画像を生成することができる。【００１８】
断層画像において、深さ方向は平面方向に比べて解像度が高いので、深さ方向については、隣の画素の値の影響を受けやすい移動平均処理を施しても微小な構造物のデータを消失させる危険性が少なく、結果として血管の接続性を損なうことなく、平滑性の向上や背景の黒レベルの低下を図ることが可能である。【００１９】
一方、平面方向について移動平均処理を施してしまうと、隣の画素の値により自分のデータ値が大きく影響されるのでコントラストが低下して、構造物のデータが消えてしまう、あるいは血管の接続性が悪くなることが懸念される。そこで、平面方向については、ガウスぼかし処理という周りの画素値より自己の画素値の重みを大きくする処理を採用することにより、微小な構造のデータが埋もれてしまうのを防ぐことができる。【００２０】
なお、ガウスぼかし処理は、移動平均処理に比べて非常に計算量が多く、処理に時間がかかるので、すべての方向についてガウスぼかし処理を施すのは、計算量・計算時間の観点から好ましくない。これらのことから、本発明は、平面方向についてはガウスぼかし処理、深さ方向については移動平均処理という二つの異なるフィルタリング処理を実行するにより、血管の接続性を損なうことなく、平滑性の向上や背景の黒レベルを低下させることが可能となり、また現実的な計算量、計算時間で、診断に適した３次元画像や正面画像を生成することができるように構成されている。【００２１】
上記発明（発明４）においては、前記正面画像生成工程において、前記複数枚の断層画像それぞれの同一の位置にある複数の画素から、輝度値の大きい順に所定の数の画素を選択し、選択した所定の数の画素の輝度値の平均値を前記正面画像の当該位置の輝度値とすることにより、前記正面画像を生成することを特徴とする、請求項４に記載の画像処理方法が好ましい（発明５）。【００２２】
また、上記発明（発明４，５）においては、前記平滑化処理前の三次元画像データに対してノイズ除去処理を実行するノイズ除去工程を更に備えることが好ましい（発明６）。【００２３】
第三に本発明は、コンピュータを発明１〜３のいずれか１つに係る画像処理装置として機能させるための、あるいはコンピュータに発明４〜６のいずれか１つに係る画像処理方法を実行させるための画像処理プログラムを提供する（発明７）。
【発明の効果】
【００２４】
本発明の画像処理装置、画像処理方法及び画像処理プログラムによれば、診断に適した正面画像を生成することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係る画像処理装置の全体構成を示すブロック図である。
【図２】眼底をスキャンすることにより眼底断層画像を取得する状態を示す説明図である。
【図３】眼底の同一箇所の眼底断層画像を時間差で複数枚取得し、血管断層画像を生成する状態を示す説明図である。
【図４ａ】本実施形態における、画像処理全体の流れを示すフロー図である。
【図４ｂ】本実施形態における、ノイズ除去処理の流れを示すフロー図である。
【図４ｃ】本実施形態における、平滑化処理の流れを示すフロー図である。
【図５】本実施形態に係る画像処理装置によるノイズ除去処理における着目画素と隣接画素の関係を模式的に示す説明図（その１）である。
【図６】本実施形態に係る画像処理装置によるノイズ除去処理における着目画素と隣接画素の関係を模式的に示す説明図（その２）である。
【図７】（ａ）は本実施形態に係る画像処理装置による平滑化処理における注目画素と周辺画素との関係を模式的に示す説明図であり、（ｂ）は注目画素と対象画素との関係を模式的に示す説明図である。
【図８】本実施形態に係る画像処理装置によって正面画像を生成する様子を模式的に示す説明図（その１）である。
【図９】本実施形態に係る画像処理装置によって正面画像を生成する様子を模式的に示す説明図（その２）である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態を図面に基づいて詳細に説明する。ここでは、断層像撮影装置（ＯＣＴ）により被検眼の眼底Ｅの断層画像を取得し、得られた断層画像からＯＣＴアンギオグラフィにより眼底における血管形態を立体的に捉えることのできる一つの三次元画像データを構築し、この三次元画像データに対して画像処理を施して、深さ方向に血管が重畳表示された一枚の正面画像を生成する。画像処理の結果、コントラストが改善され、血管の視認性が向上された、診断に適した正面画像が生成される。なお、本発明における画像処理の対象となる画像は眼底における血管形態を立体的に捉えることのできる三次元画像データに限定されるものでなく、他の種類の装置で他の対象を撮影して構築された三次元画像データにも適用することができる。
【００２７】
図１は、被検眼眼底の断層画像を取得して画像処理するシステム全体を示すブロック図である。断層像撮影装置１０は、被検眼の眼底の断層像を撮影する装置（ＯＣＴ：Optical Coherence Tomography）であり、例えばフーリエドメイン方式で動作する。断層像撮影装置１０は公知であるので、その詳細な説明は省略するが、断層像撮影装置１０には、低コヒーレンス光源が設けられ、低コヒーレンス光源からの光が参照光と信号光に分割される。信号光は、図２に図示したように、眼底Ｅ上で、例えばｘ、ｙ方向にラスタースキャンされる。眼底Ｅで走査され反射された信号光は、参照ミラーで反射した参照光と重畳され干渉光を発生し、該干渉光に基づいて眼底の深度方向（ｚ方向）の情報を示すＯＣＴ信号が発生する。
【００２８】
画像処理装置２０は、ＣＰＵ、ＲＡＭ、ＲＯＭなどで構成されたコンピュータで実現される制御部２１を有し、制御部２１は画像処理プログラムを実行することにより全体の画像処理を制御する。また、画像処理装置２０には、断層画像形成部２２、記憶部２３、血管断層画像形成部２４、三次元データ構築部２５、表示部２６及び操作部２７が設けられる。
【００２９】
断層画像形成部２２は、フーリエドメイン方式などの公知の解析方法を実行する専用の電子回路、または、前述のＣＰＵが実行する画像処理プログラムにより実現され、断層像撮影装置１０で生成されたＯＣＴ信号に基づいて、被検眼眼底の断層画像を形成する。
【００３０】
例えば、図２に示すように、眼底Ｅがｙ方向にｙＮ（Ｎ＝１、２、・・・・・、ｔ）の位置で、ｘ方向にスキャンされた場合、当該スキャン時に複数回（ｍ回）サンプリングが行われる。このｘ方向の各サンプリング時点でそれぞれｚ方向の断層画像（Ａスキャン画像）Ａｈ（ｈ＝１、２、・・・・・、ｍ）が取得され、これらｍ個のＡスキャン画像Ａｈから断層画像ＢＮ（Ｎ＝１、２、・・・・・、ｔ）が形成される。Ａスキャン画像は、例えば、ｘ方向に１画素幅、ｚ方向にｎ画素の長さで格納されるので、断層画像ＢＮはｍ×ｎ画素の大きさをもつ画像（ｘ方向にｍ画素の長さ、ｚ方向にｎ画素の長さ）となり、Ｂスキャン画像とも呼ばれる。
【００３１】
Ｂスキャン画像の形成をｙＮ（Ｎ＝１、２、・・・・・、ｔ）の位置それぞれにおいて数ｍｓの時間差で連続して数回（例えばｉ回）行うと、同一箇所毎にｉ枚の数ｍｓの時間差のあるＢスキャン画像ＢＮＩ（Ｎ＝１、２、・・・・・、ｔ）（Ｉ＝１、２、・・・・・、ｉ）が形成される。断層画像形成部２２で形成されたｔ×ｉ枚のＢスキャン画像ＢＮＩは、例えば半導体メモリ、ハードディスク装置等により構成された記憶部２３に格納される。記憶部２３はさらに上述した画像処理プログラムなども格納する。
【００３２】
血管断層画像形成部２４は、ＯＭＡＧ法やＳＳＡＤＡ法などの公知の血流変化を抽出するための方法を実行する専用の電子回路、または、前述のＣＰＵが実行する画像処理プログラムにより実現され、断層画像形成部２２で形成された被検眼の眼底の同一箇所に対する数ｍｓの時間差のある複数の断層画像（Ｂスキャン画像ＢＮＩ）に基づいて、当該位置における眼底の微小血管を描出した血管断層画像ＦＮ（Ｎ＝１、２、・・・・・、ｔ）を形成する。
【００３３】
例えば、図３に示すように、ｙＮ−１の位置における数ｍｓの時間差のあるｉ枚のＢスキャン画像Ｂ（Ｎ−１）Ｉ（Ｉ＝１、２、・・・・・、ｉ）から血管断層画像ＦＴ−１が、ｙＮの位置における数ｍｓの時間差のあるｉ枚のＢスキャン画像ＢＮＩ（Ｉ＝１、２、・・・・・、ｉ）からは血管断層画像ＦＮが、ｙＮ＋１の位置における数ｍｓの時間差のあるｉ枚のＢスキャン画像Ｂ（Ｎ＋１）Ｉ（Ｉ＝１、２、・・・・・、ｉ）からは血管断層画像ＦＮ＋１が、血管断層画像形成部２４によりそれぞれ形成される。このようにしてｙＮ（Ｎ＝１、２、・・・・・、ｔ）の位置それぞれにおけるｔ枚の血管断層画像ＦＮ（Ｎ＝１、２、・・・・・、ｔ）が形成され、記憶部２３に格納される。
【００３４】
三次元データ構築部２５は、図３に示すように、血管断層画像形成部２４により形成された空間的に連続するｔ枚の血管断層画像ＦＮから、網膜における血管形態を立体的に捉えることのできる一つの三次元画像データＧを構築し、記憶部２３に格納する。三次元画像データＧは、網膜における血管形態を立体的に捉えることができるように被検眼の眼底の観察対象領域を立体的にモデル化したデータである。
【００３５】
画像処理装置２０には、画像処理部３０が設けられる。画像処理部３０は、ノイズ除去手段としての算出手段３１、計数手段３２及び置換手段３３、平滑化手段としての第１フィルタ手段３４及び第２フィルタ手段３５、それに正面画像生成手段３６を備えており、三次元画像データＧに対して各種画像処理を実行する。
【００３６】
後述するように、算出手段３１、計数手段３２及び置換手段３３は、三次元データ構築部２５で構築され、記憶部２３に格納された三次元画像データＧに対してノイズ除去処理を実行するものであり、算出手段３１は、処理対象となる画像中の注目画素の輝度値と、当該注目画素の周囲に位置する複数の隣接画素それぞれの輝度値との差分値をそれぞれ算出し、計数手段３２は、算出された差分値が所定の閾値（輝度差閾値）以下である隣接画素の数を非該当隣接画素数としてカウントし、置換手段３３は、非該当隣接画素数が所定数（非該当許容数）以下である場合には、複数の隣接画素の輝度値の平均値をもって注目画素の輝度値を置き換える。
【００３７】
第１フィルタ手段３４及び第２フィルタ手段３５は、ノイズ除去処理後の三次元画像データＧ１に対して平滑化処理を実行するものであり、第１フィルタ手段３４は、処理対象となる三次元画像データＧ１中の着目画素と、所定の方向（深さ方向）に直交する平面上において着目画素の周囲に位置する複数の周辺画素とに対してガウスぼかし処理を実行して着目画素の輝度値を置き換え、第２フィルタ手段３５は、所定の方向（深さ方向）に連続する着目画素を中心とした所望の範囲の複数の対象画素に対して移動平均処理を実行して着目画素の輝度値を置き換える。
【００３８】
また、正面画像生成手段３６は、平滑化処理後の三次元画像データＧ２から所定の方向（深さ方向）に連続する複数枚の断層画像を生成し、当該複数枚の断層画像を重層して一枚の正面画像を生成するものであり、複数枚の断層画像それぞれの同一の位置にある複数の画素から、輝度値の大きい順に所定の数の画素を選択し、選択した所定の数の画素の輝度値の平均値を正面画像の当該位置の輝度値とすることにより、正面画像を生成する。画像処理部３０における各手段あるいは各画像処理は、専用の電子回路を用いることにより、あるいは画像処理プログラムを実行することに実現される。
【００３９】
表示部２６は、例えば、ＬＣＤなどのディスプレイ装置によって構成され、記憶部２３に格納された各種画像、画像処理装置２０で生成あるいは処理された各種画像、被験者に関する情報などの付随する情報などを表示する。
【００４０】
操作部２７は、例えば、マウスやキーボード、操作ペン、ポインター、操作パネル等を有し、表示部２６に表示された画像の選択、あるいは操作者が画像処理装置２０などに指示を与えるために用いられる。
【００４１】
続いて、三次元画像データに対して画像処理部３０による各種画像処理を実行する流れを、図４のフロー図を参照しながら説明する。なお、図４（ａ）中のＳ１００〜Ｓ４００が以下に述べる流れの説明におけるステップ１００〜４００に相当し、図４（ｂ）中のＳ１０１〜Ｓ１０７はステップ１０１〜１０７に、図４（ｃ）中のＳ２０１〜Ｓ２０５はステップ２０１〜２０５に相当する。
【００４２】
本実施形態においては、まず、構築された三次元画像データＧからノイズを除去する画像処理を行う（ステップ１００）。三次元画像データＧは空間的に連続するｔ枚の血管断層画像ＦＮ（Ｎ＝１、２、・・・・・、ｔ）の集合であり、この血管断層画像ＦＮのうちの一枚を処理対象画像ＦＴとし、その前後の血管断層画像ＦＴ−１及び血管断層画像ＦＴ＋１も併せて用いてノイズ除去処理を行う。処理対象画像ＦＴは、図５の（ｂ）に示すように、ｍ×ｎ画素の大きさをもつ画像であり、血管断層画像ＦＴ−１及び血管断層画像ＦＴ＋１は、処理対象画像ＦＴに連続する断層画像であり、処理対象画像ＦＴと同様にｍ×ｎ画素の大きさをもつ画像である。血管断層画像ＦＴ−１、処理対象画像ＦＴ及び血管断層画像ＦＴ＋１はいずれも記憶部２３に格納されている。
【００４３】
まず算出手段３１は、図５に示すように、この処理対象画像ＦＴにおいて注目する画素を注目画素Ｑとして一つ設定し、当該処理対象画像ＦＴ及びその前後の断層画像ＦＴ−１及び断層画像ＦＴ＋１において空間的に注目画素の周囲に位置する合計２６個の画素を隣接画素ｑｉ（ｉ＝１〜２６）として設定する（ステップ１０１）。すなわち、隣接画素ｑｉは、処理対象画像ＦＴにおいて注目画素Ｑの上下左右に位置する画素及び注目画素の四隅に接するように位置する画素の合計８個の画素に加え、血管断層画像ＦＴ−１及び血管断層画像ＦＴ＋１を処理対象画像ＦＴに並べたときに空間的に注目画素Ｑの周囲に位置することとなる合計１８個の画素を含めた合計２６個の画素である。図５に、処理対象画像ＦＴの左から４列目、上から３行目に設定された注目画素Ｑと、当該処理対象画像ＦＴ及びその前後の血管断層画像ＦＴ−１及び血管断層画像ＦＴ＋１において空間的に注目画素Ｑの周囲に位置する２６個の隣接画素ｑｉの関係を示す。また、処理対象画像ＦＴ及びその前後の血管断層画像ＦＴ−１及び血管断層画像ＦＴ＋１を並べた状態から注目画素Ｑと隣接画素ｑｉだけを切り出した状態を図６に示す。
【００４４】
なお、処理対象画像ＦＴにおいて注目画素Ｑを端部に設定する場合には必ずしも隣接画素が２６個設定されるわけではなく、注目画素Ｑが処理対象画像ＦＴにおいて端部に設定される場合、隣接画素はその注目画素の位置に合わせて適宜２６個以内で設定されてよい。例えば注目画素が処理対象画像ＦＴの左から１列目、上から３行目に設定された場合には、注目画素Ｑの上、下、右、右斜め上、右斜め下に位置する５個の画素と、連続する前後の血管断層画像において注目画素Ｑ及び当該５個の画素に隣り合うように位置する１２個の画素を併せた１７個の画素が隣接画素として設定されてもよい。また、前後に連続する血管断層画像が存在しない場合も隣接画素はその注目画素の位置に合わせて適宜２６個以内で設定されてよい。さらに、処理する三次元画像データの種類やノイズ除去の目的等に応じて隣接画素の設定の方法を適宜変更してもよい。
【００４５】
また、処理する画像の種類やノイズ除去の目的等に応じて、血管断層画像ＦＴ−１及び血管断層画像ＦＴ＋１のさらに前後に連続する血管断層画像ＦＴ−２及び血管断層画像ＦＴ＋２までをも隣接画素の設定対象として利用し、隣接画素の設定を３×３の範囲までではなく、５×５の範囲にまで拡張して設定するようにしてもよいし、注目画素の上下左右に位置する４個の画素（例えば、図５におけるｑ２、ｑ４、q５、ｑ７の４個の画素）と連続する前後の血管断層画像において注目画素に隣り合うように位置する２個の画素（例えば、図５におけるq１３、ｑ２２の２個の画素）を併せた６個の画素を隣接画素として設定する等、隣接画素の設定の方法を適宜変更してもよい。
【００４６】
続いて算出手段３１は、注目画素Ｑの輝度値Ｄと、２６個の隣接画素ｑｉの輝度値ｄｉ（ｉ＝１〜２６）を処理対象画像ＦＴ、血管断層画像ＦＴ−１及び血管断層画像ＦＴ＋１の原画像データから取得する（ステップ１０２）。
【００４７】
注目画素Ｑの輝度値Ｄ及び隣接画素ｑｉの輝度値ｄｉを取得した後、算出手段３１は、注目画素Ｑの輝度値Ｄから各隣接画素ｑｉの輝度値ｄｉを差し引いた第１差分値を、２６個の隣接画素ｑｉのそれぞれについて算出する（ステップ１０３ａ）。この第１差分値は隣接画素の数だけ算出され、注目画素Ｑが白色点ノイズであるかどうかを推定するために用いられる。
【００４８】
続いて注目画素Ｑの白色点判定を行う。具体的には、計数手段３２が、算出された第１差分値が、あらかじめ記憶部２３に保存しておいた第１輝度差閾値ＰＫＴ以下であるかどうかを比較し、第１輝度差閾値ＰＫＴ以下であった隣接画素の数を第１非該当隣接画素数としてカウントする（ステップ１０４ａ）。すなわち、条件式：注目画素Ｑの輝度値Ｄ−隣接画素ｑｉの輝度値ｄｉ≦ＰＫＴを満たす隣接画素の数が第１非該当隣接画素数となる。
【００４９】
第１非該当隣接画素数をカウントした後、置換手段３３が、その第１非該当隣接画素数があらかじめ記憶部２３に保存しておいた第１非該当許容数ＰＦＴ以下であるかどうかを判定する（ステップ１０５ａ）。第１非該当隣接画素数が第１非該当許容数ＰＦＴ以下であれば、注目画素Ｑは白色点ノイズであると判断される。
【００５０】
一方、第１非該当隣接画素数が第１非該当許容数ＰＦＴ以下でなければ、算出手段３１は、各隣接画素ｑｉの輝度値ｄｉから注目画素Ｑの輝度値Ｄを差し引いた第２差分値を、２６個の隣接画素ｑｉのそれぞれについて算出する（ステップ１０３ｂ）。この第２差分値も第１差分値同様に隣接画素の数だけ算出され、注目画素Ｑが黒色点ノイズであるかどうかを推定するために用いられる。
【００５１】
続いて注目画素Ｑの黒色点判定を行う。具体的には、計数手段３２が、算出された第２差分値が、あらかじめ記憶部２３に保存しておいた第２輝度差閾値ＨＬＴ以下であるかどうかを比較し、第２輝度差閾値ＨＬＴ以下であった隣接画素の数を第２非該当隣接画素数としてカウントする（ステップ１０４ｂ）。すなわち、条件式：隣接画素ｑｉの輝度値ｄｉ−注目画素Ｑの輝度値Ｄ≦ＨＬＴを満たす隣接画素の数が第２非該当隣接画素数となる。
【００５２】
第２非該当隣接画素数をカウントした後、置換手段３３が、その第２非該当隣接画素数があらかじめ記憶部２３に保存しておいた第２非該当許容数ＨＦＴ以下であるかどうかを判定する（ステップ１０５ｂ）。第２非該当隣接画素数が第２非該当許容数ＨＦＴ以下であれば、注目画素Ｑは黒色点ノイズであると判断される。
【００５３】
ステップ１０５ａ及び１０５ｂの判定の結果、注目画素Ｑが白色点ノイズであると判断された場合（第１非該当隣接画素数が第１非該当許容数ＰＦＴ以下である場合）及び注目画素Ｑが黒色点ノイズであると判断された場合（第２非該当隣接画素数が第２非該当許容数ＨＦＴ以下である場合）、置換手段３３は、各隣接画素ｑｉの輝度値ｄｉの平均値を算出する（ステップ１０６）。そして、算出した平均値をもって注目画素Ｑの輝度値を置き換えた画像を生成し（ステップ１０７）、記憶部２３に保存する。ステップ１０５ａの判定の結果、第１非該当隣接画素数が第１非該当許容数ＰＦＴ以下ではなく、かつステップ１０５ｂの判定の結果、第２非該当隣接画素数が第２非該当許容数ＨＦＴ以下ではない場合、注目画素Ｑの輝度値は平均値に置き換えることなく、そのままとする。
【００５４】
上述の処理を、処理対象画像ＦＴにおいて、例えば左上端の画素から順に全ての画素を注目画素として設定しながら繰り返し、最終的に処理対象画像ＦＴの全体においてノイズ除去処理を行った画像が生成される。三次元画像データを構成するｔ枚の血管断層画像ＦＮに対して上述のノイズ除去処理が実行されると、ノイズ除去処理後の三次元画像データＧ１が記憶部２３に格納される。なお、必ずしも全ての血管断層画像を処理対象とする必要はなく、処理する三次元画像データの種類やノイズ除去の目的等に応じて任意の数の血管断層画像を選択することもできる。
【００５５】
このように本実施形態におけるノイズ除去処理は、処理対象となる画像中の注目する画素と、その周囲に位置する隣接画素とを比較して、注目画素の輝度値が隣接画素よりも所定の値以上に明るい場合、あるいは暗い場合には隣接画素の平均値と置き換えるものである。置き換えに用いる隣接画素と注目画素の輝度の差を大きくする、すなわち上述した第１輝度差閾値及び第２輝度差閾値を大きく設定すれば置き換えられる注目画素の数は減り、逆に小さく設定すれば置き換えられる注目画素の数が増加する。
【００５６】
一方、置き換えの判定において、注目画素が全ての隣接画素よりも所定値以上に明るいかどうか、あるいは、注目画素が全ての隣接画素よりも所定値以上に暗いかどうかという、最も厳格な判定式を用いることもできる。この場合、上述の第１非該当許容数や第２非該当許容数を０とすることにより、注目画素が全ての隣接画素よりも所定値以上に明るい、あるいは、注目画素が全ての隣接画素よりも所定値以上に暗い場合にのみ、注目画素の輝度値を隣接画素の輝度値の平均値で置き換えるという処理を行うことになる。第１非該当許容数や第２非該当許容数を小さくするほど平均値に置換される注目画素の個数は減り、第１非該当許容数や第２非該当許容数を増やすにしたがって置換される注目画素の数が増加する。
【００５７】
第１輝度差閾値及び第２輝度差閾値は同じ値を用いてもよいし、個別に異なる数値を設定してもよい。また、第１非該当許容数及び第２非該当許容数も同じ値を用いてもよいし、個別に異なる数値を設定してもよい。これらのあらかじめ記憶部２３に保存しておく条件値は、画像の質や抽出したい構造物の性状（形、明るさ、大きさ等）によって最適な値をあらかじめ検討しておいて適用させることができる。
【００５８】
特に、白色点ノイズが血管と血管の隙間に紛れ込むと血管の抽出結果を低下させてしまうが、上述のノイズ除去処理を行うことにより、注目画素がその周辺に明るい画素を持たない独立した高輝度画素の場合は注目画素が白色点ノイズ画素であると判断して隣接画素の平均値と置換することができる。なお、第１非該当許容数を大きくすれば、周辺に高輝度の画素が数個あっても注目画素を白色点ノイズ画素であると判断して隣接がその平均値と置換することができるため、ノイズ除去効果を高めることができ、背景の黒レベルを向上させることができるが、その一方で微小血管が抽出されにくくなる。
【００５９】
上述のノイズ除去処理では白色点ノイズ及び黒色点ノイズの両方を除去しているが、必ずしも両方を除去する必要はなく、処理する三次元画像データの種類やノイズ除去の目的等に応じて、白色点ノイズ及び黒色点ノイズのどちらか一方を除去するようにしてもよい。
【００６０】
次にノイズ除去処理後の三次元画像データＧ１を平滑化する画像処理を行う（ステップ２００）。まず第１フィルタ手段３４は、図７（ａ）に示すように、三次元画像データＧ１中において着目する画素を着目画素Ｐとして一つ設定し（ステップ２０１）、着目画素Ｐの存するＸＹ平面上において着目画素Ｐの周囲に位置する合計８個の画素を周辺画素ｐｉ（ｉ＝１〜８）として設定する（ステップ２０２）。なお、図７（ａ）及び（ｂ）は、三次元画像データＧ１から一部分を切り出して、ｘ方向に３画素、ｙ方向に３画素、ｚ方向に５画素の合計４５画素分だけを模式化して表示している。
【００６１】
続いて第１フィルタ手段３４は、着目画素Ｐ及び８個の周辺画素ｐｉの合計９個を対象にガウスぼかし処理を実行し、着目画素Ｐの輝度値を置き換える（ステップ２０３）。ガウスぼかし処理は、注目画素からの距離に応じて近傍の画素値に重みをかけて画素値の平均をとるフィルタリング処理である。具体的には、着目画素Ｐ及び８個の周辺画素ｐｉの輝度値ｅｉ（ｉ＝１〜８）を原画像データから取得し、着目画素Ｐに近いほど重みを大きくし、着目画素Ｐから遠くなるほど重みを小さくなるように、下記の数式１に示すようなガウス分布関数を用いて着目画素Ｐ及び８個の周辺画素ｐｉの輝度値に重み付けをして平均し、着目画素Ｐの輝度値とする。
【００６２】
【数１】
2019156139.tif 000003
【００６３】
例えば、着目画素Ｐ及び８個の周辺画素ｐｉの合計９個を対象にする場合、重み付けに用いるカーネルＫとして次の数式２を用いることができる。
【００６４】
【数２】
2019156139.tif 000004
【００６５】
上述のカーネルＫを用いて周辺画素ｐｉのそれぞれの位置に対応するレートで重み付けをすると、例えば図７に示す周辺画素ｐ１、ｐ３、ｐ６、ｐ８の輝度値ｅ１、ｅ３、ｅ６、ｅ８は１／５０の重みを、周辺画素ｐ２、ｐ４、ｐ５、ｐ７の輝度値ｅ２、ｅ４、ｅ５、ｅ７は６／５０の重みを、着目画素Ｐの輝度値には２２／５０の重みを付けて平均値を算出し、この平均値を着目画素Ｐの輝度値とする。
【００６６】
続いて第２フィルタ手段３５は、Ｚ方向に連続する着目画素Ｐを中心とした５個の画素、すなわち図７に示す着目画素Ｐ及び画素Ｃｉ（ｉ＝１〜４）を対象画素として設定し（ステップ２０４）、着目画素Ｐ及び画素Ｃｉ（ｉ＝１〜４）を対象に移動平均処理を実行し、着目画素Ｐの輝度値を置き換える（ステップ２０５）。具体的には、着目画素Ｐ及び画素Ｃｉ（ｉ＝１〜４）の輝度値を原画像データから取得し、この取得した輝度値を単純に平均し、着目画素Ｐの輝度値とする。
【００６７】
上述の処理を、三次元画像データＧ１において、順に全ての画素を着目画素として設定しながら繰り返し、最終的に三次元画像データＧ１の全体において平滑化処理を行った三次元画像データＧ２が生成され、記憶部２３に格納される。なお、必ずしも三次元画像データＧ１の全ての画素を着目画素として設定し、平滑化処理をする必要はなく、処理する三次元画像データの種類や平滑化の目的等に応じて平滑化処理の対象範囲を任意に設定することもできる。
【００６８】
このように、三次元画像データＧ１の平面方向（ｘｙ方向）についてはガウスぼかし処理、深さ方向（ｚ方向）については移動平均処理という二つの異なるフィルタリング処理を実行して三次元画像データＧ１を処理することにより、診断に適した３次元画像や正面画像を生成することができる。
【００６９】
断層画像において、深さ方向は平面方向に比べて解像度が高いので、深さ方向について移動平均処理を施しても血管の接続性を損なうことなく、平滑性の向上や背景の黒レベルを低下させることが可能である。一方、平面方向について移動平均処理を施してしまうと、コントラストが低下して血管の接続性が悪くなるため、平面方向については、ガウスぼかし処理を採用することにより、微小な構造のデータが埋もれてしまうのを防ぐことが可能となる。
【００７０】
なお、ガウスぼかし処理は移動平均処理に比べて、非常に計算量が多く時間がかかるので、すべての方向についてガウスぼかし処理を施すのは計算量・計算時間の観点から好ましくない。そこで、後述するように深さ方向（ｚ方向）に連続するｊ枚のｘｙ平面断層画像ＨＬ（Ｌ＝１、２、・・・・・、ｊ）を平滑化処理後の三次元画像データＧ２から生成し、当該ｊ枚のｘｙ平面断層画像ＨＬを重層して一枚の正面画像Ｅを生成する際に、平面方向についてはガウスぼかし処理、深さ方向については移動平均処理という二つの異なるフィルタリング処理を実行することにより、血管の接続性を損なうことなく、平滑性の向上や背景の黒レベルを低下させることが可能となり、また現実的な計算量、計算時間で、診断に適した３次元画像や正面画像を生成することができる。特に、本実施形態のように、ノイズ除去処理を行った後の三次元画像データに対して平滑化処理を行ってから正面画像を生成すると、コントラストの改善された極めて血管視認性のよい正面画像を得ることができる。
【００７１】
なお、三次元画像データＧ１において着目画素Ｐを端部に設定する場合には必ずしも周辺画素が８個設定されるわけではなく、着目画素Ｐが三次元画像データＧ１において端部に設定される場合、周辺画素はその着目画素の位置に合わせて適宜８個以内で設定されてもよい。
【００７２】
また、第１フィルタ手段３４によるガウスぼかし処理で用いるカーネルは、必ずしも３×３の範囲における上述のレートの組み合わせである必要はなく、処理する三次元画像データの種類や平滑化の目的等に応じて、例えば５×５の範囲における異なるレートの組み合わせのカーネルを用いてもよい。仮に５×５の範囲におけるカーネルを用いてガウスぼかし処理をする場合には、着目画素の存するｘｙ平面上において着目画素の周囲に位置する合計２４個の画素を周辺画素として設定することとなる。
【００７３】
さらに、第２フィルタ手段３５による移動平均処理の対象とする対象画素数は、必ずしも５個である必要はなく、着目画素を中心とした範囲の画素を対象画素とする限りにおいては、処理する三次元画像データの種類や平滑化の目的等に応じて、例えば３個、５個、７個等の所望の個数の対象画素数であってもよい。
【００７４】
次に、平滑化処理後の三次元画像データＧ２から正面画像Ｅを生成する処理を説明する。正面画像生成手段３６は、平滑化処理後の三次元画像データＧ２からｚ方向に連続するｊ枚のｘｙ平面断層画像ＨＬ（Ｌ＝１、２、・・・・・、ｊ）を生成する（ステップ３００）。なお、ｘｙ平面断層画像ＨＬは必ずしも三次元画像データＧ２の全体を対象として生成される必要はなく、診断対象として観察したい部分を三次元画像データＧ２中に任意に設定し、当該部分のみを対象にして複数枚のｘｙ平面断層画像ＨＬを生成することができる。
【００７５】
続いて、図８に示すように、ｊ枚のｘｙ平面断層画像ＨＬを重層して一枚の正面画像Ｅを生成する（ステップ４００）。このとき、単純にｊ枚のｘｙ平面断層画像ＨＬそれぞれの同一の位置にある複数の画素（図８においてマークされている画素）の輝度値のうち、最大の輝度値を選択して正面画像Ｅの当該位置の輝度値としてもよいが、本実施形態では、ｊ枚のｘｙ平面断層画像ＨＬそれぞれの同一の位置にある複数の画素から、輝度値の大きい順に所定の数の画素を選択し、選択した所定の数の画素の輝度値の平均値を正面画像Ｅの当該位置の輝度値とすることにより、正面画像Ｅを生成する。この処理を模式化した様子を図９に示す。
【００７６】
図９には、選択した所定の数の画素の輝度値の平均値を正面画像Ｅの当該位置の輝度値とする処理が模式化して示されており、（ａ）は当該位置に太い血管がある場合、（ｂ）は当該位置に細い血管がある場合、（ｃ）は当該位置にノイズ輝点がある場合を示している。例えばｘｙ平面断層画像ＨＬが１２枚ある場合、同一の位置にある１２個の画素をそのまま一列に並べた状態が図９の（ａ）、（ｂ）、（ｃ）のそれぞれの左側に示されている。これらを輝度値の大きい順に並び替えたものが図９の（ａ）、（ｂ）、（ｃ）のそれぞれの右側に示されているものである。このように並び替えた１２個の画素のうち輝度値の大きい順に上から５個の画素を選択し、これら選択した５個の画素の輝度値の平均値を正面画像Ｅの当該位置の輝度値とすることにより、正面画像Ｅを生成する。
【００７７】
上述のように、ｊ枚のｘｙ平面断層画像ＨＬを重層して一枚の正面画像Ｅを生成するとき、単純に同一位置における複数の画素の画素値のうち最大の輝度値を正面画像Ｅの当該位置の輝度値とせず、輝度値の大きい順に所定の数の画素を選択し、選択した所定の数の画素の輝度値の平均値を正面画像Ｅの当該位置の輝度値とすれば、例えば図９（ａ）に示すように当該位置に太い血管があれば、それが反映されて正面画像Ｅの当該位置の輝度値は大きくなり、正面画像Ｅにおいてはっきりと血管が視認できるようになる。また図９（ｂ）に示すように、当該位置に細い血管があれば、それが反映されて正面画像Ｅの当該位置の輝度値が算出され、正面画像Ｅにおいても微小血管の輝度レベルを維持することができ、図９（ｃ）に示すように、当該位置にノイズ輝点があっても、その他の選択された画素の輝度値が小さければ、平均することで正面画像Ｅの当該位置の輝度値は小さくなり、正面画像Ｅにおけるゴマ塩ノイズを低減することができる。これにより背景の黒レベルを低下させることもでき、診断に適した正面画像を生成することができる。
【００７８】
以上、本発明に係る画像処理装置、画像処理方法及び画像処理プログラムについて図面に基づいて説明してきたが、本発明は上記実施形態に限定されることはなく、種々の変更実施が可能である。
【産業上の利用可能性】
【００７９】
本発明は三次元画像データから生成した複数枚の断層画像を重層して一の正面画像を生成する方法として利用することが可能である。
【符号の説明】
【００８０】
１０  断層像撮影装置
２０  画像処理装置
２１  制御部
２２  断層画像形成部
２３  記憶部
２４  血管断層画像形成部
２５  三次元データ構築部
２６  表示部
２７  操作部
３０  画像処理部
３１  算出手段
３２  計数手段
３３  置換手段
３４  第１フィルタ手段
３５  第２フィルタ手段
３６  正面画像生成手段
【図１】
2019156139.tif 000005
【図２】
2019156139.tif 000006
【図３】
2019156139.tif 000007
【図４ａ】
2019156139.tif 000008
【図４ｂ】
2019156139.tif 000009
【図４ｃ】
2019156139.tif 000010
【図５】
2019156139.tif 000011
【図６】
2019156139.tif 000012
【図７】
2019156139.tif 000013
【図８】
2019156139.tif 000014
【図９】
2019156139.tif 000015
【国際調査報告】
2019156139.tif 000016
2019156139.tif 000017
2019156139.tif 000018
2019156139.tif 000019