(57)【要約】【課題】  疾患や部位によらず断層画像における影領域を補正する。【解決手段】被検眼の断層画像を取得する画像取得手段と、被検眼に含まれる物体により生じる影領域であって、断層画像における影領域の画像値を、学習済モデルを用いて補正する補正手段と、を画像処理装置に配する。【選択図】図４
2020039430.tif 000002
【特許請求の範囲】
【請求項１】
被検眼の断層画像を取得する画像取得手段と、
前記被検眼に含まれる物体により生じる影領域であって、前記断層画像における影領域の画素値を、学習済モデルを用いて補正する補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
被検眼の断層画像を取得する画像取得手段と、
前記被検眼に含まれる物体により生じる影領域であって、前記断層画像における影領域の画素値が補正された断層画像を、学習済モデルを用いて生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項３】
前記物体における血管及び前記血管により生じる前記影領域の少なくともいずれかを同定する同定手段を更に備え、
前記同定された血管及び前記同定された影領域の少なくともいずれかを含む部分領域に対応した学習済モデルを用いて、前記影領域の画素値が補正されることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記断層画像内の網膜、脈絡膜、及び篩状板部のうちの少なくとも一つに生じた影領域の画素値に対して、前記画素値の補正が行われることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記断層画像内の網膜、脈絡膜、及び篩状板部の各々に対応した学習済モデルを用いて前記影領域の画像値の補正が行なわれることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画素値が補正された断層画像から前記被検眼の層領域、篩状板領域、及び篩状板孔領域の少なくとも一つの境界を特定する特定手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記特定手段が特定した前記被検眼の層領域、篩状板領域、及び篩状板孔領域の少なくとも一つに対する計測値を算出する計測手段をさらに備えることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記被検眼の同一位置を複数回走査することを意図して取得した複数の断層画像であって、前記画素値が補正された複数の断層画像を用いてモーションコントラスト画像を生成するモーションコントラスト画像生成手段をさらに備えることを特徴とする請求項１乃至７のいずれか１に記載の画像処理装置。
【請求項９】
被検眼の同一位置を複数回走査することを意図して取得した複数の断層画像を含むクラスタを取得する画像取得手段と、
前記被検眼に含まれる物体により生じる影領域であって、前記複数の断層画像における影領域の画素値が補正された複数の断層画像を含む前記クラスタを用いて、モーションコントラスト画像を生成するモーションコントラスト画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項１０】
前記画素値が補正された断層画像及び前記モーションコントラスト画像の少なくともいずれかを表示手段に表示させる表示制御手段をさらに備えることを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１１】
前記画素値が補正された断層画像が前記表示手段に表示された場合に、前記表示された断層画像が受け入れられるものであるか否かの判断を受け付ける入力手段をさらに備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記表示された断層画像が受け入れられないものであるとの判断が前記入力手段に受け付けられた場合に、
前記表示制御手段は、前記取得した複数の断層画像を用いて前記モーションコントラスト画像生成手段が生成したモーションコントラスト画像を前記表示手段に表示させることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記モーションコントラスト画像生成手段は前記取得した複数の断層画像を用いてモーションコントラスト画像を生成可能であって、
前記表示制御手段は、前記取得した複数の断層画像を用いて生成されたモーションコントラスト画像と、前記画素値が補正された複数の断層画像を用いて生成されたモーションコントラスト画像とを、前記表示手段に表示させることが可能であることを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】
前記表示制御手段は、前記取得された複数の断層画像に対する前記影領域の画像値の補正の適用可否を切り替えるためのユーザインターフェースと、前記影領域の画像値の補正の適用状態を示す文字列もしくはマーク、又は前記画素値の補正量の値の少なくとも一つと、を前記表示手段に表示させ、
前記影領域の画像値の補正を適用する指示が前記ユーザインターフェースに入力された場合に、前記表示制御手段は、前記画素値が補正された断層画像を前記表示手段に表示させることを特徴とする請求項１０乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記画素値が補正された複数の断層画像を用いて生成されたモーションコントラスト画像から血管領域もしくは無血管領域を特定する領域特定手段をさらに備えることを特徴とする請求項８乃至１４のいずれか１項に記載の画像処理装置。
【請求項１６】
前記領域特定手段が特定した前記血管領域、及び前記無血管領域の少なくとも一つに対する計測値を算出する算出手段をさらに備えることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記画素値が補正された断層画像を表示手段に表示させる表示制御手段をさらに備え、
前記表示制御手段は、前記取得された断層画像に対する前記影領域の画像値の補正の適用可否を切り替えるためのユーザインターフェースと、前記影領域の画像値の補正の適用状態を示す文字列もしくはマーク、又は前記画素値の補正量の値の少なくとも一つと、を前記表示手段に表示させ、
前記影領域の画像値の補正を適用する指示が前記ユーザインターフェースに入力された場合に、前記表示制御手段は、前記画素値が補正された断層画像を前記表示手段に表示させることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項１８】
被検眼の断層画像を取得する工程と、
前記被検眼に含まれる物体により生じる影領域であって、前記断層画像における影領域の画素値を、学習済モデルを用いて補正する工程と、
を含むことを特徴とする画像処理方法。
【請求項１９】
被検眼の断層画像を取得する工程と、
前記被検眼に含まれる物体により生じる影領域であって、前記断層画像における影領域の画素値が補正された断層画像を、学習済モデルを用いて生成する工程と、
を含むことを特徴とする画像処理方法。
【請求項２０】
被検眼の同一位置を複数回走査することを意図して取得した複数の断層画像を含むクラスタを取得する工程と、
前記被検眼に含まれる物体により生じる影領域であって、前記複数の断層画像における影領域の画素値が補正された複数の断層画像を含む前記クラスタを用いて、モーションコントラスト画像を生成する工程と、
を含むことを特徴とする画像処理方法。
【請求項２１】
プロセッサによって実行されると、該プロセッサに請求項１８乃至２０のいずれか１項に記載の画像処理方法の各工程を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
光干渉断層計（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ：以下ＯＣＴと表記）などの眼部の断層画像撮影装置を用いると、網膜層内部の状態を３次元的に観察できる。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから眼科診療に広く用いられている。
【０００３】
ＯＣＴの形態として、例えば広帯域な光源とマイケルソン干渉計を組み合わせたＴＤ−ＯＣＴ（Ｔｉｍｅ ｄｏｍａｉｎ ＯＣＴ）がある。これは、参照ミラーの位置を一定速度で移動させて信号アームで取得した後方散乱光との干渉光を計測し、深さ方向の反射光強度分布を得るように構成されている。しかし、このようなＴＤ−ＯＣＴでは機械的な走査が必要となるため、高速な画像取得は難しい。そこで、より高速な画像取得法として、ＳＤ−ＯＣＴ（Ｓｐｅｃｔｒａｌ ｄｏｍａｉｎ ＯＣＴ）や、ＳＳ−ＯＣＴ（Ｓｗｅｐｔ Ｓｏｕｒｃｅ ＯＣＴ）が開発されている。ＳＤ−ＯＣＴでは、広帯域光源を用い、分光器で干渉信号を取得する。また、ＳＳ−ＯＣＴでは、高速波長掃引光源を用いることで時間的に分光する。これらＯＣＴによれば、より広画角・高深達な断層画像を取得できる。
【０００４】
一方、図４（ａ）に示すように、断層画像４０３では測定光が血管４０１等の物体で強く反射または吸収されると、物体の後方において、信号が減衰もしくは欠損する影（シャドー）領域４０２が発生することがある。なお、図４（ａ）は、影領域が生じている断層画像を例示する図である。ここで物体とは、例えば血管４０１などの組織や白斑、出血などの病変である。通常は網膜の深さ方向において、視細胞内節外節境界（ＩＳ／ＯＳ）４もしくは網膜色素上皮５の付近で輝度が最大となる。しかし、血管４０１下に影領域４０２が発生すると、該影領域４０２におけるＩＳ／ＯＳ４もしくは網膜色素上皮５付近の輝度が減弱もしくは欠損してしまう。
【０００５】
また、眼底血管の病態を把握するために、ＯＣＴを用いて非侵襲に眼底血管を３次元で描出するＯＣＴ  Ａｎｇｉｏｇｒａｐｈｙ（以下、ＯＣＴＡと表記）技術が用いられる。ＯＣＴＡでは測定光で同一位置を複数回走査し、赤血球の変位と測定光との相互作用により得られるモーションコントラストを画像化する。
【０００６】
この場合の測定光の走査様式について、図４（ｂ）を用いて説明する。同図において、主走査方向が水平（ｘ軸）方向であり、ｘ１、ｘ２、・・・、ｘｍの各位置で、干渉信号の取得が行われる。この水平方向の測定光の走査を、ここではＢスキャンと称する。同図では、副走査方向（ｙ軸方向）の各位置（ｙｉ；１≦ｉ≦ｎ）においてｒ回連続でＢスキャンを行うＯＣＴＡ撮影の例を示している。
【０００７】
なおＯＣＴＡ撮影において同一位置で測定光を複数回走査することをクラスタ走査、同一位置で得られた複数枚の断層画像のことをクラスタと呼ぶ。モーションコントラスト画像は、クラスタ単位で生成される。図４（ｃ）に３次元ＯＣＴ断層画像上に３次元モーションコントラスト画像を重畳表示した例を示す。網膜表層血管下の領域４０５においてプロジェクションアーチファクト（以下ＰＡと表記）である高いモーションコントラストが生じている。ＰＡとは、血管４０１（網膜表装血管）内のＯＣＴ信号が繰り返し増減することによって対応する影領域４０２のＯＣＴ信号も増減し、本来は血管の存在しない網膜外層などに高いモーションコントラストが生じる現象を指す。図４（ｃ）では網膜表層血管に対応する高いモーションコントラスト値を持つ領域４０４の深層側に、高いモーションコントラスト値を持つ領域４０５が生じている。
【０００８】
これに対し、特許文献１に開示する技術では、ＯＣＴで取得した眼部の断層画像から層境界を取得し、該層境界における画像特徴（輝度値や層形状）に基づいて影領域を検出している。そして、画像処理によって、該影領域における輝度補正あるいは層検出パラメータの変更を行っている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−２７９４４０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、層境界上の画像特徴に基づき画像処理によりＯＣＴ断層像上の影領域を補正する特許文献１に開示される技術では、影領域補正の可否が層検出の可否に依存する。このため、部位や疾病によっては、層検出が難しいため、結果的に影領域補正が困難な場合があった。
【００１１】
本発明は上記課題に鑑みてなされたものであり、疾患や部位によらず断層画像における影領域を補正することを目的の一つとする。
【００１２】
なお、上記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の一つとして位置付けることができる。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明の一態様に係る画像処理装置は、
被検眼の断層画像を取得する画像取得手段と、
前記被検眼に含まれる物体により生じる影領域であって、前記断層画像における影領域の画素値を、学習済モデルを用いて補正する補正手段と、を備えることを特徴とする。
【発明の効果】
【００１４】
本発明の一つによれば、疾患や部位によらず断層画像における影領域を補正できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第一実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る画像処理システム、及び該画像処理システムを構成する断層画像撮影装置に含まれる測定光学系を説明する図である。
【図３】本発明の第一実施形態に係る画像処理システムが実行可能な処理のフローチャートである。
【図４】影領域を含むＯＣＴ断層画像、ＯＣＴＡ撮影時の測定光の走査方法、モーションコントラスト画像における血管下に生じるＰＡ、及び影領域補正済ＯＣＴ断層画像の例を説明する図である。
【図５】本発明の実施形態における学習済モデルを得る際に用いる断層画像のサイズの例を説明する図である。
【図６】本発明の実施形態における学習モデルの例を説明する図である。
【図７】本発明の第一実施形態として説明した処理におけるＳ３０５で表示手段に表示するレポート画面を説明する図である。
【図８】本発明の第二実施形態に係る画像処理装置の構成を示すブロック図である。
【図９】本発明の第二実施形態に係る画像処理システムが実行可能な処理のフローチャートである。
【図１０】本発明の第二実施形態として説明した処理におけるＳ９０５で生成するモーションコントラスト画像を断層画像に重畳させた画像、及びＳ９０６で表示手段に表示するレポート画面の例を説明する図である。
【図１１】本発明の第三実施形態に係る画像処理装置の構成を示すブロック図である。
【図１２】本発明の第三実施形態に係る画像処理システムが実行可能な処理のフローチャートである。
【図１３】本発明の第三実施形態として説明した処理におけるＳ１２０６で表示手段に表示するレポート画面を説明する図である。
【図１４】本発明の第四実施形態に係る画像処理装置の構成を示すブロック図である。
【図１５】本発明の第四実施形態に係る画像処理システムが実行可能な処理のフローチャートである。
【図１６】本発明の第四実施形態として説明した処理におけるＳ１５０８及びＳ１５０９で実行される処理を説明する図である。
【発明を実施するための形態】
【００１６】
以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
【００１７】
［第一実施形態］
本実施形態に係る画像処理装置は、様々な部位や疾病の断層画像と、該断層画像に対して影領域補正処理を適用した断層画像とのペアをディープラーニングによる機械学習モデルに学習させる。該学習済の機械学習モデルに対して断層画像を入力することで、断層画像上の影領域をロバストに低減する。
【００１８】
なお、以下において、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデル等に対して、事前に適切な教師データを用いてトレーニングすることで得られた（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。
【００１９】
以下、図面を参照しながら、本発明の第一実施形態に係る画像処理装置を備える画像処理システムについて説明する。
【００２０】
図２（ａ）は、本実施形態に係る画像処理装置１０１を備える画像処理システム１０の構成を示す図である。図２（ａ）に示すように、画像処理システム１０は、画像処理装置１０１が、インタフェースを介して断層画像撮影装置１００（ＯＣＴとも言う）、外部記憶部１０２、入力部１０３、及び表示部１０４と接続されることにより構成される。
【００２１】
断層画像撮影装置１００は、眼部の断層画像を撮影する装置である。本実施形態においては、断層画像撮影装置１００としてＳＤ−ＯＣＴを用いるものとする。しかし、断層画像撮影装置の態様はこれに限らず、例えばＳＳ−ＯＣＴを用いて構成してもよい。
【００２２】
断層画像撮影装置１００は、測定光学系１００−１、ステージ部１００−２、及びベース部１００−３を備える。図２（ａ）において、測定光学系１００−１は前眼部像、被検眼のＳＬＯ眼底像、断層画像を取得するための光学系である。ステージ部１００−２は、測定光学系１００−１を前後左右に移動可能に支持する。ベース部１００−３は、後述の分光器を内蔵する。
【００２３】
本実施形態において、画像処理装置１０１は、ステージ部１００−２の制御、測定光学系１００−１のアラインメント動作の制御、断層画像の再構成などを実行するコンピュータである。外部記憶部１０２は、断層撮影用のプログラム、患者情報、撮影データや計測データなどを記憶する。入力部１０３はコンピュータへの指示を行い、具体的にはキーボードとマウスから構成される。表示部１０４は、例えばモニタからなる。
【００２４】
(断層画像撮影装置の構成)
本実施形態の断層画像撮影装置１００における測定光学系及び分光器の構成について図２（ｂ）を用いて説明する。
【００２５】
まず、測定光学系１００−１の内部について説明する。被検眼２００に対向して対物レンズ２０１が設置され、その光軸上に第１ダイクロイックミラー２０２及び第２ダイクロイックミラー２０３が配置される。被検眼２００に至る光路は、これらのダイクロイックミラーによってＯＣＴ光学系の光路２５０、ＳＬＯ光学系と固視灯用の光路２５１、及び前眼観察用の光路２５２とに波長帯域ごとに分岐される。
【００２６】
ＳＬＯ光学系と固視灯用の光路２５１は、ＳＬＯ走査手段２０４、レンズ２０５，２０６を有する。また、レンズ２０６の後段に、ミラー２０７、第３ダイクロイックミラー２０８、ＡＰＤ（Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏｄｉｏｄｅ）２０９、ＳＬＯ光源２１０、及び固視灯２１１を有する。ミラー２０７は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、ＳＬＯ光源２１０による照明光と、被検眼からの戻り光とを分離する。第３ダイクロイックミラー２０８は、光路２５１を、ＳＬＯ光源２１０の光路と固視灯２１１の光路とに波長帯域ごとに分離する。
【００２７】
ＳＬＯ走査手段２０４は、ＳＬＯ光源２１０から発せられた照明光を被検眼２００上で走査するものであり、Ｘ方向に走査するＸスキャナ、Ｙ方向に走査するＹスキャナから構成される。本実施形態では、Ｘスキャナは高速走査を行う必要があるためポリゴンミラーによって、Ｙスキャナはガルバノミラーによって構成されている。しかし、これらミラーは、求められる仕様に応じて公知の種々の偏向ミラーに適宜置き換えられる。
【００２８】
レンズ２０５は、ＳＬＯ光学系及び固視灯２１１の焦点合わせのため、不図示のモータによって駆動される。ＳＬＯ光源２１０は、７８０ｎｍ付近の波長の光を照明光として発生する。ＡＰＤ２０９は、被検眼からの戻り光を検出する。固視灯２１１は可視光を発生して被検者の固視を促す。
【００２９】
ＳＬＯ光源２１０から発せられた照明光は、第３ダイクロイックミラー２０８で反射され、ミラー２０７を通過する。その後、レンズ２０６，２０５を通って、ＳＬＯ走査手段２０４によって被検眼２００上で走査される。被検眼２００からの戻り光は、照明光と同じ経路を戻った後、ミラー２０７によって反射され、ＡＰＤ２０９へと導かれ、これによりＳＬＯ眼底像が得られる。
【００３０】
固視灯２１１から発せられた光は、第３ダイクロイックミラー２０８、ミラー２０７を透過する。その後、レンズ２０６，２０５を通り、ＳＬＯ走査手段２０４によって被検眼２００上の任意の位置に所定の形状を作り、被検者の固視を促す。
【００３１】
前眼観察用の光路２５２には、レンズ２１２，２１３、スプリットプリズム２１４、赤外光を検知する前眼部観察用のＣＣＤ２１５が配置される。このＣＣＤ２１５は、不図示の前眼部観察用照射光の波長、具体的には９７０ｎｍ付近に感度を持つ。スプリットプリズム２１４は、被検眼２００の瞳孔と共役な位置に配置されている。スプリットプリズム２１４を介して得られる前眼部のスプリット像により、被検眼２００に対する測定光学系１００−１のＺ軸方向（光軸方向）の距離を検出できる。
【００３２】
ＯＣＴ光学系の光路２５０は前述の通りＯＣＴ光学系を構成して、被検眼２００の断層画像を撮影するためのものである。より具体的には、断層画像を形成するための干渉信号を得るものである。ＯＣＴＸＹスキャナ２１６は、測定光を被検眼２００上で走査する。図２（ｂ）では１枚のミラーとして図示されているが、実際はＸＹ２軸方向の走査を行う２つのガルバノミラーより構成される。なお、ＯＣＴＸＹスキャナ２１６の構成はこれに限られず、他の任意の偏向ミラーを用いて構成されてもよい。
【００３３】
レンズ２１７，２１８のうち、レンズ２１７は光カプラー２１９に接続されているファイバー２２４から出射するＯＣＴ光源２２０からの光を、被検眼２００に焦点合わせするために用いられる。具体的には、不図示のモータによって、図中矢印にて示す光軸方向に駆動される。この焦点合わせによって、被検眼２００からの戻り光は同時にファイバー２２４の先端に、スポット状に結像されて入射される。
【００３４】
次に、ＯＣＴ光源２２０からの光路と参照光学系、分光器の構成について説明する。これら構成には、ＯＣＴ光源２２０、参照ミラー２２１、分散補償ガラス２２２、レンズ２２３、光カプラー２１９、光ファイバー２２４〜２２７、及び分光器２３０が含まれる。光ファイバー２２４〜２２７は、光カプラーに接続されて一体化しているシングルモードの光ファイバーである。
【００３５】
本実施形態では、これらの構成によってマイケルソン干渉計を構成している。ＯＣＴ光源２２０から出射された光は、光ファイバー２２５を通じ、光カプラー２１９を介して光ファイバー２２４側に導かれる測定光と、光ファイバー２２６側に導かれる参照光とに分割される。測定光は前述のＯＣＴ光学系光路を通じ、観察対象である被検眼２００に照射され、被検眼２００による反射や散乱により同じ光路を通じて光カプラー２１９に到達する。
【００３６】
一方、参照光は光ファイバー２２６、レンズ２２３、及び測定光と参照光の波長分散を合わせるために挿入された分散補償ガラス２２２を介して参照ミラー２２１に到達し反射される。そして同じ光路を戻り、光カプラー２１９に到達する。
【００３７】
光カプラー２１９によって、測定光と参照光は合波され干渉光となる。ここで、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。参照ミラー２２１は、不図示のモータ及び駆動機構によって図中矢印にて示す光軸方向に調整可能に保持され、測定光の光路長に参照光の光路長を合わせることが可能である。得られた干渉光は、光ファイバー２２７を介して分光器２３０に導かれる。
【００３８】
本実施形態では、偏光調整部２２８，２２９が、各々光ファイバー２２４，２２６中に設けられ、偏光調整を行う。これらの偏光調整部２２８，２２９は、光ファイバーをループ状に引きまわした部分を幾つか持っている。このループ状の部分を光ファイバーの長手方向を中心として回転させることで光ファイバーに捩じりを加え、測定光と参照光の偏光状態を各々調整して合わせることができる。
【００３９】
分光器２３０はレンズ２３２，２３４、回折格子２３３、及びラインセンサ２３１から構成される。光ファイバー２２７から出射された干渉光はレンズ２３４を介して平行光となった後、回折格子２３３で分光され、レンズ２３２によってラインセンサ２３１に結像される。
【００４０】
次に、ＯＣＴ光源２２０の周辺について説明する。ＯＣＴ光源２２０は、代表的な低コヒーレント光源であるＳＬＤ（Ｓｕｐｅｒ  Ｌｕｍｉｎｅｓｃｅｎｔ  Ｄｉｏｄｅ）である。中心波長は８５５ｎｍ、波長バンド幅は約１００ｎｍである。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。
【００４１】
なお、光源として本実施形態ではＳＬＤを選択したが、低コヒーレント光が出射できればよく、ＡＳＥ（Ａｍｐｌｉｆｉｅｄ  Ｓｐｏｎｔａｎｅｏｕｓ  Ｅｍｉｓｓｉｏｎ）などを用いることができる。用いる光の中心波長は、眼を測定することを鑑みると近赤外光が適する。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく短波長であることが望ましい。双方の理由から、本実施形態では中心波長は８５５ｎｍとした。
【００４２】
また、本実施形態では干渉計としてマイケルソン干渉計を用いたが、マッハツェンダー干渉計を用いてもよい。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉計を、光量差が比較的小さい場合にはマイケルソン干渉計を用いることが望ましい。
【００４３】
（画像処理装置の構成）
次に、本実施形態の画像処理装置１０１の構成について図１を用いて説明する。本実施形態において、画像処理装置１０１は、断層画像撮影装置１００に接続されたパーソナルコンピュータ（ＰＣ）として構成される。画像処理装置１０１は、画像取得部１０１−０１、記憶部１０１−０２、撮影制御部１０１−０３、画像処理部１０１−０４、及び表示制御部１０１−０５を備える。
【００４４】
また、画像処理装置１０１は、演算処理装置ＣＰＵが画像取得部１０１−０１、撮影制御部１０１−０３、画像処理部１０１−０４及び表示制御部１０１−０５を実現するソフトウェアモジュールを実行することで機能を実現する。なお、本発明はこれに限定されず、例えば画像処理部１０１−０４をＡＳＩＣ等の専用のハードウェアで実現してもよいし、表示制御部１０１−０５をＣＰＵとは異なるＧＰＵ等の専用プロセッサを用いて実現してもよい。また、記憶部１０１−２は、任意のメモリや光学ディスクなどの任意の記憶媒体によって構成されてもよい。さらに、断層画像撮影装置１００と画像処理装置１０１との接続はネットワークを介した構成であってもよい。
【００４５】
画像取得部１０１−０１は、断層画像撮影装置１００により撮影されたＳＬＯ眼底像や断層画像の信号データを取得する。また画像取得部１０１−０１は断層画像生成部１０１―１１を有する。断層画像生成部１０１―１１は断層画像撮影装置１００により撮影された断層画像の信号データ（干渉信号）を取得して、信号処理により断層画像を生成し、生成した断層画像を記憶部１０１−０２に格納する。
【００４６】
撮影制御部１０１−０３は、断層画像撮影装置１００に対する撮影制御を行う。撮影制御には、断層画像撮影装置１００に対して撮影パラメータの設定に関して指示することや、撮影の開始もしくは終了に関して指示することも含まれる。
【００４７】
画像処理部１０１−０４は、撮影条件取得部１０１−４１、位置合わせ部１０１−４２、補正部１０１−４３、画像特徴取得部１０１−４４、及び投影部１０１−４５を有する。前述の画像取得部１０１−０１は、本発明に係る取得手段の一例である。撮影条件取得部１０１−４１は、画像処理部１０１−０４が画像処理を行う際に必要となる入力画像の撮影条件データを取得する。撮影条件データには、例えば、撮影日時、部位名、画角、スキャンモード、画像の解像度や階調数、画素サイズ、画像のデータ形式に関する情報などが含まれる。
【００４８】
補正部１０１−４３は、学習済モデルを用いて断層画像における血管等の物体下に生じる影領域を２次元もしくは３次元的に抑制する処理を行う。画像特徴取得部１０１−４４は断層画像から網膜や脈絡膜の層境界、篩状板領域の境界、中心窩や視神経乳頭中心の位置などを取得する。投影部１０１−４５は画像特徴取得部１０１−４４が取得した境界位置に基づく深度範囲で断層画像を投影し、Ｅｎｆａｃｅ画像などの正面断層画像を生成する。
【００４９】
外部記憶部１０２は、被検眼の情報（患者の氏名、年齢、性別など）と、撮影した画像（断層画像及びＳＬＯ画像）や該画像を処理して得られた画像、撮影パラメータ、及び操作者が設定したパラメータとを関連付けて保持する。入力部１０３は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部１０３を介して、画像処理装置１０１や断層画像撮影装置１００へ指示を行う。
【００５０】
次に、図３を参照して本実施形態の画像処理装置１０１の処理手順を説明する。図３は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。
【００５１】
＜ステップ３０１（Ｓ３０１）＞
操作者は、入力部１０３を操作することにより、断層画像撮影装置１００によりＯＣＴ画像を撮影する際の撮影条件を設定する。
具体的には、
１）  スキャンモードの選択、及び
２）  スキャンモードに対応する撮影パラメータ設定
の手順からなる。本実施形態では、以下のように撮影条件を設定する。
１）  Ｍａｃｕｌａ ３Ｄスキャンモードを選択
２）  以下の撮影パラメータを設定
２−１）  走査領域サイズ：１２ｘ１２ｍｍ
２−２）  主走査方向：水平方向
２−３）  固視灯位置：黄斑撮影時の点灯位置
【００５２】
＜ステップ３０２（Ｓ３０２）＞
撮影条件の設定終了後、操作者は入力部１０３を操作して撮影画面中の撮影開始ボタン（非表示）を押下する。これにより、断層画像撮影装置１００による、Ｓ３０１で指定した撮影条件でのＯＣＴ断層画像の撮影が開始される。具体的には、撮影制御部１０１−０３は、断層画像撮影装置１００に対して、Ｓ３０１で操作者が指示した設定に基づいてＯＣＴ撮影を実施することを指示する。これにより、断層画像撮影装置１００は、対応するＯＣＴ断層画像を生成するための干渉信号を取得する。
【００５３】
また断層画像撮影装置１００はＳＬＯ画像の取得も行い、ＳＬＯ動画像に基づく追尾処理を実行する。なお、本実施形態では同一走査位置における繰り返し撮影回数を１回（繰り返さない）とする。しかし、同一走査位置における繰り返し撮影回数はこれに限られず、任意の回数に設定してよい。なお繰り返し撮影回数が２以上の場合、撮影中の追尾処理に用いる基準ＳＬＯ画像は１回目のＯＣＴ撮影時に設定した基準ＳＬＯ画像とし、全ての繰り返しＯＣＴ撮影において共通の基準ＳＬＯ画像を用いる。また繰り返し撮影中は、Ｓ３０１で設定した撮影条件に加えて
１）  左右眼の選択、及び
２）  追尾処理の実行の有無
についても同じ設定値を用いる（変更しない）ものとする。しかし、追尾処理の条件はこれに限られず、ＯＣＴ断層画像の撮影条件などに応じて適宜変更できる。
【００５４】
＜ステップ３０３（Ｓ３０３）＞
次に、画像取得部１０１−０１及び画像処理部１０１−０４は、Ｓ３０２で取得された干渉信号を用いて断層画像を再構成する。まず断層画像生成部１０１−１１は画像取得部１０１−０１が取得した干渉信号に対して波数変換及び高速フーリエ変換（以下ＦＦＴと表記）、絶対値変換(振幅の取得)を行うことで断層画像を生成する。なお、本実施例では干渉信号から断層画像を生成することとしている。しかし、ここで述べる断層画像は、画像生成に至る際に得られる上述した各種変換により得られた種々のデータとして扱うことも可能である。よって、ここで述べる断層画像は、これら種々のデータを含む断層データとも把握できる。次に位置合わせ部１０１−４２は各走査位置より得られた断層画像間での位置合わせを行う。
【００５５】
なお、Ｓ３０１において同一走査位置における繰り返し撮影回数が２以上の場合は、位置合わせ部１０１−４２が同一走査位置内で撮影した断層画像内の位置合わせも実施する。そして、位置合せ後のこれら断層画像を重ね合わせ、重ね合わせ断層画像を生成する。位置合わせ部１０１−４２は、前述の走査位置間での断層画像間の位置合わせに加え、この操作も併せて実施する。
【００５６】
さらに、画像特徴取得部１０１−４４は、単独もしくは重ね合わせ済の断層画像から網膜及び脈絡膜の層境界、及び篩状板部の前面・後面の境界（非図示）を取得する。本実施形態では、層境界として内境界膜１、神経線維層−神経節細胞層境界２、神経節細胞層‐内網状層境界３、視細胞内節外節接合部４、網膜色素上皮５、ブルッフ膜６、及び脈絡膜−強膜境界７を取得する（図４（ａ）参照）。また検出したブルッフ膜６の端部（ブルッフ膜開口端部）を視神経乳頭部のＤｉｓｃ境界として特定する。本実施形態では、網膜及び脈絡膜の層境界、並びに篩状板部の前面・後面境界の取得法として可変形状モデルを用いるが、任意の公知のセグメンテーション手法を用いてよい。また取得する層境界は前述の例に限らない。例えば網膜の内網状層−内顆粒層境界、内顆粒層−外網状層境界、外網状層‐外顆粒層境界、外境界膜、視細胞外節先端（ＣＯＳＴ）などを任意の公知のセグメンテーション法により取得してもよい。あるいは、脈絡膜の脈絡膜毛細血管板−Ｓａｔｔｌｅｒ層境界、Ｓａｔｔｌｅｒ層−Ｈａｌｌｅｒ層境界を任意の公知のセグメンテーション法により取得する場合も本発明に含まれる。また、篩状板部の前面・後面境界は手動で設定してもよい。例えば、手動により、特定の層境界(例えば内境界膜１)の位置を所定量だけ動かすことにより層境界位置を設定できることとするとよい。なお、層境界及び篩状板の前面・後面境界の取得処理は本ステップでなく後述するＳ３０４の画像補正処理後に実施してもよい。
【００５７】
＜ステップ３０４＞
次に、補正部１０１−４３は、学習済モデルを用いて血管をはじめとする眼部内の物体下に生じる影領域の補正を行う。上述したように、本発明の説明における学習済モデルとは、任意の公知の機械学習アルゴリズムに対して事前に適切な教師データを用いてトレーニングすることで得られたモデルである。本実施形態では、この学習済モデルを用いて、影領域を有する画像あるいははこれを生成するデータから、影領域が現れなかった場合に得られる可能性の高い断層画像を生成する。ここで、機械学習アルゴリズムについて図４〜図６を用いて説明をする。
【００５８】
教師データは、１つ以上の入力データと出力データとのペア群で構成される。具体的には、ＯＣＴによって取得された影領域を含む様々な部位・疾患の断層画像（図４（ａ））と、対応する影領域補正済断層画像（図４（ｄ））とのペア群によって構成された教師データ（以下、第一の教師データ）が挙げられる。
【００５９】
第一の教師データは、例えば影領域が生じている断層画像と例えば特許文献１に開示される画像処理技術を用いて影領域を補正した断層画像とのペア群により構成される。なお、この場合、ペアの一方は、画像処理技術を用いて補正した断層画像に対して、影領域補正が不十分と操作者が判断した画素の輝度値を所望の値に修正して取得してもよい。あるいは、血管のように後方に影を引き起こす原因となる物体を十分含むサイズの領域内で、かつ同一層領域内で計算した近傍領域の輝度統計値（例えば平均値や中央値）で置き換えることにより取得してもよい。なお図４〜図６では黄斑部領域を含んだ断層画像のみを例示しているが、実際には断層画像内に視神経乳頭部の領域も含まれ、視神経乳頭部の血管下にも影領域が生じる。視神経乳頭部には網膜の大血管が集まる関係で太い影領域が多数生じ、特に視神経乳頭部の深部に存在する篩状板部の描出や特定、計測の妨げになりやすい。もちろん、黄斑部もしくは視神経乳頭部のみを撮影した断層画像を対象としてトレーニングさせてもよい。また、その他の教師データの例として図４（ａ）に示す影領域補正前の断層画像４０３と、補正値データとのペア群によって構成されている教師データ（以下、第二の教師データ）等が挙げられる。この場合、補正値データとは、影領域補正のために断層画像４０３における各画素値から、影領域補正後の断層画像（影領域補正済断層画像４０７）の各画素値を得る際の演算に用いるデータを含む。
【００６０】
次に、トレーニング時に用いる画像について説明する。第一の教師データを構成する、影領域補正前の断層画像４０３と影領域補正済断層画像４０７とのペア群を構成する画像群を、位置関係が対応する一定の画素サイズの矩形領域画像によって作成する。これに関して図５を用いて以下に説明する。図５は、入力データとしての影領域補正前の断層画像と、出力データとしての影領域補正済断層画像とを各々示す図である。
【００６１】
第一の教師データを構成するペア群の１つに、影領域を含む断層画像４０３と、影領域補正済断層画像４０７があるとした場合を考える。この場合、図５（ａ）及び図５（ｂ）に示すように、ペアを構成する入力データを断層画像５０１、出力データを断層画像５０１’とする。なお、図５（ａ）及び図５（ｂ）では画像全体をペア画像としているが、ペア画像の構成はこれに限らない。例えば、図５（ｃ）に示すように、影領域を含む断層画像４０３のうちの矩形領域画像５０２１，５０２２を入力データとしてもよい。この場合、出力データは、図５（ｄ）に示すように、影領域補正済断層画像４０７における同じ撮影領域である矩形領域画像５０２１’，５０２２’となる。すなわち、入力データと出力データのペアを、これら矩形領域画像より構成してもよい。なお、この矩形領域は、Ａスキャン単位を基本としている。Ａスキャン単位とは、１本のＡスキャンでもよいし、数本のＡスキャン単位でもよい。あるいは図５（ｅ）に示すように、影領域を含む断層画像４０３のうちの矩形領域画像５０３１，５０３２を入力データとしてもよい。この場合、図５（ｆ）に示すように、影領域補正済断層画像４０７における同じ撮影領域である矩形領域画像５０３１’，５０３２’が出力データとされ、入力データとのペアを構成する。
【００６２】
なお、トレーニング時には、スキャン範囲（撮影画角）、スキャン密度（Ａスキャン数）を正規化して画像サイズを揃えて、学習時の矩形領域サイズを一定に揃えることが望ましい。図５（ａ）〜図５（ｆ）に示した矩形領域画像は各々別々にトレーニングをする際の矩形領域サイズの一例である。ここで、矩形領域の数は、図５（ａ）及び図５（ｂ）の場合では１つ、図５（ｃ）〜図５（ｆ）の場合では前述のように複数設定可能である。例えば図５（ｃ）における影領域を含む断層画像４０３上の矩形領域画像５０２２を入力データとし、図５（ｄ）における影領域補正済断層画像４０７上の同一位置における矩形領域画像５０２２’を出力データとする。このように、第一の矩形領域画像ペア５０２１，５０２１’とは別の矩形領域画像ペアを作成できる。なお、異なる座標に変えながら多数の矩形領域画像のペアを作成することで第一の教師データを構成するペア群が充実する。また、図５（ｃ）〜図５（ｆ）の画像の例では離散的に矩形領域を示しているが、実際には、画像を隙間なく連続する一定の画素サイズの矩形領域画像群に分割してペア群を生成するとよい。元となる断層画像及び影補正後の断層画像において、領域の位置を異なる座標に変えながら多数の矩形領域画像のペアを作成することで、教師データを構成するペア群を充実させることができる。また、矩形領域として、より小さな領域の画像を入力データ及び出力データのペアとして選択することで、もともとのペアを構成する断層画像及び影補正後の断層画像から多くのペアデータを生成できる。そのため、学習済モデルのトレーニングにかかる時間を短縮することができる。
【００６３】
次に、本実施形態に係る学習済モデルの一例として、入力された断層画像に対して、影領域補正処理を行う畳み込みニューラルネットワーク（以下ＣＮＮと表記）に関して図６を用いて説明する。図６は、補正部１０１−４３における学習済モデルの構成の一例を示している。図６で示す構成は、入力値群を加工して出力する処理を担う、複数の層群によって構成される。なお、この構成に含まれる層の種類としては、図６に示すように、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、合成（Ｍｅｒｇｅｒ）層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値などのパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、前述のフィルタのカーネルサイズの次元数も変更してもよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。具体的には、例えば、Ｍａｘ  Ｐｏｏｌｉｎｇ処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
【００６４】
なお、図６の構成に含まれる畳み込み層群に設定されるパラメータとして、例えば、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の精度の影領域補正処理が可能である。ただし、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて変更することが好ましい。また、上述したようなパラメータを変更するという方法だけでなく、ＣＮＮの構成を変更することによって、ＣＮＮがよりよい特性を得られる場合がある。よりよい特性とは、例えば、影領域の補正能が高かったり、影領域補正処理の時間が短かったり、学習済モデルを得る際のトレーニングにかかる時間が短かったりするなどである。
【００６５】
なお、図示はしないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ）層を組み込むなどしてもよい。あるいは、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ  Ｌｉｎｅａｒ  Ｕｎｉｔ）を用いた活性化層を組み込むなどをしてもよい。
【００６６】
このような学習済モデルにデータを入力すると、学習済モデルの設計に従ったデータが出力される。例えば、教師データからトレーニングされた傾向に従って入力データに対応する可能性の高い出力データが出力される。また、例えば、教師データからトレーニングされた出力データの種類のそれぞれについて可能性が数値として出力される、などである。具体的には、例えば、第一の教師データによってトレーニングされた学習済モデルにＯＣＴによって取得された断層画像６０１を入力すると、影領域補正済断層画像６０２が出力される。
【００６７】
また、例えば第二の教師データによってトレーニングされた学習済モデルは、ＯＣＴの断層画像６０１を入力すると、影領域を補正する際に適用する補正値群が出力される。なお、教師データを構成するペア群の入力データと出力データの形式や組み合わせは、一方が画像で他方が数値であったり、一方が複数の画像群で構成され他方が数値であったり、双方が画像であったりするなど、実施形態に適した組み合わせで実施される。なお、図５（ｃ）〜図５（ｆ）のように領域を分割して学習をしている場合、学習済モデルは、各矩形領域において影領域補正済の断層画像の輝度値もしくは影領域補正用の補正値を出力する。学習済モデルが補正値を出力する場合、補正部１０１−４３は入力された断層画像６０１の輝度値に対して補正値を演算することで影領域補正済の輝度値を出力する。補正部１０１−４３は、影領域補正済の矩形領域画像群の各々を、入力された矩形領域画像群と同様の位置関係に配置して結合し、影領域を補正した影領域補正済断層画像６０２を得る。
【００６８】
なお、本実施形態では影領域を補正した断層画像に対し、Ｓ３０３で取得した層境界及び篩状板の前面・後面境界位置を初期位置として、層境界及び篩状板の前面・後面境界のセグメンテーションを再度実施するものとする。これにより、影領域の影響を受けにくい、正確な層境界及び篩状板の前面・後面境界を取得できる。さらに、投影部１０１−４５は画像特徴取得部１０１−４４が取得した層境界及び篩状板前面・後面境界の位置を用いて影領域補正済重ね合わせ断層画像を投影し、影領域補正済の重ね合わせ正面断層画像を生成する。なお投影法としては任意の公知の投影が可能であり、本実施形態では平均値投影を行うものとする。しかし、投影法はこれに限られず、公知の種々の投影法が適用可能である。
【００６９】
最後に、画像処理装置１０１は、取得した画像群（ＳＬＯ画像や断層画像）、該画像群の撮影条件データ、及びＳ３０４で得られたデータを、検査日時及び被検眼を同定する情報を関連付けて、外部記憶部１０２に保存する。Ｓ３０４で得られたデータには、影領域補正済の断層画像もしくは補正値、層境界及び篩状板前面・後面境界データなどが含まれる。
【００７０】
＜ステップ３０５（Ｓ３０５）＞
表示制御部１０１−０５は、Ｓ３０４で生成した影領域補正済の重ね合わせ断層画像（３Ｄ画像/Ｂスキャン画像/正面画像）や撮像条件に関する情報を表示部１０４に表示させる。図７に、表示部１０４に表示させるレポート画面７００の例を示す。
【００７１】
表示制御部１０１−０５は、レポート画面７００の左上にＳＬＯ画像７０２、右上に影領域補正済の重ね合わせた断層画像（Ｂスキャン画像７０４）を表示させる。表示制御部１０１−０５は、ＳＬＯ画像７０２上に、影領域補正済のＢスキャン画像７０４（断層画像）を得る際の測定光の走査位置を示す矢印（灰色）を重畳表示させる。また、Ｂスキャン画像７０４にＳ３０３及びＳ３０４で取得した層境界（内境界膜１と網膜色素上皮５等）及び篩状板領域の境界を重畳表示させる。レポート画面７００の左下には、影領域補正済の重ね合わせ正面断層画像７０３を表示する。影領域が抑制されたＢスキャン及び正面断層画像が表示されるため、被検眼が持つ本来の輝度で正面断層画像を観察できる。
【００７２】
＜ステップ３０６（Ｓ３０６）＞
レポート画面７００において、前述の正面断層画像などを観察した後、操作者は再度新たな画像観察を行うか、これを終了するかについて、入力部１０３を介して指示する。終了の指示が行われると動作処理は終了する。画像観察継続の指示が入力されると、フローはＳ３０２に戻り、新たなＯＣＴ断層画像の撮影が始められる。
【００７３】
なお図７に示すように、影領域の補正処理の適用可否を切り替えるためのユーザインターフェース７０５を表示させてもよい。さらには、表示部１０４に表示する断層画像（Ｂスキャン/正面/３Ｄ画像）に対する影領域補正処理の適用状態を示す文字列やマーク、補正量の値を表示させてもよい。これらはユーザインターフェース７０５と併せて表示させてもよい。該ユーザインターフェース７０５により影領域補正処理の適用可否に関する指示が入力される。そして、この指示に基づき、表示部１０４に表示している断層画像（Ｂスキャン画像７０４や正面断層画像７０３、３Ｄ画像（非図示））に対する影領域補正処理の適用可否が切り替えられる。また、影領域の輝度補正量を調節するためのユーザインターフェース（スライダー等）を表示部１０４に表示させ、ユーザが手動で影領域における補正量を調節可能なように構成してもよい。
【００７４】
本実施形態では補正部１０１−４３は学習済モデルを用いて断層画像における血管等の物体下に生じる影領域を２次元もしくは３次元的に低減している。しかし、本発明は血管影の補正に限定されるものではない。例えば学習済モデルを用いて白斑や中間透光体の混濁、出血等の下に生じる影領域を低減してもよい。すなわち、白斑や硝子体混濁、出血による影領域を含む補正前の断層画像と該影領域を補正した断層画像とのペアを教師データとして学習済モデルのトレーニングを行う。このトレーニングで得られた学習済モデルに対して白斑や硝子体混濁、出血による影領域を含む断層画像を入力することで、断層画像上の影領域をロバストに低減する場合も本発明に含まれる。
【００７５】
なお、本実施形態では、Ｓ３０４において、様々な部位や疾病の教師データを用いてトレーニングした単一の学習済モデルを用いて断層画像内の血管をはじめとする眼部内の物体下に生じる影領域の補正を行っている。しかし、本発明はこれに限定されるものではない。例えば含まれる血管の密度や太さなどは眼底における部位によって異なるため、単一の学習済モデルにて全ての部位に対応しようとした場合、影領域の低減が不十分となることも考えられる。この場合、補正部１０１−４３に複数の学習済モデルを備えさせ、各学習済モデルについて各々「特定の部位のみの影領域補正前・補正済断層画像のペア」で構成される教師データを用いてトレーニングしておくとよい。同様に、疾病などに応じて、「特定の疾病のみの影領域補正前・補正済断層画像のペア」で構成される教師データを用いてトレーニングしておいてもよい。このような、複数の学習済モデルによる出力に基づいて断層画像内の血管をはじめとする眼部内の物体下に生じる影領域の補正を行う場合も本発明に含まれる。
【００７６】
前述のように、本実施形態に係る画像処理装置１０１は、画像取得手段と、補正手段とを備える。画像取得手段（画像取得部１０１−１）は、被検眼２００の断層画像を取得する。補正手段（補正部１０１−４３）は、トレーニングにより得られた学習済モデルを用いて、被検眼２００に含まれる物体により生じる影領域（４０２）であって、被検眼２００の断層画像に生じる影領域の画素値を補正する。なお、ここで述べる学習済モデルは、被検眼２００から取得された影領域を含む断層画像と、影領域を含む断層画像の該影領域に対して画素値を補正する画像処理を行った断層画像とのペアを用いた学習に基づいて得られる。また、本発明は、上述した各手段、もしくは画像処理装置によって実行される画像取得工程及び補正工程を含む画像処理方法としても把握できる。また、本実施形態に係る画像処理装置は、上述した画像取得手段と、生成手段とを備える態様としてもよい。この場合、生成手段は、上述した学習済モデルを用いて、被検眼２００に含まれる物体により生じる影領域（４０２）であって、被検眼２００の断層画像に生じる影領域の画素値が補正された断層画像を生成する。
【００７７】
なお、被検眼２００の深さ方向において、影領域を生じさせる構成物の態様は異なる。例えば、断層画像内において、網膜、脈絡膜、及び篩状板部の何れの部位に着目するかに応じてＰＡの態様にも違いが生じる。従って、これら部位に応じた影領域の画像補正を行うことが好ましい。この場合、補正部１０１−４３は、断層画像内の網膜、脈絡膜、及び篩状板部の各々に部位について設けたペアに基づいてトレーニングすることで得た複数の学習済モデルを、部位に応じて用いることが好ましい。さらに、この学習済モデルを用いない場合には、公知の画像処理方法について、部位に応じた様式（処理方法）にて影領域の画像値の補正を行なってもよい。
【００７８】
以上述べた構成によれば、画像処理装置１０１は、様々な部位や疾病の断層画像と、該断層画像に対して影領域補正処理を適用した断層画像とのペアをディープラーニングにより学習済モデルにトレーニングさせる。該トレーニング済（学習済）の学習済モデルに対して断層画像を入力することで、断層画像上の影領域をロバストに低減する。これにより、疾患や部位によらず断層画像における影領域を補正できる。
【００７９】
［第二実施形態］
本実施形態に係る画像処理装置は、同一位置で複数回走査した断層画像に対して、第一実施形態で述べた影領域補正処理を適用して得た断層画像を用いてモーションコントラスト画像を生成する。これにより、モーションコントラスト画像において、ＰＡを低減する態様について説明する。
【００８０】
本実施形態に係る画像処理装置８０１の構成を図８に示す。なお、第一実施形態における画像処理装置１０１における諸構成と略同じ機能を呈する構成については同じ参照番号を付記することとし、ここでの説明を省略する。本実施形態に係る画像処理装置８０１は、画像取得部１０１−０１にモーションコントラストデータ生成部１０１−１２を備えること、及び画像処理部に合成部１０１−４６を備えることが第一実施形態と異なっている。
【００８１】
次に、図９を参照して本実施形態の画像処理装置８０１の処理手順を説明する。図９は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。なお、本実施形態における動作処理フローのうち、図９におけるＳ９０１、Ｓ９０２、Ｓ９０５、及びＳ９０６以外は第一実施形態における対応する各ステップで行われる処理と同様であるので、ここでの説明は省略する。
【００８２】
＜ステップ９０１＞
操作者は入力部１０３を操作することにより、断層画像撮影装置１００によりＯＣＴＡ画像を撮影する際の撮影条件を設定する。なお、本実施形態では、以下のように撮影条件を設定して、Ｓ９０２において適宜休憩を挟みながら（同一撮影条件の）ＯＣＴＡ撮影を所定の回数だけ繰り返し実行する。
１）  ＯＣＴＡスキャンモードの選択
２）  以下の撮影パラメータを設定
２−１）  走査パターン：Ｓｍａｌｌ  Ｓｑｕａｒｅ
２−２）  走査領域サイズ：３ｘ３ｍｍ
２−３）  主走査方向：水平方向
２−４）  走査間隔：０．０１ｍｍ
２−５）  固視灯位置：黄斑、又は視神経乳頭撮影時の点灯位置
２−６）  １クラスタあたりのＢスキャン数：４
【００８３】
＜ステップ９０２（Ｓ９０２）＞
撮影条件の設定終了後、操作者は入力部１０３を操作して撮影画面中の撮影開始ボタン（非表示）を押下する。これにより、断層画像撮影装置１００による、Ｓ９０１で指定した撮影条件による繰り返しＯＣＴＡ撮影が開始される。具体的には、撮影制御部１０１−０３は、断層画像撮影装置１００に対して、Ｓ９０１で操作者が指示した設定に基づいて繰り返しＯＣＴＡ撮影を実施することを指示する。これにより、断層画像撮影装置１００は、対応するＯＣＴ断層画像を取得する。
【００８４】
なお、本実施形態では本ステップにおける繰り返し撮像回数（クラスタ数）を５回とする。しかし、繰り返し撮像回数（クラスタ数）はこれに限られず、任意の回数に設定してよい。
【００８５】
また断層画像撮影装置１００はＳＬＯ画像の取得も行い、ＳＬＯ動画像に基づく追尾処理を実行する。なお、クラスタ数が２以上の場合、繰り返しＯＣＴＡ撮影における追尾処理に用いる基準ＳＬＯ画像は１回目のクラスタ撮影時に設定した基準ＳＬＯ画像とし、全てのクラスタ撮影において共通の基準ＳＬＯ画像を用いる。また２回目以降のクラスタ撮影中は、Ｓ９０１で設定した撮影条件に加えて
１）  左右眼の選択
２）  追尾処理の実行有無
についても同じ設定値を用いる（変更しない）ものとする。しかし、追尾処理の条件はこれに限られず、ＯＣＴ断層画像の撮影条件などに応じて適宜変更できる。
【００８６】
＜ステップ９０５（Ｓ９０５）＞
次に、画像取得部１０１−０１及び画像処理部１０１−０４は、Ｓ９０４で生成された影領域補正及び位置合わせ処理が適用済のＯＣＴ断層画像を用いてモーションコントラスト画像を生成する。Ｓ９０５において、モーションコントラストデータ生成部１０１−１２が、同一クラスタ内の隣接する断層画像間でモーションコントラストを算出する。
【００８７】
本実施形態では、モーションコントラストとして脱相関値Ｍｘｙを以下の式（１）に基づき求める。
【数１】
2020039430.tif 000003
ここで、Ａｘｙは断層画像データＡの位置（ｘ，ｙ）における（ＦＦＴ処理後の複素数データの）振幅、Ｂｘｙは断層データＢの同一位置（ｘ，ｙ）における振幅を示している。断層画像データＡ及びＢは、同じクラスタ内の、例えば時間的に連続して得られた断層画像データである。０≦Ｍｘｙ≦１であり、両振幅値の差異が大きいほど１に近い値をとる。式（１）のような脱相関演算処理を（同一クラスタに属する）任意の隣接する断層画像間で行う。そして、得られた（１クラスタあたりの断層画像数 −１）個のモーションコントラスト値の平均を画素値として持つ画像を、最終的なモーションコントラスト画像として生成する。
【００８８】
なお、本実施形態ではＦＦＴ処理後の複素数データの振幅に基づいてモーションコントラストを計算したが、モーションコントラストの計算法はこれに限定されない。例えば複素数データの位相情報に基づいてモーションコントラストを計算してもよいし、振幅と位相の両方の情報に基づいてモーションコントラストを計算してもよい。あるいは、複素数データの実部や虚部に基づいてモーションコントラストを計算してもよい。
【００８９】
また、本実施形態ではモーションコントラストとして脱相関値を計算したが、モーションコントラストの計算法はこれに限定されない。例えば二つの値の差分に基づいてモーションコントラストを計算してもよいし、二つの値の比に基づいてモーションコントラストを計算してもよい。  さらに、本実施形態では取得された複数の脱相関値の平均値を求めることで最終的なモーションコントラスト画像を得ているが、本発明はこれに限定されない。例えば取得された複数の脱相関値の中央値、あるいは最大値を画素値として持つ画像を最終的なモーションコントラスト画像として生成してもよい。
【００９０】
画像処理部１０１−０４は、繰り返しＯＣＴＡ撮影を通して得られたモーションコントラスト画像群を３次元的に位置合わせし、加算平均することで高コントラストな合成モーションコントラスト画像を生成する。なお、合成処理は単純加算平均に限定されない。例えば各モーションコントラスト画像の輝度値に対して任意の重みづけをした上で平均した値でもよい。あるいは、中央値をはじめとする任意の統計値を算出してもよい。また位置合わせ処理を２次元的に行う場合も本発明に含まれる。
【００９１】
なお、合成部１０１−４６が合成処理に不適なモーションコントラスト画像が含まれているか否かを判定した上で、不適と判定したモーションコントラスト画像を除いて合成処理を行うよう構成してもよい。例えば、各モーションコントラスト画像に対して評価値（例えば脱相関値の平均値や中央値）が所定の範囲外である場合に、合成処理に不適と判定すればよい。
【００９２】
本実施形態では、影領域補正済の断層像を用いてモーションコントラストを算出している。このため、同一クラスタ内の隣接する断層画像間の血管領域下の位置（ｘ,ｙ）における（ＦＦＴ処理後の複素数データの）振幅が類似し、結果としてモーションコントラストが抑制される。通常のモーションコントラスト画像の模式図を図１０（ａ）に、影領域補正済断層画像を用いて生成したモーションコントラスト画像の模式図を図１０（ｂ）に示す。通常は、図１０（ａ）に示すように、モーションコントラスト画像の血管に対応する領域４０４下にＰＡに対応する領域４０５が生じる。これに対し、図１０（ｂ）に示すように、本実施形態では最終的に生成されるモーションコントラスト画像における領域４０４下のＰＡが抑制される。
【００９３】
投影部１０１−４５は、画像特徴取得部１０１−４４が取得した層境界及び篩状板前面及び後面の位置に基づいてモーションコントラスト画像を投影する。そして、これらを重ね合わせて、正面モーションコントラスト画像を生成する。なお、その際の投影法としては、最大値投影（ＭＩＰ; Ｍａｘｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ）あるいは平均値投影（ＡＩＰ; Ａｖｅｒａｇｅ Ｉｎｔｅｎｓｉｔｙ  Ｐｒｏｊｅｃｔｉｏｎ）のいずれかを選択できる。本実施形態では、最大値投影で、モーションコントラスト画像を投影するものとする。
【００９４】
最後に、画像処理装置１０１は、取得した画像群（ＳＬＯ画像や断層画像）、該画像群の撮影条件データ、及びＳ９０５で得られたデータを、検査日時及び被検眼を同定する情報と関連付けて、外部記憶部１０２に保存する。Ｓ９０５で得られたデータには、生成した３次元及び正面モーションコントラスト画像、並びにこれら付随する生成条件データが含まれる。
【００９５】
＜ステップ９０６（Ｓ９０６）＞
表示制御部１０１−０５は、Ｓ９０３及びＳ９０４で生成及び補正した断層画像や、Ｓ９０５で合成した３次元及び正面モーションコントラスト画像、及び撮影条件や合成条件に関する情報を表示部１０４に表示させる。図１０（ｃ）に、表示部１０４に表示されるレポート画面１０００の例を示す。
【００９６】
本実施形態では、ＳＬＯ画像及び影領域補正済断層画像、Ｓ９０５で合成及び投影することにより生成した異なる深度範囲の正面モーションコントラスト画像、対応する正面ＯＣＴ画像を表示する。図１０（ｃ）に示すレポート画面１０００では、上段に網膜表層、下段に網膜深層を各々投影深度範囲として生成した正面モーションコントラスト画像１００１，１００５を表示している。下段に示す網膜深層の正面モーションコントラスト画像１００５ではＰＡが抑制されている。なお表示部１０４に表示するモーションコントラスト画像は正面モーションコントラスト画像に限定されるものではない。例えば、３次元の（ＰＡが抑制された）モーションコントラスト画像を表示してもよい。
【００９７】
なお、レポート画面１０００において、正面モーションコントラスト画像の投影範囲は、リストボックスに表示された既定の深度範囲セット１００２，１００６から操作者が選択することで変更できる。また、投影範囲の指定に用いる層境界の種類とオフセット位置を、ユーザインターフェース１００３，１００７を用いて変更できる。さらに、断層画像に重畳された層境界データ１００４，１００８を入力部１０３から操作して移動させたりすることで、モーションコントラスト画像の投影範囲を変更できる。また、図１０（ｃ）に示すボタン１００９をユーザが押下ることによって、Ｓ９０５で実施したモーションコントラストの合成処理を実施するように画像処理装置８０１を構成してもよい。
【００９８】
さらに、断層画像における影領域補正処理の適用可否を指定するユーザインターフェース７０５を用いることにより、影領域補正処理の適用可否を変更したＢスキャン断層画像や正面断層画像を表示させてもよい。この場合、ユーザインターフェース７０５の操作に連動して、Ｂスキャン断層画像上に重畳されたモーションコントラスト画像やモーションコントラスト正面画像におけるＰＡ抑制処理の有無も変更される。なお図１０（ｃ）では断層画像における影領域補正処理の適用可否を指定するユーザインターフェース７０５を表示することしている。しかし、当該指示用のユーザインターフェースの表示態様は、これに限定されるものではない。例えば、ＰＡ抑制処理の適用可否を指定するユーザインターフェースを表示部１０４に表示しておき、画像処理部１０１−０４における画像処理内容をこの表示に対する入力と同じとする場合も本発明に含まれる。ＰＡ抑制処理の適用可否を指定するユーザインターフェースへの入力に応じて、表示部１０４に表示するモーションコントラスト画像上のＰＡ抑制処理適用状態が変更される。ＰＡ抑制処理の適用可否を指定するユーザインターフェースへの入力に応じて、表示部１０４に表示する（Ｂスキャンもしくは正面）断層画像上の影領域は連動して補正してもよいし、連動して補正しない場合も本発明に含まれる。
【００９９】
[第二実施形態の変形例]
なお、第一実施形態では、Ｓ９０４において学習済モデルを用いて断層画像内の血管をはじめとする眼部内の物体下に生じる影領域の補正を行った。しかし、影領域の画像補正は、ここで述べた学習済モデルを用いた画像補正に限定されるものではない。例えば特許文献１に開示される任意の公知の画像処理手法に基づいて影領域に対する画像補正を実施した断層画像を用いてモーションコントラスト画像を生成することにより、ＰＡを抑制する場合も本発明に含まれる。このような画像処理の例について、以下に述べる。
【０１００】
この場合、取得された断層画像において、図４（ａ）に示される、例えば内境界膜１及び網膜色素上皮層（５）上の点を候補点として検出する。次に、検出した候補点列の連結性に基づいて、各候補点付近において影領域４０２が生じているか否か（像が影領域を示すものであるか否か）の判定を行う。影領域であると判定された場合には、該影領域内の輝度値に関する統計量を求める。その後、求められた統計量を基に、影領域における輝度値（画素値）の補正を行う。このような画像処理によっても、影領域４０２の画素値が補正された断層像が得られる。
【０１０１】
なお、影領域４０２は、例えば血管等の被検眼に含まれる特定の物体における、測定光の光軸方向の後方に、通常生じる。このため、前処理として、この特定の物体である主要な血管を同定し、画像処理を行う領域をその周辺に限定してもよい。このような手法を取り入れることにより、１断層画像の画像処理の処理速度を上げることが見込まれる。なお、この場合、上述した影領域を同定する構成を、補正部１０１−４３に含まれる同定手段としてもよい。このような血管あるいは影領域の同定は、上述した学習済モデルを用いた画素値の補正においても有効である。例えば、１断層画像同士のペアからなる教師データではなく、断層画像をより小さな複数の矩形領域に分割し、対応する画像処理済の矩形領域の画像とのペアを教師データとする場合も想定される。上述した同定手段を備える場合、影領域を生成する可能性があるとして同定された血管、あるいは影領域として同定された構成を含む矩形領域を特定できる。従って、これら同定された血管あるいは影領域を含むとされた矩形領域を、断層画像内における部分領域として画像処理することにより、１断層画像の画像処理に要する処理時間の短縮も見込める。
【０１０２】
前述したように、本実施形態に係る画像処理装置８０１は、前述の画像取得手段、及び補正手段に加え、モーションコントラスト画像生成手段を備える。そして、モーションコントラスト画像生成手段は、画像補正手段により画素値が補正された複数の断層画像を用いてモーションコントラスト画像を生成する。本実施形態において、画像取得手段（画像取得部１０１−１）は、被検眼２００の同一位置を複数回走査して取得した複数の断層画像を含むクラスタを取得する。なお、クラスタに含まれる断層画像は本来被検眼上の同一位置（走査線上）より取得されることが望ましいが、被検眼の所謂固視微動などにより実際には厳密な同一位置からは取得されない。このため、本明細書においては、クラスタにおける複数の断層画像は、同一位置を複数回走査することを意図して取得された複数の断層画像と定義する。なお、クラスタにおける複数の断層画像は、被検眼の同一箇所を撮影して取得した複数の断層画像ともいえるが、これは被検眼の同一箇所を測定光が走査されるように制御して得た複数の断層画像であってもよい。モーションコントラスト画像生成部（モーションコントラストデータ生成部１０１−１２，画像処理部１０１−０４）は、クラスタもしくは複数の断層画像を用いてモーションコントラスト画像を生成する。その際、補正手段（補正部１０１−４３）は、複数の断層画像において、被検眼２００に含まれる物体により生じる影領域の画素値を補正する。そして、モーションコントラスト画像生成部は、この画素値補正後の断層画像を用いてモーションコントラスト画像を生成する。なお、被検眼に含まれる物体として本実施形態では血管を例としているが、白斑、中間透光体の混濁、出血などの病変部といったものもこれに含まれる。
【０１０３】
なお、本実施形態に係る画像処理装置８０１は、画像取得手段と、モーションコントラスト生成手段と、補正手段とを備える態様として構築することも可能である。この場合、画像取得手段（画像取得部１０１−１）は、被検眼２００の同一位置を複数回走査することを意図して取得した複数の断層画像を含むクラスタを取得する。モーションコントラスト生成手段（モーションコントラストデータ生成部１０１−１２，画像処理部１０１−０４）は、このクラスタを用いてモーションコントラスト画像を生成可能である。補正手段（補正部１０１−４３）は、前述のように、被検眼２００に含まれる物体により生じる影領域であって、断層画像における影領域の画素値を補正する。そして、モーションコントラスト画像生成手段は、影領域の画素値が補正された断層画像を含むクラスタを用いてモーションコントラスト画像を生成する。その際の画素値の補正は、公知の種々の画像処理によって行うこともできる。
【０１０４】
なお、画像補正手段は、被検眼２００から取得された影領域を含む断層画像と、影領域を含む断層画像の該影領域に対して画像処理を行った断層画像とのペアを用いた学習に基づいて得られた学習済モデルを備える。この学習済モデルを用いることにより、画素値補正後の断層画像を簡易に得られる。しかし、前述したように、画像補正手段は、この学習済モデルによらず、公知の画像処理方法によって影領域に対応する画素の画素値を補正することもできる。
【０１０５】
なお、操作者が被検眼の画像を観察するために、本実施形態に係る画像処理装置８０１は、表示対象画像を表示部１０４（表示手段）に表示させる表示制御部１０１−０５（表示制御手段）をさらに備えるとよい。本実施形態において、該表示制御部は、画素値が補正された断層画像及びモーションコントラスト画像の少なくともいずれかを表示部１０４に表示させる。このような態様において、画素値が補正された断層画像が表示部１０４に表示された場合に、この断層画像において画素値が適切に補正されているか否かを操作者が判断することが好ましい。例えば、不完全或いは過剰な補正がされている場合、これを用いて生成されるモーションコントラスト画像もＰＡなどを含むものとなる可能性が高い。
【０１０６】
これに対し、画素値補正後の断層画像が受け入れられるものであるか否かの判断を受け付ける入力手段（入力部１０３，ユーザインターフェース７０５）をさらに備えることが好ましい。表示された断層画像が受け入れられないものであるとの判断が入力手段に受け付けられた場合には、画素値の補正が不適当な断層画像が得られている場合には、診断などに適さないモーションコントラスト画像が生成される恐れがある。従って、この場合、表示制御部１０１−０５は、画素値補正前の複数の断層画像を用いて生成したモーションコントラスト画像を表示部１０４に表示させる。従って、表示部１０４において診断などにより適した画像が常に表示される。また、前述したように、画素値補正後の断層画像から生成されたモーションコントラスト画像がＰＡなどにより例えば診断に不適切である場合も考えられる。このために、表示制御部１０１−０５は、画素値補正前の断層画像を用いて生成したモーションコントラスト画像と、画素値補正後の断層画像を用いて生成したモーションコントラスト画像とのいずれかを、表示させることが可能であるとよい。
【０１０７】
前述したように、表示制御部１０１−０５は、取得された複数の断層画像に対する前記影領域の画像値の補正の適用可否を切り替えるためのユーザインターフェースを表示部１０４に表示させてもよい。この場合、さらに、影領域の画像値の補正の適用状態を示す文字列もしくはマーク、又は画素値の補正量の値の少なくとも一つについても、併せて表示部１０４に表示させるとよい。これらを表示することにより、操作者は画素値の補正が行われているか否か、更には補正の程度が適切か否かを瞬時に判断でき、必要に応じてモーションコントラスト画像を切り替えることが可能となる。さらに、このユーザインターフェースに、影領域の画像値の補正を適用する指示が入力された場合に、画素値が補正された断層画像を表示部１０４に表示させることとするとよい。このような構成とすることにより、操作者が見たい画像を適宜提供できるようになる。
【０１０８】
以上述べた構成によれば、画像処理装置８０１は、同一位置で複数回走査した断層画像に対して影領域補正処理を適用し、得られた断層画像を用いてモーションコントラスト画像を生成する。影領域を補正した断層画像を用いることにより、ＰＡを低減したモーションコントラスト画像が得られる。
【０１０９】
［第三実施形態］
本実施形態に係る画像処理装置は、第一実施形態で述べた学習済モデルを用いた影領域補正処理を適用した断層画像を用いて、層形状や篩状板形状を計測する場合について説明する。
【０１１０】
本実施形態に係る画像処理装置１１０１の構成を図１１に示す。なお、第一実施形態における画像処理装置１０１における諸構成と略同じ機能を呈する構成については同じ参照番号を付記することとし、ここでの説明を省略する。本実施形態に係る画像処理装置１１０１は、画像処理部１０１−０４に解析部１０１−４７を備えることが第一実施形態と異なっている。なお解析部１０１−４７は、抽出部１０１−４７１、及び計測部１０１−４７２を備える。
【０１１１】
次に、図１２を参照して本実施形態の画像処理装置１１０１の処理手順を説明する。図１２は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。なお、本実施形態の動作処理フローのうち、図１２におけるＳ１２０５、及びＳ１２０６以外は第一実施形態における対応する各ステップで行われる処理と同様であるので、ここでの説明は省略する。
【０１１２】
＜ステップ１２０５（Ｓ１２０５）＞
抽出部１０１−４７１は、影領域補正済断層画像から取得した網膜及び脈絡膜の層境界や篩状板部の前面・後面境界に基づいて所定の層領域と篩状板領域、篩状板孔領域を特定する。本実施形態では、Ｓ１２０３で検出したブルッフ膜境界の端部及び篩状板部の前面及び後面で囲まれる深度範囲内の高輝度領域を篩状板領域として特定する。そして、Ｓ１２０３で重ね合わせ断層正面画像から取得した低輝度塊状領域を篩状板孔領域として特定する。なお篩状板孔領域は２次元領域として特定することに限定されるものではない。例えば影領域補正済の３次元断層画像に対して３次元ヘシアンフィルタを適用し、篩状板孔領域を強調してからブルッフ膜境界の端部及び篩状板部の前面及び後面で囲まれる深度範囲内に存在する低輝度管状領域を３次元の篩状板孔領域として特定してもよい。
【０１１３】
本実施形態では、Ｓ１２０４で断層画像に対して適用された影領域補正処理によって、特に網膜の深層や外層、脈絡膜に属する各層領域や篩状板部における影領域が低減される。このため、網膜の深層・外層や脈絡膜、篩状板、篩状板孔領域をより正確に特定できる。
【０１１４】
計測部１０１−４７２は網膜及び脈絡膜に属する層領域及び篩状板部の形状に関する計測値を算出する。本実施形態では、層形状に関する計測値として網膜厚及び脈絡膜厚を、篩状板形状に関する計測値として篩状板の深度方向の厚みと篩状板孔の直径を計測する。
【０１１５】
なお、Ｓ１２０５で行われるセグメンテーション処理や計測処理は、画像全体に適用されることに限定されるものではない。例えば、操作者が入力部１０３を用いて断層画像もしくは該断層画像の強調画像上に設定した任意形状の領域内のみに対してセグメンテーション処理や計測処理を実施してもよい。例えば黄斑部であればＥＴＤＲＳチャート内のみに対し、視神経乳頭部であれば（円グラフ状の）分円領域内のみに対してセグメンテーションもしくは計測処理を行ってもよい。また、本実施形態では断層画像に対して直接セグメンテーション処理を行った。しかし、本発明は例示した処理に限らず、断層画像に対して任意の公知の強調処理を適用してからセグメンテーション処理を行ってもよい。
【０１１６】
＜ステップ１２０６＞
表示制御部１０１−０５は、Ｓ１２０５で取得した計測に関する情報を表示部１０４に表示させる。図１３に、表示部１０４に表示されるレポート画面１３００の例を示す。
【０１１７】
表示制御部１０１−０５は、レポート画面１３００の左上のＳＬＯ画像７０２に対し、Ｓ１２０５で計測部１０１−４７２が計測した網膜厚を示す半透明のカラーマップ１３０１を重畳表示させる。なお表示する厚みマップは網膜厚に限定されるものではなく、Ｓ１２０５で計測可能な種類の層厚であれば任意の層厚マップを表示させてよい。例えば、脈絡膜厚マップを表示させてもよい。また第一実施形態の場合と同様に、レポート画面１３００の右上に影領域補正済の重ね合わせた断層画像（Ｂスキャン画像）７０４を、左下には影領域補正済の重ね合わせた正面断層画像７０３を表示させる。レポート画面１３００の右下には、現在表示中のＢスキャン画像上で計測した層厚（本実施形態では網膜厚）グラフ１３０２を表示する。
【０１１８】
本実施形態によれば、影領域が抑制されたＢスキャン断層画像から取得した層境界及び篩状板部の境界に基づいて算出された計測データが表示される。このため、影領域の影響を受けにくいロバストな層もしくは篩状板の形状の計測ができる。
【０１１９】
なお、第一実施形態と同様に、影領域の補正処理の適用可否を切り替えるためのユーザインターフェース７０５を表示させてもよい。さらには、表示部１０４に表示する断層画像（Ｂスキャン/正面/３Ｄ画像）に対する影領域補正処理の適用状態を示す文字列やマーク、補正量の値を表示させてもよい。これらはユーザインターフェース７０５と併せて表示させてもよい。該ユーザインターフェース７０５により影領域補正処理の適用可否に関する指示が入力される。そして、この指示に基づき、表示部１０４に表示している断層画像（Ｂスキャン画像７０４や正面断層画像７０３、３Ｄ画像（非図示））に対する影領域補正処理の適用可否が切り替えられる。
【０１２０】
なお、断層画像（Ｂスキャン画像７０４や正面断層画像７０３、３Ｄ画像）に対する影領域補正処理の適用可否の切り替えに連動して、計測データを切り替えて表示部１０４に表示させてもよい。この場合、計測データには、該（影領域補正あり／なしの）断層画像に対する層形状や篩状板形状に関する計測データが含まれる。また、影領域の輝度補正量を調節するためのユーザインターフェース（スライダー等）を備え、ユーザが手動で影領域における補正量を調節可能なように構成してもよい。抽出部１０１−４７１及び計測部１０１−４７２は該調節された影補正量の断層画像に基づいて計測データを算出し、表示制御部１０１−０５は表示部１０４にこれを表示させる。
【０１２１】
前述のように、本実施形態に係る画像処理装置１１０１おいては、補正手段（補正部１０１−４３）は、断層画像内の網膜、脈絡膜、及び篩状板部のうちの少なくとも一つに生じた影領域の画素値の補正を行う。そして、特定手段（抽出部１０１−４７１）は、画素値が補正された断層画像から被検眼２００の層領域、篩状板領域、及び篩状板孔領域の少なくとも一つの境界を特定する。そして、計測手段（計測部１０１−４７２）は、特定手段が特定した層領域、篩状板領域、篩状板孔領域、血管領域、及び無血管領域の少なくとも一つに対する計測値を算出する。なお、本実施形態に係る画像処理装置１１０１における表示制御部１０１−０５についてここでは述べていない。しかし該表示制御部１０１−０５は、例えば第二実施形態で述べたように表示部１０４を制御して同様の表示を行わせることができる。
【０１２２】
あるいは、本実施形態に係る画像処理装置１１０１は、画像取得手段、前述の学習済モデルを用いた補正手段、特定手段、及び計測手段を備える態様としてもよい。この場合、これら特定手段及び計測手段は、補正手段により画素値が補正された断層画像を用いて特定及び計測の処理を行う。そして、前述のように、画像取得手段（画像取得部１０１−０１）は、被検眼２００の断層画像（強度画像）を取得する。補正手段（補正部１０１−４３）は、被検眼に含まれる構造物により断層画像に生じる影領域の画素値を補正する。特定手段（抽出部１０１−４７１）は、被検眼２００の層領域、篩状板領域、篩状板孔領域、血管領域、及び無血管領域の少なくとも一つの境界を断層画像において特定する。計測手段（計測部１０１−４７２）は、特定手段が特定した層領域、篩状板領域、篩状板孔領域、血管領域、及び無血管領域の少なくとも一つに対する計測値を算出する。
【０１２３】
以上述べた構成によれば、画像処理装置１１０１は、第一実施形態で説明した学習済モデルを用いた影領域補正処理を適用した断層画像に対して層形状や篩状板形状を計測する。これにより、影領域の影響を受けにくいロバストな層もしくは篩状板の形状計測ができる。
【０１２４】
［第四実施形態］
本実施形態に係る画像処理装置は、第二実施形態で説明した影領域補正処理を適用した断層画像を用いて生成された、ＰＡ抑制済のモーションコントラスト画像を用いる。このモーションコントラスト画像から血管領域を特定し、血管の形状・分布を計測する。
【０１２５】
本実施形態に係る画像処理装置１０１の構成を図１４に示す。なお、第一及び第二実施形態における画像処理装置１０１，８０１における諸構成と略同じ機能を呈する構成については同じ参照番号を付記することとし、ここでの説明を省略する。本実施形態に係る画像処理装置１４０１は、画像処理部１０１−０４に解析部１０１−４７を備えることが第二実施形態と異なっている。なお、解析部１０１−４７は、第三実施形態で述べた抽出部１０１−４７１及び計測部１０１−４７２に加えて、血管領域の強調処理を行う強調部１０１−４７３を備える。
【０１２６】
次に、図１５を参照して本実施形態の画像処理装置１４０１の処理手順を説明する。図１５は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。なお、本実施形態の動作処理フローのうち、図１５のＳ１５０７〜Ｓ１５１０以外は第二実施形態における対応する各ステップで行われる処理と同様であるので、ここでの説明は省略する。
【０１２７】
＜ステップ１５０７＞
操作者は入力部１０３を操作することにより、計測処理の開始を指示する。なお、本実施形態では図１０（ｃ）のレポート画面上の画像をダブルクリックすることで計測画面に移行し、解析部１０１−４７が計測処理を開始することとする。その際、非図示の計測開始画面において、操作者は入力部１０３を用いて、計測処理の種類を選択する。本実施形態では、モーションコントラスト画像に対する計測の種類として、
１）  血管密度（ＶＡＤ）及び
２）  血管密度（ＶＬＤ）
があり、操作者はこれらの中から所望の計測の種類を選択する。
【０１２８】
なお、モーションコントラスト画像を用いて行われる計測は、前述した種類に限定されるものではない。例えばモーションコントラスト画像に対して無血管領域（Ｎｏｎ Ｐｅｒｆｕｓｉｏｎ  Ａｒｅａ；ＮＰＡ）の面積や形状を算出する場合も本発明に含まれる。ここで、ＶＡＤはＶｅｓｓｅｌ Ａｒｅａ Ｄｅｎｓｉｔｙの略であり、計測対象に含まれる血管領域の割合で定義される血管密度（単位：％）である。また、ＶＬＤはＶｅｓｓｅｌ Ｌｅｎｇｔｈ Ｄｅｎｓｉｔｙ の略であり、単位面積あたりに含まれる血管の長さの総和（単位：ｍｍ−１）で定義される血管密度である。
【０１２９】
血管密度は血管の閉塞範囲や血管網の疎密の程度を定量化するための指標であり、ＶＡＤが最もよく用いられている。ただし、ＶＡＤでは計測値に占める大血管領域の寄与分が大きくなるため、毛細血管の病態に注目して計測したい場合には（より毛細血管の閉塞に敏感な指標として）ＶＬＤが用いられる。しかし、血管に関して本発明を適用可能な計測の種類はこれに限られない。例えば、血管構造の複雑さを定量化するＦｒａｃｔａｌ Ｄｉｍｅｎｓｉｏｎや、血管径の分布(血管の瘤や狭窄の分布)を表すＶｅｓｓｅｌ Ｄｉａｍｅｔｅｒ Ｉｎｄｅｘを計測してもよい。
【０１３０】
次に、解析部１０１−０４７は計測処理の前処理を行う。前処理には、任意の公知の画像処理が適用でき、本実施形態ではモーションコントラスト画像に対してモルフォロジー演算の一種であるトップハットフィルタ処理を行う。トップハットフィルタを適用することにより、背景成分の輝度ムラを軽減できる。
【０１３１】
＜ステップ１５０８＞
解析部１０１−４７は、モーションコントラスト画像に対する血管領域の特定処理を行う。本実施形態では、強調部１０１−４７３がモーションコントラスト画像に対してヘシアンフィルタに基づく血管強調処理を行う。次に抽出部１０１−４７１が血管強調画像に対してセグメンテーション処理を行い、整形処理を実施することで血管領域を特定する。血管領域の特定処理の詳細は、図１６（ａ）のフローチャートに示されるＳ１６１０〜１６５０を参照して後述する。
【０１３２】
＜ステップ１５０９＞
計測部１０１−４７２は、操作者により指定された計測対象領域に関する情報に基づいて、単検査の画像に対する血管分布の計測を行う。引き続いて表示制御部１０１−０５が、計測結果を表示部１０４に表示する。ここで、血管分布の指標である血管密度としては前述のＶＡＤとＶＬＤの２種類の指標があり、本実施形態ではより毛細血管の障害に敏感な指標であるＶＬＤを計算する場合の手順を例に説明する。なお、モーションコントラスト画像に対するＶＬＤの計測については図１６（ｂ）のフローチャートに示されるＳ１６６０〜Ｓ１６７０を参照して後述する。
【０１３３】
＜ステップ１５１０＞
表示制御部１０１−０５は、Ｓ１５０９で実施した計測に関するレポートを表示部１０４に表示させる。なお、その際に、各計測対象画像に関して左右眼の別、撮影日時、画角・画素数、略同一位置における断層画像数、ＯＣＴＡ重ね合わせ処理の実施条件を、併せて表示部１０４に表示させてもよい。さらに、モーションコントラスト画像の評価値、投影法、ＰＡ除去実施の有無に関する情報を、併せて表示部１０４に表示させてもよい。
【０１３４】
あるいは、断層正面画像に対し、モーションコントラスト画像や、血管領域もしくは血管中心線の２値画像を所定の深度範囲ごとに適宜色や透明度を変えて表示部１０４に重畳表示してもよい。この場合、モーションコントラスト画像や血管領域もしくは血管中心線の２値画像は正面画像として投影表示することに限定されるものではなく、３次元的にレンダリングして３次元画像として表示してもよい。さらに、投影方法（ＭＩＰ／ＡＩＰ）やプロジェクションアーチファクト抑制処理についても、例えばコンテキストメニューから選択するなどの方法により変更してよい。またＳ１５０８で特定した血管領域に関する２値画像や、Ｓ１５０９で算出した計測値や計測値マップを外部記憶部１０２にファイルとして出力し、保存してもよい。
【０１３５】
さらに、図１６（ａ）に示すフローチャートを参照しながら、Ｓ１５０８で実行される血管領域の特定処理の詳細について説明する。
【０１３６】
＜ステップ１６１０＞
本実施形態では、深度範囲や部位に応じて適切な強調スケール設定（パラメータ設定）をすることにより、強調スケール調整処理を実施する。黄斑部や視神経乳頭部の網膜表層、あるいは脈絡膜深層のような領域では強調スケールを大きく設定することにより、網膜動静脈や脈絡膜深層血管のような血管径の大きい血管が（消滅したり複数領域に分離したりすることなく）適切に強調される。従って、正確に血管領域を特定できる。一方、網膜の深層や外層、あるいは脈絡膜毛細血管板のように毛細血管や新生血管のみが存在する領域では小さなスケールで強調処理を実施することにより細い血管のエッジが強調される。従って、２値化した際により正確に血管領域を特定できる（血管領域を過検出する現象を防止できる）。
【０１３７】
なお、本実施形態では、異なる太さの血管に対する強調スケールの調整処理に関して、正面モーションコントラスト画像に対して強調スケールを設定することしている。しかし、本発明はこれに限定されるものではない。例えば、３次元モーションコントラスト画像に対して強調スケールを適応的に設定してもよい。
【０１３８】
＜ステップ１６２０＞
強調部１０１−４７３は、Ｓ１５０７の前処理を実施されたモーションコントラスト画像に対してヘッセ行列の固有値に基づく血管強調フィルタ処理（管状構造強調処理）を行う。このような強調フィルタはヘシアンフィルタと総称され、例えばＶｅｓｓｅｌｎｅｓｓ ｆｉｌｔｅｒやＭｕｌｔｉ−ｓｃａｌｅ  ｌｉｎｅ  ｆｉｌｔｅｒが挙げられる。本実施形態ではＭｕｌｔｉ−ｓｃａｌｅ  ｌｉｎｅ  ｆｉｌｔｅｒを用いるが、任意の公知の血管強調フィルタを用いてよい。
【０１３９】
ヘシアンフィルタでは、強調したい血管の径に適したサイズで画像を平滑化する。その上で、該平滑化画像の各画素において輝度値の２次微分値を要素として持つヘッセ行列を算出し、該行列の固有値の大小関係に基づいて局所構造を強調する。ヘッセ行列は式（２）で与えられるような正方行列であり、該行列の各要素は例えば式（３）に示すような画像の輝度値Ｉを平滑化した画像の輝度値Ｉｓの２次微分値で表される。ヘシアンフィルタでは、このようなヘッセ行列の「固有値（λ１、λ２）の一方が０に近く、他方が負かつ絶対値が大きい」場合に線状構造とみなして強調する。これはモーションコントラスト画像上の血管領域が持つ特徴、すなわち「走行方向では輝度変化が小さく、走行方向に直交する方向では輝度値が大きく低下する」が成り立つ画素を線状構造とみなして強調することに相当する。
【０１４０】
また、モーションコントラスト画像には、毛細血管から細動静脈まで様々な径の血管が含まれる。このため、複数のスケールでガウスフィルタにより平滑化した画像に対して、ヘッセ行列を用いて線強調画像を生成する。次に式（４）に示すようにガウスフィルタの平滑化パラメータσの二乗を補正係数として乗じた上で、最大値演算により合成し、該合成画像Ｉｈｅｓｓｉａｎをヘシアンフィルタの出力とする。
【０１４１】
なお、本発明は正面モーションコントラスト画像に対して２次元ヘシアンフィルタを適用することに限定されるものではない。例えば、３次元モーションコントラスト画像に対して３次元ヘシアンフィルタを適用し、３次元強調画像を生成してもよい。
【０１４２】
ヘシアンフィルタはノイズに強く、血管の連続性が向上するという利点がある。一方で、実際には事前に画像に含まれる血管の最大径が不明の場合が多いため、特に平滑化パラメータが画像中の血管の最大径に対して大きすぎる場合に、強調された血管領域が太くなりやすいという欠点がある。本実施形態ではＳ１６１０で説明したような強調スケールの調整処理を行うことにより、該欠点を抑制するものとする。なお血管径に関わらず適切にモーションコントラスト画像を強調・２値化する方法は本実施例に述べた方法に限定されるものでない。例えば、ヘシアン強調画像の２値画像とエッジ選択鮮鋭化による血管強調画像の２値画像の共通領域を血管領域として特定してもよい。
【０１４３】
【数２】
2020039430.tif 000004
【数３】
2020039430.tif 000005
【数４】
2020039430.tif 000006
【０１４４】
＜ステップ１６３０＞
抽出部１０１−４７１は、Ｓ１６２０で生成したヘシアンフィルタによる血管強調画像（以下、ヘシアン強調画像と表記）を２値化する。本実施形態ではヘシアン強調画像の平均値を閾値として２値化する。ただし、２値化の閾値には所定の下限値を設定することにより、血管以外の領域がアーチファクトとして誤検出されるのを防止することができる。なおここで述べる２値化処理は閾値処理に限定されるものではなく、任意の公知のセグメンテーション法によって２値化してもよい。また、２値化によるセグメンテーション処理は画像全体に適用されることに限定されない。例えば、操作者が入力部１０３を用いてモーションコントラスト画像もしくは該モーションコントラスト画像の強調画像上に設定した任意形状の領域内にのみセグメンテーション処理を実施してもよい。
【０１４５】
＜ステップ１６４０＞
抽出部１０１−４７１は、Ｓ１６３０で生成した血管領域の２値画像を細線化処理することにより、血管の中心線に相当する線幅１画素の２値画像（以下、スケルトン画像と表記）を生成する。この処理として、任意の細線化法もしくはスケルトン処理を用いてよいが、本実施形態では細線化法としてＨｉｌｄｉｔｃｈの細線化法を用いる。
【０１４６】
＜ステップ１６５０＞
抽出部１０１−４７１は、血管領域の整形処理としてモルフォロジー演算処理（オープニング処理（収縮処理後に膨張処理を行うこと）及びクロージング処理（膨張処理後に収縮処理を行うこと））を実施する。なお、整形処理はこれに限らず例えば２値画像をラベリングした場合の各ラベルの面積に基づく小領域除去を行ってもよい。
【０１４７】
さらに、図１６（ｂ）に示すフローチャートを参照しながら、Ｓ１５０９で実行される計測処理の詳細について説明する。
【０１４８】
＜ステップ１６６０＞
解析部１０１−４７は、操作者が入力部１０３を用いて指示した内容に基づき関心領域（計測対象画像及び計測領域）を設定する。本実施形態では、ＯＣＴＡマップとして「Ｎｏｎｅ」、ＯＣＴＡセクタマップとして「ＶＬＤ」が選択されているため、関心領域としてＥＴＤＲＳセクタ領域を設定する。ＯＣＴＡマップとは、ＯＣＴＡ画像全体に対し画素単位で計測された血管密度に関するカラー（もしくはグレースケールの）マップを指す。また、ＯＣＴＡセクタマップとはＯＣＴＡ画像内に設定したＥＴＤＲＳセクタにおける血管密度分布の統計値（例えば平均）マップを指す。なお、関心領域の態様はこれに限らず、円グラフ状の分円領域に分割してもよいし、任意形状の関心領域を設定してもよい。
【０１４９】
＜ステップ１６７０＞
計測部１０１−４７２は、Ｓ１６４０で得られたスケルトン画像に基づいて計測処理を行う。本実施形態では、該スケルトン画像の各画素位置において当該画素を中心とした近傍領域における単位面積当たりの非０画素（白画素）の長さの総和[ｍｍ−１]を当該画素における血管密度（ＶＬＤ）として算出する。さらに、各画素で算出した血管密度（ＶＬＤ）の値を持つ画像（ＶＬＤマップ）を生成する。
【０１５０】
なお、関心領域としてセクタ領域が指定されている場合は、該スケルトン画像上の各セクタ領域における単位面積当たりの非０画素（白画素）の長さの総和[ｍｍ−１]を当該セクタにおける血管密度（ＶＬＤ）として算出すればよい。また、モーションコントラスト画像に対する計測としてＶＡＤマップが指定されている場合は、以下のようにすればよい。すなわちＳ１６３０で取得した血管領域に関する２値画像の各画素位置で当該画素を中心とした近傍領域内に占める非０画素（白画素）の割合を当該画素における血管密度（ＶＡＤ）として算出し、各画素で算出したＶＡＤ値を持つ画像（ＶＡＤマップ）を生成する。また、該血管領域に関する２値画像上の各セクタ領域における非０画素（白画素）の割合を当該セクタにおける血管密度（ＶＡＤ）として算出することにより、ＶＡＤセクタマップを生成できる。
【０１５１】
なお、本実施形態では、Ｓ１５０４において学習済モデルを用いて断層画像内の血管をはじめとする眼部内の物体下に生じる影領域の補正を行った。しかし、影領域の補正方法は、学習済モデルを用いた画像補正に限定されるものではない。例えば特許文献１に開示される任意の公知の画像処理手法に基づいて影領域に対する画像補正を実施した断層画像を用いてモーションコントラスト画像を生成することにより、ＰＡを抑制する場合も本発明に含まれる。
【０１５２】
本実施形態に係る画像処理装置１４０１は、第一実施形態及び第二実施形態で述べた構成に加えてさらに領域特定手段を備える。該領域特定手段（抽出部１０１−４７１）は、画素値が補正された複数の断層画像を用いて生成されたモーションコントラスト画像から、例えば前述の手法により、血管領域もしくは無血管領域を特定する。また、この画像処理装置１４０１は、領域特定手段が特定した血管領域、及び無血管領域の少なくとも一つに対する計測値を算出する算出手段（計測部１０１−４７２）をさらに備える。
【０１５３】
以上述べた構成によれば、画像処理装置１４０１は第二実施形態で説明した影領域補正処理を適用した断層画像を用いて生成された、ＰＡ抑制済モーションコントラスト画像から血管領域を特定し、血管密度を計測、算出する。これにより、ＯＣＴＡ画像上の画像特徴の学習が不要な、効率的に学習された学習済モデルに基づいてＰＡが抑制されたモーションコントラスト画像から正確に血管領域の特定や血管形状・分布の計測ができる。
【０１５４】
［その他の実施形態］
上述した各実施形態では、本発明を画像処理装置１０１，８０１，１１０１，１４０１として実現したが、本発明の実施形態は例示した画像処理装置のみに限定されるものではない。例えば、本発明はシステム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることができる。すなわち、本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理によっても実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１５５】
以上、実施形態を参照して本発明について説明したが、本発明は前述の実施形態に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、前述の各実施形態は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
【符号の説明】
【０１５６】
１０１−０１：画像取得部、  １０１−０４：画像処理部、  １０１−４３：補正部
【図１】
2020039430.tif 000007
【図２】
2020039430.tif 000008
【図３】
2020039430.tif 000009
【図４】
2020039430.tif 000010
【図５】
2020039430.tif 000011
【図６】
2020039430.tif 000012
【図７】
2020039430.tif 000013
【図８】
2020039430.tif 000014
【図９】
2020039430.tif 000015
【図１０】
2020039430.tif 000016
【図１１】
2020039430.tif 000017
【図１２】
2020039430.tif 000018
【図１３】
2020039430.tif 000019
【図１４】
2020039430.tif 000020
【図１５】
2020039430.tif 000021
【図１６】
2020039430.tif 000022