(57)【要約】【課題】  被検体の詳細な構造を観察する際の操作性、並びに視認性を向上させる画像処理装置を提供する。【解決手段】  被検体の第１の層と前記第１の層とは異なる第２の層との層境界を含む正面画像を取得する画像取得部と、正面画像と層境界を示す画像とを、正面画像に対して層境界を示す画像を重畳した状態で表示部に表示させる表示制御部とを備える画像処理装置。【選択図】  図１
2019198384.tif 000002
【特許請求の範囲】
【請求項１】
被検体の第１の層と前記第１の層とは異なる第２の層との層境界を含む正面画像を取得する画像取得部と、
前記正面画像と前記層境界を示す画像とを、前記正面画像に対して前記層境界を示す画像を重畳した状態で表示部に表示させる表示制御部と、
を備える画像処理装置。
【請求項２】
前記層境界を示す画像は、前記層境界を示す線の画像である、請求項１に記載の画像処理装置。
【請求項３】
前記層境界を示す画像は、前記正面画像に含まれる前記第１の層及び前記第２の層のいずれかを示すマスク画像である、請求項１に記載の画像処理装置。
【請求項４】
前記画像取得部は、前記マスク画像を生成すべき層及び前記マスク画像を生成すべきではない層の少なくともいずれかの指定を取得する、請求項３に記載の画像処理装置。
【請求項５】
前記被検体の断層データに基づいて前記層境界を検出する検出部を更に備え、
前記画像取得部は、前記断層データに基づいて前記被検体の正面画像を生成する、請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記画像取得部は、前記正面画像を生成するための深さ範囲と検出された前記層境界の位置に基づいて、前記層境界を示す画像を生成する、請求項５に記載の画像処理装置。
【請求項７】
前記画像取得部は、前記層境界を示す画像として、前記正面画像を生成するための深さ範囲が前記層境界の位置と交差する部分を示す画像を生成する、請求項６に記載の画像処理装置。
【請求項８】
前記画像取得部は、
前記正面画像の各画素位置において、前記正面画像を生成するための深さ範囲の位置と前記層境界の位置を対比し、
前記層境界を示す画像として、前記深さ範囲の位置と前記層境界の位置が一致する箇所を示す画像を生成する、請求項６又は７に記載の画像処理装置。
【請求項９】
前記画像取得部は、前記正面画像を生成するための深さ範囲が前記層境界の位置と交差するか否かを判断する、請求項６乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記画像取得部は、前記正面画像を生成するための深さ範囲を画定する境界の位置を変更するときに、変更された前記境界の位置と前記層境界の位置に基づいて、前記層境界を示す画像を更新する、請求項６乃至９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記境界は、第１の境界と、前記第１の境界とは異なる第２の境界とを含み、
前記第１の境界の位置と前記第２の境界の位置は互いに同期して変更される、請求項１０に記載の画像処理装置。
【請求項１２】
前記表示制御部は、
前記層境界を含む第１の正面画像と、該第１の正面画像を生成するための深さ範囲よりも広い深さ範囲の前記断層データから生成された第２の正面画像とを切り替え可能に前記表示部に表示させ、
前記第１の正面画像を表示させるときに、前記層境界を示す画像を前記第１の正面画像に重畳した状態で前記表示部に表示させる、請求項５乃至９のいずれか一項に記載の画像処理装置。
【請求項１３】
前記表示制御部は、前記層境界を示す画像を重畳させずに前記第２の正面画像を前記表示部に表示させる、請求項１２に記載の画像処理装置。
【請求項１４】
前記表示制御部は、ユーザにより前記第２の正面画像を生成するための深さ範囲として所定の深さ範囲が指定されたときに、前記第１の正面画像を前記表示部に表示させる、請求項１２に記載の画像処理装置。
【請求項１５】
前記正面画像は、前記被検体の断層データに基づく輝度情報を用いて生成された正面画像、及び前記断層データに基づくモーションコントラストデータを用いて生成された正面画像のうち少なくともいずれか一方を含む、請求項１乃至１４のいずれか一項に記載の画像処理装置。
【請求項１６】
被検体の第１の層と前記第１の層とは異なる第２の層との層境界を含む正面画像を取得する工程と、
前記正面画像と前記層境界を示す画像とを、前記正面画像に対して前記層境界を示す画像を重畳した状態で表示部に表示させる工程と、
を含む、画像処理方法。
【請求項１７】
プロセッサーによって実行されると、該プロセッサーに請求項１６に記載の画像処理方法の各工程を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
光干渉断層撮像法（ＯＣＴ：Ｏｐｔｉｃａｌ  Ｃｏｈｅｒｅｎｃｅ  Ｔｏｍｏｇｒａｐｈｙ）を用いた装置（ＯＣＴ装置）などの眼部の断層画像撮影装置は、網膜層内部の状態を三次元的に観察することが可能である。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから近年注目を集めている。
【０００３】
ＯＣＴの形態として、例えば、高速に画像を取得する方法としては、広帯域光源を用い、分光器でインターフェログラムを取得する手法によるＳＤ−ＯＣＴ（Ｓｐｅｃｔｒａｌ  ｄｏｍａｉｎ  ＯＣＴ）が知られている。また、光源として高速波長掃引光源を用い、単一チャネル光検出器でスペクトル干渉を計測する手法によるＳＳ−ＯＣＴ（Ｓｗｅｐｔ  Ｓｏｕｒｃｅ  ＯＣＴ）が知られている。
【０００４】
そして、近年では、造影剤を用いない血管造影法としてＯＣＴを用いた血管造影法（ＯＣＴＡ：ＯＣＴ  Ａｎｇｉｏｇｒａｐｈｙ）が提案されている。ＯＣＴＡでは、ＯＣＴにより取得した三次元のモーションコントラストデータを二次元平面に投影又は積算することで、血管画像（以下、ＯＣＴＡ画像という。）を生成する。ここで、モーションコントラストデータとは、測定対象の同一断面をＯＣＴで繰り返し撮影し、その撮影間における測定対象の時間的な変化を検出したデータである。モーションコントラストデータは、例えば、複素ＯＣＴ信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得られる。
【０００５】
ＯＣＴＡでは、モーションコントラストデータから被検体の層など深さ方向の領域を指定することで二次元正面画像を作成することができる。特許文献１には、この際の操作性を向上させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−４７１１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ＯＣＴＡでは、ＯＣＴＡ画像として、網膜内層の複数の層にまたがった血管網を二次元平面に投影した血管画像を生成することができる。そのため、検者は、ＯＣＴＡ画像を確認することで、血管の存在を確認することができる。しかしながら、ＯＣＴＡ画像に含まれる血管は、ある程度の深さ範囲内に含まれる血管を可視化したものであるため、所望の深度の血管だけを確認することは難しかった。また、同様に、ＯＣＴ信号に基づく二次元正面画像（Ｅｎ−Ｆａｃｅ画像）を生成する場合には、所望の深度の断層組織だけを確認することが難しかった。
【０００８】
そこで、本発明は、被検体の断層の情報を用いて被検体の詳細な構造を観察する際の操作性、ならびに視認性の向上させることができる画像処理装置、画像処理方法、及びプログラムを提供する。
【課題を解決するための手段】
【０００９】
本発明の一実施態様による画像処理装置は、被検体の第１の層と前記第１の層とは異なる第２の層との層境界を含む正面画像を取得する画像取得部と、前記正面画像と前記層境界を示す画像とを、前記正面画像に対して前記層境界を示す画像を重畳した状態で表示部に表示させる表示制御部とを備える。
【００１０】
また、本発明の他の実施態様による画像処理方法は、被検体の第１の層と前記第１の層とは異なる第２の層との層境界を含む正面画像を取得する工程と、前記正面画像と前記層境界を示す画像とを、前記正面画像に対して前記層境界を示す画像を重畳した状態で表示部に表示させる工程とを含む。
【発明の効果】
【００１１】
本発明によれば、被検体の詳細な構造を観察する際の操作性、並びに視認性を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１に係る画像処理システムの概略的な構成を示す。
【図２】眼部の構造と断層画像と眼底画像を説明するための図である。
【図３】実施例１に係る一連の画像処理のフローチャートである。
【図４】モーションコントラストデータを説明するための図である。
【図５】実施例１に係る正面画像生成処理のフローチャートである。
【図６】実施例１に係る表示画面の一例を示す。
【図７】実施例１に係るＯＣＴＡ画像の生成範囲の変更、及び詳細モードでの表示画面の一例を説明するための図である。
【図８】実施例１に係る詳細なＯＣＴＡ画像の詳細範囲の変更に関する制御を説明するための図である。
【図９】実施例２に係る画像処理システムの概略的な構成を示す。
【図１０】実施例２に係る正面画像生成処理のフローチャートである。
【図１１】実施例２に係る層境界画像を説明するための図である。
【図１２】実施例２に係るＯＣＴＡ画像の表示を説明するための図である。
【図１３】実施例２の変形例に係る正面画像生成処理のフローチャートである。
【図１４】実施例３に係るＯＣＴＡ画像の表示を説明するための図である。
【図１５】変形例６に係る高画質データ生成処理のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
【００１４】
なお、以下、被検体として人眼である被検眼を例に説明するが、被検体は皮膚や臓器等でもあってもよい。この場合、内視鏡等の医療機器から取得した画像に本開示による画像処理方法を適用することができる。また、断層データとは、被検体の断層に関する情報を含むデータであり、ＯＣＴによる干渉信号に基づくデータ、及びこれに高速フーリエ変換（ＦＦＴ：Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）や任意の信号処理を行ったデータを含むものをいう。
【００１５】
（実施例１）
以下、図１乃至図８（ｃ）を参照しながら、本発明の実施例１による画像処理装置を備える画像処理システム、特に眼部の断層画像を用いた画像処理システムについて説明する。
【００１６】
図１は、本実施例に係る画像処理装置２０を備える画像処理システム１の概略的な構成を示す。図１に示すように、画像処理システム１には、断層画像撮影装置の一例であるＯＣＴ装置１０、画像処理装置２０、眼底画像撮影装置３０、外部記憶装置４０、表示部５０、及び入力部６０が設けられている。
【００１７】
ＯＣＴ装置１０は、被検眼の断層画像を撮影するための装置である断層画像撮影装置の一例である。ＯＣＴ装置としては、任意の種類のＯＣＴ装置を用いることができ、例えばＳＤ−ＯＣＴやＳＳ−ＯＣＴを用いることができる。
【００１８】
画像処理装置２０は、インタフェースを介してＯＣＴ装置１０、眼底画像撮影装置３０、外部記憶装置４０、表示部５０、及び入力部６０と接続されており、これらを制御することができる。また、画像処理装置２０は、ＯＣＴ装置１０、眼底画像撮影装置３０、及び外部記憶装置４０から取得する各種信号に基づいて、被検眼の断層画像、ＯＣＴＡ画像、輝度情報に基づくＥｎ−Ｆａｃｅ画像、及び眼底画像等を生成することができる。また、画像処理装置２０は、これら画像について画像処理を施すことができる。なお、画像処理装置２０は、汎用のコンピュータによって構成されてもよいし、画像処理システム１専用のコンピュータによって構成されてもよい。
【００１９】
眼底画像撮影装置３０は、被検眼の眼底画像を撮影するための装置であり、当該装置としては、例えば、眼底カメラやＳＬＯ（Ｓｃａｎｎｉｎｇ  Ｌａｓｅｒ  Ｏｐｈｏｔｈａｌｍｏｓｃｏｐｅ）等を用いることができる。なお、ＯＣＴ装置１０と眼底画像撮影装置３０の装置構成は、一体型でもよいし別体型でもよい。
【００２０】
外部記憶装置４０は、被検眼に関する情報（患者の氏名、年齢、性別等）と、撮影した各種画像データ、撮影パラメータ、画像解析パラメータ、及び操作者によって設定されたパラメータをそれぞれ関連付けて保持している。外部記憶装置４０は、任意の記憶装置によって構成されてよく、例えば、光学ディスクやメモリ等の記憶媒体によって構成されてよい。
【００２１】
表示部５０は、任意のディスプレイによって構成され、画像処理装置２０による制御に従い、被検眼に関する情報や各種画像を表示することができる。
【００２２】
入力部６０は、例えば、マウス、キーボード、又はタッチ操作画面などであり、ユーザは、入力部６０を介して、画像処理装置２０やＯＣＴ装置１０、眼底画像撮影装置３０への指示を画像処理装置２０に入力することができる。なお、入力部６０をタッチ操作画面とする場合には、入力部６０を表示部５０と一体として構成することができる。
【００２３】
なお、これら構成要素は、図１では別体として示されているが、これら構成要素の一部又は全部を一体として構成してもよい。
【００２４】
次にＯＣＴ装置１０について説明する。ＯＣＴ装置１０には、光源１１、ガルバノミラー１２、フォーカスレンズステージ１３、コヒーレンスゲートステージ１４、ディテクタ１５、及び内部固視灯１６が設けられている。なお、ＯＣＴ装置１０は既知の装置であるため詳細な説明は省略し、ここでは、画像処理装置２０からの指示により行われる断層画像の撮影について説明を行う。
【００２５】
画像処理装置２０から撮影の指示が伝えられると、光源１１が光を出射する。光源１１からの光は不図示の分割部を用いて測定光と参照光に分割される。ＯＣＴ装置１０では、測定光を被検体（被検眼）に照射し、被検体からの戻り光と、参照光との干渉光を検出することで、被検体の断層情報を含む干渉信号を生成することができる。
【００２６】
ガルバノミラー１２は、測定光を被検眼の眼底において走査するために用いられ、ガルバノミラー１２による測定光の走査範囲により、ＯＣＴ撮影による眼底の撮影範囲を規定することができる。画像処理装置２０は、ガルバノミラー１２の駆動範囲及び速度を制御することで、眼底における平面方向の撮影範囲及び走査線数（平面方向の走査速度）を規定することができる。図１では、説明を簡略化するため、ガルバノミラー１２を一つのユニットとして示したが、ガルバノミラー１２は、実際にはＸスキャン用のミラーとＹスキャン用の２枚のミラーで構成され、眼底上における所望の範囲を測定光で走査できる。なお、測定光を走査するための走査部の構成はガルバノミラーに限られず、他の任意の偏向ミラーを用いることができる。また、走査部として、例えば、ＭＥＭＳミラーなどの１枚で二次元方向に測定光を走査することができる偏光ミラーを用いてもよい。
【００２７】
フォーカスレンズステージ１３には不図示のフォーカスレンズが設けられている。フォーカスレンズステージ１３を移動させることで、フォーカスレンズを測定光の光軸に沿って移動させることができる。このため、フォーカスレンズによって、被検眼の前眼部を介し、眼底の網膜層に測定光をフォーカスすることができる。眼底を照射した測定光は各網膜層で反射・散乱して戻り光として、光路を戻る。
【００２８】
コヒーレンスゲートステージ１４は、被検眼の眼軸長の相違等に対応するため、参照光又は測定光の光路の長さを調整するために用いられる。本実施例では、コヒーレンスゲートステージ１４は、ミラーが設けられたステージによって構成され、参照光の光路において光軸方向に移動することで参照光の光路長を測定光の光路長に対応させることができる。ここで、コヒーレンスゲートは、ＯＣＴにおける測定光と参照光の光学距離が等しい位置を表す。コヒーレンスゲートステージ１４は、画像処理装置２０により制御されることができる。画像処理装置２０は、コヒーレンスゲートステージ１４によりコヒーレンスゲートの位置を制御することによって、被検眼の深さ方向の撮影範囲を制御することができ、網膜層側の撮影、又は網膜層より深部側の撮影等を制御することができる。
【００２９】
ディテクタ１５は、不図示の干渉部において生じた、被検眼からの測定光の戻り光と参照光との干渉光を検出し、干渉信号を生成する。画像処理装置２０は、ディテクタ１５からの干渉信号を取得し、干渉信号に対してフーリエ変換等を行うことで被検眼の断層画像を生成することができる。
【００３０】
内部固視灯１６には、表示部１６１、レンズ１６２が設けられている。本実施例では、表示部１６１の一例として複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、画像処理装置２０の制御により撮影したい部位に応じて変更される。表示部１６１からの光は、レンズ１６２を介し、被検眼に導かれる。表示部１６１から出射される光は、例えば５２０ｎｍの波長を有し、画像処理装置２０による制御により所望のパターンで表示される。
【００３１】
なお、ＯＣＴ装置１０には、画像処理装置２０による制御に基づいて、各構成要素の駆動を制御するＯＣＴ装置１０用の駆動制御部が設けられてもよい。
【００３２】
次に、図２（ａ）乃至図２（ｃ）を参照して、画像処理システム１で取得する眼の構造と画像について説明する。図２（ａ）は眼球の模式図である。図２（ａ）には、角膜Ｃ、水晶体ＣＬ、硝子体Ｖ、黄斑部Ｍ（黄斑の中心部は中心窩を表す）、及び視神経乳頭部Ｄが表されている。本実施例では、主に、硝子体Ｖ、黄斑部Ｍ、視神経乳頭部Ｄを含む網膜の後極部を撮影する場合について説明を行う。なお、以下では説明をしないが、ＯＣＴ装置１０は、角膜や水晶体等の前眼部を撮影することも可能である。
【００３３】
図２（ｂ）は、ＯＣＴ装置１０を用いて網膜を撮影することで取得した断層画像の一例を示す。図２（ｂ）において、ＡＳは一回のＡスキャンにより取得される画像単位を示す。ここで、Ａスキャンとは、ＯＣＴ装置１０の上記一連の動作により、被検眼の一点における深さ方向の断層情報を取得することをいう。また、Ａスキャンを任意の横断方向（主走査方向）において複数回行うことで被検眼の当該横断方向と深さ方向の二次元の断層情報を取得することをＢスキャンという。Ａスキャンによって取得されたＡスキャン画像を複数集めることで、一つのＢスキャン画像を構成することができる。以下、このＢスキャン画像のことを、断層画像と呼ぶ。
【００３４】
図２（ｂ）には、血管Ｖｅ、硝子体Ｖ、黄斑部Ｍ、視神経乳頭部Ｄが表されている。また、境界線Ｌ１は内境界膜（ＩＬＭ）と神経線維層（ＮＦＬ）との境界、境界線Ｌ２は神経線維層と神経節細胞層（ＧＣＬ）との境界、境界線Ｌ３は視細胞内節外節接合部（ＩＳＯＳ）を表す。さらに、境界線Ｌ４は網膜色素上皮層（ＲＰＥ）、境界線Ｌ５はブルッフ膜（ＢＭ）、境界線Ｌ６は脈絡膜を表す。断層画像において、横軸（ＯＣＴの主走査方向）をｘ軸とし、縦軸（深さ方向）をｚ軸とする。
【００３５】
図２（ｃ）は、眼底画像撮影装置３０を用いて被検眼の眼底を撮影することで取得した眼底画像の一例を示す。図２（ｃ）には、黄斑部Ｍ、視神経乳頭部Ｄが表されており、網膜の血管が太い曲線で表されている。眼底画像において、横軸（ＯＣＴの主走査方向）をｘ軸とし、縦軸（ＯＣＴの副走査方向）をｙ軸とする。
【００３６】
次に、画像処理装置２０について説明する。画像処理装置２０には、取得部２１、画像処理部２２、駆動制御部２３、記憶部２４、及び表示制御部２５が設けられている。
【００３７】
取得部２１は、ＯＣＴ装置１０から被検眼の干渉信号のデータを取得することができる。なお、取得部２１が取得する干渉信号のデータは、アナログ信号でもデジタル信号でもよい。取得部２１がアナログ信号を取得する場合には、画像処理装置２０でアナログ信号をデジタル信号に変換することができる。また、取得部２１は、画像処理部２２で生成された断層データ、モーションコントラストデータ、断層画像、眼底画像、ＯＣＴＡ画像、及びＥｎ−Ｆａｃｅ画像、並びに眼底画像撮影装置３０で取得した眼底情報を含むデータ等を取得することができる。さらに、取得部２１は、被検者識別番号等の被検眼を同定するための情報を入力部６０等から取得することができる。取得部２１は、取得した各種データや画像を記憶部２４に記憶させることができる。
【００３８】
画像処理部２２は、取得部２１で取得されたデータや記憶部２４に記憶されたデータから、各種画像を生成し、生成した画像に画像処理を施すことができる。画像処理部２２には、断層画像生成部２２１、モーションコントラストデータ生成部２２２、正面画像生成部２２３、検出部２２４、高画質データ生成部２２５、及び制御部２２６が設けられている。
【００３９】
断層画像生成部２２１は、取得部２１で取得された干渉信号に対してフーリエ変換等の処理を施して断層データを生成し、断層データに基づいて断層画像を生成することができる。なお、断層画像の生成方法としては既知の任意の方法を採用してよく、詳細な説明は省略する。
【００４０】
モーションコントラストデータ生成部２２２は、断層画像生成部２２１で生成した断層データに基づいて、モーションコントラストデータを生成する。なお、モーションコントラストデータの生成方法としては、既知の任意の方法を用いてよい。例えば、所定の時間間隔の間に取得された干渉信号に基づく２枚の断層画像の互いに対応する画素における画素値の脱相関値や分散値、最大値を最小値で割った値（最大値／最小値）をモーションコントラストデータとして求めることができる。本実施例では、モーションコントラストデータ生成部２２２は、２枚の断層画像に対応する断層データ同士の脱相関値に基づいてモーションコントラストデータを生成する。
【００４１】
正面画像生成部２２３は、モーションコントラストデータ生成部２２２で生成した三次元のモーションコントラストデータから二次元のモーションコントラスト正面画像（ＯＣＴＡ画像）を生成することができる。また、正面画像生成部２２３は、高画質化された三次元のモーションコントラストデータから二次元のモーションコントラスト正面画像を生成することもできる。さらに、正面画像生成部２２３は、取得部２１で取得された干渉信号に基づく三次元の断層データや高画質化された三次元の断層データから二次元の断層正面画像（輝度のＥｎ−Ｆａｃｅ画像）を生成することができる。
【００４２】
検出部２２４は、取得部２１で取得した断層データに基づいて被検眼の網膜の各層の境界線を検出することができる。高画質データ生成部２２５は、三次元のモーションコントラストデータ同士を位置合わせし、加算平均（合成）することで、高画質な三次元のモーションコントラストデータを生成することができる。また、高画質データ生成部２２５は、三次元の断層データ同士を位置合わせし、加算平均することで、高画質な三次元の断層データを生成することもできる。ここで、高画質なデータとは一度の撮影と比較してＳ／Ｎ比が向上しているデータ、又は検査・診断に必要な情報量が増えているデータをいう。
【００４３】
制御部２２６は、正面画像生成部２２３が被検眼の所望の深度における詳細な正面画像を生成する際に用いる断層データの深さ範囲である生成範囲の上端及び下端（第１の境界及び第２の境界）を制御することができる。本実施例では、制御部２２６は、入力部６０を介したユーザからの入力に基づいて、詳細な正面画像を生成するための生成範囲上端及び生成範囲下端を変更することができ、且つ、所定の層境界に基づいてこれらの変更を規制することができる。
【００４４】
駆動制御部２３は、画像処理装置２０に接続されている、ＯＣＴ装置１０や眼底画像撮影装置３０の各構成要素の駆動を制御することができる。記憶部２４は、取得部２１で取得された断層データや画像処理部２２で生成・処理された各種画像、プロセッサーによって実行されることで画像処理装置２０の各構成要素の機能を果たすためのプログラム等を記憶することができる。
【００４５】
表示制御部２５は、取得部２１で取得された各種情報や画像処理部２２で生成・処理された各種画像、ユーザによって入力された情報等の表示部５０における表示を制御することができる。
【００４６】
画像処理装置２０の記憶部２４以外の各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。記憶部２４は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
【００４７】
次に、本実施例に係る画像処理方法について説明する。本実施例に係る画像処理方法では、従来の画像処理方法では困難であった所望の深度における断層組織や血管のみを観察することができるように、通常のＯＣＴＡ画像の生成範囲よりも狭い深さ範囲の断層データを用いた詳細なＯＣＴＡ画像を生成する。ユーザが所望の深度における血管のみを観察する場合、所望の組織（層）について、ＯＣＴＡ画像を生成するための深さ範囲（位置）を順次変更しながら組織の構造や血管を観察することが望まれる場合がある。
【００４８】
しかしながら、層境界の形状は一律ではないため、ＯＣＴＡ画像を生成するための深さ範囲を変更する際に、詳細なＯＣＴＡ画像を生成するための深さ範囲が層境界を越えて所望されない組織の情報を示すデータを含んでしまうことが考えられる。そこで、本実施例に係る画像処理方法では、被検眼の正面方向において、詳細なＯＣＴＡ画像を生成するための深さ範囲の境界が所定の層境界と接する箇所では、層境界を越えるような当該境界の深さ方向の変更を規制する。また、被検眼の正面方向において、詳細なＯＣＴＡ画像を生成するための深さ範囲の境界が所定の層境界と接していない箇所では当該境界の深さ方向の変更を行う。これにより、所望の組織について、所望する深度における組織の構造や血管のみを観察することができる詳細なＯＣＴＡ画像を生成することができる。なお、ここで、被検眼の正面方向とは、被検眼の深さ方向に交差する方向をいう。
【００４９】
以下、図３を参照して本実施例に係る一連の画像処理の手順を示す。図３は、本実施例に係る一連の画像処理のフローチャートである。本実施例に係る画像処理が開始されると、処理はステップＳ３０１に移行する。
【００５０】
ステップＳ３０１では、取得部２１が、被検眼を同定する情報の一例である被検者識別番号を入力部６０等の画像処理装置２０の外部から取得する。取得部２１は、被検者識別番号に基づいて、外部記憶装置４０が保持している当該被検眼に関する情報を取得して記憶部２４に記憶する。
【００５１】
ステップＳ３０２では、駆動制御部２３がＯＣＴ装置１０を制御して被検眼をスキャンすることで撮影を行い、取得部２１がＯＣＴ装置１０から被検眼の断層情報を含む干渉信号を取得する。被検眼のスキャンは、ユーザによるスキャン開始の指示に応じて、駆動制御部２３がＯＣＴ装置１０を制御し、光源１１やガルバノミラー１２等を動作させることで行われる。
【００５２】
ガルバノミラー１２は、水平方向用のＸスキャナと垂直方向用のＹスキャナを含む。そのため、駆動制御部２３は、これらのスキャナの向きをそれぞれ変更することで、装置座標系における水平方向（Ｘ）及び垂直方向（Ｙ）のそれぞれの方向に測定光を走査することができる。なお、駆動制御部２３は、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向にも測定光を走査することができる。そのため、駆動制御部２３は、眼底平面上の任意の方向に測定光を走査することができる。
【００５３】
駆動制御部２３は、撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、駆動制御部２３は、内部固視灯１６で表示するパターンの位置、ガルバノミラー１２によるスキャン範囲やスキャンパターン、コヒーレンスゲート位置、及びフォーカスを少なくとも設定する。
【００５４】
駆動制御部２３は、表示部１６１の発光ダイオードを制御して、被検眼の黄斑部中心や視神経乳頭の撮影を行うように内部固視灯１６で表示するパターンの位置を制御する。また、駆動制御部２３は、ガルバノミラー１２のスキャンパターンとして、三次元ボリュームを撮影するラスタスキャンや放射状スキャン、クロススキャンなどのスキャンパターンを設定する。これら撮影パラメータの調整終了後、ユーザによる撮影開始の指示に応じて、駆動制御部２３がＯＣＴ装置１０を制御して被検眼の撮影を行う。
【００５５】
本実施例においては、スキャンパターンはラスタスキャンによる三次元ボリュームスキャンであり、ＯＣＴ装置１０は、高画質なデータを生成するために、被検眼の三次元ボリュームをＮ回（Ｎは２以上）撮影する。ＯＣＴ装置１０は、Ｎ回繰り返して行う撮影について、同じ撮影範囲を同じスキャンパターンで撮影する。例えば、３ｍｍ×３ｍｍの範囲を３００×３００（主走査×副走査）の間隔で繰り返し撮影を行う。
【００５６】
また、三次元ボリュームスキャンを行う際にＯＣＴ装置１０は、モーションコントラストデータを生成するために略同一のライン箇所をｍ回（ｍは２以上）繰り返し撮影する。すなわち、取得部２１は、例えば、ｍが２回だとする場合、実際には２×３００×３００のデータを取得する。この場合には、モーションコントラストデータ生成部２２２は、後述する処理により、２×３００×３００のデータに基づいて３００×３００の三次元モーションコントラストデータを生成する。なお、略同一のライン箇所とは、同一のライン箇所だけでなく、モーションコントラストデータを生成する際に許容される程度にずれたライン箇所も含むものをいう。
【００５７】
本開示においては詳細な説明を省略するが、ＯＣＴ装置１０は、加算平均用に同じ箇所を撮影するために、被検眼のトラッキングを行うことができる。これにより、ＯＣＴ装置１０は、固視微動の影響を少なくして被検眼のスキャンを行うことができる。さらに、ＯＣＴ装置１０は、画像を生成するにあたりアーティファクトとなるまばたき等の動きを検出した場合には、アーティファクトが発生した場所で再スキャンを自動的に行うことができる。
【００５８】
ステップＳ３０３では、断層画像生成部２２１が、取得部２１によって取得された干渉信号に基づいて断層画像の生成を行う。断層画像生成部２２１は、それぞれの干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成することができる。
【００５９】
まず、断層画像生成部２２１は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は、取得した複数のＡスキャンの信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。その後、断層画像生成部２２１は、有限区間で干渉信号をフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。断層画像生成部２２１は、窓関数処理を行った干渉信号に対して高速フーリエ変換（ＦＦＴ）処理を行うことによって断層データを生成する。
【００６０】
断層画像生成部２２１は、生成した断層データに基づいて断層画像の各画素値を求め、断層画像を生成する。なお、断層画像の生成方法はこれに限られず、既知の任意の方法で行われてよい。
【００６１】
ステップＳ３０４では、モーションコントラストデータ生成部２２２が、断層画像生成部２２１によって生成された断層データに基づいて、モーションコントラストデータの生成を行う。ここで、図４を参照して、モーションコントラストデータの生成について説明を行う。図４には、三次元のモーションコントラストデータＭＣ、三次元のモーションコントラストデータＭＣを構成する二次元のモーションコントラストデータＬＭＣが示されている。ここでは、二次元のモーションコントラストデータＬＭＣを生成する方法について説明をする。
【００６２】
モーションコントラストデータ生成部２２２は、まず被検眼の略同一範囲で撮影された複数の断層画像間の位置ずれを補正する。ここで、断層画像間の位置ずれの補正方法は任意の方法であってよい。例えば、モーションコントラストデータ生成部２２２は、略同一範囲をｍ回撮影して取得した三次元の断層データのうち、略同一箇所に対応する断層データ同士について、眼底形状の特徴等を利用して位置合わせを行う。なお、以下において、１枚の断層画像に対応する断層データを１組の断層データといい、ｍ枚の断層画像に対応する断層データをｍ組の断層データという。
【００６３】
具体的には、略同一箇所のｍ回の撮影に対応するｍ組の断層データのうちの１つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の断層データとの類似度を求め、テンプレートとの位置ずれ量を求める。その後、モーションコントラストデータ生成部２２２は、求めた位置ずれ量に基づいて、ｍ組の断層データの各断層データを補正する。
【００６４】
次にモーションコントラストデータ生成部２２２は、各断層データに関する撮影時間が所定の時間間隔内である、２組の断層データ間で式１により脱相関値Ｍ（ｘ,ｚ）を求める。
【数１】
2019198384.tif 000003
ここで、Ａ（ｘ,ｚ）は断層データＡの位置（ｘ，ｚ）における輝度、Ｂ（ｘ，ｚ）は断層データＢの同一位置（ｘ、ｚ）における輝度を示している。
【００６５】
脱相関値Ｍ（ｘ，ｚ）は０〜１の値となり、２つの輝度の差が大きいほどＭ（ｘ，ｚ）の値は大きくなる。モーションコントラストデータ生成部２２２は、略同一位置で行った撮影の繰り返し回数ｍが３以上の場合には、同一位置（ｘ，ｚ）において複数の脱相関値Ｍ（ｘ，ｚ）を求めることができる。モーションコントラストデータ生成部２２２は、求めた複数の脱相関値Ｍ（ｘ，ｚ）の最大値演算や平均演算などの統計的な処理を行うことで、最終的なモーションコントラストデータを生成することができる。なお、繰り返し回数ｍが２の場合、最大値演算や平均演算などの統計的な処理は行わず、２組の断層データＡ，Ｂの脱相関値Ｍ（ｘ，ｚ）が、位置（ｘ，ｚ）におけるモーションコントラストデータの値となる。
【００６６】
式１に示したモーションコントラストデータの計算式はノイズの影響を受けやすい傾向がある。例えば、複数組の断層データの無信号部分にノイズがあり、互いに値が異なる場合には、脱相関値が高くなり、モーションコントラスト画像にもノイズが重畳してしまう。これを避けるために、モーションコントラストデータ生成部２２２は、前処理として、所定の閾値を下回る断層データはノイズとみなして、ゼロに置き換えることができる。これにより、後述する処理において、正面画像生成部２２３は、当該前処理を施して生成されたモーションコントラストデータに基づいて、ノイズの影響を低減したモーションコントラスト画像を生成することができる。
【００６７】
画像処理装置２０は、ステップＳ３０２〜ステップＳ３０４の処理を複数回のボリュームスキャンで取得した干渉信号に対して行うことで、複数の三次元断層データ（三次元断層画像）と複数の三次元モーションコントラストデータを取得することができる。なお、画像処理装置２０は、１回のボリュームスキャンで干渉信号を取得する毎にステップＳ３０２〜Ｓ３０４の処理を随時行ってもよい。この場合、１回目のボリュームスキャンでは１つの３次元断層データしか得られないため、モーションコントラストデータの生成処理を省略し、２回目以降の処理においてモーションコントラストデータを生成することができる。
【００６８】
ステップＳ３０５では、検出部２２４が、三次元断層データにおいて網膜層の境界線（層境界）を検出する。検出部２２４は、図２（ｂ）の断層画像においてＬ１〜Ｌ６の各境界、又は不図示のＧＣＬ／ＩＰＬ、ＩＰＬ／ＩＮＬ、ＩＮＬ／ＯＰＬ、及びＯＰＬ／ＯＮＬ境界のいずれかを検出する。
【００６９】
具体的には、検出部２２４は、処理の対象とする断層画像に対して、メディアンフィルタとＳｏｂｅｌフィルタをそれぞれ適用してメディアン画像及びＳｏｂｅｌ画像を生成する。次に、検出部２２４は、生成したメディアン画像とＳｏｂｅｌ画像から、Ａスキャンに対応する断層データ毎にプロファイルを生成する。ここで、生成されるプロファイルは、メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。その後、検出部２２４は、Ｓｏｂｅｌ画像から生成したプロファイル内のピークを検出する。検出部２２４は、検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を検出する。
【００７０】
なお、層境界を検出する方法は当該方法に限られない。検出部２２４は、既知の任意の方法により層境界を検出することができる。
【００７１】
ステップＳ３０６では、高画質データ生成部２２５が、複数の三次元断層データ及び複数の三次元モーションコントラストデータを用いて高画質な三次元データを生成する。以下、三次元データとは、輝度値からなる三次元断層データと、脱相関値からなる三次元モーションコントラストデータのことを指す。
【００７２】
具体的には、高画質データ生成部２２５は、層境界の情報及び複数の三次元モーションコントラストデータに基づいて正面画像生成部２２３によって生成されたモーションコントラスト正面画像を位置合わせ用の画像として取得する。なお、正面画像生成部２２３によるモーションコントラスト正面画像の生成手法については後述する。高画質データ生成部２２５は、取得した位置合わせ用の画像に基づいて、複数の三次元モーションコントラストデータから基準となる三次元モーションコントラストデータを選択する。その後、高画質データ生成部２２５は、基準となる三次元モーションコントラストデータと他の三次元モーションコントラストデータとをＸ，Ｙ，Ｚ方向について位置合わせし、位置合わせした複数のモーションコントラストデータを加算平均する。これにより、高画質データ生成部２２５は、高画質な三次元モーションコントラストデータを生成することができる。
【００７３】
また、高画質データ生成部２２５は、基準とされた三次元モーションコントラストデータに対応する三次元断層データを基準とし、複数の三次元断層データの位置合わせを行い、位置合わせ後の複数の三次元断層データを加算平均する。これにより、高画質データ生成部２２５は、高画質な三次元断層データ（三次元断層画像）を生成することができる。なお、高画質データ生成部２２５は、モーションコントラストデータの位置合わせパラメータを用いて、複数の三次元断層データについて位置合わせを行ってもよい。
【００７４】
ここで、モーションコントラストデータの位置合わせ方法及び三次元断層データの位置合わせ方法は、上記方法に限られず、既知の任意の方法を用いてよい。
【００７５】
ステップＳ３０７では、正面画像生成部２２３が、ユーザによって指定される正面画像の生成範囲に基づいて、高画質な三次元モーションコントラストデータからモーションコントラスト画像の正面画像であるＯＣＴＡ画像を生成する。また、詳細な正面画像を生成する詳細モードがユーザによって指定された場合には、正面画像生成部２２３は、ユーザによって指定される詳細な正面画像の生成範囲に基づいて、高画質な三次元モーションコントラストデータから詳細なＯＣＴＡ画像を生成する。この際、制御部２２６は、詳細な正面画像の生成範囲と層境界の情報に基づいて、詳細なＯＣＴＡ画像を生成するための生成範囲を制御する。
【００７６】
ここで、図５を参照して、ステップＳ３０７での正面画像生成処理について詳細に説明する。図５は、本実施例に係る正面画像生成処理のフローチャートである。本実施例に係る正面画像生成処理が開始されると、処理はステップＳ５０１に移行する。
【００７７】
ステップＳ５０１では、取得部２１が、入力部６０を介して、ユーザによって指定される正面画像の生成するための深さ範囲（生成範囲）を画定する生成範囲上端及び生成範囲下端の情報を取得する。
【００７８】
ステップＳ５０２では、正面画像生成部２２３が、指定された生成範囲上端と生成範囲下端との間の範囲に対応する三次元モーションコントラストデータを二次元平面上に投影し、ＯＣＴＡ画像を生成する。具体的には、正面画像生成部２２３は、全体の三次元モーションコントラストデータのうち、生成範囲上端と生成範囲下端の間の範囲に対応するモーションコントラストデータを抽出する。その後、正面画像生成部２２３は、抽出したモーションコントラストデータを深さ方向に対して平均値投影（ＡＩＰ）、又は最大値投影（ＭＩＰ）などの処理を行うことで、ＯＣＴＡ画像の画素値を決定する。これにより、正面画像生成部２２３はＯＣＴＡ画像を生成することができる。
【００７９】
なお、ＯＣＴＡ画像の生成方法は平均値投影処理や最大値投影処理に限らない。例えば、抽出したモーションコントラストデータについて、深さ方向に対して最小値、中央値、分散、標準偏差、又は総和などの値を算出することで、ＯＣＴＡ画像の各画素値を生成してもよい。
【００８０】
ステップＳ５０３では、表示制御部２５が、正面画像生成部２２３によって生成されたＯＣＴＡ画像を表示部５０に表示させる。また、表示制御部２５は、ＯＣＴＡ画像を生成するための生成範囲を示すため、断層画像生成部２２１によって高画質な三次元断層データに基づいて生成された断層画像を、ＯＣＴＡ画像と対応可能な状態で表示することができる。ここで、図６は、本実施例で表示部５０に表示される表示画面の一例を示す。
【００８１】
図６には表示画面６００が示されており、表示画面６００には、ビューモードのタブ６２３，６２４が設けられている。タブ６２３では、三次元のモーションコントラストデータから生成した二次元のＯＣＴＡ画像が表示され、タブ６２４では、三次元モーションコントラストデータが表示される。
【００８２】
なお、表示部５０の表示画面６００には、これらに加えて患者タブ、撮影タブ、レポートタブ、及び設定タブ等を設けてもよい。この場合、ビューモードのタブ６２３，６２４は、レポートタブに表示されることとなる。また、表示画面６００には、患者情報表示部、検査ソートタブ、及び検査リスト等を表示することもできる。検査リストには、眼底画像や断層画像、ＯＣＴＡ画像のサムネイルを表示してもよい。なお、これらのサムネイルは高画質データから生成されることができる。
【００８３】
タブ６２３には、高画質なデータを生成するモード（高画質モード）のＯＮ／ＯＦＦを設定するボタン６２２が設けられている。本実施例では、以下、高画質なデータに基づいて生成された各種画像について説明を行う。
【００８４】
また、タブ６２３には、眼底画像６０１、第１のＯＣＴＡ画像６０２、第１の断層画像６０３、三次元断層データから生成した正面画像６０４（Ｅｎ−Ｆａｃｅ画像）、第２のＯＣＴＡ画像６０５、及び第２の断層画像６０６が表示されている。さらに、タブ６２３には、眼底画像６０１に重畳している画像６０７、画像６０７の種類を切り替えるタブ６０８、及び第１の断層画像６０３のＸＹ面内における位置を示す矢印６４５が表示されている。
【００８５】
また、タブ６２３には、第１のＯＣＴＡ画像６０２として表示するＯＣＴＡ画像の種類６０９、第１のＯＣＴＡ画像６０２の生成範囲上端６１０及び生成範囲下端６１１が表示されている。ＯＣＴＡの種類としては、表層、深層、脈絡膜等や任意の範囲で作成したＯＣＴＡ画像がある。第１のＯＣＴＡ画像６０２の生成範囲上端６１０には上端に対応する層境界の種類と当該層境界からのオフセット値、生成範囲下端６１１には下端に対応する層境界の種類と当該層境界からのオフセット値が示されている。また、第１の断層画像６０３には、第１のＯＣＴＡ画像６０２の生成範囲上端６１０を示す境界線６１８、及び生成範囲下端６１１を示す境界線６１９が重畳表示されている。
【００８６】
また、タブ６２３には、正面画像６０４の種類６１２、第２のＯＣＴＡ画像６０５の種類６１３、種類６１３を選択するプルダウン６１４、選択の表示６１５、並びに第２のＯＣＴＡ画像６０５の生成範囲上端６１６及び生成範囲下端６１７が示されている。プルダウン６１４は、第２のＯＣＴＡ画像６０５の種類を選択するための選択肢の一例である。生成範囲上端６１６及び生成範囲下端６１７は、第１のＯＣＴＡ画像６０２の生成範囲上端６１０及び生成範囲下端６１１と同様のものである。第２の断層画像６０６には、第２のＯＣＴＡ画像６０５の生成範囲上端６１６を示す境界線６２０、及び生成範囲下端６１７を示す境界線６２１が重畳表示されている。
【００８７】
領域６４０は、高画質化したモーションコントラストデータにおける閾値以上のデータを、高画質化した第１の断層画像６０３及び第２の断層画像６０６に重畳表示をしている例を示している。このため、第１のＯＣＴＡ画像６０２及び第２のＯＣＴＡ画像６０５で示す血管に相当するデータと、領域６４０に示す血管に相当するデータの一部が対応している。
【００８８】
なお、モーションコントラストデータを断層画像に重畳表示する際、モーションコントラストデータに対応する領域は、モーションコントラストデータの値に応じてカラー表示することができる。例えば、値が高ければ赤、値が低ければ黄色で表現する。なお、値の大きさに応じて連続的に色が変化するように表示することもできる。色はここで示したものに限らず、断層画像で表示している網膜と差が付く色で表現されることができる。例えば、断層画像は、輝度値の大きさで表現するが、輝度値の大きさに応じた疑似カラーで網膜を表現することも可能である。その場合、重畳表示をする領域６４０の色を、網膜の疑似カラーと異なる色で表現することができる。
【００８９】
また、第１の断層画像６０３及び第２の断層画像６０６の周辺には、ＯＣＴＡの観察モードを通常のＯＣＴＡ観察モードと、網膜の詳細な構造観察するための詳細モードとで切り替えるためのチェックボックス６５０，６５１が表示されている。なお、観察モードを選択するためのＵＩとしてチェックボックスを例に説明するが、観察モードを選択するためのＵＩはこれに限らない。例えば、右クリックメニューに観察モードを選択するためのメニューを表示してもよいし、ＯＣＴＡ画像の生成範囲を指定するＵＩと同様の種類のＵＩを表示して、詳細な構造観察用の観察範囲を指定できるようにしてもよい。
【００９０】
ステップＳ５０３において、表示制御部２５が、表示部５０にＯＣＴＡ画像を表示させると、処理はステップＳ５０４に移行する。ステップＳ５０４では、画像処理部２２が、入力部６０からの入力を受け付け、ユーザからのＯＣＴＡ画像の生成範囲の変更指示があるか否かを判断する。画像処理部２２は、入力部６０を介した生成範囲の変更指示があると判断したら処理をステップＳ５０１に戻し、取得部２１は入力部６０を介した当該変更指示から生成範囲の情報を取得する。また、画像処理部２２は、入力部６０を介して、画像処理装置２０のモードを通常のＯＣＴＡ観察モードから詳細モードに変更する指示があると判断したら、処理をステップＳ５０５に移行する。なお、画像処理部２２は、入力部６０を介した生成範囲の変更指示がないと判断したら、正面画像生成処理を終了し、処理をステップＳ３０８に移行する。
【００９１】
ここで、図７（ａ）及び図７（ｂ）を参照して、通常のＯＣＴＡ観察モードにおけるＯＣＴＡ画像の生成範囲を変更する際の操作について説明をする。図７（ａ）は、図６における第１のＯＣＴＡ画像６０２、第１の断層画像６０３、第１のＯＣＴＡ画像６０２の種類６０９、第１のＯＣＴＡ画像６０２の生成範囲上端６１０を示す境界線６１８、及び生成範囲下端６１１を示す境界線６１９を示している。また、図７（ａ）は、通常のＯＣＴＡ観察モードと、詳細な構造を観察する詳細モードとを選択するチェックボックス６５０を示している。図７（ｂ）は、図７（ａ）で示す第１のＯＣＴＡ画像６０２の生成範囲を深さ方向（第１の断層画像６０３の上下方向）のより深い方向へ変更した場合の例を示す。
【００９２】
図７（ｂ）に示す例では、第１のＯＣＴＡ画像６０２の生成範囲上端６１０の境界線６１８と生成範囲下端６１１の境界線６１９を同期させて変更する。本例では境界線６１８，６１９が同期しているため、どちらか一方の境界線を移動させる（変更する）と、残りの境界線も同期して移動する。境界線６１８，６１９が移動することで、指定される第１のＯＣＴＡ画像６０２の生成範囲が変更される。このため、正面画像生成部２２３は変更された生成範囲に基づいてＯＣＴＡ画像を更新し、表示制御部２５が更新されたＯＣＴＡ画像を第１のＯＣＴＡ画像６０２として表示する。
【００９３】
境界線６１８，６１９を移動させるための操作方法は、ユーザが境界線６１８，６１９のどちらかをドラッグすることで移動させてもよいし、生成範囲上端６１０又は生成範囲下端６１１のオフセット値を入力することで移動させるようにしてもよい。このように通常のＯＣＴＡ観察モードでは、ＯＣＴＡ画像の生成のために指定する生成範囲の境界線の形状を保ったまま深さ方向に移動する。なお、境界線の同期のＯＮとＯＦＦは変更可能とされてよく、境界線の同期がＯＦＦの場合には、操作する境界線のみが形状を保ったまま深度方向に移動することとなる。
【００９４】
一方で、入力部６０からの入力によりチェックボックス６５０にチェックが入れられた場合には、画像処理部２２は、画像処理装置２０のモードを通常のＯＣＴＡ観察モードから詳細モードに変更する指示があったと判断する。この場合、画像処理部２２は、画像処理装置２０のモードを詳細モードに変更し、処理をステップＳ５０５に移行する。
【００９５】
以下、図５、及び図７（ｃ）乃至図８（ｃ）を参照して、本実施例に係る網膜の詳細な構造を観察する詳細モードにおける詳細なＯＣＴＡ画像の生成範囲を指定・変更する際の操作に関して説明する。ステップＳ５０５では、取得部２１が、入力部６０からユーザによって指定された、詳細モード用の詳細なＯＣＴＡ画像（詳細画像）を生成するための深さ範囲である生成範囲（以下、詳細範囲ともいう。）を画定する境界の情報を取得する。
【００９６】
ここで、図７（ｃ）では、第１の断層画像６０３において、境界線６１８及び境界線６１９の間に、詳細モード用のＯＣＴＡ画像（詳細画像）を生成するための深さ範囲である詳細範囲を画定する境界を示す境界線７０１が示されている。
【００９７】
本実施例においては、この境界線７０１が生成範囲上端６１０の境界線６１８から生成される場合の例について説明する。なお、詳細画像を生成するための詳細範囲の境界線７０１は生成範囲下端６１１の境界線６１９から生成されてもよい。この場合には、境界線７０１は境界線６１９から深さ方向において浅い方向に変更されていくこととなる。
【００９８】
詳細モードにおいては、ユーザが断層画像に重畳表示される通常のＯＣＴＡ画像の生成範囲上端又は下端のどちらかの境界線上でドラッグを行うことに応じて、表示制御部２５が当該境界線の形状を複製した詳細範囲を示す境界線を断層画像上に表示する。また、表示制御部２５は、詳細範囲を示す境界線をユーザによるドラッグに応じて断層画像上で移動するように表示する。
【００９９】
ここで、ＯＣＴＡ画像は正面画像であるため、ＯＣＴＡ画像の生成範囲の上端及び下端は面として延在する。そのため、詳細画像の生成範囲である詳細範囲も三次元的な面として延在する。本実施例では、詳細範囲を数μｍの厚み（例えば、６μｍ）を持った三次元的な曲面としており、当該厚みは断層画像上では１〜数ｐｉｘｅｌに対応するため、詳細範囲を画定する境界を１つの境界線７０１で示す。なお、詳細範囲を画定する上端の境界（第１の境界）及び下端の境界（第２の境界）は、生成範囲の上端及び下端と同様に、互いに同期して移動される。
【０１００】
表示制御部２５は、詳細範囲の位置と形状を示すために、第１の断層画像６０３に境界線７０１を重畳表示する。この際、表示制御部２５は、境界線７０１を、複製元の境界線と同系色の破線や一点鎖線で表示することで、自動検出をした境界線とは異なる境界線として識別しやすいように表示することができる。なお、境界線７０１の表示様式はこれに限られず、任意に設定されてよい。
【０１０１】
ステップＳ５０５において、取得部２１が詳細範囲を画定する境界の情報を取得すると、処理はステップＳ５０６に移行する。ステップＳ５０６は、制御部２２６が、取得部２１によって取得した詳細範囲の境界の情報及びステップＳ３０５で検出した層境界の情報に基づいて、詳細範囲を画定する境界の変更を制御する。
【０１０２】
具体的には、制御部２２６は、詳細範囲を画定する境界の変更が、ステップＳ５０１で取得したＯＣＴＡ画像の生成範囲内（生成範囲上端６１０及び生成範囲下端６１１の間）に含まれる層境界を越える変更か否かを判断する。より具体的には、制御部２２６は、ＯＣＴＡ画像の正面方向の各画素位置において、詳細範囲を画定する境界の深さ方向の位置（座標）とＯＣＴＡ画像の生成範囲内に含まれる層境界の深さ方向の位置を対比して、当該境界と層境界が接するか否かを判断する。その後、制御部２２６は、層境界の深さ方向の位置と、詳細範囲を画定する境界の変更方向に基づいて、当該境界の変更が層境界を越える変更か否かを判断する。
【０１０３】
制御部２２６は、詳細範囲を画定する境界の変更が、層境界を越える変更であると判断した場合には、当該画素位置での境界の変更を規制し、当該境界の深さ方向の位置を層境界の位置に設定する。一方で、詳細範囲を画定する境界の変更が、所定の層境界を越える変更ではないと判断した場合には、ステップＳ５０５で取得した境界の情報に基づいて当該境界の深さ方向の位置を変更する。
【０１０４】
当該処理により、詳細なＯＣＴＡ画像を生成するための生成範囲である詳細範囲は、ＯＣＴＡ画像の生成範囲内に含まれる層境界を越えないように変更されるため、所望の組織における断層組織や血管のみの情報に対応する詳細範囲を設定することができる。
【０１０５】
図８（ａ）乃至図８（ｃ）は、詳細範囲の境界線７０１を操作して、境界線６１８から境界線６１９までの間を移動させた場合の境界線７０１の形状の変化を示している。図８（ａ）は、境界線７０１が境界線６１８から移動を始めたとき、図８（ｂ）は境界線７０１が境界線６１９と接したとき、図８（ｃ）は境界線７０１が境界線６１９に接した後にも境界線７０１を移動させたときの例を示している。
【０１０６】
図８（ａ）乃至図８（ｃ）では、詳細範囲の境界線７０１は、通常のＯＣＴＡ画像の生成範囲上端及び生成範囲下端の境界線６１８，６１９の間（注目領域内）で移動する。特に、図８（ａ）及び図８（ｂ）では、詳細範囲の境界線７０１は、形状を維持したまま、通常のＯＣＴＡ画像の生成範囲上端及び生成範囲下端の境界線６１８，６１９の間（注目領域内）で移動する。
【０１０７】
これに対し、図８（ｃ）では、詳細範囲の境界線７０１は、通常のＯＣＴＡ画像の生成範囲上端及び生成範囲下端の境界線６１８，６１９の間から出ないように、形状が変化されながら移動する。詳細範囲の境界線７０１は、各Ａスキャン位置（正面画像の各画素位置）において、境界線６１８，６１９のどちらかに接した箇所は移動を停止し、接していない箇所では移動を続ける。そのため、境界線７０１のドラッグによる移動量はＡスキャン位置毎にそれぞれ異なることとなり、境界線７０１の形状が変化する。
【０１０８】
なお、図８（ａ）乃至図８（ｃ）に示した例では、生成範囲の境界線６１８，６１９が層境界であるものとし、詳細範囲を画定する境界は生成範囲の境界線６１８，６１９により変更が規制される構成について説明した。しかしながら、詳細範囲の境界の変更を規制する層境界はこれに限られない。例えば、ＯＣＴＡ画像の生成範囲は任意の層境界からオフセットされた位置に設定されている場合もある。そのため、詳細範囲の境界の変更を規制する層境界は生成範囲の境界線６１８，６１９内に含まれる層境界であればよい。また、ＯＣＴＡ画像の生成範囲内に境界線６１８，６１９によって示される層境界とは別の層境界が含まれる場合には、制御部２２６は、当該別の層境界に基づいて詳細範囲の境界の変更を規制することもできる。なお、詳細範囲の境界の変更を規制する層境界は、入力部６０を介してユーザによって指定されることができる。
【０１０９】
ステップＳ５０６において、制御部２２６が詳細範囲を画定する境界の変更を制御したら、処理はステップＳ５０７に移行する。ステップＳ５０７では、制御部２２６によって制御された境界が画定する詳細範囲のモーションコントラストデータに基づいて、正面画像生成部２２３が詳細なＯＣＴＡ画像（詳細画像）を生成する。詳細なＯＣＴＡ画像の生成方法は、ステップＳ５０２でのＯＣＴＡの生成方法と同様であるため、説明を省略する。
【０１１０】
ステップＳ５０８では、表示制御部２５が、正面画像生成部２２３によって生成した詳細なＯＣＴＡ画像を用いて、表示部５０に表示されているＯＣＴＡ画像を更新する。これにより、現在注目している網膜層の範囲内（通常のＯＣＴＡ画像の生成範囲内）において、任意の深度に注目した詳細なＯＣＴＡ画像を連続的に表示することができる。
【０１１１】
ステップＳ５０９では、画像処理部２２が、入力部６０からの入力を受け付け、ユーザからの詳細範囲の変更指示があるか否かを判断する。画像処理部２２は、入力部６０を介した詳細範囲の変更指示があると判断したら処理をステップＳ５０５に戻し、取得部２１は入力部６０を介した当該変更指示から詳細範囲を取得する。なお、当該変更指示を行う際には、ユーザはＯＣＴＡ画像の生成範囲上端や下端をドラッグして詳細範囲を設定する必要はなく、既に示されている境界線７０１をドラッグすることで詳細範囲を設定してもよい。
【０１１２】
一方、画像処理部２２は、入力部６０を介した詳細範囲の変更指示がないと判断したら、正面画像生成処理を終了し、処理をステップＳ３０８に移行する。なお、画像処理部２２は、ユーザから入力部６０を介して範囲変更の終了指示を受けることで、正面画像生成処理を終了し、処理をステップＳ３０８に移行してもよい。
【０１１３】
ステップＳ３０８において、取得部２１は、入力部６０を介して、画像処理装置２０による画像処理を終了するか否かの指示をユーザから取得する。取得部２１が処理を終了しない指示を取得した場合には、処理をステップＳ３０２に戻して処理を続行する。一方、取得部２１が、処理を終了する指示を取得した場合には、画像処理装置２０は一連の画像処理を終了する。
【０１１４】
上記のように、本実施例に係る画像処理装置２０は、取得部２１と、正面画像生成部２２３と、制御部２２６とを備える。取得部２１は、被検体の断層データを取得する。正面画像生成部２２３は、断層データに基づいて被検体の詳細なＯＣＴＡ画像を生成する。制御部２２６は、詳細なＯＣＴＡ画像を生成するための深さ範囲（詳細範囲）を画定する境界の位置を変更するときに、所定の層境界の位置及び詳細範囲を画定する境界の位置に基づいて、当該境界の位置の変更を規制する。また、制御部２２６は、被検体の深さ方向に交差する方向（正面方向）において詳細範囲を画定する境界が所定の層境界と接している箇所では、境界の位置の変更を規制する。一方で、制御部２２６は、被検体の深さ方向に交差する方向において詳細範囲を画定する境界が所定の層境界と接していない箇所では、当該境界の位置を変更する。
【０１１５】
より具体的には、制御部２２６は、被検体の深さ方向に交差する方向における詳細範囲を画定する境界が所定の層境界と接している箇所において、当該境界が所定の層境界を越えるような当該境界の位置の変更を規制する。ここで、例えば、所定の層境界が通常のＯＣＴＡ画像の生成範囲を画定する上端及び下端の層境界である場合を考える。この場合には、制御部２２６は、通常のＯＣＴＡ画像を生成するための生成範囲の上端（第１の層境界）及び下端（第２の層境界）の間において、当該生成範囲を越えないように、詳細なＯＣＴＡ画像を生成するための詳細範囲を画定する境界の位置を変更する。
【０１１６】
これにより本実施例に係る画像処理装置２０は、三次元のモーションコントラストデータ、又は三次元の断層データを用いて、注目領域内の任意の網膜の詳細な構造を観察することができる正面画像を生成することができる。そのため、被検体の詳細な構造を観察する際の画像処理装置２０の操作性及び正面画像に示される組織の視認性を向上させることができる。
【０１１７】
また、画像処理装置２０は、被検体の正面画像を表示する表示部５０と、表示部５０に正面画像を表示させる表示制御部２５とを備える。表示制御部２５は、詳細範囲の断層データを用いて生成された被検体の詳細なＯＣＴＡ画像（第１の正面画像）と、詳細範囲よりも広い深さ範囲の断層データを用いて生成されたＯＣＴＡ画像（第２の正面画像）とを切り替え可能に表示部５０に表示させる。ここで、詳細範囲を画定する境界の位置は、通常のＯＣＴＡ画像（第２の正面画像）を生成するための比較的広い深さ範囲の間で変更される。
【０１１８】
これにより、画像処理装置２０は、通常のＯＣＴＡ画像で注目する、注目領域内の所望の深度の詳細な構造を観察する際の操作性及び観察される組織の視認性を向上させることができる。
【０１１９】
本実施例においては、境界線７０１や境界線６１８，６１９の移動に連動して、更新する正面画像の例としてＯＣＴＡ画像を示したが、これに限らない。これらの境界線の移動に連動して、例えば、三次元断層データに基づく輝度情報を用いて生成する正面画像（輝度のＥｎ−Ｆａｃｅ画像）を更新するようにしてもよいし、ＯＣＴＡ画像と輝度のＥｎ−Ｆａｃｅ画像とを並べて同時に更新するようにしてもよい。さらには、境界線の移動前のＯＣＴＡ画像や輝度のＥｎ−Ｆａｃｅ画像と、境界線の移動に応じて更新したＯＣＴＡ画像や輝度のＥｎ−Ｆａｃｅ画像とを並べて表示するようにしてもよい。
【０１２０】
なお、詳細範囲の深さ方向の厚みは数μｍに限られず、ＯＣＴＡ画像の生成範囲上端６１０から生成範囲下端６１１までの間において、所望の深さ範囲に応じて任意に設定されてよい。この場合でも、詳細範囲の上端及び下端（境界）は、ドラッグされたＯＣＴＡ画像の生成範囲の境界線の形状を複製したものであってよい。
【０１２１】
また、制御部２２６は、詳細範囲の変更を規制する際には、詳細範囲の深さ方向の厚みを維持するように詳細範囲の変更を規制してもよいし、層境界に接した後も当該厚み分の変更を行ってもよい。例えば、制御部２２６は、詳細範囲の上端（第１の境界）と下端（第２の境界）について、詳細範囲が深さ方向におけるより深い方向に変更される場合に、詳細範囲の下端が接するまでの変更を行ってもよいし、上端が接するまでの変更を行ってもよい。なお、詳細範囲の深さ方向の厚み分の変更を許容する場合には、先に接した境界の変更は層境界の深さ位置において規制されることができる。また、詳細範囲の両端が同じ層境界と接する場合には、正面画像生成部２２３は、詳細範囲の両端が接する層境界の深さ方向の位置におけるモーションコントラストデータに基づいて、当該位置の画素値を決定することができる。
【０１２２】
また、画像処理装置２０は、チェックボックス６５０のチェックを外すことで、通常のＯＣＴＡ観察モードになり、第１のＯＣＴＡ画像６０２として、境界線６１８，６１９で示される生成範囲から生成されるＯＣＴ画像を表示するように構成されてもよい。より具体的には、ステップＳ５０９において、画像処理部２２が、入力部６０を介した指示に応じて、画像処理装置２０のモードを詳細モードから通常のＯＣＴＡ観察モードに変更し、処理をステップＳ５０１に戻すようにしてもよい。
【０１２３】
さらに、本実施例では、ステップＳ５０１において、取得部２１が入力部６０を介してユーザによって指定される正面画像の生成するための生成範囲を画定する生成範囲上端及び生成範囲下端の情報を取得した。しかしながら、生成範囲の情報を取得する処理はこれに限られない。例えば、取得部２１は、ＯＣＴ装置１０や画像処理装置２０の撮影モード、又は撮影部位等に応じて予め定められたデフォルト値を生成範囲の情報として取得してもよい。この場合、ステップＳ５０２では、正面画像生成部２２３が、取得されたデフォルト値に応じた生成範囲上端と生成範囲下端との間の範囲に対応する三次元モーションコントラストデータを二次元平面上に投影し、ＯＣＴＡ画像を生成することができる。なお、ＯＣＴＡ画像の生成範囲のデフォルト値は予め記憶部２４に記憶されていてもよい。
【０１２４】
また、本実施例では、ステップＳ５０５において、取得部２１が、入力部６０からユーザによって指定された、詳細なＯＣＴＡ画像を生成するための詳細範囲を画定する境界の情報を取得した。しかしながら、詳細範囲を画定する境界の情報を取得する処理はこれに限られない。例えば、取得部２１は、詳細範囲を画定する境界の情報として、ＯＣＴ装置１０や画像処理装置２０の撮影モード、又は撮影部位等に応じて予め定められたデフォルト値を取得してもよい。
【０１２５】
さらに、本実施例では、制御部２２６は、ユーザからの指示に応じて詳細範囲を画定する境界を変更した。これに対し、画像処理装置２０は、ステップＳ５０１で取得したＯＣＴＡ画像の生成範囲内で、詳細範囲を所定の間隔で自動的に順次変更する、詳細範囲の自動変更モードを備えてもよい。
【０１２６】
この場合、取得部２１は、詳細範囲を画定する境界の情報として、ＯＣＴＡ画像の生成範囲内の位置の情報を所定の間隔で順次取得する。そして、制御部２２６は、順次取得される位置がＯＣＴＡ画像の生成範囲内に含まれる層境界を越える変更か否かを判断し、判断結果に応じて詳細範囲を画定する境界の変更を制御する。正面画像生成部２２３は、制御部２２６によって制御された境界の位置に基づいて詳細なＯＣＴＡ画像を順次生成する。この場合、表示制御部２５は、表示部５０に、生成される詳細なＯＣＴＡ画像を順次表示させてもよいし、生成された詳細なＯＣＴＡ画像を並べて表示させてもよいし、生成された詳細なＯＣＴＡ画像のうち選択された画像を表示させてもよい。
【０１２７】
本実施例においては、層境界の検出はモーションコントラストデータの生成処理の後に行われた、層境界の検出を行うタイミングはこれに限られない。層境界の検出を行うタイミングは、断層画像生成の生成後、高画質データの生成処理までに行われればよい。また、高画質データの生成において、層境界の情報を用いない場合には、層境界の検出処理は正面画像生成処理の前に行われてもよい。
【０１２８】
（実施例２）
実施例１においては、三次元モーションコントラストデータ、又は三次の断層データに関して、注目領域内で詳細な正面画像の生成範囲（詳細範囲）を深度方向に移動させる場合の画像生成処理の例について述べた。これに対し、本実施例では、三次元モーションコントラストデータ、又は三次元断層データに関して、詳細な正面画像の生成範囲（詳細範囲）を深度方向に移動させる場合の正面画像表示方法について述べる。
【０１２９】
ＯＣＴＡ画像を生成する際に、所定の深さ範囲のモーションコントラストデータを投影している場合には、ＯＣＴＡ画像とモーションコントラストデータの深さ範囲とを対応付けることができる。しかしながら、ＵＩを操作してＯＣＴＡ画像の生成範囲を任意に変更できる場合、表示されたＯＣＴＡ画像を確認するだけでは、どの深さ範囲で生成されたかを判断することが困難な場合がある。
【０１３０】
そのため、本実施例に係る正面画像表示方法では、深度方向の情報が付加された正面画像を表示する。そのため、本実施例によれば、ユーザは、正面画像の生成範囲を任意に変更する場合においても、表示された正面画像を確認するだけで、正面画像がどの深さ範囲で生成されたかを容易に判断することができる。そのため、被検体の詳細な構造を観察する際の操作性及び視認性を向上させることができる。
【０１３１】
以下、図９乃至図１２（ｃ）を参照して、本実施例による画像処理システムについて述べる。以下、本実施例に係る画像処理システムによる画像処理について、実施例１による画像処理との違いを中心として説明する。なお、実施例１に係る画像処理システム１の構成及び処理と同様である本実施例による画像処理システムの構成及び処理については、同一の参照符号を用いて示し、説明を省略する。
【０１３２】
図９は、本実施例による画像処理システム２の概略的な構成を示す。本実施例に係る画像処理システム２では、画像処理装置９０の画像処理部９２（画像取得部）において、制御部２２６の代わりに層境界画像生成部９２６が設けられている。
【０１３３】
層境界画像生成部９２６は、詳細な正面画像を生成するための詳細範囲及び検出部２２４によって検出された層境界の情報に基づいて、詳細な正面画像に含まれる層境界を示す画像を生成することができる。
【０１３４】
また、表示制御部２５は、正面画像生成部２２３によって生成された詳細な正面画像を表示部５０に表示させる際に、層境界画像生成部９２６で生成された層境界を示す画像を重畳して表示させることができる。
【０１３５】
なお、層境界画像生成部９２６も、画像処理部９２の他の構成要素と同様に、ＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールやＡＳＩＣ等の特定の機能を果たす回路等によって構成されることができる。
【０１３６】
次に、図１０を参照して、本実施例に係る正面画像生成処理について説明する。なお、正面画像生成処理以外の処理については実施例１の処理と同様であるため、説明を省略する。図１０は本実施例に係る正面画像生成処理のフローチャートを示している。本実施例に係る正面画像生成処理において、生成範囲取得処理から指示判断処理までの処理、及び詳細範囲変更処理の処理は、実施例１と同様であるため、同一の参照符号を用いて示し、説明を省略する。本実施例に係る正面画像生成処理が実行され、ステップＳ５０４において、画像処理装置９０のモードを詳細モードへ変更する指示があると画像処理部９２が判断したら、処理はステップＳ１００５に移行する。
【０１３７】
ステップＳ１００５においては、取得部２１が、入力部６０からユーザによって指定された、詳細モード用のＯＣＴＡ画像（詳細画像）を生成するための深さ範囲である生成範囲（詳細範囲）を画定する境界の情報を取得する。本実施例では、ユーザは層境界をドラッグする必要はなく、詳細なＯＣＴＡ画像を生成するための詳細範囲について所望の深さ位置をクリックする又は所望の詳細範囲について数値を入力する等により、詳細範囲を画定する境界を指定することができる。なお、本実施例においては、詳細なＯＣＴＡ画像を生成するための詳細範囲として深さ方向に対して略垂直な方向に延在する平面として説明するが、詳細範囲の上端と下端の形状はこれに限らず、任意の層境界の形状であってもよい。
【０１３８】
ステップＳ１００５において取得部２１が詳細範囲を取得すると、処理はステップＳ１００７に移行する。ステップＳ１００７では、正面画像生成部２２３が、取得部２１で取得された詳細範囲のモーションコントラストデータに基づいて、詳細なＯＣＴＡ画像を生成する。なお、詳細なＯＣＴＡ画像の生成処理は実施例１と同様であるため、説明を省略する。
【０１３９】
正面画像生成部２２３が詳細なＯＣＴＡ画像を生成したら、処理はステップＳ１０１０に移行する。ステップＳ１０１０では、層境界画像生成部９２６が、詳細範囲の情報とステップＳ３０５で検出された層境界の情報から、詳細なＯＣＴＡ画像に含まれる層境界を示す画像（層境界画像）を生成する。具体的には、層境界画像生成部９２６は、ＯＣＴＡ画像の各画素位置において、詳細範囲の深さ方向の位置（座標）と任意の層境界の深さ方向の位置を対比して、これらが一致する箇所（画素位置）を示す二次元画像を生成する。
【０１４０】
ここで、図１１（ａ）及び図１１（ｂ）を参照して、層境界画像生成部９２６が生成する層境界を示す画像について説明する。図１１（ａ）に示されるメッシュ構造の放物面（境界面１１０１）は、ある境界を三次元的に示した例であり、平面１１０２は、本実施例に係る詳細なＯＣＴＡ画像を生成するための詳細範囲を示した例である。平面１１０２を深度方向（図１１（ａ）ではｚ軸方向）に移動させると、境界面１１０１と平面１１０２の一部が交差する。図１１（ｂ）は、図１１（ａ）に示される境界面１１０１と平面１１０２との交差部を二次元平面に投影した場合の二次元画像１１０３の例を示し、二次元画像１１０３には境界面１１０１と平面１１０２の交差が点線１１０４で示されている。
【０１４１】
層境界画像生成部９２６は、図１１（ｂ）に示される二次元画像１１０３のように、層境界と詳細範囲の交差部を示す二次元画像を、層境界を示す画像として生成する。なお、層境界画像生成部９２６は、層境界との交差を判断する詳細範囲の厚み方向（深さ方向）の位置について、詳細範囲の厚みに含まれる任意の位置に設定してもよい。例えば、層境界画像生成部９２６は、層境界との交差を判断する詳細範囲の厚み方向（深さ方向）の位置を、詳細範囲の上端の位置としてもよいし、詳細範囲の下端の位置としてもよいし、これらの中間点の位置としてもよい。
【０１４２】
層境界画像生成部９２６が、層境界を示す画像を生成したら、処理はステップＳ１００８に移行する。ステップＳ１００８では、表示制御部２５が、詳細なＯＣＴＡ画像に層境界画像生成部９２６が生成した層境界を示す画像を重畳して表示する。以降の処理は、実施例１の処理と同様であるため、説明を省略する。
【０１４３】
ここで、図１２（ａ）乃至図１２（ｃ）を参照して、本実施例において表示部５０に表示される、層境界を示す画像が重畳された詳細なＯＣＴＡ画像、及び詳細なＯＣＴＡ画像の詳細範囲を示す境界線が重畳された断層画像について説明する。図１２（ａ）には、表示画面６００における第１のＯＣＴＡ画像６０２と、第１の断層画像６０３と、詳細モードのＯＮ／ＯＦＦを切り替えるためのチェックボックス１２５０とが示されている。
【０１４４】
なお、本実施例における詳細モードの動作は、実施例１における詳細モードの動作とは異なる。このため、実施例１に係るチェックボックス６５０と本実施例に係るチェックボックス１２５０とは別の動作を指定するものである。ここでは、これら画像処理装置９０のモードを切り替えるためのボタンをチェックボックスとして表しているが、ラジオボタンとして表し、実施例１の詳細モードと本実施例の詳細モードとを切り替えられるようにしてもよい。なお、チェックボックスやラジオボタンは画像処理装置９０のモードを切り替えるためのＵＩの一例であり、その他任意のボタンを用いて画像処理装置９０のモードを切り替えてもよい。
【０１４５】
また、図１２（ａ）には、第１のＯＣＴＡ画像６０２である詳細なＯＣＴＡ画像の詳細範囲の上端１２１０を示す境界線１２１８と詳細範囲の下端１２１１を示す境界線１２１９が示されている。なお、本実施例による正面画像表示方法では、詳細な正面画像に、注目領域以外の領域に対応する断層構造等が表示されることを許容する。そのため、本実施例における詳細モードの詳細範囲を変更する範囲は、通常のＯＣＴＡ画像について指定した生成範囲（注目領域）内に限られない。これに関連して、図１２（ａ）において第１の断層画像６０３の上部には、通常のＯＣＴＡ画像の生成範囲ではなく、詳細なＯＣＴＡ画像の詳細範囲の上端１２１０及び下端１２１１が示されている。
【０１４６】
なお、本実施例では、上端１２１０と下端１２１１で画定される詳細範囲を、数μｍの厚み（例えば、６μｍ）を持った三次元的な平面としている。ここで、当該厚みは断層画像上では１〜数ｐｉｘｅｌに対応するため、本実施例では、詳細範囲を画定する境界である上端１２１０と下端１２１１を略同じ深さ位置に示す。なお、詳細範囲の深さ方向の厚みは数μｍに限られず、所望する観察対象に応じて任意に設定されてよい。
【０１４７】
図１２（ａ）乃至図１２（ｃ）は、詳細なＯＣＴＡ画像の生成範囲である詳細範囲の上端１２１０の平面を示す境界線１２１８と下端１２１１の平面を示す境界線１２１９を同期させて、深度方向に移動させる場合の例を示す。本例では、詳細範囲の上端１２１０（第１の境界）及び下端１２１１（第２の境界）が同期しているため、どちらか一方を移動させると、残りも同期して移動する。
【０１４８】
正面画像生成部２２３は、上端１２１０と下端１２１１で指定される詳細範囲のモーションコントラストデータから詳細なＯＣＴＡ画像を生成し、表示制御部２５は生成された詳細なＯＣＴＡ画像を第１のＯＣＴＡ画像６０２として表示する。この際、表示制御部２５は、詳細なＯＣＴＡ画像に層境界画像生成部９２６によって生成された層境界を示す画像を重畳表示する。
【０１４９】
次に、詳細なＯＣＴＡ画像の表示について説明をする。図１２（ａ）乃至図１２（ｃ）に示される第１のＯＣＴＡ画像６０２は、それぞれ異なる深度についてのモーションコントラストデータから生成された詳細なＯＣＴＡ画像の例である。
【０１５０】
図１２（ａ）は、詳細なＯＣＴＡ画像の左側の一部が網膜表層を表し、右側が硝子体内を表す例を示しており、詳細なＯＣＴＡ画像の左側には血管が表されている。図１２（ｂ）は、網膜表層周辺の深さの組織構造についての詳細なＯＣＴＡ画像を示す例であり、詳細なＯＣＴＡ画像全体に血管が表されている。図１２（ｃ）は、詳細なＯＣＴＡ画像の左側が網膜外層を表し、右側が網膜深層周辺の深さの組織構造を表す例であり、詳細なＯＣＴＡ画像の右側に血管が表されている。
【０１５１】
また、図１２（ａ）乃至図１２（ｃ）に示される第１のＯＣＴＡ画像６０２には、それぞれ、点線１２３０，１２３１，１２３２，１２３３，１２３４がそれぞれ重畳表示されている。これは、詳細なＯＣＴＡ画像を生成するための詳細範囲と層境界が交差する場所を示しているものであり、層境界画像生成部９２６によって生成された層境界を表す画像に対応する。そのため、図１２（ａ）乃至図１２（ｃ）に示される第１のＯＣＴＡ画像６０２に重畳表示する点線１２３０〜１２３４は、図１１（ｂ）で例示した、詳細範囲と層境界との三次元的な交差を二次元に表現したものとなる。
【０１５２】
なお、層境界を示す画像の例である点線１２３０〜１２３４は点線である必要はなく、ＯＣＴＡ画像や輝度のＥｎ−Ｆａｃｅ画像と区別がつくものであればよい。さらには、詳細範囲と層境界との交差を表しているため、層境界毎（例えば、ＩＬＭとＧＣＬ／ＩＰＬ境界など）に色分けをしている場合には、対応する層境界と対応する色で層境界を示す画像を表現してもよい。
【０１５３】
他には、層境界を示す画像を線で表現するだけではなく、面で表現するようにしてもよい。例えば、層境界Ａと層境界Ｂの間に存在する領域面には層境界Ｂに対応する色を重畳表示し、層境界Ｂと層境界Ｃの間に存在する領域面には層境界Ｃに対応する色を重畳表示するようにしてもよい。なお、色を重畳表示する場合、色には透明度αを適宜設定する。また、詳細なＯＣＴＡ画像では面全体ではなく、脱相関値の高い血管に相当する部分のみに色付けをするようにしてもよい。また、深さ方向において層境界よりも深い方向又は浅い方向だけに色を重畳表示してもよい。
【０１５４】
上記のように、本実施例に係る画像処理装置９０は、被検眼の第１の層と、第１の層とは異なる第２の層との層境界を含むＯＣＴＡ画像を取得する画像処理部９２（画像取得部）と、表示部５０の表示を制御する表示制御部２５とを備える。表示制御部２５は、ＯＣＴＡ画像とＯＣＴＡ画像に含まれる層境界を示す画像とを、ＯＣＴＡ画像に対して当該層境界を示す画像を重畳した状態で表示部５０に表示させる。ここで、ＯＣＴＡ画像に含まれる層境界を示す画像は、当該層境界を示す線の画像である。
【０１５５】
また、画像処理装置９０は、被検眼の断層データを取得する取得部２１と、断層データに基づいて被検眼の断層における層境界を検出する検出部２２４とを備える。さらに、画像処理部９２は、被検眼のＯＣＴＡ画像を生成する正面画像生成部２２３と、断層データ及び検出された層境界の位置に基づいて、層境界を示す画像を生成する層境界画像生成部９２６とを備える。層境界画像生成部９２６は、より具体的には、層境界を示す画像として、ＯＣＴＡ画像を生成するための深さ範囲が、層境界の位置と交差する部分を示す画像を生成する。
【０１５６】
このような構成から、本実施例による画像処理装置９０では、二次元の正面画像であるＯＣＴＡ画像に層境界を示す画像が重畳表示されることで、深度方向の情報が付加されたＯＣＴＡ画像が表示される。そのため、ユーザは、ＵＩを操作してＯＣＴＡ画像の生成範囲を任意に変更する場合においても、表示されたＯＣＴＡ画像を確認するだけで、ＯＣＴＡ画像がどの深さ範囲で生成されたかを容易に判断することができる。従って、ユーザは所望の深度の断層組織や血管を識別し、当該断層組織や血管だけを容易に確認することができ、被検体の詳細な構造を観察する際の操作性及び視認性を向上させることができる。
【０１５７】
なお、層境界画像生成部９２６は、層境界を示す画像を生成するときに、ＯＣＴＡ画像を生成するための深さ範囲が層境界の位置と交差するか否かを判断することができる。具体的には、層境界画像生成部９２６は、ＯＣＴＡ画像を生成するための深さ方向の位置（座標）と任意の層境界の深さ方向の位置を対比して、これらが一致しない場合、これらが交差しないと判断することができる。層境界画像生成部９２６は、ＯＣＴＡ画像を生成するための深さ範囲が層境界の位置と交差しないと判断した場合には、層境界を示す画像を生成しなくてもよい。この場合には、層境界を示す画像が生成されないため、表示制御部２５は、層境界を示す画像を重畳せずにＯＣＴＡ画像を表示部５０に表示させる。このような構成では、ＯＣＴＡ画像を生成するための深さ範囲が層境界の位置と交差しない場合に、層境界を示す画像の生成処理と重畳処理を省略することができるため、処理時間を短縮することができる。
【０１５８】
また、層境界画像生成部９２６は、ＯＣＴＡ画像を生成するための深さ範囲を画定する境界の位置を変更するときに、変更された境界の位置と層境界の位置に基づいて、層境界を示す画像を更新する。このため、ユーザは、ＯＣＴＡ画像の更新時においても、表示されたＯＣＴＡ画像を確認するだけで、ＯＣＴＡ画像がどの深さ範囲で生成されたかを容易に判断することができる。
【０１５９】
さらに、表示制御部２５は、層境界を含む詳細なＯＣＴＡ画像（第１の正面画像）と、該詳細なＯＣＴＡ画像を生成するための深さ範囲よりも広い深さ範囲の断層データから生成されたＯＣＴＡ画像（第２の正面画像）を切り替え可能に表示部５０に表示させる。そして、表示制御部２５は、詳細なＯＣＴＡ画像を表示するときに、層境界を示す画像を詳細なＯＣＴＡ画像に重畳した状態で表示部に表示させる。なお、表示制御部２５は、ＯＣＴＡ画像を表示させる場合には、層境界を示す画像を重畳させずにＯＣＴＡ画像を表示部５０に表示させる。
【０１６０】
これにより、ユーザは、観察する対象に応じて層境界を示す画像が重畳されたＯＣＴＡ画像を確認して、所望の深度の断層組織や血管だけを容易に確認することができる。
【０１６１】
なお、本実施例においては、生成される詳細な正面画像としてＯＣＴＡ画像を示したが、生成される詳細な正面画像は輝度のＥｎ−Ｆａｃｅ画像であってもよい。この場合にも、Ｅｎ−Ｆａｃｅ画像に層境界を示す画像を重畳表示することで、深度方向の情報が付加された詳細なＥｎ−Ｆａｃｅ画像を表示することができる。これにより、ユーザは、ＵＩを操作してＥｎ−Ｆａｃｅ画像の生成範囲を任意に変更する場合においても、表示されたＥｎ−Ｆａｃｅ画像を確認するだけで、Ｅｎ−Ｆａｃｅ画像がどの深さ範囲で生成されたか容易に判断することができる。そのため、ユーザは所望の深度の断層組織や血管を識別し、当該断層組織や血管だけを容易に確認することができ、被検体の詳細な構造を観察する際の操作性及び視認性を向上させることができる。なお、詳細な正面画像としてＯＣＴＡ画像と輝度のＥｎ−Ｆａｃｅ画像の両方が生成されてもよい。
【０１６２】
また、本実施例では、層境界画像の生成を詳細なＯＣＴＡ画像の生成の後に行っているが、層境界画像の生成を行うタイミングはこれに限られない。層境界画像の生成は、詳細なＯＣＴＡ画像を生成する詳細範囲を取得した後から詳細なＯＣＴＡ画像が表示されるまでの間で行われればよい。そのため、層境界画像の生成は、例えば、詳細なＯＣＴＡ画像の生成と並行して行われてもよいし、これの前に行われてもよい。
【０１６３】
また、画像処理装置９０は、チェックボックス１２５０のチェックを外すことで、通常のＯＣＴＡ観察モードになるように構成されてもよい。さらに、取得部２１は、ＯＣＴ装置１０や画像処理装置９０の撮影モード、又は撮影部位等に応じて予め定められたデフォルト値を生成範囲や詳細範囲の情報として取得してもよい。また、画像処理装置９０は、ステップＳ５０１で取得したＯＣＴＡ画像の生成範囲内や、ユーザによって指定された範囲内で、詳細範囲を所定の間隔で自動的に順次変更する、詳細範囲の自動変更モードを備えてもよい。この場合、層境界画像生成部９２６は、取得部２１で順次取得された詳細範囲を画定する境界の位置の情報及び所定の層境界の情報に基づいて、詳細なＯＣＴＡ画像に対応する層境界画像を順次生成する。なお、表示制御部２５は、表示部５０に、層境界画像を重畳させた詳細なＯＣＴＡ画像を順次表示させてもよいし、並べて表示させてもよいし、選択された画像を表示させてもよい。
【０１６４】
さらに、本実施例における層境界を示す画像が重畳される二次元正面画像は詳細モードで表示される詳細画像に限られない。本実施例に係る正面画像表示方法においては、各層境界を示す画像が重畳された二次元正面画像が表示されれば、その正面画像がユーザはどの深さ範囲で生成された正面画像かを容易に判断することができる。そのため、各層境界を示す画像が重畳される二次元正面画像を生成するための深さ範囲について、注目領域を設定する必要はない。従って、各層境界を示す画像は、通常のＯＣＴＡ観察モードにおいて生成される通常のＯＣＴＡ画像に重畳されてもよい。
【０１６５】
図１３を参照して、この場合の正面画像生成処理について説明する。図１３は、層境界を示す画像が通常のＯＣＴＡ画像に重畳される場合の、正面画像生成処理のフローチャートである。本正面画像生成処理が実行され、生成範囲取得処理及び正面画像生成処理が行われると、処理はステップＳ１３１０に移行する。なお、ステップＳ５０１の生成範囲取得処理においては、生成範囲の境界の形状を深さ方向に対して垂直な方向に延在する平面としてもよいし、任意の層境界の形状としてもよい。また、生成範囲の深さ方向の厚みは詳細範囲の深さ方向の厚みと同様に数μｍとすることができる。ただし、生成範囲の深さ方向の厚みはこれに限られず、生成範囲の深さ方向の厚みは所望する観察対象に応じて任意に設定されてよい。
【０１６６】
ステップＳ１３１０では、層境界画像生成部９２６が、ステップＳ１０１０と同様に、ＯＣＴＡ画像の生成範囲の情報とステップＳ３０５で検出された層境界の情報から、ＯＣＴＡ画像に含まれる層境界を示す画像を生成する。
【０１６７】
ステップＳ１３０３では、表示制御部２５が、ステップＳ５０２で生成されたＯＣＴＡ画像に、ステップＳ１３１０で生成された層境界を示す画像を重畳して表示する。この際表示される画像は、図１２（ａ）乃至図１２（ｃ）に示される画像と同様となる。ただし、この場合には、図１２（ａ）乃至図１２（ｃ）に示される、詳細範囲の上端１２１０及び下端１２１１の記載は、ＯＣＴＡ画像の生成範囲の上端及び下端を示し、チェックボックス６５０は削除される。
【０１６８】
その後、ステップＳ１３０４では、画像処理部２２が、入力部６０からの入力を受け付け、ユーザからのＯＣＴＡ画像の生成範囲の変更指示があるか否かを判断する。画像処理部２２は、入力部６０を介した生成範囲の変更指示があると判断したら処理をステップＳ５０１に戻し、取得部２１は入力部６０を介した当該変更指示から生成範囲を取得する。一方で、画像処理部２２は、入力部６０を介した生成範囲の変更指示がないと判断したら、処理をステップＳ３０８に移行する。なお、画像処理部２２は、ユーザから入力部６０を介して範囲変更の終了指示を受けることで、正面画像生成処理を終了し、処理をステップＳ３０８に移行してもよい。
【０１６９】
このように、通常のＯＣＴＡ画像に対して各層境界を示す画像を重畳表示する場合であっても、ユーザは表示されたＯＣＴＡ画像を確認するだけで、ＯＣＴＡ画像がどの深さ範囲で生成されたかを容易に判断することができる。そのため、ユーザは所望の深度の断層組織や血管を識別し、当該断層組織や血管だけを容易に確認することができ、被検体の詳細な構造を観察する際の操作性及び視認性を向上させることができる。また、上記と同様に、通常の輝度のＥｎ−Ｆａｃｅに対して各層境界を示す画像を重畳表示する場合も同様の効果を奏することができる。
【０１７０】
また、層境界画像の生成をＯＣＴＡ画像の生成の後に行っているが、層境界画像の生成を行うタイミングはこれに限られない。層境界画像の生成は、ＯＣＴＡ画像を生成する生成範囲を取得した後からＯＣＴＡ画像が表示されるまでの間で行われればよい。そのため、層境界画像の生成は、例えば、ＯＣＴＡ画像の生成と並行して行われてもよいし、これの前に行われてもよい。
【０１７１】
（実施例３）
実施例２においては、三次元モーションコントラストデータ、又は三次元断層データに関して、層境界を線で示す画像を正面画像に重畳表示する方法について述べた。これに対し、実施例３では、三次元モーションコントラストデータ、又は三次元断層データに関して、正面画像の生成範囲を深度方向に変更する場合に層境界及び層境界を越える領域を示す画像を正面画像に重畳表示する方法について述べる。
【０１７２】
上述のように、ＯＣＴＡ画像を生成する際に、所定の深さ範囲のモーションコントラストデータを投影している場合には、ＯＣＴＡ画像とモーションコントラストデータの深さ範囲とを対応付けることができる。しかしながら、ＵＩを操作してＯＣＴＡ画像の生成範囲を任意に変更できる場合、表示されたＯＣＴＡ画像を確認するだけでは、どの深さ範囲で生成されたかを判断することが困難な場合がある。
【０１７３】
そのため、本実施例に係る正面画像表示方法では、所望の深さ範囲を超える領域をマスクするマスク画像を正面画像に重畳表示する。これにより、二次元の正面画像であるＯＣＴＡ画像に、任意の深度（深さ範囲）におけるモーションコントラストデータに基づく断層組織や血管のみが表示される。そのため、ユーザは、ＵＩを操作してＯＣＴＡ画像の生成範囲を任意に変更する場合においても、表示されたＯＣＴＡ画像を確認するだけで、ＯＣＴＡ画像がどの深さ範囲で生成されたかを容易に判断することできる。そのため、被検体の詳細な構造を観察する際の操作性及び視認性を向上させることができる。
【０１７４】
以下、図１４（ａ）乃至１４（ｃ）を参照して、本実施例による画像処理システムについて述べる。以下、本実施例に係る画像処理システムによる画像処理について、実施例２に係る画像処理との違いを中心として説明する。なお、本実施例に係る画像処理システムの構成及び処理フローは、実施例２に係る画像処理システム２の構成及び処理と同様であるため、同一の参照符号を用いて示し、説明を省略する。本実施例に係る正面画像生成処理は、主に、詳細範囲取得処理（ステップＳ１００５）と層境界画像生成処理（ステップＳ１０１０）において、実施例２に係る正面画像生成処理と異なるため、以下、これら処理について説明する。
【０１７５】
本実施例に係る詳細範囲取得処理（ステップＳ１００５）では、取得部２１が、入力部６０からユーザによって指定された、詳細モード用ＯＣＴＡ画像（詳細画像）を生成するための深さ範囲である生成範囲（詳細範囲）を画定する境界の情報を取得する。この際、取得部２１は、実施例１に係る詳細範囲取得処理（ステップＳ５０５）と同様に、詳細なＯＣＴＡ画像を生成するための詳細範囲の境界を、注目領域となるＯＣＴＡ画像の生成範囲の上端又は下端の境界線の形状に基づいて取得する。
【０１７６】
操作としては、実施例１と同様に、ユーザが、断層画像に重畳表示されるＯＣＴＡ画像の生成範囲の上端又は下端のどちらかの境界線上でドラッグを行うことで、当該境界線の形状を複製した詳細範囲を設定することができる。本実施例では、ＯＣＴＡ画像の生成範囲上端の境界線の形状を複製した詳細範囲について説明する。ここで、本実施例では、詳細範囲は数μｍの厚み（例えば、６μｍ）を持った三次元的な曲面とする。当該厚みは断層画像上では１〜数ｐｉｘｅｌに対応するため、本実施例では、詳細範囲を画定する境界を１つの境界線で示す。なお、詳細範囲の上端及び下端は、境界の形状を維持したまま、互いに同期して、ＯＣＴＡ画像の生成範囲（注目領域）内において移動される。
【０１７７】
ここで、図１４（ａ）は、本実施例に係る詳細モードが選択される前の表示画面６００の一部を示している。図１４（ａ）は、表示画面６００における、第１のＯＣＴＡ画像６０２と、第１の断層画像６０３と、第１のＯＣＴＡ画像６０２の生成範囲上端６１０を示す境界線６１８と、生成範囲下端６１１を示す境界線６１９とを示している。また、図１４（ａ）は、通常のＯＣＴＡ観察モードと本実施例による詳細モードとを選択するチェックボックス１４５０を示している。
【０１７８】
なお、本実施例における詳細モードの動作は、実施例１及び２における詳細モードの動作とは異なる。このため、チェックボックス６５０と、チェックボックス１２５０と、チェックボックス１４５０とは別の動作を指定するものである。ここでは、これら画像処理装置９０のモードを切り替えるためのボタンをチェックボックスとして表しているが、ラジオボタンとして表し、実施例１の詳細モードと、実施例２の詳細モードと、本実施例の詳細モードとを切り替えられるようにしてもよい。なお、チェックボックスやラジオボタンは画像処理装置９０のモードを切り替えるためのＵＩの一例であり、その他任意のボタンを用いて画像処理装置９０のモードを切り替えてもよい。
【０１７９】
図１２（ｂ）は、チェックボックス１４５０にチェックが入れられ、画像処理装置９０のモードが本実施例に係る詳細モードに変更され、詳細範囲が生成範囲上端６１０から移動を始めたときの表示画面６００の一部を示している。図１２（ｂ）には、詳細ＯＣＴＡ画像の詳細範囲を画定する境界を示す境界線１４０１が第１の断層画像６０３に重畳表示されている。ユーザは、ＯＣＴＡ画像の生成範囲上端６１０を示す境界線６１８又は生成範囲下端６１１を示す境界線６１９上でドラッグを行うことで、当該境界線の形状を複製した、詳細指定を画定する境界を示す境界線１４０１を設定することができる。取得部２１は、ユーザによる境界線１４０１の設定に応じて、詳細範囲の情報を取得する。
【０１８０】
その後、正面画像生成部２２３は、実施例２と同様に、ステップＳ１００７において、取得部２１で取得された詳細範囲のモーションコントラストデータに基づいて、詳細なＯＣＴＡ画像を生成する。
【０１８１】
正面画像生成部２２３が詳細なＯＣＴＡ画像を生成したら、処理はステップＳ１０１０に移行する。ステップＳ１０１０では、層境界画像生成部９２６が、詳細範囲の情報とステップＳ３０５で検出された層境界の情報から、詳細なＯＣＴＡ画像に含まれる層境界及び層境界を越えた箇所を示す画像を生成する。具体的には、層境界画像生成部９２６は、ＯＣＴＡ画像の各画素位置において、詳細範囲の深さ方向の位置（座標）と任意の層境界の深さ方向の位置を対比する。層境界画像生成部９２６は、対比結果に基づいて、これらが一致する箇所（画素位置）及び詳細範囲の位置が層境界の位置を越えた箇所を示す二次元画像であるマスク画像を生成する。
【０１８２】
層境界画像生成部９２６が、層境界及び層境界を越えた箇所を示すマスク画像を生成したら、処理はステップＳ１００８に移行する。ステップＳ１００８では、表示制御部２５が、詳細なＯＣＴＡ画像に層境界画像生成部９２６が生成したマスク画像を重畳して表示する。以降の処理は、実施例２の処理と同様であるため、説明を省略する。
【０１８３】
ここで、図１４（ｂ）及び図１４（ｃ）を参照して、層境界画像生成部９２６によって生成される、層境界及び層境界を越えた箇所を示すマスク画像が重畳表示される詳細なＯＣＴＡ画像について説明する。図１４（ｂ）は詳細なＯＣＴＡ画像の詳細範囲の境界線１４０１の一部が、層境界であるＯＣＴＡ画像の生成範囲下端６１１の境界線６１９と接したときの、詳細なＯＣＴＡ画像である第１のＯＣＴＡ画像６０２及び第１の断層画像６０３を示している。図１４（ｃ）は、詳細なＯＣＴＡ画像の詳細範囲の境界線１４０１が境界線６１９に接した後においても、境界線１４０１をより深い方向へ移動させたときの、詳細なＯＣＴＡ画像である第１のＯＣＴＡ画像６０２及び第１の断層画像６０３を示している。
【０１８４】
図１４（ｂ）では、詳細範囲の境界線１４０１の一部がＯＣＴＡ画像の生成範囲下端６１１の境界線６１９と接しているが、詳細範囲は境界線６１９に対応する層境界を越えていないため、層境界画像生成部９２６はマスク画像を生成しない。ここでは、詳細範囲の下端の一部が層境界と接した状況を想定しており、詳細範囲の位置は層境界の位置と一致していないものとする。そのため、図１４（ｂ）の第１のＯＣＴＡ画像６０２はマスク画像が重畳されない状態で表示されている。
【０１８５】
図１４（ｃ）では、詳細範囲の境界線１４０１は形状を保ったままＯＣＴＡ画像の生成範囲上端６１０と生成範囲下端６１１を示す境界線６１８，６１９の範囲内で移動されている。ここで、詳細範囲の境界の形状は、ＯＣＴＡ画像の生成範囲上端６１０の形状を複製したものであるため、境界線１４０１の一部が、生成範囲上端６１０の形状と異なる形状を有する生成範囲下端６１１の境界線６１９を越えている。
【０１８６】
このため、層境界画像生成部９２６は、詳細範囲の深さ方向の位置が層境界であるＯＣＴＡ画像の生成範囲下端６１１の深さ方向の位置と一致する箇所及びこれを越える箇所を示すマスク画像を生成する。そして、表示制御部２５は、生成されたマスク画像を詳細なＯＣＴＡ画像に重畳表示することで、詳細範囲が境界線６１９と一致する領域及びこれを超えた領域（領域１４３０）がマスクされた第１のＯＣＴＡ画像６０２を表示部５０に表示させることができる。
【０１８７】
これにより、詳細なＯＣＴＡ画像には、詳細範囲が注目領域であるＯＣＴＡ画像の生成範囲の境界線６１８，６１９を超えた領域に関するモーションコントラストデータに基づく断層組織や血管は表示されない。従って、詳細なＯＣＴＡ画像には、注目領域であるＯＣＴＡ画像の生成範囲の境界線６１８，６１９で画定される範囲内のモーションコントラストデータに基づく断層組織や血管だけが表示されることができる。
【０１８８】
上記のように、本実施例に係る画像処理装置９０は、被検眼の第１の層と、第１の層とは異なる第２の層との層境界を含むＯＣＴＡ画像を取得する画像処理部９２（画像取得部）と、表示部５０の表示を制御する表示制御部２５とを備える。表示制御部２５は、ＯＣＴＡ画像とＯＣＴＡ画像に含まれる層境界を示す画像とを、ＯＣＴＡ画像に対して当該層境界を示す画像を重畳した状態で表示部５０に表示させる。ここで、ＯＣＴＡ画像に含まれる層境界を示す画像は、第１の層及び第２の層のいずれかを示すマスク画像である。
【０１８９】
また、画像処理装置９０は、被検眼の断層データを取得する取得部２１と、断層データに基づいて被検眼の断層における層境界を検出する検出部２２４とを備える。さらに、画像処理部９２は、被検眼のＯＣＴＡ画像を生成する正面画像生成部２２３と、断層データ及び検出された層境界の位置に基づいて、層境界を示す画像を生成する層境界画像生成部９２６とを備える。
【０１９０】
このような構成によれば、本実施例による画像処理装置２０では、二次元の正面画像であるＯＣＴＡ画像に、任意の深度（深さ範囲）におけるモーションコントラストデータに基づく断層組織や血管のみが表示される。そのため、ユーザは、ＵＩを操作してＯＣＴＡ画像の生成範囲を任意に変更する場合においても、表示されたＯＣＴＡ画像を確認するだけで、ＯＣＴＡ画像がどの深さ範囲で生成されたかを容易に判断することできる。そのため、ユーザは所望の深度の断層組織や血管を識別し、当該断層組織や血管だけを容易に確認することができ、被検体の詳細な構造を観察する際の操作性及び視認性を向上させることができる。
【０１９１】
なお、本実施例においては、生成される詳細な正面画像としてＯＣＴＡ画像を示したが、生成される詳細な正面画像は輝度のＥｎ−Ｆａｃｅ画像であってもよい。この場合にも、二次元の正面画像であるＥｎ−Ｆａｃｅ画像に、任意の深度（深さ範囲）における断層データに基づく断層組織や血管のみが表示される。これにより、ユーザは、ＵＩを操作してＥｎ−Ｆａｃｅ画像の生成範囲を任意に変更する場合においても、表示されたＥｎ−Ｆａｃｅ画像を確認するだけで、Ｅｎ−Ｆａｃｅ画像がどの深さ範囲で生成されたかを容易に判断することができる。そのため、ユーザは所望の深度の断層組織や血管を識別し、当該断層組織や血管だけを容易に確認することができ、被検体の詳細な構造を観察する際の操作性及び視認性を向上させることができる。なお、詳細な正面画像としてＯＣＴＡ画像と輝度のＥｎ−Ｆａｃｅ画像の両方が生成されてもよい。
【０１９２】
なお、層境界画像生成部９２６は、層境界を示す画像を生成するときに、ＯＣＴＡ画像を生成するための深さ範囲が層境界の位置と交差するか否かを判断することができる。具体的には、層境界画像生成部９２６は、ＯＣＴＡ画像を生成するための深さ方向の位置（座標）と任意の層境界の深さ方向の位置を対比して、これらが一致しない場合、これらが交差しないと判断することができる。層境界画像生成部９２６は、ＯＣＴＡ画像を生成するための深さ範囲が層境界の位置と交差しないと判断した場合には、マスク画像を生成しなくてもよい。この場合には、マスク画像が生成されないため、表示制御部２５は、マスク画像を重畳せずにＯＣＴＡ画像を表示部５０に表示させる。このような構成では、ＯＣＴＡ画像を生成するための深さ範囲が層境界の位置と交差しない場合に、マスク画像の生成処理と重畳処理を省略することができるため、処理時間を短縮することができる。
【０１９３】
また、層境界画像生成部９２６は、ＯＣＴＡ画像を生成するための深さ範囲を画定する境界の位置を変更するときに、変更された境界の位置と層境界の位置に基づいて、層境界を示す画像を更新する。このため、ユーザは、ＯＣＴＡ画像の更新時においても、表示されたＯＣＴＡ画像を確認するだけで、ＯＣＴＡ画像がどの深さ範囲で生成されたかを容易に判断することができる。
【０１９４】
なお、図１４（ｂ）及び図１４（ｃ）に示した例では、生成範囲の境界線６１８，６１９が層境界であるものとし、層境界画像生成部９２６はこれら層境界及びこれら層境界を越える箇所を示す画像を生成すると説明した。しかしながら、層境界画像生成部９２６によって生成される画像が示す層境界はこれらに限られない。例えば、ＯＣＴＡ画像の生成範囲内に生成範囲上端の層境界及び生成範囲下端の層境界とは別の層境界が含まれる場合には、層境界画像生成部９２６が当該別の層境界及び当該別の層境界を越えた箇所を示す画像を生成してもよい。このような場合には、取得部２１は、当該別の層境界からみて、深さ方向に浅い位置にある層（第１の層）及び深い位置にある層（第２の層）のどちらを示すマスク画像を生成すべきかについて、ユーザによる指定を取得してもよい。言い換えると、取得部２１は、マスク画像を生成すべき層及びマスク画像を生成すべきではない層のいずれかの指定を取得することができる。
【０１９５】
さらに、表示制御部２５は、層境界を含む詳細なＯＣＴＡ画像（第１の正面画像）と、該詳細なＯＣＴＡ画像を生成するための深さ範囲よりも広い深さ範囲の断層データから生成されたＯＣＴＡ画像（第２の正面画像）を切り替え可能に表示部５０に表示させる。そして、表示制御部２５は、詳細なＯＣＴＡ画像を表示させるときに、層境界を示すマスク画像を詳細なＯＣＴＡ画像に重畳した状態で表示部に表示させる。なお、表示制御部２５は、ＯＣＴＡ画像を表示させるときには、層境界を示す画像を重畳させずにＯＣＴＡ画像を表示部５０に表示させる。
【０１９６】
これにより、ユーザは、所望の深度における詳細な構造を観察する場合に、マスク画像が重畳されたＯＣＴＡ画像を確認して、所望の深度の断層組織や血管を識別し、当該断層組織や血管だけを容易に確認することができる。
【０１９７】
なお、層境界画像生成部９２６は、実施例２と同様に、層境界との交差を判断する詳細範囲の厚み方向（深さ方向）の位置について、詳細範囲の厚みに含まれる任意の位置に設定してもよい。これに関連して、図１４（ｂ）に示す状態において、層境界画像生成部９２６は層境界を示す画像として、詳細範囲が層境界と接している一部を示す画像を生成し、表示制御部２５がこれを第１のＯＣＴＡ画像に重畳してもよい。
【０１９８】
また、本実施例では、層境界画像の生成を詳細なＯＣＴＡ画像の生成の後に行っているが、層境界画像の生成を行うタイミングはこれに限られない。層境界画像の生成は、詳細なＯＣＴＡ画像を生成する詳細範囲を取得した後から詳細なＯＣＴＡ画像が表示されるまでの間で行われればよい。そのため、層境界画像の生成は、例えば、詳細なＯＣＴＡ画像の生成と並行して行われてもよいし、これの前に行われてもよい。
【０１９９】
さらに、本実施例においても、画像処理装置９０は、チェックボックス１４５０のチェックを外すことで、通常のＯＣＴＡ観察モードになるように構成されてもよい。また、取得部２１は、ＯＣＴ装置１０や画像処理装置９０の撮影モード、又は撮影部位等に応じて予め定められたデフォルト値を生成範囲や詳細範囲の情報として取得してもよい。さらに、画像処理装置９０は、ステップＳ５０１で取得したＯＣＴＡ画像の生成範囲内で、詳細範囲を所定の間隔で自動的に順次変更する、詳細範囲の自動変更モードを備えてもよい。この場合、層境界画像生成部９２６は、取得部２１で順次取得された詳細範囲を画定する境界の位置の情報及び所定の層境界の情報に基づいて、詳細なＯＣＴＡ画像に対応する層境界画像を順次生成する。なお、表示制御部２５は、表示部５０に、層境界画像を重畳させた詳細なＯＣＴＡ画像を順次表示させてもよいし、並べて表示させてもよいし、選択された画像を表示させてもよい。
【０２００】
（変形例１）
実施例１乃至３では、被検眼の深さ方向をｚ軸方向として説明したが、被検眼の状態やＯＣＴ装置のアライメント状況等によっては、被検眼の深さ方向がｚ軸方向からずれる場合がある。このため、画像処理部は、取得した被検眼の断層データに含まれる網膜像等の傾きに合わせて、ＯＣＴＡ画像の生成範囲や詳細なＯＣＴＡ画像の生成範囲である詳細範囲の傾きを調整してもよい。なお、断層データに含まれる網膜像等の傾きは既知の任意の方法によって検出されてよい。
【０２０１】
（変形例２）
実施例１乃至３では、チェックボックスにチェックを入れることで画像処理装置のモードが通常のＯＣＴＡ観察モードから詳細モードへ変更される構成について述べた。しかしながら、画像処理装置のモードを変更する構成はこれに限られない。ユーザは、特定の層間の断層組織や血管を観察する際に、通常のＯＣＴＡ画像ではなく詳細なＯＣＴＡ画像を表示することを望む場合がある。そのため、例えば、通常のＯＣＴＡ観察モードにおいて、ＯＣＴＡ画像の生成範囲として所定の深さ範囲が指定された場合に、画像処理装置のモードを詳細モードへ変更するように画像処理装置を構成してもよい。この場合、正面画像生成部及び表示制御部は、指定された生成範囲内の所定の詳細範囲に基づく詳細なＯＣＴＡ画像を生成・表示することができる。当該構成によれば、ユーザは詳細モードへの画像処理装置のモードの切り替え及び詳細範囲の初期の指定を省略することができ、画像処理装置の操作性を向上させることができる。
【０２０２】
（変形例３）
実施例１乃至３による処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、ＯＣＴ装置１０で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。
【０２０３】
（変形例４）
実施例１乃至３では、詳細範囲の上端及び下端や、ＯＣＴＡ画像の生成範囲の上端及び下端を互いに同期して変更する場合について述べた。しかしながら、詳細範囲又は生成範囲を変更する際には、これら上端及び下端を互いに独立して変更させてもよい。
【０２０４】
（変形例５）
実施例１乃至３では、境界線を深度方向に移動させる方法として、境界線をドラッグするか、オフセット値を入力することにより移動させる例を示したが、これに限らない。断層画像の横にスライダーを表示して、スライダーを移動させることで、それに連動して正面画像生成の詳細範囲や生成範囲を移動させるようにしてもよい。
【０２０５】
（変形例６）
変形例６では、図１５を参照して、ステップＳ３０６の高画質データ生成処理のより具体的な一例について説明する。図１５は、本変形例に係る高画質データ生成処理のフローチャートである。本変形例に係る高画質データ生成処理では、アーティファクトを低減して、より高画質な三次元のモーションコントラストデータを生成することができる。特に本変形例に係る高画質データ生成処理では、複数のモーションコントラストデータの位置合わせをすると共に、加算平均を行うために位置合わせの基準となるモーションコントラストデータを選択することを特徴としている。
【０２０６】
本変形例に係る高画質データ生成処理が開始されると、処理はステップＳ１５０１に移行する。ステップＳ１５０１では、正面画像生成部２２３が所定の生成範囲内のモーションコントラストデータに基づいて、位置合わせ用のＯＣＴＡ画像を生成する。本変形例では、生成範囲上端をＩＬＭ／ＮＦＬ境界線とし、生成範囲下端をＧＣＬ／ＩＰＬから深度方向に５０μｍ下端の境界線とする。なお、位置合わせ用のＯＣＴＡ画像を生成するための生成範囲は、他の範囲に予め設定されてもよいし、ユーザによって指定されてもよい。
【０２０７】
ステップＳ１５０２では、高画質データ生成部２２５が生成された位置合わせ用の全てのＯＣＴＡ画像を基準画像として、他のＯＣＴＡ画像との位置合わせ（第１の位置合わせ）を行う。高画質データ生成部２２５は、それぞれのＯＣＴＡ画像についてｘ軸方向及びｙ軸方向の位置合わせパラメータや回転パラメータ、画像評価値、画像類似度等を求め、記憶部２４に記憶させる。また、高画質データ生成部２２５は、各ＯＣＴＡ画像についてアーティファクト検出を行い、検出したアーティファクトに対するマスク画像を生成し、記憶部２４に記憶させることができる。
【０２０８】
ステップＳ１５０３では、高画質データ生成部２２５が、ステップＳ１５０２で行った位置合わせの結果に基づいて基準画像を選択する。具体的には、高画質データ生成部２２５は、各位置合わせパラメータ、画像評価値、及びマスク画像から求めたアーティファクト領域評価値に基づいて基準画像の選択基準となる評価値を算出し、当該評価値に基づいて基準画像を選択する。
【０２０９】
ステップＳ１５０４では、高画質データ生成部２２５が、選択した基準画像を用いてＯＣＴＡ画像のｘ軸方向の位置合わせ（第２の位置合わせ）を行う。高画質データ生成部２２５は、基準画像と他のＯＣＴＡ画像について、ｘ軸方向の各ラインに対して位置合わせを行う。また、高画質データ生成部２２５は、ステップＳ１５０２で求めた回転パラメータに基づいて各ＯＣＴＡ画像の回転方向の位置合わせを行う。
【０２１０】
ステップＳ１５０５では、高画質データ生成部２２５が、基準画像に対応する三次元データを基準データとして用いて、三次元モーションコントラストデータ及び三次元断層データのそれぞれについて深さ方向の大局的な位置合わせ（第３の位置合わせ）を行う。より具体的には、高画質データ生成部２２５は、まず、三次元モーションコントラストデータ毎及び三次元断層データ毎にデータ内の深さ方向の位置及び傾きを合わせる。その後、高画質データ生成部２２５は、基準データを用いて、複数の三次元モーションコントラストデータ間及び複数の三次元断層データ間で深さ方向の位置及び傾きを合わせる。そして、高画質データ生成部２２５は、第１の位置合わせ、第２の位置合わせ、及び第３の位置合わせで求めた位置合わせパラメータに基づいて、各三次元データを変形する。
【０２１１】
ステップＳ１５０６では、高画質データ生成部２２５が、基準データと対象データの間において、各断層画像内の特徴部に位置合わせ用の領域を複数設定し、設定した領域ごとにｘ軸方向と深さ方向の局所的な位置合わせ（第４の位置合わせ）を行う。高画質データ生成部２２５は、位置合わせ結果に基づいて、各三次元データを変形する。
【０２１２】
ステップＳ１５０７では、高画質データ生成部２２５が、変形した複数の三次元モーションコントラストデータを加算平均する。また、高画質データ生成部２２５は、変形した複数の三次元断層データを加算平均する。
【０２１３】
ステップＳ１５０８では、高画質データ生成部２２５が、加算平均した三次元データについて、ステップＳ１５０５で求めた、基準データ内における深さ方向の位置合わせパラメータに基づいて、三次元データの深さ方向の位置を位置合わせ前の状態に戻す。その後、処理はステップＳ３０７へ移行する。
【０２１４】
本変形例による高画質データ生成処理によれば、固視微動などにより、モーションコントラストデータにアーティファクトが存在する場合においても、高画質な三次元のモーションコントラストデータを取得することができる。
【０２１５】
なお、本変形例では、加算平均後の三次元データを深さ方向の位置合わせ前の状態に戻したが、当該処理を行わなくてもよい。この場合には、ステップＳ３０５で検出された層境界の情報と高画質化された三次元データとにおいて深さ方向にずれが生じる。そのため、検出部２２４は、高画質データ生成処理後に、ＯＣＴＡ画像生成用に改めて層境界の検出処理を行ってもよいし、ステップＳ３０５で検出された層境界を、基準データの深さ方向の位置合わせパラメータに応じて変形させてもよい。
【０２１６】
なお、高画質データ生成部２２５は、第１乃至第４の位置合わせ処理やアーティファクト除去処理、加算平均処理等をそれぞれ行うための別々の構成要素を用いて構成されてもよい。
【０２１７】
（変形例７）
実施例１乃至３では、複数の三次元データの加算平均を行うことで高画質化された三次元データに基づいて、詳細な正面画像を生成する場合について説明した。しかしながら、詳細な正面画像の生成処理を適用する対象はこれに限られない。詳細な正面画像の生成処理は、ある程度の精度を有する三次元データであれば、１つの三次元データに対して適用されてもよい。詳細な正面画像の生成処理、例えば、複数の三次元データを使用しない任意の処理によりノイズ除去や強調処理等が行われた１つの三次元データ等に適用されてもよい。
【０２１８】
（変形例８）
実施例１乃至３では、モーションコントラストデータからＯＣＴＡ画像を生成する例について説明をしたが、ＯＣＴＡ画像として、プロジェクションアーティファクト除去を行った画像を生成するようにしてもよい。プロジェクションアーティファクトとは、上の層の血管の影が下層に写りこむことであり、血液の流れによる変化で影が変化することにより、血管ではない場所にアーティファクトが発生してしまう現象である。モーションコントラストデータにはこのようなアーティファクトが存在することもある。そのため、ＵＩを操作してＯＣＴＡ画像を生成する範囲を任意に指定する場合においても、このアーティファクトを除去した画像を生成して表示するようにしてもよい。
【０２１９】
（変形例９）
実施例１乃至３では、１つの三次元断層データを用いて境界線検出を行う例を示したが、これに限らない。例えば、撮影により取得した複数の三次元断層データを加算平均処理した三次元断層データを用いて境界線検出を行ってもよい。この場合には、１つの三次元断層データと比較してノイズの低減した三次元断層データを用いて境界線検出が行われるため、境界線検出の精度が向上することが見込まれる。
【０２２０】
（変形例１０）
実施例１乃至３では、Ｎ回の撮影で繰り返し取得する断層データに関して、同じ撮影範囲を同じスキャンパターンで撮影する例を説明したが、断層データの取得方法はこれに限らない。例えば、３ｍｍ×３ｍｍの範囲を３００×３００（主走査×副走査）で撮影して取得した断層データと、３ｍｍ×３ｍｍの範囲を６００×６００で撮影して取得した断層データとを位置合わせするようにしてもよい。この場合の深度方向のサイズは共通とし、例えば１０００とする。その場合には、１ボクセルあたりの物理サイズを揃えるデータ変換処理を行った後に、位置合わせ処理を実行する。なお、この例では、３００×３００のデータを補間処理によって６００×６００に拡大してから処理するようにしてもよいし、６００×６００のデータを補間処理によって３００×３００に縮小してから処理するようにしてもよい。また、３ｍｍ×３ｍｍの範囲を３００×３００で撮影したデータと、６ｍｍ×６ｍｍの範囲を６００×６００で撮影したデータを位置合わせする場合には、１ボクセルあたりの物理サイズは同じであるため、このままのサイズ同士で位置合わせを行うことができる。これにより、異なる撮影範囲や異なるスキャン密度で撮影して取得した断層データ同士も加算平均することができる。
【０２２１】
（変形例１１）
また、実施例１乃至３では、取得部２１は、ＯＣＴ装置１０で取得された干渉信号や断層画像生成部２２１で生成された三次元断層データを取得した。しかしながら、取得部２１がこれらの信号を取得する構成はこれに限られない。例えば、取得部２１は、画像処理装置２０とＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。この場合、撮影に関する処理を省略し、撮影済みの三次元の断層データを取得することができる。そして、ステップＳ３０５で高画質画像生成処理を行う。なお、取得部２１は、三次元断層データだけでなく、当該データから生成された三次元モーションコントラストデータを取得してもよい。この場合には、モーションコントラストデータの生成処理も省略することができる。そのため、断層情報の取得から正面画像の表示までの一連の処理時間を短くすることができる。
【０２２２】
なお、ＯＣＴ装置１０の構成は、上記の構成に限られず、ＯＣＴ装置１０に含まれる構成の一部をＯＣＴ装置１０と別体の構成としてもよい。また、ボタンなどのユーザーインターフェイスや表示のレイアウトは上記で示したものに限定されるものではない。
【０２２３】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０２２４】
以上、実施例を参照して本発明について説明したが、本発明は上記実施例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
【符号の説明】
【０２２５】
２０：画像処理装置、２２：画像処理部（画像取得部）、２５：表示制御部
【図１】
2019198384.tif 000004
【図２】
2019198384.tif 000005
【図３】
2019198384.tif 000006
【図４】
2019198384.tif 000007
【図５】
2019198384.tif 000008
【図６】
2019198384.tif 000009
【図７】
2019198384.tif 000010
【図８】
2019198384.tif 000011
【図９】
2019198384.tif 000012
【図１０】
2019198384.tif 000013
【図１１】
2019198384.tif 000014
【図１２】
2019198384.tif 000015
【図１３】
2019198384.tif 000016
【図１４】
2019198384.tif 000017
【図１５】
2019198384.tif 000018