(57)【要約】【課題】  被検眼の広画角画像におけるアーチファクトを低減する。【解決手段】  光干渉を用いて被検眼の断層撮影を行う眼科撮影装置であって、測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された被検眼からの戻り光と参照光とを合波して得た合波光を検出する検出手段と、合波光を検出して得た干渉信号を用いて、有効径外領域に相当する３次元範囲の強度が低減されている被検眼の画像を生成する生成手段と、を有する。【選択図】  図４
2020174862.tif 000002
【特許請求の範囲】
【請求項１】
光干渉を用いて被検眼の断層撮影を行う眼科撮影装置であって、
測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された前記被検眼からの戻り光と参照光とを合波して得た合波光を検出する検出手段と、
前記合波光を検出して得た干渉信号を用いて、前記有効径外領域に相当する３次元範囲の強度が低減されている前記被検眼の画像を生成する生成手段と、
を有する、眼科撮影装置。
【請求項２】
前記生成手段は、前記干渉信号を用いて得た３次元断層情報における前記３次元範囲に対してマスク処理を実行し、前記マスク処理を実行して得た３次元断層情報を用いて前記被検眼の２次元断層画像または３次元断層画像を生成することにより、前記低減されている前記被検眼の画像を生成する、請求項１に記載の眼科撮影装置。
【請求項３】
前記生成手段は、前記干渉信号を用いて得た３次元断層情報を用いて前記被検眼の３次元断層画像を生成し、前記生成された３次元断層画像における前記３次元範囲に対してマスク処理を実行することにより、前記低減されている前記被検眼の画像を生成する、請求項１に記載の眼科撮影装置。
【請求項４】
光干渉を用いて被検眼の断層撮影を行う眼科撮影装置であって、
測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された前記被検眼からの戻り光と参照光とを合波して得た合波光を検出する検出手段と、
前記合波光を検出して得た干渉信号を用いて、前記有効径外領域に相当する２次元範囲であって、前記被検眼の深さ方向における前記２次元範囲の強度が低減されている前記被検眼の画像を生成する生成手段と、
を有する、眼科撮影装置。
【請求項５】
前記生成手段は、前記干渉信号を用いて得た３次元断層情報を用いて前記被検眼の２次元断層画像を生成し、前記生成された２次元断層画像における前記２次元範囲に対してマスク処理を実行することにより、前記低減されている前記被検眼の画像を生成する、請求項４に記載の眼科撮影装置。
【請求項６】
前記生成手段は、前記干渉信号を用いて得た２次元断層情報における前記２次元範囲に対してマスク処理を実行し、前記マスク処理を実行して得た２次元断層情報を用いて前記被検眼の２次元断層画像を生成することにより、前記低減されている前記被検眼の画像を生成する、請求項４に記載の眼科撮影装置。
【請求項７】
前記生成手段は、前記低減されている画像に対して解析処理を実行して得た解析結果を生成する、請求項１乃至６のいずれか１項に記載の眼科撮影装置。
【請求項８】
光干渉を用いて被検眼の断層撮影を行う眼科撮影装置であって、
測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された前記被検眼からの戻り光と参照光とを合波して得た合波光を検出する検出手段と、
前記合波光を検出して得た干渉信号を用いて３次元断層情報または２次元断層情報を生成し、前記生成された３次元断層情報または前記生成された２次元断層情報に対して解析処理を実行して得た解析結果であって、該解析結果における前記有効径外領域に相当する範囲に対してマスク処理を実行することにより、前記マスク処理が実行されている前記被検眼の画像を生成する生成手段と、
を有する、眼科撮影装置。
【請求項９】
前記有効径外領域に相当する範囲は、前記光学部材を保持する非透光部材の内径と、前記測定光学系におけるスキャンレンズの焦点距離と、前記測定光を走査する走査手段の走査角度とを用いて決定される、請求項１乃至８のいずれか１項に記載の眼科撮影装置。
【請求項１０】
前記有効径外領域に相当する範囲は、前記光学部材である対物レンズにおける前記測定光の照射領域と、前記対物レンズの焦点距離と、前記対物レンズを保持する非透光部材の内径とを用いて決定される、請求項１乃至９のいずれか１項に記載の眼科撮影装置。
【請求項１１】
前記有効径外領域に相当する範囲は、前記被検眼の前眼部に対する前記測定光の最大入射角度と、前記光学部材である対物レンズを保持する非透光部材の内径とを用いて決定される、請求項１乃至１０のいずれか１項に記載の眼科撮影装置。
【請求項１２】
前記有効径外領域に相当する範囲は、アーチファクトの検出結果を用いて決定される、請求項１乃至１１のいずれか１項に記載の眼科撮影装置。
【請求項１３】
前記生成手段は、前記被検眼に対する前記測定光のフォーカス調整の状態に応じた処理を行うことにより、前記被検眼の画像を生成する、請求項１乃至１２のいずれか１項に記載の眼科撮影装置。
【請求項１４】
前記生成手段は、前記合波光を検出して得た干渉信号を用いてモーションコントラストデータに基づく画像を生成する場合には、前記マスク処理を実行しない、請求項１乃至１３のいずれか１項に記載の眼科撮影装置。
【請求項１５】
前記マスク処理は、前記有効径外領域に相当する範囲に含まれる画素の画素値が低減されることにより実行される、請求項１乃至１４のいずれか１項に記載の眼科撮影装置。
【請求項１６】
前記生成された画像を表示手段に表示させる表示制御手段を更に有する、請求項１乃至１５のいずれか１項に記載の眼科撮影装置。
【請求項１７】
複数の画像の少なくとも１つを入力データとし、ボリュームレンダリングの視点に関する情報を正解データとする学習データを学習して得た学習済モデルを用いて、前記断層撮影して得た複数の画像の少なくとも１つから、ボリュームレンダリングの初期視点に関する情報が生成されるように構成され、
前記表示制御手段は、前記生成された初期視点に関する情報を用いて、ボリュームレンダリング画像を前記表示手段に表示させる、請求項１６に記載の眼科撮影装置。
【請求項１８】
光干渉を用いて被検眼の断層撮影を行う眼科撮影装置の制御方法であって、
測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された前記被検眼からの戻り光と参照光とを合波して得た合波光を検出する工程と、
前記合波光を検出して得た干渉信号を用いて、前記有効径外領域に相当する３次元範囲の強度が低減されている前記被検眼の画像を生成する工程と、
を有する、眼科撮影装置の制御方法。
【請求項１９】
光干渉を用いて被検眼の断層撮影を行う眼科撮影装置の制御方法であって、
測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された前記被検眼からの戻り光と参照光とを合波して得た合波光を検出する工程と、
前記合波光を検出して得た干渉信号を用いて、前記有効径外領域に相当する２次元範囲であって、前記被検眼の深さ方向における前記２次元範囲の強度が低減されている前記被検眼の画像を生成する工程と、
を有する、眼科撮影装置の制御方法。
【請求項２０】
光干渉を用いて被検眼の断層撮影を行う眼科撮影装置の制御方法であって、
測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された前記被検眼からの戻り光と参照光とを合波して得た合波光を検出する工程と、
前記合波光を検出して得た干渉信号を用いて３次元断層情報または２次元断層情報を生成し、前記生成された３次元断層情報または前記生成された２次元断層情報に対して解析処理を実行して得た解析結果であって、該解析結果における前記有効径外領域に相当する範囲に対してマスク処理を実行することにより、前記マスク処理が実行されている前記被検眼の画像を生成する工程と、
を有する、眼科撮影装置の制御方法。
【請求項２１】
請求項１８乃至２０のいずれか１項に記載の眼科撮影装置の制御方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検眼の撮影を行う眼科撮影装置及びその制御方法に関する。
【背景技術】
【０００２】
現在、眼科撮影装置として、光波の干渉を利用したＯＣＴ（Ｏｐｔｉｃａｌ  Ｃｏｈｅｒｅｎｃｅ  Ｔｏｍｏｇｒａｐｈｙ）による光干渉断層撮影装置（以下、「ＯＣＴ装置」と称する）が眼科分野で診断などにおいて広く利用されている。このＯＣＴ装置では、光源からの低コヒーレンス光を測定光と参照光とに分岐させ、当該測定光を被検眼に対して照射するようにしている。その後、ＯＣＴ装置では、被検眼から得られる測定光の後方散乱光（以下、「戻り光」と称する）と参照光とを干渉させ、干渉により得られた干渉光から被検眼のある位置での深さ情報を取得することが出来る。さらに、被検眼に対する測定光を一軸のスキャナミラーで照射することにより、深さ方向に水平方向を加えた二次元の断層画像を取得することが出来、被検眼の各層の情報を連続的に取得することが出来る。また、二軸のスキャナミラーで照射することで、深さ方向に面方向を加えた三次元データを取得することができ、これをボリュームレンダリング表示することで、可視化することが出来る。
【０００３】
このＯＣＴ装置において、波長可変光源を用いることにより高深達な画像を取得できることが知られている（特許文献１）。高深達な画像を取得しようとすると、被検眼によっては、被検眼の眼底部から赤道部周辺までを一度に撮影することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１０２５３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の眼科撮影装置では、被検眼を一度に広範囲で撮影しようとすると、例えば、装置の光学有効径外の一部の非透光部材がアーチファクトとして写り込んでしまうという問題があった。このとき、例えば、３次元画像としてボリュームレンダリング表示した際に、視点方向によっては画像における眼底等の注目部位にアーチファクトが重なってしまうことにより、検者が重要な異常箇所を見落としてしまう可能性があった。また、検者が、例えば、画像における注目部位に重なっているアーチファクトを疾患等と見誤ってしまうことにより、誤診につながる可能性もあった。
【０００６】
本発明の目的の一つは、このような問題点に鑑みてなされたものであり、被検眼の広画角画像におけるアーチファクトを低減することである。
【課題を解決するための手段】
【０００７】
本発明に係る眼科撮影装置の一つは、
光干渉を用いて被検眼の断層撮影を行う眼科撮影装置であって、
測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された前記被検眼からの戻り光と参照光とを合波して得た合波光を検出する検出手段と、
前記合波光を検出して得た干渉信号を用いて、前記有効径外領域に相当する３次元範囲の強度が低減されている前記被検眼の画像を生成する生成手段と、
を有する。
【発明の効果】
【０００８】
本発明の一つによれば、被検眼の広画角画像におけるアーチファクトを低減することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る眼科撮影装置の概略構成の一例を示す図である。
【図２】図１の表示制御部によって表示部に表示される第１の表示画面の一例を示す図である。
【図３】通常画角で撮影し３次元表示された眼底像の一例を示す図である。
【図４】広画角で撮影し３次元表示された眼底像の一例を示す図である。
【図５】広画角のアーチファクトを説明する図である。
【図６】マスク処理の手法を説明する図である。
【図７】アーチファクト除去効果を説明する図である。
【図８】アーチファクト除去フローを説明する図である。
【図９】フォーカス状態の異なる光束とレンズホルダとの関係を説明する図である。
【図１０】アーチファクトの領域を除外したスキャンのフローを説明する図である。
【図１１】解析処理に限定したマスク処理のフローを説明する図である。
【図１２】解析結果表示に限定したマスク処理のフローを説明する図である。
【図１３】変形例１に係る表示画面の一例を示す。
【図１４】変形例６に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。
【図１５】変形例６に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本実施形態に係る撮像装置を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は以下の実施形態に限定されるものではない。なお、本実施形態で被検体を人眼（眼底）としているがこれに限るものではなく、例えば皮膚等に用いることとしてもよい。また、本実施形態において撮像対象は眼の眼底としているが、前眼を撮影対象とすることとしてもよい。
【００１１】
（実施例１）
本実施例では、光学有効径外領域を含んで広画角撮影し、それによって生じたアーチファクトをマスク処理により除去する例を示す。
【００１２】
（装置の概略構成）
（眼科撮影装置全体の構成）
図１は、本実施形態における光干渉断層法を用いた眼科撮影装置の構成例を示す図である。図１に示す装置は、光干渉断層信号を取得する光干渉断層取得部１００と制御部１４３（画像処理装置の一例）を備える。制御部１４３は、信号処理部１４４、信号取得制御部１４５、表示部１４６および表示制御部１４９を備えて構成される。信号処理部１４４は、さらに画像生成部１４７とマップ生成部１４８とを備える。ここで、制御部１４３は、例えばコンピュータであり、コンピュータに備えられたＣＰＵが不図示の記憶装置に記憶されたプログラムを実行することで信号処理部１４４、信号取得制御部１４５、画像生成部１４７、マップ生成部１４８および表示制御部１４９として機能する。なお、制御部１４３が備えるＣＰＵおよび記憶装置は１つであってもよいし複数であってもよい。すなわち、少なくとも１以上の処理装置（ＣＰＵ）と少なくとも１つの記憶装置（ＲＡＭおよびＲＯＭ）とが接続されており、少なくとも１以上の処理装置が少なくとも１以上の記憶装置に記憶されたプログラムを実行した場合に制御部１４３は上記の各手段として機能する。なお、処理装置はＣＰＵに限定されるものではなく、ＦＰＧＡ等であってもよい。
【００１３】
（干渉系）
まず、光干渉断層取得部１００の構成について説明する。図１は、本実施形態における光干渉断層取得部の例としてＯＣＴ装置の構成例を示す図である。ＯＣＴ装置は、例えば、ＳＤ−ＯＣＴまたはＳＳ−ＯＣＴである。本実施形態ではＯＣＴ装置がＳＳ−ＯＣＴである場合の構成を示す。
【００１４】
（ＯＣＴ装置１００の構成）
ＯＣＴ装置１００の構成について説明する。光源１０１は、波長掃引型（Ｓｗｅｐｔ  Ｓｏｕｒｃｅ：以下ＳＳ）光源であり、例えば、掃引中心波長１０５０ｎｍ、掃引幅１００ｎｍで掃引しながら光を出射する。ここで、波長や掃引幅については例示であり、本発明は上記の値に限定されるものではない。以下の実施形態についても同様に、記載された数値は例示であり、本発明は記載された数値に限定されるものではない。
【００１５】
（測定光）
光源１０１から出射された光は光ファイバ１０２を介して、ビームスプリッタ１１０に導かれ、測定光（ＯＣＴ測定光とも言う）と参照光（ＯＣＴ測定光に対応する参照光とも言う）に分岐される。ビームスプリッタ１１０の分岐比は、９０（参照光）：１０（測定光）である。分岐された測定光は、光ファイバ１１１を介して出射され、コリメータレンズ１１２によって平行光とされる。平行光となった測定光は、被検眼１１８の眼底Ｅｒにおいて測定光を走査するガルバノスキャナ１１４、スキャンレンズ１１５、対物レンズ１１６を介して被検眼１１８に入射する。ここで、ガルバノスキャナ１１４は単一のミラーとして記載したが、実際は被検眼１１８の眼底Ｅｒをラスタースキャンするように不図示の２枚のガルバノスキャナ、Ｘ軸スキャナー１１４ａとＹ軸スキャナー１１４ｂ、によって構成している。また、対物レンズ１１６はレンズホルダ１０６を介して装置上に固定されている。コリメータレンズ１１２はステージ１１７上に固定されており、光軸方向に動くことで、被検眼１１８の眼底Ｅｒに対してフォーカスを調整するように、信号取得制御部１４５で制御される。ガルバノスキャナ１１４は信号取得制御部１４５によって制御され、被検眼１１８の眼底Ｅｒの所望の範囲（断層画像の取得範囲、断層画像の取得位置、測定光の照射位置とも言う）で測定光を走査することが出来る。
【００１６】
（トラッキング）
なお、本実施形態では詳細な説明はしていないが、眼底Ｅｒの動きを検出し、ガルバノスキャナ１１４のミラーを眼底Ｅｒの動きに追従させて走査させるトラッキング機能が付与されていることが望ましい。トラッキング方法については一般的な技術を用いて行うことが可能であり、リアルタイムで行うことも、ポストプロセッシングで行うことも可能である。例えば、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ  Ｌａｓｅｒ  Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ：ＳＬＯ）を用いる方法がある。これは眼底Ｅｒについて、ＳＬＯを用いて光軸に対して垂直な面内の２次元画像（眼底表面画像）を経時的に取得し、画像中の血管分岐などの特徴箇所を抽出する。取得する２次元画像中の特徴箇所がどのように動いたかを眼底Ｅｒの移動量として算出し、算出した移動量をガルバノスキャナ１１４にフィードバックすることでリアルタイムトラッキングを行うことが出来る。なお、ＳＬＯの光学系は、ＯＣＴの測定光路にダイクロイックミラー等の光路分岐部材を設けることで、配置されてもよい。また、同様に、ＯＣＴの測定光路の分岐光路に設けられた前眼部観察光学系により得た前眼部の動画像を用いてトラッキング（例えば、光学ヘッド駆動部へのフィードバック）を行ってもよい。
【００１７】
測定光は、対物レンズ１１６により、被検眼１１８に入射し、眼底Ｅｒにフォーカスされる。眼底Ｅｒを照射した測定光は各網膜層で反射・散乱し、上述の光学経路をビームスプリッタ１１０に戻る。ビームスプリッタ１１０に入射した測定光の戻り光は光ファイバ１２６を経由し、ビームスプリッタ１２８に入射する。
【００１８】
（参照光）
一方、ビームスプリッタ１１０で分岐された参照光は、光ファイバ１１９ａ、偏光制御器１５０、光ファイバ１１９ｂ、を介して出射され、コリメータレンズ１２０によって平行光とされる。偏光制御器１５０には参照光の偏光を所望の偏光状態へ変化させることが出来る。参照光は分散補償ガラス１２２、ＮＤフィルタ１２３、コリメータレンズ１２４を介し、光ファイバ１２７に入射する。コリメータレンズ１２４と光ファイバ１２７の一端はコヒーレンスゲートステージ１２５の上に固定されており、被検者の眼軸長の相違等に対応して光軸方向に駆動するように、信号取得制御部１４５で制御される。なお本実施形態では参照光の光路長を変更しているが、測定光の光路と参照光の光路との光路長差を変更出来ればよい。
【００１９】
光ファイバ１２７を通過した参照光はビームスプリッタ１２８に入射する。ビームスプリッタ１２８では参照光の戻り光と参照光が合波されて干渉光（合波光）とされた上で二つに分割される。分割される干渉光は互いに反転した位相の干渉光（以下、正の成分および負の成分と表現する）となっている。分割された干渉光の正の成分は光ファイバ１２９を経由してディテクタ１４１の一方の入力ポートに入射する。一方、干渉光の負の成分は光ファイバ１３０を経由してディテクタ１４１の他方に入射する。ディテクタ１４１は差動検出器となっており、位相が１８０°反転した二つの干渉光が入力されると、直流成分を除去し、干渉成分のみの干渉信号を出力する。
【００２０】
ディテクタ１４１で検出された干渉光は光の強度に応じた電気信号（干渉信号）として出力され、断層画像生成部の一例である信号処理部１４４に入力される。ここで、ディテクタ１４１は、測定光が照射された被検眼からの戻り光と参照光とを合波して得た合波光を検出する検出手段の一例である。
【００２１】
（制御部）
本装置全体を制御するための制御部１４３について説明する。制御部１４３は、信号処理部１４４、信号取得制御部１４５、表示部１４６、表示制御部１４９によって構成される。また、信号処理部１４４はさらに、画像生成部１４７とマップ生成部１４８を持つ構成となっている。画像生成部１４７はディテクタ１４１から送られる電気信号（合波光を検出して得た干渉信号）から輝度画像を生成する機能を有し、マップ生成部１４８は輝度画像から層情報（網膜のセグメンテーション）を生成する機能を有する。信号取得制御部１４５は、上述の通りに各部を制御する。信号処理部１４４は、ディテクタ１４１から出力される干渉信号に基づき、画像の生成、生成された画像の解析、解析結果の可視情報の生成を行う。
【００２２】
（断層画像の撮像方法）
以上が、被検体１１８のある１点における断層に関する情報の取得のプロセスの説明である。このように被検体１１８の奥行き方向の断層に関する情報を取得することをＡ−ｓｃａｎと呼ぶ。また、Ａ−ｓｃａｎと直交する方向で被検体の断層に関する情報、すなわち２次元画像を取得するための走査方向をＢ−ｓｃａｎ、更にＢ−ｓｃａｎにより得られた断層像に直交する方向に走査することをＣ−ｓｃａｎと呼ぶ。これは、３次元断層像を取得する際に眼底面内に２次元ラスター走査する場合、高速な走査方向がＢ−ｓｃａｎ、Ｂ−ｓｃａｎをその直交方向に並べて走査する低速な走査方向をＣ−ｓｃａｎと呼ぶ。Ａ−ｓｃａｎ及びＢ−ｓｃａｎを行うことで２次元の断層像が得られ、Ａ−ｓｃａｎ、Ｂ−ｓｃａｎ及びＣ−ｓｃａｎを行うことで、３次元の断層像を得ることができる。Ｂ−ｓｃａｎ、Ｃ−ｓｃａｎは、上述したガルバノスキャナ１１４により行われる。
【００２３】
なお、不図示のＸ軸スキャナー１１４ａ、Ｙ軸スキャナー１１４ｂは、それぞれ回転軸が互いに直交するよう配置された偏向ミラーで構成されている。Ｘ軸スキャナー１１４ａは、Ｘ軸方向の走査を行い、Ｙ軸スキャナー１１４ｂは、Ｙ軸方向の走査を行う。Ｘ軸方向、Ｙ軸方向の各方向は、眼球の眼軸方向に対して垂直な方向で、互いに垂直な方向である。また、Ｂ−ｓｃａｎ、Ｃ−ｓｃａｎのようなライン走査方向と、Ｘ軸方向またはＹ軸方向とは、一致していなくてもよい。このため、Ｂ−ｓｃａｎ、Ｃ−ｓｃａｎのライン走査方向は、撮像したい２次元の断層像あるいは３次元の断層像に応じて、適宜決めることができる。
【００２４】
（表示部）
表示部１４６は、表示制御部１４９の制御に基づいて、各種の画像や各種の情報を表示する。信号処理部１４４で生成された画像および解析結果は、表示制御部１４９に送られる。また、表示制御部１４９は、表示部１４６の表示画面に画像および解析結果を表示させる。ここで、表示部１４６は、例えば液晶等のディスプレイである。なお、信号処理部１４４で生成された画像データは、表示制御部１４９に送られた後、表示部１４６に有線で送信されてもよいし、無線で送信されてもよい。また、本実施形態において表示部１４６等は制御部１４３に含まれているが、本発明はこれに限らず、制御部１４３とは別に設けられてもよく、例えば、検者が持ち運び可能な装置の一例であるタブレットでもよい。この場合、表示部にタッチパネル機能を搭載させ、タッチパネル上で画像の表示位置の移動、拡大縮小、表示される画像の変更等を操作可能に構成することが好ましい。
【００２５】
図２は、表示部１４６に表示された前眼観察画像２１０、眼底２次元像２１１、断層画像であるＢ−ｓｃａｎ像２１２、網膜の膜厚マップ画像２１３、およびボリュームレンダリングされた３次元画像２１４である。前眼観察画像２１０は、測定光を被検眼の瞳孔に対してアライメントする際に用いられる。眼底２次元画像２１１は、測定光を眼底に対してアライメントする際や前述のトラッキング機能に用いられる。Ｂ−ｓｃａｎ像２１２Ｈ、２１２Ｖはそれぞれ、眼底２次元画像２１１における水平方向、垂直方向の断層画像であり、網膜の深さ情報を可視化する。膜厚マップ画像２１３はＣ−ｓｃａｎ処理で取得された網膜の深さ情報を２次元画像で可視化し、網膜の菲薄化など緑内障診断に用いられる。３次元画像２１４は、眼底Ｅｒの３次元形状を観察するのに用いられ、画面内をマウスドラッグすることで、Ｃ−ｓｃａｎ範囲を表すフレーム２１４−２と共に、自由に視点を変えることが出来る。
【００２６】
（通常画角における３Ｄ撮影）
図３は、強度近視眼をＯＣＴでＣ−ｓｃａｎ処理を実行し、ボリュームレンダリングされた３次元画像である。通常、眼底ＯＣＴなどの光学系で構成された眼底撮影装置は、光学有効径以下の範囲で撮影を行う。図３においてはＣ−ｓｃａｎ範囲２１４−２は、波線１１６‘で示す対物レンズ１１６の光学有効径の範囲内である。強度近視眼は一般に眼軸長が長く、眼底Ｅｒの範囲が広いため、通常のＣ−ｓｃａｎ範囲２１４−２に対して、四隅などでスキャン範囲が不足し、被検眼全体の形状観察が困難である。
【００２７】
（広画角における３Ｄ撮影とアーチファクト）
図４は、同じ強度近視眼に対して、拡大されたＣ−ｓｃａｎ範囲で撮影された３次元画像である。スキャン範囲を拡大する方法としては、例えば、ガルバノスキャナ１１４の振り角を広くすればよい。または、スキャンレンズ１１５による光学倍率を変更し、被検眼１１８に対する測定光の最大入射角を広げることも可能である。この場合、Ｃ−ｓｃａｎ範囲２１４−２‘は眼底Ｅｒの範囲に対して広いため、被検眼全体の形状観察が可能である。一方でＣ−ｓｃａｎ範囲２１４−２’は光学有効径１１６‘に対して、四隅などで外側にあり、有効径外を含んだ撮影となっている。このとき、光学有効径の周端部（有効径外領域の一例）には、対物レンズ１１６を保持するレンズホルダ１０６や押さえ環などの金物部材、すなわち非透光部材があり、これを一部含めた状態で撮影されることになる。ここで、対物レンズ１１６は、測定光学系における光学部材の一例である。このとき、測定光は、測定光学系における光学部材を介して、被検眼における有効径内領域に相当する範囲に対して照射される。また、測定光は、光学部材の有効径外領域に対しても照射される。すなわち、測定光は、測定光学系における光学部材の有効径外領域を含む撮影領域に対して照射される。なお、撮影領域は、正方形の矩形領域である必要はなく、長方形の矩形領域であってもよいし、楕円領域等であってもよい。測定光は、レンズホルダ１０６の表面上で散乱反射し、戻り光として、ビームスプリッタ１１０を経由してディテクタ１４１に到達する。レンズホルダ１０６の配置は眼底Ｅｒとは大きく異なり、眼底に対して参照光の光路長を最適に制御している場合は、レンズホルダ１０６からの戻り光は参照光と適切に干渉しない。しかしながら、本実施形態のようなＳＳ−ＯＣＴの場合には、光源１０１の共振器長に起因するリバイバル干渉が生じ、干渉信号として３次元画像にアーチファクトとして写り込む。４１０−１〜４１０−４はレンズホルダ１０６の戻り光によるアーチファクトを示している。レンズホルダ１０６は非透光部材でありほぼ表面反射に限定されるため、Ｚ方向の幅を持たないフラット状の形状になる。ただし、レンズホルダ１０６の表面状態が高反射面であれば、信号強度が高まり、ある程度の幅をもつことも起こり得る。アーチファクト４１０の３次元的な位置は、ＸＹ平面に置いては光学有効径１１６’の周端部にあり、奥行Ｚ方向においては、レンズホルダ１０６と参照光の光路長との光路長差から決まる位置にあって、図４においてはＺ＝０の平面から正方向に下がった位置に示している。参照光の光路長は、信号取得制御部１４５で制御されるため、アーチファクト４１０のＺ位置は、コヒーレンスゲートステージ１２５の制御位置で決まる。アーチファクトは一般的に不要光ではあるが、図４で示す３次元画像の視点においては、眼底Ｅｒとアーチファクト４１０−１〜４１０−４が重なっておらず、眼底Ｅｒの診断の上では大きな不都合は生じない。
【００２８】
（アーチファクトと眼底像の重なり）
図５は、３次元画像の視点を変更し、Ｚ軸を基準に４５度程度回転した方向から眼底形状を観察した場合である。この状態においては、アーチファクト４１０−３が眼底Ｅｒに重なった状態で表示される。このとき想定される問題は、図５のような観察視点方向によっては眼底Ｅｒにアーチファクトが重なってしまうことにより、検者が重要な異常箇所を見落としてしまう可能性がある。また、検者が、眼底Ｅｒに重なっているアーチファクトを疾患等と見誤ってしまうことにより、誤診につながる可能性もある。また、検者が、眼底Ｅｒの形状観察する際に、アーチファクトが妨げともなり得る。
【００２９】
（アーチファクトの除去）
図６、７および図８を用いて、アーチファクトを除去（低減）する処理を説明する。図６は、眼底ＥｒのＢ−ｓｃａｎ画像をＣ−ｓｃａｎ方向に並べたものである。図６（ａ）は、除去処理（低減処理）なしのＢ−ｓｃａｎ画像である。６１１ａはＣ−ｓｃａｎ開始位置であり、眼底Ｅｒ中心の６１４ａにかけて、眼底Ｅｒが出現し、一方でアーチファクト４１０がＸ方向にシフトしながら消えていく様子を示している。これらＢ−ｓｃａｎ画像をボリュームレンダリング表示したものが図４および図５であり、アーチファクト４１０と眼底Ｅｒの位置関係は対応している。図６（ｂ）は、アーチファクトを除去するために、各Ｂ−ｓｃａｎ画像にマスク処理を施したものである。ここでのマスク処理とは、画像中の所定の領域のデータ値をゼロにすることである。データ値がゼロであることは、ボリュームレンダリング表示すると透過度（アルファ値）が１００％に対応付けられ、データが透明表示となる。ここで重要な点は、Ｃ−ｓｃａｎ位置によってマスク領域のサイズを変化させている点である。画像６１１ａではアーチファクト４１０が画像中央寄りにあるため、画像６１１ｂにおいてマスクＭ１のＸ方向のマスクサイズが大きい。一方、画像６１３ａにおいては、アーチファクト４１０が画像端にあるため、マスクＭ３のマスクサイズが小さい。画像６１４ａにおいてはアーチファクトが画像内に写り込んでいないため、マスク処理は実施されない。一方でＺ方向については、アーチファクトが発生するＸ位置においては、レンズホルダ１０６で入射光が遮られ、眼底Ｅｒに測定光が到達しないため、全体をマスク対象としている。これらのマスク処理されたＢ−ｓｃａｎ画像を３次元に再構成することにより、図７に示すようなアーチファクトが除去され、眼底Ｅｒ全体の観察が可能な３次元画像が得られる。
【００３０】
図８は、アーチファクト除去処理のフローチャートである。まず、ステップＳ８１１において、通常のＣ−ｓｃａｎ撮影を行い、ボリュームデータを取得する。次に、ステップＳ８１２において、通常のＢ−ｓｃａｎ画像再構成処理を行う。そして、ステップＳ８１３において、上述したように、各Ｂ−ｓｃａｎ画像に対してマスク処理を行う。ここで、装置構成における測定光学系とレンズホルダ１０６の配置関係からこれらのマスク領域を決定することが出来る。具体的には、ガルバノスキャナ１１４、すなわちＸ軸スキャナー１１４ａ、Ｙ軸スキャナー１１４ｂのアドレス情報と、スキャンレンズ１１５の焦点距離で決まるレンズホルダ１０６面上の光線通過座標の関係からマスク領域として求めることが出来る。まず、対物レンズの有効径外領域は、測定光学系における光学部材を保持する非透光部材の内径と、測定光学系におけるスキャンレンズの焦点距離と、測定光を走査する走査手段の走査角度とで決定されてもよい。このとき、スキャンレンズの焦点距離と走査手段の走査角度とを用いることで、対物レンズにおける測定光の照射領域を決定することができる。そして、対物レンズの有効径外領域は、該照射される領域のうち、対物レンズにおける非透光部材の内径の範囲外となる。なお、対物レンズにおける非透光部材の内径の範囲は、対物レンズの有効径内領域である。また、画像に対してマスク処理が行われるマスク領域（上記有効径外領域に相当する範囲）は、対物レンズにおける測定光の照射領域と、対物レンズの焦点距離（またはワーキングディスタンス）と、対物レンズにおける非透光部材の内径とを用いて決定されてもよい。また、画像に対するマスク処理が行われるマスク領域は、前眼部に対する測定光の最大入射角度と、対物レンズにおける非透光部材の内径とを用いて決定されてもよい。なお、ＸＹ方向（深さ方向に交差する方向）におけるマスク領域の求め方は、これらに限らず、後述する種々の手法であってもよい。また、上述したように、深さ方向におけるアーチファクトの出現位置は、コヒーレンスゲートの位置等とも関係するため、撮影毎に異なる可能性がある。このため、深さ方向におけるマスク領域は、深さ方向に対しては実質的に全域であってもよい。すなわち、マスク領域は、上述したように決定されたＸＹ方向における範囲を底面とする少なくとも１つの柱状の領域（例えば、撮影領域を示す矩形領域の４つの端点に位置する４つの柱状の領域）であってもよい。このとき、マスク領域は、眼底等の被検眼の撮影範囲における有効径外領域に相当する範囲（３次元範囲または深さ方向を含む２次元範囲）である。そして、このような範囲に含まれる画素の画素値が低減される（例えば、ゼロになる）ように、マスク処理が行われてもよい。
【００３１】
なお、これらの位置関係は、設計情報に基づいてもよい。または、製品固有のバラつきを考慮し、製品出荷時に適当な遮光物体を撮影し、所定の閾値に対する輝度差情報からアーチファクトを検出して製品毎に補正する方法でもよい。すなわち、上記有効径外領域に相当する範囲は、アーチファクトの検出結果を用いて決定されてもよい。この方法により、マスク領域が最小になり、出来るだけ広い画角でＯＣＴ撮影が可能になる。具体例として、遮光物体として反射防止材を対物レンズ１１６付近に配置し、撮影データからバックグラウンドノイズの平均値μおよび標準偏差σを算出し、μ＋９×σを閾値とし、これを超える輝度をアーチファクトと認識し、その領域にマスク処理を行う。マスク処理が完了するとステップＳ８１４において３次元データを再構成する。そして表示制御部１４９の制御に基づいてステップＳ８１５でレンダリング表示され、アーチファクトが除去（低減）された３次元画像（低減画像）が得られる。
【００３２】
または、ステップＳ８１６において、再構成された断層画像に対して、解析処理を行う。予めアーチファクトが除去されているため、通常の解析アルゴリズムを適用することが出来、網膜のセグメンテーション解析や膜厚マップ解析を行う。そして、ステップＳ８１７で解析レポート結果を表示する。
【００３３】
上記のように、各Ｂ−ｓｃａｎ画像に応じた所定のサイズでマスク処理を施すことで、広画角撮影に起因するアーチファクトが適切に除去され、アーチファクトに遮られることなく眼底の３次元観察や解析処理を行うことが出来る。
【００３４】
なお、信号処理部１４４は、合波光を検出して得た干渉信号を用いて、上記有効径外領域に相当する３次元範囲の強度が低減されている被検眼の画像（低減画像）を生成する生成手段の一例である。このとき、生成手段は、干渉信号を用いて得た３次元断層情報における上記３次元範囲に対してマスク処理を実行してもよい。これにより、生成手段は、マスク処理を実行して得た３次元断層情報を用いて被検眼の２次元断層画像または３次元断層画像を生成することにより、上記低減画像を生成することができる。また、生成手段は、干渉信号を用いて得た３次元断層情報を用いて被検眼の３次元断層画像を生成し、生成された３次元断層画像における３次元範囲に対してマスク処理を実行してもよい。また、信号処理部１４４は、合波光を検出して得た干渉信号を用いて、上記有効径外領域に相当する２次元範囲であって、被検眼の深さ方向における２次元範囲の強度が低減されている被検眼の画像（低減画像）を生成する生成手段の一例である。このとき、生成手段は、干渉信号を用いて得た３次元断層情報を用いて被検眼の２次元断層画像を生成し、生成された２次元断層画像における２次元範囲に対してマスク処理を実行してもよい。また、生成手段は、干渉信号を用いて得た２次元断層情報における２次元範囲に対してマスク処理を実行してもよい。これにより、生成手段は、マスク処理を実行して得た２次元断層情報を用いて被検眼の２次元断層画像を生成することにより、上記低減画像を生成することができる。
【００３５】
また、上述した生成手段は、上記低減画像に対して解析処理を実行して得た解析結果を生成してもよい。なお、生成手段は、合波光を検出して得た干渉信号を用いて生成された３次元断層情報または２次元断層情報の解析結果であって、該解析結果における上記有効径外領域に相当する範囲に対してマスク処理を実行してもよい。
【００３６】
（実施例２）
本実施例においては、コリメータレンズ１１２のフォーカス調整によってマスク領域が変化する点が異なる。すなわち、生成手段は、被検眼に対する測定光のフォーカス調整の状態に応じた処理を行うことにより、上記低減画像を生成してもよい。図９は、フォーカス状態の異なる光束とレンズホルダ１０６のエッジとの関係を示している。測定光のフォーカスは被検眼１１８の眼底Ｅｒに対して制御されるが、同時にレンズホルダ１０６に対する測定光束の集光の度合いも変化する。図９（ａ）のように近視眼の眼底Ｅｒにフォーカスを合わせる場合、レンズホルダ１０６面上においてはより集光する。逆に、図９（ｂ）のように遠視眼の場合は発散する。正視眼の場合はその中間である。レンズホルダ１０６のエッジに対して、光束が集光している場合は大部分の光線が戻り光となるが、光束が発散している場合は、一部の光線が戻り光となるだけで、大部分は眼底Ｅｒに到達し、ＯＣＴ撮影が可能である。同時に戻り光の強度も変化し、近視眼の場合は光束が集光するため強く、遠視眼の場合は光束が発散するため弱い。従って、最小のマスク領域を決定するためにはフォーカス調整の制御の状態を考慮する必要がある。本実施例においては、フォーカスを変化させながら、フォーカス位置毎に閾値判定を行い、マスク領域を設定する。このようにすることにより、フォーカス状態に応じて、出来るだけ広い画角でのＯＣＴ撮影が可能になる。さらには、強い戻り光も漏れなく検出することが出来る。
【００３７】
（実施例３）
本実施例においては、マスク処理の対象が３次元データではなく２次元データである点が異なる。ＯＣＴ撮影においては、クロススキャン、ラジアルスキャン、サークルスキャン等のＢ−ｓｃａｎ断層像の撮影が主に行われる。クロススキャンは、主に黄斑部を中心とした水平方向および垂直方向の断層像を取得する。ラジアルスキャンは、主に黄斑部を中心とした放射状の角度方向の断層像を取得する。サークルスキャンは、主に視神経乳頭を中心とした円周上の断層像を取得する。いずれのスキャン方法も表示部１４６の眼底二次元画像２１１上で、検者が位置指定することにより、撮影領域が決定される。
【００３８】
ここで、Ｂ−ｓｃａｎ断層像を広画角撮影する際には、撮影領域によって、レンズホルダ１０６によるアーチファクト４１０が発生し、マスク処理が必要になる場合がある。クロススキャンで、黄斑を眼底二次元画像２１１の中心に固視誘導した状態で、黄斑中心部を位置指定して撮影する場合においては、水平方向および垂直方向において十分に光学有効径が足りるため、アーチファクト４１０は生じず、マスク処理の必要はない。一方で、周辺の網膜を観察するために、固視誘導はそのままに、クロススキャンの中心を上下左右いずれかの端部付近に指定した場合は、スキャン範囲の端部がレンズホルダ１０６にかかり、アーチファクト４１０が発生する（例：図６（ａ）の画像６１３ａ）。Ｂ−ｓｃａｎ断層像の場合、視点方向の概念が無いため、アーチファクト４１０が眼底Ｅｒの観察を遮ることは無い。しかしながら、異物として誤認識したり、眼底Ｅｒの断層像と近接したりして、解析処理エラーにつながることがある。従って、Ｂ−ｓｃａｎ断層像においてもマスク処理は必要になる。クロススキャンの中心が指定されると、中心点を基準に水平スキャン領域および垂直スキャン領域が設定される。この両スキャン領域が、実施例１に記載の通り、予め決定されているボリュームスキャンのマスク領域に含まれていれば、当該領域にマスク処理を行い、アーチファクト１０４を除去すればよい。
【００３９】
ラジアルスキャン、サークルスキャンも同様で、眼底二次元画像２１１の中心を位置指定した状態でＢ−ｓｃａｎ断層像を取得する場合には、アーチファクト４１０は発生せず、マスク処理は不要である。一方で、周辺部を位置指定した状態でＢ−ｓｃａｎ断層像を取得する場合には、スキャン範囲の一部がレンズホルダ１０６にかかり、アーチファクト４１０が発生する。この場合も、中心点を基準にラジアルスキャンまたはサークルスキャン領域が設定され、この両スキャン領域が、予め決定されているボリュームスキャンのマスク領域に含まれていれば、当該領域にマスク処理を行い、アーチファクト４１０を除去すればよい。
【００４０】
このように、広画角ＯＣＴにおけるＢ−ｓｃａｎ断層像においても、レンズホルダ１０６によるアーチファクト４１０に対するマスク処理は有効である。
【００４１】
（実施例４）
本実施例においては、マスク処理は行わず、スキャン範囲の限定でアーチファクト４１０を発生しないようにする点が異なる。図１０は、アーチファクト４１０の領域を除外したスキャンのフローを説明する図である。アーチファクト４１０の発生するスキャン範囲は、装置固有のものとして決まるため、指定されたスキャン範囲に当該領域が含まれていた場合には、ステップＳ１０１１でガルバノスキャナ１１４を制御し、当該領域を除外して信号取得すればよい。このようにすることにより、ステップＳ１０１２で取得されたＣ−ｓｃａｎデータにはすでにアーチファクト４１０が含まれていないため、マスク処理をする必要はない。これをステップＳ１０１３で断層像再構成をする際には、除外した領域はゼロ値データで埋めればよい。そしてＳ１０１４および３次元再構成を行い、ステップＳ１０１５で通常のレンダリング画像表示を行う。または解析処理においても同様にマスク処理が不要で、ステップＳ１０１６にて膜厚マップ等の解析処理を行い、ステップＳ１０１７で解析結果を表示する。このようにすれば、不要な領域の信号取得およびマスク処理を削減し、処理時間が短縮する利点もある。
【００４２】
（実施例５）
本実施例においては、表示部１４６でＢ−ｓｃａｎ像２１２および３次元画像２１４に対してはマスク処理を行わないが、解析処理に対してのみマスク処理を行う点が異なる。図１１は、解析処理に限定したマスク処理のフローを説明する図である。ＯＣＴ検査においては、膜厚マップ画像２１３には正確性を重視し、ボリュームレンダリング画像の３次元画像表示２１４には高速性を重視する場合がある。このような場合においては、ステップＳ１１１１のボリュームデータ取得からステップＳ１１１４の３次元画像レンダリング表示までは、通常の処理を行う。この場合、マスク処理を行わないため、全体の処理時間を短縮することが出来る。ただし、画像中にアーチファクト４１０が含まれる可能性があるため、眼底形状全体のおおまかな観察に留めるなどの注意を要する。一方、解析処理においては、解析処理Ｓ１１１６の直前にステップＳ１１１５でマスク処理を行い、アーチファクト４１０を除去した上で、ステップＳ１１１６で通常の解析処理を行い、ステップＳ１１１７で正確性の高い解析結果を表示すればよい。
【００４３】
（実施例６）
本実施例においては、解析結果表示に対してのみマスク処理を行う点が異なる。図１２は、解析結果表示に限定したマスク処理のフローを説明する図である。この例は、３次元画像表示２１４だけでなく、解析結果表示にも高速性の効果を生む場合である。実施例５と同様にステップＳ１２１１のボリュームデータ取得からステップＳ１２１４の３次元画像レンダリング表示までは、通常の処理を行う。ステップ１２１５の解析処理においてはステップＳ１２１２で再構成された断層画像に対して通常通りの網膜セグメンテーション解析および膜厚マップ解析を行う。このとき、マスク処理を介さないため、処理時間は短い。一方、断層画像中にはアーチファクト４１０が含まれ、当該領域においては網膜のセグメンテーションエラーが生じた状態で膜厚マップ解析が行われる可能性がある。そしてステップＳ１２１６でマスク処理が行われるが、この場合は、既に解析処理が行われ、ＸＹ平面にマッピングされた１枚の膜厚マップ画像に対して行う。そのためマスクデータもＸＹ平面にマッピングされた単一データでよく、３次元データに対してマスク処理を行うのに比較して高速に処理を完了することが出来る。
【００４４】
（実施例７）
本実施例においては、解析処理の対象がＯＣＴＡ（ＯＣＴアンギオグラフィ）である点が異なる。ＯＣＴＡは、ＯＣＴ装置を用いた網膜の血管を描出する画像診断であり、２次元または３次元のＯＣＴデータを一定の時間間隔で複数取得し、その差分データ（モーションコントラストデータ）を輝度値として可視化する手法が主に用いられている。血管中の血流には赤血球が移動しており、時間毎に位置や戻り光の強度が異なるため、ＯＣＴデータに差が生じ、差分情報が強くなる。一方、他の網膜構造は静止しているため、差分情報は弱い。そのような差分情報の強弱をモーションコントラストデータとして画像化する。ここで、レンズホルダ１０６は静止した構造であり、これによるアーチファクト４０１も位置及び戻り光強度が一定であるため、ＯＣＴＡ解析する際には差分情報としては微弱であり、マスク処理の必要性は低い。従って、信号処理部１４４がＯＣＴＡ解析処理を実行する場合には、マスク処理は無効とし、無駄な処理を省き、全体の処理の効率化を図ることが出来る。すなわち、生成手段は、合波光を検出して得た干渉信号を用いてモーションコントラストデータに基づく画像を生成する場合には、マスク処理を実行しなくてもよい。
【００４５】
（変形例１）
上述した様々な実施例に適用可能な表示画面（レポート画面）の一例について、図１３を用いて説明する。ここで、図１３は、ＸＹ方向に対する正面視の視点から斜め方向に角度をつけた視点で三次元モーションコントラストデータをボリュームレンダリングしたレンダリング画像１１０１´の一例を示す。なお、本変形例に係る画像処理装置では、レンダリング部が、被検体の断層の情報を含む三次元の断層データの少なくとも一部をボリュームレンダリングすることで断層データに基づくレンダリング画像を生成する。このとき、レンダリング画像１１０１´を表示する際に、不図示のレンダリング部は、決定された視点に基づいてレンダリング画像１１０１´を生成する。
【００４６】
まず、表示画面８００には、ビューモードのタブ８２３、８２４が設けられている。タブ８２３は、検者からの指示に応じて、ボリュームデータの深度範囲の少なくとも一部を用いて生成された正面画面や、不図示の範囲選択部による深度範囲の選択等に関する表示を行うための表示画面の表示を実行（表示に変更）させるための選択部の一例である。また、タブ８２４では、図１３で示す表示画面の表示（表示への変更）が実行される。
【００４７】
タブ８２４には、レンダリング画像を表示する領域１１００、レンダリング画像１１０１´、オリエンテーションキューブ（Ｏｒｉｅｎｔａｔｉｏｎ  Ｃｕｂｅ）１１０２が示されている。ここで、オリエンテーションキューブ１１０２は、ボリュームレンダリングの視点に対応するレンダリングデータ（レンダリング画像）の姿勢を示している。オリエンテーションキューブ１１０２のそれぞれの面には、Ｔ，Ｓ，Ｎ，Ｉ，Ａ，Ｐを一文字ずつ表示している。これらはそれぞれ、Ｔｅｍｐｏｒａｌ、Ｓｕｐｅｒｉｏｒ、Ｎａｓａｌ、Ｉｎｆｅｒｉｏｒ、Ａｎｔｅｒｉｏｒ、Ｐｏｓｔｅｒｉｏｒを意味しており、それぞれの姿勢に対応する。検者はオリエンテーションキューブ１１０２を確認することにより、レンダリングデータの姿勢を把握することができる。なお、検者が領域１１００においてマウスをドラッグしたり、マウスホイールを回転させたりすることで、ボリュームレンダリングの視点方向や画像の表示倍率を変更できるように、ＵＩが構成されることができる。また、視点方向や表示倍率の変更用のボタン等が設けられてもよい。また、タブ８２４には、ラジオボタン１１１０、１１１８、スライダー１１１１，１１１２、リセットボタン１１１３、層の種類１１１４、チェックボックス１１１５，１１１６、及びチェックボックスの全選択のボタン１１１７が示されている。ラジオボタン１１１０は、ボリュームレンダリングを行うモードを選択するために用いられる。図１３に示すように、モーションコントラストデータのレンダリング画像１１０１´を表示する際には、ラジオボタン１１１０において、表示モードとしてＡｎｇｉｏｇｒａｐｈｙを選択する。本変形例では、Ａｎｇｉｏｇｒａｐｈｙが選択された場合の初期画像として、不図示の視点決定部がＸＹ面方向に対して斜め方向に角度をつけた所定の視点でボリュームレンダリングを行ったレンダリング画像１１０１´を表示する。
【００４８】
スライダー１１１１、１１１２は、表示されるレンダリング画像の輝度とコントラストを調整するためのスライダーである。また、リセットボタン１１１３は調整した値をデフォルトの値にリセットするためのボタンを示している。層の種類１１１４は、チェックボックス１１１５、１１１６で選択される層の種類を示している。チェックボックス１１１５、１１１６は、層の可視化の選択とＰｅｅｌｉｎｇ選択のチェックボックスを表している。また、ボタン１１１７は、チェックボックス１１１５、１１１６を全て選択するボタンである。なお、図示しないが、別途、チェックボックス１１１５、１１１６の選択を全て解除するボタンがあってもよい。また、ボタン１１１７にチェックボックス１１１５，１１１６の選択を全て解除する機能を追加してもよい。範囲選択部は、チェックボックス１１１５の選択に応じてボリュームレンダリングに用いるデータ範囲についての検者からの指定を取得してもよい。また、範囲選択部がチェックボックス１１１５の選択とは独立してデータ範囲の指定を取得してもよい。この場合には、チェックボックス１１１５の選択に対応するデータを他の手法により、可視化したり、非表示したりしてもよい。なお、本変形例では、Ａｎｇｉｏｇｒａｐｈｙが選択された場合の初期画像として、範囲選択部が三次元モーションコントラストデータの全てをデータ範囲として選択してボリュームレンダリングを行ったレンダリング画像１１０１´を表示する。ラジオボタン１１１８は、表示される画像についての投影方法を選択するために用いられる。ラジオボタン１１１８を用いることで、レイキャスティング法等のボリュームレンダリングによる投影や最大値投影（ＭＩＰ）法を選択することができる。ラジオボタン１１１８において、最大値投影法が選択された場合には、三次元データについて最大値投影を行った不図示の画像が領域１１００に表示される。
【００４９】
なお、本変形例においては、投影方法に関して２種類の選択肢を示しているが、投影方法の種類はこれに限らない。ここで、前述のように、最大値投影法により投影されたＯＣＴＡ画像では、血管の交差部の深さ方向の位置関係を把握しづらい。そのため、タブ８２４においてＡｎｇｉｏｇｒａｐｈｙの表示モードの場合の投影方法としては、最大値投影法以外の方法で表示することが好ましい。ただし、比較的大きなＯＣＴＡ画像を確認することが所望される場合等に応じて、Ａｎｇｉｏｇｒａｐｈｙの表示モードにおいて、最大値投影法が選択されてもよい。また、ラスタースキャンによって取得された三次元断層データをボリュームレンダリングしたレンダリング画像１１０１´には、ピーリングコントロール（Ｐｅｅｌｉｎｇ  Ｃｏｎｔｒｏｌ）１１０３が重畳されている。検者はピーリングコントロール１１０３を操作することで、チェックボックス１１１６で選択されている層だけをボリュームデータから剥きとる（Ｐｅｅｌｉｎｇ）することができる。なお、図１３では、斜め方向に角度を設定した場合のオリエンテーションキューブ１１０２’も示されており、検者はオリエンテーションキューブ１１０２’を確認することで、視点の角度を確認することができる。
【００５０】
ここで、本変形例における表示画面では、Ａｎｇｉｏｇｒａｐｈｙが選択された場合について説明したが、通常のＯＣＴのボリュームレンダリング画像の表示であってもよい。また、本変形例における表示画面では、通常画角における３Ｄ撮影で得たボリュームレンダリング画像の表示について説明したが、広画角における３Ｄ撮影で得たボリュームレンダリング画像の表示であってもよい。このとき、本変形例における表示画面では、上述した様々な実施例におけるアーチファクトの低減処理（マスク処理）が適用されたボリュームレンダリング画像の表示であってもよい。また、検者からの指示に応じて、アーチファクトの低減処理の適用・非適用のボリュームレンダリング画像の表示を変更可能に構成されてもよい。また、第一の画角の一例である通常画角と、第一の画角よりも広画角である第二の画角とが変更可能に構成されてもよい。このとき、第一の画角で得た画像には上記低減処理が非適用であるが、一方、第二の画角で得た画像には上記低減処理が適用されるように構成されてもよい。また、画角の変更は、対物レンズの交換、測定光路における変倍光学系の挿脱、複数の変倍光学系の択一的な挿入、変倍光学系の光路上での移動等の構成で実行されてもよい。また、画角の変更は、検者からの指示に応じて、第一の画角による撮影モードと、第二の画角による撮影モードとを含む複数の撮影モードのいずれかの選択をトリガーとして（自動的に）実行されてもよい。なお、上述した各種構成については、本変形例に限らず、後述する様々な変形例についても同様に適用することが可能である。
【００５１】
（変形例２）
上述した様々な実施例及び変形例において、複数の医用画像（例えば、複数の種類の医用画像）の少なくとも１つを入力データとし、ボリュームレンダリングの視点に関する情報（視点の角度、視線方向等）を正解データ（教師データ）とする学習データを学習して得た学習済モデル（後述）が用いられるように構成されてもよい。このとき、学習済モデルを用いて、撮影して得た少なくとも１つの医用画像（例えば、少なくとも１つの種類の医用画像）からボリュームレンダリングの初期視点に関する情報を生成することができる。これにより、ボリュームレンダリングの表示画面が表示されると、決定された初期視点に関する情報を用いて生成されたボリュームレンダリング画像がデフォルト表示されるように構成させることができる。このため、医用画像によって診断したい注目部位等に応じた初期表示ができるため、検者の利便性が向上する。なお、視点は、検者からの指示に応じて、初期視点から変更可能に構成されてもよい。また、学習時及び推定時（予測時）の入力データは、共通の種類の画像であればよく、例えば、断層撮影して得た３次元画像、少なくとも１つのＢスキャン画像、各種の正面画像等の複数の種類の画像の少なくとも１つであれば何でもよい。また、学習時の入力データとしては、医用画像だけでなく、撮影モード等の撮影条件が含まれていてもよい。この場合には、推定時（予測時）の入力データとしても、撮影条件が含まれることが好ましい。また、学習時の正解データとしては、表示されるレンダリング画像の輝度またはコントラストの初期値、表示される層の種類の初期設定が含まれていてもよい。この場合には、推定時（予測時）の生成データとしても、これらの初期値や初期設定が含まれていてもよい。もちろん、これらの設定についても、検者からの指示に応じて、初期値や初期設定から変更可能に構成されてもよい。
【００５２】
また、検者からの指示に応じて、現在表示されているボリュームレンダリングの視点に関する情報を、医用画像と関連付けて学習データとして保存するための指示ボタン等があってもよい。また、ボリュームレンダリングの表示画面から別の表示画面に変更された場合に、最後に表示されていたボリュームレンダリングの視点に関する情報を、医用画像と関連付けて学習データとして保持するように構成されてもよい。また、このような学習データが、ネットワークを介して、病院や研究所等の外部施設のサーバ（学習用サーバ）等に送信可能に構成されてもよい。そして、学習済モデルは、保存された学習データを用いて追加学習が行われるように構成されてもよい。これにより、より検者に適した学習済モデルを生成することができる。
【００５３】
（変形例３）
上述した様々な実施例及び変形例におけるレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。このとき、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、上述したような様々なアーチファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、シュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。
【００５４】
また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。また、学習済モデルは、輝度正面画像及びモーションコントラスト正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、輝度正面画像は輝度のＥｎ−Ｆａｃｅ画像に対応し、モーションコントラスト正面画像はＯＣＴＡのＥｎ−Ｆａｃｅ画像に対応する。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。なお、高画質化用の学習済モデルは、第一の画像を入力データとし、第一の画像よりも高画質な第二の画像を正解データとする学習データを学習して得たものであってもよい。このとき、第二の画像は、例えば、複数の第一の画像の重ね合わせ処理（例えば、位置合わせして得た複数の第一の画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像であってもよい。
【００５５】
また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、解析結果生成用の学習済モデルにより得た解析結果が表示されるように構成されてもよい。
【００５６】
また、上述した様々な実施例及び変形例におけるレポート画面において、緑内障や加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果は、特定された異常部位等の位置を画像上に表示されてもよいし、また、異常部位の状態等を文字等によって表示されてもよい。また、異常部位等の分類結果（例えば、カーティン分類）を診断結果として表示させてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報（例えば、割合を示す数値）が表示されてもよい。
【００５７】
なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。
【００５８】
また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルにより得た診断結果が表示されるように構成されてもよい。
【００５９】
また、上述した様々な実施例及び変形例におけるレポート画面において、上述したような注目部位、アーチファクト、異常部位等の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け（アノテーション）した学習データを学習して得た学習済モデルを用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。
【００６０】
また、上述した学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。
【００６１】
また、上述した学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元ＯＣＴ画像（三次元断層画像）と眼底の視神経乳頭のサークルスキャン（又はラスタースキャン）断層画像とをセットとする入力データ等も考えられる。
【００６２】
なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、各処理の結果を向上することができる。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。
【００６３】
また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、検者は、撮影直後であっても精度の良い結果を確認することができる。また、上述した低画質画像と高画質画像との表示の変更は、例えば、低画質画像の解析結果と高画質画像の解析結果との表示の変更であってもよい。
【００６４】
ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルであれば何でもよい。
【００６５】
また、高画質化エンジン（高画質化用の学習済モデル）は、高画質化エンジンにより生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。また、正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。
【００６６】
（変形例４）
上述した様々な実施例及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも１つのフレーム毎に上述した学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。なお、複数のライブ動画像は、例えば、ＸＹＺ方向のアライメントのための前眼部の動画像、及び眼底観察光学系のフォーカス調整やＯＣＴフォーカス調整のための眼底の正面動画像であってよい。また、複数のライブ動画像は、例えば、ＯＣＴのコヒーレンスゲート調整（測定光路長と参照光路長との光路長差の調整）のための眼底の断層動画像等であってもよい。
【００６７】
また、上述した学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化用の学習済モデルにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成してもよい。
【００６８】
なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
【００６９】
ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。なお、高画質化ボタンは、高画質化処理の実行を指定するためのボタンである。もちろん、高画質化ボタンは、高画質画像の表示を指示するためのボタンであってもよい。
【００７０】
また、走査パターン等が異なる撮影モード毎に異なる高画質化用の学習済モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化用の学習済モデルが用いられてもよい。
【００７１】
（変形例５）
上述した様々な実施例及び変形例においては、学習済モデルが追加学習中である場合、追加学習中の学習済モデル自体を用いて出力（推論・予測）することが難しい可能性がある。このため、追加学習中の学習済モデルに対する医用画像の入力を禁止することがよい。また、追加学習中の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習中には、予備の学習済モデルに対して医用画像の入力が実行できるようにすることがよい。そして、追加学習が完了した後に、追加学習後の学習済モデルを評価し、問題なければ、予備の学習済モデルから追加学習後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。なお、学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け（アノテーション）されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時（予測時）の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報（例えば、割合を示す数値）と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理（例えば、位置合わせして得た複数の低画質画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれても良い。
【００７２】
また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第１の撮影部位（肺、被検眼等）を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、制御部１４３は、これら複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、制御部１４３は、選択された学習済モデルに対して追加学習として実行する制御手段を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。
【００７３】
なお、選択手段及び制御手段は、制御部１４３のＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
【００７４】
また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざんや、追加学習時のシステムトラブル等による信頼性低下を低減したい。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わない。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。
【００７５】
（変形例６）
上述した様々な実施例及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル（音声認識エンジン、文字認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル（文字認識エンジン、文字認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル（ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。
【００７６】
また、検者からの指示は、モニタ上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、モニタ周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。
【００７７】
このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、高画質化用の学習済モデルで得た高画質画像の表示の指示を示す文字データ又は音声データ等を入力データとし、高画質画像の表示の実行命令及び高画質化ボタンをアクティブ状態に変更するための実行命令を正解データとする学習データであってもよい。もちろん、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス、タッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。
【００７８】
ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｒｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いることができる。ここで、本変形例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるＲＮＮに関して、図１４（ａ）及び（ｂ）を参照して説明する。また、ＲＮＮの一種であるＬｏｎｇ  ｓｈｏｒｔ−ｔｅｒｍ  ｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図１５（ａ）及び（ｂ）を参照して説明する。
【００７９】
図１４（ａ）は、機械学習モデルであるＲＮＮの構造を示す。ＲＮＮ３５２０は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘｔ３５１０を入力し、データｈｔ３５３０を出力する。ＲＮＮ３５２０はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図１４（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘｔ３５１０にはＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）のデータが含まれる。また、ＲＮＮ３５２０より出力されるデータｈｔ３５３０には入力データに対応するＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）のデータが含まれる。
【００８０】
しかし、ＲＮＮでは誤差逆伝搬時に長期時間の情報を扱うことができないため、ＬＳＴＭが用いられることがある。ＬＳＴＭは、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図１５（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ３５４０において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃｔ−１と出力データｈｔ−１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。
【００８１】
次に、図１５（ｂ）にＬＳＴＭ３５４０の詳細を示す。図１５（ｂ）において、ＦＧは忘却ゲートネットワーク、ＩＧは入力ゲートネットワーク、ＯＧは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。ＣＵは、セル更新候補ネットワークであり、活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。
【００８２】
なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ  Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ  ｔｏＳｅｑｕｅｎｃｅ）が適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。  
【００８３】
（変形例７）
上述した様々な実施例及び変形例において、高画質画像等は、検者からの指示に応じて記憶部に保存されてもよい。このとき、高画質画像等を保存するための検者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、最後の箇所）に、高画質化用の学習済モデルを用いた処理（高画質化処理）により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、検者からの指示に応じて編集可能な状態で表示されてもよい。
【００８４】
また、レポート画面等の種々の表示画面において、表示部に高画質画像を表示させる際に、表示されている画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、検者は、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。
【００８５】
このとき、レポート画面等の表示画面は、検者からの指示に応じて記憶部に保存されてもよい。例えば、高画質化画像等と、これらの画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部に保存されてもよい。
【００８６】
また、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化用の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。
【００８７】
また、高画質化用の学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、高画質画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。
【００８８】
また、レポート画面の初期表示画面として、高画質化ボタンがアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、高画質化ボタンがアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ−Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されもよい。
【００８９】
（変形例８）
上述した様々な実施例及び変形例において、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルで得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）を、第１の種類とは異なる第２の種類の学習済モデルに入力してもよい。このとき、第２の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）が生成されるように構成されてもよい。
【００９０】
また、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）を用いて、第１の種類の学習済モデルに入力した画像から、第１の種類とは異なる第２の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第２の種類の学習済モデルにより処理する画像として適した画像である可能性が高い。このため、生成された画像を第２の種類の学習済モデルに入力して得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。
【００９１】
また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似画像検索を行ってもよい。なお、データベースにおいて保存されている複数の画像が、既に機械学習等によって該複数の画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、画像自体を検索キーとする類似画像検索エンジン（類似画像検査モデル、類似画像検索用の学習済モデル）が用いられてもよい。
【００９２】
（変形例９）
なお、上記実施例及び変形例におけるモーションコントラストデータの生成処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、光干渉断層取得部（ＯＣＴ撮影部）１００で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。
【００９３】
分割手段としてカプラを使用したファイバ光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、ＯＣＴ撮影部１００の構成は、上記の構成に限られず、ＯＣＴ撮影部１００に含まれる構成の一部をＯＣＴ撮影部１００と別体の構成としてもよい。
【００９４】
また、上記実施例及び変形例では、ＯＣＴ撮影部１００の干渉光学系としてマッハツェンダー型干渉計の構成を用いているが、干渉光学系の構成はこれに限られない。例えば、ＯＣＴ装置１の干渉光学系はマイケルソン干渉計の構成を有していてもよい。
【００９５】
さらに、上記実施例及び変形例では、ＯＣＴ装置として、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ）装置について述べたが、本発明によるＯＣＴ装置の構成はこれに限られない。例えば、ＳＬＤを光源として用いたスペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ）装置等の他の任意の種類のＯＣＴ装置にも本発明を適用することができる。また、ライン光を用いたＬｉｎｅ−ＯＣＴ装置に対して本発明を適用することもできる。
【００９６】
また、上記実施例及び変形例では、制御部１４３は、ＯＣＴ撮影部１００で取得された干渉信号や画像処理部で生成された三次元断層画像等を取得した。しかしながら、制御部１４３がこれらの信号や画像を取得する構成はこれに限られない。例えば、制御部１４３は、ＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。
【００９７】
なお、学習済モデルは、画像処理装置である制御部１４３に設けられることができる。学習済モデルは、例えば、ＣＰＵ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されることができる。また、学習済モデルは、制御部１４３と接続される別のサーバ等に設けられてもよい。この場合には、制御部１４３は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、学習済モデルを用いて高画質化処理を行うことができる。
【００９８】
（変形例１０）
また、上述した様々な実施例及び変形例による画像処理装置又は画像処理方法によって処理される画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された医用画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、上記実施例及び変形例による画像処理装置又は画像処理方法によって作成された画像を含むことができる。
【００９９】
さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。
【０１００】
また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（三次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ−Ｆａｃｅ画像を含む。Ｅｎ−Ｆａｃｅ画像は、三次元のＯＣＴＡデータ（三次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ−Ｆａｃｅ画像（モーションコントラスト正面画像）でもよい。また、三次元のＯＣＴデータや三次元のモーションコントラストデータは、三次元の医用画像データの一例である。
【０１０１】
また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施例及び変形例に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。
【０１０２】
なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ−ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ−ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ）装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ−ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ−ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ−ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ−ＯＣＴ）装置等を含んでよい。
【０１０３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能（例えば制御・処理部１６０の機能）を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
【図１】
2020174862.tif 000003
【図２】
2020174862.tif 000004
【図３】
2020174862.tif 000005
【図４】
2020174862.tif 000006
【図５】
2020174862.tif 000007
【図６】
2020174862.tif 000008
【図７】
2020174862.tif 000009
【図８】
2020174862.tif 000010
【図９】
2020174862.tif 000011
【図１０】
2020174862.tif 000012
【図１１】
2020174862.tif 000013
【図１２】
2020174862.tif 000014
【図１３】
2020174862.tif 000015
【図１４】
2020174862.tif 000016
【図１５】
2020174862.tif 000017