(57)【要約】【課題】  有用な情報を提示できる眼科画像処理装置および眼科画像処理プログラムを提供することを技術課題とする。【解決手段】  眼科画像を処理する眼科画像処理装置であって、撮影手段によって撮影された被検眼の眼科画像を取得する画像取得手段と、機械学習アルゴリズムによって訓練された数学モデルに前記被検眼の眼科画像を入力することによって、前記被検眼の変化を予測した予測画像を出力させる画像処理手段と、を備えることを特徴とする。【選択図】      図３
2019208852.tif 000002
【特許請求の範囲】
【請求項１】
眼科画像を処理する眼科画像処理装置であって、
撮影手段によって撮影された被検眼の眼科画像を取得する画像取得手段と、
機械学習アルゴリズムによって訓練された数学モデルに前記被検眼の眼科画像を入力することによって、前記被検眼の変化を予測した予測画像を出力させる画像処理手段と、を備えることを特徴とする眼科画像処理装置。
【請求項２】
前記予測画像は、前記被検眼が疾患になったときの変化を予測した画像であることを特徴とする請求項１の眼科画像処理装置。
【請求項３】
前記予測画像は、前記被検眼の疾患を治療したときの変化を予測した画像であることを特徴とする請求項１の眼科画像処理装置。
【請求項４】
付加情報を取得する情報取得手段をさらに備え、
前記画像処理手段は、前記眼科画像とともに前記付加情報を前記数学モデルに入力することによって、前記予測画像を出力させることを特徴とする請求項１〜３のいずれかの眼科画像処理装置。
【請求項５】
眼科画像を処理する眼科画像処理装置において実行される眼科画像処理プログラムであって、前記眼科画像処理装置のプロセッサによって実行されることで、
撮影手段によって撮影された被検眼の眼科画像を取得する画像取得ステップと、
機械学習アルゴリズムによって訓練された数学モデルに前記被検眼の眼科画像を入力することによって、前記被検眼の変化を予測した予測画像を出力させる画像処理ステップと、を前記眼科画像処理装置に実行させることを特徴とする眼科画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
被検眼の眼科画像を処理するための眼科画像処理装置、および眼科画像処理プログラムに関する。
【背景技術】
【０００２】
近年、画像認識分野においてニューラルネットワークが注目されており（特許文献１参照）、医療画像への応用が期待されている。
【０００３】
ニューラルネットワークを基礎とするディープラーニング（Deep Learning）は、主に画像認識、セグメンテーションで使われている一方、近年では画像生成も盛んに行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−２１９９６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、眼科分野において、患者に眼の状態を説明する際、臨床的な画像を見せて説明している。しかしながら、代表的な眼の疾患画像を見せているに過ぎないため、患者自身が疾患の状態について理解するには情報が不足している場合があった。
【０００６】
本開示は、従来の問題点に鑑み、有用な情報を提示できる眼科画像処理装置および眼科画像処理プログラムを提供することを技術課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本開示は以下のような構成を備えることを特徴とする。
【０００８】
（１）  眼科画像を処理する眼科画像処理装置であって、撮影手段によって撮影された被検眼の眼科画像を取得する画像取得手段と、機械学習アルゴリズムによって訓練された数学モデルに前記被検眼の眼科画像を入力することによって、前記被検眼の変化を予測した予測画像を出力させる画像処理手段と、を備えることを特徴とする。
（２）  眼科画像を処理する眼科画像処理装置において実行される眼科画像処理プログラムであって、前記眼科画像処理装置のプロセッサによって実行されることで、撮影手段によって撮影された被検眼の眼科画像を取得する画像取得ステップと、機械学習アルゴリズムによって訓練された数学モデルに前記被検眼の眼科画像を入力することによって、前記被検眼の変化を予測した予測画像を出力させる画像処理ステップと、を前記眼科画像処理装置に実行させることを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】眼科画像処理装置の概略構成を示す図である。
【図２】撮影装置の光学系を示す図である。
【図３】数学モデルと、入力と出力の関係について示す図である。
【図４】数学モデルに疾患の進行度を入力したときの様子を示す図である。
【図５】制御動作を説明するためのフローチャートである。
【図６】数学モデルから厚さマップの予測画像を出力させた場合の図である。
【図７】数学モデルから血管画像の予測画像を出力させた場合の図である。
【図８】数学モデルから治療後の予測画像を出力させた場合の図である。
【発明を実施するための形態】
【００１０】
＜実施形態＞
本開示に係る実施形態について説明する。実施形態の眼科画像処理装置（例えば、眼科画像処理装置１００）は、眼科画像を処理する。眼科画像処理装置は、例えば、画像取得部（例えば、画像取得部１７１）と、画像処理部（例えば、画像処理部１７２）を主に備える。画像取得部は、例えば、撮影部（例えば、眼科撮影装置１）によって撮影された眼科画像を取得する。画像処理部は、例えば、機械学習アルゴリズムによって訓練された数学モデル（ネットワーク）に被検眼の眼科画像を入力することによって、被検眼の変化を予測した予測画像を出力させる。被検眼の変化は、例えば、被検眼の組織変化、形状変化等である。
【００１１】
眼科画像処理装置は、被検者自身の画像に基づいて予測画像を生成するため、検者は被検眼の将来的な変化について容易にイメージすることができる。また、眼の変化について各被検者に応じた説明を行うことができるため、被検者にとって理解し易い。さらに、研修医に眼の変化を学ばせるための研修用ツールとして用いることができる。
【００１２】
なお、予測画像は、被検眼が疾患になったときの変化を予測した画像であってもよい。これによって、検者は、被検眼が疾患になったときの変化について容易にイメージすることができる。また、疾患による眼の変化について、被検者自身の予測画像を用いて各被検者に応じた説明を行うことができるため、被検者にとって理解し易い。
【００１３】
なお、予測画像は、被検眼の疾患を治療したときの変化を予測した画像であってもよい。これによって、検者は、被検眼を治療したときの変化について容易にイメージすることができる。また、治療による眼の変化について、被検者自身の予測画像を用いて各被検者に応じた説明を行うことができるため、被検者にとって理解し易い。
【００１４】
なお、付加情報を取得する情報取得部（情報取得部１７７）をさらに備えてもよい。この場合、画像処理部は、眼科画像とともに付加情報を数学モデルに入力することによって、予測画像を出力させてもよい。これによって、検者は、付加情報に応じた予測画像を生成させることができる。例えば、検者は、付加情報を指定することによって、所望の予測画像を生成させることができる。
【００１５】
付加情報は、例えば、疾患名であってもよい。疾患名は、例えば、加齢黄斑変性（ＡＭＤ）、糖尿病網膜症、緑内障などの種々の疾患である。眼科画像とともに疾患名を数学モデルに入力することによって、所望の疾患になったときの予測画像を生成させることができる。
【００１６】
付加情報は、例えば、治療方法であってもよい。治療方法は、例えば、種々の手術または投薬などである。眼科画像とともに治療方法を数学モデルに入力することによって、所望の治療を施したときの予測画像を生成させることができる。
【００１７】
なお、付加情報は、疾患または治療等の進行度を含んでもよい。この場合、画像処理部は、進行度に基づいて予測画像を生成してもよい。これによって、被検眼の変化を段階的に示す予測画像を生成することができる。なお、進行度は、例えば、初期、中期、末期等の複数の段階に分かれたレベルであってもよい。
【００１８】
また、付加情報は、疾患または治療の位置情報を含んでいてもよい。この場合、画像処理部は、位置情報に基づいて予測画像を生成してもよい。例えば、情報取得部は、検者によって指定された位置を付加情報として取得してもよい。これによって、検者は、被検眼の眼科画像の所望の位置が変化した予測画像を作成させることができる。
【００１９】
なお、画像処理部は、複数の予測画像を生成することによって、被検眼の変化を予測した動画像を生成してもよい。例えば、画像処理部は、進行度別に生成した予測画像を繋ぎ合わせることで動画像を生成してもよい。これによって、検者は、被検眼の変化を視認し易くなる。
【００２０】
眼科画像を撮影する撮影部は、例えば、眼底カメラ、ＯＣＴ、ＳＬＯ、シャインプルークカメラ等のいずれかの光学系を備えてもよいし、複合機であってもよい。画像取得部は、これらの光学系によって撮影された画像を取得してもよい。なお、画像処理部は、数学モデルに複数の眼科画像を入力してもよい。複数の眼科画像は、同一のモダリティによって撮影された画像であってもよいし、複数のモダリティにおいて撮影された画像であってもよい。複数のモダリティにおいて撮影された眼科画像を数学モデルに入力する場合、各モダリティに対応する予測画像を複数出力させてもよいし、複数のモダリティを代表するモダリティに対応する予測画像を出力させてもよい。この場合、代表のモダリティ以外の眼科画像は付加情報として数学モデルに入力される。
【００２１】
なお、画像処理部は、眼科画像に対して血管を抽出する処理を行い、抽出された血管画像を数学モデルに入力してもよい。このとき、血管の動静脈の識別結果を付与してもよい。
例えば、画像処理部は、正常眼の血管抽出画像を数学モデルに入力することによって、その正常眼が疾患になったときの予測眼底画像を出力させてもよい。この場合、疾患眼から血管を抽出した画像を作成し、その血管抽出画像を入力、疾患を伴う眼底画像を出力の正解値として数学モデルに学習させてもよい。これによって、正常な眼底画像とそれに対応した疾患画像が入手できない場合であっても数学モデルを学習させることができる。また、画像処理部は、血管抽出画像と眼底画像の両方を数学モデルに入力してもよい。この場合、眼底画像から色情報を獲得できるため、違った色合いの眼底画像が生成されることを低減できる。
【００２２】
なお、眼画像処理装置のプロセッサは、記憶部等に記憶された眼科画像処理プログラムを実行してもよい。眼科画像処理プログラムは、例えば、画像取得ステップと、画像処理ステップとを含む。画像取得ステップは、例えば、撮影部によって撮影された眼科画像を取得する画像取得ステップである。画像処理ステップは、機械学習アルゴリズムによって訓練された数学モデルに被検眼の眼科画像を入力することによって、被検眼の組織変化を予測した予測画像を生成するステップである。
【００２３】
なお、画像処理部は、網膜層の厚さを示す厚みマップを予測画像として出力してもよい。厚みマップは、例えば、ＯＣＴによって取得されたデータに基づいて作成される。厚みマップが予測画像として出力されることよって、検者は、網膜の厚さが変化する疾患を予測画像から見つけ出すことが容易となる。また、画像処理部は、眼科画像から血管を抽出した血管画像を予測画像として出力してもよい。これによって、検者は、血管形状または血管数が変化する疾患を予測画像から見つけ出すことが容易となる。また、画像処理部は、厚みマップと血管画像を予測画像として出力させてもよいし、厚みマップと血管画像を組み合わせた画像を予測画像として出力してもよい。これによって、検者は、網膜の厚みと血管の状態との変化の関係性を確認できる。このように、予測画像は、特定の画像に限らず、種々の画像であってもよい。画像処理部は、入力した眼科画像とは異なる種類の予測画像を出力させてもよい。画像処理部は、入力した画像よりも多くの予測画像を出力させてもよいし、入力した画像よりも少ない予測画像を出力させてもよい。
【００２４】
なお、画像処理部は、予測画像において変化させた位置を示してもよい。この場合、画像処理部は、数学モデルに入力した眼科画像と出力された予測画像を比較して、変化した位置を検出してもよい。また、画像処理部は、予測画像に対して疾患検出処理などを行い、変化した位置を検出してもよい。画像処理部は、予測画像において変化した位置を強調表示してもよい。例えば、画像処理部は、画像に特定の色を付けたり、マークを付与したりしてもよい。予測画像において変化した位置を示すことによって、検者が予測画像の変化を見逃す可能性を低下させることができる。
【００２５】
なお、画像処理部は、機械学習アルゴリズムによって訓練されたネットワークを用いて眼科画像の解析を行ってもよい。機械学習アルゴリズムは、例えば、ニューラルネットワークが一般的に知られている。
【００２６】
ニューラルネットワークは、入力された信号に何等かの処理を行った結果を出力するユニットを複数接続したネットワークである。ニューラルネットワークの一種である畳み込みネットワークは画像認識問題に有効な手法である。画像認識問題の代表としては、物体識別、物体検出、セグメンテーションがあり、それぞれの問題に対して様々なモデルが提案されている。
【００２７】
物体識別は、画像に何が写っているのかを識別する問題で、AlexNet, GoogLeNet等のモデルが提案されている。物体検出は、物体の位置や姿勢を矩形などとして識別する問題で、YOLO等のモデルが提案されている。セマンティックセグメンテーション(semantic segmentation)は、物体がどこにあるのか画素レベルで識別する問題で、U-Net等のモデルが提案されている。また、この他にも、画像の解像度を高める超解像や、モノクロ画像に色を付けるカラリゼーションといった画像を対象とした様々な問題に対して畳み込みネットワークのモデルが提案されている。
【００２８】
畳み込みネットワーク以外のニューラルネットワークモデルの例としては再帰型ニューラルネットワークがある。再帰型ニューラルネットワークは時系列データを扱えるモデルであり、自然言語処理に有効な手法である。
【００２９】
ネットワークは、例えば、入力データと出力データとの関係を表現する構造を指す。ネットワークは、訓練データセットに基づいて最適化される。訓練データセットは、入力訓練データと出力訓練データのセットである。入力訓練データは、ネットワークに入力されるサンプルデータである。例えば、入力訓練データには、過去に撮影された被検眼の画像が用いられる。出力訓練データは、ネットワークが入力訓練データに対して予測するべき値のサンプルデータである。例えば、出力訓練データには、被検眼が疾患になったときの画像、画像のセグメンテーション結果、画像に疾患が存在する領域を示すマップ、または画像に疾患が存在するかを示すラベルなどが用いられる。ネットワークは、ある入力訓練データが入力されたときの出力が、それに対応する出力訓練データに近づくように最適化される。例えばニューラルネットワークでは、ユニットの出力を接続される次のユニットに入力する際に掛けられる重みが更新される。
【００３０】
ニューラルネットワークを用いた物体識別やセグメンテーション等がある一方で、ニューラルネットによる画像を生成する技術も知られている。ネットワークの構造は任意であるが、画像生成はGeneratorと呼ばれる画像を生成するネットワークと、Discriminatorと呼ばれる画像がGeneratorから生成された偽画像か、本物の画像かを見分けるネットワークから構成される。Generatorは自身が生成した画像をDiscriminatorが本物と間違えるように、DiscriminatorはGeneratorが生成した画像は偽物、本物の画像は本物と識別できるように、両者が互いに競い合って成長していく。このように学習を繰り返していくことで、Generatorは現実的な画像を生成できるようになっていく。
【００３１】
＜実施例＞
以下、本開示に係る実施例を図面に基づいて説明する。本実施例の眼科画像処理装置は、数学モデルを用いて眼科画像を処理することによって、被検眼の変化を予測した予測画像を生成する。
【００３２】
図１に示すように、眼科画像処理装置１００は、例えば、画像取得部１７１、画像処理部１７２、記憶部１７３、表示制御部１７４、表示部１７５、操作部１７６、情報取得部１７７などを備える。画像取得部１７１は、被検眼の画像を取得する。画像取得部１７１は、眼科撮影装置１と有線または無線等の通信手段を介して接続されている。例えば、画像取得部１７１は、通信手段を介して眼科撮影装置１から眼科画像を受信し、記憶部７３等に記憶させる。なお、画像取得部１７１は、通信手段を介して接続されたＨＤＤ、ＵＳＢメモリ等の外部記憶装置などから眼科画像を取得してもよい。
【００３３】
画像処理部１７２は、機械学習アルゴリズムによって訓練された数学モデルを用いて画像処理を行う。例えば、画像処理部１７２は、被検眼が撮影された眼科画像を数学モデルに入力することによって、被検眼の変化を予測した予測画像を出力させる。画像処理部１７２による処理結果は、表示部１７５または記憶部１７３等に送られる。
【００３４】
記憶部１７３は、眼科画像処理装置１００の制御に関わる各種プログラム、各種画像データ、および処理結果などを記憶する。表示制御部１７４は、表示部１７５の表示を制御する。表示部１７５は、画像取得部１７１によって取得された画像、および画像処理部１７２による処理結果などを表示する。表示部１７５は、タッチパネル式のディスプレイであってもよい。この場合、表示部１７５は、操作部１７６として兼用される。
【００３５】
情報取得部１７７は、付加情報を取得する。付加情報は、例えば、疾患名、治療方法、疾患または治療の進行度、位置情報などである。情報取得部１７７は、例えば、操作部１７６が検者に操作されることによって出力された操作信号に基づいて、付加情報を取得してもよい。また、情報取得部１７７は、通信手段等によって眼科画像処置装置１００と接続された眼科撮影装置、または外部の記憶部等から自動で付加情報を取得してもよい。
【００３６】
なお、画像取得部１７１、画像処理部１７２、記憶部１７３、表示制御部１７４、情報取得部１７７は、例えば、眼科画像処理装置１００として用いられるコンピュータのプロセッサ（例えば、制御部１７０など）が、各種プログラムを実行することによって実現されてもよいし、それぞれ独立した制御基板として設けられてもよい。
【００３７】
眼科画像処理装置１００は、例えば、パーソナルコンピュータであってもよい。例えば、眼科画像処理装置１００として、デスクトップＰＣ、ノート型ＰＣ、またはタブレット型ＰＣが用いられてもよい。もちろん、サーバであってもよい。また、眼科画像処理装置１００は、眼科撮影装置１の内部に格納されたコンピュータであってもよい。
【００３８】
＜眼科撮影装置＞
続いて、眼科撮影装置１について説明する。眼科撮影装置１は、被検眼の画像を撮影する。画像取得部１７１は、眼科撮影装置１と通信手段を介して接続されており、眼科撮影装置１によって撮影された眼科画像を取得する。本実施例では、眼科撮影装置１として眼底カメラを用いた場合を説明する。もちろん、眼底カメラに限らず、ＯＣＴ（Optical Coherence Tomography）、ＳＬＯ（Scanning Laser Ophthalmoscope）、シャインプルークカメラ、前眼部撮影装置、角膜内皮細胞撮影装置等によって撮影された眼科画像であってもよい。
【００３９】
以下、図２に眼科撮影装置１の概略を説明する。例えば、眼科撮影装置１は、被検眼Ｅに測定光を照射し、その反射光を受光することによって、被検眼の眼底画像を取得する。眼科撮影装置１は、例えば、照明光学系１０、撮影光学系（正面撮影光学系）３０、を主に備える。撮影光学系３０は、眼底を撮影（例えば、無散瞳状態）することによって赤外眼底画像、カラー眼底画像等を得るための眼底カメラ光学系として用いられる。また、眼科撮影装置１は、フォーカス指標投影光学系４０、アライメント指標投影光学系５０、前眼部観察光学系６０を備えてもよい。
【００４０】
＜照明光学系＞
照明光学系１０は、例えば、観察照明光学系と撮影照明光学系を有する。撮影照明光学系は、光源１４、コンデンサレンズ１５、リングスリット１７、リレーレンズ１８、ミラー１９、黒点板２０、リレーレンズ２１、孔あきミラー２２、対物レンズ２５を主に備える。撮影光源１４は、フラッシュランプ等であってもよい。黒点板２０は、中心部に黒点を有する。
【００４１】
また、観察照明光学系は、光源１１、赤外フィルタ１２、コンデンサレンズ１３、ダイクロイックミラー１６、リングスリット１７から対物レンズ２５までの光学系を主に備える。光源１１は、例えば、ハロゲンランプ等であってもよい。赤外フィルタ１２は、例えば、波長７５０ｎｍ以上の近赤外光を透過する。ダイクロックミラー１６は、例えば、コンデンサレンズ１３とリングスリット１７との間に配置される。また、ダイクロイックミラー１６は、例えば、光源１１からの光を反射し撮影光源１４からの光を透過する特性を持つ。
【００４２】
＜撮影光学系＞
撮影光学系３０は、例えば、対物レンズ２５、撮影絞り３１、フォーカシングレンズ３２、結像レンズ３３、撮像素子３５が主に配置されている。撮影絞り３１は、孔あきミラー２２の開口近傍に位置する。フォーカシングレンズ３２は、光軸方向に移動可能である。撮像素子３５は、例えば、可視域に感度を有する撮影に利用可能である。撮影絞り３１は、例えば、対物レンズ２５に関して被検眼Ｅの瞳孔と略共役な位置に配置されている。フォーカシングレンズ３２は、例えば、モータを備える移動機構４９により光軸方向に移動される。
【００４３】
また、結像レンズ３３と撮像素子３５の間には、赤外光及び可視光の一部を反射し、可視光の大部分を透過する特性を有するダイクロイックミラー３７が配置される。ダイクロイックミラー３７の反射方向には、赤外域に感度を有する観察用撮像素子３８が配置されている。なお、ダイクロイックミラー３７の代わりに、跳ね上げミラーが用いられても良い。跳ね上げミラーは、例えば、眼底観察時に光路に挿入され、眼底撮影時に光路から退避される。
【００４４】
なお、対物レンズ２５と孔あきミラー２２の間には、例えば、光路分岐部材としての挿脱可能なダイクロイックミラー（波長選択性ミラー）２４が斜設されている。ダイクロイックミラー２４は、例えば、ＯＣＴ測定光の波長光、及びアライメント指標投影光学系５０及び前眼部照明光源５８の波長光（中心波長９４０ｎｍ）を反射する。
【００４５】
また、ダイクロイックミラー２４は、例えば、眼底観察用照明の波長光の光源波長（中心波長８８０ｎｍ）を含む波長９００ｎｍ以下を透過する特性を有する。撮影光学系３０によって撮影を行うときには、ダイクロイックミラー２４は挿脱機構６６により連動して跳ね上げられ、光路外に退避する。挿脱機構６６は、ソレノイドとカム等により構成することができる。
【００４６】
また、ダイクロイックミラー２４の撮像素子３５側には、挿脱機構６６の駆動により光路補正ガラス２８が跳ね上げ可能に配置されている。光路挿入時には、光路補正ガラス２８は、ダイクロイックミラー２４によってシフトされた光軸Ｌ１の位置を補正する役割を持つ。
【００４７】
観察用の光源１１を発した光束は、赤外フィルタ１２により赤外光束とされ、コンデンサレンズ１３、ダイクロイックミラー１６により反射されてリングスリット１７を照明する。そして、リングスリット１７を透過した光は、リレーレンズ１８、ミラー１９、黒点板２０、リレーレンズ２１を経て孔あきミラー２２に達する。孔あきミラー２２で反射された光は、補正ガラス２８、ダイクロイックミラー２４を透過し、対物レンズ２５により被検眼Ｅの瞳孔付近で一旦収束した後、拡散して被検眼眼底部を照明する。
【００４８】
眼底からの反射光は、対物レンズ２５、ダイクロイックミラー２４、補正ガラス２８、孔あきミラー２２の開口部、撮影絞り３１、フォーカシングレンズ３２、結像レンズ３３、ダイクロイックミラー３７、を介して撮像素子３８に結像する。なお、撮像素子３８の出力は制御部７０に入力され、制御部７０は、撮像素子３８によって撮像される被検眼の眼底観察画像を表示部７５に表示する。
【００４９】
また、撮影光源１４から発した光束は、コンデンサレンズ１５を介して、ダイクロイックミラー１６を透過する。その後、眼底観察用の照明光と同様の光路を経て、眼底は可視光により照明される。そして、眼底からの反射光は対物レンズ２５、孔あきミラー２２の開口部、撮影絞り３１、フォーカシングレンズ３２、結像レンズ３３を経て、撮像素子３５に結像する。
【００５０】
＜フォーカス指標投影光学系＞
フォーカス指標投影光学系４０は、赤外光源４１、スリット指標板４２、２つの偏角プリズム４３、投影レンズ４７、照明光学系１０の光路に斜設されたスポットミラー４４を主に備える。２つの偏角プリズム４３は、スリット指標板４２に取り付けられる。スポットミラー４４は、照明光学系１０の光路に斜設される。また、スポットミラー４４はレバー４５の先端に固着されている。スポットミラー４４は、通常は光軸に斜設されるが、撮影前の所定のタイミングで、ロータリソレノイド４６の軸の回転により、光路外に退避させられる。
【００５１】
なお、スポットミラー４４は被検眼Ｅの眼底と共役な位置に配置される。光源４１、スリット指標板４２、偏角プリズム４３、投影レンズ４７、スポットミラー４４及びレバー４５は、フォーカシングレンズ３２と連動して移動機構４９により光軸方向に移動される。また、フォーカス指標投影光学系４０のスリット指標板４２の光束は、偏角プリズム４３及び投影レンズ４７を介してスポットミラー４４により反射された後、リレーレンズ２１、孔あきミラー２２、ダイクロイックミラー２４、対物レンズ２５を経て被検眼Ｅの眼底に投影される。眼底へのフォーカスが合っていないとき、２つの指標像は、ずれ方向及びずれ量に応じて分離された状態で眼底上に投影される。一方、フォーカスが合っているときには、２つの指標像は、合致した状態で眼底上に投影される。そして、２つの指標像は、撮像素子３８によって眼底像と共に撮像される。
【００５２】
＜アライメント指標投影光学系＞
アライメント指標投影光学系５０は、被検眼Ｅに対して、アライメント用指標光束を投影する。アライメント指標投影光学系５０には、図２における左下の点線内の図に示すように、撮影光軸Ｌ１を中心として同心円上に４５度間隔で赤外光源が複数個配置されている。本実施例における眼科撮影装置は、第１指標投影光学系（０度、及び１８０）と、第２指標投影光学系と、を主に備える。
【００５３】
第１指標投影光学系は、赤外光源５１とコリメーティングレンズ５２を持つ。第２指標投影光学系は、第１指標投影光学系とは異なる位置に配置され、６つの赤外光源５３を持つ。赤外光源５１は、撮影光軸Ｌ１を通る垂直平面を挟んで左右対称に配置される。
【００５４】
この場合、第１指標投影光学系は被検眼Ｅの角膜に無限遠の指標を左右方向から投影する。第２指標投影光学系は被検眼Ｅの角膜に有限遠の指標を上下方向もしくは斜め方向から投影する構成となっている。なお、図２の本図には、便宜上、第１指標投影光学系（０度、及び１８０度）と、第２指標投影光学系の一部のみ（４５度、１３５度）が図示されている。
【００５５】
＜前眼部観察光学系＞
被検眼Ｅの前眼部を撮像する前眼部観察（撮影）光学系６０は、ダイクロイックミラー２４の反射側に、絞り６３、リレーレンズ６４、二次元撮像素子（以下、撮像素子６５と省略する場合あり）６５を主に備える。撮像素子６５は、赤外域の感度を持つ。また、撮像素子６５はアライメント指標検出用の撮像手段を兼ね、赤外光を発する前眼部照明光源５８により照明された前眼部とアライメント指標が撮像される。前眼部照明光源５８により照明された前眼部は、対物レンズ２５、ダイクロイックミラー２４からリレーレンズ６４の光学系を介して撮像素子６５により受光される。また、アライメント指標投影光学系５０が持つ光源から発せられたアライメント光束は被検眼角膜に投影される。その角膜反射像は対物レンズ２５〜リレーレンズ６４を介して撮像素子６５に受光（投影）される。
【００５６】
二次元撮像素子６５の出力は制御部７０に入力され、表示部７５には、二次元撮像素子６５によって撮像された前眼部像が表示される。なお、前眼部観察光学系６０は、被検眼に対する装置本体のアライメント状態を検出するための検出光学系を兼用する。
【００５７】
なお、孔あきミラー２２の穴周辺には、被検者眼の角膜上に光学アライメント指標（ワーキングドット）を形成するための赤外光源（本実施例では、２つだが、これに限定されない）５５が配置されている。なお、光源５５には、孔あきミラー２２の近傍位置に端面が配置される光ファイバに、赤外光を導く構成でも良い。なお、光源５５による角膜反射光は、被検者眼Ｅと撮影部３（装置本体）との作動距離が適切となったときに、撮像素子３８の撮像面上に結像される。これにより、検者は表示部７５に眼底像が表示された状態で、光源５５により形成されるワーキングドットを用いてアライメントの微調整を行えるようになる。
【００５８】
＜数学モデル＞
本実施例では、画像処理部１７２によって眼科画像を処理する際に、機械学習アルゴリズムによって訓練された数学モデルが用いられる。本実施例の数学モデルは、眼科画像の入力に対して、被検眼の変化を予測した予測画像を生成して出力する。画像処理部７１は、数学モデルに眼科画像を入力し、予測画像を出力させる。
【００５９】
数学モデルは、例えば、複数の畳み込み層で構成される。数学モデルの構造としては、U-netと呼ばれるネットワークが用いられてもよいし、眼科画像に最適化したネットワーク等が用いられてもよい。本実施例の数学モデルは、任意のネットワーク構造が用いられてもよい。
【００６０】
図３は本実施例において用いられる数学モデル２００の入出力の関係を示す図である。図３の例では、数学モデル２００に対して眼底画像Ｐ１が入力されている。数学モデル２００は、画像処理部１７２によって入力された眼底画像Ｐ１に対して、被検眼が疾患になった場合の眼底の状態を予測した予測画像Ｑ１を出力する。
【００６１】
図３の数学モデル２００を学習させる場合、例えば、正常眼の眼科画像と、その正常眼が疾患になったときの画像（疾患画像）を学習させる。例えば、入力した正常眼の眼科画像に対して数学モデル２００から出力された予測画像と、正解値（疾患画像）との誤差を計算し、数学モデル２００の重みを更新する。これを誤差が小さくなるまで繰り返すことによって、予測画像の出力に対して適した重みとなるようにする。
【００６２】
なお、画像処理部１７２は、眼科画像だけでなく、情報取得部１７７によって取得された付加情報２１０を数学モデル２００に入力してもよい。例えば、付加情報２１０として疾患名２１１を入力してもよい。例えば、画像処理部１７２は、糖尿病網膜症、加齢黄斑変性、緑内障等の疾患名２１１のラベルを眼底画像Ｐ１とともに数学モデル２００に入力する。これによって、被検眼が疾患名２１１に該当する疾患になったときの予測画像Ｑ１が数学モデル２００から出力される。例えば、眼底画像Ｐ１と「糖尿病網膜症」のラベルが入力されると、被検眼が糖尿病網膜症になったときの予測画像Ｑ１が出力される。同様に、眼底画像Ｐ１とともに「加齢黄斑変性」のラベルが入力されると、被検眼が加齢黄斑変性になったときの予測画像Ｑ１が出力され、眼底画像Ｐ１とともに「緑内障」のラベルが入力されると、被検眼が緑内障になったときの予測画像Ｑ１が出力される。
【００６３】
なお、画像処理部１７２は、付加情報２１０として疾患の進行度を入力してもよい。例えば、画像処理部１７２は、複数の段階に分かれた進行度を数学モデル２００に入力してもよい。図４は、数学モデル２００に対して眼底画像Ｐ１と進行度２１２を入力したときの例である。図４の例では、初期、中期、末期の３段階の進行度２１２が入力される。例えば、図４（ａ）では、眼底画像Ｐ１とともに、疾患名２１１として「糖尿病網膜症」が入力され、進行度２１２として「初期」が入力される。この場合、糖尿病網膜症の初期の予測画像Ｑ２が数学モデル２００から出力される。同様に、図４（ｂ）の例では、疾患名２１１として「糖尿病網膜症」が入力され、進行度２１２として「中期」が入力されており、数学モデル２００からは糖尿病網膜症の中期の予測画像Ｑ３が出力される。また、図４（ｃ）の例では、疾患名２１１として「糖尿病網膜症」が入力され、進行度２１２として「末期」が入力されており、数学モデル２００からは糖尿病網膜症の末期の予測画像Ｑ４が出力される。このように、数学モデル２００は、入力された進行度２１２に応じた予測画像を出力する。これによって、検者は、疾患の進行を段階的に確認することができる。
【００６４】
なお、疾患名２１１または進行度２１２などの付加情報２１０が入力される場合も、上記と同様に数学モデルを学習させる。例えば、正常眼の眼科画像、疾患名、進行度、その正常眼が疾患になったときの画像（疾患画像）を学習させる。例えば、正常眼の眼科画像、疾患名のラベル、進行度のラベルの入力に対して数学モデル２００から出力された予測画像と、正解値（ラベルで指定された疾患、進行度の疾患画像）との誤差を計算し、数学モデル２００の重みを更新する。これを誤差が小さくなるまで繰り返すことによって、予測画像の出力に対して適した重みとなるようにする。
【００６５】
＜制御動作＞
本実施例の眼科画像処理装置１の制御動作を図５に基づいて説明する。なお、以下の説明では、眼科撮影装置１によって撮影された眼底画像を処理する場合を示す。
【００６６】
（ステップＳ１：眼科画像取得）
まず、眼科撮影装置１によって被検眼の眼底画像が撮影されると、画像取得部１７１は、その眼底画像を取得する。画像取得部１７１は、例えば、無線または有線などの通信手段を介し、眼底画像を取得する。例えば、画像取得部１７１は、眼科撮影装置１の撮像素子３５から直接眼底画像を取得してもよいし、眼科撮影装置１の記憶部７４等に記憶された眼底画像を取得してもよい。なお、画像取得部１７１は、眼科撮影装置１から眼底画像を取得してもよいし、ＵＳＢメモリ等の外部記憶装置に記憶された眼底画像を取得してもよい。
【００６７】
（ステップＳ２：付加情報取得）
続いて、情報取得部１７７は、数学モデル２００に入力する付加情報２１０を取得する。例えば、情報取得部１７７は、検者の操作に応じて操作部７６から出力された操作信号に基づいて付加情報２１０を取得する。情報取得部１７７は、例えば、疾患名、疾患の進行度等を取得する。
【００６８】
（ステップＳ３：数学モデルへの入力）
画像処理部１７２は、数学モデル２００を用いて眼底画像の処理を行う。例えば、画像処理部１７２は、画像取得部１７１によって取得された眼底画像Ｐ１と、情報取得部１７７によって取得された付加情報２１０のラベルを数学モデル２００に入力する。
【００６９】
（ステップＳ４：予測画像の出力）
眼底画像Ｐ１、および付加情報２１０等が入力されると、数学モデル２００によって計算が行われ、付加情報２１０に応じた予測画像Ｑ１が出力される。例えば、数学モデル２００に対して、正常眼の眼底画像Ｐ１と、疾患名および疾患の進行度等の疾患状態が入力されることによって、数学モデル２００から被検眼が疾患になったときの予測画像Ｑ１が出力される。
【００７０】
以上のように、本実施例の眼科画像処理装置１００は、被検者自身の眼の画像に基づいて疾患になった場合の予測画像を生成するため、検者は各被検者に合った疾患の説明を行うことができる。また、被検者自身の画像で予測画像が生成されるため、検者は、各被検者の将来的な診断に有用な情報を得ることができる。
【００７１】
また、上記のように、眼科画像とともに付加情報を数学モデルに入力できるため、様々な状況に応じた予測画像を作成することができる。また、正常眼の眼科画像に基づいて、疾患になったときの予測画像を作成することによって、研修医等の研修にも利用できる。
【００７２】
なお、付加情報２１０として、数学モデル２００に疾患の位置情報を入力してもよい。疾患の位置を入力することによって、特定の位置に疾患が発生したときの予測画像を出力することができる。この場合、検者は、被検者の眼底画像において、疾患が発生しそうな位置を操作部１７６によって入力する。情報取得部１７７は操作部１７６からの操作信号に基づいて疾患の位置情報を取得する。画像処理部１７２は、眼底画像とともに疾患の位置情報を数学モデル２００に入力する。数学モデル２００は、その位置に疾患が発生したときの予測画像を出力する。
【００７３】
なお、眼科画像処理装置１００は、疾患状態から治療をすることによって症状がよくなった場合の治療効果を予測して予測画像を生成してもよい。例えば、疾患のある眼底画像と、治療方法のラベルを数学モデル２００に入力し、治療後の予測画像を出力させてもよい。例えば、図６に示すように、疾患がある眼底画像Ｐ２と、治療方法２１３のラベルを数学モデル２００に入力することによって、疾患が治療されたときの予測画像Ｑ５を出力させる。これによって、検者は、各患者に適した治療の説明を容易に行うことができる。なお、このとき、治療の進行度を数学モデル２００に入力してもよい。例えば、初期、中期、終期等の複数の段階で治療の進行度を入力することで、治療の進行度に応じた予測画像が出力されるようにしてもよい。これによって、検者は、治療効果を段階的に確認することができる。
【００７４】
なお、数学モデル２００から出力させる予測画像は、通常のカラー画像だけでなく、図７に示すような網膜層の厚みマップＱ６、または図８に示すような眼底の血管を抽出した血管画像Ｑ７であってもよい。
【００７５】
なお、画像処理部１７２は、予測画像として静止画像を生成するだけでなく、動画像を生成してもよい。例えば、複数の予測画像を生成することによって、被検眼の組織変化を予測した動画像を生成してもよい。例えば、疾患の進行が徐々に進行していく動画像を生成してもよい。このように、予測動画像を生成することによって、被検眼の組織変化が分かり易くなる。
【００７６】
なお、数学モデル２００に入力する眼底画像は、画像取得部１７１によって取得されたままの画像でもよいし、ノイズを付加した画像でもよい。ノイズを付加することによって、数学モデルを効率的に学習させることができる。また、眼底画像から一旦血管画像を抽出し、血管画像を入力画像としてもよい。
【００７７】
なお、数学モデル２００に入力する眼科画像は、眼底カメラによって撮影された眼底正面画像だけでなく、ＯＣＴによって撮影された眼底断層画像でもよいし、En-face画像であってもよい。また、前眼部画像であってもよい。
【符号の説明】
【００７８】
１    眼科撮影装置
７０    制御部
７４    記憶部
１００    眼科画像処理装置
１７０    制御部
１７１    画像取得部
１７２    画像処理部
１７３    記憶部
１７４    表示制御部
１７５    表示部
１７７    情報取得部
【図１】
2019208852.tif 000003
【図２】
2019208852.tif 000004
【図３】
2019208852.tif 000005
【図４】
2019208852.tif 000006
【図５】
2019208852.tif 000007
【図６】
2019208852.tif 000008
【図７】
2019208852.tif 000009
【図８】
2019208852.tif 000010