(57)【要約】  第１の画像の各画素を、射影変換行列を用いて、基準画像に射影変換する。  中央画像Ｇ０とあおり画像ｎとの組み合わせにおいて指定された１２個の対応点の組合せの位置に基づいて、中央画像Ｇ０へのあおり画像ｎの射影変換行列を算出する。算出した射影変換行列を用いて、あおり画像ｎを射影変換する。これにより、射影変換されたあおり画像ｎ１が作成される。
2019203314.tif 000002
【特許請求の範囲】
【請求項１】
第１の視線で眼底を撮影して得た基準画像と、前記第１の視線とは異なる第２の視線で前記眼底を撮影して得た第１の画像とのそれぞれに対応点を指定するステップと、
前記対応点に基づいて、前記第１の画像を、前記基準画像に射影変換する射影変換行列を算出するステップと、
前記射影変換行列を用いて、前記第１の画像を射影変換するステップと、
を備える画像処理方法。
【請求項２】
前記基準画像と、射影変換された前記第１の画像を合成するステップと、
をさらに備えることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記対応点は、前記基準画像と前記第１の画像のそれぞれに存在する前記眼底の特徴点であることを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記対応点は、眼底の血管の分岐点、あるいは、視神経乳頭であることを特徴とする請求項１ないし３の何れかに記載の画像処理方法。  
【請求項５】
前記合成により得られた合成画像から脈絡膜血管画像を生成するステップをさらに備えることを特徴とする請求項２に記載の画像処理方法。
【請求項６】
前記脈絡膜血管画像から渦静脈位置を特定するステップをさらに備えたことを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記基準画像と前記第１の画像は、広角眼底撮影装置で撮影された眼底画像であることを特徴とする請求項１から６に記載の画像処理方法。
【請求項８】
コンピュータに請求項１から請求項７の何れか１項に記載の画像処理方法を実行させるプログラム。
【請求項９】
第１の視線で眼底を撮影して得た基準画像と、前記第１の視線とは異なる第２の視線で前記眼底を撮影して得た第１の画像とのそれぞれに対応点を指定するステップと、
前記対応点に基づいて、前記第１の画像を、前記基準画像に射影変換する射影変換行列を算出するステップと、
前記射影変換行列を用いて、前記第１の画像を射影変換するステップと、
を実行する画像処理部を備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の技術は、画像処理方法、プログラム、及び画像処理装置に関する。
【背景技術】
【０００２】
特開２００９−１１２６１７号公報には、パノラマ眼底画像合成装置及び方法技術が開示されている。
【発明の概要】
【０００３】
本開示の技術の第１の態様の画像処理方法は、第１の視線で眼底を撮影して得た基準画像と、前記第１の視線とは異なる第２の視線で前記眼底を撮影して得た第１の画像とのそれぞれに対応点を指定するステップと、前記対応点に基づいて、前記第１の画像を、前記基準画像に射影変換する射影変換行列を算出するステップと、前記射影変換行列を用いて、前記第１の画像を射影変換するステップと、を備える。
【０００４】
本開示の技術の第２の態様のプログラムは、コンピュータに第１の態様の画像処理方法を実行させる。
【０００５】
本開示の技術の第３の態様の画像処理装置は、第１の視線で眼底を撮影して得た基準画像と、前記第１の視線とは異なる第２の視線で前記眼底を撮影して得た第１の画像とのそれぞれに対応点を指定するするステップと、前記対応点に基づいて、前記第１の画像を、前記基準画像に射影変換する射影変換行列を算出するステップと、前記射影変換行列を用いて、前記第１の画像を射影変換するステップとを実行する画像処理部を備える。
【図面の簡単な説明】
【０００６】
【図１】眼科システム１００のブロック図である。
【図２】眼科装置１１０の全体構成を示す概略構成図である。
【図３】管理サーバ１４０の電気系の構成のブロック図である。
【図４】管理サーバ１４０のＣＰＵ１６２の機能のブロック図である。
【図５】眼科システム１００の動作を示すシーケンス図である。
【図６Ａ】眼科システム１００の光軸に被検眼１２の光軸が一致した場合の瞳孔及び眼球中心を通る上下方向に平行な面における眼底の撮影範囲を示した図である。
【図６Ｂ】眼科システム１００を基準として被検眼１２の光軸が斜め上方向に向いた場合の瞳孔及び眼球中心を通る上下方向に平行な面における眼底の撮影範囲を示した図である。
【図６Ｃ】眼科システム１００を基準として被検眼１２の光軸が斜め下方向に向いた場合の瞳孔及び眼球中心を通る上下方向に平行な面における眼底の撮影範囲を示した図である。
【図６Ｄ】眼科システム１００の光軸に被検眼１２の光軸が一致した場合の瞳孔及び眼球中心を通る水平方向に平行な面における眼底の撮影範囲を示した図である。
【図６Ｅ】眼科システム１００を基準として被検眼１２の光軸が斜め左方向に向いた場合の瞳孔及び眼球中心を通る水平方向に平行な面における眼底の撮影範囲を示した図である。
【図６Ｆ】眼科システム１００を基準として被検眼１２の光軸が斜め右方向に向いた場合の瞳孔及び眼球中心を通る水平方向に平行な面における眼底の撮影範囲を示した図である。
【図７】図５のステップ２２６の解析処理プログラムのフローチャートである。
【図８】画像ビューワ１５０の解析結果画面３００において前処理フォルダ３６０内の個別表示アイコン３６２が操作された場合に表示される表示画面を示す図である。
【図９】画像ビューワ１５０の解析結果画面３００において前処理フォルダ３６０内のモンタージュ表示アイコン３６４が操作された場合に表示される表示画面を示す図である。
【図１０】画像ビューワ１５０の解析結果画面３００において解析フォルダ３７０が操作された場合に表示される表示画面を示す図である。
【図１１】第２の変形例における図７のステップ２５６とステップ２５８との間で実行するＶＶ定量値算出プログラムのフローチャートである。
【発明を実施するための形態】
【０００７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、以下では、説明の便宜上、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ  Ｌａｓｅｒ  Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）を「ＳＬＯ」と称する。
【０００８】
図１を参照して、眼科システム１００の構成を説明する。図１に示すように、眼科システム１００は、眼科装置１１０と、眼軸長測定器１２０と、管理サーバ装置（以下、「管理サーバ」という）１４０と、画像表示装置（以下、「画像ビューワ」という）１５０と、を備えている。眼科装置１１０は、眼底画像を取得する。眼軸長測定器１２０は、患者の眼軸長を測定する。管理サーバ１４０は、眼科装置１１０によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像及び眼軸長を、患者のＩＤに対応して記憶する。画像ビューワ１５０は、管理サーバ１４０により取得した眼底画像を表示する。
画像ビューワ１５０は、本開示の技術の「画像処理装置」の一例である。
【０００９】
眼科装置１１０、眼軸長測定器１２０、管理サーバ１４０、画像ビューワ１５０は、ネットワーク１３０を介して、相互に接続されている。
【００１０】
なお、他の眼科機器（視野測定、眼圧測定などの検査機器）や人工知能を用いた画像解析を行う診断支援装置がネットワーク１３０を介して、眼科装置１１０、眼軸長測定器１２０、管理サーバ１４０、及び画像ビューワ１５０に接続されていてもよい。
【００１１】
次に、図２を参照して、眼科装置１１０の構成を説明する。図２に示すように、眼科装置１１０は、制御ユニット２０、表示／操作ユニット３０、及びＳＬＯユニット４０を備え、被検眼１２の後眼部（眼底）を撮影する。さらに、眼底のＯＣＴデータを取得する図示せぬＯＣＴユニットを備えていてもよい。
【００１２】
制御ユニット２０は、ＣＰＵ２２、メモリ２４、及び通信インターフェース（Ｉ／Ｆ）２６等を備えている。表示／操作ユニット３０は、撮影されて得られた画像を表示したり、撮影の指示を含む各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ３２及び入力／指示デバイス３４を備えている。
【００１３】
ＳＬＯユニット４０は、Ｇ光（緑色光：波長５３０ｎｍ）の光源４２、Ｒ光（赤色光：波長６５０ｎｍ）の光源４４、ＩＲ光（赤外線（近赤外光）：波長８００ｎｍ）の光源４６を備えている。光源４２、４４、４６は、制御ユニット２０により命令されて、各光を発する。
【００１４】
ＳＬＯユニット４０は、光源４２、４４、４６からの光を、反射又は透過して１つの光路に導く光学系５０、５２、５４、５６を備えている。光学系５０、５６は、ミラーであり、光学系５２、５４は、ビームスプリッタ―である。Ｇ光は、光学系５０、５４で反射し、Ｒ光は、光学系５２、５４を透過し、ＩＲ光は、光学系５２、５６で反射して、それぞれ１つの光路に導かれる。
【００１５】
ＳＬＯユニット４０は、光源４２、４４、４６からの光を、被検眼１２の後眼部（眼底）に渡って、２次元状に走査する広角光学系８０を備えている。ＳＬＯユニット４０は、被検眼１２の後眼部（眼底）からの光の内、Ｇ光を反射し且つＧ光以外を透過するビームスプリッタ５８を備えている。ＳＬＯユニット４０は、ビームスプリッタ５８を透過した光の内、Ｒ光を反射し且つＲ光以外を透過するビームスプリッタ６０を備えている。ＳＬＯユニット４０は、ビームスプリッタ６０を透過した光の内、ＩＲ光を反射するビームスプリッタ６２を備えている。ＳＬＯユニット４０は、ビームスプリッタ５８により反射したＧ光を検出するＧ光検出素子７２、ビームスプリッタ６０により反射したＲ光を検出するＲ光検出素子７４、及びビームスプリッタ６２により反射したＩＲ光を検出するＩＲ光検出素子７６を備えている。
【００１６】
広角光学系８０は、光源４２、４４、４６からの光を、Ｘ方向に走査するポリゴンミラーで構成されたＸ方向走査装置８２、Ｙ方向に走査するガルバノミラーで構成されたＹ方向走査装置８４、及び、図示しないスリットミラーおよび楕円鏡を含み、走査された光を、広角にする光学系８６を備えている。光学系８６により、眼底の視野角（ＦＯＶ：Ｆｉｅｌｄ  ｏｆ  Ｖｉｅｗ）を従来の技術より大きな角度とし、従来の技術より広範囲の眼底領域を撮影することができる。具体的には、被検眼１２の外部からの外部光照射角で約１２０度（被検眼１２の眼球の中心Ｏを基準位置として、被検眼１２の眼底が走査光により照射されることで実質的に撮影可能な内部光照射角で、２００°程度）の広範囲の眼底領域を撮影することができる。光学系８６は、スリットミラーおよび楕円鏡に代えて、複数のレンズ群を用いた構成でもよい。Ｘ方向走査装置８２及びＹ方向走査装置８４の各走査装置はＭＥＭＳミラーを用いて構成された二次元スキャナを用いてもよい。
【００１７】
光学系８６としてスリットミラーおよび楕円鏡を含むシステムを用いる場合には、国際出願ＰＣＴ／ＪＰ２０１４／０８４６１９や国際出願ＰＣＴ／ＪＰ２０１４／０８４６３０に記載された楕円鏡を用いたシステムを用いる構成でもよい。２０１４年１２月２６日に国際出願された国際出願ＰＣＴ／ＪＰ２０１４／０８４６１９（国際公開ＷＯ２０１６／１０３４８４）の開示及び２０１４年１２月２６日に国際出願された国際出願ＰＣＴ／ＪＰ２０１４／０８４６３０（国際公開ＷＯ２０１６／１０３４８９）の開示の各々は、その全体が参照により本明細書に取り込まれる。
【００１８】
眼科装置１１０は、光学系８６の周囲で光軸から上下左右にずれた位置に、患者の視線を向かせるように点灯される発光装置（例えば、ＬＥＤ）により構成される固視標９２Ｕ、９２Ｄ、９２Ｌ、９２Ｒ（図６Ａから図６Ｆも参照）と、制御ユニット２０により制御され、固視標９２Ｕ、９２Ｄ、９２Ｌ、９２Ｒを点灯させる固視標制御装置９０を備えている。
【００１９】
なお、眼科装置１１０が水平面に設置された場合の水平方向を「Ｘ方向」、水平面に対する垂直方向を「Ｙ方向」とし、被検眼１２の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Ｚ方向」とする。従って、Ｘ方向、Ｙ方向、およびＺ方向は互いに垂直である。
【００２０】
カラー眼底画像は、Ｇ光及びＲ光で同時に被検眼１２の眼底が撮影されることにより、得られる。より詳細には、制御ユニット２０が、同時に発光するように光源４２、４４を制御し、被検眼１２の眼底に渡って、広角光学系８０によりＧ光及びＲ光が走査される。そして、被検眼１２の眼底から反射されたＧ光がＧ光検出素子７２により検出され、第２眼底画像（Ｇ色眼底画像）の画像データが画像処理部１８２で生成される。同様に、被検眼１２の眼底から反射されたＲ光がＲ光検出素子７４により検出され、第１眼底画像（Ｒ色眼底画像）の画像データが、眼科装置１１０のＣＰＵ２２により生成される。また、ＩＲ光が照射された場合は、被検眼１２の眼底から反射されたＩＲ光がＩＲ光検出素子７６により検出され、ＩＲ眼底画像の画像データが眼科装置１１０のＣＰＵ２２により生成される。
【００２１】
図１の眼軸長測定器１２０は、被検眼１２の眼軸方向の長さである眼軸長を測定する第１のモードと第２のモードとの２つのモードを有する。第１のモードは、図示しない光源からの光を被検眼１２に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第２のモードは、図示しない超音波を用いて眼軸長を測定するモードである。眼軸長測定器１２０は、第１のモード又は第２のモードにより測定された眼軸長を管理サーバ１４０に送信する。第１のモード及び第２のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長として管理サーバ１４０に送信する。
【００２２】
次に、図３を参照して、管理サーバ１４０の構成を説明する。図３に示すように、管理サーバ１４０は、制御ユニット１６０、及び表示／操作ユニット１７０を備えている。制御ユニット１６０は、ＣＰＵ１６２を含むコンピュータ、記憶装置であるメモリ１６４、及び通信インターフェース（Ｉ／Ｆ）１６６等を備えている。表示／操作ユニット１７０は、画像を表示したり、各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ１７２及びタッチパネル等の入力/指示デバイス１７４を備えて
いる。
【００２３】
画像ビューワ１５０の構成は、管理サーバ１４０と同様であるので、その説明を省略する。画像ビューワ１５０のメモリ１６４には、解析処理プログラムが記憶されている。
解析処理プログラムは、本開示の技術の「プログラム」の一例である。
【００２４】
次に、図４を参照して、画像ビューワ１５０のＣＰＵ１６２が解析処理プログラムを実行することで実現される各種機能について説明する。解析処理プログラムは、解析処理機能、表示制御機能、及び処理機能を備えている。ＣＰＵ１６２がこの各機能を有する解析処理プログラムを実行することで、ＣＰＵ１６２は、図４に示すように、画像処理部１８２、表示制御部１８４、及び処理部１８６として機能する。
【００２５】
次に、図５を参照して、眼科システム１００の動作を説明する。
患者の被検眼を眼科装置１１０で撮影できるように、患者の被検眼が位置決めされる。図５に示すように、医者は、ステップ２０２で、入力／指示デバイス３４を介して、眼科装置１１０に、被検眼１２の眼底の撮影の開始を指示する。眼科装置１１０は、ステップ２０４で、ＳＬＯユニット４０により被検眼１２の眼底（画像１）を撮影する。ステップ２０４では、固視標９２Ｕ、９２Ｄ、９２Ｌ、９２Ｒを点灯させない。よって、ステップ２０４では、図６Ａ及び図６（Ｄ）に示すように、眼科システム１００の光軸に被検眼１２の光軸が一致した状態で、眼底を撮影する。具体的には、上記のように、Ｇ光及びＲ光で同時に被検眼１２の眼底を撮影して、第１眼底画像（Ｒ色眼底画像）と第２眼底画像（Ｇ色眼底画像）とを取得し、第１眼底画像（Ｒ色眼底画像）と第２眼底画像（Ｇ色眼底画像）とからカラー眼底画像として、画像１を得る。当該撮影により、図６Ａに示すように、眼科システム１００を基準として、上下方向に上位置Ｕ０から下位置Ｄ０、左右方向に左位置Ｌ０から右位置Ｒ０の範囲が撮影され、中央画像Ｇ０（図８も参照））として、画像１が取得される。
眼科システム１００の光軸に被検眼１２の光軸が一致した状態での当該光軸は、本開示の技術の「第１の視線」の一例であり、中央画像Ｇ０は、本開示の技術の「基準画像」の一例である。
【００２６】
眼科装置１１０は、画像１の撮影が終了すると、次のステップ２０６で、画像１を、管理サーバ１４０に送信する。
【００２７】
ところで、ステップ２０４での画像１の撮影の際には、患者名ＩＤ、患者名、年齢、各画像が右眼か左眼からの情報、治療前の撮影日時および視力、治療後の撮影日時および視力の各情報も、眼科装置１１０に入力されている。ステップ２０６における画像送信の際には、眼科装置１１０から管理サーバ１４０に、上記各情報が送信される。
【００２８】
患者の被検眼を眼科装置１１０で撮影できるように、患者の被検眼が位置決めされる。医者は、ステップ２０８で、入力／指示デバイス３４を介して、眼科装置１１０に撮影開始を指示する。眼科装置１１０は、ステップ２１０で、画像２の撮影を行う。ステップ２１０の処理では、患者の視線を上下左右にあおった各々について、上記のように被検眼１２の眼底の撮影を行う。これにより、左方向のあおり画像（ＧＬ（図８も参照））、上方向のあおり画像（ＧＵ）、右方向のあおり画像（ＧＲ）、下方向のあおり画像（ＧＤ）が得られる。左右方向は、眼科装置１１０を基準にしている。よって、左方向のあおり画像（ＧＬ）は、患者からすると斜め右方向を向いた状態で、眼底が撮影されて得た画像であり、右方向のあおり画像（ＧＲ）は、患者からすると斜め左方向を向いた状態で、眼底が撮影されて得た画像である。
【００２９】
例えば、患者の視線を斜め上方向に向けるために、固視標９２Ｕを点灯させ、これにより、図６Ｂに示すように、患者の視線が斜め上方向に向けられる。この状態で、眼底を撮影する。患者の視線が斜め上方向に向けられるので、上位置Ｕ０よりも上側の上側位置Ｕ１までが撮影される。よって、上方向のあおり画像（ＧＵ）には、中央画像Ｇ０にはない面ＭＵ０１の画像が存在する。
【００３０】
患者の視線を斜め下方向に向けるために、固視標９２Ｄを点灯させる、これにより、図６Ｃに示すように、患者の視線が斜め下方向に向けられる。この状態で、眼底を撮影する。患者の視線が斜め下方向に向けられるので、下位置Ｄ０よりも下側の下側位置Ｄ１までが撮影される。よって、下方向のあおり画像（ＧＤ）には、中央画像Ｇ０にはない面ＭＤ０２の画像が存在する。
【００３１】
患者の視線を、眼科装置１１０を基準に斜め左方向に向けるために、固視標９２Ｌを点灯させる、これにより、図６Ｅに示すように、患者の視線が斜め左方向（患者からすると右方向）に向けられる。この状態で、眼底を撮影する。患者の視線が斜め左方向に向けられるので、左位置Ｌ０よりも左側の左側位置Ｌ１までが撮影される。よって、左方向のあおり画像（ＧＬ）には、中央画像Ｇ０にはない面ＭＬ０１の画像が存在する。
【００３２】
患者の視線を、眼科装置１１０を基準に斜め右方向に向けるために、固視標９２Ｒを点灯させる、これにより、図６Ｆに示すように、患者の視線が斜め右方向（患者からすると左方向）に向けられる。この状態で、眼底を撮影する。患者の視線が斜め右方向に向けられるので、左位置Ｒ０よりも右側の右側位置Ｒ１までが撮影される。よって、右方向のあおり画像（ＧＲ）には、中央画像Ｇ０にはない面ＭＲ０２の画像が存在する。
【００３３】
斜め上下左右方向の視線は、本開示の「第２の視線」、「第３の視線」の一例であり、上方向のあおり画像（ＧＵ）、下方向のあおり画像（ＧＤ）、左方向のあおり画像（ＧＬ）、及び右方向のあおり画像（ＧＲ）は、本開示の技術の「第１の画像」、「第２の画像」の一例である。
【００３４】
眼科装置１１０は、ステップ２１２で、上方向のあおり画像（ＧＵ）、下方向のあおり画像（ＧＤ）、左方向のあおり画像（ＧＬ）、及び右方向のあおり画像（ＧＲ）を備えた画像２を、管理サーバ１４０に送信する。
【００３５】
ステップ２１４で、ユーザ（眼科医など）は、入力/指示デバイス１７４を介して、画像ビューワ１５０に解析処理を指示する。
【００３６】
画像ビューワ１５０は、ステップ２１６で、画像送信を、管理サーバ１４０に指示する。画像送信が指示された管理サーバ１４０は、ステップ２１８で、画像１、２を読み出し、ステップ２２０で、画像１、２の画像データを、画像ビューワ１５０に送信する。
【００３７】
画像１、２の画像データが送信された管理サーバ１４０は、ステップ２２２で、画像１、２をディスプレイ１７２に表示する。具体的には、中央画像Ｇ０を中心に、中央画像Ｇ０の上側、下側、左側、及び右側に、上方向のあおり画像（ＧＵ）、下方向のあおり画像（ＧＤ）、左方向のあおり画像（ＧＬ）、及び右方向のあおり画像（ＧＲ）を配置する。
【００３８】
医者は、ステップ２２４で、中央画像Ｇ０と、上方向のあおり画像（ＧＵ）、下方向のあおり画像（ＧＤ）、左方向のあおり画像（ＧＬ）、及び右方向のあおり画像（ＧＲ）との各々の組合せにおいて、対応点を指示する。
【００３９】
例えば、ユーザ（眼科医など）は、ディスプレイ１７２に表示された中央画像Ｇ０と上方向のあおり画像（ＧＵ）とを見て、中央画像Ｇ０と上方向のあおり画像（ＧＵ）とのそれぞれで、対応する複数の特徴点を、入力/指示デバイス１７４を介して指示する。特徴点は、例えば、眼底の血管の分岐点や視神経乳頭などである。また、特徴点は、複数（例えば、１２点）指示する。画像ビューワ１５０は、中央画像Ｇ０と上方向のあおり画像（ＧＵ）との間の複数（例えば、１２組）の特徴点の組合せを受け付ける。本ステップ２２４では、ユーザ（眼科医など）は、中央画像Ｇ０と下方向のあおり画像（ＧＤ）、中央画像Ｇ０と左方向のあおり画像（ＧＬ）、及び中央画像Ｇ０と右方向のあおり画像（ＧＲ）との各々の組合せにおいて、上記と同様に、複数の特徴点を、入力/指示デバイス１７４を介して指示する。画像ビューワ１５０は、各組合せについての複数（例えば、１２組）の特徴点の組合せを受け付ける。
【００４０】
ステップ２２４における対応点の指示は、ユーザ（眼科医など）が行うことに限定されず、上記画像の画像データに基づいて自動的に行ってもよい。例えば、画像処理部１８２は、中央画像Ｇ０と、上方向のあおり画像（ＧＵ）、下方向のあおり画像（ＧＤ）、左方向のあおり画像（ＧＬ）、及び右方向のあおり画像（ＧＲ）との各々の組合せにおいて、対応する特徴点を、画像データに基づいて、テンプレートマッチングを行うことにより、特定する。
【００４１】
画像ビューワ１５０は、ステップ２２６で、詳細には後述する解析処理を実行し、ステップ２２８で、解析結果画面３００（図８参照）を、ディスプレイ１７２に表示する。解析結果画面３００については後述する。
【００４２】
次に、解析処理を説明する。上記のように画像１、２の画像データを受信し、表示（ステップ２２２）した後、ステップ２２４で、上記各画像の組合せについての複数の特徴点の組合せを受け付けると、画像ビューワ１５０は、ステップ２６６で、解析処理プログラムを実行する。画像ビューワ１５０のＣＰＵ１６２が解析処理プログラムを実行することで、図７のフローチャートに示された解析処理方法が実現される。解析処理方法は、本開示の技術の「画像処理方法」の一例である。
【００４３】
図７のステップ２４２で、処理部１８６は、あおり画像を識別する変数ｎを０に初期化し、ステップ２４４で、処理部１８６は、変数ｎを１インクリメントする。なお、変数ｎ＝１、２、３、４のそれぞれにより、左方向のあおり画像（ＧＬ）、上方向のあおり画像（ＧＵ）、右方向のあおり画像（ＧＲ）、及び下方向のあおり画像（ＧＤ）が識別される。変数ｎの総数Ｎは４である。
【００４４】
ステップ２４６で、画像処理部１８２は、中央画像Ｇ０とあおり画像ｎとの組み合わせにおいて指定された上記１２個の対応点の組合せの位置に基づいて、中央画像Ｇ０への変数ｎで識別されるあおり画像ｎの射影変換行列を算出する。射影変換行列は、あおり画像ｎの各画素を、あおり画像ｎの各画素の位置が中央画像Ｇ０における対応する位置に位置するように射影変換する行列である。
ステップ２４８で、画像処理部１８２は、ステップ２４８で算出した射影変換行列を用いて、あおり画像ｎを射影変換する。これにより、射影変換されたあおり画像ｎ１が作成される。
【００４５】
ステップ２５０で、中央画像Ｇ０の基準点（例えば、中心位置）が、射影変換されたあおり画像ｎ１上に射影される基準射影点を特定する。
【００４６】
ステップ２５２で、処理部１８６は、変数ｎが総数Ｎに等しいか否かを判断する。変数ｎが総数Ｎに等しくない場合には、上記処理（ステップ２４６から２５０）がされていないあおり画像があるので、解析処理は、ステップ２４４に戻る。しかし、変数ｎが総数Ｎに等しい場合には、全てのあおり画像について上記処理（ステップ２４６から２５０）がされたので、解析処理は、ステップ２５４に進む。
【００４７】
以上の処理により、左方向のあおり画像（ＧＬ）、上方向のあおり画像（ＧＵ）、右方向のあおり画像（ＧＲ）、及び下方向のあおり画像（ＧＤ）のそれぞれに対し、中央画像Ｇ０への互いに異なる射影変換行列が算出される。左方向のあおり画像（ＧＬ）、上方向のあおり画像（ＧＵ）、右方向のあおり画像（ＧＲ）、及び下方向のあおり画像（ＧＤ）のそれぞれは、それぞれの射影変換行列により、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）が作成される。そして、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）には、中央画像Ｇ０の基準点（例えば、中心位置）が射影される基準射影点が特定されている。
【００４８】
ステップ２５４で、表示制御部１８４は、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）を、各々の基準射影点に基づいて、組み立てたモンタージュ画像を作成する。
なお、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）の各々は、第１眼底画像（Ｒ色眼底画像）及び第２眼底画像（Ｇ色眼底画像）を備えている。よって、モンタージュ画像も第１眼底画像（Ｒ色眼底画像）及び第２眼底画像（Ｇ色眼底画像）を備えている。
【００４９】
眼の構造は、硝子体を、構造が異なる複数の層が覆うようになっている。複数の層には、硝子体側の最も内側から外側に、網膜、脈絡膜、強膜が含まれる。Ｒ光は、網膜を通過して脈絡膜まで到達する。よって、第１眼底画像（Ｒ色眼底画像）には、網膜に存在する血管（網膜血管）の情報と脈絡膜に存在する血管（脈絡膜血管）の情報とが含まれる。これに対し、Ｇ光は、網膜までしか到達しない。よって、第２眼底画像（Ｇ色眼底画像）には、網膜に存在する血管（網膜血管）の情報が含まれる。
【００５０】
ステップ２５６で、表示制御部１８４は、モンタージュ画像から脈絡膜血管画像を作成る。
脈絡膜血管画像は以下のようにして生成される。管理サーバ１４０の画像処理部１８２は、ブラックハットフィルタ処理を、モンタージュ画像における第２眼底画像（Ｇ色眼底画像）に施すことにより、第２眼底画像（Ｇ色眼底画像）から網膜血管を抽出する。次に、画像処理部１８２は、モンタージュ画像における第１眼底画像（Ｒ色眼底画像）から、第２眼底画像（Ｇ色眼底画像）から抽出した網膜血管を用いてインペインティング処理により、網膜血管を除去する。つまり、第２眼底画像（Ｇ色眼底画像）から抽出された網膜血管の位置情報を用いて第１眼底画像（Ｒ色眼底画像）の網膜血管構造を周囲の画素と同じ値に塗りつぶす処理を行う。そして、画像処理部１８２は、網膜血管が除去された第１眼底画像（Ｒ色眼底画像）の画像データに対し、適応ヒストグラム均等化処理（Ｃｏｎｔｒａｓｔ  Ｌｉｍｉｔｅｄ  Ａｄａｐｔｉｖｅ  Ｈｉｓｔｏｇｒａｍ  Ｅｑｕａｌｉｚａｔｉｏｎ）を施すことにより、第１眼底画像（Ｒ色眼底画像）において、脈絡膜血管を強調する。これにより、脈絡膜血管画像が得られる。生成された脈絡膜血管画像はメモリ１６４に記憶される。
脈絡膜眼底画像を生成する方法について、２０１８年３月２０日に出願された特願２０１８−０５２２４６の開示は、その全体が参照により、本明細書に取り込まれる。
【００５１】
ステップ２５４で、表示制御部１８４は、解析結果画面データを作成する。
【００５２】
図８には、解析結果画面３００が示されている。図８に示されているように、解析結果画面３００は、画像表示領域３０２、患者情報表示領域３０４、及びフォルダ表示領域３０６を有する。
【００５３】
患者情報表示領域３０４には、患者名ＩＤ表示領域３４２、患者名表示領域３４４、年齢表示領域３４６、各画像が右眼か左眼を示す情報（右又は左）を表示する表示領域３４８、眼軸長を表示する眼軸長表示領域３５０、撮影日時表示領域３５２、および視力表示領域３５４が設けられている。
【００５４】
フォルダ表示領域３０６は、前処理フォルダ３６０と解析フォルダ３７０とを有する。前処理フォルダ３６０には、個別表示アイコン３６２とモンタージュ表示アイコン３６４２とが設けられている。解析フォルダ３７０には、図１０に示すように、各種アイコンが設けられている。
【００５５】
図８の画像表示領域３０２は、前処理フォルダ３６０内の個別表示アイコン３６２が操作された場合に表示される内容が示されている。図８に示すように、画像表示領域３０２には、変換前の画像を表示する領域３２２と、変換後の画像を表示する領域３２４とを有する。変換前の画像を表示する領域３２２には、中央画像Ｇ０を表示する領域３３０と、領域３３０を中心に、領域３３０の左側、上側、右側、及び下側に、左方向のあおり画像（ＧＬ）、上方向のあおり画像（ＧＵ）、右方向のあおり画像（ＧＲ）、及び下方向のあおり画像（ＧＤ）を表示する領域３３０ｎ１から３３０ｎ４が配置されている。
【００５６】
左方向のあおり画像（ＧＬ）は、左位置Ｌ０よりも左側の左側位置Ｌ１までの画像が含まれている。上方向のあおり画像（ＧＵ）は、上位置Ｕ０よりも上側の上側位置Ｕ１までの画像が含まれている。右方向のあおり画像（ＧＲ）は、左位置Ｒ０よりも右側の右側位置Ｒ１までの画像が含まれている。下方向のあおり画像（ＧＤ）は、下位置Ｄ０よりも下側の下側位置Ｄ１までの画像が含まれている。
【００５７】
変換後の画像を表示する領域３２４には、中央画像Ｇ０を表示する領域３３０と、領域３３０を中心に、領域３３０の左側、上側、右側、及び下側に、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）を表示する領域３４０ｎ１から３４０ｎ４が配置されている。左方向のあおり画像（ＧＬ）の左側位置Ｌ１は、変換後の左方向のあおり画像（ＧＬ１）において位置Ｌ１１に位置する。上方向のあおり画像（ＧＵ１）の上側位置Ｕ１は、変換後の上方向のあおり画像（ＧＵ１）において位置Ｕ１１に位置する。右方向のあおり画像（ＧＲ１）の右側位置Ｒ１は、変換後の右方向のあおり画像（ＧＲ１）において位置Ｒ１１に位置する。下方向のあおり画像（ＧＤ１）の下側位置Ｄ１は、変換後の下方向のあおり画像（ＧＤ１）において位置Ｄ１１に位置する。
【００５８】
画像ビューワ１５０の後述する表示画面には、後述する画像を生成することを指示するためのアイコンやボタンが表示されている。ビューワ１５０のユーザ（眼科医など）がアイコン等クリックされると、画像ビューワ１５０から管理サーバ１４０に、クリックされたアイコン等に対応する指示信号が送信される。画像ビューワ１５０からの指示信号を受信した管理サーバ１４０は、指示信号に対応する画像を生成し、生成した画像の画像データを画像ビューワ１５０に送信する。管理サーバ１４０から画像データを受信した画像ビューワ１５０は、受信した画像データに基づいて画像をディスプレイに表示する。管理サーバ１４０での表示画面の生成処理は、ＣＰＵ１６２で動作する表示画面生成プログラムによって行われる。
【００５９】
図８の解析結果画面３００において、前処理フォルダ３６０内のモンタージュ表示アイコン３６４が操作されると、画像表示領域３０２は、図９に示す内容に変更される。図９に示すように、画像表示領域３０２の変換前の画像を表示する領域３２２には、図８の領域３２２と同様の内容である。一方、変換後の画像を表示する領域３２４には、ステップ２５４で作成されたモンタージュ画像Ｇ０１を表示する領域３８０を有する。
【００６０】
モンタージュ画像Ｇ０１は、中央画像Ｇ０と、中央画像Ｇ０の左側に、変換後の左方向のあおり画像（ＧＬ１）で、中央画像Ｇ０を除き、且つ、上方向のあおり画像（ＧＵ１）及び下方向のあおり画像（ＧＤ１）の各々と共通する部分は共通する部分の中央の線で区切られた部分ＭＬ０１１とを有する。
【００６１】
モンタージュ画像Ｇ０１は中央画像Ｇ０の上側に、変換後の上方向のあおり画像（ＧＵ１）で中央画像Ｇ０を除き、且つ、左方向のあおり画像（ＧＬ１）及び右方向のあおり画像（ＧＲ１）の各々と共通する部分は共通する部分の中央の線で区切られた部分ＭＵ０１１を有する。
【００６２】
モンタージュ画像Ｇ０１は中央画像Ｇ０の右側に、変換後の右方向のあおり画像（ＧＲ１）で中央画像Ｇ０を除き、且つ、上方向のあおり画像（ＧＵ１）及び下方向のあおり画像（ＧＤ１）の各々と共通する部分は共通する部分の中央の線で区切られた部分ＭＲ０１１を有する。
【００６３】
モンタージュ画像Ｇ０１は中央画像Ｇ０の下側に、変換後の下方向のあおり画像（ＧＤ１）で中央画像Ｇ０を除き、且つ、右方向のあおり画像（ＧＲ１）及び左方向のあおり画像（ＧＬ１）の各々と共通する部分は共通する部分の中央の線で区切られた部分ＭＤ０１１を有する。
【００６４】
このように、モンタージュ画像Ｇ０１は、中央画像Ｇ０の回りに、部分ＭＬ０１１、部分ＭＵ０１１、部分ＭＲ０１１、及び部分ＭＤ０１１を有する。このように、モンタージュ画像Ｇ０１は、眼科システム１００の光軸に被検眼１２の光軸を一致させて眼底を撮影して得た中央画像Ｇ０にはない部分ＭＬ０１１、部分ＭＵ０１１、部分ＭＲ０１１、及び部分ＭＤ０１１を有するので、眼底のより多い情報を得ることができる。
【００６５】
図１０には、画像ビューワ１５０の解析結果画面３００において解析フォルダ３７０が操作された場合に表示される表示画面が示されている。図１０に示すように、画像表示領域３０２は、ＲＧ画像を表示する領域３８２と、脈絡膜血管画像３８４とを有する。ＲＧ画像を表示する領域３８２には、ＲＧ画像として、モンタージュ画像Ｇ０２が表示される。脈絡膜血管画像３８４は、ステップ２５６で作成された脈絡膜血管画像Ｇ０３が表示される。
【００６６】
従来では、パノラマ眼底画像合成装置及び方法技術が開示されている。従来の技術では、広範囲の眼底領域を撮影して得た複数の眼底画像からより広いパノラマ画像を生成することができない。しかし、本実施の形態では、視線を、上下左右に変えて眼底を撮影して得た４つの眼底画像から、より広いパノラマ画像（モンタージュ画像）を生成することができる。
このように、従来の技術では、第１の画像の各画素を、第１の画像の各画素の位置が基準画像における対応する位置に位置するように射影変換する射影変換行列を算出することができない。しかし、本実施の形態では、当該射影変換行列を算出し、当該射影変換行列を用いて、第１の画像の各画素を射影変換することができる。
【００６７】
次に、本開示の技術の種々の変形例を説明する。
＜第１の変形例＞
上記実施の形態では、視線を、上下左右に変えて眼底を撮影して得た４つの眼底画像から、より広いパノラマ画像（モンタージュ画像）を生成しているが、本開示の技術がこれに限定されない。例えば、上下左右に代えてまたはこれと共に、別の方向、例えば、右斜め上方向、左斜め上方向、右斜め下方向、及び左斜め下方向に視線を変えて眼底を撮影して得た４つの眼底画像から、より広いパノラマ画像（モンタージュ画像）を生成してもよい。
なお、視線を変えて眼底を撮影して得る眼底画像は４つ、８つに限定されず、１つ以上である。
【００６８】
＜第２の変形例＞
上記実施の形態では、脈絡膜血管画像を作成しているが（図７のステップ２５６）、本開示の技術がこれに限定されない。例えば、図７のステップ２５６とステップ２５８との間で、更に処理を実行するようにしてもよい。図１１には、第２の変形例における図７のステップ２５６とステップ２５８との間で実行するＶＶ定量値算出プログラムのフローチャートが示されている。
図１１のステップ２７２で、画像処理部１８２は、ステップ２５６で作成された脈絡膜血管画像から、渦静脈（Ｖｏｒｔｅｘ  Ｖｅｉｎ、以下、ＶＶと称する）位置を特定する。
【００６９】
画像処理部１８２は、モンタージュ画像における脈絡膜血管画像Ｇ０３における各脈絡膜血管の移動方向（血管走行方向）を設定する。具体的には、第１に、画像処理部１８２は、脈絡膜血管画像Ｇ０３の各画素について、下記の処理を実行する。即ち、画像処理部１８２は、画素に対して、当該画素を中心とした領域（セル）を設定し、セル内の各画素における輝度の勾配方向のヒストグラムを作成する。次に、画像処理部１８２は、各セルにおけるヒストグラムにおいて、最もカウントが少なかった勾配方向を各セルの内の画素における移動方向とする。この勾配方向が、血管走行方向に対応する。なお、最もカウントが少なかった勾配方向が血管走行方向であるとなるのは、次の理由からである。血管走行方向には輝度勾配が小さく、一方、それ以外の方向には輝度勾配が大きい（例えば、血管と血管以外のものでは輝度の差が大きい）。したがって、各画素の輝度勾配のヒストグラムを作成すると、血管走行方向に対するカウントは少なくなる。以上の処理により、脈絡膜血管画像の各画素における血管走行方向が設定される。
【００７０】
画像処理部１８２は、Ｍ（自然数）×Ｎ（自然数）（＝Ｌ）個の粒子の初期位置を設定する。具体的には、画像処理部１８２は、脈絡膜血管画像Ｇ０３上に等間隔に、縦方向にＭ個、横方向にＮ個、合計Ｌ個の初期位置を設定する。
【００７１】
画像処理部１８２は、ＶＶ位置を推定する。具体的には、画像処理部１８２は、Ｌ個の各々の位置について以下の処理を行う。即ち、画像処理部１８２は、最初の位置（Ｌ個の何れか）の血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、粒子を移動させ、移動した位置において、再度、血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、粒子を移動させる。このように血管走行方向に沿って所定距離移動させることを予め設定した移動回数、繰り返す。以上の処理を、Ｌ個の全ての位置において実行する。その時点で粒子が一定個数以上集まっている点をＶＶ位置とする。
【００７２】
本ステップ２７２では、画像処理部１８２は、モンタージュ画像におけるＧ色眼底画像から視神経乳頭を検出する。具体的には、画像処理部１８２は、視神経乳頭はＧ色眼底画像においてもっとも明るい領域であるので、上記読み出したＧ色眼底画像において画素値が最も大きい所定数の画素の領域を、視神経乳頭として検出する。最も明るい画素を含む領域の中心位置を視神経乳頭が位置する座標として算出し、メモリ１６４に記憶する。
本ステップ２７２では、画像処理部１８２は、黄斑を検出する。具体的には、画像処理部１８２は、黄斑は脈絡膜血管画像において暗い領域であるので、上記読み出した脈絡膜血管画像Ｇ０３において画素値が最も小さい所定数の画素の領域を、黄斑として検出する。最も暗い画素を含む領域の中心位置を黄斑が位置する座標として算出し、メモリ１６４に記憶する。
【００７３】
そして、本ステップ２７２では、画像処理部１８２は、ＶＶ位置、視神経乳頭の位置、及び黄斑の位置を、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）の対応する位置に特定する。
【００７４】
ステップ２７４で、画像処理部１８２は、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）を、各々の基準射影点に基づいて、３次元（３Ｄ）眼球面上に投影する。
ステップ２７６で、画像処理部１８２は、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）が投影された３次元（３Ｄ）眼球面から、ＶＶ定量値を算出する。
ＶＶの定量値の算出処理は、第１に、ＶＶ距離の算出処理と、第２に、ＶＶ角度の算出処理とがある。
【００７５】
まず、ＶＶ距離の算出処理を説明する。ＶＶ距離には、第１に、視神経乳頭の位置とＶＶ位置との距離と、第２に、黄斑の位置とＶＶ位置との距離がある。
３次元（３Ｄ）眼球面上で、第１に、視神経乳頭の位置とＶＶ位置との距離と、第２に、黄斑の位置とＶＶ位置との距離とを算出する。
【００７６】
次に、ＶＶ角度の算出処理を説明する。ＶＶ角度には、黄斑の位置−視神経乳頭の位置−ＶＶ位置がなす角度と、視神経乳頭の位置−黄斑の位置−ＶＶ位置がなす角度とがある。黄斑の位置−視神経乳頭の位置−ＶＶ位置がなす角度θの算出方法には、正角図法又は球面三角法から算出する。
【００７７】
第２の変形例における図７のステップ２５８の解析結果画面データには、ＶＶ定量値が含まれる。よって、画像ビューワ１５０のディスプレイ１７２に、ＶＶ定量値が表示される。
【００７８】
＜第３の変形例＞
上記実施の形態では、眼科装置１１０により内部光照射角が２００度程度の眼底画像を取得する例を説明したが、本開示の技術はこれに限定されず、例えば、内部照射角で１００度以下の眼科装置で撮影された眼底画像でも本開示の技術を適用してもよい。
【００７９】
＜第４の変形例＞
上記実施の形態では、眼科装置１１０はＳＬＯを用いて眼底を撮影したが、本開示の技術はこれに限定されず、例えば、眼底カメラで眼底を撮影にしてもよい
【００８０】
＜第５の変形例＞
上記実施の形態では、眼科装置１１０、眼軸長測定器１２０、管理サーバ１４０、及び画像ビューワ１５０を備えた眼科システム１００を例として説明したが、本開示の技術はこれに限定されない。例えば、第１の例として、眼軸長測定器１２０を省略し、眼科装置１１０が、眼軸長測定器１２０の機能を更に有してもよい。また、第２の例として、眼科装置１１０が、管理サーバ１４０及び画像ビューワ１５０の少なくとも一方の機能を更に有してもよい。例えば、眼科装置１１０が管理サーバ１４０の機能を有する場合、管理サーバ１４０を省略することができる。この場合、解析処理プログラムは、眼科装置１１０又は画像ビューワ１５０が実行する。また、眼科装置１１０が画像ビューワ１５０の機能を有する場合、画像ビューワ１５０を省略することができる。第３の例として、管理サーバ１４０を省略し、画像ビューワ１５０が管理サーバ１４０の機能を実行するようにしてもよい。
【００８１】
＜その他の変形例＞
上記実施の形態で説明したデータ処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、上記実施の形態では、コンピュータを利用したソフトウェア構成によりデータ処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ又はＡＳＩＣ等のハードウェア構成のみによって、データ処理が実行されるようにしてもよい。データ処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
【図１】
2019203314.tif 000003
【図２】
2019203314.tif 000004
【図３】
2019203314.tif 000005
【図４】
2019203314.tif 000006
【図５】
2019203314.tif 000007
【図６Ａ】
2019203314.tif 000008
【図６Ｂ】
2019203314.tif 000009
【図６Ｃ】
2019203314.tif 000010
【図６Ｄ】
2019203314.tif 000011
【図６Ｅ】
2019203314.tif 000012
【図６Ｆ】
2019203314.tif 000013
【図７】
2019203314.tif 000014
【図８】
2019203314.tif 000015
【図９】
2019203314.tif 000016
【図１０】
2019203314.tif 000017
【図１１】
2019203314.tif 000018
【国際調査報告】
2019203314.tif 000019
2019203314.tif 000020
2019203314.tif 000021
2019203314.tif 000022