(57)【要約】  眼底における血管を血液が流れる速度を可視化するためのデータを算出する。  画像処理方法は、複数のフレームからなる眼底を撮影した動画像の各フレームの位置合わせをするステップと、位置合わせされた各フレーム内の画素値に基づいて、前記眼底における血管を血液が流れる状況を可視化するための可視化データを算出するステップと、を備える。
2019203312.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームからなる眼底を撮影した動画像の各フレームの位置合わせをするステップと、
前記位置合わせされた各フレーム内の画素値に基づいて、前記眼底における血管を血液が流れる状況を可視化するための可視化データを算出するステップと、
を備える画像処理方法。
【請求項２】
前記可視化データを算出するステップでは、
前記各フレームにおける予め定められた位置の画素値に基づいて、可視化データを算出する、
請求項１に記載の画像処理方法。
【請求項３】
前記可視化データは、前記各フレームの画像の各時刻における、前記画素値に基づいて定まる値である、
請求項１又は請求項２に記載の画像処理方法。
【請求項４】
前記可視化データに基づいて、縦軸を画素値、横軸を時刻としたグラフを作成することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記予め定められた位置は、血管上の位置であることを特徴とする請求項２に記載の画像処理方法。
【請求項６】
前記動画像は蛍光撮影された動画像であることを特徴とする請求項１ないし５に記載の画像処理方法。
【請求項７】
コンピュータに、請求項１から請求項６の何れか１項に記載の画像処理方法を実行させるためのプログラム。
【請求項８】
処理装置に画像処理方法を実行させるためのプログラムを記憶する記憶装置と、
前記記憶装置に記憶されているプログラムを実行することにより前記画像処理方法を実行する処理装置と、
を備える画像処理装置であって、
前記画像処理方法は、請求項１から請求項６の何れか１項に記載の画像処理方法である、
画像処理装置。
【請求項９】
複数の第１フレームからなる眼底を撮影した第１動画像の各フレームの眼底領域の位置合わせをするステップと、
複数の２フレームからなる前記眼底を撮影した第２動画像の各フレームの眼底領域の位置合わせをするステップと、
前記位置合わせされた前記複数の第１フレーム内の画素値に基づいて、前記眼底における血管を血液が流れる状況を可視化するための第１可視化データを算出するステップと、
前記位置合わせされた前記複数の第２フレーム内の画素値に基づいて、前記眼底における血管を血液が流れる状況を可視化するための第２可視化データを算出するステップと、を含む画像処理方法。
【請求項１０】
第１可視化データと第２可視化データを比較するための比較画像を作成することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記第１動画像は治療前に撮影された動画像であり、前記第２動画像は治療後に撮影された動画像であることを特徴とする請求項９または１０に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の技術は、画像処理方法、プログラム、及び画像処理装置に関する。
【背景技術】
【０００２】
米国特許出願公開第２００４／０１４２４８５号公報には、血管造影画像の表示を制御する技術が開示されている。
【発明の概要】
【０００３】
本開示の技術の第１の態様の画像処理方法は、眼底の複数のフレームの画像を備える動画像の各フレームの画像の位置合わせをするステップと、前記位置合わせされた各フレームの画像の複数の画素値に基づいて、前記眼底における血管を血液が流れる速度を可視化するためのデータを算出するステップと、を備える。
【０００４】
本開示の技術の第２の態様のプログラムは、コンピュータに第１の態様の画像処理方法を実行させる。
【０００５】
本開示の技術の第３の態様の画像処理装置は、処理装置に画像処理方法を実行させるためのプログラムを記憶する記憶装置と、前記記憶装置に記憶されているプログラムを実行することにより前記画像処理方法を実行する処理装置と、を備える画像処理装置であって、前記画像処理方法は、第１の態様の画像処理方法である。
【０００６】
本開示の技術の第４の態様の画像処理方法は、複数の第１フレームからなる眼底を撮影した第１動画像の各フレームの位置合わせをするステップと、複数の２フレームからなる前記眼底を撮影した第２動画像の各フレームの位置合わせをするステップと、前記位置合わせされた前記複数の第１フレーム内の画素値に基づいて、前記眼底における血管を血液が流れる状況を可視化するための第１可視化データを算出するステップと、前記位置合わせされた前記複数の第２フレーム内の画素値に基づいて、前記眼底における血管を血液が流れる状況を可視化するための第２可視化データを算出するステップと、を備える。
【図面の簡単な説明】
【０００７】
【図１】眼科システム１００のブロック図である。
【図２】眼科装置１１０の全体構成を示す概略構成図である。
【図３】管理サーバ１４０の電気系の構成のブロック図である。
【図４】管理サーバ１４０のＣＰＵ１６２の機能のブロック図である。
【図５】医者による治療の前後の眼科システム１００の動作を示すシーケンス図である。
【図６】解析処理プログラムのフローチャートである。
【図７】画像ビューワ１５０のビューワ画面３００を示す図である。
【図８】画像ビューワ１５０のビューワ画面（解析結果表示画面）３００を示す図である。
【図９】第３の変形例における医者による治療の前後の眼科システム１００の動作を示すシーケンス図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、以下では、説明の便宜上、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ  Ｌａｓｅｒ  Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）を「ＳＬＯ」と称する。
【０００９】
図１を参照して、眼科システム１００の構成を説明する。図１に示すように、眼科システム１００は、眼科装置１１０と、光線力学療法システム１２０と、管理サーバ装置（以下、「管理サーバ」という）１４０と、画像表示装置（以下、「画像ビューワ」という）１５０と、を備えている。眼科装置１１０は、眼底画像を取得する。光線力学療法システム１２０は、患者の被検眼に光線力学療法（ＰＤＴ（Ｐｈｏｔｏｄｙｎａｍｉｃ  Ｔｈｅｒａｐｙ））を施す。管理サーバ１４０は、眼科装置１１０によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像及び眼軸長を、患者のＩＤに対応して記憶する。画像ビューワ１５０は、管理サーバ１４０により取得した眼底画像を表示する。
【００１０】
画像ビューワ１５０の後述する表示画面には、後述する画像を生成することを指示するためのアイコンやボタンが表示されている。眼科医がアイコン等クリックされると、画像ビューワ１５０から管理サーバ１４０に、クリックされたアイコン等に対応する指示信号が送信される。画像ビューワ１５０からの指示信号を受信した管理サーバ１４０は、指示信号に対応する画像を生成し、生成した画像の画像データを画像ビューワ１５０に送信する。管理サーバ１４０から画像データを受信した画像ビューワ１５０は、受信した画像データに基づいて画像をディスプレイに表示する。管理サーバ１４０での表示画面の生成処理は、ＣＰＵ１６２で動作する表示画面生成プログラムによって行われる。
【００１１】
眼科装置１１０、光線力学療法システム１２０、管理サーバ１４０、画像ビューワ１５０は、ネットワーク１３０を介して、相互に接続されている。
【００１２】
なお、他の眼科機器（視野測定、眼圧測定などの検査機器）や人工知能を用いた画像解析を行う診断支援装置がネットワーク１３０を介して、眼科装置１１０、光線力学療法システム１２０、管理サーバ１４０、及び画像ビューワ１５０に接続されていてもよい。
【００１３】
次に、図２を参照して、眼科装置１１０の構成を説明する。図２に示すように、眼科装置１１０は、制御ユニット２０、表示／操作ユニット３０、及びＳＬＯユニット４０を備え、被検眼１２の後眼部（眼底）を撮影する。さらに、眼底のＯＣＴデータを取得する図示せぬＯＣＴユニットを備えていてもよい。
【００１４】
制御ユニット２０は、ＣＰＵ２２、メモリ２４、及び通信インターフェース（Ｉ／Ｆ）２６等を備えている。表示／操作ユニット３０は、撮影されて得られた画像を表示したり、撮影の指示を含む各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ３２及び入力／指示デバイス３４を備えている。
【００１５】
ＳＬＯユニット４０は、Ｇ光（緑色光：波長５３０ｎｍ）の光源４２、Ｒ光（赤色光：波長６５０ｎｍ）の光源４４、ＩＲ光（赤外線（近赤外光）：波長８００ｎｍ）の光源４６を備えている。光源４２、４４、４６は、制御ユニット２０により命令されて、各光を発する。Ｒ光の光源は波長６３０ｎｍから７８０ｎｍの可視光、ＩＲ光の光源は波長７８０ｎｍ以上の近赤外光を発するレーザ光源が用いられる。
【００１６】
ＳＬＯユニット４０は、光源４２、４４、４６からの光を、反射又は透過して１つの光路に導く光学系５０、５２、５４、５６を備えている。光学系５０、５６は、ミラーであり、光学系５２、５４は、ビームスプリッタ―である。Ｇ光は、光学系５０、５４で反射し、Ｒ光は、光学系５２、５４を透過し、ＩＲ光は、光学系５２、５６で反射して、それぞれ１つの光路に導かれる。
【００１７】
ＳＬＯユニット４０は、光源４２、４４、４６からの光を、被検眼１２の後眼部（眼底）に渡って、２次元状に走査する広角光学系８０を備えている。ＳＬＯユニット４０は、被検眼１２の後眼部（眼底）からの光の内、Ｇ光を反射し且つＧ光以外を透過するビームスプリッタ５８を備えている。ＳＬＯユニット４０は、ビームスプリッタ５８を透過した光の内、Ｒ光を反射し且つＲ光以外を透過するビームスプリッタ６０を備えている。ＳＬＯユニット４０は、ビームスプリッタ６０を透過した光の内、ＩＲ光を反射するビームスプリッタ６２を備えている。ＳＬＯユニット４０は、ビームスプリッタ５８により反射したＧ光を検出するＧ光検出素子７２、ビームスプリッタ６０により反射したＲ光を検出するＲ光検出素子７４、及びビームスプリッタ６２により反射したＩＲ光を検出するＩＲ光検出素子７６を備えている。
【００１８】
ビームスプリッタ６２とＩＲ光検出素子７６との間、例えば、ＩＲ光検出素子７６における光が入射される領域の近傍に、当該領域全体を覆う面積の面を有する光学フィルター７５が設けられている。光学フィルター７５は、ＣＰＵ２２により制御される図示しない移動機構により、光学フィルター７５の面が上記領域全体を覆う位置と、光学フィルター７５の面が上記領域全体を覆わない位置との間に移動する。光学フィルター７５は、ＩＲ光源４６が発するＩＲ光（波長７８０ｎｍ）をブロックし、後述するＩＣＧから発生する蛍光（波長３３０ｎｍ）を通過させるフィルターである。
【００１９】
広角光学系８０は、光源４２、４４、４６からの光を、Ｘ方向に走査するポリゴンミラーで構成されたＸ方向走査装置８２、Ｙ方向に走査するガルバノミラーで構成されたＹ方向走査装置８４、及び、図示しないスリットミラー及び楕円鏡を含み、走査された光を、広角にする光学系８６を備えている。光学系８６により、眼底の視野角（ＦＯＶ：Ｆｉｅｌｄ  ｏｆ  Ｖｉｅｗ）を従来の技術より大きな角度とし、従来の技術より広範囲の眼底領域を撮影することができる。具体的には、被検眼１２の外部からの外部光照射角で約１２０度（被検眼１２の眼球の中心Ｏを基準位置として、被検眼１２の眼底が走査光により照射されることで実質的に撮影可能な内部光照射角で、２００度程度）の広範囲の眼底領域を撮影することができる。光学系８６は、スリットミラー及び楕円鏡に代えて、複数のレンズ群を用いた構成でもよい。Ｘ方向走査装置８２及びＹ方向走査装置８４の各走査装置はＭＥＭＳミラーを用いて構成された二次元スキャナを用いてもよい。
【００２０】
光学系８６としてスリットミラー及び楕円鏡を含むシステムを用いる場合には、国際出願ＰＣＴ／ＪＰ２０１４／０８４６１９や国際出願ＰＣＴ／ＪＰ２０１４／０８４６３０に記載された楕円鏡を用いたシステムを用いる構成でもよい。２０１４年１２月２６日に国際出願された国際出願ＰＣＴ／ＪＰ２０１４／０８４６１９（国際公開ＷＯ２０１６／１０３４８４）の開示及び２０１４年１２月２６日に国際出願された国際出願ＰＣＴ／ＪＰ２０１４／０８４６３０（国際公開ＷＯ２０１６／１０３４８９）の開示の各々は、その全体が参照により本明細書に取り込まれる。
【００２１】
なお、眼科装置１１０が水平面に設置された場合の水平方向を「Ｘ方向」、水平面に対する垂直方向を「Ｙ方向」とし、被検眼１２の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Ｚ方向」とする。従って、Ｘ方向、Ｙ方向、及びＺ方向は互いに垂直である。
【００２２】
図１の光線力学療法システム１２０は、光に反応する薬剤を体内に投与した後に、眼底の病変部に弱いレーザ光線を照射するシステムであり、ＰＤＴを施す。ＰＤＴは、加齢黄斑変性病や中心性漿液性脈絡網膜症の治療に施される。
【００２３】
次に、図３を参照して、管理サーバ１４０の構成を説明する。図３に示すように、管理サーバ１４０は、制御ユニット１６０、及び表示／操作ユニット１７０を備えている。制御ユニット１６０は、ＣＰＵ１６２を含むコンピュータ、記憶装置であるメモリ１６４、及び通信インターフェース（Ｉ／Ｆ）１６６等を備えている。なお、メモリ１６４には、解析処理プログラムが記憶されている。表示／操作ユニット１７０は、画像を表示したり、各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ１７２及びタッチパネル等の入力／指示デバイス１７４を備えている。
【００２４】
画像ビューワ１５０の構成は、管理サーバ１４０と同様であるので、その説明を省略する。
【００２５】
次に、図４を参照して、管理サーバ１４０のＣＰＵ１６２が解析処理プログラムを実行することで実現される各種機能について説明する。解析処理プログラムは、解析処理機能、表示制御機能、及び処理機能を備えている。ＣＰＵ１６２がこの各機能を有する解析処理プログラムを実行することで、ＣＰＵ１６２は、図４に示すように、画像処理部１８２、表示制御部１８４、及び処理部１８６として機能する。
【００２６】
次に、図５を参照して、医者による、光線力学療法システム１２０を使用した、例えば、加齢黄斑変性病や中心性漿液性脈絡網膜症の治療の前後の脈絡膜血管の血流状態を可視化するための眼科システム１００の動作を説明する。
【００２７】
光線力学療法システム１２０により、患者の被検眼にＰＤＴを施す治療前に、被検眼の撮影が行われる。具体的には次の通りである。
【００２８】
患者の被検眼を眼科装置１１０で撮影できるように、患者の被検眼が位置決めされる。図５に示すように、医者は、ステップ２０２で、蛍光色素（造影剤、インドシアニングリーン（以下、「ＩＣＧ」という））を静脈注射で体内に投与する。ＩＣＧの励起波長と蛍光の波長がともに近赤外領域であるので、脈絡膜の血管病変の検査に用いられる。ステップ２０４で、入力／指示デバイス３４を介して、眼科装置１１０にＩＣＧ蛍光眼底撮影の開始を指示する。眼科装置１１０は、ステップ２０６で、ＳＬＯユニット４０によりＩＣＧ蛍光眼底撮影（動画１撮影）を開始する。具体的には、眼科装置１１０の制御ユニット２０は、ＳＬＯユニット４０のＩＲ光源４６及びＩＲ光検出素子７６を、１秒間にＮ（自然数）回の頻度で、所定時間（Ｔ（自然数）秒）、被検眼の眼底を撮影するように、制御する。このように１秒間にＮフレームで、所定時間Ｔ、被検眼の眼底を撮影することにより動画１の動画データが生成される。よって、動画１として、Ｎ×Ｔフレームの画像が得られる。例えば、Ｎ×Ｔ＝１０×６０＝６００フレームの画像が得られる。
【００２９】
ＩＣＧが静脈注射されると、一定時間経過後に、眼底の血管をＩＣＧが流れ始める。すると、ＩＲ光源４６からのＩＲ光（７８０ｎｍ）に励起され、ＩＣＧから近赤外領域の波長（８３０ｎｍ）の蛍光が発する。また、動画１の動画データの生成のための被検眼の眼底の撮影（ステップ２０６）では、光学フィルター７５（図２参照）をＩＲ光検出素子７６における光が入射される領域の近傍の前に挿入する。光学フィルター７５は、上記のように、ＩＲ光源４６が発するＩＲ光（波長７８０ｎｍ）をブロックしＩＣＧから発生する蛍光（波長８３０ｎｍ）を通過させる。よって、ＩＲ光検出素子７６ではＩＣＧが発する蛍光のみが受光され、ＩＣＧ蛍光眼底撮影（動画１撮影）を行い、ＩＣＧを伴う血流を可視化することができる。
【００３０】
眼科装置１１０は、動画１の撮影（所定時間の被検眼の撮影）が終了すると、次のステップ２０８で、動画１の撮影で得られた動画像（Ｎ×Ｔフレーム）を、管理サーバ１４０に送信する。
【００３１】
ステップ２０８の後、光線力学療法システム１２０により、患者の被検眼の指定された箇所（病変部）にＰＤＴが施され、被検眼の治療が行われる。
【００３２】
被検眼の治療後（例えば３か月経過後）に、治療の効果を確かめるために、被検眼の撮影が行われる。具体的には次の通りである。
【００３３】
患者の被検眼を眼科装置１１０で撮影できるように、患者の被検眼が位置決めされる。医者は、ステップ２１２で、ＩＣＧを静脈注射で体内に投与し、ステップ２１４で、入力／指示デバイス３４を介して、眼科装置１１０に撮影開始を指示する。眼科装置１１０は、ステップ２１６で、動画２の撮影を行う。なお、ステップ２１６の動画２の撮影は、ステップ２０６の動画１の撮影と同様であるので、その説明を省略する。眼科装置１１０は、ステップ２１８で、動画２の撮影で得られた動画像（Ｎ×Ｔフレーム）を、管理サーバ１４０に送信する。
【００３４】
ところで、ステップ２０６での動画１の撮影及びステップ２１６での動画２の撮影の際には、患者名ＩＤ、患者名、年齢、各画像が右眼か左眼からの情報、治療前の撮影日時及び視力、治療後の撮影日時及び視力の各情報も、眼科装置１１０に入力されている。ステップ２０８及びステップ２１８における動画送信の際には、眼科装置１１０から管理サーバ１４０に、上記各情報が送信される。
【００３５】
ステップ２２２で、画像ビューワ１５０のユーザ（眼科医など）は、画像ビューワ１５０の入力／指示デバイス１７４を介して、画像ビューワ１５０に、解析処理を指示する。
【００３６】
画像ビューワ１５０は、ステップ２２４で、動画送信を、管理サーバ１４０に指示する。動画送信が指示された管理サーバ１４０は、ステップ２２６で、動画１、２を読み出し、ステップ２２８で、ビューワ画面を作成する。
【００３７】
ここで、ビューワ画面を説明する。図７には、ビューワ画面３００が示されている。図７に示すように、ビューワ画面３００は、画像表示領域３０２、患者情報表示領域３０４を有する。ビューワ画面３００には、輝度情報表示指示アイコン３１２、輝度変化情報表示指示アイコン３１４、飽和率表示指示アイコン３１６、及び速度表示指示アイコン３１８が表示される。
【００３８】
画像表示領域３０２には、治療前の画像（動画１）を表示する治療前画像表示領域３２２、治療後の画像（動画２）を表示する治療後画像表示領域３２４、及び情報表示領域３０６が設けられている。
【００３９】
治療前画像表示領域３２２には、画像（動画１）の再生の停止を指示する停止アイコン３３２、画像の再生を指示する再生アイコン３３４、画像の再生の一時停止を指示する一時停止アイコン３３６、及び画像の再生の繰り返しを指示する繰り返しアイコン３３８が設けられている。なお、治療後画像表示領域３２４にも、停止アイコン３３２から繰り返しアイコン３３８が設けられている。
【００４０】
患者情報表示領域３０４には、患者名ＩＤ表示領域３４２、患者名表示領域３４４、年齢表示領域３４６、各画像が右眼か左眼を示す情報（右又は左）を表示する表示領域３４８、治療前の撮影日時表示領域３５２及び視力表示領域３５４、治療後の撮影日時表示領域３６２及び視力表示領域３６４が設けられている。
【００４１】
管理サーバ１４０は、ビューワ画面３００を作成すると、ステップ２３０で、動画１、２及びビューワ画面３００のデータを、画像ビューワ１５０に送信する。画像ビューワ１５０は、ステップ２３２で、動画１、２を再生する。
【００４２】
ユーザ（眼科医など）は、ステップ２３４で、ビューワ画面３００を操作して、解析点を指定する。解析点の指定は、具体的には次のように行われる。
【００４３】
ビューワ画面３００（図７参照）の画像表示領域３０２には、治療前の動画１の所定のフレーム、例えば、最後のフレームの画像が表示される。治療前画像表示領域３２２には、治療後の動画２の所定のフレーム、例えば、最後のフレームの画像が表示される。例えば、治療前画像表示領域３２２の再生アイコン３３４が操作されると、動画１の再生が行われる。動画１の再生中、一時停止アイコン３３６が操作されると、動画１の再生が停止され、再生アイコン３３４がまた操作されると、動画１の再生が、停止した箇所から行われる。動画１の再生中、停止アイコン３３２が操作されると、動画１の再生が停止され、再生アイコン３３４がまた操作されると、動画１の再生が、最初から行われる。繰り返しアイコン３３８が操作されると、動画１の再生が最初から繰り返される。動画２の再生も、動画１の再生と同様である。
【００４４】
ユーザ（眼科医など）は、治療の効果を確かめるために、画像ビューワ１５０の入力／指示デバイス１７４を介して、治療前画像表示領域３２２又は治療後画像表示領域３２４の画像に、解析点を指定する。図７では、３個の解析点１から３が指定されている。解析点の指定は、治療前画像表示領域３２２又は治療後画像表示領域３２４の画像の何れでもよい。例えば、治療前画像表示領域３２２において解析点が指定されると、指定された箇所を含むように正方形の枠が治療前画像表示領域３２２に表示される。更に、治療後画像表示領域３２４における、治療前画像表示領域３２２において指定された箇所に対応する箇所を含むように正方形の枠が治療後画像表示領域３２４においても表示される。
以上のように解析点（１から３）が指定されると、画像ビューワ１５０は、ステップ２３６で、管理サーバ１４０に、解析点の位置を示す座標などのデータを送信する。
【００４５】
解析点のデータが送信された管理サーバ１４０は、ステップ２３８で、詳細には後述する解析処理を実行する。解析処理を実行した管理サーバ１４０は、ステップ２４０で、解析結果が表示される表示画面の画像データ及び動画１、２の動画データを、画像ビューワ１５０に送信する。
【００４６】
画像データ及び動画データを受信した画像ビューワ１５０は、ビューワ画面（解析結果表示画面）３００（図８参照）を、ディスプレイ１７２に表示する。ビューワ画面（解析結果表示画面）３００（図８参照）については後述する。
【００４７】
次に、解析処理を説明する。上記のように眼科装置１１０から解析処理の指示がされた管理サーバ１４０は、解析処理プログラムを実行する。管理サーバ１４０のＣＰＵ１６２が解析処理プログラムを実行することで、図６のフローチャートに示された解析処理方法が実現される。
【００４８】
図６のステップ２５２で、画像処理部１８２は、上記読み出された動画１及び動画２の各々において、Ｎ×Ｔフレームの画像の各画素の輝度値を、各コントラストが所定範囲内になるように、例えば、一致するように、補正する。
【００４９】
より具体的には、背景輝度の変動影響の除去が以下の様に行われる。すなわち画像処理部１８２は、フレームごとに平均輝度を算出し、当該フレームの各画素値をその当該フレームの平均輝度で除して背景輝度を除去してもよい。またフレームごとに、各画素の信号値を、当該画素毎の周囲一定幅領域の平均値により除する処理を行い、背景輝度を除去してもよい。画像処理部１８２は、他の全てのフレームについても同様に背景輝度の影響を除去する。動画２についても動画１と同様の処理を実行する。
【００５０】
ステップ２５４で、画像処理部１８２は、動画１及び動画２の各々において、Ｎ×Ｔフレームの時間的に前後するフレーム間の眼底画像の位置の位置合わせを実行する。例えば、画像処理部１８２は、動画１及び動画２の何れか、例えば、動画１において、Ｎ×Ｔフレームの中の１つの所定フレームを基準フレームに選択する。基準フレームは、ある程度時間が経過して動脈や静脈に十分にＩＣＧが潅流し始めて以降のフレームを選択することが好ましい。ＩＣＧを注入した直後のフレームは造影される血管の場所や、信号強度の変動が大きいためである。画像処理部１８２は、フレーム内の画素の輝度値を用いた相互相関処理などの方法により、所定のフレームの眼底領域の特徴点と基準フレームの眼底領域の特徴点とが一致するように、位置合わせを行う。画像処理部１８２は、他の全てのフレームの位置も同様に基準フレームに位置合わせする。画像処理部１８２は、動画２についても、動画１についての上記位置合わせと同様の処理を実行する。なお、画像処理部１８２は、動画１及び動画２のすべてのフレームの特徴点を一致させるように、動画１と動画２のフレームの位置ずれを補正するようにしてもよい。
【００５１】
ステップ２５５で、処理部１８６は、ユーザ（眼科医など）により指定され、管理サーバ１４０により送信された解析点の座標データにより定まる解析点を設定する。
【００５２】
ステップ２５６で、処理部１８６は、解析点ごとに、経時データを算出する。
ここで、経時データを説明する。経時データは、解析点の画素あるいは解析点を含む領域の複数の画素値から求められるデータであり、動画を構成する各フレームから取得される。経時データとしては、輝度値、輝度変化率、輝度の最高輝度値に対する割合である飽和率、血流速度などがある。これらのデータが動画１及び動画２を構成するすべてのフレームから取得あるいは算出される。
【００５３】
輝度値は、ステップ２５２、２５４で処理された眼底画像の各フレームの画像の解析点の画素値から取得する。
【００５４】
輝度変化率は、動画１及び動画２の各々において、時間的に前後のフレームの画像の解析点の輝度の差を算出することにより得られる。
【００５５】
飽和率は、各フレームの画像における各解析点の輝度の中の最高輝度値を抽出し、その他の各解析点の輝度の最高輝度値に対する割合を算出することにより得られる。
【００５６】
血流速度は、解析点における血管内を浮遊する構造物（例えば赤血球）の移動速度を図示せぬ補償光学走査型レーザ検眼鏡（Ａｄａｐｔｉｖｅ  ｏｐｔｉｃｓ  ｓｃａｎｎｉｎｇ  ｌａｓｅｒ  ｏｐｈｔｈａｌｍｏｓｃｏｐｙ  （ＡＯＳＬＯ））を用いて取得することができる。
【００５７】
ステップ２５８で、表示制御部１８４は、経時データをカラーで表現した可視化動画を作成する。具体的には、次の通りである。
【００５８】
画素の輝度値の大きさに対応して予め色が定められている。輝度値の割り当てる範囲について、全フレーム・全画素を通じた最低輝度値及び最高輝度値との間に割り当ててもよいし、白ポツ・黒抜けなど画素値の異常点を取り除いた実効的な画素値範囲を定義するため、画像毎に全画素値のソートを行い、得られた画素値ヒストグラムの２％、９８％などで定義した最低輝度値及び最高輝度値との間に割り当ててもよい。
【００５９】
最低輝度値と最高輝度値との間の輝度値に対する色の割り当て方には、対照的な２色（例えば青と赤）の間に可視光のスペクトルの順番に従って、緑を含むなど多様な色相の色を割り当てる。
なお、対照的な２色の間に、他の色相の色を加えない色の割り当て方でも良い。例えば、対照的な２色として、青と赤とが選択された場合、最低輝度値には純粋な青を割り当て、最高輝度値には純粋な赤を割り当て、最低輝度値から最高輝度値に近づくにつれて、純粋な青に、徐々に赤を加えた色を割り当てるようにしてもよい。また、対照的な２色として、青と緑とが選択された場合、最低輝度値には純粋な青を割り当て、最高輝度値には純粋な緑を割り当て、最低輝度値から最高輝度値に近づくにつれて、純粋な青に、徐々に緑を加えた色を割り当てるようにしてもよい。
【００６０】
フレーム間の各画素の輝度変化については、マイナス側の最大変化値には青が、変化値が０（変化がない場合）には緑（真ん中）、プラス側の最大変化値には赤が割り当てられている。最大変化値から０及び０からプラス側の最大変化値には、青から緑及び緑から赤の中の色（可視光における青から緑や緑から赤の順に従って定まる色）が割り当てられている。表示制御部１８４は、まず、動画１及び動画２の各々において、各フレームの画像の各画素の輝度値の、当該フレームより１つ前のフレームの対応する画素との差分を計算することにより、各フレームの画像の画素の輝度変化値を計算する。表示制御部１８４は、動画１及び動画２の各々において、各フレームの画像の画素に、当該画素の輝度変化値に対応する色を割り当てることにより、第２のカラー動画像を作成する。
【００６１】
各フレームの画像における各画素の輝度の最高輝度値に対する割合である飽和率については、飽和率１００％には赤が、飽和率０％には青が、飽和率１００％と０％との間の飽和率には、青から赤の中の色（可視光における青から赤の中の順に従って定まる色）が割り当てられている。表示制御部１８４は、動画１及び動画２の各々の各フレームの画像の各画素の飽和率を計算し、動画１及び動画２の各々の各フレームの画像の各画素に、当該画素の飽和率に対応する色を割り当てることにより、第３のカラー動画像を作成する。
【００６２】
各フレームにおける眼底の血管中の血流の速度には、最高速度には赤が、最低速度には青が、最高速度と最低速度との間の速度には、青から赤の中の色（可視光における青から赤の中の順に従って定まる色）が割り当てられている。表示制御部１８４は、動画１及び動画２の各々の各フレームの画像の各画素に、当該画素における速度に対応する色を割り当てることにより、第４のカラー動画像を作成する。
【００６３】
ユーザ（眼科医など）は、治療の効果を確かめるために、解析点における経時データを確かめる。例えば、ユーザ（眼科医など）は、輝度情報表示指示アイコン３１２を操作する。輝度情報表示指示アイコン３１２が操作されると、図８に示すように、情報表示領域３０６に、各解析点１から３の各々の番号を示す番号表示領域３７２、３７６、３８０に対応して、輝度値のグラフ３７４、３７８、３８２が表示される。輝度値のグラフ３７４、３７８、３８２では、縦軸に輝度値、横軸にＩＣＧ注入（詳細には、ステップ２０４、２１４での撮影開始指示が入力された時）からの経過時間をとり、各解析点の治療前と治療後の輝度値がグラフで表示される。治療前の輝度値は点線で、治療後の輝度値は実線で表示される。輝度値のグラフは、比較画像の一例である。
【００６４】
ユーザ（眼科医など）が治療の効果を確かめるために指定する解析点はＰＤＴが施される病変部である。病変部では、血管を流れる血液の速度は比較的小さい。ＰＤＴが施され、その治療の効果があると、病変部における血管を流れる血液の速度が比較的大きくなる。よって、静脈注射により投入されたＩＣＧが病変部に到達し始めると、ＩＣＧから放射される近赤外蛍光波長の光が撮影され、病変部の画素の輝度値が、血流の速度に応じて変化する。治療の効果が良いほど、病変部における血管を流れるＩＣＧの速度が大きくなり、輝度値の立ち上がりがより大きくなり、治療前と治療後の輝度値のグラフの形がより大きく異なる。よって、治療前と治療後の輝度値のグラフの形がどれだけ変化しているのかにより、治療の効果がどれだけ生じているのかを把握することができる。
【００６５】
具体的には、解析点１では、治療前と治療後の輝度値のグラフの形がある程度異なるので、解析点１では、治療の効果がある程度現れていると判断できる。しかし、解析点２では、治療前と治療後の輝度値のグラフの形が変わらないので、解析点２では、治療の効果が現れていないと判断できる。一方、解析点３では、治療前と治療後の輝度値のグラフの形が比較的大きく異なるので、解析点３では、治療の効果が比較的大きく現れていると判断できる。
【００６６】
ところで、輝度情報表示指示アイコンが操作されると、上記のように情報表示領域３０６に輝度値のグラフ３７４、３７８、３８２が表示されるばかりではなく、治療前画像表示領域３２２及び治療後画像表示領域３２４に、第１のカラー動画像が、停止アイコン３３２から繰り返しアイコン３３８の操作に応じて、再生される。
【００６７】
このように情報表示領域３０６では、医者が治療の効果を把握できるように、治療前後の解析点における血管を血液が流れる速度を、治療前後の輝度値のグラフ３７４、３７８、３８２により、可視化する。また、治療前画像表示領域３２２及び治療後画像表示領域３２４に、被検眼の眼底における血管を血液が流れる様子を、第１のカラー動画像で、可視化する。
【００６８】
一方、輝度変化情報表示指示アイコン３１４が操作されると、情報表示領域３０６に、各解析点１から３の各々の番号を示す番号表示領域３７２、３７６、３８０に対応して、治療前後の輝度値の変化のグラフが表示される。治療前画像表示領域３２２及び治療後画像表示領域３２４に、第２のカラー動画像を、停止アイコン３３２から繰り返しアイコン３３８の操作に応じて、再生される。
【００６９】
このように情報表示領域３０６では、医者が治療の効果を把握できるように、治療前後の解析点における血管を血液が流れる速度を、治療前後の輝度値の変化のグラフにより、可視化する。また、治療前画像表示領域３２２及び治療後画像表示領域３２４に、被検眼の眼底における血管を血液が流れる様子を、第２のカラー動画像で、可視化する。
【００７０】
また、飽和率表示指示アイコン３１６が操作されると、情報表示領域３０６に、各解析点１から３の各々の番号を示す番号表示領域３７２、３７６、３８０に対応して、治療前後の飽和率の変化のグラフが表示される。治療前画像表示領域３２２及び治療後画像表示領域３２４に、第３のカラー動画像を、停止アイコン３３２から繰り返しアイコン３３８の操作に応じて、再生される。
【００７１】
このように情報表示領域３０６では、医者が治療の効果を把握できるように、治療前後の解析点における血管を血液が流れる速度を、治療前後の飽和率の変化のグラフにより、可視化する。また、治療前画像表示領域３２２及び治療後画像表示領域３２４に、被検眼の眼底における血管を血液が流れる速度を、第３のカラー動画像で、可視化する。
【００７２】
更に、速度表示指示アイコン３１８が操作されると、情報表示領域３０６に、各解析点１から３の各々の番号を示す番号表示領域３７２、３７６、３８０に対応して、治療前後の速度の変化のグラフが表示される。治療前画像表示領域３２２及び治療後画像表示領域３２４に、第４のカラー動画像を、停止アイコン３３２から繰り返しアイコン３３８の操作に応じて、再生される。
【００７３】
このように情報表示領域３０６では、医者が治療の効果を把握できるように、治療前後の解析点における血管を血液が流れる速度を、治療前後の血流の速度の変化のグラフにより、可視化する。また、治療前画像表示領域３２２及び治療後画像表示領域３２４に、被検眼の眼底における血管を血液が流れる様子を、第４のカラー動画像で、可視化する。
【００７４】
以上説明したように本実施の形態では、解析点における血管を血液が流れる状況を可視化するためのデータを算出し、算出されたデータに基づいて、解析点における血管を血液が流れる状況を可視化している。
【００７５】
次に、本開示の技術の種々の変形例を説明する。
＜第１の変形例＞
上記実施の形態では、動画１、２の各フレームの全体の画像の各画素値から経時データを算出しているが、病変部を含み画像全体より狭い所定領域の各画素値から経時データを算出し、第１のカラー動画像から第４のカラー動画像を作成するようにしてもよい。これにより計算処理を少なくすることができる。
【００７６】
＜第２の変形例＞
上記実施の形態では、１回の治療前後の動画１、２を取得しているが、複数回の治療の各々の前後の動画を取得し、各治療前後の動画を用いて解析処理を実行し、結果表示をするようにしてもよい。
【００７７】
＜第３の変形例＞
上記実施の形態では、解析点を医者が個別に指定しているが、最初に病変部が特定された後は、当該病変部の血管を解析点として自動的に選択するようにしてもよい。
また、解析点を医者が個別に選択することに代えて、管理サーバ１４０ＡＩ（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ（人工知能））が自動的に、解析点を指定するようにしてもよい。図９には、ＡＩが自動的に解析点を指定する場合の、医者による治療の前後の眼科システム１００の動作を示されている。図９の動作で、図５と同じ動作の部分には同じ符号を付して、その説明を省略する。
図９に示すように、ステップ２２６の動画１、２の読み出しの後は、管理サーバ１４０は、ステップ２３８の解析処理を実行し、ステップ２２８のビューワ画面の作成を実行し、２４０の画像データ及び動画１、２の動画データの送信を実行する。
図９におけるステップ２３８の解析処理では、図６のステップ２５２から２５８を実行するが、ステップ２５５の処理では、ＡＩが、脈絡膜血管の特徴点とＰＤＴ治療領域の位置の情報を用いて、ＰＤＴ治療領域の中の脈絡膜血管の特徴点（例えば、分岐点）を、解析点として、自動的に設定する。
【００７８】
＜第４の変形例＞
上記実施の形態では、治療前後の解析点における血管を血液が流れる速度を、治療前後の経時データのグラフにより、可視化する。本開示技術は更に次の処理を行うようにしてもよい。例えば、治療の効果のレベルと経時データのグラフの形の治療前後の変化の度合いとの関係を予め定めて、管理サーバ１４０のメモリ１６４に記憶しておく。管理サーバ１４０は、治療前と治療後の経時データのグラフの形の変化の度合いを計算し、計算した変化の度合いと上記関係とに基づいて、変化の度合いに対応する治療の効果のレベルを決定し、決定した治療の効果のレベルを、画像ビューワ１５０に送信する。画像ビューワ１５０が、治療の効果のレベルを、画像ビューワ１５０のディスプレイ１７２に表示する。
【００７９】
＜第５の変形例＞
上記実施の形態では、眼科装置１１０により内部光照射角が２００度程度の眼底画像を取得する例を説明した。本開示の技術はこれに限定されず、例えば、内部照射角で１００度以下の眼科装置で撮影された眼底画像でも本開示の技術を適用してもよい。
【００８０】
＜第６の変形例＞
上記実施の形態では、眼科装置１１０はＳＬＯを用いてＩＣＧ動画を撮影した。本開示の技術はこれに限定されず、例えば、眼底カメラでＩＣＧ動画にしてもよい
【００８１】
＜第７の変形例＞
上記実施の形態では、管理サーバ１４０が解析処理プログラムを実行する。本開示の技術はこれに限定されない。例えば、眼科装置１１０又は画像ビューワ１５０が解析処理プログラムを実行するようにしてもよい。
【００８２】
＜第８の変形例＞
上記実施の形態では、眼科装置１１０、光線力学療法システム１２０、管理サーバ１４０、及び画像ビューワ１５０を備えた眼科システム１００を例として説明したが、本開示の技術はこれに限定されない。例えば、第１の例として、光線力学療法システム１２０を省略し、眼科装置１１０が、光線力学療法システム１２０の機能を更に有してもよい。また、第２の例として、眼科装置１１０が、管理サーバ１４０及び画像ビューワ１５０の少なくとも一方の機能を更に有してもよい。例えば、眼科装置１１０が管理サーバ１４０の機能を有する場合、管理サーバ１４０を省略することができる。この場合、解析処理プログラムは、眼科装置１１０又は画像ビューワ１５０が実行する。また、眼科装置１１０が画像ビューワ１５０の機能を有する場合、画像ビューワ１５０を省略することができる。第３の例として、管理サーバ１４０を省略し、画像ビューワ１５０が管理サーバ１４０の機能を実行するようにしてもよい。
＜第９の変形例＞
上記実施の形態では、治療を光線力学的治療（ＰＤＴ）とたが、本開示の技術はこれに限定されず、光凝固手術による治療、抗VEGF薬投与による治療、硝子体手術による治療など眼底関連の病変の様々な治療前と治療後の効果の確認に用いることができる。
【００８３】
＜その他の変形例＞
上記実施の形態で説明したデータ処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、上記実施の形態では、コンピュータを利用したソフトウェア構成によりデータ処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ又はＡＳＩＣ等のハードウェア構成のみによって、データ処理が実行されるようにしてもよい。データ処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
【図１】
2019203312.tif 000003
【図２】
2019203312.tif 000004
【図３】
2019203312.tif 000005
【図４】
2019203312.tif 000006
【図５】
2019203312.tif 000007
【図６】
2019203312.tif 000008
【図７】
2019203312.tif 000009
【図８】
2019203312.tif 000010
【図９】
2019203312.tif 000011
【国際調査報告】
2019203312.tif 000012
2019203312.tif 000013
2019203312.tif 000014