(57)【要約】  眼底への治療の効果を可視化するための画像を作成する。  画像処理方法は、被検眼の第１動画から第１フレームを抽出し、前記被検眼の第２動画から第２フレームを抽出するステップと、前記第１フレームと前記第２フレームとを比較するステップと、を備える。
2019203313.tif 000002
【特許請求の範囲】
【請求項１】
被検眼の第１動画から第１フレームを抽出し、前記被検眼の第２動画から第２フレームを抽出するステップと、
前記第１フレームと前記第２フレームとを比較するステップと、
を備える画像処理方法。
【請求項２】
前記第１フレームと前記第２フレームとの位置合わせを行うステップをさらに含むことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記比較するステップは、
前記第１フレームと前記第２フレームを合成した合成画像を生成するステップと、
前記合成画像を出力するステップと、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記比較するステップは、
前記第１フレームと前記第２フレームとを所定時間間隔で交互に表示させることを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記合成画像を生成するステップは、
前記第１フレームから、第１の色の画像を作成し、
前記第２フレームから、前記第１の色とは異なる第２の色の画像を作成し、前記第１の色の画像と前記第２の色の画像とを合成する
ことを特徴とする請求項３に記載の画像処理方法。
【請求項６】
前記第１動画は治療前に撮影された動画であり、前記第２動画は治療後に撮影された動画であることを特徴とする、請求項１から５の何れか１項に記載の画像処理方法。
【請求項７】
前記第１動画は治療前に眼底を撮影した動画であり、前記第２動画は治療後に前記眼底を撮影した動画であることを特徴とする、請求項１から５の何れか１項に記載の画像処理方法。
【請求項８】
前記第１動画は治療前に眼底を蛍光撮影した動画であり、前記第２動画は治療後に眼底を蛍光撮影された動画であることを特徴とする、請求項１から５の何れか１項に記載の画像処理方法。
【請求項９】
コンピュータに請求項１から請求項８の何れか１項に記載の画像処理方法を実行させるプログラム。
【請求項１０】
被検眼の第１動画から第１フレームを抽出し且つ前記被検眼の第２動画から第２フレームを抽出するステップと、
前記第１フレームと前記第２フレームとを比較するステップと、
を実行する画像処理部を備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の技術は、画像処理方法、プログラム、及び画像処理装置に関する。
【背景技術】
【０００２】
特開２００７−１３５８６８号公報には、蛍光造影撮影時に撮影した動画像から静止画を生成する技術が開示されている。
【発明の概要】
【０００３】
本開示の技術の画像処理方法は、被検眼の第１動画から第１フレームを抽出し、前記被検眼の第２動画から第２フレームを抽出するステップと、
前記第１フレームと前記第２フレームとを比較するステップと、
を備える。
【０００４】
本開示の技術のプログラムは、コンピュータに本開示の技術の画像処理方法を実行させる。
【０００５】
本開示の技術の画像処理装置は、被検眼の第１動画から第１フレームを抽出し且つ前記被検眼の第２動画から第２フレームを抽出するステップと、前記第１フレームと前記第２フレームとを比較するステップとを実行する画像処理部部を備える。
【図面の簡単な説明】
【０００６】
【図１】第１の実施の形態の眼科システム１００のブロック図である。
【図２】眼科装置１１０の全体構成を示す概略構成図である。
【図３】管理サーバ１４０の電気系の構成のブロック図である。
【図４】管理サーバ１４０のＣＰＵ１６２の機能のブロック図である。
【図５】医者による治療の前後の眼科システム１００の動作を示すシーケンス図である。
【図６】画像ビューワ１５０のビューワ画面３００を示す図である。
【図７】画像ビューワ１５０の解析画面３００Ａを示す図である。
【図８】第１の選択画像ＧＡと第２の選択画像ＧＢとのそれぞれの中のある血管の先端が拡大され且つ切り替えて表示される様子を示す図である。
【図９】第２の実施の形態の解析画面３００Ｂを示す図である。
【図１０Ａ】は、第１のカラー選択画像ＩＭＡのある血管４００の先端４０２（緑色）を示す図である。
【図１０Ｂ】は、第２のカラー選択画像ＩＭＢの当該血管４００の先端４０４（紫色）を示す図である。
【図１０Ｃ】は、先端４０２（緑色）と先端４０４（紫色）が合成された画像を示す図である。
【図１１】第１の変形例の画像ビューワ１５０の解析画面４００Ａを示す図である。
【図１２】第２の変形例における、医者による治療の前後の眼科システム１００の動作を示すシーケンス図である。
【発明を実施するための形態】
【０００７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、以下では、説明の便宜上、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ  Ｌａｓｅｒ  Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）を「ＳＬＯ」と称する。
【０００８】
図１を参照して、眼科システム１００の構成を説明する。図１に示すように、眼科システム１００は、眼科装置１１０と、光線力学療法システム１２０と、管理サーバ装置（以下、「管理サーバ」という）１４０と、画像表示装置（以下、「画像ビューワ」という）１５０と、を備えている。眼科装置１１０は、眼底画像を取得する。光線力学療法システム１２０は、患者の被検眼に光線力学療法（ＰＤＴ（Ｐｈｏｔｏｄｙｎａｍｉｃ  Ｔｈｅｒａｐｙ））を施す。管理サーバ１４０は、眼科装置１１０によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像及び眼軸長を、患者のＩＤに対応して記憶する。
【０００９】
画像ビューワ１５０の後述する表示画面には、後述する画像を生成することを指示するためのアイコンやボタンが表示されている。眼科医がアイコン等クリックされると、画像ビューワ１５０から管理サーバ１４０に、クリックされたアイコン等に対応する指示信号が送信される。画像ビューワ１５０からの指示信号を受信した管理サーバ１４０は、指示信号に対応する画像を生成し、生成した画像の画像データを画像ビューワ１５０に送信する。管理サーバ１４０から画像データを受信した画像ビューワ１５０は、受信した画像データに基づいて画像をディスプレイに表示する。管理サーバ１４０での表示画面の生成処理は、ＣＰＵ１６２で動作する表示画面生成プログラムによって行われる。
管理サーバ１４０は、本開示の技術の「画像処理装置」の一例である。
【００１０】
眼科装置１１０、光線力学療法システム１２０、管理サーバ１４０、画像ビューワ１５０は、ネットワーク１３０を介して、相互に接続されている。
【００１１】
なお、他の眼科機器（視野測定、眼圧測定などの検査機器）や人工知能を用いた画像解析を行う診断支援装置がネットワーク１３０を介して、眼科装置１１０、光線力学療法システム１２０、管理サーバ１４０、及び画像ビューワ１５０に接続されていてもよい。
【００１２】
次に、図２を参照して、眼科装置１１０の構成を説明する。図２に示すように、眼科装置１１０は、制御ユニット２０、表示／操作ユニット３０、及びＳＬＯユニット４０を備え、被検眼１２の後眼部（眼底）を撮影する。さらに、眼底のＯＣＴデータを取得する図示せぬＯＣＴユニットを備えていてもよい。
【００１３】
制御ユニット２０は、ＣＰＵ２２、メモリ２４、及び通信インターフェース（Ｉ／Ｆ）２６等を備えている。表示／操作ユニット３０は、撮影されて得られた画像を表示したり、撮影の指示を含む各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ３２及びタッチパネルなどの入力／指示デバイス３４を備えている。
【００１４】
ＳＬＯユニット４０は、Ｇ光（緑色光：波長５３０ｎｍ）の光源４２、Ｒ光（赤色光：波長６５０ｎｍ）の光源４４、ＩＲ光（赤外線（近赤外光）：波長８００ｎｍ）の光源４６を備えている。光源４２、４４、４６は、制御ユニット２０により命令されて、各光を発する。Ｒ光の光源は波長６３０ｎｍから７８０ｎｍの可視光、ＩＲ光の光源は波長７８０ｎｍ以上の近赤外光を発するレーザ光源が用いられる。
【００１５】
ＳＬＯユニット４０は、光源４２、４４、４６からの光を、反射又は透過して１つの光路に導く光学系５０、５２、５４、５６を備えている。光学系５０、５６は、ミラーであり、光学系５２、５４は、ビームスプリッタ―である。Ｇ光は、光学系５０、５４で反射し、Ｒ光は、光学系５２、５４を透過し、ＩＲ光は、光学系５２、５６で反射して、それぞれ１つの光路に導かれる。
【００１６】
ＳＬＯユニット４０は、光源４２、４４、４６からの光を、被検眼１２の後眼部（眼底）に渡って、２次元状に走査する広角光学系８０を備えている。ＳＬＯユニット４０は、被検眼１２の後眼部（眼底）からの光の内、Ｇ光を反射し且つＧ光以外を透過するビームスプリッタ５８を備えている。ＳＬＯユニット４０は、ビームスプリッタ５８を透過した光の内、Ｒ光を反射し且つＲ光以外を透過するビームスプリッタ６０を備えている。ＳＬＯユニット４０は、ビームスプリッタ６０を透過した光の内、ＩＲ光を反射するビームスプリッタ６２を備えている。ＳＬＯユニット４０は、ビームスプリッタ５８により反射したＧ光を検出するＧ光検出素子７２、ビームスプリッタ６０により反射したＲ光を検出するＲ光検出素子７４、及びビームスプリッタ６２により反射したＩＲ光を検出するＩＲ光検出素子７６を備えている。
【００１７】
ビームスプリッタ６２とＩＲ光検出素子７６との間、例えば、ＩＲ光検出素子７６における光が入射される領域の近傍に、当該領域全体を覆う面積の面を有する光学フィルター７５が設けられている。光学フィルター７５は、ＣＰＵ２２により制御される図示しない移動機構により、光学フィルター７５の面が上記領域全体を覆う位置と、光学フィルター７５の面が上記領域全体を覆わない位置との間に移動する。光学フィルター７５は、ＩＲ光源４６が発するＩＲ光（波長７８０ｎｍ）をブロックし、後述するＩＣＧから発生する蛍光（波長８３０ｎｍ）を通過させるフィルターである。
【００１８】
広角光学系８０は、光源４２、４４、４６からの光を、Ｘ方向に走査するポリゴンミラーで構成されたＸ方向走査装置８２、Ｙ方向に走査するガルバノミラーで構成されたＹ方向走査装置８４、及び、図示しないスリットミラー及び楕円鏡を含み、走査された光を、広角にする光学系８６を備えている。光学系８６により、眼底の視野角（ＦＯＶ：Ｆｉｅｌｄ  ｏｆ  Ｖｉｅｗ）を従来の技術より大きな角度とし、従来の技術より広範囲の眼底領域を撮影することができる。具体的には、被検眼１２の外部からの外部光照射角で約１２０度（被検眼１２の眼球の中心Ｏを基準位置として、被検眼１２の眼底が走査光により照射されることで実質的に撮影可能な内部光照射角で、２００度程度）の広範囲の眼底領域を撮影することができる。光学系８６は、スリットミラー及び楕円鏡に代えて、複数のレンズ群を用いた構成でもよい。Ｘ方向走査装置８２及びＹ方向走査装置８４の各走査装置はＭＥＭＳミラーを用いて構成された二次元スキャナを用いてもよい。
【００１９】
光学系８６としてスリットミラー及び楕円鏡を含むシステムを用いる場合には、国際出願ＰＣＴ／ＪＰ２０１４／０８４６１９や国際出願ＰＣＴ／ＪＰ２０１４／０８４６３０に記載された楕円鏡を用いたシステムを用いる構成でもよい。２０１４年１２月２６日に国際出願された国際出願ＰＣＴ／ＪＰ２０１４／０８４６１９（国際公開ＷＯ２０１６／１０３４８４）の開示及び２０１４年１２月２６日に国際出願された国際出願ＰＣＴ／ＪＰ２０１４／０８４６３０（国際公開ＷＯ２０１６／１０３４８９）の開示の各々は、その全体が参照により本明細書に取り込まれる。
【００２０】
なお、眼科装置１１０が水平面に設置された場合の水平方向を「Ｘ方向」、水平面に対する垂直方向を「Ｙ方向」とし、被検眼１２の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Ｚ方向」とする。従って、Ｘ方向、Ｙ方向、及びＺ方向は互いに垂直である。
【００２１】
図１の光線力学療法システム１２０は、光に反応する薬剤を体内に投与した後に、眼底の病変部に弱いレーザ光線を照射するシステムであり、ＰＤＴを施す。ＰＤＴは、加齢黄斑変性病や中心性漿液性脈絡網膜症の治療に施される。
【００２２】
次に、図３を参照して、管理サーバ１４０の構成を説明する。図３に示すように、管理サーバ１４０は、制御ユニット１６０、及び表示／操作ユニット１７０を備えている。制御ユニット１６０は、ＣＰＵ１６２を含むコンピュータ、記憶装置であるメモリ１６４、及び通信インターフェース（Ｉ／Ｆ）１６６等を備えている。なお、メモリ１６４には、解析処理プログラムが記憶されている。表示／操作ユニット１７０は、画像を表示したり、各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ１７２及びタッチパネルなどの入力／指示デバイス１７４を備えている。
【００２３】
画像ビューワ１５０の構成は、管理サーバ１４０と同様であるので、その説明を省略する。
【００２４】
次に、図４を参照して、管理サーバ１４０のＣＰＵ１６２が解析処理プログラムを実行することで実現される各種機能について説明する。解析処理プログラムは、解析処理機能、表示制御機能、及び処理機能を備えている。ＣＰＵ１６２がこの各機能を有する解析処理プログラムを実行することで、ＣＰＵ１６２は、図４に示すように、画像処理部１８２、表示制御部１８４、及び処理部１８６として機能する。
【００２５】
次に、図５を参照して、医者による、光線力学療法システム１２０を使用した、例えば、加齢黄斑変性病や中心性漿液性脈絡網膜症の治療の前後の脈絡膜血管の血流状態を可視化するための眼科システム１００の動作を説明する。
【００２６】
光線力学療法システム１２０により、患者の被検眼にＰＤＴを施す治療前に、被検眼の撮影が行われる。具体的には次の通りである。
【００２７】
患者の被検眼を眼科装置１１０で撮影できるように、患者の被検眼が位置決めされる。図５に示すように、医者は、ステップ２０２で、蛍光色素（造影剤、インドシアニングリーン（以下、「ＩＣＧ」という））を静脈注射で体内に投与する。ＩＣＧの励起波長と蛍光の波長がともに近赤外領域であるので、脈絡膜の血管病変の検査に用いられる。ステップ２０４で、入力／指示デバイス３４を介して、眼科装置１１０にＩＣＧ蛍光眼底撮影の開始を指示する。眼科装置１１０は、ステップ２０６で、ＳＬＯユニット４０によりＩＣＧ蛍光眼底撮影（動画１撮影）を開始する。具体的には、眼科装置１１０の制御ユニット２０は、ＳＬＯユニット４０のＩＲ光源４６及びＩＲ光検出素子７６を、１秒間にＮ（自然数）回の頻度で、所定時間（Ｔ（自然数）秒）、被検眼の眼底を撮影するように、制御する。このように１秒間にＮフレームで、所定時間Ｔ、被検眼の眼底を撮影することにより動画１の動画データが生成される。よって、動画１として、Ｎ×Ｔフレームの画像が得られる。例えば、Ｎ×Ｔ＝１０×６０＝６００フレームの画像が得られる。
【００２８】
ＩＣＧが静脈注射されると、一定時間経過後に、眼底の血管をＩＣＧが流れ始める。すると、ＩＲ光源４６からのＩＲ光（７８０ｎｍ）に励起され、ＩＣＧから近赤外領域の波長（８３０ｎｍ）の蛍光が発する。また、動画１の動画データの生成のための被検眼の眼底の撮影（ステップ２０６）では、光学フィルター７５（図２参照）をＩＲ光検出素子７６における光が入射される領域の近傍の前に挿入する。光学フィルター７５は、上記のように、ＩＲ光源４６が発するＩＲ光（波長７８０ｎｍ）をブロックしＩＣＧから発生する蛍光（波長８３０ｎｍ）を通過させる。よって、ＩＲ光検出素子７６ではＩＣＧが発する蛍光のみが受光され、ＩＣＧ蛍光眼底撮影（動画１撮影）を行い、ＩＣＧを伴う血流を可視化することができる。
【００２９】
眼科装置１１０は、動画１の撮影（所定時間の被検眼の撮影）が終了すと、次のステップ２０８で、動画１の撮影で得られた動画像（Ｎ×Ｔフレーム）を、管理サーバ１４０に送信する。
【００３０】
ステップ２０８の後、光線力学療法システム１２０により、患者の被検眼の指定された箇所（病変部）にＰＤＴが施され、被検眼の治療が行われる。
【００３１】
被検眼の治療後（例えば３か月経過後）に、治療の効果を確かめるために、被検眼の撮影が行われる。具体的には次の通りである。
【００３２】
患者の被検眼を眼科装置１１０で撮影できるように、患者の被検眼が位置決めされる。ステップ２１２で、ＩＣＧが静脈注射で体内に投与され、ステップ２１４で、入力／指示デバイス３４を介して、眼科装置１１０に撮影開始が指示される。眼科装置１１０は、ステップ２１６で、動画２の撮影を行う。なお、ステップ２１６の動画２の撮影は、ステップ２０６の動画１の撮影と同様であるので、その説明を省略する。眼科装置１１０は、ステップ２１８で、動画２の撮影で得られた動画像（Ｎ×Ｔフレーム）を、管理サーバ１４０に送信する。
【００３３】
ところで、ステップ２０６での動画１の撮影及びステップ２１６での動画２の撮影の際には、患者名ＩＤ、患者名、年齢、各画像が右眼か左眼からの情報、治療前の撮影日時及び視力、治療後の撮影日時及び視力の各情報も、眼科装置１１０に入力されている。ステップ２０８及びステップ２１８における動画送信の際には、眼科装置１１０から管理サーバ１４０に、上記各情報が送信される。
【００３４】
ステップ２２２で、画像ビューワ１５０のユーザ（眼科医など）は、画像ビューワ１５０の入力／指示デバイス３４１７４を介して、画像ビューワ１５０眼科装置１１０から管理サーバ１４０に、解析処理を指示する。
【００３５】
画像ビューワ１５０は、ステップ２２４で、動画送信を、管理サーバ１４０に指示する。動画送信が指示された管理サーバ１４０は、ステップ２２６で、動画１および動画２をメモリ１６４から読みだす。そして、動画１および動画２の各々において、Ｎ×Ｔフレームの画像の各画素の輝度値を、背景輝度の変動影響を除去するように補正する。
【００３６】
より具体的には、背景輝度の変動影響の除去が以下の様に行われる。すなわち画像処理部１８２は、フレームごとに平均輝度を算出し、当該フレームの各画素値をその当該フレームの平均輝度で除して背景輝度を除去してもよい。またフレームごとに、各画素の信号値を、当該画素毎の周囲一定幅領域の平均値により除する処理を行い、背景輝度を除去してもよい。画像処理部１８２は、他の全てのフレームについても同様に背景輝度の影響を除去する。動画２についても動画１と同様の処理を実行する。
【００３７】
ステップ２２６で、画像処理部１８２は、動画１および動画２の各々において、Ｎ×Ｔフレームの時間的に前後するフレーム間の画像の位置の位置合わせを実行するようにしてもよい。例えば、画像処理部１８２は、動画１および動画２の何れか、例えば、動画１において、Ｎ×Ｔフレームの中の１つの所定フレームを基準フレームに選択する。ＩＣＧを注入した直後のフレームは造影される血管の場所や、信号強度の変動が大きいので、ある程度時間が経過して動脈や静脈に十分にＩＣＧが潅流し始めて以降のフレームを基準フレームとして選択することが好ましい。
【００３８】
画像処理部１８２は、フレーム内の画素の輝度値を用いた相互相関処理などの方法により、所定のフレーム眼底領域の特徴点と基準フレームの眼底上の特徴点とが一致するように、位置合わせを行う。画像処理部１８２は、他の全てのフレームの位置も同様に他の全てのフレームと基準フレームとの位置合わせする。
【００３９】
画像処理部１８２は、動画２についても、動画１についての上記位置合わせと同様の処理を実行する。なお、画像処理部１８２は、動画１および動画２のすべてのフレームの眼底画像の特徴点の位置を一致させるように、動画１と動画２のフレームの位置ずれを補正するようにしてもよい。
【００４０】
ステップ２２８で、画像処理部１８２は、ビューワ画面を表示する。図６には、ビューワ画面３００が示されている。図６に示すように、ビューワ画面３００は、画像表示領域３０２、患者情報表示領域３０４を有する。
【００４１】
画像表示領域３０２には、治療前の画像（動画１）を表示するための治療前画像表示領域３２２、治療後の画像（動画２）を表示するための治療後画像表示領域３２４、情報表示領域３０６、及びフレーム選択アイコン３０８が設けられている。
【００４２】
治療前画像表示領域３２２には、画像（動画１）の再生の停止を指示する停止アイコン３３２、画像の再生を指示する再生アイコン３３４、画像の再生の一時停止を指示する一時停止アイコン３３６、及び画像の再生の繰り返しを指示する繰り返しアイコン３３８が設けられている。治療前画像表示領域３２２には、現在表示されている画像が、動画１の全体の中で、時間的にどの位置の画像なのかを示す現在位置表示領域３２８が設けられている。なお、現在位置表示領域３２８に隣接する位置には、現在表示されている画像が、動画１の開始時から何秒後の画像なのかを示す経過時間（００：３０：００）が表示される。なお、治療後画像表示領域３２４にも、停止アイコン３３２から繰り返しアイコン３３８、現在位置表示領域３２８、経過時間（００：２６：００）が表示される。
【００４３】
患者情報表示領域３０４には、患者名ＩＤ表示領域３４２、患者名表示領域３４４、年齢表示領域３４６、各画像が右眼か左眼を示す情報（右又は左）を表示する表示領域３４８、治療前の撮影日時表示領域３５２及び視力表示領域３５４、治療後の撮影日時表示領域３６２及び視力表示領域３６４が設けられている。
【００４４】
ステップ２３０で、管理サーバ１４０は、動画１、２及びビューワ画面３００の各データを、画像ビューワ１５０に送信する。ステップ２３２で、画像ビューワ１５０は、ビューワ画面３００をディスプレイ１７２に表示する。
【００４５】
ステップ２３４で、医者は、ビューワ画面３００を操作して、比較するフレームを選択する。比較するフレームの選択は、具体的には次のように行われる。
【００４６】
ビューワ画面３００（図６参照）の画像表示領域３０２には、治療前の動画１の所定のフレーム、例えば、最後のフレームの画像が表示される。治療前画像表示領域３２２には、治療後の動画２の所定のフレーム、例えば、最後のフレームの画像が表示される。例えば、治療前画像表示領域３２２の再生アイコン３３４が操作されると、動画１の再生が行われる。動画１の再生中、一時停止アイコン３３６が操作されると、動画１の再生が停止され、再生アイコン３３４がまた操作されると、動画１の再生が、停止した箇所から行われる。動画１の再生中、停止アイコン３３２が操作されると、動画１の再生が停止され、再生アイコン３３４がまた操作されると、動画１の再生が、最初から行われる。繰り返しアイコン３３８が操作されると、動画１の再生が最初から繰り返される。動画２の再生も、動画１の再生と同様である。
【００４７】
ユーザ（眼科医など）は、再生アイコン、一時停止アイコン３３６繰り返しアイコン３３８を操作して、治療前画像表示領域３２２に表示されている眼底の血管の全体が蛍光を発しているタイミングを探索する。そして眼底の血管の全体が蛍光を発している画像が表示されたタイミングで、一時停止ボタン３３６を押し、動画１の再生を停止する。一時停止アイコン３３６が押された時点の経過時間やフレーム番号が治療前動画の第１フレーム情報として画像ビューワ１５０のメモリ１６４に一時的に保存される。
ＩＣＧを注入した直後のフレームは造影される血管の場所や、信号強度の変動が大きいので、ある程度時間が経過して動脈や静脈に十分にＩＣＧが潅流し始めて以降のフレームが選択される。
そして、ユーザ（眼科医など）がフレーム選択アイコン３０８を押すと、ステップ２３２で、一時的に記憶されていた第１フレーム情報が管理サーバ１４０に送信される。
【００４８】
治療後画像表示領域３２４におけるフレームの選択も、治療前画像表示領域３２２におけるフレームの選択と同様に行われ、治療後動画の第２フレーム情報として管理サーバ１４０に送信される（ステップ２３４、２３６）。
【００４９】
図６には、ユーザ（眼科医など）が、治療前の動画１からｔ＝３０秒経過した第１フレームを選択し、治療後の動画２からｔ＝２６秒経過した第２フレームを選択した例が示されている。このようにユーザ（眼科医など）により各々治療前と治療後の各々においてフレームの画像が選択される。
【００５０】
ステップ２３８で、管理サーバ１４０の画像処理部１８２は、解析画面３００Ａ（図７参照）を作成する。図７に示すように、解析画面３００Ａは、情報表示領域３０１Ａと、図６のビューワ画面３００の患者情報表示領域３０４と同様の患者情報表示領域３０４と、を有する。
情報表示領域３０１Ａは、選択された画像を表示する選択画像切替表示領域３２５Ａと、情報表示領域３０６とを有する。情報表示領域３０６には、第１の選択画像ＧＡと第２の選択画像ＧＢとを切り替える切り替え間隔時間を表示する間隔表示部３１１と、切り替え間隔時間を、長く又は短く調整するための＋アイコン３１５及び−アイコン３１３とを有する。
画像処理部１８２は、ステップ２３２で送信された第１フレーム情報から、動画１中の第１フレーム情報に対応する第１フレームを抽出し、第２フレーム情報から、動画２中の第２フレーム情報に対応する第２フレームを抽出する。画像処理部１８２は、抽出した第１フレームから第１の選択画像ＧＡを作成し、抽出した第２フレームから第２の選択画像ＧＢを作成する。
本実施の形態では、選択画像切替表示領域３２５Ａには、第１フレームに基づいて生成された第１の選択画像ＧＡと第２フレームに基づいて生成された第２の選択画像ＧＢとが、交互に、所定間隔で切り替えて表示される。
本実施の形態では、画像処理部１８２は、第１の選択画像ＧＡと第２の選択画像ＧＢとを、所定間隔で切り替えて表示する前に、位置合わせを実行する。治療前と治療後での撮影位置の違いや、動画撮影中による眼の動きに動画内のフレーム間でも眼の位置は固定ではない。切替表示を行うにあたっては、第１の選択画像ＧＡと第２の選択画像ＧＢとの位置合わせを行い、眼の動きの影響を除去する。
位置合わせの方法としては、例えば、各画像間で、輝度値に基づく相互相関を用いたテンプレートマッチング等により対応する点を検出し、検出された対応する点の位置に基づいて、何れか一方の画像の位置を、対応点が一致するように、位置合わせする。第１の選択画像ＧＡと第２の選択画像ＧＢとの位置合わせすることにより、選択画像切替表示領域３２５Ａでは、画像の切り替えにともなって眼底の画像がずれて表示されることがない。つまり、切替表示を行うことによって、第１の選択画像ＧＡと第２の選択画像ＧＢとで変化があるところが、ユーザ（眼科医など）に認識されることになる。
【００５１】
ステップ２４０で、管理サーバ１４０は、位置合わせされた第１の選択画像ＧＡと第２の選択画像ＧＢとを含む解析画面３００Ａ（図７参照）の表示画面の画像データを、画像ビューワ１５０に送信する。なお、第１の選択画像ＧＡと第２の選択画像ＧＢとを交互に表示するために、ＧＩＦ（Ｇｒａｐｈｉｃｓ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）を用いたアニメーションＧＩＦファイルを解析画面３００Ａに組み込んでおき、画像ビューワ１５０で切替表示がなされるようにしてもよい。
【００５２】
ステップ２４２で、画像ビューワ１５０は、解析結果を表示する。具体的には、画像ビューワ１５０は、解析画面３００Ａを、ディスプレイ１７２に表示する。より詳細には、画像ビューワ１５０は、解析画面３００Ａの選択画像切替表示領域３２５Ａに、第１の選択画像ＧＡと第２の選択画像ＧＢとを所定間隔で切り替えて表示する。
図７の切り替え間隔時間を調整する＋アイコン３１５と−アイコン３１３を選択的に押して、切り替える間隔時間をユーザ（眼科医など）が自由に設定できるようにしてもよい。
【００５３】
図８には、第１の選択画像ＧＡと第２の選択画像ＧＢとのそれぞれの中のある血管の先端が拡大され且つ切り替えて表示される様子が示されている。選択画像切替表示領域３２５Ａには、図８に示すように、０から時刻ｔ１（Ｔ時間）までは、第１の選択画像ＧＡの中の治療前の血管４０２が表示され、時刻ｔ１から時刻ｔ２（Ｔ時間）までは、第２の選択画像ＧＢの中の治療後の血管４０４が表示される。時刻ｔ２から時刻ｔ３（Ｔ時間）までは、第１の選択画像ＧＡの中の治療前の血管４０２が表示され、時刻ｔ３から時刻ｔ４（Ｔ時間）までは、第２の選択画像ＧＢの中の治療後の血管４０４が表示される。以後も同様に、選択画像切替表示領域３２５Ａには、Ｔ時間毎に、第１の選択画像ＧＡ（治療前の血管４０２）と第２の選択画像ＧＢ（治療後の血管４０４）とが切り替えられて表示される。
【００５４】
治療の効果があると、血管太さは、治療前後で異なる。よって、選択画像切替表示領域３２５Ａで、太さが異なる治療前の血管４０２と治療後の血管４０４とが切り替えられて表示される様子を見た医者は、治療の効果があったことが理解できる。
【００５５】
従来では、蛍光造影撮影時に撮影した動画像から静止画を生成する。従来の技術では、治療の効果を、眼底画像を用いて可視化することができない。
【００５６】
しかし、本実施の形態では、第１の選択画像ＧＡと第２の選択画像ＧＢとを切り替えて表示するので、治療前の血管４０２と治療後の血管４０４とが太さが異なると、大きくなったり小さくなったりする。これを見た医者は、治療効果を理解することができる。このように本実施の形態では、治療の効果を、眼底画像を用いて可視化することができる。
【００５７】
次に、第２の実施の形態を説明する。第２の実施の形態の構成は、第１の実施の形態の構成と同様であるので、その説明を省略する。第２の実施の形態の動作は、第１の実施の形態の動作と略同様であるので、異なる動作についてのみ説明する。第２の実施の形態の動作は、第１の実施の形態の動作とは、図５のステップ２３８からステップ２４２の内容が異なる。
【００５８】
第１の実施の形態の図５のステップ２３８では、管理サーバ１４０の画像処理部１８２は、解析画面３００Ａ（図７参照）を作成する。しかし、第２の実施の形態では、画像処理部１８２は、解析画面３００Ｂ（図９参照）を作成する。図９に示すように、解析画面３００Ｂは、情報表示領域３０１Ｂと、上記患者情報表示領域３０４と、を有する。
情報表示領域３０１Ｂは、治療前画像と治療後画像を合成した合成画像を表示する合成画像表示領域３２５Ｂと、情報表示領域３０６とを有する。
【００５９】
本実施の形態では、第１の実施の形態と同様に、画像処理部１８２は、第１の選択画像ＧＡと第２の選択画像ＧＢとの位置合わせを行う。
【００６０】
本実施の形態では、画像処理部１８２は、位置合わせされた第１の選択画像ＧＡと第２の選択画像ＧＢとをカラー化する。具体的には、画像処理部１８２は、輝度データのみの第１の選択画像ＧＡの画像データを、Ｒ成分及びＢ成分は０、Ｇ成分は当該輝度データと同じ輝度値にしたＲＧＢのデータに変換する。画像処理部１８２は、輝度データのみの第２の選択画像ＧＢの画像データを、Ｒ成分及びＢ成分は当該輝度データと同じ輝度データにして、Ｇ成分は０のＲＧＢのデータに変換する。これにより、白黒の第１の選択画像ＧＡは、緑色の第１のカラー選択画像ＩＭＡになり、白黒の第２の選択画像ＧＢは、紫色（マゼンダ色）の第２のカラー選択画像ＩＭＢとなる。
【００６１】
後述するように、合成画像表示領域３２５Ｂには、第１のカラー選択画像ＩＭＡと、第２のカラー選択画像ＩＭＢとが合成された合成画像ＩＭＧが表示される。
【００６２】
画像処理部１８２は、情報表示領域３０６に表示されるメッセージとして、次の注意を喚起する内容のメッセージを作成する。
「治療後に縮小した領域（緑）」、「治療後に拡大した領域（マゼンタ）」、「治療領域は改善（緑の部分が縮小）」、及び「マゼンタ領域を詳細に観察して下さい」を作成する。
【００６３】
本実施の形態のステップ２４０で、管理サーバ１４０は、位置合わせされ且つカラー化された第１のカラー選択画像ＩＭＡと、第２のカラー選択画像ＩＭＢとが合成された合成画像ＩＭＧを含む解析画面３００Ｂ（図９参照）の表示画面の画像データを、画像ビューワ１５０に送信する。
【００６４】
本実施の形態のステップ２４２で、画像ビューワ１５０は、解析結果を表示する。具体的には、画像ビューワ１５０は、解析画面３００Ｂを、ディスプレイ１７２に表示する。より詳細には、画像ビューワ１５０は、解析画面３００Ｂの合成画像表示領域３２５Ｂに、合成画像ＩＭＧを表示する。
【００６５】
画像ビューワ１５０は、情報表示領域３０６に、「治療後に縮小した領域（緑）」、「治療後に拡大した領域（マゼンタ）」、「治療領域は改善（緑の部分が縮小）」、及び「マゼンタ領域を詳細に観察して下さい」という注意喚起のメッセージを表示する。
【００６６】
よって、ユーザ（眼科医など）は、合成画像表示領域３２５Ｂにおいて表示される合成画像ＩＭＧの緑色の部分４１２あるいは紫色の部分４１４を観察する。
【００６７】
また、ユーザ（眼科医など）は、合成画像表示領域３２５Ｂにおいて、マゼンタの部分４１４を観察する。マゼンタの部分４１４は、治療前には無かった血管が拡大した領域、あるいは治療によりた血管が拡大している。よって、ユーザ（眼科医など）は、マゼンタの部分４１４があると、治療前と比較して血管が拡大した部分があることを理解できる。
【００６８】
第２の実施の形態では、第１のカラー選択画像ＩＭＡと第２のカラー選択画像ＩＭＢとを合成した画像を表示するので、治療前の血管と治療後の血管とが太さが異なると、治療前より細くなった部分（緑）と太くなった部分（マゼンタ）がカラー表示される。これを見たユーザ（眼科医など）は、治療効果を理解することができる。このように本実施の形態では、治療の効果を、眼底画像を用いて可視化することができる。
【００６９】
図１０Ａには、第１のカラー選択画像ＩＭＡのある血管４００の先端４０２Ｇ（緑色）が示され、図１０Ｂには、第２のカラー選択画像ＩＭＢの当該血管４００の先端４０４（紫色）が示されている。図１０Ｃには、第１のカラー選択画像ＩＭＡのある血管４００の先端４０２（緑色）と、第２のカラー選択画像ＩＭＢの当該血管４００の先端４０４Ｐ（紫色）が合成された画像が示されている。図１０Ｃに示すように、先端４０２（緑色）と先端４０４（紫色）とが重なる部分４０６Ｗは、白色となるが、先端４０２（緑色）と先端４０４（紫色）とが重ならない部分は、緑色のままである。つまり、図１０Ａの先端４０２Ｇの画素のＲＧＢデータはＧのみのデータ、図１０Ｂの先端４０４Ｐの画素のＲＧＢデータはＲとＢのみのデータである。合成画像である図１０Ｃの４０２Ｇの画素のＲＧＢデータはＧのみであり、４０６Ｗの画素のＲＧＢデータは、それぞれの画素データが合成されることから、Ｒ、Ｇ、Ｂすべての成分を備えるため白（輝度情報のみのグレースケール）で表示されることになる。
【００７０】
上記のように、治療の効果があると、図１０Ｃに示すように、眼底の血管の太さは、治療前の血管４０２の太さより、上記治療後の血管４０４の太さのほうが、長さＬだけ細くなる。よって、白色の画像の回りに緑色の画像があると、治療の効果があったことが理解できる。従って、医者は、重ね合せ画像表示領域３２２Ｒにおける重ね合せ画像を見て、白色の画像の回りに緑色の画像があると、治療の効果があったことが理解できる。
【００７１】
次に、本開示の技術の種々の変形例を説明する。
＜第１の変形例＞
第１の実施の形態の図５のステップ２４２では、第１の選択画像ＧＡと第２の選択画像ＧＢとを切り替えて表示し、第２の実施の形態の図５のステップ２４２では、第１のカラー選択画像ＩＭＡと第２のカラー選択画像ＩＭＢとを合成した画像を表示する。本開示の技術はこれに限定されない。例えば、図１１に示すように、解析画面４００Ａに、画像表示領域３０２Ｒに、合成画像表示領域３２２Ｒと、切替表示領域３２４Ｒとを設けるようにしてもよい。合成画像表示領域３２２Ｒには、第１のカラー選択画像ＩＭＡと第２のカラー選択画像ＩＭＢとを合成した画像が表示される。切替表示領域３２４Ｒには、第１の選択画像ＧＡと第２の選択画像ＧＢとを切り替えて表示される。
よって、第１の変形例の図５のステップ２３８では、第１の実施の形態と第２の実施の形態とのステップ２３８の各々の処理が実行される。
【００７２】
＜第２の変形例＞
第１の実施の形態及び第２の実施の形態では、動画１及び動画２の各々のＮ×Ｔフレームの中から、医者が、比較するフレームを選択している（図５のステップ２３４参照）。本開示の技術はこれに限定されず、例えば、比較するフレームを医者が選択することに代えて、管理サーバ１４０に組み込まれたＡＩ（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ（人工知能））が自動的に、選択するようにしてもよい。図１２には、比較するフレームをＡＩが自動的に選択する場合の、医者による治療の前後の眼科システム１００の動作を示されている。図１２の動作で、図５と同じ動作の部分には同じ符号を付して、その説明を省略する。
【００７３】
図１２に示すように、ステップ２２２の医者による解析指示の後は、ステップ２２４から２３６の各処理が省略され、管理サーバ１４０がステップ２３５で、比較するフレームをＡＩが自動的に選択する解析処理を実行する。例えば、ＡＩは、動画１、２の各々で、ＩＣＧが血管を流れ始め、輝度が大きくなるように変化する画素の数が徐々に多くなり、その後、輝度が変化する画素が無くなり、その後、輝度が小さくなるように変化する画素の数が増加する傾向を把握する。ＡＩは、輝度が変化する画素が無くなった期間の中のフレームを選択する。ステップ２３７では、図７の解析画面３００Ａ、解析画面３００Ｂ（図９参照、又は、図１１の解析画面４００Ａを作成するが、基準となるフレームの画像は、ＡＩが選択したフレームの画像である。
【００７４】
＜第３の変形例＞
第１の実施の形態では、第１の選択画像ＧＡと第２の選択画像ＧＢとを取得し、及び第２の実施の形態では、第１のカラー選択画像ＩＭＡと第２のカラー選択画像ＩＭＢとを作成しているが、更に次の解析処理を実行するようにしてもよい。
上記のように、上記治療の効果があると、図１０Ｃに示すように、眼底の血管の太さは、治療前の血管４０２の太さより、上記治療後の血管４０４の太さのほうが、長さＬだけ細くなる。
【００７５】
解析処理では、画像処理部１８２は、各フレームの各画像から各血管を抽出し、抽出された各血管の太さを計算し、治療前と治療後の各血管の太さの差を計算し、計算された差が、予め定められた閾値より大きいか否かを判断する。画像処理部１８２は、計算された差が閾値より大きい場合には、治療の効果があったことをメモリ１６４に記憶し、計算された差が閾値より大きくない場合には、治療の効果がなかったことをメモリ１６４に記憶する。管理サーバ１４０は、治療の効果の有無のデータを、画像ビューワ１５０に送信する。画像ビューワ１５０は、受信したデータに基づいて、治療の効果の有無を表示する。
【００７６】
また、治療の効果があったこと又はなかったことを表示することに限定されず、例えば、治療の効果があったこと又はなかったことに代え又はこれと共に、「観察不要」又は「要観察」を表示するようにしてもよい。「観察不要」又は「要観察」に代えて、「治療続行不要」又は「治療続行必要」を表示するようにしてもよい。「要観察」、「治療続行必要」に代え又はこれと共に、「治療回数」を表示するようにしてもよい。なお、「治療回数」は、治療後の血管の太さ、治療前後の血管の太さの差（１回の治療で減少する太さ）、及び目標となる血管の太さから、計算するようにしてもよい。
【００７７】
＜第４の変形例＞
第１の実施の形態及び第２の実施の形態では、１回の治療前後の動画１、２を取得しているが、本開示の技術はこれに限定されず、例えば、複数回の治療の各々の前後の動画を取得し、各治療前後の動画を用いて解析処理を実行し、結果表示をするようにしてもよい。
【００７８】
＜第５の変形例＞
第１の実施の形態では、第１の選択画像ＧＡと第２の選択画像ＧＢとを切り替えているが、本開示の技術はこれに限定されず、第１のカラー選択画像ＩＭＡと第２のカラー選択画像ＩＭＢとを用いてこれらを切り替えて表示するようにしてもよい。
上記各例では、第１の選択画像ＧＡを、緑色の第１のカラー選択画像ＩＭＡに、第２の選択画像ＧＢを、紫色の第２のカラー選択画像ＩＭＢにしているが、本開示の技術はこれに限定されない。例えば、第１の選択画像ＧＡを、紫色の第１のカラー選択画像ＩＭＡに、第２の選択画像ＧＢを、緑色の第２のカラー選択画像ＩＭＢにしてもよい。
【００７９】
また、緑色と紫色とは、補色の関係であるが、補色の関係は、緑色と紫色とに限定されず、他の補色の関係の色になるようにしてもよい。なお、補色の関係にならない色の組合せでもよい。
【００８０】
＜第６の変形例＞
上記実施の形態では、眼科装置１１０により内部光照射角が２００度程度の眼底画像を取得する例を説明した。本開示の技術はこれに限定されず、例えば、内部照射角で１００度以下の眼科装置で撮影された眼底画像でも本開示の技術を適用してもよい。
【００８１】
＜第７の変形例＞
上記実施の形態では、眼科装置１１０はＳＬＯを用いてＩＣＧ動画を撮影したが、本開示の技術はこれに限定されず、例えば、眼底カメラでＩＣＧ動画にしてもよい
【００８２】
＜第８の変形例＞
上記実施の形態では、眼科装置１１０、光線力学療法システム１２０、管理サーバ１４０、及び画像ビューワ１５０を備えた眼科システム１００を例として説明したが、本開示の技術はこれに限定されない。例えば、第１の例として、光線力学療法システム１２０を省略し、眼科装置１１０が、光線力学療法システム１２０の機能を更に有してもよい。また、第２の例として、眼科装置１１０が、管理サーバ１４０及び画像ビューワ１５０の少なくとも一方の機能を更に有してもよい。例えば、眼科装置１１０が管理サーバ１４０の機能を有する場合、管理サーバ１４０を省略することができる。この場合、解析処理プログラムは、眼科装置１１０又は画像ビューワ１５０が実行する。また、眼科装置１１０が画像ビューワ１５０の機能を有する場合、画像ビューワ１５０を省略することができる。第３の例として、管理サーバ１４０を省略し、画像ビューワ１５０が管理サーバ１４０の機能を実行するようにしてもよい。
＜第９の変形例＞
上記実施の形態では、治療を光線力学的治療（ＰＤＴ）としたが、本開示の技術はこれに限定されず、光凝固手術による治療、抗VEGF薬投与による治療、硝子体手術による治療など眼底関連の病変の様々な治療前と治療後の効果の確認に用いることができる。
【００８３】
＜その他の変形例＞
上記実施の形態で説明したデータ処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、上記実施の形態では、コンピュータを利用したソフトウェア構成によりデータ処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ又はＡＳＩＣ等のハードウェア構成のみによって、データ処理が実行されるようにしてもよい。データ処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
【図１】
2019203313.tif 000003
【図２】
2019203313.tif 000004
【図３】
2019203313.tif 000005
【図４】
2019203313.tif 000006
【図５】
2019203313.tif 000007
【図６】
2019203313.tif 000008
【図７】
2019203313.tif 000009
【図８】
2019203313.tif 000010
【図９】
2019203313.tif 000011
【図１０Ａ】
2019203313.tif 000012
【図１０Ｂ】
2019203313.tif 000013
【図１０Ｃ】
2019203313.tif 000014
【図１１】
2019203313.tif 000015
【図１２】
2019203313.tif 000016
【国際調査報告】
2019203313.tif 000017
2019203313.tif 000018