(57)【要約】【課題】眼内をより広範囲にかつ同時に観察することが可能な画像処理装置を提供する。【解決手段】複数種類の眼科撮像装置により取得される眼科画像を、眼内位置に対応させて統合し、前記各眼科画像のそれぞれが示している範囲よりも広い範囲の眼内情報を示す１つの統合画像を生成する統合処理部を備える、画像処理装置が提供される。【選択図】図５
2019230173.tif 000002
【特許請求の範囲】
【請求項１】
複数種類の眼科観察装置により取得される眼科画像を、眼内位置に対応させて統合し、前記各眼科画像のそれぞれが示している範囲よりも広い範囲の眼内情報を示す１つの統合画像を生成する統合処理部を備える、画像処理装置。
【請求項２】
前記眼科画像は術中に取得される画像である、請求項１に記載の画像処理装置。
【請求項３】
前記眼科画像は、手術顕微鏡を用いて取得された画像を含む、請求項１に記載の画像処理装置。
【請求項４】
前記眼科画像は、断層取得装置を用いて取得された画像を含む、請求項１に記載の画像処理装置。
【請求項５】
前記眼科画像は、眼内内視鏡を用いて取得された画像を含む、請求項１に記載の画像処理装置。
【請求項６】
前記統合処理部は、眼底に関するイラストレーションを前記眼科画像と統合し、前記統合画像を生成する、請求項１に記載の画像処理装置。
【請求項７】
前記統合画像は立体画像である、請求項１に記載の画像処理装置。
【請求項８】
前記統合処理部は、前記統合画像を略球形状にモデリングする、請求項１に記載の画像処理装置。
【請求項９】
前記統合処理部は、前記眼科画像に基づき取得された立体形状に対して前記統合画像をモデリングする、請求項１に記載の画像処理装置。
【請求項１０】
前記統合処理部は、前記眼科画像に含まれる情報に基づき前記眼科画像の眼内位置を特定し、前記眼科画像を統合する、請求項１に記載の画像処理装置。
【請求項１１】
前記統合画像の提示形式に応じて前記統合画像を処理する提示処理部をさらに備える、請求項１に記載の画像処理装置。
【請求項１２】
前記提示処理部は、立体画像である前記統合画像を平面画像へ変換する、請求項１１に記載の画像処理装置。
【請求項１３】
前記提示処理部は、前記統合画像を幾何変換する、請求項１１に記載の画像処理装置。
【請求項１４】
前記提示処理部は、前記統合画像において統合された前記眼科画像の種類を特定可能に、前記統合画像を提示する、請求項１１に記載の画像処理装置。
【請求項１５】
前記提示処理部は、前記統合画像と少なくとも１つの前記眼科画像とを併置して提示する、請求項１１に記載の画像処理装置。
【請求項１６】
複数種類の眼科観察装置により取得される眼科画像を、眼内位置に対応させて統合し、前記各眼科画像のそれぞれが示している範囲よりも広い範囲の眼内情報を示す１つの統合画像を生成することを含む、画像処理方法。
【請求項１７】
眼科手術中に眼科画像を取得する複数の眼科観察装置と、
前記眼科観察装置によって取得された複数種類の前記眼科画像を、眼内位置に対応させて統合し、前記眼科画像のそれぞれが示している範囲よりも広い範囲の眼内情報を示す１つの統合画像を生成する画像処理装置と、
を含む、眼内画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及び眼内画像処理システムに関する。
【背景技術】
【０００２】
網膜の手術において、硝子体による網膜牽引等を把握するために常に広い範囲を同時に観察したい一方で、例えば後極部の処置を行う際には後極部を拡大して観察したいという要求がある。例えば眼球の後極部を観察する後極観察の場合には、眼球上に載置されるコンタクトレンズあるいは非接触のレンズ等が用いられる。一方、眼球の眼底を広範囲に観察する広角観察の場合には、広角観察用レンズ等が用いられる。広角観察用レンズは、例えば追加光学系により作られる実像を観察する広角観察システムにおいて、追加光学系として手術顕微鏡に設けられる。広角観察での観察範囲は、後極観察での観察範囲よりも広くなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１７／１６９２８３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
手術顕微鏡と広角観察システムとを用いることにより、眼内を広範囲に同時に観察することが可能となるが、その範囲には限界がある。このため、より広範囲に眼内を観察したい場合には、手術顕微鏡により取得された画像に加え、例えば眼内内視鏡等の画像生成装置により取得された画像を提示することも考えられる。この際、各画像が眼内のどの位置を示しているかを示すことで、手術用部材の位置や方向を把握しやすくすることができる。例えば特許文献１には、眼内における眼内内視鏡の相対的な姿勢を表す画像と、眼内内視鏡により撮像された眼内内視鏡画像とを表示する技術が開示されている。【０００５】
上記特許文献１に記載の技術では、眼内内視鏡画像が眼内のどの部分を撮像したものであるかを把握することは可能である。しかし、上記特許文献１の技術では、眼内内視鏡の姿勢を表す画像と眼内内視鏡画像とは、別画像として、または重畳して提示されており、眼内内視鏡画像よりも広い範囲の眼内の画像を提示するものではない。【０００６】
そこで、本開示では、眼内をより広範囲にかつ同時に観察することが可能な、新規かつ改良された画像処理装置、画像処理方法及び眼内画像処理システムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、複数種類の眼科観察装置により取得される眼科画像を、眼内位置に対応させて統合し、前記各眼科画像のそれぞれが示している範囲よりも広い範囲の眼内情報を示す１つの統合画像を生成する統合処理部を備える、画像処理装置が提供される。【０００８】
また、本開示によれば、複数種類の眼科観察装置により取得される眼科画像を、眼内位置に対応させて統合し、前記各眼科画像のそれぞれが示している範囲よりも広い範囲の眼内情報を示す１つの統合画像を生成することを含む、画像処理方法が提供される。【０００９】
さらに、本開示によれば、眼科手術中に眼科画像を取得する複数の眼科観察装置と、前記眼科観察装置によって取得された複数種類の前記眼科画像を、眼内位置に対応させて統合し、前記各眼科画像のそれぞれが示している範囲よりも広い範囲の眼内情報を示す１つの統合画像を生成する画像処理装置と、を含む、眼内画像処理システムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、眼内をより広範囲にかつ同時に観察することができる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】後極観察と広角観察とにおいて用いられる眼内観察用レンズの例を示す説明図である。
【図２】眼球の眼底部分を平面化して表した眼底範囲に対する、後極観察の観察範囲と広角観察との観察範囲とを示す説明図である。
【図３】眼内内視鏡による眼内観察の使用例を示す説明図である。
【図４】図３の眼内内視鏡の位置及び向きの表示例を示す説明図である。
【図５】本開示の一実施形態に係る眼内画像処理システムの一構成例を示すブロック図である。
【図６】同実施形態に係る眼内画像処理システムによる画像統合処理及び提示用画像生成処理の流れを示すフローチャートである。
【図７】３次元統合画像の生成処理を示す説明図である。
【図８】２次元統合画像の一例を示す説明図である。
【図９】手術顕微鏡に搭載された撮像装置によって撮像された右眼用画像と左眼用画像とを示す説明図である。
【図１０】手術顕微鏡画像における眼の姿勢推定用の画像特徴を説明する説明図である。
【図１１】断層取得装置により取得された断層像において、正面画像の生成に用いる深さ範囲を説明する説明図である。
【図１２】断層取得装置により取得された断層像から生成される正面画像の一例を示す説明図である。
【図１３】断層取得装置により取得された断層像から生成される血管叢画像の一例を示す説明図である。
【図１４】断層取得装置により取得された断層像から得られる網膜の深さ情報を示す説明図である。
【図１５】断層取得装置により取得された断層像から得られる眼の特定部位の位置の例を示す説明図である。
【図１６】３次元マーカーが把持部に付された眼内内視鏡を示す概略説明図である。
【図１７】内視鏡画像の一例と、当該内視鏡画像を取得したときの眼内内視鏡の姿勢の推定結果から特定された眼底範囲に対する内視鏡画像の範囲及び向きを示す説明図である。
【図１８】眼底を表すイラストレーションの一例を示す説明図である。
【図１９】立体画像からの射影方法の一例を示す説明図である。
【図２０】立体画像からの射影方法の他の例を示す説明図である。
【図２１】立体画像からの射影方法の他の例を示す説明図である。
【図２２】統合画像の幾何変換の一例を示す説明図である。
【図２３】統合画像の幾何変換の他の例を示す説明図である。
【図２４】統合画像の幾何変換の他の例を示す説明図である。
【図２５】画像の種類に基づく画像加工の一例を示す説明図である。
【図２６】統合画像と内視鏡画像との併置の一例を示す説明図である。
【図２７】統合画像と内視鏡画像との併置の他の例を示す説明図である。
【図２８】同実施形態に係る画像処理装置のハードウェア構成を示すハードウェア構成図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．眼内観察における観察範囲
２．システム構成
３．画像処理
３．１．画像統合処理
（１）画像取得
・手術顕微鏡による画像取得
・断層取得装置による画像取得
・眼内内視鏡による画像取得
・イラスト生成装置による画像取得
（２）統合画像の生成
３．２．提示用画像生成処理
・立体的な統合画像の平面化
・幾何変換処理
・元画像の種類を示す画像加工
・統合画像と単一画像の併置
４．ハードウェア構成
５．まとめ
【００１４】
［１．眼内観察における観察範囲］
網膜の手術において、硝子体による網膜牽引等を把握するために常に広い範囲を同時に観察したい一方で、例えば後極部の処置を行う際には後極部を拡大して観察したいという要求がある。例えば眼球Ｅの後極部を観察する後極観察の場合には、図１左側に示すようなコンタクトレンズ１０ａあるいは図示しない非接触のレンズが用いられる。一方、眼球Ｅの眼底を広範囲に観察する広角観察の場合には、図１右側に示すような広角観察用レンズ１０ｂ等が用いられる。広角観察用レンズ１０ｂは、例えば追加光学系により作られる実像を観察する広角観察システムにおいて、追加光学系として手術顕微鏡に設けられる。
【００１５】
図２に、眼球の眼底部分を平面化して表した眼底範囲Ａｏに対する、後極観察の観察範囲Ａａと広角観察との観察範囲Ａｂとを示す。図２に示すように、コンタクトレンズ１０ａを用いた後極観察での観察範囲Ａａに対し、広角観察用レンズ１０ｂを用いた広角観察での観察範囲Ａｂの方が広くなる。なお、図２には、便宜上、網膜の特徴として視神経乳頭と鋸状縁のみを示しており、後述する図４及び図１７においても同様である。
【００１６】
図１右側に示したように手術顕微鏡と広角観察システムとを用いることにより、眼内のある程度広い範囲を同時に観察することが可能となる。しかし、手術顕微鏡と広角観察システムとを用いても、例えば網膜５７の光受容部（網膜視部）と非光受容部（網膜盲部または網膜毛様体部）との境界である鋸状縁５８あるいは毛様体扁平部５９も含めたより広い範囲を同時観察することは難しい。
【００１７】
そこで、眼内内視鏡あるいはＯＣＴ（Optical  Coherence  Tomography；光干渉断層計）等の画像生成装置により取得された画像から、手術顕微鏡と広角観察システムとを用いた場合に観察しにくい部分を観察することも考えられる。例えば眼内内視鏡を用いれば毛様体扁平部５９等の観察も可能である。ＯＣＴを用いれば、例えば可視光では透見が困難なために手術顕微鏡では網膜５７の観察できない場合であっても網膜像を取得できる場合もある。しかし、眼内内視鏡により得られる画像において同時観察可能な範囲は極めて限定的である。また、ＯＣＴを用いた場合にも、手術顕微鏡と同等の観察範囲を得ることは現状困難である。
【００１８】
また、図１に示したような後極観察と広角観察とを切り替えるには、用いるレンズを交換しなければならず、後極観察における観察範囲と広角観察における観察範囲とを同時に観察することはできない。レンズの交換にも時間を要する。
【００１９】
さらに、図１右側のような広角観察用レンズ１０ｂを用いた場合には、術者に提示される眼内画像では、本来球面に近い網膜が平面的に見えてしまう。このため、熟練度の低い術者が当該眼内画像を見た場合、網膜が平面のつもりで術具を動かしてしまい、術具を網膜にぶつけるといった誤操作が発生するリスクがある。また、術者が観察する画像における像の歪は、特に手術顕微鏡においては観察時に使用される光学系によりその特性が決まってしまうため、必ずしも使用者にとって望ましいものではない。
【００２０】
また、中間透光体混濁眼の観察時あるいは周辺部の観察時に眼内内視鏡を用いる際には、眼球に対する内視鏡プローブの先端位置、向き、及び、光軸周りの回転角で表される内視鏡プローブの姿勢から、取得される画像の範囲が決定される。しかし、眼内内視鏡により撮像された画像からは内視鏡プローブがどのような姿勢であるかを理解するのは難しい。このため、眼内内視鏡の使用には高度の熟練を要する。例えば図３に示すように、眼内内視鏡２０の把持部２１から延びる先端部２３が水晶体５３の近傍に位置するように、眼球Ｅの硝子体５５に対して図３紙面右側から所定の回転角で眼内内視鏡２０が挿入されたとする。このとき、眼内内視鏡２０により図４に示すように矢印の向きが画像における上方となるように範囲Ｂが撮像されていたとしても、撮像された画像からはそれを理解するのは難しい。
【００２１】
そこで、本開示の眼内画像処理システムでは、上記に鑑み、眼内をより広範囲にかつ同時に、術者にとって望ましい形で観察することを可能にする。
【００２２】
［２．システム構成］
まず、図５を参照して、本開示の一実施形態に係る眼内画像処理システム１の構成について説明する。図５は、本実施形態に係る眼内画像処理システム１の一構成例を示すブロック図である。本実施形態に係る眼内画像処理システム１は、図５に示すように、画像処理装置１００と、複数の画像生成装置（以下では、複数の画像生成装置をまとめて「画像生成装置２００」して説明する。）と、入力装置３００と、出力装置４００とを含む。
【００２３】
（画像処理装置）
画像処理装置１００は、インタフェース部１１０と、制御部１２０と、統合処理部１３０と、提示処理部１４０とを含む。
【００２４】
インタフェース部１１０は、眼内画像処理システム１の使用者との間で情報の授受を行う機能部である。例えば、インタフェース部１１０は、入力装置３００を介して使用者から入力されたシステムへの指示を制御部１２０へ出力する。また、例えばインタフェース部１１０は、システムの状態を出力装置４００へ出力し、使用者に通知する。
【００２５】
制御部１２０は、使用者からの指示に基づき画像処理装置１００を制御し、画像の統合、あるいは提示画像の生成といった処理を適切なモードで実行する。制御部１２０は、画像処理装置１００以外にも、画像生成装置２００等の眼内画像処理システム１の他の構成要素を制御するようにしてもよい。例えば制御部１２０は、画像生成装置２００による画像取得が適切に行われるように制御してもよい。
【００２６】
統合処理部１３０は、画像生成装置２００により生成された画像を、眼内位置を対応させて統合し、各画像の画像範囲よりも広い範囲の眼内情報を示す１つの統合画像を生成する。統合処理部１３０は、例えば、画像生成装置２００により生成された画像に含まれる画像特徴に基づき、画像間の位置合わせを行ってもよい。また、統合処理部１３０は、画像生成装置２００により生成された画像を統合するにあたり、これらの画像から得られる情報に加え、画像生成装置２００の制御情報等も参照し、眼あるいは内視鏡の姿勢を推定したり、眼の立体形状を推定したりしてもよい。統合処理部１３０は、生成した統合画像を提示処理部１４０へ出力する。
【００２７】
提示処理部１４０は、統合画像の提示形式に応じて統合画像を処理し、提示用画像を生成する。提示処理部１４０は、制御部１２０の指示に基づき、統合画像に対して射影変換、幾何変換、色変換等の画像加工を施す。提示処理部１４０は、インタフェース部１１０を介して、生成した提示用画像を出力装置４００へ出力する。
【００２８】
（画像生成装置）
画像生成装置２００は、眼内画像処理システム１において画像処理装置１００により統合される画像を生成する装置である。画像生成装置２００は、少なくとも眼内の眼科手術中に取得される術中取得画像である眼科画像を生成可能な装置（いわゆるモダリティ）を含んでおり、具体的には、手術顕微鏡、断層取得装置または眼内内視鏡等の眼科観察装置である。また、画像生成装置２００は、眼底をイラスト化したイラストレーションを生成するイラスト生成装置等を含んでもよい。これらの画像生成装置２００は、例えば画像処理装置１００の制御部１２０により制御され、画像の取得及び画像の生成を行う。生成された画像は、統合処理部１３０へ入力される。
【００２９】
（入力装置）
入力装置３００は、使用者が眼内画像処理システム１への指示情報を入力するための装置である。入力装置３００は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバー等、ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵに出力する入力制御回路等から構成されている。
【００３０】
（出力装置）
出力装置４００は、提示用画像を表示する装置である。出力装置４００は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置等の表示装置であってもよい。また、出力装置４００は、スピーカ等の音声出力装置を含んでもよい。
【００３１】
［３．画像処理］
次に、図６に基づいて、眼内画像処理システム１による画像統合処理及び提示用画像生成処理について説明する。図６は、本実施形態に係る眼内画像処理システム１による画像統合処理及び提示用画像生成処理の流れを示すフローチャートである。図６に示す処理は、眼内画像処理システム１の画像処理装置１００にて実行される。
【００３２】
［３．１．画像統合処理］
まず、画像処理装置１００は、画像生成装置２００により生成された画像を取得し（Ｓ１０）、取得した画像から１つの統合画像を生成する（Ｓ２０）。
【００３３】
画像統合処理の詳細を説明する前に、図７及び図８に基づき、画像統合処理の概要を説明する。図７は、３次元統合画像の生成処理を示す説明図である。図８は、２次元統合画像の一例を示す説明図である。
【００３４】
統合画像は、画像生成装置２００により眼球から取得された画像に基づき生成される。例えば、画像生成装置２００は、制御部１２０の指示を受けて、眼内に関する情報を取得する。これより、例えば図７に示すように、手術顕微鏡により取得された手術顕微鏡画像、断層取得装置により取得された断層取得装置画像、あるいは、眼内内視鏡により取得された内視鏡画像等が生成される。統合処理部１３０は、これらの画像、必要に応じて制御部１２０による画像生成装置２００の制御情報に基づき、画像を統合し、統合画像Ｇを生成する。
【００３５】
統合画像Ｇは、図７に示すように立体的である３次元統合画像であってもよく、図８に示すように平面的な２次元統合画像であってもよい。図８の統合画像Ｇは、イラスト生成装置により生成された眼底のイラストレーションｇ１と、手術顕微鏡画像ｇ２と、内視鏡画像ｇ３とを統合した画像である。このような複数の画像を１つに統合した統合画像を生成することで、各画像生成装置によって生成された画像がそれぞれ示す眼内の範囲よりも広い範囲を同時に観察することを可能にする。以下、画像統合処理について詳細に説明していく。
【００３６】
（１）画像取得
例えば眼内画像処理システム１の使用者からの統合画像の提示要求が入力装置３００より入力されたとする。画像処理装置１００の制御部１２０は、インタフェース部１１０を介して統合画像の提示要求を受けると、画像生成装置２００に対して画像生成指示を通知し、生成された画像を画像生成装置２００から統合処理部１３０へ出力させる（Ｓ１０）。
【００３７】
画像生成装置２００としては、例えば、手術顕微鏡、断層取得装置、眼内内視鏡、イラスト生成装置等が用いられる。
【００３８】
（手術顕微鏡による画像取得）
手術顕微鏡は、眼科手術において、瞳孔から眼内を観察し、実像を拡大して提示する顕微鏡である。手術顕微鏡は、顕微鏡画像を取得するための撮像装置を搭載する。手術顕微鏡において、これに搭載された撮像装置により取得される画像の範囲は図１に示したように光学系により異なる。例えば、後極観察の場合には、眼内の比較的狭い範囲の画像が取得され、広角観察の場合には、眼内の比較的広い範囲の画像が取得される。
【００３９】
撮像装置は、手術顕微鏡での観察像を立体視できるよう、右眼用カメラと左眼用カメラとを備えていてもよい。この場合、例えば図９に示すように、右眼用カメラで撮像された右眼用画像ｇＲと左眼用カメラにて撮像された左眼用画像ｇＬとが取得される。右眼用画像ｇＲと左眼用画像ｇＬとに基づき得られる視差から、例えば眼球の網膜の立体形状を推定することもできる。また、手術顕微鏡画像に基づき、眼の姿勢を推定することも可能である。例えば、図１０に示すように、術開始時に眼球が手術顕微鏡に正対している状況での角膜輪部血管３１やトロカール３３等の画像特徴の位置を記憶しておき、その後の画像特徴の位置の変化をみることで、手術顕微鏡に対する眼の姿勢を推定することもできる。
【００４０】
（断層取得装置による画像取得）
断層取得装置は、眼球の断層画像を取得する装置であり、例えばＯＣＴ、あるいはＵＢＭ（Ultrasound  Biomicroscope；超音波生体顕微鏡）等の超音波装置を用いてもよい。以下では、断層取得装置の一例として、ＯＣＴを用いる場合について説明する。
【００４１】
ＯＣＴでは、断層像をボリュームデータとして取得しておき、かかるデータに基づき所謂ｅｎＦａｃｅ画像を生成することにより、眼球の正面画像を取得することができる。ｅｎＦａｃｅ画像の生成は、予め設定した深さ範囲の輝度値について平均、最大あるいは最小等をとることにより行われる。ｅｎＦａｃｅ画像の生成に用いる深さ範囲としては、図１１に示す断層像の画像ｇにおいて、全ての深さ（Ｄ０）を用いてもよく、網膜の部位に関係なく一定の深さ（Ｄ１）までを用いてもよい。また、断層像の画像ｇにおいて、例えば、内境界膜から外境界膜までの深さ（Ｄ２）、内境界膜から内網状層までの深さ（Ｄ３）等のように、網膜の特定部位（層）の範囲の深さを用いてもよい。このような断層像の画像から、例えば図１２に示すような眼球の正面画像が、画像生成装置により取得される画像ｇとして取得される。
【００４２】
また、ＯＣＴにおける正面画像として、図１３に示すように、例えばＯＣＴ  Ａｎｇｉｏｇｒａｐｈｙにより取得可能な１つ以上の血管叢画像を取得することも可能である。このような血管叢画像を、画像生成装置により取得される画像ｇとして用いてもよい。
【００４３】
なお、ＯＣＴの断層像の画像ｇから取得される網膜の深さ位置に基づき、網膜の立体形状も推定し得る。例えば図１４に示すように、網膜の表面に沿う方向において画像ｇの上端から網膜の内境界膜までの深さ（例えばｄ１、ｄ２、ｄ３）を複数取得する。この網膜の深さ位置の変化より、網膜の立体形状が推定される。
【００４４】
また、ＯＣＴの断層像の画像ｇから取得される特定部位の位置に基づき、ＯＣＴに対する眼の姿勢も推定し得る。例えば図１５に示すように、角膜輪部３５あるいは隅角３７の位置を計測し、計測結果に基づきＯＣＴに対する眼の姿勢を推定することが可能である。なお、ＯＣＴの断層像をボリュームデータとして取得する場合には、角膜輪部３５及び隅角３７はリング状に分布する。
【００４５】
推定された網膜の立体形状及びＯＣＴに対する眼の姿勢に関する情報は、統合画像の生成処理において利用してもよい。
【００４６】
（眼内内視鏡による画像取得）
眼内内視鏡は、眼球の内部を観察する術具である。眼内内視鏡は、眼内に挿入される挿入部の先端から照明光を出射して撮像部分を照明し、眼内を撮像する。眼内内視鏡により撮像された画像は、統合画像に統合され得る。
【００４７】
内視鏡画像の統合に際しては、眼に対する内視鏡の姿勢推定結果を用いてもよい。具体的には、眼内内視鏡により撮像される画像の網膜上の範囲及び向きを推定することで、当該推定結果に基づいて、他の画像生成装置により生成された画像との位置合わせを行うことができる。眼に対する眼内内視鏡の姿勢は、例えば手術顕微鏡画像に基づく眼の姿勢の推定結果及び眼内内視鏡の姿勢の推定結果に基づき推定してもよい（例えば、特許文献１）。このとき、例えば図１６に示すような、回転角あるいは位置を特定するための３次元マーカー２１ａが把持部２１に付された眼内内視鏡２０を用い、光学式トラッキング・システムにより計測することで、ロバストな結果を取得しやすくなる。図１７に、眼内内視鏡２０により取得された内視鏡画像（画像ｇ）の一例と、当該内視鏡画像を取得したときの眼内内視鏡２０の姿勢の推定結果から特定された眼底範囲Ａｏに対する内視鏡画像の範囲Ｂ及び向きを示す。図１７左側の矢印は、図１７右側の内視鏡画像の上向きが対応する向きを示している。
【００４８】
（イラスト生成装置による画像取得）
上述の手術顕微鏡、断層取得装置、眼内内視鏡は、眼科画像を取得することの可能なモダリティであったが、統合画像に統合する画像として眼科画像以外の画像を用いてもよい。例えば、イラスト生成装置を用いて、眼内の情報をイラスト化したイラストレーションを生成し、当該イラストレーションを統合画像に統合する画像ｇとして用いてもよい。例えば図１８に示すような、眼底を表すイラストレーションを、イラスト生成装置により生成してもよい。この際、イラスト生成装置は、イラストレーションを、例えば解剖により得られる平均的な眼底の情報に基づき生成してもよく、患者の眼について取得されている情報に基づき生成してもよい。
【００４９】
なお、解剖により得られる平均的な眼底の情報に基づき生成されたイラストレーションは、必ずしも患者の眼の眼底とは一致するとは限らない。したがって、かかるイラストレーションを統合画像に統合する場合には、例えば、他の画像生成装置により取得された画像と整合するように、患者の眼について取得されている情報に基づき幾何変換してもよい。
【００５０】
このように、制御部１２０からの指示に基づき画像生成装置２００により取得された各画像ｇは、統合処理部１３０へ出力される。
【００５１】
（２）統合画像の生成
次いで、統合処理部１３０は、画像生成装置２００により取得された画像ｇから１つの統合画像Ｇを生成する（Ｓ２０）。画像ｇは、眼内位置を対応させて統合される。
【００５２】
統合処理部１３０は、まず、任意の１つの画像生成装置２００より取得された画像ｇを基準画像とする。そして、統合処理部１３０は、基準画像の画像形状に対して、他の画像生成装置２００により取得された画像ｇを位置合わせし、さらに例えばアフィン変換等の変形処理等を行った後、これらの画像ｇを統合する。例えば図８に示した統合画像Ｇでは、イラスト生成装置により生成された眼底のイラストレーションｇ１を基準画像として、例えば中心窩、鋸状縁等の眼の部位位置に基づき、手術顕微鏡画像ｇ２と、内視鏡画像ｇ３とを統合している。
【００５３】
統合画像Ｇに統合する画像ｇは、現在の眼科画像に限らず、例えば画像生成装置２００により取得された過去の画像を用いてもよい。複数の画像生成装置からの画像や、さらに、過去の画像を統合する場合、眼内の同一位置における画像が複数存在する場合もある。この場合、その素性に応じて画像の重み付け加算を行い１つの画像を生成してもよく、複数の画像から１つの画像のみを選択して利用してもよい。例えば過去の画像について、画像の重み付け加算を行う場合にはその重みを小さくしたり、複数の画像から１つの画像のみを選択する場合には選択の際の優先度を下げたりしてもよい。このような処理を行うことにより、使用者にとって良好な画像が得られることが期待される。
【００５４】
また、例えば、図７に示したような立体的な統合画像Ｇを生成する場合には、画像ｇから例えば眼の姿勢、網膜の奥行、眼内内視鏡の姿勢を推定し、これらの推定結果に基づき画像ｇを統合してもよい。あるいは、統合処理部１３０は、各画像ｇの画像特徴を認識し、認識された画像特徴の位置分布から複数画像の位置関係を推定してもよい。かかる推定結果に基づいても、複数の画像ｇの位置を合わせることができる。画像特徴としては、例えば視神経乳頭や中心窩、鋸状縁等の部位の位置といったマクロ情報を用いてもよく、血管の分岐点といったミクロ情報を用いてもよい。
【００５５】
また、統合画像Ｇを立体的な網膜像に構築する場合、網膜の形状としては、例えば完全な球モデルを用いてもよく、平均的な網膜形状モデルを用いてもよく、画像ｇから得られる立体情報に基づき復元された患者眼の立体モデルを用いてもよい。なお、各画像生成装置２００により生成される正面画像の歪方の推定や網膜の形状推定には、画像生成装置２００それぞれに用いられる光学系等の、中間透光体の光学特性に関するモデルを用いてもよい。
【００５６】
このようにして、各画像生成装置２００により取得された画像ｇを統合し、１つの統合画像Ｇが生成される。統合画像Ｇは、各画像生成装置２００のうち、少なくとも手術顕微鏡、断層取得装置、眼内内視鏡等のモダリティにより取得された眼科画像よりも広い範囲を示す。このような統合画像Ｇにより、１つのモダリティのみでは得られなかった広い範囲の眼内情報を同時に提示することが可能となる。
【００５７】
［３．２．提示用画像生成処理］
図６の説明に戻り、統合処理部１３０により統合画像Ｇが生成されると、提示処理部１４０により提示用画像が生成される（Ｓ３０）。その後、提示用画像が使用者に提示される（Ｓ４０）。提示処理部１４０により統合画像Ｇを加工して提示用画像を生成することで、使用者に対して、違和感のない、認識しやすい、といった良好な画像を提示することが可能となる。提示処理部１４０は、統合画像Ｇに対し、例えば以下のような加工を行ってもよい。
【００５８】
（立体的な統合画像の平面化）
統合画像Ｇとして立体的な統合画像が生成された場合に、提示用画像を平面画像とするには、統合画像Ｇを平面画像へ射影し、２次元化すればよい。立体的な統合画像Ｇの射影方法としては、例えば図１９〜図２１に示す射影方法が考えられる。
【００５９】
例えば図１９に示すように、立体的な統合画像Ｇを投影面Ｓに正射影し、平面画像としてもよい。統合画像Ｇを正射影するには、眼Ｅに対する投影面Ｓの角度の決定が必要である。また、例えば図２０に示すように、立体的な統合画像Ｇを投影面Ｓに透視射影し、平面画像としてもよい。統合画像Ｇを透視射影するには、眼Ｅに対する視点Ｐ及び投影面Ｓの位置の決定が必要である。あるいは、例えば、立体的な統合画像Ｇの射影方法として、統合画像Ｇを円筒投影し、平面画像としてもよい。すなわち、統合画像Ｇをメルカトル図法により表す。メルカトル図法を用いて統合画像Ｇを平面画像とするには、図２１に示すように、眼Ｅに対する中心軸Ｃの位置及び経度０度に対応する線Ｌｃの決定が必要である。
【００６０】
これらの投影面Ｓ、視点Ｐ、中心軸Ｃ、経度０度の線Ｌｃは、使用者から指定されたモード等に基づき予め設定された設定情報を用いてもよく、例えば眼の姿勢や術具の位置に応じて可変としてもよい。例えば、眼に対する手術顕微鏡の光軸の向きを投影面Ｓの法線として用いれば、感覚的に手術顕微鏡により得られる画像に近い画像が得られる。かかる設定により、提示用画像に対する使用者の違和感を低減することが期待される。また、術具から網膜に下した垂線を投影面Ｓの法線としたり、術具付近を視点Ｐの位置としたりすることで、使用者の注目対象に関する画像が取得できる可能性が高まると想定される。
【００６１】
（幾何変換処理）
従来、眼底を広角で観察をしながら後極を拡大して観察することは、これらを同時に取得することができないため、困難であった。これに対し、本実施形態に係る眼内画像処理システム１では、統合画像Ｇに対して画像変換を行うことで、広角範囲と後極の拡大図とを同時に提示することが可能となる。
【００６２】
図２２に、統合画像Ｇの幾何変換の一例を示す。かかる幾何変換では、画素位置の基準点からの方向は変えずに、距離を予め設定された関数に基づき置き換え、統合画像Ｇを変換する。関数は適宜設定可能であるが、例えば図２２左側に示すように、原点から所定の距離に応じて、変換前と変換後との距離比が異なるように変換する関数を用いてもよい。なお、基準点は、例えば統合画像Ｇの中心である原点Ｏに固定してもよく、特定部位、例えば黄斑や視神経乳頭の位置、あるいは術具の位置等を基準として設定してもよい。このような関数を用いて統合画像Ｇを変換することにより、基準点である原点Ｏに近い後極部５６は一様に拡大され、それ以外の部分は縮小される。その結果、統合画像Ｇは、眼底の全体と後極部の双方を良好に観察可能な画像Ｈに変換される。
【００６３】
また、図２２左側に示した関数以外の関数を用いれば、統合画像Ｇに対して別の幾何変換が行われる。例えば、図２３右上に示すような関数を用いて統合画像Ｇを変換すると、糸巻き型の歪曲収差を有する画像Ｈａとすることができる。例えば、変換前の統合画像Ｇが広角観察用レンズを使用して取得された画像であり、網膜を平面状に描写している場合には、かかる変換を行うことで網膜が球状に近づくため、画像から眼内の情報を把握しやすくなる。
【００６４】
その他にも、例えば図２３右下に示すような関数を用いれば、統合画像Ｇを樽型の歪曲収差を有する画像Ｈｂに変換することができる。また、例えば図２４右上に示すような関数を用いれば、統合画像Ｇを、糸巻き型の歪曲収差と樽型の歪曲収差との両方が表れ、中央部が外側にふくらみ、その曲線が周辺部で再度広がる、いわゆる陣笠型の歪曲収差を有する画像Ｈｃに変換することができる。さらに、例えば図２４右下に示すような関数を用いれば、統合画像Ｇを、糸巻き型の歪曲収差と樽型の歪曲収差との両方が表れ、中央部が内側に縮み、周辺部は膨れた歪曲収差を有する画像Ｈｄに変換することができる。これらの関数は、使用者の嗜好あるいは観察の目的に応じて適宜選択可能である。
【００６５】
（元画像の種類を示す画像加工）
提示処理部１４０は、統合画像Ｇから提示用画像Ｈを生成する際に、元の画像ｇの種類を示すように画像ｇを加工してもよい。元画像の種類として、例えば画像の取得時期に応じた種類を示してもよい。すなわち、過去の画像と現在の画像とを区別可能に画像ｇを加工する。加工の方法としては、例えば、現在の画像についてはそのまま表示し、過去の画像をグレイスケールや特定のカラーチャネルのみを用いて色変換を行うようにしてもよい。また、画像生成装置２００の種類に応じて元の画像ｇの種類を示す場合には、例えば取得された画像ｇの明るさ、あるいは鮮鋭度の調整により、画像を加工してもよい。
【００６６】
提示用画像Ｈの一例として、図２５に、イラストレーションと内視鏡画像との統合画像に対し、内視鏡画像のうち過去の画像をグレイスケール化した提示用画像Ｈを示す。図２５に示す提示用画像Ｈにおいて、イラストレーションｇ１及び現在の内視鏡画像ｇ２とは、統合時のままの画像である。一方、過去の内視鏡画像ｈは、提示処理部１４０によりグレイスケール化された画像とされている。このように、元画像の種類を示すことで、提示用画像Ｈによりさらに多くの情報を提示することが可能となる。
【００６７】
（統合画像と単一画像の併置）
手技の内容や画像生成装置２００の種類によっては、上述のように生成した統合画像のみを提示するよりも、統合画像と併せて画像生成装置２００にて生成された画像そのものを提示した方が、手技を行いやすいといったように使用者にとって望ましい場合もある。この場合には、画像生成装置２００にて生成された画像を統合画像と併置して提示してもよい。
【００６８】
図２６及び図２７に、イラストレーションと眼内内視鏡により撮像された内視鏡画像とを併置して提示する例を示す。図２６及び図２７ともに、左側にイラストレーションと内視鏡画像との統合画像Ｇを示し、右側に内視鏡画像（画像ｇ）のみを示している。なお、イラストレーションと統合される内視鏡画像は、統合画像生成の処理負荷を低減するため、内視鏡画像そのものではなく、内視鏡画像の範囲を示すマークを用いている。したがって、統合画像Ｇは、イラストレーションと内視鏡画像の範囲（範囲Ｂ）を示すマークとを統合して生成されている。
【００６９】
統合画像と内視鏡画像との併置は、例えば図２６に示すように、内視鏡画像の提示の向きを統合画像における画像の向きと合わせるようにしてもよい。あるいは、図２７に示すように、内視鏡画像については内視鏡画像の上向きが鉛直上向きとなるように提示し、統合画像Ｇには、内視鏡画像の範囲Ｂとともに内視鏡画像の上向きが対応する向きを示すシンボル（例えば矢印）を提示してもよい。このように統合画像と画像生成装置２００により生成された画像とを併置することで、使用者に対して２つの画像の対応関係をわかりやすく提示することができる。なお、図２６及び図２７では、統合画像と併置する画像ｇは１つのみであったが、本開示はかかる例に限定されず、複数の画像ｇを統合画像に併置して提示してもよい。
【００７０】
［４．ハードウェア構成］
上記実施形態に係る眼内画像処理システム１の画像処理装置１００のハードウェア構成例について説明する。図２８は、上記実施形態に係る画像処理装置１００のハードウェア構成を示すハードウェア構成図である。
【００７１】
本実施形態に係る画像処理装置１００は、上述したように、コンピュータ等の処理装置により実現することができる。画像処理装置１００は、図２８に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、画像処理装置１００は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。
【００７２】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。
【００７３】
ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【００７４】
入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。
【００７５】
ストレージ装置９０８は、画像処理装置１００の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
【００７６】
ドライブ９０９は、記憶媒体用リーダライタであり、画像処理装置１００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。
【００７７】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【００７８】
［５．まとめ］
以上、本開示に係る眼内画像処理システム１の構成とこれによる画像処理について説明した。かかる眼内画像処理システム１によれば、複数の画像生成装置２００により生成された画像を統合し、１つの統合画像Ｇを生成する。統合画像Ｇは、各画像生成装置２００のうち、少なくとも手術顕微鏡、断層取得装置、眼内内視鏡等のモダリティにより取得された眼科画像よりも広い範囲を示す。このような統合画像Ｇにより、１つのモダリティのみでは得られなかった広い範囲の眼内情報を同時に提示することが可能となる。
【００７９】
統合画像Ｇは、平面画像でもよく、球モデル等のような立体的なモデルに構築することもできる。立体的な統合画像Ｇを生成することで、網膜が球状であることを容易に認識可能な提示用画像の提示が可能となる。
【００８０】
また、統合画像Ｇの提示においては、例えば、統合画像Ｇに対して加工を加えることで、統合画像Ｇにて同時に提示される情報をより認識しやすいように使用者に提示することもできる。例えば、網膜の広い範囲と特定部分の拡大部分とを同時に提示することが可能となる。また、統合画像Ｇを幾何変換することで、画像生成装置２００の光学系も含めた、網膜に至る中間透光体の光学特性による制約を排除し、使用者にとって見やすい形状の画像の提示が可能となる。
【００８１】
さらに、統合される前の画像の種類に応じて提示の仕方を変更してもよく、例えば、同一の画像生成装置２００によって異なる時期に取得された複数の画像を提示する際に、取得時期に応じて画像を加工してもよい。これにより、統合される画像に過去の画像も用いることで、統合画像Ｇによって同時に得られる画像の範囲を拡げつつ、過去の画像は現在の画像ではないと認識することも可能となる。また、統合画像Ｇと画像生成装置２００により生成された画像そのものとを併置して提示してもよい。例えば内視鏡画像については、統合画像Ｇに統合された状態で提示するよりも、統合画像Ｇに併置して提示した方が、使用者が内視鏡画像を容易に理解できる場合もある。このように、手技の内容や画像生成装置２００の種類に応じて、統合画像Ｇと画像生成装置２００により生成された画像そのものとを併置してもよい。
【００８２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８３】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００８４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
少なくとも眼科手術中に取得された複数の術中取得画像を、眼内位置を対応させて統合し、前記各術中取得画像の画像範囲よりも広い範囲の眼内情報を示す１つの統合画像を生成する統合処理部を備える、画像処理装置。
（２）
前記術中取得画像は、手術顕微鏡を用いて取得された画像を含む、前記（１）に記載の画像処理装置。
（３）
前記術中取得画像は、断層取得装置を用いて取得された画像を含む、前記（１）または（２）に記載の画像処理装置。
（４）
前記術中取得画像は、眼内内視鏡を用いて取得された画像を含む、前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（５）
前記統合処理部は、眼底に関するイラストレーションを前記術中取得画像と統合し、前記統合画像を生成する、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記統合画像は立体画像である、前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記統合処理部は、前記統合画像を略球形状にモデリングする、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記統合処理部は、前記術中取得画像に基づき取得された立体形状に対して前記統合画像をモデリングする、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（９）
前記統合処理部は、前記術中取得画像に含まれる情報に基づき前記術中取得画像の眼内位置を特定し、前記術中取得画像を統合する、前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１０）
前記統合画像の提示形式に応じて前記統合画像を処理する提示処理部をさらに備える、前記（１）〜（９）のいずれか１項に記載の画像処理装置。
（１１）
前記提示処理部は、立体画像である前記統合画像を平面画像へ変換する、前記（１０）に記載の画像処理装置。
（１２）
前記提示処理部は、前記統合画像を幾何変換する、前記（１０）に記載の画像処理装置。
（１３）
前記提示処理部は、前記統合画像において統合された前記術中取得画像の種類を特定可能に、前記統合画像を提示する、前記（１０）〜（１２）のいずれか１項に記載の画像処理装置。
（１４）
前記提示処理部は、前記統合画像と少なくとも１つの前記術中取得画像とを併置して提示する、前記（１０）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
少なくとも眼科手術中に取得された複数の術中取得画像を、眼内位置を対応させて統合し、前記各術中取得画像の画像範囲よりも広い範囲の眼内情報を示す１つの統合画像を生成することを含む、画像処理方法。
（１６）
眼科手術中に術中取得画像を取得する複数の画像生成装置と、
少なくとも前記画像生成装置によってそれぞれ取得された複数の前記術中取得画像を、眼内位置を対応させて統合し、前記各術中取得画像の画像範囲よりも広い範囲の眼内情報を示す１つの統合画像を生成する画像処理装置と、
を含む、眼内画像処理システム。
（１７）
複数種類の眼科観察装置により取得される眼科画像を、眼内位置に対応させて統合し、前記各眼科画像のそれぞれが示している範囲よりも広い範囲の眼内情報を示す１つの統合画像を生成する統合処理部を備える、画像処理装置。
（１８）
前記眼科画像は術中に取得される画像である、前記（１７）に記載の画像処理装置。
（１９）
前記眼科画像は、手術顕微鏡を用いて取得された画像を含む、前記（１７）または（１８）に記載の画像処理装置。
（２０）
前記眼科画像は、断層取得装置を用いて取得された画像を含む、前記（１７）〜（１９）のいずれか１項に記載の画像処理装置。
（２１）
前記眼科画像は、眼内内視鏡を用いて取得された画像を含む、前記（１７）〜（２０）のいずれか１項に記載の画像処理装置。
（２２）
前記統合処理部は、眼底に関するイラストレーションを前記眼科画像と統合し、前記統合画像を生成する、前記（１７）〜（２１）のいずれか１項に記載の画像処理装置。
（２３）
前記統合画像は立体画像である、前記（１７）〜（２２）のいずれか１項に記載の画像処理装置。
（２４）
前記統合処理部は、前記統合画像を略球形状にモデリングする、前記（１７）〜（２２）のいずれか１項に記載の画像処理装置。
（２５）
前記統合処理部は、前記眼科画像に基づき取得された立体形状に対して前記統合画像をモデリングする、前記（１７）〜（２４）のいずれか１項に記載の画像処理装置。
（２６）
前記統合処理部は、前記眼科画像に含まれる情報に基づき前記眼科画像の眼内位置を特定し、前記眼科画像を統合する、前記（１７）〜（２５）のいずれか１項に記載の画像処理装置。
（２７）
前記統合画像の提示形式に応じて前記統合画像を処理する提示処理部をさらに備える、前記（１７）〜（２６）のいずれか１項に記載の画像処理装置。
（２８）
前記提示処理部は、立体画像である前記統合画像を平面画像へ変換する、前記（２７）に記載の画像処理装置。
（２９）
前記提示処理部は、前記統合画像を幾何変換する、前記（２７）に記載の画像処理装置。
（３０）
前記提示処理部は、前記統合画像において統合された前記眼科画像の種類を特定可能に、前記統合画像を提示する、前記（２７）〜（２９）のいずれか１項に記載の画像処理装置。
（３１）
前記提示処理部は、前記統合画像と少なくとも１つの前記眼科画像とを併置して提示する、前記（２７）〜（３０）のいずれか１項に記載の画像処理装置。
（３２）
複数種類の眼科観察装置により取得される眼科画像を、眼内位置に対応させて統合し、前記各眼科画像のそれぞれが示している範囲よりも広い範囲の眼内情報を示す１つの統合画像を生成することを含む、画像処理方法。
（３３）
眼科手術中に眼科画像を取得する複数の眼科観察装置と、
前記眼科観察装置によって取得された複数種類の前記眼科画像を、眼内位置に対応させて統合し、前記眼科画像のそれぞれが示している範囲よりも広い範囲の眼内情報を示す１つの統合画像を生成する画像処理装置と、
を含む、眼内画像処理システム。
【符号の説明】
【００８５】
１        眼内画像処理システム
１０ａ    コンタクトレンズ
１０ｂ    広角観察用レンズ
２０      眼内内視鏡
２１      把持部
２１ａ    ３次元マーカー
２３      先端部
３１      角膜輪部血管
３３      トロカール
３５      角膜輪部
３７      隅角
５３      水晶体
５５      硝子体
５６      後極部
５７      網膜
５８      鋸状縁
５９      毛様体扁平部
１００    画像処理装置
１１０    インタフェース部
１２０    制御部
１３０    統合処理部
１４０    提示処理部
２００    画像生成装置
３００    入力装置
４００    出力装置
【図１】
2019230173.tif 000003
【図２】
2019230173.tif 000004
【図３】
2019230173.tif 000005
【図４】
2019230173.tif 000006
【図５】
2019230173.tif 000007
【図６】
2019230173.tif 000008
【図７】
2019230173.tif 000009
【図８】
2019230173.tif 000010
【図９】
2019230173.tif 000011
【図１０】
2019230173.tif 000012
【図１１】
2019230173.tif 000013
【図１２】
2019230173.tif 000014
【図１３】
2019230173.tif 000015
【図１４】
2019230173.tif 000016
【図１５】
2019230173.tif 000017
【図１６】
2019230173.tif 000018
【図１７】
2019230173.tif 000019
【図１８】
2019230173.tif 000020
【図１９】
2019230173.tif 000021
【図２０】
2019230173.tif 000022
【図２１】
2019230173.tif 000023
【図２２】
2019230173.tif 000024
【図２３】
2019230173.tif 000025
【図２４】
2019230173.tif 000026
【図２５】
2019230173.tif 000027
【図２６】
2019230173.tif 000028
【図２７】
2019230173.tif 000029
【図２８】
2019230173.tif 000030
【国際調査報告】
2019230173.tif 000031
2019230173.tif 000032
2019230173.tif 000033
2019230173.tif 000034