(57)【要約】【課題】眼の施術において適切な施術ガイド情報を提示することが可能な情報処理装置、情報処理方法及び手術顕微鏡装置を提供すること。【解決手段】本技術に係る情報処理装置は、画像認識部と、制御部とを具備する。画像認識部は、施術対象の眼について術中に取得された術中画像に対して画像認識を行う。制御部は、画像認識部による認識結果に基づいて、施術対象の眼の断層画像を取得するための断層面を決定する。【選択図】図１６
2016073409.tif 000002
【特許請求の範囲】
【請求項１】
施術対象の眼について術中に取得された術中画像に対して画像認識を行う画像認識部と、
前記画像認識部による認識結果に基づいて、施術対象の眼の断層画像を取得するための断層面を決定する制御部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記画像認識部は、前記術中画像において術具の像を認識し、
前記制御部は、前記術具の像に基づいて前記断層面を決定する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記制御部は、前記術具の先端が位置する面を前記断層面として決定する
情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記制御部は、前記術具の長手方向を基準として前記断層面を決定する
情報処理装置。
【請求項５】
請求項１に記載の情報処理装置であって、
前記画像認識部は、施術対象の眼について術前に取得された術前画像と前記術中画像を比較し、
前記制御部は、前記術前画像と前記術中画像の比較結果に基づいて前記断層面を決定する
情報処理装置。
【請求項６】
請求項５に記載の情報処理措置であって、
前記制御部は、前記比較結果に基づいて、前記術前画像において指定された創口作成位置の前記術中画像における位置を特定し、前記術中画像における創口作成位置に基づいて前記断層面を決定する
情報処理装置。
【請求項７】
請求項６に記載の情報処理措置であって、
前記制御部は、前記術中画像における創口作成位置を通過する面を前記断層面として決定する
情報処理装置。
【請求項８】
請求項６に記載の情報処理装置であって、
前記画像認識部は、さらに、前記術中画像において眼球部位を認識し、
前記制御部は、前記術中画像における創口作成位置と眼球部位に基づいて前記断層面を決定する
情報処理装置。
【請求項９】
請求項１に記載の情報処理装置であって、
前記制御部は、施術対象の眼の画像情報を取得する画像情報取得部を、前記断層面の断層画像を取得するように制御する
情報処理装置。
【請求項１０】
請求項１に記載の情報処理装置であって、
前記断層面の断層画像に基づいて施術のためのガイド情報を生成するガイド情報生成部
をさらに具備する情報処理装置。
【請求項１１】
請求項１０に記載の情報処理装置であって、
前記ガイド情報は、前記断層面の断層画像、施術の目標位置情報、術具と眼球部位との距離情報の少なくとも１つを含む
情報処理装置。
【請求項１２】
請求項１１に記載の情報処理装置であって、
前記制御部は、施術対象の眼の画像情報を取得する画像情報取得部を、前記断層面に対応する術中および術前の断層画像を取得するように制御し、
前記ガイド情報生成部は、前記術前の断層画像において術前に指定された位置に基づいて、前記術中の断層画像における前記施術の目標位置情報を生成する
情報処理装置。
【請求項１３】
請求項１１に記載の情報処理装置であって、
前記ガイド情報生成部によって生成されたガイド情報に対応する画像または音声をユーザに提示するガイド情報提示部
をさらに具備する情報処理装置。
【請求項１４】
画像認識部が、施術対象の眼について術中に取得された術中画像に対して画像認識を行い、
制御部が、前記画像認識部による認識結果に基づいて、施術対象の眼の断層画像を取得するための断層面を決定する
情報処理方法。
【請求項１５】
施術対象の眼の画像情報を取得する画像情報取得部と、
前記画像情報取得部によって、施術対象の眼について術中に取得された術中画像に対して画像認識を行う画像認識部と、
前記画像認識部による認識結果に基づいて、施術対象の眼の断層画像を取得するための断層面を決定し、前記画像情報取得部を、前記断層面の断層画像を取得するように制御する制御部と
を具備する手術顕微鏡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、眼に対する施術をガイドする情報処理装置、情報処理方法及び手術顕微鏡装に関する。
【背景技術】
【０００２】
近年、眼に対する施術において、施術ガイド装置の利用が進んでいる。施術ガイド装置は、施術対象の眼の画像情報から施術のガイドとなるガイド情報を生成し、ユーザに提示する。ユーザはガイド情報を参照しながら施術を行うことが可能であり、ユーザの経験不足を補い、あるいは施術ミスの発生を防止し、また施術の精度向上を助けることが可能となる。
【０００３】
施術ガイド情報としては、ＯＣＴ（Optical Coherence Tomography：光干渉断層計）による断層画像が挙げられる。ＯＣＴは、施術対象の眼に近赤外光を照射し、眼の各組織による反射波を再構成して像を生成する技術であり、特定の断層面における眼の断層画像が得られる。例えば、特許文献１には、ＯＣＴによって取得された眼の断層画像をユーザに提示する眼科解析装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１４０４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＯＣＴによって断層画像を取得する場合、その断層面を指定する必要がある。しかしながら術者の参照したい断層面が動的に変化することや施術中にも眼球は運動すること等の理由で、施術ガイド情報として最も適する断層面を迅速に指定することは容易ではない。
【０００６】
以上のような事情に鑑み、本技術の目的は、眼の施術において適切な施術ガイド情報を提示することが可能な情報処理装置、情報処理方法及び手術顕微鏡装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、画像認識部と、制御部とを具備する。
上記画像認識部は、施術対象の眼について術中に取得された術中画像に対して画像認識を行う。
上記制御部は、上記画像認識部による認識結果に基づいて、施術対象の眼の断層画像を取得するための断層面を決定する。
【０００８】
この構成によれば、術中画像の画像認識結果に基づいて断層面が決定されるため、ユーザが断層面を指定する必要がなく、かつ断層面が術中画像の内容（眼や術具の位置や向き等）に応じて決定されるため、情報処理装置が適切な断層画像を生成することが可能となる。
【０００９】
上記画像認識部は、上記術中画像において術具の像を認識し、
上記制御部は、上記術具の像に基づいて上記断層面を決定してもよい。
【００１０】
この構成によれば、術具の位置や姿勢に応じた断層画像を生成することが可能となる。
【００１１】
上記制御部は、上記術具の先端が位置する面を上記断層面として決定してもよい。
【００１２】
この構成によれば、術具の先端の位置を含む断層画像が生成されるため、ユーザが施術の態様（眼球部位に対する術具の深さ等）を容易に把握することが可能となる。
【００１３】
上記制御部は、上記術具の長手方向を基準として上記断層面を決定してもよい。
【００１４】
この構成によれば、術具の長手方向に沿った断層面や長手方向に直交する断層面等の断層画像を生成することが可能となる。
【００１５】
上記画像認識部は、施術対象の眼について術前に取得された術前画像と上記術中画像を比較し、
上記制御部は、上記術前画像と上記術中画像の比較結果に基づいて上記断層面を決定してもよい。
【００１６】
この構成によれば、術前画像を利用した術前計画を断層面の決定に反映させることが可能となる。
【００１７】
上記制御部は、上記比較結果に基づいて、上記術前画像において指定された創口作成位置の上記術中画像における位置を特定し、上記術中画像における創口作成位置に基づいて上記断層面を決定してもよい。
【００１８】
この構成によれば、術前画像において指定された創口作成位置の、術中における位置が特定され、創口作成位置に応じた断層画像を生成することが可能となる。
【００１９】
上記制御部は、上記術中画像における創口作成位置を通過する面を上記断層面として決定してもよい。
【００２０】
この構成によれば、術前において指定した創口作成位置の、術中における位置の断層画像を生成することが可能となる。
【００２１】
上記画像認識部は、さらに、上記術中画像において眼球部位を認識し、
上記制御部は、上記術中画像における創口作成位置と眼球部位に基づいて上記断層面を決定してもよい。
【００２２】
この構成によれば、術中における創口作成位置と眼球部位（例えば瞳孔の中心等）に応じた断層画像を生成することが可能となる。
【００２３】
上記制御部は、施術対象の眼の画像情報を取得する画像情報取得部を、上記断層面の断層画像を取得するように制御してもよい。
【００２４】
この構成によれば、制御部は画像情報取得部（ＯＣＴ等の撮像機構）に、制御部が決定した断層面の断層画像を取得させることが可能となる。
【００２５】
上記情報処理装置は、上記断層面の断層画像に基づいて施術のためのガイド情報を生成するガイド情報生成部をさらに具備してもよい。
【００２６】
この構成によれば、制御部によって決定された断層面の断層画像に基づいて生成されたガイド情報がユーザに提示される。
【００２７】
上記ガイド情報は、上記断層面の断層画像、施術の目標位置情報、術具と眼球部位との距離情報の少なくとも１つを含んでもよい。
【００２８】
この構成によればユーザはこれらのガイド情報を参照して施術を行うことが可能となる。
【００２９】
上記制御部は、施術対象の眼の画像情報を取得する画像情報取得部を、上記断層面に対応する術中および術前の断層画像を取得するように制御し、
上記ガイド情報生成部は、上記術前の断層画像において術前に指定された位置に基づいて、上記術中の断層画像における上記施術の目標位置情報を生成してもよい。
【００３０】
この構成によれば、術前に取得された断層画像において指定された目標位置を、術中に眼の同一断面について取得された断層画像において特定することが可能となる。
【００３１】
上記情報処理装置は、上記ガイド情報生成部によって生成されたガイド情報に対応する画像または音声をユーザに提示するガイド情報提示部をさらに具備してもよい。
【００３２】
この構成によれば、ガイド情報が画像又は音声によってユーザに提示され、ユーザがガイド情報を参照して施術を行うことが可能となる。
【００３３】
上記目的を達成するため、本技術の一形態に係る情報処理方法は、
画像認識部が、施術対象の眼について術中に取得された術中画像に対して画像認識を行い、
制御部が、上記画像認識部による認識結果に基づいて、施術対象の眼の断層画像を取得するための断層面を決定する。
【００３４】
上記目的を達成するため、本技術の一形態に係る手術顕微鏡装置は、画像情報取得部と、画像認識部と、制御部とを具備する。
上記画像情報取得部は、施術対象の眼の画像情報を取得する。
上記画像認識部は、上記画像情報取得部によって、施術対象の眼について術中に取得された術中画像に対して画像認識を行う。
上記制御部は、上記画像認識部による認識結果に基づいて、施術対象の眼の断層画像を取得するための断層面を決定し、上記画像情報取得部を、上記断層面の断層画像を取得するように制御する。
【発明の効果】
【００３５】
以上のように、本技術によれば、眼の施術において適切な施術ガイド情報を提示することが可能な情報処理装置、情報処理方法及び手術顕微鏡装置を提供することが可能である。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００３６】
【図１】本技術の実施形態に係る手術顕微鏡装置の構成を示すブロック図である。
【図２】同手術顕微鏡装置の画像情報取得部の構成を示すブロック図である。
【図３】同手術顕微鏡装置の画像情報取得部の構成を示すブロック図である。
【図４】同手術顕微鏡装置の画像情報取得部の構成を示すブロック図である。
【図５】同手術顕微鏡装置の画像情報取得部の構成を示すブロック図である。
【図６】同手術顕微鏡装置の画像情報取得部の構成を示すブロック図である。
【図７】同手術顕微鏡装置の画像情報取得部の構成を示すブロック図である。
【図８】同手術顕微鏡装置の画像情報取得部の構成を示すブロック図である。
【図９】同手術顕微鏡装置の画像情報取得部の構成を示すブロック図である。
【図１０】同手術顕微鏡装置のハードウェア構成を示すブロック図である。
【図１１】同手術顕微鏡装置の利用が可能な白内障手術の施術プロセスを示す模式図である。
【図１２】同手術顕微鏡装置の利用が可能な白内障手術の施術プロセスを示す模式図である。
【図１３】同手術顕微鏡装置の利用が可能な白内障手術の施術プロセスを示す模式図である。
【図１４】同手術顕微鏡装置の動作を示すフローチャートである。
【図１５】同手術顕微鏡装置の画像情報取得部によって取得される術中画像の例である。
【図１６】同手術顕微鏡装置の制御部によって決定される断層面を示す模式図である。
【図１７】同手術顕微鏡装置の画像情報取得部によって取得される断層画像の例である。
【図１８】同手術顕微鏡装置のガイド情報生成部によって生成されるガイド情報の例である。
【図１９】同手術顕微鏡装置の制御部によって決定される断層面を示す模式図である。
【図２０】同手術顕微鏡装置の画像情報取得部によって取得される断層画像の例である。
【図２１】同手術顕微鏡装置の画像情報取得部によって取得される断層画像の例である。
【図２２】同手術顕微鏡装置の画像情報取得部によって取得される術前画像の例である。
【図２３】同手術顕微鏡装置の制御部によって決定される断層面を示す模式図である。
【図２４】同手術顕微鏡装置の画像情報取得部によって取得される術前の断層画像の例である。
【図２５】同手術顕微鏡装置のガイド情報生成部によって生成されるガイド情報の例である。
【図２６】同手術顕微鏡装置のガイド情報生成部によって生成されるガイド情報の例である。
【図２７】同手術顕微鏡装置のガイド情報生成部によって生成されるガイド情報の例である。
【図２８】同手術顕微鏡装置のガイド情報生成部によって生成されるガイド情報の例である。
【図２９】同手術顕微鏡装置のガイド情報生成部によって生成されるガイド情報の例である。
【図３０】同手術顕微鏡装置のガイド情報生成部によって生成されるガイド情報の例である。
【図３１】同手術顕微鏡装置のガイド情報生成部によって生成されるガイド情報の例である。
【発明を実施するための形態】
【００３７】
以下、本技術の実施形態に係る手術顕微鏡装置について説明する。
【００３８】
［手術顕微鏡装置の構成］
図１は、本実施形態に係る手術顕微鏡装置１００の構成を示すブロック図である。同図に示すように、手術顕微鏡装置１００は、画像情報取得部１０１、画像認識部１０２、インターフェース部１０３、制御部１０４、ガイド情報生成部１０５及びガイド情報提示部１０６を具備する。また、画像認識部１０２、インターフェース部１０３、制御部１０４及びガイド情報生成部１０５は情報処理装置１２０によって実現されている。
【００３９】
画像情報取得部１０１は、施術対象の眼の画像情報を取得する。画像情報取得部１０１は、顕微鏡像や断層画像、ボリュームデータといった画像情報の取得等が可能な各種構成を有する。画像情報取得部１０１の各種構成ついては後述する。
【００４０】
画像認識部１０２は、画像情報取得部１０１によって取得された画像情報において、画像認識処理を実行する。具体的には、画像認識部１０２は、画像情報に含まれる術具の像や眼球の部位（瞳孔等）を認識する。画像認識処理は、エッジ検出やパターンマッチング等の方法によって画像認識処理を実行するものとすることができる。画像認識部１０２は、認識結果を制御部１０４に供給する。
【００４１】
インターフェース部１０３は、施術前に撮像された施術対象の眼の画像や手術計画、ユーザから入力される指示等を取得する。また、インターフェース部１０３は、光学式位置計測装置によって計測された術具の位置や姿勢を取得してもよい。インターフェース部１０３は取得した情報を制御部１０４に供給する。
【００４２】
制御部１０４は、画像認識部１０２による認識処理結果に基づいて断層面を決定する。具体的には制御部１０４は、画像情報に含まれる術具の位置や角度、眼球部位等に基づいて断層面を決定することができる。断層面の決定の詳細については後述する。
【００４３】
また、制御部１０４は、決定した断層面の断層画像を取得するように、画像情報取得部１０１を制御する。この他にも、制御部１０４は手術顕微鏡装置１００の各構成を制御することができる。
【００４４】
ガイド情報生成部１０５は、施術をガイドするガイド情報を生成する。ガイド情報は、制御部１０４によって決定された断層面の断層画像や、施術の目標線、術具と眼球部位の距離等である。ガイド情報生成部１０５は、生成したガイド情報をガイド情報提示部１０６に供給する。ガイド情報生成部１０５は、ガイド情報を含む画像を生成し、ガイド情報提示部１０６に供給する。また、ガイド情報生成部１０５は、ガイド情報を音声として生成し、ガイド情報提示部１０６に供給してもよい。
【００４５】
ガイド情報提示部１０６は、ガイド情報をユーザに提示する。ガイド情報提示部１０６はディスプレイであり、ガイド情報生成部１０５によって生成されたガイド情報を含む画像を表示するものとすることができる。また、ガイド情報提示部１０６はスピーカーであり、ガイド情報生成部１０５によって生成されたガイド情報を含む音声を再生するものとすることもできる。
【００４６】
［画像情報取得部について］
画像情報取得部１０１は、各種構成を有するものとすることができる。図２乃至図９は、画像情報取得部１０１の各種構成を示すブロック図である。
【００４７】
図２に示すように、画像情報取得部１０１は、正面単眼画像取得部１０１１と断層情報取得部１０１２を備えていてもよい。正面単眼画像取得部１０１１は、カメラ付き顕微鏡等とすることができ、施術対象の眼の顕微鏡画像を撮像することが可能である。断層情報取得部１０１２は、ＯＣＴ（Optical Coherence Tomography：光干渉断層計）やシャインプルーフカメラであるものとすることができ、施術対象の眼の断層画像を撮像することが可能である。
【００４８】
また、図３に示すように、画像情報取得部１０１は、正面ステレオ画像取得部１０１３と、断層情報取得部１０１２を備えていてもよい。正面ステレオ画像取得部１０１３は、ステレオカメラ付き顕微鏡等とすることができ、施術対象の眼の顕微鏡ステレオ画像を撮像することが可能である。
【００４９】
また、図４に示すように、画像情報取得部１０１は、正面単眼画像取得部１０１１とボリュームデータ取得部１０１４を備えていてもよい。ボリュームデータ取得部１０１４は、ＯＣＴ等の断層画像撮像機構であるものとすることができ、断層画像を連続的に撮像することによって、施術対象の眼のボリュームデータ（三次元像）を取得することが可能である。
【００５０】
また、図５に示すように、画像情報取得部１０１は、正面ステレオ画像取得部１０１３とボリュームデータ取得部１０１４を備えていてもよい。
【００５１】
また、画像情報取得部１０１は、図６に示すように、正面単眼画像取得部１０１１のみから構成されていてもよく、図７に示すように、正面ステレオ画像取得部１０１３のみから構成されていてもよい。
【００５２】
さらに画像情報取得部１０１は、図８に示すように、断層情報取得部１０１２のみから構成されていてもよく、図９に示すように、ボリュームデータ取得部１０１４のみから構成されていてもよい。
【００５３】
［ハードウェア構成］
上記のような情報処理装置１２０の機能的構成は、以下に示すハードウェア構成によって実現することが可能である。
【００５４】
図１０は、情報処理装置１２０のハードウェア構成を示す模式図である。同図に示すように情報処理装置１２０はハードウェア構成として、ＣＰＵ１２１、メモリ１２２、ストレージ１２３及び入出力部（Ｉ／Ｏ）１２４を有する。これらはバス１２５によって互いに接続されている。
【００５５】
ＣＰＵ（Central Processing Unit）１２１は、メモリ１２２に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１２２に格納する。ＣＰＵ１２１はマイクロプロセッサであるものとすることができる。
【００５６】
メモリ１２２はＣＰＵ１２１によって実行されるプログラム及びデータを格納する。メモリ１２２はＲＡＭ（Random Access Memory）であるものとすることができる。
【００５７】
ストレージ１２３は、プログラムやデータを格納する。ストレージ１２３はＨＤＤ（Hard disk drive）やＳＳＤ（solid state drive）であるものとすることができる。
【００５８】
入出力部１２４は情報処理装置１２０に対する入力を受け付け、また情報処理装置１２０の出力を外部に供給する。入出力部１２４は、キーボードやマウス等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェースを含む。
【００５９】
情報処理装置１２０のハードウェア構成はここに示すものに限られず、情報処理装置１２０の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。
【００６０】
［眼科手術の概要］
手術顕微鏡装置１００の利用が可能な白内障手術の概要について説明する。図１１乃至図１３は白内障手術のプロセスを示す模式図である。これらの図に示すように、眼球は、角膜３０１、虹彩３０２、水晶体３０３及び強膜３０４等の組織で構成されている。水晶体３０３の表面において虹彩３０２の間が瞳孔３０５であり、角膜３０１の外周が角膜輪部３０６である。角膜３０１の両端には隅角３０７が位置する。
【００６１】
図１１に示すように、白内障手術においては、ナイフ等の術具４０１によって角膜３０１に創口３０１ａを形成する。図１２は角膜３０１の拡大図であり、術具４０１の挿入経路Ｒを示す。術後の創口３０１ａを閉塞させるため、術具４０１を同図に示すように角膜３０１に段状に挿入し、創口３０１ａが３つの切開面により構成されるように形成する方法が広く用いられている。挿入経路Ｒは、角膜３０１の表面の角膜上皮３０１ｂあるいは角膜３０１の裏面の角膜内皮３０１ｃとの距離を基準として決定される。
【００６２】
続いて、図１３に示すように、創口３０１ａから吸引用の術具４０１を挿入し、水晶体３０３の内部（核や皮質）を吸引、除去する。その後、水晶体３０３を除去した位置に眼内レンズを挿入して手術が完了する。水晶体３０３の除去においては、術具４０２が水晶体３０３の後嚢３０３ａに押圧され、あるいは後嚢３０３ａを吸引することによって後嚢３０３ａが破損すると眼内レンズの挿入が困難となるため、後嚢３０３ａが破損しないように注意する必要がある。
【００６３】
なお、ここに示した白内障手術は、手術顕微鏡装置１００の利用が可能な眼科手術の例であり、手術顕微鏡装置１００は各種の眼科手術において利用することが可能である。
【００６４】
［手術顕微鏡装置の動作］
手術顕微鏡装置１００の動作について説明する。図１４は、手術顕微鏡装置１００の動作を示すフローチャートである。
【００６５】
ユーザによって開始指示が入力されると、制御部１０４はインターフェース部１０３を介して開始指示を受け付け、処理を開始する。制御部１０４は、画像情報取得部１０１を制御して施術対象の眼の画像情報を取得する（Ｓｔ１０１）。図１５は、画像情報取得部１０１によって取得された術中の施術対象の眼の画像の例である。以下この画像を術中画像Ｇ１とする。術中画像Ｇ１には、術具４０１、瞳孔３０５、虹彩３０２、開瞼器により広げられた目蓋３０８や血管３０９が含まれている。なお、角膜３０１は透明であるため、図中には表されていない。
【００６６】
画像認識部１０２は、制御部１０４による制御を受けて、術中画像Ｇ１に対して画像認識処理を実行する（Ｓｔ１０２）。画像認識部１０２は、術中画像Ｇ１において、術具４０１を認識する。画像認識部１０２は例えば、予め登録された術具４０１のパターンと術中画像Ｇ１を比較することによって、術具４０１を認識することができる。この際、画像認識部１０２は、術具４０１の長手方向や術中画像Ｇ１における位置座標を画像認識結果として抽出するものとすることができる。画像認識部１０２は、画像認識結果を制御部１０４に供給する。
【００６７】
続いて、制御部１０４は、画像認識結果を用いて断層面を決定する（Ｓｔ１０３）。図１６は、制御部１０４が決定した断層面の例を示す模式図である。同図に示すように制御部１０４は、術具４０１の先端位置を通過し、術具４０１の長手方向に平行な面Ｄを断層面として決定することができる。なお、面Ｄは、図１６において線状に表されているが、実際には術中画像Ｇ１の画像面に対して垂直な方向に伸張する面である。制御部１０４は、この他にも画像認識結果を用いて断層面を決定することが可能であるが、それについては後述する。
【００６８】
続いて、制御部１０４は、画像情報取得部１０１を制御し、面Ｄにおける眼の断層画像を取得させる（Ｓｔ１０４）。図１７は、画像情報取得部１０１によって取得された断層画像の例である。以下、この画像を断層画像Ｇ２とする。なお、制御部１０４は、施術対象の眼について取得されたボリュームデータから、面Ｄに対応する断層画像を取得してもよい。
【００６９】
続いて、ガイド情報生成部１０５は、ガイド情報を生成する。図１８は、ガイド情報の例である。同図に示すようにガイド情報生成部１０５は、術中画像Ｇ１と断層画像Ｇ２を重畳させて一つの画像を生成し、ガイド情報とすることができる。また、ガイド情報生成部１０５は、術中画像Ｇ１と断層画像Ｇ２をそれぞれ別のガイド情報としてもよい。ガイド情報生成部１０５は、生成したガイド情報をガイド情報提示部１０６に供給する。
【００７０】
ガイド情報提示部１０６は、ガイド情報生成部１０５から供給されたガイド情報をユーザに提示する（Ｓｔ１０６）。以下、手術顕微鏡装置１００は、ユーザによって終了指示（Ｓｔ１０７：Ｙｅｓ）がなされるまで、上記各ステップを繰り返し実行する。ユーザによって術具４０１の位置や姿勢が変更されると、それに応じて断層面が決定され、新たな断層画像Ｇ２が生成される。
【００７１】
手術顕微鏡装置１００は以上のような動作を行う。上記のように術具４０１の位置や姿勢に応じて新たな断層画像が提示されるため、ユーザは所望の断層面を指定する必要がない。
【００７２】
［他の断層面決定動作について］
上記のように制御部１０４は、画像認識部１０２による画像認識結果に基づいて、断層面を決定する。制御部１０４は、以下のようにして断層面を決定することも可能である。
【００７３】
制御部１０４は、画像認識部１０２によって認識された術具４０１の先端位置を通過し、術具４０１の長手方向とは異なる面を断層面とすることもできる。図１９は、この場合の術中画像Ｇ１の模式図である。同図において術具４０１の先端位置を通過し、術具４０１の長手方向に平行な面を面Ｄ１とし、術具４０１の先端位置を通過し、術具４０１の長手方向から一定角度相違する面を面Ｄ２とする。制御部１０４は、面Ｄ２を断層面として決定することもできる。面Ｄ１と面Ｄ２の交差角度は任意であり、直交する角度であってもよい。
【００７４】
図２０は面Ｄ１を断層面とした場合の断層画像Ｇ２ａを示し、図２１は面Ｄ２を断層面とした場合の断層画像Ｇ２ｂを示す。図２０に示すように、面Ｄ１を断層面とすると、術具４０１の影となる領域（斜線領域）の断層画像が良好に取得されない。一方で、図２１に示すように、面Ｄ２を断層面とすると、術具４０１の影となる領域（斜線領域）が小さくなり、断層画像が把握しやすくなる。面Ｄ１と面Ｄ２の交差角度が小さい場合には術具４０１の影となる領域は比較的大きいが、面Ｄ２を断層面とする眼の断層は面Ｄ１を断層面とする眼の断層と類似度が高くなるため面Ｄ１を断層面とする断層画像に比べて影となる領域が減少した分だけ面Ｄ２を断層面とする断層画像においては施術対象部位の様子が把握しやすくなる。一方、面Ｄ１と面Ｄ２が直交する場合、術具４０１の影となる領域は最小となる。制御部１０４は、面Ｄ１と面Ｄ２のうちいずれかを断層面として決定してもよく、面Ｄ１と面Ｄ２の両方を断層面として決定してもよい。
【００７５】
ガイド情報生成部１０５は、断層画像Ｇ２ａと断層画像Ｇ２ｂのいずれか一方、又は両方を含むガイド情報を生成することができる。なお、制御部１０４は３つ以上の面を断層面として決定し、各断層面の断層画像を取得させてもよい。
【００７６】
制御部１０４は、術前計画において指定された創口作成位置に基づいて、断層面を決定することも可能である。図２２は、術前に撮像された術前画像の例である。以下、この画像を術前画像Ｇ３とする。ユーザは、術前画像Ｇ３において、創口作成位置Ｍを指定することができる。創口作成位置Ｍは、上記創口作成プロセス（図１１参照）において創口３０１ａを形成する位置である。図２２に記載のように創口作成位置Ｍは図１２における挿入経路Ｒと同様の３つの切開面を表現するために３つの面の投影図の形式で表現することができる。
【００７７】
制御部１０４は、画像情報取得部１０１又はインターフェース部１０３から創口作成位置Ｍが指定された術前画像Ｇ３を取得し、施術開始前の段階で画像認識部１０２に供給する。施術が開始され、術中画像Ｇ１が撮像されると、画像認識部１０２は術中画像Ｇ１と術前画像Ｇ３を比較する。画像認識部１０２は、両画像に含まれる眼球部位（例えば血管３０９）の配置を比較し、両画像における眼の位置や角度の差異を検出することが可能である。画像認識部１０２は、これらの差異を制御部１０４に供給する。
【００７８】
制御部１０４は、画像認識部１０２によって検出された術中画像Ｇ１と術前画像Ｇ３の差異に基づき、術中画像Ｇ１における創口作成位置Ｍを特定する。図２３は、術中画像Ｇ１において特定された創口作成位置Ｍを示す模式図である。制御部１０４は、創口作成位置Ｍを通過する面を断層面として決定することができる。例えば制御部１０４は、図２３に示すように、創口作成位置Ｍと瞳孔３０５の中心を通過する面Ｄを断層面として決定することができる。また、制御部１０４は、角膜輪部３０６の中心等、他の眼球部位と創口作成位置Ｍを通過する面を断層面として決定してもよい。
【００７９】
なお、ユーザは術前画像Ｇ３において、創口作成位置Ｍではなく、断層画像を参照したい断層面を指定してもよい。制御部１０４は、上記のように術中画像Ｇ１と術前画像Ｇ３の差異に基づいて、術前画像Ｇ３において指定された断層面に相当する面を術中画像Ｇ１において特定し、断層面として決定することも可能である。
【００８０】
［他のガイド情報生成動作について］
上記のようにガイド情報生成部１０５は、正面画像と断層画像を含むガイド情報を生成するものとすることができる。また、ガイド情報生成部１０５は、以下のようにしてガイド情報を生成してもよい。
【００８１】
ガイド情報生成部１０５は、上記のようにして取得される断層画像に目標線を重畳し、ガイド情報を生成することができる。ユーザは術前画像Ｇ３において、任意の断面を指定することができ、制御部１０４は術前において画像情報取得部１０１に、指定された断面の断層画像を取得させる。図２４は、術前に取得された断層画像（以下、断層画像Ｇ４）の模式図である。同図に示すようにユーザは、術前にこの断層画像Ｇ４において、眼球部位（角膜上皮３０１ｂや角膜内皮３０１ｃ等）を参照しながら、目標線Ｌを指定することができる。
【００８２】
上記のように、制御部１０４は、施術が開始されると、術中画像Ｇ１と術前画像Ｇ３を比較し、両画像の差異に基づいて断層面とする面を決定する（図２３参照）。制御部１０４は、決定した断層面の断層画像Ｇ２を取得するように画像情報取得部１０１を制御する。ガイド情報生成部１０５は、断層画像Ｇ４と断層画像Ｇ２を比較し、両画像の差異を検出する。両画像の差異は、断層画像における２つ以上の特徴点（例えば隅角３０７等）を用いて検出することができる。
【００８３】
図２５は、断層画像Ｇ２を含むガイド情報の例である。同図に示すように、ガイド情報生成部１０５は、両画像の差異に基づいて、断層画像Ｇ４において指定された目標線Ｌと同一の位置関係となるように、断層画像Ｇ２において目標線Ｌを配置したガイド情報を生成することができる。これによりユーザは、術前計画において設定した目標線Ｌを、術中に、術前計画と同一の断面における断層画像において参照することが可能となる。
【００８４】
また、ガイド情報生成部１０５は、施術の進行に伴って、目標線Ｌを動的に変更させてもよい。図２６は、創口作成プロセス（図１１参照）における断層画像Ｇ２を含むガイド情報の模式図である。同図においては、術具４０１による角膜３０１の切開が途中まで進行している。ガイド情報生成部１０５は、目標線Ｌと角膜内皮３０１ｃの距離（図中ｒ）が術前計画と同一となるように目標線Ｌを変形させるものとすることができる。
【００８５】
また、ガイド情報生成部１０５は、目標線Ｌと角膜上皮３０１ｂの距離を基準として目標線Ｌを変形させてもよい。さらに、ガイド情報生成部１０５は、切開が終了した部分については目標線Ｌを消去することができる。これにより、切開による角膜の変形を反映して目標線Ｌを表示することが可能となる。
【００８６】
さらに、ガイド情報生成部１０５は、角度情報を含むガイド情報を生成してもよい。図２７は、断層画像Ｇ２を含むガイド情報の模式図である。断層画像Ｇ２においては、目標角度Ａ１が示されている。ガイド情報生成部１０５は、断層画像Ｇ２において、術具先端部の位置での目標線Ｌの角度を目標角度とすることができる。図２７においては術具４０１が角膜３０１に挿入されていないため、目標角度Ａ１は、目標線Ｌの挿入開始側端部の角度である。
【００８７】
ガイド情報生成部１０５は、角度情報を表すインジケータを生成してもよい。図２８は、角度情報を示す角度インジケータＥ１の例である。角度インジケータＥ１において、破線が目標角度Ａ１であり、実線が術具４０１の角度である実際角度Ａ２である。ガイド情報生成部１０５は、制御部１０４を経由して画像認識部１０２において計測（認識）された術具４０１の角度を取得する。画像認識部１０２は断層画像Ｇ２に対する画像認識により術具４０１の角度を取得してもよく、正面ステレオ画像取得部１０１３によって撮影された正面ステレオ画像に対する画像認識により同角度を取得してもよく、また光学式位置計測装置によって計測された術具４０１の角度をインターフェース部１０３から取得してもよい。なお、インジケータＥ１における目標角度Ａ１は目標線Ｌの断層画像Ｇ２における角度をそのまま用いず、水平方向等の任意の固定角度としてもよい。この場合、インジケータにおける目標角度と術具角度の相対角度が計測（認識）された目標角度と術具角度の相対角度と一致するようにすることができる。
【００８８】
また、ガイド情報生成部１０５は、術具４０１の先端と眼球部位の距離情報を含むガイド情報を生成してもよい。図２９は、距離情報を示す距離インジケータＥ２の例である。距離インジケータＥ２において、距離Ｋは術具先端と眼球組部位の距離を表し、実際の距離に応じて伸縮する。ガイド情報生成部１０５は、制御部１０４を経由して画像認識部１０２において計測（認識）された同距離を取得する。画像認識部１０２は断層画像Ｇ２に対する画像認識によって、術具先端と眼球部位の距離を取得することができる。また、画像認識部１０２は、正面ステレオ画像取得部１０１３によって撮像された正面ステレオ画像に基づいて、同距離を取得することもできる。
【００８９】
さらに、画像認識部１０２は、術前に取得された断層画像Ｇ４又はボリュームデータにおける特徴点と、術中の断層画像Ｇ２又はボリュームデータにおける特徴点との比較から眼球部位の分布を推定し、術具先端と眼球部位の距離を推定してもよい。また、画像認識部１０２は、光学式位置計測装置によって計測された術具４０１の位置や姿勢に基づいて術具先端の位置を取得し、正面ステレオ画像等における特徴点との位置関係から術具先端と眼球部位の距離を推定してもよい。
【００９０】
なお、上記特徴点は、断層画像における角膜輪部３０６の位置やボリュームデータにおける角膜輪部３０６、角膜３０１の頂点等とすることができる。
【００９１】
術具先端との距離を取得する眼球部位は特に限定されないが、後嚢３０３ａ、角膜内皮３０１ｃ、眼球表面等が好適である。術具先端と後嚢３０３ａの距離は、水晶体の吸引プロセス（図１３参照）における後嚢３０３ａの破損防止に有効であり、術具先端と角膜内皮３０１ｃの距離は、水晶体の吸引プロセスや眼内レンズの位置調整時に術具先端と角膜内皮３０１ｃの距離の把握に有効である。また、術具先端と眼球表面の距離は、創口作成プロセス（図１１参照）における眼球表面と術具先端の距離の把握に有効である。
【００９２】
図３０及び図３１は、ガイド情報生成部１０５によって生成されるガイド情報の例である。図３０に示すように、ガイド情報は、術中画像Ｇ１、目標線Ｌを含む断層画像Ｇ２、角度インジケータＥ１、創口作成位置Ｍ、断層画像Ｇ２が取得された面Ｄを含むものとすることができる。また、図３１に示すように、ガイド情報は、断層画像Ｇ２ａ、断層画像Ｇ２ｂ、断層画像Ｇ２ａが取得された面Ｄ１、断層画像Ｇ２ｂが取得された面Ｄ２、距離インジケータＥ２及びボリュームデータＧ５を含むものとすることも可能である。ガイド情報はこれらうちのいずれかを含むものであってもよい。
【００９３】
なお、ガイド情報生成部１０５は、ガイド情報を画像ではなく、音声で生成してもよい。具体的には、ガイド情報生成部１０５は、上述した術具先端と眼球部位の距離に応じて周波数を変動させ、あるいは音量を変動させたアラーム音をガイド情報としてもよい。また、ガイド情報生成部１０５は、術具が目標線Ｌ（図２８参照）より上を向いていれば高周波音、目標線より下を向いていれば低周波音とし、目標線からのずれの大きさに応じて音量を可変させたアラーム音をガイド情報とすることも可能である。
【００９４】
なお、本技術は以下のような構成も採ることができる。
【００９５】
（１）
施術対象の眼について術中に取得された術中画像に対して画像認識を行う画像認識部と、
上記画像認識部による認識結果に基づいて、施術対象の眼の断層画像を取得するための断層面を決定する制御部と
を具備する情報処理装置。
【００９６】
（２）
上記（１）に記載の情報処理装置であって、
上記画像認識部は、上記術中画像において術具の像を認識し、
上記制御部は、上記術具の像に基づいて上記断層面を決定する
情報処理装置。
【００９７】
（３）
上記（１）又は（２）に記載の情報処理装置であって、
上記制御部は、上記術具の先端が位置する面を上記断層面として決定する
情報処理装置。
【００９８】
（４）
上記（１）から（３）のいずれか一つに記載の情報処理装置であって、
上記制御部は、上記術具の長手方向を基準として上記断層面を決定する
情報処理装置。
【００９９】
（５）
上記（１）から（４）のいずれか一つに記載の情報処理装置であって、
上記画像認識部は、施術対象の眼について術前に取得された術前画像と上記術中画像を比較し、
上記制御部は、上記術前画像と上記術中画像の比較結果に基づいて上記断層面を決定する
情報処理装置。
【０１００】
（６）
上記（１）から（５）のいずれか一つに記載の情報処理装置であって、
上記制御部は、上記比較結果に基づいて、上記術前画像において指定された創口作成位置の上記術中画像における位置を特定し、上記術中画像における創口作成位置に基づいて上記断層面を決定する
情報処理装置。
【０１０１】
（７）
上記（１）から（６）のいずれか一つに記載の情報処理措置であって、
上記制御部は、上記術中画像における創口作成位置を通過する面を上記断層面として決定する
情報処理装置。
【０１０２】
（８）
上記（１）から（７）のいずれか一つに記載の情報処理装置であって、
上記画像認識部は、さらに、上記術中画像において眼球部位を認識し、
上記制御部は、上記術中画像における創口作成位置と眼球部位に基づいて上記断層面を決定する
情報処理装置。
【０１０３】
（９）
上記（１）から（８）のいずれか一つに記載の情報処理装置であって、
上記制御部は、施術対象の眼の画像情報を取得する画像情報取得部を、上記断層面の断層画像を取得するように制御する
情報処理装置。
【０１０４】
（１０）
上記（１）から（９）のいずれか一つに記載の情報処理装置であって、
上記断層面の断層画像に基づいて施術のためのガイド情報を生成するガイド情報生成部
をさらに具備する情報処理装置。
【０１０５】
（１１）
上記（１）から（１０）のいずれか一つに記載の情報処理装置であって、
上記ガイド情報は、上記断層面の断層画像、施術の目標位置情報、術具と眼球部位との距離情報の少なくとも１つを含む
情報処理装置。
【０１０６】
（１２）
上記（１）から（１１）のいずれか一つに記載の情報処理装置であって、
上記制御部は、施術対象の眼の画像情報を取得する画像情報取得部を、上記断層面に対応する術中および術前の断層画像を取得するように制御し、
上記ガイド情報生成部は、上記術前の断層画像において術前に指定された位置に基づいて、上記術中の断層画像における上記施術の目標位置情報を生成する
情報処理装置。
【０１０７】
（１３）
上記（１）から（１２）のいずれか一つに記載の情報処理装置であって、
上記ガイド情報生成部によって生成されたガイド情報に対応する画像または音声をユーザに提示するガイド情報提示部
をさらに具備する情報処理装置。
【０１０８】
（１４）
画像認識部が、施術対象の眼について術中に取得された術中画像に対して画像認識を行い、
制御部が、上記画像認識部による認識結果に基づいて、施術対象の眼の断層画像を取得するための断層面を決定する
情報処理方法。
【０１０９】
（１５）
施術対象の眼の画像情報を取得する画像情報取得部と、
上記画像情報取得部によって、施術対象の眼について術中に取得された術中画像に対して画像認識を行う画像認識部と、
上記画像認識部による認識結果に基づいて、施術対象の眼の断層画像を取得するための断層面を決定し、上記画像情報取得部を、上記断層面の断層画像を取得するように制御する制御部と
を具備する手術顕微鏡装置。
【符号の説明】
【０１１０】
１００…手術顕微鏡装置
１０１…画像情報取得部
１０２…画像認識部
１０３…インターフェース部
１０４…制御部
１０５…ガイド情報生成部
１０６…ガイド情報提示部
【図１】
2016073409.tif 000003
【図２】
2016073409.tif 000004
【図３】
2016073409.tif 000005
【図４】
2016073409.tif 000006
【図５】
2016073409.tif 000007
【図６】
2016073409.tif 000008
【図７】
2016073409.tif 000009
【図８】
2016073409.tif 000010
【図９】
2016073409.tif 000011
【図１０】
2016073409.tif 000012
【図１１】
2016073409.tif 000013
【図１２】
2016073409.tif 000014
【図１３】
2016073409.tif 000015
【図１４】
2016073409.tif 000016
【図１５】
2016073409.tif 000017
【図１６】
2016073409.tif 000018
【図１７】
2016073409.tif 000019
【図１８】
2016073409.tif 000020
【図１９】
2016073409.tif 000021
【図２０】
2016073409.tif 000022
【図２１】
2016073409.tif 000023
【図２２】
2016073409.tif 000024
【図２３】
2016073409.tif 000025
【図２４】
2016073409.tif 000026
【図２５】
2016073409.tif 000027
【図２６】
2016073409.tif 000028
【図２７】
2016073409.tif 000029
【図２８】
2016073409.tif 000030
【図２９】
2016073409.tif 000031
【図３０】
2016073409.tif 000032
【図３１】
2016073409.tif 000033