(57)【要約】【課題】高速かつ高精度に眼科手術のためのナビゲーション情報を提示することが可能な情報処理装置を提供すること。【解決手段】本技術に係る情報処理装置は、拡大率取得部と、画像生成部とを具備する。拡大率取得部は、施術対象の眼が撮影された画像である参照画像と、参照画像が撮影された時刻とは異なる時刻に施術対象の眼が撮影された画像である対象画像について、対象画像の参照画像に対する拡大率を取得する。画像生成部は、拡大率取得部によって取得された拡大率に基づいて、眼の施術をガイドするナビゲーション情報を含むナビゲーション画像を生成する。【選択図】図３
2016112358.tif 000002
【特許請求の範囲】
【請求項１】
施術対象の眼が撮影された画像である参照画像と、前記参照画像が撮影された時刻とは異なる時刻に前記眼が撮影された画像である対象画像について、前記対象画像の前記参照画像に対する拡大率を取得する拡大率取得部と、
前記拡大率取得部によって取得された拡大率に基づいて、前記眼の施術をガイドするナビゲーション情報を含むナビゲーション画像を生成する画像生成部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記拡大率取得部は、前記参照画像において検出された物体の像の大きさと、前記対象画像において検出された前記物体の像の大きさの比率に基づいて前記拡大率を取得する
情報処理装置。
【請求項３】
請求項１に記載の情報処理装置であって、
前記拡大率取得部は、前記参照画像が撮影されたときの撮影装置と前記眼の距離と、前記対象画像が撮影されたときの撮影装置と前記眼の距離の比率に基づいて前記拡大率を取得する
情報処理装置。
【請求項４】
請求項１に記載の情報処理装置であって、
前記拡大率取得部は、前記参照画像が撮影されたときの撮影装置のズーム率と、前記対象画像が撮影されたときの撮影装置のズーム率の比率に基づいて前記拡大率を取得する
情報処理装置。
【請求項５】
請求項１に記載の情報処理装置であって、
前記拡大率取得部は、前記参照画像が撮影されたときの撮影装置と前記眼の距離及び撮影装置のズーム率と、前記対象画像が撮影されたときの撮影装置と前記眼の距離及び撮影装置のズーム率の比率に基づいて前記拡大率を取得する
情報処理装置。
【請求項６】
請求項１に記載の情報処理装置であって、
前記画像生成部は、前記拡大率を利用して前記参照画像と前記対象画像の画像マッチングを行い、前記画像マッチングの結果を用いて前記ナビゲーション画像を生成する
情報処理装置。
【請求項７】
請求項６に記載の情報処理装置であって、
前記画像生成部は、前記参照画像と前記対象画像のそれぞれにおいて特徴点を検出する特徴点検出部を備え、
前記特徴点検出部は、前記拡大率を利用して前記対象画像における特徴点を検出する
情報処理装置。
【請求項８】
請求項７に記載の情報処理装置であって、
前記特徴点検出部は、前記参照画像と前記対象画像のそれぞれに対して平滑化画像を生成するためのガウシアンフィルタのスケール範囲を決定するスケール範囲決定部と、前記参照画像と前記対象画像のそれぞれに対して前記スケール範囲決定部により決定されたスケール範囲でＤｏＧ画像を生成するＤｏＧ画像生成部とを備え、
前記スケール範囲決定部は、前記対象画像についてのスケール範囲を前記拡大率によって制限する
情報処理装置。
【請求項９】
請求項６に記載の情報処理装置であって、
前記画像生成部は、前記参照画像と前記対象画像のそれぞれにおいて検出された特徴点をマッチングする特徴点マッチング部を備え、
前記特徴点マッチング部は、前記拡大率を利用して前記マッチングを行う
情報処理装置。
【請求項１０】
請求項９に記載の情報処理装置であって、
前記特徴点マッチング部は、前記参照画像において検出された特徴点と前記対象画像において検出された特徴点のペアである特徴点ペアを選択する特徴点ペア選択部と、前記特徴点ペアのスケール比率によって前記特徴点ペアの正誤を判定するスケール値比較部とを備え、
前記スケール値比較部は、正判定とするスケール比率を前記拡大率によって制限する
情報処理装置。
【請求項１１】
請求項６に記載の情報処理装置であって、
前記画像生成部は、前記参照画像と前記対象画像のそれぞれにおいて特徴点を検出する特徴点検出部と、前記参照画像と前記対象画像のそれぞれにおいて検出された特徴点をマッチングする特徴点マッチング部とを備え、
前記特徴点検出部は、前記拡大率を利用して前記対象画像における特徴点を検出し、
前記特徴点マッチング部は、前記拡大率を利用して前記マッチングを行う
情報処理装置。
【請求項１２】
請求項１に記載の情報処理装置であって、
前記画像生成部は、前記拡大率に応じて異なるナビゲーション情報を含むナビゲーション画像を生成する
情報処理装置。
【請求項１３】
請求項１２に記載の情報処理装置であって、
前記画像生成部は、前記拡大率が閾値未満の場合、所定間隔の目盛りを有する第１のナビゲーション情報を含むナビゲーション画像を生成し、前記拡大率が閾値以上の場合、前記第１のナビゲーション情報より小さい間隔の目盛りを有する第２のナビゲーション情報を含むナビゲーション画像を生成する
情報処理装置。
【請求項１４】
施術対象の眼を撮影する手術顕微鏡と、
前記眼が撮影された画像である参照画像と、前記参照画像が撮影された時刻とは異なる時刻に前記眼が撮影された画像である対象画像について、前記対象画像の前記参照画像に対する拡大率を取得する拡大率取得部と、前記拡大率取得部によって取得された拡大率に基づいて、前記眼の施術をガイドするナビゲーション画像を生成する画像生成部とを備える情報処理装置と
を具備する手術顕微鏡システム。
【請求項１５】
拡大率取得部が、施術対象の眼が撮影された画像である参照画像と、前記参照画像が撮影された時刻とは異なる時刻に前記眼が撮影された画像である対象画像について、前記対象画像の前記参照画像に対する拡大率を取得し、
画像生成部が、前記拡大率取得部によって取得された拡大率に基づいて、前記眼の施術をガイドするナビゲーション画像を生成する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、眼科手術をガイドする情報処理装置、手術顕微鏡システム及び情報処理方法に関する。
【背景技術】
【０００２】
眼科手術等で用いられる施術ガイド装置は、施術対象の眼を撮影した画像にナビゲーション情報を重畳させ、施術者に提示する（例えば、特許文献１参照）。ナビゲーション情報は例えば術具の挿入位置や眼内レンズの挿入位置を示す情報である。具体的には、施術ガイド装置は、術前に検査装置により撮影された眼の画像（以下、検査画像）を施術者に提示する。施術者は検査画像を参照して術具の挿入位置や眼内レンズの向き等を検討し、術前計画として検査画像に対して指定する。
【０００３】
施術ガイド装置は、施術開始前に手術顕微鏡を介して撮像された施術対象の眼の画像（以下、手術画像）と検査画像を比較し、両画像の位置合わせ（レジストレーション）を行った上で検査画像において指定された術前計画をナビゲーション情報として手術画像に重畳させ、施術者に提示する。
【０００４】
施術が開始されると、施術ガイド装置は、眼の動きをトラッキング処理（連続又は任意のフレーム間の位置合わせ）により追跡し、眼の動きに応じてナビゲーション情報を更新する。施術者はナビゲーション情報を参照しながら施術を行うことにより、経験不足を補い、あるいは手術の安全性や術後ＱｏＬ（quality of life）を向上させることが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−１２１６４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のように、ナビゲーション情報は、検査画像と手術画像の間での位置合わせや手術画像同士での位置合わせに基づいてその配置が決定される。ここで、画像間においては回転やスケール変化、照明変化等が生じる場合がある。施術ガイド装置は、このような撮像条件の変化に応じて高速かつ高精度にナビゲーション情報を更新する必要がある。しかしながら、位置合わせ処理は計算量も多く、処理速度と精度を両立させることは容易ではない。
【０００７】
以上のような事情に鑑み、本技術の目的は、高速かつ高精度に眼科手術のためのナビゲーション情報を提示することが可能な情報処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、拡大率取得部と、画像生成部とを具備する。
上記拡大率取得部は、施術対象の眼が撮影された画像である参照画像と、上記参照画像が撮影された時刻とは異なる時刻に上記眼が撮影された画像である対象画像について、上記対象画像の上記参照画像に対する拡大率を取得する。
上記画像生成部は、上記拡大率取得部によって取得された拡大率に基づいて、上記眼の施術をガイドするナビゲーション情報を含むナビゲーション画像を生成する。
【０００９】
この構成によれば、参照画像と対象画像の拡大率に基づいてナビゲーション情報を含むナビゲーション画像が生成される。参照画像と対象画像の拡大率は、これらの画像を撮影する撮影装置（手術顕微鏡等）の拡大倍率や撮影装置と眼の距離等によって変動するが、本情報処理装置は拡大率の変動をナビゲーション画像の生成に利用することが可能である。
【００１０】
上記拡大率取得部は、上記参照画像において検出された物体の像の大きさと、上記対象画像において検出された上記物体の像の大きさの比率に基づいて上記拡大率を取得してもよい。
【００１１】
この構成によれば、拡大率取得部は、参照画像と対象画像に含まれる物体（眼の角膜や
瞳孔、施術者により眼に施されたマーカー等）の大きさの比率を利用して参照画像と対象画像の拡大率を取得することができる。
【００１２】
上記拡大率取得部は、上記参照画像が撮影されたときの撮影装置と上記眼の距離と、上記対象画像が撮影されたときの撮影装置と上記眼の距離の比率に基づいて上記拡大率を取得してもよい。
【００１３】
この構成によれば、拡大率取得部は、撮影装置から取得した撮影装置と施術対象の眼の距離を利用して参照画像と対象画像の拡大率を取得することができる。
【００１４】
上記拡大率取得部は、上記参照画像が撮影されたときの撮影装置のズーム率と、上記対象画像が撮影されたときの撮影装置のズーム率の比率に基づいて上記拡大率を取得してもよい。
【００１５】
この構成によれば、拡大率取得部は、撮影装置から取得した撮影装置のズーム率を利用して参照画像と対象画像の拡大率を取得することができる。
【００１６】
上記拡大率取得部は、上記参照画像が撮影されたときの撮影装置と上記眼の距離及び撮影装置のズーム率と、上記対象画像が撮影されたときの撮影装置と上記眼の距離及び撮影装置のズーム率の比率に基づいて上記拡大率を取得してもよい。
【００１７】
この構成によれば、拡大率取得部は、撮影装置から取得した撮影装置と施術対象の眼の距離と撮影装置のズーム率の両者を利用して参照画像と対象画像の拡大率を取得することができる。
【００１８】
上記画像生成部は、上記拡大率を利用して上記参照画像と上記対象画像の画像マッチングを行い、上記画像マッチングの結果を用いて上記ナビゲーション画像を生成してもよい。
【００１９】
画像マッチングは、マッチングの対象である参照画像と対象画像の拡大率が予め判明していれば、より高速かつ高精度に実行することが可能となる。上記構成によれば、画像生成部は拡大率取得部によって取得された拡大率を利用して高速かつ高精度に画像マッチングを実行することが可能となる。
【００２０】
上記画像生成部は、上記参照画像と上記対象画像のそれぞれにおいて特徴点を検出する特徴点検出部を備え、
上記特徴点検出部は、上記拡大率を利用して上記対象画像における特徴点を検出してもよい。
【００２１】
この構成によれば、特徴点検出部は、予め判明している拡大率を利用して対象画像における特徴点検出の検出速度を高速化させることが可能である。
【００２２】
上記特徴点検出部は、上記参照画像と上記対象画像のそれぞれに対して平滑化画像を生成するためのガウシアンフィルタのスケール範囲を決定するスケール範囲決定部と、上記参照画像と上記対象画像のそれぞれに対して上記スケール範囲決定部により決定されたスケール範囲でＤｏＧ画像を生成するＤｏＧ画像生成部とを備え、
上記スケール範囲決定部は、上記対象画像についてのスケール範囲を上記拡大率によって制限してもよい。
【００２３】
画像マッチング手法であるＳＩＦＴ（Scale-Invariant Feature Transform）においては、画像間のスケール（拡大率）が既知の場合、ＤｏＧ（Difference of Gaussian）値が極値となる標準偏差を推定することができ、その近傍範囲の標準偏差値のみを探索範囲としてＤｏＧ値の極値を探索すればよいため、計算量を削減することが可能である。このため、上記構成によれば、画像間のスケール（拡大率）が未知の場合に比べ、特徴点検出の検出速度を高速化することが可能であり、即ち画像マッチングの速度を高速化することが可能である。
【００２４】
上記画像生成部は、上記参照画像と上記対象画像のそれぞれにおいて検出された特徴点をマッチングする特徴点マッチング部を備え、
上記特徴点マッチング部は、上記拡大率を利用して上記マッチングを行ってもよい。
【００２５】
この構成によれば、特徴点マッチング部は、参照画像と対象画像の特徴点のペアの正誤判定に予め判明している拡大率を利用することができ、特徴点マッチングの精度を向上させることが可能である。
【００２６】
上記特徴点マッチング部は、上記参照画像において検出された特徴点と上記対象画像において検出された特徴点のペアである特徴点ペアを選択する特徴点ペア選択部と、上記特徴点ペアのスケール比率によって上記特徴点ペアの正誤を判定するスケール値比較部とを備え、
上記スケール値比較部は、正判定とするスケール比率を上記拡大率によって制限してもよい。
【００２７】
ＳＩＦＴにおいては、比較対象の画像においてそれぞれ検出された特徴点を特徴量の相関値を利用してペアとし、特徴点ペアを生成する。ここで、特徴量の相関値は画像中のノイズの影響等により攪乱され、相関値が最大のペアが必ずしも正しいペアではない場合がある。上記構成によれば、特徴点マッチング部は、特徴量の相関値に加え、特徴点ペアのスケール比率を比較することによって特徴点ペアの正誤を判定することができ、画像間のスケールが未知の場合に比べ、特徴点マッチングの精度を向上させることが可能である。
【００２８】
上記画像生成部は、上記参照画像と上記対象画像のそれぞれにおいて特徴点を検出する特徴点検出部と、上記参照画像と上記対象画像のそれぞれにおいて検出された特徴点をマッチングする特徴点マッチング部とを備え、
上記特徴点検出部は、上記拡大率を利用して上記対象画像における特徴点を検出し、
上記特徴点マッチング部は、上記拡大率を利用して上記マッチングを行ってもよい。
【００２９】
上記のように画像生成部は、特徴点検出に拡大率を利用することにより、特徴点検出の速度を向上させ、特徴点マッチングに拡大率を利用することにより、特徴点マッチングの精度を向上させることが可能である。即ち画像生成部は、拡大率を利用することにより、画像マッチングの速度と精度を共に向上させることが可能である。
【００３０】
上記画像生成部は、上記拡大率に応じて異なるナビゲーション情報を含むナビゲーション画像を生成してもよい。
【００３１】
この構成によれば、情報処理装置は、拡大率に応じて適したナビゲーション情報を施術者に提示することが可能となる。
【００３２】
上記画像生成部は、上記拡大率が閾値未満の場合、所定間隔の目盛りを有する第１のナビゲーション情報を含むナビゲーション画像を生成し、上記拡大率が閾値以上の場合、上記第１のナビゲーション情報より小さい間隔の目盛りを有する第２のナビゲーション情報を含むナビゲーション画像を生成してもよい。
【００３３】
この構成によれば、施術者が対象画像の拡大率を大きくすると、小さい間隔の目盛りを有する第２のナビゲーション情報が提示され、施術者が対象画像の拡大率を小さくすると、大きい間隔の目盛りを有する第２のナビゲーション情報が提示される。これにより、施術者の意図に応じて適切な目盛りを有するナビゲーション情報が提示され、施術者の利便性を向上させることが可能となる。
【００３４】
上記目的を達成するため、本技術の一形態に係る手術顕微鏡システムは、手術顕微鏡と、情報処理装置とを具備する。
上記手術顕微鏡は、施術対象の眼を撮影する。
上記情報処理装置は、施術対象の眼が撮影された画像である参照画像と、上記参照画像が撮影された時刻とは異なる時刻に上記眼が撮影された画像である対象画像について、上記対象画像の上記参照画像に対する拡大率を取得する拡大率取得部と、上記拡大率取得部によって取得された拡大率に基づいて、上記眼の施術をガイドするナビゲーション画像を生成する画像生成部とを備える。
【００３５】
上記目的を達成するため、本技術の一形態に係る情報処理方法は、拡大率取得部が、施術対象の眼が撮影された画像である参照画像と、上記参照画像が撮影された時刻とは異なる時刻に上記眼が撮影された画像である対象画像について、上記対象画像の上記参照画像に対する拡大率を取得する。
画像生成部が、上記拡大率取得部によって取得された拡大率に基づいて、上記眼の施術をガイドするナビゲーション画像を生成する。
【発明の効果】
【００３６】
以上のように、本技術によれば、高速かつ高精度に眼科手術のためのナビゲーション情報を提示することが可能な情報処理装置を提供することが可能である。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００３７】
【図１】本技術の各実施形態に係る手術顕微鏡システムの利用が可能な眼科手術のプロセスを示す模式図である。
【図２】同手術顕微鏡システムの利用が可能な眼科手術のプロセスを示す模式図である。
【図３】本技術の第１の実施形態に係る手術顕微鏡システムの構成を示す模式図である。
【図４】同手術顕微鏡システムが取得する検査画像及び術前計画の例である。
【図５】同手術顕微鏡システムが出力するナビゲーション画像の例である。
【図６】同手術顕微鏡システムの拡大率取得部の構成及び動作を示すブロック図である。
【図７】同手術顕微鏡システムの角膜検出部によって参照画像において検出された角膜半径を示す模式図である。
【図８】同手術顕微鏡システムの角膜検出部によって対象画像において検出された角膜半径を示す模式図である。
【図９】同手術顕微鏡システムの拡大率取得部の動作を示すフローチャートである。
【図１０】同手術顕微鏡システムのハードウェア構成を示すブロック図である。
【図１１】本技術の第２の実施形態に係る手術顕微鏡システムの構成を示す模式図である。
【図１２】同手術顕微鏡システムの拡大率取得部の構成及び動作を示すブロック図である。
【図１３】同手術顕微鏡システムの拡大率取得部が取得する手術顕微鏡と施術対象の眼の距離を示す模式図である。
【図１４】同手術顕微鏡システムの拡大率取得部の動作を示すフローチャートである。
【図１５】本技術の第３の実施形態に係る手術顕微鏡システムの構成を示す模式図である。
【図１６】同手術顕微鏡システムの拡大率取得部の構成及び動作を示すブロック図である。
【図１７】同手術顕微鏡システムの拡大率取得部の動作を示すフローチャートである。
【図１８】本技術の第４の実施形態に係る手術顕微鏡システムの構成を示す模式図である。
【図１９】同手術顕微鏡システムの拡大率取得部の構成及び動作を示すブロック図である。
【図２０】同手術顕微鏡システムの拡大率取得部の動作を示すフローチャートである。
【図２１】本技術の第５の実施形態に係る手術顕微鏡システムの構成を示す模式図である。
【図２２】ＳＩＦＴにおける、スケールが２倍異なる画像間におけるＤｏＧ極値の関係と探索範囲の設定方法の例を示す模式図である。
【図２３】ＳＩＦＴにおける、スケールが２倍異なる画像間におけるＤｏＧ極値の関係と探索範囲の設定方法の例を示す模式図である。
【図２４】ＳＩＦＴにおける、スケールが２倍異なる画像間におけるＤｏＧ極値の関係と探索範囲の設定方法の例を示す模式図である。
【図２５】同手術顕微鏡システムの画像生成部の構成を示すブロック図である。
【図２６】同手術顕微鏡システムの画像生成部が備える特徴点検出部の構成及び動作を示すブロック図である。
【図２７】同手術顕微鏡システムの画像生成部が備える特徴点検出部の動作を示すフローチャートである。
【図２８】同手術顕微鏡システムの画像生成部が備える特徴点マッチング部の構成及び動作を示すブロック図である。
【図２９】同手術顕微鏡システムの画像生成部が備える特徴点マッチング部の動作を示すフローチャートである。
【図３０】本技術の第６の実施形態に係る手術顕微鏡システムの構成を示す模式図である。
【図３１】同手術顕微鏡システムの画像生成部の構成及び動作を示すブロック図である。
【図３２】同手術顕微鏡システムの画像生成部の動作を示すフローチャートである。
【図３３】同手術顕微鏡システムの画像生成部によって選択されるナビゲーション情報を示すグラフである。
【図３４】同手術顕微鏡システムの画像生成部によって生成されるナビゲーション画像の例である。
【図３５】本技術の第７の実施形態に係る手術顕微鏡システムの構成を示す模式図である。
【図３６】同手術顕微鏡システムの画像生成部の構成及び動作を示すブロック図である。
【図３７】同手術顕微鏡システムの画像生成部の動作を示すフローチャートである。
【図３８】本技術の第８の実施形態に係る手術顕微鏡システムの構成を示す模式図である。
【図３９】同手術顕微鏡システムの顕微鏡制御部の構成及び動作を示すブロック図である。
【図４０】同手術顕微鏡システムの顕微鏡制御部の動作を示すフローチャートである。
【図４１】本技術の第９実施形態に係る手術顕微鏡システムの構成を示す模式図である。
【図４２】同手術顕微鏡システムの画像生成部の構成及び動作を示すブロック図である。
【図４３】同手術顕微鏡システムの画像生成部の動作を示すフローチャートである。
【発明を実施するための形態】
【００３８】
（眼科手術の概要）
本技術の各実施形態に係る手術顕微鏡システムを利用することが可能な眼科手術の概要について説明する。図１及び図２は施術対象の眼Ｅに対する白内障手術のプロセスを示す模式図である。これらの図に示すように、眼Ｅは、角膜１００１、虹彩１００２、水晶体１００３及び強膜１００４等の組織で構成されている。水晶体１００３の表面において虹彩１００２の間が瞳孔１００５であり、角膜１００１の外周が角膜輪部１００６である。
【００３９】
図１に示すように、白内障手術においては、ナイフ等の術具１１００によって角膜１００１に創口１００１ａを形成する。続いて、図２に示すように、創口１００１ａから吸引用の術具１２００を挿入し、水晶体１００３の内部（核や皮質）を吸引、除去する。その後、水晶体３０３を除去した位置に眼内レンズを挿入して手術が完了する。
【００４０】
なお、ここに示した白内障手術は、本技術の各実施形態に係る手術顕微鏡システムの利用が可能な眼科手術の例であり、本技術の各実施形態に係る手術顕微鏡システムは各種の眼科手術において利用することが可能である。また、本技術の各実施形態に係る手術顕微鏡システムは、眼科手術以外の手術に利用することも可能である。
【００４１】
（第１の実施形態）
本技術の第１の実施形態に係る手術顕微鏡システムについて説明する。
【００４２】
［手術顕微鏡システムの構成］
図３は、本実施形態に係る手術顕微鏡システム１の構成を示すブロック図である。同図に示すように、手術顕微鏡システム１は、情報処理装置１０及び手術顕微鏡１５を具備する。
【００４３】
情報処理装置１０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置１０は、手術顕微鏡１５に一体的に構成されていてもよく、手術顕微鏡１５とは独立した装置であってもよい。情報処理装置１０の構成については後述する。
【００４４】
手術顕微鏡１５は、図３に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡１５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡１５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡１５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。
【００４５】
［情報処理装置の構成］
図３に示すように、情報処理装置１０は、画像取得部１１、入力受付部１２、拡大率取得部１３及び画像生成部１４を具備する。
【００４６】
画像取得部１１は、眼Ｅを含む画像を取得する。画像取得部１１は、検査画像、術前画像及び術中画像を取得するものとすることができる。検査画像は、手術開始前に図示しない検査装置によって撮像される眼Ｅを含む画像であり、術前画像は、手術開始時に手術顕微鏡１５によって撮像される眼Ｅを含む画像である。術中画像は、手術中に手術顕微鏡１５によって撮像される眼Ｅを含む画像である。
【００４７】
画像取得部１１は、検査装置や手術顕微鏡１５等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部１１は、取得した各画像を拡大率取得部１３及び画像生成部１４に供給する。
【００４８】
入力受付部１２は、ユーザによる入力を受け付ける。入力受付部１２は、検査画像における術前計画の指定を受け付けるものとすることができる。図４は、検査画像Ｇ１及び検査画像Ｇ１において指定された術前計画の一例を示す模式図である。なお、図４には瞳孔１００５、虹彩１００２、目蓋１００８及び血管１００９が含まれている。
【００４９】
同図に示すように、術前計画には、術具の挿入位置Ｐ１や眼内レンズの向きＰ２等が含まれる。ユーザは手術開始前に検査画像Ｇ１を参照しながら、術具の挿入位置Ｐ１や眼内レンズの向きＰ２を検討し、術前計画として検査画像Ｇ１において指定することができる。入力受付部１２は、術前計画の入力を受け付け、術前計画を画像生成部１４に供給する。
【００５０】
拡大率取得部１３は、検査画像、術前画像及び術中画像の間で画像の拡大率を取得する。拡大率の取得については後述する。拡大率取得部１３は、取得した拡大率を画像生成部１４に供給する。
【００５１】
画像生成部１４は、拡大率取得部１３から供給された拡大率を用いてナビゲーション画像を生成する。画像生成部１４は、手術が開始され、術前画像が撮影されると、検査画像と術前画像の位置合わせ（レジストレーション）を行う。この位置合わせには、ＳＩＦＴ（Scale-Invariant Feature Transform）等の画像マッチング手法が用いられる。画像生成部１４は位置合わせに上記拡大率を利用することができ、その詳細については後述する。
【００５２】
画像生成部１４は、レジストレーションの結果に基づいて、検査画像において指定された術前計画の術前画像における配置を決定し、術前計画をナビゲーション情報として術前画像に重畳させ、ナビゲーション画像を生成する。図５はナビゲーション画像の一例であり、術前画像Ｇ２に、ナビゲーション情報である術具の挿入位置Ｐ１や眼内レンズの向きＰ２が重畳されている。なお、図５には、瞳孔１００５、虹彩１００２、開瞼器により広げられた目蓋１００８及び血管１００９が含まれている。画像生成部１４は生成したナビゲーション画像を図示しないディスプレイに表示させる。
【００５３】
画像生成部１４は、手術が進行し、術中画像が撮影されると、術前画像Ｇ２と術中画像の位置合わせ（トラッキング）を行う。この位置合わせにも、ＳＩＦＴ等の画像マッチング手法が用いられる。画像生成部１４は位置合わせに上記拡大率を利用することができ、その詳細については後述する。
【００５４】
画像生成部１４は、トラッキングの結果に基づいて、術前画像における術前計画の術中画像における配置を決定し、術前計画をナビゲーション情報として術中画像に重畳させ、ナビゲーション画像を生成する（図５参照）。画像生成部１４はナビゲーション画像をディスプレイに表示させ、ナビゲーション画像を更新する。
【００５５】
以後、画像生成部１４は、撮影時刻が異なる術中画像（連続する又は任意の間隔のフレーム）を継続的に取得して術中画像同士の間でトラッキングを行い、術前計画をナビゲーション情報として術中画像に重畳させ、ナビゲーション画像を生成する。
【００５６】
上記のように、画像生成部１４は、レジストレーションにおいては検査画像と術前画像を比較し、トラッキングにおいては術前画像と術中画像、あるいは術中画像同士を比較する。検査画像と術前画像は撮影装置や照明等の撮影条件が異なり、術前画像と術中画像、あるいは術中画像同士も眼の位置や顕微鏡の拡大率が相違している可能性があるためである。
【００５７】
以下、比較において参照される画像、即ち、レジストレーションにおける検査画像、トラッキングにおける術前画像又は撮影時刻が過去の術中画像を「参照画像」とする。また、比較において比較対象となる画像、即ち、レジストレーションにおける術前画像、トラッキングにおいて撮影時刻が最も新しい術中画像を「対象画像」とする。
【００５８】
情報処理装置１０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。
【００５９】
［拡大率取得部の詳細］
上述のように、拡大率取得部１３は、参照画像に対する対象画像の拡大率を取得する。図６は、拡大率取得部１３の構成及び動作を示すブロック図である。同図に示すように、拡大率取得部１３は、角膜検出部１３１、記憶部１３２及び拡大率算出部１３３を具備する。
【００６０】
角膜検出部１３１は、参照画像及び対象画像に含まれる角膜を検出し、角膜中心と角膜半径を取得する。図７は、参照画像Ａ１と、参照画像Ａ１において検出された角膜の周縁Ｓ１、角膜中心Ｃ１及び角膜半径Ｒ１を示す模式図である。図８は、対象画像Ａ２と、対象画像Ａ２において検出された角膜の周縁Ｓ２、角膜中心Ｃ２及び角膜半径Ｒ２を示す模式図である。
【００６１】
角膜検出部１３１は、勾配計算、楕円フィッティング、ハフ変換等の一般的な画像処理方法によって各画像において角膜を検出し、角膜中心及び角膜半径を取得することができる。角膜検出部１３１は、参照画像Ａ１において取得した角膜半径Ｒ１を記憶部１３２に供給し、対象画像Ａ２において取得した角膜半径Ｒ２を拡大率算出部１３３に供給する。
【００６２】
記憶部１３２は、角膜検出部１３１から供給された角膜半径Ｒ１を記憶する。
【００６３】
拡大率算出部１３３は、記憶部１３２から角膜半径Ｒ１を、角膜検出部１３１から角膜半径Ｒ２を取得し、角膜半径Ｒ１と角膜半径Ｒ２を用いて拡大率Ｍを算出する。角膜半径は生理的に不変であるため、各画像における角膜半径の変化は、画像自体の拡大率の変化に相当する。このため、拡大率算出部１３３は、角膜半径Ｒ１と角膜半径Ｒ２の比率、即ちＲ２／Ｒ１を拡大率Ｍとして算出する。
【００６４】
図９は、拡大率取得部１３の動作を示すフローチャートである。同図に示すように、角膜検出部１３１は、参照画像Ａ１を取得する（Ｓｔ１０１）と、参照画像Ａ１において角膜を検出し（Ｓｔ１０２）、角膜半径Ｒ１を記憶部１３２に保存する（Ｓｔ１０３）。続いて、角膜検出部１３１は、対象画像Ａ２を取得する（Ｓｔ１０４）と、対象画像Ａ２において角膜を検出し（Ｓｔ１０５）、拡大率算出部１３３に供給する。拡大率算出部１２３は、角膜半径Ｒ１と角膜半径Ｒ２を用いて拡大率Ｍを算出する（Ｓｔ１０６）。
【００６５】
拡大率取得部１３は、以上のようにして拡大率Ｍを取得し、画像生成部１４に供給する。なお、角膜検出部１３１は、参照画像Ａ１及び対象画像Ａ２において、角膜半径の代わりに瞳孔の半径や施術者により施術対象の眼に直接記されたマーカーの大きさを検出してもよく、拡大率算出部１３３は、その比率から拡大率Ｍを算出してもよい。
【００６６】
画像生成部１４は上述のように、拡大率Ｍを用いて参照画像Ａ１と対象画像Ａ２の位置合わせ（トラッキング又はレジストレーション）を行い、ナビゲーション画像を生成する。位置合わせにおける拡大率Ｍの利用については他の実施形態において説明する。
【００６７】
［ハードウェア構成］
上記のような情報処理装置１０の機能的構成は、以下に示すハードウェア構成によって実現することが可能である。
【００６８】
図１０は、情報処理装置１０のハードウェア構成を示す模式図である。同図に示すように情報処理装置１０はハードウェア構成として、ＣＰＵ１５０１、メモリ１５０２、ストレージ１５０３及び入出力部（Ｉ／Ｏ）１５０４を有する。これらはバス１５０５によって互いに接続されている。
【００６９】
ＣＰＵ（Central Processing Unit）１５０１は、メモリ１５０２に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１５０２に格納する。ＣＰＵ１５０１はマイクロプロセッサであるものとすることができる。
【００７０】
メモリ１５０２はＣＰＵ１５０１によって実行されるプログラム及びデータを格納する。メモリ１５０２はＲＡＭ（Random Access Memory）であるものとすることができる。
【００７１】
ストレージ１５０３は、プログラムやデータを格納する。ストレージ１５０３はＨＤＤ（Hard disk drive）やＳＳＤ（solid state drive）であるものとすることができる。
【００７２】
入出力部１５０４は情報処理装置１０に対する入力を受け付け、また情報処理装置１０の出力を外部に供給する。入出力部１５０４は、キーボードやマウス等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェースを含む。
【００７３】
情報処理装置１０のハードウェア構成はここに示すものに限られず、情報処理装置１０の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。
【００７４】
（第２の実施形態）
本技術の第２の実施形態に係る手術顕微鏡システムについて説明する。
【００７５】
［手術顕微鏡システムの構成］
図１１は、本実施形態に係る手術顕微鏡システム２の構成を示すブロック図である。同図に示すように、手術顕微鏡システム２は、情報処理装置２０及び手術顕微鏡２５を具備する。
【００７６】
情報処理装置２０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置２０は、手術顕微鏡２５に一体的に構成されていてもよく、手術顕微鏡２５とは独立した装置であってもよい。情報処理装置２０の構成については後述する。
【００７７】
手術顕微鏡２５は、図１１に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡２５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡２５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡２５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。
【００７８】
［情報処理装置の構成］
図１１に示すように、情報処理装置２０は、画像取得部２１、入力受付部２２、拡大率取得部２３及び画像生成部２４を具備する。
【００７９】
画像取得部２１は、眼Ｅを含む画像を取得する。画像取得部２１は第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部２１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部２１は、取得した参照画像及び対象画像を拡大率取得部２３及び画像生成部２４に供給する。
【００８０】
入力受付部２２は、ユーザによる情報入力を受け付ける。入力受付部２２は、第１の実施形態に係る入力受付部１２と同様に、検査画像における術前計画の指定を受け付けるものとすることができる（図４参照）。入力受付部２２は、入力された術前計画を画像生成部１４に供給する。
【００８１】
拡大率取得部２３は、参照画像と対象画像の拡大率を取得する。拡大率の取得については後述する。拡大率取得部２３は、取得した拡大率を画像生成部２４に供給する。
【００８２】
画像生成部２４は、拡大率取得部２３から供給された拡大率を用いてナビゲーション情報を含むナビゲーション画像を生成する。画像生成部２４は、第１の実施形態に係る画像生成部１４と同様にＳＩＦＴ等の画像マッチング手法を用いて、検査画像と術前画像の位置合わせ（レジストレーション）や術前画像と術中画像の位置合わせ（トラッキング）を行う。画像生成部２４は、位置合わせの結果を用いてナビゲーション情報（術前計画）を術前画像又は術中画像に重畳させ、ナビゲーション画像（図５参照）を生成する。画像生成部２４は、生成したナビゲーション画像をディスプレイに表示させる。
【００８３】
以後、画像生成部２４は、撮影時刻が異なる術中画像（連続する又は任意の間隔のフレーム）を継続的に取得して術中画像同士の間でトラッキングを行い、術前計画をナビゲーション情報として術中画像に重畳させ、ナビゲーション画像を生成する。
【００８４】
情報処理装置２０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。
【００８５】
［拡大率取得部の詳細］
上述のように、拡大率取得部２３は、参照画像に対する対象画像の拡大率を取得する。図１２は、拡大率取得部２３の構成及び動作を示すブロック図である。同図に示すように、拡大率取得部２３は、距離取得部２３１、記憶部２３２及び拡大率算出部２３３を具備する。
【００８６】
距離取得部２３１は、検査装置や手術顕微鏡等の撮影装置と施術対象の眼の距離を検出する。図１３は、手術顕微鏡２５と施術対象の眼Ｅを示す模式図である。同図において手術顕微鏡２５と眼Ｅの距離Ｌを示す。距離取得部２３１は、撮影装置から３次元位置座標を取得し、その変位から距離Ｌを取得することができる。また、距離取得部２３１は、撮影装置に設けられた距離センサーの出力に基づいて距離Ｌを取得することもできる。さらに、距離取得部２３１は、撮影装置が複数のカメラを備える場合には、各カメラの視差情報から距離Ｌを取得することもできる。距離取得部２３１はここに示す以外の方法によって距離Ｌを取得してもよい。
【００８７】
距離取得部２３１は、少なくとも参照画像Ａ１が撮像されたときの距離Ｌ（以下、距離Ｌ１）と対象画像Ａ２が撮像されたときの距離Ｌ（以下、距離Ｌ２）を取得する。距離取得部２３１は、距離Ｌ１を記憶部３４２に供給し、距離Ｌ２を拡大率算出部２３３に供給する。
【００８８】
記憶部２３２は、距離取得部２３１から供給された距離Ｌ１を記憶する。
【００８９】
拡大率算出部２３３は、記憶部２３２から距離Ｌ１を、距離取得部２３１から距離Ｌ２を取得し、距離Ｌ１と距離Ｌ２を用いて拡大率Ｍを算出する。撮影装置と施術対象の眼の距離は、画像間の拡大率に密接に関連する。このため、拡大率算出部２３３は、距離Ｌ２と距離Ｌ１の比率、即ちＬ１／Ｌ２を拡大率Ｍとして算出する。
【００９０】
図１４は、拡大率取得部２３の動作を示すフローチャートである。同図に示すように、距離取得部２３１は、参照画像Ａ１が撮像された時刻における距離Ｌ１を取得し（Ｓｔ２０１）、距離Ｌ１を記憶部２３２に保存する（Ｓｔ２０２）。続いて、距離取得部２３１は、対象画像Ａ２が撮像された時刻における距離Ｌ２を取得し（Ｓｔ２０３）、拡大率算出部２３３に供給する。拡大率算出部２３３は、距離Ｌ１と距離Ｌ２を用いて拡大率Ｍを算出する（Ｓｔ２０４）。
【００９１】
拡大率取得部２３は、以上のようにして拡大率Ｍを取得し、画像生成部２４に供給する。画像生成部２４は上述のように、拡大率Ｍを用いて参照画像Ａ１と対象画像Ａ２の位置合わせ（トラッキング又はレジストレーション）を行い、ナビゲーション画像を生成する。位置合わせにおける拡大率Ｍの利用については他の実施形態において説明する。
【００９２】
情報処理装置２０は、第１の実施形態に係る情報処理装置１０と同様のハードウェア構成によって実現されているものとすることができる。
【００９３】
（第３の実施形態）
本技術の第３の実施形態に係る手術顕微鏡システムについて説明する。
【００９４】
［手術顕微鏡システムの構成］
図１５は、本実施形態に係る手術顕微鏡システム３の構成を示すブロック図である。同図に示すように、手術顕微鏡システム３は、情報処理装置３０及び手術顕微鏡３５を具備する。
【００９５】
情報処理装置３０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置３０は、手術顕微鏡３５に一体的に構成されていてもよく、手術顕微鏡３５とは独立した装置であってもよい。情報処理装置３０の構成については後述する。
【００９６】
手術顕微鏡３５は、図１５に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡３５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡３５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡３５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。
【００９７】
［情報処理装置の構成］
図１５に示すように、情報処理装置３０は、画像取得部３１、入力受付部３２、拡大率取得部３３及び画像生成部３４を具備する。
【００９８】
画像取得部３１は、眼Ｅを含む画像を取得する。画像取得部３１は第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部３１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部３１は、取得した参照画像及び対象画像を拡大率取得部３３及び画像生成部３４に供給する。
【００９９】
入力受付部３２は、ユーザによる情報入力を受け付ける。入力受付部３２は、第１の実施形態に係る入力受付部１２と同様に、検査画像における術前計画の指定を受け付けるものとすることができる（図４参照）。入力受付部３２は、入力された術前計画を画像生成部３４に供給する。
【０１００】
拡大率取得部３３は、参照画像と対象画像の拡大率を取得する。拡大率の取得については後述する。拡大率取得部３３は、取得した拡大率を画像生成部３４に供給する。
【０１０１】
画像生成部３４は、拡大率取得部３３から供給された拡大率を用いてナビゲーション情報を含むナビゲーション画像を生成する。画像生成部３４は、第１の実施形態に係る画像生成部１４と同様にＳＩＦＴ等の画像マッチング手法を用いて、検査画像と術前画像の位置合わせ（レジストレーション）や術前画像と術中画像の位置合わせ（トラッキング）を行う。画像生成部３４は、位置合わせの結果を用いてナビゲーション情報（術前計画）を対象画像に重畳させ、ナビゲーション画像（図５参照）を生成する。画像生成部３４は、生成したナビゲーション画像をディスプレイに表示させる。
【０１０２】
以後、画像生成部３４は、撮影時刻が異なる術中画像（連続する又は任意の間隔のフレーム）を継続的に取得して術中画像同士の間でトラッキングを行い、術前計画をナビゲーション情報として術中画像に重畳させ、ナビゲーション画像を生成する。
【０１０３】
情報処理装置３０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。
【０１０４】
［拡大率取得部の詳細］
上述のように、拡大率取得部３３は、参照画像に対する対象画像の拡大率を取得する。図１６は、拡大率取得部３３の構成及び動作を示すブロック図である。同図に示すように、拡大率取得部３３は、ズーム率取得部３３１、記憶部３３２及び拡大率算出部３３３を具備する。
【０１０５】
ズーム率取得部３３１は、撮影装置のズーム率を取得する。ズーム率取得部３３１は、検査装置や手術顕微鏡等の撮影装置から、ズーム率を取得する。ズーム率は、撮影装置の光学ズームの倍率及びデジタルズームの倍率である。ズーム率取得部３２１は、少なくとも参照画像Ａ１が撮像されたときのズーム率（以下、ズーム率Ｚ１）と対象画像Ａ２が撮像されたときのズーム率（以下、ズーム率Ｚ２）を取得する。ズーム率取得部３３１は、ズーム率Ｚ１を記憶部３３２に供給し、ズーム率Ｚ２を拡大率算出部３３３に供給する。
【０１０６】
記憶部３３２は、ズーム率取得部３２１から供給されたズーム率Ｚ１を記憶する。
【０１０７】
拡大率算出部３３３は、記憶部３３２からズーム率Ｚ１を、ズーム率取得部３３１からズーム率Ｚ２を取得し、ズーム率Ｚ１とズーム率Ｚ２を用いて拡大率Ｍを算出する。撮影装置のズーム率は、画像間の拡大率に密接に関連する。このため、拡大率算出部３３３は、ズーム率Ｚ１とズーム率Ｚ２の比率、即ちＺ２／Ｚ１を拡大率Ｍとして算出する。
【０１０８】
図１７は、拡大率取得部３３の動作を示すフローチャートである。同図に示すように、ズーム率取得部３３１は、参照画像Ａ１が撮像された時刻におけるズーム率Ｚ１を取得し（Ｓｔ３０１）、ズーム率Ｚ１を記憶部３３２に保存する（Ｓｔ３０２）。続いて、ズーム率取得部３２１は、対象画像Ａ２が撮像された時刻におけるズーム率Ｚ２を取得し（Ｓｔ３０３）、拡大率算出部３３３に供給する。拡大率算出部３２３は、ズーム率Ｚ１とズーム率Ｚ２を用いて拡大率Ｍを算出する（Ｓｔ３０４）。
【０１０９】
拡大率取得部３３は、以上のようにして拡大率Ｍを取得し、画像生成部３４に供給する。画像生成部３４は上述のように、拡大率Ｍを用いて参照画像Ａ１と対象画像Ａ２の位置合わせ（トラッキング又はレジストレーション）を行い、ナビゲーション画像を生成する。位置合わせにおける拡大率Ｍの利用については他の実施形態において説明する。
【０１１０】
情報処理装置３０は、第１の実施形態に係る情報処理装置１０と同様のハードウェア構成によって実現されているものとすることができる。
【０１１１】
（第４の実施形態）
本技術の第４の実施形態に係る手術顕微鏡システムについて説明する。
【０１１２】
［手術顕微鏡システムの構成］
図１８は、本実施形態に係る手術顕微鏡システム４の構成を示すブロック図である。同図に示すように、手術顕微鏡システム４は、情報処理装置４０及び手術顕微鏡４５を具備する。
【０１１３】
情報処理装置４０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置４０は、手術顕微鏡４５に一体的に構成されていてもよく、手術顕微鏡４５とは独立した装置であってもよい。情報処理装置４０の構成については後述する。
【０１１４】
手術顕微鏡４５は、図１８に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡４５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡４５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡４５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。
【０１１５】
［情報処理装置の構成］
図１８に示すように、情報処理装置４０は、画像取得部４１、入力受付部４２、拡大率取得部４３及び画像生成部４４を具備する。
【０１１６】
画像取得部４１は、施術対象の眼Ｅを含む画像を取得する。画像取得部４１は第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部４１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部４１は、取得した参照画像及び対象画像を拡大率取得部４３及び画像生成部４４に供給する。
【０１１７】
入力受付部４２は、ユーザによる情報入力を受け付ける。入力受付部４２は、第１の実施形態に係る入力受付部１２と同様に、検査画像における術前計画の指定を受け付けるものとすることができる（図４参照）。入力受付部４２は、入力された術前計画を画像生成部４４に供給する。
【０１１８】
拡大率取得部４３は、参照画像と対象画像の拡大率を取得する。拡大率の取得については後述する。拡大率取得部４３は、取得した拡大率を画像生成部４４に供給する。
【０１１９】
画像生成部４４は、拡大率取得部４３から供給された拡大率を用いてナビゲーション情報を含むナビゲーション画像を生成する。画像生成部４４は、第１の実施形態に係る画像生成部１４と同様にＳＩＦＴ等の画像マッチング手法を用いて、検査画像と術前画像の位置合わせ（レジストレーション）や術前画像と術中画像の位置合わせ（トラッキング）を行う。画像生成部４４は、位置合わせの結果を用いてナビゲーション情報（術前計画）を術前画像又は術中画像に重畳させ、ナビゲーション画像（図５参照）を生成する。画像生成部４４は、ナビゲーション画像をディスプレイに表示させる。
【０１２０】
以後、画像生成部４４は、撮影時刻が異なる術中画像（連続する又は任意の間隔のフレーム）を継続的に取得して術中画像同士の間でトラッキングを行い、術前計画をナビゲーション情報として術中画像に重畳させ、ナビゲーション画像を生成する。
【０１２１】
情報処理装置４０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。
【０１２２】
［拡大率取得の詳細］
上述のように、拡大率取得部４３は、参照画像に対する対象画像の拡大率を取得する。図１９は、拡大率取得部４３の構成及び動作を示すブロック図である。同図に示すように、拡大率取得部４３は、距離取得部４３１、ズーム率取得部４３２、記憶部４３３及び拡大率算出部４３４を具備する。
【０１２３】
距離取得部４３１は、検査装置や手術顕微鏡等の撮影装置と施術対象の眼の距離を検出する。距離取得部４３１は、第２の実施形態と同様に、撮影装置から撮影装置と施術対象の眼の距離を取得する。距離取得部４２１は、少なくとも参照画像Ａ１が撮像されたときの撮影装置と眼の距離Ｌ１と対象画像Ａ２が撮像されたときの撮影装置と眼の距離Ｌ２を取得する。距離取得部４３１は、距離Ｌ１を記憶部４３３に供給し、距離Ｌ２を拡大率算出部４３４に供給する。
【０１２４】
ズーム率取得部４３２は、撮影装置のズーム率を取得する。ズーム率取得部４３２は、第３の実施形態と同様に、撮影装置からズーム率を取得する。ズーム率取得部４３２は、少なくとも参照画像Ａ１が撮像されたときのズーム率Ｚ１と対象画像Ａ２が撮像されたときのズーム率Ｚ２を取得する。ズーム率取得部４３２は、ズーム率Ｚ１を記憶部４３３に供給し、ズーム率Ｚ２を拡大率算出部４３４に供給する。
【０１２５】
記憶部４３３は、距離取得部４３１から供給された距離Ｌ１及びズーム率取得部４３２から供給されたズーム率Ｚ１を記憶する。
【０１２６】
拡大率算出部４３４は、記憶部４３３から距離Ｌ１及びズーム率Ｚ１を、距離取得部４３１から距離Ｌ２を、ズーム率取得部４３２からズーム率Ｚ２を取得し、距離Ｌ１、距離Ｌ２、ズーム率Ｚ１及びズーム率Ｚ２を用いて拡大率Ｍを算出する。拡大率算出部４３４は、距離Ｌ２と距離Ｌ１の比率及びズーム率Ｚ１とズーム率Ｚ２の比率の積、即ち（Ｌ１／Ｌ２）×（Ｚ２／Ｚ１）を拡大率Ｍとして算出する。
【０１２７】
図２０は、拡大率取得部４３の動作を示すフローチャートである。同図に示すように、距離取得部４３１は、参照画像Ａ１が撮像された時刻における距離Ｌ１を取得し（Ｓｔ４０１）、ズーム率取得部４３２は、同時刻におけるズーム率Ｚ１を取得する（Ｓｔ４０２）。記憶部４３３は、距離Ｌ１及びズーム率Ｚ１を保存する（Ｓｔ４０３）。
【０１２８】
続いて、距離取得部４３１は、対象画像Ａ２が撮像された時刻における距離Ｌ２を取得し（Ｓｔ４０４）、拡大率算出部４３４に供給する。ズーム率取得部４３２は、同時刻におけるズーム率Ｚ２を取得し（Ｓｔ４０５）、拡大率算出部４３４に供給する。拡大率算出部４３４は、距離Ｌ１、距離Ｌ２、ズーム率Ｚ１及びズーム率Ｚ２を用いて拡大率Ｍを算出する（Ｓｔ４０６）。
【０１２９】
拡大率取得部４３は、以上のようにして拡大率Ｍを取得し、画像生成部４４に供給する。画像生成部４４は上述のように、拡大率Ｍを用いて参照画像Ａ１と対象画像Ａ２の位置合わせ（トラッキング又はレジストレーション）を行い、ナビゲーション画像を生成する。位置合わせにおける拡大率Ｍの利用については他の実施形態において説明する。
【０１３０】
情報処理装置４０は、第１の実施形態に係る情報処理装置１０と同様のハードウェア構成によって実現されているものとすることができる。
【０１３１】
（第５の実施形態）
本技術の第５の実施形態に係る手術顕微鏡システムについて説明する。
【０１３２】
［手術顕微鏡システムの構成］
図２１は、本実施形態に係る手術顕微鏡システム５の構成を示すブロック図である。同図に示すように、手術顕微鏡システム５は、情報処理装置５０及び手術顕微鏡５５を具備する。
【０１３３】
情報処理装置５０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置５０は、手術顕微鏡５５に一体的に構成されていてもよく、手術顕微鏡５５とは独立した装置であってもよい。情報処理装置５０の構成については後述する。
【０１３４】
手術顕微鏡５５は、図２１に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡５５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡５５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡５５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。
【０１３５】
［情報処理装置の構成］
図２１に示すように、情報処理装置５０は、画像取得部５１、入力受付部５２、拡大率取得部５３及び画像生成部５４を具備する。
【０１３６】
画像取得部５１は、眼Ｅを含む画像を取得する。画像取得部５１は第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部５１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部４１は、取得した参照画像及び対象画像を拡大率取得部５３及び画像生成部５４に供給する。
【０１３７】
入力受付部５２は、ユーザによる情報入力を受け付ける。入力受付部５２は、第１の実施形態に係る入力受付部１２と同様に、検査画像における術前計画の指定を受け付けるものとすることができる（図４参照）。入力受付部５２は、入力された術前計画を画像生成部３４に供給する。
【０１３８】
拡大率取得部５３は、参照画像と対象画像の拡大率を取得する。拡大率取得部５３は、実施形態１乃至４において説明したいずれかの方法、即ち、各画像に対する物体認識処理、撮影装置と施術対象の眼の距離又は撮影装置のズーム率の少なくともいずれかを利用して拡大率を取得するものとすることができる。拡大率取得部５３は、取得した拡大率を画像生成部５４に供給する。
【０１３９】
画像生成部５４は、拡大率取得部５３から供給された拡大率を用いてナビゲーション情報を含むナビゲーション画像を生成する。画像生成部５４は、ＳＩＦＴを用いて検査画像と術前画像の位置合わせ（レジストレーション）や術前画像と術中画像の位置合わせ（トラッキング）を行う。この詳細については後述する。画像生成部５４は、位置合わせの結果を用いてナビゲーション情報（術前計画）を対象画像に重畳させ、ナビゲーション画像（図５参照）を生成する。画像生成部４４は、生成したナビゲーション画像をディスプレイに表示させる。
【０１４０】
以後、画像生成部５４は、撮影時刻が異なる術中画像（連続する又は任意の間隔のフレーム）を継続的に取得して術中画像同士の間でトラッキングを行い、術前計画をナビゲーション情報として術中画像に重畳させ、ナビゲーション画像を生成する。
【０１４１】
情報処理装置５０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。
【０１４２】
［画像生成部の詳細］
上述のように画像生成部５４は、拡大率Ｍに基づいて、ナビゲーション情報を対象画像Ａ２に重畳させ、ナビゲーション画像を生成する。上記のように画像生成部５４は、拡大率Ｍを用いて参照画像Ａ１と対象画像Ａ２の位置合わせ（トラッキング又はレジストレーション）を行う。画像生成部５４はＳＩＦＴ（Scale-Invariant Feature Transform）を利用して位置合わせを行うことができる。
【０１４３】
ＳＩＦＴはスケール不変性を特徴とする。スケール不変性を利用すると、スケール（即ち、拡大率）の異なる画像間での位置合わせが可能となる。ＳＩＦＴでは、スケール不変の特徴点を検出するために、入力画像に対してガウシアンフィルタを適用し、平滑化画像を生成する。このとき、ガウシアンフィルタの標準偏差σを少しずつ変化させ、多数の平滑化画像を準備する。
【０１４４】
次に、標準偏差σの隣接する平滑化画像の差分画像（ＤｏＧ：Difference of Gaussian）を生成する。例えばＮ枚の平滑化画像を準備した場合、Ｎ−１枚の ＤｏＧ画像が生成される。そして、標準偏差σの連続する３枚のＤｏＧ画像を用いて、注目ピクセルの極値判定を行う。先の例では、極値検出対象画像はＮ−３枚となるため、注目ピクセルに対してＮ−３回の極値判定が実施される。
【０１４５】
ここで、ＳＩＦＴは、スケールの異なる画像間の位置合わせが可能である反面、スケールの不変性を実現するために、多数の平滑化画像の生成やＤｏＧ画像の極値探索が必要となり、計算量が大きくなる。スケールが２倍異なる画像間では、対応点の標準偏差σは２倍だけ異なる関係性になっている。画像間のスケールが異なるほど、標準偏差σの値も大きく異なり、より広範囲の標準偏差σを探索する必要があり、計算量が大きくなる。一方で、探索する標準偏差σの範囲(σｍｉｎ−σｍａｘ)を事前に決めてしまうと、この範囲の標準偏差σでは表現できないスケール変化に対応することができず、画像間で対応する特徴点が欠落してしまうことから、位置合わせの精度が低下する。
【０１４６】
したがって、スケールが異なる画像間での位置合わせにおいては、標準偏差σの範囲(σｍｉｎ−σｍａｘ)が大きいと位置合わせの精度は高いものの必要な計算量が大きくなる。反対に標準偏差σの範囲(σｍｉｎ−σｍａｘ)が小さいと必要な計算量は小さいものの、位置合わせの精度は小さくなる。これに対し、本実施形態における画像生成部５４は、必要な計算量を抑制しつつ、位置合わせを高精度に実現することが可能である。
【０１４７】
画像生成部５４は、上記のようにＳＩＦＴにおいて拡大率Ｍを利用する。拡大率ＭはＳＩＦＴにおけるスケールに相当するため、スケールが既知であることによるＳＩＦＴの高速化及び精度向上が可能である。図２２乃至図２４は、スケールが２倍異なる画像間におけるＤｏＧ極値の関係と探索範囲の設定方法の例を示す模式図である。図２２（ａ）は参照画像Ａ１を示し、図２２（ｂ）は対象画像Ａ２示す。ここでは対象画像Ａ２は参照画像Ａ１の２倍のスケール（拡大率Ｍ＝２）とする。
【０１４８】
図２３は参照画像Ａ１の注目ピクセルにけるガウシアンフィルタの標準偏差σとＤｏＧ値の関係を示すグラフである。同図に示すように、ＤｏＧ値が極値を与える標準偏差はσ１＝６である。図２４は対象画像Ａ２の注目ピクセルにおけるガウシアンフィルタの標準偏差σとＤｏＧ値の関係を示すグラフである。同図に示すように、ＤｏＧ値が極値を与える標準偏差はσ２＝１２である。
【０１４９】
画像間のスケールが未知の場合は、ＤｏＧ値が極値となる標準偏差σ２に関する事前情報がないため、広範囲の標準偏差値(σｍｉｎ−σｍａｘ)を探索して極値を検出する必要がある。一方で、画像間のスケールが既知の場合は、ＤｏＧ値が極値となる標準偏差σ２を推定できるため、その近傍範囲の標準偏差値のみを探索すればよい。
【０１５０】
次に、画像間の位置合わせ精度の向上について説明する。画像間の位置合わせは、各々の画像で検出された特徴点群から対応する特徴点のペアを選択することで行う。このとき、多数の正しい特徴点のペアが選択されると位置合わせの精度は高く、多数の誤った特徴点のペアが選択されると位置合わせの精度が低くなる。特徴点のマッチング処理は、各特徴点で求めた特徴量の相関値を計算し、最も相関値の高い特徴点を正しいペアとして保持する方法がある。
【０１５１】
しかし、実際は、画像中のノイズの影響などにより特徴量が攪乱され、相関値の最大のペアが必ずしも正しいペアでないことが多々ある。これが位置合わせ精度を低下させてしまう原因となる。この問題に対して、画像間のスケールが既知である場合は、特徴点の間で、特徴量の相関値に加えて、スケールの値を比較することで、正しいペアが選ばれる確率を高めることができる。図２２乃至図２４の例では、特徴量の相関値が最大として選択されたペアに対して、そのスケールの関係が２倍より大きく異なるときは、誤ったペアであると判断することができる。
【０１５２】
図２５は、画像生成部５４の構成を示すブロック図である。同図に示すように、画像生成部５４は、特徴点検出部５４１、特徴点マッチング部５４２及び画像重畳部５４３を具備する。
【０１５３】
特徴点検出部５４１は、参照画像Ａ１及び対象画像Ａ２において特徴点を検出する。図２６は、特徴点検出部５４１の構成及び動作を示すブロック図である。同図に示すように、特徴点検出部５４１は、ＤｏＧ画像作成部５４１１、ＤｏＧ極値探索部５４１２及びスケール範囲決定部５４１３を具備する。
【０１５４】
ＤｏＧ画像作成部５４１１は、与えられたスケール範囲及びステップ幅で変更したスケール幅を使った平滑化画像を作成し、隣接する平滑化画像間の差分画像（ＤｏＧ画像）を生成する。ＤｏＧ画像作成部５４１１は、参照画像Ａ１及び対象画像Ａ２に対して共通であるが、与えられるスケール範囲が異なる。
【０１５５】
ＤｏＧ画像作成部５４１１は、参照画像Ａ１に対しては、初期値として定められたスケール範囲［σｍｉｎｉｎｉｔ，σｍａｘｉｎｉｔ］を用い、対象画像Ａ２に対しては、スケール範囲決定部５４１３によって定められたスケール範囲［σｍｉｎＡ２，σｍａｘＡ２］を用いる。このスケール範囲は、初期値のスケール範囲より狭く、σｍｉｎＡ２＞σｍｉｎｉｎｉｔであり、σｍａｘＡ２＜σｍａｘｉｎｉｔである。対象画像Ａ２に対しては、探索範囲が狭く設定されるため、探索の高速化を実現することができる。
【０１５６】
ＤｏＧ極値探索部５４１２は、連続する３枚のＤｏＧ画像を用いて注目ピクセル毎に極値判定を行い、ＤｏＧ値が極値となるスケールを求めて出力する。ＤｏＧ極値探索部５４１２は、参照画像Ａ１及び対象画像Ａ２に対して共通であるが、参照画像Ａ１に対しては画像全体におけるスケールの最小値σｍｉｎＡ１及びスケールの最大値σｍａｘＡ１をスケール範囲決定部５４１３に供給する。
【０１５７】
スケール範囲決定部５４１３は、拡大率取得部５３から供給された拡大率Ｍと参照画像Ａ１のスケール最小値σｍｉｎＡ１及びスケールの最大値σｍａｘＡ１を用いて下記（式１）及び（式２）により対象画像Ａ２のスケールの最小値σｍｉｎＡ２及びスケールの最大値σｍａｘＡ２を決定する。
【０１５８】
σｍｉｎＡ２＝Ｍ×σｍｉｎＡ１      （式１）
σｍａｘＡ２＝Ｍ×σｍａｘＡ１      （式２）
【０１５９】
スケール範囲決定部５４１３は、［σｍｉｎＡ２，σｍａｘＡ２］を含む範囲で設定されたスケールをＤｏＧ画像作成部５４１１に供給する。
【０１６０】
図２７は、特徴点検出部５４１による特徴点検出のフローチャートである。同図に示すように、ＤｏＧ画像作成部５４１１は、参照画像Ａ１のＤｏＧ画像を作成する（Ｓｔ５０１）。続いて、ＤｏＧ極値探索部５４１２は、参照画像Ａ１において注目ピクセル毎にＤｏＧ値が極値となるスケールを探索する（Ｓｔ５０２）。ＤｏＧ極値探索部５４１２は、最小値σｍｉｎＡ１及び最大値σｍａｘＡ１をスケール範囲決定部５４１３に供給する（Ｓｔ５０３）。
【０１６１】
続いて、スケール範囲決定部５４１３は、拡大率取得部５３から拡大率Ｍを取得し（Ｓｔ５０４）、最小値σｍｉｎＡ２（＝Ｍ×σｍｉｎＡ１）及び最大値σｍａｘＡ２（＝Ｍ×σｎａｘＡ１）を対象画像Ａ２のスケール範囲として決定する（Ｓｔ５０５）。続いて、ＤｏＧ画像作成部５４１１は、対象画像Ａ２のＤｏＧ画像を作成し（Ｓｔ５０６）、ＤｏＧ極値探索部５４１２は、対象画像Ａ２において注目ピクセル毎にＤｏＧ値が極値となるスケールを探索（Ｓｔ５０７）する。
【０１６２】
特徴点検出部５４１はこのようにして参照画像Ａ１及び対象画像Ａ２において特徴点を検出し、特徴点マッチング部５４２に供給する。
【０１６３】
特徴点マッチング部５４２は、参照画像Ａ１及び対象画像Ａ２において検出された特徴点をマッチングする。図２８は、特徴点マッチング部５４２の構成及び動作を示すブロック図である。同図に示すように、特徴点マッチング部５４２は、特徴量計算部５４２１、特徴量相関値計算部５４２２、特徴点ペア選択部５４２３及びスケール値比較部５４２４を具備する。
【０１６４】
特徴量計算部５４２１は、参照画像Ａ１及び対象画像Ａ２に対して共通であり、両画像における各々の特徴点に対して特徴量を計算し、特徴量相関値計算部５４２２に供給する。
【０１６５】
特徴量相関値計算部５４２２は、参照画像Ａ１の着目する特徴点と対象画像Ａ２の各々の特徴点の間で特徴量の相関値を計算し、特徴点ペア選択部５４２３に供給する。
【０１６６】
特徴点ペア選択部５４２３は、参照画像Ａ１の各特徴点に対して相関値が最大となる対象画像Ａ２の特徴点を算出し、特徴点ペアとしてスケール値比較部５４２４に供給する。
【０１６７】
スケール値比較部５４２４は、拡大率取得部５３から供給された拡大率Ｍを利用して特徴点ペアの正誤を判定する。スケール値比較部５４２４は、各特徴点ペアに対して、スケール値を下記（式３）によって比較する。
【０１６８】
Ｓ１×Ｍ＜σＡ２／σＡ１＜Ｓ２×Ｍ      （式３）
【０１６９】
σＡ１は参照画像Ａ１の特徴点のスケール、σＡ２は対象画像Ａ２の特徴点のスケール、Ｓ１、Ｓ２は拡大率を補正するパラメータであり、Ｓ１はスケール比率の下限の許容範囲、Ｓ２はスケール比率の上限の許容範囲を制御する。上記（式３）を満足する特徴点ペアは正しい特徴点ペアとして保持し、（式３）を満たさない特徴点ペアは誤った特徴点ペアとして破棄する。
【０１７０】
図２９は、特徴点マッチング部５４２による特徴点マッチングのフローチャートである。特徴量計算部５４２１は、参照画像Ａ１における各々の特徴点に対して特徴量を計算する（Ｓｔ５０８）。続いて、特徴量計算部５４２１は、対象画像Ａ２における各々の特徴点に対して特徴量を計算する（Ｓｔ５０９）。特徴量相関値計算部５４２２は、参照画像Ａ１の着目する特徴点と対象画像Ａ２の全ての特徴点の間で特徴量の相関値を計算する（Ｓｔ５１０）。
【０１７１】
続いて、特徴点ペア選択部５４２３は、参照画像Ａ１の各特徴点に対して相関値が最大となる対象画像Ａ２の特徴点を選択する（Ｓｔ５１１）。スケール値比較部５４２４は特徴点ペアに対してスケール値の比率を計算し、特徴点ペアの信頼性を判定する（Ｓｔ５１２）。
【０１７２】
特徴点マッチング部５４２はこのようにして信頼性が高い特徴点ペアを抽出し、画像重畳部５３３に供給する。
【０１７３】
画像重畳部５４３は、特徴点マッチング部５４２から供給された特徴点ペアを用いて参照画像Ａ１と対象画像Ａ２の位置合わせを行い、ナビゲーション情報（術前計画）を対象画像Ａ２に重畳させ、ナビゲーション画像を生成する。
【０１７４】
画像生成部５４は以上のような構成を有する。上記のように特徴点検出部５４１は、拡大率Ｍを利用することにより、探索の高速化を実現することができる。また、特徴点マッチング部５４２は、拡大率Ｍを利用することにより、特徴点ペアの精度を向上させることができる。
【０１７５】
情報処理装置５０は、第１の実施形態に係る情報処理装置１０と同様のハードウェア構成によって実現されているものとすることができる。
【０１７６】
（第６の実施形態）
本技術の第６の実施形態に係る手術顕微鏡システムについて説明する。
【０１７７】
［手術顕微鏡システムの構成］
図３０は、本実施形態に係る手術顕微鏡システム６の構成を示すブロック図である。同図に示すように、手術顕微鏡システム６は、情報処理装置６０及び手術顕微鏡６５を具備する。
【０１７８】
情報処理装置６０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置６０は、手術顕微鏡６５に一体的に構成されていてもよく、手術顕微鏡６５とは独立した装置であってもよい。情報処理装置６０の構成については後述する。
【０１７９】
手術顕微鏡６５は、図３０に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡６５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡６５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡６５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。
【０１８０】
［情報処理装置の構成］
図３０に示すように、情報処理装置６０は、画像取得部６１、拡大率取得部６２及び画像生成部６３を具備する。
【０１８１】
画像取得部６１は、眼Ｅを含む画像を取得する。画像取得部６１は、第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部６１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部６１は、取得した各画像を拡大率取得部６２及び画像生成部６３に供給する。
【０１８２】
拡大率取得部６２は、参照画像と対象画像の拡大率を取得する。拡大率取得部６２は、実施形態１乃至４において説明したいずれかの方法、即ち、各画像に対する物体認識処理、撮影装置と施術対象の眼の距離又は撮影装置のズーム率の少なくともいずれかを利用して拡大率を取得するものとすることができる。拡大率取得部６２は、取得した拡大率を画像生成部６３に供給する。
【０１８３】
画像生成部６３は、拡大率取得部６２から供給された拡大率を用いてナビゲーション情報を含むナビゲーション画像を生成する。画像生成部６３は、拡大率に応じて異なる情報をナビゲーション情報として選択し、ナビゲーション画像を生成する。この詳細については後述する。画像生成部６３は、ナビゲーション画像をディスプレイに表示させる。
【０１８４】
情報処理装置５０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。
【０１８５】
［画像生成部の詳細］
上述のように画像生成部６３は、拡大率Ｍに基づいて、ナビゲーション情報を選択し、ナビゲーション情報を生成する。
【０１８６】
図３１は、画像生成部６３の構成及び動作を示すブロック図である。同図に示すように、画像生成部６３は、閾値処理部６３１、提示情報切替部６３２及び画像重畳部６３３を具備する。
【０１８７】
閾値処理部６３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行し、提示するナビゲーション情報の識別子を選択する。閾値は一つであってもよく、複数であってもよい。閾値処理部６３１は、選択した識別子を提示情報切替部６３２に供給する。
【０１８８】
提示情報切替部６３２は、記憶部に記憶されているナビゲーション情報のうち、閾値処理部６３１から供給された識別子で指定されたナビゲーション情報を選択し、画像重畳部６３３に供給する。
【０１８９】
画像重畳部６３３は、提示情報切替部６３２から供給されたナビゲーション情報を、対象画像に重畳させ、ナビゲーション画像を生成する。画像重畳部６３３は、対象画像に対する画像処理によって、眼の組織（角膜等）を検出し、その位置に応じてナビゲーション情報を対象画像に重畳させるものとすることができる。
【０１９０】
図３２は、画像生成部６３の動作を示すフローチャートである。同図に示すように、閾値処理部６３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行する（Ｓｔ６０１）。即ち、閾値処理部６３１は、拡大率Ｍと閾値の大小関係に応じて（Ｓｔ６０１）、提示するナビゲーション情報の識別子を選択し、選択した識別子を提示情報切替部６３２に供給する。提示情報切替部６３２は、閾値処理部６３１から供給された識別子で指定されたナビゲーション情報を選択し（Ｓｔ６０３）、画像重畳部６３３に供給する。画像重畳部６３３は供給されたナビゲーション情報を対象画像に重畳させてナビゲーション画像を生成し、ディスプレイに表示させる（Ｓｔ６０４）。
【０１９１】
図３３は、画像生成部６３によるナビゲーション情報の切り替え動作の例である。閾値処理部６３１は、手術時間の経過に伴う拡大率Ｍの変動に応じて異なる識別子を選択し、提示情報切替部６３２は識別子に応じて提示するナビゲーションを選択する。例えば、図３３に示すように拡大率Ｍが閾値２以上である場合、ナビゲーション情報１が選択され、拡大率Ｍが閾値１以上閾値２未満である場合、ナビゲーション情報２が選択される。また、拡大率Ｍが閾値１未満である場合、ナビゲーション情報３が選択される。
【０１９２】
図３４は、画像生成部６３によって生成されるナビゲーション画像の例である。同図においてナビゲーション情報は、角膜の周縁に配置された角度目盛である。図３４（ａ）は拡大率Ｍが閾値２以上の場合であり、ナビゲーション情報１（Ｎ１）が含まれている。このナビゲーション情報１は所定の間隔の目盛を有する。図３４（ｂ）は拡大率Ｍが閾値１以上閾値２未満の場合であり、ナビゲーション情報２（Ｎ２）が含まれている。ナビゲーション情報２は、ナビゲーション情報１より目盛り間隔が大きくなっている。図３４（ｃ）は拡大率Ｍが閾値１未満の場合であり、ナビゲーション情報３（非表示）が含まれている。
【０１９３】
このように画像生成部６３は、拡大率Ｍの大きさによって表示するナビゲーション情報を切り替える。ユーザは、拡大率Ｍが大きくなるズームインの操作をするとき、眼内レンズの挿入角度をより詳細に確認することを意図していると考えられる。そこで、これをサポートするために、より細かい角度目盛を備えるナビゲーション情報を表示する。また、ユーザは、拡大率Ｍが小さくなるズームアウトの操作をするとき、出血の有無や眼全体の俯瞰チェックを意図していると考えられる。そこでは、角度の目盛表示は不必要であるため、ナビゲーション情報を非表示にする。
【０１９４】
なお、ナビゲーション情報は、角度目盛に限られず、拡大率Ｍの変動に応じて切り替えられるものであればよい。また、画像重畳部６３３は、眼の組織の位置に応じて撮影画像に重畳させるものでなくてもよく、眼の組織の位置とは無関係にナビゲーション情報を重畳させてもよい。
【０１９５】
画像生成部６３は以上のような構成を有する。上記のように画像生成部６３は、拡大率Ｍに応じて異なるナビゲーション情報を含むナビゲーション画像を生成する。ナビゲーション情報は拡大率Ｍに応じて自動的に選択されるため、ユーザが手動で選択する必要がなく、高い利便性を提供することができる。
【０１９６】
（第７の実施形態）
本技術の第７の実施形態に係る手術顕微鏡システムについて説明する。
【０１９７】
［手術顕微鏡システムの構成］
図３５は、本実施形態に係る手術顕微鏡システム７の構成を示すブロック図である。同図に示すように、手術顕微鏡システム７は、情報処理装置７０及び手術顕微鏡７５を具備する。
【０１９８】
情報処理装置７０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置７０は、手術顕微鏡７５に一体的に構成されていてもよく、手術顕微鏡７５とは独立した装置であってもよい。情報処理装置７０の構成については後述する。
【０１９９】
手術顕微鏡７５は、図３５に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡７５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡７５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡７５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。
【０２００】
［情報処理装置の構成］
図３５に示すように、情報処理装置７０は、画像取得部７１、拡大率取得部７２及び画像生成部７３を具備する。
【０２０１】
画像取得部７１は、施術対象の眼を含む画像を取得する。画像取得部７１は、第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部７１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部７１は、取得した各画像を拡大率取得部７２及び画像生成部７３に供給する。
【０２０２】
拡大率取得部７２は、参照画像と対象画像の拡大率を取得する。拡大率取得部７２は、実施形態１乃至４において説明したいずれかの方法、即ち、各画像に対する物体認識処理、撮影装置と施術対象の眼の距離又は撮影装置のズーム率の少なくともいずれかを利用して拡大率を取得するものとすることができる。拡大率取得部７２は、取得した拡大率を画像生成部７３に供給する。
【０２０３】
画像生成部７３は、拡大率取得部７２から供給された拡大率を用いて画像処理を行い、表示画像を生成する。この詳細については後述する。画像生成部７３は、画像処理により生成した表示画像をディスプレイに表示させる。
【０２０４】
情報処理装置７０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。
【０２０５】
［画像生成部の詳細］
上述のように画像生成部７３は、拡大率Ｍに応じて対象画像に画像処理を施す。
【０２０６】
図３６は、画像生成部７３の構成及び動作を示すブロック図である。同図に示すように、画像生成部７３は、閾値処理部７３１及び画像処理切替部７３２を具備する。
【０２０７】
閾値処理部７３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行し、画像処理の種類を選択する。閾値は一つであってもよく、複数であってもよい。画像処理の種類は特に限定されないが、陰影強調処理や高精彩化処理、血管強調処理等である。閾値処理部７３１は、選択した画像処理の種類を画像処理切替部７３２に供給する。
【０２０８】
画像処理切替部７３２は、閾値処理部７３１によって選択された種類の画像処理を対象画像に施す。
【０２０９】
図３７は、画像生成部７３の動作を示すフローチャートである。同図に示すように、閾値処理部７３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行する（Ｓｔ７０１）。即ち、閾値処理部６３１は、拡大率Ｍと閾値の比較結果に応じて（Ｓｔ７０１）、画像処理の種類を選択し、選択した画像処理の種類を画像処理切替部７３２に供給する。画像処理切替部７３２は、閾値処理部７３１によって選択された画像処理を対象画像に施し（Ｓｔ７０３）、ディスプレイに表示させる（Ｓｔ７０４）。
【０２１０】
このように画像生成部７３は、拡大率Ｍの大きさによって対象画像に異なる画像処理を施す。ユーザは、拡大率Ｍが大きくなるズームインの操作をするとき、角膜内部を詳細に確認することを意図していると考えられる。そこで、画像生成部７３は、角膜内部の視認性を向上させるために、陰影強調や高精細化などの画像処理を適用する。また、ユーザは、拡大率が小さくなるズームアウトの操作をするとき、出血の有無や眼全体の俯瞰チェックを意図していると考えられる。そこで、画像生成部７３は血管強調などの画像処理を適用する。
【０２１１】
画像生成部７３は以上のような構成を有する。上記のように画像生成部７３は、拡大率Ｍに応じて異なる画像処理を対象画像に施し、ナビゲーション画像を生成する。画像処理の種類は拡大率Ｍに応じて自動的に選択されるため、ユーザが手動で選択する必要がなく、高い利便性を提供することができる。
【０２１２】
（第８の実施形態）
本技術の第８の実施形態に係る手術顕微鏡システムについて説明する。
【０２１３】
［手術顕微鏡システムの構成］
図３８は、本実施形態に係る手術顕微鏡システム８の構成を示すブロック図である。同図に示すように、手術顕微鏡システム８は、情報処理装置８０及び手術顕微鏡８５を具備する。
【０２１４】
情報処理装置８０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置８０は、手術顕微鏡８５に一体的に構成されていてもよく、手術顕微鏡８５とは独立した装置であってもよい。情報処理装置８０の構成については後述する。
【０２１５】
手術顕微鏡８５は、図３５に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡８５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡８５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡８５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。
【０２１６】
［情報処理装置の構成］
図３８に示すように、情報処理装置８０は、画像取得部８１、拡大率取得部８２及び顕微鏡制御部８３を具備する。
【０２１７】
画像取得部８１は、眼Ｅを含む画像を取得する。画像取得部８１は、第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部８１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部８１は、取得した各画像を拡大率取得部８２及び顕微鏡制御部８３に供給する。
【０２１８】
拡大率取得部８２は、参照画像と対象画像の拡大率を取得する。拡大率取得部８２は、実施形態１乃至４において説明したいずれかの方法、即ち、各画像に対する物体認識処理、撮影装置と施術対象の眼の距離又は撮影装置のズーム率の少なくともいずれかを利用して拡大率を取得するものとすることができる。拡大率取得部８２は、取得した拡大率を顕微鏡制御部８３に供給する。
【０２１９】
顕微鏡制御部８３は、拡大率取得部８２から供給された拡大率を用いて手術顕微鏡８５を制御する。本実施形態における手術顕微鏡８５は、光学系に導入することが可能な帯域通過フィルタを備える手術顕微鏡であるものとする。顕微鏡制御部８３は、拡大率に応じて手術顕微鏡８５に設けられた帯域通過フィルタを切り替えるものとすることができる。この詳細については後述する。
【０２２０】
情報処理装置８０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。
【０２２１】
［顕微鏡制御部の詳細］
上述のように顕微鏡制御部８３は、拡大率Ｍに応じて手術顕微鏡８５を制御する。
【０２２２】
図３９は、顕微鏡制御部８３の構成及び動作を示すブロック図である。同図に示すように、顕微鏡制御部８３は、閾値処理部８３１及び帯域通過フィルタ切替部８３２を具備する。
【０２２３】
閾値処理部８３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行し、帯域通過フィルタの種類を選択する。帯域通過フィルタの種類は、赤色通過フィルタや緑色・青色通過フィルタ等である。閾値処理部８３１は例えば、拡大率Ｍが閾値以上であれば赤色通過フィルタを選択し、拡大率Ｍが閾値未満であれば緑色・青色通過フィルタを選択するものとすることができる。閾値処理部８３１は、選択した帯域通過フィルタの種類を帯域通過フィルタ切替部８３２に供給する。
【０２２４】
帯域通過フィルタ切替部８３２は、閾値処理部８３１から供給された種類の帯域通過フィルタを光学系に導入するように手術顕微鏡８５に指示する。
【０２２５】
図４０は、顕微鏡制御部８３の動作を示すフローチャートである。同図に示すように、閾値処理部８３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行する（Ｓｔ８０１）。即ち、閾値処理部６３１は、拡大率Ｍと閾値の比較結果に応じて帯域通過フィルタの種類を選択し（Ｓｔ８０１）、帯域通過フィルタ切替部８３２に指示する。帯域通過フィルタ切替部８３２は、閾値処理部８３１から供給された種類の帯域通過フィルタを光学系に導入するように撮影装置に指示する（Ｓｔ８０３）。手術顕微鏡８５は、導入された帯域通過フィルタを利用して眼Ｅの画像を撮影する（Ｓｔ８０４）。
【０２２６】
このように、顕微鏡制御部８３によって、拡大率Ｍに応じて手術顕微鏡８５の帯域通過フィルタが切り替えられ、眼Ｅの画像が撮影される。画像取得部８１は、手術顕微鏡８５からこの画像を取得し、ディスプレイに表示させるものとすることができる。ユーザは、拡大率が大きくなるズームインの操作をするとき、角膜内部を詳細に確認することを意図していると考えられる。そこで、顕微鏡制御部８３は角膜内部の視認性を向上させるために、赤色を強調（通過）するような帯域通過フィルタを適用する。また、ユーザは、拡大率が小さくなるズームアウトの操作をするとき、出血の有無や眼全体の俯瞰チェックを意図していると考えられる。そこで、顕微鏡制御部８３は血管を強調するために、緑色や青色を強調（通過）するような帯域通過フィルタを適用する。
【０２２７】
顕微鏡制御部８３は以上のような構成を有する。上記のように顕微鏡制御部８３は、拡大率Ｍに応じて撮影装置の光学系における帯域通過フィルタの種類を切り替える。帯域通過フィルタの切り替えは、拡大率Ｍに応じて自動的に選択されるため、ユーザが手動で選択する必要がなく、高い利便性を提供することができる。
【０２２８】
（第９の実施形態）
本技術の第９の実施形態に係る手術顕微鏡システムについて説明する。
【０２２９】
［手術顕微鏡システムの構成］
図４１は、本実施形態に係る手術顕微鏡システム９の構成を示すブロック図である。同図に示すように、手術顕微鏡システム９は、情報処理装置９０及び手術顕微鏡９５を具備する。
【０２３０】
情報処理装置９０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置９０は、手術顕微鏡９５に一体的に構成されていてもよく、手術顕微鏡９５とは独立した装置であってもよい。情報処理装置９０の構成については後述する。
【０２３１】
手術顕微鏡９５は、図４１に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡９５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡９５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡９５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。
【０２３２】
（情報処理装置の構成）
図４１に示すように、情報処理装置９０は、画像取得部９１、拡大率取得部９２及び画像生成部９３を具備する。
【０２３３】
画像取得部９１は、眼Ｅを含む画像を取得する。画像取得部９１は、第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部９１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部９１は、取得した各画像を拡大率取得部９２及び画像生成部９３に供給する。
【０２３４】
拡大率取得部９２は、参照画像と対象画像の拡大率を取得する。拡大率取得部９２は、実施形態１乃至４において説明したいずれかの方法、即ち、各画像に対する物体認識処理、撮影装置と施術対象の眼の距離又は撮影装置のズーム率の少なくともいずれかを利用して拡大率を取得するものとすることができる。拡大率取得部９２は、取得した拡大率を画像生成部９３に供給する。
【０２３５】
画像生成部９３は、拡大率取得部９２から供給された拡大率を用いて三次元（３Ｄ）画像であるナビゲーション画像を生成する。本実施形態における手術顕微鏡９５は、３Ｄ撮影が可能な手術顕微鏡であるものとする。画像生成部９３は、拡大率に応じて３Ｄ視差を調整するものとすることができる。この詳細については後述する。
【０２３６】
情報処理装置９０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。
【０２３７】
［画像生成部の詳細］
上述のように画像生成部９３は、拡大率Ｍに応じて３Ｄ画像の視差を調整する。
【０２３８】
図４２は、画像生成部９３の構成及び動作を示すブロック図である。同図に示すように、画像生成部９３は、閾値処理部９３１及び３Ｄ視差調整部９３２を具備する。
【０２３９】
閾値処理部９３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行し、
３Ｄ画像における視差の強調程度を選択する。閾値処理部９３１は例えば、拡大率Ｍが閾値以上であれば視差の強調程度を小さくし、拡大率Ｍが閾値未満であれば視差の強調程度を大きくするものとすることができる。また、閾値処理部９３１は、拡大率Ｍが閾値以上であれば視差の強調を実行しないものとすることも可能である。閾値処理部８３１は、選択した視差の強調程度を３Ｄ視差調整部９３２に供給する。
【０２４０】
３Ｄ視差調整部９３２は、３Ｄ撮影画像に対して、閾値処理部９３１から供給された強調程度で視差を調整し、３Ｄ画像を生成する。
【０２４１】
図４３は、画像生成部９３の動作を示すフローチャートである。同図に示すように、閾値処理部９３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行する（Ｓｔ９０１）。即ち、閾値処理部９３１は、拡大率Ｍと閾値の比較結果に応じて視差の強調程度を選択し（Ｓｔ９０１）、３Ｄ視差調整部９３２に指示する。３Ｄ視差調整部９３２は、閾値処理部９３１から供給された視差の強調程度で３Ｄ画像を生成（Ｓｔ９０３）し、ディスプレイに表示させる（Ｓｔ９０４）。
【０２４２】
このように、画像生成部９３によって、拡大率Ｍに応じて視差強調の程度が異なる３Ｄ画像が生成される。画像生成部９３は、生成した３Ｄ画像をディスプレイに表示させるものとすることができる。ユーザが拡大率を大きくするズームインの操作をすると、画像が拡大されるため視差の強い３Ｄ画像が表示されてしまう。そこで、画像生成部９３は視差を非強調する処理を行い、目に優しい３Ｄ画像を提示する。また、ユーザが拡大率が小さくなるズームアウトの操作をすると、画像が縮小されるため視差の弱い３Ｄ画像が表示されてしまう。そこで、画像生成部９３は視差を強調処理し、立体感のある３Ｄ画像を提示する。
【０２４３】
画像生成部９３は以上のような構成を有する。上記のように画像生成部９３は、拡大率Ｍに応じて３Ｄ画像の視差の強調程度を変更する。視差の強調程度の変更は、拡大率Ｍに応じて自動的に選択されるため、ユーザが手動で選択する必要がなく、高い利便性を提供することができる。
【０２４４】
なお、本技術は以下のような構成もとることができる。
（１）
施術対象の眼が撮影された画像である参照画像と、上記参照画像が撮影された時刻とは異なる時刻に上記眼が撮影された画像である対象画像について、上記対象画像の上記参照画像に対する拡大率を取得する拡大率取得部と、
上記拡大率取得部によって取得された拡大率に基づいて、上記眼の施術をガイドするナビゲーション情報を含むナビゲーション画像を生成する画像生成部と
を具備する情報処理装置。
【０２４５】
（２）
上記（１）に記載の情報処理装置であって、
上記拡大率取得部は、上記参照画像において検出された物体の像の大きさと、上記対象画像において検出された上記物体の像の大きさの比率に基づいて上記拡大率を取得する
情報処理装置。
【０２４６】
（３）
上記（１）又は（２）に記載の情報処理装置であって、
上記拡大率取得部は、上記参照画像が撮影されたときの撮影装置と上記眼の距離と、上記対象画像が撮影されたときの撮影装置と上記眼の距離の比率に基づいて上記拡大率を取得する
情報処理装置。
【０２４７】
（４）
上記（１）から（３）のいずれか一つに記載の情報処理装置であって
上記拡大率取得部は、上記参照画像が撮影されたときの撮影装置のズーム率と、上記対象画像が撮影されたときの撮影装置のズーム率の比率に基づいて上記拡大率を取得する
情報処理装置。
【０２４８】
（５）
上記（１）から（４）のいずれか一つに記載の情報処理装置であって、
上記拡大率取得部は、上記参照画像が撮影されたときの撮影装置と上記眼の距離及び撮影装置のズーム率と、上記対象画像が撮影されたときの撮影装置と上記眼の距離及び撮影装置のズーム率の比率に基づいて上記拡大率を取得する
情報処理装置。
【０２４９】
（６）
上記（１）から（５）のいずれか一つに記載の情報処理装置であって、
上記画像生成部は、上記拡大率を利用して上記参照画像と上記対象画像の画像マッチングを行い、上記画像マッチングの結果を用いて上記ナビゲーション画像を生成する
情報処理装置。
【０２５０】
（７）
上記（１）から（６）のいずれか一つに記載の情報処理措置であって、
上記画像生成部は、上記参照画像と上記対象画像のそれぞれにおいて特徴点を検出する特徴点検出部を備え、
上記特徴点検出部は、上記拡大率を利用して上記対象画像における特徴点を検出する
情報処理装置。
【０２５１】
（８）
上記（１）から（７）のいずれか一つに記載の情報処理装置であって、
上記特徴点検出部は、上記参照画像と上記対象画像のそれぞれに対して平滑化画像を生成するためのガウシアンフィルタのスケール範囲を決定するスケール範囲決定部と、上記参照画像と上記対象画像のそれぞれに対して上記スケール範囲決定部により決定されたスケール範囲でＤｏＧ画像を生成するＤｏＧ画像生成部とを備え、
上記スケール範囲決定部は、上記対象画像についてのスケール範囲を上記拡大率によって制限する
情報処理装置。
【０２５２】
（９）
上記（１）から（８）のいずれか一つに記載の情報処理装置であって、
上記画像生成部は、上記参照画像と上記対象画像のそれぞれにおいて検出された特徴点をマッチングする特徴点マッチング部を備え、
上記特徴点マッチング部は、上記拡大率を利用して上記マッチングを行う
情報処理装置。
【０２５３】
（１０）
上記（１）から（９）のいずれか一つに記載の情報処理装置であって、
上記特徴点マッチング部は、上記参照画像において検出された特徴点と上記対象画像において検出された特徴点のペアである特徴点ペアを選択する特徴点ペア選択部と、上記特徴点ペアのスケール比率によって上記特徴点ペアの正誤を判定するスケール値比較部とを備え、
上記スケール値比較部は、正判定とするスケール比率を上記拡大率によって制限する
情報処理装置。
【０２５４】
（１１）
上記（１）から（１０）のいずれか一つに記載の情報処理装置であって、
上記画像生成部は、上記参照画像と上記対象画像のそれぞれにおいて特徴点を検出する特徴点検出部と、上記参照画像と上記対象画像のそれぞれにおいて検出された特徴点をマッチングする特徴点マッチング部とを備え、
上記特徴点検出部は、上記拡大率を利用して上記対象画像における特徴点を検出し、
上記特徴点マッチング部は、上記拡大率を利用して上記マッチングを行う
情報処理装置。
【０２５５】
（１２）
上記（１）から（１１）のいずれか一つに記載の情報処理装置であって、
上記画像生成部は、上記拡大率に応じて異なるナビゲーション情報を含むナビゲーション画像を生成する
情報処理装置。
【０２５６】
（１３）
上記（１）から（１２）のいずれか一つに記載の情報処理装置であって、
上記画像生成部は、上記拡大率が閾値未満の場合、所定間隔の目盛りを有する第１のナビゲーション情報を含むナビゲーション画像を生成し、上記拡大率が閾値以上の場合、上記第１のナビゲーション情報より小さい間隔の目盛りを有する第２のナビゲーション情報を含むナビゲーション画像を生成する
情報処理装置。
【０２５７】
（１４）
施術対象の眼を撮影する手術顕微鏡と、
施術対象の眼が撮影された画像である参照画像と、上記参照画像が撮影された時刻とは異なる時刻に上記眼が撮影された画像である対象画像について、上記対象画像の上記参照画像に対する拡大率を取得する拡大率取得部と、上記拡大率取得部によって取得された拡大率に基づいて、上記眼の施術をガイドするナビゲーション画像を生成する画像生成部とを備える情報処理装置と
を具備する手術顕微鏡システム。
【０２５８】
（１５）
拡大率取得部が、施術対象の眼が撮影された画像である参照画像と、上記参照画像が撮影された時刻とは異なる時刻に上記眼が撮影された画像である対象画像について、上記対象画像の上記参照画像に対する拡大率を取得し、
画像生成部が、上記拡大率取得部によって取得された拡大率に基づいて、上記眼の施術をガイドするナビゲーション画像を生成する
情報処理方法。
【符号の説明】
【０２５９】
１、２、３、４、５、６、７、８、９…手術顕微鏡システム
１０、２０、３０、４０、５０、６０、７０、８０、９０…情報処理装置
１５、２５、３５、４５、５５、６５、７５、８５、９５…手術顕微鏡
１１、２１、３１、４１、５１、６１、７１、８１、９１…画像取得部
１２、２２、３２、４２、５２…入力受付部
１３、２３、３３、４３、５３、６２、７２、８２、９２…拡大率取得部
１４、２４、３４、４４、５４、６３、７３、９３…画像生成部
８３…顕微鏡制御部
５４１…特徴点検出部
５４２…特徴点マッチング部
５４１１…ＤｏＧ画像作成部
５４１２…ＤｏＧ極値探索部
５４１３…スケール範囲決定部
５４２１…特徴量計算部
５４２２…特徴量相関値計算部
５４２３…特徴点ペア選択部
５４２４…スケール値比較部
【図１】
2016112358.tif 000003
【図２】
2016112358.tif 000004
【図３】
2016112358.tif 000005
【図４】
2016112358.tif 000006
【図５】
2016112358.tif 000007
【図６】
2016112358.tif 000008
【図７】
2016112358.tif 000009
【図８】
2016112358.tif 000010
【図９】
2016112358.tif 000011
【図１０】
2016112358.tif 000012
【図１１】
2016112358.tif 000013
【図１２】
2016112358.tif 000014
【図１３】
2016112358.tif 000015
【図１４】
2016112358.tif 000016
【図１５】
2016112358.tif 000017
【図１６】
2016112358.tif 000018
【図１７】
2016112358.tif 000019
【図１８】
2016112358.tif 000020
【図１９】
2016112358.tif 000021
【図２０】
2016112358.tif 000022
【図２１】
2016112358.tif 000023
【図２２】
2016112358.tif 000024
【図２３】
2016112358.tif 000025
【図２４】
2016112358.tif 000026
【図２５】
2016112358.tif 000027
【図２６】
2016112358.tif 000028
【図２７】
2016112358.tif 000029
【図２８】
2016112358.tif 000030
【図２９】
2016112358.tif 000031
【図３０】
2016112358.tif 000032
【図３１】
2016112358.tif 000033
【図３２】
2016112358.tif 000034
【図３３】
2016112358.tif 000035
【図３４】
2016112358.tif 000036
【図３５】
2016112358.tif 000037
【図３６】
2016112358.tif 000038
【図３７】
2016112358.tif 000039
【図３８】
2016112358.tif 000040
【図３９】
2016112358.tif 000041
【図４０】
2016112358.tif 000042
【図４１】
2016112358.tif 000043
【図４２】
2016112358.tif 000044
【図４３】
2016112358.tif 000045