(57)【要約】【課題】眼の観察に適した画像処理装置、眼科用観察装置及び眼科用観察システムを提供すること。【解決手段】本技術に係る画像処理装置は、画像生成部を具備する。上記画像生成部は、眼に装着された前置レンズを介して撮像された撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する。【選択図】図１
2019012881.tif 000002
【特許請求の範囲】
【請求項１】
眼に装着された前置レンズを介して撮像された撮像画像において、前記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部
を具備する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記撮像画像において前記反転領域を検出する領域検出部
をさらに具備する画像処理装置
【請求項３】
請求項１に記載の画像処理装置であって、
前記画像生成部は、前記反転領域の中心を中心点として前記反転領域を反転させる
画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記画像生成部は、前記反転領域を反転させ、前記撮像画像において前記前置レンズによって像が反転していない画像領域である非反転領域と合成することによって前記表示画像を生成する
画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記前置レンズは、角膜に当接する凹レンズと、前記凹レンズから出射された光を眼の正面方向に向けて屈折させる凸レンズとを備える直視型前置レンズであり、
前記反転領域は円形であり、前記非反転領域は前記反転領域の周囲を囲む
画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記画像生成部は、前記反転領域を反転させ、反転させた前記反転領域の外周と前記非反転領域の内周を一致させることによって前記反転領域と前記非反転領域とを合成する
画像処理装置。
【請求項７】
請求項４に記載の画像処理装置であって、
前記前置レンズは、角膜に当接する凸レンズと、前記凸レンズの周囲に円周状に配置され、前記凸レンズから出射された光を眼の正面方向に向けて反射させるミラーとを備える反射型前置レンズであり、
前記反転領域は円周状領域であり、前記非反転領域は前記反転領域に囲まれた中央領域と前記反転領域を囲む外周領域とを含む
画像処理装置。
【請求項８】
請求項７に記載の画像処理装置であって、
前記画像生成部は、前記反転領域において前記中央領域の像を含む領域を不要領域として検出し、前記不要領域を削除して前記反転領域に反転させ、反転させた前記反転領域の内周と前記中央領域の外周を一致させ、反転させた前記反転領域の外周と前記外周領域の内周を一致させることによって前記反転領域、前記中央領域及び前記外周領域を合成する
画像処理装置。
【請求項９】
請求項２に記載の画像処理装置であって、
前記撮像画像に前記前置レンズが含まれていることを検出して前記前置レンズによる像の反転を補正する補正モードを選択し、前記領域検出部及び前記画像生成部に通知するモード決定部をさらに具備し、
前記領域検出部は、前記モード決定部によって前記補正モードが選択された場合に前記反転領域を検出する
画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置であって、
前記モード決定部は、前記撮像画像に対する物体認識処理によって前記前置レンズを検出する
画像処理装置。
【請求項１１】
請求項９に記載の画像処理装置であって、
前記モード決定部は、前記撮像画像において前記前置レンズに付されたマーカーを検出することによって前記前置レンズを検出する
画像処理装置。
【請求項１２】
請求項２に記載の画像処理装置であって、
前記領域検出部は、前記撮像画像に対する物体認識処理によって前記反転領域を検出する
画像処理装置。
【請求項１３】
請求項２に記載の画像処理装置であって、
前記領域検出部は、前記撮像画像における眼の構造によるテクスチャの違いを利用して前記反転領域を検出する
画像処理装置。
【請求項１４】
請求項２に記載の画像処理装置であって、
前記領域検出部は、前記撮像画像に対するエッジ検出処理によって前記反転領域を検出する
画像処理装置。
【請求項１５】
請求項２に記載の画像処理装置であって、
前記領域検出部は、前記撮像画像と前記前置レンズが装着されていない状態で撮像された眼の画像の差分に基づいて前記反転領域を検出する
画像処理装置。
【請求項１６】
請求項２に記載の画像処理装置であって、
前記領域検出部は、前記撮像画像から得られる視差情報から抽出されるデプス情報を利用して前記反転領域を検出する
画像処理装置。
【請求項１７】
請求項１に記載の画像処理装置であって、
前記撮像画像は、所定の撮像範囲毎に撮像された複数の画像から構成され、
前記画像生成部は、前記複数の画像の位置及び向きを反転させて前記表示画像を生成する
画像処理装置。
【請求項１８】
眼に装着され、像を反転させる前置レンズと、
前記前置レンズを介して撮像された撮像画像において、前記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える画像処理装置と
を具備する眼科用観察装置。
【請求項１９】
請求項１８に記載の眼科用観察装置であって、
前記前置レンズは隅角鏡である
眼科用観察装置。
【請求項２０】
眼に装着され、像を反転させる前置レンズと、
前記前置レンズの出射光を拡大する顕微鏡と、
ユーザによる操作入力を受け付けて入力信号を生成する顕微鏡制御入力部と、
前記顕微鏡に接続され、前記前置レンズ及び前記顕微鏡を介して撮像画像を撮像する撮像装置と、
前記撮像画像において、前記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える画像処理装置と
前記画像生成部が前記反転領域を反転させると、前記入力信号を反転させて前記顕微鏡を制御する顕微鏡制御部と
を具備する眼科用観察システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、眼科手術に利用される画像処理装置、眼科用観察装置及び眼科用観察システムに関する。
【背景技術】
【０００２】
眼科の診断や手術治療において眼球の正面側からの観察というのは広く行われている。特に緑内障疾患においては、虹彩の根本と角膜の根本にある前房隅角の観察は診断においても重要視されてきた。【０００３】
近年では、ＭＩＧＳ（minimally invasive glaucoma surgery）といわれる超低侵襲な緑内障手術でも治療時にこの隅角を直接観察しながら手術するということが行われている。しかしながら、前房隅角からの光は角膜により全反射されるため、そのままでは観察が困難である。【０００４】
このため、隅角鏡と呼ばれるコンタクトレンズと手術顕微鏡やスリットランプを組み合わせて観察することが一般的である。だが、大半の隅角鏡は視野が狭いため、観察したい位置を見るためには隅角鏡と顕微鏡の双方を観察対象に合わせて適切に位置合わせする必要がある。この問題に対応するため、特許文献１では凹レンズを用いた隅角全周を確認できる隅角鏡が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２０００−５０４２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の隅角鏡では、凹レンズを用いることによって術野の反転が発生し、術者にとって混乱が引き起こされる。これを防ぐためにはさらにレンズやミラーを複数組み合わせることが必要となり、減衰などのロスが生じやすくなってしまう。【０００７】
また、レンズを用いて作られた像を観察するため、任意の位置を拡大する場合には光学顕微鏡を適切に操作する手間が生じる。特に術野が反転している場合には、操作の方向と術野が食い違うため混乱も生じやすくなる。【０００８】
以上のような事情に鑑み、本技術の目的は、眼の観察に適した画像処理装置、眼科用観察装置及び眼科用観察システムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本技術の一形態に係る画像処理装置は、画像生成部を具備する。
上記画像生成部は、眼に装着された前置レンズを介して撮像された撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する。【００１０】
この構成によれば、前置レンズによる像の反転が画像処理によって解消するため、前置レンズを利用することによる施術者の混乱を防止することが可能となる。【００１１】
上記画像処理装置は、上記撮像画像において上記反転領域を検出する領域検出部をさらに具備してもよい。【００１２】
上記画像生成部は、上記反転領域の中心を中心点として上記反転領域を反転させてもよい。【００１３】
上記画像生成部は、上記反転領域を反転させ、上記撮像画像において上記前置レンズによって像が反転していない画像領域である非反転領域と合成することによって上記表示画像を生成してもよい。【００１４】
上記前置レンズは、角膜に当接する凹レンズと、上記凹レンズから出射された光を眼の正面方向に向けて屈折させる凸レンズとを備える直視型前置レンズであり、上記反転領域は円形であり、上記非反転領域は上記反転領域の周囲を囲んでもよい。【００１５】
上記画像生成部は、上記反転領域を反転させ、反転させた上記反転領域の外周と上記非反転領域の内周を一致させることによって上記反転領域と上記非反転領域とを合成してもよい。【００１６】
上記前置レンズは、角膜に当接する凸レンズと、上記凸レンズの周囲に円周状に配置され、上記凸レンズから出射された光を眼の正面方向に向けて反射させるミラーとを備える反射型前置レンズであり、上記反転領域は円周状領域であり、上記非反転領域は上記反転領域に囲まれた中央領域と上記反転領域を囲む外周領域とを含んでもよい。【００１７】
上記画像生成部は、上記反転領域において上記中央領域の像を含む領域を不要領域として検出し、上記不要領域を削除して上記反転領域に反転させ、反転させた上記反転領域の内周と上記中央領域の外周を一致させ、反転させた上記反転領域の外周と上記外周領域の内周を一致させることによって上記反転領域、上記中央領域及び上記外周領域を合成してもよい。【００１８】
上記撮像画像に上記前置レンズが含まれていることを検出して上記前置レンズによる像の反転を補正する補正モードを選択し、上記領域検出部及び上記画像生成部に通知するモード決定部をさらに具備し、上記領域検出部は、上記モード決定部によって上記補正モードが選択された場合に上記反転領域を検出してもよい。【００１９】
上記モード決定部は、上記撮像画像に対する物体認識処理によって上記前置レンズを検出してもよい。【００２０】
上記モード決定部は、上記撮像画像において上記前置レンズに付されたマーカーを検出することによって上記前置レンズを検出してもよい。【００２１】
上記領域検出部は、上記撮像画像に対する物体認識処理によって上記反転領域を検出してもよい。【００２２】
上記領域検出部は、上記撮像画像における眼の構造によるテクスチャの違いを利用して上記反転領域を検出してもよい。【００２３】
上記領域検出部は、上記撮像画像に対するエッジ検出処理によって上記反転領域を検出してもよい。【００２４】
上記領域検出部は、上記撮像画像と上記前置レンズが装着されていない状態で撮像された眼の画像の差分に基づいて上記反転領域を検出してもよい。【００２５】
上記領域検出部は、上記撮像画像から得られる視差情報から抽出されるデプス情報を利用して上記反転領域を検出してもよい。【００２６】
上記撮像画像は、所定の撮像範囲毎に撮像された複数の画像から構成され、
上記画像生成部は、上記複数の画像の位置及び向きを反転させて上記表示画像を生成してもよい。【００２７】
上記目的を達成するため、本技術の一形態に係る眼科用観察装置は、前置レンズと、画像処理装置とを具備する。
上記前置レンズは、眼に装着され、像を反転させる。
上記画像処理装置は、上記前置レンズを介して撮像された撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える。【００２８】
上記前置レンズは隅角鏡であってもよい。【００２９】
上記目的を達成するため、本技術の一形態に係る眼科用観察システムは、前置レンズと、顕微鏡と、顕微鏡制御入力部と、撮像装置と、画像処理装置と、顕微鏡制御部とを具備する。
上記前置レンズは、眼に装着され、像を反転させる。
上記顕微鏡は、上記前置レンズの出射光を拡大する。
上記顕微鏡制御入力部は、ユーザによる操作入力を受け付けて入力信号を生成する。
上記撮像装置は、上記顕微鏡に接続され、上記前置レンズ及び上記顕微鏡を介して撮像画像を撮像する。
上記画像処理装置は、上記撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える。
上記顕微鏡制御部は、上記画像生成部が上記反転領域を反転させると、上記入力信号を反転させて上記顕微鏡を制御する。
【発明の効果】
【００３０】
以上のように、本技術によれば、眼の観察に適した画像処理装置、眼科用観察装置及び眼科用観察システムを提供することが可能である。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００３１】
【図１】本技術の第１の実施形態に係る画眼科用観察システムの構成を示すブロック図である。
【図２】同観察システムの観察対象である眼の構造を示す模式図である。
【図３】同観察システムの観察対象である眼の構造を示す模式図である。
【図４】同観察システムが備える直視型前置レンズの模式図である。
【図５】同観察システムが備える反射型前置レンズの模式図である。
【図６】同観察システムが備える直視型前置レンズにおける光の経路を示す模式図である。
【図７】同観察システムが備える直視型前置レンズによって形成される眼の像を示す模式図である。
【図８】同観察システムが備える直視型前置レンズによって形成される眼の像の反転領域を示す模式図である。
【図９】同観察システムが備える反射型前置レンズのミラーの配置を示す模式図である。
【図１０】同観察システムが備える反射型前置レンズにおける光の経路を示す模式図である。
【図１１】同観察システムが備える反射型前置レンズによって形成される眼の像を示す模式図である。
【図１２】同観察システムが備える反射型前置レンズによって形成される眼の像の反転領域を示す模式図である。
【図１３】同観察システムが備える反射型前置レンズによって形成される眼の像と眼の部位の位置関係を示す模式図である。
【図１４】同観察システムが備える画像処理装置によって生成される表示画像を示す模式図である。
【図１５】同観察システムが備える画像処理装置の機能的構成を示すブロック図である。
【図１６】同観察システムが備える画像処理装置の領域検出部によって検出される反転領域を示す模式図である。
【図１７】同観察システムが備える画像処理装置の画像生成部による表示画像の生成を示す模式図である。
【図１８】同観察システムが備える画像処理装置の領域検出部によって検出される反転領域を示す模式図である。
【図１９】同観察システムが備える画像処理装置の領域検出部によって検出される不要領域を示す模式図である。
【図２０】同観察システムが備える画像処理装置の画像生成部による表示画像の生成を示す模式図である。
【図２１】同観察システムが備える画像処理装置の画像生成部による表示画像の生成を示す模式図である。
【図２２】同観察システムが備える画像処理装置の動作を示すフローチャートである。
【図２３】同観察システムが備える画像処理装置のハードウェア構成を示すブロック図である。
【図２４】本技術の第２の実施形態に係る画眼科用観察システムの構成を示すブロック図である。
【図２５】同観察システムが備える前置レンズ及び撮像装置の構成を示す模式図である。
【図２６】同観察システムが備える前置レンズ及び撮像装置の構成を示す模式図である。
【図２７】同用観察システムが備える前置レンズ及び撮像装置の構成を示す模式図である。
【図２８】同観察システムが備える撮像装置の小型カメラの配置を示す模式図である。
【図２９】観察システムが備える撮像装置によって撮像される撮像画像の撮像範囲を示す模式図である。
【図３０】同観察システムが備える画像処理装置の機能的構成を示すブロック図である。
【図３１】同観察システムが備える画像処理装置による表示画像の生成を示す模式図である。
【図３２】同観察システムが備える画像処理装置によって生成される表示画像の模式図である。
【図３３】同観察システムが備える画像処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００３２】
（第１の実施形態）
本技術の第１の実施形態に係る眼科用観察システムについて説明する。
【００３３】
［眼科用観察システムの構成］
図１は本実施形態に係る眼科用観察システム１００の構成を示すブロック図である。同図に示すように眼科用観察システム１００は、前置レンズ１０１、顕微鏡１０２、撮像装置１０３、画像処理装置１０４、表示装置１０５、顕微鏡制御入力部１０６、顕微鏡制御部１０７及びユーザ入力部１０８を備える。
【００３４】
図２及び図３は眼科用観察システム１００の観察対象である眼３００の構造を示す模式図であり、図２は断面図、図３は眼の正面方向からみた平面図である。これらの図に示すように、眼３００は角膜３０１、虹彩３０２及び水晶体３０３等の組織で構成されている。水晶体３０３の表面において虹彩３０２の間が瞳孔３０４であり、角膜３０１の周縁には隅角３０５が位置する。また、図２及び図３には眼の手術に用いられる術具Ｔを示す。
【００３５】
前置レンズ１０１は、眼に装着されるレンズである。図４及び図５は、前置レンズ１０１を示す模式図である。前置レンズ１０１は図４に示す直視型の前置レンズ（以下、直視型前置レンズ１０１Ａ）であってもよく、図５に示す反射型の前置レンズ（以下、反射型前置レンズ１０１Ｂ）であってもよい。
【００３６】
図４に示すように、直視型前置レンズ１０１Ａは角膜３０１上に載置され、支持部材１１１、凹レンズ１１２及び凸レンズ１１３から構成されている。凹レンズ１１２は角膜３０１に当接し、凸レンズ１１３は凹レンズ１１２から離間して設けられている。
【００３７】
図６は、直視型前置レンズ１０１Ａにおける光の経路を示す模式図である。同図に示すように、隅角３０５等の虹彩３０２の周縁部から出射された光（図中、Ｌ１）は凹レンズ１１２及び凸レンズ１１３によって反転し、眼の正面方向に向かって出射する。また、瞳孔３０４等の虹彩３０２の中央部から出射された光（図中、Ｌ２）もまた、凹レンズ１１２及び凸レンズ１１３によって反転し、眼の正面方向に向かって出射する。
【００３８】
図７は、直視型前置レンズ１０１Ａを介してみた眼の像を示す模式図である。同図に示すように、虹彩３０２の周囲には、直視型前置レンズ１０１Ａによって現された隅角３０５の像が映ると共に、直視型前置レンズ１０１Ａの周縁Ｓより内側の領域では像が反転する。また、直視型前置レンズ１０１Ａによって像は一定程度拡大される。図７において像が反転する領域を反転領域Ｒ１とし、像が反転しない領域を非反転領域Ｒ２として示す。図８は反転領域Ｒ１のみを示す模式図である。
【００３９】
図５に示すように反射型前置レンズ１０１Ｂは、角膜３０１上に載置され、支持部材１２１、凸レンズ１２２及びミラー１２３から構成されている。凸レンズ１２２は角膜３０１に当接するように配置される。図９は、ミラー１２３の配置を示す模式図であり、眼の正面方向からみた図である。同図に示すようにミラー１２３は、凸レンズ１２２の周囲において円周状に配置されている。
【００４０】
図１０は、反射型前置レンズ１０１Ｂにおける光の経路を示す模式図である。同図に示すように、隅角３０５等の虹彩３０２の周縁部から出射された光（図中、Ｌ１）は凸レンズ１２２によって屈折し、ミラー１２３によって眼の正面方向に向かって反射され、反転して出射する。また、瞳孔３０４等の虹彩３０２の中央部から出射された光（図中、Ｌ２）はミラー１２３によって反射されず、反転せずに出射する。
【００４１】
図１１は、反射型前置レンズ１０１Ｂを介してみた眼の像を示す模式図である。同図に示すように、虹彩３０２の周囲には、反射型前置レンズ１０１Ｂによって現された隅角３０５の像が映る。また、反射型前置レンズ１０１Ｂの周縁Ｓより内側の一定範囲の領域では上記光Ｌ１で示すように像が反転する。以下、この像が反転する領域を反転領域Ｒ１とし、像が反転しない領域を非反転領域Ｒ２とする。
【００４２】
図１２は反転領域Ｒ１のみを示す模式図である。ミラー１２３が円周状に配置されているため、同図に示すように反転領域Ｒ１も円周状の領域となる。また、術具Ｔの像に示すように、反転領域Ｒ１の内周側から外周側にかけて像が次第に拡大される。
【００４３】
また図１１に示すように非反転領域Ｒ２は、反転領域Ｒ１の内側の中央領域Ｒ２Ａと反転領域Ｒ１の外側の外周領域Ｒ２Ｂを含む。中央領域Ｒ２Ａは上記光Ｌ２で示すようにミラー１２３によって反射されていない領域であり、周縁領域２Ｂは反射型前置レンズ１０１Ｂの外側の領域である。
【００４４】
図１３は、眼の構造と反射型前置レンズ１０１Ｂによって生じる像の関係を示す模式図である。同図に示すように、反転領域Ｒ１には、ミラー１２３によって反射された隅角３０５、虹彩３０２及び瞳孔３０４の像が含まれる。このため、虹彩３０２及び瞳孔３０４は中央領域Ｒ２Ａと反転領域Ｒ１の両方に映ることになる。
【００４５】
前置レンズ１０１は以上のような構成を有する。前置レンズ１０１は直接的または間接的に眼との位置関係を固定され、像の一部を反転させるものであればよく、典型的には隅角３０５を観察するための隅角鏡である。また、前置レンズ１０１は網膜観察のためのワイドビューシステムに利用されるワイドビューレンズであってもよい。
【００４６】
顕微鏡１０２は、前置レンズ１０１から出射された光を拡大し、撮像装置１０３に入射させる。顕微鏡１０２は一般的構成を有する光学顕微鏡とすることができる。また、顕微鏡１０２は、左右両眼用に二つの鏡筒が設けられたものであってもよい。顕微鏡１０２は視野をＸ−Ｙ方向に移動可能なものが好適である。顕微鏡１０２は、顕微鏡制御部１０７によって拡大倍率や視野範囲等の制御を受ける。
【００４７】
撮像装置１０３は、顕微鏡１０２にマウントされ、前置レンズ１０１及び顕微鏡１０２を介して眼の画像を撮像する。撮像装置１０３が撮像する画像（以下、撮像画像）は、前置レンズ１０１が眼に装着されていない場合には図３に示すような画像となり、前置レンズ１０１が眼に装着されている場合には図７又は図１１に示すような画像となる。撮像装置１０３は撮像画像を画像処理装置１０４に出力する。
【００４８】
画像処理装置１０４は、撮像装置１０３から出力された撮像画像に画像処理を施し、表示画像を生成する。図１４は表示画像を示す模式図である。画像処理装置１０４は撮像画像に前置レンズ１０１が含まれる場合、撮像画像に含まれる反転領域Ｒ１を反転させ、図１４に示すように正しい向きに補正する。この詳細については後述する。画像処理装置１０４は生成した表示画像を表示装置１０５に出力し、表示させる。また、画像処理装置１０４は、反転の有無や反転領域の範囲等といった反転に関する情報を顕微鏡制御部１０７に出力する。
【００４９】
表示装置１０５は、画像処理装置１０４から出力された表示画像を表示する。表示装置１０５は一般的なディスプレイやヘッドマウントディスプレイである。また、表示装置１０５は複数のディスプレイであってもよく、例えば執刀医用のディスプレイと補助者用のディスプレイとすることができる。
【００５０】
顕微鏡制御入力部１０６は、ユーザによる顕微鏡１０２への操作入力を受け付ける。ユーザは顕微鏡制御入力部１０６を用いて顕微鏡１０２の視野をＸ−Ｙ方向において移動させる（以下、Ｘ−Ｙ操作）等の操作入力を行うことができる。顕微鏡制御入力部１０６は例えばフットスイッチである。顕微鏡制御入力部１０６は、ユーザの操作に基づいて入力信号を生成し、入力信号を顕微鏡制御部１０７に供給する。
【００５１】
顕微鏡制御部１０７は、顕微鏡制御入力部１０６から供給された入力信号に基づいて顕微鏡１０２を制御する。顕微鏡制御部１０７は、入力信号に応じて顕微鏡１０２の鏡筒位置等を調整し、顕微鏡１０２の視野を移動させることができる。
【００５２】
ここで、顕微鏡制御部１０７は、画像処理装置１０４から反転に関する情報を取得し、反転が実施されている場合、反転領域Ｒ１において顕微鏡制御入力部１０６から供給された入力信号を反転させる。
【００５３】
上記のように画像処理装置１０４において反転領域Ｒ１の反転が実施されている場合においてユーザが視野を移動させる際、表示画像には反転した眼の像が含まれているため、そのままではユーザが見たい方向に視野を移動させようとすると、視野が反対方向に移動する。これにより、ユーザに混乱を引き起こす。
【００５４】
これに対して顕微鏡制御部１０７がＸ−Ｙ操作の入力信号を反転させることにより、ユーザの意図するＸ−Ｙ操作にしたがって顕微鏡１０２の視野が移動し、ユーザの混乱が解消される。
【００５５】
ユーザ入力部１０８は、上述した顕微鏡制御部１０７による入力信号の反転処理を実施するかどうかをユーザの指示に従って設定する。
【００５６】
［画像処理装置の機能的構成］
図１５は画像処理装置１０４の機能的構成を示すブロック図である。同図に示すように画像処理装置１０４は、画像取得部１４１、モード決定部１４２、領域検出部１４３、画像生成部１４４及び画像出力部１４５を備える。
【００５７】
＜１．直視型前置レンズの場合＞
前置レンズ１０１として直視型前置レンズ１０１Ａ（図４参照）が用いられる場合の画像処理装置１０４の機能的構成について説明する。
【００５８】
画像取得部１４１は、撮像装置１０３から撮像画像を取得する。直視型前置レンズ１０１Ａが用いられている場合の撮像画像は、図７に示すような画像となる。上述のように撮像画像には反転領域Ｒ１及び非反転領域Ｒ２が含まれている。画像取得部１４１は、取得した撮像画像をモード決定部１４２に供給する。
【００５９】
モード決定部１４２は、画像処理装置１０４の動作モードを決定する。具体的には、モード決定部１４２は前置レンズ１０１による影響を補正するためのモード（以下、補正モード）と通常のモード（以下、通常モード）のいずれかのモードを選択する。
【００６０】
モード決定部１４２は、撮像画像に含まれている前置レンズ１０１の検出結果を利用してモードを決定することができる。
【００６１】
モード決定部１４２は、予めデータベースに保存されている前置レンズ１０１の像の特徴を撮像画像において検出する物体認識技術によって前置レンズ１０１を検出することができる。また、モード決定部１４２は、前置レンズ１０１に付されたマーカーを検出することによって前置レンズ１０１を検出してもよい。
【００６２】
モード決定部１４２は、撮像画像に前置レンズ１０１が含まれている場合には補正モードを選択し、前置レンズ１０１が含まれていない場合には通常モードを選択することができる。
【００６３】
また、モード決定部１４２は、ユーザ入力部１０８を用いて入力されたユーザの指示に応じて、モードを決定してもよい。モード決定部１４２は、決定したモードを領域検出部１４３及び画像生成部１４４に通知する。
【００６４】
領域検出部１４３は、撮像画像において反転領域Ｒ１を検出する。図１６は直視型前置レンズ１０１Ａが眼に装着されている場合に撮像される撮像画像Ｇにおける反転領域Ｒ１の範囲を示す模式図である。
【００６５】
領域検出部１４３は、上述した物体認識を利用して反転領域Ｒ１を検出することができる。また、領域検出部１４３は、前置レンズ１０１の外側は白目の領域である一方、前置レンズ１０１の内側は隅角、虹彩及び瞳孔のように白目とは色やテクスチャの様子が異なることを利用して反転領域Ｒ１を検出することもできる。
【００６６】
また、撮像画像において前置レンズ１０１の周縁Ｓには明確エッジが存在するため、領域検出部１４３はエッジ検出処理を行い、検出されたエッジの内側の領域を反転領域Ｒ１として検出ことも可能である。
【００６７】
以上の検出方法は１つの撮像画像から反転領域Ｒ１を検出するものであるが、領域検出部１４３は複数の撮像画像を利用して反転領域Ｒ１を検出することもできる。具体的には領域検出部１４３は、前置レンズ１０１が装着されていない手術開始時の撮像画像を保持しておき、その撮像画像と前置レンズ１０１が含まれる撮像画像を比較し、差分が大きい領域を反転領域Ｒ１として検出してもよい。
【００６８】
また、顕微鏡１０２に撮像装置１０３を搭載する場合、左目用と右目用の両方の撮像画像を得ることができる。領域検出部１４３は、この二つの撮像画像の視差情報からデプス（Depth）情報を抽出し、前置レンズ１０１は眼の手前にあることを利用して反転領域Ｒ１を検出することもできる。
【００６９】
なお、領域検出部１４３は、一度反転領域Ｒ１の検出に成功した場合には、検出した前置レンズ１０１をトラッキングすることで反転領域Ｒ１を検出してもよい。領域検出部１４３は以上のようにして反転領域Ｒ１を検出する。領域検出部１４３は、検出した反転領域Ｒ１の範囲を画像生成部１４４に供給する。
【００７０】
画像生成部１４４は、撮像画像に補正処理を行い、表示画像を生成する。図１７は画像生成部１４４による補正処理の態様を示す模式図である。まず、画像生成部１４４は、図１７（ａ）に示すように撮像画像Ｇにおける反転領域Ｒ１を抽出する。図中、Ｒ、Ｌ、Ｕ及びＤは反転領域Ｒ１における位置を示す記号である。
【００７１】
続いて、画像生成部１４４は図１７（ｂ）に示すように、反転領域Ｒ１の中心を中心点として点対称となるように反転領域Ｒ１を反転させる。さらに、画像生成部１４４は、図１７（ｃ）に示すように、反転させた反転領域Ｒ１の外周と非反転領域Ｒ２の内周を一致させることによって反転領域Ｒ１と非反転領域Ｒ２とを合成する。
【００７２】
これにより、画像生成部１４４は、図１４に示すように、反転が解消された表示画像を生成することができる。画像生成部１４４は、生成した表示画像を画像出力部１４５に供給する。
【００７３】
画像出力部１４５は、表示画像を表示装置１０５に出力し、表示装置１０５に表示させる。ここで、眼科の手術では、執刀医と助手がいる場合、執刀医と助手が直交した位置関係となることが多い。この場合、画像出力部１４５は、あるディスプレイには執刀医の位置から見た表示画像を、別のディスプレイには助手の位置に合わせて回転させた表示画像を表示させることができる。これにより、執刀医と助手の両方に混乱が生じにくい表示画像を提供することができる。
【００７４】
＜２．反射型前置レンズの場合＞
前置レンズ１０１として反射型前置レンズ１０１Ｂ（図５参照）が用いられる場合の画像処理装置１０４の機能的構成について説明する。
【００７５】
画像取得部１４１は、撮像装置１０３から撮像画像を取得する。反射型前置レンズ１０１Ｂが用いられている場合の撮像画像は、図１１に示すような画像となる。上述のように撮像画像には反転領域Ｒ１及び非反転領域Ｒ２が含まれている。画像取得部１４１は、取得した撮像画像をモード決定部１４２に供給する。
【００７６】
モード決定部１４２は、画像処理装置１０４の動作モードを決定する。モード決定部１４２は、直視型前置レンズ１０１Ａの場合と同様に撮像画像に含まれている前置レンズ１０１の検出結果やユーザによる指示に応じて動作モードを決定することができる。モード決定部１４２は、決定したモードを領域検出部１４３及び画像生成部１４４に通知する。
【００７７】
領域検出部１４３は、撮像画像において各領域を検出する。図１８は、反射型前置レンズ１０１Ｂが眼に装着されている場合に撮像される撮像画像Ｇにおける反転領域Ｒ１、中央領域Ｒ２Ａ及び外周領域Ｒ２Ｂを示す模式図である。
【００７８】
まず、領域検出部１４３は、反転領域Ｒ１及び中央領域Ｒ２Ａを検出する。領域検出部１４３は、直視型前置レンズ１０１Ａの場合と同様に、物体認識やエッジ検出、撮像画像の差分等を利用して反転領域Ｒ１を検出することができる。また、領域検出部１４３は、検出した反転領域Ｒ１の内側の領域を中央領域Ｒ２Ａとして検出することができる。
【００７９】
さらに、領域検出部１４３は、不要領域を検出する。図１９は不要領域Ｒ３（図中、斜線部）を示す模式図である。同図に示すように、不要領域Ｒ３は、反転領域Ｒ１のうち、中央領域Ｒ２Ａにも映っている領域であり、反転領域Ｒ１における虹彩３０２及び瞳孔３０４に相当する領域である。
【００８０】
領域検出部１４３は、隅角３０５と虹彩３０２の色やテクスチャの違いを利用して不要領域Ｒ３を検出することができる。また、領域検出部１４３は、予め取得したミラー１２３の傾斜角度から不要領域Ｒ３となる範囲を推定し、不要領域Ｒ３を検出することもできる。
【００８１】
さらに、領域検出部１４３は、中央領域Ｒ２Ａの周縁に隅角３０５が移っている場合には、隅角３０５の領域も不要領域Ｒ３に含めることが可能である。領域検出部１４３は、検出した反転領域Ｒ１、中央領域Ｒ２Ａ及び不要領域Ｒ３の範囲を画像生成部１４４に供給する。
【００８２】
画像生成部１４４は、撮像画像に補正処理を行い、表示画像を生成する。図２０及び図２１は画像生成部１４４による補正処理の態様を示す模式図である。まず、画像生成部１４４は、図２０（ａ）に示すように撮像画像Ｇにおける反転領域Ｒ１を抽出する。図中、Ｒ０、Ｒ１、Ｌ０、Ｌ１、Ｕ０、Ｕ１、Ｄ０及びＤ１は反転領域Ｒ１における位置を示す記号である。
【００８３】
続いて、画像生成部１４４は、図２０（ｂ）に示すように、反転領域Ｒ１において不要領域Ｒ３を削除する。以下、不要領域Ｒ３を削除した反転領域Ｒ１を反転領域Ｒ４とする。同図において反転領域Ｒ４の内周を内周Ｅ１として示し、反転領域Ｒ４の外周を外周Ｅ２として示す。
【００８４】
さらに画像生成部１４４は図２１（ａ）に示すように反転領域Ｒ４を、反転領域Ｒ４の中心を中心点として点対称となるように反転させる。同図において反転領域Ｒ４の内周Ｅ３は反転前の外周Ｅ２に相当し、反転領域Ｒ４の外周Ｅ４は反転前の内周Ｅ１に相当する。即ち、画像生成部１４４は、内周Ｅ１の長さが外周Ｅ４に一致し、外周Ｅ２の長さが内周Ｅ３に一致するように、台形補正を施して反転領域Ｒ４を反転させる。また、画像生成部１４４は、中央領域Ｒ２Ａに不要領域Ｒ３の一部が存在する場合、この部分を削除する。
【００８５】
さらに、画像生成部１４４は、図２１（ｂ）に示すように、反転させた反転領域Ｒ４を非反転領域Ｒ２（中央領域Ｒ２Ａ及び外周領域Ｒ２Ｂ）と合成する。この際、画像生成部１４４は、反転領域Ｒ４の内周Ｅ３が中央領域Ｒ２Ａの外周に一致するように反転領域Ｒ４を拡大させ、又は中央領域Ｒ２Ａを拡大させる。また、画像生成部１４４は、反転領域Ｒ４の外周Ｅ４を外周領域の内周に一致させる。
【００８６】
このようにして、画像生成部１４４は、図１４に示すように、反転が解消された表示画像を生成することができる。画像生成部１４４は、生成した表示画像を画像出力部１４５に供給する。
【００８７】
画像出力部１４５は、表示画像を表示装置１０５に出力し、表示装置１０５に表示させる。画像出力部１４５は上記のように、執刀医と助手の位置関係に応じて表示画像を回転させ、ディスプレイに表示させることが可能である。
【００８８】
［画像処理装置の動作］
図２２は、画像処理装置１０４の動作を示すフローチャートである。同図に示すように、まず、画像取得部１４１が撮像画像を取得する（Ｓｔ１０１）。
【００８９】
続いて、モード決定部１４２が、補正モードと通常モードのいずれかを決定する（Ｓｔ１０２）。モード決定部１４２は、上記のように撮像画像において前置レンズ１０１を検出し、又はユーザの指示を受けて補正モードを選択し、それ以外の場合は通常モードを選択することができる。
【００９０】
モード決定部１４２が補正モードを選択した場合（Ｓｔ１０３：Ｙｅｓ）、領域検出部１４３は反転領域Ｒ１を検出する（Ｓｔ１０４）。また、反射型前置レンズ１０１Ｂが眼に装着されている場合、領域検出部１４３は、反転領域Ｒ１に加え、中央領域Ｒ２Ａ及び不要領域Ｒ３を検出する。
【００９１】
続いて、画像生成部１４４は、補正及び合成処理を行い、表示画像を生成する（Ｓｔ１０５）。画像生成部１４４は、直視型前置レンズ１０１Ａの場合には反転領域Ｒ１を反転させ、非反転領域Ｒ２と合成させる。また、画像生成部１４４は、反射型前置レンズ１０１Ｂの場合には不要領域Ｒ３を削除した上で反転領域Ｒ４を反転させ、非反転領域Ｒ２と合成させる。
【００９２】
また、モード決定部１４２が通常モードを選択した場合（Ｓｔ１０３：Ｎｏ）、画像生成部１４４は、撮像画像をそのまま表示画像とする。
【００９３】
続いて画像出力部１４５は、画像生成部１４４によって生成された表示画像を表示装置１０５に出力し（Ｓｔ１０６）、表示装置１０５に表示させる。画像出力部１４５は、執刀医と助手の位置関係に応じて表示画像を回転させることができる。
【００９４】
画像処理装置１０４は以上のような動作を行う。画像処理装置１０４によって前置レンズ１０１による像の反転が解消されるため、ユーザは混乱を生じることなく手術を行うことが可能となる。
【００９５】
［眼科用観察システムの動作］
画像処理装置１０４によって、前置レンズ１０１による像の反転が解消された表示画像が表示装置１０５に表示させる。その表示画像を見ながら術者は処置を行うが、細かな作業を行う場合、拡大して観察したいということがある。デジタルズームで十分な場合は、それで対応するが、より拡大したい場合には顕微鏡１０２を適切な位置に、Ｘ−Ｙ方向において平行移動させたうえで光学的に拡大することも必要になる。
【００９６】
表示画像は補正された画像であるため、たとえば表示装置１０５上の左上を拡大して見たい場合には、顕微鏡１０２自体は右下に動かす必要があり、齟齬が生じる。そこで、顕微鏡制御部１０７は補正モードで動作している場合には、顕微鏡制御入力部１０６等から得られるＸ−Ｙ操作信号を反転させて顕微鏡１０２の動きに反映させることで、術者の混乱を防止することが可能である。
【００９７】
［眼科用観察システムによる効果］
従来、隅角等の眼の正面からの視認が困難な部位を、前置レンズ及び顕微鏡によって観察することが一般的であった。眼科用観察システム１００では、前置レンズ１０１及び顕微鏡１０２に加えて画像処理装置１０４による画像処理を行うことにより術者の混乱のもとになる像の反転を解消することが可能である。
【００９８】
また、眼科用観察システム１００の光学系（前置レンズ１０１及び顕微鏡１０２）は簡易な光学系であるため、光の減衰を減らすことができ、低光量にも対応することができる。さらに、像の反転の解消に合わせて顕微鏡１０２の操作信号を反転させることにより、術者は違和感なく顕微鏡１０２の視野を移動させることが可能である。
【００９９】
［ハードウェア構成］
図２３は、画像処理装置１０４のハードウェア構成を示す模式図である。同図に示すように画像処理装置１０４はハードウェア構成として、ＣＰＵ１００１、ＧＰＵ１００２、メモリ１００３、ストレージ１００４及び入出力部（Ｉ／Ｏ）１００５を有する。これらはバス１００６によって互いに接続されている。
【０１００】
ＣＰＵ（Central Processing Unit）１００１は、メモリ００３に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１００３に格納する。ＣＰＵ１００１はマイクロプロセッサとすることができる。
【０１０１】
ＧＰＵ（Graphic Processing Unit）１００２は、ＣＰＵ１００１による制御を受けて、画像処理を実行する。ＧＰＵ１００２はマイクロプロセッサとすることができる。
【０１０２】
メモリ１００３はＣＰＵ１００１によって実行されるプログラム及びデータを格納する。メモリ１００３はＲＡＭ（Random Access Memory）とすることができる。
【０１０３】
ストレージ１００４は、プログラムやデータを格納する。ストレージ１００４はＨＤＤ（hard disk drive）又はＳＳＤ（solid state drive）とすることができる。
【０１０４】
入出力部１００５は画像処理装置１０４に対する入力を受け付け、また画像処理装置１０４の出力を外部に供給する。入出力部１００５は、キーボードやマウス等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェースを含む。
【０１０５】
画像処理装置１０４のハードウェア構成はここに示すものに限られず、画像処理装置１０４の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。
【０１０６】
（第２の実施形態）
本技術の第２の実施形態に係る眼科用観察システムについて説明する。
【０１０７】
［眼科用観察システムの構成］
図２４は本実施形態に係る眼科用観察システム２００の構成を示すブロック図である。同図に示すように眼科用観察システム２００は、前置レンズ２０１、撮像装置２０２、画像処理装置２０３、表示装置２０４及び制御入力部２０５を備える。なお、眼の構造については、第１の実施形態（図２及び図３）と同一の符号を用いる。
【０１０８】
前置レンズ２０１は、眼に装着されるレンズである。本実施形態においては、前置レンズ２０１に撮像装置２０２が組み込まれている。図２５乃至図２８は、前置レンズ２０１及び撮像装置２０２の構成を示す模式図である。
【０１０９】
前置レンズ２０１は、第１の実施形態と同様に反射型前置レンズ又は直視型前置レンズとすることができる。本実施形態では、前置レンズ２０１として前置レンズの一部の構成について示す。図２５乃至図２８に示すように、前置レンズ２０１は眼３００に装着され、支持部材２１１及び凸レンズ２１２を備える。
【０１１０】
図２５に示すように、撮像装置２０２は、複数の小型カメラ２１３が配列されたカメラアレイとすることができる。図２８は小型カメラ２１３の配列を示す模式図であり、眼の正面方向からみた図である。同図に示すように小型カメラ２１３は同心円状の配列とすることができる。また、小型カメラ２１３の配列はこのような配列に限られず、小型カメラ２１３のアレイによって凸レンズ２１２の全周を撮像可能なものであればよい。
【０１１１】
図２５に示すように、眼から出射された光Ｌは凸レンズ２１２を通過し、それぞれの小型カメラ２１３に入射して撮像される。
【０１１２】
また、図２６に示すように撮像装置２０２は、複数の集光部２１４と、集光部２１４にそれぞれ接続された光ファイバ２１５と、各光ファイバ２１５が接続された一つのカメラ２１６によって構成されたものであってもよい。集光部２１４はレンズ等の任意の光学系を備え、入射光を光ファイバ２１５に集光する。集光部２１４の配列は、図２８に示す小型カメラ２１３の配列と同様とすることができるが、凸レンズ２１２の全周を撮像可能なものであればよい。
【０１１３】
図２６に示すように、眼から出射された光Ｌは凸レンズ２１２を通過し、それぞれの集光部２１４に入射する。それぞれの集光部２１４に入射した光は光ファイバ２１５によってカメラ２１６に導かれ、カメラ２１６によって撮像される。
【０１１４】
また、図２７に示すように撮像装置２０２は、複数の集光部２１７と、集光部２１７にそれぞれ接続された光ファイバ２１８と、光ファイバ２１８がそれぞれ接続された複数の小型カメラ２１９によって構成されたものであってもよい。集光部２１７はレンズ等の任意の光学系を備え、入射光を光ファイバ２１８に集光する。集光部２１７の配列は、図２８に示す小型カメラ２１３の配列と同様とすることができるが、凸レンズ２１２の全周を撮像可能なものであればよい。
【０１１５】
図２７に示すように、眼から出射された光Ｌは凸レンズ２１２を通過し、それぞれの集光部２１７に入射する。それぞれの集光部２１７に入射した光は光ファイバ２１８によってそれぞれの小型カメラ２１９に導かれ、小型カメラ２１９によって撮像される。
【０１１６】
図２９は、小型カメラ２１３によって撮像される眼の像を示す模式図である。同図において、小型カメラ２１３のそれぞれの撮像範囲を撮像範囲Ｈとして示す。同図に示すように、小型カメラ２１３の撮像範囲Ｈを結合することによって眼の全体の像が得られる。
【０１１７】
図２９に示すように、虹彩３０２の周囲には、前置レンズ２０１によって現された隅角３０５の像が映ると共に、前置レンズ２０１の周縁Ｓより内側の領域では像が反転する。また、前置レンズ２０１によって像は一定程度拡大される。図２９において像が反転する領域を反転領域Ｒ１とし、像が反転しない領域を非反転領域Ｒ２として示す。
【０１１８】
なお、小型カメラ２１９（図２７参照）によって撮像される眼の像も小型カメラ２１３と同様の像となる。また、カメラ２１６（図２６参照）の場合、図２９に示すような一つの画像が撮像され、個々の集光部２１４に入射する光は個々の撮像範囲Ｈに相当する範囲の光となる。
【０１１９】
前置レンズ２０１及び撮像装置２０２は以上のような構成を有する。前置レンズ２０１は眼に装着され、像の一部を反転させるものであればよく、典型的には隅角３０５を観察するための隅角鏡である。また、前置レンズ２０１は網膜観察のためのワイドビューシステムに利用されるワイドビューレンズであってもよい。
【０１２０】
画像処理装置２０３は、撮像装置２０２から出力された撮像画像に画像処理を施し、表示画像を生成する。画像処理装置２０３は、撮像画像に含まれる反転領域Ｒ１を反転させて正しい向きに補正する。この詳細については後述する。画像処理装置２０３は生成した表示画像を表示装置２０４に出力し、表示させる。
【０１２１】
表示装置２０４は、画像処理装置２０３から出力された表示画像を表示する。表示装置２０４は一般的なディスプレイやヘッドマウントディスプレイである。また、表示装置２０４は複数のディスプレイであってもよく、例えば手術者用のディスプレイと補助者用のディスプレイとすることができる。
【０１２２】
制御入力部２０５は、ユーザによる画像処理装置２０３への操作入力を受け付ける。ユーザは、制御入力部２０５を用いて表示モードの指定等の操作入力を行うことができる。制御入力部２０５は例えばフットスイッチである。
【０１２３】
［画像処理装置の機能的構成］
図３０は画像処理装置２０３の機能的構成を示すブロック図である。同図に示すように画像処理装置２０３は、モード受付部２３１、画像取得部２３２、画像生成部２３３、画像出力部２３４を備える。
【０１２４】
モード受付部２３１は、ユーザによる表示モードの入力を受け付ける。表示モードには、拡大率、立体感及びＸ−Ｙ方向の位置の情報（以下、Ｘ−Ｙ位置情報）が含まれている。モード受付部２３１は、表示モードを受け付けると、表示モードを画像取得部２３２に指示する。
【０１２５】
画像取得部２３２は、撮像装置２０２から図２９に示すような撮像画像を取得する。画像取得部２３２は、取得した撮像画像を画像生成部２３３に供給する。
【０１２６】
画像生成部２３３は、撮像画像に補正処理を行い、表示画像を生成する。画像生成部２３３は、表示モードにおいて規定されている拡大率及びＸ−Ｙ位置情報にしたがって定まる術野範囲を計算し、その術野範囲が映る撮像範囲Ｈの撮像画像を抽出する。
【０１２７】
画像生成部２３３は、抽出した撮像画像の位置及び向きを変更しパノラマ合成を行う。図３１は、画像生成部２３３による撮像画像の位置及び向きの変更を示す模式図であり、撮像範囲Ｈ１の撮像画像を範囲Ｈ２に反転させている。同図に示すように画像生成部２３３は、反転領域Ｒ１の反転が解消されるように撮像画像の位置及び向きを変更する。
【０１２８】
図３２は、画像生成部２３３が生成する表示画像の模式図である。画像生成部２３３は、表示モードによって眼の全体の画像を指示された場合には、図３２（ａ）に示すように全ての撮像範囲Ｈの撮像画像を利用して表示画像を生成する。
【０１２９】
また、画像生成部２３３は、表示モードによって眼の一部を拡大した画像を指示された場合には、図３２（ｂ）に示すように一部の撮像範囲Ｈの撮像画像を利用して表示画像を生成する。
【０１３０】
このようにして画像生成部２３３は、反転領域Ｒ１の反転が解消された表示画像を生成することができる。また、画像生成部２３３は、輻輳を変更するように撮像範囲Ｈを選択する、即ち、互いに離間する撮像範囲Ｈから表示画像を生成することによって視差を変更することも可能である。画像生成部２３３は、生成した表示画像を画像出力部２３４に供給する。
【０１３１】
画像出力部２３４は、表示画像を表示装置２０４に出力し、表示装置２０４に表示させる。画像出力部２３４は、第１の実施形態と同様に、あるディスプレイには執刀医の位置から見た表示画像を、別のディスプレイには助手の位置に合わせて回転させた表示画像を表示させることができる。
【０１３２】
［画像処理装置の動作］
図３３は、画像処理装置２０３の動作を示すフローチャートである。同図に示すように、まず、モード受付部２３１が表示モードの入力を受け付ける（Ｓｔ２０１）。表示モードの変更がある場合（Ｓｔ２０１：Ｎｏ）、表示モードが変更される（Ｓｔ２０２）。表示モードが変更された後、又は表示モードに変更がない場合（Ｓｔ２０１：Ｙｅｓ）、画像取得部２３２は表示モードにしたがって撮像画像を取得する（Ｓｔ２０３）。
【０１３３】
続いて、画像生成部２３３は、表示モードにしたがって撮像範囲Ｈ毎に撮像画像の向き及び位置を変更して合成し、表示画像を生成する（Ｓｔ２０５）。画像出力部２３４は表示画像を表示装置２０４に出力し、表示させる（Ｓｔ２０６）。
【０１３４】
画像処理装置２０３は、撮像画像の撮像に光学的なズームを用いないため、拡大した表示画像と眼の全体の表示画像を同時に提示することができ、執刀医が拡大している部位の位置を見失うことが防止されている。
【０１３５】
また、微細な手技が実施される差異には術野の拡大が必要となるが、こういった場合、単純に拡大画像だけではなく、視差による立体感が重要になることも多い。本技術では、
二つの撮像範囲を輻輳を変更するように選ぶことで視差を変えることが容易に行えるため、ユーザによって指定された立体感の設定パラメタに瞬時に応じることができる。
【０１３６】
また、本実施形態では光学的なズームを用いずに画像処理によって術野の画像を提供しているため、執刀医には拡大像を、助手は全体像を見るといったような使い方も可能である。
【０１３７】
［眼科用観察システムによる効果］
眼科用観察システム２００では、前置レンズ２０１に加えて画像処理装置２０３による画像処理を行うことにより術者の混乱のもとになる像の反転を解消することが可能である。
【０１３８】
また、眼科用観察システム２００の光学系（前置レンズ２０１）は簡易な光学系であるため、光の減衰を減らすことができ、低光量にも対応することができる。
【０１３９】
また、眼科用観察システム２００では眼の全体像と拡大図を同時に提示すること、術野の変更を瞬時に行うことが可能である。さらに眼科用観察システム２００では、視差の変更が容易に行え、立体感を制御することが可能であり、執刀医と助手にそれぞれ適した表示画像を提示することも可能である。
【０１４０】
［ハードウェア構成］
画像処理装置２０３は、第１の実施形態に係る画像処理装置１０４と同様のハードウェア構成によって実現することが可能である。
【０１４１】
なお、本技術は以下のような構成もとることができる。
【０１４２】
（１）
眼に装着された前置レンズを介して撮像された撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部
を具備する画像処理装置。
【０１４３】
（２）
上記（１）に記載の画像処理装置であって、
上記撮像画像において上記反転領域を検出する領域検出部
をさらに具備する画像処理装置
【０１４４】
（３）
上記（１）又は（２）に記載の画像処理装置であって、
上記画像生成部は、上記反転領域の中心を中心点として上記反転領域を反転させる
画像処理装置。
【０１４５】
（４）
上記（１）から（３）のいずれか一つに記載の画像処理装置であって、
上記画像生成部は、上記反転領域を反転させ、上記撮像画像において上記前置レンズによって像が反転していない画像領域である非反転領域と合成することによって上記表示画像を生成する
画像処理装置。
【０１４６】
（５）
上記（４）に記載の画像処理装置であって、
上記前置レンズは、角膜に当接する凹レンズと、上記凹レンズから出射された光を眼の正面方向に向けて屈折させる凸レンズとを備える直視型前置レンズであり、
上記反転領域は円形であり、上記非反転領域は上記反転領域の周囲を囲む
画像処理装置。
【０１４７】
（６）
上記（５）に記載の画像処理装置であって、
上記画像生成部は、上記反転領域を反転させ、反転させた上記反転領域の外周と上記非反転領域の内周を一致させることによって上記反転領域と上記非反転領域とを合成する
画像処理装置。
【０１４８】
（７）
上記（４）に記載の画像処理装置であって、
上記前置レンズは、角膜に当接する凸レンズと、上記凸レンズの周囲に円周状に配置され、上記凸レンズから出射された光を眼の正面方向に向けて反射させるミラーとを備える反射型前置レンズであり、
上記反転領域は円周状領域であり、上記非反転領域は上記反転領域に囲まれた中央領域と上記反転領域を囲む外周領域とを含む
画像処理装置。
【０１４９】
（８）
上記（７）に記載の画像処理装置であって
上記画像生成部は、上記反転領域において上記中央領域の像を含む領域を不要領域として検出し、上記不要領域を削除して上記反転領域に反転させ、反転させた上記反転領域の内周と上記中央領域の外周を一致させ、反転させた上記反転領域の外周と上記外周領域の内周を一致させることによって上記反転領域、上記中央領域及び上記外周領域を合成する
画像処理装置。
【０１５０】
（９）
上記（２）から（８）のいずれか一つに記載の画像処理装置であって、
上記撮像画像に上記前置レンズが含まれていることを検出して上記前置レンズによる像の反転を補正する補正モードを選択し、上記領域検出部及び上記画像生成部に通知するモード決定部をさらに具備し、
上記領域検出部は、上記モード決定部によって上記補正モードが選択された場合に上記反転領域を検出する
画像処理装置。
【０１５１】
（１０）
上記（９）に記載の画像処理装置であって
上記モード決定部は、上記撮像画像に対する物体認識処理によって上記前置レンズを検出する
画像処理装置。
【０１５２】
（１１）
上記（９）に記載の画像処理装置であって
上記モード決定部は、上記撮像画像において上記前置レンズに付されたマーカーを検出することによって上記前置レンズを検出する
画像処理装置。
【０１５３】
（１２）
上記（２）から（１１）のいずれか一つに記載の画像処理装置であって、
上記領域検出部は、上記撮像画像に対する物体認識処理によって上記反転領域を検出する
画像処理装置。
【０１５４】
（１３）
上記（２）から（１２）のいずれか一つに記載の画像処理装置であって、
上記領域検出部は、上記撮像画像における眼の構造によるテクスチャの違いを利用して上記反転領域を検出する
画像処理装置。
【０１５５】
（１４）
上記（２）から（１２）のいずれか一つに記載の画像処理装置であって、
上記領域検出部は、上記撮像画像に対するエッジ検出処理によって上記反転領域を検出する
画像処理装置。
【０１５６】
（１５）
上記（２）から（１２）のいずれか一つに記載の画像処理装置であって、
上記領域検出部は、上記撮像画像と上記前置レンズが装着されていない状態で撮像された眼の画像の差分に基づいて上記反転領域を検出する
画像処理装置。
【０１５７】
（１６）
上記（２）から（１２）のいずれか一つに記載の画像処理装置であって、
上記領域検出部は、上記撮像画像から得られる視差情報から抽出されるデプス情報を利用して上記反転領域を検出する
画像処理装置。
【０１５８】
（１７）
上記（１）から（１６）のいずれか一つに記載の画像処理装置であって、
上記撮像画像は、所定の撮像範囲毎に撮像された複数の画像から構成され、
上記画像生成部は、上記複数の画像の位置及び向きを反転させて上記表示画像を生成する
画像処理装置。
【０１５９】
（１８）
眼に装着され、像を反転させる前置レンズと、
上記前置レンズを介して撮像された撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える画像処理装置と
を具備する眼科用観察装置。
【０１６０】
（１９）
上記（１８）に記載の眼科用観察装置であって、
上記前置レンズは隅角鏡である
眼科用観察装置。
【０１６１】
（２０）
眼に装着され、像を反転させる前置レンズと、
上記前置レンズの出射光を拡大する顕微鏡と、
ユーザによる操作入力を受け付けて入力信号を生成する顕微鏡制御入力部と、
上記顕微鏡に接続され、上記前置レンズ及び上記顕微鏡を介して撮像画像を撮像する撮像装置と、
上記撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える画像処理装置と
上記画像生成部が上記反転領域を反転させると、上記入力信号を反転させて上記顕微鏡を制御する顕微鏡制御部と
を具備する眼科用観察システム。
【符号の説明】
【０１６２】
１００、２００…眼科用観察システム
１０１、２０１…前置レンズ
１０２…顕微鏡
１０３、２０２…撮像装置
１０４、２０３…画像処理装置
１０５、２０４…表示装置
１０６…顕微鏡制御入力部
１０７…顕微鏡制御部
１０８…ユーザ入力部
１４１、２３２…画像取得部
１４２…モード決定部
１４３…領域検出部
１４４、２３３…画像生成部
１４５、２３４…画像出力部
２０５…制御入力部
２３１…モード受付部
【図１】
2019012881.tif 000003
【図２】
2019012881.tif 000004
【図３】
2019012881.tif 000005
【図４】
2019012881.tif 000006
【図５】
2019012881.tif 000007
【図６】
2019012881.tif 000008
【図７】
2019012881.tif 000009
【図８】
2019012881.tif 000010
【図９】
2019012881.tif 000011
【図１０】
2019012881.tif 000012
【図１１】
2019012881.tif 000013
【図１２】
2019012881.tif 000014
【図１３】
2019012881.tif 000015
【図１４】
2019012881.tif 000016
【図１５】
2019012881.tif 000017
【図１６】
2019012881.tif 000018
【図１７】
2019012881.tif 000019
【図１８】
2019012881.tif 000020
【図１９】
2019012881.tif 000021
【図２０】
2019012881.tif 000022
【図２１】
2019012881.tif 000023
【図２２】
2019012881.tif 000024
【図２３】
2019012881.tif 000025
【図２４】
2019012881.tif 000026
【図２５】
2019012881.tif 000027
【図２６】
2019012881.tif 000028
【図２７】
2019012881.tif 000029
【図２８】
2019012881.tif 000030
【図２９】
2019012881.tif 000031
【図３０】
2019012881.tif 000032
【図３１】
2019012881.tif 000033
【図３２】
2019012881.tif 000034
【図３３】
2019012881.tif 000035
【国際調査報告】
2019012881.tif 000036
2019012881.tif 000037
2019012881.tif 000038