(57)【要約】【課題】手術中においても拡大画像の拡大倍率を変更することが可能な、医療用眼鏡型表示装置を提供する。【解決手段】術野を透過して視認可能であり、画像を表示可能な表示部と、術野を撮影する２つの撮像部と、撮像部により撮影された撮影画像に基づいて、表示部に表示される３次元の拡大画像を生成する画像処理部と、ユーザの指示に基づいて拡大画像の拡大倍率を変更する制御部と、を備える、医療用眼鏡型表示装置が提供される。【選択図】図３
2016115965.tif 000002
【特許請求の範囲】
【請求項１】
術野を透過して視認可能であり、画像を表示可能な表示部と、
術野を撮影する２つの撮像部と、
前記撮像部により撮影された撮影画像に基づいて、前記表示部に表示される３次元の拡大画像を生成する画像処理部と、
ユーザの指示に基づいて前記拡大画像の拡大倍率を変更する制御部と、
を備える、医療用眼鏡型表示装置。
【請求項２】
前記制御部は、ユーザの音声に基づいて、前記拡大画像の拡大倍率を変更する、請求項１に記載の医療用眼鏡型表示装置。
【請求項３】
前記制御部は、ユーザによる視線方向に基づいて、前記拡大画像の拡大倍率を変更する、請求項１に記載の医療用眼鏡型表示装置。
【請求項４】
前記制御部は、ユーザの頭部の動きに基づいて、前記拡大画像の拡大倍率を変更する、請求項１に記載の医療用眼鏡型表示装置。
【請求項５】
前記制御部は、ユーザのジェスチャに基づいて、前記拡大画像の拡大倍率を変更する、請求項１に記載の医療用眼鏡型表示装置。
【請求項６】
前記制御部は、ユーザが操作した操作入力装置の入力に基づいて、前記拡大画像の拡大倍率を変更する、請求項１に記載の医療用眼鏡型表示装置。
【請求項７】
前記制御部は、前記拡大画像の拡大倍率を段階的に変更する、請求項１に記載の医療用眼鏡型表示装置。
【請求項８】
前記制御部は、前記拡大画像の拡大倍率を連続的に変更する、請求項１に記載の医療用眼鏡型表示装置。
【請求項９】
前記画像処理部は、撮影画像の一部分を切り出して前記拡大画像を生成する、請求項１に記載の医療用眼鏡型表示装置。
【請求項１０】
前記画像処理部は、ユーザの視線方向を基準として前記拡大画像を生成する、請求項１に記載の医療用眼鏡型表示装置。
【請求項１１】
前記画像処理部は、前記拡大画像の拡大倍率が所定の倍率以上であるとき、前記拡大画像を３次元画像から２次元画像に切り替えて表示する、請求項１に記載の医療用眼鏡型表示装置。
【請求項１２】
前記制御部は、ユーザの指示に基づいて、前記拡大画像の表示／非表示を切り替える、請求項１に記載の医療用眼鏡型表示装置。
【請求項１３】
前記制御部は、前記拡大画像が非表示であり、視線検出デバイスにより検出されたユーザの視線検出結果から、ユーザが表示領域を注視していると判定したとき、前記拡大画像を前記表示部に表示させる、請求項１に記載の医療用眼鏡型表示装置。
【請求項１４】
前記制御部は、視線検出デバイスにより検出されたユーザの視線検出結果から、ユーザの視線が表示領域の注視位置から移動したと判定したとき、前記表示部に表示された前記拡大画像を非表示にする、請求項１３に記載の医療用眼鏡型表示装置。
【請求項１５】
前記撮像部は、ユーザの前記表示部からの視野を遮らない位置に設けられる、請求項１に記載の医療用眼鏡型表示装置。
【請求項１６】
医療用眼鏡型表示装置に設けられた２つの撮像部により撮影された撮影画像に基づいて、前記医療用眼鏡型表示装置の表示部に表示する３次元の拡大画像を生成する画像処理部と、
ユーザの指示に基づいて前記拡大画像の拡大倍率を変更する制御部と、
を備える、情報処理装置。
【請求項１７】
医療用眼鏡型表示装置に設けられた２つの撮像部により撮影された撮影画像に基づいて、前記医療用眼鏡型表示装置の表示部に表示する３次元の拡大画像を生成すること、
ユーザの指示に基づいて前記拡大画像の拡大倍率を変更すること、
とを含む、情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、医療用眼鏡型表示装、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
近年、外科手術においては、例えば心臓血管手術のように微細な処置を行うことが求められている。このような手術を行う際、術者は術野を立体的に観察すべく、サージカルルーペ等の双眼拡大鏡を用いるのが一般的である。双眼拡大鏡は、２つの鏡筒部からなり、ユーザが装着するフレーム等に固定して使用される。双眼拡大鏡を介して対象物を見ることで、ユーザは対象物の拡大像を得ることができる。
【０００３】
しかし、双眼拡大鏡による視野の拡大倍率は、鏡筒部を構成するレンズ等の光学系に異存する。したがって、視野の拡大倍率を変更させたい場合には、双眼拡大鏡を取り換える必要がある。また、双眼拡大鏡として、特許文献１に示すように、ズームレンズ搭載自動焦点ＣＣＤカメラ搭載のメガネ型モニター装置も提案されている。特許文献１のメガネ型モニター装置では、頭部の位置によらず任意の設定倍率に対して映像の焦点を自動調節することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３５５６８２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献１では、眼鏡型モニターに表示されるＣＣＤカメラの撮影画像は、術前等に予め設定された拡大倍率で表示され、手術中に拡大倍率を変化させることはできなかった。
【０００６】
そこで、本開示では、手術中においても拡大画像の拡大倍率を変更することが可能な、新規かつ改良された医療用眼鏡型表示装、情報処理装置及び情報処理方法を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、術野を透過して視認可能であり、画像を表示可能な表示部と、術野を撮影する２つの撮像部と、撮像部により撮影された撮影画像に基づいて、表示部に表示される３次元の拡大画像を生成する画像処理部と、ユーザの指示に基づいて拡大画像の拡大倍率を変更する制御部と、を備える、医療用眼鏡型表示装置が提供される。
【０００８】
また、本開示によれば、医療用眼鏡型表示装置に設けられた２つの撮像部により撮影された撮影画像に基づいて、医療用眼鏡型表示装置の表示部に表示する３次元の拡大画像を生成する画像処理部と、ユーザの指示に基づいて拡大画像の拡大倍率を変更する制御部と、を備える、情報処理装置が提供される。
【０００９】
さらに、本開示によれば、医療用眼鏡型表示装置に設けられた２つの撮像部により撮影された撮影画像に基づいて、医療用眼鏡型表示装置の表示部に表示する３次元の拡大画像を生成すること、ユーザの指示に基づいて拡大画像の拡大倍率を変更すること、とを含む、情報処理方法が提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、手術中においても拡大画像の拡大倍率を変更することが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る医療用眼鏡型表示装置の使用例を示す説明図である。
【図２】同実施形態に係る医療用眼鏡型表示装置の外観を示す概略斜視図である。
【図３】同実施形態に係る眼鏡型表示装置の機能構成を示す機能ブロック図である。
【図４】同実施形態に係る眼鏡型表示装置における拡大画像表示処理を示すフローチャートである。
【図５】眼鏡型表示装置における、シースルー表示及び拡大画像重畳表示の一例を示す説明図である。
【図６】装着者が左側を注視しているときの拡大画像の表示例を示す説明図である。
【図７】装着者が右側を注視しているときの拡大画像の表示例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．概要
２．医療用眼鏡型表示装置の構成
３．機能構成
４．拡大画像表示処理
４．１．シースルー表示
４．２．拡大画像重畳表示
４．３．拡大画像非表示
【００１４】
＜１．概要＞
まず、図１を参照して、本開示の一実施形態に係る医療用眼鏡型表示装置の概要について説明する。図１は、本実施形態に係る医療用眼鏡型表示装置の使用例を示す説明図である。なお、以下では、「医療用眼鏡型表示装置」を単に「眼鏡型表示装置」とも称する。
【００１５】
本実施形態に係る眼鏡型表示装置は、ユーザが頭部に装着して使用する表示装置である。本実施形態に係る眼鏡型表示装置は、例えば、外科手術中の術野を双眼で拡大及び観察する際に用いられる。眼鏡型表示装置は、外界を透過して見ることのできる透過型の表示部を備える。ユーザは、表示部を介して外界を見ることもでき、表示部に画像を表示させることで、外界を見ているユーザの視野内に画像を重畳させることもできる。
【００１６】
本実施形態に係る眼鏡型表示装置１００は、例えば図１に示すような開腹手術等において、観察部位の細部を確認するために利用される。本実施形態に係る眼鏡型表示装置１００は、透明の表示部を介して観察部位をそのまま見せるシースルー状態と、表示部に観察部位の拡大画像を表示させる拡大画像重畳状態とを切り替え可能に構成されている。ユーザは、例えば、術具を確認する場合や広範囲の術野を俯瞰視する場合、他のスタッフとコミュニケーションを図る場合等、眼鏡型表示装置１００を装着していないときと同様の視野を得たい場合には、表示状態をシースルー状態とする。一方、観察部位の細部を見たい場合には、ユーザは、眼鏡型表示装置１００を拡大画像重畳状態にして使用する。
【００１７】
ここで、医療現場においては、手術中等、手を自由に利用できないことが多い。このため、従来の双眼拡大鏡では、一度装着すると双眼拡大鏡を視野内から外すことも困難であり、拡大画像を見ない場合にはユーザは視線を意図的に動かす必要がある。また、手術中に双眼拡大鏡の拡大倍率を変更することもできない。
【００１８】
そこで、本実施形態に係る眼鏡型表示装置１００は、シースルー状態と拡大画像重畳状態との切り替えを、ユーザの指示により容易にできるように構成されている。また、拡大画像重畳状態において表示される拡大画像の拡大倍率の変更も、ユーザの指示により容易にできるように構成されている。以下、本実施形態に係る眼鏡型表示装置１００の構成とその機能について、詳細に説明していく。
【００１９】
＜２．医療用眼鏡型表示装置の構成＞
まず、本実施形態に係る眼鏡型表示装置１００の一構成例について、図２に基づき説明する。図２は、本実施形態に係る医療用眼鏡型表示装置の外観を示す概略斜視図である。
【００２０】
本実施形態に係る眼鏡型表示装置１００は、図２に示すように、レンズ１１０Ｒ、１１０Ｌを保持するフレーム１０４と、フレーム１０４の両側からレンズ面と交差する方向に延びる支持部１０２Ｒ、１０２Ｌとからなる。眼鏡型表示装置１００が装着されたとき、フレーム１０４は装着者の眼の前に設けられ、装着者の右眼及び左眼の前にレンズ１１０Ｒ、１１０Ｌがそれぞれ位置する。支持部１０２Ｒ、１０２Ｌは、装着者の右眼及び左眼とレンズ１１０Ｒ、１１０Ｌとの位置関係を保持するため、装着者の右耳及び左耳にかけられる。眼鏡型表示装置１００のレンズ１１０Ｒ、１１０Ｌは透過型モニターである。
【００２１】
本実施形態に係る眼鏡型表示装置１００は、図２に示すように、術野等、外界を撮影する２つの撮像部１２０Ｒ、１２０Ｌと、ユーザである装着者からの指示となる情報を検知するセンサ部１０３とを備えている。
【００２２】
撮像部１２０Ｒ、１２０Ｌは、レンズ１１０Ｒ、１１０Ｌに表示される拡大画像を撮影する。撮像部１２０Ｒ、１２０Ｌは、術野を立体表示するため、右眼用撮像部１２０Ｒと左眼用撮像部１２０Ｌによって構成される。各撮像部１２０Ｒ、１２０Ｌの拡大倍率は、装着者によって任意に変更可能である。
【００２３】
撮像部１２０Ｒ、１２０Ｌは、装着者の視界を妨げない位置に設けられる。例えば、撮像部１２０Ｒ、１２０Ｌは、図２に示すように、レンズ１１０Ｒ、１１０Ｌの側部、例えばフレーム１０４と支持部１０２Ｒ、１０２Ｌとの接続部分にそれぞれ設けてもよい。あるいは、撮像部１２０Ｒ、１２０Ｌは、レンズ１１０Ｒ、１１０Ｌの上部に位置するように、それぞれフレーム１０４の上部に設けてもよく、レンズ１１０Ｒ、１１０Ｌの下部に位置するように、それぞれフレーム１０４の下部に設けてもよい。撮像部１２０Ｒ、１２０Ｌにより撮影された撮影画像は、後述する画像処理部により画像処理され、レンズ１１０Ｒ、１１０Ｌに表示される拡大画像として用いられる。
【００２４】
センサ部１０３は、装着者からの指示となる情報を検知するセンシングデバイスの１つである。眼鏡型表示装置１００に設けられるセンサ部１０３としては、例えば、装着者の音声を検出する音声検出デバイスや、装着者の視線方向を検出する視線検出デバイス等がある。また、センサ部１０３として、装着者の頭部の動きを検出する動き検出デバイスや、装着者の手や指、さらには手術中に扱う術具の動きを検出するジェスチャ検出デバイス等を設けてもよい。具体的には、例えば加速度センサやジャイロセンサ、照度センサ、マイク、カメラ等をセンサ部１０３として設けてもよい。
【００２５】
なお、上述のセンシングデバイスは、少なくとも１つ設けられていればよい。このとき、センシングデバイスは、眼鏡型表示装置１００に内蔵されていてもよく、フレーム１０４等に対して着脱可能に設けられていてもよい。また、眼鏡型表示装置１００の表示状態の切り替えや拡大画像の拡大倍率の変更は、眼鏡型表示装置１００に設けられているセンサ部１０３により取得された情報以外に基づき実行させるようにしてもよい。例えば、ユーザが足を使って情報を入力するフットスイッチ等の操作入力装置も、装着者からの指示となる情報を検知するセンシングデバイスとして利用してもよい。上述したセンシングデバイスも、必ずしも眼鏡型表示装置１００に設ける必要はなく、例えば、センシングデバイスが検出した情報を処理する情報処理部に対して情報を送信可能であれば、センシングデバイスの設置位置は問わない。例えば、眼鏡型表示装置１００とは別にユーザが装着しているウェアラブル端末等にて検出された情報を、装着者からの指示となる情報として利用してもよい。
【００２６】
眼鏡型表示装置１００は、センサ部１０３等のセンシングデバイスにより検出された情報に基づき、レンズ１１０Ｒ、１１０Ｌの表示状態が切り換えられる。また、眼鏡型表示装置１００は、拡大画像重畳状態において、センサ部１０３等のセンシングデバイスにより検出された情報に基づき、レンズ１１０Ｒ、１１０Ｌに表示されている拡大画像の拡大倍率が変更される。
【００２７】
＜３．機能構成＞
次に、図３に基づいて、本実施形態に係る眼鏡型表示装置１００の機能構成について説明する。なお、図３は、本実施形態に係る眼鏡型表示装置１００の機能構成を示す機能ブロック図である。
【００２８】
眼鏡型表示装置１００は、図３に示すように、センサ信号入力部１５１と、センサ信号処理部１５２と、制御部１５３と、撮像部１５４と、画像処理部１５５と、表示部１５６と、外部映像入力部１５７と、画像出力部１５８とを備える。
【００２９】
センサ信号入力部１５１は、センシングデバイス２００により検出された信号が入力されるインタフェースである。センサ信号入力部１５１へ信号を入力するセンシングデバイス２００としては、図３に示すように、例えば音声検出デバイス２０１や視線検出デバイス２０３、動き検出デバイス２０５、ジェスチャ検出デバイス２０７、フットスイッチ２０９等がある。これらのセンシングデバイス２００は、上述したように、眼鏡型表示装置１００に設けられていてもよく、眼鏡型表示装置１００とは別体の装置であってもよい。
【００３０】
音声検出デバイス２０１には、例えば高感度マイクを用いてもよい。視線検出デバイス２０３には、例えば、赤外センサ等、装着者の眼球の動きをトラッキング可能なカメラを用いてもよい。動き検出デバイス２０５は、例えば装着者の頭部の動きを検出するデバイスであって、加速度センサ等のモーションセンサを用いてもよい。ジェスチャ検出デバイス２０７は、ユーザの手や指、ユーザが扱う術具の動きを検出するデバイスであって、ジェスチャ認識用カメラ等を用いてもよい。フットスイッチ２０９は、眼鏡型表示装置１００とは別体のデバイスであり、ユーザが足を用いて情報を入力する際に使用される。
【００３１】
このようなセンシングデバイス２００が検出した情報（センサ信号）は、センサ信号入力部１５１へ入力される。センサ信号入力部１５１は、入力された情報をセンサ信号処理部１５２へ出力する。
【００３２】
センサ信号処理部１５２は、センサ信号入力部１５１から入力された情報を処理し、制御部１５３をユーザである装着者の指示に応じて適切に動作させるための情報を生成する。センサ信号処理部１５２は、例えば、音声検出デバイス２０１により取得された音声からユーザの発話内容を解析し、制御部１５３を動作させる指示情報を生成する。センサ信号処理部１５２は、生成した指示情報を制御部１５３へ出力する。
【００３３】
制御部１５３は、眼鏡型表示装置１００の動作全般を制御する。表示部１５６の表示処理においては、制御部１５３は、センサ信号処理部１５２から入力された指示情報に基づいて、撮像部１５４、画像処理部１５５及び表示部１５６の動作を制御する。
【００３４】
撮像部１５４は、拡大画像を得るための外界の画像を撮影する撮像部１５４である。撮像部１５４は、拡大画像を３次元画像（３Ｄ画像）にして立体表示するため、右眼用撮像部１５４ａと、左眼用撮像部１５４ｂとの２つの撮像部から構成される。右眼用撮像部１５４ａ及び左眼用撮像部１５４ｂの拡大倍率は、制御部１５３からの制御情報に基づいて変更可能である。右眼用撮像部１５４ａ及び左眼用撮像部１５４ｂにより撮影された撮影画像は、画像処理部１５５へ出力される。撮像部１５４の右眼用撮像部１５４ａ及び左眼用撮像部１５４ｂは、図２の撮像部１２０Ｒ、１２０Ｌに対応する。
【００３５】
画像処理部１５５は、制御部１５３からの制御情報に基づいて、撮像部１５４から入力された撮影画像を処理し、表示部１５６に表示させる拡大画像を生成する。画像処理部１５５は、右眼用撮像部１５４ａ及び左眼用撮像部１５４ｂから入力された撮影画像の視差情報を調整し、立体表示されるように所定の画像処理を施す。画像処理部１５５は、生成した３次元画像を表示部１５６に表示させる。
【００３６】
表示部１５６は、情報を表示するディスプレイであって、本実施形態では透過型モニターとして構成される。これにより、眼鏡型表示装置１００の装着者は、表示部１５６越しに術野等の外界を見ることができるともに、表示部１５６に表示された拡大画像も見ることができる。表示部１５６は、図２のレンズ１１０Ｒ、１１０Ｌに対応する。
【００３７】
外部映像入力部１５７は、外部機器から映像の入力を受けるインタフェースである。外部映像入力部１５７は、外部機器から入力された映像を、画像処理部１５５へ出力する。外部映像入力部１５７から映像の入力を受けた画像処理部１５５は、表示部１５６に表示するための処理を行い、当該映像を表示部１５６に表示させる。
【００３８】
画像出力部１５８は、撮像部１５４にて撮影された撮影画像を、外部機器へ出力するインタフェースである。画像出力部１５８は、例えば画像処理部１５５が表示部１５６に表示させるために画像処理した撮影画像を、外部機器へ出力する。これにより、眼鏡型表示装置１００の表示部１５６に表示される拡大画像を、例えば、図１に示すように、外部のディスプレイ４００に表示させることも可能となる。
【００３９】
以上、本実施形態に係る眼鏡型表示装置１００の機能構成について説明した。なお、図３では、眼鏡型表示装置１００は、センサ信号入力部１５１、センサ信号処理部１５２、制御部１５３、撮像部１５４、画像処理部１５５、表示部１５６、外部映像入力部１５７及び画像出力部１５８を備えるものとして示した。しかし、本開示はかかる例に限定されない。例えば、眼鏡型表示装置１００は、撮像部１５４や表示部１５６を動作させるために情報の処理を行うセンサ信号処理部１５２や制御部１５３、画像処理部１５５等は、眼鏡型表示装置１００に設けられていなくともよい。例えば、これらの機能部により実行される処理の少なくとも一部を外部の情報処理装置にて行い、処理結果を眼鏡型表示装置１００に送信することで、眼鏡型表示装置１００を機能させてもよい。
【００４０】
＜４．拡大画像表示処理＞
図４〜図７に基づいて、本実施形態に係る眼鏡型表示装置１００における拡大画像表示処理を説明する。なお、図４は、本実施形態に係る眼鏡型表示装置１００における拡大画像表示処理を示すフローチャートである。図５は、眼鏡型表示装置１００における、シースルー表示及び拡大画像重畳表示の一例を示す説明図である。図６は、装着者が左側を注視しているときの拡大画像３１０Ａの表示例を示す説明図である。図７は、装着者が右側を注視しているときの拡大画像３１０Ｂの表示例を示す説明図である。
【００４１】
［４．１．シースルー表示（Ｓ１００）］
図４に示すように、まず、眼鏡型表示装置１００の表示状態がシースルー状態であるとする（Ｓ１００）。このとき、眼鏡型表示装置１００の装着者は、例えば図５上側に示すように、視野（表示部１５６の表示領域）３００内に、透明の表示部１５６を介して外界をそのまま見ることができる。
【００４２】
［４．２．拡大画像重畳表示（Ｓ１１０〜Ｓ１５０）］
（１）拡大画像表示（Ｓ１１０、Ｓ１２０）
眼鏡型表示装置１００の表示状態がシースルー状態であるとき、制御部１５３は、所定のタイミングで、眼鏡型表示装置１００の装着者から、表示部１５６に拡大画像を表示させる拡大画像表示指示があったか否かを確認する（Ｓ１１０）。拡大画像表示指示は、センシングデバイス２００にて検出された情報に基づいて、センサ信号処理部１５２が解析した結果より判断される。
【００４３】
例えば、音声検出デバイス２０１により音声が取得されると、センサ信号処理部１５２により装着者の発話内容が解析される。制御部１５３は、装着者の発話内容が、予め設定された拡大画像表示指示と一致するか否かを判定し、一致する場合には、表示部１５６に拡大画像を表示させる処理を開始する。他のセンシングデバイス２００が検出した情報も、センサ信号処理部１５２、制御部１５３により同様に処理され、装着者が入力した情報が予め設定された拡大画像表示指示と一致するか否かが判定される。
【００４４】
ステップＳ１１０の処理は、拡大画像表示指示が入力されたと判定されるまで繰り返し行われる。そして、拡大画像表示指示が入力されたと判定したとき、制御部１５３は、撮像部１５４により撮影された撮影画像から生成された拡大画像を表示部１５６に表示させる処理を実行する（Ｓ１２０）。拡大画像は、装着者が表示部１５６越しに見ることができる視野と同等の映像が得られるように、画像処理部１５５により、撮影画像の視差情報が調整される。そして、画像処理部１５５は、撮影画像を立体視できるように所定の処理を施し、３次元画像として表示部１５６に表示させる。
【００４５】
ここで、シースルー状態から拡大画像が重畳して表示される状態となったときに表示される拡大画像の拡大倍率は、予め設定された初期倍率であってもよく、前回拡大画像を表示させていたときの最後の拡大倍率であってもよい。拡大画像は、例えば、撮像部１５４として、ＣＣＤあるいはＣＭＯＳイメージセンサを有するズームレンズ搭載のカメラを用い、光学ズームにより指定された拡大倍率に設定して取得してもよい。また、例えば、撮像部１５４により撮影した撮影画像を画像処理部１５５によって電子的に拡大する電子ズームを用いて拡大画像を生成してもよい。あるいは、撮像部１５４として高解像度撮像カメラを用いて多画素の撮影画像を取得し、当該撮影画像の一部分を切り出して拡大画像を生成してもよい。
【００４６】
拡大画像は、例えば装着者の視線方向を基準として生成してもよい。装着者の視線方向は、視線検出デバイス２０３の検出結果より検出可能である。あるいは、撮像部１５４の向いている方向から装着者の視線の方向を推定し、これを基準として拡大画像を生成してもよい。予め設定された基準方向に基づき拡大画像を生成してもよい。
【００４７】
また、視線検出デバイス２０３の検出結果より、装着者が表示部１５６の表示領域のどの位置を観察しているかという注視位置の推定も可能である。これを用いて、拡大画像の表示／非表示の切り替えを自動的に行ったり、拡大画像の内容を、装着者の注視位置に追従して変更するようにしてもよい。
【００４８】
例えば、図６に示すように、装着者が表示部１５６の表示領域３００の左側にある術具を注視しているとする。このとき、制御部１５３は、視線検出デバイス２０３の検出結果より装着者の注視位置を認識すると、その注視位置を基準として拡大画像３１０Ａを生成し表示する。一方、例えば、図７に示すように、装着者が表示部１５６の表示領域３００の右側にある術具を注視しているとする。このとき、制御部１５３は、視線検出デバイス２０３の検出結果より装着者の注視位置を認識すると、その注視位置を基準として拡大画像３１０Ｂを生成し表示する。このように、装着者の注視位置に基づき拡大画像３１０を生成することで、ユーザが見たい部位の拡大画像を提供することができる。
【００４９】
（２）拡大倍率変更（Ｓ１３０、Ｓ１４０）
ステップＳ１２０にて表示部１５６に拡大画像が表示されると、制御部１５３は、所定のタイミングで、装着者から拡大画像の倍率変更指示があったか否かを確認する（Ｓ１３０）。倍率変更指示は、センシングデバイス２００にて検出された情報に基づいて、センサ信号処理部１５２が解析した結果より判断される。
【００５０】
例えば、音声検出デバイス２０１により音声が取得されると、センサ信号処理部１５２により装着者の発話内容が解析される。制御部１５３は、装着者の発話内容が、予め設定された倍率変更指示と一致するか否かを判定し、一致する場合には、指定された拡大倍率の拡大画像を表示部１５６に表示させる処理を開始する。拡大画像３１０は、例えば図５下側に示すように、表示部１５６の表示領域の所定の位置（例えば表示領域中央）に表示される。
【００５１】
他のセンシングデバイス２００が検出した情報も、センサ信号処理部１５２、制御部１５３により同様に処理され、装着者が入力した情報が予め設定された倍率変更指示と一致するか否かが判定される。
【００５２】
例えば、視線検出デバイス２０３により装着者の視線方向が検出されるとき、装着者の視線方向によって拡大画像の拡大倍率を変化させてもよい。例えば、装着者が正面を向いたときを基準方向として、視線方向が基準方向より所定の角度以上、上方に移動され、かつ、所定時間以上に上方を向いていたとき、拡大倍率を大きくするようにしてもよい。一方、視線方向が基準方向より所定の角度以上、下方に移動され、かつ、所定時間以上に下方を向いていたとき、拡大倍率を小さくするようにしてもよい。
【００５３】
なお、視線検出デバイス２０３の検出結果を用いた拡大画像の倍率変更指示は、かかる例に限定されず、視線方向が下側に向いたときに拡大倍率を大きくし、視線方向が上側に向いたときに拡大倍率を小さくしてもよい。あるいは、視線方向が基準方向に対して右側に向いたか、左側に向いたかによって、拡大倍率を変更するようにしてもよい。
【００５４】
また、例えば動き検出デバイス２０５により装着者の頭部の動きが検出されるとき、装着者の頭部の動きによって拡大画像の拡大倍率を変化させてもよい。装着者の頭部の動きは、例えばジャイロセンサ等を用いて検出することができる。
【００５５】
例えば、装着者が正面を向いたときを基準として、装着者が右を向き、その後正面を向くという動きが検出されたとき、拡大倍率を大きくするようにしてもよい。一方、装着者が左を向き、その後正面を向くという動きが検出されたとき、拡大倍率を小さくするようにしてもよい。あるいは、装着者が正面を向いたときを基準として、装着者が上を向き、その後正面を向くという動きが検出されたとき拡大倍率を大きくし、装着者が下を向き、その後正面を向くという動きが検出されたとき拡大倍率を小さくするようにしてもよい。また、倍率変更を指示する頭部の動きとしては、頭部を左右に傾ける動きであってもよい。
【００５６】
ジェスチャ検出デバイス２０７により装着者の手や指、もしくは手術中に扱う術具の動きが検出されるときには、これらの動きによって拡大画像の拡大倍率を変化させてもよい。これらの動き（ジェスチャ）は、例えばジェスチャ検出用カメラや赤外センサ等のデバイスを用いて検出することができる。制御部１５３は、センサ信号処理部１５２の解析結果に基づき、予め設定された倍率変更指示のジェスチャが行われたと判定したとき、そのジェスチャに応じて拡大倍率を変更させる。
【００５７】
例えば、ジェスチャ検出デバイス２０７の検出結果より、装着者が左を指しているジェスチャが行われていると認識されたときには拡大倍率を大きくし、装着者が右を指しているジェスチャが行われていると認識されたときには拡大倍率を小さくしてもよい。このように、ユーザの動きに従って、直観的に拡大画像の拡大倍率を変更させることが可能となる。
【００５８】
さらに、フットスイッチ２０９からの操作入力がセンサ信号入力部１５１に入力されるとき、制御部１５３は、フットスイッチ２０９の操作入力に応じて、拡大画像の拡大倍率を変化させてもよい。例えば、フットスイッチ２０９が押下される毎に、拡大縮小を切り替えるようにし、フットスイッチ２０９が押下されている間は、拡大倍率を連続して変化させるようにしてもよい。
【００５９】
拡大画像の拡大倍率の変更は、以上の方法のうちいずれか１つにより行われるようにしてもよく、複数の方法を組み合わせて行われるようにしてもよい。
【００６０】
また、拡大画像の拡大倍率の変更は、段階的に行ってもよく、連続的に行ってもよい。拡大画像の拡大倍率の変更を段階的に行う場合には、例えば、複数の拡大倍率を予め設定して記憶部（図示せず。）に記憶しておく。そして、センシングデバイス２００の検出結果に基づく倍率変更指示があったとき、予め設定された複数の拡大倍率に基づき順次拡大倍率を変更させるようにしてもよい。
【００６１】
一方、拡大画像の拡大倍率の変更を連続的に行う場合には、ユーザは、拡大倍率の変更開始と変更終了とを指示する。制御部１５３は、センサ信号処理部１５２による解析結果に基づき拡大倍率の変更開始指示があったことを認識すると、拡大倍率を連続的に変化させ、拡大画像の表示内容を連続的に変化させる処理を開始する。拡大倍率の変化は、変更終了指示が認識されるまで行われる。なお、設定可能な最大拡大倍率が設定されている場合には、変更終了指示がなくとも、最大拡大倍率となった時点で拡大倍率の変更処理を終了してもよい。
【００６２】
拡大画像の表示内容の変化は、例えば、撮像部１５４による撮影画像を画像処理部１５５により電子的に拡大したり、高解像度撮像カメラを用いて撮影された多画素の撮影画像の一部を切り出して拡大効果を得たりすることによって実現できる。
【００６３】
ステップＳ１３０にて倍率変更指示があった場合には、制御部１５３は、新たな指定された拡大倍率で拡大画像が表示されるように、撮像部１５４、画像処理部１５５及び表示部１５６を制御する（Ｓ１４０）。なお、ステップＳ１３０にて倍率変更指示がなかった場合には、ステップＳ１５０の処理へ進む。
【００６４】
ステップＳ１４０にて拡大倍率が変更されると、装着者が体感する視差が変化する。このとき、画像処理部１５５は、装着者が体感する視差に違和感が生じないように、生成する拡大画像を適宜調整してもよい。例えば、指定された拡大倍率が所定の倍率以上の高拡大倍率となる場合には、過度の視差が発生する。そこで、画像処理部１５５は、拡大画像を３次元画像から２次元画像に切り替える等して、過度な視差が装着者に与えられないように制御してもよい。２次元画像は、例えば、右眼用撮像部１５４ａまたは左眼用撮像部１５４ｂのうちいずれか一方の撮影画像を用いて生成してもよい。
【００６５】
［４．３．拡大画像非表示（Ｓ１５０、Ｓ１６０）］
その後、制御部１５３は、拡大画像非表示指示があったか否かを確認する（Ｓ１５０）。倍率変更指示は、センシングデバイス２００にて検出された情報に基づいて、センサ信号処理部１５２が解析した結果より判断される。拡大画像非表示指示も、センシングデバイス２００にて検出された情報に基づいて、センサ信号処理部１５２が解析した結果より判断される。例えば、音声検出デバイス２０１により音声が取得されると、センサ信号処理部１５２により装着者の発話内容が解析される。制御部１５３は、装着者の発話内容が、予め設定された拡大画像非表示指示と一致するか否かを判定し、一致する場合には、表示部１５６に拡大画像を非表示させる処理を開始する。他のセンシングデバイス２００が検出した情報も、センサ信号処理部１５２、制御部１５３により同様に処理され、装着者が入力した情報が予め設定された拡大画像非表示指示と一致するか否かが判定される。
【００６６】
ステップＳ１５０にて拡大画像非表示指示が入力されたと判定されると、ステップＳ１２０からの処理が繰り返される。一方、ステップＳ１５０にて拡大画像非表示指示が入力されたと判定したとき、制御部１５３は、表示部１５６に表示された拡大画像を非表示にする処理を実行する（Ｓ１６０）。拡大画像が非表示となると、図４に示す拡大画像表示処理は終了する。
【００６７】
以上、本実施形態に係る眼鏡型表示装置１００における拡大画像表示処理について説明した。本実施形態に係る眼鏡型表示装置１００を用いることで、ユーザである術者は、手術中に術具の保持で両手が使えない状態や、不潔域に直接触れることができない状態であっても、拡大画像を表示部１５６に表示させ、容易に術野の拡大視が可能となる。また、拡大画像の拡大倍率も容易に変更することができる。さらに、シースルー状態と拡大画像重畳表示状態とをユーザにより切替可能であり、術野を妨げることなく、開腹手術のように広範囲な術野の確認が必要な場合においても安全な手術が可能となる。
【００６８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００６９】
例えば、上記実施形態では、表示部１５６に表示される拡大画像３１０は３次元画像としたが、本技術はかかる例に限定されない。例えば、高拡大倍率設定時と同様、右眼用撮像部１５４ａまたは左眼用撮像部１５４ｂのうちいずれか一方の撮影画像を用いて、２次元画像の拡大画像を表示させるようにしてもよい。
【００７０】
また、上記実施形態では、ユーザからの指示に基づいて、拡大画像の表示状態を切り替えたが、本技術はかかる例に限定されない。例えば、視線検出デバイス２０３により装着者の視線方向が検出可能である場合に、装着者の視線の軌跡から術野の観察状況を把握し、自動的に拡大画像３１０を表示させたり非表示としたりするようにしてもよい。視線検出デバイス２０３の検出結果より、装着者の注視位置を推定することができる。そこで、制御部１５３は、装着者がある位置を注視していると判定したとき、表示部１５６に拡大画像３１０を表示させるようにし、注視位置から視線が移動したと判定したとき、表示部１５６に表示された拡大画像３１０を非表示とするようにしてもよい。
【００７１】
さらに、表示部１５６に表示される拡大画像や外部から入力される映像について、表示サイズや表示向きは特に限定されるものではない。例えば、拡大画像や映像は、表示部１５６の表示領域３００の全面に表示されてもよく、表示領域３００の一部に表示されてもよい。また、拡大画像や映像は、１画像のみを表示領域３００に表示してもよく、複数の画像を表示領域３００に表示してもよい。拡大画像や映像の表示向きについても、例えば拡大画像であれば、撮像部１５４により撮影された画像と同様の向きで表示領域３００に表示してもよく、ユーザの指示等に基づいて、画像を左右反転、上下反転、あるいは任意の方向へ回転させて表示してもよい。
【００７２】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００７３】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
術野を透過して視認可能であり、画像を表示可能な表示部と、
術野を撮影する２つの撮像部と、
前記撮像部により撮影された撮影画像に基づいて、前記表示部に表示される３次元の拡大画像を生成する画像処理部と、
ユーザの指示に基づいて前記拡大画像の拡大倍率を変更する制御部と、
を備える、医療用眼鏡型表示装置。
（２）
前記制御部は、ユーザの音声に基づいて、前記拡大画像の拡大倍率を変更する、前記（１）に記載の医療用眼鏡型表示装置。
（３）
前記制御部は、ユーザによる視線方向に基づいて、前記拡大画像の拡大倍率を変更する、前記（１）または（２）に記載の医療用眼鏡型表示装置。
（４）
前記制御部は、ユーザの頭部の動きに基づいて、前記拡大画像の拡大倍率を変更する、前記（１）〜（３）のいずれか１項に記載の医療用眼鏡型表示装置。
（５）
前記制御部は、ユーザのジェスチャに基づいて、前記拡大画像の拡大倍率を変更する、前記（１）〜（４）のいずれか１項に記載の医療用眼鏡型表示装置。
（６）
前記制御部は、ユーザが操作した操作入力装置の入力に基づいて、前記拡大画像の拡大倍率を変更する、前記（１）〜（５）のいずれか１項に記載の医療用眼鏡型表示装置。
（７）
前記制御部は、前記拡大画像の拡大倍率を段階的に変更する、前記（１）〜（６）のいずれか１項に記載の医療用眼鏡型表示装置。
（８）
前記制御部は、前記拡大画像の拡大倍率を連続的に変更する、前記（１）〜（６）のいずれか１項に記載の医療用眼鏡型表示装置。
（９）
前記画像処理部は、撮影画像の一部分を切り出して前記拡大画像を生成する、前記（１）〜（８）のいずれか１項に記載の医療用眼鏡型表示装置。
（１０）
前記画像処理部は、ユーザの視線方向を基準として前記拡大画像を生成する、前記（１）〜（９）のいずれか１項に記載の医療用眼鏡型表示装置。
（１１）
前記画像処理部は、前記拡大画像の拡大倍率が所定の倍率以上であるとき、前記拡大画像を３次元画像から２次元画像に切り替えて表示する、前記（１）〜（１０）のいずれか１項に記載の医療用眼鏡型表示装置。
（１２）
前記制御部は、ユーザの指示に基づいて、前記拡大画像の表示／非表示を切り替える、前記（１）〜（１１）のいずれか１項に記載の医療用眼鏡型表示装置。
（１３）
前記制御部は、前記拡大画像が非表示であり、視線検出デバイスにより検出されたユーザの視線検出結果から、ユーザが表示領域を注視していると判定したとき、前記拡大画像を前記表示部に表示させる、前記（１）〜（１２）のいずれか１項に記載の医療用眼鏡型表示装置。
（１４）
前記制御部は、視線検出デバイスにより検出されたユーザの視線検出結果から、ユーザの視線が表示領域の注視位置から移動したと判定したとき、前記表示部に表示された前記拡大画像を非表示にする、前記（１３）に記載の医療用眼鏡型表示装置。
（１５）
前記撮像部は、ユーザの前記表示部からの視野を遮らない位置に設けられる、前記（１）〜（１４）のいずれか１項に記載の医療用眼鏡型表示装置。
（１６）
医療用眼鏡型表示装置に設けられた２つの撮像部により撮影された撮影画像に基づいて、前記医療用眼鏡型表示装置の表示部に表示する３次元の拡大画像を生成する画像処理部と、
ユーザの指示に基づいて前記拡大画像の拡大倍率を変更する制御部と、
を備える、情報処理装置。
（１７）
医療用眼鏡型表示装置に設けられた２つの撮像部により撮影された撮影画像に基づいて、前記医療用眼鏡型表示装置の表示部に表示する３次元の拡大画像を生成すること、
ユーザの指示に基づいて前記拡大画像の拡大倍率を変更すること、
とを含む、情報処理方法。
【符号の説明】
【００７４】
１００                医療用眼鏡型表示装置
１０２Ｒ、１０２Ｌ    支持部
１０４                フレーム
１１０Ｒ、１１０Ｌ    レンズ
１２０Ｒ、１２０Ｌ    撮像部
１３０                センサ部
１５１                センサ信号入力部
１５２                センサ信号処理部
１５３                制御部
１５４                撮像部
１５５                画像処理部
１５６                表示部
１５７                外部映像入力部
１５８                画像出力部
２００                センシングデバイス
２０１                音声検出デバイス
２０３                視線検出デバイス
２０５                動き検出デバイス
２０７                ジェスチャ検出デバイス
２０９                フットスイッチ
３００                視野（表示部の表示領域）
３１０                拡大画像
【図１】
2016115965.tif 000003
【図２】
2016115965.tif 000004
【図３】
2016115965.tif 000005
【図４】
2016115965.tif 000006
【図５】
2016115965.tif 000007
【図６】
2016115965.tif 000008
【図７】
2016115965.tif 000009