(57)【要約】      （修正有）【課題】観察部位の立体画像表示と平面画像表示をユーザの指示に応じて容易に切り替えることができる立体観察装置を提供する。【解決手段】立体観察装置は、第１の方向から第１観察画像を撮像する第１撮像部と、第１の方向と異なる第２の方向から第２観察画像を撮像する第２撮像部と、第１撮像部および第２撮像部を一体的に保持する筐体と、第１観察画像および第２観察画像にもとづいて第１視差画像および第２視差画像を生成する視差画像生成部５１と、ユーザから立体画像表示するか平面画像表示するかの切り替え指示を受け付ける切替指示受付部５２と、立体画像表示するよう指示されると、第１視差画像および第２視差画像を３Ｄディスプレイ装置３３、１８に表示させて立体画像を表示させる一方、平面画像表示するよう指示されると、平面画像を３Ｄディスプレイ装置３３、１８に表示させる画像合成部５３と、を備えた。【選択図】図５
2015220643.tif 000002
【特許請求の範囲】
【請求項１】
第１の方向から被検体の観察部位の第１観察画像を撮像する第１撮像部と、
前記第１の方向と異なる第２の方向から前記観察部位の第２観察画像を撮像する第２撮像部と、
前記第１撮像部および前記第２撮像部を一体的に保持する筐体と、
前記第１観察画像および前記第２観察画像にもとづいて第１視差画像および第２視差画像を生成する視差画像生成部と、
ユーザから前記観察部位を立体画像表示するか平面画像表示するかの切り替え指示を受け付ける切替指示受付部と、
前記立体画像表示するよう指示されると、前記第１視差画像および前記第２視差画像を３Ｄディスプレイ装置に表示させて立体画像を表示させる一方、前記平面画像表示するよう指示されると、前記第１視差画像および前記第２視差画像のいずれかにもとづく平面画像を前記３Ｄディスプレイ装置に表示させる画像合成部と、
を備えた立体観察装置。
【請求項２】
前記第１撮像部および前記第２撮像部の光学系の被検体側先端の近傍に設けられ、前記筐体の被検体側端部から前記観察部位の表面の所定位置までの距離に応じた信号を出力する距離センサと、
前記距離センサの出力を用いて前記筐体の被検体側端部から前記観察部位の表面の所定位置までの距離を求める距離算出部と、
をさらに備え、
前記画像合成部は、
前記立体画像および前記平面画像に対して前記筐体の被検体側端部から前記観察部位の表面の所定位置までの距離を示す画像を重畳させて前記３Ｄディスプレイ装置に表示させる、
請求項１記載の立体観察装置。
【請求項３】
前記被検体のボリュームデータにもとづいて前記観察部位のボリュームレンダリング画像を生成するレンダリング部、
をさらに備え、
前記画像合成部は、
前記立体画像および前記平面画像に対して前記ボリュームレンダリング画像を重畳して前記３Ｄディスプレイ装置に表示させる、
請求項１または２に記載の立体観察装置。
【請求項４】
前記レンダリング部は、
前記ボリュームデータにもとづいて、前記第１の方向および前記第２の方向のそれぞれに対応するボリュームレンダリング画像を生成し、
前記画像合成部は、
前記立体画像表示するよう指示されると、前記第１視差画像および前記第２視差画像と、対応する方向の前記ボリュームレンダリング画像と、をそれぞれ合成して前記３Ｄディスプレイ装置に表示させて立体画像を表示させる、
請求項３記載の立体観察装置。
【請求項５】
前記距離算出部は、
前記レンダリング画像中の注目箇所を抽出し、この注目箇所から前記観察部位の表面の所定位置までの距離を求め、
前記画像合成部は、
前記立体画像および前記平面画像に対して前記レンダリング画像中の前記注目箇所から前記観察部位の表面の所定位置までの距離を示す画像を重畳させて前記３Ｄディスプレイ装置に表示させる、
請求項２ないし４のいずれか１項に記載の立体観察装置。
【請求項６】
前記距離算出部は、
前記第１観察画像および前記第２観察画像に含まれる治療デバイスの所定箇所を抽出し、この所定箇所から前記観察部位の表面の所定位置までの距離を求め、
前記画像合成部は、
前記立体画像および前記平面画像に対して前記治療デバイスの前記所定箇所から前記観察部位の表面の所定位置までの距離を示す画像を重畳させて前記３Ｄディスプレイ装置に表示させる、
請求項２ないし５のいずれか１項に記載の立体観察装置。
【請求項７】
前記距離算出部により求められた距離が所定の閾値以下であると、スピーカを介した音声出力およびブザー出力、ならびに前記３Ｄディスプレイ装置に対する警告表示の少なくとも１つによりユーザに警告を行う警告部、
をさらに備えた請求項２ないし６のいずれか１項に記載の立体観察装置。
【請求項８】
前記第１撮像部および前記第２撮像部のそれぞれは、
広画角撮像用レンズが取り付けられて前記筐体に一体的に保持され、
前記視差画像生成部は、
前記広画角撮像用レンズによる歪みを補正して、前記第１観察画像および前記第２観察画像にもとづいて第１視差画像および第２視差画像を生成する、
請求項１ないし７のいずれか１項に記載の立体観察装置。
【請求項９】
前記視差画像生成部は、
前記第１観察画像および前記第２観察画像の少なくとも一方を用いて、前記第１の方向および前記第２の方向のいずれとも異なる仮想的な第３の方向から前記観察部位を撮像した場合に対応する第３視差画像を生成し、
前記画像合成部は、
前記立体画像表示するよう指示されると、前記第１視差画像および前記第２視差画像のいずれかと前記第３視差画像とを前記３Ｄディスプレイ装置に表示させて立体画像を表示させる、
請求項１ないし８のいずれか１項に記載の立体観察装置。
【請求項１０】
前記画像合成部は、
前記立体画像表示するよう指示されると、撮像領域のうちの所定の領域については前記第１視差画像および前記第２視差画像の対応する領域同士を用いて前記３Ｄディスプレイ装置に立体画像を表示させるとともに前記撮像領域の前記所定の領域以外の領域については前記第１視差画像および前記第２視差画像のいずれかにもとづく平面画像を前記３Ｄディスプレイ装置に表示させる、
請求項１ないし９のいずれか１項に記載の立体観察装置。
【請求項１１】
前記筐体に内蔵された前記３Ｄディスプレイ装置と、
前記筐体に付設され、前記筐体に内蔵された前記３Ｄディスプレイ装置に表示される前記第１視差画像および前記第２視差画像のそれぞれの表示方向に応じた位置に設けられた左目用観察部および右目用観察部からなる接眼部と、
をさらに備えた請求項１ないし１０のいずれか１項に記載の立体観察装置。
【請求項１２】
前記第１撮像部および前記第２撮像部は、
それぞれ前記第１の方向および前記第２の方向に沿った光軸を有する第１方向光学系および第２方向光学系を有し、
前記第１方向光学系および前記第２方向光学系の相対位置関係を変更するための駆動部と、
前記立体画像に対するピント調整指示をユーザから入力部を介して受け付けると、前記第１の方向および前記第２の方向との相対位置関係を変更することによりピントを調整するよう前記駆動部を制御する駆動制御部と、
をさらに備えた請求項１１記載の立体観察装置。
【請求項１３】
前記筐体は、
内視鏡を構成する挿入部であり、
前記第１撮像部および前記第２撮像部のそれぞれは、
広画角撮像用レンズが取り付けられて前記挿入部に一体的に保持され、
前記視差画像生成部は、
前記広画角撮像用レンズによる歪みを補正して、前記第１観察画像および前記第２観察画像にもとづいて第１視差画像および第２視差画像を生成する、
請求項１ないし１０のいずれか１項に記載の立体観察装置。
【請求項１４】
前記筐体の外部に設けられたモニタ用の前記３Ｄディスプレイ装置、
をさらに備え、
前記画像合成部は、
前記筐体の外部に設けられたモニタ用の前記３Ｄディスプレイ装置に対して前記立体画像および前記平面画像を表示させる、
請求項１ないし１３のいずれか１項に記載の立体観察装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、立体観察装置に関する。
【背景技術】
【０００２】
最近、観察対象物に対して互いに視差を有する２つの画像を撮像し、撮像したそれぞれの画像をユーザの左右の眼に導くことにより、ユーザが観察対象物の立体画像を知覚ことができるようにする立体観察技術が開発されている。
【０００３】
この種の立体観察技術を用いた観察装置は、医療分野に適用することができ、たとえば細かい術部の観察下で繊細かつ高度な技術での処置を行うことが求められる内視鏡や実体顕微鏡を用いた外科手術などに好適である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−４６３９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、ユーザは、立体画像を知覚しつづけると、目に大きな負担を感じてしまい、手技の効率が低下してしまう場合がある。一方、観察対象物を平面画像で確認するよう観察装置を構成すると、立体画像により得られる観察対象物の奥行方向の前後の情報を失ってしまう。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る立体観察装置は、上述した課題を解決するために、第１の方向から被検体の観察部位の第１観察画像を撮像する第１撮像部と、前記第１の方向と異なる第２の方向から前記観察部位の第２観察画像を撮像する第２撮像部と、前記第１撮像部および前記第２撮像部を一体的に保持する筐体と、前記第１観察画像および前記第２観察画像にもとづいて第１視差画像および第２視差画像を生成する視差画像生成部と、ユーザから前記観察部位を立体画像表示するか平面画像表示するかの切り替え指示を受け付ける切替指示受付部と、前記立体画像表示するよう指示されると、前記第１視差画像および前記第２視差画像を３Ｄディスプレイ装置に表示させて立体画像を表示させる一方、前記平面画像表示するよう指示されると、前記第１視差画像および前記第２視差画像のいずれかにもとづく平面画像を前記３Ｄディスプレイ装置に表示させる画像合成部と、を備えたものである。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態に係る立体観察装置の一例を示す全体構成図。
【図２】顕微鏡部の内部構成例を概略的に示すブロック図。
【図３】第１実施形態に係る第１撮像部および第２撮像部の一例を示す構成図。
【図４】画像処理部により観察部位の立体画像表示と平面画像表示をユーザの指示に応じて容易に切り替える際の手順の一例を示すフローチャート。
【図５】第１実施形態に係る画像処理部の内部構成例を概略的に示すブロック図。
【図６】表示内容に対するユーザ指示を受け付けるための指示受付画像の一例を示す説明図。
【図７】（ａ）は顕微鏡部に複数の接眼部が設けられる場合の例を示す説明図、（ｂ）は顕微鏡部に接眼部および３Ｄ表示部が設けられる場合の例を示す説明図。
【図８】本発明の第２実施形態に係る立体観察装置の一例を示す全体構成図。
【図９】図８のＩＸ部を拡大して示す説明図。
【図１０】第２実施形態に係る画像処理部の内部構成例を概略的に示すブロック図。
【図１１】第２実施形態に係る画像処理部のピント調整処理を説明するための図。
【発明を実施するための形態】
【０００８】
本発明に係る立体観察装置の実施の形態について、添付図面を参照して説明する。
【０００９】
（第１の実施形態）
図１は、本発明の第１実施形態に係る立体観察装置１０の一例を示す全体構成図である。
【００１０】
立体観察装置１０は、図１に示すように、顕微鏡部１１を有する。本実施形態に係る顕微鏡部１１は、いわゆる実体顕微鏡である。
【００１１】
顕微鏡部１１は、第１の方向１２および第２の方向１３の２方向からそれぞれ被検体Ｏを撮像する。本実施形態に係る立体観察装置１０は、２方向から撮像した画像データを顕微鏡部１１の内部で画像処理するとともに、基台１４の内部に設けられた画像処理部１５で画像処理する。顕微鏡部１１と基台１４とは、多関節アーム１６で接続される。基台１４上には、入力部１７およびモニタ用３Ｄディスプレイ装置１８が配置される。
【００１２】
入力部１７は、たとえばマウス、トラックボール、キーボード、タッチパネル、テンキーや、音声入力用のマイクロフォンなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を画像処理部１５に出力する。なお、入力部１７としてマイクロフォンを用いる場合、マイクロフォンはユーザによって入力された音声をデジタル音声信号に変換する。画像処理部１５は、このデジタル音声信号を音声認識処理することによりユーザの入力した音声に応じた動作を行う。
【００１３】
なお、本実施形態に係る画像処理部１５は、顕微鏡部１１の内部および基台１４の内部の少なくとも一方に設けられる。以下の説明では、同様の画像処理機能を有する画像処理部１５ｍおよび１５が顕微鏡部１１の内部および基台１４の内部の両方に設けられる場合の例について示す。
【００１４】
顕微鏡部１１は筐体２０を有する。この筐体２０には、顕微鏡部１１の内部で表示される画像をユーザが観察するための接眼部２１が付設される。接眼部２１は、左目用観察部２１Ｌおよび右目用観察部２１Ｒを有する。
【００１５】
また、筐体２０には、ユーザが立体画像表示と平面画像表示とを切り替える指示を与えるための切替スイッチ２２と、ユーザが表示画像のピントの調整指示を与えるためのピント調整部２３とが付設される。また、筐体２０には、顕微鏡部１１を移動させることにより顕微鏡部１１と被検体Ｏとの相対位置関係を変更するための持ち手２４が付設される。
【００１６】
図２は、顕微鏡部１１の内部構成例を概略的に示すブロック図である。
【００１７】
顕微鏡部１１は、画像処理部１５ｍ、筐体２０、接眼部２１、切替スイッチ２２、ピント調整部２３のほか、第１撮像部３１、第２撮像部３２、内蔵の３Ｄディスプレイ装置３３、駆動部３４および距離センサ３５を有する。
【００１８】
図３は、第１実施形態に係る第１撮像部３１および第２撮像部３２の一例を示す構成図である。図３には、第１撮像部３１および第２撮像部３２が共焦点光学系により構成される場合の例について示した。
【００１９】
第１撮像部３１は、第１の方向１２から被検体Ｏの観察部位の画像（以下、第１観察画像という）を撮像する。第１撮像部３１は、第１の方向１２に沿った光軸を有する第１方向光学系４１および第１検出部４２を有する。共焦点光学系を構成する場合、図３に示すように、第１方向光学系４１は光源４３を有する。
【００２０】
第２撮像部３２は、第１の方向１２と異なる第２の方向１３から観察部位の画像（以下、第２観察画像という）を撮像する。第２撮像部３２は、第２の方向１３に沿った光軸を有する第２方向光学系４４および第２検出部４５を有する。また、第２方向光学系４４は光源４６を有する。第１方向光学系４１および第２方向光学系４４は、いわゆる拡大光学系や広角光学系を構成する。
【００２１】
第１撮像部３１および第２撮像部３２は、筐体２０に一体的に保持される。なお、第１撮像部３１の構成と同等な第２撮像部３２の構成については、その説明を省略する。
【００２２】
光源４３としては、たとえばハロゲンランプやレーザなどを用いることができる。光源４３から出射された光は、照明レンズを介して面状の照明光束となる。この光は、偏光ビームスプリッタを介して被検体Ｏに投光されつつ被検体側の集光点に集光される。
【００２３】
観察部位の表面による反射光のうち被検体側の集光点における反射光は、対物レンズおよび結像レンズにより、被検体側の集光点と光学的共役関係にある点（像側集光点）に集光される。像側集光点に設けられた開口を通過した光は、第１検出部４２を構成する撮像素子に入射する。
【００２４】
第１検出部４２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成されて、照射された光の強度に応じた信号を画像処理部１５ｍおよび基台１４内部の画像処理部１５に出力する。
【００２５】
接眼部２１は、筐体２０に付設された左目用観察部２１Ｌおよび右目用観察部２１Ｒを有する。左目用観察部２１Ｌおよび右目用観察部２１Ｒは、内蔵３Ｄディスプレイ装置３３に表示される左目用視差画像（第１視差画像）および右目用視差画像（第２視差画像）のそれぞれの表示方向に応じた位置に設けられる。ユーザは、接眼部２１を介して内蔵３Ｄディスプレイ装置３３を見込むことにより、内蔵３Ｄディスプレイ装置３３に表示された第１視差画像および第２視差画像にもとづいて立体画像を知覚することができる。
【００２６】
切替スイッチ２２は、ユーザにより操作可能な位置に設けられ、ユーザから観察部位を立体画像表示するか平面画像表示するかの切り替え指示を受け付け、この指示情報を画像処理部１５および１５ｍに与える。図１には、切替スイッチ２２が筐体２０の側面に付設される場合の例を示した。なお、この切り替え指示は、入力部１７を介して画像処理部１５および１５ｍに与えられてもよい。
【００２７】
ピント調整部２３は、ユーザにより操作可能な位置に設けられ、ユーザから内蔵３Ｄディスプレイ装置３３に表示された画像に対するピント調整指示を受け付け、この指示情報を画像処理部１５および１５ｍに与える。図１には、ピント調整部２３が筐体２０の側面に付設される場合の例を示した。なお、このピント調整指示は、入力部１７を介して画像処理部１５および１５ｍに与えられてもよい。
【００２８】
モニタ用３Ｄディスプレイ装置１８は、眼鏡方式の３Ｄディスプレイでもよいし、専用の眼鏡を必要としない裸眼方式の３Ｄディスプレイでもよい。眼鏡方式では、画像処理部１５および１５ｍから出力される左目用視差画像（第１視差画像）と右目用視差画像（第２視差画像）の２つの視差画像を、偏光フィルタ付の眼鏡や液晶シャッタ付の眼鏡で分離することにより、立体物の奥行き感を観察者に与える。
【００２９】
裸眼方式の３Ｄディスプレイは、左目用視差画像と右目用視差画像の２つの視差画像、あるいはさらに多視差（たとえば９視差）方向に分解した視差画像群を、レンチキュラーレンズと呼ばれるシリンドリカルレンズで複数の視差方向に振り分ける。この結果、専用の眼鏡なしでも立体物の奥行き感を観察者に与えることができる。また、裸眼方式の３Ｄディスプレイの場合には、観察者がディスプレイ装置の周りを移動した場合に、あたかも実際の立体物を周りこんで観察したかのような立体感を観察者に与えることもできる。
【００３０】
内蔵３Ｄディスプレイ装置３３もまた、眼鏡方式の３Ｄディスプレイでもよいし、専用の眼鏡を必要としない裸眼方式の３Ｄディスプレイでもよい。なお、内蔵３Ｄディスプレイ装置３３は、ユーザにより接眼部２１を介して見込まれる。このため、内蔵３Ｄディスプレイ装置３３を眼鏡方式とする場合は、接眼部２１に対して偏光フィルタや液晶シャッタを設けるとよい。
【００３１】
画像処理部１５および１５ｍは、ＣＰＵ、ＲＡＭおよびＲＯＭをはじめとする記憶媒体などにより構成される。画像処理部１５のＣＰＵは、ＲＯＭをはじめとする記憶媒体に記憶された画像生成プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って観察部位の立体画像表示と平面画像表示をユーザの指示に応じて容易に切り替えるための処理を実行する。
【００３２】
画像処理部１５および１５ｍのＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。画像処理部１５および１５ｍのＲＯＭをはじめとする記憶媒体は、画像処理プログラムを実行するために必要な各種データを記憶する。
【００３３】
なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。
【００３４】
ここで、本実施形態に係る画像処理部１５ｍの動作の概要について簡単に説明する。
【００３５】
図４は、画像処理部１５ｍにより観察部位の立体画像表示と平面画像表示をユーザの指示に応じて容易に切り替える際の手順の一例を示すフローチャートである。図４において、Ｓに数字を付した符号はフローチャートの各ステップを示す。
【００３６】
まず、ステップＳ１において、画像処理部１５ｍは、観察部位の第１の方向１２および第２の方向１３のそれぞれから撮像した第１観察画像および第２観察画像を取得する。
【００３７】
次に、ステップＳ２において、画像処理部１５ｍは、内蔵３Ｄディスプレイ装置３３およびモニタ用３Ｄディスプレイ装置１８に立体画像を表示させる（３Ｄ表示させる）べきか、平面画像を表示させる（２Ｄ表示させる）べきか、のユーザからの切り替え指示を受け付ける。３Ｄ表示させるべき場合はステップＳ３に進む。一方、２Ｄ表示させるべき場合はステップＳ４に進む。
【００３８】
次に、ステップＳ３において、画像処理部１５ｍは、少なくとも観察部位の画像を立体画像として、内蔵３Ｄディスプレイ装置３３およびモニタ用３Ｄディスプレイ装置１８に表示させる。
【００３９】
一方、ステップＳ４では、画像処理部１５ｍは、少なくとも観察部位の画像を平面画像として、内蔵３Ｄディスプレイ装置３３およびモニタ用３Ｄディスプレイ装置１８に表示させる。平面画像として表示する場合、左目用視差画像（第１視差画像）と右目用視差画像（第２視差画像）は第１撮像部３１あるいは第２撮像部３２のどちらか一方で撮影されたものになる。
【００４０】
次に、ステップＳ５において、画像処理部１５ｍは一連の手順を終了すべきか否か（たとえばユーザから入力部１７を介して処理終了指示を受けた否か）を判定し、終了すべきでない場合はステップＳ１に戻り、終了すべき場合は一連の手順は終了となる。
【００４１】
なお、ステップＳ２−４において、内蔵３Ｄディスプレイ装置３３とモニタ用３Ｄディスプレイ装置１８とで異なる次元の画像をユーザの指示に応じて表示させてもよい。また、立体観察装置１０が画像処理部１５を備える場合は、上記ステップＳ３およびＳ４の処理においてモニタ用３Ｄディスプレイ装置１８に係る動作は画像処理部１５により実行されてもよい。また、立体観察装置１０が画像処理部１５を備えるとともに画像処理部１５ｍを備えない場合は、上記の手順は画像処理部１５により実行されて画像処理部１５がモニタ用３Ｄディスプレイ装置１８および内蔵３Ｄディスプレイ装置３３の表示制御を行ってもよい。
【００４２】
以上の手順により、観察部位の立体画像表示と平面画像表示をユーザの指示に応じて容易に切り替えることができる。
【００４３】
このため、本実施形態に係る立体観察装置１０によれば、ユーザは、自身の目の負担と観察部位の奥行き情報の必要性との両者を考慮しつつ、任意のタイミングで容易に観察部位の画像の平面画像表示および立体画像表示を切り替えることができるため、非常に利便性が高い。
【００４４】
また、平面画像表示のみが可能な場合に比べ、立体画像表示により観察部位の奥行き情報を容易に得ることができるため、ユーザは正確かつ迅速な手技を行うことができるとともに、手技対象の被検体Ｏの負担を軽減することができる。また、立体画像表示のみが可能な場合に比べ、ユーザは立体画像表示による目の疲労を覚えた時に容易に平面画像表示に切り替えることができるため、ユーザの負担を大幅に低減することができる。
【００４５】
続いて、本実施形態に係る画像処理部１５ｍの詳細について説明する。
【００４６】
図５は、第１実施形態に係る画像処理部１５ｍの内部構成例を概略的に示すブロック図である。なお、この内部構成の一部または全部はＣＰＵの機能実現部として構成されてもよいし、回路などのハードウエアロジックによって構成してもよい。また、画像処理部１５の構成については画像処理部１５ｍの構成と同等であるため説明を省略する。
【００４７】
また、図６は、表示内容に対するユーザ指示を受け付けるための指示受付画像５０の一例を示す説明図である。
【００４８】
画像処理部１５ｍは、基本構成として少なくとも視差画像生成部５１、切替指示受付部５２、画像合成部５３を有する。
【００４９】
視差画像生成部５１は、第１撮像部３１により得られた第１観察画像および第２撮像部３２により得られた第２観察画像を取得し（図４のステップＳ１参照）、これらの観察画像にもとづいて、左目用視差画像（第１視差画像）および右目用視差画像（第２視差画像）を生成する。
【００５０】
また、第１撮像部３１および第２撮像部３２は、広角レンズや魚眼レンズなどの広画角撮像用レンズを用いて広画角撮像可能に構成されてもよい。この場合、視差画像生成部５１は、広画角撮像用レンズに起因する歪みを補正してから、第１観察画像および第２観察画像にもとづいて左目用視差画像および右目用視差画像を生成してもよい（歪み補正処理）。
【００５１】
切替指示受付部５２は、ユーザから切替スイッチ２２または入力部１７を介して、観察部位を立体画像表示するか平面画像表示するかの切り替え指示を受け付ける（図４のステップＳ２、図６参照）。
【００５２】
画像合成部５３は、立体画像表示するよう指示されると、左目用視差画像および右目用視差画像を内蔵３Ｄディスプレイ装置３３およびモニタ用３Ｄディスプレイ装置１８に表示させて立体画像を表示させる（図４のステップＳ３参照）。また、画像合成部５３は、平面画像表示するよう指示されると、左目用視差画像および右目用視差画像のいずれかにもとづく平面画像を内蔵３Ｄディスプレイ装置３３およびモニタ用３Ｄディスプレイ装置１８に表示させる（図４のステップＳ４参照）。
【００５３】
また、画像合成部５３は、立体画像表示するよう指示されると、一部のみを立体画像表示し、他の部分を平面画像表示してもよい（部分立体表示処理）。具体的には、画像合成部５３は、撮像領域のうちの所定の領域については第１視差画像および第２視差画像の対応する領域同士を用いて内蔵３Ｄディスプレイ装置３３およびモニタ用３Ｄディスプレイ装置１８に立体画像を表示させるとともに、撮像領域の所定の領域以外の領域については第１視差画像および第２視差画像のいずれかにもとづく平面画像を内蔵３Ｄディスプレイ装置３３およびモニタ用３Ｄディスプレイ装置１８に表示させる。
【００５４】
たとえば、第１撮像部３１および第２撮像部３２が広画角撮像可能に構成される場合、歪みが生じにくい撮像領域中心付近のみを立体画像表示するとよい。この場合、視差画像生成部５１は歪み補正を行わずともよい。
【００５５】
次に、ピント調整について簡単に説明する。ピント調整部２３または入力部１７を介してユーザからピント調整指示を受けつけた場合、画像処理部１５および１５ｍはソフトウエア的な画像処理によりピント調整を行うことが可能である。
【００５６】
さらに、本実施形態に係る画像処理部１５および１５ｍは、駆動制御部５４を有し、ピント調整指示が立体画像に対する指示であった場合、ハードウエア的な調整によりピント調整することができる。
【００５７】
具体的には、駆動部３４は、駆動制御部５４により制御されて、第１方向光学系４１と第２方向光学系４４との相対位置関係を変更する。駆動制御部５４は、立体画像に対するピント調整指示をピント調整部２３または入力部１７を介してユーザから受け付けると、第１の方向１２と第２の方向１３のなす角θを変更することで立体画像のピントを調整するよう、駆動部３４を制御する。
【００５８】
駆動制御部５４によれば、第１方向光学系４１と第２方向光学系４４との相対位置関係を変更することにより立体画像のピント調整を行うことができる。なお内蔵３Ｄディスプレイ装置３３およびモニタ用３Ｄディスプレイ装置１８の一部を注目領域として特定し、その部位が左目用視差画像および右目用視差画像でどこに位置するかを同定し、その左目用視差画像および右目用視差画像での位置ズレ情報を用いて半自動的にピント調整を行ってもよい。
【００５９】
続いて、観察部位の立体画像および平面画像とレンダリング画像との重畳表示について説明する。
【００６０】
画像処理部１５ｍは、外部の医用３次元画像データ（ボリュームデータ）にもとづくレンダリング画像を、観察部位の立体画像および平面画像に重畳表示可能に構成されてもよい。この場合、画像処理部１５ｍはネットワーク接続部５５およびレンダリング部５６をさらに有する。
【００６１】
ネットワーク接続部５５は、ネットワーク１００の形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部５５は、この各種プロトコルに従って立体観察装置１０とモダリティ１０１などの他の装置とを接続する。ここでネットワーク１００とは、電気通信技術を利用した情報通信網全般を意味し、病院基幹ＬＡＮ（Local Area Network）などの無線／有線ＬＡＮやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【００６２】
立体観察装置１０は、ネットワーク１００を介して接続されたモダリティ１０１や画像サーバ１０２から医療用のボリュームデータ（医用３次元画像データ）を受ける。モダリティ１０１から出力されるボリュームデータや再構成画像データは、ネットワーク１００を介して受信されて図示しない記憶媒体に記憶される。
【００６３】
モダリティ１０１は、たとえばＸ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、Ｘ線診断装置などの医用画像診断装置であって、被検体Ｏの撮像により得られた投影データにもとづいてボリュームデータ（医用３次元画像データ）を生成可能な装置により構成することができる。
【００６４】
画像サーバ１０２は、たとえばＰＡＣＳ（Picture Archiving and Communication System：医用画像保管通信システム）に備えられる画像の長期保管用のサーバであり、ネットワーク１００を介して接続されたＸ線ＣＴ装置、磁気共鳴イメージング装置、超音波診断装置、Ｘ線診断装置などのモダリティ１０１で生成されたボリュームデータや再構成画像などを記憶している。
【００６５】
レンダリング部５６は、ネットワーク１００を介して取得した被検体Ｏのボリュームデータにもとづいて、観察部位のボリュームレンダリング画像を生成する。画像合成部５３は、立体画像および平面画像に対してボリュームレンダリング画像を重畳して、内蔵３Ｄディスプレイ装置３３およびモニタ用３Ｄディスプレイ装置１８に表示させる。
【００６６】
より具体的には、画像合成部５３は、骨、脳表、血管などの特徴点を関連付けることにより、第１視差画像および第２視差画像ならびにボリュームレンダリング画像の位置合わせを行う。特徴点は、表示された画像上に対するユーザによる入力操作により指定されてもよいし、あらかじめ登録された特徴点を画像合成部５３が各画像から抽出することにより自動設定されてもよい。
【００６７】
また、レンダリング部５６は、手技に係る注目箇所の情報（手術対象領域や血管などの危険部位領域など）がボリュームデータに付帯されている場合、この注目箇所を強調表示するようボリュームレンダリング画像を生成してもよい。
【００６８】
また、レンダリング部５６は、ボリュームレンダリング画像を立体表示可能なように、ボリュームデータにもとづいて、第１の方向１２および第２の方向１３のそれぞれに対応するボリュームレンダリング画像を生成してもよい。この場合、画像合成部５３は、立体画像表示するよう指示されると、第１視差画像および第２視差画像と、対応する方向のボリュームレンダリング画像と、をそれぞれ合成して内蔵３Ｄディスプレイ装置３３およびモニタ用３Ｄディスプレイ装置１８に表示させて立体画像を表示させる。なお、ユーザによる指示に応じて、観察部位の平面画像に対してボリュームレンダリング画像の立体画像を重畳してもよい。
【００６９】
また、画像合成部５３は、ボリュームレンダリング画像に対して所定の透過率（透明度）を与えてもよい。この透過率は、ユーザにより入力部１７を介して設定されてもよい。
【００７０】
レンダリング画像を重畳表示する場合、ユーザは第１撮像部３１および第２撮像部３２により撮像された観察部位の表面画像から得られる情報に加え、レンダリング画像から得られる観察部位の表面の奥に存在する部位の情報を得ることができる。また、ボリュームデータから得られる注目箇所がレンダリング画像において強調表示される場合、ユーザは観察部位の表面の奥に存在する血管や危険部位などの情報を容易に得ることができる。
続いて、距離情報の表示について説明する。
【００７１】
画像処理部１５ｍは、観察部位の立体画像および平面画像に対して、各種の距離を示す画像（距離情報画像）を重畳表示可能に構成されてもよい。この場合、画像処理部１５ｍは、距離算出部５７および距離情報画像生成部５８をさらに有し、距離センサ３５の出力にもとづいて距離情報画像を表示する。なお、距離情報画像の表示が不要な場合、立体観察装置１０は、距離センサ３５、距離算出部５７および距離情報画像生成部５８を備えずともよい。
【００７２】
距離センサ３５は、第１方向光学系４１および第２方向光学系４４の被検体Ｏ側の先端近傍に設けられる。距離センサ３５は、筐体２０の被検体側の端部から観察部位の表面の所定位置までの距離に応じた信号を出力する。
【００７３】
距離算出部５７は、距離センサ３５の出力を用いて筐体２０の被検体側の端部から観察部位の表面の所定位置（たとえば脳表上の被検体側集光点）までの距離を求める。距離情報画像生成部５８は、この表面までの距離を示す画像を生成する。画像合成部５３は、立体画像および平面画像に対して表面までの距離を示す画像を重畳させて、内蔵３Ｄディスプレイ装置３３およびモニタ用３Ｄディスプレイ装置１８に表示させる。
【００７４】
また、画像処理部１５ｍがレンダリング部５６を備え、手技に係る注目箇所の情報がボリュームデータに付帯されている場合、距離算出部５７は、レンダリング画像中の注目箇所を抽出し、観察部位の表面の所定位置から注目箇所までの距離を求めてもよい（図６参照）。この場合、距離情報画像生成部５８は、この注目箇所までの距離を示す画像を生成する。画像合成部５３は、立体画像および平面画像に対して注目箇所までの距離を示す画像を重畳させて、内蔵３Ｄディスプレイ装置３３およびモニタ用３Ｄディスプレイ装置１８に表示させる。
【００７５】
また、距離算出部５７は、第１検出部４２および第２検出部４５から第１観察画像および第２観察画像を取得してもよい。この場合、距離算出部５７は、第１観察画像および第２観察画像中に含まれる治療デバイス（カテーテルや鉗子など）の所定箇所（カテーテルや鉗子の先端やマーカなど）を抽出し、観察部位の表面の所定位置から所定箇所までの距離を求める。この場合、距離情報画像生成部５８は、この治療デバイスの所定箇所までの距離を示す画像を生成する。画像合成部５３は、立体画像および平面画像に対して治療デバイスの所定箇所までの距離を示す画像を重畳させて、内蔵３Ｄディスプレイ装置３３およびモニタ用３Ｄディスプレイ装置１８に表示させる。
【００７６】
距離センサ３５、距離算出部５７および距離情報画像生成部５８によれば、ユーザは容易に筐体２０の被検体側の端部から観察部位の表面の所定位置までの距離を知ることができる。また、レンダリング画像中の注目箇所までの距離を示す画像を表示する場合、ユーザは観察部位の立体画像および表面画像では確認することができない位置にある注目箇所までの距離を容易に把握することができる。また、たとえば鉗子の先端から観察部位の表面までの距離を示す画像を表示する場合、ユーザは不意に観察部位の表面を傷つける弊害を未然に防ぐことができる。
【００７７】
また、画像処理部１５ｍはさらに、距離算出部５７により求められた距離が所定の閾値以下であると、スピーカを介した音声出力およびブザー出力、ならびに内蔵３Ｄディスプレイ装置３３およびモニタ用３Ｄディスプレイ装置１８に対する警告表示の少なくとも１つによりユーザに警告を行う警告部５９をさらに備えてもよい。警告表示を行う場合、警告部５９は、たとえば内蔵３Ｄディスプレイ装置３３およびモニタ用３Ｄディスプレイ装置１８に対して危険である旨を示す文字情報を表示してもよいし、閾値以下となった注目箇所の位置を囲む枠を表示してもよい。このとき、枠や枠内領域を赤色などで塗りつぶしてもよいし枠や枠内領域または画像全体を点滅させてもよい。
【００７８】
本実施形態に係る立体観察装置１０によれば、観察部位の立体画像表示と平面画像表示をユーザの指示に応じて容易に切り替えることができる。
【００７９】
なお、顕微鏡部１１は、複数のユーザにより同時に観察部位の観察が可能に構成されてもよい。図７（ａ）は顕微鏡部１１に複数の接眼部２１が設けられる場合の例を示す説明図であり、（ｂ）は顕微鏡部１１に接眼部２１および３Ｄ表示部６０が設けられる場合の例を示す説明図である。画像合成部５３が複数の接眼部２１のそれぞれや３Ｄ表示部６０に同様の画像を出力することにより、複数のユーザにより同時に観察部位の観察が可能となる。
【００８０】
（第２の実施形態）
次に、本発明に係る立体観察装置の第２実施形態について説明する。
【００８１】
図８は、本発明の第２実施形態に係る立体観察装置１０Ａの一例を示す全体構成図である。なお、第１実施形態に係る立体観察装置１０と同じ構成については同一符号を付して説明を省略する。
【００８２】
立体観察装置１０Ａは、図１に示すように、顕微鏡部１１Ａを有する。本実施形態に係る顕微鏡部１１Ａは、いわゆる内視鏡である。
【００８３】
顕微鏡部１１Ａは筐体２０Ａを有する。この筐体２０Ａには、ユーザが立体画像表示と平面画像表示とを切り替える指示を与えるための切替スイッチ２２Ａが付設される。筐体２０Ａの胴部は持ち手２４Ａとして機能する。また、筐体２０Ａの一部は挿入部７０を形成する。
【００８４】
本実施形態に係る画像処理部１５Ａは、顕微鏡部１１の内部に設けられず基台１４の内部に設けられる。基台１４には、光源４３Ａが設けられ、光源４３Ａが出射した光は光ファイバなどの導光材に導かれて挿入部７０の先端から被検体Ｏの観察部位を照明する。
【００８５】
図９は、図８のＩＸ部を拡大して示す説明図である。図９に示すように、顕微鏡部１１Ａ（内視鏡）の挿入部７０の先端には、第１方向光学系４１Ａの先端および第２方向光学系４４Ａの先端にそれぞれ広画角撮像用レンズ７１および７２が取り付けられる。挿入部７０が細く形成される場合、このように広画角撮像用レンズ７１および７２を用いるとよい。この場合、第１方向光学系４１Ａおよび第２方向光学系４４Ａは、たとえば光ファイバなどの導光材により構成される。
【００８６】
図１０は、第２実施形態に係る画像処理部１５Ａの内部構成例を概略的に示すブロック図である。なお、この内部構成の一部または全部はＣＰＵの機能実現部として構成されてもよいし、回路などのハードウエアロジックによって構成してもよい。
【００８７】
図１０に示すように、本実施形態に係る立体観察装置１０Ａは、ピント調整部２３、内蔵３Ｄディスプレイ装置３３、駆動部３４および駆動制御部５４を備えずともよい。
【００８８】
視差画像生成部５１Ａは、広画角撮像用レンズ７１および７２による歪みを補正して、第１検出部４２Ａおよび第２検出部４５Ａがそれぞれ出力した第１観察画像および第２観察画像にもとづいて第１視差画像および第２視差画像を生成する。
【００８９】
本実施形態に係る画像処理部１５Ａは、歪み補正処理、部分立体表示処理、観察部位の立体画像および平面画像とレンダリング画像との重畳表示処理、距離情報の表示処理、警告処理について第１実施形態に係る画像処理部１５および１５ｍと同様であるためこれらの処理についての説明を省略する。
【００９０】
本実施形態に係る画像処理部１５Ａのピント調整処理について説明する。
【００９１】
図１１は、第２実施形態に係る画像処理部１５Ａのピント調整処理を説明するための図である。
【００９２】
挿入部７０が細く形成される場合、第１の方向１２および第２の方向１３をハードウエア的に変更することは難しい。そこで、本実施形態に係る視差画像生成部５１Ａは、第１観察画像および第２観察画像の少なくとも一方を用いて、第１の方向１２および第２の方向１３のいずれとも異なる仮想的な第３の方向８０から観察部位を撮像した場合に対応する第３視差画像を生成する。そして、画像合成部５３Ａは、立体画像表示するよう指示されると、第１視差画像および第２視差画像のいずれかと第３視差画像とをモニタ用３Ｄディスプレイ装置１８に表示させて立体画像を表示させる。
【００９３】
本実施形態に係る立体観察装置１０Ａは、第１実施形態に係る立体観察装置１０と同様の効果を奏する。また、本実施形態に係る立体観察装置１０Ａは、仮想的な第３の方向８０から観察部位を撮像した場合に対応する視差画像を生成することによりピント調整をすることができる。このため、挿入部７０の経を細くすることができ、特に内視鏡に好適である。
【００９４】
なお、仮想的な第３の方向８０から観察部位を撮像した場合に対応する視差画像を生成することによりピント調整をする方法は、第１実施形態に係る立体観察装置１０のソフトウエア的なピント調整において用いられてもよい。
【００９５】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９６】
１０、１０Ａ  立体観察装置
１１、１１Ａ  顕微鏡部
１２  第１の方向
１３  第２の方向
１５、１５ｍ、１５Ａ  画像処理部
１７  入力部
１８  モニタ用３Ｄディスプレイ装置
２０、２０Ａ  筐体
２１  接眼部
２１Ｌ  左目用観察部
２１Ｒ  右目用観察部
３１  第１撮像部
３２  第２撮像部
３３  内蔵３Ｄディスプレイ装置
３４  駆動部
３５  距離センサ
４１、４１Ａ  第１方向光学系
４４、４４Ａ  第２方向光学系
５１、５１Ａ  視差画像生成部
５２  切替指示受付部
５３、５３Ａ  画像合成部
５４  駆動制御部
５６  レンダリング部
５７  距離算出部
５９  警告部
７０  挿入部
７１、７２  広画角撮像用レンズ
８０  第３の方向
Ｏ  被検体
【図１】
2015220643.tif 000003
【図２】
2015220643.tif 000004
【図３】
2015220643.tif 000005
【図４】
2015220643.tif 000006
【図５】
2015220643.tif 000007
【図６】
2015220643.tif 000008
【図７】
2015220643.tif 000009
【図８】
2015220643.tif 000010
【図９】
2015220643.tif 000011
【図１０】
2015220643.tif 000012
【図１１】
2015220643.tif 000013