(57)【要約】【課題】複数の内視鏡を用いることなく、また、内視鏡を動かすことなく、適切な画像を簡単に表示装置に表示させることができるようにする。【解決手段】観察対象の内部の被写体を撮像する内視鏡１と、この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理するコントローラ２と、この制御装置から出力される画像を表示するモニタ３と、を備えた内視鏡システムにおいて、内視鏡が、観察対象の内部に挿入される挿入部５に複数のカメラ部６ａ〜６ｅを備え、コントローラが、複数のカメラ部の各々による複数の撮像画像に対して、切替えおよび合成の少なくともいずれかの調整を行って、表示画像を生成する処理を行い、ここで生成した表示画像をモニタに表示させるものとする。【選択図】図１
2015119827.tif 000002
【特許請求の範囲】
【請求項１】
観察対象の内部の被写体を撮像する内視鏡と、
この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理する制御装置と、
この制御装置から出力される画像を表示する表示装置と、
を備えた内視鏡システムであって、
前記内視鏡は、観察対象の内部に挿入される挿入部に複数のカメラ部を備え、
前記制御装置は、
複数の前記カメラ部の各々による複数の撮像画像に対して、切替えおよび合成の少なくともいずれかの調整を行って、表示画像を生成する画像出力調整部を備え、
この画像出力調整部で生成した前記表示画像を前記表示装置に表示させることを特徴とする内視鏡システム。
【請求項２】
複数の前記カメラ部は、各々の視線方向が被写体上の同一の注視位置に向けられるように設定されたことを特徴とする請求項１に記載の内視鏡システム。
【請求項３】
前記画像出力調整部は、観察者の指示に応じて、複数の前記撮像画像を切り替えて前記表示画像として出力することを特徴とする請求項２に記載の内視鏡システム。
【請求項４】
前記内視鏡は、前記カメラ部の視線方向を個別に変更する視線調整機構をさらに備え、
前記制御装置は、
前記注視位置を指定する観察者の指示に応じて、複数の前記カメラ部の各々の視線方向が同一の前記注視位置に向けられるように前記カメラ部の視線方向を設定する視線方向設定部と、
この視線方向設定部で設定された視線方向に基づいて、前記視線調整機構を制御するカメラ制御部と、
をさらに備えたことを特徴とする請求項２または請求項３に記載の内視鏡システム。
【請求項５】
複数の前記カメラ部は、被写体上の互いにずれた領域を撮像するように視線方向が設定されたことを特徴とする請求項１に記載の内視鏡システム。
【請求項６】
前記挿入部は、複数の前記カメラ部の間に屈曲部を有し、この屈曲部を屈曲させることで、複数の前記カメラ部の視線方向を変化させるようにしたことを特徴とする請求項５に記載の内視鏡システム。
【請求項７】
前記画像出力調整部は、複数の前記撮像画像を接合して１つの連続した合成画像を生成して、その合成画像の全部または一部を前記表示画像とすることを特徴とする請求項５または請求項６に記載の内視鏡システム。
【請求項８】
前記画像出力調整部は、前記表示画像に関する表示条件を指定する観察者の指示に応じて、前記合成画像から前記表示条件に応じた範囲を切り出して前記表示画像を生成することを特徴とする請求項７に記載の内視鏡システム。
【請求項９】
前記表示条件は、前記表示画像の表示領域を移動させるパンおよびチルトに関するものであり、
前記画像出力調整部は、前記合成画像から切り出す範囲の位置を変更することで、前記表示画像に擬似的なパンおよびチルトの動作を行わせることを特徴とする請求項８に記載の内視鏡システム。
【請求項１０】
前記表示条件は、前記表示画像の表示領域を拡大および縮小させるズームに関するものであり、
前記画像出力調整部は、前記合成画像から切り出す範囲の大きさを変更することで、前記表示画像に擬似的なズーム動作を行わせることを特徴とする請求項８に記載の内視鏡システム。
【請求項１１】
複数の観察者ごとに複数の前記表示装置を備え、
前記制御装置は、観察者の指示に応じて、前記合成画像の任意の範囲を複数の前記表示装置に別々に表示させることを特徴とする請求項５から請求項１０のいずれかに記載の内視鏡システム。
【請求項１２】
複数の前記カメラ部のうち、少なくとも１つの前記カメラ部と残りの前記カメラ部とは、視野角が異なるように設定され、
前記画像出力調整部は、狭い視野角に設定された前記カメラ部による狭角撮像画像から、被写体上の注視位置を含む狭い範囲を写した注視用の表示画像を生成し、広い視野角に設定された前記カメラ部による広角撮像画像から、被写体上の注視位置を含む広い範囲を写した監視用の表示画像を生成することを特徴とする請求項１に記載の内視鏡システム。
【請求項１３】
複数の観察者ごとに複数の前記表示装置を備え、
前記制御装置は、前記注視用の表示画像および前記監視用の表示画像を別の前記表示装置に表示させることを特徴とする請求項１２に記載の内視鏡システム。
【請求項１４】
複数の前記カメラ部が広い視野角に設定され、
前記画像出力調整部は、広い視野角に設定された複数の前記カメラ部による複数の前記広角撮像画像を接合して１つの連続した合成画像を生成して、その合成画像の全部または一部を前記監視用の表示画像とすることを特徴とする請求項１２または請求項１３に記載の内視鏡システム。
【請求項１５】
前記画像出力調整部は、前記狭角撮像画像と前記広角撮像画像とを合成した合成画像を生成して、その合成画像から前記狭角撮像画像を含む範囲を切り出して、前記注視用の表示画像を生成することを特徴とする請求項１２から請求項１４のいずれかに記載の内視鏡システム。
【請求項１６】
前記内視鏡は、前記カメラ部の視線方向を個別に変更する視線調整機構をさらに備え、
前記制御装置は、
前記注視用の表示画像の表示領域を移動させる観察者の指示に応じて、狭い視野角に設定された前記カメラ部の撮像範囲が、前記注視用の表示画像の領域内に位置するように、狭い視野角に設定された前記カメラ部の視線方向を設定する視線方向設定部と、
この視線方向設定部で設定された視線方向に基づいて、前記視線調整機構を制御するカメラ制御部と、
をさらに備えたことを特徴とする請求項１２から請求項１５のいずれかに記載の内視鏡システム。
【請求項１７】
観察対象の内部の被写体を撮像する内視鏡と、
この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理する制御装置と、
この制御装置から出力される画像を表示する表示装置と、
を備えた内視鏡システムであって、
前記表示装置の表示画面を見ながら行われる観察者の指示動作を検出する指示検出装置をさらに備え、
前記内視鏡は、観察対象の内部に挿入される挿入部に複数のカメラ部を備え、
前記制御装置は、
前記指示検出装置で検出された指示動作を解析して、前記表示装置の表示画面に関する指示内容を取得する指示内容取得部と、
この指示内容取得部で取得した指示内容に基づいて、複数の前記カメラ部の各々による複数の撮像画像に対して、切替えおよび合成の少なくともいずれかの調整を行って、表示画像を生成する画像出力調整部と、
を備え、
この画像出力調整部で生成した前記表示画像を前記表示装置に表示させることを特徴とする内視鏡システム。
【請求項１８】
前記内視鏡は、前記カメラ部の視線方向を個別に変更する視線調整機構をさらに備え、
前記指示内容取得部は、前記指示検出装置で検出された指示動作を解析して、前記カメラ部の視線方向に関する指示内容を取得し、
前記制御装置は、
前記指示内容取得部で取得した指示内容に基づいて、前記視線調整機構を制御するカメラ制御部を備えたことを特徴とする請求項１７に記載の内視鏡システム。
【請求項１９】
前記指示検出装置は、観察者が行うジェスチャ、観察者が発話する音声、観察者の視線、観察者が行うタッチ操作、および観察者が行うボタン操作の少なくともいずれかを検出することを特徴とする請求項１７または請求項１８に記載の内視鏡システム。
【請求項２０】
複数の前記カメラ部は、前記挿入部の長手方向に並んで配列され、この配列方向に概ね直交する向きに視線方向が設定されたことを特徴とする請求項１から請求項１９のいずれかに記載の内視鏡システム。
【請求項２１】
複数の前記カメラ部の各々は、視線方向を前記挿入部の長手方向に変化させるパン動作機構と、視線方向を前記挿入部の長手方向に直交する向きに変化させるチルト動作機構とを備えたことを特徴とする請求項１から請求項２０のいずれかに記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察対象の内部の被写体を撮像する内視鏡と、この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理する制御装置と、この制御装置から出力される画像を表示する表示装置と、を備えた内視鏡システムに関するものである。
【背景技術】
【０００２】
内視鏡手術において、観察対象である人の身体の内部に挿入される挿入部の先端部に撮像素子を配置して、この撮像素子による撮像で得られた画像をモニタに表示させるようにした、いわゆる電子内視鏡を用いた内視鏡システムが広く普及している。このような内視鏡システムでは、注目する病変部を多様な方向から観察したり、高分解能な画像で病変部を詳細に観察したり、広角な画像で病変部の周辺の広い範囲を観察したりすることができるようにすると、手術を手際よく進める上で大きな効果を奏する。
【０００３】
このような要望に関連するものとして、従来、複数の内視鏡を用いて、その複数の内視鏡による複数の撮像画像をモニタの画面に並べて表示し、あるいは複数の撮像画像を選択的に表示する技術が知られている（特許文献１，２参照）。これらの技術を利用すると、多様な画像を同時に取得することができるため、内視鏡手術における術者や補助者がそれぞれ必要とする適切な画像をモニタに表示させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−０２１３９２号公報
【特許文献２】特開平８−０１８８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来の技術では、複数の内視鏡を必要とすることからコストが嵩むという問題があった。また、内視鏡手術では、切開部から内視鏡の他にメスや鉗子などの種々の手術器具が挿入されるため、複数の内視鏡を用いることは、手術を手際よく進める上で大きな支障になるという問題があった。
【０００６】
また、内視鏡を動かすようにすれば、１つの内視鏡でも多様な画像を表示させることができるが、手術器具と干渉することで内視鏡を自由に動かすことが難しく、また、多様な画像を同時に取得することができないため、内視鏡手術における術者や補助者がそれぞれ必要とする適切な画像をモニタに簡単に表示させることができないという問題があった。
【０００７】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、複数の内視鏡を用いることなく、また、内視鏡を動かすことなく、適切な画像を簡単に表示装置に表示させることができるように構成された内視鏡システムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の内視鏡システムは、観察対象の内部の被写体を撮像する内視鏡と、この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理する制御装置と、この制御装置から出力される画像を表示する表示装置と、を備えた内視鏡システムであって、前記内視鏡は、観察対象の内部に挿入される挿入部に複数のカメラ部を備え、前記制御装置は、複数の前記カメラ部の各々による複数の撮像画像に対して、切替えおよび合成の少なくともいずれかの調整を行って、表示画像を生成する画像出力調整部を備え、この画像出力調整部で生成した前記表示画像を前記表示装置に表示させる構成とする。
【発明の効果】
【０００９】
本発明によれば、観察対象の内部の被写体を内視鏡の挿入部に設けられた複数のカメラ部で撮像するため、同時に多様な画像を取得することができ、さらに、複数のカメラ部の各々による複数の撮像画像に対して切替えおよび合成の少なくともいずれかの調整を行って表示画像を生成するようにしたため、複数の内視鏡を用いることなく、また、内視鏡を動かすことなく、適切な画像を簡単に表示装置に表示させることができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る内視鏡システムの全体構成図
【図２】内視鏡１の挿入部５に設けられたカメラ部６ａ〜６ｅを示す斜視図
【図３】カメラ部６ａ〜６ｅの構成を示す断面図
【図４】第１実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図
【図５】第１実施形態に係るコントローラ２の概略構成を示す機能ブロック図
【図６】指示検出器４で観察者が指示を行う状況を示す斜視図
【図７】画像切り替え時の画像信号のゲインの変化状況を示す説明図
【図８】第２実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図
【図９】第２実施形態に係るコントローラ２の概略構成を示す機能ブロック図
【図１０】画像合成時の画像信号のゲインの変化状況を示す説明図
【図１１】第３実施形態に係る内視鏡システムにおける内視鏡１の挿入部５を示す側面図
【図１２】第３実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図
【図１３】第３実施形態に係るコントローラ２の概略構成を示す機能ブロック図
【図１４】第４実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図
【図１５】第４実施形態に係る内視鏡システムにおける画像出力調整の要領を詳しく説明する説明図
【図１６】第４実施形態に係るコントローラの概略構成を示す機能ブロック図
【図１７】内視鏡１の挿入部５の変形例を示す側面図
【図１８】第１実施形態に係る内視鏡システムの変形例を示す説明図
【発明を実施するための形態】
【００１１】
前記課題を解決するためになされた第１の発明は、観察対象の内部の被写体を撮像する内視鏡と、この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理する制御装置と、この制御装置から出力される画像を表示する表示装置と、を備えた内視鏡システムであって、前記内視鏡は、観察対象の内部に挿入される挿入部に複数のカメラ部を備え、前記制御装置は、複数の前記カメラ部の各々による複数の撮像画像に対して、切替えおよび合成の少なくともいずれかの調整を行って、表示画像を生成する画像出力調整部を備え、この画像出力調整部で生成した前記表示画像を前記表示装置に表示させる構成とする。
【００１２】
これによると、観察対象の内部の被写体を内視鏡の挿入部に設けられた複数のカメラ部で撮像するため、同時に多様な画像を取得することができ、さらに、複数のカメラ部の各々による複数の撮像画像に対して切替えおよび合成の少なくともいずれかの調整を行って表示画像を生成するようにしたため、複数の内視鏡を用いることなく、また、内視鏡を動かすことなく、適切な画像を簡単に表示装置に表示させることができる。
【００１３】
また、第２の発明は、複数の前記カメラ部は、各々の視線方向が被写体上の同一の注視位置に向けられるように設定された構成とする。
【００１４】
これによると、視線方向が異なる複数の撮像画像を同時に取得することができるため、内視鏡を動かすことなく、被写体上で観察者が注目する部分を異なる方向から観察することができる。
【００１５】
また、第３の発明は、前記画像出力調整部は、観察者の指示に応じて、複数の前記撮像画像を切り替えて前記表示画像として出力する構成とする。
【００１６】
これによると、１つの表示装置で被写体上で観察者が注目する部分を異なる方向から観察することができる。
【００１７】
また、第４の発明は、前記内視鏡は、前記カメラ部の視線方向を個別に変更する視線調整機構をさらに備え、前記制御装置は、前記注視位置を指定する観察者の指示に応じて、複数の前記カメラ部の各々の視線方向が同一の前記注視位置に向けられるように前記カメラ部の視線方向を設定する視線方向設定部と、この視線方向設定部で設定された視線方向に基づいて、前記視線調整機構を制御するカメラ制御部と、をさらに備えた構成とする。
【００１８】
これによると、観察者は注視位置を指定するだけで済み、複数のカメラ部の視線方向を個別に調整する手間を省くことができる。
【００１９】
また、第５の発明は、複数の前記カメラ部は、被写体上の互いにずれた領域を撮像するように視線方向が設定された構成とする。
【００２０】
これによると、被写体の広い範囲を同時に撮像することができるため、内視鏡を動かすことなく、被写体の広い範囲を観察することができる。
【００２１】
また、第６の発明は、前記挿入部は、複数の前記カメラ部の間に屈曲部を有し、この屈曲部を屈曲させることで、複数の前記カメラ部の視線方向を変化させるようにした構成とする。
【００２２】
これによると、被写体の極めて広い範囲を同時に撮像することができるため、内視鏡を動かすことなく、被写体の極めて広い範囲を観察することができる。
【００２３】
また、第７の発明は、前記画像出力調整部は、複数の前記撮像画像を接合して１つの連続した合成画像を生成して、その合成画像の全部または一部を前記表示画像とする構成とする。
【００２４】
これによると、広範囲でかつ高分解能の表示画像を得ることができる。すなわち、複数の撮像画像を接合するため、広範囲の画像を得ることができ、また、複数のカメラ部で分担して被写体を撮像するため、各カメラ部の視野角（画角）を狭く設定することができることから、高分解能の画像を得ることができる。
【００２５】
また、第８の発明は、前記画像出力調整部は、前記表示画像に関する表示条件を指定する観察者の指示に応じて、前記合成画像から前記表示条件に応じた範囲を切り出して前記表示画像を生成する構成とする。
【００２６】
これによると、観察者が必要とする被写体の範囲を自由に表示させることができる。そして、表示画像の元になる合成画像の解像度が高いため、狭い範囲を切り出して表示画像を生成しても、十分な分解能の画像を表示させることができる。
【００２７】
また、第９の発明は、前記表示条件は、前記表示画像の表示領域を移動させるパンおよびチルトに関するものであり、前記画像出力調整部は、前記合成画像から切り出す範囲の位置を変更することで、前記表示画像に擬似的なパンおよびチルトの動作を行わせる構成とする。
【００２８】
これによると、表示画像にパンおよびチルトの動作を行わせることができるため、観察者の利便性を高めることができる。そして、表示画像の元になる合成画像の解像度が高いため、高分解能の表示画像でパンおよびチルトを行うことができる。
【００２９】
また、第１０の発明は、前記表示条件は、前記表示画像の表示領域を拡大および縮小させるズームに関するものであり、前記画像出力調整部は、前記合成画像から切り出す範囲の大きさを変更することで、前記表示画像に擬似的なズーム動作を行わせる構成とする。
【００３０】
これによると、表示画像のズームを行うことができるため、観察者の利便性を高めることができる。そして、表示画像の元になる合成画像の解像度が高いため、ズームで拡大しても、十分な分解能の画像を表示させることができる。
【００３１】
また、第１１の発明は、複数の観察者ごとに複数の前記表示装置を備え、前記制御装置は、観察者の指示に応じて、前記合成画像の任意の範囲を複数の前記表示装置に別々に表示させる構成とする。
【００３２】
これによると、複数の観察者の各々が必要とする被写体の領域を表示装置に表示させることができるため、観察者の利便性を高めることができる。
【００３３】
また、第１２の発明は、複数の前記カメラ部のうち、少なくとも１つの前記カメラ部と残りの前記カメラ部とは、視野角が異なるように設定され、前記画像出力調整部は、狭い視野角に設定された前記カメラ部による狭角撮像画像から、被写体上の注視位置を含む狭い範囲を写した注視用の表示画像を生成し、広い視野角に設定された前記カメラ部による広角撮像画像から、被写体上の注視位置を含む広い範囲を写した監視用の表示画像を生成する構成とする。
【００３４】
これによると、高分解能な注視用の表示画像と広い範囲を写した監視用の表示画像とを同時に取得することができる。そして、被写体上で観察者が注目する部分が高分解能な画像で表示されるため、その部分を詳しく観察することができ、同時に、周辺部分の画像が広い範囲で表示されるため、周辺部分を広く観察することができる。
【００３５】
また、第１３の発明は、複数の観察者ごとに複数の前記表示装置を備え、前記制御装置は、前記注視用の表示画像および前記監視用の表示画像を別の前記表示装置に表示させる構成とする。
【００３６】
これによると、内視鏡手術の術者など、被写体上の狭い領域を詳しく観察する必要がある観察者が、専用の表示装置で注視用の表示画像を見ることができ、同時に、内視鏡手術の補助者など、被写体上の広い領域を観察する必要がある観察者が、専用の表示装置で監視用の表示画像を見ることができる。
【００３７】
また、第１４の発明は、複数の前記カメラ部が広い視野角に設定され、前記画像出力調整部は、広い視野角に設定された複数の前記カメラ部による複数の前記広角撮像画像を接合して１つの連続した合成画像を生成して、その合成画像の全部または一部を前記監視用の表示画像とする構成とする。
【００３８】
これによると、広範囲でかつ高分解能な監視用の表示画像を取得することができる。
【００３９】
また、第１５の発明は、前記画像出力調整部は、前記狭角撮像画像と前記広角撮像画像とを合成した合成画像を生成して、その合成画像から前記狭角撮像画像を含む範囲を切り出して、前記注視用の表示画像を生成する構成とする。
【００４０】
これによると、被写体上で観察者が注目する部分を高分解能な画像で観察すると同時に周辺部分も観察することができる。
【００４１】
また、第１６の発明は、前記内視鏡は、前記カメラ部の視線方向を個別に変更する視線調整機構をさらに備え、前記制御装置は、前記注視用の表示画像の表示領域を移動させる観察者の指示に応じて、狭い視野角に設定された前記カメラ部の撮像範囲が、前記注視用の表示画像の領域内に位置するように、狭い視野角に設定された前記カメラ部の視線方向を設定する視線方向設定部と、この視線方向設定部で設定された視線方向に基づいて、前記視線調整機構を制御するカメラ制御部と、をさらに備えた構成とする。
【００４２】
これによると、常時、狭い視野角に設定されたカメラ部による高分解能な狭角撮像画像が注視用の表示画像内に位置するため、注視用の表示画像の表示領域を移動させても、被写体上の重要な部分を高分解能な画像で観察することができる。
【００４３】
また、第１７の発明は、観察対象の内部の被写体を撮像する内視鏡と、この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理する制御装置と、この制御装置から出力される画像を表示する表示装置と、を備えた内視鏡システムであって、前記表示装置の表示画面を見ながら行われる観察者の指示動作を検出する指示検出装置をさらに備え、前記内視鏡は、観察対象の内部に挿入される挿入部に複数のカメラ部を備え、前記制御装置は、前記指示検出装置で検出された指示動作を解析して、前記表示装置の表示画面に関する指示内容を取得する指示内容取得部と、この指示内容取得部で取得した指示内容に基づいて、複数の前記カメラ部の各々による複数の撮像画像に対して、切替えおよび合成の少なくともいずれかの調整を行って、表示画像を生成する画像出力調整部と、を備え、この画像出力調整部で生成した前記表示画像を前記表示装置に表示させる構成とする。
【００４４】
これによると、観察対象の内部の被写体を内視鏡の挿入部に設けられた複数のカメラ部で撮像するため、同時に多様な画像を取得することができ、さらに、観察者の指示に応じて、複数のカメラ部の各々による複数の撮像画像に対して切替えおよび合成の少なくともいずれかの調整を行って表示画像を生成するようにしたため、複数の内視鏡を用いることなく、また、内視鏡を動かすことなく、観察者が必要とする適切な画像を簡単に表示装置に表示させることができる。
【００４５】
また、第１８の発明は、前記内視鏡は、前記カメラ部の視線方向を個別に変更する視線調整機構をさらに備え、前記指示内容取得部は、前記指示検出装置で検出された指示動作を解析して、前記カメラ部の視線方向に関する指示内容を取得し、前記制御装置は、前記指示内容取得部で取得した指示内容に基づいて、前記視線調整機構を制御するカメラ制御部を備えた構成とする。
【００４６】
これによると、観察者の指示によりカメラ部の視線方向を調整することができるため、観察者が必要とするより一層適切な画像を簡単に表示装置に表示させることができる。
【００４７】
また、第１９の発明は、前記指示検出装置は、観察者が行うジェスチャ、観察者が発話する音声、観察者の視線、観察者が行うタッチ操作、および観察者が行うボタン操作の少なくともいずれかを検出する構成とする。
【００４８】
これによると、制御装置が観察者の指示内容を的確に取得することができる。特に、ジェスチャを検出する場合には、その場で片手だけで指示を行うことができ、また、音声や視線を検出する場合には、手を使わずに指示を行うことができることから、内視鏡手術において、内視鏡やメスおよび鉗子などの手術器具を保持しているなどの都合で、移動したり手を使ったりすることが面倒な状態でも、観察者が簡単に指示を行うことができるため、術者や補助者の負担を軽減することができる。
【００４９】
また、第２０の発明は、複数の前記カメラ部は、前記挿入部の長手方向に並んで配列され、この配列方向に概ね直交する向きに視線方向が設定された構成とする。
【００５０】
これによると、挿入部を細径に形成することができるため、挿入部を挿入する作業が容易になる。特に、内視鏡手術では、挿入部を挿入するための切開部分を小さくすることができるため、患者の負担を軽減することができる。
【００５１】
また、第２１の発明は、複数の前記カメラ部の各々は、視線方向を前記挿入部の長手方向に変化させるパン動作機構と、視線方向を前記挿入部の長手方向に直交する向きに変化させるチルト動作機構とを備えた構成とする。
【００５２】
これによると、複数のカメラ部の各々の視線方向を任意の方向に変化させることができる。
【００５３】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００５４】
（第１実施形態）
図１は、第１実施形態に係る内視鏡システムの全体構成図である。この内視鏡システムは、観察対象の内部の被写体を撮像する内視鏡１と、この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理するコントローラ（制御装置）２と、このコントローラ２から出力される画像を表示するモニタ（表示装置）３と、モニタ３の表示画面を見ながら行われる観察者の指示動作を検出する指示検出器（指示検出装置）４と、を備えている。
【００５５】
内視鏡１には、観察対象の内部に挿入される挿入部５の先端側に複数のカメラ部６ａ〜６ｅが設けられており、このカメラ部６ａ〜６ｅの各々から出力される画像信号がコントローラ２に入力する。
【００５６】
次に、図１に示した内視鏡１の挿入部５に設けられたカメラ部６ａ〜６ｅについて説明する。図２は、カメラ部６ａ〜６ｅを示す斜視図である。図３は、カメラ部６ａ〜６ｅの構成を示す断面図である。
【００５７】
図２に示すように、複数のカメラ部６ａ〜６ｅは、挿入部５の長手方向に並んで配列され、この配列方向に概ね直交する向きに視線方向が設定されている。すなわち、内部の図示しない撮像素子に被写体からの光を導く撮像窓８が挿入部５の側面に設けられている。複数のカメラ部６ａ〜６ｅには、挿入部５が観察対象の内部に挿入された状態で、カメラ部６ａ〜６ｅの視線方向を個別に変更する視線調整機構が設けられている。
【００５８】
図３に示すように、カメラ部６ａ〜６ｅは、内視鏡１の挿入部５を構成する円筒状をなす筐体９の内部に収容され、カメラ筐体１１と、撮像部１２と、可動ミラー１３と、ミラー回転アクチュエータ１４と、カメラ回転アクチュエータ１５と、を備えている。
【００５９】
撮像部１２は、図示しない撮像素子およびレンズなどの光学系部品を内部に備えている。挿入部５の筐体９には、光透過材料で形成された撮像窓８が設けられており、被写体からの光が、撮像窓８を介してカメラ筐体１１の内部に導かれて、可動ミラー１３で反射されて撮像部１２に入射する。
【００６０】
可動ミラー１３は、矢印Ｃで示すように、支軸１７を中心にして回転可能に設けられている。
【００６１】
ミラー回転アクチュエータ１４は、電動モータなどで構成され、カメラ筐体１１に固定されている。このミラー回転アクチュエータ１４は、可動ミラー１３に連結されており、ミラー回転アクチュエータ１４を動作させると、矢印Ｃで示すように、可動ミラー１３が支軸１７を中心にして回転する。これにより、カメラ部６ａ〜６ｅの視線方向を、図２の矢印Ａで示すように、挿入部５の長手方向に変化させるパン動作が行われ、可動ミラー１３と、支軸１７と、ミラー回転アクチュエータ１４とによりパン動作機構が構成される。
【００６２】
カメラ筐体１１は、支軸１８，１９に回転可能に支持されている。支軸１８，１９は、挿入部５の筐体９に固定された支持部材２０，２１に固定されている。また、支軸１８，１９は、挿入部５の長手方向に配置されており、カメラ筐体１１が、矢印Ｄで示すように、挿入部５の長手方向に平行となる向きの中心軸を中心にして回転するようになっている。
【００６３】
カメラ回転アクチュエータ１５は、電動モータなどで構成され、カメラ筐体１１に固定されている。このカメラ回転アクチュエータ１５は、一方の支軸１８に連結されており、カメラ回転アクチュエータ１５を動作させると、矢印Ｄで示すように、カメラ部６ａ〜６ｅが支軸１８，１９を中心にして回転する。これにより、カメラ部６ａ〜６ｅの視線方向を、図２の矢印Ｂで示すように、挿入部５の長手方向に直交する向きに変化させるチルト動作が行われ、支軸１８，１９と、カメラ回転アクチュエータ１５とによりチルト動作機構が構成される。
【００６４】
なお、挿入部５に、撮像領域を照明する照明部を設けるようにしてもよい。この場合、挿入部５にＬＥＤなどで構成された光源を配置する他、内視鏡１における挿入部５の基部やコントローラ２に光源を配置して、光ファイバを用いて光源の光を挿入部５の先端側に導くようにしてもよい。
【００６５】
次に、第１実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領について説明する。図４は、第１実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図である。
【００６６】
この第１実施形態では、第１〜第５のカメラ部６ａ〜６ｅが、各々の視線方向が被写体上の同一の注視物（注視位置）に向けられるように設定される。これにより、第１〜第５のカメラ部６ａ〜６ｅによる第１〜第５の撮像画像の中心に注視物が現れる。また、第１〜第５のカメラ部６ａ〜６ｅは、挿入部５の長手方向にずれて配置されているため、第１〜第５のカメラ部６ａ〜６ｅによる第１〜第５の撮像画像では、注視物が異なる方向から撮像された状態で現れる。
【００６７】
この第１〜第５のカメラ部６ａ〜６ｅによる第１〜第５の撮像画像は切り替えて、すなわち、第１〜第５の撮像画像の中から１つを選択して、モニタ３に表示される。ここで、第１〜第５の撮像画像を切り替える際に、切り替えの指示に応じて順次隣のカメラ部６ａ〜６ｅによる撮像画像に切り替えるようにするとよい。これにより、視線方向が順に変わるように画像が表示されるため、被写体上の注視位置の状態を自然に把握することができる。この場合、あたかも１台のカメラが第１から第５のカメラ部６ａ〜６ｅの位置まで移動しながら撮影したような映像を観察することとなる。即ち、観察者が移動することによって運動視差が生じ、これにより観察者が被写体を立体的に知覚することによって、被写体の空間構造が理解しやすくなる効果が得られる。なお、任意のカメラ部６ａ〜６ｅによる撮像画像に切り替えることができるようにしてもよい。
【００６８】
次に、第１実施形態に係るコントローラ２について説明する。図５は、第１実施形態に係るコントローラ２の概略構成を示す機能ブロック図である。
【００６９】
コントローラ２は、画像処理部３１と、画像出力調整部３２と、表示制御部３３と、カメラ制御部３４と、視線方向設定部３５と、注視位置設定部３６と、注視位置追跡部３７と、指示内容取得部３８と、を備えている。
【００７０】
画像処理部３１では、複数のカメラ部６ａ〜６ｅからそれぞれ出力される複数の撮像画像に対して、ゲイン調整やダイナミックレンジ拡大などの処理が行われる。
【００７１】
画像出力調整部３２では、画像処理部３１で処理された複数の撮像画像に対して、切替えおよび合成の少なくともいずれかの調整を行って、表示画像を生成する処理が行われる。特に、本実施形態では、画像出力調整部３２が画像切替部４１を備えており、この画像切替部４１において、観察者の指示に応じて、複数の撮像画像を切り替えて、すなわち、複数の撮像画像の中から１つを選択して、表示画像として出力する。
【００７２】
表示制御部３３では、画像出力調整部３２から出力される表示画像をモニタ３に表示させる処理が行われる。
【００７３】
カメラ制御部３４では、複数のカメラ部６ａ〜６ｅの撮像部１２、ミラー回転アクチュエータ１４およびカメラ回転アクチュエータ１５の制御が行われる。
【００７４】
視線方向設定部３５では、観察者の指示に応じて、複数のカメラ部６ａ〜６ｅの視線方向、すなわち撮像角度（パン角度およびチルト角度）を設定する処理が行われる。この視線方向設定部３５で設定された視線方向に基づいて、カメラ制御部３４において、ミラー回転アクチュエータ１４およびカメラ回転アクチュエータ１５が制御される。これにより、複数のカメラ部６ａ〜６ｅの視線方向を手動で調整することができる。
【００７５】
注視位置設定部３６では、観察者の指示に応じて、被写体上の注視位置を設定する処理が行われる。この注視位置設定部３６で設定された注視位置に基づいて、視線方向設定部３５において、複数のカメラ部６ａ〜６ｅの各視線方向が被写体上の同一の注視位置を向く、すなわち注視位置が撮像画像の中央になるように、複数のカメラ部６ａ〜６ｅの視線方向を設定する処理が行われ、この視線方向設定部３５で設定された視線方向に基づいて、カメラ制御部３４において、ミラー回転アクチュエータ１４およびカメラ回転アクチュエータ１５が制御される。
【００７６】
注視位置追跡部３７では、内視鏡１が動くことで相対的に移動する被写体上の注視位置を追跡する処理が行われる。この注視位置追跡部３７の追跡結果に基づいて、視線方向設定部３５において、複数のカメラ部６ａ〜６ｅの各視線方向が被写体上の注視位置を向くように、複数のカメラ部６ａ〜６ｅの視線方向を設定する処理が行われ、この視線方向設定部３５で設定された視線方向に基づいて、カメラ制御部３４において、ミラー回転アクチュエータ１４およびカメラ回転アクチュエータ１５が制御される。なお、この注視位置追跡処理には公知の物体追跡技術を利用すればよい。
【００７７】
指示内容取得部３８では、指示検出器４で検出された観察者の指示動作を解析して、その指示動作に対応する指示内容を取得する処理が行われる。特に、本実施形態では、モニタ３の表示画面および複数のカメラ部６ａ〜６ｅに関する指示内容を取得する。モニタ３の表示画面に関する指示内容としては、複数のカメラ部６ａ〜６ｅによる複数の撮像画像を切り替えてモニタ３に表示させる際の切り替えの指示に関するものである。カメラ部６ａ〜６ｅに関する指示内容としては、観察者が注視位置を指定する際の注視位置や、視線方向を手動で調整する際の視線方向に関するものである。
【００７８】
次に、図１に示した指示検出器４について説明する。図６は、指示検出器４で観察者が指示を行う状況を示す斜視図である。
【００７９】
指示検出器４は、モニタ３の表示画面を見ながら行われる観察者の指示動作を検出するものであり、モニタ３の近傍に配置される。特に、本実施形態では、指示検出器４が、観察者が行うジェスチャ、観察者が発話する音声、観察者の視線、観察者が行うタッチ操作、および観察者が行うボタン操作の少なくともいずれかを検出するように構成される。
【００８０】
観察者が行うジェスチャを検出する場合には、指示検出器４を、カメラおよび画像認識部などで構成し、カメラにより観察者を撮像した撮像画像から、画像認識部において公知の画像認識技術を利用してジェスチャ、すなわち手や腕の動きを検出する。また、観察者が発話する音声を検出する場合には、指示検出器４を、マイクおよび音声認識部などで構成し、マイクから入力された音声を、音声認識部において公知の音声認識技術を利用して音声を文字情報に変換する。また、観察者の視線を検出する場合には、指示検出器４を、カメラおよび視線検出部などで構成し、カメラにより観察者の目を撮像した撮像画像から、視線検出部において公知の視線検出技術を利用して観察者の視線、すなわち目の動きを検出する。また、観察者が行うタッチ操作を検出する場合には、指示検出器４を、モニタの画面に重ねて配置されたタッチパネルおよび制御部などで構成し、タッチパネル上で行われるタッチ操作を検出する。また、観察者が行うボタン操作を検出する場合には、指示検出器４を、ボタンが配列された操作部および制御部などで構成し、操作部で行われるボタン操作を検出する。
【００８１】
この第１実施形態では、指示検出器４を用いて、複数のカメラ部６ａ〜６ｅによる複数の撮像画像を切り替える指示や、注視位置を指定する指示が行われる。例えば、ジェスチャで指示する場合、撮像画像を切り替える指示では、手や腕を横に振る動作で画像の切り替えが行われるようにすればよく、また、注視位置を指定する指示では、モニタ３の画面上に注視位置を示すポインタを表示させ、このポインタを手や腕を振る方向に応じて移動させることで注視位置を指定するようにすればよい。
【００８２】
図７は、画像切り替え時の画像信号のゲインの変化状況を示す説明図である。ここでは、複数のカメラ部６ａ〜６ｅによる複数の撮像画像を切り替えて出力する際に、切り替え元の画像信号と切り替え先の画像信号とを合成して出力し、このとき、切り替え元の画像信号および切り替え先の画像信号にゲインを乗じて合成信号を生成するようにしている。特にここでは、切り替え元の画像信号および切り替え先の画像信号にそれぞれ乗じるゲインを徐々に変化させる、すなわち画像信号同士の合成割合を徐々に変化させるようにしている。
【００８３】
図７（Ａ）に示す例では、ゲインを直線状に、すなわち一定の傾きで変化させており、図７（Ｂ）に示す例では、ゲインを曲線状に、すなわち傾きを徐々に変えながら変化させている。このように、撮像画像を切り替えて出力する際に、画像信号同士の合成割合を徐々に変化させることにより、モニタ３に表示される画像が時間をかけて入れ替わるため、画像が切り替えられたことを観察者が自然に認識することができる。なお、画像信号にゲインを乗じることなく、切り替え元の画像信号から切り替え先の画像信号に単純に切り替えるようにしてもよい。
【００８４】
なお、この第１実施形態では、複数のカメラ部６ａ〜６ｅにより得られた視線方向の異なる複数の画像を、１つのモニタ３で切り替えて表示するようにしたが、視線方向の異なる複数の画像を１つの画面に並べて表示するようにしてもよい。また、モニタ３を複数設けて、視線方向の異なる複数の画像を複数のモニタ３に別々に表示するようにしてもよい。
【００８５】
このように第１実施形態では、観察対象の内部の被写体を複数のカメラ部６ａ〜６ｅで撮像して、その複数のカメラ部６ａ〜６ｅの各々による複数の撮像画像に対して切替えの調整を行い、これにより生成した表示画像をモニタ３に表示させるようにしたため、内視鏡１を動かすことなく、観察者が必要とする適切な画像を簡単にモニタ３に表示させることができる。
【００８６】
特に、この第１実施形態では、複数のカメラ部６ａ〜６ｅが、各々の視線方向が被写体上の同一の注視位置に向けられるように設定されているため、視線方向が異なる複数の撮像画像を同時に取得することができ、これにより、内視鏡１を動かすことなく、被写体上の注目する部分を異なる方向から観察することができる。
【００８７】
また、この第１実施形態では、画像出力調整部３２において、観察者の指示に応じて、複数の撮像画像を切り替えて表示画像として出力するようにしたため、１つのモニタ３で被写体上の注目する部分を異なる方向から観察することができる。
【００８８】
また、この第１実施形態では、複数のカメラ部６ａ〜６ｅの視線方向を個別に変更する視線調整機構を設け、注視位置を指定する観察者の指示に応じて、複数のカメラ部６ａ〜６ｅの各々の視線方向が同一の注視位置に向けられるように複数のカメラ部の視線方向を設定して、その視線方向に基づいて視線調整機構を制御するようにしたため、観察者は注視位置を指定するだけで済み、複数のカメラ部６ａ〜６ｅの視線方向を個別に調整する手間を省くことができる。さらに、この第１実施形態では、内視鏡１が動くことで相対的に移動する被写体上の注視位置を追跡するようにしたため、内視鏡１が動いても、注視位置を指定し直す手間を省くことができる。
【００８９】
また、この第１実施形態では、指示検出器４を用いて、モニタ３の表示画面に関する指示や、複数のカメラ部６ａ〜６ｅの視線方向に関する指示を行うようにしたため、観察者が必要とするより一層適切な画像を簡単にモニタ３に表示させることができる。
【００９０】
特に、この第１実施形態では、指示検出器４を用いて、観察者が行うジェスチャ、観察者が発話する音声、観察者の視線、観察者が行うタッチ操作、および観察者が行うボタン操作の少なくともいずれかにより観察者が指示を行うため、コントローラ２が観察者の指示内容を的確に取得することができる。特に、ジェスチャを検出する場合には、その場で片手だけで指示を行うことができ、また、音声や視線を検出する場合には、手を使わずに指示を行うことができることから、内視鏡手術において、内視鏡やメスおよび鉗子などの手術器具を保持しているなどの都合で、移動したり手を使ったりすることが面倒な状態でも、観察者が簡単に指示を行うことができるため、術者や補助者の負担を軽減することができる。
【００９１】
また、この第１実施形態では、複数のカメラ部６ａ〜６ｅが、挿入部５の長手方向に並んで配列されて、この配列方向に概ね直交する向きに視線方向が設定されるようにしたため、挿入部５を細径に形成することができることから、挿入部５を挿入する作業が容易になる。特に、内視鏡手術では、挿入部５を挿入するための切開部分を小さくすることができるため、患者の負担を軽減することができる。
【００９２】
また、この第１実施形態では、複数のカメラ部６ａ〜６ｅの各々が、視線方向を前記挿入部の長手方向に変化させるパン動作機構と、視線方向を前記挿入部の長手方向に直交する向きに変化させるチルト動作機構とを備えたものとしたため、複数のカメラ部６ａ〜６ｅの各々の視線方向を任意の方向に変化させることができる。
【００９３】
（第２実施形態）
次に、第２実施形態に係る内視鏡システムについて説明する。なお、ここで特に言及しない点は第１実施形態と同様である。
【００９４】
図８は、第２実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図である。
【００９５】
この第２実施形態では、第１〜第５のカメラ部６ａ〜６ｅが、被写体上の互いにずれた領域を撮像するように視線方向が設定されており、第１〜第５のカメラ部６ａ〜６ｅから、互いに撮像領域がずれた第１〜第５の個別撮像画像が出力される。そして、第１〜第５の個別撮像画像を接合して１つの連続した合成画像を生成して、その合成画像の全体を表示画像とし、あるいは合成画像の一部を切り出して表示画像を生成して、その表示画像をモニタ３に表示する。このとき、合成画像の全体を表示画像とし、あるいは合成画像の広い範囲を切り出せば、被写体の広い範囲を写した広角画像が表示され、合成画像の狭い範囲を切り出し、解像度変換し画面全体に拡大表示すれば、被写体の狭い範囲を写した拡大画像が表示される。
【００９６】
図８に示す例では、合成画像から第１〜第３の表示範囲を切り出して第１〜第３の表示画像を生成し、その第１〜第３の表示画像をそれぞれ３つのモニタ３に表示するようにしており、広い第１の表示範囲を切り出した第１の表示画像が表示されるモニタ３では、被写体の広い範囲を写した広角画像が表示されるため、手術の補助者が見る場合に適している。狭い第３の表示範囲を切り出した第３の表示画像が表示されるモニタ３では、被写体の狭い範囲を写した拡大画像が表示されるため、手術の術者が見る場合に適している。
【００９７】
ここで、合成画像から切り出す範囲の位置を変更することで、表示画像に擬似的なパンおよびチルトの動作を行わせることができる。すなわち、切り出す範囲を横方向にずらすことで、パン動作を行わせることができ、切り出す範囲を縦方向にずらすことで、チルト動作を行わせることができる。また、合成画像から切り出す範囲の大きさを拡大・縮小することで、表示画像に擬似的なズーム動作を行わせることができる。すなわち、切り出す範囲の大きさを小さくすることで拡大表示され、切り出す範囲の大きさを大きくすることで縮小表示される。
【００９８】
次に、第２実施形態に係るコントローラ２について説明する。図９は、第２実施形態に係るコントローラ２の概略構成を示す機能ブロック図である。
【００９９】
この第２実施形態では、コントローラ２の画像出力調整部３２が、画像合成部４２と、画像切り出し部４３と、を備えている。
【０１００】
画像合成部４２では、複数のカメラ部６ａ〜６ｅで撮像された複数の個別撮像画像を接合（パノラマ合成）して１つの連続した合成画像を生成する処理が行われる。複数のカメラ部６ａ〜６ｅの各撮像範囲は、隣り合う２つのカメラ部６ａ〜６ｅ同士で一部重複するように、各カメラ部６ａ〜６ｅの視線方向が設定されており、個別撮像画像に生じる重複部分を利用して個別撮像画像を接合する処理が行われる。
【０１０１】
画像切り出し部４３では、表示条件を指定する観察者の指示に応じて、合成画像から、表示条件に応じた範囲を切り出して、表示画像を生成する処理が行われる。表示条件は、表示画像の表示領域を移動させるパンおよびチルト、ならびに表示画像の表示領域を拡大および縮小させるズームに関するものであり、観察者の指示に応じて、合成画像から切り出す範囲の位置を変更することで、表示画像に擬似的なパンおよびチルトの動作を行わせ、また、合成画像から切り出す範囲の大きさを変更することで、表示画像に擬似的なズーム動作を行わせることができる。
【０１０２】
なお、切り出しを行わずに、合成画像をそのままモニタ３に表示させるようにしてもよい。また、画像切り出し部４３で行われる処理は、複数のモニタ３に表示させる表示画像ごとに独立して行われ、これにより、各モニタ３を見る観察者が自由にパンおよびチルトならびにズームの動作を行わせることができる。
【０１０３】
また、コントローラ２は、画像重複検出部５１を備えている。画像合成部４２では、個別撮像画像の重複部分を利用して個別撮像画像を接合する合成処理が行われるが、個別撮像画像の重複状況は、カメラ部６ａ〜６ｅから被写体までの距離に応じて変化する。そこで、画像重複検出部５１において、個別撮像画像の重複状況を検出する処理が行われる。
【０１０４】
この画像重複検出部５１で検出された個別撮像画像の重複状況に基づいて、視線方向設定部３５において、個別撮像画像に適切な重複部分が生じるように、複数のカメラ部６ａ〜６ｅの視線方向を設定する処理が行われる。そして、視線方向設定部３５で設定された視線方向に基づいて、カメラ制御部３４において、ミラー回転アクチュエータ１４およびカメラ回転アクチュエータ１５が制御される。
【０１０５】
図１０は、画像合成時の画像信号のゲインの変化状況を示す説明図である。ここでは、複数のカメラ部６ａ〜６ｅによる複数の個別撮像画像を接合する合成処理で、隣り合うカメラ部６ａ〜６ｅの２つの個別撮像画像の画像信号、すなわちｎ番目のカメラ部６ａ〜６ｅの画像信号およびｎ＋１番目のカメラ部６ａ〜６ｅの画像信号にゲインを乗じた上で２つの画像信号を合成することで、個別撮像画像の重複部分の画像信号を生成するようにしている。特にここでは、画像信号に乗じるゲインを徐々に変化させる、すなわち画像信号同士の合成割合を徐々に変化させるようにしている。
【０１０６】
図１０（Ａ）に示す例では、ゲインを直線状に、すなわち一定の傾きで変化させており、図１０（Ｂ）に示す例では、ゲインを曲線状に、すなわち傾きを徐々に変えながら変化させている。このように、個別撮像画像の重複部分の画像信号を生成する際に、画像信号同士の合成割合を徐々に変化させることにより、個別撮像画像の接合部分が目立たなくなり、違和感のない自然な合成画像を得ることができる。
【０１０７】
なお、この第２実施形態では、モニタ３を複数設けて、合成画像上での切り出し範囲の異なる表示画像を複数のモニタ３に別々に表示させるようにしたが、このモニタ３の個数は必要に応じて適宜に増減することができ、例えばモニタ３を１つのみとしてもよい。
【０１０８】
また、この第２実施形態では、カメラ部６ａ〜６ｅにより得られた複数の撮像画像を合成するようにしたが、この複数の撮像画像を合成することなくそのまま出力するようにしてもよい。この場合、１つのモニタ３で複数の撮像画像を切り替えて表示したり、複数の撮像画像を１つの画面に並べて表示したり、複数の撮像画像を複数のモニタ３に別々に表示したりするようにしてもよい。
【０１０９】
また、この第２実施形態では、第１実施形態と同様に、カメラ部６ａ〜６ｅが、視線方向を機械的に調整する視線調整機構、すなわちパン動作機構およびチルト動作機構を有するものとしたが、この第２実施形態では、このような視線調整機構は必ずしも必要ではなく、視線調整機構を有しない構成も可能である。もっとも、カメラ部６ａ〜６ｅから被写体までの距離に関係なく、撮像画像の重複部分を適切に形成する上では、視線調整機構を有するものが望ましい。
【０１１０】
このように第２実施形態では、観察対象の内部の被写体を複数のカメラ部６ａ〜６ｅで撮像して、その複数のカメラ部６ａ〜６ｅの各々による複数の撮像画像に対して合成および切り出しの調整を行い、これにより生成した表示画像をモニタ３に表示させるようにしたため、内視鏡１を動かすことなく、観察者が必要とする適切な画像を簡単にモニタ３に表示させることができる。
【０１１１】
また、この第２実施形態では、複数のカメラ部６ａ〜６ｅが、被写体上の互いにずれた領域を撮像するように視線方向が設定されるようにしたため、被写体の広い範囲を同時に撮像することができることから、内視鏡１を動かすことなく、被写体の広い範囲を観察することができる。
【０１１２】
また、この第２実施形態では、複数の撮像画像を接合して１つの連続した合成画像を生成して、その合成画像の全部または一部を表示画像とするようにしたため、広範囲でかつ高分解能の表示画像を得ることができる。すなわち、複数の撮像画像を接合するため、広範囲の画像を得ることができ、また、複数のカメラ部６ａ〜６ｅで分担して被写体を撮像するため、各カメラ部６ａ〜６ｅの視野角（画角）を狭く設定することができることから、高分解能の画像を得ることができる。
【０１１３】
また、この第２実施形態では、表示画像に関する表示条件を指定する観察者の指示に応じて、合成画像から表示条件に応じた範囲を切り出して表示画像を生成するようにしたため、観察者が必要とする被写体の範囲を自由に表示させることができる。そして、表示画像の元になる合成画像の解像度が高いため、狭い範囲を切り出して表示画像を生成しても、十分な分解能の画像を表示させることができる。
【０１１４】
また、この第２実施形態では、合成画像から切り出す範囲の位置を変更することで、表示画像に擬似的なパンおよびチルトの動作を行わせ、また、合成画像から切り出す範囲の大きさを変更することで、表示画像に擬似的なズーム動作を行わせるようにしたため、観察者の利便性を高めることができる。そして、表示画像の元になる合成画像の解像度が高いため、高分解能の表示画像でパンおよびチルトを行うことができ、また、ズームで拡大しても、十分な分解能の画像を表示させることができる。
【０１１５】
また、この第２実施形態では、観察者ごとに設けられた複数のモニタ３に、合成画像の任意の範囲を別々に表示させるようにしたため、複数の観察者の各々が必要とする被写体の領域をモニタ３に表示させることができることから、観察者の利便性を高めることができる。
【０１１６】
（第３実施形態）
次に、第３実施形態に係る内視鏡システムについて説明する。なお、ここで特に言及しない点は第１実施形態と同様である。
【０１１７】
図１１は、第３実施形態に係る内視鏡システムにおける内視鏡１の挿入部５を示す側面図である。
【０１１８】
この第３実施形態では、内視鏡１の挿入部５に第１〜第３のカメラ部６ａ〜６ｃが配置されている。また、第１〜第３のカメラ部６ａ〜６ｃの間には屈曲部６１が設けられており、この屈曲部６１を屈曲させることで、第１〜第３のカメラ部６ａ〜６ｃの視線方向を変化させることができるようになっている。また、屈曲部６１の近傍には、屈曲アクチュエータ６３が設けられている。この屈曲アクチュエータ６３は、電動モータなどで構成され、屈曲部６１に屈曲動作を行わせる。
【０１１９】
観察対象の内部に挿入部５を挿入する際には、図１１（Ａ）に示すように、挿入部５を真直な状態とすると、観察対象に挿入部を挿入する作業が容易になり、観察対象に挿入された後に、図１１（Ｂ）に示すように、屈曲部６１を屈曲させた状態とする。
【０１２０】
次に、第３実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領について説明する。図１２は、第３実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図である。
【０１２１】
この第３実施形態では、第１〜第３のカメラ部６ａ〜６ｃにおいて、撮像窓８が設けられた側が優角（１８０度より大きな角度）となり、撮像窓８と相反する側が劣角（１８０度より小さな角度）となるように屈曲部６１を屈曲させている。これにより、第１〜第３のカメラ部６ａ〜６ｃの視線方向が放射状に広がる状態とすることができる。
【０１２２】
画像出力調整の要領は、第２実施形態と同様であり、第１〜第３のカメラ部６ａ〜６ｃから、互いに撮像領域がずれた第１〜第３の個別撮像画像が出力され、この第１〜第３の個別撮像画像を接合して合成画像を生成する。そして、合成画像の全体、あるいはその一部を切り出して表示画像を生成し、その表示画像をモニタ３に表示する。
【０１２３】
このとき、合成画像の全体を表示画像とし、あるいは合成画像の広い範囲を切り出して表示画像とすれば、被写体の広い範囲を写した広角画像をモニタ３に表示させることができる。また、合成画像の狭い広い範囲を切り出せば、被写体の狭い範囲を写した拡大画像をモニタ３に表示させることができる。また、合成画像から切り出す範囲の位置を変更することで、表示画像に擬似的なパンおよびチルトの動作を行わせることができ、また、合成画像から切り出す範囲の大きさを変更することで、表示画像に擬似的なズーム動作を行わせることができる。
【０１２４】
次に、第３実施形態に係るコントローラ２について説明する。図１３は、第３実施形態に係るコントローラ２の概略構成を示す機能ブロック図である。
【０１２５】
この第３実施形態では、コントローラ２が、屈曲角設定部６５と、屈曲制御部６６と、を備えている。屈曲角設定部６５では、観察者の指示に応じて、屈曲部６１の屈曲角を設定する処理が行われる。屈曲制御部６６では、屈曲角設定部６５で設定された屈曲角となるように屈曲アクチュエータ６３を制御する。これにより、観察者の指示に応じた任意の屈曲角に設定することができる。
【０１２６】
なお、屈曲部６１の屈曲角を一定として、観察者の指示に応じて、所定の屈曲角となるように屈曲アクチュエータ６３を制御する構成としてもよい。
【０１２７】
なお、この第３実施形態では、屈曲部６１の近傍に屈曲アクチュエータ６３を設けて、屈曲部６１に屈曲動作を行わせるようにしたが、この屈曲動作機構には種々の構成が可能であり、例えば、挿入部５の基部に屈曲アクチュエータを設けて、この屈曲アクチュエータにより、挿入部５に挿通されたワイヤを押し引きすることで、屈曲部６１に屈曲動作を行わせる構成としてもよい。
【０１２８】
このように第３実施形態では、複数のカメラ部６ａ〜６ｃの間に屈曲部６１を設けて、この屈曲部６１を屈曲させることで、複数のカメラ部６ａ〜６ｃの視線方向を変化させるようにしたため、全体として極めて広い視野角、例えば１８０度を超える大きな視野角を実現することができる。このため、被写体の極めて広い範囲を同時に撮像することができ、これにより、内視鏡を動かすことなく、被写体の極めて広い範囲を観察することができる。
【０１２９】
（第４実施形態）
次に、第４実施形態に係る内視鏡システムについて説明する。なお、ここで特に言及しない点は第１実施形態と同様である。
【０１３０】
図１４は、第４実施形態に係る内視鏡システムにおける撮像および画像出力調整の要領を説明する説明図である。図１５は、第４実施形態に係る内視鏡システムにおける画像出力調整の要領を詳しく説明する説明図である。
【０１３１】
この第４実施形態では、図１４に示すように、内視鏡１の挿入部５に第１〜第３の３つのカメラ部６ａ〜６ｃが配置され、両側の第１，第３のカメラ部６ａ，６ｃは広角（広い視野角）に設定され、中間の第２のカメラ部６ｂは狭角（狭い視野角）に設定されており、第１，第３のカメラ部６ａ，６ｃによる第１，第３の個別撮像画像（広角撮像画像）から、被写体上の注視位置を含む広い範囲を写した第１の表示画像（監視用の表示画像）を生成し、第２のカメラ部６ｂによる第２の個別撮像画像（狭角撮像画像）から、被写体上の注視位置を含む狭い範囲を写した第２の表示画像（注視用の表示画像）を生成する。
【０１３２】
また、この第４実施形態では、術者用および補助者用の２つのモニタ３が設けられ、補助者用のモニタ３に第１の表示画像（監視用の表示画像）が表示され、術者用のモニタ３に第２の表示画像（注視用の表示画像）が表示される。
【０１３３】
特に、この第４実施形態では、図１５に示すように、第１，第３のカメラ部６ａ，６ｃによる第１，第３の個別撮像画像を接合して１つの連続した１次合成画像を生成し、この１次合成画像の全体を第１の表示画像（監視用の表示画像）とし、あるいは一部を広い範囲で切り出して第１の表示画像を生成する。第１，第３のカメラ部６ａ，６ｃは、撮像範囲が一部重複するように設定されており、第１，第３のカメラ部６ａ，６ｃによる第１，第３の個別撮像画像の重複部分を利用して、第１，第３の個別撮像画像を接合する。
【０１３４】
ここで、１次合成画像の一部を切り出して第１の表示画像を生成した場合、前記の実施形態と同様に、観察者の指示に応じて、１次合成画像から切り出す範囲の位置を変更することで、第１の表示画像に擬似的なパンおよびチルトの動作を行わせることができ、また、１次合成画像から切り出す範囲の大きさを変更することで、第１の表示画像に擬似的なズーム動作を行わせることができる。
【０１３５】
また、この第４実施形態では、第２のカメラ部６ｂによる第２の個別撮像画像（狭角撮像画像）と１次合成画像とを合成する、すなわち、１次合成画像上で第２の個別撮像画像と同じ領域を撮像した部分を検出して、その部分に第２の個別撮像画像を埋め込む処理を行って、１つの連続した２次合成画像を生成し、その２次合成画像から第２の個別撮像画像を含む範囲を切り出して、第２の表示画像（注視用の表示画像）を生成する。即ち、第２の個別撮像画像（狭角撮像画像）は撮像範囲が狭いため一般的に解像度が高くなるため、解像度変換などによって１次合成画像との表示領域の位置・拡大率の整合性をとる。このとき、第２の表示画像の略中心に第２の個別撮像画像が位置するように切り出す。
【０１３６】
ここで、前記の実施形態と同様に、観察者の指示に応じて、２次合成画像から切り出す範囲の位置を変更することで、第２の表示画像に擬似的なパンおよびチルトの動作を行わせることができ、また、２次合成画像から切り出す範囲の大きさを変更することで、第２の表示画像に擬似的なズーム動作を行わせることができる。このとき、被写体の広い範囲を表示する補助者用のモニタ３の画面を見て、パンおよびチルトの方向を指定するようにしてもよい。
【０１３７】
また、この第４実施形態では、第２の表示画像（注視用の表示画像）にパンおよびチルトの表示動作を行わせる際に、第２のカメラ部６ｂによる第２の個別撮像画像（狭角撮像画像）が第２の表示画像の略中央に位置するように、第２のカメラ部６ｂの視線方向が制御される。
【０１３８】
次に、第４実施形態に係るコントローラ２について説明する。図１６は、第４実施形態に係るコントローラの概略構成を示す機能ブロック図である。
【０１３９】
この第４実施形態では、第２実施形態と同様に、コントローラ２の画像出力調整部３２が、画像合成部４２と、画像切り出し部４３と、を備えている。
【０１４０】
画像合成部４２では、第１，第３のカメラ部６ａ，６ｃによる第１，第３の個別撮像画像（広角撮像画像）を接合して１次合成画像を生成する処理が行われる。また、第２のカメラ部６ｂによる第２の個別撮像画像（狭角撮像画像）を１次合成画像と合成して２次合成画像を生成する処理が行われる。
【０１４１】
画像切り出し部４３では、１次合成画像から所要の表示範囲を切り出して第１の表示画像（監視用の表示画像）を生成する処理が行われる。また、２次合成画像から所要の表示範囲を切り出して第２の表示画像（注視用の表示画像）を生成する処理が行われる。
【０１４２】
また、コントローラ２の視線方向設定部３５では、注視用の表示画像の表示領域を移動させる観察者の指示、パンおよびチルトの指示に応じて、第２のカメラ部６ｂの撮像範囲が、注視用の表示画像の領域内、特に注視用の表示画像の略中心に位置するように、第２のカメラ部６ｂの視線方向を設定する処理が行われ、ここで設定された視線方向に基づいて、カメラ制御部３４において第２のカメラ部６ｂの視線調整機構を構成するミラー回転アクチュエータ１４およびカメラ回転アクチュエータ１５が制御される。
【０１４３】
なお、この第４実施形態では、モニタ３を２つ設けて、注視用の表示画像および監視用の表示画像を２つのモニタ３に別々に表示するようにしたが、モニタ３を１つのみとして、その１つのモニタ３で注視用の表示画像および監視用の表示画像を切り替えて表示し、あるいは１つの表示画面に注視用の表示画像および監視用の表示画像を並べて表示するようにしてもよい。
【０１４４】
また、この第４実施形態では、２つのカメラ部６ａ，６ｃを広い視野角に設定し、１つのカメラ部６ｂを狭い視野角に設定したが、狭い視野角に設定するカメラ部を２つ以上とすることも可能であり、また、広い視野角に設定するカメラ部を１つのみ設けたり３つ以上設けたりしてもよい。
【０１４５】
また、この第４実施形態では、注視用の表示画像を、２次合成画像から狭角撮像画像とその周辺部を含む範囲を切り出して生成するようにしたが、狭角撮像画像をそのまま注視用の表示画像とし、あるいは狭角撮像画像の一部を切り出して注視用の表示画像を生成するようにしてもよい。この場合は、第２の個別撮像画像（狭角撮像画像）は撮像範囲が狭いため一般的に解像度が高くなるため、解像度変換による１次合成画像との表示領域の位置・拡大率の整合性をとる処理を行わなくてもよい。
【０１４６】
このように第４実施形態では、狭い視野角に設定された第２のカメラ部６ｂによる狭角撮像画像から、被写体上の注視位置を含む狭い範囲を写した注視用の表示画像を生成し、広い視野角に設定された第１，第３のカメラ部６ａ，６ｃによる広角撮像画像から、被写体上の注視位置を含む広い範囲を写した監視用の表示画像を生成するようにしたため、高分解能な注視用の表示画像と広い範囲を写した監視用の表示画像とを同時に取得することができる。そして、被写体上の注視位置が高分解能な画像で表示されるため、注視位置を詳しく観察することができ、同時に、注視位置の周辺部分が広い範囲で表示されるため、周辺部分を広く観察することができる。
【０１４７】
また、この第４実施形態では、観察者ごとに設けられた複数のモニタ３に、注視用の表示画像および監視用の表示画像を別々に表示させるようにしたため、内視鏡手術の術者など、被写体上の狭い領域を詳しく観察する必要がある観察者が、専用のモニタ３で注視用の表示画像を見ることができ、同時に、内視鏡手術の補助者など、被写体上の広い領域を観察する必要がある観察者が、専用のモニタ３で監視用の表示画像を見ることができる。
【０１４８】
また、この第４実施形態では、複数のカメラ部６ａ，６ｃが広い視野角に設定され、これらのカメラ部６ａ，６ｃによる複数の広角撮像画像を接合して１つの連続した合成画像を生成して、その合成画像の全部または一部を監視用の表示画像とするようにしたため、広範囲でかつ高分解能な監視用の表示画像を取得することができる。
【０１４９】
また、この第４実施形態では、狭角撮像画像と広角撮像画像とを合成した合成画像を生成して、その合成画像から狭角撮像画像を含む範囲を切り出して、注視用の表示画像を生成するようにしたため、被写体上で観察者が注目する部分を高分解能な画像で観察すると同時に周辺部分も観察することができる。
【０１５０】
また、この第４実施形態では、複数のカメラ部６ａ〜６ｃの視線方向を個別に変更する視線調整機構を設け、注視用の表示画像の表示領域を移動させる観察者の指示に応じて、狭い視野角に設定された第２のカメラ部６ｂの撮像範囲が、注視用の表示画像の領域内に位置するように、第２のカメラ部６ｂの視線方向を設定して、その視線方向に基づいて第２のカメラ部６ｂの視線調整機構を制御するようにしたため、常時、第２のカメラ部６ｂによる高分解能な狭角撮像画像が注視用の表示画像内に位置し、注視用の表示画像の表示領域を移動させても、被写体上の重要な部分を高分解能な画像で観察することができる。
【０１５１】
次に、第１〜第４の実施形態に係る内視鏡システムの変形例について説明する。
【０１５２】
図１７は、内視鏡１の挿入部５の変形例を示す側面図である。ここでは、前記の例と同様に、挿入部５に複数のカメラ部６ａ〜６ｅが並んで設けられているが、特にここでは、挿入部５におけるカメラ部６ａ〜６ｅより基端側の位置に屈曲部７１が設けられている。
【０１５３】
このように構成すると、観察対象の内部に挿入部５を挿入する際、図１７（Ａ）に示すような真直な状態とすることで、挿入部５を挿入する作業が容易になる。そして、観察対象の内部に挿入部５が挿入されて、観察対象の内部を観察する際には、必要に応じて、図１７（Ａ）に示すような真直な状態としたり、図１７（Ｂ）に示すような屈曲した状態としたりすることで、観察対象の内部を自由に観察することができる。
【０１５４】
図１８は、第１実施形態に係る内視鏡システムの変形例を示す説明図である。ここでは、内視鏡１の挿入部５に複数のカメラ部８１ａ〜８１ｃが設けられており、このカメラ部８１ａ〜８１ｃは、前記の実施形態とは異なり、視線方向を機械的に調整する視線調整機構、すなわちパン動作機構およびチルト動作機構を備えておらず、複数のカメラ部８１ａ〜８１ｃの視線方向は一定となっている。
【０１５５】
このような構成で、複数のカメラ部８１ａ〜８１ｃにより注視物が映る撮像画像を取得して、その撮像画像から注視物を含む領域を切り出して表示画像を生成すると、複数のカメラ部８１ａ〜８１ｃの視線方向を調整することなく、画像出力調整部３２における切り出しの調整のみで、第１実施形態と同様に、視線方向が異なる複数の表示画像を取得することができる。
【０１５６】
この場合、画像出力調整部３２は、注視位置を指定する観察者の指示に応じて、注視位置の領域を各撮像画像から検出して、その注視位置の領域を含む範囲を撮像画像から切り出すようにすればよい。
【０１５７】
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る内視鏡システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【０１５８】
例えば、第１〜第４の各実施形態では、それぞれ特徴ある構成について説明したが、この第１〜第４の各実施形態で説明した構成を適宜に組み合わせることも可能である。例えば、第１実施形態を視点移動モード、第２実施形態を高分解能モード、第３実施形態を超広角化モード、第４実施形態を広角・狭角併用モードとして、これらの動作モードを必要に応じて切り替えるようにする。この場合、挿入部が屈曲する構成とすることで、第３実施形態の超広角化モードと他の動作モードとを同一のシステムで実現することができる。また、カメラ部にズーム機能を付加すれば、視野角（画角）を変更することができるため、第４実施形態の広角・狭角併用モードと他の動作モードとを同一のシステムで実現することができる。
【０１５９】
また、第１，第２の各実施形態では、カメラ部を５つ配置し、第３，第４の各実施形態では、カメラ部を３つ配置したが、カメラ部の配置数はこれに限定されるものではなく、２つや４つ、あるいは６つ以上配置することも可能である。
【０１６０】
また、第１〜第４の各実施形態では、複数のカメラ部が挿入部の長手方向に並んで配列された構成としたが、カメラ部の配置はこのような１次元的なものに限定されず、複数のカメラ部を２次元的に配置することも可能である。
【０１６１】
また、第１〜第４の各実施形態では、２次元の画像をモニタで表示するようにしたが、複数のカメラ部による撮像画像から３次元画像を生成して、その３次元画像を３次元モニタに表示するようにしてもよい。このようにすると、臓器などの被写体を立体的に観察することができるため、手術や検査の効率を向上させることができる。この場合、２つのカメラ部による撮像画像を用いて２視点による３次元表示を行う他、３つ以上のカメラ部による撮像画像を用いて多視点による３次元表示を行うことも可能である。また、３次元表示方式も、眼鏡式、裸眼式、およびヘッドマウントディスプレイなど、種々の方式を採用することができる。
【０１６２】
また、第１〜第４の各実施形態では、複数のカメラ部に、視線方向を変更する視線調整機構（パン動作機構およびチルト動作機構）を設けるようにしたが、カメラ部に視線調整機構を設けない構成も可能である。
【０１６３】
すなわち、第１実施形態では、図１８に示したように、切り出しの調整を行うことで、視線調整機構のない構成でも同様の機能を実現することができる。また、カメラ部から所定の距離にある点を注視位置に予め設定して、その注視位置に各々の視線方向が向けられるように複数のカメラ部を設定するようにしてもよい。
【０１６４】
また、第２〜第４の実施形態では、視線調整機構がない場合、個別撮像画像に適切な重複部分が生じるように視線方向を設定する位置合わせの処理ができないが、個別撮像画像に重複部分が生じる範囲内で使用するようにすれば、視線調整機構のない構成でも同様の機能を実現することができる。
【０１６５】
また、第１〜第４の各実施形態では、複数のカメラ部の全てに視線調整機構を設けるようにしたが、複数のカメラ部の一部に視線調整機構を設ける構成も可能である。例えば、第２〜第４の実施形態では、１つのカメラ部を除く残りのカメラ部に視線調整機構を設ければ、個別撮像画像に適切な重複部分が生じるように視線方向を設定する位置合わせの処理が可能になる。
【産業上の利用可能性】
【０１６６】
本発明にかかる内視鏡システムは、複数の内視鏡を用いることなく、また、内視鏡を動かすことなく、適切な画像を簡単に表示装置に表示させることができる効果を有し、観察対象の内部の被写体を撮像する内視鏡と、この内視鏡で行われる撮像を制御するとともにその内視鏡から出力される撮像画像を処理する制御装置と、この制御装置から出力される画像を表示する表示装置と、を備えた内視鏡システムなどとして有用である。
【符号の説明】
【０１６７】
１  内視鏡
２  コントローラ（制御装置）
３  モニタ（表示装置）
４  指示検出器（指示検出装置）
５  挿入部
６ａ〜６ｅ  カメラ部
１２  撮像部
１３  可動ミラー
１４  ミラー回転アクチュエータ
１５  カメラ回転アクチュエータ
３１  画像処理部
３２  画像出力調整部
３３  表示制御部
３４  カメラ制御部
３５  視線方向設定部
３６  注視位置設定部
３７  注視位置追跡部
３８  指示内容取得部
４１  画像切替部
４２  画像合成部
４３  画像切り出し部
５１  画像重複検出部
６１  屈曲部
６３  屈曲アクチュエータ
６５  屈曲角設定部
６６  屈曲制御部
【図１】
2015119827.tif 000003
【図２】
2015119827.tif 000004
【図３】
2015119827.tif 000005
【図４】
2015119827.tif 000006
【図５】
2015119827.tif 000007
【図６】
2015119827.tif 000008
【図７】
2015119827.tif 000009
【図８】
2015119827.tif 000010
【図９】
2015119827.tif 000011
【図１０】
2015119827.tif 000012
【図１１】
2015119827.tif 000013
【図１２】
2015119827.tif 000014
【図１３】
2015119827.tif 000015
【図１４】
2015119827.tif 000016
【図１５】
2015119827.tif 000017
【図１６】
2015119827.tif 000018
【図１７】
2015119827.tif 000019
【図１８】
2015119827.tif 000020