(57)【要約】【課題】術者の手間をかけずに、術者の所望する術部を映し出すことができるようにする。【解決手段】手術対象の部位を含む術野を撮像することにより得られた画像から前記画像の奥行き情報を生成する生成部と、生成された前記画像の奥行き情報を用いて、手術器具の３次元位置を検出する位置検出部とを備える。検出された前記手術器具の３次元位置と前記奥行き情報に基づいて、前記手術器具の操作を行う術者の注目点を推定する注目点推定部をさらに備えるようにすることもできる。本開示は、例えば、内視鏡システムのCCU等に適用できる。【選択図】図１
2015228955.tif 000002
【特許請求の範囲】
【請求項１】
手術対象の部位を含む術野を撮像することにより得られた画像から前記画像の奥行き情報を生成する生成部と、
生成された前記画像の奥行き情報を用いて、手術器具の３次元位置を検出する位置検出部と
を備える画像処理装置。
【請求項２】
検出された前記手術器具の３次元位置と前記奥行き情報に基づいて、前記手術器具の操作を行う術者の注目点を推定する注目点推定部をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記注目点推定部により推定された前記注目点にフォーカスが合うようにフォーカス制御信号を出力するフォーカス制御部をさらに備える
請求項２に記載の画像処理装置。
【請求項４】
前記注目点推定部は、前記手術器具の３次元位置に対応する線分を延長した延長線と前記術部との交点を、前記注目点と推定する
請求項２に記載の画像処理装置。
【請求項５】
前記注目点を表す所定のマークを、前記撮像部により得られた画像に重畳する
請求項２に記載の画像処理装置。
【請求項６】
前記フォーカス制御部は、前記術者からの指示があったとき、フォーカスの制御を行い、
前記術者からの指示は、フットペダルの操作、前記手術器具に備えられているボタンの操作、または所定の言葉の発話により出される
請求項３に記載の画像処理装置。
【請求項７】
前記生成部は、前記位置検出部により検出された前記手術器具の先端部分の延長上に位置する前記画像の所定の領域から、前記奥行き情報を生成する
請求項１に記載の画像処理装置。
【請求項８】
前記画像重畳部は、前記手術器具の３次元位置に対応する線分を延長した延長線をさらに表示させる
請求項５に記載の画像処理装置。
【請求項９】
前記位置検出部は、前記画像内の直線的なエッジの情報に基づいて、前記手術器具の３次元位置を検出する
請求項１に記載の画像処理装置。
【請求項１０】
前記位置検出部は、前記視差画像内の特定色情報に基づいて前記手術器具の３次元位置を検出する
請求項１に記載の画像処理装置。
【請求項１１】
前記位置検出部は、前記画像から、前記手術器具に付されたマーカを検出することで、前記手術器具の３次元位置を検出する
請求項１に記載の画像処理装置。
【請求項１２】
画像処理装置が、
手術対象の部位を含む術野を撮像することにより得られた画像から前記画像の奥行き情報を生成し、
生成された前記画像の奥行き情報を用いて、手術器具の３次元位置を検出する
ステップを含む画像処理方法。
【請求項１３】
手術対象の部位を含む術野を撮像することにより得られた画像から前記画像の奥行き情報を生成し、
生成された前記画像の奥行き情報を用いて、手術器具の３次元位置を検出する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、並びにプログラムに関する。詳しくは、術者の手間をかけずに、術者の所望する術部を映し出すことができるようにする画像処理装置、画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
内視鏡を体内に挿入し、内視鏡により、手術対象となる体内の部位（術部）を被観察部として撮像して画面に映し出し、画面を見ながら術部に処置を施す内視鏡下手術が利用されている。内視鏡下手術では、光源装置からの照明光が被観察部へ照射され、内視鏡で得られた被観察部の光学像の画像信号に、所望の信号処理が施され、被観察部の光学像の画像が画面に映し出される。
【０００３】
このような内視鏡下手術においては、手術を行う術者にとって最適な術部の視野（術野）を確保するために、状況に応じて、画面に映し出される被観察部の範囲や位置を適宜調整する必要がある。
【０００４】
しかしながら、通常、術者は、手術を行うための手術器具を両手に保持しているため、上記のような画面調整の作業を自ら迅速に行うことができない。また、術者が画面調整を目的として直接調整機器等を操作することは、術部、医療機器、および、手術室等の清浄度を確保する観点から好ましくない。
【０００５】
そこで、一般的には、術者がスコピスト等と呼ばれる補助者に対して指示を与えることにより、補助者が、術者からの指示に応じて調整機器を操作して、上記のような画面調整を行っている。
【０００６】
しかしながら、補助者を介した方法では、術者の指示が正確に伝わらず、術者が希望する画面調整を迅速に行うことが難しい場合がある。
【０００７】
そこで、補助者を介さずに画面調整を行う方法として、例えば、特許文献１では、輝度やコントラストが所定の期間変化しない領域に対してフォーカス制御を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−１３９７６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１によると、輝度やコントラストが所定の期間変化しない領域が、術者がフォーカスを合わせたい領域であるとは限らず、誤ったフォーカスが行われてしまう可能性があった。
【００１０】
本開示は、このような状況に鑑みてなされたものであり、術者の手間をかけずに、術者が所望する術部に対してフォーカス制御を行えるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の一側面の画像処理装置は、手術対象の部位を含む術野を撮像することにより得られた画像から前記画像の奥行き情報を生成する生成部と、生成された前記画像の奥行き情報を用いて、手術器具の３次元位置を検出する位置検出部とを備える。
【００１２】
検出された前記手術器具の３次元位置と前記奥行き情報に基づいて、前記手術器具の操作を行う術者の注目点を推定する注目点推定部をさらに備えるようにすることができる。
【００１３】
前記注目点推定部により推定された前記注目点にフォーカスが合うようにフォーカス制御信号を出力するフォーカス制御部をさらに備えるようにすることができる。
【００１４】
前記注目点推定部は、前記手術器具の３次元位置に対応する線分を延長した延長線と前記術部との交点を、前記注目点と推定するようにすることができる。
【００１５】
前記注目点を表す所定のマークを、前記撮像部により得られた画像に重畳するようにすることができる。
【００１６】
前記フォーカス制御部は、前記術者からの指示があったとき、フォーカスの制御を行い、前記術者からの指示は、フットペダルの操作、前記手術器具に備えられているボタンの操作、または所定の言葉の発話により出されるようにすることができる。
【００１７】
前記生成部は、前記位置検出部により検出された前記手術器具の先端部分の延長上に位置する前記画像の所定の領域から、前記奥行き情報を生成するようにすることができる。
【００１８】
前記画像重畳部は、前記手術器具の３次元位置に対応する線分を延長した延長線をさらに表示させるようにすることができる。
【００１９】
前記位置検出部は、前記画像内の直線的なエッジの情報に基づいて、前記手術器具の３次元位置を検出するようにすることができる。
【００２０】
前記位置検出部は、前記視差画像内の特定色情報に基づいて前記手術器具の３次元位置を検出するようにすることができる。
【００２１】
前記位置検出部は、前記画像から、前記手術器具に付されたマーカを検出することで、前記手術器具の３次元位置を検出するようにすることができる。
【００２２】
本技術の一側面の画像処理方法は、画像処理装置が、手術対象の部位を含む術野を撮像することにより得られた画像から前記画像の奥行き情報を生成し、生成された前記画像の奥行き情報を用いて、手術器具の３次元位置を検出するステップを含む。
【００２３】
本技術の一側面のプログラムは、手術対象の部位を含む術野を撮像することにより得られた画像から前記画像の奥行き情報を生成し、生成された前記画像の奥行き情報を用いて、手術器具の３次元位置を検出するステップを含む処理をコンピュータに実行させる。
【００２４】
本技術の一側面の画像処理装置、画像処理方法、並びにプログラムは、手術対象の部位を含む術野を撮像することにより得られた画像から画像の奥行き情報が生成され、生成された画像の奥行き情報が用いられて、手術器具の３次元位置が検出される。
【発明の効果】
【００２５】
本技術の一側面によれば、術者が所望する術部に対してフォーカス制御を行えるようにすることができる。
【００２６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２７】
【図１】本開示に係る内視鏡システムの一実施の形態の構成例を示すブロック図である。
【図２】内視鏡システムの使用状態を説明する図である。
【図３】奥行き位置の算出方法を説明する図である。
【図４】奥行き位置の算出方法を説明する図である。
【図５】鉗子の位置検出を説明する図である。
【図６】注目点の位置検出を説明する図である。
【図７】ディスプレイに表示される重畳画像の例を示す図である。
【図８】フォーカス制御について説明するためのフローチャートである。
【図９】鉗子位置検出処理の詳細を説明するフローチャートである。
【図１０】注目点推定処理の詳細を説明するフローチャートである。
【図１１】フォーカス制御について説明するためのフローチャートである。
【図１２】本開示に係るコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．内視鏡システムの構成例
２．フォーカス処理フロー
３．他のフォーカス処理フロー
４．記録媒体について
【００２９】
＜内視鏡システムの構成例＞
図１は、本開示に係る内視鏡システムの一実施の形態の構成例を示すブロック図である。
【００３０】
図１の内視鏡システムは、内視鏡カメラヘッド１１、CCU（カメラコントロールユニット）１２、操作部１３、及びディスプレイ１４により構成される。
【００３１】
この内視鏡システムは、手術対象となる体内の部位（術部）を被観察部として撮像してディスプレイ１４に映し出し、ディスプレイ１４を見ながら被観察部に処置を施す内視鏡下手術で用いられる。
【００３２】
内視鏡下手術では、例えば、図２に示されるように、内視鏡カメラヘッド１１の挿入部２５と、手術器具である２本の鉗子８１（８１Ａ及び８１Ｂ）が、患者の体内に挿入される。内視鏡カメラヘッド１１は、挿入部２５の先端から光を照射して患者の術部８２を照明して、２本の鉗子８１及び術部８２の状態を撮像する。
【００３３】
なおここでは、内視鏡を例にあげて説明するが、内視鏡のような医療用機器以外の機器に対しても本技術を適用できる。例えば、術部に該当する注目部位を、手術器具に該当する指示具や所定のデバイス等で何らかの処理を施す機器に対して適用できる。
【００３４】
内視鏡カメラヘッド１１は、図１に示されるように、撮像部２１、光源２２、及び、フォーカスレンズ２３を含んで構成される。
【００３５】
撮像部２１は、第１撮像センサ２４ａと第２撮像センサ２４ｂの２つの撮像センサ２４を少なくとも有する。撮像センサ２４は、例えば、CCD(Charge Coupled Device)やCMOS（Complementary Metal Oxide Semiconductor）センサなどで構成され、被写体を撮像して、その結果得られる画像を生成する。撮像センサ２４には、いわゆる４Ｋカメラと呼ばれる、水平方向×垂直方向の画素数が約４０００×約２０００の画素数を有する高解像度のセンサを採用することができる。２つの撮像センサ２４は、左右方向に所定の間隔離れて配置されており、視点方向の異なる画像を生成し、CCU１２に出力する。
【００３６】
本実施の形態では、２つの撮像センサ２４で撮像されて得られる画像を術部画像と称する。また、本実施の形態では、第１撮像センサ２４ａが右側、第２撮像センサ２４ｂが左側に配置されているものとして、第１撮像センサ２４ａが生成する術部画像をR画像、第２撮像センサ２４ｂが生成する術部画像をL画像ともいう。
【００３７】
光源２２は、例えば、ハロゲンランプ、キセノンランプ、LED (Light Emitting Diode）光源などで構成され、術部を照明するための光を出射する。
【００３８】
フォーカスレンズ２３は、１または複数のレンズで構成されており、CCU１２のフォーカス制御部４６（後述する）によって駆動され、被写体からの入射光（像光）を撮像センサ２４の撮像面上に結像する。
【００３９】
CCU１２は、内視鏡カメラヘッド１１の撮像部２１で撮像されて得られた術部画像を処理する画像処理装置であり、奥行き情報生成部４１、鉗子位置検出部４２、注目点推定部４３、画像重畳部４４、操作制御部４５、及び、フォーカス制御部４６により構成されている。
【００４０】
撮像部２１で生成され、出力されたR画像及びL画像は、CCU１２の奥行き情報生成部４１と画像重畳部４４に供給される。また、R画像及びL画像の一方（例えば、L画像）は、フォーカス制御部４６にも供給される。
【００４１】
奥行き情報生成部４１は、供給されたR画像及びL画像から、術部画像の奥行き情報を生成する。より具体的には、奥行き情報生成部４１は、供給されたR画像及びL画像を用いて、三角測量の原理により、術部画像内の各画素の奥行き方向の位置を算出する。
【００４２】
図３及び図４を参照して、三角測量の原理を用いた、術部画像内の各画素の奥行き位置の算出方法について説明する。
【００４３】
いま、第１撮像センサ２４ａと第２撮像センサ２４ｂが、図３に示されるように、距離Ｔの間隔を開けて、横方向に並んで配置されており、第１撮像センサ２４ａと第２撮像センサ２４ｂのそれぞれが、実世界上の物体Ｐを撮像しているものとする。
【００４４】
第１撮像センサ２４ａと第２撮像センサ２４ｂの垂直方向の位置は同一であり、水平方向の位置だけが異なるので、第１撮像センサ２４ａと第２撮像センサ２４ｂにより得られるR画像とL画像の画像内における物体Ｐの位置は、ｘ座標位置のみが異なることとなる。
【００４５】
そこで、例えば、第１撮像センサ２４ａにより得られるR画像では、R画像内に映る物体Ｐのｘ座標がｘｒであり、第２撮像センサ２４ｂにより得られるL画像では、L画像内に映る物体Ｐのｘ座標がｘｌであるとする。
【００４６】
三角測量の原理を用いると、図４に示されるように、R画像中の物体Ｐのｘ座標＝ｘｒは、第１撮像センサ２４ａの光学中心Ｏｒと物体Ｐとを結んだ直線上の位置に相当する。また、L画像中の物体Ｐのｘ座標＝ｘｌは、第２撮像センサ２４ｂの光学中心Ｏｌと物体Ｐとを結んだ直線上の位置に相当する。
【００４７】
ここで、光学中心ＯｒまたはＯｌから、R画像またはL画像の撮像平面までの距離をｆ、実世界の物体Ｐまでの距離（奥行き）をＺとすると、視差ｄは、ｄ＝（ｘｌ−ｘｒ）で表される。
【００４８】
また、Ｔ，Ｚ，ｄ，ｆには、
【数１】
2015228955.tif 000003
の関係が成り立つ。
【００４９】
従って、物体Ｐまでの距離Ｚは、式（１）を変形して、次式（２）により求めることができる。
【数２】
2015228955.tif 000004
【００５０】
図１の奥行き情報生成部４１は、上述した三角測量の原理を用いて、術部画像内の各画素の奥行きＺを算出する。奥行き情報生成部４１で算出された各画素の奥行きＺは、奥行き情報として、鉗子位置検出部４２と注目点推定部４３のそれぞれに供給される。
【００５１】
鉗子位置検出部４２は、奥行き情報生成部４１から供給された術部画像の奥行き情報を用いて、術部画像内に映された鉗子８１の位置を検出する。なお、上述したように、術部画像内には、２本の鉗子８１が被写体として撮像される場合があるが、いずれか一方の鉗子８１の位置が検出されればよい。どちらの鉗子８１の位置を検出するかは、予め決めてもよいし、術部画像内でより検出しやすい方を検出するのでもよい。また、２本の鉗子８１の位置を検出しても勿論よい。
【００５２】
図５を参照して、鉗子位置検出部４２による鉗子８１の位置検出について説明する。
【００５３】
初めに、鉗子位置検出部４２は、奥行き情報生成部４１から供給された術部画像の奥行き情報から、視差画像を生成する。視差画像とは、奥行き情報である各画素の奥行きＺをグレースケールで表した画像である。
【００５４】
図５Aは、視差画像の例を示しており、輝度値が大きい値ほど奥行きＺは小さく、術部画像中の被写体がより手前にあることを表している。
【００５５】
次に、鉗子位置検出部４２は、生成した視差画像から、輝度値の境界となるエッジを検出する。例えば、視差画像のなかで、隣接する画素の画素値の差分が所定の値以上である画素が、エッジとして検出される。
【００５６】
エッジ検出成分を輝度値に基づく検出としているが、例えば、術野は、赤色が主成分であるのに対して、鉗子は、銀、白、黒などの赤とは異なる色であることが一般的である。このように術野と鉗子は、異なる色であるため、色成分情報に基づき、エッジ検出を行うことも可能である。すなわち、視差画像内の特定の色情報に基づいて、鉗子等の手術器具の３次元位置を検出するように構成することも可能である。
【００５７】
ここでは、輝度値を用いる場合を例にあげて説明する。図５Bは、図５Aの視差画像に対して検出されたエッジの例を示している。
【００５８】
次に、鉗子位置検出部４２は、検出されたエッジのなかから、曲線的なエッジを除去し、一定以上の長さを有する直線的なエッジのみを検出する。
【００５９】
鉗子８１は棒状の形状を有しているため、鉗子８１のエッジとして、所定の長さ以上の直線的なエッジが存在する。そこで、鉗子位置検出部４２は、検出されたエッジのなかから、鉗子８１のエッジとして、一定以上の長さを有する直線的なエッジのみを検出する。
【００６０】
なお、鉗子位置検出部４２は、鉗子８１のエッジを特定する際、上記の一定以上の長さを有する直線的なエッジであるか否かの他に、検出された直線的なエッジが、術部画像の外縁部から続く直線であるか否かを判定してもよい。内視鏡カメラヘッド１１の挿入部２５と鉗子８１が、図２に示したような位置関係にある場合、一般に、術部画像内において、鉗子８１は、術部画像の外縁部から中心部へ延びるような位置で撮像されている。そのため、検出された直線的なエッジが術部画像の外縁部から続く直線であるか否かを判定することにより、鉗子８１の検出精度をさらに上げることができる。
【００６１】
次に、鉗子位置検出部４２は、検出された直線的なエッジから、撮像画像内における３次元空間上の鉗子８１の位置、即ち、鉗子８１の姿勢を推定する。
【００６２】
具体的には、鉗子位置検出部４２は、図５Dに示されるように、検出された直線的なエッジから、鉗子８１に対応する線分（直線）１０１を算出する。線分１０１は、例えば、検出された２本の直線的なエッジの中間線などで求めることができる。
【００６３】
そして、鉗子位置検出部４２は、算出された線分１０１上の所定の２点（ｘ１，ｙ１）及び（ｘ２，ｙ２）を検出し、検出された２点の位置（ｘ１，ｙ１）及び（ｘ２，ｙ２）の奥行き位置ｚ１及びｚ２を、供給された奥行き情報から取得する。これにより、術部画像内における鉗子８１の３次元空間上の位置（ｘ１，ｙ１，ｚ１）及び（ｘ２，ｙ２，ｚ２）が特定される。
【００６４】
なお、術部画像内の２本の鉗子８１に対応して２つの線分が検出された場合には、より手前にある方を選択するなどして、検出された２つの線分のいずれか一方を選択することができる。
【００６５】
図１に戻り、鉗子位置検出部４２は、以上のようにして検出された鉗子８１の３次元空間上の位置（ｘ１，ｙ１，ｚ１）及び（ｘ２，ｙ２，ｚ２）を、注目点推定部４３に供給する。
【００６６】
注目点推定部４３には、奥行き情報生成部４１から、術部画像の奥行き情報が供給されるとともに、鉗子位置検出部４２から、鉗子８１の姿勢を表す３次元空間上の２点の座標（ｘ１，ｙ１，ｚ１）及び（ｘ２，ｙ２，ｚ２）が供給される。
【００６７】
注目点推定部４３は、図６に示されるように、検出された鉗子８１の位置を延長した先に、術部８２の注目点Ｑが存在すると仮定して、３次元空間上の術部８２の注目点Ｑの位置を推定する。術部８２の注目点Ｑは、検出された鉗子８１の姿勢を延長した延長線と、術部８２の表面の交点に相当する。推定された３次元空間上の術部８２の注目点Ｑの位置座標は、画像重畳部４４に供給される。
【００６８】
画像重畳部４４は、注目点推定部４３から供給される注目点Ｑを中心とした所定のマーク、例えば、×印、所定の大きさの円形や四角形を、撮像部２１から供給される術部画像の注目点Ｑを中心とした位置に重畳した重畳画像を生成し、ディスプレイ１４に表示させる。
【００６９】
画像重畳部４４に、操作制御部４５から、３Ｄ表示のオンまたはオフを指定する制御情報である表示モード情報が供給されるように構成することも可能である。画像重畳部４４は、表示モード情報により３Ｄ表示のオフが指定されている場合、R画像及びL画像のいずれか一方をディスプレイ１４に供給し、術部画像を２Ｄ表示させる。
【００７０】
一方、表示モード情報により３Ｄ表示のオンが指定されている場合、画像重畳部４４は、R画像及びL画像の両方をディスプレイ１４に供給し、術部画像を３Ｄ表示させる。ここで、３Ｄ表示とは、R画像とL画像を交互にディスプレイ１４に表示させ、R画像を術者の右眼で視認させ、L画像を術者の左眼で視認させることにより、術者が術部画像を立体的に知覚する画像表示をいう。
【００７１】
操作制御部４５は、操作部１３から供給される操作信号に基づいて、各種の制御信号を所要の各部へ供給する。例えば、操作制御部４５は、操作部１３で行われた注目点Ｑを含む領域にフォーカスを合わせるとの指示に応じて、フォーカスを合わせる指示を、フォーカス制御部４６に供給する。
【００７２】
フォーカス制御部４６は、撮像部２１から供給されるL画像に基づいて、コントラスト法によるフォーカス制御を行う。具体的には、フォーカス制御部４６は、内視鏡カメラヘッド１１のフォーカスレンズ２３を駆動し、撮像部２１から供給されるL画像のコントラストを比較して、フォーカス位置を検出する。フォーカス制御部４６は、注目点推定部４３から、注目点Ｑの位置座標を取得して、注目点Ｑを中心とする所定の範囲内の領域をフォーカス制御対象領域としてフォーカス制御を行うことができる。
【００７３】
操作部１３は、少なくともフットペダル６１を備え、術者（操作者）からの操作を受け付け、術者が行った操作に対応する操作信号を操作制御部４５に供給する。術者は、操作部１３を操作することにより、例えば、ディスプレイ１４に表示される注目点Ｑを表すマークの位置に、フォーカスを合わせる、ディスプレイ１４に表示される術部画像の２Ｄ表示と３Ｄ表示の切替え、内視鏡のズーム倍率の設定、などを行うことができる。
【００７４】
ディスプレイ１４は、例えばLCD(Liquid Crystal Display)などで構成され、画像重畳部４４から供給される画像信号に基づいて、内視鏡カメラヘッド１１の撮像部２１で撮像された術部画像を表示する。また、重畳モードがオンに設定されている場合、ディスプレイ１４は、撮像部２１で撮像された術部画像、またはその述部画像に注目点推定部４３で推定された注目点Ｑの位置を表す所定形状のマークを重畳した重畳画像を表示する。
【００７５】
図７は、ディスプレイ１４に表示される重畳画像の例を示している。
【００７６】
図７の重畳画像１００では、撮像部２１から供給された術部画像１１０に、注目点Ｑを含む領域として決定された所定の大きさの注目領域ＱＡが、四角形状のマークで表されている。
【００７７】
術部画像１１０には、２本の鉗子８１A及び８１Bが撮像されており、注目点Ｑは、左側の鉗子８１Aの位置に基づいて推定されている。そして、重畳画像１００には、推定された注目点Ｑと、その注目点Ｑを術者に認識させるためのマーク(図７では注目領域ＱＡを表す四角形状)、及び、注目点Ｑの推定で計算された延長線に対応するガイド線１１１が表示されている。
【００７８】
ガイド線１１１が表示されるように構成した場合、ガイド線１１１の表示により、腹腔内の３次元距離をより直感的に認識することが可能となり、平面視においても３次元的な距離情報を術者に提示することができるようになる。
【００７９】
図７では、注目点Ｑを術者に認識させるためのマークとして四角形状を例示したが、四角形状に限らず、三角形状など、他の形状でも良い。またバツ（×）印などの形状のマークが表示されるようにしても良い。
【００８０】
＜フォーカス処理フロー＞
次に、図１の内視鏡システムにおいて、注目点Ｑを検出し、その注目点Ｑの位置にフォーカスを合わせるときの処理について図８のフローチャートを参照して説明する。なお、このような注目点Ｑを検出し、フォーカスを合わせるという処理(オートフォーカスの処理)を行うか否かは、術者により設定できるようにし、オートフォーカスを行うと設定されているときに、図８に示したフローチャートの処理が実行されるように構成することも可能である。
【００８１】
また、オートフォーカスを行うか否かの設定は、フットペダル６１を操作することにより行えるように構成することも可能である。
【００８２】
また、図８に示したフォーカス処理フローに基づく処理は、術者が開始ボタン(フットペダル６１でも良い)を操作したとき、光学ズームなどでピントが外れたと判断されたとき、などに開始されるように構成することができる。また本技術は、顕微鏡システムにも適用でき、顕微鏡システムにおけるアームが動いたときをトリガーとして、図８に示したフォーカス処理フローに基づく処理が開始されるように構成することもできる。
【００８３】
図８は、フォーカス処理のフローチャートを示している。図８のフォーカス処理が実行される状態では、内視鏡システムの各機器の電源が入っており、内視鏡カメラヘッド１１の挿入部２５や鉗子８１が患者の体内に挿入され、患者の術部８２が光源２２により照明されている。
【００８４】
初めに、ステップＳ１において、奥行き情報生成部４１は、内視鏡カメラヘッド１１の撮像部２１から供給されたR画像及びL画像から、術部画像の奥行き情報を生成する。より具体的には、奥行き情報生成部４１は、図４を参照して説明した三角測量の原理を用いた式（２）により、術部画像内の各位置（画素）の奥行きＺを算出する。奥行き情報生成部４１で算出された奥行き情報は、注目点推定部４３と鉗子位置検出部４２のそれぞれに供給される。
【００８５】
ステップＳ１における処理は、撮像部２１で撮影されている被写体表面の３次元位置を決定するための処理である。
【００８６】
ステップＳ２において、鉗子位置検出部４２は、奥行き情報生成部４１から供給された術部画像の奥行き情報を用いて術部画像内の鉗子８１の位置を検出する鉗子位置検出処理を実行する。ステップＳ２における処理は、術者が持つ鉗子等の棒状の器具の３次元位置を検出するための処理である。
【００８７】
＜鉗子位置検出処理の詳細フロー＞
図９は、ステップＳ２で実行される鉗子位置検出処理の詳細なフローチャートを示している。
【００８８】
鉗子位置検出処理では、初めに、ステップＳ２１において、鉗子位置検出部４２が、奥行き情報生成部４１から供給された術部画像の奥行き情報から、視差画像を生成する。
【００８９】
ステップＳ２２において、鉗子位置検出部４２は、生成した視差画像から、輝度値の境界となるエッジを検出する。
【００９０】
ステップＳ２３において、鉗子位置検出部４２は、検出されたエッジのなかから、曲線的なエッジを除去し、一定以上の長さを有する直線的なエッジのみを検出する。
【００９１】
ステップＳ２４において、鉗子位置検出部４２は、検出された直線的なエッジから、術部画像内における３次元空間上の鉗子８１の位置を推定する。これにより、図５Dを参照して説明したように、術部画像内における鉗子８１の３次元空間上の位置を示す２点の座標（ｘ１，ｙ１，ｚ１）及び（ｘ２，ｙ２，ｚ２）が決定される。
【００９２】
以上のようにして検出された術部画像内の鉗子８１の位置（ｘ１，ｙ１，ｚ１）及び（ｘ２，ｙ２，ｚ２）は、注目点推定部４３に供給され、処理は図８のステップＳ３に進む。
【００９３】
ステップＳ３において、注目点推定部４３は、検出された鉗子８１の位置を延長した先に、術部８２の注目点Ｑが存在すると仮定して、３次元空間上の術部８２の注目点Ｑの位置を検出する注目点推定処理を実行する。
【００９４】
＜注目点推定処理の詳細フロー＞
図１０のフローチャートを参照して、図８のステップＳ３で実行される注目点推定処理の詳細について説明する。
【００９５】
初めに、ステップＳ４１において、注目点推定部４３は、鉗子位置検出部４２から供給された、術部画像内における３次元空間上の鉗子８１の位置（ｘ１，ｙ１，ｚ１）及び（ｘ２，ｙ２，ｚ２）を取得する。
【００９６】
ステップＳ４２において、注目点推定部４３は、ＸＹ平面における２点の鉗子座標（Ｘ１，Ｙ１）及び（Ｘ２，Ｙ２）を結ぶ線分Ａの傾きａ１を計算する。傾きａ１は、以下の式で算出することができる。
ａ１＝（Ｙ２−Ｙ１）／（Ｘ２−Ｘ１）
【００９７】
ステップＳ４３において、注目点推定部４３は、ＸＺ平面における２点の鉗子座標（Ｘ１，Ｚ１）及び（Ｘ２，Ｚ２）を結ぶ線分Ｂの傾きａ２を計算する。傾きａ２は、以下の式で算出することができる。
ａ２＝（Ｚ２−Ｚ１）／（Ｘ２−Ｘ１）
【００９８】
ステップＳ４４において、注目点推定部４３は、ＸＹ平面における線分Ａを、画面中心方向に所定の長さＷだけ延長したときのＸ座標値である座標Ｘ３を決定する。所定の長さＷは、例えば、線分Ａの１／Ｎ（Ｎは正の整数）で定義することができる。
【００９９】
ステップＳ４５において、注目点推定部４３は、Ｙ３＝ａ１*Ｘ３を計算し、ＸＹ平面における線分Ａの延長点（Ｘ３，Ｙ３）を計算する。ここで、“*”は乗算を表す。
【０１００】
ステップＳ４６において、注目点推定部４３は、線分Ａの延長点（Ｘ３，Ｙ３）のＸＺ平面上の奥行きＺ３を、Ｚ３＝ａ２*Ｘ３により計算する。ここで計算された延長点（Ｘ３，Ｙ３）の奥行きＺ３は、延長点（Ｘ３，Ｙ３）の理論値に相当する。
【０１０１】
ステップＳ４７において、注目点推定部４３は、奥行き情報生成部４１から供給された奥行き情報から、線分Ａの延長点（Ｘ３，Ｙ３）の奥行きＺ４を取得する。ここで、取得される延長点（Ｘ３，Ｙ３）の奥行きＺ４は、延長点（Ｘ３，Ｙ３）の実値に相当する。
【０１０２】
ステップＳ４８において、注目点推定部４３は、延長点（Ｘ３，Ｙ３）の理論値である奥行きＺ３が、実値の奥行きＺ４よりも大きいか否かを判定する。
【０１０３】
鉗子８１に対応する線分Ａを画面中心方向に所定の長さＷだけ延長した延長点（Ｘ３，Ｙ３）に術部８２が存在しない場合とは、術部８２がもっと奥の方に存在している場合である。この場合、奥行き情報から得られた延長点（Ｘ３，Ｙ３）の実値の奥行きＺ４は、理論値の奥行きＺ３よりも大きくなる。
【０１０４】
一方、延長点（Ｘ３，Ｙ３）に実際に術部８２が存在する場合には、延長点（Ｘ３，Ｙ３）の理論値（奥行きＺ３）よりも、奥行き情報から得られた実値（奥行きＺ４）が手前に存在する状態となるため、延長点（Ｘ３，Ｙ３）の実値の奥行きＺ４は、理論値の奥行きＺ３よりも小さくなる。
【０１０５】
したがって、ステップＳ４８では、注目点推定部４３は、線分Ａを所定の長さＷだけ延長した延長点（Ｘ３，Ｙ３）の理論値（奥行きＺ３）が、奥行き情報から得られた実値（奥行きＺ４）よりも手前に存在する状態となっているか否かを判定している。
【０１０６】
ステップＳ４８で、延長点（Ｘ３，Ｙ３）の理論値である奥行きＺ３が実値の奥行きＺ４以下である、即ち、延長点（Ｘ３，Ｙ３）の理論値の奥行きＺ３が実値の奥行きＺ４よりも手前であると判定された場合、処理はステップＳ４４に戻される。
【０１０７】
処理が戻されたステップＳ４４では、ＸＹ平面における線分Ａを、現在の延長点（Ｘ３，Ｙ３）よりもさらに画面中心方向に所定の長さＷだけ延長した座標Ｘ３が、新たな座標Ｘ３として決定される。そして、決定された新たな座標Ｘ３に対して、上述したステップＳ４５乃至Ｓ４８が再度実行される。
【０１０８】
一方、ステップＳ４８で、延長点（Ｘ３，Ｙ３）の理論値である奥行きＺ３が実値の奥行きＺ４より大きい、即ち、延長点（Ｘ３，Ｙ３）の実値の奥行きＺ４が理論値の奥行きＺ３よりも手前であると判定された場合、処理はステップＳ４９に進む。
【０１０９】
ステップＳ４９において、注目点推定部４３は、実値の奥行きＺ４をＺ座標値とする延長点（Ｘ３，Ｙ３，Ｚ４）を注目点Ｑに決定する。
【０１１０】
以上により図８のステップＳ３が終了し、処理がステップＳ４に進められる。
【０１１１】
ステップＳ４において、推定(検出)された注目点Ｑが画面上に表示される。例えば、図７を参照して説明したように、注目点Ｑの位置に所定のマークが表示される。
【０１１２】
ステップＳ５において、合焦点とする指示が出されたか否かが判断される。術者は、ディスプレイ１４に表示された注目点Ｑを、合焦点としたい場合、操作部１３のフットペダル６１を操作する。このような操作が行われた場合、推定された注目点Ｑが合焦点とする指示が出されたと判断される。
【０１１３】
なおここでは、フットペダル６１の操作が合焦点とする指示であるとして説明したが、例えば、鉗子に取り付けられているスイッチ(不図示)が操作される、音声認識で予め設定されている言葉が発せされるなどの他の方法で、合焦点とする指示が出されるように構成することも可能である。
【０１１４】
ステップＳ５において、合焦点とする指示は出されていないと判断された場合、ステップＳ１に処理が戻され、それ以降の処理が繰り返される。
【０１１５】
一方で、ステップＳ５において、合焦点とする指示が出されたと判断された場合、ステップＳ６に処理が進められ、フォーカス制御部４６によるフォーカス制御が行われる。フォーカス制御部４６は、注目点推定部４３から推定された注目点の座標位置などの情報を取得し、その情報から、注目点Ｑの位置にフォーカスが合うように、例えば、上記したコントラスト法により、フォーカス制御を行う。
【０１１６】
なお、内視鏡カメラヘッド１１が動き、撮影されている被写体表面の３次元位置が変化する可能性がある場合、図８に示したように、ステップＳ５において、合焦点とする指示は出されていないと判断された場合、ステップＳ１に処理が戻され、再度奥行き情報が生成され、それ以降の処理が繰り返される。
【０１１７】
本技術は、上述した内視鏡システムの他、顕微鏡システムについても同様に適用することができる。その場合、図１の内視鏡カメラヘッド１１に代えて、顕微鏡カメラヘッドが設けられ、CCU１２は、顕微鏡カメラヘッドで撮像された術部画像の重畳表示処理を行うことができる。
【０１１８】
顕微鏡システムで、顕微鏡カメラヘッドと被写体が固定され、撮影部２１で撮影されている被写体表面の３次元位置が変化する可能性が低い場合、図８に示したステップＳ５において、合焦点とする指示は出されていないと判断された場合、ステップＳ２に処理が戻され、それ以降の処理が繰り返されるような構成としても良い。この場合、撮影されている被写体表面の３次元位置（奥行き情報）は、最初の１回だけ取得され、その後、その取得された奥行き情報が繰り返し利用されて処理が行われる。
【０１１９】
なお、ステップＳ５において、合焦点とする指示は出されていないと判断された場合、ステップＳ２に処理が戻され、それ以降の処理が繰り返されるような構成とした場合であっても、例えば、所定の間隔毎にステップＳ１における奥行き情報の生成が行われ、奥行き情報が更新されるように構成することも可能である。
【０１２０】
上述した鉗子位置検出処理では、術部画像の奥行き情報から視差画像を生成し、直線的なエッジを検出することにより、鉗子８１を検出する例について説明したが、その他の検出方法を採用することもできる。
【０１２１】
例えば、鉗子８１の所定の２か所にマーカを付しておき、術部画像内の鉗子８１の位置（ｘ１，ｙ１，ｚ１）及び（ｘ２，ｙ２，ｚ２）として、鉗子８１に付された２か所のマーカを検出することができる。鉗子８１の形状及び色や、鉗子８１に付されているマーカの形状及び色など、施術で使用される複数種類の鉗子８１の特徴を予めデータベースとして鉗子位置検出部４２内のメモリに記憶させておき、指定された鉗子８１の情報に基づいて、マーカの検出を行うようにすることができる。
【０１２２】
このように、鉗子が指す方向が、術者が注目している方向であるとし、その方向に位置する被写体画像にフォーカスが合うように制御するため、術者は、鉗子等の器具から他を離すことなく、希望する部分にフォーカスを合わせることができる。よって、使い勝手の良い、操作性が向上した内視鏡システムや顕微鏡システムを提供することが可能となる。
【０１２３】
＜他のフォーカス処理フロー＞
内視鏡システムのフォーカス制御に係わる他の処理について、図１１に示したフローチャートを参照して説明する。
【０１２４】
ステップＳ１０１において、鉗子位置検出部４２は、術部画像内の鉗子８１の位置を検出する鉗子位置検出処理を実行する。ステップＳ１０１における処理は、術者が持つ鉗子等の棒状の器具の３次元位置を検出するための処理である。ステップＳ１０１における鉗子位置検出処理は、図１０に示したステップＳ２の処理と同様に行うことが可能である。
【０１２５】
ステップＳ１０２において、奥行き情報生成部４１は、内視鏡カメラヘッド１１の撮像部２１から供給されたR画像及びL画像から、術部画像の奥行き情報を生成する。ステップＳ１０２における処理は、撮像部２１で撮影されている被写体表面の３次元位置を決定するための処理である。ステップＳ１０２における鉗子位置検出処理は、図１０に示したステップＳ１の処理と同様に行うことが可能である。
【０１２６】
図１１に示したフローチャートに基づく処理は、図１０に示したフローチャートに基づく処理において、奥行き情報を生成した後、鉗子位置を検出するという流れを逆にし、鉗子位置を検出した後に、奥行き情報を生成する流れとなっている。
【０１２７】
鉗子位置を検出することで、鉗子の先端部の延長上であり、被写体画像と交わる部分が推定できる。その推定される被写体画像の部分に対して、奥行き情報を生成するための処理が実行される。すなわち、図１１に示したフローチャートの処理においては、奥行き情報を生成する領域を絞り込み、その絞り込まれた領域内から、奥行き情報が生成される。
【０１２８】
このように、奥行き情報を生成する領域を絞り込むことで、奥行き情報を生成するために必要される処理能力や処理時間を低減させることが可能となる。
【０１２９】
ステップＳ１０３乃至Ｓ１０６における処理は、図１０のフローチャートのステップＳ３乃至Ｓ６と同様に行われるため、その説明は省略する。
【０１３０】
このように、本技術によれば、鉗子が指している部分の画像にフォーカスを合わせることができるため、操作者は手に持つ鉗子等の器具を手から離すことなく、希望する部分にフォーカスを合わせることが出来る。よって、内視鏡システムの操作性を向上させることができる。
【０１３１】
＜記録媒体について＞
CCU１２が実行する画像処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１３２】
図１２は、CCU１２が実行する画像処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１３３】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１３４】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１３５】
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体２１１を駆動する。
【０１３６】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１３７】
コンピュータでは、プログラムは、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１３８】
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【０１３９】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１４０】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１４１】
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
【０１４２】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１４３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１４４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１４５】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
【０１４６】
なお、本開示は以下のような構成も取ることができる。
【０１４７】
（１）
手術対象の部位を含む術野を撮像することにより得られた画像から前記画像の奥行き情報を生成する生成部と、
生成された前記画像の奥行き情報を用いて、手術器具の３次元位置を検出する位置検出部と
を備える画像処理装置。
（２）
検出された前記手術器具の３次元位置と前記奥行き情報に基づいて、前記手術器具の操作を行う術者の注目点を推定する注目点推定部をさらに備える
前記（１）に記載の画像処理装置。
（３）
前記注目点推定部により推定された前記注目点にフォーカスが合うようにフォーカス制御信号を出力するフォーカス制御部をさらに備える
前記（２）に記載の画像処理装置。
（４）
前記注目点推定部は、前記手術器具の３次元位置に対応する線分を延長した延長線と前記術部との交点を、前記注目点と推定する
前記（２）に記載の画像処理装置。
（５）
前記注目点を表す所定のマークを、前記撮像部により得られた画像に重畳する
前記（２）に記載の画像処理装置。
（６）
前記フォーカス制御部は、前記術者からの指示があったとき、フォーカスの制御を行い、
前記術者からの指示は、フットペダルの操作、前記手術器具に備えられているボタンの操作、または所定の言葉の発話により出される
前記（３）に記載の画像処理装置。
（７）
前記生成部は、前記位置検出部により検出された前記手術器具の先端部分の延長上に位置する前記画像の所定の領域から、前記奥行き情報を生成する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記画像重畳部は、前記手術器具の３次元位置に対応する線分を延長した延長線をさらに表示させる
前記（５）に記載の画像処理装置。
（９）
前記位置検出部は、前記画像内の直線的なエッジの情報に基づいて、前記手術器具の３次元位置を検出する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記位置検出部は、前記視差画像内の特定色情報に基づいて前記手術器具の３次元位置を検出する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記位置検出部は、前記画像から、前記手術器具に付されたマーカを検出することで、前記手術器具の３次元位置を検出する
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
画像処理装置が、
手術対象の部位を含む術野を撮像することにより得られた画像から前記画像の奥行き情報を生成し、
生成された前記画像の奥行き情報を用いて、手術器具の３次元位置を検出する
ステップを含む画像処理方法。
（１３）
手術対象の部位を含む術野を撮像することにより得られた画像から前記画像の奥行き情報を生成し、
生成された前記画像の奥行き情報を用いて、手術器具の３次元位置を検出する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１４８】
１１  カメラヘッド，  １２  CCU，  １３  操作部，  １４  ディスプレイ，  ２１  撮像部，  ２４ａ  第１撮像センサ，  ２４ｂ  第２撮像センサ，  ４１  奥行き情報生成部，  ４２  鉗子位置検出部，  ４３  注目点推定部，  ４４  画像重畳部，  ４５  操作制御部，  ６１  フットペダル，  Ｑ  注目点，  ＱＡ  注目領域，  １１１  ガイド線，  ＱＢ  ズーム画像，  ２０１  CPU，  ２０２  ROM，  ２０３  RAM，  ２０６  入力部，  ２０７  出力部，  ２０８  記憶部，  ２０９  通信部，  ２１０  ドライブ
【図１】
2015228955.tif 000005
【図２】
2015228955.tif 000006
【図３】
2015228955.tif 000007
【図４】
2015228955.tif 000008
【図５】
2015228955.tif 000009
【図６】
2015228955.tif 000010
【図７】
2015228955.tif 000011
【図８】
2015228955.tif 000012
【図９】
2015228955.tif 000013
【図１０】
2015228955.tif 000014
【図１１】
2015228955.tif 000015
【図１２】
2015228955.tif 000016