(57)【要約】  本開示は、術中画像における生体の動きベクトルの周波数に基づいて術中画像内の特定の生体部位を含む領域を検出することができるようにする画像処理装置、画像処理方法、および手術システムに関する。動き検出部は、時刻の異なる術中画像を用いて術中画像における生体の動きベクトルを検出する。解析部は、動き検出部により検出された動きベクトルの周波数を求める。周波数マップ生成部は、解析部により求められた周波数に基づいて、術中画像内の特定の生体部位を含む領域を検出する。本開示は、例えば、内視鏡手術システムのＣＣＵ等に適用することができる。
2016194718.tif 000002
【特許請求の範囲】
【請求項１】
時刻の異なる術中画像を用いて前記術中画像における生体の動きベクトルを検出する動き検出部と、
前記動き検出部により検出された前記動きベクトルの周波数を求める解析部と、
前記解析部により求められた前記周波数に基づいて、前記術中画像内の特定の生体部位を含む領域を検出する領域検出部と
を備える画像処理装置。
【請求項２】
前記領域検出部は、前記周波数ごとに、その周波数に対応する前記特定の生体部位を含む前記領域を検出する
ように構成された
請求項１に記載の画像処理装置。
【請求項３】
前記領域検出部は、所定の周波数に対応する前記特定の生体部位を含む前記領域を検出する
ように構成された
請求項１に記載の画像処理装置。
【請求項４】
前記所定の周波数は、心拍情報に基づいて決定される
ように構成された
請求項３に記載の画像処理装置。
【請求項５】
前記領域検出部は、前記周波数と前記術中画像の特徴量とに基づいて、前記領域を検出する
ように構成された
請求項１に記載の画像処理装置。
【請求項６】
前記領域は、特定の臓器または血管を含む
ように構成された
請求項５に記載の画像処理装置。
【請求項７】
前記領域検出部により検出された前記領域の特徴に基づいて、前記領域の状態を検出する状態検出部
をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
前記領域は、血管を含む領域であり、
前記状態検出部は、前記血管の幅に基づいて、前記血管の止血状態を検出する
ように構成された
請求項７に記載の画像処理装置。
【請求項９】
前記領域の状態に基づいて生成された状態通知画像を前記術中画像に重畳する重畳部
をさらに備える
請求項７に記載の画像処理装置。
【請求項１０】
前記動き検出部により検出された前記動きベクトルに基づいて、前記領域検出部により検出された前記領域に含まれる前記特定の生体部位の種類を判別する判別部
をさらに備える
請求項１に記載の画像処理装置。
【請求項１１】
前記判別部は、前記動き検出部により検出された前記動きベクトルと前記術中画像の特徴量とに基づいて、前記特定の生体部位の種類を判別する
ように構成された
請求項１０に記載の画像処理装置。
【請求項１２】
前記領域は、血管を含む領域であり、
前記判別部は、前記血管が動脈か静脈かを判別する
ように構成された
請求項１０に記載の画像処理装置。
【請求項１３】
前記領域検出部により検出された前記領域内の前記特定の生体部位の前記動きベクトルの交点を検出する交点検出部
をさらに備える
請求項１に記載の画像処理装置。
【請求項１４】
前記領域検出部は、前記周波数と前記術中画像の特徴量に基づいて出血を含む領域を検出し、
前記交点検出部は、前記領域内の出血の前記動きベクトルの交点に基づいて、出血点を検出する
ように構成された
請求項１３に記載の画像処理装置。
【請求項１５】
画像処理装置が、
時刻の異なる術中画像を用いて前記術中画像における生体の動きベクトルを検出する動き検出ステップと、
前記動き検出ステップの処理により検出された前記動きベクトルの周波数を求める解析ステップと、
前記解析ステップの処理により求められた前記周波数に基づいて、前記術中画像内の特定の生体部位を含む領域を検出する領域検出ステップと
を含む画像処理方法。
【請求項１６】
術中画像を撮像する撮像装置と、
前記術中画像に対して画像処理を行う画像処理装置と
を備え、
前記画像処理装置は、
時刻の異なる前記術中画像を用いて前記術中画像における生体の動きベクトルを検出する動き検出部と、
前記動き検出部により検出された前記動きベクトルの周波数を求める解析部と、
前記解析部により求められた前記周波数に基づいて、前記術中画像内の特定の生体部位を含む領域を検出する領域検出部と
を備える
手術システム。
【請求項１７】
前記術中画像を撮像する撮像装置は、内視鏡である
ように構成された
請求項１６に記載の手術システム。
【請求項１８】
前記術中画像を撮像する撮像装置は、ビデオ顕微鏡である
ように構成された
請求項１６に記載の手術システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、および手術システムに関し、特に、術中画像における生体の動きベクトルの周波数に基づいて術中画像内の特定の生体部位を含む領域を検出することができるようにした画像処理装置、画像処理方法、および手術システムに関する。
【背景技術】
【０００２】
内視鏡により撮像された術中画像から色情報やエッジ情報等の特徴量を検出し、その特徴量に基づいて術中画像内の血管の領域を検出する画像処理装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−６１６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、術中画像の特徴量に基づいて、術中画像内の特定の生体部位の領域を高精度に検出することは困難である。例えば、血管の領域と血管以外の神経などの管の領域の区別ができない場合がある。【０００５】
本開示は、このような状況に鑑みてなされたものであり、術中画像における生体の動きベクトルの周波数に基づいて術中画像内の特定の生体部位を含む領域を検出することができるようにするものである。
【課題を解決するための手段】
【０００６】
本開示の第１の側面の画像処理装置は、時刻の異なる術中画像を用いて前記術中画像における生体の動きベクトルを検出する動き検出部と、前記動き検出部により検出された前記動きベクトルの周波数を求める解析部と、前記解析部により求められた前記周波数に基づいて、前記術中画像内の特定の生体部位を含む領域を検出する領域検出部とを備える画像処理装置である。【０００７】
本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。【０００８】
本開示の第１の側面においては、時刻の異なる術中画像を用いて前記術中画像における生体の動きベクトルが検出され、前記動きベクトルの周波数が求められ、前記周波数に基づいて、前記術中画像内の特定の生体部位を含む領域が検出される。【０００９】
なお、第１の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。【００１０】
また、第１の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。【００１１】
本開示の第２の側面の手術システムは、術中画像を撮像する撮像装置と、前記術中画像に対して画像処理を行う画像処理装置とを備え、前記画像処理装置は、時刻の異なる前記術中画像を用いて前記術中画像における生体の動きベクトルを検出する動き検出部と、前記動き検出部により検出された前記動きベクトルの周波数を求める解析部と、前記解析部により求められた前記周波数に基づいて、前記術中画像内の特定の生体部位を含む領域を検出する領域検出部とを備える手術システムである。【００１２】
本開示の第２の側面においては、術中画像が撮像され、前記術中画像に対して画像処理が行われる。画像処理は、時刻の異なる前記術中画像を用いて前記術中画像における生体の動きベクトルを検出し、検出された前記動きベクトルの周波数を求め、前記周波数に基づいて、前記術中画像内の特定の生体部位を含む領域を検出する処理である。
【発明の効果】
【００１３】
本開示の第１および第２の側面によれば、術中画像に対して画像処理を行うことができる。また、本開示の第１および第２の側面によれば、術中画像における生体の動きベクトルの周波数に基づいて術中画像内の特定の生体部位を含む領域を検出することができる。【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本開示を適用した内視鏡手術システムの第１実施の形態の構成例を示す図である。
【図２】図１のＣＣＵの構成例を示すブロック図である。
【図３】水平方向の動きベクトルの周波数を説明する図である。
【図４】周波数マップの例を示す図である。
【図５】図２のＣＣＵの画像処理を説明するフローチャートである。
【図６】本開示を適用した内視鏡手術システムの第２実施の形態のＣＣＵの構成例を示すブロック図である。
【図７】同期マップの例を示す図である。
【図８】図６のＣＣＵの画像処理を説明するフローチャートである。
【図９】本開示を適用した内視鏡手術システムの第３実施の形態のＣＣＵの構成例を示すブロック図である。
【図１０】特徴量に基づく血管の領域の検出結果を示す図である。
【図１１】臓器マップを示す図である。
【図１２】図９のＣＣＵの処理を説明するフローチャートである。
【図１３】本開示を適用した内視鏡手術システムの第４実施の形態のＣＣＵの構成例を示すブロック図である。
【図１４】鉗子で血管をクリップする前の術中画像の例を示す図である。
【図１５】鉗子で血管をクリップした後の術中画像の例を示す図である。
【図１６】図１３のＣＣＵの処理を説明するフローチャートである。
【図１７】本開示を適用した内視鏡手術システムの第５実施の形態のＣＣＵの構成例を示すブロック図である。
【図１８】動静脈マップの例を示す図である。
【図１９】図１７のＣＣＵの画像処理を説明するフローチャートである。
【図２０】本開示を適用した内視鏡手術システムの第６実施の形態のＣＣＵの構成例を示すブロック図である。
【図２１】出血点の検出を説明する図である。
【図２２】図２０の画像処理を説明するフローチャートである。
【図２３】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：内視鏡手術システム（図１乃至図５）
２．第２実施の形態：内視鏡手術システム（図６乃至図８）
３．第３実施の形態：内視鏡手術システム（図９乃至図１２）
４．第４実施の形態：内視鏡手術システム（図１３乃至図１６）
５．第５実施の形態：内視鏡手術システム（図１７乃至図１９）
６．第６実施の形態：内視鏡手術システム（図２０乃至図２２）
７．第７実施の形態：コンピュータ（図２３）
【００１７】
＜第１実施の形態＞
（内視鏡手術システムの第１実施の形態の構成例）
図１は、本開示を適用した内視鏡手術システムの第１実施の形態の構成例を示す図である。
【００１８】
内視鏡手術システム１０は、表示装置１１、ＣＣＵ（カメラコントロールユニット）１２、光源装置１３、処置具用装置１４、気腹装置１５、レコーダ１６、およびプリンタ１７が搭載されたカート１８を備える。また、内視鏡手術システム１０は、内視鏡（腹腔鏡）１９、エネルギ処置具２０、鉗子２１、トロッカ２２乃至２５、フットスイッチ２６、および患者ベッド２７を有する。内視鏡手術システム１０は、例えば手術室に配置され、患者ベッド２７に横たわった患者の腹部３１に含まれる患部に対して腹腔鏡下手術を行う術者を支援する。
【００１９】
具体的には、内視鏡手術システム１０の表示装置１１は、据え置き型の２Ｄディスプレイやヘッドマウントディスプレイなどにより構成される。表示装置１１は、ＣＣＵ１２から供給される術中画像等を表示する。
【００２０】
ＣＣＵ１２は、カメラケーブルを介して内視鏡１９と接続する。なお、ＣＣＵ１２は、内視鏡１９と無線で接続していてもよい。ＣＣＵ１２は、内視鏡１９により撮像され、カメラケーブルを介して送信されてくるフレーム単位の術中画像を受信する。ＣＣＵ１２は、必要に応じて、受信された術中画像をレコーダ１６やプリンタ１７に供給する。
【００２１】
また、ＣＣＵ１２（画像処理装置）は、術中画像に対して画像処理を行う。ＣＣＵ１２は、フットスイッチ２６から供給される操作信号に応じて、術中画像と画像処理結果を切り換えて表示装置１１に供給し、表示させる。
【００２２】
光源装置１３は、ライトガイドケーブルを介して内視鏡１９と接続する。光源装置１３は、各種の波長の光（白色光、特殊光など）を切り換えて内視鏡１９に出射する。
【００２３】
処置具用装置１４は、高周波出力装置であり、ケーブルを介してエネルギ処置具２０およびフットスイッチ２６と接続する。処置具用装置１４は、フットスイッチ２６から供給される操作信号に応じて、エネルギ処置具２０に高周波電流を出力する。
【００２４】
気腹装置１５は、送気手段および吸気手段を備え、腹部３１の腹壁に取り付けられた開孔器具であるトロッカ２４の孔から、腹部３１の内部に空気を送気する。
【００２５】
レコーダ１６は、ＣＣＵ１２から供給される術中画像を記録する。プリンタ１７は、ＣＣＵから供給される術中画像を印刷する。
【００２６】
内視鏡１９(撮像装置)は、撮像部と照明レンズなどの光学系とを備えるスコープ、カメラヘッドなどにより構成される。内視鏡１９は、腹部３１の腹壁に取り付けられたトロッカ２２の孔から、手術対象である腹部３１の内部に挿入される。内視鏡１９の光学系は、光源装置１３から出射され、カメラヘッドを介して供給される光を腹部３１の内部に照射し、撮像部は、腹部３１の内部の術中画像を撮像する。内視鏡１９は、カメラヘッドとカメラケーブルを介して術中画像をＣＣＵ１２に供給する。
【００２７】
エネルギ処置具２０は、電気メスなどにより構成される。エネルギ処置具２０は、腹部３１の腹壁に取り付けられたトロッカ２３の孔から、腹部３１の内部に挿入される。エネルギ処置具２０は、腹部３１の内部を、電気熱を用いて変性させたり、切断したりする。
【００２８】
鉗子２１は、腹部３１の腹壁に取り付けられたトロッカ２５の孔から、腹部３１の内部に挿入される。鉗子２１は、腹部３１の内部を把持する。内視鏡１９、エネルギ処置具２０、および鉗子２１は、術者、助手、スコピスト、またはロボット等により把持される。
【００２９】
フットスイッチ２６は、術者や助手等の足による操作を受け付ける。フットスイッチ２６は、受け付けた操作を表す操作信号を、ＣＣＵ１２や処置具用装置１４に供給する。
【００３０】
以上のように構成される内視鏡手術システム１０において、術者等は、フットスイッチ２６を操作することにより、表示装置１１の表示対象を術中画像と画像処理結果の一方から他方に切り替える。
【００３１】
（ＣＣＵの構成例）
図２は、図１のＣＣＵ１２の構成例を示すブロック図である。
【００３２】
図２のＣＣＵ１２は、動き検出部４１、解析部４２、周波数マップ生成部４３、および切替部４４により構成される。
【００３３】
ＣＣＵ１２の動き検出部４１は、図１の内視鏡１９からフレーム単位の術中画像を受信し、保持する。また、動き検出部４１は、その術中画像と、その術中画像より前のフレーム（時刻）の保持している術中画像とを用いて、検出単位（例えば１以上の画素）ごとに、術中画像における生体の動き量と動き方向を表す動きベクトルを検出する。動きベクトルの検出方法としては、ブロックマッチング法や勾配法などがある。動き検出部４１は、術中画像の各検出単位の動きベクトルを解析部４２に供給する。
【００３４】
解析部４２は、動き検出部４１から供給される動きベクトルを、複数フレーム（例えば60フレーム（１秒間））である解析フレーム分保持する。解析部４２は、保持している解析フレーム分の動きベクトルを水平方向および垂直方向の動きベクトルに分解する。解析部４２は、検出単位ごとに、解析フレーム分の水平方向および垂直方向の動きベクトルのうちの、動き量の最大値が大きい方の周波数を求める。
【００３５】
動きベクトルの周波数を求める方法としては、例えば動きベクトルに対してFFT（Fast Fourier Transform）を行う方法がある。これにより、解析フレームの間に動きベクトルの所定の時間変化が繰り返される検出単位において、その時間変化の周期に対応する周波数が求められる。解析フレームを構成するフレーム数が多いほど周波数の精度が向上するが、多くの計算時間を要するため、リアルタイム性が失われる。解析部４２は、各画素の周波数を画素値として表す周波数画像を周波数マップ生成部４３に供給する。
【００３６】
周波数マップ生成部４３は、解析部４２から供給される周波数画像に基づいて、周波数が近い、連続する検出単位からなる画像内の領域を検出し、その領域の画像内の位置と周波数の平均値とを表す周波数マップを生成する。
【００３７】
具体的には、周波数マップ生成部４３（領域検出部）は、周波数画像を平滑化し、平滑化後の周波数画像に対して周波数ごとに領域分割を行って、各周波数に対応する特定の生体部位（例えば、特定の臓器、血管、血液など）を含む領域を検出する。なお、周波数を求めることができなかった検出単位は、周波数不定領域に分割される。周波数マップ生成部４３は、周波数画像内の各領域を、その領域に対応する周波数に割り当てられた色で表す周波数マップを生成し、切替部４４に供給する。
【００３８】
切替部４４は、フットスイッチ２６から送信されてくる操作信号に応じて、内視鏡１９から送信されてくるフレーム単位の術中画像、または、周波数マップ生成部４３から供給される周波数マップを選択する。切替部４４は、選択された術中画像または周波数マップを図１の表示装置１１に送信する。
【００３９】
（水平方向の動きベクトルの周波数の説明）
図３は、解析部４２により求められる水平方向の動きベクトルの周波数を説明する図である。
【００４０】
図３において、横軸は、時刻（フレーム）を表し、縦軸は水平方向の動きベクトル値を表している。動きベクトル値は、動きベクトルが表す動きの方向を正負で表し、動き量を値で表す値である。動きベクトルが表す動きの方向が右方向である場合、例えば、水平方向の動きベクトル値は正の値であり、左方向である場合、動きベクトル値は負の値である。
【００４１】
図３の例では、解析フレーム数に相当する時間Ｔの間の水平方向の動きベクトル値の絶対値（振幅）、即ち動き量の最大値が、絶対値Ａである。この絶対値Ａが、垂直方向の動きベクトル値の絶対値の最大値に比べて大きい場合、解析部４２は、水平方向の動きベクトルの周波数を検出する。図３の例では、水平方向の動きベクトル値の所定の時間変化が２回繰り返されているため、周期1/2Ｔに対応する周波数が、水平方向の動きベクトルの周波数として検出される。
【００４２】
なお、図示は省略するが、垂直方向の動きベクトルの周波数も、水平方向の動きベクトルの周波数と同様に求められる。
【００４３】
（周波数マップの例）
図４は、周波数マップの例を示す図である。
【００４４】
図４の例では、平滑化後の周波数画像が、１Ｈｚ、４０Ｈｚ、または２Ｈｚを表す検出単位と、周波数を求めることができなかった検出単位とにより構成されている。この場合、周波数マップ生成部４３は、平滑化後の周波数画像を、周波数が、それぞれ、１Ｈｚ、４０Ｈｚ、２Ｈｚである領域５１乃至５３と、周波数を求めることができなかった領域である周波数不定領域５４の合計４つの領域に分割する。
【００４５】
そして、周波数マップ生成部４３は、領域５１乃至５３および周波数不定領域５４のそれぞれに対して異なる色を割り当て、領域５１乃至５３および周波数不定領域５４の色がそれぞれ異なる周波数マップ５０を生成する。
【００４６】
（ＣＣＵの処理の説明）
図５は、図２のＣＣＵ１２の画像処理を説明するフローチャートである。
【００４７】
図５のステップＳ１１において、ＣＣＵ１２の動き検出部４１と切替部４４は、図１の内視鏡１９からフレーム単位の術中画像を受信する。動き検出部４１は、受信されたフレーム単位の術中画像を保持する。
【００４８】
ステップＳ１２において、切替部４４は、受信されたフレーム単位の術中画像を図１の表示装置１１に送信する。
【００４９】
ステップＳ１３において、動き検出部４１は、ステップＳ１１で受信されたフレーム単位の術中画像と、その術中画像より前のフレームの保持している術中画像とを用いて、検出単位ごとに、術中画像における生体の動きベクトルを検出する。動き検出部４１は、術中画像の各検出単位の動きベクトルを解析部４２に供給する。解析部４２は、動き検出部４１から供給される動きベクトルを保持する。
【００５０】
ステップＳ１４において、解析部４２は、動きベクトルを解析フレーム分保持しているかどうかを判定する。ステップＳ１４でまだ動きベクトルを解析フレーム分保持していないと判定された場合、処理はステップＳ１１に戻り、解析部４２が解析フレーム分の動きベクトルを保持するまで、ステップＳ１１乃至Ｓ１４の処理が繰り返される。
【００５１】
一方、ステップＳ１４で動きベクトルを解析フレーム分保持していると判定された場合、処理はステップＳ１５に進む。ステップＳ１５において、解析部４２は、保持している解析フレーム分の動きベクトルに基づいて、検出単位ごとに動きベクトルの周波数を求める。解析部４２は、求められた各画素の周波数を画素値として表す周波数画像を、周波数マップ生成部４３に供給する。
【００５２】
ステップＳ１６において、周波数マップ生成部４３は、解析部４２から供給される周波数画像を平滑化し、平滑化後の周波数画像に対して領域分割を行う。周波数マップ生成部４３は、分割された周辺画像内の各領域を、その領域に対応する周波数に割り当てられた色で表す周波数マップを生成する。周波数マップ生成部４３は、周波数マップを切替部４４に供給する。
【００５３】
ステップＳ１７において、切替部４４は、フットスイッチ２６から受信される操作信号に応じて、直前のステップＳ１１の処理で受信された術中画像、または、周波数マップ生成部４３から供給される周波数マップを表示装置１１に送信する。
【００５４】
ステップＳ１８において、ＣＣＵ１２は、画像処理を終了するかどうか、例えばユーザにより画像処理の終了を指示するためのフットスイッチ２６の操作が行われたかどうかを判定する。ステップＳ１８で画像処理を終了しないと判定された場合、処理はステップＳ１１に戻り、画像処理を終了すると判定されるまで、ステップＳ１１乃至Ｓ１８の処理が行われる。このとき、ステップＳ１３の処理では、解析部４２は、動き検出部４１から供給される動きベクトルを、保持している最も古い動きベクトルに代えて保持する。即ち、解析部４２は、最新の解析フレーム分の動きベクトルのみを保持する。
【００５５】
一方、ステップＳ１８で画像処理を終了すると判定された場合、処理は終了する。
【００５６】
以上のように、ＣＣＵ１２は、術中画像における生体の動きベクトルの周波数に基づいて、術中画像内の動きベクトルの周波数の異なる特定の生体部位を含む領域を高精度で検出することができる。また、ＣＣＵ１２は、周波数マップと術中画像を切り替えて表示させるので、術者等は、術中画像内の血管や心臓等心拍と同期して動く生体部位の領域と、肺や横隔膜等呼吸と連動して動く生体部位の領域とを容易に識別することができる。その結果、手術の精度向上や時間短縮が期待できる。
【００５７】
＜第２実施の形態＞
（内視鏡手術システムの第２実施の形態のＣＣＵの構成例）
本開示を適用した内視鏡手術システムの第２実施の形態の構成は、ＣＣＵの構成を除いて、図１の内視鏡手術システム１０の構成と同一である。従って、以下では、ＣＣＵについてのみ説明する。
【００５８】
図６は、本開示を適用した内視鏡手術システムの第２実施の形態のＣＣＵの構成例を示すブロック図である。
【００５９】
図６に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００６０】
図６のＣＣＵ７０の構成は、同期マップ生成部７１が新たに設けられる点、および、切替部４４の代わりに切替部７２が設けられる点が、図２のＣＣＵ１２の構成と異なる。ＣＣＵ７０は、周波数マップではなく、周波数マップ内の領域のうちの所定の周波数に対応する領域を他の領域と異なる色で表す同期マップを、画像処理結果として表示装置１１に表示させる。
【００６１】
具体的には、同期マップ生成部７１（領域検出部）は、周波数マップ生成部４３から供給される周波数マップと、図示せぬ外部機器から入力される周波数を表す周波数情報とに基づいて、周波数マップ内の領域のうちの、周波数情報が表す周波数に対応する特定の生体部位を含む領域を検出する。
【００６２】
より詳細には、同期マップ生成部７１は、周辺マップ内の領域ごとに、その領域に対応する周波数と周波数情報が表す周波数との同期の有無を判定する。そして、同期マップ生成部７１は、周波数マップ内の同期しないと判定された領域を削除することにより、同期マップを生成する。なお、周波数情報としては、例えば、心電計から入力される心拍に基づいて決定される周波数を表す心拍情報などがある。同期マップ生成部７１は、同期マップを切替部７２に供給する。
【００６３】
切替部７２は、フットスイッチ２６から送信されてくる操作信号に応じて、内視鏡１９から受信されたフレーム単位の術中画像または同期マップ生成部７１から供給される同期マップを、図１の表示装置１１に送信する。
【００６４】
（同期マップの例）
図７は、同期マップの例を示す図である。
【００６５】
図７の例では、周波数マップ生成部４３により図４の周波数マップ５０が生成されている。また、周波数情報が表す周波数は４０Ｈｚである。
【００６６】
この場合、同期マップ生成部７１は、周波数マップ５０の領域５１乃至５３および周波数不定領域５４のうちの、４０Ｈｚに対応する領域５２以外を削除し、図７の同期マップ８０を生成する。
【００６７】
（ＣＣＵの処理の説明）
図８は、図６のＣＣＵ７０の画像処理を説明するフローチャートである。
【００６８】
図８のステップＳ３１乃至Ｓ３６の処理は、図５のステップＳ１１乃至Ｓ１６の処理と同様であるので、説明は省略する。
【００６９】
ステップＳ３７において、同期マップ生成部７１は、周波数マップ生成部４３から供給される周波数マップと、図示せぬ外部機器から入力される周波数情報とに基づいて、同期マップを生成する。同期マップ生成部７１は、同期マップを切替部７２に供給する。
【００７０】
ステップＳ３８において、切替部７２は、フットスイッチ２６から受信された操作信号に応じて、直前のステップＳ３１の処理で受信されたフレーム単位の術中画像、または、同期マップ生成部７１から供給される同期マップを、表示装置１１に送信する。
【００７１】
ステップＳ３９の処理は、図５のステップＳ１８の処理と同様であるので、説明は省略する。
【００７２】
以上のように、ＣＣＵ１００は、同期マップと術中画像を切り換えて表示させるので、術者等は、術中画像内の所定の周波数で動く生体部位（例えば心拍と同期して動く血管など）を容易に識別することができる。
【００７３】
＜第３実施の形態＞
（内視鏡手術システムの第３実施の形態のＣＣＵの構成例）
本開示を適用した内視鏡手術システムの第３実施の形態の構成は、ＣＣＵの構成を除いて、図１の内視鏡手術システム１０の構成と同一である。従って、以下では、ＣＣＵについてのみ説明する。
【００７４】
図９は、本開示を適用した内視鏡手術システムの第３実施の形態のＣＣＵの構成例を示すブロック図である。
【００７５】
図９に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００７６】
図９のＣＣＵ１００の構成は、特徴量検出部１０１および領域検出部１０２が新たに設けられる点と、切替部７２の代わりに切替部１０３が設けられる点とが、図６のＣＣＵ７０構成と異なる。ＣＣＵ１００は、同期マップと術中画像の特徴量に基づいて特定の臓器または血管の領域を検出する。
【００７７】
具体的には、特徴量検出部１０１は、内視鏡１９から受信される術中画像から、エッジ情報や、輝度、彩度、色相などの色情報を特徴量として検出し、領域検出部１０２に供給する。
【００７８】
領域検出部１０２は、同期マップ生成部７１により生成される同期マップと、特徴量検出部１０１から供給される特徴量とに基づいて、特定の臓器または血管の領域を検出する。領域検出部１０２は、検出された特定の臓器または血管の領域を所定の色で表す術中画像と同一のサイズの臓器マップを切替部１０３に供給する。
【００７９】
切替部１０３は、フットスイッチ２６から受信された操作信号に応じて、内視鏡１９から受信されたフレーム単位の術中画像、または、領域検出部１０２から供給される臓器マップを、図１の表示装置１１に送信する。
【００８０】
（臓器マップの説明）
図１０は、特徴量に基づく血管の領域の検出結果を示す図であり、図１１は、臓器マップを示す図である。
【００８１】
図１０および図１１の例では、同期マップ生成部７１は、心拍情報に基づいて図７の同期マップ８０を生成している。また、領域検出部１０２は、血管の領域を検出する。
【００８２】
この場合、領域検出部１０２は、まず、術中画像１１０の特徴量に基づいて、図１０に示すように、術中画像１１０内の細管の領域１１１乃至１１３を血管の領域として検出する。即ち、領域検出部１０２は、術中画像１１０の特徴量だけでは血管の領域を識別することはできず、血管を含む細管の領域１１１乃至１１３を血管の領域として検出する。
【００８３】
次に、領域検出部１０２は、領域１１１乃至１１３と同期マップ８０に基づいて、細管の領域１１１乃至１１３のうちの、同期マップ８０に含まれる領域５２と重複する領域１１２を、最終的な血管の領域として検出する。即ち、領域検出部１０２は、細管の領域１１１乃至１１３のうちの心拍と同期して動く領域１１２を、血管の領域として識別する。そして、領域検出部１０２は、領域１１２を所定の色で表す術中画像と同一のサイズの臓器マップ１１５を生成する。
【００８４】
（ＣＣＵの処理の説明）
図１２は、図９のＣＣＵ１００の処理を説明するフローチャートである。
【００８５】
図１２のステップＳ５１乃至Ｓ５７の処理は、図８のステップＳ３１乃至Ｓ３７の処理と同一であるので、説明は省略する。
【００８６】
ステップＳ５８において、特徴量検出部１０１は、内視鏡１９から受信される術中画像から特徴量を検出し、領域検出部１０２に供給する。
【００８７】
ステップＳ５９において、領域検出部１０２は、特徴量検出部１０１から供給される特徴量に基づいて、特定の臓器または血管の領域を検出する。ステップＳ５３において、領域検出部１０２は、ステップＳ５２の検出結果と同期マップ生成部７１により生成される同期マップとに基づいて臓器マップを生成し、切替部１０３に供給する。
【００８８】
ステップＳ６１において、切替部１０３は、フットスイッチ２６から受信された操作信号に応じて、直前のステップＳ５１の処理で受信されたフレーム単位の術中画像、または、領域検出部１０２から供給される臓器マップを、表示装置１１に送信する。
【００８９】
ステップＳ６２の処理は、図８のステップＳ３９の処理と同様であるので、説明は省略する。
【００９０】
以上のように、ＣＣＵ１００は、術中画像の特徴量だけでなく、同期マップにも基づいて特定の臓器または血管の領域を検出するので、高精度で特定の臓器または血管の領域を検出することができる。その結果、術者等は、表示装置１１に表示される臓器マップにより、術中画像内の特定の臓器または血管の領域を高精度に識別することができる。
【００９１】
＜第４実施の形態＞
（内視鏡手術システムの第４実施の形態のＣＣＵの構成例）
本開示を適用した内視鏡手術システムの第４実施の形態の構成は、ＣＣＵの構成を除いて、図１の内視鏡手術システム１０の構成と同一である。従って、以下では、ＣＣＵについてのみ説明する。
【００９２】
図１３は、本開示を適用した内視鏡手術システムの第４実施の形態のＣＣＵの構成例を示すブロック図である。
【００９３】
図１３に示す構成のうち、図９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００９４】
図１３のＣＣＵ１２０の構成は、同期マップ生成部７１、領域検出部１０２、切替部１０３の代わりに、同期マップ生成部１２１、領域検出部１２２、重畳部１２４が設けられる点、および、幅検出部１２３が新たに設けられる点が、図９のＣＣＵ１００の構成と異なる。ＣＣＵ１２０は、術中画像から検出された血管の領域の幅に基づいて血管の状態を検出する。
【００９５】
具体的には、ＣＣＵ１２０の同期マップ生成部１２１は、周波数マップ生成部４３から供給される周波数マップと、図示せぬ心電計などから入力される心拍の心拍情報とに基づいて、周波数マップ内の領域のうちの心拍に対応する領域を検出し、同期マップを生成する。同期マップ生成部１２１は、同期マップを領域検出部１２２に供給する。
【００９６】
領域検出部１２２は、同期マップ生成部１２１により生成される同期マップと、特徴量検出部１０１から供給される特徴量とに基づいて、血管の領域を検出する。領域検出部１２２は、検出された血管の領域を所定の色で表す術中画像と同一のサイズの血管マップを幅検出部１２３に供給する。
【００９７】
幅検出部１２３（状態検出部）は、領域検出部１０２から供給される血管マップ内の血管の領域の幅を、血管の領域の特徴として検出する。幅検出部１２３は、血管の領域の幅の時間変化に基づいて血管の止血状態を検出し、検出結果を重畳部１２４に供給する。
【００９８】
重畳部１２４は、フットスイッチ２６から受信された操作信号に応じて、幅検出部１２３から供給される検出結果を表す状態通知画像を、内視鏡１９から受信された術中画像に重畳する。状態通知画像は、例えば、検出結果が止血状態である場合、「止血成功」というメッセージの画像であり、検出結果が止血状態ではない場合、「止血失敗」というメッセージの画像である。
【００９９】
重畳部１２４は、操作信号に応じて、状態通知画像が重畳された術中画像、または、状態通知画像が重畳されない術中画像を表示装置１１に送信する。
【０１００】
（止血状態の検出の説明）
図１４は、鉗子２１で血管をクリップする前の術中画像の例を示す図であり、図１５は、鉗子２１で血管をクリップした後の術中画像の例を示す図である。
【０１０１】
領域検出部１２２が、図１４の鉗子２１で血管１３１をクリップする前の術中画像１３２を用いて血管１３１の領域を検出する場合、幅検出部１２３は、血管１３１の領域の最大の幅Ｗ１を検出する。
【０１０２】
術者等が、この血管１３１の一部を鉗子２１でクリップし、これにより止血が成功すると、鉗子２１より上流側（図１５の例では左側）の血圧が上がるため、図１５に示すように、鉗子２１より上流側の血管１３１の幅が、幅Ｗ１より太くなる。また、鉗子２１より下流側（図１５の例では右側）の血圧が下がるため、鉗子２１より下流側の血管１３１の幅が、幅Ｗ１より細くなる。
【０１０３】
即ち、領域検出部１２２により、図１５の鉗子２１で血管１３１をクリップした後の術中画像１３３を用いて抽出された血管１３１の領域の最大の幅Ｗ２は、幅Ｗ１より太くなり、最小の幅Ｗ３は、幅Ｗ１より細くなる。従って、幅検出部１２３は、血管１３１の最大の幅が太くなった場合、血管１３１の状態が止血状態であることを検出する。
【０１０４】
これに対して、止血が失敗している場合、鉗子２１による血圧の変化は起こらず、血管１３１の領域の最大の幅は、幅Ｗ１と同一である。従って、幅検出部１２３は、血管１３１の最大の幅が変化しない場合、血管１３１の状態が止血状態ではないことを検出する。
【０１０５】
なお、血管１３１が破れ、出血している状態で、鉗子２１を用いて血管１３１をクリップする場合、血管１３１の領域の端部でクリップが行われるため、鉗子２１より下流側の血管１３１は存在しない。しかしながら、この場合であっても、鉗子２１より上流側の血圧が上がるため、鉗子２１より上流側の血管１３１の幅は幅Ｗ１より太くなるため、血管１３１の最大の幅がＷ１より太くなったかどうかによって、血管の止血状態を検出することができる。
【０１０６】
（ＣＣＵの処理の説明）
図１６は、図１３のＣＣＵ１２０の処理を説明するフローチャートである。
【０１０７】
図１６のステップＳ７１乃至Ｓ７６の処理は、図１２のステップＳ５１乃至Ｓ５６の処理と同様であるので、説明は省略する。
【０１０８】
ステップＳ７７において、ＣＣＵ１２０の同期マップ生成部１２１は、周波数マップ生成部４３から供給される周波数マップと、図示せぬ心電計などから入力される心拍の心拍情報とに基づいて、同期マップを生成する。同期マップ生成部１２１は、同期マップを領域検出部１２２に供給する。
【０１０９】
ステップＳ７８において、特徴量検出部１０１は、内視鏡１９から受信される術中画像から特徴量を検出し、領域検出部１２２に供給する。
【０１１０】
ステップＳ７９において、領域検出部１２２は、特徴量検出部１０１から供給される特徴量に基づいて、血管の領域を検出する。ステップＳ８０において、領域検出部１２２は、ステップＳ７９の検出結果と同期マップ生成部１２１から供給される同期マップとに基づいて血管マップを生成し、幅検出部１２３に供給する。
【０１１１】
ステップＳ８１において、幅検出部１２３は、領域検出部１０２から供給される血管マップ内の血管の領域の幅を検出する。
【０１１２】
ステップＳ８２において、幅検出部１２３は、血管の領域の幅の時間変化に基づいて血管の止血状態を検出し、検出結果を重畳部１２４に供給する。重畳部１２４は、フットスイッチ２６から受信された操作信号に応じて、直前のステップＳ７２の処理で受信された術中画像に、幅検出部１２３から供給される検出結果を表す状態通知画像を重畳する。
【０１１３】
ステップＳ８３において、重畳部１２４は、直前のステップＳ７２の処理で内視鏡１９から受信された術中画像、または、状態通知画像が重畳された術中画像を、表示装置１１に送信する。
【０１１４】
ステップＳ８４の処理は、図１２のステップＳ６２の処理と同様であるので、説明は省略する。
【０１１５】
＜第５実施の形態＞
（内視鏡手術システムの第５実施の形態のＣＣＵの構成例）
本開示を適用した内視鏡手術システムの第５実施の形態の構成は、ＣＣＵの構成を除いて、図１の内視鏡手術システム１０の構成と同一である。従って、以下では、ＣＣＵについてのみ説明する。
【０１１６】
図１７は、本開示を適用した内視鏡手術システムの第５実施の形態のＣＣＵの構成例を示すブロック図である。
【０１１７】
図１７に示す構成のうち、図１３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１８】
図１７のＣＣＵ１４０の構成は、幅検出部１２３、重畳部１２４の代わりに、判別部１４１、切替部１４２が設けられる点が、図１３のＣＣＵ１２０の構成と異なる。ＣＣＵ１４０は、術中画像の動きベクトルと特徴量に基づいて、血管の領域のうちの動脈の領域と静脈の領域を判別する。
【０１１９】
具体的には、ＣＣＵ１４０の判別部１４１は、動き検出部４１により検出された動きベクトルと特徴量検出部１０１により検出された術中画像の特徴量とに基づいて、領域検出部１２２により生成された血管マップ内の血管の領域が動脈の領域であるか、または、静脈の領域であるかを判別する。
【０１２０】
即ち、一般的に、動脈血は、静脈血に比べて輝度と彩度が高く、色相がプラス側（分光特性が長波長側）に寄っている。また、隣り合う血管どうしは、動脈と静脈のペアであることが多いため、血流の方向が逆であることが多い。さらに、動脈は、静脈と比較して拍動が大きい。
【０１２１】
以上により、判別部１４１は、血管マップ内の血管の領域の動きベクトルと特徴量のうちの色情報に基づいて主成分分析等を行うことにより、その領域が動脈の領域であるか、または、静脈の領域であるかを判別する。即ち、判別部１４１は、血管の領域に含まれる血管の種類を判別する。判別部１４１は、各領域の判別結果に基づいて、血管マップのうちの静脈の領域と動脈の領域の色を異ならせることにより、動静脈マップを生成し、切替部１４２に供給する。
【０１２２】
切替部１４２は、フットスイッチ２６から受信された操作信号に応じて、内視鏡１９から受信された術中画像、または、判別部１４１から供給される動静脈マップを、表示装置１１に送信する。
【０１２３】
（動静脈マップの例）
図１８は、動静脈マップの例を示す図である。
【０１２４】
判別部１４１は、例えば、水平方向または垂直方向の動きベクトル値の平均値の正負が反対である隣り合う血管の領域のペアのうちの、動き量、輝度、および彩度が大きく、色相がプラス側に寄っている方を、動脈の領域と判別し、もう一方を、静脈の領域と判別する。
【０１２５】
その結果、図１８に示すように、動静脈マップ１５０内の隣り合う血管の領域１５１と領域１５２の色は異なっている。例えば、動静脈マップ１５０内の領域１５１の色は、静脈の領域を表す色であり、領域１５２の色は、動脈の領域を表す色である。
【０１２６】
（ＣＣＵの処理の説明）
図１９は、図１７のＣＣＵ１４０の画像処理を説明するフローチャートである。
【０１２７】
図１９のステップＳ１０１乃至Ｓ１１０の処理は、図１６のステップＳ７１乃至Ｓ８０の処理と同様であるので、説明は省略する。
【０１２８】
ステップＳ１１１において、ＣＣＵ１４０の判別部１４１は、動きベクトルと術中画像の特徴量とに基づいて、血管マップ内の血管の領域が動脈の領域であるか、または、静脈の領域であるかを判別し、動静脈マップを生成する。判別部１４１は、動静脈マップを切替部１４２に供給する。
【０１２９】
ステップＳ１１２において、切替部１４２は、フットスイッチ２６から受信された操作信号に応じて、内視鏡１９から受信された術中画像、または、判別部１４１から供給される動静脈マップを、表示装置１１に送信する。
【０１３０】
ステップＳ１１３の処理は、図１６のステップＳ８４の処理と同様であるので、説明は省略する。
【０１３１】
以上のように、ＣＣＵ１４０は、術中画像の特徴量と動きベクトルに基づいて、血管の領域のうちの動脈の領域と静脈の領域を判別する。従って、動脈の領域と静脈の領域を高精度で判別することができる。
【０１３２】
これに対して、色情報のみを用いて動脈の領域と静脈の領域の判別を行う場合、術中画像の撮影時の照明状況や血管の深さによって色情報が変化するため、動脈の領域と静脈の領域を高精度で判別することは難しい。
【０１３３】
なお、第５実施の形態では、術中画像の特徴量と動きベクトルの両方に基づいて動脈の領域と静脈の領域の判別が行われたが、いずれか一方に基づいて判別が行われるようにしてもよい。
【０１３４】
＜第６実施の形態＞
（内視鏡手術システムの第６実施の形態のＣＣＵの構成例）
本開示を適用した内視鏡手術システムの第６実施の形態の構成は、ＣＣＵの構成を除いて、図１の内視鏡手術システム１０の構成と同一である。従って、以下では、ＣＣＵについてのみ説明する。
【０１３５】
図２０は、本開示を適用した内視鏡手術システムの第６実施の形態のＣＣＵの構成例を示すブロック図である。
【０１３６】
図２０に示す構成のうち、図１７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１３７】
図２０のＣＣＵ１６０の構成は、領域検出部１２２、判別部１４１、切替部１４２の代わりに、領域検出部１６１、交点検出部１６２、重畳部１６３が設けられる点が、図１７のＣＣＵ１４０の構成と異なる。ＣＣＵ１６０は、同期マップと特徴量に基づいて出血領域を検出し、出血領域の動きベクトルに基づいて出血点を検出する。
【０１３８】
具体的には、ＣＣＵ１６０の領域検出部１６１は、同期マップ生成部１２１により生成される同期マップと、特徴量検出部１０１から供給される特徴量とに基づいて、出血領域を検出する。
【０１３９】
即ち、血液は心拍に同期して流れ出すため、領域検出部１６１は、例えば、特徴量として赤色の色情報を有する所定のサイズ以上のサイズの領域であり、かつ、同期マップ内の心拍に同期する領域を、出血領域として検出する。領域検出部１２２は、検出された出血領域を所定の色で表す術中画像と同一のサイズの出血マップを、交点検出部１６２に供給する。
【０１４０】
交点検出部１６２は、動き検出部４１から供給される動きベクトルのうちの、領域検出部１６１から供給される出血マップの出血領域内の出血の動きベクトルの始点を延長した線の交点を出血点として検出する。交点検出部１６２は、出血点の術中画像内の位置を表す出血点情報を重畳部１６３に供給する。
【０１４１】
重畳部１６３は、フットスイッチ２６から受信された操作信号に応じて、内視鏡１９から受信された術中画像内の、交点検出部１６２から供給される出血点情報が表す出血点の位置に、出血点を表す出血点画像を重畳する。交点検出部１６２は、内視鏡１９から受信された術中画像、または、出血点画像が重畳された術中画像を、図１の表示装置１１に送信する。
【０１４２】
（出血点の検出の説明）
図２１は、図２０の交点検出部１６２による出血点の検出を説明する図である。
【０１４３】
出血が発生するとき、血液は、出血点から放射線状に流れ出す。従って、出血マップ１７０内の出血領域１７１における各動きベクトル１７２は、出血点から放射線状に分布すると推測される。従って、交点検出部１６２は、図２１に示すように、各動きベクトル１７２の始点１７２Ａを、動きベクトル１７２の方向とは反対の方向に延長し、延長後の動きベクトル１７２の交点１７３を出血点として検出する。
【０１４４】
（ＣＣＵの処理の説明）
図２２は、図２０のＣＣＵ１６０の画像処理を説明するフローチャートである。
【０１４５】
図２２のステップＳ１２１乃至Ｓ１２８の処理は、図１９のステップＳ１０１乃至Ｓ１１８の処理と同様であるので、説明は省略する。
【０１４６】
ステップＳ１２９において、ＣＣＵ１６０の領域検出部１６１は、特徴量検出部１０１から供給される特徴量のうちの色情報に基づいて、所定のサイズ以上のサイズの赤色の領域を出血領域として検出する。
【０１４７】
ステップＳ１３０において、領域検出部１６１は、ステップＳ１２９の処理による検出結果と、同期マップ生成部１２１により生成される同期マップとに基づいて、出血マップを生成する。具体的には、領域検出部１６１は、同期マップ内の領域のうちの、ステップＳ１２９の処理により検出された出血領域を最終的な出血領域として検出する。そして、領域検出部１６１は、検出された出血領域に基づいて出血マップを生成し、交点検出部１６２に供給する。
【０１４８】
ステップＳ１３１において、交点検出部１６２は、動き検出部４１から供給される動きベクトルのうちの、領域検出部１６１から供給される出血マップ内の出血領域における動きベクトルの始点を延長した線の交点を、出血点として検出する。交点検出部１６２は、出血点情報を重畳部１６３に供給する。
【０１４９】
重畳部１６３は、フットスイッチ２６から受信された操作信号に応じて、内視鏡１９から受信された術中画像内の、交点検出部１６２から供給される出血点情報が表す出血点の位置に、出血点画像を重畳する。
【０１５０】
ステップＳ１３２において、交点検出部１６２は、フットスイッチ２６から受信された操作信号に応じて、内視鏡１９から受信された術中画像、または、出血点画像が重畳された術中画像を、図１の表示装置１１に送信する。
【０１５１】
ステップＳ１３３の処理は、図１９のステップＳ１１３の処理と同様であるので、説明は省略する。
【０１５２】
以上のように、ＣＣＵ１６０は、術中画像の動きベクトルに基づいて出血点を検出する。従って、ＣＣＵ１６０は、出血点画像を術中画像に重畳して表示装置１１に表示させることができる。その結果、術者等は、出血点の位置を容易に認識することができる。
【０１５３】
これに対して、出血点画像が表示装置１１に表示されない場合、出血量が多いと、術中画像内の出血点の周囲が全て赤くなり、出血点を認識することが困難である。
【０１５４】
＜第７実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１５５】
図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１５６】
コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１５７】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１５８】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１５９】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。処理の途中結果や処理に用いられる情報は、ROM２０２やRAM２０３などに記憶される。
【０１６０】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１６１】
コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１６２】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６３】
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１６４】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１６５】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１６６】
例えば、周波数マップ、同期マップ、臓器マップ、および動静脈マップは、術中画像に重畳されて表示されたり、術中画像と同一の画面内に並列に表示されたりしてもよい。
【０１６７】
また、第４および第５実施の形態における血管の領域の検出、並びに、第６実施の形態における出血領域の検出は、術中画像の特徴量のみに基づいて行われるようにしてもよいし、同期マップのみに基づいて行われるようにしてもよい。
【０１６８】
さらに、第４実施の形態において、第５実施の形態において判別された動脈の血管または静脈の血管の止血状態を判別するようにしてもよい。また、第１乃至第６実施の形態の少なくとも２つを組み合わせ、周波数マップ、同期マップ、臓器マップ、状態通知画像、動静脈マップ、および出血点画像の少なくとも２つを生成可能にするようにしてもよい。
【０１６９】
また、本技術は、術中画像を撮像し、画像処理する手術システムであれば、内視鏡手術システム以外の手術システムに適用することもできる。例えば、本技術は、術中画像をビデオ顕微鏡で撮像し、画像処理する手術システムなどにも適用することができる。
【０１７０】
なお、本開示は、以下のような構成もとることができる。
【０１７１】
（１）
時刻の異なる術中画像を用いて前記術中画像における生体の動きベクトルを検出する動き検出部と、
前記動き検出部により検出された前記動きベクトルの周波数を求める解析部と、
前記解析部により求められた前記周波数に基づいて、前記術中画像内の特定の生体部位を含む領域を検出する領域検出部と
を備える画像処理装置。
（２）
前記領域検出部は、前記周波数ごとに、その周波数に対応する前記特定の生体部位を含む前記領域を検出する
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記領域検出部は、所定の周波数に対応する前記特定の生体部位を含む前記領域を検出する
ように構成された
前記（１）に記載の画像処理装置。
（４）
前記所定の周波数は、心拍情報に基づいて決定される
ように構成された
前記（３）に記載の画像処理装置。
（５）
前記領域検出部は、前記周波数と前記術中画像の特徴量とに基づいて、前記領域を検出する
ように構成された
前記（１）に記載の画像処理装置。
（６）
前記領域は、特定の臓器または血管を含む
ように構成された
前記（５）に記載の画像処理装置。
（７）
前記領域検出部により検出された前記領域の特徴に基づいて、前記領域の状態を検出する状態検出部
をさらに備える
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記領域は、血管を含む領域であり、
前記状態検出部は、前記血管の幅に基づいて、前記血管の止血状態を検出する
ように構成された
前記（７）に記載の画像処理装置。
（９）
前記領域の状態に基づいて生成された状態通知画像を前記術中画像に重畳する重畳部
をさらに備える
前記（７）または（８）に記載の画像処理装置。
（１０）
前記動き検出部により検出された前記動きベクトルに基づいて、前記領域検出部により検出された前記領域に含まれる前記特定の生体部位の種類を判別する判別部
をさらに備える
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記判別部は、前記動き検出部により検出された前記動きベクトルと前記術中画像の特徴量とに基づいて、前記特定の生体部位の種類を判別する
ように構成された
前記（１０）に記載の画像処理装置。
（１２）
前記領域は、血管を含む領域であり、
前記判別部は、前記血管が動脈か静脈かを判別する
ように構成された
前記（１０）または（１１）に記載の画像処理装置。
（１３）
前記領域検出部により検出された前記領域内の前記特定の生体部位の前記動きベクトルの交点を検出する交点検出部
をさらに備える
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記領域検出部は、前記周波数と前記術中画像の特徴量に基づいて出血を含む領域を検出し、
前記交点検出部は、前記領域内の出血の前記動きベクトルの交点に基づいて、出血点を検出する
ように構成された
前記（１３）に記載の画像処理装置。
（１５）
画像処理装置が、
時刻の異なる術中画像を用いて前記術中画像における生体の動きベクトルを検出する動き検出ステップと、
前記動き検出ステップの処理により検出された前記動きベクトルの周波数を求める解析ステップと、
前記解析ステップの処理により求められた前記周波数に基づいて、前記術中画像内の特定の生体部位を含む領域を検出する領域検出ステップと
を含む画像処理方法。
（１６）
術中画像を撮像する撮像装置と、
前記術中画像に対して画像処理を行う画像処理装置と
を備え、
前記画像処理装置は、
時刻の異なる前記術中画像を用いて前記術中画像における生体の動きベクトルを検出する動き検出部と、
前記動き検出部により検出された前記動きベクトルの周波数を求める解析部と、
前記解析部により求められた前記周波数に基づいて、前記術中画像内の特定の生体部位を含む領域を検出する領域検出部と
を備える
手術システム。
（１７）
前記術中画像を撮像する撮像装置は、内視鏡である
ように構成された
前記（１６）に記載の手術システム。
（１８）
前記術中画像を撮像する撮像装置は、ビデオ顕微鏡である
ように構成された
前記（１６）に記載の手術システム。
【符号の説明】
【０１７２】
１２  ＣＣＵ,   １９  内視鏡，  ４１  動き検出部,  ４２  解析部,  ４３  周波数マップ生成部,  ７０  ＣＣＵ,  ７１  同期マップ生成部,  １００  ＣＣＵ,  １０２  領域検出部，  １２０  ＣＣＵ,  １２２  領域検出部,  １２３  幅検出部,  １４０  ＣＣＵ,  １４１  判別部，  １６０  ＣＣＵ,  １６１  領域検出部,  １６２  交点検出部
【図１】
2016194718.tif 000003
【図２】
2016194718.tif 000004
【図３】
2016194718.tif 000005
【図４】
2016194718.tif 000006
【図５】
2016194718.tif 000007
【図６】
2016194718.tif 000008
【図７】
2016194718.tif 000009
【図８】
2016194718.tif 000010
【図９】
2016194718.tif 000011
【図１０】
2016194718.tif 000012
【図１１】
2016194718.tif 000013
【図１２】
2016194718.tif 000014
【図１３】
2016194718.tif 000015
【図１４】
2016194718.tif 000016
【図１５】
2016194718.tif 000017
【図１６】
2016194718.tif 000018
【図１７】
2016194718.tif 000019
【図１８】
2016194718.tif 000020
【図１９】
2016194718.tif 000021
【図２０】
2016194718.tif 000022
【図２１】
2016194718.tif 000023
【図２２】
2016194718.tif 000024
【図２３】
2016194718.tif 000025
【国際調査報告】
2016194718.tif 000026
2016194718.tif 000027