(57)【要約】【課題】より多様なイベントについての通知を行うことができるようにする。【解決手段】本技術は、術部若しくはその術部周辺の温度の時間変化に基づいて生体内でのイベントを検出し、検出された生体内でのイベントに応じた通知を行う通知情報を生成する。本技術は、例えば、医療支援装置、内視鏡装置、顕微鏡装置、それらの装置を制御するコンピュータ、または、複数の装置からなる医療支援システム等に適用することができる。【選択図】図３
2017006337.tif 000002
【特許請求の範囲】
【請求項１】
術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出する検出部と、
前記検出部により検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する通知情報生成部と
を備える医療支援装置。
【請求項２】
前記検出部は、前記術部若しくは前記術部周辺の温度分布画像の時間変化に基づいて前記生体内でのイベントを検出する
請求項１に記載の医療支援装置。
【請求項３】
前記検出部は、前記温度分布画像の時間変化に基づいて、前記生体内でのイベントとして、警告すべき状態を検出し、
前記通知情報生成部は、前記状態に関する警告を行う警告画像を生成する
請求項２に記載の医療支援装置。
【請求項４】
前記通知情報生成部は、前記術部若しくは前記術部周辺の撮像画像に重畳されて表示する前記警告画像を生成する
請求項３に記載の医療支援装置。
【請求項５】
前記検出部は、前記温度分布画像の時間変化に基づいて、出血の発生を検出し、
前記通知情報生成部は、前記警告画像として、前記出血の発生を通知する画像、前記出血の発生数を通知する画像、前記出血の発生箇所が前記撮像画像範囲内に位置する場合、前記発生箇所を示す画像、および、前記出血の発生箇所が前記撮像画像範囲外に位置する場合、前記発生箇所の方向を示す画像の内の１つ以上を生成する
請求項４に記載の医療支援装置。
【請求項６】
前記検出部は、前記温度分布画像の時間変化に基づいて、使用後の術具が、所定の温度以上の状態にあることを検出し、
前記通知情報生成部は、前記警告画像として、前記所定の温度以上の状態にある術具が存在することを通知する画像、前記術具の数を通知する画像、前記術具が前記撮像画像範囲内に位置する場合、前記術具を示す画像、および、前記術具が前記撮像画像範囲外に位置する場合、前記術具の方向を示す画像の内の１つ以上を生成する
請求項４に記載の医療支援装置。
【請求項７】
前記検出部は、前記温度分布画像の時間変化に基づいて、止血の結果を検出し、
前記通知情報生成部は、前記警告画像として、前記止血結果を通知する画像、前記止血が行われた箇所の数を通知する画像、前記止血が前記撮像画像範囲内において行われた場合、前記止血が行われた箇所を示す画像、および、前記止血が前記撮像画像範囲外において行われた場合、前記止血が行われた方向を示す画像の内の１つ以上を生成する
請求項４に記載の医療支援装置。
【請求項８】
前記検出部は、前記温度分布画像の時間変化に基づいて、不使用時の術具の接触による前記術部若しくは前記術部周辺の損傷箇所を検出し、
前記通知情報生成部は、前記警告画像として、前記損傷箇所の発生を通知する画像、前記損傷箇所の数を通知する画像、前記損傷箇所が前記撮像画像範囲内に位置する場合、前記損傷箇所を示す画像、および、前記損傷箇所が前記撮像画像範囲外に位置する場合、前記損傷箇所の方向を示す画像の内の１つ以上を生成する
請求項４に記載の医療支援装置。
【請求項９】
前記検出部は、前記温度分布画像の時間変化に基づいて、術具の使用による前記術部若しくは前記術部周辺が所定の温度以上の状態にある箇所を検出し、
前記通知情報生成部は、前記警告画像として、前記所定の温度以上の状態にある箇所が発生したことを通知する画像、前記所定の温度以上の状態にある箇所の数を通知する画像、前記所定の温度以上の状態にある箇所が前記撮像画像範囲内に位置する場合、前記所定の温度以上の状態にある箇所の発生位置を示す画像、および、前記所定の温度以上の状態にある箇所が前記撮像画像範囲外に位置する場合、前記所定の温度以上の状態にある箇所の発生方向を示す画像の内の１つ以上を生成する
請求項４に記載の医療支援装置。
【請求項１０】
前記検出部は、前記温度分布画像の時間変化に基づいて、前記生体内でのイベントとして、前記生体の状態変化を検出し、
前記通知情報生成部は、前記状態変化に基づく診断結果を通知する診断画像を生成する
請求項２に記載の医療支援装置。
【請求項１１】
前記生体に加熱する加熱部をさらに備え、
前記検出部は、前記加熱部による加熱後の前記生体の状態変化を検出する
請求項１０に記載の医療支援装置。
【請求項１２】
前記検出部は、肝臓の亜区域の検出、病変の検出、血管の検出、リンパ管の検出、骨および神経の識別、若しくは癌細胞の検出を行い、
前記通知情報生成部は、前記診断画像として、前記術部の撮像画像に重畳されて表示される、前記検出部により検出された、前記亜区域、前記病変、前記血管、前記リンパ管、前記骨、前記神経、若しくは前記癌細胞を識別可能に示す画像を生成する
請求項１１に記載の医療支援装置。
【請求項１３】
前記検出部は、さらに、前記術部若しくは前記術部周辺の前記温度の時間変化以外のセンシング結果に基づいて前記生体内でのイベントを検出する
請求項１に記載の医療支援装置。
【請求項１４】
前記検出部は、前記術部若しくは前記術部周辺の温度の時間変化と、前記術部若しくは前記術部周辺のステレオ画像とに基づいて、前記生体内でのイベントを検出する
請求項１３に記載の医療支援装置。
【請求項１５】
前記術部若しくは前記術部周辺の温度を検出する温度センサをさらに備え、
前記検出部は、前記温度センサにより検出される前記術部若しくは前記術部周辺の温度の時間変化に基づいて前記生体内でのイベントを検出する
請求項１に記載の医療支援装置。
【請求項１６】
前記通知情報生成部により生成される前記通知情報の画像を表示する表示部をさらに備える
請求項１に記載の医療支援装置。
【請求項１７】
前記検出部により検出された前記生体内でのイベントに応じて術具を制御する制御部をさらに備える
請求項１に記載の医療支援装置。
【請求項１８】
前記制御部は、前記生体内に送気される気体の温度、若しくは、前記生体内に照射される照明光の明るさを制御する
請求項１に記載の医療支援装置。
【請求項１９】
医療支援装置が、
術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出し、
検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する
医療支援方法。
【請求項２０】
温度センサと、医療支援装置と、表示装置とを有する医療支援システムであって、
前記温度センサは、術部若しくは前記術部周辺の温度を測定するように構成され、
前記医療支援装置は、
前記温度センサにより測定された前記術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出する検出部と、
前記検出部により検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する通知情報生成部と
を備え、
前記表示装置は、前記通知情報生成部により生成された前記通知情報の画像を表示するように構成される
医療支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、医療支援装置および方法、並びに、医療支援システムに関し、特に、より多様なイベントについての通知を行うことができるようにした医療支援装置および方法、並びに、医療支援システムに関する。
【背景技術】
【０００２】
従来、手術等の医療行為の際に、医療の対象となる生体内の温度分布を測定し、その温度分布画像を生成して利用することが考えられた（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２８６４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の方法では、温度分布画像が得られるのみであった。したがって、術者等の利用者は、表示された温度分布画像を解析する等して情報を得なければならず、そのためには煩雑な作業が必要になり、医療の作業効率が低減してしまうおそれがあった。また、温度分布画像から正しく情報を得るための知識や技術が必要になるおそれがあった。
【０００５】
さらに、手術等の医療の際には多様な事象が発生する可能性があるため、特許文献１に記載のように温度分布画像を表示するのみでは、術者等がそれらの事象を十分に容易かつ正確に把握することが困難であるおそれがあった。つまり、医療を十分に支援することができないおそれがあった。
【０００６】
本技術は、このような状況に鑑みて提案されたものであり、より多様なイベントについての通知を行うことができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の医療支援装置は、術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出する検出部と、前記検出部により検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する通知情報生成部とを備える医療支援装置である。
【０００８】
前記検出部は、前記術部若しくは前記術部周辺の温度分布画像の時間変化に基づいて前記生体内でのイベントを検出することができる。
【０００９】
前記検出部は、前記温度分布画像の時間変化に基づいて、前記生体内でのイベントとして、警告すべき状態を検出し、前記通知情報生成部は、前記状態に関する警告を行う警告画像を生成することができる。
【００１０】
前記通知情報生成部は、前記術部若しくは前記術部周辺の撮像画像に重畳されて表示する前記警告画像を生成することができる。
【００１１】
前記検出部は、前記温度分布画像の時間変化に基づいて、出血の発生を検出し、前記通知情報生成部は、前記警告画像として、前記出血の発生を通知する画像、前記出血の発生数を通知する画像、前記出血の発生箇所が前記撮像画像範囲内に位置する場合、前記発生箇所を示す画像、および、前記出血の発生箇所が前記撮像画像範囲外に位置する場合、前記発生箇所の方向を示す画像の内の１つ以上を生成することができる。
【００１２】
前記検出部は、前記温度分布画像の時間変化に基づいて、使用後の術具が、所定の温度以上の状態にあることを検出し、前記通知情報生成部は、前記警告画像として、前記所定の温度以上の状態にある術具が存在することを通知する画像、前記術具の数を通知する画像、前記術具が前記撮像画像範囲内に位置する場合、前記術具を示す画像、および、前記術具が前記撮像画像範囲外に位置する場合、前記術具の方向を示す画像の内の１つ以上を生成することができる。
【００１３】
前記検出部は、前記温度分布画像の時間変化に基づいて、止血の結果を検出し、前記通知情報生成部は、前記警告画像として、前記止血結果を通知する画像、前記止血が行われた箇所の数を通知する画像、前記止血が前記撮像画像範囲内において行われた場合、前記止血が行われた箇所を示す画像、および、前記止血が前記撮像画像範囲外において行われた場合、前記止血が行われた方向を示す画像の内の１つ以上を生成することができる。
【００１４】
前記検出部は、前記温度分布画像の時間変化に基づいて、不使用時の術具の接触による前記術部若しくは前記術部周辺の損傷箇所を検出し、前記通知情報生成部は、前記警告画像として、前記損傷箇所の発生を通知する画像、前記損傷箇所の数を通知する画像、前記損傷箇所が前記撮像画像範囲内に位置する場合、前記損傷箇所を示す画像、および、前記損傷箇所が前記撮像画像範囲外に位置する場合、前記損傷箇所の方向を示す画像の内の１つ以上を生成することができる。
【００１５】
前記検出部は、前記温度分布画像の時間変化に基づいて、術具の使用による前記術部若しくは前記術部周辺が所定の温度以上の状態にある箇所を検出し、前記通知情報生成部は、前記警告画像として、前記所定の温度以上の状態にある箇所が発生したことを通知する画像、前記所定の温度以上の状態にある箇所の数を通知する画像、前記所定の温度以上の状態にある箇所が前記撮像画像範囲内に位置する場合、前記所定の温度以上の状態にある箇所の発生位置を示す画像、および、前記所定の温度以上の状態にある箇所が前記撮像画像範囲外に位置する場合、前記所定の温度以上の状態にある箇所の発生方向を示す画像の内の１つ以上を生成することができる。
【００１６】
前記検出部は、前記温度分布画像の時間変化に基づいて、前記生体内でのイベントとして、前記生体の状態変化を検出し、前記通知情報生成部は、前記状態変化に基づく診断結果を通知する診断画像を生成することができる。
【００１７】
前記生体に加熱する加熱部をさらに備え、前記検出部は、前記加熱部による加熱後の前記生体の状態変化を検出することができる。
【００１８】
前記検出部は、肝臓の亜区域の検出、病変の検出、血管の検出、リンパ管の検出、骨および神経の識別、若しくは癌細胞の検出を行い、前記通知情報生成部は、前記診断画像として、前記術部の撮像画像に重畳されて表示される、前記検出部により検出された、前記亜区域、前記病変、前記血管、前記リンパ管、前記骨、前記神経、若しくは前記癌細胞を識別可能に示す画像を生成することができる。
【００１９】
前記検出部は、さらに、前記術部若しくは前記術部周辺の前記温度の時間変化以外のセンシング結果に基づいて前記生体内でのイベントを検出することができる。
【００２０】
前記検出部は、前記術部若しくは前記術部周辺の温度の時間変化と、前記術部若しくは前記術部周辺のステレオ画像とに基づいて、前記生体内でのイベントを検出することができる。
【００２１】
前記術部若しくは前記術部周辺の温度を検出する温度センサをさらに備え、前記検出部は、前記温度センサにより検出される前記術部若しくは前記術部周辺の温度の時間変化に基づいて前記生体内でのイベントを検出することができる。
【００２２】
前記通知情報生成部により生成される前記通知情報の画像を表示する表示部をさらに備えることができる。
【００２３】
前記検出部により検出された前記生体内でのイベントに応じて術具を制御する制御部をさらに備えることができる。
【００２４】
前記制御部は、前記生体内に送気される気体の温度、若しくは、前記生体内に照射される照明光の明るさを制御することができる。
【００２５】
本技術の医療支援方法は、医療支援装置が、術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出し、検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する医療支援方法である。
【００２６】
本技術の医療支援システムは、温度センサと、医療支援装置と、表示装置とを有する医療支援システムであって、前記温度センサは、術部若しくは前記術部周辺の温度を測定するように構成され、前記医療支援装置は、前記温度センサにより測定された前記術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出する検出部と、前記検出部により検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する通知情報生成部とを備え、前記表示装置は、前記通知情報生成部により生成された前記通知情報の画像を表示するように構成される医療支援システムである。
【００２７】
本技術の医療支援装置および方法においては、術部若しくはその術部周辺の温度の時間変化に基づいて生体内でのイベントが検出され、その検出された生体内でのイベントに応じた通知を行う通知情報が生成される。
【００２８】
本技術の医療支援システムにおいては、温度センサにより、術部若しくはその術部周辺の温度が測定され、医療支援装置の検出部により、その温度センサにより測定された術部若しくはその術部周辺の温度の時間変化に基づいて生体内でのイベントが検出され、その検出された生体内でのイベントに応じた通知を行う通知情報が生成され、表示装置により、その通知情報の画像が表示される。
【発明の効果】
【００２９】
本技術によれば、医療を支援することが出来る。また本技術によれば、より多様なイベントについての通知を行うことができる。
【図面の簡単な説明】
【００３０】
【図１】内視鏡手術支援システムの主な構成例を示す図である。
【図２】センシングの範囲について説明する図である。
【図３】監視装置等の主な構成例を示すブロック図である。
【図４】警告処理の流れの例を説明するフローチャートである。
【図５】温度分布の時間変化の例を説明する図である。
【図６】出血検出処理の流れの例を説明するフローチャートである。
【図７】表示画像の例を説明する図である。
【図８】温度分布の時間変化の例を説明する図である。
【図９】使用後要注意状態検出処理の流れの例を説明するフローチャートである。
【図１０】表示画像の例を説明する図である。
【図１１】表示画像の例を説明する図である。
【図１２】監視装置等の主な構成例を示すブロック図である。
【図１３】警告処理の流れの例を説明するフローチャートである。
【図１４】使用後要注意状態検出処理の流れの例を説明するフローチャートである。
【図１５】監視装置等の主な構成例を示すブロック図である。
【図１６】肝臓の主な構成例を説明する図である。
【図１７】亜区域検出方法の例を説明する図である。
【図１８】診断処理の流れの例を説明するフローチャートである。
【図１９】表示画像の例を説明する図である。
【図２０】監視装置等の主な構成例を示すブロック図である。
【図２１】警告制御処理の流れの例を説明するフローチャートである。
【図２２】表示画像の例を説明する図である。
【図２３】温度異常検出処理の流れの例を説明するフローチャートである。
【図２４】制御処理の流れの例を説明するフローチャートである。
【図２５】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（内視鏡手術支援システム）
２．第２の実施の形態（内視鏡手術支援システム）
３．第３の実施の形態（内視鏡手術支援システム）
４．第４の実施の形態（内視鏡手術支援システム）
５．第５の実施の形態（内視鏡手術支援システム）
６．第６の実施の形態（コンピュータ）
【００３２】
＜１．第１の実施の形態＞
＜術部および術部周辺において発生する異常等の監視＞
従来、内視鏡を用いて手術を行う内視鏡手術（例えば腹腔鏡手術等）や、顕微鏡を用いて手術を行う顕微鏡手術では、手術を行う術者は、術野（作業を行う場所である術部を含む視野）の撮像画像をモニタで確認しながら作業を行っていた。
【００３３】
術者等は、作業に集中するため、術部や術部周辺における異常の発生や状態変化等を目視で全て把握することは困難であった。
【００３４】
特許文献１に記載の温度分布画像のように、撮像画像以外を術者等に提供し、より多くの情報を与えることが考えられたが、温度分布画像から情報を得るには解析等の煩雑な作業が必要になるおそれがあるだけでなく、温度分布画像解析の為の知識や技術が必要になるおそれもあった。
【００３５】
また、手術等においては多様な事象が発生する可能性があるが、温度分布のみから得られる情報は限られており、術者等がそれらの事象を十分に容易かつ正確に把握することが困難であるおそれがあった。つまり、温度分布画像を提示するのみでは、医療を十分に支援することができないおそれがあった。
【００３６】
そこで、手術等の医療において、より多様なイベントについての通知を行うことができるようにする。
【００３７】
＜内視鏡手術支援システム＞
図１は、本技術を適用した医療支援システムの一実施の形態である内視鏡手術支援システムの主な構成例を示す図である。
【００３８】
図１において、内視鏡手術支援システム１００は、内視鏡手術（例えば腹腔鏡手術等）において術者等により用いられる、手術を支援するシステムである。内視鏡手術は、手術を行う患者の人体（例えば腹部等）に小さな穴を数箇所あけて、そこから内視鏡等を入れて、モニタを見ながら作業を行う手術である。内視鏡手術は、開腹手術と比較して低侵襲であり、患者への負荷が少なく、早期回復を望める等の特徴を有する。
【００３９】
患者ベッド１４１の上の患者１５１の体表には、術部付近に小さな穴があけられ、その穴に開孔器具であるトロッカが取り付けられて、その穴が開いた状態に保たれている（開口部が形成される）。図１の例の場合、患者１５１の生体には穴が５箇所あけられ、それらにトロッカ１３１−１乃至トロッカ１３１−５が取り付けられて開口部が形成されている。以下において、トロッカ１３１−１乃至トロッカ１３１−５を互いに区別して説明する必要が無い場合、トロッカ１３１と称する。
【００４０】
内視鏡手術では、手術に用いる術具（例えば、電気メス、剪刀、鑷子、鉗子等）がこのトロッカ１３１による開口部から患者１５１の生体内に挿入される。図１の例では、内視鏡１２１、エナジーデバイス１２２、鉗子１２３、気腹針１２４、および監視用センサ１２５が術具として使用されている。
【００４１】
内視鏡１２１は、上述したように、術部等を撮像する装置である。内視鏡１２１は、イメージセンサ（撮像素子）を有しており、光源装置１１２から供給される光を患者１５１の生体内（術部およびその術部周辺）に照射し、その光を利用して撮像を行う。内視鏡１２１は、撮像して得られた撮像画像に関する情報（例えば撮像画像データ等）をCCU１１１に供給する。図１の例では、内視鏡１２１は、トロッカ１３１−１により形成される開口部から患者１５１の生体内に挿入されている。
【００４２】
エナジーデバイス１２２は、例えば電気メス等の、電気エネルギーを利用する術具である。例えば電気メスの場合、エナジーデバイス１２２は、術部に高周波電流を流して、このときの負荷もしくは接触抵抗によってジュール熱を発生させることができる。この熱が瞬時に細胞を加熱し爆発・蒸散することによって切開作用を生じさせる。また、この熱が細胞の水分を蒸発させタンパク質を凝固させることによって凝固作用を生じさせる。図１の例では、エナジーデバイス１２２は、トロッカ１３１−２により形成される開口部から患者１５１の生体内に挿入されている。
【００４３】
鉗子１２３は、生体（例えば組織）等を把持する器具である。鉗子１２３は、はさみのような外見で、例えば、手元にストッパがついており、生体等を挟んだ状態を維持することができる。この鉗子１２３は、挟む、牽引する、つぶす、開く、すくう、遮断する、など様々な用途に用いられる。図１の例では、鉗子１２３は、トロッカ１３１−３により形成される開口部から患者１５１の生体内に挿入されている。
【００４４】
気腹針１２４は、気体（炭酸ガス等）を患者１５１の生体内（術部周辺の空間等）に送気したり、患者１５１の生体内の気体を吸気したりする。気腹針１２４は、所定の管を介して気腹装置１１６に接続されており、患者１５１の生体内に送気する気体は、例えば、気腹装置１１６から供給される。また、患者１５１の生体内から吸気した気体は、例えば、気腹装置１１６に供給される。図１の例では、気腹針１２４は、トロッカ１３１−４により形成される開口部から患者１５１の体内に挿入されている。
【００４５】
監視用センサ１２５は、対象領域について監視対象とするパラメータについてのセンシング（計測）を行う。このセンシングを行う領域（対象領域）をセンシング領域とも称する。監視用センサ１２５は、少なくとも、術部若しくはその術部周辺をセンシング領域とし、その温度を任意の期間計測する。より具体的には、監視用センサ１２５は、少なくとも、術部若しくはその術部周辺の、面状若しくは空間状の温度分布を任意の期間計測する。つまり、監視用センサ１２５は、医療が行われる術部若しくはその術部周辺の温度（より具体的には、面状若しくは空間状の温度分布）の時間変化を計測するともいえる。
【００４６】
監視用センサ１２５は、その計測結果（センシング結果）に関する情報（例えばセンシングにより得られたデータ等）を監視装置１１３に供給する。つまり、監視用センサ１２５は、少なくとも、計測が行われた期間の面状若しくは空間状の温度分布（すなわち、その期間の面状若しくは空間状の温度分布の時間変化）を監視装置１１３に供給する。図１の例では、監視用センサ１２５は、トロッカ１３１−５により形成される開口部から患者１５１の生体内に挿入されている。
【００４７】
図１に示されるように、内視鏡手術支援システム１００は、例えば、CCU（Camera Control Unit）１１１、光源装置１１２、監視装置１１３、出力装置１１４、術具制御装置１１５、気腹装置１１６等を有する。
【００４８】
CCU１１１は、内視鏡１２１の駆動を制御する。例えば、CCU１１１は、内視鏡１２１に対して制御に関する情報を供給し、内視鏡１２１の観察光学系（例えばレンズ、絞り、撮像素子等）の駆動を制御する。また、CCU１１１は、内視鏡１２１の観察光学系を通じて撮像された撮像画像に関する情報を取得することもできる。例えば、CCU１１１は、内視鏡１２１により撮像される患者１５１の生体内（術部およびその術部周辺）の撮像画像に関する情報を取得することができる。また、CCU１１１は、取得した情報に含まれる撮像画像データに対して画像処理等の信号処理を施すこともできる。
【００４９】
光源装置１１２は、ライトガイドケーブル等を介して内視鏡１２１に接続されており、内視鏡１２１による撮像に必要とされる光源を、そのライトガイドケーブル等を介して内視鏡１２１に供給する。
【００５０】
監視装置１１３は、本技術を適用した医療支援装置の一実施の形態である。監視装置１１３は、監視用センサ１２５を介して得られるセンシング結果に関する情報に基づいて生体内でのイベントを検出する。また、監視装置１１３は、検出された生体内でのイベントに応じた通知を行う通知情報を生成する。例えば、監視装置１１３は、監視用センサ１２５により計測が行われた期間のセンシング領域の温度分布（すなわち、その期間のセンシング領域の温度分布の時間変化）に基づいて、警告対象とする生体内でのイベントを検出する。また、監視装置１１３は、その通知情報として、生体内でのイベントに関する警告を行う警告情報を生成する。
【００５１】
出力装置１１４は、例えば、画像を表示するモニタや、音声を出力するスピーカ等を有し、監視装置１１３等の他の装置から供給される情報を画像や音声として出力する。例えば、出力装置１１４は、内視鏡１２１において撮像された撮像画像や、監視装置１１３において生成された通知情報（画像や音声）等を出力（画像表示や音声出力）する。
【００５２】
術具制御装置１１５は、エナジーデバイス１２２の駆動を制御する。例えば、術具制御装置１１５は、高周波電流等をエナジーデバイス１２２に供給し、エナジーデバイス１２２がその電気熱によって患部を切除等することができるようにする。
【００５３】
気腹装置１１６は、気体（例えば炭酸ガス等）を、所定の管を介して気腹針１２４に供給し、その気腹針１２４から患者１５１の生体内（術部若しくは術部周辺）に供給して（送気して）生体内（術部周辺）を膨張させる。これにより、生体内（手術部位周辺）に作業可能な空間を確保することができる。また、気腹装置１１６は、その所定の管を介して、その気腹針１２４から患者１５１の生体内の気体（例えば炭酸ガス等）を吸い取る（吸気する）こともできる。
【００５４】
なお、図１に示される内視鏡手術支援システム１００の構成は一例であり、内視鏡手術支援システム１００の構成は、図１の例に限定されない。例えば、内視鏡手術に用いる術具の種類は任意である。例えば、内視鏡手術支援システム１００が、上述した内視鏡１２１、エナジーデバイス１２２、鉗子１２３、気腹針１２４、および監視用センサ１２５以外の術具を備えるようにしてもよい。また、上述した術具の一部を用いなくてもよい。
【００５５】
また、図１においては、内視鏡１２１、エナジーデバイス１２２、鉗子１２３、気腹針１２４、および監視用センサ１２５が１つずつ示されているが、これらの数は任意である。例えば、内視鏡手術支援システム１００が、これらの内、少なくとも１つ以上を複数備えるようにしてもよい。また、内視鏡１２１、エナジーデバイス１２２、鉗子１２３、気腹針１２４、および監視用センサ１２５等、各種術具の数が互いに同一でなくてもよい。
【００５６】
内視鏡１２１は、通信可能にCCU１１１と接続されている。この通信は、有線通信であってもよいし、無線通信であってもよいし、その両方であってもよい。
【００５７】
また、内視鏡１２１が複数のイメージセンサ（撮像素子）を有するようにしてもよい。その場合、一部のイメージセンサが、少なくとも他の一部のイメージセンサと異なる種類（例えば周波数帯域）の光をセンシングするようにしてもよい。例えば、内視鏡１２１が、可視光をセンシングするイメージセンサと赤外光をセンシングするイメージセンサとを有するようにしてもよい。また、例えば、内視鏡１２１が、カラー（例えばRGB）の撮像画像を得るイメージセンサと、白黒の撮像画像を得るイメージセンサとを有するようにしてもよい。また、内視鏡１２１が有する複数のイメージセンサの内、一部のイメージセンサの画素数や画素サイズ等の特性が、少なくとも他の一部のイメージセンサと異なるようにしてもよい。また、内視鏡１２１が、複数種類（周波数帯域）の光をセンシングすることができるイメージセンサを有するようにしてもよい。例えば、内視鏡１２１が、複数種類の光をセンシングすることができるイメージセンサを１つ以上有するようにしてもよい。また、内視鏡１２１が複数のイメージセンサを有し、その内の１つ以上のイメージセンサが、複数種類の光をセンシングすることができるようにしてもよい。さらに、内視鏡１２１が複数種類の光をセンシングすることができるイメージセンサを複数有する場合、その内の少なくとも１つ以上のイメージセンサが、他のイメージセンサと異なる種類の光をセンシングすることができるようにしてもよい。
【００５８】
また、内視鏡１２１が、さらに、イメージセンサ以外のセンサを有するようにしてもよい。例えば、内視鏡１２１が、内視鏡１２１の姿勢を計測するジャイロセンサをさらに備えるようにしてもよいし、その他のセンサを有するようにしてもよい。さらに、内視鏡１２１がセンサ以外の機能や構成を有するようにしてもよい。
【００５９】
なお、内視鏡手術支援システム１００に内視鏡１２１が複数設けられる場合、全ての内視鏡１２１が互いに同一の仕様でなくてもよく、一部の内視鏡１２１の仕様（構成や機能等）が、少なくとも他の一部の内視鏡１２１と異なるようにしてもよい。
【００６０】
エナジーデバイス１２２は、例えば、所定のケーブルを介して術具制御装置１１５に電気的に接続され、その術具制御装置１１５から、その所定のケーブルを介して、高周波電流等が供給されるようにしてもよい。また、エナジーデバイス１２２が、術具制御装置１１５と通信可能に接続され、制御情報等を授受することができるようにしてもよい。この通信は、有線通信であってもよいし、無線通信であってもよいし、その両方であってもよい。
【００６１】
なお、内視鏡手術支援システム１００にエナジーデバイス１２２が複数設けられる場合、全てのエナジーデバイス１２２が互いに同一の仕様でなくてもよく、一部のエナジーデバイス１２２の仕様（構成や機能等）が、少なくとも他の一部のエナジーデバイス１２２と異なるようにしてもよい。
【００６２】
内視鏡手術支援システム１００に鉗子１２３が複数設けられる場合、全ての鉗子１２３が互いに同一の仕様でなくてもよく、一部の鉗子１２３の仕様（サイズ、形状、機能等）が、少なくとも他の一部の鉗子１２３と異なるようにしてもよい。気腹針１２４も同様である。
【００６３】
監視用センサ１２５は、通信可能に監視装置１１３と接続されている。この通信は、有線通信であってもよいし、無線通信であってもよいし、その両方であってもよい。
【００６４】
また、監視用センサ１２５が、さらに温度分布以外のパラメータも計測することができるようにしてもよい。このパラメータはどのようなものであってもよい。例えば、監視用センサ１２５が、画像、光、電気、音、振動、加速度、速度、角速度、力、温度（温度分布ではない）、湿度、流量、磁気、化学物質、または匂い等を計測するようにしてもよい。また、監視用センサ１２５が、これらの内、複数のパラメータを計測するようにしてもよい。また、監視用センサ１２５が、これら以外のパラメータを計測するようにしてもよい。なお、１つの監視用センサ１２５が複数のパラメータを計測することができるようにしてもよいし、複数の監視用センサ１２５が設けられるようにしてもよい。例えば、１つの監視用センサ１２５が、温度分布を計測するサーモセンサと、それ以外のパラメータを計測する他のセンサとの両方を備えるようにしてもよい。また、温度分布を計測するサーモセンサと、それ以外のパラメータを計測する他のセンサとが、互いに異なる監視用センサ１２５として設けられるようにしてもよい。
【００６５】
つまり、内視鏡手術支援システム１００に監視用センサ１２５が複数設けられる場合、その内のいずれか１つにおいて温度分布を計測することができれば、それ以外の構成等は任意である。例えば、複数の監視用センサ１２５の仕様が統一されていてもよいし、統一されていなくてもよい。
【００６６】
また、図１においては、CCU１１１、光源装置１１２、監視装置１１３、出力装置１１４、術具制御装置１１５、および気腹装置１１６を1台ずつ示されているが、この構成例は一例であり、内視鏡手術支援システム１００の構成はこの例に限定されない。例えば、CCU１１１、光源装置１１２、監視装置１１３、出力装置１１４、術具制御装置１１５、および気腹装置１１６の内の少なくとも一部が複数設けられるようにしてもよい。その場合、複数設けられた装置のそれぞれの仕様が統一されていてもよいし、統一されていなくてもよい。
【００６７】
１台のCCU１１１が制御して撮像画像を取得する（対応する）内視鏡１２１は、１つであってもよいし、複数であってもよい。また、CCU１１１が複数設けられる場合、各CCU１１１が互いに異なる内視鏡１２１に対応するようにしてもよいし、少なくとも一部が重複するようにしてもよい。また、各CCU１１１に対応する内視鏡１２１の数が全て同一であってもよいし、一部のCCU１１１に対応する内視鏡１２１の数が、少なくとも他の一部のCCU１１１に対応する内視鏡１２１の数と異なるようにしてもよい。
【００６８】
光源装置１１２は、任意の周波数帯域の光を発することができる。例えば、光源装置１１２は、可視光等の通常光を発することもできるし、患部を特に識別できるような特殊光（例えば、狭帯域光や赤外光等）を発することもできる。また、１台の光源装置１１２が、複数の内視鏡１２１に対して光を供給する（対応する）ことができる。その場合、各内視鏡１２１に対して、互いに同一の周波数帯域の光を供給することもできるし、互いに異なる周波数帯域の光を供給することもできる。
【００６９】
また、内視鏡手術支援システム１００が光源装置１１２を複数備える場合、各光源装置１１２に対応する内視鏡１２１が互いに異なっていてもよいし、少なくとも一部が重複するようにしてもよい。また、各光源装置１１２に対応する内視鏡１２１の数が全て同一であってもよいし、一部の光源装置１１２に対応する内視鏡１２１の数が、少なくとも他の一部の光源装置１１２に対応する内視鏡１２１の数と異なるようにしてもよい。
【００７０】
また、１台の監視装置１１３が、複数の監視用センサ１２５から情報を取得する（対応する）ようにしてもよい。また、内視鏡手術支援システム１００が監視装置１１３を複数備える場合、各監視装置１１３に対応する監視用センサ１２５が互いに異なっていてもよいし、少なくとも一部が重複するようにしてもよい。また、各監視装置１１３に対応する監視用センサ１２５の数が全て同一であってもよいし、一部の監視装置１１３に対応する監視用センサ１２５の数が、少なくとも他の一部の監視装置１１３に対応する監視用センサ１２５の数と異なるようにしてもよい。
【００７１】
出力装置１１４は、通信可能に監視装置１１３と接続されている。この通信は、有線通信であってもよいし、無線通信であってもよいし、その両方であってもよい。
【００７２】
また、１台の出力装置１１４が、複数の監視装置１１３から情報を取得する（対応する）ようにしてもよい。また、内視鏡手術支援システム１００が出力装置１１４を複数備える場合、各出力装置１１４に対応する監視装置１１３が互いに異なっていてもよいし、少なくとも一部が重複するようにしてもよい。また、各出力装置１１４に対応する監視装置１１３の数が全て同一であってもよいし、一部の出力装置１１４に対応する監視装置１１３の数が、少なくとも他の一部の出力装置１１４に対応する監視装置１１３の数と異なるようにしてもよい。
【００７３】
また、１台の術具制御装置１１５が、複数のエナジーデバイス１２２の駆動を制御する（対応する）ようにしてもよい。また、内視鏡手術支援システム１００が術具制御装置１１５を複数備える場合、各術具制御装置１１５に対応するエナジーデバイス１２２が互いに異なっていてもよいし、少なくとも一部が重複するようにしてもよい。また、各術具制御装置１１５に対応するエナジーデバイス１２２の数が全て同一であってもよいし、一部の術具制御装置１１５に対応するエナジーデバイス１２２の数が、少なくとも他の一部の術具制御装置１１５に対応するエナジーデバイス１２２の数と異なるようにしてもよい。
【００７４】
また、１台の気腹装置１１６が、複数の気腹針１２４に気体を供給する（対応する）ようにしてもよい。また、内視鏡手術支援システム１００が気腹装置１１６を複数備える場合、各気腹装置１１６に対応する気腹針１２４が互いに異なっていてもよいし、少なくとも一部が重複するようにしてもよい。また、各気腹装置１１６に対応する気腹針１２４の数が全て同一であってもよいし、一部の気腹装置１１６に対応する気腹針１２４の数が、少なくとも他の一部の気腹装置１１６に対応する気腹針１２４の数と異なるようにしてもよい。
【００７５】
＜センシングの範囲＞
次に、センシングの範囲について説明する。監視用センサ１２５は、監視用センサ１２５の設置位置や姿勢に応じた所定の領域（例えば設置位置周辺）をセンシング領域とする。この監視用センサ１２５の設置位置は任意である。例えば、術者が作業を行う術部（例えば作業対象である患部）およびその周辺は、術具と生体（臓器等）との接触や出血等が発生する可能性が高く、監視する必要性が他の位置よりも高い。そこで、このような術部およびその術部周辺をセンシング領域としてもよい。つまり、監視用センサ１２５は、その術部および術部周辺をセンシング領域とするような位置および姿勢で設置される。例えば監視用センサ１２５は、図１のように、患者１５１の生体内に挿入された状態で設置される。
【００７６】
例えば、図２の場合、術部となる患部１６１およびその周辺が、内視鏡１２１のイメージセンサにより撮像される範囲である撮像領域１６２とされており、さらにその撮像領域１６２を含む範囲が監視用センサ１２５のセンシング領域１６３とされている。なお、図２においては、撮像領域１６２およびセンシング領域１６３の外周が円形状に示されているが、これらの領域の形状は任意であり、図２の例に限定されない。
【００７７】
また、図２においては、センシング領域１６３が面状に示されているが、センシング領域１６３は、３次元以上の空間であってもよい。例えば、腹腔鏡手術の場合、患者の生体内の術部周辺の空間をセンシング領域としてもよい。例えば、複数の監視用センサ１２５を用いて、複数の位置・方向からセンシングを行うことにより、監視装置１１３は、３次元以上の空間における温度分布を求めることができる。このようにすることにより、臓器等による死角を低減し、より正確な温度分布を求めることができる。
【００７８】
なお、撮像領域１６２およびセンシング領域１６３が互いに重ならないようにしてもよいし、一部のみが重なるようにしてもよい。また、センシング領域１６３に患部１６１が含まれないようにしてもよいし、撮像領域１６２に患部１６１が含まれないようにしてもよい。
【００７９】
一般的に、温度分布画像の解像度は、撮像画像よりも低くても良いので、図２の例のように、センシング領域１６３は、撮像領域１６２よりも広く設定することができる。ただし、撮像領域１６２およびセンシング領域１６３の大きさはそれぞれ任意である。
【００８０】
＜監視装置等の主な構成例＞
図３は、監視装置１１３等の主な構成例を示すブロック図である。図３の例において、内視鏡１２１は、イメージセンサ１７１を有する。
【００８１】
イメージセンサ１７１は、所謂撮像素子を有し、入射光を光電変換する画素を複数有する。内視鏡１２１は、光源装置１１２から供給される光を光照射領域に対して照射する。イメージセンサ１７１は、被写体で反射したその照射光を複数の画素において光電変換することにより、被写体の画像（撮像領域の撮像画像）を得る。つまり、光照射領域と撮像領域は略同位置の領域である。もちろん、撮像領域と光照射領域の広さや形状が互いに一致していなくてもよい。このように、イメージセンサ１７１は、被写体を撮像し、その被写体の画像の画像信号（撮像画像データ）を得る。イメージセンサ１７１により得られた撮像画像に関する情報は、内視鏡１２１とCCU１１１との通信により、CCU１１１に供給される。イメージセンサ１７１は、CCU１１１に制御されて駆動し、このような撮像を行う。
【００８２】
CCU１１１は、イメージセンサ１７１から供給される撮像画像データに対して必要に応じて所定の信号処理を施し、それを監視装置１１３（警告対象検出部１８２、通知情報生成部１８３、および出力制御部１８４）に供給する。
【００８３】
また、図３に示されるように、監視用センサ１２５として、サーモセンサ１２５Ａが設けられている。
【００８４】
サーモセンサ１２５Ａは、センシング領域の温度（温度分布）の時間変化を計測する。監視用センサ１２５であるサーモセンサ１２５Ａの設置位置は、上述したように任意である。例えば、サーモセンサ１２５Ａは、術部および術部周辺をセンシング領域とするような位置および姿勢で設置される。例えば、サーモセンサ１２５Ａは、図１のように患者１５１の生体内に挿入された状態で設置され、図２のセンシング領域１６３の温度（温度分布）をセンシングする。なお、この温度（温度分布）は、絶対値でもよいし、所定の基準に対する相対的な値であってもよい。サーモセンサ１２５Ａにより得られたセンシングの結果に関する情報は、監視装置１１３に供給される。
【００８５】
サーモセンサ１２５Ａは、例えば、外部の装置（例えば、監視装置１１３）により制御されて駆動するようにしてもよいし、術者等により制御されて駆動するようにしてもよいし、それらに制御されずに駆動するようにしてもよい。
【００８６】
図３の例において、監視装置１１３は、温度画像生成部１８１、警告対象検出部１８２、通知情報生成部１８３、および出力制御部１８４を有する。
【００８７】
温度画像生成部１８１は、サーモセンサ１２５Ａからセンシングの結果に関する情報を取得し、その情報に基づいて、温度画像を生成する。温度画像は、センシング領域について温度（若しくは温度分布）を示す画像である。温度画像生成部１８１は、生成した温度画像を警告対象検出部１８２に供給する。サーモセンサ１２５Ａは、所定の期間センシングを行い、温度画像生成部１８１は、その所定の期間の動画像として温度画像を生成する。つまり、温度画像生成部１８１が生成する温度画像は、その所定の期間における温度（若しくは温度分布）の時間変化を示す。
【００８８】
警告対象検出部１８２は、その温度画像（つまり、所定の期間における温度（若しくは温度分布）の時間変化）に基づいて、警告対象となる所定のイベントを検出する。この警告対象となるイベントは予め設定されている。つまり、温度（若しくは温度分布）の変化のパターンが予め設定されている。警告対象検出部１８２は、温度画像において、その予め設定された温度（若しくは温度分布）の変化のパターンを検出することにより、そのパターンに対応するイベントを検出する。警告対象検出部１８２は、検出したイベントを通知情報生成部１８３に通知する。なお、警告対象検出部１８２が、このようなイベント検出の際に、CCU１１１を介して供給される撮像画像も参考にするようにしてもよい。
【００８９】
通知情報生成部１８３は、警告対象検出部１８２により検出されたイベントに応じた通知を行う通知情報を生成する。例えば、通知情報生成部１８３は、通知情報として、検出されたイベントに関する警告を行う画像情報である警告画像を生成する。また、例えば、通知情報生成部１８３は、通知情報として、検出されたイベントに関する警告を行う音声情報である警告音声を生成する。通知情報生成部１８３は、このように生成した通知情報を出力制御部１８４に供給する。なお、通知情報生成部１８３が、CCU１１１を介して供給される撮像画像を参考にして通知情報を生成するようにしてもよい。例えば、通知情報生成部１８３が、撮像画像の絵柄に応じて警告画像のレイアウトを設定するようにしてもよい。
【００９０】
出力制御部１８４は、情報の出力を制御する。例えば、出力制御部１８４は、CCU１１１から供給される撮像画像から表示画像（つまり撮像領域の画像）を生成し、その表示画像を、出力装置１１４に供給して表示させる。また、例えば、出力制御部１８４は、通知情報生成部１８３から供給される通知情報（画像や音声等）を出力装置１１４に供給し、出力させる。その際、出力制御部１８４は、通知情報生成部１８３から供給される警告画像を、CCU１１１から供給される撮像画像に重畳させて表示画像を生成し、その表示画像を出力装置１１４に供給して表示させることもできる。なお、出力制御部１８４が、各種情報を出力装置１１４以外の装置に供給することができるようにしてもよい。
【００９１】
出力装置１１４は、モニタ１９１およびスピーカ１９２を有する。モニタ１９１は、例えば、出力制御部１８４から供給される表示画像等を表示する。スピーカ１９２は、出力制御部１８４から供給される警告音声等を出力する。出力装置１１４の構成は任意である。例えば、モニタ１９１若しくはスピーカ１９２が省略されるようにしてもよい。また、例えば、出力装置１１４が、モニタ１９１を複数備えるようにしてもよいし、スピーカ１９２を複数備えるようにしてもよい。さらに、例えば、出力装置１１４が、モニタ１９１およびスピーカ１９２以外の出力デバイスを備えるようにしてもよい。
【００９２】
以上のように、監視装置１１３は、警告対象検出部１８２および通知情報生成部１８３を有するので、術部若しくはその術部周辺において発生する、より多様なイベントについての通知を行うことができる。したがって、監視装置１１３は、より多様な医療支援を行うことができる。
【００９３】
＜警告処理の流れ＞
次に、図４のフローチャートを参照して、以上のような内視鏡手術支援システム１００において実行される警告処理の流れの例を説明する。この警告処理は、サーモセンサ１２５Ａのセンシングの結果得られたセンシング領域の温度（若しくは温度分布）の時間変化に基づいて、警告対象となる所定のイベントを検出し、そのイベントに関する通知を行う通知情報を生成し、出力する処理である。
【００９４】
警告処理が開始されると、ステップＳ１０１において、内視鏡１２１のイメージセンサ１７１は、内視鏡１２１の視野内（すなわち、撮像領域１６２）を撮像する。より具体的には、光源装置１１２が、内視鏡１２１から照射される光（照明光）を発光し、内視鏡１２１に供給する。これにより、内視鏡１２１から撮像の画角内（被写体）に向かって光が照射される。その状態において、CCU１１１がイメージセンサ１７１を制御し、撮像を行わせる。イメージセンサ１７１は、撮像画像のデータをCCU１１１に供給する。
【００９５】
ステップＳ１０２において、サーモセンサ１２５Ａは、センシングを行い、センシング領域の温度（温度分布）の情報を得る。サーモセンサ１２５Ａは、そのセンシング結果を温度画像生成部１８１に供給する。
【００９６】
ステップＳ１０３において、温度画像生成部１８１は、ステップＳ１０２の処理により得られたサーモセンサ１２５Ａのセンシング結果に基づいて、センシング領域の温度画像を生成する。
【００９７】
ステップＳ１０４において、警告対象検出部１８２は、ステップＳ１０３の処理により得られた温度画像を用いて警告対象の検出を行う。
【００９８】
ステップＳ１０５において、警告対象検出部１８２は、警告対象が検出されたか否かを判定する。警告対象が検出されたと判定された場合、処理はステップＳ１０６に進む。
【００９９】
ステップＳ１０６において、通知情報生成部１８３は、通知情報として、警告対象のイベントに関する警告を行う警告情報を生成する。警告情報は、画像情報である警告画像や音声情報である警告音声等よりなる。
【０１００】
ステップＳ１０７において、出力制御部１８４は、ステップＳ１０６の処理により生成された警告画像を、CCU１１１から供給されるステップＳ１０１の処理により得られた撮像画像に重畳して表示画像を生成し、出力装置１１４のモニタ１９１に表示させる。
【０１０１】
ステップＳ１０８において、出力制御部１８４は、ステップＳ１０６の処理により生成された警告音声を、出力装置１１４のスピーカ１９２から出力させる。
【０１０２】
なお、ステップＳ１０５において警告対象が検出されなかったと判定された場合、ステップＳ１０９において、出力制御部１８４は、CCU１１１から供給されるステップＳ１０１の処理により得られた撮像画像を表示する表示画像を生成し、出力装置１１４のモニタ１９１に表示させる。
【０１０３】
ステップＳ１１０において、出力制御部１８４は、警告処理を終了するか否かを判定する。警告処理を終了しないと判定された場合、処理はステップＳ１０１に戻り、それ以降の処理が繰り返される。つまり、警告処理が実行中の間、ステップＳ１０１乃至ステップＳ１１０の各処理が実行される。そして、ステップＳ１１０において、警告処理を終了すると判定された場合、警告処理が終了する。
【０１０４】
警告処理が実行中の間、ステップＳ１０１乃至ステップＳ１１０の各処理は、並行して実行される。つまり、イメージセンサ１７１による撮像や、サーモセンサ１２５Ａによるセンシングを行いながら、温度画像の生成、警告対象の検出、通知情報生成、通知情報の出力等の処理が行われる。
【０１０５】
したがって、警告対象検出部１８２においては、動画像としての温度画像が得られる。したがって、警告対象検出部１８２は、その動画像において、警告対象となるイベントに対応する温度の時間変化のパターンの検出を行う。
【０１０６】
＜出血の発生＞
この警告対象となるイベントは任意である。例えば、出血の発生を、警告対象となるイベントとしてもよい。
【０１０７】
一般的に、出血したての血液は、臓器外部の温度（深部体温）よりも高い。したがって、温度画像において、出血した血液の部分は周囲より高温に示される。図５に温度画像の例を示す。図５Ａは、ある時刻の温度画像の例を示している。図５Ａの例の場合、センシング領域１６３内に位置する臓器２１１において、そのような周囲よりも高温の領域２１２が検出されている。
【０１０８】
図５Ｂは、図５Ａの状態から所定時間が経過した温度画像の例を示している。図５Ｂに示されるように、この時点で、領域２１２が図５Ａの時点よりも拡大している。つまり、時間が経過するとともに、周囲よりも高温の領域２１２が拡大している。
【０１０９】
警告対象検出部１８２は、温度画像においてこのような時間変化が検出された場合、この領域２１２を出血した血液であると判定し、出血の発生を検出する。
【０１１０】
＜出血検出処理の流れ＞
出血の発生を検出する場合、警告対象検出部１８２は、警告処理のステップＳ１０４においてイベント検出処理としてこのような処理を行う。この出血検出処理の流れの例を、図６のフローチャートを参照して説明する。
【０１１１】
出血検出処理が開始されると、警告対象検出部１８２は、ステップＳ１３１において、温度画像において周辺より温度の高い深部体温以上の領域が発生したか否かを判定する。図５Ａの領域２１２のような、周辺より温度の高い深部体温以上の領域が発生したと判定された場合、処理はステップＳ１３２に進む。
【０１１２】
ステップＳ１３２において、警告対象検出部１８２は、その領域が時間の経過とともに拡大しているか否かを判定する。図５Ｂの領域２１２のように、温度画像において、その領域が時間の経過とともに拡大していると判定された場合、処理はステップＳ１３３に進む。
【０１１３】
ステップＳ１３３において、警告対象検出部１８２は、その領域を出血した血液と判定し、出血の発生を検出する。
【０１１４】
ステップＳ１３４において、警告対象検出部１８２は、出血検出処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ１３１に戻り、それ以降の処理が繰り返される。
【０１１５】
なお、ステップＳ１３１において、温度画像において周辺より温度の高い深部体温以上の領域が発生していないと判定された場合、出血検出処理が終了し、処理は図４に戻る。また、ステップＳ１３２において、周辺より温度の高い深部体温以上の領域が拡大していないと判定された場合、警告対象検出部１８２はその領域が出血した血液では無いと判定し、出血検出処理が終了し、処理は図４に戻る。また、ステップＳ１３４において、終了すると判定された場合、出血検出処理が終了し、処理は図４に戻る。
【０１１６】
以上のように各処理を行うことにより、監視装置１１３は、温度（温度分布）の時間変化を用いて、出血の発生を検出することができる。したがって、監視装置１１３は、単なる温度分布（ある時刻の温度分布）から出血の発生を検出する場合よりも、より多様なイベントを検出することができる。また、監視装置１１３は、単なる温度分布（ある時刻の温度分布）から出血の発生を検出する場合よりも、より正確に出血の発生を検出することができる。
【０１１７】
図７にモニタ１９１に表示される表示画像の例を示す。図７に示される表示画像２２０は、上述した出血検出処理を行って出血の発生を検出した場合の警告画像を含む表示画像の例を示している。図７に示されるように、この表示画像２２０においては、臓器２１１を含む撮像画像２２１に各種警告画像が重畳されている。
【０１１８】
図７に示される表示画像２２０のように、警告画像として、出血の発生を通知する画像である出血警告メッセージ画像２２２が表示されるようにしてもよい。図７の出血警告メッセージ画像２２２は、メッセージ「出血あり」と、数字「（２）」とを含む。メッセージ「出血あり」は、出血の発生を通知するメッセージである。これにより、表示画像２２０を見た術者等は、より容易に出血の発生を把握することができる。また、数字「（２）」は、出血が発生した箇所の数を示す。したがって、表示画像２２０を見た術者等は、いくつの箇所で出血が発生しているかを、より容易に把握することができる。
【０１１９】
つまり、通知情報生成部１８３は、警告画像として、このような出血警告メッセージ画像２２２を生成するようにしてもよい。なお、この出血警告メッセージ画像２２２の表示位置は任意であり、図７の例のように表示画像の左上でなくてもよい。通知情報生成部１８３が、撮像画像２２１の絵柄に基づいて、この出血警告メッセージ画像２２２の表示位置を設定するようにしてもよい。
【０１２０】
また、図７に示される表示画像２２０のように、出血の発生箇所が撮像画像２２１内に位置する場合、警告画像として、その発生箇所を示す画像である出血位置提示画像２２３を表示させるようにしてもよい。図７の出血位置提示画像２２３は、点線円の画像である。表示画像２２０において、出血発生箇所（領域２１２）をこの点線円で囲むことにより、出血が発生した箇所を示している。これにより、表示画像２２０を見た術者等は、より容易に出血が発生した箇所を把握することができる。
【０１２１】
つまり、通知情報生成部１８３は、警告画像として、このような出血位置提示画像２２３を生成するようにしてもよい。なお、サーモセンサ１２５Ａのセンシング領域と、イメージセンサ１７１の撮像領域とが一致しない場合、センシング領域における出血の発生位置を、そのまま撮像画像２２１に適用することができない。このような場合、通知情報生成部１８３は、撮像画像２２１と温度画像の両方に基づいて、撮像画像２２１における出血が発生した箇所の位置を特定する。つまり、表示画像２２０におけるこの出血位置提示画像２２３の表示位置が設定される。
【０１２２】
なお、出血の発生箇所が撮像画像２２１外に位置する場合、警告画像として、その発生箇所の方向を示す画像である出血方向提示画像２２４を表示させるようにしてもよい。図７の出血方向提示画像２２４は、矢印の画像である。つまり、表示画像２２０の外部に位置する出血の発生箇所の方向が、矢印で示されている。これにより、表示画像２２０を見た術者等は、より容易に出血が発生した方向を把握することができる。
【０１２３】
つまり、通知情報生成部１８３は、警告画像として、このような出血方向提示画像２２４を生成するようにしてもよい。なお、サーモセンサ１２５Ａのセンシング領域と、イメージセンサ１７１の撮像領域とが一致しない場合、撮像画像２２１から見たセンシング領域における出血の発生位置が特定されない。このような場合、通知情報生成部１８３は、撮像画像２２１と温度画像の両方に基づいて、撮像画像と温度画像の位置関係を特定し、撮像画像２２１における出血が発生した箇所の方向を特定する。つまり、表示画像２２０におけるこの出血方向提示画像２２４の矢印の向きが設定される。なお、この出血方向提示画像２２４の表示位置は任意であり、図７の例のように表示画像の右上でなくてもよい。この表示位置は、矢印の向きに応じて決定されるようにしてもよいし、通知情報生成部１８３が、撮像画像２２１の絵柄に基づいてこの表示位置を設定するようにしてもよい。
【０１２４】
なお、通知情報生成部１８３が生成する警告画像の内容は任意である。通知情報生成部１８３が、警告画像として、上述した、出血の発生を通知する画像、出血の発生数を通知する画像、出血の発生箇所が撮像画像範囲内に位置する場合その発生箇所を示す画像、および、出血の発生箇所が撮像画像範囲外に位置する場合その発生箇所の方向を示す画像の内の１つ以上を生成するようにしてもよい。さらに、通知情報生成部１８３が、その他の情報を警告画像に含めるようにしてもよい。
【０１２５】
以上のように、各処理を実行することにより、監視装置１１３は、温度（温度分布）の時間変化を用いて検出されたイベントについての通知を行うことができる。つまり、監視装置１１３は、より多様なイベントについての通知を行うことができるようにする。
【０１２６】
なお、エナジーデバイス１２２等の術具が使用されている間は、このような出血の発生の可能性が高くなる。そこで、エナジーデバイス１２２等の術具の温度や使用状況（スイッチのオンオフ）等の検出も行い、出血の判定に利用するようにしてもよい。つまり、例えば、エナジーデバイス１２２が使用中の場合や、エナジーデバイス１２２の先端付近の温度が高い場合のみ、出血の判定が行われるようにしてもよい。このように、出血の起こりやすさ等の条件を、出血の判定基準に付加することにより、監視装置１１３は、出血の発生をより正確に検出することができる。
【０１２７】
また、例えば、エナジーデバイス１２２が使用中の場合や、エナジーデバイス１２２の先端付近の温度が高い場合は、出血が判定され易くする等、出血の起こりやすさ等の条件を用いて、判定の重み付けを行うようにしてもよい。このようにすることにより、監視装置１１３は、出血の発生をより正確に検出することができる。
【０１２８】
＜２．第２の実施の形態＞
＜術具の使用後の余熱の検出＞
なお、監視装置１１３が検出することができるイベントは、上述の例に限定されない。例えば、監視装置１１３が、使用後のエナジーデバイス１２２等の術具の温度（余熱）の監視を行うようにしてもよい。
【０１２９】
エナジーデバイス１２２の先端付近の温度は、例えば、図８に示されるように変化する。つまり、使用前のエナジーデバイス１２２−１の先端付近は、接触すると生体（臓器等）に影響を及ぼす可能性のある所定の温度である危険温度よりも低い。このエナジーデバイスが使用されると、その先端付近は非常に高温になる。したがって、使用中のエナジーデバイス１２２−２の先端付近は、危険温度よりも高い所定の温度（使用時温度）以上となる。
【０１３０】
エナジーデバイス１２２の使用が済むと、先端付近の温度（余熱）は低下するが、暫くはその温度が高く、生体（臓器等）への接触を避けるように注意すべき温度状態（使用後要注意状態）となる。つまり、この使用後要注意状態のエナジーデバイス１２２−３の先端付近の温度は、使用時温度よりも低く、かつ、危険温度以上となる。その後、時間が経過すると、エナジーデバイス１２２の先端付近の温度はさらに低下し、安全な状態となる。つまり、使用後のエナジーデバイス１２２−４の先端付近の温度は、危険温度よりも低く、使用前のエナジーデバイス１２２−１と同じ状態に戻る。
【０１３１】
エナジーデバイス１２２の先端付近の温度が危険温度よりも高い状態にある場合、そのエナジーデバイス１２２の先端付近が生体（臓器等）に接触したり近接したりすると、その生体に影響を及ぼす可能性がある。つまり、使用中と使用後要注意状態において、エナジーデバイス１２２の先端付近は、生体（臓器等）に影響を及ぼす可能性のある高温状態となる。しかしながら、使用中のエナジーデバイス１２２−２は、術者が意図して操作している状態であるため、警告しなくても術者の注意がエナジーデバイス１２２の先端に向けられている状態である。むしろ、医療作業中であるので、警告画像の表示や警告音声の出力は、術者の視野や集中力の妨げとなってしまうおそれがある。
【０１３２】
したがって、監視装置１１３は、使用中は警告を行わずに、使用後要注意状態においてのみ警告を行うようにする。
【０１３３】
＜使用後要注意状態検出処理の流れ＞
この場合、警告対象検出部１８２は、警告処理のステップＳ１０４においてイベント検出処理として使用後要注意状態検出処理を行う。この使用後要注意状態検出処理の流れの例を、図９のフローチャートを参照して説明する。
【０１３４】
使用後要注意状態検出処理の開始時は、エナジーデバイス１２２が、図８の使用前（エナジーデバイス１２２−１）の状態であるとする。使用後要注意状態検出処理が開始されると、警告対象検出部１８２は、ステップＳ１５１において、エナジーデバイス１２２の先端の温度が使用時温度以上であるか否かを判定する。使用時温度より低いと判定された場合、エナジーデバイス１２２が図８の使用前の状態であるので、ステップＳ１５２乃至ステップＳ１５４の処理が省略され、処理はステップＳ１５５に進む。
【０１３５】
また、ステップＳ１５１において、エナジーデバイス１２２の先端の温度が使用時温度以上であると判定された場合、処理はステップＳ１５２に進む。つまり、エナジーデバイス１２２が図８の使用中の状態となった。この状態においては上述したように警告は行わない。
【０１３６】
ステップＳ１５２において、警告対象検出部１８２は、エナジーデバイス１２２の先端の温度が使用時温度よりも低くなったか否かを判定する。エナジーデバイス１２２の先端の温度が使用時温度以上であると判定された場合、エナジーデバイス１２２は、まだ図８の使用中の状態であるので、ステップＳ１５２の処理が繰り返される。
【０１３７】
また、ステップＳ１５２において、エナジーデバイス１２２の先端の温度が使用時温度よりも低くなったと判定された場合、処理はステップＳ１５３に進む。つまり、エナジーデバイス１２２が図８の使用後要注意状態以降の状態となった。
【０１３８】
ステップＳ１５３において、警告対象検出部１８２は、エナジーデバイス１２２の先端の温度が危険温度よりも低くなったか否かを判定する。エナジーデバイス１２２の先端の温度が危険温度以上であると判定された場合、エナジーデバイス１２２は、図８の使用後要注意状態である。したがって、警告対象検出部１８２は、ステップＳ１５４において、エナジーデバイス１２２がその使用後要注意状態であることを警告対象として検出する。
【０１３９】
したがって、図４のステップＳ１０６乃至ステップＳ１０８の処理により、警告情報が生成されてその画像や音声等が出力される。
【０１４０】
図９に戻り、ステップＳ１５４の処理が終了すると、処理はステップＳ１５２に戻り、それ以降の処理が繰り返される。つまり、エナジーデバイス１２２の先端の温度が危険温度よりも低くなるまで、使用後要注意状態が検出される。
【０１４１】
ステップＳ１５３において、エナジーデバイス１２２の先端の温度が危険温度よりも低くなったと判定された場合、エナジーデバイス１２２が図８の使用後の状態となったので、使用後要注意状態の検出が終了して、処理はステップＳ１５５に進む。
【０１４２】
ステップＳ１５５において、警告対象検出部１８２は、使用後要注意状態検出処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ１５１に戻り、それ以降の処理が繰り返される。つまり、エナジーデバイス１２２が図８の使用前の状態に戻り、上述した各処理が繰り返される。
【０１４３】
そして、ステップＳ１５５において、終了すると判定された場合、使用後要注意状態検出処理が終了し、処理は図４に戻る。
【０１４４】
以上のように各処理を行うことにより、監視装置１１３は、温度（温度分布）の時間変化を用いて、使用後の術具が、（使用時温度よりも低く、かつ、）所定の温度（危険温度）以上の状態（使用後要注意状態）にあることを検出することができる。したがって、監視装置１１３は、術具の使用中は警告せずに、この使用後要注意状態のみ警告を行うようにすることができる。したがって、監視装置１１３は、術者の作業を妨げることなく、より適切に警告を行うことができる。単なる温度分布（ある時刻の温度分布）からでは、使用中であるのか、使用後要注意状態であるかの判定は困難であるので、このような制御を行うことは困難である。
【０１４５】
図１０にこの場合のモニタ１９１に表示される表示画像の例を示す。図１０に示される表示画像２３０は、使用後要注意状態においてのみ表示される警告画像を含む表示画像の例を示している。図１０に示されるように、この表示画像２３０においては、エナジーデバイス１２２の先端付近の画像を含む撮像画像２３１に各種警告画像が重畳されている。
【０１４６】
図１０に示される表示画像２３０のように、警告画像として、使用後要注意状態である術具が存在する旨（すなわち、所定の温度以上の状態にある使用後の術具が存在すること）を通知する画像である余熱警告メッセージ画像２３２が表示されるようにしてもよい。図１０の余熱警告メッセージ画像２３２は、メッセージ「高温デバイスあり」と、数字「（２）」とを含む。メッセージ「高温デバイスあり」は、使用後要注意状態である術具が存在することを通知するメッセージである。これにより、表示画像２３０を見た術者等は、使用後要注意状態にある術具が存在することをより容易に把握することができる。また、数字「（２）」は、使用後要注意状態である術具の数を示す。したがって、表示画像２３０を見た術者等は、使用後要注意状態である術具がいくつ存在するかを、より容易に把握することができる。
【０１４７】
つまり、通知情報生成部１８３は、警告画像として、このような余熱警告メッセージ画像２３２を生成するようにしてもよい。なお、この余熱警告メッセージ画像２３２の表示位置は任意であり、図１０の例のように表示画像の左上でなくてもよい。通知情報生成部１８３が、撮像画像２３１の絵柄に基づいて、この余熱警告メッセージ画像２３２の表示位置を設定するようにしてもよい。
【０１４８】
また、図１０に示される表示画像２３０のように、使用後要注意状態である術具の先端付近が撮像画像２３１内に位置する場合、警告画像として、その術具（エナジーデバイス１２２）を示す余熱警告画像２３３を表示させるようにしてもよい。図１０に示されるように、この余熱警告画像２３３は、例えば、この術具（エナジーデバイス１２２）の先端付近の温度画像よりなる。つまり、使用後要注意状態である術具の先端付近の温度画像が、撮像画像２３１の同じ部分（その使用後要注意状態にある術具の先端付近）に重畳されて表示されている。これにより、表示画像２３０を見た術者等は、どの術具がどのような温度であるか（少なくとも使用後要注意状態である術具が、注意すべき温度であること）を直感的に把握することができる。
【０１４９】
なお、通知情報生成部１８３は、温度画像において、エナジーデバイス１２２の先端付近を、周囲との温度差により容易に求めることができる。また、通知情報生成部１８３は、撮像画像２３１において、エナジーデバイス１２２の先端付近を、その画像の特徴（絵柄）から容易に求めることができる。また、通知情報生成部１８３は、温度画像と撮像画像２３１の両方を用いることにより、エナジーデバイス１２２の先端付近を、さらに容易に求めることができる。
【０１５０】
なお、余熱警告画像２３３として、温度画像の代わりに、その術具を強調表示する所定の画像を重畳させるようにしてもよい。なお、サーモセンサ１２５Ａのセンシング領域と、イメージセンサ１７１の撮像領域とが一致しない場合、センシング領域における術具の位置を、そのまま撮像画像２３１に適用することができない。このような場合、通知情報生成部１８３は、撮像画像２３１と温度画像の両方に基づいて、撮像画像２２１における術具の位置を特定する。つまり、表示画像２３０におけるこの余熱警告画像２３３の表示位置が設定される。
【０１５１】
なお、使用後要注意状態にある術具の先端付近が撮像画像２３１外に位置する場合、警告画像として、その術具の方向を示す画像を表示させるようにしてもよい。例えば、術具の方向を矢印で示すようにしてもよい。これにより、表示画像２３０を見た術者等は、より容易に使用後要注意状態にある術具の先端付近の方向を把握することができる。なお、通知情報生成部１８３が、撮像画像２２１と温度画像の両方に基づいて、使用後要注意状態にある術具の先端付近の方向を特定するようにしてもよい。
【０１５２】
なお、通知情報生成部１８３が生成する警告画像の内容は任意である。通知情報生成部１８３が、警告画像として、上述した、所定の温度以上の状態にある使用後の術具が存在することを通知する画像、その術具の数を通知する画像、その術具が撮像画像範囲内に位置する場合その術具を示す画像、および、その術具が撮像画像範囲外に位置する場合その術具の方向を示す画像の内の１つ以上を生成するようにしてもよい。さらに、通知情報生成部１８３が、その他の情報を警告画像に含めるようにしてもよい。
【０１５３】
以上のように、各処理を実行することにより、監視装置１１３は、温度（温度分布）の時間変化を用いて検出されたイベントについての通知を行うことができる。つまり、監視装置１１３は、より多様なイベントについての通知を行うことができるようにする。
【０１５４】
なお、エナジーデバイス１２２等の術具の動作状態は、エナジーデバイス１２２等のスイッチのオンオフ状態等から検出するようにしてもよい。このようにすることにより、エナジーデバイス１２２の動作状態をより正確に検出することができ、監視装置１１３は、使用後要注意状態をより正確に検出することができる。
【０１５５】
なお、例えば、エナジーデバイス１２２の持ち手にLED等のデバイスを設け、それを発光させることで、以上のような余熱についての警告を行うようにしてもよい。また、このような警告を、上述した表示画像２３０による警告と併用するようにしてもよい。このようにすることにより、術者等に対して、より確実に警告を行うことができる。
【０１５６】
＜その他の警告例＞
また、監視装置１１３は、上述した警告処理と同様にして、上述した以外のイベントについて警告を行うようにすることもできる。
【０１５７】
例えば、監視装置１１３の警告対象検出部１８２が、温度画像における、出血領域の温度低下や血管部分の温度上昇等の時間変化に基づいて、止血の結果（成功若しくは失敗）をイベントとして検出するようにしてもよい。そして、通知情報生成部１８３が、警告画像として、その止血結果を通知する画像や、止血が行われた箇所の数を通知する画像を生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。また、止血が撮像画像の範囲内において行われた場合、通知情報生成部１８３が、止血が行われた箇所を示す画像を、警告画像として生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。さらに、止血が撮像画像の範囲外において行われた場合、通知情報生成部１８３が、止血が行われた方向を示す画像を、警告画像として生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。
【０１５８】
なお、通知情報生成部１８３が生成する警告画像の内容は任意である。通知情報生成部１８３が、警告画像として、上述した、止血結果を通知する画像、その止血が行われた箇所の数を通知する画像、その止血が撮像画像の範囲内において行われた場合その止血が行われた箇所を示す画像、および、その止血が撮像画像の範囲外において行われた場合その止血が行われた方向を示す画像の内の１つ以上を生成するようにしてもよい。さらに、通知情報生成部１８３が、その他の情報を警告画像に含めるようにしてもよい。
【０１５９】
また、例えば、監視装置１１３の警告対象検出部１８２が、温度画像における、炎症等による生体の温度上昇等の時間変化に基づいて、不使用時の術具（エナジーデバイス１２２等）の接触による前記生体の損傷箇所をイベントとして検出するようにしてもよい。そして、通知情報生成部１８３が、警告画像として、その損傷箇所の発生を通知する画像や、損傷箇所の数を通知する画像を生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。また、損傷箇所が撮像画像の範囲内に位置する場合、通知情報生成部１８３が、その損傷箇所を示す画像を警告画像として生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。さらに、損傷箇所が撮像画像の範囲外に位置する場合、通知情報生成部１８３が、その損傷箇所の方向を示す画像を、警告画像として生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。
【０１６０】
なお、通知情報生成部１８３が生成する警告画像の内容は任意である。通知情報生成部１８３が、警告画像として、上述した、損傷箇所の発生を通知する画像、その損傷箇所の数を通知する画像、その損傷箇所が撮像画像の範囲内に位置する場合その損傷箇所を示す画像、および、その損傷箇所が撮像画像の範囲外に位置する場合その損傷箇所の方向を示す画像の内の１つ以上を生成するようにしてもよい。さらに、通知情報生成部１８３が、その他の情報を警告画像に含めるようにしてもよい。
【０１６１】
また、例えば、監視装置１１３の警告対象検出部１８２が、温度画像における、術具（エナジーデバイス１２２等）の接触部分の周囲の温度上昇等の時間変化に基づいて、術具の使用による術部若しくは術部周辺が所定の温度以上の状態にあることをイベントとして検出するようにしてもよい。そして、通知情報生成部１８３が、警告画像として、その所定の温度以上の状態にある箇所が発生したことを通知する画像や、その所定の温度以上の状態にある箇所の数を通知する画像を生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。また、その所定の温度以上の状態にある箇所が撮像画像の範囲内に位置する場合、通知情報生成部１８３が、その所定の温度以上の状態にある箇所の発生位置を示す画像を警告画像として生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。さらに、所定の温度以上の状態にある箇所が撮像画像の範囲外に位置する場合、通知情報生成部１８３が、その所定の温度以上の状態にある箇所の発生方向を示す画像を、警告画像として生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。
【０１６２】
図１１にその表示画像の例を示す。図１１に示される表示画像２４０において、エナジーデバイス１２２の先端付近の画像を含む撮像画像２４１に各種警告画像が重畳されている。図１１に示される表示画像２４０のように、警告画像として、生体の温度異常を通知する画像である生体温度異常警告メッセージ画像２４２が表示されるようにしてもよい。図１１の生体温度異常警告メッセージ画像２４２は、メッセージ「熱拡散あり」を含む。メッセージ「熱拡散あり」は、生体の温度異常が発生したことを通知するメッセージである。これにより、表示画像２４０を見た術者等は、生体の温度異常が発生したことをより容易に把握することができる。なお、この生体温度異常警告メッセージ画像２４２に、生体の温度異常が発生した数を示す数字を含めるようにしてもよい。このようにすることにより、表示画像２４０を見た術者等は、生体の温度以上が発生した箇所の数を、より容易に把握することができる。
【０１６３】
つまり、通知情報生成部１８３は、警告画像として、このような生体温度異常警告メッセージ画像２４２を生成するようにしてもよい。なお、この生体温度異常警告メッセージ画像２４２の表示位置は任意であり、図１１の例のように表示画像の左上でなくてもよい。通知情報生成部１８３が、撮像画像２４１の絵柄に基づいて、この生体温度異常警告メッセージ画像２４２の表示位置を設定するようにしてもよい。
【０１６４】
また、図１１に示される表示画像２４０のように、生体の温度異常が撮像画像２４１内に位置する場合、警告画像として、その温度異常が発生した箇所を示す画像として生体温度異常警告画像２４３を表示されるようにしてもよい。例えば、生体の４２℃に近づく危険な領域に対して、この生体温度異常警告画像２４３のように、色や模様を付す等して強調表示するようにしてもよい。これにより、表示画像２４０を見た術者等は、どこで温度異常が発生したかを直感的に把握することができる。
【０１６５】
なお、通知情報生成部１８３が生成する警告画像の内容は任意である。通知情報生成部１８３が、警告画像として、上述した、所定の温度以上の状態にある箇所が発生したことを通知する画像、所定の温度以上の状態にある箇所の数を通知する画像、所定の温度以上の状態にある箇所が撮像画像の範囲内に位置する場合その所定の温度以上の状態にある箇所の発生位置を示す画像、および、所定の温度以上の状態にある箇所が撮像画像の範囲外に位置する場合その所定の温度以上の状態にある箇所の発生方向を示す画像の内の１つ以上を生成するようにしてもよい。さらに、通知情報生成部１８３が、その他の情報を警告画像に含めるようにしてもよい。
【０１６６】
以上のように、監視装置１１３は、温度（温度分布）の時間変化に基づいて、より多様なイベントを検出することができ、さらに、その多様なイベントについての通知を行うことができる。
【０１６７】
＜３．第３の実施の形態＞
＜奥行き検出＞
なお、監視装置１１３が、温度画像以外の情報も用いてイベントを検出するようにしてもよい。例えば、ステレオイメージセンサを用いて得られるステレオ画像を用いて奥行きを検出し、術具と生体とが接触しそうな状態をイベントとして検出するようにしてもよい。
【０１６８】
＜監視装置等の主な構成例＞
図１２は、この場合の監視装置１１３等の主な構成例を示すブロック図である。この場合も、内視鏡手術支援システム１００は、基本的に図３の場合と同様の構成を有する。ただし、図１２の場合、内視鏡手術支援システム１００は、監視用センサ１２５として、サーモセンサ１２５Ａの他に、ステレオイメージセンサ１２５Ｂを有する。また、監視装置１１３は、警告対象検出部１８２の代わりに、警告対象検出部２５１を有する。
【０１６９】
ステレオイメージセンサ１２５Ｂは、複数のイメージセンサよりなり、それらにより被写体を撮像することにより、互いに視差を有する複数の撮像画像であるステレオ画像を生成する。ステレオイメージセンサ１２５Ｂは、サーモセンサ１２５Ａのセンシング領域と略同様の領域をセンシング領域とする。例えば、ステレオイメージセンサ１２５Ｂは、図１のように患者１５１の生体内に挿入された状態で設置され、サーモセンサ１２５Ａと同様に図２のセンシング領域１６３（術部および術部周辺）をセンシングする。ステレオイメージセンサ１２５Ｂは、生成したステレオ画像を警告対象検出部２５１に供給する。
【０１７０】
警告対象検出部２５１は、温度画像生成部１８１から温度画像を取得する。警告対象検出部２５１は、その温度画像（温度（温度分布）の時間変化）と、ステレオイメージセンサ１２５Ｂから取得したステレオ画像とを用いて、警告対象となる生体内でのイベントを検出する。また、警告対象検出部２５１は、CCU１１１を介してイメージセンサ１７１の撮像画像も得ることができ、その撮像画像も警告対象となる生体内でのイベントの検出に利用することができる。警告対象検出部２５１は、警告対象検出部１８２の場合と同様に、検出したイベントを通知情報生成部１８３に通知する。
【０１７１】
＜警告処理の流れ＞
この場合の警告処理の流れの例を、図１３のフローチャートを参照して説明する。
【０１７２】
ステップＳ１７１およびステップＳ１７２の各処理は、図４のステップＳ１０１およびステップＳ１０２の各処理と同様に実行される。
【０１７３】
ステップＳ１７３において、ステレオイメージセンサ１２５Ｂは、センシングを行い、ステレオ画像を生成する。ステレオイメージセンサ１２５Ｂは、そのセンシング結果（ステレオ画像）を警告対象検出部２５１に供給する。
【０１７４】
ステップＳ１７４において、温度画像生成部１８１は、図４のステップＳ１０３の場合と同様に、ステップＳ１７２の処理により得られたサーモセンサ１２５Ａのセンシング結果に基づいて、センシング領域の温度画像を生成する。
【０１７５】
ステップＳ１７５において、警告対象検出部２５１は、ステップＳ１７４の処理により得られた温度画像と、ステップＳ１７３の処理により得られたステレオ画像を用いて警告対象となるイベントの検出を行う。
【０１７６】
ステップＳ１７６乃至ステップＳ１８１の各処理は、図４のステップＳ１０５乃至ステップＳ１１０の各処理と同様に実行される。
【０１７７】
この場合も警告処理が実行中の間、ステップＳ１７１乃至ステップＳ１８１の各処理は、並行して実行される。つまり、イメージセンサ１７１による撮像や、サーモセンサ１２５Ａやステレオイメージセンサ１２５Ｂによるセンシングを行いながら、温度画像の生成、警告対象の検出、通知情報生成、通知情報の出力等の処理が行われる。
【０１７８】
したがって、警告対象検出部２５１においては、動画像としての温度画像が得られる。したがって、警告対象検出部２５１は、その動画像において、警告対象となる生体内でのイベントに対応する温度の時間変化のパターンの検出を行う。
【０１７９】
＜使用後要注意状態検出処理の流れ＞
このように、ステレオ画像を用いて生体内でのイベントを検出する場合について、術具の使用後の余熱の検出を行う使用後要注意状態検出処理を例に説明する。この場合、単に、術具の使用後の余熱が危険温度以上であることだけでなく、さらにその術具が生体に接触しそう（近接している）ことも警告する。
【０１８０】
このような場合の、使用後要注意状態検出処理の流れの例を図１４のフローチャートを参照して説明する。
【０１８１】
ステップＳ２０１乃至ステップＳ２０４の各処理は、図９のステップＳ１５１乃至ステップＳ１５４の各処理と同様に実行される。
【０１８２】
ステップＳ２０４において使用後要注意状態が検出されると、警告対象検出部２５１は、ステップＳ２０５において、ステレオ画像を用いて、術具（エナジーデバイス１２２）や生体（臓器）の空間位置を求める。例えば、警告対象検出部２５１は、ステレオ画像から、具（エナジーデバイス１２２）や生体（臓器）のそれぞれの奥行き位置を求める。
【０１８３】
ステップＳ２０６において、警告対象検出部２５１は、その求めた空間位置に基づいて、術具（エナジーデバイス１２２）が、生体（臓器）に近接するか否かを判定する。
【０１８４】
術具（エナジーデバイス１２２）が、生体（臓器）に近接していると判定された場合、警告対象検出部２５１は、ステップＳ２０７において、術具（エナジーデバイス１２２）が、生体（臓器）に接触しそうな状態である接触要注意状態であることを警告対象として検出する。
【０１８５】
したがって、この場合、図１３のステップＳ１７７乃至ステップＳ１７９の処理により、使用後要注意状態であることについてだけでなく、この接触要注意状態であることについても、警告情報が生成されてその画像や音声等が出力される。
【０１８６】
図１４に戻り、ステップＳ２０７の処理が終了すると、処理はステップＳ２０２に戻り、それ以降の処理が繰り返される。
【０１８７】
また、ステップＳ２０６において、術具（エナジーデバイス１２２）が、生体（臓器）に近接していないと判定された場合、ステップＳ２０７の処理が省略され、処理はステップＳ２０２に戻り、それ以降の処理が繰り返される。つまり、この場合、接触要注意状態ではない。
【０１８８】
したがって、この場合、図１３のステップＳ１７７乃至ステップＳ１７９の処理により、使用後要注意状態であることについてのみ、警告情報が生成されてその画像や音声等が出力される。
【０１８９】
ステップＳ２０８の処理は、図９のステップＳ１５５の処理と同様に実行される。
【０１９０】
以上のように各処理を行うことにより、監視装置１１３は、温度（温度分布）の時間変化を用いて、術具の使用後の余熱の状態についての警告を行うことができる。さらに、監視装置１１３は、ステレオ画像に基づいて、術具と生体との接触の可能性についても警告を行うことができる。なお、上述したように処理を行うことにより、術具と生体とが接触すると、生体が損傷する可能性がある使用後要注意状態の場合についてのみ、術具と生体との接触についての警告を行うことができる。つまり、不要な警告の通知を抑制し、より適切な場合のみ警告を行うことにより、術者等の視界や集中力を妨げることを抑制することができる。
【０１９１】
＜４．第４の実施の形態＞
＜診断＞
なお、監視装置１１３が、温度画像等から検出した生体内でのイベントに対して、警告以外の処理を行うようにしてもよい。例えば、検出された生体内でのイベントを評価し、生体についての診断を行うようにしてもよい。つまり、温度画像の時間変化に基づいて、生体内でのイベントとして、生体の状態変化を検出し、その状態変化に基づく診断結果を通知する診断画像を生成するようにしてもよい。
【０１９２】
例えば、監視装置１１３が、生体に対して温度変化を生じさせる刺激（つまり加熱等）を行い、その後の温度（温度分布）の時間変化の様子に基づいて生体内でのイベントを診断結果として検出し、そのイベント（診断結果）に関する診断情報を出力するようにしてもよい。つまり、加熱部により生体に加熱し、その加熱後の生体の状態変化を検出するようにしてもよい。
【０１９３】
＜監視装置等の主な構成例＞
図１５は、この場合の監視装置１１３等の主な構成例を示すブロック図である。この場合も、内視鏡手術支援システム１００は、基本的に図３の場合と同様の構成を有する。ただし、図１５の場合、内視鏡手術支援システム１００は、ヒータ２６１をさらに備える。また、監視装置１１３は、加熱制御部２７１を備え、図３の警告対象検出部１８２の代わりに、診断部２７２を有する。
【０１９４】
ヒータ２６１は、所定の温度の熱を発生する加熱部である。ヒータ２６１は、術者等に操作されて、発生した熱を生体に印加（加熱）する。サーモセンサ１２５Ａは、生体の、そのヒータ２６１により加熱が行われた部分を含むセンシング領域について、その加熱が行われた後の経過（温度の時間変化）をセンシングする。
【０１９５】
加熱制御部２７１は、ヒータ２６１が発生する熱の温度を制御する。また、加熱制御部２７１は、その加熱に関する情報を診断部２７２に供給する。
【０１９６】
診断部２７２は、温度画像生成部１８１から供給される温度画像に基づいて生体等を診断する。また、診断部２７２は、加熱制御部２７１からの情報に基づいて加熱の状況等を確認する。診断部２７２は、その診断結果を通知情報生成部１８３に供給する。
【０１９７】
＜亜区域の識別＞
このような内視鏡手術支援システム１００を用いて、例えば、肝臓の亜区域を検出し、その領域を表示させることができる。
【０１９８】
図１６に示すように、肝臓は、門脈血流に基づいて「左葉」と「右葉」に分けられ、その左葉はさらに「外側区域」と「内側区域」に分けられ、右葉は「前区域」と「後区域」に分けられる。また、これらの４区域はさらに２区域ずつに分けられ、８つの「亜区域」が定義されている。切除手術等の際には、このような機能的区分が利用される。例えば、「亜区域」は、切除の単位の１つとして用いられている。
【０１９９】
したがって、例えば肝臓の亜区域切除を行う場合、各亜区域の特定が行われる。門脈枝（若しくは肝動脈枝でもよい）をヒータ２６１で生体に無害な程度に加熱すると、その熱が、その門脈枝内の血液を伝い、その門脈枝に沿った特定の亜区域が他の亜区域よりも温度上昇する。つまり、このような温度上昇が発生した領域の拡がりによって亜区域が特定される。
【０２００】
例えば、図１７のように、術者等がヒータ２６１を用いて、門脈の所定の位置２８１を加熱すると、その門脈に沿って形成される「８」の亜区域が他の亜区域よりも温度上昇する。ただし、他の亜区域は他の門脈枝に沿って形成されるため、この温度上昇は他の亜区域に拡がり難い。そこで、温度画像において、温度上昇の領域の変化を観察し、その温度上昇領域の拡がりが鈍くなった時点で、温度が上昇した領域を「８」の亜区域として特定する。加熱する門脈枝を変えることにより、他の亜区域の範囲も同様に特定することができる。つまり、各亜区域の識別を行うことができる。
【０２０１】
このような方法により亜区域を特定することにより、薬品や特殊光を用いる場合よりも、極力患者の生体に負荷をかけずに、より非侵襲に亜区域を特定することができる。
【０２０２】
＜診断処理の流れ＞
この場合の内視鏡手術支援システム１００は、警告処理の代わりに診断処理を実行する。この診断処理の流れの例を、図１８のフローチャートを参照して説明する。
【０２０３】
診断処理が開始されると、ステップＳ２２１において、イメージセンサ１７１は、撮像領域１６２を撮像する。ステップＳ２２２において、加熱制御部２７１は、ヒータ２６１を制御して、生体に無害な温度で生体の所定の部分を加熱する。ステップＳ２２３において、サーモセンサ１２５Ａは、センシング領域のセンシングを行う。
【０２０４】
ステップＳ２２４において、温度画像生成部１８１は、サーモセンサ１２５Ａのセンシング結果を用いて温度画像を生成する。
【０２０５】
ステップＳ２２５において、診断部２７２は、温度画像を用いて温度の時間変化の様子を診断する。ステップＳ２２６において、通知情報生成部１８３は、通知情報として、その診断結果を示す診断情報を生成する。この診断情報は、例えば、診断結果を示す画像である診断画像や、診断結果を音声で示す診断音声等を含む。
【０２０６】
ステップＳ２２７において、出力制御部１８４は、ステップＳ２２６において生成した診断画像を、ステップＳ２２１において生成した生体（術部）の撮像画像に重畳してモニタ１９１に表示させる。
【０２０７】
ステップＳ２２８において、出力制御部１８４は、ステップＳ２２６において生成した診断音声を、スピーカ１９２から出力させる。
【０２０８】
ステップＳ２２９において、出力制御部１８４は、診断処理を終了するか否かを判定する。診断処理を終了しないと判定された場合、処理はステップＳ２２１に戻り、それ以降の処理が繰り返される。つまり、診断処理が実行中の間、ステップＳ２２１乃至ステップＳ２２９の各処理が実行される。そして、ステップＳ２２９において、診断処理を終了すると判定された場合、診断処理が終了する。
【０２０９】
診断処理が実行中の間、ステップＳ２２１乃至ステップＳ２２９の各処理は、並行して実行される。つまり、ヒータ２６１を用いた加熱、イメージセンサ１７１による撮像、サーモセンサ１２５Ａによるセンシング等を行いながら、温度画像の生成、温度変化の診断、通知情報生成、通知情報の出力等の処理が行われる。
【０２１０】
したがって、診断部２７２においては、動画像としての温度画像が得られる。したがって、診断部２７２は、その動画像において、診断対象となるイベントに対応する温度の時間変化のパターンの検出を行う。
【０２１１】
＜表示画像＞
例えば、上述した亜区域の特定の場合、診断部２７２は、温度画像において、温度上昇領域の拡がりを観察し、その拡がりが鈍くなった時点で、その温度上昇領域を、加熱した門脈枝に対応する亜区域として特定する。加熱位置を変えることにより、各亜区域を同様に特定することができる。
【０２１２】
そして、通知情報生成部１８３は、例えば、各亜区域を識別する画像を診断画像として生成し、表示させる。
【０２１３】
図１９は、その診断画像を表示する表示画像の例を示す図である。図１９に示される表示画像２９０は、上述した診断処理を行って温度上昇領域の拡がりを診断した場合の診断画像を含む表示画像の例を示している。図１９に示されるように、この表示画像２９０においては、肝臓を含む生体（術部）の撮像画像２９１に、各亜区域の位置を示す亜区域識別画像２９２−１乃至亜区域識別画像２９２−８が重畳されている。なお以下において、亜区域識別画像２９２−１乃至亜区域識別画像２９２−８を互いに区別して説明する必要が無い場合、亜区域識別画像２９２と称する。
【０２１４】
このような亜区域識別画像２９２を表示することにより、この表示画像を見た術者等は、各亜区域の位置をより容易に把握することができる。したがって、監視装置１１３は、術者に、亜区域切除等をより容易に行わせることができる。
【０２１５】
＜その他の診断例＞
なお、診断の内容は任意であり、上述した亜区域の例に限定されない。
【０２１６】
例えば、肺の病変検出に本技術を利用するようにしてもよい。従来は、病変の部分にバリウム、針などによるマーキングを術前を行い、X線で切除部分を把握する方法が用いられていた。しかしながらこの方法は、非浸襲でなく、患者（生体）への負荷が大きかった。
【０２１７】
そこで、このマーキングを、ヒータ２６１や同様の発熱する物体（例えば携帯カイロのような仕組みの物）で行うようにする。このようにすることで、サーモセンサ１２５Ａを用いて、そのマーキングした部分を容易に検出することができる。つまり、術者等は、切除する部分をより容易に把握することができる。また、そのマーキングの為の患者への負荷を低減させることができる。さらに、Ｘ線の照射が不要になるので、患者のみならず、医師の被ばくも防ぐことができる。
【０２１８】
その他、例えば、血管検出に本技術を利用するようにしてもよい。その場合、例えば、冷たい生理食塩水・ブドウ糖などの投与し、血管の温度変化イベントを温度画像から検出するようにすればよい。また、リンパ管検出に本技術を利用するようにしてもよい。その場合、例えば、リンパ管に冷たい生理食塩水などの投与し、リンパ管の温度変化イベントを検出するようにしてもよい。また、骨と神経の区別に本技術を利用するようにしてもよい。さらに、癌の検出に本技術を利用するようにしてもよい。その場合、例えば、ヒータ２６１などにより生体に熱を与え、その熱伝導率の違いによる冷め方の違いというイベントを温度画像から癌細胞を検出するようにしてもよい。
【０２１９】
なお、上述した加熱には、生体の体温よりも高い温度の加熱と、体温よりも低い温度の加熱との両方を含む（どちらでもよい）。また、温度の時間変化の様子には、温度上昇の様子と温度低下の様子との両方を含む（どちらでもよい）。
【０２２０】
また、診断は、複数の診断候補の中から選択して行うことができるようにしてもよい。例えば、診断部２７２が、肝臓の亜区域の検出、病変の検出、血管の検出、リンパ管の検出、骨および神経の識別、若しくは癌細胞の検出を行い、通知情報生成部が、診断画像として、生体の撮像画像に重畳されて表示される、検出部により検出された、亜区域、病変、血管、リンパ管、骨、神経、若しくは癌細胞を識別可能に示す画像を生成するようにしてもよい。
【０２２１】
＜５．第５の実施の形態＞
＜制御＞
なお、監視装置１１３が、温度画像等から検出した生体内でのイベントに基づいて、警告等の情報の通知だけでなく、術具などの機器制御を行うようにしてもよい。例えば、生体内において計測された温度画像に基づいて、生体内に送気される気体の温度、若しくは、生体内に照射される照明光の明るさを制御するようにしてもよい。
【０２２２】
＜監視装置等の主な構成例＞
図２０は、この場合の監視装置１１３等の主な構成例を示すブロック図である。この場合も、内視鏡手術支援システム１００は、基本的に図３の場合と同様の構成を有する。ただし、図２０の場合、監視装置１１３は、制御部３１２を備え、さらに、図３の警告対象検出部１８２の代わりに、警告制御対象検出部３１１を有する。
【０２２３】
警告制御対象検出部３１１は、温度画像生成部１８１から供給される温度画像に基づいて、警告と機器制御の対象となるイベントを検出する。機器制御の対象となるイベントが検出された場合、警告制御対象検出部３１１は、その旨を制御部３１２に通知する。また、警告制御対象検出部３１１は、警告の対象となるイベントが検出された場合、その旨を通知情報生成部１８３に供給する。
【０２２４】
制御部３１２は、警告制御対象検出部３１１から機器制御の対象となるイベントが検出されたことが通知されると、術具制御装置１１５や気腹装置１１６を介して、術具などに対してそのイベントに応じた制御を行う。
【０２２５】
＜警告制御処理の流れ＞
この場合の内視鏡手術支援システム１００は、警告処理の代わりに警告制御処理を実行する。この警告制御処理の流れの例を、図２１のフローチャートを参照して説明する。
【０２２６】
警告制御処理が開始されると、ステップＳ２４１乃至ステップＳ２４３の各処理は、図４のステップＳ１０１乃至ステップＳ１０３の各処理と同様に実行される。
【０２２７】
ステップＳ２４４において、警告制御対象検出部３１１は、ステップＳ２４３において生成された温度画像を用いて警告制御対象を検出する。そして、ステップＳ２４５において、警告制御対象検出部３１１は、警告制御対象が検出されたか否かを判定する。
【０２２８】
警告制御対象が検出されたと判定された場合、ステップＳ２４６において、制御部３１２は、検出されたイベントに応じて機器を制御する。
【０２２９】
ステップＳ２４７において、通知情報生成部１８３は、通知情報として、異常が発生したことを通知する異常発生通知情報を生成する。ステップＳ２４８において、出力制御部１８４は、異常発生通知情報の画像である異常発生通知画像を、CCU１１１を介して取得した撮像画像に重畳してモニタ１９１に表示させる。また、ステップＳ２４９において、出力制御部１８４は、異常発生通知情報の音声である異常発生通知音声を、スピーカ１９２に供給し、出力させる。
【０２３０】
また、ステップＳ２４５において、警告制御対象が検出されていないと判定された場合、ステップＳ２５０において、出力制御部１８４は、CCU１１１を介して取得した撮像画像をモニタ１９１に表示させる。
【０２３１】
ステップＳ２５１において、出力制御部１８４は、警告制御処理を終了するか否かを判定する。警告制御処理を終了しないと判定された場合、処理はステップＳ２４１に戻り、それ以降の処理が繰り返される。つまり、警告処理が実行中の間、ステップＳ２４１乃至ステップＳ２５１の各処理が実行される。そして、ステップＳ２５１において、警告処理を終了すると判定された場合、警告処理が終了する。
【０２３２】
警告処理が実行中の間、ステップＳ２４１乃至ステップＳ２５１の各処理は、並行して実行される。つまり、イメージセンサ１７１による撮像や、サーモセンサ１２５Ａによるセンシングを行いながら、温度画像の生成、警告対象の検出、通知情報生成、機器制御、通知情報の出力等の処理が行われる。
【０２３３】
したがって、警告制御対象検出部３１１においては、動画像としての温度画像が得られる。したがって、警告制御対象検出部３１１は、その動画像において、警告制御対象となるイベントに対応する温度の時間変化のパターンの検出を行う。
【０２３４】
＜表示画像＞
図２２にモニタ１９１に表示されるこの場合の表示画像の例を示す。図２２に示される表示画像３２０は、上述した異常発生通知画像を含む表示画像の例を示している。図２２に示されるように、この表示画像３２０においては、撮像画像３２１に異常発生通知画像が重畳されている。
【０２３５】
図２２に示される表示画像３２０のように、異常発生通知画像として、生体の異常の発生を通知する画像である警告メッセージ画像２２２が表示されるようにしてもよい。これにより、表示画像３２０を見た術者等は、より容易に以上の発生を把握することができるまた、表示画像３２０のように、異常発生通知画像として、異常が発生した位置を示す警告対象位置提示画像３２３が表示されるようにしてもよい。
【０２３６】
＜温度異常検出処理の流れ＞
例えば、警告制御対象検出部３１１は、生体に発生する温度以上を検出するようにしてもよい。例えば、温度画像を用いて、臓器に害を及ぼす温度の領域検出を行うようにしてもよい。図２１のステップＳ２４４において実行される、この温度異常検出処理の流れの例を図２３のフローチャートを参照して説明する。
【０２３７】
温度異常検出処理が開始されると、ステップＳ２７１において、警告制御対象検出部３１１は、危険温度よりも高い箇所が存在するか否かを判定する。危険温度よりも高い箇所が存在すると判定された場合、警告制御対象検出部３１１は、ステップＳ２７２において、その温度上昇が加熱によるものであるか否かを判定する。加熱によるものであると判定された場合、警告制御対象検出部３１１は、ステップＳ２７３において、加熱領域外であるか否かが判定される。加熱領域外であると判定された場合、警告制御対象検出部３１１は、ステップＳ２７４において、温度異常を検出する。また、ステップＳ２７１において、危険温度よりも高い箇所が存在しないと判定された場合、処理はステップＳ２７５に進む。また、ステップＳ２７２において、加熱によるものでないと判定された場合、ステップＳ２７３の処理が省略され、処理はステップＳ２７４に進む。また、ステップＳ２７４の処理が終了すると、処理はステップＳ２７５に進む。
【０２３８】
ステップＳ２７５において、警告制御対象検出部３１１は、温度異常検出処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ２７１に戻りそれ以降の処理を繰り返す。また、ステップＳ２７５において、温度異常検出処理を終了すると判定された場合、温度異常検出処理を終了する。
【０２３９】
＜制御処理の流れ＞
次に図２１のステップＳ２４６において実行される、この制御処理の流れの例を図２４のフローチャートを参照して説明する。
【０２４０】
制御処理が開始されると、制御部３１２は、ステップＳ２９１において、気腹装置１１６を制御して、送気ガスの温度を下げる。また、ステップＳ２９２において、制御部３１２は、術具制御装置１１５に基づいて、照明を弱めて、生体内の温度を低減させる。
【０２４１】
以上のように、監視装置１１３は、温度（温度分布）の時間変化に基づいて、より多様なイベントを検出することができ、さらに、その多様なイベントについて機器を制御したり、通知を行ったりすることができる。
【０２４２】
なお、複数の光源を持つシステムの場合には、明るさを落とす照明、代わりに強める照明などの制御により温度制御が行われるようにしてもよい。また、同様なやり方でエナジーデバイスの温度制御（周辺部位の温度上昇イベント検出）を行うようにしてもよい。
【０２４３】
以上のように、監視装置１１３は、温度（温度分布）の時間変化を用いて検出されたイベントに応じて、警告、診断、制御等、より多様なイベントについての通知を行うことができる。
【０２４４】
＜その他のシステム＞
なお、以上においては、各実施の形態において、本技術を適用した医療支援システムとして、内視鏡手術支援システムを例に説明したが、本技術は、内視鏡手術支援システムに限らず、任意のシステムに適用することができる。例えば、顕微鏡を利用して行う開腹手術である顕微鏡手術を支援する顕微鏡手術支援システムにも適用することができる。顕微鏡手術支援システムでは内視鏡の代わりに顕微鏡が用いられるが、この顕微鏡も内視鏡と同様に、イメージセンサを有し、光源装置１１２から供給される光を術部および術部周辺に照射し、CCU１１１に制御されて術部および術部周辺を撮像する。
【０２４５】
したがって、各実施の形態において上述した本技術は、このような顕微鏡手術支援システムにも、内視鏡手術支援システムの場合と同様に適用することができ、同様の作用効果を奏することができる。
【０２４６】
＜６．第６の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０２４７】
図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２４８】
図２５に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
【０２４９】
バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
【０２５０】
入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
【０２５１】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２５２】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
【０２５３】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
【０２５４】
その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
【０２５５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２５６】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２５７】
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
【０２５８】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２５９】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０２６０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２６１】
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２６２】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２６３】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２６４】
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【０２６５】
例えば、本技術は、医療支援装置、内視鏡装置、顕微鏡装置、それらの装置を制御するコンピュータ、複数の装置からなる医療支援システム、またはそのソフトウェア・モジュール等に適用することができる。
【０２６６】
なお、本技術は以下のような構成も取ることができる。
（１）  術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出する検出部と、
前記検出部により検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する通知情報生成部と
を備える医療支援装置。
（２）  前記検出部は、前記術部若しくは前記術部周辺の温度分布画像の時間変化に基づいて前記生体内でのイベントを検出する
（１）に記載の医療支援装置。
（３）  前記検出部は、前記温度分布画像の時間変化に基づいて、前記生体内でのイベントとして、警告すべき状態を検出し、
前記通知情報生成部は、前記状態に関する警告を行う警告画像を生成する
（２）に記載の医療支援装置。
（４）  前記通知情報生成部は、前記術部若しくは前記術部周辺の撮像画像に重畳されて表示する前記警告画像を生成する
（３）に記載の医療支援装置。
（５）  前記検出部は、前記温度分布画像の時間変化に基づいて、出血の発生を検出し、
前記通知情報生成部は、前記警告画像として、前記出血の発生を通知する画像、前記出血の発生数を通知する画像、前記出血の発生箇所が前記撮像画像範囲内に位置する場合、前記発生箇所を示す画像、および、前記出血の発生箇所が前記撮像画像範囲外に位置する場合、前記発生箇所の方向を示す画像の内の１つ以上を生成する
（４）に記載の医療支援装置。
（６）  前記検出部は、前記温度分布画像の時間変化に基づいて、使用後の術具が、所定の温度以上の状態にあることを検出し、
前記通知情報生成部は、前記警告画像として、前記所定の温度以上の状態にある術具が存在することを通知する画像、前記術具の数を通知する画像、前記術具が前記撮像画像範囲内に位置する場合、前記術具を示す画像、および、前記術具が前記撮像画像範囲外に位置する場合、前記術具の方向を示す画像の内の１つ以上を生成する
（４）または（５）に記載の医療支援装置。
（７）  前記検出部は、前記温度分布画像の時間変化に基づいて、止血の結果を検出し、
前記通知情報生成部は、前記警告画像として、前記止血結果を通知する画像、前記止血が行われた箇所の数を通知する画像、前記止血が前記撮像画像範囲内において行われた場合、前記止血が行われた箇所を示す画像、および、前記止血が前記撮像画像範囲外において行われた場合、前記止血が行われた方向を示す画像の内の１つ以上を生成する
（４）乃至（６）のいずれかに記載の医療支援装置。
（８）  前記検出部は、前記温度分布画像の時間変化に基づいて、不使用時の術具の接触による前記術部若しくは前記術部周辺の損傷箇所を検出し、
前記通知情報生成部は、前記警告画像として、前記損傷箇所の発生を通知する画像、前記損傷箇所の数を通知する画像、前記損傷箇所が前記撮像画像範囲内に位置する場合、前記損傷箇所を示す画像、および、前記損傷箇所が前記撮像画像範囲外に位置する場合、前記損傷箇所の方向を示す画像の内の１つ以上を生成する
（４）乃至（７）のいずれかに記載の医療支援装置。
（９）  前記検出部は、前記温度分布画像の時間変化に基づいて、術具の使用による前記術部若しくは前記術部周辺が所定の温度以上の状態にある箇所を検出し、
前記通知情報生成部は、前記警告画像として、前記所定の温度以上の状態にある箇所が発生したことを通知する画像、前記所定の温度以上の状態にある箇所の数を通知する画像、前記所定の温度以上の状態にある箇所が前記撮像画像範囲内に位置する場合、前記所定の温度以上の状態にある箇所の発生位置を示す画像、および、前記所定の温度以上の状態にある箇所が前記撮像画像範囲外に位置する場合、前記所定の温度以上の状態にある箇所の発生方向を示す画像の内の１つ以上を生成する
（４）乃至（８）のいずれかに記載の医療支援装置。
（１０）  前記検出部は、前記温度分布画像の時間変化に基づいて、前記生体内でのイベントとして、前記生体の状態変化を検出し、
前記通知情報生成部は、前記状態変化に基づく診断結果を通知する診断画像を生成する
（２）乃至（９）のいずれかに記載の医療支援装置。
（１１）  前記生体に加熱する加熱部をさらに備え、
前記検出部は、前記加熱部による加熱後の前記生体の状態変化を検出する
（１０）に記載の医療支援装置。
（１２）  前記検出部は、肝臓の亜区域の検出、病変の検出、血管の検出、リンパ管の検出、骨および神経の識別、若しくは癌細胞の検出を行い、
前記通知情報生成部は、前記診断画像として、前記術部の撮像画像に重畳されて表示される、前記検出部により検出された、前記亜区域、前記病変、前記血管、前記リンパ管、前記骨、前記神経、若しくは前記癌細胞を識別可能に示す画像を生成する
（１１）に記載の医療支援装置。
（１３）  前記検出部は、さらに、前記術部若しくは前記術部周辺の前記温度の時間変化以外のセンシング結果に基づいて前記生体内でのイベントを検出する
（１）乃至（１２）のいずれかに記載の医療支援装置。
（１４）  前記検出部は、前記術部若しくは前記術部周辺の温度の時間変化と、前記術部若しくは前記術部周辺のステレオ画像とに基づいて、前記生体内でのイベントを検出する
（１３）に記載の医療支援装置。
（１５）  前記術部若しくは前記術部周辺の温度を検出する温度センサをさらに備え、
前記検出部は、前記温度センサにより検出される前記術部若しくは前記術部周辺の温度の時間変化に基づいて前記生体内でのイベントを検出する
（１）乃至（１４）のいずれかに記載の医療支援装置。
（１６）  前記通知情報生成部により生成される前記通知情報の画像を表示する表示部をさらに備える
（１）乃至（１５）のいずれかに記載の医療支援装置。
（１７）  前記検出部により検出された前記生体内でのイベントに応じて術具を制御する制御部をさらに備える
（１）乃至（１６）のいずれかに記載の医療支援装置。
（１８）  前記制御部は、前記生体内に送気される気体の温度、若しくは、前記生体内に照射される照明光の明るさを制御する
（１）乃至（１７）のいずれかに記載の医療支援装置。
（１９）  医療支援装置が、
術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出し、
検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する
医療支援方法。
（２０）  温度センサと、医療支援装置と、表示装置とを有する医療支援システムであって、
前記温度センサは、術部若しくは前記術部周辺の温度を測定するように構成され、
前記医療支援装置は、
前記温度センサにより測定された前記術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出する検出部と、
前記検出部により検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する通知情報生成部と
を備え、
前記表示装置は、前記通知情報生成部により生成された前記通知情報の画像を表示するように構成される
医療支援システム。
【符号の説明】
【０２６７】
１００  内視鏡手術支援システム，  １１１  CCU，  １１２  光源装置，  １１３  監視装置，  １１４  出力装置，  １１５  術具制御装置，  １１６  気腹装置，  １２１  内視鏡，  １２２  エナジーデバイス，  １２３  鉗子，  １２４  気腹針，  １２５  監視用センサ，  １２５Ａ  サーモセンサ，  １２５Ｂ  ステレオイメージセンサ，  １３１  トロッカ，  １４１  患者ベッド，  １５１  患者，  １６１  患部，  １６２  撮像領域，  １６３  センシング領域，  １７１  イメージセンサ，  １８１  温度画像生成部，  １８２  警告対象検出部，  １８３  通知情報生成部，  １８４  出力制御部，  １９１  モニタ，  １９２  スピーカ，  ２１１  臓器，  ２１２  領域，  ２２０  表示画像，  ２２１  撮像画像，  ２２２  出血警告メッセージ画像，  ２２３  出血位置提示画像，  ２２４  出血方向提示画像，  ２３０  表示画像，  ２３１  撮像画像，  ２３２  余熱警告メッセージ画像，  ２３３  余熱警告画像，  ２４０  表示画像，  ２４１  撮像画像，  ２４２  生体温度異常警告メッセージ画像，  ２４３  生体温度異常警告画像  ２５１  警告対象検出部，  ２６１  ヒータ，  ２７１  加熱制御部，  ２７２  診断部，  ２９０  表示画像，  ２９１  撮像画像，  ２９２  亜区域識別画像  ３１１  警告制御対象検出部，  ３１２  制御部，  ３２０  表示画像，  ３２１  撮像画像，  ３２２  警告メッセージ画像，  ３２３  警告対象位置提示画像  ９００  コンピュータ
【図１】
2017006337.tif 000003
【図２】
2017006337.tif 000004
【図３】
2017006337.tif 000005
【図４】
2017006337.tif 000006
【図５】
2017006337.tif 000007
【図６】
2017006337.tif 000008
【図７】
2017006337.tif 000009
【図８】
2017006337.tif 000010
【図９】
2017006337.tif 000011
【図１０】
2017006337.tif 000012
【図１１】
2017006337.tif 000013
【図１２】
2017006337.tif 000014
【図１３】
2017006337.tif 000015
【図１４】
2017006337.tif 000016
【図１５】
2017006337.tif 000017
【図１６】
2017006337.tif 000018
【図１７】
2017006337.tif 000019
【図１８】
2017006337.tif 000020
【図１９】
2017006337.tif 000021
【図２０】
2017006337.tif 000022
【図２１】
2017006337.tif 000023
【図２２】
2017006337.tif 000024
【図２３】
2017006337.tif 000025
【図２４】
2017006337.tif 000026
【図２５】
2017006337.tif 000027