(57)【要約】      （修正有）【課題】時間経過による観察対象の変動の影響を抑制することができる医療用観察システム、信号処理装置及び医療用観察方法を提案する。【解決手段】医療用観察システム１０００は、術野の３次元情報を生成する生成部２１と、所定の波長帯域を有する特殊光を照射中に医療用観察装置により撮像された特殊光画像に基づいて、注目領域を設定する設定部３１と、所定の波長帯域とは異なる波長帯域を有する通常光により撮像された通常光画像において、設定された注目領域の物理位置に対応する推定領域を３次元情報より推定する算出部と、通常光画像の推定領域に所定の画像処理を行う画像処理部４１と、を備える。【選択図】図２
2020074926.tif 000002
【特許請求の範囲】
【請求項１】
術野の３次元情報を生成する生成部と、
所定の波長帯域を有する特殊光を照射中に医療用観察装置により撮像された特殊光画像に基づいて、前記特殊光画像に注目領域を設定する設定部と、
前記所定の波長帯域とは異なる波長帯域を有する通常光を照射中に前記医療用観察装置により撮像された通常光画像における前記注目領域の物理位置に対応する推定領域を前記３次元情報より推定する算出部と、
前記通常光画像の前記推定領域に所定の画像処理を行う画像処理部と、
を備える医療用観察システム。
【請求項２】
前記生成部は、前記術野を異なる角度で前記医療用観察装置により撮像した少なくとも２枚の前記通常光画像から前記３次元情報を生成する、
請求項１に記載の医療用観察システム。
【請求項３】
前記生成部は、前記少なくとも２枚の前記通常光画像の特徴点のマッチングにより、前記３次元情報を生成する、
請求項２に記載の医療用観察システム。
【請求項４】
前記３次元情報は、少なくとも前記術野の３次元座標を示す地図情報と、前記医療用観察装置の位置情報と、前記医療用観察装置の姿勢情報と、を含む、
請求項３に記載の医療用観察システム。
【請求項５】
前記算出部は、前記地図情報を用いて前記３次元座標における前記注目領域の物理位置に対応する注目座標を算出し、前記地図情報と、前記位置情報と、前記姿勢情報とに基づいて、前記通常光画像における注目座標に相当する領域を前記推定領域と推定する、
請求項４に記載の医療用観察システム。
【請求項６】
前記画像処理部は、前記特殊光画像の特徴を示す情報であるアノテーション情報を前記通常光画像の前記推定領域に重畳する前記画像処理を行う、
請求項５に記載の医療用観察システム。
【請求項７】
前記画像処理部は、前記推定領域に前記推定領域外とは異なる画像強調処理を行う、
請求項５に記載の医療用観察システム。
【請求項８】
前記設定部は、前記注目領域に設定する指示を受け付ける、
請求項１に記載の医療用観察システム。
【請求項９】
前記設定部は、前記注目領域を設定するタイミングを指示する入力を受け付ける、
請求項８に記載の医療用観察システム。
【請求項１０】
前記設定部は、前記特殊光画像の特徴的な一又は複数の領域のうち、前記注目領域に設定する対象を指示する入力を受け付ける、
請求項８に記載の医療用観察システム。
【請求項１１】
前記画像処理部は、前記通常光画像の前記推定領域に、前記注目領域に関する情報を付加する前記画像処理を行う、
請求項１に記載の医療用観察システム。
【請求項１２】
前記画像処理部は、前記注目領域の輪郭から設定された距離にあるか否かを示す情報を付加する前記画像処理を行う、
請求項１１に記載の医療用観察システム。
【請求項１３】
前記画像処理部は、前記特殊光画像の特徴的な領域の特徴量に基づいて、前記推定領域に前記画像処理を行う、
請求項１に記載の医療用観察システム。
【請求項１４】
前記設定部は、前記特殊光画像の蛍光している領域を前記注目領域に設定し、
前記画像処理部は、前記注目領域の蛍光強度に基づいて、前記推定領域に前記画像処理を行う、
請求項１３に記載の医療用観察システム。
【請求項１５】
前記設定部は、前記術野の血液の状態に基づいて前記注目領域を設定し、
前記算出部は、前記注目領域の物理位置に対応する前記推定領域を推定し、
前記画像処理部は、前記通常光画像の前記推定領域に血液の状態を示す前記画像処理を行う、
請求項１３に記載の医療用観察システム。
【請求項１６】
前記画像処理部は、前記推定領域への前記画像処理を更新する、
請求項１に記載の医療用観察システム。
【請求項１７】
前記生成部は、前記注目領域の外部から前記特徴点を検出する、
請求項３に記載の医療用観察システム。
【請求項１８】
前記生成部は、前記通常光画像に含まれる予め定められた物品を検出した領域以外の領域から前記特徴点を検出する、
請求項１７に記載の医療用観察システム。
【請求項１９】
前記術野に挿入されるスコープを介して前記術野に前記通常光または前記特殊光を照射する光源装置と、
前記スコープから導光された光を受光する撮像素子からの信号を処理して表示装置に送信する信号処理装置と、
を備え、
前記医療用観察装置は、前記スコープを接続可能な筐体と、前記筐体内に配される前記撮像素子とを有し、
前記信号処理装置は、少なくとも前記生成部、前記設定部、前記算出部、前記画像処理部の機能を実現する回路を有する、
請求項１に記載の医療用観察システム。
【請求項２０】
前記生成部は、前記術野の距離情報を取得し、前記距離情報の特徴点のマッチングにより、前記３次元情報を生成する、
請求項１に記載の医療用観察システム。
【請求項２１】
術野の３次元情報を生成する生成部と、
所定の波長帯域を有する特殊光を照射中に医療用観察装置により撮像された特殊光画像に基づいて、前記特殊光画像に注目領域を設定する設定部と、
前記所定の波長帯域とは異なる波長帯域を有する通常光を照射中に前記医療用観察装置により撮像された通常光画像における前記注目領域の物理位置に対応する推定領域を前記３次元情報より推定する算出部と、
前記通常光画像の前記推定領域に所定の画像処理を行う画像処理部と、
を備える信号処理装置。
【請求項２２】
術野の３次元情報を生成し、
所定の波長帯域を有する特殊光を照射中に医療用観察装置により撮像された特殊光画像に基づいて、前記特殊光画像に注目領域を設定し、
前記所定の波長帯域とは異なる波長帯域を有する通常光を照射中に前記医療用観察装置により撮像された通常光画像における前記注目領域の物理位置に対応する推定領域を前記３次元情報より推定し、
前記通常光画像の前記推定領域に所定の画像処理を行う、
医療用観察方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、医療用観察システム、信号処理装置及び医療用観察方法に関する。
【背景技術】
【０００２】
内視鏡を用いた手術において、通常の照明光（例えば、白色光）を照射して術野の観察を行う通常光観察と、通常の照明光とは異なる波長帯域の特殊光を照射して術野の観察を行う特殊光観察とを使い分ける手術が増加している。
【０００３】
特殊光観察では、観察対象とその他の部分とを識別しやすくするために、例えば蛍光剤等のバイオマーカーを使用する。観察対象にバイオマーカーを注入することで、観察対象が蛍光するため、医師等は、観察対象とその他の部分とを容易に識別することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−５０６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特殊光観察で使用するバイオマーカーが時間経過により拡散や消光により観察対象とその他の部分との識別が困難になる場合がある。すなわち、時間経過による観察対象の変動が生じる。
【０００６】
そこで、本開示では、時間経過による観察対象の変動の影響を抑制することができる医療用観察システム、信号処理装置及び医療用観察方法を提案する。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本開示に係る一形態の医療用観察システムは、術野の３次元情報を生成する生成部と、所定の波長帯域を有する特殊光を照射中に医療用観察装置により撮像された特殊光画像に基づいて、前記特殊光画像に注目領域を設定する設定部と、前記所定の波長帯域とは異なる波長帯域を有する通常光を照射中に前記医療用観察装置により撮像された通常光画像における前記注目領域の物理位置に対応する推定領域を前記３次元情報より推定する算出部と、前記通常光画像の前記推定領域に所定の画像処理を行う画像処理部と、を備える。
【図面の簡単な説明】
【０００８】
【図１】本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【図２】医療用観察システムの機能構成を示す機能ブロック図である。
【図３】３次元情報生成部が３次元地図情報を生成する方法を説明する図である。
【図４】医療用観察システムが実行する処理の流れの一例を示すフローチャートである。
【図５Ａ】撮像した画像データの一例を示す図である。
【図５Ｂ】特殊光画像データから抽出した注目領域の一例を示す図である。
【図５Ｃ】通常光画像データにアノテーション情報を重畳した表示用画像データの一例を示す図である。
【図５Ｄ】通常光画像データにアノテーション情報を重畳した表示用画像データの一例を示す図である。
【図６】注目領域に関する情報が付加されたアノテーション情報を重畳した表示用画像データの一例を示す図である。
【図７】注目領域に含まれる領域ごとの特徴量に応じたアノテーション情報が重畳された表示用画像データの一例を示す図である。
【図８】血流を示したアノテーション情報が重畳された表示用画像データの一例を示す図である。
【図９Ａ】注目領域の指定方法の一例を示した図である。
【図９Ｂ】注目領域の設定の一例を示した図である。
【図１０】第１０の実施形態に係る医療用観察システムの一部分の構成の一例を示す図である。
【図１１】第１１の実施形態に係る医療用観察システムの一部分の構成の一例を示す図である。
【図１２】第１２の実施形態に係る医療用観察システムの一部分の構成の一例を示す図である。
【図１３】第１３の実施形態に係る医療用観察システムの一部分の構成の一例を示す図である。
【図１４】第１４の実施形態に係る医療用観察システムの一部分の構成の一例を示す図である。
【図１５】第１５の実施形態に係る医療用観察システムの一部分の構成の一例を示す図である。
【図１６】第１６の実施形態に係る医療用観察システムの一部分の構成の一例を示す図である。
【図１７】第１７の実施形態に係る医療用観察システムの一部分の構成の一例を示す図である。
【図１８】第１８の実施形態に係る医療用観察システムの一部分の構成の一例を示す図である。
【図１９】第１９の実施形態に係る医療用観察システムの一部分の構成の一例を示す図である。
【図２０】第２０の実施形態に係る医療用観察システムの一部分の構成の一例を示す図である。
【図２１】本開示に係る技術が適用され得る顕微鏡手術システムの概略的な構成の一例を示す図である。
【図２２】図２１に示す顕微鏡手術システム５３００を用いた手術の様子を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【００１０】
（第１の実施形態）
［第１の実施形態に係る内視鏡手術システムの構成］
第１の実施形態では、内視鏡手術システム５０００の一部に医療用観察システム１０００（図２参照）を適用した場合を例に説明する。図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。
【００１１】
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ〜５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ〜５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
【００１２】
内視鏡５００１によって撮影された患者５０７１の体腔内の術野の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術野の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。
【００１３】
（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
【００１４】
（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３を接続可能な筐体と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
【００１５】
鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【００１６】
カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera  Control  Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
【００１７】
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
【００１８】
（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。また、ＣＣＵ５０３９は、ＣＰＵやＧＰＵに限らず、例えばＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されてもよい。
【００１９】
表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。
【００２０】
光源装置５０４３は、例えばＬＥＤ（light  emitting  diode）等の光源から構成され、術野を撮影する際の照射光を内視鏡５００１に供給する。すなわち、光源装置５０４３は、術野に挿入される鏡筒５００３（スコープともいう）を介して、術野に所定の波長帯域を有する特殊光または特殊光の波長帯域とは異なる波長帯域を有する通常光を照射する。
【００２１】
アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
【００２２】
入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。
【００２３】
入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。
【００２４】
あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head  Mounted  Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
【００２５】
処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【００２６】
以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。
【００２７】
（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ〜５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ〜５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
【００２８】
関節部５０３３ａ〜５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ〜５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ〜５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
【００２９】
例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。
【００３０】
また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ〜５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。
【００３１】
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術野の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
【００３２】
なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ〜５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
【００３３】
（光源装置）
光源装置５０４３は、内視鏡５００１に術野を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【００３４】
また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【００３５】
また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow  Band  Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【００３６】
［医療用観察システムの構成の説明］
次に、内視鏡手術システム５０００の一部を形成する医療用観察システム１０００について説明する。図２は、医療用観察システム１０００の機能構成を示す機能ブロック図である。医療用観察システム１０００には、カメラヘッド５００５の一部を形成する撮像装置２０００と、ＣＣＵ５０３９と、光源装置５０４３とが含まれる。
【００３７】
撮像装置２０００は、患者５０７１の体腔内の術野を撮像する。撮像装置２０００は、レンズユニット（不図示）と、撮像素子１００とを備えている。レンズユニットは、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニットに入射する。レンズユニットは、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニットは、撮像素子１００の受光面上に観察光を集光するように、その光学特性が調整されている。
【００３８】
撮像素子１００は、鏡筒５００３を接続可能な筐体内であって、レンズユニットの後段に配置される。レンズユニットを通過した観察光は、当該撮像素子１００の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。画像信号は、ＣＣＵ５０３９に提供される。撮像素子１００は、例えばＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。
【００３９】
また、撮像素子１００は、通常光を受光する画素と、特殊光を受光する画素とを備えている。そして、撮像素子１００は、患者５０７１の体腔内の術野を撮像した術野画像として、通常光の照射中には通常光画像を撮像し、特殊光の照射中には特殊光画像を撮像する。ここで、特殊光とは、所定の波長帯域の光である。例えば、特殊光とは、赤外光である。
【００４０】
撮像装置２０００は、撮像素子１００から得た画像信号をＲＡＷデータとしてＣＣＵ５０３９に送信する。また、撮像素子１００は、ＣＣＵ５０３９から、撮像装置２０００の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【００４１】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto  Exposure）機能、ＡＦ（Auto  Focus）機能及びＡＷＢ（Auto  White  Balance）機能が内視鏡５００１に搭載される。
【００４２】
ＣＣＵ５０３９は、信号処理装置の一例である。ＣＣＵ５０３９は、鏡筒５００３から導光された光を受光する撮像素子１００からの信号を処理して表示装置５０４１に送信する。ＣＣＵ５０３９は、通常光現像処理部１１と、特殊光現像処理部１２と、３次元情報生成部２１と、３次元情報格納部２４と、注目領域設定部３１と、推定領域算出部３２と、画像処理部４１と、表示制御部５１と、ＡＥ検波部６１と、ＡＥ制御部６２と、光源制御部６３とを備える。
【００４３】
通常光現像処理部１１は、通常光の照射中の撮像により得られたＲＡＷデータを視認可能な画像に変換する現像処理を実行する。また、通常光現像処理部１１は、ＲＡＷデータに対して、デジタルゲインやガンマカーブを適用することによって、より見やすい通常光画像データを生成する。
【００４４】
特殊光現像処理部１２は、特殊光の照射中の撮像により得られたＲＡＷデータを視認可能な画像に変換する現像処理を実行する。また、特殊光現像処理部１２は、ＲＡＷデータに対して、デジタルゲインやガンマカーブを適用することによって、より見やすい特殊光画像データを生成する。
【００４５】
３次元情報生成部２１は、地図生成部２２及び自己位置推定部２３を備える。地図生成部２２は、撮像装置２０００から出力されたＲＡＷデータ、又は通常光現像処理部１１から出力された通常光画像データ等の通常光を照射中に撮像された通常光画像に基づいて、体腔内の術野の３次元情報を生成する。さらに詳しくは、３次元情報生成部２１は、術野を異なる角度で撮像装置２０００により撮像された少なくとも２枚以上の画像データ（術野画像）から術野の３次元情報を生成する。例えば、３次元情報生成部２１は、少なくとも２枚の通常光画像データの特徴点のマッチングにより、３次元情報を生成する。ここで、３次元情報は、例えば、術野の３次元座標が示された３次元地図情報と、撮像装置２０００の位置を示す位置情報と、撮像装置２０００の姿勢を示す姿勢情報と、が含まれる。
【００４６】
地図生成部２２は、少なくとも２枚の通常光画像データの特徴点のマッチングにより、３次元情報を生成する。例えば、地図生成部２２は、画像データに含まれている特徴点に対応する特徴点を、３次元情報格納部２４に記憶されている３次元地図情報から抽出する。そして、地図生成部２２は、画像データに含まれている特徴点と、３次元地図情報から抽出した特徴点とのマッチングにより、３次元地図情報を生成する。また、地図生成部２２は、画像データが撮像された場合に必要に応じて３次元地図情報を更新する。なお、３次元地図情報の詳細な生成方法は後述する。
【００４７】
自己位置推定部２３は、ＲＡＷデータや通常光画像データ等の通常光を照射中に撮像された通常光画像と、３次元情報格納部２４に記憶されている３次元地図情報とに基づいて、撮像装置２０００の位置および姿勢を算出する。例えば、自己位置推定部２３は、画像データに含まれている特徴点が、３次元地図情報における何れの座標にある特徴点であるかを識別することで、撮像装置２０００の位置および姿勢を算出する。そして、自己位置推定部２３は、撮像装置２０００の位置を示す位置情報と、撮像装置２０００の姿勢を示す姿勢情報とを含む位置姿勢情報を出力する。なお、自己位置及び姿勢の詳細な推定方法は後述する。
【００４８】
３次元情報格納部２４は、地図生成部２２から出力された３次元地図情報を記憶する。
【００４９】
注目領域設定部３１は、所定の波長帯域を有する特殊光を照射中に撮像装置２０００により撮像された特殊光画像データに基づいて、特殊光画像データに注目領域Ｒ１（図５Ｂ参照）を設定する。注目領域Ｒ１とは、特殊光画像データにおいて特徴量が閾値以上の特徴的な領域である特徴領域を注目領域Ｒ１に設定する。例えば、注目領域Ｒ１とは、バイオマーカー等により任意の患部を蛍光させた場合に、蛍光強度が閾値以上の領域である。
【００５０】
さらに詳しくは、注目領域設定部３１は、入力装置５０４７等を介して、注目領域Ｒ１を設定するタイミングを指示する入力を受け付けた場合に、特殊光現像処理部１２から出力された特殊光画像データから蛍光強度が閾値以上の特徴領域を検出する。そして、注目領域設定部３１は、特徴領域を注目領域Ｒ１に設定する。また、注目領域設定部３１は、特殊光画像データの注目領域Ｒ１を検出した２次元空間上の座標を特定する。そして、注目領域設定部３１は、特殊光画像データにおける２次元空間上の注目領域Ｒ１の座標等の位置を示す注目領域座標情報を出力する。
【００５１】
推定領域算出部３２は、特殊光の波長帯域とは異なる波長帯域を有する通常光を照射中に撮像装置２０００により撮像された通常光画像データにおける注目領域Ｒ１の物理位置に対応する推定領域を３次元情報より推定する。そして、推定領域算出部３２は、通常光画像データにおける２次元空間上の推定領域の座標等を示す推定領域座標情報を出力する。
【００５２】
さらに詳しくは、推定領域算出部３２は、３次元地図情報を用いて３次元座標における注目領域Ｒ１の物理位置に対応する注目座標を算出し、３次元地図情報と、位置情報と、姿勢情報とに基づいて、通常光画像データにおける注目座標に相当する領域を推定領域と推定する。すなわち、推定領域算出部３２は、注目領域設定部３１から出力された注目領域座標情報が示している２次元空間上の注目領域Ｒ１の座標が、３次元地図情報における３次元空間上の座標の何れに対応するかを算出する。これにより、推定領域算出部３２は、注目領域Ｒ１の３次元空間上の座標を示す注目座標を算出する。また、推定領域算出部３２は、３次元情報生成部２１が位置姿勢情報を出力した場合に、注目領域Ｒ１の３次元空間上の注目座標が、位置姿勢情報が示す撮像装置２０００の位置及び姿勢で撮像した通常光画像データの２次元空間上の何れの座標に対応するかを算出する。これにより、推定領域算出部３２は、通常光画像データにおける注目領域Ｒ１の物理的な位置を示す物理位置に相当する領域を推定領域と推定する。そして、推定領域算出部３２は、通常光画像データにおける推定領域の座標を示す推定領域座標情報を出力する。
【００５３】
また、推定領域算出部３２は、機械学習を用いて、特殊光画像データに含まれている特徴領域から注目領域Ｒ１を自動的に設定し、注目領域Ｒ１が３次元地図情報等の３次元情報の何れの座標になるかを設定してもよい。
【００５４】
画像処理部４１は、通常光画像データの推定領域に所定の画像処理を行う。例えば、画像処理部４１は、注目領域Ｒ１の座標を示す推定領域座標情報に基づいて、特殊光画像データの特徴を示すアノテーション情報Ｇ１（図５Ｃ参照）を通常光画像データの推定領域に重畳する画像処理を行う。すなわち、画像処理部４１は、推定領域に推定領域外とは異なる画像強調処理を行う。画像強調処理とは、例えばアノテーション情報Ｇ１等により推定領域を強調する画像処理である。
【００５５】
さらに詳しくは、画像処理部４１は、通常光画像データに対して、推定領域座標情報が示す座標に、特殊光画像データの注目領域Ｒ１を可視化したアノテーション情報Ｇ１を重畳した表示用の表示画像データを生成する。そして、画像処理部４１は、表示画像データを表示制御部５１に出力する。ここで、アノテーション情報Ｇ１は、特殊光画像データの注目領域Ｒ１を可視化した情報である。例えば、アノテーション情報Ｇ１は、注目領域Ｒ１と同一形状であって、注目領域Ｒ１の輪郭が強調された画像である。また、輪郭の内側は、色が付されていてもよいし、透明であってもよいし、半透明であってもよい。また、アノテーション情報Ｇ１は、特殊光現像処理部１２から出力された特殊光画像データに基づいて、画像処理部４１が生成してもよいし、注目領域設定部３１が生成してもよいし、他の機能部が生成してもよい。
【００５６】
表示制御部５１は、表示装置５０４１を制御して、表示画像データが示す画面を表示させる。
【００５７】
ＡＥ検波部６１は、推定領域算出部３２から出力された推定領域座標情報に基づいて、通常光画像データ及び特殊光画像データの其々の注目領域Ｒ１を抽出する。そして、ＡＥ検波部６１は、通常光画像データ及び特殊光画像データの其々の注目領域Ｒ１から、露出調整に必要な露出情報を抽出する。そして、ＡＥ検波部６１は、通常光画像データ及び特殊光画像データの其々の注目領域Ｒ１の露出情報を出力する。
【００５８】
ＡＥ制御部６２は、ＡＥ機能を制御する。さらに詳しくは、ＡＥ制御部６２は、ＡＥ検波部６１から出力された露出情報に基づいて、例えばアナログゲイン・シャッタースピードを含む制御パラメータを、撮像装置２０００に出力する。
【００５９】
また、ＡＥ制御部６２は、ＡＥ検波部６１から出力された露出情報に基づいて、例えばデジタルゲイン・ガンマカーブを含む制御パラメータを特殊光現像処理部１２に出力する。また、ＡＥ制御部６２は、ＡＥ検波部６１から出力された露出情報に基づいて、光源装置５０４３に照射させる光量が示された光量情報を光源制御部６３に出力する。
【００６０】
光源制御部６３は、ＡＥ制御部６２から出力された光量情報に基づいて光源装置５０４３を制御する。そして、光源制御部６３は、光源装置５０４３を制御する光源制御情報を出力する。
【００６１】
［３次元地図情報及び位置姿勢情報の生成方法の説明］
次に、３次元情報生成部２１が、３次元地図情報及び位置姿勢情報（撮像装置２０００の位置情報および姿勢情報を含む情報）を生成する方法について説明する。図３は、３次元情報生成部２１が３次元地図情報を生成する方法を説明する図である。
【００６２】
図３は、空間上の点を基準位置Ｏとする３次元空間ＸＹＺにおいて、撮像装置２０００が静止した物体６０００を観測している様子を示している。そして、撮像装置２０００は、時刻ｔにおいてＲＡＷデータや通常光画像データ等の画像データＫ（ｘ，ｙ，ｔ）を撮像して、時刻ｔ＋ΔｔにおいてＲＡＷデータや通常光画像データ等の画像データＫ（ｘ，ｙ，ｔ＋Δｔ）を撮像したものとする。なお、時間間隔Δｔは、例えば３３ｍｓｅｃ等に設定される。また、基準位置Ｏは任意に設定してよいが、例えば、時間とともに移動しない位置に設定するのが望ましい。なお、画像データＫ（ｘ，ｙ，ｔ）のｘは、画像の水平方向の座標を表し、ｙは、画像の垂直方向の座標を表す。
【００６３】
地図生成部２２は、画像データＫ（ｘ，ｙ，ｔ）及び画像データＫ（ｘ，ｙ，ｔ＋Δｔ）の中から、特徴となる画素である特徴点を検出する。特徴点とは、例えば、隣接する画素との間で、画素値が所定値以上異なる画素である。なお、特徴点は、時間が経過しても安定して存在する点であることが望ましく、例えば、画像の中でエッジを構成する画素がよく利用される。ここで、以下の説明を簡単にするため、画像データＫ（ｘ，ｙ，ｔ）の中から、物体６０００の頂点である特徴点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１，Ｈ１が検出されたとする。
【００６４】
次に、地図生成部２２は、画像データＫ（ｘ，ｙ，ｔ＋Δｔ）の中から、特徴点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１，Ｈ１にそれぞれ対応する点を探索する。具体的には、特徴点Ａ１の画素値、特徴点Ａ１の近傍の画素値等に基づいて、同様の特徴を有する点を、画像データＫ（ｘ，ｙ，ｔ＋Δｔ）の中から探索する。この探索処理によって、画像データＫ（ｘ，ｙ，ｔ＋Δｔ）の中から、特徴点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１，Ｈ１に対応する特徴点Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２，Ｆ２，Ｈ２を、それぞれ検出する。
【００６５】
続いて、地図生成部２２は、３次元測量の原理に基づいて、例えば、特徴点Ａ１の画像データＫ（ｘ，ｙ，ｔ＋Δｔ）上の２次元座標と、特徴点Ａ２の画像データＫ（ｘ，ｙ，ｔ＋Δｔ）上の２次元座標とから、空間上の点Ａの３次元座標（ＸＡ，ＹＡ，ＺＡ）を算出する。このようにして、地図生成部２２は、算出された３次元座標（ＸＡ，ＹＡ，ＺＡ）の集合として、物体６０００が置かれた空間の３次元地図情報を生成する。地図生成部２２は、生成された３次元地図情報を３次元情報格納部２４に記憶させる。なお、３次元地図情報は、本開示における３次元情報の一例である。
【００６６】
また、時間間隔Δｔの間に、撮像装置２０００の位置と姿勢が変化しているため、自己位置推定部２３は、撮像装置２０００の位置と姿勢を推定する。数学的には、物体６０００を構成する各特徴点の３次元座標と、撮像装置２０００の位置と、姿勢とを未知数として、画像データＫ（ｘ，ｙ，ｔ）と画像データＫ（ｘ，ｙ，ｔ＋Δｔ）でそれぞれ観測された特徴点の２次元座標に基づいて連立方程式を立てる。自己位置推定部２３は、この連立方程式を解くことによって、物体６０００を構成する各特徴点の３次元座標と、撮像装置２０００の位置及び姿勢とを推定する。
【００６７】
このように、画像データＫ（ｘ，ｙ，ｔ）から検出した特徴点と対応する特徴点、画像データＫ（ｘ，ｙ，ｔ＋Δｔ）から検出すること（すなわち、特徴点のマッチングを行うこと）によって、地図生成部２２は、撮像装置２０００が観測している環境の３次元地図情報を生成する。さらに、自己位置推定部２３は、撮像装置２０００の位置と姿勢、すなわち自己位置を推定することができる。また、地図生成部２２は、前記した処理を繰り返して実行することによって、例えば、当初は見えなかった特徴点が見えるようになることによって、３次元地図情報を拡充することができる。また、地図生成部２２は、処理を繰り返すことで、同じ特徴点の３次元位置を繰り返し算出するため、例えば平均化処理を行うことになり、算出誤差を低減することができる。このように、３次元情報格納部２４に記憶された３次元地図情報は、随時更新される。なお、特徴点のマッチングにより環境の３次元地図情報を作成するとともに、撮像装置２０００の自己位置を特定する技術は、一般にＳＬＡＭ（Simultaneous  Localization  and  Mapping）技術と呼ばれている。
【００６８】
単眼カメラを用いたＳＬＡＭ技術の基本的な原理は、例えば「Andrew  J.Davison,  “Real-Time  Simultaneous  Localization  and  Mapping  with  a  Single  Camera”,  Proceedings  of  the  9th  IEEE  International  Conference  on  Computer  Vision  Volume  2,  2003,  pp.1403-1410」において説明されている。また、被写体のカメラ画像を用いて被写体の３次元位置を推定するＳＬＡＭ技術は、特にＶｉｓｕａｌ  ＳＬＡＭとも称される。
【００６９】
［第１の実施形態に係る医療用観察システムが行う処理の流れの説明］
次に、図４、図５Ａ、図５Ｂ、図５Ｃ及び図５Ｄを用いて、第１の実施形態の医療用観察システム１０００が実行する処理の流れを説明する。図４は、医療用観察システム１０００が実行する処理の流れの一例を示すフローチャートである。図５Ａは、撮像した画像データの一例を示す図である。図５Ｂは、特殊光画像データから抽出した注目領域Ｒ１の一例を示す図である。図５Ｃは、通常光画像データにアノテーション情報Ｇ１を重畳した表示用画像データの一例を示す図である。図５Ｄは、通常光画像データにアノテーション情報Ｇ１を重畳した表示用画像データの一例を示す図である。
【００７０】
撮像素子１００は、通常光画像データ及び特殊光画像データを撮像する（ステップＳ１）。例えば、撮像素子１００は、図５Ａに示す通常光画像データ及び特殊光画像データを撮像する。
【００７１】
３次元情報生成部２１は、これまでの３次元地図情報と通常光画像データとに基づいて必要な際は、撮像した通常光画像データに基づいて、３次元地図情報を更新する（ステップＳ２）。例えば、３次元情報生成部２１は、これまでに生成した３次元地図情報に撮像した通常光画像データの領域が含まれていない場合に３次元地図情報を更新し、これまでに生成した３次元地図情報に撮像した通常光画像データの領域が含まれている場合に３次元地図情報を更新しない。
【００７２】
３次元情報生成部２１は、撮像した通常光画像データに基づいて、位置姿勢情報を生成する（ステップＳ３）。
【００７３】
注目領域設定部３１は、注目領域Ｒ１の設定を指示する入力を受け付けたか否かを判定する（ステップＳ４）。
【００７４】
注目領域Ｒ１の設定を指示する入力を受け付けた場合に（ステップＳ４；Ｙｅｓ）、注目領域設定部３１は、特殊光画像データから検出した特徴領域を注目領域Ｒ１に設定する（ステップＳ５）。例えば、注目領域設定部３１は、図５Ｂに示すように、バイオマーカー等により閾値以上の蛍光強度で蛍光した領域を注目領域Ｒ１に設定する。
【００７５】
画像処理部４１は、撮像した特殊光画像データに基づいて、アノテーション情報Ｇ１を生成する（ステップＳ６）。
【００７６】
ステップＳ４において、注目領域Ｒ１の設定を指示する入力を受け付けていない場合に（ステップＳ４；Ｎｏ）、推定領域算出部３２は、注目領域Ｒ１が設定済みであるか否かを判定する（ステップＳ７）。注目領域Ｒ１が設定されていない場合に（ステップＳ７；Ｎｏ）、医療用観察システム１０００は、ステップＳ１に移行する。
【００７７】
一方、注目領域Ｒ１が設定されている場合に（ステップＳ７；Ｙｅｓ）、推定領域算出部３２は、撮像した通常光画像データにおける注目領域Ｒ１の物理位置に対応する推定領域の座標を３次元情報より推定する（ステップＳ８）。すなわち、推定領域算出部３２は、推定領域の座標を算出する。
【００７８】
画像処理部４１は、通常光画像データにおいて、算出した推定領域の座標に、アノテーション情報Ｇ１を重畳する等の画像処理を実行した表示用画像データを生成する（ステップＳ９）。例えば、画像処理部４１は、図５Ｃに示すように、通常光画像データにアノテーション情報Ｇ１を重畳した表示用画像データを生成する。
【００７９】
表示制御部５１は、表示用画像データが示す画像を出力する（ステップＳ１０）。すなわち、表示制御部５１は、表示用画像データが示す画像を表示装置５０４１に表示させる。
【００８０】
医療用観察システム１０００は、処理を終了する入力を受け付けたか否かを判定する（ステップＳ１１）。処理を終了する入力を受け付けていない場合に（ステップＳ１１；Ｎｏ）、医療用観察システム１０００は、ステップＳ１に移行する。すなわち、医療用観察システム１０００は、再度撮像した通常光画像データにおいて、算出した注目領域Ｒ１の座標に、アノテーション情報Ｇ１を重畳する等の画像処理を実行した表示用画像データを生成する。よって、例えば図５Ｄに示すように、撮像装置２０００が移動したり姿勢が変化したりした状態で、再度撮像した通常光画像データにおいても、注目領域Ｒ１の座標にアノテーション情報Ｇ１を重畳した表示用画像データを生成することができる。
【００８１】
そして、処理を終了する入力を受け付けた場合に（ステップＳ１１；Ｙｅｓ）、医療用観察システム１０００は、処理を終了する。
【００８２】
このように、第１の実施形態に係る医療用観察システム１０００は、観察対象、つまり特徴領域を注目領域Ｒ１に設定する。そして、医療用観察システム１０００は、通常光画像データにおける注目領域Ｒ１の物理的な位置を示す物理位置に対応すると推定した推定領域に所定の画像処理を実行する。例えば、医療用観察システム１０００は、注目領域Ｒ１を可視化したアノテーション情報Ｇ１を重畳した表示用画像データを生成している。このように、バイオマーカー等が拡散や消光したとしても、医療用観察システム１０００は、注目領域Ｒ１の位置であると推定される推定領域の位置に、注目領域Ｒ１を可視化したアノテーション情報Ｇ１を重畳した表示用画像データを生成する。よって、医療用観察システム１０００は、時間が経過しても観察対象を医師等のユーザに容易に識別させることができる。
【００８３】
（第２の実施形態）
上記の第１の実施形態では、３次元地図情報の生成において特徴点の抽出には制限が無い。第２の実施形態では、注目領域Ｒ１を設定した場合、特徴点を抽出する領域から注目領域Ｒ１を除外してもよい。
【００８４】
ここで、３次元情報生成部２１は、通常光画像データから抽出した特徴点に基づいて、３次元地図情報の生成や更新を実行している。そのため、通常光画像データから抽出した特徴点の位置が移動すると、３次元地図情報の精度が悪化してしまう。
【００８５】
注目領域Ｒ１は、医師等のユーザが注目する領域であり、手術等の治療の対象であるため変形する可能性が高い。そのため、注目領域Ｒ１から特徴点を抽出すると、３次元地図情報の精度が悪化してしまう可能性が高くなる。そこで、３次元情報生成部２１は、注目領域設定部３１が注目領域Ｒ１を設定した場合には、注目領域座標情報に示された注目領域Ｒ１の外部から特徴点を抽出する。そして、３次元情報生成部２１は、注目領域Ｒ１の外部から抽出した特徴点に基づいて、３次元地図情報を更新する。
【００８６】
（第３の実施形態）
上記の第１の実施形態では、３次元地図情報の生成において特徴点の抽出には制限が無い。第３の実施形態では、予め定められた物品等の対象は、特徴点を抽出する対象から除外する。
【００８７】
例えば、メスや鉗子５０２３等の術具は、頻繁に術野に挿入されたり、取り出されたり、移動されたりする。そのため、メスや鉗子５０２３等の特定の物品から抽出した特徴点に基づいて、３次元地図情報の生成や更新を実行すると、３次元地図情報の精度が悪化してしまう可能性が高くなる。そこで、３次元情報生成部２１は、予め定められた物品は特徴点の抽出対象から除外する。
【００８８】
さらに詳しくは、３次元情報生成部２１は、パターンマッチング等により通常光画像データからメスや鉗子５０２３等の予め定められた物品を検出する。３次元情報生成部２１は、予め定められた物品を検出した領域以外の領域から特徴点を検出する。そして、３次元情報生成部２１は、抽出した特徴点に基づいて、３次元地図情報を更新する。
【００８９】
（第４の実施形態）
上記第１の実施形態では、通常光画像データに対して、注目領域Ｒ１の物理位置に対応すると推定される推定領域の座標に、特殊光画像データの注目領域Ｒ１を可視化したアノテーション情報Ｇ１を重畳した表示用画像データを出力している。第４の実施形態では、特殊光画像データの注目領域Ｒ１を可視化した情報に限らず、注目領域Ｒ１に関する情報が付加されたアノテーション情報Ｇ１を重畳した表示用画像データを出力している。
【００９０】
図６は、注目領域Ｒ１に関する情報が付加されたアノテーション情報Ｇ１を重畳した表示用画像データの一例を示す図である。図６は、術野に含まれる臓器から検出された注目領域Ｒ１の物理位置に対応すると推定される推定領域に対して、アノテーション情報Ｇ１を重畳した表示用画像データを示している。そして、図６に示すように、表示用画像データには、通常光画像データの推定領域に、注目領域Ｒ１に関する情報が付加されたアノテーション情報Ｇ１が付加されている。
【００９１】
さらに詳しくは、図６に示すアノテーション情報Ｇ１には、注目領域情報Ｇ１１と、面積情報Ｇ１２と、境界線情報Ｇ１３と、境界距離情報Ｇ１４とが含まれている。注目領域情報Ｇ１１は、注目領域Ｒ１の位置及び形状を示す情報である。面積情報Ｇ１２は、注目領域Ｒ１の面積を示す情報である。境界線情報Ｇ１３は、注目領域Ｒ１の輪郭から設定距離広げた領域の内側であるか否かの境界線を示す情報である。境界距離情報Ｇ１４は、境界線情報Ｇ１３の設定距離を示す情報である。このように情報を付加することによって、医師等のユーザは、注目領域Ｒ１から一定距離までの患部を治療等の対象としている場合に、治療等の対象を容易に把握することが可能になる。なお、設定距離は、任意に変更可能な値である。また、面積値及び距離値を表示するか否かは、任意に変更可能である。
【００９２】
（第５の実施形態）
第５の実施形態では、注目領域Ｒ１の特徴量に応じたアノテーション情報Ｇ１を重畳した表示用画像データを出力する。例えば、医療用観察システム１０００は、蛍光領域に含まれる各領域の蛍光強度に応じたアノテーション情報Ｇ１を重畳した表示用画像データを出力する。
【００９３】
ここで、図７は、注目領域Ｒ１に含まれる領域ごとの特徴量に応じたアノテーション情報Ｇ１が重畳された表示用画像データの一例を示す図である。図７に示す表示用画像データは、血管にバイオマーカーを注射し、蛍光した血管の状態を観察しようとするものである。
【００９４】
さらに詳しくは、撮像素子１００は、バイオマーカーが注射された血管に特殊光を照射して蛍光した血管を撮像する。特殊光現像処理部１２は、バイオマーカーにより血管が蛍光している特殊光画像データを生成する。注目領域設定部３１は、生成した特殊光画像データから特徴領域を抽出する。そして、注目領域設定部３１は、特徴領域、つまり血管の蛍光領域を注目領域Ｒ１に設定する。また、画像処理部４１は、設定された注目領域Ｒ１の画素ごとに蛍光強度を抽出する。そして、画像処理部４１は、注目領域Ｒ１の蛍光強度に基づいて、注目領域Ｒ１の物理位置に対応すると推定される推定領域に、画素ごとの蛍光強度に応じたアノテーション情報Ｇ１を重畳した表示用画像データを生成する。ここで、蛍光強度に応じたアノテーション情報Ｇ１とは、各画素の蛍光強度に応じて各画素の色の色相・彩度・明度が異なるアノテーション情報Ｇ１であってもよいし、各画素の蛍光強度に応じて各画素の輝度が異なるアノテーション情報Ｇ１であってもよい。
【００９５】
（第６の実施形態）
第６の実施形態では、注目領域Ｒ１の特徴量に基づいたアノテーション情報Ｇ１を重畳した表示用画像データを出力する。例えば、医療用観察システム１０００は、レーザースペックル法やバイオマーカー等を用いることで、血液の状態、つまり血流のある部分を識別することができる。医療用観察システム１０００は、特殊光画像データを示す画像の場合に、血流が多い箇所を注目領域Ｒ１に設定する。そして、医療用観察システム１０００は、注目領域Ｒ１の特徴量に基づいて、血液の状態、つまり血流量を示したアノテーション情報Ｇ１を通常光画像データに重畳する。
【００９６】
図８は、血流を示したアノテーション情報Ｇ１が重畳された表示用画像データの一例を示す図である。図８に示す表示用画像データには、血溜まりにおいて、血液の状態、つまり血流量を示すアノテーション情報Ｇ１が重畳されている。
【００９７】
さらに詳しくは、特殊光現像処理部１２は、血液の状態、つまり血流が示された特殊光画像データを生成する。注目領域設定部３１は、術部の血液の状態に基づいて注目領域Ｒ１に設定する。例えば、注目領域設定部３１は、血流が閾値よりも多いと推定される領域を注目領域Ｒ１に設定する。また、推定領域算出部３２は、通常光画像データにおける注目領域Ｒ１の物理位置に対応すると推定される推定領域の座標を算出する。
【００９８】
画像処理部４１は、特殊光画像データの注目領域Ｒ１の特徴量に基づいて、血液の状態を示すアノテーション情報Ｇ１を生成する。例えば、画像処理部４１は、注目領域Ｒ１の特徴量に基づいて、注目領域Ｒ１の血流を擬似カラーで表現したアノテーション情報Ｇ１を生成する。すなわち、画像処理部４１は、血流を色相・彩度・明度で表現したアノテーション情報Ｇ１を生成する。または、画像処理部４１は、特殊光画像データが血流を擬似カラーで表現した画像の場合には注目領域Ｒ１を切り出すことでアノテーション情報Ｇ１を生成する。
【００９９】
画像処理部４１は、通常光画像データにおける注目領域Ｒ１の物理位置に対応すると推定される推定領域の座標に、血流を擬似カラーで表現したアノテーション情報Ｇ１を重畳する。このようにして、画像処理部４１は、血液の状態、つまり血流量を示すアノテーション情報Ｇ１が重畳された表示用画像データを生成する。医師等のユーザは、血流を示すアノテーション情報Ｇ１が重畳された表示用画像データを見ることで、血流の多い箇所を容易に把握することができる。
【０１００】
（第７の実施形態）
上記第１の実施形態では、通常光画像データにアノテーション情報Ｇ１を重畳する等の画像処理により表示用画像データを生成する。第７の実施形態では、３次元地図情報にアノテーション情報Ｇ１を重畳する等の画像処理により表示用画像データを生成する。
【０１０１】
さらに詳しくは、画像処理部４１は、通常光画像データではなく３次元地図情報にアノテーション情報Ｇ１を重畳する等の画像処理により表示用画像データを生成する。画像処理部４１は、例えば、撮像装置２０００から被写体までの距離を擬似カラーで表現した３次元地図情報に、アノテーション情報Ｇ１を重畳する等の画像処理により表示用画像データを生成する。これにより、医師等のユーザは、注目領域Ｒ１までの距離をより的確に把握することができる。
【０１０２】
（第８の実施形態）
上記第１の実施形態では、注目領域Ｒ１に設定時の特徴量に基づいて生成したアノテーション情報Ｇ１を通常光画像データに重畳する等の画像処理により表示用画像データを生成する。第８の実施形態では、適宜、更新したアノテーション情報Ｇ１を通常光画像データに重畳する等の画像処理により表示用画像データを生成する。
【０１０３】
例えば、画像処理部４１は、入力装置５０４７が操作を受け付けた場合や、設定された期間が経過した場合や、特殊光画像データや通常光画像データ等の画像データから所定の条件を検出した場合等に、その時の注目領域Ｒ１の特徴量に基づいてアノテーション情報Ｇ１を更新する。そして、画像処理部４１は、更新したアノテーション情報Ｇ１を通常光画像データに重畳する等の画像処理により表示用画像データを生成する。これにより、医師等のユーザは、時間的変化に伴い、注目領域Ｒ１がどの様に変化するかを把握することができる。例えば、医師等のユーザは、時間的変化に伴い、バイオマーカーがどのように広がっていくか等を把握することができる。
【０１０４】
なお、注目領域設定部３１は、アノテーション情報Ｇ１の更新時に注目領域Ｒ１の設定を更新してもよい。この場合、アノテーション情報Ｇ１の更新時に、注目領域設定部３１は、新たに抽出した特徴領域を注目領域Ｒ１に設定する。また、推定領域算出部３２は、新たに設定された注目領域Ｒ１の物理位置に対応する推定領域を推定する。そして、画像処理部４１は、新たに推定された推定領域に、アノテーション情報Ｇ１を重畳する等の画像処理を実行する。
【０１０５】
（第９の実施形態）
上記第１の実施形態では、特殊光画像データにおける特徴領域を注目領域Ｒ１に設定した。第９の実施形態では、注目領域Ｒ１に設定する指示を受け付ける。すなわち、注目領域設定部３１は、特殊光画像データから一又は複数の特徴領域を検出した場合に、検出した一又は複数の特徴領域を暫定的に注目領域Ｒ１に設定する。また、注目領域設定部３１は、暫定的に設定された注目領域Ｒ１から選択された注目領域Ｒ１を正式な注目領域Ｒ１に設定する。そして、画像処理部４１は、正式な注目領域Ｒ１の物理位置に対応すると推定される推定領域にアノテーション情報Ｇ１を重畳する等の画像処理を実行する。
【０１０６】
図９Ａは、注目領域Ｒ１の指定方法の一例を示した図である。図９Ｂは、注目領域Ｒ１の設定の一例を示した図である。図９Ａは、通常光画像データに対して、暫定的に注目領域Ｒ１に設定された注目領域Ｒ１を可視化した暫定アノテーション情報Ｇ２を重畳した表示用画像データを示している。また、図９Ａは、暫定アノテーション情報Ｇ２を囲う指定線Ｇ３が示されている。そして、図９Ｂに示すように、指定線Ｇ３の内側にある暫定的に注目領域Ｒ１に設定されていた特徴領域が、正式な注目領域Ｒ１として設定される。
【０１０７】
なお、注目領域Ｒ１を指定する操作は、特殊光画像データが示す画像上で受け付けてもよい。また、注目領域Ｒ１を指定する方法は、暫定アノテーション情報Ｇ２を囲むことに操作に限らない。例えば、暫定アノテーション情報Ｇ２を押下する操作により注目領域Ｒ１を指定してもよいし、座標を示す数値により暫定アノテーション情報Ｇ２を指定してもよいし、患部を示す名称により暫定アノテーション情報Ｇ２を指定してもよい。
【０１０８】
さらに詳しくは、注目領域設定部３１は、一又は複数の特徴領域を抽出した場合に、抽出した一又は複数の特徴領域を暫定的に注目領域Ｒ１に設定する。そして、推定領域算出部３２は、暫定的に設定された一又は複数の注目領域Ｒ１の物理位置に対応すると推定される推定領域の座標を示す推定領域座標情報を出力する。画像処理部４１は、通常光画像データに対して、推定領域座標情報が示す座標に、暫定的に設定された注目領域Ｒ１を可視化した暫定アノテーション情報Ｇ２を重畳した表示用の表示画像データを生成する。
【０１０９】
そして、入力装置５０４７等が暫定アノテーション情報Ｇ２を選択する操作等を受け付けた場合に、注目領域設定部３１は、選択されなかった特徴領域について暫定的な注目領域Ｒ１の設定を解除する。そして、推定領域算出部３２は、選択された注目領域Ｒ１の物理位置に対応すると推定される推定領域の座標を示す推定領域座標情報を出力する。画像処理部４１は、通常光画像データに対して、推定領域座標情報が示す座標に、特殊光画像データの特徴量を可視化したアノテーション情報Ｇ１を重畳する等の画像処理を実行した表示用の表示画像データを生成する。これにより、画像処理部４１は、選択されなかった特徴領域の暫定アノテーション情報Ｇ２は削除し、選択された注目領域Ｒ１のアノテーション情報Ｇ１を表示させる。なお、画像処理部４１は、選択されなかった特徴領域の暫定アノテーション情報Ｇ２の削除に限らず、選択されなかった特徴領域と、選択された注目領域Ｒ１とを識別可能に表示してもよい。
【０１１０】
（第１０の実施形態）
第１の実施形態において、医療用観察システム１０００は、撮像装置２０００が通常光と特殊光との両方を受光する撮像素子１００を有するものとして説明した。第１０の実施形態では、医療用観察システム１０００ａは、撮像装置２０００ａが通常光を受光する撮像素子１００と、特殊光を受光する特殊光用撮像素子２００とを備えている。
【０１１１】
図１０は、第１０の実施形態に係る医療用観察システム１０００ａの一部分の構成の一例を示す図である。撮像装置２０００は、通常光用の撮像素子１００と、特殊光用の特殊光用撮像素子２００との両方を備えている。この場合には、光源装置５０４３は、通常光と、特殊光との両方を常に照射してもよいし、所定期間が経過するごとに通常光と、特殊光と切り替えて照射してもよい。
【０１１２】
（第１１の実施形態）
第１の実施形態において、医療用観察システム１０００は、撮像素子１００が撮像した画像データに基づいて、３次元情報を生成すると説明した。第１１の実施形態では、医療用観察システム１０００ｂは、像面位相差センサ１２０から取得した深度情報を用いて、３次元情報を生成する。
【０１１３】
図１１は、第１１の実施形態に係る医療用観察システム１０００ｂの一部分の構成の一例を示す図である。なお、図１１は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。
【０１１４】
撮像装置２０００ｂは、像面位相差センサ１２０を有する撮像素子１１０を備えている。像面位相差センサ１２０は、撮像素子１１０の中に、被写体までの距離を測定する画素を離散配置した構成を有している。３次元情報生成部２１は、像面位相差センサ１２０から術野の距離情報を取得し、距離情報の特徴点のマッチングにより、３次元情報を生成する。更に詳しくは、３次元情報生成部２１は、像面位相差センサ１２０が出力する像面位相差情報から、撮像装置２０００ｂから被写体までの深度情報（距離情報）を取得する。３次元情報生成部２１は、深度情報（距離情報）を用いて、ＳＬＡＭ技術を有効に活用し、３次元地図情報等の３次元情報を生成する。なお、像面位相差センサ１２０は、撮像した１枚の画像データから深度情報を得ることができる。また、医療用観察システム１０００ｂ撮像した１枚の画像から深度情報を得ることができるため、被写体が動いている場合であっても、被写体の３次元位置を高精度に計測することができる。
【０１１５】
（第１２の実施形態）
第１１の実施形態において、医療用観察システム１０００ｂは、撮像装置２０００ｂが通常光と特殊光との両方を受光する撮像素子１１０を有するものとして説明した。第１２の実施形態では、医療用観察システム１０００ｃは、通常光用の撮像素子１１０と、特殊光用の特殊光用撮像素子２００との両方を備えている。
【０１１６】
図１２は、第１２の実施形態に係る医療用観察システム１０００ｃの一部分の構成の一例を示す図である。なお、図１２は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。また、第１２の実施形態に係る医療用観察システム１０００ｃは、通常光用の撮像素子１１０と特殊光用の特殊光用撮像素子２００との両方を備えている点が、第１１の実施形態に係る医療用観察システム１０００ｂと異なっている。よって、撮像装置２０００ｃは、像面位相差センサ１２０を有する通常光用の撮像素子１１０と、特殊光用の特殊光用撮像素子２００とを備えている。
【０１１７】
（第１３の実施形態）
第１３の実施形態では、医療用観察システム１０００ｄは、２つの撮像素子１００、１０１を有する撮像装置２０００ｄを備えている。すなわち、医療用観察システム１０００ｄは、ステレオカメラを備えている。
【０１１８】
図１３は、第１３の実施形態に係る医療用観察システム１０００ｄの一部分の構成の一例を示す図である。なお、図１３は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。
【０１１９】
２つの撮像素子１００、１０１は、予め決められた相対関係を保った状態で配置されて、異なる被写体を、一部が重複するように撮像する。例えば、撮像素子１００、１０１は、立体視に対応する右目用及び左目用の画像信号をそれぞれ取得する。
【０１２０】
また、医療用観察システム１０００ｄにおいて、ＣＣＵ５０３９ｄは、図２で説明した構成に加えて、深度情報生成部７１を備える。深度情報生成部７１は、２つの撮像素子１００、１０１でそれぞれ撮像された２枚の画像データの特徴点のマッチングにより深度情報を生成する。
【０１２１】
地図生成部２２は、深度情報生成部７１が生成した深度情報と、撮像素子１００、１０１がそれぞれ撮像した画像データとにより、ＳＬＡＭ技術を用いて３次元地図情報等の３次元情報を生成する。また、２つの撮像素子１００、１０１は、同時に撮像を行うことができるため、１回の撮像で得た２枚の画像から深度情報を得ることができる。従って、医療用観察システム１０００ｄは、被写体が動いている場合であっても、被写体の３次元位置を高精度に計測することができる。
【０１２２】
（第１４の実施形態）
第１３の実施形態において、医療用観察システム１０００ｄは、撮像装置２０００ｄが通常光と特殊光との両方を受光する撮像素子１００、１０１を有するものとして説明した。第１４の実施形態では、医療用観察システム１０００ｅは、通常光用の撮像素子１００、１０１と、特殊光用の特殊光用撮像素子２００、２０１との両方を備えている。
【０１２３】
図１４は、第１４の実施形態に係る医療用観察システム１０００ｅの一部分の構成の一例を示す図である。なお、図１４は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。また、第１４の実施形態に係る医療用観察システム１０００ｅは、通常光用の撮像素子１００、１０１と特殊光用の特殊光用撮像素子２００、２０１との両方を備えている点が、第１３の実施形態に係る医療用観察システム１０００ｄと異なっている。よって、撮像装置２０００ｅは、通常光用の２つの撮像素子１００、１０１と、特殊光用の２つの特殊光用撮像素子２００、２０１とを備えている。また、ＣＣＵ５０３９ｅは、深度情報生成部７１を備える。
【０１２４】
（第１５の実施形態）
第１５の実施形態では、医療用観察システム１０００ｆは、トラッキングにより注目領域Ｒ１を特定している。
【０１２５】
図１５は、第１５の実施形態に係る医療用観察システム１０００ｆの一部分の構成の一例を示す図である。なお、図１５は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。
【０１２６】
撮像装置２０００ｆは、２つの撮像素子１００、１０１、つまりステレオカメラを備えている。ＣＣＵ５０３９ｆは、深度情報生成部７１と、トラッキング処理部８１とを更に備える。深度情報生成部７１は、２つの撮像素子１００、１０１でそれぞれ撮像された２枚の画像データの特徴点のマッチングにより深度情報を生成する。
【０１２７】
３次元情報生成部２１は、深度情報生成部７１が生成した深度情報に基づいて、３次元地図情報を生成する。トラッキング処理部８１は、直前フレームの３次元情報と現フレームの３次元情報とに基づいて、２つの点群を重ね合わせる手法であるＩＰＣ（Iterative  Closest  Point）法等を用いることによって撮像装置２０００ｆの位置及び姿勢の差分を算出する。推定領域算出部３２は、トラッキング処理部８１が算出した撮像装置２０００ｆの位置及び姿勢の差分値に基づいて、推定領域の２次元画面上の座標を算出する。そして、画像処理部４１は、通常光画像データに対して、トラッキング処理部８１が算出した座標に、特殊光画像データの特徴量を可視化したアノテーション情報Ｇ１を重畳した表示用の表示画像データを生成する。
【０１２８】
（第１６の実施形態）
第１５の実施形態において、医療用観察システム１０００ｆは、撮像装置２０００ｆが通常光と特殊光との両方を受光する撮像素子１００、１０１を有するものとして説明した。第１６の実施形態では、医療用観察システム１０００ｇは、通常光用の撮像素子１００、１０１と、特殊光用の特殊光用撮像素子２００、２０１との両方を備えている。
【０１２９】
図１６は、第１６の実施形態に係る医療用観察システム１０００ｇの一部分の構成の一例を示す図である。なお、図１６は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。また、第１６の実施形態に係る医療用観察システム１０００ｇは、通常光用の撮像素子１００、１０１と特殊光用の特殊光用撮像素子２００、２０１との両方を備えている点が、第１５の実施形態に係る医療用観察システム１０００ｆと異なっている。よって、撮像装置２０００ｇは、通常光用の２つの撮像素子１００、１０１と、特殊光用の２つの特殊光用撮像素子２００、２０１とを備えている。また、ＣＣＵ５０３９ｇは、深度情報生成部７１と、トラッキング処理部８１とを備えている。そして、医療用観察システム１０００ｇは、トラッキングにより注目領域Ｒ１を特定する。
【０１３０】
（第１７の実施形態）
第１７の実施形態では、医療用観察システム１０００ｈは、デプスセンサ３００により３次元地図情報等の３次元情報を生成する。
【０１３１】
図１７は、第１７の実施形態に係る医療用観察システム１０００ｈの一部分の構成の一例を示す図である。なお、図１７は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。撮像装置２０００ｈは、撮像素子１００と、デプスセンサ３００とを備えている。
【０１３２】
デプスセンサ３００は、被写体までの距離を測定するセンサである。デプスセンサ３００は、例えば被写体に向けて照射した赤外光等の反射光を受光することによって、光の飛行時間を計測して被写体までの距離を測定するＴｏＦ（Time  of  Flight）センサである。なお、デプスセンサ３００は、被写体に照射された複数の異なる幾何パターンを有する投影光の像を撮像することによって、被写体までの距離を測定するパターン投影法（Structured  Light）によって実現されてもよい。
【０１３３】
地図生成部２２は、デプスセンサ３００から術野の距離情報を取得し、距離情報の特徴点のマッチングにより、３次元情報を生成する。更に詳しくは、地図生成部２２は、撮像素子１００が撮像した画像データと、デプスセンサ３００が出力する深度情報（距離情報）とに基づいて、３次元地図情報を生成する。例えば、地図生成部２２は、デプスセンサ３００が測距した点が、撮像素子１００が撮像した画像データのどの画素に対応するかを算出する。そして、地図生成部２２は、術野の３次元地図情報を生成する。このように、地図生成部２２は、デプスセンサ３００から出力された深度情報（距離情報）を用いた、ＳＬＡＭ技術により３次元地図情報を生成する。
【０１３４】
（第１８の実施形態）
第１７の実施形態において、医療用観察システム１０００ｈは、撮像装置２０００ｈが通常光と特殊光との両方を受光する撮像素子１００を有するものとして説明した。第１８の実施形態では、医療用観察システム１０００ｉは、通常光用の撮像素子１００と、特殊光用の特殊光用撮像素子２００との両方を備えている。
【０１３５】
図１８は、第１８の実施形態に係る医療用観察システム１０００ｉの一部分の構成の一例を示す図である。なお、図１８は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。また、第１８の実施形態に係る医療用観察システム１０００ｉは、通常光用の撮像素子１００と特殊光用の特殊光用撮像素子２００との両方を備えている点が、第１７の実施形態に係る医療用観察システム１０００ｈと異なっている。よって、撮像装置２０００ｉは、通常光用の撮像素子１００、特殊光用の特殊光用撮像素子２００と、デプスセンサ３００とを備えている。
【０１３６】
（第１９の実施形態）
第１９の実施形態では、医療用観察システム１０００ｊは、デプスセンサ３００が出力した３次元情報を用いて、トラッキングにより注目領域Ｒ１の座標を特定している。
【０１３７】
図１９は、第１９の実施形態に係る医療用観察システム１０００ｊの一部分の構成の一例を示す図である。なお、図１９は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。撮像装置２０００ｊは、撮像素子１００とデプスセンサ３００とを備えている。また、ＣＣＵ５０３９ｊは、さらにトラッキング処理部８１を備えている。
【０１３８】
３次元情報生成部２１は、デプスセンサ３００から術野の距離情報を取得し、距離情報の特徴点のマッチングにより、３次元情報を生成する。更に詳しくは、３次元情報生成部２１は、デプスセンサ３００が異なる位置から測定した２つの距離情報（例えば、被写体までの距離に対応する画素値が格納された距離画像）をマッチングさせることによって、被写体の移動状態を求める。なお、マッチングは特徴点同士で行うことが好ましい。トラッキング処理部８１は、被写体の移動状態に基づいて、撮像装置２０００ｊの位置及び姿勢の差分を算出する。推定領域算出部３２は、トラッキング処理部８１が算出した撮像装置２０００ｊの位置及び姿勢の差分値に基づいて、推定領域の２次元画面上の座標を算出する。そして、画像処理部４１は、通常光画像データに対して、トラッキング処理部８１が算出した座標に、特殊光画像データの特徴量を可視化したアノテーション情報Ｇ１を重畳した表示用の表示画像データを生成する。
【０１３９】
（第２０の実施形態）
第１９の実施形態において、医療用観察システム１０００ｊは、撮像装置２０００ｊが通常光と特殊光との両方を受光する撮像素子１００を有するものとして説明した。第２０の実施形態では、医療用観察システム１０００ｋは、通常光用の撮像素子１００と、特殊光用の特殊光用撮像素子２００との両方を備えている。
【０１４０】
図２０は、第２０の実施形態に係る医療用観察システム１０００ｋの一部分の構成の一例を示す図である。なお、図２０は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。また、第２０の実施形態に係る医療用観察システム１０００ｋは、通常光用の撮像素子１００と特殊光用の特殊光用撮像素子２００との両方を備えている点が、第１９の実施形態に係る医療用観察システム１０００ｉと異なっている。よって、撮像装置２０００ｋは、通常光用の撮像素子１００と、特殊光用の特殊光用撮像素子２００と、デプスセンサ３００とを備えている。また、ＣＣＵ５０３９ｋは、さらにトラッキング処理部８１を備えている。そして、医療用観察システム１０００ｋは、トラッキングにより注目領域Ｒ１の座標を特定している。
【０１４１】
（第２１の実施形態）
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、患者の微細部位を拡大観察しながら行う、いわゆるマイクロサージェリーに用いられる顕微鏡手術システムに適用されてもよい。
【０１４２】
図２１は、本開示に係る技術が適用され得る顕微鏡手術システム５３００の概略的な構成の一例を示す図である。図２１を参照すると、顕微鏡手術システム５３００は、顕微鏡装置５３０１と、制御装置５３１７と、表示装置５３１９と、から構成される。なお、以下の顕微鏡手術システム５３００についての説明において、「ユーザ」とは、術者及び助手等、顕微鏡手術システム５３００を使用する任意の医療スタッフのことを意味する。
【０１４３】
顕微鏡装置５３０１は、観察対象（患者の術野）を拡大観察するための顕微鏡部５３０３と、顕微鏡部５３０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、を有する。
【０１４４】
顕微鏡部５３０３は、略円筒形状の筒状部５３０５（スコープともいう）と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、術野に通常光または特殊光を照射する光源装置（図示せず）と、筒状部５３０５の外周の一部領域に設けられる操作部５３０７と、から構成される。顕微鏡部５３０３は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。
【０１４５】
筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部５３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Light  Emitting  Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。
【０１４６】
撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサ又はＣＣＤ（Charge  Coupled  Device）イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術野の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。
【０１４７】
なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ（Auto  Exposure）機能やＡＦ（Auto  Focus）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
【０１４８】
また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者は術野における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。
【０１４９】
操作部５３０７は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部５３０７を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、操作部５３０７を介して、アーム部５３０９の動作モード（後述するオールフリーモード及び固定モード）を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部５３０３を移動させようとする場合には、当該ユーザは筒状部５３０５を握るように把持した状態で当該顕微鏡部５３０３を移動させる様態が想定される。従って、操作部５３０７は、ユーザが筒状部５３０５を移動させている間でも操作可能なように、ユーザが筒状部５３０５を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。
【０１５０】
アーム部５３０９は、複数のリンク（第１リンク５３１３ａ〜第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ〜第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。
【０１５１】
第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部５３０３の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ１が顕微鏡部５３０３の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ１まわりに顕微鏡部５３０３を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
【０１５２】
第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。
【０１５３】
第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ１と直交する回転軸（第２軸Ｏ２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。
【０１５４】
第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。
【０１５５】
第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ１及び第２軸Ｏ２と互いに直交する回転軸（第３軸Ｏ３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ２及び第３軸Ｏ３まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、水平面内での顕微鏡部５３０３の位置を変更するように、当該顕微鏡部５３０３を移動させることができる。つまり、第２軸Ｏ２及び第３軸Ｏ３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
【０１５６】
第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。
【０１５７】
第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ３と直交する回転軸（第４軸Ｏ４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。
【０１５８】
第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。
【０１５９】
第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ４と平行な回転軸（第５軸Ｏ５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ４及び第５軸Ｏ５は、顕微鏡部５３０３を上下方向に移動させ得る回転軸である。第４軸Ｏ４及び第５軸Ｏ５まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、顕微鏡部５３０３の高さ、すなわち顕微鏡部５３０３と観察対象との距離を調整することができる。
【０１６０】
第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。
【０１６１】
第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。
【０１６２】
第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。
【０１６３】
第１関節部５３１１ａ〜第６関節部５３１１ｆの回転可能範囲は、顕微鏡部５３０３が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部５３０９においては、顕微鏡部５３０３の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部５３０３の動きに関して６自由度が実現されるようにアーム部５３０９を構成することにより、アーム部５３０９の可動範囲内において顕微鏡部５３０３の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術野を観察することが可能となり、手術をより円滑に実行することができる。
【０１６４】
なお、図示するアーム部５３０９の構成はあくまで一例であり、アーム部５３０９を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部５３０３を自由に動かすためには、アーム部５３０９は６自由度を有するように構成されることが好ましいが、アーム部５３０９はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部５３０９においては、顕微鏡部５３０３の位置及び姿勢が固定された状態で、アーム部５３０９の姿勢を変更することが可能となる。従って、例えば表示装置５３１９を見る術者の視界にアーム部５３０９が干渉しないように当該アーム部５３０９の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。
【０１６５】
ここで、第１関節部５３１１ａ〜第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ〜第６関節部５３１１ｆに設けられる各アクチュエータの駆動が制御装置５３１７によって適宜制御されることにより、アーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が制御され得る。具体的には、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部５３０９の現在の姿勢、並びに顕微鏡部５３０３の現在の位置及び姿勢を把握することができる。制御装置５３１７は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部５３０３の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置５３１７によるアーム部５３０９の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。
【０１６６】
例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置５３１７によってアーム部５３０９の駆動が適宜制御され、顕微鏡部５３０３の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部５３０３を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部５３０９は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５３０９は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。
【０１６７】
また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部５３０９が移動するように第１関節部５３１１ａ〜第６関節部５３１１ｆのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部５３０３を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部５３０３を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部５３０３を移動させることが可能となり、ユーザの利便性を向上させることができる。
【０１６８】
また、アーム部５３０９は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部５３０３の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部５３０３を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部５３０３が、その焦点距離を調整不可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部５３０３とピボット点との距離を、顕微鏡部５３０３の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部５３０３は、ピボット点を中心とする焦点距離に対応する半径を有する半球面（図２１に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部５３０３が、その焦点距離を調整可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部５３０３とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部５３０３の焦点距離を自動で調整してもよい。あるいは、顕微鏡部５３０３にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部５３０３とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で焦点距離の調整が行われてもよい。
【０１６９】
また、第１関節部５３１１ａ〜第６関節部５３１１ｆには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置５３１７によって制御され得る。例えば、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、制御装置５３１７は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部５３０３の位置及び姿勢を移動したい場合には、制御装置５３１７は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。
【０１７０】
このようなブレーキの動作は、上述した操作部５３０７を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部５３０３の位置及び姿勢を移動したい場合には、操作部５３０７を操作し、各関節部のブレーキを解除させる。これにより、アーム部５３０９の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、ユーザは、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、操作部５３０７を操作し、各関節部のブレーキを作動させる。これにより、アーム部５３０９の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。
【０１７１】
制御装置５３１７は、顕微鏡装置５３０１及び表示装置５３１９の動作を制御することにより、顕微鏡手術システム５３００の動作を統括的に制御する。例えば、制御装置５３１７は、所定の制御方式に従って第１関節部５３１１ａ〜第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部５３０９の駆動を制御する。また、例えば、制御装置５３１７は、第１関節部５３１１ａ〜第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部５３０９の動作モードを変更する。また、例えば、制御装置５３１７は、顕微鏡装置５３０１の顕微鏡部５３０３の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置５３１９に表示させる。当該信号処理では、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise  reduction）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。
【０１７２】
なお、制御装置５３１７と顕微鏡部５３０３との通信、及び制御装置５３１７と第１関節部５３１１ａ〜第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
【０１７３】
制御装置５３１７は、ＣＰＵ（Central  Processing  Unit）、ＧＰＵ（Graphics  Processing  Unit）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置５３１７は、顕微鏡装置５３０１と別個の装置として設けられているが、制御装置５３１７は、顕微鏡装置５３０１のベース部５３１５の内部に設置され、顕微鏡装置５３０１と一体的に構成されてもよい。あるいは、制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部５３０３や、アーム部５３０９の第１関節部５３１１ａ〜第６関節部５３１１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置５３１７と同様の機能が実現されてもよい。
【０１７４】
表示装置５３１９は、手術室内に設けられ、制御装置５３１７からの制御により、当該制御装置５３１７によって生成された画像データに対応する画像を表示する。つまり、表示装置５３１９には、顕微鏡部５３０３によって撮影された術野の画像が表示される。なお、表示装置５３１９は、術野の画像に代えて、又は術野の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置５３１９の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置５３１９は複数設けられてもよく、複数の表示装置５３１９のそれぞれに、術野の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置５３１９としては、液晶ディスプレイ装置又はＥＬ（Electro  Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
【０１７５】
図２２は、図２１に示す顕微鏡手術システム５３００を用いた手術の様子を示す図である。図２２では、術者５３２１が、顕微鏡手術システム５３００を用いて、患者ベッド５３２３上の患者５３２５に対して手術を行っている様子を概略的に示している。なお、図２２では、簡単のため、顕微鏡手術システム５３００の構成のうち制御装置５３１７の図示を省略するとともに、顕微鏡装置５３０１を簡略化して図示している。
【０１７６】
図２２に示すように、手術時には、顕微鏡手術システム５３００を用いて、顕微鏡装置５３０１によって撮影された術野の画像が、手術室の壁面に設置される表示装置５３１９に拡大表示される。表示装置５３１９は、術者５３２１と対向する位置に設置されており、術者５３２１は、表示装置５３１９に映し出された映像によって術野の様子を観察しながら、例えば患部の切除等、当該術野に対して各種の処置を行う。
【０１７７】
上記の実施形態では推定領域に画像重畳を行うことについて説明したが、推定領域に基づいてリニアエンハンスメント処理や色強調などの画像強調処理や２値化処理、シャープネス強調処理などの所定の画像処理を行ってもよい。また、推定領域のみに対して画像処理を行うだけでなく、推定領域を基準とした画像処理を行ってもよい。例えば、推定領域に基づいて推定領域の少し外側を点線で覆うなど、推定領域そのものに画像処理を行うのではなく、推定領域を基準とした領域に重畳画像処理を行ってもよい。
【０１７８】
以上、本開示に係る技術が適用され得る顕微鏡手術システム５３００の一例について説明した。なお、ここでは、一例として顕微鏡手術システム５３００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、顕微鏡装置５３０１は、その先端に顕微鏡部５３０３に代えて他の観察装置や他の術具を支持する、支持アーム装置としても機能し得る。当該他の観察装置としては、例えば内視鏡が適用され得る。また、当該他の術具としては、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持アーム装置によって支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持アーム装置に適用されてもよい。
【０１７９】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０１８０】
なお、本技術は以下のような構成も取ることができる。
（１）  
術野の３次元情報を生成する生成部と、
所定の波長帯域を有する特殊光を照射中に医療用観察装置により撮像された特殊光画像に基づいて、前記特殊光画像に注目領域を設定する設定部と、
前記所定の波長帯域とは異なる波長帯域を有する通常光を照射中に前記医療用観察装置により撮像された通常光画像における前記注目領域の物理位置に対応する推定領域を前記３次元情報より推定する算出部と、
前記通常光画像の前記推定領域に所定  の画像処理を行う画像処理部と、
を備える医療用観察システム。
（２）
前記生成部は、前記術野を異なる角度で前記医療用観察装置により撮像した少なくとも２枚の前記通常光画像から前記３次元情報を生成する、
（１）に記載の医療用観察システム。
（３）
前記生成部は、前記少なくとも２枚の前記通常光画像の特徴点のマッチングにより、前記３次元情報を生成する、
（２）に記載の医療用観察システム。
（４）
前記３次元情報は、少なくとも前記術野の３次元座標を示す地図情報と、前記医療用観察装置の位置情報と、前記医療用観察装置の姿勢情報と、を含む、
（３）に記載の医療用観察システム。
（５）
前記算出部は、前記地図情報を用いて前記３次元座標における前記注目領域の物理位置に対応する注目座標  を算出し、前記地図情報と、前記位置情報と、前記姿勢情報とに基づいて、前記通常光画像における注目座標に相当する領域を前記推定領域と推定する、
（４）に記載の医療用観察システム。
（６）
前記画像処理部は、前  記特殊光画像の特徴を示す情報であるアノテーション情報を前記通常光画像の前記推定領域に重畳する前記画像処理を行う、
（５）に記載の医療用観察システム。
（７）
前記画像処理部は、前記推定領域に前記推定領域外とは異なる画像強調処理を行う、
（５）に記載の医療用観察システム。
（８）
前記設定部は、前記注目領域に設定する指示を受け付ける、
（１）乃至（７）の何れか一項に記載の医療用観察システム。
（９）
前記設定部は、前記注目領域を設定するタイミングを指示する入力を受け付ける、
（８）に記載の医療用観察システム。
（１０）
前記設定部は、前記特殊光画像の特徴的な一又は複数の領域のうち、前記注目領域に設定する対象を指示する入力を受け付ける、
（８）に記載の医療用観察システム。
（１１）
前記画像処理部は、前記通常光画像の前記推定領域に、前記注目領域に関する情報を付加する前記画像処理を行う、
（１）乃至（１０）の何れか一項に記載の医療用観察システム。
（１２）
前記画像処理部は、前記注目領域の輪郭から設定された距離にあるか否かを示す情報を付加する前記画像処理を行う、
（１１）に記載の医療用観察システム。
（１３）
前記画像処理部は、前記特殊光画像の特徴的な領域の特徴量に基づいて、前記推定領域に前記画像処理を行う、
（１）乃至（１２）の何れか一項に記載の医療用観察システム。
（１４）
前記設定部は、前記特殊光画像の蛍光している領域を前記注目領域に設定し、
前記画像処理部は、前記注目領域の蛍光強度に基づいて、前記推定領域に前記画像処理を行う、
（１３）に記載の医療用観察システム。
（１５）
前記設定部は、前記術野の血液の状態に基づいて前記注目領域を設定し、
前記算出部は、前記注目領域の物理位置に対応する前記推定領域を推定し、
前記画像処理部は、前記通常光画像の前記推定領域に血液の状態を示す前記画像処理を行う、
（１３）に記載の医療用観察システム。
（１６）
前記画像処理部は、前記推定領域への前記画像処理を更新する、
（１）乃至（１５）の何れか一項に記載の医療用観察システム。
（１７）
前記生成部は、前記注目領域の外部から前記特徴点を検出する、
（３）に記載の医療用観察システム。
（１８）
前記生成部は、前記通常光画像に含まれる予め定められた物品を検出した領域以外の領域から前記特徴点を検出する、
（１７）に記載の医療用観察システム。
（１９）
前記術野に挿入されるスコープを介して前記術野に前記通常光または前記特殊光を照射する光源装置と、
前記スコープから導光された光を受光する撮像素子からの信号を処理して表示装置に送信する信号処理装置と、
を備え、
前記医療用観察装置は、前記スコープを接続可能な筐体と、前記筐体内に配される前記撮像素子とを有し、
前記信号処理装置は、少なくとも前記生成部、前記設定部、前記算出部、前記画像処理部の機能を実現する回路を有する、
（１）乃至（１８）の何れか一項に記載の医療用観察システム。
（２０）
前記生成部は、前記術野の距離情報を取得し、前記距離情報の特徴点のマッチングにより、前記３次元情報を生成する、
（１）乃至（１９）の何れか一項に記載の医療用観察システム。
（２１）
術野の３次元情報を生成する生成部と、
所定の波長帯域を有する特殊光を照射中に医療用観察装置により撮像された特殊光画像に基づいて、前記特殊光画像に注目領域を設定する設定部と、
前記所定の波長帯域とは異なる波長帯域を有する通常光を照射中に前記医療用観察装置により撮像された通常光画像における前記注目領域の物理位置に対応する推定領域を前記３次元情報より推定する算出部と、
前記通常光画像の前記推定領域に所定の画像処理を行う画像処理部と、
を備える信号処理装置。
（２２）
術野の３次元情報を生成し、
所定の波長帯域を有する特殊光を照射中に医療用観察装置により撮像された特殊光画像に基づいて、前記特殊光画像に注目領域を設定し、
前記所定の波長帯域とは異なる波長帯域を有する通常光を照射中に前記医療用観察装置により撮像された通常光画像における前記注目領域の物理位置に対応する推定領域を前記３次元情報より推定し、
前記通常光画像の前記推定領域に所定の画像処理を行う、
医療用観察方法。
【符号の説明】
【０１８１】
５０００  内視鏡手術システム
５００１  内視鏡
１０００、１０００ａ、１０００ｂ、１０００ｃ、１０００ｄ、１０００ｅ、１０００ｆ、１０００ｇ、１０００ｈ、１０００ｉ、１０００ｊ、１０００ｋ  医療用観察システム
２０００、２０００ａ、２０００ｂ、２０００ｃ、２０００ｄ、２０００ｅ、２０００ｆ、２０００ｇ、２０００ｈ、２０００ｉ、２０００ｊ、２０００ｋ  撮像装置
１００、１０１、１１０  撮像素子
１２０  像面位相差センサ
２００、２０１    特殊光用撮像素子
３００  デプスセンサ
５０３９、５０３９ｄ、５０３９ｅ、５０３９ｆ、５０３９ｇ、５０３９ｊ、５０３９ｋ  ＣＣＵ
１１  通常光現像処理部
１２  特殊光現像処理部
２１  ３次元情報生成部
２２  地図生成部
２３  自己位置推定部
２４  ３次元情報格納部
３１  注目領域設定部
３２  推定領域算出部
４１  画像処理部
５１  表示制御部
６１  ＡＥ検波部
６２  ＡＥ制御部
６３  光源制御部
７１  深度情報生成部
８１  トラッキング処理部
５３００  顕微鏡手術システム
５３０１  顕微鏡装置
Ｇ１  アノテーション情報
Ｇ１１  注目領域情報
Ｇ１２  面積情報
Ｇ１３  境界線情報
Ｇ１４  境界距離情報
Ｇ２  暫定アノテーション情報
Ｇ３  指定線
Ｒ１  注目領域
【図１】
2020074926.tif 000003
【図２】
2020074926.tif 000004
【図３】
2020074926.tif 000005
【図４】
2020074926.tif 000006
【図５Ａ】
2020074926.tif 000007
【図５Ｂ】
2020074926.tif 000008
【図５Ｃ】
2020074926.tif 000009
【図５Ｄ】
2020074926.tif 000010
【図６】
2020074926.tif 000011
【図７】
2020074926.tif 000012
【図８】
2020074926.tif 000013
【図９Ａ】
2020074926.tif 000014
【図９Ｂ】
2020074926.tif 000015
【図１０】
2020074926.tif 000016
【図１１】
2020074926.tif 000017
【図１２】
2020074926.tif 000018
【図１３】
2020074926.tif 000019
【図１４】
2020074926.tif 000020
【図１５】
2020074926.tif 000021
【図１６】
2020074926.tif 000022
【図１７】
2020074926.tif 000023
【図１８】
2020074926.tif 000024
【図１９】
2020074926.tif 000025
【図２０】
2020074926.tif 000026
【図２１】
2020074926.tif 000027
【図２２】
2020074926.tif 000028