(57)【要約】【課題】患部の状態が時系列に沿って変化するような状況下においても、当該患部をより好適な態様で観察可能とする。【解決手段】撮像部から出力される、患部を被写体とした互いに異なる複数のタイミングでの第１の波長帯域に属する光の撮像結果に応じた複数の第１の撮像画像に基づき、当該第１の撮像画像中における当該患部の動きを推定する推定部と、撮像部から出力される、前記患部を被写体とした互いに異なる複数のタイミングでの第２の波長帯域に属する光の撮像結果に応じた複数の第２の撮像画像間の差分を、前記患部の動きの推定結果に基づき抽出する差分抽出部と、を備える、医療用画像処理装置。【選択図】図１
2020141946.tif 000002
【特許請求の範囲】
【請求項１】
撮像部から出力される、患部を被写体とした互いに異なる複数のタイミングでの第１の波長帯域に属する光の撮像結果に応じた複数の第１の撮像画像に基づき、当該第１の撮像画像中における当該患部の動きを推定する推定部と、
撮像部から出力される、前記患部を被写体とした互いに異なる複数のタイミングでの第２の波長帯域に属する光の撮像結果に応じた複数の第２の撮像画像間の差分を、前記患部の動きの推定結果に基づき抽出する差分抽出部と、
を備える、医療用画像処理装置。
【請求項２】
前記差分抽出部は、
前記患部の動きの推定結果に基づき、複数のタイミングそれぞれに対応する前記第２の撮像画像のうち少なくともいずれかの当該第２の撮像画像中における前記患部の位置を補正し、
当該補正後の前記第２の撮像画像に基づき前記差分を抽出する、
請求項１に記載の医療用画像処理装置。
【請求項３】
前記第１の波長帯域は、可視光波長帯域を含み、
前記第２の波長帯域は、所定の蛍光物質が発する蛍光の波長帯域を含む、
請求項１に記載の医療用画像処理装置。
【請求項４】
前記差分の抽出結果に基づき、前記複数の第２の撮像画像に対応する前記複数のタイミング間の期間における、前記第２の波長帯域に属する光の撮像結果に応じた出力画像を生成する出力画像生成部を備える、請求項１に記載の医療用画像処理装置。
【請求項５】
前記出力画像生成部は、前記差分の抽出結果に基づき、前記期間における前記患部の時系列に沿った変化が識別可能に提示された前記出力画像を生成する、請求項４に記載の医療用画像処理装置。
【請求項６】
前記出力画像生成部は、前記複数の第２の撮像画像が撮像された一連の期間を、当該複数の第２の撮像画像に対応する前記複数のタイミングに応じた複数の部分期間に分けて、当該部分期間ごとに前記患部の時系列に沿った変化が識別可能に提示された前記出力画像を生成する、請求項５に記載の医療用画像処理装置。
【請求項７】
前記出力画像生成部は、前記複数の部分期間それぞれにおける前記患部の時系列に沿った変化の、複数の当該部分期間の間における境界が識別可能に提示された前記出力画像を生成する、請求項６に記載の医療用画像処理装置。
【請求項８】
前記出力画像生成部は、前記差分の抽出結果に応じた表示情報と、前記複数の第１の撮像画像のうちの少なくとも一部の第１の撮像画像と、に基づいて前記出力画像を生成する、請求項４に記載の医療用画像処理装置。
【請求項９】
前記出力画像生成部は、前記差分の抽出結果に応じた表示情報と、前記複数の第２の撮像画像のうちの少なくとも一部の第２の撮像画像と、に基づいて前記出力画像を生成する、請求項４に記載の医療用画像処理装置。
【請求項１０】
前記出力画像生成部は、前記差分に相当する部分が強調された前記出力画像を生成する、請求項９に記載の医療用画像処理装置。
【請求項１１】
前記差分の抽出結果に応じて、前記出力画像の提示対象となる期間が決定される、請求項４に記載の医療用画像処理装置。
【請求項１２】
前記出力画像生成部は、前記差分の抽出結果に基づく機械学習により構築された判別器による、撮像部から出力される前記第２の撮像画像に基づき抽出された前記差分を入力とした所定の判別の結果に応じて、前記出力画像を生成する、請求項４に記載の医療用画像処理装置。
【請求項１３】
コンピュータが、
撮像部から出力される、患部を被写体とした互いに異なる複数のタイミングでの第１の波長帯域に属する光の撮像結果に応じた複数の第１の撮像画像に基づき、当該第１の撮像画像中における当該患部の動きを推定することと、
撮像部から出力される、前記患部を被写体とした互いに異なる複数のタイミングでの第２の波長帯域に属する光の撮像結果に応じた複数の第２の撮像画像間の差分を、前記患部の動きの推定結果に基づき抽出することと、
を含む、医療用画像処理装置の駆動方法。
【請求項１４】
第１の波長帯域に属する光と、第２の波長帯域に属する光と、のそれぞれを個別に撮像可能な１以上の撮像部と、
前記撮像部から出力される、患部を被写体とした互いに異なる複数のタイミングでの前記第１の波長帯域に属する光の撮像結果に応じた複数の第１の撮像画像に基づき、当該第１の撮像画像中における当該患部の動きを推定する推定部と、
前記撮像部から出力される、前記患部を被写体とした互いに異なる複数のタイミングでの前記第２の波長帯域に属する光の撮像結果に応じた複数の第２の撮像画像間の差分を、前記患部の動きの推定結果に基づき抽出する差分抽出部と、
を備える、医療用観察システム。
【請求項１５】
前記患部の拡大像を取得する顕微鏡部を備え、
前記撮像部は、前記顕微鏡部により取得された前記拡大像を撮像する、
請求項１４に記載の医療用観察システム。
【請求項１６】
患者の体腔内に挿入される鏡筒を含む内視鏡部を備え、
前記撮像部は、前記内視鏡部により取得された前記患部の像を撮像する、
請求項１４に記載の医療用観察システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、医療用画像処理装置、医療用画像処理装置の駆動方法、及び医療用観察システムに関する。
【背景技術】
【０００２】
手術手法、手術器具等の発達に伴い、内視鏡や手術用顕微鏡等のような医療用の観察装置により患部を観察しながら、各種処置を施す手術（所謂、マイクロサージャリー）が頻繁に行われるようになってきている。また、このような医療用の観察装置の中には、患部を光学的に観察可能とする装置に限らず、撮像装置（カメラ）等により撮像された患部の画像を、モニタ等の表示装置に電子画像として表示させる装置やシステムも提案されている。
【０００３】
また、近年では、内視鏡や手術用顕微鏡等の観察装置を用いた観察手法として、可視光帯域の光によって術野を観察する方法のみに限らず、所謂特殊光観察と呼ばれる観察手法が各種提案されている。特殊光観察としては、例えば、狭帯域光観察（ＮＢＩ：Narrow  Band  Imaging）、蛍光観察（ＦＩ：Fluorescence  Imaging）、及び赤外光観察（ＩＲＩ：Infra−Red  Imaging）等が挙げられる。
【０００４】
具体的な一例として、蛍光観察では、癌等の病巣に親和性を有する蛍光物質（以下、「蛍光体」とも称する）を予め検査対象者（患者）に投与したうえで、当該蛍光物質を励起するための励起光を照射し、病巣部に集積した蛍光物質から発せられる蛍光の蛍光像（即ち、蛍光の検出結果に基づく観察像）により、当該病巣部を観察する。例えば、特許文献１には、蛍光物質としてインドシアニングリーン（ＩＣＧ）を利用した蛍光観察を可能とするカメラシステムの一例が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５９１８５３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方で、蛍光薬剤等のような薬剤を利用した観察においては、当該薬剤が関心領域に到達するまでの時間や、当該薬剤が関心領域内で拡散していく速度等は、当該薬剤を運ぶ媒質（例えば、血流等）の流れる速度に依存する傾向にある。このような特性から、例えば、薬剤の使用に伴う患部の状態の変化（例えば、視覚的な変化）が観察可能となるタイミングを認識することが困難となり、ひいては、時系列に沿った患部の状態の変化を観察することが困難となる場合がある。また、患部に動きがあるような状況も想定され、このような状況下では、画像中における患部の状態が変化した場合に、当該変化が、薬剤の効果に伴う変化と、患部の動きに伴う変化と、のいずれによるものかを特定することが困難な場合もある。
【０００７】
そこで、本開示では、患部の状態が時系列に沿って変化するような状況下においても、当該患部をより好適な態様で観察可能とする技術を提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、撮像部から出力される、患部を被写体とした互いに異なる複数のタイミングでの第１の波長帯域に属する光の撮像結果に応じた複数の第１の撮像画像に基づき、当該第１の撮像画像中における当該患部の動きを推定する推定部と、撮像部から出力される、前記患部を被写体とした互いに異なる複数のタイミングでの第２の波長帯域に属する光の撮像結果に応じた複数の第２の撮像画像間の差分を、前記患部の動きの推定結果に基づき抽出する差分抽出部と、を備える、医療用画像処理装置が提供される。
【０００９】
また、本開示によれば、コンピュータが、撮像部から出力される、患部を被写体とした互いに異なる複数のタイミングでの第１の波長帯域に属する光の撮像結果に応じた複数の第１の撮像画像に基づき、当該第１の撮像画像中における当該患部の動きを推定することと、撮像部から出力される、前記患部を被写体とした互いに異なる複数のタイミングでの第２の波長帯域に属する光の撮像結果に応じた複数の第２の撮像画像間の差分を、前記患部の動きの推定結果に基づき抽出することと、を含む、医療用画像処理装置の駆動方法が提供される。
【００１０】
また、本開示によれば、第１の波長帯域に属する光と、第２の波長帯域に属する光と、のそれぞれを個別に撮像可能な１以上の撮像部と、前記撮像部から出力される、患部を被写体とした互いに異なる複数のタイミングでの前記第１の波長帯域に属する光の撮像結果に応じた複数の第１の撮像画像に基づき、当該第１の撮像画像中における当該患部の動きを推定する推定部と、前記撮像部から出力される、前記患部を被写体とした互いに異なる複数のタイミングでの前記第２の波長帯域に属する光の撮像結果に応じた複数の第２の撮像画像間の差分を、前記患部の動きの推定結果に基づき抽出する差分抽出部と、を備える、医療用観察システムが提供される。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る医療用観察システムの概略的な機能構成の一例を示したブロック図である。
【図２】同実施形態に係る医療用観察システムの一連の処理の流れの一例を示したフローチャートである。
【図３】表示例１に係る情報の提示方法の一例について説明するための説明図である。
【図４】表示例１に係る情報の提示方法の他の一例について説明するための説明図である。
【図５】表示例２に係る情報の提示方法の一例について説明するための説明図である。
【図６】時間変化の大きさの評価方法の一例について概要を説明するための説明図である。
【図７】表示例３に係る情報提示の制御方法の一例について概要を説明するための説明図である。
【図８】表示例３に係る画像処理装置の一連の動作の流れの一例を示したフローチャートである。
【図９】表示例３に係る情報の提示方法の一例について説明するための説明図である。
【図１０】実施例６について概要を説明するための説明図である。
【図１１】同実施形態に係る医療用観察システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
【図１２】同実施形態に係る医療用観察システムの応用例について説明するための説明図である。
【図１３】同実施形態に係る医療用観察システムの他の応用例について説明するための説明図である。
【図１４】同実施形態に係る医療用観察システムの他の応用例について説明するための説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．はじめに
２．技術的特徴
２．１．機能構成
２．２．処理
２．３．表示例
２．４．実施例
３．ハードウェア構成の一例
４．応用例
４．１．応用例１：顕微鏡撮像システム
４．２．応用例２：内視鏡手術システム
５．むすび
【００１４】
＜＜１．はじめに＞＞
まず、薬剤を使用する観察手法の一例として、所謂特殊光観察と称される観察手法のうち、特に、蛍光物質を利用することで病巣部の蛍光像を観察する蛍光観察について概要を説明したうえで、本開示に係る医療用観察システムの技術的課題について説明する。
【００１５】
蛍光観察では、癌等の病巣に親和性を有する蛍光物質を予め検査対象者（患者）に投与し、当該蛍光物質を励起するための励起光を照射することにより、病巣部に集積した蛍光物質から発せられる蛍光の蛍光像（即ち、蛍光の検出結果に基づく観察像）により、当該病巣部を観察する。
【００１６】
蛍光観察に使用される蛍光物質の代表的な一例として、インドシアニングリーン（ＩＣＧ）が挙げられる。ＩＣＧは、励起光として８０８ｎｍ近傍の波長を有する光を使用することで、８２０ｎｍ前後の波長を有する蛍光（即ち、近赤外帯域の光）を発する。
【００１７】
また、近年では、蛍光観察に利用する蛍光物質として、癌等の病巣に対してより選択的に集積する特性や、投与に伴う検査対象者への影響（副作用）の軽減等の観点から、ＩＣＧ以外にも各種提案されている。また、このような蛍光物質の中には、ＩＣＧとは異なる波長帯域の蛍光を発するものも提案されており、可視光波長帯域に属する光を発する蛍光物質も提案されている。
【００１８】
蛍光観察では、例えば、ＩＣＧ等の蛍光物質が発する蛍光の有無や、当該蛍光の時間変化を観察することで、術者は、血流やリンパ流を視覚的に観察することも可能となる。また、蛍光物質が発する蛍光の時間変化（即ち、患者の体内を流れる当該蛍光物質の時間変化）を解析することで、例えば、血管やリンパ管等のように所望の媒質（例えば、血液やリンパ液）が流れる部位のうち、流れの良い部分と悪い部分とを判別することも可能となる。
【００１９】
一方で、上述した蛍光観察のように薬剤を利用した観察においては、当該薬剤が関心領域に到達するまでの時間や、当該薬剤が関心領域内で拡散していく速度等は、当該薬剤を運ぶ媒質（例えば、血流等）の流れる速度に依存する傾向にある。このような特性から、例えば、薬剤を利用した観察においては、当該薬剤の使用に伴う患部の状態の変化（例えば、蛍光物質が蛍光を発することによる視覚的な変化）が観察可能となるタイミングを術者が認識することが困難となる場合がある。
【００２０】
また、他の一例として、薬剤を運ぶ媒質の流れる速度が速い場合には、術者が患部の状態の変化を認識する前に、当該状態の変化が終了する（例えば、蛍光物質が発する蛍光が飽和する）ような状況が想定され得る。また、薬剤を運ぶ媒質の流れる速度が遅い場合には、患部の状態の変化を認識しづらいような状況も想定され得る。
【００２１】
また、蛍光観察等において蛍光の強度変化を観察するような状況下においても、観察対象（患部）に動きがある場合もあり、画像中の特定箇所における蛍光の強度変化に注目するのみでは、関心領域における当該強度変化を観察することが困難な場合もある。特に、蛍光観察のように薬剤を使用して患部を観察するような状況下においては、薬剤を運ぶ媒質の流れにより当該薬剤が広がることで、患部の状態自体が視覚的に変化するような状況が想定され得る。このような場合には、画像中における患部の状態が変化したとしても、当該変化が、薬剤の効果に伴う患部の状態自体の変化（例えば、蛍光物質が蛍光を発することによる視覚的変化）と、患部の動きに伴う変化（例えば、画像中における患部の位置の変化）と、のいずれによるものかを特定することが困難な場合もある。
【００２２】
以上のような状況を鑑み、本開示では、患部の状態が時系列に沿って変化するような状況下（例えば、患部の状態が視覚的に変化するような状況下）においても、当該患部をより好適な態様で観察可能とする技術を提案する。具体的な一例として、本開示では、薬剤の使用等に伴い患部の状態が時系列に沿って変化するような状況下においても、当該患部の状態の変化（例えば、薬剤の使用に伴う変化等）をより好適な態様で観察可能とする技術を提案する。
【００２３】
＜＜２．技術的特徴＞＞
続いて、本開示の一実施形態に係る医療用観察システムの技術的特長について説明する。
【００２４】
＜２．１．機能構成＞
まず、図１を参照して、本開示の一実施形態に係る医療用観察システムの機能構成の一例について概要を説明する。図１は、本実施形態に係る医療用観察システムの概略的な機能構成の一例を示したブロック図であり、特に、観察対象（患部）の撮像結果に応じた画像を提示する部分に着目した構成について示している。
【００２５】
図１に示すように、本実施形態に係る医療用観察システム１は、撮像部１１１と、画像処理装置１００と、出力部１２１とを含む。
【００２６】
撮像部１１１は、患部（観察対象）の画像を撮像する構成を模式的に示している。具体的な一例として、撮像部１１１は、内視鏡装置や手術用顕微鏡装置の一部（例えば、カメラヘッド）として構成され得る。
【００２７】
特に、本実施形態に係る撮像部１１１は、患部の画像として、第１の波長帯域に属する光を撮像対象とした第１の撮像画像と、当該第１の波長帯域とは異なる第２の波長帯域に属する光を撮像対象とした第２の撮像画像と、を撮像可能に構成されている。具体的な一例として、撮像部１１１は、患部の画像として、可視光画像と、蛍光画像に代表される特殊光画像と、を撮像可能に構成されていてもよい。このとき、特殊光画像が観察対象となる場合には、例えば、当該特殊光画像が「第２の撮像画像」の一例に相当し、「第２の波長帯域」は、当該特殊光画像として撮像される光の波長帯域を含む。即ち、第２の撮像画像として蛍光画像を撮像する場合には、第２の波長帯域は、使用される蛍光物質が発する光（蛍光）の波長帯域を含むこととなる。これに対して、可視光画像が「第１の撮像画像」の一例に相当し、「第１の波長帯域」は、可視光波長帯域を含むこととなる。
【００２８】
なお、撮像部１１１は、患部の画像として、上記第１の撮像画像と上記第２の撮像画像とを撮像可能であれば、その構成は特に限定されない。具体的な一例として、撮像部１１１は、所謂２板カメラ等のように、第１の撮像画像と第２の撮像画像とを撮像可能な１つの撮像装置として構成されていてもよい。具体的には、撮像部１１１は、プリズム等の分岐光学系により患部から到達する光を、第１の波長帯域に属する光と、第２の波長帯域に属する光と、に分岐させ、当該分岐後の各光を互いに異なる撮像素子により個別に撮像するように構成されていてもよい。
【００２９】
また、他の一例として、撮像部１１１は、第１の波長帯域に属する光を撮像対象とした撮像装置（即ち、第１の撮像画像を撮像する撮像装置）と、第２の波長帯域に属する光を撮像対象とした撮像装置（即ち、第２の撮像画像を撮像する撮像装置）と、を個別に含んでもよい。
【００３０】
また、他の一例として、撮像部１１１は、第１の撮像画像と第２の撮像画像とを時分割で撮像するように構成されていてもよい。この場合には、例えば、撮像部１１１は、所定の期間ごとに、撮像対象とする光を、第１の波長帯域に属する光と、第２の波長帯域に属する光と、の間で順次切り替えることで、第１の撮像画像と第２の撮像画像とを時分割で撮像してもよい。なお、撮像対象とする光を切り替えるための構成は特に限定されない。具体的な一例として、患部を照明する光が選択的に切り替えられることで、撮像部１１１が撮像対象とする光が切り替えられてもよい。より具体的な一例として、可視光画像と蛍光画像とを撮像対象とする場合には、可視光画像が撮像される期間においては、白色光により患部が照明され、蛍光画像が撮像される期間においては、使用する蛍光物質に応じた励起光により患部が証明されてもよい。なお、この場合には、図１では図示を省略しているが、医療用観察システム１は、患部を照明するために所望の波長帯域の光を投光可能に構成された照明部（光源）を含んでもよい。
【００３１】
以上のようにして、撮像部１１１は、患部の画像として第１の撮像画像及び第２の撮像画像を撮像し、当該第１の撮像画像及び当該第２の撮像画像それぞれを画像処理装置１００に出力する。なお、以降では、説明をよりわかりやすくするために、第１の撮像画像として可視光画像が撮像され、第２の撮像画像として蛍光画像に代表される特殊光画像が撮像されるものとする。
【００３２】
出力部１２１は、ユーザに対して各種情報を提示する。本実施形態に係る医療用観察システム１では、出力部１２１は、所謂ディスプレイ等のような表示部として構成され、画像（静止画像や動画像）等のような表示情報を表示することでユーザに情報を提示する。具体的な一例として、出力部１２１は、後述する画像処理装置１００から出力される出力画像を表示してもよい。
【００３３】
画像処理装置１００は、撮像部１１１による撮像結果に応じた患部の画像に対して各種画像処理を施すことで出力画像を生成する。具体的には、図１に示すように、画像処理装置１００は、推定部１０１と、差分抽出部１０３と、出力画像生成部１０５とを含む。なお、画像処理装置１００は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、画像処理装置１００は、これらの構成要素の動作以外の動作も行い得る。
【００３４】
推定部１０１は、撮像部１１１による患部の撮像結果に応じた撮像画像（即ち、第１の撮像画像及び第２の撮像画像）のうち、当該患部の観察のための主な出力対象となる撮像画像（第２の撮像画像）とは異なる撮像画像（第１の撮像画像）に基づいて、当該撮像画像中における患部（被写体）の動きを推定する。即ち、本説明においては、推定部１０１は、撮像部１１１による患部の撮像結果に応じた撮像画像のうち、可視光画像に基づき、当該撮像画像中における患部の動きを推定するものとする。
【００３５】
具体的には、推定部１０１は、撮像部１１１から出力される、互いに異なる複数のタイミングでの患部の撮像結果に応じた複数の撮像画像（可視光画像）に基づき、当該撮像画像中における患部の動き（換言すると、撮像部１１１と患部との間の一方に対する他方の相対的な動き）を推定する。より具体的な一例として、推定部１０１は、撮像部１１１からフレームごとの撮像結果に応じて逐次出力される撮像画像のうち、互いに異なるフレームに対応する２以上の撮像画像間の比較に基づき、当該撮像画像中における患部の動きを推定してもよい。
【００３６】
なお、互いに異なる複数のタイミングでの患部の撮像結果に応じた複数の撮像画像に基づき、当該撮像画像中における患部の動きを推定することが可能であれば、当該推定の方法は特に限定されない。具体的な一例として、ブロックマッチング（テンプレートマッチング）と称されるアルゴリズムや、勾配法と称されるアルゴリズム等に基づき、撮像画像中における患部の動きの推定が行われてもよい。また、推定部１０１が上記推定に利用する撮像画像は、撮像部１１１から直接出力される画像のみには限定されない。具体的な一例として、撮像部１１１により撮像された画像に対して所定の補正が施された画像が、上記推定に利用されてもよい。
【００３７】
以上のようにして、推定部１０１は、撮像部１１１による患部の撮像結果に応じた撮像画像中における当該患部の動きを推定し、当該推定結果を差分抽出部１０３に出力する。
【００３８】
差分抽出部１０３は、撮像部１１１から出力される、互いに異なる複数のタイミングでの患部の撮像結果に応じた複数の撮像画像間の差分を抽出する。より具体的な一例として、差分抽出部１０３は、撮像部１１１からフレームごとの撮像結果に応じて逐次出力される撮像画像のうち、互いに異なるフレームに対応する２以上の撮像画像間の差分を抽出してもよい。このとき、差分抽出部１０３は、例えば、撮像部１１１による患部の撮像結果に応じた撮像画像（即ち、第１の撮像画像及び第２の撮像画像）のうち、当該患部の観察のための主な出力対象となる撮像画像（第２の撮像画像）を対象として、上記差分の抽出を行う。即ち、本説明においては、推定部１０１は、撮像部１１１による患部の撮像結果に応じた撮像画像のうち、蛍光画像に代表される特殊光画像を対象として、上記差分を抽出するものとする。また、以降の説明では、抽出される上記差分、即ち、互いに異なるタイミングに対応する画像間（例えば、撮像画像間）の差分を、便宜上「時間差分」とも称する。
【００３９】
具体的には、まず差分抽出部１０３は、推定部１０１から、撮像部１１１による患部の撮像結果に応じた撮像画像中における当該患部の動きの推定結果を取得する。差分抽出部１０３は、撮像部１１１から出力される、互いに異なる複数のタイミングでの患部の撮像結果に応じた複数の撮像画像（特殊光画像）のうち、少なくとも一部の撮像画像を対象として、取得した上記推定結果に基づき、当該撮像画像中の患部の位置を補正する。このような補正の適用に伴い、差分抽出の対象となる複数の撮像画像間における、当該撮像画像中の患部（被写体）の位置のずれが補正される。換言すると、上記補正に伴い、患部及び撮像部１１１のうち一方に対する他方の相対的な動きに伴い生じる、上記複数の撮像画像間のずれが補正される。
【００４０】
次いで、差分抽出部１０３は、上記補正が適用された複数の撮像画像（特殊光画像）間の差分（時間差分）を抽出することで、当該差分の抽出結果に応じた画像（以降では、「差分画像」とも称する）を生成する。以上のようにして生成された差分画像には、時間差分の抽出対象となる複数の撮像画像それぞれに対応するタイミング間における患部の変化（特に、患部の視覚的な変化）が提示されていることとなる。具体的な一例として、互いに異なる複数のタイミングで撮像された複数の蛍光画像間の差分（時間差分）の抽出結果に応じて上記差分画像が生成された場合には、当該差分画像には、上記複数のタイミング間の期間において蛍光物質が拡散した範囲や、当該蛍光物質が発する蛍光の輝度の変化等が提示されることとなる。
【００４１】
以上のようにして、差分抽出部１０３は、上記時間差分を抽出し、当該時間差分に応じた情報（例えば、生成した上記差分画像）を出力画像生成部１０５に出力する。また、差分抽出部１０３は、撮像部１１１からフレームごとの撮像結果に応じて逐次出力される撮像画像（特殊光画像）を出力画像生成部１０５に出力してもよい。また、差分抽出部１０３は、撮像部１１１から撮像結果に応じて出力される撮像画像（特殊光画像）や、当該撮像画像に基づき抽出した上記時間差分に応じた情報（例えば、生成した上記差分画像）を、所定の記憶領域（図示を省略する）に一時的または恒常的に記憶させてもよい。この場合には、出力画像生成部１０５は、当該記憶領域から上述した時間差分に応じた情報や特殊光画像を読み出してもよい。また、差分抽出部１０３が上記時間差分の抽出に利用する撮像画像は、撮像部１１１から直接出力される画像のみには限定されない。具体的な一例として、撮像部１１１により撮像された画像に対して所定の補正が施された画像が、上記時間差分の抽出に利用されてもよい。
【００４２】
出力画像生成部１０５は、撮像部１１１による患部の撮像結果に応じた画像に基づき出力画像を生成し、当該出力画像を出力部１２１に出力させる。具体的な一例として、出力画像生成部１０５は、差分抽出部１０３から出力される時間差分に応じた情報（例えば、差分画像）に基づき出力画像を生成してもよい。なお、当該時間差分に基づく出力画像の一例については、表示例として詳細を別途後述する。また、出力画像生成部１０５は、撮像部１１１から出力される特殊光画像や可視光画像に基づき出力画像を生成してもよい。また、出力画像生成部１０５は、撮像部１１１による患部の撮像結果に応じた複数種類の画像を統合することで出力画像を生成してもよい。具体的な一例として、出力画像生成部１０５は、上記差分画像、上記可視光画像、及び上記特殊光画像のうち少なくとも２以上の画像を統合することで出力画像を生成してもよい。より具体的な一例として、出力画像生成部１０５は、可視光画像に対して上記時間差分に応じた情報（例えば、差分画像）を重畳させた出力画像を生成してもよい。また、他の一例として、出力画像生成部１０５は、可視光画像や特殊光画像に対して、上記時間差分に応じた表示情報（例えば、マーカ等）を重畳させた出力画像を生成してもよい。
【００４３】
なお、上記はあくまで一例であり、上述した各機能を実現可能であれば、本実施形態に係る医療用観察システム１の機能構成は必ずしも図１に示す例に限定されない。具体的な一例として、２以上の構成が一体的に構成されていてもよい。具体的な一例として、出力部１２１が画像処理装置１００の一構成として設けられていてもよい。また、画像処理装置１００の各機能が、複数の装置が連携して動作することで実現されてもよい。具体的な一例として、画像処理装置１００の一部の構成が、当該画像処理装置１００の外部に設けられていてもよい。また、他の一例として、画像処理装置１００の各機能の実行に係る処理負荷が、複数の装置に分散されてもよい。
【００４４】
以上、図１を参照して、本開示の一実施形態に係る医療用観察システムの機能構成の一例について概要を説明した。
【００４５】
＜２．２．処理＞
続いて、図２を参照して、本開示の一実施形態に係る医療用観察システムの一連の処理の流れの一例について説明する。図２は、本実施形態に係る医療用観察システムの一連の処理の流れの一例を示したフローチャートであり、特に、図１に示す画像処理装置１００の処理の流れについて示している。
【００４６】
図２に示すように、画像処理装置１００（推定部１０１）は、撮像部１１１から出力される、互いに異なる複数のタイミングでの患部の撮像結果に応じた複数の撮像画像（可視光画像）に基づき、当該撮像画像中における患部の動きを推定する（Ｓ１０１）。
【００４７】
次いで、画像処理装置１００（差分抽出部１０３）は、上述した撮像画像中における患部の動きの推定結果に基づき、互いに異なる複数のタイミングでの患部の撮像結果に応じた複数の撮像画像（特殊光画像）のうち、少なくとも一部の撮像画像を補正する（Ｓ１０３）。当該補正に伴い、上記複数のタイミングに対応する複数の撮像画像（特殊光画像）間における、当該撮像画像中の患部（被写体）の位置のずれが補正される。また、画像処理装置１００（差分抽出部１０３）は、上記補正が適用された複数の撮像画像（特殊光画像）間の差分（時間差分）を抽出する（Ｓ１０７）。このとき、画像処理装置１００は、当該差分の抽出結果に基づき差分画像を生成してもよい。
【００４８】
画像処理装置１００（出力画像生成部１０５）は、上記差分の抽出結果に応じた情報に基づき出力画像を生成する（Ｓ１０７）。具体的な一例として、画像処理装置１００は、撮像部１１１による患部の撮像結果に応じた可視光画像に対して上記差分画像を重畳させることで、出力画像を生成してもよい。そして、画像処理装置１００は、生成した出力画像を出力部１２１に表示させることで、当該出力部１２１を介してユーザに当該出力画像を提示する（Ｓ１０９）。
【００４９】
以上、図２を参照して、本開示の一実施形態に係る医療用観察システムの一連の処理の流れの一例について説明した。
【００５０】
＜２．３．表示例＞
続いて、本開示の一実施形態に係る医療用観察システムによる情報の提示方法の一例について、特に、上述した撮像画像間の差分（例えば、特殊光画像間の時間差分）の抽出結果を利用した例に着目して説明する。
【００５１】
（表示例１：時系列に沿った変化の提示例）
まず、表示例１として、図３及び図４を参照して、時系列に沿った患部の状態の変化（例えば、患部の視覚的な変化の遷移）を識別に可能に提示する方法の一例について説明する。
【００５２】
まず、図３に示す例について説明する。図３は、表示例１に係る情報の提示方法の一例について説明するための説明図である。具体的には、図３は、蛍光物質を含む薬剤（蛍光薬剤）を投与したうえで、当該蛍光物質が血流等により拡散する状態を時系列に沿って観察するような状況を想定した情報の提示方法の一例について示している。
【００５３】
図３に示す例では、患部の可視光画像に対して、時系列に沿った所望のタイミングそれぞれについて、当該タイミングにおいて蛍光物質が拡散した範囲が識別可能に提示された表示情報Ｖ１０１が重畳表示されている。具体的には、図３に示す例では、蛍光画像に基づく差分画像として視覚的な変化（即ち、蛍光画像中の少なくとも一部の輝度値の変化）が検出されたタイミングを基点として、１０ｓ、２０ｓ、３０ｓ、４０ｓ、及び５０ｓそれぞれの経過後の各タイミングについて表示情報Ｖ１０１が提示されることで、当該タイミングで蛍光物質が発する蛍光が検出された範囲が視覚的に識別可能に提示されている。表示情報Ｖ１０１は、所謂等高線のように、各タイミングで蛍光が検出された範囲を、当該範囲の輪郭により提示している。換言すると、表示情報Ｖ１０１は、一連の期間を複数の部分期間（例えば、１０ｓ、２０ｓ、３０ｓ、４０ｓ、及び５０ｓそれぞれのタイミングに対応する部分期間）に分けた場合に、各部分期間で蛍光が検出された範囲の境界を識別可能に提示している。
【００５４】
また、図３に示す例では、各タイミングに対応する表示情報Ｖ１０１（即ち、各タイミングで蛍光が検出された範囲）に対して、当該表示情報Ｖ１０１が示す範囲に関連する他の情報Ｖ１０３が関連付けられてもよい。情報Ｖ１０３の一例としては、過去に行われた同種の観察において、患部の対応する範囲に対して施された処置（手技）に関する情報等が挙げられる。より具体的な一例として、情報Ｖ１０３として、対応する範囲における過去の切除位置に関する情報や、縫合不全の有無に関する情報（例えば、件数や確率等）が提示されてもよい。当該情報Ｖ１０３としては、例えば、過去に行われた同種の観察において、当該観察時に取得された画像に対してユーザ（医師）により関連付けられた情報が利用されてもよい。また、他の一例として、過去に行われた同種の観察において患部の各部に対して施された処置や当該処置の結果等に関する情報を利用した機械学習の結果に基づき、各タイミングに対応する表示情報Ｖ１０１に対して、対応する範囲に関連する情報Ｖ１０３が関連付けられてもよい。
【００５５】
ここで、図３に示す例のうち、特に、表示情報Ｖ１０１の提示に係る処理の一例について説明する。
【００５６】
画像処理装置１００は、撮像部１１１から患部の撮像結果に応じてフレームごとに逐次出力される蛍光画像に基づき、当該蛍光画像のフレーム間における差分（時間差分）を抽出する。また、画像処理装置１００は、時間差分の抽出結果に対して、当該時間差分が発生したタイミングに関する情報を関連付ける。
【００５７】
また、画像処理装置１００は、所定のタイミングを基準として所望の期間（例えば、１０ｓ、２０ｓ、…、５０ｓ）が経過すると、撮像部１１１から出力される蛍光画像に基づき抽出された一連の上記時間差分のうち、当該期間に含まれるフレームに対応する時間差分を抽出する。画像処理装置１００は、対象となる期間（即ち、一連の期間のうち少なくとも一部の部分期間）について抽出された時間差分を結合することで、当該期間中に蛍光が検出された領域を特定する。このとき、画像処理装置１００は、例えば、ラベリング処理等を利用することで、対象となる期間中に蛍光が検出された領域の特定を行ってもよい。
【００５８】
そして、画像処理装置１００は、画像解析等を利用して特定した上記領域の輪郭を抽出し、当該輪郭の抽出結果に応じて、対象となる期間中に蛍光が検出された範囲を示す表示情報Ｖ１０１を、患部の可視光画像中の対応する部分に重畳表示させる。
【００５９】
以上のようにして、所定の期間ごとに、当該期間に対応する表示情報Ｖ１０１が、患部の可視光画像中の対応する部分に重畳表示されることで、図３に示すように、蛍光が検出された範囲（即ち、蛍光物質が拡散した範囲）の時系列に沿った変化が識別可能に提示される。
【００６０】
なお、上記はあくまで一例であり、抽出された上記時間差分（換言すると、差分画像）に基づき、時系列に沿った患部の状態の変化（例えば、患部の視覚的な変化）を識別可能に提示することが可能であれば、表示情報Ｖ１０１の提示態様は必ずしも図３に示す例には限定されない。
【００６１】
次いで、図４に示す例について説明する。図４は、表示例１に係る情報の提示方法の他の一例について説明するための説明図である。具体的には、図４は、蛍光物質を含む薬剤（蛍光薬剤）を投与したうえで、所望の期間中に当該蛍光物質が血流等により拡散した範囲を時系列に沿って識別可能に提示するとともに、所望の期間内に変化が生じた範囲を強調表示する場合の一例について示している。
【００６２】
より具体的には、図４に示す例では、図３に示す例と同様に、患部の可視光画像に対して、時系列に沿った所望のタイミングそれぞれについて、当該タイミングにおいて蛍光物質が拡散した範囲が識別可能に提示された表示情報Ｖ１０１が重畳表示されている。そのうえで、図４に示す例では、参照符号Ｖ１０５として示した表示情報が提示されることで、所望の期間中に変化が生じた部分が強調されている。
【００６３】
なお、強調表示の対象となる期間は特に限定はされない。例えば、上記時間差分の抽出が開始されてから所定の期間が経過するまでに変化が生じた部分が強調されるように表示情報Ｖ１０５が提示されてもよい。この場合には、画像処理装置１００は、上記時間差分の抽出が開始されたタイミングを保持し、当該タイミングから所定の期間が経過するまでに抽出された上記時間差分に基づき、変化が生じた範囲（例えば、蛍光が検出された範囲、即ち、蛍光物質が拡散した範囲）を特定してもよい。そして、画像処理装置１００は、特定した範囲が強調されるように表示情報Ｖ１０５を提示してもよい。このような制御により、例えば、蛍光観察が開始されてから所定の期間内に蛍光物質が拡散した範囲が強調されるように制御することが可能となる。
【００６４】
また、他の一例として、上記時間差分の抽出が行われる一連の期間のうち一部の期間を対象として、当該期間中に変化が生じた部分が強調表示されてもよい。
【００６５】
具体的な一例として、変化量が閾値を超える変化が検出されたタイミングから所定の期間が経過するまでに変化が生じた部分が強調表示されてもよい。この場合には、例えば、画像処理装置１００は、変化量が閾値を超える変化が検出されたタイミングを保持し、当該タイミングから所定の期間が経過されるまでに抽出された上記時間差分に基づき、変化が生じた範囲を特定してもよい。そして、画像処理装置１００は、特定した範囲が強調されるように表示情報Ｖ１０５を提示してもよい。このような制御により、例えば、所定量以上の血流が保たれていると推定される部分が検出されたタイミングを基点として、所定の期間内に蛍光物質が拡散した範囲が強調されるように制御することが可能となる。
【００６６】
また、他の一例として、上記時間差分の抽出が開始されたタイミングから所定の期間の経過後のタイミングを基点として、所定の期間が経過するまでに変化が生じた部分が強調表示されてもよい。この場合には、例えば、画像処理装置１００は、上記時間差分の抽出が開始されたタイミングから所定の期間の経過後のタイミングを保持し、当該タイミングから所定の期間が経過されるまでに抽出された上記時間差分に基づき、変化が生じた範囲を特定してもよい。そして、画像処理装置１００は、特定した範囲が強調されるように表示情報Ｖ１０５を提示してもよい。
【００６７】
もちろん上記はあくまで一例であり、上記時間差分の抽出が行われる一連の期間のうち少なくとも一部の期間を対象として、当該期間中に変化が生じた部分が強調表示されるように制御することが可能であれば、対象となる期間の特定方法は特に限定されない。また、図４に示す表示情報Ｖ１０５の表示態様はあくまで一例であり、対象となる範囲がより強調されるように制御することが可能であれば、当該表示情報Ｖ１０５の表示態様は図４に示す例には限定されない。
【００６８】
以上、表示例１として、図３及び図４を参照して、時系列に沿った患部の状態の変化（例えば、患部の視覚的な変化の遷移）を識別に可能に提示する方法の一例について説明する。
【００６９】
（表示例２：変化量に応じた情報提示の制御例）
続いて、表示例２として、図５及び図６を参照して、時系列に沿った患部の状態の変化の提示に際し、変化量に応じて情報の提示を制御する場合の一例について説明する。
【００７０】
まず、図５を参照して、表示例２に係る情報の提示方法の一例について概要を説明する。図５は、表示例２に係る情報の提示方法の一例について説明するための説明図である。図５に示す例では、動脈瘤に対してクリッピングを施したうえで、蛍光薬剤を投与することで、蛍光物質が発する蛍光の検出結果に基づき、当該クリッピングが十分か否かを判断するような状況を想定している。具体的には、図５は、クリッピング前後における蛍光の輝度の変化量や蛍光が検出される範囲の広さの変化量等に応じて、十分なクリッピングが行われているか否かを識別可能に提示する場合における情報の提示方法の一例を示している。
【００７１】
例えば、図５の左側の図は、クリッピング前の患部の状態（即ち、蛍光薬剤の使用前の状態）を示している。同図において、参照符号Ｍ１０１は血管を模式的に示している。また、参照符号Ｍ１０３は、動脈瘤を模式的に示している。即ち、図５に示す例では、当該動脈瘤Ｍ１０３が、観察対象となる患部に相当する。図５に示す例では、左側の図に示す状態から、動脈瘤Ｍ１０３への血流の流入を防止するためにクリッピングが施され、その後に、蛍光薬剤が使用される。これにより、時間の経過とともに、血流により蛍光物質が拡散し、クリッピングが施された患部に当該蛍光物質が到達する。このとき、クリッピングが不完全な場合には、動脈瘤Ｍ１０３内に蛍光薬剤が流入するため、当該動脈瘤Ｍ１０３に相当する領域において蛍光物質が発する蛍光が検出されることとなる。これに対して、クリッピングが十分に行われている場合には、動脈瘤Ｍ１０３内への蛍光薬剤の流入が防止されるため、理想的には、当該動脈瘤Ｍ１０３に相当する領域からは蛍光物質が発する蛍光が検出されないこととなる。図５に示す例では、このような違いを表示情報として識別可能に提示している。
【００７２】
例えば、図５の右上の図は、クリッピングが不完全だった場合における情報提示の方法の一例を示している。これに対して、図５の右下の図は、クリッピングが十分に行われている場合における情報提示の方法の一例を示している。具体的には、図５の右上の図や右下の図に示す例では、異なるタイミング間（例えば、異なるフレーム間）で蛍光画像の差分（時間差分）を抽出した場合に、当該差分に相当する部分の表示態様（例えば、色）を制御することで、当該部分を強調している。また、図５の右上の図や右下の図に示す例では、上記時間差分として抽出される変化の大きさ（例えば、領域の大きさや検出された蛍光の輝度の高さ等の変化量）に応じて、強調表示に係る表示態様を制御している。なお、以降では、上記時間差分として抽出される当該変化を、便宜上「時間変化」とも称する。
【００７３】
例えば、左側の図の血管Ｍ１０１に相当する部分は、血流の流れにより蛍光物質が拡散する速度が比較的速いため、フレーム間で蛍光画像の時間差分を抽出した場合に、当該時間差分として抽出される領域が比較的大きくなり、当該領域の変化が早期に飽和する傾向にある。また、当該血管Ｍ１０１に相当する部分は、蛍光物質が十分に行きわたるため、検出される蛍光の輝度も比較的高くなる傾向にある。そのため、右上の図において参照符号Ｖ２０１で示された部分や、右下の図において参照符号Ｖ２０７で示された部分については、上記時間変化の大きさ（例えば、領域の大きさや検出された蛍光の輝度の高さ）に応じた表示態様で強調されている。
【００７４】
また、右上の図に示すようにクリッピングが不完全な場合には、左側の図の動脈瘤Ｍ１０３に相当する部分に蛍光物質が流入するため、当該流入量に比例して、上記時間変化がより大きくなる。一方で、右下の図に示すようにクリッピングが十分に行われている場合には、左側の図の動脈瘤Ｍ１０３に相当する部分への蛍光物質の流入がクリッピングにより防止されるため、上記時間変化がより小さくなる（理想的には、時間変化が検出されない）。そのため、右上の図と右下の図とでは、左側の図の動脈瘤Ｍ１０３に相当する部分が、上記時間変化の大きさの違いに応じて、異なる表示態様で強調されている。また、右上の図において参照符号Ｖ２０５で示すように、上記時間変化の大きさが閾値を超える場合には、該当する部分を示す指標（例えば、マーカやアイコン等）が提示されてもよい。
【００７５】
ここで、図６を参照して、時間変化の大きさの評価方法の一例について、特に、上記差分として抽出される領域の大きさに基づく評価に着目して説明する。図６は、時間変化の大きさの評価方法の一例について概要を説明するための説明図である。蛍光観察においては、時間の経過とともに蛍光物質が拡散することで、当該蛍光物質が発する蛍光が検出される領域の大きさ、即ち、輝度値が閾値を超える領域の大きさが変化する。図６では、この輝度値が閾値を超える領域の大きさの変化を模式的に示している。
【００７６】
例えば、図６の左側の図は、時間変化が比較的大きい場合の一例について示している。具体的には、タイミングＴ０とタイミングＴ１との間の期間において、蛍光物質の拡散に伴い輝度値が閾値よりも高い領域が広がる。そのため、タイミングＴ０に対応する蛍光画像と、タイミングＴ１に対応する蛍光画像と、の時間差分を抽出することで、タイミングＴ０とタイミングＴ１との間の期間で蛍光物質が拡散した領域を特定することが可能となる。即ち、当該領域の大きさを評価することで、タイミングＴ０とタイミングＴ１と間の期間における時間変化を定量的に評価することが可能となる。これにより、図６の左側の図に示すように、特定した領域に相当する部分の表示態様を、当該領域の大きさの評価の結果（時間変化の定量的な評価の結果）に応じて制御することが可能となる。
【００７７】
また、図６の右側の図は、時間変化が比較的小さい場合（即ち、左側の図よりも時間変化が小さい場合）の一例について示している。この場合においても、左側の図に示す例と同様に、タイミングＴ０に対応する蛍光画像と、タイミングＴ１に対応する蛍光画像と、の時間差分を抽出することで、タイミングＴ０とタイミングＴ１と間の期間で蛍光物質が拡散した領域を特定することが可能となる。即ち、当該領域の大きさを評価することで、タイミングＴ０とタイミングＴ１と間の期間における時間変化を定量的に評価することが可能となる。これにより、図６の右側の図に示すように、特定した領域に相当する部分の表示態様を、当該領域の大きさの評価の結果（時間変化の定量的な評価の結果）に応じて、図６の左側の図に示す例とは異なる態様となるように制御することも可能となる。
【００７８】
以上のようにして、所望の期間における時間変化の大きさを定量的に評価することが可能となる。そのため、例えば、抽出された上記時間差分に相当する部分を強調表示する際に、時間変化の大きさの評価結果（例えば、変化量が閾値以上か否か）に応じて、当該部分の強調に係る表示態様（例えば、色等）を制御することが可能となる。また、上記時間差分の抽出結果として、時間変化が検出された部分を特定することが可能となるため、例えば、当該評価結果に応じて、当該時間変化が検出された部分にマーカ等のような指標を付すことも可能となる。
【００７９】
以上、表示例２として、図５及び図６を参照して、時系列に沿った患部の状態の変化の提示に際し、変化量に応じて情報の提示を制御する場合の一例について説明した。
【００８０】
（表示例３：変化の検出結果に応じた情報提示の制御例）
続いて、表示例３として、図７〜図９を参照して、時系列に沿った患部の状態の変化の検出結果に応じた情報提示に係る制御の一例について説明する。具体的には、本表示例では、蛍光薬剤を投与したうえで、当該蛍光薬剤に含まれる蛍光物質が発する蛍光の検出結果に応じた蛍光画像を撮像する場合における、当該蛍光画像の記録や提示に係る制御の一例について説明する。
【００８１】
まず、図７を参照して、表示例３に係る情報提示の制御方法の一例について概要を説明する。図７は、表示例３に係る情報提示の制御方法の一例について概要を説明するための説明図である。図７において、横軸は時間を示している。また、縦軸は画像（特に、時間差分の抽出対象となる画像）内における各画素の輝度の総和を示している。
【００８２】
図７において、参照符号ｔ１０１は、撮像される蛍光画像内における各画素の輝度の総和が立ち上がるタイミングを模式的に示している。具体的には、投与された蛍光薬剤に含まれる蛍光物質が血流等により拡散することで観察対象となる患部に到達すると、当該到達のタイミングを基点として当該蛍光物資が発する蛍光が検出され、時間の経過とともに当該蛍光が検出される範囲が広がっていく。そのため、撮像される蛍光画像内における各画素の輝度の総和は、当該タイミングを基点として時間の経過とともに上昇を開始する。即ち、当該タイミングが、図７に示すタイミングｔ１０１に相当する。
【００８３】
また、参照符号ｔ１０３は、撮像される蛍光画像内における各画素の輝度の総和の時系列に沿った変化が概ね飽和する（例えば、単位時間当たりの当該変化の量が閾値以下となる）タイミングを示している。具体的には、投与された蛍光薬剤に含まれる蛍光物質が蛍光画像の撮像範囲内（換言すると、撮像対象となる患部）に行きわたると、撮像される蛍光画像内における各画素の輝度の総和の時系列に沿った変化が緩やかになる（即ち、単位時間当たりの当該変化の量がより小さくなる）。この、撮像される蛍光画像内における各画素の輝度の総和の時系列に沿った変化が緩やかになるタイミングが、図７に示すタイミングｔ１０３に相当する。
【００８４】
本表示例に係る画像処理装置１００は、蛍光画像間の時間差分の抽出結果を利用して上述したタイミングｔ１０１及びｔ１０３を検出し、当該タイミングｔ１０１及びｔ１０３の検出結果に基づき、蛍光画像の記録や提示に係る動作を制御する。具体的には、画像処理装置１００は、少なくともタイミングｔ１０１及びｔ１０３を含む期間を規定したうえで、当該期間が開始するタイミングにおいて蛍光画像の記録を開始し、当該期間が終了するタイミングにおいて当該蛍光画像の記録を終了する。そして、画像処理装置１００は、規定した当該期間（即ち、少なくともタイミングｔ１０１及びｔ１０３を含む期間）を所定数Ｎで分割し、分割された部分期間ごとに対応するタイミングで撮像された蛍光画像が提示されるように制御する。
【００８５】
ここで、図８を参照して、本表示例に係る画像処理装置１００の一連の動作の流れの一例について説明する。図８は、本表示例に係る画像処理装置１００の一連の動作の流れの一例を示したフローチャートである。
【００８６】
図８に示すように、画像処理装置１００は、フレームごとに撮像される蛍光画像に基づき、フレーム間における当該蛍光画像の時間差分を抽出する（Ｓ２０１）。なお、当該時間差分の抽出方法については、図２を参照して前述しているため、詳細な説明は省略する。
【００８７】
画像処理装置１００は、逐次抽出される時間差分（換言すると、差分画像）を解析することで、差分が発生したタイミング（例えば、図７に示す例におけるタイミングｔ１０１）を特定する（Ｓ２０３）。画像処理装置１００は、差分が発生したタイミングを特定すると、当該タイミングの特定結果に応じた開始タイミング（例えば、特定したタイミング、または当該タイミングよりも前のタイミング）を基点として撮像される蛍光画像の記録を開始する（Ｓ２０５）。
【００８８】
次いで、画像処理装置１００は、逐次抽出される時間差分を解析することで、抽出される差分の変化量が概ね飽和する飽和点（換言すると、変化量が閾値以下となるタイミングであり、例えば、図７に示す例におけるタイミングｔ１０３）を検出する（Ｓ２０７）。画像処理装置１００は、飽和点を検出すると、当該飽和点の検出タイミングに応じた終了タイミング（例えば、当該検出タイミング、または当該検出タイミングよりも後のタイミング）にあわせて撮像される蛍光画像の記録を終了する（Ｓ２０９）。
【００８９】
そして、画像処理装置１００は、蛍光画像の記録が開始されてから終了されるまでの期間を複数の部分期間に分割し、分割された部分期間ごとに対応するタイミング（例えば、当該部分期間内のいずれかのタイミング）で撮像された蛍光画像が出力部１２１を介して提示されるように制御する（Ｓ２１１）。
【００９０】
例えば、図９は、本表示例に係る情報の提示方法の一例について説明するための説明図である。図９に示す例では、フレーム間における蛍光画像の時間差分が検出されたタイミングから、当該時間差分の変化量が概ね飽和するタイミングまでの期間が９つの部分期間に分割され、各部分期間に対応するタイミングｔ２０１〜ｔ２０９それぞれについて蛍光画像が提示されている。
【００９１】
また、分割された部分期間ごとに提示される一連の蛍光画像のうち、少なくとも一部の蛍光画像に対して、強調表示等に係る画像処理が施されていてもよい。具体的な一例として、前述した他の表示例として説明した例のように、時間差分の抽出結果の変化量が閾値を超える部分が特定された場合に、提示対象となる蛍光画像中における当該部分が強調表示されてもよい。
【００９２】
以上、表示例３として、図７〜図９を参照して、時系列に沿った患部の状態の変化の検出結果に応じた情報提示に係る制御の一例について説明した。
【００９３】
（補足）
上述した表示例はあくまで一例であり、必ずしも本開示の一実施形態に係る画像処理装置１００の機能を限定するものではない。即ち、異なる複数のタイミングで撮像される撮像画像（例えば、特殊光画像）間の時間差分に基づき、当該撮像画像や差分画像の提示が制御されれば、その方法については特に限定はされない。また、上述した一連の表示例のうち２以上の表示例が組み合わされてもよい。具体的な一例として、表示例３に係る技術に基づき提示される複数の撮像画像（例えば、蛍光画像）のうち、少なくとも一部の撮像画像に対して、表示例１や表示例２に係る技術に基づき強調表示に係る制御が適用されてもよい。
【００９４】
＜２．４．実施例＞
続いて、本開示の一実施形態に係る医療用観察システムの実施例として、特に医療の分野に適用する場合の具体的な一例について説明する。
【００９５】
（実施例１：胃管作成時の吻合部位決定）
食道の手術において、切除した食道の代わりに管状に形成した胃（胃管）を拳上し、残った食道と吻合する手技が知られている。このような手技の実施に際して、縫合不全を防ぐ目的で、ＩＣＧ等の蛍光材料を使用した胃管の血流評価が行われる場合がある。この場合には、例えば、医師は、蛍光の検出結果に応じた蛍光画像に基づき、蛍光材料が拡散する範囲やタイミングを見極めて、血流が保たれている範囲を評価することで吻合部位を決定する。このような状況下において、例えば、表示例１として上述した情報の提示方法を適用することで、医師による吻合部位の決定に係る上記評価を補助することが可能となる。
【００９６】
（実施例２：大腸手術時の吻合部位決定）
大腸を切除する手術において、切除後の吻合における縫合不全を防止することを目的として、ＩＣＧ等の蛍光材料を使用した血流評価が行われる場合がある。この場合には、例えば、医師は、蛍光の検出結果に応じた蛍光画像に基づき、蛍光材料が拡散する範囲やタイミングを見極めて、血流が保たれている範囲を評価することで吻合部位を決定する。このような状況下において、例えば、表示例１として上述した情報の提示方法を適用することで、医師による吻合部位の決定に係る上記評価を補助することが可能となる。
【００９７】
（実施例３：脳動脈瘤クリッピング術の確認）
脳動脈瘤のクリッピング術においては、動脈瘤のクリッピングが十分に行われているか否かを確認するために、ＩＣＧ等の蛍光材料を使用した蛍光観察が行われる場合がある。クリッピングが不完全な場合には、瘤内に相当する部分からも蛍光が検出される。理想的な状態として完全閉塞を目的として行われる術式であるため、瘤内に蛍光材料が漏れている場合においても、該当する部分から発せられる蛍光が微量な場合がある。このような状況下において、例えば、表示例２として示したように、時間差分として抽出された部分がより強調されることで、医師によるクリッピングが十分か否かの判断を補助することが可能となる。
【００９８】
（実施例４：吻合部位決定の補助と定量化及び機械学習への応用）
実施例１として説明したように、食道の手術において、切除した食道の代わりに管状に形成した胃（胃管）を拳上し、残った食道と吻合する手技が挙げられる。この際、実施例１として説明したように、吻合部位の決定や当該吻合が実施された場合に、患部の撮像結果に応じた情報（例えば、撮像画像、上記時間差分（差分画像）等）に対して、吻合箇所に関する情報や、術後の経過（例えば、合併症の有無等）の情報が関連付けて管理されてもよい。以上のようにして情報が蓄積されることで、当該情報を利用した統計的な解析を行うことも可能となる。
【００９９】
また、抽出された時間差分からは、血流の速度等のような所定の対象の速度に関する情報や、血流の分布面積等のような所定の対象が分布する領域に関する情報等を、所謂特徴量として抽出することも可能である。このように抽出された特徴量は、例えば、所謂機械学習のための情報として利用することも可能である。具体的な一例として、当該特徴量と、血管走行に関する情報や、上述した術後の経過に関する情報等と、を関連付けたデータを入力とした機械学習に基づきＡＩ（換言すると、判別器や認識器に相当する構成）が構築されてもよい。このようにして構築されたＡＩを利用することで、例えば、撮像画像や時間差分に関する情報（例えば、差分画像）を入力として当該ＡＩに吻合推奨部位を提案させる（換言すると、過去のデータに基づきより好適な吻合推奨部位を判別させる）ことも可能となる。即ち、画像処理装置１００は、当該ＡＩによる吻合推奨部位の提案結果（換言すると、より好適な吻合推奨部位の判別結果）に応じて、出力画像を生成してもよい。
【０１００】
また、上述のような統計的な解析やＡＩによる提案が実現されることで、合併症の低減、安全性の向上、及び手術時間の短縮等の作用効果を期待することが可能となる。
【０１０１】
（実施例５：差分特徴量の一例）
本開示の一実施形態に係る技術に依れば、異なる複数のタイミングで撮像された撮像画像（例えば、特殊光画像）間の時間差分として抽出される情報であれば、当該情報の種別は特に限定されない。具体的な一例として、蛍光観察に着目した場合には、上述したように、蛍光物質が拡散した領域の広さのみに限らず、当該蛍光物質が発する蛍光の輝度の変化量を評価の対象とすることも可能である。
【０１０２】
また、上記のような時間差分から抽出可能な情報が、所謂特徴量として利用されてもよい。具体的な一例として、当該特徴量に対して、術後の経過情報（例えば、破裂、梗塞、塞栓等の合併症の有無）と関連付けられることで、当該特徴量を対象とした定量的な評価（例えば、閾値との比較）の結果に基づき、補助的な情報を提示するといった制御も可能となる。
【０１０３】
また、上述のような特徴量を利用した各種制御（例えば、上記評価）が可能となることで、合併症の低減、安全性の向上、及び手術時間の短縮等の作用効果を見込むことが可能となる。
【０１０４】
（実施例６：胆管造影観察への適用例）
胆管の造影にＩＣＧ等の蛍光材料が用いられる場合がある。具体的な一例として、胆汁中の蛍光材料を観察する手法が挙げられ、同手法では静注法が適用される傾向にある。この場合には、蛍光材料は肝臓の代謝により胆汁中に漏出することとなるため、計測のタイミングを特定することが困難な傾向にある。また、肝臓が多くの蛍光材料をトラップするため、肝臓にトラップされた蛍光材料が発する輝度の高い蛍光（間接蛍光（ノイズ））により、胆汁中の蛍光材料が発する蛍光の観察が阻害される場合がある。
【０１０５】
ここで、図１０を参照して、胆管造影観察時における、胆管に相当する部分から発せられる蛍光（観察対象となる蛍光）と、間接蛍光（ノイズ）と、の間の関係の一例について説明する。図１０は、実施例６について概要を説明するための説明図である。図１０において、横軸は時間を示している。また、縦軸は、蛍光物質が発する蛍光の輝度を示している。また、図１０では、時間と蛍光の輝度との間の関係を示すグラフが、胆管に相当する部分から発せられる蛍光と、肝臓に相当する部分から発せられる蛍光と、肝臓に相当する部分から発せられる蛍光による間接蛍光と、のそれぞれについて示されている。
【０１０６】
図１０に示すように、観察対象となる胆管に相当する部分から発せられる蛍光（即ち、胆汁中の蛍光材料が発する蛍光）の輝度は、肝臓に相当する部分から発せられる蛍光（即ち、肝臓にトラップされた蛍光材料が発する蛍光）よりも遅れて上昇する。また、間接蛍光の輝度は、肝臓に相当する部分から発せられる蛍光の輝度に連動して変化することとなる。以上のような前提の基で、例えば、図１０において、参照符号ｔ３０３は、胆管に相当する部分から発せられる蛍光（即ち、胆汁中の蛍光材料が発する蛍光）の輝度が、間接蛍光の輝度以上となるタイミングを示している。即ち、従来の手法では、タイミングｔ３０３以降の期間において、胆管に相当する部分から発せられる蛍光を観察することが可能となっていた。
【０１０７】
これに対して、参照符号ｔ３０１は、間接蛍光の輝度が飽和するタイミングを示している。本開示の一実施形態に係る技術に依れば、時間差分に注目するため、当該タイミングｔ３０１以降であれば、観察対象となる蛍光（即ち、胆管に相当する部分から発せられる蛍光）の輝度が間接蛍光の輝度よりも低い期間（即ち、タイミングｔ３０１からｔ３０３の期間）においても、当該観察対象となる蛍光を観察することが可能となる。
【０１０８】
以上のような特性から、本開示の一実施形態に係る技術に依れば、患者に対する薬剤のコントロールがより容易になるとともに、より速いタイミングから対象の観察が可能となる（即ち、観察時間をより長く確保することが可能となる）。
【０１０９】
（補足）
なお、上述した各実施例はあくまで一例であり、必ずしも本開示の一実施形態に係る技術の適用先を限定するものではない。即ち、本開示の一実施形態に係る技術の基本思想を逸脱しない範囲であれば、当該技術を適宜応用することが可能である。また、上記では特に医療の分野へ適用する場合に着目しているが、当該医療の分野に限らず、他の分野（例えば、工業の分野等）に対しても当該技術を応用することが可能であることは言うまでもない。
【０１１０】
＜＜３．ハードウェア構成の一例＞＞
続いて、図１１を参照しながら、本実施形態に係る医療用観察システムにおいて、各種処理を実行する情報処理装置（例えば、図１に示す画像処理装置１００等）のハードウェア構成の一例について、詳細に説明する。図１１は、本開示の一実施形態に係る医療用観察システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
【０１１１】
本実施形態に係る医療用観察システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【０１１２】
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図１に示す画像処理装置１００の各構成、即ち、推定部１０１と、差分抽出部１０３と、出力画像生成部１０５は、ＣＰＵ９０１による実現され得る。
【０１１３】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
【０１１４】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１１５】
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、図１に示す出力部１２１は、出力装置９１７により実現され得る。
【０１１６】
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。
【０１１７】
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  ｍｅｍｏｒｙ  ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  ｃａｒｄ）又は電子機器等であってもよい。
【０１１８】
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
【０１１９】
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
【０１２０】
以上、本開示の実施形態に係る医療用観察システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１１では図示しないが、医療用観察システムを構成する情報処理装置９００に対応する各種の構成を当然備える。
【０１２１】
なお、上述のような本実施形態に係る医療用観察システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
【０１２２】
＜＜４．応用例＞＞
続いて、本開示の一実施形態に係る医療用観察システムの応用例について説明する。
【０１２３】
＜４．１．応用例１：顕微鏡撮像システム＞
まず、応用例１として、図１２を参照して、本開示の一実施形態に係る医療用観察システムを、顕微鏡ユニットを備えた顕微鏡撮像システムとして構成した場合の一例について説明する。
【０１２４】
図１２は、本開示の一実施形態に係る医療用観察システムの応用例について説明するための説明図であり、顕微鏡撮像システムの概略的な構成の一例について示している。具体的には、図１２には、本開示の一実施形態に係る顕微鏡撮像システムが用いられる場合の一適用例として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について示されている。
【０１２５】
例えば、図１２は、手術用ビデオ顕微鏡装置を用いた施術の様子を模式的に表している。具体的には、図１２を参照すると、施術者（ユーザ）５２０である医師が、例えばメス、鑷子、鉗子等の手術用の器具５２１を使用して、施術台８３０上の施術対象（患者）５４０に対して手術を行っている様子が図示されている。なお、以下の説明においては、施術とは、手術や検査等、ユーザ５２０である医師が施術対象５４０である患者に対して行う各種の医療的な処置の総称であるものとする。また、図１２に示す例では、施術の一例として手術の様子を図示しているが、手術用ビデオ顕微鏡装置５１０が用いられる施術は手術に限定されず、他の各種の施術であってもよい。
【０１２６】
施術台８３０の脇には手術用ビデオ顕微鏡装置５１０が設けられる。手術用ビデオ顕微鏡装置５１０は、基台であるベース部５１１と、ベース部５１１から延伸するアーム部５１２と、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５とを備える。アーム部５１２は、複数の関節部５１３ａ、５１３ｂ、５１３ｃと、関節部５１３ａ、５１３ｂによって連結される複数のリンク５１４ａ、５１４ｂと、アーム部５１２の先端に設けられる撮像ユニット５１５を有する。図１２に示す例では、簡単のため、アーム部５１２は３つの関節部５１３ａ〜５１３ｃ及び２つのリンク５１４ａ、５１４ｂを有しているが、実際には、アーム部５１２及び撮像ユニット５１５の位置及び姿勢の自由度を考慮して、所望の自由度を実現するように関節部５１３ａ〜５１３ｃ及びリンク５１４ａ、５１４ｂの数や形状、関節部５１３ａ〜５１３ｃの駆動軸の方向等が適宜設定されてもよい。
【０１２７】
関節部５１３ａ〜５１３ｃは、リンク５１４ａ、５１４ｂを互いに回動可能に連結する機能を有し、関節部５１３ａ〜５１３ｃの回転が駆動されることにより、アーム部５１２の駆動が制御される。ここで、以下の説明においては、手術用ビデオ顕微鏡装置５１０の各構成部材の位置とは、駆動制御のために規定している空間における位置（座標）を意味し、各構成部材の姿勢とは、駆動制御のために規定している空間における任意の軸に対する向き（角度）を意味する。また、以下の説明では、アーム部５１２の駆動（又は駆動制御）とは、関節部５１３ａ〜５１３ｃの駆動（又は駆動制御）、及び、関節部５１３ａ〜５１３ｃの駆動（又は駆動制御）を行うことによりアーム部５１２の各構成部材の位置及び姿勢が変化される（変化が制御される）ことをいう。
【０１２８】
アーム部５１２の先端には、先端ユニットとして撮像ユニット５１５が接続されている。撮像ユニット５１５は、撮像対象物の画像を取得するユニットであり、例えば動画や静止画を撮像できるカメラ等である。図１２に示すように、アーム部５１２の先端に設けられた撮像ユニット５１５が施術対象５４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置５１０によってアーム部５１２及び撮像ユニット５１５の姿勢や位置が制御される。なお、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５の構成は特に限定されず、例えば、撮像ユニット５１５は、撮像対象物の拡大像を取得する顕微鏡として構成されている。また、撮像ユニット５１５は、当該アーム部５１２に対して着脱可能に構成されていてもよい。このような構成により、例えば、利用用途に応じた撮像ユニット５１５が、アーム部５１２の先端に先端ユニットとして適宜接続されてもよい。なお、当該撮像ユニット５１５として、例えば、前述した実施形態に係る分岐光学系が適用された撮像装置を適用することが可能である。即ち、本応用例においては、撮像ユニット５１５または当該撮像ユニット５１５を含む手術用ビデオ顕微鏡装置５１０が、「医療用観察装置」の一例に相当し得る。また本説明では、先端ユニットとして撮像ユニット５１５が適用されている場合に着目して説明したが、アーム部５１２の先端に接続される先端ユニットは、必ずしも撮像ユニット５１５に限定されない。
【０１２９】
また、ユーザ５２０と対向する位置には、モニタやディスプレイ等の表示装置５５０が設置される。撮像ユニット５１５によって撮像された施術部位の画像は、表示装置５５０の表示画面に電子画像として表示される。ユーザ５２０は、表示装置５５０の表示画面に表示される施術部位の電子画像を見ながら各種の処置を行う。
【０１３０】
以上のような構成により、手術用ビデオ顕微鏡装置５１０によって施術部位の撮像を行いながら手術を行うことが可能となる。
【０１３１】
なお、上記に限らず、本開示の一実施形態に係る医療用観察システムの基本思想を逸脱しない範囲であれば、上述した本開示に係る技術を応用することが可能である。具体的な一例として、上述した内視鏡や施術用顕微鏡を適用したシステムに限らず、所望の形態の撮像装置により患部の画像を撮像することで、当該患部を観察可能とするシステムに対して、上述した本開示に係る技術を適宜応用することが可能である。
【０１３２】
以上、応用例１として、図１２を参照して、本開示の一実施形態に係る医療用観察システムを、顕微鏡ユニットを備えた顕微鏡撮像システムとして構成した場合の一例について説明した。
【０１３３】
＜４．２．応用例２：内視鏡手術システム＞
続いて、応用例２として、図１３及び図１４を参照して、本開示の一実施形態に係る医療用観察システムを、内視鏡ユニットを備えた内視鏡手術システムとして構成した場合の一例について説明する。
【０１３４】
図１３及び図１４は、本開示の一実施形態に係る医療用観察システムの他の応用例について説明するための説明図であり、内視鏡手術システムの概略的な構成の一例について示している。
【０１３５】
例えば、図１３は、本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。図１３では、術者（医師）６６７が、内視鏡手術システム６００を用いて、患者ベッド６６９上の患者６７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム６００は、内視鏡６０１と、その他の術具６１７と、内視鏡６０１を支持する支持アーム装置６２７と、内視鏡下手術のための各種の装置が搭載されたカート６３７と、から構成される。
【０１３６】
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ６２５ａ〜６２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ６２５ａ〜６２５ｄから、内視鏡６０１の鏡筒６０３や、その他の術具６１７が患者６７１の体腔内に挿入される。図示する例では、その他の術具６１７として、気腹チューブ６１９、エネルギー処置具６２１及び鉗子６２３が、患者６７１の体腔内に挿入されている。また、エネルギー処置具６２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具６１７はあくまで一例であり、術具６１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
【０１３７】
内視鏡６０１によって撮影された患者６７１の体腔内の術部の画像が、表示装置６４１に表示される。術者６６７は、表示装置６４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具６２１や鉗子６２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ６１９、エネルギー処置具６２１及び鉗子６２３は、手術中に、術者６６７又は助手等によって支持される。
【０１３８】
（支持アーム装置）
支持アーム装置６２７は、ベース部６２９から延伸するアーム部６３１を備える。図示する例では、アーム部６３１は、関節部６３３ａ、６３３ｂ、６３３ｃ、及びリンク６３５ａ、６３５ｂから構成されており、アーム制御装置６４５からの制御により駆動される。アーム部６３１によって内視鏡６０１が支持され、その位置及び姿勢が制御される。これにより、内視鏡６０１の安定的な位置の固定が実現され得る。
【０１３９】
（内視鏡）
内視鏡６０１は、先端から所定の長さの領域が患者６７１の体腔内に挿入される鏡筒６０３と、鏡筒６０３の基端に接続されるカメラヘッド６０５と、から構成される。図示する例では、硬性の鏡筒６０３を有するいわゆる硬性鏡として構成される内視鏡６０１を図示しているが、内視鏡６０１は、軟性の鏡筒６０３を有するいわゆる軟性鏡として構成されてもよい。なお、カメラヘッド６０５または当該カメラヘッド６０５を含む内視鏡６０１が、「医療用観察装置」の一例に相当する。
【０１４０】
鏡筒６０３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡６０１には光源装置６４３が接続されており、当該光源装置６４３によって生成された光が、鏡筒６０３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者６７１の体腔内の観察対象（換言すると、撮像対象物）に向かって照射される。なお、内視鏡６０１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【０１４１】
カメラヘッド６０５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera  Control  Unit）６３９に送信される。なお、カメラヘッド６０５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
【０１４２】
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド６０５には撮像素子が複数設けられてもよい。この場合、鏡筒６０３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
【０１４３】
（カートに搭載される各種の装置）
ＣＣＵ６３９は、ＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）等によって構成され、内視鏡６０１及び表示装置６４１の動作を統括的に制御する。具体的には、ＣＣＵ６３９は、カメラヘッド６０５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ６３９は、当該画像処理を施した画像信号を表示装置６４１に提供する。また、ＣＣＵ６３９は、カメラヘッド６０５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
【０１４４】
表示装置６４１は、ＣＣＵ６３９からの制御により、当該ＣＣＵ６３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡６０１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置６４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置６４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置６４１が設けられてもよい。
【０１４５】
光源装置６４３は、例えばＬＥＤ（light  emitting  diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡６０１に供給する。
【０１４６】
アーム制御装置６４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置６２７のアーム部６３１の駆動を制御する。
【０１４７】
入力装置６４７は、内視鏡手術システム６００に対する入力インタフェースである。ユーザは、入力装置６４７を介して、内視鏡手術システム６００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置６４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置６４７を介して、アーム部６３１を駆動させる旨の指示や、内視鏡６０１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具６２１を駆動させる旨の指示等を入力する。
【０１４８】
入力装置６４７の種類は限定されず、入力装置６４７は各種の公知の入力装置であってよい。入力装置６４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ６５７及び／又はレバー等が適用され得る。入力装置６４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置６４１の表示面上に設けられてもよい。
【０１４９】
あるいは、入力装置６４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head  Mounted  Display）等の、ユーザによって装着されるデバイスに具備されたセンサでもよく、この場合、これらのセンサによって検出されるユーザの動きや視線に応じて各種の入力が行われる。また、入力装置６４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置６４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置６４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者６６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
【０１５０】
処置具制御装置６４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具６２１の駆動を制御する。気腹装置６５１は、内視鏡６０１による視野の確保及び術者の作業空間の確保の目的で、患者６７１の体腔を膨らめるために、気腹チューブ６１９を介して当該体腔内にガスを送り込む。レコーダ６５３は、手術に関する各種の情報を記録可能な装置である。プリンタ６５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【０１５１】
以下、内視鏡手術システム６００において特に特徴的な構成について、更に詳細に説明する。
【０１５２】
（支持アーム装置）
支持アーム装置６２７は、基台であるベース部６２９と、ベース部６２９から延伸するアーム部６３１と、を備える。図示する例では、アーム部６３１は、複数の関節部６３３ａ、６３３ｂ、６３３ｃと、関節部６３３ｂによって連結される複数のリンク６３５ａ、６３５ｂと、から構成されているが、図１３では、簡単のため、アーム部６３１の構成を簡略化して図示している。実際には、アーム部６３１が所望の自由度を有するように、関節部６３３ａ〜６３３ｃ及びリンク６３５ａ、６３５ｂの形状、数及び配置、並びに関節部６３３ａ〜６３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部６３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部６３１の可動範囲内において内視鏡６０１を自由に移動させることが可能になるため、所望の方向から内視鏡６０１の鏡筒６０３を患者６７１の体腔内に挿入することが可能になる。
【０１５３】
関節部６３３ａ〜６３３ｃにはアクチュエータが設けられており、関節部６３３ａ〜６３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置６４５によって制御されることにより、各関節部６３３ａ〜６３３ｃの回転角度が制御され、アーム部６３１の駆動が制御される。これにより、内視鏡６０１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置６４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部６３１の駆動を制御することができる。
【０１５４】
例えば、術者６６７が、入力装置６４７（フットスイッチ６５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置６４５によってアーム部６３１の駆動が適宜制御され、内視鏡６０１の位置及び姿勢が制御されてよい。当該制御により、アーム部６３１の先端の内視鏡６０１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部６３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部６３１は、手術室から離れた場所に設置される入力装置６４７を介してユーザによって遠隔操作され得る。
【０１５５】
また、力制御が適用される場合には、アーム制御装置６４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部６３１が移動するように、各関節部６３３ａ〜６３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部６３１に触れながらアーム部６３１を移動させる際に、比較的軽い力で当該アーム部６３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡６０１を移動させることが可能となり、ユーザの利便性を向上させることができる。
【０１５６】
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡６０１が支持されていた。これに対して、支持アーム装置６２７を用いることにより、人手によらずに内視鏡６０１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
【０１５７】
なお、アーム制御装置６４５は必ずしもカート６３７に設けられなくてもよい。また、アーム制御装置６４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置６４５は、支持アーム装置６２７のアーム部６３１の各関節部６３３ａ〜６３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置６４５が互いに協働することにより、アーム部６３１の駆動制御が実現されてもよい。
【０１５８】
（光源装置）
光源装置６４３は、内視鏡６０１に術部を撮影する際の照射光を供給する。光源装置６４３は、例えばＬＥＤ、レーザー光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザー光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置６４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザー光源それぞれからのレーザー光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド６０５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【０１５９】
また、光源装置６４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド６０５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【０１６０】
また、光源装置６４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow  Band  Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置６４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【０１６１】
（カメラヘッド及びＣＣＵ）
図１４を参照して、内視鏡６０１のカメラヘッド６０５及びＣＣＵ６３９の機能についてより詳細に説明する。図１４は、図１３に示すカメラヘッド６０５及びＣＣＵ６３９の機能構成の一例を示すブロック図である。
【０１６２】
図１４を参照すると、カメラヘッド６０５は、その機能として、レンズユニット６０７と、撮像部６０９と、駆動部６１１と、通信部６１３と、カメラヘッド制御部６１５と、を有する。また、ＣＣＵ６３９は、その機能として、通信部６５９と、画像処理部６６１と、制御部６６３と、を有する。カメラヘッド６０５とＣＣＵ６３９とは、伝送ケーブル６６５によって双方向に通信可能に接続されている。
【０１６３】
まず、カメラヘッド６０５の機能構成について説明する。レンズユニット６０７は、鏡筒６０３との接続部に設けられる光学系である。鏡筒６０３の先端から取り込まれた観察光は、カメラヘッド６０５まで導光され、当該レンズユニット６０７に入射する。レンズユニット６０７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット６０７は、撮像部６０９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
【０１６４】
撮像部６０９は撮像素子によって構成され、レンズユニット６０７の後段に配置される。レンズユニット６０７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部６０９によって生成された画像信号は、通信部６１３に提供される。
【０１６５】
撮像部６０９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）タイプのイメージセンサ、あるいは、ＣＣＤ（Charge  Coupled  Device）タイプのイメージセンサであり、ベイヤ（Bayer）配列を有するカラー撮影可能なものが用いられるが、単板の白黒撮影用でもよい。白黒撮影用イメージセンサを複数枚用いてもよい。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者６６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
【０１６６】
また、撮像部６０９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されていてもよい。３Ｄ表示が行われることにより、術者６６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部６０９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット６０７も複数系統設けられる。
【０１６７】
また、撮像部６０９は、必ずしもカメラヘッド６０５に設けられなくてもよい。例えば、撮像部６０９は、鏡筒６０３の内部に、対物レンズの直後に設けられてもよい。
【０１６８】
駆動部６１１は、アクチュエータによって構成され、カメラヘッド制御部６１５からの制御により、レンズユニット６０７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部６０９による撮像画像の倍率及び焦点が適宜調整され得る。
【０１６９】
通信部６１３は、ＣＣＵ６３９との間で各種の情報を送受信するための通信装置によって構成される。通信部６１３は、撮像部６０９から得た画像信号をＲＡＷデータとして伝送ケーブル６６５を介してＣＣＵ６３９に送信する。この際、術部の撮像画像をできるだけ遅延なく表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者６６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部６１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル６６５を介してＣＣＵ６３９に送信される。
【０１７０】
また、通信部６１３は、ＣＣＵ６３９から、カメラヘッド６０５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮影時の撮像条件（シャッタースピードや絞り、ゲイン等）を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部６１３は、受信した制御信号をカメラヘッド制御部６１５に提供する。なお、ＣＣＵ６３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部６１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部６１５に提供される。
【０１７１】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ６３９の制御部６６３によって自動的に設定される。つまり、ＣＣＵ６３９と内視鏡６０１によって、いわゆるＡＥ（Auto  Exposure）機能、ＡＦ（Auto  Focus）機能及びＡＷＢ（Auto  White  Balance）機能が、実現される。
【０１７２】
カメラヘッド制御部６１５は、通信部６１３を介して受信したＣＣＵ６３９からの制御信号に基づいて、カメラヘッド６０５の駆動を制御する。例えば、カメラヘッド制御部６１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時のシャッター速度や絞りを指定する旨の情報に基づいて、撮像部６０９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部６１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部６１１を介してレンズユニット６０７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部６１５は、更に、鏡筒６０３やカメラヘッド６０５を識別するための情報を記憶する機能を備えてもよい。
【０１７３】
なお、レンズユニット６０７や撮像部６０９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド６０５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
【０１７４】
次に、ＣＣＵ６３９の機能構成について説明する。通信部６５９は、カメラヘッド６０５との間で各種の情報を送受信するための通信装置によって構成される。通信部６５９は、カメラヘッド６０５から、伝送ケーブル６６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部６５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部６５９は、電気信号に変換した画像信号を画像処理部６６１に提供する。
【０１７５】
また、通信部６５９は、カメラヘッド６０５に対して、カメラヘッド６０５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
【０１７６】
画像処理部６６１は、カメラヘッド６０５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise  reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部６６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
【０１７７】
画像処理部６６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部６６１が複数のＧＰＵによって構成される場合には、画像処理部６６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
【０１７８】
制御部６６３は、内視鏡６０１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部６６３は、カメラヘッド６０５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部６６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡６０１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部６６３は、画像処理部６６１による検波処理の結果に応じて、最適な露出条件、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
【０１７９】
また、制御部６６３は、画像処理部６６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置６４１に表示させる。この際、制御部６６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部６６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具６２１使用時のミスト等を認識することができる。制御部６６３は、表示装置６４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者６６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
【０１８０】
カメラヘッド６０５及びＣＣＵ６３９を接続する伝送ケーブル６６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【０１８１】
ここで、図示する例では、伝送ケーブル６６５を用いて有線で通信が行われていたが、カメラヘッド６０５とＣＣＵ６３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル６６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル６６５によって妨げられる事態が解消され得る。
【０１８２】
以上、本開示に係る技術が適用され得る内視鏡手術システム６００の一例について説明した。なお、ここでは、一例として内視鏡手術システム６００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
【０１８３】
なお、上記に限らず、本開示の一実施形態に係る医療用観察システムの基本思想を逸脱しない範囲であれば、上述した本開示に係る技術を応用することが可能である。具体的な一例として、上述した内視鏡や施術用顕微鏡を適用したシステムに限らず、所望の形態の撮像装置により患部の画像を撮像することで、当該患部を観察可能とするシステムに対して、上述した本開示に係る技術を適宜応用することが可能である。
【０１８４】
また、患部の観察方法や適用される手技についても特に限定されないことは言うまでもない。例えば、動脈瘤を観察対象となる患部とした観察方法（治療方法）としては、上述したクリッピング術に限らず、ステントを使用した方法や、フローダイバータを使用した方法が知られている。また、観察方法や適用される手技に応じて、使用される処置具が異なる場合がある。このような場合においても、例えば、患部の近傍に保持される処置具であれば、上述した本開示に係る技術を適用し、逐次撮像される患部の画像から当該処置具の動きを抽出することで、当該患部の動きを検出することが可能である。
【０１８５】
以上、応用例２として、図１３及び図１４を参照して、本開示の一実施形態に係る医療用観察システムを、内視鏡ユニットを備えた内視鏡手術システムとして構成した場合の一例について説明した。
【０１８６】
＜＜５．むすび＞＞
以上説明したように、本開示の一実施形態に係る医療用観察システムにおいて、画像処理装置は、推定部と、差分抽出部と、を備える。推定部は、撮像部から出力される、患部を被写体とした互いに異なる複数のタイミングでの第１の波長帯域に属する光の撮像結果に応じた複数の第１の撮像画像に基づき、当該第１の撮像画像中における当該患部の動きを推定する。差分抽出部は、撮像部から出力される、上記患部を被写体とした互いに異なる複数のタイミングでの第２の波長帯域に属する光の撮像結果に応じた複数の第２の撮像画像間の差分を、上記患部の動きの推定結果に基づき抽出する。
【０１８７】
以上のような構成により、患部の状態が時系列に沿って変化するような状況下においても、当該患部をより好適な態様で観察することが可能となる。具体的な一例として、蛍光薬剤等のような薬剤を利用した観察において患部に動きがあるような状況下においても、画像中における患部の状態が変化した場合に、当該変化が、薬剤の効果に伴う変化と、患部の動きに伴う変化と、のいずれによるものかを特定することが可能となる。
【０１８８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１９０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像部から出力される、患部を被写体とした互いに異なる複数のタイミングでの第１の波長帯域に属する光の撮像結果に応じた複数の第１の撮像画像に基づき、当該第１の撮像画像中における当該患部の動きを推定する推定部と、
撮像部から出力される、前記患部を被写体とした互いに異なる複数のタイミングでの第２の波長帯域に属する光の撮像結果に応じた複数の第２の撮像画像間の差分を、前記患部の動きの推定結果に基づき抽出する差分抽出部と、
を備える、医療用画像処理装置。
（２）
前記差分抽出部は、
前記患部の動きの推定結果に基づき、複数のタイミングそれぞれに対応する前記第２の撮像画像のうち少なくともいずれかの当該第２の撮像画像中における前記患部の位置を補正し、
当該補正後の前記第２の撮像画像に基づき前記差分を抽出する、
前記（１）に記載の医療用画像処理装置。
（３）
前記第１の波長帯域は、可視光波長帯域を含み、
前記第２の波長帯域は、所定の蛍光物質が発する蛍光の波長帯域を含む、
前記（１）または（２）に記載の医療用画像処理装置。
（４）
前記差分の抽出結果に基づき、前記複数の第２の撮像画像に対応する前記複数のタイミング間の期間における、前記第２の波長帯域に属する光の撮像結果に応じた出力画像を生成する出力画像生成部を備える、前記（１）〜（３）のいずれか一項に記載の医療用画像処理装置。
（５）
前記出力画像生成部は、前記差分の抽出結果に基づき、前記期間における前記患部の時系列に沿った変化が識別可能に提示された前記出力画像を生成する、前記（４）に記載の医療用画像処理装置。
（６）
前記出力画像生成部は、前記複数の第２の撮像画像が撮像された一連の期間を、当該複数の第２の撮像画像に対応する前記複数のタイミングに応じた複数の部分期間に分けて、当該部分期間ごとに前記患部の時系列に沿った変化が識別可能に提示された前記出力画像を生成する、前記（５）に記載の医療用画像処理装置。
（７）
前記出力画像生成部は、前記複数の部分期間それぞれにおける前記患部の時系列に沿った変化の、複数の当該部分期間の間における境界が識別可能に提示された前記出力画像を生成する、前記（６）に記載の医療用画像処理装置。
（８）
前記出力画像生成部は、前記差分の抽出結果に応じた表示情報と、前記複数の第１の撮像画像のうちの少なくとも一部の第１の撮像画像と、に基づいて前記出力画像を生成する、前記（４）に記載の医療用画像処理装置。
（９）
前記出力画像生成部は、前記差分の抽出結果に応じた表示情報と、前記複数の第２の撮像画像のうちの少なくとも一部の第２の撮像画像と、に基づいて前記出力画像を生成する、前記（４）に記載の医療用画像処理装置。
（１０）
前記出力画像生成部は、前記差分に相当する部分が強調された前記出力画像を生成する、前記（９）に記載の医療用画像処理装置。
（１１）
前記差分の抽出結果に応じて、前記出力画像の提示対象となる期間が決定される、前記（４）〜（１０）のいずれか一項に記載の医療用画像処理装置。
（１２）
前記出力画像生成部は、前記差分の抽出結果に基づく機械学習により構築された判別器による、撮像部から出力される前記第２の撮像画像に基づき抽出された前記差分を入力とした所定の判別の結果に応じて、前記出力画像を生成する、前記（４）に記載の医療用画像処理装置。
（１３）
コンピュータが、
撮像部から出力される、患部を被写体とした互いに異なる複数のタイミングでの第１の波長帯域に属する光の撮像結果に応じた複数の第１の撮像画像に基づき、当該第１の撮像画像中における当該患部の動きを推定することと、
撮像部から出力される、前記患部を被写体とした互いに異なる複数のタイミングでの第２の波長帯域に属する光の撮像結果に応じた複数の第２の撮像画像間の差分を、前記患部の動きの推定結果に基づき抽出することと、
を含む、医療用画像処理装置の駆動方法。
（１４）
第１の波長帯域に属する光と、第２の波長帯域に属する光と、のそれぞれを個別に撮像可能な１以上の撮像部と、
前記撮像部から出力される、患部を被写体とした互いに異なる複数のタイミングでの前記第１の波長帯域に属する光の撮像結果に応じた複数の第１の撮像画像に基づき、当該第１の撮像画像中における当該患部の動きを推定する推定部と、
前記撮像部から出力される、前記患部を被写体とした互いに異なる複数のタイミングでの前記第２の波長帯域に属する光の撮像結果に応じた複数の第２の撮像画像間の差分を、前記患部の動きの推定結果に基づき抽出する差分抽出部と、
を備える、医療用観察システム。
（１５）
前記患部の拡大像を取得する顕微鏡部を備え、
前記撮像部は、前記顕微鏡部により取得された前記拡大像を撮像する、
前記（１４）に記載の医療用観察システム。
（１６）
患者の体腔内に挿入される鏡筒を含む内視鏡部を備え、
前記撮像部は、前記内視鏡部により取得された前記患部の像を撮像する、
前記（１４）に記載の医療用観察システム。
【符号の説明】
【０１９１】
１      医療用観察システム
１００  画像処理装置
１０１  推定部
１０３  差分抽出部
１０５  出力画像生成部
１１１  撮像部
１２１  出力部
【図１】
2020141946.tif 000003
【図２】
2020141946.tif 000004
【図３】
2020141946.tif 000005
【図４】
2020141946.tif 000006
【図５】
2020141946.tif 000007
【図６】
2020141946.tif 000008
【図７】
2020141946.tif 000009
【図８】
2020141946.tif 000010
【図９】
2020141946.tif 000011
【図１０】
2020141946.tif 000012
【図１１】
2020141946.tif 000013
【図１２】
2020141946.tif 000014
【図１３】
2020141946.tif 000015
【図１４】
2020141946.tif 000016