(57)【要約】  患部の画像を撮像する撮像部（３０３）と、前記撮像部により逐次撮像された患部の画像に基づき前記患部の近傍に保持された処置具の動きを抽出し、当該抽出の結果に基づき当該患部の動きを検出する検出部（３１１）と、前記患部の動きの検出結果に応じて、当該患部の観察に関する処理を制御する制御部（３０１）と、を備える、医療用観察システム（３）。
2020009127.tif 000002
【特許請求の範囲】
【請求項１】
患部の画像を撮像する撮像部と、
前記撮像部により逐次撮像された患部の画像に基づき前記患部の近傍に保持された処置具の動きを抽出し、当該抽出の結果に基づき当該患部の動きを検出する検出部と、
前記患部の動きの検出結果に応じて、当該患部の観察に関する処理を制御する制御部と、
を備える、医療用観察システム。
【請求項２】
患者の体腔内に挿入される鏡筒を含む内視鏡部を備え、
前記撮像部は、前記内視鏡部により取得された前記患部の像を撮像する、
請求項１に記載の医療用観察システム。
【請求項３】
前記患部の拡大像を取得する顕微鏡部を備え、
前記撮像部は、前記顕微鏡部により取得された前記拡大像を撮像する、
請求項１に記載の医療用観察システム。
【請求項４】
撮像部により逐次撮像された患部の画像に基づき前記患部の近傍に保持された処置具の動きを抽出し、当該抽出の結果に基づき当該患部の動きを検出する検出部と、
前記患部の動きの検出結果に応じて、当該患部の観察に関する処理を制御する制御部と、
を備える、医療用観察装置。
【請求項５】
前記制御部は、前記患部の動きの検出結果に基づき、撮像された前記患部の画像に対して画像処理を施す、請求項４に記載の医療用観察装置。
【請求項６】
前記制御部は、前記患部の動きの検出結果に基づき、撮像された前記患部の画像のぶれを補正する、請求項５に記載の医療用観察装置。
【請求項７】
前記制御部は、前記画像処理が施される前の前記患部の画像と、前記画像処理が施された後の前記患部の画像と、が関連付けられて出力部に提示されるように制御する、請求項５に記載の医療用観察装置。
【請求項８】
前記制御部は、前記患部の動きの検出結果に基づき、出力部に表示情報を提示させる、請求項４に記載の医療用観察装置。
【請求項９】
前記制御部は、検出された前記患部の動きの大きさに応じて、出力部に提示させる前記表示情報を制御する、請求項８に記載の医療用観察装置。
【請求項１０】
前記制御部は、検出された前記患部の動きの大きさ閾値を超える場合には、前記表示情報として警告を出力部に提示させる、請求項９に記載の医療用観察装置。
【請求項１１】
前記制御部は、検出された前記患部の動きの大きさ閾値以下の場合には、前記表示情報として手技に関する情報を出力部に提示させる、請求項９に記載の医療用観察装置。
【請求項１２】
前記制御部は、前記患部の動きの検出結果に基づき、前記患部の観察に関する条件を制御する、請求項４に記載の医療用観察装置。
【請求項１３】
前記制御部は、検出された前記患部の動きの大きさに応じて、前記撮像部のシャッタースピード、絞り、及びゲインのうち少なくともいずれかを制御する、請求項１２に記載の医療用観察装置。
【請求項１４】
前記制御部は、検出された前記患部の動きの大きさ閾値を超える場合には、前記シャッタースピードをより速くする制御と、前記絞りをより広げる制御と、前記ゲインをより大きくする制御と、のうち少なくともいずれかを実行する、請求項１３に記載の医療用観察装置。
【請求項１５】
前記検出部は、逐次撮像された前記画像から、前記処置具に保持された発光体を検出することで、当該処置具の動きを抽出する、請求項４に記載の医療用観察装置。
【請求項１６】
前記検出部は、逐次撮像された前記画像から、前記処置具のうち所定の特徴を有する少なくとも一部を検出することで、当該処置具の動きを抽出する、請求項４に記載の医療用観察装置。
【請求項１７】
前記患部は、血管である、請求項４に記載の医療用観察装置。
【請求項１８】
前記患部は、動脈瘤である、請求項１７に記載の医療用観察装置。
【請求項１９】
コンピュータが、
撮像部により逐次撮像された患部の画像に基づき前記患部の近傍に保持された処置具の動きを抽出し、当該抽出の結果に基づき当該患部の動きを検出することと、
前記患部の動きの検出結果に応じて、当該患部の観察に関する処理を制御することと、
を含む、医療用観察装置の駆動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法に関する。
【背景技術】
【０００２】
近年では、手術手法、手術器具の発達により、手術用顕微鏡や内視鏡等のような医療用観察装置により患部を観察しながら、各種処置を施す手術（所謂、マイクロサージャリー）が頻繁に行われるようになってきている。また、このような医療用観察装置の中には、患部を光学的に観察可能とする装置に限らず、撮像装置（カメラ）等により撮像された患部の画像を、モニタなどの表示装置に電子画像として表示させる装置も提案されている。このような技術の発展に伴い、より多くの対象を観察することが可能となってきている。例えば、特許文献１には、血流を観察可能とする技術の一例が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１７００６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、医療用観察装置により患部を観察しながら手技を行う状況下では、拍動等に伴い、手技の介在の有無に関わらず観察対象となる患部が振動等の動きを示すような場合がある。具体的な一例として、動脈瘤の観察等のように、血管やその近傍を観察対象とする場合には、拍動により患部が振動するような状況も想定され得る。このような状況下では、例えば、患部が振動等の動きを示すことで、当該患部を正確に観察することが困難となる場合がある。具体的な一例として、動脈瘤に対してクリッピングを施したうえで血液の流れを観察する場合には、拍動等により動脈瘤が振動することで、当該動脈瘤の正確な観察が困難となる場合がある。【０００５】
そこで、本開示では、手技の介在の有無に関わらず患部が動き得るような状況下においても当該患部の観察をより好適な態様で実現可能とする技術を提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、患部の画像を撮像する撮像部と、前記撮像部により逐次撮像された患部の画像に基づき前記患部の近傍に保持された処置具の動きを抽出し、当該抽出の結果に基づき当該患部の動きを検出する検出部と、前記患部の動きの検出結果に応じて、当該患部の観察に関する処理を制御する制御部と、を備える、医療用観察システムが提供される。【０００７】
また、本開示によれば、撮像部により逐次撮像された患部の画像に基づき前記患部の近傍に保持された処置具の動きを抽出し、当該抽出の結果に基づき当該患部の動きを検出する検出部と、前記患部の動きの検出結果に応じて、当該患部の観察に関する処理を制御する制御部と、を備える、医療用観察装置が提供される。【０００８】
また、本開示によれば、コンピュータが、撮像部により逐次撮像された患部の画像に基づき前記患部の近傍に保持された処置具の動きを抽出し、当該抽出の結果に基づき当該患部の動きを検出することと、前記患部の動きの検出結果に応じて、当該患部の観察に関する処理を制御することと、を含む、医療用観察装置の駆動方法が提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、手技の介在の有無に関わらず患部が動き得るような状況下においても当該患部の観察をより好適な態様で実現可能とする技術が提供される。【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示に係る技術が適用され得る手術用ビデオ顕微鏡装置を含むシステムの構成の一例を示した図である。
【図２】手技の一例について説明するための説明図である。
【図３】拍動に伴い患部が動くような状況の一例について説明するための説明図である。
【図４】本開示の一実施形態に係る医療用観察システムの構成の一例について説明するための説明図である。
【図５】同実施形態に係る医療用観察システムの技術的特長の基本思想について説明するための説明図である。
【図６】同実施形態に係る医療用観察システムの機能構成の一例を示したブロック図である。
【図７】同実施形態に係る医療用観察システムの一連の処理の流れの一例を示したフローチャートである。
【図８】実施例１に係る制御の一例について説明するための説明図である。
【図９】実施例２に係る制御の一例について説明するための説明図である。
【図１０】実施例２に係る制御の他の一例について説明するための説明図である。
【図１１】実施例３に係る制御の一例について説明するための説明図である。
【図１２】本開示の一実施形態に係る医療用観察システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
【図１３】本開示の一実施形態の応用例に係る内視鏡手術システムの概略的な構成の一例を示す図である。
【図１４】図１３に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．医療用観察システムの構成例
２．医療用観察システムを利用した観察に関する検討
３．技術的特長
３．１．システムの構成例
３．２．基本思想
３．３．機能構成
３．４．処理
３．５．実施例
４．ハードウェア構成の一例
５．応用例
６．むすび
【００１４】
＜＜１．医療用観察システムの構成例＞＞
まず、図１を参照して、本開示の一実施形態に係る技術が適用され得る医療用観察システムの概略的な構成の一例として、所謂手術用ビデオ顕微鏡装置を含むシステムの一例について説明する。
【００１５】
例えば、図１は、本開示に係る技術が適用され得る手術用ビデオ顕微鏡装置を含むシステムの構成の一例を示した図であり、当該手術用ビデオ顕微鏡装置を用いた施術の様子を模式的に表している。具体的には、図１を参照すると、施術者（ユーザ）８２０である医師が、例えばメス、鑷子、鉗子等の手術用の器具８２１を使用して、施術台８３０上の施術対象（患者）８４０に対して手術を行っている様子が図示されている。なお、以下の説明においては、施術とは、手術や検査等、ユーザ８２０である医師が施術対象８４０である患者に対して行う各種の医療的な処置の総称であるものとする。また、図１に示す例では、施術の一例として手術の様子を図示しているが、手術用ビデオ顕微鏡装置８１０が用いられる施術は手術に限定されず、他の各種の施術であってもよい。
【００１６】
施術台８３０の脇には手術用ビデオ顕微鏡装置８１０が設けられる。手術用ビデオ顕微鏡装置８１０は、基台であるベース部８１１と、ベース部８１１から延伸するアーム部８１２と、アーム部８１２の先端に先端ユニットとして接続される撮像ユニット８１５とを備える。アーム部８１２は、複数の関節部８１３ａ、８１３ｂ、８１３ｃと、関節部８１３ａ、８１３ｂによって連結される複数のリンク８１４ａ、８１４ｂと、アーム部８１２の先端に設けられる撮像ユニット８１５を有する。図１に示す例では、簡単のため、アーム部８１２は３つの関節部８１３ａ〜８１３ｃ及び２つのリンク８１４ａ、８１４ｂを有しているが、実際には、アーム部８１２及び撮像ユニット８１５の位置及び姿勢の自由度を考慮して、所望の自由度を実現するように関節部８１３ａ〜８１３ｃ及びリンク８１４ａ、８１４ｂの数や形状、関節部８１３ａ〜８１３ｃの駆動軸の方向等が適宜設定されてもよい。
【００１７】
関節部８１３ａ〜８１３ｃは、リンク８１４ａ、８１４ｂを互いに回動可能に連結する機能を有し、関節部８１３ａ〜８１３ｃの回転が駆動されることにより、アーム部８１２の駆動が制御される。ここで、以下の説明においては、手術用ビデオ顕微鏡装置８１０の各構成部材の位置とは、駆動制御のために規定している空間における位置（座標）を意味し、各構成部材の姿勢とは、駆動制御のために規定している空間における任意の軸に対する向き（角度）を意味する。また、以下の説明では、アーム部８１２の駆動（又は駆動制御）とは、関節部８１３ａ〜８１３ｃの駆動（又は駆動制御）、及び、関節部８１３ａ〜８１３ｃの駆動（又は駆動制御）を行うことによりアーム部８１２の各構成部材の位置及び姿勢が変化される（変化が制御される）ことをいう。
【００１８】
アーム部８１２の先端には、先端ユニットとして撮像ユニット８１５が接続されている。撮像ユニット８１５は、撮像対象物の画像を取得するユニットであり、例えば動画や静止画を撮像できるカメラ等である。図１に示すように、アーム部８１２の先端に設けられた撮像ユニット８１５が施術対象８４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置８１０によってアーム部８１２及び撮像ユニット８１５の姿勢や位置が制御される。なお、アーム部８１２の先端に先端ユニットとして接続される撮像ユニット８１５の構成は特に限定されず、例えば、撮像ユニット８１５は、撮像対象物の拡大像を取得する顕微鏡として構成されている。また、撮像ユニット８１５は、当該アーム部８１２に対して着脱可能に構成されていてもよい。このような構成により、例えば、利用用途に応じた撮像ユニット８１５が、アーム部８１２の先端に先端ユニットとして適宜接続されてもよい。なお、当該撮像ユニット８１５として、例えば、前述した実施形態に係る分岐光学系が適用された撮像装置を適用することが可能である。即ち、本応用例においては、撮像ユニット８１５または当該撮像ユニット８１５を含む手術用ビデオ顕微鏡装置８１０が、「医療用観察装置」の一例に相当し得る。また本説明では、先端ユニットとして撮像ユニット８１５が適用されている場合に着目して説明したが、アーム部８１２の先端に接続される先端ユニットは、必ずしも撮像ユニット８１５に限定されない。
【００１９】
また、ユーザ８２０と対向する位置には、モニタやディスプレイ等の表示装置８５０が設置される。撮像ユニット８１５によって撮像された施術部位の画像は、表示装置８５０の表示画面に電子画像として表示される。ユーザ８２０は、表示装置８５０の表示画面に表示される施術部位の電子画像を見ながら各種の処置を行う。
【００２０】
以上のような構成により、手術用ビデオ顕微鏡装置８１０によって施術部位の撮像を行いながら手術を行うことが可能となる。
【００２１】
なお、上記では、手術用ビデオ顕微鏡装置の例について説明したが、当該手術用ビデオ顕微鏡装置に相当する部分が、所謂光学式の顕微鏡装置として構成されていてもよい。この場合には、アーム部８１２の先端に接続される先端ユニットとして、光学式の顕微鏡ユニットが接続されればよい。また、当該顕微鏡ユニットが撮像装置を備えていてもよい。
【００２２】
以上、本開示の一実施形態に係る医療用観察システムの概略的な構成の一例として、図１を参照して、当該医療用観察システムを、顕微鏡ユニットを備えた顕微鏡撮像システムとして構成した場合の一例について説明した。
【００２３】
＜＜２．医療用観察システムを利用した観察に関する検討＞＞
続いて、医療用観察システムを利用して患者の体内の患部（例えば、動脈瘤等の観察対象）等を観察するような状況を想定して場合に、当該観察を行ううえでの技術的な課題について具体的な例を挙げて以下に説明する。
【００２４】
例えば、図２は、手技の一例について説明するための説明図であり、未破裂脳動脈瘤クリッピング術の一例について概要を示している。未破裂脳動脈瘤クリッピング術では、動脈瘤（例えば、脳動脈瘤）の破裂による障害発生を未然に防ぐために、チタン製のクリップ等を用いて血管の一部をクリッピングすることで、動脈瘤への血液の流入を抑制する（即ち、動脈瘤を閉塞する）。例えば、図２に示す例では、血管Ｍ１０１の一部に生じた動脈瘤を、クリップＭ１１１を使用したクリッピングにより閉塞する場合の一例を示している。図２において、上側の図はクリッピング前の状態を示しており、下側の図はクリッピングの状態を示している。また、図２において、参照符号Ｍ１０３は、動脈瘤のドームを示している。また、参照符号Ｍ１０５は、動脈瘤のネックを示している。即ち、図２に示す例では、動脈瘤のネックＭ１０５にクリップＭ１１１をかけることで、血管Ｍ１０１を流れる血液が動脈瘤内に流入することを防いでいる。
【００２５】
上記クリッピング術では、クリップ後に、穿刺等により動脈瘤をつぶして、血液を凝固させて血栓化することで、動脈瘤の破裂を防ぐ対策がなされることもある。血液を凝固させて血栓化することで動脈瘤の破裂を防ぐためには、例えば、動脈瘤への血流の流れ込みを抑制するか、もしくは、血液を凝固させ血栓の形成を誘発する程度まで血流速度が低下するように血流を微小にすることが重要となる。
【００２６】
一方で、上記クリッピング術が適用されるような状況下では、拍動に伴い血管等の患部（例えば、動脈瘤）が振動する等の動きを示すことで、正確な観察が困難となる場合がある。例えば、図３は、拍動に伴い患部が動くような状況の一例について説明するための説明図である。図３に示す例では、図２に示す例と同様に、動脈瘤のネックＭ１０５にクリップＭ１１１をかけることで、当該動脈瘤を閉塞した場合の一例を示している。この場合には、拍動により血管Ｍ１０１が振動し、当該振動が、例えば、動脈瘤の動き（ドームＭ１０３の動き）や、当該動脈瘤に掛けられたクリップＭ１１１の動きとして顕在化する場合がある。
【００２７】
また、拍動等により動脈瘤が振動しているような状況下では、当該振動により瘤内の血液の流れの状態が変化し、クリッピングにより動脈瘤への血液の流入が閉塞されているにも関わらず閉塞されていないように観察される（即ち、偽陽性となる）場合がある。このような状況下では、例えば、追加でクリップがかけられる等の対処が行われ、時間やコストの増加を招く場合がある。手技の時間の増加は、例えば、患者への負担の増加の要因となる可能性がある。また、振動等により患部の状態が観察しにくいような状況は、医師の負担の増加の要因となる可能性もある。
【００２８】
また、上記クリッピング術による動脈瘤の閉塞の確認については、例えば、ＩＣＧ等の蛍光体を利用した手法が適用される場合がある。具体的には、当該手法では、ＩＣＧ等の蛍光体を静脈注射により血液中に注入し、当該蛍光体が励起する波長の光を照射したうえで、励起光を分光検出することで、動脈瘤への血液の流入の有無が確認される。なお、ＩＣＧが蛍光体として利用される場合には、例えば、８００ｎｍ近傍の波長を有する近赤外光を照射し、８３０ｎｍ近傍の波長を有する励起光を、フィルタ等を利用することで分光検出することで、上記確認が行われる。
【００２９】
一方で、ＩＣＧ等の蛍光体は、血液中に注入されると、排出（Washout）されるまでに時間を要する。そのため、例えば、クリップによる動脈瘤の閉塞が十分でなく、瘤内に血液が流入した場合には、クリップの追加等により改めて閉塞が行われることで、瘤内への血液の流入が防止されたとしても、溜内に血液と共に流入したＩＣＧ等の蛍光体が蛍光を発するので、再度の閉塞が十分か否かを判断することが困難となる場合がある。
【００３０】
また、血流を観察する手法の他の一例として、ＬＳＣＩ（Laser  Speckle  Contrast  Imaging）と称される手法が挙げられる。ＬＳＣＩでは、血液内の赤血球等の散乱物質にレーザー光を照射し、散乱光を観察することで、血液の流れの有無を検出する。このような特性から、ＬＳＣＩにおいても、拍動等により患部が動くことで観察が困難となる場合がある。また、ＬＳＣＩでは、例えば、近赤外光を照射して画像を取得するような状況下では、可視光の画像を得ることが困難となるため、例えば、患部にクリップがかけられていたとしても、当該クリップの位置を確認することが困難となる場合もある。
【００３１】
以上のような状況を鑑み、本開示では、手技の介在の有無に関わらず、例えば、拍動等の影響により患部が動き得るような状況下においても、当該患部の観察をより好適な態様で実現可能とする技術を提案する。
【００３２】
＜＜３．技術的特長＞＞
以下に、本開示の一実施形態に係る医療用観察システムの技術的特徴について説明する。
【００３３】
＜３．１．システムの構成例＞
まず、本開示の一実施形態に係る医療用観察システムの構成の一例について説明する。例えば、図４は、本開示の一実施形態に係る医療用観察システムの構成の一例について説明するための説明図であり、ＬＳＣＩを適用する場合のシステム構成の一例を示している。即ち、図４に示す例では、動脈瘤を観察対象として上述したクリッピング術を適用するような状況下において、赤外光や可視光を照射して患部（動脈瘤）を観察するような状況を想定した構成となっている。なお、以降の説明では、図４に示す医療用観察システムを、便宜上、「医療用観察システム２」とも称する。
【００３４】
図４に示す例では、医療用観察システム２は、コントロールユニット２０１と、撮像ユニット２０３と、センサドライバ２０５と、入力部２０７と、出力部２０９とを含む。入力部２０７は、医療用観察システム２に対する入力インタフェースである。ユーザは、入力部７を介して、医療用観察システム２に対して各種の情報の入力や指示入力を行うことが可能である。また、出力部２０９は、図１に示す例における表示装置８５０に相当する。
【００３５】
撮像ユニット２０３は、例えば、撮像光学系２１１と、分岐光学系２１３と、撮像素子２１５及び２１７と、ＲＧＢレーザー２１９と、ＩＲ（例えば、近赤外光線）レーザー２２３と、振動センサ２２７とを含む。
【００３６】
ＲＧＢレーザー２１９及びＩＲレーザー２２３のそれぞれは、患部に対して所定の波長の光を照射するための光源装置に相当する。
【００３７】
ＲＧＢレーザー２１９は、可視光を照射する光源であり、例えば、赤（Red；波長６５０ｎｍ前後）、緑（Green；波長５３０ｎｍ前後）、青（Blue；波長４５０ｎｍ前後）の各レーザーにより構成されているが、ＬＥＤ光源でもよく、レーザーとＬＥＤ、レーザーにより蛍光体を励起して白色を出す構成でもよい。これは、例えば、患部の明視野画像が取得される場合の光源として利用される。具体的には、ＲＧＢレーザー２１９から出射された可視光は、光ファイバ等を利用して光を導光可能に構成された伝送ケーブル２２１を介して伝送されて患部に照射される。これにより、患部の明視野像が、後述する撮像光学系２１１により集光されることとなる。
【００３８】
ＩＲレーザー２２３は、赤外光（ＩＲ光）を照射する光源であり、例えば、蛍光観察等が行われる場合の光源として利用される。具体的には、ＩＲレーザー２２３から出射された赤外光は、光ファイバ等を利用して光を導光可能に構成された伝送ケーブル２２５を介して伝送されて患部に照射される。これにより、血液等に注入されたＩＣＧ等の蛍光体が当該赤外光の照射により励起し、当該蛍光体から出射した励起光が後述する撮像光学系２１１により集光されることとなる。
【００３９】
撮像光学系２１１は、観察対象の患部の像を取得するための光学系を模式的に示している。撮像光学系２１１は、例えば、内視鏡や顕微鏡に相当し得る。撮像光学系２１１は、入射した光を、後述する分岐光学系２１３を介して、後段に位置する撮像素子２１５及び２１７のいずれかに結像させる。これにより、撮像素子２１５及び２１７により、観察対象の患部の像が撮像されることとなる。なお、撮像光学系２１１は、レンズ等の光学系を複数含んで構成されていてもよい。
【００４０】
分岐光学系２１３は、入射した光のうち一部の波長帯域の光と他の波長帯域の光とを分離し、それぞれを撮像素子２１５及び２１７のうち互いに異なる撮像素子に結像させる。具体的な一例として、分岐光学系２１３は、ダイクロイックフィルタ等を含んで成り、入射した光のうち一部の波長帯域の光を透過させ、他の波長帯域の光を反射させることで、これらの光を分離する。例えば、図４に示す例では、分岐光学系２１３を透過した光が撮像素子２１５に導光され、当該分岐光学系２１３により反射された光が撮像素子２１７に導光されている。なお、以降の説明では、便宜上、撮像素子２１５には可視光波長帯域に属する光が導光され、撮像素子２１７には赤外光やＩＣＧが発する蛍光等のように可視光よりも長波長の光（例えば、近赤外波長帯域に属する光）が導光されるものとする。ただし、分岐光学系２１３の構成は、入射光を複数の光に分離することが可能であれば、必ずしも上記に示す例には限定されない。即ち、観察対象とする光の波長、観察方法、及び撮像ユニット２０３の構成等に応じて適宜変更されてもよい。
【００４１】
撮像素子２１５は、分岐光学系２１３の後段に設けられ、当該分岐光学系２１３により分離された可視光波長帯域に属する光が結像する撮像素子である。撮像素子２１５としては、例えば、ＲＧＢカラーフィルタを有するＣＣＤやＣＭＯＳ等の撮像素子が適用され得る。
【００４２】
撮像素子２１７は、分岐光学系２１３の後段に設けられ、当該分岐光学系２１３により分離された可視光よりも長波長の光（例えば、近赤外波長帯域に属する光）が結像する撮像素子である。撮像素子２１７としては、より感度の高い撮像素子が適用される場合がある。具体的な一例として、撮像素子２１７として、カラーフィルタ等が設けられていないＣＣＤやＣＭＯＳ等の撮像素子が適用され得る。
【００４３】
振動センサ２２７は、撮像ユニット２０３の動き（例えば、振動等）を検知するセンサである。振動センサ２２７は、例えば、加速度センサや角速度センサを含み、撮像ユニット２０３の筐体の動き（例えば、当該筐体に働く加速度や角速度）を検知してもよい。振動センサ２２７は、撮像ユニット２０３の動きの検知結果をセンサドライバ２０５に通知する。
【００４４】
振動センサ２２９は、患者の所定の部位Ｍ１０７の動き（換言すると、患部の動き）を検知するセンサである。具体的な一例として、脳動脈瘤を観察対象とした場合には、振動センサ２２９は、部位Ｍ１０７の動きとして、患者の頭部の動きを検出可能となるように、当該頭部の一部等に設置されてもよい。振動センサ２２９は、患者の所定の部位Ｍ１０７の動きの検知結果をセンサドライバ２０５に通知する。
【００４５】
センサドライバ２０５は、各種センサの動作を制御し、当該センサから各種状態の検知結果に応じた情報を取得する。具体的な一例として、センサドライバ２０５は、振動センサ２２７の動作を制御し、当該振動センサ２２９から撮像ユニット２０３の動き（例えば、振動等）の検知結果に応じた情報を取得する。また、他の一例として、センサドライバ２０５は、振動センサ２２７の動作を制御し、当該振動センサ２２９から撮像ユニット２０３の動き（例えば、振動等）の検知結果に応じた情報を取得する。センサドライバ２０５は、各種センサの動作の制御や、当該センサからの情報の取得を、コントロールユニット２０１による制御に基づき実行してもよい。また、センサドライバ２０５は、各種センサから取得した情報を、コントロールユニット２０１に出力してもよい。
【００４６】
コントロールユニット２０１は、観察対象や観察方法に応じて、ＲＧＢレーザー２１９及びＩＲレーザー２２３等のような各種光源の動作を制御してもよい。また、コントロールユニット２０１は、撮像素子２１５及び２１７のうち少なくともいずれかの撮像素子による画像の撮像に係る動作を制御してもよい。このとき、コントロールユニット２０１は、画像の撮像条件（例えば、シャッタースピード、絞り、ゲイン等）を制御してもよい。また、コントロールユニット２０１は、撮像素子２１５及び２１７のうち少なくともいずれかによる撮像結果に応じた画像を取得し、当該画像を出力部２０９に提示させてもよい。また、このときコントロールユニット２０１は、取得した画像に対して所定の画像処理を施してもよい。また、コントロールユニット２０１は、各種状態の検出結果に応じて、各部の動作を制御してもよい。具体的な一例として、コントロールユニット２０１は、センサドライバ２０５から振動センサ２２７による撮像ユニット２０３の動きの検知結果に応じた情報を取得し、当該情報に基づき所謂手ぶれ補正を実行してもよい。この場合には、コントロールユニット２０１は、撮像ユニット２０３の動き（即ち、ぶれ）に応じて、撮像素子２１５及び２１７の撮像結果に応じた画像から一部を切り出すことで、当該撮像ユニット２０３のぶれを補正してもよい。また、コントロールユニット２０１は、入力部２０７を介して入力されるユーザからの指示に応じて、上述した各種処理を実行してもよい。
【００４７】
なお、図４を参照して説明した例はあくまで一例であり、必ずしも本開示の一実施形態に係る医療用観察システムの構成を限定するものではない。即ち、別途後述する、本実施形態に係る医療用観察システムの基本思想を逸脱しない範囲であれば、観察対象や観察方法に応じて、一部の構成が適宜変更されてもよい。
【００４８】
以上、図４を参照して、本開示の一実施形態に係る医療用観察システムの構成の一例について説明した。
【００４９】
＜３．２．基本思想＞
次いで、本開示の一実施形態に係る医療用観察システムの技術的特長の基本思想について説明する。
【００５０】
前述したように、上述したクリッピング術が適用されるような状況下では、血管等の患部（例えば、動脈瘤）が振動する等の動きを示すことで、正確な観察が困難となる場合がある。そこで、本実施形態に係る医療用観察システムでは、内視鏡装置や顕微鏡装置等のような撮像ユニット等により撮像された画像に基づき患部の動きを検出し、当該検出の結果を利用して各種処理を実行することで、より好適な態様での観察を実現可能とする。具体的な一例として、動脈瘤等の患部の動きに応じて、撮像素子の撮像条件（例えば、シャッタースピード等）を制御することで、医師がより正確な判断をしやすい画像を生成してもよい。また、他の一例として、患部の動きがより大きいような状況下では、警告を出すことで、正確な判断が困難な状況であることを医師に通知することも可能である。なお、このような、患部の動きの検出結果を利用した処理の一例については詳細を別途後述する。
【００５１】
また、本実施形態に係る医療用観察システムでは、患部の動きの検出に、当該患部の近傍に保持されたクリップ等の処置具の動きの検出結果を利用する。具体的には、本実施形態に係る医療用観察システムでは、撮像ユニット等により逐次撮像された画像中からクリップ等の処置具の特徴的な部分を抽出することで当該処置具の動きを抽出し、当該処置具の動きの抽出結果に基づき患部の動きを検出する。
【００５２】
例えば、図５は、本実施形態に係る医療用観察システムの技術的特長の基本思想について説明するための説明図であり、逐次撮像された画像中から処置具の動きを抽出することで患部の動きを検出する場合の一例について示している。図５に示す例では、図２を参照して説明した例と同様に、動脈瘤のネックＭ１０５にクリップＭ１１１をかけることで、血管Ｍ１０１を流れる血液が動脈瘤内に流入することを防いでいる。このとき、図３を参照して説明した例と同様に、拍動により血管Ｍ１０１が振動し、当該振動が、例えば、動脈瘤の動き（ドームＭ１０３の動き）や、当該動脈瘤に掛けられたクリップＭ１１１の動きとして顕在化することとなる。なお、このとき、血管Ｍ１０１の拍動等により動脈瘤のドームＭ１０３が振動すると、当該動脈瘤のネックＭ１０５にかけられたクリップＭ１１１についても、当該動脈瘤の振動に連動するように振動することとなる。そこで、本実施形態に係る医療用観察システムでは、クリップＭ１１１の動きを抽出し、当該クリップＭ１１１の動きの抽出結果を利用することで、動脈瘤の動き（例えば、振動）を検出する。
【００５３】
具体的な一例として、図５に示す例では、クリップＭ１１１の一部に発光部Ｍ１１３が設けられており、本実施形態に係る医療用観察システムは、当該発光部Ｍ１１３を逐次撮像された画像中から抽出することで当該クリップＭ１１１の動きを抽出する。そして、当該医療用観察システムは、クリップＭ１１１の動きの抽出結果に基づき、当該クリップＭ１１１がかけられた動脈瘤（即ち、患部）のドームＭ１０３の動きを検出する。このような構成により、例えば、患部の観察環境や当該患部の観察方法に応じて、当該患部を直接視認することが困難な場合においても、当該患部の動きを検出し、当該検出の結果に応じた処理を実行することが可能となる。
【００５４】
なお、図５に示す例はあくまで一例であり、クリップＭ１１１等の処置具の動きを抽出し、当該動きの抽出の結果に基づき患部の動きを検出することが可能であれば、そのための構成や方法は特に限定されない。例えば、上述のような発光体を抽出する方法に限らず、対象となる処置具のうち、形状や色等のような所定の特徴を有する部分を逐次撮像された画像中から抽出することで、当該処置具の動きを抽出することが可能である。具体的な一例として、処置具の少なくとも一部に、観察対象とは異なる色を有する部分が設けられることで、撮像画像中の当該色の部分を、処置具に相当する部分として抽出することが可能である。また、他の一例として、処置具の少なくとも一部に、特徴的な形状を有する部分が設けられることで、撮像画像中において当該形状が検出された部分を、処置具に相当する部分として抽出することが可能である。
【００５５】
また、上記発光体のように、画像中からの処置具を抽出するための指標となる部分については、当該処置具に対して着脱可能に構成されていてもよい。このような構成とすることで、例えば、クリッピング等の処置が完了した後に、当該指標となる部分のみを取り外すことも可能となる。
【００５６】
また、想定される観察環境や観察方法に応じて、処置具の動きを抽出するための構成や方法が適宜変更されてもよい。具体的な一例として、ＩＣＧ等のような近赤外光により励起する蛍光体を利用した蛍光観察を想定する場合には、クリップ等の処置具として、少なくとも一部が当該近赤外光により発光励起する材料で構成されているものが使用されてもよい。また、他の一例として、クリップ等の処置具として、少なくとも一部に対して上記赤外光により発光励起する塗料が塗布されたものが使用されてもよい。これにより、明視野画像を取得することが困難な場合においても、取得される画像から処置具の動きを抽出し、当該抽出の結果に基づき、当該処置具が近傍に保持された患部の動きを検出することが可能となる。
【００５７】
特に、医療の分野においては、観察対象に応じて観察方法を選択的に変更することがあり、観察方法に応じて観察環境が変化するような状況も想定され得る。そのため、一部の観察対象（例えば、血流）を観察している際に、他の部分（例えば、動脈瘤やクリップがかけられた位置）の観察が困難となり、結果として正確な観察や診断が阻害されるような状況も想定され得る。このような場合においても、本開示の一実施形態に係る医療用観察システムに依れば、観察環境や観察方法に応じて処置具の動きを抽出するための構成や方法を適宜変更することで、観察対象の観察中に、近傍に当該処置具が保持された他の部分の観察を行うことが可能となる。
【００５８】
以上、図５を参照して、本開示の一実施形態に係る医療用観察システムの技術的特長の基本思想について説明した。
【００５９】
＜３．３．機能構成＞
続いて、本開示の一実施形態に係る医療用観察システムの機能構成の一例について、特に、当該医療用観察システムの各構成の動作を制御するコントロールユニットの機能構成の一例に着目して説明する。例えば、図６は、本開示の一実施形態に係る医療用観察システムの機能構成の一例を示したブロック図である。具体的には、図６は、本実施形態に係る医療用観察システムの構成について、特に、逐次撮像される画像から処置具の動きを抽出することで当該処置具が近傍に保持された患部の動きを検出し、当該検出の結果に応じて各種処理を実行する部分に着目して示している。なお、以降の説明では、図６に示す医療用観察システムを、便宜上、「医療用観察システム３」とも称する。
【００６０】
図６に示すように、医療用観察システム３は、コントロールユニット３０１と、撮像部３０３と、検知部３０５と、出力部３０７とを含む。撮像部３０３は、例えば、図４に示す撮像ユニット２０３（ひいては、撮像素子２１５及び２１７）に相当し得る。また、検知部３０５は、図４に示すセンサドライバ２０５に相当し得る。また、出力部３０７は、図４に示す出力部２０９に相当し得る。そのため、撮像部３０３、検知部３０５、及び出力部３０７については詳細な説明は省略する。
【００６１】
コントロールユニット３０１は、図４に示すコントロールユニット２０１に相当し得る。図６に示すように、コントロールユニット３０１は、画像解析部３０９と、振動検出部３１１と、撮像制御部３１３と、画像処理部３１５と、出力制御部３１７とを含む。
【００６２】
画像解析部３０９は、撮像部３０３により逐次撮像された画像を取得し、当該画像に対して画像解析を施すことで、当該画像中に撮像された所定の物体（例えば、クリップ等の所定の処置具）を抽出する。具体的な一例として、画像解析部３０９は、取得した画像の特徴量を算出し、当該画像中から、所定の特徴を有する部分を、対象の物体に相当する部分として抽出してもよい。もちろん、上記は一例であり、撮像部３０３により逐次撮像された画像から所定の物体（所定の処置具）を抽出することが可能であれば、その方法は特に限定されない。なお、以降の説明では、撮像部３０３により逐次撮像された画像を、便宜上、単に「撮像画像」とも称する。
【００６３】
また、画像解析部３０９は、撮像画像から、所定の患部（例えば、観察対象の患部）を抽出してもよい。この場合には、画像解析部３０９は、撮像画像中から、対象となる患部の特徴を有する部分を、当該患部に相当する部分として抽出してもよい。そして、画像解析部３０９は、撮像画像と、当該撮像画像の解析結果（即ち、画像中に撮像された物体の抽出結果）と、を振動検出部３１１に出力する。
【００６４】
振動検出部３１１は、画像解析部３０９から、撮像画像と、当該撮像画像の解析結果と、を取得する。振動検出部３１１は、撮像画像の解析結果に基づき、当該撮像画像中に撮像された所定の物体の動き（例えば、処置具の振動等）を抽出する。また、振動検出部３１１は、所定の物体の動きの抽出結果に基づき、当該物体が近傍に保持された患部の動きを検出してもよい。具体的な一例として、振動検出部３１１は、クリッピング術で使用されるクリップの動きを抽出することで、当該クリップがネック等にかけられている動脈瘤の動きを検出してもよい。また、このとき振動検出部３１１は、クリップがかけられた位置や当該クリップの向き等を鑑みて、当該クリップがかけられた動脈瘤の動きを検出してもよい。
【００６５】
また、振動検出部３１１は、処置具等の所定の物体の動きの抽出や、当該物体の動きの抽出結果に基づく患部の動きの検出に対して、検知部３０５による振動の検出結果（例えば、撮像部３０３の動きの検出結果や、患者の部位の動きの検出結果）を利用してもよい。具体的な一例として、振動検出部３１１は、検知部３０５による撮像部３０３の動きの検出結果を利用して、当該撮像部３０３の動きに起因する画像のぶれ（例えば、手ぶれ）を補正したうえで、クリップ等の所定の物体の動きを抽出してもよい。同様に、振動検出部３１１は、検知部３０５による患者の部位の動きの検出結果を利用して、当該部位の動きに起因する画像のぶれを補正したうえで、クリップ等の所定の物体の動きを抽出してもよい。
【００６６】
振動検出部３１１は、取得した撮像画像を、画像処理部３１５及び出力制御部３１７のうち少なくともいずれかに出力する。また、振動検出部３１１は、当該撮像画像の解析結果に基づく患部の動きの検出結果に関する情報を、例えば、撮像制御部３１３、画像処理部３１５、及び出力制御部３１７のうち少なくともいずれかに出力してもよい。
【００６７】
撮像制御部３１３は、撮像部３０３の動作を制御する。具体的な一例として、撮像制御部３１３は、所定の入力部（図示を省略する）を介して設定された各種条件（例えば、シャッタースピード、絞り、ホワイトバランス等の撮像条件等）に応じて、撮像部３０３による画像の撮像に係る動作を制御してもよい。
【００６８】
また、撮像制御部３１３は、振動検出部３１１から患部の動きの検出結果に関する情報を取得し、当該情報に基づき、撮像部３０３の動作を制御してもよい。例えば、撮像制御部３１３は、検出された患部の動きの大きさに応じて、シャッタースピード、絞り、及びゲイン等のような撮像部３０３による画像の撮像に係る撮像条件を制御してもよい。具体的な一例として、撮像制御部３１３は、患部の動きが検出された場合に、当該患部の動きが大きいほど、絞りをより開放することで取り込む光量を増大させたうえで、シャッタースピードが速くなるように制御してもよい。また、他の一例として、撮像制御部３１３は、患部の動きが検出された場合に、ゲインを増大させることで撮像素子の感度を向上させたうえで、シャッタースピードが速くなるように制御してもよい。
【００６９】
画像処理部３１５は、撮像画像に対して各種画像処理を施す。具体的な一例として、画像処理部３１５は、撮像画像の明度、コントラスト、色調等を補正してもよい。また、画像処理部３１５は、撮像画像中の一部を切り出して拡大する（即ち、デジタルズーム処理を施す）ことで、患部の拡大画像を生成してもよい。また、画像処理部３１５は、所定の入力部（図示を省略する）を介して入力された指示に基づき、撮像画像に対して画像処理を施してもよい。
【００７０】
また、画像処理部３１５は、振動検出部３１１から患部の動きの検出結果に関する情報を取得し、当該情報に基づき、撮像画像に対して画像処理を施してもよい。具体的な一例として、画像処理部３１５は、患部の動きの検出結果に基づき、撮像画像中に顕在化した当該患部のぶれ（例えば、被写体ぶれ）を補正した画像（即ち、患部のぶれが抑制された画像）を生成してもよい。
【００７１】
以上のようにして、画像処理部３１５は、撮像画像に対して画像処理を施し、当該画像処理後の撮像画像を出力制御部３１７に出力する。
【００７２】
出力制御部３１７は、各種情報を出力部３０７に出力させることで、当該情報を提示する。例えば、出力制御部３１７は、撮像画像を取得し、当該撮像画像を出力部３０７に出力させてもよい。また、出力制御部３１７は、画像処理が施された当該撮像画像（以下、「画像処理後の画像」とも称する）を画像処理部３１５から取得し、画像処理後の画像を出力部３０７に出力させてもよい。また、他の一例として、出力制御部３１７は、注目流域を示す表示情報やメッセージや警告のような報知情報等を、画像上に重畳させて提示してもよい。
【００７３】
また、出力制御部３１７は、複数種類の情報が提示された画面（換言すると、画像）を生成し、当該画面を出力部３０７に出力させることで、当該複数種類の情報を提示してもよい。具体的な一例として、出力制御部３１７は、撮像画像と画像処理後の画像とが提示された画面を生成し、当該画面を出力部３０７に出力させてもよい。このとき出力制御部３１７は、撮像画像と画像処理後の画像とが並べて提示された画面を生成してもよい。また、他の一例として、出力制御部３１７は、撮像画像と画像処理後の画像とのうちの一方の画像の一部に対して他方を重畳させた所謂ＰＩＰ（Picture  In  Picture）画像を生成してもよい。このように、出力制御部３１７は、撮像画像と画像処理後の画像とを関連付けて提示してもよく、この場合には、これらの画像の提示態様（換言すると、これらの画像を関連付ける方法）については特に限定されない。
【００７４】
また、出力制御部３１７は、振動検出部３１１から患部の動きの検出結果に関する情報を取得し、当該情報に基づき、出力部３０７への各種情報の出力を制御してもよい。具体的な一例として、出力制御部３１７は、患部の動きが検出された場合に、当該患部の動きの大きさが閾値以上の場合には、出力部３０７に警告を表示させてもよい。また、出力制御部３１７は、患部の動きの大きさに応じて、出力部３０７に表示させる情報（例えば、警告やメッセージのような報知情報）を選択的に切り替えてもよい。
【００７５】
なお、上述した機能構成はあくまで一例であり、上述した各構成の動作を実現することが可能であれば、当該医療用観察システムの機能構成は必ずしも図６に示す例には限定されない。具体的な一例として、撮像部３０３、検知部３０５、及び出力部３０７の少なくともいずれかと、コントロールユニット３０１とが一体的に構成されていてもよい。また、他の一例として、コントロールユニット３０１の一部の機能が、当該コントロールユニット３０１の外部に設けられていてもよい。また、コントロールユニット３０１の少なくとも一部の機能が、複数の装置が連携して動作することで実現されてもよい。また、前述した本実施形態に係る医療用観察システムの技術的特長の基本思想を逸脱しない範囲であれば、当該医療用観察システムの一部の構成が変更されてもよく、また他の構成が別途追加されてもよい。
【００７６】
なお、図６に示すコントロールユニット３０１に相当する構成を含む装置が、「医療用観察装置」の一例に相当する。また、振動検出部３１１が、患部の動きを検出する「検出部」の一例に相当する。また、撮像制御部３１３、画像処理部３１５、及び出力制御部３１７のように、患部の動きの検出結果に応じて各種処理（特に、患部の観察に関する処理）を実行または制御する構成が、「制御部」の一例に相当する。
【００７７】
以上、図６を参照して、本開示の一実施形態に係る医療用観察システムの機能構成の一例について、特に、当該医療用観察システムの各構成の動作を制御するコントロールユニットの機能構成の一例に着目して説明した。
【００７８】
＜３．４．処理＞
続いて、本開示の一実施形態に係る医療用観察システムの一連の処理の流れの一例について、特に、図６に示すコントロールユニット３０１が、患部の動きを検出し、当該検出の結果に応じて各種動作を制御する処理の流れに着目して説明する。例えば、図７は、本開示の一実施形態に係る医療用観察システムの一連の処理の流れの一例を示したフローチャートである。
【００７９】
まず、コントロールユニット３０１（画像解析部３０９）は、撮像部３０３が逐次撮像した患部の画像（即ち、撮像画像）を取得し（Ｓ１０１）、当該画像に対して画像解析を施すことで、当該画像中に撮像された所定の処置具（例えば、クリップ等）を特定する（Ｓ１０３）。即ち、コントロールユニット３０１は、撮像画像に対しる画像解析に基づき、当該撮像画像中から所定の処置具を抽出する。
【００８０】
次いで、コントロールユニット３０１（振動検出部３１１）は、撮像画像中からの所定の処置具の抽出結果に基づき、当該処置具の動きを抽出することで、当該処置具が近傍に保持された患部の動き（例えば、振動等）を検出する（Ｓ１０５）。
【００８１】
コントロールユニット３０１は、患部の動き（振動等）の検出結果に応じて、当該患部の観察に関する各種処理を制御する（Ｓ１０７）。例えば、コントロールユニット３０１（撮像制御部３１３）は、患部の動きの検出結果に応じて、撮像部３０３による患部の画像の撮像に係る動作を制御してもよい。また、他の一例として、コントロールユニット３０１（画像処理部３１５）は、患部の動きの検出結果に基づき、撮像画像に対して所定の画像処理を施してもよい。また、他の一例として、コントロールユニット３０１（出力制御部３１７）は、患部の動きの検出結果に応じて、出力部３０７を介して各種情報を提示してもよい。
【００８２】
以上のようにして、コントロールユニット３０１は、一連の処理の終了が指示されない限り（Ｓ１０９、ＮＯ）、参照符号Ｓ１０１〜Ｓ１０７で示した処理を逐次実行する。そして、コントロールユニット３０１は、一連の処理の終了が指示されると（Ｓ１０９、ＹＥＳ）、参照符号Ｓ１０１〜Ｓ１０７で示した処理の実行を終了する。
【００８３】
以上、図７を参照して、本開示の一実施形態に係る医療用観察システムの一連の処理の流れの一例について、特に、図６に示すコントロールユニット３０１が、患部の動きを検出し、当該検出の結果に応じて各種動作を制御する処理の流れに着目して説明した。
【００８４】
＜３．５．実施例＞
続いて、実施例として、本時開示の一実施形態に係る医療用観察システムによる、患部の動きの検出結果に応じた、患部の観察に関する処理の制御の一例について説明する。
【００８５】
（実施例１：画像処理の一例）
まず、実施例１として、患部の動きの検出結果に基づき、撮像画像に対して画像処理を施す場合の一例について説明する。例えば、図８は、実施例１に係る制御の一例について説明するための説明図であり、患部の動きの検出結果に基づき、撮像画像に対して画像処理を施す場合の一例について示している。具体的には、図８は、未破裂脳動脈瘤クリッピング術のようにクリップをかけて患部の観察を行うような状況を想定して、患部（動脈瘤）の撮像画像に対して画像処理を施す場合の一例について示している。
【００８６】
前述したように、拍動に伴い血管等の患部（例えば、動脈瘤）が振動する等の動きを示すことで、正確な観察が困難となる場合がある。そのため、例えば、患部の動きの検出結果を利用して、画像中の当該患部の動き（例えば、被写体ぶれ）を補正して、患部のぶれが抑制された画像（ひいては、画像中において患部の提示位置が固定された画像）を生成することで、当該患部をより正確に観察可能とする効果が期待できる。この場合には、例えば、患部の動きの検出結果に基づき、当該患部の動きがキャンセルされるように、撮像画像から当該患部を含む一部の画像を切り出す位置を制御することで、患部のぶれが抑制された画像を生成することが可能である。
【００８７】
また、撮像画像に対して画像処理が施された場合には、画像処理前の画像と、画像処理後の画像と、が関連付けられて提示されてもよい。例えば、図８に示す例では、画像処理により画像中の患部のぶれが抑制（補正）された補正画像Ｖ１０５と、当該画像処理が施される前の撮像画像Ｖ１０３（換言すると、所謂ライブ画像）と、の双方が並べて提示された画面Ｖ１０１を提示している。このように、画像中の患部のぶれが抑制された補正画像Ｖ１０５が提示されることで、当該患部のより細かな動きや変化等をより正確に観察することが可能となる。なお、画面Ｖ１０１として提示される画像が選択的に切り替えられてもよい。例えば、図８に示すように、撮像画像Ｖ１０３及び補正画像Ｖ１０５の双方が提示された画面と、撮像画像Ｖ１０３及び補正画像Ｖ１０５のいずれかのみが提示された画面と、が選択的に切り替えられてもよい。また、他の一例として、撮像画像Ｖ１０３及び補正画像Ｖ１０５のうちの一方の画像の一部に対して他方の画像を重畳させた所謂ＰＩＰ画像が、画面Ｖ１０１として提示されてもよい。
【００８８】
（実施例２：情報提示の一例）
次いで、実施例２として、患部の動きの検出結果に応じて、各種情報を提示する場合の一例について説明する。
【００８９】
例えば、患部の振動がより大きいような状況下では、当該患部の観察や計測等が行われたとしても、正確な結果を得ることが困難な場合が想定され得る。そのため、このような状況を想定し、患部の動きがより大きい場合（例えば、患部の動きの大きさが閾値以上の場合）には、警告を提示することで患部の観察や計測の実施の抑制を促してもよい。
【００９０】
例えば、図９は、実施例２に係る制御の一例について説明するための説明図であり、患部の動きの検出結果に応じて情報を提示する場合の一例について示している。具体的には、図９に示す例では、患部（動脈瘤）の動きの大きさが閾値以上となっており、撮像画像が提示された画面Ｖ１１１上に、計測の実施の抑制を促す警告を表示情報Ｖ１１３として提示している。
【００９１】
また、他の一例として、患部の動きの大きさに応じて、情報の提示に係る動作が制御されてもよい。例えば、図１０は、実施例２に係る制御の他の一例について説明するための説明図であり、患部の動きの検出結果に応じて情報を提示する場合の他の一例について示している。図１０に示す例では、患部の動きが小さい場合（例えば、患部の動きの大きさが閾値未満の場合）に、実施中の手技に関する情報（例えば、術者の手技をサポートするための情報）を提示している。具体的には、画像解析等に基づき患部（例えば、動脈瘤）のサイズ（例えば、参照符号Ｖ１２５で示された動脈瘤のドームのサイズ）が測定され、当該サイズの測定結果が表示情報Ｖ１１５として、撮像画像が提示された画面Ｖ１２１上に提示されている。なお、患部のサイズについては、例えば、撮像画像から抽出された患部の当該撮像画像中におけるサイズの情報や、撮像画像の撮像条件（例えば、焦点距離等）に基づき算出することが可能である。
【００９２】
（実施例３：画像の撮像に係る動作の制御の一例）
次いで、実施例３として、患部の動きの検出結果に基づき、撮像部による画像の撮像に係る動作を制御する場合の一例について説明する。
【００９３】
具体的には、観察対象となる患部が振動等の動きを示しているような状況下では、所謂被写体ぶれが生じる可能性がある。このような被写体ぶれは、例えば、露光時間がより長くなるほど（即ち、シャッタースピードが遅いほど）より顕在化しやすくなる。そのため、例えば、患部の動きがより大きいほど、露光時間がより短くなるように（即ち、シャッタースピードがより速くなるように）制御することで、被写体ぶれの影響をより低減することが可能となる。一方で、露光時間が短くなることで、光量が低下する傾向にある。そのため、例えば、露光時間を短くした場合には、例えば、絞りを解放することで取り込まれる光量をより大きくするとよい。また、他の一例として、露光時間を短くした場合には、ゲインを上げる（換言すると、撮像感度を向上させる）ことで、取り込まれる光量の低下に伴う撮像画像の明るさの低下が補間されてもよい。
【００９４】
例えば、図１１は、実施例３に係る制御の一例について説明するための説明図であり、患部の動きの検出結果に応じて撮像部による画像の撮像に係る動作の制御する場合の一例について示している。図１１に示す例では、横軸は、患部の振動の大きさ（即ち、患部の動きの大きさ）を示している。また、図１１に示す例では、患部の振動の大きさと、シャッタースピード及び光量それぞれと、の間の関係の一例を示している。即ち、図１１に示す例では、患部の振動の大きさと、シャッタースピードと、の関係を示すグラフについては、縦軸は、当該シャッタースピードの速さを示している。また、患部の振動の大きさと、光量の大きさ（換言すると、絞りの開放量）と、の間の関係を示すグラフについては、縦軸は、当該光量の大きさを示している。
【００９５】
即ち、図１１に示す例では、前述のように、患部の振動がより大きいほど、シャッタースピードがより速くなるように制御され、光量がより大きくなるように（即ち、絞りがより開放されるように）制御される。また、他の一例として、取り込まれる光量の大きさに替えて、撮像結果に適用されるゲイン（換言すると、撮像感度）が制御されてもよい。この場合には、光量をより大きくする制御に替えて、ゲインをより大きくする制御が適用されるとよい。即ち、患部の振動がより大きいほど、シャッタースピードがより速くなるように制御され、ゲインをより大きくなるように（即ち、撮像感度がより高く）制御されてもよい。また、取り込まれる光量の制御と、ゲインの制御と、の双方が行われてもよい。また、絞りやゲインが一定で、光源からの照射光量を大きく制御してもよい。以上のような制御により、患部の動きの大きさに応じて、撮像部による当該患部の画像の撮像に係る条件が制御されるため、患部の振動に伴い、患部の観察が困難となるような事態の発生をより抑制することが可能となる。
【００９６】
＜＜４．ハードウェア構成の一例＞＞
続いて、図１２を参照しながら、本実施形態に係る医療用観察システムにおいて、各種処理を実行する情報処理装置（例えば、図４に示すコントロールユニット２０１や、図５に示すコントロールユニット３１０等）のハードウェア構成の一例について、詳細に説明する。図１２は、本開示の一実施形態に係る医療用観察システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
【００９７】
本実施形態に係る医療用観察システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ（読み出し専用メモリ；Read  Only  Memory）９０３と、ＲＡＭ（Random  Access  Memory）９０５と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【００９８】
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図６に示すコントロールユニット３０１の各構成、即ち、画像解析部３０９、振動検出部３１１、撮像制御部３１３、画像処理部３１５、及び出力制御部３１７は、ＣＰＵ９０１により実現され得る。
【００９９】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
【０１００】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１０１】
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、液晶ディスプレイ装置、有機ＥＬ（Electro  Luminescence）ディスプレイ装置、ＣＲＴ（Cathode  Ray  Tube）ディスプレイ装置、プラズマディスプレイ装置、及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、図６に示す出力部３０７は、出力装置９１７により実現され得る。
【０１０２】
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。
【０１０３】
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ（登録商標））、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  ｍｅｍｏｒｙ  ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  ｃａｒｄ）又は電子機器等であってもよい。
【０１０４】
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
【０１０５】
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
【０１０６】
以上、本開示の実施形態に係る医療用観察システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１２では図示しないが、医療用観察システムを構成する情報処理装置９００に対応する各種の構成を当然備える。
【０１０７】
なお、上述のような本実施形態に係る医療用観察システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
【０１０８】
＜＜５．応用例＞＞
続いて、本開示の一実施形態に係る医療用観察システムの応用例として、図１３及び図１４を参照して、当該医療用観察システムを、顕微鏡ユニットを備えた内視鏡手術システムとして構成した場合の一例について説明する。
【０１０９】
図１３及び１４は、本開示の一実施形態に係る医療用観察システムの応用例について説明するための説明図であり、内視鏡手術システムの概略的な構成の一例について示している。
【０１１０】
例えば、図１３は、本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。図１３では、術者（医師）１６７が、内視鏡手術システム１００を用いて、患者ベッド１６９上の患者１７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１００は、内視鏡１０１と、その他の術具１１７と、内視鏡１０１を支持する支持アーム装置１２７と、内視鏡下手術のための各種の装置が搭載されたカート１３７と、から構成される。
【０１１１】
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ１２５ａ〜１２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ１２５ａ〜１２５ｄから、内視鏡１０１の鏡筒１０３や、その他の術具１１７が患者１７１の体腔内に挿入される。図示する例では、その他の術具１１７として、気腹チューブ１１９、エネルギー処置具１２１及び鉗子１２３が、患者１７１の体腔内に挿入されている。また、エネルギー処置具１２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具１１７はあくまで一例であり、術具１１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
【０１１２】
内視鏡１０１によって撮影された患者１７１の体腔内の術部の画像が、表示装置１４１に表示される。術者１６７は、表示装置１４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具１２１や鉗子１２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ１１９、エネルギー処置具１２１及び鉗子１２３は、手術中に、術者１６７又は助手等によって支持される。
【０１１３】
（支持アーム装置）
支持アーム装置１２７は、ベース部１２９から延伸するアーム部１３１を備える。図示する例では、アーム部１３１は、関節部１３３ａ、１３３ｂ、１３３ｃ、及びリンク１３５ａ、１３５ｂから構成されており、アーム制御装置１４５からの制御により駆動される。アーム部１３１によって内視鏡１０１が支持され、その位置及び姿勢が制御される。これにより、内視鏡１０１の安定的な位置の固定が実現され得る。
【０１１４】
（内視鏡）
内視鏡１０１は、先端から所定の長さの領域が患者１７１の体腔内に挿入される鏡筒１０３と、鏡筒１０３の基端に接続されるカメラヘッド１０５と、から構成される。図示する例では、硬性の鏡筒１０３を有するいわゆる硬性鏡として構成される内視鏡１０１を図示しているが、内視鏡１０１は、軟性の鏡筒１０３を有するいわゆる軟性鏡として構成されてもよい。なお、カメラヘッド１０５または当該カメラヘッド１０５を含む内視鏡１０１が、「医療用観察装置」の一例に相当する。
【０１１５】
鏡筒１０３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１０１には光源装置１４３が接続されており、当該光源装置１４３によって生成された光が、鏡筒１０３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１７１の体腔内の観察対象（換言すると、撮像対象物）に向かって照射される。なお、内視鏡１０１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【０１１６】
カメラヘッド１０５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera  Control  Unit）１３９に送信される。なお、カメラヘッド１０５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
【０１１７】
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド１０５には撮像素子が複数設けられてもよい。この場合、鏡筒１０３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
【０１１８】
（カートに搭載される各種の装置）
ＣＣＵ１３９は、ＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）等によって構成され、内視鏡１０１及び表示装置１４１の動作を統括的に制御する。具体的には、ＣＣＵ１３９は、カメラヘッド１０５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ１３９は、当該画像処理を施した画像信号を表示装置１４１に提供する。また、ＣＣＵ１３９は、カメラヘッド１０５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
【０１１９】
表示装置１４１は、ＣＣＵ１３９からの制御により、当該ＣＣＵ１３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡１０１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置１４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置１４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置１４１が設けられてもよい。
【０１２０】
光源装置１４３は、例えばＬＥＤ（light  emitting  diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡１０１に供給する。
【０１２１】
アーム制御装置１４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置１２７のアーム部１３１の駆動を制御する。
【０１２２】
入力装置１４７は、内視鏡手術システム１００に対する入力インタフェースである。ユーザは、入力装置１４７を介して、内視鏡手術システム１００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置１４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置１４７を介して、アーム部１３１を駆動させる旨の指示や、内視鏡１０１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具１２１を駆動させる旨の指示等を入力する。
【０１２３】
入力装置１４７の種類は限定されず、入力装置１４７は各種の公知の入力装置であってよい。入力装置１４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ１５７及び／又はレバー等が適用され得る。入力装置１４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置１４１の表示面上に設けられてもよい。
【０１２４】
あるいは、入力装置１４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head  Mounted  Display）等の、ユーザによって装着されるデバイスに具備されたセンサでもよく、この場合、これらのセンサによって検出されるユーザの動きや視線に応じて各種の入力が行われる。また、入力装置１４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置１４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置１４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者１６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
【０１２５】
処置具制御装置１４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１２１の駆動を制御する。気腹装置１５１は、内視鏡１０１による視野の確保及び術者の作業空間の確保の目的で、患者１７１の体腔を膨らめるために、気腹チューブ１１９を介して当該体腔内にガスを送り込む。レコーダ１５３は、手術に関する各種の情報を記録可能な装置である。プリンタ１５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【０１２６】
以下、内視鏡手術システム１００において特に特徴的な構成について、更に詳細に説明する。
【０１２７】
（支持アーム装置）
支持アーム装置１２７は、基台であるベース部１２９と、ベース部１２９から延伸するアーム部１３１と、を備える。図示する例では、アーム部１３１は、複数の関節部１３３ａ、１３３ｂ、１３３ｃと、関節部１３３ｂによって連結される複数のリンク１３５ａ、１３５ｂと、から構成されているが、図１３では、簡単のため、アーム部１３１の構成を簡略化して図示している。実際には、アーム部１３１が所望の自由度を有するように、関節部１３３ａ〜１３３ｃ及びリンク１３５ａ、１３５ｂの形状、数及び配置、並びに関節部１３３ａ〜１３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部１３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部１３１の可動範囲内において内視鏡１０１を自由に移動させることが可能になるため、所望の方向から内視鏡１０１の鏡筒１０３を患者１７１の体腔内に挿入することが可能になる。
【０１２８】
関節部１３３ａ〜１３３ｃにはアクチュエータが設けられており、関節部１３３ａ〜１３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置１４５によって制御されることにより、各関節部１３３ａ〜１３３ｃの回転角度が制御され、アーム部１３１の駆動が制御される。これにより、内視鏡１０１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置１４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部１３１の駆動を制御することができる。
【０１２９】
例えば、術者１６７が、入力装置１４７（フットスイッチ１５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置１４５によってアーム部１３１の駆動が適宜制御され、内視鏡１０１の位置及び姿勢が制御されてよい。当該制御により、アーム部１３１の先端の内視鏡１０１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部１３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部１３１は、手術室から離れた場所に設置される入力装置１４７を介してユーザによって遠隔操作され得る。
【０１３０】
また、力制御が適用される場合には、アーム制御装置１４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部１３１が移動するように、各関節部１３３ａ〜１３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部１３１に触れながらアーム部１３１を移動させる際に、比較的軽い力で当該アーム部１３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡１０１を移動させることが可能となり、ユーザの利便性を向上させることができる。
【０１３１】
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡１０１が支持されていた。これに対して、支持アーム装置１２７を用いることにより、人手によらずに内視鏡１０１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
【０１３２】
なお、アーム制御装置１４５は必ずしもカート１３７に設けられなくてもよい。また、アーム制御装置１４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置１４５は、支持アーム装置１２７のアーム部１３１の各関節部１３３ａ〜１３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置１４５が互いに協働することにより、アーム部１３１の駆動制御が実現されてもよい。
【０１３３】
（光源装置）
光源装置１４３は、内視鏡１０１に術部を撮影する際の照射光を供給する。光源装置１４３は、例えばＬＥＤ、レーザー光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザー光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザー光源それぞれからのレーザー光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１０５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【０１３４】
また、光源装置１４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１０５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【０１３５】
また、光源装置１４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow  Band  Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置１４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【０１３６】
（カメラヘッド及びＣＣＵ）
図１４を参照して、内視鏡１０１のカメラヘッド１０５及びＣＣＵ１３９の機能についてより詳細に説明する。図１４は、図１３に示すカメラヘッド１０５及びＣＣＵ１３９の機能構成の一例を示すブロック図である。
【０１３７】
図１４を参照すると、カメラヘッド１０５は、その機能として、レンズユニット１０７と、撮像部１０９と、駆動部１１１と、通信部１１３と、カメラヘッド制御部１１５と、を有する。また、ＣＣＵ１３９は、その機能として、通信部１５９と、画像処理部１６１と、制御部１６３と、を有する。カメラヘッド１０５とＣＣＵ１３９とは、伝送ケーブル１６５によって双方向に通信可能に接続されている。
【０１３８】
まず、カメラヘッド１０５の機能構成について説明する。レンズユニット１０７は、鏡筒１０３との接続部に設けられる光学系である。鏡筒１０３の先端から取り込まれた観察光は、カメラヘッド１０５まで導光され、当該レンズユニット１０７に入射する。レンズユニット１０７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット１０７は、撮像部１０９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
【０１３９】
撮像部１０９は撮像素子によって構成され、レンズユニット１０７の後段に配置される。レンズユニット１０７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部１０９によって生成された画像信号は、通信部１１３に提供される。
【０１４０】
撮像部１０９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサ、あるいは、ＣＣＤ（Charge  Coupled  Device）タイプのイメージセンサであり、ベイヤ（Bayer）配列を有するカラー撮影可能なものが用いられるが、単板の白黒撮影用でもよい。白黒撮影用イメージセンサを複数枚用いてもよい。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者１６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
【０１４１】
また、撮像部１０９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されていてもよい。３Ｄ表示が行われることにより、術者１６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１０９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１０７も複数系統設けられる。
【０１４２】
また、撮像部１０９は、必ずしもカメラヘッド１０５に設けられなくてもよい。例えば、撮像部１０９は、鏡筒１０３の内部に、対物レンズの直後に設けられてもよい。
【０１４３】
駆動部１１１は、アクチュエータによって構成され、カメラヘッド制御部１１５からの制御により、レンズユニット１０７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１０９による撮像画像の倍率及び焦点が適宜調整され得る。
【０１４４】
通信部１１３は、ＣＣＵ１３９との間で各種の情報を送受信するための通信装置によって構成される。通信部１１３は、撮像部１０９から得た画像信号をＲＡＷデータとして伝送ケーブル１６５を介してＣＣＵ１３９に送信する。この際、術部の撮像画像をできるだけ遅延なく表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者１６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部１１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル１６５を介してＣＣＵ１３９に送信される。
【０１４５】
また、通信部１１３は、ＣＣＵ１３９から、カメラヘッド１０５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮影時の撮像条件（シャッタースピードや絞り、ゲイン等）を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部１１３は、受信した制御信号をカメラヘッド制御部１１５に提供する。なお、ＣＣＵ１３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部１１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部１１５に提供される。
【０１４６】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ１３９の制御部１６３によって自動的に設定される。つまり、ＣＣＵ１３９と内視鏡１０１によって、いわゆるＡＥ（Auto  Exposure）機能、ＡＦ（Auto  Focus）機能及びＡＷＢ（Auto  White  Balance）機能が、実現される。
【０１４７】
カメラヘッド制御部１１５は、通信部１１３を介して受信したＣＣＵ１３９からの制御信号に基づいて、カメラヘッド１０５の駆動を制御する。例えば、カメラヘッド制御部１１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時のシャッター速度や絞りを指定する旨の情報に基づいて、撮像部１０９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部１１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部１１１を介してレンズユニット１０７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部１１５は、更に、鏡筒１０３やカメラヘッド１０５を識別するための情報を記憶する機能を備えてもよい。
【０１４８】
なお、レンズユニット１０７や撮像部１０９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド１０５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
【０１４９】
次に、ＣＣＵ１３９の機能構成について説明する。通信部１５９は、カメラヘッド１０５との間で各種の情報を送受信するための通信装置によって構成される。通信部１５９は、カメラヘッド１０５から、伝送ケーブル１６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部１５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部１５９は、電気信号に変換した画像信号を画像処理部１６１に提供する。
【０１５０】
また、通信部１５９は、カメラヘッド１０５に対して、カメラヘッド１０５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
【０１５１】
画像処理部１６１は、カメラヘッド１０５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise  reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部１６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
【０１５２】
画像処理部１６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部１６１が複数のＧＰＵによって構成される場合には、画像処理部１６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
【０１５３】
制御部１６３は、内視鏡１０１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部１６３は、カメラヘッド１０５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部１６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡１０１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部１６３は、画像処理部１６１による検波処理の結果に応じて、最適な露出条件、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
【０１５４】
また、制御部１６３は、画像処理部１６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置１４１に表示させる。この際、制御部１６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部１６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１２１使用時のミスト等を認識することができる。制御部１６３は、表示装置１４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者１６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
【０１５５】
カメラヘッド１０５及びＣＣＵ１３９を接続する伝送ケーブル１６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【０１５６】
ここで、図示する例では、伝送ケーブル１６５を用いて有線で通信が行われていたが、カメラヘッド１０５とＣＣＵ１３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル１６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル１６５によって妨げられる事態が解消され得る。
【０１５７】
以上、本開示に係る技術が適用され得る内視鏡手術システム１００の一例について説明した。なお、ここでは、一例として内視鏡手術システム１００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
【０１５８】
なお、上記に限らず、本開示の一実施形態に係る医療用観察システムの基本思想を逸脱しない範囲であれば、上述した本開示に係る技術を応用することが可能である。具体的な一例として、上述した内視鏡や施術用顕微鏡を適用したシステムに限らず、所望の形態の撮像装置により患部の画像を撮像することで、当該患部を観察可能とするシステムに対して、上述した本開示に係る技術を適宜応用することが可能である。
【０１５９】
また、患部の観察方法や適用される手技についても特に限定されないことは言うまでもない。例えば、動脈瘤を観察対象となる患部とした観察方法（治療方法）としては、上述したクリッピング術に限らず、ステントを使用した方法や、フローダイバータを使用した方法が知られている。また、観察方法や適用される手技に応じて、使用される処置具が異なる場合がある。このような場合においても、例えば、患部の近傍に保持される処置具であれば、上述した本開示に係る技術を適用し、逐次撮像される患部の画像から当該処置具の動きを抽出することで、当該患部の動きを検出することが可能である。
【０１６０】
以上、本開示の一実施形態に係る医療用観察システムの応用例として、図１３及び図１４を参照して、当該医療用観察システムを、内視鏡手術システムとして構成した場合の一例について説明した。
【０１６１】
＜＜６．むすび＞＞
以上説明したように、本開示の一実施形態に係る医療用観察システムは、撮像部と、検出部と、制御部とを備える。撮像部は、患部の画像を撮像する。検出部は、撮像部により逐次撮像された患部の画像に基づき当該患部の近傍に保持された処置具の動きを抽出し、当該抽出の結果に基づき当該患部の動きを検出する。制御部は、上記患部の動きの検出結果に応じて、当該患部の観察に関する処理を制御する。以上のような構成により、例えば、拍動に伴い血管等の患部が振動する等のように、手技の介在の有無に関わらず患部が動き得るような状況下においても、当該患部の観察をより好適な態様で実現することが可能となる。
【０１６２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１６３】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１６４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
患部の画像を撮像する撮像部と、
前記撮像部により逐次撮像された患部の画像に基づき前記患部の近傍に保持された処置具の動きを抽出し、当該抽出の結果に基づき当該患部の動きを検出する検出部と、
前記患部の動きの検出結果に応じて、当該患部の観察に関する処理を制御する制御部と、
を備える、医療用観察システム。
（２）
患者の体腔内に挿入される鏡筒を含む内視鏡部を備え、
前記撮像部は、前記内視鏡部により取得された前記患部の像を撮像する、
前記（１）に記載の医療用観察システム。
（３）
前記患部の拡大像を取得する顕微鏡部を備え、
前記撮像部は、前記顕微鏡部により取得された前記拡大像を撮像する、
前記（１）に記載の医療用観察システム。
（４）
撮像部により逐次撮像された患部の画像に基づき前記患部の近傍に保持された処置具の動きを抽出し、当該抽出の結果に基づき当該患部の動きを検出する検出部と、
前記患部の動きの検出結果に応じて、当該患部の観察に関する処理を制御する制御部と、
を備える、医療用観察装置。
（５）
前記制御部は、前記患部の動きの検出結果に基づき、撮像された前記患部の画像に対して画像処理を施す、前記（４）に記載の医療用観察装置。
（６）
前記制御部は、前記患部の動きの検出結果に基づき、撮像された前記患部の画像のぶれを補正する、前記（５）に記載の医療用観察装置。
（７）
前記制御部は、前記画像処理が施される前の前記患部の画像と、前記画像処理が施された後の前記患部の画像と、が関連付けられて出力部に提示されるように制御する、前記（５）または（６）に記載の医療用観察装置。
（８）
前記制御部は、前記患部の動きの検出結果に基づき、出力部に表示情報を提示させる、前記（４）〜（７）のいずれか一項に記載の医療用観察装置。
（９）
前記制御部は、検出された前記患部の動きの大きさに応じて、出力部に提示させる前記表示情報を制御する、前記（８）に記載の医療用観察装置。
（１０）
前記制御部は、検出された前記患部の動きの大きさ閾値を超える場合には、前記表示情報として警告を出力部に提示させる、前記（９）に記載の医療用観察装置。
（１１）
前記制御部は、検出された前記患部の動きの大きさ閾値以下の場合には、前記表示情報として手技に関する情報を出力部に提示させる、前記（９）または（１０）に記載の医療用観察装置。
（１２）
前記制御部は、前記患部の動きの検出結果に基づき、前記患部の観察に関する条件を制御する、前記（４）〜（１１）のいずれか一項に記載の医療用観察装置。
（１３）
前記制御部は、検出された前記患部の動きの大きさに応じて、前記撮像部のシャッタースピード、絞り、及びゲインのうち少なくともいずれかを制御する、前記（１２）に記載の医療用観察装置。
（１４）
前記制御部は、検出された前記患部の動きの大きさ閾値を超える場合には、前記シャッタースピードをより速くする制御と、前記絞りをより広げる制御と、前記ゲインをより大きくする制御と、のうち少なくともいずれかを実行する、前記（１３）に記載の医療用観察装置。
（１５）
前記検出部は、逐次撮像された前記画像から、前記処置具に保持された発光体を検出することで、当該処置具の動きを抽出する、前記（４）〜（１４）のいずれか一項に記載の医療用観察装置。
（１６）
前記検出部は、逐次撮像された前記画像から、前記処置具のうち所定の特徴を有する少なくとも一部を検出することで、当該処置具の動きを抽出する、前記（４）〜（１４）のいずれか一項に記載の医療用観察装置。
（１７）
前記患部は、血管である、前記（４）〜（１６）のいずれか一項に記載の医療用観察装置。
（１８）
前記患部は、動脈瘤である、前記（１７）に記載の医療用観察装置。
（１９）
コンピュータが、
撮像部により逐次撮像された患部の画像に基づき前記患部の近傍に保持された処置具の動きを抽出し、当該抽出の結果に基づき当該患部の動きを検出することと、
前記患部の動きの検出結果に応じて、当該患部の観察に関する処理を制御することと、
を含む、医療用観察装置の駆動方法。
（２０）
コンピュータに、
撮像部により逐次撮像された患部の画像に基づき前記患部の近傍に保持された処置具の動きを抽出し、当該抽出の結果に基づき当該患部の動きを検出することと、
前記患部の動きの検出結果に応じて、当該患部の観察に関する処理を制御することと、
を実行させる、プログラム。
【符号の説明】
【０１６５】
２、３  医療用観察システム
１６５、２２１、２２５  伝送ケーブル
２０１  コントロールユニット
２０３  撮像ユニット
２０５  センサドライバ
２０７  入力部
２０９  出力部
２１１  撮像光学系
２１３  分岐光学系
２１５、２１７  撮像素子
２１９  ＲＧＢレーザー
２２３  ＩＲレーザー
２２７、２２９  振動センサ
３０１  コントロールユニット
３０３  撮像部
３０５  検知部
３０７  出力部
３０９  画像解析部
３１１  振動検出部
３１３  撮像制御部
３１５  画像処理部
３１７  出力制御部
【図１】
2020009127.tif 000003
【図２】
2020009127.tif 000004
【図３】
2020009127.tif 000005
【図４】
2020009127.tif 000006
【図５】
2020009127.tif 000007
【図６】
2020009127.tif 000008
【図７】
2020009127.tif 000009
【図８】
2020009127.tif 000010
【図９】
2020009127.tif 000011
【図１０】
2020009127.tif 000012
【図１１】
2020009127.tif 000013
【図１２】
2020009127.tif 000014
【図１３】
2020009127.tif 000015
【図１４】
2020009127.tif 000016
【国際調査報告】
2020009127.tif 000017
2020009127.tif 000018
2020009127.tif 000019
2020009127.tif 000020