(57)【要約】【課題】生体の観察に係る状況に応じて、より好適な態様で画像ぶれを補正する。【解決手段】医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、前記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御する制御部と、を備える、制御装置。【選択図】図３
2018168261.tif 000002
【特許請求の範囲】
【請求項１】
医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、
前記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御する制御部と、
を備える、制御装置。
【請求項２】
前記制御部は、前記ズーム倍率が閾値以下の場合に前記ぶれの補正が抑制されるように制御する、請求項１に記載の制御装置。
【請求項３】
前記画像信号から特徴点を抽出する抽出部を備え、
前記推定部は、前記特徴点の抽出結果に基づき前記画像全体の動きを算出する、
請求項１に記載の制御装置。
【請求項４】
医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、
前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御する制御部と、
を備える、制御装置。
【請求項５】
前記制御部は、前記領域の割合に応じて、前記ぶれの補正量を制御するための係数を制御する、請求項４に記載の制御装置。
【請求項６】
前記制御部は、前記領域の割合がより高いほど前記ぶれの補正の度合いがより弱くなるように、前記係数を制御する、請求項５に記載の制御装置。
【請求項７】
前記制御部は、前記領域の割合に応じて、前記ぶれの補正が抑制されるように制御する、請求項４に記載の制御装置。
【請求項８】
前記被写体は、術具である、請求項４に記載の制御装置。
【請求項９】
前記被写体は、視認可能なガス状の物質である、請求項４に記載の制御装置。
【請求項１０】
前記領域の割合は、前記被写体の認識結果に応じて算出される、請求項４に記載の制御装置。
【請求項１１】
前記画像信号から特徴点を抽出する抽出部を備え、
前記推定部は、前記特徴点の抽出結果に基づき前記画像全体の動きを算出する、
請求項４に記載の制御装置。
【請求項１２】
コンピュータが、
医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御することと、
を含む、制御方法。
【請求項１３】
コンピュータが、
医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、
を含む、制御方法。
【請求項１４】
コンピュータに、
医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御することと、
を実行させる、プログラム。
【請求項１５】
コンピュータに、
医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、制御装置、制御方法、及びプログラムに関する。
【背景技術】
【０００２】
近年では、手術手法、手術器具の発達により、手術用顕微鏡や内視鏡等のような医療用観察装置により患部を観察しながら、各種処置を施す手術（所謂、マイクロサージャリー）が頻繁に行われるようになってきている。また、このような医療用観察装置の中には、患部を光学的に観察可能とする装置に限らず、撮像部（カメラ）等により撮像された患部の画像を、モニタやディスプレイなどの表示装置に電子画像として表示させる装置もある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１３９６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、内視鏡装置においては、カメラヘッドを保持する手等が振れた場合に、その振れの動きが対物レンズに伝わるため、手等のぶれに起因する画像ぶれが発生する場合がある。そのため、近年では、手等のぶれに起因する画像ぶれを補正する技術を適用した内視鏡装置も提案されている。例えば、特許文献１には、内視鏡装置において手等のぶれに起因する画像ぶれを補正する技術の一例が開示されている。【０００５】
一方で、内視鏡等のような医療用観察装置を利用した生体の観察においては、当該観察に係る条件や環境等が多様に変化し、そのときどきの状況に応じて、画像ぶれの補正に伴う観察対象（生体等）の視認性への影響も異なる。そのため、ある状況と同じ条件で画像ぶれの補正が行われたとしても、他の状況下では、必ずしも観察対象の視認性が向上するとは限らない。【０００６】
そこで、本開示では、生体の観察に係る状況に応じて、より好適な態様で画像ぶれを補正することが可能な、制御装置、制御方法、及びプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、前記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御する制御部と、を備える、制御装置が提供される。【０００８】
また、本開示によれば、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御する制御部と、を備える、制御装置が提供される。【０００９】
また、本開示によれば、コンピュータが、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御することと、を含む、制御方法が提供される。【００１０】
また、本開示によれば、コンピュータが、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、を含む、制御方法が提供される。【００１１】
また、本開示によれば、コンピュータに、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御するこことで、前記画像全体のぶれの補正に関する動作を制御することと、を実行させる、プログラムが提供される。【００１２】
また、本開示によれば、コンピュータに、医療用観察装置の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、を実行させる、プログラムが提供される。
【発明の効果】
【００１３】
以上説明したように本開示によれば、生体の観察に係る状況に応じて、より好適な態様で画像ぶれを補正することが可能な、制御装置、制御方法、及びプログラムが提供される。【００１４】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１５】
【図１】本開示の一実施形態に係る内視撮像システムの概略的な構成の一例を示す図である。
【図２】図１に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
【図３】本開示の一実施形態に係る医療用観察システムにおける制御装置の機能構成の一例を示したブロック図である。
【図４】同実施形態に係る医療用観察システムにおける制御装置の一連の処理の流れの一例を示したフローチャートである。
【図５】実施例１に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図６】実施例１に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図７】実施例２に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図８】実施例２に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図９】実施例３に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図１０】実施例３に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図１１】実施例４に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図１２】実施例４に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図１３】実施例５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図１４】実施例５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図１５】実施例５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図１６】実施例６に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図１７】実施例７に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図１８】実施例７に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図１９】実施例８に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図２０】実施例８に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図２１】実施例９に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図２２】実施例９に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図２３】実施例９に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図２４】実施例１０に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図２５】実施例１０に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図２６】実施例１１に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図２７】実施例１２に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図２８】実施例１３に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図２９】実施例１４に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。
【図３０】実施例１５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。な
【図３１】本開示の一実施形態に係る医療用観察システムの適用例について説明するための説明図である。
【図３２】本開示の一実施形態に係る医療用観察システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１７】
なお、説明は以下の順序で行うものとする。
１．医療用観察システムの構成例
２．技術的特徴
２．１．基本構成
２．２．処理
２．３．実施例
３．適用例
４．ハードウェア構成の一例
５．むすび
【００１８】
＜＜１．医療用観察システムの構成例＞＞
まず、図１及び図２を参照して、本開示の一実施形態に係る医療用観察システムの概略的な構成の一例について説明する。
【００１９】
例えば、図１は、本開示に係る技術が適用され得る医療用観察システムの概略的な構成の一例を示す図であり、当該医療用観察システムを所謂内視鏡手術システムとして構成した場合の一例を示している。図１では、術者（医師）１６７が、内視鏡手術システム１００を用いて、患者ベッド１６９上の患者１７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１００は、内視鏡１０１と、その他の術具１１７と、内視鏡１０１を支持する支持アーム装置１２７と、内視鏡下手術のための各種の装置が搭載されたカート１３７と、から構成される。
【００２０】
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ１２５ａ〜１２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ１２５ａ〜１２５ｄから、内視鏡１０１の鏡筒１０３や、その他の術具１１７が患者１７１の体腔内に挿入される。図示する例では、その他の術具１１７として、気腹チューブ１１９、エネルギー処置具１２１及び鉗子１２３が、患者１７１の体腔内に挿入されている。また、エネルギー処置具１２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具１１７はあくまで一例であり、術具１１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
【００２１】
内視鏡１０１によって撮影された患者１７１の体腔内の術部の画像が、表示装置１４１に表示される。術者１６７は、表示装置１４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具１２１や鉗子１２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ１１９、エネルギー処置具１２１及び鉗子１２３は、手術中に、術者１６７又は助手等によって支持される。
【００２２】
（支持アーム装置）
支持アーム装置１２７は、ベース部１２９から延伸するアーム部１３１を備える。図示する例では、アーム部１３１は、関節部１３３ａ、１３３ｂ、１３３ｃ、及びリンク１３５ａ、１３５ｂから構成されており、アーム制御装置１４５からの制御により駆動される。アーム部１３１によって内視鏡１０１が支持され、その位置及び姿勢が制御される。これにより、内視鏡１０１の安定的な位置の固定が実現され得る。
【００２３】
（内視鏡）
内視鏡１０１は、先端から所定の長さの領域が患者１７１の体腔内に挿入される鏡筒１０３と、鏡筒１０３の基端に接続されるカメラヘッド１０５と、から構成される。図示する例では、硬性の鏡筒１０３を有するいわゆる硬性鏡として構成される内視鏡１０１を図示しているが、内視鏡１０１は、軟性の鏡筒１０３を有するいわゆる軟性鏡として構成されてもよい。
【００２４】
鏡筒１０３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１０１には光源装置１４３が接続されており、当該光源装置１４３によって生成された光が、鏡筒１０３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１７１の体腔内の観察対象（換言すると、撮像対象物）に向かって照射される。なお、内視鏡１０１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【００２５】
カメラヘッド１０５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera  Control  Unit）１３９に送信される。なお、カメラヘッド１０５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
【００２６】
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド１０５には撮像素子が複数設けられてもよい。この場合、鏡筒１０３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
【００２７】
（カートに搭載される各種の装置）
ＣＣＵ１３９は、ＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）等によって構成され、内視鏡１０１及び表示装置１４１の動作を統括的に制御する。具体的には、ＣＣＵ１３９は、カメラヘッド１０５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ１３９は、当該画像処理を施した画像信号を表示装置１４１に提供する。また、ＣＣＵ１３９は、カメラヘッド１０５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
【００２８】
表示装置１４１は、ＣＣＵ１３９からの制御により、当該ＣＣＵ１３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡１０１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置１４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置１４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置１４１が設けられてもよい。
【００２９】
光源装置１４３は、例えばＬＥＤ（light  emitting  diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡１０１に供給する。
【００３０】
アーム制御装置１４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置１２７のアーム部１３１の駆動を制御する。
【００３１】
入力装置１４７は、内視鏡手術システム１００に対する入力インタフェースである。ユーザは、入力装置１４７を介して、内視鏡手術システム１００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置１４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置１４７を介して、アーム部１３１を駆動させる旨の指示や、内視鏡１０１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具１２１を駆動させる旨の指示等を入力する。
【００３２】
入力装置１４７の種類は限定されず、入力装置１４７は各種の公知の入力装置であってよい。入力装置１４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ１５７及び／又はレバー等が適用され得る。入力装置１４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置１４１の表示面上に設けられてもよい。
【００３３】
あるいは、入力装置１４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head  Mounted  Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置１４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置１４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置１４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者１６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
【００３４】
処置具制御装置１４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１２１の駆動を制御する。気腹装置１５１は、内視鏡１０１による視野の確保及び術者の作業空間の確保の目的で、患者１７１の体腔を膨らめるために、気腹チューブ１１９を介して当該体腔内にガスを送り込む。レコーダ１５３は、手術に関する各種の情報を記録可能な装置である。プリンタ１５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【００３５】
以下、内視鏡手術システム１００において特に特徴的な構成について、更に詳細に説明する。
【００３６】
（支持アーム装置）
支持アーム装置１２７は、基台であるベース部１２９と、ベース部１２９から延伸するアーム部１３１と、を備える。図示する例では、アーム部１３１は、複数の関節部１３３ａ、１３３ｂ、１３３ｃと、関節部１３３ｂによって連結される複数のリンク１３５ａ、１３５ｂと、から構成されているが、図１では、簡単のため、アーム部１３１の構成を簡略化して図示している。実際には、アーム部１３１が所望の自由度を有するように、関節部１３３ａ〜１３３ｃ及びリンク１３５ａ、１３５ｂの形状、数及び配置、並びに関節部１３３ａ〜１３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部１３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部１３１の可動範囲内において内視鏡１０１を自由に移動させることが可能になるため、所望の方向から内視鏡１０１の鏡筒１０３を患者１７１の体腔内に挿入することが可能になる。
【００３７】
関節部１３３ａ〜１３３ｃにはアクチュエータが設けられており、関節部１３３ａ〜１３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置１４５によって制御されることにより、各関節部１３３ａ〜１３３ｃの回転角度が制御され、アーム部１３１の駆動が制御される。これにより、内視鏡１０１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置１４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部１３１の駆動を制御することができる。
【００３８】
例えば、術者１６７が、入力装置１４７（フットスイッチ１５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置１４５によってアーム部１３１の駆動が適宜制御され、内視鏡１０１の位置及び姿勢が制御されてよい。当該制御により、アーム部１３１の先端の内視鏡１０１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部１３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部１３１は、手術室から離れた場所に設置される入力装置１４７を介してユーザによって遠隔操作され得る。
【００３９】
また、力制御が適用される場合には、アーム制御装置１４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部１３１が移動するように、各関節部１３３ａ〜１３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部１３１に触れながらアーム部１３１を移動させる際に、比較的軽い力で当該アーム部１３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡１０１を移動させることが可能となり、ユーザの利便性を向上させることができる。
【００４０】
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡１０１が支持されていた。これに対して、支持アーム装置１２７を用いることにより、人手によらずに内視鏡１０１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
【００４１】
なお、アーム制御装置１４５は必ずしもカート１３７に設けられなくてもよい。また、アーム制御装置１４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置１４５は、支持アーム装置１２７のアーム部１３１の各関節部１３３ａ〜１３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置１４５が互いに協働することにより、アーム部１３１の駆動制御が実現されてもよい。
【００４２】
（光源装置）
光源装置１４３は、内視鏡１０１に術部を撮影する際の照射光を供給する。光源装置１４３は、例えばＬＥＤ、レーザー光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザー光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザー光源それぞれからのレーザー光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１０５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【００４３】
また、光源装置１４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１０５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【００４４】
また、光源装置１４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow  Band  Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置１４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【００４５】
（カメラヘッド及びＣＣＵ）
図２を参照して、内視鏡１０１のカメラヘッド１０５及びＣＣＵ１３９の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド１０５及びＣＣＵ１３９の機能構成の一例を示すブロック図である。
【００４６】
図２を参照すると、カメラヘッド１０５は、その機能として、レンズユニット１０７と、撮像部１０９と、駆動部１１１と、通信部１１３と、カメラヘッド制御部１１５と、を有する。また、ＣＣＵ１３９は、その機能として、通信部１５９と、画像処理部１６１と、制御部１６３と、を有する。カメラヘッド１０５とＣＣＵ１３９とは、伝送ケーブル１６５によって双方向に通信可能に接続されている。
【００４７】
まず、カメラヘッド１０５の機能構成について説明する。レンズユニット１０７は、鏡筒１０３との接続部に設けられる光学系である。鏡筒１０３の先端から取り込まれた観察光は、カメラヘッド１０５まで導光され、当該レンズユニット１０７に入射する。レンズユニット１０７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット１０７は、撮像部１０９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
【００４８】
撮像部１０９は撮像素子によって構成され、レンズユニット１０７の後段に配置される。レンズユニット１０７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部１０９によって生成された画像信号は、通信部１１３に提供される。
【００４９】
撮像部１０９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者１６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
【００５０】
また、撮像部１０９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者１６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１０９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１０７も複数系統設けられる。
【００５１】
また、撮像部１０９は、必ずしもカメラヘッド１０５に設けられなくてもよい。例えば、撮像部１０９は、鏡筒１０３の内部に、対物レンズの直後に設けられてもよい。
【００５２】
駆動部１１１は、アクチュエータによって構成され、カメラヘッド制御部１１５からの制御により、レンズユニット１０７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１０９による撮像画像の倍率及び焦点が適宜調整され得る。
【００５３】
通信部１１３は、ＣＣＵ１３９との間で各種の情報を送受信するための通信装置によって構成される。通信部１１３は、撮像部１０９から得た画像信号をＲＡＷデータとして伝送ケーブル１６５を介してＣＣＵ１３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者１６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部１１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル１６５を介してＣＣＵ１３９に送信される。
【００５４】
また、通信部１１３は、ＣＣＵ１３９から、カメラヘッド１０５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部１１３は、受信した制御信号をカメラヘッド制御部１１５に提供する。なお、ＣＣＵ１３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部１１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部１１５に提供される。
【００５５】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ１３９の制御部１６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto  Exposure）機能、ＡＦ（Auto  Focus）機能及びＡＷＢ（Auto  White  Balance）機能が内視鏡１０１に搭載される。
【００５６】
カメラヘッド制御部１１５は、通信部１１３を介して受信したＣＣＵ１３９からの制御信号に基づいて、カメラヘッド１０５の駆動を制御する。例えば、カメラヘッド制御部１１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部１０９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部１１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部１１１を介してレンズユニット１０７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部１１５は、更に、鏡筒１０３やカメラヘッド１０５を識別するための情報を記憶する機能を備えてもよい。
【００５７】
なお、レンズユニット１０７や撮像部１０９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド１０５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
【００５８】
次に、ＣＣＵ１３９の機能構成について説明する。通信部１５９は、カメラヘッド１０５との間で各種の情報を送受信するための通信装置によって構成される。通信部１５９は、カメラヘッド１０５から、伝送ケーブル１６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部１５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部１５９は、電気信号に変換した画像信号を画像処理部１６１に提供する。
【００５９】
また、通信部１５９は、カメラヘッド１０５に対して、カメラヘッド１０５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
【００６０】
画像処理部１６１は、カメラヘッド１０５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise  reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部１６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
【００６１】
画像処理部１６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部１６１が複数のＧＰＵによって構成される場合には、画像処理部１６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
【００６２】
制御部１６３は、内視鏡１０１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部１６３は、カメラヘッド１０５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部１６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡１０１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部１６３は、画像処理部１６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
【００６３】
また、制御部１６３は、画像処理部１６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置１４１に表示させる。この際、制御部１６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部１６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１２１使用時のミスト等を認識することができる。制御部１６３は、表示装置１４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者１６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
【００６４】
カメラヘッド１０５及びＣＣＵ１３９を接続する伝送ケーブル１６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【００６５】
ここで、図示する例では、伝送ケーブル１６５を用いて有線で通信が行われていたが、カメラヘッド１０５とＣＣＵ１３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル１６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル１６５によって妨げられる事態が解消され得る。
【００６６】
以上、本開示に係る技術が適用され得る内視鏡手術システム１００の一例について説明した。なお、ここでは、一例として内視鏡手術システム１００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
【００６７】
＜＜２．技術的特徴＞＞
続いて、本開示の一実施形態に係る医療用観察システム（換言すると、医療用撮像システム）の技術的特徴について説明する。
【００６８】
＜２．１．基本構成＞
まず、図１を参照して前述したＣＣＵ１３９のように、撮像部により撮像された画像に対して画像処理を施す制御装置（換言すると、画像処理装置）の基本的な機能構成の一例について、特に、手ぶれ等のような画像ぶれを補正する部分に着目して説明する。図３は、本実施形態に係る医療用観察システムにおける制御装置の機能構成の一例を示したブロック図である。
【００６９】
図３に示すように、本実施形態に係る制御装置２００は、画像処理ユニット２１０と、判定部２５０とを含む。
【００７０】
画像処理ユニット２１０は、撮像部から所定のフレームレートで入力される画像信号（以下、「入力画像信号」とも称する）に対して各種解析処理を施すことで、手ぶれ等のような画像ぶれを検出し、当該検出結果に基づき入力画像信号に対して各種処理を施すことで、当該画像ぶれを補正する。
【００７１】
また、本実施形態に係る制御装置２００においては、判定部２５０が、各種状態や状況の検出結果等のような所定の入力情報に応じて、画像ぶれの補正の適用の有無や、補正を適用する場合における当該補正の度合い（換言すると、補正の強度）を制御する。具体的な一例として、判定部２５０は、所定の入力情報に応じて画像ぶれの補正の度合いを制御するための係数を決定し、当該係数を画像処理ユニット２１０に通知することで、当該補正の有無や当該補正の度合いを制御してもよい。なお、入力情報に応じた画像ぶれの補正の度合いの制御の一例については、当該入力情報の具体例とあわせて、実施例として詳細を別途後述する。また、以降の説明においては、画像ぶれの補正を、単に「ぶれ補正」とも称する。また、判定部２５０が、画像ぶれの補正の適用の有無や、当該補正の度合いを制御する「制御部」の一例に相当する。
【００７２】
ここで、画像処理ユニット２１０の構成についてより詳しく説明する。図３に示すように、画像処理ユニット２１０は、例えば、第１制御部２１１と、特徴点抽出部２１３と、推定部２１５と、第２制御部２１７と、補正処理部２１９とを含む。
【００７３】
第１制御部２１１は、判定部２５０からの制御に基づき、入力画像信号に対してぶれ補正の適用の有無を設定する。例えば、第１制御部２１１は、判定部２５０によるぶれ補正の適用の有無の判定結果に応じて、入力画像信号に対して当該判定結果に応じた係数（即ち、ぶれ補正の適用の有無に応じた係数）を関連付けてもよい。より具体的な一例として、第１制御部２１１は、ぶれ補正が適用される場合には、ぶれ補正の適用の有無を示す係数として「１」を設定し、ぶれ補正が適用されない場合（即ち、ぶれ補正を抑制する場合）には、当該係数として「０」を設定してもよい。そして、第１制御部２１１は、入力画像信号に対してぶれ補正の適用の有無を示す情報（例えば、ぶれ補正の適用の有無を示す係数）を関連付けて、当該入力画像信号を特徴点抽出部２１３に出力する。
【００７４】
なお、ぶれ補正の適用の有無について選択的な切り替えが不要な場合（即ち、常にぶれ補正が適用される場合）については、第１制御部２１１が設けられていなくてもよいし、第１制御部２１１が無効化されていてもよい。
【００７５】
特徴点抽出部２１３は、入力画像信号に対して画像解析を施すことで、エッジ（例えば、しわや模様等）や色の分布等に基づき、画像中から特徴的な部分を特徴点として抽出する。そして、特徴点抽出部２１３は、入力画像信号と、当該入力画像信号から抽出した特徴点に関する情報と、を推定部２１５に通知する。
【００７６】
推定部２１５は、特徴点抽出部２１３から出力される入力画像信号と特徴点に関する情報とに基づき、画像全体のぶれ（より具体的には、ぶれの方向やぶれの量）を推定する。
【００７７】
具体的な一例として、推定部２１５は、入力画像信号の画面を所定のサイズのブロックに区切り、ブロックごとに所定フレーム前（例えば、１フレーム前）の入力画像信号と比較することによって、ブロック単位の動きベクトル（以下、「ローカル動きベクトル」とも称する）とその信頼度とを算出する。
【００７８】
また、推定部２１５は、各フレームのブロックごとのローカル動きベクトルのうち、信頼度の高いものを積分することにより、当該フレームにおける画像全体としての動きベクトル（以下、「グローバル動きベクトル」とも称する）を決定する。また、推定部２１５は、当該該フレームの前の数フレーム分のグローバル動きベクトルを平準化することにより瞬時エラーを除去してもよい。また、推定部２１５は、当該フレーム後の数フレーム分のグローバル動きベクトルを用いて平準化するようにしてもよい。
【００７９】
また、推定部２１５は、撮像部に設けられた各種センサ（図示を省略する）により検出された加速度や角速度の検出結果と、グローバル動きベクトル及びその信頼度と、に基づき、当該撮像部の対物レンズの移動量を算出する。次いで、推定部２１５は、算出した対物レンズの移動量に基づき、画像全体のぶれ（例えば、画像ぶれの方向やぶれ量）を推定する。
【００８０】
そして、推定部２１５は、入力画像信号に対して画像全体のぶれの推定結果を示す情報を関連付けて、当該入力画像信号を第２制御部２１７に出力する。
【００８１】
第２制御部２１７は、推定部２１５から入力画像信号を取得する。また、第２制御部２１７は、取得した入力画像信号に関連付けられたぶれ補正の適用の有無を示す情報に応じて、判定部２５０からの制御に基づき、当該入力画像信号に適用されるぶれ補正の度合い（換言すると、補正強度）を制御する。
【００８２】
具体的な一例として、第２制御部２１７は、入力画像信号に関連付けられているぶれ補正の適用の有無を示す係数（例えば、「１」または「０」）と、判定部２５０から通知される係数（即ち、ぶれ補正の度合いに応じた係数）とに基づき、ぶれ補正の補正強度（換言すると、ぶれ補正の補正量）を決定する。より具体的な一例として、第２制御部２１７は、入力画像信号に関連付けられた係数と、判定部２５０から通知される係数とを乗ずることで、ぶれ補正の補正強度を示す補正係数（ゲイン）を算出してもよい。これにより、例えば、入力画像信号対してぶれ補正の適用が行われない場合には、当該入力画像信号に関連付けられた係数が「０」のため、ぶれ補正の補正強度を示す補正係数の算出結果も「０」となり、結果として当該ぶれ補正が適用されないこととなる。また、入力画像信号対してぶれ補正の適用が行われる場合には、当該入力画像信号に関連付けられた係数が「１」のため、ぶれ補正の補正強度を示す補正係数は、判定部２５０から通知される係数に応じて決定されることとなる。
【００８３】
そして、第２制御部２１７は、入力画像信号と、当該入力画像信号について決定したぶれ補正の補正強度を示す情報と、を補正処理部２１９に出力する。なお、ぶれ補正の補正強度を示す情報とは、ぶれ補正を適用の有無や、ぶれ補正の適用の度合いを示す情報に相当し、例えば、一例として上述したぶれ補正の補正係数を示す情報に相当する。
【００８４】
補正処理部２１９は、第２制御部２１７から入力画像信号を取得し、当該入力画像信号に関連付けられた各種情報に応じて、当該入力画像信号に対してぶれ補正を適用する。
【００８５】
具体的には、補正処理部２１９は、入力画像信号の全領域（有効画素エリア）から、有効画素エリアよりも小さいサイズの切り出しエリアを切り出すことにより得られる画像信号を、出力画像信号として後段に位置する構成（例えば、表示装置等）に出力する。このとき、補正処理部２１９は、切り出しエリアの位置を、画像全体のぶれに応じたシフト量だけ移動させることにより、当該ぶれを補正する。なお、切り出しエリアの位置（換言すると、画像全体のぶれに応じたシフト量）については、例えば、入力画像信号に関連付けられた画像全体のぶれ推定結果を示す情報（即ち、ぶれの方向やぶれの量を示す情報）に基づき決定すればよい。
【００８６】
また、補正処理部２１９は、入力画像信号に関連付けられたぶれ補正の補正強度を示す情報に基づき、当該入力画像信号に対して適用するぶれ補正の度合いを制御してもよい。具体的な一例として、補正処理部２１９は、補正強度に応じて、ぶれ補正を適用するか否かを判定する閾値を制御してもよい。この場合には、補正処理部２１９は、ぶれ量が閾値よりも小さい場合にぶれ補正を適用し、補正強度がより高いほど当該閾値がより大きくなるように（即ち、より大きいぶれも補正の対象となるように）制御してもよい。
【００８７】
また、補正処理部２１９は、ぶれ補正の補正強度を示す情報に基づき、ぶれ補正の補正量を制御してもよい。具体的な一例として、補正処理部２１９は、補正強度がより低いほど、ぶれ補正の補正量（即ち、切り出しエリアの位置のシフト量）がより小さくなるように制限してもよい。
【００８８】
以上、図３を参照して、撮像部により撮像された画像に対して画像処理を施す制御装置の基本的な機能構成の一例について、特に、手ぶれ等のような画像ぶれを補正する部分に着目して説明した。
【００８９】
＜２．２．処理＞
続いて、図４を参照して、撮像部により撮像された画像に対して画像処理を施す制御装置の一連の処理の流れの一例について、特に、手ぶれ等のような画像ぶれを補正する部分に着目して説明する。図４は、本実施形態に係る医療用観察システムにおける制御装置の一連の処理の流れの一例を示したフローチャートである。
【００９０】
まず、制御装置２００は、撮像部から所定のフレームレートで出力される画像信号を取得する（Ｓ１０１）。このとき、制御装置２００（第１制御部２１１）は、所定の入力情報に応じて決定したぶれ補正の適用の有無を示す情報を、取得した画像信号（即ち、入力画像信号）に関連付けてもよい。
【００９１】
次いで、制御装置２００（特徴点抽出部２１３）は、入力画像信号に対して画像解析を施すことで、画像中から特徴的な部分を特徴点として抽出する（Ｓ１０３）。
【００９２】
また、制御装置２００（推定部２１５）は、特徴点の抽出結果に基づき、画像全体のぶれを推定する。具体的な一例として、制御装置２００は、入力画像信号の画面を所定のサイズのブロックに区切り、ブロックごとに所定フレーム前の入力画像信号と比較することによって、ローカル動きベクトルと、その信頼度とを算出する。また、制御装置２００は、各フレームのブロックごとのローカル動きベクトルのうち、信頼度の高いものを積分することにより、グローバル動きベクトルを決定する。また、制御装置２００は、撮像部に設けられた各種センサにより検出された加速度や角速度の検出結果と、グローバル動きベクトル及びその信頼度と、に基づき、当該撮像部の対物レンズの移動量を算出する。そして、制御装置２００は、算出した対物レンズの移動量に基づき、画像全体のぶれ（例えば、画像ぶれの方向やぶれ量）を推定する（Ｓ１０５）。
【００９３】
次いで、制御装置２００（第２制御部２１７）は、所定の入力情報に応じて、入力画像信号に適用するぶれ補正の補正強度（即ち、ぶれ補正の度合い）を制御する。具体的な一例として、制御装置２００は、当該入力情報に応じて、入力画像信号に適用するぶれ補正の補正強度を示す係数を決定してもよい（Ｓ２００）。
【００９４】
そして、制御装置２００（補正処理部２１９）は、画像全体のぶれの推定結果と、所定の入力情報に応じた補正強度と、に基づき、入力画像信号に対してぶれ補正を適用し、当該補正後の画像信号を出力画像信号として、出力画像信号として後段に位置する構成（例えば、表示装置等）に出力する。なお、ぶれ補正の方法については前述した通りのため、詳細な説明は省略する（Ｓ１０７）。
【００９５】
以上、図４を参照して、撮像部により撮像された画像に対して画像処理を施す制御装置の一連の処理の流れの一例について、特に、手ぶれ等のような画像ぶれを補正する部分に着目して説明した。
【００９６】
＜２．３．実施例＞
続いて、本実施形態に係る医療用観察システムの実施例として、図３を参照して説明した制御装置２００による画像ぶれの補正に係る制御の一例について、入力情報の具体例とあわせて以下に説明する。
【００９７】
（実施例１：ズーム倍率に応じた制御）
まず、実施例１として、図５及び図６を参照して、撮像部のズーム倍率を示す情報を入力情報として、当該ズーム倍率に応じた画像ぶれの補正に係る制御の一例について説明する。図５及び図６は、実施例１に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ａ」と称する場合がある。
【００９８】
例えば、図５は、実施例１に係る制御装置２００ａの機能構成の一例を示している。なお、制御装置２００ａは、主に、判定部２５０ａと、画像処理ユニット２１０ａにおける第１制御部２１１ａ及び第２制御部２１７ａと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ａの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
【００９９】
判定部２５０ａは、例えば、撮像部からズーム倍率の設定に関する情報を入力情報として取得し、当該入力情報に応じて、ぶれ補正の適用の有無を判定し、当該ぶれ補正を適用する場合には適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第１制御部２１１ａは、判定部２５０ａによるズーム倍率に応じた判定結果に基づき、ぶれ補正の適用の有無を制御する。また、第２制御部２１７ａは、判定部２５０ａによるズーム倍率に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
【０１００】
ここで、図６を参照して、ズーム倍率に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図６は、本実施例におけるズーム倍率とぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図６において、横軸はズーム倍率を示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
【０１０１】
図６に示すように、本実施例においては、補正強度を制御するための係数は、ズーム倍率が低いほどより小さくなるように設定され、ズーム倍率が高いほどより大きくなるように設定される。また、ズーム倍率が所定の閾値以下の場合に、ぶれ補正が無効化（抑制）されてもよい。
【０１０２】
具体的な一例として、ズーム倍率がより低く設定されている場合には、画像として撮像される範囲（即ち、視野の範囲）がより広くなる。このような状況下で、ぶれ補正の補正強度を強めると、例えば、大きく揺れている鉗子等の術具の動きを示す動きベクトルがグローバル動きベクトルとして採用された場合に、後景に相当する俯瞰像が大きく揺れ、生体等の観察対象を観察しにくくなる場合がある。そのため、このような場合には、例えば、ぶれ補正の補正強度を弱めるか、もしくはぶれ補正を無効化（抑制）することで、生体等の観察対象を観察しやすくなる場合がある。
【０１０３】
また、他の一例として、ズーム倍率がより低く設定されている状況下で、ぶれ補正の補正強度を強めると、有効画素エリアから切り出しエリアを切り出す際に、切り出しエリア以外の部分（例えば、有効画素エリアの端部側）として削られる領域がより広くなる傾向にある。そのため、内視鏡装置のスコープ等が意図的に動かされた場合等のように、撮像部による撮像される範囲が意図的に動かされた場合においてもぶれ補正が適用され、結果として生体等の観察対象を観察しにくくなる場合がある。このような場合においても、例えば、ぶれ補正の補正強度を弱めるか、もしくはぶれ補正を無効化（抑制）することで、生体等の観察対象を観察しやすくなる場合がある。
【０１０４】
なお、図６に示したズーム倍率とぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、ズーム倍率がより高くなるほどぶれ補正の補正強度がより強められるように制御されれば、ズーム倍率と当該係数との関係は必ずしも図６に示す例には限定されない。
【０１０５】
以上、実施例１として、図５及び図６を参照して、撮像部のズーム倍率を示す情報を入力情報として、当該ズーム倍率に応じた画像ぶれの補正に係る制御の一例について説明した。
【０１０６】
（実施例２：被写体とのワーキングディスタンスに応じた制御）
続いて、実施例２として、図７及び図８を参照して、被写体とのワーキングディスタンスを示す情報を入力情報として、当該ワーキングディスタンスに応じた画像ぶれの補正に係る制御の一例について説明する。図７及び図８は、実施例２に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｂ」と称する場合がある。また、ワーキングディスタンスとは、撮像部の対物レンズと被写体（例えば、観察対象となる生体）との間の距離を示すものとする。
【０１０７】
例えば、図７は、実施例２に係る制御装置２００ｂの機能構成の一例を示している。なお、制御装置２００ｂは、主に、判定部２５０ｂと、画像処理ユニット２１０ｂにおける第１制御部２１１ｂ及び第２制御部２１７ｂと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｂの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
【０１０８】
判定部２５０ｂは、例えば、測距センサ等による撮像部の対物レンズと被写体との間の距離（即ち、ワーキングディスタンス）の検出結果を示す情報を入力情報として取得する。また、他の一例として、判定部２５０ｂは、撮像部により撮像された画像を解析することで算出された、当該撮像部の対物レンズと当該画像中に撮像された被写体との間の距離を示す情報を入力情報として取得してもよい。そして、判定部２５０ｂは、取得した入力情報（即ち、ワーキングディスタンスを示す情報）に応じて、ぶれ補正の適用の有無を判定し、当該ぶれ補正を適用する場合には適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第１制御部２１１ｂは、判定部２５０ｂによるワーキングディスタンスに応じた判定結果に基づき、ぶれ補正の適用の有無を制御する。また、第２制御部２１７ｂは、判定部２５０ｂによるワーキングディスタンスに応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
【０１０９】
ここで、図８を参照して、ワーキングディスタンスに応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図６は、本実施例におけるワーキングディスタンスとぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図６において、横軸はズーム倍率を示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
【０１１０】
図８に示すように、本実施例においては、補正強度を制御するための係数は、ワーキングディスタンスが短いほど（即ち、撮像部の対物レンズと被写体との間の距離が近いほど）より小さくなるように設定され、ワーキングディスタンスが長いほど（即ち、撮像部の対物レンズと被写体との間の距離が遠いほど）より大きくなるように設定される。また、ワーキングディスタンスが閾値以上となった場合には、ぶれ補正が無効化（抑制）されてもよい。
【０１１１】
具体的な一例として、ワーキングディスタンスが短いほど（即ち、撮像部の対物レンズと被写体との間の距離が近いほど）、画像として撮像される範囲（即ち、視野の範囲）がより狭くなり、撮像部の対物レンズの移動量に対する画像全体のぶれが相対的により大きくなる。そのため、例えば、ワーキングディスタンスが短いほどぶれ補正の補正強度を強める（即ち、補正強度を制御するための係数をより大きくする）ことで、生体等の観察対象を観察しやすくなる場合がある。
【０１１２】
なお、図８に示したワーキングディスタンスとぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、ワーキングディスタンスがより短くなるほどぶれ補正の補正強度がより強められるように制御されれば、ワーキングディスタンスと当該係数との関係は必ずしも図８に示す例には限定されない。
【０１１３】
以上、実施例２として、図７及び図８を参照して、被写体とのワーキングディスタンスを示す情報を入力情報として、当該ワーキングディスタンスに応じた画像ぶれの補正に係る制御の一例について説明した。
【０１１４】
（実施例３：手術時間に応じた制御）
続いて、実施例３として、図９及び図１０を参照して、手術時間を示す情報を入力情報として、当該手術時間に応じた画像ぶれの補正に係る制御の一例について説明する。図９及び図１０は、実施例３に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｃ」と称する場合がある。
【０１１５】
例えば、図９は、実施例３に係る制御装置２００ｃの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｃについては、画像処理ユニット２１０ｃに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｃは、主に、判定部２５０ｂと、画像処理ユニット２１０ｃにおける第２制御部２１７ｂと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｃの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
【０１１６】
判定部２５０ｃは、例えば、計時部等による手術時間の計測結果を示す情報を入力情報として取得し、取得した入力情報（即ち、手術時間を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｃは、判定部２５０ｃによる手術時間に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
【０１１７】
ここで、図１０を参照して、手術時間に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図１０は、本実施例における手術時間とぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図１０において、横軸は手術時間を示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
【０１１８】
図１０に示すように、本実施例においては、手術時間が所定の閾値を超えた場合に、当該手術時間がより長くなるほど補正強度を制御するための係数がより大きくなるように設定される。
【０１１９】
具体的な一例として、内視鏡をスコピストが保持するような状況を想定した場合には、手術時間が長くなるほど当該スコピストに疲労が蓄積されるため、当該内視鏡がよりぶれやすくなることが推測される。このような状況を鑑み、手術時間が長くなるほど、ぶれ補正の補正強度がより強められるように制御してもよい。
【０１２０】
なお、図１０に示した手術時間とぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、手術時間がより長くなるほどぶれ補正の補正強度がより強められるように制御されれば、手術時間と当該係数との関係は必ずしも図１０に示す例には限定されない。
【０１２１】
以上、実施例３として、図９及び図１０を参照して、手術時間を示す情報を入力情報として、当該手術時間に応じた画像ぶれの補正に係る制御の一例について説明した。
【０１２２】
（実施例４：手術台の振動に応じた制御）
続いて、実施例４として、図１１及び図１２を参照して、手術台の振動の検出結果を示す情報を入力情報として、当該手術台の振動に応じた画像ぶれの補正に係る制御の一例について説明する。図１及び図１２は、実施例４に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｄ」と称する場合がある。
【０１２３】
例えば、図１１は、実施例４に係る制御装置２００ｄの機能構成の一例を示している。なお、制御装置２００ｄは、主に、判定部２５０ｄと、画像処理ユニット２１０ｄにおける第１制御部２１１ｄ及び第２制御部２１７ｄと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｄの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
【０１２４】
判定部２５０ｄは、例えば、振動センサ等のような各種センサによる手術台の振動の検知結果を示す情報を入力情報として取得する。そして、判定部２５０ｄは、取得した入力情報（即ち、手術台の振動を示す情報）に応じて、ぶれ補正の適用の有無を判定し、当該ぶれ補正を適用する場合にはぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第１制御部２１１ｄは、判定部２５０ｄによる手術台の振動に応じた判定結果に基づき、ぶれ補正の適用の有無を制御する。また、第２制御部２１７ｄは、判定部２５０ｄによる手術台の振動に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
【０１２５】
ここで、図１２を参照して、手術台の振動に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図６は、本実施例における手術台の振動とぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図６において、横軸は手術台の振動の大きさを示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
【０１２６】
図１２に示すように、本実施例においては、手術台の振動の大きさが所定の閾値を超えた場合に、当該振動がより大きくなるほど補正強度を制御するための係数がより小さくなるように設定される。また、手術台の振動の大きさが閾値以上となった場合には、ぶれ補正が無効化（抑制）されてもよい。
【０１２７】
即ち、本実施例においては、手術台の振動がより大きくなるほど、ぶれ補正の補正強度がより弱めることで、当該ぶれ補正に伴う弊害の顕在化を抑制する。
【０１２８】
なお、図１２に示した手術台の振動の大きさとぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、手術台の振動がより大きくなるほどぶれ補正の補正強度がより弱められるように制御されれば、手術台の振動の大きさと当該係数との関係は必ずしも図１２に示す例には限定されない。
【０１２９】
以上、実施例４として、図１１及び図１２を参照して、手術台の振動の検出結果を示す情報を入力情報として、当該手術時間に応じた画像ぶれの補正に係る制御の一例について説明した。
【０１３０】
（実施例５：画面内における術具の占有率に応じた制御）
続いて、実施例５として、図１３〜図１５を参照して、画面内における術具の占有率を示す情報を入力情報として、当該術具の占有率に応じた画像ぶれの補正に係る制御の一例について説明する。図１３〜図１５は、実施例５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｅ」と称する場合がある。
【０１３１】
例えば、図１３は、実施例５に係る制御装置２００ｅの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｅについては、画像処理ユニット２１０ｅに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｅは、主に、判定部２５０ｅと、画像処理ユニット２１０ｅにおける第２制御部２１７ｅと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｅの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
【０１３２】
判定部２５０ｅは、物体認識技術等に基づき認識された画面内における術具の占有率を示す情報を入力情報として取得する。
【０１３３】
例えば、図１４は、画面内における術具の占有率の認識に係る処理の一例について説明するための説明図である。具体的には、図１４の上側の図において、参照符号Ｖ３０１は、内視鏡等を介して撮像された生体の画像（患部等の画像）の一例を示している。即ち、画像Ｖ３０１においては、観察対象となる生体に加えて、画面内に鉗子３１１及び３１３やガーゼ３１５等の術具が撮像されている。
【０１３４】
また、図１４の下側の図は、上側の図に示した画像Ｖ３０１に対する物体認識技術等を利用したシーン認識処理に基づく、当該画像Ｖ３０１中に撮像された生体以外の物体（例えば、術具等）の認識結果の一例を示している。具体的には、参照符号Ｖ３１１及びＶ３１３で示された領域は、鉗子３１１及び３１３それぞれが画面内に占める領域の認識結果の一例を模式的に示している。また、参照符号Ｖ３１５で示された領域は、ガーゼ３１５が画面内に占める領域の認識結果の一例を模式的に示している。また、参照符号Ｖ３１７は、画面Ｖ３０１に映り込んだ内視鏡の鏡筒等が画面内に占める領域の認識結果の一例を模式的に示している。
【０１３５】
即ち、物体認識技術等を利用することで、画像中に撮像された術具等を認識することにより、例えば、図１４の下側の図に示すように、画面内における術具等の物体（換言すると、生体以外の物体）の占有率を算出することが可能となる。
【０１３６】
そして、判定部２５０ｅは、取得した入力情報（即ち、画面内における術具の占有率を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、図１３に示すように、第２制御部２１７ｅは、判定部２５０ｅによる画面内における術具の占有率に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
【０１３７】
ここで、図１５を参照して、画面内における術具の占有率に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図１５は、本実施例における画面内における術具の占有率とぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図１０において、横軸は画面内における術具の占有率を示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
【０１３８】
図１５に示すように、本実施例においては、画面内における術具の占有率が所定の閾値を超えた場合に、当該占有率がより高くなるほど補正強度を制御するための係数がより小さくなるように設定される。
【０１３９】
具体的な一例として、画面内における術具の占有率がより高くなるほど、観察対象となる生体が当該術具（即ち、生体以外に被写体）により遮蔽される領域の割合がより高くなる。このような状況下で、生体領域のみから特徴点の抽出が行われると、生体領域の割合がより低くなるほど（即ち、術具等により遮蔽される領域の割合がより高くなるほど）、抽出される特徴点の数はより少なくなる。このような場合には、特徴点の抽出結果に基づき算出される動きベクトルの信頼度が低下するため、当該動きベクトルに基づくぶれ補正のための補正値（例えば、シフト量）の信頼度も低下する。なお、このような特性から、例えば、特徴点を抽出する範囲の設定には、物体認識の結果を使用しない方がより望ましい。また、生体領域以外の部分も含めて特徴点の抽出を行ったとしても、生体以外の領域が多く含まれることとなるため、特徴点の抽出結果に基づき算出される動きベクトルの信頼度が低下し、結果として当該動きベクトルに基づくぶれ補正のための補正値の信頼度も低下する場合がある。
【０１４０】
このように、ぶれ補正のための補正値の信頼度が低下するような状況下において、ぶれ補正の補正強度を強めると、適切な態様でぶれ補正が適用されず、生体等の観察対象を観察しにくくなる場合が想定される。そのため、例えば、画面内における生体以外の領域の占有率（例えば、術具の占有率）がより高くなるほど、ぶれ補正の補正強度をより弱めることで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。
【０１４１】
なお、図１５に示した画面内における術具の占有率とぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、画面内における術具の占有率がより高くなるほどぶれ補正の補正強度がより弱められるように制御されれば、当該占有率と当該係数との関係は必ずしも図１５に示す例には限定されない。また、上記では、ぶれ補正の補正強度をより弱める場合の一例について説明したが、術具の占有率がより高くなった場合に、ぶれ補正が無効化（抑制）されるように制御されてもよい。
【０１４２】
以上、実施例５として、図１３〜図１５を参照して、画面内における術具の占有率を示す情報を入力情報として、当該術具の占有率に応じた画像ぶれの補正に係る制御の一例について説明した。
【０１４３】
（実施例６：観察モードに応じた制御）
続いて、実施例６として、図１６を参照して、観察モードを示す情報を入力情報として、当該観察モードに応じた画像ぶれの補正に係る制御の一例について説明する。図１６は、実施例６に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｆ」と称する場合がある。また、観察モードとは、例えば、白色光観察、赤外光観察や蛍光観察等の特殊光観察、ＰＤＤ（Photodynamic  diagnosis）等のような観察方法に応じたモードを示している。
【０１４４】
例えば、図１６は、実施例６に係る制御装置２００ｆの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｆについては、画像処理ユニット２１０ｆに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｆは、主に、判定部２５０ｆと、画像処理ユニット２１０ｆにおける第２制御部２１７ｆと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｆの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
【０１４５】
判定部２５０ｆ、例えば、観察モードの設定に関する情報を入力情報として取得し、取得した入力情報（即ち、観察モードを示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｆは、判定部２５０ｆによる観察モードに応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
【０１４６】
具体的には、特殊光観察においては、白色光観察に比べて動きベクトルの算出に係る精度が低下する傾向にある。そのため、特殊光観察等のようにフレームレートを落とすような状況下においては、白色光観察の場合と同様に生体等の観察対象を観察できるように、ぶれ補正の補正強度を白色光観察の場合に比べてより強めるとよい。
【０１４７】
以上、実施例６として、図１６を参照して、観察モードを示す情報を入力情報として、当該観察モードに応じた画像ぶれの補正に係る制御の一例について説明した。
【０１４８】
（実施例７：モニタと術者との間の距離に応じた制御）
続いて、実施例７として、図１７及び図１８を参照して、モニタと術者との間の距離を示す情報を入力情報として、当該距離に応じた画像ぶれの補正に係る制御の一例について説明する。図１７及び図１８は、実施例７に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｇ」と称する場合がある。
【０１４９】
例えば、図１７は、実施例７に係る制御装置２００ｇの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｇについては、画像処理ユニット２１０ｇに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｇは、主に、判定部２５０ｇと、画像処理ユニット２１０ｇにおける第２制御部２１７ｇと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｇの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
【０１５０】
判定部２５０ｇは、術者と所定のモニタ（例えば、メインモニタ）との間の距離の測定結果を示す情報を入力情報として取得し、取得した入力情報（即ち、術者とモニタとの間の距離を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｇは、判定部２５０ｇによる術者とモニタとの間の距離に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、術者とモニタとの間の距離を示す情報を取得できれば、その方法は特に限定されない。具体的な一例として、術場カメラ等により術者とモニタとが撮像された画像に基づき、当該術者と当該モニタとの間の距離が測定（算出）されてもよい。また、他の一例として、測距センサ等による検出結果に基づき、術者とモニタとの間の距離を示す情報が取得されてもよい。
【０１５１】
ここで、図１８を参照して、術者とモニタとの間の距離に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図１８は、本実施例における術者とモニタとの間の距離とぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図１８において、横軸は術者とモニタとの間の距離を示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
【０１５２】
図１８に示すように、本実施例においては、術者とモニタとの間の距離が短いほど（即ち、術者がモニタのより近くに位置するほど）、補正強度を制御するための係数がより大きくなるように設定される。また、術者とモニタとの間の距離が所定の閾値を超えた場合には、補正強度を制御するための係数を所定値に維持されてもよい。
【０１５３】
具体的な一例として、術者とモニタとの間の距離がより短くなるほど、術者が知覚する画像ぶれは相対的により大きくなる。このような状況を鑑み、術者とモニタとの間の距離が短くなるほど、ぶれ補正の補正強度がより強められるように制御してもよい。
【０１５４】
なお、図１８に示した手術者とモニタとの間の距離とぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、術者とモニタとの間の距離がより短くなるほどぶれ補正の補正強度がより強められるように制御されれば、術者とモニタとの間の距離と当該係数との関係は必ずしも図１８に示す例には限定されない。
【０１５５】
以上、実施例７として、図１７及び図１８を参照して、モニタと術者との間の距離を示す情報を入力情報として、当該距離に応じた画像ぶれの補正に係る制御の一例について説明した。
【０１５６】
（実施例８：モニタサイズに応じた制御）
続いて、実施例８として、図１９及び図２０を参照して、所定のモニタのモニタサイズを示す情報を入力情報として、当該モニタサイズに応じた画像ぶれの補正に係る制御の一例について説明する。図１９及び図２０は、実施例８に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｈ」と称する場合がある。
【０１５７】
例えば、図１９は、実施例８に係る制御装置２００ｈの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｈについては、画像処理ユニット２１０ｈに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｈは、主に、判定部２５０ｈと、画像処理ユニット２１０ｈにおける第２制御部２１７ｈと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｈの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
【０１５８】
判定部２５０ｈは、所定のモニタ（例えば、メインモニタ）のモニタサイズを示す情報を入力情報として取得し、取得した入力情報（即ち、モニタサイズを示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｈは、判定部２５０ｈによるモニタサイズに応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、所定のモニタのモニタサイズを示す情報を取得することが可能であれば、その方法は特に限定されない。具体的な一例として、画像の表示先となるモニタ自体から、当該モニタのモニタサイズを示す情報を取得してもよい。
【０１５９】
ここで、図２０を参照して、モニタサイズに応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図２０は、本実施例におけるモニタサイズとぶれ補正の補正強度を制御するための係数との関係の一例を示したグラフである。図２０において、横軸はモニタサイズを示しており、縦軸は補正強度を制御するための係数を示している。なお、本実施例において、補正強度を制御するための係数は、０以上１以下の範囲で決定され、０の場合にはぶれ補正が適用されない場合と実質的に同様となる。
【０１６０】
図２０に示すように、本実施例においては、モニタサイズが大きいほど、補正強度を制御するための係数がより大きくなるように設定される。また、モニタサイズが所定の閾値を超えた場合には、補正強度を制御するための係数を所定値に維持されてもよい。
【０１６１】
具体的な一例として、モニタサイズがより大きくなるほど、モニタに表示される画像のサイズは大きくなり、当該画像のぶれ幅も相対的により大きくなる。このような状況を鑑み、モニタサイズが大きくなるほど、ぶれ補正の補正強度がより強められるように制御してもよい。
【０１６２】
なお、図２０に示したモニタサイズとぶれ補正の補正強度を制御するための係数との関係はあくまで一例である。即ち、モニタサイズがより大きくなるほどぶれ補正の補正強度がより強められるように制御されれば、モニタサイズと当該係数との関係は必ずしも図２０に示す例には限定されない。
【０１６３】
以上、実施例８として、図１９及び図２０を参照して、所定のモニタのモニタサイズを示す情報を入力情報として、当該モニタサイズに応じた画像ぶれの補正に係る制御の一例について説明した。
【０１６４】
（実施例９：術具の状態に応じた制御）
続いて、実施例９として、図２１〜図２３を参照して、術具の状態を示す情報を入力情報として、当該術具の状態に応じた画像ぶれの補正に係る制御の一例について説明する。図２１〜図２３は、実施例９に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｉ」と称する場合がある。
【０１６５】
例えば、図２１は、実施例９に係る制御装置２００ｉの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｉについては、画像処理ユニット２１０ｉに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｉは、主に、判定部２５０ｉと、画像処理ユニット２１０ｉにおける第２制御部２１７ｉと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｉの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
【０１６６】
判定部２５０ｉは、例えば、ステープラー、エナジーデバイス、縫合針や糸、デブリッタ等のような術具の状態を示す情報を入力情報として取得し、取得した入力情報（即ち、術具の状態を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｉは、判定部２５０ｉによる術具の状態に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、術具の状態を示す情報を取得することが可能であれば、その方法は特に限定されない。具体的な一例として、対象となる術具、または当該術具を制御する制御部から、当該術具の状態を示す情報を取得してもよい。また、他の一例として、画像に対して画像解析を施すことで、当該画像中に撮像された術具の状態を認識してもよい。
【０１６７】
ここで、図２２を参照して、術具の状態に応じた画像ぶれの補正に係る制御の一例についてより詳しく説明する。図２２は、本実施例における術具の状態に応じたぶれ補正の制御の流れの一例を示したフローチャートである。
【０１６８】
図２２に示すように、制御装置２００ｉ（判定部２５０ｉ）は、所定の術具が検出されたか否かを判定し（Ｓ２０１）、当該術具が検出された場合には（Ｓ２０１、ＹＥＳ）、当該術具に対する所定の操作が検出されたか否かを判定する（Ｓ２０３）。そして、当該術具に対する当該操作が検出された場合には（Ｓ２０３、ＹＥＳ）、制御装置２００ｉ（第２制御部２１７ｉ）は、ぶれ補正の補正強度がより強められるように制御する（Ｓ２０５）。
【０１６９】
例えば、図２３は、検出対象となる術具の一例と、当該術具に対する操作の一例とを示している。具体的には、検出対象となる術具の一例として、「ステープラー」、「エナジーデバイス」、「縫合針や糸」、「デブリッタ」等が挙げられる。また、ステープラーに対する操作の一例としては、例えば、生体等を「挟む」操作や、薬剤等を「発射」する操作等が挙げられる。また、エナジーデバイスに対する操作の一例としては、生体等を「切開」する操作や、「止血」の操作等が挙げられる。また、縫合針や糸に対する操作の一例としては、「縫合」の操作等が挙げられる。また、デブリッタに対する操作の一例としては、病巣等を「切除」する操作が挙げられる。これらの操作が行われる場合には、画像がぶれずに安定していることが望ましい。そのため、当該操作の検出時に、ぶれ補正の補正強度がより強められるように制御することで、画像ぶれの発生を抑制するとよい。
【０１７０】
一方で、図２２に示すように、制御装置２００ｉ（第２制御部２１７ｉ）は、所定の術具が検出されない場合や（Ｓ２０１、ＮＯ）、所定の術具に対する所定の操作が検出されない場合には（Ｓ２０３、ＮＯ）、ぶれ補正の補正強度がより弱められるように制御してもよい（Ｓ２０５）。また、このとき制御装置２００ｉ（第２制御部２１７ｉ）は、ぶれ補正を無効化（抑制）してもよい。
【０１７１】
以上、実施例９として、図２１〜図２３を参照して、術具の状態を示す情報を入力情報として、当該術具の状態に応じた画像ぶれの補正に係る制御の一例について説明した。
【０１７２】
（実施例１０：ユーザ入力に応じた制御）
続いて、実施例１０として、図２４及び図２５を参照して、ユーザ入力を入力情報として、当該ユーザ入力に応じた画像ぶれの補正に係る制御の一例について説明する。図２４及び図２５は、実施例１０に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｊ」と称する場合がある。
【０１７３】
例えば、図２４は、実施例１０に係る制御装置２００ｊの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｊについては、画像処理ユニット２１０ｊに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｊは、主に、判定部２５０ｊと、画像処理ユニット２１０ｊにおける第２制御部２１７ｊと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｊの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
【０１７４】
本実施例では、所定の入力部を介した操作に基づくユーザからの指示に応じて、ぶれ補正の補正強度が制御される場合の一例について説明する。即ち、判定部２５０ｊは、所定の入力部を介したユーザ入力を入力情報として取得し、取得した入力情報（即ち、ユーザ入力）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｈは、判定部２５０ｈによるユーザ入力に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
【０１７５】
例えば、図２５は、カメラヘッド等に設けられた入力インタフェース１８０の一例を示している。図２５に示す例では、ぶれ補正の補正強度を指定するためのボタン１８１ａ〜１８１ｃと、ぶれ補正の無効化を指定するためのボタン１８１ｄとが設けられている。また、図２５に示す例では、ぶれ補正を有効化する場合に、ボタン１８１ａ〜１８１ｃのいずれかを操作することで、ぶれ補正の補正強度を、「強」、「中」、及び「弱」の３段階の間で選択的に切り替えることが可能である。
【０１７６】
以上、図２４及び図２５を参照して、ユーザ入力を入力情報として、当該ユーザ入力に応じた画像ぶれの補正に係る制御の一例について説明した。
【０１７７】
（実施例１１：ＣＣＵ／光源モードの切り替えに応じた制御）
続いて、実施例１１として、図２６を参照して、ＣＣＵ／光源モードの切り替えを示す情報を入力情報として、当該切り替えに応じた画像ぶれの補正に係る制御の一例について説明する。図２６は、実施例１１に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｋ」と称する場合がある。
【０１７８】
例えば、図２６は、実施例１１に係る制御装置２００ｋの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｋについては、画像処理ユニット２１０ｋに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｋは、主に、判定部２５０ｋと、画像処理ユニット２１０ｋにおける第２制御部２１７ｋと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｋの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
【０１７９】
例えば、ＣＣＵに対する操作（例えば、ズーム倍率の変更等）や光源モードの切り替えの操作等により一時的に振動が生じ、結果として一時的に画像ぶれが生じる場合がある。このような場合においてもぶれ補正が適用されると、却って生体等の観察対象を観察しにくくなる場合がある。このような状況を鑑み、本実施例においては、ＣＣＵに対する操作や光源モードの切り替えの操作等の所定の操作が検出された場合に、制御装置２００ｋは、一時的にぶれ補正の補正強度が弱められるように制御するか、もしくは一時的にぶれ補正を無効化する。
【０１８０】
即ち、判定部２５０ｋは、ＣＣＵに対する操作や光源モードの切り替えの操作等の検出結果を示す情報を入力情報として取得し、取得した入力情報（即ち、ＣＣＵに対する操作や光源モードの切り替えの操作等の検出結果を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｈは、判定部２５０ｈによるＣＣＵに対する操作や光源モードの切り替えの操作等の検出結果に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定すればよい。
【０１８１】
なお、制御装置２００ｋは、一時的にぶれ補正の補正強度が弱められるように制御するか、もしくは一時的にぶれ補正を無効化した場合には、一定時間の経過後にぶれ補正の補正強度を制御前の状態に戻してもよい。
【０１８２】
以上、実施例１１として、図２６を参照して、ＣＣＵ／光源モードの切り替えを示す情報を入力情報として、当該切り替えに応じた画像ぶれの補正に係る制御の一例について説明した。
【０１８３】
（実施例１２：動きベクトルの算出結果に応じた制御）
続いて、実施例１２として、図２７を参照して、動きベクトルの算出結果を示す情報を入力情報として、当該動きベクトルの算出結果に応じた画像ぶれの補正に係る制御の一例について説明する。図２７は、実施例１２に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｍ」と称する場合がある。
【０１８４】
例えば、図２７は、実施例１２に係る制御装置２００ｍの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｍについては、画像処理ユニット２１０ｍに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｍは、主に、判定部２５０ｍと、画像処理ユニット２１０ｍにおける第２制御部２１７ｍと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｍの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
【０１８５】
判定部２５０ｍは、推定部２１５による動きベクトルの推定結果を示す情報を入力情報として取得し、取得した入力情報（即ち、動きベクトルの推定結果を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｍは、判定部２５０ｍによる動きベクトルの推定結果に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。
【０１８６】
具体的な一例として、内視鏡の挿入時や、所謂パン操作等のように撮像部を平行移動させるような操作等のように、所定の操作が行われた場合には、当該操作に伴い撮像部の位置や向きが変化し、当該変化が動きベクトルとして検出されることとなる。このような意図的な操作が行われた場合に、当該操作に伴う画像の動きに対しても、ぶれ補正が適用されると、生体等の観察対象を観察しにくくなる場合がある。そのため、例えば、動きベクトルの推定結果が、意図的な操作による撮像部の位置や向きの変化に伴うものであると認識される場合には、補正強度が弱められるように制御するか、もしくは一時的にぶれ補正を無効化することで、生体等の観察対象を観察しやすくなる場合がある。
【０１８７】
なお、動きベクトルの推定結果が、意図的な操作による撮像部の位置や向きの変化に伴うものであることが認識可能であれば、その方法は特に限定されない。例えば、内視鏡の挿入時や、パン操作が行われた場合には、画像全体が一定方向に向けて定常的に変化する場合がある。このような場合には、例えば、複数フレーム間において動きベクトルの推定結果が略等しい方向を示し、動きベクトルの大きさの変化も緩やかになる傾向にある。このような特性を利用し、例えば、画像全体の変化が、瞬時的な変化ではなく、一定方向に向けた定常的な変化であることが認識された場合に、内視鏡の挿入時や、パン操作が行われた場合等のように、意図的な操作により撮像部の位置や向きが変化したものと認識することが可能となる。
【０１８８】
以上、実施例１２として、図２７を参照して、動きベクトルの算出結果を示す情報を入力情報として、当該動きベクトルの算出結果に応じた画像ぶれの補正に係る制御の一例について説明した。
【０１８９】
（実施例１３：ＡＦ／ＡＥの検波状況に応じた制御）
続いて、実施例１３として、図２８を参照して、ＡＦ（Autofocus）／ＡＥ（Automatic  Exposure）の検波状況を示す情報を入力情報として、当該ＡＦ／ＡＥの検波状況に応じた画像ぶれの補正に係る制御の一例について説明する。図２８は、実施例１３に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｎ」と称する場合がある。
【０１９０】
例えば、図２８は、実施例１３に係る制御装置２００ｎの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｎについては、画像処理ユニット２１０ｎに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｎは、主に、判定部２５０ｎと、画像処理ユニット２１０ｎにおける第２制御部２１７ｎと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｎの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
【０１９１】
判定部２５０ｎは、ＡＦやＡＥの検波状況を示す情報を入力情報として取得し、取得した入力情報（即ち、ＡＦやＡＥの検波状況を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｎは、判定部２５０ｎによるＡＦやＡＥの検波状況に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、ＡＦやＡＥの検波状況を認識することが可能であれば、その方法は特に限定されない。具体的な一例として、撮像部に設けられたイメージセンサ等によるＡＦやＡＥの検波状況を示す情報を、当該撮像部（または、イメージセンサ自体）から取得してもよい。また、他の一例として、撮像画像を解析することで、ＡＦやＡＥの検波状況が推定されてもよい。
【０１９２】
具体的には、ＡＦやＡＥの検波に失敗した場合には、特徴点の抽出や、当該特徴点の抽出結果に基づく動きベクトルの推定が正しく行われず、結果として、ぶれ補正のための補正値の信頼度が低下する場合がある。より具体的な一例として、ＡＦに失敗した場合には、画像にぼけが生じ、エッジ等の特徴点の抽出が困難となる。また、ＡＥに失敗した結果として、画像全体の明度が暗くなると、特徴点の抽出が困難となる。
【０１９３】
このように、ぶれ補正のための補正値の信頼度が低下するような状況下において、ぶれ補正の補正強度を強めると、適切な態様でぶれ補正が適用されず、生体等の観察対象を観察しにくくなる場合が想定される。そのため、例えば、ＡＦやＡＥの検波に失敗した場合には、ぶれ補正の補正強度をより弱めるか、もしくはぶれ補正を一時的に無効化することで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。
【０１９４】
以上、実施例１３として、図２８を参照して、ＡＦ（Autofocus）／ＡＥ（Automatic  Exposure）の検波状況を示す情報を入力情報として、当該ＡＦ／ＡＥの検波状況に応じた画像ぶれの補正に係る制御の一例について説明した。
【０１９５】
（実施例１４：レンズ汚れの検出結果に応じた制御）
続いて、実施例１４として、図２９を参照して、レンズ汚れの検出結果を示す情報を入力情報として、当該レンズ汚れの検出結果に応じた画像ぶれの補正に係る制御の一例について説明する。図２９は、実施例１４に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｐ」と称する場合がある。
【０１９６】
例えば、図２９は、実施例１４に係る制御装置２００ｐの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｐについては、画像処理ユニット２１０ｐに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｐは、主に、判定部２５０ｐと、画像処理ユニット２１０ｐにおける第２制御部２１７ｐと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｐの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
【０１９７】
判定部２５０ｐは、レンズ汚れの検出結果を示す情報を入力情報として取得し、取得した入力情報（即ち、レンズ汚れの検出結果を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定する。即ち、第２制御部２１７ｐは、判定部２５０ｐによるレンズ汚れの検出結果に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、レンズ汚れを検出可能であれば、その方法は特に限定されない。例えば、各種センサ等によりレンズ汚れが検出されてもよい。また、他の一例として、撮像画像を解析することで、レンズ汚れが検出されてもよい。
【０１９８】
具体的には、レンズに汚れが付着している状況下では、当該汚れにより生体等のような観察対象となる被写体が遮蔽されたり、画像にぼけが生じたりする場合がある。このような状況下では、特徴点の抽出や、当該特徴点の抽出結果に基づく動きベクトルの推定が正しく行われず、結果として、ぶれ補正のための補正値の信頼度が低下する場合がある。
【０１９９】
このように、ぶれ補正のための補正値の信頼度が低下するような状況下において、ぶれ補正の補正強度を強めると、適切な態様でぶれ補正が適用されず、生体等の観察対象を観察しにくくなる場合が想定される。そのため、例えば、レンズに汚れが付着していることが検出された場合には、ぶれ補正の補正強度をより弱めるか、もしくはぶれ補正を一時的に無効化することで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。
【０２００】
以上、実施例１４として、図２９を参照して、レンズ汚れの検出結果を示す情報を入力情報として、当該レンズ汚れの検出結果に応じた画像ぶれの補正に係る制御の一例について説明した。
【０２０１】
（実施例１５：煙やミストの検出結果に応じた制御）
続いて、実施例１５として、図３０を参照して、煙やミストの検出結果を示す情報を入力情報として、当該煙やミストの検出結果に応じた画像ぶれの補正に係る制御の一例について説明する。図３０は、実施例１５に係る制御装置による画像ぶれの補正に係る制御の一例について説明するための説明図である。なお、本説明では、本実施例に係る制御装置を、他の実施例に係る制御装置と区別するために、「制御装置２００ｑ」と称する場合がある。
【０２０２】
例えば、図３０は、実施例１５に係る制御装置２００ｑの機能構成の一例を示している。なお、本実施例においては、画像ぶれの補正を行うことを前提として説明する。そのため、制御装置２００ｑについては、画像処理ユニット２１０ｑに、図３を参照して前述した第１制御部２１１に相当する構成が含まれていない。また、制御装置２００ｑは、主に、判定部２５０ｑと、画像処理ユニット２１０ｑにおける第２制御部２１７ｑと、のそれぞれの動作が、図３を参照して説明した制御装置２００と異なる。そこで、制御装置２００ｑの動作について、図３を前述した制御装置２００と異なる部分に着目して説明し、当該制御装置２００と実質的に同様の部分については詳細な説明は省略する。
【０２０３】
具体的には、薬剤の噴霧等に伴い生じるミストにより、生体等の観察対象となる被写体が一時的に遮蔽されるような状況が想定される。また、エナジーデバイス等の使用に伴い生じる煙により、生体等の観察対象となる被写体が一時的に遮蔽されるような状況も想定される。このように、煙やミスト等のような視認可能なガス状の物質により、生体等のような観察対象となる被写体が一時的に遮蔽されるような状況下においては、特徴点の抽出や、当該特徴点の抽出結果に基づく動きベクトルの推定が正しく行われず、結果として、ぶれ補正のための補正値の信頼度が低下する場合がある。このように、ぶれ補正のための補正値の信頼度が低下するような状況下において、ぶれ補正の補正強度を強めると、適切な態様でぶれ補正が適用されず、生体等の観察対象を観察しにくくなる場合が想定される。
【０２０４】
そのため、例えば、判定部２５０ｑは、煙やミスト等のような視認可能なガス状の物質の検出結果を示す情報を入力情報として取得し、取得した入力情報（即ち、当該ガス状の物質の検出結果を示す情報）に応じて、ぶれ補正の適用の度合い（即ち、補正強度）を制御するための係数を決定してもよい。即ち、第２制御部２１７ｐは、判定部２５０ｐによる煙やミスト等のような視認可能なガス状の物質の検出結果に応じた判定結果に基づき、ぶれ補正の補正強度を示す補正係数を決定する。なお、煙やミスト等のような視認可能なガス状の物質を検出可能であれば、その方法は特に限定されない。例えば、各種センサ等により当該ガス状の物質が検出されてもよい。また、他の一例として、撮像画像を解析することで、当該ガス状の物質が検出されてもよい。
【０２０５】
以上のように、煙やミスト等のような視認可能なガス状の物質が検出された場合には、ぶれ補正の補正強度をより弱めるか、もしくはぶれ補正を一時的に無効化することで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。なお、前述した実施例５と同様の思想に基づき、画面内において煙やミスト等のような視認可能なガス状の物質により生体等の観察対象となる被写体が遮蔽されている割合に応じて、ぶれ補正の補正強度が制御されてもよい。
【０２０６】
以上、実施例１５として、図３０を参照して、煙やミストの検出結果を示す情報を入力情報として、当該煙やミストの検出結果に応じた画像ぶれの補正に係る制御の一例について説明した。
【０２０７】
（実施例１６：手順に応じた制御の一例）
続いて、実施例１６として、手術等における手順、補正対象、または手技等に応じて、上述した各実施例を適宜適用する場合の一例について説明する。
【０２０８】
具体的な一例として、消化器外科における手術を想定し、「切開・剥離」、「生検」、「血管処理」の順に各手順が実行されるものとする。このような場合において、例えば、「切開・剥離」の手順では、例えば、画面内における術具の占有率、術具の状態、及び煙やミスト検出結果等を示す各入力情報のうち少なくともいずれかに応じて、ぶれ補正の有無や当該ぶれ補正の補正強度を制御してもよい。また、「生検」の手順では、例えば、画面内における術具の占有率及び術具の状態等を示す各入力情報のうち少なくともいずれかに応じて、ぶれ補正の有無や当該ぶれ補正の補正強度を制御してもよい。また、「血管処理」の手順では、例えば、ズーム倍率、ワーキングディスタンス、及びレンズ汚れの検出結果等を示す各入力情報のうち少なくともいずれかに応じて、ぶれ補正の有無や当該ぶれ補正の補正強度を制御してもよい。
【０２０９】
また、長時間の手術においては、例えば、手術時間に応じて、ぶれ補正の有無や当該ぶれ補正の補正強度を制御してもよい。また、術者が移動するような状況下においては、例えば、術者とモニタとの間の距離に応じて、ぶれ補正の有無や当該ぶれ補正の補正強度を制御してもよい。
【０２１０】
なお、複数の入力情報に応じて、ぶれ補正の補正強度を制御するための係数が算出されてもよい。このような場合には、例えば、各入力情報に応じた係数を乗算することで、最終的に適用される係数が算出されてもよい。また、利用シーンに応じて、各入力情報に応じた係数に対して重み付けが行われていてもよい。
【０２１１】
以上、実施例１６として、手術等における手順、補正対象、または手技等に応じて、上述した各実施例を適宜適用する場合の一例について説明した。
【０２１２】
＜＜３．適用例＞＞
続いて、本開示の一実施形態に係る医療用観察システムの適用例として、図３１を参照して、当該医療用観察システムを、顕微鏡ユニットを備えた顕微鏡撮像システムとして構成した場合の一例について説明する。
【０２１３】
図３１は、本開示の一実施形態に係る医療用観察システムの適用例について説明するための説明図であり、顕微鏡撮像システムの概略的な構成の一例について示している。具体的には、図３１には、本開示の一実施形態に係る医療用観察システムが用いられる場合の一適用例として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について示されている。
【０２１４】
例えば、図３１は、手術用ビデオ顕微鏡装置を用いた施術の様子を模式的に表している。具体的には、図３１を参照すると、施術者（ユーザ）８２０である医師が、例えばメス、鑷子、鉗子等の手術用の器具８２１を使用して、施術台８３０上の施術対象（患者）８４０に対して手術を行っている様子が図示されている。なお、以下の説明においては、施術とは、手術や検査等、ユーザ８２０である医師が施術対象８４０である患者に対して行う各種の医療的な処置の総称であるものとする。また、図３１に示す例では、施術の一例として手術の様子を図示しているが、手術用ビデオ顕微鏡装置８１０が用いられる施術は手術に限定されず、他の各種の施術であってもよい。
【０２１５】
施術台８３０の脇には手術用ビデオ顕微鏡装置８１０が設けられる。手術用ビデオ顕微鏡装置８１０は、基台であるベース部８１１と、ベース部８１１から延伸するアーム部８１２と、アーム部８１２の先端に先端ユニットとして接続される撮像ユニット８１５とを備える。アーム部８１２は、複数の関節部８１３ａ、８１３ｂ、８１３ｃと、関節部８１３ａ、８１３ｂによって連結される複数のリンク８１４ａ、８１４ｂと、アーム部８１２の先端に設けられる撮像ユニット８１５を有する。図３１に示す例では、簡単のため、アーム部８１２は３つの関節部８１３ａ〜８１３ｃ及び２つのリンク８１４ａ、８１４ｂを有しているが、実際には、アーム部８１２及び撮像ユニット８１５の位置及び姿勢の自由度を考慮して、所望の自由度を実現するように関節部８１３ａ〜８１３ｃ及びリンク８１４ａ、８１４ｂの数や形状、関節部８１３ａ〜８１３ｃの駆動軸の方向等が適宜設定されてもよい。
【０２１６】
関節部８１３ａ〜８１３ｃは、リンク８１４ａ、８１４ｂを互いに回動可能に連結する機能を有し、関節部８１３ａ〜８１３ｃの回転が駆動されることにより、アーム部８１２の駆動が制御される。ここで、以下の説明においては、手術用ビデオ顕微鏡装置８１０の各構成部材の位置とは、駆動制御のために規定している空間における位置（座標）を意味し、各構成部材の姿勢とは、駆動制御のために規定している空間における任意の軸に対する向き（角度）を意味する。また、以下の説明では、アーム部８１２の駆動（又は駆動制御）とは、関節部８１３ａ〜８１３ｃの駆動（又は駆動制御）、及び、関節部８１３ａ〜８１３ｃの駆動（又は駆動制御）を行うことによりアーム部８１２の各構成部材の位置及び姿勢が変化される（変化が制御される）ことをいう。
【０２１７】
アーム部８１２の先端には、先端ユニットとして撮像ユニット８１５が接続されている。撮像ユニット８１５は、撮像対象物の画像を取得するユニットであり、例えば動画や静止画を撮像できるカメラ等である。図３１に示すように、アーム部８１２の先端に設けられた撮像ユニット８１５が施術対象８４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置８１０によってアーム部８１２及び撮像ユニット８１５の姿勢や位置が制御される。なお、アーム部８１２の先端に先端ユニットとして接続される撮像ユニット８１５の構成は特に限定されず、例えば、撮像ユニット８１５は、撮像対象物の拡大像を取得する顕微鏡として構成されている。また、撮像ユニット８１５は、当該アーム部８１２に対して着脱可能に構成されていてもよい。このような構成により、例えば、利用用途に応じた撮像ユニット８１５が、アーム部８１２の先端に先端ユニットとして適宜接続されてもよい。なお、当該撮像ユニット８１５として、例えば、前述した実施形態に係る分岐光学系が適用された撮像装置を適用することが可能である。また本説明では、先端ユニットとして撮像ユニット８１５が適用されている場合に着目して説明したが、アーム部８１２の先端に接続される先端ユニットは、必ずしも撮像ユニット８１５に限定されない。
【０２１８】
また、ユーザ８２０と対向する位置には、モニタやディスプレイ等の表示装置８５０が設置される。撮像ユニット８１５によって撮像された施術部位の画像は、表示装置８５０の表示画面に電子画像として表示される。ユーザ８２０は、表示装置８５０の表示画面に表示される施術部位の電子画像を見ながら各種の処置を行う。
【０２１９】
以上のような構成により、手術用ビデオ顕微鏡装置８１０によって施術部位の撮像を行いながら手術を行うことが可能となる。
【０２２０】
＜＜４．ハードウェア構成の一例＞＞
続いて、図３２を参照しながら、前述した内視鏡手術システムにおけるＣＣＵのように、各種処理を実行する所謂情報処理装置のハードウェア構成の一例について、詳細に説明する。図３２は、本開示の一実施形態に係る医療用観察システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
【０２２１】
本実施形態に係る医療用観察システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【０２２２】
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。例えば、図３を参照して説明した画像処理ユニット２１０や判定部２５０は、ＣＰＵ９０１により構成され得る。
【０２２３】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
【０２２４】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０２２５】
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
【０２２６】
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。
【０２２７】
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  ｍｅｍｏｒｙ  ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  ｃａｒｄ）又は電子機器等であってもよい。
【０２２８】
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
【０２２９】
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
【０２３０】
以上、本開示の実施形態に係る医療用観察システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図３２では図示しないが、医療用観察システムを構成する情報処理装置９００に対応する各種の構成を当然備える。
【０２３１】
なお、上述のような本実施形態に係る医療用観察システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
【０２３２】
＜＜５．むすび＞＞
以上説明したように、本実施形態に係る医療用観察システムにおいて、制御装置２００は、各種状態や状況に応じた入力情報に基づき、画像ぶれの補正の適用の有無や、補正を適用する場合における当該補正の強度を制御する。
【０２３３】
具体的な一例として、制御装置２００は、カメラヘッド等のような撮像部のズーム倍率がより高いほど、画像ぶれの補正の度合いがより強くなるように制御してもよい。換言すると、制御装置２００は、当該ズーム倍率がより低いほど、画像ぶれの補正の度合いがより弱くなるように制御してもよい。このような構成により、例えば、大きく揺れている鉗子等の術具の動きを示す動きベクトルに基づきぶれ補正が行われ、後景に相当する俯瞰像が揺れるような状況においても、ぶれ補正の補正強度が弱められるため、俯瞰像の揺れが抑えられ、結生体等の観察対象をより観察しやすくなる。また、内視鏡装置のスコープ等が意図的に動かされた場合等のように、撮像部による撮像される範囲が意図的に動かされた場合においても、ぶれ補正の補正強度が弱められることで、意図的な動きに対する画像ぶれの補正が抑制され、生体等の観察対象をより観察しやすくなる。
【０２３４】
また、制御装置２００は、画面内（換言すると、入力画像信号）において、生体等のような観察対象となる被写体が、術具や視認可能なガス状の物質等のように当該観察対象とは異なる被写体により遮蔽されている領域の割合に応じて、画像ぶれの補正に関する動作を制御してもよい。より具体的な一例として、制御装置２００は、観察対象となる被写体が、他の被写体により遮蔽されている領域の割合がより高いほど、画像ぶれの補正の度合いを弱め、ひいては画像ぶれの適用を無効化してもよい。このような構成により、例えば、画面内における他の被写体の占有率が増大することで特徴量の抽出が困難となり、ぶれ補正のための補正値の信頼度が低下するような状況下においても、ぶれ補正の補正強度をより弱めることで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。
【０２３５】
もちろん上記はあくまで一例であり、本実施形態に係る制御装置２００による画像ぶれの補正に係る制御の内容を限定するものではない。例えば、術具の状態や寝台の動き（振動）等のように、生体等の観察対象の画像の撮像環境に関する情報を、入力情報として利用することが可能である。また、他の一例として、ズーム倍率に限らず、ＡＦ／ＡＥ等のような、生体等の観察対象の画像の撮像条件に関する情報を、入力情報として利用することも可能である。また、入力画像信号から特徴量を抽出することで画像ぶれが推定されるという特性から、当該特徴量の抽出を困難とする要因の検出結果を入力情報として利用してもよい。なお、この場合には、例えば、特徴量の抽出を困難とする要因の検出結果に応じて、画像ぶれの補正の補正強度を弱めたり、当該補正を一時的に無効化することで、生体等の観察対象が観察しにくくなるような事態の発生を防止することが可能となる。
【０２３６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２３７】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０２３８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、
前記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御する制御部と、
を備える、制御装置。
（２）
前記制御部は、前記ズーム倍率が閾値以下の場合に前記ぶれの補正が抑制されるように制御する、前記（１）に記載の制御装置。
（３）
前記画像信号から特徴点を抽出する抽出部を備え、
前記推定部は、前記特徴点の抽出結果に基づき前記画像全体の動きを算出する、
前記（１）または（２）に記載の制御装置。
（４）
所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定する推定部と、
前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御する制御部と、
を備える、制御装置。
（５）
前記制御部は、前記領域の割合に応じて、前記ぶれの補正量を制御するための係数を制御する、前記（４）に記載の制御装置。
（６）
前記制御部は、前記領域の割合がより高いほど前記ぶれの補正の度合いがより弱くなるように、前記係数を制御する、前記（５）に記載の制御装置。
（７）
前記制御部は、前記領域の割合に応じて、前記ぶれの補正が抑制されるように制御する、前記（４）に記載の制御装置。
（８）
前記被写体は、術具である、前記（４）〜（７）のいずれか一項に記載の制御装置。
（９）
前記被写体は、視認可能なガス状の物質である、前記（４）〜（７）のいずれか一項に記載の制御装置。
（１０）
前記領域の割合は、前記被写体の認識結果に応じて算出される、前記（４）〜（９）のいずれか一項に記載の制御装置。
（１１）
前記画像信号から特徴点を抽出する抽出部を備え、
前記推定部は、前記特徴点の抽出結果に基づき前記画像全体の動きを算出する、
前記（４）〜（１０）のいずれか一項に記載の制御装置。
（１２）
コンピュータが、
所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御することと、
を含む、制御方法。
（１３）
コンピュータが、
所所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、
を含む、制御方法。
（１４）
コンピュータに、
所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
記撮像部のズーム倍率に基づき、前記ぶれの補正量を制御するための係数を、前記ズーム倍率が高いほど前記ぶれの補正の度合いがより強くなるように制御することで、前記画像全体のぶれの補正に関する動作を制御することと、
を実行させる、プログラム。
（１５）
コンピュータに、
所定の撮像部から入力される生体の光学像に対応する画像信号に基づき画像全体の動きを算出し、当該算出結果に応じて当該画像全体のぶれを推定することと、
前記画像信号における前記生体が当該生体とは異なる被写体により遮蔽されている領域の割合に基づき、前記画像全体のぶれの補正に関する動作を制御することと、
を実行させる、プログラム。
【符号の説明】
【０２３９】
１００  内視鏡手術システム
１０１  内視鏡
１１７  術具
１２７  支持アーム装置
１３９  カメラコントロールユニット
１４１  表示装置
１４３  光源装置
１４５  アーム制御装置
１４７  入力装置
１４９  処置具制御装置
１５１  気腹装置
１５３  レコーダ
１５５  プリンタ
２００  制御装置
２１０  画像処理ユニット
２１１  第１制御部
２１５  推定部
２１７  第２制御部
２１９  補正処理部
２５０  判定部
【図１】
2018168261.tif 000003
【図２】
2018168261.tif 000004
【図３】
2018168261.tif 000005
【図４】
2018168261.tif 000006
【図５】
2018168261.tif 000007
【図６】
2018168261.tif 000008
【図７】
2018168261.tif 000009
【図８】
2018168261.tif 000010
【図９】
2018168261.tif 000011
【図１０】
2018168261.tif 000012
【図１１】
2018168261.tif 000013
【図１２】
2018168261.tif 000014
【図１３】
2018168261.tif 000015
【図１４】
2018168261.tif 000016
【図１５】
2018168261.tif 000017
【図１６】
2018168261.tif 000018
【図１７】
2018168261.tif 000019
【図１８】
2018168261.tif 000020
【図１９】
2018168261.tif 000021
【図２０】
2018168261.tif 000022
【図２１】
2018168261.tif 000023
【図２２】
2018168261.tif 000024
【図２３】
2018168261.tif 000025
【図２４】
2018168261.tif 000026
【図２５】
2018168261.tif 000027
【図２６】
2018168261.tif 000028
【図２７】
2018168261.tif 000029
【図２８】
2018168261.tif 000030
【図２９】
2018168261.tif 000031
【図３０】
2018168261.tif 000032
【図３１】
2018168261.tif 000033
【図３２】
2018168261.tif 000034
【国際調査報告】
2018168261.tif 000035
2018168261.tif 000036
2018168261.tif 000037
2018168261.tif 000038