(57)【要約】【課題】手術用撮像装置の被写体に照射する光量を変化させる場合に高精度の画像処理を行うことができるようにする。【解決手段】光源制御部は、内視鏡により撮像される被写体に照射する光の光量を、デフォルト値からデフォルト値より多い高光量に変更する。画像処理部は、光量が高光量である状態で内視鏡により撮像された術中画像である高光量画像を用いて画像処理を行う。画像処理部は、高光量に基づいて高光量画像の明るさを調整して表示画像を生成し、表示画像を表示装置に表示させる。本開示は、例えば、内視鏡手術システム等に適用することができる。【選択図】図２
2017086648.tif 000002
【特許請求の範囲】
【請求項１】
手術用撮像装置により撮像される被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、
前記第２の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部と
を備える手術システム。
【請求項２】
前記光源制御部は、前記画像処理が行われる場合にのみ前記光量を前記第２の光量に変更する
ように構成された
請求項１に記載の手術システム。
【請求項３】
前記手術用撮像装置は、前記光量が前記第２の光量に変更されたとき、撮像ゲインを低下させる
ように構成された
請求項１に記載の手術システム。
【請求項４】
前記表示制御部は、前記第２の光量と前記撮像ゲインに基づいて前記高光量画像の明るさを調整する
ように構成された
請求項３に記載の手術システム。
【請求項５】
前記手術用撮像装置は、前記光量が前記第２の光量に変更されたとき、露光時間を短縮する
ように構成された
請求項１に記載の手術システム。
【請求項６】
前記画像処理部は、前記高光量画像を用いて前記手術用撮像装置のフォーカスを制御するフォーカス制御処理を行う
ように構成された
請求項１に記載の手術システム。
【請求項７】
前記画像処理部は、前記高光量画像を用いて前記高光量画像内の物体を認識する物体認識処理を行う
ように構成された
請求項１に記載の手術システム。
【請求項８】
前記画像処理部は、前記高光量画像を用いて前記高光量画像のデプスを検出するデプス検出処理を行う
ように構成された
請求項１に記載の手術システム。
【請求項９】
前記画像処理部は、前記高光量画像を用いて前記高光量画像内の被写体の動きを解析する動き解析処理を行う
ように構成された
請求項１に記載の手術システム。
【請求項１０】
前記被写体に光を照射する光源部
をさらに備える
請求項１に記載の手術システム。
【請求項１１】
手術システムが、
手術用撮像装置により撮像される被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御ステップと、
前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理ステップと、
前記第２の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御ステップと
を含む手術用制御方法。
【請求項１２】
コンピュータを、
手術用撮像装置により撮像される被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、
前記第２の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部と
して機能させるためのプログラム。
【請求項１３】
所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部と
を備える手術システム。
【請求項１４】
前記光源制御部は、前記所定の間隔より短い期間だけ、前記光量を前記第２の光量に変更する
ように構成された
請求項１３に記載の手術システム。
【請求項１５】
前記画像処理部は、
前記低光量画像を用いて前記被写体の動きを検出する動き検出部と、
前記動き検出部により検出された前記動きに基づいて、前記高光量画像に対して動き補償を行うことにより、前記高光量画像を補間する補間画像を生成し、前記補間画像と前記高光量画像とを前記最終的な術中画像として出力する補間部と
を備える
請求項１３に記載の手術システム。
【請求項１６】
前記被写体に光を照射する光源部
をさらに備える
請求項１３に記載の手術システム。
【請求項１７】
手術システムが、
所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御ステップと、
前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理ステップと
を含む手術用制御方法。
【請求項１８】
コンピュータを、
所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、手術システム、手術用制御方法、およびプログラムに関し、特に、手術用撮像装置の被写体に照射する光量を変化させる場合に高精度の画像処理を行うことができるようにした手術システム、手術用制御方法、およびプログラムに関する。
【背景技術】
【０００２】
一般的に、内視鏡で術中画像を撮像する手術システムでは、生体の観察において不足のない一定の光量の光が、被写体としての生体に照射され続ける。従って、光量が多い場合、熱による生体へのダメージおよび電力コストが大きくなる。よって、光量を所定量以上にすることは難しい。
【０００３】
そこで、一時的に被写体に照射する光量を増加させる内視鏡が考案されている（例えば、特許文献１および２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2006-149939号公報
【特許文献２】特開昭63-163809号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、内視鏡等の手術用撮像装置の被写体に照射する光量を変化させる場合に、高精度の画像処理を行うことについては考えられていなかった。
【０００６】
本開示は、このような状況に鑑みてなされたものであり、手術用撮像装置の被写体に照射する光量を変化させる場合に高精度の画像処理を行うことができるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の第１の側面の手術システムは、手術用撮像装置により撮像される被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、前記第２の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部とを備える手術システムである。
【０００８】
本開示の第１の側面の手術用制御方法およびプログラムは、本開示の第１の側面の手術システムに対応する。
【０００９】
本開示の第１の側面においては、手術用撮像装置により撮像される被写体に照射する光の光量が、第１の光量から前記第１の光量より多い第２の光量に変更され、前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理が行われ、前記第２の光量に基づいて前記高光量画像の明るさが調整されて表示画像が生成され、前記表示画像が表示装置に表示される。
【００１０】
本開示の第２の側面の手術システムは、所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部とを備える手術システムである。
【００１１】
本開示の第２の側面においては、所定の間隔で、手術用撮像装置の被写体に照射する光の光量が、第１の光量から前記第１の光量より多い第２の光量に変更され、前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像が生成される。
【発明の効果】
【００１２】
本開示の第１および第２の側面によれば、画像処理を行うことができる。また、本開示の第１および第２の側面によれば、手術用撮像装置の被写体に照射する光量を変化させる場合に高精度の画像処理を行うことができる。
【００１３】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１４】
【図１】本開示を適用した内視鏡手術システムの第１実施の形態の構成例を示す図である。
【図２】図１のＣＣＵ１２の構成例を示すブロック図である。
【図３】図２の光源制御部により制御される光量の第１の例を示す図である。
【図４】図２の光源制御部により制御される光量の第２の例を示す図である。
【図５】図２の画像処理部の構成例を示すブロック図である。
【図６】図２のＣＣＵの画像処理を説明するフローチャートである。
【図７】本開示を適用した内視鏡手術システムの第２実施の形態における画像処理部３３の構成例を示すブロック図である。
【図８】本開示を適用した内視鏡手術システムの第３実施の形態における画像処理部３３の構成例を示すブロック図である。
【図９】本開示を適用した内視鏡手術システムの第４実施の形態における画像処理部３３の構成例を示すブロック図である。
【図１０】本開示を適用した内視鏡手術システムの第５実施の形態における画像処理部３３の構成例を示すブロック図である。
【図１１】高光量期間と低光量期間の例を示す図である。
【図１２】第５実施の形態におけるＣＣＵの画像処理を説明するフローチャートである。
【図１３】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：内視鏡手術システム（図１乃至図６）
２．第２実施の形態：内視鏡手術システム（図７）
３．第３実施の形態：内視鏡手術システム（図８）
４．第４実施の形態：内視鏡手術システム（図９）
５．第５実施の形態：内視鏡手術システム（図１０乃至図１２）
６．第６実施の形態：コンピュータ（図１３）
【００１６】
＜第１実施の形態＞
（内視鏡手術システムの第１実施の形態の構成例）
図１は、本開示を適用した内視鏡手術システムの第１実施の形態の構成例を示す図である。
【００１７】
内視鏡手術システム１０は、表示装置１１、ＣＣＵ（カメラコントロールユニット）１２、光源装置１３、処置具用装置１４、気腹装置１５、レコーダ１６、およびプリンタ１７が搭載されたカート１８を備える。また、内視鏡手術システム１０は、内視鏡（腹腔鏡）１９、エネルギ処置具２０、鉗子２１、トロッカ２２乃至２５、フットスイッチ２６、および患者ベッド２７を有する。内視鏡手術システム１０は、例えば手術室に配置され、患者ベッド２７に横たわった患者の腹部３０に含まれる患部に対して腹腔鏡下手術を行う術者を支援する。
【００１８】
具体的には、内視鏡手術システム１０の表示装置１１は、据え置き型の２Ｄディスプレイやヘッドマウントディスプレイなどにより構成される。表示装置１１は、ＣＣＵ１２から供給される術中画像等を表示する。
【００１９】
ＣＣＵ１２は、カメラケーブルを介して内視鏡１９と接続する。なお、ＣＣＵ１２は、内視鏡１９と無線で接続していてもよい。ＣＣＵ１２は、内視鏡１９により撮像され、カメラケーブルを介して送信されてくる術中画像を受信し、表示装置１１に供給する。ＣＣＵ１２は、必要に応じて、受信された術中画像をレコーダ１６やプリンタ１７に供給する。
【００２０】
また、ＣＣＵ１２（手術システム）は、フットスイッチ２６から供給される操作信号等に基づいて、光源装置１３から出射される光の量や波長を制御する。さらに、ＣＣＵ１２は、術中画像を用いて画像処理を行う。
【００２１】
光源装置１３は、ライトガイドケーブルを介して内視鏡１９と接続する。光源装置１３は、ＣＣＵ１２の制御により、出射する光の量や波長を切り換える。光源装置１３（光源部）から出射された光（例えば白色光）は、ライトガイドケーブルと内視鏡１９を介して、内視鏡１９の被写体である腹部３０の内部に照射される。
【００２２】
処置具用装置１４は、高周波出力装置であり、ケーブルを介してエネルギ処置具２０およびフットスイッチ２６と接続する。処置具用装置１４は、フットスイッチ２６から供給される操作信号に応じて、エネルギ処置具２０に高周波電流を出力する。
【００２３】
気腹装置１５は、送気手段および吸気手段を備え、腹部３０の腹壁に取り付けられた開孔器具であるトロッカ２４の孔から、腹部３０の内部に空気を送気する。
【００２４】
レコーダ１６は、ＣＣＵ１２から供給される術中画像を記録する。プリンタ１７は、ＣＣＵから供給される術中画像を印刷する。
【００２５】
内視鏡１９（手術用撮像装置）は、カメラヘッド１９Ａとスコープ１９Ｂにより構成される。カメラヘッド１９Ａは、CCD(Charge Coupled Device)やCMOS（Complementary Metal-Oxide Semiconductor）センサなどの撮像部を備える。カメラヘッド１９Ａは、スコープ１９Ｂを介して入射される、腹部３０の内部からの光に対して光電変換を行い、動画像である術中画像をフレーム単位で撮像する。カメラヘッド１９Ａは、術中画像を、カメラケーブルを介してＣＣＵ１２に供給する。
【００２６】
スコープ１９Ｂは、照明レンズなどの光学系により構成される。スコープ１９Ｂは、腹部３０の腹壁に取り付けられたトロッカ２２の孔から、腹部３０の内部に挿入される。スコープ１９Ｂは、光源装置１３から出射された光を腹部３０の内部に照射し、腹部３０の内部からの光をカメラヘッド１９Ａに入射させる。
【００２７】
なお、ここでは、カメラヘッド１９Ａが撮像部を備えるものとするが、スコープ１９Ｂが撮像部を備えるようにしてもよい。
【００２８】
エネルギ処置具２０は、電気メスなどにより構成される。エネルギ処置具２０は、腹部３０の腹壁に取り付けられたトロッカ２３の孔から、腹部３０の内部に挿入される。エネルギ処置具２０は、腹部３０の内部を、電気熱を用いて変性させたり、切断したりする。
【００２９】
鉗子２１は、腹部３０の腹壁に取り付けられたトロッカ２５の孔から、腹部３０の内部に挿入される。鉗子２１は、腹部３０の内部を把持する。内視鏡１９、エネルギ処置具２０、および鉗子２１は、術者、助手、スコピスト、ロボット等により把持される。
【００３０】
フットスイッチ２６は、術者や助手等の足による操作を受け付ける。フットスイッチ２６は、受け付けた操作を表す操作信号を、ＣＣＵ１２や処置具用装置１４に供給する。
【００３１】
術者は、以上のように構成される内視鏡手術システム１０を用いることにより、腹壁を切って開腹する開腹手術を行わずに、腹部３０内の患部を切除することができる。
【００３２】
（ＣＣＵの構成例）
図２は、図１のＣＣＵ１２の構成例を示すブロック図である。
【００３３】
図２のＣＣＵ１２は、受付部３１、光源制御部３２、画像処理部３３、メモリ３４、および撮像制御部３５により構成される。
【００３４】
ＣＣＵ１２の受付部３１は、フットスイッチ２６や図示せぬ操作ボタンなどの術者等による操作を受け付ける。受付部３１は、その操作に応じて、カメラヘッド１９ＡのＡＦ（オートフォーカス）制御処理を行うかどうかを判定する。
【００３５】
例えば、受付部３１は、カメラヘッド１９Ａが有する図示せぬＡＦボタンの術者等による押下を受け付けたとき、ＡＦ制御処理を行うと判定する。なお、受付部３１は、ズーム倍率の変更、撮影モードの変更、光源装置１３から出射される光の波長の変更等を指示する操作を受け付けたとき、ＡＦ制御処理を行うと判定するようにしてもよい。
【００３６】
また、受付部３１は、術者等による操作に基づいて判定するのではなく、被写体と内視鏡１９との位置関係が変化した場合や、前回のＡＦ制御処理から一定時間が経過した場合に、ＡＦ制御処理を行うと判定するようにしてもよい。
【００３７】
受付部３１は、カメラヘッド１９ＡのＡＦ制御処理を行うと判定した場合、光量の増加を光源制御部３２に指令し、ＡＦ制御処理の開始を画像処理部３３と撮像制御部３５に指令する。
【００３８】
光源制御部３２は、受付部３１から供給される光量の増加の指令に応じて、ＡＦ制御処理が行われる場合にのみ、光源装置１３が出射する光の光量をデフォルト値（第１の光量）からデフォルト値より多い光量（第２の光量）に変更する。光源制御部３２は、光源装置１３が出射する光の光量をデフォルト値より多い光量（以下、高光量という）に変更したとき、高光量を画像処理部３３に通知する。また、光源制御部３２は、光源装置１３が出射する光の波長を制御する。
【００３９】
画像処理部３３は、受付部３１から供給されるＡＦ制御処理の開始の指令に応じて、カメラヘッド１９Ａから送信されてくる、光源装置１３が出射する光の光量が高光量であるときに撮像された術中画像（以下、高光量画像という）を用いて各種の処理を行う。例えば、画像処理部３３は、光源制御部３２から供給される高光量と、撮像制御部３５から供給されるカメラヘッド１９Ａのアナログゲインとに基づいて、高光量画像の明るさを調整して表示装置１１に送信し、表示させる。また、画像処理部３３は、高光量画像を用いてカメラヘッド１９ＡのＡＦ制御処理を画像処理として行う。
【００４０】
また、画像処理部３３は、カメラヘッド１９Ａから送信されてくる、光源装置１３が出射する光の光量がデフォルト値であるときに撮像された術中画像（以下、低光量画像という）を、そのまま表示装置１１に送信し、表示させる。
【００４１】
高光量画像、低光量画像、およびＡＦ制御処理の途中結果は、必要に応じてメモリ３４に記憶され、画像処理部３３により、必要なタイミングで読み出される。
【００４２】
撮像制御部３５は、受付部３１から供給されるＡＦ制御処理の開始の指令に応じて、カメラヘッド１９Ａにおけるアナログゲインとシャッタ速度を制御する。具体的には、受付部３１からＡＦ制御処理の開始の指令が供給された場合、ＡＦ制御処理が行われる間、光源装置１３が出射する光の光量は高光量になる。従って、その間、撮像制御部３５は、カメラヘッド１９Ａのアナログゲインを低下させ、シャッタ速度を上昇させる（露光時間を短縮する）。撮像制御部３５は、カメラヘッド１９Ａのアナログゲインを画像処理部３３に供給する。
【００４３】
なお、撮像制御部３５は、アナログゲインの低下とシャッタ速度の上昇のいずれか一方のみを行うようにしてもよい。
【００４４】
（光量の第１の例）
図３は、図２の光源制御部３２により制御される光量の第１の例を示す図である。
【００４５】
なお、図３の横軸は時間を表し、縦軸は、光源装置１３が出射する光の光量を表している。このことは、後述する図４および図１１においても同様である。
【００４６】
図３の例では、受付部３１は、術者等からの操作を受け付けたとき、被写体と内視鏡１９との位置関係が変化したときなどをトリガとして、ＡＦ制御処理を行うと判定する。
【００４７】
この場合、図３に示すように、時刻t１において、受付部３１がＡＦ制御処理を行うと判定すると、光源制御部３２は、受付部３１から供給される指令に応じて、ＡＦ制御処理に必要な術中画像を撮像する期間だけ、光源装置１３が出射する光の光量をデフォルト値から高光量に変更する。画像処理部３３は、受付部３１から供給される指令に応じて、この期間にカメラヘッド１９Ａにより撮像された高光量画像のみを用いてＡＦ制御処理を行う。
【００４８】
（光量の第２の例）
図４は、図２の光源制御部３２により制御される光量の第２の例を示す図である。
【００４９】
図４の例では、受付部３１は、前回のＡＦ制御処理から一定時間が経過した場合、即ち定期的にＡＦ制御処理を行うと判定する。
【００５０】
この場合、図４に示すように、時間Ｔ１の間隔で、受付部３１がＡＦ制御処理を行うと判定すると、光源制御部３２は、受付部３１から供給される指令に応じて、ＡＦ制御処理に必要な術中画像を撮像する期間だけ、光源装置１３が出射する光の光量をデフォルト値から高光量に変更する。画像処理部３３は、受付部３１から供給される指令に応じて、この期間にカメラヘッド１９Ａにより撮像された高光量画像のみを用いてＡＦ制御処理を行う。
【００５１】
（画像処理部の構成例）
図５は、図２の画像処理部３３の構成例を示すブロック図である。
【００５２】
図５の画像処理部３３は、信号生成部５１、ＡＦ処理部５２、ＡＥ処理部５３、および表示制御部５４により構成される。
【００５３】
画像処理部３３の信号生成部５１は、図２の受付部３１から供給されるＡＦ制御処理の開始の指令に応じて、カメラヘッド１９Ａから送信されてくる高光量画像から、ＡＦ用画像を生成する。ＡＦ用画像とは、例えば、高光量画像を低解像度化した画像である。信号生成部５１は、ＡＦ用画像をＡＦ処理部５２に供給する。
【００５４】
ＡＦ処理部５２（画像処理部）は、信号生成部５１から供給されるＡＦ用画像を用いて、カメラヘッド１９ＡのＡＦ制御処理を行う。ここで、ＡＦ用画像は、撮像制御部３５によりカメラヘッド１９Ａのアナログゲインが低下され、シャッタ速度が上昇された高光量画像から生成されたものである。従って、ＡＦ用画像は、アナログゲインの低下によりノイズが減少し、シャッタ速度の上昇により動きボケが低減された画像である。よって、ＡＦ処理部５２は、ＡＦ用画像を用いてカメラヘッド１９ＡのＡＦ制御処理を行うことにより、高精度のＡＦ制御処理を行うことが可能である。
【００５５】
ＡＥ処理部５３は、図２の撮像制御部３５から供給されるアナログゲイン（撮像ゲイン）と光源制御部３２から供給される光量とに基づいて、高光量画像の明るさが低光量画像の明るさと同一になるように、高光量画像の明るさの調整値を決定する。ＡＥ処理部５３は、高光量画像の明るさの調整値を表示制御部５４に供給する。
【００５６】
表示制御部５４は、ＡＥ処理部５３から供給される明るさの調整値に基づいて、カメラヘッド１９Ａから送信されてくる高光量画像の明るさ（ゲイン）を調整し、その結果得られる高光量画像（表示画像）を図２の表示装置１１に送信して、表示装置１１に表示させる。また、表示制御部５４は、カメラヘッド１９Ａから送信されてくる低光量画像をそのまま表示装置１１に送信して表示させる。以上により、表示装置１１に表示される術中画像の明るさは、光源装置１３から出射される光の光量の変化によらず一定となる。
【００５７】
（内視鏡手術システムの画像処理の説明）
図６は、図１の内視鏡手術システム１０のＣＣＵ１２の画像処理を説明するフローチャートである。この画像処理は、例えば、カメラヘッド１９Ａによる術中画像の撮像および光源装置１３による光の照射が開始されたとき、開始される。
【００５８】
図６のステップＳ１１において、ＣＣＵ１２の受付部３１（図２）は、カメラヘッド１９ＡのＡＦ制御処理を行うかどうかを判定する。
【００５９】
ステップＳ１１でカメラヘッド１９ＡのＡＦ制御処理を行うと判定された場合、受付部３１は、光量の増加を光源制御部３２に指令し、ＡＦ制御処理の開始を画像処理部３３と撮像制御部３５に指令する。そして、ステップＳ１２において、光源制御部３２は、光源装置１３が出射する光の光量をデフォルト値から高光量に変更し、高光量を画像処理部３３に通知する。
【００６０】
ステップＳ１３において、撮像制御部３５は、受付部３１からの指令に応じて、カメラヘッド１９Ａのアナログゲインをデフォルト値から低下させ、シャッタ速度をデフォルト値から上昇させる。撮像制御部３５は、低下後のアナログゲインを画像処理部３３に供給する。
【００６１】
ステップＳ１４において、画像処理部３３の信号生成部５１（図５）は、カメラヘッド１９Ａから送信されてくる高光量画像から、ＡＦ用画像を生成し、ＡＦ処理部５２に供給する。
【００６２】
ステップＳ１５において、ＡＦ処理部５２は、信号生成部５１から供給されるＡＦ用画像を用いてＡＦ制御処理を行う。
【００６３】
ステップＳ１６において、ＡＥ処理部５３は、撮像制御部３５から供給されるアナログゲインと光源制御部３２から供給される高光量とに基づいて、高光量画像の明るさが低光量画像の明るさと同一になるように、高光量画像の明るさの調整値を決定する。ＡＥ処理部５３は、高光量画像の明るさの調整値を表示制御部５４に供給する。
【００６４】
ステップＳ１７において、表示制御部５４は、ＡＥ処理部５３から供給される明るさの調整値に基づいて、カメラヘッド１９Ａから送信されてくる高光量画像の明るさを調整する。ステップＳ１８において、表示制御部５４は、明るさの調整後の高光量画像を表示装置１１に送信し、表示させる。
【００６５】
ステップＳ１９において、光源制御部３２は、光源装置１３が出射する光の光量をデフォルト値に戻す。ステップＳ２０において、撮像制御部３５は、カメラヘッド１９Ａのアナログゲインおよびシャッタ速度をデフォルト値に戻し、処理をステップＳ２２に進める。
【００６６】
一方、ステップＳ１１でＡＦ制御処理を行わないと判定された場合、ステップＳ２１において、画像処理部３３は、カメラヘッド１９Ａから送信されてくる低光量画像をそのまま表示装置１１に送信し、表示させる。そして、処理はステップＳ２２に進む。
【００６７】
ステップＳ２２において、ＣＣＵ１２は、カメラヘッド１９Ａによる術中画像の撮像が終了したかどうかを判定する。ステップＳ２２で術中画像の撮像が終了していないと判定された場合、処理はステップＳ１１に戻り、以降の処理が繰り返される。
【００６８】
一方、ステップＳ２２で術中画像の撮像が終了したと判定された場合、処理は終了する。
【００６９】
以上のように、ＣＣＵ１２は、ＡＦ制御処理を行う場合に光源装置１３が出射する光の光量を高光量に変更するので、高光量画像を用いてＡＦ制御処理を行うことができる。従って、ＣＣＵ１２は、低光量画像を用いてＡＦ制御処理を行う場合に比べて、高精度のＡＦ制御処理を行うことができる。
【００７０】
また、ＣＣＵ１２は、ＡＦ制御処理を行わない場合に光源装置１３が出射する光の光量をデフォルト値にするので、常に高光量にする場合に比べて、平均光量を低下させることができる。従って、内視鏡手術システムの省電力化および低コスト化を図ることができる。また、光源装置１３から照射された光により発生する熱量を抑制することができるため、腹部３０へのダメージを軽減することができる。
【００７１】
さらに、ＣＣＵ１２は、高光量に基づいて、高光量画像の明るさを、低光量画像の明るさと同一になるように調整するので、光源装置１３が出射する光の光量によって、表示装置１１に表示される術中画像の明るさが変化することを防止することができる。
【００７２】
＜第２実施の形態＞
（内視鏡手術システムの第２実施の形態における画像処理部の構成例）
本開示を適用した内視鏡手術システムの第２実施の形態の構成は、ＡＦ制御処理の代わりに、術中画像内の物体を認識する物体認識処理が画像処理として行われる点を除いて、図１の構成と同一である。
【００７３】
具体的には、第２実施の形態におけるＣＣＵの構成は、受付部３１がＡＦ制御処理ではなく物体認識処理を行うかどうかを判定する点、および、画像処理部３３の構成を除いて、図２の構成と同一である。
【００７４】
受付部３１による物体認識処理を行うかどうかの判定は、例えば、カメラヘッド１９Ａが有する物体認識ボタンの術者等による押下が受け付けられたかどうかにより行われる。なお、受付部３１は、ＡＦ制御処理を行うかどうかの判定と同様に、ズーム倍率の変更、撮影モードの変更、光源装置１３から出射される光の波長の変更等を指示する操作を受け付けたかどうかにより、物体認識処理を行うかどうかの判定を行ってもよい。また、受付部３１は、ＡＦ制御処理を行うかどうかの判定と同様に、被写体と内視鏡１９との位置関係の変化や、前回の物体制御処理からの経過時間に基づいて、物体認識処理を行うかどうかの判定を行ってもよい。
【００７５】
図７は、本開示を適用した内視鏡手術システムの第２実施の形態における画像処理部３３の構成例を示すブロック図である。
【００７６】
図７に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００７７】
図７の画像処理部３３の構成は、信号生成部５１、ＡＦ処理部５２、表示制御部５４の代わりに、信号生成部７１、物体認識部７２、表示制御部７４が設けられる点が、図５の構成と異なる。図７の画像処理部３３は、画像処理として、ＡＦ制御処理ではなく、物体認識処理を行う。
【００７８】
具体的には、画像処理部３３の信号生成部７１は、受付部３１から供給される物体認識処理の開始の指令に応じて、カメラヘッド１９Ａから送信されてくる高光量画像から、物体認識用画像を生成する。信号生成部７１は、物体認識用画像を物体認識部７２に供給する。
【００７９】
物体認識部７２（画像処理部）は、信号生成部７１から供給される物体認識用画像を用いて物体認識処理を行う。具体的には、物体認識部７２は、物体認識用画像と、特定の生体組織や臓器の画像とのマッチング処理を行い、物体認識用画像内の特定の生体組織や臓器を認識する。
【００８０】
ここで、物体認識用画像は、撮像制御部３５によりカメラヘッド１９Ａのアナログゲインが低下され、シャッタ速度が上昇された高光量画像から生成されたものである。従って、物体認識用画像は、アナログゲインの低下によりノイズが減少し、シャッタ速度の上昇により動きボケが低減された画像である。よって、物体認識部７２は、物体認識用画像を用いて物体認識処理を行うことにより、高精度の物体認識処理を行うことが可能である。物体認識部７２は、物体認識処理の結果を表示制御部７４に供給する。
【００８１】
表示制御部７４は、ＡＥ処理部５３から供給される明るさの調整値に基づいて、カメラヘッド１９Ａから送信されてくる高光量画像の明るさを調整し、その結果得られる高光量画像を表示装置１１に送信して、表示装置１１に表示させる。また、表示制御部７４は、カメラヘッド１９Ａから送信されてくる低光量画像をそのまま表示装置１１に送信して表示させる。以上により、表示装置１１に表示される術中画像の明るさは、光源装置１３から出射される光量の変化によらず一定となる。
【００８２】
また、表示制御部７４は、物体認識部７２から供給される物体認識処理の結果に基づいて、認識された生体組織や臓器の領域を示す物体情報などを、表示装置１１に表示中の高光量画像または低光量画像に重畳する。
【００８３】
第２実施の形態のＣＣＵ１２の画像処理は、ＡＦ用画像が物体認識用画像に代わる点、ＡＦ制御処理が物体認識処理に代わる点、および高光量画像および低光量画像に物体情報が重畳される点を除いて、図６の画像処理と同様であるので、説明は省略する。
【００８４】
第２実施の形態のＣＣＵ１２は、物体認識処理を行う場合に光源装置１３が出射する光の光量を高光量に変更するので、高光量画像を用いて物体認識処理を行うことができる。従って、ＣＣＵ１２は、低光量画像を用いて物体認識処理を行う場合に比べて、高精度の物体認識処理を行うことができる。
【００８５】
なお、第２実施の形態では、画像処理が物体認識処理であるようにしたが、高光量画像内に存在する特定の生体組織や臓器を検出する物体検出処理であってもよい。また、物体認識処理の結果は、表示制御部７４で用いられるのではなく、ＣＣＵ１２が有する図示せぬ他の画像処理部に供給され、各種の画像処理に用いられてもよい。
【００８６】
＜第３実施の形態＞
（内視鏡手術システムの第３実施の形態における画像処理部の構成例）
本開示を適用した内視鏡手術システムの第３実施の形態の構成は、カメラヘッド１９Ａが２つの撮像部を有する点、ＡＦ制御処理の代わりに、術中画像のデプスを検出するデプス検出処理が画像処理として行われる点、および表示装置１１が３Ｄ表示を行う点を除いて、図１の構成と同一である。
【００８７】
具体的には、第３実施の形態におけるＣＣＵの構成は、受付部３１がＡＦ制御処理ではなくデプス検出処理を行うかどうかを判定する点、および、画像処理部３３の構成を除いて、図２の構成と同一である。
【００８８】
受付部３１によるデプス検出処理を行うかどうかの判定は、例えば、カメラヘッド１９Ａが有するデプス検出ボタンの術者等による押下が受け付けられたかどうかにより行われる。なお、受付部３１は、ＡＦ制御処理を行うかどうかの判定と同様に、ズーム倍率の変更、撮影モードの変更、光源装置１３から出射される光の波長の変更等を指示する操作を受け付けたかどうかにより、デプス検出処理を行うかどうかの判定を行ってもよい。また、受付部３１は、ＡＦ制御処理を行うかどうかの判定と同様に、被写体と内視鏡１９との位置関係の変化や、前回のデプス検出処理からの経過時間に基づいて、デプス検出処理を行うかどうかの判定を行ってもよい。
【００８９】
図８は、本開示を適用した内視鏡手術システムの第３実施の形態における画像処理部３３の構成例を示すブロック図である。
【００９０】
図８に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００９１】
図８の画像処理部３３の構成は、信号生成部５１、ＡＦ処理部５２、表示制御部５４の代わりに、信号生成部９１、デプス検出部９２、表示制御部９４が設けられる点が、図５の構成と異なる。図８の画像処理部３３は、画像処理として、ＡＦ制御処理ではなく、デプス検出処理を行う。
【００９２】
具体的には、画像処理部３３の信号生成部９１は、左目用生成部１０１と右目用生成部１０２により構成される。左目用生成部１０１は、受付部３１から供給されるデプス検出処理の開始の指令に応じて、カメラヘッド１９Ａから送信されてくる２つの撮像部により撮像された２視点の高光量画像のうちの、被写体に向かって左側の撮像部により撮像された高光量画像を取得する。左目用生成部１０１は、取得された高光量画像からデプス検出用画像を生成し、左目用画像としてデプス検出部９２に供給する。
【００９３】
右目用生成部１０２は、受付部３１から供給されるデプス検出処理の開始の指令に応じて、カメラヘッド１９Ａから送信されてくる２視点の高光量画像のうちの、被写体に向かって右側の撮像部により撮像された高光量画像を取得する。右目用生成部１０２は、取得された高光量画像からデプス検出用画像を生成し、右目用画像としてデプス検出部９２に供給する。
【００９４】
デプス検出部９２（画像処理部）は、左目用生成部１０１から供給される左目用画像と右目用生成部１０２から供給される右目用画像とを用いて、デプス検出処理を行う。具体的には、デプス検出部９２は、左目用画像と右目用画像とのマッチング処理を行い、類似度が高い画素のペアの画像上の位置の差分をデプスとして検出する。このデプスは、撮像部と被写体との奥行き方向（光軸方向）の距離に対応する。
【００９５】
ここで、左目用画像と右目用画像は、撮像制御部３５によりカメラヘッド１９Ａのアナログゲインが低下され、シャッタ速度が上昇された高光量画像から生成されたものである。従って、左目用画像と右目用画像は、アナログゲインの低下によりノイズが減少し、シャッタ速度の上昇により動きボケが低減された画像である。よって、デプス検出部９２は、左目用画像と右目用画像を用いてデプス検出処理を行うことにより、高精度のデプス検出処理を行うことが可能である。デプス検出部９２は、デプス検出処理の結果得られる各画素のデプスを表すデプスマップを表示装置１１に供給する。
【００９６】
表示制御部９４は、ＡＥ処理部５３から供給される明るさの調整値に基づいて、カメラヘッド１９Ａから送信されてくる２視点の高光量画像の明るさをそれぞれ調整し、その結果得られる高光量画像を表示装置１１に送信する。また、表示制御部９４は、カメラヘッド１９Ａから送信されてくる２視点の低光量画像をそのまま表示装置１１に送信する。
【００９７】
表示装置１１は、必要に応じてデプス検出部９２から供給されるデプスマップを用いて、表示制御部９４から供給される２視点の高光量画像または低光量画像を３Ｄ表示する。以上により、表示装置１１に３Ｄ表示される２視点の術中画像の明るさは、光源装置１３から出射される光量の変化によらず一定となる。
【００９８】
第３実施の形態のＣＣＵ１２の画像処理は、ＡＦ用画像が左目用画像および右目用画像に代わる点、ＡＦ制御処理がデプス検出処理に代わる点、および、高光量画像および低光量画像がデプス検出処理の結果に基づいて３Ｄ表示される点を除いて、図６の画像処理と同様であるので、説明は省略する。
【００９９】
第３実施の形態のＣＣＵ１２は、デプス検出処理を行う場合に光源装置１３が出射する光の光量を高光量に変更するので、高光量画像を用いてデプス検出処理を行うことができる。従って、ＣＣＵ１２は、低光量画像を用いてデプス検出処理を行う場合に比べて、高精度のデプス検出処理を行うことができる。
【０１００】
なお、第３実施の形態において、表示装置１１は、２視点のうちのいずれか一方の視点の高光量画像または低光量画像を２Ｄ表示するようにしてもよい。また、デプスマップは、表示装置１１ではなく、ＣＣＵ１２が有する図示せぬ他の画像処理部に供給され、各種の画像処理に用いられてもよい。
【０１０１】
＜第４実施の形態＞
（内視鏡手術システムの第４実施の形態における画像処理部の構成例）
本開示を適用した内視鏡手術システムの第４実施の形態の構成は、ＡＦ制御処理の代わりに、術中画像内の被写体の動きを解析する動き解析処理が画像処理として行われる点を除いて、図１の構成と同一である。
【０１０２】
具体的には、第４実施の形態におけるＣＣＵの構成は、受付部３１がＡＦ制御処理ではなく動き解析処理を行うかどうかを判定する点、および、画像処理部３３の構成を除いて、図２の構成と同一である。
【０１０３】
受付部３１による動き解析処理を行うかどうかの判定は、例えば、カメラヘッド１９Ａが有する動き解析ボタンの術者等による押下が受け付けられたかどうかにより行われる。なお、受付部３１は、ＡＦ制御処理を行うかどうかの判定と同様に、ズーム倍率の変更、撮影モードの変更、光源装置１３から出射される光の波長の変更等を指示する操作を受け付けたかどうかにより、動き解析処理を行うかどうかの判定を行ってもよい。また、受付部３１は、ＡＦ制御処理を行うかどうかの判定と同様に、被写体と内視鏡１９との位置関係の変化や、前回の動き解析処理からの経過時間に基づいて、動き解析処理を行うかどうかの判定を行ってもよい。
【０１０４】
図９は、本開示を適用した内視鏡手術システムの第４実施の形態における画像処理部３３の構成例を示すブロック図である。
【０１０５】
図９に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０６】
図９の画像処理部３３の構成は、信号生成部５１、ＡＦ処理部５２、表示制御部５４の代わりに、信号生成部１２１、動き解析処理部１２２、表示制御部１２４が設けられる点が、図５の構成と異なる。図９の画像処理部３３は、画像処理として、ＡＦ制御処理ではなく、動き解析処理を行う。
【０１０７】
具体的には、画像処理部３３の信号生成部１２１は、受付部３１から供給される動き解析処理の開始の指令に応じて、カメラヘッド１９Ａから送信されてくる高光量画像から動き解析用画像を生成し、動き解析処理部１２２に供給する。
【０１０８】
動き解析処理部１２２は、信号生成部１２１から供給される動き解析用画像を保持する。動き解析処理部１２２（画像処理部）は、保持されている過去のフレームの動き解析用画像と現在のフレームの動き解析用画像とを用いて、動き解析処理を行う。具体的には、動き解析処理部１２２は、過去の動き解析用画像と現在の動き解析用画像とを用いてブロックマッチングや勾配法等を行うことにより、動き解析用画像に含まれる被写体の動きベクトルを検出し、保持する。動き解析処理部１２２は、各フレームの動きベクトルに基づいて動きベクトルの周期などを解析する。
【０１０９】
ここで、動き解析用画像は、撮像制御部３５によりカメラヘッド１９Ａのアナログゲインが低下され、シャッタ速度が上昇された高光量画像から生成されたものである。従って、動き解析用画像は、アナログゲインの低下によりノイズが減少し、シャッタ速度の上昇により動きボケが低減された画像である。よって、動き解析処理部１２２は、動き解析用画像を用いて動き解析処理を行うことにより、高精度の動き解析処理を行うことが可能である。動き解析処理部１２２は、動き解析処理の結果得られる動きベクトルの周期などを表す解析情報を表示制御部１２４に供給する。
【０１１０】
表示制御部１２４は、ＡＥ処理部５３から供給される明るさの調整値に基づいて、カメラヘッド１９Ａから送信されてくる高光量画像の明るさを調整し、その結果得られる高光量画像を表示装置１１に送信して、表示装置１１に表示させる。また、表示制御部１２４は、カメラヘッド１９Ａから送信されてくる低光量画像をそのまま表示装置１１に送信して表示させる。以上により、表示装置１１に表示される術中画像の明るさは、光源装置１３から出射される光量の変化によらず一定となる。
【０１１１】
また、表示制御部１２４は、動き解析処理部１２２から供給される解析情報に基づいて、動きベクトルの周期が同一である被写体の領域を示す周期情報などを、表示装置１１に表示中の高光量画像または低光量画像に重畳する。
【０１１２】
第４実施の形態のＣＣＵ１２の画像処理は、ＡＦ用画像が動き解析用画像に代わる点、ＡＦ制御処理が動き解析処理に代わる点、および高光量画像および低光量画像に周期情報が重畳される点を除いて、図６の画像処理と同様であるので、説明は省略する。
【０１１３】
第４実施の形態のＣＣＵ１２は、動き解析処理を行う場合に光源装置１３が出射する光の光量を高光量に変更するので、高光量画像を用いて動き解析処理を行うことができる。従って、ＣＣＵ１２は、低光量画像を用いて動き解析処理を行う場合に比べて、高精度の動き解析処理を行うことができる。
【０１１４】
なお、第４実施の形態において、解析情報は、表示制御部７４で用いられるのではなく、ＣＣＵ１２が有する図示せぬ他の画像処理部に供給され、各種の画像処理に用いられてもよい。
【０１１５】
＜第５実施の形態＞
（内視鏡手術システムの第５実施の形態における画像処理部の構成例）
本開示を適用した内視鏡手術システムの第５実施の形態の構成は、光源制御部３２が、光源装置１３が出射する光の光量を、所定数のフレームの期間（以下、低光量期間という）の間隔で、その間隔より短い１以上のフレームの期間（以下、高光量期間という）だけデフォルト値から高光量に変更する点、および、画像処理部３３を除いて、図１の構成と同一である。
【０１１６】
具体的には、第５実施の形態におけるＣＣＵの構成は、光源制御部３２が、光源装置１３が出射する光の光量を、低光量期間の間隔で高光量期間だけデフォルト値から高光量に変更する点、受付部３１が設けられない点、および、画像処理部３３を除いて、図２の構成と同一である。
【０１１７】
図１０は、本開示を適用した内視鏡手術システムの第５実施の形態における画像処理部３３の構成例を示すブロック図である。
【０１１８】
図１０の画像処理部３３は、高光量画像取得部１４１、低光量画像取得部１４２、動き検出部１４３、および補間部１４４により構成される。
【０１１９】
画像処理部３３の高光量画像取得部１４１は、高光量期間にカメラヘッド１９Ａにより撮像され、送信されてくる高光量画像を取得し、補間部１４４に供給する。
【０１２０】
低光量画像取得部１４２は、低光量期間にカメラヘッド１９Ａにより撮像され、送信されてくる低光量画像を取得し、動き検出部１４３に供給する。
【０１２１】
動き検出部１４３は、低光量画像取得部１４２から供給される低光量画像を保持する。動き検出部１４３は、フレームごとに、保持されている１フレーム前の低光量画像と現在のフレームの低光量画像とを用いて、被写体の動きベクトルを検出する。動き検出部１４３は、各フレームの動きベクトルを補間部１４４に供給する。
【０１２２】
補間部１４４は、高光量画像取得部１４１から供給される高光量画像を最終的な術中画像として表示装置１１に出力して表示させるとともに、保持する。補間部１４４は、Joint Bilateral Filter や、Guided Filterなどを用いて、動き検出部１４３から供給される動きベクトルに基づいて、保持されている高光量画像に対して動き補償を行うことにより、低光量画像のフレームの高光量画像を補間する補間画像を生成する。補間部１４４は、補間画像を最終的な術中画像として表示装置１１に出力して表示させる。以上により、最終的な術中画像は、全フレームの高光量画像と同等の画像となる。
【０１２３】
（高光量期間と低光量期間の例）
図１１は、高光量期間と低光量期間の例を示す図である。
【０１２４】
図１１に示すように、第５実施の形態では、光源制御部３２は、低光量期間Ｔ２の間隔で、その間隔Ｔ２より短い１以上のフレームの高光量期間Ｔ３だけ、光源装置１３が出射する光の光量をデフォルト値から高光量に変更する。
【０１２５】
従って、高光量画像のフレーム数は、低光量画像に比べて少ない。即ち、高光量画像の時間方向の解像度は、低光量画像に比べて低い。しかしながら、高光量画像は、撮像制御部３５によりカメラヘッド１９Ａのアナログゲインが低下され、シャッタ速度が上昇された術中画像であり、ノイズおよび動きボケが低減された高精細な画像である。
【０１２６】
一方、低光量画像のフレーム数は、高光量画像に比べて多い。即ち、低光量画像の時間方向の解像度は、高光量画像に比べて高い。しかしながら、ノイズおよび動きボケが多い低精細な画像である。
【０１２７】
従って、第５実施の形態では、動き検出部１４３が、時間方向の解像度が高い低光量画像を用いて各フレームの動きベクトルを検出し、補間部１４４が、その動きベクトルに基づいて、高精細な高光量画像に対して動き補償を行う。これにより、高精細でハイフレームレートの高光量画像が生成される。
【０１２８】
（内視鏡手術システムの画像処理の説明）
図１２は、第５実施の形態におけるＣＣＵ１２の画像処理を説明するフローチャートである。この画像処理は、例えば、カメラヘッド１９Ａによる術中画像の撮像および光源装置１３による光の照射が開始されたとき、開始される。
【０１２９】
図１２のステップＳ３１において、画像処理部３３の高光量画像取得部１４１（図１０）は、現在のフレームが高光量期間のフレームであるかどうかを判定する。ステップＳ３１で現在のフレームが高光量期間のフレームであると判定された場合、ステップＳ３２において、高光量画像取得部１４１は、カメラヘッド１９Ａにより撮像され、送信されてくる高光量画像を取得する。高光量画像取得部１４１は、高光量画像を補間部１４４に供給する。
【０１３０】
ステップＳ３３において、補間部１４４は、高光量画像取得部１４１から供給される高光量画像を保持するとともに、そのまま最終的な術中画像として表示装置１１に出力し、表示させる。そして、処理はステップＳ３８に進む。
【０１３１】
一方、ステップＳ３１で現在のフレームが高光量期間のフレームではないと判定された場合、ステップＳ３４において、低光量画像取得部１４２は、カメラヘッド１９Ａにより撮像され、送信されてくる低光量画像を取得する。高光量画像取得部１４１は、低光量画像を動き検出部１４３に供給し、動き検出部１４３は、その低光量画像を保持する。
【０１３２】
ステップＳ３５において、動き検出部１４３は、保持されている１フレーム前の低光量画像と現在のフレームの低光量画像とを用いて、被写体の動きベクトルを検出し、補間部１４４に供給する。
【０１３３】
ステップＳ３６において、補間部１４４は、動き検出部１４３から供給される動きベクトルに基づいて、保持されている高光量画像に対して動き補償を行い、その動きベクトルに対応する低光量画像のフレームの補間画像を生成する。
【０１３４】
ステップＳ３７において、補間部１４４は、補間画像を最終的な術中画像として表示装置１１に出力して表示させる。そして、処理はステップＳ３８に進む。
【０１３５】
ステップＳ３８において、ＣＣＵ１２は、カメラヘッド１９Ａによる術中画像の撮像が終了したかどうかを判定する。ステップＳ３８で術中画像の撮像が終了していないと判定された場合、処理はステップＳ３１に戻り、以降の処理が繰り返される。
【０１３６】
一方、ステップＳ３８で術中画像の撮像が終了したと判定された場合、処理は終了する。
【０１３７】
以上のように、第５実施の形態では、動き検出部１４３が、時間方向の解像度が高い低光量画像を用いて各フレームの動きベクトルを検出し、補間部１４４が、その動きベクトルに基づいて、高精細な高光量画像に対して動き補償を行うことにより、補間を行う。従って、高光量画像のみを用いて補間を行う場合に比べて高精度の補間を行うことができる。また、低光量画像のみを用いて補間を行う場合に比べて高精細な補間画像を生成することができる。
【０１３８】
その結果、光源装置１３が出射する光の光量が常に高光量である場合と同等の全フレームの術中画像を表示装置１１に表示させることができる。従って、表示装置１１に表示される術中画像の明るさは一定である。
【０１３９】
また、第５実施の形態において、光源制御部３２は、高光量期間だけ光源装置１３が出射する光の光量をデフォルト値から高光量に変更するので、常に高光量にされる場合に比べて平均光量を低下させることができる。従って、内視鏡手術システムの省電力化および低コスト化を図ることができる。また、光源装置１３から照射された光により発生する熱量を抑制することができるため、腹部３０へのダメージを軽減することができる。
【０１４０】
＜第６実施の形態＞
（本開示を適用したコンピュータの説明）
上述したＣＣＵ１２の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１４１】
図１３は、上述したＣＣＵ１２の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４２】
コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１４３】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１４４】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１４５】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４６】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１４７】
コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１４８】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４９】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１５０】
本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１５１】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５２】
例えば、画像処理部３３による画像処理は、ＡＦ制御処理、物体認識処理、デプス検出処理、動き解析処理、補間処理以外の処理であってもよいし、画像処理部３３は、複数の画像処理を行うようにしてもよい。また、光量の種類は、３以上の種類であってもよい。さらに、第１乃至第４実施の形態において、画像処理に必要な術中画像を撮像する期間以外の期間にも、光源装置１３が高光量の光を出射するようにしてもよい。
【０１５３】
なお、本開示は、以下のような構成もとることができる。
【０１５４】
（１）
手術用撮像装置により撮像される被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、
前記第２の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部と
を備える手術システム。
（２）
前記光源制御部は、前記画像処理が行われる場合にのみ前記光量を前記第２の光量に変更する
ように構成された
前記（１）に記載の手術システム。
（３）
前記手術用撮像装置は、前記光量が前記第２の光量に変更されたとき、撮像ゲインを低下させる
ように構成された
前記（１）または（２）に記載の手術システム。
（４）
前記表示制御部は、前記第２の光量と前記撮像ゲインに基づいて前記高光量画像の明るさを調整する
ように構成された
前記（３）に記載の手術システム。
（５）
前記手術用撮像装置は、前記光量が前記第２の光量に変更されたとき、露光時間を短縮する
ように構成された
前記（１）乃至（４）のいずれかに記載の手術システム。
（６）
前記画像処理部は、前記高光量画像を用いて前記手術用撮像装置のフォーカスを制御するフォーカス制御処理を行う
ように構成された
前記（１）乃至（５）のいずれかに記載の手術システム。
（７）
前記画像処理部は、前記高光量画像を用いて前記高光量画像内の物体を認識する物体認識処理を行う
ように構成された
前記（１）乃至（５）のいずれかに記載の手術システム。
（８）
前記画像処理部は、前記高光量画像を用いて前記高光量画像のデプスを検出するデプス検出処理を行う
ように構成された
前記（１）乃至（５）のいずれかに記載の手術システム。
（９）
前記画像処理部は、前記高光量画像を用いて前記高光量画像内の被写体の動きを解析する動き解析処理を行う
ように構成された
前記（１）乃至（５）のいずれかに記載の手術システム。
（１０）
前記被写体に光を照射する光源部
をさらに備える
前記（１）乃至（９）のいずれかに記載の手術システム。
（１１）
手術システムが、
手術用撮像装置により撮像される被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御ステップと、
前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理ステップと、
前記第２の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御ステップと
を含む手術用制御方法。
（１２）
コンピュータを、
手術用撮像装置により撮像される被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、
前記第２の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部と
して機能させるためのプログラム。
（１３）
所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部と
を備える手術システム。
（１４）
前記光源制御部は、前記所定の間隔より短い期間だけ、前記光量を前記第２の光量に変更する
ように構成された
前記（１３）に記載の手術システム。
（１５）
前記画像処理部は、
前記低光量画像を用いて前記被写体の動きを検出する動き検出部と、
前記動き検出部により検出された前記動きに基づいて、前記高光量画像に対して動き補償を行うことにより、前記高光量画像を補間する補間画像を生成し、前記補間画像と前記高光量画像とを前記最終的な術中画像として出力する補間部と
を備える
前記（１３）または（１４）に記載の手術システム。
（１６）
前記被写体に光を照射する光源部
をさらに備える
前記（１３）乃至（１５）のいずれかに記載の手術システム。
（１７）
手術システムが、
所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御ステップと、
前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理ステップと
を含む手術用制御方法。
（１８）
コンピュータを、
所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部と
して機能させるためのプログラム。
【符号の説明】
【０１５５】
１０  内視鏡手術システム,  １１  表示装置,  １２  ＣＣＵ,  １３  光源装置,  １９  内視鏡,  ３２  光源制御部,  ３３  画像処理部,  ５２  ＡＦ処理部,  ５４  表示制御部,  １４４  補間部
【図１】
2017086648.tif 000003
【図２】
2017086648.tif 000004
【図３】
2017086648.tif 000005
【図４】
2017086648.tif 000006
【図５】
2017086648.tif 000007
【図６】
2017086648.tif 000008
【図７】
2017086648.tif 000009
【図８】
2017086648.tif 000010
【図９】
2017086648.tif 000011
【図１０】
2017086648.tif 000012
【図１１】
2017086648.tif 000013
【図１２】
2017086648.tif 000014
【図１３】
2017086648.tif 000015