(57)【要約】【課題】  内視鏡装置によって撮像された画像信号を、ヘッド部の角速度に基づいて補正する。【解決手段】  本開示の内視鏡システムは、体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている前記内視鏡装置と、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号から、前記画像信号に対応する画像全体の動きを算出するグローバル動き算出部と、算出された前記画像全体の動きと、検出された前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部とを備える画像処理装置とを含む。本開示は、例えば、腹腔鏡下手術に用いることができる。【選択図】  図２
2015139646.tif 000002
【特許請求の範囲】
【請求項１】
体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている前記内視鏡装置と、
前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号から、前記画像信号に対応する画像全体の動きを算出するグローバル動き算出部と、
算出された前記画像全体の動きと、検出された前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部と
を備える画像処理装置と
を含む内視鏡システム。
【請求項２】
前記画像処理装置は、
前記内視鏡装置から入力される前記画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部をさらに備え、
前記切り出しエリアは、推定された前記回転センタの位置と、検出された前記角速度とに基づいて決定される
請求項１に記載の内視鏡システム。
【請求項３】
前記画像処理装置は、
推定された前記回転センタの位置と、検出された前記角速度とに基づいて、前記対物レンズの移動量を算出する対物レンズ移動量算出部をさらに備える
請求項２に記載の内視鏡システム。
【請求項４】
前記対物レンズ移動量算出部は、さらに、算出した前記対物レンズの移動量に基づいて、切り出しエリアのシフト量を決定し、
前記補正部は、決定された前記シフト量に応じて前記切り出しエリアの位置を調整することにより、前記画像信号の手振れを補正する
請求項３に記載の内視鏡システム。
【請求項５】
前記補正部は、前記内視鏡装置から所定のフレームレートで入力される各画像信号の手振れを補正し、
前記推定部は、前記所定のフレームレート以下の頻度で前記回転センタの位置を推定する
請求項２に記載の内視鏡システム。
【請求項６】
前記画像処理装置は、
推定された前記回転センタの位置を時間方向に平準化する回転センタ位置平準化部をさらに備える
請求項３に記載の内視鏡システム。
【請求項７】
前記画像処理装置は、
検出された前記角速度を時間方向に平準化する角速度平準化部をさらに備える
請求項３に記載の内視鏡システム。
【請求項８】
前記画像処理装置は、
手振れ補正済みの前記画像信号のローリングシャッタ歪を除去する歪除去部をさらに備える
請求項２に記載の内視鏡システム。
【請求項９】
体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号から、前記画像信号に対応する画像全体の動きを算出するグローバル動き算出部と、
算出された前記画像全体の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部と
を備える画像処理装置。
【請求項１０】
体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号を処理する画像処理装置に画像処理方法において、
前記画像処理装置による、
前記画像信号に対応する画像全体の動きを算出するグローバル動き算出ステップと、
算出された前記画像全体の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定ステップと
を含む画像処理方法。
【請求項１１】
コンピュータを、
体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号から、前記画像信号に対応する画像全体の動きを算出するグローバル動き算出部と、
算出された前記画像全体の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部と
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、内視鏡システム、画像処理装置、画像処理方法、およびプログラムに関し、特に、例えば、腹腔鏡下手術などで用いられる内視鏡装置によってビデオ撮像された画像の振れを補正できるようにした内視鏡システム、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、医療現場においては従来の開腹手術に代わって腹腔鏡下手術が行われることがある。
【０００３】
図１は、腹腔鏡下手術の概要を示している。腹腔鏡下手術では、例えば腹部の手術を行う場合、従来行われていた腹壁１を切って開腹する代わりに、トロッカ２と称される開孔器具が腹壁に数か所取り付けられ、トロッカ２に設けられている孔から腹腔鏡（以下、内視鏡装置または内視鏡とも称する）３と処置具４が体内に挿入される。そして、内視鏡３によってビデオ撮像された患部（腫瘍等）４の画像をリアルタイムに見ながら、処置具４によって患部５を切除するなどの処置が行われる。
【０００４】
なお、内視鏡３によりビデオ撮像される画像には画像振れが生じ得るので、それを補正する仕組みが必要となる。
【０００５】
例えば、特許文献１には、先端部分を湾曲させることにより撮像位置を調整できる内視鏡が記載されており、該先端部分の湾曲方向および湾曲角速度を検出し、それらに基づいて振れ補正を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−４９５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一方、図１に示されるような直線棒状の内視鏡３では、ヘッド部６を術者、助手、スコピスト、またはロボットなどが保持しているが、ヘッド部６を保持する手などが振れた場合、その振れの動きが、トロッカ２を支点（回転センタ）として対物レンズ７に伝わるので、ヘッド部６を保持する手の振れに起因する画像振れが発生し得る。なお、ヘッド部６にジャイロを搭載し、その移動角速度を検出するものは従来存在するが、この移動角速度は例えば３次元表示を実現するに際して必要となるカメラの向きを検出するために用いられており、画像振れの補正には利用されていない。
【０００８】
本開示はこのような状況に鑑みてなされたものであり、ヘッド部の角速度に基づいて画像を補正できるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の第１の側面である内視鏡システムは、体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている前記内視鏡装置と、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号から、前記画像信号に対応する画像全体の動きを算出するグローバル動き算出部と、算出された前記画像全体の動きと、検出された前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部とを備える画像処理装置とを含む。
【００１０】
前記画像処理装置は、前記内視鏡装置から入力される前記画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部をさらに備えることができ、前記切り出しエリアは、推定された前記回転センタの位置と、検出された前記角速度とに基づいて決定されるようにすることができる。
【００１１】
前記画像処理装置は、推定された前記回転センタの位置と、検出された前記角速度とに基づいて、前記対物レンズの移動量を算出する対物レンズ移動量算出部をさらに備えることができる。
【００１２】
前記対物レンズ移動量算出部は、さらに、算出した前記対物レンズの移動量に基づいて、切り出しエリアのシフト量を決定することができ、前記補正部は、決定された前記シフト量に応じて前記切り出しエリアの位置を調整することにより、前記画像信号の手振れを補正することができる。
【００１３】
前記補正部は、前記内視鏡装置から所定のフレームレートで入力される各画像信号の手振れを補正することができ、前記推定部は、前記所定のフレームレート以下の頻度で前記回転センタの位置を推定することができる。
【００１４】
前記画像処理装置は、推定された前記回転センタの位置を時間方向に平準化する回転センタ位置平準化部をさらに備えることができる。
【００１５】
前記画像処理装置は、検出された前記角速度を時間方向に平準化する角速度平準化部をさらに備えることができる。
【００１６】
前記画像処理装置は、手振れ補正済みの前記画像信号のローリングシャッタ歪を除去する歪除去部をさらに備えることができる。
【００１７】
本開示の第１の側面である内視鏡システムにおいては、内視鏡装置から画像処理装置に対して画像信号とヘッド部の角速度が入力され、画像処理装置にて、前記画像信号に対応する画像全体の動きが算出され、算出された前記画像全体の動きと、検出された前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置が推定される。
【００１８】
本開示の第２の側面である画像処理装置は、体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号から、前記画像信号に対応する画像全体の動きを算出するグローバル動き算出部と、算出された前記画像全体の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部とを備える。
【００１９】
本開示の第２の側面である画像処理方法は、体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号を処理する画像処理装置に画像処理方法において、前記画像処理装置による、前記画像信号に対応する画像全体の動きを算出するグローバル動き算出ステップと、算出された前記画像全体の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定ステップとを含む。
【００２０】
本開示の第２の側面であるプログラムは、コンピュータを、体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号から、前記画像信号に対応する画像全体の動きを算出するグローバル動き算出部と、算出された前記画像全体の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部として機能させる。
【００２１】
本開示の第２の側面においては、内視鏡装置から入力される画像信号から、前記画像信号に対応する画像全体の動きが算出され、算出された前記画像全体の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記内視鏡装置のヘッド部の動きに応じて対物レンズが動くときの回転センタの位置が推定される。
【発明の効果】
【００２２】
本開示の第１および第２の側面によれば、内視鏡装置のヘッド部の角速度に基づいて、内視鏡装置によって撮像された画像を補正することができる。
【図面の簡単な説明】
【００２３】
【図１】腹腔鏡下手術の概要を示す図である。
【図２】本開示を適用した内視鏡システムの構成例を示すブロック図である。
【図３】図２の内視鏡装置の他の構成例を示すブロック図である。
【図４】図画像補正装置による補正処理の概要を説明する図である。
【図５】画像補正装置の構成例を示すブロック図である。
【図６】グローバル動きベクトル算出部の構成例を示すブロック図である。
【図７】内視鏡装置における対物レンズ、回転センタ、およびジャイロ部の位置関係を示す図である。
【図８】ジャイロ部の角速度と対物レンズの移動量の関係を示す図である。
【図９】画像補正処理を説明するフローチャートである。
【図１０】手振れ補正後の画像を用いたスティッチング合成を説明する図である。
【図１１】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００２５】
＜内視鏡システムの構成例＞
図２は、本開示の実施の形態である内視鏡システムの構成例を示している。この内視鏡システム１０は、内視鏡装置１１、画像補正装置（画像処理装置）１２、および表示装置１３から構成される。
【００２６】
内視鏡装置１１と画像補正装置１２は、ケーブルを介して接続する他、無線で接続してもよい。また、画像補正装置１２を手術室から離れた場所に配置し、構内LANやインターネットなどのネットワークを介して接続するようにしてもよい。画像補正装置１２と表示装置１３の接続についても同様とする。
【００２７】
内視鏡装置１１は、直線棒状の鏡筒部２１とヘッド部２４から構成される。鏡筒部２１は、光学視管または硬性管とも称され、その長さが数１０センチ程度であり、体内の挿入される側の一端には対物レンズ２２が設けられており、他端はヘッド部２４に接続されている。鏡筒部２１の内部にはリレー光学系の光学レンズ部２３が設けられている。なお、鏡筒部２１の形状は、直線棒状に限定されるものではない。
【００２８】
ヘッド部２４には、撮像部２５およびジャイロ部２６が内蔵されている。撮像部２５は、CMOSなどの撮像素子を有し、鏡筒部２１から入力される患部の光学像を所定のフレームレートで画像信号に変換する。
【００２９】
ジャイロ部２６は、ヘッド部２４が動かされる時の角速度（Yaw回転軸に対するYaw角速度ｗｙ、およびPitch回転軸に対するPitch角速度ｗｐ）を検出して後段の画像補正装置１２に出力する。
【００３０】
内視鏡装置１１においては、対物レンズ２２により集光される患部の光学像が光学レンズ部２３を介してヘッド部２４の撮像部２５に入射され、撮像部２５によって所定のフレームレートの画像信号に変換されて後段の画像補正装置１２に出力される。また、内視鏡装置１１においては、ジャイロ部２６により、ヘッド部２４の動きの角速度が検出されて後段の画像補正装置１２に出力される。
【００３１】
図３は、内視鏡装置１１の他の構成例を示している。同図に示されるように、対物レンズ２２の直後に撮像部２５を配置し、鏡筒部２１の内部の光学レンズ部２３を省略するようにしてもよい。
【００３２】
次に、図４は画像補正装置１２による補正処理の概要を示している。画像補正装置１２は、内視鏡装置１１の撮像部２５から所定のフレームレートで入力される画像信号の全領域（有効画素エリア）から、有効画素エリアよりも小さなサイズの切り出しエリアを切り出すことにより得られる画像信号を後段の表示装置１３に出力する。この時、切り出しエリアの位置を手振れに応じたシフト量だけ移動させることによって手振れを補正することができる。また、内視鏡装置１１の撮像部２５のシャッタ機構がローリングシャッタである場合、それに起因したローリングシャッタ歪を除去することができる。
【００３３】
図５は、画像補正装置１２の構成例を示している。画像補正装置１２は、グローバル動きベクトル算出部３１、回転センタ位置推定部３２、回転センタ位置平準化部３３、角速度平準化部３４、シフト量決定部３５、画像切り出し部３６、歪除去部３７、および画像出力部３８から構成される。
【００３４】
グローバル動きベクトル算出部３１は、内視鏡装置１１の撮像部２５から入力される所定のフレームレートの画像信号に基づき、画像全体としての動きベクトル（以下、グローバル動きベクトルと称する）とその信頼度を算出して回転センタ位置推定部３２に出力する。
【００３５】
図６は、グローバル動きベクトル算出部３１の構成例を示している。グローバル動きベクトル算出部３１は、ローカル動き検出部４１およびグローバル動き平準化部４２から構成される。
【００３６】
ローカル動き検出部４１は、撮像部２５から入力される画像信号の画面を所定のサイズのブロックに区切り、ブロック毎に１フレーム前の画像信号と比較することによってブロック単位の動きベクトル（以下、ローカル動きベクトルとも称する）と、その信頼度をグローバル動き平準化部４２に出力する。
【００３７】
グローバル動き平準化部４２は、各フレームのブロック毎のローカル動きベクトルのうち、信頼度が高いものを積分することにより、該フレームのグローバル動きベクトルを決定する。さらに、グローバル動き平準化部４２は、該フレームの前の数フレーム分のグローバル動きベクトルを平準化することにより瞬時エラーを除去する。なお、後段の回転センタ位置推定部３２における回転センタ位置の推定の頻度が画像信号のフレームレートよりも低い場合、該フレームの後の数フレーム分のグローバル動きベクトルも用いて平準化するようにしてもよい。
【００３８】
図５に戻る。回転センタ位置推定部３２は、内視鏡装置１１のジャイロ部２６によって検出されたヘッド部２４の角速度、および、グローバル動きベクトルとその信頼度に基づいて、内視鏡装置１１のヘッド部２４を動かしたことによって対物レンズ２２が動くときの回転センタ（支点）の位置を推定し、その信頼度とともに回転センタ位置平準化部３３に出力する。なお、回転センタ位置推定は、所定の時間間隔で連続的に実行する。
【００３９】
回転センタ位置平準化部３３は、推定された回転センタの位置を時間方向に積分することによって平準化し、瞬時エラーを除去した回転センタの位置をシフト量決定部３５に出力する。
【００４０】
角速度平準化部３４は、内視鏡装置１１のジャイロ部２６によって検出されたヘッド部２４の角速度を時間方向に積分することによって平準化し、瞬時エラーを除去した角速度をシフト量決定部３５および歪除去部３７に出力する。
【００４１】
シフト量決定部３５は、平準化された回転センタの位置と、平準化された角速度に基づいて、対物レンズ２２の移動量を算出し、算出した対物レンズ２２の移動量から画像切り出しエリアのシフト量を決定して画像切り出し部３６に通知する。なお、対物レンズ２２の移動量に対応する画像切り出しエリアのシフト量は、対物レンズ２２の倍率に応じて変化する。そこで、シフト量決定部３５には、対物レンズ２２の倍率と移動量からシフト量を算出する関数を保持させておくか、これらの対応を表すテーブルを予め保持させるようにする。
【００４２】
画像切り出し部３６は、内視鏡装置１１の撮像部２５から順次入力される所定のフレームレートの画像信号から、シフト量決定部３５からのシフト量に応じてその位置を調整した切り出しエリアの画素を切り出し、その結果得られた手振れ補正画像信号を歪除去部３７に出力する。
【００４３】
歪除去部３７は、画像切り出し部３６からの手振れ補正画像信号にローリングシャッタ歪（撮像部２５のシャッタ機構がローリングシャッタである場合に生じ得る）が生じている場合、それを除去して画像出力部３８に出力する。なお、ローリングシャッタ歪の除去については既存の任意の方法を適用すればよい。
【００４４】
画像出力部３８は、歪除去部３７を介して入力される手振れ補正画像信号を後段（今の場合、表示装置１３）に出力する。
【００４５】
次に、回転センタの位置の推定と、切り出しエリアの位置のシフト量について、図７および図８を参照して詳述する。
【００４６】
図７は、内視鏡装置１１の対物レンズ２２、ジャイロ部２６、および回転センタの位置の関係を示している。図８は、対物レンズ２２の移動量とジャイロ部２６の角速度の関係を示している。
【００４７】
図７に示されるように、対物レンズ２２とジャイロ部２６の距離をｄ、対物レンズ２２と回転センタの距離をａ、回転センタとジャイロ部２６の距離をｂとする。なお、該内視鏡装置１１を図１に示された状態の腹腔鏡化手術に用いた場合、トロッカ２が回転センタとなる。
【００４８】
一方、対物レンズ２２の移動量（Ｄｘ，Ｄｙ，Ｄｚ）とジャイロ部２６の角速度（Yaw角速度ｗｙ、Pitch角速度ｗｐ）の関係は次式（１）（近似式）のとおりとなる。
Ｄｘ＝ａ sin（ｗｙｔ）
Ｄｙ＝ａ sin（ｗＰｔ）
Ｄｚ＝ａ（１−cos（ｗｙｔ）（１−cos（ｗＰｔ）              （１）
ｔは１フレーム時間を表す。
【００４９】
また、検出されるグローバル動きベクトル（Ｖｘ，Ｖｙ）とジャイロ部２６の角速度（Yaw角速度ｗｙ、Pitch角速度ｗｐ）の関係は次式（２）（近似式）のとおりとなる。
Ｖｘ＝ａ sin（ｗｙｔ）
Ｖｙ＝ａ sin（ｗＰｔ）                                      （２）
ｔは１フレーム時間を表す。
【００５０】
回転センタ位置推定部３２では、逐次入力される角速度と、平準化されたグローバル動きベクトルを式(２)に適用して、回転センタの位置ａの値を算出する。
【００５１】
シフト量決定部３５では、平準化された回転センタの位置ａと、平準化された角速度を式(１)に適用して対物レンズ２２の移動量Ｄｘ，Ｄｙ，Ｄｚを算出し、これらに基づいて切り出しエリアのシフト量を決定する。
【００５２】
＜動作説明＞
次に、図９は、画像補正装置１２による画像補正処理を説明するフローチャートである。
【００５３】
ステップＳ１において、内視鏡装置１１から画像補正装置１２に対して、所定のフレームレートの画像信号の入力と、ヘッド部２４の動きを表す角速度信号の入力が開始される。画像信号はグローバル動きベクトル算出部３１および画像切り出し部３６に、角速度信号は、回転センタ位置推定部３２および角速度平準化部３４に入力される。
【００５４】
ステップＳ２において、グローバル動きベクトル算出部３１では、ローカル動き検出部４１が、前段から入力される画像信号の画面を所定のサイズのブロックに区切り、ブロック毎に１フレーム前の画像信号と比較することによってブロック単位のローカル動きベクトルと、その信頼度を算出する。ステップＳ３において、グローバル動きベクトル算出部３１のグローバル動き平準化部４２は、各フレームのブロック毎のローカル動きベクトルのうち、信頼度が高いものを積分することにより、該フレームのグローバル動きベクトルを決定し、該フレームの前の数フレーム分のグローバル動きベクトルを平準化して回転センタ位置推定部３２に出力する。
【００５５】
ステップＳ４において、回転センタ位置推定部３２では、逐次入力される角速度と、平準化されたグローバル動きベクトルを式(２)に適用して、回転センタの位置ａの値を算出する。ステップＳ５において、回転センタ位置平準化部３３は、推定された回転センタの位置を時間方向に積分することによって平準化してシフト量決定部３５に出力する。
【００５６】
一方、角速度平準化部３４では、ステップＳ６として、内視鏡装置１１のジャイロ部２６によって検出されたヘッド部２４の角速度を時間方向に積分することによって平準化してシフト量決定部３５および歪除去部３７に出力する。ステップＳ７において、シフト量決定部３５は、平準化された回転センタの位置と、平準化された角速度に基づいて、対物レンズ２２の移動量を算出し、さらに、算出した対物レンズ２２の移動量から画像切り出しエリアのシフト量を決定して画像切り出し部３６に通知する。
【００５７】
ステップＳ８において、画像切り出し部３６は、内視鏡装置１１から順次入力される所定のフレームレートの画像信号から、シフト量決定部３５からのシフト量に応じてその位置を調整した切り出しエリアの画素を切り出し、その結果得られた手振れ補正画像信号を歪除去部３７に出力する。
【００５８】
ステップＳ９において、歪除去部３７は、画像切り出し部３６からの手振れ補正画像信号にローリングシャッタ歪が生じている場合、それを除去して画像出力部３８に出力する。画像出力部３８は、歪除去部３７を介して入力される手振れ補正画像信号を表示装置１３に出力する。以上で、画像補正処理の説明を終了する。
【００５９】
以上に説明したように、本実施の形態である内視鏡システム１０は、内視鏡装置１１によって撮像したビデオ画像に生じ得る手振れを補正することができる。
【００６０】
また、本実施の形態である内視鏡システム１０は、例えば、推定した回転センタ（トロッカ）の位置ａの値を医師等のユーザに通知することができる。これによりユーザは、腹腔に挿入されている部分の長さを把握することができる。
【００６１】
また、例えば内視鏡装置１１に３Ｄ測定機能を付加すれば、回転センタ（トロッカ）から被写体となる患部との位置関係を容易に算出することができる。
【００６２】
さらに、例えば、トロッカを回転センタとして内視鏡装置１１を大きく動かして撮像を行い、その結果得られる複数の画像を、図１０に示されるように、回転センタの位置と角速度に基づいてスティッチング合成すれば、比較的少ない処理量で高精度の高視野角画像を得ることができる。
【００６３】
ところで、上述した画像補正装置１２の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００６４】
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００６５】
コンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００６６】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
【００６７】
入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
【００６８】
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００６９】
コンピュータ１００（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【００７０】
なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【００７１】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【００７２】
なお、本開示は以下のような構成も取ることができる。
（１）
体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている前記内視鏡装置と、
前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号から、前記画像信号に対応する画像全体の動きを算出するグローバル動き算出部と、
算出された前記画像全体の動きと、検出された前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部と
を備える画像処理装置と
を含む内視鏡システム。
（２）
前記画像処理装置は、
前記内視鏡装置から入力される前記画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部をさらに備え、
前記切り出しエリアは、推定された前記回転センタの位置と、検出された前記角速度とに基づいて決定される
前記（１）に記載の内視鏡システム。
（３）
前記画像処理装置は、
推定された前記回転センタの位置と、検出された前記角速度とに基づいて、前記対物レンズの移動量を算出する対物レンズ移動量算出部をさらに備える
前記（１）または（２）に記載の内視鏡システム。
（４）
前記対物レンズ移動量算出部は、さらに、算出した前記対物レンズの移動量に基づいて、切り出しエリアのシフト量を決定し、
前記補正部は、決定された前記シフト量に応じて前記切り出しエリアの位置を調整することにより、前記画像信号の手振れを補正する
前記（３）に記載の内視鏡システム。
（５）
前記補正部は、前記内視鏡装置から所定のフレームレートで入力される各画像信号の手振れを補正し、
前記推定部は、前記所定のフレームレート以下の頻度で前記回転センタの位置を推定する
前記（２）から（４）のいずれかに記載の内視鏡システム。
（６）
前記画像処理装置は、
推定された前記回転センタの位置を時間方向に平準化する回転センタ位置平準化部をさらに備える
前記（１）から（５）のいずれかに記載の内視鏡システム。
（７）
前記画像処理装置は、
検出された前記角速度を時間方向に平準化する角速度平準化部をさらに備える
前記（１）から（６）のいずれかに記載の内視鏡システム。
（８）
前記画像処理装置は、
手振れ補正済みの前記画像信号のローリングシャッタ歪を除去する歪除去部をさらに備える
前記（２）から（７）のいずれかに記載の内視鏡システム。
（９）
体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号から、前記画像信号に対応する画像全体の動きを算出するグローバル動き算出部と、
算出された前記画像全体の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部と
を備える画像処理装置。
（１０）
体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号を処理する画像処理装置に画像処理方法において、
前記画像処理装置による、
前記画像信号に対応する画像全体の動きを算出するグローバル動き算出ステップと、
算出された前記画像全体の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定ステップと
を含む画像処理方法。
（１１）
コンピュータを、
体腔に挿入される挿入部の先端に対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッダ部に設けられている前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号から、前記画像信号に対応する画像全体の動きを算出するグローバル動き算出部と、
算出された前記画像全体の動きと、前記内視鏡装置から入力される前記角速度とに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部と
して機能させるプログラム。
【符号の説明】
【００７３】
２  トロッカ，  １０  内視鏡システム，  １１  内視鏡装置，  １２  画像補正装置，  １３  表示装置，  ２１  鏡筒部，  ２２  対物レンズ，  ２３  光学レンズ部，  ２４  ヘッド部，  ２５  撮像部，  ２６  ジャイロ部，  ３１  グローバル動きベクトル算出部，  ３２  回転センタ位置推定部，  ３３  回転センタ位置平準化部，  ３４  角速度平準化部，  ３５  シフト量決定部，  ３６  画像切り出し部，  ３７  歪除去部，  ３８  画像出力部，  ４１  ローカル動き検出部，  ４２  グローバル動き平準化部，  １００  コンピュータ，  １０１  CPU
【図１】
2015139646.tif 000003
【図２】
2015139646.tif 000004
【図３】
2015139646.tif 000005
【図４】
2015139646.tif 000006
【図５】
2015139646.tif 000007
【図６】
2015139646.tif 000008
【図７】
2015139646.tif 000009
【図８】
2015139646.tif 000010
【図９】
2015139646.tif 000011
【図１０】
2015139646.tif 000012
【図１１】
2015139646.tif 000013