(57)【特許請求の範囲】
【請求項１】
体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置と、
検出された前記角速度、前記体腔内への挿入孔であって、前記挿入部の支点となる位置から前記対物レンズまでの距離、および前記対物レンズから被写体までの距離に基づいて、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部とが設けられている画像処理装置と
を含む内視鏡システム。
【請求項２】
前記内視鏡装置は、前記挿入部の軸方向に対して、その光軸が所定の角度からなる斜視角をなす対物レンズを有する斜視鏡である
請求項１に記載の内視鏡システム。
【請求項３】
前記斜視角は、３０度、および７０度を含む
請求項２に記載の内視鏡システム。
【請求項４】
前記画像処理装置は、
前記画像信号に基づいて、前記斜視角を測定する
請求項２または３のいずれかに記載の内視鏡システム。
【請求項５】
前記画像処理装置は、
検出された前記角速度を時間方向に平準化する角速度平準化部をさらに備える
請求項１乃至４のいずれかに記載の内視鏡システム。
【請求項６】
前記画像処理装置は、
手振れ補正済みの前記画像信号のローリングシャッタ歪を除去する歪除去部をさらに備える
請求項１乃至５のいずれかに記載の内視鏡システム。
【請求項７】
体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置により検出された前記角速度、前記体腔内への挿入孔であって、前記挿入部の支点となる位置から前記対物レンズまでの距離、および前記対物レンズから被写体までの距離に基づいて、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部を含む
画像処理装置。
【請求項８】
体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置により検出された前記角速度、前記体腔内への挿入孔であって、前記挿入部の支点となる位置から前記対物レンズまでの距離、および前記対物レンズから被写体までの距離に基づいて、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部を含む画像処理装置の画像処理方法において、
前記ジャイロ部が、前記ヘッド部の動きの角速度を検出し、
前記補正部が、前記ジャイロ部により検出された前記角速度、前記体腔内への挿入孔であって、前記挿入部の支点となる位置から前記対物レンズまでの距離、および前記対物レンズから被写体までの距離に基づいて、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する
ステップを含む画像処理方法。
【請求項９】
体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号を処理する画像処理装置を制御するコンピュータを、
検出された前記角速度、前記体腔内への挿入孔であって、前記挿入部の支点となる位置から前記対物レンズまでの距離、および前記対物レンズから被写体までの距離に基づいて、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、内視鏡システム、画像処理装置、画像処理方法、およびプログラムに関し、特に、内視鏡手術などで使用される内視鏡装置のうち、いわゆる斜視鏡を利用した場合においても手ぶれ補正を実現できるようにした内視鏡システム、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
手ぶれ量を検知できるジャイロスコープが搭載されたビデオカメラなどの撮像装置において、映像の手ぶれを補正する技術が開示されている（特許文献１参照）。
【０００３】
この特許文献１の技術によれば、ジャイロスコープなどのセンサで検出されたぶれ量を用いて、画像データを光軸に直行する方向へｆｔａｎθ、またはｆθだけシフトすることで、手ぶれ補正が可能なことが記載されている。
【０００４】
ここで、ｆは撮像光学系の焦点距離であり、θはジャイロスコープなどのセンサで検出、算出された光軸に直行する軸周りの撮像装置の回転角度である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１１３９６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、一般的に、ビデオカメラでは数メートルから数十メートル離れたところにある対象物体を映すため、撮像装置の光学系から対象物体までの距離（以下、被写体距離と呼ぶ）が、手ぶれにより発生した回転の回転中心と撮像装置の光学系までの距離（以下、回転半径と呼ぶ）に比べて十分に大きい。
【０００７】
このため、特許文献１などで記載されている方法では、回転半径が被写体距離に比べて無視できるくらい十分に小さいという仮定のもと、手ぶれ補正シフト量の算出を行っている。
【０００８】
一方、硬性内視鏡装置では、数ミリメートルから数センチメートル離れたところにある対象物体を映す。また、腹腔鏡手術の場合、硬性鏡はトロッカと呼ばれる筒を介して腹腔内に挿入される。
【０００９】
このとき、硬性鏡はトロッカを支点として回転することになる。硬性内視鏡装置の場合、回転半径が被写体距離に対して無視できるほど小さくないため、特許文献１などで記載されている手ぶれ補正方法では効果が得られない。
【００１０】
また、硬性内視鏡の種類には、通常の直視鏡の他に、硬性鏡の光軸が、鏡筒の軸に対して傾いた斜視鏡と呼ばれるものがある。斜視鏡の場合、被写体距離と回転半径に加え、斜視鏡の鏡筒軸と光学系の光軸とがなす角度、および鏡筒の基準位置からの回転角度を考慮して手ぶれ補正のシフト量を算出しなければ手ぶれ補正効果が得られない。
【００１１】
本技術は、このような状況に鑑みてなされたものであり、被写体距離、回転半径、斜視鏡の鏡筒軸と光学系の光軸とがなす角度、および斜視鏡の基準位置からの回転角度を考慮した手ぶれ補正を実現するものである。
【課題を解決するための手段】
【００１２】
本開示の一側面の内視鏡システムは、体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置と、検出された前記角速度、前記体腔内への挿入孔であって、前記挿入部の支点となる位置から前記対物レンズまでの距離、および前記対物レンズから被写体までの距離に基づいて、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部とが設けられている画像処理装置とを含む。
【００１３】
前記内視鏡装置は、前記挿入部の軸方向に対して、その光軸が所定の角度からなる斜視角をなす対物レンズを有する斜視鏡とすることができる。
【００１４】
前記斜視角には、３０度、および７０度を含ませるようにすることができる。
【００１５】
前記画像処理装置には、前記画像信号に基づいて、前記斜視角を測定させるようにすることができる。
【００１６】
前記画像処理装置には、検出された前記角速度を時間方向に平準化する角速度平準化部をさらに設けるようにさせることができる。
【００１７】
前記画像処理装置には、手振れ補正済みの前記画像信号のローリングシャッタ歪を除去する歪除去部をさらに設けるようにさせることができる。
【００１８】
本開示の一側面の画像処理装置は、体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置により検出された前記角速度、前記体腔内への挿入孔であって、前記挿入部の支点となる位置から前記対物レンズまでの距離、および前記対物レンズから被写体までの距離に基づいて、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部を含む。
【００１９】
本開示の一側面の画像処理方法は、体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置により検出された前記角速度、前記体腔内への挿入孔であって、前記挿入部の支点となる位置から前記対物レンズまでの距離、および前記対物レンズから被写体までの距離に基づいて、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部を含む画像処理装置の画像処理方法において、前記ジャイロ部が、前記ヘッド部の動きの角速度を検出し、前記補正部が、前記ジャイロ部により検出された前記角速度、前記体腔内への挿入孔であって、前記挿入部の支点となる位置から前記対物レンズまでの距離、および前記対物レンズから被写体までの距離に基づいて、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正するステップを含む。
【００２０】
本開示の一側面のプログラムは、体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号を処理する画像処理装置を制御するコンピュータを、検出された前記角速度、前記体腔内への挿入孔であって、前記挿入部の支点となる位置から前記対物レンズまでの距離、および前記対物レンズから被写体までの距離に基づいて、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部として機能させる。
【００２１】
本開示の一側面においては、内視鏡装置において、体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられ、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号が処理され、検出された前記角速度、前記体腔内への挿入孔であって、前記挿入部の支点となる位置から前記対物レンズまでの距離、および前記対物レンズから被写体までの距離に基づいて、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアが切り出されることにより、前記画像信号の手振れが補正される。
【００２２】
本技術の一側面の内視鏡システム、および画像処理装置は、それぞれ独立した装置であっても良いし、内視鏡システム、および画像処理装置のそれぞれとして機能するブロックであっても良い。
【発明の効果】
【００２３】
本技術の一側面によれば、被写体距離、回転半径、斜視鏡の鏡筒軸と光学系の光軸とがなす角度、および斜視鏡の基準位置からの回転角度を考慮した手ぶれ補正を実現することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】腹腔鏡下手術の概要を示す図である。
【図２】本開示を適用した内視鏡システムの構成例を示すブロック図である。
【図３】図２の内視鏡装置の他の構成例を示すブロック図である。
【図４】図画像補正装置による補正処理の概要を説明する図である。
【図５】画像補正装置の構成例を示すブロック図である。
【図６】ビデオカメラと内視鏡装置との手ぶれ補正の違いを説明する図である。
【図７】ピンホールカメラモデルによる斜視鏡の構成を説明する図である。
【図８】直視鏡による手ぶれ補正を説明する図である。
【図９】斜視鏡における手ぶれの方向を説明する図である。
【図１０】斜視鏡による手ぶれ補正を説明する図である。
【図１１】画像補正処理を説明するフローチャートである。
【図１２】手振れ補正後の画像を用いたスティッチング合成を説明する図である。
【図１３】コンピュータの構成例を示すブロック図である。
【発明を実施するための最良の形態】
【００２５】
以下、本技術を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００２６】
＜内視鏡システムの概要＞
図１は、本技術を適用した内視鏡システムの概要を説明する図である。
【００２７】
この内視鏡システムは、近年、医療現場において従来の開腹手術に代わって行われる腹腔鏡下手術において利用される。
【００２８】
すなわち、図１で示されるように、腹腔鏡下手術では、例えば腹部の手術を行う場合、従来行われていた腹壁１を切って開腹する代わりに、トロッカ２と称される開孔器具が腹壁に数か所取り付けられ、トロッカ２に設けられている孔から腹腔鏡（以下、内視鏡装置または内視鏡とも称する）２１と処置具３が体内に挿入される。そして、内視鏡装置１１によってビデオ撮像された患部（腫瘍等）４の画像をリアルタイムに見ながら、処置具４によって患部５を切除するなどの処置が行われる。
【００２９】
なお、内視鏡装置１１によりビデオ撮像される画像には画像振れが生じ得るので、それを補正する仕組みが必要となる。
【００３０】
図１に示されるような直線棒状の内視鏡装置１１では、ヘッド部２４を術者、助手、スコピスト、またはロボットなどが保持しているが、ヘッド部２４を保持する手などが振れた場合、その振れの動きが、トロッカ２を支点（回転センタ）として対物レンズ２２に伝わるので、ヘッド部２４を保持する手の振れに起因する画像振れが発生し得る。
【００３１】
本技術の内視鏡システムは、この画像振れに基づく画像の乱れを補正する、いわゆる手ぶれ補正を実現するものである。
【００３２】
＜内視鏡システムの構成例＞
ここで、図２を参照して、本技術の実施の形態である内視鏡システムの構成例について説明する。この内視鏡システム１０は、内視鏡装置１１、画像補正装置（画像処理装置）１２、および表示装置１３から構成される。
【００３３】
内視鏡装置１１と画像補正装置１２は、ケーブルを介して接続する他、無線で接続してもよい。また、画像補正装置１２を手術室から離れた場所に配置し、構内LANやインターネットなどのネットワークを介して接続するようにしてもよい。画像補正装置１２と表示装置１３の接続についても同様とする。
【００３４】
内視鏡装置１１は、直線棒状の鏡筒部２１とヘッド部２４から構成される。鏡筒部２１は、光学視管または硬性管とも称され、その長さが数１０センチ程度であり、体内の挿入される側の一端には対物レンズ２２が設けられており、他端はヘッド部２４に接続されている。鏡筒部２１の内部にはリレー光学系の光学レンズ部２３が設けられている。なお、鏡筒部２１の形状は、直線棒状に限定されるものではない。
【００３５】
鏡筒部２１には、大きく分類して、図２の鏡筒軸Ａと光軸Ｂが等しい直視鏡と、鏡筒軸Ａと光軸Ｂとが所定の角度をなす斜視鏡がある。図２の鏡筒部２１は、このうち斜視鏡を例にしたものである。斜視鏡において、鏡筒軸Ａと光軸Ｂとの所定のなす角は、斜視角とも称され、一般に、３０度、および７０度などとされるものが多いが、それ以外の角度のものも存在し、自由に設定することができる。
【００３６】
ヘッド部２４には、撮像部２５およびジャイロ部２６が内蔵されている。撮像部２５は、CMOS（Complementary Metal Oxide Semiconductor）などの撮像素子を有し、鏡筒部２１から入力される患部の光学像を所定のフレームレートで画像信号に変換する。また、ヘッド部２４には、光源装置１４が接続されており、撮像に必要とされる光源の供給を受けて、光学レンズ部２３を介して患部４を照射する。この際、光源装置１４は、さまざまな波長の光を切り替えて発することができ、通常光に加えて、患部４を特に識別できるような特殊光を発することもできる。したがって、撮像部２５により撮像される画像は、通常光による画像信号の他、特殊光による画像信号を撮像することも可能である。
【００３７】
ジャイロ部２６は、ヘッド部２４が動かされる時の角速度を検出して後段の画像補正装置１２に出力する。
【００３８】
内視鏡装置１１においては、対物レンズ２２により集光される患部の光学像が光学レンズ部２３を介してヘッド部２４の撮像部２５に入射され、撮像部２５によって所定のフレームレートの画像信号に変換されて後段の画像補正装置１２に出力される。また、内視鏡装置１１においては、ジャイロ部２６により、ヘッド部２４の動きの角速度が検出されて後段の画像補正装置１２に出力される。
【００３９】
図３は、内視鏡装置１１の他の構成例を示している。同図に示されるように、対物レンズ２２の直後に撮像部２５を配置し、鏡筒部２１の内部の光学レンズ部２３を省略するようにしてもよい。
【００４０】
＜補正処理の概要＞
次に、図４を参照して、画像補正装置１２による補正処理の概要を説明する。画像補正装置１２は、内視鏡装置１１の撮像部２５から所定のフレームレートで入力される画像信号の全領域（有効画素エリア）から、有効画素エリアよりも小さなサイズの切り出しエリアを切り出すことにより得られる画像信号を後段の表示装置１３に出力する。この時、切り出しエリアの位置を手振れに応じたシフト量だけ移動させることによって手振れを補正することができる。また、内視鏡装置１１の撮像部２５のシャッタ機構がローリングシャッタである場合、それに起因したローリングシャッタ歪を除去することができる。
【００４１】
＜画像補正処理装置の構成例＞
次に、図５を参照して、画像補正装置１２の構成例について説明する。画像補正装置１２は、角速度平準化部３１、シフト量決定部３２、画像切り出し部３３、歪除去部３４、および画像出力部３５から構成される。
【００４２】
角速度平準化部３１は、内視鏡装置１１のジャイロ部２６によって検出されたヘッド部２４の角速度を時間方向に積分することによって平準化し、瞬時エラーを除去した角速度をシフト量決定部３２および歪除去部３４に出力する。
【００４３】
シフト量決定部３２は、平準化された角速度に基づいて、対物レンズ２２の移動量を算出し、算出した対物レンズ２２の移動量から画像切り出しエリアのシフト量を決定して画像切り出し部３３に通知する。なお、対物レンズ２２の移動量に対応する画像切り出しエリアのシフト量は、対物レンズ２２の倍率に応じて変化する。そこで、シフト量決定部３２には、対物レンズ２２の倍率と移動量からシフト量を算出する関数を保持させておくか、これらの対応を表すテーブルを予め保持させるようにする。
【００４４】
画像切り出し部３３は、内視鏡装置１１の撮像部２５から順次入力される所定のフレームレートの画像信号から、シフト量決定部３２からのシフト量に応じてその位置を調整した切り出しエリアの画素を切り出し、その結果得られた手振れ補正画像信号を歪除去部３４に出力する。
【００４５】
歪除去部３４は、画像切り出し部３３からの手振れ補正画像信号にローリングシャッタ歪（撮像部２５のシャッタ機構がローリングシャッタである場合に生じ得る）が生じている場合、それを除去して画像出力部３５に出力する。なお、ローリングシャッタ歪の除去については既存の任意の方法を適用すればよい。
【００４６】
画像出力部３５は、歪除去部３４を介して入力される手振れ補正画像信号を後段（今の場合、表示装置１３）に出力する。
【００４７】
＜シフト量の決定方法＞
ここで、シフト量の決定方法について説明する。
【００４８】
一般的に、ビデオカメラでは、図６の左部で示されるように、数メートルから数十メートル離れたところにある対象物体が撮像されるため、撮像装置１０１の光学系から対象物体までの距離（以下、被写体距離と呼ぶ）ｄ２が、手ぶれにより発生した回転の回転中心ｃ２と撮像装置１０１の光学系までの距離（以下、回転半径と呼ぶ）に比べて十分に大きい。このため、特許文献１などに記載されている方法では、回転半径ｒ２は被写体距離ｄ２に比べて無視できる程度に十分に小さいという仮定のもと、手ぶれ補正のシフト量の算出を行っている。尚、図６の左部においては、撮像装置１０１’が、回転中心ｃ２を中心としてずれ角θ２だけ手ぶれした場合の位置が、撮像装置１０１として示されている。
【００４９】
一方、内視鏡装置では、図６の右部で示されるように、被写体距離ｄ１が数ミリメートルから数センチメートルの対象物体が撮像される。また、腹腔鏡下手術の場合、内視鏡装置１１はトロッカ２と呼ばれる筒を介して腹腔内に挿入される。このとき、内視鏡装置１１はトロッカ２を支点ｃ１として回転することになる。内視鏡装置１１の場合、回転半径ｒ１が被写体距離ｄ１に対して無視できるほど小さくないため、特許文献１などで記載されている手ぶれ補正方法では効果が得られない。尚、図６の右部においては、内視鏡装置１１が、回転中心ｃ１を中心として、ヘッド部２４がずれ角θ１だけ、手ぶれした場合の位置が、ヘッド部２４’として示されている。
【００５０】
また、本実施の形態で示される内視鏡装置１１のように、斜視鏡の場合、被写体距離と回転半径に加え、斜視鏡の鏡筒軸と光学系の光軸とがなす角度、および鏡筒の基準位置からの回転角度を考慮してシフト量を算出しなければ手ぶれ補正効果が得られない。
【００５１】
そこで、以降においては、斜視鏡の内視鏡装置１１におけるシフト量を説明するにあたって、まず、ピンホールカメラモデルを用いて斜視鏡である場合のシフト量について説明する。
【００５２】
例えば、図７で示されるピンホールカメラモデルにおいて、点Ｏは、光が集光する光学中心（ピンホール）であり、画像面Ｓに像（画像）が形成される。実際は、内視鏡装置１１では、ヘッド部２４に撮像部２５があるが、説明を簡単にするため、図７では画像面Ｓを光学中心Ｏの前面に配置して考える。また、光学中心Ｏと画像面Ｓの距離を焦点距離ｆとする。
【００５３】
次に、図８を参照して、鏡筒軸Ａと光軸Ｂとが同一となる直視鏡を用いた場合における、被写体距離と回転半径を考慮した手ぶれ補正のシフト量の導出方法について説明する。
【００５４】
時刻ｔ−１において、ヘッド部２４の撮像部２５における画像面中心に被写体である点光源Ｐが映っているものとする。時刻ｔ−１から時刻ｔの間に、中心点Ｃを中心にヘッド部２４がθ［ラジアン］だけ回転（手ぶれ）したヘッド部２４’に移動したものとする。このとき、時刻ｔにおけるヘッド部２４’の画像面のどこに点光源Ｐが映るのかを考える。すなわち、時刻ｔのヘッド部２４’で得られる画像上における点光源の位置と画像中心との距離ｕが、求めたい手ぶれ補正のシフト量となる。手ぶれ補正のシフト量ｕは、図８に示す幾何学的な関係により以下の式（１）のように定義される。
【００５５】
【数１】
0006519144.tif 000002
【００５６】
ここで、ｄは被写体距離、ｒは回転半径、ｆは焦点距離である。一般的に、微小時間（１フレーム間）における手ぶれ量（回転角θ）は微小であり、ｓｉｎθ≒ｔａｎθ≒θ、ｃｏｓθ≒１と近似できるので、式（１）は、以下の式（２）のように近似できる。
【００５７】
【数２】
0006519144.tif 000003
【００５８】
さらに、式（２）において、回転半径ｒが被写体距離ｄに対して無視できる程度に十分小さい場合（ｄ＞＞ｒ）、ｄ＋ｒ≒ｄと近似できるので、式（２）は、以下の式（３）のように近似できる。
【００５９】
【数３】
0006519144.tif 000004
【００６０】
これは特許文献１などで示されている一般的なビデオカメラなどの撮像装置における手ぶれ補正シフト量と同じである。
【００６１】
内視鏡装置１１の場合、図６で示されるように、回転半径ｒが被写体距離ｄに対して無視できないので、これらを考慮した式（２）を用いることで、従来の方法よりも効果的に手ぶれ補正を行うことができる。
【００６２】
次に、硬性鏡の光軸Ａが、鏡筒の軸Ｂに対して傾いた斜視鏡の場合を考える。
【００６３】
まず、図９を参照して、以下の説明で用いるパラメータについて説明する。図９においては、斜視鏡が基準位置(θｚ＝０)にあるときの、斜視鏡の光軸Ｂと鏡筒軸（Ｚ軸（＝Ａ））とのなす角度をφ［ラジアン］とする。斜視鏡が基準位置からθｚだけ回転したときの光軸Ｂ’のＸ−Ｚ平面に投影した線と、鏡筒軸Ｚとのなす角度をφｙとする。斜視鏡が基準位置からθｚだけ回転したときの光軸のＸ−Ｚ平面に投影した線と、光軸とのなす角度をφｘとする。また、内視鏡装置１１のＸ軸周りの回転をθｘとし、Ｙ軸周りの回転をθｙとする。
【００６４】
このとき、φのＸ軸とＹ軸の角度成分であるφｘ，φｙは、φとθｚを用いて以下の式（４），式（５）のように表される。
【００６５】
【数４】
0006519144.tif 000005
【００６６】
【数５】
0006519144.tif 000006
【００６７】
次に、図１０を参照して、ヘッド部２４における撮像部２５の水平方向の手ぶれ補正のシフト量ｕについて説明する。
【００６８】
図１０においては、ヘッド部２４が基準位置からθｚだけ回転しているものとし、光軸ＢのＸ−Ｚ平面に投影した線と、鏡筒軸Ｚ（＝Ａ）とのなす角度φｙは式（５）で示した通りである。ここで、時刻ｔ−１のヘッド部２４における撮像部２５の画像面中心に被写体である点光源Ｐが映っているとする。そして、時刻ｔ−１から時刻ｔの間に、回転中心Ｃを中心にＹ軸周りにヘッド部２４がθｙ［ラジアン］だけ回転（手ぶれ）したとする。このとき、時刻ｔにおける撮像部２５の画像面のどこに点光源Ｐが映るのかを考える。すなわち、時刻ｔの撮像部２５で得られる画像上における点光源Ｐの位置と画像中心との距離ｕが、手ぶれ補正のシフト量となる。図１０におけるｒは回転半径、ｄは時刻ｔ−１におけるカメラの光学中心と点光源Ｐまでの被写体距離、ｆは焦点距離にである。
【００６９】
図１０の幾何関係から明らかなように、手ぶれ補正のシフト量ｕは、以下の式（６）となる。
【００７０】
【数６】
0006519144.tif 000007
【００７１】
ここで、αｙは点光源Ｐと時刻ｔにおけるヘッド部２４の光学中心を結ぶ線分と鏡筒軸Ｚのなす角度であり、以下の式（７）により定義される。
【００７２】
【数７】
0006519144.tif 000008
【００７３】
ここで、ｈは点光源Ｐと回転中心Ｃを結ぶ線分であり、その長さは、以下の式（８）で定義される。
【００７４】
【数８】
0006519144.tif 000009
【００７５】
また、式（７）中のωｙは線分ｈと時刻ｔにおける鏡筒軸Ｚとのなす角度のことであり、以下の式（９）により定義される。
【００７６】
【数９】
0006519144.tif 000010
【００７７】
以上より、斜視鏡の光軸方向を考慮した手ぶれ補正のシフト量は、上述した式（６）により定義することができる。
【００７８】
なお、撮像部２５の垂直方向の手ぶれ補正シフト量ｖについてもまったく同様に定義することが可能である。
【００７９】
また、直視鏡の場合は、光軸と鏡筒軸とのなす角度φが０となるので、式（５）においてφｙ＝０となる。よって、式（６）にφｙ＝０を代入すると、直視鏡の場合における手ぶれ補正シフト量である式（３）と等価になる。
【００８０】
さらに、式（６）において、手ぶれによって発生した回転中心Ｃを中心にＹ軸周りに回転した角度θｙは、ジャイロ部２６により検出される。
【００８１】
また、式（６）において、被写体距離ｄは、手動で与えてもよいし、例えば、撮像部２５に、Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ法により距離を検出する距離センサとしての機能を付加させ、画像解析により取得してもよい。
【００８２】
さらに、式（６）において、回転半径ｒは、手動で与えてもよいし、例えば、撮像部２５やトロッカ２に取り付けられたセンサ（圧力センサなど）や、画像解析により取得するようにしてもよい。
【００８３】
また、式（６）において、硬性鏡の光軸と鏡筒軸がなす角度（斜視角）φは、手動で与えてもよいし、例えば、画像解析により取得してもよい。
【００８４】
さらに、式（６）において、内視鏡装置１１の基準値からの回転角度θｚは、手動で与えてもよいし、例えば、角度検出センサ、または画像解析により取得するようにしてもよい。
【００８５】
＜動作説明＞
次に、図１１のフローチャートを参照して、画像補正装置１２による画像補正処理を説明する。尚、ここでは、被写体距離ｄ、回転半径ｒ、および角度φについては、キャリブレーション等の処理により、それぞれが手動入力、または画像解析等により事前に設定されているものとする。また、回転角度θｚは、ジャイロ部２６により測定された値が用いられる。
【００８６】
ステップＳ１において、内視鏡装置１１から画像補正装置１２に対して、所定のフレームレートの画像信号の入力と、ヘッド部２４の動きを表す角速度信号の入力が開始される。画像信号は画像切り出し部３３に、角速度信号は、角速度平準化部３１に入力される。
【００８７】
ステップＳ２において、角速度平準化部３１では、内視鏡装置１１のジャイロ部２６によって検出されたヘッド部２４の角速度を時間方向に積分することによって平準化してシフト量決定部３２および歪除去部３４に出力する。
【００８８】
ステップＳ３において、シフト量決定部３２は、上述した式（６）を利用して、平準化された角速度に基づいて、対物レンズ２２の移動量を算出し、さらに、算出した対物レンズ２２の移動量から画像切り出しエリアのシフト量を決定して画像切り出し部３３に通知する。
【００８９】
ステップＳ４において、画像切り出し部３３は、内視鏡装置１１から順次入力される所定のフレームレートの画像信号から、シフト量決定部３２からのシフト量に応じてその位置を調整した切り出しエリアの画素を切り出し、その結果得られた手振れ補正画像信号を歪除去部３４に出力する。
【００９０】
ステップＳ５において、歪除去部３４は、画像切り出し部３３からの手振れ補正画像信号にローリングシャッタ歪が生じている場合、それを除去して画像出力部３５に出力する。画像出力部３５は、歪除去部３４を介して入力される手振れ補正画像信号を表示装置１３に出力する。
【００９１】
以上に説明したように、本実施の形態である内視鏡システム１０は、内視鏡装置１１によって撮像したビデオ画像に生じ得る手振れを補正することができる。
【００９２】
尚、例えば、トロッカを回転中心として内視鏡装置１１を大きく動かして撮像を行い、その結果得られる複数の画像を、図１２に示されるように、回転センタの位置と角速度に基づいてスティッチング合成すれば、比較的少ない処理量で高精度の高視野角画像を得ることができる。
【００９３】
また、上述した手法は、手ぶれにより位置が変化する連続した画像を、位置を揃えて表示することで手ぶれ補正を実現するものであったが、同様の手法により、複数の画像を同一位置で重ね合わせて１枚の画像を生成することもできるので、これによりノイズ除去を実現することも可能となる。
【００９４】
さらに、手ぶれを補正するにあたって、シフト量が求められることになるが、このシフト量は、手ぶれの程度を示す指標となる。従って、シフト量が増えるほどに手ぶれが大きくなっていることを認識することができるので、例えば、シフト量の大きさをユーザの疲労の程度を示す指標とみなすことで、ユーザの疲労度を測定することも可能となる。
【００９５】
ところで、上述した画像補正装置１２の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００９６】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００９７】
コンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００９８】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
【００９９】
入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
【０１００】
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０１】
コンピュータ１００（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１０２】
なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１０３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１０４】
尚、本技術は、以下のような構成も取ることができる。
（１）  体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置と、
検出された前記角速度に基づいて、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部とが設けられている画像処理装置と
を含む内視鏡システム。
（２）  前記内視鏡装置は、前記挿入部の軸方向に対して、その光軸が所定の角度からなる斜視角をなす対物レンズを有する斜視鏡である
（１）に記載の内視鏡システム。
（３）  前記斜視角は、３０度、および７０度を含む
（２）に記載の内視鏡システム。
（４）  前記画像処理装置は、
前記画像信号に基づいて、前記斜視角を測定する
（１）乃至（３）のいずれかに記載の内視鏡システム。
（５）  前記画像処理装置は、
検出された前記角速度を時間方向に平準化する角速度平準化部をさらに備える
（１）乃至（４）のいずれかに記載の内視鏡システム。
（６）  前記画像処理装置は、
手振れ補正済みの前記画像信号のローリングシャッタ歪を除去する歪除去部をさらに備える
（１）乃至（５）のいずれかに記載の内視鏡システム。
（７）  体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置により検出された前記角速度に基づいて、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部を含む
画像処理装置。
（８）  体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号を処理する画像処理装置に画像処理方法において、
検出された前記角速度に基づいて、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する
ステップを含む画像処理方法。
（９）  体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号を処理する画像処理装置を制御するコンピュータを、
検出された前記角速度に基づいて、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部
として機能させるプログラム。
【符号の説明】
【０１０５】
２  トロッカ，  １０  内視鏡システム，  １１  内視鏡装置，  １２  画像補正装置，  １３  表示装置，  １４  光源装置，  ２１  鏡筒部，  ２２  対物レンズ，  ２３  光学レンズ部，  ２４  ヘッド部，  ２５  撮像部，  ２６  ジャイロ部，  ３１  角速度平準化部，  ３２  シフト量決定部，  ３３  画像切り出し部，  ３４  歪除去部，  ３５  画像出力部，  １００  コンピュータ，  １０１  CPU
【図１】
0006519144.tif 000011
【図２】
0006519144.tif 000012
【図３】
0006519144.tif 000013
【図４】
0006519144.tif 000014
【図５】
0006519144.tif 000015
【図６】
0006519144.tif 000016
【図７】
0006519144.tif 000017
【図８】
0006519144.tif 000018
【図９】
0006519144.tif 000019
【図１０】
0006519144.tif 000020
【図１１】
0006519144.tif 000021
【図１２】
0006519144.tif 000022
【図１３】
0006519144.tif 000023