(57)【要約】【課題】撮像視野が変化した場合にも適切なブレ補正処理を実現できる画像処理装置、内視鏡装置及び画像処理方法等の提供。【解決手段】画像処理装置は、撮像視野を変更可能な撮像部を介して、複数の画像を時系列的に取得する画像取得部と、撮像部の撮像視野を動かす操作に応じた撮像視野の動き情報を、第１動き情報として検出する第１動き情報検出部と、時系列に取得された前記複数の画像に基づいて、画像間の動き情報である第２動き情報を検出する第２動き情報検出部と、第１動き情報と第２動き情報に応じたブレ補正処理を前記画像に対して行うブレ補正処理部を含む。【選択図】図２
2012239644.tif 000002
【特許請求の範囲】
【請求項１】
撮像視野を変更可能な撮像部を介して、複数の画像を時系列的に取得する画像取得部と、
前記撮像部の前記撮像視野を動かす操作に応じた前記撮像視野の動き情報を、第１動き情報として検出する第１動き情報検出部と、
時系列に取得された前記複数の画像に基づいて、画像間の動き情報である第２動き情報を検出する第２動き情報検出部と、
前記第１動き情報と前記第２動き情報に応じたブレ補正処理を前記画像に対して行うブレ補正処理部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記第１動き情報と前記第２動き情報に基づき、第３動き情報を求める第３動き情報算出部を含み、
前記ブレ補正処理部は、
前記第３動き情報に基づいて、前記ブレ補正処理を行うことを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記第３動き情報算出部は、
前記第２動き情報から前記第１動き情報に対応する成分を除外した情報を、前記第３動き情報として求めることを特徴とする画像処理装置。
【請求項４】
請求項２において、
前記第３動き情報算出部は、
前記撮像視野を動かす前記操作が行われている操作状態と前記操作が行われていない非操作状態のうち、前記非操作状態の際に取得された前記第２動き情報に基づいて、前記第３動き情報を求めることを特徴とする画像処理装置。
【請求項５】
請求項４において、
前記第３動き情報算出部は、
前記操作状態の際には前記第２動き情報についての積算処理を行わず、前記非操作状態の際には前記第２動き情報についての積算処理を行うことで、前記第３動き情報を求めることを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記第３動き情報算出部は、
前記積算処理を行う積算部と、
前記積算処理の結果を記憶する記憶部とを含み、
前記積算部は、
前記記憶部に記憶される前回までの積算結果と、今回の前記第２動き情報とに基づいて、前記積算演算を行って今回の積算結果を求め、求められた前記今回の積算結果を前記記憶部に書き込むことを特徴とする画像処理装置。
【請求項７】
請求項６において、
前記積算部は、
前記前回までの積算結果と、前記前回までの積算結果を減衰させるための減衰係数と、今回の前記第２動き情報とに基づいて、前記積算演算を行って前記今回の積算結果を求め、
前記ブレ補正処理部は、
前記第３動き情報で表される動きの大きさが所与のしきい値よりも大きいと判断された場合には、前記ブレ補正処理をオフにすることを特徴とする画像処理装置。
【請求項８】
請求項４において、
前記第１動き情報検出部は、
前記第１動き情報に基づいて、前記操作状態か否かを検出することを特徴とする画像処理装置。
【請求項９】
請求項８において、
前記撮像部の前記撮像視野を動かす前記操作は、操作部を用いて行われる操作であり、
前記第１動き情報検出部は、
前記操作部の操作情報に基づいて、前記操作状態か否かを検出することを特徴とする画像処理装置。
【請求項１０】
請求項９において、
前記操作部は、内視鏡スコープにおけるアングルノブであり、
前記第１動き情報検出部は、
前記アングルノブの回転角度が時間的に変動する場合に、前記操作状態であると検出することを特徴とする画像処理装置。
【請求項１１】
請求項２において、
前記第２動き情報検出部は、
前記第２動き情報を第２動きベクトルとして検出し、
前記第３動き情報算出部は、
前記第２動きベクトルのうち、前記撮像視野の移動方向と直交する方向の動きベクトルを、前記第３動き情報である第３動きベクトルとして求めることを特徴とする画像処理装置。
【請求項１２】
請求項２において、
前記第３動き情報算出部は、
前記第１動き情報と前記第２動き情報の差分情報を、前記第３動き情報として求めることを特徴とする画像処理装置。
【請求項１３】
請求項２において、
前記第１動き情報検出部は、
前記第１動き情報を第１動きベクトルとして検出し、
前記第２動き情報検出部は、
前記第２動き情報を第２動きベクトルとして検出し、
前記第３動き情報算出部は、
前記第３動き情報を第３動きベクトルとして求め、
前記ブレ補正処理部は、
前記第３動きベクトルに基づいて、前記ブレ補正処理を行うことを特徴とする画像処理装置。
【請求項１４】
請求項１３において、
前記第３動き情報算出部は、
前記第１動きベクトルと前記第２動きベクトルの差分を表す差分動きベクトルを求め、前記差分動きベクトルに基づいて前記第３動きベクトルを求めることを特徴とする画像処理装置。
【請求項１５】
請求項１４において、
前記第３動き情報算出部は、
前記差分動きベクトルの大きさが所与のしきい値よりも大きいと判断した場合には、前記差分動きベクトルの大きさを０に設定することを特徴とする画像処理装置。
【請求項１６】
請求項１４において、
前記第３動き情報算出部は、
前記差分動きベクトルの平均化処理を行って平均動きベクトルを求め、前記差分動きベクトルと前記平均動きベクトルの差分に基づいて、前記第３動きベクトルを求めることを特徴とする画像処理装置。
【請求項１７】
請求項１６において、
前記第３動き情報算出部は、
前記差分動きベクトルと前記平均動きベクトルの差分についての積算処理を行う積算部と、
前記積算処理の結果を記憶する記憶部とを含み、
前記積算部は、
前記記憶部に記憶される前回までの積算結果と、今回の前記差分動きベクトルと前記平均動きベクトルの差分とに基づいて、前記積算演算を行って今回の積算結果を求め、求められた前記今回の積算結果を前記記憶部に書き込むことを特徴とする画像処理装置。
【請求項１８】
請求項１において、
前記撮像部は、被検体に挿入される挿入部の先端に設けられており、
前記撮像部の前記撮像視野を動かす前記操作は、前記挿入部の先端の湾曲部材を湾曲させて前記先端を所与の方向に向ける操作であることを特徴とする画像処理装置。
【請求項１９】
請求項１８において、
前記挿入部は、内視鏡スコープであることを特徴とする画像処理装置。
【請求項２０】
請求項１８において、
前記撮像部の前記撮像視野を動かす前記操作は、前記湾曲部材の湾曲状態を制御する操作部を用いて行われる操作であることを特徴とする画像処理装置。
【請求項２１】
請求項２０において、
前記操作部は、前記湾曲部材の湾曲状態を制御するアングルノブであることを特徴とする画像処理装置。
【請求項２２】
請求項１において、
前記撮像部の前記撮像視野を動かす前記操作は、操作部を用いて行われる操作であり、
前記第１動き情報検出部は、
前記操作部の操作情報に基づいて、前記撮像部の前記撮像視野を動かす前記操作を検出して前記第１動き情報を求めることを特徴とする画像処理装置。
【請求項２３】
請求項２２において、
前記第１動き情報検出部は、
前記操作部の前記操作情報に基づいて、前記撮像部の前記撮像視野の移動方向を検出することを特徴とする画像処理装置。
【請求項２４】
請求項２３において、
前記操作部は、
前記撮像部の前記撮像視野を水平方向に動かすための水平方向操作部を含み、
前記第１動き情報検出部は、
前記水平方向操作部の操作情報に基づいて、前記撮像部の前記撮像視野の水平方向での移動を検出することを特徴とする画像処理装置。
【請求項２５】
請求項２３において、
前記操作部は、
前記撮像部の前記撮像視野を垂直方向に動かすための垂直方向操作部を含み、  
前記第１動き情報検出部は、
前記垂直方向操作部の操作情報に基づいて、前記撮像部の前記撮像視野の垂直方向での移動を検出することを特徴とする画像処理装置。
【請求項２６】
請求項１において、
前記撮像部は合焦位置が変更可能であり、
前記第１動き情報検出部は、
前記撮像部の前記撮像視野を動かす前記操作の操作情報と、前記合焦位置を表す情報である合焦位置情報とに基づいて、前記第１動き情報を検出することを特徴とする画像処理装置。
【請求項２７】
請求項２６において、
前記撮像部は前記合焦位置及びズーム位置が変更可能であり、
前記第１動き情報検出部は、
前記操作情報と、前記合焦位置情報と、前記ズーム位置を表す情報であるズーム位置情報とに基づいて、前記第１動き情報を検出することを特徴とする画像処理装置。
【請求項２８】
請求項１において、
前記ブレ補正処理部は、
前記撮像部が拡大観察状態である場合に、前記ブレ補正処理を行うことを特徴とする画像処理装置。
【請求項２９】
請求項１において、
前記第１動き情報検出部は、
前記第１動き情報を第１動きベクトルとして検出することを特徴とする画像処理装置。
【請求項３０】
請求項２９において、
前記第１動きベクトル検出部は、
前記撮像視野の移動方向及び移動量を、前記第１動きベクトルとして検出すること特徴とする画像処理装置。
【請求項３１】
請求項１において、
前記第２動き情報検出部は、
前記第２動き情報を第２動きベクトルとして検出することを特徴とする画像処理装置。
【請求項３２】
撮像視野の変更指示により前記撮像視野を変更可能な撮像部を介して、複数のフレーム画像を時系列的に取得する画像取得部と、
前記変更指示による前記撮像部の前記撮像視野の動きを示す第１動き情報を検出する第１動き情報検出部と、
前記フレーム画像の画像全体の動きを示す第２動き情報を検出する第２動き情報検出部と、
前記第１動き情報と前記第２動き情報に応じたブレ補正処理を前記フレーム画像に対して行うブレ補正処理部と、
を含むことを特徴とする画像処理装置。
【請求項３３】
請求項１に記載の画像処理装置と、
前記撮像部の前記撮像視野を動かす操作を行うための操作部と、
を含むことを特徴とする内視鏡装置。
【請求項３４】
請求項３２に記載の画像処理装置と、
前記撮像部の前記撮像視野を動かす操作を行うための操作部と、
を含むことを特徴とする内視鏡装置。
【請求項３５】
撮像視野を変更可能な撮像部を介して、複数の画像を時系列的に取得し、
前記撮像部の前記撮像視野を動かす操作に応じた前記撮像視野の動き情報を、第１動き情報として検出し、
時系列に取得された前記複数の画像に基づいて、画像間の動き情報である第２動き情報を検出し、
前記第１動き情報と前記第２動き情報に応じたブレ補正処理を前記画像に対して行うことを特徴とする画像処理方法。
【請求項３６】
撮像視野の変更指示により前記撮像視野を変更可能な撮像部を介して、複数のフレーム画像を時系列的に取得し、
前記変更指示による前記撮像部の前記撮像視野の動きを示す第１動き情報を検出し、
前記フレーム画像の画像全体の動きを示す第２動き情報を検出し、
前記第１動き情報と前記第２動き情報に応じたブレ補正処理を前記フレーム画像に対して行うことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
画像処理装置、内視鏡装置、画像処理方法等に関する。
【背景技術】
【０００２】
従来より、民生用ビデオカメラなどの動画像のブレを補正する手法としては、電子式ブレ補正処理や光学式ブレ補正処理などの方式が広く用いられている。
【０００３】
内視鏡においては例えば、特許文献１にあるように、スコープ先端の動き量を検出し、検出された動き量に基づいてブレ補正処理を行う手法が開示されている。
【０００４】
一方、内視鏡においては、スコープに設けられたアングルノブを操作し、画像の視野（以下、撮像視野又は観察視野）を変更することが行われている。具体的には、アングルノブの操作量に応じて、スコープ先端の湾曲度合（以下、アングル）が変化することにより、撮像視野が変更される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−４９５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のように、アングルノブを操作して撮像視野（観察視野）を変更したい場合に、電子式ブレ補正処理を施す場合を考える。この場合に、ドクターはアングルノブを操作して撮像視野を変更したいのにも関わらず、電子式ブレ補正処理により、撮像視野が固定されてしまう問題があることが判明した。
【０００７】
一方、特許文献１には、スコープ先端の動き量の情報を用いたブレ補正処理の手法が開示されている。しかしながら、内視鏡装置においては、被写体である生体の拍動の影響によっても、撮像視野が変動してしまう。従って、スコープ先端の動き量の情報だけでは、ブレ補正処理が十分に機能しないという課題がある。
【０００８】
本発明の幾つかの態様によれば、撮像視野が変化した場合にも適切なブレ補正処理を実現できる画像処理装置、内視鏡装置及び画像処理方法等を提供できる。
【課題を解決するための手段】
【０００９】
本発明の一態様は、撮像視野を変更可能な撮像部を介して、複数の画像を時系列的に取得する画像取得部と、前記撮像部の前記撮像視野を動かす操作に応じた前記撮像視野の動き情報を、第１動き情報として検出する第１動き情報検出部と、時系列に取得された前記複数の画像に基づいて、画像間の動き情報である第２動き情報を検出する第２動き情報検出部と、前記第１動き情報と前記第２動き情報に応じたブレ補正処理を前記画像に対して行うブレ補正処理部とを含む画像処理装置に関係する。
【００１０】
本発明の一態様によれば、撮像視野を動かす操作に応じた撮像視野の動き情報が、第１動き情報として検出され、複数の画像間の動き情報が第２動き情報として検出される。そして、これらの第１動き情報と第２動き情報に応じたブレ補正処理が行われる。
【００１１】
このようにすれば、複数の画像間の動き情報である第２動き情報のみならず、操作に応じた撮像視野の動き情報である第１動き情報を反映させたブレ補正処理を実現できる。従って、撮像視野が変化した場合にも適切なブレ補正処理を実現できる画像処理装置の提供が可能になる。
【００１２】
本発明の他の態様は、撮像視野の変更指示により前記撮像視野を変更可能な撮像部を介して、複数のフレーム画像を時系列的に取得する画像取得部と、前記変更指示による前記撮像部の前記撮像視野の動きを示す第１動き情報を検出する第１動き情報検出部と、前記フレーム画像の画像全体の動きを示す第２動き情報を検出する第２動き情報検出部と、前記第１動き情報と前記第２動き情報に応じたブレ補正処理を前記フレーム画像に対して行うブレ補正処理部とを含む画像処理装置に関係する。
【００１３】
本発明の他の態様は、上記に記載の画像処理装置と、前記撮像部の前記撮像視野を動かす操作を行うための操作部とを含む内視鏡装置に関係する。
【００１４】
本発明の他の態様は、撮像視野を変更可能な撮像部を介して、複数の画像を時系列的に取得し、前記撮像部の前記撮像視野を動かす操作に応じた前記撮像視野の動き情報を、第１動き情報として検出し、時系列に取得された前記複数の画像に基づいて、画像間の動き情報である第２動き情報を検出し、前記第１動き情報と前記第２動き情報に応じたブレ補正処理を前記画像に対して行う画像処理方法に関係する。
【００１５】
本発明の他の態様は、撮像視野の変更指示により前記撮像視野を変更可能な撮像部を介して、複数のフレーム画像を時系列的に取得し、前記変更指示による前記撮像部の前記撮像視野の動きを示す第１動き情報を検出し、前記フレーム画像の画像全体の動きを示す第２動き情報を検出し、前記第１動き情報と前記第２動き情報に応じたブレ補正処理を前記フレーム画像に対して行う画像処理方法に関係する。
【図面の簡単な説明】
【００１６】
【図１】図１（Ａ）〜図１（Ｃ）は本実施形態の比較例についての説明図。
【図２】本実施形態の手法の説明図。
【図３】図３（Ａ）、図３（Ｂ）は本実施形態の第１の手法の説明図。
【図４】図４（Ａ）、図４（Ｂ）は本実施形態の第２の手法の説明図。
【図５】本実施形態の画像処理装置及び内視鏡装置の第１の構成例。
【図６】ベイヤ配列の色フィルタの一例。
【図７】色フィルタの光透過特性の一例。
【図８】アングルノブを有する挿入部（内視鏡スコープ）の例。
【図９】撮像視野の変化についての説明図。
【図１０】電子式ブレ補正処理の説明図。
【図１１】電子式ブレ補正処理の説明図。
【図１２】電子式ブレ補正処理の説明図。
【図１３】電子式ブレ補正処理の説明図。
【図１４】電子式ブレ補正処理の説明図。
【図１５】電子式ブレ補正処理の説明図。
【図１６】第２動きベクトル検出部の構成例。
【図１７】局所領域の設定手法の説明図。
【図１８】第１動きベクトル検出部の構成例。
【図１９】第３動きベクトル算出部の構成例。
【図２０】本実施形態の画像処理装置及び内視鏡装置の第２の構成例。
【図２１】撮像視野の変化方向の説明図。
【図２２】第１動きベクトル検出部の構成例。
【図２３】回転角度の変化量と画像上での動きベクトルとの関係についての説明図。
【図２４】回転角度の変化量と画像上での動きベクトルとの関係についての説明図。
【図２５】回転角度の変化量と画像上での動きベクトルとの関係についての説明図。
【図２６】回転角度の変化量と画像上での動きベクトルとの関係についての説明図。
【図２７】第３動きベクトル算出部の構成例。
【発明を実施するための形態】
【００１７】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１８】
１．本実施形態の手法
まず本実施形態の画像処理手法の概要について説明する。図１（Ａ）〜図１（Ｃ）に前述の特許文献１の手法を比較例の手法として示す。
【００１９】
この比較例の手法では、内視鏡装置の挿入部の先端部の移動距離（移動速度）に基づいて、図１（Ａ）に示すように、メモリから読み出す画像信号の切り出し枠を設定する。図１（Ａ）では、挿入部の先端部が第１の湾曲位置Ａから第２の湾曲位置Ｂまで変位した場合の移動前後における切り出し枠の設定例である。メモリ制御部が、図１（Ａ）のように設定された切り出し枠に応じた読み出しアドレスを生成することで、対応する画像信号がメモリから読み出される。
【００２０】
そして、内視鏡装置の挿入部の先端部を小刻みに振動させながら挿入するジグリング操作を行った場合には、図１（Ｂ）に示すように、被写体３１に対する撮像領域がＡからＢへと移動する。このとき、メモリに記憶された画像信号をそのまま読み出すと、図１（Ｃ）の左側に示すように、Ａ、Ｂのそれぞれにおいて被写体３１の表示位置が異なってしまい、画像にブレが生じてしまう。
【００２１】
そこでこの比較例の手法では、図１（Ａ）に示すような切り出し枠を設定して、メモリから画像データを読み出すことで、ブレ補正処理を実現し、画像ブレがない良好な内視鏡画像を生成している。即ち比較例の手法では、挿入部の先端部の移動距離（移動速度）に基づいてブレ補正処理を行うことで、ジグリング操作により生じる画像ブレを防止している。
【００２２】
しかしながら、前述のように内視鏡装置においては、被写体である生体の拍動の影響によっても、撮像視野が変動してしまい、この生体の拍動による画像ブレについては、挿入部の先端部の移動距離を用いても検出できない。従って、図１（Ａ）〜図１（Ｃ）に示す比較例の手法では、このような生体の拍動による画像ブレについてはブレ補正処理を行うことができない。
【００２３】
また、内視鏡装置においては、撮像視野（観察視野）の変更指示を行うためのアングルノブが、挿入部の操作部に設けられており、ドクターは、このアングルノブを操作することで、自身が所望する撮像視野で被写体を観察することができる。
【００２４】
ところが、このようなアングルノブの操作を行った際に、内視鏡装置のブレ補正処理が働いてしまうと、このブレ補正処理により撮像視野が固定されてしまい、ドクターは、自身が所望する撮像視野で被写体を観察することができなくなってしまう。
【００２５】
本実施形態では、このような課題を解決するために、図２に示すように、第１動き情報と第２動き情報を検出し、これらの第１動き情報と第２動き情報に応じたブレ補正処理を行うことで、画像ブレを補正している。例えば図２に示すように、第１動き情報と第２動き情報に基づき第３動き情報を求め、求められた第３動き情報に基づいて、ブレ補正処理を行う。
【００２６】
ここで第１動き情報は、撮像部の撮像視野（観察視野）を動かす操作に応じた撮像視野の動き情報である。例えば第１動き情報は、撮像視野の変更指示による撮像部の撮像視野の動きを示す動き情報である。一方、第２動き情報は、撮像視野を変更可能な撮像部を介して時系列に取得された複数の画像に基づいて検出される画像間の動き情報（フレーム間動き情報）である。例えば第２動き情報は、フレーム画像の画像全体の動きを示す動き情報である。
【００２７】
また図２に示すように、第３動き情報は、第２動き情報から第１動き情報に対応する成分を除外した情報として求められる。例えば画像間の動き情報として第２動き情報が検出され、撮像視野を動かす操作に応じて第１動き情報が検出されると、撮像視野を動かす操作に起因するブレ補正処理が行われないように、第１動き情報の成分を除外（キャンセル又は低減）するような補正処理が第２動き情報に対して行われることで、第３動き情報が求められる。そして、求められた第３動き情報に基づいてブレ補正処理を行う。このようにすれば、ドクター（ユーザ）が意識的に撮像視野を動かす操作を行った場合に、この操作がブレであると誤認識されて、ドクターの意思に反して撮像視野が固定されてしまう事態の発生を抑止できる。
【００２８】
ここで、第３動き情報を求める手法としては、図３（Ａ）、図３（Ｂ）で説明する第１の手法と、図４（Ａ）、図４（Ｂ）で説明する第２の手法を想定できる。第１の手法は、後述する図５の第１の構成例で実現される手法であり、第２手法は、図２０の第２の構成例で実現される手法である。
【００２９】
例えば図３（Ａ）に示すように第１の手法では、撮像視野を動かす操作が行われていない非操作状態（非操作期間）の際に取得された第２動き情報に基づいて、第３動き情報を求める。具体的には、撮像視野を動かす操作が行われている操作状態（操作期間）での第２動き情報については使用せずに、非操作状態の際の第２動き情報に基づいて第３動き情報を求め、求められた第３動き情報に基づきブレ補正処理を行う。これにより、第２動き情報から第１動き情報の成分を除外した情報を第３動き情報として求めて、ブレ補正処理を行うことが可能になる。
【００３０】
更に具体的には図３（Ｂ）に示すように、操作状態か否かは、第１動き情報に基づき検出できる。例えば操作状態（操作期間）なのか、非操作状態（非操作期間）なのかを、第１動き情報に基づき判別する。具体的には、撮像部の撮像視野を動かす操作が、操作部を用いて行われる操作である場合には、操作部の操作情報（アングルノブの回転角度等）に基づいて、操作状態か否かを検出する。
【００３１】
また図３（Ｂ）に示すように、操作状態の際には（操作期間では）、第２動き情報についての積算処理を行わず、非操作状態の際に（非操作期間において）、第２動き情報についての積算処理を行うことで、第３動き情報を求める。この場合に、積算処理における前回の演算結果を、減衰係数で減衰させる処理を行う。具体的には、前回までの積算結果と、前回までの積算結果を減衰させるための減衰係数と、今回の第２動き情報とに基づいて、積算演算を行って今回の積算結果を求める。また、第３動き情報で表される動きの大きさ（例えば第３動きベクトルの大きさ）が所与のしきい値よりも大きいと判断された場合には、ブレ補正処理をオフにする。例えば、ブレ補正処理が行われないような第３動き情報を出力するようにする。
【００３２】
一方、図４（Ａ）に示すように、第２の手法では、第１動き情報と第２動き情報の差分情報を、第３動き情報として求める。即ち第１動き情報と第２動き情報の差分処理（減算処理）を行って、第３動き情報を求める。
【００３３】
具体的には図４（Ｂ）に示すように、第１動き情報を、第１動きベクトルとして検出し、第２動き情報を第２動きベクトルとして検出する。そして第３動き情報を第３動きベクトルとして求め、求められた第３動きベクトルに基づいて、ブレ補正処理を行う。
【００３４】
例えば図４（Ｂ）に示すように、第１動きベクトルと第２動きベクトルの差分処理を行って、第１動きベクトルと第２動きベクトルの差分を表す差分動きベクトルを求める。そして、求められた差分動きベクトルに基づいて第３動きベクトルを求める。具体的には、例えば差分動きベクトルの平均化処理を行って平均動きベクトルを求め、差分動きベクトルと平均動きベクトルの差分に基づいて、第３動きベクトルを求める。例えば差分動きベクトルと平均動きベクトルの差分についての積算処理を行って、第３動きベクトルを求める。この際に図４（Ｂ）に示すように、差分動きベクトルの大きさが所与のしきい値よりも大きいか否かを判断する。そして、所与のしきい値よりも大きいと判断した場合には、差分動きベクトルの大きさを０（所与の値）に設定する。
【００３５】
以上のような本実施形態の第１、第２の手法によれば、画像間の動き情報である第２動き情報に応じたブレ補正処理を行う際に、第２動き情報から第１動き情報を除外した情報により、ブレ補正処理を行うことができる。従って、撮像視野が変化した場合にも適切なブレ補正処理を実現できる画像処理装置や内視鏡装置等の提供が可能になる。
【００３６】
２．第１の構成例
図５に、本実施形態の画像処理装置及びこれを含む内視鏡装置（内視鏡システム）の第１の構成例を示す。
【００３７】
図５の第１の構成例の内視鏡装置は、図３（Ａ）、図３（Ｂ）の第１の手法を実現する構成例であり、光源部１００と、挿入部２００と、画像処理装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。また第１の構成例の画像処理装置３００は、画像取得部３０８と、第２動きベクトル検出部３３０と、操作状態取得部３４０と、第１動きベクトル検出部３５０ａと、第３動きベクトル算出部３６０ａと、ブレ補正処理部（画像抽出部）３７０と、表示画像生成部３８０と、制御部３９０を含む。画像取得部３０８は、例えば補間処理部３１０と、輝度画像生成部３２０により構成される。なお本実施形態の内視鏡装置、画像処理装置は図５の構成に限定されず、これらの構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また本実施形態の画像処理装置３００は内視鏡装置以外の装置にも適用可能である。
【００３８】
光源部１００は、白色光を発生する白色光源１１０と、この白色光をライトガイドファイバ２１０に集光するためのレンズ１２０を含む。
【００３９】
挿入部２００（狭義には内視鏡スコープ）は、体腔への挿入を可能にするため、細長く且つ湾曲可能に形成されている。この挿入部２００は、具体的には、図８に示すような形状を有している。
【００４０】
挿入部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、このライトガイドファイバ２１０により導かれた光を拡散させて被写体に照射する照明レンズ２２０と、撮像部２２８と、挿入部２００の先端のアングルを変更するための操作部２５０を含む。撮像部２２８は、例えば、被写体からの反射光を集光する集光レンズ２３０と、この集光レンズ２３０により集光された反射光を検出するための撮像素子２４０とにより構成される。なお撮像部２２８の構成はこれに限定されない。
【００４１】
撮像素子２４０は、例えば図６に示すようなベイヤ配列の色フィルタを有する。図６に示した３種類の色フィルタｒ、ｇ、ｂは、図７に示すようにｒフィルタが５８０〜７００[ｎｍ]、ｇフィルタが４８０〜６００[ｎｍ]、ｂフィルタが４００〜５００[ｎｍ]の光を透過させる特性を有するものとする。
【００４２】
操作部２５０は、具体的には例えば、図８に示すアングルノブ１０等により構成される。このアングルノブ１０を操作することにより、挿入部２００の先端のアングルの制御が可能になる。本実施形態では、アングルノブ１０は、２種類のアングルノブ（例えば図８の１２、１４）により構成され、便宜上、垂直方向アングルノブと水平方向アングルノブと表記する。また、アングルノブ１０は、適宜、単にアングルノブと表記する。このアングルノブは、内視鏡診断において、撮像視野（観察視野と同義。以下、同様）を変更する際に用いられる。また操作部２５０は、後述する操作状態取得部３４０に接続されている。
【００４３】
ここで、アングルノブの操作と、撮像視野（観察視野）の変化の関係について説明する。ここでは、画像の座標系として図９に示すｘｙ座標系を用いる。本実施形態においては、垂直方向アングルノブが操作された場合、図９に示す“Ｖ”方向(ｙ軸方向)に撮像視野が変化するものとする。また、水平方向アングルノブが操作された場合には、図９に示す“Ｈ”方向(ｘ軸方向)に撮像視野が変化するものとする。
【００４４】
次に、一般的な電子式ブレ補正処理について説明する。まず、ある時刻ｔ−１において、挿入部２００（撮像部２２８）の先端が図１０のＰ１に示す位置にあるとする。この時、撮像素子２４０では、図１１に示す画像が取得される。そして、時刻ｔにおいて、挿入部２００の先端が図１０のＰ２に示す位置に移動したとする。この場合、撮像素子２４０で取得される画像は、図１２に示す通りとなり、図１２のＱ１に示す変位量がブレとして認識される。
【００４５】
上述のブレの問題は、撮像素子２４０で取得された画像をそのまま表示画像として用いるのではなく、図１３のＡ１に示すように、撮像素子２４０で取得された画像の一部の領域のみを表示画像として利用し、この領域の座標を、Ｑ１に示す変位量に相当する分だけシフトさせることで解決可能である。
【００４６】
具体的には、時刻ｔ−１においては、図１４のＡ２に示す領域を表示画像として利用し、時刻ｔにおいては、図１４のＡ３に示す領域を表示画像として利用する。ここで、図１４のＱ１で示される変位量は、図１２のＱ１に示した変位量と等価である。なお、この変位量（動きベクトルに相当）は、時刻ｔ−１及び時刻ｔで取得された画像を用いて、公知のブロックマッチング処理により検出すればよい。
【００４７】
以上のブレ補正処理を行えば、時刻ｔ−１及び時刻ｔにおいて表示画像として用いられる画像は、どちらも図１５に示す画像となり、図１２に示した画像ブレを補正することが可能になる。
【００４８】
一方、前述のように内視鏡診断においては、アングルノブを操作して撮像視野（観察視野）を変更することが一般に行われる。従って、上述の電子式ブレ補正処理を内視鏡装置に適用した場合には、アングルノブを操作して撮像視野を変更したいのにも関わらず、電子式ブレ補正処理により撮像視野が固定されてしまうという問題を生じる。
【００４９】
そこで本実施形態では、後に詳述するように、アングルノブの操作を考慮したブレ補正処理を施すことで、上記問題を解決する。
【００５０】
外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。また、外部Ｉ／Ｆ部５００は、入力された情報を制御部３９０へ出力するようになっている。
【００５１】
補間処理部３１０は、ブレ補正処理部３７０と、輝度画像生成部３２０に接続されている。輝度画像生成部３２０は、第１動きベクトル検出部３５０ａと第２動きベクトル検出部３３０に接続されている。操作状態取得部３４０は、第１動きベクトル検出部３５０ａに接続されている。第１動きベクトル検出部３５０ａ及び第２動きベクトル検出部３３０は、第３動きベクトル算出部３６０ａに接続されている。第３動きベクトル算出部３６０ａは、ブレ補正処理部３７０に接続されている。ブレ補正処理部３７０は、表示画像生成部３８０に接続されている。表示画像生成部３８０は、表示部４００に接続されている。制御部３９０は、第２動きベクトル検出部３３０とブレ補正処理部３７０に接続されており、これらを制御する。
【００５２】
画像取得部３０８は、補間処理部３１０と輝度画像生成部３２０により構成される。なお画像取得部３０８は、この構成には限定されず、撮像視野を変更可能な撮像部２２８（挿入部２００）を介して、複数の画像を時系列的に取得できるものであればよい。
【００５３】
補間処理部３１０は、撮像素子２４０で取得される画像に対し、補間処理を施す。前述したように、撮像素子２４０は図６に示すベイヤ配列の色フィルタを有するため、撮像素子２４０で取得される画像の各画素は、Ｒ、Ｇ、Ｂ信号のうち、何れか１つの信号値を有するのみで、他の２種類の信号が欠落した状態である。そのため、補間処理部３１０では、取得された画像の各画素に対し補間処理を施すことで、欠落している信号値を補間し、各画素でＲ、Ｇ、Ｂ信号の全ての信号値を有する画像を生成する。ここで補間処理としては、例えば公知のバイキュービック補間処理を用いればよい。ここでは、補間処理部３１０で生成された画像をＲＧＢ画像と表記する。
【００５４】
補間処理部３１０は、生成したＲＧＢ画像を、ブレ補正処理部３７０、及び輝度画像生成部３２０に出力する。
【００５５】
輝度画像生成部３２０は、補間処理部３１０より出力されるＲＧＢ画像より、輝度画像を生成する。具体的には、ＲＧＢ画像の全ての画素について、下式（１）を用いて輝度信号Ｙを算出することで、輝度画像を生成する。
【００５６】
【数１】
2012239644.tif 000003
【００５７】
輝度画像生成部３２０は、生成した輝度画像を第２動きベクトル検出部３３０に出力すると同時に、第１動きベクトル検出部３５０ａにトリガ信号を出力する。第１動きベクトル検出部３５０ａは、このトリガ信号に基づいて動作することで、第２動きベクトル検出部３３０と同じタイミングで動きベクトルを検出することができる。なお、第１動きベクトル検出部３５０ａの詳細は後述する。
【００５８】
第２動きベクトル検出部３３０（広義には第２動き情報検出部、第２動き情報算出部）は、輝度画像生成部３２０より出力される輝度画像に基づいて、第２動きベクトル（Ｖｅｃ＿ｘ２，Ｖｅｃ＿ｙ２）を検出（算出）する。
【００５９】
ここで、第２動きベクトル検出部３３０の構成及び動作について説明する。第２動きベクトル検出部３３０は、図１６に示すように、局所領域設定部３３１と、動きベクトル算出部３３２と、フレームメモリ３３３を含む。輝度画像生成部３２０及び制御部３９０は、局所領域設定部３３１に接続されている。局所領域設定部３３１は、動きベクトル算出部３３２に接続されている。フレームメモリ３３３は動きベクトル算出部３３２と双方向に接続されている。動きベクトル算出部３３２は、第３動きベクトル算出部３６０ａに接続されている。
【００６０】
局所領域設定部３３１は、輝度画像生成部３２０から出力される輝度画像に対し、図１７で示されるような複数の局所領域を設定する。ここで設定する局所領域の大きさは、予め一定の値を設定しておくこともできるし、外部Ｉ／Ｆ部５００により、ユーザが任意の値を設定できる構成としてもよい。この場合、ユーザの設定した設定値が外部Ｉ／Ｆ部５００から制御部３９０に出力される。更に、制御部３９０から局所領域設定部３３１に、設定値が出力される。
【００６１】
局所領域設定部３３１は、輝度画像及び局所領域の情報を動きベクトル算出部３３２に出力する。
【００６２】
動きベクトル算出部３３２は、局所領域設定部３３１から出力される輝度画像、及びフレームメモリ３３３に保持されている画像より、動きベクトルを算出する。フレームメモリ３３３には、後述するように、今回のフレームの輝度画像の１フレーム前に取得された輝度画像（以下、過去画像）が保持されている。従って、動きベクトル算出部３３２で算出される動きベクトルは、フレーム間動きベクトル（画像間動きベクトル）となる。
【００６３】
動きベクトル算出部３３２は、局所領域設定部３３１で設定された全ての局所領域について動きベクトルを算出する。更に、全ての局所領域より算出した動きベクトルの平均値を、第２動きベクトル（Ｖｅｃ＿ｘ２，Ｖｅｃ＿ｙ２）として、第３動きベクトル算出部３６０ａに出力する。その後、動きベクトル算出部３３２は、今回のフレームの輝度画像をフレームメモリ３３３に出力する。フレームメモリ３３３は、動きベクトル算出部３３２より出力された輝度画像を、過去画像として保持する。従って、フレームメモリ３３３には、１フレーム前（広義には前回のフレーム）の輝度画像が保持されることになる。
【００６４】
ここで、動きベクトルの算出には、例えば公知のブロックマッチング処理を用いればよい。ブロックマッチング処理は、基準画像の任意のブロックに対して、相関が高いブロックの位置を対象画像内で探索する手法である。ブロック間の相対的なズレ量が、そのブロックの動きベクトルに対応する。本実施形態においては、輝度画像が基準画像、過去画像が対象画像に相当する。
【００６５】
ブロックマッチング処理で相関の高いブロックを探索する手法としては、例えば絶対誤差ＳＡＤを用いればよい。これは基準画像におけるブロック領域をＩ、対象画像におけるブロック領域をＩ’として、Ｉと相関が高いＩ’の位置を求める手法である。各ブロック領域での画素位置をｐ∈Ｉ及びｑ∈Ｉ’として、各画素の信号値をＬｐ，Ｌｑとすると、ＳＡＤは下式（２）で定義される。
【００６６】
【数２】
2012239644.tif 000004
【００６７】
ここで、ｐ及びｑはそれぞれ２次元の値を持ち、Ｉ及びＩ’は２次元の領域を持つものとし、ｐ∈Ｉは座標ｐが領域Ｉに含まれていることを示す。また、“‖ｍ‖”は実数値ｍの絶対値を取得する処理を表すものとする。
【００６８】
操作状態取得部３４０は、操作部２５０におけるアングルノブの操作情報を取得する。ここで取得される操作情報は、水平方向アングルノブ（広義には水平方向操作部）と垂直方向アングルノブ（広義には水平方向操作部）の各々の回転角度[ｄｅｇ]である。ここでは、水平方向アングルノブの回転角度をθｈ[ｄｅｇ]、垂直方向アングルノブの回転角度をθｖ[ｄｅｇ]と表記する。また、アングルノブが操作されていない場合（アングルノブが初期位置にある場合）を“０[ｄｅｇ]”とし、アングルノブの右回り方向を、正の方向と定義する。
【００６９】
操作状態取得部３４０は、上記の回転角度θｈ，θｖ[ｄｅｇ]を第１動きベクトル検出部３５０ａに出力する。
【００７０】
第１動きベクトル検出部３５０ａ（広義には第１動き情報検出部、第１動き情報算出部）は、輝度画像生成部３２０からトリガ信号が出力された際に、操作状態取得部３４０より出力される回転角度θｈ、θｖ[ｄｅｇ]に基づいて、第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）を後述の手法で検出し、第３動きベクトル算出部３６０ａに出力する。本実施形態において第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）は、挿入部２００の先端の移動方向を表している。
【００７１】
第１動きベクトル検出部３５０ａは、図１８に示すように、変化量算出部３５１と、回転角度記憶部３５２と、動きベクトル算出部３５３ａを含む。操作状態取得部３４０は、変化量算出部３５１に接続されている。変化量算出部３５１は、回転角度記憶部３５２と双方向に接続されている。更に変化量算出部３５１は、動きベクトル算出部３５３ａに接続されている。動きベクトル算出部３５３ａは、第３動きベクトル算出部３６０ａに接続されている。
【００７２】
変化量算出部３５１は、操作状態取得部３４０より出力される回転角度θｈ、θｖ[ｄｅｇ]と、回転角度記憶部３５２に保持されている回転角度θｈ＿ｍｅｍ，θｖ＿ｍｅｍ[ｄｅｇ]より、下式（３）を用いて回転角度の変化量θｈ＿ｄｉｆ，θｖ＿ｄｉｆ[ｄｅｇ]を算出する。
【００７３】
【数３】
2012239644.tif 000005
【００７４】
ここで、回転角度記憶部３５２には、後述するように、１フレーム前の時点（前回トリガ信号が出力された時点）における回転角度が保持されている。従って、上式（３）は、フレーム間における回転角度の変化量に相当する。
【００７５】
変化量算出部３５１は、上式（３）で算出した回転角度の変化量θｈ＿ｄｉｆ，θｖ＿ｄｉｆ[ｄｅｇ]を、動きベクトル算出部３５３ａに出力する。更にその後、変化量算出部３５１は、操作状態取得部３４０より出力された回転角度θｈ，θｖ[ｄｅｇ]を、回転角度記憶部３５２に出力する。従って、回転角度記憶部３５２には、１フレーム前の時点における回転角度が保持されることになる。
【００７６】
動きベクトル算出部３５３ａは、回転角度の変化量θｈ＿ｄｉｆ，θｖ＿ｄｉｆ[ｄｅｇ]に基づき、第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）を算出する。本実施形態において、第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）は、挿入部２００の先端の移動方向を表す。具体的には、挿入部２００の先端がｘｙ軸の各方向に移動している場合には、動きベクトルの値を“０”とし、逆に移動していない場合には“１”とする。
【００７７】
例えば、回転角度の変化量が“θｈ＿ｄｉｆ＝θｖ＿ｄｉｆ＝０”の場合（アングルノブが操作されていない場合）には、挿入部２００の先端が移動していないものと判断できるため、第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）は、（１，１）となる。一方、回転角度の変化量が“θｈ＿ｄｉｆ≠０，θｖ＿ｄｉｆ＝０”の場合（水平方向アングルノブが操作されている場合）には、挿入部２００の先端が水平方向（ｘ軸方向）に動いているものと判断できるため、第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）は、（０，１）となる。同様に他の場合についても考えると、第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）は以下に示す通りとなる。
回転角度の変化量                第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）
θｈ＿ｄｉｆ＝０，θｖ＿ｄｉｆ＝０：（１,  １）
θｈ＿ｄｉｆ≠０，θｖ＿ｄｉｆ＝０：（０,  １）
θｈ＿ｄｉｆ＝０，θｖ＿ｄｉｆ≠０：（１,  ０）
θｈ＿ｄｉｆ≠０，θｖ＿ｄｉｆ≠０：（０,  ０）
第３動きベクトル算出部３６０ａ（広義には第３動き情報算出部）は、第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）、及び第２動きベクトル（Ｖｅｃ＿ｘ２，Ｖｅｃ＿ｙ２）に基づき、後述する手法を用いて第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）を算出する。
【００７８】
第３動きベクトル算出部３６０ａは、図１９に示すように、動きベクトル積算部３６１ａと動きベクトル記憶部３６２を含む。第１動きベクトル検出部３５０ａと第２動きベクトル検出部３３０と制御部３９０は、動きベクトル積算部３６１ａに接続されている。動きベクトル積算部３６１ａと動きベクトル記憶部３６２は双方向に接続されている。動きベクトル積算部３６１ａは、ブレ補正処理部３７０に接続されている。
【００７９】
動きベクトル積算部３６１ａは、第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）、第２動きベクトル（Ｖｅｃ＿ｘ２，Ｖｅｃ＿ｙ２）、及び動きベクトル記憶部３６２に保持されている動きベクトル（Ｖｅｃ＿ｘ＿ｍｅｍ，Ｖｅｃ＿ｙ＿ｍｅｍ）を用いて、第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）を算出する。ここで、動きベクトル記憶部３６２には、後述するように、１フレーム前（前回のフレーム）の時点における第３動きベクトルが保持されている。
【００８０】
第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）の算出には下式（４）を用いる。
【００８１】
【数４】
2012239644.tif 000006
【００８２】
なお、上式（４）に示したＣｘ，Ｃｙは減衰係数であり、１より小さい正の実数値を有するものとする。減衰係数Ｃｘ，Ｃｙの効果については後述する。
【００８３】
動きベクトル積算部３６１ａは、第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）をブレ補正処理部３７０に出力する。更に動きベクトル積算部３６１ａは、第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）を動きベクトル記憶部３６２に出力する。従って、動きベクトル記憶部３６２には、１フレーム前の時点における第３動きベクトルが保持される。なお、動きベクトル記憶部３６２に保持される動きベクトルの初期値は（０，０）とする。
【００８４】
以上の処理により、初期フレームから現在のフレームまでの動きベクトルの積算値が、第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）として算出される。なお、ここで初期フレームとは、ブレ補正処理が開始された直後に撮像素子２４０で取得された画像を意味する。
【００８５】
本実施形態においては、上述のようにアングルノブが操作されている場合、第１動きベクトルの値が“０”となる。そのため、アングルノブが操作されている期間中に検出された第２動きベクトル（フレーム間動きベクトル）は、第３動きベクトルとして積算されないことになる。具体的には例えば、水平方向アングルノブが操作されている場合には、第１動きベクトルのｘ軸成分（Ｖｅｃ＿ｘ１）が“０”になるため、ｘ軸方向のフレーム間動きベクトル（Ｖｅｃ＿ｘ２）が積算されない。従って、第３動きベクトルには、アングルノブの操作に起因した動きは含まれず、手ブレや、被写体である生体の拍動などの影響による動きのみが含まれることになる。
【００８６】
また、ブレ補正処理の開始は、外部Ｉ／Ｆ部５００よりユーザが与える構成とすれば良く、例えば電源が“ＯＮ”となった時にブレ補正処理が開始される構成としてもよいし、ブレ補正処理の開始・終了を制御するためのスイッチを設けてもよい。
【００８７】
ブレ補正処理部（画像抽出部）３７０は、第３動きベクトル算出部３６０ａより出力される第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）に基づいて、補間処理部３１０から出力されるＲＧＢ画像より画像を抽出し、表示画像生成部３８０に出力する。これによりブレ補正処理が実現される。ここでは、抽出した画像をＲ’Ｇ’Ｂ’画像と表記する。画像の抽出は、具体的には下式（５）、（６）で定義される画像サイズ、及び始点座標の情報を用いて行う。
【００８８】
まず、Ｒ’Ｇ’Ｂ’画像のサイズ（ｉｍｘ’，ｉｍｙ’）は、ＲＧＢ画像のサイズを（ｉｍｘ，ｉｍｙ）とすると、下式（５）で定義される。
【００８９】
【数５】
2012239644.tif 000007
【００９０】
上式（５）において、ｓｐａｃｅ＿ｘ，ｓｐａｃｅ＿ｙは、自然数である。ｓｐａｃｅ＿ｘ，ｓｐａｃｅ＿ｙは、予め一定の値を定めておいてもよいし、外部Ｉ／Ｆ部５００により、ユーザが任意の値を設定する構成としてもよい。
【００９１】
また、Ｒ’Ｇ’Ｂ’画像を抽出する際の始点座標（ｓｔ＿ｘ，ｓｔ＿ｙ）は、下式（６）により求められる。
【００９２】
【数６】
2012239644.tif 000008
【００９３】
上式（６）に示したように、第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）が、ｓｐａｃｅ＿ｘ，ｓｐａｃｅ＿ｙよりも小さい場合には、第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）に基づいて、Ｒ’Ｇ’Ｂ’画像を抽出する際の始点座標（ｓｔ＿ｘ，ｓｔ＿ｙ）が制御されるため、ブレ補正処理が有効に機能する。しかし、第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）が、ｓｐａｃｅ＿ｘ，ｓｐａｃｅ＿ｙよりも大きい場合には、Ｒ’Ｇ’Ｂ’画像を抽出する際の始点座標（ｓｔ＿ｘ，ｓｔ＿ｙ）が固定値となるため、ブレ補正処理が機能しなくなる。
【００９４】
一方、第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）は、上式（４）に示したように、初期フレームから現在のフレームまでの動きベクトルの積算値である。従って、例えばブレの方向が、ある一定の方向のみに発生するような特徴を有していた場合、時間経過と共に第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）の値が増大し、ｓｐａｃｅ＿ｘ，ｓｐａｃｅ＿ｙを超えることが想定される。この場合、前述のようにブレ補正処理が機能しなくなってしまう。
【００９５】
そのため、本実施形態では、上式（４）に示したように、１フレーム前の時点における第３動きベクトル（Ｖｅｃ＿ｘ＿ｍｅｍ，Ｖｅｃ＿ｙ＿ｍｅｍ）に対し、減衰係数Ｃｘ，Ｃｙを乗算する。ここで、減算係数Ｃｘ，Ｃｙは、１より小さい実数である。従って、第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）は、時間経過と共に緩やかに減少するようになり、第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）がｓｐａｃｅ＿ｘ，ｓｐａｃｅ＿ｙより大きくなることを抑制できる。
【００９６】
表示画像生成部３８０は、ブレ補正処理部３７０より出力される抽出画像に対し、既存のホワイトバランス、色変換、階調変換、電子ズーム処理を施し、表示画像を生成する。更に表示画像生成部３８０は、生成した表示画像を表示部４００に出力する。
【００９７】
以上の処理により、画像に対しブレ補正処理を施す場合に、上述したような撮像視野が固定される課題を解決することができる。具体的には例えば、垂直方向アングルノブを操作している場合には、画像のｙ軸方向に対して、ブレ補正処理を行わないことにより、撮像視野が固定される課題を解決できる。
【００９８】
なお、本実施形態では、上述のように水平方向及び垂直方向アングルノブの操作を考慮したブレ補正処理を示したが、本発明はこれに限定されるものではない。他の手法としては、例えば、水平方向及び垂直方向アングルノブのうちの何れかが操作されている場合に、ブレ補正処理をＯＦＦとする構成としてもよい。
【００９９】
この場合、何れかのアングルノブが操作されている際に、ブレ補正処理部３７０が、補間処理部３１０より出力されるＲＧＢ画像をそのまま表示画像生成部３８０に出力すればよい。操作状態取得部３４０は、何れかのアングルノブが操作されている場合に、アングルノブが操作されていることを示すトリガ信号をブレ補正処理部３７０に出力する構成とすればよい。以上の手法を用いても、撮像視野が固定される課題を解決可能である。
【０１００】
以上のように本実施形態の画像処理装置３００は、図５に示すように、画像取得部３０８と、第１動き情報検出部３５０ａと、第２動き情報検出部３３０と、ブレ補正処理部３７０を含む。また本実施形態の内視鏡装置は、画像処理装置３００と、撮像部２２８（挿入部２００）の撮像視野を動かす操作を行うための操作部２５０を含む。
【０１０１】
画像取得部３０８は、撮像視野を変更可能な撮像部２２８（挿入部２００）を介して、複数の画像を時系列的に取得する。例えば複数のフレーム画像を時系列的に取得する。
【０１０２】
第１動き情報検出部３５０ａは、撮像部２２８の撮像視野を動かす操作に応じた撮像視野の動き情報を、第１動き情報として検出する。別の言い方をすれば、変更指示による撮像部２２８の撮像視野の動きを示す第１動き情報を検出する。具体的には、例えば前述の式（３）等で説明した処理を行うことで、第１動き情報（第１動きベクトル）を検出する。
【０１０３】
また第２動き情報検出部３３０は、時系列に取得された複数の画像（複数のフレーム画像）に基づいて、画像間の動き情報（フレーム間動き情報）である第２動き情報を検出する。例えばフレーム画像の画像全体の動きを示す第２動き情報を検出する。具体的には、例えば前述の式（２）等で説明した処理を行うことで、第２動き情報（第２動きベクトル）を検出する。
【０１０４】
そしてブレ補正処理部３７０は、第１動き情報と第２動き情報に応じたブレ補正処理を画像（フレーム画像）に対して行う。即ち第１動き情報と第２動き情報を反映させたブレ補正処理を、撮像部２２８により得られた画像に対して行う。具体的には、例えば前述の式（５）、（６）に示すような画像抽出処理を行うことで、ブレ補正処理を実現する。
【０１０５】
このようにすれば、意識的に撮像視野を動かす操作が行われた場合に、この操作がブレであると誤検出されて、撮像視野が固定されてしまう事態の発生を抑止できる。また、第２動き情報を用いることで、例えば被写体である生体の拍動の影響による画像ブレについても抑止できるようになる。
【０１０６】
ここで撮像視野（観察視野）は、撮像部２２８（挿入部）が被写体を見る視野範囲（視野領域）であり、観察の対象となる視野範囲である。また、撮像視野が変更可能とは、図９において、水平方向であるＨ方向（ｘ軸方向）や垂直方向であるＶ方向（ｙ軸方向）や、その合成方向に撮像視野を変更できることである。この撮像視野の変更は、ユーザの変更指示等により行われる。具体的には、例えば操作部２５０を介した撮像視野を動かす操作により行われる。また、時系列に取得された画像とは、例えば複数のフレームに亘って取得された画像（撮像画像）である。
【０１０７】
また撮像部２２８の撮像視野を動かす操作とは、例えば図８に示すアングルノブなどにより実現される操作部２５０を介して行われる操作である。この操作は、人間であるユーザの操作であってもよいし、医療用のロボット等により行われる自動操作（所定アルゴリズムにより実行される操作）であってもよい。また、撮像視野を動かす操作に応じた撮像視野の動き情報とは、撮像視野を動かす操作が行われること（撮像視野の変更指示が行われること）を起因として生じる動き情報であり、例えば図９のＨ方向やＶ方向やその合成方向での撮像視野の動きを示す情報である。
【０１０８】
また画像間の動き情報は、例えば時系列に取得された複数の画像（フレーム画像）間での被写体の動き等を表す情報であり、例えば図１２においてＱ１により表される動き情報等である。
【０１０９】
また第１動き情報と第２動き情報に応じたブレ補正処理は、第１動き情報及び第２動き情報自体又は第１動き情報と第２動き情報により得られた情報（例えば第３動き情報）に基づき行われるブレ補正処理である。
【０１１０】
また第１動き情報、第２動き情報は、各々、例えば第１動きベクトル、第２動きベクトルであるが、これには限定されない。例えば第１動きベクトル、第２動きベクトルと数学的或いは演算処理的に等価な情報であってもよい。また第１動きベクトル、第２動きベクトルは、少なくも動きベクトルの方向の情報を有していればよい。
【０１１１】
また本実施形態では、第３動き情報算出部３６０ａは、第１動き情報と第２動き情報に基づき、第３動き情報を求める。そしてブレ補正処理部３７０は、求められた第３動き情報に基づいて、ブレ補正処理を行う。例えば図１０〜図１５で説明した電子式ブレ補正処理などを行う。
【０１１２】
即ち、このようなブレ補正処理は、通常は、画像間動き情報である第２動き情報のみに基づき行われる。この点、本実施形態では、このような第２動き情報のみならず、撮像視野を動かす操作に応じた撮像視野の動き情報である第１動き情報も反映させたブレ補正処理を行う。具体的には、図２等で説明したように、第３動き情報算出部３６０ａは、第２動き情報から第１動き情報に対応する成分を除外した情報を、第３動き情報として求め、このようにして求められた第３動き情報に基づいて、ブレ補正処理を行う。具体的には、例えば前述の式（４）等で説明した処理を行うことで、第３動き情報（第３動きベクトル）を求める。
【０１１３】
このようにすれば、第２動き情報に対して第１動き情報を反映させた第３動き情報を用いて、ブレ補正処理を行うことができる。従って、第３動き情報を、通常の画像間動き情報（フレーム間動きベクトル）のように見なして、例えば通常の電子式ブレ補正処理等のアルゴリズムで、ブレ補正処理を実現できるようになるため、処理の簡素化等を図れる。
【０１１４】
ここで、第２動き情報から第１動き情報に対応する成分を除外した情報を第３動き情報として求める処理は、図５の第１の構成例では、図３（Ａ）、図３（Ｂ）で説明した第１の手法により実現される。
【０１１５】
具体的には第３動き情報算出部３６０ａは、撮像視野を動かす操作が行われている操作状態（操作期間）と操作が行われていない非操作状態（非操作期間）のうち、非操作状態の際に取得された第２動き情報（非操作期間で取得された第２動き情報）に基づいて、第３動き情報を求める。即ち、操作状態の際に取得された第２動き情報は、撮像視野を動かす操作に応じた動き情報（第１動き情報）に相当すると見なして、例えば非操作状態の際に取得された第２動き情報だけを用いて、第３動き情報を算出する。これは、前述したように、例えばアングルノブによる回転角度の変化量がθｈ＿ｄｉｆ＝θｖ＿ｄｉｆ＝０の場合には、非操作状態であると見なして、第１動き情報である第１動きベクトルを、（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）＝（１，１）に設定することにより実現できる。
【０１１６】
このようにすれば、操作状態なのか、非操作状態なのかを判別し、非操作状態での第２動き情報を第３動き情報と見なして処理を行うだけで、ブレ補正処理を実現できるようになる。従って、処理を更に簡素化できるようになり、例えば少ない処理負荷でのブレ補正処理を実現できるようになる。
【０１１７】
更に具体的には、第３動き情報算出部３６０ａは、操作状態の際には第２動き情報についての積算処理を行わず、非操作状態の際には第２動き情報についての積算処理を行うことで、第３動き情報を求める。具体的には、前述の式（４）において、非操作状態の際には、（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）＝（１，１）になることで、第２動き情報について積算処理が行われて、第３動き情報（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）が求められるようになる。
【０１１８】
このようにすれば、積算処理の制御を行うだけで、非操作状態の際に取得された第２動き情報に基づいて、第３動き情報を求めることが可能になり、処理の簡素化を図れる。
【０１１９】
また第３動き情報算出部３６０ａは、図１９に示すように、積算処理を行う積算部３６１ａ（動きベクトル積算部）と、積算処理の結果を記憶する記憶部３６２（動きベクトル記憶部）を含む。そして積算部３６１ａは、記憶部３６２に記憶される前回までの積算結果（例えば１フレーム前の積算結果）と、今回の第２動き情報（今回のフレームでの第２動き情報）とに基づいて、積算演算を行って今回の積算結果を求め、求められた今回の積算結果を記憶部３６２に書き込む。即ち、前述の式（４）に示した積算処理を、図１９に示すような構成の第３動き情報算出部３６０ａで実現する。
【０１２０】
このようにすれば、積算処理による第３動き情報の算出を、簡素な構成の第３動き情報算出部３６０ａで実行できるようになる。
【０１２１】
また、この場合に、図１９の積算部３６１ａは、前回までの積算結果（例えば１フレーム目の積算結果）と、前回までの積算結果を減衰させるための減衰係数と、今回の第２動き情報（今回のフレームの積算結果）とに基づいて、積算演算を行って今回の積算結果を求める。そしてブレ補正処理部３７０は、第３動き情報で表される動きの大きさが所与のしきい値よりも大きいと判断された場合には、ブレ補正処理をオフにする。
【０１２２】
具体的には、前述の式（４）に示すように、減衰係数Ｃｘ、Ｃｙ（Ｃｘ＜１、Ｃｙ＜１）を設定し、この減衰係数Ｃｘ、Ｃｙを、例えば、記憶部３６２に保持されている動きベクトル（Ｖｅｃ＿ｘ＿ｍｅｍ，Ｖｅｃ＿ｙ＿ｍｅｍ）に乗算することで、前回までの積算結果を減衰させる積算処理を実現する。
【０１２３】
このような減衰係数を用いれば、第３動き情報が時間経過と共に緩やかに減少するようになり、第３動き情報で表される動きの大きさが所与のしきい値（ｓｐａｃｅ＿ｘ，ｓｐａｃｅ＿ｙ）より大きくなることを抑制できるようになる。
【０１２４】
そして、前述の式（６）で説明したように、第３動き情報で表される動きの大きさが所与のしきい値（ｓｐａｃｅ＿ｘ，ｓｐａｃｅ＿ｙ）よりも大きくなると、ブレ補正処理がオフになる。即ち、式（６）において、Ｒ’Ｇ’Ｂ’画像を抽出する際の始点座標（ｓｔ＿ｘ，ｓｔ＿ｙ）が固定値になることで、ブレ補正処理が実行されないようになる。
【０１２５】
このようにすれば、例えばブレの方向が、ある一定の方向のみに発生するような特徴を有していた場合に、ブレ補正処理の機能をオフにすることが可能になる。例えば、後述するようにドクターがスコープの挿入・抜去を行っている場合には、ブレの方向が、ある一定の方向のみに発生するようになり、このような場合にブレ補正処理をオフにできるようになる。
【０１２６】
また第１動き情報検出部３５０ａは、第１動き情報に基づいて操作状態か否かを検出する。例えば前述の式（３）において、θｈ＿ｄｉｆ，θｖ＿ｄｉｆの両方が０である場合には、非操作状態（非操作期間）であると判断し、いずれか一方が０ではない場合には、操作状態（操作期間）であると判断する。このようにすれば、第１動き情報を判断するだけで、操作状態か非操作状態かを判別できるようになり、処理を簡素化できる。
【０１２７】
例えば、撮像部２２８の撮像視野を動かす操作は、操作部２５０を用いて行われる操作である。この場合に第１動き情報検出部３５０ａは、操作部２５０の操作情報に基づいて、操作状態か否かを検出する。即ち図５の操作状態取得部３４０が、操作部２５０からの操作情報を取得し、第１動き情報検出部３５０ａは、このようにして取得された操作情報に基づいて、操作状態なのか、非操作状態なのかを判定する。このようにすれば、操作部２５０を介して撮像視野を動かす操作が行われたか否かを、操作情報を用いた簡素な処理で判別できるようになる。
【０１２８】
そして例えば内視鏡装置の場合には、操作部２５０は、例えば図８に示す内視鏡スコープにおけるアングルノブ１０である。そして第１動き情報検出部３５０ａは、アングルノブの回転角度が時間的に変動する場合に、操作状態であると検出する。具体的には、回転角度の変化量であるθｈ＿ｄｉｆ，θｖ＿ｄｉｆのいずれか一方が０ではない場合には、操作状態であると判定する。一方、θｈ＿ｄｉｆ，θｖ＿ｄｉｆの両方が０である場合には、非操作状態であると判定する。
【０１２９】
また第２動き情報検出部３３０は、第２動き情報を第２動きベクトルとして検出する。そして第３動き情報算出部３６０ａは、検出された第２動きベクトルのうち、撮像視野の移動方向と直交する方向の動きベクトルを、第３動き情報である第３動きベクトルとして求める。
【０１３０】
具体的には、前述のように、θｈ＿ｄｉｆ＝０，θｖ＿ｄｉｆ＝０の場合には、第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）を（１,  １）とし、θｈ＿ｄｉｆ≠０，θｖ＿ｄｉｆ＝０の場合には、（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）を（０,  １）とするなどの処理を行う。そして、このようにして求められた第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）で、前述の式（４）のように第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）を求める。このようにすることで、第２動きベクトルのうち、撮像視野の移動方向と直交する方向の動きベクトルを、第３動きベクトルとして求めることが可能になる。
【０１３１】
また図５では、撮像部２２８は、人などの被検体に挿入される挿入部２００の先端に設けられている。この場合に、撮像部２２８の撮像視野を動かす操作は、挿入部２００の先端の湾曲部材を湾曲させて先端を所与の方向に向ける操作である。即ち、挿入部２００である内視鏡スコープの先端の湾曲部材を湾曲させて所与の方向（ドクター等が所望する方向）に向ける操作である。
【０１３２】
具体的には、撮像部２２８の撮像視野を動かす操作は、湾曲部材の湾曲状態を制御する操作部２５０を用いて行われる操作である。内視鏡装置を例にとれば、この操作部２５０は、図８に示すような、湾曲部材の湾曲状態を制御するアングルノブである。
【０１３３】
即ち、挿入部２００は、その大半の部分が柔軟性を有する軟性部であり、その先端部は、照明窓や観察窓等を設ける関係で硬質部になる。この硬質部と軟性部の間に、アングル部が設けられ、アングルノブ（アングル操作装置）を用いて、アングル部を湾曲させることによって、挿入部２００の硬質部を所望の方向に向けられるようになる。なお、撮像視野を動かす操作は、このような操作に限定されるものではなく、本実施形態の画像処理装置が適用される装置に応じて、種々の変形実施が可能である。
【０１３４】
また、撮像視野を動かす操作が操作部２５０を用いて行われる操作である場合に、第１動き情報検出部３５０ａは、操作部２５０の操作情報に基づいて、撮像部の撮像視野を動かす操作を検出して第１動き情報を求める。
【０１３５】
アングルノブを例にとれば、操作情報として回転角度θｈ、θｖが操作状態取得部３４０により取得される。そして、前述のように、この回転角度θｈ、θｖから、回転角度の変化量θｈ＿ｄｉｆ，θｖ＿ｄｉｆが求められ、回転角度の変化量θｈ＿ｄｉｆ，θｖ＿ｄｉｆから第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）が求められる。そして前述の式（４）により第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）が求められる。このようにすれば、操作情報から簡素な検出処理で、第１動き情報を検出できるようになる。
【０１３６】
また第１動き情報検出部３５０ａは、操作部２５０の操作情報に基づいて、撮像部２２８の撮像視野の移動方向を検出する。例えば図９のＨ方向やＶ方向での移動方向を検出する。このようにすることで、第１動き情報である第１動きベクトルの方向を検出できるようになる。
【０１３７】
具体的には、操作部２５０は、撮像部の撮像視野を図９の水平方向Ｈに動かすための水平方向操作部を含む。アングルノブを例にとれば、水平方向操作部は、図８に示す水平方向用アングルノブ（ＲＬアングルノブ）である。この場合に第１動き情報検出部３５０ａは、水平方向操作部の操作情報に基づいて、撮像部２２８の撮像視野の水平方向での移動を検出する。例えば図９の水平方向Ｈでの撮像視野の動きを検出する。
【０１３８】
また操作部２５０は、撮像部の撮像視野を図９の垂直方向Ｖに動かすための垂直方向操作部を含む。アングルノブを例にとれば、垂直方向操作部は、図８に示す垂直方向用アングルノブ（ＵＤアングルノブ）である。この場合に第１動き情報検出部３５０ａは、垂直方向操作部の操作情報に基づいて、撮像部２２８の撮像視野の垂直方向での移動を検出する。例えば図９の垂直方向Ｖでの撮像視野の動きを検出する。
【０１３９】
このようにすれば、ドクター等がアングルノブ等を用いて、水平方向や垂直方向に撮像視野を変更する操作を行った場合に、この操作による撮像視野の変化が画像ブレと見なされて撮像視野が固定されてしまう事態を抑止できるようになる。
【０１４０】
３．第２の構成例
図２０に、本実施形態の画像処理装置及びこれを含む内視鏡装置（内視鏡システム）の第２の構成例を示す。
【０１４１】
図２０の第２の構成例の内視鏡装置は、図４（Ａ）、図４（Ｂ）の第２の手法を実現する構成例であり、光源部１００と、挿入部２００と、画像処理装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。また第２の構成例の画像処理装置３００は、画像取得部３０８と、第２動きベクトル検出部３３０と、操作状態取得部３４０と、第１動きベクトル検出部３５０ｂと、第３動きベクトル算出部３６０ｂと、ブレ補正処理部３７０と、表示画像生成部３８０と、制御部３９０を含む。画像取得部３０８は、例えば補間処理部３１０と、輝度画像生成部３２０により構成される。なお本実施形態の内視鏡装置、画像処理装置は図２０の構成に限定されず、これらの構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また光源部１００、表示部４００、外部Ｉ／Ｆ部５００等の構成は、図５の第１の構成例と同様であるため詳細な説明を省略する。以降の説明において、第１の構成例と同様の処理・構成を有するものについては、適宜説明を省略するものとする。
【０１４２】
挿入部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、撮像部２２８と、操作部２５０と、レンズ制御部２６０と、メモリ２７０を含む。撮像部２２８は例えば集光レンズ２３０と撮像素子２４０により構成される。集光レンズ２３０と、レンズ制御部２６０と、メモリ２７０以外は、図５の第１の構成例と同様であるため、詳細な説明を省略する。なお、以下の説明では、挿入部２００を単にスコープ（内視鏡スコープ）とも表記する。
【０１４３】
レンズ制御部２６０は、集光レンズ２３０に接続されている。また、メモリ２７０は、制御部３９０に接続されている。
【０１４４】
メモリ２７０には、各スコープ固有の識別番号が保持されている。従って、制御部３９０はメモリ２７０の識別番号を参照することにより、接続されているスコープの種類を識別可能である。
【０１４５】
また、本実施形態において、集光レンズ２３０は、合焦位置ｄとズーム位置ｆを制御可能であるものとする。ここで、合焦位置ｄとは、ピントが合う場合における集光レンズ２３０と被写体との間の距離を表すものとする。また、ズーム位置ｆとは、集光レンズ２３０の光学中心と撮像素子２４０との距離を表すものとする。
【０１４６】
合焦位置ｄは、例えばｄｍｉｎ〜ｄｍａｘ[ｍｍ]の範囲で制御できるものとする（ｄｍａｘ＞ｄｍｉｎ）。一般に、合焦位置ｄが小さい場合には、被写体に、より近接できるため、拡大観察が可能である。またズーム位置ｆは、例えばｆｍｉｎ〜ｆｍａｘ[ｍｍ]の範囲で制御できるものとする。一般に、ズーム位置ｆが大きい場合には画角が狭くなるため、拡大観察が可能である。そのため本実施形態では、合焦位置ｄが“ｄｍａｘ”であり且つズーム位置ｆが“ｆｍｉｎ”である場合を、通常観察状態（非拡大観察状態）と定義する。一方、合焦位置ｄとズーム位置ｆが上記以外の値である場合には、拡大観察状態にあるものと定義する。なお、集光レンズ２３０の合焦位置ｄ及びズーム位置ｆは、レンズ制御部２６０（合焦位置制御部、ズーム位置制御部）が制御（変更）する。
【０１４７】
また、合焦位置ｄ、ズーム位置ｆの値は、例えばユーザが外部Ｉ／Ｆ部５００より設定する構成とすればよい。この場合、まずユーザが設定した合焦位置ｄ、ズーム位置ｆが、制御部３９０に出力される。そして、制御部３９０が、設定された合焦位置ｄ、ズーム位置ｆをレンズ制御部２６０に出力し、レンズ制御部２６０が、集光レンズ２３０の合焦位置ｄ、ズーム位置ｆを変更する。更に制御部３９０は、合焦位置ｄ、ズーム位置ｆを、後述する第１動きベクトル検出部３５０ｂにも出力するものとする。
【０１４８】
制御部３９０は、第１動きベクトル検出部３５０ｂと、第２動きベクトル検出部３３０と、ブレ補正処理部３７０と、レンズ制御部２６０に接続されている。第１動きベクトル検出部３５０ｂ、及び第３動きベクトル算出部３６０ｂ以外の処理は、第１の構成例と同様であるため説明を省略する。
【０１４９】
ここで、アングルノブ（操作部２５０）の回転角度と、撮像視野の変化の方向について説明する。本実施形態では、水平方向アングルノブを右周りに回転させた場合には、撮像視野が図２１の“Ｈａ”方向に変化するものとし、逆に左周りに回転させた場合は、撮像視野が図２１の“Ｈｂ”方向に変化するものと定義する。また、垂直方向アングルノブについても同様に、アングルノブを右回りに回転させた場合に、撮像視野が図２１の“Ｖａ”方向に変化するものとし、アングルノブを左周りに回転させた場合に、撮像視野が図２１の“Ｖｂ”方向に変化するものと定義する。
【０１５０】
また、本実施形態では、例えば水平方向アングルノブをθ[ｄｅｇ]だけ回転させた場合には、スコープ先端のアングルもθ[ｄｅｇ]だけ変化するものとする。
【０１５１】
第１動きベクトル検出部３５０ｂ（第１動き情報検出部）は、図２２に示すように、変化量算出部３５１と、回転角度記憶部３５２と、動きベクトル算出部３５３ｂを含む。制御部３９０は、動きベクトル算出部３５３ｂに接続されている。動きベクトル算出部３５３ｂは、第３動きベクトル算出部３６０ｂに接続されている。操作状態取得部３４０は変化量算出部３５１に接続されている。変化量算出部３５１と、回転角度記憶部３５２は、第１の構成例と同様であるため、説明を省略する。
【０１５２】
動きベクトル算出部３５３ｂは、変化量算出部３５１より出力される回転角度の変化量θｈ＿ｄｉｆ，θｖ＿ｄｉｆ[ｄｅｇ]、及び制御部３９０より出力される合焦位置ｄ[ｍｍ]、ズーム位置ｆ[ｍｍ]に基づいて、第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）を求める。本実施形態において第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）は、後述するようにアングルノブの操作に起因する動きベクトルである。
【０１５３】
ここで、回転角度の変化量θｈ＿ｄｉｆ，θｖ＿ｄｉｆ[ｄｅｇ]と、画像上での動きベクトルの関係について説明する。ここでは、説明のために、水平方向アングルノブのみが操作される場合（θｖ＿ｄｉｆ＝０）を考える。
【０１５４】
今、ある時刻ｔ−１において、挿入部２００の先端と被写体が、図２３に示す位置関係にある場合を想定する。そしてこの場合に撮像素子２４０で図２５に示す画像が取得されるものと仮定する。なお、図２３において、“Ｓ”はスコープのアングルが変更される場合の支点に相当する。また、“Ｌ”は支点と挿入部２００の先端との間の距離であり、“ｄ”は合焦位置である。
【０１５５】
ここで、次の時刻ｔにおいて、水平方向アングルノブが左周りにθｈ＿ｄｉｆだけ操作された場合を考える。このとき、挿入部２００の先端のアングルも図２４に示すように、θｈ＿ｄｉｆだけ変化する。この場合、撮像素子２４０では、図２６に示す画像が取得される。図２６の“ｄｘ＿ｉｍｇ”は、アングルノブの操作に起因する動きベクトルに相当する。
【０１５６】
アングルノブの操作に起因する動きベクトル“ｄｘ＿ｉｍｇ”は、図２４に示した“ｄｘ”に相当する。従って、アングルノブの操作に起因する動きベクトル“ｄｘ＿ｉｍｇ”は、下式（７）を用いて算出することが可能である。
【０１５７】
【数７】
2012239644.tif 000009
【０１５８】
なお、図２４に示した“ｄｘ”は、実空間における距離（例えば[ｍｍ]）であり、図２６に示した“ｄｘ＿ｉｍｇ”は、画像上における距離[ｐｉｘｅｌｓ]である。そのため、アングルノブの操作に起因する動きベクトル“ｄｘ＿ｉｍｇ”を算出するためには、上式（７）に示した変換係数“Ｃｏｄ[ｐｉｘｅｌｓ／ｍｍ]”が必要となる。
【０１５９】
ここで、上記の変換係数“Ｃｏｄ”は、合焦位置ｄ[ｍｍ]、ズーム位置ｆ[ｍｍ]、及び撮像素子の画素ピッチＰ[ｍｍ／ｐｉｘｅｌｓ]によって定まる。具体的には、上記変換係数“Ｃｏｄ”は、下式（８）を用いて算出可能である。
【０１６０】
【数８】
2012239644.tif 000010
【０１６１】
以上より、第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）は、下式（９）を用いて算出することができる。動きベクトル算出部３５３ｂは、下式（９）を用いて第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）を算出し、第３動きベクトル算出部３６０ｂに出力する。
【０１６２】
【数９】
2012239644.tif 000011
【０１６３】
上式（８）及び（９）において、“Ｌ，Ｐ”の値は、接続されるスコープにより異なるが、制御部３９０は、メモリ２７０に保持されている識別番号を参照することで、接続されているスコープの種類を識別し、“Ｌ，Ｐ”の値を取得可能である。
【０１６４】
第３動きベクトル算出部３６０ｂは、第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）、及び第２動きベクトル（Ｖｅｃ＿ｘ２，Ｖｅｃ＿ｙ２）に基づき、後述する手法により、第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）を算出する。
【０１６５】
第３動きベクトル算出部３６０ｂ（第３動き情報算出部）は、図２７に示すように、動きベクトル減算部３６３と、動きベクトル判定部３６４と、平均動きベクトル算出部３６５と、動きベクトル積算部３６１ｂと、動きベクトル記憶部３６２を含む。第１動きベクトル検出部３５０ｂと第２動きベクトル検出部３３０は、動きベクトル減算部３６３に接続されている。動きベクトル減算部３６３は、動きベクトル判定部３６４に接続されている。動きベクトル判定部３６４は、平均動きベクトル算出部３６５と動きベクトル積算部３６１ｂに接続されている。平均動きベクトル算出部３６５は、動きベクトル積算部３６１ｂに接続されている。動きベクトル積算部３６１ｂと動きベクトル記憶部３６２は双方向に接続されている。動きベクトル積算部３６１ｂは、ブレ補正処理部３７０に接続されている。
【０１６６】
動きベクトル減算部３６３は、第２動きベクトル（Ｖｅｃ＿ｘ２，Ｖｅｃ＿ｙ２）より第１動きベクトル（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）を減算する処理を施す。ここでは減算処理後の動きベクトルを差分動きベクトル（Ｖｅｃ＿ｓｕｂ＿ｘ，Ｖｅｃ＿ｓｕｂ＿ｙ）と表記する。
【０１６７】
差分動きベクトル（Ｖｅｃ＿ｓｕｂ＿ｘ，Ｖｅｃ＿ｓｕｂ＿ｙ）は、下式（１０）を用いて算出する。
【０１６８】
【数１０】
2012239644.tif 000012
【０１６９】
動きベクトル減算部３６３は、上式（１０）により算出した差分動きベクトル（Ｖｅｃ＿ｓｕｂ＿ｘ，Ｖｅｃ＿ｓｕｂ＿ｙ）を、動きベクトル判定部３６４に出力する。
【０１７０】
上述したように、第１動きベクトルは、アングル操作に起因した動きベクトル（撮像視野の動かす操作に起因する動きベクトル）であり、第２動きベクトルは、フレーム間動きベクトル（画像間動きベクトル）である。従って、上式（１０）により算出される差分動きベクトルは、フレーム間動きベクトルから、アングル操作に起因した動きベクトルを除外した動きベクトルに相当する。しかし、この差分動きベクトルには、手ブレや被写体の拍動によるブレ以外にも、スコープの挿入・抜去に起因した動きベクトルも含まれる。
【０１７１】
そのため、この差分動きベクトルに基づいてブレ補正処理を施した場合、スコープの挿入・抜去により撮像視野を変更したいのに、ブレ補正処理により視野が固定されてしまう問題を生じる。そこで、本実施形態では上述の問題を改善するために、後述する手法により、スコープの挿入・抜去に起因した動きベクトルを除外する。
【０１７２】
動きベクトル判定部３６４は、差分動きベクトル（Ｖｅｃ＿ｓｕｂ＿ｘ，Ｖｅｃ＿ｓｕｂ＿ｙ）に対し、しきい値（ｔｈ＿ｘ，ｔｈ＿ｙ）を用いた判定処理を施す。具体的な判定処理としては、例えば下式（１１）を用いる。
【０１７３】
【数１１】
2012239644.tif 000013
【０１７４】
動きベクトル判定部３６４は、上式（１１）による判定処理後の差分動きベクトル（Ｖｅｃ＿ｓｕｂ＿ｘ，Ｖｅｃ＿ｓｕｂ＿ｙ）を、平均動きベクトル算出部３６５、及び動きベクトル積算部３６１ｂに出力する。
【０１７５】
平均動きベクトル算出部３６５は、動きベクトル判定部３６４より出力される、差分動きベクトル（Ｖｅｃ＿ｓｕｂ＿ｘ，Ｖｅｃ＿ｓｕｂ＿ｙ）より平均動きベクトル（Ｖｅｃ＿ａｖｅ＿ｘ，Ｖｅｃ＿ａｖｅ＿ｙ）を算出する。
【０１７６】
なお、ここでは、現在のフレーム（時刻ｔ）より検出された差分動きベクトルを（Ｖｅｃ＿ｓｕｂ＿ｘｔ，Ｖｅｃ＿ｓｕｂ＿ｙｔ）、現フレームのｎフレーム前に検出された差分動きベクトルを（Ｖｅｃ＿ｓｕｂ＿ｘｔ―ｎ，Ｖｅｃ＿ｓｕｂ＿ｙｔ―ｎ）と表記する。
【０１７７】
このとき、平均動きベクトル（Ｖｅｃ＿ａｖｅ＿ｘ，Ｖｅｃ＿ａｖｅ＿ｙ）は、例えば下式（１２）を用いて算出すればよい。
【０１７８】
【数１２】
2012239644.tif 000014
【０１７９】
但し、上式（１２）において、Ｍは加算平均処理に用いるフレーム数に相当する。Ｍの値としては例えば、Ｍ＝１０とすればよい。また、Ｆｎｕｍは、ブレ補正が開始されてから取得されたフレーム数を表すものとする（初期フレームにおいて、Ｆｎｕｍ＝１とする）。
【０１８０】
動きベクトル積算部３６１ｂは、動きベクトル判定部３６４より出力される差分動きベクトル（Ｖｅｃ＿ｓｕｂ＿ｘ，Ｖｅｃ＿ｓｕｂ＿ｙ）、平均動きベクトル算出部３６５より出力される平均動きベクトル（Ｖｅｃ＿ａｖｅ＿ｘ，Ｖｅｃ＿ａｖｅ＿ｙ）、及び動きベクトル記憶部３６２に保持されている動きベクトル（Ｖｅｃ＿ｘ＿ｍｅｍ，Ｖｅｃ＿ｙ＿ｍｅｍ）を用いて、第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）を算出する。ここで、動きベクトル記憶部３６２には、後述するように、１フレーム前の時点における第３動きベクトルが保持されている。
【０１８１】
第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）の算出には、下式（１３）を用いる。
【０１８２】
【数１３】
2012239644.tif 000015
【０１８３】
第３動きベクトル算出部３６０ｂは、第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）をブレ補正処理部３７０に出力する。更に第３動きベクトル算出部３６０ｂは、第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）を動きベクトル記憶部３６２に出力する。従って、動きベクトル記憶部３６２には、１フレーム前の時点における第３動きベクトルが保持される。なお、動きベクトル記憶部３６２に保持される動きベクトルの初期値は（０，０）とする。
【０１８４】
以上の処理により、初期フレームから現在のフレームまでの動きベクトルの積算値が、第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）として算出される。
【０１８５】
以上に示したように、本実施形態においては、式（１０）を用いてフレーム間動きベクトル（第２動きベクトル）から、アングルノブの操作に起因する動きベクトル（第１動きベクトル）を減算して、第３動きベクトルを算出する。従って、アングルノブ操作時に撮像視野が固定される課題を解決することができる。更に、式（１１）〜（１３）に示した手法を用いることで、スコープの挿入・抜去に起因した動きベクトルを除外することが可能である。
【０１８６】
ここで、式（１１）〜（１３）の効果について説明する。一般に、ドクターがスコープの挿入・抜去を行う場合には、撮像視野が大きく変動する。従って、スコープの挿入・抜去が行われている場合、フレーム間動きベクトルが大きくなるため、式（１０）で算出される差分動きベクトルも大きくなる特徴がある。そのため、式（１１）に示したように、検出された差分動きベクトルの大きさがしきい値（ｔｈ＿ｘ，ｔｈ＿ｙ）よりも大きい場合には、差分動きベクトルを強制的にゼロに設定し、ブレ補正処理を施さないようにする。
【０１８７】
また、ドクターがスコープの挿入・抜去を行う場合には、一定期間同じ動作が継続される特徴がある。そのため、この期間中に検出される差分動きベクトルの方向及び大きさは、複数のフレームに渡って、緩やかに変化する特徴がある。
【０１８８】
一方、生体の拍動や手ブレに起因した動きベクトルは、その方向及び大きさが頻繁に変化する特徴がある。従って、本実施形態において、式（１２）に示したように、複数のフレームから検出した差分動きベクトルの平均をとることにより、生体の拍動や手ブレに起因した動きベクトル成分を除外することが可能である。従って、式（１２）により算出される平均動きベクトルは、スコープの挿入・抜去に起因した動きベクトルとなる。
【０１８９】
そのため、式（１３）に示したように、差分動きベクトル（Ｖｅｃ＿ｓｕｂ＿ｘ，Ｖｅｃ＿ｓｕｂ＿ｙ）より、平均動きベクトル（Ｖｅｃ＿ａｖｅ＿ｘ，Ｖｅｃ＿ａｖｅ＿ｙ）を減算することにより、生体の拍動や手ブレに起因した動きベクトルのみを算出することが可能である。
【０１９０】
以上の処理により、画像に対しブレ補正処理を施す場合に、上述したような撮像視野が固定される問題を解決することができる。具体的には、フレーム間動きベクトルより、アングルノブの操作、及びスコープの挿入・抜去に起因する動きベクトルを減算することで算出した動きベクトルを用いてブレ補正処理を行うことで、撮像視野が固定される課題を解決できる。
【０１９１】
なお、本実施形態では、上述のように水平方向及び垂直方向アングルノブの操作を考慮したブレ補正処理を示したが、本発明はこれに限定されるものではない。一般に、手ブレや被写体の拍動の影響で生じる画像のブレは、拡大観察時に顕著に現れる特徴がある。そのため、他の手法としては例えば、拡大観察時のみ上述のブレ補正処理が機能する構成としてもよい。
【０１９２】
この場合、ユーザが設定した合焦位置ｄが“ｄｍａｘ”であり、且つズーム位置ｆが“ｆｍｉｎ”（通常観察に相当）の場合に、ブレ補正処理部３７０が、補間処理部３１０より出力されるＲＧＢ画像をそのまま表示画像生成部３８０に出力すればよい。この場合、制御部３９０は、ユーザが設定した合焦位置ｄが“ｄｍａｘ”であり、且つズーム位置ｆが“ｆｍｉｎ”の場合に、ブレ補正処理部３７０に対し、ブレ補正処理を行わないことを示すトリガ信号を出力すればよい。
【０１９３】
以上のように図２０に示す本実施形態の第２の構成例においても、画像取得部３０８が、複数の画像を時系列的に取得し、第１動き情報検出部３５０ｂが、撮像視野を動かす操作に応じた撮像視野の動き情報を、第１動き情報として検出し、第２動き情報検出部３３０が、画像間の動き情報である第２動き情報を検出する。そしてブレ補正処理部３７０が、第１動き情報と第２動き情報に応じたブレ補正処理を行う。
【０１９４】
また第３動き情報算出部３６０ｂが、第１動き情報と第２動き情報に基づき、第３動き情報を求める。具体的には第２動き情報から第１動き情報の成分を除外した情報を、第３動き情報として求め、ブレ補正処理部３７０は、このようにして求められた第３動き情報に基づいてブレ補正処理を行う。
【０１９５】
そして図２０の第１の構成例では、図５の第１の構成例とは異なり、第３動き情報算出部３６０ｂは、図４（Ａ）、図４（Ｂ）で説明したように、第１動き情報と第２動き情報の差分情報を、第３動き情報として求める。例えば前述した式（１０）のような演算を行って、第３動き情報を求める。
【０１９６】
このようにすれば、第１の構成例に比べて、より高性能なブレ補正処理を実現できるようになる。例えば第１の構成例においてアングルノブにより水平方向でのアングル操作が行われている場合には、画像間動き情報である第２動き情報に基づく水平方向でのブレ補正処理はキャンセルされてしまう。垂直方向でのアングル操作が行われている場合も同様である。即ち、図５の第１の構成例では、第２の構成例に比べて、処理の簡素化や処理負荷の低減が可能になるという利点があるものの、操作状態の際に取得された第２動き情報に基づくブレ補正処理が行われないという不利点がある。
【０１９７】
これに対して、図２０の第２の構成例によれば、水平方向や垂直方向でのアングル操作が行われている場合にも、それに並行して、第２動き情報に基づくブレ補正処理を行うことが可能になる。例えば水平方向でのアングル操作が行われていた場合には、第２動き情報から、水平方向の移動に対応する第１動き情報の成分を除外した情報が、第３動き情報として算出される。そして、この第３動き情報に基づいて、画像間のブレ補正処理が通常どおり行われるようになる。従って、第１の構成例に比べて、より高性能なブレ補正処理を実現できる。
【０１９８】
また第１動き情報検出部３５０ｂは、第１動き情報を第１動きベクトルとして検出し、第２動き情報検出部３３０は、第２動き情報を第２動きベクトルとして検出し、第３動き情報算出部３６０ｂは、第３動き情報を第３動きベクトルとして求める。そしてブレ補正処理部３７０は、この第３動きベクトルに基づいてブレ補正処理を行う。
【０１９９】
このようにすれば、動きベクトル同士の演算で第３動きベクトルを求め、求められた第３動きベクトルに基づいて、動きベクトルを用いた一般的なブレ補正処理を行うことが可能になり、処理を簡素化できる。
【０２００】
具体的には第３動き情報算出部３６０ｂは、第１動きベクトルと第２動きベクトルの差分を表す差分動きベクトルを求め、この差分動きベクトルに基づいて第３動きベクトルを求める。例えば前述の式（１０）に示すように、差分動きベクトル（Ｖｅｃ＿ｓｕｂ＿ｘ，Ｖｅｃ＿ｓｕｂ＿ｙ）を求めて、この差分動きベクトルを用いて第３動きベクトル（Ｖｅｃ＿ｘ３，Ｖｅｃ＿ｙ３）を算出する。
【０２０１】
このようにすれば、ベクトル演算を利用した簡素な演算処理で第３動きベクトルを求めることが可能になる。
【０２０２】
また第３動き情報算出部３６０ｂは、差分動きベクトルの大きさが所与のしきい値よりも大きいと判断した場合には、差分動きベクトルの大きさを０に設定する。例えば前述の式（１１）に示すように、差分動きベクトル（Ｖｅｃ＿ｓｕｂ＿ｘ，Ｖｅｃ＿ｓｕｂ＿ｙ）の大きさがしきい値（ｔｈ＿ｘ，ｔｈ＿ｙ）よりも大きい場合には、強制的にゼロに設定してブレ補正処理が行われないようにする。
【０２０３】
このようにすれば、ドクターがスコープの挿入・抜去を行っている場合に、ブレ補正処理を強制的にオフにできる。
【０２０４】
また第３動き情報算出部３６０ｂは、差分動きベクトルの平均化処理を行って平均動きベクトルを求め、差分動きベクトルと平均動きベクトルの差分に基づいて、第３動きベクトルを求めてもよい。例えば平均動きベクトル（Ｖｅｃ＿ａｖｅ＿ｘ，Ｖｅｃ＿ａｖｅ＿ｙ）を求め、前述の式（１３）に示すような差分動きベクトルと平均動きベクトルの差分処理を行って、第３動きベクトルを算出する。このようにすれば、例えば生体の拍動や手ブレ等に起因した動きベクトルだけを、第３動きベクトルとして求めることが可能になる。
【０２０５】
また第３動き情報算出部３６０ｂは、図２７に示すように、差分動きベクトルと平均動きベクトルの差分についての積算処理を行う積算部３６１ｂ（動きベクトル積算部）と、積算処理の結果を記憶する記憶部３６２（動きベクトル記憶部）を含む。そして積算部３６１ｂは、記憶部３６２に記憶される前回までの積算結果（例えば１フレーム前の積算結果）と、今回の差分動きベクトルと平均動きベクトルの差分（今回のフレームでの差分）とに基づいて、積算演算を行って今回の積算結果を求める。そして、求められた今回の積算結果を記憶部３６２に書き込む。即ち、前述の式（１３）に示した積算処理を、図２７に示すような構成の第３動き情報算出部３６０ｂで実現する。
【０２０６】
このようにすれば、積算処理による第３動き情報を算出を、簡素な構成の第３動き情報算出部３６０ｂで実行できるようになる。
【０２０７】
また図２０の第２の構成例では、撮像部２２８の合焦位置が変更可能になっている。例えば前述のように、ユーザが外部Ｉ／Ｆ部５００により合焦位置を設定すると、制御部３９０の制御の下で、レンズ制御部２６０が、設定された合焦位置への変更を行う。すると、第１動き情報検出部３５０ｂは、撮像部２２８の撮像視野を動かす操作の操作情報と、合焦位置を表す情報である合焦位置情報とに基づいて、第１動き情報を検出する。例えば前述の式（９）に示すように、操作情報に相当する（θｈ＿ｄｉｆ，θｖ＿ｄｉｆ）と、合焦位置情報ｄとに基づいて、第１動き情報（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）を検出する。
【０２０８】
このようにすれば、合焦位置が変更されることにより、実空間における距離と画像上における距離との関係が変化しても、操作情報を反映させた適正な第１動き情報を得ることが可能になる。
【０２０９】
また、第２の構成例では、撮像部２２８は、合焦位置に加えて、ズーム位置も変更可能になっている。例えば外部Ｉ／Ｆ部５００によりズーム位置が設定されると、レンズ制御部２６０が、設定されたズーム位置への変更を行う。すると、第１動き情報検出部３５０ｂは、操作情報に相当する（θｈ＿ｄｉｆ，θｖ＿ｄｉｆ）と、合焦位置情報ｄと、ズーム位置を表す情報であるズーム位置情報ｆとに基づいて、第１動き情報（Ｖｅｃ＿ｘ１，Ｖｅｃ＿ｙ１）を検出する。
【０２１０】
このようにすれば、ズーム位置が変更されることにより、実空間における距離と画像上における距離との関係が変化しても、操作情報を反映させた適正な第１動き情報を得ることが可能になる。
【０２１１】
またブレ補正処理部３７０は、撮像部２２８が拡大観察状態である場合に、ブレ補正処理を行うようにしてもよい。例えば拡大観察状態では、合焦位置ｄを小さくし、被写体に、より近接できるようにする。またズーム位置ｆを大きくして画角を狭くし、被写体を、より拡大した状態で観察できるようにする。
【０２１２】
そして、このような拡大観察状態では、通常観察状態（非拡大観察状態）に比べて、生体の拍動や手ブレに起因した画像ブレが生じやすい。
【０２１３】
この点、ブレ補正処理部３７０が、拡大観察状態時においてブレ補正処理を行うようにすれば、拡大観察状態時に生体の拍動や手ブレがあっても、それに起因する画像ブレを最小限に抑えることが可能になる。また拡大観察状態時に、ドクターが非検体を探すために、アングルノブによるアングル操作を行った場合にも、その操作が原因で撮像視野が固定されてしまう不具合が生じるのを効果的に防止できるようになる。また、通常観察状態時にブレ補正処理を行わないようにすることで、ブレ補正が必要ではない状態の時に無用なブレ補正処理が行われてしまう事態を防止できる。
【０２１４】
また本実施形態では、第１動き情報検出部３５０ｂは、第１動き情報を第１動きベクトルとして検出する。具体的には、第１動きベクトル検出部３５０ｂは、撮像視野の移動方向及び移動量を、第１動きベクトルとして検出する。また第２動き情報検出部３３０も、第２動き情報を第２動きベクトルとして検出する。
【０２１５】
このようにすれば、第１動きベクトルと第２動きベクトルのベクトル演算で第３動きベクトルを求め、求められた第３動きベクトルに基づいて、動きベクトルを用いた一般的なブレ補正処理を行うことが可能になり、処理を簡素化できる。
【０２１６】
また、第１動き情報を、撮像視野の移動方向及び移動量を表す第１動きベクトルとして検出すれば、撮像視野の移動方向のみならず、移動量も反映された第１動きベクトルを求めることができる。そして、この第１動きベクトルと第２動きベクトルの差分により、第３動きベクトルを求めて、ブレ補正処理を実現することが可能になる。従って、撮像視野の移動方向だけが反映された第１動きベクトルを用いる第１の構成例に比べて、撮像視野の移動量も反映させた第１動きベクトルを用いることが可能になる。この結果、撮像視野の動きをより正確に反映させたブレ補正処理を実現できるようになる。
【０２１７】
以上、本発明を適用した第１、第２の構成例、及びその変形例について説明したが、本発明はこれらの第１、第２の構成例やその変形例にそのまま限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また上記した第１、第２の構成例や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、第１、第２の構成例や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。更に、異なる実施形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において、種々の変形や応用が可能である。
【０２１８】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（第１動き情報、第２動き情報、第３動き情報等）と共に記載された用語（第１動きベクトル、第２動きベクトル、第３動きベクトル等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、内視鏡装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０２１９】
１０（１２、１４）  アングルノブ、１００  光源部、１１０  白色光源、
１２０  レンズ、２００  挿入部、２１０  ライトガイドファイバ、
２２０  照明レンズ、２２８  撮像部、２３０  集光レンズ、２４０  撮像素子、
２５０  操作部、２６０  レンズ制御部、２７０  メモリ、３００  画像処理装置、
３０８  画像取得部、３１０  補間処理部、３２０  輝度画像生成部、
３３０  第２動きベクトル検出部（第２動き情報検出部）、３３１  局所領域設定部、
３３２  動きベクトル算出部、３３３  フレームメモリ、３４０  操作状態取得部、
３５０ａ、３５０ｂ  第１動きベクトル検出部（第１動き情報検出部）、
３５１  変化量算出部、３５２  回転角度記憶部、
３５３ａ、３５３ｂ  動きベクトル算出部、
３６０ａ、３６０ｂ  第３動きベクトル算出部（第３動き情報算出部）、
３６１ａ、３６１ｂ  動きベクトル積算部、３６２  動きベクトル記憶部、
３６３  動きベクトル減算部、３６４  動きベクトル判定部、
３６５  平均動きベクトル算出部、３７０  ブレ補正処理部（画像抽出部）、
３８０  表示画像生成部、３９０  制御部、４００  表示部、５００  外部Ｉ／Ｆ部
【図１】
2012239644.tif 000016
【図３】
2012239644.tif 000017
【図４】
2012239644.tif 000018
【図５】
2012239644.tif 000019
【図６】
2012239644.tif 000020
【図７】
2012239644.tif 000021
【図８】
2012239644.tif 000022
【図１６】
2012239644.tif 000023
【図１７】
2012239644.tif 000024
【図１８】
2012239644.tif 000025
【図１９】
2012239644.tif 000026
【図２０】
2012239644.tif 000027
【図２２】
2012239644.tif 000028
【図２３】
2012239644.tif 000029
【図２４】
2012239644.tif 000030
【図２７】
2012239644.tif 000031
【図２】
2012239644.tif 000032
【図９】
2012239644.tif 000033
【図１０】
2012239644.tif 000034
【図１１】
2012239644.tif 000035
【図１２】
2012239644.tif 000036
【図１３】
2012239644.tif 000037
【図１４】
2012239644.tif 000038
【図１５】
2012239644.tif 000039
【図２１】
2012239644.tif 000040
【図２５】
2012239644.tif 000041
【図２６】
2012239644.tif 000042