(57)【要約】  内視鏡装置は、撮像部２００と被写体の間の動きを表す動き情報を取得する動き情報取得部３４０と、動き情報の信頼性である動き情報信頼性を判定する動き情報判定部３５０と、撮像部２００を被写体に合焦させる合焦動作を実行するか否かを、動き情報と動き情報信頼性に基づいて判定するフォーカス制御部３６０と、を含む。
2016199264.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と被写体の間の動きを表す動き情報を取得する動き情報取得部と、
前記動き情報の信頼性である動き情報信頼性を判定する動き情報判定部と、
前記撮像部を前記被写体に合焦させる合焦動作を実行するか否かを、前記動き情報と前記動き情報信頼性に基づいて判定するフォーカス制御部と、
を含むことを特徴とする内視鏡装置。
【請求項２】
請求項１において、
前記フォーカス制御部は、
前記撮像部と前記被写体の間の大局的な動きを表すグローバル動き情報を前記動き情報と前記動き情報信頼性に基づいて求め、前記グローバル動き情報の信頼性であるグローバル動き情報信頼性を前記動き情報信頼性に基づいて判定し、前記グローバル動き情報又は前記グローバル動き情報信頼性の少なくとも一方に基づいて、前記合焦動作を実行するか否かを判定することを特徴とする内視鏡装置。
【請求項３】
請求項２において、
前記フォーカス制御部は、
前記グローバル動き情報を複数のフレームで累積処理した累積グローバル動き情報を求め、前記累積グローバル動き情報又は前記グローバル動き情報信頼性の少なくとも一方に基づいて、前記合焦動作を実行するか否かを判定することを特徴とする内視鏡装置。
【請求項４】
請求項１において、
前記動き情報取得部は、
前記撮像部により前記被写体が撮像された撮像画像に基づいて、複数の局所動き量を前記動き情報として求め、
前記動き情報判定部は、
前記複数の局所動き量の各局所動き量について前記動き情報信頼性を判定することを特徴とする内視鏡装置。
【請求項５】
請求項４において、
前記動き情報判定部は、
前記各局所動き量と周囲の局所動き量との相関に基づいて前記動き情報信頼性を判定することを特徴とする内視鏡装置。
【請求項６】
請求項４において、
前記動き情報判定部は、
前記各局所動き量に対応する領域での前記撮像画像の明るさに基づいて前記動き情報信頼性を判定することを特徴とする内視鏡装置。
【請求項７】
請求項４において、
前記各局所動き量は、動きベクトルであり、
前記動き情報判定部は、
前記動きベクトルの始点に対応する１画素以上の画素値と、前記動きベクトルの終点に対応する１画素以上の画素値との相関に基づいて前記動き情報信頼性を判定することを特徴とする内視鏡装置。
【請求項８】
請求項１において、
前記動き情報取得部は、
前記撮像部に設けられたモーションセンサの出力値に基づいて前記動き情報を取得し、
前記動き情報判定部は、
前記動き情報と前記動き情報の閾値との比較に基づいて前記動き情報信頼性を判定することを特徴とする内視鏡装置。
【請求項９】
請求項１において、
前記動き情報取得部は、
前記撮像部に設けられたモーションセンサの出力値に基づいて前記動き情報を取得し、
前記動き情報判定部は、
時系列に得られる複数の前記動き情報の各動き情報と、前又は後の少なくとも一方の動き情報との相関に基づいて、前記動き情報信頼性を判定することを特徴とする内視鏡装置。
【請求項１０】
請求項１において、
前記フォーカス制御部は、
前記撮像部と前記被写体の間の大局的な動きを表すグローバル動き情報を複数のフレームで累積処理した累積グローバル動き情報を、前記動き情報と前記動き情報信頼性に基づいて求め、前記累積グローバル動き情報が前記累積グローバル動き情報の閾値よりも大きいと判定した場合に、前記合焦動作を実行することを特徴とする内視鏡装置。
【請求項１１】
請求項１０において、
前記フォーカス制御部は、
前記グローバル動き情報の信頼性であるグローバル動き情報信頼性を前記動き情報信頼性に基づいて判定し、前記グローバル動き情報信頼性が低信頼であると判定したフレームでは、前記グローバル動き情報の累積処理を行わないことを特徴とする内視鏡装置。
【請求項１２】
請求項１０において、
前記フォーカス制御部は、
前記グローバル動き情報が表す動き量が、前記グローバル動き情報の閾値よりも小さいと判定したフレームでは、前記グローバル動き情報の累積処理を行わないことを特徴とする内視鏡装置。
【請求項１３】
請求項１０において、
前記フォーカス制御部は、
前記グローバル動き情報の信頼性であるグローバル動き情報信頼性を前記動き情報信頼性に基づいて判定し、前記グローバル動き情報信頼性が低信頼であると判定したフレームでは、前記フレームよりも前のフレームでの前記グローバル動き情報を前記フレームでの前記グローバル動き情報として累積処理することを特徴とする内視鏡装置。
【請求項１４】
請求項１０において、
前記フォーカス制御部は、
前記グローバル動き情報の信頼性であるグローバル動き情報信頼性を前記動き情報信頼性に基づいて判定し、前記グローバル動き情報信頼性が低信頼であると判定したフレームでは、所定のグローバル動き情報を前記フレームでの前記グローバル動き情報として累積処理することを特徴とする内視鏡装置。
【請求項１５】
請求項１において、
フォーカス制御部は、
前記撮像部と前記被写体の間の大局的な動きを表すグローバル動き情報の信頼性であるグローバル動き情報信頼性を、前記動き情報信頼性に基づいて判定し、前記グローバル動き情報が低信頼であると判定したフレーム数に基づいて前記合焦動作を実行するか否かを判定することを特徴とする内視鏡装置。
【請求項１６】
請求項１５において、
前記フォーカス制御部は、
所定数のフレームのうち、前記グローバル動き情報が低信頼であると判定されたフレーム数が、フレーム数の閾値よりも多い場合に、前記合焦動作を実行することを特徴とする内視鏡装置。
【請求項１７】
請求項１５において、
前記フォーカス制御部は、
前記グローバル動き情報が低信頼であると判定されたフレームの継続数が、フレーム数の閾値よりも多い場合に、前記合焦動作を実行することを特徴とする内視鏡装置。
【請求項１８】
撮像部と被写体の間の動きを表す動き情報を取得する処理を行い、
前記動き情報の信頼性である動き情報信頼性を判定する処理を行い、
前記撮像部を前記被写体に合焦させる合焦動作を実行するか否かを、前記動き情報と前記動き情報信頼性に基づいて判定する処理を行うことを特徴とするフォーカス制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置及びフォーカス制御方法等に関する。
【背景技術】
【０００２】
内視鏡装置（内視鏡システム）においては、ユーザの診断・処置に支障をきたさないように出来るだけ深い被写界深度が要求される。しかし近年では、内視鏡装置においても高画素の撮像素子が使用され、それに従って被写界深度が浅くなってきていることから、それを補うためにオートフォーカス（以下ＡＦと略す）を行う内視鏡装置が提案されている。【０００３】
ＡＦ制御の従来手法には、例えば以下のような手法がある。第１手法は、ビデオカメラ等で用いられる動画撮影でのＡＦにおいて、画像中のコントラスト変化をトリガとして合焦動作を実行する手法である。第２手法は、特許文献１に開示される手法である。この手法では、被写体とカメラの相対的な位置変化をモーションセンサで検出し、そのモーションセンサの出力（例えば角加速度、加速度等）が所定量以上となったことをトリガとして合焦動作を実行する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１９１０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のようなＡＦ制御の従来手法を内視鏡装置に適用した場合、内視鏡手技下で想定される様々なシーンにおいて、必要性に応じた適切なフォーカス制御が行われないという課題がある。例えば、内視鏡手技に第１手法を適用した場合、処置具の操作でコントラストが変化するため、不要な合焦動作が実行される可能性がある。或いは、内視鏡手技に第２手法を適用した場合、手ぶれ等の一時的な大きな動きが発生した場合に、不要な合焦動作が実行される可能性がある。【０００６】
本発明の幾つかの態様によれば、内視鏡手技下で想定される様々なシーンにおいて適切なフォーカス制御を行うことが可能な内視鏡装置及びフォーカス制御方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、撮像部と被写体の間の動きを表す動き情報を取得する動き情報取得部と、前記動き情報の信頼性である動き情報信頼性を判定する動き情報判定部と、前記撮像部を前記被写体に合焦させる合焦動作を実行するか否かを、前記動き情報と前記動き情報信頼性に基づいて判定するフォーカス制御部と、を含む内視鏡装置に関係する。【０００８】
本発明の一態様によれば、撮像部と被写体の間の動きを表す動き情報と、その動き情報の信頼性とに基づいて、撮像部を前記被写体に合焦させる合焦動作を実行するか否かが判定される。このように動き情報とその信頼性を用いて合焦動作の必要性を判断することによって、不要な合焦動作が実行される可能性を低減でき、内視鏡手技下で想定される様々なシーンにおいて適切なフォーカス制御を行うことが可能になる。【０００９】
また本発明の他の態様は、撮像部と被写体の間の動きを表す動き情報を取得する処理を行い、前記動き情報の信頼性である動き情報信頼性を判定する処理を行い、前記撮像部を前記被写体に合焦させる合焦動作を実行するか否かを、前記動き情報と前記動き情報信頼性に基づいて判定する処理を行うフォーカス制御方法に関係する。
【図面の簡単な説明】
【００１０】
【図１】図１は、内視鏡手技の説明図。
【図２】図２は、第１実施形態における内視鏡装置の構成例。
【図３】図３は、第２実施形態における内視鏡装置の構成例。
【図４】図４は、動き情報取得部の詳細な構成例。
【図５】図５は、局所的な動きベクトルの例。
【図６】図６は、動き情報判定部の詳細な構成例。
【図７】図７は、ばらつき判定部が実行する処理のフローチャート。
【図８】図８は、類似ベクトル数カウント処理のフローチャート。
【図９】図９は、明るさ判定部が実行する処理のフローチャート。
【図１０】図１０は、一致度判定部が実行する処理のフローチャート。
【図１１】図１１は、フォーカス制御部の詳細な構成例。
【図１２】図１２は、グローバル動き情報取得部の詳細な構成例。
【図１３】図１３は、画面平行動き量算出部が実行する処理のフローチャート。
【図１４】図１４は、画面垂直動き量算出部が実行する処理のフローチャート。
【図１５】図１５は、その処理の説明図。
【図１６】図１６は、端点座標決定処理のフローチャート。
【図１７】図１７は、座標順序決定処理のフローチャート。
【図１８】図１８は、グローバル動き情報判定部が実行する処理のフローチャート。
【図１９】図１９は、合焦動作制御部が実行する処理のフローチャート。
【図２０】図２０は、合焦動作実行部が実行する処理のフローチャート。
【図２１】図２１は、第３実施形態における内視鏡装置の構成例。
【発明を実施するための形態】
【００１１】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１２】
例えば、以下では本発明の構成やフォーカス制御方法を内視鏡装置の構成や作動方法に適用した場合を例に説明するが、これに限定されず、本発明の構成やフォーカス制御方法を撮像装置（例えばビデオカメラ、顕微鏡、ロボットの視覚用カメラ等）や、そのフォーカス制御装置の構成や作動方法に適用することが可能である。
【００１３】
１．第１実施形態
上述したように、ＡＦ制御の従来手法として例えばコントラスト変化をトリガに用いる第１手法や、モーションセンサの出力が所定量以上になったことをトリガに用いる第２手法がある。これらの従来手法を内視鏡手技に適用した場合を考える。
【００１４】
図１に示すように、内視鏡装置２を用いた手技下では、処置具４（例えば電気メスや鉗子等）を用いて被写体６（生体）に対して処置（例えば病変の切除や縫合等）が行われる。この内視鏡手技に第１手法を適用した場合、画像には被写体６だけでなく処置具４が含まれており、その処置具４はユーザの操作によって動いているため、撮影範囲やピントが変わっていなくてもコントラスト変化が発生する。この処置具４によるコントラスト変化によって不要な合焦動作が実行される可能性があり、処置具４の操作中において安定的なＡＦ制御が困難となる。
【００１５】
また第２手法を適用した場合、手ぶれ等の要因でモーションセンサの出力が瞬間的に所定量以上となる動きが発生した場合、撮影範囲が実質的に変わっていない（又は被写界深度から外れていない）にも関わらず、合焦動作が実行される。このようなユーザの意図しない合焦動作が実行されると、使用感を損なう恐れがある。また、モーションセンサの出力が所定量未満となる動きでは合焦動作が実行されないため、非合焦となっていても合焦動作が実行されない可能性がある。例えば、モーションセンサの出力が所定量未満となる動きが同一方向に継続して発生した場合、その結果として撮影範囲が大きく移動している（又は被写界深度から外れた）にも関わらず、合焦動作が実行されない。
【００１６】
以上のように、従来のＡＦ制御手法では、内視鏡手技下で想定される様々なシーンにおいて、不要な合焦動作が実行されるという課題や、必要な合焦動作が実行されないという課題がある。
【００１７】
図２に、上記のような課題を解決できる本実施形態の内視鏡装置の構成例を示す。内視鏡装置は、撮像部２００と、撮像部２００と被写体の間の動きを表す動き情報を取得する動き情報取得部３４０と、動き情報の信頼性である動き情報信頼性を判定する動き情報判定部３５０と、撮像部２００を被写体に合焦させる合焦動作（ＡＦ動作）を実行するか否かを、動き情報と動き情報信頼性に基づいて判定するフォーカス制御部３６０と、を含む。
【００１８】
このように、動き情報と動き情報信頼性に基づいて合焦動作を実行するか否かを判定することで、内視鏡手技下で想定される様々なシーンにおいて適切なフォーカス制御を行うことが可能になる。
【００１９】
即ち、内視鏡装置の被写体としては例えば生体と処置具を想定できるが、合焦動作が必要となるのは、生体の撮影範囲が移動した場合や、或いは生体や処置具が被写界深度から外れた場合等である。逆に、これらの状況でないときに合焦動作が実行されると一時的にフォーカスが変化して視認性が低下する。例えば、処置を行っている間は撮影範囲を動かさずに処置具を操作しているが、このときにフォーカスが変化すると処置に支障をきたす。本実施形態によれば、動き情報の信頼性を用いることによって、処置具だけが動いている場合やノイズによる動き情報の誤検出等、合焦動作が不要なときには合焦動作が実行されない。
【００２０】
例えば後述する第２実施形態では、画像の明るさ、局所動きベクトルのマッチングの信頼性、画像内での局所動きベクトルのばらつきのうち、少なくとも１つに基づいて、動き情報の信頼性を判定する。
【００２１】
画像のブロックマッチングで動きベクトルを検出する場合、その動き情報の信頼性を判断する要素として、画像そのものの品質、ブロックマッチングでマッチングした箇所が同一被写体であるか（一致度）、検出された動きベクトルが何の動きを表すものであるか、といった要素がある。画像の明るさによる判定は、例えば白飛びや黒つぶれ等、動きベクトルを正確に検出できない低品質な画像を判定することに相当している。ブロックマッチングの信頼性は、例えばブロックマッチングで同一箇所と判断した領域間の類似性から、その領域間の一致度を判定する。類似性が低ければブロックマッチングの信頼性が低いことになる。局所動きベクトルのばらつきは、例えば処置具の動きは背景の生体とは異なる動きをしており、そのような生体（背景）の一様な動きとは異なるランダムな動きを信頼性が低い動きと判断することに相当する。このような信頼性の判定を行うことで、画像の品質やノイズ、動きベクトルを検出できない状況（例えば速い動きでマッチング領域外に移動している場合）に影響されずに、或いは、処置具やノイズ等で生体の一様な動きとは異なる動きベクトルに影響されずに、合焦動作が必要なシーンを判断できる。即ち、生体の撮影範囲が移動した場合や、或いは生体や処置具が被写界深度から外れた場合等、合焦動作が必要なときに合焦動作を実行できる。
【００２２】
ここで、動き情報とは、撮像部２００と被写体の間の相対的な位置の変化（例えばカメラの光軸方向を変えない移動）や相対的な向きの変化（例えばカメラの光軸方向が変わる回転（パン、チルト））に応じて変化する情報である。例えば、画像から動きベクトルを検出する場合、撮像部２００の移動や回転に応じて動きベクトルの大きさや向きが変化する。或いは、モーションセンサを用いた場合、撮像部２００の移動や回転に応じた加速度、角加速度、角速度等が得られる。動き情報は、動きの大きさと向きを表す情報量であり、或いは動きの大きさと向きの一方を表す情報であってもよい。本実施形態では、動き情報は動きの大きさと向きを含むことが望ましい。動き情報が動きの大きさと向きを含むことで、後述するように一定方向への動きを累積することが可能となり、撮像部２００と被写体の間の相対的な移動（即ち、撮影範囲の移動や被写界深度外への移動）を検出できる。
【００２３】
また本実施形態では、フォーカス制御部３６０は、撮像部２００と被写体の間の大局的な動きを表すグローバル動き情報を動き情報と動き情報信頼性に基づいて求め、グローバル動き情報の信頼性であるグローバル動き情報信頼性を動き情報信頼性に基づいて判定し、グローバル動き情報又はグローバル動き情報信頼性の少なくとも一方に基づいて、合焦動作を実行するか否かを判定する。
【００２４】
グローバル動き情報とは、例えば生体の局所的な動き（例えば血管や消化管等の拍動等）や処置具の動きよりも、広い領域での動きを表す情報である。即ち、画像内で全体として見たときの撮像部と生体との間の相対的な動きを表す情報である。例えば、画像のブロックマッチングにより局所動きベクトルを求める場合、そのブロックマッチングに用いるブロックのサイズよりも広い領域での動きが、大局的な動きに相当する。例えば、画像内において信頼性が高い局所動きベクトルの平均値をグローバル動き情報として求める。
【００２５】
このように、撮像部２００と被写体の間の大局的な動きを表すグローバル動き情報に基づいて、合焦動作を実行するか否かを判定することで、局所的な動きの影響を低減でき、生体の大局的な動きがあった場合に合焦動作を行うことができる。
【００２６】
また、グローバル動き情報の信頼性を求めることで、信頼性の高いグローバル動き情報に基づいて合焦動作を実行するか否かを判定することができる。例えば、画像内の局所動きベクトルのうち、信頼性が高い局所動きベクトルの数に基づいて、グローバル動き情報の信頼性を判断する。例えば信頼性が高い局所動きベクトルの数が少ない場合、ノイズや局所的な動きが多い画像と考えられるため、グローバル動き情報が大局的な動きを正確に表すものであるか信頼できなくなる。このような信頼性の低いと考えられるグローバル動き情報を除くことで、生体の大局的な動きに基づいて合焦動作の必要性を判断できる。
【００２７】
また本実施形態では、フォーカス制御部３６０は、グローバル動き情報を複数のフレームで累積処理した累積グローバル動き情報を求め、累積グローバル動き情報又はグローバル動き情報信頼性の少なくとも一方に基づいて、合焦動作を実行するか否かを判定する。
【００２８】
このように累積グローバル動き情報を用いることで内視鏡手技下で想定される様々なシーンにおいて必要性に応じた適切なフォーカス制御を行うことができる。即ち、生体の撮影範囲が大きく移動した場合や、或いは生体や処置具が被写界深度から外れた場合等には、累積グローバル動き情報が大きくなるため、それによって合焦動作が必要であると判断できる。
【００２９】
例えば、同一方向の小さな移動が継続した場合、動き量そのものの閾値判定ではシーン変化を検出することは難しいが、本実施形態では動き量を累積することで大きな動き量として検出し（即ち撮影範囲の移動やピンぼけを検出し）、合焦動作を実行できる。また、瞬間的な大きな動きがあった場合であっても、それ以外の動きが小さければ累積動き量としては小さくなるため（即ち撮影範囲の移動やピンぼけが起きていないと判断できるため）、ユーザが意図しない合焦動作を抑制できる。また、動き量を累積することでランダムな動きが平均化されることが期待できる。例えば、処置具の動きは一定方向の動きが継続するよりもランダムな動きが多いと想定される。そのため、処置具の動き量は累積により小さくなり、生体の撮影範囲に一定方向の動き（撮像部と生体の相対的な一定方向の動き）がある場合には生体の累積動き量が大きくなる。
【００３０】
ここで、複数のフレームとは、グローバル動き情報を累積したフレーム数であり、累積フレーム数は固定に限らず変化する数であってもよい。例えば、ある基準フレーム以後のグローバル動き情報を累積してもよい。この場合、基準フレームから３フレーム目では累積フレーム数は３、１０フレーム目では累積フレーム数は１０となる。或いは、累積フレーム数を所定数として現在フレームから所定数前のフレームまでのグローバル動き情報を累積してもよい。この場合、現在フレームが変わっても累積フレーム数＝所定数である。
【００３１】
累積処理とは、時系列的に求められたグローバル動き情報を順次に加算（又は積分）していく処理である。なお、単純な加算に限らず、例えば何らかの係数によって重み付けして加算する、或いはグローバル動き情報に対して何らかの補正を行って加算する等の、種々の演算を含んでもよい。
【００３２】
また、フォーカス制御とは、フォーカスを調整する合焦動作、フォーカスを動かさない待機状態、それらの間の遷移制御等を含み、撮像部のフォーカスを制御する処理の全体を指す。合焦動作とは、被写体に対してフォーカスを合わせる一連の動作であり、例えばコントラスト法（山登り法）や、ウォブリングにより合焦方向を判定する手法等を用いることができる。
【００３３】
２．第２実施形態
２．１．内視鏡装置
図３に、第２実施形態の内視鏡装置（内視鏡システム）の構成例を示す。内視鏡装置は、体内への挿入部である硬性鏡１００と、硬性鏡１００に接続される撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００と、光源部６００と、を含む。
【００３４】
硬性鏡１００を用いた内視鏡装置は、例えば腹腔鏡手術等の外科手術に用いられる内視鏡装置である。即ち、生体の腹部等に小孔を空けて、その小孔から硬性鏡１００を挿入し、同一の小孔又は別の小孔から処置具を挿入し、硬性鏡１００の視野において処置具による外科的処置を行う。処置具としては、例えばメスや鉗子、縫合用の針・糸、洗浄用の注水・吸水器具等の種々の器具が想定される。なお、本実施形態のフォーカス制御の手法は、硬性鏡１００を用いた内視鏡装置への適用に限定されるものではなく、軟性鏡を用いた内視鏡装置への適用も可能である。
【００３５】
光源部６００は、白色光を発生する白色光源６１０と、白色光源６１０からの出射光を硬性鏡１００に導光するライトガイドケーブル６２０と、を含む。硬性鏡１００は、結像レンズ、リレーレンズ、接眼レンズ等を含んで構成されるレンズ系１１０と、ライトガイドケーブル６２０からの出射光を硬性鏡１００の先端まで導光するライトガイド部１２０と、を含む。撮像部２００は、レンズ系１１０からの光（被写体からの反射光）を結像する対物レンズ系２３０を備える。対物レンズ系２３０は、合焦物体位置を調整するフォーカスレンズ２１０を含んで構成されている。また撮像部２００は、対物レンズ系２３０により結像された反射光を光電変換して画像を生成する撮像素子２４０と、フォーカスレンズ２１０を駆動するフォーカスレンズ駆動部２２０を含む。フォーカスレンズ駆動部２２０は、例えばボイスコイルモーター（ＶＣＭ）である。
【００３６】
なお、合焦物体位置とは、撮像部２００のフォーカスが合っている物体（被写体）の位置である。具体的には、対物レンズ系２３０において像面（又は像側焦点）に対応して合焦物体面（又は物体側焦点）が決まるが、その像面が撮像素子２４０の撮像面に一致する場合の合焦物体面の位置が合焦物体位置である。合焦物体位置は、撮像部２００と合焦物体面との間の相対的な位置であり、例えば撮像部２００の基準点（例えば対物レンズ系２３０の先端や、硬性鏡１００の先端等）から合焦物体面（光学系の物体側においてフォーカスが合っている面）までの距離で表される。合焦物体位置は、例えばフォーカスレンズ２１０の制御情報（位置）と対物レンズ系２３０の光学特性（設計値）から知ることができる。
【００３７】
撮像素子２４０は、複数の画素が２次元配列状に配置された構造で、各画素にはＲＧＢのいずれかのカラーフィルタがベイヤ配列で配置されている。撮像素子２４０は、ベイヤ配列からなるカラーフィルタを有する撮像素子以外にも、例えば補色カラーフィルタを用いた撮像素子や、カラーフィルタを用いずに１つの画素で異なる波長の光を受光可能な積層型の撮像素子、カラーフィルタを用いないモノクロ撮像素子など、被写体を撮像して画像を得られるものであれば、任意の撮像素子を使用できる。
【００３８】
処理部３００は、ＡＤ変換部３１０と、前処理部３２０と、画像処理部３３０と、動き情報取得部３４０と、動き情報判定部３５０と、フォーカス制御部３６０（ＡＦ制御部）と、制御部３７０と、を含む。ＡＤ変換部３１０は、撮像素子２４０から順次出力されるアナログ信号をデジタルの画像に変換して、前処理部３２０に順次出力する。前処理部３２０は、ＡＤ変換部３１０から出力された画像に対して、ホワイトバランス処理、補間処理（デモザイキング処理、ベイヤ画像からＲＧＢ画像を生成する処理）等の画像処理を施し、その画像を画像処理部３３０、動き情報取得部３４０、動き情報判定部３５０、フォーカス制御部３６０に順次出力する。画像処理部３３０は、前処理部３２０から出力された画像に対して色変換処理、階調変換処理、エッジ強調処理、拡縮処理、ノイズリダクション処理等の画像処理を施し、その画像を表示部４００に順次出力する。動き情報取得部３４０は、前処理部３２０から出力された画像に基づいてフレーム間の動き情報を取得し、その動き情報を動き情報判定部３５０、フォーカス制御部３６０に出力する。動き情報取得部３４０の詳細については後述する。動き情報判定部３５０は、動き情報取得部３４０から出力された動き情報に基づいて動き情報の信頼性（以下、動き情報信頼性と呼ぶ）を判定し、その判定結果をフォーカス制御部３６０に出力する。動き情報判定部３５０の詳細については後述する。フォーカス制御部３６０は、動き情報取得部３４０から出力された動き情報および、動き情報判定部３５０から出力された動き情報信頼性に基づいて合焦動作の開始や終了を制御し、合焦動作においては被写体に合焦するようフォーカスレンズ駆動部２２０を駆動させる。フォーカス制御部３６０の詳細については後述する。表示部４００は例えば液晶モニタであり、画像処理部３３０から順次出力される画像を表示する。
【００３９】
制御部３７０は、外部Ｉ／Ｆ部５００や画像処理部３３０、フォーカス制御部３６０、撮像素子２４０などと相互に接続されており、制御信号の入出力を行う。外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースであり、例えばＡＦ領域の位置やサイズを設定するための設定ボタン、画像処理のパラメータを調整するための調整ボタンなどを含んで構成されている。
【００４０】
２．２．動き情報取得部
動き情報取得部３４０の詳細について説明する。動き情報取得部３４０は、前処理部３２０から出力される画像に基づいて、被写体上の局所的な動きを動きベクトルとして算出する。ここで説明の便宜上、動き情報取得部３４０は前処理部３２０から出力される画像のＧ信号のみを処理対象とするが、ＲＧＢ信号から算出した輝度信号を処理対象とする、などの変形は適宜行っても構わない。
【００４１】
図４に、動き情報取得部３４０の詳細な構成例を示す。動き情報取得部３４０は、フレームメモリ３４１と、動きベクトル算出部３４２と、を含む。
【００４２】
フレームメモリ３４１は、前処理部３２０から出力される画像を一時的に記憶するメモリである。フレームメモリ３４１は、前処理部３２０から出力される画像をフレーム遅延し、動きベクトル算出部３４２に出力する。動きベクトル算出部３４２は、前処理部３２０から出力される画像（現在フレームの画像）と、フレームメモリ３４１から出力されるフレーム遅延した画像（過去フレームの画像）との間の動きベクトルを算出する。動きベクトルの基準は現在フレームの画像である。具体的には、図５に示すように、画像ＩＭの中の複数のポイントにおいて局所的な動きベクトルＶＥを求める。動きベクトルの算出は、例えば公知技術であるブロックマッチング法や、勾配法で行う。なお、図５では画像ＩＭ上に等間隔で設定した点での動きベクトルＶＥを算出しているが、動きベクトルの算出手法はこれに限定されない。例えば、画像の全画素で動きベクトルを算出する等の変形は適宜行っても構わない。
【００４３】
２．３．動き情報判定部
動き情報判定部３５０の詳細について説明する。動き情報判定部３５０は、前処理部３２０から出力される画像および、動き情報取得部３４０から出力される動き情報に基づいて、動き情報信頼性を判定する。動き情報信頼性は、動き情報をフォーカス制御に利用可能かを表す。
【００４４】
図６に、動き情報判定部３５０の詳細な構成例を示す。動き情報判定部３５０は、ばらつき判定部３５１と、明るさ判定部３５２と、フレームメモリ３５３と、一致度判定部３５４と、を含む。
【００４５】
ばらつき判定部３５１は、動き情報取得部３４０から出力される動きベクトルに基づいて、各動きベクトルに対して信頼性が“有り”か“無し”かを判定し、その判定結果をフォーカス制御部３６０に出力する。ばらつき判定部３５１の詳細については後述する。明るさ判定部３５２は、前処理部３２０から出力される画像に基づいて、各動きベクトルに対して信頼性が“有り”か“無し”かを判定し、その判定結果をフォーカス制御部３６０に出力する。明るさ判定部３５２の詳細については後述する。フレームメモリ３５３は、前処理部３２０から出力される画像をフレーム遅延し、一致度判定部３５４に出力する。一致度判定部３５４は、前処理部３２０から出力される画像（現在フレームの画像）、フレームメモリ３５３から出力されるフレーム遅延した画像（過去フレームの画像）および、動き情報取得部３４０から出力される動きベクトルに基づいて、各動きベクトルに対して信頼性が“有り”か“無し”かを判定し、その判定結果をフォーカス制御部３６０に出力する。
【００４６】
ばらつき判定部３５１の詳細について説明する。ばらつき判定部３５１は、動き情報取得部３４０から出力される動きベクトルの空間的な類似性に基づいて、動き情報信頼性を判定する。動きベクトルが空間的に類似していれば、動きベクトルがノイズ成分ではなく信号成分により算出されているため、信頼性“有り”と判定する。判定した動き情報信頼性は、フォーカス制御部３６０に出力する。
【００４７】
図７に、ばらつき判定部３５１が実行する処理のフローチャートを示す。ばらつき判定処理では、まず画像内の複数の局所的な動きベクトルの中から１つの動きベクトル（以下、注目動きベクトル）を選択する（Ｓ１）。次に、選択した注目動きベクトルに対して類似ベクトル数カウント処理を行う（Ｓ２、詳細は後述）。次に、類似ベクトル数と所定の閾値を比較する（Ｓ３）。類似ベクトル数が閾値より大きい場合、その注目動きベクトルは周囲の動きベクトルと空間的な類似性があるため、その注目動きベクトルは信頼性“有り”と判定する（Ｓ４）。一方、類似ベクトル数が閾値以下である場合、その注目動きベクトルは信頼性“無し”と判定する（Ｓ５）。次に、以上の判定を画像内の全ての動きベクトルに対して実行したか否かを判定する（Ｓ６）。実行済みの場合は、ばらつき判定処理を終了する。未判定の動きベクトルが残っている場合には、ステップＳ１に戻り、未判定の動きベクトルの中から１つの動きベクトルを選択する。
【００４８】
図８に、類似ベクトル数カウント処理（Ｓ２）のフローチャートを示す。まず、類似ベクトル数を０に初期化する（Ｓ２１）。次に、注目動きベクトルの周辺の動きベクトルの中から、１つの動きベクトルを近傍動きベクトルとして選択する（Ｓ２２）。例えば図５において、１つの動きベクトルに着目した場合、その上下左右に隣接する動きベクトルが、近傍動きベクトルである。ステップＳ２２では、そのうちの１つを選択する。次に、注目動きベクトルと近傍動きベクトルの差分ベクトルを算出する（Ｓ２３）。次に、差分ベクトルの大きさを所定の閾値と比較する（Ｓ２４）。差分ベクトルの大きさが閾値以下である場合、類似ベクトル数をインクリメントする（Ｓ２５）。差分ベクトルの大きさが閾値より大きい場合、類似ベクトル数はそのままである。次に、類似ベクトルの判定が、全ての近傍動きベクトルに対して実行されたか否かを判定する（Ｓ２６）。実行済みの場合、類似ベクトル数カウント処理を終了する。未判定の近傍動きベクトルがある場合には、ステップＳ２２に戻り、未判定の近傍動きベクトルの中から１つの近傍動きベクトルを選択する。
【００４９】
明るさ判定部３５２の詳細について説明する。明るさ判定部３５２は、前処理部３２０から出力される画像の局所的な明るさに基づいて、動き情報信頼性を判定する。局所的な明るさが第１閾値より大きい（画素値が飽和している、画像が「白飛び」になっている）場合には、信頼性“無し”と判定する。また、局所的な明るさが第２閾値以下である（画像が「黒つぶれ」になっている）場合、信頼性“無し”と判定する。局所的な明るさが第１閾値以下であり、且つ、第２閾値より大きい場合、信頼性“有り”と判定する。判定した動き情報信頼性は、フォーカス制御部３６０に出力する。
【００５０】
図９に、明るさ判定部３５２が実行する処理のフローチャートを示す。明るさ判定処理では、まず注目動きベクトルを選択する（Ｓ４１）。次に、現在フレームの画像から、注目動きベクトルの始点を中心に所定範囲の画像を局所領域画像として抽出する（Ｓ４２）。所定範囲は、例えば注目動きベクトルを求めるブロックマッチングに用いたブロック領域であるが、任意である。次に、抽出した局所領域画像における明るさの平均値を算出する（Ｓ４３）。例えば、局所領域画像のＧ信号値を加算平均して、平均値ＭＥＡＮを算出する。次に、算出した平均値ＭＥＡＮを第１閾値ＴＨ１及び第２閾値ＴＨ２（ＴＨ１＞ＴＨ２）と比較する（Ｓ４４）。第１閾値は、白飛び画像に対応する値であり、第２閾値は、黒つぶれ画像に対応する値である。下式（１）の条件を満足する場合、信頼性“有り”と判定する（Ｓ４５）。下式（１）の条件を満足しない場合、信頼性“無し”と判定する（Ｓ４６）。
【数１】
2016199264.tif 000003
【００５１】
次に、以上の判定を画像内の全ての動きベクトルに対して実行されたか否かを判定する（Ｓ４７）。実行済みの場合、明るさ判定処理を終了する。未判定の動きベクトルがある場合には、ステップＳ４１に戻り、未判定の動きベクトルの中から１つの動きベクトルを選択する。
【００５２】
一致度判定部３５４の詳細について説明する。一致度判定部３５４は、前処理部３２０から出力される画像（現在フレーム）と、フレームメモリ３５３から出力されるフレーム遅延した画像（過去フレーム）との、局所的な相関（一致度）に基づいて、動き情報信頼性を判定する。一致度が低い場合、２つの画像の局所的な位置合わせ（動きベクトル検出）が失敗しているため、信頼性“無し”と判定する。一致度が高い場合、信頼性“有り”と判定する。動き情報取得部３４０から出力される動き情報は、局所的な位置合わせの結果なので、その動き情報によって対応付けられる２つの画像の局所領域の間の相関に基づいて、局所的な位置合わせが信頼できるか否かを判断する。判定した動き情報信頼性は、フォーカス制御部３６０に出力する。
【００５３】
図１０に、一致度判定部３５４が実行する処理のフローチャートを示す。一致度判定処理では、まず注目動きベクトルを選択する（Ｓ６１）。次に、現在フレームの画像から、注目動きベクトルの始点を中心に所定範囲の画像を局所領域画像として抽出する（Ｓ６２）。所定範囲は、例えば注目動きベクトルを求めるブロックマッチングに用いたブロック領域であるが、任意である。次に、過去フレームの画像から、注目動きベクトルの終点を中心に所定範囲の画像を局所領域画像として抽出する（Ｓ６３）。所定範囲は、ステップＳ６２での所定範囲と同じサイズである。次に、抽出した現在フレームの局所領域画像ＣＵＲＲと過去フレームの局所領域画像ＰＲＥＶとの領域間差分ＳＵＢを下式（２）のように算出する（Ｓ６４）。
【数２】
2016199264.tif 000004
【００５４】
ここで、Ｉ、Ｊは、現在フレームの局所領域画像及び過去フレームの局所領域画像の水平画素数、垂直画素数である。
【００５５】
次に、算出した領域間差分と閾値とを比較する（Ｓ６５）。領域間差分が閾値以下である場合、信頼性“有り”と判定する（Ｓ６６）。領域間差分が閾値より大きい場合、信頼性“無し”と判定する（Ｓ６７）。次に、以上の判定を画像内の全ての動きベクトルに対して実行されたか否かを判定する（Ｓ６８）。実行済みの場合、一致度判定処理を終了する。未判定の動きベクトルがある場合には、ステップＳ６１に戻り、未判定の動きベクトルの中から１つの動きベクトルを選択する。
【００５６】
本実施形態では、動き情報判定部３５０は、上記３つの判定結果の論理積（信頼性“有り”が真、信頼性“無し”が偽）を動き情報信頼性としてフォーカス制御部３６０に出力する。例えば、信頼性“有り”をビット“１”で表し、信頼性“無し”をビット“０”で表す。この場合、３つの判定のうち１つでも信頼性“無し”であれば論理積は“０”となり、信頼性“無し”の判定結果がフォーカス制御部３６０に出力される。上述したように、画像内の複数のポイントで局所的な動きベクトルが求められており（例えば図５）、その各動きベクトルに対して信頼性の“有り”／“無し”が判定される。即ち、動き情報信頼性は、各動きベクトルに対して信頼性の“有り”／“無し”の判定結果が対応付けられた情報である。
【００５７】
なお、以上では３つの判定結果の論理積を動き情報信頼性とする場合を例に説明したが、これに限定されない。例えば、１つの判定結果を動き情報信頼性としてもよいし、或いは、いずれか２つの判定結果の論理積を動き情報信頼性としてもよいし、或いは、他の判定を行って、その判定結果を組み合わせてもよい。
【００５８】
以上のように、動き情報取得部３４０は、撮像部２００により被写体が撮像された撮像画像に基づいて、複数の局所動き量（例えば動きベクトルＶＥ）を動き情報として求める。動き情報判定部３５０は、複数の局所動き量の各局所動き量について動き情報信頼性（例えば信頼性“有り”か“無し”か）を判定する。
【００５９】
このように動き情報の信頼性を判定することによって、処置具だけが動いている場合やノイズによる動き情報の誤検出等を、信頼性が低い動き情報として判定することが可能になる。即ち、そのような信頼性が低い動き情報の影響を低減して、生体の撮影範囲が移動した場合や生体や処置具が被写界深度から外れた場合等のＡＦが必要なシーン変化において合焦動作を実行できる。
【００６０】
また本実施形態では、動き情報判定部３５０は、各局所動き量と周囲の局所動き量との相関に基づいて動き情報信頼性を判定する。
【００６１】
各局所動き量と周囲の局所動き量との相関とは、局所動き量の大きさや方向の相関（類似性）である。即ち、大きさが近い、或いは方向が近いものが相関が高いということである。例えば本実施形態では、動きベクトルと、その周囲の動きベクトルとの差分ベクトルの大きさが、閾値以下である場合に、相関が高い（即ち信頼性“有り”）と判断している。
【００６２】
周囲の局所動き量との相関が高いということは、その位置の被写体は周囲と同じような大きさと方向の動きをしているということであり、処置具等のランダムな動きやノイズ等ではないと判断できる。このような生体（背景）の動きを表すと考えられる局所動き量を信頼性が高いと判断することで、ＡＦが必要なシーン変化を正しく検出できる。
【００６３】
また本実施形態では、動き情報判定部３５０は、各局所動き量に対応する領域での撮像画像の明るさ（例えば輝度の平均値、或いはＧ画素値の平均値）に基づいて動き情報信頼性を判定する。
【００６４】
各局所動き量に対応する領域での撮像画像の明るさとは、局所動き量が表す動きが発生している領域の画像の明るさ、或いは、局所動き量を求める処理で処理対象となった領域（例えばブロックマッチングのブロック領域）の画像の明るさである。
【００６５】
本実施形態では、各局所動き量に対応する領域での撮像画像の明るさと閾値を比較することで、信頼性を判定する。これにより、動き量を正確に検出できないと予想される領域の局所動き量を信頼性が低いと判断できる。例えば白飛びや黒つぶれを閾値判定することで、エッジ成分がつぶれてマッチングが難しい領域の動きベクトルを信頼性が低いと判断できる。
【００６６】
また本実施形態では、各局所動き量は、動きベクトルである。動き情報判定部３５０は、動きベクトルの始点に対応する１画素以上の画素値と、動きベクトルの終点に対応する１画素以上の画素値との相関に基づいて動き情報信頼性を判定する。
【００６７】
例えば本実施形態では、現在フレームの画像において動きベクトルの始点に対応するブロック領域と、過去フレームの画像において動きベクトルの終点に対応するブロック領域との相関に基づいて、信頼性を判定する。これらのブロック領域は、ブロックマッチングにおいて一致する（被写体の同一領域である）と判断された領域である。但し、これに限定されず、領域の大きさは１画素を含めて任意である。画素値の相関とは、その画素値の間の類似度を表すものであり、例えば種々の相関係数（例えばＳＡＤ、ＳＳＤ等）を用いることができる。
【００６８】
このように、動きベクトルの始点、終点に対応する１画素以上の画素値の間の相関を用いることで、マッチング処理の信頼性を判断できる。即ち、マッチング処理では探索範囲内で類似度が最も高い位置を探しているだけであり、その位置が同一被写体を写しているとは限らない（たまたま似た領域かもしれない）。本実施形態では、このようなマッチング処理の信頼性が低い場合の動きベクトルを信頼性が低いものと判断できる。
【００６９】
２．４．フォーカス制御部
フォーカス制御部３６０の詳細について説明する。フォーカス制御部３６０は、動き情報取得部３４０から出力される動き情報および、動き情報判定部３５０から出力される動き情報信頼性に基づいて、合焦動作を実行する（待機状態から合焦動作に移行する）か否かを制御する。合焦動作の詳細は後述する。
【００７０】
図１１に、フォーカス制御部３６０の詳細な構成例を示す。フォーカス制御部３６０は、グローバル動き情報取得部３６１と、グローバル動き情報判定部３６２と、合焦動作制御部３６３と、合焦動作実行部３６４と、を含む。
【００７１】
グローバル動き情報取得部３６１は、動き情報取得部３４０から出力される動き情報および、動き情報判定部３５０から出力される動き情報信頼性に基づいて、グローバル動き情報を取得する。グローバル動き情報は、画像の全体における被写体の動きを表す（局所領域での動きを表す動きベクトルよりも、大局的な領域での動きを表す）情報である。取得したグローバル動き情報は、グローバル動き情報判定部３６２および、合焦動作制御部３６３に出力する。グローバル動き情報取得部３６１の詳細は後述する。
【００７２】
グローバル動き情報判定部３６２は、動き情報判定部３５０から出力される動き情報信頼性および、グローバル動き情報取得部３６１から出力されるグローバル動き情報に基づいて、グローバル動き情報が利用可能か否かを示すグローバル動き情報信頼性を判定する。判定したグローバル動き情報信頼性は、合焦動作制御部３６３に出力する。グローバル動き情報判定部３６２の詳細は後述する。
【００７３】
合焦動作制御部３６３は、グローバル動き情報取得部３６１から出力されるグローバル動き情報および、グローバル動き情報判定部３６２から出力されるグローバル動き情報信頼性に基づいて、合焦制御信号を生成する。合焦制御信号は、合焦動作を実行するか否かを制御する信号であり、“ＯＮ（例えばハイレベル）”が“合焦動作を実行する（待機状態から合焦動作に移行する）”を表し、“ＯＦＦ（例えばローレベル）”が“合焦動作を実行しない（待機状態に留まる）”を表す。生成した合焦制御信号は、合焦動作実行部３６４に出力する。合焦動作制御部３６３の詳細は後述する。
【００７４】
合焦動作実行部３６４は、合焦動作制御部３６３から出力される合焦制御信号が“ＯＮ”である場合、前処理部３２０から出力される画像に基づいて合焦動作を実行する。合焦動作実行部３６４は、フォーカスレンズ駆動部２２０に接続されており、これを制御して合焦動作を実行する。合焦動作が完了した後（ＡＦにより被写体に合焦したと判断された後）は、合焦制御信号を“ＯＦＦ”にする。合焦動作実行部３６４の詳細は後述する。
【００７５】
２．５．グローバル動き情報取得部
グローバル動き情報取得部３６１の詳細について説明する。グローバル動き情報には、画面に対して平行な成分（水平成分および垂直成分があり、以下では、併せて画面平行動き量と呼ぶ）および、画面に対して垂直な成分（以下では、画面垂直動き量と呼ぶ）がある。
【００７６】
ここで、画面平行動き量とは、撮像素子２４０のセンサ面に平行な方向における動きを表す動き量（即ち、対物レンズ系２３０の光軸に垂直な方向における動きを表す動き量）である。このような動きは、スコープの回転（光軸に平行でない方向を軸とする回転）、又は、スコープの平行移動（光軸に平行でない方向への平行移動）によって発生する。即ち、画面平行動き量は、スコープの移動によって被写体の撮影領域が移動することに伴う動き量である。
【００７７】
また、画面垂直動き量とは、撮像素子２４０のセンサ面に垂直な方向における動きを表す動き量（即ち、対物レンズ系２３０の光軸に平行な方向における動きを表す動き量）である。このような動きは、スコープの平行移動（光軸に平行な方向への平行移動）によって発生する。即ち、画面平行動き量は、スコープの移動によって被写体の撮影領域が拡大又は縮小することに伴う動き量である。なお、通常は画面平行動き量と画面垂直動き量が混在する。
【００７８】
図１２に、グローバル動き情報取得部３６１の詳細な構成例を示す。グローバル動き情報取得部３６１は、画面平行動き量算出部７１０と、画面垂直動き量算出部７２０と、を含む。
【００７９】
画面平行動き量算出部７１０は、動き情報取得部３４０から出力される動き情報および、動き情報判定部３５０から出力される動き情報信頼性に基づいて、画面平行動き量を算出する。算出した画面平行動き量は、合焦動作制御部３６３に出力する。画面垂直動き量算出部７２０は、動き情報取得部３４０から出力される動き情報および、動き情報判定部３５０から出力される動き情報信頼性に基づいて、画面垂直動き量を算出する。算出した画面垂直動き量は、合焦動作制御部３６３に出力する。
【００８０】
画面平行動き量算出部７１０は、動き情報取得部３４０から出力される動き情報の内、動き情報判定部３５０から出力される動き情報信頼性が信頼性“有り”であるものに基づいて画面平行動き量を算出する。
【００８１】
図１３に、画面平行動き量算出部７１０が実行する処理のフローチャートを示す。画面平行動き量算出部７１０は、まず画面平行動き量の総和を０ベクトルに初期化する（Ｓ８１）。次に、有効ベクトル数を０に初期化する（Ｓ８２）。次に、注目動きベクトルを選択する（Ｓ８３）。次に、選択した注目動きベクトルの動き情報信頼性が、信頼性“有り”であるか信頼性“無し”であるかを判定する（Ｓ８４）。信頼性“有り”の場合、注目動きベクトルを画面平行動き量の総和に加算し（Ｓ８５）、有効動きベクトル数をインクリメントする（Ｓ８６）。一方、信頼性“無し”の場合、ステップＳ８５及びステップＳ８６を実行しない。次に、以上の処理を画像内の全ての動きベクトルに対して実行されたか否かを判定する（Ｓ８７）。実行済みの場合、画面平行動き量の総和を有効動きベクトル数で除算して、画面平行動き量を算出し（Ｓ８８）、処理を終了する。未判定の動きベクトルがある場合には、ステップＳ８３に戻り、未処理の動きベクトルの中から１つの動きベクトルを選択する。
【００８２】
画面垂直動き量算出部７２０は、動き情報取得部３４０から出力される動き情報の内、動き情報判定部３５０から出力される動き情報信頼性が信頼性“有り”であるものに基づいて画面垂直動き量を算出する。カメラを被写体に近づけると、画像上では被写体が拡大されることになる。反対にカメラを被写体から遠ざけると、画像上では被写体が縮小されることになる。これらの動きを、動きベクトルの始点で構成される領域（現フレームの被写体に対応、以下、現被写体領域と呼ぶ）と、動きベクトルの終点で構成される領域（過去フレームの被写体に対応、以下、過去被写体領域と呼ぶ）との、面積変化から算出する。現被写体領域および過去被写体領域は、多角形であり、その頂点は動きベクトル始点の一部もしくは動きベクトル終点の一部とする。
【００８３】
図１４に、画面垂直動き量算出部７２０が実行する処理のフローチャートを示す。また、図１５に、その処理の説明図を示す。ハッチングされた矢印は信頼性“有り”と判定された動きベクトルＶＥを表し、白抜きの矢印は信頼性“無し”と判定された動きベクトルＶＥを表す。
【００８４】
画面垂直動き量算出部７２０は、まず、現被写体領域ＡＣの頂点を構成する端点座標を決定する（Ｓ１０１）。端点座標は、画像ＩＭにおいて信頼性“有り”と判定された動きベクトルＶＥの始点の座標である。端点座標決定処理Ｓ１０１の詳細は後述する。次に、端点座標に対して時計回りになるように、その順序を決定する（Ｓ１０２）。図１５では、動きベクトルＶＥの始点付近に示す数字が順序を表している。座標順序決定処理Ｓ１０２の詳細は後述する。端点座標（動きベクトルの始点）と、これに対応する動きベクトルの終点及び順序に基づいて、現被写体領域ＡＣの面積と過去被写体領域ＡＰの面積との比（現被写体領域ＡＣの面積／過去被写体領域ＡＰの面積）を算出する（Ｓ１０３）。面積比算出処理Ｓ１０３の詳細は後述する。次に、面積比の対数を算出し、画面垂直動き量とする（Ｓ１０４）。カメラを被写体に近づける場合、現被写体領域ＡＣの面積＞過去被写体領域ＡＰの面積となるため、面積比＞１となり、画面垂直動き量は正の値となる。一方、図１５の例のように、カメラを被写体から遠ざける場合、現被写体領域ＡＣの面積＜過去被写体領域ＡＰの面積となるため、面積比＜１となり、画面垂直動き量は負の値となる。
【００８５】
端点座標決定処理Ｓ１０１の詳細を説明する。この処理では、動きベクトルＶＥの内、動き情報判定部３５０から出力される動き情報信頼性が信頼性“有り”である動きベクトルＶＥの始点の座標から、現被写体領域ＡＣの頂点を構成する複数の点の座標を決定する。
【００８６】
図１６に、端点座標決定処理Ｓ１０１のフローチャートを示す。まず、上端、下端、左端、右端の端点座標を初期化する（Ｓ１２１）。初期化座標は、上端点座標は画像の最下端座標、下端点座標は画像の最上端座標、左点端座標は画像の最右端座標、右点端座標は画像の最左端座標、である。次に、注目動きベクトルを選択する（Ｓ１２２）。次に、注目動きベクトルの信頼性を判定する（Ｓ１２３）。信頼性“有り”の場合、注目動きベクトルの始点座標が端点座標か否かを判定する（Ｓ１２４）。例えば、変数として保持される上端点座標の現在の値よりも、始点座標が上であるか否かを判定する。始点座標が上端点座標よりも上である場合、その始点座標は上端点座標であると判定し、上端点座標を更新する（Ｓ１２５）。このような判定と更新を下端点座標、左端点座標、右端点座標についても行う。一方、ステップＳ１２４において信頼性“無し”と判定された場合、ステップＳ１２４及びステップＳ１２５を行わない。次に、以上の処理を画像内の全ての動きベクトルに対して実行されたか否かを判定する（Ｓ１２６）。実行済みの場合、処理を終了する。未処理の動きベクトルがある場合には、ステップＳ１２２に戻り、未処理の動きベクトルの中から１つの動きベクトルを選択する。
【００８７】
座標順序決定処理Ｓ１０２の詳細を説明する。この処理では、端点座標決定処理Ｓ１０１で決定した上下左右の端点座標に基づいて、現被写体領域ＡＣの頂点の順番を決定する。
【００８８】
図１７に、座標順序決定処理Ｓ１０２のフローチャートを示す。まず、信頼性“有り”と判定された動きベクトルＶＥの始点のうち、上端点と上下方向（例えば、垂直走査方向）の座標が同じ始点を選択する。選択された始点が複数ある場合には、それらを頂点として決定し、左から右に順番を付ける。選択された始点が１点である場合、その点を頂点として決定し、番号を付ける（Ｓ１４１）。次に、信頼性“有り”と判定された動きベクトルＶＥの始点のうち、右端点と左右方向（例えば水平走査方向）の座標が同じ始点を選択する。選択された始点が複数ある場合には、それらを頂点として決定し、上から下に順番を付ける。選択された始点が１点である場合、その点を頂点として決定し、番号を付ける（Ｓ１４２）。順番はステップＳ１４１で決定した順番に続くものとする。次に、信頼性“有り”と判定された動きベクトルＶＥの始点のうち、下端点と上下方向の座標が同じ始点を選択する。選択された始点が複数ある場合には、それらを頂点として決定し、右から左に順番を付ける。選択された始点が１点である場合、その点を頂点として決定し、番号を付ける（Ｓ１４３）。順番はステップＳ１４２で決定した順番に続くものとする。次に、信頼性“有り”と判定された動きベクトルＶＥの始点のうち、左端点と左右方向の座標が同じ始点を選択する。選択された始点が複数ある場合には、それらを頂点として決定し、下から上に順番を付ける。選択された始点が１点である場合、その点を頂点として決定し、番号を付ける（Ｓ１４４）。順番はステップＳ１４３で決定した順番に続くものとする。
【００８９】
面積比算出処理Ｓ１０３の詳細を説明する。この処理では、座標順序決定処理Ｓ１０２で決定した順序に基づいて、端点座標決定処理Ｓ１０１で決定した動きベクトルの始点で構成される多角形（現被写体領域ＡＣ）と、その始点に対応する動きベクトルの終点で構成される多角形（過去被写体領域ＡＰ）との面積比Ｓ＿ｒａｔｅを算出する。具体的には、下式（３）〜（５）により算出する。
【数３】
2016199264.tif 000005
【数４】
2016199264.tif 000006
【数５】
2016199264.tif 000007
【００９０】
ここで、Ｓ＿ｃｕｒｒは現被写体領域ＡＣの面積である。Ｓ＿ｐｒｅｖは過去被写体領域ＡＰの面積である。（ｘ＿ｃｕｒｒｉ，ｙ＿ｃｕｒｒｉ）は、端点座標決定処理Ｓ１０１で決定した、現被写体領域ＡＣの頂点座標（動きベクトルの始点）である。添字のｉは座標順序決定処理Ｓ１０２で決定した座標の順序を意味する。ｉは０≦ｉ≦Ｎの整数であるが、現被写体領域ＡＣは多角形なのでｉ＝０とｉ＝Ｎは同じ頂点を意味することに注意されたい。（ｘ＿ｐｒｅｖｉ，ｙ＿ｐｒｅｖｉ）は、過去被写体領域ＡＰの頂点座標（動きベクトルの終点）である。順序は現被写体領域ＡＣと同様であり、（ｘ＿ｃｕｒｒｉ，ｙ＿ｃｕｒｒｉ）と（ｘ＿ｐｒｅｖｉ，ｙ＿ｐｒｅｖｉ）は、１つの動きベクトルの始点と終点に対応する。
【００９１】
以上のように、信頼性“有り”と判定された動きベクトルに基づいてグローバル動き情報（画面平行動き量、画面垂直動き量）を取得することで、ノイズや局所的な動きに対してロバストに（即ち、ノイズや局所的な動きの影響を抑制しつつ）画面全体の動きを取得することができる。被写体の局所的な動きとしては、例えば医療用内視鏡の場合、拍動や、処置具の動き等が想定される。
【００９２】
なお、画面垂直動き量算出部７２０は、以下のような変形例の処理で画面垂直動き量を求めてもよい。
【００９３】
即ち、画面垂直動き量算出部７２０は、信頼性“有り”と判定された動きベクトルの、始点座標と終点座標との座標変換パラメータから画面垂直動き量を算出する（下式（６））。ここでは、座標変換としてヘルマート変換を利用する。ヘルマート変換により、ある座標が別の座標に座標変換される。
【数６】
2016199264.tif 000008
【００９４】
ここで、（ｘ，ｙ）は変換前の座標である。（Ｘ，Ｙ）は変換後の座標である。ａ、ｂ、ｃ、ｄはヘルマート変換係数である。信頼性“有り”と判定された動きベクトルの全てについて、終点座標を変換前の座標（ｘ，ｙ）とし、始点座標を変換後の座標（Ｘ，Ｙ）とした場合に、それらのヘルマート変換による誤差が最小となるヘルマート変換係数を公知の最小二乗法で算出する。算出したヘルマート変換係数ａ、ｂは、座標の倍率変化、座標の回転に関する係数である。この倍率変化Ｄ＿ｃｈａｎｇｅは下式（７）のように算出できる。
【数７】
2016199264.tif 000009
【００９５】
倍率変化Ｄ＿ｃｈａｎｇｅは、上式（３）で説明した面積比Ｓ＿ｒａｔｅと対応しており、同様に倍率変化Ｄ＿ｃｈａｎｇｅの対数を画面垂直動き量とする。カメラを被写体に近づける場合、倍率変化≧１．０であるため、画面垂直動き量は正の値となる。反対にカメラを被写体から遠ざける場合、倍率変化＜１．０であるため、画面垂直動き量は負の値となる。
【００９６】
２．６．グローバル動き情報判定部
グローバル動き情報判定部３６２の詳細について説明する。図１８に、グローバル動き情報判定部３６２が実行する処理のフローチャートを示す。まず、有効動きベクトル数を０に初期化する（Ｓ１６１）。次に、注目動きベクトルを選択する（Ｓ１６２）。次に、選択した注目動きベクトルについて、動き情報判定部３５０から出力される動き情報信頼性が“有り”か“無し”かを判定する（Ｓ１６３）。信頼性“有り”の場合、有効動きベクトル数をインクリメントする（Ｓ１６４）。一方、信頼性“無し”の場合、ステップＳ１６５に進む。次に、ステップＳ１６２〜Ｓ１６４を画像内の全ての動きベクトルに対して実行したか否かを判定する（Ｓ１６５）。実行済みの場合、ステップＳ１６６に進む。未処理の動きベクトルがある場合には、ステップＳ１６２に戻り、未処理の動きベクトルの中から１つの動きベクトルを選択する。ステップＳ１６６では、有効動きベクトル数と閾値とを比較する（Ｓ１６６）。有効動きベクトル数が閾値より大きい場合、グローバル動き情報が信頼性“有り”であると判定する（Ｓ１６７）。一方、有効動きベクトル数が閾値以下である場合、グローバル動き情報が信頼性“無し”であると判定する（Ｓ１６８）。
【００９７】
２．７．合焦動作制御部
合焦動作制御部３６３の詳細について説明する。図１９に、合焦動作制御部３６３が実行する処理のフローチャートを示す。まず、合焦制御信号が“ＯＮ”か“ＯＦＦ”かを判定する（Ｓ１８１）。合焦制御信号が“ＯＮ”の場合、合焦動作制御処理を終了する。合焦制御信号が“ＯＦＦ”の場合、初期化フラグが“ＯＮ”か“ＯＦＦ”かを判定する（Ｓ１８２）。初期化フラグが“ＯＮ”の場合、累積グローバル動き情報を０ベクトルに初期化し（Ｓ１８３）、累積低信頼シーン数を０に初期化し（Ｓ１８４）、初期化フラグを“ＯＦＦ”にし（Ｓ１８５）、ステップＳ１８６に進む。一方、ステップＳ１８２において、初期化フラグが“ＯＦＦ”の場合、ステップＳ１８６に進む。ステップＳ１８６では、グローバル動き情報判定部３６２から出力されるグローバル動き情報信頼性が“有り”か“無し”かを判定する（Ｓ１８６）。信頼性“有り”の場合、ステップＳ１８９に進む。一方、信頼性“無し”の場合、累積低信頼シーン数をインクリメントし（Ｓ１８７）、グローバル動き情報を更新し（Ｓ１８８）、ステップＳ１８９に進む。ステップＳ１８８については後述する。ステップＳ１８９では、グローバル動き情報を閾値と比較する。グローバル動き情報が閾値より大きい場合、グローバル動き情報を累積グローバル動き情報に加算（累積）し（Ｓ１９０）、ステップＳ１９１に進む。一方、グローバル動き情報が閾値以下である場合、ステップＳ１９１に進む。
【００９８】
ステップＳ１９１では、累積グローバル動き情報を閾値と比較する。累積グローバル動き情報が閾値より大きい場合、ステップＳ１９３に進む。一方、累積グローバル動き情報が閾値以下である場合、累積低信頼シーン数を閾値と比較する（Ｓ１９２）。累積低信頼性シーン数が閾値より大きい場合、ステップＳ１９３に進む。一方、累積低信頼性シーン数が閾値以下である場合、合焦動作制御処理を終了する。ステップＳ１９３では、初期化フラグを“ＯＮ”にする。次に、合焦制御信号を“ＯＮ”にする（Ｓ１９４）。
【００９９】
ステップＳ１８８におけるグローバル動き情報の更新では、直前のフレーム（広義には、現在のフレームよりも前のフレーム）のグローバル動き情報を、現在のフレームのグローバル動き情報としてコピーする。このとき、直前のフレームのグローバル動き情報信頼性が信頼性“有り”の場合にはコピーし、信頼性“無し”の場合にはコピーしない。
【０１００】
このように検出可能であった（信頼性“有り”だった）直前の動き情報を利用することで、動きに基づく合焦動作制御を安定的に行うことができる。
【０１０１】
なお、単純に直前フレームのグローバル動き情報をコピーするのではなく、画面平行動き量および画面垂直動き量の符号のみをコピーし、それらの絶対値を固定パラメータとしても構わない。このようにすることで、直前フレームのグローバル動き情報を保存する必要がなくなり、コストを低減できる。
【０１０２】
またステップＳ１８９における比較により、手振れ等による微細なグローバル動き情報をノイズとして除去することができるため、より安定的に合焦動作制御を行うことができる。
【０１０３】
またステップＳ１９１では、ステップＳ１８６においてグローバル動き情報信頼性が信頼性“有り”と判定されたグローバル動き情報を累積した累積グローバル動き情報を、閾値と比較する。これが閾値より大きければ合焦動作が必要であると判定して合焦制御信号を“ＯＮ”にする。このように信頼性“有り”のグローバル動き情報に基づいて合焦動作を制御することで、制御の信頼性を高めることができる。
【０１０４】
２．８．合焦動作実行部
合焦動作実行部３６４の詳細について説明する。合焦動作実行部３６４は、合焦制御信号が“ＯＮ”の場合、前処理部３２０から出力される画像に基づいて、画像出力タイミングと同期するようにフォーカスレンズ２１０を駆動させて、合焦動作を実行する。
【０１０５】
図２０に、合焦動作実行部３６４が実行する処理のフローチャートを示す。まず、合焦制御信号が“ＯＮ”か“ＯＦＦ”かを判定する（Ｓ２０１）。合焦制御信号が“ＯＮ”の場合、ステップＳ２０２に進む。合焦制御信号が“ＯＦＦ”の場合、合焦動作実行処理を終了する。ステップＳ２０２では、前処理部３２０から出力される画像に基づいて、例えば公知の手法等で合焦方向（次の画像出力タイミングでフォーカスレンズ２１０を駆動させる方向）を判別する。次に、決定した合焦方向に基づいて、ウォブリング中心位置を変更し（Ｓ２０３）、その中心位置でウォブリング動作を行う。具体的には、Ｓ２０３で決定される合焦方向は、合焦物体位置が撮像部２００に近い至近側となる方向か、撮像部２００から遠い無限遠側となる方向のいずれかである。次に、合焦が完了した（被写体にピントが合ったか）か否かを例えば公知の手法等で判定する（Ｓ２０４）。合焦が完了している場合、合焦制御信号を“ＯＮ”から“ＯＦＦ”に切り換えて（Ｓ２０５）、合焦動作実行処理を終了する。合焦が完了していない場合、合焦動作実行処理を終了する。
【０１０６】
ステップＳ２０４で合焦が完了したと判定されて、合焦制御信号が“ＯＦＦ”になった場合、ＡＦを行わない待機状態となり、図１９のフローでステップＳ１８２以降が実行される。ステップＳ１９１で累積グローバル動き情報が閾値以下と判断され、且つ、ステップＳ１９２で累積低信頼性シーン数が閾値以下と判断された場合、合焦制御信号が“ＯＦＦ”のままとなり、待機状態が維持され、ステップＳ１８２以降が再び実行される。一方、ステップＳ１９１で累積グローバル動き情報が閾値より大きいと判断され、又は、ステップＳ１９２で累積低信頼性シーン数が閾値より大きいと判断された場合、ステップＳ１９４で合焦制御信号が“ＯＮ”になり、図２０のステップＳ２０２以降が実行される。このステップＳ２０２以降の処理は、ステップＳ２０４で合焦が完了したと判定され、ステップＳ２０５で合焦制御信号が“ＯＦＦ”になるまで繰り返される。このようにして、合焦動作と待機状態とを行き来する。
【０１０７】
以上のように、フォーカス制御部３６０は、撮像部２００と被写体の間の大局的な動きを表すグローバル動き情報（例えば、図１３、図１４のフローで求めた画面平行動き量、画面垂直動き量、面積比の対数）を複数のフレームで累積処理した累積グローバル動き情報を、動き情報と動き情報信頼性に基づいて求める（図１９のＳ１８６〜Ｓ１９０）。そして、累積グローバル動き情報が累積グローバル動き情報の閾値よりも大きいと判定した場合に、合焦動作を実行する（図１９のＳ１９１〜Ｓ１９４）。
【０１０８】
このように、複数フレーム累積したグローバル動き量が所定量を超えた場合に合焦動作を実行することで、緩慢な動きであっても累積して大きな移動量となった場合には合焦動作を実行し、ユーザの意図しない瞬間的な動きに対しては合焦動作を実行しない、ＡＦ制御が実現できる。
【０１０９】
ここで、累積グローバル動き情報の閾値とは、累積グローバル動き情報が表す撮像部２００と被写体の間の相対的な移動を検出するための閾値である。即ち、グローバル動き情報は例えばフレーム間の動き量であり、それを累積（例えば加算、積分）したのが累積グローバル動き情報である。そのため、累積グローバル動き情報はグローバル動き情報よりも長い間隔での動き（即ち複数フレームの間での移動量）を表している。例えば、グローバル動き情報は動きの速度に対応し、それを積分した移動量（距離や方向）が累積グローバル動き情報に対応する。この累積グローバル動き情報に対して閾値判定を行うことで、移動量を判定できる。例えば、閾値として、画像サイズの１／３或いは１／２に相当する値を採用できる。この場合、被写体が画像上で画像サイズの１／３或いは１／２動いた場合（即ち、撮影範囲が移動した場合）に合焦動作が実行される。或いは、閾値として、被写界深度に相当する値を採用できる。この場合、被写体が被写界深度から外れた場合に合焦動作が実行される。
【０１１０】
また本実施形態では、フォーカス制御部３６０は、グローバル動き情報の信頼性であるグローバル動き情報信頼性を動き情報信頼性に基づいて判定し、グローバル動き情報信頼性が低信頼（例えば信頼性“無し”）であると判定したフレームでは、グローバル動き情報の累積処理を行わない（図１９のＳ１８６からＳ１８７、Ｓ１８８への分岐）。
【０１１１】
例えば、本実施形態ではステップＳ１８６においてグローバル動き情報が信頼性“無し”と判定された場合、ステップＳ１８８において、そのフレームでのグローバル動き情報が直前フレームでのグローバル動き情報によって更新される。即ち、現在のフレームでのグローバル動き情報はステップＳ１９０で累積されないことになる。なお、これに限定されず、ステップＳ１８６においてグローバル動き情報が信頼性“無し”と判定された場合にステップＳ１９０を実行しないフローとしてもよい。
【０１１２】
このように、グローバル動き情報信頼性が低信頼である場合に、そのフレームでのグローバル動き情報を累積しないことで、信頼性の高いグローバル動き情報に基づいて合焦動作の必要性を判断できる。例えば、ノイズ等によってマッチング処理がうまくいかなかった場合、多くの局所動きベクトルの信頼性が“無し”となる場合がある。このような場合にグローバル動き情報を低信頼と判断することで、生体（背景）の大局的な動きを正確に表していない可能性があるグローバル動き情報の影響を低減できる。
【０１１３】
また本実施形態では、フォーカス制御部３６０は、グローバル動き情報が表す動き量が、グローバル動き情報の閾値よりも小さいと判定したフレームでは、グローバル動き情報の累積処理を行わない（図１９のＳ１８９からＳ１９１への分岐）。
【０１１４】
このようにすれば、例えば手振れ等によって発生した微細なグローバル動き情報を、閾値判断によりノイズとして除去することができる。これにより、ユーザが意図してスコープを操作したときに発生する、比較的大きな移動だけを検出することが可能となり、安定的に合焦動作の必要性を判定することが可能になる。
【０１１５】
また本実施形態では、フォーカス制御部３６０は、グローバル動き情報信頼性が低信頼であると判定したフレームでは、そのフレームよりも前の（例えば直前の）フレームでのグローバル動き情報を、そのフレームでのグローバル動き情報として累積処理する（ステップＳ１８８）。或いは、フォーカス制御部３６０は、グローバル動き情報信頼性が低信頼であると判定したフレームでは、所定のグローバル動き情報を、そのフレームでのグローバル動き情報として累積処理してもよい。
【０１１６】
例えば、動きが速い場合にはマッチング処理で動きベクトルを検出できずに信頼性“無し”となる場合があるが、その場合に累積グローバル動き情報が増えないと、合焦動作が必要な状況にも関わらず合焦動作が実行されない可能性がある。この点、本実施形態では、直前フレームのグローバル動き情報が累積されるので、累積グローバル動き情報が増え、スコープが移動したにも関わらず合焦動作が行われない状況を回避できる。
【０１１７】
また本実施形態では、フォーカス制御部３６０は、グローバル動き情報が低信頼であると判定したフレーム数に基づいて合焦動作を実行するか否かを判定する（図１９のＳ１８７、Ｓ１９２）。具体的には、フォーカス制御部３６０は、所定数のフレームのうち、グローバル動き情報が低信頼であると判定されたフレーム数が、フレーム数の閾値よりも多い場合に、合焦動作を実行する（Ｓ１９２からＳ１９３、Ｓ１９４への分岐）。或いは、フォーカス制御部３６０は、グローバル動き情報が低信頼であると判定されたフレームの継続数（連続して低信頼と判定されたフレーム数）が、フレーム数の閾値よりも多い場合に、合焦動作を実行してもよい。
【０１１８】
グローバル動き情報が頻繁に低信頼と判定されるということは、動き情報の信頼性が低い状況が続いているということであり、シーンが変化していない（同一被写体を写し続けている）という保証がない。このような状況がどのように変化しているか分からない場合には、ピントがずれている可能性があるため、合焦動作が必要と判定する。これにより、シーンを判断できない状況において予防的に合焦させることが可能となる。
【０１１９】
３．第３実施形態
図２１に、第３実施形態の内視鏡装置の構成例を示す。内視鏡装置は、体内への挿入部である硬性鏡１００と、硬性鏡１００に接続される撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００と、光源部６００と、を含む。なお、第１、第２実施形態で説明した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。
【０１２０】
硬性鏡１００は、３軸の回転運動および３軸の並進運動を検出する６軸のモーションセンサ１３０を備えており、モーションセンサ１３０からの検出信号（動き信号）を処理部３００に出力する。例えば、モーションセンサ１３０は、３軸（互いに直交するｘ、ｙ、ｚ軸）回りの角加速度を検出する角加速度センサ（ジャイロセンサ）と、３軸（ｘ、ｙ、ｚ軸）方向の加速度を検出する加速度センサと、を含む。モーションセンサ１３０は、撮像素子２４０の動作周波数（フレーム周波数）よりも十分高速な周波数で動作しており、検出した角加速度・加速度を図示しない積分器により積分し、角度変化・位置変化として出力する。積分の開始・終了タイミングは撮像素子２４０の動作タイミング（画像の撮影タイミング）に同期しており、動き信号は撮像素子２４０の動作タイミング間（フレーム間）に発生した硬性鏡１００の角度変化・位置変化である。
【０１２１】
処理部３００は、ＡＤ変換部３１０と、前処理部３２０と、画像処理部３３０と、フォーカス制御部３６０と、制御部３７０と、動き情報取得部３８０と、動き情報判定部３９０と、を含む。
【０１２２】
動き情報取得部３８０は、上述のモーションセンサ１３０から出力される検出信号および合焦物体位置に基づいて、動き情報を取得する。取得した動き情報は、フォーカス制御部３６０と動き情報判定部３９０に出力される。動き情報には、第２の実施形態と同様に、画面平行動き量と画面垂直動き量がある。
【０１２３】
画面平行動き量としては、実空間上の動きである位置変化の画面平行成分（角度変化のヨー成分およびピッチ成分）から画像上の動き量を算出する。具体的には、実空間上の位置変化を撮像倍率に基づいて画像上の動き量に換算した項と、実空間上の角度変化を最大画角に対する割合に基づいて画像上の動き量に換算した項との和が、画面平行動き量である（下式（８）、（９））。
【数８】
2016199264.tif 000010
【数９】
2016199264.tif 000011
【０１２４】
ここで、ＨＥＡＶＥ、ＳＷＡＹは、位置変化の上下方向成分、左右方向成分である。ＺＯＯＭ（Ｐ）は、物体合焦位置Ｐにおける撮像倍率である。ＰＩＴＣＨ、ＹＡＷは、角度変化のピッチ成分、ヨー成分である。ＭＡＸ＿ＡＮＧＬＥ＿ＵＤ、ＭＡＸ＿ＡＮＧＬＥ＿ＬＲは、硬性鏡１００の上下方向最大画角、左右方向最大画角である。ＭＡＸ＿ＰＩＸＥＬ＿ＵＤ、ＭＡＸ＿ＰＩＸＥＬ＿ＬＲは、撮像素子２４０の上下方向の最大画素数、左右方向の最大画素数である。ＭＶ＿ＵＤは、画面上下方向での動き量であり、ＭＶ＿ＬＲは、画面左右方向での動き量である。
【０１２５】
画面垂直動き量は、実空間上の動きである位置変化の画面垂直成分をそのまま用いる。このため、第３実施形態における画面垂直動き量は、正負の符号に加えて大きさを持った値、例えば−３ｍｍや＋１０ｍｍといった値である。
【０１２６】
フォーカス制御部３６０は、このようにして取得された画面平行動き量と画面垂直動き量を累積して、第２の実施形態と同様の制御を行う。
【０１２７】
動き情報判定部３９０は、動き情報取得部３８０から出力される動き情報に基づいて、動き情報の信頼性を判定する。判定した動き情報信頼性は、フォーカス制御部３６０に出力される。例えば、動き情報の絶対値が閾値より大きい場合に、信頼性“無し”と判定する。又は、直近の所定数のフレームでの平均動き情報と現在フレームでの動き情報との差分が閾値より大きい場合に、信頼性“無し”と判定する。これらの条件に該当しない場合、信頼性“有り”と判定する。
【０１２８】
なお、以上では硬性鏡１００がモーションセンサ１３０を有しており、動き情報取得部３８０はモーションセンサ１３０から出力される動き信号に基づいて動き情報を算出するが、変形例として硬性鏡１００が位置センサ（例えば磁気式の位置センサ等）を有しており、動き情報取得部３８０は位置センサから出力される位置情報の経時変化に基づいて動き情報を取得しても構わない。
【０１２９】
以上の実施形態によれば、合焦動作を実行可能であり、角加速度・加速度を検出するモーションセンサ１３０を有した撮像部２００により、被写体からの反射光を画像として撮像する。モーションセンサ１３０の出力から撮像部２００と被写体との相対的な動き量を算出する。動き量を複数フレーム累積した正味の動き量が所定の閾値を超えた場合、合焦動作が必要であると判定して撮像部２００の合焦動作を実行する。複数フレーム累積した動き量が所定量を超えた場合に合焦動作を実行することで、緩慢な動きであっても非合焦となれば合焦動作を実行し、ユーザの意図しない瞬間的な動きに対しては合焦動作を実行しない、ＡＦ制御が実現できる。
【０１３０】
以上のように、動き情報取得部３８０は、撮像部２００に設けられたモーションセンサ１３０の出力値（ＨＥＡＶＥ、ＳＷＡＹ、ＰＩＴＣＨ、ＹＡＷ）に基づいて動き情報（ＭＶ＿ＵＤ、ＭＶ＿ＬＲ）を取得する。動き情報判定部３９０は、動き情報と動き情報の閾値との比較に基づいて動き情報信頼性を判定する。例えば、動き情報（ＭＶ＿ＵＤ、ＭＶ＿ＬＲ）の絶対値が閾値より大きい場合に、信頼性“無し”と判定する。
【０１３１】
或いは、動き情報判定部３９０は、時系列に得られる複数の動き情報の各動き情報と、前又は後の少なくとも一方の動き情報との相関に基づいて、動き情報信頼性を判定する。例えば、各フレームで動き情報（ＭＶ＿ＵＤ、ＭＶ＿ＬＲ）が得られ、その第ｊフレームでの動き情報と、第（ｊ−１）フレーム以前又は第（ｊ＋１）フレーム以後の少なくとも一方の動き情報との相関に基づいて、信頼性を判定する。例えば、第ｊフレームを含む所定数のフレームでの動き情報の平均値と、第ｊフレームでの動き情報との差分が閾値より大きい場合に、信頼性“無し”と判定する。
【０１３２】
このようにすれば、モーションセンサ１３０の出力値を、画像における被写体の動き情報に変換し、その動き情報に基づいて合焦動作が必要であるか否かを判断できる。また、閾値比較や、時系列の相関等から信頼性を判断することで、手ぶれ等のユーザが意図しない小さい動き等の影響を低減し、合焦動作が必要なシーン変化において合焦動作をオンすることが可能となる。
【０１３３】
なお、第１〜第３実施形態の内視鏡装置等は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただしプロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係る内視鏡装置等の各部（例えば処理部３００の各部）が実現されることになる。ここでのメモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
【０１３４】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１３５】
２  内視鏡装置、４  処置具、６  被写体、１００  硬性鏡、
１１０  レンズ系、１２０  ライトガイド部、
１３０  モーションセンサ、２００  撮像部、
２１０  フォーカスレンズ、２２０  フォーカスレンズ駆動部、
２３０  対物レンズ系、２４０  撮像素子、３００  処理部、
３１０  ＡＤ変換部、３２０  前処理部、３３０  画像処理部、
３４０  動き情報取得部、３４１  フレームメモリ、
３４２  動きベクトル算出部、３５０  動き情報判定部、
３５１  ばらつき判定部、３５２  明るさ判定部、
３５３  フレームメモリ、３５４  一致度判定部、
３６０  フォーカス制御部、３６１  グローバル動き情報取得部、
３６２  グローバル動き情報判定部、３６３  合焦動作制御部、
３６４  合焦動作実行部、３７０  制御部、
３８０  動き情報取得部、３９０  動き情報判定部、
４００  表示部、５００  外部Ｉ／Ｆ部、６００  光源部、
６１０  白色光源、６２０  ライトガイドケーブル、
７１０  画面平行動き量算出部、７２０  画面垂直動き量算出部、
ＶＥ  動きベクトル
【図１】
2016199264.tif 000012
【図２】
2016199264.tif 000013
【図３】
2016199264.tif 000014
【図４】
2016199264.tif 000015
【図５】
2016199264.tif 000016
【図６】
2016199264.tif 000017
【図７】
2016199264.tif 000018
【図８】
2016199264.tif 000019
【図９】
2016199264.tif 000020
【図１０】
2016199264.tif 000021
【図１１】
2016199264.tif 000022
【図１２】
2016199264.tif 000023
【図１３】
2016199264.tif 000024
【図１４】
2016199264.tif 000025
【図１５】
2016199264.tif 000026
【図１６】
2016199264.tif 000027
【図１７】
2016199264.tif 000028
【図１８】
2016199264.tif 000029
【図１９】
2016199264.tif 000030
【図２０】
2016199264.tif 000031
【図２１】
2016199264.tif 000032
【国際調査報告】
2016199264.tif 000033
2016199264.tif 000034