(57)【特許請求の範囲】
【請求項１】
撮像部で撮像される撮像画像に対して、各領域が複数の画素を含む複数の領域を設定する領域設定部と、
設定された複数の前記領域の一部又は全部の領域において、基準位置に対して合焦物体位置の目標である目標合焦位置がＮＥＡＲにあるかＦＡＲにあるかを判別し、前記各領域に対して方向判別結果を求める方向判別処理を行う方向判別部と、
前記方向判別結果に基づいて、複数の前記領域のうち、前記撮像部からの距離が遠い領域に対して優先して合焦するフォーカス制御を実行するフォーカス制御部と、
を含み、
前記方向判別結果に基づいて、前記ＮＥＡＲと判定された領域の面積情報及び前記ＦＡＲと判定された領域の前記面積情報の少なくとも一方を求め、前記面積情報が所与の条件を満たすか否かに基づいて、前記合焦物体位置をＮＥＡＲ側に移動させる前記フォーカス制御を行うか、前記合焦物体位置をＦＡＲ側に移動させる前記フォーカス制御を行うかを決定することを特徴とするフォーカス制御装置。
【請求項２】
請求項１において、
前記フォーカス制御部は、
前記ＮＥＡＲと判定された前記領域の前記面積情報により表される値が所与のＮＥＡＲ面積閾値以下である場合、又は前記ＦＡＲと判定された前記領域の前記面積情報により表される値が所与のＦＡＲ面積閾値以上の場合に、前記合焦物体位置を前記ＦＡＲ側に移動させ、
前記ＮＥＡＲと判定された前記領域の前記面積情報により表される値が前記ＮＥＡＲ面積閾値より大きい場合、又は前記ＦＡＲと判定された前記領域の前記面積情報により表される値が前記ＦＡＲ面積閾値より小さい場合に、前記合焦物体位置を前記ＮＥＡＲ側に移動させる前記フォーカス制御を行うことを特徴とするフォーカス制御装置。
【請求項３】
請求項１において、
前記フォーカス制御部は、
所与の領域における前記方向判別結果の時系列的な変化に基づいて、前記所与の領域に対する前記方向判別結果を補正する補正処理を行い、前記補正処理後の前記方向判別結果に基づいて、前記合焦物体位置をＮＥＡＲ側に移動させる前記フォーカス制御を行うか、前記合焦物体位置をＦＡＲ側に移動させる前記フォーカス制御を行うかを決定することを特徴とするフォーカス制御装置。
【請求項４】
請求項１において、
前記フォーカス制御部は、
複数の前記領域のうち、前記撮像部からの距離が遠い領域に対して優先して合焦する第１のモードと、複数の前記領域のうち、前記撮像部からの距離が近い領域に対して優先して合焦する第２のモードとを有することを特徴とするフォーカス制御装置。
【請求項５】
請求項４において、
前記フォーカス制御部は、
ユーザによる操作に基づいて、前記第１のモードと前記第２のモードの切替を行うことを特徴とするフォーカス制御装置。
【請求項６】
請求項１において、
前記フォーカス制御部は、
複数の前記領域のうち、前記撮像部からの距離が遠い領域に対して優先して合焦する第１のモードと、複数の前記領域のうち、前記撮像部からの距離が近い領域に対して優先して合焦する第２のモードとを有し、
前記第１のモードでは前記所与の条件として第１の条件を用いて前記フォーカス制御を行い、前記第２のモードでは前記所与の条件として前記第１の条件とは異なる第２の条件を用いて前記フォーカス制御を行うことを特徴とするフォーカス制御装置。
【請求項７】
請求項１において、
前記フォーカス制御部は、
複数の前記領域の各々の特徴量を求め、前記特徴量に基づいて、前記合焦物体位置を移動させる方向を決定する処理における前記各領域の重みを表す重み情報を設定することを特徴とするフォーカス制御装置。
【請求項８】
請求項１において、
前記フォーカス制御部は、
複数の前記領域の前記各領域の特徴量を求め、前記特徴量に基づいて、前記合焦物体位置を移動させる方向を決定する処理の対象とならない無効領域を設定することを特徴とするフォーカス制御装置。
【請求項９】
請求項８において、
前記フォーカス制御部は、
前記特徴量に基づいて、
複数の前記領域のうち、生体以外が撮像されていると判定された領域を、前記無効領域に設定することを特徴とするフォーカス制御装置。
【請求項１０】
請求項８において、
前記フォーカス制御部は、
複数の前記領域のうち、前記撮像部からの距離が遠い領域に対して優先して合焦する第１のモードと、複数の前記領域のうち、前記撮像部からの距離が近い領域に対して優先して合焦する第２のモードとを有し、
前記第１のモードでは、複数の前記領域のうち生体以外が撮像されていると判定された領域を、前記無効領域に設定し、前記第２のモードでは、複数の前記領域のうち前記生体が撮像されていると判定された領域を、前記無効領域に設定することを特徴とするフォーカス制御装置。
【請求項１１】
請求項１において、
前記フォーカス制御部は、
複数の前記領域の前記各領域の特徴量を求め、前記特徴量に基づいて、複数の前記領域のうち、前記合焦物体位置を移動させる方向を決定する処理の対象となる有効領域を設定することを特徴とするフォーカス制御装置。
【請求項１２】
請求項１１において、
前記フォーカス制御部は、
前記特徴量に基づいて、
複数の前記領域のうち、生体が撮像されていると判定された領域を、前記有効領域に設定することを特徴とするフォーカス制御装置。
【請求項１３】
請求項１１において、
前記フォーカス制御部は、
複数の前記領域のうち、前記撮像部からの距離が遠い領域に対して優先して合焦する第１のモードと、複数の前記領域のうち、前記撮像部からの距離が近い領域に対して優先して合焦する第２のモードとを有し、
前記第１のモードでは、複数の前記領域のうち生体が撮像されていると判定された領域を、前記有効領域に設定し、前記第２のモードでは、複数の前記領域のうち前記生体以外が撮像されていると判定された領域を、前記有効領域に設定することを特徴とするフォーカス制御装置。
【請求項１４】
請求項１において、
前記方向判別部は、
前記各領域における前記方向判別結果の確からしさを表す信頼度を求めることを特徴とするフォーカス制御装置。
【請求項１５】
請求項１４において、
前記フォーカス制御部は、
前記信頼度に基づいて、前記合焦物体位置を移動させる方向を決定する処理の対象とならない無効領域を設定することを特徴とするフォーカス制御装置。
【請求項１６】
請求項４において、
前記領域設定部は、
前記フォーカス制御部で前記第１のモードが設定された場合に比べて、前記第２のモードが設定された場合は、設定される前記領域の位置、サイズ及び数の少なくとも１つを変更することを特徴とするフォーカス制御装置。
【請求項１７】
請求項１において、
前記方向判別部は、
前記方向判別処理の対象となる前記撮像画像が取得されたタイミングにおける前記合焦物体位置に基づく位置を前記基準位置として、前記方向判別処理を行うことを特徴とするフォーカス制御装置。
【請求項１８】
撮像部で撮像される撮像画像に対して、各領域が複数の画素を含む複数の領域を設定する領域設定部と、
設定された複数の前記領域の一部又は全部の領域において、基準位置に対して合焦物体位置の目標である目標合焦位置がＮＥＡＲにあるかＦＡＲにあるかを判別し、前記各領域に対して方向判別結果を求める方向判別処理を行う方向判別部と、
前記方向判別結果に基づいて、複数の前記領域のうち、前記撮像部からの距離が遠い領域に対して優先して合焦するフォーカス制御を実行するフォーカス制御部と、
を含み、
前記方向判別部は、
前記基準位置よりも前記合焦物体位置がＮＥＡＲ側となる状態で撮像された第１の撮像画像と、前記基準位置よりも前記合焦物体位置がＦＡＲ側となる状態で撮像された第２の撮像画像とを含む複数の前記撮像画像から、前記各領域に対してＡＦ評価値を算出し、前記第１の撮像画像で算出された前記ＡＦ評価値と前記第２の撮像画像で算出された前記ＡＦ評価値の比較処理に基づいて、前記方向判別処理を行うことを特徴とするフォーカス制御装置。
【請求項１９】
撮像部で撮像される撮像画像を取得する画像取得部と、
ウォブリングによるフォーカス制御を行うフォーカス制御部と、
を含み、
生体と、前記生体に対する処置に用いられる処置具との間に、前記ウォブリングの基準位置に対応する合焦物体位置がある場合に、
前記フォーカス制御部は、
前記撮像画像の各領域の面積情報に基づいて、前記撮像画像において面積が大きいと判定された領域を前記生体に対応する領域であると判定し、
前記ウォブリングの前記基準位置に対応する前記合焦物体位置に対して、前記生体に対応すると判定された前記領域に合焦する方向を第１の方向とし、前記処置具の方向を第２の方向とした場合に、前記第２の方向に比べて前記第１の方向を優先して、前記合焦物体位置を移動させる前記ウォブリングによる前記フォーカス制御を行うことを特徴とするフォーカス制御装置。
【請求項２０】
請求項１乃至１９のいずれかに記載のフォーカス制御装置を含むことを特徴とする内視鏡装置。
【請求項２１】
撮像部で撮像される撮像画像に対して、各領域が複数の画素を含む複数の領域を設定し、
設定された複数の前記領域の一部又は全部の領域において、基準位置に対して合焦物体位置の目標である目標合焦位置がＮＥＡＲにあるかＦＡＲにあるかを判別し、前記各領域に対して方向判別結果を求める方向判別処理を行い、
前記方向判別結果に基づいて、複数の前記領域のうち、前記撮像部からの距離が遠い領域に対して優先して合焦するフォーカス制御を実行し、
前記フォーカス制御として、前記方向判別結果に基づいて、前記ＮＥＡＲと判定された領域の面積情報及び前記ＦＡＲと判定された領域の前記面積情報の少なくとも一方を求め、前記面積情報が所与の条件を満たすか否かに基づいて、前記合焦物体位置をＮＥＡＲ側に移動させる前記フォーカス制御を行うか、前記合焦物体位置をＦＡＲ側に移動させる前記フォーカス制御を行うかを決定する、
ことを特徴とするフォーカス制御装置の制御方法。
【請求項２２】
撮像部で撮像される撮像画像を取得し、
生体と、前記生体に対する処置に用いられる処置具との間にウォブリングの基準位置に対応する合焦物体位置がある場合に、
前記撮像画像の各領域の面積情報に基づいて、前記撮像画像において面積が大きいと判定された領域を前記生体に対応する領域であると判定し、
前記ウォブリングの前記基準位置に対応する前記合焦物体位置に対して、前記生体に対応すると判定された前記領域に合焦する方向を第１の方向とし、前記処置具の方向を第２の方向とした場合に、前記第２の方向に比べて前記第１の方向を優先して、前記合焦物体位置を移動させる前記ウォブリングによるフォーカス制御を行う、
ことを特徴とするフォーカス制御装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法等に関する。
【背景技術】
【０００２】
内視鏡システムにおいてはユーザの診断、処置に支障をきたさないため、できるだけ深い被写界深度が要求される。しかし近年では、内視鏡システムにおいても高画素の撮像素子が使用されるに従ってその被写界深度が浅くなってきていることから、オートフォーカス（以下ＡＦ）を行う内視鏡システムが提案されている。【０００３】
内視鏡手技下では病変の切除や縫合等の処置を行うため、合焦の目標となる生体と撮像装置である内視鏡システムとの間に、電気メスや鉗子等の処置具が入る場合がある。この場合、生体と比べてコントラストが高い処置具に合焦してしまい、生体に合焦することが出来ない場合がある。【０００４】
特許文献１では、注目被写体と撮像装置との間に障害物が存在する場合、障害物をユーザが指定することで、注目被写体に合焦させる手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２４５７９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、ユーザが障害物を指定する必要がある。そのため特許文献１の手法を内視鏡手技下で用いた場合、障害物となる処置具の移動が激しいため、ユーザが障害物を頻繁に指定する必要があり操作が煩雑になる。【０００７】
本発明の幾つかの態様によれば、ユーザが煩雑な操作を行うことなく注目被写体へ合焦することを可能とするＡＦ制御機能を備えたフォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法等を提供することができる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、撮像部で撮像される撮像画像に対して、各領域が複数の画素を含む複数の領域を設定する領域設定部と、設定された複数の前記領域の一部又は全部の領域において、基準位置に対して合焦物体位置の目標である目標合焦位置がＮＥＡＲにあるかＦＡＲにあるかを判別し、前記各領域に対して方向判別結果を求める方向判別処理を行う方向判別部と、前記方向判別結果に基づいて、複数の前記領域のうち、前記撮像部からの距離が遠い領域に対して優先して合焦するフォーカス制御を実行するフォーカス制御部と、を含むフォーカス制御装置に関係する。【０００９】
本発明の一態様では、各領域に対してＮＥＡＲかＦＡＲかの方向判別を行い、方向判別結果に基づいてフォーカス制御を行う。その際、撮像部からの距離が遠い領域を優先するため、合焦対象でない領域をユーザに逐一入力させる必要がなく、ユーザ負担を軽減すること等が可能になる。【００１０】
また、本発明の他の態様は、撮像部で撮像される撮像画像を取得する画像取得部と、ウォブリングによるフォーカス制御を行うフォーカス制御部と、を含み、生体と、前記生体に対する処置に用いられる処置具との間に、前記ウォブリングの基準位置に対応する合焦物体位置がある場合に、前記フォーカス制御部は、前記ウォブリングの前記基準位置に対応する前記合焦物体位置に対して、前記生体の方向を第１の方向とし、前記処置具の方向を第２の方向とした場合に、前記第２の方向に比べて前記第１の方向を優先して、前記合焦物体位置を移動させる前記ウォブリングによる前記フォーカス制御を行うフォーカス制御装置に関係する。【００１１】
本発明の他の態様では、ウォブリング中心位置に対応する合焦物体位置が生体と処置具の間にある場合に、中心位置の移動方向として生体の方を優先する。そのため、生体に合焦しやすいシステムを実現することができるため、合焦対象でない領域をユーザに逐一入力させる必要がなく、ユーザ負担を軽減すること等が可能になる。【００１２】
本発明の他の態様は、上記のフォーカス制御装置を含む内視鏡装置に関係する。【００１３】
本発明の他の態様は、撮像部で撮像される撮像画像に対して、各領域が複数の画素を含む複数の領域を設定し、設定された複数の前記領域の一部又は全部の領域において、基準位置に対して合焦物体位置の目標である目標合焦位置がＮＥＡＲにあるかＦＡＲにあるかを判別し、前記各領域に対して方向判別結果を求める方向判別処理を行い、前記方向判別結果に基づいて、複数の前記領域のうち、前記撮像部からの距離が遠い領域に対して優先して合焦するフォーカス制御を実行するフォーカス制御装置の制御方法に関係する。【００１４】
本発明の他の態様は、撮像部で撮像される撮像画像を取得し、生体と、前記生体に対する処置に用いられる処置具との間にウォブリングの基準位置に対応する合焦物体位置がある場合に、前記ウォブリングの前記基準位置に対応する前記合焦物体位置に対して、前記生体の方向を第１の方向とし、前記処置具の方向を第２の方向とした場合に、前記第２の方向に比べて前記第１の方向を優先して、前記合焦物体位置を移動させる前記ウォブリングによるフォーカス制御を行うフォーカス制御装置の制御方法に関係する。
【図面の簡単な説明】
【００１５】
【図１】図１は、本実施形態に係るフォーカス制御装置の構成例。
【図２】図２は、内視鏡装置（撮像部）と複数の被写体の位置関係の例。
【図３】図３は、本実施形態に係るフォーカス制御装置を含む内視鏡装置の構成例。
【図４】図４は、撮像素子の構成例。
【図５】図５は、ＡＦ制御部の構成例。
【図６】図６は、本実施形態のフォーカス制御を説明するフローチャート。
【図７】図７は、合焦方向判別処理を説明するフローチャート。
【図８】図８（Ａ）、図８（Ｂ）はモードに応じた領域設定の例。
【図９】図９は、方向判別結果の時系列変化に基づいて信頼度を求める手法の説明図。
【図１０】図１０は、無効ブロックの設定処理を説明するフローチャート。
【図１１】図１１（Ａ）、図１１（Ｂ）は方向判別結果のばらつきから無効フレームを設定する手法の説明図。
【図１２】図１２は、合焦方向の決定処理を説明するフローチャート。
【図１３】図１３（Ａ）〜図１３（Ｄ）は生体と処置具の位置関係の例、及び各合焦物体位置でのブロック単位での合焦方向の判別結果の例。
【図１４】図１４（Ａ）〜図１４（Ｄ）は複数の生体と処置具の位置関係の例、及び各合焦物体位置でのブロック単位での合焦方向の判別結果の例。
【図１５】図１５（Ａ）、図１５（Ｂ）は撮像部からの距離が異なる複数の生体が撮像される状況の具体例。
【図１６】図１６（Ａ）、図１６（Ｂ）は各モードでの有効ブロック、無効ブロックの設定例。
【図１７】図１７（Ａ）〜図１７（Ｄ）は針糸モードにおける生体と処置具の位置関係の例、及び各合焦物体位置でのブロック単位での合焦方向の判別結果の例。
【図１８】図１８は、ウォブリング中心位置の時系列変化を説明する図。
【発明を実施するための形態】
【００１６】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１７】
１．本実施形態の手法
まず本実施形態の手法について説明する。一般的に、撮像画像にはユーザが注目している被写体の他に、障害物となる被写体が撮像されることがあり得る。その場合、注目している被写体が、撮像画像において観察しやすい状態、すなわち合焦している（ピントが合っている）状態となることが望ましい。しかし、オートフォーカス（ＡＦ）を単純に用いた場合、必ずしも注目している被写体に合焦できるとは限らない。例えば、コントラストＡＦであればコントラストが高い領域に合焦するため、上述したように生体に注目しているのに、処置具に合焦するおそれがある。また、位相差ＡＦ等の場合、位相差情報が取得可能な各点において、当該点で合焦するための情報（例えばレンズの移動量）を取得することが可能であるが、いずれの点にユーザが注目しているかということを別途考慮する必要がある。
【００１８】
それに対して、特許文献１に開示された手法のように、ユーザ自身が障害物である被写体を指定する形態であれば、所望の被写体に精度よく合焦させることが可能である。しかし、所定の状況下では撮像画像における障害物の状況が頻繁に変化する可能性があり、そのような場合には変化する毎にユーザが障害物を指定しなくてはならず、ユーザの操作負担が大きい。
【００１９】
例えば、腹腔鏡手術等の内視鏡手技下では、スコープ（撮像部）とともに処置具を体内に挿入し、当該処置具を用いて生体に対する処置が行われる。ここでの処置具とは、生体に対する処置に用いられる器具であり、具体的には電気メス等のエネルギーデバイスや、鉗子等である。その場合、処置具は生体に対する処置、例えば鉗子を用いて膜状の生体を引っ張り上げたり、鉗子で固定した生体を電気メスで切除したりする行為に利用されるため、ユーザ（ドクター、術者）により頻繁に動かされることになる。結果として、撮像画像において処置具が撮像される画像上位置や、サイズが頻繁に変化する。そのため、ユーザが生体に注目していて処置具が障害物となるケースと、処置具に着目していて生体が障害物となるケースのいずれにおいても、障害物が撮像された領域は頻繁に変化するため、ユーザが手動で指定するのではユーザ負担が大きいことになる。
【００２０】
これに対して、ユーザが注目している被写体を撮像画像上で自動的に特定することが可能であれば、当該被写体が撮像された領域の情報を用いてＡＦを行うことで、注目している被写体に合焦させることが可能になる。
【００２１】
そこで本出願人は以下のようなフォーカス制御装置を提案する。本実施形態に係るフォーカス制御装置は図１に示すように、撮像部（後述する図３の撮像部２００に対応）で撮像される撮像画像に対して、各領域が複数の画素を含む複数の領域を設定する領域設定部２０１０と、設定された複数の領域の各領域において、基準位置に対して合焦物体位置の目標である目標合焦位置がＮＥＡＲにあるかＦＡＲにあるかを判別し、各領域に対して方向判別結果を求める方向判別処理を行う方向判別部２０４０と、方向判別結果に基づいて、複数の領域のうち、撮像部からの距離が遠い領域に対して優先して合焦するフォーカス制御を実行するフォーカス制御部２０９５を含む。
【００２２】
ここで合焦物体位置とは、光学系（狭義には後述する図３の対物レンズ系２４０）、像面（図３の撮像素子２５０の面）、物体（被写体）からなる系が合焦状態にある場合の、物体の位置を表すものである。例えば、後述する図３に示すように撮像素子２５０が固定であり、光学系のうちのフォーカスレンズ２２０が移動可能な例であれば、フォーカスレンズ２２０の位置を決定することで合焦物体位置が決定されることになる。そしてその場合、合焦物体位置を含む被写界深度の範囲内に位置する被写体に対して合焦した撮像画像が取得される。
【００２３】
また、ＮＥＡＲ及びＦＡＲとは、基準位置に対して目標合焦位置の位置する方向を表すものであり、目標合焦位置が基準位置よりも撮像部２００側（光学系及び撮像素子２５０の側）にある場合にＮＥＡＲとなり、目標合焦位置が基準位置に対して撮像部２００と反対側にある場合にＦＡＲとなる。図３のように合焦物体位置がフォーカスレンズ２２０の位置により制御可能な例であれば、合焦物体位置をＮＥＡＲ側に移動させる制御は、フォーカスレンズ２２０の位置を近点側（ＷＩＤＥ側）に移動させる制御により実現でき、合焦物体位置をＦＡＲ側に移動させる制御は、フォーカスレンズ２２０の位置を遠点側（ＴＥＬＥ側）に移動させる制御により実現できる。
【００２４】
また、「撮像部からの距離が遠い領域に対して優先して合焦する」とは、例えば撮像部２００からの距離がＤ１となる第１の被写体と、Ｄ２（＜Ｄ１）となる第２の被写体が撮像画像に撮像された場合に、第２の被写体に比べて、第１の被写体に合焦する可能性が高いことを表す。これは、合焦物体位置をＦＡＲ方向に優先的に移動させる制御を行えばよい。例えば、方向判別結果として、ＦＡＲ方向での評価値ｐＦと、ＮＥＡＲ方向での評価値ｐＮとが取得され、ｐＦ＞ｔｈＦが満たされた場合に合焦物体位置をＦＡＲ方向に移動させ、ｐＮ＞ｔｈＮが満たされた場合に合焦物体位置をＮＥＡＲ方向に移動させる制御を考える。この場合に、ｐＦ＞ｔｈＦが満たされやすく、且つｐＮ＞ｔｈＮが満たされにくいようにすればよく、具体的にはｔｈＦ＜ｔｈＮのように閾値を設定すればよい。特に後述するように評価値が全有効ブロックに対する割合である場合、ｐＦ＋ｐＮ＝１００（％）となる。この際には、ｔｈＦ＜５０（％）＜ｔｈＮ（＝１００−ｔｈＦ）としてもよい。つまり、評価値の総和が固定である場合に、閾値を中間的な値（総和の１／２）とするのではなく、ＦＡＲ側に偏った値に設定することで上記制御を実現してもよい。
【００２５】
このようにすれば、撮像部２００からの距離が遠い被写体にユーザが注目している可能性が高い状況下で、適切な被写体に合焦させることが可能になる。例えば上述した内視鏡手技を対象とした場合、撮像画像は生体内画像となるため、空間的に限定された領域を撮像する。撮像部２００を操作するユーザ（例えばスコピスト）は、所望の被写体が観察しやすいように撮像部２００を操作するはずであり、一例としては注目している生体に正対する位置関係に撮像部２００を移動させる。結果として、取得される撮像画像では注目している被写体である生体が、ある程度の領域を占めることになり、且つ当該生体以外の被写体がそれよりも後ろ（撮像部２００から遠い位置）に入り込む可能性が低くなる。つまりこの場合、注目している被写体の距離が撮像画像において最も遠い（或いは最遠点でないにしてもそれに十分近いと考えられる）状態にあるといえる。また、撮像画像を観察しながら手技を行うことを考えれば、図２に示したように生体の手前側（撮像部２００に近い側）には処置具等が障害物として写り込む可能性があるが、それらに対する合焦の優先度が低いため、処置具に合焦してしまう可能性を抑止できる。
【００２６】
なお、上記のように本実施形態のフォーカス制御装置が対象とする状況下では、最も遠い（奥に位置する）被写体が注目している被写体である可能性が高いが、ユーザが他の被写体に注目している可能性を排除するものではない。例えば、縫合を行う場合には、鉗子等を用いて針や糸を縫合に適した角度で保持する作業等が必要になり、当該作業中は生体ではなく、それよりも手前にある針や糸にユーザは注目しているはずである。また、図１５（Ａ）や図１５（Ｂ）を用いて後述する、膜状の生体を引っ張り上げて処置対象とする例のように、より手前側の生体が注目している被写体となる場合もある。
【００２７】
つまり、撮像部２００からの距離が遠い領域に対して優先して合焦する制御とは、本実施形態におけるフォーカス制御のベースではあるが、何らかの例外条件が満たされた場合には、異なる指針によるフォーカス制御を行ってもよい。例えば、撮像部２００からの距離が近い被写体に合焦させることで、針や糸に合焦させてもよいし、処置具ではなく、且つ面積が大きい被写体に合焦させることで、比較的手前側に位置する生体に合焦させてもよい。
【００２８】
以下、本実施形態について詳細に説明する。まず本実施形態に係るフォーカス制御装置、及びフォーカス制御装置を含む内視鏡装置のシステム構成例を説明した後、フローチャートを用いて本実施形態の処理の流れを説明する。最後に、具体的な状況を設定して本実施形態の具体例を説明する。
【００２９】
２．システム構成例
本実施形態に係る内視鏡装置（内視鏡システム）について、図３を用いて説明する。本実施形態における内視鏡システムは、体内への挿入部である硬性鏡１００と、硬性鏡１００に接続される撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００と、光源部６００を備えている。
【００３０】
光源部６００は、白色光を発生する白色光源６１０と、白色光源６１０からの出射光を硬性鏡に導光するライトガイドケーブル６２０を備えている。
【００３１】
硬性鏡１００は結像レンズ、リレーレンズ、接眼レンズ等を含んで構成されるレンズ系１１０と、ライトガイドケーブル６２０からの出射光を、硬性鏡先端まで導光するライトガイド部１２０を備えている。
【００３２】
撮像部２００は、レンズ系１１０からの出射光を結像する対物レンズ系２４０を備える。対物レンズ系２４０は、合焦物体位置を調整するフォーカスレンズ２２０を含んで構成されている。撮像部２００はさらに、対物レンズ系２４０で結像された反射光を光電変換して画像を生成する撮像素子２５０と、フォーカスレンズ２２０を駆動するフォーカスレンズ駆動部２３０と、ＡＦの開始、終了を制御するＡＦボタン（ＡＦ開始／終了ボタン）２１０を備えている。フォーカスレンズ駆動部２３０は、例えばボイスコイルモーター（ＶＣＭ）である。
【００３３】
ここで、本実施形態における撮像素子２５０の詳細を、図４を用いて説明する。図４は、撮像素子２５０の一部を拡大した図である。撮像素子２５０は図４に示すように、複数の画素が２次元配列状に配置された構造で、各画素にはＲＧＢのいずれかのカラーフィルタがベイヤ配列で配置されている。撮像素子２５０は、図４に示すようなベイヤ配列からなるカラーフィルタを有する撮像素子以外にも、補色カラーフィルタを用いた撮像素子や、カラーフィルタを用いずに１つの画素で異なる波長の光を受光可能な積層型の撮像素子、カラーフィルタを用いないモノクロ撮像素子など、被写体を撮像して画像を得られるものであれば、任意の撮像素子を使用できる。
【００３４】
処理部３００は、ＡＤ変換部３１０と、前処理部３２０と、画像処理部３３０と、ＡＦ制御部３４０と、制御部３５０を備えている。ＡＤ変換部３１０は、撮像素子２５０から順次出力されるアナログ信号をデジタルの画像に変換して、前処理部３２０に順次出力する。前処理部３２０はＡＤ変換部３１０から出力された画像に対して、ホワイトバランス、補間処理（デモザイキング処理）等の画像処理を施し、画像処理部３３０とＡＦ制御部３４０に順次出力する。画像処理部３３０は、前処理部３２０から出力された画像に対して色変換、階調変換、エッジ強調、拡縮処理、ノイズリダクション等の画像処理を施し、表示部４００に画像を順次出力する。
【００３５】
ＡＦ制御部３４０は、例えば図５に示したように、領域設定部２０１０と、モード設定部２０２０と、ブロックＡＦ評価値算出部２０３０と、方向判別部（ブロック方向判別部）２０４０と、信頼度算出部２０５０と、ブロック特徴量算出部２０６０と、無効ブロック設定部２０７０と、無効フレーム設定部２０７５と、合焦方向判別部２０８０と、フォーカスレンズ制御部２０９０を備えている。
【００３６】
領域設定部２０１０は、撮像画像に対してＡＦに用いられる領域を設定する。ここでの領域とはＡＦ領域と評価ブロックの両方を含んでもよい。モード設定部２０２０はＡＦモードの設定を行う。ブロックＡＦ評価値算出部２０３０は、各評価ブロックを対象として、ＡＦに用いられる評価値を算出する。方向判別部２０４０は、各評価ブロックを対象として、評価値に基づいて目標合焦位置の方向（合焦方向）を判別する。ここでの方向判別結果は、狭義にはＮＥＡＲ又はＦＡＲを表す情報である。信頼度算出部２０５０は、各評価ブロックを対象として、方向判別結果の確からしさを表す信頼度を算出する。ブロック特徴量算出部２０６０は、各評価ブロックを対象として、特徴量を算出する。無効ブロック設定部２０７０は、特徴量に基づいて無効ブロックを設定する。ここでの無効ブロックは、合焦方向判別に用いられない評価ブロックを表す。無効フレーム設定部２０７５は、処理対象フレーム自体を無効フレームに設定するか否かを判定する。ここでの無効ブロックは、合焦方向判別に用いられないフレームを表す。合焦方向判別部２０８０は、合焦方向、すなわち合焦物体位置の移動方向（或いは当該移動方向に対応するフォーカスレンズ２２０の移動方向）を判別する。フォーカスレンズ制御部２０９０は、求められた合焦方向に対応する方向にフォーカスレンズ２２０を移動させる制御を行う。
【００３７】
なお、ＡＦ制御部３４０の各部で行われる処理の詳細については後述する。また、図１におけるフォーカス制御部２０９５は、例えば図５に示したＡＦ制御部３４０のうちの、領域設定部２０１０と方向判別部２０４０を除いた構成に対応するものであってもよい。また、本実施形態に係るフォーカス制御装置は、図５に示したＡＦ制御部３４０に対応するものであってもよい。ただし、フォーカス制御装置の構成はこれに限定されず、図１の処理部３００全体をフォーカス制御装置とする等、種々の変形実施が可能である。また、フォーカス制御装置の一部の構成要素を省略する、他の構成要素を追加するなどの種々の変形実施が可能である。また、種々の変形実施が可能な点は、図３等の他の構成についても同様である。
【００３８】
制御部３５０は外部Ｉ／Ｆ部５００や画像処理部３３０、ＡＦ制御部３４０、撮像素子２５０、ＡＦボタン２１０などと相互に接続されており、制御信号の入出力を行う。
【００３９】
表示部４００は例えば液晶モニタであり、画像処理部３３０から順次出力される画像を表示する。
【００４０】
外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースであり、例えばＡＦモードを切り替えるモードボタン、ＡＦ領域の位置やサイズを設定するための設定ボタン、画像処理のパラメータを調整するための調整ボタンなどを含んで構成されている。本実施形態における内視鏡システムは、ＡＦモードとして例えば生体に合焦するための生体モードと、内視鏡手技で使用される針や糸に合焦するための針糸モードとを備える。
【００４１】
３．処理の流れ
次に、本実施形態においてＡＦ制御部３４０で行われるＡＦ制御の概要について、図６を用いて説明する。ＡＦ制御部３４０は、ユーザがＡＦボタン２１０を操作しＡＦが開始されるとまず合焦動作を開始する。
【００４２】
合焦動作が開始されると、まずＡＦ制御部３４０はＡＤ変換部３１０から順次出力される画像の取得タイミングに同期するように、フォーカスレンズのウォブリング動作を開始する。その後、ＡＦ制御部３４０は、ウォブリング動作で取得された画像に基づいて、合焦方向を判別する（Ｓ１００）。合焦方向判別（Ｓ１００）の詳細については後述する。次にＡＦ制御部３４０は、Ｓ１００で決定された合焦方向に基づいて、ウォブリングの中心位置を変更する（Ｓ１１０）。具体的には、Ｓ１００で決定される合焦方向は、後述するように“ＮＥＡＲ”“ＦＡＲ”“ＵＮＭＯＶＩＮＧ”のいずれかである。ＡＦ制御部３４０は、合焦方向が“ＮＥＡＲ”と決定された場合はウォブリングの中心位置を、合焦物体位置が撮像素子２５０に近い至近側となる方向に所定量移動する。また、合焦方向が“ＦＡＲ”と決定された場合はウォブリングの中心位置を、合焦物体位置が撮像素子２５０から遠い無限遠側となる方向に所定量移動する。さらに、合焦方向が“ＵＮＭＯＶＩＮＧ”と決定された場合は、ウォブリングの中心位置は変更しない。
【００４３】
次にＡＦ制御部３４０は、合焦が完了したか否かの判断を行う（Ｓ１２０）。ここでＡＦ制御部３４０は公知の合焦判定処理等を行うことで合焦判断を行えばよい。ＡＦ制御部３４０は、合焦が完了していない場合はＳ１００からの動作を繰り返し、ウォブリングの中心位置を徐々に合焦位置に近づけていく。また、合焦が完了した場合はフォーカスレンズ２２０のウォブリング動作を終了し、合焦動作を終了する。
【００４４】
合焦動作が終了した場合、ＡＦ制御部３４０は待機動作を開始する。待機動作が開始されると、ＡＦ制御部３４０はシーン変化を検出する（Ｓ１３０）。ここでＡＦ制御部３４０は、例えば前処理部３２０から順次出力される画像を用いて、例えば画像の色や輝度の変化や、画像の動き等を監視することでシーン変化を検出する。次にＡＦ制御部３４０は、シーン変化が検出されたか否かの判断を行う（Ｓ１４０）。シーン変化が検出されない場合はＳ１３０からの動作を繰り返し、シーン変化が検出された場合は待機動作を終了する。待機動作が終了した場合、ＡＦ制御部３４０は合焦動作を再開する。なお待機動作が実行されている間、ＡＦ制御部３４０は、例えばフォーカスレンズ位置を合焦動作が終了した時の位置に固定し、フォーカスレンズ２２０の駆動は行わない。
【００４５】
次に、ＡＦ制御部３４０における合焦方向判別（Ｓ１００）の詳細について、図７を用いて説明する。
【００４６】
ここで本実施形態におけるＡＦモードは生体モードと針糸モードがあり、例えば前述した外部Ｉ／Ｆ部５００からの入力に応じて、制御部３５０がモード設定部２０２０に設定する。また、撮像素子２５０で撮像された画像データ（撮像画像）を制御部３５０で解析することで、特定の画像パターンや動作等からＡＦモードを変更できるようにしてもよい。モード設定部２０２０は生体モードか針糸モードを現すＡＦモード情報を領域設定部（ＡＦ領域設定部）２０１０、無効ブロック設定部２０７０、合焦方向判別部２０８０に出力する。
【００４７】
まず領域設定部２０１０は、制御部３５０から出力されるＡＦ領域の位置やサイズ等の情報に基づき画像上に複数のブロックからなるＡＦ領域を設定する（Ｓ２０５）。ＡＦ領域の設定の例を図８（Ａ）、図８（Ｂ）に示す。図８（Ａ）、図８（Ｂ）において外周の矩形は画像全体を表し、Ａと記載されている矩形は後述のＡＦ評価値や信頼度等の算出対象の領域である、評価ブロックを表している。また、図８（Ａ）、図８（Ｂ）において、評価ブロック全体を囲む範囲をＡＦ領域とする。図８（Ａ）では画像データの中央部に、横方向に４個、縦方向に３個の合計１２個の評価ブロックを設定している。図８（Ｂ）では画像の中央部に、横方向７個、縦方向に５個の合計３５個の評価ブロックを設定している。
【００４８】
領域設定部２０１０は、モード設定部２０２０から出力されたＡＦモード情報に応じ、生体モードの場合には、図８（Ａ）のような評価ブロックを設定する。一方、針糸モードの場合には、対象とする被写体である針や糸は生体に比べ小さいため、図８（Ｂ）のように生体モードよりも小さい評価ブロックを設定する。また、針や糸を操作する場合には画面の中央部で操作することが多いため、ＡＦ領域はより小さく設定する。また、針や糸は重力の影響により画像の中央よりやや下方に撮像されることが多いため、図８（Ｂ）のように画像データの中央部にＡＦ領域を設定するのではなく、画像データの中心に対して下方にずれた位置に評価ブロックを設定することで、針や糸を撮像する領域をより確実にＡＦ領域に含めてもよい。また、領域間は必ずしも隣接する必要はなく、また、大きさや形状等を領域間で変更してもよい。また、被写体やユーザの操作等に応じて適宜変更してもよい。また、モードに応じて必ずしも評価ブロックの設定を変更する必要はなく、例えば生体モードと針糸モードで共通の評価ブロックを設定してもよい。領域設定部２０１０は領域の設定情報を、ブロックＡＦ評価値算出部２０３０、及びブロック特徴量算出部２０６０に出力する。
【００４９】
次に、ブロックＡＦ評価値算出部２０３０は、前処理部３２０から出力される画像データの画素値に基づいて、領域設定部２０１０で設定された各評価ブロックにおけるＡＦ評価値を算出する（Ｓ２１０）。ＡＦ評価値はブロック内の被写体に対する合焦度合いに応じて大きくなる値である。
【００５０】
ＡＦ評価値は各評価ブロックにおいて、撮像されている被写体の周波数特性や輝度分布特性等に基づき算出できる。例えば、各評価ブロックの画像の各画素に対してバンドパスフィルタを適用し、その出力値を累積すると、バンドパスフィルタの周波数特性に応じ、各評価ブロックの画像のコントラストが高いほど大きな値が得られる。また、各評価ブロック内の画像に対する輝度分布特性の一例である輝度ヒストグラムを算出すると、ヒストグラムの分布範囲や分散、標準偏差等により、各評価ブロックの画像のコントラストが高いほど大きな値が得られる。
【００５１】
また、ここでは図示しない位相差やパターン投影、ライトフィールドなど公知の手法によって取得された各評価ブロックの被写体距離情報に基づきＡＦ評価値を算出するようにしてもよい。
【００５２】
ブロックＡＦ評価値算出部２０３０は、算出した各評価ブロックにおけるＡＦ評価値を方向判別部２０４０、及び信頼度算出部２０５０に出力する。
【００５３】
次に、方向判別部２０４０は、ブロックＡＦ評価値算出部２０３０から出力される各評価ブロックのＡＦ評価値から、各評価ブロックの合焦方向を判別する（Ｓ２１５）。具体的には、ウォブリング動作によりフォーカスレンズがＮＥＡＲ方向に移動したときの画像と、フォーカスレンズがＦＡＲ方向に移動したときの画像から算出された各評価ブロックに対するＡＦ評価値を比較し、ＡＦ評価値が大きい方向をその評価ブロックの合焦方向とする。ここでＮＥＡＲ方向は合焦物体位置が撮像素子２５０に近い至近側となる方向、ＦＡＲ方向は合焦物体位置が撮像素子２５０から遠い無限遠側となる方向を示す。ここで各評価ブロックの合焦方向判別の結果はＮＥＡＲとＦＡＲの２値であるが、ＡＦ評価値の大小などを考慮し合焦方向に対してより多段階の判定結果を出力するようにしてもよい。また、合焦付近でウォブリングを行った場合、フォーカスレンズがＮＥＡＲ方向に移動したときの画像と、フォーカスレンズがＦＡＲ方向に移動したときの画像から算出された各評価ブロックに対するＡＦ評価値は等しくなる可能性がある。その場合の処理として、例えば、ＡＦ評価値が等しいブロックに対して、前のフレームで判別された方向をその評価ブロックの合焦方向として出力する。ここで、「ＡＦ評価値が等しい」とは、ＡＦ評価値の差が所定の閾値より小さい場合も含む。
【００５４】
方向判別部２０４０は、各評価ブロックの方向判別結果を信頼度算出部２０５０及び無効ブロック設定部２０７０に出力する。
【００５５】
次に、信頼度算出部２０５０は、ブロックＡＦ評価値算出部２０３０から出力される各評価ブロックにおけるＡＦ評価値及び方向判別部２０４０から出力される各評価ブロックの方向判別結果に基づいて、各評価ブロックの信頼度を算出する（Ｓ２２５）。ここで信頼度は、各評価ブロックの方向判別結果の確からしさを表す尺度である。各評価ブロックの信頼度は、例えばＡＦ評価値の時間方向の変化率を算出し、変化率が所定の範囲内にある場合は信頼度を高くする。ここでは、変化率に比例して信頼度を高くするような処理を行ってもよい。また、変化率が所定の範囲外の場合は信頼度を低くする。これは、変化率が小さすぎるのは、例えば被写体に十分なコントラストが無い場合や画像が大ボケしている場合であり、正しい方向判別結果が得られていないと想定されるためである。また、変化率が大きすぎるのは、例えば被写体の動き等により撮影された被写体自体が変化した場合や、画像が動きボケしている場合であり、正しい方向判別結果が得られていないと想定されるためである。
【００５６】
ここでは信頼度をＡＦ評価値に基づいて算出しているが、その他の例として図９に示すように時間方向の評価ブロックの方向判別結果のばらつき度合いに応じて信頼度を算出してもよい。
【００５７】
図９は時間に応じ、ある評価ブロックの方向判別結果がＦＡＲ、ＦＡＲ、無効（後述）、ＮＥＡＲ、無効、ＮＥＡＲ、ＮＥＡＲ、ＮＥＡＲと順次判別された例を示している。この評価ブロック信頼度を得るため、方向判別結果が連続している数をカウントし、そのカウント値に比例した値を信頼度として算出してもよい。この場合、例えば最後のＮＥＡＲ判定されたタイミングに対応する信頼度は２となる。信頼度算出部２０５０は、各ブロックの信頼度を無効ブロック設定部２０７０に出力する。
【００５８】
次に、ブロック特徴量算出部２０６０は、前処理部３２０から出力される画像データと領域設定部２０１０から出力されるＡＦ領域情報に基づいて、各評価ブロックの特徴量を算出する（Ｓ２３０）。ブロック特徴量は、各評価ブロックの被写体を特徴付ける量であり、例えば、各評価ブロックの色情報である。ブロック特徴量算出部２０６０は、算出した特徴量を無効ブロック設定部２０７０に出力する。
【００５９】
また、ブロック特徴量は色情報以外にも、輝度やエッジ量、さらに図示しない専用のセンサなどにより得られる被写体の温度や狭帯域光の反射率など、少なくとも生体か否かを識別可能な特徴量であれば任意の特徴量を適用できる。
【００６０】
次に、無効ブロック設定部２０７０は、モード設定部２０２０から出力されるＡＦモード情報、方向判別部２０４０から出力される各評価ブロックの合焦方向、ブロック特徴量算出部２０６０から出力される各評価ブロックの特徴量、及び信頼度算出部２０５０から出力される各評価ブロックの信頼度等から無効ブロックを設定する（Ｓ２４０）。
【００６１】
ステップＳ２４０において、無効ブロック設定部２０７０が各評価ブロックに対して行う無効ブロックの設定の一例を図１０に示す。
【００６２】
まず、ステップＳ２４２では、評価ブロックの信頼度に対して閾値処理を行う。信頼度が所定の閾値よりも小さい評価ブロックの方向判別結果を無効とする。ステップＳ２４５では、評価ブロックのブロック特徴量を用いて、評価ブロックに撮像されている被写体が生体か鉗子などの処置具を含むそれ以外の物体かに分類する。
【００６３】
ステップＳ２４６では、モード設定部２０２０から出力されるＡＦモードが針糸モードか否か判定する。ステップＳ２４６で針糸モードではないと判定された場合、ステップＳ２４５で処置具を含むそれ以外の物体と分類されたブロックに対してステップＳ２４７において方向判別結果を無効とする。
【００６４】
また、ステップＳ２４６で針糸モードであると判定された場合、ステップＳ２４５で生体と分類されたブロックに対してステップＳ２４８において方向判別結果を無効とする。
【００６５】
注目被写体以外のブロックを無効とすることで、後述するフォーカスレンズ２２０の駆動方向の判別において注目被写体以外による影響を抑え、注目被写体に精度よく合焦させることが可能となる。
【００６６】
無効ブロック設定部２０７０は、各評価ブロックの方向判別結果を無効フレーム設定部２０７５に出力する。ここで出力される合焦方向判別結果はＮＥＡＲ、ＦＡＲ、無効のいずれかになる。
【００６７】
次に、無効フレーム設定部２０７５は、無効ブロック設定部２０７０から出力される各評価ブロックの方向判別結果に基づいて無効となるフレームを設定する（Ｓ２５０）。ここではフレームと記載しているが、合焦方向判別Ｓ１００にて使用する画像全体をフレームと呼ぶ。よって、撮像素子２５０等がインターレースで画像を出力するような場合もフレームに含まれる。具体的には、複数のフィールドを合わせて１枚の画像となる場合に、本実施形態における「フレーム」とは、その１枚の画像（狭義のフレーム）を指すものであってもよいし、複数のフィールドの各フィールドを指すものであってもよい。
【００６８】
無効フレーム設定は、内視鏡手技中に発生するミストなどの影響により各評価ブロックの方向判別結果がばらつき、フォーカスレンズが意図しない方向へ駆動する可能性を低減させるために行う処理である。無効フレーム設定は、例えば、フレーム内における各評価ブロック方向判別結果のばらつき度を求める。ばらつき度は例えば、図１１（Ａ）に示すように各評価ブロックに対し、その評価ブロックの方向判別結果を周囲の評価ブロックと比較し、異なる方向判別結果と判定されている周囲の評価ブロック数をカウントし、各評価ブロックに対するカウントの総和をばらつき度とする。このように、同じ方向判別結果となる評価ブロックが周囲にない場合に、ばらつき度が高くなるようにする。その後、ばらつき度を所定の閾値と比較し、ばらつき度が所定の閾値よりも大きい場合、ミスト等の影響により方向判別結果が信頼できないフレームと判断し、図１１（Ｂ）に示すように全ての評価ブロックに対する方向判別結果を無効に設定する。全ブロックが無効の場合には後述する合焦方向判別部２０８０においてフォーカスレンズを動かさないように判定を行うため（Ｓ２７９）フォーカスレンズが意図しない方向へ駆動することを防止できる。無効フレーム設定部２０７５は、各ブロックの方向判別結果を合焦方向判別部２０８０に出力する。
【００６９】
次に、合焦方向判別部２０８０は、モード設定部２０２０から出力されるＡＦモード情報と無効フレーム設定部２０７５から出力される各評価ブロックの合焦方向判別結果を用いて最終的な合焦方向を決定する（Ｓ２６０）。
【００７０】
ステップＳ２６０において、合焦方向判別部２０８０が行うフォーカスレンズの駆動方向を決定する処理の一例を図１２に示す。図１２では、評価ブロックの方向判別結果が無効と判別されていない評価ブロックを、有効ブロックと呼ぶ。ステップＳ２６２では設定したＡＦ領域内での有効ブロックの数をカウントする。ステップＳ２６４で有効ブロックの数が所定の閾値以下の場合は注目フレームが信頼できないとしてステップＳ２７９にて合焦方向を“ＵＮＭＯＶＩＮＧ”に設定する。
【００７１】
ステップＳ２６４で有効ブロック数が所定の閾値よりも多い場合はステップＳ２６５で方向判別結果がＮＥＡＲと判別されている評価ブロック（以下、ＮＥＡＲブロック）の数をカウントし、ステップＳ２６６で有効ブロックのうちＮＥＡＲブロックが占める割合を算出する。
【００７２】
ステップＳ２７０ではモード設定部２０２０から出力されるＡＦモード情報が針糸モードか否か判定する。ＡＦモード情報が針糸モードの場合にはステップＳ２７３に進み、それ以外（生体モード）の場合にはステップＳ２７２に進む。
【００７３】
ステップＳ２７２では、所定の閾値により閾値処理を行う。生体の位置は処置具の位置よりもＦＡＲ側に存在するため、生体モードでは合焦物体位置はＦＡＲ側に優先して移動させる。ＦＡＲ側に優先して移動させるためには、ステップＳ２７２で用いられる閾値Ｍは有効ブロックの半分以上の数、例えば有効ブロックの６０％以上（その値を含む）の個数を設定する。ＮＥＡＲブロックが有効なブロック全体に占める割合が所定の閾値より大きい場合はステップＳ２７６で合焦方向を“ＮＥＡＲ”に設定する。ＮＥＡＲブロックが有効なブロック全体に占める割合が所定の閾値以下の場合はステップＳ２７５で合焦方向を“ＦＡＲ”に設定する。
【００７４】
ステップＳ２７３では、所定の閾値により閾値処理を行う。針や糸を把持する処置具の位置は生体の位置よりもＮＥＡＲ側に存在するため、針糸モードでは合焦物体位置はＮＥＡＲ側に優先して移動させる。ＮＥＡＲ側に優先して移動させるためには、ステップＳ２７３で用いられる閾値Ｎは有効ブロックの半分以下の数、例えば有効ブロックの４０％以下（その値を含む）の値を設定する。ＮＥＡＲブロックが有効なブロック全体に占める割合が所定の閾値より大きい場合はステップＳ２７８で合焦方向を“ＮＥＡＲ”に設定する。ＮＥＡＲブロックが有効なブロック全体に占める割合が所定の閾値以下の場合はステップＳ２７７で合焦方向を“ＦＡＲ”に設定する。
【００７５】
合焦方向判別部２０８０は、決定された合焦方向をフォーカスレンズ制御部２０９０に出力する。ここでフォーカスレンズの駆動方向は“ＮＥＡＲ”“ＦＡＲ”“ＵＮＭＯＶＩＮＧ”のいずれかである。
【００７６】
その後フォーカスレンズ制御部２０９０は、図６のＳ１１０で説明したように、決定された合焦方向に基づいてウォブリングの中心位置を変更する。
【００７７】
４．本実施形態の具体例
図１３（Ａ）〜図１４（Ｄ）に、内視鏡における被写体の例を示す。内視鏡における主要被写体は生体と鉗子などの処置具が想定される。図１３（Ａ）及び図１４（Ａ）において、内視鏡先端部から伸びている鎖線は設定されている領域にて撮像可能な範囲を示しており、また、図を正面にして上側方向に人体の左手、下側方向に人体の右手、左側方向に頭部、右側方向に脚部となる視点を想定して描かれている。ただし、人体と処置具および内視鏡の位置関係はこれに限定するものでは無い。また図１３（Ａ）、図１４（Ａ）において、合焦物体位置は画像取得時のフォーカスレンズによる合焦位置を示し、目標合焦位置はＡＦにより合焦させたい位置とする。
【００７８】
図１３（Ａ）は目標合焦物体と撮像装置との間に処置具が入っているシーンを想定している。図１３（Ａ）に示すシーンではユーザが注目する部分は生体であるとして、生体の表面を目標合焦物体としている。図１３（Ｂ）〜図１３（Ｄ）はそれぞれ合焦物体位置がＡ〜Ｃで撮影された画像に対して、モード設定部２０２０に設定されているＡＦモード情報が生体モードに設定されている場合の各評価ブロックの合焦方向判別結果を表している。
【００７９】
図１３（Ｂ）では無効ブロック設定部２０７０により処置具を撮影した評価ブロックの合焦方向判別結果が無効となり、各評価ブロックの方向判別結果の大部分がＦＡＲとなるため合焦方向判別部２０８０の出力は“ＦＡＲ”となる。図１３（Ｃ）では無効ブロック設定部２０７０により処置具を撮影した評価ブロックの合焦方向判別結果が無効となるが、生体と処置具が混ざった評価ブロックなどではＮＥＡＲと判別される場合がある。このように、方向判別結果がＮＥＡＲと判別される評価ブロックが存在したとしても有効ブロックにおける比率は低いため、Ｓ２７２で設定された閾値Ｍを下回りＳ２７５でフォーカスレンズの駆動方向は“ＦＡＲ”に設定される。図１３（Ｄ）では無効ブロック設定部２０７０により処置具を撮影した評価ブロックの合焦方向判別結果が無効となり、ブロック方向判別結果の大部分がＮＥＡＲとなるためフォーカスレンズの駆動方向は“ＮＥＡＲ”に設定される。
【００８０】
合焦物体位置Ａから本手法によるＡＦが開始されたとして、Ｓ１００〜Ｓ１２０を繰り返し処理することで目標合焦位置の方向に徐々に合焦物体位置が接近する。合焦物体位置Ｂのように合焦物体位置に対してＮＥＡＲ側に処置具、ＦＡＲ側に生体がある場合でもＳ１００〜Ｓ１２０を繰り返し処理することで誤った方向に進むことなく合焦物体位置は徐々に目標合焦位置方向へ移動する。また、合焦物体位置Ｃから本手法によるＡＦが開始された場合も、Ｓ１００〜Ｓ１２０を繰り返し処理することで目標合焦位置の方向に合焦物体処理が接近する。
【００８１】
図１４（Ａ）は生体が奥行き方向に２段階の位置それぞれに存在するシーンで、至近側の生体面が大部分を占め、注目しているシーンを想定している。一例としては、図１５（Ａ）に示すような膜状の生体Ｅ２を、図１５（Ｂ）に示すように鉗子等を用いて持ち上げたシーンに対応する。或いは、生体はある程度伸縮性があることから、画面の周縁部に撮像された生体を画像中央部に引き寄せるような場合も、図１５（Ｂ）と同様に背景となる生体よりも至近側に異なる生体が写り込む。通常、手前側の生体と奥側の生体が存在し、且つ奥側の生体に注目している場合、撮像部自体の位置を調整し手前側の生体が撮像範囲に入らない、或いは入ったとしてもＡＦ評価領域上で大きな領域を占めない状態とするはずである。例えば図１５（Ａ）のケースでＥ１に示した生体に注目しているのであれば、そもそも手前側の生体Ｅ２を持ち上げる必要がないため、図１５（Ｂ）に示した状況とならない。つまり、図１５（Ｂ）等のように手前側の生体がＡＦ評価領域データのうちの多くの領域を占めるような場合、目標合焦位置は至近側にある生体の表面であると考えられる。図１４（Ｂ）〜図１４（Ｄ）はそれぞれ合焦物体位置がＡ〜Ｃで撮影された画像に対して、モード設定部２０２０に設定されているモード情報が生体モードに設定されている場合における各評価ブロックの合焦方向判別結果を表している。
【００８２】
図１４（Ｂ）では無効ブロック設定部２０７０により処置具を撮影した評価ブロックの合焦方向判別結果が無効となり、各評価ブロック方向判別結果の大部分がＦＡＲとなるためフォーカスレンズの駆動方向は“ＦＡＲ”と設定される。図１４（Ｃ）では無効ブロック設定部２０７０により処置具を撮影した評価ブロックの合焦方向判別結果が無効となり、合焦物体位置Ｂに対してＮＥＡＲ側に存在している被写体がＡＦ評価領域部分の大部分を占めるため、ＮＥＡＲと判定される評価ブロックが多くなる。したがって、Ｓ２７２で設定された閾値Ｍを超えＳ２７６でフォーカスレンズの駆動方向が“ＮＥＡＲ”と設定される。図１４（Ｄ）では無効ブロック設定部２０７０により処置具を撮影した評価ブロックの合焦方向判別結果が無効となり、ブロック方向判別結果の大部分がＮＥＡＲとなるためＳ２７２で合焦方向が“ＮＥＡＲ”と設定される。
【００８３】
合焦物体位置Ａから本手法によるＡＦが開始されたとして、Ｓ１００〜Ｓ１２０を繰り返し処理することで目標合焦位置の方向に徐々に合焦物体位置が接近する。また、合焦物体位置Ｂから本手法によるＡＦが開始された場合、ＮＥＡＲ側の生体に隠れているＦＡＲ側の生体部分は画像情報を取得できないため、誤った方向に進むことなく合焦物体位置は目標合焦位置方向へ移動する。また、合焦物体位置Ｃから本手法によるＡＦが開始された場合も、Ｓ１００〜Ｓ１２０を繰り返し処理することで目標合焦位置の方向に合焦物体処理が接近する。
【００８４】
図１６（Ａ）〜図１７（Ｄ）は生体モードと針糸モードの違いを示している。図１６（Ａ）に示すように生体モードでは生体が注目被写体となるため、処置具部分のブロックが無効となるが、図１６（Ｂ）に示すように針糸モードでは針や糸を把持する鉗子の先端近傍が注目被写体となるため生体ブロックを無効とする。図１７（Ｂ）〜図１７（Ｄ）はそれぞれ合焦物体位置が図１７（Ａ）のＡ〜Ｃで撮影された画像に対して、モード設定部２０２０に設定されているモード情報が針糸モードに設定されている場合における各ブロックの合焦方向判別結果を表している。
【００８５】
図１７（Ｂ）では無効ブロック設定部２０７０により生体を撮影した評価ブロックが無効となり、有効ブロックにおいて大半の評価ブロックの方向判別結果がＦＡＲとなるため、Ｓ２７３で閾値Ｎを下回りＳ２７８で合焦方向が“ＦＡＲ”と設定される。図１７（Ｃ）では無効ブロック設定部２０７０により生体を撮影した評価ブロックの方向判別結果が無効となるが、生体と鉗子が混ざった評価ブロックなどでは“ＦＡＲ”と判別される場合がある。ただし、有効ブロックにおいて方向判別結果がＮＥＡＲとなる評価ブロックの割合が高くなるため、Ｓ２７３で閾値Ｎを超えＳ２７８で合焦方向が“ＮＥＡＲ”と設定される。図１７（Ｄ）では無効ブロック設定部２０７０により生体を写した評価ブロックが無効となり、有効ブロック内において大半の評価ブロックの方向判別結果がＮＥＡＲとなるため、Ｓ２７３で閾値Ｎを下回りＳ２７８で合焦方向が“ＮＥＡＲ”と設定される。
【００８６】
合焦物体位置Ａから本手法によるＡＦが開始されたとして、Ｓ１００〜Ｓ１２０を繰り返し処理することで目標合焦位置の方向に合焦物体位置が徐々に移動する。合焦物体位置Ｂのように合焦物体位置に対してＮＥＡＲ側に処置具、ＦＡＲ側に生体がある場合でもＳ１００〜Ｓ１２０を繰り返し処理することで誤った方向に進むことなく合焦物体位置は目標合焦位置方向へ徐々に移動する。また、合焦物体位置Ｃから本手法によるＡＦが開始された場合も、Ｓ１００〜Ｓ１２０を繰り返し処理することで目標合焦位置の方向に合焦物体位置が徐々に移動する。
【００８７】
合焦物体位置が目標合焦位置と一致するまでのウォブリングの中心位置の移動例を図１８に示す。図１８ではＮＥＡＲ方向からＡＦを開始させステップＳ１００〜Ｓ１２０を繰り返すことで合焦物体位置が目標合焦位置に接近していく。合焦物体位置の移動により、合焦物体位置が目標合焦位置よりもＦＡＲ側に来る場合がある。合焦物体位置が目標合焦位置よりもＦＡＲ側に来た時点で撮影された画像に対してステップＳ１００〜Ｓ１２０の処理を行うことで合焦方向は“ＮＥＡＲ”となる。図１８に示すように一定時間経過後の合焦物体位置は目標物体位置付近で安定して移動するため、Ｓ１２０の合焦判断処理により合焦と判定した時点で、合焦物体位置は目標物体位置に非常に近い位置となる。
【００８８】
以上の本実施形態によれば、内視鏡においてユーザが注目している領域を、各評価領域に対する方向判別結果を用いて推定し、推定結果に基づきフォーカスレンズを駆動させることで、ユーザが煩雑な操作をすることなく注目被写体へ合焦させることが可能になる。また、針糸モードの場合にはユーザが注目している領域の推定方法を変更することで、常に生体に合焦してしまうことなく、注目被写体へ合焦させることが可能になる。
【００８９】
また、フォーカス制御部２０９５は、方向判別結果に基づいて、ＮＥＡＲと判定された領域の面積情報及びＦＡＲと判定された領域の面積情報の少なくとも一方を求め、面積情報が所与の条件を満たすか否かに基づいて、合焦物体位置をＮＥＡＲ側に移動させるフォーカス制御を行うか、合焦物体位置をＦＡＲ側に移動させるフォーカス制御を行うかを決定してもよい。
【００９０】
ここでの面積情報とは、面積を表す情報であればよく、面積そのものには限定されない。例えば、図８（Ａ）、図８（Ｂ）に示したように各領域（各評価ブロック）のサイズが同一の場合には、面積は評価ブロックの数に比例する情報となるため、ＮＥＡＲと判定された評価ブロック数やＦＡＲと判定された評価ブロック数を上記面積情報としてもよい。また、面積情報は相対的な値であってもよく、例えば所与の領域の面積に対する割合を表すものであってもよい。具体的には、上述したように有効ブロック（評価ブロックのうち無効ブロックでないブロック）の面積或いは数に対する、ＮＥＡＲと判定された評価ブロックの面積或いは数の割合を面積情報としてもよい。また、割合の基準となる領域は有効ブロックに限定されるものではなく、ＡＦ領域に対する割合、或いは撮像画像全体に対する割合等を面積情報としてもよい。ただし、割合の基準となる領域を変更する場合、移動方向判定に用いる判定基準（閾値等）も変更することが望ましい。
【００９１】
このようにすれば、面積情報を用いて合焦物体位置の移動方向（合焦方向）を決定することが可能になる。図１２のＳ２７２、Ｓ２７３に示したように、上述の説明ではＮＥＡＲブロックの割合を面積情報として求めたが、ＦＡＲブロックの面積情報を用いてもよい。上述してきたように、本実施形態では所望の被写体を観察しやすい状態で撮像できるように、撮像部２００自体が操作されることを想定している。つまり、注目している被写体は撮像画像上で大きな面積を占める可能性が高く、面積情報を用いることで注目している被写体を適切に判別し、当該被写体に合焦させることが可能になる。ただし、本実施形態の生体モードでは撮像部２００から遠い被写体を優先するとの原則があることから、生体モードが設定されている場合には、ＮＥＡＲ方向への移動の優先度は低くなる。つまり、上記所与の条件としては合焦物体位置をＮＥＡＲ側に移動させる条件と、ＦＡＲ側に移動させる条件とが考えられるが、ＮＥＡＲ側への移動条件はＦＡＲ側への移動条件に比べて厳しいものとなる。
【００９２】
また、フォーカス制御部２０９５は、ＮＥＡＲと判定された領域の面積情報により表される値が所与のＮＥＡＲ面積閾値以下である場合、又はＦＡＲと判定された領域の面積情報により表される値が所与のＦＡＲ面積閾値以上の場合に、合焦物体位置をＦＡＲ側に移動させ、ＮＥＡＲと判定された領域の面積情報により表される値がＮＥＡＲ面積閾値より大きい場合、又はＦＡＲと判定された領域の面積情報により表される値がＦＡＲ面積閾値より小さい場合に、合焦物体位置をＮＥＡＲ側に移動させるフォーカス制御を行ってもよい。
【００９３】
ここで、ＮＥＡＲ側の面積情報との比較処理に用いられるＮＥＡＲ面積閾値は図１２のＳ２７２に示したＭ又はＳ２７３に示したＮである。また、以上の説明ではＦＡＲ側の面積情報とＦＡＲ面積閾値との比較処理は特に行っていない。なぜなら上述したように各面積情報を有効ブロックに対する割合とした場合、ＮＥＡＲ側の面積情報の値とＦＡＲ側の面積情報の値の和は１００（％）となる。つまり、ＦＡＲ面積閾値＝１００−ＮＥＡＲ側面積閾値（％）とすれば、「ＮＥＡＲ側の面積情報がＮＥＡＲ面積閾値以下である」という条件と「ＦＡＲ側の面積情報がＦＡＲ面積閾値以上である」との条件は同義となり、その両方を判定する意義が薄いためである。ただし、面積情報が種々の変形実施が可能なように、閾値の設定や具体的な判定手法についても種々の変形実施が可能である。
【００９４】
このようにすれば、閾値判定により合焦方向を判別することが可能になる。その際、閾値を適宜変更することで柔軟な判定処理を行うことが可能になる。例えば、上述したように生体モードにおけるＮＥＡＲ判定閾値（＝Ｍ）を大きく設定すれば、ＮＥＡＲと判定された領域が十分大きくなければＦＡＲ側に移動することになるため、撮像部２００から遠い被写体に優先して合焦する制御が可能になる。ここでのＭは例えば５０より大きい値（狭義には５０〜７０等）であり、この場合撮像画像において、ＮＥＡＲと判定された領域が半数を超えて優勢にならない限り、合焦方向はＦＡＲとなる。また、遠い被写体に合焦するという原則に対する例外モード、すなわち針糸モードであれば、Ｍに比べて小さい値であるＮをＮＥＡＲ面積閾値に設定することで、撮像部２００に近い被写体に優先して合焦させることも可能である。
【００９５】
また、フォーカス制御部２０９５は、所与の領域における方向判別結果の時系列的な変化に基づいて、所与の領域に対する方向判別結果を補正する補正処理を行い補正処理後の方向判別結果に基づいて、合焦物体位置をＮＥＡＲ側に移動させるフォーカス制御を行うか、合焦物体位置をＦＡＲ側に移動させるフォーカス制御を行うかを決定してもよい。
【００９６】
上述のフローチャートを用いた処理の説明では、各評価ブロックに対する方向判別結果がその後変更されることはなかった。しかし、方向判別結果に対して補正処理を行い、場合によっては一度求められた方向判別結果を変更するような変形実施も可能である。信頼度に関連して図９で述べたように、一般的に所与のブロックに着目した場合、方向判別結果は同じ結果が連続する可能性が高い。例えば、図１３（Ａ）でＡをウォブリング中心位置に対応する合焦物体位置のスタートとした場合、有効ブロック、すなわち生体を撮像しているブロックでは、しばらく合焦方向はＦＡＲで安定するはずである。なぜなら、１回の移動でウォブリング中心位置がＡからＣへ変化してしまうようでは、合焦物体位置の高精度での調整が困難であり、中心位置はＡからＣの方向へ少しずつ変化すると考えられるためである。
【００９７】
また、無効ブロックを設定しない場合、或いは無効ブロックを設定したものの１つのブロックに生体と処置具が混在する場合のように、生体モードで処置具を撮像したブロックの方向判別結果を利用する場合には、合焦物体位置が処置具の位置となるＤの近辺では、ＮＥＡＲ、ＦＡＲの結果が変化する。しかし、Ｄの以前、及びＤ以後をそれぞれ考慮すれば、方向判別結果は安定するはずである。
【００９８】
もちろん、正解となる合焦位置の近辺では、ウォブリングの中心位置は図１８に示したように振動することになり、目標の被写体を撮像した評価ブロックでの方向判別結果もＮＥＡＲ、ＦＡＲが頻繁に変化することになる。しかしそのような例外的な状況を除けば、方向判別結果が頻繁に変化することは考えにくいと言える。
【００９９】
上述の説明では、以上の点を踏まえて方向判別結果の時系列での変化を信頼度の算出に用いてもよいとしていた。しかし処理はこれに限定されず、方向判別結果の時系列での変化から、方向判別結果を補正してもよい。例えば、ＮＥＡＲが連続している状況で、突然方向判別結果がＦＡＲになった場合には、当該ＦＡＲは誤判定であると考えて、判別結果をＮＥＡＲに修正してもよい。特に、リアルタイム処理を行わなくてもよい場合、処理対象フレームよりも時間的に後のフレームの方向判別結果も取得可能である。その場合、ＮＥＡＲが連続した後にＦＡＲとなり、且つその後はまたＮＥＡＲが連続しているといった状況も検出できる。そのような場合には、ＦＡＲが誤判定である可能性が非常に高く、ＦＡＲと判定されたフレームの方向判別結果をＮＥＡＲに補正するとよい。
【０１００】
また、フォーカス制御部２０９５は、複数の領域のうち、撮像部２００からの距離が遠い領域に対して優先して合焦する第１のモードと、複数の領域のうち、撮像部２００からの距離が近い領域に対して優先して合焦する第２のモードとを有してもよい。
【０１０１】
ここで、第１のモードとは狭義には生体モードであり、第２のモードとは狭義には針糸モード（処置具モード）である。このようにすれば、撮像部２００からの距離が遠い領域を優先するだけでなく、柔軟にフォーカス制御を変更することが可能になる。上述したように、撮像部２００から遠い領域を優先するのは、生体内画像を対象とした場合、当該領域に注目被写体である生体が撮像されている可能性が高いと判定できるためである。つまり、生体自体が注目被写体でなければ、撮像部２００から遠い領域を優先することでかえって注目している被写体に合焦できないケースも出てくる。その点、モードによりフォーカス制御を切り替えるものとすれば、種々の状況に柔軟に対応可能となる。
【０１０２】
また、フォーカス制御部２０９５は、ユーザによる操作に基づいて、第１のモードと第２のモードの切替を行ってもよい。
【０１０３】
これにより、ユーザの操作によりモード切替を行うことが可能になる。なお、ユーザによる操作は例えば操作部を用いて行われればよく、当該操作部は撮像部２００に設けられるものであってもよいし、外部Ｉ／Ｆ部５００として実現されるものであってもよい。また、モード切り替えを他の手法により行ってもよく、例えばフォーカス制御装置による自動切り替え等の変形実施も可能である。
【０１０４】
また、フォーカス制御部２０９５は、第１のモードでは前記所与の条件として第１の条件を用いてフォーカス制御を行い、第２のモードでは前記所与の条件として第１の条件とは異なる第２の条件を用いてフォーカス制御を行ってもよい。
【０１０５】
ここでの所与の条件とは、面積情報を対象とした条件であり、合焦物体位置をＮＥＡＲ側に移動させるフォーカス制御を行うか、合焦物体位置をＦＡＲ側に移動させるフォーカス制御を行うかを決定する条件である。
【０１０６】
このようにすれば、モードに応じて合焦物体位置を移動させる際に用いる条件を変更することが可能になる。言い換えれば、モードに応じて条件を変更することで、撮像部２００から遠い領域を優先するか、近い領域を優先するかを変更することを可能にしている。例えば、上述したように面積情報により表される値が閾値に対して所与の関係を満たすことを条件とする場合、条件の変更は閾値の変更に相当する。図１２のＳ２７２，Ｓ２７３に示したように、ＮＥＡＲブロックの面積情報とＮＥＡＲ面積閾値を比較する場合、第１のモード（生体モード）ではＮＥＡＲ面積閾値をＭとし、第２のモード（針糸モード）ではＮＥＡＲ面積閾値をＮ（＜Ｍ）としている。ここでのＮＥＡＲ面積閾値の値は、上述したものと同様であり、ＮＥＡＲと判定された領域が優勢になっているか否かを判定可能な値とすればよい。例えば、Ｍは有効ブロック（無効ブロック以外の評価ブロック）の総面積の５０％より大きい面積に対応する値である。
【０１０７】
また、フォーカス制御部２０９５は、複数の領域の各領域の特徴量を求め、特徴量に基づいて、合焦物体位置を移動させる方向を決定する処理の対象とならない無効領域を設定してもよい。
【０１０８】
このようにすれば、各領域の特徴量を用いた処理が可能になる。具体的には、特徴量から各領域に撮像された被写体を判定してもよい。その場合、特徴量を用いることで、各領域について当該領域に注目している被写体が撮像されているかを判定することが可能になる。よって、注目している被写体が撮像されていない領域については、無効領域（無効ブロック）に設定してその後の処理から除外することで、不適切な領域に対して合焦する可能性を抑止できる。
【０１０９】
具体的には、フォーカス制御部２０９５は、特徴量に基づいて、複数の前記領域のうち、生体以外が撮像されていると判定された領域を、無効領域に設定してもよい。さらに具体的には、フォーカス制御部２０９５は、第１のモードでは、生体以外が撮像されていると判定された領域を、無効領域に設定し、第２のモードでは、生体が撮像されていると判定された領域を、無効領域に設定すればよい。
【０１１０】
このようにすれば、モードに応じて適切な領域を無効領域に設定することが可能になる。具体的には、生体モードでは生体以外を無効領域とすれば、生体以外の被写体に合焦することを抑止できるし、生体モードではないモード（狭義には針糸モード）であれば、生体を無効領域とすれば、生体に合焦することを抑止できる。
【０１１１】
なお、以上では無効領域について説明を行ったが、有効領域を設定し、合焦物体位置を移動させる方向を決定する処理を、当該有効領域を対象として行ってもよい。具体的には、フォーカス制御部２０９５は、複数の領域の各々の特徴量を求め、特徴量に基づいて、複数の領域のうち、合焦物体位置を移動させる方向を決定する処理の対象となる有効領域を設定してもよい。
【０１１２】
このようにしても、注目している被写体が撮像されている領域を選択して、その後の処理の対象とするため、不適切な領域に対して合焦する可能性を抑止できる。
【０１１３】
具体的には、フォーカス制御部２０９５は、特徴量に基づいて、複数の領域のうち、生体が撮像されていると判定された領域を、有効領域に設定してもよい。さらに具体的には、フォーカス制御部２０９５は、第１のモードでは、生体が撮像されていると判定された領域を、有効領域に設定し、第２のモードでは、生体以外が撮像されていると判定された領域を、有効領域に設定すればよい。
【０１１４】
さらにいえば、合焦物体位置を移動させる方向を決定する処理に対する各領域の重み（寄与度）を１と、０のいずれかに限定する必要もなく、中間的な値を設定してもよい。ここで、重みが１とは有効領域、又は無効領域でない領域に対応し、重みが０とは無効領域、又は有効領域でない領域に対応する。具体的には、フォーカス制御部２０９５は、複数の領域の各々の特徴量を求め、特徴量に基づいて、合焦物体位置を移動させる方向を決定する処理における各領域の重みを表す重み情報を設定してもよい。
【０１１５】
この場合、フォーカス制御部２０９５は、第１のモードでは、生体が撮像されていると判定された（生体が撮像されている可能性が高いと判定された）領域の重みを大きく設定し、第２のモードでは、生体以外が撮像されていると判定された（生体以外が撮像されている可能性が高いと判定された）領域の重みを大きく設定すればよい。具体的には、生体に対応する特徴量を事前に設定しておき、各領域から求められた特徴量と生体に対応する特徴量の相関を用いればよい。相関が高いほど生体が撮像されている可能性が高いため、第１のモードでは重みが大きくなるし、第２のモードでは重みが小さくなる。同様に、生体以外に対応する特徴量を事前に設定しておき、各領域から求められた特徴量と生体以外に対応する特徴量の相関を用いてもよい。この場合、相関が高いほど生体以外が撮像されている可能性が高いため、第１のモードでは重みが小さくなるし、第２のモードでは重みが大きくなる。相関の高低を求める手法は種々考えられるが、例えば特徴量間のマハラノビス距離を求め、距離が小さいほど相関が高いとしてもよい。
【０１１６】
重み情報を設定する場合、合焦物体位置の移動方向の決定の際には、面積情報をそのまま用いるのではなく、重み情報による重みづけを行う。一例としては、各評価ブロックにおいて面積情報×重み情報の値を求め、ＮＥＡＲと判定された全評価ブロックでの面積情報×重み情報の値の総和を、ＮＥＡＲブロックの面積情報としてもよい。この点は、ＦＡＲブロックの面積情報を用いる場合も同様である。
【０１１７】
また、方向判別部２０４０は、各領域における方向判別結果の確からしさを表す信頼度を求めてもよい。
【０１１８】
これにより、方向判別結果が信頼できるか否かを判定することが可能になる。その際、フォーカス制御部２０９５は、図１０等に示したように、信頼度に基づいて、合焦物体位置を移動させる方向を決定する処理の対象とならない無効領域を設定してもよい。このようにすれば、所与の領域での方向判別結果が信頼できない場合、当該領域を処理対象外とできるため、不適切な方向を合焦方向とする可能性を抑止できる。
【０１１９】
また、領域設定部２０１０は、フォーカス制御部２０９５で第１のモードが設定された場合に比べて、第２のモードが設定された場合は、設定される領域の位置、サイズ及び数の少なくとも１つを変更してもよい。
【０１２０】
このようにすれば、モードに応じて、狭義には各モードが想定している注目被写体に応じて、適切な領域を設定することが可能になる。図８（Ｂ）に示した第２のモードでは、図８（Ａ）に示した第１のモードに比べて領域（評価ブロック）のサイズが小さく、数が多くなっている。これは上述したように、第１のモードで想定している生体に比べて、第２のモードで想定している針や糸は小さく細い被写体であることに起因している。また、上述したように第２のモードでは第１のモードに比べてＡＦ領域を画像の下部に偏らせてもよく、その場合、評価ブロックの位置も変化することになる。
【０１２１】
また、方向判別部２０４０は、方向判別処理の対象となる撮像画像が取得されたタイミングにおける合焦物体位置に基づく位置を基準位置として、方向判別処理を行ってもよい。
【０１２２】
具体的には、本実施形態ではウォブリングによるフォーカス制御を想定しておる。この場合、各処理タイミングでは合焦物体位置を現在位置に対してどちらの方向に移動させるかを判別できれば十分である。つまり、この場合のＮＥＡＲとＦＡＲの基準となる基準位置は、処理対象タイミングに対応する合焦物体位置、或いはそこから決定される位置とすればよく、具体的にはウェブリングの中心位置に対応する合焦物体位置を用いればよい。
【０１２３】
また、方向判別部２０４０は、基準位置よりも合焦物体位置がＮＥＡＲ側となる状態で撮像された第１の撮像画像と、基準位置よりも合焦物体位置がＦＡＲ側となる状態で撮像された第２の撮像画像とを含む複数の撮像画像から、各領域に対してＡＦ評価値を算出し、第１の撮像画像で算出されたＡＦ評価値と第２の撮像画像で算出されたＡＦ評価値の比較処理に基づいて、方向判別処理を行ってもよい。
【０１２４】
これにより、フォーカス制御としてウォブリングによる制御を実行することが可能になる。具体的には、上述したように各処理タイミングにおいて、合焦物体位置を現在位置に対してどちらの方向に移動させるかを判別すればよく、さらに具体的には、合焦物体位置を現在位置（基準位置）に対してＮＥＡＲ側とＦＡＲ側にそれぞれ振ったときの画像を比較すればよい。また、その比較処理にはコントラスト値等のＡＦ評価値を用いればよい。
【０１２５】
また、本実施形態に係るフォーカス制御装置は、異なる観点から捉えることも可能である。具体的には本実施形態に係るフォーカス制御装置は、撮像部２００で撮像される撮像画像を取得する画像取得部（狭義には図３のＡＤ変換部３１０のような撮像部２００とのインターフェースであるが、これには限定されない）と、ウォブリングによるフォーカス制御を行うフォーカス制御部２０９５と、を含むものであってもよい。そして、生体と処置具との間にウォブリングの基準位置に対応する合焦物体位置がある場合に、フォーカス制御部２０９５は、ウォブリングの基準位置に対応する合焦物体位置に対して、生体の方向を第１の方向とし、処置具の方向を第２の方向とした場合に、第２の方向に比べて第１の方向を優先して、合焦物体位置を移動させるウォブリングによるフォーカス制御を行う。
【０１２６】
上述してきたように、生体が撮像される画像（狭義には生体内画像）を対象とした場合、ユーザの関心は生体に向けられ、処置具等はフォーカス制御においては障害物となる可能性が高い。よってウォブリングによる合焦物体位置の移動方向（ウォブリング中心位置に対応する合焦物体位置の移動方向）は、生体の方向に移動しやすいものとすればよい。
【０１２７】
具体的な実現手法は種々考えられるが、例えばフォーカス制御部２０９５は、撮像画像から求められる特徴量に基づいて、撮像画像に撮像された被写体が生体であるか否かを判別し、生体と判定された被写体に合焦する方向を第１の方向として、ウォブリングによるフォーカス制御を行ってもよい。
【０１２８】
この場合、上述した無効ブロックの設定手法と同様に、各領域の被写体が生体であるか、生体以外であるかを判別可能であるため、生体と判定された領域を対象としてフォーカス制御を実行すれば、第１の方向を優先することが可能になる。
【０１２９】
或いは、直接的に生体であるか否かを判定せずとも、結果的に生体である可能性が高い領域を優先したフォーカス制御を行うことが可能である。例えば、フォーカス制御部２０９５は、撮像画像の各領域の面積情報に基づいて、撮像画像において面積が大きいと判定された領域を生体に対応する領域であると判定し、生体に対応すると判定された領域に合焦する方向を第１の方向として、ウォブリングによるフォーカス制御を行ってもよい。
【０１３０】
この場合、色等の情報を用いているわけではないため、各領域に撮像された被写体が生体であるか否かは直接的にはわからない。しかし上述したように、本実施形態が想定している状況では、生体に注目している可能性が高く、且つ注目している被写体は撮像画像において大部分を占める可能性が高い。つまり、画像上での面積情報を考慮すれば、生体であろうと推定される領域を判別可能である。言い換えれば、面積情報に基づくフォーカス制御を行えば、結果として生体を優先したフォーカス制御を実行することが可能である。
【０１３１】
また、以上の本実施形態はフォーカス制御装置に限定されず、フォーカス制御装置を含む内視鏡装置（内視鏡システム）に適用することが可能である。具体的には、図３に示したような内視鏡システムであってもよい。この場合、撮像画像が生体内画像となり、撮像部２００から遠い生体に優先して合焦するとともに、必要に応じて手前側の生体や処置具等にも合焦することが可能な内視鏡装置を実現することが可能になる。
【０１３２】
また、本実施形態のフォーカス制御装置等は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただしプロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣ（application specific integrated circuit）によるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係るフォーカス制御装置等の各部が実現されることになる。ここでのメモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
【０１３３】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またフォーカス制御装置、内視鏡装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１３４】
１００  硬性鏡、１１０  レンズ系、１２０  ライトガイド部、２００  撮像部、
２１０  ＡＦボタン、２２０  フォーカスレンズ、
２３０  フォーカスレンズ駆動部、２４０  対物レンズ系、２５０  撮像素子、
３００  処理部、３１０  ＡＤ変換部、３２０  前処理部、３３０  画像処理部、
３４０  ＡＦ制御部、３５０  制御部、４００  表示部、５００  外部Ｉ／Ｆ部、
６００  光源部、６１０  白色光源、６２０  ライトガイドケーブル、
２０１０  領域設定部、２０２０  モード設定部、
２０３０  ブロックＡＦ評価値算出部、２０４０  方向判別部、
２０５０  信頼度算出部、２０６０  ブロック特徴量算出部、
２０７０  無効ブロック設定部、２０７５  無効フレーム設定部、
２０８０  合焦方向判別部、２０９０  フォーカスレンズ制御部、
２０９５  フォーカス制御部
【図１】
0006453905.tif 000002
【図２】
0006453905.tif 000003
【図３】
0006453905.tif 000004
【図４】
0006453905.tif 000005
【図５】
0006453905.tif 000006
【図６】
0006453905.tif 000007
【図７】
0006453905.tif 000008
【図８】
0006453905.tif 000009
【図９】
0006453905.tif 000010
【図１０】
0006453905.tif 000011
【図１１】
0006453905.tif 000012
【図１２】
0006453905.tif 000013
【図１３】
0006453905.tif 000014
【図１４】
0006453905.tif 000015
【図１５】
0006453905.tif 000016
【図１６】
0006453905.tif 000017
【図１７】
0006453905.tif 000018
【図１８】
0006453905.tif 000019