(57)【特許請求の範囲】
【請求項１】
オートフォーカス機構付き撮像システムを調整する方法であって、
ユーザ用制御子の操作による第１方向のスキャン開始の指示を検出したことを条件にスキャンを開始するステップを含むオートフォーカス機構のスキャン手順であるオートフォーカス手順の実行を求める実行指令を撮像システムのユーザから受け取るステップと、
その実行指令を受け取った後に、光学系の第１焦点位置から第２焦点位置への第１方向にオートフォーカス機構でスキャンさせるステップと、
第１方向のスキャン中に一群の画像を撮影させるステップと、
第１方向のスキャン中の一群の画像を処理することによって各画像毎に合焦指標値を計算するステップと、
計算された複数の合焦指標値に基づいて、合焦のために、最大値を基準とした所定範囲の閾値を設定するステップと、
ユーザ用制御子の操作による第１方向のスキャン終了指示を受けたことを条件に、予め定めた基準によりスキャンの方向を反転するか否かを判定し、第１方向のスキャンの後、スキャン方向を反転させて光学系の第２焦点位置から第１焦点位置への第２方向にオートフォーカス機構でスキャンさせるステップと、
第２方向のスキャン中に一群の画像を撮影させるステップと、
第２方向のスキャン中の一群の画像を処理することによって各画像毎に合焦指標値を計算するステップと、
第２方向のスキャン中において計算された合焦指標値が、設定された閾値以上になったときに、第２方向のスキャンを終了して、その位置を光学系の最適焦点位置とするステップと、
を有する方法。
【請求項２】
請求項１記載の方法であって、
第１方向のスキャンを開始し、第１方向のスキャン終了指示を受けた後、光学系の第２焦点位置まで第１方向のスキャンを継続させた後に、第２方向へスキャンの方向を反転する方法。
【請求項３】
請求項１または２に記載の方法であって、
合焦指標値の極大値を取得するステップと、
合焦指標値の極大値を示す画像を取得してから予め定めた所定の数の画像が取得されたことを判別するステップと、
合焦指標値の極大値を示す画像を取得してから予め定めた所定の数の画像が取得されたときの光学系の焦点位置を第２焦点位置とする方法。
【請求項４】
請求項３記載の方法であって、
合焦指標値の極大値と比べて予め定めた所定の割合だけ小さい合焦指標値を示す画像が取得されたか否か判別するステップを有し、
合焦指標値の極大値を示す画像を取得してから予め定めた所定の数の画像が取得され、合焦指標値の極大値と比べて予め定めた所定の割合だけ小さい合焦指標値を示す画像が取得されたときに、その所定の割合だけ小さい合焦指標値を示す画像が取得されたときの光学系の焦点位置を第２焦点位置とする方法。
【請求項５】
請求項１または２に記載の方法であって、
光学系の焦点位置がオートフォーカス機構の移動の限界値となる位置を第２焦点位置とする方法。
【請求項６】
請求項１記載の方法であって、撮像システムを構成するカメラ上のボタンをユーザ用制御子として用いる方法。
【請求項７】
請求項１記載の方法であって、合焦指標値を計算するため画像処理の際に画像のエッジを調べる方法。
【請求項８】
請求項１記載の方法であって、画像を処理する際その画像上にある複数のウィンドウ内で合焦指標値を計算し、その複数のウィンドウのうち少なくとも１個を選んで合焦指標値を解析することによって光学系の最適焦点位置を選択する方法。
【請求項９】
請求項１記載の方法であって、撮影する画像が被写体の内部構造であり、その撮影に内視鏡を用いる方法。
【請求項１０】
請求項１記載の方法であって、撮像システムを色バランス処理用のターゲットに向けてそれを撮影するとき、オートフォーカス手順の実行を求める実行指令を受け取る方法。
【請求項１１】
画像センサと、
画像センサ上に像を結ばせる撮像光学系であって、その光学系の焦点位置を調整するオートフォーカス機構を有する撮像光学系と、
オートフォーカス機構のスキャン手順であるオートフォーカス手順を起動させ停止させることができるユーザ操作可能なオートフォーカス制御子と、
オートフォーカス機構をスキャンさせるコントローラと、
を備え、
コントローラは、
ユーザ用制御子の操作による第１方向のスキャン開始の指示を検出したことを条件にスキャンを開始するステップを含むオートフォーカス手順の実行を求める実行指令を撮像システムのユーザから受け取るステップと、
その実行指令を受け取った後に、光学系の第１焦点位置から第２焦点位置への第１方向にオートフォーカス機構でスキャンさせるステップと、
第１方向のスキャン中に一群の画像を撮影させるステップと、
第１方向のスキャン中の一群の画像を処理することによって各画像毎に合焦指標値を計算するステップと、
計算された複数の合焦指標値に基づいて、合焦のために、最大値を基準とした所定範囲の閾値を設定するステップと、
ユーザ用制御子の操作による第１方向のスキャン終了指示を受けたことを条件に、予め定めた基準によりスキャンの方向を反転するか否かを判定し、第１方向のスキャンの後、スキャン方向を反転させて光学系の第２焦点位置から第１焦点位置への第２方向にオートフォーカス機構でスキャンさせるステップと、
第２方向のスキャン中に一群の画像を撮影させるステップと、
第２方向のスキャン中の一群の画像を処理することによって各画像毎に合焦指標値を計算するステップと、
第２方向のスキャン中において計算された合焦指標値が、設定された閾値以上になったときに、第２方向のスキャンを終了して、その位置を光学系の最適焦点位置とするステップと、
を実行することを特徴とするオートフォーカス機構付き撮像システム。
【請求項１２】
請求項１１記載の撮像システムであって、撮像システムを構成するカメラ上のボタンをユーザ用制御子として用いることを特徴とするオートフォーカス機構付き撮像システム。
【請求項１３】
請求項１２記載の撮像システムであって、コントローラは、合焦指標値を計算するため画像処理の際に画像のエッジを調べることを特徴とするオートフォーカス機構付き撮像システム。
【請求項１４】
請求項１２記載の撮像システムであって、コントローラは、画像を処理する際その画像上にある複数のウィンドウ内で合焦指標値を計算し、そのウィンドウのうち少なくとも１個を選んで合焦指標値を解析することによって光学系の最適焦点位置を選択することを特徴とするオートフォーカス機構付き撮像システム。
【請求項１５】
請求項１２記載の撮像システムであって、撮影する画像が被写体の内部構造であり、その撮影に内視鏡を用いることを特徴とするオートフォーカス機構付き撮像システム。
【請求項１６】
請求項１２記載の撮像システムであって、コントローラは、撮像システムを色バランス処理用のターゲットに向けてそれを撮影するとき、オートフォーカス手順の実行を求める実行指令を受け取ることを特徴とするオートフォーカス機構付き撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２００７年５月２４日付で提出された米国暫定特許出願第６０／９４００４７号に基づく優先権主張を伴い当該出願に基づく利益を享受する出願である。なお、当該暫定特許出願の内容はこの参照を以て本願に繰り入れられ、あらゆる意味で本願記載事項として扱われるべきものとする。
【０００２】
本発明は電子撮像、とりわけ医用電子撮像装置におけるオートフォーカスに関する。
【背景技術】
【０００３】
内視鏡カメラは、相応の内視鏡光学系を介して被写体の内部構造を撮像し表示用の画像を得る手段であり、大抵はオートフォーカス機構を内蔵している。オートフォーカス機構は撮影した画像の質が良好になるよう内視鏡光学系を自動的に合焦させる。
【０００４】
内視鏡撮像の分野で既知のオートフォーカス機構には様々な種類がある。例えばこの参照を以て本願に繰り入れられるところの特許文献１には、焦点の合った被写体画像が得られるよう、見たい被写体までの距離に基づき光学系の焦点位置を自動制御するオートフォーカス装置が記載されている。この装置では、被写体照明用光源の強度を変化させてその被写体からの反射光の強度を計測することで被写体までの距離を自動検知し、更にその距離に応じてフォーカスレンズを動かし焦点を合わせて画像を撮影する。
【０００５】
また例えば、この参照を以て本願に繰り入れられるところの特許文献２には、内視鏡画像における画像エリア非画像エリア間境界を利用し内視鏡光学系の焦点位置を制御するオートフォーカス型内視鏡システムが記載されている。この手法であれば、オートフォーカス動作がよりロバストになり、コントラストの環境依存性に左右されにくくなる。
【０００６】
【特許文献１】米国特許第４３８９５６５号明細書
【特許文献２】米国特許第６７４９５６１号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、何らかの撮像パラメータを計測しそのパラメータが最適になるよう撮像用光学系の焦点位置を変化させる従来のオートフォーカス機構では、パラメータ変化に応じ自動実行される焦点位置再探索で、最適な焦点位置がなかなか見つからないことがある。例えば、焦点位置再探索に長時間を費やした挙げ句に焦点が外れてしまったり、シーンが変わるといたずらに焦点位置再探索が行われたり、といった問題が、内視鏡の分野等でしばしば生じている。そのため、オートフォーカス方法及びシステムを改良することが求められていた。
【課題を解決するための手段】
【０００８】
後述する本発明の実施形態においては、こうしたオートフォーカス上の問題を解決するためシステムのユーザから支援を受ける。ユーザから指令を与えてオートフォーカス動作を開始させると、オートフォーカス機構が撮像用光学系の焦点位置についてのスキャンを開始する。オートフォーカス機構によって始点である光学系の第１焦点位置から第２焦点位置までスキャンが行われている間に、システムは画像を撮影させその合焦指標値を調べる。この自動探索によって光学系の最適焦点位置が見つかった後は、その焦点位置をオートフォーカス機構によって維持する。即ち、ユーザが再びオートフォーカス制御子を操作するまでは、仮に画像特性が変化したとしても焦点位置再探索は行わないようにする。
【０００９】
実施に当たっては、光学系の第２焦点位置、ひいては最適焦点位置探索時にオートフォーカス機構がスキャンする範囲を、例えばユーザによる相応の入力操作で指定及び制御する。ユーザによる光学系の第２焦点位置の指定は、その第２焦点位置における撮像用光学系の焦点位置が光学系の最適焦点位置の近似値となるよう行うのが望ましい。この種のユーザ入力は、適切な光学系の焦点位置へとシステムを迅速に収束させる上で助けになる。
【００１０】
また、後述の実施形態では内視鏡撮像に本発明が適用されているが、本発明の原理はこれ以外の電子撮像分野にも同様に適用することができ、それによってその分野でインタラクティブなオートフォーカス機能を提供することができる。
【００１１】
ここに、本発明の一実施形態に係る方法は、オートフォーカス機構付き撮像システムを調整する方法であって、オートフォーカス手順の実行を求める指令を撮像システムのユーザから受け取るステップと、その指令を受け取った後に、光学系の第１焦点位置と第２焦点位置への第１方向にオートフォーカス機構でスキャンさせるステップと、そのスキャン中に撮像システムに一群の画像を撮影させるステップと、上記一群の画像を処理することによって画像毎に合焦指標値を計算するステップと、合焦指標値を解析することによって光学系の最適焦点位置を選択するステップと、オートフォーカス機構で光学系の焦点位置を光学系の最適焦点位置に合わせるステップと、を有する。
【００１２】
また、本発明の一実施形態に係る撮像装置は、画像センサと、画像センサ上に結像するよう構成されており、その光学系の焦点位置を調整するためのオートフォーカス機構を有する撮像用光学系と、本装置のユーザによって操作されたとき、オートフォーカス手順の実行を求める指令を発するオートフォーカス制御子と、その指令を受け取った後に、光学系の第１焦点位置と第２焦点位置への第１方向にオートフォーカス機構にスキャンさせ、そのスキャン中に撮像システムが撮影した一群の画像を処理することによって画像毎に合焦指標値を計算し、その合焦指標値を解析することによって光学系の最適焦点位置を選択し、オートフォーカス機構で光学系の焦点位置をその光学系の最適焦点位置に合わせるコントローラと、を備える。
【００１３】
実施に当たっては、例えば、撮像システムと連携するユーザ用制御子が操作及び解放されたことを検知することにより、上記指令を受け取る。ユーザ用制御子としては、例えば撮像システムを構成するカメラ上のボタンを用いる。オートフォーカス機構によるスキャンに当たっては、例えばユーザ用制御子が解放されたときの光学系の焦点位置を以て光学系の第２焦点位置と見なすとよい。
【００１４】
画像を処理する際には、合焦指標値を計算するため例えば画像のエッジを調べる。
【００１５】
実施に当たっては、例えば、画像を処理する際その画像上にある複数のウィンドウ内で合焦指標値を計算し、そのウィンドウのうち少なくとも１個を選んで合焦指標値を解析することによって光学系の最適焦点位置を選択する。
【００１６】
実施に当たっては、オートフォーカス機構によって第１方向沿いに光学系の焦点位置をスキャンさせ、更にその第１方向とは逆の第２方向沿いに光学系の焦点位置を少なくとも１回スキャンさせることによって、光学系の最適焦点位置を探すとよい。例えば、第１方向沿いスキャンの最中に、光学系の最適焦点位置を表すしきい値を合焦指標値に関し設定し、第２方向沿いスキャンを、合焦指標値がしきい値をよぎったとき又は所定の制限時間が満了したときに終了させる。
【００１７】
実施に当たっては、例えば被写体の内部構造を内視鏡により撮影する。
【００１８】
また、撮像システムを色バランス処理用のターゲットに向けそれを撮影するときに上記指令を受け取るようにしてもよい。
【００１９】
本発明には、後に詳細に図示説明する通り、上掲のもの以外にも様々な実施形態がある。いずれの実施形態も、既知のコンピュータデバイス用記憶・記録媒体上に保存された機械可読且つ機械可実行な命令群、という形態を採って実施することができる。
【００２０】
そして、以上の説明は本発明の実施形態及び特徴事項を限定列挙する趣旨のものではない。本件技術分野において習熟を積まれた方々（いわゆる当業者）ならば、後掲の詳細説明及び図面を併せ参照することで他の実施形態に想到することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明についてより的確にご理解頂くため、その実施形態について別紙図面を参照しつつ詳細に説明する。
【００２２】
図示した構成は、「従来技術」との注記があるものを除き本発明の実施形態である。
【００２３】
本発明の代表的な実施形態を表す図１〜図５では、同一又は同様の構成要素に同一の参照符号を付してある。
【００２４】
図１に、本発明の一実施形態に係る内視鏡撮像システム２０を模式的且つ描写的に示す。これは、患者２６の体内組織（anatomical structure）を内視鏡２４越しに捉え、ビデオカメラ２２でその画像３０を撮影するシステムであり、その内視鏡２４例えばリジッド型腹腔鏡の手許部（体外に残っている部分）にカメラ２２が連結されている。但し、内視鏡２４はリジッドに限らずフレキシブルでもよいし、腹腔鏡以外の内視鏡であってもよい。また、カメラ２２は内視鏡２４の手許部に限らず先端部に設けてもよいが、光学系の焦点位置を自動調整できるよう構成しておく必要がある。更に、機械検査システムや顕微鏡システム等、内視鏡撮像システム以外の撮像システムに対しても、本発明の着想を適用することができる。
【００２５】
カメラ２２はその撮像光学系３６によって画像センサ３８上に像を結ばせる仕組みであり、そのセンサ３８としてはＣＣＤセンサ、Ｃ−ＭＯＳセンサ等の検知デバイスが１個又は複数個使用されている。光学系３６は可調型であり、その光学系の焦点位置を外部制御で変化させセンサ３８上に像を結ばせることができる。光学系の焦点位置を調整する機構は本件技術分野で既知のものでよく、この例では光学系３６のレンズのうち１枚又は複数枚をモータで動かしている。使用時には、ユーザ２８（通常は医療従事者）が内視鏡２４を手繰り意中の体内組織に向け、その像を捉えるセンサ３８の出力をコンソール３２で処理し、その結果に基づきビデオ画像３０を相応のフォーマットで表示乃至出力する。
【００２６】
患者体内に内視鏡２４を差し入れ意中の体内組織に向けた後、ユーザ２８はオートフォーカス制御子３４又は３５を操作してオートフォーカス手順を起動させる。オートフォーカス手順は光学系３６の焦点位置を最適化する手順であり、これについては後に別紙図面を参照して説明する。オートフォーカス手順の起動は、色バランス調整（例えば白バランス調整）と併せ実施することもできる。それには内視鏡２４を操作し校正ターゲット（例えば図示しない白色パッド）に向ければよい。また、図中の制御子３４及び３５は二連の押しボタンであり、これを操作することによって、オートフォーカス機構に対し光学系の焦点位置の前進及び後退を指令することができる。但し、本システム２０では、これ以外の種類の押しボタン、スイッチ乃至制御子をオートフォーカス制御子として用いることもでき、またその個数を任意の個数例えば１個にすることもできる。オートフォーカス手順は、コンソール３２による制御の下で、或いはカメラ２２その他のハウジング内に収容された他の適当なコントローラによって、或いはそれらの組み合わせで実行する。
【００２７】
図２に、本発明の一実施形態におけるユーザ支援オートフォーカス手順の流れを模式的に示す。本手順はユーザ２８がオートフォーカス制御子３４又は３５を押下すると開始される（起動ステップ４０）。その制御子が押されている間、コントローラ例えばコンソール３２は光学系３６のオートフォーカス機構を制御し、光学系の焦点位置をある範囲内で前進方向又は後退方向にゆっくりスキャンしつつ、撮影を行わせる。
【００２８】
その途上で画像センサ３８により撮影された一群の画像３０は、コントローラによって出力例えば対ユーザ表示される。コントローラは、それらの画像３０の特性のうち合焦の度合い（image focal quality）を表す指標値を一種類又は複数種類計測し、その合焦指標値を光学系の焦点位置に関連づけて記録する（指標値計測ステップ４２）。合焦指標値としては、像のエッジにおけるシャープネス又はコントラストを表すエッジネス指標値等を計測するとよい。コントローラは、例えば、適当なカーネルを用い画像をディジタルフィルタリングし、得られたフィルタ出力値を総和することによって、その画像のエッジネス指標値を導出する。カーネルとしては例えば
【数１】
0005063480.tif 000002
を使用する。或いは、画素毎にその画素を含む所定規模（例えば３画素×３画素）の領域を設定し、その領域内で最大画素値と最小画素値の差を求めて出力するフィルタを用いてもよい。コントローラで計測でき合焦の度合いを表すものであれば、以上のものに限らず様々な画像特性指標値を単独で又は組み合わせて使用することができる。
【００２９】
ユーザ操作で起動されたこの光学系の焦点位置スキャンは、その制御子を解放する（解放ステップ４４）等、そのユーザが所定の方法、所作又は手順でオートフォーカス制御子を操作すると終わる。ユーザは、表示される画像３０の画質が最良に見えたとき、制御子を操作してスキャンを終了させることで、光学系の焦点位置をその理想値に概ね一致させることができる。この状態からコントローラによる制御で光学系の焦点位置を再スキャンする必要は全く又はほとんどなく、また当該再スキャンで意中の被写体にシャープに合焦する蓋然性も高い。とはいえ、スキャンを光学系の焦点位置のどこで終了させるかは、ユーザの意思に委ねられている。
【００３０】
ステップ４０〜４４を終えた時点では、光学系の焦点位置のある範囲内の個々の焦点位置に対応する合焦指標値がコントローラに集まっている。コントローラは、集まっている指標値を調べることによって、以後どのように光学系の焦点位置を自動調整すべきか判別する（判別ステップ４６）。現在の光学系の焦点位置における合焦指標値が好適な（例えば最良の）値であるなら、コントローラはオートフォーカス手順を中断し爾後の動作をやめる。
【００３１】
それ以外の場合、コントローラは、どちらの方向に光学系の焦点位置を調整すれば合焦度が高まるかを収集済の合焦指標値に基づき調べて調整方向を決定する。コントローラは、その方向に沿って光学系３６の焦点位置が移動していくようオートフォーカス機構を制御する（自動調整ステップ４８）。コントローラは、合焦指標値に有意極大値が現れる光学系の焦点位置を通過するまでこの調整を続けさせる。“有意”極大値とは、例えば、ある基底値を所定のしきい値分又は所定割合上回る合焦指標値のことである。通過することで有意極大値を認識したコントローラは、オートフォーカス機構を制御して光学系の焦点位置を逆方向に変化させ、合焦指標値が有意極大値を呈する光学系の焦点位置に合わせる（終了ステップ５０）。その際には、合焦指標値の変化をトレースしながら、有意極大値を呈した光学系の焦点位置まで戻してもよいし、有意極大値を呈した光学系の焦点位置に戻すのに必要な時間又は距離を調べ、その分だけオートフォーカス機構を駆動してもよい。
【００３２】
図３Ａ及び図３Ｂに、図２に示した実施形態に係る方法の流れをより詳細且つ説明的に示す。先に説明した通り、ユーザがステップ４０で制御子３４、３５又はその双方を操作すると、コントローラはオートフォーカス機構例えばモータを駆動して光学系の焦点位置を変化させ、光学系の焦点位置毎に画像エッジネス指標値（ＩＥＭ）を計算する（ＩＥＭ収集ステップ６０）。コントローラは、得られたＩＥＭを解析してその極大値及び基底値を探す。基底値としては例えばＩＥＭの極小値を探す。
【００３３】
ＩＥＭの計算は、画像全体を対象に行ってもよいし画像上に設定した特定のウィンドウ内に絞って行ってもよい。ウィンドウは例えば画像中央の指定エリア上に設定し、そのサイズ及び形状は用途上の必要に応じ調整する。また、使用するウィンドウを複数のウィンドウ候補のなかから動的に選出するようにしてもよい。それにより、ＩＥＭ極大値を最大にし又はＩＥＭ極大値と基底値のコントラストを最善にすることや、ステップ４４にてユーザが直ちに制御子３４又は３５を解放するであろう光学系の焦点位置に焦点位置乃至ＩＥＭ極大値を近づけることができる。これに加え又は代えて、相異なる複数のウィンドウそれぞれでＩＥＭを計算し、ウィンドウ毎に計算した都合複数通りのＩＥＭに基づき光学系の焦点位置を設定してもよい。
【００３４】
この初期焦点位置スキャンは、前述の通りステップ４２でユーザが制御子３４又は３５を解放したとき終了するほか、制御子未解放のままオートフォーカス機構による光学系の焦点位置調整限界に達したとき（範囲制限ステップ６２）にも終了する。即ち、光学系の焦点位置がその調整限界に到達すると、コントローラはその光学系の焦点位置で焦点位置スキャンを終了する（探索終了ステップ６４）。調整限界に至った光学系の焦点位置でユーザが満足して制御子を解放するとオートフォーカス手順は終了するが、満足できなければユーザによる制御子再操作に応じステップ４０更にはステップ６０が再実行される。今回のステップ６０では、コントローラは直前のスキャンとは逆方向に引き返すようオートフォーカス機構を作動させる。
【００３５】
ステップ４２にてユーザがそのオートフォーカス制御子を解放すると、コントローラはステップ６０の継続時間が十分であったか否か、即ち所要下限個数以上の画像フレームからＩＥＭデータを収集できたか否かを判別する（ＩＥＭ確保判別ステップ６６）。信頼に足る結果を得るには、通常、コントローラに最低１０フレーム分のデータを集める必要があろう。データ収集済フレーム数が十分な個数に達しないうちにユーザが制御子を解放してしまった場合、コントローラはオートフォーカス機構を引き続き稼働させてＩＥＭデータを収集する（継続稼働ステップ６８）。この収集は、データ収集済フレーム数が十分な個数に達するか光学系の焦点位置がその調整限界に達するまで継続される。
【００３６】
また、データ収集済フレーム数が下限個数未満のうちにユーザ２８がそのオートフォーカス制御子を解放した場合に、ステップ６４に移行して探索を停止させるようにしてもよい。その場合も、ユーザは光学系の焦点位置調整を手動で行うことができる。
【００３７】
焦点位置スキャンで十分な個数のフレームからデータを収集し終えたコントローラは、焦点位置スキャン中に光学系の最適焦点位置を通過したか否かを、ＩＥＭが有意極大値になったか否かによって判別する（焦点位置検出ステップ７０）。例えば、画像に焦点が合っていないとき又はエッジが存在していないときのＩＥＭのレベル等を平均画像背景レベルとして計測又は初期設定し、ＩＥＭの極大値と極小値の差をその平均画像背景レベルと比較する。ＩＥＭの極大値と極小値の差が平均画像背景レベルの所定倍例えば３倍を超えた場合、その極大値は有意極大値と見なしてよい。有意極大値の識別は他の条件、例えば図５を参照して後述するＩＥＭ変化曲線で代用して又はその曲線と併用して行ってもよいが、いずれにせよ、スキャン中にＩＥＭが有意極大値を採っていない場合はステップ６４に移行して探索を終了する。ユーザに対しては、焦点位置スキャンを再開させるならオートフォーカス制御子を操作せよと督励する。
【００３８】
ステップ７０にて有意極大値を見つけた場合、コントローラは、その有意極大値がスキャン終了間際の数フレーム以内に生じたものか否かを判別する（極大値識別ステップ７２）。もしそうなら、コントローラは、直近のステップ６０でのスキャン方向と同方向に焦点位置が変化していくようオートフォーカス機構を稼働させる（スキャン順行ステップ７４）。これを実行するのは、その有意極大値が実際には最善でなくローカルな極大値であった場合でも、理想的な光学系の焦点位置を撮り逃さないようにするためである。逆に、有意極大値が現れたのがステップ６０におけるスキャンの終了から数フレーム以上前である場合、コントローラはオートフォーカス機構を逆方向に稼働させる（スキャン反転ステップ７６）。有意極大値が現れたフレームからどちら側にスキャンするにしても、オートフォーカス機構における光学系の焦点位置調整限界又はそのごく近傍で有意極大値が生じた場合を除き、コントローラは十分な範囲を探索して少なくとも１０フレーム分のデータを得ることができよう。
【００３９】
ステップ７４及び７６のどちらを実行する場合でも、コントローラはＩＥＭデータの収集を続けその極大値及び極小値を探索する（ＩＥＭ収集ステップ７８）。コントローラは、収集したデータに基づき焦点位置理想値識別用のしきい値ＴＨＲＥＳＨＯＬＤ１を設定する（第１しきい値設定ステップ８０）。例えば、有意極大値出現フレームからＫ個後のフレームで計測したＩＥＭをしきい値ＴＨＲＥＳＨＯＬＤ１とする。Ｋは例えば４とする。ステップ８０での光学系の焦点位置スキャン及びＩＥＭ収集は、光学系の焦点位置がオートフォーカス機構による光学系の焦点位置の調整限界に達するまで（限度判別ステップ８２）又は終了条件が成立するまで（スキャン終了ステップ８４）継続される。終了条件としては、例えば、ＩＥＭが極大値を呈したフレームから現フレームまでに十分な個数（例えば１０個）のフレームが経過したという条件並びにその極大値に比べ現フレームのＩＥＭが遙に（例えば２５％以上）小さな値であるという条件を使用する。
【００４０】
コントローラは、光学系の焦点位置がその限界値に達した旨ステップ８２で判別した場合や終了条件が成立した旨ステップ８４で判別した場合、そのスキャン方向を再反転させた上で（スキャン再反転ステップ８６）、ＩＥＭに極大値をもたらした光学系の焦点位置を挟んで且つ最適な合焦状態に収束するまで、オートフォーカス機構に反復スキャンを行わせる。その手始めに、コントローラは、ステップ７８にて収集したＩＥＭが極大値を呈するフレームから現フレームまでの距離（フレーム数）に、オーバシュート分のフレーム数Ｍ１を加算した値を、カウントダウンタイマにセットする（カウントダウン設定ステップ８８）。Ｍ１は例えば１０にする。このカウントダウンタイマを使用するのは、後述するように、カメラ２２で撮影しているシーンの切り替わりに伴いＩＥＭと光学系の焦点位置との関係が変わったとき等に、不要な往復スキャンが行われるのを防ぐためである。
【００４１】
コントローラは、ステップ８６にてスキャン方向を反転させたオートフォーカス機構を稼働させ（収束スキャンステップ９０）、捉えた画像から計算したＩＥＭがしきい値ＴＨＲＥＳＨＯＬＤ１をよぎるフレームを検知し（しきい値判別ステップ９４）、そのフレームに係る光学系の焦点位置でスキャンを終了する（処理終了ステップ９６）。このときの光学系の焦点位置と理想的な光学系の焦点位置との間には大抵は僅かな差しかない。
【００４２】
また、ステップ９０でオートフォーカス機構によるスキャンを行っているとき、コントローラは、先に設定してあるカウントダウンタイマを、画像フレームを１個処理する毎にデクリメントする。コントローラは、カメラ２２で撮影しているシーンが切り替わる等としたため（前述）ステップ９４におけるしきい値条件が成立しないままカウントダウンタイマが０に到達した場合（タイマ判別ステップ９８）、実行中のスキャンを終了してスキャン方向を再反転させる（最終反転ステップ１００）。コントローラは、そのスキャン方向反転に先立ち、ステップ９０にて収集したＩＥＭにおける極大値を求め、その極大値を呈したフレームから数えてＫ個後のフレームのＩＥＭを、新たなしきい値ＴＨＲＥＳＨＯＬＤ２に設定する（新しきい値設定ステップ９２）。コントローラは、更に、カウントダウンタイマに終了判定値Ｍ２をセットする（最終タイマセットステップ１０２）。フレーム数Ｍ２は、原則として、先にセットしたオーバシュートＭ１より大きな値にする。また、このＭ２は、後続するスキャンでＩＥＭの有意極大値が見つからなかったとき、ＩＥＭが極大値になることが判明している光学系の焦点位置又はその近傍の光学系の焦点位置がオートフォーカス機構によって設定されることとなるよう、定めておく。
【００４３】
コントローラは、更に、ステップ１００にてそのスキャン方向を反転させたオートフォーカス機構を稼働させ、ＩＥＭの値を計算し、そしてカウントダウンタイマをデクリメントする（最終スキャンステップ１０４）。処理中のフレームにおけるＩＥＭがしきい値をよぎった場合（最終しきい値判別ステップ１０６）やカウントダウンタイマが０に達した場合（最終タイマ判別ステップ１０８）には、ステップ９６に進んでスキャンを終了させる。このときカメラ２２の焦点位置は最適な値又はその近傍になっており、ユーザは意中の体内組織を好適に撮影乃至視認することができる。ステップ１０６及び１０８における判別がいずれも不成立の場合や、何らかの理由で引き続き光学系の焦点位置を再調整する必要がある場合には、ユーザは制御子３４又は３５の操作例えば押下でオートフォーカス手順を再起動させることができる。
【００４４】
図４に、本発明の他の実施形態におけるユーザ支援オートフォーカス手順の流れを模式的に示す。本実施形態（及び後述する図５の実施形態）では、ユーザによるオートフォーカス制御子３４又は３５の操作はオートフォーカス手順起動操作（起動ステップ１１０）だけでよい。即ち、ユーザが光学系の最適焦点位置又はその近傍で制御子を解放しなくても、コントローラは自律的にオートフォーカス機構にスキャンを行わせる（スキャンステップ１１２）。
【００４５】
コントローラは、スキャンで得られた画像フレームからエッジネス指標値（ＩＥＭ）を計算して記録し、それに有意極大値が出現したか否かを判別する（判別ステップ１１４）。スキャンした光学系の焦点位置の範囲内でＩＥＭが有意極大を呈した場合、コントローラは、図３Ａ及び図３Ｂに示した手順と同じくスキャン方向を反転させて探索を繰り返す（反転スキャンステップ１１６）。そして、コントローラは、（カウントダウン）タイマや計測したＩＥＭに従いオートフォーカス機構を制御することによって、光学系の焦点位置を最適な即ちＩＥＭが極大になる距離に戻す（最終設定ステップ１１８）。
【００４６】
図５に、本発明の更に他の実施形態におけるユーザ支援オートフォーカス手順の流れを模式的に示す。図４に示した実施形態と同じく本実施形態でも、ユーザによるオートフォーカス制御子の操作は起動時の１回でよい（起動ステップ１２０）。コントローラは、オートフォーカス機構を用い原則としてその調整限界まで光学系の焦点位置を変化させていき（スキャンステップ１２２）、前掲の各実施形態と同様に画像フレームからエッジネス指標値を計算して収集する。
【００４７】
但し、本実施形態では単純にローカル極大値を探すのではない。コントローラが探すのは離焦曲線を伴った極大値、即ち合焦状態から外れつつあることを示す形状の変化曲線上に現れた極大値である（離焦評価ステップ１２４）。言い換えれば、コントローラは、光学系の焦点位置（又はそれと等価な量である時間又はフレーム数）に対するＩＥＭの変化曲線を求め、当該ＩＥＭ曲線の勾配値が期待域内に入っていることを確かめる。この確認が成り立っているなら、オートフォーカス機構で好適な光学的な焦点位置を見つけられたということである。光学系のフォーカスではなく偽像によってＩＥＭ曲線上に発生するローカル極大値に、収束しているわけではない。なお、同種の確認は、図２、図３Ａ、図３Ｂに示した上述の手順にも盛り込むことができる。
【００４８】
離焦を表すＩＥＭ曲線を伴う極大値を見つけた場合、コントローラは、その極大値を呈した光学系の焦点位置までオートフォーカス機構によって光学系の焦点位置設定を戻す（最終設定ステップ１２６）。それ以外の場合、コントローラは、スキャン方向を反転させて焦点位置スキャンを繰り返し（スキャン反転ステップ１２８）、再びＩＥＭを計算及び解析することによって、離焦曲線を伴うローカル極大値を探索する（反転評価ステップ１３０）。もしそのような形状の曲線を伴うローカル極大値が見つからなかったら、コントローラは、光学系の焦点位置の調整可能範囲全体を調べてＩＥＭのグローバル極大値（最大値）を求め、その最大値を呈した焦点位置に光学系の焦点位置を設定する（ステップ１２６）。
【００４９】
なお、本発明は、上述した方法（手順）乃至システムの形態だけでなく、命令群（即ちソフトウェア）が格納されたコンピュータ可読媒体の形態でも実施することができる。その命令群は既存の計算機及びプロセッサで実行できるよう作成し、またその実行によって本発明の手順乃至その構成ステップが実行されるように作成する。本発明は、更に、本発明のシステム乃至その構成装置の製造乃至組立方法としても実施することができる。
【００５０】
ご理解頂ける通り、以上の説明は本発明の実施形態についての例示説明に過ぎない。本発明の技術的範囲は図示説明した具体例に限定されるわけではなく、上述した各種構成要素のコンビネーション及びサブコンビネーションや、本願における説明を参照することによっていわゆる当業者が想到できる変形物及び改良物であって従来知られていなかったものも、本発明の技術的範囲に包含されるものである。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施形態に係るユーザ支援オートフォーカス機構を備える内視鏡撮像システムを模式的且つ描写的に表した図である。
【図２】本発明の一実施形態におけるユーザ支援オートフォーカス手順を模式的に示すフローチャートである。
【図３Ａ】図２に示した実施形態の手順の詳細を模式的に示すフローチャートである。
【図３Ｂ】図２に示した実施形態の手順の詳細を模式的に示すフローチャートである。
【図４】本発明の他の実施形態におけるユーザ支援オートフォーカス手順を模式的に示すフローチャートである。
【図５】本発明の他の実施形態におけるユーザ支援オートフォーカス手順を模式的に示すフローチャートである。
【図１】
0005063480.tif 000003
【図２】
0005063480.tif 000004
【図３Ａ】
0005063480.tif 000005
【図３Ｂ】
0005063480.tif 000006
【図４】
0005063480.tif 000007
【図５】
0005063480.tif 000008