(57)【要約】【課題】撮像装置と接続される情報処理装置側で、最適なフォーカスレンズ駆動を行うことで、効率よく自動焦点制御を行うことができる自動焦点制御方法を提供する。【解決手段】撮像装置と無線または有線で接続する情報処理装置によって実行される自動焦点制御方法は、撮像装置から自動焦点制御を行うための画像を取得する画像取得ステップを備える。また、自動焦点制御方法は、画像取得ステップで取得した画像に基づいてフォーカスレンズの合焦状態を検出する検出ステップを備える。また、自動焦点制御方法は、撮像装置が単位時間に取得する画像の枚数に対する画像取得ステップにおいて単位時間に取得する画像の枚数の比率に応じてフォーカスレンズの速度を決定する決定ステップを備える。また、自動焦点制御方法は、決定ステップで決定されたフォーカスレンズの速度でのフォーカスレンズの移動制御を撮像装置に要求する要求ステップを備える。【選択図】図１
2010026306.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と無線または有線で接続する情報処理装置によって実行される自動焦点制御方法であって、
前記撮像装置から自動焦点制御を行うための画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像に基づいてフォーカスレンズの合焦状態を検出する検出ステップと、
前記撮像装置が単位時間に取得する画像の枚数に対する前記画像取得ステップにおいて単位時間に取得する画像の枚数の比率に応じて前記フォーカスレンズの速度を決定する決定ステップと、
前記決定ステップで決定された前記フォーカスレンズの速度での前記フォーカスレンズの移動制御を前記撮像装置に要求する要求ステップと、
を備えることを特徴とする自動焦点制御方法。
【請求項２】
前記検出ステップでは、前記画像取得ステップで取得した画像の鮮鋭度に基づいて前記フォーカスレンズの合焦状態を検出することを特徴とする請求項１に記載の自動焦点制御方法。
【請求項３】
前記要求ステップでは、前記画像取得ステップによって画像取得率が取得できるまで前記フォーカスレンズの移動制御を前記撮像装置に要求しないことを特徴とする請求項１又は請求項２に記載の自動焦点制御方法。
【請求項４】
前記撮像装置から取得した画像に対して、前記自動焦点制御の前処理として画像処理を施す画像処理ステップを備えることを特徴とする請求項１乃至請求項３のいずれか１項に記載の自動焦点制御方法。
【請求項５】
前記画像処理ステップは、画像の輝度ゲインをアップする輝度アップステップと、前記輝度アップステップで輝度アップされた画像に対してシャープネス処理するシャープネス処理ステップと、前記シャープネス処理ステップでシャープネス処理された画像に対して、装着レンズ情報を元に装着レンズに合わせた周辺補正をする補正ステップと、を備えることを特徴とする請求項４に記載の自動焦点制御方法。
【請求項６】
前記画像処理ステップで画像処理を初めて実行したときの画像処理時間を初期値とし、一定の間隔で是正する第１の予測時間取得ステップを備えることを特徴とする請求項４に記載の自動焦点制御方法。
【請求項７】
前記検出ステップで最初に前記フォーカスレンズのフォーカス状態を検出したときの検出時間を初期値とし、一定の間隔で是正する第２の予測時間取得ステップを備えることを特徴とする請求項１に記載の自動焦点制御方法。
【請求項８】
前記要求ステップは、前記第１の予測時間取得ステップと前記第２の予測時間取得ステップにおいて各予測時間が検出された場合、前記画像処理と前記フォーカス状態の検出が終わるのを待たずに前記撮像装置に対して前記フォーカスレンズの駆動制御を要求することを特徴とする請求項６又は請求項７に記載の自動焦点制御方法。
【請求項９】
ユーザーインターフェイスで前記自動焦点制御する矩形を指定する指定ステップを備え、
前記画像取得ステップでは、前記指定ステップで指定した矩形の画像を前記撮像装置から取得することを特徴とする請求項１乃至請求項８のいずれか１項に記載の自動焦点制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズ駆動制御機能が設けられた撮像装置（カメラ）と接続した情報処理装置上で行う撮像装置の自動焦点制御方法に関する。
【背景技術】
【０００２】
従来の自動焦点制御（以下ＡＦと略す）方法には、フォーカスレンズの位置により、その移動速度、即ち、自動合焦制御のサンプリングの際の移動幅を変え、高精度で高速度の自動合焦制御を行うものがある（特許文献１参照）。
【０００３】
また、ＡＦ速度を向上するために、ＣＣＤから得られた画像から上下を省いた一部切り出し領域を用いて、ＡＦを実施するものがある（特許文献２参照）。
【特許文献１】特開平０７−１３５５９６号公報（第６頁、図３）
【特許文献２】特開２００６−２５３８２９号公報（第１６頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
カメラ側でＡＦのための画像取得とフォーカスレンズ駆動を行い、このカメラに接続した情報処理装置側から自動焦点制御することを考える。
【０００５】
レンズが一定速度で動作している時、カメラ側ではＡＦ用画像を連続して取得している。しかし、情報処理装置側でＡＦ用画像を取得する画像取得時間間隔がカメラの画像取得間隔と比べて長い場合、カメラ側で取得した全てのＡＦ用画像を取得することができず、フォーカスのピークを逃してしまう確率が高くなってしまう。
【０００６】
その場合、フォーカスレンズが目標位置を行ったり来たりし、ピントが合うまでに時間が余計にかかってしまうことがあった。
【０００７】
コントラスト検出方式自動焦点制御（以下、ＴＶＡＦと略す）は、一般に位相差ＡＦに比べて多くの時間を必要とするため、パーソナルコンピュータ等の情報処理装置でＴＶＡＦを行う場合、精確なＡＦを高速で行うための工夫が必要である。
【０００８】
本発明の目的は、カメラと接続される情報処理装置側で、最適なフォーカスレンズ移動制御を行うことで、精度よく自動焦点制御を行うことができる自動焦点制御方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の技術的特徴としては、撮像装置と無線または有線で接続する情報処理装置によって実行される自動焦点制御方法であって、前記撮像装置から自動焦点制御を行うための画像を取得する画像取得ステップと、前記画像取得ステップで取得した画像に基づいてフォーカスレンズの合焦状態を検出する検出ステップと、前記撮像装置が単位時間に取得する画像の枚数に対する前記画像取得ステップにおいて単位時間に取得する画像の枚数の比率に応じてフォーカスレンズの速度を決定する決定ステップと、前記決定ステップで決定されたフォーカスレンズの速度での前記フォーカスレンズの移動制御を前記撮像装置に要求する要求ステップとを備えることを特徴とする。
【発明の効果】
【００１０】
本発明の自動焦点制御方法によれば、精度よく自動焦点制御を行うことができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【００１２】
（第１の実施の形態）
以下の説明では、フォーカスレンズを含む撮像光学系を介して結像した被写体像を画像信号に変換する撮像素子を備えた撮像装置（以下、カメラと記す）が単位時間に取得する画像の枚数は３０枚／秒で一定とする。また、情報処理装置がカメラにＡＦ用画像取得要求を送信すると、その時点でカメラが取得し記憶している画像が情報処理装置に転送される構成とする。
【００１３】
カメラと無線または有線で接続する情報処理装置では、取得した画像から焦点検出演算等の処理を実施する。ここで、単位時間に取得するＡＦ用画像枚数は必ずしもカメラと同じとはならない。これは、カメラから情報処理装置に画像を転送する際にコマ落ちが発生して、フレームレートが一定にならないためである。
【００１４】
カメラで焦点調節制御（ＡＦ）をする場合にフォーカスレンズの移動する速度が適正であるとすると、フォーカスレンズのそれぞれの位置に対応する画像の枚数が一定のフレームレートで得られる。
【００１５】
これに対して情報処理装置の場合には、カメラが単位時間に取得する画像の枚数に対する情報処理装置が単位時間に取得する画像の枚数の比率の分だけ画像情報量が少なくなる。そこで、フォーカスレンズの移動する速度を落とすことでフォーカスレンズ位置に対応する画像の情報量を同じ情報量にする。
【００１６】
例えば、情報処理装置の画像取得率が１／２（カメラで２枚取得する間に情報処理装置で１枚画像を取得する）であるとき、ＡＦのための情報量は１／２となるため、レンズ駆動速度は１／２に減速する。
【００１７】
図１は、カメラと接続される情報処理装置側で行われる本発明の第１の実施の形態のＡＦ処理の手順を示すフローチャートである。
【００１８】
カメラからＡＦ用画像を取得（ステップＳ１０４）した際、画像取得率を計算（ステップ１０５）する。
【００１９】
尚、画像取得を開始した直後は、画像取得率は計算できない。カメラが単位時間に取得するＡＦ用画像枚数は３０枚／秒で一定であることから、カメラの撮影間隔は３３ミリ秒である。
【００２０】
２回目以降に画像を取得した時、前回と今回の画像取得時刻を調べ、カメラの撮影間隔と、情報処理装置の画像取得間隔の比を求めることで、画像取得率を求めることができる。
【００２１】
若しくは、情報処理装置でカメラから取得した画像の枚数をカウントし、１秒毎に取得枚数をカメラと比較する方法をとってもよい。
【００２２】
画像取得率計算後、ステップＳ１０４にて取得した画像（画像の輝度情報）を元に、ＡＦ検出（ステップＳ１０９）を行う。
【００２３】
具体的には、ステップＳ１０９は、ステップＳ１０４で取得した画像における高周波成分や輝度差成分（焦点検出領域内の画像信号の輝度レベルの最大値と最小値の差分）等を抽出してＡＦ評価値を生成し、これを基に焦点調節を行う。ＡＦ評価値は、撮像装置に含まれる撮像素子からの出力信号に基づいて生成される画像の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像装置に含まれる撮像光学系の合焦状態によって変化するので、結果的に撮像光学系の合焦状態を表す信号となる。
【００２４】
ステップＳ１１２では、ステップＳ１０９で検出した合焦状態を元に、カメラのフォーカスレンズ移動方向とフォーカスレンズの移動速度を決定する。
【００２５】
ステップＳ１１２は、求められた画像取得率を係数としてフォーカスレンズの移動方向とフォーカスレンズの移動速度を演算する。
【００２６】
ここで、ステップＳ１１２の基本アルゴリズムとして、合焦位置に近づくほどフォーカスレンズの移動速度を遅くするアルゴリズムを採用してもよい。また、フォーカスレンズの移動方向・速度演算は、従来の山登りＡＦを元にしてもよい。ここに、計算した画像取得率を掛け合わせ、フォーカスレンズの移動速度を決定する。
【００２７】
ステップＳ１１３では、ステップＳ１１２で演算した結果を元に、カメラに対してフォーカスレンズの移動制御要求を送信する。
【００２８】
ここで、フォーカスレンズ駆動要求ステップは、画像取得率計算ステップによって最初の画像取得率が計算できるまでフォーカスレンズの駆動制御をカメラに要求しない。
【００２９】
その後、画像取得ステップ（ステップＳ１０４）に戻り、次のＡＦ用画像を取得する。
【００３０】
（第２の実施の形態）
第２の実施の形態は、第１の実施の形態を基本構成とし、ＡＦの効率を高めるとともに、情報処理装置で自動焦点制御する利点を活用した例である。
【００３１】
図２は、カメラと接続される情報処理装置側で行われる本発明の第２の実施の形態のＡＦ処理の手順を示すフローチャートである。
【００３２】
同図（ａ）において、カメラと情報処理装置が接続したら、まず、装着レンズ情報を取得（ステップＳ１０１）する。装着レンズ情報は、必ずしもレンズから取得する必要はない。装着レンズが識別できた際、メーカーのＷｅｂサイトから最新のレンズ情報を取得する方法をとってもよい。
【００３３】
また、装着レンズ情報は取得できないことがあるため、その場合はＡＦのための画像処理において、レンズの周辺補正処理ステップを省略する。
【００３４】
情報処理装置のユーザーインターフェイス（以下、ＵＩと略す）では、カメラから連続して取得する画像を動画として表示する。
【００３５】
ＵＩでＡＦする矩形を指定するステップ（ステップＳ１０２）では、マウス等のデバイスを用いて、ＴＶＡＦを行う矩形（以下、ＡＦ矩形と略す）をユーザーが画像上の任意の位置・サイズで指定することができる。
【００３６】
ユーザーによりＡＦ矩形が指定された場合、ＡＦ矩形の位置幅高さ保存ステップ（ステツプＳ１０３）により保存し、以後、ＡＦの対象領域を指定されたＡＦ矩形に限定する。
【００３７】
カメラからＡＦ用画像を取得（ステップＳ１０４）した際、画像取得率を計算（ステップＳ１０５）する。
【００３８】
尚、画像取得率の求め方は、第１の実施の形態で述べた通りである。
【００３９】
画像処理予測時間とＡＦ予測時間が予め取得できているか判定（ステップＳ１０６）し、両方とも取得できている場合は、同図（ｃ）に移行し、処理Ｂを実行する。
【００４０】
同図（ｃ）の処理Ｂにおいて、画像取得率が算出できているか判定（ステップＳ１１１）する。画像取得率が算出できている場合、情報処理装置で画像処理（ステップＳ１０７）とＡＦ検出（ステツプＳ１０９）を行う前に、レンズ駆動方向・速度演算（ステップＳ１１２）を行う。そして、カメラに対してフォーカスレンズ駆動要求（ステップＳ１１３）を送信する。
【００４１】
先にレンズ駆動することで、ＡＦ検出してからレンズを駆動するよりもタイムラグを軽減することができる。
【００４２】
画像取得率が算出できているか判定（ステップＳ１１１）し、画像処理予測時間とＡＦ予測時間が予め取得できていても、画像取得率が算出できていない場合は、同図（ｂ）に移行し、処理Ａを実行する。
【００４３】
同図（ｂ）の処理Ａにおいて、ＡＦの前処理として、画像処理（ステップＳ１０７）を行い、画像処理予測時間取得ステップ（第１の予測時間取得ステップ）（ステップＳ１０８）にて、画像処理時間の実績を画像処理予測時間として保存する。そして、ＡＦ検出（ステップＳ１０９）を行う。
【００４４】
ＡＦ検出予測時間取得ステップ（第２の予測時間取得ステップ）（ステップＳ１１０）にて、ＡＦ検出にかかった時間の実績をＡＦ検出予測時間として保存する。その後、画像取得ステップ（ステップＳ１０４）に戻り、次のＡＦ用画像を取得する。
【００４５】
第２の予測時間取得ステップは、ＡＦ検出ステップで最初にフォーカスレンズのフォーカス状態を検出したときの検出時間を初期値とし、一定の間隔で是正する。
【００４６】
画像処理予測時間取得ステップ（ステップＳ１０８）は、初回画像処理時に取得するが、定期的に是正する必要がある。ここでは１０回に１回としているが、画像を取得する枚数や目的によって変更してもよい。
【００４７】
画像処理予測時間とＡＦ予測時間が取得できていない場合は、ＡＦのための画像処理（ステップＳ１０７）を行う。そして、画像処理予測時間取得ステップ（ステップＳ１０８）にて画像処理時間の実績を画像処理予測時間として保存し、ＡＦ検出（ステップＳ１０９）を行う。
【００４８】
ＡＦ検出予測時間取得ステップ（ステップＳ１１０）にて、ＡＦ検出にかかった時間の実績をＡＦ検出予測時間として保存する。画像取得率算出済みか判定（ステップＳ１１１）し、算出されていない場合は、フォーカスレンズ駆動要求は送信せずに画像取得処理に戻る。
【００４９】
画像取得率算出済みである場合は、レンズ駆動方向・速度演算（ステップＳ１１２）を行い、カメラに対してフォーカスレンズ駆動要求（ステップＳ１１３）を送信する。その後、画像取得ステップ（ステップＳ１０４）に戻り、次のＡＦ用画像を取得する。
【００５０】
ＡＦ検出予測時間取得ステップ（ステップＳ１１０）では、初回ＡＦ検出時にＡＦ検出予測時間を取得するが、定期的に是正する必要がある。ここでは１０回に１回としているが、画像を取得する枚数や目的によって変更してもよい。
【００５１】
ＡＦ検出のための画像処理（ステップＳ１０７）は、必ずしも画像全体に対して行う必要はない。ＡＦ矩形の位置幅高さ保存処理（ステップＳ１０３）で保存されたＡＦ矩形内のみ画像処理を施すことで、画像処理時間を短縮できる。更に、画像取得ステップ（ステップＳ１０４）にて、カメラから取得するＡＦ用画像をＡＦ矩形に絞ることで、ＡＦ時間を短縮することができる。
【００５２】
カメラの場合、ＡＦのための矩形座標・サイズは固定されているが、情報処理装置でＴＶＡＦを行う場合、カメラのＡＦ矩形に囚われないため、特にレンズの周辺位置を指定した場合等に効果がある。
【００５３】
また、ＡＦ矩形のサイズを小さくすることでＡＦ高速化の他に、合焦点のあいまいさを無くすことができる。但し、ＡＦ矩形のサイズが小さすぎると、逆に輝度周波数ピークを検出できない場合があるので、最小サイズを固定しておく。
【００５４】
画像処理（ステップＳ１０７）では、取得画像に対するＡＦ精度を高めるため、装着レンズ情報が取得できてれいば、レンズ情報を元にレンズの周辺補正を行い、更に、輝度ゲインアップ、シャープネス処理等の画像処理を施す。
【００５５】
画像処理予測時間取得ステップ（ステップＳ１０８）にて、画像処理予測時間が保存されている場合は、実測値を用いることで、メモリやＣＰＵの稼働率といった異なる環境に対応できる。
【００５６】
ＡＦ検出予測時間取得ステップ（ステップＳ１１０）にて、ＡＦ検出予測時間が保存されている場合は、ＡＦ検出時間も画像処理時間と同様に実測値を用いることで、異なる環境に対応する。
【００５７】
尚、レンズ駆動方向・速度演算ステップ（ステップＳ１１２）におけるレンズ駆動速度演算においては、画像取得率が最も大きく影響を及ぼす。そのため、画像取得率算出済み判定処理（ステップＳ１１１）にて画像取得率未取得の場合はフォーカスレンズ駆動要求送信を見送っている。
【００５８】
レンズ駆動方向・速度演算ステップ（ステップＳ１１２）の基本アルゴリズムは、特開平０７−１３５５９６号公報にあるように、合焦位置に近づくほどフォーカスレンズ駆動速度を遅くする方法をとってもよいし、従来の山登りＡＦを元にしてもよい。ここに、先に取得した画像取得率を係数として掛け合わせ、レンズ駆動速度を決定する。
【００５９】
図３は、図２のステップＳ１０７で実行される画像処理の手順を示すフローチャートである。
【００６０】
画像処理ステップでは、取得画像に対して輝度アップ処理（ステップＳ３０１）を施す。続いて、シャープネス処理（ステップＳ３０２）にて、シャープネス処理を実施する。図２の装着レンズ情報取得ステップ（ステップＳ１０１）にて、装着レンズ情報が取得できている場合は、レンズ周辺補正処理を実施する。
【００６１】
尚、カメラや情報処理装置の動作状況によって適正なレンズ速度が変化する場合、情報処理装置の画像転送率のレンズ駆動速度に対する影響度（係数）を適宜調整してもよい。
【００６２】
図４は、カメラ側のＡＦ処理の手順を示すフローチャートである。
【００６３】
図４（ａ）は、情報処理装置から指定されたＡＦ矩形の画像のみ撮像素子から取得する例であり、図４（ｂ）は、情報処理装置から指定されたＡＦ矩形の画素を切り出して情報処理装置に送信する例である。図４（ｃ）は、ＡＦ矩形の切り出しは情報処理装置で行うこととし、カメラは撮像素子から取得するＡＦのための画像をそのまま情報処理装置に送信する例である。
【００６４】
図４（ａ）では、情報処理装置と接続後、装着レンズ情報を送信（ステップＳ４０１）する。情報処理装置から画像取得矩形指定受信ステップ（ステツプＳ４０２）で指定される矩形について、撮像素子の有効矩形変更ステップ（ステップＳ４０３）にて、撮像素子の有効矩形領域を変更し、取得した画像を情報処理装置に送信する。
【００６５】
画像取得要求受信ステップ（ステップＳ４０４）で、情報処理装置から画像取得要求を受信する。画像送信ステップ（ステップＳ４０５）にて情報処理装置に画像を送信する。
【００６６】
情報処理装置からフォーカスレンズ駆動要求を受信（ステップＳ４０６）した際、レンズ駆動制御ステップ（Ｓ４０７）にて、指定された方向・速度でフォーカスレンズを駆動する。
【００６７】
図４（ｂ）では、画像取得要求受信ステップ（ステップＳ４０４）で情報処理装置から画像取得要求を受信した際、画像切り出しステップ（ステップＳ４０８）にて、映像素子で取得した画像から指定された矩形の切り出しを行う。そして、画像送信ステップ（ステップＳ４０５）にて情報処理装置に画像を送信する。
【００６８】
図４（ｃ）では、情報処理装置と接続後、装着レンズ情報を送信（ステップＳ４０１）する。その後、カメラでＡＦをする時使用する画像についてＡＦ領域の切り出しを行わず、そのまま情報処理装置に送信する。その後、情報処理装置からフォーカスレンズ駆動要求を受信（ステップＳ４０６）した際、レンズ駆動制御ステップ（ステップＳ０７）にて、指定された方向・速度でフォーカスレンズを駆動する。
【００６９】
ＴＶＡＦは一般に位相差自動焦点制御に比べて多くの時間を必要とするため、情報処理装置でＡＦを行う場合、精確なＡＦを高速で行うための工夫が必要である。
【００７０】
情報処理装置でＡＦを実施する利点としては、カメラのＡＦ枠に関係なく画像上の任意の場所をＡＦポイントとして指定することができることである。また、ＡＦしたいポイントを複数選択し、選択箇所全てのフォーカスが合う被写界深度まで、しぼり駆動して撮影する等の応用も可能である。
【００７１】
更に、ＡＦ用画像を用いてＴＶＡＦをする機能がない既存のカメラであっても、ＡＦ用画像を情報処理装置に送る機能と情報処理装置からレンズ操作するＩ／Ｆがある場合、情報処理装置でのＴＶＡＦを行うシステムを構築できる。
【図面の簡単な説明】
【００７２】
【図１】カメラと接続される情報処理装置側で行われる本発明の第１の実施の形態のＡＦ処理の手順を示すフローチャートである。
【図２】カメラと接続される情報処理装置側で行われる本発明の第２の実施の形態のＡＦ処理の手順を示すフローチャートである。
【図３】図２のステップＳ１０７で実行される画像処理の手順を示すフローチャートである。
【図４】カメラ側のＡＦ処理の手順を示すフローチャートである。
【符号の説明】
【００７３】
Ｓ１０４  画像取得ステップ
Ｓ１０５  画像取得率計算ステップ
Ｓ１０９  ＡＦ検出ステップ
Ｓ１１２  レンズ駆動方向・速度演算ステップ
Ｓ１１３  フォーカスレンズ駆動要求ステップ
【図１】
2010026306.tif 000003
【図２】
2010026306.tif 000004
【図３】
2010026306.tif 000005
【図４】
2010026306.tif 000006