(57)【要約】【課題】ロボットに取り付けられたカメラを制御するシステムにおいて、対象物までの距離が様々である場合にもスムーズな焦点調節制御を実現する。【解決手段】ロボットアームに取り付けられた撮像装置と、ロボットアームと撮像装置を制御する制御装置とを備える撮像システムであって、制御装置は、撮像装置に対して、ロボットアームの状態の情報を通知する通知部を備え、撮像装置は、被写体像を撮像する撮像部と、被写体に対して撮像光学系の焦点を合わせる自動焦点調節部と、通知部により制御装置から通知されたロボットアームの状態の情報に基づいて、自動焦点調節部による焦点の探索範囲を変更する変更部とを備える。【選択図】  図２
2019159204.tif 000002
【特許請求の範囲】
【請求項１】
ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムであって、
前記制御装置は、
前記撮像装置に対して、前記ロボットアームの状態の情報を通知する通知手段を備え、
前記撮像装置は、
被写体像を撮像する撮像手段と、
被写体に対して撮像光学系の焦点を合わせる自動焦点調節手段と、
前記通知手段により前記制御装置から通知された前記ロボットアームの状態の情報に基づいて、前記自動焦点調節手段による焦点の探索範囲を変更する変更手段と、を備える、
ことを特徴とする撮像システム。
【請求項２】
前記自動焦点調節手段は、前記撮像手段により撮像された画像のコントラストの情報に基づいて前記撮像光学系の焦点を合わせることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記制御装置は、前記ロボットアームに内蔵されていることを特徴とする請求項１または２に記載の撮像システム。
【請求項４】
前記通知手段は、前記ロボットアームの状態の情報として、前記ロボットアームと被写体との距離情報を前記撮像装置に通知することを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
【請求項５】
前記変更手段は、前記距離情報を前記撮像光学系に配置されたフォーカスレンズの第１の位置情報に変換し、前記フォーカスレンズの現在の位置情報と前記第１の位置情報との差に基づいて、前記焦点の探索範囲を変更することを特徴とする請求項４に記載の撮像システム。
【請求項６】
前記変更手段は、前記フォーカスレンズの現在の位置情報と前記第１の位置情報との差が所定値以上の場合に、前記焦点の探索範囲を第１の範囲に設定し、前記フォーカスレンズの現在の位置情報と前記第１の位置情報との差が前記所定値未満の場合に、前記焦点の探索範囲を前記第１の範囲よりも狭い第２の範囲に設定することを特徴とする請求項５に記載の撮像システム。
【請求項７】
前記撮像装置が、前記ロボットアームと連動して移動しない場合は、前記変更手段は、前記焦点の探索範囲を前記第１の範囲よりも狭い範囲に設定することを特徴とする請求項６に記載の撮像システム。
【請求項８】
前記自動焦点調節手段は、前記ロボットアームの動作中に、前記フォーカスレンズの現在の位置情報と前記第１の位置情報との差に対応する量だけ前記フォーカスレンズを移動させることを特徴とする請求項５に記載の撮像システム。
【請求項９】
前記通知手段は、前記ロボットアームの状態の情報として、前記ロボットアームの移動情報を前記撮像装置に通知することを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
【請求項１０】
前記通知手段は、前記ロボットアームの状態の情報として、前記ロボットアームの移動方向の情報を前記撮像装置に通知することを特徴とする請求項９に記載の撮像システム。
【請求項１１】
前記変更手段は、前記ロボットアームの移動方向が前記撮像光学系の光軸と平行な方向である場合には、前記焦点の探索範囲を第３の範囲に設定し、前記ロボットアームの移動方向が前記撮像光学系の光軸と直交する方向である場合には、前記焦点の探索範囲を前記第３の範囲よりも狭い第４の範囲に設定することを特徴とする請求項１０に記載の撮像システム。
【請求項１２】
ロボットアームに取り付けられる撮像装置であって、
被写体像を撮像する撮像手段と、
被写体に対して撮像光学系の焦点を合わせる自動焦点調節手段と、
前記ロボットアームの状態の情報を受信する受信手段と、
前記受信手段により受信した前記ロボットアームの状態の情報に基づいて、前記自動焦点調節手段による焦点の探索範囲を変更する変更手段と、
を備えることを特徴とする撮像装置。
【請求項１３】
前記自動焦点調節手段は、前記撮像手段により撮像された画像のコントラストの情報に基づいて前記撮像光学系の焦点を合わせることを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムを制御する方法であって、
前記制御装置が、前記撮像装置に対して、前記ロボットアームの状態の情報を通知する通知工程と、
前記撮像装置が、前記通知工程において前記制御装置から通知された前記ロボットアームの状態の情報に基づいて、被写体に対して撮像光学系の焦点を合わせる自動焦点調節手段による焦点の探索範囲を変更する変更工程と、
を有することを特徴とする撮像システムの制御方法。
【請求項１５】
ロボットアームに取り付けられる撮像装置を制御する方法であって、
被写体に対して撮像光学系の焦点を合わせる自動焦点調節工程と、
前記ロボットアームの状態の情報を受信する受信工程と、
前記受信工程において受信した前記ロボットアームの状態の情報に基づいて、前記自動焦点調節工程における焦点の探索範囲を変更する変更工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１６】
請求項１４または１５に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１７】
請求項１４または１５に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットアームと被写体との位置関係に基づいて撮像装置の焦点調節を制御する技術に関するものである。
【背景技術】
【０００２】
例えば、組立用のロボット等においては、ロボットアームによりワークをピック＆プレイスする際に、カメラを用いてロボットを制御することが行われている。この制御は、ロボットアームの手先部に取り付けられたカメラにより、そのワークを撮影し、その撮影画像データからワークの位置を検出し、検出位置にロボットアームを移動させてハンドでワークを把持するというものである。
【０００３】
この種のロボット制御装置として、特許文献１には、カメラに焦点調節機能、焦点距離調節機能、絞り調整機能等を有する光学系調節手段を有し、ワークを撮影した撮影画像データに基づいて光学系調節手段を制御する装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２１１３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の従来技術では、ビジュアルサーボと称される視覚フィードバッグ制御により、対象物の特徴量を目標データとして記憶し、目標データ記憶時と誤差が少なくなるようにピント、焦点距離、絞りを調節する構成となっている。
【０００６】
この制御では、対象物を撮影し、撮影した撮影画像を視覚認識装置に送信し、視覚認識装置で目標データと現在データとを比較してその誤差を算出し、誤差を減少させる（０となる）ように再度ロボット制御およびカメラ制御を繰り返す。そのため、誤差を減少させるために時間がかかる。その場合、ロボットアームの動作のスムーズな動きを阻害してしまう。
【０００７】
また、対象物にピントを合わせる場合、対象物を撮影し、撮影した撮影画像からピントが合っているか否かを確認しながらピント位置を調整していると、対象物までの距離が様々である場合には、各距離で同じ制御を行う必要が出てくるので時間がかかる。
【０００８】
そのため、自動でピントを合わせるオートフォーカスの機能を備えることが考えられるが、合焦位置から離れた位置からピントが合う位置を探索していては、ピントが合うまでに時間がかかるという問題がある。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、その目的は、ロボットに取り付けられたカメラを制御するシステムにおいて、対象物までの距離が様々である場合にもスムーズな焦点調節制御を実現することである。
【課題を解決するための手段】
【００１０】
本発明に係わる撮像システムは、ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムであって、前記制御装置は、前記撮像装置に対して、前記ロボットアームの状態の情報を通知する通知手段を備え、前記撮像装置は、被写体像を撮像する撮像手段と、被写体に対して撮像光学系の焦点を合わせる自動焦点調節手段と、前記通知手段により前記制御装置から通知された前記ロボットアームの状態の情報に基づいて、前記自動焦点調節手段による焦点の探索範囲を変更する変更手段と、を備える、ことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ロボットに取り付けられたカメラを制御するシステムにおいて、対象物までの距離が様々である場合にもスムーズな焦点調節制御を実現することが可能となる。
【図面の簡単な説明】
【００１２】
【図１Ａ】本発明の第１の実施形態に係わる撮像システムの構成を示すブロック図。
【図１Ｂ】撮像装置、画像処理コントローラ、ロボットアームの外観を模式的に表した図。
【図２】第１の実施形態における撮像装置のフォーカス制御を示すフローチャート。
【図３】第２の実施形態における撮像装置のフォーカス制御を示すフローチャート。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
＜撮像システムの構成＞
本発明の第１の実施形態における撮像システムについて説明する。この撮像システムでは、ロボットアームと被写体の位置に基づいて、ロボットアームに設置された撮像装置の焦点調節制御を行う。
【００１４】
図１Ａは、本発明の第１の実施形態に係わる撮像システムの構成を示すブロック図である。この撮像システムは、撮像装置１００と、画像処理コントローラ１２０と、ロボットアーム１３０とが通信可能に接続されて構成されている。
【００１５】
撮像装置１００には、撮像光学系として、第１の固定レンズ群１０１、変倍レンズ１０２、絞り１０３、第２の固定レンズ群１０４、フォーカスレンズ１０５（フォーカスコンペンセータレンズ）が配置されている。変倍レンズ１０２を光軸に沿う方向に移動することにより変倍を行い、焦点距離を変えることができる。フォーカスレンズ１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えている。
【００１６】
ズーム駆動源１０９は変倍レンズ１０２を移動させる駆動源である。絞り駆動源１１０は絞り１０３を動かすための駆動源である。フォーカシング駆動源１１１はフォーカスレンズ１０５を移動させるための駆動源である。ズーム駆動源１０９、絞り駆動源１１０、フォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。
【００１７】
撮像装置１００は、さらに撮像素子１０６、ＣＤＳ／ＡＧＣ回路１０７、カメラ信号処理部１０８、タイミングジェネレータ１１２、ＡＦ信号処理部１１３、記録部１１５、カメラマイクロコンピュータ１１４（以下、単にカメラマイコンという）、通信装置１１６を備える。
【００１８】
撮像素子１０６は被写体像を光電変換する素子であって、ＣＣＤやＣＭＯＳセンサなどから構成されている。撮像素子１０６は行列状に複数の画素部を有する。撮像光学系を通過した光束は撮像素子１０６の受光面上に結像され、各画素部が有するフォトダイオード（光電変換部）によって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラマイコン１１４の指令に従ってタイミングジェネレータ１１２から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号として撮像素子１０６から順次読み出される。
【００１９】
撮像素子１０６から読み出された出力信号は、サンプリングし、ゲイン調整するＣＤＳ／ＡＧＣ回路１０７に入力される。カメラ信号処理部１０８は、ＣＤＳ／ＡＧＣ回路１０７から出力された画像信号に対して各種の画像処理を施して、画像信号を生成する。第１の実施形態における画像信号は、ロボット制御に用いるための静止画像や動画像の信号である。記憶部１１５は、カメラ信号処理部１０８からの画像信号を記憶する。
【００２０】
ＡＦ信号処理部１１３はＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち焦点検出に用いられる領域の信号のみを通すＡＦゲートを通過した信号から高周波成分や輝度差成分（ＡＦゲートを通過した信号の輝度レベルの最大値と最小値の差分）等を抽出してＡＦ評価値信号を生成する。ＡＦ評価値信号は、カメラマイコン１１４に出力される。ＡＦ評価値信号は、撮像素子１０６からの出力信号に基づいて生成される映像信号の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的にＡＦ評価値信号は撮像光学系の焦点状態を表す信号となる。
【００２１】
カメラマイコン１１４は、撮像装置１００全体の動作の制御を司るとともに、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を移動させるＡＦ制御（自動焦点調節制御）を行う。カメラマイコン１１４は、ＡＦ制御として、ＴＶ−ＡＦ方式でのＡＦ制御（以下、単に「ＴＶ−ＡＦ」という。）を行う。ＴＶ−ＡＦ方式とは上記のようなコントラスト検出により焦点検出を行う焦点検出方式である。また、カメラマイコン１１４は、ズーム駆動源１０９を制御して変倍レンズ１０２を移動させ焦点距離制御を行い、絞り駆動源１１０を制御して絞り１０３を動作させる絞り制御を行う。
【００２２】
通信装置１１６は、画像処理コントローラ１２０と通信を行うための装置である。画像処理コントローラ１２０は、撮像装置１００への撮影指示、撮影した画像の解析、および各カメラ制御（フォーカス制御、露出制御、焦点距離制御）の指示を行う。また、ロボットアーム１３０の動作状態やロボットアーム１３０の位置状態に基づいて被写体までの距離を撮像装置１００へ送信（通知）するとともに、カメラの撮影状態の受信等を行う。さらにロボットアーム１３０への操作指示を行うものである。なお、上記のロボットアーム１３０の動作状態やロボットアーム１３０の位置状態は、ロボットアーム１３０に備えられた各種のセンサの検出値や画像処理コントローラ１２０からロボットアーム１３０に送られる指示コマンドなどから判断される。また、データの送受信は、所定の通信プロトコルに準じて行われる。ここでは、あらかじめ各種指示ごとに決められたコマンドを用いてデータの送受信を行う。
【００２３】
画像処理コントローラ１２０は、ＣＰＵ１２１、一次記憶装置１２２、二次記憶装置１２３、通信装置１２４、表示部１２５、操作部１２６を備える。ＣＰＵ１２１は、画像処理コントローラ１２０全体を制御する。二次記憶装置１２３は、ハードディスクなどからなり、ＣＰＵ１２１を動かすプログラムを格納する。一次記憶装置１２２は、ＲＡＭなどからなり、二次記憶装置１２３から読み込まれたプログラムが格納される。通信装置１２４は、撮像装置１００やロボットアーム１３０と通信を行う。表示部１２５は撮影画像の表示、対話的な操作のための文字表示などを行う。操作部１２６は、使用者の操作を受け付ける。
【００２４】
撮像装置１００はロボットアーム１３０に固定されている。ロボットアーム１３０が動くと、撮像装置１００の撮影範囲が変更される。また、ロボットアーム１３０は、アーム先端のロボットハンドを使って撮影対象物を把持することができる。ＣＰＵ１３１はロボットアーム１３０全体を制御する。通信装置１３２は、画像処理コントローラ１２０と通信を行う。
【００２５】
また、図１Ｂは撮像装置１００、画像処理コントローラ１２０、ロボットアーム１３０の外観を模式的に表した図である。なお、本実施形態では画像処理コントローラ１２０が親となり、撮像装置１００とロボットアーム１３０に指示を送るものとする。
【００２６】
＜フォーカス制御処理＞
次に、カメラマイコン１１４が実行するフォーカス制御処理について説明する。ここでは、ＴＶ−ＡＦ方式により、フォーカスレンズ１０５を移動させ、フォーカスレンズ１０５の位置ごとのＡＦ評価値信号を取得しながら、ＡＦ評価値信号が最大となるフォーカスレンズ位置を探索する。そして、最終的に、フォーカスレンズ１０５をＡＦ評価値信号が最大となるフォーカスレンズ位置へ移動させて停止させるワンショットＡＦ動作を実行する。
【００２７】
図２は、図１におけるカメラマイコン１１４が実行するフォーカス制御処理を示すフローチャートである。本処理は、カメラマイコン１１４内に格納されたコンピュータプログラムに従って実行される。また、本処理は、例えば、１フィールド画像（以下、１フレーム、１画面ともいう）を生成するための撮像素子１０６からの画像信号の読み出し周期（垂直同期期間ごと）で実行される。ただし、垂直同期期間（Ｖレート）内に複数回繰り返すようにしてもよい。
【００２８】
まず、Ｓ２０１において、カメラマイコン１１４は、通信装置１１６を経由して画像処理コントローラ１２０からのコマンドを受信したか否かを判定する。コマンドを受信した場合（Ｓ２０１でＹｅｓ）、Ｓ２０２へ移行し、コマンドを受信していない場合（Ｓ２０１でＮｏ）、Ｓ２１７へ移行する。
【００２９】
Ｓ２０２では、カメラマイコン１１４は、ロボットアームの位置状態に基づく被写体までの距離情報を、画像処理コントローラ１２０から受信する受信コマンドか否かを判定する。被写体までの距離情報の受信コマンドの場合（Ｓ２０２でＹｅｓ）、画像処理コントローラ１２０から送られてくる被写体の距離情報を取得し（Ｓ２０３）、被写体の距離情報をフォーカスレンズの位置情報へ換算する（Ｓ２０４）。被写体の距離情報のフォーカスレンズの位置情報への換算は、あらかじめズーム位置に応じてフォーカスレンズ位置に対する被写体距離を記憶した不揮発性メモリ等の情報に基づいて行えばよいが、これに限定されるものではない。
【００３０】
Ｓ２０５では、カメラマイコン１１４は、Ｓ２０４で算出したフォーカスレンズ位置を記憶し、Ｓ２０６では、ワンショットＡＦ動作中フラグをクリアしておく。
【００３１】
Ｓ２０２において、被写体までの距離情報の受信コマンドでない場合（Ｓ２０２でＮｏ）、Ｓ２０７において、ワンショットＡＦコマンドか否かを判定する。ワンショットＡＦコマンドでない場合（Ｓ２０７でＮｏ）は処理を終了し、ワンショットＡＦコマンドである場合（Ｓ２０７でＹｅｓ）、Ｓ２０８において、ワンショットＡＦ動作中フラグが立っているか否かを判定する。
【００３２】
ワンショットＡＦ動作中フラグが立っている場合（Ｓ２０８でＹｅｓ）、Ｓ２１３においてワンショットＡＦ動作処理を継続し、ワンショットＡＦ動作中フラグが立っていない場合（Ｓ２０８でＮｏ）、Ｓ２０９においてワンショットＡＦ動作中フラグを立て、Ｓ２１０へ移行する。
【００３３】
Ｓ２１０では、カメラマイコン１１４は、現在のフォーカスレンズ位置である移動前フォーカスレンズ位置とＳ２０５で記憶した移動後フォーカスレンズ位置の差が所定値以上か否かを判定する。移動前フォーカスレンズ位置と移動後フォーカスレンズ位置の差が所定値以上の場合（Ｓ２１０でＹｅｓ）は、Ｓ２１３におけるワンショットＡＦ動作の探索範囲である第１のサーチ範囲を設定する（Ｓ２１１）。一方、移動前フォーカスレンズ位置と移動後フォーカスレンズ位置の差が所定値未満の場合（Ｓ２１０でＮｏ）、第１のサーチ範囲よりも狭い第２のサーチ範囲を設定する（Ｓ２１２）。そして、Ｓ２１３でワンショットＡＦ動作を実行する。
【００３４】
ここで、所定値は、あらかじめ不図示の不揮発性メモリに記憶された値を用いればよく、例えば、焦点深度以内か否かで判断すればよい。さらには、移動後フォーカスレンズ位置から被写体距離を概算し、被写体距離によって変更するようにしてもよい。ここでは、ピントが合うまでのフォーカスレンズの移動量が大きいか否かを判定することが目的であり、移動量が小さい場合に、Ｓ２１３におけるワンショットＡＦ動作のサーチ範囲を狭くできればよい。
【００３５】
次に、Ｓ２１４でワンショットＡＦ動作が終了したか否かを判定し、ワンショットＡＦ動作が終了していない場合（Ｓ２１４でＮｏ）は処理を終了し、ワンショットＡＦ動作が終了した場合（Ｓ２１４でＹｅｓ）、ワンショットＡＦ動作中フラグをクリアする（Ｓ２１５）。そして、Ｓ２１６で現在のフォーカスレンズ位置を移動前フォーカスレンズ位置として記憶する。
【００３６】
また、Ｓ２１７において、ワンショットＡＦ動作中フラグが立っている場合（Ｓ２１７でＹｅｓ）、ワンショットＡＦ動作を継続し（Ｓ２１３）、ワンショットＡＦ動作中フラグが立っていない場合（Ｓ２１７でＮｏ）、処理を終了する。
【００３７】
なお、本実施形態では、被写体までの距離情報の受信コマンドおよびワンショットＡＦコマンドを受信した後、各コマンド制御が終了するまで次のコマンドを受け付けないシーケンスを前提に記載しているが、本発明はこれに限定されるものではない。例えば、被写体までの距離情報の受信コマンドを所定の周期で定期的に受信するようにした場合には、ワンショットＡＦコマンド制御が実行されている際には、被写体距離情報の受信コマンドを受けつけないようにすればよい。
【００３８】
以上の動作により、画像処理コントローラ１２０から、対象物までの距離、もしくはこれから移動しようとしている対象物までの距離を撮像装置１００が受信する。その距離に基づいて対象物にピントが合うフォーカスレンズ位置を算出して、現在のフォーカスレンズ位置からの移動量を概算する。そして、概算された移動量に応じてＡＦの探索範囲を変更する。これにより、ワンショットＡＦでピントを合わせる際に、フォーカスレンズを移動してピントを探索する範囲を決めることができ、フォーカスレンズの移動量が小さくてよい場合には、ピントを探索するサーチ範囲を小さくすることができる。結果として、ワンショットＡＦによるピント合わせの時間を短縮することができる。つまり、フォーカスレンズの移動量に応じて、ピント合わせの時間を短縮しながら、様々な被写体に対してピントを合わせることができるワンショットＡＦ動作を実現することができる。
【００３９】
また、本実施形態においては、Ｓ２０４で算出した被写体距離情報に基づいたフォーカスレンズ位置はＳ２０５で移動後のフォーカスレンズ位置として記憶しただけであった。しかし、そのフォーカスレンズ位置の差に対応する量に基づいてフォーカスレンズ１０５を移動してもよい。
【００４０】
その場合、フォーカスレンズを合焦近傍まで移動しているので、常にワンショットＡＦ動作で実行する際の探索範囲はＳ２１２の第２のサーチ範囲に設定すればよい。つまり、被写体距離情報に基づいたフォーカスレンズ位置にフォーカスレンズ１０５を移動するか否かで、第１のサーチ範囲に設定するか第２のサーチ範囲に設定するかを変更すればよい。
【００４１】
このように、カメラマイコン１１４が受信した被写体距離に基づいてフォーカスレンズを移動した場合には、ロボットアーム１３０が動作している間（動作中）に、合焦位置近傍へフォーカスレンズ１０５を移動することができる。そのため、ロボットアーム１３０が動作した後のワンショットＡＦ動作でのピント合わせにかかる時間もサーチ範囲を通常より狭くすることで短縮することができる。
【００４２】
（第２の実施形態）
図３は、図１におけるカメラマイコン１１４が実行する第２の実施形態におけるフォーカス制御処理を示すフローチャートである。
【００４３】
まず、Ｓ３０１において、カメラマイコン１１４は、通信装置１１６を経由して画像処理コントローラ１２０からコマンドを受信したか否かを判定する。コマンドを受信した場合（Ｓ３０１でＹｅｓ）、Ｓ３０２へ移行し、コマンドを受信していない場合（Ｓ３０１でＮｏ）、Ｓ３１７へ移行する。
【００４４】
Ｓ３０２では、外部装置、本実施形態においてはロボットアーム１３０の移動情報に基づいた動き情報を受信する受信コマンドか否かを判定する。ロボットアーム１３０の動き情報の受信コマンドの場合（Ｓ３０２でＹｅｓ）、動き情報を受信し、撮像装置１００の光軸方向に対して垂直方向（直交する方向）に移動したか否かを判定する（Ｓ３０３）。移動方向が光軸方向に対して垂直方向である場合には（Ｓ３０３でＹｅｓ）、ロボットアーム１３０は対象物に対して水平に移動したと判断し平行移動フラグをセットする（Ｓ３０４）。一方、光軸方向に対して垂直方向に移動していない場合には（Ｓ３０３でＮｏ）、対象物に対して近づいたり遠ざかったりするような動作で対象物までの距離が変化したと判断し、垂直移動フラグをセットする（Ｓ３０５）。そして、ワンショットＡＦ動作中フラグをクリアしておく（Ｓ３０６）。
【００４５】
一方、Ｓ３０２において、ロボットアーム１３０の動き情報の受信コマンドでないと判断された場合（Ｓ３０２でＮｏ）、ワンショットＡＦコマンドか否かを判定する（Ｓ３０７）。ワンショットＡＦコマンドでない場合（Ｓ３０７でＮｏ）は処理を終了し、ワンショットＡＦコマンドである場合（Ｓ３０７でＹｅｓ）、ワンショットＡＦ動作中フラグが立っているか否かを判定する（Ｓ３０８）。
【００４６】
ワンショットＡＦ動作中フラグが立っている場合（Ｓ３０８でＹｅｓ）、Ｓ３１３においてワンショットＡＦ動作処理を継続し、ワンショットＡＦ動作中フラグが立っていない場合（Ｓ３０８でＮｏ）、ワンショットＡＦ動作中フラグを立て（Ｓ３０９）、Ｓ３１０へ移行する。
【００４７】
Ｓ３１０では、平行移動フラグが立っているか否かを判定する。平行移動フラグが立っていない場合は（Ｓ３１０でＮｏ）、Ｓ３１１で第３のサーチ範囲に設定し、平行移動フラグが立っている場合は（Ｓ３１０でＹｅｓ）、Ｓ３１２で第３のサーチ範囲よりも狭い第４のサーチ範囲に設定する。
【００４８】
平行移動フラグが立っていない場合は、ロボットアーム１３０が対象物に対して近づいたり遠ざかったりして、対象物までの距離が変化しているため、ピント位置の変化が大きい。そのため、フォーカスレンズ位置を大きく移動させる必要が出てくる。これに対し、平行移動フラグが立っている場合は、ロボットアームが対象物に対して平行移動するため、対象物までの距離の変化は小さいと考えられる。そのため、ピント位置の変化も小さいので、第３のサーチ範囲よりも狭い第４のサーチ範囲に設定する。これにより、ワンショットＡＦにおける合焦動作をロボットアームの動きに応じて安定して行うことができ、さらに合焦動作の時間を短縮することも可能となる。そして、Ｓ３１３でワンショットＡＦ動作を実行する。
【００４９】
次に、Ｓ３１４でワンショットＡＦ動作が終了したか否かを判定する。ワンショットＡＦ動作が終了していない場合（Ｓ３１４でＮｏ）は処理を終了し、ワンショットＡＦ動作が終了した場合（Ｓ３１４でＹｅｓ）、ワンショットＡＦ動作中フラグをクリアする（Ｓ３１５）。そして、Ｓ３１６で平行移動フラグおよび垂直移動フラグをクリアする。
【００５０】
また、Ｓ３１７で、ワンショットＡＦ動作中フラグが立っている場合（Ｓ３１７でＹｅｓ）、ワンショットＡＦ動作を継続し（Ｓ３１３）、ワンショットＡＦ動作中フラグが立っていない場合（Ｓ３１７でＮｏ）、処理を終了する。
【００５１】
本実施形態においては、動き情報の受信コマンドおよびワンショットＡＦコマンドを受信した後、各コマンド制御が終了するまで次のコマンドを受け付けないシーケンスを前提に記載しているが、本発明はそれに限定されるものではない。例えば、動き情報の受信コマンドを所定の周期で定期的に受信するようにした場合には、ワンショットＡＦコマンド制御が実行されている際には、動き情報の受信コマンドを受けつけないようにすればよい。
【００５２】
以上の動作により、撮像装置１００は、ロボットアームの動き情報を画像処理コントローラ１２０から受信する。そして、その情報に基づいてＡＦの探索範囲を変更する。これにより、ワンショットＡＦでピントを合わせる際に、フォーカスレンズを移動してピントを探索する範囲を決めることができる。そして、フォーカスレンズの移動量が小さくてよい場合には、ピントを探索するサーチ範囲を小さくすることができる。これにより、ワンショットＡＦによるピント合わせの時間を短縮することができる。つまり、ロボットアームの動き情報に応じて、ピント合わせの時間を短縮しながら、様々な被写体に対してピントを合わせることができるワンショットＡＦ動作を実現することができる。
【００５３】
（第３の実施形態）
第１及び第２の実施形態の構成においては、撮像装置１００はロボットアーム１３０に固定されており、ロボットアーム１３０に連動して移動するものであった。しかし、撮像装置１００がロボットアーム１３０に固定されておらず、定点位置に置かれている場合も考えられる。
【００５４】
本実施形態のフォーカス制御処理は、図１の第１の実施形態におけるフォーカス制御処理と同様であるが、次の点が異なる。本実施形態では、カメラマイコン１１４は、画像処理コントローラ１２０から撮像装置１００がロボットアーム１３０に固定されているのか、それとも定点撮影として固定されているのかの情報を受け取る。そして、撮像装置１００はその情報に基づいてワンショットＡＦにおけるフォーレンズを移動して合焦位置を探索するサーチ範囲を変更する。
【００５５】
定点撮影状態として撮像装置１００が設置されている場合には、対象物に対して被写体までの距離が大きく変化することはない。そのため、撮像装置が定点設置されていない場合と比較してサーチ範囲を狭くする。また、この場合サーチを範囲を０として、フォーカスレンズを移動しないようにしてもよい。これにより、撮像装置１００に設置状態に応じたワンショットＡＦ動作による効率的なピント合わせを行わせることができる。
【００５６】
また、画像処理コントローラ１２０は、ロボットアーム１３０と別々の構成としていたが、ロボットアーム１３０内に内蔵されている構成でもよい。
【００５７】
上記の第１の実施形態においては、画像処理コントローラ１２０から、対象物までの距離を示す情報を撮像装置１００に送信する構成としていた。しかし、ロボットアーム１３０の位置状態を撮像装置１００に送信するように構成してもよい。その場合、カメラマイコン１１４において、ロボットアーム１３０の位置状態から対象物までの距離を示す情報に換算すればよい。
【００５８】
さらに、撮像装置１００に対して送信される対象物までの距離情報は、現在のロボットアーム１３０の位置状態における対象物までの距離でなくてもかまわない。次にロボットアームが移動しようとしている位置状態での対象物までの距離情報を送信することで、ロボットアームが移動しようとしている間に、各カメラ制御を実行することができ、ロボットアーム１３０の動作をスムーズに行うことができる。
【００５９】
＜各実施形態の利点＞
以上説明したように、上記の各実施形態では、ロボットアーム１３０の位置状態に基づいて算出した対象物までの距離を示す情報を撮像装置１００が受信する。撮像装置１００では、対象物までの距離を示す情報に基づいてピント位置を探索するためのフォーカスレンズを移動するサーチ範囲を変更する。
【００６０】
このように、ロボットアーム１３０の位置、もしくは次に移動しようとしている位置に基づいて対象物までの距離を示す情報を撮像装置１００が受信することにより、効率的なフォーカス制御を実行することができる。
【００６１】
さらに、ロボットアーム１３０の動き情報に基づいて、サーチ範囲を変更することにより、さらに効率的なピント合わせを実現することができる。これらにより、ロボットアーム１３０をスムーズに動作させることが可能となる。
【００６２】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００６３】
（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
【符号の説明】
【００６４】
１００：撮像装置、１０５：フォーカスレンズ、１０６：撮像素子、１０８：カメラ信号処理部、１１４：カメラマイクロコンピュータ、１１６：通信装置、１２０：画像処理コントローラ、１３０：ロボットアーム
【図１Ａ】
2019159204.tif 000003
【図１Ｂ】
2019159204.tif 000004
【図２】
2019159204.tif 000005
【図３】
2019159204.tif 000006