(57)【要約】【課題】ロボットに取り付けられたカメラを制御するシステムにおいて、対象物までの距離が様々である場合にもスムーズな焦点調節制御を実現する。【解決手段】ロボットアームに取り付けられた撮像装置と、ロボットアームと撮像装置を制御する制御装置とを備える撮像システムであって、制御装置は、撮像装置に対して、ロボットアームの動作状態の情報を通知する通知部を備え、撮像装置は、被写体像を撮像する撮像部と、被写体に対して撮像光学系の焦点を合わせる自動焦点調節部と、通知部により制御装置から通知されたロボットアームの動作状態の情報に基づいて、自動焦点調節部による自動焦点調節の動作を変更する変更部とを備える。【選択図】図２
2019159205.tif 000002
【特許請求の範囲】
【請求項１】
ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムであって、
前記制御装置は、
前記撮像装置に対して、前記ロボットアームの動作状態の情報を通知する通知手段を備え、
前記撮像装置は、
被写体像を撮像する撮像手段と、
被写体に対して撮像光学系の焦点を合わせる自動焦点調節手段と、
前記通知手段により前記制御装置から通知された前記ロボットアームの動作状態の情報に基づいて、前記自動焦点調節手段による自動焦点調節の動作を変更する変更手段と、を備える、
ことを特徴とする撮像システム。
【請求項２】
前記変更手段は、前記ロボットアームの動作状態の情報に基づいて、前記自動焦点調節手段による自動焦点調節の動作を制限するか否かを変更することを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記変更手段は、前記ロボットアームの動作状態が動作中の場合には、前記自動焦点調節手段による焦点検出動作を制限することを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記撮像装置は、前記自動焦点調節手段により合焦となるフォーカスレンズの位置が算出された場合には、前記フォーカスレンズの合焦となる位置への移動が完了する前に、焦点調節の完了を示す信号を前記制御装置に送信することを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
【請求項５】
前記制御装置または前記撮像装置は、前記撮像装置のフォーカスレンズを指定した位置に移動させる指定手段をさらに備えることを特徴とする請求項１に記載の撮像システム。
【請求項６】
前記自動焦点調節手段は、自動焦点調節の動作の前に前記指定手段の指示により前記フォーカスレンズが指定した位置に移動されたか否かに応じて、自動焦点調節の動作を変更することを特徴とする請求項５に記載の撮像システム。
【請求項７】
前記自動焦点調節手段は、自動焦点調節の動作の前に前記指定手段の指示により前記フォーカスレンズが指定した位置に移動されたか否かに応じて、焦点検出のために前記フォーカスレンズの合焦位置を探索する範囲を変更することを特徴とする請求項６に記載の撮像システム。
【請求項８】
前記自動焦点調節手段は、自動焦点調節の動作の前に前記指定手段の指示により前記フォーカスレンズが指定した位置に移動された場合には、前記フォーカスレンズが指定した位置に移動されない場合よりも、焦点検出のために前記フォーカスレンズの合焦位置を探索する範囲を狭くすることを特徴とする請求項７に記載の撮像システム。
【請求項９】
前記撮像装置は、被写体までの距離に応じて変動する制御情報を前記通知手段により受信し、前記自動焦点調節手段は、前記制御情報に基づいたフォーカスレンズの位置と前記指定手段により指定されたフォーカスレンズの位置とに基づいて、焦点検出を実行する際のフォーカスレンズの合焦位置を探索する範囲を変更することを特徴とする請求項５乃至８のいずれか１項に記載の撮像システム。
【請求項１０】
前記自動焦点調節手段は、前記撮像装置が前記ロボットアームの動きと連動しない場合には、前記指定手段により前記フォーカスレンズが駆動されたか否かに応じて、焦点検出のために前記フォーカスレンズの合焦位置を探索する範囲をさらに変更することを特徴とする請求項５乃至９のいずれか１項に記載の撮像システム。
【請求項１１】
前記自動焦点調節手段は、前記制御情報に基づいたフォーカスレンズの位置と前記指定手段により指定されたフォーカスレンズの位置との差が所定の値以下の場合には、所定の値より大きい場合に比べて、焦点検出のために前記フォーカスレンズの合焦位置を探索する範囲を狭くすることを特徴とする請求項１０に記載の撮像システム。
【請求項１２】
前記自動焦点調節手段は、前記撮像装置が前記ロボットアームの動きと連動して移動しない場合には、前記ロボットアームの動作状態に応じて自動焦点調節の動作を制限することを行わないことを特徴とする請求項２に記載の撮像システム。
【請求項１３】
ロボットアームに取り付けられる撮像装置であって、
被写体像を撮像する撮像手段と、
被写体に対して撮像光学系の焦点を合わせる自動焦点調節手段と、
前記ロボットアームの動作状態の情報を受信する受信手段と、
前記受信手段により受信した前記ロボットアームの動作状態の情報に基づいて、前記自動焦点調節手段による自動焦点調節の動作を変更する変更手段と、
を備えることを特徴とする撮像装置。
【請求項１４】
ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムを制御する方法であって、
前記制御装置が、前記撮像装置に対して、前記ロボットアームの動作状態の情報を通知する通知工程と、
前記撮像装置が、前記通知工程において前記制御装置から通知された前記ロボットアームの動作状態の情報に基づいて、前記自動焦点調節手段による自動焦点調節の動作を変更する変更工程と、
を有することを特徴とする撮像システムの制御方法。
【請求項１５】
ロボットアームに取り付けられる撮像装置を制御する方法であって、
被写体に対して撮像光学系の焦点を合わせる自動焦点調節工程と、
前記ロボットアームの動作状態の情報を受信する受信工程と、
前記受信工程において受信した前記ロボットアームの動作状態の情報に基づいて、前記自動焦点調節手段による自動焦点調節の動作を変更する変更工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１６】
請求項１４または１５に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１７】
請求項１４または１５に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットアームの動作状態に基づいて撮像装置の焦点調節を制御する技術に関するものである。
【背景技術】
【０００２】
例えば、組立用のロボット等においては、ロボットアームによりワークをピック＆プレイスする際に、カメラを用いてロボットを制御することが行われている。この制御は、ロボットアームの手先部に取り付けられたカメラにより、そのワークを撮影し、その撮影画像データからワークの位置を検出し、検出位置にロボットアームを移動させてハンドでワークを把持するというものである。
【０００３】
この種のロボット制御装置として、特許文献１には、カメラに焦点調節機能、焦点距離調節機能、絞り調整機能等を有する光学系調節手段を有し、ワークを撮影した撮影画像データに基づいて光学系調節手段を制御する装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２１１３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の従来技術では、ビジュアルサーボと称される視覚フィードバッグ制御により、対象物の特徴量を目標データとして記憶し、目標データ記憶時と誤差が少なくなるようにピント、焦点距離、絞りを調節する構成となっている。
【０００６】
この制御では、対象物を撮影し、撮影した撮影画像を視覚認識装置に送信し、視覚認識装置で目標データと現在データとを比較してその誤差を算出し、誤差を減少させる（０となる）ように再度ロボット制御およびカメラ制御を繰り返す。そのため、誤差を減少させるために時間がかかる。その場合、ロボットアームの動作のスムーズな動きを阻害してしまう。
【０００７】
また、対象物にピントを合わせる場合、対象物を撮影し、撮影した撮影画像からピントが合っているか否かを確認しながらピント位置を調整していると、対象物までの距離が様々である場合には、各距離で同じ制御を行う必要が出てくるので時間がかかる。
【０００８】
そのため、自動でピントを合わせるオートフォーカスの機能を備えることが考えられるが、合焦位置から離れた位置からピントが合う位置を探索していては、ピントが合うまでに時間がかかるという問題がある。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、その目的は、ロボットに取り付けられたカメラを制御するシステムにおいて、対象物までの距離が様々である場合にもスムーズな焦点調節制御を実現することである。
【課題を解決するための手段】
【００１０】
本発明に係わる撮像システムは、ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムであって、前記制御装置は、前記撮像装置に対して、前記ロボットアームの動作状態の情報を通知する通知手段を備え、前記撮像装置は、被写体像を撮像する撮像手段と、被写体に対して撮像光学系の焦点を合わせる自動焦点調節手段と、前記通知手段により前記制御装置から通知された前記ロボットアームの動作状態の情報に基づいて、前記自動焦点調節手段による自動焦点調節の動作を変更する変更手段と、を備える、ことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ロボットに取り付けられたカメラを制御するシステムにおいて、対象物までの距離が様々である場合にもスムーズな焦点調節制御を実現することが可能となる。
【図面の簡単な説明】
【００１２】
【図１Ａ】本発明の第１の実施形態に係わる撮像システムの構成を示すブロック図。
【図１Ｂ】撮像装置、画像処理コントローラ、ロボットアームの外観を模式的に表した図。
【図２】第１の実施形態における撮像装置のフォーカス制御を示すフローチャート。
【図３】第２の実施形態における撮像装置のフォーカス制御を示すフローチャート。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
＜撮像システムの構成＞
本発明の第１の実施形態における撮像システムについて説明する。この撮像システムでは、ロボットアームの動作状態に基づいて、ロボットアームに設置された撮像装置の焦点調節制御を行う。
【００１４】
図１Ａは、本発明の第１の実施形態に係わる撮像システムの構成を示すブロック図である。この撮像システムは、撮像装置１００と、画像処理コントローラ１２０と、ロボットアーム１３０とが通信可能に接続されて構成されている。
【００１５】
撮像装置１００には、撮像光学系として、第１の固定レンズ群１０１、変倍レンズ１０２、絞り１０３、第２の固定レンズ群１０４、フォーカスレンズ１０５（フォーカスコンペンセータレンズ）が配置されている。変倍レンズ１０２を光軸に沿う方向に移動することにより変倍を行い、焦点距離を変えることができる。フォーカスレンズ１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えている。
【００１６】
ズーム駆動源１０９は変倍レンズ１０２を移動させる駆動源である。絞り駆動源１１０は絞り１０３を動かすための駆動源である。フォーカシング駆動源１１１はフォーカスレンズ１０５を移動させるための駆動源である。ズーム駆動源１０９、絞り駆動源１１０、フォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。
【００１７】
撮像装置１００は、さらに撮像素子１０６、ＣＤＳ／ＡＧＣ回路１０７、カメラ信号処理部１０８、タイミングジェネレータ１１２、ＡＦ信号処理部１１３、記録部１１５、カメラマイクロコンピュータ１１４（以下、単にカメラマイコンという）、通信装置１１６を備える。
【００１８】
撮像素子１０６は被写体像を光電変換する素子であって、ＣＣＤやＣＭＯＳセンサなどから構成されている。撮像素子１０６は行列状に複数の画素部を有する。撮像光学系を通過した光束は撮像素子１０６の受光面上に結像され、各画素部が有するフォトダイオード（光電変換部）によって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラマイコン１１４の指令に従ってタイミングジェネレータ１１２から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号として撮像素子１０６から順次読み出される。
【００１９】
撮像素子１０６から読み出された出力信号は、サンプリングし、ゲイン調整するＣＤＳ／ＡＧＣ回路１０７に入力される。カメラ信号処理部１０８は、ＣＤＳ／ＡＧＣ回路１０７から出力された画像信号に対して各種の画像処理を施して、画像信号を生成する。第１の実施形態における画像信号は、ロボット制御に用いるための静止画像や動画像の信号である。記憶部１１５は、カメラ信号処理部１０８からの画像信号を記憶する。
【００２０】
ＡＦ信号処理部１１３はＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち焦点検出に用いられる領域の信号のみを通すＡＦゲートを通過した信号から高周波成分や輝度差成分（ＡＦゲートを通過した信号の輝度レベルの最大値と最小値の差分）等を抽出してＡＦ評価値信号を生成する。ＡＦ評価値信号は、カメラマイコン１１４に出力される。ＡＦ評価値信号は、撮像素子１０６からの出力信号に基づいて生成される映像信号の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的にＡＦ評価値信号は撮像光学系の焦点状態を表す信号となる。
【００２１】
カメラマイコン１１４は、撮像装置１００全体の動作の制御を司るとともに、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を移動させるＡＦ制御（自動焦点調節制御）を行う。カメラマイコン１１４は、ＡＦ制御として、ＴＶ−ＡＦ方式でのＡＦ制御（以下、単に「ＴＶ−ＡＦ」という。）を行う。ＴＶ−ＡＦ方式とは上記のようなコントラスト検出により焦点検出を行う焦点検出方式である。また、カメラマイコン１１４は、ズーム駆動源１０９を制御して変倍レンズ１０２を移動させ焦点距離制御を行い、絞り駆動源１１０を制御して絞り１０３を動作させる絞り制御を行う。
【００２２】
通信装置１１６は、画像処理コントローラ１２０と通信を行うための装置である。画像処理コントローラ１２０は、撮像装置１００への撮影指示、撮影した画像の解析、および各カメラ制御（フォーカス制御、露出制御、焦点距離制御）の指示を行う。また、ロボットアーム１３０の動作状態やロボットアーム１３０の位置状態に基づいて被写体までの距離を撮像装置１００へ送信（通知）するとともに、カメラの撮影状態の受信等を行う。さらにロボットアーム１３０への操作指示を行うものである。なお、上記のロボットアーム１３０の動作状態やロボットアーム１３０の位置状態は、ロボットアーム１３０に備えられた各種のセンサの検出値や画像処理コントローラ１２０からロボットアーム１３０に送られる指示コマンドなどから判断される。また、データの送受信は、所定の通信プロトコルに準じて行われる。ここでは、あらかじめ各種指示ごとに決められたコマンドを用いてデータの送受信を行う。
【００２３】
画像処理コントローラ１２０は、ＣＰＵ１２１、一次記憶装置１２２、二次記憶装置１２３、通信装置１２４、表示部１２５、操作部１２６を備える。ＣＰＵ１２１は、画像処理コントローラ１２０全体を制御する。二次記憶装置１２３は、ハードディスクなどからなり、ＣＰＵ１２１を動かすプログラムを格納する。一次記憶装置１２２は、ＲＡＭなどからなり、二次記憶装置１２３から読み込まれたプログラムが格納される。通信装置１２４は、撮像装置１００やロボットアーム１３０と通信を行う。表示部１２５は撮影画像の表示、対話的な操作のための文字表示などを行う。操作部１２６は、使用者の操作を受け付ける。
【００２４】
撮像装置１００はロボットアーム１３０に固定されている。ロボットアーム１３０が動くと、撮像装置１００の撮影範囲が変更される。また、ロボットアーム１３０は、アーム先端のロボットハンドを使って撮影対象物を把持することができる。ＣＰＵ１３１はロボットアーム１３０全体を制御する。通信装置１３２は、画像処理コントローラ１２０と通信を行う。
【００２５】
また、図１Ｂは撮像装置１００、画像処理コントローラ１２０、ロボットアーム１３０の外観を模式的に表した図である。なお、本実施形態では画像処理コントローラ１２０が親となり、撮像装置１００とロボットアーム１３０に指示を送るものとする。
【００２６】
＜フォーカス制御処理＞
次に、カメラマイコン１１４が実行するフォーカス制御処理について説明する。ここでは、ＴＶ−ＡＦ方式により、フォーカスレンズ１０５を移動させ、フォーカスレンズ１０５の位置ごとのＡＦ評価値信号を取得しながら、ＡＦ評価値信号が最大となるフォーカスレンズ位置を探索する。そして、最終的に、フォーカスレンズ１０５をＡＦ評価値信号が最大となるフォーカスレンズ位置へ移動させて停止させるワンショットＡＦ動作を実行する。
【００２７】
図２は、図１におけるカメラマイコン１１４が実行するフォーカス制御処理を示すフローチャートである。本処理は、カメラマイコン１１４内に格納されたコンピュータプログラムに従って実行される。また、本処理は、例えば、１フィールド画像（以下、１フレーム、１画面ともいう）を生成するための撮像素子１０６からの画像信号の読み出し周期（垂直同期期間ごと）で実行される。ただし、垂直同期期間（Ｖレート）内に複数回繰り返すようにしてもよい。
【００２８】
まず、Ｓ２０１において、カメラマイコン１１４は、通信装置１１６を経由して画像処理コントローラ１２０からのコマンドを受信したか否かを判定する。コマンドを受信した場合（Ｓ２０１でＹｅｓ）、Ｓ２０２へ移行し、コマンドを受信していない場合（Ｓ２０１でＮｏ）、Ｓ２２１へ移行する。
【００２９】
Ｓ２０２では、カメラマイコン１１４は、ロボットアーム１３０が動作中か停止中かを示す動作状態の情報を受信する受信コマンドか否かを判定する。ロボットアーム１３０の動作情報の受信コマンドの場合（Ｓ２０２でＹｅｓ）、Ｓ２０３において動作中か否かを判定し、ロボットアーム１３０が動いている場合（Ｓ２０３でＹｅｓ）、Ｓ２０４において外部装置の動作中フラグをセットする。一方、Ｓ２０３においてロボットアーム１３０が停止していると判定された場合（Ｓ２０３でＮｏ）、Ｓ２０５において外部装置の動作中フラグをクリアする。
【００３０】
Ｓ２０６では、ワンショットＡＦコマンドを一度受信し、カメラマイコン１１４内で保持している状態か否かを判定する。ワンショットＡＦコマンドを保持していない場合には（Ｓ２０６でＮｏ）、そのまま処理を終了する。ワンショットＡＦコマンドを保持している場合には（Ｓ２０６でＹｅｓ）、Ｓ２０９においてワンショットＡＦ動作を実行中か否かを示すワンショットＡＦ動作中フラグが立っているか否かを判定する。
【００３１】
一方、Ｓ２０２においてロボットアームの動作情報受信コマンドでない場合（Ｓ２０２でＮｏ）、Ｓ２０７においてワンショットＡＦコマンドか否かを判定する。ワンショットＡＦコマンドである場合（Ｓ２０７でＹｅｓ）、Ｓ２０８において外部装置の動作中フラグが立っているか否かを判定する。
【００３２】
外部装置の動作中フラグが立っている場合（Ｓ２０８でＹｅｓ）、Ｓ２１１においてワンショットＡＦ動作（焦点検出動作）を実行するのを一時的に禁止し、ワンショットＡＦコマンドを受信したことをカメラマイコン１１４が認識するために、ワンショットＡＦコマンドを保持する。そして、Ｓ２２２においてワンショットＡＦ動作中フラグをクリアしておく。
【００３３】
外部装置の動作中フラグが立っていない場合（Ｓ２０８でＮｏ）、ワンショットＡＦ動作中フラグが立っているか否かを判定する（Ｓ２０９）。ワンショットＡＦ動作中フラグが立っている場合（Ｓ２０９でＹｅｓ）、Ｓ２１２においてワンショットＡＦ動作処理を継続する。ワンショットＡＦ動作中フラグが立っていない場合（Ｓ２０９でＮｏ）、Ｓ２１０においてワンショットＡＦ動作中フラグを立て、Ｓ２１２へ移行する。
【００３４】
Ｓ２１２では、ワンショットＡＦ動作を実行する。Ｓ２１３では、ＡＦ評価値信号が最大となるフォーカスレンズ位置である合焦レンズ位置が分かったか否かを判定する。ワンショットＡＦ動作の実行途中で合焦レンズ位置が分かった場合（Ｓ２１３でＹｅｓ）、Ｓ２１４においてワンショットＡＦ動作が終了したか否かを判定する。
【００３５】
ワンショットＡＦ動作により、合焦レンズ位置へフォーカスレンズを移動してフォーカスレンズが停止し、ワンショットＡＦ動作のすべての処理が終了した場合には（Ｓ２１４でＹｅｓ）、Ｓ２１５においてワンショットＡＦ動作中フラグをクリアする。ワンショットＡＦ動作の処理が終了していない場合には（Ｓ２１４でＮｏ）、ワンショットＡＦ動作終了通知をカメラマイコン１１４から通信装置１１６を経由して画像処理コントローラ１２０へ送信する。
【００３６】
ワンショットＡＦ動作では、合焦レンズ位置を算出することができた場合、その算出された合焦レンズ位置へフォーカスレンズを移動させる必要がある。しかしながら、フォーカスレンズが合焦レンズ位置へ移動するのを待っていては、ロボットアーム１３０と撮像装置１００の連携に無駄時間ができてしまい、スムーズな制御を妨げてしまう。そのため、合焦レンズ位置が分かった時点で、フォーカスレンズの合焦位置への移動が完了する前に、ワンショットＡＦ動作の終了を通知することで、本実施形態の撮像システムにおける制御の効率化を図ることができる。ただし、不図示ではあるが、合焦レンズ位置が分かったと同時にワンショットＡＦ動作終了と判定した場合には、Ｓ２１６のワンショットＡＦ動作終了通知を送信してからＳ２１４へ移行する必要がある。
【００３７】
一方、Ｓ２０７において、ワンショットＡＦコマンドでない場合（Ｓ２０７でＮｏ）は、Ｓ２１７においてフォーカスレンズを指示されたレンズ位置へ移動させる位置指定コマンドであるか否かを判定する。位置指定コマンドでない場合には（Ｓ２１７でＮｏ）、処理を終了し、位置指定コマンドであった場合には（Ｓ２１７でＹｅｓ）、Ｓ２１８において受信した指定位置へフォーカスレンズを移動させる。Ｓ２１９では、指定された位置へフォーカスレンズを移動させるために、ワンショットＡＦ動作を強制的に中断するため、ワンショットＡＦ動作中フラグをクリアし、Ｓ２２０においてワンショットＡＦコマンドの保持を解除する。
【００３８】
一方、Ｓ２２１では、ワンショットＡＦ動作中フラグが立っている場合（Ｓ２２１でＹｅｓ）、ワンショットＡＦ動作を継続するためにＳ２０８へ移行する。ワンショットＡＦ動作中フラグが立っていない場合（Ｓ２２１でＮｏ）、処理を終了する。
【００３９】
位置指定コマンド時は、ロボットアーム１３０の動作状態による影響は全くないので、ロボットアーム１３０の動作状態による判定をせずに、指定されたフォーカスレンズ位置へ移動させることができる。
【００４０】
本実施形態においては、ロボットアーム１３０が動作しているか停止しているかの動作情報を撮像装置１００が受信し、その動作情報に基づいてワンショットＡＦ動作の実行を制限する。ワンショットＡＦ動作は、ロボットアーム１３０が動作している状態では、ロボットアーム１３０の動きによってＡＦ評価値信号が変化してしまうため、合焦レンズ位置を正確に見つけることができなくなる。そのため、ロボットアーム１３０の動作情報を受信してＡＦ動作を行うか否かを判断することにより、ワンショットＡＦ動作によるピント合わせを正確に行うことができ、適切な撮影画像を取得することができるようになる。
【００４１】
また、ワンショットＡＦ動作の実行により、合焦レンズ位置が算出されてフォーカスレンズを算出された合焦レンズ位置へ移動する前に、ワンショットＡＦ動作の終了を画像処理コントローラ１２０へ送信する。これにより、フォーカスレンズが合焦レンズ位置へ移動し停止するまでの時間を無駄にすることなくロボットアーム１３０を動作せることができ、ロボットアーム１３０の動きをスムーズにすることができる。
【００４２】
また、ワンショットＡＦ動作コマンドを受信した際は、ロボットアーム１３０が動作中の場合はワンショットＡＦ動作の実行を禁止する。また、位置指定コマンドを受信した際は、ロボットアーム１３０が動作中か否かを判定せずに、フォーカスレンズを指定された位置へ移動させる。このように、撮像装置１００が受信したコマンドによって、ロボットアーム１３０の動作状態に基づく制御を変更することにより、ロボットアーム１３０の制御を阻害することなく効率的なフォーカス制御を実行することができる。
【００４３】
（第２の実施形態）
図３は、図１におけるカメラマイコン１１４が実行する第２の実施形態におけるフォーカス制御処理を示すフローチャートである。
【００４４】
まず、Ｓ３０１において、カメラマイコン１１４は、通信装置１１６を経由して画像処理コントローラ１２０からコマンドを受信したか否かを判定する。コマンドを受信した場合（Ｓ３０１でＹｅｓ）、Ｓ３０２へ移行し、コマンドを受信していない場合（Ｓ３０１でＮｏ）、Ｓ３２０へ移行する。
【００４５】
Ｓ３０２では、ロボットアーム１３０が動作中か停止中かを示す動作状態を受信する受信コマンドか否かを判定する。ロボットアーム１３０の動作情報の受信コマンドの場合（Ｓ３０２でＹｅｓ）、Ｓ３０３において動作中か否かを判定する。ロボットアーム１３０が動いている場合（Ｓ３０３でＹｅｓ）、Ｓ３０４において外部装置の動作中フラグをセットする。ロボットアーム１３０が停止している場合（Ｓ３０３でＮｏ）、Ｓ３０５において外部装置の動作中フラグをクリアする。
【００４６】
Ｓ３０６では、ワンショットＡＦコマンドを一度受信しカメラマイコン１１４内で保持している状態か否かを判定する。ワンショットＡＦコマンドを保持していない場合には（Ｓ３０６でＮｏ）、そのまま処理を終了する。ワンショットＡＦコマンドを保持している場合には（Ｓ３０６でＹｅｓ）、Ｓ３０９においてワンショットＡＦ動作を実行中か否かを示すワンショットＡＦ動作中フラグが立っているか否かを判定する。
【００４７】
一方、ロボットアームの動作情報の受信コマンドでない場合（Ｓ３０２でＮｏ）、Ｓ３０７においてワンショットＡＦコマンドか否かを判定する。ワンショットＡＦコマンドである場合（Ｓ３０７でＹｅｓ）、Ｓ３０８において外部装置の動作中フラグが立っているか否かを判定する。
【００４８】
外部装置の動作中フラグが立っている場合（Ｓ３０８でＹｅｓ）、Ｓ３１１においてワンショットＡＦ動作を実行するのを一時的に禁止し、ワンショットＡＦコマンドを受信したことをカメラマイコン１１４が認識するために、ワンショットＡＦコマンドを保持する。そして、Ｓ３２２においてワンショットＡＦ動作中フラグをクリアしておく。
【００４９】
外部装置の動作中フラグが立っていない場合（Ｓ３０８でＮｏ）、Ｓ３０９においてワンショットＡＦ動作中フラグが立っているか否かを判定する。ワンショットＡＦ動作中フラグが立っている場合（Ｓ３０９でＹｅｓ）、Ｓ３１２においてワンショットＡＦ動作処理を継続する。ワンショットＡＦ動作中フラグが立っていない場合（Ｓ３０９でＮｏ）、Ｓ３１０においてワンショットＡＦ動作中フラグを立て、Ｓ３２３へ移行する。
【００５０】
Ｓ３２３では、ワンショットＡＦ動作を実行する前に、位置指定コマンドが実施されたか否かを判定するために、位置指定コマンド有フラグがセットされているか否かを判定する。位置指定コマンド有フラグがセットされていない場合（Ｓ３２３でＮｏ）、Ｓ３２４において第１のサーチ範囲に設定する。位置指定コマンド有フラグがセットされている場合（Ｓ３２３でＹｅｓ）、Ｓ３２５において第１のサーチ範囲よりも狭い第２のサーチ範囲に設定する。
【００５１】
そして、Ｓ３１２でワンショットＡＦ動作を実行し、Ｓ３１３においてワンショットＡＦ動作が終了したか否かを判定する。ワンショットＡＦ動作の処理が終了した場合には（Ｓ３１３でＹｅｓ）、Ｓ３１４においてワンショットＡＦ動作中フラグをクリアし、Ｓ３１５において位置指定コマンド有フラグをクリアする。ワンショットＡＦ動作の処理が終了していない場合には（Ｓ３１３でＮｏ）、処理を終了する。
【００５２】
一方、Ｓ３０７において、ワンショットＡＦコマンドでない場合（Ｓ３０７でＮｏ）は、Ｓ３１７においてフォーカスレンズを指示されたレンズ位置へ移動させる位置指定コマンドであるか否かを判定する。位置指定コマンドでない場合には（Ｓ３１７でＮｏ）、処理を終了する。位置指定コマンドであった場合には（Ｓ３１７でＹｅｓ）、Ｓ３１８において受信した指定位置へフォーカスレンズを移動させる。Ｓ３１９では、指定された位置へフォーカスレンズを移動するために、ワンショットＡＦ動作を強制的に中断させるため、ワンショットＡＦ動作中フラグをクリアし、Ｓ３２０においてワンショットＡＦコマンドの保持を解除する。そして、Ｓ３３０では、位置指定コマンド有フラグをセットする。  一方、Ｓ３２１では、ワンショットＡＦ動作中フラグが立っている場合（Ｓ３２１でＹｅｓ）、ワンショットＡＦ動作を継続するためにＳ３０８へ移行し、ワンショットＡＦ動作中フラグが立っていない場合（Ｓ３２１でＮｏ）、処理を終了する。
【００５３】
本実施形態においては、位置指定コマンドによりフォーカスレンズを移動した後か否かに応じて、ワンショットＡＦ動作時のフォーカスレンズのサーチ範囲を変更する。これは、次のような理由による。つまり、位置指定コマンドによりフォーカスレンズを移動した後に、ワンショットＡＦ動作を実行する場合、ユーザが位置指定コマンドにより合わせたい対象物に近い位置へフォーカスレンズを移動したと考えられる。その場合、対象物へのピントを合わせる際にピント位置の変化も少なく、フォーカス位置を探索する範囲も狭くすることができ、ワンショットＡＦ動作の時間を短縮することができる。そのため、位置指定コマンドでフォーカスレンズを移動した場合には、フォーカスレンズを移動していない場合の第１のサーチ範囲よりも狭い第２のサーチ範囲に設定する。これにより、ワンショットＡＦにおける合焦動作をロボットアームの動きに応じて安定させることができ、さらに合焦時間を短縮することも可能となる。
【００５４】
また、不図示ではあるが、本実施形態においては、位置指定コマンドを受信した後、ワンショットＡＦ動作を実行する際には、常に第２のサーチ範囲としている。しかし、本発明はこの動作に制限されるものではない。例えば、対象物までの距離を示す距離情報を受信することで、距離情報に基づいたフォーカスレンズ位置と位置指定コマンドで受信したフォーカスンレンズ位置を比較する。そして、被写体までの距離に応じて変動する制御情報である距離情報に基づいてフォーカスレンズ位置と位置指定コマンドで受信したフォーカスレンズ位置との差があらかじめ決められた所定の値以下の場合は、第２のサーチ範囲としてもよい。この場合は、ロボットアームから対象物までの距離に基づいて、対象物に対してピント位置が近傍か否かを判定することができる。そして、さらに正確にサーチ範囲を設定することができ、ユーザの使用に合わせたワンショットＡＦ動作を実行することができる。また、ワンショットＡＦ動作の時間を状況に応じて短縮することができる。
【００５５】
（第３の実施形態）
第１及び第２の実施形態の構成においては、撮像装置１００はロボットアーム１３０に固定されており、ロボットアーム１３０に連動して移動するものであった。しかし、撮像装置１００がロボットアーム１３０に固定されておらず、定点位置に置かれている場合も考えられる。
【００５６】
本実施形態のフォーカス制御処理は、図１の第１の実施形態におけるフォーカス制御処理と同様であるが、次の点が異なる。本実施形態では、カメラマイコン１１４は、画像処理コントローラ１２０から撮像装置１００がロボットアーム１３０に固定されているのか、それもと定点撮影として固定されているのかの情報を受け取る。そして、撮像装置１００はその情報に基づいてロボットアーム１３０が動作中にワンショットＡＦ動作を実行するか否かを判断する。また、ワンショットＡＦにおけるフォーカスレンズを移動して合焦位置を探索するサーチ範囲を変更する。
【００５７】
定点撮影状態として撮像装置が設置されている場合には、ロボットアームが動作していても、ロボットアームの動作に連動して撮影画像が変化することがない。そのため、ＡＦ評価値信号はロボットアームの動作に影響されにくい。また、対象物に対して被写体までの距離が大きく変化することはない。そのため、定点状態として撮像装置が設置されている場合は、ロボットアームの動作中にワンショットＡＦ動作を実行してもよい。また、定点状態として撮像装置が設置されていない場合と比較してサーチ範囲を狭くしてもよい。また、この場合サーチを範囲を０として、フォーカスレンズを移動しないようにしてもよい。これにより、撮像装置の設置状態に応じて、ワンショットＡＦ動作によるピント合わせを効率的に行うことができる。
【００５８】
また、画像処理コントローラ１２０は、ロボットアーム１３０と別々の構成としていたが、ロボットアーム１３０内に画像処理コントローラ１２０が搭載されている構成でもよい。
【００５９】
＜各実施形態の利点＞
以上説明したように、上記の各実施形態では、ロボットアーム１３０の動作状態に基づいてワンショットＡＦ動作を実行するか否かを変更する。さらに、ワンショットＡＦ動作により合焦レンズ位置が判定できた時点で、ワンショットＡＦ動作の終了を通知する。これらにより、正確な合焦位置を算出することができ、ロボットアームの動作をスムーズに制御することができる。
【００６０】
また、ワンショットＡＦ動作を実行する前に位置指定コマンドによりフォーカスレンズ位置が移動されたか否かに応じて、撮像装置１００が、ピント位置を探索するためのフォーカスレンズを移動するサーチ範囲を変更する。位置指定コマンドによりフォーカスレンズを移動することで対象物の合焦位置近傍にフォーカスレンズを移動していると判断し、ワンショットＡＦ動作での合焦位置のサーチ範囲を狭く変更する。これにより、ワンショットＡＦ動作の時間を短縮することができる。
【００６１】
このように、ロボットアーム１３０の動作状態に基づいて、ワンショットＡＦ動作終了の通知タイミング、ワンショットＡＦ動作時のサーチ範囲を変更することにより、効率的なフォーカス制御およびピント合わせを実現することができる。結果として、ロボットアーム１３０をスムーズに動作させることができ、ユーザに快適なロボットアーム制御を実現することができる。
【００６２】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００６３】
（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
【符号の説明】
【００６４】
１００：撮像装置、１０５：フォーカスレンズ、１０６：撮像素子、１０８：カメラ信号処理部、１１４：カメラマイクロコンピュータ、１１６：通信装置、１２０：画像処理コントローラ、１３０：ロボットアーム
【図１Ａ】
2019159205.tif 000003
【図１Ｂ】
2019159205.tif 000004
【図２】
2019159205.tif 000005
【図３】
2019159205.tif 000006