(57)【要約】【課題】さまざまな種類のワークに対応可能でありながら、部品の摩耗を抑制しつつ、スムーズなロボットアーム動作を実現可能な撮像装置を提供する。【解決手段】ロボットアームに搭載される撮像装置であって、被写体像を撮像する撮像部と、被写体に対して撮像光学系の焦点を合わせる自動焦点調節部と、ロボットアームの動作状態を判定する判定部と、自動焦点調節部が、被写体に対して連続的に撮像光学系の焦点を合わせる連続焦点調節動作を行う場合に、判定部により判定されたロボットアームの動作状態に基づいて、連続焦点調節動作を停止させる制御部とを備える。【選択図】図４
2020190652.tif 000002
【特許請求の範囲】
【請求項１】
ロボットアームに搭載される撮像装置であって、
被写体像を撮像する撮像手段と、
被写体に対して撮像光学系の焦点を合わせる自動焦点調節手段と、
前記ロボットアームの動作状態を判定する判定手段と、
前記自動焦点調節手段が、被写体に対して連続的に前記撮像光学系の焦点を合わせる連続焦点調節動作を行う場合に、前記判定手段により判定された前記ロボットアームの動作状態に基づいて、前記連続焦点調節動作を停止させる制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記自動焦点調節手段が前記連続焦点調節動作を停止してから所定時間が経過したと判断した場合に、前記連続焦点調節動作を再開させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記所定時間は、前記撮像手段が前記ロボットアームによる前記被写体であるワークのピックアップのための撮影を行ってから、前記ロボットアームが前記ワークのプレイス位置への移動を完了するまでの時間であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記判定手段がロボットアームが前記被写体から遠ざかる方向へ動作していると判定した場合に、前記連続焦点調節動作を停止させることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記判定手段がロボットアームが前記被写体に近づく方向へ動作していると判定した場合に、前記連続焦点調節動作を再開させることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮像装置の動きの加速度を検出する加速度センサをさらに備え、前記判定手段は、前記加速度センサの出力に基づいて、前記ロボットアームの動作状態を判定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記判定手段は、前記加速度センサの出力から算出される前記ロボットアームの単位時間当たりの移動距離に基づいて、前記ロボットアームが前記被写体から遠ざかっているか否かを判定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記判定手段は、前記加速度センサの出力である加速度が所定以上であるか否かに基づいて、前記ロボットアームが前記被写体から遠ざかっているか否かを判定することを特徴とする請求項６に記載の撮像装置。
【請求項９】
撮像光学系の異なる瞳領域を通過した光束から生成される一対の像信号の位相差に基づいてデフォーカス量とデフォーカスの方向を検出する検出手段をさらに備え、前記判定手段は、前記デフォーカス量と前記デフォーカスの方向とに基づいて、前記ロボットアームの動作状態を判定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項１０】
前記撮像手段により撮像された画像信号から画像の動きベクトルを検出する動きベクトル検出手段をさらに備え、前記判定手段は、前記動きベクトルに基づいて前記ロボットアームの動作状態を判定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項１１】
前記判定手段は、前記撮像手段の画面周辺に配置されたブロックに関して、画面周辺から内側へ向かう動きベクトルが検出された場合に、前記ロボットアームが前記被写体から遠ざかる方向に動作していると判定することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記制御手段は、前記撮像装置の外部からの撮影要求があった場合に、前記連続焦点調節動作を停止させることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記制御手段は、前記撮像装置の外部から前記撮影要求とは異なる撮影要求があった場合、前記連続焦点調節動作を継続させることを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
ロボットアームに搭載される撮像装置を制御する方法であって、
被写体像を撮像する撮像工程と、
被写体に対して撮像光学系の焦点を合わせる自動焦点調節工程と、
前記ロボットアームの動作状態を判定する判定工程と、
前記自動焦点調節工程において、被写体に対して連続的に前記撮像光学系の焦点を合わせる連続焦点調節動作を行う場合に、前記判定工程において判定された前記ロボットアームの動作状態に基づいて、前記連続焦点調節動作を停止させる制御工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１５】
請求項１４に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１６】
請求項１４に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットアームに搭載される撮像装置の焦点調節動作を制御する技術に関するものである。
【背景技術】
【０００２】
例えば、組立用のロボット等においては、ロボットアームによるワークのピック＆プレイス動作をする際に、カメラを用いてロボットを制御することが行われている。この制御は、ロボットアームの手先部に取り付けられたカメラにより、ワークを撮影し、その撮影画像データからワークの位置を検出し、検出位置にロボットアームを移動させてハンドでワークを把持するというものである。
【０００３】
この種のロボット制御装置として、特許文献１には、焦点調節機能、焦点距離調節機能、絞り調整機能等を有する光学系調節手段を有するカメラを備え、ワークを撮影した撮影画像データに基づいて光学系調節手段を制御する装置が記載されている。
【０００４】
また、一般的に、ピック＆プレイス動作を行うロボットアームに取り付けられるカメラでは、ティーチング時に各地点（ピック位置、プレイス位置など）でピント合わせを行い、フォーカスレンズ位置を記憶している。そして、実際の運用時に、記憶した位置にフォーカスレンズを移動させることを行っている。
【０００５】
しかしながら、さまざまな種類（高さ）のワークのピック＆プレイス動作を行う場合には、ワーク毎にフォーカスレンズ位置を記憶する必要があり、対象のワークが増えるにつれてセッティングに時間がかかるという課題がある。また、ワーク毎にロボットアームからの焦点調節指示によりピント合わせ動作を行おうとすると、その都度焦点調節指示のやり取りが発生し、ピント合わせそのものに時間がかかりスムーズなロボットアーム動作を妨げてしまう。
【０００６】
この問題を解決するためには、例えば、ロボットアームからの焦点調節指示に基づかず、ビデオカメラ等の動画撮影時に行なっているような常時ピント合わせ動作を行うコンティニュアスＡＦ機能を用いる方法が考えられる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−２１１３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、組み立て用ロボットアームなどのように、２４時間３６５日稼働する可能性がある用途に利用されるカメラにおいては、コンティニュアスＡＦのように常時ピント合わせを行う方法では、部品が摩耗、劣化し、耐久性が低下するという課題がある。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、その目的は、さまざまな種類のワークに対応可能でありながら、部品の摩耗を抑制しつつ、スムーズなロボットアーム動作を実現可能な撮像装置を提供することである。
【課題を解決するための手段】
【００１０】
本発明に係わる撮像装置は、ロボットアームに搭載される撮像装置であって、被写体像を撮像する撮像手段と、被写体に対して撮像光学系の焦点を合わせる自動焦点調節手段と、前記ロボットアームの動作状態を判定する判定手段と、前記自動焦点調節手段が、被写体に対して連続的に前記撮像光学系の焦点を合わせる連続焦点調節動作を行う場合に、前記判定手段により判定された前記ロボットアームの動作状態に基づいて、前記連続焦点調節動作を停止させる制御手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、さまざまな種類のワークに対応可能でありながら、部品の摩耗を抑制しつつ、スムーズなロボットアーム動作を実現可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１Ａ】本発明の第１の実施形態に係わる撮像システムの構成を示すブロック図。
【図１Ｂ】撮像装置、画像処理コントローラ、ロボットアームの外観を模式的に表した図。
【図２】第１の実施形態におけるピック＆プレイス動作を示すフローチャート。
【図３】第１の実施形態におけるロボットアームとワークの状態を示す図。
【図４】第１の実施形態における焦点調節動作を示すフローチャート。
【図５】第２の実施形態における焦点調節動作を示すフローチャート。
【図６】第３の実施形態における焦点調節動作を示すフローチャート。
【図７】撮像素子の画素構成を示した図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１４】
（第１の実施形態）
＜撮像システムの構成＞
以下、本発明の第１の実施形態における撮像システムについて説明する。この撮像システムでは、ロボットアームの動作状態に基づいて、ロボットアームに搭載された撮像装置の焦点調節制御を行う。
【００１５】
図１Ａは、本発明の第１の実施形態に係わる撮像システムの構成を示すブロック図である。この撮像システムは、撮像装置１００と、画像処理コントローラ１２０と、ロボットアーム１３０とが通信可能に接続されて構成されている。
【００１６】
撮像装置１００には、撮像光学系として、第１の固定レンズ群１０１、変倍レンズ１０２、絞り１０３、第２の固定レンズ群１０４、フォーカスレンズ１０５（フォーカスコンペンセータレンズ）が配置されている。変倍レンズ１０２を光軸に沿う方向に移動することにより変倍を行い、焦点距離を変えることができる。フォーカスレンズ１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えている。
【００１７】
ズーム駆動源１０９は変倍レンズ１０２を移動させる駆動源である。絞り駆動源１１０は絞り１０３を動かすための駆動源である。フォーカシング駆動源１１１はフォーカスレンズ１０５を移動させるための駆動源である。ズーム駆動源１０９、絞り駆動源１１０、フォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。
【００１８】
撮像装置１００は、さらに撮像素子１０６、ＣＤＳ／ＡＧＣ回路１０７、カメラ信号処理部１０８、タイミングジェネレータ１１２、ＡＦ信号処理部１１３、記憶部１１５、カメラマイクロコンピュータ１１４（以下、単にカメラマイコンという）、通信装置１１６、加速度センサ１１７、画像メモリ１１８、動きベクトル検出部１１９を備える。
【００１９】
撮像素子１０６は被写体像を光電変換する素子であって、ＣＣＤやＣＭＯＳセンサなどから構成されている。撮像素子１０６は行列状に複数の画素部を有する。撮像光学系を通過した光束は撮像素子１０６の受光面上に結像され、各画素部が有するフォトダイオード（光電変換部）によって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラマイコン１１４の指令に従ってタイミングジェネレータ１１２から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号として撮像素子１０６から順次読み出される。
【００２０】
撮像素子１０６は、図７に示すような構成であってもよい。撮像素子１０６は、図７に示すように、撮像面位相差ＡＦを行うために、一つの画素につき２つのフォトダイオードを有している。光束（撮像光学系の瞳領域）をマイクロレンズで分離し、２つのフォトダイオードに結像させることにより、撮像用とＡＦ用の２つの信号を取り出すことができる。２つのフォトダイオードの信号を加算した信号（Ａ＋Ｂ）が撮像信号であり、個々のフォトダイオードの信号（Ａ，Ｂ）が視差を有するＡＦ用の２つの像信号（一対の像信号）となる。後述するＡＦ信号処理部１１３により上記のＡＦ用の２つの像信号に対して相関演算を行い、像ずれ量（デフォーカス量）や各種信頼性情報を算出する。
【００２１】
撮像素子１０６から読み出された出力信号は、サンプリングし、ゲイン調整するＣＤＳ／ＡＧＣ回路１０７に入力される。カメラ信号処理部１０８は、ＣＤＳ／ＡＧＣ回路１０７から出力された画像信号に対して各種の画像処理を施して、画像信号を生成する。第１の実施形態における画像信号は、ロボット制御に用いるための静止画像や動画像の信号である。記憶部１１５は、カメラ信号処理部１０８からの画像信号を記憶する。
【００２２】
ＡＦ信号処理部１１３は、ＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち焦点検出に用いられる領域の信号のみを通すＡＦゲートを通過した信号から高周波成分や輝度差成分（ＡＦゲートを通過した信号の輝度レベルの最大値と最小値の差分）等を抽出してＡＦ評価値信号を生成する。ＡＦ評価値信号は、カメラマイコン１１４に入力される。ＡＦ評価値信号は、撮像素子１０６からの出力信号に基づいて生成される映像信号の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化する。そのため、結果的にＡＦ評価値信号は撮像光学系の焦点状態を表す信号となる。
【００２３】
また、ＡＦ信号処理部１１３は、前述した図７の画素構成から得られる信号を用いて、以下のように焦点状態（デフォーカス量）を検出する構成でもよい。
【００２４】
ＡＦ信号処理部１１３は、ＣＤＳ／ＡＧＣ回路１０７から出力された焦点検出信号（図７で説明した視差を有するＡＦ用の２つの像信号）を用いて相関演算を行う。ＡＦ信号処理部１１３は、相関量（像ずれ量）、デフォーカス量、信頼性情報（二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等）を算出する。算出したデフォーカス量と、信頼性情報をカメラマイコン１１４へ出力する。また、カメラマイコン１１４は、取得したデフォーカス量や信頼性情報に基づいて、ＡＦ信号処理部１１３の設定を変更するよう制御する。なお、焦点検出のための相関演算は公知の演算であるため、本実施形態では説明を省略する。
【００２５】
なお、本実施形態では、撮像信号及び２つのＡＦ用像信号の計３つの信号を撮像素子１０６から取り出しているが、このような方法に限定されない。撮像素子１０６の負荷を考慮し、例えば撮像信号と１つのＡＦ用像信号の計２つの信号を取り出し、撮像信号とＡＦ用像信号の差分を取ることによりもう１つのＡＦ用像信号を生成するようにしてもよい。
【００２６】
カメラマイコン１１４は、撮像装置１００全体の動作の制御を司るとともに、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を移動させるＡＦ制御（自動焦点調節制御）を行う。カメラマイコン１１４は、ＡＦ制御として、前述のコントラスト状態を表すＡＦ評価値信号を用いる場合はＴＶ−ＡＦ方式でのＡＦ制御を行う。一方で、カメラマイコン１１４は、前述のデフォーカス量を用いてＡＦを行う場合は、図７で説明した位相差方式でのＡＦ制御を行う。
【００２７】
また、カメラマイコン１１４は、ズーム駆動源１０９を制御して変倍レンズ１０２を移動させ焦点距離制御を行い、絞り駆動源１１０を制御して絞り１０３を動作させ絞り制御を行う。
【００２８】
通信装置１１６は、画像処理コントローラ１２０と通信を行うための装置である。画像処理コントローラ１２０は、撮像装置１００への撮影指示、撮影した画像の解析、および各カメラ制御（フォーカス制御、露出制御、焦点距離制御）の指示を行う。また、ロボットアーム１３０の動作状態やロボットアーム１３０の位置状態に基づいて被写体までの距離を撮像装置１００へ送信（通知）するとともに、カメラの撮影状態の受信等を行う。さらにロボットアーム１３０への操作指示を行うものである。なお、上記のロボットアーム１３０の動作状態やロボットアーム１３０の位置状態は、ロボットアーム１３０に備えられた各種のセンサの検出値や画像処理コントローラ１２０からロボットアーム１３０に送られる指示コマンドなどから判断される。また、データの送受信は、所定の通信プロトコルに準じて行われる。ここでは、あらかじめ各種指示ごとに決められたコマンドを用いてデータの送受信を行う。
【００２９】
加速度センサ１１７は、互いに直交するＸ、Ｙ、Ｚ軸ごとに重力加速度を検出し、撮像装置１００の姿勢（傾き）に応じて検出されたＸ、Ｙ、Ｚ方向それぞれの加速度をカメラマイコン１１４へ入力する。なお、Ｘ、Ｙ、Ｚ軸のいずれかは撮像装置１００の光軸と一致するか平行となり、本実施形態ではＺ軸方向を光軸と平行となる方向とする。
【００３０】
動きベクトル検出部１１９は、ＣＤＳ／ＡＧＣ回路１０７から出力された画像信号に含まれる輝度信号と、画像メモリ１１８に格納された１フィールド前（または１フレーム前）の映像信号に含まれる輝度信号とに基づいて、画像の動きベクトルを検出する。動きベクトルの検出方法は、例えば従来提案されているブロックマッチング法などを用いる。
【００３１】
ブロックマッチング法は、撮像画像をブロックと呼ばれる領域に分割し、例えば１フレーム前の撮像画像と現在の撮像画像の類似箇所をブロック単位で検出する方法である。１フレーム前の撮像画像内の任意の範囲において、現在の撮像画像内の任意のブロックとの相関値が最も大きい個所を類似ブロック位置とする。現在の撮像画像内の任意ブロック位置と１フレーム前の撮像画像内の類似ブロック位置との変位量を求め、撮像画像のフレーム間の動き情報、すなわち動きベクトルを検出する。なお、ブロックマッチング法は動きベクトル検出部１１９における動きベクトル検出方法の一例であり、動きベクトルの検出にはブロックマッチング法以外の方法を用いてもよい。
【００３２】
画像処理コントローラ１２０は、ＣＰＵ１２１、一次記憶装置１２２、二次記憶装置１２３、通信装置１２４、表示部１２５、操作部１２６を備える。ＣＰＵ１２１は、画像処理コントローラ１２０全体を制御する。二次記憶装置１２３は、ハードディスクなどからなり、ＣＰＵ１２１を動かすプログラムを格納する。一次記憶装置１２２は、ＲＡＭなどからなり、二次記憶装置１２３から読み込まれたプログラムが格納される。通信装置１２４は、撮像装置１００やロボットアーム１３０と通信を行う。表示部１２５は撮影画像の表示、対話的な操作のための文字表示などを行う。操作部１２６は、使用者の操作を受け付ける。
【００３３】
撮像装置１００はロボットアーム１３０に固定されている。ロボットアーム１３０が動くと、撮像装置１００の撮影範囲が変更される。また、ロボットアーム１３０は、アーム先端のロボットハンドを使って撮影対象物であるワーク１５０を把持することができる。ＣＰＵ１３１はロボットアーム１３０全体を制御する。通信装置１３２は、画像処理コントローラ１２０と通信を行う。
【００３４】
図１Ｂは撮像装置１００、画像処理コントローラ１２０、ロボットアーム１３０の外観を模式的に表した図である。なお、本実施形態では画像処理コントローラ１２０が親となり、撮像装置１００とロボットアーム１３０に指示を送るものとする。また、図１Ｂでは、パーソナルコンピュータを画像処理コントローラ１２０として用いる例を示している。  ＜ピック（ピックアップ）＆プレイスの基本動作＞
以下、ロボットアーム１３０によるピック＆プレイスの基本動作について説明する。図２は、ロボットアーム１３０によるピック＆プレイス動作を示すフローチャートである。
【００３５】
図２（ａ）は、画像処理コントローラ１２０の制御動作を示すフローチャートである。図２（ｂ）は、図２（ａ）のステップＳ２０２及びステップＳ２０７において画像処理コントローラ１２０から送信された撮影要求を受信した場合の撮像装置１００の制御動作を示すフローチャートである。図２（ｃ）は、図２（ａ）のステップＳ２００及びステップＳ２０５において画像処理コントローラ１２０から送信された移動要求を受信した場合のロボットアーム１３０の制御動作を示すフローチャートである。図２（ｄ）は、ステップＳ２１０において画像処理コントローラ１２０から送信されたピック要求を受信してロボットアーム１３０が実施するピック動作を示すフローチャートである。
【００３６】
図３（ａ）は、ステップＳ２００からＳ２０１における画像処理コントローラ１２０の処理、及びステップＳ２３０からステップＳ２３２におけるロボットアーム１３０の処理が行われた場合のロボットアーム１３０の状態を示す図である。
【００３７】
図３（ｂ）は、ステップＳ２０５からＳ２０６における画像処理コントローラ１２０の処理、及びステップＳ２３０からステップＳ２３２におけるロボットアーム１３０の処理が行われた場合のロボットアーム１３０の状態を示す図である。
【００３８】
図３（ｃ）は、ステップＳ２１０からＳ２１１における画像処理コントローラ１２０の処理、及びステップＳ２４０からステップＳ２４２におけるロボットアーム１３０の処理が行われた場合のロボットアーム１３０の状態を示す図である。
【００３９】
なお、図３における符号１５０は、ピック＆プレイスの対象となるワーク１５０を示している。
【００４０】
まず、ステップＳ２００において、ＣＰＵ１２１は、ロボットアーム１３０に対して移動要求を送信する。ロボットアーム１３０の移動先の位置は予めキャリブレーション等で決めておく。
【００４１】
ステップＳ２０１では、ＣＰＵ１２１は、ロボットアーム１３０から移動完了通知を受信する。ステップＳ２０１においてロボットアーム１３０が移動を完了した状態では、ロボットアーム１３０は、図３（ａ）の状態となり、撮像装置１００がワーク１５０の位置を画角内にとらえている状態となる。
【００４２】
ステップＳ２０２では、ＣＰＵ１２１は、ワーク１５０の位置を算出するための画像を取得するために撮像装置１００に対して撮影要求を送信する。ステップＳ２０３では、撮像装置１００から通信装置１２４を介して撮影画像を受信する。ステップＳ２０４では、受信した撮影画像からワーク１５０の位置を算出する。ワーク１５０の位置の算出方法は、公知の方法を用いて行うことができるため、説明を省略する。
【００４３】
ワーク１５０の位置の算出が完了すると、ステップＳ２０５において、ＣＰＵ１２１は、算出したワーク１５０の位置に関してさらに詳細に確認するための画像を取得するために、ロボットアーム１３０に対して撮像装置１００をワーク１５０に近づけるように移動要求を送信する。具体的には、ステップＳ２０４で算出したワーク１５０のサイズからワーク１５０までの距離を算出し、アームを駆動させる方法が考えられる。または、ステップＳ２００においてＣＰＵ１２１が、キャリブレーション等で予めロボットアーム１３０とワーク１５０が置かれる台との距離がわかっている場合、その距離に基づいて、予め決められた距離となるようにロボットアーム１３０を動作させるようにしてもよい。
【００４４】
ステップＳ２０６では、ＣＰＵ１２１は、ロボットアーム１３０から移動完了通知を受信する。ステップＳ２０６おいてロボットアーム１３０が移動を完了した状態では、ロボットアーム１３０は図３（ｂ）の状態となり、撮像装置１００がワーク１５０を画角内に至近距離でとらえている状態となる。
【００４５】
ステップＳ２０７では、ＣＰＵ１２１は、ワーク１５０の詳細な位置を算出するための画像を取得するために撮像装置１００に対して撮影要求を送信する。ステップＳ２０８では、撮像装置１００から通信装置１２４を介して撮影画像を受信する。ステップＳ２０９では、受信した撮影画像からワーク１５０の詳細な位置を算出する。
【００４６】
ステップＳ２１０では、ＣＰＵ１２１は、ロボットアーム１３０に対してピック要求を送信する。ステップＳ２１１では、ＣＰＵ１２１は、ロボットアーム１３０からピック完了通知を受信する。ピック完了通知を受信すると、ピック動作は全て完了となる。ステップＳ２１０においてロボットアーム１３０がピック動作を完了すると、図３（ｃ）の状態となる。
【００４７】
次に、ステップＳ２０２及びステップＳ２０７において撮影要求を受信した場合の撮像装置１００の動作について図２（ｂ）を用いて説明する。
【００４８】
まず、ステップＳ２２０において、撮像装置１００は画像処理コントローラ１２０から撮影要求を受信する。ステップＳ２２１では、カメラマイコン１１４は、画像の撮影を実行する。撮影を実行すると、ステップＳ２２２において、カメラマイコン１１４は、撮影画像を画像処理コントローラ１２０に送信する。
【００４９】
次に、ステップＳ２００及びステップＳ２０５において移動要求を受信した場合のロボットアーム１３０の動作について図２（ｃ）を用いて説明する。
【００５０】
まず、ステップＳ２３０において、ＣＰＵ１３１は画像処理コントローラ１２０からロボットアーム１３０の移動要求を受信する。ステップＳ２３１では、ＣＰＵ１３１はロボットアーム１３０の移動を実行する。ここで、ロボットアーム１３０は、移動指示を受けた時に移動指示情報とともに移動位置情報も受信し、ＣＰＵ１３１は移動位置情報に基づいてロボットアーム１３０を移動させる。この場合、画像処理コントローラ１２０は、予めキャリブレーション等で決めたロボットアーム１３０の移動位置情報を二次記憶装置１２３に記憶しておく。そして、ステップＳ２０４で行うワーク１５０の位置の算出が目的なのか、ステップＳ２０９で行うワーク１５０の詳細な位置の算出が目的なのかに応じて、ロボットアーム１３０に送信する移動位置情報を変更する。ステップＳ２３２では、ＣＰＵ１３１は通信装置１２４を介して撮像装置１００に移動完了通知を送信して処理を終了する。
【００５１】
次に、ステップＳ２１０〜Ｓ２１１においてロボットアーム１３０が実行するピック動作について図２（ｄ）を用いて説明する。
【００５２】
まず、ステップＳ２４０において、ＣＰＵ１３１は、画像処理コントローラ１２０からロボットアーム１３０のピック要求を受信する。ステップＳ２４１では、ＣＰＵ１３１は、ロボットアーム１３０を用いてピック動作、すなわちワーク１５０の把持動作を実行する。ピック動作を実行すると、ステップＳ２４２において、ＣＰＵ１３１は、ピック完了通知を画像処理コントローラ１２０に送信する。以上はワーク１５０のピックを行うまでの動作を示したものであるが、同じようにしてワーク１５０のプレイス動作も行うことができる
＜ＡＦ制御処理＞
次に、第１の実施形態におけるＡＦ制御の停止、再開判定について、図４のフローチャートを用いて説明する。
【００５３】
まず、カメラマイコン１１４は、撮像装置１００の電源の投入後、ワーク１５０に対して連続的に焦点を合わせるコンティニュアスＡＦ（連続焦点調節動作）を開始する。ステップＳ３００において、カメラマイコン１１４は通信装置１１６を介して画像処理コントローラ１２０からコマンドを受信したか否かを判断する。コマンドを受信したと判断した場合は、ステップＳ３０６に進み、コマンドを受信していない場合にはＳ３０１へ進む。
【００５４】
ステップＳ３０１では、カメラマイコン１１４は、コンティニュアスＡＦが動作中の状態かコンティニュアスＡＦが停止している状態かを判定する。コンティニュアスＡＦが動作中である場合にはステップＳ３０２に進み、コンティニュアスＡＦの動作を継続すると判断する。コンティニュアスＡＦが停止している場合には、ステップＳ３０３へ進む。
【００５５】
ステップＳ３０３では、カメラマイコン１１４は、現在の時刻が、後述するステップＳ３０８において記憶したＡＦが停止した時刻から所定時間経過しているか否かを判断する。所定時間経過している場合には、ステップＳ３０４へ進みコンティニュアスＡＦを再開すると判断する。一方、所定時間経過していないと判断した場合には、ステップＳ３０５においてコンティニュアスＡＦを停止したままとする。
【００５６】
ここで「所定時間」は、図２（ａ）のステップＳ２０７の撮影要求に応じて撮像装置１００が画像を撮影してから、ステップＳ２１１においてピック動作の完了通知を受信し、ステップＳ２００に戻って、ステップＳ２０１においてワーク１５０のプレイス位置に移動完了するまでの時間とする。つまり、ピック用の撮影を行ってからプレイス位置に移動しプレイス位置への移動が完了するまでの時間であり、ＡＦが動作する必要のない期間である。なお、「所定時間」の決め方は、予めキャリブレーション時に、ステップＳ２０７から処理フローがステップＳ２００に戻ってステップＳ２０１に到達するまでの時間を記憶部１１５に記憶しておく方法が考えられる。
【００５７】
ステップＳ３０６では、外部から受信したコマンドが撮影コマンドであるか否かを判断し、撮影コマンドであった場合にはステップＳ３０７へ進み、撮影コマンド以外であった場合には処理を終了する。
【００５８】
ステップＳ３０７では、カメラマイコン１１４は、フォーカシング駆動源１１１に動作停止命令を送り、画像撮影のためにＡＦ動作を停止する。但し、カメラマイコン１１４は、ＡＦ信号処理部１１３が判定する焦点状態が合焦状態ではない場合は、合焦状態となるまでＡＦ動作を継続し、合焦状態となってからＡＦ動作を停止するようにフォーカシング駆動源１１１に動作停止命令を送るようにしてもよい。
【００５９】
ステップＳ３０８では、カメラマイコン１１４は、前述した「所定時間」を計測するために、ＡＦを停止したときの時刻を記憶部１１５に記憶する。ステップＳ３０９では、カメラマイコン１１４は、タイミングジェネレータ１１２により撮影タイミングを制御し、画像を撮影してステップＳ３１０に進む。ステップＳ３１０では、カメラマイコン１１４は、撮影された画像をカメラ信号処理部１０８から読み出し、通信装置１１６を介して画像処理コントローラ１２０へ送信する。
【００６０】
以上説明したように、本実施形態によれば、ロボットアーム１３０がピック用の撮影を行ってからプレイス位置へ移動するまでの間のＡＦが不要な期間にフォーカス動作を停止させることができ、フォーカス駆動部分の摩耗を軽減することが可能となる。
【００６１】
（第２の実施形態）
＜ＡＦ制御処理＞
第１の実施形態に示した方法において、ＡＦを停止してから常に所定時間の間ＡＦを停止させてしまうと、本来は撮影後でもすぐにＡＦを動作させたいタイミングにおいてもＡＦが停止してしまい、ロボットアーム１３０のスムーズな動作を妨げてしまう可能性がある。
【００６２】
一例として、ステップＳ２０２〜Ｓ２０４において、ワーク１５０の位置を算出するための撮影を行った後に、ステップＳ２０５、Ｓ２０６においてロボットアーム１３０をワーク１５０に向かって移動させている場合である。上記の場合には、次のステップＳ２０９においてワーク１５０の詳細な位置を算出するためにピントの合った画像が必要である。そのため、スムーズなロボットアーム１３０の動作を妨げないようにするには、ステップＳ２０５、Ｓ２０６の間はＡＦが動作していることが望ましい。
【００６３】
この第２の実施形態では、ＡＦを停止してから所定時間の間でも、必要な場合にＡＦを動作させる方法について説明する。
【００６４】
図５は、第２の実施形態における撮像システムの動作を示すフローチャートである。図５では、ステップＳ２０７から処理が先頭に戻ってステップＳ２０１においてプレイス位置へ移動するまでの間はＡＦを停止し、ステップＳ２０２〜Ｓ２０７までのＡＦが必要な期間ではＡＦを継続する。
【００６５】
なお、図５のフローチャートにおいて、図４と同様の動作を行うステップには、同じステップ番号を付して説明を省略する。また、第２の実施形態において、撮像装置１００の内部の情報に応じて、ロボットアーム１３０の動作を算出する部分があるが、算出方法については算出するステップにおいて説明する。
【００６６】
まず、ステップＳ４００において、コンティニュアスＡＦが動作中の場合、カメラマイコン１１４は、撮像装置１００がＡＦが停止している状態から、ワーク１５０から遠ざかる方向に閾値ＴＨ＿ａｗ以上移動したか否かを判断する。閾値ＴＨ＿ａｗ以上移動したと判断した場合は、ステップＳ４０５に進み、閾値ＴＨ＿ａｗ以上移動していないと判断した場合にはステップＳ４０１に進む。閾値ＴＨ＿ａｗについては、詳細は後述する。
【００６７】
ここで、ロボットアーム１３０がワーク１５０から遠ざかる方向に動作していることを判別する方法について説明する。
【００６８】
まず、ＡＦ信号処理部１１３において、位相差方式でのデフォーカス量の検出が可能な場合に、ワーク１５０に対するデフォーカス量を遠ざかりの判別に用いる方法について説明する。
【００６９】
カメラマイコン１１４は、ＡＦ信号処理部１１３からデフォーカス量を受信し、単位時間当たりのデフォーカス量の積算値、またはＡＦが停止している状態からのデフォーカス量が閾値ＴＨ＿ａｗ以上である場合に、ロボットアーム１３０がワーク１５０から遠ざかる方向に動作していると判断する。
【００７０】
ここで、単位時間当たりのデフォーカス量の積算値を用いる理由は、コンティニュアスＡＦが動作している状態でロボットアーム１３０がワーク１５０から遠ざかる方向に移動した場合は、デフォーカス量が常に小さい値となることが想定される。そのため、ロボットアーム１３０が遠ざかったかどうかをデフォーカス量から算出することができないからである。
【００７１】
上述する方法の場合、閾値ＴＨ＿ａｗは無限遠方向のデフォーカス量の閾値であり、予めキャリブレーション時等にデータを測定してアーム動作の誤差やデフォーカス算出の誤差に基づいて決める方法が考えられる。また、閾値ＴＨ＿ａｗは固定のデフォーカス量の閾値でもよいし、現在のフォーカス位置における焦点深度を基準とした閾値（例えば、２Ｆδ以上）としてもよい。
【００７２】
次に、撮像装置１００内の加速度センサ１１７を用いて遠ざかりを判断する方法について説明する。
【００７３】
カメラマイコン１１４は、加速度センサ１１７により検出される加速度データを取得し、加速度データに基づいて撮像装置１００の移動速度を算出する。さらに、カメラマイコン１１４は、算出した移動速度に基づいて、単位時間当たりのカメラの移動距離を算出する。なお、ロボットアーム１３０に取り付けられたカメラの場合、カメラの移動距離とロボットアーム１３０の移動距離は同じである。
【００７４】
このように、加速度データを用いてロボットアーム１３０がワーク１５０から遠ざかっているか否かを判断する場合は、閾値ＴＨ＿ａｗを移動距離に関する閾値として設定する。なお、閾値ＴＨ＿ａｗは予めキャリブレーション時等にデータをとって決めてもよいし、加速度センサ１１７の誤差によりばらつく距離変化には反応しない量としてもよい。
【００７５】
さらに、加速度データを用いた別の方法として、ワーク１５０から遠ざかる方向に所定以上の加速度で動作したかどうかに応じて判断する方法も考えられる。このようにロボットアーム１３０がワーク１５０から遠ざかっているか否かを判断する場合は、閾値ＴＨ＿ａｗを加速度に関する閾値として設定する。加速度変化によって、ワーク１５０から遠ざかっているかどうかを判断できる理由は、ワーク１５０をピックした後や、ワーク１５０をプレイスした後は、比較的大きな加速度でロボットアーム１３０を動作させ、次の位置に移動させると考えられるためである。なお、閾値ＴＨ＿ａｗは予めキャリブレーション時等にデータをとって決めてもよいし、加速度センサ１１７の誤差によりばらつく加速度変化には反応しない量としてもよい。
【００７６】
次に、撮像装置１００内の動きベクトル検出部１１９によって検出した動きベクトルから遠ざかりを判断する方法について説明する。
【００７７】
カメラマイコン１１４は、動きベクトル検出部１１９から前述したブロックマッチング法により検出した動きベクトルを受信する。ロボットアーム１３０がワーク１５０から遠ざかる方向に動作している場合、画面周辺に設置したブロックに関しては画面中心に対して内側方向の動きベクトルが検出される。動きベクトルは各ブロックにおける前フレームからの画角変化による被写体ずれを表しているため、ベクトル量から画角変化量を算出することができる。
【００７８】
ロボットアーム１３０がワーク１５０に近づく方向に動作している場合、画面周辺に設置したブロックに関しては画面中心に対して外側方向の動きベクトルが検出される。また、ロボットアーム１３０がワーク１５０に対して水平方向に動作している場合、画面に設置した全てのブロックに関して、一定方向の動きベクトルが検出される。さらに、ロボットアーム１３０が遠ざかる方向と水平方向に同時に動作している場合は、次のようになる。まず、画面中心に設置されているブロックでは、ロボットアーム１３０が遠ざかる方向に動作することにより検出されるベクトルは理論的には０になる。そのため、画面中央のブロックで検出するベクトルは、水平方向の移動によるブレのみを示すものとなる。したがって、遠ざかる方向の画角変化量は、画角周辺のブロックにおけるベクトル量（遠ざかる方向と水平方向の移動の両方を含むベクトル量）から画面中心のベクトル量（水平方向の移動のみを表すベクトル量）を減算することにより求めることができる。
【００７９】
上記の方法でロボットアーム１３０がワーク１５０から遠ざかっているか否かを判断する場合は、画面周辺に設置されているブロックのベクトルから画面中央のベクトルを減算したベクトルが、ロボットアーム１３０の遠近方向の動きを表すベクトルとなる。このベクトルが、画面の内側方向のベクトルとして検出され、且つ検出されたベクトル量がＴＨ＿ａｗ以上となる場合に、ロボットアーム１３０がワーク１５０から遠ざかる方向に動作していると判断する。上述した方法の場合、閾値ＴＨ＿ａｗは画面中央に対して内側方向のベクトル量であり、予めキャリブレーション時等にデータを測定してアーム動作の誤差に基づいて決めておくことができる。
【００８０】
なお、動きベクトル量は、ロボットアーム１３０がある所定の速度で動いている場合でもワーク１５０までの距離に応じて大きさが異なるため、ワーク１５０までの距離に応じて閾値ＴＨ＿ａｗを変更することが望ましい。ワーク１５０までの距離は、ロボットアーム１３０を制御する画像処理コントローラ１２０がワーク台の位置に基づいて算出することができる。そしてこの距離を、通信装置１２４を介して撮像装置１００に送信することにより、カメラマイコン１１４が閾値ＴＨ＿ａｗを変更することができる。また、別の方法としては、デフォーカス量が検出できる場合に、デフォーカス量から被写体距離情報を算出し、算出した被写体距離情報に基づいて閾値ＴＨ＿ａｗを変更する方法が考えられる。
【００８１】
図５のフローチャートの説明に戻って、ステップＳ４００でカメラマイコン１１４がロボットアーム１３０がワーク１５０から遠ざかる方向に移動していないと判断した場合、ステップＳ４０１に進む。ステップＳ４０１では、ロボットアーム１３０がワーク１５０から遠ざかる動作を行ったか否かを表す「遠ざかりフラグ」をクリアする。「遠ざかりフラグ」についての詳細は後述する。
【００８２】
ステップＳ４０２では、カメラマイコン１１４は、焦点状態が合焦状態か否かを判定する。合焦状態であると判定した場合にはステップＳ４０３に進み、コンティニュアスＡＦを停止する。合焦状態ではないと判定した場合にはステップＳ４０４に進み、コンティニュアスＡＦを継続して、焦点状態が合焦状態となるようにフォーカシング駆動源１１１にフォーカスレンズ１０５の駆動指示を行う。
【００８３】
ステップＳ４００において、カメラマイコン１１４がロボットアーム１３０がワーク１５０から遠ざかる方向に移動していると判断した場合、ステップＳ４０５において、「遠ざかりフラグ」をＯＮにしてステップＳ４０６に進む。
【００８４】
ステップＳ４０６では、ロボットアーム１３０がワーク１５０から遠ざかっていると判定している状態であり、ＡＦ動作を行う必要がないため、フォーカス駆動部の摩耗を防ぐためにコンティニュアスＡＦを停止する。
【００８５】
ステップＳ４０７では、カメラマイコン１１４は、アームがワーク１５０に近づく方向に移動しているか否かを判断する。ワーク１５０に近づく方向に移動していると判断した場合にはステップＳ４０８へ進み、ワーク１５０に近づく方向に移動していると判断しなかった場合には、ステップＳ４１２に進む。
【００８６】
ステップＳ４０８では、カメラマイコン１１４は、撮像装置１００がＡＦが停止している状態から、ワーク１５０に近づく方向に閾値ＴＨ＿ａｐ以上移動したか否かを判断する。閾値ＴＨ＿ａｐ以上移動していると判断した場合は、ステップＳ４０９において「遠ざかりフラグ」をクリアしてステップＳ４１０へ進む。閾値ＴＨ＿ａｐ以上移動していないと判断した場合にはステップＳ４１１に進み、コンティニュアスＡＦを停止したままとする。
【００８７】
ステップＳ４１０では、カメラマイコン１１４は、コンティニュアスＡＦを停止している状態から再開する。このステップによって、ステップＳ２０４でワーク１５０の位置を算出した後、すぐにステップＳ２０５でアームを移動するようなシーンにおいてもコンティニュアスＡＦを再開させることができる。そのため、ステップＳ２０７の撮影要求に対して追加のＡＦを実行することなく撮像装置１００からピントが合った画像を送信することが可能となる。
【００８８】
ステップＳ４１２では、カメラマイコン１１４は、撮像装置１００がＡＦが停止している状態から、ワーク１５０から遠ざかる方向へ閾値ＴＨ＿ａｗ以上移動したか否かを判断する。閾値ＴＨ＿ａｗ以上移動していると判断した場合はステップＳ４１３へ進み、「遠ざかりフラグ」をＯＮにしてステップＳ４１４へ進む。ステップＳ４１２において閾値ＴＨ＿ａｗ以上移動していないと判断した場合には、ステップＳ４１５に進む。ステップＳ４１２における遠ざかりの判断方法はステップＳ４００において説明した判断方法と同じである。
【００８９】
なお、本実施形態においては、閾値ＴＨ＿ａｗはステップＳ４００で使用した閾値と同じ値を用いているが、異なる閾値を設定してもよい。理由としては、以下のようなものである。ステップＳ４００での閾値は、コンティニュアスＡＦが動作中にコンティニュアスＡＦを停止するか否かを判断するために用いる閾値である。それに対し、ステップＳ４１２での閾値は、コンティニュアスＡＦが停止中にロボットアーム１３０がワーク１５０から遠ざかっているか否かを判断するための閾値である。つまり、判断する時のＡＦ動作状態が異なるため、閾値を異なる値とする。
【００９０】
また、異なる閾値を設定する場合は、ステップＳ４００で設定する閾値に対してステップＳ４１２で設定する閾値の方を大きい値とするべきである。理由は次のようなものである。ステップＳ４１２では、コンティニュアスＡＦ停止中であり、遠ざかるにつれてピントがボケていく可能性がある。そのため、デフォーカス量で判断する場合や、動きベクトルで判断する場合は、コンティニュアスＡＦ動作中のステップＳ４００と比較して判定精度が悪化する可能性があるためである。また、コンティニュアスＡＦが停止している状態での遠ざかり動作は、ロボットアーム１３０がピックまたはプレイス動作後に次の場所に移動する動作であると考えられるため、閾値を大きくすることにより誤判定を軽減することができる。
【００９１】
図５の説明に戻って、ステップＳ４１４では、カメラマイコン１１４はコンティニュアスＡＦを停止したままとして処理を終了する。
【００９２】
ステップＳ４１５では、カメラマイコン１１４は、「遠ざかりフラグ」がＯＮであるか否かを判断する。「遠ざかりフラグ」がＯＮであればステップＳ４１６へ進み、「遠ざかりフラグ」がＯＮでなければステップＳ４１９へ進む。ステップＳ４１９では、カメラマイコン１１４は、コンティニュアスＡＦを停止したままとして処理を終了する。
【００９３】
ステップＳ４１６では、カメラマイコン１１４は、撮像装置１００がワーク１５０から閾値ＴＨ＿ｓｔ以下の距離になったか否かを判断する。閾値ＴＨ＿ｓｔ以下になったと判断した場合にはステップＳ４１７で「遠ざかりフラグ」をクリアし、閾値ＴＨ＿ｓｔ以下になっていないと判断した場合には、ステップＳ４１９に進む。
【００９４】
ステップＳ４１８では、カメラマイコン１１４は、ロボットアーム１３０がピック後（またはプレイス後）に次のプレイス位置（またはピック位置）へ移動する大きな移動が完了したと判断して、コンティニュアスＡＦを再開する。ステップＳ４１９では、カメラマイコン１１４は、コンティニュアスＡＦを停止したままとする。
【００９５】
ここで、「遠ざかりフラグ」について説明する。上述してきたように、「遠ざかりフラグ」はロボットアーム１３０がワーク１５０から遠ざかる動作を行ったか否かを判別するフラグである。
【００９６】
一例として、ステップＳ２１１においてワーク１５０をピックした後に、ステップＳ２００においてプレイスの位置に移動した場合は、移動が完了した時点でコンティニュアスＡＦを再開することによってすぐにピントが合った撮影画像を取得することができる。したがって、ステップＳ４１２においてプレイス（またはピック）の位置まで大きく移動する動作か否かを判断し、大きく移動する動作（すなわちワーク１５０から遠ざかる動作）であった場合に「遠ざかりフラグ」をＯＮにする。これにより、ステップＳ４１６からステップＳ４１８のシーケンスにおいてすぐにコンティニュアスＡＦを再開することができる。
【００９７】
一方で、ステップＳ２０９においてワーク１５０の詳細な位置を算出した後に、ステップＳ２１０及びステップＳ２１１においてワーク１５０をピックする場合、ロボットアーム１３０はワーク１５０に近づく動作をする。しかし、ワーク１５０をピックする動作の場合はワーク１５０に近づく動作をするものの、図３（ｃ）に示すように、撮像装置１００はワーク１５０をとらえておらず、コンティニュアスＡＦは不要な動作である。そのため、コンティニュアスＡＦを再開させたくない。したがって、遠ざかり動作を行っていない、つまり「遠ざかりフラグ」がＯＮになっていない状態においては、ワーク１５０に近づいたと判断する閾値ＴＨ＿ａｐを大きい値に設定することによって、不要なフォーカス動作を抑制することができる。
【００９８】
また、ステップＳ２０９においてワーク１５０の詳細な位置を算出した結果、ロボットアーム１３０を水平に動作させて再度撮影するような状況においては、ピント位置が変わっていないことが想定されるため、コンティニュアスＡＦは不要な動作となる。したがって、ステップＳ４１５において、ワーク１５０に近づく動作も遠ざかる動作もしておらず、かつ、「遠ざかりフラグ」がＯＮになっていない場合にはコンティニュアスＡＦを停止したままとする。これにより不要なフォーカス動作を抑制することができる。
【００９９】
（第３の実施形態）
＜ＡＦ制御の停止判定＞
第１及び第２の実施形態の構成においては、カメラマイコン１１４は、画像処理コントローラ１２０から撮影コマンドを受けると、ステップＳ３０７においてコンティニュアスＡＦを停止していた。しかしながら、ユーザーがピック＆プレイスのシーケンスを組む上で、ＡＦ動作を停止させたくない状況等が考えられる。
【０１００】
本実施形態においては、画像処理コントローラ１２０は、第１および第２の実施形態における撮影コマンドとは異なる撮影コマンド（以下、第２の撮影コマンド）を撮像装置１００に対して発行する場合を考える。
【０１０１】
図６は、第３の実施形態における撮像システムの動作を示すフローチャートである。なお、図６のフローチャートにおいて、図４及び図５のフローチャートと同様のステップは同じステップ番号を付して説明を省略する。また、図６のフローチャートは、第２の実施形態で説明した図５に基づいているが、第１の実施形態における図４に基づいても同様の処理が可能である。
【０１０２】
ステップＳ６００において、カメラマイコン１１４は、通信装置１１６を介して受信した撮影要求が、第１の撮影コマンドか第２の撮影コマンドかを判定する。カメラマイコン１１４は、第２の撮影コマンドであると判断した場合にはステップＳ３０７へ進みコンティニュアスＡＦを停止するが、第１の撮影コマンドであると判断した場合にはコンティニュアスＡＦ動作を継続して処理を終了する。
【０１０３】
このように、異なる撮影コマンドを用いることによって、ユーザーによるロボットアーム１３０の自由な使い方を妨げることなく、ＡＦの不要な動作を軽減することが可能となる。
【０１０４】
以上説明したように、上記の各実施形態によれば、ステップＳ２０７から処理が先頭に戻ってステップＳ２０１においてプレイス位置へ移動するまでの間のＡＦが不要な場面では、ＡＦを停止してフォーカス駆動部分の摩耗を軽減することが可能になる。一方、ステップＳ２０２〜Ｓ２０７までのＡＦが必要なタイミングではＡＦを継続するにより、ロボットアーム１３０が動作してから撮影するまでの間のシーケンスにかかる時間を短縮することができ、スムーズなアームの動きを妨げることを軽減することができる。
【０１０５】
（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク１５０又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
【０１０６】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【０１０７】
１００：撮像装置、１０５：フォーカスレンズ、１０６：撮像素子、１０８：カメラ信号処理部、１１４：カメラマイクロコンピュータ、１１６：通信装置、１２０：画像処理コントローラ、１３０：ロボットアーム
【図１Ａ】
2020190652.tif 000003
【図１Ｂ】
2020190652.tif 000004
【図２】
2020190652.tif 000005
【図３】
2020190652.tif 000006
【図４】
2020190652.tif 000007
【図５】
2020190652.tif 000008
【図６】
2020190652.tif 000009
【図７】
2020190652.tif 000010