(57)【要約】【課題】画像処理に必要十分な計測精度で撮像装置の静定判定を行って計測処理をより短時間で行うこと。【解決手段】画像処理装置１０２は、画像処理工程ごとに撮像装置１０３の駆動制御を行って撮影方向や撮影倍率を調整し、計測対象の撮影位置を設定する。画像処理装置１０２は撮像装置１０３による撮像画像において基準となる基準画像領域を設定し、基準画像領域内で抽出される特徴部を設定する。ユーザは撮像装置１０３の静定判定に用いる判定条件のデータを予め入力し、画像処理装置１０２は撮像画像データに基づき、計測時に入力された撮像画像において、設定された特徴部の振動量を算出して、振動量の振幅を判定条件に対応する閾値と比較する。画像処理装置１０２は振動量の振幅が閾値未満である静定状態と判定した場合、所定の画像処理を行って画像処理結果を制御装置１０１に出力する。【選択図】  図１
2020009101.tif 000002
【特許請求の範囲】
【請求項１】
撮影方向または撮影画角の変更が可能な撮像手段により計測対象を撮像した撮像画像のデータを処理する画像処理装置であって、
前記撮像画像にて基準となる基準画像領域を設定し、前記基準画像領域における画像の特徴部を設定する処理を行う設定手段と、
前記撮像手段の静定状態を判定する判定条件のデータを入力する入力手段と、
前記撮像手段によって計測時に取得される撮像画像から、前記設定手段により設定された前記特徴部に対応する画像領域での振動量を算出する算出手段と、
前記撮像画像のデータを取得して画像処理を行う画像処理手段と、
前記算出手段によって算出された前記振動量が前記判定条件を満たす前記撮像手段の静定状態にて、前記画像処理手段により前記撮像画像の画像処理を行い、画像処理結果を出力する制御を行う制御手段と、を備える
ことを特徴とする画像処理装置。
【請求項２】
前記判定条件のデータは、複数の判定レベルから前記入力手段によって選択されるデータであり、
前記制御手段は、前記算出手段によって算出された前記振動量を、前記複数の判定レベルから選択された判定レベルに対応する閾値と比較して前記画像処理手段により前記撮像画像の画像処理を行うか否かを決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定条件のデータは、前記入力手段によって指定される計測間隔、計測時間、および閾値のデータであり、
前記制御手段は、前記計測間隔および計測時間で前記算出手段によって算出された前記振動量を前記閾値と比較して前記画像処理手段により前記撮像画像の画像処理を行うか否かを決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記判定条件のデータは、前記判定レベルに対応する計測間隔、計測時間、および前記閾値をあらかじめ組み合わせたデータである
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記制御手段は、前記計測間隔および計測時間で前記算出手段によって算出された前記振動量の振幅が前記閾値未満となった場合、前記画像処理手段により前記撮像画像の画像処理を行うことを決定する
ことを特徴とする請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記制御手段は、前記算出手段によって前記計測時間以内で算出される前記振動量の振幅が前記閾値未満にならないと判定した場合、前記撮像手段が静定状態に到達しなかったことを報知する処理を行う
ことを特徴とする請求項３または請求項４に記載の画像処理装置。
【請求項７】
前記撮像手段に係る過去の計測値から静定推測曲線を算出することにより、前記撮像手段が静定状態となる時間を推測する推測手段を有する
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記制御手段は、前記推測手段によって前記撮像手段が静定状態となると推測される時刻より前に前記振動量の振幅を閾値と比較せず、前記撮像手段が静定状態となると推測される時刻にて前記振動量の振幅を前記閾値と比較する処理を行う
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記設定手段は、前記計測対象に対応する画像領域とは異なる画像領域を、前記基準画像領域に設定する処理を行う
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記撮像手段の駆動部を制御して、前記撮像手段の撮影方向または撮影画角を変更する制御を行い、前記計測対象の撮影位置を設定する駆動制御手段を備え、
前記設定手段は、前記撮影位置での前記撮像画像にて前記基準画像領域を設定する処理を行う
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
請求項１乃至１０のいずれか１項に記載の画像処理装置と、
前記撮像手段と、を備える
ことを特徴とする撮像装置。
【請求項１２】
撮影方向または撮影画角の変更が可能な撮像手段により計測対象を撮像した撮像画像のデータを処理する画像処理装置にて実行される制御方法であって、
前記撮像画像にて基準となる基準画像領域を設定し、前記基準画像領域における画像の特徴部を設定する処理を行う工程と、
前記撮像手段の静定状態を判定する判定条件のデータを入力する工程と、
前記撮像手段によって計測時に取得される撮像画像から、設定された前記特徴部に対応する画像領域での振動量を算出する工程と、
算出された前記振動量が前記判定条件を満たす前記撮像手段の静定状態にて、画像処理手段により前記撮像画像の画像処理を行い、画像処理結果を出力する制御を行う工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項１３】
コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置が備える各手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の撮影方向や撮影画角を制御し、撮像画像を処理する画像処理の技術に関する。
【背景技術】
【０００２】
画像処理を行ってロボットや搬送装置等の機器を制御する技術は、工場での製品生産や品質確認、運用、管理等に使用される。撮像装置によって作業対象（以下、ワークと呼ぶ）を撮影する際、撮影方向や撮影倍率を変更する駆動部を備えた撮像装置を使用すれば、複数の撮影位置や撮影画角で画像を取得できる。１台の撮像装置で取得した画像を複数の画像処理工程で使用可能である。
【０００３】
しかし、撮像装置が備える駆動部の性能や撮像装置の設置環境によっては、画像処理の計測精度が十分でない可能性がある。例えば、撮像装置の撮影位置が所望の位置となったとしても、撮像装置の振動が十分に収束せず、静定していない状態で撮像された画像を使用する場合、画像処理の計測精度が低下する可能性がある。特許文献１には、カメラで撮影した画像に対し、カメラが安定撮像状態かどうかの判定を行う技術が開示されている。判定結果を用いて安定した画像を取得し、高い計測精度で画像処理を行うことが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−９７３０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、工場等において、使用する画像処理やワークの種類に応じて必要とされる計測精度はそれぞれ異なる場合がある。そのため、撮像装置の静定状態を確認した後に行われた画像処理であっても、必要な計測精度を満たさないことが起こりうる。また、撮像装置が必要以上の計測精度を満たす静定状態となるまでにかかる時間が長くなると、全体の処理時間を増加させる原因となる。
【０００６】
一例として、搬送装置によって個々に搬送される複数種のワークを、撮像装置が撮像した画像を用いて類別し、ロボットがワークの種類ごとに異なる搬送車に積載する作業工程を想定する。ロボットが正しくワーク座標を認識してワークを把持するためには、画像処理の計測精度を所定の精度以上に高める必要がある。一方、撮像装置が搬送車を撮像して搬送車が停止枠内に存在するかどうかを判定する工程では、画像処理の計測精度をそれほど高くする必要はなく、短時間で処理を終了できることが求められる。
本発明の目的は、画像処理に必要十分な計測精度で撮像装置の静定判定を行って計測処理をより短時間で行うことである。
【課題を解決するための手段】
【０００７】
本発明の一実施形態の画像処理装置は、撮影方向または撮影画角の変更が可能な撮像手段により計測対象を撮像した撮像画像のデータを処理する画像処理装置であって、前記撮像画像にて基準となる基準画像領域を設定し、前記基準画像領域における画像の特徴部を設定する処理を行う設定手段と、前記撮像手段の静定状態を判定する判定条件のデータを入力する入力手段と、前記撮像手段によって計測時に取得される撮像画像から、前記設定手段により設定された前記特徴部に対応する画像領域での振動量を算出する算出手段と、前記撮像画像のデータを取得して画像処理を行う画像処理手段と、前記算出手段によって算出された振動量が前記判定条件を満たす前記撮像手段の静定状態にて、前記画像処理手段により前記撮像画像の画像処理を行い、画像処理結果を出力する制御を行う制御手段と、を備える。
【発明の効果】
【０００８】
本発明の画像処理装置によれば、画像処理に必要十分な計測精度で撮像装置の静定判定を行って計測処理をより短時間で行うことができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施例に係る画像処理装置を含むシステムの全体構成図である。
【図２】第１実施例に係る撮像装置の概略図である。
【図３】第１実施例に係る計測シーンの説明図である。
【図４】第１実施例に係る画像処理装置のブロック図である。
【図５】第１実施例に係るフローチャート作成画面を表す図である。
【図６】第１実施例に係る基準特徴の登録処理画面を表す図である。
【図７】第１実施例に係る基準特徴の登録処理のシーケンス図である。
【図８】第１実施例に係る静定状態の判定処理を説明する図である。
【図９】第１実施例に係る基準特徴情報のデータ形式を表す図である。
【図１０】第１実施例に係る計測処理の設定画面を表す図である。
【図１１】第１実施例に係る計測処理のシーケンス図である。
【図１２】第２実施例に係る基準特徴の登録処理画面を表す図である。
【図１３】第２実施例に係る基準特徴の登録処理のシーケンス図である。
【図１４】第３実施例に係る過去の計測値による推測処理を説明する図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好適な実施形態について、添付図面に示す各実施例にしたがって詳細に説明する。撮像装置が振動センサを具備する場合には振動センサの検出値により撮像装置の静定状態を判定できるが、撮像装置が振動センサを具備しない場合には別の手段が必要である。各実施例では撮像装置の静定状態の判定処理を画像処理手段が行う構成について説明する。
【００１１】
［第１実施例］
図１は、本実施形態に係る画像処理装置を含むシステムの全体構成図である。システムの制御装置１０１は、予め設定されたタイミングで各装置への制御指令を送信する。システムは制御装置１０１、画像処理装置１０２、撮像装置１０３、作業用のロボット１０４、搬送装置１０５、搬送車１０６，１０７から構成される。
【００１２】
画像処理装置１０２は、制御装置１０１から受信した制御指令にしたがって、撮像装置１０３の駆動制御を行う。撮像装置１０３は撮影方向と撮影画角の変更が可能であり、画像処理装置１０２からの制御信号により計測対象の撮影位置を変更して撮像動作を行う。画像処理装置１０２は撮像装置１０３から取得した撮像画像データを処理し、画像処理結果を制御装置１０１に送信する。制御装置１０１は、画像処理結果に基づいてロボット１０４、搬送装置１０５、搬送車１０６，１０７を制御し、所定の作業を実行させる。
【００１３】
一例として、以下の作業工程を説明する。
・撮像装置１０３が撮像した画像データを用いて、搬送装置１０５により搬送されるワーク１０８〜１１０の種別を判別する工程。
・ロボット１０４によってワークの種別ごとに異なる搬送車にワークを配置する工程。
ワークを搬送する搬送車１０６，１０７の停止位置は、複数の停止枠１１１により決定されるものとする。
【００１４】
図２は撮像装置１０３の撮影方向と撮影画角を変更する駆動機構を説明する模式図である。撮像装置１０３は、雲台２０１と撮影系（撮像光学系）２０２を備える。雲台２０１は、撮影系２０２の方向を、横方向（以下、パンニング方向をＰ方向と記す）および縦方向（以下、チルティング方向をＴ方向と記す）に変化させる２つの駆動系の機構部を有する。パンニング機構（パン機構ともいう）は撮影系２０２をＰ方向に駆動させる機構であり、チルティング機構（チルト機構ともいう）は撮影系２０２をＴ方向に駆動させる機構である。これらの機構によって撮影系２０２の撮影方向は、Ｐ方向にて３６０°の範囲で変更可能、つまりエンドレス旋回が可能である。またＴ方向にて、水平方向を０度として−３０．０度〜＋２１０．０度の範囲で撮影方向を変更可能である。また撮像装置１０３はズーム機構により、撮影系２０２のズーム倍率を１．０倍〜２０．０倍の範囲で変更可能である。
【００１５】
このように撮像装置１０３は、撮影方向およびズーム倍率の制御により撮影位置と撮影画角を変更することができ、例えば以下の計測シーンを撮影することができる。
・ワーク１０８〜１１０の種別を検出する計測シーンＡ１１２。
・搬送車１０６，１０７が停止枠１１１内にそれぞれ存在するか否かを判定する計測シーンＢ１１３および計測シーンＣ１１４。
【００１６】
本実施形態では便宜上、１台の撮像装置の使用例を説明するが、より大規模なシステムにおいては複数の撮像装置が使用される。各撮像装置は複数の計測シーンの撮影を担当する。さらには、撮像装置がジャイロセンサ等の振動検出センサを備える構成でもよい。
【００１７】
図３は、計測シーンＡ１１２およびＢ１１３を説明する図である。図３（Ａ）は計測シーンＡ１１２の画像例を示し、図３（Ｂ）は計測シーンＢ１１３の画像例を示す。図３（Ａ）に示す画像３０１は、撮像装置１０３が搬送装置１０５上のワーク１０８を撮像した画像である。画像処理装置１０２は画像３０１のデータを処理し、ワーク１０８の実空間座標を算出する。制御装置１０１は画像処理結果に基づいてロボット１０４を制御する。このとき、撮像装置１０３の位置再現性が低下すると、画像処理装置１０２が算出したワーク１０８の位置姿勢の座標と実際のワーク１０８の位置姿勢の座標との間で誤差が発生する。誤差が許容範囲を超えた場合、ロボット１０４の制御に誤りが発生し、ワーク１０８の把持やピックアップ動作に支障を来す可能性がある。
【００１８】
そこで画像処理装置１０２は、撮像装置１０３の撮影位置を変更したのちに撮影し、その静定状態を判定する。基準画像領域については後述するが、例えば搬送装置１０５を固定するボルトや柱が写っている領域３０２のように、時間経過に伴う変動が小さく、かつ特徴量の大きい領域が基準画像領域として好適である。これに対し、ワーク１０８とその周辺部だけが写っている領域のような、動画像において時間経過に伴って位置や傾きが変化する領域は基準画像領域として適切ではない。
【００１９】
撮像装置１０３は、基準画像領域３０２を含む画像３０１のデータを画像処理装置１０２に送信する。または、基準画像領域３０２をトリミングした画像データを撮像装置１０３が画像処理装置１０２に送信してもよい。あるいは、撮像装置１０３が画像３０１の画像処理を行って後述する画像内の特徴部を抽出し、抽出結果を示すデータのみを画像処理装置１０２に送信してもよい。
【００２０】
図３（Ｂ）に示す画像３０３は、撮像装置１０３が搬送車１０６を撮像した画像である。画像処理装置１０２は画像３０３の画像処理を行い、搬送車１０６が停止枠１１１内に存在するかどうかを判定する。このとき撮像装置に要求される静定性については、計測シーンＡ１１２に比較して判定精度が低いものとする。むしろ過分な静定性を要求すると、静定のための時間が必要となるので、全体処理にかかる計測時間が長くなるという問題が発生する。
【００２１】
図４は、画像処理装置１０２の構成例を示すブロック図である。画像処理装置１０２はインターフェース部４０３を介して制御装置１０１、撮像装置１０３と接続されている。入出力表示装置４０１、操作入力装置４０２はインターフェース部４０３を介して画像処理装置１０２と接続された、ユーザ・インターフェース用の装置である。各装置は画像処理装置１０２の内部バス上に配置された各インターフェース部４０３を介して接続される。各インターフェース部４０３は通信に適した規格に基づき、接続対象に応じたネットワークインターフェース部、シリアル通信インターフェース部等から構成される。
【００２２】
入出力表示装置４０１は、画像を表示する陰極管や液晶パネル等の表示デバイスを備える。操作入力装置４０２は、キーボードやポインティングデバイス、タッチパネル、入力操作コントローラ、ジェスチャ入力装置等により構成される。
【００２３】
画像処理装置１０２と接続される撮像装置１０３には、撮影のために必要に応じて照明装置を併設してもよい。照明装置はハロゲンランプや発光ダイオード等の光源を備える。また画像処理装置１０２に外部記憶装置を接続して、記憶容量を拡大してもよい。
【００２４】
画像処理装置１０２は、画像処理の制御主体となる汎用マイクロプロセッサとして構成されたＣＰＵ（中央演算処理装置）や画像処理プロセッサ等により構成される演算部４０４を有する。演算部４０４は内部バス（データバス、アドレスバス、他の制御線等）を介して記憶部４０５と接続される。
【００２５】
記憶部４０５には、ＲＯＭ、ＲＡＭ、またはＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性メモリデバイスや、外部記憶装置が使用される。ＲＯＭは“Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ”、ＲＡＭは“Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ”の略号である。ＥＰＲＯＭは“Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ”の略号である。ＥＥＰＲＯＭは“Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ”の略号である。外部記憶装置は、例えばハードディスクドライブ装置（ＨＤＤ）や半導体メモリ素子で構成された記憶装置、あるいはインターフェース部４０３と接続可能な記憶装置等である。
【００２６】
記憶部４０５は処理データ保存領域４０６およびプログラム記憶領域を有する。処理データ保存領域４０６は、記憶部４０５中のＲＡＭ領域や、外部記憶装置のファイル領域や仮想記憶領域等によって構成される。処理データ保存領域４０６は、処理データを一時的に記憶する他、画像処理の設定パラメータ等の記憶領域として使用される。
【００２７】
記憶部４０５のプログラム記憶領域には、本実施例の画像処理を実行するための画像処理プログラム４０７が記憶される。画像処理プログラム４０７は、操作入力装置４０２によって行われた各種操作に応じて、画像処理の設定変更や所定の画像処理を実行する。また変更内容について、処理データ保存領域４０６へのデータの保存や、データの削除が可能である。
【００２８】
画像処理プログラム４０７は、各種の機能を実現するソフトウェアモジュールから構成される。例えば画像処理モジュール４０８は画像処理を実現する本体部分である。このモジュールが行う画像処理には画像処理ライブラリ４０９が用いられる。画像処理ライブラリ４０９は、例えば静的または動的にリンクされるライブラリとして記憶部４０５に実装される。画像処理設定モジュール４１０は画像処理プログラム４０７の振舞いを決定する。画像処理設定は操作入力装置４０２によって行われた各種操作に応じて行われる。
【００２９】
さらに、画像処理プログラム４０７には、次の機能を実現するＩ／Ｏ（入出力）用サブルーチンが含まれる。例えば、外部デバイス制御サブルーチン４１１、保存データ生成サブルーチン４１２、制御装置１０１からの制御指令を受け付けるための指令受付サブルーチン４１３がある。またＲＡＭ領域や演算部４０４のキャッシュ領域等を使用する一時記憶サブルーチン４１４、表示画面生成サブルーチン４１５がある。保存データ出力サブルーチン４１６は処理データ保存領域４０６に保存されたデータを読み出して出力するプログラムであり、操作受付サブルーチン４１７は操作入力装置４０２からの操作指示を受け付けるためのプログラムである。各機能は、アプリケーション（ユーティリティ）プログラムや、静的または動的にリンクされるライブラリとして構成されたサブルーチン、といった形態で記憶部４０５に実装される。
【００３０】
画像処理装置１０２のＣＰＵは画像処理プログラム４０７を実行することにより、撮像装置１０３の制御、演算部４０４を利用した画像処理を行う。また、操作入力装置４０２によりユーザの操作指示を受け付ける処理や、画像処理装置１０２の外部装置である制御装置１０１から制御指令を受け付ける処理が実行される。演算部４０４は操作指示や制御指令に応じて、画像処理プログラム４０７の各機能モジュールやライブラリを呼び出して演算処理を行い、画像処理結果のデータを制御装置１０１に送信する。また、画像処理結果のデータを外部記憶装置に送信して蓄積（ロギング）することができる。さらには、プログラムによって予め記憶されている画面構成と画像処理結果とを画面上で合成し、入出力表示装置４０１に表示する処理が実行される。
【００３１】
図５は、画像処理プログラム４０７を作成するためのフローチャート作成画面の例を示す図である。この画面は入出力表示装置４０１に表示される。本実施例に係る画像処理プログラム４０７は、ユーザが画像処理装置１０２を用いて作成したフローチャートに従って実行されるものとする。その他の実施形態として、ユーザが図１に示していない画像処理プログラム作成装置を使用して画像処理プログラム４０７を作成する形態がある。この場合、作成された画像処理プログラム４０７が画像処理装置１０２の記憶部４０５に転送されて記憶される。また、機能別または目的別に予め定型で用意された組合せ済みの画像処理フローチャートを内包したパッケージ機能を用いる形態でもよい。この場合、ユーザはＧＵＩ（グラフィカル・ユーザ・インターフェース）上で所望の機能を選択し、パラメータ等の調整を行うことができる。
【００３２】
パーツリスト５０１は、フローチャートを構成する各処理パーツのリストである。ユーザは矩形枠内に示す各種の処理や、菱形枠内に示す条件分岐処理を指定することができる。例えばユーザは操作入力装置４０２を用いて、パーツリスト５０１から所望の処理パーツを指定する。ポインティングデバイス等でドラッグ＆ドロップ操作を行い、フローチャート領域５０２に配置した複数の処理パーツ同士を線で結合することにより、フローチャートの作成が可能である。
【００３３】
複数の処理パーツから構成されるフローチャート５０３は、ロボット１０４によってワーク１０８〜１１０を搬送装置１０５から取り出し、ワークの種別に従って搬送車１０６または１０７に配置する処理を記述した例である。この例において、処理の開始後の撮影処理５０４はワーク１０８〜１１０を撮影する処理である。次のワーク位置計算５０５はワーク１０８〜１１０の位置や位相を算出する計算処理であり、その次のロボット移動５０６の処理は、算出されたワーク位置の上方にロボット１０４のハンドを移動させたり回転させたりする処理である。Ｐｉｃｋ処理５０７はロボット１０４によるワーク１０８のピックアップ動作の処理であり、その次の撮影処理５０８は搬送車１０６を撮影する処理である。その次には、撮像画像内に搬送車１０６の画像領域が存在するかどうかを検出する存在検出５０９の処理が記述されている。さらに条件分岐処理５１０では、搬送車１０６の画像領域が撮像画像内に存在する場合にロボット移動処理５１１に進み、搬送車１０６の画像領域が撮像画像内に存在しない場合に報知処理５１３に進むことが記述されている。ロボット移動処理５１１は、ロボット１０４により取り出されたワーク１０８を搬送車１０６の位置に移動させる処理である。次のＰｌａｃｅ処理５１２はロボット１０４がワーク１０８を搬送車１０６上に載置する処理である。報知処理５１３は一定時間を待って検出された異常発生を報知する処理である。そして一連の処理を終了する。
【００３４】
ユーザは所望の処理パーツを組み合わせて、目的とするフローチャート５０３を作成する。作成されたフローチャート５０３において、処理パーツのいずれかのダブルクリック操作が行われた場合、当該処理パーツの詳細な処理を設定するための設定画面の表示処理に遷移する。この設定画面については後述する。ＯＫボタン５１４のクリック操作が行われた場合、画像処理装置１０２はフローチャートに記述された処理を実行するための画像処理プログラム４０７を生成する。
【００３５】
図６は、撮影処理における基準特徴の登録処理画面を表す図である。例えば、ユーザが図５に示すフローチャート５０３において、撮影処理５０４または５０８の処理パーツに対するダブルクリック操作を行った場合、登録処理画面６０１が入出力表示装置４０１によって表示される。ユーザは登録処理画面６０１を見ながら、計測時の基準として用いる基準特徴の設定登録を行うことができる。
【００３６】
図７は基準特徴の登録処理のシーケンス図である。以下では、図６および図７を参照して以下の処理（Ａ）〜（Ｃ）から構成される登録処理について具体的に説明する。
（Ａ）使用する撮像装置の設定処理。
（Ｂ）撮影位置に関するパンニングとチルティング、ズーム倍率の設定処理。
（Ｃ）撮像装置が備える駆動機構部の性能や劣化、撮像装置の設置環境に由来する駆動機構部の駆動後の静定状態を評価するために基準特徴部および静定状態の判定条件を設定する処理。駆動機構部にはパン機構、チルト機構、ズーム機構が含まれる。
【００３７】
まず処理（Ａ）について説明する。図６の撮影パーツＩＤ６０２は、撮影パーツを識別するための情報を表示するボックスである。カメラＩＤ６０３は、撮像装置の識別情報であるカメラＩＤを設定するためのスピンボックス、つまりスピンコントロール付きテキストボックスである。システムにて複数台の撮像装置が使用される場合、ユーザはカメラＩＤを選択することによって、撮影に使用するカメラを設定することができる。ここでは、撮像装置１０３に割り当てられたカメラＩＤが指定されたものとして説明する。
【００３８】
次に処理（Ｂ）について説明する。図６のバー６０４〜６０６は、撮像装置１０３のパンニング、チルティング、ズーム倍率を変更するために操作されるスライドバーである。撮像装置１０３による撮像画像は画像表示領域６０７に表示され、その下側にパンニング用のバー６０４が配置されている。バー６０４の操作によりＰ方向における撮影位置を変更可能である。画像表示領域６０７の右側にはチルティング用のバー６０５、およびズーム倍率変更用のバー６０６が配置されている。バー６０５の操作によりＴ方向における撮影位置を変更可能である。バー６０６の操作により撮影画角を変更可能である。
【００３９】
図７には画像処理装置１０２と撮像装置１０３との間で行われる処理の一例を示す。時間軸の方向を図７の上から下への方向と定義する。ユーザがバー６０４〜６０６のうちの所望のバーを操作した場合、画像処理装置１０２は撮像装置１０３に対して撮影指令を送信する（Ｓ７０１）。撮像装置１０３は駆動部を制御して、パンニングやチルティングの変更（撮影方向の変更）、またはズーム倍率の変更を行う（Ｓ７０２）。その後、撮像装置１０３による撮影動作が行われ（Ｓ７０３）、撮像画像のデータが画像処理装置１０２に送信される（Ｓ７０４）。画像処理装置１０２は撮像画像の表示処理を行い、入出力表示装置４０１の画面における画像表示領域６０７に撮像画像が表示される。図６に表示される画像例では、図１に示した搬送装置１０５と搬送中のワーク１０８、搬送装置１０５を固定しているボルト部分６０８（図３に示す領域３０２に対応する）が写っている。Ｓ７０１からＳ７０４の処理はループ処理として、ユーザがスライドバー（６０４から６０６のいずれか）を操作するたびに繰り返し実行される。
【００４０】
次に処理（Ｃ）について説明する。処理（Ｃ）の目的は、撮像装置１０３の静定状態を画像処理によって判定することである。図６の画像表示領域６０７内に点線で示す枠６０９は、ユーザが基準画像領域を登録するための枠である。ユーザは操作入力装置４０２を用いて、枠６０９の形状、位置、大きさ等を変更可能である。図６では、搬送装置１０５を固定しているボルト部分６０８の画像領域が枠６０９によって包囲されており、４箇所の枠６０９内の領域が基準画像領域としてそれぞれ指定されている。図７のＳ７０５に基準画像領域の決定処理を示す。枠６０９は追加または削除が可能である。例えばユーザがマウスの右クリック操作を行うことでコンテキストメニュー（図示せず）が表示され、ユーザが「枠の追加・削除」を選択することによって、枠の追加や削除の操作を行える。
【００４１】
図６の登録処理画面６０１において中段には２つのスピンボックス６１０と６１１を示す。スピンボックス６１０は、基準画像領域から基準特徴を抽出する特徴抽出法を設定する際に使用される。特徴抽出法としてはパターンマッチング、エッジ検出、濃淡の検出、二値化重心、外接矩形、周囲長、色等を選択可能である。基準特徴とは、パターンの位置や位相、エッジ、濃淡値、二値化領域の面積や位置、矩形の大きさや位置および傾き、長さ、色濃度値等である。ユーザはスピンボックス６１０にて所望の選択肢を指定可能である。
【００４２】
スピンボックス６１１は、振動量の計算法を選択する際に使用される。振動量の計算法は、基準特徴と、後述の計測時に抽出した特徴（基準特徴と同じく、パターンの位置または位相、エッジ、濃淡値、二値化領域の面積や位置、矩形の大きさや位置および傾き、長さ、色濃度値等）に基づく方法である。
【００４３】
静定状態判定方法では基準特徴を有する基準特徴部および抽出された特徴を有する特徴部のそれぞれについて、特徴部同士の位置関係等が選択可能である。例えばパターンの一致度、エッジや領域の重心位置の差、矩形の大きさや位置座標同士の距離および傾きの差、長さの差、濃淡の差等を選択することができる。複数の静定状態判定方法において２以上の計算方法の組み合わせを設定できるように構成してもよい。
【００４４】
図６のコントロール６１２は、撮像装置の静定状態を判定するための設定を行う際に使用される。ユーザは静定判定条件を指定する際にラジオボタン６１３または６１４を選択可能である。ラジオボタン６１３は静定状態の判定条件を簡単に設定したい場合に選択される。ラジオボタン６１４は静定状態の判定条件を詳細に設定したい場合に選択される。
【００４５】
ラジオボタン６１３が選択された場合、スピンボックス６１５で判定レベルを設定することができる。スピンボックス６１５で設定可能な判定レベルについては最小値と最大値が規定されている。これは、後述の計測間隔、計測時間、および閾値のセットに基づくものである。例えば、判定レベルが１である場合、計測精度をそれほど必要としない環境で使用することを想定している。この場合、計測間隔１回／ｓｅｃ、計測時間１０秒、閾値３センチメートルが設定される。また判定レベルが１０である場合には、計測精度を必要とする環境で使用することを想定している。この場合、計測間隔３０回／ｓｅｃ、計測時間５秒、閾値１ミリメートルが設定される。このように、判定レベルに応じた既存の設定値の組を選択することができる。
【００４６】
一方、ラジオボタン６１４が選択された場合には、判定レベルで設定可能な値よりも詳細な設定を行うことができる。この場合、計測間隔、計測時間、および閾値をそれぞれのスピンボックス６１６、６１７、６１８で個別に設定可能である。ここで、静定状態を判定するための、計測間隔、計測時間、および閾値について、図８を参照して説明する。
【００４７】
図８（Ａ）は、基準特徴部を表す枠（以下、特徴枠という）６０９が振動しているときの、それぞれの検出パターンの重心位置６２０，６２１，６２２を表す模式図である。この振動は撮像装置の振動により発生する、撮像画像における特徴枠６０９の相対的な振動であり、基準特徴部に対応する被写体自体の固有振動ではない。Ｙ方向を図８（Ａ）の上下方向と定義し、Ｘ方向を左右方向と定義する。位置６２０は特徴枠６０９の静定状態での重心位置を表し、位置６２１は特徴枠６０９がＹ方向に正値の振動量で振動しているときの重心位置を表す。位置６２２は特徴枠６０９がＹ方向に負値の振動量で振動しているときの重心位置を表す。
【００４８】
図８（Ｂ）は、振動量の時間的変化を例示したグラフである。横軸は時間軸であり、縦軸は振動量の計測値を表す。グラフ曲線６２３は特徴枠６０９の時間経過による振動量を表している。時間間隔６２４は図６のスピンボックス６１６で設定された計測間隔である。時刻ｔ０から時刻ｔ１８までの時間６２５は図６のスピンボックス６１７で設定された計測時間である。所定の振動量を示す値６２６は図６のスピンボックス６１８で設定された静定状態判定用の閾値である。閾値は、対象となる撮像装置が静定状態であると判定するための所定の振動量であり、画素数または実距離（例えばセンチメートル）で表される。
【００４９】
図８（Ｂ）に示す例では、画像処理装置１０２が時刻ｔ０から振動量の計測を開始し、時間間隔６２４で示される計測間隔で振動量を計測し、最大振動量および最小振動量の時間経過を算出する。グラフ線６２８はグラフ曲線６２３の振幅の時間的変化を表す包絡線である。画像処理装置１０２は、計測時間である時刻ｔ０から時刻ｔ１８まで計測間隔６２４で振動量を計測する。この期間に算出された、グラフ線６２８で示される振幅（計測値）が閾値未満とならない場合に、撮像装置が静定状態ではないと判定される。図８（Ｂ）の例では、時刻ｔ１０で振動量の振幅が閾値６２６を下まわっているので、画像処理装置１０２は時刻ｔ１０で撮像装置が静定状態であるとの判定結果を出力する。
【００５０】
（Ａ）〜（Ｃ）の設定処理が終了し、ユーザがＯＫボタン６１９（図６）のクリック操作を行うと、画像処理装置１０２は上述の特徴抽出法を用いて基準特徴を抽出する（図７：Ｓ７０６）。画像処理装置１０２は設定された項目のデータを後述するデータ形式で生成し、生成後のデータを基準特徴情報として処理データ保存領域４０６に保存する登録処理を行う（図７：Ｓ７０７）。
【００５１】
図９は基準特徴情報のデータ形式を表す図である。図９（Ａ）は撮影パーツごとに生成されるデータ例を示す。例えば撮影パーツＩＤ８０１が「０１」である第１行では、カメラＩＤ８０２が「０１」、パン方向８０３の角度値が「１０．０」（単位：°）、チルト方向８０４の角度値が「−５．０」（単位：°）である。ズーム倍率８０５は「１．０」倍、特徴抽出法８０６は「パターンマッチング」、振動量計算法８０７は「パターン位置」である。静定判定設定８０８は「詳細」、判定レベル８０９は「Ｎｕｌｌ」、計測間隔８１０は「２０」（回／ｓｅｃ）である。計測時間（数値）８１１は「３」、計測時間（単位）８２１は「秒」、閾値（数値）８２２は「１」、閾値（単位）８２３は「ミリメートル」である。撮影パーツＩＤ８０１が「０２」である第２行では、撮影パーツＩＤ８０１が「０１」である第１行に比べて、静定判定条件が緩和されていることを示している。符号８０１〜８１１、および符号８２１〜８２３で示す各項目については、図６において説明済みであるので、それらの説明を省略する。
【００５２】
図９（Ａ）の各行に示す項目のデータは基準特徴情報ＩＤ８１２と関連付けられている。基準特徴情報ＩＤ８１２は、基準特徴情報を一意に識別するためのＩＤ（識別情報）である。図９（Ｂ）は基準特徴情報ごとに生成されるデータ例を示す。例えば第１行の基準特徴情報ＩＤ８１２は「Ａ」である。このＩＤ「Ａ」は図９（Ａ）の第１行に示される撮影パーツＩＤ「０１」に関連付けられている。第１行でのＸ座標８１３は基準特徴部のＸ座標「８６０」を表し、Ｙ座標８１４は基準特徴部のＸ座標「５２０」を表す。第１行での幅８１５は基準特徴部の幅「８０」を表し、高さ８１６は基準特徴部の高さ「６０」を表す。特徴量８１７の項目には、例えば特徴抽出方法としてパターンマッチング法が選択されている場合にパターンの画像データが記録される。あるいは、特徴抽出方法として重心位置の抽出が選択されている場合に重心の位置座標が特徴量８１７の項目に記録される。ファイル名８１８は基準特徴部の画像ファイルの名称である。例えば、ユーザが画像処理プログラム４０７を作成した後、システムのテストをした際に計測結果が満足なレベルに達していない場合を想定する。ユーザは図６の登録処理画面６０１を再度表示させて、スピンボックス６１０を用いた基準特徴抽出方法の変更操作やコントロール６１２を用いた静定判定条件の設定内容の変更操作を行うことができる。このとき、基準特徴部の画像ファイルを記録しておくことで、基準特徴部の再撮影を行う必要がなくなるので作業の効率化を実現できる。
【００５３】
図１０は計測処理の設定画面例を示す図である。ユーザが図５に示される処理パーツ（ワーク位置計算５０５や存在検出５０９等）に対してダブルクリック操作を行った場合、入出力表示装置４０１に計測処理の設定画面９０１が表示される。画像表示領域９０２内に示す画像は、撮像装置１０３により撮像された画像を示す。枠９０３はユーザが計測対象を登録するときに用いる枠であり、枠９０４はユーザが計測における探索範囲を登録するための枠である。枠９０４は枠９０３を含む、より広い範囲に設定されている。ユーザは、マウス等のポインティングデバイスを使って枠９０３または９０４を操作することで、枠の形状、位置、大きさを変更可能である。
【００５４】
図１０に示す計測処理法の表示領域９０５には、パターンマッチング法を用いてワークの位置計算が行われることが示されている。本実施例ではパターンマッチング法を例示して説明するが、他の画像処理に基づく計測処理方法が可能である。スピンボックス９０６，９０７，９０８はそれぞれ、パターンマッチング法におけるパターンの回転範囲、拡大率、およびスコア閾値をユーザが設定する際に使用される。
【００５５】
ユーザがＯＫボタン９０９のクリック操作を行うと、画像処理装置１０２は枠９０３に示す計測対象、枠９０４に示す探索範囲、パターンマッチング法における回転範囲、拡大率、スコア閾値の各データを処理データ保存領域４０６に保存する。なお、ユーザが図６のスピンボックス６１０を用いて設定した特徴抽出法がパターンマッチング法以外の方法である場合には、選択された特徴抽出法に応じた設定項目が表示される。つまり画像処理装置１０２は符号９０６〜９０８に示す項目に代えて、ユーザが選択した特徴抽出法に適したパラメータ設定ＵＩ（ユーザ・インターフェース）画面を表示する処理を実行する。
【００５６】
図３で説明したように、基準画像領域としては時間経過に伴う変動が小さく、かつ特徴量が大きい領域が好ましい。ワークが写っている領域のように、時間経過に伴って位置や傾きが変化する領域は適切でないと判断される。したがって、画像処理装置１０２は、図６の枠６０９に示される基準画像領域の設定時および図１０の枠９０３による計測対象の登録時において基準画像領域と計測対象の画像領域が重なっている場合にユーザへの警告処理を行う。
【００５７】
図１１は、制御装置１０１からのトリガー信号を受け付けて画像処理装置１０２が画像計測処理を実行するときのシーケンス図である。図１１では制御装置１０１の実行する処理が追加されており、制御装置１０１と画像処理装置１０２と撮像装置１０３との間で行われる処理の一例を示す。時間軸の方向を図１１の上から下への方向と定義する。
【００５８】
まず制御装置１０１は画像処理装置１０２に制御指令を送信する（Ｓ１００１）。画像処理装置１０２は処理データ保存領域４０６から基準特徴情報（図９：８０２〜８１６、および８２１〜８２３）を読み出す（Ｓ１００２）。次に画像処理装置１０２は、撮影位置に関するパンニング方向、チルティング方向、ズーム倍率（図９：８０３〜８０５）での撮影指令を撮像装置１０３に送信する（Ｓ１００３）。撮像装置１０３は駆動部を制御して、パンニング角度およびチルティング角度、ズーム倍率を変更する（Ｓ１００４）。撮影動作が行われ（Ｓ１００５）、その後に撮像装置１０３は撮像画像のデータを画像処理装置１０２に送信する（Ｓ１００６）。
【００５９】
画像処理装置１０２は、受信した画像データから、図６のスピンボックス６１０，６１１で指定された特徴抽出法および振動量計算方法に従って特徴部を抽出する処理を実行する（Ｓ１００７）。画像処理装置１０２は、図６のスピンボックス６１７で指定された計測時間で撮影された時系列で隣り合う画像から特徴部の振動量を計算する。抽出された特徴部の中心座標等の、少なくとも一つの計算パラメータから振動量が計算される。画像処理装置１０２は算出した振動量を、図６のスピンボックス６１８で指定された閾値と比較する（Ｓ１００８）。画像処理装置１０２は比較処理の結果、振動量の振幅が閾値より小さい場合に撮像装置１０３が静定状態であると判定する。また、振動量が閾値以上である場合には撮像装置１０３が静定状態ではないと判定される（Ｓ１０１４）。Ｓ１００５からＳ１００８、およびＳ１０１４の処理は、事前に図６のスピンボックス６１６で指定された計測間隔で繰り返し実行される。
【００６０】
Ｓ１０１４において撮像装置１０３が静定状態であるという判定結果が得られた場合、Ｓ１０１５およびＳ１０１６の処理が実行される。画像処理装置１０２は画像処理に基づく所定の計測を行い（Ｓ１０１５）、計測結果のデータを制御装置１０１に送信する（Ｓ１０１６）。
【００６１】
一方、Ｓ１０１４において撮像装置１０３が静定状態でないという判定結果が得られた場合、画像処理装置１０２は図６のスピンボックス６１７で指定された計測時間が経過したか否かを判断する。指定された計測時間が経過していない場合、Ｓ１００５〜Ｓ１００８、Ｓ１０１４の処理が繰り返し実行される。指定された計測時間が経過した場合に画像処理装置１０２は、計測時間以内に撮像装置１０３が静定状態に到達しなかったと判断して処理を終了する。または、画像処理装置１０２は計測時間以内に撮像装置１０３が静定状態に到達しなかったことを報知する処理を行ってから処理を終了する。
【００６２】
本実施例では、例えば撮像装置の固定方法や静定性能が十分でないために、撮像装置の静定状態の精度が画像処理における所望の計測精度に対して不足している場合にも対処可能である。画像処理やワークの種類に応じて静定状態判定の設定を変更できるので、撮像装置が必要十分な静定状態であることを判定し、必要最小限の時間で撮影および画像計測を行うことができる。
【００６３】
また、静定状態判定に画像処理を利用することにより、廉価なカメラでも計測精度を確保しつつ画像処理を行える。例えば、ワークの撮像画像に基づき、ワークの種類ごとに選別してロボットが各ワークを異なる搬送車に積載する工程では、静定の判定レベルを高くして判定条件を厳しく設定することができる。この設定により、画像処理の計測精度を高め、ロボットを正確に制御することができる。一方で、撮像装置が搬送車を撮像して搬送車が停止枠内に存在するかどうかを判定する工程では、静定判定レベルを低く設定して判定条件を緩和することができる。この設定により、工程で要求される計測精度を満たしつつ、必要な計測を短時間で終了させることができる。本実施例によれば、指定された静定判定条件にしたがって画像処理に必要十分な計測精度で撮像装置の静定判定を行い、計測処理をより短時間で行うことができる。
【００６４】
［第２実施例］
次に、本発明の第２実施例を説明する。第１実施例ではユーザ操作により基準画像領域を指定する必要があるのに対し、本実施例では基準画像領域を自動的または半自動的に決定可能な画像処理装置について説明する。画像特徴について詳しくないユーザであっても好適な基準画像領域を設定することができ、設定の際の属人性を低減可能である。なお、本実施例に係るシステム構成は第１実施例と同様であるため、既に使用した符号を用いることで、それらの詳細な説明を省略する。このような説明の省略の仕方は後述の実施例でも同じである。
【００６５】
図１２は、本実施例の画像処理装置１０２における、基準特徴の登録処理画面例を示す。図１３は基準特徴の登録処理のシーケンス図である。以下では、第１実施例との相違点を主に説明する。図１２に示す登録画面１１０１では、計測試行のボタン１１０２が追加されている。ユーザはボタン１１０２を操作し、複数回に亘って行われる計測の試行を指示することができる。
【００６６】
ユーザは、基準特徴の登録画面１１０１は見ながらバー６０４〜６０６を操作する。画像処理装置１０２は撮像装置１０３の雲台２０１の駆動制御を行って撮影方向を制御する。撮像装置１０３によって撮像された撮像画像は画像表示領域６０７に表示される。ここで、ユーザがボタン１１０２のクリック操作を行うと、画像処理装置１０２は撮像装置１０３に撮影指令を送信する（図１３：Ｓ１２０１）。撮像装置１０３は所定回数の撮影を行って（Ｓ１２０２）、全ての画像のデータを画像処理装置１０２に送信する（Ｓ１２０３）。
【００６７】
画像処理装置１０２は、撮像装置１０３から受信した画像データから、変動が小さい領域を算出し（Ｓ１２０４）、変動の大きい領域１１０３を黒色で表示する。次に画像処理装置１０２は、変動が小さい領域のうちで特徴量が大きな領域を算出する。特徴量が大きな領域とは、例えばコントラストが明瞭な領域である。画像処理装置１０２は画像表示領域６０７において、特徴量の小さな領域１１０４を灰色で表示する（Ｓ１２０５）。そして画像処理装置１０２は、特徴量が大きな領域１１０５を基準画像領域に決定する（Ｓ１２０６）。
【００６８】
本実施形態では、例えば複数回に亘って行われる計測によって取得される画像領域のうち、変動が最も小さい画像領域が自動的に基準画像領域として設定される。あるいは、変動が小さい領域のうちで特徴量が大きな領域を画像処理装置１０２が優先して自動的に基準画像領域として設定する。このような自動的な処理に代えて、変動が小さく特徴量が大きな１個または複数個の領域を基準画像領域の候補としてユーザに提示し、ユーザが選択操作を行う半自動的な処理でもよい。この場合、ユーザに基準画像領域の選択を促す処理が行われる。変動が小さく特徴量が大きな領域１１０５の候補は画像表示領域６０７において、例えば白色表示でユーザに提示され、ユーザは所望の領域を基準画像領域として指定することができる。
【００６９】
本実施例では、画像特徴について詳しくないユーザでも好適な基準画像領域の設定を行うことができる。また、設定の際に属人性を低減し、個人の習熟度に影響されにくい処理を行うことができる。
【００７０】
［第３実施例］
次に本発明の第３実施例を説明する。第１実施例では、図８（Ｂ）に示す計測間隔６２４で撮像装置１０３の振動量が計測され、その時間経過を示すグラフ線６２８で表される振幅が算出される。画像処理装置１０２は、計測時間６２５中のある時点まで計測間隔６２４で計測を行い、振動量の振幅が閾値未満となった時点で撮像装置１０３が静定状態であることを判定する。
【００７１】
本実施例では、過去に静定状態を判定したことがある撮像装置とその設置状態での振動量の計測値を使用して、撮像装置が静定状態となる時間を推測する処理について説明する。図１４は振動量の時間的変化を例示したグラフであり、縦軸および横軸の設定は図８（Ｂ）と同じである。図１４では、過去に静定状態を判定したことがある撮像装置について、基準特徴部の時間経過による振動量の推測値１３０３を表している。画像処理装置１０２は設定された計測間隔６２４で計測を行う。画像処理装置１０２は計測開始時刻ｔ４における振動量と、静定推測曲線１３０２、および設定された閾値１３０１に基づき、対象となる撮像装置が静定状態であると判定される時刻ｔ１０を算出する。静定推測曲線１３０２は振動量の推測値１３０３の包絡線であり、静定推測曲線１３０２が閾値１３０１の線と交差する位置１３０４を算出する推測処理が行われる。
【００７２】
画像処理装置１０２は、撮像装置が静定状態となると推測した時刻ｔ１０の直前の時刻ｔ９またはさらに前の時刻ｔ８で閾値と振動量の振幅との比較処理を再開する。つまり、画像処理装置１０２は、計測開始時刻ｔ４から計測再開時刻ｔ８までの時間１３０５において、振動量の振幅と閾値との比較処理を行わない。これにより、画像処理装置１０２が使用する演算リソースを確保したり、あるいは別のタスクによる処理を実施したりすることが可能となる。
【００７３】
対象となる撮像装置に係る振動量の振幅の時間的変化を示す静定推測曲線に関して画像処理装置１０２は、過去の計測値から近似的な曲線を算出する。または、ユーザが静定推測曲線の算出方法を選択可能である場合に画像処理装置１０２は算出方法の提示および選択処理を行うが、算出手段については任意である。本実施例では、撮像装置が静定状態となる時間を過去の計測値から推測することで、実際の振動量の振幅と閾値との比較処理にかかる負担を軽減することができる。
【００７４】
前記実施例では、制御装置１０１と画像処理装置１０２と撮像装置１０３が各別の構成である実施形態を説明したが、本発明はそのような例に限られない。例えば、画像処理装置１０２に相当する画像処理部と、撮像装置１０３に相当する、撮影方向および撮影画角の変更が可能な撮像部とを１つの装置内に備える撮像装置がある。あるいは、制御装置１０１と画像処理装置１０２と撮像装置１０３にそれぞれ対応する構成部を１つの装置内に備える撮像装置がある。このような撮像装置も本発明の技術的範囲に含まれる。
【００７５】
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７６】
１０１  制御装置
１０２  画像処理装置
１０３  撮像装置
１０４  ロボット
１０５  搬送装置
１０６，１０７  搬送車
１０８，１０９，１１０  ワーク
【図１】
2020009101.tif 000003
【図２】
2020009101.tif 000004
【図３】
2020009101.tif 000005
【図４】
2020009101.tif 000006
【図５】
2020009101.tif 000007
【図６】
2020009101.tif 000008
【図７】
2020009101.tif 000009
【図８】
2020009101.tif 000010
【図９】
2020009101.tif 000011
【図１０】
2020009101.tif 000012
【図１１】
2020009101.tif 000013
【図１２】
2020009101.tif 000014
【図１３】
2020009101.tif 000015
【図１４】
2020009101.tif 000016