(57)【要約】【課題】多品種少量生産やセル生産方式等を採用している理由で、画像処理系、制御系ならびに設備のアラインメント調整等が困難な状況において、これらの同期を精度良く取ることができる制御システムを提供する。【解決手段】設備機器１１０の動画を撮像する撮像装置１０７と、撮像装置の撮像範囲内に設置され、発光量、発光色、発光パターンのうち少なくともいずれかを一定周期で変化させて発光する発光装置４０２と、撮像装置が撮像した画像中の発光装置の発光量、発光色、発光パターンの少なくともいずれかに基づいて当該画像の撮像時刻を特定し、当該画像の撮像時刻及び画像情報に基づいて設備機器を制御する制御装置１０１を備える。【選択図】図１
2010044481.tif 000002
【特許請求の範囲】
【請求項１】
画像情報に基づいて設備機器を制御する制御システムにおいて、
前記設備機器の動画を撮像する撮像装置と、
この撮像装置の撮像範囲内に設置され、発光量、発光色、発光パターンのうち少なくともいずれかを一定周期で変化させて発光する発光装置と、
前記撮像装置が撮像した画像中の前記発光装置の発光量、発光色、発光パターンの少なくともいずれかに基づいて当該画像の撮像時刻を特定し、当該画像の撮像時刻及び画像情報に基づいて前記設備機器を制御する制御装置とを備えることを特徴とする制御システム。
【請求項２】
請求項１記載の制御システムにおいて、
前記発光装置は、複数設置され、一定周期で全体の発光パターンが所定のシーケンスに従って変化し、
前記制御装置は、前記撮像装置が撮像した画像中の前記発光パターンに基づいて当該画像の撮像時刻を特定することを特徴とする制御システム。
【請求項３】
請求項１記載の制御システムにおいて、
前記発光装置は、複数の発光素子によって構成されており、
前記複数の発光素子は、前記撮像装置が撮像した画像上において、複数の画素にわたって写る程度に互いに間隔を介して配置されていることを特徴とする制御システム。
【請求項４】
請求項１又は３記載の制御システムにおいて、
前記発光装置は、複数設置されており、それぞれ同一の変化で発光していることを特徴とする制御システム。
【請求項５】
請求項１記載の制御システムにおいて、
前記撮像装置の撮像範囲内には、その撮像範囲における位置が既知の位置基準点が少なくとも３つ以上設置されていることを特徴とする制御システム。
【請求項６】
請求項５記載の制御システムにおいて、
前記位置基準点は、３つ以上設置された前記発光装置であることを特徴とする制御システム。
【請求項７】
請求項５または６記載の制御システムにおいて、
前記撮像装置は、フレキシブルなアームによって支持されており、
前記制御装置は、前記撮像装置が撮像した画像上の前記位置基準点の位置を特定し、その前記位置基準点の位置から前記撮像装置の位置を求め、その前記撮像装置の位置から撮像対象の位置、姿勢のうち少なくともいずれかを求めることを特徴とする制御システム。
【請求項８】
請求項１から７いずれかに記載の制御システムにおいて、
請求項１記載の制御システムにおいて、
前記制御装置は、一定の周期で制御タスクを実行するタスクループを実行しており、前記撮像装置が撮像した画像の撮像時刻及び画像情報に基づいて他のタスクに移行するタイミングを決定していることを特徴とする制御システム。
【請求項９】
請求項１から８いずれかに記載の制御システムにおいて、
前記発光装置の発光周期は、前記制御装置の制御周期より長いことを特徴とする制御システム。
【請求項１０】
請求項１から９いずれかに記載の制御システムにおいて、
前記制御装置の制御周期は、前記撮像装置に撮像される動画のフレームレートより短いことを特徴とする制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像情報に基づいて設備機器を制御する制御システムに関する。
【背景技術】
【０００２】
近年の計算機システムのクロック高速化や、プロセッサの性能向上、CCDの低価格化等を受け、撮像装置によって撮像された画像の産業応用への期待が高まっている。
【０００３】
この種の画像処理を利用したプロセス制御システムの従来からの構成としては、生産物のアナログ画像を制御室で監視するものや、その画像をデジタル化してコンソール画面上やWｅｂ経由で監視するものがある。一方、組み立て産業や、道路システム、仕分けシステム等では、制御対象のデジタル画像を解析し、その解析結果から得られる画像情報に基づいて機器を制御するシステムがある。
【０００４】
前者のシステムでは、撮像データが表示されるまでの遅延を極力低減するための調整や、適切な位置を撮像するための調整が行われる程度で、画像と制御をリアルタイムに同期させる必要が少ない。これに対して、後者のシステムでは、撮像、解析、制御から計算機システム側の処理と、搬送設備とワーク等からなる制御対象とを同期させるために、時間面・空間面で適切な調整が必要である。例えば、郵便番号認識・仕分けシステムでは、専用の設備を用いることにより、精度の良い画像と制御の同期の実現を図ったものがある（特許文献１等参照）。
【０００５】
【特許文献１】特開２００８−１１９５８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、プロセス産業（化学、製薬、食品、鉄鋼、金属等）では、特に国内を中心に、差別化のために付加価値の高い少量品を多品種製造するケースが増えており、設備の切替えや洗浄などを行う非定型作業の割合が増加している。また、組み立て産業でも、セル生産方式化によるジョブショップの多機能化が進んでいる。一方、自動車やオートバイの検査や査定などでは、携帯電話やスマート端末の撮像機能と通信機能、プログラム実行機能を用いて、画像解析などに基づく判定や作業管理が行われるようになってきており、ベテラン（目利き）のノウハウを効率良く活用するような応用が行われている。
【０００７】
こうした動向から、画像処理の産業応用は、多品種少量生産に対応したプロセス産業や、多品種少量ひいてはセル生産方式に対応した組み立て産業においても、アナログ主流の時代からの用途（例えば、遠隔地の運転員による目視監視）に加え、記録の検索や照合、制御、ベテランのノウハウの活用等、デジタル化の特徴を生かした用途にまで適用されることが期待されている。
【０００８】
しかしながら、このような多品種少量生産やセル生産方式で画像と制御をリアルタイムに同期させる場合には、特定の制御のみに特化した郵便番号認識・仕分けシステム等と比較して制御対象が多岐にわたるため、調整が困難な場合が多い。
【０００９】
本発明の目的は、多品種少量生産やセル生産方式等を採用している理由で、画像処理系、制御系ならびに設備のアラインメント調整等が困難な状況において、これらの同期を精度良く取ることができる制御システムを提供することにある。
【課題を解決するための手段】
【００１０】
（１）本発明は、上記目的を達成するために、画像情報に基づいて設備機器を制御する制御システムにおいて、前記設備機器の動画を撮像する撮像装置と、この撮像装置の撮像範囲内に設置され、発光量、発光色、発光パターンのうち少なくともいずれかを一定周期で変化させて発光する発光装置と、前記撮像装置が撮像した画像中の前記発光装置の発光量、発光色、発光パターンの少なくともいずれかに基づいて当該画像の撮像時刻を特定し、当該画像の撮像時刻及び画像情報に基づいて前記設備機器を制御する制御装置とを備えるものとする。
【００１１】
（２）上記（１）において、好ましくは、前記発光装置は、複数設置され、一定周期で全体の発光パターンが所定のシーケンスに従って変化し、前記制御装置は、前記撮像装置が撮像した画像中の前記発光パターンに基づいて当該画像の撮像時刻を特定している。
【００１２】
（３）上記（１）において、好ましくは、前記発光装置は、複数の発光素子によって構成されており、前記複数の発光素子は、前記撮像装置が撮像した画像上において、複数の画素にわたって写る程度に互いに間隔を介して配置されている。
【００１３】
（４）上記（１）又は（３）において、好ましくは、前記発光装置は、複数設置されており、それぞれ同一の変化で発光している。
【００１４】
（５）上記（１）において、好ましくは、前記撮像装置の撮像範囲内には、その撮像範囲における位置が既知の位置基準点が少なくとも３つ以上設置されている。
【００１５】
（６）上記（５）において、前記位置基準点は、３つ以上設置された前記発光装置である。
【００１６】
（７）上記（５）又は（６）において、前記撮像装置は、フレキシブルなアームによって支持されており、前記制御装置は、前記撮像装置が撮像した画像上の前記位置基準点の位置を特定し、その前記位置基準点の位置から前記撮像装置の位置を求め、その前記撮像装置の位置から撮像対象の位置、姿勢のうち少なくともいずれかを求めている。
【００１７】
（８）上記（１）から（７）いずれかにおいて、前記制御装置は、一定の周期で制御タスクを実行するタスクループを実行しており、前記撮像装置が撮像した画像の撮像時刻及び画像情報に基づいて他のタスクに移行するタイミングを決定している。
【００１８】
（９）上記（１）から（８）いずれかにおいて、前記発光装置の発光周期は、前記制御装置の制御周期より長くなっている。
【００１９】
（１０）上記（１）から（９）いずれかにおいて、前記制御装置の制御周期は、前記撮像装置に撮像される動画のフレームレートより短くなっている。
【発明の効果】
【００２０】
本発明によれば、撮像した画像の取得時刻を精度良く把握することができるので、精度の高い同期が可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態を図面を用いて説明する。
【００２２】
図１は本発明の第１の実施の形態である制御システムの構成図である。  
この図に示す制御システムは、生産設備等に設置された種々の設備機器１１０を、その動画像から得られる画像情報に基づいて制御するものである。この制御システムは、設備機器１１０の動画を撮像する撮像装置１０７と、撮像装置１０７の撮像範囲内に設置された発光装置４０２と、設備機器１１０を制御する制御装置１０１と、運転員（オペレータ）が設備機器１１０の稼働状況等を監視するための監視装置１０３を主に備えている。
【００２３】
設備機器１１０は、各種生産品を作り上げる工程で利用される機器であり、例えば、図１に示したバルブ、モータ、ソレノイドバルブ等の駆動装置によって駆動されている。設備機器１１０は、ネットワーク１０８を介して、設備機器１１０を構成する駆動装置等に対して制御信号を送信する設備機器制御装置１０２と接続されている。
【００２４】
撮像装置１０７は、ネットワーク（マイクロエリアネットワーク）を介して画像サーバ（画像処理装置）１０５と接続されており、撮像装置１０７によって撮像された画像は、画像サーバ１０５に送信されている。撮像装置１０７は、ＵＳＢやＩＥＥＥ１３９４等の規格を介して計算機と容易に接続でき、価格が低廉な民生用のものである。撮像装置１０７としては、例えば、図１に示したデジタルビデオ（ＤＶ）１０７ａや、ＵＳＢカメラ１０７ｂ等がある。ＤＶ１０７ａは、ＣＣＤ、ＣＰＵ、ＶＲＡＭ等を備えた機能モジュール１１３を備えている。
【００２５】
画像サーバ１０５は、ネットワーク１０８を介して制御装置１０１と接続されており、撮像装置１０７の撮像した画像にフィルタリング処理を施したり、必要に応じて画像を解析したり、エンコードしたりしている（１１２）。画像サーバ１０５によって処理された画像は、ネットワーク１０８を介して制御装置１０１に転送される。
【００２６】
発光装置４０２は、発光量（輝度）、発光色、発光パターンのうち少なくともいずれかを一定周期（発光周期）で変化させて発光するもので、撮像装置１０７の撮像範囲内に設置されている。詳細は後述するが、このように発光量等を一定の周期で変化させると、撮像装置１０７が撮像した画像上の発光装置４０２の特徴から撮像時刻を特定することができる。また、発光装置４０２としては、周波数特性が良く、経時変化の少ないＬＥＤ灯器等の灯器が好ましい。さらに、発光装置４０２は、製品や設備機器等の陰に隠れて撮像されない場合もあるため、同一の変化で発光するものを複数設置することが好ましい。このように構成すると、少なくとも１つの発光装置４０２が撮像されていれば、撮像時刻を特定することができる。
【００２７】
本実施の形態の発光装置４０２は、ネットワーク１０８を介して制御装置１０１と接続されているが、発光装置４０２専用の発光制御装置（図示せず）を介して制御装置１０１と接続して発光量等を制御する方式を用いても良い。この場合、発光制御装置の設定タイミングを制御装置１０１がその内部のクロックに対して相対化して知ることができれば良い。発光装置４０２の制御を制御装置１０１のタスクループで直接実行せず発光制御装置で制御する場合には、例えば、下記のように構成すれば良い。
【００２８】
まず、制御装置１０１がその制御ループで、発光装置４０２への要求を発行する。発光制御装置では、制御装置１０１からの要求を受け、次の内部クロックの立ち上がりで、発光装置４０２の発光状態を初期化する。その後、発光制御装置は、クロックの立ち上がり、立下りに同期し、所定のシーケンス（例えば後述の図５の順序）で発光状態を順次変更する。このよう構成することで、撮像画像から、発光制御装置のクロックでＮクロック進んだ時点の画像であることが分かる。また制御装置１０１のタスクループの周期と発光制御装置のクロックの比率は、基本的にはスペック通りと考えることができるので、後者がM倍速いとすれば、下記の（式Ａ）により発光タイミングを決定することができる。  
（タスクループの開始時刻）＋（N／M×制御装置のタスクループ処理時間）（式Ａ）
なお、これらの他にも、発光装置４０２は、設備機器制御装置１０２を介して制御装置１０１と接続しても勿論良い。
【００２９】
制御装置１０１は、ＣＰＵ等（１１１）を用いて、撮像装置１０７が撮像した画像中の発光装置の発光量に基づいて当該画像の撮像時刻を特定し、当該画像の撮像時刻及び画像情報に基づいて設備機器１１０を制御するものである。制御装置１０１は、ネットワーク１０８を介して、画像サーバ１０５と、設備機器制御装置１０２と、監視装置１０３に接続されており、画像サーバ１０５からの画像データに応じて制御に必要なシーケンスを起動する。監視装置１０３としては、その専用装置である制御用コンソール１０３ａや、汎用装置である監視用計算機１０３ｂ等を利用することができる。図１にはこの監視装置１０３ａ，１０３ｂがともに図示されているが、どちらか一方を設置すれば足りる。
【００３０】
図２は本実施の形態における制御装置１０１が実行するタスクループを示す図である。
【００３１】
本実施の形態の制御装置１０１は、一定の周期で１以上の制御タスク（すなわち、制御タスク１、制御タスク２・・・、発光装置制御（Ｓ２０３）、受信画像処理（Ｓ２０４））を実行するタスクループ（Ｓ２０１）を実行している。なお、制御装置１０１の制御周期は、撮像装置１０７に撮像される動画のフレームレートより短いことが好ましい。また、本実施の形態のタスクループ（Ｓ２０１）は、制御装置１０１で受信した画像の処理を行い（Ｓ２０４）、その解析結果に基づいてシーケンスを起動するアルゴリズムを採用している。
【００３２】
図２において、発光装置制御（Ｓ２０３）は、発光装置４０２の発光量（発光色、発光パターン（後述）でも良い）を所定のシーケンス（順序）にしたがって変更するタスクである。発光装置４０２の発光周期は、画像の撮像時刻を判定するために、制御装置１０１の制御周期より長く設定する必要がある。なお、発光量を変更する場合は、Ｓ２０１で処理されるループの中であれば、どのタイミングでもよく、例えば、最初のタスク（Ｓ２０２）として実施しても良い。
【００３３】
受信画像処理（Ｓ２０４）は、画像サーバ１０５から送信されてくる画像を解析するタスクである。制御装置１０１は、このタスクで、まず、画像サーバ１０５の画像から特徴点抽出により灯火部を抽出する（Ｓ２１１）。撮像した画像中から発光装置４０２を特定するには、光の色及び輝度や、発光装置４０２の構成から導出される画像上の特徴の抽出技術を用いることができる。
【００３４】
次に、制御装置１０１は、発光装置４０２の映像が、過去のどのタイミングの発光量（発光色、発光パターン）かを判定する（Ｓ２１２）。発光量の判定には、基準となる輝度情報や色情報等を予め取得しておき、これらに対して正規化を施すことにより判定することができる。その具体的な方法としては、発光装置４０２への光量入力値（設定値）と、画像として検出される色又は輝度の関係を表すマップを用いた方法がある。このマップは、制御システムの初期化時又は校正時に作成することができる。マップを作成するには、まず、制御装置１０１から少なくとも撮像装置１０７の１フレームより長い時間の間、一定の指令値を与え、その際の出力画像上の灯火の輝度あるいは色を取得する。このような処理を複数の指令値に対して実施し、結果をテーブル化することで、マップを作成できる。
【００３５】
そして、最終的に制御装置１０１は、上記の発光量の判定結果に基づいて、その画像が現在時刻から何秒前（ミリ秒又はマイクロ秒等でも良い）のものであるかを判定する（Ｓ２１３）。このように本実施の形態によれば、撮像装置１０７による動画像の各フレーム（画像）の取得タイミングを制御装置１０１のクロック上で精度良く把握することができるので、撮像画像の解析結果に基づく制御を、他の制御と連動して実施することができる。すなわち、本実施の形態によれば、画像と撮像時刻を関連づけることができるので、画像と制御の同期を精度良く取ることができる。また、本実施の形態によれば、アラインメントの調整をせずに制御シーケンスの起動タイミングの制御が可能となる。
【００３６】
ところで、従来は、ＤＶやＵＳＢカメラ等のように正確には非同期的な民生の撮像装置を利用すると、動画像を構成する各フレーム（静止画）の撮像時刻を計算機側で正確に把握することが難しかった。例えば、時速６ｋｍの搬送設備などを考えた場合、１／６０秒で２．８ｃｍの移動量となるため、ＮＴＳＣ相当の３０フレーム／秒で撮像した場合には、１フレームに対して撮像機器のクロックと制御装置のクロックの差だけで平均２．８ｃｍもの誤差が生じる可能性があった。しかし、上記で説明した本実施の形態のように画像と撮像時刻を関連づければ、撮像装置として専用のものを使用する必要が無くなり、民生のものを使用することができるようになる。これにより計算機システムとの接続性が向上するとともに、設備費用を低廉にすることができる。
【００３７】
なお、上記においては、主に発光装置４０２の発光量を周期的に変更する場合について説明したが、発光色等を変更しても良い。発光色を周期的に変更して時刻を特定する場合には、発光色が変更可能な発光装置４０２を用意する必要がある。また、発光パターンを変更する場合には、複数の発光装置４０２を設置する必要がある。
【００３８】
図３は本実施の形態において複数の発光装置４０２を使用したときの発光パターンの例を示す図である。この図に示すシステムは、撮像装置１０７の撮像範囲内に設置された３つの発光装置４０２ａ，４０２ｂ，４０２ｃを備えている。これらの発光装置４０２ａ〜ｃは、一定周期で全体の発光パターンが所定のシーケンスに従って変化するように制御されており、発光する装置と発光しない装置の配置が周期的に変化する。そのため、任意の時間における発光パターン（すなわち、発光している装置又は発光していない装置の配置）に基づいて、その画像の撮像時刻を特定することができる。各発光装置４０２ａ〜ｃを発光させるパターン例としては、時間軸方向で隣り合う発光状態の距離が極力大きくなるように、図５に示すようなハミング符号のようなパターン（５１０）で発光させる方法がある。
【００３９】
また、発光パターンを用いる場合において、撮像装置１０７が移動するときには、非点灯状態の発光装置４０２の画像上の位置を特定する必要がある。このためには撮像装置１０７の位置及び姿勢と、発光装置４０２の現場内での相対的な位置関係を表すデータを用いて、画像上での発光装置４０２のあるべき位置を計算し、その位置の輝度や色の情報を用いて点灯状態を判定すればよい。なお、発光装置４０２の他の発光態様としては、発光量、発光色、発光パターンのうちいずれかを適宜組み合わせて周期的に変更しても良いことは言うまでもない。
【００４０】
ところで、ＤＶ１０７ａなどの民生撮像装置では、撮像結果に対してイントラフレーム画像圧縮が行われる場合がある。この場合には、次のような発光装置４０２ｄを利用することができる。
【００４１】
図４は本実施の形態における他の発光装置４０２ｄの例を示す図である。この図において黒く示されている部分は輝度の高い部分である。
【００４２】
この図に示す発光装置４０２ｄは、灯器構造３１０に示すように、複数の発光素子３０１によって構成されている。各発光素子３０１は、撮像装置１０７によって撮像された撮像画像４１０上において、各発光素子３０１が複数の画素（ピクセル）にわたって写る程度（３２０）に互いに間隔を介して配置されている。このように発光装置４０２ｄを構成すると、画像圧縮時の離散コサイン変換などで高周波側のデータの精度が落ちるような処理が行われた場合にも、画像上に発光装置４０２ｄの情報を極力劣化無く残すことができる。
【００４３】
図５は本発明の第２の実施の形態の構成図である。本発明の第２の実施の形態は、本発明に係る制御システムを生産ラインの搬送制御に適用したものである。なお、先の図と同じ部分には同じ符号を付して説明は省略する。
【００４４】
コンベヤ上を搬送される製品を制御する搬送制御等では、制御に際して、製品の画像上の位置から実空間（現場）上の位置を識別する必要があるが、これにはエッジ抽出などの方法を用いることができる。以下、この方法について説明する。なお、ここでは、撮像装置１０７は、フレキシブルなアームによって支持されており、設備機器１１０及び製品を任意の方向から撮像可能であるとする。
【００４５】
検出された画像上の位置（エッジなど）を実空間（現場）上の位置に対応付けるためには、製品が水平面上にあるなどと言った情報の他、画像上の少なくとも３点に関して、実空間上の位置が分かる必要がある。そのため、本実施の形態では、実空間における位置が既知である位置基準点４０３，４０４，４０５を設けた。なお、このような空間上の基準点としては、位置が既知である発光装置４０２を３つ以上設置しても良い。また、設備のエッジ等、現場にある既存の特徴点を用いることもできる。
【００４６】
このような空間上の基準点を画像解析処理で利用できるようにする処理については、画面上の特定の色や輝度などに基づいて自動的に決定する方法と、オペレータ操作で対応付けを行う方法などがある。制御対象の位置を求めるためには、はじめに、３点の位置基準点の画像上の座標と実座標（実空間における座標）から、撮像装置１０７ａの焦点の位置を決定する。
【００４７】
図６は本発明の第２の実施の形態における撮像装置の焦点位置と位置基準点の対応の説明図である。
【００４８】
この図において、Ｐ１，Ｐ２，Ｐ３は、それぞれ位置基準点４０３，４０４，４０５を示す。撮像装置１０７ａの焦点をＯとした時、各点は撮像面６０１上の点Ｉ１，Ｉ２，Ｉ３に写像される。焦点Ｏと、各基準点Ｐ１，Ｐ２，Ｐ３との距離をそれぞれ、Ｒ１，Ｒ２，Ｒ３とし、焦点Ｏから撮像面６０１までの距離をｒとすると、次の（式１）の関係が成り立つ（ただし、関数ｆ（ｌｉ，Ｒｉ，ｒ）は線形である）。ここで、Ｒｉとｒはスカラ量、ＩｉとＰｉはベクトル量（ここでは空間を表すので３次元）である。
【００４９】
Ｐｉ＝ｆ（ｌｉ，Ｒｉ，ｒ）  ｉ＝1, 2, 3    ・・・（式１）
位置基準点Ｐｉの現場空間上での座標値は上記の通り既知であり、これをＡ１，Ａ２，Ａ３（各々３次元）とする。また、これらの撮像面６０１上の位置（２次元）も、撮像装置１０７ａの焦点位置を撮像結果に基づいて計算する時点では既知である。よって、焦点距離ｒも既知であれば、次の（式２）で表される写像Ｍが存在するとき、これらの既知の情報から撮像装置１０７ａの焦点Ｏの位置（３次元空間上での位置と姿勢の６次元のベクトル値）を求めることができる。
【００５０】
Ａｉ＝Ｍ・Ｐｉ              ｉ＝1, 2, 3    ・・・（式２）
ここで、Ｒｉによって比例変換は表現されているので、写像Ｍには、回転変換と、平行移動変換のみが含まれる。したがって、写像Ｍに含まれる未知変数は６個である。また、（式１）に含まれる未知変数はＲ１，Ｒ２，Ｒ３の３つであり、未知変数は全部で９つある。一方、（式１）と（式２）から、Ｉｉ、Ａｉ，ｒの既知変数とＭおよびＲｉの未知変数を含む式を９つ導出できるので、特異な位置関係にある場合を除けば、写像ＭとＲｉを一意に決めることができる。これにより撮像装置１０７ａの焦点Ｏの位置と姿勢を求めることができる。
【００５１】
図７は本発明の第２の実施の形態における制御対象と撮像装置の焦点位置の関係の説明図である。
【００５２】
この図において、エッジＥ７は、画像から検出された制御対象のエッジである。エッジＥ７は、Ｐ７１，Ｐ７２から構成されており、焦点Ｏから延ばした直線上にあるので、例えば「エッジＥは水平で高さＨのベルト上にある」等といった、予め与えられる拘束条件を用いて位置を決定することができる。
【００５３】
Ｐ（Ｐ７１）＝ｆ（Ｉ７１２、Ｒ７１２、ｒ）・・・（式３）
Ａ７１２＝Ｍ・Ｐ（Ｐ７１）                ・・・（式４）
（式１）及び（式２）より、（式３）及び（式４）が成り立つので、下記（式５）が成立する。
【００５４】
Ａ７１２＝Ｍ・ｆ（Ｉ７１２、Ｒ７１２、ｒ）・・・（式５）
ここで、Ｒ７１２をＰ７１と焦点Ｏとの距離（未知数）とすると、Ｐ７１の実座標系での位置Ａ７１２の２成分を含め３変数（Ａ７１２の高さ成分は拘束条件よりＨとなる）となる。一方、式も３本得られるので、特異な関係にある場合を除けば、Ｒ７１２およびＡ７１２の２成分を求めることができる。
【００５５】
このようにして得た製品の位置と、ジョブショップの位置（これは、予め実座標系での位置が分かる場合が多いが、同様の処理で計算により取得することも可）、搬送設備の速度、撮像タイミングから、ジョブショップに制御対象が到達する時刻を予測し、そのタイミングで制御対象に対する処理を起動するよう、ジョブショップの制御シーケンスを登録することができる。
【００５６】
なお、上記では撮像装置１０７を１台使用する場合について説明してきたが、撮像装置１０７が撮像範囲内に発光装置４０２を捉えられる範囲であれば、必要に応じて複数台の撮像装置１０７を使用しても良い。
【００５７】
また、撮像画像に基づく空間上の基準点の抽出から撮像時刻の割り出しまでを制御装置１０１でなく、画像サーバ１０５に実施させるようにシステムを構成しても良い。さらに、制御シーケンスの起動要求の発行までの処理についても、画像サーバ１０５で実行させても良い。
【００５８】
図８は本発明の第３の実施の形態における制御処理を示す図である。本発明の第３の実施の形態は、本発明に係る制御システムを反応プロセスに適用したものである。
【００５９】
食品の製造プロセスや薬剤の混合プロセス等では、製品の急激な性状の変化を伴う場合がある。図８に示すタスクループＳ７０１において、製品の画像解析（Ｓ７１１）と、その解析に基づく製品の性状変化の有無の判定（Ｓ７１２）の結果、製品の性状変化が検出された場合には、その画像が撮像された時刻に基づき次のタスク（例えば、次の原料の投入等）を起動するタイミングが決定される（Ｓ７１３，７１４）。そして、さらに現在の時刻が次のタスクの起動時刻後であることが確認できたら（Ｓ７０３）、そのタスクが実行される（Ｓ７２１）。なお、性状の判定方法としては、例えば、色や周波数成分などの解析を用いることができる。
【００６０】
このように、本実施の形態によれば、画像解析結果を制御と連動させることにより、画像から判定された状態（Ｓ７１２）とその判定がされた時刻に基づいて、少し先の時刻から起動するべきタスクの実行タイミングや、その実行の有無を決定することができる（Ｓ７１４）。すなわち、本実施の形態よれば、制御対象の位置や性状等の変化を止めることができない場合に、画像の撮像時刻を用いて数ミリ秒先の制御シーケンスの実行開始タイミングを決定する制御を実施できる。
【００６１】
図９は本発明の第４の実施の形態における制御処理を示す図である。本発明の第４の実施の形態は、本発明に係る制御システムを搬送プロセスに適用したものである。
【００６２】
ゴミ処理施設やタイヤ製造工場など、人間が介在することなくクレーン等の搬送機器によって搬送対象物（ゴミ、タイヤ等）の自動搬送作業が頻繁に実施される設備では、搬送機器の搬送対象物の掴み損ねが問題となる場合がある。
【００６３】
図９に示すタスクループＳ８０１において、制御装置１０１は、搬送対象物を把持したクレーン（搬送機器）のトルクを検出（又は計算）しており（Ｓ８１１）、そのトルクが所定値に到達するまでクレーンを移動させる（Ｓ８１２，Ｓ８３３）。そして、トルクが所定値に到達した時点でクレーンの動作を一旦ホールドし（Ｓ８３２）、その時刻（検出時刻）を記憶する（Ｓ８３１）。次に、Ｓ８３１で記憶した検出時刻が画像撮像時刻前であり、かつその画像撮像時刻が有効であることを判定し（Ｓ８１３）、これが有効な場合には、その画像解析結果からクレーンの把持状態の適否を判定する（Ｓ８３４）。この判定の結果、把持状態が適切であれば（Ｓ８３５，８３６）、さらにクレーンを移動して（Ｓ８２１）、搬送処理を完了する（Ｓ８２２，８４１）。一方、把持状態が不適切であれば、搬送対象物を掴み直して搬送作業のやり直し（再処理）を実行する（Ｓ８３５，８３７）。
【００６４】
このように、本実施の形態によれば、画像解析結果を制御と連動させることにより、クレーンのホールド状態の解除のタイミングを決定することができる。すなわち、本実施の形態によれば、制御対象の位置や性状等の変化を止めることができる場合に、シーケンスを進めるタイミングを決定する制御を実施できる。
【図面の簡単な説明】
【００６５】
【図１】本発明の第１の実施の形態である制御システムの構成図。
【図２】本発明の第１の実施の形態における制御装置が実行するタスクループを示す図。
【図３】本発明の第１の実施の形態において複数の発光装置を使用したときの発光パターンの例を示す図。
【図４】本発明の第１の実施の形態における他の発光装置の例を示す図。
【図５】本発明の第２の実施の形態である制御システムの構成図。
【図６】本発明の第２の実施の形態における撮像装置の焦点位置と位置基準点の対応の説明図。
【図７】本発明の第２の実施の形態における制御対象と撮像装置の焦点位置の関係の説明図。
【図８】本発明の第３の実施の形態における制御処理を示す図。
【図９】本発明の第４の実施の形態における制御処理を示す図。
【符号の説明】
【００６６】
１０１      制御装置
１０２      設備機器制御装置
１０３      監視装置
１０５      画像サーバ
１０７      撮像装置
１０８      ネットワーク
１１０      設備機器
１１３      機能モジュール
３０１      各発光素子
３１０      灯器構造
４０２      発光装置
４０３      位置基準点
４０４      位置基準点
４０５      位置基準点
４１０      撮像画像
４２０      製品
【図１】
2010044481.tif 000003
【図２】
2010044481.tif 000004
【図３】
2010044481.tif 000005
【図４】
2010044481.tif 000006
【図５】
2010044481.tif 000007
【図６】
2010044481.tif 000008
【図７】
2010044481.tif 000009
【図８】
2010044481.tif 000010
【図９】
2010044481.tif 000011