(57)【要約】  画像センサの画像転送を高速化し、かつ、画像転送の要求性能を容易に満たすことができる画像処理装置を提供する。そこで本発明は、センサと、処理部と、を有し、  前記センサは第１の時刻に認識対象を含む第１の画像を得て、第１の時刻よりも後の第２の時刻に前記認識対象を含む第２の画像を得て、前記第２の時刻より後の第３の時刻に前記認識対象を含む第３の画像を得て、  前記処理部は、前記第３の画像を得る際の前記センサの第１の設定情報を所定の条件を満たすよう前記第１の画像、及び前記第２の画像から決定する。さらに、前記第１の設定情報は、前記第３の画像の寸法、及び前記第３の画像を得る際のフレームレートを含む。
2015177881.tif 000002
【特許請求の範囲】
【請求項１】
センサと、
処理部と、を有し、
前記センサは第１の時刻に認識対象を含む第１の画像を得て、第１の時刻よりも後の第２の時刻に前記認識対象を含む第２の画像を得て、前記第２の時刻より後の第３の時刻に前記認識対象を含む第３の画像を得て、
前記処理部は、前記第３の画像を得る際の前記センサの第１の設定情報を所定の条件を満たすよう前記第１の画像、及び前記第２の画像から決定し、
前記第１の設定情報は、前記第３の画像の寸法、及び前記第３の画像を得る際のフレームレートを含む画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記処理部は前記第３の画像の寸法を前記第３の画像中での前記認識対象の予測寸法値、及び所定の係数を使用して得る画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記第３の画像の寸法は第１の方向における寸法と前記第１の方向と交差する方向における第２の寸法を含み、
前記処理部は、前記フレームレートを前記第２の寸法、及び前記センサの第２の設定情報を使用して得る画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記第２の設定情報は、前記センサの露光時間、前記センサのヘッダ部分の転送時間、前記センサの１ライン当たりに増加する転送時間、前記センサの階調値のビット数、及び前記センサの１ビット当たりの転送時間を含む画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記所定の条件は、前記フレームレートの要求値を含み、
前記フレームレートは前記要求値以下である画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記第１の所定の条件は、前記所定の係数の下限値を含む画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記第１の設定情報は前記第３の画像の位置を規定する情報を含む画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記第１の設定情報は前記第３の画像の階調数を含む画像処理装置。
【請求項９】
請求項１に記載の画像処理装置において、
前記第３の画像の寸法は第１の方向における寸法と前記第１の方向と交差する方向における第２の寸法を含み、
前記処理部は、前記フレームレートを前記第２の寸法、及び前記センサの第２の設定情報を使用して得る画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記第２の設定情報は、前記センサの露光時間、前記センサのヘッダ部分の転送時間、前記センサの１ライン当たりに増加する転送時間、前記センサの階調値のビット数、及び前記センサの１ビット当たりの転送時間を含む画像処理装置。
【請求項１１】
請求項１に記載の画像処理装置において、
前記所定の条件は、前記フレームレートの要求値を含み、
前記フレームレートは前記要求値以下である画像処理装置。
【請求項１２】
請求項１に記載の画像処理装置において、
前記所定の条件は、前記第３の画像を得るための所定の係数の下限値を含む画像処理装置。
【請求項１３】
請求項１に記載の画像処理装置において、
前記第１の設定情報は前記第３の画像の位置を規定する情報を含む画像処理装置。
【請求項１４】
請求項１に記載の画像処理装置において、
前記第１の設定情報は前記第３の画像の階調数を含む画像処理装置。
【請求項１５】
センサと、
前記センサを移動させる移動部と、
処理部と、を有し、
前記センサは第１の時刻に認識対象を含む第１の画像を得て、第１の時刻よりも後の第２の時刻に前記認識対象を含む第２の画像を得て、前記第２の時刻より後の第３の時刻に前記認識対象を含む第３の画像を得て、
前記処理部は、前記第３の画像を得る際の前記センサの第１の設定情報を所定の条件を満たすよう前記第１の画像、及び前記第２の画像から決定し、
前記第１の設定情報は、前記第３の画像の寸法、及び前記第３の画像を得る際のフレームレートを含む位置決めシステム。
【請求項１６】
請求項１５に記載の位置決めシステムにおいて、
前記処理部は前記第３の画像の寸法を前記第３の画像中での前記認識対象の予測寸法値、及び所定の係数を使用して得る位置決めシステム。
【請求項１７】
請求項１６に記載の位置決めシステムにおいて、
前記第３の画像の寸法は第１の方向における寸法と前記第１の方向と交差する方向における第２の寸法を含み、
前記処理部は、前記フレームレートを前記第２の寸法、及び前記センサの第２の設定情報を使用して得る位置決めシステム。
【請求項１８】
請求項１７に記載の位置決めシステムにおいて、
前記第２の設定情報は、前記センサの露光時間、前記センサのヘッダ部分の転送時間、前記センサの１ライン当たりに増加する転送時間、前記センサの階調値のビット数、及び前記センサの１ビット当たりの転送時間を含む位置決めシステム。
【請求項１９】
請求項１８に記載の位置決めシステムにおいて、
前記所定の条件は、前記フレームレートの要求値を含み、
前記フレームレートは前記要求値以下である位置決めシステム。
【請求項２０】
請求項１９に記載の位置決めシステムにおいて、
前記所定の条件は、前記所定の係数の下限値を含む位置決めシステム。
【請求項２１】
請求項２０に記載の位置決めシステムにおいて、
前記第１の設定情報は前記第３の画像の位置を規定する情報を含む位置決めシステム。
【請求項２２】
請求項２１に記載の位置決めシステムにおいて、
前記第１の設定情報は前記第３の画像の階調数を含む位置決めシステム。
【請求項２３】
請求項１５に記載の位置決めシステムにおいて、
前記第３の画像の寸法は第１の方向における寸法と前記第１の方向と交差する方向における第２の寸法を含み、
前記処理部は、前記フレームレートを前記第２の寸法、及び前記センサの第２の設定情報を使用して得る位置決めシステム。
【請求項２４】
請求項２３に記載の位置決めシステムにおいて、
前記第２の設定情報は、前記センサの露光時間、前記センサのヘッダ部分の転送時間、前記センサの１ライン当たりに増加する転送時間、前記センサの階調値のビット数、及び前記センサの１ビット当たりの転送時間を含む位置決めシステム。
【請求項２５】
請求項１５に記載の位置決めシステムにおいて、
前記所定の条件は、前記フレームレートの要求値を含み、
前記フレームレートは前記要求値以下である位置決めシステム。
【請求項２６】
請求項１５に記載の位置決めシステムにおいて、
前記所定の条件は、前記第３の画像を得るための所定の係数の下限値を含む位置決めシステム。
【請求項２７】
請求項１５に記載の位置決めシステムにおいて、
前記第１の設定情報は前記第３の画像の位置を規定する情報を含む位置決めシステム。
【請求項２８】
請求項１５に記載の位置決めシステムにおいて、
前記第１の設定情報は前記第３の画像の階調数を含む位置決めシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像センサを接続し、画像センサから取得される画像を認識処理する画像処理装置、及び位置決めシステムに関する。
【背景技術】
【０００２】
近年、画像処理装置では、画像中に含まれる特定の物体を判別や、画像中に含まれる特定の物体の位置や、サイズなどの物理量を算出するために必要となる画像処理の高速化のため、画像の全体領域のうち、必要な部分領域のみを画像処理する方法が用いられている。【０００３】
例えば、このような従来技術として、特許文献１に記載の技術が開示されている。【０００４】
特許文献１に記載の技術では、複数の画像データから被写体の顔部を検出して、顔部の大きさの変化量、水平/垂直方向への移動量を検出して変化量、移動量の補正量を算出し、補正量に基づいて顔部の器官（口、鼻等）の画像データ上の位置や大きさを補正する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１９８８０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以降の説明は当業者に分かりやすく説明するためのものであり、本発明を限定的に解釈するために意図されたものではない。【０００７】
特許文献１に記載の技術は、画像センサへの画像転送性能の設定を想定しておらず、画像センサからの画像転送を高速化することが困難である。【０００８】
また、特許文献１に記載の技術では、画像の位置とサイズを、認識対象の移動量や、変化量のみで決定するため、画像転送の要求性能を満たすように画像のサイズや、画像の位置を変更することが困難である。【０００９】
本発明は、上述した画像転送の高速化、及び画像転送の要求性能を考慮した画像認識の少なくとも１つに配慮したものである。
【課題を解決するための手段】
【００１０】
本発明は、例えば以下の側面のうち少なくとも１つを有する。  
（１）本発明は、要求性能を考慮して取得する画像の取得条件（例えば、寸法、及びフレームレートの少なくとも１つ）を得る。
（２）本発明は、得られた画像から認識対象の軌道を予測し、予測の結果と要求性能を考慮して画像の取得条件を得る。
（３）本発明は、画像センサから転送される画像の位置、サイズ、階調数を画像センサ自体に設定を行うことで変更し、画像転送を高速化する。
（４）本発明は、画像転送の要求性能を満たすように、画像センサから転送される画像の位置、サイズ、階調数を容易に変更可能な画像処理装置を提供する。
【発明の効果】
【００１１】
本発明は以下の効果の少なくとも１つを奏する。（１）画像センサからの転送画像の位置、サイズ、階調数を変更し、画像センサからの転送データ量を削減できるため、画像転送の高速化が実現できる。（２）画像転送の要求性能を満たしつつ、自動的に画像センサへの設定が可能となるため、容易に、かつ、柔軟に画像転送の速度を制御できる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る画像処理装置の位置決め装置への適用例を示す図。
【図２】本実施形態に係る画像処理装置の構成図。
【図３】本実施形態に係る画像処理装置の処理動作を示すフローチャート。
【図４】本実施形態に係る画像処理装置に連続転送される最大サイズの画像を示す図。
【図５】本実施形態に係る画像処理装置の認識処理を示す図。
【図６】本実施形態に係る画像処理装置に連続転送される画像の一例を示す図。
【図７】本実施形態に係る画像処理装置の設定画面を示す図。
【図８】本実施形態に係る部品実装装置の第２の実施例を示す図。
【図９】数１〜数４を説明する図。
【図１０】数５〜数１０を説明する図。
【発明を実施するための形態】
【００１３】
次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。なお、以下の実施形態では、画像センサが搭載された可動部を駆動させ、認識対象に位置決めする位置決め装置への適用例として説明する。
【００１４】
ここで、各実施形態（各図面）において、Ｘ軸およびＹ軸のそれぞれの方向は、水平方向と平行な方向であり、Ｘ軸およびＹ軸は、水平方向に沿った平面上の直交座標系を形成するものである。また、ＸＹ軸系という場合は、水平方向に平行な平面におけるＸ軸系とＹ軸系とを表している。なお、Ｘ軸とＹ軸の関係は、お互いが入れ替わってもよい。また、各実施形態（各図面）において、Ｚ軸の方向は、垂直方向であり、Ｚ軸系という場合は、垂直方向に平行な平面におけるＸ軸系を表している。
【実施形態１】
【００１５】
図１は、本実施形態に係る画像処理装置１００の位置決め装置１１０への適用例を示す図である。なお、図１の（ａ）は、位置決め装置１１０の上面図であり、図１の（ｂ）は、図１（ａ）に示すＡ−Ａ線に沿って切断した構造を示す断面図である。
【００１６】
画像認識装置１００は、画像センサ１０１と、表示入力装置１０２と接続されている。さらに、
位置決め装置１１０は、画像センサ１０１、位置決めヘッド１１１、ビーム１１２、架台１１３、及びベース１１４を含む。
【００１７】
ベース１１４は認識対象を搭載するものである。位置決めヘッド１１１は画像センサ１０１を搭載し、X軸方向に移動する。ビーム１１２は位置決めヘッド１１１を搭載し、Y軸方向に移動する。架台１１３はビーム１１２を支持するものである。
【００１８】
位置決め装置１１０は、位置決めヘッド１１１をＸＹ方向に駆動させ、認識対象１２０に位置決め動作を行う。
【００１９】
このため、画像センサ１０１で撮像される認識対象１２０は、撮像時刻の異なる連続した複数の画像において、位置決めヘッド１１１の位置決め動作の駆動方向に対し、反対となる方向に移動する。
【００２０】
また、画像センサ１０１で撮像される認識対象１２０は、撮像時刻の異なる連続した複数の画像において、位置決めヘッド１１１の駆動速度と同等の速度で移動する。
【００２１】
図２は、本実施形態に係る画像処理装置１００の構成図である。
【００２２】
画像処理装置１００は、画像取得部２００、画像認識部２０１、画像センサ設定部２０３、画像センサ設定情報演算部２０２、演算方法指定部２０４、入出力制御部２０５を含む。
【００２３】
画像取得部２００は、画像センサ１０１で撮影され、画像センサ１０１より転送される画像を取得する。
【００２４】
画像認識部２０１は、画像取得部２００と接続されおり、画像取得部２００で取得される撮像時刻の異なる連続した複数の画像から、あらかじめ指定された演算方法で認識対象１２０を認識処理するものである。
【００２５】
画像センサセンサ設定情報演算部２０２は、画像認識部２０１と接続されており、画像認識部２０１の認識結果、及びあらかじめ指定された演算方法に基づき、あらかじめ指定されたフレームレートの要求性能を満たすように、画像センサ１０１への設定情報を算出するものである。
【００２６】
画像センサ設定部２０３は、画像センサ設定情報演算部２０２で算出された設定情報を、画像センサ１０１に転送し、設定を行うものである。
【００２７】
演算方法指定部２０４は、画像センサ設定情報演算部２０２にフレームレートの要求性能などの設定情報や、演算方法を指定するものである。
【００２８】
入出力制御部２０５は、画像認識部２０１と、演算方法指定部２０４への演算方法や、演算処理の実行指令の入力と、画像認識部２０１と、演算方法指定部２０４に設定された演算方法や、演算結果を出力するものである。
【００２９】
次に、画像処理装置１００の処理動作について図３、図４、図５を用いて説明する。図３は、本実施形態に係る画像処理装置１００の処理動作を示すフローチャートである。
【００３０】
画像処理装置１００は、まず、入出力制御部２０５に接続される表示入力装置１０２を介して、演算方法指定部２０４に演算方法を指定する（Ｓ３００）。このとき、演算方法指定部２０４に指定する演算方法は、以下の（１）〜（７）を含む。（１）画像センサ１０１から転送される画像のフレームレートの要求値（２）画像センサ１０１から転送される画像のＸ軸方向の余剰サイズ比率の下限値（３）画像センサ１０１から転送される画像のＹ軸方向の余剰サイズ比率の下限値（４）画像センサ１０１から転送される画像の中心位置の変更有無（５）画像センサ１０１から転送される画像の階調の変更有無からなる演算条件情報を複数個（６）各演算条件情報の初期値（７）各演算条件情報の適用条件からなる演算適用条件情報。  
次に、Ｓ３０１では、画像処理装置１００は、画像処理を開始するか否か判断する。例えば、入出力制御部２０５に接続される表示入力装置１０２を介して、演算方法指定部２０４に画像処理の開始が指令された場合、画像処理装置１００は画像処理を開始する。（Ｓ３０１→Ｙｅｓ）。Ｓ３０１の処理でＮｏの場合、画像処理装置１００は、画像処理の開始指令を待つ。
【００３１】
画像処理の開始が決定されると演算方法指定部２０４に設定された演算適用条件情報に基づき、画像センサ１０１には所定の初期値が設定される（S３０２）。
【００３２】
次に、画像センサ１０１から転送される画像を画像取得部２００で取得する（Ｓ３０３）。
【００３３】
ここで、Ｓ３０３で画像センサ１０１から画像処理装置１００に転送される画像の例を図４を用いて説明する。
【００３４】
図４は、本実施形態に係る画像処理装置１００に連続転送される最大サイズの画像を示す図である。なお、画像センサ１０１から転送される画像の座標系は、図１で示した座標系と同じものとする。
【００３５】
画像センサ１０１から転送される最大サイズの画像である全領域画像４００−１〜４００−４は、認識対象１２０を撮像し、固有のフレームレート Fmax [fps] で画像処理装置１００に転送される。
【００３６】
このため、全領域画像４００−１の撮像時刻を t0 [s] とし、全領域画像４００−１〜４００−４のそれぞれの撮像間の時間を Tcmax [s]（＝ 1 ／ Fmax）とすると、全領域画像４００−２の撮像時刻は、t0 ＋ Tcmax [s]、全領域画像４００−３の撮像時刻は、t0 ＋ 2 × Tcmax [s]、全領域画像４００−４の撮像時刻は、t0 ＋ 3 × Tcmax [s]、と表すことができる。
【００３７】
このとき、全領域画像４００−１〜４００−４に撮像される認識対象１２０は、位置決めヘッド１１１の位置決め動作の駆動方向に対して、反対となる方向に移動する。
【００３８】
このため、全領域画像４００−１〜４００−４に示すとおり、認識対象１２０は、撮像時刻の経過とともに、全領域画像４００−１の画像左下から、全領域画像４００−４の中心へと移動し、停止する。
【００３９】
ここから、画像処理装置１００の処理動作を、図３に示すフローチャートに戻って、Ｓ３０３からの処理について説明する。
【００４０】
Ｓ３０３の処理の後、画像処理装置１００は、画像取得部２００で取得された画像を画像認識部２０１に転送し、画像認識部２０１にて、画像の認識処理を実行する（Ｓ３０４）。
【００４１】
ここで、Ｓ３０４の行う認識処理の内容を図５（ａ）を用いて説明する。なお、ここでは、画像センサ１０１から転送される画像のフレームレートを f [fps]、画像センサ１０１から転送される連続画像の撮像間の時間を tc [s]（＝ 1 ／ f）とし、ある時刻 t [s] の撮像画像とその１つ前の撮像時刻 t − tc [s] の撮像画像とを重ね合せた画像を重畳画像５００とする。なお、時刻 t − tc [s] の撮像画像は第１の画像、時刻 t [s] の撮像画像は第２の画像、時刻 t [s] より後の時刻に得られた撮像画像は第３の画像と表現することができる。
【００４２】
なお、図５の重畳画像５００では、説明の簡便にするため、時刻 t − tc の撮像画像で認識される物体や数値の符号の末尾に−１を付与（例：認識対象１２０−１）し、時刻 t の撮像画像で認識された物体や数値の符号の末尾に−２を付与（例：認識対象１２０−２）する。
【００４３】
画像認識部２０１は、画像センサ１０１から画像が転送されると、認識対象１２０−１、１２０−２の有無を認識する。そして、画像内に認識対象１２０−１、１２０−２が存在する場合、以下の（１）〜（３）を認識する。（１）画像内の認識対象１２０−１、１２０−２の中心の位置である中心座標５１０−１、５１０−２、（２）認識対象１２０−１、１２０−２のＸ軸方向のサイズであるＸ軸サイズ５１１−１、５１１−２、（３）認識対象１２０−１、１２０−２のＹ軸方向のサイズであるＹ軸サイズ５１２−１、５１２−２。
【００４４】
ここで、認識対象１２０−１、１２０−２の有無と、中心座標５１０−１、５１１−２は、パターンマッチングなどの一般的な画像処理方法で認識を行う。
【００４５】
また、画像認識部２０１は、重畳画像５００の認識対象１２０−１、１２０−２の輝度値、及び重畳画像５００の認識対象１２０−１、１２０−２以外の部分である背景画像の輝度値から、認識処理に最低限必要となる画像センサ１０１の撮像画像における輝度の階調数である最小階調数 gmin を算出する。
【００４６】
次に、画像認識部２０１は上述の処理で得られた中心座標５１０−１、５１０−２、Ｘ軸サイズ５１１−１、５１１−２、Ｙ軸サイズ５１２−１、５１２−２、及び最小階調数 gmin を画像センサ設定情報演算部２０２に転送し、その処理を終了する。
【００４７】
ここから、画像処理装置１００の処理動作を、図３に示すフローチャートに戻って、Ｓ３０５からの処理について説明する。
【００４８】
画像処理装置１００は、画像認識部２０１の画像認識の結果、認識対象１２０を検出できた場合（Ｓ３０５→Ｙｅｓ）、Ｓ３００で演算方法指定部に指定された演算適用条件情報に合致する１つの演算条件情報と、Ｓ３０４で算出された画像認識の結果に基づいて、画像センサ設定情報演算部２０２の処理により画像センサ１０１への設定値を算出する（Ｓ３０６）。Ｓ３０５の処理でＮｏの場合、画像処理装置１００は、画像センサ１０１の設定値を変更せずに、画像センサ１０１から転送される次の時刻の画像を画像取得部２００で取得し（Ｓ３０３）、処理を繰り返す。
【００４９】
ここで、画像センサ設定情報演算部２０２の処理内容について図５（ｂ）を用いて説明する。  
画像センサ設定情報演算部２０２は、画像認識部２０１から転送される中心座標５１０−１、５１０−２に基づき、認識対象１２０−１から、認識対象１２０−２までのＸ軸方向の移動量であるＸ軸移動量５２０と、認識対象１２０−１から、認識対象１２０−２までのＹ軸方向の移動量であるＹ軸移動量５２１を算出する。
【００５０】
ここで、中心座標５１０−１を（x0, y0）、中心座標５１０−２を（x, y）とし、Ｘ軸移動量５２０を Δx（＝ x − x0）、Ｙ軸移動量５２１を Δy（＝ y − y0） とする。
【００５１】
このとき、認識対象１２０−１から認識対象１２０−２までのＸ軸方向の速度 vx [pixel/s] と、認識対象１２０−１から認識対象１２０−２までのＹ軸方向の速度 vy [pixel/s] は、数１を用いて求められる。
【００５２】
なお、認識対象１２０のＸ軸方向の速度、およびＹ軸方向の速度は、オプティカルフローなどの他の一般的な画像処理方法で求めてもよい。
【００５３】
さらに、Ｘ軸サイズ５１１−１を lx0、Ｘ軸サイズ５１１−２を lx 、Ｙ軸サイズ５１２−１を ly0、Ｙ軸サイズ５１２−２を ly とし、Ｘ軸方向の認識対象のサイズの変化量を Δlx（＝ lx − lx0）、Ｙ軸方向の認識対象のサイズの変化量をΔly（＝ ly − ly0）、とする。
【００５４】
また、認識対象１２０−１から認識対象１２０−２までのＺ軸方向の速度のうち、Ｘ軸方向に作用するものをＸ軸サイズ変化度 vzx [pixel/s] とし、Ｙ軸方向に作用するものをＹ軸サイズ変化度 vzy [pixel/s]とする。
【００５５】
このとき、画像センサ設定情報演算部２０２は、Ｘ軸サイズ変化度 vzx と、Ｙ軸サイズ変化度 vz を、数２を用いて算出する。
【００５６】
なお、Ｘ軸サイズ変化度と、Ｙ軸サイズ変化度は、ステレオビジョンなどの他の一般的な画像処理方法で求めてもよい。
【００５７】
次に、画像センサ設定情報演算部２０２は、認識対象１２０−１、１２０−２を用いて算出された以下の（１）〜（）から画像センサ１０１の撮像時刻 t の、次の時刻の撮像における認識対象１２０−３の予測される認識結果を算出する。（１）Ｘ軸方向の速度 vx 、（２）Ｙ軸方向の速度 vy 、（３）Ｘ軸サイズ変化度 vzx 、（４）Ｙ軸サイズ変化度 vzy 。
【００５８】
ここで、画像センサ１０１の時刻 t での撮像に対する、次の時刻の撮像画像が転送される際のフレームレートを f’[fps]、画像センサ１０１の時刻 t での撮像から、次の時刻の撮像までの時間を tc’[s]（＝ 1 ／ f’）とし、撮像時刻 t ＋ tc’で撮像される認識対象１２０−３の予測位置を図５（ｂ）に破線にて示す。
【００５９】
なお、図５（ｂ）では、時刻 t ＋ tc’の画像において予測される認識結果の符合の末尾に−３を付与（例：認識対象１２０−３）する。
【００６０】
まず、画像センサ設定情報演算部２０２は、時刻 t ＋ tc’の撮像画像の認識結果の予測値として、以下の（１）〜（３）を算出する。（１）認識対象１２０−３の重畳画像５００の座標系における中心座標５１０−３、（２）認識対象１２０−３のＸ軸サイズ５１１−３、（３）認識対象１２０−３のＹ軸サイズ５１２−３。
【００６１】
このとき、画像センサ設定情報演算部２０２は、認識対象１２０−３の予測される中心座標５１０−３を（x’, y’）とすると、数３を用いて、中心座標５１０−３を算出する。
【００６２】
次に、画像センサ設定情報演算部２０２は、認識対象１２０−３の予測されるＸ軸サイズ５１１−３を lx’、認識対象１２０−３の予測されるＹ軸サイズ５１２−３を ly’とすると、数４を用いて、Ｘ軸サイズ５１１−３と、Ｙ軸サイズ５１２−３をそれぞれ算出する。
【００６３】
次に、画像センサ設定情報演算部２０２は、自身で算出した、中心座標５１０−３、Ｘ軸サイズ５１１−３、及びＹ軸サイズ５１２−３に基づいて、以下の（a）〜（c）によって構成される演算条件情報（所定の条件や要求値と表現することができる）を満たす画像センサ設定情報（（１）〜（５）、第１の設定情報と表現することができる）を得る。（a）フレームレートの要求値 fr [fps]、（b）Ｘ軸サイズ５１１−３に対するＸ軸方向の余剰サイズ比率の下限値 αr [%]、（c）Ｙ軸サイズ５１２−３に対するＹ軸方向の余剰サイズ比率の下限値 βr [%] 、（１）画像センサ１０１から転送される画像のＸ軸方向の転送サイズであるＸ軸転送サイズ５３１、（２）画像センサ１０１から転送される画像のＹ軸方向の転送サイズであるＹ軸転送サイズ５３２、（３）画像センサ１０１から転送される画像の転送する位置を、最大サイズの画像における位置座標にて指定するための座標情報である転送座標５３３、（４）画像センサ１０１から転送される画像の階調数である転送階調数 g、（５）フレームレート f’。なお、Ｘ軸転送サイズ５３１、及びＹ軸転送サイズ５３２は第３の画像の寸法と表現することができる。また、転送座標５３３は第３の画像の位置を規定する情報の一例と表現することもできる。
【００６４】
ここで、Ｘ軸転送サイズ５３１を lpx’、Ｙ軸転送サイズ５３２を lpy’とし、Ｘ軸サイズ５１１−３に対するＸ軸方向の余剰サイズ比率をＸ軸余剰サイズ比率 α [%]、Ｙ軸サイズ５１２−３に対するＹ軸方向の余剰サイズ比率をＹ軸余剰サイズ比率 β [%] とする。 lpx’は第１の方向における寸法と、 lpy’は前記第１の方向と交差する方向における第２の寸法と表現できる。α、βは所定の係数と表現することができる。
【００６５】
まず、画像センサ設定情報演算部２０２は、数５を用いて、Ｘ軸転送サイズ５３１とＹ軸転送サイズ５３２とをそれぞれ算出する。ここで、Ｘ軸余剰サイズ比率 α と、Ｙ軸余剰サイズ比率 β は、数６を満たす値とする。
【００６６】
ここで、画像センサ１０１から転送される画像に設定できる座標の最小値を（xmin, ymin）、画像センサ１０１から転送される画像に設定できる座標の最大値を（xmax, ymax）とし、転送座標５３３を（xp, yp）とする。
【００６７】
画像センサ設定情報演算部２０２は、数７を用いて、転送座標５３３を算出する。  ここで、数７の数式内の変数 a 、b は、それぞれ、(lx’/ 2) ≦ a ≦ lpx’- (lx’/ 2)、(ly’/ 2) ≦ b ≦ lpy’- (ly’/ 2)、を満たす任意の一意の数とする。
【００６８】
図５（ｂ）では、a  = (lpy’/ 2)、b = (lpy’/ 2)とした場合の例を示している。  ここで、さらに、算出されたＸ軸転送サイズ５３１とＹ軸転送サイズ５３２の場合における画像転送サイズ５３０を s’[pixel]（＝ lpx’× lpy’）、画像センサ１０１の露光時間を Te [s]、画像センサ１０１の画像転送におけるヘッダ部分の転送時間を Th [s]、画像センサ１０１の１ラインの転送あたりに増加する転送時間を Tl [s]、画像センサ１０１の画素値の１ビットあたりの転送時間を Td [bps]、画像センサ１０１に設定される階調値のビット数を d [bit]（＝ceil(log2g)）(ceilは天井関数)とする。これらTe、Th、Tl、d、Tdは第２の設定情報と表現することができる。
【００６９】
画像センサ設定情報演算部２０２は、数８を用いて、このときのフレームレート f’を算出する。ここで、転送階調数 g は、数９を満たす値とする。
【００７０】
また、画像センサ設定情報演算部２０２は、数３〜数９に示した数式を計算し、数１０を満たすことで、演算条件情報を満足しながら、画像センサ設定情報を算出できる。
【００７１】
このとき、画像センサ設定情報演算部２０２は、数９に示す条件を満たすように、Ｘ軸余剰サイズ比率 α や、Ｙ軸余剰サイズ比率 β 、転送階調数 ｇ の値を調整しながら、画像センサ設定情報を算出する計算手順が必要となる。
【００７２】
このような、画像センサ設定情報演算部２０２の計算手順の一例として、各パラメータの初期値を、tc’＝ 1 ／ fr、α ＝ αr、β ＝ βr、g ＝ gmin、として ｆ’を算出し、数８の条件を満たすようであれば、f’＝ fr に近づくように α、β、ｇ を増加させていく方法などが考えられる。
【００７３】
なお、このような画像センサ設定情報演算部２０２の計算手順は、一般的な最適化計算の手法を適用してもよい。
【００７４】
最後に、画像センサ設定情報演算部２０２は、算出された画像センサ設定情報を画像センサ設定部２０３に転送し、Ｓ３０６の処理を完了する。
【００７５】
ここから、画像処理装置１００の処理動作を、図３に示すフローチャートに戻って、Ｓ３０７からの処理について説明する。
【００７６】
Ｓ３０６の処理の後、画像認識装置１００の画像センサ設定部２０３は、画像センサ設定情報演算部２０２より転送された画像センサ設定情報を画像センサ１０１に設定する（Ｓ３０７）。
【００７７】
次に、画像処理装置１００は、入出力制御部２０５に接続される表示入力装置１０２を介して、演算方法指定部２０４に画像処理の終了が指令された場合（Ｓ３０８→Ｙｅｓ）、処理を終了する。Ｓ３０８の処理でＮｏの場合、画像センサ１０１から転送される次の時刻の画像を画像取得部２００で取得し（Ｓ３０３）、処理を繰り返す。
【００７８】
図６は、本実施形態に係る画像処理装置１００に連続転送される画像の一例を示す図である。
【００７９】
第一の部分取得画像６００−１〜６００−７は、画像センサ１０１から全領域画像４００−１〜４００−４の部分領域のみを転送した画像であり、フレームレートは、図６の例では、全領域画像４００−１〜４００−４の約３倍である。
【００８０】
第二の部分取得画像６１０−１〜６１０−７は、全領域画像４００−１〜４００−４の部分領域のみを画像センサ１０１から転送した画像であり、フレームレートは、図６の例では、全領域画像４００−１〜４００−４の約６倍であり、第一の部分取得画像６００−１〜６００−７の約３倍である。
【００８１】
そのため、第二の部分取得画像６１０−１〜６１０−７は、第一の部分取得画像６００−１〜６００−７に比べて転送画像のサイズが小さい。
【００８２】
本実施例のような位置決め装置１１０に適用される画像処理装置１００では、図６に示すとおり、画像センサ１０１が搭載された位置決めヘッド１１１と認識対象１２０との距離が遠いときには、認識対象１２０を広域で探すために全領域画像４００−１の適用が望ましい。また、位置決めヘッド１１１と認識対象１２０との距離が近づき、位置決めヘッド１１１が減速するにつれて、位置決めヘッド１１１の振動的な誤差を認識するためには、画像センサ１０１の設定を切り替え、画像センサ１０１からの転送画像を、第一の部分取得画像６００−１〜６００−７や、第二の部分取得画像６１０−１〜６１０−７に変更することで、フレームレートを向上することが望ましい。
【００８３】
具体的な例として、本実施例の位置決め装置１１０が、短辺のサイズが数百μｍの電子部品をプリント配線板に実装する部品実装装置である場合、全領域画像４００−１〜４００−４の画像サイズは、Ｘ軸方向、Ｙ軸方向ともに約１０〜２０ｍｍ程度とし、そのときのフレームレートは、約１００〜２００ｆｐｓ程度とし、第一の部分取得画像６００−１〜６００−７の画像サイズは、Ｘ軸方向、Ｙ軸方向ともに約３〜６ｍｍ程度とし、そのときのフレームレートは、約３００〜６００ｆｐｓ程度とし、第二の部分取得画像６１０−１〜６１０−７の画像サイズは、約１〜３ｍｍ程度とし、そのときのフレームレートは、約１０００ｆｐｓ程度とすることが望ましい。
【００８４】
図７は、本実施形態に係る画像処理装置１００の設定画面７００を示す図である。
【００８５】
設定画面７００は、パラメータ設定部７０１と、パラメータ適用条件設定部７０２と、画像処理結果表示部７０３と、処理内容表示部７０４から構成される。
【００８６】
パラメータ設定部７０１は、演算条件情報を設定するための入力インタフェースである。
【００８７】
パラメータ設定条件設定部７０２は、複数の演算条件情報に対して演算適用条件情報を設定するための入力インタフェースである。
【００８８】
画像処理結果表示部７０３は、パラメータ設定部７０１で設定された演算条件情報と、パラメータ適用条件設定部７０２で設定された演算適用条件情報に基づいて、画像処理装置１００の画像認識部２０１と、画像センサ設定情報演算部２０２の処理の結果を示すための出力インタフェースである。
【００８９】
また、画像処理結果表示部７０３は、具体的には、画像センサ１０１から取得される最新の画像の表示や、認識対象１２０の認識値の表示や、画像センサ１０１から転送された画像の時刻歴の表示などを行う。
【００９０】
処理内容表示部７０４は、画像処理装置１００の内部処理の進行等を示すための出力インタフェースである。
【００９１】
画像処理装置１００の使用者は、まず、パラメータ設定部７０１で演算条件情報の設定と、パラメータ適用条件設定部７０２で演算適用条件情報の設定を実施し、次に、画像処理結果表示部７０３と処理内容表示部７０４とを参照することによって、所望の認識処理の実行可否を確認し、確認した内容に基づいて、演算条件情報と、演算適用条件情報の調整を行う。
【実施形態２】
【００９２】
図８は、本実施形態に係る画像処理装置１００の第２の実施例を示す図である。
【００９３】
サーボ制御装置８００は、アクチュエータ制御部８０１と、動作情報転送部８０２から構成される。サーボ制御装置８００はアクチュエータ８１０とアクチュエータ８１０の位置や、速度、加速度等をフィードバックするためのセンサ８２０とを接続する。アクチュエータ制御部８０１は、センサ８２０のフィードバック情報に基づいてアクチュエータ８１０の制御を実行する。
【００９４】
また、アクチュエータ制御部８０１は、センサ８２０のフィードバック情報により、アクチュエータ８１０を用いた可動部の現在の位置や、速度などを取得する。
【００９５】
さらに、アクチュエータ制御部８０１は、アクチュエータ８１０を駆動させるための位置や、速度の指令波形や、軌道の生成に基づいて、画像センサ１０１の次の撮像時刻に予測されるアクチュエータ８１０を用いた可動部の位置や、速度などを算出する。
【００９６】
アクチュエータ制御部８０１は、算出したアクチュエータ８１０を用いた可動部の現在の位置や、速度の情報、画像センサ１０１の次の撮像時刻に予測されるアクチュエータ８１０を用いた可動部の位置、速度の情報を動作情報転送部８０２に転送する。
【００９７】
また、動作情報転送部８０２は、画像処理装置１００の画像センサ設定情報演算部２０２と接続される。
【００９８】
ここで、本実施形態の画像処理装置１００の画像センサ設定情報演算部２０２は、以下の（１）〜（）のうち少なくとも１つを、サーボ制御装置８００の動作情報転送部８０２から取得することで処理を実行する。（１）現在の撮像画像の認識対象１２０−２のＸ軸方向の速度、（２）Ｙ軸方向の速度、（３）Ｘ軸サイズ変化度、（４）Ｙ軸サイズ変化度、（５）次の時刻の撮像画像で予測される中心座標５１０−３、（６）Ｘ軸サイズ５１１−３、（７）Ｙ軸サイズ５１１−３。
【００９９】
このとき、画像センサ設定情報演算部２０２は、自身の処理に必要となる全ての情報のうち、動作情報転送部８０２から取得しない情報に関しては、実施形態１と同様に画像認識部２０１から取得する。
【０１００】
このような画像処理装置１００の構成にすることによって、画像認識部２０１と、画像センサ設定情報演算部２０２の演算負荷を軽減でき、より高速な画像処理が可能となる。
【０１０１】
また、本実施形態の画像処理装置１００を位置決め装置１１０に適用し、位置決め装置１１０の可動部である位置決めヘッド１１１と、ビーム１１２の制御に、アクチュエータ８１０と、センサ８２０を適用し、さらに、これらのアクチュエータ８１０と、センサ８２０の制御にサーボ制御装置８００を適用すると、画像処理装置１００の認識処理で算出される位置や、速度に比べ、より高精度な位置や、速度を得ることができる。
【０１０２】
本実施形態２の部品実装装置によって得られるその他の効果については、実施形態１のものと同様であるため、その重複説明は省略する。
【０１０３】
以上、本発明の実施例について説明したが、本発明は実施例に限定されない。本実施例に開示される内容は自動車、鉄道にも適用可能である。すなわち、位置決めシステムとは、部品実装装置、自動車、鉄道、そのほかのシステムを含みえる広義の表現である。
【符号の説明】
【０１０４】
１００・・・画像処理装置
１０１・・・画像センサ
１０２・・・表示入力装置
１１０・・・位置決め装置
１１１・・・位置決めヘッド
１１２・・・ビーム
１１３・・・架台
１１４・・・ベース
１２０、１２０−１、１２０−２、１２０−３・・・認識対象
２００・・・画像取得部
２０１・・・画像認識部
２０２・・・画像センサ設定情報演算部
２０３・・・画像センサ設定部
２０４・・・演算方法指定部
２０５・・・入出力制御部
４００、４００−１〜４００−４・・・全領域画像
５００・・・重畳画像
５１０−１、５１０−２、５１０−３・・・中心座標
５１１−１、５１１−２、５１１−３・・・Ｘ軸サイズ
５１２−１、５１２−２、５１２−３・・・Ｙ軸サイズ
５２０・・・Ｘ軸移動量
５２１・・・Ｙ軸移動量
５３０・・・画像転送サイズ
５３１・・・Ｘ軸転送サイズ
５３２・・・Ｙ軸転送サイズ
５３３・・・転送座標
６００−１〜６００−７・・・第一の部分取得画像
６１０−１〜６１０−７・・・第二の部分取得画像
７００・・・設定画面  
７０１・・・パラメータ設定部
７０２・・・パラメータ適用条件設定部
７０３・・・画像処理結果表示部
７０４・・・処理内容表示部
８００・・・サーボ制御装置
８０１・・・アクチュエータ制御部  
８０２・・・動作情報転送部
８１０・・・アクチュエータ
８２０・・・センサ
【図１】
2015177881.tif 000003
【図２】
2015177881.tif 000004
【図３】
2015177881.tif 000005
【図４】
2015177881.tif 000006
【図５】
2015177881.tif 000007
【図６】
2015177881.tif 000008
【図７】
2015177881.tif 000009
【図８】
2015177881.tif 000010
【図９】
2015177881.tif 000011
【図１０】
2015177881.tif 000012
【国際調査報告】
2015177881.tif 000013
2015177881.tif 000014
2015177881.tif 000015