(57)【要約】  【課題】  設置環境に依存することなく、低コストで検出精度の向上を実現できる検出システム及び該検出システムで利用される標識体の提供。  【解決手段】  マーカＭ１に付したパターンが持つ識別コードに対応させて、部品箱７１に収納する電子部品の種類及びマーカＭ１に対する電子部品の相対位置を予め規定しておき、部品箱７１に電子部品７１ａ〜７１ｆを収納する際、前記規定に従って収納する。マーカＭ１を検出する際、情報処理装置は、部品箱７１上方から撮像された撮像画像を取り込み、取り込んだ撮像画像に基づいてマーカＭ１上のパターンの解析を行い、識別コードを取得する。そして、取得した識別コードから収納されている種類及び位置の情報を取得する。【選択図】      図３
2005337870.tif 000002
【特許請求の範囲】
【請求項１】
１又は複数の被検出体の近傍に配置すべき標識体と、前記被検出体を前記標識体と共に撮像して得られた画像を取込み、取込んだ画像内の前記標識体の像に基づいて前記被検出体の位置又は種類を検出する検出装置とを備える検出システムにおいて、
前記標識体の一部又は全部が拡散反射部材により形成されていることを特徴とする検出システム。
【請求項２】
異なるパターンを付した複数の標識体を備え、前記被検出体の位置又は種類を検出する際、前記標識体のうち、一の標識体を前記被検出体の近傍に配置すべくなしてあることを特徴とする請求項１に記載の検出システム。
【請求項３】
前記検出装置は、複数のパターンを識別する識別情報、及び該識別情報の夫々に対応させており、検出すべき各被検出体と標識体との相対位置を規定した情報を記憶する記憶手段と、取込んだ画像に含まれるパターンの像に基づいて該パターンを識別する識別情報を取得する識別情報取得手段とを備え、取得した識別情報と前記記憶手段に記憶された識別情報とに基づき、各被検出体の位置を検出すべくなしてあることを特徴とする請求項２に記載の検出システム。
【請求項４】
前記検出装置は、検出すべき被検出体に関する情報を前記識別情報の夫々に対応させて記憶する手段と、前記識別情報取得手段が取得した識別情報に基づいて各被検出体の位置を検出した際に、前記被検出体に関する情報を取得する手段とを備えることを特徴とする請求項３に記載の検出システム。
【請求項５】
前記パターンは、複数の図形を含み、各図形に少なくとも２色のうちの何れかを付してあることを特徴とする請求項２乃至請求項４の何れか１つに記載の検出システム。
【請求項６】
前記拡散反射部材の光学的特性が、任意の入射角を有する入射光に対して正反射率と拡散反射率とが略同一であることを特徴とする請求項１乃至請求項５の何れか１つに記載の検出システム。
【請求項７】
前記正反射率及び前記拡散反射率が２０％以下であることを特徴とする請求項６に記載の検出システム。
【請求項８】
前記標識体は円形であることを特徴とする請求項１乃至請求項７の何れか１つに記載の検出システム。
【請求項９】
前記標識体はフェルトにより形成されていることを特徴とする請求項１乃至請求項８の何れか１つに記載の検出システム。
【請求項１０】
被検出体の位置又は種類を検出装置にて検出する際に前記被検出体の近傍に配置する標識体において、
一部又は全部が拡散反射部材により形成されていることを特徴とする標識体。
【請求項１１】
前記拡散反射部材が、任意の入射角を有する入射光に対して正反射率と拡散反射率とが略同一となる光学的特性を有することを特徴とする請求項１０に記載の標識体。
【請求項１２】
前記正反射率及び前記拡散反射率が２０％以下であることを特徴とする請求項１１に記載の標識体。
【請求項１３】
フェルトにより形成されていることを特徴とする請求項１０乃至請求項１２の何れか１つに記載の標識体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、環境に依存することなく、低コストで検出精度の向上を実現できる検出システム及び該検出システムで利用される標識体に関する。
【背景技術】
【０００２】
従来、画像処理により被検出体の位置、形状、種類等を検出する際、検出を容易にするために、その大きさやパターンが既知の標識体を被検出体に貼り付け、当該標識体の位置、種類等を認識することにより、被検出体の位置、形状、種類等を検出するシステムが提案されている（例えば、特許文献１）。
【０００３】
このようなシステムで用いられる標識体は、容易に作成が可能であることから、紙にパターンを印刷して作成した標識体、プラスチック又はビニル樹脂等により作成した標識体等が利用されることが一般的である。
【０００４】
また、標識体自体に識別性を持たせるために、標識体に付すべきパターンとして図１３の模式図に示したようなパターンが提案されている。図１３（ａ）に示したパターンでは、画像処理によりパターンの形状と位置とを認識し、パターン内部の５×５個のセルのビット値を決定してゆくことによって、パターンに付随した２5 ビットの識別コードを取得する。図１３（ｂ）に示したパターンも同様であり、画像処理によりパターンの形状と位置とを認識し、予め用意しておいたパターンのモデルとのテンプレートマッチングにより標識体に付されたパターンを認識することができる。
【特許文献１】特開平９−２１６１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、紙にパターンを印刷して作成した標識体、及びプラスチック又はビニル樹脂等により作成した標識体を用いて被検出体の位置、形状、種類等を検出する場合、光源、標識体、撮像装置の位置関係によっては、光源からの光を標識体の表面が強く反射することがあり、この反射光が直接的に撮像装置に入射した場合には露出オーバとなり、撮像装置によって得られる画像に白トビの現象が発生する。このような白トビの現象が生じた画像では標識体本来の色や濃淡が再現できないため、パターン自体を認識することが困難となり、標識体の認識率が低下するという問題点を有していた。
【０００６】
また、標識体の認識精度を上げるために特許文献１に記載されたシステムでは、発光ダイオード等の標識体を用いた形態を挙げているが、電源を確保できる環境以外では利用出来ないという問題点を有し、また、システム全体のコストを押し上げるという問題点を有している。
【０００７】
更に、図１３に示したパターンを認識する場合、まず、背景と標識体との境界をなす点列を抽出し、抽出した点列に対して最小二乗法を用いて画像内の標識体の四辺に線分を当てはめ、画像内での標識体の形状及び位置を認識する。しかしながら、標識体と撮像装置との間の距離が大きくなり、標識体全体で解像度が低くなった場合、量子化誤差の影響により標識体の境界を示す辺を精度良く検出できないという問題点を有する。図１４は辺検出時の量子化誤差の影響を示す模式図であり、背景と標識体との境界を抽出した点列を黒丸で表したとき、実際の標識体の辺は破線Ｌ０であるのに対し、最小二乗法で求めた線分は、例えば、実線Ｌ１のように抽出される。このとき、標識体の画像内での形状と位置とを正確に認識できないため、標識体の認識精度が低下するという問題点を有している。
【０００８】
本発明は斯かる事情に鑑みてなされたものであり、被検出体の位置又は種類を検出する際に前記被検出体の近傍に配置させる標識体として、その一部又は全部を拡散反射部材により形成した標識体を採用する構成とすることにより、標識体と該標識体を撮像する撮像装置との配置関係を任意に設定した場合であっても、画像解析に基づく標識体の認識精度を一定レベルに保ち、被検出体の位置又は種類の検出精度を向上させることができる検出システム及び該検出システムで利用される標識体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
第１発明に係る検出システムは、１又は複数の被検出体の近傍に配置すべき標識体と、前記被検出体を前記標識体と共に撮像して得られた画像を取込み、取込んだ画像内の前記標識体の像に基づいて前記被検出体の位置又は種類を検出する検出装置とを備える検出システムにおいて、前記標識体の一部又は全部が拡散反射部材により形成されていることを特徴とする。
【００１０】
第１発明にあっては、被検出体と共に撮像する標識体の一部又は全部を拡散反射部材により形成しているため、外部光源の光を標識体が特定方向へ強く反射することがなくなる。したがって、光源、標識体、及び撮像装置の配置関係を任意に設定した場合であっても、いわゆる白トビの現象が抑えられ、露出オーバにより標識体本来の色や濃淡が撮像できないことが少なくなり、取込んだ画像に基づく標識体の認識精度が向上する。
【００１１】
第２発明に係る検出システムは、第１発明に係る検出システムにおいて、異なるパターンを付した複数の標識体を備え、前記被検出体の位置又は種類を検出する際、前記標識体のうち、一の標識体を前記被検出体の近傍に配置すべくなしてあることを特徴とする。
【００１２】
第２発明にあっては、異なるパターンを付した複数の標識体を備え、被検出体の位置又は種類を検出する際に一の標識体を被検出体の近傍を配置するようにしているため、各パターンと被検出体に関する情報との対応付けを予め規定しておくことにより、画像解析によって標識体のパターンを検出した際に、被検出体の位置に関する情報と共に被検出体に関する情報が得られる。
【００１３】
第３発明に係る検出システムは、第２発明に係る検出システムにおいて、前記検出装置は、複数のパターンを識別する識別情報、及び該識別情報の夫々に対応させており、検出すべき各被検出体と標識体との相対位置を規定した情報を記憶する記憶手段と、取込んだ画像に含まれるパターンの像に基づいて該パターンを識別する識別情報を取得する識別情報取得手段とを備え、取得した識別情報と前記記憶手段に記憶された識別情報とに基づき、各被検出体の位置を検出すべくなしてあることを特徴とする。
【００１４】
第３発明にあっては、各パターンを識別する識別情報に対応付けて各被検出体と標識体との相対位置を規定した情報を記憶しているため、取込んだ画像から標識体に付されているパターンを解析して識別情報を取得することにより、被検出体の位置が検出される。
【００１５】
第４発明に係る検出システムは、第３発明に係る検出システムにおいて、前記検出装置は、検出すべき被検出体に関する情報を前記識別情報の夫々に対応させて記憶する手段と、前記識別情報取得手段が取得した識別情報に基づいて各被検出体の位置を検出した際に、前記被検出体に関する情報を取得する手段とを備えることを特徴とする。
【００１６】
第４発明にあっては、各パターンを識別する識別情報に対応付けて被検出体に関する情報を記憶しているため、取込んだ画像から標識体に付されているパターンを解析して識別情報を取得することにより、例えば、被検出体の種類、大きさ、色、形状等の情報が得られる。
【００１７】
第５発明に係る検出システムは、第２発明乃至第４発明の何れかの検出システムにおいて、前記パターンは、複数の図形を含み、各図形に少なくとも２色のうちの何れかを付してあることを特徴とする。
【００１８】
第５発明にあっては、標識体に付しているパターンが複数の図形を含み、各図形に少なくとも２色のうちの何れかを付しているため、取込んだ画像に基づく画像解析の際、色の配列を取得することにより識別情報の取得が可能となる。
【００１９】
第６発明に係る検出システムは、第１発明乃至第５発明の何れかに記載の検出システムにおいて、前記拡散反射部材の光学的特性が、任意の入射角を有する入射光に対して正反射率と拡散反射率とが略同一であることを特徴とする。
【００２０】
第６発明にあっては、任意の入射角を有する入射光に対して正反射率と拡散反射率とが略同一となる拡散反射部材を用いているため、反射光のうち正反射の成分を弱めることができ、標識体によって特定方向へ強く反射することがなくなる。したがって、露出オーバにより標識体本来の色や濃淡が撮像できないことが少なくなり、取込んだ画像に基づく標識体の認識精度が向上する。
【００２１】
第７発明に係る検出システムは、第６発明に係る検出システムにおいて、前記正反射率及び前記拡散反射率が２０％以下であることを特徴とする。
【００２２】
第７発明にあっては、正反射率及び拡散反射率が２０％以下であるため、標識体によって特定方向へ強く反射することがなくなる。したがって、露出オーバにより標識体本来の色や濃淡が撮像できないことが少なくなり、取込んだ画像に基づく標識体の認識精度が向上する。
【００２３】
第８発明に係る検出システムは、第１発明乃至第７発明の何れかの検出システムにおいて、前記標識体は円形であることを特徴とする。
【００２４】
第８発明にあっては、標識体は円形であるため、取込んだ画像を解析する際に量子化誤差による影響が低減され、標識体の認識精度が向上する。
【００２５】
第９発明に係る検出システムは、第１発明乃至第８発明の何れかの検出システムにおいて、前記標識体はフェルトにより形成されていることを特徴とする。
【００２６】
第９発明にあっては、標識体がフェルトにより形成されているため、標識体によって拡散反射が生じることとなり、特定方向へ強く反射することがなくなる。その結果、露出オーバにより標識体本来の色や濃淡が撮像できないことが少なくなり、取込んだ画像に基づく標識体の認識精度が向上する。
【００２７】
第１０発明に係る標識体は、被検出体の位置又は種類を検出装置にて検出する際に前記被検出体の近傍に配置する標識体において、一部又は全部が拡散反射部材により形成されていることを特徴とする。
【００２８】
第１０発明にあっては、標識体の一部又は全部を拡散反射部材により形成しているため、外部光源の光を標識体が特定方向へ強く反射することがなくなる。したがって、光源、標識体、及び撮像装置の配置関係を任意に設定した場合であっても、いわゆる白トビの現象が抑えられ、露出オーバにより標識体本来の色や濃淡が撮像できないことが少なくなり、取込んだ画像に基づく標識体の認識精度が向上する。
【００２９】
第１１発明に係る標識体は、第１０発明に係る標識体において、前記拡散反射部材が、任意の入射角を有する入射光に対して正反射率と拡散反射率とが略同一となる光学的特性を有することを特徴とする。
【００３０】
第１１発明にあっては、任意の入射角を有する入射光に対して正反射率と拡散反射率とが略同一となる拡散反射部材を用いているため、反射光のうち正反射の成分を弱めることができ、標識体によって特定方向へ強く反射することがなくなる。したがって、露出オーバにより標識体本来の色や濃淡が撮像できないことが少なくなり、取込んだ画像に基づく標識体の認識精度が向上する。
【００３１】
第１２発明に係る標識体は、第１１発明に係る標識体において、前記正反射率及び前記拡散反射率が２０％以下であることを特徴とする。
【００３２】
第１２発明にあっては、正反射率及び拡散反射率が２０％以下であるため、標識体によって特定方向へ強く反射することがなくなる。したがって、露出オーバにより標識体本来の色や濃淡が撮像できないことが少なくなり、取込んだ画像に基づく標識体の認識精度が向上する。
【００３３】
第１３発明に係る標識体は、第１０発明乃至第１２発明の何れかの標識体において、フェルトにより形成されていることを特徴とする。
【００３４】
第１３発明にあっては、標識体がフェルトにより形成されているため、標識体によって拡散反射が生じることとなり、特定方向へ強く反射することがなくなる。その結果、露出オーバにより標識体本来の色や濃淡が撮像できないことが少なくなり、取込んだ画像に基づく標識体の認識精度が向上する。
【発明の効果】
【００３５】
第１発明及び第１０発明による場合は、被検出体と共に撮像する標識体の一部又は全部を拡散反射部材により形成しているため、外部光源の光を標識体が特定方向へ強く反射することがなくなる。すなわち、光源、標識体、及び撮像装置の配置関係を任意に設定した場合であっても、いわゆる白トビの現象を抑えることができ、露出オーバにより標識体本来の色や濃淡が撮像できないことが少なくなり、取込んだ画像に基づく標識体の認識精度を向上させることができる。その結果、被検出体の位置又は種類の検出精度を向上させることが可能となる。
【００３６】
第２発明による場合は、異なるパターンを付した複数の標識体を備え、被検出体の位置又は種類を検出する際に一の標識体を被検出体の近傍を配置するようにしているため、各パターンと被検出体に関する情報との対応付けを予め規定しておくことにより、画像解析によって標識体のパターンを検出した際に、被検出体の位置に関する情報と共に被検出体に関する情報を取得することができる。
【００３７】
第３発明による場合は、各パターンを識別する識別情報に対応付けて各被検出体と標識体との相対位置を規定した情報を記憶しているため、取込んだ画像から標識体に付されているパターンを解析して識別情報を取得することにより、被検出体の位置を検出することができる。
【００３８】
第４発明による場合は、各パターンを識別する識別情報に対応付けて被検出体に関する情報を記憶しているため、取込んだ画像から標識体に付されているパターンを解析して識別情報を取得することにより、例えば、被検出体の種類、大きさ、色、形状等の情報を取得することができる。
【００３９】
第５発明による場合は、標識体に付しているパターンが複数の図形を含み、各図形に少なくとも２色のうちの何れかを付しているため、取込んだ画像に基づく画像解析の際、色の配列を取得することにより識別情報を取得することができる。
【００４０】
第６発明及び第１１発明による場合は、任意の入射角を有する入射光に対して正反射率と拡散反射率とが略同一となる拡散反射部材を用いているため、反射光のうち正反射の成分を弱めることができ、標識体によって特定方向へ強く反射することがなくなる。したがって、露出オーバにより標識体本来の色や濃淡が撮像できないことが少なくなり、取込んだ画像に基づく標識体の認識精度を向上させることができる。
【００４１】
第７発明及び第１２発明による場合は、正反射率及び拡散反射率が２０％以下であるため、標識体によって特定方向へ強く反射することがなくなる。したがって、露出オーバにより標識体本来の色や濃淡が撮像できないことが少なくなり、取込んだ画像に基づく標識体の認識精度を向上させることができる。
【００４２】
第８発明による場合は、標識体は円形であるため、取込んだ画像を解析する際に量子化誤差による影響が低減され、標識体の認識精度を向上させることができる。
【００４３】
第９発明及び第１３発明による場合は、標識体がフェルトにより形成されているため、標識体によって拡散反射が生じることとなり、特定方向へ強く反射することがなくなる。その結果、露出オーバにより標識体本来の色や濃淡が撮像できないことが少なくなり、取込んだ画像に基づく標識体の認識精度を向上させることができる。また、標識体をフェルトにより形成できるため、多数の標識体が必要となる場合であってもシステム全体のコストが大幅に上昇することがなくなるという利点を有する。
【発明を実施するための最良の形態】
【００４４】
以下、本発明に係る検出システムを電子部品の実装作業を教育する作業教育システムに適用した形態について、図面を用いて具体的に説明する。
図１は本実施の形態に係る作業教育システムの全体構成を示す模式図である。図中５０は、作業対象物を載置するための作業台であり、該作業台５０には作業対象物としてプリント基板６０及び各種の電子部品を収容した部品箱７１〜７４が載置されている。図に示した例では、作業台５０の手前側に４つの部品箱７１〜７４を並べて配置しており、作業員はこれらの部品箱７１〜７４から電子部品を取出してプリント基板６０に実装する作業を行う。
【００４５】
このときの作業状況を監視するために、撮像装置２を用いてプリント基板６０及び部品箱７１〜７４を作業台５０の上方から撮像する。撮像装置２は具体的にはＣＣＤカメラであり、例えば、１０２４×７６８画素の画像を１秒間に１５フレーム取得する。撮像装置２が取得した画像はパーソナルコンピュータ、ワークステーション等の情報処理装置１へ送出される。情報処理装置１は、撮像装置２から送出された画像を解析することにより、各部品箱７１〜７４に収容されている部品の種類や位置、及びプリント基板６０上の実装状況を認識し、作業員に対して逐次的に適切な指示を与える。
【００４６】
本作業教育システムでは、レーザ照射装置３、モニタ装置４、スピーカ５を用いて作業員に作業情報の提示を行う。モニタ装置４は、液晶ディスプレイ装置、ＣＲＴディスプレイ装置等であり、情報処理装置１が出力する画像を表示して、電子部品の実装手順の提示、実装位置の誤りがあった場合の修正指示等を行う。また、スピーカ５は、作業内容の説明や実装位置の誤りがあった場合の修正指示等を音声により行う。更に、レーザ照射装置３は、撮像装置２と同様に作業台５０の上方に設置されており、情報処理装置１が指示する位置へレーザ光を照射し、部品箱７１〜７４から取出すべき部品の位置、プリント基板６０上の実装位置等を作業員に知らしめることにより作業情報の提示を行う。
【００４７】
図２はレーザ照射装置３により作業情報を提示する様子を示す模式図である。レーザ照射装置３は、レーザダイオード、ミラーユニット、方向制御装置により構成されており（図６参照）、方向制御装置によりミラーユニットを制御し、レーザダイオードが発するレーザ光の照射方向を任意の方向へ設定し、作業台５０上の任意の点にレーザ光による照射点を作る。図２（ｂ）に示したように、作業台５０に載置されたプリント基板６０上にレーザ光による照射点ＬＰ１を作ることにより、作業員に対して電子部品の実装位置を提示することができる。また、部品箱７１〜７４に収容された電子部品上にレーザ光による照射点ＬＰ２を作ることにより、実装すべき電子部品の位置を作業員に提示することができる。図２（ｃ）に示した例では、部品箱７２の内部にレーザ光の照射点ＬＰ２が現れている。作業員は照射点ＬＰ２が指し示す電子部品を部品箱７２から取出し、プリント基板６０上の照射点ＬＰ１が示す箇所へ実装することでその電子部品の実装作業が完了する。
【００４８】
レーザ照射装置３が照射するレーザ光によって実装すべき電子部品を正確に指し示すために、各部品箱７１〜７４に収容されている部品の種類、位置、及び個数に関する情報を事前に取得する必要がある。そこで、本実施の形態では、それぞれに異なるパターンを付したマーカＭ１〜Ｍ４を各部品箱７１〜７４に取付けている。情報処理装置１は、撮像装置２が撮像した画像を解析してマーカＭ１〜Ｍ４に付されたパターンを読み取り、各パターンを識別するための識別情報を取得する。実装作業に用いる部品箱内の電子部品の種類、個数、及び各電子部品の位置に関する情報を、識別情報に対応させて情報処理装置１に記憶させておくことにより、パターンを読み取った際にそれらの情報を取得することができ、レーザ照射装置３に対して的確な指示を与えることができる。
【００４９】
図３は部品箱７１の構成例を示す模式図である。マーカＭ１は部品箱７１内の適宜位置に取付けられており、マーカＭ１が取付けられた部品箱７１には、そのマーカＭ１によって規定された種類及び個数の電子部品７１ａ〜７１ｆが予め定められた配置で収容されている。電子部品７１ａ〜７１ｆの配置はマーカＭ１に対する相対位置によって予め規定されており、情報処理装置１がマーカＭ１の位置を検出することによって、各電子部品７１ａ〜７１ｆの位置を検出できるようにしている。部品箱７２〜７４についても同様であり、マーカＭ２〜Ｍ４の位置を検出して、夫々の部品箱７２〜７４に収容された電子部品の位置を検出できるようにしている。
なお、以下において各部品箱７１〜７４に付されているマーカＭ１〜Ｍ４を区別して説明する必要がない場合には、単にマーカＭと記載することとする。
【００５０】
図４はマーカＭの詳細を説明する模式図である。本実施の形態では、被検出体である電子部品の近傍に配置させる標識体として半径数ｃｍ程度の円形のマーカＭを用いる。部品箱７１〜７４は作業員が作業しやすい位置に載置されるため、作業現場内の光源と部品箱７１〜７４との配置関係を一定の保つことができないという事情がある。そのため、マーカＭの素材としては、任意の入射角を有する光が入射した場合であっても、その光を撮像装置２へ向けて強く反射しないもの、すなわち、マーカＭに入射された光を拡散反射させ、撮像装置２へ向かう反射光を弱められるものを選ぶ必要がある。そこで、本実施の形態では、マーカＭの素材としてフェルト生地を採用する。フェルト生地は、細かな繊維が規則性を持たずにより合わさったものであり、光が当たった場合に不規則により合わさった細かな繊維の夫々が光を反射するため、反射方向が一定方向に定まらず、紙製のマーカと比べて撮像装置２へ向う反射光を弱めることできるため、マーカＭの素材として適している。
【００５１】
発明者らの検討結果により、マーカＭは以下の光学的特性を有することが望ましいことが分かった。マーカＭの黒色の部分については、全ての可視光領域の波長に対して、マーカＭと光源との角度に依らず全ての反射角度に対して反射率がおよそ２０％以下であり、前記反射率が可視光領域で波長に依らず一様であることが要求される。また、マーカＭの赤色の部分については、赤色の波長領域を除く可視光領域の波長を持つ光に対して、マーカＭと光源との角度に依らず全ての反射角度に対して反射率がおよそ２０％以下であること、赤色の波長領域の光に対して、マーカＭと光源との角度に依らず全反射率がおよそ４０％以上であり、正反射率と拡散反射率との間に大きな差がないことが要求される。
【００５２】
また、本実施の形態では、マーカＭに付すべきパターンとして、８つの三角形ｍ０〜ｍ７を組み合わせて構成した８角形によるパターンを採用している。８つの三角形ｍ０〜ｍ７のうち、１つは白色を付し、他の７つには赤色又は黒色の何れかを付している。また、パターンの外側の部分には赤色を付している。以下では、白色を付した三角形ｍ０を方向識別子ｍ０と称し、赤色又は黒色を付した三角形ｍ１〜ｍ７をセルｍ１〜ｍ７と称することとする。赤色のセル（ｍ１〜ｍ７）に「０」、黒色のセル（ｍ１〜ｍ７）に「１」を割り当て、方向識別子を起点に「１」及び「０」の配列を取得してマーカＭを識別するための識別情報を取得する。以下では、前記配列を識別コードと称することとする。  
【００５３】
図５はマーカＭに付されているパターンの例を示す模式図である。図５（ａ）に示した例では、方向識別子ｍ０を起点に黒色、赤色、黒色、赤色、黒色、赤色、黒色のセルが配置されているので、情報処理装置１は、取込んだ画像を解析することにより、「１０１０１０１」という識別コードを取得する。また、図５（ｂ）に示した例では、方向識別子ｍ０を起点に黒色、黒色、赤色、黒色、黒色、赤色、赤色のセルが配置されているので、情報処理装置１は、取込んだ画像を解析することにより、「００１１０１１」という識別コードを取得する。このように、セルｍ１〜ｍ７に付した色の組み合わせにより識別コードを定義しているため、本実施の形態に係るマーカＭを利用した場合、２7 通り（１２８通り）の電子部品の種類及び配置を識別することが可能となる。
【００５４】
図６は本実施の形態に係る作業教育システムの構成を示すブロック図である。情報処理装置１はＣＰＵ１１を備えており、該ＣＰＵ１１には、ＲＯＭ１３、ＲＡＭ１４、画像メモリ１５、操作部１６、ＨＤＤ１７（HDD : Hard Disk Drive）、モニタＩＦ１８、ビデオキャプチャＩＦ１９、ＤＡ／ＡＤコンバータ２０、サウンドＩＦ２３がバス１２を介して接続されている。ＲＯＭ１３には各種制御プログラムが予め格納されており、ＣＰＵ１１が当該制御プログラムをロードして実行することにより、情報処理装置１を検出装置として機能させる。ＲＡＭ１４はフラッシュメモリ等により構成されており、前記制御プログラムの実行時に生成されるデータ、操作部１６を通じて入力されたデータ等を一時的に記憶する。
【００５５】
画像メモリ１５は、ビデオキャプチャＩＦ１９を通じて取込んだ画像データ、マーカＭの検出処理中に生成される画像データ等を一時的に記憶する。操作部１６は、キーボード、マウス、タブレット等の入力装置を備えており、教育コースの選択操作等の利用者による指示を受付ける。
【００５６】
ＨＤＤ１７は、磁気記録媒体を有しており、その記憶領域の一部は、教育コース情報ＤＢ１７ａ、プリント基板情報ＤＢ１７ｂ、マーカ識別情報ＤＢ１７ｃ（ＤＢ：データベース）として利用されており、ＣＰＵ１１からの指示に応じて読出処理又は書込処理が実行され、必要なデータの抽出又は保存が行われる。各データベース１７ａ〜１７ｃは、例えば、ＸＭＬ（eXtensible Markup Language）により記述することができる。
【００５７】
教育コース情報ＤＢ１７ａでは作業教育の進め方を規定している。そのため、教育コース情報ＤＢ１７ａには、プリント基板情報ＤＢ１７ｂを記述したＸＭＬファイルのファイルパス、マーカ識別情報ＤＢ１７ｃを記述したＸＭＬファイルのファイルパス、モニタ装置４へ出力するための画像情報コメント情報及びサウンドＩＦ２３を通じて出力する音声データ、並びに実装する電子部品の種類の情報を互いに関連付けて記憶している。
【００５８】
プリント基板情報ＤＢ１７ｂでは、プリント基板の寸法、実装する電子部品の種類、実装する電子備品の寸法、電子部品の実装位置等を規定している。そのため、プリント基板の名前、プリント基板の横の長さ及び縦の長さ、実装すべき電子部品の種類、実装位置のｘ座標及びｙ座標、電子部品の横の長さ及び縦の長さを互いに関連付けて記憶している。
【００５９】
マーカ識別情報ＤＢ１７ｃでは、マーカＭの識別コードに対応させて電子部品の種類及びマーカＭに対する各部品の配置を記憶している。
【００６０】
モニタＩＦ１８は外部にモニタ装置４を接続するためのインタフェースであり、作業員に対して作業情報を提示する際にＨＤＤ１７から読出された画像データをモニタ装置４へ送出する。ビデオキャプチャＩＦ１９は、外部に撮像装置２を接続するためのインタフェースであり、本実施の形態ではＩＥＥＥ１３９４規格に対応したインタフェースを用いている。これにより、撮像装置２が出力する１０２４×７６８画素からなる画像を非圧縮で１秒間に１５フレーム取込むことができる。
【００６１】
ＤＡ／ＡＤコンバータ２０は、主としてレーザ照射装置３が備えるレーザダイオード３１及びミラーユニット３２の方向制御装置３３を制御するためにアナログ／デジタル出力を行う。すなわち、レーザダイオード３１のオン・オフを制御するためにデジタル出力端子２２を通じてデジタル出力を行い、方向制御装置３３を制御して目的の方向へレーザ光を照射するためにアナログ出力端子２１を通じてアナログ出力を行う。
【００６２】
サウンドＩＦ２３は外部にスピーカ５を接続するためのインタフェースであり、ＨＤＤ１７から読出されたデジタル形式の音声データをアナログ音声信号に変換してスピーカ５へ送出し、音声出力を行う。
【００６３】
以下、本作業教育システムによる処理の流れをフローチャートを用いて具体的に説明する。図７は本作業教育システムにより実行される処理の手順を示すフローチャートである。まず、情報処理装置１は予め用意してある教育コースの情報をモニタ装置４に表示し、操作部１６を通じて作業員が所望する教育コースの選択を受付ける（ステップＳ１１）。情報処理装置１のＣＰＵ１１は、受付けた選択を元に教育コース情報ＤＢ１７ａから必要とする情報を読出し、教育コースの設定を行う。次いで、読出した教育コース情報に基づいて、作業の内容や作業の進め方等の情報をモニタ装置４及びスピーカ５により報知して、作業員に対し作業情報の提示を行う（ステップＳ１２）。そして、実装作業の第一ステップとして実装すべき電子部品の収納位置とその電子部品の実装位置とをレーザ照射装置３によるレーザ光で指し示して作業の実践を指示する（ステップＳ１３）。
【００６４】
次いで、作業状況の認識処理を行う（ステップＳ１４）。作業状況の認識処理については後に詳述することとするが、ここでは、ビデオキャプチャボードを通じて取込んだ画像を順次的に解析することにより、作業員による作業が終了したか否かの判断、部品箱７１〜７４の種類の認識、部品箱７１〜７４内の部品数の認識、及びプリント基板６０上の部品の位置の認識を行う。
【００６５】
作業状況の認識処理の結果、情報処理装置１のＣＰＵ１１は誤作業があるか否かを判断し（ステップＳ１５）、誤作業があると判断した場合（Ｓ１５：ＹＥＳ）、作業員に対して誤り修正を指示する（ステップＳ１６）。誤り修正の指示は、例えば、電子部品が誤った箇所に実装されている旨の指摘、誤った種類の電子部品が実装されている旨の指摘等をモニタ装置４及びスピーカ５により報知すると共に、本来の実装位置、電子部品等の提示をモニタ装置４及びスピーカ５により報知することによって行う。誤り修正を指示した後、又はステップＳ１５において誤作業がないと判断した場合（Ｓ１５：ＮＯ）、情報処理装置１のＣＰＵ１１は、作業教育が終了したか否かを判断し（ステップＳ１７）、作業教育が終了していないと判断した場合（Ｓ１７：ＮＯ）、処理をステップＳ１２へ戻す。また、作業教育が終了したと判断した場合（Ｓ１７：ＹＥＳ）、本ルーチンによる作業教育を終了する。
【００６６】
図８は作業状況の認識処理の処理手順を示すフローチャートである。情報処理装置１は、まず、ビデオキャプチャＩＦ１９を通じて取込んだ画像からプリント基板６０の位置を認識する（ステップＳ２１）。一般に、プリント基板は緑色であり、四辺形の形状をしているため、本実施の形態では、この特徴を利用してプリント基板６０の位置を認識する。具体的には、まず、プリント基板６０の色情報を利用して取込んだ画像に閾値処理を行い、プリント基板６０に対応する画素のみを抽出する。抽出した画素により構成される画像（抽出画像）を上下左右方向から走査し、抽出画像からエッジのみを抽出する。抽出したエッジ画像に対してハフ変換を施し、プリント基板６０の四辺の画像座標系での傾きと切片とを求める。ハフ変換により得られた四辺のパラメータから、プリント基板６０の四隅の座標を求める。求めた座標の値はＲＡＭ１４に一時的に保持される。
【００６７】
次いで、情報処理装置１のＣＰＵ１１は、作業員による作業が終了したか否かを判断する（ステップＳ２２）。作業員による作業が終了したか否かは、ステップＳ２１で求めたプリント基板領域内において肌色の画素数をカウントし、カウントした画素数が予め定めた閾値を超えるか否かにより判断することができる。すなわち、前述したようにプリント基板６０は緑色であるため、プリント基板領域内に肌色の画素数が所定値よりも多い場合には、プリント基板６０上に作業員の手があるものと判断することができ、作業中の状態であると判断することができる。逆に、プリント基板６０上に作業員の手が存在する状態から無い状態へと画像が遷移した場合には、作業員による作業が終了したと判断することができる。
【００６８】
作業員による作業が終了していないと判断した場合（Ｓ２２：ＮＯ）、作業が終了するまで待機し、作業員による作業が終了したと判断した場合（Ｓ２２：ＹＥＳ）、マーカの検出処理を行う（ステップＳ２３）。マーカの検出処理については後に詳述することとするが、ここでは、画像処理によりマーカの種類を識別し、マーカに付されているパターンから当該マーカに付与されている識別コードを取得する。ＨＤＤ１７内のマーカ識別情報ＤＢ１７ｃには、マーカの識別コードと部品箱の種類との間の対応付けがなされているので、取得した識別コードに対応付けられている部品箱の種類の情報をマーカ識別情報ＤＢ１７ｃから読み出し、部品箱の種類の認識を行う（ステップＳ２４）。
【００６９】
次いで、情報処理装置１のＣＰＵ１１は、部品箱内の部品数の認識を行う（ステップＳ２５）。具体的には、マーカの重心位置から部品箱領域を算出し、その領域を予め定めておいた閾値で二値化し、部品のある領域とそれ以外の領域とに分ける。次に、その二値化画像に収縮膨張処理を施し、ノイズを除去する。そして、部品領域の数を数えるためにラベリングを行い、部品領域の大きさがある一定値以上の領域の数を部品の数としてカウントする。カウントした部品数と識別コードによって規定された部品数とを比較することによって、部品がプリント基板６０に取付けられたか否かを判断することができる。
【００７０】
次いで、情報処理装置１のＣＰＵ１１は、部品の実装前後においてプリント基板領域の画像を比較することにより、作業員が実装した部品の位置の認識を行う（ステップＳ２６）。プリント基板６０は緑色であり、一般に緑色の電子部品は少ないため、部品を取付けた領域のみ緑色成分が減少する。また、白色の電子部品を取付ける場合には部品を取付けた領域の緑色成分の変化は少ない。したがって、緑色成分及び青色成分の二つの成分の差分を取ることで、部品の実装位置を認識する。
【００７１】
図９はマーカＭの検出処理の処理手順を示すフローチャートである。ビデオキャプチャＩＦ１９を通じて取込んだ画像からマーカＭの像を検出し、マーカＭに付されている識別コードを取得するために、まず、マーカ領域の抽出を行う（ステップＳ３１）。撮像装置２が出力する画像は、各画素がＲＧＢ色空間の濃淡値で表されたデータであるため、取込んだ画像についてＲＧＢ色空間からＹＵＶ色空間への変換を行う。なお、ＹＵＶ色空間では、Ｙ成分が輝度成分、Ｕ成分が青色を軸とする色相成分、Ｖ成分が赤色を軸とする色相成分であり、公知の変換式を用いて一意に変換することができる。各画素のＲＧＢ値をＹＵＶ値に変換した後、Ｖ成分の値に対して予め設定した閾値を用いて画像を二値化し、値が０となる画素（０−画素）と値が１となる画素（１−画素）とに分類する。そして、４隣接のラベリング処理を行うことにより、１−画素が連結している領域を抽出し、抽出した領域内の画素数をカウントする。カウントした画素数が予め設定した範囲内にある場合、その領域がマーカ領域であると判断する。
【００７２】
次いで、マーカ像の輪郭線を抽出する（ステップＳ３２）。マーカ像の輪郭線は、ステップＳ３１の処理において生成した二値画像を構成する各画素のうち、１−画素の周囲の８画素を調査して一つでも０−画素が存在する場合、境界上の画素であると判断する。この方法により境界を抽出する場合、マーカ像の輪郭線の他に、方向識別子ｍ０及び黒色のセル（ｍ１〜ｍ７）による境界線が現れる。そこで、前述した方法により境界を抽出した後、マーカ像の内部の境界線を除去してマーカ像の輪郭線を抽出する。また、マーカ像の輪郭線の抽出した後、マーカ像の重心の座標を算出する。
【００７３】
次いで、ステップＳ３２で抽出したマーカ像の輪郭線の形状を算出する（ステップＳ３３）。本実施の形態では、抽出した輪郭線の形状を楕円とみなし、輪郭線上の点列により構成される楕円を規定するようなパラメータを算出する。具体的には、輪郭線を構成する点列の座標をマーカ像の重心を原点とした平面座標系で表し、前記点列から任意の３点を選択して楕円を規定するパラメータ（長軸、短軸、及び楕円の傾き）を求める。楕円を規定するパラメータは、選択する３点を変更しながら所定回数（例えば、１００回）だけ算出し、各パラメータの平均値及び標準偏差を求める。そして、算出値と平均値との差が標準偏差以内にある値のみを取出し、それらを平均した値を求める楕円のパラメータとする。
【００７４】
次いで、マーカ像の歪みを補正する（ステップＳ３４）。マーカＭを真正面から撮像した画像でない限りマーカ像には歪みが生じているため、本ステップにより歪みの補正を行う。ステップＳ３３において算出した楕円のパラメータを用いて、次式により容易に歪みを補正することができる。
【００７５】
【数１】
2005337870.tif 000003
【００７６】
ここで、（ｘ，ｙ）は補正前の各画素の座標、（Ｘ，Ｙ）は補正後の各画素の座標である。また、ａ，ｂ，θは、それぞれ算出した長軸の長さ、短軸の長さ、及び楕円の傾きを表す。歪みを補正したマーカ像の形状は略円形となる。
【００７７】
次いで、歪みを補正したマーカ像を利用してマーカＭの識別を行い（ステップＳ３５）、マーカＭに付されている識別コードを取得する。図１０はマーカ像から識別コードを取得するための手法を説明する説明図である。歪みを補正したマーカ像を利用して識別コードを取得するために、まず、方向識別子ｍ０の抽出を行う。方向識別子ｍ０は白色に設定されているため、ＹＵＶ値のうちＹ成分の値について閾値を設定し、設定した閾値よりもＹ成分の値が大きい画素を抽出することにより方向識別子ｍ０に対応する画素を抽出することができる。抽出した画素から重心座標を求め、求めた座標を方向識別子ｍ０の位置として記憶する。
【００７８】
次いで、算出した方向識別子ｍ０の位置からマーカ像の重心位置を回転中心として反時計回りに１度ずつ走査し、Ｖ成分の値を角度毎に記憶してゆく。また、方向識別子ｍ０とセルｍ１との境界となる角度φについても記憶しておく。走査角度を横軸、Ｖ成分量を縦軸にとったグラフは、例えば、図１０（ａ）に示したようになる。すなわち、方向識別子ｍ０及び黒色のセル（ｍ１，ｍ２，ｍ４，ｍ５）上の画素に対応する角度ではＶ成分量は０に近い値をとり、赤色のセル（ｍ３，ｍ６，ｍ７）上の画素に対応する角度ではＶ成分量はおよそ一定の値をとる。
【００７９】
得られた３６０個のＶ成分のデータのうち、最初のφ個、及び最後の（３６０／ｎ）−φ個（本実施の形態の場合、ｎ＝８）のデータについては方向識別子ｍ０の画素に対応するため除去し、残ったデータを順番に３６０／ｎ個ずつｎ−１個のグループに分け、各グループ内でのＶ成分量の平均値を各セルの識別指標とする。そして、ｎ−１個の識別指標から最大値と最小値とを求め、その中間値を閾値Ｔｈとして設定する（図１０（ｂ）参照）。
【００８０】
識別指標が閾値Ｔｈよりも大きい場合のセルは赤色であると識別し、ビット値として「０」を付与し、識別指標が閾値Ｔｈよりも小さい場合のセルは黒色であると識別し、ビット値として「１」を付与する（図１０（ｃ）参照）。そして、セルｍ１、セルｍ２、…、セルｍ７の順に得られたビット値を最下位ビットから順にセットしてゆき、マーカＭの識別コードを取得する。
【００８１】
図１１はマーカＭの性能評価に関する実験結果を示す図表である。マーカＭに対して光の入射角が３０度となるように設置した白熱ランプと、マーカＭによる正反射の方向が光軸となるように設置したカメラとを用いて、白熱ランプの明るさを２００Ｌｕｘ，４００Ｌｕｘ，６００Ｌｕｘ，８００Ｌｕｘ，１０００Ｌｕｘに変えながら評価実験を行った。なお、マーカＭと白熱ランプとの距離を３５ｃｍに設定し、マーカＭとカメラとの距離を５５ｃｍに設定した。また、比較の対象として紙にレーザプリンタを用いてパターンを形成したマーカを用いて同種の実験を行った。
【００８２】
この実験結果によると、２００Ｌｕｘの場合では何れの場合も認識できたが、それ以外の明るさでは、フェルトで作成したマーカＭについては正しく認識できたが、紙にパターンを印刷したマーカでは正しく認識できなかった。すなわち、紙製のマーカでは正反射の成分が強いため、全体的に白トビが生じた画像が得られることとなり、画像解析によるパターンの認識精度が悪くなっている。特に、電子部品の作業現場においては一定以上の明るさが作業環境として要求されており、しかも、作業員自身が作業しやすい位置に部品箱７１〜７４が置かれるため、特定方向の反射光が強くなる紙製のマーカを利用することは認識精度を考慮したとき困難となり、フェルト製のマーカＭの方がより望ましいことが分かる。
【００８３】
本実施の形態において利用したマーカＭは、白色を付した１つの方向識別子ｍ０と赤色又は黒色の何れか一方を付したセルｍ１〜ｍ７とにより構成されるパターンを付すようにしたが、パターンの構成はこれに限定されるものではない。図１２はパターンの他の構成例を示す模式図である。図１２（ａ）に示したパターンでは、方向識別子以外の７つのセルのぞれぞれに対し、赤色、黒色、又は青色の内から任意に選択した１つの色を付している。これにより、３7 通り（＝２１８７通り）のパターンを作ることができ、前記パターンによって識別できる電子部品の種類及び配置の数を増やすことができ、より細やかな情報提供が可能となる。また、識別すべき電子部品の種類及び配置が少ない場合、図１２（ｂ）に示したようなパターンを利用することも可能である。図１２（ｂ）に示したパターンは、白色を付した１つの方向識別子と赤色又は黒色の何れか一方を付した５つのセルとにより構成されている。このようなマーカでは３２通りのパターンしか作成できないが、方向識別子及び各セルの面積を大きく採ることができ、マーカ自体の認識率が向上するという利点を有する。
【００８４】
なお、本実施の形態では、各部品箱７１〜７４につきマーカＭを１つだけ取付ける構成としたが、各部品箱７１〜７４にマーカＭを複数取付ける構成であっても良い。マーカＭに付されているパターンによって１２８通りの情報を記述できるため、Ｎ個のマーカＭを取付けることにより、１２８N 通りの情報が記述できるようになり、情報量を格段に増やすことが可能となる。
【００８５】
また、本実施の形態では、マーカＭの素材としてフェルト生地を採用したが、黒色の部分は光をあまり反射せず、赤色の部分はある程度反射するが、反射しすぎない素材であれば、紙、木材、羊毛等を利用することも可能である。
【００８６】
また、本実施の形態では、マーカＭと電子部品との相対位置を規定しておき、マーカＭの検出位置に基づいて電子部品の位置を検出するようにしたが、電子部品の位置を考慮する必要がない場合、例えば、各部品箱７１〜７４には１種類の電子部品を収容することを規定しておき、一つの部品箱（例えば、部品箱７１）から取出す電子部品はどれも同じである場合、必ずしもレーザ照射装置３により個々の電子部品を指し示す必要がなくなる。この場合は、部品箱内の任意の位置をレーザ照射装置３を指し示すことによって作業員に実装すべき電子部品を教示できるため、部品箱内の適宜位置をレーザ照射装置３によって指し示すことができるようにマーカＭに対する相対位置を１つだけ設定しておけば良い。すなわち、前者の場合、本作業教育システムにより位置を検出する際の被検出体は電子部品となるが、後者の場合、被検出体は部品箱自体となる。
【００８７】
また、本実施の形態では、本発明の検出システムを電子部品の実装作業を教育するための作業教育システムに適用した形態について説明したが、被検出体の３次元形状を計測する３次元形状測定システム、モーションキャプチャ等で用いられる人動作認識システム、仮想現実実感用のトラッキングシステム等において適用することも可能である。
【図面の簡単な説明】
【００８８】
【図１】本実施の形態に係る作業教育システムの全体構成を示す模式図である。
【図２】レーザ照射装置により作業情報を提示する様子を示す模式図である。
【図３】部品箱の構成例を示す模式図である。
【図４】マーカの詳細を説明する模式図である。
【図５】マーカに付されているパターンの例を示す模式図である。
【図６】本実施の形態に係る作業教育システムの構成を示すブロック図である。
【図７】本作業教育システムにより実行される処理の手順を示すフローチャートである。
【図８】作業状況の認識処理の処理手順を示すフローチャートである。
【図９】マーカの検出処理の処理手順を示すフローチャートである。
【図１０】マーカ像から識別コードを取得するための手法を説明する説明図である。
【図１１】マーカの性能評価に関する実験結果を示す図表である。
【図１２】パターンの他の構成例を示す模式図である。
【図１３】従来のパターンを示す模式図である。
【図１４】辺検出時の量子化誤差の影響を示す模式図である。
【符号の説明】
【００８９】
１  情報処理装置
２  撮像装置
３  レーザ照射装置
４  モニタ装置
５  スピーカ
１１  ＣＰＵ
１３  ＲＯＭ
１７  ＨＤＤ
６０  プリント基板
７１，７２，７３，７４  部品箱
７１ａ，７１ｂ，７１ｃ，７１ｄ，７１ｅ，７１ｆ  電子部品
Ｍ  マーカ
【図１】
2005337870.tif 000004
【図２】
2005337870.tif 000005
【図３】
2005337870.tif 000006
【図４】
2005337870.tif 000007
【図５】
2005337870.tif 000008
【図６】
2005337870.tif 000009
【図７】
2005337870.tif 000010
【図８】
2005337870.tif 000011
【図９】
2005337870.tif 000012
【図１０】
2005337870.tif 000013
【図１１】
2005337870.tif 000014
【図１２】
2005337870.tif 000015
【図１３】
2005337870.tif 000016
【図１４】
2005337870.tif 000017