(57)【要約】【課題】部材の位置及び形状を正確に判定し、部材の設置に係る時間を短縮することができると共に人為的な誤りの発生を抑制することができる部材判定システムを提供する。【解決手段】色画像２１０と距離画像２２０とを含む撮影画像を出力する撮影装置２００と、色画像２１０から部材を表す色の領域を部材色領域２１３として抽出する部材色抽出部１１０と、距離画像２２０から部材の表面の状態を表す領域を部材面領域２２３として抽出する部材面抽出部１２０と、部材色領域２１３と部材面領域２２３とに基づいて、撮影画像における部材の位置及び形状を含む部材情報３５１を出力する部材判定部１３０とを備える。【選択図】図２
2016109646.tif 000002
【特許請求の範囲】
【請求項１】
部材が含まれる撮影対象を撮影する撮影装置であって、前記撮影対象の色を表す色画像と前記撮影装置から前記撮影対象までの距離を表す距離画像とを含む撮影画像を出力する撮影装置と、
前記撮影装置から前記色画像を取得し、前記色画像から前記部材を表す色の領域を抽出し、前記部材を表す色の領域を部材色領域として出力する部材色抽出部と、
前記撮影装置から前記距離画像を取得し、前記距離画像から前記部材の表面の状態を表す領域を抽出し、前記部材の表面の状態を表す領域を部材面領域として出力する部材面抽出部と、
前記部材色抽出部から出力された前記部材色領域と、前記部材面抽出部から出力された前記部材面領域とに基づいて、前記撮影画像における前記部材の位置及び形状を含む部材情報を出力する部材判定部と
を備える部材判定システム。
【請求項２】
前記部材判定部は、
前記部材色領域と前記部材面領域とが重なる領域を前記撮影画像における前記部材が占める部材領域として算出し、前記部材領域に基づいて前記部材の位置及び形状を判定する請求項１に記載の部材判定システム。
【請求項３】
前記部材の表面は平面であり、
前記部材面抽出部は、前記距離画像から前記部材の表面の状態として平面を抽出する請求項１または２に記載の部材判定システム。
【請求項４】
前記部材色抽出部は、
前記撮影装置から前記色画像を取得し、前記色画像に対して歪み補正と俯瞰変換とを実行し、前記歪み補正と前記俯瞰変換とが実行された前記色画像を色画像変換画像として出力する色画像変換部と、
前記色画像変換部から前記色画像変換画像を取得し、前記色画像変換画像から前記部材を表す色の領域を抽出し、抽出した領域を前記部材色領域として出力する部材色領域抽出部と
を備え、
前記部材面抽出部は、
前記撮影装置から前記距離画像を取得し、前記距離画像に対して歪み補正と俯瞰変換とを実行し、前記歪み補正と前記俯瞰変換とが実行された前記距離画像を距離画像変換画像として出力する距離画像変換部と、
前記距離画像変換部から前記距離画像変換画像を取得し、前記距離画像変換画像から前記部材の表面の状態を表す領域を抽出し、抽出した領域を前記部材面領域として出力する部材面領域抽出部と
を備える請求項１から３のいずれか１項に記載の部材判定システム。
【請求項５】
前記部材判定システムは、
前記部材の色を特定する画素値の範囲が画素値範囲として設定された部材色テーブルを備え、
前記部材色領域抽出部は、前記部材色テーブルに設定された前記画素値範囲に基づいて、前記色画像変換画像から前記部材を表す色の領域を抽出する請求項４に記載の部材判定システム。
【請求項６】
前記部材判定システムは、前記撮影装置を複数備え、
前記色画像変換部は、
前記複数の撮影装置から取得した複数の色画像に対して前記歪み補正と前記俯瞰変換とを実行し、前記歪み補正と前記俯瞰変換とが実行された前記複数の色画像を複数の色画像変換画像として出力し、
前記部材色抽出部は、
前記色画像変換部から前記複数の色画像変換画像を取得し、前記複数の色画像変換画像を合成し、１つの前記色画像変換画像を出力する色画像合成部を備える請求項４または５に記載の部材判定システム。
【請求項７】
部材が含まれる撮影対象を撮影する撮影装置であって、前記撮影対象の色を表す色画像と前記撮影装置から前記撮影対象までの距離を表す距離画像とを含む撮影画像を出力する撮影装置に接続される部材判定装置において、
前記撮影装置から前記色画像を取得し、前記色画像から前記部材を表す色の領域を抽出し、前記部材を表す色の領域を部材色領域として出力する部材色抽出部と、
前記撮影装置から前記距離画像を取得し、前記距離画像から前記部材の表面の状態を表す領域を抽出し、前記部材の表面の状態を表す領域を部材面領域として出力する部材面抽出部と、
前記部材色抽出部から出力された前記部材色領域と、前記部材面抽出部から出力された前記部材面領域とに基づいて、前記撮影画像における前記部材の位置及び形状を含む部材情報を出力する部材判定部と
を備える部材判定装置。
【請求項８】
部材が含まれる撮影対象を撮影する撮影装置が、前記撮影対象の色を表す色画像と前記撮影装置から前記撮影対象までの距離を表す距離画像とを含む撮影画像を出力し、
部材色抽出部が、前記撮影装置から前記色画像を取得し、前記色画像から前記部材を表す色の領域を抽出し、前記部材を表す色の領域を部材色領域として出力し、
部材面抽出部が、前記撮影装置から前記距離画像を取得し、前記距離画像から前記部材の表面の状態を表す領域を抽出し、前記部材の表面の状態を表す領域を部材面領域として出力し、
部材判定部が、前記部材色抽出部から出力された前記部材色領域と、前記部材面抽出部から出力された前記部材面領域とに基づいて、前記撮影画像における前記部材の位置及び形状を含む部材情報を出力する部材判定方法。
【請求項９】
部材が含まれる撮影対象を撮影する撮影装置であって、前記撮影対象の色を表す色画像と前記撮影装置から前記撮影対象までの距離を表す距離画像とを含む撮影画像を出力する撮影装置に接続される部材判定装置のプログラムにおいて、
前記撮影装置から前記色画像を取得し、前記色画像から前記部材を表す色の領域を抽出し、前記部材を表す色の領域を部材色領域として出力する部材色抽出処理と、
前記撮影装置から前記距離画像を取得し、前記距離画像から前記部材の表面の状態を表す領域を抽出し、前記部材の表面の状態を表す領域を部材面領域として出力する部材面抽出処理と、
前記部材色抽出処理により出力された前記部材色領域と、前記部材面抽出処理により出力された前記部材面領域とに基づいて、前記撮影画像における前記部材の位置及び形状を含む部材情報を出力する部材判定処理とをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、部材判定システム、部材判定装置、部材判定方法及びプログラムに関する。特に、レーザー加工機、放電加工機などの分野において、部材の位置及び形状を判定する部材判定システム、部材判定装置、部材判定方法及びプログラムに関する。
【背景技術】
【０００２】
一般に、レーザー加工機では、加工する部材の寸法は作業者が操作パネルなどから数値を入力することにより行う。また、部材の形状は矩形に限定されることが多いため、矩形以外の部材を使用すると余分な端材が発生する原因となる。一方、初期位置設定作業を行う場合は、作業者が目視によりヘッドの位置を動かしながら部材の加工開始点の真上に来るまで移動させる。粗い移動調整にはカーソルキーなどを使用し、細かな移動調整にはメカハンドルなどを用いて微調整を行う場合が多い。通常、このような、ヘッドの位置決め作業には時間を要し、非熟練作業者ほど時間がかかり、作業効率が悪化する。また、作業者が数値を誤って入力したり、ヘッドの位置決めがずれると、加工範囲が部材範囲をはみだしてしまい、部材が無駄になってしまう。
【０００３】
特許文献１には、可視光レーザビームを用いて、ヘッドの初期位置設定作業を簡単かつ迅速に行うことができる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−０１５４６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、ヘッドの初期位置設定作業は作業者により行われるため、人為的な誤りが発生する可能性があるという課題がある。
【０００６】
本発明は、色情報と距離情報とを用いて加工部材の形状と位置とを判定することにより、位置決めを自動化し、人為的な誤りの発生を抑制することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る部材判定システムは、
部材が含まれる撮影対象を撮影する撮影装置であって、前記撮影対象の色を表す色画像と前記撮影装置から前記撮影対象までの距離を表す距離画像とを含む撮影画像を出力する撮影装置と、
前記撮影装置から前記色画像を取得し、前記色画像から前記部材を表す色の領域を抽出し、前記部材を表す色の領域を部材色領域として出力する部材色抽出部と、
前記撮影装置から前記距離画像を取得し、前記距離画像から前記部材の表面の状態を表す領域を抽出し、前記部材の表面の状態を表す領域を部材面領域として出力する部材面抽出部と、
前記部材色抽出部から出力された前記部材色領域と、前記部材面抽出部から出力された前記部材面領域とに基づいて、前記撮影画像における前記部材の位置及び形状を含む部材情報を出力する部材判定部と
を備える。
【発明の効果】
【０００８】
本発明に係る部材判定システムによれば、部材色抽出部が色画像から部材を表す色の領域である部材色領域を出力し、部材面抽出部が距離画像から部材の表面の状態を表す領域である部材面領域を出力し、部材判定部が部材色領域と部材面領域とに基づいて撮像画像における部材の位置及び形状を判定し、部材判定部が前記部材の位置及び形状を含む部材情報を出力するので、人為的な誤りの発生を抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係る部材判定システムの稼働環境を示す図。
【図２】実施の形態１に係る部材判定システムのブロック構成図。
【図３】実施の形態１に係る部材判定装置のハードウェア構成図。
【図４】実施の形態１に係る部材判定システムの部材判定方法を示すフローチャート。
【図５】（ａ）は色画像歪み補正部により生成された色画像補正画像、（ｂ）は色画像俯瞰変換部により生成された色画像変換画像を示す図。
【図６】俯瞰変換処理に用いる平面射影行列Ｈを示す図。
【図７】（ａ）は色画像歪み補正部により生成された色画像補正画像、（ｂ）は色画像変換画像における水平方向の色画像マップ、（ｃ）は（ａ）の色画像変換画像と同じ部分の距離画像変換画像における距離画像マップを示す図。
【図８】実施の形態２に係る部材判定システムのブロック構成図。
【図９】（ａ）は実施の形態２に係る部材判定システムの稼働環境を示す図、（ｂ）は部材加工台を真上から見た図。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１を用いて、本実施の形態に係る部材判定システム５００の稼働環境について説明する。
図１に示すように、撮影装置２００は、レーザー加工機３００の上方から、加工対象の部材３５０が載置される部材加工台３１０を撮影する。撮影装置２００は、例えば、レーザー加工機３００の端の位置に設置されている。
撮影装置２００は、部材３５０が含まれる部材加工台３１０を撮影対象３３０として撮影する。
【００１１】
図２を用いて、本実施の形態に係る部材判定システム５００のブロック構成について説明する。
＊＊＊構成の説明＊＊＊
部材判定システム５００は、部材判定装置１００と、部材判定装置１００に接続された撮影装置２００とを備える。
撮影装置２００は、部材３５０が含まれる撮影対象３３０を撮影し、撮影対象３３０の色を表す色画像２１０と、撮影装置２００から撮影対象３３０までの距離を表す距離画像２２０とを含む撮影画像２５０を出力する。撮影装置２００は、撮影対象３３０の色を画素により表した色画像２１０と、撮影対象３３０までの奥行きを画素により表した距離画像２２０とを出力する距離画像カメラである。本実施の形態では、撮影装置２００は部材判定装置１００の外部の装置としているが、部材判定装置１００の内部の装置であってもよい。すなわち、部材判定装置１００が撮影装置２００を備えていてもよい。
【００１２】
部材判定装置１００は、部材色抽出部１１０、部材面抽出部１２０、部材判定部１３０、部材色テーブル１４０を備える。
部材色抽出部１１０は、色画像変換部１１３、部材色領域抽出部１１４を備える。
色画像変換部１１３は、色画像歪み補正部１１１、色画像俯瞰変換部１１２を備える。
部材面抽出部１２０は、距離画像変換部１２３、部材面領域抽出部１２４を備える。
距離画像変換部１２３は、距離画像歪み補正部１２１、距離画像俯瞰変換部１２２を備える。
部材色テーブル１４０は、部材３５０の色を特定する画素値の範囲が画素値範囲４０１として設定される。部材色テーブル１４０は、アルミ、銅、鉄などの材料ごとに、その材料をそれぞれ特定する部材色の画素値の範囲が画素値範囲４０１として設定される。部材色テーブル１４０は、材料ごとに画素値範囲４０１が予め設定されている。
【００１３】
部材色抽出部１１０は、撮影装置２００から色画像２１０を取得し、色画像２１０から部材３５０を表す色の領域を抽出し、部材３５０を表す色の領域を部材色領域２１３として出力する。
色画像変換部１１３は、撮影装置２００から色画像２１０を取得し、色画像２１０に対して歪み補正と俯瞰変換とを実行し、歪み補正と俯瞰変換とが実行された色画像２１０を色画像変換画像２１２として出力する。
部材色領域抽出部１１４は、色画像変換部１１３から色画像変換画像２１２を取得し、色画像変換画像２１２から部材３５０を表す色の領域を抽出し、抽出した領域を部材色領域２１３として出力する。
【００１４】
色画像歪み補正部１１１は、撮影装置２００から取得した色画像２１０に対し、広角カメラに発生しやすい歪みを補正する歪み補正処理を行い、色画像補正画像２１１を出力する。
色画像俯瞰変換部１１２は、色画像歪み補正部１１１から色画像補正画像２１１を取得する。色画像俯瞰変換部１１２は、歪み補正された色画像補正画像２１１を、真上から見た俯瞰画像に俯瞰変換し、色画像変換画像２１２として出力する。
【００１５】
部材色領域抽出部１１４は、色画像俯瞰変換部１１２から色画像変換画像２１２を取得する。部材色領域抽出部１１４は、色画像変換画像２１２から、部材色と同じ色の領域を抽出し、部材色領域２１３として出力する。部材色領域抽出部１１４は、部材色テーブル１４０に設定された画素値範囲４０１に基づいて、色画像変換画像２１２から部材３５０を表す色の領域を抽出する。
【００１６】
部材面抽出部１２０は、撮影装置２００から距離画像２２０を取得し、距離画像２２０から部材３５０の表面の状態を表す領域を抽出し、部材の表面の状態を表す領域を部材面領域２２３として出力する。
本実施の形態では、部材３５０の表面は平坦な平面であるものとする。
部材面抽出部１２０は、距離画像２２０から部材３５０の表面の状態として平面の領域を抽出する。
【００１７】
距離画像変換部１２３は、撮影装置２００から距離画像２２０を取得し、距離画像２２０に対して歪み補正と俯瞰変換とを実行し、歪み補正と俯瞰変換とが実行された距離画像２２０を距離画像変換画像２２２として出力する。
部材面領域抽出部１２４は、距離画像変換部１２３から距離画像変換画像２２２を取得し、距離画像変換画像２２２から部材３５０の表面の状態を表す領域を抽出し、抽出した領域を部材面領域２２３として出力する。本実施の形態では、部材面領域抽出部１２４は、距離画像変換画像２２２から平面の領域を抽出し、平面の領域を部材面領域２２３として出力する。
【００１８】
距離画像歪み補正部１２１は、撮影装置２００から取得した距離画像２２０に対し、広角カメラに発生しやすい歪みを補正する歪み補正処理を行い、距離画像補正画像２２１を出力する。
距離画像俯瞰変換部１２２は、距離画像歪み補正部１２１から距離画像補正画像２２１を取得する。距離画像俯瞰変換部１２２は、歪み補正された距離画像補正画像２２１を、真上から見た俯瞰画像に変換し、距離画像変換画像２２２として出力する。
【００１９】
部材判定部１３０は、部材色抽出部１１０から出力された部材色領域２１３と、部材面抽出部１２０から出力された部材面領域２２３とに基づいて、撮影画像２５０における部材３５０の位置及び形状を含む部材情報３５１を出力する。具体的には、部材判定部１３０は、部材色領域２１３と部材面領域２２３とが重なる領域を撮影画像２５０における部材３５０が占める部材領域２１４として算出し、部材領域２１４に基づいて部材３５０の位置及び形状を判定する。
【００２０】
図３を用いて、本実施の形態に係る部材判定装置１００のハードウェア構成について説明する。
部材判定装置１００はコンピュータを備え、部材判定装置１００の各要素をプログラムで実現することができる。
【００２１】
部材判定装置１００のハードウェア構成としては、バスに、演算装置９０１、外部記憶装置９０２、主記憶装置９０３、通信装置９０４、入出力装置９０５が接続されている。
【００２２】
演算装置９０１は、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ）である。演算装置９０１は、処理装置ともいう。
外部記憶装置９０２は、例えばＲＯＭ（Ｒｅａｄ・Ｏｎｌｙ・Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスク装置である。
主記憶装置９０３は、ＲＡＭ（Ｒａｎｄｏｍ・Ａｃｃｅｓｓ・Ｍｅｍｏｒｙ）である。
【００２３】
通信装置９０４は、例えば通信ボード等であり、イントラネット、ＬＡＮ（Ｌｏｃａｌ・Ａｒｅａ・Ｎｅｔｗｏｒｋ）等に接続されている。通信装置９０４は、イントラネット、ＬＡＮ等に限らず、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ・Ｐｒｏｔｏｃｏｌ・Ｖｉｒｔｕａｌ・Ｐｒｉｖａｔｅ・Ｎｅｔｗｏｒｋ）、広域ＬＡＮ、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ・Ｔｒａｎｓｆｅｒ・Ｍｏｄｅ）ネットワークといったＷＡＮ（Ｗｉｄｅ・Ａｒｅａ・Ｎｅｔｗｏｒｋ）、あるいは、インターネットに接続されていても構わない。イントラネット、ＬＡＮ、ＷＡＮ、インターネットは、ネットワークの一例である。
【００２４】
入出力装置９０５は、例えばマウス、キーボード、ディスプレイ装置等である。マウスの代わりに、タッチパネル、タッチパッド、トラックボール、ペンタブレット、あるいは、その他のポインティングデバイスが用いられても構わない。ディスプレイ装置は、ＬＣＤ（Ｌｉｑｕｉｄ・Ｃｒｙｓｔａｌ・Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ・Ｒａｙ・Ｔｕｂｅ）、あるいは、その他の表示機器でも構わない。
【００２５】
プログラムは、通常は外部記憶装置９０２に記憶されており、主記憶装置９０３にロードされた状態で、演算装置９０１に読み込まれ、実行される。
プログラムは、図２のブロック構成図に示す「色画像歪み補正部」、「色画像俯瞰変換部」、「部材色領域抽出部」、「距離画像歪み補正部」、「距離画像俯瞰変換部」、「部材面領域抽出部」、「部材判定部」として説明している機能を実現するプログラムである。また、プログラムプロダクトと称されるものは、プログラムが記録された記憶媒体、記憶装置などであり、見た目の形式に関わらず、コンピュータ読み取り可能なプログラムをロードしているものである。
【００２６】
更に、外部記憶装置９０２にはオペレーティングシステムも記憶されている。以下、オペレーティングシステムをＯＳと記載する。ＯＳの少なくとも一部が主記憶装置９０３にロードされ、演算装置９０１はＯＳを実行しながら、図２のブロック構成図に示す「色画像歪み補正部」、「色画像俯瞰変換部」、「部材色領域抽出部」、「距離画像歪み補正部」、「距離画像俯瞰変換部」、「部材面領域抽出部」、「部材位置判定部」として説明している機能を実現するプログラムを実行する。
また、アプリケーションプログラムも外部記憶装置９０２に記憶されており、主記憶装置９０３にロードされた状態で、演算装置９０１により実行される。
また、「部材色テーブル」、「色画像」、「距離画像」、「色画像補正画像」、「距離画像補正画像」、「色画像変換画像」、「距離画像変換画像」、「部材色領域」、「部材面領域」、「部材情報」等の情報も外部記憶装置９０２に記憶されている。
【００２７】
また、本実施の形態の説明において、「判断する」、「判定する」、「抽出する」、「検知する」、「設定する」、「登録する」、「選択する」、「生成する」、「取得する」、「入力する」、「出力する」等として説明している処理の結果を示す情報やデータや信号値や変数値が主記憶装置９０３に記憶される。
また、部材判定装置１００が受信したデータが主記憶装置９０３に記憶される。
【００２８】
＊＊＊動作の説明＊＊＊
図４を用いて、本実施の形態に係る部材判定システム５００の部材判定方法について説明する。
部材判定装置１００は、演算装置９０１、外部記憶装置９０２、主記憶装置９０３、通信装置９０４、入出力装置９０５のハードウェア資源と協働し、以下に示す処理を行うプログラムを実行することにより部材判定方法、部材判定処理を実現する。
【００２９】
上述したように、撮影装置２００は、撮影対象の色を表す色画像２１０と撮影装置２００から撮影対象までの距離を表す距離画像２２０とを含む撮影画像２５０を出力する。
部材判定装置１００は、撮影装置２００に接続され、撮影装置２００から出力された撮影画像２５０が入力される。
【００３０】
図４に示すように、部材色抽出部１１０は、撮影装置２００から色画像２１０を取得し、色画像２１０から部材３５０を表す色の領域を抽出し、部材３５０を表す色の領域を部材色領域２１３として出力する部材色抽出処理Ｓ１１０を実行する。
また、部材面抽出部１２０は、撮影装置２００から距離画像２２０を取得し、距離画像２２０から部材３５０の表面の状態を表す領域を抽出し、部材３５０の表面の状態を表す領域を部材面領域２２３として出力する部材面抽出処理Ｓ１２０を実行する。
【００３１】
図４から図６を用いて、色画像変換部１１３及び距離画像変換部１２３による歪み補正処理及び俯瞰変換処理について説明する。
Ｓ１１１において、色画像歪み補正部１１１は、撮影装置２００から取得した色画像２１０に対し、広角カメラに発生しやすい歪みを補正する歪み補正処理を行い、色画像補正画像２１１を出力する。
Ｓ１２１において、色画像歪み補正部１１１は、撮影装置２００から取得した距離画像２２０に対し、広角カメラに発生しやすい歪みを補正する歪み補正処理を行い、距離画像補正画像２２１を出力する。
広角カメラで撮影した場合などに、実物は直線であっても色画像２１０及び距離画像２２０において歪み生じる場合がある。歪みが生じた色画像２１０及び距離画像２２０に対して歪み補正処理を施すことにより、歪んでしまった撮影対象が色画像補正画像２１１及び距離画像補正画像２２１では直線に表示される。
【００３２】
図５の（ａ）は、色画像歪み補正部１１１により生成された色画像補正画像２１１を示している。また、図５の（ｂ）は、色画像俯瞰変換部１１２により生成された色画像変換画像２１２を示している。
色画像２１０は色情報を色彩で表した画像であり、距離画像２２０は撮影装置２００からの奥行き情報を色彩で表した画像である。したがって、色画像２１０と距離画像２２０とでは色彩が異なる。しかし、図５は白黒で表されるため、色画像２１０を用いて説明する。
【００３３】
図５の（ｂ）に示すように、撮影装置２００の位置は、Ｐ１点であるものとする。
図５の（ａ）、図５の（ｂ）に示すように、部材加工台３１０を撮影した撮影画像２５０には、部材加工台３１０に配設された非部材Ａ３１１、非部材Ｂ３１２、非部材Ｃ３１３と、部材加工台３１０に配設された部材３５０とが写っている。
【００３４】
色画像変換部１１３は、図６に示す平面射影行列Ｈを用いて、俯瞰変換処理を実行する。この平面射影行列Ｈは４点の特徴点があれば算出可能であり、撮影装置２００を設置する際にあらかじめ求めておく。
【００３５】
Ｓ１１２において、色画像俯瞰変換部１１２は、歪み補正された色画像補正画像２１１を、平面射影行列Ｈを用いて、真上から見た俯瞰画像に俯瞰変換し、色画像変換画像２１２として出力する。
Ｓ１２２において、距離画像俯瞰変換部１２２は、歪み補正された距離画像補正画像２２１を、平面射影行列Ｈを用いて、真上から見た俯瞰画像に変換し、距離画像変換画像２２２として出力する。
【００３６】
次に、図４及び図７を用いて、部材色領域抽出部１１４及び部材面領域抽出部１２４による部材色領域抽出処理及び部材面領域抽出処理について説明する。
【００３７】
Ｓ１１３において、部材色領域抽出部１１４は、色画像俯瞰変換部１１２から色画像変換画像２１２を取得する。部材色領域抽出部１１４は、色画像変換画像２１２から、部材色テーブル１４０に設定されている画素値範囲４０１を用いて部材色と同じ領域を抽出し、部材色領域２１３として出力する。
Ｓ１２３において、部材面領域抽出部１２４は、距離画像俯瞰変換部１２２から距離画像変換画像２２２を取得する。部材面領域抽出部１２４は、距離画像変換画像２２２から部材３５０の表面の状態を示す領域を抽出し、部材面領域２２３として出力する。部材面領域抽出部１２４は、距離画像変換画像２２２から平面の領域を抽出し、平面の領域を部材面領域２２３として出力する。
【００３８】
部材３５０は、表面が均一な板状の金属であるため、特定色で撮影される特徴がある。部材色テーブル１４０には、部材３５０を示す特定色の画素値範囲４０１が設定されている。部材色領域抽出部１１４は、部材色テーブル１４０に設定された画素値範囲４０１の中にある画素が部材３５０であると判定することができる。
図７の（ａ）は、図５の（ｂ）と同じ図である。
図７の（ｂ）は、色画像変換画像２１２における水平方向の色画像マップ２１２１を示したものである。色画像マップ２１２１の横軸は、色画像変換画像２１２の水平方向Ｐ２における位置を示している。色画像マップ２１２１の縦軸は、色を示す画素値である。
【００３９】
部材色領域抽出部１１４は、色画像変換画像２１２から、色画像マップ２１２１を用いて、予め部材色として設定された画素値範囲４０１に含まれる領域を部材色領域２１３として出力する。図７の（ｂ）の色画像マップ２１２１では、画素値、すなわち色が画素値範囲４０１に含まれる斜線部分が部材色領域２１３として出力される。
【００４０】
図７の（ａ）に示すように、部材３５０と、非部材Ａ３１１及び非部材Ｂ３１２との色は同等である。部材加工台３１０は凹凸が激しく、色や輝度がバラバラで、留め金具など部材と同じ色が存在することもある。また、小さな端材やゴミなどが付着したままになっている場合がある。そのため、図７の（ｂ）に示すように、あらかじめ設定された画素値範囲４０１の中に、部材３５０以外の部材加工台３１０部分に相当する画素も含まれることがあり、誤判定が発生する。図７の（ｂ）では、部材３５０の他に、非部材Ａ３１１及び非部材Ｂ３１２の領域も抽出されている。このように、色画像マップ２１２１のみから部材の形状や位置を判別することは困難である。
【００４１】
そこで、部材判定システム５００では、距離画像２２０も使用して判別精度を高める。
図７の（ｃ）は、図７の（ａ）の色画像変換画像２１２と同じ部分の距離画像変換画像２２２における距離画像マップ２２２１を示したものである。距離画像マップ２２２１の横軸は、距離画像変換画像２２２の水平方向Ｐ２における位置を示している。距離画像マップ２２２１の縦軸は、Ｐ１からの距離である。
【００４２】
部材面領域抽出部１２４は、距離画像変換画像２２２から、距離画像マップ２２２１において距離の推移が一定である領域を部材面領域２２３として出力する。距離の推移が一定である領域とは、撮影装置２００のＰ１点から離れる割合が一定の領域である。図７の（ｃ）の距離画像マップ２２２１では、点線が平面を表す距離の推移であり、点線と同様の傾きを有する斜線部分が部材面領域２２３として出力される。
【００４３】
図７の（ｃ）の距離画像マップ２２２１において、部材面領域２２３以外の部材加工台の領域を加工台相当部３１０１とする。加工台相当部３１０１に示されるように、距離画像変換画像２２２における部材加工台３１０相当部分には、一様に凹凸が存在する。しかし、部材３５０は表面が滑らかな平面であるため、距離値の推移が一定となる。したがって、部材面領域抽出部１２４は、距離値の推移が一定となる領域を部材面領域２２３として抽出する。
【００４４】
Ｓ１３０において、部材判定部１３０は、部材色抽出処理Ｓ１１０により出力された部材色領域２１３と、部材面抽出処理Ｓ１２０により出力された部材面領域２２３とに基づいて、撮影画像２５０における部材３５０の位置及び形状を含む部材情報３５１を出力する部材判定処理Ｓ１３０を実行する。
具体的には、部材判定部１３０は、部材色領域２１３と部材面領域２２３とが重なる領域を撮影画像２５０における部材３５０が占める部材領域２１４として算出し、部材領域２１４に基づいて部材３５０の位置及び形状を判定する。
【００４５】
このように、部材判定部１３０は、色画像マップから部材３５０と判定された部材色領域２１３の中から、距離画像マップにおいて距離の推移が一定である部材面領域２２３を、真の部材領域２１４と判定することにより、正しい判定をすることができる。部材判定部１３０は、隣接する画素の距離値の差分をとることにより、距離値の推移が一定か否かを判断する。
【００４６】
以上で、本実施の形態に係る部材判定システム５００の部材判定方法についての説明を終わる。
なお、上記の説明では、説明を簡単にするため、水平方向の色画像マップ及び距離画像マップを用いて説明したが、実際には任意方向の２次元方向の画像マップを使用する。例えば、縦方向と横方向のスキャンを行いながら判定を行う。
また、色画像の画素値範囲４０１の設定は、例えば、アルミ、銅、鉄などのように金属の材質ごとに色画像の画素値範囲４０１を設定した部材色テーブル１４０を作成し、材質に応じて部材色テーブル１４０を変更することにより、最適な画素値範囲４０１を使用する。また、撮影装置２００で撮影するときに、照明による反射へ影などで部材３５０の色トビやばらつきを抑えるため、複数の照明を設置すると、環境の影響を受けにくくなる。
【００４７】
また、本実施の形態では、部材３５０の表面の状態は平面であるものとして説明したが、部材３５０の表面が特定の凹凸を有するものでもよい。この場合、部材面領域抽出部１２４は、特定の凹凸を示す距離の推移を予め部材抽出用推移として設定し、設定された部材抽出用推移に相当する領域を部材面領域２２３として抽出する。
【００４８】
＊＊＊効果の説明＊＊＊
以上のように、距離画像カメラである撮影装置２００から出力される色画像２１０と距離画像２２０とを組み合わせ使用することにより、部材３５０の形状と位置とを部材情報３５１として正確に特定することが可能となる。そして、その部材情報３５１をもとにヘッドの位置決めを自動的に行うことができる。その結果、部材３５０の設置時間の短縮化と人為的ミスの発生を抑えることが可能となる。さらに、部材３５０の形状が正確に特定できるので、加工するモノが部材に収まるか否かを正確に判定することができる。また、操作画面上からの切断経路を指示する場合のミスを抑制することができる。特に残材の切断時には有効である。また、危険な加工ヘッド周辺における作業が不要となるため、作業者の安全にもつながる。
【００４９】
実施の形態２．
本実施の形態では、主に、実施の形態１と異なる点について説明する。
本実施の形態では、複数の撮影装置２００を用いて部材判定処理を行う場合について説明する。
実施の形態１で説明した構成と同様の機能を有する構成には同一の符号を付し、その説明を省略する場合がある。
【００５０】
＊＊＊構成の説明＊＊＊
図８を用いて、本実施の形態に係る部材判定システム５００ａについて説明する。
部材判定システム５００ａは、撮影装置２００を複数備える。
本実施の形態では、部材判定システム５００ａは、２台の撮影装置２００ａ，２００ｂを備える。また、部材判定装置１００ａは、色画像俯瞰変換部１１２と部材色領域抽出部１１４との間に色画像合成部１１６を備える。
【００５１】
色画像変換部１１３ａは、複数の撮影装置２００ａ，２００ｂから取得した複数の色画像２１０に対して歪み補正と俯瞰変換とを実行し、歪み補正と俯瞰変換とが実行された複数の色画像２１０を複数の色画像変換画像２１２として出力する。すなわち、色画像変換部１１３ａは、撮影装置２００ａ，２００ｂから取得した色画像２１０ａ，２１０ｂに対して歪み補正と俯瞰変換とを実行し、色画像変換画像２１２ａ，２１２ｂを出力する。
【００５２】
部材色抽出部１１０ａは、色画像合成部１１６を備える。
色画像合成部１１６は、色画像変換部１１３ａから複数の色画像変換画像２１２を取得し、複数の色画像変換画像２１２を合成し、合成された１つの色画像変換画像２１２ａｂとして出力する。すなわち、色画像合成部１１６は、色画像変換部１１３ａから色画像変換画像２１２ａ，２１２ｂを取得し、色画像変換画像２１２ａ，２１２ｂを合成し、より分解能の高い１つの色画像変換画像２１２ａｂとして出力する。
【００５３】
＊＊＊動作の説明＊＊＊
色画像合成部１１６は、色画像俯瞰変換部１１２から取得した複数の色画像変換画像２１２を、より分解能の高い一つの色画像変換画像２１２ａｂに合成する。以下に、色画像合成部１１６による色画像合成方法について説明する。
【００５４】
図９の（ａ）に示すように、２台の撮影装置２００ａ，２００ｂは、部材加工台３１０の長手方向の両端の上方に設置される。
図９の（ｂ）は、部材加工台３１０を真上から見た図である。
色画像合成部１１６は、撮影装置２００ａ，２００ｂによる撮影画像が重複する重複領域Ｒについて画像合成を実行する。画像合成は、撮影装置２００ａ，２００ｂそれぞれからの画素を距離によりブレンド処理する。例えば、下記に示すような線形補間の（式１）により、重複領域Ｒにおける画素Ｑの画素値Ｃを算出する。撮影装置２００ａにより撮影された色画像２１０ａから色画像変換画像２１２ａが生成され、撮影装置２００ｂにより撮影された色画像２１０ｂから色画像変換画像２１２ｂが生成される。
【００５５】
Ｃ＝Ｃａ＊Ｄｂ／（Ｄａ＋Ｄｂ）＋Ｃｂ＊Ｄａ／（Ｄａ＋Ｄｂ）      （式１）
Ｃａ：撮影装置２００ａ側の画素値
Ｃｂ：撮影装置２００ｂ側の画素値
Ｄａ：色画像変換画像２１２ａ上における撮影装置２００ａと画素間の距離
Ｄｂ：色画像変換画像２１２ｂ上における撮影装置２００ｂと画素間の距離
【００５６】
部材色領域抽出部１１４は、色画像合成部１１６により合成された色画像変換画像２１２ａｂから、部材色領域２１３を抽出する。部材色領域抽出部１１４が部材色領域２１３を抽出する方法は実施の形態１と同じである。
【００５７】
部材面抽出部１２０が部材面領域２２３を抽出する方法は、実施の形態１と同じである。ただし、部材面抽出部１２０からは、複数の撮影装置２００の各々から出力された複数の距離画像２２０に基づく複数の部材面領域２２３が出力される。
【００５８】
部材判定部１３０は、部材色抽出部１１０から出力された部材色領域２１３と、部材面抽出部１２０から出力された複数の部材面領域２２３とに基づいて、撮影画像２５０における部材３５０の位置及び形状を判定し、部材３５０の位置及び形状を含む部材情報３５１を出力する。具体的には、部材判定部１３０は、部材色領域２１３と複数の部材面領域２２３とが重なる領域を撮影画像２５０における部材３５０が占める部材領域２１４として算出し、部材領域２１４に基づいて部材３５０の位置及び形状を判定する。
【００５９】
＊＊＊効果の説明＊＊＊
以上のように、本実施の形態によれば、複数の撮影装置２００を使用することにより、実施の形態１よりも色画像と距離画像の分解能を高めることができるため、材料の形状と位置をより正確に求めることができ、高精度な位置決めを実現できる。
【００６０】
上記の実施の形態では、「色画像歪み補正部」、「色画像俯瞰変換部」、「部材色領域抽出部」、「距離画像歪み補正部」、「距離画像俯瞰変換部」、「部材面領域抽出部」、「部材判定部」がそれぞれ独立した機能ブロックとして部材判定装置を構成している。しかし、部材判定装置は上記のような構成でなくてもよく、部材判定装置の構成は任意である。「色画像歪み補正部」、「色画像俯瞰変換部」、「部材色領域抽出部」をひとつの機能ブロックで実現し、「距離画像歪み補正部」、「距離画像俯瞰変換部」、「部材面領域抽出部」をひとつの機能ブロックで実現してもよい。また、「色画像歪み補正部」、「距離画像歪み補正部」を１つの機能ブロックで実現し、「色画像俯瞰変換部」、「距離画像俯瞰変換部」を１つの機能ブロックで実現してもよい。
【００６１】
また、部材判定装置は、１つの装置でなく、複数の装置から構成されてもよい。部材判定装置の機能ブロックは、実施の形態に記載した機能を実現することができれば、任意であり、これらの機能ブロックを、他のどのような組み合わせで部材判定装置を構成しても構わない。
【００６２】
以上、実施の形態１，２について説明したが、これらの２つの実施の形態を組み合わせて実施しても構わない。あるいは、これらの２つの実施の形態のうち、１つの実施の形態を部分的に実施しても構わない。あるいは、これらの２つの実施の形態のうち、複数を部分的に組み合わせて実施しても構わない。その他、これらの２つの実施の形態を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
なお、上記の実施の形態は、本質的に好ましい例示であって、本発明、その適用物や用途の範囲を制限することを意図するものではなく、必要に応じて種々の変更が可能である。
【符号の説明】
【００６３】
１００，１００ａ  部材判定装置、１１０，１１０ａ  部材色抽出部、１１１  色画像歪み補正部、１１２  色画像俯瞰変換部、１１３，１１３ａ  色画像変換部、１１４  部材色領域抽出部、１１６  色画像合成部、１２０  部材面抽出部、１２１  距離画像歪み補正部、１２２  距離画像俯瞰変換部、１２３  距離画像変換部、１２４  部材面領域抽出部、１３０  部材判定部、１４０  部材色テーブル、２００，２００ａ，２００ｂ  撮影装置、２１０，２１０ａ，２１０ｂ  色画像、２１１  色画像補正画像、２１２，２１２ａ，２１２ｂ，２１２ａｂ  色画像変換画像、２１３  部材色領域、２１４  部材領域、２２０  距離画像、２２１  距離画像補正画像、２２２  距離画像変換画像、２２３  部材面領域、２５０  撮影画像、３００  レーザー加工機、３１０  部材加工台、３１１  非部材Ａ、３１２  非部材Ｂ、３１３  非部材Ｃ、３３０  撮影対象、３５０  部材、３５１  部材情報、４０１  画素値範囲、５００，５００ａ  部材判定システム、９０１  演算装置、９０２  外部記憶装置、９０３  主記憶装置、９０４  通信装置、９０５  入出力装置、２１２１  色画像マップ、２２２１  距離画像マップ、３１０１  加工台相当部、Ｈ  平面射影行列、Ｒ  重複領域、Ｓ１１０  部材色抽出処理、Ｓ１２０  部材面抽出処理、Ｓ１３０  部材判定処理。
【図１】
2016109646.tif 000003
【図２】
2016109646.tif 000004
【図３】
2016109646.tif 000005
【図４】
2016109646.tif 000006
【図５】
2016109646.tif 000007
【図６】
2016109646.tif 000008
【図７】
2016109646.tif 000009
【図８】
2016109646.tif 000010
【図９】
2016109646.tif 000011