(57)【要約】【課題】複数の重なり合った物品でも、画像処理により正確に個数をカウントすることが可能な物品の個数カウント装置を提供する。【解決手段】画像処理手段６は、３次元的にそれぞれ異なった角度の物品ＷのテンプレートＴＰｎを複数記憶したテンプレートＴＰ記憶部６３と、撮像手段５から得られた画像からノイズ除去を行い物品Ｗ画像のみを得た後、テンプレートＴＰ記憶部が有するテンプレートＴＰｎと物品Ｗ画像とをマッチングする演算部６１と、演算部６１から得られたテンプレートＴＰｎのマッチング処理より物品Ｗの個数をカウントする判定部６２を有し、演算部６１は、複数のワークＷが重なり合った状態の物品Ｗ画像に、テンプレートＴＰ記憶部が有するテンプレートＴＰｎをマッチングさせることにより物品の個数をカウントすることを特徴とする。【選択図】図３
2018167974.tif 000002
【特許請求の範囲】
【請求項１】
コンベアで搬送される物品の個数をカウントする物品の個数カウント装置であって、
コンベアで搬送される物品の画像を撮像する撮像手段と、
撮像手段で得られた画像からコンベア上の物品の個数をカウントする画像処理手段を備え、
画像処理手段は、３次元的にそれぞれ異なった角度の物品のテンプレートＴＰを複数記憶したテンプレートＴＰ記憶部と、
撮像手段から得られた撮像画像からノイズ除去を行い物品画像のみを得た後、テンプレートＴＰ記憶部が有する前記テンプレートＴＰと物品画像とをマッチングする演算部と、
演算部から得られた前記テンプレートＴＰのマッチング処理より物品の個数をカウントする判定部を有し、
前記演算部は、複数の物品が重なり合った状態の物品画像に、テンプレートＴＰ記憶部が有する前記テンプレートＴＰをマッチングさせることにより物品の個数をカウントすることを特徴とする物品の個数カウント装置。
【請求項２】
前記コンベアには照明手段を備え、照明手段はプロジェクタから縞模様を有する照明をコンベア上に投影し、演算部は縞模様を有する画像からノイズ除去を行い物品画像のみを得て、物品画像と前記テンプレートＴＰとをマッチングさせて物品の個数をカウントすることを特徴とする請求項１に記載の物品の個数カウント装置。
【請求項３】
前記個数カウントの対象となる物品が加熱された状態の物品であり、撮像手段が熱感知するサーモカメラであることを特徴とする請求項１に記載の物品の個数カウント装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンベアで搬送される物品の個数を画像処理にてカウントする物品の個数カウント装置に関する。
【背景技術】
【０００２】
例えば、鍛造プレスで成形された鍛造品は、コンベアに搬送され、コンベア先に用意されたパレットに積み込まれる。
パレットには、決められた数量の鍛造品を積み込むため、コンベアで搬送される時に鍛造品の個数をコンベア側面部に設置された光電管でカウントする方法がある。
光電管で個数をカウントする場合は、２個以上の鍛造品が重なり合って搬送されると、１個とカウントして個数を正確に計ることができない。
光電管に替わる個数のカウント方法として、ＣＣＤカメラを用いた画像処理により、物品の個数をカウントする方法がある。（例えば特許文献１参照）
特許文献１には、ＣＣＤカメラを用いた画像処理により、２つ以上の物品が重なり合って搬送されるものは、２値化処理をした後、２値化画像の面積を求め、面積の閾値から物品の個数をカウントする方法がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０９−１２４１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
面積の閾値から物品の個数をカウントする場合、単に上面、下面とも同じ形状の物品（単純形状の物品）であれば、コンベア上でどの向きに置かれても、ＣＣＤカメラから捉えた物品の画像から常に１個当たりの面積は同じ面積となる。これにより、２個以上の物品が重なりあっても面積の閾値から物品の個数を正確にカウントすることが出来る。
しかし、例えば図１の様な上面と下面で形状が異なる物品（ワークＷ）の場合、コンベア２上でいろいろな向きに置かれた状態であると、ＣＣＤカメラから捉えた部品の画像は、１個当たりの面積も、置かれた向きによって変化する。２個以上の物品がそれぞれ違った向きで重なり合った場合は、面積の閾値から個数をカウントすることが困難になる場合があり、個数のカウントを間違う虞が生じる。
また、物品とコンベアの色がほぼ同色である場合は、撮像装置から得られた画像からコンベアの部分（背景部分）を二値化処理してもコンベアの一部が画像に残ることがあり、物品と誤検知する虞がある。
本発明は、上記課題を鑑みて、上面と下面で形状が異なる物品が複数個重なり合った場合でも、画像処理により正確に個数をカウントすることが可能な物品の個数カウント装置を提供する。また、物品とコンベアの色がほぼ同色である場合でも、画像処理により正確に物品の個数をカウントすることが可能な物品の個数カウント装置を提供する。
【課題を解決するための手段】
【０００５】
上記課題を解決するための本発明１（請求項１）は、コンベアで搬送される物品の個数をカウントする物品の個数カウント装置であって、
コンベアで搬送される物品の画像を撮像する撮像手段と、
撮像手段で得られた撮像画像からコンベア上の物品の個数をカウントする画像処理手段を備え、
画像処理手段は、３次元的にそれぞれ異なった角度の物品のテンプレートＴＰを複数記憶したテンプレートＴＰ記憶部と、
撮像手段から得られた撮像画像からノイズ除去を行い物品画像のみを得た後、テンプレートＴＰ記憶部が有する前記テンプレートＴＰと物品画像とをマッチングする演算部と、
演算部から得られた前記テンプレートＴＰのマッチング処理より物品の個数をカウントする判定部を有し、
前記演算部は、複数の物品が重なり合った状態の物品画像に、テンプレートＴＰ記憶部が有する前記テンプレートＴＰをマッチングさせることにより物品の個数をカウントすることを特徴とする。
また、本発明２（請求項２）は、本発明１に記載のコンベアには照明手段を備え、照明手段はプロジェクタから縞模様を有する照明をコンベア上に投影し、前記演算部において、縞模様を有する画像からノイズ除去を行った物品画像を得て、物品画像と前記テンプレートＴＰとをマッチングさせて物品の個数をカウントすることを特徴とする。
本発明３（請求項３）は、前記個数カウントの対象となる物品が加熱された状態の物品であり、撮像手段が熱感知するサーモカメラであることを特徴とする。
【発明の効果】
【０００６】
本発明１によれば、複数の物品があらゆる向きに重なり合った状態の物品画像に、予め記憶されたあらゆる角度の物品のテンプレートＴＰをマッチングさせることで、重なり合った状態の物品の個数を正確にカウントすることが可能である。
本発明２によれば、物品とコンベアとの段差で縞模様に歪みが発生することで、物品の領域とコンベアの領域とを分離することが可能となり、物品とコンベアの色がほぼ同色である場合でも、画像処理により正確に物品の個数をカウントすることができる。
本発明３によれば、個数カウントの対象となる物品が加熱された高温状態であれば、サーモカメラを使用することで、温度分布から容易に物品の領域とコンベアの領域とを分離することが可能となり、画像処理により正確に物品の個数をカウントすることができる。
【図面の簡単な説明】
【０００７】
【図１】図1は、ワークＷの重なった状況を説明する図
【図２】図２は、本発明の物品の個数カウント装置を使用した実施例の概略図
【図３】図３は、本発明の物品の個数カウント装置の構成図
【図４】図４は、個数カウント装置による個数カウント方法を示したフローチャート
【図５】図５は、ＣＣＤカメラにより撮像されたワークＷの撮像画像
【図６】図６は、図５の撮像画像からノイズ除去された後の物品画像
【図７】図７は、ワークＷのテンプレートＴＰを示す図
【図８】図８は、ワークＷとコンベア２に縞模様１０を投影した撮像画像
【図９】図９は、縞模様投影によるノイズ除去方法を示したフローチャート
【図１０】図１０は、テンプレートマッチングによる個数カウント方法を示したフローチャート
【図１１】図１１は、ワークＷのテンプレートＴＰを使用したテンプレートマッチングの概略図
【図１２】図１２は、本発明の物品の個数カウント装置を使用した他の実施例の概略図
【実施例】
【０００８】
（本発明の物品の個数カウント装置の構成）
図２は、本発明の物品の個数カウント装置を使用した実施例の概略図を示す。
鍛造プレス１で成形されたワークＷは、図示しないシュートによりコンベア２上に搭載され、コンベア２により搬送された後、積込みロボット３によりパレット４に指定された数量のワークＷが積み込まれる。パレットは、指定数量のワークＷが積み込まれると、他のパレット４に交換される。
コンベア２付近には、コンベア２に搬送されるワークＷを撮像するＣＣＤカメラ（撮像装置）５、ＣＣＤカメラ５が撮像する領域に縞模様の照明を投影するプロジェクタ７がそれぞれ配置されている。
また、ＣＣＤカメラ５により撮像された画像を画像処理してワークＷの個数をカウントする画像処理装置（ＰＣ）６、画像処理装置６の個数カウントを表示するモニターやプリンター等の表示部８、画像処理装置６により得られた個数情報を基に積込みロボット３を制御するためのシーケンサ９がそれぞれ配置されている。
本発明の物品の個数カウント装置は、ＣＣＤカメラ５、画像処理装置６から構成され、画像処理装置（ＰＣ）６は、図３に示す様に、画像入力部（メモリ）６０、演算部（ＣＰＵ）６１、判定部（ＣＰＵ）６２、テンプレートＴＰ記憶部６３（メモリ）、画像記憶部（メモリ）６４、信号入出力部（Ｉ／Ｏボード）６５の機能を有するプログラムまたはデータがインストールされている。
【０００９】
（本発明の個数カウント装置における個数カウント方法）
次に、本発明の個数カウント装置における個数カウント方法の手順を図４に示す。
まず、ＣＣＤカメラ５により撮像された撮像画像（図５）は、ＣＣＤカメラ５によりＡ／Ｄ変換された後、画像処理装置６に画像データとして送信される（ステップＳ１）。
画像処理装置６に送信された画像データ（図５）は、画像入力部６０に一時記憶され、演算部６１により画像データのノイズ除去（図６）が行われる（ステップＳ２）。
ノイズ除去された画像データ（図６）は、さらに演算部６１によりエッジ画像（ワークＷの輪郭のみの画像）に加工された後（ステップＳ３）、テンプレートＴＰ記憶部に記憶されたワークＷのテンプレートＴＰ（図７）を用いて演算部６１によりエッジ画像とテンプレートＴＰとのマッチングを行う（ステップＳ４）。演算部６１によるマッチング結果から判定部６１はワークＷの個数を判定し、個数情報を画像記録部６４に記録する（ステップＳ５）。画像記録部６４に記録された個数情報の信号は信号入出力部６５に入力され、信号入出力部６５よりシーケンサ９及び表示部８それぞれに個数情報の信号を出力する（ステップＳ６）。信号入出力部６５より個数情報の信号を受けたシーケンサ９は入力された個数情報を基に積込みロボット３を制御する。（ステップＳ７）
【００１０】
（縞模様投影によるノイズ除去方法）
本発明２における縞模様投影によるノイズ除去方法について以下に説明する。
図２の様に、プロジェクタ７から縞模様の照明をコンベア２上に投影した場合、ＣＣＤカメラ５から撮像された画像は、図５の様にワークＷとコンベア２に縞模様１０を帯びた画像が得られる。さらには、図８の様にワークＷとコンベア２との境で縞模様１０に歪１１（縞模様にずれ）が生じる。この歪１１を利用してワークＷとコンベア２との分離を行う。
図９には、この縞模様１０の歪１１を利用したノイズ除去の処理方法のフローチャートを示す。
まず、プロジェクタ７により縞模様１０を投影されたコンベア２のみの画像（ベース画像）、コンベア２で搬送されるワークＷの画像（ワーク画像）をそれぞれＣＣＤカメラ５により撮像し（ステップＳ２１）、ベース画像、ワーク画像それぞれのカラー画像から、演算部６１により縞模様有り画像、縞模様無し画像（共にモノクロ画像）を抽出する（ステップＳ２２）。
次に、ベース画像、ワーク画像それぞれの縞模様有り画像を演算部６１により２値化し（ステップＳ２３）、演算部６１によりベース画像、ワーク画像の２値化画像をＸＯＲ（排他的論理和）演算（ステップＳ２４）した後、ＸＯＲ演算後の画像から膨張・収縮処理を行い、ワーク領域を判定する（ステップＳ２５）。最後に、ワーク領域を判定したワーク領域画像と縞模様なし画像（モノクロ画像）をＡＮＤ（論理積）演算し、ワーク領域のみの画像（図６）を作成する。
この縞模様を投影したノイズ除去を行うことで、従来の様なコンベアとワークの色が同色の場合に２値化によるコンベアとワークの分離（背景分離）が困難であった課題を解決することができる。
【００１１】
(テンプレートマッチングによる個数カウント方法)
本発明１におけるテンプレートＴＰマッチングによる個数カウント方法について図
１０に示すフローチャートにより説明する。
まず、演算部６１は、テンプレートＴＰ記憶部６３から図７に示す複数のワークＷの
テンプレートＴＰ１からテンプレートＴＰｎの内から１つのテンプレートＴＰを選択する（ステップＳ４１）。例えば、最初はテンプレートＴＰ１から選択し（ステップＳ４２）、エッジ画像内のワーク領域ＡｎとテンプレートＴＰ１とのマッチング処理を行う（ステップＳ４３）。
マッチング処理時にテンプレートＴＰ１とワーク領域Ａｎの重複する画素数が任意の閾値以上である場合は、マッチングした個数をカウントアップする（ステップＳ４４）例えば、テンプレートＴＰ１がワーク領域Ａｎに１個ある場合は１個とカウントし、２個ある場合は２個とカウントする。
次に、ワーク領域ＡｎからテンプレートＴＰ１の領域を削除して重複カウントを防ぐ（ステップＳ４５）。この時にワーク領域Ａｎが任意の閾値以下と判定した場合、カウント処理を終了する（ステップＳ４６）。
ワーク領域Ａｎが閾値以上と判定した場合は、テンプレートＴＰｎをテンプレートＴＰ１からテンプレートＴＰ２に変更して、ワーク領域ＡｎとテンプレートＴＰ２とのマッチング（ステップＳ４３）からワーク領域Ａｎが閾値以下であるかどうかの判定（ステップＳ４６）を繰り返し行う。（ステップＳ４７）。
以上のテンプレートＴＰｎによるマッチング処理を繰り返し行い、ワーク領域Ａｎが閾値以下となった時点でテンプレートマッチング処理が終了する。
【００１２】
図１１は、重なり合う複数のワークＷのエッジ画像Ｐ１において複数の向きの異なるワークＷのテンプレートＴＰ１からＴＰｎを用いてテンプレートマッチングを行う場合の概略図を示す。
エッジ画像Ｐ１には、ワークＷ１からワークＷ３の３つのワークＷが重なり合っている状態で写っている。まず、ワークＷ１からワークＷ３を含むワーク領域Ａ１において、テンプレートＴＰ１から順番に選択して、マッチングを行っていく（ステップＳ４１、Ｓ４２）。その結果、エッジ画像Ｐ２のようにテンプレートＴＰ４がワークＷ１とマッチングする（ステップＳ４３）。
この時に、個数として１個をカウントする（ステップＳ４４）。ワーク領域Ａ１からテンプレートＴＰ４の領域を削除し、ワーク領域Ａ２とすることによって、同じワークを重複してカウントすることを防ぐ（ステップＳ４５）。この時、ワーク領域Ａ２が任意の閾値以上であるので（ステップＳ４６）、テンプレートＴＰ４からテンプレートＴＰ５以降に変更してワーク領域Ａ２とマッチングを行う（ステップＳ４７）。
同様にして、テンプレートＴＰ７がワークＷ２にマッチング（エッジ画像Ｐ３）し、テンプレートＴＰｎ−１がワークＷ３にマッチングして（エッジ画像Ｐ４）、それぞれワークＷの個数１個をカウントする。
その後、ワーク領域Ａ４のように領域が任意の閾値以下となった場合、カウント処理を終了し、判定部６２によりワークＷの個数を３個と判定する。
以上の本発明におけるテンプレートＴＰマッチングによる個数カウント方法により、複数のワークＷがあらゆる向きに重なり合った状態でも、予め記憶されたあらゆる角度のワークＷテンプレートＴＰを複数組合せてマッチングすることで、重なり合った状態のワークＷの個数を正確にカウントすることが可能となる。
【００１３】
（サーモカメラによる物品の個数カウント装置の構成）
ワークＷが例えば熱間鍛造品の様な高温度な物品である場合の個数カウント装置の構成を図１２に示す。図１との構成の違いは、撮像手段が熱感知するサーモカメラ５０であることと、縞模様を投影するプロジェクタ７が無いことである。その他の構成については図１と同じである。ワークＷの温度が数１００℃から１０００℃程ある場合、ワークＷとコンベア２との温度差により、サーモカメラ５０による撮像画像にはワークＷとコンベア２に温度分布による識別が明確となる。そのため、ワークＷとコンベア２がほぼ同色であっても撮像画像からコンベア２の部分を除去（ノイズ除去）が容易となる。画像処理装置６によるワークＷの個数カウント方法については、縞模様によるノイズ除去を除いては、上記処理方法と同じである。
【符号の説明】
【００１４】
１  鍛造プレス
２  コンベア
３  積込みロボット
４  パレット
５  ＣＣＤカメラ（撮像装置）
６  画像処理装置
７  プロジェクタ
８  表示部
９  シーケンサ
１０  縞模様
１１  歪
５０  サーモカメラ（撮像装置）
６０  画像入力部
６１  演算部
６２  判定部
６３  テンプレートＴＰ記憶部
６４  画像記憶部
６５  信号入出力部
W  ワーク（物品）
ＴＰ  テンプレート
【図１】
2018167974.tif 000003
【図２】
2018167974.tif 000004
【図３】
2018167974.tif 000005
【図４】
2018167974.tif 000006
【図５】
2018167974.tif 000007
【図６】
2018167974.tif 000008
【図７】
2018167974.tif 000009
【図８】
2018167974.tif 000010
【図９】
2018167974.tif 000011
【図１０】
2018167974.tif 000012
【図１１】
2018167974.tif 000013
【図１２】
2018167974.tif 000014