(57)【要約】【課題】  色情報の似た充填物を複数回にわたって投入する場合であっても、後に投入された充填物の投入状態を判定できる。【解決手段】  上方より充填物が投入された容器２を上方から撮影し、当該画像に基づいて容器２内の充填物の投入状態を判定する充填物検査方法に関する。  ネギ４（第１充填物）の収容された容器２の内部を上方からカラーカメラによって撮影し（図２（ａ−１））、当該画像から上記ネギ４と同系色の色情報によって構成された第１の像を抽出する（図２（ａ−２））。  その後、ネギ４と同系色の色情報を有するキャベツ６（第２充填物）を容器２に投入し、ネギ４およびキャベツ６の投入された容器２を上方からカラーカメラによって撮影し（図２（ｂ−１））、当該ネギ４およびキャベツ６と同系色の色情報によって構成された第２の像を抽出して（図２（ｂ−２））、上記第１の像と上記第２の像との差分から上記キャベツ６の投入状態を判定する。【選択図】  図２
2020117293.tif 000002
【特許請求の範囲】
【請求項１】
上方より充填物が投入された容器の内部を上方から撮影し、撮影された画像に基づいて容器内の充填物の投入状態を判定する充填物検査方法において、
第１充填物の収容された容器を上方からカラーカメラによって撮影したら、当該画像から上記第１充填物と同系色の色情報によって構成される第１の像を抽出し、
その後、第１充填物と同系色の色情報を有する第２充填物を容器内に投入し、上記第１、第２充填物の投入された容器の内部を上方からカラーカメラによって撮影したら、当該第１、第２充填物と同系色の色情報によって構成される第２の像を抽出し、
上記第１の像と上記第２の像との差分から上記第２充填物の投入状態を判定することを特徴とする充填物検査方法。
【請求項２】
上記像の差分を、上記第１の像の面積と上記第２の像の面積とから求めることを特徴とする請求項１に記載の充填物検査方法。
【請求項３】
上記像の差分を、上記第１の像が画像中に占める領域と、上記第２の像が画像中に占める領域とから求めることを特徴とする請求項１に記載の充填物検査方法。
【請求項４】
容器の上方より充填物を投入する充填物投入手段と、当該充填物の投入された容器の内部を上方から撮影する撮影手段と、撮影手段が撮影した画像に基づいて容器内の充填物の投入状態を判定する判定手段とを備えた充填物検査装置において、
上記充填物投入手段は、同系色の色情報を有する第１充填物および第２充填物を異なるタイミングで容器に投入し、
上記撮影手段はカラーカメラを備え、上記第１充填物が投入された容器内の画像と、第１、第２充填物が投入された容器内の画像とを撮影し、
さらに上記撮影手段は画像処理手段を備え、第１充填物が投入された容器内の画像から当該第１充填物と同系色の色情報によって構成される第１の像と、第１、第２充填物が投入された容器内の画像から当該第１、第２充填物と同系色の色情報によって構成される第２の像とを抽出し、
上記判定手段は、上記第１の像と上記第２の像との差分から第２充填物の投入状態を判定することを特徴とする充填物検査装置。
【請求項５】
上記容器を搬送する搬送装置を備え、
上記充填物投入手段は、上記搬送装置の搬送経路に沿って配置された複数の充填物投入部材を備え、当該充填物投入部材によって上記容器内に第１、第２充填物の順に投入し、
さらに、上記カラーカメラを、各充填物投入部材の搬送方向下流側に隣接した位置に配置したことを特徴とする請求項４に記載の充填物検査装置。
【請求項６】
上記充填物投入手段は、上記第１充填物を容器内に投入した後であって、かつ上記第２充填物を容器内に投入する前に、上記第１、第２充填物と異なる色情報を有する第３充填物を容器内に投入し、
上記画像処理手段は、上記第１の像を、上記第１充填物および第３充填物が投入された容器の画像から抽出することを特徴とする請求項４または請求項５のいずれかに記載の充填物検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は充填物検査方法および充填物検査装置に関し、詳しくは容器内に複数種類投入された充填物の投入状態を判定するための充填物検査方法および充填物検査装置に関する。
【背景技術】
【０００２】
例えばいわゆるカップ麺を製造する際、乾燥した即席麺が収容された容器に対し、上方からフリーズドライされたネギや玉子などの具材（充填物）を、その種類ごとに投入するようにした製造装置が知られている（特許文献１）。
一方、例えば弁当箱等の容器に、必要な具材（充填物）が収容されているか否かを確認するために、容器をカラーカメラで撮影し、撮影された画像から具材の有する色情報を抽出して当該具材が占める面積を求め、これを基準となる面積と比較することにより、具材の抜けを判定する充填物検査装置が知られている（特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１３７９１６号公報
【特許文献２】特開２０１４−１４５６３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、特許文献１において充填物を投入した容器についても、上記特許文献２に記載された技術を用いることにより、当該充填物の抜けを判定することができると考えられる。
しかしながら、特許文献１の充填装置は容器内にランダムに充填物を投入するため、特許文献２のように具材ごとに検査領域を設定することができず、また色情報の似た具材、例えばネギやキャベツといった緑色系の充填物を容器に投入すると、特許文献２の技術では、このような色情報が似た充填物を判別することまでは想定されていなかった。
このような問題に鑑み、本発明は色情報の似た充填物が複数回にわたって投入された容器であっても、後に投入された充填物の投入状態を判定することが可能な充填物検査方法および充填物検査装置を提供するものである。
【課題を解決するための手段】
【０００５】
すなわち、請求項１の発明にかかる充填物検査方法は、上方より充填物が投入された容器の内部を上方から撮影し、撮影された画像に基づいて容器内の充填物の投入状態を判定する充填物検査方法において、
第１充填物の収容された容器を上方からカラーカメラによって撮影したら、当該画像から上記第１充填物と同系色の色情報によって構成される第１の像を抽出し、
その後、第１充填物と同系色の色情報を有する第２充填物を容器内に投入し、上記第１、第２充填物の投入された容器の内部を上方からカラーカメラによって撮影したら、当該第１、第２充填物と同系色の色情報によって構成される第２の像を抽出し、
上記第１の像と上記第２の像との差分から上記第２充填物の投入状態を判定することを特徴としている。
また、請求項４の発明にかかる充填物検査装置は、容器の上方より充填物を投入する充填物投入手段と、当該充填物の投入された容器の内部を上方から撮影する撮影手段と、撮影手段が撮影した画像に基づいて容器内の充填物の投入状態を判定する判定手段とを備えた充填物検査装置において、
上記充填物投入手段は、同系色の色情報を有する第１充填物および第２充填物を異なるタイミングで容器に投入し、
上記撮影手段はカラーカメラを備え、上記第１充填物が投入された容器内の画像と、第１、第２充填物が投入された容器内の画像とを撮影し、
さらに上記撮影手段は画像処理手段を備え、第１充填物が投入された容器内の画像から当該第１充填物と同系色の色情報によって構成される第１の像と、第１、第２充填物が投入された容器内の画像から当該第１、第２充填物と同系色の色情報によって構成される第２の像とを抽出し、
上記判定手段は、上記第１の像と上記第２の像との差分から第２充填物の投入状態を判定することを特徴としている。
【発明の効果】
【０００６】
上記発明によれば、第１充填物の収容された容器内の画像から、第１充填物と同系色の色情報によって構成された第１の像を抽出するとともに、第１充填物と同系色の色情報を有する第２充填物を投入した容器の内部を撮影して、撮影した容器内の画像から当該第１、第２充填物と同系色の色情報によって構成された第２の像を抽出する。
上記第２の像には、既に撮影した第１の像に含まれる第１充填物の画像も含まれていることから、抽出した第１の像と第２の像との差分を求めることで、第２充填物を認識することができ、当該第２充填物の投入状態を判定することが可能となっている。
【図面の簡単な説明】
【０００７】
【図１】本実施例にかかるカップ麺製造装置の側面図
【図２】カラーカメラによって撮影した容器の内部の画像と、画像処理手段が当該画像より抽出した像を示す図
【発明を実施するための形態】
【０００８】
以下図示実施例について説明すると、図１はいわゆるカップ麺を製造するカップ麺製造装置１を示し、樹脂製の容器２の内部に、乾燥した即席麺３のほか、粉末状のスープやフリーズドライされたネギ４、玉子５、キャベツ６といった充填物を投入し、その後当該容器２を紙蓋等で封鎖したら、当該容器２を透明フィルムによって包装するものとなっている。
またこのカップ麺製造装置１では、上記ネギ４、玉子５、キャベツ６などの充填物が投入されたか否かについての判定行うようになっており、本発明にかかる充填物検査装置を構成するものとなっている。
上記容器２は上方に向けて拡径する略円錐台形状を有したカップとなっており、その上部に形成された開口部を介して上方から上記即席麺３や充填物が投入されるようになっている。
上記即席麺３は乾燥した状態で所定形状に形成されており、カップ麺製造装置１の図示しない上流部分で容器２内に収容されるようになっている。充填物としての上記ネギ４、玉子５、キャベツ６といった具材は、予め所定の大きさに切断された状態でフリーズドライされており、容器２に投入されると、即席麺３の上部にランダムな位置に落下するようになっている（図２参照）。
【０００９】
カップ麺製造装置１は、上記容器２を搬送する搬送装置７と、容器２の上方より充填物を投入する充填物投入装置８と、当該充填物の投入された容器２を上方から撮影する撮影装置９と、撮影装置９が撮影した画像に基づいて容器２内の充填物の投入状態を判定する判定手段１０ａとを備え、この判定手段１０ａはカップ麺製造装置１全体を制御する制御装置１０の一部を構成している。
上記搬送装置７は、搬送方向に沿って平行に設けられた２本のチェーン１１と、当該チェーン１１とチェーン１１との間にかけ渡されて上記容器２を保持するリテーナ１２とを備え、上記チェーン１１が図示しない駆動手段によって間欠的に駆動されることで、上記リテーナ１２に保持された容器２が間欠的に移動するようになっている。
上記リテーナ１２には搬送方向に対して直交する方向に複数の収容孔が形成されており、複数列の容器２を同時に搬送することが可能となっている。
【００１０】
上記充填物投入装置８は、上記搬送装置７によって複数列で搬送される容器２に対し、充填物を種類ごとに分けて投入することが可能となっており、上記搬送装置７による各列の容器２の停止位置の上方には、各列毎に搬送方向に沿って３つの充填物投入部材８ａが設けられている。
これら充填物投入部材８ａは、上流側から順に、ネギ４、玉子５、キャベツ６を所定量ずつ容器２に投入するようになっており、具体的には、最初に緑色系の色情報を有した第１充填物としてのネギ４を、次に黄色系の色情報を有した第３充填物としての玉子５を、最後に緑色系の色情報を有した第２充填物としてのキャベツ６を投入するようになっている。
なお、具体的な充填物としてはネギ、玉子、キャベツに限定されるものではないことは言うまでもないが、同系色のものを第１、第２充填物、これら第１、第２充填物と異なる色情報を有したものを第３充填物としている。また、上記充填物投入装置８は上記特許文献１等において従来公知であるため、これ以上の詳細な説明については省略する。
【００１１】
上記撮影装置９は、上記搬送手段７によって搬送される容器２を上方から撮影する３台の第１〜第３カラーカメラ１３Ａ〜１３Ｃと、第１〜第３カラーカメラ１３Ａ〜１３Ｃがそれぞれ撮影した画像を画像処理する画像処理手段１０ｂとを各列毎に搬送方向に沿って備え、上記画像処理手段１０ｂは上記制御装置１０の一部を構成している。
本実施例において、上記第１〜第３カラーカメラ１３Ａ〜１３Ｃは上記搬送装置７の各列の上方に位置している上記３つの充填物投入部材８ａの下流側にそれぞれ隣接した位置に設けられるとともに、第１〜第３カラーカメラ１３Ａ〜１３Ｃは撮影方向を下方に向けて設けられている。
また第１〜第３カラーカメラ１３Ａ〜１３Ｃと搬送装置７との間にはそれぞれバー照明１４が設けられ、上記撮影装置９によって間欠停止した容器２の上方には上記バー照明１４および第１〜第３カラーカメラ１３Ａ〜１３Ｃが位置するようになっている。
【００１２】
上記画像処理手段１０ｂは、上記第１〜第３カラーカメラ１３Ａ〜１３Ｃから多数の画素からなる画像データを得るようになっており、当該画像データを構成する各画素には、位置情報としてのアドレスおよび色情報が記録されている。
上記色情報としては、例えば色相（色味）、彩度（色の鮮やかさ）、明度（色の明るさ）の３つの情報（数値）により表現されるＨＳＶ（もしくはＨＳＢ）モデルや、ＨＳＬモデルを利用することができ、上記画像処理手段１０ｂは撮影された画像から特定の色情報を有する画素によって構成された像を抽出することができる。
例えば、上記ネギ４やキャベツ６は緑色系を有していることから、画像処理手段１０ｂは撮影された画像から緑色系の色情報を有した画素を選択して、上記ネギ４やキャベツ６に相当する像を作成することが可能となっている。
ここで、ネギ４やキャベツ６は緑色系に属するものの、部分によっては濃淡に差があることから、ネギ４やキャベツ６を上記像として抽出するためには、緑色系として認識する範囲を広めに設定する必要がある。
このため、ネギ４とキャベツ６を認識するための色情報は相互にその数値範囲が重複してしまい、一つの画像にネギ４およびキャベツ６が撮影されている場合には、画像処理手段１０ｂはネギ４およびキャベツ６が一体となった像を抽出してしまい、ネギ４またはキャベツ６を区別することができないこととなる。
一方、玉子５は黄色系を有していることから、画像処理手段１０ｂは黄色系に属する色情報の画素を選択することで玉子５に相当する像を抽出できるが、容器２に収容されている即席麺３も黄色系を有している。しかしながら、即席麺３と玉子５とは色の濃度に差があるため、これら玉子５および即席麺３については異なる色情報を有しているものとして認識でき、玉子５と即席麺３とを区別して認識することができる。
なお、カラーカメラが撮影した画像から、任意の色情報を有する画素によって像を抽出する技術は、例えば特許文献２に記載されるように従来公知であるため、これ以上の説明は省略する。
【００１３】
上記判定手段１０ａは、上記画像処理手段１０ｂが抽出した像に基づいて、上記容器２への上記充填物の投入状態、具体的には当該充填物が投入されているか否かを判定するようになっている。
まず、充填物投入部材８ａが容器２にネギ４を投入し、第１カラーカメラ１３Ａが当該ネギ４の投入された容器２を撮影すると、画像処理手段１０ｂは画像中における緑色系の画素から当該ネギ４の像を抽出する。
すると、判定手段１０ａは、抽出されたネギ４の像を構成する画素の数をカウントし、当該画素数が所定数以上ある場合には当該ネギ４が投入されたものと判定する。
ここで、即席麺３の色情報は黄色系であるのに対し、ネギ４の色情報は緑色系であることから、画像処理手段１０ｂは即席麺３のなかからネギ４を示す像を容易に抽出することができ、判定手段１０ａはネギ４の投入状態を容易に判定することが可能となっている。
【００１４】
次に、容器２が移動して第２の充填物投入部材８ａが容器２に玉子５を投入し、第２カラーカメラ１３Ｂが当該玉子５の投入された容器２の内部を撮影すると（図２（ａ−１））、画像処理手段１０ｂは画像中における黄色系の画素から当該玉子５の像を抽出し、判定手段１０ａは抽出された玉子５の像を認識して、玉子５の投入を認識する。
ここで、玉子５の色情報は即席麺３の色情報と同じ黄色系であるものの、色の濃度に差があることから、画像処理手段１０ｂは当該玉子５の像を抽出することができる。
さらに、本実施例では玉子５の投入の前にネギ４を投入していることから、即席麺３の上部が緑色系のネギ４によって覆われ、緑色系の背景に黄色系の玉子５があらわれることから、玉子５の像をより確実に抽出することが可能となっている。
【００１５】
そして、容器２が移動して３番目の充填物投入部材８ａが容器２にキャベツ６を投入すると、第３カラーカメラ１３Ｃが当該キャベツ６の投入された容器２の内部を撮影し（図２（ｂ−１））、画像処理手段１０ｂは画像中における緑色系の画素から像を抽出する（図２（ｂ−２））。
しかしながら、上記容器２にはすでにキャベツ６と同じ緑色系のネギ４が投入されているため、抽出された像はネギ４とキャベツ６との区別ができないものとなっており、判定手段１０ａはここで抽出された像からキャベツ６が投入されたことを正確に判定できない。
【００１６】
そこで本実施例では、第２カラーカメラ１３Ｂが撮影した第１充填物としてのネギ４と、第３充填物としての玉子５とが投入された容器２の内部の画像（図２（ａ−１））から、画像処理手段１０ｂが緑色系の画素によって構成された第１の像を抽出しておく（図２（ａ−２））。換言すると、画像処理手段１０ｂは、ネギ４と玉子５とが投入された容器２の内部の画像から、緑色系を有するネギ４についての上記第１の像を抽出するようになっている。
なおこの処理は、上記ネギ４および玉子５が投入された容器２の内部の画像（図２（ａ−１））から玉子５の像を抽出し、判定手段１０ａが当該玉子５の投入の有無を判定する処理と同時に行うことができ、また抽出した第１の像は一時的に記憶しておく。
【００１７】
その後、上記第３カラーカメラ１３Ｃが第１充填物としてのネギ４と、第３充填物としての玉子５と、第２充填物としてのキャベツ６とが投入された容器２の内部を撮影すると（図２（ｂ−１））、画像処理手段１０ｂは、緑色系の画素によって構成された第２の像を抽出する（図２（ｂ−２））。
ここで得られた第２の像は、ともに緑色系の色情報を有したネギ４とキャベツ６に相当する画素によって構成されていることから、このままではネギ４とキャベツ６とを区別することができない状態となっている。
【００１８】
そこで判定手段１０ａは、上記第２カラーカメラ１３Ｂが撮影した画像より抽出した第１の像（図２（ａ−２））と、第３カラーカメラ１３Ｃが撮影した画像より抽出した第２の像（図２（ｂ−２））との差分から、キャベツ６の投入の有無を判定するようになっている。
具体的には、判定手段１０ａは上記第１の像の面積、すなわち第１の像を構成する画素の数と、第２の像の面積、すなわち第２の像を構成する画素の数とをカウントし、これら第１の像の面積と第２の像の面積の差、すなわち第２の像を構成する画素の数から第１の像を構成する画素の数を減算して、その値が所定の数を超えていた場合には、第２充填物であるキャベツ６が正常に容器２に投入されていたものとして判定する。
上記所定の数については、上記第２カラーカメラ１３Ｂが容器２の内部を撮影してから、当該容器２の内部が搬送手段によって第３カラーカメラ１３Ｃによって撮影されるまでの間に、容器２内のネギ４や玉子５が振動によって移動したり、即席麺３の隙間に入り込むなど、充填物が移動する場合があることから、このような変動を勘案して設定すればよい。
【００１９】
このように、本実施例によれば、同系色の色情報を有する充填物を複数回に分けて容器２に投入する場合であっても、後に投入した第２充填物の投入状態を正確に判定することが可能となっている。
つまり、同系色を有する第１、第２充填物を撮影した画像から抽出した第２の像と、上記第１充填物を撮影した画像から第１の像を抽出しておくことにより、これらの像の差分から上記第２充填物の投入の有無が判定できる。
【００２０】
ここで本実施例では、第１充填物としてのネギ４を投入してから、第２充填物としてのキャベツ６を投入するまでの間に、色情報の異なる第３充填物としての玉子５を投入している。
そして上記判定手段１０ａは、ネギ４および玉子５が撮影された容器２の内部の画像から第１の像を抽出し、これをキャベツ６が撮影された容器２の内部の画像から抽出された第２の像と比較している。
このように、キャベツ６（第２充填物）を投入する前に、色情報の異なる玉子５（第３充填物）を投入することで、既に容器２に投入されているネギ（第１充填物）を色情報の異なる玉子によって隠すことができる。
その後、玉子（第３充填物）の上部に色情報の異なるキャベツ（第２充填物）を容器２に投入すると、投入したキャベツ６の下に玉子５が位置することから、画像処理手段１０ｂが色情報の差からキャベツ６（第２充填物）をより確実に認識することができる。
したがって、必ずしもネギ４とキャベツ６とを投入する間に、玉子５を投入する必要はなく、ネギ４だけを投入した容器２を撮影して上記第１の像を抽出し、その後ネギ４およびキャベツ６の投入された容器２の内部を撮影して上記第２の像を抽出して、上記判定手段１０ａによる判定を行うことも可能である。
【００２１】
なお上記実施例では、判定手段１０ａによる判定の方法として、図２（ｂ−２）に示す第２の像が占める面積と、図２（ａ−２）に示す第１の像が占める面積との差分から、キャベツ６の投入の有無を判定しているが、これに代えて、図２（ｂ−２）に示す第２の像が占める領域と、図２（ａ−２）に示す第１の像が示す領域とを比較し、その差分からキャベツ６の投入の有無を判定するようにしてもよい。
具体的には、抽出した第１の像および第２の像を構成する同じ位置の画素の色情報を比較し、色情報が共通する場合には当該画素が第１充填物としてのネギ４に相当するものとして認識して、当該画素を消去する（図２（ｂ−３））。
その結果、第２の像から色情報の異なる画素だけが残ることとなり、当該画素の数が所定数以上ある場合には、当該画素が第２充填物としてのキャベツ６に相当するものとして認識し、キャベツ６の投入を認識することができる。
また上記実施例ではカップ麺に収容された即席麺３の上部に、充填物としてフリーズドライの具材を投入するカップ麺製造装置１を用いているが、移動や流動が少ない充填物を投入して、当該充填物の投入状態を判定するものであれば、カップ麺に限らずその他の充填物を投入する容器２の検査にも適用することができる。
【符号の説明】
【００２２】
１  カップ麺製造装置          ２  容器
３  即席麺                    ４  ネギ（第１充填物）
５  玉子（第３充填物）        ６  キャベツ（第２充填物）
７  搬送装置                  ８  充填物投入装置
８ａ  充填物投入部材          ９  撮影装置
１０  制御装置                １０ａ  判定手段
１０ｂ  画像処理手段          １３Ａ〜１３Ｃ  第１〜第３カラーカメラ
【図１】
2020117293.tif 000003
【図２】
2020117293.tif 000004