(57)【要約】      （修正有）【課題】ヒートシールされた部分を的確に検査できるヒートシール検査装置等を提供する。【解決手段】ヒートシールされた対象物Ｓを、照明装置５０により複数の角度から別々に照明した複数の照明画像を取得し、複数の照明画像から、対象物のヒートシールされたヒートシール部分を強調した可視化画像を生成し、可視化画像のヒートシール部分の形態に基づき、対象物が適正にヒートシールされたか否かを判定する。【選択図】図７
2019066317.tif 000002
【特許請求の範囲】
【請求項１】
ヒートシールされた対象物を、複数の角度から別々に照明した複数の照明画像を取得する画像取得手段と、
前記複数の照明画像から、前記対象物のヒートシールされたヒートシール部分を可視化した可視化画像を生成する可視化画像生成手段と、
前記可視化画像の前記ヒートシール部分の形態に基づき、前記対象物が適正にヒートシールされたか否かを判定する判定手段と、
を備えたことを特徴とするヒートシール検査装置。
【請求項２】
請求項１に記載のヒートシール検査装置において、
前記画像取得手段が、複数の角度から同時に照明した多角照明画像を取得し、
前記多角照明画像により前記可視化画像を補正する画像補正手段を更に備え、
前記判定手段が、前記補正後の可視化画像の前記ヒートシール部分の形態に基づき、前記対象物が適正にヒートシールされたか否かを判定することを特徴とするヒートシール検査装置。
【請求項３】
請求項２に記載のヒートシール検査装置において、
前記補正後の可視化画像が、前記多角照明画像から輪郭抽出をした輪郭画像と前記可視化画像との差分画像であることを特徴とするヒートシール検査装置。
【請求項４】
請求項３に記載のヒートシール検査装置において、
前記差分画像が、前記輪郭画像に対して膨張処理を行ってから、前記可視化画像との差分処理をして算出されることを特徴とするヒートシール検査装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載のヒートシール検査装置において、
前記判定手段が、前記可視化画像の前記ヒートシール部分と前記対象物に印刷された印刷部分との位置関係により、前記対象物が適正にヒートシールされたか否かを判定することを特徴とするヒートシール検査装置。
【請求項６】
請求項５に記載のヒートシール検査装置において、
前記可視化画像の前記ヒートシール部分の特徴点を算出する特徴点算出手段を更に備え、
前記判定手段が、前記ヒートシール部分の特徴点と前記印刷部分との位置関係により、前記対象物が適正にヒートシールされたか否かを判定することを特徴とするヒートシール検査装置。
【請求項７】
請求項５または請求項６に記載のヒートシール検査装置において、
前記画像取得手段が、複数の角度から同時に照明した多角照明画像を取得し、
前記対象物に印刷された印刷部分が、前記多角照明画像の前記印刷部分であることを特徴とするヒートシール検査装置。
【請求項８】
画像取得手段が、ヒートシールされた対象物を、複数の角度から別々に照明した複数の照明画像を取得する画像取得ステップと、
可視化画像生成手段が、前記複数の照明画像から、前記対象物のヒートシールされたヒートシール部分を強調した可視化画像を生成する可視化画像生成ステップと、
判定手段が、前記可視化画像の前記ヒートシール部分の形態に基づき、前記対象物が適正にヒートシールされたか否かを判定する判定ステップと、
を含むことを特徴とするヒートシール検査方法。
【請求項９】
コンピュータを、
ヒートシールされた対象物を、複数の角度から別々に照明した複数の照明画像を取得する画像取得手段、
前記複数の照明画像から、前記対象物のヒートシールされたヒートシール部分を強調した可視化画像を生成する可視化画像生成手段、および、
前記可視化画像の前記ヒートシール部分の形態に基づき、前記対象物が適正にヒートシールされたか否かを判定する判定手段として機能させることを特徴とするヒートシール検査装置用のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヒートシール検査装置、ヒートシール検査方法、および、ヒートシール検査装置用のプログラムに関する。
【背景技術】
【０００２】
液体洗剤やドリンク等の液状の内容物を収納するスタンディングパウチ等の容器は、底およびサイドがヒートシールされて形成されている。容器に液漏れが生じる可能性がないか否かの検査が行われている。例えば、特許文献１には、間欠的に移動しながらヒートシール部を形成された、包装体又は包装体となるべき材料が停止した時、ヒートシール部が停止すべき位置にある包装体または包装体となるべき材料に、暗箱の窓孔を通って平面状の光を投射し、その反射光を映像としてスクリーンに撮像し、この映像を、暗箱内の撮像検査装置に取り込んで、映像の光量を基準値と比較して、ヒートシール部の幅の異常又は位置ずれを検出するヒートシール部の検査方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１１６５１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ロールから巻き出されたヒートシールされる材料は、ヒートシール後に表裏絵柄のずれが発生しないように、過度のテンションがない、比較的緩い状態で搬送されてくる。しかし、比較的緩い状態で搬送されてきたヒートシールされる材料には、ばたつきがあり、従来技術における反射率の比較では、十分にヒートシールされた部分を的確に検査ができなかった。
【０００５】
そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、ヒートシールされた部分を的確に検査できるヒートシール検査装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、請求項１に記載の発明は、ヒートシールされた対象物を、複数の角度から別々に照明した複数の照明画像を取得する画像取得手段と、前記複数の照明画像から、前記対象物のヒートシールされたヒートシール部分を可視化した可視化画像を生成する可視化画像生成手段と、前記可視化画像の前記ヒートシール部分の形態に基づき、前記対象物が適正にヒートシールされたか否かを判定する判定手段と、を備えたことを特徴とする。
【０００７】
また、請求項２に記載の発明は、請求項１に記載のヒートシール検査装置において、前記画像取得手段が、複数の角度から同時に照明した多角照明画像を取得し、前記多角照明画像により前記可視化画像を補正する画像補正手段を更に備え、前記判定手段が、前記補正後の可視化画像の前記ヒートシール部分の形態に基づき、前記対象物が適正にヒートシールされたか否かを判定することを特徴とする。
【０００８】
また、請求項３に記載の発明は、請求項２に記載のヒートシール検査装置において、前記補正後の可視化画像が、前記多角照明画像から輪郭抽出をした輪郭画像と前記可視化画像との差分画像であることを特徴とする。
【０００９】
また、請求項４に記載の発明は、請求項３に記載のヒートシール検査装置において、前記差分画像が、前記輪郭画像に対して膨張処理を行ってから、前記可視化画像との差分処理をして算出されることを特徴とする。
【００１０】
また、請求項５に記載の発明は、請求項１から請求項４のいずれか１項に記載のヒートシール検査装置において、前記判定手段が、前記可視化画像の前記ヒートシール部分と前記対象物に印刷された印刷部分との位置関係により、前記対象物が適正にヒートシールされたか否かを判定することを特徴とする。
【００１１】
また、請求項６に記載の発明は、請求項５に記載のヒートシール検査装置において、前記可視化画像の前記ヒートシール部分の特徴点を算出する特徴点算出手段を更に備え、前記判定手段が、前記ヒートシール部分の特徴点と前記印刷部分との位置関係により、前記対象物が適正にヒートシールされたか否かを判定することを特徴とする。
【００１２】
また、請求項７に記載の発明は、請求項５または請求項６に記載のヒートシール検査装置において、前記画像取得手段が、複数の角度から同時に照明した多角照明画像を取得し、前記対象物に印刷された印刷部分が、前記多角照明画像の前記印刷部分であることを特徴とする。
【００１３】
また、請求項８に記載の発明は、画像取得手段が、ヒートシールされた対象物を、複数の角度から別々に照明した複数の照明画像を取得する画像取得ステップと、可視化画像生成手段が、前記複数の照明画像から、前記対象物のヒートシールされたヒートシール部分を強調した可視化画像を生成する可視化画像生成ステップと、判定手段が、前記可視化画像の前記ヒートシール部分の形態に基づき、前記対象物が適正にヒートシールされたか否かを判定する判定ステップと、を含むことを特徴とする。
【００１４】
また、請求項９に記載の発明は、コンピュータを、ヒートシールされた対象物を、複数の角度から別々に照明した複数の照明画像を取得する画像取得手段、前記複数の照明画像から、前記対象物のヒートシールされたヒートシール部分を強調した可視化画像を生成する可視化画像生成手段、および、前記可視化画像の前記ヒートシール部分の形態に基づき、前記対象物が適正にヒートシールされたか否かを判定する判定手段として機能させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、ヒートシールされた対象物を、複数の角度から別々に照明した複数の照明画像から、対象物のヒートシールされたヒートシール部分を強調した可視化画像を生成し、可視化画像のヒートシール部分の形態に基づき、対象物を判定するので、ヒートシールされた部分を的確に検査できる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係るヒートシール検査システムの概要構成例を示す模式図である。
【図２】図１の検査装置の概要構成の一例を示すブロック図である。
【図３】図１の底シール装置の概要を示す平面図である。
【図４Ａ】図１の底シール装置の構造の一例を示す模式図である。
【図４Ｂ】図１の底シール装置の構造の一例を示す模式図である。
【図５】図１のサイドシール装置の概要を示す平面図である。
【図６Ａ】図１のサイドシール装置の構造の一例を示す模式図である。
【図６Ｂ】図１のサイドシール装置の構造の一例を示す模式図である。
【図７】撮影装置および照明装置の配置を模式的に示した側面図である。
【図８】撮影装置および照明装置の配置を模式的に示した上面図である。
【図９】袋に対するシールの位置の一例を示す模式図である。
【図１０】検査装置における撮影の動作例を示すフローチャートである。
【図１１】撮影する範囲の一例を示す模式図である。
【図１２】リング照明器で撮影された画像の一例を示す模式図である。
【図１３】検査装置における検査の動作例を示すフローチャートである。
【図１４】合成画像の一例を示す模式図である。
【図１５】差分画像の一例を示す模式図である。
【図１６】検査値の一例を示す模式図である。
【図１７】検査値の一例を示す模式図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、ヒートシール検査システムに対して本発明を適用した場合の実施形態である。
【００１８】
［１．ヒートシール検査システム１の構成および機能概要］
（１．１  ヒートシール検査システム１の構成および機能）
まず、本発明の一実施形態に係るヒートシール検査システムの構成および概要機能について、図１を用いて説明する。
【００１９】
図１は、本発明の実施形態に係るヒートシール検査システムの概要構成例を示す模式図である。
【００２０】
図１に示すように、ヒートシール検査システム１は、ロールからシートＳを巻き出す供給装置３と、シートＳを裁断して対象物の表面になる部分と裏面になる部分とに分ける断裁装置５と、ヒートシールされた対象物を検査する検査装置１０と、対象物の底の部分をヒートシールする底シール装置２０と、対象物の両サイド部分をヒートシールするサイドシール装置３０と、ヒートシールされた対象物を撮影する撮影装置４０と、ヒートシールされた対象物を照明する照明装置５０と、を備えている。ここで、シートＳは、ヒートシ−ル可能な熱可塑性樹脂フィルムを含んで構成されている。
【００２１】
ヒートシール検査システム１は、供給装置３と、断裁装置５と、底シール装置２０と、サイドシール装置３０とを制御するヒートシール制御装置（図示せず）を備えてもよい。
【００２２】
なお、シートＳは、遮光性フィルム、ガスバリア性フィルム、保香性フィルム、耐衝撃性フィルム、耐突き刺し性フィルム等が積層されていてもよい。シートＳには、製品用の絵柄等が印刷されている。対象物は、レトルトパウチ、スタンディングパウチ、注出口付きパウチ等の包装用の容器である。また、対象物は、薬錠剤等の固形物を透明樹脂シートに形成された凹部に収容し、アルミ箔等の蓋材で密封シールしたＰＴＰ（Press Through Package）等の容器でもよい。
【００２３】
検査装置１０は、供給装置３、底シール装置２０、サイドシール装置３０等から各種データを取得する。
【００２４】
底シール装置２０は、表面になる部分と裏面になる部分との間に底材が供給された後に、対象物の底の部分を形成するためにヒートシールする。
【００２５】
サイドシール装置３０は、底シール装置２０により対象物の底の部分が形成された後、対象物の両サイド部分を形成するために、ヒートシールする。サイドシール装置３０は、シートＳの搬送方向に複数配列されている。ヒートシールの強度を高めるために、各サイドシール装置３０は、搬送のピッチの制御により、シートＳ上の同じ箇所をヒートシールしてもよい。
【００２６】
撮影装置４０は、底シール装置２０およびサイドシール装置３０によりヒートシールされた対象物を撮影する。撮影装置４０は、検査装置１０に接続して、撮影のタイミング、撮影した画像データの転送等が制御される。
【００２７】
照明装置５０は、対象物の撮影のために、対象物を照明する。照明装置５０は、検査装置１０に接続して、照明の撮影のタイミング等が制御される。
【００２８】
供給装置３と、断裁装置５と、底シール装置２０と、サイドシール装置３０とが、製袋システムを形成する。印刷されたロール状のシートＳを製品投入部にセットし、供給装置３が巻き出し、断裁装置５が幅方向半分に断裁する。断裁した片方を表面、もう片方を裏面に来るように搬送し、底シール装置２０が、袋の底部分をヒートシールし、サイドシール装置３０が、その後袋の左右をサイドシール装置３０シールする。検査装置１０により検査された後、シートＳを打抜きすることで、対象物である袋が製造される。
【００２９】
（１．２  検査装置１０の構成および機能）
次に、検査装置１０の構成および機能について、図２を用いて説明する。
【００３０】
図２は、検査装置１０の概要構成の一例を示すブロック図である。
【００３１】
図２に示すように、コンピュータである検査装置１０は、検査装置１０を制御する制御部１１と、データを記憶する記憶部１２と、底シール装置２０等と通信する通信部１３と、情報を画面表示する出力部１４と、入力を受け付ける操作部１５と、を備えている。
【００３２】
制御部１１は、例えば、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを有する。制御部１１は、ＣＰＵが、ＲＯＭや、ＲＡＭに記憶された各種制御プログラムを読み出して実行する。制御部１１が、検査装置１０の記憶部１２等の各部を制御する。なお、これらのプログラムを記憶した記録媒体等を制御部１１が読み出し実行してもよい。
【００３３】
記憶部１２は、例えば、ハードディスクドライブ、シリコンディスク等により構成されている。記憶部１２には、ヒートシール部材間の距離の許容範囲、ヒートシール部材温度の許容範囲、ヒートシール直後の対象物の温度の許容範囲等のデータが記憶されている。
【００３４】
また、記憶部１２には、オペレーティングシステムおよびサーバプログラム等の各種プログラムが記憶されていてもよい。なお、各種プログラムは、例えば、他のサーバ等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。
【００３５】
通信部１３は、底シール装置２０、サイドシール装置３０等との通信を制御する。通信部１３は、主に、底シール装置２０およびサイドシール装置３０に設置された各センサからのデータを取得する。通信部１３は、ネットワークに接続してもよい。また、通信部１３は、底シール装置２０およびサイドシール装置３０のヒータの温度等を制御する情報を出力してもよい。
【００３６】
出力部１４は、例えば、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。
【００３７】
操作部１５は、例えばキーボードおよびマウス等によって構成されている。
【００３８】
（１．３  底シール装置２０の構成および機能）
次に、底シール装置２０の構成および機能について、図３から図４Ｂを用いて説明する。
【００３９】
図３は、底シール装置２０の概要を示す平面図である。図４Ａおよび図４Ｂは、底シール装置２０の構造の一例を示す模式図である。
【００４０】
図３、図４Ａ、図４Ｂに示すように、底シール装置２０は、表面になる部分と裏面になる部分とが重なったシートＳをヒートシールする底シール金型２１（ヒートシール部材の一例）と、底シール金型２１を支えるヒートシール支持部２２と、シートＳを挟むようにヒートシール支持部２２を駆動する駆動部２３と、ガイドバー２４と、を有する。
【００４１】
図４Ａおよび図４Ｂに示すように、底シール金型２１は、シートＳを挟むように上部底シール金型２１ａ（第１または第２ヒートシール部材の一例）と、下部底シール金型２１ｂ（第１または第２ヒートシール部材の一例）とを有する。
【００４２】
図３に示すように、各底シール金型２１ａ、２１ｂは、対象物の底の部分を形成するために半円状のザグリ加工部を有する。上部底シール金型２１ａのザグリ加工部と下部底シール金型２１ｂのザグリ加工部とは、駆動部２３によりシートＳを挟んだ際、上下がかみ合うように配置されている。各底シール金型２１ａ、２１ｂは、ヒータを有する。
【００４３】
図３に示すように、底シール装置２０は、搬送されたシートＳの幅方向の両側に底シール金型２１を有し、例えば、搬送方向に３つのザグリ加工部が並んでいる。ヒートシールの強度を高めるために、各ザグリ加工部が、搬送のピッチの制御により、シートＳ上の同じ箇所をヒートシールしてもよい。なお、ザグリ加工部の個数は３つに限らず、さらに少なくても、多くてもよい。また、底シール装置２０の個数は、１つに限らず、搬送方向に複数あってもよい。
【００４４】
上部底シール金型２１ａおよび下部底シール金型２１ｂのシートＳをヒートシールする面には、底シール金型２１とシートＳとの接着を防ぐために、凹凸の目を有するテフロン（登録商標）テープ等の樹脂が、貼り付けられている。
【００４５】
ヒートシール支持部２２は、上部ヒートシール支持部２２ａと、下部ヒートシール支持部２２ｂとを有する。上部ヒートシール支持部２２ａは、断熱材を介して、上部底シール金型２１ａを支えている。下部ヒートシール支持部２２ｂは、断熱材を介して、下部底シール金型２１ｂを支えている。
【００４６】
駆動部２３は、エアシリンダ、電動シリンダ等である。図４Ａおよび図４Ｂに示すように、駆動部２３は、上部ヒートシール支持部２２ａを、図中、下側に駆動して、シートＳを挟んで、所定の圧力を加える。駆動部２３により、スプリング２４ａが縮まりながら、上部ヒートシール支持部２２ａは、ガイドバー２４に沿って移動する。駆動部２３の駆動が解除されると、スプリング２４ａの復元力により、上部ヒートシール支持部２２ａが、ガイドバー２４に沿って移動して元の位置に戻る。
【００４７】
（１．４  サイドシール装置３０の構成および機能）
次に、サイドシール装置３０の構成および機能について、図５から図６Ｂを用いて説明する。なお、底シール装置２０と異なる構成および機能について、主に説明する。
【００４８】
図５は、サイドシール装置３０の概要を示す平面図である。図６Ａおよび図６Ｂは、サイドシール装置３０の構造の一例を示す模式図である。
【００４９】
図５、図６Ａ、図６Ｂに示すように、サイドシール装置３０は、対象物のサイドのヒートシール部を形成するサイドシール金型３１（ヒートシール部材の一例）と、サイドシール金型３１を支えるヒートシール支持部３２と、シートＳを挟むようにヒートシール支持部３２を駆動する駆動部３３と、ガイドバー３４と、を有する。
【００５０】
図６Ａおよび図６Ｂに示すように、サイドシール金型３１は、シートＳを挟むように上部サイドシール金型３１ａ（第１または第２ヒートシール部材の一例）と、下部サイドシール金型３１ｂ（第１または第２ヒートシール部材の一例）とを有する。各サイドシール金型３１ａ、３１ｂは、ヒータを有する。
【００５１】
上部サイドシール金型３１ａおよび下部サイドシール金型３１ｂのシートＳをヒートシールする面には、サイドシール金型３１とシートＳとの接着を防ぐために、凹凸の目を有するテフロンテープ等の樹脂が、貼り付けられている。
【００５２】
ヒートシール支持部３２は、上部ヒートシール支持部３２ａと、下部ヒートシール支持部３２ｂとを有する。上部ヒートシール支持部３２ａは、断熱材を介して、上部サイドシール金型３１ａを支えている。下部ヒートシール支持部３２ｂは、断熱材を介して、下部サイドシール金型３１ｂを支えている。
【００５３】
駆動部３３は、駆動部２３と同様に、エアシリンダ、電動シリンダ等である。図６Ａおよび図６Ｂに示すように、駆動部３３は、上部ヒートシール支持部３２ａを、図中、下側に駆動して、シートＳを挟んで、所定の圧力を加える。駆動部３３により、スプリング３４ａが縮まりながら、上部ヒートシール支持部３２ａは、ガイドバー３４に沿って移動する。駆動部３３の駆動が解除されると、スプリング３４ａの復元力により、上部ヒートシール支持部３２ａが、ガイドバー３４に沿って移動して元の位置に戻る。
【００５４】
（１．５  撮影装置および照明装置の構成）
次に、撮影装置および照明装置の構成について、図７および図８を用いて説明する。
【００５５】
図７は、撮影装置および照明装置の配置を模式的に示した側面図である。図８は、撮影装置および照明装置の配置を模式的に示した上面図である。
【００５６】
撮影装置４０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を有するデジタルカメラである。撮影装置４０は、２Ｄで、所定の領域の画像を撮影する。
【００５７】
図７および図８に示すように、照明装置５０は、第１バー照明器５１と、第２バー照明器５２と、第３バー照明器５３と、第４バー照明器５４と、リング照明器５５と、を有する。照明装置５０の各照明器は、蛍光灯、白熱電球、ＬＥＤ（Light Emitting Diode）照明等のライトである。
【００５８】
図７および図８に示すように、照明装置５０は、ヒートシールされたシートＳと撮影装置４０との間に設置されている。第１バー照明器５１と、第２バー照明器５２と、第３バー照明器５３と、第４バー照明器５４とは、撮影装置４０を四方から囲むように配置され、それぞれ、別の角度からヒートシールされた対象物を照明する。第１バー照明器５１と、第２バー照明器５２と、第３バー照明器５３と、第４バー照明器５４とは、棒状のライトである。各バー照明器は、特定の方向（特定の角度）から対象物を照明する。
【００５９】
リング照明器５５は、撮影装置４０を囲むように、リング状の形状を有し、複数の角度から同時にヒートシールされた対象物を照明する。撮影装置４０を囲むように、リング状の形状なので、リング照明器５５の照明方向は、第１バー照明器５１の照明方向と、第２バー照明器５２の照明方向と、第３バー照明器５３の照明方向と、第４バー照明器５４の照明方向とを含むことになる。リング照明器５５は、拡散照明のため使用される。撮影装置４０は、拡散照明のリング照明器５５を利用した撮影により、シール凹凸が目立ちにくく、絵柄、文字が写るような画像を撮影する。
【００６０】
（１．６  検査の対象物の構成）
次に、検査の対象物の構成について、図９を用いて説明する。
【００６１】
図９は、袋に対するシールの位置の一例を示す模式図である。
【００６２】
図９に示すように、検査の対象物ｃは、サイドシール部分ｈａ（対象物のヒートシールされたヒートシール部分の一例）と、底シール部分ｈｂ（対象物のヒートシールされたヒートシール部分の一例）とを有する。
【００６３】
底シール金型２１およびサイドシール金型３１により、ヒートシールされると、対象物ｃのヒートシール部分の表面に、テフロンテープの目が転写されて、凹凸が生じる。
【００６４】
［２．検査システムの動作］
次に、本発明の１実施形態に係る検査システムの動作について図２から図８を用いて説明する。
【００６５】
（２．１  対象物の作成）
先ず、対象物の作成について、説明する。
【００６６】
断裁装置５により裁断されたシートＳに、底材が供給されて、底シール装置２０が、対象物の底の部分をヒートシールする。
【００６７】
次に、サイドシール装置３０が対象物の両サイド部分をヒートシールする。
【００６８】
次に、冷却装置（図示せず）が、ヒートシールされた対象物を冷却する。
【００６９】
次に、撮影装置４０がヒートシールされた対象物を撮影して、検査装置１０が、画像に基づき、ヒートシールされた対象物を検査する。
【００７０】
次に、打抜装置（図示せず）が、シートＳから対象物を打ち抜く。
【００７１】
次に、検査装置１０の検査結果に基づき、不良品の対象物と良品の対象物とが、分別される。
【００７２】
（２．２  検査システムの照明および撮影の動作例）
次に、検査システムの照明および撮影の動作例について図１０から図１２を用いて説明する。
【００７３】
図１０は、検査装置における撮影の動作例を示すフローチャートである。図１１は、撮影する範囲の一例を示す模式図である。図１２は、リング照明器で撮影された画像の一例を示す模式図である。
【００７４】
図１０に示すように、検査装置１０は、第１バー照明器を５１点灯させる（ステップＳ１）。サイドシール装置３０によりヒートシールされ、冷却されたシートＳが、撮影装置４０の下まで、搬入されたとき、具体的には、検査装置１０の制御部１１は、第１バー照明器５１を点灯させ、ある角度から、シートＳを照明する。
【００７５】
次に、検査装置１０は、第１画像を撮影させる（ステップＳ２）。具体的には、制御部１１は、撮影装置４０を撮影させて、第１バー照明器５１の方向から照明した検査対象の第１画像（照明画像の一例）の画像データを取得する。ここで、ヒートシールされたシートＳの撮影範囲は、例えば、図１１に点線で示すように、ヒートシールの適否の判定に必要な部分に設定される。
【００７６】
このように、検査装置１０は、ヒートシールされた対象物を、複数の角度から別々に照明した複数の照明画像を取得する画像取得手段の一例として機能する。
【００７７】
次に、検査装置１０は、第１バー照明器５１を消灯させる（ステップＳ３）。具体的には、制御部１１は、第１バー照明器５１を消灯させる。
【００７８】
次に、検査装置１０は、第２バー照明器５２を点灯させる（ステップＳ４）。具体的には、制御部１１は、第２バー照明器５２を点灯させ、第１バー照明器５１の照明方向と異なる角度（例えば、９０°異なる角度）から、シートＳを照明する。
【００７９】
次に、検査装置１０は、第２画像を撮影させる（ステップＳ５）。具体的には、制御部１１は、撮影装置４０を撮影させて、第２バー照明器５２の方向から照明した検査対象の第２画像（照明画像の一例）の画像データを取得する。
【００８０】
このように、検査装置１０は、ヒートシールされた対象物を、複数の角度から別々に照明した複数の照明画像を取得する画像取得手段の一例として機能する。
【００８１】
次に、検査装置１０は、第２バー照明器５２を消灯させる（ステップＳ６）。具体的には、制御部１１は、第２バー照明器５２を消灯させる。
【００８２】
次に、検査装置１０は、第３バー照明器５３を点灯させる（ステップＳ７）。具体的には、制御部１１は、第１バー照明器５３を点灯させ、第１バー照明器５１および第２バー照明器５２の照明方向と異なる角度から、シートＳを照明する。
【００８３】
次に、検査装置１０は、第３画像を撮影させる（ステップＳ８）。具体的には、制御部１１は、撮影装置４０を撮影させて、第３バー照明器５３の方向から照明した検査対象の第３画像（照明画像の一例）の画像データを取得する。
【００８４】
このように、検査装置１０は、ヒートシールされた対象物を、複数の角度から別々に照明した複数の照明画像を取得する画像取得手段の一例として機能する。
【００８５】
次に、検査装置１０は、第３バー照明器５３を消灯させる（ステップＳ９）。具体的には、制御部１１は、第３バー照明器５３を消灯させる。
【００８６】
次に、検査装置１０は、第４バー照明器５４を点灯させる（ステップＳ１０）。具体的には、制御部１１は、第４バー照明器５２を点灯させ、第１バー照明器５１、第２バー照明器５２および第３バー照明器５３の照明方向と異なる角度から、シートＳを照明する。
【００８７】
次に、検査装置１０は、第４画像を撮影させる（ステップＳ１１）。具体的には、制御部１１は、撮影装置４０を撮影させて、第４バー照明器５４の方向から照明した検査対象の第４画像（照明画像の一例）の画像データを取得する。
【００８８】
このように、検査装置１０は、ヒートシールされた対象物を、複数の角度から別々に照明した複数の照明画像を取得する画像取得手段の一例として機能する。
【００８９】
次に、検査装置１０は、第４バー照明器５４を消灯させる（ステップＳ１２）。具体的には、制御部１１は、第４バー照明器５４を消灯させる。
【００９０】
次に、検査装置１０は、リング照明器５５を点灯させる（ステップＳ１３）。具体的には、制御部１１は、リング照明器５５を点灯させ、周りからシートＳを照明する。周りから照明することにより、ヒートシールにより生じた表面の凸凹ができるだけ、撮影装置４０に写らないようする。なお、リング照明器５５の代わりに、検査装置１０は、第１バー照明器５１、第２バー照明器５２、第３バー照明器５３、および、第４バー照明器５４を同時に点灯させてもよい。
【００９１】
次に、検査装置１０は、第５画像を撮影させる（ステップＳ１４）。具体的には、制御部１１は、撮影装置４０を撮影させて、リング照明器５５により、複数の角度から同時に照明した検査対象の第５画像（多角照明画像の一例）の画像データを取得する。図１２に示すように、第５画像としてレジマークを含む絵柄のみが撮影される。第５画像は、拡散照明の一例であるリング照明器５５で撮影した画像である。第５画像には、リング照明器５５により、対象物に印刷された印刷部分が写りやすくなる。
【００９２】
このように、検査装置１０は、複数の角度から同時に照明した多角照明画像を取得する画像取得手段の一例として機能する。
【００９３】
次に、検査装置１０は、リング照明器５５を消灯させる（ステップＳ１５）。具体的には、制御部１１は、リング照明器５５を消灯させる。
【００９４】
（２．３  検査システムの検査の動作例）
次に、検査システムの検査の動作例について、図１３から図１７を用いて説明する。
【００９５】
図１３は、検査装置における検査の動作例を示すフローチャートである。図１４は、合成画像の一例を示す模式図である。図１５は、差分画像の一例を示す模式図である。図１６および図１７は、検査値の一例を示す模式図である。
【００９６】
図１３に示すように、検査装置１０は、合成画像を生成する（ステップＳ２０）。具体的には、制御部１１は、それぞれ別の角度からの照明で撮影された第１画像から第４画像からフォトメトリックステレオ法（照度差ステレオ法）により、底シール金型２１およびサイドシール金型３１によるヒートシールによって、金型のテフロンテープの目が転写され生じた、対象物の表面の凹凸を可視化した、合成画像（可視化画像の一例）を生成する。制御部１１は、各バー照明器の照明方向と、撮影装置４０から得られる光の強度から、表面の法線方向の情報を算出して、合成画像を生成する。図１４に示すように、印刷された絵柄とともに、はっきりした表面の凸凹が写った合成画像が生成される。合成画像は、対象物の表面の凹凸が強調されて目立っていて、はっきりとヒートシールされた部分が可視化される。
【００９７】
このように、検査装置１０は、前記複数の照明画像から、前記対象物のヒートシールされたヒートシール部分を可視化した可視化画像を生成する可視化画像生成手段の一例として機能する。
【００９８】
次に、検査装置１０は、第５画像をシェーディング補正する（ステップＳ２１）。具体的には、制御部１１は、リング照明器５５の照明の下で撮影した第５画像に対して、照明むらまたは輝度のむらをなくすように、平均階調を合成画像同一に設定して、シェーディング補正の画像処理をする。ヒートシールの熱等によるシートＳの歪みが生じても、シェーディング補正によって、照明のむらが軽減され、第５画像の印刷部分（多角照明画像の前記印刷部分の一例）が明確になりやすくなる。
【００９９】
次に、検査装置１０は、輪郭抽出処理を行う（ステップＳ２２）。具体的には、制御部１１は、シェーディング補正の画像処理された第５画像に対して、微分処理して、シートＳに印刷された絵柄の輪郭を抽出する。なお、輪郭を抽出する前に、制御部１１は、ノイズを取り除いてもよい。
【０１００】
次に、検査装置１０は、膨張処理を行う（ステップＳ２３）。具体的には、制御部１１は、ステップＳ２２において、輪郭抽出処理された画像に対して、制御部１１は、所定の輝度以上の画素に対して、膨張処理を行う。例えば、制御部１１は、スキャンにより特定した画素の４近傍、または、６近傍の画素の値を、所定値以上の輝度にする。また、制御部１１は、膨張処理は複数回行ってもよい。なお、この膨張処理は省略してもよい、この膨張処理は、次の差分処理において、絵柄部分をより確実に除去するための画像処理である。
【０１０１】
次に、検査装置１０は、差分処理を行う（ステップＳ２４）。具体的には、制御部１１は、ステップＳ２０で生成された合成画像と、ステップＳ２３で膨張処理された画像との差分画像を生成する。図１２に示す第５画像をシェーディング処理、輪郭抽出処理、膨張処理した画像を、図１４に示す合成画像から、差し引くことで、図１５に示すような差分画像が生成される。合成画像から印刷された部分が取り除かれることにより、合成画像が補正される。多角照明画像から輪郭抽出をした輪郭画像と前記可視化画像との差分画像が、補正後の可視化画像の一例である。この差分画像が、輪郭画像に対して膨張処理を行ってから、可視化画像との差分処理をして算出された画像の一例である。なお、制御部１１は、膨張処理を行わず、差分処理をしてもよい。
【０１０２】
このように、検査装置１０は、前記多角照明画像により前記可視化画像を補正する画像補正手段の一例として機能する。
【０１０３】
次に、検査装置１０は、対象物を判定する（ステップＳ２５）。具体的には、制御部１１は、ステップＳ２４で生成された差分画像から、特徴量を抽出して、所定の条件を満たしているかを判定して、適正にヒートシールされているか否かを検査する。
【０１０４】
例えば、制御部１１は、ヒートシールされている部分と、拡散照明で撮影した絵柄部分との位置関係（ヒートシール部分の形態の一例）から、所定の位置にヒートシールされているか否かを判定する。
【０１０５】
図１６に示すように、ヒートシールされている部分の一例として、サイドシールされた部分と底シールされた部分との交差した点（ｘ１、ｙ１）等（ヒートシール部分の形態の一例）が挙げられる。ヒートシールされている部分の一例として、サイドシールされた部分と底シールされた部分との境界線（ヒートシール部分の形態の一例）でもよい。境界線は、交差した点（ｘ１、ｙ１）から、直線Ｌ１に沿って底シールされた部分の底辺までである。なお、サイドシールされた部分と底シールされた部分との交差した点、並びに、サイドシールされた部分と底シールされた部分との境界線は、ヒートシール部分の特徴点の一例である。
【０１０６】
図１６に示すように、絵柄部分として、レジマーク（位置計測用マーク）の位置（ｘ２，ｙ２）（重心や隅の点等）が挙げられる。
【０１０７】
制御部１１は、サイドシールと底シールとの交点を画像処理で演算する。例えば、制御部１１は、直線Ｌ１を、差分画像のサイドシール部分から算出する。制御部１１は、直線Ｌ２を底シール部分から算出する。制御部１１は、直線Ｌ１と直線Ｌ２とから交点（ｘ１，ｙ１）を算出する。なお、直線Ｌ１と直線Ｌ２、並びに、直線Ｌ１と直線Ｌ２とから算出した交点（ｘ１，ｙ１）は、ヒートシール部分の形態、および、ヒートシール部分の特徴点の一例である。
【０１０８】
制御部１１は、レジマークの位置（ｘ２，ｙ２）を、第５画像、第５画像をシェーディング補正した画像等の絵柄におけるレジマークから算出する。制御部１１は、レジマークの位置（ｘ２，ｙ２）を基点として、交点（ｘ１，ｙ１）が所定の範囲（所定方向の所定の長さのベクトルの終点を中心とする所定の半径の円）内にあるか否かを判定する。交点（ｘ１，ｙ１）とレジマークの位置関係（ヒートシール部分の形態の一例）が所定範囲内である場合、良品とする。なお、レジマークの代わりに、図１７に示すように、印刷トンボでもよく、印刷された絵柄の特徴点であればよい。
【０１０９】
シール位置の算出方法は、予めシール金型のＣＡＤデータを登録しておき、撮像した画像からＣＡＤデータのシール金型とマッチングを行い、サイドシールと底シールの交点を画像処理で演算する。例えば、予めＣＡＤデータから金型形状を抽出し、形状モデルとして記憶しておく。実際に製品のヒートシールの部を撮影した画像上で、画像処理によりマッチング等を行い、形状モデルを撮影画像上でフィッティングすることで、制御部１１が、サイドシール、底シールの交点を算出してもよい。フィッティングとして、実際の画像から最も形状モデルに近い箇所を特定し、画像上に形状モデルをオーバーレイ表示する。
【０１１０】
また、図１６に示すように、制御部１１は、サイドシールの幅ｗ１（ヒートシール部分の形態の一例）を算出して、所定の幅内にあるか否かを判定してもよい。
【０１１１】
また、図１７に示すように、制御部１１は、底シールされた部分の一番底の底ヒートシール部分の厚さｄ１（ヒートシール部分の形態の一例）を算出して、所定の厚さ内にあるか否かを判定してもよい。なお、底シールされた部分の一番底等の底ヒートシール部分の厚さｄ１を計るための点は、ヒートシール部分の特徴点の一例である。
【０１１２】
また、図１７に示すように、制御部１１は、サイドヒートシール間距離ｗ２（ヒートシール部分の形態の一例）を算出して、所定の距離内にあるか否かを判定してもよい。なお、サイドヒートシール間距離ｗ２を計るための点は、ヒートシール部分の特徴点の一例である。
【０１１３】
また、図１７に示すように、制御部１１は、底シールの特定位置（例えば、最底の位置ｐ１）と絵柄の特徴点（印刷トンボの位置ｐ２）とのベクトル（ヒートシール部分の形態の一例）を算出して、所定の距離内にあるか否かを判定してもよい。なお、底シールの特定位置は、ヒートシール部分の特徴点の一例である。
【０１１４】
また、制御部１１は、ヒートシールにより生じた表面の凸凹の深さに起因する、ヒートシールされた部分の明暗の濃さ（ヒートシール部分の形態の一例）により、適切にヒートシールされているか否かを判定してもよい。
【０１１５】
このように、検査装置１０は、前記可視化画像の前記ヒートシール部分の形態に基づき、前記対象物が適正にヒートシールされたか否かを判定する判定手段の一例として機能する。検査装置１０は、前記補正後の可視化画像の前記ヒートシール部分の形態に基づき、前記対象物が適正にヒートシールされたか否かを判定する判定手段の一例として機能する。検査装置１０は、前記可視化画像の前記ヒートシール部分と前記対象物に印刷された印刷部分との位置関係により、前記対象物が適正にヒートシールされたか否かを判定する判定手段の一例として機能する。検査装置１０は、前記ヒートシール部分の特徴点と前記印刷部分との位置関係により、前記対象物が適正にヒートシールされたか否かを判定する判定手段の一例として機能する。
【０１１６】
以上、本実施形態によれば、ヒートシールされた対象物を、複数の角度から別々に照明した複数の照明画像から、対象物のヒートシールされたヒートシール部分を強調した可視化画像を生成し、可視化画像のヒートシール部分の形態に基づき、対象物を判定するので、ヒートシールされた部分を的確に検査できる。
【０１１７】
また、複数の角度から同時に照明した多角照明画像を取得し、多角照明画像により可視化画像を補正し、補正後の可視化画像のヒートシール部分の形態に基づき、対象物が適正にヒートシールされたか否かを判定する場合、対象物の絵柄がヒートシール部分にかかった場合でも、より的確に検出でき、検査の精度がより向上する。
【０１１８】
また、補正後の可視化画像が、多角照明画像から輪郭抽出をした輪郭画像と可視化画像との差分画像である場合、対象物の絵柄がヒートシール部分にかかった場合でも、より的確に検出でき、検査の精度がより向上する。
【０１１９】
差分画像が、輪郭画像に対して膨張処理を行ってから、可視化画像との差分処理をして算出される場合、印刷部分が多めに差し引かれるため、確実に絵柄等の印刷部分が除かれ、より的確に検出でき、検査の精度がより向上する。
【０１２０】
可視化画像の前記ヒートシール部分と対象物に印刷された印刷部分との位置関係により、対象物が適正にヒートシールされたか否かを判定する場合、搬送の誤差等に起因するヒートシールの位置的ずれが生じたときに、より的確に検出でき、検査の精度がより向上する。
【０１２１】
可視化画像のヒートシール部分の特徴点を算出し、ヒートシール部分の特徴点と印刷部分との位置関係により、対象物が適正にヒートシールされたか否かを判定する場合、特徴点との位置関係により、判定するので、より的確に検出でき、検査の精度がより向上する。
【０１２２】
複数の角度から同時に照明した多角照明画像を取得し、対象物に印刷された印刷部分が、多角照明画像の印刷部分である場合、印刷部分の位置が、より的確に検出でき、検査の精度がより向上する。
【符号の説明】
【０１２３】
１：ヒートシール検査システム
１０：検査装置（ヒートシール検査装置）
４０：撮影装置
５０：照明装置
５１：第１バー照明器
５２：第２バー照明器
５３：第３バー照明器
５４：第４バー照明器
５５：リング照明器
【図１】
2019066317.tif 000003
【図２】
2019066317.tif 000004
【図３】
2019066317.tif 000005
【図４Ａ】
2019066317.tif 000006
【図４Ｂ】
2019066317.tif 000007
【図５】
2019066317.tif 000008
【図６Ａ】
2019066317.tif 000009
【図６Ｂ】
2019066317.tif 000010
【図７】
2019066317.tif 000011
【図８】
2019066317.tif 000012
【図９】
2019066317.tif 000013
【図１０】
2019066317.tif 000014
【図１１】
2019066317.tif 000015
【図１２】
2019066317.tif 000016
【図１３】
2019066317.tif 000017
【図１４】
2019066317.tif 000018
【図１５】
2019066317.tif 000019
【図１６】
2019066317.tif 000020
【図１７】
2019066317.tif 000021