(57)【要約】【課題】梱包箱に収容された物品の破損を抑制する。【解決手段】箱詰装置１００は、整列部３０と、詰込部４０と、封止部５０と、カメラ部６０と、画像判定部９２と、を備える。整列部３０は、複数の物品Ｐを整列させて物品群Ｇをつくる。詰込部４０は、物品群Ｇを梱包箱Ｂに入れる。封止部５０は、梱包箱Ｂを封止する。カメラ部６０は、整列部３０又は詰込部４０における物品群Ｇ又は梱包箱Ｂの姿勢を撮影する。画像判定部９２は、カメラ部６０の出力である静止画又は動画を解析することによって梱包箱Ｂに収容される又は収容された物品群Ｇ又は梱包箱Ｂの異常判定を行う。【選択図】図１
2020045132.tif 000002
【特許請求の範囲】
【請求項１】
複数の物品を整列させて物品群をつくる整列部と、
前記物品群を梱包箱に入れる詰込部と、
前記梱包箱を封止する封止部と、
前記整列部又は前記詰込部における前記物品群又は前記梱包箱の姿勢を撮影するカメラと、
前記カメラの出力である静止画又は動画を解析することによって前記梱包箱に収容される又は収容された前記物品群又は前記梱包箱の異常判定を行う画像判定部と、
を備える、箱詰装置。
【請求項２】
前記画像判定部は、機械学習によって形成された学習済みモデルを有するコンピュータである、
請求項１に記載の箱詰装置。
【請求項３】
前記機械学習は、ディープラーニングであり、
前記学習済みモデルは、ニューラルネットワークの形態である、
請求項２に記載の箱詰装置。
【請求項４】
前記画像判定部が異常であると判定する前記物品群の状態は、前記物品群に含まれる前記物品の上下反転、前記物品群に含まれる前記物品の姿勢の不適正、前記物品群が前記梱包箱に適正に収容されていない状態、前記梱包箱の歪み、前記梱包箱の姿勢の不適正、の少なくとも１つを含む、
請求項１から３のいずれか１項に記載の箱詰装置。
【請求項５】
前記静止画又は前記動画を蓄積する画像記憶部、
をさらに備える、
請求項１から４のいずれか１項に記載の箱詰装置。
【請求項６】
前記カメラは、
前記整列部における前記物品群の姿勢を撮影する第１カメラ、及び、
前記詰込部における前記物品群の姿勢を撮影するように構成された第２カメラ、
を有する、
請求項１から５のいずれか１項に記載の箱詰装置。
【請求項７】
複数の物品を整列させて物品群をつくる整列部と、
前記物品群を梱包箱に入れる詰込部と、
前記梱包箱を封止する封止部と、
前記整列部又は前記詰込部における前記物品群又は前記梱包箱の姿勢を撮影するカメラと、
前記カメラの出力である静止画又は動画を蓄積する画像記憶部と、
前記静止画又は前記動画を処理する関数近似器と、
を準備する工程と、
前記カメラが正常な姿勢の前記物品群又は前記梱包箱を撮影することにより前記画像記憶部に生じた前記静止画又は前記動画に、正常を意味するラベルを付したものと、前記カメラが異常な姿勢の前記物品群又は前記梱包箱を撮影することにより前記画像記憶部に生じた前記静止画又は前記動画に、異常を意味するラベルを付したものと、を含む教師データを入力された前記関数近似器が、機械学習を行うことによって、学習済みモデルを形成する工程と、
前記整列部又は前記詰込部における前記物品群又は前記梱包箱を撮影した前記カメラの出力である前記静止画又は前記動画を前記学習済みモデルに入力し、前記学習済みモデルから出力される結果に基づいて、前記梱包箱に梱包された前記物品群又は前記梱包箱の異常判定を行う工程と、
を有する、前記物品群又は前記梱包箱の検査方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、箱詰装置に関する。
【背景技術】
【０００２】
特許文献１（特開２０１６−１３５６７９号公報）が示す箱詰装置は、包装された物品を整列させ、梱包箱に自動的に入れる。物品の梱包箱への収容が終了した後、梱包箱のフラップが閉じられ、梱包箱が封止される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
物品の整列が不適切である場合、又は物品の梱包箱への収容が不適切である場合、梱包箱のフラップを閉じることによって、物品の包装が破損する場合がある。
【０００４】
本開示の課題は、梱包箱に収容された物品の破損を抑制することである。
【課題を解決するための手段】
【０００５】
第１観点に係る箱詰装置は、整列部と、詰込部と、封止部と、カメラと、画像判定部と、を備える。整列部は、複数の物品を整列させて物品群をつくる。詰込部は、物品群を梱包箱に入れる。封止部は、梱包箱を封止する。カメラは、整列部又は詰込部における物品群又は梱包箱の姿勢を撮影する。画像判定部は、カメラの出力である静止画又は動画を解析することによって前記梱包箱に収容される又は収容された物品群又は梱包箱の異常判定を行う。
【０００６】
この構成によれば、カメラと画像判定部が、物品群又は梱包箱の異常判定を行う。したがって、箱詰め工程における物品の破損を抑制することができる。
【０００７】
第２観点に係る箱詰装置は、第１観点に係る箱詰装置において、画像判定部は、機械学習によって形成された学習済みモデルを有するコンピュータである。
【０００８】
この構成によれば、画像判定部は、機械学習によって形成された学習済みモデルを有する。したがって、実際の物品又は梱包箱の画像に即した教師データを利用することにより、異常判定の精度を向上できる。
【０００９】
第３観点に係る箱詰装置は、第２観点に係る箱詰装置において、機械学習は、ディープラーニングである。学習済みモデルは、ニューラルネットワークの形態である。
【００１０】
この構成によれば、機械学習はディープラーニングである。したがって、教師データの量を増やすことにより、異常判定の精度を向上できる。
【００１１】
第４観点に係る箱詰装置は、第１観点から第３観点のいずれか１つに係る箱詰装置において、画像判定部が異常であると判定する物品群の状態は、物品群に含まれる物品の上下反転、物品群に含まれる物品の姿勢の不適正、物品群が梱包箱に適正に収容されていない状態、梱包箱の歪み、梱包箱の姿勢の不適正、の少なくとも１つを含む。
【００１２】
この構成によれば、物品又は梱包箱の異常の多様な態様を判定できる。
【００１３】
第５観点に係る箱詰装置は、第１観点から第４観点のいずれか１つに係る箱詰装置において、静止画又は動画を蓄積する画像記憶部、をさらに備える。
【００１４】
この構成によれば、箱詰装置は画像記憶部を備える。したがって、画像記憶部が蓄積した静止画又は動画を画像判定部の学習に利用できる。
【００１５】
第６観点に係る箱詰装置は、第１観点から第５観点のいずれか１つに係る箱詰装置において、カメラは、整列部における物品群の姿勢を撮影する第１カメラ、及び、詰込部における物品群の姿勢を撮影するように構成された第２カメラ、を有する。
【００１６】
この構成によれば、整列部における異常及び詰込部における異常のいずれをも検知できる。したがって、異常の検知精度が向上する。
【００１７】
第７観点に係る物品群又は梱包箱の検査方法は、（１）複数の物品を整列させて物品群をつくる整列部と、物品群を梱包箱に入れる詰込部と、梱包箱を封止する封止部と、整列部又は詰込部における物品群又は梱包箱の姿勢を撮影するカメラと、カメラの出力である静止画又は動画を蓄積する画像記憶部と、静止画又は動画を処理する関数近似器と、を準備する工程と、（２）カメラが正常な姿勢の物品群又は梱包箱を撮影することにより画像記憶部に生じた静止画又は動画に、正常を意味するラベルを付したものと、カメラが異常な姿勢の物品群又は梱包箱を撮影することにより画像記憶部に生じた静止画又は動画に、異常を意味するラベルを付したものと、を含む教師データを入力された前記関数近似器が、機械学習を行うことによって、学習済みモデルを形成する工程と、（３）整列部又は詰込部における物品群又は梱包箱を撮影したカメラの出力である静止画又は動画を学習済みモデルに入力し、学習済みモデルから出力される結果に基づいて、梱包箱に梱包された物品群又は梱包箱の異常判定を行う工程と、を有する。
【００１８】
この方法によれば、物品群又は梱包箱の異常を精度よく検知できる。
【発明の効果】
【００１９】
本開示の箱詰め工程における物品の破損を抑制することができる。
【００２０】
本開示の姿勢検査方法は、物品群又は梱包箱の異常を精度よく検知できる。
【図面の簡単な説明】
【００２１】
【図１】本開示に係る包装及び箱詰装置１００の構成を示す模式図である。
【図２】整列部３０及び詰込部４０を示す模式図である。
【図３】整列部３０及び詰込部４０を示す模式図である。
【図４】封止部５０を示す模式図である。
【図５】第１カメラ６１の撮影範囲を示す模式図である。
【図６】第２カメラ６２の撮影範囲を示す模式図である。
【図７】制御部８０を示すブロック図である。
【図８】第１カメラ制御部８６を示すブロック図である
【図９】物品群Ｇの姿勢の異常の例を示す模式図である。
【図１０】物品群Ｇの姿勢の異常の例を示す模式図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しながら、本開示の一実施形態について説明する。なお、以下の実施形態は、本開示の具体例であって、本開示の技術的範囲を限定するものではない。
【００２３】
（１）全体構成
図１は、箱詰装置１００の構成を示す。箱詰装置１００は、袋で包装された食品などの物品Ｐを包装機より１つずつ受け取り、所定数の物品Ｐを箱に詰めるためのものである。
【００２４】
箱詰装置１００は、搬送部１０、集積部２０、整列部３０、詰込部４０、封止部５０（図４）、カメラ部６０、制御部８０を備えている。
【００２５】
（２）詳細構成
（２−１）搬送部１０
図１に示す搬送部１０は、箱詰装置１００の前段に設置された図示しない包装機から、袋で包装された物品Ｐを１つずつ受け取り、物品Ｐを搬送方向Ｆ１に搬送し、集積部２０へ渡す。
【００２６】
搬送部１０は、搬送ベルトコンベア１１と、排出ベルトコンベア１２とを有している。排出ベルトコンベア１２は、傾斜して配置されている。
【００２７】
（２−２）集積部２０
集積部２０は、所定数の物品Ｐを集積する。集積部２０は、第１ベルトコンベア２１及び第２ベルトコンベア２２を有する。第１ベルトコンベア２１は、水平方向に対して傾斜しており、斜面を形成している。第１ベルトコンベア２１は常時動作している。
【００２８】
所定数の物品Ｐが集積されるまでの間は、第２ベルトコンベア２２は停止するか、低速で動作する。これにより、搬送部１０から逐次搬送される複数の物品Ｐは、第２ベルトコンベア２２の上で、部分的に重なった状態で集積される。
【００２９】
所定数の物品Ｐが集積されたときは、第２ベルトコンベア２２は高速で動作し、それらの複数の物品Ｐを整列部３０へ渡す。
【００３０】
（２−３）整列部３０
整列部３０は、集積部２０が集積した所定数の物品Ｐを受け取り、それらを整列させて物品群Ｇを作る。整列部３０は、物品載置部３１と、ストッパ３２と、支持板３３と、を有する。
【００３１】
（２−３−１）物品載置部３１
図２に示す物品載置部３１は、箱詰めの対象となる物品群Ｇを載置するためのものである。物品載置部３１は、ベルトコンベアからなり、複数の物品Ｐを搬送方向Ｆ２へ搬送することができる。
【００３２】
図３に示すように、物品載置部３１の上面は、ベルトコンベアの回転状態の如何にかかわらず載置面ＳＳを構成しており、物品載置部３１は、集積部２０から受け取った複数の物品Ｐを、載置面ＳＳへ搬送する。
【００３３】
（２−３−２）ストッパ３２及び支持板３３
図２に戻り、ストッパ３２は、物品群Ｇの先頭になる物品Ｐの移動を阻止するための板材である。支持板３３は、物品群Ｇの最後尾になる物品Ｐを支えるための板材である。ストッパ３２及び支持板３３は、複数の物品Ｐを取り込んだり、整列させたりするために、適宜移動することができる。
【００３４】
（２−４）詰込部４０
図２に示す詰込部４０は、整列部３０が載置面ＳＳ上に整列させた物品群Ｇを梱包箱Ｂへ詰め込む。詰込部４０は、押し込み板４１と、箱待機部４２と、水平移動機構４３と、を有する。
【００３５】
（２−４−１）押し込み板４１
押し込み板４１は、水平移動機構４３によって、往復方向Ｔに移動又は往復することができる。
【００３６】
（２−４−２）箱待機部４２
箱待機部４２には、側方を開口した梱包箱Ｂが載置される。箱待機部４２は、昇降できるように図示しない昇降機構を有している。昇降機構は、物品群Ｇを詰め終わった梱包箱Ｂを封止部５０（図４）へ移動させるとともに、新しい空の梱包箱Ｂを箱詰めが行われる場所に持ってくる。
【００３７】
（２−４−３）水平移動機構４３
水平移動機構４３は、押し込み板４１を往復方向Ｔに移動させる。水平移動機構４３は、梁４３ａと固定部材４３ｂを有する。押し込み板４１は、固定部材４３ｂに固定されている。固定部材４３ｂは、図示しない駆動機構により、梁４３ａに沿って往復方向Ｔに移動される。
【００３８】
（２−５）封止部５０
図４に示す封止部５０は、詰込部４０から受け取った梱包箱Ｂのフラップを閉じて、粘着テープなどによって封止する。
【００３９】
（２−６）カメラ部６０
図１に示すように、カメラ部６０は、第１カメラ６１と、第２カメラ６２とを有する。図５に示すように、第１カメラ６１は、整列部３０における物品群Ｇの整列の様子を撮影する。図６に示すように、第２カメラ６２は、詰込部４０の箱待機部４２における物品群Ｇ及び梱包箱Ｂを撮影する。
【００４０】
（２−７）制御部８０
図１に示す制御部８０は、箱詰装置１００の各部（搬送部１０、集積部２０、整列部３０、詰込部４０、封止部５０、カメラ部６０など）の制御を行う。制御部８０は、各部と有線通信又は無線通信を行う。制御部８０は、例えばＧＰＵを搭載したコンピュータからなる。
【００４１】
図７に示すように、制御部８０は、専用のプログラムを実行することによって、搬送部制御部８１、集積部制御部８２、整列部制御部８３、詰込部制御部８４、封止部制御部８５、第１カメラ制御部８６、第２カメラ制御部８７として機能する。
【００４２】
搬送部制御部８１は、搬送部１０の各種センサ出力を受信するとともに、搬送部１０を制御する。集積部制御部８２は、集積部２０の各種センサ出力を受信するとともに、集積部２０を制御する。整列部制御部８３は、整列部３０の各種センサ出力を受信するとともに、整列部３０を制御する。詰込部制御部８４は、詰込部４０の各種センサ出力を受信するとともに、詰込部４０を制御する。封止部制御部８５は、封止部５０の各種センサ出力を受信するとともに、封止部５０を制御する。第１カメラ制御部８６は、第１カメラ６１の出力である動画を受信し、蓄積し、それに基づいて各種演算を行う。第２カメラ制御部８７は、第２カメラ６２の出力である動画を受信し、蓄積し、それに基づいて各種演算を行う。
【００４３】
図８は、第１カメラ制御部８６の詳細を示す。第１カメラ制御部８６は、さらに、画像記憶部９１、画像判定部９２として機能する。画像記憶部９１は、第１カメラ６１が出力する動画を蓄積する。画像判定部９２は、第１カメラ６１の出力である動画を解析することによって物品Ｐの姿勢の異常判定を行う。
【００４４】
第２カメラ制御部８７の構成は第１カメラ制御部８６と同様であるので、説明を省略する。
【００４５】
（３）画像判定部９２の詳細
第１カメラ制御部８６又は第２カメラ制御部８７に含まれる画像判定部９２は、入出力の関係を学習可能な関数近似器Ｘを有する。関数近似器Ｘは、典型的には多層ニューラルネットワークとして構成されるが、この態様に限定されるものではなく、サポートベクトルマシンなど、他の態様により実現されてもよい。関数近似器Ｘは、事前の機械学習の結果として、学習済みモデルＭを獲得している。機械学習は、典型的にはディープラーニングとして行われるが、この態様に限定されるものではない。学習済みモデルＭを構成する関数近似器Ｘは、物品群Ｇ又は梱包箱Ｂの異常を推論することができる。ここでいう異常とは、例えば、
・物品群Ｇに含まれる物品Ｐの上下反転
・物品群Ｇに含まれる物品Ｐの姿勢の不適正
・物品群Ｇが梱包箱Ｂに適正に収容されていない状態
・梱包箱Ｂの歪み
・梱包箱Ｂの姿勢の不適正
などである。
【００４６】
物品群Ｇに含まれる物品Ｐの姿勢の不適正の例としては、物品群Ｇに対して１つの物品Ｐがずれた状態（図９）、及び、物品群Ｇに対して１つの物品Ｐの方向が不一致である状態（図１０）などが挙げられる。
【００４７】
画像判定部９２がこれらの異常を検出した場合には、制御部８０が搬送部１０、集積部２０、整列部３０、詰込部４０、封止部５０などを停止させる。これにより、姿勢の異常な物品群Ｇが梱包箱Ｂに詰め込まれることを抑制できる。ひいては、姿勢の不適正な物品Ｐが、梱包箱Ｂの中で破裂することを抑制できる。
【００４８】
（４）物品群Ｇ又は梱包箱Ｂの検査方法
（４−１）セッティング
まず、搬送部１０、集積部２０、整列部３０、詰込部４０、封止部５０、カメラ部６０、制御部８０などを準備することにより、箱詰装置１００を構築する。
【００４９】
（４−２）学習フェーズ
学習済みモデルＭを獲得するための学習フェーズは、教師あり学習によって行われる。学習の実際の態様は様々である。以下に記すものは一例にすぎない。
【００５０】
（４−２−１）動画の撮影
まず、箱詰装置１００を動作させる。第１カメラ６１が物品群Ｇを撮影する。第２カメラ６２が物品群Ｇ及び梱包箱Ｂを撮影する。第１カメラ６１及び第２カメラ６２の出力は、動画として、それぞれ、第１カメラ制御部８６及び第２カメラ制御部８７の画像記憶部９１に蓄積される。動画の中には、物品群Ｇ又は梱包箱Ｂの正常な状態及び異常な状態がどちらも含まれるようにする。
【００５１】
（４−２−２）静止画の切り出し
画像記憶部９１に蓄積された動画の中から、物品群Ｇ又は梱包箱Ｂが写っている画像を複数の静止画として切り出す。静止画を切り出すタイミングは、サービスマンやユーザなどの人間が指定してもよい。あるいは、整列部３０又は詰込部４０のセンサ出力を参考にして、制御部８０が静止画を切り出すタイミングを決定してもよい。
【００５２】
（４−２−３）教師データの作成
次に、静止画から教師データが作られる。教師データは、静止画に「正常」又は「異常」のラベルを付すことによって作られる。「正常」又は「異常」のラベルは、人間がそれぞれの静止画を目視で確認した結果に基づいて、付してもよい。あるいは、何らかの異常検知機構の出力に基づいて、その異常に相当する静止画に対して、制御部８０が自動的に「異常」のラベルを付してもよい。
【００５３】
（４−２−４）教師あり学習
このようにして得られた教師データを用いて、関数近似器Ｘに教師あり学習を行わせる。これにより、例えば誤差逆伝播法によって、関数近似器Ｘが学習済みモデルＭを獲得する。
【００５４】
（４−３）推論フェーズ
推論フェーズは、箱詰装置１００のユーザによる使用場面である。ユーザが箱詰装置１００を動作させる。整列部３０における物品群Ｇを、第１カメラ６１が撮影する。詰込部４０における物品群Ｇ及び梱包箱Ｂを、第２カメラ６２が撮影する。第１カメラ６１及び第２カメラ６２の出力動画のから切り出された静止画が、画像判定部９２の学習済みモデルＭに入力される。学習済みモデルＭは、例えば、当該物品群Ｇ又は梱包箱Ｂが「正常」である確率と「異常」である確率を出力する。「異常」である確率が「正常」である確率より大きい場合、画像判定部９２は、当該物品群Ｇ又は梱包箱Ｂを異常であると判定する。このとき、制御部８０は、搬送部１０、集積部２０、整列部３０、詰込部４０、封止部５０を停止させるとともに、ユーザに対して警報を発する。
【００５５】
（５）特徴
（５−１）
カメラ部６０と画像判定部９２が、物品群Ｇ又は梱包箱Ｂの異常判定を行う。したがって、箱詰め工程における物品Ｐの破損を抑制することができる。
【００５６】
（５−２）
画像判定部９２は、機械学習によって形成された学習済みモデルＭを有する。したがって、実際の物品群Ｇ又は梱包箱Ｂの画像に即した教師データを利用することにより、異常判定の精度を向上できる。
【００５７】
（５−３）
機械学習としてディープラーニングを用いることができる。したがって、教師データの量を増やすことにより、異常判定の精度を向上できる。
【００５８】
（５−４）
物品群Ｇ又は梱包箱Ｂの異常の多様な態様を判定できる。
【００５９】
（５−５）
箱詰装置１００は画像記憶部９１を備える。したがって、画像記憶部９１が蓄積した動画を画像判定部９２の学習に利用できる。
【００６０】
（５−６）
整列部３０における異常及び詰込部４０における異常のいずれをも検知できる。したがって、異常の検知精度が向上する。
【００６１】
（６）変形例
以下に述べる複数の変形例を組み合わせてもよい。
【００６２】
（６−１）変形例Ａ
上述の実施形態では、画像記憶部９１は、第１カメラ６１又は第２カメラ６２の出力である動画を蓄積する。これに代えて、画像記憶部９１は、静止画を逐次蓄積してもよい。静止画を取得するためのトリガ信号として、整列部３０又は詰込部４０のセンサ出力を用いてもよい。
【００６３】
さらには、トリガ信号を第１カメラ６１又は第２カメラ６２に入力し、第１カメラ６１又は第２カメラ６２が動画ではなく静止画を出力してもよい。
【００６４】
これらの構成よれば、画像記憶部９１の容量を小さくできる。あるいは、画像記憶部９１は、より大量のデータを蓄積できる。
【００６５】
（６−２）変形例Ｂ
上述の実施形態では、画像判定部９２は、物品群Ｇ又は梱包箱Ｂの静止画に基づいて学習及び推論を行う。これに代えて、画像判定部９２は、ある程度の時間的長さを有する動画そのものに基づいて学習及び推論を行ってもよい。
【００６６】
（６−３）変形例Ｃ
上述の実施形態では、箱詰装置１００の整列部３０及び詰込部４０はベルトコンベア又は押し込み板から構成されている。これに代えて、整列部３０及び詰込部４０は任意の構成をとることができる。例えば、整列部３０は、物品Ｐを整列させて物品群Ｇを作るパラレルリンクロボットを有してもよい。詰込部４０は、物品群Ｇを吸着して梱包箱Ｂへ詰め込む吸着ヘッドを有してもよい。
【符号の説明】
【００６７】
１０    ：搬送部
２０    ：集積部
３０    ：整列部
４０    ：詰込部
５０    ：封止部
６０    ：カメラ部
６１    ：第１カメラ
６２    ：第２カメラ
８０    ：制御部
８６    ：第１カメラ制御部
８７    ：第２カメラ制御部
９１    ：画像記憶部
９２    ：画像判定部
１００  ：箱詰装置
Ｂ      ：梱包箱
Ｇ      ：物品群
Ｍ      ：学習済みモデル
Ｐ      ：物品
Ｘ      ：関数近似器
【先行技術文献】
【特許文献】
【００６８】
【特許文献１】特開２０１６−１３５６７９号公報
【図１】
2020045132.tif 000003
【図２】
2020045132.tif 000004
【図３】
2020045132.tif 000005
【図４】
2020045132.tif 000006
【図５】
2020045132.tif 000007
【図６】
2020045132.tif 000008
【図７】
2020045132.tif 000009
【図８】
2020045132.tif 000010
【図９】
2020045132.tif 000011
【図１０】
2020045132.tif 000012