(57)【要約】      （修正有）【課題】袋状物品であっても、事後的な物品の追加に対応しつつ低コストでの物品の重心検出を行う、袋状物品の重心検出装置を提供する。【解決手段】袋状物品の重心検出装置は、袋に内容物が封入された袋状物品が収容された物品ケースの透視画像を受信する受信部と、透視画像に、物品ケースにおける袋状物品の配列状態を通知する通知部と、透視画像に基づいて、物品ケースに収容される袋状物品のそれぞれの仮想重心を決定する仮想重心決定部と、仮想重心および配列状態に基づいて、物品ケースに収容される袋状物品同士の境界線を設定する境界線設定部と、境界線設定部が設定する境界線に基づいて、仮想重心の位置を修正して修正重心を決定する重心位置修正部と、を備え、袋状物品のそれぞれの最終重心位置を決定する。【選択図】図４
2018031585.tif 000002
【特許請求の範囲】
【請求項１】
袋に内容物が封入された袋状物品が収容された物品ケースの透視画像を受信する受信部と、
前記透視画像に、前記物品ケースにおける前記袋状物品の配列状態を通知する通知部と、
前記透視画像に基づいて、前記物品ケースに収容される前記袋状物品のそれぞれの仮想重心を決定する仮想重心決定部と、
前記仮想重心および前記配列状態に基づいて、前記物品ケースに収容される前記袋状物品同士の境界線を設定する境界線設定部と、
前記境界線設定部が設定する前記境界線に基づいて、前記仮想重心の位置を修正して修正重心を決定する重心位置修正部と、を備え、
前記透視画像は、前記袋状物品の内容物が透視状態であり、
前記境界線設定部は、前記修正重心に基づいて、前記袋状物品同士の境界線を修正し、
前記重心位置修正部は、修正された前記境界線に基づいて、前記重心を更に修正し、
前記境界線設定部および前記重心位置修正部における修正が収束することで、前記袋状物品のそれぞれの最終重心位置を決定する、袋状物品の重心検出装置。
【請求項２】
前記透視画像は、前記袋状物品を収容する物品ケースの撮像において、可視領域のデータが減じられた画像である、請求項１記載の袋状物品の重心検出装置。
【請求項３】
前記透視画像は、前記袋状物品を収容する物品ケースの撮像において、近赤外領域を主として得られる画像である、請求項１記載の袋状物品の重心検出装置。
【請求項４】
前記袋は、非透明部分を有する、請求項１から３のいずれか記載の袋状物品の重心検出装置。
【請求項５】
前記最終重心位置は、前記物品ケースから前記袋状物品をピッキングする際の把持位置に近似する、請求項１から４のいずれか記載の袋状物品の重心検出装置。
【請求項６】
前記袋状物品は、前記物品ケース内部において、ｍ×ｎ列で配置されて収容されており、
前記配列状態は、前記ｍ×ｎ列の配置情報である、請求項１から５のいずれか記載の袋状物品の重心検出装置。
【請求項７】
前記仮想重心決定部は、前記透視画像に含まれる袋状物品のそれぞれの面積に基づいて、前記仮想重心を決定する、請求項１から６のいずれか記載の袋状物品の重心検出装置。
【請求項８】
前記境界線設定部は、隣接する前記袋状物品の前記仮想重心もしくは前記修正重心の間に、前記境界線を設定する、請求項１から７のいずれか記載の袋状物品の重心検出装置。
【請求項９】
前記重心位置修正部は、前記境界線を境に隣接する前記袋状物品のそれぞれの面積を、前記境界線を境界として演算し、
前記袋状物品の、演算された前記面積に基づいて、前記修正重心を決定する、請求項１から８のいずれか記載の袋状物品の重心検出装置。
【請求項１０】
前記境界線設定部および前記重心位置修正部は、Ｋｍｅａｎｓクラスタリングのアルゴリズムを使用する、請求項１から９のいずれか記載の袋状物品の重心検出装置。
【請求項１１】
前記最終重心位置は、前記袋状物品のピッキング装置において利用される、請求項１から１０のいずれか記載の袋状物品の重心検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ケースに収容された袋状物品の重心を検出する、重心検出装置に関する。
【背景技術】
【０００２】
種々の製品を製造する工場、製品を流通させる配送センター、製品の集積・配送を行う集積倉庫（以下、「出荷センター」という）などにおいては、配送先にあわせた単数もしくは複数の種類の物品を、必要な個数ずつに仕分けして配送可能な状態にする必要がある。配送可能な状態とは、例えば必要な種類と個数の物品が、ケースなどの配送用収納器具に詰め込まれた状態である。
【０００３】
例えば、ある出荷センターでは、物品Ａ〜物品Ｄまでの４種類の物品を取り扱っている。この４種類の物品Ａ〜物品Ｄのそれぞれの必要な個数ずつに仕分けして、第１販売店、第２販売店、第３販売店、第ｎ販売店のそれぞれに配送する。これら第１販売店〜第ｎ販売店が配送先である。例えば、第１販売店に物品Ａを２個、物品Ｂを３個および物品Ｃを１個、を配送する必要があるとする。このとき、物品を、単数もしくは複数の配送ケースに仕分けする必要がある。
【０００４】
すなわち、第１販売店、第２販売店〜第ｎ販売店のそれぞれに、必要となる種類と個数の物品をケースに仕分けて、配送の準備を整える。ここでは、第１販売店に２個の物品Ａと、３個の物品Ｂと、１個の物品Ｃと、を配送するように、ケースに仕分けている。
【０００５】
ここで、物品Ａ〜物品Ｄの４種類の物品を取り扱う集荷センターでは、物品Ａのみが収容されたケース、物品Ｂのみが収容されたケース、物品Ｃのみが収容されたケース、物品Ｄのみが収容されたケース、が使用される。これらの、ある種類の物品のみが収容されたケースから、配送先に対応した配送ケースに、必要な種類と個数の物品が移動される。
【０００６】
例えば、上述の第１販売店には、物品Ａのみが収容されたケースから、２個の物品Ａが、配送ケースに移動される。物品Ｂのみが収容されたケースから、３個の物品Ｂが配送ケースに移動される。物品Ｃのみが収容されたケースから、１個の物品Ｃが、配送ケースに移動される。
【０００７】
これらの物品の収容されたケースから、必要な個数の物品が配送ケースに移動されることで、配送先に対応した種類と個数の物品を収容した配送ケースが完成する。
【０００８】
これは、出荷センターでは、工場などで製造された物品が、その種類ごとにケースに収容された状態で用意されていることによる。
【０００９】
このとき、物品の収容された物品ケースから配送ケースへの物品の移動においては、ピッキング装置が用いられることが多い。ピッキング装置は、空気の吸着やその他の手段で、物品ケースに収容されている物品を取り出して、配送ケースに移動させる。ピッキング装置は、物品を把持した状態で空間上を移動させるので、物品を落下させないように移動させる必要がある。もちろん、物品ケースに収容されている物品を、確実に把持して移動を開始できる必要がある。
【００１０】
一例としてのピッキング装置は、空気吸引による吸着部を備えており、この吸着部を物品ケースの物品のそれぞれにあてがう。あてがった後で、空気吸引を行って物品を吸着する。そのまま物品を上昇させて、物品ケースから配送ケースの位置まで移動させる。移動した後で、物品を下降させて物品を配送ケースに設置する。すなわち、物品の移動中においては、吸着などで把持された物品は、宙づりのような状態である。
【００１１】
このとき、ピッキング装置は、物品ケースに収容されている物品を正確に吸着してピッキングするために、画像処理を用いて、物品を検出する。更には、吸着などの手段で物品を把持して移動させることを確実に行うために、物品を移動中に落とさないように確実に吸着などで把持する必要がある。すなわち、バランスよく物品を吸着する必要がある。
【００１２】
このため、ピッキング装置での物品の検出においては、物品の重心を検出することが必要である。物品の重心を検出することで、吸着具等が物品の重心を吸着して、重量的にバランスよく物品を把持して移動できるからである。
【００１３】
このように、ピッキング装置などにおいては、物品の重心を検出することが必要であって行われていた。この重心の検出においては、物品の画像を撮像して、画像処理を通じて重心を検出することが行われている。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
画像処理を用いた物品の重心の検出においては、次のような手法例１、２がある。
【００１５】
（手法例１）
物品には通常パッケージ（包装）が施されている。パッケージには文字列やマークなど、特徴的な部分があり、撮像装置によってパッケージを含む物品の画像が撮像される。撮像された画像が含むパッケージの特徴的な部分を、検出装置に予め組み込まれているパターンに基づくパターンマッチングで検出する。
【００１６】
パターンマッチングは、特徴的な部分と重心との位置関係も組み込んでおり、特徴的な部分の検出に基づいて、物品の重心も検出できる。すなわち、物品のパッケージ中の特徴的な部分を基礎とした重心検出が行われる。
【００１７】
ここで、この画像処理による重心検出は、そのパターンマッチングのプログラムや装置が、ピッキング装置に組み込まれる。ピッキング装置を製造する事業者が、パターンマッチングを含んだ状態で、ピッキング装置をユーザーに納入する。製造事業者は、ユーザーからの事前の仕様に応じたパターンマッチングの機能を組み込んでピッキング装置を納入する。
【００１８】
このため、事前の仕様以外のパッケージや物品については、納入した段階でのピッキング装置では、パターンマッチングが対応できない問題がある。組み込まれているパターンマッチングの機能が記憶している特徴的部分以外のパッケージや物品には、対応できないからである。
【００１９】
これを解消するには、納入後のピッキング装置に組み込まれているパターンマッチング機能に追加処理を施す必要があるが、手間やコストが掛かる問題がある。また、追加処理を施す間においては、ピッキング装置の使用が停止される必要があり、ユーザーにおいても好ましくない問題がある。
【００２０】
（手法例２）
手法例１のように、予め重心検出装置に組み込まれたパターン以外を有する様々な物品にも対応して重心検出を行うことが求められている。これに対応する手法例２として、３次元カメラを用いる方法がある。３次元カメラを重心検出装置（ピッキング装置）に組み込み、物品の３次元画像が撮像される。この３次元カメラでの撮像によって、物品の重心を３次元で解析して検出することができる。
【００２１】
しかしながら、３次元カメラは非常に高価であり、ピッキング装置全体のコストを増加させる問題がある。更には、３次元カメラを用いた重心検出のプログラムを構築することが非常に難しく、これをピッキング装置に組み込むことの困難性がある。
【００２２】
また、既述したようにピッキング装置が取り扱う物品は、物品ケースに収容された状態であり、物品ケース全体で撮像された画像から、物品ケースに収容されている一つずつの物品の重心を検出する必要がある。このとき、物品が箱形状であれば、複数の物品は、物品ケースの中で整然と並んでいる。このため、物品を収容した状態の物品ケースの画像に基づいて、物品の一つずつの重心を検出することの困難性が低い。
【００２３】
しかしながら、物品が袋物（袋に物品が詰められた物品）である場合には、物品ケースに収容された物品は、お互いに密着していたり、離れていたりなどのようにそれぞれの位置が整然としていない。このため、物品を収容した状態の物品ケースの画像では、物品のそれぞれがきちんと分離していない状態となって、物品のそれぞれの重心を検出することが難しくなる問題もある。結果として、高い精度で物品の重心を検出できず、ピッキング装置での移動処理が難しくなるなどの問題につながっていた。
【００２４】
このように、従来技術での重心検出では、事後的な物品の追加に対応できない、低コストで対応できない、袋状物品に対して高い精度で重心検出ができない、といった問題があった。
【００２５】
本発明は、以上の問題に鑑み、袋状物品であっても、事後的な物品の追加に対応しつつ低コストでの物品の重心検出を行う、袋状物品の重心検出装置を提供することを目的とする。
【課題を解決するための手段】
【００２６】
上記課題に鑑み、本発明の袋状物品の重心検出装置は、袋に内容物が封入された袋状物品が収容された物品ケースの透視画像を受信する受信部と、透視画像に、物品ケースにおける袋状物品の配列状態を通知する通知部と、透視画像に基づいて、物品ケースに収容される袋状物品のそれぞれの仮想重心を決定する仮想重心決定部と、仮想重心および配列状態に基づいて、物品ケースに収容される袋状物品同士の境界線を設定する境界線設定部と、境界線設定部が設定する境界線に基づいて、仮想重心の位置を修正して修正重心を決定する重心位置修正部と、を備え、透視画像は、袋状物品の内容物が透視状態であり、境界線設定部は、修正重心に基づいて、袋状物品同士の境界線を修正し、重心位置修正部は、修正された境界線に基づいて、重心を更に修正し、境界線設定部および重心位置修正部における修正が収束することで、袋状物品のそれぞれの最終重心位置を決定する。
【発明の効果】
【００２７】
本発明の袋状物品の重心検出装置は、ピッキング装置などに組み込まれている場合でも、事後的な物品の追加にも対応して、物品の重心を検出できる。また、３次元カメラのような高価な撮像装置や複雑なプログラムを必要とせず、低コストで実現できる。
【００２８】
また、本発明の袋状物品の重心検出装置は、物品ケースの中でお互いに密着したり、部分的に重なったり、あるいは離れたりなどのような袋物であっても、正確に物品のそれぞれの重心を検出できる。このとき、物品を収容した状態の物品ケースの画像のみから、重心を検出でき、フレキシビリティや適用性が高い。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態１における袋状物品を収容した物品ケースの正面図である。
【図２】本発明の実施の形態２におけるピッキング装置の斜視図である。
【図３】本発明の実施の形態１における袋状物品を収容した物品ケースの正面図である。
【図４】本発明の実施の形態１における袋状物品の重心検出装置のブロック図である。
【図５】本発明の実施の形態１における物品ケースの撮像を示す模式図である。
【図６】本発明の実施の形態１における仮想重心決定後の状態を示す模式図である。
【図７】本発明の実施の形態１における境界線が設定された後の状態を示す模式図である。
【図８】本発明の実施の形態１における重心修正を示す模式図である。
【図９】この境界線の修正を示す模式図である。
【図１０】本発明の実施の形態１における最終重心位置が決定された後の状態を示す模式図である。
【図１１】Ｋｍｅａｎｓクラスタリングのアルゴリズムを説明する説明図である。
【図１２】図１１をより２値化に近づけた状態での図である。
【図１３】本発明の実施の形態２における重心検出のシミュレーション結果を示す模式図である。
【図１４】本発明の実施の形態２における重心検出のシミュレーション結果を示す模式図である。
【発明を実施するための形態】
【００３０】
本発明の第１の発明に係る袋状物品の重心検出装置は、袋に内容物が封入された袋状物品が収容された物品ケースの透視画像を受信する受信部と、
透視画像に、物品ケースにおける袋状物品の配列状態を通知する通知部と、
透視画像に基づいて、物品ケースに収容される袋状物品のそれぞれの仮想重心を決定する仮想重心決定部と、
仮想重心および配列状態に基づいて、物品ケースに収容される袋状物品同士の境界線を設定する境界線設定部と、
境界線設定部が設定する境界線に基づいて、仮想重心の位置を修正して修正重心を決定する重心位置修正部と、を備え、
透視画像は、袋状物品の内容物が透視状態であり、
境界線設定部は、修正重心に基づいて、袋状物品同士の境界線を修正し、
重心位置修正部は、修正された境界線に基づいて、重心を更に修正し、
境界線設定部および重心位置修正部における修正が収束することで、袋状物品のそれぞれの最終重心位置を決定する。
【００３１】
この構成により、袋状物品であっても、袋の印刷や袋状物品同士の密着などに関わらず、正確に袋状物品一つずつの重心を検出できる。
【００３２】
本発明の第２の発明に係る袋状物品の重心検出装置では、第１の発明に加えて、透視画像は、袋状物品を収容する物品ケースの撮像において、可視領域のデータを減じた画像である。
【００３３】
この構成により、透視画像が得られる。
【００３４】
本発明の第３の発明に係る袋状物品の重心検出装置では、第１の発明に加えて、透視画像は、袋状物品を収容する物品ケースの撮像において、近赤外領域を主として得られる画像である。
【００３５】
この構成により、近赤外領域を主として透視可能である透視画像が容易に得られる。
【００３６】
本発明の第４の発明に係る袋状物品の重心検出装置では、第１から第３のいずれかの発明に加えて、袋は、非透明部分を有する。
【００３７】
この構成により、透視画像により、非透明部分の遮蔽による問題を解消できる。
【００３８】
本発明の第５の発明に係る袋状物品の重心検出装置では、第１から第４のいずれかの発明に加えて、最終重心位置は、物品ケースから袋状物品をピッキングする際の把持位置に近似する。
【００３９】
この構成により、検出された重心によって、袋状物品のピッキングが行える。
【００４０】
本発明の第６の発明に係る袋状物品の重心検出装置では、第１から第５のいずれかの発明に加えて、袋状物品は、物品ケース内部において、ｍ×ｎ列で配置されて収容されており、
配列状態は、ｍ×ｎ列の配置情報である。
【００４１】
この構成により、配列状態を前提に、数および組み合わせの確定した境界線を設定できる。
【００４２】
本発明の第７の発明に係る袋状物品の重心検出装置では、第１から第６のいずれかの発明に加えて、仮想重心決定部は、透視画像に含まれる袋状物品のそれぞれの面積に基づいて、仮想重心を決定する。
【００４３】
この構成により、仮想重心を確実に決定できる。
【００４４】
本発明の第８の発明に係る袋状物品の重心検出装置では、請求項１から７のいずれかの発明に加えて、境界線設定部は、隣接する袋状物品の仮想重心もしくは修正重心の間に、境界線を設定する。
【００４５】
この構成により、袋状物品毎の間に、境界線を設定できる。
【００４６】
本発明の第９の発明に係る袋状物品の重心検出装置では、第１から第８のいずれかの発明に加えて、重心位置修正部は、境界線を境に隣接する袋状物品のそれぞれの面積を、境界線を境界として演算し、袋状物品の、演算された面積に基づいて、修正重心を決定する。
【００４７】
この構成により、境界線に見合った重心が設定できる。特に、袋状物品が密着したり部分的に重複したりしている場合に、密着していることに引きずられずに一つずつの袋状物品の重心を検出できる。
【００４８】
本発明の第１０の発明に係る袋状物品の重心検出装置では、第１から第９のいずれかの発明に加えて、境界線設定部および重心位置修正部は、Ｋｍｅａｎｓクラスタリングのアルゴリズムを使用する。
【００４９】
この構成により、重心を修正しながら、最終的な重心を決定できる。
【００５０】
本発明の第１１の発明に係る袋状物品の重心検出装置では、第１から第１０のいずれかの発明に加えて、最終重心位置は、袋状物品のピッキング装置において利用される。
【００５１】
この構成により、重心位置が袋状物品の移動などに最適に用いられる。
【００５２】
以下、図面を参照しながら、本発明の実施の形態を説明する。
【００５３】
（実施の形態１）
【００５４】
（全体概要）
まず、袋状物品が収容された物品ケースからの袋状物品のピッキングについて説明する。図１は、本発明の実施の形態１における袋状物品を収容した物品ケースの正面図である。図２は、本発明の実施の形態２におけるピッキング装置の斜視図である。
【００５５】
図１に示されるように、複数の袋状物品１００が物品ケース２００に収容されている。袋状物品は、例えば、パン、お菓子、加工食品などの内容物が袋に封入されているものである。他にも、電子部品や機械部品が袋に封入されているものである。
【００５６】
物品ケース２００に収容されている複数の袋状物品１００は、配送などの目的に対応して、ピッキングを行う機構によってピッキングされて、他のケースや他の場所に移動される。図２は、このピッキングを行う機構の一例としての、ピッキング装置３００を示している。ピッキング装置３００は、吸着面３０１を備えている。ピッキング装置３００は、この吸着面３０１を袋状物品１００の表面に押し当てて吸着し、袋状物品１００を物品ケース２００から別の場所に移動する。
【００５７】
このとき、ピッキング装置３００は、袋状物品１００を吸着してぶら下げつつ、移動させる。このため、重量バランスを考慮して、袋状物品１００を吸着する必要がある。このため、袋状物品１００の重心に合わせて吸着することが必要である。このため、ピッキング装置３００は、袋状物品１００の重心を正確に検出することが求められる。
【００５８】
しかしながら、図３のように、物品ケース２００の中で、袋状物品１００がお互いに密着していたり、部分的に重複していたり（袋の一部同士が重なっていたりする）、離れていたりすることがある。図３は、本発明の実施の形態１における袋状物品を収容した物品ケースの正面図である。図３の物品ケースでは、袋状物品１００によっては、隣接する袋状物品１００と密着していることもある。
【００５９】
このような状態では、密着や部分的に重複している袋状物品の重心が検出しにくいことは、従来技術で説明した通りである。
【００６０】
（概要動作）
図４は、本発明の実施の形態１における袋状物品の重心検出装置（以下、必要に応じて「重心検出装置」と略す）のブロック図である。重心検出装置１は、受信部２、通知部３、仮想重心決定部４、境界線設定部５、重心位置修正部６と、を備える。
【００６１】
（透視画像の受信）
受信部２は、袋状物品１００が収容された物品ケース２００の透視画像を受信する。この透視画像は、図５に示されるように、物品ケース２００の上方からカメラ１５０で画像が撮像されることで得られる。図５は、本発明の実施の形態１における物品ケースの撮像を示す模式図である。
【００６２】
図５のように、袋状物品１００が収容された物品ケース２００の上方から、カメラ１５０が画像を撮像する。この撮像において、カメラ１５０は、撮像対象の可視領域のデータ量を減じることで、撮像対象の透視画像を得ることができる。カメラ１５０が、可視領域のデータ量を減らすように撮像することで、物品ケース２００の透視画像が得られる。
【００６３】
カメラ１５０で撮像された透視画像のデータは、種々の手段で受信部２に送信される。例えば、カメラ１５０の記憶部で記憶されている透視画像のデータが、有線通信もしくは無線通信によって、受信部２に送信される。あるいは、記憶されている透視画像のデータが、記憶媒体によって手作業的に受信部２に送信（移動）されてもよい。
【００６４】
図５のようなカメラ１５０で撮像された物品ケース２００の透視画像を受信する。この受信によって、受信部２は、重心検出装置１に透視画像のデータを使用可能にできる。
【００６５】
ここで、カメラ１５０は、対象の物品ケース２０を撮像して電子データを生成できるものであればよい。特に、廉価で汎用性のあるものでよい。例えば、産業用の白黒カメラや、ＣＣＤカメラなどである。
【００６６】
また、透視画像とは、このようなカメラ１５０で撮像されて得られる画像から、可視領域のデータ量が減じられた画像であることで、内容物が透視もしくは半透視できる画像である。例えば、近赤外領域での画像が透視画像である。撮像するカメラ１５０は、可視領域と近赤外領域で画像を撮影できるが、このとき、可視領域のデータを減じるようなフィルター処理などで、近赤外領域を主として残して、透視画像とできる。
【００６７】
（配列状態の通知）
通知部３は、透視画像に関して、撮像された物品ケース２００における袋状物品２００の配列状態を把握して通知する。通知部３は、境界線設定部５に、この配列状態を通知する。配列状態は、例えば、物品ケース２００の中での、Ｍ×Ｎのような行と列により定義される情報である。図３の場合には、４×３の配列状態が通知される。通知部３は、この４×３の配列状態の情報を、境界線設定部５に通知する。
【００６８】
（仮想重心の決定）
仮想重心決定部４は、物品ケース２００の透視画像に基づいて、物品ケース２００に収容されている袋状物品１００のそれぞれの仮想重心を決定する。物品ケース２００には、複数の袋状物品１００が収容されている（１つでもよい）。一つずつの袋状物品１００が分離して把握できる状態であれば、仮想重心決定部４は、この一つずつに分離できる場合には、分離して把握できる袋状物品１００のそれぞれの面積を算出する。
【００６９】
例えば、図１のように一つずつに分離できている透視画像であれば、袋状物品１００の一つずつの面積を算出する。仮想重心決定部４は、算出したこの面積から、袋状物品１００のそれぞれの仮想重心を決定する。面積値から、重心が得られるからである。
【００７０】
また、透視画像であることで、袋状物品１００の袋のパッケージや印刷に遮蔽されることなく、その内容物の面積を算出することができる。透視画像では、袋状物品１００の袋を透視した内容物が見える状態となっている。このため、仮想重心決定部４は、この透視して見える内容物の面積を算出する。
【００７１】
このため、仮想重心決定部４は、袋状物品１００の袋やそのパッケージなどの遮蔽にかかわらず、内容物の面積（内容物がピッキングの際の重量バランスの基本となる）に基づいて、仮想重心を決定できる。
【００７２】
一方で、物品ケース２００においては、図３のように隣接する袋状物品１００が密着等していることもある。この場合には、透視画像であっても、密着している袋状物品の内容物が繋がったような画像となってしまう。このため、仮想重心決定部４は、複数の袋状物品が繋がったように見えることを前提に、面積を算出して、それぞれの仮想重心を決定する。
【００７３】
この場合に決定される仮想重心は、一つずつの袋状物品１００の本来の重心位置とは、乖離している可能性がある。図１のように分離している場合でも、透視画像の画像精度や撮像状況によって、算出される面積が、一つの袋状物品１００（内容物）を正確に表した者でないこともありえる。この場合には、決定される仮想重心は、本来の重心と離れている可能性がある。
【００７４】
もちろん、それぞれの場合で、仮想重心が、本来の重心の位置に近く決定されることもある。
【００７５】
図６は、本発明の実施の形態１における仮想重心決定後の状態を示す模式図である。図６は、仮想重心が決定された後の状態が示されている。図６の袋状物品１００のそれぞれにある黒点は、決定された仮想重心１０１である。この仮想重心１０１が、透視画像から仮想重心決定部４が決定したものである。
【００７６】
このように、それぞれの袋状物品１００において仮想重心１０１が決定されるが、図６のように、本来の重心位置とはずれていることも多い。
【００７７】
（境界線の設定）
境界線設定部５は、仮想重心決定部４で決定された仮想重心１０１に基づいて、物品ケース２００に収容された袋状物品１００同士の境界線を設定する。例えば、隣接する袋状物品１００の仮想重心１０１がある。すなわち、隣接する仮想重心１０１が存在している。この隣接する仮想重心１０１同士の中心線となるところを、境界線とする。
【００７８】
図７は、本発明の実施の形態１における境界線が設定された後の状態を示す模式図である。図７は、図６の処理に続いて、境界線設定部５が処理動作を行って、袋状物品１００同士の境界線１１０を設定した後の状態を示している。
【００７９】
例えば、袋状物品１００Ａと袋状物品１００Ｂは隣接している。袋状物品１００Ａと袋状物品１００Ｃとが隣接している。袋状物品１００Ａの仮想重心は１０１Ａとして決定されており、袋状物品１００Ｂの仮想重心は、１０１Ｂとして決定されており、袋状物品１００Ｃの仮想重心は、１０１Ｃとして決定されている。
【００８０】
境界線設定部５は、例えば、仮想重心１０１Ａと仮想重心１０１Ｂとの距離から、その境界線１１０を決定する。仮想重心１０１Ａと仮想重心１０１Ｂの中央となる部分を、境界線１１０を決定する。あるいは、境界線設定部５は、仮想重心１０１Ａと仮想重心１０１Ｃの中央となる線を、境界線１１０として設定する。
【００８１】
境界線設定部５は、この作業をすべての袋状物品１００同士の境界線１１０を設定する。仮想重心１０１が決定されていない袋状物品１００を除いて、全ての袋状物品１００同士の境界線１１０が設定される。
【００８２】
なお、このとき、境界線設定部５は、配列状態を情報として有している。この配列情報によって、物品ケース２００内部には３×４の袋状物品１００が収容されていることを把握している。すなわち、境界線設定部５は、物品ケース２００を、３×４列に分割するように境界線１１０を設定すればよいことを把握している。
【００８３】
この把握をしていることを前提としているうえで、仮想重心１０１同士の中央距離も加味して、境界線１１０を設定できる。この結果、物品ケース２００を３×４列に分割するように境界線１１０を設定できる。配列状態の通知を受けていることが、境界線１１０設定の前提となっている。
【００８４】
（重心位置の修正）
重心位置修正部６は、境界線設定部５が設定した境界線１１０に基づいて、仮想重心１０１の位置を修正して修正重心を決定する。
【００８５】
図８は、本発明の実施の形態１における重心修正を示す模式図である。図８は、図７の処理に続いて、重心位置修正部６による仮想重心１０１の修正を行う状況を示している。
【００８６】
境界線１１０が設定されていることで、袋状物品１００Ａと１００Ｃとは、隣接した状態で、境界線１１０が設定されている。この境界線１１０は、仮想重心１０１Ａと仮想重心１０１Ｃによって設定されている。境界線１１０は、袋状物品１００Ａと袋状物品１００Ｃとが密着（あるいは、部分的に重複している）しているために、袋状物品同士の本来の境界とは異なる位置に設定されている。
【００８７】
重心位置修正部６は、境界線１１０を基準として袋状物品１００Ａ側にある領域と袋状物品１００Ｃ側にある領域とのそれぞれの面積を算出する。図８では、それぞれの領域の色味を変えて示している。重心位置修正部６は、この色味の異なる境界線１１０で分割されたそれぞれ側の面積を算出する。この算出された面積に基づいて、重心位置修正部６は、修正重心を算出する。修正重心は、仮想重心と同じく面積値の中央を探すことで修正重心が決定できる。
【００８８】
図８において、修正重心１０２Ａと修正重心１０２Ｃが定まっている。修正重心１０２Ａおよび修正重心１０２Ｃのそれぞれは、仮想重心１０１Ａ、１０１Ｃよりも少しずれている。これは、境界線１１０によって修正重心１０２の決定の基準となる領域とその面積が変化したからである。
【００８９】
このように、境界線１１０が設定されたことで、仮想重心１０１から修正重心１０２が決定される。修正重心１０２は、仮想重心１０１の位置から修正された位置にある。
【００９０】
（境界線の修正）
次に、境界線設定部５は、修正重心１０２に基づいて、境界線１１０を修正する。境界線１１０は、配列情報から３×４列で設定できることを、境界線設定部５は、把握している。このため、３×４列の境界線１１０を設定することを前提としている。これに加えて、修正重心１０２に基づいて、最初に設定した境界線を修正する。図９は、この境界線の修正を示す模式図である。境界線１１０は、修正されて境界線１１０αとなる。
【００９１】
境界線設定部５は、修正重心１０２に基づいて、境界線１１０を修正して、修正後の境界線１１０αを得る。この境界線１１０αが、修正された新たな境界線である。
【００９２】
こうして、より本来の袋状物品１００に対応する境界線１１０が設定されていく。
【００９３】
（重心の修正）
境界線１１０が修正されて境界線１１０αが得られると、この境界線１１０αに基づいて袋状物品１００のそれぞれの領域面積が算出される。これは、図８を用いて説明したものと同様である。
【００９４】
この新たな境界線１１０αに基づいて算出された袋状物品１００毎の領域面積が算出される。この領域面積に基づいて、重心位置修正部６は、修正重心１０２を更に修正する。この修正された重心は、修正重心１０３として決定される。この修正重心１０３は、袋状物品１００の本来の状態をより適切に反映した状態である。
【００９５】
すなわち、重心位置修正部６は、更に重心位置を修正する。
【００９６】
この更なる修正を受けた修正重心１０３に基づいて、境界線設定部５は、境界線１１０を更に修正する。境界線１１０の修正は、図９を用いて説明したのと同様の処理で行われる。
【００９７】
境界線１１０の修正が更に行われると、この更なる修正をされた境界線１１０に基づいて、重心位置修正部６は、修正重心１０３を更に修正する。このような処理の繰り返しがなされることで、いずれ修正重心の位置が変化せずに収束するようになる。
【００９８】
この収束がなされると、最終重心位置が決定する。
【００９９】
図１０は、本発明の実施の形態１における最終重心位置が決定された後の状態を示す模式図である。袋状物品１００のそれぞれには、最終重心位置１２０が決定されている。図１０における菱形の要素が、最終重心位置１２０である。いずれも最初の仮想重心１０１よりも異なっている位置であって、袋状物品１００のそれぞれの本来の重心の位置となっている。
【０１００】
このようにして、袋状物品１００同士が密着や部分的に重複している場合でも、それぞれの袋状物品１００の正確な重心を、最終重心位置１２０として検出することができる。これらは、透視画像であって、配列情報が前提とされ、仮想重心と境界線の修正の繰り返しによる収束によるものである。
【０１０１】
図１０において、菱形の要素が、最終的に決定された最終重心位置１２０である。最終重心位置１２０は、重心検出装置１が検出した袋状物品１００のそれぞれの重心である。図２のようなピッキング装置３００は、この最終重心位置１２０を基本として袋状物品を吸着等してピッキングを行う。
【０１０２】
以上のように、実施の形態１における重心検出装置１は、物品ケース２００に収容されている袋状物品１００のそれぞれの重心を検出できる。これは、上述した通り、（１）通常の廉価なカメラ３００で透視画像を得ること、（２）物品ケース２００での配列状態を情報として利用して、境界線１１０を作成できること、（３）面積から仮想重心を決定すること、（４）仮想重心から境界線１１０を修正すること、（５）仮想重心と境界線との修正が連続的にできること、によって、実現できる。
【０１０３】
次に、必要な詳細やバリエーションについて説明する。
【０１０４】
（透視画像）
受信部２は、物品ケース２００の透視画像を得る。透視画像であることで、袋状物品１００の内容物を基本とした面積を算出できる。このため、重量を有する内容物の重心を検出できる。袋状物品１００の袋には、パッケージや印刷などがあり、通常の撮像画像では、重量に関係の無い袋によって重心を誤ってしまう可能性がある。
【０１０５】
これに対して、透視画像であることで、重量を有する内容物を基本とした重心検出を行うことができる。透視画像は、袋状物品１００の内容物が透視状態であるからである。
【０１０６】
透視画像は、物品ケース２００の撮像において、撮像中に可視領域に対応する周波数のデータを減じるように撮像することで得られる。図５のようにカメラ３００が撮像する際に、カメラ３００での撮像条件として、可視領域のデータを減じて撮像することで、透視画像が得られる。
【０１０７】
（袋状物品）
袋状物品１００は、袋に内容物が封入された物品である。例えば、パン、菓子、機械部品、電子部品、食品などが、袋に封入されている。袋に内容物が封入されているので、袋状物品１００は、重量を有する内容物以外の部分に、袋が存在している。この結果、撮像画像のみでは、重量のある範囲とそれ以外の範囲が分かりにくい特徴がある。
【０１０８】
また、袋の中で内容物が位置を変えることで、やはり撮像画像のみでは、重量を有する内容物の正確な範囲が分かりにくい問題がある。加えて、袋は、パッケージ印刷などのデザイン部分を有することがある。この場合にも、通常の撮像画像では、実際に重量を有する内容物の領域や位置が分かりにくいことがある。すなわち、袋は、非透明部分を有する。
【０１０９】
このような場合でも、透視画像が得られることで、袋の非透明部分の問題を解決できる。
【０１１０】
（配列状態）
袋状物品１００は、物品ケース２００内部において、ｍ×ｎ列で配置されて収容されている。配列状態は、このｍ×ｎ列の配置情報である。図１などでは、３×４列の配置情報が、配列状態である。
【０１１１】
重心検出装置１は、作業を行うにあたって、物品ケース２００の配置情報を記憶している。この記憶に基づいて、通知部３は、配列状態を境界線設定部５に通知できる。例えば、３×４列の配列状態を、情報として境界線設定部５に通知できる。
【０１１２】
配列状態が分かっていることで、境界線設定部５は、この配列状態に合わせた数と組み合わせの境界線を設定すればよい。そのうえで、仮想重心を用いて算出される位置に、境界線を設定すればよい。これらの結果、境界線設定部５は、容易かつより高い精度で境界線１１０を設定できる。
【０１１３】
まず、配列状態が分かっていることで、ｍ×ｎ列に合わせた境界線を設定すればよいことが分かる。そのうえで、仮想重心に合わせて、その境界線の位置を調整できる。
【０１１４】
図１などであれば、３×４列の境界線を設定することが分かっているので、これを前提として、隣接する仮想重心との位置関係から、境界線が設定できる。このように、配列情報を踏まえて、境界線の設定が可能となる。隣接する袋状物品１００の仮想重心もしくは修正重心の間に、配列情報を基本とした数と組み合わせの境界線のそれぞれを設定する。このようにして、より正確な境界線を設定できる。
【０１１５】
なお、境界線とは、袋状物品１００同士の間を分割する境界を示す仮想の選である。また、境界線設定部５は、最初の仮想重心から、修正された修正重心の位置の変化に伴って、境界線の位置を修正していく。
【０１１６】
（仮想重心の決定）
仮想重心決定部４は、透視画像に含まれる袋状物品１００のそれぞれの面積に基づいて、仮想重心１０１を決定する。袋状物品１００は、透視画像において一定の面積を有している。この面積からその中心となる部分を、仮想重心として決定する。
【０１１７】
また、重心位置修正部６も、同じように、透視画像に含まれる袋状物品１００であって、境界線によって分けられる範囲のそれぞれでの面積を算出する。この面積に基づいて、修正重心を決定する。すなわち、重心位置修正部６は、透視画像にある袋状物品１００の領域だけではなく、境界線によって分割された上での袋状物品１００の領域の面積に基づいて、重心位置を修正していく。これは図８、図９で説明した通りである。
【０１１８】
仮想重心は、透視画像に含まれる袋状物品１００のみで仮想重心を決定する。これでは、例えば図６に示されるように、隣接する袋状物品１００が密着や部分的に重複している場合には、密着等している袋状物品を分離して把握できず、仮想重心の位置は、本来の重心の位置よりも乖離してしまう。
【０１１９】
重心位置修正部６は、図８、図９のように、仮想重心から得られる境界線で、袋状物品１００を分離して、それぞれの領域で、重心位置を修正していく。すなわち、境界線を境に隣接する袋状物品１００の面積をそれぞれ算出する。この境界線を境とした袋状物品１００としての外形（複数の袋状物品１００に重複数ることがある）の面積を算出する。
【０１２０】
この算出された面積の中央から、修正された修正重心を算出する。
【０１２１】
この重心の修正が進んで収束すると、最終重心位置が決定できる。この最終重心位置は、物品ケース２００から袋状物品１００をピッキングする際の把持位置に近似している。この近似により、最終重心位置は、袋状物品１００のピッキング装置において利用できる。
【０１２２】
以上のようにして、実施の形態１における重心検出装置１は、袋状物品１００のピッキング装置によるピッキングで、最適な重心を提供できる。
【０１２３】
（実施の形態２）
【０１２４】
次に、実施の形態２について説明する。
実施の形態１で説明した、境界線設定部５および重心位置修正部６は、仮想重心による境界線の修正、修正された境界線による仮想重心の修正（修正重心の決定）を繰り返す。この繰り返しによって、修正重心が収束すると、最終重心位置が決定できる。この決定によって得られた最終重心位置が、検出された袋状物品１００の重心である。
【０１２５】
ここで、境界線設定部５および重心位置修正部６は、Ｋｍｅａｎｓクラスタリングのアルゴリズムを使用する。
【０１２６】
Ｋｍｅａｎｓクラスタリングとは、「教師なし学習」と呼ばれる手法であり、分類数Ｋ個を指定したら、データの類似性から分類を行う、機械学習クラスタリング手法である。
【０１２７】
図１１は、Ｋｍｅａｎｓクラスタリングのアルゴリズムを説明する説明図である。ここでは、２個の物品が存在している状態を基本として説明する。
【０１２８】
まず、物品は、２値化画像において、ｘ−ｙ平面上の多数の白点として図１１（１）のように表される。
【０１２９】
この白点をＫ個の塊に分類する。これを、クラスター、グループ分けという。
最初にこの塊の代表点Ｊ＝１〜Ｋを用意する。図１１では、４個の塊に分けるので、２行×２列の境界を設定して、その中心を代表点として設定する。これが図１１（２）に示される状態である。
【０１３０】
次に、白点の各点が、どの代表点に属するかを決定する。白点と代表点との距離を計算して、距離が最も短いいずれかの代表点に、この白点を属させる。これを繰り返して、図１１（２）に表示される多数の白点のそれぞれが、４つの代表点のいずれに属するかが決定される。
【０１３１】
分類された塊を基に、新たな代表点を作成しなおす。このとき、塊の重心を新たな代表点とする。この新たな代表点を設定したものが、図１１（３）である。
【０１３２】
次に、また白点のそれぞれを新たな代表点のいずれに属するかを演算する。すなわち、図１１（２）で行った作業を繰り返す。この繰り返しによって、代表点の再設定の位置が収束して変わらなくなることで、最終的な重心が決定される。これが図１１（４）に示される状態である。
【０１３３】
図１１（４）に最終重心位置が決定されている。
【０１３４】
図１２は、図１１をより２値化に近づけた状態での図である。図１２のように、Ｋｍｅａｎｓクラスタリングのアルゴリズムによって、物品のそれぞれの重心を検出できる。物品が、図１、３のような袋状物品であっても同様である。すなわち、実施の形態１で説明された処理手順は、このＫｍｅａｎｓクラスタリングのアルゴリズムを応用している。
【０１３５】
（実験結果）
発明者は、実施の形態１説明した処理手順であって、上述のＫｍｅａｎｓクラスタリングのアルゴリズムを応用して、重心を検出するシミュレーション実験を行った。
【０１３６】
図１３、図１４は、本発明の実施の形態２における重心検出のシミュレーション結果を示す模式図である。
【０１３７】
図１２、図１３のいずれも、原画像は、袋状物品が収容された物品ケースの透視画像である。実施の形態１で説明した袋状物品が収容された状態の物品ケースが、撮像された透視画像である。この原画像は透視画像であるので、袋状物品の内容物を透視している。すなわち、袋状物品の袋の印刷などが遮蔽とならない。
【０１３８】
２値画像初期中心は、仮想重心が決定された後の状態である。この状態では、原画像のそれぞれに検出できる袋状物品そのものの面積から、仮想重心が決定されている。
【０１３９】
この２値画像初期中心をスタートとして、Ｋｍｅａｎｓクラスタリングのアルゴリズムが開始される。このアルゴリズムは、実施の形態１で説明した境界線設定部５、重心位置修正部６の動作である。
【０１４０】
このＫｍｅａｎｓクラスタリングのアルゴリズムでの処理が繰り返されることで、図１３、図１４の右下のような状態となる。この状態は、袋状物品のそれぞれの重心が最終的に決定された状態である。このようにＫｍｅａｎｓクラスタリングのアルゴリズムを応用することで、物品ケースに収容された袋状物品のそれぞれの重心を正確に検出できる。
【０１４１】
このように、実験からも確かめられた。
【０１４２】
最終的に検出された重心は、ピッキング装置などによってピッキングされる場合に利用できる。
【０１４３】
なお、図１３、図１４のように、物品ケース中において、袋状物品のそれぞれが分離している場合でも、密着や部分的に重複している場合でも、問題なく重心が検出された。検出された重心に基づいてピッキング動作を行うと、問題なく確実にピッキングできることも確認できた。
【０１４４】
以上のように、実施の形態１、２の重心検出装置１は、袋状物品の袋の状態や密着などの状態などに関わらず、一つずつの袋状物品の重心を正確に検出できる。
【０１４５】
なお、実施の形態１〜２で説明された袋状物品の重心検出装置は、本発明の趣旨を説明する一例であり、本発明の趣旨を逸脱しない範囲での変形や改造を含む。
【符号の説明】
【０１４６】
１    袋状物品の重心検出装置
２    受信部
３    通知部
４    仮想重心決定部
５    境界線設定部
６    重心位置修正部
１００    袋状物品
１０１    仮想重心
１１０    境界線
１２０    最終重心位置
２００    物品ケース
３００    カメラ
【図１】
2018031585.tif 000003
【図２】
2018031585.tif 000004
【図３】
2018031585.tif 000005
【図４】
2018031585.tif 000006
【図５】
2018031585.tif 000007
【図６】
2018031585.tif 000008
【図７】
2018031585.tif 000009
【図８】
2018031585.tif 000010
【図９】
2018031585.tif 000011
【図１０】
2018031585.tif 000012
【図１１】
2018031585.tif 000013
【図１２】
2018031585.tif 000014
【図１３】
2018031585.tif 000015
【図１４】
2018031585.tif 000016