(57)【特許請求の範囲】
【請求項１】
中央部に穴又は凹部が設けられた物体を、平面視で前記穴又は凹部が視認可能な向きで、平面視の方向と交差する所定の配列方向に複数収容できる収容体に、前記物体が前記配列方向に所定数収容された状態で、前記収容体に収容された全ての前記物体を含む物体群領域を撮影部で撮影した画像の画像データを取得する取得部と、
前記取得部によって取得された画像データが示す前記物体群領域の前記配列方向両端部の位置を検出する検出部と、
前記検出部によって検出された前記両端部の間を前記所定数で均等に分割することにより複数の分割領域を導出する導出部と、
前記導出部によって導出された複数の分割領域内の前記配列方向中央部の位置を前記物体の各々における前記穴又は凹部の位置と推定する推定部と、
を含む推定装置。
【請求項２】
前記収容体は、前記物体を、前記所定の配列方向として横列方向及び縦列方向の２方向に各々複数収容可能とされ、
前記検出部は、前記横列方向及び前記縦列方向の各々別に、前記物体群領域の前記両端部の位置を検出し、
前記導出部は、前記横列方向及び前記縦列方向の各々別に、前記検出部によって検出された前記両端部の間を、対応する前記所定数で均等に分割することにより複数の分割領域を導出し、
前記推定部は、前記横列方向及び前記縦列方向の各々別に、前記導出部によって導出された複数の分割領域内の前記横列方向中央部かつ前記縦列方向中央部の位置を前記物体の各々における前記穴又は凹部の位置と推定する、
請求項１記載の推定装置。
【請求項３】
前記検出部は、前記導出部によって導出された複数の分割領域のうち、前記横列方向及び前記縦列方向の何れか一方の配列方向に沿った複数の分割領域群の各々毎の前記両端部の位置、及び前記導出部によって導出された複数の分割領域のうち、前記横列方向及び前記縦列方向の何れか他方の配列方向に沿った複数の分割領域群の各々毎の前記両端部の位置を更に検出し、
前記導出部は、前記検出部によって検出された、前記横列方向に沿った複数の分割領域群及び前記縦列方向に沿った複数の分割領域群の各々の前記両端部の間を、対応する前記物体の数で均等に分割することにより前記複数の分割領域を再度導出し、
前記推定部は、前記横列方向及び前記縦列方向の各々別に、前記導出部によって再度導出された複数の分割領域内の前記横列方向中央部かつ前記縦列方向中央部の位置を前記物体の各々における前記穴又は凹部の位置と推定する、
請求項２記載の推定装置。
【請求項４】
前記推定部は、前記収容体に収容されている前記物体の数が前記所定数より少ない場合、前記収容体に前記物体が前記所定数収容されている場合に推定した前記穴又は凹部の位置のうち、前記物体の画像以外の画像に囲まれている割合が所定値未満の位置を、前記物体の各々における前記穴又は凹部の位置と推定する、
請求項１〜請求項３の何れか１項記載の推定装置。
【請求項５】
前記撮影部は、撮影によって距離画像データを生成するものであり、
前記取得部は、前記距離画像データに基づいて、前記物体の領域と他の領域とを区別する２値画像データを前記画像データとして取得する、
請求項１〜請求項４の何れか１項記載の推定装置。
【請求項６】
中央部に穴又は凹部が設けられた物体を、平面視で前記穴又は凹部が視認可能な向きで、平面視の方向と交差する所定の配列方向に複数収容できる収容体に、前記物体が前記配列方向に所定数収容された状態で、前記収容体に収容された全ての前記物体を含む物体群領域を撮影部で撮影した画像の画像データを取得する取得部と、
前記取得部によって取得された画像データが示す前記物体群領域の前記配列方向両端部の位置を検出する検出部と、
前記検出部によって検出された前記両端部の間を前記所定数で均等に分割することにより複数の分割領域を導出する導出部と、
前記導出部によって導出された複数の分割領域内の前記配列方向中央部の位置を前記物体の各々における前記穴又は凹部の位置と推定する推定部と、
前記画像データにおける前記推定部により推定された位置に基づいて、前記穴又は凹部をマスクした前記画像データを用いて前記物体の配置位置を認識する認識部と、
を含む物体位置認識装置。
【請求項７】
前記推定部によって推定された位置で、かつマスクすることが妥当であると判定した位置に予め定められたマスクデータによりマスクする重畳部を更に含み、
前記認識部は、前記重畳部によって前記穴又は凹部がマスクされた前記画像データを用いて前記物体の配置位置を認識する、
請求項６記載の物体位置認識装置。
【請求項８】
中央部に穴又は凹部が設けられた物体を、平面視で前記穴又は凹部が視認可能な向きで、平面視の方向と交差する所定の配列方向に複数収容できる収容体に、前記物体が前記配列方向に所定数収容された状態で、前記収容体に収容された全ての前記物体を含む物体群領域を撮影部で撮影した画像の画像データを取得し、
取得した画像データが示す前記物体群領域の前記配列方向両端部の位置を検出し、
検出した前記両端部の間を前記所定数で均等に分割することにより複数の分割領域を導出し、
導出した複数の分割領域内の前記配列方向中央部の位置を前記物体の各々における前記穴又は凹部の位置と推定する、
ことを含む処理をコンピュータに実行させるための推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、推定装置、物体位置認識装置及び推定プログラムに関する。
【背景技術】
【０００２】
従来、物体をカメラで撮影して得られた画像データを２値化して得られた２値画像データを用いて上記物体を検査する技術として、物体表面に施された刻印をカメラで撮影し、得られた画像を処理することで刻印の形状を検査する技術があった。
【０００３】
この技術では、カメラで撮影された入力画像に対し、刻印部分をマスキングして背景部分の輝度分布を求め、該輝度分布に基づいて２値化処理の閾値を設定する。そして、この技術では、設定した閾値により入力画像に対して２値化処理を施し、これによって得られた明と暗の２値画像データを利用して刻印形状の良否を判定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１１８８９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、複数の物体が収容体に収容された状態において、該収容体から各物体をロボットによって取り出したい場合がある。例えば、製パン工場から多数のパンを入荷し、コンビニエンス・ストアやスーパー・マーケット等の店舗向けに、店舗毎に要求された数ずつパンを振り分けて配送する配送センタの事例が挙げられる。即ち、上記配送センタにおいて、製パン工場から入荷された入荷用の番重からパンをピッキングロボットにより１つずつ取り出して、最終的に各店舗から要求された数のパンを店舗毎に出荷用の番重に収容したい場合等である。
【０００６】
この場合、収容体における個々の物体の位置を認識する必要があり、この技術として、該複数の物体に対する撮影によって得られた画像データを用いて、個々の物体の位置を認識する技術が考えられる。
【０００７】
しかしながら、この技術では、中央部に環状、矩形状等の各種形状の穴又は凹部を有する複数の物体の各々の位置を正確に認識することは困難であった。該穴又は凹部の領域と、各物体の間の隙間の領域とが区別し難いためである。なお、中央部に穴又は凹部を有する物体としては、上述した製パン工場において製造される円環状（ドーナツ状）のパンや、ドーナツ、中央部が窪んだパン等の食品の他、タイヤ、ナット等の環状の部材等が例示される。
【０００８】
この問題を解決するために、上記従来の技術を利用して、物体の画像に対して該物体の穴又は凹部に対応する位置をマスキングして各物体の位置を認識することも考えられる。しかしながら、この場合、何らかの原因で各物体の位置が、想定される位置からずれた場合には、正確な位置にマスキングを行うことができず、この結果として各物体の位置の認識精度が著しく低下する。
【０００９】
なお、以上の問題は、複数の物体が収容体に収容された状態において、該収容体から各物体をロボットによって取り出したい場合に限らず、他の複数の物体の位置を認識する用途においては生じ得る問題である。
【００１０】
本発明は、一つの側面として、中央部に穴又は凹部を有する複数の物体の各々の位置を高精度に認識できるようにすることが目的である。
【課題を解決するための手段】
【００１１】
１つの態様では、収容体に、中央部に穴又は凹部が設けられた物体が、平面視の方向と交差する所定の配列方向に所定数収容された状態で、前記収容体に収容された全ての前記物体を含む物体群領域を撮影部で撮影した画像の画像データを取得する取得部を備える。ここで、前記収容体は、前記物体を、平面視で前記穴又は凹部が視認可能な向きで、前記配列方向に複数収容できるものとされている。また、前記取得部によって取得された画像データが示す前記物体群領域の前記配列方向両端部の位置を検出する検出部を備える。また、前記検出部によって検出された前記両端部の間を前記所定数で均等に分割することにより複数の分割領域を導出する導出部を備える。また、前記導出部によって導出された複数の分割領域内の前記配列方向中央部の位置を前記物体の各々における前記穴又は凹部の位置と推定する推定部を備える。
【発明の効果】
【００１２】
一つの側面として、中央部に穴又は凹部を有する複数の物体の各々の位置を高精度に認識することができる、という効果を有する。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る物体振り分けシステムの構成の一例を示す平面図（一部ブロック図）である。
【図２】実施形態に係る物体位置認識装置の機能ブロック図である。
【図３】実施形態に係るコンピュータの概略構成を示すブロック図である。
【図４】実施形態に係る物体位置認識処理の一例を示すフローチャートである。
【図５】実施形態に係る初期情報入力画面の一例を示す概略図である。
【図６】実施形態に係る正番重処理の一例を示すフローチャートである。
【図７】実施形態に係る正番重処理の説明に供する図であり、正番重の２値画像データが示す２値画像の例を示す図である。
【図８】実施形態に係る正番重処理の説明に供する図であり、境界線の抽出方法の説明に供する図である。
【図９】実施形態に係る正番重処理の説明に供する図であり、外接矩形枠及び分割領域の例を示す図である。
【図１０】実施形態に係る正番重処理の説明に供する図であり、横列方向の分割領域の調整の説明に供する図である。
【図１１】実施形態に係る正番重処理の説明に供する図であり、縦列方向の分割領域の調整の説明に供する図である。
【図１２】実施形態に係る正番重処理の説明に供する図であり、マスクデータの配置位置の例を示す図である。
【図１３】実施形態に係る正番重処理の説明に供する図であり、マスクデータの重畳の状態及びマスクデータの重畳後の２値画像データの例を示す図である。
【図１４】実施形態に係る端数番重処理の一例を示すフローチャートである。
【図１５】実施形態に係る端数番重処理の説明に供する図であり、端数番重の２値画像データが示す２値画像の例を示す図である。
【図１６】実施形態に係る端数番重処理の説明に供する図であり、マスクデータの仮の配置位置の例を示す図である。
【図１７】実施形態に係る端数番重処理の説明に供する図であり、不要なマスクデータの除去方法の説明に供する図である。
【図１８】実施形態に係る端数番重処理の説明に供する図であり、不要なマスクデータを除去した状態の例を示す図である。
【図１９】実施形態に係る端数番重処理の説明に供する図であり、マスクデータの重畳後の２値画像データの例を示す図である。
【図２０】実施形態に係る最終番重処理の一例を示すフローチャートである。
【図２１】実施形態に係る最終番重処理の説明に供する図である。
【図２２】実施形態に係る物体位置の誤認識の説明に供する図である。
【図２３】実施形態に係る物体位置の誤認識の説明に供する図である。
【図２４】実施形態に係る物体位置の誤認識の説明に供する図である。
【図２５】実施形態に係る第２物体位置認識の説明に供する図である。
【図２６】実施形態に係る第２物体位置認識の説明に供する図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明の実施形態の一例を詳細に説明する。なお、本実施形態では、本発明を、製パン工場から多数のパン（本発明の「物体」に相当。）を、入荷用番重に収容された状態で入荷し、複数の店舗向けに、店舗毎に要求された数ずつパンを振り分けて配送する配送センタに適用した場合について説明する。
【００１５】
図１には、本実施形態に係る配送センタにおいてパンを振り分ける物体振り分けシステム９０の全体的な構成の一例を示す平面図（一部ブロック図）が示されている。
【００１６】
図１に示すように、本実施形態に係る物体振り分けシステム９０は、物体位置認識装置１０、ピッキングロボット３０、距離画像カメラ（以下、単に「カメラ」という。）３２、テーブル４０及びベルトコンベア４６が備えられている。
【００１７】
ベルトコンベア４６は、製パン工場から入荷したパン４４を各店舗に向けて必要数ずつ配送するべく、各店舗から要求された数のパン４４を収容する出荷用番重４８を載せて所定方向（本実施形態では、図１の矢印Ｄ方向）に移動搬送する。なお、本実施形態では、パン４４として中央部に貫通穴（以下、単に「穴」という。）４４Ａが空けられたドーナツ状のパンを適用しているが、これに限定されるものではなく、例えば、中央部に凹部が形成されたパン等を適用してもよい。
【００１８】
一方、テーブル４０は、一端部側（図１の下側）が、各々複数のパン４４が収容された複数の入荷用番重４２が積み重ねられる場所（以下、「積層場所」という。）４０Ａとされている。また、テーブル４０は、中間部が、積層場所４０Ａに積み重ねられた複数の入荷用番重４２から個々の入荷用番重４２が１つずつ移動されて、該入荷用番重４２からパン４４が取り出される場所（以下、「ピッキング場所」という。）４０Ｂとされている。また、テーブル４０は、上記一端部側とは反対側の他端部側（図１の上側）が、ベルトコンベア４６の中間部に近接する位置に位置決めされている。そして、テーブル４０の他端部側にピッキングロボット３０が設置されている。ピッキングロボット３０は、ピッキング場所４０Ｂに移動された入荷用番重４２内からパン４４を取り出し、ベルトコンベア４６によって搬送されてきた出荷用番重４８内に収容する。
【００１９】
本実施形態に係る物体振り分けシステム９０では、テーブル４０の積層場所４０Ａに、収容可能な上限数のパン４４が収容された番重である正番重とされた入荷用番重４２を積み重ねる。なお、本実施形態に係る物体振り分けシステム９０では、製パン工場からの入荷数に応じて端数となるパン４４が収容された番重である端数番重がある場合、該端数番重とされた入荷用番重４２を積層場所４０Ａの最上層に積み重ねる。そして、本実施形態に係る物体振り分けシステム９０では、積層場所４０Ａに積み重ねられた複数の入荷用番重４２を、最下層の入荷用番重４２からピッキング場所４０Ｂに１つずつ順次移動させる。
【００２０】
なお、本実施形態に係る物体振り分けシステム９０では、テーブル４０の積層場所４０Ａに入荷用番重４２を積み重ねる第１工程を配送センタの作業員（以下、単に「作業員」という。）が行うものとされている。また、本実施形態に係る物体振り分けシステム９０では、積層場所４０Ａからピッキング場所４０Ｂに入荷用番重４２を移動させる第２工程を、図示しない移動機構によって自動的に順次行うものとされている。さらに、本実施形態に係る物体振り分けシステム９０では、ピッキングロボット３０によって全てのパン４４が振り分けられ、空になった入荷用番重４２をピッキング場所４０Ｂから除去する第３工程を作業員が行うものとされている。しかしながら、これらの第１工程及び第３工程の各工程は、作業員によって行われる形態に限定されるものではない。これらの工程を、搬送用ロボットや移動機構等によって自動的に行う形態としてもよい。また、第２工程についても移動機構等によって自動的に行う形態に限らず、作業員が手作業で行う形態としてもよい。
【００２１】
一方、本実施形態に係る物体位置認識装置１０は推定装置２０を有している。本実施形態に係る推定装置２０は、ピッキング場所４０Ｂに設けられた入荷用番重４２に収容されているパン４４の個々の穴４４Ａの位置を推定する。そして、本実施形態に係る物体位置認識装置１０は、推定装置２０によって推定されたパン４４の個々の穴４４Ａの位置等に基づいて、入荷用番重４２におけるパン４４の個々の位置を認識する。
【００２２】
図１に示すように、物体位置認識装置１０には、ピッキングロボット３０及びカメラ３２が接続されている。本実施形態に係るカメラ３２は、ピッキング場所４０Ｂの上方に設けられて、撮影方向が下方側へ向けられており、ピッキング場所４０Ｂに設けられた入荷用番重４２の配置領域の全域における距離画像データを取得する。ここで、距離画像データとは、画像データの各画素の値が、カメラ３２による撮影画角内における画素毎の被写体までの距離を示すデータであり、カメラ３２の一例としては、米国マイクロソフト社製のキネクト（Kinect（登録商標））が例示される。
【００２３】
このように、本実施形態では、カメラ３２として距離画像カメラを適用した場合について記載するが、これに限定されるものではない。例えば、市販のカラー画像やモノクロ画像を撮影するカメラをカメラ３２として適用する形態としてもよい。
【００２４】
本実施形態に係る推定装置２０は、カメラ３２によって得られた距離画像データにおける、パン４４の高さ方向の上端部から中央部までの範囲の距離を示す画素を「０」（白）とし、他の画素を「１」（黒）とすることにより２値画像データを生成する。この距離画像データの２値化によって、パン４４の画像領域と、他の画像領域とを、異なる値で区分することができる。なお、本実施形態では、以上のように、パン４４の画像領域を「０」とし、他の画像領域を「１」としているが、これに限らず、パン４４の画像領域を「１」とし、他の画像領域を「０」としてもよい。
【００２５】
また、推定装置２０は、生成した２値画像データを用いて、ピッキング場所４０Ｂに設けられた入荷用番重４２に収容されているパン４４の穴４４Ａの位置を推定する。
【００２６】
一方、本実施形態に係る物体位置認識装置１０は、上述したように、推定装置２０によって推定されたパン４４の穴４４Ａの位置等に基づいて、入荷用番重４２におけるパン４４の個々の位置を認識する。そして、物体位置認識装置１０は、認識したパン４４の位置を示す位置情報をピッキングロボット３０に送信する。
【００２７】
ピッキングロボット３０は、物体位置認識装置１０から位置情報を受信すると、該位置情報に基づいて、ピッキング場所４０Ｂに設けられた入荷用番重４２からパン４４を取り出す。そして、ピッキングロボット３０は、入荷用番重４２から取り出したパン４４を、ベルトコンベア４６によって物体収容位置４６Ａに位置決めされた出荷用番重４８に必要数だけ収容する。ピッキングロボット３０による出荷用番重４８への必要数のパン４４の収容が終了すると、ベルトコンベア４６は、該出荷用番重４８を、配送センタにおける出荷口等の所定の場所まで移動搬送する。
【００２８】
なお、本実施形態に係る入荷用番重４２は、パン４４が平面視でパン４４の穴４４Ａが視認可能な向きで、平面視の方向と交差する所定の配列方向（本実施形態では、一例として図１に示すように、横列方向及び縦列方向の２方向）に複数収容できる。本実施形態に係る入荷用番重４２は、図１に示すように、最大で４個（横列方向）×３個（縦列方法）の合計１２個のパン４４が、各パン４４の穴４４Ａが視認可能な向きで平置きされるものとされているが、これらの最大数は一例であることは言うまでもない。
【００２９】
図２には、本実施形態に係る物体位置認識装置１０及び該物体位置認識装置１０に含まれる推定装置２０が示されている。図２に示すように、本実施形態に係る推定装置２０は、取得部１１、検出部１２、導出部１３、受付部１４及び推定部１５を備えている。また、本実施形態に係る物体位置認識装置１０は、推定装置２０、重畳部１７及び認識部１８を備えている。
【００３０】
取得部１１は、収容可能な上限数のパン４４が平面状に収容されて正番重とされた入荷用番重４２の全てのパン４４を含む物体群領域を包含する撮影領域をカメラ３２で撮影することにより該撮影領域の距離画像データを取得する。そして、取得部１１は、取得した距離画像データを前述したように２値化することにより、上記物体群領域を含む画像を示す２値画像データを生成する。
【００３１】
また、検出部１２は、取得部１１によって生成された２値画像データが示す２値画像中の物体群領域の、パン４４の配列方向の両端部の位置を検出する。また、導出部１３は、検出部１２によって検出された両端部の間を上記上限数で均等に分割することにより複数の分割領域を導出する。更に、推定部１５は、導出部１３によって導出された複数の分割領域内の中央部の位置をパン４４の各々における穴４４Ａの位置であると推定する。なお、受付部１４は、上記上限数の入力を受け付けるものとされており、導出部１３は、受付部１４によって受け付けられた上限数を用いて、上記分割領域を導出する。
【００３２】
ところで、本実施形態に係る物体振り分けシステム９０では、入荷用番重４２が、パン４４が上記配列方向として横列方向及び縦列方向の２つの方向に各々複数収容可能とされている。このため、本実施形態に係る検出部１２は、横列方向及び縦列方向の各々別に、上記物体群領域における上記両端部の位置を検出する。また、導出部１３は、横列方向及び縦列方向の各々別に、検出部１２によって検出された両端部の間を、対応する上限数で均等に分割することにより複数の分割領域を導出する。そして、推定部１５は、横列方向及び縦列方向の各々別に、導出部１３によって導出された複数の分割領域内の中央部の位置をパン４４の各方向に沿った穴４４Ａの位置であると推定する。
【００３３】
特に、本実施形態に係る検出部１２は、導出部１３によって導出された複数の分割領域のうち、横列方向及び縦列方向の何れか一方の配列方向に沿った複数の分割領域群の各々毎の両端部の位置を更に検出する。また、検出部１２は、導出部１３によって導出された複数の分割領域のうち、横列方向及び縦列方向の何れか他方の配列方向に沿った複数の分割領域群の各々毎の両端部の位置を更に検出する。また、導出部１３は、検出部１２によって検出された、横列方向に沿った複数の分割領域群及び縦列方向に沿った複数の分割領域群の各々の両端部の間を、対応する上限数で均等に分割することにより上記複数の分割領域を再度導出する。そして、推定部１５は、横列方向及び縦列方向の各々別に、導出部１３によって再度導出された複数の分割領域内の中央部の位置をパン４４の各々における穴４４Ａの位置であると推定する。
【００３４】
また、本実施形態に係る推定部１５は、入荷用番重４２に収容されているパン４４の数が上限数より少ない場合、入荷用番重４２が正番重である場合に推定した穴４４Ａの位置を、入荷用番重４２に収容されているパン４４の穴４４Ａの仮の位置であるとする。そして、推定部１５は、上記仮の位置のうち、パン４４の画像以外の画像に囲まれている割合が所定値未満の位置を、パン４４の各々における穴４４Ａの位置であると推定する。
【００３５】
なお、本実施形態に係る物体振り分けシステム９０では、カメラ３２によって距離画像データを取得している。このため、本実施形態に係る推定部１５等は、カメラ３２によって取得された距離画像データを前述したように２値化した２値画像データを用いている。しかしながら、これに限定されるものではない。例えば、カメラ３２としてカラー画像を撮影するカメラやモノクロ画像を撮影するカメラ等を適用した場合には、カメラ３２によって取得された複数階調の画像データを予め定められた閾値で２値化した２値画像データを用いればよい。
【００３６】
一方、重畳部１７は、２値画像データにおける、推定部１５により推定された位置に対して、穴４４Ａをマスクするためのマスクデータを重畳させ、認識部１８は、重畳部１７によりマスクデータが重畳された２値画像データを用いてパン４４の配置位置を認識する。なお、認識部１８によるパン４４の配置位置の認識結果はピッキングロボット３０に送信され、ピッキングロボット３０により、認識部１８から受信した認識結果が用いられて、入荷用番重４２に収容された個々のパン４４のピッキングが行われる。
【００３７】
推定装置２０における取得部１１は本発明に係る取得部の一例であり、検出部１２は本発明に係る検出部の一例であり、導出部１３は本発明に係る導出部の一例である。また、推定装置２０における受付部１４は本発明に係る受付部の一例であり、推定部１５は本発明に係る推定部の一例である。また、物体位置認識装置１０の認識部１８は本発明に係る認識部の一例である。
【００３８】
物体位置認識装置１０及び推定装置２０は、例えば図３に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ（Central Processing Unit）５１、メモリ５２、記憶部５３、入力部５４、表示部５５、インタフェース（Ｉ／Ｆ）部５６を備えている。ＣＰＵ５１、メモリ５２、記憶部５３、入力部５４、表示部５５、Ｉ／Ｆ部５６はバス５９を介して互いに接続されている。Ｉ／Ｆ部５６には上述したピッキングロボット３０及びカメラ３２が接続されている。なお、本実施形態では、ピッキングロボット３０及びカメラ３２が有線によりコンピュータ５０に接続されているが、これに限らず、無線で接続される形態としてもよい。
【００３９】
また、記憶部５３はＨＤＤ（Hard Disk Drive）やフラッシュメモリ等によって実現することができる。記録媒体としての記憶部５３には、コンピュータ５０を物体位置認識装置１０及び推定装置２０として機能させるための物体位置認識プログラム５３Ａが記憶されている。ＣＰＵ５１は、物体位置認識プログラム５３Ａを記憶部５３から読み出してメモリ５２に展開し、物体位置認識プログラム５３Ａが有するプロセスを順次実行する。
【００４０】
物体位置認識プログラム５３Ａは、取得プロセス５３Ａ１、検出プロセス５３Ａ２、導出プロセス５３Ａ３、受付プロセス５３Ａ４、推定プロセス５３Ａ５、重畳プロセス５３Ａ６及び認識プロセス５３Ａ７を有する。ＣＰＵ５１は、取得プロセス５３Ａ１を実行することで、図２に示す取得部１１として動作し、検出プロセス５３Ａ２を実行することで、図２に示す検出部１２として動作し、導出プロセス５３Ａ３を実行することで図２に示す導出部１３として動作する。また、ＣＰＵ５１は、受付プロセス５３Ａ４を実行することで、図２に示す受付部１４として動作し、推定プロセス５３Ａ５を実行することで、図２に示す推定部１５として動作する。更に、ＣＰＵ５１は、重畳プロセス５３Ａ６を実行することで、図２に示す重畳部１７として動作し、認識プロセス５３Ａ７を実行することで、図２に示す認識部１８として動作する。これにより、物体位置認識プログラム５３Ａを実行したコンピュータ５０が、物体位置認識装置１０及び推定装置２０として機能することになる。なお、物体位置認識プログラム５３Ａは本発明の推定プログラムの一例を含む。
【００４１】
一方、記憶部５３には、画像データ記憶領域５３Ｂが設けられている。ＣＰＵ５１が、画像データ記憶領域５３Ｂに記憶された距離画像データをメモリ５２に展開することにより、距離画像データが作成される。
【００４２】
なお、物体位置認識装置１０は、パーソナル・コンピュータ、またはＰＤＡ（Personal Digital Assistant）の機能を搭載した携帯型の装置であるスマート端末等であってもよい。また、物体位置認識装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
【００４３】
次に、本実施形態の作用を説明する。本実施形態では、配送センタの作業員が処理対象とする複数の入荷用番重４２をテーブル４０の積層場所４０Ａに対して上述したように積層する。その後、作業員がコンピュータ５０に対して物体位置認識プログラム５３Ａを実行させることで、図４に示す物体位置認識処理が行われる。なお、錯綜を回避するため、ここでは、カメラ３２による撮影によって連続的に得られる距離画像データが記憶部５３の画像データ記憶領域５３Ｂにリアルタイムで記憶されるものとして説明する。
【００４４】
物体位置認識処理のステップ１００において、受付部１４は、各種初期情報を入力するための画面として予め定められた初期情報入力画面を表示するように表示部５５を制御し、次のステップ１０２において、受付部１４は、所定情報の入力待ちを行う。
【００４５】
図５には、本実施形態に係る初期情報入力画面の一例が示されている。図５に示すように、本実施形態に係る初期情報入力画面では、入荷用番重４２へのパン４４の最大収容数を入力するための入力領域５５Ａ、及び今回の物体位置認識処理において処理対象とする入荷用番重４２の数を入力するための入力領域５５Ｂが表示される。ここで、上記最大収容数は上記上限数に相当する。なお、本実施形態に係る物体振り分けシステム９０では、前述したように、１つの入荷用番重４２に対して横列方向及び縦列方向の２次元状にパン４４が収容できるものを処理対象としている。このため、本実施形態に係る初期情報入力画面では、最大収容数を入力するための入力領域５５Ａとして、横列方向の最大収容数を入力するための入力領域５５Ａ１、及び縦列方向の最大収容数を入力するための入力領域５５Ａ２が表示される。
【００４６】
図５に示す初期情報入力画面が表示部５５に表示されると、作業者は、入力部５４を用いて、入荷用番重４２へのパン４４の横列方向の最大収容数を入力領域５５Ａ１に入力し、同じく縦列方向の最大収容数を入力領域５５Ａ２に入力する。また、作業員は、入力部５４を用いて、今回の物体位置認識処理において処理対象とする入荷用番重４２の数を入力領域５５Ｂに入力する。
【００４７】
作業員は、以上の入力が終了すると、初期情報入力画面に表示されている「入力終了」ボタン５５Ｃを入力部５４により指定する。「入力終了」ボタン５５Ｃが指定されると、ステップ１０２が肯定判定となってステップ１０４に移行する。
【００４８】
ステップ１０４において、取得部１１は、ピッキング場所４０Ｂにパン４４が収容された入荷用番重４２が配置されているか否かを判定し、パン４４が収容された入荷用番重４２がピッキング場所４０Ｂに配置されていると肯定判定となりステップ１０６に移行する。なお、ステップ１０４の処理を実行する際に、取得部１１は、画像データ記憶領域５３Ｂに記憶されている最新の距離画像データを読み出す。また、取得部１１は、読み出した距離画像データを前述したように２値化することにより２値画像データを生成する。そして、取得部１１は、生成した２値画像データが示す画像（以下、「処理対象画像」という。）に上記物体群領域が含まれているか否かを判定することにより、ステップ１０４による判定を行う。
【００４９】
ステップ１０６において、検出部１２は、ピッキング場所４０Ｂに配置されている入荷用番重４２（以下、「処理対象番重」という。）が、今回の物体位置認識処理で対象としている入荷用番重４２のうちの最後の入荷用番重４２であるか否かを判定する。そして、この判定が否定判定となった場合、即ち処理対象番重が最後の入荷用番重４２でない場合はステップ１０８に移行する。なお、ステップ１０６における処理対象番重が最後の入荷用番重４２であるか否かの判定は、例えば、積層場所４０Ａからピッキング場所４０Ｂへの入荷用番重４２の移動回数が、初期情報入力画面を介して入力された入荷用番重４２の数に達したか否かを判定することにより行うことができる。また、テーブル４０の積層場所４０Ａから入荷用番重４２が無くなったか否かに基づいて、ステップ１０６の判定を行ってもよい。
【００５０】
ステップ１０８において、検出部１２は、処理対象番重が正番重であるか否かを判定し、肯定判定となった場合はステップ１１０に移行する。なお、ステップ１０８における判定は、処理対象番重について、後述するステップ１１０の処理（正番重処理）が一度も実行されていない場合に正番重であると判定し、処理対象番重について正番重処理が実行された場合に正番重ではないと判定することにより行う。
【００５１】
ステップ１１０において、ＣＰＵ５１は、図６に示す正番重処理を行う。
【００５２】
正番重処理のステップ２００において、取得部１１は、画像データ記憶領域５３Ｂから最新の距離画像データを読み出し、該距離画像データを前述したように２値化して２値画像データを生成する。次のステップ２０２において、検出部１２は、生成した２値画像データからパン４４の領域と他の領域との境界線を抽出する。
【００５３】
図７には、左端に理想的な正番重とされた入荷用番重４２の平面視のイメージを示す図が示されると共に、ステップ２００の処理によって取得した２値画像データにより示される２値画像（処理対象画像）の３種類の例が示されている。
【００５４】
図７の左端の図に示すように、本実施形態では、入荷用番重４２が、４個（横列方向）×３個（縦列方向）の合計１２個のドーナツ状のパン４４が収容可能とされている。しかしながら、実際の処理対象画像は、入荷用番重４２の移送の際の振動や傾斜等により、一例として図７の左から２番目の図に示すように、収容されているパン４４が全体的に接触した状態となる場合がある。また、処理対象画像は、一例として図７の右から２番目の図に示すように、全体的に一箇所に偏った状態となる場合もある。更に、処理対象画像は、一例とした図７の右端の図に示すように、個々のパン４４が離間した状態となる場合もある。なお、以下では、図７の左から２番目の図に示す処理対象画像を「第１画像」といい、図７の右から２番目の図に示す処理対象画像を「第２画像」といい、図７の右端の図に示す処理対象画像を「第３画像」という。
【００５５】
このような画像に対し、ステップ２０２による境界線の抽出では、一例として図８の左端の図に示すように、処理対象画像の周囲の４つの辺から該画像の内側に向かって画素値が「１」から「０」に変化する点を、上記境界線を構成する各点として検出する。なお、この各点を検出する場合、処理対象画像におけるパン４４の画像の領域の外側にノイズ画像が含まれている場合には、正確な境界線が得られなくなる。このため、本実施形態に係る検出部１２は、境界線の抽出を行うに先立って、２値画像データに対してノイズ除去処理を実行する。なお、ここで適用するノイズ除去処理としては、メディアンフィルタによる方法や、移動平均フィルタによる方法等の従来既知の技術が例示される。
【００５６】
この境界線を抽出する処理により、例えば、上記第１画像については図８の左から２番目の図に示す境界線が得られる。同様に、上記第２画像については図８の右から２番目の図に示す境界線が得られ、上記第３画像については図８の右端の図に示す境界線が得られる。
【００５７】
次のステップ２０４において、検出部１２は、ステップ２０２の処理によって得られた境界線に対する外接矩形枠を特定する。この処理により、例えば、上記第１画像については図９の左端の図に示す外接矩形枠が得られる。同様に、上記第２画像については図９の中央の図に示す外接矩形枠が得られ、上記第３画像については図９の右端の図に示す外接矩形枠が得られる。
【００５８】
次のステップ２０６において、検出部１２は、ステップ２０４の処理によって得られた外接矩形枠から、横列方向及び縦列方向の各方向に対する両端部の位置を検出する。このように、本実施形態では、入荷用番重４２に横列方向及び縦列方向の２次元状にパン４４が収容可能とされているため、ステップ２０６では、横列方向及び縦列方向の各方向に対する両端部の位置を検出しているが、これに限定されるものではない。例えば、入荷用番重４２が１列分のパン４４のみが収容可能とされている場合、ステップ２０６では、横列方向（パン４４の配列方向）のみの両端部の位置を検出すればよい。
【００５９】
次のステップ２０８において、導出部１３は、ステップ２０６の処理によって検出された横列方向の両端部の間を、上記上限数に対応する横列方向の最大収容数で均等に分割することにより、横列方向に対する複数の分割領域を導出する。また、導出部１３は、ステップ２０６の処理によって検出された縦列方向の両端部の間を、上記上限数に対応する縦列方向の最大収容数で均等に分割することにより、縦列方向に対する複数の分割領域を導出する。この処理により、例えば、上記第１画像については図９の左端の図に示す分割領域が得られる。同様に、上記第２画像については図９の中央の図に示す分割領域が得られ、上記第３画像については図９の右端の図に示す分割領域が得られる。
【００６０】
ところで、例えば上記第１画像や上記第２画像のように、上記境界線の輪郭が概ね矩形状となっている場合は、以上の処理によって得られた分割領域が、パン４４の各々が配置されている領域であると概ね推定することができる。しかしながら、上記第３画像のように、上記境界線の輪郭が矩形状ではない形状（例えば、台形状や平行四辺形状等）となっている場合は、以上の処理によって得られた分割領域が、パン４４の各々が配置されている領域であると推定することはできない。
【００６１】
そこで、本実施形態に係る検出部１２は、導出部１３によって導出された複数の分割領域のうち、横列方向及び縦列方向の何れか一方の方向（本実施形態では、横列方向）に沿った複数の分割領域群の各々毎の両端部の位置を更に検出する。また、検出部１２は、導出部１３によって導出された複数の分割領域のうち、横列方向及び縦列方向の何れか他方の方向（本実施形態では、縦列方向）に沿った複数の分割領域群の各々毎の両端部の位置を更に検出する。
【００６２】
そして、本実施形態に係る導出部１３は、検出部１２によって検出された、横列方向に沿った複数の分割領域群及び縦列方向に沿った複数の分割領域群の各々の両端部の間を、対応する上限数（最大収容数）で均等に分割することにより、上記複数の分割領域を再度導出する。
【００６３】
以上の検出部１２及び導出部１３の処理のうち、横列方向に沿った分割領域群に対する処理を第１段階として行うことにより、一例として上記第３画像については図１０に示すように、横列方向に対する分割領域が調整される。また、第１段階の処理を経た分割領域に対して、以上の検出部１２及び導出部１３の処理のうち、縦列方向に沿った分割領域群に対する処理を第２段階として行う。これにより、図１１に示すように、横列方向に対する分割領域に加えて、縦列方向に対する分割領域が調整される。
【００６４】
以上の処理によって得られた分割領域は、複数のパン４４の各々による配置位置の偏りをも考慮した分割領域となるため、該分割領域がパン４４の各々が配置されている領域であると高精度で推定することができる。
【００６５】
次のステップ２１０において、推定部１５は、横列方向及び縦列方向の各々別に、導出部１３によって再度導出された複数の分割領域内の中央部の位置をパン４４の各々における穴４４Ａの位置であると推定する。
【００６６】
次のステップ２１２において、推定部１５は、推定したパン４４の各々における穴４４Ａの位置を示す位置情報をメモリ５２に記憶する。次のステップ２１４において、重畳部１７は、処理対象画像を示す２値画像データにおける、推定部１５により推定された位置に対して、穴４４Ａをマスクするためのマスクデータを重畳させた後、本正番重処理を終了する。正番重処理が終了すると、図４に示す物体位置認識処理のステップ１１６に移行する。なお、本実施形態では、マスクデータとして、予め定められたサイズ（直径）の円形状の画像を、２値画像データにおけるパン４４の画像と同様の値（本実施形態では、「０」）で形成するデータを用いている。
【００６７】
なお、サイズの小さい分割領域に対応するパン４４は、圧縮度合いが大きく、穴４４Ａの直径も、より小さくなっている可能性がある。これを考慮すると、個々の分割領域のサイズに応じてマスクデータのサイズ（円の直径）を変化させてもよい。
【００６８】
図１２には、処理対象画像が上記第１画像〜第３画像である場合において、ステップ２１４の処理によってマスクされる位置が上記境界線及び分割領域と共に示されている。また、図１３の上段には、処理対象画像が上記第１画像〜第３画像である場合において、ステップ２１４の処理によってマスクされる位置が処理対象画像と共に示されている。更に、図１３の下段には、対応する処理対象画像にマスクデータが重畳された後の処理対象画像が示されている。
【００６９】
図１２及び図１３に示すように、ステップ２１４のマスクデータの重畳によって、一部のパン４４の画像については小さなマスク洩れが見られるものの、殆どのパン４４の画像については穴４４Ａに相当する画像がなくなっている（マスクされている）ことがわかる。なお、ここでいう「マスク洩れ」は、マスクすべき領域（穴４４Ａの領域）の一部がマスクできていないことを意味する。従って、マスクデータが重畳された後の処理対象画像に対してパン４４の位置を認識する物体位置認識を行うことにより、穴４４Ａの画像の影響を受けない、若しくは穴４４Ａの画像の影響が低減された認識を行うことができる。この結果、パン４４の個々の位置を、より高精度に認識できるようになる。
【００７０】
一方、図４に示す物体位置認識のステップ１０８において否定判定となった場合、処理対象番重が端数番重であると見なしてステップ１１２に移行し、ＣＰＵ５１は、図１４に示す端数番重処理を行う。
【００７１】
端数番重処理のステップ３００において、取得部１１は、画像データ記憶領域５３Ｂから最新の距離画像データを読み出し、該距離画像データを前述したように２値化して２値画像データを生成する。次のステップ３０２において、検出部１２は、直近に実行した正番重処理のステップ２１２の処理によって記憶した位置情報を読み出す。
【００７２】
次のステップ３０４において、重畳部１７は、ステップ３００の処理によって生成した２値画像データに対して、ステップ３０２の処理によって読み出した位置情報により示される位置に上記マスクデータを重畳させる。
【００７３】
図１５には、ステップ３００の処理によって取得した２値画像データにより示される２値画像（処理対象画像）の３種類の例が示されている。
【００７４】
図１５の左端の図は、正番重状態での処理対象画像が上記第１画像である処理対象番重に対して１段目の右半分の２個のパン４４がピッキングされた状態の画像（以下、「第４画像」という。）を示す。また、図１５の中央の図は、正番重状態での処理対象画像が上記第２画像である処理対象番重に対し、１段目の４個全てと２段目の中央部の２個の合計６個のパン４４がピッキングされた状態の画像（以下、「第５画像」という。）を示す。更に、図１５の右端の図は、正番重状態での処理対象画像が上記第３画像である処理対象番重に対し、１段目の右側の３個のパン４４と、２段目の左半分の２個の合計５個のパン４４がピッキングされた状態の画像（以下、「第６画像」という。）を示す。また、図１６には、処理対象画像が上記第４画像〜第６画像である場合において、ステップ３０４の処理によってマスクされる位置が処理対象画像と共に示されている。
【００７５】
図１６に示すように、ステップ３０４の処理では、実際にはパン４４が存在しない領域までマスクデータが重畳されるため、このままではパン４４が存在しない領域で、かつマスクデータが重畳された領域にパン４４が位置しているものと誤判定される虞が高い。そこで、次のステップ３０６において、重畳部１７は、ステップ３０４の処理により行ったマスクデータの配置が妥当であるか否かを、配置したマスクデータ毎に判定する。
【００７６】
本実施形態では、マスクデータの配置が妥当であるか否かの判定を次のように行う。即ち、配置したマスクデータによるマスクの領域の円周のうち、処理対象画像におけるパン４４の画像以外の画像の値（本実施形態では、‘１’）とされている画素（本実施形態では、黒画素）に囲まれている割合が所定値未満である場合に妥当であると判定する。なお、本実施形態では、上記所定値として７０％を適用している。従って、例えば、図１７に示すように、上記割合が１００％及び８０％とされている場合は、マスクデータの配置が妥当ではないと判定し、上記割合が６０％、２０％及び０％（黒画素と全く接していない状態。）の場合は、マスクデータの配置が妥当であると判定する。
【００７７】
次のステップ３０８において、重畳部１７は、ステップ３０６の処理によって配置が妥当ではないと判定されたマスクデータを２値画像データから除去し、その後に本端数番重処理を終了する。端数番重処理が終了すると、図４に示すステップ１１６に移行する。
【００７８】
図１８には、処理対象画像が上記第４画像〜第６画像である場合において、ステップ３０４〜ステップ３０８の処理によって最終的にマスクされる位置が処理対象画像と共に示されている。また、図１９には、上記第４画像〜第６画像の各処理対象画像にマスクデータが重畳された後の処理対象画像が示されている。なお、図１８では、ステップ３０８の処理によって除去されたマスクデータによるマスクの位置が白い破線で示されている。
【００７９】
図１８及び図１９に示すように、上記第４画像〜第６画像は、ステップ３０４〜ステップ３０８の処理により、パン４４の画像が存在しない領域のマスクデータについては除去され、パン４４の画像の領域のみについてマスクデータが重畳された状態となる。この結果、パン４４がない領域についてはマスクされず、一部のパン４４の画像については小さなマスク洩れが見られるものの、殆どのパン４４の画像については穴４４Ａに相当する画像がなくなっている（マスクされている）ことがわかる。従って、これらの処理対象画像に対してパン４４の位置を認識する物体位置認識を行うことにより、穴４４Ａの画像の影響を受けない、若しくは穴４４Ａの画像の影響が低減された認識を行うことができる。この結果、パン４４の個々の位置を、より高精度に認識できるようになる。
【００８０】
一方、図４に示す物体位置認識のステップ１０６において肯定判定となった場合、処理対象番重が、今回の物体位置認識処理で対象としている入荷用番重４２のうちの最後の入荷用番重４２（以下、「最終番重」という。）であると見なしてステップ１１４に移行する。
【００８１】
ステップ１１４において、ＣＰＵ５１は、図２０に示す最終番重処理を行う。以下、最終番重処理について説明する。なお、錯綜を回避するため、本実施形態では、最終番重におけるパン４４の理想的な配置位置（以下、「最終番重配置位置」という。）が予め設定されている場合について説明する。
【００８２】
最終番重処理のステップ４００において、取得部１１は、画像データ記憶領域５３Ｂから最新の距離画像データを読み出し、該距離画像データを前述したように２値化して２値画像データを生成する。次のステップ４０２において、検出部１２は、直近に実行した正番重処理のステップ２１２の処理によって記憶した位置情報を読み出す。
【００８３】
次のステップ４０４において、重畳部１７は、ステップ４００の処理によって生成した２値画像データに対して、ステップ４０２の処理によって読み出した位置情報により示される位置に上記マスクデータを重畳させる。
【００８４】
次のステップ４０６において、重畳部１７は、ステップ４０４の処理によって配置したマスクデータから、上記最終番重配置位置とは異なる位置に対応するマスクデータを除去し、その後に本最終番重処理を終了する。最終番重処理が終了すると、図４に示す物体位置認識処理のステップ１１６に移行する。
【００８５】
図２１は、直近に実行した正番重処理での処理対象画像が上記第３画像である場合における最終番重処理の説明に供する図である。この場合、直近に実行した正番重処理での処理対象画像が図２１の左端に示す画像であり、該正番重処理によって、マスクデータが図２１の左から２番目の図に示す位置に重畳される。
【００８６】
この場合、最終番重処理のステップ４００の処理によって取得された２値画像データにより示される処理対象画像は、一例として図２１の右から２番目の画像となる。なお、図２１の右から２番目の図では、最終番重において、１段目のパン４４がなく、２段目〜３段目の合計８個のパン４４が収容されている場合について示されている。この場合、最終番重処理のステップ４０６の処理では、図２１の右端の図に示すように、１段目に重畳された全てのマスクデータが除去され、２段目〜３段目に配置したマスクデータが残る。この結果、パン４４がない領域についてはマスクされず、一部のパン４４の画像については小さなマスク洩れが生じるものの、殆どのパン４４の画像については穴４４Ａに相当する画像がなくなることになる。従って、この処理対象画像に対してパン４４の位置を認識する物体位置認識を行うことにより、穴４４Ａの画像の影響を受けない、若しくは穴４４Ａの画像の影響が低減された認識を行うことができる。この結果、パン４４の個々の位置を、より高精度に認識できるようになる。
【００８７】
図４に示す物体位置認識処理のステップ１１６において、認識部１８は、以上のステップ１１０、ステップ１１２及びステップ１１４の何れかの処理によってマスクデータが重畳された２値画像データ（以下、「マスク済み画像データ」という。）を用いて、処理対象番重に収容されているパン４４の位置を認識する物体位置認識を行う。本実施形態では、上記物体位置認識として、中央部に穴４４Ａや凹部がないパンの位置を認識する従来既知の物体位置認識を行っている。なお、本実施形態に係る物体位置認識では、マスク済み画像データにより示される処理対象画像の水平方向及び垂直方向の各方向に対する白画素数の累積値を示すヒストグラムを方向別に作成する。そして、水平方向及び垂直方向の各ヒストグラムの谷部が隣接するパン４４の間の境界領域として、各パン４４の位置を認識する。しかしながら、物体位置認識は、この方法に限定されるものではなく、２値画像データを用いて複数の物体の各々の位置を認識する方法であれば、如何なる方法を適用してもよい。
【００８８】
ところで、物体位置認識では、様々な原因によりパン４４の位置を誤認識する場合がある。以下、物体位置認識において誤認識となってしまう原因の具体的な例について説明する。
【００８９】
例えば、一例として図２２の左の図に示すように、マスクデータにより示されるマスクの面積がパン４４の穴４４Ａの画像の面積より小さい場合は、物体位置認識において誤認識してしまうことがある。パン４４の画像とマスクデータによる画像との間の領域が隣接するパン４４の間の空間であると誤認識する場合があるためである。また、一例として図２２の右の図に示すように、マスクデータにより示されるマスクの面積がパン４４の画像の面積より大きい場合も、物体位置認識において誤認識してしまうことがある。隣接するパン４４の間の空間が識別できなくなる場合があるためである。
【００９０】
この問題を解決するため、マスクデータにより示されるマスクの大きさを作業者によって指定できるようにしてもよい。この形態の例としては、作業者により、入力部５４を介してマスクの大きさを入力するものとし、作業者によって入力部５４を介して入力されたマスクの大きさを受付部１４により受け付ける形態が例示される。この例では、受付部１４によって受け付けたマスクの大きさに応じたマスクデータを重畳部１７により生成し、正番重処理、端数番重処理及び最終番重処理において適用する。
【００９１】
また、物体位置認識において誤認識する原因の具体例として、一例として図２３に示すように、入荷用番重４２の移動に起因して、横列方向や縦列方向に対して一部のパン４４のみ大きく位置ずれを起こした場合も、物体位置認識において誤認識することがある。更に、一例として図２４に示すように、直前のピッキングによって一部のパン４４のみ位置ずれを起こした場合も、前述した端数番重処理ではマスクデータの数がパン４４の数より多くなることがあり、この場合も物体位置認識において誤認識することがある。
【００９２】
このような誤認識に或る程度対応するため、本実施形態に係る物体位置認識処理では、ステップ１１６の物体位置認識において誤認識が発生した場合に、該物体位置認識とは異なり、距離画像データを直接用いた物体位置認識を実行する。
【００９３】
即ち、次のステップ１１８において、認識部１８は、ステップ１１６の物体位置認識において誤認識が発生したか否かを判定し、否定判定となった場合はステップ１２０に移行する。なお、本実施形態に係る認識部１８は、ステップ１１８における誤認識が発生したか否かの判定を、認識したパン４４の位置の数が想定されるパン４４の数とは不一致となるか否かを判定することにより行っている。ここで、上記想定されるパン４４の数は、処理対象番重が正番重とされている場合のパン４４の数から、それまでに該処理対象番重からピッキングロボット３０によってピッキングされたパン４４の数を減算すること等により得られる。
【００９４】
ステップ１２０において、認識部１８は、ステップ１１６の物体位置認識によって認識したパン４４の位置を示す位置情報をピッキングロボット３０に送信し、その後にステップ１３２に移行する。なお、物体位置認識装置１０から位置情報を受信すると、ピッキングロボット３０は、該位置情報が示すパン４４の位置に基づいて、処理対象番重からパン４４を１つ取り出して出荷用番重４８に収容する。
【００９５】
一方、ステップ１１８において肯定判定となった場合は、ステップ１１６の物体位置認識において誤認識が発生したと見なしてステップ１２２に移行し、取得部１１は、画像データ記憶領域５３Ｂから最新の距離画像データを読み出す。また、ステップ１２２において、検出部１２は、直近に実行した正番重処理のステップ２１２の処理によって記憶した位置情報を読み出す。そして、ステップ１２２において、重畳部１７は、一例として図２５に示すように、読み出した距離画像データに対し、次のようにマスクデータを重畳させる。即ち、該距離画像データが示す距離画像の上記位置情報が示す位置を中心として、所定の大きさ（平面視した場合の面積及び高さを含む。）の上面及び下面の面積が異なる円柱状（円錐の上側を水平に切断して除去した形状）を示す距離画像データをマスクデータとして重畳させる。
【００９６】
なお、ここで距離画像データに対して用いるマスクデータにおいても、２値画像データに対して用いるマスクデータと同様に、認識対象とするパンの穴の大きさによっては物体位置認識において誤認識が生じてしまう場合がある。このため、距離画像データに対して用いるマスクデータの大きさも作業者によって指定できるようにしてもよい。
【００９７】
次のステップ１２４において、認識部１８は、以上の処理によってマスクデータが重畳された距離画像データを対象として物体位置認識（以下、「第２物体位置認識」という。）を行う。なお、本実施形態に係る第２物体位置認識では、一例として図２６に示すように、以下で定義する横方向のヒストグラム及び縦方向のヒストグラムを作成し、各ヒストグラムの谷部が隣接するパン４４の間の境界領域として、各パン４４の位置を認識する。ここで、横方向のヒストグラムとは、対応する縦方向の位置における、各距離情報を横方向に平均化又は積算することにより得られるものである。また、縦方向のヒストグラムとは、対応する横方向の位置における、各距離情報を縦方向に平均化又は積算することにより得られるものである。なお、ここでは、上記距離情報として、入荷用番重４２の底面（パン４４の下面と接触する面）を基準として、該底面からの距離を適用している。但し、第２物体位置認識は、この方法に限定されるものではなく、距離画像データを用いて複数の物体の各々の位置を認識する方法であれば、如何なる方法を適用してもよい。
【００９８】
次のステップ１２６において、認識部１８は、ステップ１２４の第２物体位置認識において誤認識が発生したか否かを判定し、否定判定となった場合はステップ１２８に移行する。なお、本実施形態に係る認識部１８は、ステップ１２６における誤認識が発生したか否かの判定も、認識したパン４４の位置の数が想定されるパン４４の数とは不一致となるか否かを判定することにより行っている。
【００９９】
ステップ１２８において、認識部１８は、ステップ１２４の第２物体位置認識によって認識したパン４４の位置を示す位置情報をピッキングロボット３０に送信し、その後にステップ１３２に移行する。これに応じてピッキングロボット３０が１つのパン４４のピッキング作業を行うことは、ステップ１２０の説明において記載した通りである。
【０１００】
ステップ１３２において、認識部１８は、積層場所４０Ａに積層されている入荷用番重４２の全てのパン４４についてピッキングが終了したか否かを判定し、否定判定となった場合はステップ１０４に戻る。また、ここで肯定判定となった場合には本物体位置認識処理を終了する。
【０１０１】
一方、ステップ１２６において肯定判定となった場合は、第２物体位置認識において誤認識が発生したと見なしてステップ１３０に移行し、認識部１８は、予め定められたエラー処理を実行した後、本物体位置認識処理を終了する。なお、本実施形態に係る物体位置認識処理では、ステップ１３０のエラー処理として、誤認識が発生したことを示す情報を表示部５５に表示させる処理を適用しているが、これに限定されるものではない。例えば、ブザーを鳴動させるといった、誤認識が発生したことを報知する他の形態を適用してもよい。
【０１０２】
以上のように、本実施形態では、中央部に穴を有する物体（パン４４）を、所定の配列方向に複数収容できる収容体（入荷用番重４２）に、物体が上記配列方向に上限数収容された状態で全ての物体を含む物体群領域を撮影した画像の画像データを取得する。また、本実施形態では、取得した画像データが示す物体群領域の上記配列方向両端部の位置を検出する。また、本実施形態では、検出した両端部の間を上記上限数で均等に分割することにより複数の分割領域を導出する。更に、本実施形態では、導出した複数の分割領域内の上記配列方向中央部の位置を物体の各々における穴の位置と推定する。従って、本実施形態によれば、予期しない物体の偏りや広がり等を考慮して物体の位置を認識することができる結果、中央部に穴を有する複数の物体の各々の位置を高精度に認識することができる。
【０１０３】
特に、本実施形態では、収容体を、物体を上記配列方向として横列方向及び縦列方向の２方向に各々複数収容可能としている。また、本実施形態では、横列方向及び縦列方向の各々別に、物体群領域の上記両端部の位置を検出している。また、本実施形態では、横列方向及び縦列方向の各々別に、検出した両端部の間を、対応する上限数で均等に分割することにより複数の分割領域を導出している。そして、本実施形態では、横列方向及び縦列方向の各々別に、導出した複数の分割領域内の横列方向中央部かつ縦列方向中央部の位置を物体の各々における穴の位置と推定している。従って、本実施形態によれば、収容体に対して平面視２次元状に物体を収容することのできる形態に本発明を適用することができる。
【０１０４】
特に、本実施形態では、導出した複数の分割領域のうち、横列方向及び縦列方向の何れか一方の配列方向に沿った複数の分割領域群の各々毎の上記両端部の位置を更に検出している。また、本実施形態では、導出した複数の分割領域のうち、横列方向及び縦列方向の何れか他方の配列方向に沿った複数の分割領域群の各々毎の上記両端部の位置を更に検出している。また、本実施形態では、検出した、横列方向に沿った複数の分割領域群及び縦列方向に沿った複数の分割領域群の各々の両端部の間を、対応する物体の数で均等に分割することにより複数の分割領域を再度導出している。そして、本実施形態では、横列方向及び縦列方向の各々別に、再度導出した複数の分割領域内の横列方向中央部かつ縦列方向中央部の位置を物体の各々における穴の位置と推定している。従って、本実施形態によれば、横列方向及び縦列方向の少なくとも一方の方向に対して一部の物体の位置がずれている場合であっても、複数の物体の各々の位置を高精度に認識することができる。
【０１０５】
また、本実施形態では、収容体に収容されている物体の数が上限数より少ない場合、収容体に物体が上記上限数収容されている場合に推定した穴の位置のうち、物体の画像以外の画像に囲まれている割合が所定値未満の位置を、物体の各々の穴の位置と推定している。従って、本実施形態によれば、収容体に収容されている物体の数が上限数より少ない場合であっても、複数の物体の各々の位置を高精度に認識することができる。
【０１０６】
また、本実施形態では、撮影によって距離画像データを生成し、該距離画像データに基づいて、物体の領域と他の領域とを区別する２値画像データを上記画像データとして取得している。従って、本実施形態によれば、距離画像データに基づく２値画像データを用いて、複数の物体の各々の位置を高精度に認識することができる。
【０１０７】
また、本実施形態では、上記上限数の入力を受け付け、受け付けた上限数を用いて、上記分割領域を導出している。従って、本実施形態によれば、上記上限数が異なる複数種類の収容体を対象とすることができる。
【０１０８】
更に、本実施形態では、物体として円環状のものを適用している。従って、本実施形態によれば、円環状の物体を対象として、複数の物体の各々の位置を高精度に認識することができる。
【０１０９】
なお、上記実施形態では、正番重処理を実行する際に番重が正番重状態（物体が上限数収容された状態）であることを前提としていたが、これに限定されるものではない。番重が正番重に満たない状態であっても、番重内の物体が横列方向及び縦列方向に片寄せされており、かつ物体の数が既知であれば正番重処理は実行可能である。
【０１１０】
また、上記実施形態では、本発明の物体として中央に穴４４Ａを有するパン４４を適用した場合を説明したが、これに限定されるものではない。例えば、ドーナツ、中央部が窪んだパン等の食品の他、タイヤ、ナット、ワッシャ、Ｏリング等を本発明の物体として適用するようにしてもよい。この場合も、上記実施形態と同様の効果を奏することができる。
【０１１１】
また、上記実施形態では、入荷用番重４２にパン４４を２次元状に収容する場合を説明したが、これに限定されるものではない。例えば、入荷用番重４２にパン４４を１次元状、即ち１列分のみ収容するようにしてもよい。
【０１１２】
また、上記実施形態では、正番重処理のステップ２０８の処理において、図９に示した分割領域の導出を行った後、図１０及び図１１に示した分割領域の調整を行う場合を説明したが、これに限定されるものではない。例えば、上記第１画像及び第２画像のように、上記境界線の輪郭が概ね矩形状となっている場合等には、上記分割領域の調整を行わないようにしてもよい。
【０１１３】
また、上記実施形態では、カメラ３２として距離画像データを取得するカメラを適用した場合を説明したが、これに限定されるものではない。例えば、カメラ３２として市販のカラー画像やモノクロ画像を撮影するカメラを適用してもよい。この場合、カメラ３２により、画像データとして複数階調のデータが取得されることになるため、該複数階調のデータを予め定められた閾値で二値化したデータを画像データとして用いる。この場合、カメラ３２として、比較的安価なカラー画像やモノクロ画像を撮影するカメラを用いることができるので、物体振り分けシステムを低コストで構築することができる。
【０１１４】
また、上記実施形態では、重畳部１７により、推定部１５によって推定された位置の全てにマスクデータを重畳させた後に、該マスクデータによるマスクの配置が妥当であるか否かを判定する場合を説明したが、これに限定されるものではない。例えば、重畳部１７により、推定部１５によって推定された位置の各々についてマスクの配置が妥当であるか否かを予め判定し、妥当であると判定された位置のみにマスクデータを重畳するようにしてもよい。
【０１１５】
また、上記実施形態では、カメラ３２をピッキング場所４０Ｂの上方に設け、ピッキング場所４０Ｂに設けられた入荷用番重４２からパン４４をピッキングロボット３０によってピッキングする場合を説明したが、これに限定されるものではない。例えば、カメラ３２を積層場所４０Ａの上方に設け、積層場所４０Ａに設けられた入荷用番重４２からパン４４をピッキングロボット３０によってピッキングするようにしてもよい。更に、カメラ３２を積層場所４０Ａ及びピッキング場所４０Ｂの双方の上方に設け、積層場所４０Ａ及びピッキング場所４０Ｂの何れかに設けられた入荷用番重４２から選択的にパン４４をピッキングロボット３０によってピッキングするようにしてもよい。
【０１１６】
また、上記実施形態では、物体位置認識プログラム５３Ａを記憶部５３に予め記憶（インストール）しておく態様を説明したが、これに限定されるものではない。例えば、物体位置認識プログラム５３Ａを、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）等の記録媒体から媒体読み書き装置を介してコンピュータ５０の記憶部５３に読み込む形態としてもよく、ネットワークを介して外部装置から記憶部５３にダウンロードする形態としてもよい。
【０１１７】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【０１１８】
以上の実施形態に関し、更に以下の付記を開示する。
【０１１９】
（付記１）
中央部に穴又は凹部が設けられた物体を、平面視で前記穴又は凹部が視認可能な向きで、平面視の方向と交差する所定の配列方向に複数収容できる収容体に、前記物体が前記配列方向に所定数収容された状態で、前記収容体に収容された全ての前記物体を含む物体群領域を撮影部で撮影した画像の画像データを取得する取得部と、
前記取得部によって取得された画像データが示す前記物体群領域の前記配列方向両端部の位置を検出する検出部と、
前記検出部によって検出された前記両端部の間を前記所定数で均等に分割することにより複数の分割領域を導出する導出部と、
前記導出部によって導出された複数の分割領域内の前記配列方向中央部の位置を前記物体の各々における前記穴又は凹部の位置と推定する推定部と、
を含む推定装置。
【０１２０】
（付記２）
前記収容体は、前記物体を、前記所定の配列方向として横列方向及び縦列方向の２方向に各々複数収容可能とされ、
前記検出部は、前記横列方向及び前記縦列方向の各々別に、前記物体群領域の前記両端部の位置を検出し、
前記導出部は、前記横列方向及び前記縦列方向の各々別に、前記検出部によって検出された前記両端部の間を、対応する前記所定数で均等に分割することにより複数の分割領域を導出し、
前記推定部は、前記横列方向及び前記縦列方向の各々別に、前記導出部によって導出された複数の分割領域内の前記横列方向中央部かつ前記縦列方向中央部の位置を前記物体の各々における前記穴又は凹部の位置と推定する、
付記１記載の推定装置。
【０１２１】
（付記３）
前記検出部は、前記導出部によって導出された複数の分割領域のうち、前記横列方向及び前記縦列方向の何れか一方の配列方向に沿った複数の分割領域群の各々毎の前記両端部の位置、及び前記導出部によって導出された複数の分割領域のうち、前記横列方向及び前記縦列方向の何れか他方の配列方向に沿った複数の分割領域群の各々毎の前記両端部の位置を更に検出し、
前記導出部は、前記検出部によって検出された、前記横列方向に沿った複数の分割領域群及び前記縦列方向に沿った複数の分割領域群の各々の前記両端部の間を、対応する前記物体の数で均等に分割することにより前記複数の分割領域を再度導出し、
前記推定部は、前記横列方向及び前記縦列方向の各々別に、前記導出部によって再度導出された複数の分割領域内の前記横列方向中央部かつ前記縦列方向中央部の位置を前記物体の各々における前記穴又は凹部の位置と推定する、
付記２記載の推定装置。
【０１２２】
（付記４）
前記推定部は、前記収容体に収容されている前記物体の数が前記所定数より少ない場合、前記収容体に前記物体が前記所定数収容されている場合に推定した前記穴又は凹部の位置のうち、前記物体の画像以外の画像に囲まれている割合が所定値未満の位置を、前記物体の各々における前記穴又は凹部の位置と推定する、
付記１〜付記３の何れか１項記載の推定装置。
【０１２３】
（付記５）
前記撮影部は、撮影によって距離画像データを生成するものであり、
前記取得部は、前記距離画像データに基づいて、前記物体の領域と他の領域とを区別する２値画像データを前記画像データとして取得する、
付記１〜付記４の何れか１項記載の推定装置。
【０１２４】
（付記６）
前記所定数の入力を受け付ける受付部を更に含み、
前記導出部は、前記受付部によって受け付けられた所定数を用いて、前記分割領域を導出する、
付記１〜付記５の何れか１項記載の推定装置。
【０１２５】
（付記７）
前記物体は、円環状である、
付記１〜付記６の何れか１項記載の推定装置。
【０１２６】
（付記８）
中央部に穴又は凹部が設けられた物体を、平面視で前記穴又は凹部が視認可能な向きで、平面視の方向と交差する所定の配列方向に複数収容できる収容体に、前記物体が前記配列方向に所定数収容された状態で、前記収容体に収容された全ての前記物体を含む物体群領域を撮影部で撮影した画像の画像データを取得する取得部と、
前記取得部によって取得された画像データが示す前記物体群領域の前記配列方向両端部の位置を検出する検出部と、
前記検出部によって検出された前記両端部の間を前記所定数で均等に分割することにより複数の分割領域を導出する導出部と、
前記導出部によって導出された複数の分割領域内の前記配列方向中央部の位置を前記物体の各々における前記穴又は凹部の位置と推定する推定部と、
前記画像データにおける前記推定部により推定された位置に基づいて、前記穴又は凹部をマスクした前記画像データを用いて前記物体の配置位置を認識する認識部と、
を含む物体位置認識装置。
【０１２７】
（付記９）
前記収容体は、前記物体を、前記所定の配列方向として横列方向及び縦列方向の２方向に各々複数収容可能とされ、
前記検出部は、前記横列方向及び前記縦列方向の各々別に、前記物体群領域の前記両端部の位置を検出し、
前記導出部は、前記横列方向及び前記縦列方向の各々別に、前記検出部によって検出された前記両端部の間を、対応する前記所定数で均等に分割することにより複数の分割領域を導出し、
前記推定部は、前記横列方向及び前記縦列方向の各々別に、前記導出部によって導出された複数の分割領域内の前記横列方向中央部かつ前記縦列方向中央部の位置を前記物体の各々における前記穴又は凹部の位置と推定する、
付記８記載の物体位置認識装置。
【０１２８】
（付記１０）
前記検出部は、前記導出部によって導出された複数の分割領域のうち、前記横列方向及び前記縦列方向の何れか一方の配列方向に沿った複数の分割領域群の各々毎の前記両端部の位置、及び前記導出部によって導出された複数の分割領域のうち、前記横列方向及び前記縦列方向の何れか他方の配列方向に沿った複数の分割領域群の各々毎の前記両端部の位置を更に検出し、
前記導出部は、前記検出部によって検出された、前記横列方向に沿った複数の分割領域群及び前記縦列方向に沿った複数の分割領域群の各々の前記両端部の間を、対応する前記物体の数で均等に分割することにより前記複数の分割領域を再度導出し、
前記推定部は、前記横列方向及び前記縦列方向の各々別に、前記導出部によって再度導出された複数の分割領域内の前記横列方向中央部かつ前記縦列方向中央部の位置を前記物体の各々における前記穴又は凹部の位置と推定する、
付記９記載の物体位置認識装置。
【０１２９】
（付記１１）
前記推定部は、前記収容体に収容されている前記物体の数が前記所定数より少ない場合、前記収容体に前記物体が前記所定数収容されている場合に推定した前記穴又は凹部の位置のうち、前記物体の画像以外の画像に囲まれている割合が所定値未満の位置を、前記物体の各々における前記穴又は凹部の位置と推定する、
付記８〜付記１０の何れか１項記載の物体位置認識装置。
【０１３０】
（付記１２）
前記撮影部は、撮影によって距離画像データを生成するものであり、
前記取得部は、前記距離画像データに基づいて、前記物体の領域と他の領域とを区別する２値画像データを前記画像データとして取得する、
付記８〜付記１１の何れか１項記載の物体位置認識装置。
【０１３１】
（付記１３）
前記所定数の入力を受け付ける受付部を更に含み、
前記導出部は、前記受付部によって受け付けられた所定数を用いて、前記分割領域を導出する、
付記８〜付記１２の何れか１項記載の物体位置認識装置。
【０１３２】
（付記１４）
前記物体は、円環状である、
付記８〜付記１３の何れか１項記載の物体位置認識装置。
【０１３３】
（付記１５）
中央部に穴又は凹部が設けられた物体を、平面視で前記穴又は凹部が視認可能な向きで、平面視の方向と交差する所定の配列方向に複数収容できる収容体に、前記物体が前記配列方向に所定数収容された状態で、前記収容体に収容された全ての前記物体を含む物体群領域を撮影部で撮影した画像の画像データを取得し、
取得した画像データが示す前記物体群領域の前記配列方向両端部の位置を検出し、
検出した前記両端部の間を前記所定数で均等に分割することにより複数の分割領域を導出し、
導出した複数の分割領域内の前記配列方向中央部の位置を前記物体の各々における前記穴又は凹部の位置と推定する、
ことを含む処理をコンピュータに実行させるための推定プログラム。
【０１３４】
（付記１６）
前記収容体は、前記物体を、前記所定の配列方向として横列方向及び縦列方向の２方向に各々複数収容可能とされ、
前記横列方向及び前記縦列方向の各々別に、前記物体群領域の前記両端部の位置を検出し、
前記横列方向及び前記縦列方向の各々別に、検出した前記両端部の間を、対応する前記所定数で均等に分割することにより複数の分割領域を導出し、
前記横列方向及び前記縦列方向の各々別に、導出した複数の分割領域内の前記横列方向中央部かつ前記縦列方向中央部の位置を前記物体の各々における前記穴又は凹部の位置と推定する、
付記１５記載の推定プログラム。
【０１３５】
（付記１７）
導出した複数の分割領域のうち、前記横列方向及び前記縦列方向の何れか一方の配列方向に沿った複数の分割領域群の各々毎の前記両端部の位置、及び導出した複数の分割領域のうち、前記横列方向及び前記縦列方向の何れか他方の配列方向に沿った複数の分割領域群の各々毎の前記両端部の位置を更に検出し、
検出した、前記横列方向に沿った複数の分割領域群及び前記縦列方向に沿った複数の分割領域群の各々の前記両端部の間を、対応する前記物体の数で均等に分割することにより前記複数の分割領域を再度導出し、
前記横列方向及び前記縦列方向の各々別に、再度導出した複数の分割領域内の前記横列方向中央部かつ前記縦列方向中央部の位置を前記物体の各々における前記穴又は凹部の位置と推定する、
付記１６記載の推定プログラム。
【０１３６】
（付記１８）
前記収容体に収容されている前記物体の数が前記所定数より少ない場合、前記収容体に前記物体が前記所定数収容されている場合に推定した前記穴又は凹部の位置のうち、前記物体の画像以外の画像に囲まれている割合が所定値未満の位置を、前記物体の各々における前記穴又は凹部の位置と推定する、
付記１５〜付記１７の何れか１項記載の推定プログラム。
【０１３７】
（付記１９）
前記撮影部は、撮影によって距離画像データを生成するものであり、
前記距離画像データに基づいて、前記物体の領域と他の領域とを区別する２値画像データを前記画像データとして取得する、
付記１５〜付記１８の何れか１項記載の推定プログラム。
【０１３８】
（付記２０）
前記所定数の入力を受け付け、
受け付けた所定数を用いて、前記分割領域を導出する、
付記１５〜付記１９の何れか１項記載の推定プログラム。
【０１３９】
（付記２１）
前記物体は、円環状である、
付記１５〜付記２０の何れか１項記載の推定プログラム。
【符号の説明】
【０１４０】
１０  物体位置認識装置
１１  取得部
１２  検出部
１３  導出部
１４  受付部
１５  推定部
１７  重畳部
１８  認識部
２０  推定装置
３０  ピッキングロボット
３２  カメラ
４２  入荷用番重
４４  パン
４４Ａ  穴
４８  出荷用番重
５０  コンピュータ
５１  ＣＰＵ
５２  メモリ
５３  記憶部
５３Ａ  物体位置認識プログラム
５３Ａ１  取得プロセス
５３Ａ２  検出プロセス
５３Ａ３  導出プロセス
５３Ａ４  受付プロセス
５３Ａ５  推定プロセス
５３Ａ６  重畳プロセス
５３Ａ７  認識プロセス
５３Ｂ  画像データ記憶領域
５４  入力部
５５  表示部
９０  物体振り分けシステム
【図１】
0006523883.tif 000002
【図２】
0006523883.tif 000003
【図３】
0006523883.tif 000004
【図４】
0006523883.tif 000005
【図５】
0006523883.tif 000006
【図６】
0006523883.tif 000007
【図７】
0006523883.tif 000008
【図８】
0006523883.tif 000009
【図９】
0006523883.tif 000010
【図１０】
0006523883.tif 000011
【図１１】
0006523883.tif 000012
【図１２】
0006523883.tif 000013
【図１３】
0006523883.tif 000014
【図１４】
0006523883.tif 000015
【図１５】
0006523883.tif 000016
【図１６】
0006523883.tif 000017
【図１７】
0006523883.tif 000018
【図１８】
0006523883.tif 000019
【図１９】
0006523883.tif 000020
【図２０】
0006523883.tif 000021
【図２１】
0006523883.tif 000022
【図２２】
0006523883.tif 000023
【図２３】
0006523883.tif 000024
【図２４】
0006523883.tif 000025
【図２５】
0006523883.tif 000026
【図２６】
0006523883.tif 000027