(57)【要約】      （修正有）【課題】食肉中の骨部を判別する等のワークの特徴点の位置情報を安定かつ正確に得る特徴点認識システムを提供する。【解決手段】この特徴点認識システムでは、認識ユニットにおいて、Ｘ線カメラ１２からのＸ線画像、ＲＧＢカメラ１４からのカラー画像、および３Ｄカメラ１６からの３Ｄ画像を用いて、領域設定部により深層学習による予測アルゴリズムを実行し、予測したセグメンテーションおよび特徴点のデータを加えたＸ線およびＲＧＢ＋３Ｄ画像を得る。【選択図】図２
2020183876.tif 000002
【特許請求の範囲】
【請求項１】
ワークから取得した画像に基づいて前記ワーク内の特徴点を認識する特徴点認識システムであって、
前記ワークを支持する支持部と、
前記支持部により支持されたワークの画像を取得する画像取得部と、
前記画像取得部により取得された画像を、深層学習されたアルゴリズムに従って演算処理し、前記ワーク内における特徴点の位置情報を出力する演算処理部とを有する特徴点認識システム。
【請求項２】
前記画像取得部は、前記支持部に支持された前記ワークにＸ線を照射するＸ線照射部と、前記ワークを通過したＸ線を受けて前記画像としてＸ線画像を取得するＸ線撮像部とを有することを特徴とする請求項１に記載の特徴点認識システム。
【請求項３】
前記画像取得部は、前記支持部に支持された前記ワークの第１面の可視光画像を取得する可視光画像撮像部と、前記支持部に支持された前記ワークの前記第１面の３Ｄ画像を取得する３Ｄ画像撮像部とを有し、可視光画像撮像部からの可視光画像と、前記３Ｄ画像撮像部からの３Ｄ画像を合成して前記画像として出力することを特徴とする請求項１に記載の特徴点認識システム。
【請求項４】
請求項１〜３のいずれか１項に記載の特徴点認識システムであって、
前記支持部は、前記ワークとして、肉部と骨部を有する食肉を支持する支持部であり、
前記演算処理部は、前記画像取得部により取得された画像を、深層学習されたアルゴリズムに従って演算処理し、前記ワーク内における骨部に対応した複数の特徴点の位置情報を出力することを特徴とする特徴点認識システム。
【請求項５】
請求項１〜４のいずれか１項に記載の特徴点認識システムであって、
前記アルゴリズムには、前記ワーク内における特徴点を計算できない異常ワークを検出する異常ワーク検出アルゴリズムが含まれており、前記異常ワーク検出アルゴリズムによりワークが異常と判断された場合に、このワークを異常ワークとして演算処理部による判断を停止するワーク検査部を有することを特徴とする特徴点認識システム。
【請求項６】
ワークから取得した画像に基づいて前記ワーク内の特徴点を認識する特徴点認識システムであって、
前記ワークを支持する支持部と、
前記支持部により支持されたワークのＸ線画像を取得するＸ線画像取得部と、
前記Ｘ線画像取得部により取得されたＸ線画像を、深層学習された第１のアルゴリズムに従って演算処理し、前記ワーク内における特徴点の位置情報を出力する第１演算処理部と、
前記支持部により支持されたワークの第１面の可視光画像を取得する可視光画像撮像部と、前記支持部に支持された前記ワークの前記第１面の３Ｄ画像を取得する３Ｄ画像撮像部とを有し、前記可視光画像撮像部からの可視光画像と、前記３Ｄ画像撮像部からの３Ｄ画像を合成して第２画像として出力する第２画像取得部と、
前記第２画像取得部により取得された前記第２画像を、深層学習された第２のアルゴリズムに従って演算処理し、前記ワーク内における特徴点の位置情報を出力する第２演算処理部と、
前記第１演算処理部が出力した特徴点の位置情報と、前記第２演算処理部が出力した特徴点の位置情報とを関連づけて記憶するデータ保持部を有する特徴点認識システム。
【請求項７】
請求項６記載の特徴点認識システムであって、
前記支持部は、前記ワークとして、肉部と骨部を有する食肉を支持する支持部であり、
前記第１演算処理部および前記第２演算処理部は、前記ワーク内における骨部に対応した複数の特徴点の位置情報をそれぞれ出力することを特徴とする特徴点認識システム。
【請求項８】
請求項６または７に記載の特徴点認識システムであって、
前記第１および第２のアルゴリズムには、それぞれ前記ワーク内における特徴点を計算できない異常ワークを検出する異常ワーク検出アルゴリズムが含まれており、前記第１および第２のアルゴリズムのいずれかの前記異常ワーク検出アルゴリズムによりワークが異常と判断された場合に、このワークを異常ワークとして演算処理部による判断を停止するワーク検査部を有することを特徴とする特徴点認識システム。
【請求項９】
請求項１〜８のいずれか１項に記載の特徴点認識システムと、前記特徴点認識システムが出力した特徴点の位置情報に基づいて前記ワークを処理する処理ロボットとを具備するワーク処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、食肉中の骨部を判別する場合などに使用可能な、深層学習による領域抽出を用いた特徴点認識システムおよびワーク処理システムに関する。
【背景技術】
【０００２】
例えば、食肉中の骨部の特徴点を検出して、骨部を食肉処理ロボットで自動的に脱骨するためには、食肉中における骨部の正確な立体的位置情報を得る必要がある。
特許文献１には、Ｘ線照射装置からワーク（食肉）に向けてＸ線を照射し、ワークを透過したＸ線透過画像を画像処理し、骨部の二次元位置座標を得るシステムが開示されている。
【０００３】
特許文献２には、食肉の切断面に可視光を照射し、前記可視光の反射光で第１画像を得る第１撮影部と、前記切断面に波長が１１００ｎｍ〜１７００ｎｍの赤外光を照射し、この赤外光の反射光で第２画像を得る第２撮影部とを用い、前記第１および第２画像の差分を計算することにより、骨部の領域のみを抽出するシステムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１２／０５６７９３号（特許第５３８４７４０号）
【特許文献２】特開２０１８−６６６４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記特許文献１のシステムでは、Ｘ線を用いた撮像系の特性として画像上にノイズが現れやすく、画像が不鮮明になりやすいうえ、ワーク毎の画像間で輝度の値にバラツキが生じやすいため、領域の抽出を行う際の閾値の決定が困難であった。また、肉部の厚さや骨部の密度などによる外乱の影響を受けて、骨部と肉部との境界が曖昧になりやすく、高い精度を以て安定して特徴点の座標を検出することが難しかった。さらに、ワークの大きさおよび形状に個体差が生じやすく、事前に想定した画像処理用のパラメータが有効でないなどの問題が発生しやすかった。
【０００６】
前記特許文献２のシステムでは、可視光および赤外光によりそれぞれ得られた第１および第２画像の差分を求めることにより、ワークの切断面における骨部の位置は安定して検出できるものの、食肉の内部における骨部の立体位置を把握することには限界があった。
【０００７】
以上のように、従来技術では、ワークの画像から特徴点の位置情報を安定かつ正確に得る点で改善の余地があった。
【課題を解決するための手段】
【０００８】
［１］  本発明の一態様に係る特徴点認識システムは、ワークから取得した画像に基づいて前記ワーク内の特徴点を認識する特徴点認識システムであって、前記ワークを支持する支持部と、前記支持部により指示されたワークの画像を取得する画像取得部と、前記画像取得部により取得された画像を、深層学習（もしくは機械学習）されたアルゴリズムに従って演算処理し、前記ワーク内における特徴点の位置情報を出力する演算処理部とを有する。この特徴点認識システムによれば、画像取得部が取得したワークの画像に対し、深層学習されたアルゴリズムに従って演算処理を行うことにより、ワークの特徴点の位置情報を安定かつ正確に得ることができる。
【０００９】
前記深層学習されたアルゴリズムは、例えば、次のようにして作成することができる。まず、前記画像取得部により予め様々なワークの画像を取得し、これら多数の画像のそれぞれについて、特徴点の位置情報を関連づけた教師データを作成する。特徴点は一つであっても、複数点であってもよい。次に、これら教師データを用いて、深層学習システムを学習させることによりアルゴリズムを作成する。教師データの作成は、ワークの画像から特徴点を判断できる人間により、ワークの画像上に特徴点をプロットして行ってもよいし、あるいは画像を取得したワークを分析、解体または分解処理して、実際に特徴点を確認した結果に基づいて画像に特徴点をプロットし、教師データを作成してもよい。教師データには、特徴点をプロットできた正常なワークの画像だけでなく、特徴点をプロットできない異常なワークの画像を含めてもよく、異常なワークの画像の場合には、前記深層学習されたアルゴリズムが、このワークは異常であるとの判断を下すようにしてもよい。
【００１０】
［２］  前記［１］において、前記画像取得部は、前記支持部に支持された前記ワークにＸ線を照射するＸ線照射部と、前記ワークを通過したＸ線を受けて前記画像としてＸ線画像を取得するＸ線撮像部とを有していてもよい。
この場合には、ワークのＸ線透過画像により特徴点の検出を行うため、ワークの表面には特徴点が現れていない場合にも、深層学習されたアルゴリズムにより、そのワーク内の特徴点の位置情報を得ることが可能である。また、Ｘ線を用いた撮像系の特性として画像上にノイズが現れやすくなっても、深層学習させたアルゴリズムで判断することにより、ノイズがある画像からも安定して特徴点の位置情報を取得可能である。さらに、ワーク毎の画像間で輝度の値にバラツキが生じても、閾値で単純に領域の境を区別をするのではなく、深層学習されたアルゴリズムに基づいて特徴点の位置情報を取得するから、閾値の設定が難しいという問題が生じにくい。また、ワークの大きさや色など諸条件による外乱を受けても、深層学習されたアルゴリズムによれば、外乱の影響により特徴点の位置が曖昧になることが防止できる。
【００１１】
［３］  前記［１］において、前記画像取得部は、前記支持部に支持された前記ワークの第１面の可視光画像を取得する可視光画像撮像部と、前記支持部に支持された前記ワークの前記第１面の３Ｄ画像を取得する３Ｄ画像撮像部とを有し、可視光画像撮像部からの可視光画像と、前記３Ｄ画像撮像部からの３Ｄ画像を合成して前記画像として出力してもよい。
この場合には、ワークの第１面の可視光画像と第１面の３Ｄ画像とを合成して、前記画像として出力することにより、高さデータを含む可視光画像が得られるため、この高さデータを含む可視光画像に対応づけて、特徴点の立体的な位置情報を深層学習させたアルゴリズムで判断することにより、ワークの特徴点の立体的な位置情報を安定かつ正確に得ることが可能である。
【００１２】
［４］  前記いずれかの特徴点認識システムにおいて、前記支持部は、前記ワークとして、肉部と骨部を有する食肉を支持する支持部であり、前記演算処理部は、前記画像取得部により取得された画像を、深層学習されたアルゴリズムに従って演算処理し、前記ワーク内における骨部に対応した複数の特徴点の位置情報を出力してもよい。
この場合には、食肉であるワーク中の骨部に対応した複数の特徴点の立体的な位置情報を安定かつ正確に得ることが可能である。この位置情報は、例えば、食肉処理ロボットのナイフを特徴点に基づいて動作させ、食肉から骨部のみを切り出す（脱骨という）ことにも使用できる。
【００１３】
［５］  前記いずれかの特徴点認識システムにおいて、前記アルゴリズムには、前記ワーク内における特徴点を計算できない異常ワークを検出する異常ワーク検出アルゴリズムが含まれており、前記異常ワーク検出アルゴリズムによりワークが異常と判断された場合に、このワークを異常ワークとして演算処理部による判断を停止するワーク検査部を有していてもよい。
この場合には、異常なワークに基づいて異常な特徴点位置情報が出力されるリスクを低下することができる。したがって、異常な特徴点位置情報に基づいて後工程で処理を行ってしまい、ワークや後工程の処理装置に支障が生じるなどのおそれを低減できる。
【００１４】
［６］  本発明の他の態様に係る特徴点認識システムは、ワークから取得した画像に基づいて前記ワーク内の特徴点を認識する特徴点認識システムであって、前記ワークを支持する支持部と、前記支持部により支持されたワークのＸ線画像を取得するＸ線画像取得部と、前記Ｘ線画像取得部により取得されたＸ線画像を、深層学習された第１のアルゴリズムに従って演算処理し、前記ワーク内における特徴点の位置情報を出力する第１演算処理部と、
前記支持部により支持されたワークの第１面の可視光画像を取得する可視光画像撮像部と、前記支持部に支持された前記ワークの前記第１面の３Ｄ画像を取得する３Ｄ画像撮像部とを有し、前記可視光画像撮像部からの可視光画像と、前記３Ｄ画像撮像部からの３Ｄ画像を合成して第２画像として出力する第２画像取得部と、前記第２画像取得部により取得された前記第２画像を、深層学習された第２のアルゴリズムに従って演算処理し、前記ワーク内における特徴点の位置情報を出力する第２演算処理部と、
前記第１演算処理部が出力した特徴点の位置情報と、前記第２演算処理部が出力した特徴点の位置情報とを関連づけて記憶するデータ保持部を有していてもよい。
【００１５】
この場合、ワークのＸ線画像に基づいて第１演算処理部により求められた第１群の特徴点位置情報と、ワークの第１面の可視光画像および第１面の３Ｄ画像を合成した第２画像に基づいて第２演算処理部により求められた第２群の特徴点位置情報とを、データ保持部が関連づけて記憶することにより、高さ情報を含む可視光画像上のどの位置に、Ｘ線画像から求めた特異点があるのかを判断することができる。したがって、このワークの位置や姿勢が変化した場合にも、ワークの外観に基づいて、ワーク内部の特徴点の位置を正しく認識することが可能となる。このため、例えば、このワークの位置や姿勢が変化した場合にも、新しい位置や姿勢においてワークの第１面の可視光画像および第１面の３Ｄ画像を取得し、それらを合成して新たな第２画像を得て、元の第２画像と照合することにより、新たな第２画像上でのワーク内部の特徴点の位置を正しく認識することが可能となる。よって、新たな姿勢や位置においてワークのＸ線画像を取得し直さなくても、その姿勢や位置での特徴点の位置情報を認識することが可能である。
【００１６】
［７］  前記［６］記載の特徴点認識システムにおいて、前記支持部は、前記ワークとして、肉部と骨部を有する食肉を支持する支持部であり、前記第１演算処理部および前記第２演算処理部は、前記ワーク内における骨部に対応した複数の特徴点の位置情報をそれぞれ出力してもよい。
この場合には、食肉であるワーク中の骨部に対応した複数の特徴点の立体的な位置情報を、ワークの位置や姿勢が変化した場合にも、安定かつ正確に得ることが可能である。この位置情報は、例えば、食肉処理ロボットのナイフを特徴点に基づいて動作させ、骨部を切り出すことにも使用できる。
【００１７】
［８］  前記［６］または［７］に記載の特徴点認識システムにおいて、前記第１および第２アルゴリズムには、それぞれ前記ワーク内における特徴点を計算できない異常ワークを検出する異常ワーク検出アルゴリズムが含まれており、前記第１および第２アルゴリズムのいずれかの前記異常ワーク検出アルゴリズムによりワークが異常と判断された場合に、このワークを異常ワークとして演算処理部による判断を停止するワーク検査部を有していてもよい。
【００１８】
この場合には、ワークのＸ線画像またはワークの第１面の可視光画像および第１面の３Ｄ画像を合成した第２画像のいずれかに異常が認められた場合には、このワークを異常ワークとして演算処理部による判断を停止するから、異常なワークに基づいて異常な特徴点位置情報が出力されるリスクを低下できる。したがって、異常な特徴点位置情報に基づいて処理を行ってしまい、ワークや処理装置に支障が生じるなどのおそれを低減できる。
【００１９】
［９］  本発明に係るワーク処理システムは、前記［１］〜［８］のいずれかに記載の特徴点認識システムと、前記特徴点認識システムが出力した特徴点の位置情報に基づいて前記ワークを処理する処理ロボットとを具備する。ワークが食肉である場合には、処理ロボットとして食肉処理ロボットを使用し、ロボットが操作するナイフによって食肉の肉部と骨部を分離することも可能である。
【発明の効果】
【００２０】
本発明の一態様に係る特徴点認識システムによれば、画像取得部が取得したワークの画像に対し、深層学習されたアルゴリズムに従って演算処理を行うことにより、ワークの特徴点の位置情報を安定かつ比較的正確に得ることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態の特徴点認識システムを含む食肉処理システムを示す平面図である。
【図２】同実施形態の第１の特徴点認識システムとして認識ユニットを示す正面図である。
【図３】同実施形態の第２の特徴点認識システムとしてセルユニットを示す正面図である。
【図４】同実施形態の認識ユニットのブロック図である。
【図５】同実施形態のセルユニットのブロック図である。
【図６】同実施形態の認識ユニットのＸ線画像に基づく動作を示すフローチャートである。
【図７】同実施形態の認識ユニットの可視光画像および３Ｄ画像に基づく動作を示すフローチャートである。
【図８】同実施形態のセルユニットの可視光画像および３Ｄ画像に基づく食肉カットの動作を示すフローチャートである。
【図９】同実施形態の教師データの作成方法を示すフローチャートである。
【図１０】同実施形態の認識ユニットでの認識動作を示す説明図である。
【図１１】同実施形態のセルユニットでの認識動作を示す説明図である。
【図１２】同実施形態のワークである食肉のＸ線画像と特徴点の位置関係を示す図である。
【図１３】同実施形態のワークである食肉の一例を示すＸ線画像である。
【図１４】同食肉のＸ線画像の各領域を塗り分けて、特異点を明確にした教師データを示す図である。
【図１５】同実施形態のワークである食肉の一例を示すＸ線画像である。
【図１６】同食肉のＸ線画像を深層学習されたアルゴリズムで各領域を塗り分けて、特異点を明確にした画像を示す図である。
【図１７】深層学習されたアルゴリズムで求められた特異点をＸ線画像上にプロットした画像を示す図である。
【図１８】学習用のデータのうち、正常な画像データ（左上）と、骨部に異常がある画像データ（右上、左下、右下）を示す図である。
【発明を実施するための形態】
【００２２】
以下、実施形態を挙げて本発明を詳細に説明するが、本発明の技術的範囲はこれらの実施形態の構成によって限定されるものではなく、特許請求の範囲の記載に基づいて最も広く解釈されるべきである。
図１は、本発明の一実施形態の特徴点認識システムを含む、食肉処理システム（ワーク処理システム）を示す平面図である。この食肉処理システムは、豚、牛、羊、および鶏などの家畜屠体の一部である食肉（ワークＷ）から、ワークＷ内部の骨部Ｋの外周に沿う複数の特徴点の立体的な位置情報を取得し、ロボットアームが操作するナイフを特徴点に沿って動かすことにより、骨部Ｋと肉部Ｎの境界を切断し、肉部Ｎから骨部Ｋを取り出す機能を果たす。
【００２３】
この実施形態の食肉処理システムは、図示しない前工程からワークＷを水平方向に運ぶローラコンベア４と、ローラコンベア４上に支持されたワークＷ中の骨部Ｋの特徴点の位置情報を取得する認識ユニット１と、認識ユニット１により骨部Ｋの位置が把握されたワークＷを二つの経路のいずれかへ分岐させて運ぶローラコンベア６、８と、各ローラコンベア６、８毎に設けられワークＷから骨部Ｋを分離する二つのセルユニット２とから主構成されている。
【００２４】
この実施形態で、上流側の一つの認識ユニット１に対して、下流側に二つのセルユニット２が設けられている理由は、セルユニット２での骨部Ｋの切断作業には、認識ユニット１での認識作業よりも時間がかかることから、認識ユニット１を通過したワークＷを二つのセルユニット２に交互に送り、各セルユニット２で交互に脱骨作業を行って、作業効率を高めるためである。セルユニット２での処理時間によっては、一つの認識ユニット１に対して、３つ以上のセルユニット２を設けてもよいし、あるいは、一つの認識ユニット１に一つのみのセルユニット２としてもよい。また、複数のセルユニットは互いに機能の異なるものとして、必要な機能に合わせていずれかのセルユニットを選択してもよい。
【００２５】
この実施形態において、認識ユニット１とセルユニット２を分けている理由は、上記のように処理時間を釣り合わせるためだけではない。認識ユニット１ではＸ線を使用するため遮蔽壁などが必要であり、脱骨作業を行う大型のロボットアームを遮蔽壁内に配置することは難しいという理由もある。認識ユニット１とセルユニット２を分離した結果、認識ユニット１内で骨部Ｋの認識を行った時のワークＷと、そのワークＷをセルユニット２へ移動させた後のワークＷの位置、姿勢、形状は完全に同じではない。したがって、セルユニット２内のワークＷの位置、姿勢、形状が、認識ユニット１内でのワークＷの位置、姿勢、形状と同じであると仮定して、セルユニット２内のワークＷの特徴点の推定を行うと、特徴点の位置に誤差が生じることになる。
【００２６】
この問題を解決するため、この実施形態ではまず、認識ユニット１内において、ワークＷのＸ線撮影を行うとともに、ワークＷの第一面のＲＧＢ画像の取得（カラー撮影）を行い、さらに、ワークＷの第一面上の各点の３Ｄ画像（基準面からの高さを輝度で表した二次元画像）も取得して、これら３種のデータを相互に関連づけて記憶しておく。
次に、セルユニット２内において、ワークＷの第一面のＲＧＢ画像の取得を行い、さらに、ワークＷの第一面上の各点の３Ｄ画像を取得して、これら２種のデータを相互に関連づけて記憶する。
次に、認識ユニット１で得られたＲＧＢ画像＋３Ｄ画像のデータと、セルユニット２で得られたＲＧＢ画像＋３Ｄ画像のデータとを照合し、認識ユニット１で計測されたワークＷ中の特徴点情報を用いて、セルユニット２内に配置されているワークＷ中の特徴点を推測し、推測された特徴点に沿ってワークＷをナイフで切って脱骨を行う。
【００２７】
ワークＷから骨部Ｋを取り出すためには、ナイフで数回（例えば３回）の切断を行う必要があるが、ナイフでワークＷを１回切断する毎に、ワークＷはナイフから力を受けて若干の変形、姿勢変更または移動をする。このため、この実施形態では、ナイフでワークＷを１回切る毎に、セルユニット２内において、ワークＷの第一面のＲＧＢ画像の取得をやり直し、さらにワークＷの第一面上の各点の３Ｄ画像を再度取得して、これら２種のデータを相互に関連づけて記憶する。
【００２８】
次に、認識ユニット１で得られたＲＧＢ画像＋３Ｄ画像のデータと、セルユニット２で新たに得られたＲＧＢ画像＋３Ｄ画像のデータとを照合し、ナイフで切られた後のワークＷ中の特徴点を、認識ユニット１で計測されたワークＷ中の特徴点情報を用いて推測しなおし、新たに推測された特徴点に沿ってナイフで切る。このように、ナイフでワークＷを切る毎に、Ｘ線画像から得られた特徴点位置情報に基づく現在のワークＷ内の特徴点位置情報を推測しなおすので、正確な脱骨作業を行うことが可能である。上記動作のための構成を以下に説明する。
【００２９】
図２は、認識ユニット１の正面図である。認識ユニット１は、Ｘ線を遮蔽するための箱型の遮蔽体９を有し、ローラコンベア４は遮蔽体９の開口部（図示略）を通じて外部から内部へ、そして再び外部へ延びている。遮蔽体９の開口部は、Ｘ線遮蔽の効果を高めるために、必要に応じて、ローラコンベア４によるワークＷの搬入時および搬出時に自動的に開く扉をそれぞれ有していてもよい。
【００３０】
遮蔽体９の内部には、ローラコンベア４に沿って、Ｘ線照射部１０、Ｘ線カメラ１２（画像取得部／Ｘ線撮像部）、ＲＧＢカメラ１４（画像取得部／可視光画像撮像部）、および３Ｄカメラ１６（画像取得部／３Ｄ画像撮像部）が配置されている。ローラコンベア４は図示しない制御盤で制御され、認識ユニット１内の撮影位置にワークＷを運ぶと、一旦停止する。停止した状態のローラコンベア４が撮影位置でワークＷを支持する支持部となる。支持部は、ローラコンベア４上のワークＷを両側から押さえて位置規制するガイドを有していてもよいし、ローラコンベア４からワークＷを一旦受け取って支持する別の支持機構であってもよい。
【００３１】
Ｘ線照射部１０は、撮影位置に置かれたワークＷにＸ線を照射する。照射されたＸ線はワークＷを通過して、反対側に置かれたＸ線カメラ１２で撮像される。Ｘ線カメラ１２は本発明では限定されず、二次元撮像素子を有していてもよいし、一次元のラインカメラであってもよい。ラインカメラを使用する場合には、図示しないスキャン機構によりワークＷの全長に亘ってラインカメラを往復動作させ、その間にスキャンを行って二次元のＸ線画像を生成すればよい。
【００３２】
ＲＧＢカメラ１４は、撮影位置に置かれたワークＷの第１面の可視光画像を取得する。ワークＷの第一面は一般に、ローラコンベア４に配置された状態での上面が好ましいが、上面に限定されず、撮影可能であれば下面や側面など、他の方向からの画像であってもよい。ＲＧＢカメラ１４と３Ｄカメラ１６がそれぞれ撮影する面は、合成する都合上、ワークＷの同じ面（第１面）であることが好ましいが、多少のずれは許容できる。
【００３３】
３Ｄカメラ１６は、撮影位置に置かれたワークＷの第１面の立体形状を把握するためのものである。種類は限定されないが、例えば、この実施形態の３Ｄカメラ１６は、離間して配置された一対の撮像部１６Ａと、各撮像部１６Ａの中間に配置されたプロジェクター１６Ｂを有する。プロジェクター１６ＢはワークＷの第１面上に格子模様やランダムドットパターンなどのテクスチャーを投影し、それを両側の撮像部１６Ａで撮影して画像処理することにより、ワークＷの第１面の二次元画像の各画素に、基準面、例えばローラコンベア４の上面からの位置情報を輝度データとして付与した二次元画像を出力することができる。
【００３４】
図４は、認識ユニット１の機能構成を示すブロック図である。Ｘ線カメラ１２、ＲＧＢカメラ１４、および３Ｄカメラ１６の出力信号は、それぞれ画像取得部３０に伝達され、画像取得部３０がＸ線画像、ＲＧＢ画像、および３Ｄ画像の各データを取得する。画像取得部３０は、ＲＧＢ画像のデータと３Ｄ画像のデータを合成して、ＲＧＢ＋３Ｄ画像のデータセットを生成する。
【００３５】
次に、画像取得部３０が出力したＸ線画像、およびＲＧＢ＋３Ｄ画像のそれぞれについて、画像補正部３２が画像の補正を行う。補正としては、所定の画像サイズへのクロッピング処理（不要領域のトリミング）、予め設定された上限以上の輝度値を一定の上限値に変換する処理、予め設定された下限以下の輝度値を一定の下限値に変換する処理、画像からのノイズ除去処理、データの最大値や最小値を一定範囲内（例えば０〜１）に調整する正規化処理、データの平均を例えば０にし、データの分散を例えば１に調整する正規化処理などが可能である。複数の処理を適宜組み合わせることも可能である。
【００３６】
例えば図９に示すフローチャートは、教師データを作成するフローを示す。このフローでは、ＲＧＢ＋３Ｄ画像を取得し（Ｓ３１）、正方形にクロッピング処理を行い（Ｓ３２）、予め設定された下限（例えば４０）以下の輝度値を一定の下限値（例えば４０）に変換する処理を行い（Ｓ３３）、データの最大値や最小値を一定範囲内（例えば０〜１）に調整する正規化処理を行い（Ｓ３４）、これにより学習データを取得し（Ｓ３５）、学習データに人手によりセグメンテーションおよび特徴点のデータを加えて教師データを作成している（Ｓ３６）。Ｓ３１〜Ｓ３４の動作は画像補正部３２が行う。
【００３７】
画像補正部３２からの補正されたＸ線画像のデータ、補正されたＲＧＢ＋３Ｄ画像のデータはそれぞれ領域設定部３４（演算処理部）へ伝達される。領域設定部３４は、補正されたＸ線画像のデータ、補正されたＲＧＢ＋３Ｄ画像のデータのそれぞれについて、深層学習された予測アルゴリズム３８に従って別個の演算処理を行い、各画像の領域分け（セグメンテーション）、並びに、ワークＷ内における特徴点の位置情報を出力する。出力された位置情報は、元の画像と組み合わされてディスプレー４８で表示される。
【００３８】
Ｘ線画像およびＲＧＢ＋３Ｄ画像のセグメンテーションは、肉部Ｎ、骨部Ｋ、脂肪などの種別毎に各画像を領域分けする処理であり、ワークＷ内の特徴点の推定を最終目的とする本発明では必須ではない。しかし、各画像のセグメンテーションは特徴点の推定と密接に関連するため、特徴点と共に、深層学習に用いる教師データに含めておき、ワークＷのＸ線画像およびＲＧＢ＋３Ｄ画像毎に領域分けと特徴点の推定とがそれぞれ行われるようにしてもよい。
【００３９】
領域設定部３４には補助記憶装置３６が接続され、補助記憶装置３６に記憶された予測アルゴリズム３８を領域設定部３４がロードして実行することにより、演算処理が行われる。補助記憶装置３６には深層学習／推定装置４０が接続され、深層学習／推定装置４０には教師データ入力部４２が接続されている。教師データ入力部４２から教師データを入力し、深層学習／推定装置４０で学習を行うことにより、予測アルゴリズム３８が作成される。
【００４０】
領域設定部３４にはデータ保持部４４が接続され、Ｘ線画像およびＲＧＢ＋３Ｄ画像の各データ、領域設定部３４が予測アルゴリズム３８を用いて算出したセグメンテーションと特徴点の位置情報は、データ保持部４４に順次記憶される。データ保持部４４に記憶されたデータはそれぞれ、後ほどセルユニット２での特徴点の推測に使用される。
【００４１】
図３は、セルユニット２の正面図である。セルユニット２は、ＲＧＢカメラ１８、３Ｄカメラ２０、ロボットアーム２２、およびロボットアーム２４を備えている。セルユニット２ではＸ線照射が不要であるから、全体を覆う遮蔽体は不要であり、ロボットアーム２２およびロボットアーム２４（処理ロボット）は自由に動いてワークＷのカットが行える。ロボットアーム２２はワークＷを切るためのナイフ２６を有し、ロボットアーム２４はワークＷの骨部Ｋを把持するためのロボットハンド２８を有する。
【００４２】
ＲＧＢカメラ１８は、認識ユニット１のＲＧＢカメラ１４と同様のものであり、撮影解体位置に置かれたワークＷの第１面の可視光画像を取得し、３Ｄカメラ２０は、認識ユニット１の３Ｄカメラ１６と同様のものであり、一対の撮像部２０Ａとプロジェクター２０Ｂを備えて、ワークＷの３Ｄ画像を取得する。ＲＧＢカメラ１８と３Ｄカメラ２０が撮影する第１面は、認識ユニット１における第１面と同じ面にされているが、多少のずれは許容できる。
【００４３】
図５は、セルユニット２の機能構成を示すブロック図である。セルユニット２は画像取得部３０Ａ、画像補正部３２Ａ、領域設定部３４Ａ、補助記憶装置３６Ａ、予測アルゴリズム３８Ａ、深層学習／推定装置４０Ａ、教師データ入力部４２Ａ、データ保持部４４Ａ、データ処理部４６Ａ、ディスプレー４８Ａを具備し、これらは順に、認識ユニット１の画像取得部３０、画像補正部３２、領域設定部３４、補助記憶装置３６、予測アルゴリズム３８、深層学習／推定装置４０、教師データ入力部４２、データ保持部４４、データ処理部４６、およびディスプレー４８と構成および機能が共通であるから説明を援用する。上記いずれの構成もコンピューターにおいてプログラムを実行することにより構築されてもよい。
【００４４】
図６は、認識ユニット１におけるＸ線画像の処理フローを示すフローチャートである。このフローではまず、Ｘ線照射部１０からＸ線をワークＷに照射し、Ｘ線カメラ１２でＸ線画像を撮影して、画像取得部３０でＸ線画像データを取得するとともに、ワークＷがいかなる家畜屠体のいずれの部位であるかを示すワーク種別情報を出力し、さらに、家畜屠体の左右のいずれであるかを判定して左右情報を出力する（Ｓ１）。次に、画像補正部３２で前述したようにＸ線画像に補正を行なったうえで、領域設定部３４により予測アルゴリズム３８を用いて、このワークＷはセグメンテーションおよび特徴点の推定が行える正常なワークであるかを検査する（Ｓ２）。検査結果に基づき、ワークＷが正常か否かを判断する（Ｓ３）。ワークＷが正常でない場合は、不処理としてワークＷを後工程に移送する（Ｓ２０）。
【００４５】
ワークＷが正常であった場合には、領域設定部３４において、予測アルゴリズム３８による完全畳み込みネットワーク（ＦＣＮ：Fully Convolutional Networks）を用いたセグメンテーション、および、特徴点の位置推定を行う（Ｓ４）。セグメンテーションにより得られた領域分けされたマスク画像について検査を行う（Ｓ５）。検査の結果に基づいて正常なマスクであるか否かを検査する（Ｓ６／ワーク検査部）。ワークＷが正常でない場合は、不処理としてワークＷを後工程に移送する（Ｓ２０）。
【００４６】
正常なマスクである場合には、Ｓ１で得られた左右情報およびワーク種別情報も組み合わせて、データセットを作成する（Ｓ７）。得られたデータセットに対して、画像処理を行う（Ｓ８）。画像処理は、イメージマスクを入力し、このイメージマスクを平行移動してデータセットへの当てはめを行い、領域の輪郭情報を取得する。さらに、セルユニット２で得られたＲＧＢ＋３Ｄ画像に基づきＸ線画像の出力を行う（Ｓ９）。Ｓ３またはＳ６で異常と判断された場合には、処理を中止する（Ｓ１０）。
【００４７】
次に、図７は、認識ユニット１におけるＲＧＢ画像＋３Ｄ画像の処理方法を示すフローチャートである。この方法ではまず、ＲＧＢカメラ１４でワークＷの第１面（この実施形態では上面）のカラー写真を撮影する。また、３Ｄカメラ１６のプロジェクター１６ＢからワークＷの第１面（上面）にレーザー光等によりテクスチャーを投影して、一対の撮像部１６Ａでテクスチャーが投影されたワークＷを撮影し、各撮像部１６Ａが得た二枚の画像の差分から３Ｄ画像を生成する。
【００４８】
次に、画像取得部３０がＲＧＢ画像データおよび３Ｄ画像データを取得し、ＲＧＢ画像データおよび３Ｄ画像データを合成してＲＧＢ＋３Ｄ画像を得る（Ｓ１１）。次に、画像補正部３２で前述したようにＲＧＢ＋３Ｄ画像に補正を行なったうえで、領域設定部３４により予測アルゴリズム３８を用いて、このワークＷはセグメンテーションおよび特徴点の推定が行える正常なワークであるかを検査する（Ｓ１２）。検査結果に基づき、ワークＷが正常か否かを判断する（Ｓ１３）。ワークＷが正常でない場合は、不処理としてワークＷを後工程に移送する（Ｓ２０）。
【００４９】
ワークＷが正常であった場合には、領域設定部３４において、予測アルゴリズム３８による完全畳み込みネットワーク（ＦＣＮ）を用いたセグメンテーション、および、特徴点の位置推定を行う（Ｓ１４）。セグメンテーションにより得られた領域分けされたマスク画像について検査を行う（Ｓ１５）。検査の結果に基づいて正常なマスクであるか否かを検査する（Ｓ１６）。ワークＷが正常でない場合は、不処理としてワークＷを後工程に移送する（Ｓ２０）。
【００５０】
正常なマスクである場合には、Ｓ１１で得られた左右情報およびワーク種別情報も組み合わせて、データセットを作成する（Ｓ１７）。得られたデータセットに対して、画像処理を行う（Ｓ１８）。画像処理は、イメージマスクを入力し、このイメージマスクを平行移動してデータセットへの当てはめを行い、領域の輪郭情報を取得する。さらに、得られたＲＧＢ＋３Ｄ画像と、セルユニット２で得られたＲＧＢ＋３Ｄ画像とを照合して、セルユニット２で得られたＲＧＢ＋３Ｄ画像と重なるように座標を補正して、図６のフローで生成されていたワークＷのＸ線画像の出力を行う（Ｓ１９）。
【００５１】
以上のように、認識ユニット１では、図６のフローに基づいてＸ線画像からのセグメンテーションおよび特徴点の推定を行うとともに、図７のフローに基づいてＲＧＢ＋３Ｄ画像からのセグメンテーションおよび特徴点の推定を行う。それぞれから得られたデータはデータ保持部４４にお互いに関連づけられて記憶される。
【００５２】
図８は、セルユニット２におけるフローを示すフローチャートである。まず、ローラコンベア６（または８）により、ワークＷがセルユニット２内の撮影解体位置に搬入される（Ｓ２１）。ＲＧＢカメラ１８で撮影解体位置にあるワークＷの第１面（この実施形態では上面）のカラー写真を撮影する。また、３Ｄカメラ２０のプロジェクター２０ＢからワークＷの第１面（上面）にレーザー光等によりテクスチャーを投影して、一対の撮像部２０Ａでテクスチャーが投影されたワークＷを撮影し、各撮像部２０Ａが得た二枚の画像の差分から３Ｄ画像を生成する。
【００５３】
画像取得部３０Ａは、ＲＧＢ画像データおよび３Ｄ画像データを取得し、ＲＧＢ画像データおよび３Ｄ画像データを合成してＲＧＢ＋３Ｄ画像を得る（Ｓ２２）。次に、画像補正部３２Ａが、前述したようにＲＧＢ＋３Ｄ画像に補正を行なったうえで、領域設定部３４Ａにより予測アルゴリズム３８を用いて、ワークＷがセグメンテーションおよび特徴点の推定が行える正常なワークであるかを検査し、ワークＷが正常でない場合は、不処理としてワークＷを後工程に移送する。この実施形態では、セルユニット２においても正常なワークであるか否かの検査を行っているが、これは省くことも可能である。
【００５４】
ワークＷが正常であった場合には、領域設定部３４Ａにおいて、予測アルゴリズム３８Ａによる完全畳み込みネットワーク（ＦＣＮ）を用いたセグメンテーション、および、特徴点の位置推定を行う（Ｓ２３）。セルユニット２でのＲＧＢ＋３Ｄ画像から得られたセグメンテーションおよび特徴点のデータと、認識ユニット１で得られたＲＧＢ＋３Ｄ画像からのセグメンテーションおよび特徴点のデータを照合し、認識ユニット１で得られたＸ線画像からの特徴点データを、セルユニット２でのＲＧＢ＋３Ｄ画像へ当てはめる。これにより、ロボットアーム２２およびロボットアーム２４を操作する制御盤に、撮影解体位置にあるワークＷの特徴点の位置情報が伝達される。ロボットアーム２２はナイフ２６をワークＷの特徴点に沿って予めプログラムされた順序で動かし、骨部Ｋに沿って肉部Ｎをカットする（Ｓ２５）。ロボットアーム２４は、予めプログラムされた順序で骨部ＫまたはワークＷをロボットハンド２８で把持して、カット中にワークＷが移動しないように、必要に応じて固定する。
【００５５】
ワークＷから骨部Ｋを脱骨するために必要なカット回数が３回であるとして、１回目のカット（Ｓ２５）が終了したら、再び、ＲＧＢカメラ１８および３Ｄカメラ２０を作動させ、画像取得部３０ＡでＲＧＢ画像データおよび３Ｄ画像データを取得し、ＲＧＢ＋３Ｄ画像を得て、領域設定部３４Ａにおいて予測アルゴリズム３８Ａによるセグメンテーションおよび特徴点の位置推定を行う（Ｓ２６）。
【００５６】
カット後に取得したＲＧＢ＋３Ｄ画像から得られたセグメンテーションおよび特徴点のデータと、同じワークＷについて認識ユニット１で得られたＲＧＢ＋３Ｄ画像からのセグメンテーションおよび特徴点のデータを照合し、認識ユニット１で得られたＸ線画像からの特徴点データを、セルユニット２でのＲＧＢ＋３Ｄ画像へ当てはめ、１回目のカット後のワークＷ内の特徴点の位置を推定する。
【００５７】
ロボットアーム２２およびロボットアーム２４を操作する制御盤に、撮影解体位置にあるワークＷの特徴点の位置情報が伝達され、ロボットアーム２２はナイフ２６をワークＷの特徴点に沿って予めプログラムされた順序で動かし、骨部Ｋに沿って肉部Ｎを２度目のカットを行う（Ｓ２７）。ロボットアーム２４は、カット時の必要に応じて骨部ＫまたはワークＷをロボットハンド２８で把持する。
【００５８】
２回目のカット（Ｓ２７）が終了したら、再び、ＲＧＢカメラ１８および３Ｄカメラ２０を作動させ、画像取得部３０ＡでＲＧＢ画像データおよび３Ｄ画像データを取得し、ＲＧＢ＋３Ｄ画像を得て、領域設定部３４Ａにおいて予測アルゴリズム３８Ａによるセグメンテーションおよび特徴点の位置推定を行う（Ｓ２８）。
【００５９】
カット後に取得したＲＧＢ＋３Ｄ画像から得られたセグメンテーションおよび特徴点のデータと、同じワークＷについて認識ユニット１で得られたＲＧＢ＋３Ｄ画像からのセグメンテーションおよび特徴点のデータを照合し、認識ユニット１で得られたＸ線画像からの特徴点データを、セルユニット２でのＲＧＢ＋３Ｄ画像へ当てはめ、２回目のカット後のワークＷ内の特徴点の位置を推定する。
【００６０】
ロボットアーム２２およびロボットアーム２４を操作する制御盤に、撮影解体位置にあるワークＷの特徴点の位置情報が伝達され、ロボットアーム２２はナイフ２６をワークＷの特徴点に沿って予めプログラムされた順序で動かし、骨部Ｋに沿って肉部Ｎを３度目のカットを行う（Ｓ２９）。ロボットアーム２４は、カット時の必要に応じて骨部ＫまたはワークＷをロボットハンド２８で把持する。
【００６１】
３度目のカットにより、骨部Ｋは肉部Ｎから切り離されるので、ロボットアーム２４は骨部Ｋをロボットハンド２８で把持して、廃棄手段内に骨部Ｋを廃棄する。ローラコンベア６（または８）で肉部Ｎを次工程へ運び、１サイクルが完了する。この実施形態では、１サイクル毎にローラコンベア６とローラコンベア８により２基のセルユニット２へ交互にワークＷを移送し、交互に上記の脱骨処理を行うから、生産性を高めることができる。
【００６２】
上記構成からなる特徴点認識システム、および食肉処理システムによれば、図１０に示すようにまず認識ユニット１において、Ｘ線カメラ１２からのＸ線画像、ＲＧＢカメラ１４、および３Ｄカメラ１６からの３Ｄ画像を用いて、領域設定部３４により深層学習による予測アルゴリズムを実行し、予測したセグメンテーションおよび特徴点のデータを加えたＸ線およびＲＧＢ＋３Ｄ画像を得る。
【００６３】
次に、図１１に示すように、各セルユニット２において、ＲＧＢカメラ１８、および３Ｄカメラ２０からの３Ｄ画像を用いて、領域設定部３４Ａにより深層学習による予測アルゴリズム３８Ａを実行し、予測したセグメンテーションおよび特徴点のデータを加えたＸ線およびＲＧＢ＋３Ｄ画像を得る。
【００６４】
さらに、セルユニット２でのＲＧＢ＋３Ｄ画像から得られたセグメンテーションおよび特徴点のデータと、認識ユニット１で得られたＲＧＢ＋３Ｄ画像からのセグメンテーションおよび特徴点のデータを照合し、認識ユニット１で得られたＸ線画像からの特徴点データを、セルユニット２でのＲＧＢ＋３Ｄ画像へ当てはめ、ロボットアーム２２およびロボットアーム２４により脱骨を行うから、Ｘ線画像から得られた骨部Ｋの正確な特徴点位置を用いて、脱骨のカットを正確に行うことが可能である。
【００６５】
図１２は、ワークＷとして豚のもも肉と、その骨部Ｋと、各特徴点の位置を示したＸ線写真である。各特徴点は、ナイフ２６を動かして骨部Ｋを脱骨するときの指標として用いることができる。
図１３は、ワークＷとして豚のもも肉をＸ線カメラ１２で撮影した学習データの画像であり、図１４はその学習データの画像に、人がセグメンテーションおよび特徴点を加えた状態を示す教師データの画像である。教師データには、骨部Ｋが骨折したワークＷなども異常データとして加えておく。データ数は限定されないが、本出願人の実験によれば、数千〜１万件程度で実用に足る深層学習が行えることがわかった。
【００６６】
図１５は学習を終えた予測アルゴリズム３８に入力した実際の豚のもも肉のＸ線画像であり、図１６は図１５の画像に基づいて予測アルゴリズム３８が生成したセグメンテーションおよび特徴点の画像であり、図１７は、図１６の画像に基づき図１５の生のＸ線画像に特徴点を加えたＸ線画像である。このように、本実施形態の特徴点認識システムおよび食肉処理システムによれば、正確な特徴点の認識が可能であった。
【００６７】
一方、図１８は、ワークＷとして豚のもも肉をＸ線カメラ１２で撮影した学習データの画像に人がセグメンテーションおよび特徴点を加えた状態を示す教師データの拡大画像であり、左上は正常な骨部のセグメンテーション画像、右上、左下、右下の各画像は異常な骨部のセグメンテーション画像である。このような異常な教師データを加えることにより、異常判定の精度を向上することができる。
【産業上の利用可能性】
【００６８】
本発明の特徴点認識システムおよびワーク処理システムによれば、画像取得部が取得したワークの画像に対し、深層学習されたアルゴリズムに従って演算処理を行うことにより、ワークの特徴点の位置情報を安定かつ正確に得ることができるから、さまざまな技術分野への応用が可能であり、産業の利用が可能である。
【符号の説明】
【００６９】
１     認識ユニット
２     セルユニット
４     ローラコンベア
６     ローラコンベア
８     ローラコンベア
１０   Ｘ線照射部
１２   Ｘ線カメラ
１４   ＲＧＢカメラ
１６   ３Ｄカメラ
１６Ａ 撮像部
１６Ｂ プロジェクター
Ｗ     ワーク
Ｎ     肉部
Ｋ     骨部
１８   ＲＧＢカメラ
２０   ３Ｄカメラ
２２   ロボットアーム
２４   ロボットアーム
２６   ナイフ
２８   ロボットハンド
３０、３０Ａ  画像取得部
３２、３２Ａ  画像補正部
３４、３４Ａ  領域設定部
３６、３６Ａ  補助記憶装置
３８、３８Ａ  予測アルゴリズム
４０、４０Ａ  深層学習／推定装置
４２、４２Ａ  教師データ入力部
４４、４４Ａ  データ保持部
４６、４６Ａ  データ処理部
４８、４８Ａ  ディスプレー
【図１】
2020183876.tif 000003
【図２】
2020183876.tif 000004
【図３】
2020183876.tif 000005
【図４】
2020183876.tif 000006
【図５】
2020183876.tif 000007
【図６】
2020183876.tif 000008
【図７】
2020183876.tif 000009
【図８】
2020183876.tif 000010
【図９】
2020183876.tif 000011
【図１０】
2020183876.tif 000012
【図１１】
2020183876.tif 000013
【図１２】
2020183876.tif 000014
【図１３】
2020183876.tif 000015
【図１４】
2020183876.tif 000016
【図１５】
2020183876.tif 000017
【図１６】
2020183876.tif 000018
【図１７】
2020183876.tif 000019
【図１８】
2020183876.tif 000020