(57)【要約】  精度の高い食品検査を実現できる検査装置、検査方法および検査プログラムなどを提供することを課題とする。本実施形態では、食品検査サーバ１２が、（１）食品撮像装置１１で撮像した検査対象（食品に使われる原材料、食品、または、容器とそれに収容されている食品）を写した画像から検査対象を認識し、当該認識した検査対象の領域を画像から切り抜く物体認識を実行し、（２）当該切り抜いた領域を、食品検査サーバ１２が生成したモデル（良品の検査対象を写した画像を学習用データとする、ベイズ最適化で調整した学習済みモデルを用いて抽出した特徴量データによる教師なしの転移学習を行うことにより生成した、検査対象を良品か非良品に分類するためのモデル）に適応することにより、当該認識した検査対象を良品か非良品に分類する。
2020036082.tif 000002
【特許請求の範囲】
【請求項１】
食品に使われる原材料、食品、または、容器とそれに収容されている食品を検査対象とする、制御部を備える検査装置であって、
前記制御部が、
良品の検査対象を写した画像を学習用データとする、ベイズ最適化で調整した学習済みモデルを用いて抽出した特徴量データによる教師なしの転移学習を行うことにより、検査対象を良品か非良品に分類するためのモデルを生成する転移学習手段と、
検査対象を写した画像から検査対象を認識し、前記認識した検査対象の領域を画像から切り抜く物体認識手段と、
前記物体認識手段で切り抜いた領域を前記転移学習手段で生成したモデルに適応することにより、前記物体認識手段で認識した検査対象を良品か非良品に分類する物体分類手段と、
を備える検査装置。
【請求項２】
前記学習用データは、複数種類の良品の検査対象のそれぞれを写した画像であり、
前記物体分類手段は、前記認識した検査対象を、各種類の良品と非良品からなる複数のクラスのうちのいずれか一つに分類すること、
を特徴とする請求項１に記載の検査装置。
【請求項３】
食品に使われる原材料、食品、または、容器とそれに収容されている食品を検査対象とする、制御部を備える検査装置の前記制御部が、
良品の検査対象を写した画像を学習用データとする、ベイズ最適化で調整した学習済みモデルを用いて抽出した特徴量データによる教師なしの転移学習を行うことにより、検査対象を良品か非良品に分類するためのモデルを生成するステップと、
検査対象を写した画像から検査対象を認識し、前記認識した検査対象の領域を前記画像から切り抜くステップと、
前記切り抜いた領域を前記生成したモデルに適応することにより、前記認識した検査対象を良品か非良品に分類するステップと、
を実行する検査方法。
【請求項４】
食品に使われる原材料、食品、または、容器とそれに収容されている食品を検査対象とする、制御部を備える検査装置の前記制御部に、
良品の検査対象を写した画像を学習用データとする、ベイズ最適化で調整した学習済みモデルを用いて抽出した特徴量データによる教師なしの転移学習を行うことにより、検査対象を良品か非良品に分類するためのモデルを生成するステップと、
検査対象を写した画像から検査対象を認識し、前記認識した検査対象の領域を前記画像から切り抜くステップと、
前記切り抜いた領域を前記生成したモデルに適応することにより、前記認識した検査対象を良品か非良品に分類するステップと、
を実行させるための検査プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検査装置、検査方法および検査プログラムならびにこれらで用いられる画像を撮像する検査用撮像装置に関するものである。
【背景技術】
【０００２】
食品製造業において不良品の発生は、顧客からの信用低下に繋がる非常に重大なリスクであるため、様々な食品検査技術が開発されている（例えば特許文献１から特許文献６、非特許文献１および非特許文献２など）。特に、人工知能（Artificial  Intelligence）技術が人間の能力に追いつき、さらにはそれを超えることが期待できる時代となってきたことから、人工知能を利活用した食品検査技術については、近年、急速に開発が進んでいる。例えば、非特許文献１には、食品の原材料の検査においてディープラーニングを利活用した事例が紹介されており、また、非特許文献２には、工場で使用する原料を人工知能で選別する技術を開発したことが紹介されている。【０００３】
食品製造業において、今後、人間による目視検査の精度に匹敵するまたはその精度を超える検査技術が開発されれば、品質保証や人件費削減や生産性向上（例えば歩留り改善など）などといったメリットが期待出来る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−２１１２５９号公報
【特許文献２】特開２０１６−１０９４９５号公報
【特許文献３】国際公開第２０１７／１５９６２０号
【特許文献４】特開２０１７−４９９７４号公報
【特許文献５】特開２０１４−１４５６３９号公報
【特許文献６】特開２００２−２０５０１９号公報
【非特許文献】
【０００５】
【非特許文献１】「キユーピーが深層学習をジャガイモ検査に導入へ  グーグルのＴｅｎｓｏｒＦｌｏｗ利用しベビーフード工場に」，日経Ｒｏｂｏｔｉｃｓ，２０１７年３月号，ｐ．３−５
【非特許文献２】「人工知能を使用した原料選別技術を共同開発〜冷凍食品の原料品質が飛躍的に向上〜」，［online］，２０１８年２月２１日，インターネット<URL:http://www.nichireifoods.co.jp/news/2018/info_id5715/>
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ＡＩを利活用した食品検査技術について、精度の高さが十分といえるものは存在せず、それ故、技術で対応できていない部分は、未だ人間による目視検査で対応せざるを得ないのが現状である。また、このような現状となっていることの要因の一つとして、食品製造工場内の製造ラインを流れている最中の食品等を被写体としたときに質の高い画像を得ることが必ずしも容易ではないことが考えられる。【０００７】
本発明は、上記問題点に鑑みてなされたもので、精度の高い食品検査を実現できる検査装置、検査方法および検査プログラムを提供することを目的とする。また、精度の高い食品検査の実現に貢献することができる検査用撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明にかかる検査装置は、食品に使われる原材料、食品、または、容器とそれに収容されている食品を検査対象とする、制御部を備える検査装置であって、前記制御部が、良品の検査対象を写した画像を学習用データとする、ベイズ最適化で調整した学習済みモデルを用いて抽出した特徴量データによる教師なしの転移学習を行うことにより、検査対象を良品か非良品に分類するためのモデルを生成する転移学習手段と、検査対象を写した画像から検査対象を認識し、前記認識した検査対象の領域を画像から切り抜く物体認識手段と、前記物体認識手段で切り抜いた領域を前記転移学習手段で生成したモデルに適応することにより、前記物体認識手段で認識した検査対象を良品か非良品に分類する物体分類手段と、を備えることを特徴とする。【０００９】
なお、本発明にかかる検査装置において、前記学習用データは、複数種類の良品の検査対象のそれぞれを写した画像でもよく、前記物体分類手段は、前記認識した検査対象を、各種類の良品と非良品からなる複数のクラスのうちのいずれか一つに分類してもよい。【００１０】
また、本発明にかかる検査方法は、食品に使われる原材料、食品、または、容器とそれに収容されている食品を検査対象とする、制御部を備える検査装置の前記制御部が、良品の検査対象を写した画像を学習用データとする、ベイズ最適化で調整した学習済みモデルを用いて抽出した特徴量データによる教師なしの転移学習を行うことにより、検査対象を良品か非良品に分類するためのモデルを生成するステップと、検査対象を写した画像から検査対象を認識し、前記認識した検査対象の領域を前記画像から切り抜くステップと、前記切り抜いた領域を前記生成したモデルに適応することにより、前記認識した検査対象を良品か非良品に分類するステップと、を実行する検査方法であることを特徴とする。【００１１】
また、本発明にかかる検査プログラムは、食品に使われる原材料、食品、または、容器とそれに収容されている食品を検査対象とする、制御部を備える検査装置の前記制御部に、良品の検査対象を写した画像を学習用データとする、ベイズ最適化で調整した学習済みモデルを用いて抽出した特徴量データによる教師なしの転移学習を行うことにより、検査対象を良品か非良品に分類するためのモデルを生成するステップと、検査対象を写した画像から検査対象を認識し、前記認識した検査対象の領域を前記画像から切り抜くステップと、前記切り抜いた領域を前記生成したモデルに適応することにより、前記認識した検査対象を良品か非良品に分類するステップと、を実行させるための検査プログラムであることを特徴とする。【００１２】
また、本発明にかかる検査用撮像装置は、食品製造工場に設置されている搬送装置により搬送されている、製造段階にある、食品に使われる原材料、食品、または、容器とそれに収容されている食品を、検査のために被写体として撮像する検査用撮像装置であって、被写体を撮像して画像を生成する撮像部と、光を照射する照明部と、光の反射を抑制する性質を有するまたは光の反射を抑制する加工が施された、遮光性を有する部材で形成された、開口を有する筐体と、を備え、前記筐体は、前記開口と前記搬送装置の搬送面とが接近して向かい合うように設置され、前記撮像部は、前記筐体の内部の、前記開口を介して被写体を撮像することが可能な位置に配置され、前記照明部は、フリッカー現象を生じさせないため直流電源で動作するものであり、前記筐体の内部の、被写体へ光を照射することが可能な位置に配置されること、を特徴とする。【００１３】
なお、本発明にかかる検査用撮像装置において、前記撮像部は、レンズの光軸が前記開口の中央付近を通過し且つ前記搬送面と略直交するように配置されてもよい。また、本発明にかかる検査用撮像装置において、前記照明部は、放射した光が前記撮像部のレンズに直接入射しないような位置に配置されてもよい。また、本発明にかかる検査用撮像装置において、前記部材は、艶消し黒アルマイト加工が施されたものでもよい。
【発明の効果】
【００１４】
本発明にかかる検査装置、検査方法および検査プログラムによれば、精度の高い食品検査を実現できるという効果を奏する。また、本発明にかかる検査用撮像装置によれば、精度の高い食品検査の実現に貢献することができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】図１は、食品検査システム１の構成の一例を示す図である。
【図２】図２は、食品撮像装置１１の構成の一例を示す図である。
【図３】図３は、食品撮像装置１１の構成の一例を示す図である。
【図４】図４は、食品撮像装置１１の構成の一例を示す図である。
【図５】図５は、物体認識処理（画像前処理を含む）に関するフローチャートの一例を示す図である。
【図６】図６は、教師なし転移学習によるモデル生成処理に関するフローチャートの一例を示す図である。
【図７】図７は、画像水増し処理に関するフローチャートの一例を示す図である。
【図８】図８は、検査処理に関するフローチャートの一例を示す図である。
【発明を実施するための形態】
【００１６】
以下に、本発明にかかる検査装置、検査方法および検査プログラムならびに検査用撮像装置の実施形態を、図面に基づいて詳細に説明する。なお、本実施形態により本発明が限定されるものではない。
【００１７】
［１．構成］
本実施形態にかかる食品検査システム１の構成について、図１から図４を参照して詳細に説明する。
【００１８】
図１は、本実施形態にかかる食品検査システム１の構成の一例を示す図である。食品検査システム１は、食品製造工場に設置されている搬送装置ＣＶ（例えばベルトコンベヤなど）により搬送されている、製造過程にある「『食品に使われる原材料（例えばギョーザに使われるエビやニラなど）』、『食品（例えばギョーザやシュウマイなど）』または『容器とそれに収容されている食品（例えば食品が収容されている状態の食品トレイなど）』」（以下「検査対象」と記す。）を検査するシステムである。なお、「食品」は、最終製品に限らず製造途中にあるものを含む。
【００１９】
食品検査システム１は、食品撮像装置１１（本発明にかかる検査用撮像装置に相当）と、食品検査サーバ１２（本発明にかかる検査装置に相当）と、例えばインターネット、イントラネットまたはＬＡＮ（有線／無線の双方を含む）等のネットワーク１３と、で構成される。なお、図１では、食品検査サーバ１２の構成を主として記載しているため、食品撮像装置１１の構成については、ネットワーク１３との接続がされている撮像部１１ｂを記載するにとどめ簡略化している。また、食品検査システム１において、食品撮像装置１１の台数は一台に限定されず任意の複数の台数でもよい。
【００２０】
図２から図４は、食品撮像装置１１の構成の一例を示す図である。食品撮像装置１１は、検査対象を検査のために被写体として撮像する装置である。食品撮像装置１１は、筐体１１ａと撮像部１１ｂと照明部１１ｃと電源供給部１１ｄとを備える。
【００２１】
筐体１１ａは、４つの垂直材１１ａ１と４つの横架材（２つの横架材１１ａ２および２つの横架材１１ａ３）と５つの矩形の部材（１つの天井部材１１ａ４と２つの壁部材１１ａ５と２つの壁部材１１ａ６）を用いて形成された、開口を有する骨組立体構造物である。図示のような筐体の場合、開口は、例えば、壁部材１１ａ５の端１１ａ５１（図２参照）に対応する２つの辺と壁部材１１ａ６の端１１ａ６１（図４参照）に対応する２つの辺で形成される矩形領域（具体的には当該矩形領域から垂直材１１ａ１の断面が除かれた領域）に相当する。筐体１１ａは、図示の如く、搬送装置ＣＶの一部を跨ぐまたは覆い隠すように設置される。具体的には、筐体１１ａは、開口と搬送装置ＣＶの搬送面ＣＶ１とが接近して向かい合うように設置される。
【００２２】
垂直材１１ａ１は、棒状の部材（フレーム）である。垂直材１１ａ１の材質の一例としてアルミニウムが挙げられるが、材質は特にこれに限定されない。横架材１１ａ２および横架材１１ａ３は、棒状の部材（フレーム）である。横架材１１ａ２および横架材１１ａ３の材質の一例としてアルミニウムが挙げられるが、材質は特にこれらに限定されない。横架材１１ａ２および横架材１１ａ３は、搬送装置ＣＶの搬送方向と概ね平行する向きに配置される。
【００２３】
天板部材（上板）１１ａ４、壁部材（側面板）１１ａ５および壁部材（側面板）１１ａ６は、板状の部材（パネル）である。天板部材１１ａ４、壁部材１１ａ５および壁部材１１ａ６は、光の反射を抑制する性質を有するまたは光の反射を抑制する加工が施された、遮光性を有する部材（例えば艶消し黒アルマイト加工が施されたアルミニウム製の平板など）である。壁部材１１ａ５は、搬送装置ＣＶの搬送方向と概ね直交する向きに配置される（図３参照）。壁部材１１ａ６は、搬送装置ＣＶの搬送方向と概ね平行する向きに配置される（図３参照）。壁部材１１ａ５および壁部材１１ａ６の垂直方向（縦方向）の長さは、地面から搬送面ＣＶ１までの高さＨ（図２，４参照）や検査対象の高さ、撮像部１１ｂを構成するレンズの焦点距離、撮像部１１ｂで撮像した画像の質などを踏まえて設定してもよい。なお、壁部材１１ａ５および壁部材１１ａ６の垂直方向（縦方向）の長さは同じでなくてもよい。例えば、壁部材１１ａ６の垂直方向（縦方向）の長さは、搬送面ＣＶ１と端１１ａ６１との間隔Ｌ（図４参照）がほぼ無いくらいに設定してもよい。
【００２４】
撮像部１１ｂは、例えばＧｉｇＥカメラやＩｏＴカメラなどのカメラであり、検査対象を撮像して画像を生成する。撮像部１１ｂは、ネットワーク１３を介して食品検査サーバ１２と通信可能に接続されている。撮像部１１ｂは、生成した画像を、ネットワーク１３を介して食品検査サーバ１２に転送する。撮像部１１ｂは、筐体１１ａの内部の、開口を介して検査対象を撮像することが可能な位置に配置される。例えば、撮像部１１ｂは、当該撮像部を構成するレンズの光軸ＯＡが開口の中央付近を通過し且つ搬送面ＣＶ１と略直交するように、天井部材１１ａ４に固定して配置されてもよい（図２，４参照）。
【００２５】
照明部１１ｃは、直流電源で動作する照明ユニット（例えばＬＥＤ照明ユニットなど）であり、光を照射する。照明部１１ｃは、直流電源を供給する電源供給部１１ｄと接続されており、電源供給部１１ｄから供給された直流電源で動作する。この構成により、フリッカー現象の発生を防ぐことができる。照明部１１ｃは、筐体１１ａの内部の、検査対象へ光を照射することが可能な位置に配置される。例えば、照明部１１ｃは、当該照射部が放射した光が撮像部１１ｂを構成するレンズに直接入射しないような位置に配置されてもよい。照明部１１ｃは、天井部材１１ａ４に固定して配置されてもよい。
【００２６】
図１に戻り、食品検査サーバ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の当該装置を統括的に制御する制御部１２ａと、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して当該装置をネットワーク１３に通信可能に接続する通信インターフェース部１２ｂと、各種のデータベース、テーブルまたはファイルなどを記憶する記憶部１２ｃと、入力部１２ｅおよび出力部１２ｆに接続する入出力インターフェース部１２ｄと、入力部１２ｅと、出力部１２ｆと、を備える。食品検査サーバ１２が備える各部は、任意の通信路を介して通信可能に接続される。
【００２７】
通信インターフェース部１２ｂは、食品検査サーバ１２とネットワーク１３（またはルータ等の通信装置）との間における通信を媒介する。すなわち、通信インターフェース部１２ｂは、他の端末と通信回線を介してデータを通信する機能を有する。
【００２８】
入出力インターフェース部１２ｄには、入力部１２ｅおよび出力部１２ｆが接続されている。出力部１２ｆには、モニタの他、スピーカまたはプリンタなどを用いることができる。入力部１２ｅには、キーボード、マウスまたはマイクの他、マウスと協働してポインティングデバイス機能を実現するモニタ、または、タッチパネルなどを用いることができる。
【００２９】
記憶部１２ｃは、ストレージ手段である。記憶部１２ｃとして、例えば、ＲＡＭ・ＲＯＭ等のメモリ装置、ハードディスクのような固定ディスク装置、フレキシブルディスク、または光ディスク等を用いることができる。記憶部１２ｃには、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）と協働してＣＰＵまたはＧＰＵに命令を与えて各種処理を行うためのコンピュータプログラムが記録されていてもよい。
【００３０】
記憶部１２ｃは、例えば食品撮像装置１１で撮像された画像などを記憶する画像記憶部１２ｃ１と、例えば、良品の学習用画像、良品の検知用画像および非良品の検知用画像などを記憶する画像記憶部１２ｃ２と、を備える。
【００３１】
良品の学習用画像は、食品撮像装置１１で撮像された良品の検査対象を写した画像を基に後述する物体認識処理により得られたものであり且つ後述する転移学習における学習用データとして使用されるものである。良品の学習用画像には、後述する水増し処理により生成された学習用画像も含まれる。なお、転移学習部１２ａ３で、検査対象を、複数種類の良品と非良品からなる複数のクラスのうちのいずれか一つに分類するためのモデルを生成する場合、良品の学習用画像は、複数種類の良品の検査対象のそれぞれを写した画像を基にしたものでもよい。
【００３２】
良品の検知用画像は、食品撮像装置１１で撮像された良品の検査対象を写した画像を基に後述する物体認識処理により得られたものであり且つ後述する転移学習における検知用データとして使用されるものである。なお、転移学習部１２ａ３で、検査対象を、複数種類の良品と非良品からなる複数のクラスのうちのいずれか一つに分類するためのモデルを生成する場合、良品の検知用画像は、複数種類の良品の検査対象のそれぞれを写した画像を基にしたものでもよい。
【００３３】
非良品の検知用画像は、食品撮像装置１１で撮像された非良品の検査対象を写した画像を基に後述する物体認識処理により得られたものであり且つ後述する転移学習における検知用データとして使用されるものである。なお、転移学習部１２ａ３で、検査対象を、複数種類の良品と非良品からなる複数のクラスのうちのいずれか一つに分類するためのモデルを生成する場合、非良品の検知用画像は、複数種類の非良品の検査対象のそれぞれを写した画像を基にしたものでもよい。
【００３４】
制御部１２ａは、ＯＳ等の制御プログラム・各種の処理手順等を規定したプログラム・所要データなどを格納するための内部メモリを有し、これらのプログラムに基づいて種々の情報処理を実行する。制御部１２ａは、機能概念的に、物体認識部１２ａ１と物体分類部１２ａ２と転移学習部１２ａ３と水増し画像生成部１２ａ４とを備える。
【００３５】
物体認識部１２ａ１は、検査対象を写した画像から検査対象を認識し、前記認識した検査対象の領域を画像から切り抜く物体認識手段である。なお、後述するモデル生成処理に使用される学習用画像および検知用画像ならびに後述する検査処理にてモデルに適応される検査対象の領域（本番データ）は、物体認識部１２ａ１で実行される処理により得られたものである。物体認識部１２ａ１で実行される具体的な処理の説明については、「２．処理」にて行う。
【００３６】
物体分類部１２ａ２は、物体認識部１２ａ１で切り抜いた領域を転移学習部１２ａ３で生成したモデルに適応することにより、物体認識部１２ａ１で認識した検査対象を良品か非良品に分類する物体分類手段である。なお、転移学習部１２ａ３で、検査対象を、複数種類の良品と非良品からなる複数のクラスのうちのいずれか一つに分類するためのモデルを生成した場合、物体分類部１２ａ２は、物体認識部１２ａ１で認識した検査対象を、各種類の良品と非良品からなる複数のクラスのうちのいずれか一つに分類してもよい。これにより、複数種類の検査対象（例えばギョーザ・シュウマイなどの食品やエビなどの原材料など）についての良品・非良品の検査を一つのモデルでまとめて実施することができる。特に、複数の食品撮像装置１１を、食品毎の製造ラインに分散して設置したり特定の食品の製造ラインにおける任意の複数の工程に設置したりしておけばよいだけなので、当該検査を、コストの増加を押さえつつ実施することができる。物体分類部１２ａ２で実行される具体的な処理の説明については、「２．処理」にて行う。
【００３７】
転移学習部１２ａ３は、良品の検査対象を写した画像を学習用データとする、ベイズ最適化で調整した学習済みモデルを用いて抽出した特徴量データによる教師なしの転移学習を行うことにより、検査対象を良品か非良品に分類するためのモデルを生成する転移学習手段である。なお、転移学習部１２ａ３は、複数種類の良品の検査対象のそれぞれを写した画像を学習用データとして転移学習を行うことにより、検査対象を、複数種類の良品と非良品からなる複数のクラスのうちのいずれか一つに分類するためのモデルを生成してもよい。転移学習部１２ａ３で実行される具体的な処理の説明は、「２．処理」にて行う。
【００３８】
水増し画像生成部１２ａ４は、学習用画像に対して所定の処理を実行して学習用画像の水増しを行う。水増し画像生成部１２ａ４で実行される具体的な処理の説明は、「２．処理」にて行う。
【００３９】
［２．処理］
食品検査システム１で実行される各種処理の一例について、図５から図８を参照して説明する。
【００４０】
［２−１．物体認識処理］
図５は、物体認識処理（画像前処理を含む）に関するフローチャートの一例を示す図である。
【００４１】
まず、物体認識部１２ａ１は、食品撮像装置１１で撮像された画像に対し、輝度の調節を実行する（ステップＳＡ１）。ステップＳＡ１では、例えば、画像の状態が、ハレーションまたは色飛びが発生していない一般的な状態となるように、輝度の調節を行ってもよい。また、ステップＳＡ１は、実行しなくてもよい。
【００４２】
つぎに、物体認識部１２ａ１は、ステップＳＡ１による処理後の画像におけるシングルチャンネルの配列要素に対して、バイナリーサーチアルゴリズムによる２値化での閾値処理を実行する（ステップＳＡ２）。
【００４３】
つぎに、物体認識部１２ａ１は、細かい輪郭やノイズなどを省くために、ステップＳＡ２による処理後の画像に対し、構造要素の膨張処理を実行する（ステップＳＡ３）。
【００４４】
つぎに、物体認識部１２ａ１は、領域を検知するために、ステップＳＡ３による処理後の画像から輪郭を抽出する（ステップＳＡ４）。
【００４５】
つぎに、物体認識部１２ａ１は、ステップＳＡ４で抽出した輪郭に基づいて、ステップＳＡ３による処理後の画像から、一定以上の大きさの領域のみを取り出す（ステップＳＡ５）。
【００４６】
つぎに、物体認識部１２ａ１は、ステップＳＡ５で取り出した領域から、与えられた２次元点集合を囲む、回転を考慮した最小の矩形を抽出する（ステップＳＡ６）。
【００４７】
つぎに、物体認識部１２ａ１は、ステップＳＡ５で取り出した領域から、ステップＳＡ６で抽出した回転した矩形領域を取り出し、当該取り出した矩形領域を正方形に回転縮小する（ステップＳＡ７）。
【００４８】
つぎに、物体認識部１２ａ１は、ステップＳＡ７による処理後の領域に対し、画素値のヒストグラムの平坦化を実行する（ステップＳＡ８）。
【００４９】
以上、本物体認識処理により、食品撮像装置１１で撮像された画像から、後述するモデル生成処理に使用される品質の良い学習用画像および検知用画像を得ることができたり、食品撮像装置１１で撮像された画像から、後述する検査処理にてモデルに適応される品質の良い検査対象の領域（本番データ）を得ることができたりする。なお、本物体認識処理は、例えば、OpenCV（Open  Source  Computer  Vision  Library）や、SegNet、SSD（Single  Shot  Multibox  Detector）、YOLO（You  Only  Look  Once）などの物体認識アルゴリズムにより実現されてもよい。
【００５０】
［２−２．教師なし転移学習によるモデル生成処理］
図６は、教師なし転移学習によるモデル生成処理に関するフローチャートの一例を示す図である。
【００５１】
まず、転移学習部１２ａ３は、学習済みモデル（具体的にはTensorFlow（登録商標）のInceptionV3やVGG16やVGG19やXceptionやResNet50やInceptionResNetV2やMobileNetやDenseNetやNASNetやMobileNetV2やDCGANやEfficient  GAN（文献「“Efficient  GAN-Based  Anomaly  Detection”,  Houssam  Zenati,  Chuan  Sheng  Foo,  Bruno  Lecouat,  Gaurav  Manek,  Vijay  Ramaseshan  Chandrasekhar,  Submitted  on  17  Feb  2018,  last  revised  1  May  2019」参照）やBiGAN（文献「“Adversarial  Feature  Learning”,  Jeff  Donahue,  Philipp  Krahenbuhl,  Trevor  Darrell,  Submitted  on  31  May  2016,  last  revised  3  Apr  2017」または文献「“Adversarially  Learned  Inference”,  Vincent  Dumoulin,  Ishmael  Belghazi,  Ben  Poole,  Olivier  Mastropietro,  Alex  Lamb,  Martin  Arjovsky,  Aaron  Courville,  Submitted  on  2  Jun  2016,  last  revised  21  Feb  2017」参照）やBigGAN-deep（文献「“Large  Scale  GAN  Training  for  High  Fidelity  Natural  Image  Synthesis”,  Andrew  Brock,  Jeff  Donahue,  Karen  Simonyan,  Submitted  on  28  Sep  2018,  last  revised  25  Feb  2019」参照）やVQ-VAE-2（文献「“Generating  Diverse  High-Fidelity  Images  with  VQ-VAE-2”,  Ali  Razavi,  Aaron  van  den  Oord,  Oriol  Vinyals,  Submitted  on  2  Jun  2019」参照）のモデル）からその最終層（具体的には畳み込み層（convolutional  layer）の４階テンソル）が取り除かれた状態のモデルを使用して、良品の検査対象が写されている予め用意した学習用画像（物体認識部１２ａ１の処理により得られたもの）から、２５０８８次元の特徴量（特徴ベクトル）を抽出する（ステップＳＢ１：特徴量抽出処理）。なお、最終層が取り除かれたモデルを使用するのは、畳み込み処理をせずに学習させるためである。ステップＳＢ１は、良品の検査対象が写されている予め用意した数万枚の学習用画像（物体認識部１２ａ１の処理により得られたもの）に対し実行される。
【００５２】
つぎに、転移学習部１２ａ３は、ステップＳＢ１で抽出した、数万の数の２０５８８次元の特徴量を、外れ値（異常）検知アルゴリズム（具体的にはOne-Class  SVM（Support  Vector  Machine）またはIsolation  Forrest）または外れ値（異常）検知を目的とした若しくは外れ値（異常）検知に利用可能なモデル（具体的にはTensorFlow（登録商標）のAnoGANやEfficient  GANやBiGANやBigGAN-deepやVQ-VAE-2のモデル）で学習させる（ステップＳＢ２：学習処理）。ステップＳＢ２において、転移学習部１２ａ３は、良品と非良品を分類する決定境界（Decision  boundary）を求める。
【００５３】
つぎに、転移学習部１２ａ３は、良品の検査対象が写されている予め用意した複数の検知用画像（物体認識部１２ａ１の処理により得られたもの）と非良品の検査対象が写されている予め用意した複数の検知用画像（物体認識部１２ａ１の処理により得られたもの）を用いて、ステップＳＢ２による学習が実行されたモデルで、良品か非良品かを判別する（ステップＳＢ３：検知処理）。
【００５４】
つぎに、転移学習部１２ａ３は、ステップＳＢ３で得られた結果に基づく良品の正答率と非良品の正答率から、精度と再現率の調和平均（Ｆ値）を算出して、ベイズ最適化を用いて最適なＦ値を探索する（ステップＳＢ４）。
※精度（precision）＝良品と予測されたデータに、実際に良品であるデータが占める割合＝ＴＰ÷（ＴＰ＋ＦＰ）
※再現率（recall）＝実際に良品であるデータに、良品と予測されたデータが占める割合＝ＴＰ÷（ＴＰ＋ＦＮ）
※調和平均（F-measure）＝（２×精度×再現率）÷（精度＋再現率）
※ＴＰ：True  Positive
※ＦＰ：False  Positive
※ＦＮ：False  Negative
【００５５】
つぎに、転移学習部１２ａ３は、ステップＳＢ３で得られた結果に基づく良品の正答率と非良品の正答率から、非良品含み率と異常判定率の差（ブレイクイーブンポイント）を算出して、ベイズ最適化を用いてブレイクイーブンポイントが最小になるように均衡点を求める（ステップＳＢ５）。
※非良品含み率＝非良品と予測されたデータに、実際に非良品であるデータが占める割合＝ＴＮ÷（ＦＮ＋ＴＮ）
※異常判定率＝実際に非良品であるデータに、非良品と予測されたデータが占める割合＝ＴＮ÷（ＦＰ＋ＴＮ）
※ＦＰ：False  Positive
※ＦＮ：False  Negative
※ＴＮ：True  Negative
【００５６】
そして、ステップＳＢ４で得られたＦ値およびステップＳＢ５で得られた均衡点から、高精度のモデルが完成したかが判断される。モデルの精度が不十分と判断される場合は、以下の処理へ進む。なお、この判断は、例えば、Ｆ値の高さや均衡点の低さに着目して行ってもよい。
【００５７】
つぎに、水増し画像生成部１２ａ４は、前記予め用意した数万枚の学習用画像（物体認識部１２ａ１の処理により得られたもの）からランダムに選ばれた学習用画像に対し水増し処理を実行して、学習用画像を１０倍程度増やす（ステップＳＢ６）。なお、水増し処理の詳細は後述する。
【００５８】
そして、ステップＳＢ６で水増しされた学習用画像を基に、本モデル生成処理が再度、ステップＳＢ１から実行される。これにより、ノイズに対してロバストなモデルになるよう学習させることができる。また、学習用画像を別途、継続的に新規に追加することで継続して強化学習が可能となる。
【００５９】
以上、本モデル生成処理により、検査対象を良品か非良品に分類するためのモデル（転移学習モデル）を生成することができる。なお、転用する学習済みモデルは、一つであってもよく、また複数であってもよい。転移学習であれば、転移学習モデルのディープラーニング層を検査対象の種類に応じて変更することができるので、例えばギョーザトレイを検査対象とするモデルを生成したり、シューマイトレイを検査対象とする異なる対象のモデルを生成したりすることが容易に実現できる。
【００６０】
［２−３．画像水増し処理（データ拡張）］
図７は、画像水増し処理に関するフローチャートの一例を示す図である。
【００６１】
まず、水増し画像生成部１２ａ４は、ステップＳＢ６においてランダムに選ばれた学習用画像を用いて、学習用画像全体で入力の画素値（特徴量）の平均がゼロとなるように真理値の処理を実行する（ステップＳＣ１）。
【００６２】
つぎに、水増し画像生成部１２ａ４は、入力の画素値（特徴量）を学習用画像の標準偏差で正規化する（ステップＳＣ２：正規化処理）。
【００６３】
つぎに、水増し画像生成部１２ａ４は、学習用画像に対し、回転処理（回転角度：０度から１８０度までの任意の角度）、水平方向への反転処理（左右反転）および垂直方向への反転処理（上下反転）から任意に選ばれる１つ以上の処理を、任意の順に実行する（ステップＳＣ３）。
【００６４】
つぎに、水増し画像生成部１２ａ４は、ステップＳＣ３で得られた学習用画像に対し、ゼロ位相白色化（ZCA  whitening）の処理を実行する（ステップＳＣ４）。
【００６５】
［２−４．検査処理］
図８は、検査処理に関するフローチャートの一例を示す図である。
【００６６】
まず、物体認識部１２ａ１は、食品撮像装置１１で撮像された検査対象を写した画像から検査対象を認識し、この認識した検査対象の領域をこの画像から切り抜く（ステップＳＤ１）。なお、ステップＳＤ１にて実行される物体認識処理の具体例については、［２−１．物体認識処理］にて説明したので、ここでは省略する。
【００６７】
つぎに、物体分類部１２ａ２は、ステップＳＤ１で切り抜いた検査対象の領域を、転移学習部１２ａ３で生成されたモデル（精度が十分と判断されたもの）に適応することにより、ステップＳＤ１で認識した検査対象を良品か非良品に分類する（ステップＳＤ２）。
【００６８】
以上、本発明の実施形態について説明したが、本実施形態によれば、食品製造過程における初期工程にある食品の原材料から、食品製造過程における最終工程にあるパッケージング直前の最終製品（例えば食品が収容されている状態の食品トレイなど）までの全てを高精度に検査することができる。すなわち、食品検査において従来では検査対象とすることができなかった製品についても、精度の高い検査を実現することができる。
【００６９】
［３．他の実施形態］
本発明は、上述した実施形態以外にも、請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。
【００７０】
例えば、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
【００７１】
また、各装置に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
【００７２】
また、食品検査サーバ１２が備える処理機能、特に制御部１２ａにて行われる各処理機能については、その全部または任意の一部を、ＣＰＵまたはＧＰＵおよび当該ＣＰＵまたはＧＰＵにて解釈実行されるプログラムにて実現してもよい。プログラムは、情報処理装置に本発明にかかる検査方法を実行させるためのプログラム化された命令を含む一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて食品検査サーバ１２に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤなどの記憶部１０６には、ＯＳと協働してＣＰＵまたはＧＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵまたはＧＰＵと協働して制御部を構成する。
【００７３】
また、本発明にかかる検査プログラムを、一時的でないコンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。
【００７４】
また、システムの分散・統合の具体的形態は図示するものに限られず、任意の単位で機能的または物理的に分散・統合して構成してもよい。
【産業上の利用可能性】
【００７５】
本発明は、産業上の多くの分野、特に食品製造業において極めて有用である。
【符号の説明】
【００７６】
１  食品検査システム
１１  食品撮像装置
１１ａ  筐体
１１ａ１  垂直材
１１ａ２  横架材
１１ａ３  横架材
１１ａ４  天井部材
１１ａ５  壁部材
１１ａ６  壁部材
１１ｂ  撮像部
１１ｃ  照明部
１１ｄ  電源供給部
１２  食品検査サーバ
１２ａ  制御部
１２ａ１  物体認識部
１２ａ２  物体分類部
１２ａ３  転移学習部
１２ａ４  水増し画像生成部
１２ｂ  通信インターフェース部
１２ｃ  記憶部
１２ｃ１  画像記憶部
１２ｃ２  画像記憶部
１２ｄ  入出力インターフェース部
１２ｅ  入力部
１２ｆ  出力部
１３  ネットワーク
【図１】
2020036082.tif 000003
【図２】
2020036082.tif 000004
【図３】
2020036082.tif 000005
【図４】
2020036082.tif 000006
【図５】
2020036082.tif 000007
【図６】
2020036082.tif 000008
【図７】
2020036082.tif 000009
【図８】
2020036082.tif 000010
【国際調査報告】
2020036082.tif 000011
2020036082.tif 000012
2020036082.tif 000013
2020036082.tif 000014