(57)【要約】【課題】ＡＩによる深層学習と多変量解析の手法を適用して、食品の良品または不良品を自動的に選別する。【解決手段】ＡＩによる深層学習と多変量解析の手法を適用して、食品の良品または不良品を自動的に選別する食品検査システムであって、検査対象である食品の画像を取得する画像取得部１０ａと、畳み込みニューラルネットワークを用いて、前記取得した画像から特徴量を抽出する特徴量抽出部１０ｂと、前記抽出した特徴量について、多変量解析を実行する多変量解析実行部１０ｃと、前記実行された多変量解析の結果に基づいて、食品の良品または不良品の選別を実行する制御部１０ｄと、を備え、前記特徴量抽出部１０ｂは、前記畳み込み層の計算が終了した後、全結合層における最初の層から前記取得した画像の特徴量を抽出する。【選択図】図２
2019211288.tif 000002
【特許請求の範囲】
【請求項１】
深層学習と多変量解析の手法を適用して、食品の良品または不良品を自動的に選別する食品検査システムであって、
検査対象である食品の画像を取得する画像取得部と、
畳み込みニューラルネットワークを用いて、前記取得した画像から特徴量を抽出する特徴量抽出部と、
前記抽出した特徴量について、多変量解析を実行する多変量解析実行部と、
前記実行された多変量解析の結果に基づいて、食品の良品または不良品の選別を実行する制御部と、を備え、
前記特徴量抽出部は、前記畳み込み層の計算が終了した後、全結合層における最初の層から前記取得した画像の特徴量を抽出することを特徴とする食品検査システム。
【請求項２】
前記実行された多変量解析の結果を可視化して画面に出力する表示部をさらに備えることを特徴とする請求項１記載の食品検査システム。
【請求項３】
前記制御部は、前記実行された多変量解析の結果または入力された情報に基づいて、食品の良品または不良品の選別基準を設定することを特徴とする請求項１または請求項２記載の食品検査システム。
【請求項４】
前記制御部による選別の実行の結果に応じて、食品の良品と不良品とを選別する選別装置をさらに備えることを特徴とする請求項１から請求項３のいずれかに記載の食品検査システム。
【請求項５】
深層学習と多変量解析の手法を適用して、食品の良品または不良品を自動的に選別する食品検査システムのプログラムであって、
検査対象である食品の画像を取得する処理と、
畳み込みニューラルネットワークを用いて、前記取得した画像から特徴量を抽出する処理と、
前記抽出した特徴量について、多変量解析を実行する処理と、
前記実行された多変量解析の結果に基づいて、食品の良品または不良品の選別を実行する処理と、の一連の処理をコンピュータに実行させ、
前記畳み込み層の計算が終了した後、全結合層における最初の層から前記取得した画像の特徴量を抽出することを特徴とするプログラム。
【請求項６】
前記実行された多変量解析の結果を可視化して画面に出力する処理をさらに含むことを特徴とする請求項５記載のプログラム。
【請求項７】
前記実行された多変量解析の結果または入力された情報に基づいて、食品の良品または不良品の選別基準を設定する処理をさらに含むことを特徴とする請求項５または請求項６記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深層学習手法を用いて実現されたＡＩ (Artificial intelligence)技術と多変量解析の手法を適用して、食品の良品または不良品を自動的に選別する食品検査システムおよびプログラムに関する。
【背景技術】
【０００２】
従来から、食品の良品または不良品を選別する装置が提案されている。特許文献１には、本質的に問題のない商品を不良品として扱わないようにするためのＸ線検査装置が開示されている。このＸ線検査装置は、物品を搬送させながらＸ線を使用して物品の検査を行なう。すなわち、物品を搬送するコンベアと、Ｘ線照射器と、Ｘ線ラインセンサと、制御コンピュータとを備える。制御コンピュータは、Ｘ線を使用して物品のＸ線画像データを作成するＸ線画像作成制御、Ｘ線画像データから不良品・不良品を検出する不良品・不良品検出制御、不良品を検出する品質検査の停止・解除を制御する品質検査停止・解除制御を行なう。
【０００３】
また、特許文献２には、不良品を的確に排出するための光学検査装置が開示されている。この光学検査装置は、搬送機構により搬送される被検査物を照明する照明部と、被検査物を撮像する撮像部と、被検査物の撮像データに基づいて画像処理を行なう画像処理部と、画像処理の結果に基づいて良否判定を行なう良否判定部と、被検査物の通過を検知可能な通過検知部と、良否判定部により不良と判定された被検査物を排出する不良品排出部とを備えている。不良品排出部は、照明部および撮像部の搬送下流側で所定時間の間作動させることで不良と判定された被検査物を排出するように構成されている。さらに、被検査物の搬送方向長さを検出する長さ検出部と、この長さ検出部により検出される被検査物の搬送方向長さが所定長さより長い場合に不良品排出部の作動時間を長くする排出制御部とが設けられている。
【０００４】
また、特許文献３には、包装食品の出荷前の検査工程において、包装材内の食品中に含まれる異物の有無を検査する検査装置が開示されている。この検査装置は、近赤外線を透過する部材から成るコンベアに包装食品を載置して搬送する搬送手段と、近赤外線を発するライン状光源から包装食品に対して近赤外線を照射する近赤外線照射手段と、コンベアの搬送面を挟んでライン状光源と対向配置されたラインセンサを有し、ラインセンサにより照明された包装食品の近赤外線透過像を撮像する撮像手段と、撮像手段から出力される近赤外線透過像の画像信号に基づいて、包装材内の各薄板状食品の表裏各面に付着した異物の有無と各薄板状食品の内部に含まれる異物の有無とを同時に検査する検査手段と、を備えている。
【０００５】
一方、近年、ＡＩが様々な分野において活用されており、機械学習も実用化されており、特に、ディープラーニング（深層学習）の活用が進んでいる。ディープラーニング（深層学習）は、ニューラルネットワーク、すなわち、生物の神経回路をモデル化し、入力層、１層以上の隠れ層、および出力層からなる多層構造で表現された機械学習手法の一つであり、入力データを分類・識別など適した表現に変換するための特徴抽出・識別手法として利用できるものである。
【０００６】
機械製品や金属部品など、均一な製品に対する良否識別装置においても、ＡＩが利用されている。例えば、非特許文献１には、ＣＯＧＮＥＸ社の「Ｃｏｇｎｅｘ  ＶｉＤｉ  Ｓｕｉｔｅ」が開示されている。「Ｃｏｇｎｅｘ  ＶｉＤｉ  Ｓｕｉｔｅ」は、深層学習に基づいた欠陥検出機能を有するソフトウェアであり、金属部品、樹脂部品、電子基板等の工業的用途に特化している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−２１７１１９号公報
【特許文献２】特開２０１２−１８５０８７号公報
【特許文献３】特開２００９−０１６２６８号公報（特許第４２０９９２６号明細書）
【非特許文献】
【０００８】
【非特許文献１】https://www.cognex.com/ja-jp/products/machine-vision/deep-learning-based-software
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１から３ではＡＩは導入されておらず、非特許文献１では、ＡＩがうまく導入できていると言えるが、これは不良原因が限られる機械製品や金属製品などを対象とする検査に関するものであって、形状が不均一でバラエティに富む食品、特に菓子類の検査に関するものではない。近年、食品業界においては、「キューピー株式会社」が、ＡＩを用いてジャガイモの良・不良を判別するシステムを導入している（https://cloud-ja.googleblog.com/2017/06/google-ai.html）。このシステムは、大量に運搬されてくる賽の目にカットされたジャガイモから、黒ずみを含むジャガイモを除去し、最終的には人間が選別する構成を採る。しかしながら、このシステムでは、ジャガイモの判別に特化したものであり、汎用性が高いとは言えない。また、良品でないものを取り除くことが目的であるため、不良品が発生する原因を突き止めることはできない。
【００１０】
本発明者らは、煎餅を対象とする検査において、市販の人工知能（ＡＩ）ソフトウェアの識別性能を評価することを試みた。画像認識の用途における深層学習では、画素データを入力し、初期の階層で線分の特徴を捉える。第１階層は、境界がはっきりしたものやある程度長さのあるものを識別しやすい。本発明者らによる試みでは、境界がはっきりしたもの（例えば、白抜き、穴あき、異物付着など）や、ある程度長さのあるもの（例えば、白抜き）が識別し易かった。次に、第Ｎ階層で、部品画像を特定し、各部品画像から特徴量を捉え、出力層で処理結果が出力される。
【００１１】
本発明者らは、対象サンプルを煎餅の写真とし、正常とされる煎餅の写真を５０枚、欠陥とされる煎餅の写真を７３枚用いて、「ＡＩの学習枚数による欠陥識別精度の変化の検証」、「ＡＩソフトウェアにより識別が得意な欠陥および不得意な欠陥の検証」、「欠陥識別率向上に伴う正常品識別率の変化の検証」、「識別精度向上のための方策についての検討」を行なった。
【００１２】
「ＡＩの学習枚数による欠陥識別制度の変化の検証」について、当該データのみで学習し、モデルを作成した結果、欠陥の種類によって学習の効果が異なることが分かった。欠陥が「白抜き」および「汚れの付着」である場合は、学習枚数が３０枚〜４０枚を超えると、学習して作り上げた学習モデルが、どれだけ正しく識別できたかについて、欠陥識別率が８０％を超えるようになったが、欠陥が「ブク（表面に無視できない気泡が生じた状態）」、「欠け・形状不良」および「穴あき」である場合は、学習枚数が４０枚を超えても欠陥識別率が５０％以下となってしまうことが分かった。
【００１３】
また、「ＡＩソフトウェアにより識別が得意な欠陥および不得意な欠陥の検証」の結果、「欠陥部分とその近傍との色差が大きい場合」と「一定長の線分・輪郭等の特徴を有する場合」については、ＡＩが識別し易いことが分かった。すなわち、「白抜き」、「汚れの付着」、「ブク」という欠陥については、ＡＩにとって識別が得意である欠陥であることが分かった。一方、「欠陥部分とその近傍との色差が小さい場合」については、Neural networksを用いた識別が困難であり、「大部分にブクがある欠陥」については、ＡＩにとって識別が不得意である欠陥であることが分かった。また、「欠け・形状不良」については、この検証で用いたＡＩソフトウェアでは識別できなかった。
【００１４】
また、「欠陥識別率向上に伴う正常品識別率の変化の検証」の結果、欠陥が「白抜き」である場合は、欠陥識別率が１００％に到達した時点で、正常品の誤識別率が１０％程度であった。また、欠陥が「汚れの付着」である場合は、欠陥識別率の上昇に伴い、正常品の誤識別率も上昇し、最終的に、欠陥識別率が１００％に到達した時点で、正常品の誤識別率は２０％であった。また、欠陥が「ブク」である場合は、学習枚数の増加に伴って、誤識別率も上昇し、欠陥識別率が４０％に到達した時点で、正常品の誤識別率は２０％であった。また、欠陥が「穴あき」である場合は、正常品の誤識別はなかった。
【００１５】
また、「識別精度向上のための方策についての検討」の結果、（ａ）生産現場での方策として、照明の当て方について現場での工夫が必要であることと、照明の光の波長を変える（光源の色を変える）工夫が必要であることが導出された。また、（ｂ）撮像後の方策として、色差の弱いところに対しては、コントラスト等により機械的に強調する工夫が必要であることと、識別率が低かった欠陥の識別率を向上させるために、欠陥の特性に合わせて非線形で強調する工夫が必要であることが導出された。
【００１６】
このように、形状が不均一でバラエティに富む菓子類については、従来のＡＩによる手法は、必ずしも正しい検品を実行することができるとは言えない。しかし、食の安全が厳しく求められると共に、不良品の出やすい食品加工分野等では、良・不良の選別基準が製造コストや収益に直接影響するため、自動的に良・不良を識別できるシステムが必要とされてきた。
【００１７】
さらに、検査の選別基準についても解決すべき課題が存在する。食品における良品・不良品選別基準は、機械製品・金属製品などを対象としている場合に比べ、不確かさが含まれる。特に、この判断を人手で実施している場合には、一定の選別基準を維持していくこと自体が難しくなる。この選別基準は、製造による利益率・コストなどをも左右するため、これまで一定の選別基準が求められてきた。食品業界では、このような選別基準をＡＩ等用いて一定化・機械化する取り組みを始めてはいるものの、汎用性を持たせた運用は難しいのが現状である。
【００１８】
本発明は、このような事情に鑑みてなされたものであり、様々な製品形態を呈する食品製造工程において、ＡＩによる深層学習と多変量解析の手法を適用して、食品の良品または不良品を自動的に選別することができる食品検査システムおよびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の食品検査システムは、深層学習と多変量解析の手法を適用して、食品の良品または不良品を自動的に選別する食品検査システムであって、検査対象である食品の画像を取得する画像取得部と、畳み込みニューラルネットワークを用いて、前記取得した画像から特徴量を抽出する特徴量抽出部と、前記抽出した特徴量について、多変量解析を実行する多変量解析実行部と、前記実行された多変量解析の結果に基づいて、食品の良品または不良品の選別を実行する制御部と、を備え、前記特徴量抽出部は、前記畳み込み層の計算が終了した後、全結合層における最初の層から前記取得した画像の特徴量を抽出することを特徴とする。
【００２０】
このように、畳み込みニューラルネットワークを用いて、取得した画像から特徴量を抽出し、抽出した特徴量について多変量解析を実行し、多変量解析の結果に基づいて、食品の良品または不良品の選別を実行するので、従来はＡＩの適用が難しいとされてきた食品製造物等の良品または不良品の自動識別が可能となる。また、本願発明では、畳み込み層の計算が終了した後、全結合層における最初の層から画像の特徴量を抽出するので、形状が不均一でバラエティに富む食品の選別を高い精度で行なうことが可能となる。これにより、歩留まり率を下げていた原因の究明をリアルタイムで行ない、製造ラインの改善に直結させることが可能となる。
【００２１】
（２）また、本発明の食品検査システムは、前記実行された多変量解析の結果を可視化して画面に出力する表示部をさらに備えることを特徴とする。
【００２２】
このように、実行された多変量解析の結果を可視化して画面に出力するので、グラフ上で良品または不良品を明瞭に区別することが可能となる。
【００２３】
（３）また、本発明の食品検査システムにおいて、前記制御部は、前記実行された多変量解析の結果または入力された情報に基づいて、食品の良品または不良品の選別基準を設定することを特徴とする。
【００２４】
このように、実行された多変量解析の結果または入力された情報に基づいて、食品の良品または不良品の選別基準を設定するので、選別基準について、製造時の状況や製造品の付加価値等（高級品・汎用品等）も加味し、“しきい値等”を可変で設定することによって、選別基準を形成することが可能となる。また、形成された選別基準で判断した場合の全体の利益率やコスト等を自動で予測することが可能となる。その結果、新たに設定した選別基準が、コスト等の面から妥当なのか否かについても判定することが可能となり、その結果に応じて再度、選別基準を設定し直すことで、システムの最適化を図ることが可能となる。さらに、これまで検品工程で行なった判断によって、全体的な利益率・コストなどがどの程度の値になっているか数値化して正確に把握することも可能となる。
【００２５】
（４）また、本発明の食品検査システムは、前記制御部による選別の実行の結果に応じて、食品の良品と不良品とを選別する選別装置をさらに備えることを特徴とする。
【００２６】
このように、制御部による選別の実行の結果に応じて、食品の良品と不良品とを選別する選別装置をさらに備えるので、高い品質を維持すると共に歩留まりの向上を図ることが可能となる。
【００２７】
（５）また、本発明のプログラムは、深層学習と多変量解析の手法を適用して、食品の良品または不良品を自動的に選別する食品検査システムのプログラムであって、検査対象である食品の画像を取得する処理と、畳み込みニューラルネットワークを用いて、前記取得した画像から特徴量を抽出する処理と、前記抽出した特徴量について、多変量解析を実行する処理と、前記実行された多変量解析の結果に基づいて、食品の良品または不良品の選別を実行する処理と、の一連の処理をコンピュータに実行させ、前記畳み込み層の計算が終了した後、全結合層における最初の層から前記取得した画像の特徴量を抽出することを特徴とする。
【００２８】
このように、畳み込みニューラルネットワークを用いて、取得した画像から特徴量を抽出し、抽出した特徴量について多変量解析を実行し、多変量解析の結果に基づいて、食品の良品または不良品の選別を実行するので、従来はＡＩの適用が難しいとされてきた食品製造物等の良品または不良品の自動識別が可能となる。また、本願発明では、畳み込み層の計算が終了した後、全結合層における最初の層から画像の特徴量を抽出するので、形状が不均一でバラエティに富む食品の選別を高い精度で行なうことが可能となる。これにより、歩留まり率を下げていた原因の究明をリアルタイムで行ない、製造ラインの改善に直結させることが可能となる。
【００２９】
（６）また、本発明のプログラムは、前記実行された多変量解析の結果を可視化して画面に出力する処理をさらに含むことを特徴とする。
【００３０】
このように、実行された多変量解析の結果を可視化して画面に出力するので、グラフ上で良品または不良品を明瞭に区別することが可能となる。
【００３１】
（７）また、本発明のプログラムは、前記実行された多変量解析の結果または入力された情報に基づいて、食品の良品または不良品の選別基準を設定する処理をさらに含むことを特徴とする。
【００３２】
このように、実行された多変量解析の結果または入力された情報に基づいて、食品の良品または不良品の選別基準を設定するので、選別基準について、製造時の状況や製造品の付加価値等（高級品・汎用品等）も加味し、“しきい値等”を可変で設定することによって、選別基準を形成することが可能となる。また、形成された選別基準で判断した場合の全体の利益率やコスト等を自動で予測することが可能となる。その結果、新たに設定した選別基準が、コスト等の面から妥当なのか否かについても判定することが可能となり、その結果に応じて再度、選別基準を設定し直すことで、システムの最適化を図ることが可能となる。さらに、これまで検品工程で行なった判断によって、全体的な利益率・コストなどがどの程度の値になっているか数値化して正確に把握することも可能となる。
【発明の効果】
【００３３】
本発明によれば、従来はＡＩの適用が難しいとされてきた食品製造物等の良品または不良品の自動識別が可能となる。また、形状が不均一でバラエティに富む食品の選別を高い精度で行なうことが可能となる。これにより、歩留まり率を下げていた原因の究明をリアルタイムで行ない、製造ラインの改善に直結させることが可能となる。
【図面の簡単な説明】
【００３４】
【図１】本実施形態に係る食品検査システムの概要を示す図である。
【図２】画像処理装置の概略構成を示す図である。
【図３】本実施形態に係る食品検査システムの動作を示すフローチャートである。
【図４】サンプル画像を切り出す様子を示す図である。
【図５】畳み込みニューラルネットワーク（CNN）の概要を示す図である。
【図６】主成分分析の結果を表示した例を示す図である。
【発明を実施するための形態】
【００３５】
本発明者らは、従来、ＡＩの適用が難しいとされてきた食品製造物等の良品・不良品の自動識別について、ＡＩを適用することに着目し、ＣＮＮ畳込み層から抽出した特徴量について多変量解析（主成分分析）を行なった結果、２次元グラフ上にて良品・不良品を明瞭に区別できることを見出し、本発明に至った。
【００３６】
すなわち、本発明の食品検査システムは、深層学習と多変量解析の手法を適用して、食品の良品または不良品を自動的に選別する食品検査システムであって、検査対象である食品の画像を取得する画像取得部と、畳み込みニューラルネットワークを用いて、前記取得した画像から特徴量を抽出する特徴量抽出部と、前記抽出した特徴量について、多変量解析を実行する多変量解析実行部と、前記実行された多変量解析の結果に基づいて、食品の良品または不良品の選別を実行する制御部と、を備え、前記特徴量抽出部は、前記畳み込み層の計算が終了した後、前記全結合層における最初の層から前記取得した画像の特徴量を抽出することを特徴とする。
【００３７】
これにより、本発明者らは、従来はＡＩの適用が難しいとされてきた食品製造物等の良品または不良品の自動識別を可能とした。また、形状が不均一でバラエティに富む食品の選別を高い精度で行なうことを可能とした。さらに、歩留まり率を下げていた原因の究明をリアルタイムで行ない、製造ラインの改善に直結させることを可能とした。以下、本発明の実施形態について、図面を参照しながら具体的に説明する。
【００３８】
図１は、本実施形態に係る食品検査システムの概要を示す図である。この食品検査システム１は、例えば、煎餅の検査について用いられる。煎餅の焼き工程から流れてくる完成製品の表裏から撮影した画像に基づいて、良否判定と選別（排除）をリアルタイムに行なうと共に、不良品が発生した理由を解析し、上流の工程にフィードバックして、歩留まり率の改善を図る。なお、ここでは煎餅を例に取って説明するが、本発明はこれに限定されるわけではない。
【００３９】
図１において、煎餅投入口３から無選別で投入された煎餅５は、コンベア６を介して、図１中、紙面に向かって右から左へ搬送される。ここで、本実施形態に係る食品検査システム１は、焼き上がって一括投入された煎餅５を、一列に自動配列する機構を有するものとする。煎餅５は、搬送の途中で、カメラ７ａおよびカメラ７ｂによって撮像される。なお、カメラ７ｂは必ずしも必要ではないが、ここでは、両方を備えているものとして説明する。カメラ７ａおよびカメラ７ｂによって撮影された画像は、１セットに集約され、画像処理装置１０に入力される画像処理装置１０は、ディスプレイを備えたコンピュータで構成されている。
【００４０】
画像処理装置１０では、畳み込みニューラルネットワーク（CNN：Convolutional neural network）によって画像の特徴量を抽出し、多変量解析（主成分分析）を実行して、良・不良の識別を行なう。画像処理装置１０は、不良品を検出した場合は、ラインへの排除指示を行なって、選別装置９が、不良品の排除を行なう。また、画像処理装置１０は、不良の理由をデータとして記録する。このデータを用いて、歩留まり率の改善を図ることが可能となる。改善の方策は、焼成や搬送などの他の装置へフィードバックされ、全工程について、品質の向上や効率化が図られる。選別装置９によって、良品と判断された煎餅５は、包装機１１で包装され、包装済製品１３となって、人間Ｈによる最終確認を受ける。
【００４１】
図２は、画像処理装置１０の概略構成を示す図である。画像処理装置１０において、画像取得部１０ａは、カメラ７ａ若しくはカメラ７ｂ、または、図示しないデータベースに格納されている画像を取得する。画像を取得した後、オペレータの操作を契機として、サンプル画像の切り出しを行なう。図４に示すように、所望の切り出し範囲２０ａを選択して切り出す。切り出した画像２０ｂを別のファイル名で保存する。ここでは、例えば、サンプル画像の切り出しは、「600×600画素」のものに統一して切り出すこととするが、本発明は、これに限定されず、任意の画素数で切り出すことも可能である。切り出しに使用するソフトウェアは、特に限定されず、市販のソフトを使用することができる。切り出し後の画像は、「pngフォーマット」で保存する。
【００４２】
図２において、特徴量抽出部１０ｂは、深層学習のフレームワークに実装されている“畳み込みニューラルネットワーク（CNN）”である“Alex Net”を実行する。図５に示すように、“Alex Net”は、５層の畳み込み層と３層の全結合層の全８層で構成されている。本実施形態では、畳み込み層の計算が終了した第６層から特徴量を抽出する。それ以後の層では、畳み込んだ計算結果を使って結合が行なわれ、食品画像が持つ多様な特徴量が失われるため、結合前の第６層で特徴量を取り出し、主成分分析を行なう構成を採る。本実施形態では、大規模データセットで学習済のモデルを使用した。より具体的には、“Alex net”では、画像の画素に対し、カーネルをスライドさせて、近接の画素と結合させる畳み込みと、その畳み込みをした結果に対して、サイズ縮小を行なうプーリングを行なう。そして、“Alex net”の第６層から特徴ベクトルを取り出して出力する。ここでは、図５に示すように、１つの切り出し画像に対し、４０９６次元ベクトルが存在することになる。
【００４３】
また、図２において、多変量解析実行部１０ｃは、特徴量抽出部１０ｂで抽出した特徴量について、主成分分析を実行する。ここでは、入力データのサンプル分布から、そのデータの特質（識別可否）を推定することを目的とする。すなわち、特徴量として取り出した４０９６次元ベクトルでは可視化ができないため、主成分分析を用いたサンプルの可視化を実行するのである。ここでは、データの特性を失わずに、２次元座標系で可視化する。より具体的には、主成分分析（Principal component analysis: PCA）を用いたサンプル分布の可視化を行なう。この主成分分析（PCA）とは、分散最大化基準の下、正規直行基底となる新たな特徴空間を張る手法であり、これにより、少ない次元数で、元のサンプル空間を可視化が可能となる。例えば、入力データ空間のサンプル分布では、多次元で分布パターンが不明瞭であるが、主成分空間上のサンプル分布では、少数次元で分布パターンが明瞭となる。
【００４４】
また、図２において、制御部１０ｄは、多変量解析実行部１０ｃで実行された主成分分析の結果に基づいて、食品の良品または不良品の選別を実行する。選別の方法は、後述する表示部１０ｅで２次元平面上に良品および不良品を図示しても良いし、不良品を検出するたびにアラームを発しても良い。表示部１０ｅは、実行された主成分分析の結果を可視化して画面に出力する。すなわち、主成分分析を実行した後のサンプルデータを、表計算ソフト等を用いて作図する。
【００４５】
図６は、主成分分析の結果を表示した例を示す図である。すなわち、「3次元  3-modalな混合ガウスモデル」を示している。「□」で示されたＣｌａｓｓ１は、良品であり、２種類の不良品、すなわち、「◇」で示されたＣｌａｓｓ２が「欠け」の欠陥であり、「▽」で示されたＣｌａｓｓ３が「汚れ」の欠陥である。図６に示すように、良品と２種類の不良品の占める領域は明らかに異なった。
【００４６】
次に、以上のように構成された本実施形態に係る食品検査システムの動作について説明する。図３は、本実施形態に係る食品検査システムの動作を示すフローチャートである。煎餅投入口３から無選別で投入された煎餅５を、コンベア６上で撮影する（ステップＳ１）。本実施形態では、２台のカメラ７ａおよびカメラ７ｂを用いるが、これに限定されるわけではない。撮影された画像データを読み込む。カメラ７ｂにより、煎餅５を下から撮影する場合が課題となるが、ラインに隙間を開けて、エアにより滓を除去しながら撮影をする。ここでは、煎餅５を進行方向に沿って縦に並べることや、一度表裏を回転させて２段階認証とすることなどの工夫を講じることが好ましい。次に、人間が良否を判断した多量の良品および不良品の画像をシステムに入力して、画像の特徴量を抽出する（ステップＳ２）。次に、多変量解析（主成分分析）を行なって、解析結果の最適な表示方法を決定する（ステップＳ３）。次に、製品の良否判定結果を、制御部を介して選別装置に出力する（ステップＳ４）。製品を流しながら、全体システムの総合的評価を行なう。
【００４７】
以上説明したように、本実施形態によれば、様々な製品形態を呈する菓子（例えば、煎餅）の製造工程において、製品の良否選別を深層学習によりリアルタイムで自動的に行なうことが可能となる。さらに、特徴量抽出と多変量解析によって、不良原因を解析し、その結果を工程管理や調整にフィードバックすることによって、ヒューマンエラーの削減、品質の向上、歩留まりの改善、労働力の更なる有効活用、生産性向上に直結するシステムを実現することが可能となる。また、製品のサイズや形状など、様々な不良品が発生し得る工業製品についても、不良品判別に適用することが可能となる。また、良品・不良品の選別基準の変更が容易である。この選別基準は、多変量解析の結果またはオペレータによって手動で入力された情報に基づいて、設定することもできる。また、製品の不良をリアルタイムで記録し、不良原因の究明、製造ラインの改善を図ることが可能となる。さらに、中小企業でも導入しやすく、コンパクトかつ安価であり、ＡＩを利用した汎用性の高いシステムを実現することが可能となる。その結果、人手不足に起因する中小企業の生産性悪化が改善され、生産性や収益性が高まり、付加価値化が進展する。
【符号の説明】
【００４８】
１  食品検査システム
３  煎餅投入口
５  煎餅
６  コンベア
７ａ  カメラ
７ｂ  カメラ
９  選別装置
１０  画像処理装置
１０ａ  画像取得部
１０ｂ  特徴量抽出部
１０ｃ  多変量解析実行部
１０ｄ  制御部
１０ｅ  表示部
１１  包装機
１３  包装済製品
【図１】
2019211288.tif 000003
【図２】
2019211288.tif 000004
【図３】
2019211288.tif 000005
【図４】
2019211288.tif 000006
【図５】
2019211288.tif 000007
【図６】
2019211288.tif 000008