(57)【要約】【課題】食品材料（４０８）の検査及び加工に使用されるインラインの視覚によるシステム（４００）並びに関連する撮像方法が開示される。【解決手段】本システムは、コンベアベルト（４０２）と、透明プレート（４１２）と、撮像システム（４２２）とを含み、撮像システムは光源（４２４）及び少なくとも１つのカメラを含む。撮像システムは、透明プレート上の物体を通過し、カメラによって取り込まれる光の複数のビューから画像データを生成する。画像データは、透過率、インタラクタンス又は反射率の画像データのうちの１つに対応し、プロセッサ（４２８）に送信される。プロセッサは、周囲の材料に対して一部分の境界を決定するために、物体内部の材料の一部分の幾何学形状の３次元モデルを生成するように機械学習を使用してデータを処理する。【選択図】図４
2021535367.tif 000002
【特許請求の範囲】
【請求項１】
第１のコンベアと、
ギャップによって前記第１のコンベアと離されている第２のコンベアと、
前記ギャップに位置決めされ、前記第１のコンベア及び前記第２のコンベアの少なくとも一方に結合された透明プレートと、
前記ギャップに少なくとも部分的に位置決めされ、前記第１のコンベア及び前記第２のコンベアの少なくとも一方に結合された支持リングと、
前記支持リングに結合された少なくとも１つの撮像デバイスと、
前記支持リングに結合された第１の光源と、
前記支持リング及び前記少なくとも１つの撮像デバイスと電子通信する制御部と
を備えたシステムであって、
動作中に、前記第１の光源は前記透明プレート上の物体に向けて方向付けられた光を放射し、前記制御部は前記少なくとも１つの撮像デバイスから撮像データを受信し、前記制御部は、前記物体の第１の部分内に含まれた前記物体の第２の部分の３Ｄモデルを構成する、前記システム。
【請求項２】
前記少なくとも１つの撮像デバイスが前記制御部に撮像データを送信し、該撮像データはインタラクタンス撮像データ及び透過率撮像データのうちの一方を含む、請求項１に記載のシステム。
【請求項３】
前記物体がマグロの切り身であり、前記第１の光源は約１２６０ナノメートル、約８０５ナノメートル又は約７７０ナノメートルのうちの１つに等しい波長の光を放射する、請求項１に記載のシステム。
【請求項４】
プロセッサが、畳込みニューラルネットワークの形態で機械学習を使用して、前記撮像データを処理する、請求項１に記載のシステム。
【請求項５】
前記畳込みニューラルネットワークが、前記画像データを受信し、前記物体の前記第２の部分に対応する該画像データに基づいて複数のシルエットを出力し、前記プロセッサは、複数のプロジェクションに前記シルエットを投影し、前記複数のプロジェクション間の共通部分を解析して前記３Ｄモデルを構成する、請求項４に記載のシステム。
【請求項６】
前記支持リングが該支持リングに結合された複数のカメラを含み、前記複数のカメラの各々は、前記第１の光源から、透過率、インタラクタンス又は反射率の撮像データのうちの１つを取り込む、請求項１に記載のシステム。
【請求項７】
前記支持リングが該支持リングに結合された第２の光源を含み、該第２の光源は、動作中に前記透明プレートに方向付けられた光を放射する、請求項６に記載のシステム。
【請求項８】
コンベアの第１の部分と第２の部分の間に空間を有するコンベアと、
前記空間に位置決めされ、前記コンベアに結合されたプレートと、
前記空間に少なくとも部分的に位置決めされ、前記コンベアに結合された支持リングと、
前記支持リングに結合された少なくとも１つの光源と、
前記支持リングに結合された撮像デバイスと、
前記撮像デバイスと電子通信するプロセッサと
を備えたデバイスであって、
動作中に、前記支持リングが少なくとも第１の位置と第２の位置の間で回転し、前記少なくとも１つの光源は前記プレート上の物体に向けて方向付けられた光を放射し、前記撮像デバイスは、前記光が前記物体を通過した後に前記少なくとも１つの光源から光を受光し、
前記プロセッサは、前記撮像デバイスから前記支持リングが前記第１の位置にある場合の第１のセットの画像データ、及び前記撮像デバイスから前記支持リングが前記第２の位置にある場合の第２のセットの画像データを受信し、前記第１のセットの画像データ及び前記第２のセットの画像データから前記物体の内側部分の３Ｄモデルを出力する、前記デバイス。
【請求項９】
前記プロセッサが、機械学習を利用して、前記第１のセットの画像データ及び前記第２のセットの画像データを複数のシルエットに処理し、該複数のシルエットを複数のプロジェクションに投影し、前記３次元モデルは該複数のプロジェクションの各々の間の共通部分に基づく、請求項８に記載のデバイス。
【請求項１０】
前記支持リングに結合された第２の光源をさらに備え、前記撮像デバイスは、前記第２の光源から前記支持リングが前記第１又は第２の位置にある場合の第３のセットの画像データを取り込み、前記プロセッサは該第３のセットの画像データを利用して前記３次元モデルの境界を明瞭化する、請求項８に記載のデバイス。
【請求項１１】
前記撮像デバイスがスペクトルグラフであり、前記少なくとも１つの光源は約１２６０ナノメートル、約８０５ナノメートル又は約７７０ナノメートルのものから選択される波長の光を放射する、請求項８に記載のデバイス。
【請求項１２】
光源から光を放射するステップであって、該放射するステップは第１の部分及び第２の部分を有する物体を通じて前記光を方向付けることを含み、前記第２の部分は前記第１の部分内に取り囲まれた、ステップと、
前記光が前記物体を通過した後に、撮像デバイスにより前記光源から光を取り込むステップであって、前記取り込まれた光は前記撮像デバイスによって受光された前記第１の部分及び前記第２の部分の画像データに対応する、ステップと、
前記画像データをプロセッサに送信するステップと、
前記第１の部分と前記第２の部分の間の境界を検出するように、該プロセッサにより前記画像データを解析するステップであって、該解析するステップは機械学習を利用して前記第２の部分の３次元表示を生成することを含む、ステップと
を備える方法。
【請求項１３】
前記光源から光を放射するステップが、約１２６０ナノメートル、約８０５ナノメートル又は約７７０ナノメートルのものから選択される波長の前記光を放射することを含む、請求項１２に記載の方法。
【請求項１４】
機械学習を利用して前記第２の部分の前記３次元表示を生成するステップは、前記画像データを処理するために前記機械学習が深層畳込みニューラルネットワークを利用することを含む、請求項１２に記載の方法。
【請求項１５】
前記プロセッサにより前記画像データを解析するステップは、機械学習を利用して前記第２の部分の前記画像データに対応する複数の２次元シルエットを出力することを含む、請求項１２に記載の方法。
【請求項１６】
前記プロセッサにより前記画像データを解析するステップは、機械学習を利用して複数のプロジェクションを作成することを含み、各プロジェクションが前記複数の２次元シルエットのそれぞれ１つに対応する、請求項１５に記載の方法。
【請求項１７】
解析するステップが、機械学習を利用して３次元表示を生成することを含み、前記複数のプロジェクションの各々の間の共通部分を解析して前記物体の前記第２の部分の３次元表示を出力することをさらに含む、請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、食品加工における非侵襲的検査（non-invasive inspection）に関し、より具体的には、食品の画像データを処理して内部物体の３次元モデルを決定することによって食品内の内部物体を検出するための撮像システム及び関連方法に関する。
【背景技術】
【０００２】
食品産業は、狭い利益幅で運営し、品質制御基準の向上の対象である。そのため、食品加工産業は、より高い品質制御基準を満たしつつ加工性能を向上させるように自動化システムに移行している。食品加工の態様は、とりわけ、製品への付加価値を増加させるために、二次製品からの一次製品の分離と、異物の除去とを含む。しかしながら、これらの態様では、一次及び二次製品と異物の境界が現行のシステムで識別するのは困難であることから自動化は困難である。
【０００３】
固体−液体界面のように食品材料間に性質上の境界がある例では、二次製品からの一次製品の分離は、単純であることが多く物理的労力をあまり必要としない。食品材料が相互結合し、すなわち、固体−固体界面がある例では、切断などの能動的な物理的介入が通常は必要とされる。そのような動作を誘導及び実行するために、固体−固体界面間の正確な又は可能な最良の境界を識別することは効果的であり、それは自動化環境において、視覚によるシステムを通じて実現されることが多い。材料間の分離が必要でない場合であっても、特定の不良又は望ましくない物体の程度と同様にその存在を検出する能力は、食品の検査又は仕分け処理に大きな利点をもたらし得る。
【０００４】
例えば、米国特許第５３５２１５３号、米国特許第６５６３９０４号、米国特許第９５５１６１５号、米国特許第６５８７５７５号、米国特許第９０９５１４７号、国際公開第ＷＯ２０１７／０９３５３９Ａ１号及び国際公開第ＷＯ２００８／０１６３０９Ａ１号に開示されるように、いくつかのシステムが、魚、肉、家禽、果実、野菜及び穀物を含む種々の産業のために開発されている。従来のシステムは、一般に、加工に関する情報を取得するために食品材料の迅速なスクリーニングに対して従来の撮像を適用する。しかしながら、そのようなアプローチを通じて派生する情報は、一般に、材料の視覚的な表面のみに限定される。
【０００５】
代替的技術は、物体の内部の詳細を提供するように提案されている。データが物体の表面又は内部から取り込まれたか否かに関わらず、情報は、一般に２次元フォーマットで提供される。これは、深度の認識はとりわけ関連性がないことから、又は物体の幾何学形状が一貫するため特定の想定を行うことが可能であることから、ある用途に対しては十分となり得る。ただし、３番目の次元の追加情報がとりわけ重要であるシナリオもある。例えば、３番目の次元の情報は、不規則な形状の物体の正確な分離又は除去を可能とするために、物体の配置について正確な情報を導出し又は不規則な形状の物体の幾何学形状依存性の処理をするのに有用である。
【０００６】
３次元（「３Ｄ」）表面データの復元に向けて適合された解決策は、外部プロファイルの詳しい説明に限定されるものがある。他のものは、コンピュータ断層撮影法（「ＣＴ」）又は磁気共鳴画像法（「ＭＲＩ」）などの容積撮像技術に基づいており、スキャンされた物体の内部構成に関するデータを提供するが、そのような技術的解決策には複数の制限がある。例えば、容積撮像技術はスピードに欠け、それは食品加工産業の狭い利益幅を考慮すると、特に大きな制限である。制限の中でもとりわけスピードの欠如は、現行のシステムを自動化された食品の加工及び仕分けのためのインライン解決策としてではなく、不規則な品質の制御検査ツールとしてより適切なものにする。
【発明の概要】
【０００７】
本開示は、食品材料内部成分の幾何学的詳細の取込みを可能とするインライン産業用の食品加工用途のための迅速なデータ取得及び再構成を対象とする。そのようなシステムは、容積撮像技術によって提供されるものなどの内部構造の完全表示は不必要であり、むしろ粗い内部プロファイルの復元及びスピードが不可欠である用途に特に有用である。特に、ここで開示されるシステム及び方法は、２つの異なる材料の表面−表面の組合せを対象とし、第１の材料は任意の光スペクトルの部分浸透を可能とする外層を形成し、とりわけ対象のものである第２の材料すなわち内側物体は、外層に少なくとも部分的に取り囲まれ、任意の光スペクトルによる異なる範囲の浸透又は吸収を可能とする。一般に、本開示の例示的な実施形態は、光源及び画像データを取り込む撮像デバイスを含む撮像システムの使用と、内側物体の境界を決定するようにデータを再構成するための演算ステップとを含む。
【０００８】
物体の内部分の境界を決定するように物体の画像データを取り込み及び処理するためのシステムの例示的な実施形態は、第１のコンベアと、ギャップによって第１のコンベアとは分離した第２のコンベアと、そのギャップに位置決めされ、第１のコンベア及び第２のコンベアの少なくとも一方に結合された透明プレートと、そのギャップに少なくとも部分的に位置決めされ、第１のコンベア及び第２のコンベアの少なくとも一方に結合された支持リングであって、支持リングに結合された少なくとも１つのカメラを含む支持リングと、支持リングに結合された第１の光源であって、動作中に透明プレートに向けて方向付けられた光を放射する第１の光源とを含む。
【０００９】
実施形態は、透明プレート上に位置決めされた物体であって、動作中に第１の光源から物体を通過する光をカメラが受光し、物体はマグロの切り身であり、第１の光源は約１２６０ナノメートル、約８０５ナノメートル又は約７７０ナノメートルのうちの１つに等しい波長の光を放射する、物体と、カメラと電子通信する制御部であって、カメラが物体を通過する光を取り込み、取り込まれた光から画像データに対応する信号を制御部に送信し、画像データは透過率画像データ、インタラクタンス画像データ又は反射率画像データのうちの１つであり、制御部はプロセッサを含み、プロセッサはカメラから受信された画像データに基づいて物体の第１の部分と第１の部分内の物体の第２の部分との間の境界を検出するために機械学習を使用する、制御部とをさらに含み得る。
【００１０】
実施形態は、プロセッサが深層畳込みニューラルネットワークを通じて画像データをパスし、深層畳込みニューラルネットワークは、画像データを受信し、物体の第２の部分に対応する画像データに基づいて複数シルエットを出力し、プロセッサは、シルエットを複数のプロジェクションに投影し、複数のプロジェクション間の共通部分を解析して物体の第２の部分の３次元形状を決定し、支持リングは支持リングに結合された複数のカメラを含み、複数のカメラの各々は透過率、インタラクタンス又は反射率の撮像データのうちの１つを第１の光源から取り込み、支持リングは支持リングに結合された第２の光源を含み、第２の光源は動作中に透明プレートに方向付けられる光を放射することをさらに含み得る。
【００１１】
物体の内部分の境界を決定するように物体の画像データを取り込み及び処理するためのデバイスの代替の例示的な実施形態は、コンベアの第１の部分と第２の部分の間に空間を有するコンベアと、空間に位置決めされ、コンベアに結合されたプレートと、空間に少なくとも部分的に位置決めされ、コンベアに結合された支持リングであって、動作中に少なくとも第１の位置と第２の位置の間で回転する支持リングと、支持リングに結合された少なくとも１つの光源であって、動作中にプレート上の物体に向けて方向付けられた光を放射する少なくとも１つの光源と、支持リングに結合された撮像デバイスであって、光が物体を通過した後に、少なくとも１つの光源から光を受光する撮像デバイスと、撮像デバイスと電子通信するプロセッサであって、撮像デバイスから支持リングが第１の位置にある場合の第１のセットの画像データ、及び撮像デバイスから支持リングが第２の位置にある場合の第２のセットの画像データを受信し、動作中に第１のセットの画像データ及び第２のセットの画像データから、物体の内部分の３次元モデルを出力するプロセッサとを含む。
【００１２】
実施形態は、プロセッサが機械学習を利用して、第１のセットの画像データ及び第２のセットの画像データを複数のシルエットに処理し、複数のシルエットを複数のプロジェクションに投影し、３次元モデルは複数のプロジェクションの各々の間の共通部分に基づいており、支持リングに結合された第２の光源をさらに含んでもよく、撮像デバイスは、第２の光源から支持リングが第１又は第２の位置にある場合の第３のセットの画像データを取り込み、プロセッサは第３のセットの画像データを利用して、３次元モデルの境界を明瞭化し、撮像デバイスはスペクトルグラフを備え、少なくとも１つの光源は約１２６０ナノメートル、約８０５ナノメートル又は約７７０ナノメートルのものから選択される波長の光を放射する。
【００１３】
物体の内部分の境界を決定するように物体の画像データを取り込み及び処理するための方法の例示的な実施形態は、光源から光を放射するステップであって、放射するステップが、第１の部分及び第２の部分を有する物体を通じて光を方向付けることを含み、第２の部分は第１の部分内に取り囲まれた、ステップと、光が物体を通過した後に、撮像デバイスにより光源から光を取り込むステップであって、取り込まれた光が撮像デバイスによって受光された第１の部分及び第２の部分の画像データに対応している、ステップと、画像データをプロセッサに送信するステップと、第１の部分と第２の部分の間の境界を検出するようにプロセッサにより画像データを解析するステップであって、解析するステップは第２の部分の３次元表示を生成するように機械学習を利用することを含むステップとを含む。
【００１４】
実施形態は、光源から光を放射するステップが、約１２６０ナノメートル、８０５ナノメートル又は７７０ナノメートルのものから選択される波長の光を放射することを含み、第２の部分の３次元表示を生成するように機械学習を利用するステップが、機械学習が画像データを処理するために深層畳込みニューラルネットワークを利用することを含み、プロセッサにより画像データを解析するステップが、第２の部分の画像データに対応する複数の２次元シルエットを出力するように機械学習を利用することを含み、プロセッサにより画像データを解析するステップが、複数のプロジェクションを作成するように機械学習を利用することを含み、各プロジェクションは複数の２次元シルエットのそれぞれ１つに対応し、解析するステップが、３次元表示を生成するように機械学習を利用することを含み、物体の第２の部分の３次元表示を出力するように複数のプロジェクションの各々の間の共通部分を解析することをさらに含むことをさらに含み得る。
【００１５】
実施形態のより深い理解のために、ここで例としてのみ添付の図面に対して参照がなされる。図面において、同一の符号は同様の要素又は動作を特定する。図面におけるサイズ及び相対的な位置は、必ずしも縮尺通りに描写されない。例えば、種々の要素の形状及び角度は必ずしも縮尺通りに描写されず、これらの要素には図面の判読性を高めるように拡大及び位置決めされ得るものがある。さらに、図示する要素の特定の形状は、特定の要素の実際の形状に関する情報を必ずしも伝える意図はなく、図面の認識を容易にするために単に選択されることがある。
【図面の簡単な説明】
【００１６】
【図１】図１は、システムの第１のコンベアと第２のコンベアの間にギャップを有する本開示によるコンベアベルトシステムの例示的な実施形態の斜視図である。
【図２−３】図２は、透過率撮像モードを示す本開示による撮像システムの例示的な実施形態の概略表示である。図３は、インタラクタンス撮像モードを示す本開示による撮像システムの例示的な実施形態の概略表示である。
【図４】図４は、支持リング並びに支持リングに結合された複数の撮像デバイス及び光源を有する本開示による撮像システムの例示的な実施形態の斜視図である。
【図５】図５は、図４の撮像システムの制御部の概略表示である。
【図６】図６は、支持リング並びに支持リングに結合された１つの撮像デバイス及び光源を有する本開示による撮像システムの代替の例示的な実施形態の斜視図であり、支持リングは少なくとも第１の位置と第２の位置の間で回転する。
【図７】図７は、外ハウジング内の撮像システムへの環境光を低減させるための本開示による外ハウジングの例示的な実施形態の斜視図である。
【図８】図８は、本開示による投影されたシルエットからの３次元モデルの再構成の例示的な実施形態の概略表示である。
【図９】図９は、物体の内部分の境界を決定するように物体の画像データを取り込み及び処理するための本開示による方法の例示的な実施形態のフロー図である。
【図１０】図１０は、物体の内部分の境界を決定するように物体の画像データを取り込み及び処理するための本開示による方法の代替の例示的な実施形態のフロー図である。
【００１７】
以下の説明において、種々の開示される実施形態の完全な理解を提供するためにいくつかの具体的な詳細を記載する。ただし、当業者であれば、これら具体的な詳細の１以上がなくても、又は他の方法、構成要素、材料などであっても実施形態が実施され得ることを認識するはずである。他の例では、撮像システム、食品加工における非侵襲的検査、機械学習及びニューラルネットワークに関連した公知の構造は、実施形態の説明を不必要に不明瞭にするのを回避するように詳細には図示も説明もされていない。
【００１８】
文脈が要求しない限り、以下に続く明細書及び特許請求の範囲は全体を通じて、単語「ｃｏｍｐｒｉｓｅ」並びに「ｃｏｍｐｒｉｓｅｓ」及び「ｃｏｍｐｒｉｓｉｎｇ」などのその変形は、開かれた包括的な意味で、すなわち「含むがそれに限定されない」として解釈されるべきである。さらに、配列についての用語「第１」、「第２」及び同様の指標は、文脈が明示しない限り、区別ないものとして解釈されるべきである。
【００１９】
本明細書全体を通じて「１つの実施形態」又は「実施形態」の言及は、実施形態に関連して説明する特定の構成、構造又は特徴が少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通じてところどころにある語句「１つの実施形態では（において）」又は「実施形態では（において）」は、必ずしもすべて同じ実施形態を言及するものではない。さらにまた、特定の構成、構造又は特徴は、１以上の実施形態において任意に適切に組み合わされてもよい。
【００２０】
本明細書及び添付の特許請求の範囲で使用されるように、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈が明示しない限り複数の言及を含む。なお、用語「又は」は、一般に広義に用いられ、すなわち、文脈が明示しない限り「及び／又は」の意味で用いられることにも留意すべきである。
【００２１】
関連の用語「約」及び「実質的に」は、値、量、定量又は寸法を説明するのに使用される場合には、文脈が明示しない限り、記述する値、量、定量又は寸法のプラス／マイナス３％内にある値、量、定量又は寸法を一般に示す。さらに、ここで提供される構成要素の具体的な任意の寸法は、ここで説明する例示的な実施形態を参照して図示のみを目的としていると理解されるべきであり、その結果として本開示は、文脈が明示しない限り、記述する寸法以上又は未満の量を含む。
【００２２】
本開示は、加工及び検査のために食品材料の視覚的データを取得可能な高速かつ非侵襲的な撮像システムのための解決手段を提供する。特に、本開示の実施形態は、材料が異なる層に取り囲まれた任意形状の物体の３次元幾何学形状を取り込む。例えば、分析対象の物体が魚の切り身である実施形態では、ここで開示される撮像システム及び方法は、ホワイトミートの外層内に含まれるダークミートの部分（例えば、材料が異なる層）の３次元幾何学形状を取り込み、ダークミートは連続する切り身の間で変化する任意の３次元形状を有する。
【００２３】
本開示の実施形態は、異なる混濁材料及びスペクトル帯域によって異なる吸収、反射、透過及び散乱の光学特性を活用可能な種々のシステム、デバイス及び関連方法を含む。各出現の相対的比率及び量は、材料の化学的組成及び物理的パラメータに依存し得る。光が物質と相互作用する場合には、光子の特定部分は、鏡面性、拡散又は後方散乱のいずれかを通じて反射される。最初の２つの鏡面性及び拡散は表面の粗さに依存し、一方、光の散乱又は後方散乱は、材料内部の相変化又は異なる界面における複数の屈折の結果もたらされる。散乱はまた、材料の全体を通じてランダムに分布した孔隙又は細管、並びに異なる粒子のサイズ、形状及び微細構造などの不均質性に起因して出現し得る。
【００２４】
反射されない残りの光子は、材料を通じて吸収又は透過のいずれかとなる。吸収係数が低いほど、光は光子が吸収されていく前に材料に、より深く浸透し得るので、光が材料の反対側から出る確率がより高くなる。したがって、ここで説明するシステム、デバイス及び関連方法の種々の実施形態による非侵襲的な撮像に対して、散乱される光及び材料を通過する光の双方は、内部特性の有用な情報を提供することができる。そのような情報、例えば、散乱される光及び材料を通過する光はインタラクタンスの撮像又は透過率の撮像を通じてそれぞれ取り込まれ、一方、反射率の撮像は、例示的な実施形態を参照してここで説明するように、表面から直接反射される光に主に注目する。
【００２５】
光学特性及び混濁材料との相互作用による結果は、光の各波長によって異なる。波長は直ちに吸収されるものもあるが、材料に深く浸透可能であり、厚さに応じて完全又は部分的に透過可能なものもある。以下でより詳細に説明するように、システム、デバイス及び関連方法の実施形態の一部は、紫外（ＵＶ）、可視及び近赤外（ＮＩＲ）の光スペクトルの異なる波長に関して光学特性の現象を調査するマルチ又はハイパースペクトル撮像ツールを含み得る。
【００２６】
さらに、ここで説明するある実施形態は回折格子を含み又は利用してもよく、ここで光は分散され、各波長の強度は、ここで説明するセンサの種々の実施形態によって取り込まれる。またさらに、ここで説明するシステム、デバイス及び関連方法の実施形態は、２次元で記憶された空間データ及び３番目の次元で記憶されたスペクトルデータを有する３次元キューブを含み又は備え得る関連データを取得することができる。適切な波長の個々の又は組合せの選択は、加工された食品材料に応じて変更可能であり、予め決定され得る。例えば、適切な波長の選択は、スキャン対象の特定の食品についての透過率及び反射率の情報を含むデータベース並びに光のある波長のスペクトル特性を有するデータベースに基づいて選択されてもよく、又は加工処理前に、システムは、スキャン対象の特定の物体又は食品に基づいて適切な撮像データを取り込むことに対応する波長を決定するように較正されてもよい。
【００２７】
ここで説明するシステム、デバイス及び方法の種々の実施形態において、目的の内側物体（例えば、マグロの新鮮な切り身のホワイトミート及びダークミートそれぞれ）とは区別しつつ、低い吸収係数及び最小散乱の材料の外層を通じた良好な浸透能を有するある波長が選択される。さらに、ここで説明するシステム、デバイス及び関連方法の種々の実施形態において、食品材料検査に適した適切な波長を選択することに加えて、適切な照明源もシステム設計変数として選択され得る。例えば、光源は、具体的なスペクトルに対して発光強度が異なり得る。したがって、用途に適した波長の光源が、最適な結果を実現させるために選択され得る。特定の波長のハロゲン、ＬＥＤ及びレーザ光源を含むいくつかのタイプの照明源がここで開示される。
【００２８】
検査された食品材料の高品質画像データの取得は、本開示の一態様である。上記のように、加工されている材料は３次元状であるが、従来の撮像センサはシーンの深度を把握する手段がない傾向があり、それによって、実世界の物体の複雑性を知覚する能力が限られる。物体の３次元表示を構築するために、ここで説明するシステム、デバイス及び関連方法の種々の実施形態は、複数のビューから情報を伝達する画像の集合体を取り込むことができる。容積撮像技術を通じて得られるフル３Ｄ表示とは異なり、従来の撮像システムの３Ｄ表面再構成技術は、物体の表面に位置する個々の点、又はこの場合は物体の２つの材料間の境界の３Ｄ座標のみ取り込む傾向がある。したがって、そのような方法は、表面測定、レンジセンシング、デプスマッピング又は表面スキャニングといわれることが多く、それは文脈が明示しない限りここでは区別なく用いられ得る。
【００２９】
３Ｄ表面再構成を対象とする従来の技術の１つは多視点ステレオ（「ＭＶＳ」）であり、それはビューの間で十分な重複が与えられた画像において対応する特徴点と一致するものである。結果は、表面が整合され得る３Ｄポイントクラウドである。そのようなアプローチは、一般に特徴が豊富なテクスチャを必要とし、テクスチャはあるタイプの食品では利用できず存在もしないことがある。さらに、ＭＶＳは、そこに関与する薄利に起因して、食品加工産業におけるある用途に対して有効性に欠ける。
【００３０】
ストラクチャードライト３Ｄ表面再構成技術は、３次元情報を取得するための他の技術である。ストラクチャードライト方法は、物体に投影される空間変更用の１Ｄ又は２Ｄの構造化照明を使用する。平坦なシーンでは、照明パターンは表面に同じく投影されるが、非平坦なシーンでは、カメラで見えるようなパターンが歪められてしまう。３Ｄ情報は歪んだパターンの特徴から抽出され、それは通常、表面の境界における光の直接反射から取得される。
【００３１】
双方のアプローチは３Ｄ表面の詳細説明を提供可能であるが、それらのいずれもインタラクタンスモード又は透過率モードのいずれかを通じて取り込まれた非侵襲的撮像データに対して実用的でない。一方、シルエットによる形状は物体の輪郭に依存し、それにより３次元表示が復元され得る。以下でより詳細に説明するように、システム、デバイス及び関連方法の種々の実施形態は、各カメラによって見られるシルエットを３次元のシーンにバック投影して、それらの共通部分から３Ｄ形状を抽出するように動作可能である。凹部形状は、一般に、シルエットでは視認できないので無視されるため、再構成はビジュアルハルとして一般的に公知の真の３Ｄ幾何学形状の近似でしかない。しかしながら、ここで説明する種々の実施形態によると、透過率撮像とともにインタラクタンス撮像を使用して、物体の正確な３Ｄ形状が凹部形状を考慮することによって抽出され得る。
【００３２】
以下でより詳細に説明するように、３Ｄ形状再構成及び多視点画像データの取得の文脈における態様は、カメラの位置決めである。シルエットをシーンにバック投影するために、どこにカメラが位置決めされ、画面平面にシーンがどのように元々投影されていたかを判断することが重要である。ここで説明する種々のシステム、デバイス及び関連方法は、カメラ較正によりこの情報を受信及び／又は処理するように動作可能である。そのような情報は内部パラメータを含み得るものであり、それらは、実世界におけるカメラの位置を示す外部パラメータと同様に、レンズを通じて撮像センサに光が投影されている様子、及びこの処理を通じて生じる任意の歪みに関連する。ここで説明するシステム、デバイス及び関連方法は、システムの多視点画像データの取得に寄与する各カメラ及び位置に対する上記の内部パラメータを含む較正処理を実施可能であり、バイナリ基準マーカの使用によって効果的に実施可能である。
【００３３】
ある実施形態では、画像データを取得する場合に、対象物体のシルエットは、３次元モデルが生成される前に決定され得る。例えば、本開示の態様は、画像データにおいて何が食品材料を示しているか認識して、外層及び内層を形成する異なる成分の間を区別することを含み得る。例えば、物体が魚の切り身である実施形態では、外層すなわち第１の部分が第１のタイプの身に対応し、内層すなわち第２の部分が、通常第１のタイプの身の内部に取り囲まれた第２のタイプの身に対応する。ある態様では、機械学習、より具体的には、人工ニューラルネットワークは、そのようなタスクを実行する際に実現され得る。
【００３４】
例えば、ニューラルネットワークには、重みに関連した接続を通じて結合された異なる層にいくつかのノードがある。これらの重みは通常、既知の入力を前提としてノードの何の出力が予想されるかを特定することによって、いくつかの反復を通じて調整及び学習される。食品材料及び内部不良又は目的の物体を示す大量のラベル化された画像のデータセットを収集することによって、深層畳込みニューラルネットワークは学習されて、具体的物体の位置及び境界をどのように認識するかを学習可能である。学習データセットの増加及びニューラルネットワークアーキテクチャの入念な設計によって、タスクは複雑であっても、ここで説明する種々のシステム、デバイス及び関連方法を使用して効率よく解決可能である。さらに、ある実施形態では、種々の異なるモデルが、異なる特定の用途に対して実施可能である。
【００３５】
ここで説明するように、本開示は、検査不良又は加工済み製品の３次元幾何学形状の検出及び抽出のためのコンベアベルトシステムを包含する。連続移動するベルトに起因して、データの取得及び解析が非常に効率的であることが好ましい。ある実施形態では、適用可能な光スペクトルの波長は、食品材料及び用途の目的物に基づいて予め決定され得る。具体的なスペクトル帯域は、ハイパースペクトルイメージング、又はラインスキャンシステムに関与する特定のフィルタ若しくはレーザ光の使用のいずれかを通じて取得され得る。
【００３６】
以下でより詳細に説明するように、透過率データを取得するには、光源は、撮像センサの反対側に位置決めされ、それは光を食品材料に透過及び通過可能とする透明媒体によって架橋されたコンベアベルトにわずかなギャップを必要とする。他の光源は、インタラクタンス撮像モードに対して撮像センサの隣で並列に位置決めされる。双方の撮像モードは、各モードによって取り込まれる画像データを不明瞭にするのを回避するために高い頻度で交互に変更される。
【００３７】
以下でより詳細に説明するように、本開示では、複数の光源及びカメラセンサの組合せは（それは、ここでより詳細に説明するように、撮像デバイスの構成要素であってもよいし、あるいは一般に、撮像デバイス、又はある実施形態では、撮像デバイスに結合された別個の構成要素といわれることもある）、コンベアベルトに又はその周辺に搭載されて、複数のビューから画像データを収集する。代替的に、ある実施形態では、１つのカメラセンサ又は撮像デバイスが代わりに使用され得る。ただし、そのような実施形態では、１つのカメラは、コンベアベルト周辺に光及びカメラを再位置決めすることを可能とする回転フレームに搭載され得る。カメラシステムの再位置決めに起因する高いコンベアベルト速度又は短縮した取得時間において、画像データは、螺旋配置で取得される。そのようにして、螺旋画像データが、横断経路に沿って取得点の間に補間される。ビューの数は、用途及び対象物体の必要とされる詳細に依存して変更され得る。構造体は、撮像装置の周辺に構築され、撮像中に照明を制御して良好な画質を実現させるために、外部からのいずれの光も遮断する。
【００３８】
本開示は、ある実施形態では、対象物体の位置及び境界を検出するように学習された深層畳込みニューラルネットワークを使用する。ただし、本開示の総括によると、深層畳込みニューラルネットワークの用途は用途に依存し、用途に基づいて変更可能であることが理解されるべきであり、そのようなモデルは、このタスクを完了させるために予め学習され得る。以下でより詳細に説明するように、抽出されるシルエットは、対象物体の３次元形状の大まかな近似を生成するのに使用される。理解すべきであるように、本開示の総括によると、再構成されたモデルの解像度は、意図する用途に対して要求される速度と詳細の間のトレードオフである。例えば、ある実施形態では、より高い解像度は、再構成に対してより多数の画像及びより多くの演算リソースを必要とすることがあり、それは同様に用途の速度に影響を及ぼす。
【００３９】
他の実施形態では、カメラの配置及び個数は、ここで説明するように変化し得る。位置及びカメラパラメータは、画像データを取り込む前に較正され得る。コンベアベルト上の食品材料の移動に起因して、カメラの横断位置は、搬送される材料に関して変化する。横断位置は、内部に維持され、又は用途に応じて必要であれば、材料に関して設定され、若しくはコンベアベルト上のマーカを通じて明確に規定され得る。
【００４０】
ここで説明する例示的な実施形態では、図１は、コンベアシステム１００の斜視図である。コンベアシステム１００は、本開示の例の実施形態の理解を容易にするために簡略化され、そのように、コンベアシステム１００に関連する特定の構成は説明されていないことが分かるはずである。コンベアシステム１００は、第２のコンベア１０４とは離間した第１のコンベア１０２を含む。言い換えると、空間、すなわちギャップ１１４が、第１のコンベア１０２を第２のコンベア１０４から離す。第１のコンベア１０２を、一般にここでは、コンベアシステム１００の第１の部分といい、同様に第２のコンベア１０４を、一般にここでは、コンベアシステム１００の第２の部分ということがある。さらに、空間すなわちギャップ１１４並びにプレート１１０のサイズ及び形状は、具体的な用途に従って変更可能であり、それにより、本開示は、空間すなわちギャップ１１４に対応するコンベア１０２と１０４の間の距離によっても、プレート１１０のサイズ又は形状によっても限定されない。
【００４１】
プレート１１０は、連続コンベアラインを形成するために、ギャップ１１４に又はその近傍に位置決めされる。好適には、プレート１１０は、妨害なく光がプレート１１０を通過できるように透明である。例えば、プレート１１０は、とりわけ、透明なプラスチック、ポリマー又はガラスから形成されてもよく、一方の代替的実施形態では、プレート１１０は、半透明であり、同様に例えば、半透明のプラスチック、ポリマー又はガラスから形成される。プレート１１０は、コンベアシステム１００に、又はより具体的には、第１のコンベア１０２及び第２のコンベア１０４の少なくとも一方に結合される。さらに、システム１００の各コンベア１０２、１０４は支持構造体１０６によって支持され、コンベア表面１１２は、ローラ１０８及び従来の駆動機構（図示せず）を介して平行移動する。その上、コンベア表面１１２は、中実体であってもよいし、図１に示すようにラインに配置され又はコンベア表面１１２にわたって均一に分散されたいずれかの複数の目打ち線１１６を含んでもよい。他の実施形態では、コンベア表面１１２が中実体であることは、表面１１２にそのような目打ち線がないことを意味する。
【００４２】
図２は、透過率撮像モード２００に対応する概略表示である。透過率撮像モード２００は、光源２０２及び撮像デバイス２０４を含む。図２はスキャン対象の物体２０６をさらに示し、物体２０６はプレート１１０上に位置決めされる。光源２０２は光２０８を放射し、それはプレート１１０に向けて方向付けられ、プレート１１０に向かって進行するにつれて外向きに伝搬する。光２０８がプレート１１０及び物体２０６を透過すると、光は、集束経路又は部分２１０で示されるように集束する。光２０８が物体２０６を出ると、光２０８は、発散経路又は部分２１２で示されるように発散又は分散する。光２０８は、物体２０６を出た後に、撮像デバイス２０４によって取り込まれる。ここで説明するように、撮像デバイス２０４は、物体２０６を透過して取り込まれた光２０８に対応する透過率画像データを受信し、透過率画像データは、さらなる処理及び再構成のために撮像デバイス２０４と電子通信するプロセッサ又は制御部（例えば、図５に示す制御部４２８）に信号を介して引き続き送信される。
【００４３】
図示する実施形態では、コンベアシステム１００は、一般に、コンベアシステム１００がどちらの方向にも平行移動し得ることは分かっているが、図２に示す向きに対して右から左に物体２０６を平行移動させている。さらに、撮像デバイス２０４及び光源２０２は垂直軸に沿って配列されることが好ましく、撮像デバイス２０４は、光源２０２によって出力された光２０８が撮像デバイスに向かって直線状に物体２０６を通じて伝搬するように光源２０２の上にある。物体２０６及び光２０８の配置又は特性のわずかな変化に起因して、撮像デバイス２０４及び光源２０２の配置は、正確に垂直でなくてもよいが、むしろ垂直から１０度以内、垂直から５度以内又は略垂直（すなわち、垂直から３度以内）であり得ることも理解されるはずである。
【００４４】
光源２０２は、種々の実施形態において、例えば、レーザ、発光ダイオード（「ＬＥＤ」）、ＬＥＤのアレイ若しくはパネル、白熱灯、コンパクト蛍光ランプ、ハロゲンランプ、メタルハライドランプ、蛍光管、ネオンランプ、低圧ナトリウムランプ又は高輝度放電ランプなどの多様な光源のものから選択され得る。光源２０２がレーザである実施形態では、本開示の実施形態は、固体状態、ガス、エキシマ、ダイ又は半導体のレーザを備える光源２０２をさらに含む。レーザがレーザ放射の持続期間によって特徴付けられる限り、レーザは、連続波、シングルパルス、シングルパルスｑスイッチ、繰返しパルス又はモードロックのレーザであってもよい。
【００４５】
さらに上述のように、光源２０２は、異なる光源２０２が物体２０６に対して異なる浸透特性の光２０８を出力するので、用途又はスキャン対象の物体２０６に対して特異的に選択されるのが好ましい。物体２０６が魚の切り身である実施形態では、光源２０２は、７９０〜８２０ナノメートル（「ｎｍ」）の波長の透過率撮像モード２００で光を出力するのが好ましいが、より好適には、波長は８０５ｎｍ又は約８０５ｎｍ（すなわち、８００〜８１０ｎｍ）であり、それは、一般的に約４００〜７５０ｎｍのスペクトルの可視光部分の外部にある電磁スペクトルの赤外部分の波長に対応する。さらに、この波長は、少なくともマグロの切り身に対して、散乱を最小化しつつ切り身内に深く浸透可能な光の波長に相当し、散乱は、一般に、透過率撮像モード２００に対応する画像データの精度を低下させる傾向があるので、透過率撮像モード２００において不都合である。
【００４６】
７５０ｎｍ超又は約８０５ｎｍの近赤外スペクトルはマグロの加工に有用であり、それは、マグロの魚の切り身における生物学的組織の本質的部分に寄与するヘモグロビンのように水はこれらの波長に対してそれでも幾分透明であるためである。比較的に可視スペクトル（すなわち、４００ｎｍ〜７５０ｎｍ）では、ヘモグロビンは光の大部分を吸収する。光がこれらの波長でダークミートではなくホワイトミートに浸透する理由の可能な説明の１つは、２つの材料間の筋線維の異なる密度によるものであり、ダークミートに対する筋線維の密度はホワイトミートよりもはるかに高い。この波長域（すなわち、近赤外又は約８０５ｎｍ）におけるダークミートに対する吸収係数はさらに非常に高く、一方のホワイトミートに対する吸収係数はより低い。物理的特性の他にも、これらの特徴は、例えば化学的組成における相違によっても説明可能である。このようにホワイトミートに対して、浸透はかなり深いまま残る。この挙動の相違によって、スキャン対象の物体がマグロの魚の切り身である用途には、この特有な波長の選択（すなわち、約８０５ｎｍ）が好適となる。
【００４７】
ある実施形態では、撮像デバイス２０４は、限定することなく、中でもスペクトルグラフ、カメラ又はセンサを含む多くの市販の撮像デバイス２０４のうちの１つである。撮像デバイス２０４がセンサである実施形態では、撮像デバイス２０４は、３００ｎｍ〜１０００ｎｍの波長を取り込む相補性金属酸化膜半導体（「ＣＭＯＳ」）センサであることが好ましい。あるいは、他の実施形態では、センサは、同様の波長を取り込む電荷結合素子（「ＣＣＤ」）センサ、又は９００〜１７００ｎｍの波長を取り込むヒ化インジウムガリウム（「ＩｎＧａＡｓ」）センサである。撮像デバイス２０４がカメラ又はスペクトルグラフである実施形態では、カメラ又はスペクトルグラフが、他の電子構成要素及び他のタイプのセンサに加えて、上記のセンサのいずれも含み得ることがさらに分かるはずである。
【００４８】
透過率撮像モード２００を較正し、又は異なる用途に対してモード２００を変更する際に、物体２０６に対してどの波長が最良の透過率を有し、特性を取り込むかを調査するために、光２０８は個々の波長に分割されることが好ましい。具体的には図示しないが、回折格子によるスペクトルグラフは、光２０８を個々の波長に分割するのに使用され得る。あるいは、スペクトルグラフは高感度及び高価であるため、モード２００が補正されると、ある選択波長の光のみ通過させて用途に対応する撮像デバイス２０４によって取り込まれることを可能とするブロッキングフィルタが、効率を高めてコストを削減するために使用され得る。またさらなる代替例では、較正を通じて選択される好適な波長に対応することが好ましい指定波長の、又は指定波長域における光のみ放射するレーザ光源２０２が使用可能であり、それによってもコストの削減及び高効率化をもたらす。比較すると、通常、ブロッキングフィルタはより広域の通過波長を有するが、レーザは特定波長に対して非常に特異的であることから、この２つの間における選択は、問題としている材料に対する所望の動作波長に依存することになる。
【００４９】
図３は、インタラクタンス撮像モード３００の例示的な実施形態の概略表示である。インタラクタンス撮像モード３００は、光源３０２及び撮像デバイス３０４を含む。ある実施形態では、撮像デバイス３０４は透過率モードの撮像デバイス２０４とは異なってもよく、ある実施形態では、インタラクタンス撮像モード３００の撮像デバイス３０４は透過率モードの撮像デバイス２０４と同じであってもよい。言い換えると、同じ撮像デバイスが、透過率撮像モード及びインタラクタンス撮像モードの双方に対して使用可能である。光源３０２及び撮像デバイス３０４はそれぞれ、光源２０２及び撮像デバイス２０４を参照して上記で説明した光源及び撮像デバイスのいずれであってもよい。スキャン対象の物体３０６はプレート１１０の上にあり、光源３０２は光３１０を放射する。ただし、透過率撮像モード２００と比較されるように、インタラクタンス撮像モード３００において、光３１０は、光源３０２の出力３１２において光源３０２に結合された収束レンズ３０８を通過する。収束レンズ３０８は、特定の用途により選択される主軸、焦点、焦点距離及び垂直平面を有する多数の公知の収束レンズのいずれであってもよい。収束レンズ３０８は、利点の中でもとりわけ、撮像デバイス３０４によって取り込まれる画像データを明瞭化するのに役立つ。
【００５０】
物体３０６が魚の切り身、より具体的にはマグロの切り身である実施形態に対するインタラクタンス撮像モード３００では、光源３０２は、７４０〜８００ｎｍ、より好適には、７７０ｎｍ又は約７７０ｎｍ（すなわち、７６５ｎｍ及び７７５ｎｍ）の波長の光を放射する。さらに、撮像デバイス３０４は、ここで説明するようなセンサ、ＣＭＯＳ又はＣＣＤセンサであることが好ましく、又はそれを含むことが好ましい。この波長域は、透過率撮像モード２００の好適な波長に関する上記の解析に基づいて、インタラクタンス撮像モード３００に対して好適であることが分かった。
【００５１】
光３１０が光源３０２によって放射され、収束レンズ３０８を通過した後に、光３１０は、物体３０６を通過する光３１０の部分３１４によって示されるように物体３０６と接する。ただし、インタラクタンス撮像モードでは、撮像デバイス３０４は物体３０６によって後方散乱される光を測定する。言い換えると、光３１０の部分３１４は、物体３０６に入射してから、物体３０６の材料組成及び物体３０６を出る前の光３１０に起因して物体３０６内で屈曲、湾曲又は回転する光に対応する。言い換えると、収束レンズ３０８を通じて放射される光３１０は第１の方向３０５に沿って伝搬し、物体を出る光３１０は第２の方向３０７で伝搬し、実施形態において、第１及び第２の方向は平行軸に沿って相互に反対である。ただし、本開示の実施形態はまた、図４を参照して説明するように、光源３０２が物体３０６に対してある角度で存在する場合のように、相互に横向きの角度となる第１及び第２の方向も含むことが分かるはずである。光３１０は物体３０６を出て撮像デバイス３０４に向かって伝搬し、伝搬中に、光は、分散部分３１６によって示されるように分散する。光３１０が撮像デバイス３０４によって受光される場合には、撮像デバイス３０４は、ここで説明するように、取り込まれた光３１０の量に対応するインタラクタンス撮像データを制御部又はプロセッサ（例えば、図５に示す制御部４２８）に送信する。
【００５２】
図示する実施形態では、コンベア１００は、一般に、矢印３１８で示すように図３で示す向きに対して右から左に物体３０６を平行移動している。そのように、光源３０２は、コンベアシステム１００の平行移動の方向に対して撮像デバイス３０４の上流に位置する。言い換えると、光源３０２は、一般に、撮像デバイス３０４の近傍で好適にはそれと平行に位置する。撮像デバイス３０４から下流に光源３０２を有することは可能であり得るが、この配置は、処理中に補正されなければならない低い精度の撮像データをもたらしてしまう。さらに、コンベア１００は矢印３１８によって示す方向とは反対に物体３０６を平行移動することも可能であり、その場合には、光源は、図示する向きで撮像デバイス３０４の左（すなわち、上流）にあることが好ましい。また、光源３０２及び撮像デバイス３０４の双方は物体３０６の上方に位置し、それによって、インタラクタンス撮像モード３００は、略垂直軸に沿って物体２０６を直接通じて平行移動する光の部分を取り込む透過率撮像モード２００とは対照的に、物体３０６に入射した後に撮像デバイス３０４に向かって後方散乱する光３１０の部分３１４を取り込む。
【００５３】
図４は、コンベアシステム４０２、コンベアシステム４０２に結合された支持リング４１４、支持リング４１４に結合された複数の撮像デバイス４２２、及び支持リング４１４に結合された第１の光源４２４などの少なくとも１つの光源を含む撮像システム４００の例示的な実施形態の斜視図を示す。
【００５４】
コンベアシステム４０２は、図１のコンベアシステム１００を参照して上記で説明した構成のすべて又はそれらを実質的に含み得る。ただし簡潔には、コンベアシステム４０２は第１のコンベア、すなわち部分４０４及び第２のコンベア、すなわち部分４０６を含み、第１のコンベア４０４はギャップすなわち空間４１０によって第２のコンベア４０６とは離されている。プレート４１２は、好適には透明であり、連続コンベアラインを形成するために、ギャップ４１０に位置決めされ、コンベアシステム４０２に結合される。
【００５５】
上記のように、支持リング又はフレーム４１４は、支持体４１６、４１８によりコンベアシステム４０２に結合され、支持リング４１４は、撮像システム４００の較正中に支持リング４１４の回転を容易にするために円形であることが好ましい。支持体４１６は、コンベアシステム４０２、より具体的には、第１及び第２のコンベア４０４、４０６の各々に結合されたプレート４２０に結合されてそれから延在する調節可能なカラーであることが好ましい。支持体４１８は、支持リング４１４がシステムの較正中に支持カラー４１６を調節することによって手動で回転可能となるように、コンベアシステム４０２に結合された支持リング４１４を受けるために開放チャネルを有するベースであることが好ましい。支持体４１６がカラーとして示され、支持体４１８は支持リング４１４を受けるためにチャネルを有するベースとして示されるが、支持リング４１４をコンベアシステム４０２に結合するためには、本開示では他の多数のデバイス又は配置が考えられることが分かるはずである。例えば、他の実施形態では、結合は、コンベアシステム４０２から延在する中央に配設された１以上のスポーク、又は空間４１０に位置し、コンベアシステム４０２に結合された別の構造体の使用を含み、あるいは、支持リング４１４が、図６に示すハウジングのようなハウジングに結合及び支持されることが可能である。
【００５６】
支持リング４１４は、支持リング４１４に結合され、それから延在する複数の撮像デバイス４２２をさらに含む。撮像デバイス４２２の各々は、図２を参照して説明した撮像デバイス２０４及びその任意の変形と一致しない場合は、実質的に同様であり得る。さらに、支持リング４１４は少なくとも第１の光源４２４を含み、それは図２における光源２０４を参照して上記で説明した光源のいずれであってもよい。図４に示すように、第１の光源４２４は、コンベアシステム４０２との間に位置決めされ、第１の光源４２４が放射する光がプレート４１２及び画像化又はスキャン対象のプレート４１２の上の物体４０８に向けて方向付けられるように配置される。光は、複数の撮像デバイス４２２の少なくとも１つによって受光されるようにプレート４１２と、物体４０８とを通過し、第１の光源４２４から受光される光に対応するデータは透過率撮像データに対応する。
【００５７】
図示する実施形態では、支持リングは、複数の撮像デバイス４２２の近傍の支持リング４１４に結合され、それから延在する第２の光源４２６をさらに含む。好適には、第２の光源４２６はインタラクタンス撮像モードで使用され、第２の光源４２６は撮像デバイス４２２の近傍で並列に位置する。またさらなる実施形態では、第２の光源４２６は撮像デバイス４２２の近傍に位置するが、図４に示しここで説明するように、撮像デバイス４２２の視野に対して横向きの角度にある。第２の光源４２６は同様に、図２において光源２０２を参照して説明した上記光源のいずれであってもよい。第２の光源４２６は、図３を参照して説明したインタラクタンス撮像モード３００に対応する光を放射する。そのようにして、第２の光源４２６によって放射された光は、第１の方向で物体４０８に向けて方向付けられ、物体４０８内で回転し、複数の撮像デバイス４２２のすべてでない場合には少なくとも１つによって受光されるように第２の方向で物体４０８を出ていき、第２の光源４２６から受光される光に対応するデータはインタラクタンス撮像データに対応する。図示する実施形態では、第１と第２の方向の間の角度は、９０度未満、好適には４５度未満であるが、その角度は特定の用途（すなわち、スキャン対象の物体４０８のタイプ）により変化することになることが理解されるはずである。
【００５８】
図４に示すように、複数の撮像デバイス４２２は５つの撮像デバイス４２２を含み、撮像デバイス４２２は支持リング４１４の周囲、外周又は内縁に沿って相互に均等に離間し、光源４２４、４２６の一方から光を受光するために、入力がプレート４１２及び物体４０８に向けて方向付けられている。そのように、撮像デバイス４２２の各々は、物体４０８の異なるビューに対応する撮像データを受け取ることになる。言い換えると、配置に起因して撮像デバイス４２２の各々からのビュー又はデータの間には相違があり、それは物体４０８のシルエット及び３次元画像データを生成するのに役立つ。したがって、図示する実施形態では、複数の撮像デバイス４２２の選択及び配置は機械学習システムに入力される複数のビューに供するので、正常動作中には支持リング４１４を回転させる必要はなく、機械学習システムは、ここで説明するように、複数のビューに基づいて３Ｄモデルを決定するための基礎となるシルエットを生成する。ただし、撮像デバイス４２２の特定の個数、配置及び向きは、ここで説明するように、スキャン対象の物体４０８及びシステム４００の較正に依存することが分かるはずである。
【００５９】
さらに、撮像デバイス４２２の各々は第２の光源４２６から反射率撮像データを受信可能であり、反射率撮像データは、１２３０〜１２９０ｎｍ、又はより好適には１２６０ｎｍ若しくは約１２６０ｎｍ（すなわち、１２５５〜１２６５ｎｍ）の波長の光を出力する第２の光源４２６に対応し、この波長で放射される光は、物体４０８の外表面に反射されて、複数の撮像デバイス４２２によって受光され又は取り込まれる。この波長（すなわち、約１２６０ｎｍ）は、水は約１０００ｎｍの波長に対して高い吸収性を有することになるが、ダークミートは約１２６０ｎｍの光を反射し始め、一方のホワイトミートは反射しないので、反射率撮像モードに好適である。反射率撮像モードでは、撮像デバイス４２２の各々は、上記のように、このより長い波長の光を取り込むためにＩｎＧａＡｓセンサをさらに含み得る。反射率撮像データは、物体が外層内で部分的にのみ含まれる（すなわち、物体の一部が外層から外部に延在する）状況で特に有用であるが、他の実施形態では、反射率撮像データは、インタラクタンス撮像データに加えて、補正基準として使用され得る。
【００６０】
図４は、システム４００と電気通信する制御部４２８をさらに示す。図５は、非限定的な実施形態の一例による制御部４２８を詳細に示す。特に、制御部４２８、一般に、システム４００に電力供給し、撮像デバイス４２２から受信された撮像データを処理又は送信するように動作可能である。図５は、撮像デバイス４２２と制御部４２８の間のデータ交換を含むシステム４００を制御するように動作する種々の制御システム、モジュール又は他のサブシステムを模式的に示す。
【００６１】
制御部４２８は、コントローラ４４２、例えば、マイクロプロセッサ、デジタル信号プロセッサ、プログラマブルゲートアレイ（ＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）を含む。制御部４２８は、１以上の非一時的記録媒体、例えば、読出し専用メモリ（ＲＯＭ）４４０、ランダムアクセスメモリ（ＲＡＭ）４３８、フラッシュメモリ（不図示）又は他の物理的コンピュータ−若しくはプロセッサ−可読記録媒体を含む。非一時的記録媒体は、コントローラ４４２によって使用される命令及び／又はデータ、例えば、オペレーティングシステム（ＯＳ）及び／又はアプリケーションを記憶し得る。コントローラ４４２によって実行されるような命令は、それに限定されないが、撮像デバイス４２２からデータを取り込み及び処理することを含む、ここで説明するシステム４００、５００の種々の実施形態の機能を実施するロジックを実行し得る。
【００６２】
システム５００（図６参照）が回転用支持リング又はフレーム５０４を含む実施形態では、制御部４２８は、１以上のアクチュエータ（不図示）に通信可能に結合されて、リング５０４の回転を制御し得る。あるいは、制御部４２８は、リング５０４を回転させるために１以上のベルト（不図示）に通信可能に結合され得る。さらに、コントローラ４４２は、特定の位置（すなわち、図６を参照して記述される第１の位置及び第２の位置）に対応する命令を含み得るものであり、それは所定の製造速度又はコンベア速度に従って支持リング５０４を自動的に回転させるためにアクチュエータ又はベルトに送信される。
【００６３】
制御部４２８は、エンドユーザがシステム４００、５００の動作状態又は状況に関してシステム４００、５００を操作し又はシステム４００、５００に入力を提供することを可能とするように、ユーザインターフェース４３６を含み得る。ユーザインターフェース４３６は、システム４００、５００からアクセス可能な多数のユーザ可動制御を含み得る。例えば、ユーザインターフェース４３６は、システム４００、５００をＯＮ及びＯＦＦし、並びに／又はシステム４００、５００の種々の動作パラメータを設定するように動作可能な多数のスイッチ又はキーを含み得る。
【００６４】
追加的又は代替的に、ユーザインターフェース４３６は、ディスプレイ、例えば、タッチパネルディスプレイを含み得る。タッチパネルディスプレイ（例えば、接触感知オーバーレイを有するＬＣＤ）は、エンドユーザに対して入力及び出力インターフェースの双方を提供し得る。タッチパネルディスプレイは、種々のユーザ選択可能なアイコン、メニュー、チェックボックス、ダイアログボックス、並びにシステム４００、５００の動作状態又は状況を設定するようにエンドユーザによって選択可能な他の構成要素及び素子により、グラフィカルユーザインターフェースを示し得る。ユーザインターフェース４３６はまた、１以上の聴覚トランスデューサ、例えば、１以上のスピーカ及び／又はマイクも含み得る。それによって、可聴警告の通知又は信号をエンドユーザに提供可能とし得る。それによって追加的又は代替的に、エンドユーザは、可聴コマンド又は命令を提供可能となる。ユーザインターフェース４３６は、追加的構成要素及び／又は図示若しくは説明するものとは異なる構成要素を含んでもよく、並びに／又は一部の構成要素を省略してもよい。
【００６５】
スイッチ及びキー又はグラフィカルユーザインターフェースは、例えば、トグルスイッチ、キーパッド若しくはキーボード、ロッカースイッチ、トラックボール、ジョイスティック又はサムスティックを含み得る。スイッチ及びキー又はグラフィカルユーザインターフェースは、例えば、エンドユーザに、システム４００、５００をＯＮにし、透過率撮像モード又はインタラクタンス撮像モードを開始又は終了し、遠隔のアクセサリ及びプログラムに通信可能に結合又は解除し、撮像データにアクセス、それを送信又は処理し、モータ又はオーディオサブシステムを作動又は停止させ、コンベアシステムの動作状態を開始又は終了することなどを可能とし得る。
【００６６】
制御部４２８は、パーソナルコンピュータ又はプロセッサなどのような１以上の外部デバイスの種々の構成要素との通信を容易にする１以上の通信モジュール又は構成要素を含み得る、通信サブシステム４４４を含む。通信サブシステム４４４は、１以上の外部デバイスへの無線又は有線通信を提供し得る。通信サブシステム４４４は、無線受信機、無線送信機又は無線送受信機を含んで、１以上のペアリングデバイスの種々の遠隔構成要素又はシステムに無線信号経路を提供し得る。通信サブシステム４４４は、例えば、（例えば、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信（ＮＦＣ）又は無線自動識別（ＲＦＩＤ）の構成要素及びプロトコルを介する）短距離無線通信又は（例えば、無線ＬＡＮ、省電力広域ネットワーク（ＬＰＷＡＮ）、衛星又はセルラネットワーク上の）長距離無線通信が可能な構成要素を含んでもよく、それを実施するための１以上のモデム又は１以上のＥｔｈｅｒｎｅｔ若しくは他のタイプの通信カード若しくは構成要素を含んでもよい。通信サブシステム４４４は、交換パケットタイプの通信プロトコル（ＴＣＰ／ＩＰ）、Ｅｔｈｅｒｎｅｔ又は他のネットワーキングプロトコルを含む、ネットワークトラフィックを取り扱うのに適した１以上のブリッジ又はルータを含み得る。いくつかの実施形態では、外部デバイスとの有線又は無線通信は、種々の材料特性及び光波長特性を示すルックアップテーブルへのアクセスを提供し得る。例えば、エンドユーザは、外部デバイスにおけるルックアップテーブルなどに記憶され得る、ユーザインターフェース４３６に表示される多様な材料から、材料を選択し得る。
【００６７】
制御部４２８は、制御部４２８、例えば、システム４００、５００に集積又は取り付けられた制御部４２８の種々の構成要素に電源（不図示）からの電力の供給を管理する電力インターフェースマネージャ４３２を含む。電力インターフェースマネージャ４３２は、コントローラ４４２及び電源に結合される。あるいは、いくつかの実施形態では、電力インターフェースマネージャ４３２は、コントローラ４４２に集積可能である。電源は、とりわけ、外部電力供給部を含み得る。電力インターフェースマネージャ４３２は、電力変換器、整流器、バス、ゲート、回路などを含み得る。特に、電力インターフェースマネージャ４３２は、システム４００、５００の種々の動作状態に基づいて、電源からの電力の供給を制御、限定、制限可能である。
【００６８】
いくつかの具体化又は実施形態では、例えば、ＲＯＭ４４０、ＲＡＭ４３８及びフラッシュメモリ（不図示）などの、コントローラによって使用され得る非一時的記録媒体に記憶された命令及び／又はデータは、制御部４２８の１以上の機能へのプログラムによるアクセスを提供するアプリケーションプログラムインターフェース（「ＡＰＩ」）を含み又は提供する。例えば、そのようなＡＰＩは、それに限定されないが、ユーザインターフェース４３６の１以上の機能、又は１つ若しくは複数の撮像デバイス４２２により受信された撮像データの処理を含む、システム４００、５００の１以上の動作の特徴を制御するプログラムによるインターフェースを提供し得る。そのような制御は、他のプログラム、他の遠隔のデバイス若しくはシステム（不図示）又はある他のモジュールのうちの１つによって発動され得る。このようにして、ＡＰＩは、他のデバイス、プラグイン及びアダプタなどに対する種々の異なるユーザインターフェース及び制御システムなどの、第三者ソフトウェアの開発を促進させて、動作及びシステム４００、５００内のデバイスの双方向性及びカスタマイゼーションを容易化し得る。
【００６９】
具体化又は実施形態の例では、システム４００、５００内の制御部４２８及び他のデバイスの構成要素又はモジュールは、標準的プログラミング技術を使用して実施される。例えば、ここで説明する種々の具体化又は実施形態の機能を実行するロジックは、１以上の静的又は動的ライブラリとともに、コントローラ、例えば、マイクロプロセッサ４４２上で「ネイティブの」実行可能な稼働として実施され得る。他の具体化では、制御部４２８の種々の機能は、命令がＲＯＭ４４０及び／又はランダムなＲＡＭ４３８に記憶された１以上のプログラムとして実行する仮想機械によって処理される命令として実施され得る。一般に、本技術で公知のプログラミング言語の範囲は、それに限定されないが、オブジェクト指向（例えば、Ｊａｖａ、Ｃ＋＋、Ｃ＃、Ｖｉｓｕａｌ  Ｂａｓｉｃ．ＮＥＴ、Ｓｍａｌｌｔａｌｋなど）、関数型（例えば、ＭＬ、Ｌｉｓｐ、Ｓｃｈｅｍｅなど）、手続き型（例えば、Ｃ、Ｐａｓｃａｌ、Ａｄａ、Ｍｏｄｕｌａなど）、スクリプト（例えば、Ｐｅｒｌ、Ｒｕｂｙ、Ｐｙｔｈｏｎ、ｌａｖａＳｃｒｉｐｔ、 ＶＢＳｃｒｉｐｔなど）又は宣言型（例えば、ＳＱＬ、Ｐｒｏｌｏｇなど）を含む種々のプログラミング言語パラダイムの代表的実施形態を含む、そのような具体例を実施するために採用され得る。
【００７０】
ソフトウェア又はファームウェアの実施形態では、メモリに記憶された命令は、実行されると、マイクロプロセッサ４４２などの制御部４２８の１以上のプロセッサを、制御部４２８の機能を実行するように構成する。命令は、Ｉ／Ｏコントローラ／プロセッサなどのマイクロプロセッサ４４２又は他の何らかのプロセッサに、１以上の撮像デバイス４２２から受信される情報を処理するとともにそれに対して作用し、撮像データに基づく３Ｄモデルを再構成する機能及び動作を提供させる。
【００７１】
上記の具体化又は実施形態はまた、公知の又は他の同期若しくは非同期クライアントサーバコンピューティング技術も使用し得る。ただし、種々の構成要素は、例えば、単一のマイクロプロセッサ上で実行可能な稼働と同様に、より多くのモノリシックなプログラミング技術を使用して実施されてもよいし、あるいは、それに限定されないが、マルチプログラミング、マルチスレッディング、クライアントサーバ又はピアツーピア（例えば、システム４００、５００内のデバイス間に通信チャネルを提供するＢｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ又はＲＦＩＤ無線技術、メッシュネットワークなど）を含む本技術で公知の多様な構築技術を使用し、各々が１以上の中央処理装置（ＣＰＵ）又は他のプロセッサを有する１以上のコンピュータシステム上で稼働して分離されてもよい。いくつかの具体化は、同時かつ非同期的に実行し、メッセージパッシング技術を使用して通信し得る。また、他の機能は、各構成要素／モジュールによって実施及び／又は実行され、異なる順序で異なる構成要素／モジュールによっても制御部４２８の機能を実現し得る。
【００７２】
さらに、制御部４２８に記憶されたデータ及び制御部４２８によって提供される機能に対するプログラミングインターフェースは、Ｃ、Ｃ＋＋、Ｃ＃及びＪａｖａ  ＡＰＩを介するような標準的機構、ファイル、データベース若しくは他のデータリポジトリにアクセスするためのライブラリ、スクリプト言語、又はＷｅｂサーバ、ＦＴＰサーバ若しくは記憶されたデータに対するアクセスを提供する他のタイプのサーバによって利用可能となり得る。制御部４２８及び撮像システム全体によって記憶及び利用されるデータは、分散コンピューティング技術を使用する実施形態を含む、１以上のデータベースシステム、ファイルシステム、若しくはそのような情報を記憶するための他の任意の技術、又は上記の任意の組合せとして実施され得る。
【００７３】
プログラム及びデータの異なる構成及び位置は、ここで説明する技術による使用が想定される。多様な分散コンピューティング技術は、それに限定されないが、ＴＣＰ／ＩＰソケット、ＲＰＣ、ＲＰＣ、ＲＭＩ、ＨＴＴＰ及びＷｅｂ  Ｓｅｒｖｉｃｅｓ（ＸＭＬ−ＲＰＣ、ＪＡＸ−ＲＰＣ、ＳＯＡＰなど）を含む分散形態で図示する具体化の構成要素を実施するのに適している。他の変形例も可能である。他の機能は各構成要素／モジュールによっても提供され得るものであり、既存の機能は、異なる手段でシステム４００、５００内の構成要素／モジュールの間で分散されてもよく、それでも制御部４２８及び撮像システム４００、５００を実現し得る。
【００７４】
さらに、いくつかの実施形態では、制御部４２８の構成要素及びシステム４００、５００内の他のデバイスの構成要素の一部又は全部は、それに限定されないが、１以上の特定用途向け集積回路（「ＡＳＩＣ」）、標準的集積回路、コントローラ（例えば、適切な命令を実行することによるものであり、マイクロコントローラ及び／又は組込みコントローラを含む）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、複合プログラマブルロジックデバイス（「ＣＰＬＤ」）などを含む、少なくともファームウェア及び／又はハードウェアに部分的になど他の形態で実施又は提供され得る。システム構成要素及び／又はデータ構造の一部又はすべてはまた、コンピュータ可読媒体及び／又は１以上の関連するコンピューティングシステム若しくはデバイスを可能とし又は構成して、説明する技術の少なくとも一部を実行あるいは使用、又はそれを実施するコンテンツを提供するために、（例えば、ハードディスク、メモリ、コンピュータネットワーク、セルラ無線ネットワーク若しくは他のデータ伝送媒体、又はＤＶＤ若しくはフラッシュメモリデバイスなどの、適切なデバイスによって若しくは適切な接続を介して読み出されるポータブルメディアアーティクルのような）コンピュータ可読媒体の（例えば、実行可能若しくは他の機械可読ソフトウェア命令又は構造化データのような）コンテンツとしても記憶され得る。
【００７５】
図４及び５を参照して、制御部４２８は、支持リング４１４、並びにコンベアシステム４０２、支持体４１８及び支持リング４１４に関して内部又は外部に位置し得るワイヤ４３０のいずれかを通じて複数の撮像デバイス４２２の各々と電気通信している。あるいは、制御部４２８は、図５を参照して上記で説明したように、撮像デバイス４２２から撮像データを無線で受信するようにシステム４００と無線通信し得る。さらに、制御部４２８は、システムに結合され、又はシステムに対して外部に位置し得る。実施形態では、制御部４２８は、システム４００に電力を供給し、また撮像デバイス４２２から撮像データを受信する。制御部４２８は撮像データを処理するために標準的なコンピュータにおけるような少なくとも１つのプロセッサを含んでいてもよく、あるいは、制御部４２８は、明瞭化するために具体的には不図示の追加的な外部のプロセッサ又はコンピュータに撮像データを送信可能である。
【００７６】
図６は、コンベアシステム４０２、フレームすなわちフレーム５０４に結合されたリング５０４、フレーム５０４に結合されてそれから延在する撮像デバイス５１０、並びに第１及び第２の光源５１２、５１４を含む撮像システム５００の代替の例示的な実施形態を示す。システム５００の実施形態の特定の構成は、システム４００を参照して上記で説明した構成と同様又は一致し、そのため、それらの構成は効率化のために繰り返されない。
【００７７】
この実施形態では、フレーム５０４は支持体５０６、５０８によりコンベアシステム５０２に結合され、支持体５０６は、フレーム５０４及びフレーム５０４を取り囲む少なくとも１つのカラー５０８を受けるためのチャネルを有するベースである。ただし、この実施形態は単一の撮像デバイス５１０を利用するので、システム５００は、撮像デバイス５１０が複数の斜視図、角度又はビューから物体５１６の撮像データを取り込んで３Ｄ再構築を容易にすることができるように、コンベアシステム５０２の周囲でフレーム５０４を回転させるための機構をさらに含む。例えば、ベース５０６はチャネルに回転ベルトを含んでもよく、ベルトは、制御部４２８（図４参照）であり得る外部の制御部から受信される入力に従ってフレーム５０４を回転させるようにフレーム５０４に接触している。ただし、フレーム５０４を回転させるための市販の他の機構は、ここでは具体的に検討しない。さらに、フレームは自動的に回転されることが好ましいが、カラー５０８を操作することによって手動回転による回転をベースにすることが可能であり、カラー５０８は回転を阻害する閉位置と、フレーム５０４が回転可能な開位置との間で調節可能である。
【００７８】
そのように、この実施形態では、フレーム５０４は少なくとも第１の位置と第２の位置との間で回転し、第１の位置では撮像デバイス５１０は、透過率又はインタラクタンス撮像データに対応する第１のセットの撮像データを、第１の光源５１２又は第２の光源５１４からそれぞれ取り込む。そして、フレーム５０４は、第２の位置へと回転し、第２のセットの撮像データのための取込み処理を繰り返す。この処理が繰り返されて、具体的な用途（すなわち、物体５１６に関して異なる位置にある撮像デバイス５１０に基づいて３番目、４番目、５番目、６番目又はそれ以上のビュー）に対して必要とされるだけ多くの向きから多くのビューを生成することができる。さらに、フレーム５０４が自動的に回転される実施形態では、フレーム５０４の回転は、より少数の撮像デバイス５１０の使用に起因してシステム５００のコストを削減しつつ、システム５００の較正中に構築された位置に従って効率的になされ得る。
【００７９】
図７は、システム６００の例示的な表示を示し、それはシステム４００、５００と実質的に同様又は一致し得るものであり、システム６００は外ハウジング又はカバー６０４を含み、外ハウジング６０４の壁６１２は固体であり不透明である。ハウジング６０４の入口部分又は開口部６１０は、光がハウジング６０４に入射不可能なように、各入口部分６１０の面積の少なくとも８０％を超えて延在する不透明材料のストリップを備えるカバー６０８を含む。さらに、具体的には図示しないが、支持リング４１４又はフレーム５０４はハウジング６０４に結合及び支持されてもよく、制御部６０６はハウジング６０４の外壁６１２に結合されてもよく、種々の実施形態において、制御部６０６は、システム６００に電力を供給し、回転フレーム５０４の位置に対応する座標を提供するとともに回転フレーム５０４の回転を制御し、又はシステム６００から受信された撮像データに基づいて３Ｄモデルを生成するためにプロセッサを含む。
【００８０】
図８は、１次元（「１Ｄ」）撮像データ及び２次元（「２Ｄ」）シルエットから３Ｄモデル７０２を生成するように、機械学習システム又は深層畳込みニューラルネットワークによって利用される再構成方法又はシステム７００の概略表示である。
【００８１】
一般に、機械学習及び畳込みニューラルネットワーク（「ＣＮＮ」）は、概して、一連の動作層として実施され得る。１以上の畳込み層は１以上のプーリング層に続いてもよく、１以上のプーリング層は選択的に１以上の正規化層に続き得る。畳込み層は、単一の未知の画像から複数のカーネルマップを作成し、それはフィルタ処理済み画像とも呼ばれる。複数のフィルタ処理済み画像における大量のデータは１以上のプーリング層で減少し、データの量は、データを正規化する１以上の正規化線形ユニット層（「ＲｅＬＵ」）によってさらに減少する。好適には、本開示の実施形態は、セマンティックセグメンテーションによるものであり、ＣＮＮの学習のためのパラメータは、アプリケーション依存的であり、同様に検査対象の食品に依存する画像データの複雑性により調整される必要がある。
【００８２】
言い換えると、カーネルは既知の画像から選択される。既知の画像のすべてのカーネルが、ニューラルネットワークによって使用される必要はない。代わりに、「重要な」構成であると判定されたカーネルが選択され得る。畳込み処理がカーネルマップ（すなわち、構成画像）を生成した後に、カーネルマップは、プーリング層及び正規化（すなわち、ＲｅＬＵ）層に通される。出力マップにおける値のすべては平均化（すなわち、合計及び除算）され、その平均からの出力値は、未知の画像が既知の画像に見られる特定の構成を含むか否かの予測として用いられる。
【００８３】
例示的な場合には、出力値は、実施形態においてマグロの切り身のホワイトミート（すなわち、第１の部分）によって取り囲まれたダークミート（すなわち、第２の部分）のように、物体の第１の部分の内部に位置する物体の第２の部分である重要なものの構成を未知の画像が含むかを予測するのに使用される。そしてこの出力によって、ＣＮＮは、画像から目的の特定エリアに対応するシルエットを生成可能である。
【００８４】
図示するシステム７００では、機械学習プログラム又は深層畳み込みニューラルネットワークは、入力として、システム４００、５００により取り込まれた複数のビューから画像データ７０４を受信することになり、各画像データセットは第２の部分７０８を取り囲む第１の部分７０６とともにマグロの切り身の写真に対応する。カメラ又はスペクトルグラフはラインスキャンを使用して１Ｄデータを取得し得るが、１Ｄデータは、ここで説明するように、ＣＮＮによって使用される前に２Ｄ画像データに合成されて、シルエットを復元する。
【００８５】
スキャンされた物体がマグロの切り身である実施形態では、第１の部分７０６は第１のセットの特徴の第１の身の外層に対応し、第２の部分７０８は異なる第２のセットの特徴の第２の身の内層に対応し、第２の部分７０８が第１の部分７０６内に位置する。図７で示すように、画像データセット７０４の各々は、撮像データ、好適には、透過率撮像データに対応し、それはより明るい画素が第１の部分７０６に割り当てられ、より暗い画素が第２の部分７０８に割り当てられる強度値を表し得る。そのように、画像データ７０４は、それが２Ｄ画像の単一ラインであるという意味では１Ｄであり、又は言い換えると、ＣＮＮによって解析された各画素若しくはカーネルは強度値に対応する。
【００８６】
機械学習プログラム又は深層畳み込みニューラルネットワークの最高レベルでは、ＣＮＮは、数千枚の代表的サンプル画像のプールに基づいて学習されて、第２の部分７０８（すなわち、マグロの切り身のダークミート）の一般的な外観を識別し、例えば、第２の部分７０８は、数千枚のマグロの切り身の画像を含み得る参照画像の大きなプールに基づいてその主軸と平行な切り身の中央を通過する。他のレベルでは、ＣＮＮは代表的サンプル画像に基づいて縁部、ライン及び曲線についての知見を取得することになり、ＣＮＮの精度は、より多くの画像がスキャンされるので向上する。そのように、強度値の相違に基づいて、ＣＮＮは第２の部分７０８に対応する写真の部分を識別することになる。これらの部分が識別されると、ＣＮＮは複数のシルエット７１０を定式化することになり、各シルエットが、２Ｄで表されるビューの各々において識別される第２の部分７０８に対応する。
【００８７】
例えば、ＣＮＮは多くの層で構成され、入力と出力の間の層は「隠れ層」と呼ばれる。各層は非常に多くのニューロンを有し、それらは層間で完全に接続される。これらの接続は、参照画像に基づいて学習された重みに対応する。ニューロン又はノードは、入力値を取得し、それを関連する重みと掛け合わせ、活性化関数（例えば、ここで説明するようなＲｅＬＵ）を通じてそれを検索し、出力を伝える演算部である。この出力は、他の接続を通じて結合された次のニューロンの入力を形成する。さらに、ＣＮＮは、ニューロンと同様に使用されるが異なる関数を有する畳込み、プーリング、正規化及びドロップアウトなどの他の層を含み得る。
【００８８】
ネットワークが学習される前に、ノード間の接続又は重みはランダムに割り当てられる。ネットワークを学習すると、ラベル化又はアノテーション化データが使用される。例えば、入力データ（例えば、画像データ）は、期待される出力データ（例えば、シルエット）と相関される。第１の層において入力ノードを通じて入力データ（例えば、画像データ）を提供し、出力層（例えば、ラベル化シルエット）の期待値を認知することによって、入力データが何であっても、ＣＮＮが期待される出力を返送するように、いくつかの反復を通じて接続の重みを調整することができる。これは基本的に、大多数のパラメータによる最適化処理である。１つの重みが変えられる場合には、ネットワーク全体に影響を与えることになるので、ＣＮＮの学習は数十、数百又は数千の反復を含み得る。
【００８９】
ＣＮＮの畳込み層は画像のサイズを縮小し、それは確認可能な又は評価されるエリアを決定する。例えば、９×９画素の小ウインドウは、解析対象のフル画像にわたって移動する。そのウインドウでは、観察者は、物体全体の小区画（例えば、ライン及び角部）を確認し得る。画像サイズが縮小されるにしたがって、ウインドウサイズは同一に維持されるが、物体構成のより多くが認識される。ウインドウにおいて画像が非常に小さくかつほぼ整合する場合には、観察者は、単一の工程で切り身全体と、さらにダークミートとを確認し得る。
【００９０】
これは、ニューラルネットワークが確認しているものの例である。ネットワークの前者の層では、例えば、マグロの魚の切り身におけるダークミートを識別する際に関係するライン及び角部を検出可能とする重みが学習されることになる。しかし後者の層では、ダークミート全体が物体として認識され、参照としてその周辺と関連する（例えば、ダークミートが、ホワイトミートの境界の間にあり、主軸と並んでいる）まで、これらのラインが曲線を形成することになる。これらの構成は、並行して学習されるが、すべて関連している。ライン及び角部がないと、ダークミートの境界は、ダークミートの全体の外観に基づいて位置特定するのは困難である。同様に、ダークミートに対応する多くのライン及び角部が存在するが、ダークミートの全体の外観は未知である場合には、どのライン及び角部が関連しているか判別するのは困難である。ただし、これらの高レベル及び低レベル双方の構成の知見を有することによって、画像データにおけるダークミートの検出が可能となる。
【００９１】
そして、演算システムは、アルゴリズムを使用することによって、複数のプロジェクション７１２にシルエット７１０の各々をバック投影し、アルゴリズムは、図７に示すように、各シルエット７１０の外境界に対応するラインをより高次元のシーンに拡張させる。シルエット７１０の各々をバック投影し、プロジェクション７１２の間の共通部分７１４を解析することによって、第２の部分７０８の３Ｄモデル７０２が決定され得る。実施形態では、バック投影は円すい形状の視野に基づいている。モード３００などのインタラクタンス撮像モードに対応する撮像データは、目的の物体の深度に基づいてモデルを精細化するのに利用され得る。例えば、目的の物体の特性がそれに対応する情報のデータベースに基づいて既知である場合には、インタラクタンス撮像モードで取り込まれるように散乱する光量は、実施形態ではマグロの切り身のダークミートである目的の物体の深度に依存して変化することになる。さらに、インタラクタンス撮像データは、上記のように、取り込まれた光が物体の深度に従って変化することになるので、スキャンされた物体の表面における凹部形状の補正に役立つ。そのように、物体が凹部形状を有する場合には、インタラクタンス撮像データは凹部形状の物体の部分に対して相違することになり、材料は、材料がより厚い凹部形状がない物体の部分とは対照的により薄い（すなわち、取り込まれたより低い強度値は、光のよりわずかだけが散乱及び取り込まれることになるのでより薄い材料に対応し、より高い強度値は、光のより多くがより厚い材料を通じて浸透も透過もできない場合に散乱されることになるのでより厚い材料に対応する）。
【００９２】
図９は、撮像システム（例えば、撮像システム４００、５００）によって取り込まれる画像データに基づいて目的の物体の３Ｄモデルを生成する例示的な方法８００を表すフロー図である。方法８００は８２０で開始し、コンベアが８０４で作動され、スキャン対象の物体がコンベア上に積載される。コンベアの作動は、外部スイッチを通じて、又は制御部若しくはプログラムを通じて実施可能である。同様に８０６では、光透過率システムは、符号２００で示される透過率撮像モード２００と略同等であり得るものであり、外部スイッチを介して手動で、又は制御部若しくはプロセッサを通じたいずれかで作動される。光透過率システムの一部である撮像デバイスは、それ自体で、又は透過率システムと電子通信する制御部と関連するプログラムを通じたいずれかで、８０８では、コンベアにおける物体を通過する光に対応する撮像デバイスによって透過率画像データが受信されるか判定し、実施形態では、撮像デバイスはスペクトルグラフ、カメラ又はセンサである。
【００９３】
画像データが受信されない場合には、処理は８０６に戻り、画像データが受信されるまで繰り返す。透過率画像データが受信されると、それはプロセッサに送信され、方法８００が８１０に進み、透過率モードが停止され、インタラクタンス撮像モードが作動される。インタラクタンス撮像モードは、図３を参照して説明したインタラクタンスモード３００と略同等であり得る。再度８１２では、撮像デバイス、すなわちスペクトルグラフがインタラクタンス撮像データを受信するか判定される。受信しない場合には、プロセッサは、撮像デバイスがインタラクタンス撮像データを受信するまで８１０に戻ることによって繰り返す。インタラクタンス撮像データが検出されると、インタラクタンス撮像データは、８１４においてプロセッサに送信される。複数の撮像デバイスが存在する実施形態では、上記の処理は固有の撮像デバイス毎に繰り返されて、複数のビューを生成することができる。あるいは、撮像デバイスが回転する実施形態では、この処理は、複数のビュー又は複数の透過率撮像データセット及び複数のインタラクタンス撮像データセットを生成するために、撮像デバイスが固有の位置に位置するたびに繰り返される。
【００９４】
プロセッサは、機械学習プログラム、すなわちＣＮＮを含み、ＣＮＮは、入力として、８１６において各ビューに対応する透過率画像データを受信する。そして、ＣＮＮは、８１６において、実施形態では、一片の食品の内側に位置する物体、又は魚の第１の部分内に位置する魚の第２の部分である、各透過率画像データセットにおける目的の構成に対応する複数のシルエットを生成する。シルエットの各々は、８１８において、複数のプロジェクションにバック投影され、各プロジェクションの共通する共通部分が解析されて、共通部分に基づいて３Ｄ幾何学形状を決定する。そして、プロセッサは、８２２において、この３Ｄ幾何学形状を出力し、手動で又は追加的プロセッサ工程を通じたいずれかで、目的の物体がスキャンされた物体の表面近傍にあるか判定される。近傍にない場合には、３Ｄ幾何学形状が、透過率撮像データに基づいて出力され、方法８００は８２８で終了する。
【００９５】
目的の物体が表面近傍にある場合には、処理は８２４へ続き、ＣＮＮはインタラクタンス撮像データを使用して、透過率画像データに基づく３Ｄ幾何学形状を補正又は明瞭化する。３Ｄ幾何学形状が８２４において補正されると、プロセッサ、すなわちＣＮＮは補正された３Ｄ幾何学形状を８２６において出力し、処理は８２８で終了する。
【００９６】
図１０は、撮像システムによって取り込まれる画像データに基づいて、目的の物体の３Ｄモデルを生成するための方法９００の代替の例示的な実施形態である。方法９００は９０２で開始し、コンベア及び光透過率システム９０４が作動される。撮像デバイス、すなわちスペクトルグラフは、９０６において、透過率撮像データに対応する撮像データが撮像デバイスによって受信され又は取り込まれるか判定する。受信も取り込まれもしない場合には、プロセッサは、データが受信されるまで９０４に戻る。そのような場合には、方法９００は９０８へと続き、透過率撮像データが９０８においてプロセッサに送信される。そして、プロセッサは、畳込みニューラルネットワークを介して、９１０において１Ｄ透過率画像データから複数の２Ｄシルエットを決定する。シルエットの各々はバック投影され、共通部分が９１２において解析される。そして、プロセッサは、９１４においてプロジェクションの各々の間の共通する共通部分に基づいて３Ｄ幾何学形状を出力する。
【００９７】
そして、９１６においてプロセッサ、すなわちＣＮＮにより、目的の物体がスキャンされた物体の表面近傍にあるかを判定される。近傍にない場合には、方法９００は９２６で終了し、３Ｄモデルは透過率撮像データに基づく。近傍にある場合には、方法９００は９１８においてインタラクタンス撮像システムを作動し続け、撮像デバイスは、インタラクタンス撮像データに対応する撮像データが９２０において撮像デバイス又はスペクトルグラフによって受信されるか判定する。受信されない場合には、方法９００は、そのようなデータが受信又は取り込まれるまで９１８に戻る。受信され又は取り込まれるような場合には、方法９００は９２２に進み、インタラクタンス撮像データがプロセッサに送信され、必要であれば、インタラクタンス撮像データに基づいて３Ｄモデルが補正される。最終的に、補正された３Ｄモデルは９２４において出力され、方法９００は９２６で終了する。
【００９８】
３次元情報の取得を通じて、本開示は、特定の食品材料が廃棄される必要があるか否かについての品質制御検査に影響を及ぼし得る内部不良の容積及び形状をより正確に決定可能とする。さらに、物体の３次元幾何学形状を認知することによって、二次製品の加工及び除去がより正確に実行可能であるため、一次製品の損失を最小化する。
【００９９】
図示する実施形態の上記の説明は、概要で説明されるものを含み、包括的であることも、開示される精密な形態に実施形態を限定することも意図していない。具体的な例の実施形態及び例が例示を目的としてここでは説明されるが、種々の均等な変更は、当業者によって認識されるように、開示の趣旨及び範囲から逸脱することなくなされ得る。種々の実施形態のここで提供される教示は、必ずしも上記に概説した例示的な撮像システム及び方法ではなく、食品加工の背景外にも適用可能である。
【０１００】
例えば、上記の詳細な説明は、ブロック図、概略図及び例の使用を介してデバイス及び／又は処理の種々の実施形態を説明した。そのようなブロック図、概略図及び例が１以上の機能及び／又は動作を含む限り、そのようなブロック図、フローチャート又は例の内部の各機能及び／又は動作が、個々に及び／若しくは集約的に、広範なハードウェア、ソフトウェア、ファームウェアによって又はその任意の組合せで実質的に実施可能であることが当業者に理解されるはずである。一実施形態では、本主題は、特定用途向け集積回路（ＡＳＩＣ）を介して実施され得る。ただし、当業者は、ここで開示される実施形態が、全体的に又は部分的に、１以上のコンピュータによって実行される１以上のコンピュータプログラムとして（例えば、１以上のコンピュータシステム上で稼働する１以上のプログラムとして）、１以上のコントローラ（例えば、マイクロコントローラ）によって実行される１以上のプログラムとして、１以上のプロセッサ（例えば、マイクロプロセッサ）によって実行される１以上のプログラムとして、ファームウェアとして、又はそれらの実質的に任意の組合せとして標準的な集積回路で均等に実施可能であり、回路の設計、並びに／又はソフトウェア及び／若しくはファームウェアに対するコードの記述が、この開示の教示の観点から十分に当業者の技術の範囲内にあることを認識することになる。
【０１０１】
ロジックが、ソフトウェアとして実施され、メモリに記憶された場合には、ロジック又は情報は、任意のプロセッサ関連システム又は方法によって又はそれと接続して使用するために任意のコンピュータ可読媒体に記憶され得る。この開示の背景において、メモリは、電子的、磁気的、光学的若しくは物理的デバイス、又はコンピュータ及び／若しくはプロセッサプログラムを含み、若しくは記憶する手段であるコンピュータ可読媒体である。ロジック及び／又は情報は、命令実行システム、装置又はデバイスからの命令をフェッチするとともに、ロジック及び／又は情報に関連の命令を実行可能なコンピュータによるシステム、プロセッサ内蔵システム又は他のシステムなどの命令実行システム、装置若しくはデバイスによって又はそれと接続して使用するために任意のコンピュータ可読媒体において具現化され得る。
【０１０２】
この明細書の文脈において、「コンピュータ可読媒体」は、命令実行システム、装置及び／若しくはデバイスによって又はそれと接続して使用するためのロジック及び／又は情報に関連のプログラムを記憶可能な任意の素子であり得る。コンピュータ可読媒体は、例えば、それに限定されないが、電子的、磁気的、光学的、電磁気的、赤外又は半導体のシステム、装置又はデバイスであり得る。コンピュータ可読媒体のより具体的な例（非包括的な列挙）は以下の、ポータブルコンピュータディスケット（磁気カード、コンパクトフラッシュカード、セキュアデジタルカードなど）、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリ）、可搬コンパクトディスク読出し専用メモリ（ＣＤＲＯＭ）、デジタルテープ及び他の非一時的媒体を含み得る。
【０１０３】
ここで説明する方法の多くは、変形例により実行可能である。例えば、方法の多くは、追加的動作を含み、一部の動作を省略し、及び／又は図示若しくは説明するものとは異なる順序で動作を実行し得る。
【０１０４】
上記の種々の実施形態は、さらなる実施形態を提供するように組み合わせ可能である。それらがここでの具体的な教示及び定義と矛盾しない程度に、この明細書で言及され、及び／又は出願データシートに列挙される米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願及び非特許刊行物のすべては、その全体において参照によりここに取り込まれる。実施形態の態様は、必要に応じて、種々の特許、明細書及び公開の趣旨を採用してまたさらなる実施形態を提供するように変更可能である。
【０１０５】
これら及び他の変更は、上記で詳述した説明の観点で実施形態に対してなされ得る。一般に、以下の特許請求の範囲において、使用される用語は、明細書及び特許請求の範囲に開示される具体的な実施形態に特許請求の範囲を限定するように解釈されるべきでなく、そのような特許請求の範囲が権利を有する均等物の全範囲とともに可能なすべての実施形態を含むように解釈されるべきである。したがって、特許請求の範囲は、開示によっては限定されない。
【図１】
2021535367.tif 000003
【図２−３】
2021535367.tif 000004
【図４】
2021535367.tif 000005
【図５】
2021535367.tif 000006
【図６】
2021535367.tif 000007
【図７】
2021535367.tif 000008
【図８】
2021535367.tif 000009
【図９】
2021535367.tif 000010
【図１０】
2021535367.tif 000011
【国際調査報告】
2021535367.tif 000012
2021535367.tif 000013
2021535367.tif 000014