(57)【要約】【課題】検査対象物の材料認識を短時間で行うことが可能な材料認識装置、材料認識方法及びプログラムを提供する。【解決手段】本開示に係る材料認識装置は、撮像により得られた情報により検査対象物の領域を分割した情報に基づいて、分割された前記領域に分光照射を行う照射部と、前記分光照射の反射光を受光する受光部と、前記反射光の受光の結果に基づいて、前記領域が同一の材料であるとみなして材料認識を行う材料認識部と、を備える。【選択図】図１
2016188822.tif 000002
【特許請求の範囲】
【請求項１】
撮像により得られた情報により検査対象物の領域を分割した情報に基づいて、分割された前記領域に分光照射を行う照射部と、
前記分光照射の反射光を受光する受光部と、
前記反射光の受光の結果に基づいて、前記領域が同一の材料であるとみなして材料認識を行う材料認識部と、
を備える、材料認識装置。
【請求項２】
前記撮像により得られた情報は、可視光カメラによる撮像により得られた可視光画像又は熱赤外カメラによる撮像により得られた熱赤外画像である、請求項１に記載の材料認識装置。
【請求項３】
前記照射部は、分割された前記領域の中心に向けて前記分光照射を行う、請求項１に記載の材料認識装置。
【請求項４】
前記照射部は、物体認識の結果に基づいて選択された複数の材料に対応する照射帯域に前記分光照射を行う、請求項１に記載の材料認識装置。
【請求項５】
前記照射部による予備照射の結果に基づいて前記物体認識を行う、請求項４に記載の材料認識装置。
【請求項６】
前記撮像により得られた情報は、可視光カメラによる撮像により得られた可視光画像及び熱赤外カメラによる撮像により得られた熱赤外画像から構成され、前記可視光画像及び前記熱赤外画像の相互の位置合わせ及び値域合わせが行われたものである、請求項１に記載の材料認識装置。
【請求項７】
前記撮像により得られた情報は、可視光カメラによる撮像により得られた可視光画像又は熱赤外カメラによる撮像により得られた熱赤外画像と、設計データとの差分に基づいて生成された情報である、請求項１に記載の材料認識装置。
【請求項８】
前記材料認識部は、前記検査対象物の表面の法線ベクトルに基づいて前記反射光の受光の結果を補正して前記材料認識を行う、請求項１に記載の材料認識装置。
【請求項９】
撮像により得られた情報に基づいて検査対象物を領域分割した情報に基づいて、分割された領域に分光照射を行うことと、
前記分光照射の反射光を受光することと、
前記反射光の受光の結果に基づいて、前記領域が同一の材料であるとみなして材料認識を行うことと、
を備える、材料認識方法。
【請求項１０】
撮像により得られた情報に基づいて検査対象物を領域分割した情報に基づいて、分割された領域に分光照射を行う手段、
前記分光照射の反射光を受光する手段、
前記反射光の受光の結果に基づいて、前記領域が同一の材料であるとみなして材料認識を行う手段、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、材料認識装置、材料認識方法及びプログラムに関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１には、ベルトコンベアの幅方向の全域に亘って近赤外線光を照射する赤外線光源と、コンベア上の近赤外線光の照射領域をコンベアの幅方向に光学的に走査する偏向機構（ポリゴンミラー）を備えて近赤外線光の照射領域を局部的に視野する光学系と、この光学系を介してコンベア上に載置された原料による反射光の特定波長の強度を検出する光検出素子とを備え、検査対象物からの反射光を光検出素子に導く為の光学系と、検査対象物に光を照射する照射系とを分離することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３２６２２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載された技術では、検査対象物の全領域で材料検出をしようとすると、光学系によりラスタースキャン的に全領域を走査する必要があり、材料検出に長時間を要するという問題がある。
【０００５】
そこで、検査対象物の材料認識を短時間で行うことが求められていた。
【課題を解決するための手段】
【０００６】
本開示によれば、撮像により得られた情報により検査対象物の領域を分割した情報に基づいて、分割された前記領域に分光照射を行う照射部と、前記分光照射の反射光を受光する受光部と、前記反射光の受光の結果に基づいて、前記領域が同一の材料であるとみなして材料認識を行う材料認識部と、を備える、材料認識装置が提供される。
【０００７】
前記撮像により得られた情報は、可視光カメラによる撮像により得られた可視光画像又は熱赤外カメラによる撮像により得られた熱赤外画像であっても良い。
【０００８】
また、前記照射部は、分割された前記領域の中心に向けて前記分光照射を行うものであっても良い。
【０００９】
また、前記照射部は、物体認識の結果に基づいて選択された複数の材料に対応する照射帯域に前記分光照射を行うものであっても良い。
【００１０】
また、前記照射部による予備照射の結果に基づいて前記物体認識を行うものであっても良い。
【００１１】
また、前記撮像により得られた情報は、可視光カメラによる撮像により得られた可視光画像及び熱赤外カメラによる撮像により得られた熱赤外画像から構成され、前記可視光画像及び前記熱赤外画像の相互の位置合わせ及び値域合わせが行われたものであっても良い。
【００１２】
また、前記撮像により得られた情報は、可視光カメラによる撮像により得られた可視光画像又は熱赤外カメラによる撮像により得られた熱赤外画像と、設計データとの差分に基づいて生成された情報であっても良い。
【００１３】
また、前記材料認識部は、前記検査対象物の表面の法線ベクトルに基づいて前記反射光の受光の結果を補正して前記材料認識を行うものであっても良い。
【００１４】
また、本開示によれば、撮像により得られた情報に基づいて検査対象物を領域分割した情報に基づいて、分割された領域に分光照射を行うことと、前記分光照射の反射光を受光することと、前記反射光の受光の結果に基づいて、前記領域が同一の材料であるとみなして材料認識を行うことと、を備える、材料認識方法が提供される。
【００１５】
また、本開示によれば、撮像により得られた情報に基づいて検査対象物を領域分割した情報に基づいて、分割された領域に分光照射を行う手段、前記分光照射の反射光を受光する手段、前記反射光の受光の結果に基づいて、前記領域が同一の材料であるとみなして材料認識を行う手段、としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００１６】
以上説明したように本開示によれば、検査対象物の材料認識を短時間で行うことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１７】
【図１】従来手法により、スポット光を照射して分光情報を取得する様子を示す模式図である。
【図２】本開示に係る手法による材料認識を示す模式図である。
【図３】第１の実施形態に係るシステムの構成を示すブロック図である。
【図４】第１の実施形態の処理を示すフローチャートである。
【図５】第２の実施形態に係るシステムの構成を示すブロック図である。
【図６】第２の実施形態の処理を示すフローチャートである。
【図７】材料と吸光度合特性を示すテーブルと、材料とその材料を使った食品画像が対応付けされたデータベースＤＢを示す模式図である。
【図８】材料と吸光度合特性を示すテーブルと、材料とその材料を使った食品画像が対応付けされたデータベースＤＢを示す模式図である。
【図９】材料と吸光度合特性を示すテーブルと、材料とその材料を使った食品画像が対応付けされたデータベースＤＢを示す模式図である。
【図１０】予備照射を行うことなく一般物体認識をするシステムの構成を示すブロック図である。
【図１１】図１０のシステムの処理を示すフローチャートである。
【図１２】第３の実施形態に係るシステムの構成を示すブロック図である。
【図１３】一般的なグラフカットを用いたセグメンテーションの具体例を示す模式図である。
【図１４】第３の実施形態の処理を示すフローチャートである。
【図１５】第４の実施形態に係るシステムの構成を示すブロック図である。
【図１６】第４の実施形態の処理を示すフローチャートである。
【図１７】第５の実施形態に係るシステムの構成を示すブロック図である。
【図１８】第５の実施形態に係る補正の方法を示す模式図である。
【図１９】第５の実施形態に係る補正の方法を示す模式図である。
【図２０】第５の実施形態の処理を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．本開示の概要
１．２．システムの構成例
１．３．第１の実施形態の処理手順
２．第２の実施形態
２．１．システムの構成例
２．２．第２の実施形態の処理手順
２．３．予備照射を行わない例
３．第３の実施形態
３．１．システムの構成例
３．２．領域分割手法の一例
３．３．第３の実施形態の処理手順
４．第４の実施形態
４．１．システムの構成例
４．２．第４の実施形態の処理手順
５．第５の実施形態
５．１．システムの構成例
５．２．第５の実施形態の処理手順
【００２０】
１．第１の実施形態
１．１．本開示の概要
まず、図１を参照して、本開示の概要について説明する。図１は、従来手法により、スポット光を照射して分光情報を取得する様子を示す模式図である。図１に示すように、従来手法では、照射装置１０００によりスポット光を検査対象物の全域に照射する。そして、受光装置１１００によりラスタースキャンを行い、検査対象物の全域で分光情報を取得する。このような手法では、ラスタースキャンにより分光情報を取得するため、検査対象物の全域で分光情報を取得するまでは長時間を要することになる。
【００２１】
図２は、本開示に係る手法による材料認識を示す模式図である。本開示に係る手法では、可視光カメラ、赤外線カメラ等の撮像装置１００により取得した情報から検査対象物を領域分割する。照射装置２００は、分割された領域の中心部に１回のみ照射を行い、受光装置３００が反射光を検出し、分光情報から材料を検出する。領域の中心部の材料が検出されると、その領域の全域を同一材料であるとみなす。従って、照射装置２００による照射回数が減るため、材料認識の時間を大幅に短縮することが可能となる。
【００２２】
１．２．システムの構成例
図３は、第１の実施形態に係るシステムの構成を示すブロック図である。図３に示すように、このシステムは、可視光カメラ、熱赤外線カメラ等の撮像装置１００、領域分割装置１１０、照射位置制御装置１２０、分光取得装置２００、材料認識装置３００を有して構成されている。なお、図１において、撮像装置１００、照射位置制御装置１２０、分光取得装置２００、材料認識装置３００等の各構成要素は、全てが一体の装置に構成されていても良いし、任意の１又は複数が一体の装置に構成されていても良い。図１に示す各構成要素は、ハードウェア（回路）、又はＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）によって構成されることができる。この場合に、そのプログラムは、装置内部に設けられるメモリ、または外部から接続されるメモリ等の記録媒体に格納されることができる。
【００２３】
分光取得装置２００は、アクチュエータ２０２、照射装置２０４、受光装置２０６、制御装置２０８を有して構成されている。
【００２４】
撮像装置１００は、可視光カメラ、赤外線カメラ等からなり、検査対象物を撮像し、撮像により得られた可視光画像、熱赤外画像の情報（撮像情報）を領域分割装置１１０に送る。領域分割装置１１０は、可視光画像、熱赤外画像の両方又は一方を用いて、画像セグメンテーションを行い、検査対象物を撮像して得られた撮像情報を領域分割する。
【００２５】
照射位置制御装置１２０は、領域分割装置１１０によって得られた各領域の中心部分に対して分光照射するように、分光取得装置２００のアクチュエータ２０２を駆動し、照射装置２０４の照射位置を制御する。
【００２６】
分光取得装置２００は、アクチュエータ２０２の駆動により照射装置２０４が照射する位置を制御する。そして、照射装置２０４は、各領域の中心部分（重心部分）に分光照射を行う。受光装置２０６は、照射装置２０４による検査対象物への分光照射の反射光を受光する。制御装置２０８は、照射装置２０４による分光照射、受光装置２０６による反射光の受光など、分光取得装置２００の全般を制御する。
【００２７】
受光装置２０６が受光した結果は、材料認識装置３００へ送られる。材料認識装置３００では、受光装置２０６により得られた情報に基づいて、各領域の材料を特定する。例えば、赤外線・超音波・電磁波等の信号を物体に照射し、その反射率を計測し、反射成分の係数比較により、物体の材質を予測するものが一般的に活用されている。これらの材質検出は、点光源の赤外線レーザーを対象物体の一部分に照射し、反射して返ってくる赤外線の強度と伝達関数・減衰度合いを検出するシステムで成立する。
【００２８】
１．３．第１の実施形態の処理手順
図４は、本実施形態の処理を示すフローチャートである。先ず、ステップＳ１０では、撮像装置１００による検査対象物の撮像を行う。次のステップＳ１２では、領域分割装置２００によるセグメンテーション（領域分割）を行う。次のステップＳ１４では、照射位置制御装置１２０が各領域の照射位置を決定する。次のステップＳ１６では、アクチュエータ２０２を駆動して、照射装置２０４の分光照射の方向を照射位置制御装置１２０が決定した照射位置に制御する。次のステップＳ１８では、照射装置２０４による分光照射を行う。次のステップＳ２０では、受光装置２０６による反射光の受光を行う。
【００２９】
照射装置２０４による分光照射は、所定の帯域毎に行われる。ステップＳ２２では、全帯域を照射したか否かを判定し、全帯域を照射していない場合はステップＳ１８以降の処理を再度行い、照射していない帯域の分光照射を行う。
【００３０】
ステップＳ２２で全帯域の照射が完了した場合は、ステップＳ２４へ進む。ステップＳ２４では、領域分割した全ての領域で分光照射が完了したか否かを判定し、全ての領域で分光照射が完了していない場合は、ステップＳ１６へ戻り、分光照射が完了していない次の領域へ照射位置２０４を制御し、以降の処理を再度行う。
【００３１】
ステップＳ２４で領域分割した全ての領域で分光照射が完了した場合は、ステップＳ２６へ進む。ステップＳ２６では、分光照射の結果に基づいて材料認識装置３００が材料認識を行う。ステップＳ２６の後は処理を終了する。
【００３２】
以上説明したように第１の実施形態によれば、領域分割により得られた各領域の中心に分光照射を行うことで各領域の材料を特定し、領域内は全て同じ材料とみなすことで、全域で材料認識をしなくても全域の材料情報を取得することが可能となる。従って、例えばラスタースキャン的に走査をする場合に比べて、スキャン回数を大幅に削減することができ、材料認識の高速化を図ることが可能となる。
【００３３】
２．第２の実施形態
２．１．システムの構成例
次に、本開示の第２の実施形態について説明する。第２の実施形態では、材料認識時に可視光画を使って一般物体認識を併用することで、認識精度を改善する。図５は、第２の実施形態に係るシステムの構成を示すブロック図である。図５に示すように、このシステムは、図３のシステムに対して、物体認識装置３５０が追加されている。物体認識装置３５０は、データベース選択装置３５２と一般物体認識装置３５４を有して構成されている。
【００３４】
第２の実施形態では、最初に照射装置２０４から数波長の分光を照射して、大まかな材料の絞り込みを行う。照射する波長は、例えば料理を検査対象物とする場合、水分、タンパク質、脂質等に反応する波長とする。
【００３５】
そして、大まかに絞り込んだ材料の情報から、物体認識のデータベース（ＤＢ）を選択する。予め水分量やたんぱく質の分量等に応じて、画像ＤＢを構築し、その画像ＤＢを用いることで一般物体認識の精度を高めることができる。
【００３６】
その後、選択した画像ＤＢを用いて物体認識をする。この際、構築しておいた画像ＤＢを逆引きして、認識した物体から材料認識に必要な帯域を選択する。そして、選択した波長を用いて材料認識を行う。
【００３７】
２．２．第２の実施形態の処理手順
図６は、本実施形態の処理を示すフローチャートである。先ず、ステップＳ２０では、撮像装置１００による検査対象物の撮像を行う。次のステップＳ２２では、領域分割装置２００によるセグメンテーション（領域分割）を行う。次のステップＳ２４では、照射位置制御装置１２０が各領域の照射位置を決定する。次のステップＳ２６では、アクチュエータ２０２を駆動して、照射装置２０４の分光照射の方向を照射位置制御装置１２０が決定した照射位置に制御する。次のステップＳ２８では、照射装置２０４による分光照射（予備照射）を行う。次のステップＳ２９では、受光装置２０６による反射光の受光を行う。ステップＳ２８，Ｓ２９では、４００〜４１０［ｎｍ］、５００〜５１０［ｎｍ］のように、１００［ｎｍ］間隔で粗く照射し、その応答を取得する。
【００３８】
次のステップＳ３０では、初期設定した回数だけ照射を行ったか否かを判定する。初期設定した回数だけ照射を行っていない場合はステップＳ２８へ戻り、以降の処理を再度行う。一方、ステップＳ３０で初期設定した回数だけ照射を行った場合は、ステップＳ３１へ進む。
【００３９】
また、図７に示すような、材料と吸光度合特性を示すテーブルと、材料とその材料を使った食品画像が対応付けされた材料−画像データベースＤＢを作成しておく。
【００４０】
ステップＳ３１では、ステップＳ２８，Ｓ２９の分光照射と反射光の受光によりどの帯域に反応したかを調べ、その帯域の吸光度合に特徴がある材料を使っている材料−画像データベースを選択する。次のステップＳ３２では、選択した材料−画像データベースにより物体認識を行う。
【００４１】
例えば、図７に示す例において、予備照射の結果、１２００〜１２１０［ｎｍ］の波長に反応が出た場合、バターが材料に含まれている可能性があると判断できる。この場合、図８に示すように、材料−画像データベース（ＤＢ）の中からバターに関するデータベース１０を選択する。ステップＳ３２では、選択したデータベースを用いて一般物体認識を行い、食品の判別を行う。
【００４２】
次のステップＳ３４では、照射帯域を選択する。ステップＳ３２の物体認識の結果、検査対象物が“パン”であると認識された場合、ステップＳ３４では、材料−画像データベースとテーブルを逆引きして、パンの材料を割り出してその吸光度合に特徴がある帯域を求める。
【００４３】
例えば、ステップＳ３２の物体認識の結果、検査対象物が“パン”であると認識された場合、図９に示すように、材料-画像データベース１２，１４を逆引きして、パンの材料を示す画像−材料データベース１６を作成する。この画像−材料データベース１６では、パン（画像）に対して材料である小麦、バターが対応付けされている。そして、作成した画像-材料データベース１６が示す材料に特徴がある帯域を、材料と吸光度合特性を示すテーブルから選択する。図９に示す例では、“小麦”と“バター”を含む画像−材料データベース１６が作成される。そして、“小麦”と“バター”に対応する照射帯域１２００〜１２１０、１４００〜１４１０、１７００〜１７１０［ｎｍ］の３つを照射帯域とする。
【００４４】
なお、図７〜図９に示したテーブルは省略版であり、実際には離散的なテーブルではなく、例えば４００〜１８００［ｎｍ］まで１０［ｎｍ］刻みで密に持つようなテーブルになっており、照射帯域も密な物になる。
【００４５】
次のステップＳ３６では、ステップＳ３４で選択した照射帯域を分光帯域として、分光照射を行う。次のステップＳ３８では、ステップＳ３６の分光照射に対する反射光を受光する。次のステップＳ４０では、ステップＳ３４で選択した照射帯域について、所定回数の照射を行ったか否かを判定し、所定回数の照射を行っていない場合はステップＳ３６へ戻り、以降の処理を再度行う。一方、ステップＳ４０で所定回数の照射を行った場合は、ステップＳ４２へ進む。
【００４６】
ステップＳ４２では、領域分割した全ての領域で分光照射が完了したか否かを判定し、全ての領域で分光照射が完了していない場合は、ステップＳ２６へ戻り、分光照射が完了していない次の領域の照射位置２０４を制御し、以降の処理を再度行う。
【００４７】
ステップＳ４２で領域分割した全ての領域で分光照射が完了した場合は、ステップＳ４４へ進む。ステップＳ４４では、分光照射の結果に基づいて材料認識装置３００が材料認識を行う。ステップＳ４４の後は処理を終了する。
【００４８】
２．３．予備照射を行わない例
また、図５及び図６の予備照射を行うことなく、一般物体認識をすることもできる。図１０は、この場合のシステムの構成を示すブロック図である。図１０に示すシステムでは、図５のシステムの物体認識装置３５０の代わりに、物体認識装置３６０を有している。物体認識装置３６０は、一般物体認識装置３５４から構成されている。
【００４９】
図１１は、図１０のシステムの処理を示すフローチャートである。先ず、ステップＳ５０では、撮像装置１００による検査対象物の撮像を行う。次のステップＳ５２では、領域分割装置２００によるセグメンテーション（領域分割）を行う。次のステップＳ５４では、照射位置制御装置１２０が各領域の照射位置を決定する。
【００５０】
また、ステップＳ５２，Ｓ５４の処理と並行して、ステップＳ７０では、撮像装置１００が撮像した画像により一般物体認識を行う。ステップＳ７０において、例えば、検査対象物が“パン”であると認識された場合、材料−画像ＤＢを逆引きして、パンの材料を示す画像-材料データベース１６を作成する。そして、作成した画像-材料データベース１６が示す材料に特徴がある帯域を、材料と吸光度合特性を示すテーブルから選択する。図７に示す例では、“小麦”と“バター”を含む画像−材料データベースが作成される。そして、次のステップＳ７２では、作成したデータベースを照合し、“小麦”と“バター”に対応する照射帯域１２００〜１２１０、１４００〜１４１０、１７００〜１７１０［ｎｍ］の３つを照射帯域とする。これにより、ステップＳ５６において、照射帯域が決定される。
【００５１】
その後の処理は、図４と同様である。すなわち、ステップＳ５８では、アクチュエータ２０２を駆動して、照射装置２０４の分光照射の方向を照射位置制御装置１２０が決定した照射位置に制御する。次のステップＳ６０では、照射装置２０４による分光照射を行う。次のステップＳ６２では、受光装置２０６による反射光の受光を行う。ステップＳ６４では、全帯域を照射したか否かを判定し、全帯域を照射していない場合はステップＳ６０以降の処理を再度行い、照射していない帯域の分光照射を行う。
【００５２】
ステップＳ６４で全帯域の照射が完了した場合は、ステップＳ６６へ進む。ステップＳ６６では、領域分割した全ての領域で分光照射が完了したか否かを判定し、全ての領域で分光照射が完了していない場合は、ステップＳ５８へ戻り、分光照射が完了していない次の領域の照射位置２０４を制御し、以降の処理を再度行う。
【００５３】
ステップＳ６６で領域分割した全ての領域で分光照射が完了した場合は、ステップＳ６８へ進む。ステップＳ６８では、分光照射の結果に基づいて材料認識装置３００が材料認識を行う。ステップＳ６８の後は処理を終了する。
【００５４】
以上説明したように第２の実施形態によれば、一般物体認識を行うことで材料認識の精度を向上させるとともに、分光照射の回数を削減することができる。従って、簡素な処理で高精度な材料認識を行うことが可能となる。
【００５５】
３．第３の実施形態
３．１．システムの構成例
次に、本開示の第３の実施形態について説明する。第３の実施形態では、セグメンテーション（領域分割）時にカラー情報だけではなく熱情報も考慮することで、セグメンテーションの精度を改善する。図１２は、第３の実施形態に係るシステムの構成を示すブロック図である。図１２に示すように、このシステムは、図３のシステムに対して、位置合わせ装置４００、領域合わせ装置４２０、統合装置４３０、赤外線カメラから構成される撮像装置４４０が追加されている。また、撮像装置１００は、可視光カメラから構成されている。
【００５６】
位置合わせ装置４００は、撮像装置４４０が取得した熱画像を、撮像装置１００が取得した可視光画像に対して位置合わせする。例えば、製造時の２つのカメラを設置した際の設計データを用いて幾何変換することで、２つの画像の位置合わせを行う。その後、可視光画像をガイド情報として熱赤外画像をアップサンプリングする。
【００５７】
統合装置４３０は、熱赤外画像の値域を可視光の値域に合わせる。例えば、可視光の値域（最小値〜最大値）が０〜２５５の場合、熱赤外画像の値域も可視光に合わせて０〜２５５とする。また、熱赤外画像を扱いやすく、見やすくするために、トーンカーブや階調数をアプリ毎に変更する。例えば、最初は可視光画像でセグメンテーションをし、数波長照射して、大まかに材料を特定し、特定した物体の沸点ごとにトーンカーブを制御することもできる。以上のようにして得られた正規化熱画像値をＲＧＢに次ぐ第４のチャンネルとみなして、グラフカット（Graph  cut）などを用いてセグメンテーションを行う。
【００５８】
これにより、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３チャンネル（ｃｈ）でＩ（Ｒ，Ｇ，Ｂ）と表現されていたものが、ＲＧＢ＋温度Ｔの４チャンネル（ｃｈ）でＩ（Ｒ，Ｇ，Ｂ，Ｔ）と表現されるため、セグメンテーションの精度を大幅に向上することが可能となる。
【００５９】
領域分割は、Ｒ，Ｇ，Ｂの３チャンネルの画素値に基づいて、隣接する画素との画素値の差が所定の閾値を超えた場合に、隣接する画素との間に境界があるものとして領域分割を行うことができる。第３の実施形態では、Ｒ，Ｇ，Ｂの３チャンネルの画素値に加えて、温度Ｔを使用することで、隣接する画素との温度の差が所定の閾値を超えた場合に、隣接する画素との間に境界があるものとして領域分割を行うことができる。この際、位置合わせ装置４００、統合装置４３０によって可視光画像と熱赤外画像との位置合わせ、値域合わせが行われているため、各画素においてＲ，Ｇ，Ｂの３チャンネルの画素値と温度Ｔの情報が対応付けされており、値域も統合されている。従って、閾値に基づいて領域分割を行うことができる。
【００６０】
３．２．領域分割手法の一例
図１３は、一般的なグラフカットを用いたセグメンテーションの具体例を示す模式図である。グラフカットは、（１）式に示すように、ピクセル自身のラベルとの色の近さと周辺ピクセルとの色違いの２つの項をコスト関数として持ち、このコストが最小となるような境界面(切断面)を探索する手法である。ラベルはユーザによって与えられ、物体を含まないように画面上に描いたものである。
【００６１】
【数１】
2016188822.tif 000003
【００６２】
（１）式において、Ｂ（Ｌ）は以下の数式から求まる。ここで、δ（Ｌｐ，Ｌｑ）はラベルを示しており、（Ｉｐ―Ｉｑ）２はピクセルｐとｑの色の差を示している。また、σはパラメータであり、ｄｉｓｔ（ｐ，ｑ）はピクセルｐとｑの距離である。（Ｉｐ―Ｉｑ）２の項で温度情報を使うことで、Ｉ（Ｒ，Ｇ，Ｂ）の代わりにＩ（Ｒ，Ｇ，Ｂ，Ｔ）を用いることができ、セグメンテーションの精度を高めることができる。
【００６３】
【数２】
2016188822.tif 000004
【００６４】
また、（１）式において、λＲ（Ｌ）は以下の数式から求まる。λＲ（Ｌ）は、ピクセルの色から、物体らしいか背景らしいかを判定するものである（ラベルの線上の画素値との近さを見る）。ここでも、ＩＰとしてＩ（Ｒ，Ｇ，Ｂ）の代わりにＩ（Ｒ，Ｇ，Ｂ，Ｔ）を用いることで、セグメンテーションの精度を高めることができる。
【００６５】
【数３】
2016188822.tif 000005
【００６６】
３．３．第３の実施形態の処理手順
図１４は、第３の実施形態の処理を示すフローチャートである。先ず、ステップＳ８０では、可視光画像の撮影を行う。また、ステップＳ８０と並行して、ステップＳ８２では、熱赤外画像を撮影する。次のステップＳ８４では、熱赤外画像を可視光画像に対して位置合わせする。次のステップＳ８６では、熱赤外画像の値域を可視光画像の値域に合わせる。
【００６７】
ステップＳ８８では、可視光画像と熱赤外画像を統合する。これにより、各ピクセルにおいて、４チャンネルの情報Ｉ（Ｒ，Ｇ，Ｂ，Ｔ）で画素値が表現される。次のステップＳ９０では、４チャンネルの情報に基づいてセグメンテーションを行う。その後の処理は、図４のステップＳ１２〜Ｓ２６と同様である。
【００６８】
以上説明したように第３の実施形態によれば、ＲＧＢの３チャンネルの情報Ｉ（Ｒ，Ｇ，Ｂ）に加えて温度情報Ｔを追加することで、４チャンネルの情報Ｉ（Ｒ，Ｇ，Ｂ，Ｔ）に基づいてセグメンテーションを行うことができる。従って、セグメンテーションの精度を大幅に向上することが可能となる。
【００６９】
４．第４の実施形態
４．１．システムの構成例
次に、本開示の第４の実施形態について説明する。第４の実施形態では、撮影した可視光画像又は熱赤外画像と設計データ(正解画像)とを比較する事で、異物混入の可能性がある領域をピックアップする。そして、ピックアップした領域に対して材料認識を行い、高精度の異物混入検出を行う。
【００７０】
図１５は、第４の実施形態に係るシステムの構成を示すブロック図である。図１５に示すように、このシステムは、図３のシステムに対して、正解データベース（ＤＢ）５００、差分装置５１０、閾値処理装置５２０、異常領域マスク生成部５３０が追加されている。また、図３の領域分割装置１１０は設けられていない。
【００７１】
正解データベース５００には、検査対象物の設計データ（正解画像）が保持されている。差分装置５１０は、撮像装置１００が撮像した可視光画像又は熱赤外画像と設計データとの差分を算出する。閾値処理装置５２０は、差分を閾値処理する。異常領域マスク生成部５３０は、差分が閾値を超えた領域に基づいて、異常領域のマスクを生成する。照射位置制御装置１２０は、異常領域の中心に対して分光照射の照射位置を制御する。
【００７２】
４．２．第４の実施形態の処理手順
図１６は、第４の実施形態の処理を示すフローチャートである。先ず、ステップＳ１００では、設計データを取得する。また、ステップＳ１００と並行して、ステップＳ１０２では、可視光画像又は熱赤外画像を撮影する。ステップＳ１０４では、可視光画像又は熱赤外画像と設計データとの差分を取得する。次のステップＳ１０６では、差分に対して閾値処理を行う。次のステップＳ１０８では、閾値処理の結果に基づいて、異常マスクを生成する。次のステップＳ１１０では、異常マスクの中心を照射領域として決定する。その後の処理は、図４のステップＳ１２〜Ｓ２６と同様である。ステップＳ２６の後、材料認識の結果に基づいて異常判定を行う（ステップＳ２８）。
【００７３】
以上説明したように第４の実施形態によれば、可視光画像又は熱赤外画像と設計データとの差分に基づいて異常マスクを生成することで、異常マスクの領域で検査対象物に異常が生じていることを認識することができる。そして、異常マスクの領域に分光照射を行うことで、異常が生じている領域の材料を認識することが可能となり、異常判定を行うことができる。
【００７４】
５．第５の実施形態
５．１．システムの構成例
次に、本開示の第５の実施形態について説明する。近赤外分光法などにより材料認識のために近赤外分光(可視分光)を照射する時、対象物体の正面からではなく、斜めから照射すると、入射光の反射割合が変化するため分光特性が変わる。第５の実施形態では、検査対象物の表面形状を測定し、分光特性を補正する係数を算出する事で、照射角度に対するロバスト性を向上させる。
【００７５】
図１７は、第５の実施形態に係るシステムの構成を示すブロック図である。図１５に示すように、このシステムは、図３のシステムに対して、デプス／偏光取得装置６００、法線ベクトル生成装置６１０、補正係数生成装置６２０、反射率補正装置６３０が追加されている。
【００７６】
デプス／偏光取得装置６００は、検査対象物体のデプスを測定し、または検査対象物体の偏光を取得する。法線ベクトル生成装置６１０は、デプス又は偏光に基づいて検査対象物体の表面の法線ベクトルを求める。
【００７７】
補正係数生成装置６２０は、既知の位置・姿勢にある照射装置２０４と、材料認識をする場所(セグメンテーション領域の中心)との幾何学的関係から、照射角度を求める。そして、補正係数生成装置６２０は、法線ベクトルと照射角度の関係より反射強度を求め、求めた反射強度より、実際に受光装置に入射した光量を補正するための補正係数を生成する。反射率補正装置６３０は、補正係数に基づいて、受光装置に入射した光量を補正する。
【００７８】
図１８及び図１９は、第５の実施形態に係る補正の方法を示す模式図である。図１８に示すように、検査対象物体の表面に垂直に分光照射する場合は、補正は不要である。一方、図１９に示すように、検査対象物体の表面に斜めに分光照射する場合は、以下の式に基づいて補正を行う。ここで、θは、分光照射する光線と法線とがなす角度、または反射光と法線とがなす角度である。
【００７９】
【数４】
2016188822.tif 000006
【００８０】
５．２．第５の実施形態の処理手順
図２０は、第５の実施形態の処理を示すフローチャートである。図１８では、図４に対してステップＳ１１０〜ステップＳ１１６が追加されている。ステップＳ１１０では、検査対象物体のデプスを測定し、または検査対象物体の偏光を取得する。次のステップＳ１１２では、法線ベクトルを生成する。次のステップＳ１１４では、補正係数を生成する。次のステップＳ１１６では、ステップＳ２０で受光した反射光の強度を補正係数により補正する。
【００８１】
以上説明したように第５の実施形態によれば、検査対象物の表面の法線ベクトルに応じて反射光の強度を補正するため、反射光の強度を高精度に取得することができ、正確な材料認識が可能となる。
【００８２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８３】
本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００８４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）  撮像により得られた情報により検査対象物の領域を分割した情報に基づいて、分割された前記領域に分光照射を行う照射部と、
前記分光照射の反射光を受光する受光部と、
前記反射光の受光の結果に基づいて、前記領域が同一の材料であるとみなして材料認識を行う材料認識部と、
を備える、材料認識装置。
（２）  前記撮像により得られた情報は、可視光カメラによる撮像により得られた可視光画像又は熱赤外カメラによる撮像により得られた熱赤外画像である、前記（１）に記載の材料認識装置。
（３）  前記照射部は、分割された前記領域の中心に向けて前記分光照射を行う、前記（１）又は（２）に記載の材料認識装置。
（４）  前記照射部は、物体認識の結果に基づいて選択された複数の材料に対応する照射帯域に前記分光照射を行う、前記（１）〜（３）のいずれかに記載の材料認識装置。
（５）  前記照射部による予備照射の結果に基づいて前記物体認識を行う、前記（４）に記載の材料認識装置。
（６）  前記撮像により得られた情報は、可視光カメラによる撮像により得られた可視光画像及び熱赤外カメラによる撮像により得られた熱赤外画像から構成され、前記可視光画像及び前記熱赤外画像の相互の位置合わせ及び値域合わせが行われたものである、前記（１）に記載の材料認識装置。
（７）  前記撮像により得られた情報は、可視光カメラによる撮像により得られた可視光画像又は熱赤外カメラによる撮像により得られた熱赤外画像と、設計データとの差分に基づいて生成された情報である、前記（１）に記載の材料認識装置。
（８）  前記材料認識部は、前記検査対象物の表面の法線ベクトルに基づいて前記反射光の受光の結果を補正して前記材料認識を行う、前記（１）に記載の材料認識装置。
（９）  撮像により得られた情報に基づいて検査対象物を領域分割した情報に基づいて、分割された領域に分光照射を行うことと、
前記分光照射の反射光を受光することと、
前記反射光の受光の結果に基づいて、前記領域が同一の材料であるとみなして材料認識を行うことと、
を備える、材料認識方法。
（１０）  撮像により得られた情報に基づいて前記検査対象物を領域分割した情報に基づいて、分割された前記領域に分光照射を行う手段、
前記分光照射の反射光を受光する手段、
前記反射光の受光の結果に基づいて、前記領域が同一の材料であるとみなして材料認識を行う手段、
としてコンピュータを機能させるためのプログラム。
【符号の説明】
【００８５】
２０４    照射装置
２０６    受光装置
３００    材料認識装置
【図１】
2016188822.tif 000007
【図２】
2016188822.tif 000008
【図３】
2016188822.tif 000009
【図４】
2016188822.tif 000010
【図５】
2016188822.tif 000011
【図６】
2016188822.tif 000012
【図７】
2016188822.tif 000013
【図８】
2016188822.tif 000014
【図９】
2016188822.tif 000015
【図１０】
2016188822.tif 000016
【図１１】
2016188822.tif 000017
【図１２】
2016188822.tif 000018
【図１３】
2016188822.tif 000019
【図１４】
2016188822.tif 000020
【図１５】
2016188822.tif 000021
【図１６】
2016188822.tif 000022
【図１７】
2016188822.tif 000023
【図１８】
2016188822.tif 000024
【図１９】
2016188822.tif 000025
【図２０】
2016188822.tif 000026