(57)【要約】【課題】処理の精度を犠牲にすることなく、処理に要するメモリの容量が小さく、かつ、処理に要する時間の短い分類装置、分類方法、分類プログラム、及び検査装置を実現する。【解決手段】複数の物品を被写体として共通に含む高解像度画像及び低解像度画像を参照して、複数の物品の各々の状態を分類する分類装置（１）は、各物品が被写体として含まれている高解像度画像上の領域を特定する特定処理を、低解像度画像を参照して実行する特定部（１０２）と、各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として特定された高解像度画像上の領域を選択的に参照することによって実行する分類器（１０３）と、を備える。【選択図】図２
2020042754.tif 000002
【特許請求の範囲】
【請求項１】
複数の物品を被写体として共通に含む高解像度画像及び低解像度画像を参照して、上記複数の物品の各々の状態を分類する分類装置であって、
各物品が被写体として含まれている上記高解像度画像上の領域を特定する特定処理を、上記低解像度画像を参照して実行する特定部と、
各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として上記特定部にて特定された上記高解像度画像上の領域を選択的に参照することによって実行する分類器と、を備えている、
ことを特徴とする分類装置。
【請求項２】
上記特定部は、各物品が被写体として含まれている領域を特定する特定処理を、上記低解像度画像を入力とし、該物品が被写体として含まれている領域を出力とする学習済みモデルを用いて実行する、
ことを特徴とする請求項１に記載の分類装置。
【請求項３】
上記分類器は、各物品の状態を分類する分類処理を、上記高解像度画像から切り出された部分画像であって、該物品が被写体として含まれている領域として上記特定部にて特定された上記高解像度画像上の領域を含む部分画像を入力とし、該物品の状態を示す予め定められた複数のクラスの何れかを出力とする学習済みモデルを用いて実行する、
ことを特徴とする請求項１又は２に記載の分類装置。
【請求項４】
上記高解像度画像よりも解像度の低い上記低解像度画像を生成する生成処理を、上記高解像度画像を参照して実行する生成部を更に備えている、
ことを特徴とする請求項１〜３の何れか１項に記載の分類装置。
【請求項５】
上記複数の物品を被写体として含む画像と共に、上記分類処理の結果をディスプレイに出力する表示部を更に備えている、
ことを特徴とする請求項１〜４の何れか１項に記載の分類装置。
【請求項６】
複数の物品を被写体として共通に含む高解像度画像及び低解像度画像を参照して、上記複数の物品の各々の状態を分類する分類方法であって、
各物品が被写体として含まれている上記高解像度画像上の領域を特定する特定処理を、上記低解像度画像を参照して実行する特定ステップと、
各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として上記特定ステップにて特定された上記高解像度画像上の領域を選択的に参照することによって実行する分類ステップと、を備えている、
ことを特徴とする分類方法。
【請求項７】
コンピュータを請求項１〜５の何れか１項に記載の分類装置として動作させる分類プログラムであって、上記コンピュータを上記分類装置の各部として機能させることを特徴とする分類プログラム。
【請求項８】
請求項１〜５の何れか１項に記載の分類装置を用いて、上記複数の物品の一括検査を行うことを特徴とする検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に被写体として含まれる物品の状態を分類する分類装置、分類方法、及び分類プログラムに関する。また、物品の一括検査を行う検査装置に関する。
【背景技術】
【０００２】
画像に被写体として含まれる物品の状態を、コンピュータを用いて分類する技術が広く用いられている。例えば、特許文献１には、検査画像に被写体として含まれる基板の状態（欠陥の有無等）を、コンピュータを用いて分類する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６６８７２号公報（２００６年１０月５日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数の物品の状態を効率的に分類するためには、これらの物品の各々を被写体として含む複数の画像を参照する構成を採用するよりも、これらの物品を被写体として含む単一の画像を参照する構成を採用する方が効率的である。しかしながら、後者の構成を採用する場合、物品の個数に応じて参照する画像の解像度を高くする必要がある。なぜなら、参照する画像における一物品あたりの解像度が、所望の分類精度を得るために必要な解像度以上であることが要求されるからである。
【０００５】
しかしながら、参照する画像の解像度が高くなるほど、処理に要するメモリの容量が大きくなると共に、処理に要する時間が長くなる（処理速度が遅くなる）という問題がある。特に、物品の一括検査を行う場合、すなわち、各物品に存在する微細な欠陥に着目して各物品の状態を分類する場合、参照する画像における一物品あたりの解像度を更に高くする必要があるため、このような問題が顕著に現れる。
【０００６】
本発明は、上記の問題に鑑みてなされたものであり、その目的は、処理の精度を犠牲にすることなく、処理に要するメモリの容量が小さく、かつ、処理に要する時間の短い分類装置、分類方法、分類プログラム、及び検査装置を実現することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る分類装置は、複数の物品を被写体として共通に含む高解像度画像及び低解像度画像を参照して、上記複数の物品の各々の状態を分類する分類装置であって、各物品が被写体として含まれている上記高解像度画像上の領域を特定する特定処理を、上記低解像度画像を参照して実行する特定部と、各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として上記特定部にて特定された上記高解像度画像上の領域を選択的に参照することによって実行する分類器と、を備えている。
【０００８】
上記の課題を解決するために、本発明の一態様に係る分類方法は、複数の物品を被写体として共通に含む高解像度画像及び低解像度画像を参照して、上記複数の物品の各々の状態を分類する分類方法であって、各物品が被写体として含まれている上記高解像度画像上の領域を特定する特定処理を、上記低解像度画像を参照して実行する特定ステップと、各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として上記特定ステップにて特定された上記高解像度画像上の領域を選択的に参照することによって実行する分類ステップと、を備えている。
【０００９】
上記の課題を解決するために、本発明の一態様に係る分類プログラムは、コンピュータを請求項１〜５の何れか１項に記載の分類装置として動作させる分類プログラムであって、上記コンピュータを上記分類装置の各部として機能させる。
【００１０】
上記の構成によれば、各物品が被写体として含まれている高解像度画像上の領域を特定する特定処理において、高解像度画像よりも解像度の低い低解像度画像が参照される。このため、高解像度画像を参照して特定処理を実行する場合と比較して、特定処理に要するメモリの容量を小さくすると共に、特定処理に要する時間を短くすることができる。更に、上記の構成によれば、各物品の状態を分類する分類処理において、高解像度画像の一部分（該物品が被写体として含まれている領域として、特定処理により特定された領域）が選択的に参照される。このため、高解像度画像全体を参照して分類処理を実行する場合と比較して、分類処理に要するメモリの容量を小さくすると共に、分類処理に要する時間を短くすることができる。また、低解像度画像を参照して分類処理を実行する場合と比較して、分類精度を高くすることができる。したがって、上記の構成によれば、分類精度を犠牲にすることなく、特定処理及び分類処理に要するメモリの容量を小さくすると共に、特定処理及び分類処理に要する時間を短くすることができる。
【００１１】
本発明の一態様に係る分類装置において、上記特定部は、各物品が被写体として含まれている領域を特定する特定処理を、上記低解像度画像を入力とし、該物品が被写体として含まれている領域を出力とする学習済みモデルを用いて実行する、ことが好ましい。
【００１２】
上記の構成によれば、各物品が被写体として含まれている領域を、より精度よく特定することができる。
【００１３】
本発明の一態様に係る分類装置において、上記分類器は、各物品の状態を分類する分類処理を、上記高解像度画像から切り出された部分画像であって、該物品が被写体として含まれている領域として上記特定部にて特定された上記高解像度画像上の領域を含む部分画像を入力とし、該物品の状態を示す予め定められた複数のクラスの何れかを出力とする学習済みモデルを用いて実行する、ことが好ましい。
【００１４】
上記の構成によれば、各物品をより精度よく分類することができる。
【００１５】
本発明の一態様に係る分類装置において、上記高解像度画像よりも解像度の低い上記低解像度画像を生成する生成処理を、上記高解像度画像を参照して実行する生成部を更に備えている、ことが好ましい。
【００１６】
上記の構成によれば、高解像度画像及び低解像度画像を入力することなく、高解像度画像を入力するだけで、上述した効果を奏する。
【００１７】
本発明の一態様に係る分類装置において、上記複数の物品を被写体として含む画像と共に、上記分類処理の結果をディスプレイに表示させる表示部を更に備えている、ことが好ましい。
【００１８】
上記の構成によれば、ユーザに、分類処理の結果をわかりやすく提示することができる。
【００１９】
上記の課題を解決するために、本発明の一態様に係る検査装置、上述した分類装置を用いて、上記複数の物品の一括検査を行う。
【００２０】
上記の構成によれば、検査精度を犠牲にすることなく、処理に要するメモリの容量を小さくすると共に、処理に要する時間を短くすることができる。
【発明の効果】
【００２１】
本発明の一態様によれば、分類精度を犠牲にすることなく、処理に要するメモリの容量が小さく、かつ、処理に要する時間の短い分類装置、分類方法、及び分類プログラムを実現することができる。また、本発明の一態様によれば、検査精度を犠牲にすることなく、処理に要するメモリの容量が小さく、かつ、処理に要する時間の短い検査装置を実現することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１の実施形態に係る分類装置の物理的構成を示すブロック図である。
【図２】図１に示す分類装置の機能的構成を示すブロック図である。
【図３】図１に示す分類装置が実行する分類処理の流れを示すフローチャートである。
【図４】図３に示す生成ステップにおける生成処理の一例を示す模式図である。
【図５】図３に示す特定ステップにおける特定処理の一例を示す模式図である。
【図６】図３に示す分類ステップにおける分類ステップの一例を示す模式図である。
【図７】図３に示す表示ステップにおいて表示される表示画面の一例を示す模式図である。
【図８】本発明の第２の実施形態に係る検査装置の機能的構成を示すブロック図である。
【図９】（ａ）は、第２の実施形態の具体例で用いた原画像を示す図である。（ｂ）は、第２の実施形態の具体例で用いた低解像度画像を示す図である。（ｃ）は、第２の実施形態の具体例で用いた部分画像を示す図である。（ｄ）は、第２の実施形態の具体例で表示した結果画像を示す図である。（ｅ）は、第２の実施形態の具体例における特定処理の精度を示す図である。（ｆ）は、第２の実施形態の具体例における分類処理の精度を示す図である。
【図１０】本発明の第２の実施形態の実施例１〜２及び比較例１〜６の比較について概要を説明する図である。
【図１１】（ａ）は、実施例１〜２及び比較例１〜４において、原画像の画素数に応じたメモリ使用量を比較するグラフである。（ｂ）は、原画像の画素数に応じた処理時間を比較するグラフである。
【図１２】（ａ）は、実施例１〜２及び比較例１〜４において、原画像の画素数に応じた物品の検出数を比較するグラフである。（ｂ）は、物品を含む領域の縦横比に応じた検出正解率を比較するグラフである。
【発明を実施するための形態】
【００２３】
〔第１の実施形態〕
（分類装置の物理的構成）
本発明の第１の実施形態に係る分類装置１の物理的構成について、図１を参照して説明する。図１は、分類装置１の物理的構成を示すブロック図である。
【００２４】
分類装置１は、図１に示すように、バス１０と、主メモリ１１と、プロセッサ１２と、補助メモリ１３と、入出力インターフェース１４と、を備えたコンピュータである。主メモリ１１、プロセッサ１２、補助メモリ１３、及び入出力インターフェース１４は、バス１０を介して互いに接続されている。主メモリ１１としては、例えば、単一又は複数の半導体ＲＡＭ（random access memory）が用いられる。プロセッサ１２としては、例えば、単一又は複数のマイクロプロセッサ、単一又は複数のデジタルシグナルプロセッサ、単一又は複数のマイクロコントローラ、又はこれらの組み合わせが用いられる。補助メモリ１３としては、例えば、単一又は複数のＨＤＤ（Hard Disk Drive）、単一又は複数のＳＳＤ（Solid State Drive）、又はこれらの組み合わせが用いられる。また、補助メモリ１３の一部又は全部は、通信インタフェース（図示せず）を介して接続されたネットワーク上のストレージであってもよい。入出力インターフェース１４としては、例えば、ＵＳＢ（Universal Serial Bus）インターフェース、赤外線やBluetooth（登録商標）等の近距離通信インターフェース、又はこれらの組み合わせが用いられる。
【００２５】
入出力インターフェース１４には、例えば、入力装置２０及び出力装置３０が接続される。入力装置２０としては、例えば、キーボード、マウス、タッチパッド、マイク、又はこれらの組み合わせ等が用いられる。出力装置３０としては、例えば、ディスプレイ、プリンタ、スピーカ、又はこれらの組み合わせが用いられる。なお、分類装置１は、ノート型コンピュータのように、入力装置２０として機能するキーボート及びタッチパッド、並びに、出力装置３０として機能するディスプレイを内蔵していてもよい。また、分類装置１は、スマートフォン又はタブレット型コンピュータのように、入力装置２０及び出力装置３０として機能するタッチパネルを内蔵していてもよい。
【００２６】
補助メモリ１３には、後述する分類処理Ｓ１をプロセッサ１２に実行させるためのプログラムＰが格納されている。プロセッサ１２は、補助メモリ１３に格納されたプログラムＰを主メモリ１１上に展開し、主メモリ１１上に展開されたプログラムＰに含まれる各命令を実行することによって、後述する分類処理Ｓ１に含まれる各ステップを実行する。また、補助メモリ１３には、後述する分類処理Ｓ１を実行するためにプロセッサ１２が参照する各種データが格納されている。
【００２７】
なお、ここでは、内部記憶媒体である補助メモリ１３に格納されているプログラムＰに従ってプロセッサ１２が後述する分類処理Ｓ１を実行する形態について説明したが、これに限定されない。すなわち、外部記録媒体に格納されているプログラムＰに従ってプロセッサ１２が後述する分類処理Ｓ１を実行する形態を採用してもよい。この場合、外部記録媒体としては、コンピュータが読み取り可能な「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブル論理回路などを用いることができる。あるいは、通信インタフェース（図示せず）を介して接続されるネットワーク上から取得したプログラムＰに従ってプロセッサ１２が後述する分類処理Ｓ１を実施する形態を採用してもよい。この場合、ネットワークとしては、例えば、インターネット、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、又はこれらの少なくとも一部の組み合わせ等などを用いることができる。
【００２８】
また、ここでは、単一のコンピュータを用いて分類装置１を実現する形態について説明したが、これに限定されない。すなわち、互いに通信可能に構成された複数のコンピュータを用いて分類装置１を実現する形態を採用してもよい。この場合、後述する分類処理Ｓ１を構成する各ステップを、これらのコンピュータにより並列的に実行することが可能になる。
【００２９】
（分類装置の機能的構成）
分類装置１の機能的構成について、図２を参照して説明する。図２は、分類装置１の機能的構成を示すブロック図である。
【００３０】
分類装置１は、図２に示すように、生成部１０１と、特定部１０２と、分類器１０３と、表示部１０４とを備えている。これらのブロックは、上述したプロセッサ１２が上述したプログラムＰの命令を実行することにより実現される機能ブロックである。分類装置１には、複数の物品を被写体として含む画像（以下、「原画像」とも記載する）が入力される。原画像は、特許請求の範囲における「高解像度画像」の一例である。
【００３１】
生成部１０１は、原画像よりも解像度の低い低解像度画像を生成する生成処理を、分類装置１に入力された原画像を参照して実行するブロックである。例えば、生成部１０１は、原画像から低解像度画像を生成する生成処理を、原画像を縮小又は粗視化することによって実行する。なお、生成する低解像度画像の解像度は、予め定められた特定の解像度（例えば、５１２ピクセル×５１２ピクセル）であってもよいし、原画像の解像度に応じて定められた解像度（例えば、原画像の解像度の１／８）であってもよいし、入力装置２０から入力されたユーザ指定の解像度であってもよい。
【００３２】
特定部１０２は、各物品が被写体として含まれている原画像上の領域を特定する特定処理を、生成部１０１にて生成された低解像度画像を参照して実行するブロックである。例えば、特定部１０２は、各物品が被写体として含まれている領域を特定する特定処理を、機械学習により構築された学習済みモデル（以下、「第１モデル」と記載する）を用いて実行する。第１モデルの入力は、生成部１０１にて生成された低解像度画像である。第１モデルの出力は、各物品が被写体として含まれている領域である。第１モデルとしては、例えば、ＹＯＬＯ（You Look Only Once）やＳＳＤ（Single Shot Multibox Detector）など、物体検出用のＣＮＮ（Convolutional Neural Network）を用いることができる。第１モデルを構成する係数群は、補助メモリ１３に格納されている。
【００３３】
分類器１０３は、各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として特定部１０２にて特定された原画像上の領域を選択的に参照して実行するブロックである。例えば、分類器１０３は、各物品の状態を分類する分類処理を、機械学習により構築された学習済みモデル（以下、「第２モデル」と記載）を用いて実行する。第２モデルの入力は、原画像から切り出された部分画像であって、各物品が被写体として含まれている領域として特定部１０２にて特定された原画像上の領域を含む部分画像である。第２モデルの出力は、各物品の状態を示すクラスとして、予め定められたクラスの何れかである。第２モデルとしては、例えば、物体分類用のＣＮＮ（Convolutional Nural Network）を用いることができる。第２モデルを構成する係数群は、補助メモリ１３に格納されている。
【００３４】
表示部１０４は、分類器１０３による分類処理の結果（例えば、各物品の状態を示すクラス）を、複数の物品を被写体として含む出力画像と共にディスプレイ（出力装置３０）に表示する表示処理を実行するブロックである。なお、表示部１０４がディスプレイに表示する出力画像は、複数の物品を被写体として含む画像であればよく、その解像度は任意である。例えば、出力画像は、原画像であってもよいし、低解像度画像であってもよい。
【００３５】
（分類処理の流れ）
分類装置１が実行する分類処理Ｓ１の流れについて、図３〜図７を参照して説明する。
【００３６】
図３は、分類処理Ｓ１の流れを示すフローチャートである。分類処理Ｓ１は、分類装置１に原画像が入力されることにより開始する。分類処理Ｓ１は、図３に示すように、生成ステップＳ１０１と、特定ステップＳ１０２と、分類ステップＳ１０３と、表示ステップＳ１０４と、を含んでいる。
【００３７】
生成ステップＳ１０１は、原画像よりも解像度の低い低解像度画像を生成する生成処理を、分類装置１に入力された原画像を参照して生成部１０１が実行するステップである。
【００３８】
図４は、生成ステップＳ１０１における生成処理の一例を示す模式図である。図４においては、原画像ＩＭＧ１として、１３個の物品Ｏ１〜Ｏ１３を撮像して得られた画像を例示している。生成部１０１は、原画像ＩＭＧ１を縮小又は粗視化することにより、原画像ＩＭＧ１よりも解像度の低い低解像度画像ＩＭＧ２を生成する。低解像度画像ＩＭＧ２は、原画像ＩＭＧ１と同様、１３個の物品Ｏ１〜Ｏ１３を被写体として含む画像となる。
【００３９】
特定ステップＳ１０２は、各物品が被写体として含まれている原画像上の領域を特定する特定処理を、生成ステップＳ１０１にて生成された低解像度画像を参照して特定部１０２が実行するステップである。本実施形態において、この特定処理は、上述したように、機械学習により構築された第１モデルを用いて実行される。
【００４０】
図５は、特定ステップＳ１０２における特定処理の一例を示す模式図である。図５においては、低解像度画像ＩＭＧ２として、１３個の物品Ｏ１〜Ｏ１３を被写体として含む画像を例示している。まず、特定部１０２は、低解像度画像ＩＭＧ２を第１モデルに入力する。第１モデルは、各物品Ｏｉ（ｉ＝１，２，…，１３）が被写体として含まれている低解像度画像ＩＭＧ２上の領域Ａ２ｉを出力する。次に、特定部１０２は、低解像度画像ＩＭＧ２上の各領域Ａ２ｉを、原画像ＩＭＧ１及び低解像度画像ＩＭＧ２間の解像度の比率に基づいて、原画像ＩＭＧ１上の領域Ａ１ｉに変換する。これにより、各物品Ｏｉが被写体として含まれている原画像ＩＭＧ１上の領域Ａ１ｉが得られる。
【００４１】
分類ステップＳ１０３は、各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として特定ステップＳ１０２にて特定された原画像上の領域を選択的に参照して分類器１０３が実行するステップである。本実施形態において、この分類処理は、上述したように、機械学習により構築された第２モデルを用いて実行される。
【００４２】
図６は、分類ステップＳ１０３における分類処理の一例を示す模式図である。まず、分類器１０３は、特定ステップＳ１０２にて特定された各領域Ａ１ｉを含む部分画像ＩＭＧ３ｉを、原画像ＩＭＧ１から切り出す。図６においては、部分画像ＩＭＧ３ｉとして、１３枚の部分画像ＩＭＧ３１〜ＩＭＧ３１３を例示している。次に、分類器１０３は、各部分画像ＩＭＧ３ｉを第２モデルに入力する。第２モデルは、各物品Ｏｉの状態を示す情報ｏｕｔ１を出力する。ここでは、物品の状態を示す３つのクラスＡ、Ｂ、Ｃが予め定められているものとする。図６では、情報ｏｕｔ１が「クラスＡ」を表しており、物品Ｏ１は、「クラスＡ」に分類されている。また、情報ｏｕｔ１３が「クラスＣ」表しており、物品Ｏ１３は、「クラスＣ」に分類されている。
【００４３】
表示ステップＳ１０４は、分類ステップＳ１０３における分類処理の結果（本実施形態において、各物品の状態を表すクラス）を、複数の物品を被写体として含む出力画像と共にディスプレイ（出力装置３０）に表示する表示処理を、表示部１０４が実行するステップである。
【００４４】
図７は、表示ステップＳ１０４において表示部１０４によりディスプレイに表示される表示画面の一例を示す模式図である。図７に示す表示画面には、低解像度画像ＩＭＧ２と、情報ｏｕｔ１〜ｏｕｔ１３（分類ステップＳ１０３における分類処理の結果）と、が含まれている。表示画面において、各情報ｏｕｔｉは、対応する物品Ｏｉとの関連付けが認識可能な表示態様で表示されることが望ましい。図７に例示した表示画面においては、各情報ｏｕｔｉを、対応する物品Ｏｉに重畳することによって、上述した関連付けが認識可能となっている。ただし、関連付けが認識可能な表示態様は、他の態様であってもよい。
【００４５】
（分類装置の効果）
以上のように、分類装置１によれば、各物品が被写体として含まれている原画像上の領域を特定する特定処理において、原画像よりも解像度の低い低解像度画像が参照される。このため、原画像を参照して特定処理を実行する場合と比較して、特定処理に要するメモリの容量を小さくすると共に、特定処理に要する時間を短くすることができる。更に、分類装置１によれば、各物品の状態を分類する分類処理において、原画像の一部（該物品が被写体として含まれている領域として、特定処理により特定された領域）が選択的に参照される。このため、原画像全体を参照して分類処理を実行する場合と比較して、分類処理に要するメモリの容量を小さくすると共に、分類処理に要する時間を短くすることができる。また、低解像度画像を参照して分類処理を実行する場合と比較して、分類処理の精度を高くすることができる。したがって、分類装置１によれば、分類処理の精度を犠牲にすることなく、特定処理及び分類処理に要するメモリの容量を小さくすると共に、特定処理及び分類処理に要する時間を短くすることができる。
【００４６】
（変形例１）
本実施形態においては、分類処理においてその一部を選択的に参照する画像を原画像とする構成を採用しているが、本発明は、これに限定されない。すなわち、分類処理においてその一部を選択的に参照する画像は、低解像度画像よりも解像度の高い画像であって、低解像度画像と共通の物品を被写体として含む画像（特許請求の範囲における「高解像度画像」）であればよい。例えば、分類処理においてその一部を選択的に参照する画像は、低解像度画像よりも解像度が高く、かつ、原画像よりも解像度の低い高解像度画像であり得る（分類処理に適した解像度の高解像度画像であることが好ましい）。この場合、生成部１０１は、低解像度画像及び高解像度画像を原画像から生成する。
【００４７】
（変形例２）
本実施形態においては、分類処理においてその一部を選択的に参照する高解像度画像（原画像）を外部から取得すると共に、特定処理において参照する低解像度画像を高解像度画像（原画像）から生成する構成を採用しているが、本発明は、これに限定されない。例えば、分類処理においてその一部を選択的に参照する高解像度画像、及び、特定処理において参照する低解像度画像の両方を外部から取得する構成を採用してもよい。この場合、生成部１０１は、省略される。
【００４８】
（変形例３）
本実施形態においては、機械学習により得られた第１モデルを用いて特定処理を実行する構成を採用しているが、本発明は、これに限定されない。例えば、テンプレートマッチングや二値化処理など、ルールベースの物体検出アルゴリズムを用いて特定処理を実行する構成を採用してもよい。テンプレートマッチングを用いる場合、特定部１０２は、例えば、低解像度画像における各領域をテンプレート画像（対象となる物品が被写体として含まれている画像）と比較し、一致度が高い領域を、物品を被写体として含む領域として特定する。また、二値化処理を用いる場合は、特定部１０２は、低解像度画像の画素値を輝度閾値により二値化し、得られた白黒画像における白（又は黒）領域を、物品を被写体として含む領域として特定する。
【００４９】
（変形例４）
本実施形態においては、機械学習により得られた第２モデルを用いて分類処理を実行する構成を採用しているが、本発明は、これに限定されない。例えば、特徴量比較など、ルールベースの物体分類アルゴリズムを用いて分類処理を実行する構成を採用してもよい。特徴量比較を用いる場合、分類器１０３は、高解像度画像において各物品が被写体として含まれている領域から予め定められた特徴量を算出し、算出した特徴量に応じて該物品の状態を分類する。
【００５０】
〔実施形態２〕
本実施形態では、実施形態１に係る分類装置１を用いて、複数の物品の一括検査を行う検査装置２を構成する実施形態について説明する。
【００５１】
図８は、検査装置２の機能的構成を示すブロック図である。なお、検査装置２の物理的構成については、図１を参照して説明した分類装置１と同様であるため、詳細な説明を省略する。
【００５２】
図８に示すように、検査装置２は、分類装置１を含む。すなわち、検査装置２は、複数の物品の一括検査を行う検査装置であって、生成部１０１と、特定部１０２と、分類器１０３と、を備えている。また、検査装置２は、さらに、表示部１０４を備えている。
【００５３】
生成部１０１は、検査対象となる複数の物品を被写体として含む画像を原画像（特許請求の範囲における「高解像度画像」の一例）として、該原画像よりも解像度の低い低解像度画像を生成する生成処理を実行する。特定部１０２は、各物品が被写体として含まれている原画像上の領域を特定する特定処理を、生成部１０１にて生成された低解像度画像を参照して実行する。分類器１０３は、各物品の状態を分類する分類処理を、特定部１０２にて特定された原画像上の領域であって、該物品が被写体として含まれている原画像上の領域を選択的に参照して実行する。これにより、特定部１０２が参照する画像は、低解像画像となり、分類器が参照する画像は、原画像の一部分となる。表示部１０４は、分類器１０３による分類処理の結果（例えば、各物品の状態を示すクラス）を、低解像度画像と共にディスプレイに表示する。
【００５４】
特定部１０２は、各物品が被写体として含まれている領域を特定する特定処理を、機械学習により構築された第１モデルを用いて実行する。第１モデルの入力は、生成部１０１にて生成された低解像度画像である。第１モデルの出力は、各物品が被写体として含まれている領域である。分類器１０３は、各物品の状態を分類する分類処理を、機械学習により構築された第２モデルを用いて実行する。第２モデルの入力は、検査対象となる各物品が被写体として含まれている部分画像である。第２モデルの出力は、検査結果を表す予め定められた複数のクラスの何れかである。検査結果を表す複数のクラスは、物品の状態が正常であることを示す「良」と、異常であることを示す「否」と、の２つのクラスであってもよい。また、正常な状態及び異常な状態の少なくとも一方に複数の種別を設けた３つ以上のクラスであってもよい。
【００５５】
検査装置２による検査処理の流れは、図３を参照して説明した分類処理Ｓ１の流れと同様である。ただし、ステップＳ１０１において、入力される原画像が検査対象となる複数の物品を被写体として含む画像である点と、ステップＳ１０４において、分類処理の結果として一括検査の結果を表示する点が異なる。それ以外の処理については、分類処理Ｓ１と同様であるため、詳細な説明を省略する。
【００５６】
（具体例）
検査装置２の具体例について、図９を参照して説明する。本具体例では、特定部１０２が用いる第１モデルとして、ＳＳＤ（Single Shot Multibox Detector）を利用した。このＳＳＤは、低解像度画像における任意の領域を入力として、物品が「あり」又は「なし（背景）」の何れかを出力するよう、或いは、物品が「あり」の領域を出力するように、予め機械学習されたものである。また、分類器１０３が用いる第２モデルとして、ＣＮＮ（Convolutional neural network）を利用した。このＣＮＮは、部分画像を入力として、予め定めた良品１クラス、不良品５クラスの合計６クラスの何れかを出力するよう、予め機械学習されたものである。
【００５７】
図９（ａ）は、本具体例で用いた原画像を示す図である。本具体例では、原画像として、複数の圧着端子を被写体として含む４６００×３５００ピクセルの高解像度画像を用いた。当該原画像は、圧着端子の微細な異常を検査するために、高解像度で撮像されたものである。
【００５８】
図９（ｂ）は、図９（ａ）に示した高解像度画像を原画像として、生成部１０１によって生成された低解像度画像を示す図である。実施例１では、低解像度画像の解像度は、５１２×５１２ピクセルとした。また、図９（ｂ）に示す低解像度画像には、各物品を被写体として含む領域を示す白線の矩形が重畳されている。各領域は、特定部１０２によって原画像上の領域を特定する特定処理の過程で特定された。
【００５９】
図９（ｃ）は、分類器１０３によって用いられた部分画像の１つを示す図である。当該部分画像は、図９（ｂ）に示す低解像度画像上の領域の何れかに対応する原画像上の領域が、原画像から切り出された画像である。当該部分画像のサイズは、６００×４００ピクセルであった。当該部分画像が第１モデルに入力されることにより、当該部分画像に被写体として含まれる圧着端子の検査結果クラスが判定された。
【００６０】
図９（ｄ）は、表示部１０４によって表示された、分類処理の結果を示す図である。図９（ｄ）では、図９（ｂ）に示した低解像度画像上の各領域を示す矩形を、検査結果クラスに応じた色で塗り分けることにより、各圧着端子と検査結果クラスとの関連付けを認識可能に表示してもよい。
【００６１】
図９（ｅ）は、本具体例の特定部１０２による特定処理（物体検出）の精度を説明する図である。図９（ｂ）の低解像度画像において、目視により物品の実体「あり」と判断された領域のうち、ＡＩ（Artificial Intelligence）検出（すなわち、特定部１０２による特定処理）によって物品「あり」と特定された比率は１００％であった。また、目視により実体「なし」（すなわち、背景）と判断された領域のうち、ＡＩ検出によって物品「あり」と特定された比率は０％であった。
【００６２】
図９（ｆ）は、本具体例の分類器１０３による分類処理（クラス判定）の精度を説明する図である。ＡＩ判定（すなわち、分類器１０３による分類処理）により判定された検査結果クラスが、人の判定による検査結果クラスと一致した比率は１００％であった。
【００６３】
（実施例１〜２及び比較例１〜６の評価）
次に、実施例１〜２及び比較例１〜６の比較について、図１０を参照して説明する。
【００６４】
実施例１〜２は、分類装置１を含む検査装置２の実施例であり、特定処理で利用する学習済みモデルを異ならせて実施した例である。実施例１〜２では、特定処理に何れの学習済みモデルを用いる場合も、低解像度画像を参照している。
【００６５】
実施例１では、特定処理で用いる第１モデルとして、ＳＳＤを利用した。
【００６６】
実施例２では、特定処理で用いる第１モデルとして、ＹＯＬＯ（You only look once）ｖ３を利用した。
【００６７】
なお、実施例１〜２では、何れも、分類処理で用いる第２モデルとして、ＣＮＮを利用した。また、実施例１〜２で用いた低解像度画像の解像度は、何れも３００×３００ピクセルとした。
【００６８】
比較例１〜６は、分類装置１を用いずに、原画像を入力として各物品の検査結果クラスを出力する検査装置の例である。
【００６９】
比較例１〜２の検査装置は、原画像を入力として各物品の検査結果クラスを出力する処理を、検査装置２のように特定処理と分類処理とに分けずに、学習済みモデルを用いて一括して行う一括処理を実行するよう構成した。また、比較例１〜２では、一括処理で利用する学習済みモデルを異ならせて構成した。
【００７０】
比較例３〜６の検査装置は、原画像を入力として各物品の検査結果クラスを出力する処理を、特定処理と分類処理とに分けて行うが、特定処理において、検査装置２のように低解像度画像を参照せずに、原画像を参照するよう構成した。比較例３〜４は、特定処理で利用する学習済みモデルを異ならせて構成した。比較例５〜６は、特定処理において学習済みモデルによらない手法を用いた。
【００７１】
比較例１では、一括処理で用いる学習済みモデルとして、ＳＳＤを利用した。
【００７２】
比較例２では、一括処理で用いる学習済みモデルとして、ＹＯＬＯｖ３を利用した。
【００７３】
比較例３では、原画像を参照した特定処理で用いる学習済みモデルとして、ＳＳＤを利用した。
【００７４】
比較例４では、原画像を参照した特定処理で用いる学習済みモデルとして、ＹＯＬＯｖ３を利用した。
【００７５】
比較例５では、特定処理として、二値化処理を用いた。
【００７６】
比較例６では、特定処理として、テンプレートマッチングを用いた。なお、比較例３〜６では、分類処理で用いる学習済みモデルとして、ＣＮＮを利用した。
【００７７】
なお、上述した実施例１〜２、比較例１〜６では、各検査装置を、ＣＰＵ（Central Processing Unit）「ｉ７−８７５０Ｈ」、ＧＰＵ（Graphics Processing Unit）「ＧＴＸ１０５０Ｔい（４ＧＢ）」、メモリ「３２Ｇ」、ＯＳ（Operating System）「Windows（登録商標） 10」を有するコンピュータを用いて実現した。
【００７８】
実施例１〜２、比較例１〜６の処理結果に対する評価について説明する。具体的には、各評価項目について、「○：全部の状況で処理できる」、「△：一部の状況で処理できる」、「×：処理できない」との評価を行った。
【００７９】
評価項目「画像サイズ」は、大きな画像サイズの原画像への対応に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、それぞれ複数サイズの原画像を入力することにより行った。実施例１〜２、比較例５〜６は「○」であり、比較例１〜４は「△」である。評価項目「画像サイズ」の詳細については、図面を変えて後述する。
【００８０】
したがって、高解像度の原画像が入力される場合、大きな画像サイズに対応可能な実施例１〜２、比較例５〜６が好適である。
【００８１】
評価項目「背景」は、背景のパターン（例えば、黒、迷彩等）を変化させた際の物体検出性能に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、背景のパターン等が異なる複数の原画像を入力することにより行った。実施例１〜２、比較例１〜４、６は「○」であり、比較例５は「△」である。
【００８２】
したがって、背景のパターンが多様である場合、実施例１、２、比較例１〜４、６が好適である。
【００８３】
評価項目「重なり等」は、重なり合う物品の検出性能に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、被写体として含まれる物品の領域が重なり合う原画像を入力することにより行った。実施例１〜２、比較例１〜４は「○」であり、比較例５〜６は「△」である。
【００８４】
したがって、検査対象の物品を含む領域が重なり合う原画像を用いる場合には、実施例１〜２、比較例１〜４が好適である。
【００８５】
評価項目「相似」は、各物品を含む領域の形状が同一かつサイズが均一でない場合の物品の検出性能に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、被写体として含まれる各物品の領域の形状が同一かつサイズが均一でない原画像を入力することにより行った。実施例１〜２、比較例１〜５は「○」であり、比較例６は「×」である。
【００８６】
したがって、各物品を含む領域サイズが均一でない原画像を用いる場合には、実施例１〜２、比較例１〜５が好適である。
【００８７】
評価項目「形」は、各物品の形状が均一でない場合の物品の検出性能に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、被写体として含まれる各物品の形状が均一でない原画像を入力することにより行った。実施例１〜２、比較例１〜５は「○」であり、比較例６は「×」である。
【００８８】
したがって、各物品の形状が均一でない原画像を用いる場合には、実施例１〜２、比較例１〜５が好適である。
【００８９】
評価項目「色等」は、各物品の色等が均一でない場合の物品の検出性能に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、被写体として含まれる各物品の色等が均一でない原画像を入力することにより行った。実施例１〜２、比較例１〜４、６は「○」であり、比較例５は「△」である。
【００９０】
したがって、各物品の色等が均一でない原画像を用いる場合には、実施例１〜２、比較例１〜４、６が好適である。
【００９１】
評価項目「形×色」は、各物品の形状及び色が均一でない場合の物品の検出性能に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、被写体として含まれる各物品の形状及び色が均一でない原画像を入力することにより行った。実施例１〜２、比較例３〜４は「○」であり、比較例１〜２は「△」であり、比較例５〜６は「×」である。
【００９２】
したがって、各物品の形状及び色が均一でない原画像を用いる場合には、実施例１〜２、比較例３〜４が好適である。
【００９３】
評価項目「速度」は、大きな画像サイズの原画像が入力された場合の処理速度に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、画像サイズが異なる複数の原画像を入力することにより行った。実施例１〜２、比較例５〜６は「○」であり、比較例１〜４は「△」である。評価項目「速度」の詳細については、図面を変えて後述する。
【００９４】
したがって、高解像度の原画像が入力される場合、実施例１〜２、比較例５〜６が好適である。
【００９５】
次に、評価項目「画像サイズ」の詳細を、図１１（ａ）を参照して説明する。図１１（ａ）は、実施例１〜２、比較例１〜４について、原画像の画像サイズに応じたメモリ使用量を比較したグラフである。当該グラフによれば、比較例１〜４は、実施例１〜２に対して、原画像の画像サイズが約１０６を超えると、画像サイズが大きいほど多くのメモリを使用している。
【００９６】
次に、評価項目「速度」の詳細を、図１１（ｂ）を参照して説明する。図１１（ｂ）は、実施例１〜２、比較例１〜４について、原画像の画像サイズに応じた処理時間を比較したグラフである。当該グラフによれば、比較例１〜４は、実施例１〜２に対して、原画像の画像サイズが約１０６を超えると、画像サイズが大きいほど処理時間が長くなる。
【００９７】
図１２（ａ）は、特定処理においてＳＳＤを利用する場合（例えば実施例１）、及びＹＯＬＯｖ３を利用する場合（例えば実施例２）について、原画像の画像サイズに応じた物品の検出数を比較したグラフである。画像サイズが１０４を超える場合、ＹＯＬＯｖ３の方が、ＳＳＤに比べて検出数が多くなっている。
【００９８】
図１２（ｂ）は、特定処理においてＳＳＤを利用する場合（例えば実施例１）、及びＹＯＬＯｖ３を利用する場合（例えば実施例２）について、物品が被写体として含まれる領域の縦横比に応じた物品の検出正解率を比較したグラフである。当該グラフによれば、ＳＳＤの検出正解率は、縦横比に関わらず１００％である。また、ＹＯＬＯｖ３の検出正解率は、縦横比が１．２以上の場合１００％である。また、ＹＯＬＯｖ３の検出正解率は、縦横比が１．２未満の場合、縦横比が小さいほど（すなわち、正方形に近いほど）約５０％を下限に低下する。したがって、縦横比が１．２以上の場合、ＳＳＤ及びＹＯＬＯｖ３のどちらを用いてもよいが、縦横比が１．２未満の場合、ＹＯＬＯｖ３よりもＳＳＤを用いることが好ましい。
【００９９】
以上、図１０〜図１２に示したように、比較例１〜６は、一部の評価項目について好適とは言えないが、実施例１〜２は、上述した全ての評価項目について好適である。したがって、実施例１〜２は、比較例１〜６と比較して、優れていることがわかる。また、図９に示したように、４６００×３５００ピクセルの原画像を用いる場合、画像サイズが１０６を超えるため、実施例１〜２を用いることにより、メモリ使用量を抑え、高速に処理できる。また、図９に示したように、検査対象の物品（圧着端子）を含む領域が縦横比１．２以上の長方形である場合、実施例１、２のどちらを用いても構わない。また、実施形態１の変形例３で述べたように、実施例１、２の特定処理において、ＳＳＤ又はＹＯＬＯｖ３を用いる代わりに、テンプレートマッチングや二値化処理など、学習済みモデルによらない手法を用いてもよい。
【０１００】
なお、実施形態２の検査装置２は、圧着端子の代わりに、半導体レーザチップやプリント回路基板などを検査対象とすることもできる。
【０１０１】
また、実施形態１の分類装置１は、複数の車両を被写体として含む原画像を入力として、各車両の車種クラスを判別する用途に用いることができる。
【０１０２】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【０１０３】
１  分類装置
２  検査装置
２０  入力装置
３０  出力装置
１０  バス
１１  主メモリ
１２  プロセッサ
１３  補助メモリ
１４  入出力インターフェース
１０１  生成部
１０２  特定部
１０３  分類器
１０４  表示部
【図１】
2020042754.tif 000003
【図２】
2020042754.tif 000004
【図３】
2020042754.tif 000005
【図４】
2020042754.tif 000006
【図５】
2020042754.tif 000007
【図６】
2020042754.tif 000008
【図７】
2020042754.tif 000009
【図８】
2020042754.tif 000010
【図９】
2020042754.tif 000011
【図１０】
2020042754.tif 000012
【図１１】
2020042754.tif 000013
【図１２】
2020042754.tif 000014