(57)【要約】  学習モデル生成装置は、プロセッサを備え、前記プロセッサは、識別対象が撮像された第１画像を取得し、第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像を取得し、少なくとも取得した第１画像及び第２画像に基づいて識別対象を識別するための学習モデルを生成する。
2020111048.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサを備え、
前記プロセッサは、
識別対象が撮像された第１画像を取得し、
前記第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像を取得し、
少なくとも取得した第１画像及び第２画像に基づいて識別対象を識別するための学習モデルを生成する学習モデル生成装置。
【請求項２】
前記プロセッサは、
所定の第１画像に基づいて前記学習モデルが出力する第２画像を表示し、
表示した第２画像の編集操作を受け付け、
少なくとも前記所定の第1画像及び編集操作を受け付けた第２画像に基づいて前記学習モデルを更新する請求項１に記載の学習モデル生成装置。
【請求項３】
前記プロセッサは、
前記第２画像の特定のラベルに対応する画素を、該画素に対応する前記所定の第１画像の画素で置き換え、
画素が置き換えられた第２画像を表示する請求項２に記載の学習モデル生成装置。
【請求項４】
前記プロセッサは、
前記第１画像の画素に対応させた少なくとも三値のラベルで識別対象を特定する請求項１に記載の学習モデル生成装置。
【請求項５】
前記プロセッサは、
前記第１画像の画素に対応させたラベルであって、識別対象でない領域であることを示す第１ラベル、識別対象の境界を含む領域であることを示す第２ラベル、及び識別対象の領域であることを示す第３ラベルを含むラベルで識別対象を特定する第２画像を取得する請求項４に記載の学習モデル生成装置。
【請求項６】
前記プロセッサは、
前記第１画像の画素に対応させたラベルであって、識別対象の領域であることを示す少なくとも２種類の第３ラベルを含むラベルで識別対象を特定する第２画像を取得する請求項５に記載の学習モデル生成装置。
【請求項７】
前記プロセッサは、
前記第１画像の画素に対応させた少なくとも三値のラベルで識別対象の領域であって識別対象の形状に基づく識別対象の種類を特定する第２画像を取得する請求項４に記載の学習モデル生成装置。
【請求項８】
前記プロセッサは、
前記第１画像の画素に対応させたラベルで学習範囲外であることを特定する第２画像を取得する請求項１から請求項７のいずれか一項に記載の学習モデル生成装置。
【請求項９】
前記プロセッサは、
識別対象が識別された第３画像を取得し、
前記第３画像の画素に対応させたラベルで識別対象の形状に基づく識別対象の種類を特定する第４画像を取得し、
少なくとも取得した第３画像及び第４画像に基づいて識別対象の種類を識別するための学習モデルを生成する請求項１から請求項８のいずれか一項に記載の学習モデル生成装置。
【請求項１０】
プロセッサを備え、
前記プロセッサは、
入力画像を取得し、
少なくとも識別対象が撮像された第１画像、及び第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像に基づいて生成された学習モデルに、取得した入力画像を入力し、
前記学習モデルが出力する識別結果に基づいて、複数の識別対象を含む出力画像を表示する表示装置。
【請求項１１】
前記プロセッサは、
少なくとも識別対象が識別された第３画像、及び第３画像の画素に対応させたラベルで識別対象の形状に基づく識別対象の種類を特定する第４画像に基づいて生成された学習モデルに、取得した入力画像を入力し、
前記学習モデルが出力する識別結果に基づいて、前記出力画像の識別対象の形状に基づく識別対象の種類を識別可能に表示する請求項１０に記載の表示装置。
【請求項１２】
前記プロセッサは、
前記出力画像の識別対象の長径及び短径の少なくとも一つを表示する請求項１０又は請求項１１に記載の表示装置。
【請求項１３】
前記プロセッサは、
前記出力画像の識別対象の長径を示す線分及び短径を示す線分を表示する請求項１０から請求項１２のいずれか一項に記載の表示装置。
【請求項１４】
前記プロセッサは、
前記出力画像の識別対象の長径と短径との比を表示する請求項１０から請求項１３のいずれか一項に記載の表示装置。
【請求項１５】
前記プロセッサは、
前記出力画像の複数の識別対象についての所要の属性を選択する操作を受け付け、
選択された属性の分布情報を表示する請求項１０から請求項１４のいずれか一項に記載の表示装置。
【請求項１６】
前記属性は、識別対象の長径、短径及び面積径の少なくとも一つを含む請求項１５に記載の表示装置。
【請求項１７】
前記プロセッサは、
前記出力画像の複数の識別対象の全部又は一部を識別可能に表示する請求項１０から請求項１６のいずれか一項に記載の表示装置。
【請求項１８】
前記プロセッサは、
前記識別対象の領域を表示する請求項１７に記載の表示装置。
【請求項１９】
前記プロセッサは、
前記識別対象の重心を表示する請求項１７又は請求項１８に記載の表示装置。
【請求項２０】
前記プロセッサは、
隣接する識別対象を異なる表示態様で表示する請求項１７から請求項１９のいずれか一項に記載の表示装置。
【請求項２１】
前記プロセッサは、
前記識別対象の重心から境界に向かう波動アニメーションを表示する請求項１７から請求項２０のいずれか一項に記載の表示装置。
【請求項２２】
コンピュータに、
識別対象が撮像された第１画像を取得する処理と、
前記第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像を取得する処理と、
少なくとも取得した第１画像及び第２画像に基づいて識別対象を識別するための学習モデルを生成する処理と
を実行させるコンピュータプログラム。
【請求項２３】
コンピュータに、
入力画像を取得する処理と、
少なくとも識別対象が撮像された第１画像、及び第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像に基づいて生成された学習モデルに、取得した入力画像を入力する処理と、
前記学習モデルが出力する識別結果に基づいて、複数の識別対象を含む出力画像を表示する処理と
を実行させるコンピュータプログラム。
【請求項２４】
識別対象が撮像された第１画像を取得し、
前記第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像を取得し、
少なくとも取得した第１画像及び第２画像に基づいて識別対象を識別するための学習モデルを生成する学習モデル生成方法。
【請求項２５】
入力画像を取得し、
少なくとも識別対象が撮像された第１画像、及び第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像に基づいて生成された学習モデルに、取得した入力画像を入力し、
前記学習モデルが出力する識別結果に基づいて、複数の識別対象を含む出力画像を表示する表示方法。
【請求項２６】
プロセッサを備え、
前記プロセッサは、
顕微鏡によって粒子が撮影された第１画像を取得し、
前記第１画像の画素に対応させた二値画像を取得し、
取得した二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する第２画像を生成し、
前記第１画像及び第２画像に基づいて、顕微鏡によって粒子が撮影された入力画像から粒子、境界及び背景を含む出力画像を出力する学習モデルを生成する学習モデル生成装置。
【請求項２７】
前記プロセッサは、
顕微鏡によって粒子が撮影された元画像の複数の矩形領域毎の輝度分散及び周波数分散の少なくとも一方を算出し、
算出した輝度分散及び周波数分散の少なくとも一方に基づいて前記第１画像を選定する請求項１から請求項３、又は請求項２６のいずれか一項に記載の学習モデル生成装置。
【請求項２８】
前記プロセッサは、
前記第１画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示し、
前記マスク画像に対して境界を付加する編集操作を受け付け、
受け付けた境界が付加された前記第２画像を生成する請求項２６又は請求項２７に記載の学習モデル生成装置。
【請求項２９】
前記プロセッサは、
顕微鏡によって粒子が撮影された入力画像、及び前記入力画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像を取得し、
取得した入力画像及び第２画像に基づいて前記学習モデルを再学習する請求項２６から請求項２８のいずれか一項に記載の学習モデル生成装置。
【請求項３０】
プロセッサを備え、
前記プロセッサは、
顕微鏡によって粒子が撮影された入力画像を取得し、
顕微鏡によって粒子が撮影された第１画像、及び前記第１画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像に基づいて生成された学習モデルに、取得した入力画像を入力し、
粒子、境界及び背景を含む出力画像を前記学習モデルから出力する粒子識別装置。
【請求項３１】
前記プロセッサは、
取得した入力画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像を受け付け、
取得した入力画像及び受け付けた第２画像を出力する請求項３０に記載の粒子識別装置。
【請求項３２】
前記プロセッサは、
前記第１画像としての前記取得した入力画像及び受け付けた第２画像に基づいて前記学習モデルを再学習する請求項３０又は請求項３１に記載の粒子識別装置。
【請求項３３】
前記プロセッサは、
取得した入力画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示し、
前記マスク画像に対して境界を付加する編集操作を受け付け、
受け付けた境界が付加された前記第２画像を生成する請求項３０から請求項３２のいずれか一項に記載の粒子識別装置。
【請求項３４】
コンピュータに、
顕微鏡によって粒子が撮影された第１画像を取得する処理と、
前記第１画像の画素に対応させた二値画像を取得する処理と、
取得した二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する第２画像を生成する処理と、
前記第１画像及び第２画像に基づいて、顕微鏡によって粒子が撮影された入力画像から粒子、境界及び背景を含む出力画像を出力する学習モデルを生成する処理と
を実行させるコンピュータプログラム。
【請求項３５】
コンピュータに、
顕微鏡によって粒子が撮影された入力画像を取得する処理と、
顕微鏡によって粒子が撮影された第１画像、及び前記第１画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像に基づいて生成された学習モデルに、取得した入力画像を入力する処理と、
粒子、境界及び背景を含む出力画像を前記学習モデルから出力する処理と
を実行させるコンピュータプログラム。
【請求項３６】
顕微鏡によって粒子が撮影された第１画像を取得し、
前記第１画像の画素に対応させた二値画像を取得し、
取得された二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する第２画像を生成し、
前記第１画像及び第２画像に基づいて、顕微鏡によって粒子が撮影された入力画像から粒子、境界及び背景を含む出力画像を出力する学習モデルを生成する学習モデル生成方法。
【請求項３７】
顕微鏡によって粒子が撮影された入力画像を取得し、
顕微鏡によって粒子が撮影された第１画像、及び前記第１画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像に基づいて生成された学習モデルに、取得された入力画像を入力し、
粒子、境界及び背景を含む出力画像を前記学習モデルから出力する粒子識別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コンピュータプログラム、学習モデル生成装置、表示装置、粒子識別装置、学習モデル生成方法、表示方法及び粒子識別方法に関する。
【背景技術】
【０００２】
化学などの工業の様々な分野で粉体（粉粒体ともいう）が用いられている。粉体は、粉、粒などの主にマイクロオーダからナノオーダの微粒子の集合体を指す。粉体は、産業材料の広い範囲で用いられ、粉体として扱われる主な物質には、例えば、食品、研磨剤、セメント、セラミクス、磁性体、顔料、化粧品など多岐に亘る。微粒子の形状特性（例えば、粒子径、粒子径分布、形状など）によって、粉体としての性質が変わるため、産業材料として扱うには、個々の粒子の特性を制御することが重要になる。【０００３】
また、産業材料の他の例として、高分子がエレクトロニクス、医薬、バイオなどの様々な分野で使用されている。高分子材料を用いる場合には、内部構造や物性の制御だけでなく、表面や界面を制御することが重要になる。このような粉体や物質の表面の測定には、走査電子顕微鏡（ＳＥＭ：Scanning Electron Microscope）をはじめ、種々の顕微鏡が用いられている。【０００４】
特許文献１には、電子顕微鏡で撮影された画像に対して所要の画像処理を行う画像処理システムが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２００７６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、電子顕微鏡で撮影された画像は、撮影対象物（例えば、粉体、物質の表面など）の形状に応じて輝度値が変化し、例えば、球状の対象物では、輝度ヒストグラムが低輝度から高輝度にかけて幅広く分布する。また、対象物の表面全体が傾斜している場合、画像内で対象物と定義できるヒストグラム範囲を設定することが困難になる。さらに、対象物が複雑、あるいは不規則な形状の場合、画像内で対象物を検出することが困難になる。【０００７】
本開示は、斯かる事情に鑑みてなされたものであり、識別対象を容易に検出することができるコンピュータプログラム、学習モデル生成装置、表示装置、粒子識別装置、学習モデル生成方法、表示方法及び粒子識別方法を明らかにする。
【課題を解決するための手段】
【０００８】
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、学習モデル生成装置は、プロセッサを備え、前記プロセッサは、識別対象が撮像された第１画像を取得し、前記第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像を取得し、少なくとも取得した第１画像及び第２画像に基づいて識別対象を識別するための学習モデルを生成する。
【発明の効果】
【０００９】
本開示によれば、識別対象を容易に検出することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態の画像識別装置の構成の一例を示すブロック図である。
【図２】検出モデルの生成処理の第１例を示す模式図である。
【図３】第１画像である学習用入力画像及び対応する第２画像であるラベル画像の第１例を示す説明図である。
【図４】画像識別装置による学習モデルを生成する場合の表示画面の一例を示す模式図である。
【図５】第１画像である学習用入力画像の一例を示す説明図である。
【図６】第１画像である評価画像の一例を示す説明図である。
【図７】学習進捗グラフの一例を示す模式図である。
【図８】編集画面の一例を示す模式図である。
【図９】編集処理によって修正された第１画像の一部を第２画像に重畳させた（置き換えた）ラベル画像の一例を示す模式図である。
【図１０】第１画像である学習用入力画像及び対応する第２画像であるラベル画像の第２例を示す説明図である。
【図１１】第１画像である学習用入力画像及び対応する第２画像であるラベル画像の第３例を示す説明図である。
【図１２】分類モデルの生成処理の一例を示す模式図である。
【図１３】第１画像である学習用入力画像及び対応する第２画像であるラベル画像の第４例を示す説明図である。
【図１４】第３画像である学習用入力画像及び対応する第４画像であるラベル画像の第５例を示す説明図である。
【図１５】粒子識別処理の第１例を示す模式図である。
【図１６】画像識別装置による粒子を検出する場合の表示画面の一例を示す模式図である。
【図１７】粒子検出が完了した場合の表示画面の第１例を示す模式図である。
【図１８】粒子検出が完了した場合の表示画面の第２例を示す模式図である。
【図１９】粒径グラフの一例を示す模式図である。
【図２０】粒子検出が完了した場合の表示画面の第３例を示す模式図である。
【図２１】粒子検出が完了した場合の表示画面の第４例を示す模式図である。
【図２２】出力画像の第２例を示す模式図である。
【図２３】出力画像の第３例を示す模式図である。
【図２４】出力画像の第４例を示す模式図である。
【図２５】出力画像の第５例を示す模式図である。
【図２６】出力画像の第６例を示す模式図である。
【図２７】画像識別装置による学習処理手順の一例を示すフローチャートである。
【図２８】画像識別装置による粒子の検出処理手順の一例を示すフローチャートである。
【図２９】画像識別装置による粒子の分類処理手順の一例を示すフローチャートである。
【図３０】検出モデルの生成処理の第２例を示す模式図である。
【図３１】第１画像である学習用入力画像及び対応する第２画像であるラベル画像の第６例を示す説明図である。
【図３２】粒子識別処理の第２例を示す模式図である。
【図３３】編集画面の他の例を示す模式図である。
【図３４Ａ】マスク表示・半透明モードの表示方法の概要を示す模式図である。
【図３４Ｂ】マスク表示・半透明モードの表示方法の概要を示す模式図である。
【図３４Ｃ】マスク表示・半透明モードの表示方法の概要を示す模式図である。
【図３４Ｄ】マスク表示・半透明モードの表示方法の概要を示す模式図である。
【図３４Ｅ】マスク表示・半透明モードの表示方法の概要を示す模式図である。
【図３５】切り出し画像の輝度分散及び周波数分散の分布の一例を示す模式図である。
【図３６Ａ】切り出し画像の一例を示す模式図である。
【図３６Ｂ】切り出し画像の一例を示す模式図である。
【図３６Ｃ】切り出し画像の一例を示す模式図である。
【図３７】第１画像の選定画面の一例を示す模式図である。
【図３８】画像識別装置による三値のラベル画像を用いた学習処理手順の一例を示すフローチャートである。
【図３９】画像識別装置による粒子の検出処理手順の他の例を示すフローチャートである。
【図４０】本実施の形態の画像識別装置の構成の他の例を示すブロック図である。
【図４１Ａ】粒子と背景とで二値化した場合の評価結果の一例を示す模式図である。
【図４１Ｂ】粒子と背景とで二値化した場合の評価結果の一例を示す模式図である。
【図４１Ｃ】粒子と背景とで二値化した場合の評価結果の一例を示す模式図である。
【図４１Ｄ】粒子と背景とで二値化した場合の評価結果の一例を示す模式図である。
【図４１Ｅ】粒子と背景とで二値化した場合の評価結果の一例を示す模式図である。
【図４２Ａ】粒子と境界及び背景とで二値化した場合の評価結果の一例を示す模式図である。
【図４２Ｂ】粒子と境界及び背景とで二値化した場合の評価結果の一例を示す模式図である。
【図４２Ｃ】粒子と境界及び背景とで二値化した場合の評価結果の一例を示す模式図である。
【図４２Ｄ】粒子と境界及び背景とで二値化した場合の評価結果の一例を示す模式図である。
【図４２Ｅ】粒子と境界及び背景とで二値化した場合の評価結果の一例を示す模式図である。
【図４３Ａ】境界と境界以外とで二値化した場合の評価結果の一例を示す模式図である。
【図４３Ｂ】境界と境界以外とで二値化した場合の評価結果の一例を示す模式図である。
【図４３Ｃ】境界と境界以外とで二値化した場合の評価結果の一例を示す模式図である。
【図４３Ｄ】境界と境界以外とで二値化した場合の評価結果の一例を示す模式図である。
【図４３Ｅ】境界と境界以外とで二値化した場合の評価結果の一例を示す模式図である。
【図４４Ａ】粒子、境界及び背景とで三値化した場合の評価結果の一例を示す模式図である。
【図４４Ｂ】粒子、境界及び背景とで三値化した場合の評価結果の一例を示す模式図である。
【図４４Ｃ】粒子、境界及び背景とで三値化した場合の評価結果の一例を示す模式図である。
【図４４Ｄ】粒子、境界及び背景とで三値化した場合の評価結果の一例を示す模式図である。
【図４４Ｅ】粒子、境界及び背景とで三値化した場合の評価結果の一例を示す模式図である。
【図４５Ａ】お好み焼き粉の検出結果の一例を示す模式図である。
【図４５Ｂ】お好み焼き粉の検出結果の一例を示す模式図である。
【図４６Ａ】重曹の検出結果の一例を示す模式図である。
【図４６Ｂ】重曹の検出結果の一例を示す模式図である。
【図４７Ａ】片栗粉の検出結果の一例を示す模式図である。
【図４７Ｂ】片栗粉の検出結果の一例を示す模式図である。
【図４８Ａ】食卓塩の検出結果の一例を示す模式図である。
【図４８Ｂ】食卓塩の検出結果の一例を示す模式図である。
【図４９Ａ】モスアイフィルムの検出結果の一例を示す模式図である。
【図４９Ｂ】モスアイフィルムの検出結果の一例を示す模式図である。
【図５０Ａ】食品容器用シリカ粒入り蓋材の検出結果の一例を示す模式図である。
【図５０Ｂ】食品容器用シリカ粒入り蓋材の検出結果の一例を示す模式図である。
【図５１】画像識別装置の第１利用形態を示す模式図である。
【図５２】画像識別装置の第２利用形態を示す模式図である。
【図５３】画像識別装置の第３利用形態を示す模式図である。
【発明を実施するための形態】
【００１１】
以下、本開示の実施の形態を図面に基づいて説明する。図１は本実施の形態の画像識別装置１００の構成の一例を示すブロック図である。画像識別装置１００は、学習モデル生成装置、表示装置及び粒子識別装置としての機能を有する。画像識別装置１００は、識別対象を検出するとともに、識別対象を分類することができる。
【００１２】
識別対象は、観察目的に応じ様々に設定し得る。例えば、様々な分野で工業材料として用いられている粉体（粉粒体ともいう）を含む。粉体として扱われる主な物質には、例えば、食品（小麦粉、調味料など）、研磨剤、セメント、セラミクス、磁性体、磁気材料、顔料、塗料、化粧品など多岐に亘る。また、識別対象には、エレクトロニクス、医薬、バイオなどの様々な分野で使用されている高分子材料や金属材料等が有する特定の形状や模様も含まれる。このような識別対象を測定する場合、例えば、走査電子顕微鏡などの各種顕微鏡を用いてデータを画像化する。撮像された識別対象は、複雑な形状や模様、あるいは不規則な形状や模様をしているが、本実施の形態の画像識別装置１００は、識別対象の検出や分類を容易に行うことができる。特に識別対象が複数存在する画像での適用が好ましい。以下、本明細書では、識別対象として、粒子（粉体）を例として説明する。
【００１３】
画像識別装置１００は、装置全体を制御する制御部１０、入力部１１、操作部１２、検出処理部１３、分類処理部１４、編集処理部１５、出力処理部１６、表示パネル１７、学習処理部２０、及び記憶部３０を備える。学習処理部２０は、学習データ入力部２１、検出パラメータ学習部２２、分類パラメータ学習部２３、及びモデルファイル出力部２４を備える。記憶部３０は、学習モデルとしての検出モデルファイル３１及び分類モデルファイル３２、並びに学習データ３３などを保存する。
【００１４】
制御部１０は、ＣＰＵ、ＲＯＭ及びＲＡＭなどで構成することができる。
【００１５】
入力部１１は、取得部としての機能を有し、入力画像を取得する。入力画像は、粒子の状態が未知の画像であり、粒子の検出又は分類を必要とする画像である。
【００１６】
操作部１２は、例えば、キーボード、マウス、タッチパッド又はタッチパネル等で構成され、表示パネル１７に表示される画像に対する編集処理の操作を受け付けることができる。
【００１７】
検出処理部１３は、入力処理部としての機能を有し、検出モデルファイル３１に、入力部１１で取得した入力画像を入力することにより、粒子を検出する。
【００１８】
分類処理部１４は、入力処理部としての機能を有し、分類モデルファイル３２に、入力部１１で取得した入力画像を入力することにより、粒子の種類を分類する。
【００１９】
出力処理部１６は、表示処理部としての機能を有し、検出モデルファイル３１が出力する粒子の識別結果と入力画像とを重ね合わせることにより、複数の粒子を含む出力画像を出力する。また、出力処理部１６は、分類モデルファイル３２が出力する粒子の識別結果と入力画像とを重ね合わせることにより、複数の粒子を含む出力画像を出力する。
【００２０】
編集処理部１５は、操作部１２で受け付けた編集操作に応じて、表示パネル１７に表示した画像に対する編集処理を行うことができる。
【００２１】
表示パネル１７は、液晶ディスプレイ又は有機ＥＬディスプレイなどで構成することができる。なお、表示パネル１７に代えて、外部の表示装置を画像識別装置１００に接続するようにしてもよい。
【００２２】
次に、画像識別装置１００の学習処理について説明する。
【００２３】
図２は検出モデルの生成処理の第１例を示す模式図である。図２に示すように、予め多層のニューラルネットワーク（深層学習）により作成された検出モデルファイルを用意しておく。検出モデルファイルには、例えば、粒子の内部と粒子の外部とを識別するための複数層からなるニューラルネットワーク構成及び各層のニューロンの重み係数が格納されている。
【００２４】
学習データ入力部２１は、第１取得部及び第２取得部としての機能を有し、学習用入力画像及びラベル画像を取得する。
【００２５】
検出パラメータ学習部２２は、生成部としての機能を有し、検出モデルに、学習用入力画像及びラベル画像を入力することにより、各層のニューロンの重み係数を再計算して検出モデルを生成し、検出モデルファイルとして出力し、記憶部３０に保存することができる。上述の構成により、粒子が未知の入力画像が検出モデルに入力されると、検出モデルは、入力画像上の各画素が粒子であるか否かを識別するので、入力画像上の粒子を容易に検出することができる。
【００２６】
図３は第１画像である学習用入力画像及び対応する第２画像であるラベル画像の第１例を示す説明図である。学習用入力画像は、第１画像と称され、識別対象である粒子が撮像された画像であって、学習モデルを生成又は更新する際に用いられる画像である。図３の例では、学習用入力画像には、サイズの異なる多数の粒子が密集した状態で映し出されている。ラベル画像は、第２画像と称され、学習用入力画像を構成する画素に対応する画素にラベルが対応付けられた画像であり、当該ラベルで識別対象を特定する（例えば、識別対象である否かを特定する）。ラベルは、少なくとも二値であり、例えば、図２に示すように、ラベル＝０を背景（識別対象ではない領域）とし、ラベル＝１を粒子（識別対象である領域）とすることができる。
【００２７】
図４は画像識別装置１００による学習モデルを生成する場合の表示画面の一例を示す模式図である。表示画面には、メニューとしての画像選択アイコン２２１、粒子検出アイコン２２２、レポート出力アイコン２２３、モデル作成アイコン２２４、終了アイコン２２５が表示される。以下では、モデル作成アイコン２２４が選択された状態を説明する。
【００２８】
コンボボックス２０１を開くことにより、学習モデルを生成する際に、予め作成された元のモデルファイルを選択することができる。学習用ファイルリスト２０２に学習用入力画像ファイルとラベル画像ファイルとの組を含むデータフォルダをドラッグ・アンド・ドロップすることにより、学習用データを選択することができる。評価用ファイルリスト２０３に、評価用データファイルを含むデータフォルダをドラッグ・アンド・ドロップすることにより、評価用データを選択することができる。
【００２９】
パラメータアイコン２２６を操作することにより、学習時のパラメータを設定することができる。パラメータは、例えば、学習の試行回数、何回毎にテストするかの回数、重み係数の更新に用いるサンプル数であるミニバッチ数、重み係数を更新する割合を示す学習率などとすることができる。
【００３０】
学習開始アイコン２２７を操作することにより、学習モデルの生成を開始する。学習開始アイコン２２７の右横には、残り時間２２８が表示される。学習処理は、一時停止、再開及び停止アイコン２２９により制御できる。
【００３１】
図５は第１画像である学習用入力画像の一例を示す説明図であり、図６は第１画像である評価画像の一例を示す説明図である。学習画像領域２０５には、学習用入力画像が表示される。学習用入力画像の所要の領域を、例えば矩形状の枠で特定することにより、学習画像（拡大）領域２０６に学習用入力画像の枠内の画像が拡大されて表示される。テスト結果（拡大）領域２０７には、テスト結果の画像を表示することができる。評価画像領域２０８には、評価用入力画像が表示される。評価用入力画像の所要の領域を、例えば矩形状の枠で特定することにより、評価画像（拡大）領域２０９に評価用入力画像の枠内の画像が拡大されて表示される。評価結果（拡大）領域２１０には、評価結果の画像を表示することができる。
【００３２】
評価画像（拡大）領域２０９の下側には、選択された学習用入力画像、評価用入力画像の正解個数が表示される。
【００３３】
図７は学習進捗グラフの一例を示す模式図である。学習進捗グラフ領域２０４には、図７に示すようなグラフを表示することができる。図７において、横軸は試行回数を示し、縦軸は適応率（正解率）を示す。これにより、学習の進捗を把握することができる。
【００３４】
評価画像を確認して、ラベル画像を修正する必要がある場合には、以下のようにすることができる。すなわち、修正したいラベル画像が含まれるデータフォルダを学習用ファイルリスト２０２にドラッグ・アンド・ドロップし、学習用ファイルリスト２０２内のラベル画像を選択し、学習画像編集アイコン２３０を操作する。ラベル画像を修正する場合、学習用入力画像（所定の第１画像に相当）は、学習モデルを学習する際に入力された学習用入力画像でもよく、全く異なる学習用入力画像（例えば、学習モデルの学習に用いられていない画像）でもよい。
【００３５】
図８は編集画面の一例を示す模式図である。図８の例では、学習用入力画像２４２のうち枠で囲まれた部分が拡大されて修正画像領域２４１に表示される。修正画像領域２４１には、学習モデルが出力したラベル画像として、少なくとも二値で表示されるラベル画像を表示するようにしてもよいが、二値で表示されるラベル画像の画素のうち特定のラベルの画素（図８の例では、ラベル＝１の画素）を、当該画素に対応する学習用入力画像の特定の一部の画素（図８の例では、ラベル＝１つまり粒子に対応する学習入力画像の画素）に置き換えて表示するようにしてもよい。第２画像として、特定のラベルが割り当てられた第２画像の画素に対応する第１画像の画素に変えて表示することにより、元の画像である第１画像の画素の情報（例えば、画素値である輝度値の分布等）を参照しつつ学習結果の修正ができるようになる。なお、ここで示したラベル画像は、学習入力画像上にラベル画像のうちラベル＝０つまり背景に対応する画素を置き換えて表示されるように作成してもよい。編集操作アイコン２４３により、例えば、ラベル画像の表示・非表示の切替、編集モード（消しゴム・ペン）の変更、消しゴム・ペンの大きさの変更、ラベル画像の表示色の変更などを行うことができる。
【００３６】
図９は編集処理によって修正された第１画像の一部を第２画像に重畳させた（置き換えた）ラベル画像の一例を示す模式図である。図８に示すラベル画像と図９に示すラベル画像とを対比すると、図８において、符号Ｓで示す領域の画素（図では暗い部分：粒子）は、図９では消されて、明るい部分、すなわち背景を示すラベルに修正されている。また、図８では明るい部分、すなわち背景を示すラベルが、図９において、符号Ｓで示す領域のラベル（図では暗い部分：粒子）に修正されている。
【００３７】
ラベルを修正後、保存アイコン２４４を操作することにより、ラベル画像が上書き保存される。モデル作成アイコン２２４を操作することにより、図４に示す表示画面に戻る。ここで、ラベル画像として、二値で表示されるラベル画像の画素のうち特定のラベルの画素を、当該画素に対応する学習用入力画像の特定の一部の画素（ラベル＝１つまり粒子に対応する学習入力画像の画素）に置き換えて表示されたラベル画像上での操作を説明してきたが、上述のように、あくまで画像識別装置の内部の処理としては、二値のラベル画像に対する修正を指示するように処理される。
【００３８】
評価画像を確認して、結果が良ければ、学習モデル保存アイコン２３１を操作することにより、学習モデルが生成され、モデルファイルが記憶部３０に保存される。学習が完了した状態でログ出力アイコン２３３を操作することにより、学習用入力画像及びラベル画像の組、学習進捗グラフ、元のモデルファイルなどを含むログを保存することができる。また、ログ読込アイコン２３２を操作することにより、保存したログを表示することができる。
【００３９】
上述のように、編集操作は、ラベル画像の画素の輝度値がラベルの値に対応して異なる場合、輝度値を修正する操作とすることができる。すなわち、編集操作により、ラベル画像のラベルを修正することができ、ラベル画像の一部の画素が正しいラベルでない場合、ラベルの値を修正して正しいラベル画像にすることができる。
【００４０】
学習モデルに学習用入力画像及び編集操作を受け付けたラベル画像（すなわち、正しくなったラベル画像）を入力することにより、ニューロンの重み係数を再計算して学習モデルを更新することができる。
【００４１】
上述の構成により、学習モデルを再学習することができ、学習モデルによる粒子の検出精度を向上させることができる。
【００４２】
上述の例では、ラベル画像は、ラベル＝０を粒子外部とし、ラベル＝１を粒子内部とするものであったが、ラベルはこれに限定されるものではない。
【００４３】
図１０は第１画像である学習用入力画像及び対応する第２画像であるラベル画像の第２例を示す説明図である。なお、図１０では、便宜上、粒子を拡大して表示している。実際には多数の粒子が密集した状態で映し出されている。ラベル画像は、学習用入力画像を構成する画素に対応させて、少なくとも三値のラベルで粒子を特定することができる。ラベルを二値から増やすことによって、粒子を特定するための情報量を増やすことができ、学習モデルが粒子を識別しやすくすることができ、粒子の検出精度を向上させることができる。特に、粒子内部は隣り合う画素値が比較的なだらかに変化することが多いことに対して、境界は、粒子と背景との境であって、粒子を表す画素値と背景を表す画素値に切り替わる箇所であり隣り合う画素値が鋭敏な変化をすることが多く、それぞれ別のラベルとして学習させることで、粒子の検出精度を向上させることができる。
【００４４】
より具体的には、図１０に示すように、ラベル画像は、学習用入力画像の画素に対応させたラベルを含み、ラベル＝０は、背景（識別対象でない領域）であることを示し、ラベル＝１は、境界（識別対象の領域と識別対象でない領域との境）であることを示し、ラベル＝２は、粒子（識別対象の領域）であることを示す。なお、図１０において、各ラベルの位置は、一例であって、図１０の例に限定されるものではない。
【００４５】
ここで境界（ラベル＝１）として、識別対象の境界と識別対象でない領域との境の領域を所定の幅を持たせながら指定できるようにすることで、どの特定の画素が粒子であるか否かを区別する境界部分を細かく指定することなく、学習モデルに粒子を識別させることができ、粒子の検出精度を向上させることができる。
【００４６】
図１１は第１画像である学習用入力画像及び対応する第２画像であるラベル画像の第３例を示す説明図である。なお、図１１でも、便宜上、粒子を拡大して表示している。実際には多数の粒子が密集した状態で映し出されている。ラベル画像は、学習用入力画像の画素に対応させたラベルを含み、少なくとも２種類のラベル（図１１の例では、ラベル＝２、３）によって、粒子の領域であることを示す。なお、図１１において、各ラベルの位置は、一例であって、図１１の例に限定されるものではない。
【００４７】
すなわち、ラベル画像は、学習用入力画像の画素に対応させたラベルを含み、ラベル＝０は、背景（識別対象でない領域）であることを示し、ラベル＝１は、境界（識別対象の領域と識別対象でない領域との境）であることを示し、ラベル＝２は、粒子の内部であって所定の特徴を有する第１内部であることを示し、ラベル＝３は、粒子の内部であって第１内部とは異なる所定の特徴を有する第２内部であることを示す。粒子の領域であっても、粒子の種類に応じて、領域内の輝度値や輝度値の分布が異なる場合がある。ラベル画像に少なくとも２種類の粒子内部を示すラベルを含めることにより、学習モデルは、粒子内部の輝度値の変化や輝度値の分布の違いを学習することができ、粒子の種類に関わらず、粒子の検出精度を向上させることができる。
【００４８】
また、図１１の例では、ラベル画像にラベル＝４（学習範囲外）を含めてもよい。学習用入力画像の中に学習モデルの生成に寄与しない画素が含まれる場合、当該画素に対応させて、学習範囲外のラベルを付与してラベル画像を用いることにより、学習モデルの学習量を抑制することができ、学習効率を向上させることができる。粒子内部、境界の他に、学習の対象外とする領域を設定することができ、学習モデルに与える情報の正確さを向上させることができ、粒子の検出精度を向上させることができる。
【００４９】
図１２は分類モデルの生成処理の一例を示す模式図である。図１２に示すように、予め多層のニューラルネットワーク（深層学習）により作成された分類モデルファイルを用意しておく。分類モデルファイルには、例えば、粒子の形状に基づいて粒子の種類を分類するための複数層からなるニューラルネットワーク構成及び各層のニューロンの重み係数が格納されている。
【００５０】
学習データ入力部２１は、第１画像である学習用入力画像及び対応する第２画像であるラベル画像を取得する。
【００５１】
分類パラメータ学習部２３は、生成部としての機能を有し、分類モデルに、第１画像である学習用入力画像及び対応する第２画像であるラベル画像を入力することにより、各層のニューロンの重み係数を再計算して分類モデルを生成し、分類モデルファイルとして出力し、記憶部３０に保存することができる。上述の構成により、粒子の形状が未知の入力画像が分類モデルに入力されると、分類モデルは、入力画像上の粒子の形状に基づいて粒子の種類を識別するので、入力画像上の粒子を容易に分類することができる。
【００５２】
図１３は第１画像である学習用入力画像及び対応する第２画像であるラベル画像の第４例を示す説明図である。なお、図１３でも、便宜上、粒子を拡大して表示している。実際には多数の粒子が密集した状態で映し出されている。また、実際には粒子の形状は複雑かつ不規則であるが、便宜上、粒子の形状を丸状、楕円状、三角状、四角状に分けて表示する。
【００５３】
ラベル画像において、ラベル＝０は、背景（識別対象でない領域）であることを示し、ラベル＝１は、粒子であって粒子の形状が第１形状（図では丸状）であることを示し、ラベル＝２は、粒子であって粒子の形状が第２形状（図では三角形状）であることを示し、ラベル＝３は、粒子であって粒子の形状が第３形状（図では楕円状）であることを示し、ラベル＝４は、粒子であって粒子の形状が第４形状（図では四角形状）であることを示す。なお、図１３において、各ラベルの位置は、一例であって、図１３の例に限定されるものではない。
【００５４】
すなわち、ラベル画像は、少なくとも三値のラベルによって、粒子であること及び当該粒子の形状に基づく粒子の種類を示す。分類モデルに第１画像である学習用入力画像及び対応する第２画像であるラベル画像を入力することにより、ニューロンの重み係数を再計算して分類モデルを生成する。これにより、粒子が未知の入力画像が分類モデルに入力されると、分類モデルは、入力画像上の粒子の形状を識別するので、入力画像上の粒子を識別し当該粒子を容易に分類することができる。粒子が複雑であって不規則な形状をしている場合でも、形状を識別することができ、粒子の形状に基づいて粒子を分類することができる。なお、分類モデルは、識別対象であること（粒子であること）と、識別対象の種類を分類すること（粒子の分類）を同時に行えるように学習される。
【００５５】
なお、図１３の例では、ラベル画像が、ラベル＝０〜４のラベルを含み、複数の異なる形状を同時に学習する構成であるが、これに限定されない。分類モデルを、識別対象であるか否かを識別した画像に基づいて当該識別対象の種類を分類するように学習することもできる。
【００５６】
学習データ入力部２１は、識別対象が識別された第３画像である学習用入力画像及び当該学習入力画像に対応して識別対象の種類が特定された第４画像であるラベル画像を取得する。
【００５７】
分類パラメータ学習部２３は、生成部としての機能を有し、分類モデルに、第３画像である学習用入力画像及び対応する第４画像であるラベル画像を入力することにより、各層のニューロンの重み係数を再計算して分類モデルを生成し、分類モデルファイルとして出力し、記憶部３０に保存することができる。上述の構成により、粒子の形状が未知の入力画像が分類モデルに入力されると、分類モデルは、入力画像上の粒子の形状に基づいて粒子の種類を識別するので、入力画像上の粒子を容易に分類することができる。
【００５８】
図１４は第３画像である学習用入力画像及び対応する第４画像であるラベル画像の第５例を示す説明図である。なお、図１４でも、便宜上、粒子を拡大して表示している。実際には多数の粒子が密集した状態で映し出されている。また、実際には粒子の形状は複雑かつ不規則であるが、便宜上、粒子の形状を丸状、楕円状、三角状、四角状に分けて表示する。
【００５９】
学習用入力画像は、第３画像と称され、識別対象である粒子が識別された画像であって、学習モデルを生成又は更新する際に用いられる画像である。第３画像は、粒子が識別された画像であればよく、前述した学習モデルが出力した少なくとも二値で表示されるラベル画像であってよい。さらに、学習入力画像として、識別対象が識別された第３画像に、当該第３画像に対応する識別対象が撮像された第１画像も合わせて設定するようにしてもよい。学習入力画像として、第３画像だけでなく第１画像を合わせて学習モデルに学習させることにより、粒子が識別された情報に加え、粒子、背景の画素値の分布の情報を加味し、粒子の識別を行うことができるようになる。
【００６０】
ラベル画像は、第４画像と称され、学習用入力画像を構成する画素に対応する画素にラベルが対応付けられた画像であり、当該ラベルで粒子の種類を特定する。ラベルは、粒子の形状に基づいて粒子の種類を示すことができるものであればよい。粒子の種類が分かれば、粒子を分類することができる。
【００６１】
ラベル画像において、ラベル＝１は、粒子の形状が第１形状（図では丸状）であることを示し、ラベル＝２は、粒子の形状が第２形状（図では三角形状）であることを示し、ラベル＝３は、粒子の形状が第３形状（図では楕円状）であることを示し、ラベル＝４は、粒子の形状が第４形状（図では四角形状）であることを示す。なお、ラベル＝０として背景（識別対象でない領域）であることを合わせて示すようにしてもよい。図１４において、各ラベルの位置は、一例であって、図１４の例に限定されるものではない。
【００６２】
学習用入力画像と、粒子の形状が丸状であるラベルだけを含むラベル画像とを用いて、丸状の粒子を検出できるように学習モデルを生成し、学習用入力画像と、粒子の形状が四角形状であるラベルだけを含むラベル画像とを用いて、四角形状の粒子を検出できるように学習モデルを生成し、学習用入力画像と、粒子の形状が三角形状であるラベルだけを含むラベル画像とを用いて、三角形状の粒子を検出できるように学習モデルを生成し、学習用入力画像と、粒子の形状が楕円状であるラベルだけを含むラベル画像とを用いて、楕円状の粒子を検出できるように学習モデルを生成してもよい。また、粒子を検出した結果の情報を元に、粒子の部分をひとつひとつ切り出した小画像を学習用入力画像とし、その小画像のひとつひとつに対し、ラベル０〜４のいずれかを対応させた情報を記載したテキストデータ等をラベル情報として、学習モデルを生成してもよい。
【００６３】
次に、画像識別装置１００の検出処理について説明する。
【００６４】
図１５は粒子識別処理の第１例を示す模式図である。入力画像を学習モデル（検出モデルファイル）に入力すると、学習モデルは、例えば、粒子と背景とを識別し、出力処理部１６は出力画像を出力する。また、入力画像を学習モデル（分類モデルファイル）に入力すると、学習モデルは、粒子の形状を識別して粒子の種類を分類し、出力処理部１６は出力画像を出力する。
【００６５】
図１６は画像識別装置１００による粒子を検出する場合の表示画面の一例を示す模式図である。図１６の例では、粒子検出アイコン２２２が操作されている。ファイルリスト２５１には、粒子を検出する入力画像のファイルが表示される。なお、処理する入力画像は、予めファイルリスト２５１に画像ファイルをドラッグ・アンド・ドロップすることにより選択できる。拡大領域選択ボックス２５２には、入力画像のうち拡大する領域を指定することができる。図の例では矩形状の領域で拡大領域を選択できる。拡大領域選択ボックス２５２では、拡大率の変更、拡大する位置の変更などを行うことができる。拡大領域２５３には、入力画像のうち拡大された領域が表示される。
【００６６】
コンボボックス２５４を開くことにより、モデルファイルを選択することができる。モデルファイルは、前述の学習処理によって生成された検出モデルファイル３１又は分類モデルファイル３２である。開始アイコン２５５を操作することにより、検出処理が開始される。
【００６７】
図１７は粒子検出が完了した場合の表示画面の第１例を示す模式図である。検出結果領域２５６には、複数の粒子を含む第１例としての出力画像が表示され、拡大検出結果領域２５７には、出力画像のうち、拡大領域選択ボックス２５２で選択された拡大領域の出力画像が表示される。
【００６８】
上述のように、入力画像を学習モデルに入力すると、学習モデルは識別結果を出力する。識別結果は、例えば、入力画像の画素毎に、粒子であるか否かを示す情報とすることができる。入力画像と識別結果とを重ねることにより、複数の粒子を含む出力画像を表示することができる。
【００６９】
これにより、粒子が未知の入力画像が学習モデルに入力されると、学習モデルは、入力画像上の各画素が粒子であるか否かを識別するので、粒子の形状が複雑、あるいは不規則な形状であっても、入力画像上の粒子を容易に検出することができる。
【００７０】
出力画像には、粒子の重心（図の例では、小さな丸で示す）が表示されるので、複数の粒子が密集して表示される場合でも、各粒子の位置を容易に把握することができる。
【００７１】
また、出力画像には、粒子の領域が表示されるので、粒子と粒子以外のものが混在する場合でも、粒子の範囲を容易に把握することができ、粒子のサイズや形状を特定するのに役立つ。
【００７２】
図１８は粒子検出が完了した場合の表示画面の第２例を示す模式図である。図１７において、グラフ確認アイコン２５８又はレポート出力アイコン２２３を操作することにより、図１８に示す表示画面が表示される。グラフ表示領域２５９には、出力画像に含まれる粒子の粒径グラフを表示することができる。粒径は、長径アイコン２６０、短径アイコン２６１、面積径アイコン２６２を操作することにより、それぞれ最大フェレ径、最小フェレ径、あるいは面積径に切り替えることができる。
【００７３】
識別対象についての所要の属性、例えば、粒子の属性は、粒子が使用される分野に応じて、粒子の必要とする特性を特徴付ける物理量とすることができる。粒子の属性は、例えば、粒径とすることができ、粒径には、フェレ径、相当楕円の軸長、面積径などが含まれる。フェレ径には、長径としての最大フェレ径、及び短径としての最小フェレ径があり、相当楕円の軸長には、長径としての相当楕円の長軸長さ、及び短径としての相当楕円の短軸長さがある。フェレ径は、粒子をｘｙ平面に投影したときに、アウトラインに外接する四角形を設けたときの、水平方向の長さと垂直方向の長さである。最大フェレ径は、粒子をあらゆる方向から平行線で挟んだときの平行線の最大幅である。最小フェレ径は、粒子をあらゆる方向から平行線で挟んだときの平行線の最小幅である。相当楕円の長軸長さは、粒子面積と同一の面積であって、一次及び二次モーメントが同一となる楕円（相当楕円）の長軸長さである。相当楕円の短軸長さは、粒子面積と同一の面積であって、一次及び二次モーメントが同一となる楕円（相当楕円）の短軸長さである。面積径は、粒子の面積と同一の面積を持つ円の径である。
【００７４】
図１９は粒径グラフの一例を示す模式図である。図１９において、横軸は長径としての最大フェレ径を示し、縦軸は、粒子の頻度（％）と累計（％）を示す。粒径として、最大フェレ径に代えて、短径としての最小フェレ径が選択された場合には、横軸は最小フェレ径を示し、面積径が選択された場合には、横軸は面積径を示す。図１９に示すように、粒径グラフには、粒子個数Ｎ、最大フェレ径の最小値ｄ１及び最大値ｄ２、累計が５０％のときの最大フェレ径の値ｄｍなどが表示される。
【００７５】
図１８において、全画像・表示画像アイコン２６３を選択することにより、全画像の粒子の粒径グラフを表示するか、表示中の画像の粒子の粒径グラフを表示するかを切り替えることができる。
【００７６】
上述のように、所要の粒径（例えば、最大フェレ径、最小フェレ径、面積径）を選択すると、選択された粒径の分布情報を表示する。すなわち、複数の粒子の粒径がどのような範囲に亘って分布しているかを把握することができるので、粒子の形状特性を容易に把握することができる。
【００７７】
図２０は粒子検出が完了した場合の表示画面の第３例を示す模式図である。最小径・最大径欄２６４に所要の数値を入力し、表示切替アイコン２６５を操作すると、入力された最小径から最大径の粒子だけを選択して強調表示することができる。図２０の例では、拡大領域２５３ａに、図１８に示す出力画像の粒子のうち、一部の粒子が強調表示（例えば、色を変える）されている。また、全画像又は表示中の画像について、粒子の個数、粒径の最小値と最大値を表示することができる。
【００７８】
このように、出力画像の複数の粒子のうち、一部の粒子を他の粒子と区別して識別可能に表示するので、所望の粒子を容易に認識することができる。
【００７９】
グラフ保存アイコン２６６を操作すると、粒径グラフ画像を保存することができる。
【００８０】
図２１は粒子検出が完了した場合の表示画面の第４例を示す模式図である。図２１は、図１７と同様の粒子検出画面である。結果修正アイコン２６７を操作することにより、検出結果を修正することができる。具体的には、図８に例示した画面と同様の画面が表示され、編集操作を行うことができる。
【００８１】
図２２は出力画像の第２例を示す模式図である。図２２では、便宜上、粒子を拡大して表示している。実際には多数の粒子が密集した状態で映し出されている。また、粒子の形状は、第１例の丸状に代えて楕円状としている。出力処理部１６は、粒子の長径及び短径の少なくとも一つを表示するので、粒子のサイズや形状を容易に把握することができる。
【００８２】
具体的には、図２２に示すように、出力処理部１６は、粒子の長径を示す線分（図では実線）及び短径を示す線分（図では破線）を表示するので、粒子の長径方向及び短径方向を容易に視認することができる。
【００８３】
図２３は出力画像の第３例を示す模式図である。図２３では、便宜上、粒子を拡大して表示している。出力処理部１６は、粒子の長径と短径との比を表示するので、粒子の長径と短径との比率を容易に視認することができる。具体的には、長径方向の線分と短径方向の線分との交点を表示するとともに、交点を中心として、長径と短径との比率に比例する対角線を持つ四角形を表示することにより、粒子の長径と短径との比率を容易に視認することができる。
【００８４】
図２４は出力画像の第４例を示す模式図である。図２４では、便宜上、粒子を拡大して表示している。出力処理部１６は、隣接する粒子を異なる表示態様（例えば、異なる色など）で表示するので、粒子が混然一体と表示される場合でも、容易に区別することができる。
【００８５】
図２５は出力画像の第５例を示す模式図である。図２５では、便宜上、粒子を拡大して表示している。出力処理部１６は、粒子の重心から境界に向かう波動アニメーションを表示するので、粒子の位置と領域の範囲を容易に把握することができる。
【００８６】
図２６は出力画像の第６例を示す模式図である。実際には粒子の形状は複雑かつ不規則であるが、図２６では、便宜上、粒子の形状を丸状、楕円状、三角状、四角状に分けて表示する。学習モデル（分類モデルファイル３２）は、入力画像上の各画素がどの種類の粒子であるか否かを識別するので、粒子の形状が複雑、あるいは不規則な形状であっても、入力画像上の粒子を容易に分類することができる。
【００８７】
次に、画像識別装置１００の処理手順について説明する。
【００８８】
図２７は画像識別装置１００による学習処理手順の一例を示すフローチャートである。以下では、便宜上、処理の主体を制御部１０として説明する。制御部１０は、学習用入力画像を取得し（Ｓ１１）、ラベル画像を取得する（Ｓ１２）。制御部１０は、評価用画像を取得し（Ｓ１３）、モデルファイルを取得する（Ｓ１４）。
【００８９】
制御部１０は、パラメータ（試行回数、ミニバッチ数、テストを行う試行回数、学習率など）を設定し（Ｓ１５）、学習処理を行う（Ｓ１６）。制御部１０は、生成したモデルファイルに評価用画像を入力した評価結果を出力する（Ｓ１７）。制御部１０は、ラベル画像を修正するか否かを判定する（Ｓ１８）。ラベル画像を修正するか否かの判定は、例えば、ユーザがラベル画像の修正のための編集操作を行ったか否かで行うことができる。
【００９０】
ラベル画像の修正を行う場合（Ｓ１８でＹＥＳ）、制御部１０は、修正するラベル画像を表示し（Ｓ１９）、編集操作に基づいてラベル画像を修正し（Ｓ２０）、後述のステップＳ２１の処理を行う。ラベル画像の修正を行わない場合（Ｓ１８でＮＯ）、制御部１０は、再学習するか否かを判定する（Ｓ２１）。再学習するか否かは、例えば、評価用画像による評価結果に基づいて、ユーザが決定し、ユーザの再学習操作の有無によって行うことができる。
【００９１】
再学習する場合（Ｓ２１でＹＥＳ）、制御部１０は、ステップＳ１６以降の処理を続ける。再学習しない場合（Ｓ２１でＮＯ）、制御部１０は、他のモデルファイルを生成するか否かを判定する（Ｓ２２）。他のモデルファイルを生成する場合（Ｓ２２でＹＥＳ）、制御部１０は、ステップＳ１１以降の処理を続け、他のモデルファイルを生成しない場合（Ｓ２２でＮＯ）、生成したモデルファイルを保存し（Ｓ２３）、処理を終了する。
【００９２】
図２７に示す処理において、粒子の検出モデルファイルを生成する場合には、第１画像である学習用入力画像及び対応する第２画像であるラベル画像を取得すればよい。また、粒子の分類モデルファイルを生成する場合には、第３画像である学習用入力画像及び対応する第４画像であるラベル画像を取得すればよい。
【００９３】
図２８は画像識別装置１００による粒子の検出処理手順の一例を示すフローチャートである。制御部１０は、入力画像を取得し（Ｓ３１）、生成した学習モデル（検出モデルファイル）を用いて粒子検出処理を行う（Ｓ３２）。制御部１０は、学習モデルの検出結果と入力画像とに基づいて、出力画像を生成して表示する（Ｓ３３）。
【００９４】
制御部１０は、粒子の分布情報の表示操作の有無を判定する（Ｓ３４）。分布情報は、粒径などの粒子の属性の分布情報であり、例えば、最大フェレ径、最小フェレ径、面積径の分布情報である。表示操作がある場合（Ｓ３４でＹＥＳ）、制御部１０は、粒子の分布情報を表示し（Ｓ３５）、後述のステップＳ３６の処理を行う。
【００９５】
表示操作がない場合（Ｓ３４でＮＯ）、制御部１０は、検出結果を修正するか否かを判定する（Ｓ３６）。検出結果を修正するか否かの判定は、例えば、ユーザが検出結果の修正のための編集操作を行ったか否かで行うことができる。検出結果を修正する場合（Ｓ３６でＹＥＳ）、制御部１０は、入力画像とラベル画像を重ねて表示し（Ｓ３７）、編集操作に基づいてラベル画像を修正する（Ｓ３８）。
【００９６】
制御部１０は、修正したラベル画像を保存し（Ｓ３９）、処理を終了する。検出結果を修正しない場合（Ｓ３６でＮＯ）、制御部１０は、処理を終了する。
【００９７】
図２９は画像識別装置１００による粒子の分類処理手順の一例を示すフローチャートである。制御部１０は、入力画像を取得し（Ｓ５１）、生成した学習モデル（分類モデルファイル）を用いて粒子分類処理を行う（Ｓ５２）。制御部１０は、学習モデルの検出結果と入力画像とに基づいて、出力画像を生成して表示する（Ｓ５３）。
【００９８】
制御部１０は、検出結果を修正するか否かを判定する（Ｓ５４）。検出結果を修正するか否かの判定は、例えば、ユーザが検出結果の修正のための編集操作を行ったか否かで行うことができる。検出結果を修正する場合（Ｓ５４でＹＥＳ）、制御部１０は、入力画像とラベル画像を重ねて表示し（Ｓ５５）、編集操作に基づいてラベル画像を修正する（Ｓ５６）。
【００９９】
制御部１０は、修正したラベル画像を保存し（Ｓ５７）、処理を終了する。検出結果を修正しない場合（Ｓ５４でＮＯ）、制御部１０は、処理を終了する。
【０１００】
上述の例では、粒子の検出処理と分類処理とを分けて説明しているが、入力画像に対して、粒子の検出処理と分類処理の両方を行うこともできる。また、粒子の検出の結果得られた出力画像に対して粒子の分類処理を行ってもよい。
【０１０１】
次に、図１０において例示した三値のラベルに基づく学習処理及び識別処理について、さらに具体的に説明する。
【０１０２】
図３０は検出モデルの生成処理の第２例を示す模式図である。図３０に示すように、予め多層のニューラルネットワーク（深層学習）により作成された検出モデルファイルを用意しておく。検出モデルファイルには、例えば、粒子、境界及び背景（粒子でもなく境界でもない）を識別するための複数層からなるニューラルネットワーク構成及び各層のニューロンの重み係数が格納されている。
【０１０３】
学習データ入力部２１は、学習用入力画像及びラベル画像を取得する。図２の場合との相違は、図３０の例では、ラベル画像は三値画像である。
【０１０４】
検出パラメータ学習部２２は、検出モデルに、学習用入力画像及びラベル画像を入力することにより、各層のニューロンの重み係数を再計算して検出モデルを生成し、検出モデルファイルとして出力し、記憶部３０に保存することができる。上述の構成により、粒子が未知の入力画像が検出モデルに入力されると、検出モデルは、入力画像上の各画素が粒子であるか、境界であるか、背景であるかを識別するので、入力画像上の境界によって粒子と背景が区別され、粒子を精度よく検出することができる。
【０１０５】
図３１は第１画像である学習用入力画像及び対応する第２画像であるラベル画像の第６例を示す説明図である。学習用入力画像は、識別対象である粒子が撮像された画像であって、学習モデルを生成又は更新する際に用いられる画像である。図３１の例では、学習用入力画像には、サイズや形状の異なる多数の粒子が映し出されている。ラベル画像は、学習用入力画像を構成する画素に対応する画素にラベルが対応付けられた画像である。図３１の例では、ラベルは三値で表すことができ、例えば、図３１に示すように、ラベル＝０を背景とし、ラベル＝１を境界とし、ラベル＝２を粒子（識別対象の領域）とすることができる。なお、第１画像である学習用入力画像は、顕微鏡によって粒子が撮影された元の画像（第１画像よりもサイズが大きい画像）から、例えば、後述の図３５に示すような手法（ただし、図３５の手法には限定されない）などを用いて切り出して選定してもよい。
【０１０６】
図３２は粒子識別処理の第２例を示す模式図である。入力画像（例えば、顕微鏡によって粒子が撮像された画像）を学習モデル（検出モデルファイル）に入力すると、学習モデルは、例えば、粒子、背景及び境界を識別し、出力処理部１６は出力画像を出力する。すなわち、入力画像を学習モデルに入力すると、学習モデルは、粒子、背景及び境界を含む出力画像を出力する。識別結果は、例えば、入力画像の画素毎に、粒子であるか、境界であるか、背景であるかを示す情報とすることができる。入力画像と識別結果とを重ねることにより、複数の粒子を含む出力画像を出力することができる。
【０１０７】
これにより、顕微鏡によって粒子が撮像された入力画像が学習モデルに入力されると、学習モデルは、入力画像上の各画素が粒子であるか、境界であるか、背景であるかを識別して、粒子、背景及び境界を含む出力画像を出力するので、粒子の形状が複雑、あるいは不規則な形状であっても、境界によって粒子を区別できるので、入力画像上の粒子を精度よく検出することができる。
【０１０８】
上述では、図８では二値のラベルの場合の編集画面の例を示し、図９では編集されたラベル画像の例を示した。以下では、編集画面と編集の際の表示方法の具体例について説明する。
【０１０９】
図３３は編集画面の他の例を示す模式図である。図３３に示すように、編集画面２７０は、修正画像領域２７１の他に、表示・非表示アイコン２７２、半透明表示アイコン２７３、塗り潰しアイコン２７４、ペンの大きさアイコン２７４、マスクの表示色を変更するためのマスク色表示変更アイコン２７６、編集結果を保存するための保存アイコン２７８を含む各種アイコンが表示される。
【０１１０】
図３３の例では、修正画像領域２７１は、マスク非表示、マスク表示、及びマスク表示・半透明モードの３つの表示態様で画像を表示することができる。マスク非表示の表示態様では、修正画像領域２７１には、学習用入力画像（顕微鏡によって粒子が撮像された入力画像）のみが表示され、マスク画像は表示されない。マスク画像は、二値のラベル画像であって、背景の部分をマスクした画像である。すなわち、二値のラベル画像は、粒子に対応する領域が透明であり、背景及び境界に対応する領域が不透明の画像である。マスク表示の表示態様では、マスク画像のみが表示され、学習用入力画像は表示されない。マスク表示・半透明モードの表示態様は、学習用入力画像の上にマスク画像を配置し、マスク画像の背景及び境界に対応する領域を半透明にした表示態様であり、学習用入力画像の粒子に対応する領域は、マスク画像の透明部分を介してそのまま表示され、学習用入力画像の境界及び背景は半透明に表示される。図３３では、修正画像領域２７１は、マスク表示・半透明モードの表示態様を示す。なお、マスク画像は、三値のラベル画像であってもよい。この場合も、粒子に対応する領域が透明であり、背景及び境界それぞれに対応する領域を不透明とすればよい。
【０１１１】
図３４Ａ〜３４Ｅはマスク表示・半透明モードの表示方法の概要を示す模式図である。図３４Ａに示すように、マスク表示・半透明モードでは、入力画像（例えば、ＳＥＭ画像）の上にマスク画像が配置され、マスク画像は、粒子に対応する領域は透明であり、境界及び背景に対応する領域は半透明である。図３４Ｂは、図３３と同様である。図３４Ｃ〜図３４Ｅは元画像（入力画像）の１つの粒子部分（矩形で囲んだ領域）を拡大した図を示す。図３４Ｃは、元画像であり、図中、破線が粒子の境界を示すものとする。図３４Ｄはマスク画像を示す。図中、黒の部分は透明であり、白の部分は半透明である。破線で示す境界と黒で示す粒子の部分との間の領域は、境界領域Ｓとすることができる。図３４Ｅでは、マスク画像の粒子以外の部分が半透明で表示されるので、境界領域Ｓを容易に認識することができ、境界を塗り潰す作業効率が向上する。
【０１１２】
上述のように、第１画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示するので、第１画像の粒子の部分は、そのまま表示され、粒子でない部分（境界及び背景）は半透明で表示され、ユーザは、境界の部分を容易に視認することができる。
【０１１３】
すなわち、編集処理部１５は、操作部１２で受け付けた編集操作に応じて、三値のラベル画像である第２画像を容易に生成することができる。より具体的には、境界部分を塗り潰す前のマスク画像は、例えば、粒子に対応する部分には、ラベル＝２が付され、透明であり、背景（この場合、背景は境界も含む）には、ラベル＝０が付され、半透明である。境界部分を塗り潰すことにより、塗り潰した部分のラベルを０から１に変更し、ラベル＝１（境界）とすることにより、三値のラベル画像である第２画像を容易に生成することができる。
【０１１４】
なお、上述の例では、二値のラベル画像から、境界部分を塗り潰して三値のラベル画像を生成する構成であったが、これに限定されるものではない。例えば、三値のラベル画像を取得し、粒子、背景、及び境界を３色で塗り分けることによって、三値のラベル画像を編集することもできる。
【０１１５】
図３４に示す画像は、学習モデルを生成する段階では、学習用入力画像（第１画像）であり、学習モデルを再学習（更新）する段階では、学習モデル生成前に準備した学習用入力画像でもよく、実際に学習済の学習モデルに入力して粒子を検出した際の入力画像でもよい。また、図３４に示すマスク画像は、学習モデルを生成する段階では、粒子と背景の二値画像に対して境界を付した三値のラベル画像（第２画像）であり、学習モデルを再学習（更新）する段階では、学習モデル生成前に準備した第２画像でもよく、実際に学習済の学習モデルに入力して粒子を検出した際の入力画像を用いて、二値から三値への修正（編集）した第２画像、あるいは三値のラベル画像を修正（編集）した第２画像でもよい。
【０１１６】
次に、第１画像の切り出し方法について説明する。なお、以下の第１画像の切り出し方法は、三値のラベル画像に限定されるものではなく、二値のラベル画像に対しても適用することができる。
【０１１７】
図３５は切り出し画像の輝度分散及び周波数分散の分布の一例を示す模式図である。切り出し画像は、第１画像と同じサイズ（解像度）であり、例えば、１００〜３００程度の画素数を有するが、これに限定されない。図中の数値は、切り出し画像のサンプル番号である。切り出し画像は、顕微鏡によって粒子が撮影された元画像（切り出し画像より大きいサイズ）上を矩形領域で走査する都度、矩形領域と同じサイズの画像を切り出した画像である。
【０１１８】
輝度分散は、矩形領域内の各画素の輝度値の分散であり、例えば、矩形領域内の各画素の輝度値と矩形領域の平均輝度値との差分の２乗を各画素について合計し、合計値を画素数で除算して分散値を算出できる。周波数分散は、フーリエ変換などによって画像を周波数変換し、周波数変換した画像の各周波数成分の分散であり、輝度分散と同様にして算出することができる。
【０１１９】
図３６Ａ〜３６Ｃは切り出し画像の一例を示す模式図である。図３６Ａは、輝度分散及び周波数分散が比較的大きい範囲内の切り出し画像の例（サンプル番号３３、３６）を示し、図３６Ｃは、輝度分散及び周波数分散が比較的小さい範囲内の切り出し画像の例（サンプル番号５、６７）を示し、図３６Ｂは、輝度分散及び周波数分散が比較的中程度の範囲内の切り出し画像の例（サンプル番号４４、５０）を示す。
【０１２０】
なお、第１画像の選定は、元画像から矩形領域を切り出す方法に限定されるものではなく、予め準備された複数の第１画像の候補から所望の第１画像の候補を設定してもよい。
【０１２１】
学習データ入力部２１は、選定された第１画像を取得することができる。第１画像の選定は、矩形領域の輝度分散及び周波数分散の少なくとも一方を算出し、算出した輝度分散及び周波数分散の少なくとも一方に基づいて第１画像を選定する。例えば、輝度分散が所定の輝度分散閾値以上であるもの、あるいは、周波数分散が所定の周波数分散閾値以上であるもの、あるいは、輝度分散及び周波数分散がそれぞれの以上であるものを第１画像として選定できる。
【０１２２】
これにより、第１画像は、粒子の数が適当数存在して適度に密集し、模様が比較的多く色々な特徴を持つ第１画像を選定することができ、最適な学習データを収集することができる。また、ユーザが特に意識して学習させたい画像上の領域を、手動で矩形選択して第１画像を切り出してもよい。
【０１２３】
図３７は第１画像の選定画面の一例を示す模式図である。図３７に示すように、第１画像の選定画面には、切り出し画像（第１画像）の表示領域、次の切り出し画像を選定して表示させるための「次の切り出し画像」ボタン、前の切り出し画像を選定して表示させるための「前の切り出し画像」ボタンが表示される。切り出し画像の選定方法は、例えば、以下のようにすることができる。
【０１２４】
図３５に示す、輝度分散及び周波数分散で示す２つの指標値の原点からの距離を求め、距離が長いものから順に選定して表示することができる。すなわち、「次の切り出し画像」ボタンを操作する都度、距離が短くなる順番で切り出し画像が表示される。図３５の例では、輝度分散及び周波数分散が小さくなる方向に向かって切り出し画像が選定される。また、「前の切り出し画像」ボタンを操作する都度、距離が長くなる順番で切り出し画像が表示される。図３５の例では、輝度分散及び周波数分散が大きくなる方向に向かって切り出し画像が選定される。これにより、多くの切り出し画像の候補の中から、ユーザが所望する学習データとして適した切り出し画像を簡単に選定することができ、ユーザの利便性を向上させることができる。
【０１２５】
上述の例では、輝度分散及び周波数分散を用いて学習データとして適した第１画像を選定する構成であるが、これに限定されるものではない。例えば、ユーザが選択した第１画像を用いた学習結果の良し悪しをデータとして蓄積しておき、例えば、学習結果の良いデータを教師データとして用いて学習データとして適した第１画像を選定してもよい。学習結果の良し悪しを示すデータが、例えば、サーバ等で収集することができる場合、サーバ側で学習データを構築することが可能となる。より具体的には、プロセッサは、ユーザが選択した複数の第１画像に基づいて学習モデルが学習した学習結果データを収集する（例えば、第１画像と正答率とを対応付けて記録し、収集してもよい）。プロセッサは、収集した学習結果データを蓄積し、蓄積した学習結果データのうち、学習結果の良いデータ（例えば、正答率が所定の閾値以上のデータ）を第１画像として選定してもよい。
【０１２６】
図３８は画像識別装置１００による三値のラベル画像を用いた学習処理手順の一例を示すフローチャートである。以下では、便宜上、処理の主体を制御部１０として説明する。制御部１０は、顕微鏡によって粒子が撮影された元画像を取得し（Ｓ６１）、取得した元画像を矩形領域で走査しつつ、矩形領域の輝度分布及び周波数分布を算出する（Ｓ６２）。制御部１０は、算出した輝度分布及び周波数分布（少なくとも一方のみでもよい）に基づいて、学習用入力画像を選定する（Ｓ６３）。制御部１０は、二値化したラベル画像を取得する（Ｓ６４）。なお、学習用入力画像及びラベル画像のデータは大量に準備することができる。制御部１０は、二値化したラベル画像に対して境界を付加する操作を受け付けることによって、粒子の境界部分が付加された三値のラベル画像を生成する（Ｓ６５）。制御部１０は、評価用画像を取得し（Ｓ６６）、モデルファイルを取得する（Ｓ６７）。
【０１２７】
制御部１０は、パラメータ（試行回数、ミニバッチ数、テストを行う試行回数、学習率など）を設定し（Ｓ６８）、学習処理を行う（Ｓ６９）。制御部１０は、生成したモデルファイルに評価用画像を入力した評価結果を出力する（Ｓ７０）。制御部１０は、ラベル画像を修正するか否かを判定する（Ｓ７１）。ラベル画像を修正するか否かの判定は、例えば、ユーザがラベル画像の修正のための編集操作を行ったか否かで行うことができる。
【０１２８】
ラベル画像の修正を行う場合（Ｓ７１でＹＥＳ）、制御部１０は、修正するラベル画像をマスク画像として、学習用入力画像に重ねて表示し（Ｓ７２）、編集操作に基づいてラベル画像を修正し（Ｓ７３）、後述のステップＳ７４の処理を行う。ラベル画像の修正を行わない場合（Ｓ７１でＮＯ）、制御部１０は、再学習するか否かを判定する（Ｓ７４）。再学習するか否かは、例えば、評価用画像による評価結果に基づいて、ユーザが決定し、ユーザの再学習操作の有無によって行うことができる。
【０１２９】
再学習する場合（Ｓ７４でＹＥＳ）、制御部１０は、ステップＳ６９以降の処理を続ける。再学習しない場合（Ｓ７４でＮＯ）、制御部１０は、他のモデルファイルを生成するか否かを判定する（Ｓ７５）。他のモデルファイルを生成する場合（Ｓ７５でＹＥＳ）、制御部１０は、ステップＳ６１以降の処理を続け、他のモデルファイルを生成しない場合（Ｓ７５でＮＯ）、生成したモデルファイルを保存し（Ｓ７６）、処理を終了する。
【０１３０】
図３９は画像識別装置１００による粒子の検出処理手順の他の例を示すフローチャートである。制御部１０は、入力画像を取得し（Ｓ８１）、生成した学習モデル（検出モデルファイル）を用いて粒子検出処理を行う（Ｓ８２）。制御部１０は、学習モデルの検出結果と入力画像とに基づいて、出力画像を生成して表示する（Ｓ８３）。ここで、出力画像は、粒子、境界及び背景がそれぞれ識別可能になっている。
【０１３１】
制御部１０は、粒子の分布情報の表示操作の有無を判定する（Ｓ８４）。分布情報は、粒径などの粒子の属性の分布情報であり、例えば、最大フェレ径、最小フェレ径、面積径の分布情報である。表示操作がある場合（Ｓ８４でＹＥＳ）、制御部１０は、粒子の分布情報を表示し（Ｓ８５）、後述のステップＳ８６の処理を行う。
【０１３２】
表示操作がない場合（Ｓ８４でＮＯ）、制御部１０は、検出結果を修正するか否かを判定する（Ｓ８６）。検出結果を修正するか否かの判定は、例えば、ユーザが検出結果の修正のための編集操作を行ったか否かで行うことができる。検出結果を修正する場合（Ｓ８６でＹＥＳ）、制御部１０は、ラベル画像をマスク画像として入力画像に重ねて表示する（Ｓ８７）。ここで、マスク画像は、粒子に対応する部分を透明とし、背景及び境界に対応する部分を半透明とすることができる。制御部１０は、編集操作に基づいてラベル画像を修正する（Ｓ８８）。
【０１３３】
制御部１０は、修正したラベル画像を保存し（Ｓ８９）、処理を終了する。検出結果を修正しない場合（Ｓ８６でＮＯ）、制御部１０は、処理を終了する。
【０１３４】
図４０は本実施の形態の画像識別装置１００の構成の他の例を示すブロック図である。図４０において、符号１２０は、コンピュータである。コンピュータ１２０は、制御部１２１、入力部１２６、操作部１２７、表示パネル１２８、出力部１２９、記録媒体読取部１３０などを備える。制御部１２１は、ＣＰＵ（プロセッサ）１２２、ＲＯＭ１２３、ＲＡＭ１２４、Ｉ／Ｆ（インタフェース）１２５などを備える。
【０１３５】
入力部１２６は、操作部１２７、表示パネル１２８、出力部１２９は、それぞれ図１に示す、入力部１１、操作部１２、表示パネル１７、出力処理部１６に相当する。制御部１２１は、図１に示す、検出処理部１３、分類処理部１４、編集処理部１５、学習処理部２０、記憶部３０に相当する。
【０１３６】
記録媒体読取部１３０は、コンピュータプログラムを記録した記録媒体Ｍ（例えば、ＤＶＤなどのメディア）からコンピュータプログラム（例えば、図２７、図２８、図２９、図３８及び図３９に示す処理手順など）を読み取ることが可能である。
【０１３７】
なお、図示していないが、記録媒体Ｍに記録されたコンピュータプログラムは、持ち運びが自由なメディアに記録されたものに限定されるものではなく、インターネット又は他の通信回線を通じて伝送されるコンピュータプログラムも含めることができる。
【０１３８】
次に、ラベル画像のラベル付けを変えた場合の評価結果について説明する。
【０１３９】
図４１Ａ〜４１Ｅは粒子と背景とで二値化した場合の評価結果の一例を示す模式図である。図４１Ａは入力画像を示し、図４１Ｂはラベル画像を示し、図４１Ｃ〜４１Ｅは、異なる試行での出力画像を示す。図４１Ｂにおいて、○で示す箇所は、粒子が離れていることを学習させるべく、２つの粒子が重なる部分の境界を背景としてラベリングしたものの、図４１Ｃ〜４１Ｅの○で示す箇所のように、出力画像では、粒子が明瞭に分けられず、境界が不明瞭となる可能性がある。
【０１４０】
図４２Ａ〜４２Ｅは粒子と境界及び背景とで二値化した場合の評価結果の一例を示す模式図である。図４２Ａは入力画像を示し、図４２Ｂはラベル画像を示し、図４２Ｃ〜４２Ｅは、異なる試行での出力画像を示す。図４２Ｂにおいて、○で示す箇所は、粒子が離れていることを学習させるべく、境界は背景であるとしてラベリングして学習させたものの、図４２Ｃ〜４２Ｅの○で示す箇所のように、粒子の識別結果が安定しない可能性がある。
【０１４１】
図４３Ａ〜４３Ｅは境界と境界以外とで二値化した場合の評価結果の一例を示す模式図である。図４３Ａは入力画像を示し、図４３Ｂはラベル画像を示し、図４３Ｃ〜４３Ｅは、異なる試行での出力画像を示す。図４３Ｂにおいて、○で示す箇所は、境界であることを学習させるべく、ラベリングして学習させたものの、図４３Ｃ〜４３Ｅの○で示す箇所のように、所々跡切れが生じ、粒子と背景との区別が困難となる可能性がある。しかし、混合材料のスライス面の画像のように、粒子と粒子以外とを区別するのではなく、異なる材料同士の境界を識別したい場合には有用となる可能性がある。
【０１４２】
図４４Ａ〜４４Ｅは粒子、境界及び背景とで三値化した場合の評価結果の一例を示す模式図である。図４４Ａは入力画像を示し、図４４Ｂはラベル画像を示し、図４４Ｃ〜４４Ｅは、異なる試行での出力画像を示す。図４４Ｂにおいて、○で示す箇所は、粒子の一部が重なる等で境界が不明瞭な個所に境界であることを示すラベルを付して学習モデルを学習させることにより、学習モデルは、境界が不明瞭な個所を境界であるとして学習することができる。これにより、図４４Ｃ〜４４Ｅの○で示す箇所のように、境界で粒子を分離することができ、粒子の検出精度が向上することが分かる。
【０１４３】
次に、識別対象の検出結果について説明する。
【０１４４】
図４５Ａ〜４５Ｂはお好み焼き粉の検出結果の一例を示す模式図である。図４５Ａは入力画像を示し、図４５Ｂは出力画像を示す。この場合、ラベル画像は、二値画像である。お好み焼き粉のような大小様々な形状が混在した材料が識別対象であっても、識別対象を精度よく検出できることが分かる。
【０１４５】
図４６Ａ〜４６Ｂは重曹の検出結果の一例を示す模式図である。図４６Ａは入力画像を示し、図４６Ｂは出力画像を示す。この場合、ラベル画像は、二値画像である。重曹のような大小様々な形状が混在した材料が識別対象であっても、識別対象を精度よく検出できることが分かる。
【０１４６】
図４７Ａ〜４７Ｂは片栗粉の検出結果の一例を示す模式図である。図４７Ａは入力画像を示し、図４７Ｂは出力画像を示す。この場合、ラベル画像は、二値画像である。片栗粉のような細かな粒子が密集した材料が識別対象であっても、識別対象を精度よく検出できることが分かる。
【０１４７】
図４８Ａ〜４８Ｂは食卓塩の検出結果の一例を示す模式図である。図４８Ａは入力画像を示し、図４８Ｂは出力画像を示す。この場合、ラベル画像は、二値画像である。食卓塩のような大きな粒子が疎に分布している材料が識別対象であっても、識別対象を精度よく検出できることが分かる。
【０１４８】
図４９Ａ〜４９Ｂはモスアイフィルムの検出結果の一例を示す模式図である。図４９Ａは入力画像を示し、図４９Ｂは出力画像を示す。この場合、ラベル画像は、二値画像である。モスアイフィルムのような光の波長以下の微細なナノ突起を表面に形成した材料が識別対象であっても、識別対象を精度よく検出できることが分かる。
【０１４９】
図５０Ａ〜５０Ｂは食品容器用シリカ粒入り蓋材の検出結果の一例を示す模式図である。図５０Ａは入力画像を示し、図５０Ｂは出力画像を示す。この場合、ラベル画像は、二値画像である。シリカ粒入り蓋材のような微小な形状が分散するような材料が識別対象であっても、識別対象を精度よく検出できることが分かる。
【０１５０】
次に、本実施形態の画像識別装置１００の利用形態について説明する。
【０１５１】
図５１は画像識別装置１００の第１利用形態を示す模式図である。図５１に示すように、サーバとクライアント端末が通信ネットワークを介して接続されている。図５１において、サーバが画像識別装置１００に相当する。図５１に示すように、クライアント端末は、識別対象が未知、あるいは識別対象を識別したい画像（入力画像）をサーバへ送信する。サーバは、予め用意しておいたモデルファイルを用いて識別対象を識別（検出）し、出力画像をクライアント端末へ送信する。クライアント端末では、出力画像を表示することができる。これにより、クライアント側では、入力画像をサーバへアップロードするだけで、検出結果を表示することができる。クライアント端末側で学習モデルを具備する必要はない。
【０１５２】
図５２は画像識別装置１００の第２利用形態を示す模式図である。図５２に示すように、サーバとクライアント端末が通信ネットワークを介して接続されている。図５２において、サーバが学習処理機能を有する画像識別装置１００に相当し、クライアント端末は検出処理機能及び分類処理機能を有する画像識別装置１００に相当する。図５２に示すように、クライアント端末は、教師データ（学習用入力画像及びラベル画像）をサーバへ送信する。サーバは、教師データを受信し、受信した教師データを用いてモデルファイル（学習モデル）を生成し、生成したモデルファイルをクライアント端末へ送信する。クライアント端末は、モデルファイルを受信して記憶する。これ以降、クライアント端末は、識別対象が未知、あるいは識別対象を識別したい画像（入力画像）を学習モデルに入力して、識別対象を識別（検出）する。
【０１５３】
また、図５２の場合、クライアント端末側で教師データを編集し（例えば、図８、図９、図３３、図３４）、編集した教師データをサーバへ送信することにより、サーバ側で学習モデルを再学習（更新）することができ、再学習したモデルファイルをクライアント端末へ送信することができる。
【０１５４】
図５３は画像識別装置１００の第３利用形態を示す模式図である。図５３に示すように、サーバとクライアント端末が通信ネットワークを介して接続されている。図５３において、サーバが学習処理機能、検出処理機能及び分類処理機能を有する画像識別装置１００に相当する。なお、学習処理機能と、検出処理機能及び分類処理機能とを２台以上のサーバで分担させてもよく、あるいは、１台のサーバに学習処理機能、検出処理機能及び分類処理機能の全ての機能を持たせるようにしてもよい。図５３に示すように、クライアント端末は、教師データ（学習用入力画像及びラベル画像）をサーバへ送信する。サーバは、教師データを受信し、受信した教師データを用いてモデルファイル（学習モデル）を生成する。次に、クライアント端末は、識別対象が未知、あるいは識別対象を識別したい画像（入力画像）をサーバへ送信する。サーバは、生成したモデルファイルを用いて識別対象を識別（検出）し、出力画像をクライアント端末へ送信する。クライアント端末では、出力画像を表示することができる。
【０１５５】
また、図５３の場合、クライアント端末側で教師データを編集し（例えば、図８、図９、図３３、図３４）、編集した教師データをサーバへ送信することにより、サーバ側で学習モデルを再学習（更新）することができる。
【０１５６】
本実施の形態の画像識別装置１００は、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ、記録媒体読取部などで構成することができる。記録媒体に記録されたコンピュータプログラムを記録媒体読取部で読み取ってＲＡＭに格納することができる。ＲＡＭに格納されたコンピュータプログラムをＣＰＵ、ＧＰＵで実行させることにより、画像識別装置１００が行う処理を実行することができる。なお、ＣＰＵは、プロセッサ、プロセッサデバイス、プロセッシングユニットなどの総称とし、１又は複数で構成することができる。また、ＣＰＵに加えて、１又は複数のＧＰＵを具備するようにしてもよい。また、コンピュータプログラムは、記録媒体読取部で読み取る構成に代えて、インターネットなどのネットワークを介してダウンロードすることもできる。
【０１５７】
本実施の形態によれば、複雑かつ不規則な形状の粒子であっても、観察者の観察目的により恣意的に決定される粒子の検出又は分類を防止して、粒子の検出又は分類を容易に行うことができる。
【０１５８】
本実施の形態によれば、高価な装置を用いることなく、走査型電子顕微鏡などの顕微鏡によって画像化できる粒子であれば、画像から粒子を検出し、粒径などの粉体特性を測定することができる。また、実際の粒子径との誤差は顕微鏡の解像度によって決まるので、どの顕微鏡を用いても粒子径の誤差を許容範囲内で高精度に測定することができる。
【０１５９】
本実施の形態の画像識別装置１００において、分類パラメータ学習部２３、分類処理部１４及び分類モデルファイル３２は必須の構成ではない。すなわち、画像識別装置１００が粒子の分類を行わない構成であってもよい。また、本実施の形態の画像識別装置１００において、学習処理部２０を具備しない構成でもよい。この場合、別の装置によって生成された検出モデルファイル３１、分類モデルファイル３２を記憶部３０に記憶しておくことにより、粒子の検出又は分類処理だけを行うように構成してもよい。
【０１６０】
本実施の形態では、学習に使用しない領域（学習範囲外）を指定することができ、学習用の画像は、重点的に学習（サンプリング）する領域を指定することができる。この場合、重点的に学習した部分をヒートマップなどで表示してもよい。これにより、学習効率を向上させることができる。
【０１６１】
本実施の形態において、評価用画像が正解データを有する場合、学習モデルの識別結果が正解である部分と不正解である部分とを異なる表示態様で表示することができる。また、正解率の閾値を定めておき、正解率が閾値以上の領域と閾値未満の領域とを異なる表示態様で表示してもよい。
【０１６２】
本実施の形態の学習モデルは、画像からオブジェクトを検出するためのニューラルネットワーク構成を用いることができる。例えば、畳み込みニューラルネットワーク（ＣＮＮ）を用いてもよく、ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ型のＦｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋ（ＦＣＮ）の一種である、Ｕ−Ｎｅｔを用いてもよいが、本実施の形態では、より簡易的なニューラルネットワーク構成を用いてもよい。
【０１６３】
本実施の形態のコンピュータプログラムは、コンピュータに、識別対象が撮像された第１画像を取得する処理と、前記第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像を取得する処理と、少なくとも取得した第１画像及び第２画像に基づいて識別対象を識別するための学習モデルを生成する処理とを実行させる。
【０１６４】
本実施の形態の学習モデル生成装置は、プロセッサを備え、前記プロセッサは、識別対象が撮像された第１画像を取得し、前記第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像を取得し、少なくとも取得した第１画像及び第２画像に基づいて識別対象を識別するための学習モデルを生成する。
【０１６５】
本実施の形態の学習モデル生成方法は、識別対象が撮像された第１画像を取得し、前記第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像を取得し、少なくとも取得した第１画像及び第２画像に基づいて識別対象を識別するための学習モデルを生成する。
【０１６６】
第１画像は、識別対象が撮像された学習用入力画像である。識別対象は、例えば、粉体でもよく、高分子などの物質の表面の模様のようなものでもよい。第２画像は、ラベル画像（正解画像ともいう）であり、第１画像を構成する画素に対応させて、当該画素が識別対象である否かを特定する。ラベルは、少なくとも二値であり、例えば、ラベル＝０を識別対象ではない（識別対象の外部）とし、ラベル＝１を識別対象である（識別対象の内部）とすることができる。
【０１６７】
学習モデルは、入力層、出力層及び複数の中間層などを含むニューラルネットワーク構造及び各ニューロンの重み係数などで構成される。学習モデルに少なくとも第１画像及び第２画像を入力することにより、ニューロンの重み係数を再計算して学習モデルを生成する。
【０１６８】
上述の構成により、識別対象が未知の入力画像が学習モデルに入力されると、学習モデルは、入力画像上の各画素が識別対象であるか否かを識別するので、入力画像上の識別対象を容易に検出することができる。
【０１６９】
本実施の形態の学習モデル生成装置において、前記プロセッサは、所定の第１画像に基づいて前記学習モデルが出力する第２画像を表示し、表示した第２画像の編集操作を受け付け、少なくとも前記所定の第1画像及び編集操作を受け付けた第２画像に基づいて前記学習モデルを更新する。
【０１７０】
所定の第１画像は、学習モデルを学習する際に入力された第１画像でもよく、全く異なる画像（例えば、学習モデルの学習に用いられていない画像）でもよい。編集操作は、例えば、学習モデルが出力した第２画像の画素の輝度値がラベルの値に対応して異なる場合、輝度値を修正する操作とすることができる。すなわち、編集操作により、第２画像のラベルを修正することができ、第２画像の一部の画素が正しいラベルでない場合、ラベルの値を修正して正しいラベル画像にすることができる。
【０１７１】
学習モデルに少なくとも所定の第１画像及び編集操作を受け付けた第２画像（すなわち、正しくなった第２画像）を入力することにより、ニューロンの重み係数を再計算して学習モデルを更新する。
【０１７２】
上述の構成により、学習モデルを再学習することができ、学習モデルによる識別対象の検出精度を向上させることができる。
【０１７３】
本実施の形態の学習モデル生成装置において、前記プロセッサは、前記第２画像の特定のラベルに対応する画素を、該画素に対応する前記所定の第１画像の画素で置き換え、画素が置き換えられた第２画像を表示する。
【０１７４】
第２画像の各画素は、所定の第１画像の画素に対応させた少なくとも二値のラベルに対応している。特定のラベルは、二値のラベルのうちの一方のラベルとすることができる。第２画像の特定のラベルに対応する画素を、当該画素に対応する第１画像の画素で置き換える。画素を置き換えた第２画像を表示することにより、元の画像である第１画像の画素の情報（例えば、画素値である輝度値の第２画像上での分布など）を参照することができ、学習結果の修正が容易になる。
【０１７５】
本実施の形態の学習モデル生成装置において、前記プロセッサは、前記第１画像の画素に対応させた少なくとも三値のラベルで識別対象を特定する第２画像を取得する。
【０１７６】
第２画像は、第１画像を構成する画素に対応させて、少なくとも三値のラベルで識別対象を特定することができる。ラベルを二値から増やすことによって、識別対象を特定するための情報量を増やすことができ、学習モデルが識別対象を識別しやすくすることができ、識別対象の検出精度を向上させることができる。特に、粒子内部は隣り合う画素値が比較的なだらかに変化することが多いことに対して、境界は、粒子と背景との境であって、粒子を表す画素値と背景を表す画素値に切り替わる箇所であり隣り合う画素値が鋭敏な変化をすることが多く、それぞれ別のラベルとして学習させることで、粒子の検出精度を向上させることができる。
【０１７７】
本実施の形態の学習モデル生成装置において、前記プロセッサは、前記第１画像の画素に対応させたラベルであって、識別対象でない領域であることを示す第１ラベル、識別対象の境界を含む領域であることを示す第２ラベル、及び識別対象の領域であることを示す第３ラベルを含むラベルで識別対象を特定する第２画像を取得する。
【０１７８】
第２画像は、第１画像の画素に対応させたラベルを含み、第１ラベルは、識別対象でない領域であることを示し、第２ラベルは、識別対象の境界を含む領域であることを示し、第３ラベルは、識別対象の領域であることを示す。例えば、識別対象であるか否かが不明瞭な境界部分についても、ラベルが付与されるので、識別対象の領域と領域外とを境界部分によって明確に区別することができ、学習モデルが識別対象を識別しやすくすることができ、識別対象の検出精度を向上させることができる。
【０１７９】
本実施の形態の学習モデル生成装置において、前記プロセッサは、前記第１画像の画素に対応させたラベルであって、識別対象の領域であることを示す少なくとも２種類の第３ラベルを含むラベルで識別対象を特定する第２画像を取得する。
【０１８０】
第２画像は、第１画像の画素に対応させたラベルを含み、少なくとも２種類の第３ラベルによって、識別対象の領域であることを示す。例えば、識別対象の領域であっても、識別対象の種類に応じて、領域内の輝度値や輝度値の分布が異なる場合がある。第２画像に少なくとも２種類の第３ラベルを含めることにより、学習モデルは、領域内の輝度値の変化や輝度値の分布の違いを学習することができ、識別対象の種類に関わらず、識別対象の検出精度を向上させることができる。
【０１８１】
本実施の形態の学習モデル生成装置において、前記プロセッサは、前記第１画像の画素に対応させた少なくとも三値のラベルで識別対象の領域であって識別対象の形状に基づく識別対象の種類を特定する第２画像を取得する。
【０１８２】
第２画像は、第１画像の画素に対応させたラベルを含み、少なくとも三値のラベルによって、識別対象の領域であって識別対象の形状に基づく識別対象の種類を示す。これにより、識別対象が複雑であって不規則な形状をしている場合でも、形状を識別することができ、形状に基づく識別対象を分類することができる。
【０１８３】
本実施の形態の学習モデル生成装置において、前記プロセッサは、前記第１画像の画素に対応させたラベルで学習範囲外であることを特定する第２画像を取得する。
【０１８４】
第２画像は、第１画像の画素に対応させたラベルを含み、当該ラベルによって学習範囲外であることを示す。これにより、学習モデルの学習量を抑制することができ、学習効率を向上させることができる。
【０１８５】
本実施の形態の学習モデル生成装置において、前記プロセッサは、識別対象が識別された第３画像を取得する処理と、前記第３画像の画素に対応させたラベルで識別対象の形状に基づく識別対象の種類を特定する第４画像を取得する処理と、少なくとも取得した第３画像及び第４画像に基づいて識別対象の種類を識別するための学習モデルを生成する。
【０１８６】
第３画像は、識別対象が識別された画像である。識別対象を識別するための学習モデルを検出モデルと称すると、第３画像は、識別対象が未知の入力画像を検出モデルに入力して、検出モデルが出力する識別結果に基づく画像である。また、第３画像は、複数の異なる形状の識別対象が撮像された学習用入力画像でもよい。
【０１８７】
第４画像は、ラベル画像（正解画像ともいう）であり、第３画像を構成する画素に対応させて、当該画素がどの種類の識別対象である否かを特定する。ラベルは、識別対象の形状に基づいて識別対象の種類を示すことができるものであればよい。識別対象の種類が分かれば、識別対象を分類することができる。
【０１８８】
学習モデルに少なくとも第３画像及び第４画像を入力することにより、ニューロンの重み係数を再計算して学習モデルを生成する。当該学習モデルを分類モデルともいう。これにより、識別対象が未知の入力画像が学習モデルに入力されると、学習モデルは、入力画像上の識別対象の形状を識別するので、入力画像上の識別対象を容易に分類することができる。
【０１８９】
本実施の形態のコンピュータプログラムは、コンピュータに、入力画像を取得する処理と、少なくとも識別対象が撮像された第１画像、及び第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像に基づいて生成された学習モデルに、取得した入力画像を入力する処理と、前記学習モデルが出力する識別結果に基づいて、複数の識別対象を含む出力画像を表示する処理とを実行させる。
【０１９０】
本実施の形態の表示装置は、プロセッサを備え、前記プロセッサは、入力画像を取得し、少なくとも識別対象が撮像された第１画像、及び第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像に基づいて生成された学習モデルに、取得した入力画像を入力し、前記学習モデルが出力する識別結果に基づいて、複数の識別対象を含む出力画像を表示する。
【０１９１】
本実施の形態の表示方法は、入力画像を取得し、少なくとも識別対象が撮像された第１画像、及び第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像に基づいて生成された学習モデルに、取得した入力画像を入力し、前記学習モデルが出力する識別結果に基づいて、複数の識別対象を含む出力画像を表示する。
【０１９２】
入力画像は、識別対象が未知の画像である。学習モデルは、少なくとも識別対象が撮像された第１画像（学習用入力画像）、及び第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像（ラベル画像）に基づいて生成されている。学習モデルは検出モデルとも称する。
【０１９３】
入力画像を学習モデルに入力すると、学習モデルは識別結果を出力する。識別結果は、例えば、入力画像の画素毎に、識別対象であるか否かを示す情報とすることができる。入力画像と識別結果とを重ねることにより、複数の識別対象を含む出力画像を表示することができる。
【０１９４】
これにより、識別対象が未知の入力画像が学習モデルに入力されると、学習モデルは、入力画像上の各画素が識別対象であるか否かを識別するので、識別対象の形状が複雑、あるいは不規則な形状であっても、入力画像上の識別対象を容易に検出することができる。
【０１９５】
本実施の形態の表示装置において、前記プロセッサは、少なくとも識別対象が識別された第３画像、及び第３画像の画素に対応させたラベルで識別対象の形状に基づく識別対象の種類を特定する第４画像に基づいて生成された学習モデルに、取得した入力画像を入力し、前記学習モデルが出力する識別結果に基づいて、前記出力画像の識別対象の形状に基づく識別対象の種類を識別可能に表示する。
【０１９６】
学習モデルは、少なくとも識別対象が識別された第３画像（学習用入力画像）、及び第３画像の画素に対応させたラベルで識別対象の形状に基づく識別対象の種類を特定する第４画像（ラベル画像）に基づいて生成されている。学習モデルは分類モデルとも称する。
【０１９７】
入力画像を学習モデルに入力すると、学習モデルは識別結果を出力する。識別結果は、例えば、入力画像の画素毎に、識別対象の形状に基づく識別対象の種類を示す情報とすることができる。
【０１９８】
これにより、識別対象が未知の入力画像が学習モデルに入力されると、学習モデルは、入力画像上の各画素がどの種類の識別対象であるか否かを識別するので、識別対象の形状が複雑、あるいは不規則な形状であっても、入力画像上の識別対象を容易に分類することができる。
【０１９９】
本実施の形態の表示装置において、前記プロセッサは、前記出力画像の識別対象の長径及び短径の少なくとも一つを表示する。
【０２００】
識別対象の長径及び短径の少なくとも一つを表示するので、識別対象のサイズや形状を容易に把握することができる。
【０２０１】
本実施の形態の表示装置において、前記プロセッサは、前記出力画像の識別対象の長径を示す線分及び短径を示す線分を表示する。
【０２０２】
識別対象の長径を示す線分及び短径を示す線分を表示するので、識別対象の長径方向及び短径方向を容易に視認することができる。
【０２０３】
本実施の形態の表示装置において、前記プロセッサは、前記出力画像の識別対象の長径と短径との比を表示する。
【０２０４】
識別対象の長径と短径との比を表示するので、識別対象の長径と短径との比率を容易に視認することができる。
【０２０５】
本実施の形態の表示装置において、前記プロセッサは、前記出力画像の複数の識別対象についての所要の属性を選択する操作を受け付け、選択された属性の分布情報を表示する。
【０２０６】
識別対象の属性は、識別対象が使用される分野に応じて、識別対象の必要とする特性を特徴付ける物理量とすることができる。所要の属性を選択すると、選択された属性の分布情報を表示する。すなわち、複数の識別対象の属性がどのような範囲に亘って分布しているかを把握することができるので、識別対象の特性を容易に把握することができる。
【０２０７】
本実施の形態の表示装置において、前記属性は、識別対象の長径、短径及び面積径の少なくとも一つを含む。
【０２０８】
属性は、識別対象の長径、短径及び面積径の少なくとも一つを含む。識別対象が粉体である場合、粉体の形状特性を容易に把握することができる。
【０２０９】
本実施の形態の表示装置において、前記プロセッサは、前記出力画像の複数の識別対象の全部又は一部を識別可能に表示する。
【０２１０】
複数の識別対象の全部又は一部を識別可能に表示するので、識別対象を容易に認識することができる。
【０２１１】
本実施の形態の表示装置において、前記プロセッサは、前記識別対象の領域を表示する。
【０２１２】
識別対象の領域を表示するので、識別対象と対象外のものが混在する場合でも、識別対象の範囲を容易に把握することができ、識別対象のサイズや形状を特定するのに役立つ。
【０２１３】
本実施の形態の表示装置において、前記プロセッサは、前記識別対象の重心を表示する。
【０２１４】
識別対象の重心を表示するので、複数の識別対象が表示される場合でも、各識別対象の位置を容易に把握することができる。
【０２１５】
本実施の形態の表示装置において、前記プロセッサは、隣接する識別対象を異なる表示態様で表示する。
【０２１６】
隣接する識別対象を異なる表示態様で表示するので、識別対象が混然一体と表示される場合でも、容易に区別することができる。
【０２１７】
本実施の形態の表示装置において、前記プロセッサは、前記識別対象の重心から境界に向かう波動アニメーションを表示する。
【０２１８】
識別対象の重心から境界に向かう波動アニメーションを表示するので、識別対象の位置と領域の範囲を容易に把握することができる。
【０２１９】
本実施の形態の学習モデル生成装置は、プロセッサを備え、前記プロセッサは、顕微鏡によって粒子が撮影された第１画像を取得し、前記第１画像の画素に対応させた二値画像を取得し、取得した二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する第２画像を生成し、前記第１画像及び第２画像に基づいて、顕微鏡によって粒子が撮影された入力画像から粒子、境界及び背景を含む出力画像を出力する学習モデルを生成する。
【０２２０】
本実施の形態のコンピュータプログラムは、コンピュータに、顕微鏡によって粒子が撮影された第１画像を取得する処理と、前記第１画像の画素に対応させた二値画像を取得する処理と、取得した二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する第２画像を生成する処理と、前記第１画像及び第２画像に基づいて、顕微鏡によって粒子が撮影された入力画像から粒子、境界及び背景を含む出力画像を出力する学習モデルを生成する処理とを実行させる。
【０２２１】
本実施の形態の学習モデル生成方法は、顕微鏡によって粒子が撮影された第１画像を取得し、前記第１画像の画素に対応させた二値画像を取得し、取得された二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する第２画像を生成し、前記第１画像及び第２画像に基づいて、顕微鏡によって粒子が撮影された入力画像から粒子、境界及び背景を含む出力画像を出力する学習モデルを生成する。
【０２２２】
第１画像は、顕微鏡によって粒子が撮像された学習用入力画像である。二値画像は、第１画像の画素に対応させた画像であり、例えば、粒子と背景との二値化した画像とすることができる。第２画像は、二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する画像である。
【０２２３】
学習モデルは、入力層、出力層及び複数の中間層などを含むニューラルネットワーク構造及び各ニューロンの重み係数などで構成される。学習モデルに第１画像及び三値のラベル画像である第２画像を入力することにより、ニューロンの重み係数を再計算して学習モデルを生成する。
【０２２４】
上述の構成により、粒子が撮像された入力画像が学習モデルに入力されると、学習モデルは、入力画像上の各画素が粒子、境界又は背景のいずれであるかを識別するので、入力画像上の境界によって粒子と背景が区別され、粒子を精度よく検出することができる。
【０２２５】
本実施の形態の学習モデル生成装置において、前記プロセッサは、顕微鏡によって粒子が撮影された元画像の複数の矩形領域毎の輝度分散及び周波数分散の少なくとも一方を算出し、算出した輝度分散及び周波数分散の少なくとも一方に基づいて前記第１画像を選定する。
【０２２６】
プロセッサは、顕微鏡によって粒子が撮影された元画像の複数の矩形領域毎の輝度分散及び周波数分散の少なくとも一方を算出する。元画像は、第１画像を切り出す元の画像であり、第１画像よりもサイズ（解像度）が大きい。矩形領域は、元画像上を走査する際の対象領域を決定するための領域であり、第１画像と同じサイズとすることができる。
【０２２７】
輝度分散は、矩形領域内の各画素の輝度値の分散であり、例えば、矩形領域内の各画素の輝度値と矩形領域の平均輝度値との差分の２乗を各画素について合計し、合計値を画素数で除算して分散値を算出できる。周波数分散は、フーリエ変換などによって画像を周波数変換し、周波数変換した画像の各周波数成分の分散であり、輝度分散と同様にして算出することができる。
【０２２８】
算出した輝度分散及び周波数分散の少なくとも一方に基づいて第１画像を選定する。これにより、第１画像は、粒子の数が適当数存在して適度に密集し、模様が比較的多く色々な特徴を持つ第１画像を選定することができ、最適な学習データを収集することができる。
【０２２９】
本実施の形態の学習モデル生成装置において、前記プロセッサは、前記第１画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示し、前記マスク画像に対して境界を付加する編集操作を受け付け、受け付けた境界が付加された前記第２画像を生成する。
【０２３０】
プロセッサは、第１画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示する。これにより、第１画像の粒子の部分は、そのまま表示され、粒子でない部分（境界及び背景）は半透明で表示されるので、ユーザは、境界の部分を容易に視認することができる。
【０２３１】
プロセッサは、マスク画像に対して境界を付加する編集操作を受け付ける。編集操作は、例えば、境界の部分を塗り潰す操作とすることができる。プロセッサは、受け付けた境界が付加された第２画像を生成する。これにより、三値のラベル画像である第２画像を容易に生成することができる。
【０２３２】
本実施の形態の学習モデル生成装置において、前記プロセッサは、顕微鏡によって粒子が撮影された入力画像、及び前記入力画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像を取得し、取得した入力画像及び第２画像に基づいて前記学習モデルを再学習する。
【０２３３】
プロセッサは、顕微鏡によって粒子が撮影された入力画像を取得するとともに、当該入力画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像を取得する。プロセッサは、取得した入力画像及び第２画像に基づいて学習モデルを再学習する。
【０２３４】
上述の構成により、学習モデルを再学習することができ、学習モデルによる粒子の検出精度を向上させることができる。
【０２３５】
本実施の形態の粒子識別装置は、プロセッサを備え、前記プロセッサは、顕微鏡によって粒子が撮影された入力画像を取得し、顕微鏡によって粒子が撮影された第１画像、及び前記第１画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像に基づいて生成された学習モデルに、取得した入力画像を入力し、粒子、境界及び背景を含む出力画像を前記学習モデルから出力する。
【０２３６】
本実施の形態のコンピュータプログラムは、コンピュータに、顕微鏡によって粒子が撮影された入力画像を取得する処理と、顕微鏡によって粒子が撮影された第１画像、及び前記第１画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像に基づいて生成された学習モデルに、取得した入力画像を入力する処理と、粒子、境界及び背景を含む出力画像を前記学習モデルから出力する処理とを実行させる。
【０２３７】
本実施の形態の粒子識別方法は、顕微鏡によって粒子が撮影された入力画像を取得し、顕微鏡によって粒子が撮影された第１画像、及び前記第１画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像に基づいて生成された学習モデルに、取得された入力画像を入力し、粒子、境界及び背景を含む出力画像を前記学習モデルから出力する。
【０２３８】
入力画像は、顕微鏡によって粒子が撮像されている画像であって、粒子を検出する前の画像である。学習モデルは、顕微鏡によって粒子が撮影された第１画像、及び第１画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像に基づいて生成されている。
【０２３９】
入力画像を学習モデルに入力すると、学習モデルは、粒子、境界及び背景を含む出力画像を出力する。すなわち、学習モデルは、例えば、入力画像の画素毎に、粒子であるか、境界であるか、背景であるかを識別することができる。入力画像と識別結果とを重ねることにより、複数の粒子を含む出力画像を出力することができる。
【０２４０】
これにより、顕微鏡によって粒子が撮像された入力画像が学習モデルに入力されると、学習モデルは、入力画像上の各画素が粒子であるか、境界であるか、背景であるかを識別するので、粒子の形状が複雑、あるいは不規則な形状であっても、境界によって粒子を区別できるので、入力画像上の粒子を精度よく検出することができる。
【０２４１】
本実施の形態の粒子識別装置において、前記プロセッサは、取得した入力画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像を受け付け、取得した入力画像及び受け付けた第２画像を出力する。
【０２４２】
プロセッサは、取得した入力画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像を受け付ける。プロセッサは、取得した入力画像及び受け付けた第２画像を出力する。出力先は、例えば、入力画像及び第２画像に基づいて学習モデルを生成又は再学習させる、外部のサーバ等とすることができる。これにより、学習モデルを生成又は再学習するための学習用データを提供することができる。
【０２４３】
本実施の形態の粒子識別装置において、前記プロセッサは、前記第１画像としての前記取得した入力画像及び受け付けた第２画像に基づいて前記学習モデルを再学習する。
【０２４４】
プロセッサは、取得した入力画像（第１画像）及び受け付けた第２画像に基づいて学習モデルを再学習する。これにより、学習モデルによる粒子の検出精度を向上させることができる。
【０２４５】
本実施の形態の粒子識別装置において、前記プロセッサは、取得した入力画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示し、前記マスク画像に対して境界を付加する編集操作を受け付け、受け付けた境界が付加された前記第２画像を生成する。
【０２４６】
プロセッサは、取得した入力画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示する。これにより、入力画像の粒子の部分は、そのまま表示され、粒子でない部分（境界及び背景）は半透明で表示されるので、ユーザは、境界の部分を容易に視認することができる。
【０２４７】
プロセッサは、マスク画像に対して境界を付加する編集操作を受け付ける。編集操作は、例えば、境界の部分を塗り潰す操作とすることができる。プロセッサは、受け付けた境界が付加された第２画像を生成する。これにより、三値のラベル画像である第２画像を容易に生成することができる。
【符号の説明】
【０２４８】
１００  画像識別装置
１０  制御部
１１  入力部
１２  操作部
１３  検出処理部
１４  分類処理部
１５  編集処理部
１６  出力処理部
１７  表示パネル
２０  学習処理部
２１  学習データ入力部
２２  検出パラメータ学習部
２３  分類パラメータ学習部
２４  モデルファイル出力部
３０  記憶部
３１  検出モデルファイル
３２  分類モデルファイル
３３  学習データ
【図１】
2020111048.tif 000003
【図２】
2020111048.tif 000004
【図３】
2020111048.tif 000005
【図４】
2020111048.tif 000006
【図５】
2020111048.tif 000007
【図６】
2020111048.tif 000008
【図７】
2020111048.tif 000009
【図８】
2020111048.tif 000010
【図９】
2020111048.tif 000011
【図１０】
2020111048.tif 000012
【図１１】
2020111048.tif 000013
【図１２】
2020111048.tif 000014
【図１３】
2020111048.tif 000015
【図１４】
2020111048.tif 000016
【図１５】
2020111048.tif 000017
【図１６】
2020111048.tif 000018
【図１７】
2020111048.tif 000019
【図１８】
2020111048.tif 000020
【図１９】
2020111048.tif 000021
【図２０】
2020111048.tif 000022
【図２１】
2020111048.tif 000023
【図２２】
2020111048.tif 000024
【図２３】
2020111048.tif 000025
【図２４】
2020111048.tif 000026
【図２５】
2020111048.tif 000027
【図２６】
2020111048.tif 000028
【図２７】
2020111048.tif 000029
【図２８】
2020111048.tif 000030
【図２９】
2020111048.tif 000031
【図３０】
2020111048.tif 000032
【図３１】
2020111048.tif 000033
【図３２】
2020111048.tif 000034
【図３３】
2020111048.tif 000035
【図３４Ａ】
2020111048.tif 000036
【図３４Ｂ】
2020111048.tif 000037
【図３４Ｃ】
2020111048.tif 000038
【図３４Ｄ】
2020111048.tif 000039
【図３４Ｅ】
2020111048.tif 000040
【図３５】
2020111048.tif 000041
【図３６Ａ】
2020111048.tif 000042
【図３６Ｂ】
2020111048.tif 000043
【図３６Ｃ】
2020111048.tif 000044
【図３７】
2020111048.tif 000045
【図３８】
2020111048.tif 000046
【図３９】
2020111048.tif 000047
【図４０】
2020111048.tif 000048
【図４１Ａ】
2020111048.tif 000049
【図４１Ｂ】
2020111048.tif 000050
【図４１Ｃ】
2020111048.tif 000051
【図４１Ｄ】
2020111048.tif 000052
【図４１Ｅ】
2020111048.tif 000053
【図４２Ａ】
2020111048.tif 000054
【図４２Ｂ】
2020111048.tif 000055
【図４２Ｃ】
2020111048.tif 000056
【図４２Ｄ】
2020111048.tif 000057
【図４２Ｅ】
2020111048.tif 000058
【図４３Ａ】
2020111048.tif 000059
【図４３Ｂ】
2020111048.tif 000060
【図４３Ｃ】
2020111048.tif 000061
【図４３Ｄ】
2020111048.tif 000062
【図４３Ｅ】
2020111048.tif 000063
【図４４Ａ】
2020111048.tif 000064
【図４４Ｂ】
2020111048.tif 000065
【図４４Ｃ】
2020111048.tif 000066
【図４４Ｄ】
2020111048.tif 000067
【図４４Ｅ】
2020111048.tif 000068
【図４５Ａ】
2020111048.tif 000069
【図４５Ｂ】
2020111048.tif 000070
【図４６Ａ】
2020111048.tif 000071
【図４６Ｂ】
2020111048.tif 000072
【図４７Ａ】
2020111048.tif 000073
【図４７Ｂ】
2020111048.tif 000074
【図４８Ａ】
2020111048.tif 000075
【図４８Ｂ】
2020111048.tif 000076
【図４９Ａ】
2020111048.tif 000077
【図４９Ｂ】
2020111048.tif 000078
【図５０Ａ】
2020111048.tif 000079
【図５０Ｂ】
2020111048.tif 000080
【図５１】
2020111048.tif 000081
【図５２】
2020111048.tif 000082
【図５３】
2020111048.tif 000083
【手続補正書】
【提出日】令和3年3月29日(2021.3.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
プロセッサを備え、
前記プロセッサは、
識別対象が撮像された第１画像を取得し、
前記第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像を取得し、
少なくとも取得した第１画像及び第２画像に基づいて識別対象を識別するための学習モデルを生成し、
所定の第１画像に基づいて前記学習モデルが出力する第２画像の特定のラベルに対応する画素を、該画素に対応する前記所定の第１画像の画素で置き換え、
画素が置き換えられた第２画像を表示し、
表示した第２画像の編集操作を受け付け、
少なくとも前記所定の第1画像及び編集操作を受け付けた第２画像に基づいて前記学習モデルを更新する学習モデル生成装置。
【請求項２】
前記プロセッサは、
前記第１画像の画素に対応させた少なくとも三値のラベルで識別対象を特定する請求項１に記載の学習モデル生成装置。
【請求項３】
前記プロセッサは、
前記第１画像の画素に対応させたラベルであって、識別対象でない領域であることを示す第１ラベル、識別対象の境界を含む領域であることを示す第２ラベル、及び識別対象の領域であることを示す第３ラベルを含むラベルで識別対象を特定する第２画像を取得する請求項２に記載の学習モデル生成装置。
【請求項４】
前記プロセッサは、
前記第１画像の画素に対応させたラベルであって、識別対象の領域であることを示す少なくとも２種類の第３ラベルを含むラベルで識別対象を特定する第２画像を取得する請求項３に記載の学習モデル生成装置。
【請求項５】
前記プロセッサは、
前記第１画像の画素に対応させた少なくとも三値のラベルで識別対象の領域であって識別対象の形状に基づく識別対象の種類を特定する第２画像を取得する請求項２に記載の学習モデル生成装置。
【請求項６】
前記プロセッサは、
前記第１画像の画素に対応させたラベルで学習範囲外であることを特定する第２画像を取得する請求項１から請求項５のいずれか一項に記載の学習モデル生成装置。
【請求項７】
前記プロセッサは、
識別対象が識別された第３画像を取得し、
前記第３画像の画素に対応させたラベルで識別対象の形状に基づく識別対象の種類を特定する第４画像を取得し、
少なくとも取得した第３画像及び第４画像に基づいて識別対象の種類を識別するための学習モデルを生成する請求項１から請求項６のいずれか一項に記載の学習モデル生成装置。
【請求項８】
プロセッサを備え、
前記プロセッサは、
入力画像を取得し、
少なくとも識別対象が撮像された第１画像、及び第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像に基づいて生成された学習モデルであって、
所定の第１画像に基づいて前記学習モデルが出力する第２画像の特定のラベルに対応する画素を、該画素に対応する前記所定の第１画像の画素で置き換え、画素が置き換えられた第２画像を表示し、表示した第２画像の編集操作を受け付け、少なくとも前記所定の第1画像及び編集操作を受け付けた第２画像に基づいて更新された前記学習モデルに、取得した入力画像を入力し、
前記学習モデルが出力する識別結果に基づいて、複数の識別対象を含む出力画像を表示する表示装置。
【請求項９】
前記プロセッサは、
少なくとも識別対象が識別された第３画像、及び第３画像の画素に対応させたラベルで識別対象の形状に基づく識別対象の種類を特定する第４画像に基づいて生成された学習モデルに、取得した入力画像を入力し、
前記学習モデルが出力する識別結果に基づいて、前記出力画像の識別対象の形状に基づく識別対象の種類を識別可能に表示する請求項８に記載の表示装置。
【請求項１０】
前記プロセッサは、
前記出力画像の識別対象の長径及び短径の少なくとも一つを表示する請求項８又は請求項９に記載の表示装置。
【請求項１１】
前記プロセッサは、
前記出力画像の識別対象の長径を示す線分及び短径を示す線分を表示する請求項８から請求項１０のいずれか一項に記載の表示装置。
【請求項１２】
前記プロセッサは、
前記出力画像の識別対象の長径と短径との比を表示する請求項８から請求項１１のいずれか一項に記載の表示装置。
【請求項１３】
前記プロセッサは、
前記出力画像の複数の識別対象についての所要の属性を選択する操作を受け付け、
選択された属性の分布情報を表示する請求項８から請求項１２のいずれか一項に記載の表示装置。
【請求項１４】
前記属性は、識別対象の長径、短径及び面積径の少なくとも一つを含む請求項１３に記載の表示装置。
【請求項１５】
前記プロセッサは、
前記出力画像の複数の識別対象の全部又は一部を識別可能に表示する請求項８から請求項１４のいずれか一項に記載の表示装置。
【請求項１６】
前記プロセッサは、
前記識別対象の領域を表示する請求項１５に記載の表示装置。
【請求項１７】
前記プロセッサは、
前記識別対象の重心を表示する請求項１５又は請求項１６に記載の表示装置。
【請求項１８】
前記プロセッサは、
隣接する識別対象を異なる表示態様で表示する請求項１５から請求項１７のいずれか一項に記載の表示装置。
【請求項１９】
前記プロセッサは、
前記識別対象の重心から境界に向かう波動アニメーションを表示する請求項１５から請求項１８のいずれか一項に記載の表示装置。
【請求項２０】
コンピュータに、
識別対象が撮像された第１画像を取得する処理と、
前記第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像を取得する処理と、
少なくとも取得した第１画像及び第２画像に基づいて識別対象を識別するための学習モデルを生成する処理と、
所定の第１画像に基づいて前記学習モデルが出力する第２画像の特定のラベルに対応する画素を、該画素に対応する前記所定の第１画像の画素で置き換える処理と、
画素が置き換えられた第２画像を表示する処理と、
表示した第２画像の編集操作を受け付ける処理と、
少なくとも前記所定の第1画像及び編集操作を受け付けた第２画像に基づいて前記学習モデルを更新する処理と
を実行させるコンピュータプログラム。
【請求項２１】
コンピュータに、
入力画像を取得する処理と、
少なくとも識別対象が撮像された第１画像、及び第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像に基づいて生成された学習モデルであって、
所定の第１画像に基づいて前記学習モデルが出力する第２画像の特定のラベルに対応する画素を、該画素に対応する前記所定の第１画像の画素で置き換え、画素が置き換えられた第２画像を表示し、表示した第２画像の編集操作を受け付け、少なくとも前記所定の第1画像及び編集操作を受け付けた第２画像に基づいて更新された前記学習モデルに、取得した入力画像を入力する処理と、
前記学習モデルが出力する識別結果に基づいて、複数の識別対象を含む出力画像を表示する処理と
を実行させるコンピュータプログラム。
【請求項２２】
識別対象が撮像された第１画像を取得し、
前記第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像を取得し、
少なくとも取得した第１画像及び第２画像に基づいて識別対象を識別するための学習モデルを生成し、
所定の第１画像に基づいて前記学習モデルが出力する第２画像の特定のラベルに対応する画素を、該画素に対応する前記所定の第１画像の画素で置き換え、
画素が置き換えられた第２画像を表示し、
表示した第２画像の編集操作を受け付け、
少なくとも前記所定の第1画像及び編集操作を受け付けた第２画像に基づいて前記学習モデルを更新する学習モデル生成方法。
【請求項２３】
入力画像を取得し、
少なくとも識別対象が撮像された第１画像、及び第１画像の画素に対応させた少なくとも二値のラベルで識別対象を特定する第２画像に基づいて生成された学習モデルであって、
所定の第１画像に基づいて前記学習モデルが出力する第２画像の特定のラベルに対応する画素を、該画素に対応する前記所定の第１画像の画素で置き換え、画素が置き換えられた第２画像を表示し、表示した第２画像の編集操作を受け付け、少なくとも前記所定の第1画像及び編集操作を受け付けた第２画像に基づいて更新された前記学習モデルに、取得した入力画像を入力し、
前記学習モデルが出力する識別結果に基づいて、複数の識別対象を含む出力画像を表示する表示方法。
【請求項２４】
プロセッサを備え、
前記プロセッサは、
顕微鏡によって粒子が撮影された第１画像を取得し、
前記第１画像の画素に対応させた二値画像を取得し、
取得した二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する第２画像を生成し、
前記第１画像及び第２画像に基づいて、顕微鏡によって粒子が撮影された入力画像から粒子、境界及び背景を含む出力画像を出力する学習モデルを生成する学習モデル生成装置。
【請求項２５】
前記プロセッサは、
顕微鏡によって粒子が撮影された元画像の複数の矩形領域毎の輝度分散及び周波数分散の少なくとも一方を算出し、
算出した輝度分散及び周波数分散の少なくとも一方に基づいて前記第１画像を選定する請求項１又は請求項２４に記載の学習モデル生成装置。
【請求項２６】
前記プロセッサは、
前記第１画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示し、
前記マスク画像に対して境界を付加する編集操作を受け付け、
受け付けた境界が付加された前記第２画像を生成する請求項２４又は請求項２５に記載の学習モデル生成装置。
【請求項２７】
前記プロセッサは、
顕微鏡によって粒子が撮影された入力画像、及び前記入力画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像を取得し、
取得した入力画像及び第２画像に基づいて前記学習モデルを再学習する請求項２４から請求項２６のいずれか一項に記載の学習モデル生成装置。
【請求項２８】
プロセッサを備え、
前記プロセッサは、
顕微鏡によって粒子が撮影された入力画像を取得し、
顕微鏡によって粒子が撮影された第１画像、及び前記第１画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示し、前記マスク画像に対して境界を付加する編集操作を受け付け、受け付けた粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像に基づいて生成された学習モデルに、取得した入力画像を入力し、
粒子、境界及び背景を含む出力画像を前記学習モデルから出力する粒子識別装置。
【請求項２９】
前記プロセッサは、
取得した入力画像の画素に対応させた二値画像に対して粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像を受け付け、
取得した入力画像及び受け付けた第２画像を出力する請求項２８に記載の粒子識別装置。
【請求項３０】
前記プロセッサは、
前記第１画像としての前記取得した入力画像及び受け付けた第２画像に基づいて前記学習モデルを再学習する請求項２８又は請求項２９に記載の粒子識別装置。
【請求項３１】
コンピュータに、
顕微鏡によって粒子が撮影された第１画像を取得する処理と、
前記第１画像の画素に対応させた二値画像を取得する処理と、
取得した二値画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示し、前記マスク画像に対して境界を付加する編集操作を受け付け、受け付けた粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する第２画像を生成する処理と、
前記第１画像及び第２画像に基づいて、顕微鏡によって粒子が撮影された入力画像から粒子、境界及び背景を含む出力画像を出力する学習モデルを生成する処理と
を実行させるコンピュータプログラム。
【請求項３２】
コンピュータに、
顕微鏡によって粒子が撮影された入力画像を取得する処理と、
顕微鏡によって粒子が撮影された第１画像、及び前記第１画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示し、前記マスク画像に対して境界を付加する編集操作を受け付け、受け付けた粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像に基づいて生成された学習モデルに、取得した入力画像を入力する処理と、
粒子、境界及び背景を含む出力画像を前記学習モデルから出力する処理と
を実行させるコンピュータプログラム。
【請求項３３】
顕微鏡によって粒子が撮影された第１画像を取得し、
前記第１画像の画素に対応させた二値画像を取得し、
取得された二値画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示し、前記マスク画像に対して境界を付加する編集操作を受け付け、受け付けた粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定する第２画像を生成し、
前記第１画像及び第２画像に基づいて、顕微鏡によって粒子が撮影された入力画像から粒子、境界及び背景を含む出力画像を出力する学習モデルを生成する学習モデル生成方法。
【請求項３４】
顕微鏡によって粒子が撮影された入力画像を取得し、
顕微鏡によって粒子が撮影された第１画像、及び前記第１画像上に、粒子に対応する領域を透明とし、境界及び背景に対応する領域を半透明とするマスク画像を重ねて表示し、前記マスク画像に対して境界を付加する編集操作を受け付け、受け付けた粒子の境界が付加された三値のラベルで粒子、境界及び背景を特定した第２画像に基づいて生成された学習モデルに、取得された入力画像を入力し、
粒子、境界及び背景を含む出力画像を前記学習モデルから出力する粒子識別方法。
【国際調査報告】
2020111048.tif 000084
2020111048.tif 000085
2020111048.tif 000086
2020111048.tif 000087