(57)【要約】  蛍光退色を考慮した、高精度且つ効率的な試料の品質判定を行う。  蛍光画像データ取得工程（Ｓ０１）、機械学習工程（Ｓ０２）、及び、品質区分判定工程（Ｓ０３）からなる蛍光画像を利用した試料の品質判定方法であって、工程Ｓ０１において、蛍光画像の取得時点を、励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）から所定の期間P（P＞０）内となるように設定する。
2020158107.tif 000002
【特許請求の範囲】
【請求項１】
既知の品質区分を含む試料に予め定められた励起波長を有する励起光を照射し、該励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）から所定の期間P（P＞０）内に得られた、予め定められた蛍光波長の反射光の強度に基づく蛍光画像を、励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データとして取得する蛍光画像データ取得工程と、
前記蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築する機械学習工程と、
未知の品質区分を含む試料の蛍光画像データから得られた入力画像データに対して前記分類器を適用し、該試料に含まれる品質区分を判定する品質区分判定工程と、
を含むことを特徴とする方法。
【請求項２】
請求項１に記載の方法において、蛍光画像データ中に存在するオブジェクトの形状をも考慮した機械学習を行い、前記試料に含まれる品質区分の判定に反映させることを特徴とする方法。
【請求項３】
請求項１又は２に記載の方法において、前記時刻Tを複数（0≦T1＜・・・＜Tn）設け、各時刻Ti（1≦i≦ｎ）ごとに得られた蛍光画像データから作成された所定のチャネル数を有する入力画像データを、それぞれ、前記複数の時刻ごとの訓練データとしてコンピュータによる機械学習を行い、前記試料に対して前記複数の時刻ごとに最適な品質区分を付与する分類器を構築し、品質区分の判定時に、該品質区分に適合する分類器を選択し、該試料に含まれる品質区分を判定することを特徴とする方法。
【請求項４】
請求項１又は２に記載の方法において、前記時刻Tを複数（0≦T1＜・・・＜Tn）設け、各時刻Ti（1≦i≦ｎ）ごとに得られた蛍光画像データを時系列的に集積して集積蛍光画像データを作成し、前記集積蛍光画像データから作成された所定のチャネル数を有する入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に対して最適な品質区分を付与する分類器を構築することを特徴とする方法。
【請求項５】
請求項１〜４のいずれか１項に記載の方法において、前記時刻Tは、蛍光の退色が始まる前の時刻であることを特徴とする方法。
【請求項６】
請求項１〜５のいずれか１項に記載の方法において、前記時刻T及び期間Pを、品質区分に依存させて当該品質区分の判定精度を高めるように設定することを特徴とする方法。
【請求項７】
請求項１〜６の何れか１項に記載の方法であって、更に、可視画像データを取得する可視画像データ取得工程を含み、前記蛍光画像データ及び該可視画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行うことを特徴とする方法。
【請求項８】
請求項７に記載の方法において、前記可視画像データは、R（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）で構成されることを特徴とする方法。
【請求項９】
請求項１〜８のいずれか１項に記載の方法において、励起波長及び蛍光波長として、ポリフェノール、クロロフィルの検出に適合する励起・蛍光波長を使用することを特徴とする方法。
【請求項１０】
請求項１〜９の何れか１項に記載の方法において、試料がたばこ原料であり、品質区分がバーレー種のラミナ、黄色種のラミナ、オリエント種のラミナ、中骨、たばこシート、パフであることを特徴とする方法。
【請求項１１】
コンピュータに請求項１〜１０のいずれか１項に記載の方法を実行させるためのプログラム。
【請求項１２】
励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）から所定の期間P（P＞０）内に得られた、予め定められた蛍光波長の反射光の強度に基づく、既知の品質区分を含む試料に関する励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データを取得し、該蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとして機械学習を行い、前記試料に対して最適な品質区分を付与する分類器を構築する機械学習手段と、
未知の品質区分を含む試料の蛍光画像データから得られた入力画像データに対して前記分類器を適用し、該試料に含まれる品質区分を判定する品質区分判定手段と、
を具備することを特徴とする装置。
【請求項１３】
請求項１２に記載の装置において、前記蛍光画像データ中に存在するオブジェクトの形状をも考慮した機械学習を行い、前記試料に含まれる品質区分の判定に反映させることを特徴とする装置。
【請求項１４】
請求項１２又は１３に記載の装置において、前記取得時刻Tが異なる蛍光画像データから作成された所定のチャネル数を有する入力画像データを、それぞれ、前記取得時刻ごとの訓練データとしてコンピュータによる機械学習を行い、前記試料に対して前記取得時刻ごとに最適な品質区分を付与する分類器を構築し、未知の品質区分を含む試料に対して適合する分類器を選択し、品質区分の判定時に、該品質区分に適合する分類器を選択し、該試料に含まれる品質区分を判定することを特徴とする装置。
【請求項１５】
請求項１２又は１３に記載の装置において、前記取得時刻Tが異なる蛍光画像データを時系列的に集積して集積蛍光画像データを作成し、前記集積蛍光画像データから作成された所定のチャネル数を有する入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に対して最適な品質区分を付与する分類器を構築することを特徴とする装置。
【請求項１６】
請求項１２〜１５のいずれか１項に記載の装置であって、更に、可視画像データを取得し、前記蛍光画像データ及び該可視画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行うことを特徴とする装置。
【請求項１７】
請求項１６に記載の装置において、前記可視画像データは、R（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）で構成されることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、蛍光画像を利用した試料の品質判定方法、プログラム、及び、装置に関し、特に、試料中の成分の判定に好適に利用し得る品質判定方法、プログラム、及び、装置に関する。
【背景技術】
【０００２】
従来、試料等の品質評価のために、連続スペクトルを利用したハイパースペクトルイメージング技術や、離散スペクトルを利用したマルチスペクトルイメージング技術が使用されている。また、このようなスペクトルイメージングの「スペクトル」として、「蛍光指紋」を用いた「蛍光指紋イメージング技術」(Fluorescence Fingerprint Imaging technique)も提案されている（例えば、特許文献１、非特許文献１参照）。【０００３】
因みに、蛍光指紋は、励起蛍光マトリクス（Excitation Emission Matrix；ＥＥＭ）とも呼ばれ、蛍光物質を含む試験試料に、段階的に励起波長を変化させながら励起光を照射し、試験試料から発せられる所定の蛍光波長の光（蛍光）の強度を、励起波長（λＥｘ）、蛍光波長（測定波長）（λＥｍ）、蛍光強度（ＩＥｘ，Ｅｍ）を３直交軸とする３次元空間においてプロットして得られるポイントの集合を可視化したものである（図２参照）。【０００４】
蛍光指紋は、各ポイントの蛍光強度を等高線形状や色分布等で表示することにより、３次元グラフとして表すことができ（図３参照）、また、２次元グラフとして表すこともできる（図４参照）。蛍光指紋は、３次元の膨大な情報を有する試験試料固有のパターンを示していることから、各種の鑑別や定量等に好適に使用し得る。【０００５】
蛍光指紋のハイパースペクトルイメージには、図５に示すように、上述の蛍光指紋情報に加えて、位置情報も含まれていることから、蛍光指紋イメージング技術により、試料中の成分の特定のみならず、その分布等についての特定も可能となる。なお、図５中の「波長条件」は、励起波長（λＥｘ）と蛍光波長（λＥｍ）との組み合わせに対応するものであり、波長条件の個数は、励起波長（λＥｘ）と蛍光波長（λＥｍ）との組み合わせの個数に等しい。【０００６】
非特許文献１には、蛍光指紋イメージから試料中の特定成分の可視化画像を取得するために二次計画法等の手法を用いること等が開示されており、このような手法は、ハイパースペクトルイメージの分類問題に対する一つのアプローチといえる。【０００７】
一般に、ハイパースペクトルイメージの分類問題に関しては、機械学習の一種である深層学習の利用が有効であるとの知見が得られている（例えば、非特許文献２参照）。【０００８】
なお、機械学習の一種である深層学習に関しては、各種の手法が知られており（例えば、非特許文献３参照）、特に、画像認識に好適な深層学習に関しては、畳み込みニューラルネットワーク(Convolutional Neural Network; CNN)の使用が有効であるとの知見が得られている（例えば、非特許文献３、４参照）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１２−９８２４４号公報
【非特許文献】
【００１０】
【非特許文献１】粉川美踏他「蛍光指紋イメージング技術の開発」；「日本食品科学工学会誌」VOL.62 NO.10, P477-483 (2015)
【非特許文献２】Li, Y, et al. "Spectral-Spatial Classification of Hyperspectral Imagery with 3D Convolutional Neural Network" Remote Sens. 2017, 9(1), 67; (http://dx.doi.org/10.3390/rs9010067)
【非特許文献３】岡谷貴之「深層学習」2015-4-7、講談社
【非特許文献４】原田達也「画像認識」2017-5-24、講談社
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述のように、蛍光指紋のハイパースペクトルイメージを用いた蛍光指紋イメージング技術により、試料中の成分の特定のみならず、その分布等についての特定も可能となるものの、蛍光指紋を取り扱う場合には、蛍光退色(fluorescence photobleaching)という蛍光特有の問題を考慮する必要がある。【００１２】
蛍光退色は、光によって励起された蛍光色素分子の構造不安定性に起因して、蛍光色素分子の構造が変化し、励起状態を維持できなくなって蛍光の放出が止まるという事象を意味する。そして、このような蛍光退色が発生すると、退色の程度によっては観測が困難となる場合が生じる。【００１３】
しかしながら、従来の蛍光指紋イメージング技術において、このような蛍光退色への対応は十分に考慮されてはいなかった。
【課題を解決するための手段】
【００１４】
本発明は、このような課題を解決するために提案されたものであり、蛍光画像の処理に、蛍光退色という事象を考慮した、機械学習による分類問題へのアプローチ手法を適用して、試料の品質判定を高精度且つ効率的に行うようにしたものである。【００１５】
本発明の実施の態様を例示すれば、以下のとおりである。
（態様１）
既知の品質区分を含む試料に予め定められた励起波長を有する励起光を照射し、該励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）から所定の期間P（P＞０）内に得られた、予め定められた蛍光波長の反射光の強度に基づく蛍光画像を、励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データとして取得する蛍光画像データ取得工程と、
前記蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築する機械学習工程と、
未知の品質区分を含む試料の蛍光画像データから得られた入力画像データに対して前記分類器を適用し、該試料に含まれる品質区分を判定する品質区分判定工程と、
を含むことを特徴とする方法。
（態様２）
態様１に記載の方法において、蛍光画像データ中に存在するオブジェクトの形状をも考慮した機械学習を行い、前記試料に含まれる品質区分の判定に反映させることを特徴とする方法。
（態様３）
態様１又は２に記載の方法において、前記時刻Tを複数（0≦T1＜・・・＜Tn）設け、各時刻Ti（1≦i≦ｎ）ごとに得られた蛍光画像データから作成された所定のチャネル数を有する入力画像データを、それぞれ、前記複数の時刻ごとの訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して前記複数の時刻ごとに最適な品質区分を付与する分類器を構築し、品質区分の判定時に、該品質区分に適合する分類器を選択し、該試料に含まれる品質区分を判定することを特徴とする方法。
（態様４）
態様１又は２に記載の方法において、前記時刻Tを複数（0≦T1＜・・・＜Tn）設け、各時刻Ti（1≦i≦ｎ）ごとに得られた蛍光画像データを時系列的に集積して集積蛍光画像データを作成し、前記集積蛍光画像データから作成された所定のチャネル数を有する入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築することを特徴とする方法。
（態様５）
態様１〜４に記載の方法において、前記時刻Tは、蛍光の退色が始まる前の時刻であることを特徴とする方法。
（態様６）
態様１〜５のいずれか１項に記載の方法において、前記時刻T及び期間Pを、品質区分に依存させて当該品質区分の判定精度を高めるように設定することを特徴とする方法。
（態様７）
態様１〜６に記載の方法であって、更に、可視画像データを取得する可視画像データ取得工程を含み、前記蛍光画像データ及び該可視画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行うことを特徴とする方法。
（態様８）
態様７に記載の方法において、前記可視画像データは、R（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）で構成されることを特徴とする方法。
（態様９）
態様１〜８に記載の方法において、励起波長及び蛍光波長として、ポリフェノール、クロロフィルの検出に適合する励起・蛍光波長を使用することを特徴とする方法。
（態様１０）
態様１〜９に記載の方法において、試料がたばこ原料であり、品質区分がバーレー種のラミナ、黄色種のラミナ、オリエント種のラミナ、中骨、たばこシート、パフであることを特徴とする方法。
（態様１１）
コンピュータに態様１〜１０に記載の方法を実行させるためのプログラム。
（態様１２）
励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）から所定の期間P（P＞０）内に得られた、予め定められた蛍光波長の反射光の強度に基づく、既知の品質区分を含む試料に関する励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データを取得し、該蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとして機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築する機械学習手段と、
未知の品質区分を含む試料の蛍光画像データから得られた入力画像データに対して前記分類器を適用し、該試料に含まれる品質区分を判定する品質区分判定手段と、
を具備することを特徴とする装置。
（態様１３）
態様１２に記載の装置において、前記蛍光画像データ中に存在するオブジェクトの形状をも考慮した機械学習を行い、前記試料に含まれる品質区分の判定に反映させることを特徴とする装置。
（態様１４）
態様１２又は１３に記載の装置において、前記取得時刻Tが異なる蛍光画像データから作成された所定のチャネル数を有する入力画像データを、それぞれ、前記取得時刻ごとの訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して前記取得時刻ごとに最適な品質区分を付与する分類器を構築し、品質区分の判定時に、該品質区分に適合する分類器を選択し、該試料に含まれる品質区分を判定することを特徴とする装置。
（態様１５）
態様１２又は１３に記載の装置において、前記取得時刻Tが異なる蛍光画像データを時系列的に集積して集積蛍光画像データを作成し、前記集積蛍光画像データから作成された所定のチャネル数を有する入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築することを特徴とする装置。
（態様１６）
態様１２〜１５に記載の装置であって、更に、可視画像データを取得し、前記蛍光画像データ及び該可視画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行うことを特徴とする装置。
（態様１７）
態様１６に記載の装置において、前記可視画像データは、R（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）で構成されることを特徴とする装置。【００１６】
上述の態様において、「近傍値」という語句は、中心波長の上下の所定幅内にある値を意味する。当該所定幅は、例えば、５〜１０ｎｍに設定することができる。【００１７】
また、「プログラム」とは、任意の言語や記述方法に基づき記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問うものではない。また、「プログラム」は単一の形で構成されてもよいが、複数のモジュールやライブラリとして分散構成されてもよく、また、他の既存のプログラムと協働してその機能を達成するように構成されたものであってもよい。【００１８】
また、「装置」は、ハードウエアとして構成されてもよいが、コンピュータのソフトウエアによって各種機能を実現する機能実現手段の組合せとして構成されてもよい。機能実現手段には、例えば、プログラムモジュールが含まれ得る。
なお、態様１０のたばこの品質区分に関しては、後述する。
【発明の効果】
【００１９】
本発明によれば、蛍光退色という事象を考慮した、高精度且つ効率的な試料の品質判定が可能になる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の方法に係る実施の一態様の概要を説明するためのフローチャートである。
【図２】図２は、計測対象物に励起光を照射した場合に該計測対象物から発せられた蛍光のスペクトルの概要を示す説明図である。
【図３】図３は、蛍光指紋の一例を３次元的に示す等高線形状のグラフである。
【図４】図４は、蛍光指紋の一例を２次元的に示す等高線形状のグラフである。
【図５】図５は、蛍光指紋のハイパースペクトルイメージ及びマルチスペクトルイメージの一例を模式的に示す説明図である。
【図６】図６は、蛍光イメージングシステムの一例を表す図である。
【図７】図７は、畳み込み層における処理例を示す説明図である。
【図８】図８は、AlexNetの構造を示す説明図である。
【図９】図９は、GoogLeNetの構造を示す説明図である。
【図１０】図１０は、SegNetの構造を示す説明図である。
【図１１】図１１は、本発明の装置に係る実施の一態様の概要を説明するためのブロック図である。
【図１２Ａ】図１２Aは、白色光下で取得した、たばこ原料サンプルの可視画像である。
【図１２Ｂ】図１２Bは、たばこ原料サンプルにフィルタを介することなく励起光を照射し、取得した蛍光画像である。
【図１３】図１３は、たばこ原料サンプルに関し、励起・蛍光波長の組合せI〜VIにより取得した蛍光画像である。
【図１４】図１４は、たばこ原料サンプルに対して、セマンティック・セグメンテーションを適用する場合の概要を説明するための模式図である。
【図１５】図１５は、たばこ原料サンプルに関し、蛍光画像データ及び可視画像データを併用して機械学習を行う場合の入力画像データの選択の一例を示す表である。
【図１６】図１６は、学習済みの畳み込みニューラルネットワークを品質区分が既知のたばこ原料のテスト試料に適用した判定結果を示す表である。
【発明を実施するための形態】
【００２１】
以下、本発明の方法に係る実施態様例を説明する。また、本発明の装置に係る実施態様例を説明する。更に、本発明の方法を、たばこ原料の品質区分の判定に適用した態様例について説明する。
【００２２】
なお、以下において説明する実施態様例により、本発明が限定されるものではないことに留意されたい。
【００２３】
I．本発明の方法に係る実施態様例
I−１．実施の一態様
図１は、本発明の方法に係る実施の一態様（実施態様I−１）の概要を説明するためのフローチャートである。図１に示されるように、実施態様I−１は、蛍光画像データ取得工程（Ｓ０１）、機械学習工程（Ｓ０２）、及び、品質区分判定工程（Ｓ０３）を含む。これらの各工程について、以下、説明する。
【００２４】
I−１−１．蛍光画像データ取得工程（Ｓ０１）
本工程は、既知の品質区分を含む試料に予め定められた励起波長を有する励起光を照射し、該励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）から所定の期間P（P＞０）内に得られた予め定められた蛍光波長の反射光の強度に基づく蛍光画像を、励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データとして取得する工程である。
【００２５】
蛍光画像データの取得手法について概略を説明する。
蛍光画像データの取得には、図６に示されるような蛍光イメージングシステム６００を用いる。蛍光イメージングシステム６００は、分光照明装置６１０と分光撮影装置６２０から構成されている。分光照明装置６１０は、例えば、３４０〜４２０ｎｍの範囲で１０ｎｍ刻みに設定し得るバンドパスフィルタ６１４を通してキセノン光源６１２（ＭＡＸ−３０３（商品名）、朝日分光（会社名））から放出される特定波長の励起光をサンプル６３０に照射する。分光撮影装置６２０は、サンプル６３０からの反射光を、４２０〜７００ｎｍの範囲で１０ｎｍ刻みに設定し得るバンドパスフィルタ６２２を介して、特定波長の蛍光画像のみを撮像装置６２４で撮影する。光源側のバンドパスフィルタ６１４と撮像装置側のバンドパスフィルタ６２２をそれぞれ換えながらサンプルを撮影することにより、図５に示されるような励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データを取得し得る。なお、図６においては、サンプルの大きさを４×４ｃｍとしているが、特にこの数値に限定されるというものではなく、大きさは適宜設定し得る。また、取得した複数枚の画像を合成して蛍光画像データとすることもできる。
【００２６】
また、蛍光画像データの取得時刻を、励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）とし、前述のような蛍光退色という事象を考慮した構成としている。時刻Tは、蛍光退色が始まる前の時刻としてもよいが、蛍光退色の程度が時間に対して非線形性を有していることから、このような蛍光退色の特性を利用して、分類を行うのに適切な蛍光画像データを取得するための時刻や期間を、各品質区分に適合した時刻Tや期間Pとして設定することができる。
【００２７】
このように、時刻Tと期間Pを、試料中の品質区分に依存させて当該品質区分の判定精度を高めるように設定することができ、それが後述する学習結果に反映されて判定精度の一層の向上を図ることができる。
【００２８】
I−１−２．機械学習工程（Ｓ０２）
本工程は、前述の蛍光画像データ取得工程において取得された蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築する工程である。
【００２９】
まず、蛍光画像データ取得工程（Ｓ０１）において取得された蛍光画像データに対し、必要に応じて、前処理を施し、入力画像データを作成する。なお、取得された蛍光画像データのチャネル数を、それぞれ、K1とした場合、必ずしも、入力画像データのチャネル数KをK1とする必要はなく、K1未満の値とすることもできる（縮約の実施）。このような縮約を実施する場合に、どのようにデータを整理・統合するかについては、事前に実施する予備的調査や既知の結果等を勘案して適宜決定すればよい。
【００３０】
前処理としては、例えば、データの抜け、異常値への対応、サイズの変更、データ量の調整の外に、データをある範囲に収まるように変換するデータの正規化(regularization)、データの平均を０、標準偏差を１に加工するデータの標準化(standardization)、データ間の関係性を除去するデータの無相関化、データに対して標準化と無相関化を行うデータの白色化(whitening)等の処理があり、この中から適宜選択すればよい。なお、訓練データに対して前処理を行った場合には、テストデータや未知データに対しても同様の処理を行う必要がある。
【００３１】
次に、分類を行うのに好適な機械学習の手法について説明する。
分類を行うのに好適な機械学習の手法としては、例えば、ツリー構造を訓練し、枝分かれでデータを分類する決定木(decision tree)、決定木を複数組み合わせ、各決定木の出力の多数決を取ることにより分類を行うランダムフォレスト(Random Forest; RF)、多次元における超平面を訓練し、データの分類を行うサポートベクトルマシン(Support Vector Machine; SVM）、最も近いK個の点を用いた多数決により分類を行うK近傍法(K Nearest Neighbor method; KNN method)、単純な分類器を複数組み合わせることで非線形な分類器を構築する集団学習(ensemble learning)等の外、脳の神経細胞ネットワークをモデル化したニューラルネットワーク(neural network)が採用可能である。ニューラルネットワークに関しては、多層ニューラルネットワーク、特に、畳み込みニューラルネットワーク(Convolutional Neural Network; CNN)を利用した深層学習(deep learning)が画像の分類に対して有効性を有することが確認されている。畳み込みニューラルネットワークの手法の概略については後述する。これ以外に、例えば、Bag of Visual Words(BoVW)も使用可能である。BoVWは、文章特徴を計算するモデルであるBag of Words(BoW; Bag of Featuresという場合もある)のアナロジーから生まれた手法であり、テキスト分類のテクニックを画像分類に適用したものである。
【００３２】
また、上記のような手法の外に、例えば、高次元データの分類に有効な部分最小二乗判別分析(Partial Least Squares-Discriminant Analysis; PLS-DA)や、ベルヌーイ分布に従う変数の統計的回帰モデルの一種であるロジスティック回帰(Logistic Regression; LR)等の統計的手法も採用可能である。
【００３３】
以下、画像の分類を行うのに好適な畳み込みニューラルネットワークを用いた深層学習について、その概略等を説明する。
【００３４】
＜畳み込みニューラルネットワークの構造の概要＞
畳み込みニューラルネットワークは、畳み込み層(convolution layer)、プーリング層(pooling layer)、全結合層(fully connected layer)の３種の層から構成された、主に画像認識に応用されるフィードフォワードニューラルネットワーク(feedforward neural network)であり、誤差逆伝播法(back propagation)と確率的勾配降下法(Stochastic Gradient Descent; SGD)により学習の最適化を行うものである。また、目的がクラス分類であるので、全結合層の出力を正規化するためのソフトマックス層や、ソフトマックス層の出力を入力し、分類の確率を出力する分類層が設けられる場合もある。
【００３５】
畳み込みニューラルネットワークにおいては、畳み込み層とプーリング層は、何度か繰り返されて全結合層につながり、全結合層も何度か繰り返されて、最後の全結合層の出力がソフトマックス層の入力に用いられる。
【００３６】
畳み込み層では、入力された画像に複数のフィルタによるフィルタ処理を行い、フィルタ処理の結果、入力画像は画像の特徴を表す複数の画像に変換される。そして、プーリング層では画像の特徴を損なわないように画像のサイズが縮小され、全結合層では、層間のすべてのニューロンが接続される。
【００３７】
以下、畳み込み層、プーリング層、全結合層の有する特徴や動作態様、畳み込みニューラルネットワークにおける学習等について簡単に説明する。
【００３８】
＜畳み込み層＞
畳み込み(convolution)演算により、画像のある特徴を強めたり弱めたりすることができることから、畳み込み層は、このような畳み込み処理により入力画像をより特徴が強調されたものに変換する機能を有している。
【００３９】
また、画像には局所性という性質があり、畳み込み層は、このような画像の局所性を利用して画像の特徴を検出する機能も有している。そのため、畳み込み層では、それぞれ異なる特徴を検出する複数のフィルタを用いて特徴の検出が行われる。
【００４０】
図７は、畳み込み層における処理例を示すものであり、図７には、サイズ（幅×高さ×チャネル数）がMs×Ns×Ksである第ｓ層の画像（入力画像）７１０に対して、サイズがPs+1×Qs+1×KsであるKs+1個のフィルタ７２０を用いて処理した場合の計算結果が示されている。
【００４１】
一般に、ニューラルネットワークにおいて、入力から出力から情報が伝わっていくことを順伝播(forward propagation)、逆に、出力から入力に向けて情報が遡っていくことを逆伝播(back propagation)という。
【００４２】
図７に示される例では、順伝播に関して、k'番目のフィルタ上の幅と高さ(p,q)におけるチャネルｋの重みをws+1p,q,k,k'、ｓ＋１層の画像（出力画像）の位置(m,n)におけるチャネルｋ'の入力をas+1m,n,k'とすると、as+1m,n,k'は次のように表される。
as+1m,n,k'＝Σp,q,kws+1p,q,k,k'・zsm+p,n+q,k + bs+1k'        （１）
但し、zsm+p,n+q,k は第ｓ層の画像（入力画像）７１０の位置(m+p,n+q)におけるチャネルｋの画素値、bs+1k'はバイアスである。
したがって、第ｓ＋１層の画像（出力画像）７３０の位置(m,n)におけるチャネルｋ'の画素値zs+1m,n,k'は、活性化関数h(・)を用いて、
zs+1m,n,k'=h(as+1m,n,k')        （２）
と表されることになる。
【００４３】
因みに、ニューロンのモデルに則していえば、重みはシナプスにおける伝達効率に相当し、バイアスはニューロンの感度（興奮のしやすさ）に相当するものである。また、活性化関数は、ニューロンを興奮させるための関数といえる。
【００４４】
次に、図７に示される例における逆伝播について説明する。誤差逆伝播は、順伝播によって得られた出力と正解との誤差を、層を一つずつ遡らせ、重みとバイアスを更新して誤差を最小化するために行うものである。なお、出力と正解の誤差を定義する関数を損失関数（loss function）という。
【００４５】
畳み込み層における誤差の逆伝播を求めるためには、重みの勾配を得る必要がある。
そこで、損失関数をJとし、重みの偏微分を求めると、次のように表される。
∂J/∂wsp,q,k,k'=Σm,n(∂J/∂asm,n,k')・(∂asm,n,k'/∂wsp,q,k,k')        （３）
また、式（１）より、
∂asm,n,k'/∂wsp,q,k,k'=zs-1m+p,n+q,k        （４）
∂J/∂asm,n,k'=δsm,n,k'とおくと、
∂J/∂wsp,q,k,k'=Σm,nδsm,n,k'・zs-1m+p,n+q,k        （５）
と表される。また、バイアスも、同様の計算により、次のように表される。
∂J/∂bsk'=Σm,nδsm,n,k'         （６）
したがって、δsm,n,kは、次のように表される
δsm,n,k=∂J/∂asm,n,k
=Σp,q,k'(∂J/∂as+1m‐p,n‐q,k')・(∂as+1m‐p,n‐q,k'/∂asm,n,k')
=h'(asm,n,k)Σp,q,k'δs+1m‐p,n‐q,k'・ws+1p,q,k,k'        （７）
但し、h'(・)は、活性化関数h(・)の微分値である。
【００４６】
式（７）は、出力層（上位層）の誤差を重みで畳み込んだ値を利用して入力層（下位層）の誤差が計算できることを示すものである。
【００４７】
なお、活性化関数について若干付言しておく、ネットワークが３層以上の場合に有効に機能するためには、活性化関数が非線形性をもつ必要がある。また、上述のように、逆伝播法で学習させるためには活性化関数が微分可能である必要がある。
【００４８】
代表的な活性化関数としては、次式に示すロジスティックシグモイド関数(logistic sigmoid function)がある。
h(x)=σ(x)=1/(1+exp(‐x))         （８）
【００４９】
逆伝播の際に誤差と微分係数の積を用いて下位層の誤差を計算するため、下位層に行くほど誤差δsの値が指数関数的に減少していくことから、入力xの値が大きく（又は小さく）なると微分係数h'(x)の値が小さくなり、パラメータの更新がほとんど行われなくなるという問題が生じる。この問題を軽減するため、活性化関数として、次式に示すReLU(Rectified Linear Unit)が提案されている。
h(x)=max(0,x)        （９）
h'(x)=1  if x ≧ 0
=0  otherwise        （１０）
【００５０】
なお、活性化関数として、ReLUの改良版であるLReLU(Leaky ReLU)、RReLU(Random ReLU)、PReLU(Parametric ReLU)等や、データの正規化に貢献するELU(Exponential Linear Unit)等も提案されているが、詳細は省略する。
【００５１】
＜プーリング層＞
次に、プーリング層を説明する。プーリング層では画像を各領域に区切り、各領域を代表する値を抽出し並べて新たな画像とする処理であるプーリング(pooling)が行われる。プーリングは、画像をぼやかす処理といえ、対象の位置の感度を低下させることができる。これにより、対象の位置が多少変化しても出力を不変にすることができるから、プーリング層は、位置の変化に対するロバスト性を与えることになる。また、プーリングにより画像サイズが小さくなるので、計算量が削減されるという効果もある。
画像処理においては、各領域の最大値を各領域を代表する値とする最大プーリング(max pooling)が使われることが多い。
【００５２】
＜全結合層＞
全結合層は、通常のニューラルネットワークで用いられる層であり、通常、畳み込み層とプーリング層を何度か繰り返した後に配置される。
【００５３】
＜畳み込みニューラルネットワークにおける学習＞
畳み込みニューラルネットワークでは、通常のニューラルネットワークと同様に逆伝播による学習が行われる。
畳み込み層では、出力と正解の誤差から伝播してきた値をもとにフィルタを構成する各値の勾配を計算し、フィルタが更新される。また、バイアスも同様に更新される。誤差は畳み込み層を通ってさらに上の層に伝播していく。
プーリング層では、学習は行われず、誤差は、プーリング層を通過してさらに上の層に伝播することになる。
全結合層では、通常のニューラルネットワークと同じ方法で誤差の伝播が行われる。
そして、このような重みとバイアスの調節により、誤差が最小となるようにネットワークが最適化される。このような最適化のためのアルゴリズムとして、確率的勾配降下法等の手法が知られている。
【００５４】
因みに、確率的勾配降下法は、更新ごとにランダムにサンプルを選び出すアルゴリズムであり、重みｗとバイアスｂの更新式は、以下のとおりである。
ｗ <− w‐η∂J/∂w        （１１）
b <− b‐η∂J/∂b        （１２）
【００５５】
これ以外の最適化アルゴリズムとして、確率的勾配降下法に慣性項を付加したMomentum、更新量を自動的に調節するAdaGrad、AdaGradにおける更新量の低下による学習の停滞という弱点を克服するRMSProp、MomentumとAdaGradとを統合したような特徴を有するAdam(Adaptive moment estimation)等の手法が知られているが、詳細は省略する。
【００５６】
I−１−３．品質区分判定工程（Ｓ０３）
最後に、未知の品質区分を含む試料の蛍光画像データから得られた入力画像データに対して学習済みの分類器を適用し、該試料に含まれる品質区分を判定する（品質区分判定工程：Ｓ０３）。なお、前述のように、訓練データに対して前処理を行った場合には、未知データに対しても同様の処理を行う必要がある。また、未知の品質区分を含む試料の蛍光画像データの取得時刻や期間を、学習時の蛍光画像データの取得時刻や期間と適合させることが望ましい。
このような構成により、蛍光退色の時間的な変化の精密な反映が可能となり、分類精度の一層の向上を図ることができる。
【００５７】
＜畳み込みニューラルネットワークの実装例＞
畳み込みニューラルネットワークの実装例として、AlexNetとGoogLeNetとを取り上げ、それらの概略を説明する。
【００５８】
AlexNetは、図８に示すように、５つの畳み込み層と３つの全結合層から構成され、１、２番目の畳み込み層の後に正規化層、各正規化層の後と５番目の畳み込み層の後には最大値プーリング層が用いられている。AlexNetは6000万のパラメータと65万個のニューロンを持っており、膨大なパラメータを含むため、ドロップアウトやデータ拡張などのなるべく局所解に陥らずに学習する工夫がなされている。
【００５９】
また、GoogLeNetは、図９に示すように、インセプション(inception)という層の中にさらにネットワークをもつモジュールを用い、これを9つ接続した深いネットワークを構築している。インセプションモジュールの中では、1×1、3×3、5×5の3つの畳み込み層と最大値プーリング層が並列となっており、複数の畳み込み層を並列にすることで、複数の広がりをもつ局所的な画像の相関を捉えることができる。また、3×3、5×5の畳み込み層の前段に設けられた1×1の畳み込み層は、次元削減の機能を有している。GoogLeNetはAlexNetよりも深い構造を有しているものの、そのほとんどが畳み込み層であるためにパラメータ数は１／１２程度である。
【００６０】
I−２．別の実施の一態様
次に、本発明の方法に係る別の実施の一態様（実施態様I−２）の概要を説明するが、実施態様I−１と重複する部分に関する説明は省略する。
【００６１】
実施態様I−２は、蛍光画像データ中に存在するオブジェクトの形状をも考慮した機械学習を行い、前記試料に含まれる品質区分の判定に反映させるものである。
このようなオブジェクトの形状をも考慮した機械学習を行うためには、例えば、画像内のオブジェクトのクラスとその輪郭を正確に推定するプロセスであるセマンティック・セグメンテーションを利用することができる。セマンティック・セグメンテーションは、ピクセルレベルでオブジェクトを認識するものであり、ピクセルレベルでのクラス割り当て（分類）を可能とするものである。深層学習を利用したセマンティック・セグメンテーションの手法として、エンコーダ・デコーダネットワークが提案されている。
【００６２】
図１０は、SegNetと呼ばれるセマンティック・セグメンテーション用のネットワークを示すものであり、その構造及び動作は、概略以下のとおりである。
【００６３】
SegNetのエンコーダは、VGG16と呼ばれるクラス認識用ネットワークの全結合層をすべて取り除いたものである。デコーダはエンコーダの入出力が逆になったネットワークで、最終層にソフトマックス層が追加されている。デコーダに入力された画像は、逆プーリング層(unpooling layer)でアップサンプリングされる。逆プーリング層は、エンコーダのプーリング層と１対１で対応付けられ、エンコード時に最大値を出力したユニットを記憶しておき、この記憶に基づきデコーダでアップサンプリングを行う。エンコード時の情報を利用することで、空間情報を補うだけでなく、アップサンプルの仕方の学習が不要となる。
【００６４】
逆プーリングによって拡大された画像は、多くの値が0となる疎な画像となっているため、逆プーリング層に続く転置畳み込み層(transposed convolution layer)で、疎な画像を密な画像に変換する。最終的なデコーダの出力画像はソフトマックス層に入力され、画素ごとに物体クラスの確率に変換され、最大の確率となったクラスで各画素を表現することで、最終的なセグメンテーション結果が得られる。SegNetは、ミニバッチ内のすべての画素にわたるクロスエントロピー損失の合計を損失関数として利用し、確率的勾配降下法などでend-to-endに学習する。なお、ミニバッチとは、全データ（サンプル）からランダムに選択した一部のデータ（少数のサンプル集合）を意味する。
このような構成により、複数の品質区分が一部の材料を共有する場合であっても、形状も考慮することにより、品質区分の判定精度を一層向上させることができる。
【００６５】
I−３．別の実施の一態様
次に、本発明の方法に係る更に別の実施の一態様（実施態様I−３）の概要を説明するが、実施態様I−１、I−２と重複する部分に関する説明は省略する。
【００６６】
実施態様I−３は、励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻Tを複数（0≦T1＜・・・＜Tn）設け、各時刻Ti（1≦i≦ｎ）ごとに得られた蛍光画像データから作成された所定のチャネル数を有する入力画像データを、それぞれ、前記複数の時刻ごとの訓練データとしてコンピュータによる機械学習を行い、前記試料に対して前記複数の時刻ごとに最適な品質区分を付与する分類器を構築し、品質区分の判定時に、該品質区分に適合する分類器を選択し、該試料に含まれる品質区分を判定するものである。
【００６７】
品質区分が未知の成分を含む試料に対して適合する分類器を選択する点に関しては、例えば、未知の試料に対する励起光の照射開始を始点とした蛍光画像データの取得時刻に相応する分類器を選択するようにすればよい。
このような構成により、蛍光退色の時間的な変化の精密な反映が可能となり、分類精度の一層の向上を図ることができる。
【００６８】
I−４．別の実施の一態様
次に、本発明の方法に係る更に別の実施の一態様（実施態様I−４）の概要を説明するが、実施態様I−１、I−２、I−３と重複する部分に関する説明は省略する。
【００６９】
実施態様I−４は、励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻Tを複数（0≦T1＜・・・＜Tn）設け、各時刻Ti（1≦i≦ｎ）ごとに得られた蛍光画像データを時系列的に集積して蛍光画像データを作成し、該蛍光画像データから作成された入力画像データを訓練データとして機械学習を行うものである。
【００７０】
なお、実施態様I−４においては、畳み込み層を、２次元の畳み込み層とする代わりに、時間の次元を反映した３次元畳み込み層とすることもできる。
このような構成により、時系列的に集積した蛍光画像データを利用して蛍光退色の時間的な変化を一層精密に把捉し、分類精度の一層の向上を図ることができる。
【００７１】
また、未知の試料に対する蛍光画像データの取得時刻は、機械学習を行う際の蛍光画像データの取得時刻と適合させることが望ましいが、実施態様I−４においては、機械学習時の蛍光画像データが時系列的に集積されており、各取得時点の特徴を保有しているものと考えられることから、未知の試料に対する蛍光画像データの取得時刻を任意のものとしても、必要な分類精度の確保が期待できる。
【００７２】
I−５．別の実施の一態様
次に、本発明の方法に係る更に別の実施の一態様（実施態様I−５）の概要を説明するが、実施態様I−１、I−２、I−３、I−４と重複する部分に関する説明は省略する。
【００７３】
実施態様I−５は、可視画像データを取得する可視画像データ取得工程を含み、前記蛍光画像データ及び該可視画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとして機械学習を行うものである。
【００７４】
可視画像データは、可視波長範囲に属する波長によるハイパースペクトルイメージ又はマルチスペクトルイメージを意味する。
【００７５】
可視画像データの取得について概略を説明する。
可視画像データを取得する場合には、例えば、蛍光画像データの取得に使用した図６に示されるような蛍光イメージングシステム６００において、分光照明装置６１０のバンドパスフィルタ６１４を使用することなく、キセノン光源から放出される白色光をサンプル５３０に照射する。分光撮影装置６２０は、サンプル６３０からの反射光を、特定の可視波長に対応するバンドパスフィルタ６２２を介して、特定波長の可視画像のみを撮像装置６２４で撮影する。撮像装置側のバンドパスフィルタ６２２を換えながらサンプルを撮影することにより、複数の可視波長に対応する可視画像データを取得し得る。特定の可視波長として、R（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）を採用することができるが、必ずしもこれらの波長に限定されるものではなく、他の波長や、RGBの中の１つ又は２つを用いることもできる。
【００７６】
実施態様I−５は、取得された蛍光画像データ及び可視画像データの両者を併用して入力画像データを作成する点に特徴を有するものである。なお、取得された蛍光画像データ及び可視画像データのチャネル数を、それぞれ、K1,K2とした場合、必ずしも、入力画像データのチャネル数KをK1＋K2とする必要はなく、チャネル数KをK1＋K2未満の値とすることもできる（縮約の実施）。このような縮約を実施する場合に、どのようにデータを整理・統合するかについては、事前に実施する予備的調査や既知の結果等を勘案して適宜決定すればよい。
このような蛍光画像データ及び可視画像データの両者の併用により、品質区分の判定精度を一層向上させることができる。
【００７７】
II．本発明の装置に係る実施の一態様
図１１は、本発明の装置に係る実施の一態様（実施態様II）の概要を説明するためのブロック図である。
【００７８】
実施態様IIは、分類器を構築する機械学習手段１１１０と品質区分判定手段１１２０を具備しており、前述の実施態様I−１、I−５に略相応するものである。
【００７９】
機械学習手段１１１０は、既知の品質区分を含む試料の蛍光画像データ、又は、蛍光画像データと可視画像データを入力し、該蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとして機械学習を行い、前記試料に対して最適な品質区分を付与する分類器を構築するものである。なお、蛍光画像データは、励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）から所定期間内に得られた、予め定められた蛍光波長の反射光の強度に基づく試料に関する励起波長と蛍光波長の組合せに対応する枚数（チャネル数）分存在している。
【００８０】
品質区分判定手段１１２０は、機械学習手段１１１０において構築された学習済みの分類器を、品質区分が未知の成分を含む試料の蛍光画像データから得られた入力画像データに対して適用し、該試料に含まれる品質区分を判定するものである。
【００８１】
学習の手法等の詳細は、実施態様I−１において説明したとおりである。
また、実施態様IIの変形例として、前述の実施態様I−２、I−３、I−４に相応する態様が導出されるが、内容が実質的に重複することもあり、説明は省略する。
【００８２】
III．たばこ原料の品質区分の判定に適用した態様例
前述のような手法を、たばこ原料の品質区分の判定に適用した実施の一態様を以下説明する。
【００８３】
まず、たばこ原料の品質区分を例示すると、概略以下のとおりである。
＜たばこ原料の品質区分＞
・バーレー種のラミナ(BLY)：バーレー種のたばこ葉の葉肉部
・黄色種のラミナ(FCV)：黄色種のたばこ葉の葉肉部
・オリエント種のラミナ(ORI)：オリエント種のたばこ葉の葉肉部
・中骨（Stem）：たばこ葉の葉脈部
・たばこシート（Sheet）：ラミナ、中骨などの主原料に繊維質、助剤などを加えてシート状にしたもの（例えば、特許第３８７２３４１号公報参照）
・パフ（Puff）：中骨刻等を湿潤・膨潤させた後乾燥させたもの（例えば、特許第５９４８３１６号公報参照）
【００８４】
次に、たばこ原料の品質区分判定に関する実施の一態様について説明する。なお、本発明は、この一態様に限定されるものではない点に留意されたい。
【００８５】
＜使用サンプルの準備＞
上述の品質区分に属するたばこ原料を使用サンプルとして用いたが、ラミナは、産地国が異なるものを、それぞれ、幅約２ｍｍの大きさに裁断後混合することにより調製し、中骨は、産地国が異なるものを混合して調製した。
【００８６】
＜予備的な検討及び検証＞
前述のような手法を、たばこ原料の品質区分の判定に適用することの可否を確認するため、以下のような予備的な検討及び検証を行った。
（１）励起波長と蛍光波長の組合せの検討及び検証
蛍光画像データを取得するためには、励起波長と蛍光波長の組合せを決定する必要がある。そこで、過去に得られているたばこ原料に関する知見等も勘案して、励起・蛍光波長の候補として、ポリフェノール及びクロロフィルの励起波長を選択し、選択の妥当性を検証した。
【００８７】
まず、白色光下で取得した可視画像が図１２Aとして示されるような、たばこ原料サンプルに対し、フィルタを介することなく励起光を照射し、図１２Bに示されるような蛍光画像を取得した。図１２Bの蛍光画像から、フィルタなしの状態下で刻の一片ずつを検知可能な空間分解能を実現できることが確認された。また、上述の品質区分が概略判別可能なことも確認された。
【００８８】
次に、励起・蛍光波長（ｎｍ）を、I（３４０，４６０）、II（３６０，４４０）、III（３８０，６８０）、IV（４００，６６０）、V（４００，６８０）、VI（４２０，６６０）とした組合せについて、図６に示されるような蛍光イメージシステムを使用して、図１３に示されるような蛍光画像を取得した。なお、図６に示される蛍光イメージシステムの動作等については、「I−１−１．」において詳述したところであるから、説明を省略する。
【００８９】
図１３から、バーレー種のラミナ(BLY)、黄色種のラミナ(FCV)、オリエント種のラミナ(ORI)、中骨（Stem）、たばこシート（Sheet）、パフ（Puff）の各品質区分の区別の妥当性が略保証されるものと判断されることから、これらの品質区分の判定に、上述のような励起・蛍光波長の組合せI〜VIの使用が有効であることが確認された。
【００９０】
（２）セマンティック・セグメンテーションの有効性の検証
前述のように、セマンティック・セグメンテーションは、ピクセルレベルでオブジェクトを認識するものであり、ピクセルレベルでのクラス割り当て（分類）を可能とするものである。
【００９１】
例えば、たばこ原料に関しては、例えば、中骨（Stem）、たばこシート（Sheet）、パフ（Puff）等は、一部の材料を共有する可能性があるが、このような場合であっても、形状も考慮することにより、品質区分の判定精度を一層向上させることが期待できる。
【００９２】
そこで、その検証を行うために、以下のように、セマンティック・セグメンテーションの適用の有効性を確認するための実験を行った。
【００９３】
図１４は、たばこ原料サンプルに対して、セマンティック・セグメンテーションを適用する場合の概要を説明するための模式図である。図１４に示されるプロセスは、概略以下のとおりである。
【００９４】
上述のような励起・蛍光波長の組合せI〜VIにより得られた蛍光画像（A）に対して、セマンティック・セグメンテーションの一手法である上述のSegNetを適用して、画像（B）を取得する。
次に、画像（B）に対し、コントラスト強調処理を行った後、二値化して画像（C）を取得する。
次に、画像（C）から、無用（ゴミ）オブジェクトを削除し、画像（D）を取得する。
最後に、画像（D）の各オブジェクトに対しラベル付けを行う。
その結果、このようなプロセスを採用して形状を考慮することの妥当性が確認された。
【００９５】
（３）蛍光画像と可視画像の両者の併用の有効性の検証
３チャネルの可視光データであるR（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）のマルチスペクトルデータ（可視画像データ）のみにより、バーレー種のラミナ(BLY)、黄色種のラミナ(FCV)、オリエント種のラミナ(ORI)について、畳み込みニューラルネットワーク（AlexNet、GoogLeNet）を適用して深層学習を行った。しかしながら、この場合の識別率は約６８％であった。
【００９６】
そこで、蛍光画像データと可視画像データの両者を併用して入力画像データを作成し、該入力画像データを訓練データとして機械学習を行うことにより、たばこ原料の品質区分の判定精度を一層向上させることが期待できるものと予測した。
【００９７】
そこで、その検証を行うため、このような蛍光画像と可視画像の両者の併用の有効性を確認するための実験を行った。
【００９８】
まず、可視画像データとして、R（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）のマルチスペクトルデータ、蛍光画像データとして、励起・蛍光波長（ｎｍ）が（３００，４５０）、（３４０，４５０）、（３８０，６５０）のマルチスペクトルデータからなる６チャネルのたばこ原料サンプルの画像データを、バーレー種のラミナ(BLY)、黄色種のラミナ(FCV)、オリエント種のラミナ(ORI)、中骨（Stem）、パフ（Puff）、たばこシート（Sheet）の刻みについて各５００枚程度用意した。
【００９９】
次に、このようにして取得された６チャネルの画像を３チャネルに縮約し、学習用の入力画像を作成した。図１５は、たばこ原料サンプルに関し、蛍光画像データ及び可視画像データを併用して機械学習を行う場合の３チャネルの入力画像データの一例を示す表である。この表で、例えば、チャネル１のデータは、Rのスペクトルデータの寄与度を１００、励起・蛍光波長（ｎｍ）が（３４０，４５０）、（３８０，６５０）のスペクトルデータの寄与度をそれぞれ５０としたデータを表している。
【０１００】
次に、このようにして得られた３チャネルの入力画像データを訓練データとし、前述のAlexNetを適用して深層学習を行った。
その結果、このような蛍光画像と可視画像の両者の併用の妥当性が確認された。
【０１０１】
なお、使用する畳み込みニューラルネットワークは、AlexNetに限定されるものではなく、他の既知のネットワーク（例えば、GoogLeNet等）を使用して深層学習を行うこともできる。
【０１０２】
＜たばこ原料の品質区分の判定に係る態様例＞
上述のような予備的な検討及び検証を踏まえ、たばこ原料サンプルの深層学習のためのシステムを実装し、以下のように深層学習を実行した。
【０１０３】
実装システムとして、セマンティック・セグメンテーション用のネットワークSegNetを用いた。
また、可視画像データとして、R（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）のマルチスペクトルデータ、蛍光画像データとして、励起・蛍光波長（ｎｍ）がI（３４０，４６０）、II（３６０，４４０）、III（３８０，６８０）、IV（４００，６６０）、V（４００，６８０）、VI（４２０，６６０）のマルチスペクトルデータからなる計９チャネルのたばこ原料サンプルの画像データを用いた。
【０１０４】
なお、可視画像データ及び蛍光画像データは、図６に示されるような蛍光イメージングシステムを用いて取得したが、励起光照射開始を始点とした取得時刻及び期間（T，P）（単位：秒）は、蛍光退色を考慮して、それぞれ、次のように設定した。
【０１０５】
可視画像については、R（０，１）、G（１，１）、B（２，１０）、蛍光画像については、可視画像の取得に引き続き、I、II、III、IV、V、VIを順次１０秒ずつ取得するように設定した。
【０１０６】
蛍光画像の取得に係るこのような設定によれば、蛍光退色の特性を利用した深層学習が可能となり、結果として判定精度の一層の向上が期待できる。
【０１０７】
次に、品質区分が既知のたばこ原料サンプルに対して、畳み込みニューラルネットワークによる深層学習を行った（重み：０．５、エポック数：４００）。因みに、エポック数１は、全ての訓練データを１回学習することを意味する。
【０１０８】
図１６は、このようにして得られた学習済みの畳み込みニューラルネットワークを品質区分が既知のたばこ原料のテスト試料に適用した判定結果を示す表である。
なお、表中のA,B,D,O,R,Sは、それぞれ、FCV、BLY、Puff、ORI、Sheet、Stemを表す符号である。
【０１０９】
表について説明すると、例えば、表の最初の行は、たばこ原料A（FCV）の実際の個数１６２について、A,B,D,O,R,Sと推定した個数が、それぞれ、９９、５、１１、３３、４、１０であることを表している。また、表中の「精度」は、例えば、「A」と推定した個数と実際の「A」の個数との比を表している。
【０１１０】
表（B）から、全体の正答率は、次のように計算される。
総正答数（９９＋１１５＋１３７＋１１５＋１３９＋１２９）
÷総個数（１６２＋１４０＋１６４＋１５９＋１４２＋１５９）
＝７９％
このように、原料の種類により正答率に若干のばらつきはあるものの、全体としてみれば、実用上の有効性を確保し得る高い正答率を実現している。
【０１１１】
本発明は、上述した実施の態様以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の態様を採用し得ることに留意されたい。
【符号の説明】
【０１１２】
６００：蛍光イメージングシステム
６１０：分光照明装置
６１２：キセノン光源
６１４、６２２：バンドパスフィルタ
６２０：分光撮影装置
６２４：撮像装置
６３０：サンプル
７１０：第ｓ層の画像
７２０：フィルタ
７３０：第ｓ＋１層の画像
１１１０：機械学習手段
１１１５：学習済分類器
１１２０：品質区分判定手段
【図１】
2020158107.tif 000003
【図２】
2020158107.tif 000004
【図３】
2020158107.tif 000005
【図４】
2020158107.tif 000006
【図５】
2020158107.tif 000007
【図６】
2020158107.tif 000008
【図７】
2020158107.tif 000009
【図８】
2020158107.tif 000010
【図９】
2020158107.tif 000011
【図１０】
2020158107.tif 000012
【図１１】
2020158107.tif 000013
【図１２Ａ】
2020158107.tif 000014
【図１２Ｂ】
2020158107.tif 000015
【図１３】
2020158107.tif 000016
【図１４】
2020158107.tif 000017
【図１５】
2020158107.tif 000018
【図１６】
2020158107.tif 000019
【国際調査報告】
2020158107.tif 000020
2020158107.tif 000021
2020158107.tif 000022
2020158107.tif 000023