(57)【要約】【課題】導入が容易で、精度よく微生物を識別することで汚水処理の運転状況を評価することができる、汚水処理運転状況評価装置及び汚水処理運転状況評価方法を提供する。【解決手段】水処理槽に貯留された汚水を微生物により浄化処理する汚水処理施設を対象として、前記水処理槽内に生息する前記微生物を撮像した入力画像を解析して前記微生物がどの識別区分に属するかを計算し、汚水処理の運転状況を評価する、汚水処理運転状況評価装置であって、機械学習器を備え、前記微生物に関する学習画像を含む学習データを前記機械学習器に入力して機械学習を行い、前記微生物の識別に関する識別パラメータを生成する微生物特徴学習部２５と、前記識別パラメータを用いて、前記入力画像内の前記微生物が属する前記識別区分を計算する微生物識別部２７と、当該微生物識別部２７における識別結果を基に前記汚水処理の運転状況を評価する運転状況評価部２８と、を備えている、汚水処理運転状況評価装置を提供する。【選択図】図２
2020032394.tif 000002
【特許請求の範囲】
【請求項１】
水処理槽に貯留された汚水を微生物により浄化処理する汚水処理施設を対象として、前記水処理槽内に生息する前記微生物を撮像した入力画像を解析して前記微生物がどの識別区分に属するかを計算し、汚水処理の運転状況を評価する、汚水処理運転状況評価装置であって、
機械学習器を備え、前記微生物に関する学習画像を含む学習データを前記機械学習器に入力して機械学習を行い、前記微生物の識別に関する識別パラメータを生成する微生物特徴学習部と、
前記識別パラメータを用いて、前記入力画像内の前記微生物が属する前記識別区分を計算する微生物識別部と、
当該微生物識別部における識別結果を基に前記汚水処理の運転状況を評価する運転状況評価部と、
を備えている、汚水処理運転状況評価装置。
【請求項２】
前記機械学習器は、畳み込み深層学習を行うものである、請求項１に記載の汚水処理運転状況評価装置。
【請求項３】
前記機械学習器は、前記学習画像に加えて、当該学習画像に対応する前記微生物の前記識別区分の情報を教師データとして入力して前記微生物の特徴を学習パラメータに反映させて学習済みモデルを生成することにより機械学習を実行し、
前記識別パラメータは前記学習パラメータである、請求項１または２に記載の汚水処理運転状況評価装置。
【請求項４】
前記機械学習器は、前記学習データを入力して前記微生物の特徴を学習パラメータに反映させて学習済みモデルを生成することにより機械学習を実行する、請求項１または２に記載の汚水処理運転状況評価装置。
【請求項５】
前記学習済みモデルに対して前記学習画像及び前記入力画像を入力して、前記学習画像及び前記入力画像内の前記微生物の特徴を特徴量として抽出する、特徴量抽出部を備えている、請求項４に記載の汚水処理運転状況評価装置。
【請求項６】
前記機械学習器は、畳み込みオートエンコーダにより実現されている、請求項４または５に記載の汚水処理運転状況評価装置。
【請求項７】
前記運転状況評価部は、複数の前記入力画像に対して前記微生物識別部によって計算された前記識別区分ごとの前記微生物の出現率を基に、前記汚水処理の運転状況を評価する、請求項１から６のいずれか一項に記載の汚水処理運転状況評価装置。
【請求項８】
水処理槽に貯留された汚水を微生物により浄化処理する汚水処理施設を対象として、前記水処理槽内に生息する前記微生物を撮像した入力画像を解析して前記微生物がどの識別区分に属するかを計算し、汚水処理の運転状況を評価する、汚水処理運転状況評価方法であって、
前記微生物に関する学習画像を含む学習データを機械学習器に入力して機械学習を行い、前記微生物の識別に関する識別パラメータを生成し、
前記識別パラメータを用いて、前記入力画像内の前記微生物が属する前記識別区分を計算し、
識別結果を基に前記汚水処理の運転状況を評価する、汚水処理運転状況評価方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、汚水処理運転状況評価装置及び汚水処理運転状況評価方法に関する。
【背景技術】
【０００２】
従来より、例えば下水処理施設などの汚水処理施設において、活性汚泥処理によって汚水を浄化することが、広く行われている。活性汚泥処理においては、汚水を貯留した水処理槽において、汚水を曝気等により空気に晒して好気的な微生物に汚濁物質を分解させ、微生物を増殖させて沈降分離することで、汚水が浄化される。
【０００３】
このような、活性汚泥処理が行われる汚水処理施設においては、一般に、汚水処理が順調に行われている場合と、順調ではなく悪化した状態で行われている場合とでは、水処理槽内に出現し優占化する微生物の種類が異なることが知られている。例えば、活性汚泥の状態が良好な場合には、Ｖｏｒｔｉｃｅｌｌａ属、Ｅｐｉｓｔｙｌｉｓ属、有殻アメーバ類Ａｒｃｅｌｌａ属、輪虫類Ｐｈｉｌｏｄｉｎａ属等が優占化する。他方、活性汚泥の状態が悪化した場合、及び良好な状態から悪い状態への過渡期においては、鞭毛虫類Ｂｏｄｏ属、Ｍｏｎａｓ属、Ａｍｏｅｂａ属、及びＡｒｃｅｌｌａ属等が出現する。
【０００４】
したがって、水処理槽中の微生物を識別し、微生物と汚水処理の状態を対応付けることで、汚水処理が順調に実行されているか否かを判定、評価することが可能である。
例えば、水処理槽中の活性汚泥をサンプリングして顕微鏡により観察し、上記のような、汚水処理が順調か否かの評価の基準となり得る微生物の存在を確認することが行われている。しかし、これらの操作は基本的に手作業で行われるため、作業に時間を要する。また、作業員に、微生物を識別するための、高度かつ専門的な知識と、長い作業経験により培われた熟練とを必要とする。
【０００５】
これに対し、特許文献１には、活性汚泥処理プロセスの活性汚泥中に出現する微生物を同定及び計数し、このデータから生物相診断装置によりプロセスの処理状態を判定する、生物相診断支援システムが開示されている。この生物相診断支援システムにおいては、顕微鏡カメラ又は水中カメラで撮影した処理水の画像データを入力部で取り込み、この画像データから画像認識システムがモデルベーストマッチング方式による画像認識処理により微生物を自動的に同定及び計数する。
認識に必要な微生物の画像モデルはデータベースにあらかじめ登録されている。画像認識は、微生物の撮影画像のエッジを抽出し、微生物の形状をエッジ画像の直線と円弧成分で特定し、この形状をデータベースに登録しておき、処理水の撮影画像から得る特徴データと照合することにより微生物を同定する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−１９７０８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１のような生物相診断支援システムは、エッジ抽出等の古典的な画像処理技術に基づくものである。すなわち、データベースにあらかじめ登録されている画像モデルを作成するに際し、微生物の特徴を効果的に抽出する必要がある。この特徴を抽出する作業には、画像処理の高度な知識が必要である。
また、生物相診断支援システムによる微生物の同定、識別を可能とするには、微生物の特徴が顕著に表現されるように、意図的に特徴を抽出する必要があり、これには依然として、微生物に関する高度に専門的な知識を必要とする。
また、多くの微生物の画像に対して一つずつ、生物相診断支援システムによる効果的な同定、識別が可能な程度に、各微生物固有の特徴を抽出するのは手間がかかる。
このように、特許文献１のような生物相診断支援システムでは、専門的な知識が必要となり、事前の準備に手間がかかるため、導入が容易ではない。
更に、微生物は動きにより形状が変化するため、微生物を精度よく同定、識別することは、本来難しい問題である。これを、特に上記のような古典的な画像処理技術に基づいた生物相診断支援システムにより精度よく行うのは、例えば使用される撮影画像によっては微生物の特徴が表現されておらず、微生物の識別が容易ではないこともあるために容易ではなく、実際に、現在において実用化されていない。
【０００８】
本発明が解決しようとする課題は、導入が容易で、精度よく微生物を識別することで汚水処理の運転状況を評価することができる、汚水処理運転状況評価装置及び汚水処理運転状況評価方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明は、上記課題を解決するため、以下の手段を採用する。すなわち、本発明は、水処理槽に貯留された汚水を微生物により浄化処理する汚水処理施設を対象として、前記水処理槽内に生息する前記微生物を撮像した入力画像を解析して前記微生物がどの識別区分に属するかを計算し、汚水処理の運転状況を評価する、汚水処理運転状況評価装置であって、機械学習器を備え、前記微生物に関する学習画像を含む学習データを前記機械学習器に入力して機械学習を行い、前記微生物の識別に関する識別パラメータを生成する微生物特徴学習部と、前記識別パラメータを用いて、前記入力画像内の前記微生物が属する前記識別区分を計算する微生物識別部と、当該微生物識別部における識別結果を基に前記汚水処理の運転状況を評価する運転状況評価部と、を備えている、汚水処理運転状況評価装置を提供する。
【００１０】
また、本発明は、水処理槽に貯留された汚水を微生物により浄化処理する汚水処理施設を対象として、前記水処理槽内に生息する前記微生物を撮像した入力画像を解析して前記微生物がどの識別区分に属するかを計算し、汚水処理の運転状況を評価する、汚水処理運転状況評価方法であって、前記微生物に関する学習画像を含む学習データを機械学習器に入力して機械学習を行い、前記微生物の識別に関する識別パラメータを生成し、前記識別パラメータを用いて、前記入力画像内の前記微生物が属する前記識別区分を計算し、識別結果を基に前記汚水処理の運転状況を評価する、汚水処理運転状況評価方法を提供する。
【発明の効果】
【００１１】
本発明によれば、導入が容易で、精度よく微生物を識別することで汚水処理の運転状況を評価することができる、汚水処理運転状況評価装置及び汚水処理運転状況評価方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態における汚水処理施設のブロック図である。
【図２】上記汚水処理施設に設けられた汚水処理運転状況評価装置の、制御装置のブロック図である。
【図３】上記制御装置の学習処理部を実現する、機械学習器のブロック図である。
【図４】上記第１実施形態における汚水処理運転状況評価方法の、学習時のフローチャートである。
【図５】上記汚水処理運転状況評価方法の、汚水処理運転状況評価時のフローチャートである。
【図６】上記第１実施形態の変形例における汚水処理運転状況評価装置の、制御装置の学習処理部を実現する、機械学習器のブロック図である。
【図７】本発明の第２実施形態における汚水処理運転状況評価装置の、制御装置のブロック図である。
【図８】上記第２実施形態における汚水処理運転状況評価装置の、制御装置の学習処理部を実現する、機械学習器のブロック図である。
【図９】上記第２実施形態における汚水処理運転状況評価方法の、学習時のフローチャートである。
【図１０】上記第１実施形態における汚水処理運転状況評価方法の、汚水処理運転状況評価時のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について図面を参照して詳細に説明する。
本実施形態における汚水処理運転状況評価装置は、水処理槽に貯留された汚水を微生物により浄化処理する汚水処理施設を対象として、水処理槽内に生息する微生物を撮像した入力画像を解析して微生物がどの識別区分に属するかを計算し、汚水処理の運転状況を評価するものであって、機械学習器を備え、微生物に関する学習画像を含む学習データを機械学習器に入力して機械学習を行い、微生物の識別に関する識別パラメータを生成する微生物特徴学習部と、識別パラメータを用いて、入力画像内の微生物が属する識別区分を計算する微生物識別部と、微生物識別部における識別結果を基に汚水処理の運転状況を評価する運転状況評価部と、を備えている。
【００１４】
［第１実施形態］
図１は、第１実施形態における汚水処理施設のブロック図である。汚水処理施設１は、水処理槽に貯留された汚水を微生物により浄化処理する。
汚水処理施設１は、最初沈殿池２、生物処理反応槽（水処理槽）３、反応槽計測器４、最終沈殿池５、散気板６、ブロア７、曝気調整バルブ８、返送汚泥ポンプ９、汚泥引抜ポンプ１０、汚水処理運転状況評価装置２０、及び第１〜第５配管Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５を備えている。
【００１５】
最初沈殿池２には、有機物を含む汚水が導入される。最初沈殿池２においては、導入された汚水内の小さなゴミや砂等が取り除かれて、大まかな固液分離が行われる。ゴミ等が取り除かれた汚水は、第１配管Ｌ１を介して、生物処理反応槽３に送られる。
【００１６】
生物処理反応槽３では、微生物により汚水が生物処理され、浄化される。浄化の際に、汚水は曝気等により空気に晒されて、好気的な微生物が、有機物を分解するとともに、有機物を資化することに伴って増殖することにより、活性汚泥が形成される。活性汚泥処理された水は、第２配管Ｌ２を介して、最終沈殿池５に送られる。
生物処理反応槽３内の下部には、ブロア７から第３配管Ｌ３を介して空気が供給される。第３配管Ｌ３の、ブロア７と生物処理反応槽３との間には、曝気調整バルブ８が設けられている。曝気調整バルブ８を開閉すると、曝気量が変化し、これにより生物処理反応槽３内の溶存酸素量が調整されて、微生物による生物処理の進行度合いが制御される。生物処理反応槽３の、第３配管Ｌ３により空気が供給される部分には、酸素の溶解効率を高めるための散気板６が設けられている。
【００１７】
最終沈殿池５では、生物処理反応槽３から送られた活性汚泥処理された水に含まれる活性汚泥が沈殿されて、汚水が浄化される。最終沈殿池５で活性汚泥が分離された上澄みは、処理水として系外に放流される。
最終沈殿池５で沈殿した汚泥の一部は、返送汚泥ポンプ９により第４配管Ｌ４を通じて再び生物処理反応槽３に戻され、活性汚泥処理に再利用される。残りの汚泥は余剰汚泥として汚泥引抜ポンプ１０により第５配管Ｌ５を通じて排出されて汚泥処理施設等に送られ、水分を除かれた後に焼却処理される。
【００１８】
本第１実施形態における汚水処理運転状況評価装置２０は、上記のような、生物処理反応槽３に貯留された汚水を微生物により浄化処理する汚水処理施設１を対象としている。
上記のような汚水処理施設１においては、汚水処理が順調に行われている場合と、順調ではなく悪化した状態で行われている場合とでは、生物処理反応槽３内に出現し優占化する微生物の種類が異なることがある。例えば、活性汚泥の状態が良好な場合には、Ｖｏｒｔｉｃｅｌｌａ属、Ｅｐｉｓｔｙｌｉｓ属、有殻アメーバ類Ａｒｃｅｌｌａ属、輪虫類Ｐｈｉｌｏｄｉｎａ属等が優占化する。他方、活性汚泥の状態が悪化した場合、及び良好な状態から悪い状態への過渡期においては、鞭毛虫類Ｂｏｄｏ属、Ｍｏｎａｓ属、Ａｍｏｅｂａ属、及びＡｒｃｅｌｌａ属等が出現する。
【００１９】
本第１実施形態における汚水処理運転状況評価装置２０は、生物処理反応槽３中の微生物を識別し、微生物と汚水処理の状態を対応付けることで、汚水処理が順調に実行されているか否かを判定、評価する。より詳細には、汚水処理運転状況評価装置２０は、生物処理反応槽３内に生息する微生物を撮像した入力画像を解析して微生物がどの識別区分に属するかを計算し、汚水処理の運転状況を評価する。
すなわち、汚水処理運転状況評価装置２０は、微生物を撮像した入力画像を解析して微生物を識別するものであるため、微生物を、その外観的特徴に依存して識別する。
【００２０】
ここで、汚水処理運転状況評価装置２０が微生物を識別、分類する識別区分としては、生物分類における一階級、例えば一つの「属」に属する微生物の各々において、これら微生物の形状に同じ特徴を備え、なおかつ活性汚泥に対して共通した、すなわち良好か悪化かのいずれか一方の作用をもたらす場合においては、当該「属」が一つの識別区分に相当するようにしてもよい。
また、例えば、一つの「属」に属する微生物の各々において、これら微生物の形状の備える特徴が複数の種類に大別され、その複数の種類の各々において、属する各微生物が活性汚泥の状況に対して共通した、すなわち良好か悪化かのいずれか一方の作用をもたらす場合においては、大別された種類の各々が、一つの識別区分に相当するようにしてもよい。
あるいは、仮に「属」による分類を跨いで、形状の備える特徴及び活性汚泥に対する作用が共通する微生物が複数存在する場合には、これらをまとめて一つの識別区分としてもよい。
【００２１】
すなわち、本第１実施形態における汚水処理運転状況評価装置２０は、形状に同じ特徴を備え、及び活性汚泥に対する作用が共通している複数の微生物が一つの識別区分に属するように、微生物の種類を複数の識別区分に分割、分類し、汚水処理の運転状況の評価時に、入力画像に撮像されている微生物がどの識別区分に属するかを計算するものである。
【００２２】
以下、汚水処理運転状況評価装置２０の詳細を説明する。汚水処理運転状況評価装置２０は、撮像装置２１と制御装置２２を備えている。
【００２３】
撮像装置２１は、本第１実施形態においては、例えば生物処理反応槽３内に設けられた水中カメラであり、生物処理反応槽３内の活性汚泥を拡大撮影するものである。撮像装置２１はこれに限られず、例えば撮像装置２１内の活性汚泥を自動的に採取し顕微鏡により拡大して撮像するようなシステムであってもよい。
【００２４】
制御装置２２は、例えばパーソナルコンピュータ等の情報処理装置である。図２は、制御装置２２のブロック図である。制御装置２２は、微生物撮影部２３、画像蓄積部２４、微生物特徴学習部２５、判定画像取得部２６、微生物識別部２７、及び運転状況評価部２８を備えている。微生物特徴学習部２５は、学習画像取得部３０、ラベリング部３１、学習処理部３２、及び学習パラメータ記憶部３３を備えている。
これら制御装置２２の構成要素のうち、微生物撮影部２３、判定画像取得部２６、微生物識別部２７、運転状況評価部２８、学習画像取得部３０、ラベリング部３１、及び学習処理部３２は、例えば上記情報処理装置内のＣＰＵにより実行されるソフトウェア、プログラムであってよい。また、画像蓄積部２４及び学習パラメータ記憶部３３は、上記情報処理装置内外に設けられた半導体メモリや磁気ディスクなどの記憶装置により実現されていてよい。
【００２５】
後に説明するように、微生物識別部２７は、制御装置２２に入力された入力画像内の微生物が属する識別区分を計算し、これを基に運転状況評価部２８が汚水処理の運転状況を評価する。この、微生物の識別や汚水処理の運転状況の評価を効果的に行うために、特に微生物特徴学習部２５は、後に説明するように機械学習器を備えており、微生物に関する学習画像を含む学習データを機械学習器に入力して機械学習を行い、微生物の識別に関する識別パラメータを生成する。
すなわち、制御装置２２は大別して、微生物の識別区分の学習と、運転状況の評価の、２通りの動作を行う。説明を簡単にするために、以下ではまず、識別区分の学習時における、制御装置２２の各構成要素の説明をした後に、運転状況の評価時での各構成要素の挙動について説明する。
【００２６】
微生物撮影部２３は、撮像装置２１を制御して、生物処理反応槽３内の、あるいは生物処理反応槽３から自動的に採取された、活性汚泥を撮像する。微生物撮影部２３は、更に、例えば撮像された画像内から何らかの物体が撮像されている部分を切り出して適切な大きさとなるように拡大し、学習画像として画像蓄積部２４へと送信する。
微生物撮影部２３は、これら学習画像が、機械学習器の適切な学習に要する枚数となるまで、撮像と画像蓄積部２４への送信を実行する。
【００２７】
画像蓄積部２４は、微生物撮影部２３から送信された複数枚の学習画像を蓄積、記憶する。
【００２８】
微生物特徴学習部２５の学習画像取得部３０は、画像蓄積部２４から学習画像を取得し、ラベリング部３１へ送信する。
【００２９】
ラベリング部３１は、学習画像取得部３０から送信された学習画像を受信する。
ラベリング部３１は、図示されない表示装置に学習画像を逐次表示する。作業者は、表示装置に表示される学習画像を閲覧し、それが微生物である場合には、当該微生物に対応する識別区分に相当するラベルを、学習画像に対応付ける。
識別区分のラベルが対応付けられた学習画像は、後に説明する機械学習器の学習データとなる。すなわち、本第１実施形態における機械学習器は、微生物に関する学習画像と、当該学習画像に対応する微生物の識別区分の情報を教師データとして入力して、教師あり学習を行うものである。
ラベリング部３１は、学習データを学習処理部３２へと送信する。
【００３０】
学習処理部３２は、ラベリング部３１から学習データを受信する。
学習処理部３２は、図３にブロック図として示されている、機械学習器４０を備えている。本第１実施形態における機械学習器４０は、畳み込み深層学習を行うものであり、特に畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）により実現されている。機械学習器４０は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される、適切な学習パラメータが学習された学習済みモデル４０Ａを生成するものである。
機械学習器４０は、畳み込み処理部４１と全結合部４２を備えている。畳み込み処理部４１は、第１畳み込み層４４、第２畳み込み層４５、及び第３畳み込み層４６を備えている。第１畳み込み層４４は、入力層４７と出力層４８を備えている。
【００３１】
学習処理部３２は、機械学習器４０に、学習画像４３を入力する。図３においては、学習画像４３は、Ｒ、Ｇ、Ｂの３つのチャンネル４３Ｒ、４３Ｇ、４３Ｂを備えた画像として示されている。
第１畳み込み層４４は、図示されない所定の数の第１フィルタを備えている。機械学習器４０は、各第１フィルタに対し、これを学習画像４３上に位置付け、第１フィルタの学習画像４３の各画素の画素値に対して、第１フィルタ内に画素位置に対応して設定された重みを付けて和を計算することで、畳み込みフィルタ処理を実行する。これにより、第１畳み込み層４４における１つの画素の画素値が演算される。機械学習器４０は、第１フィルタを学習画像４３上で所定の解像度刻みで移動させつつ、このような畳み込みフィルタ処理を実行することで複数の画素値を演算し、これを並べて、第１フィルタに対応した１枚の画像を生成する。この画像は、適用された第１フィルタによって第１フィルタに対応した特徴が抽出されたものであるため、第１特徴マップ４４ｍと呼称する。
機械学習器４０は、この処理を、全ての第１フィルタに対して実行し、第１フィルタの数に応じた第１特徴マップ４４ｍを生成する。
【００３２】
第１フィルタは、実際には、学習画像４３の画素値の強調や平滑化等を重みとして表現したものである。このような第１フィルタを用いて畳み込みフィルタ処理を実行して生成された第１特徴マップ４４ｍにおいては、エッジ特徴等の画像の濃淡パターンが効果的に抽出されている。また、学習画像４３の局所的な領域から第１フィルタを通して特徴を抽出するため、学習画像４３内に存在する物体の位置のずれに対して頑健となる。
【００３３】
第１畳み込み層４４においては、畳み込みフィルタ処理の後に、プーリング処理が実行される。より詳細には、各第１特徴マップ４４ｍを例えば２×２の大きさの複数の小領域に区切り、各小領域に対して当該小領域内の画素値の最大値を算出して、１つの画素の画素値とすることで、各第１特徴マップ４４ｍの２×２の小領域の各々を１×１の画素へと変換し、情報を縮約させる。すなわち、本第１実施形態においては、プーリング処理は最大プーリング処理である。プーリング処理は、上記のように、各第１特徴マップ４４ｍの局所領域から最大の画素値を選択するため、画像に特化された適切な特徴のみを残すことが可能であり、以降の処理を効率的に行うことができる。
【００３４】
第１畳み込み層４４において生成された、プーリング処理された第１特徴マップ４４ｍは、第２畳み込み層４５の入力画像となる。
【００３５】
第２畳み込み層４５においては、第１畳み込み層４４と同様に、畳み込みフィルタ処理とプーリング処理が順次実行される。
第２畳み込み層４５は、第１畳み込み層４４と同様に、所定の数の第２フィルタを備えており、これらを用いて畳み込みフィルタ処理を実行し、更にプーリング処理を実行することで、第２フィルタの数に応じた所定の数の、プーリング処理された第２特徴マップ４５ｍを生成する。
【００３６】
第３畳み込み層４６においても、畳み込みフィルタ処理とプーリング処理が順次実行される。
第３畳み込み層４６も、所定の数の第３フィルタを備えており、これらを用いて畳み込みフィルタ処理を実行し、更にプーリング処理を実行することで、第３フィルタの数に応じた所定の数の、プーリング処理された第３特徴マップ４６ｍを生成する。
各第１、第２、及び第３フィルタの重みは、機械学習により調整される。
プーリング処理された第３特徴マップ４６ｍの画素値情報は、入力層４７への入力となる。
【００３７】
入力層４７は、所定の数の入力ノード４７ｎを備えている。各入力ノード４７ｎは、プーリング処理された第３特徴マップ４６ｍの全ての画素値と結合しており、層間に結合荷重を備えている。入力層４７においては、この結合荷重に基づいて、プーリング処理された第３特徴マップ４６ｍの各画素値情報に対して重み付け和を演算し、その結果にＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ  Ｌｉｎｅｒ  Ｕｎｉｔ）等の出力関数を適用した値が、各入力ノード４７ｎに格納される。
【００３８】
本第１実施形態における機械学習器４０は、入力された画像内の微生物が複数の識別区分のいずれに属しているかを学習し、機械学習により適切な学習パラメータが学習された学習済みモデル４０Ａは多クラス分類を行うものである。このため、微生物の識別区分の数をＮ個とすると、出力層４８は、Ｎ個の出力ノード４８ｎを備えた構成となっている。この値Ｎは、例えば、汚水処理運転状況評価装置２０が設置される汚水処理施設１において、１年間のうちに出現する可能性がある微生物の総種類を対象として設定され得る。
各出力ノード４８ｎは、入力層４７の全ての入力ノード４７ｎと結合しており、層間に結合荷重を備えている。出力層４８においては、この結合荷重に基づいて、入力ノード４７ｎに対して重み付け和を演算し、その結果に出力関数を適用した値が、出力ノード４８ｎに格納される。
【００３９】
機械学習器４０においては、第１畳み込み層４４に入力された学習画像４３が、上記のような畳み込み処理部４１と全結合部４２において処理され、出力ノード４８ｎに処理結果が格納される。
本第１実施形態においては、入力された画像内の微生物が属する識別区分に対応する出力ノード４８ｎの値が所定の第１判定値、例えば１に近く、他の出力ノード４８ｎの値が所定の第２判定値、例えば０に近い値となるように、設計されている。
【００４０】
この場合には、機械学習器４０に入力された学習画像４３に対応するラベル、すなわち微生物が属する識別区分の情報が、当該学習画像４３を用いて機械学習器４０に学習させる際の正解値として使用される。より詳細には、学習画像４３内の微生物が属する識別区分に対応する出力ノード４８ｎが第１判定値を、他の出力ノード４８ｎが第２判定値を、それぞれ本来出力すべきであるものとし、これらの値と実際に機械学習器４０から出力された値との２乗誤差を、コスト関数とする。
その上で、このコスト関数を小さくするように、誤差逆伝搬法等により、畳み込み処理部４１の各フィルタの重みの値、全結合部４２の各結合荷重の値等を調整することで、機械学習器４０が機械学習される。
学習処理部３２は、機械学習が終了した時点における、これらの、畳み込み処理部４１の各フィルタの重みの値、全結合部４２の各結合荷重の値等を、学習パラメータとして学習パラメータ記憶部３３へ送信する。
【００４１】
学習パラメータ記憶部３３は、学習処理部３２から学習パラメータを受信して、蓄積、記憶する。
【００４２】
上記のように、機械学習器４０は、微生物の特徴を学習パラメータに反映させて学習済みモデル４０Ａを生成することにより機械学習を実行する。学習処理部３２に記憶されたこの学習パラメータは、次に説明する運転状況の評価において、微生物の識別に関する識別パラメータとして使用される。より詳細には、運転状況の評価においては、学習処理部３２により生成された、学習パラメータを備えた学習済みモデル４０Ａが例えばＣＰＵ上でプログラムとして実行されることで、評価対象の画像内の微生物が属する識別区分を特定する。
このように、微生物特徴学習部２５は、学習データを機械学習器４０に入力して機械学習を行い、微生物の識別に関する識別パラメータを生成する。
【００４３】
次に、制御装置２２における、運転状況の評価時での各構成要素の挙動について説明する。
【００４４】
微生物撮影部２３は、撮像装置２１を制御して、生物処理反応槽３内の、あるいは生物処理反応槽３から自動的に採取された、活性汚泥を撮像して微生物の画像を生成し、入力画像として画像蓄積部２４へと送信する。
微生物撮影部２３は、これら入力画像が、運転状況の評価に要する枚数となるまで、撮像と画像蓄積部２４への送信を実行する。
【００４５】
画像蓄積部２４は、微生物撮影部２３から送信された複数枚の入力画像を蓄積、記憶する。
【００４６】
判定画像取得部２６は、画像蓄積部２４から入力画像を取得し、微生物識別部２７へ送信する。
【００４７】
微生物識別部２７は、判定画像取得部２６から送信された入力画像を受信する。
微生物識別部２７は、更に、学習パラメータ記憶部３３から学習パラメータ、すなわち微生物の識別に関する識別パラメータを取得する。
微生物識別部２７は、識別パラメータを用いて、入力画像内の微生物が属する識別区分を計算する。より詳細には、微生物識別部２７は、畳み込み処理部４１の各フィルタの重みの値、全結合部４２の各結合荷重の値等が上記のように学習済みの値とされた機械学習器４０、すなわち学習済みモデル４０Ａを例えばＣＰＵ上でプログラムとして実行し、入力画像を入力することで、識別区分を計算する。
【００４８】
すなわち、図３に示されるように、入力画像４９が学習済みモデル４０Ａの第１畳み込み層４４に入力されると、第１畳み込み層４４は畳み込みフィルタ処理及びプーリング処理を順次実行する。続いて、第２及び第３畳み込み層４５、４６が畳み込みフィルタ処理及びプーリング処理をそれぞれ実行して、プーリング処理された第３特徴マップ４６ｍを生成する。
更に、このプーリング処理された第３特徴マップ４６ｍを入力として、全結合部４２において重み付け和を演算する処理を実行し、最終的に各出力ノード４８ｎに処理結果が格納される。
【００４９】
各出力ノード４８ｎにおいては、既に説明したように、入力された画像内の微生物が属する識別区分に対応する出力ノード４８ｎの値が所定の第１判定値、例えば１に近く、他の出力ノード４８ｎの値が所定の第２判定値、例えば０に近い値となるように、設計されている。したがって、例えば最も第１判定値に近い出力ノード４８ｎに対応する識別区分が、入力された入力画像４９内の微生物が属するものであると識別、特定される。
このように、微生物識別部２７は、学習済みモデル４０Ａに対して入力画像４９を入力して、入力画像４９内の微生物が属する識別区分を計算する。
微生物識別部２７は、全ての入力画像４９に対して微生物に対応する識別区分を計算し、計算された全ての識別区分を運転状況評価部２８へ送信する。
【００５０】
運転状況評価部２８は、微生物識別部２７から、計算された全ての識別区分を受信する。
運転状況評価部２８は、微生物識別部２７における識別結果を基に汚水処理の運転状況を評価する。より詳細には、受信した全ての識別区分を統計し、例えばＶｏｒｔｉｃｅｌｌａ属、Ｅｐｉｓｔｙｌｉｓ属、有殻アメーバ類Ａｒｃｅｌｌａ属、輪虫類Ｐｈｉｌｏｄｉｎａ属等の活性汚泥の状態が良好な場合に優占化する微生物に対応する識別区分の割合が所定の第１閾値以上である場合には、運転状況が良好であると評価する。また、例えば鞭毛虫類Ｂｏｄｏ属、Ｍｏｎａｓ属およびＡｍｏｅｂａ属等の活性汚泥の状態が悪化した場合、及び良好な状態から悪い状態への過渡期において出現する微生物、例えばＡｒｃｅｌｌａ属等に対応する識別区分の割合が所定の第２閾値以上である場合には、運転状況が悪化していると評価する。
このように、運転状況評価部２８は、複数の入力画像４９に対して微生物識別部２７によって計算された識別区分ごとの微生物の比率すなわち微生物の出現率を基に、汚水処理の運転状況を評価する。
【００５１】
次に、図１〜図３、及び図４、図５を用いて、上記の汚水処理運転状況評価装置２０によって運転状況を評価する、汚水処理運転状況評価方法を説明する。図４は、汚水処理運転状況評価方法の、学習時のフローチャートである。図５は、汚水処理運転状況評価方法の、汚水処理運転状況評価時のフローチャートである。
本汚水処理運転状況評価方法は、水処理槽に貯留された汚水を微生物により浄化処理する汚水処理施設１を対象として、水処理槽内に生息する微生物を撮像した入力画像を解析して微生物がどの識別区分に属するかを計算し、汚水処理の運転状況を評価するものであって、微生物に関する学習画像を含む学習データを機械学習器４０に入力して機械学習を行い、微生物の識別に関する識別パラメータを生成し、識別パラメータを用いて、入力画像内の微生物が属する識別区分を計算し、識別結果を基に汚水処理の運転状況を評価する。
まず、図４を用いて、識別区分の学習時における動作を説明する。
【００５２】
微生物撮影部２３は、撮像装置２１を制御して、活性汚泥を撮像する（ステップＳ１）。微生物撮影部２３は、更に、例えば撮像された画像内から何らかの物体が撮像されている部分を切り出して適切な大きさとなるように拡大し、学習画像として画像蓄積部２４へと送信する。
画像蓄積部２４は、微生物撮影部２３から送信された複数枚の学習画像を蓄積、記憶する。
【００５３】
微生物特徴学習部２５の学習画像取得部３０は、画像蓄積部２４から学習画像を取得し、ラベリング部３１へ送信する。
ラベリング部３１は、学習画像取得部３０から送信された学習画像を受信する。
ラベリング部３１は、図示されない表示装置に学習画像を逐次表示する。作業者は、表示装置に表示される学習画像を閲覧し、それが微生物である場合には、当該微生物に対応する識別区分に相当するラベルを、学習画像に対応付ける（ステップＳ３）。
ラベリング部３１は、学習データを学習処理部３２へと送信する。
【００５４】
学習処理部３２は、ラベリング部３１から学習データを受信する。
学習処理部３２は、機械学習器４０に、学習画像４３を入力する。機械学習器４０においては、入力された学習画像４３が、畳み込み処理部４１と全結合部４２において処理され、出力ノード４８ｎに処理結果が格納される。
この処理結果に対し、コスト関数を小さくするように、誤差逆伝搬法等により、畳み込み処理部４１の各フィルタの重みの値、全結合部４２の各結合荷重の値等を調整することで、機械学習器４０を機械学習する（ステップＳ５）。
学習処理部３２は、機械学習が終了した時点における、これらの、畳み込み処理部４１の各フィルタの重みの値、全結合部４２の各結合荷重の値等を、学習パラメータとして学習パラメータ記憶部３３へ送信する。
【００５５】
学習パラメータ記憶部３３は、学習処理部３２から学習パラメータを受信して、蓄積、記憶する（ステップＳ７）。
【００５６】
次に、図５を用いて、運転状況の評価時における動作を説明する。
【００５７】
微生物撮影部２３は、撮像装置２１を制御して、活性汚泥を撮像して微生物の画像を生成し、入力画像として画像蓄積部２４へと送信する。
画像蓄積部２４は、微生物撮影部２３から送信された複数枚の入力画像を蓄積、記憶する。
判定画像取得部２６は、画像蓄積部２４から入力画像４９を取得し、微生物識別部２７へ送信する（ステップＳ１１）。
【００５８】
微生物識別部２７は、判定画像取得部２６から送信された入力画像４９を受信する。
微生物識別部２７は、更に、学習パラメータ記憶部３３から学習パラメータ、すなわち微生物の識別に関する識別パラメータを取得する。
微生物識別部２７は、識別パラメータを用いて、入力画像４９内の微生物が属する識別区分を計算する（ステップＳ１３）。より詳細には、微生物識別部２７は、畳み込み処理部４１の各フィルタの重みの値、全結合部４２の各結合荷重の値等が上記のように学習済みの値とされた機械学習器４０、すなわち学習済みモデル４０Ａを例えばＣＰＵ上でプログラムとして実行し、入力画像４９を入力することで、識別区分を計算する。
微生物識別部２７は、全ての入力画像４９に対して微生物に対応する識別区分を計算し、計算された全ての識別区分を運転状況評価部２８へ送信する。
【００５９】
運転状況評価部２８は、微生物識別部２７から、計算された全ての識別区分を受信する。
運転状況評価部２８は、微生物識別部２７における識別結果を基に汚水処理の運転状況を評価する（ステップＳ１５）。
【００６０】
次に、上記の汚水処理運転状況評価装置及び汚水処理運転状況評価方法の効果について説明する。
【００６１】
本第１実施形態における汚水処理運転状況評価装置２０は、生物処理反応槽（水処理槽）３に貯留された汚水を微生物により浄化処理する汚水処理施設１を対象として、生物処理反応槽３内に生息する微生物を撮像した入力画像４９を解析して微生物がどの識別区分に属するかを計算し、汚水処理の運転状況を評価する、汚水処理運転状況評価装置２０であって、機械学習器４０を備え、微生物に関する学習画像４３を含む学習データを機械学習器４０に入力して機械学習を行い、微生物の識別に関する識別パラメータを生成する微生物特徴学習部２５と、識別パラメータを用いて、入力画像４９内の微生物が属する識別区分を計算する微生物識別部２７と、微生物識別部２７における識別結果を基に汚水処理の運転状況を評価する運転状況評価部２８と、を備えている。
上記のような構成によれば、微生物特徴学習部２５は、微生物に関する学習画像４３を含む学習データを機械学習器４０に入力して機械学習を行うため、画像中の微生物の特徴を効果的に抽出して、これを反映した識別パラメータを、自動的に生成可能である。このため、汚水処理運転状況評価装置２０を導入するに際し、画像処理の高度な知識が特に求められない。
また、微生物固有の特徴が顕著に表現されるように、作業員が意図的に特徴を抽出する必要がないため、微生物に関する高度に専門的な知識も、特に求められない。本第１実施形態においては、作業者の、微生物にラベルを対応付ける作業が必要ではあるが、微生物の特徴抽出に必要とされるほどの、特に高度な知識は求められない。
したがって、汚水処理運転状況評価装置２０の導入が容易である。
また、識別パラメータの精度は、機械学習器４０に入力する学習データを多く用意することにより、容易に向上させることができる。
更に、微生物識別部２７が、微生物が属する識別区分を計算するに際し、上記のように生成された識別パラメータを用いている。この識別パラメータは、機械学習器４０によって微生物の外観を抽象化した特徴が反映されたものである。このため、微生物が属する識別区分を計算するに際し、微生物の撮像された角度、大きさ、色合い、天候や時刻に依存した明度などにより受ける影響等を抑制可能である。
したがって、微生物の属する識別区分の計算精度を、すなわち汚水処理の運転状況の評価の精度を、高めることが可能である。
【００６２】
また、機械学習器４０は、畳み込み深層学習を行うものである。特に、本第１実施形態においては、機械学習器４０は、畳み込みニューラルネットワークにより実現されている。
上記のような構成によれば、汚水処理運転状況評価装置２０を適切に実現可能である。
【００６３】
また、機械学習器４０は、学習画像４３に加えて、学習画像４３に対応する微生物の識別区分の情報を教師データとして入力して微生物の特徴を学習パラメータに反映させて学習済みモデル４０Ａを生成することにより機械学習を実行し、識別パラメータは学習パラメータである。
更に、微生物識別部２７は、学習済みモデル４０Ａに対して入力画像４９を入力して、入力画像４９内の微生物が属する識別区分を計算する。
例えば従来の、古典的な画像処理技術に基づいたシステムにおいては、システムへの入力となる撮像画像の明度や画質等は、汚水処理施設１の環境に大きく依存する。このため、運転状況の評価に際し、画像処理における様々なパラメータを、撮像環境に応じて適切に調整しなければならない場合がある。
これに対し、上記のような構成によれば、機械学習器４０は機械学習を実行して学習済みモデル４０Ａを生成し、微生物識別部２７は学習パラメータすなわち識別パラメータが反映された学習済みモデル４０Ａに対して入力画像４９を入力して、入力画像４９内の微生物が属する識別区分を計算する。すなわち、運転状況の評価において使用される入力画像４９は、微生物の特徴が反映された学習済みモデル４０Ａによって処理されることで効率的に特徴が抽出されるため、撮像環境の影響を低減することができる。したがって、汚水処理運転状況評価装置２０の運用が容易となる。
【００６４】
また、機械学習器４０は、学習画像４３内の微生物が複数の識別区分のいずれに属しているかを学習する。
上記のような構成によれば、１つの機械学習器４０のみにより微生物が属する識別区分を計算可能であるため、汚水処理運転状況評価装置２０内に設ける機械学習器４０の数が低減可能である。すなわち、機械学習する対象となる機械学習器４０の数が低減するため、汚水処理運転状況評価装置２０の導入が容易である。
【００６５】
また、運転状況評価部２８は、複数の入力画像４９に対して微生物識別部２７によって計算された識別区分ごとの微生物の出現率を基に、汚水処理の運転状況を評価する。
上記のような構成によれば、汚水処理の運転状況を高い精度で評価することができる。
【００６６】
特に、上記のような汚水処理運転状況評価装置２０は、微生物の種類が多い場合に有効である。微生物の種類が多くなると、類似した微生物であっても運転状況への影響が異なるものがある可能性があるため、例えば従来の、古典的な画像処理技術に基づいたシステムにおいては、微生物を誤って識別した結果、運転状況を誤って評価する可能性がある。また、従来のシステムにおいては微生物の種類に応じて作業員が特徴を抽出しなければならないため、導入に際して要する手間が微生物の種類に比例して増大する。
これに対し、汚水処理運転状況評価装置２０においては、微生物の種類が増大した場合においても、機械学習器４０が微生物の特徴を正確にとらえて識別区分ごとに識別、計算するように学習するため運転状況の誤評価を抑制でき、かつ、学習データを作成すれば特徴の抽出自体は自動でなされるため導入コストの増加も微細である。このように、汚水処理運転状況評価装置２０に関して既に説明した上記の効果の各々は、従来のシステムに比べると、微生物の種類が多い場合により顕著となり得る。
【００６７】
［第１実施形態の変形例］
次に、図６を用いて、上記第１実施形態として示した汚水処理運転状況評価装置及び汚水処理運転状況評価方法の変形例を説明する。図６は、本変形例における汚水処理運転状況評価装置の学習処理部が備える、機械学習器５０のブロック図である。本変形例における汚水処理運転状況評価装置は、上記第１実施形態の汚水処理運転状況評価装置２０とは、機械学習器５０の構成が異なっている。
【００６８】
上記第１実施形態においては、学習処理部３２は、微生物の識別区分の数をＮ個とした場合にＮクラス分類を学習する機械学習器４０を１つだけ備えていた。本変形例における学習処理部が備える機械学習器５０は、Ｎ個の機械学習器５０−１〜５０−Ｎを備えている。
機械学習器５０−１〜５０−Ｎの各々は、微生物の識別区分の各々に対応しており、入力された画像内の微生物が対応する識別区分に属しているか否かを学習する。すなわち、本変形例における、機械学習により適切な学習パラメータが学習された各学習済みモデルは、２クラス分類を行うものである。
【００６９】
より詳細には、機械学習器５０−１〜５０−Ｎの各々の出力層５８は、２つの出力ノード５８ａ、５８ｂを備えている。機械学習器５０−１〜５０−Ｎの各々は、入力された画像中に対応する識別区分の微生物が無い場合に一方の出力ノード５８ａの値が所定の第１判定値、例えば１に近く、他方の出力ノード５８ｂの値が所定の第２判定値、例えば０に近い値となるように、なおかつ、微生物が有る場合に出力ノード５８ａの値が第２判定値に近く、出力ノード５８ｂの値が第１判定値に近い値となるように、設計されている。
このような機械学習器５０−１〜５０−Ｎの各々に対し、微生物に関する学習画像と、当該機械学習器に対応する識別区分に学習画像内の微生物が属しているか否かの情報を教師データとして入力して、教師あり学習が行われる。
学習パラメータ記憶部はこのように機械学習された、複数の機械学習器５０−１〜５０−Ｎの各々の、畳み込み処理部５１の各フィルタの重みの値、全結合部５２の各結合荷重の値等を、学習パラメータとして蓄積、記憶する。
【００７０】
微生物識別部は、判定画像取得部から受信した入力画像の各々を、機械学習器５０−１〜５０−Ｎの各々に対応する全ての学習済みモデルに入力し、各学習済みモデルによる、対応する識別区分に属する微生物の有無の判定結果を集計することで、入力画像内の微生物が属する識別区分を計算する。
【００７１】
本変形例が、既に説明した第１実施形態と同様な効果を奏することは言うまでもない。
特に、本変形例においては、微生物の識別区分ごとに、対応する機械学習器５０−１〜５０−Ｎを備え、機械学習器５０−１〜５０−Ｎの各々は、学習画像内の微生物が対応する識別区分に属しているか否かを学習する。
上記のような構成によれば、機械学習器５０−１〜５０−Ｎの各々が、対応する識別区分に特化して機械学習されるため、微生物の識別区分をより正確に計算することができる。
また、例えば複数の微生物が撮像された画像が入力画像として入力されてしまった場合において、上記第１実施形態の汚水処理運転状況評価装置２０では、学習済みモデル４０Ａが微生物の属する識別区分の判断をしあぐねた結果、これら複数の微生物の属する識別区分の各々に対応する複数の出力ノード４８ｎが、例えば第１判定値と第２判定値の中間の値を出力するような事態が生じ得る。これに対し、本変形例の構成では、各学習済みモデルは対応する識別区分に属する微生物のみを検出するように動作するため、複数の微生物が撮像されている入力画像に対しては、各識別区分に対応する学習済みモデル５０−１〜５０−Ｎの出力ノード５８ｂが第１判定値に近い値を出力する。したがって、入力画像内に複数の微生物が撮像されているような場合であっても、各微生物に対応する識別区分を正確に計算、特定することができる。
【００７２】
［第２実施形態］
次に、第２実施形態における汚水処理運転状況評価装置６０を説明する。本第２実施形態においては、上記第１実施形態と共通する構成については図中に同じ符号を付して説明を省略する。
汚水処理運転状況評価装置６０は、第１実施形態における汚水処理運転状況評価装置２０と同様に、図１を用いて説明した汚水処理施設１に用いられている。
汚水処理運転状況評価装置６０は、撮像装置２１と制御装置６２を備えている。
撮像装置２１は第１実施形態と同様なものである。
【００７３】
制御装置６２は、例えばパーソナルコンピュータ等の情報処理装置である。図７は、制御装置６２のブロック図である。制御装置６２は、微生物撮影部２３、画像蓄積部２４、微生物特徴学習部６５、判定画像取得部２６、特徴量抽出部６８、特徴量蓄積部６９、判定特徴量取得部７０、微生物識別部７１、及び運転状況評価部２８を備えている。微生物特徴学習部６５は、機械学習部６６とクラスタリング部６７を備えている。機械学習部６６は、学習画像取得部３０、学習処理部８１、及び学習パラメータ記憶部８２を備えている。クラスタリング部６７は、学習特徴量取得部８３、クラスタリング実行部８４、クラスタリングパラメータ記憶部８５、結果提示部８６、及び対応付け記憶部８８を備えている。
これら制御装置２２の構成要素のうち、微生物撮影部２３、判定画像取得部２６、特徴量抽出部６８、判定特徴量取得部７０、微生物識別部７１、運転状況評価部２８、学習画像取得部３０、学習処理部８１、学習特徴量取得部８３、クラスタリング実行部８４、及び結果提示部８６は、例えば上記情報処理装置内のＣＰＵにより実行されるソフトウェア、プログラムであってよい。また、画像蓄積部２４、特徴量蓄積部６９、学習パラメータ記憶部８２、クラスタリングパラメータ記憶部８５、及び対応付け記憶部８８は、上記情報処理装置内外に設けられた半導体メモリや磁気ディスクなどの記憶装置により実現されていてよい。
【００７４】
第１実施形態と同様に、制御装置６２は大別して、微生物の識別区分の学習と、運転状況の評価の、２通りの動作を行う。説明を簡単にするために、以下ではまず、識別区分の学習時における、制御装置６２の各構成要素の説明をした後に、運転状況の評価時での各構成要素の挙動について説明する。
【００７５】
微生物撮影部２３は、撮像装置２１を制御して、活性汚泥を撮像する。微生物撮影部２３は、更に、例えば撮像された画像内から何らかの物体が撮像されている部分を切り出して適切な大きさとなるように拡大し、学習画像として画像蓄積部２４へと送信する。
微生物撮影部２３は、これら学習画像が、機械学習器の適切な学習に要する枚数となるまで、撮像と画像蓄積部２４への送信を実行する。
【００７６】
画像蓄積部２４は、微生物撮影部２３から送信された複数枚の学習画像を蓄積、記憶する。
【００７７】
微生物特徴学習部６５の、機械学習部６６の学習画像取得部３０は、画像蓄積部２４から学習画像を取得し、これを学習データとして学習処理部８１へ送信する。
学習画像取得部３０は、後に説明する特徴量抽出部６８へも、学習画像を送信する。
【００７８】
学習処理部８１は、学習画像取得部３０から学習データを受信する。
学習処理部８１は、図８にブロック図として示されている、機械学習器９０を備えている。本第２実施形態における機械学習器９０は、畳み込み深層学習を行うものであり、特に畳み込みオートエンコーダ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ａｕｔｏｅｎｃｏｄｅｒ）により実現されている。機械学習器９０は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される、適切な学習パラメータが学習された学習済みモデルを生成するものである。
機械学習器９０は、畳み込み処理部９１、全結合層９２、及び逆畳み込み処理部９３を備えている。畳み込み処理部９１は、第１〜第３畳み込み層９１ａ、９１ｂ、９１ｃを備えている。全結合層９２は、第１〜第３全結合層９２ａ、９２ｂ、９２ｃを備えている。逆畳み込み処理部９３は、第１〜第３逆畳み込み層９３ａ、９３ｂ、９３ｃを備えている。
【００７９】
学習処理部８１は、機械学習器９０に、学習画像４３を入力する。畳み込み処理部９１の第１〜第３畳み込み層９１ａ、９１ｂ、９１ｃは、第１実施形態における畳み込み処理部４１と同様な処理により、全結合層９２への入力となる特徴マップ９１ｍを生成する。
第３畳み込み層９１ｃは、全結合層９２の、所定の数のノード９２ｌを備えた第１全結合層９２ａに接続されている。特徴マップ９１ｍの値は、第１実施形態と同様に、第１全結合層９２ａの各ノード９２ｌへと格納される。
【００８０】
第２全結合層９２ｂも、第１全結合層９２ａと同様に、所定の数のノード９２ｍを備えている。第２全結合層９２ｂのノード９２ｍの数は、第１全結合層９２ａのノード９２ｌの数よりも少なくなっている。第２全結合層９２ｂの各ノード９２ｍは、第１全結合層９２ａの全てのノード９２ｌと結合しており、層間に結合荷重を備えている。第２全結合層９２ｂにおいては、この結合荷重に基づいて、第１全結合層９２ａのノード９２ｌに対して重み付け和を演算し、その結果に出力関数を適用した値が、第２全結合層９２ｂの各ノード９２ｍに格納される。
【００８１】
第３全結合層９２ｃは、第１全結合層９２ａと同じ数のノード９２ｎを備えている。第３全結合層９２ｃの各ノード９２ｎは、第２全結合層９２ｂの全てのノード９２ｍと結合しており、層間に結合荷重を備えている。第３全結合層９２ｃにおいては、この結合荷重に基づいて、第２全結合層９２ｂのノード９２ｍに対して重み付け和を演算し、その結果に出力関数を適用した値が、第３全結合層９２ｃの各ノード９２ｎに格納される。
【００８２】
第３全結合層９２ｃの各ノード９２ｎの値は、逆畳み込み処理部９３へと入力される。逆畳み込み処理部９３においては、畳み込み処理部９１と対称的な処理が実行される。すなわち、学習画像４３は畳み込み処理部９１により全結合層９２に至るまでに低次元に圧縮されたが、逆畳み込み処理部９３においては、低次元に圧縮された状態から復元されるように動作する。より詳細には、第３畳み込み層９１ｃと略対称的な処理を行う第１逆畳み込み層９３ａ、第２畳み込み層９１ｂと略対称的な処理を行う第２逆畳み込み層９３ｂ、及び第１畳み込み層９１ａと略対称的な処理を行う第３逆畳み込み層９３ｃを順に経ることで、学習画像４３と同じ解像度を備える画像９４が生成される。
機械学習器９０においては、この生成された画像９４が、学習画像４３を再現した再現画像９４となるように、機械学習が行われる。すなわち、本第２実施形態における機械学習器９０は、微生物に関する学習画像４３のみを学習データとして、特に作業員によるラベルの対応付け作業により生じる情報を必要とせずに、学習を行うものである。
【００８３】
機械学習器９０の学習は、上記第１実施形態と同様に、微生物の属する識別区分の計算の際に用いる学習済みモデルを生成するために実行されるものであるが、第１実施形態とは異なり、機械学習器９０の学習において設定された全てのパラメータが、学習済みモデルとして使用されるわけではない。
既に説明したように、機械学習器９０は畳み込みオートエンコーダであり、学習画像４３は畳み込み処理部９１において低次元に圧縮されて全結合層９２の第１全結合層９２ａに入力され、更に第２全結合層９２ｂにおいて最大限に圧縮された後に、再現画像９４へと復元される。すなわち、第２全結合層９２ｂは、入力された画像の備える特徴が最も圧縮された状態となる部分であり、ノード９２ｍの値は、画像内の微生物の特徴を抽象的に凝縮した特徴量として扱うことができる。
【００８４】
本第２実施形態は、概念的には、畳み込みオートエンコーダのこの特性を利用し、学習が終了した機械学習器９０に対して学習画像４３の各々を入力して各学習画像４３に対応する第２全結合層９２ｂの各ノード９２ｍの値を特徴量として保存する。この状態で、運転状況の評価に際し入力された画像に対して学習済みモデルを実行して当該画像に対する第２全結合層９２ｂの各ノード９２ｍの値すなわち特徴量を導出し、これを事前に保存された学習画像４３の特徴量と比較することで、入力画像中の微生物の識別区分を計算するものである。
このため、本第２実施形態においては、図８において二点鎖線で囲われた、第１畳み込み層９１ａから第２全結合層９２ｂまでの部分が学習済みモデル９５に相当する。したがって、この部分にける各パラメータの値、すなわち畳み込み処理部９１の各フィルタの重みの値、全結合層９２の第２全結合層９２ｂまでの各結合荷重の値等が、本第２実施形態における学習パラメータとなる。
学習処理部８１は、機械学習が終了した時点における上記学習パラメータを学習パラメータ記憶部８２へ送信する。
【００８５】
このように、微生物特徴学習部６５の機械学習部６６は、微生物に関する学習画像４３を学習データとして機械学習器９０に入力して機械学習を行う。また、機械学習器９０は、学習データを入力して微生物の特徴を学習パラメータに反映させて学習済みモデル９５を生成することにより機械学習を実行する。
【００８６】
学習パラメータ記憶部８２は、学習処理部８１から学習パラメータを受信して、蓄積、記憶する。
【００８７】
特徴量抽出部６８は、学習画像取得部３０から、各学習画像４３を受信する。
また、特徴量抽出部６８は、学習パラメータ記憶部８２から学習パラメータを取得する。
特徴量抽出部６８は、学習パラメータ、すなわち畳み込み処理部９１の各フィルタの重みの値、全結合層９２の第２全結合層９２ｂまでの各結合荷重の値等が上記のように学習済みの値とされた学習済みモデル９５を例えばＣＰＵ上でプログラムとして実行し、第２全結合層９２ｂの各ノード９２ｍの値、すなわち各学習画像４３に対応する特徴量を計算する。
このように、特徴量抽出部６８は、学習済みモデル９５に対して再度学習画像４３を入力して、学習画像４３内の微生物の特徴を特徴量として抽出する。
特徴量抽出部６８は、各学習画像４３に対して、学習画像４３と計算した特徴量の組み合わせを、特徴量蓄積部６９へ送信する。
【００８８】
特徴量蓄積部６９は、特徴量抽出部６８から学習画像４３と特徴量の組み合わせを受信して、蓄積、記憶する。
特徴量蓄積部６９に記憶された学習画像４３と特徴量の組み合わせは、次に説明するクラスタリング部６７において使用される。クラスタリング部６７は、学習画像４３の各々に対応する複数の特徴量を、教師なしクラスタリングによって、各識別区分に対応する複数の集合に分割する。
【００８９】
微生物特徴学習部６５の、クラスタリング部６７の学習特徴量取得部８３は、特徴量蓄積部６９から、全ての、学習画像４３と特徴量の組み合わせを取得し、クラスタリング実行部８４へ送信する。
【００９０】
クラスタリング実行部８４は、学習特徴量取得部８３から全ての学習画像４３と特徴量の組み合わせを受信する。
クラスタリング実行部８４は、全ての特徴量に対して、クラスタリングを実行する。クラスタリング手法としては、混合正規分布などの統計モデルを仮定した手法や、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）などの機械学習手法等が適用可能である。
クラスタリングの結果として、各特徴量が複数の集合に分類され、各特徴量には、対応する集合に紐づけられたクラスタＩＤが付与される。
クラスタリング実行部８４は、クラスタリング部における分類の結果として設定されたクラスタリングパラメータと、全ての、学習画像４３と特徴量及びクラスタＩＤの組み合わせを、クラスタリングパラメータ記憶部８５に送信する。
【００９１】
クラスタリングパラメータ記憶部８５は、クラスタリング実行部８４からクラスタリングパラメータと、全ての、学習画像４３と特徴量及びクラスタＩＤの組み合わせを受信して、蓄積、記憶する。
【００９２】
結果提示部８６は、クラスタリングパラメータ記憶部８５から、学習画像４３と特徴量及びクラスタＩＤの組み合わせを取得する。
結果提示部８６は、取得した情報を基に、各集合を代表する学習画像４３とこれに対応するクラスタＩＤを、図示されない表示装置等により、作業者に提示する。
上記において、各集合を代表する学習画像４３としては、例えば混合正規分布を仮定したクラスタリングの場合においては、各混合成分の（平均、分散）に最も近いパラメータを有する画像が、ＳＶＭによる分類の場合においては、パラメータ空間上でクラス境界面から最も遠い場所に位置する画像が、それぞれ考えられる。
これを基に、作業者は、図示されない入力装置等により、各クラスタＩＤに対して対応する微生物の識別区分、例えば種類を表すラベルを付与する。
結果提示部８６は、クラスタＩＤと付与されたラベルの、全ての組み合わせを、対応付け記憶部８８へ送信する。
【００９３】
対応付け記憶部８８は、結果提示部８６から、クラスタＩＤとラベルの全ての組み合わせを受信して、蓄積、記憶する。
【００９４】
次に、制御装置６２における、運転状況の評価時での各構成要素の挙動について説明する。
【００９５】
微生物撮影部２３は、撮像装置２１を制御して微生物の画像を生成し、入力画像として画像蓄積部２４へと送信する。
微生物撮影部２３は、これら入力画像が、運転状況の評価に要する枚数となるまで、撮像と画像蓄積部２４への送信を実行する。
【００９６】
画像蓄積部２４は、微生物撮影部２３から送信された複数枚の入力画像を蓄積、記憶する。
【００９７】
判定画像取得部２６は、画像蓄積部２４から入力画像を取得し、特徴量抽出部６８へ送信する。
【００９８】
特徴量抽出部６８は、判定画像取得部２６から送信された入力画像を受信する。
また、特徴量抽出部６８は、学習パラメータ記憶部８２から学習パラメータを取得する。
特徴量抽出部６８は、学習パラメータが反映された学習済みモデル９５を例えばＣＰＵ上でプログラムとして実行し、第２全結合層９２ｂの各ノード９２ｍの値である、入力画像４９に対応する特徴量を計算する。すなわち、特徴量抽出部６８は、学習済みモデル９５に対して入力画像４９を入力して、入力画像４９内の微生物の特徴を特徴量として抽出する。
特徴量抽出部６８は、各入力画像４９に対して、特徴量を特徴量蓄積部６９へ送信する。
【００９９】
特徴量蓄積部６９は、特徴量抽出部６８から各入力画像４９に対応する特徴量を受信して、蓄積、記憶する。
【０１００】
判定特徴量取得部７０は、特徴量蓄積部６９から各入力画像４９に対応する特徴量を取得し、微生物識別部７１へ送信する。
【０１０１】
微生物識別部７１は、判定特徴量取得部７０から送信された全ての特徴量を受信する。
微生物識別部７１は、クラスタリングパラメータ記憶部８５から、クラスタリング部における分類の結果として設定されたクラスタリングパラメータを取得する。
微生物識別部７１は、更に、対応付け記憶部８８から、クラスタＩＤとラベルの全ての組み合わせを取得する。
微生物識別部７１は、クラスタリングパラメータを使用し、入力画像４９から生成された各特徴量に対するクラスタＩＤを算出する。微生物識別部７１は、特徴量毎に、このクラスタＩＤに対応するラベル、すなわち微生物が属する識別区分を計算する。
このように、微生物識別部７１は、クラスタリングパラメータを基に、入力画像４９内の微生物の特徴量が、複数の集合のいずれに該当するかを計算することにより、微生物が属する識別区分を計算する。
【０１０２】
上記のように、本第２実施形態においては、微生物識別部７１は、微生物特徴学習部６５によって生成されてクラスタリングパラメータ記憶部８５に記憶されたクラスタリングパラメータを、微生物の識別に関する識別パラメータとして用いて、入力画像４９内の微生物が属する識別区分を計算する。
既に説明したように、本第２実施形態における識別パラメータ、すなわちクラスタリングパラメータは、学習済みの機械学習器９０における学習パラメータを基にして生成された各学習画像の特徴量をクラスタリングすることにより生成されている。
【０１０３】
微生物識別部７１は、運転状況評価部２８に、計算された全ての識別区分を運転状況評価部２８へ送信する。
【０１０４】
運転状況評価部２８は、微生物識別部７１から、計算された全ての識別区分を受信する。
運転状況評価部２８は、微生物識別部７１における識別結果を基に汚水処理の運転状況を評価する。より詳細には、受信した全ての識別区分を統計し、例えばＶｏｒｔｉｃｅｌｌａ属、Ｅｐｉｓｔｙｌｉｓ属、有殻アメーバ類Ａｒｃｅｌｌａ属、輪虫類Ｐｈｉｌｏｄｉｎａ属等の活性汚泥の状態が良好な場合に優占化する微生物に対応する識別区分の割合が所定の第１閾値以上である場合には、運転状況が良好であると評価する。また、例えば鞭毛虫類Ｂｏｄｏ属、Ｍｏｎａｓ属およびＡｍｏｅｂａ属等の活性汚泥の状態が悪化した場合、及び良好な状態から悪い状態への過渡期において出現する微生物、例えばＡｒｃｅｌｌａ属等に対応する識別区分の割合が所定の第２閾値以上である場合には、運転状況が悪化していると評価する。
このように、運転状況評価部２８は、複数の入力画像４９に対して微生物識別部７１によって計算された識別区分ごとの微生物の比率すなわち微生物の出現率を基に、汚水処理の運転状況を評価する。
【０１０５】
次に、図１、図７、図８、及び図９、図１０を用いて、上記の汚水処理運転状況評価装置６０によって運転状況を評価する、汚水処理運転状況評価方法を説明する。図９は、汚水処理運転状況評価方法の、学習時のフローチャートである。図１０は、汚水処理運転状況評価方法の、汚水処理運転状況評価時のフローチャートである。
まず、図９を用いて、識別区分の学習時における動作を説明する。
【０１０６】
微生物撮影部２３は、撮像装置２１を制御して、活性汚泥を撮像する（ステップＳ２１）。微生物撮影部２３は、更に、例えば撮像された画像内から何らかの物体が撮像されている部分を切り出して適切な大きさとなるように拡大し、学習画像として画像蓄積部２４へと送信する。
画像蓄積部２４は、微生物撮影部２３から送信された複数枚の学習画像を蓄積、記憶する。
【０１０７】
微生物特徴学習部６５の、機械学習部６６の学習画像取得部３０は、画像蓄積部２４から学習画像を取得し、これを学習データとして学習処理部８１へ送信する。
学習画像取得部３０は、特徴量抽出部６８へも、学習画像を送信する。
【０１０８】
学習処理部８１は、学習画像取得部３０から学習データを受信する。
学習処理部８１は、機械学習器９０に、学習画像４３を入力し、機械学習器９０を機械学習する。
学習処理部８１は、機械学習が終了した時点における学習パラメータを学習パラメータ記憶部８２へ送信する。
【０１０９】
学習パラメータ記憶部８２は、学習処理部８１から学習パラメータを受信して、蓄積、記憶する。
【０１１０】
特徴量抽出部６８は、学習画像取得部３０から、各学習画像４３を受信する。
また、特徴量抽出部６８は、学習パラメータ記憶部８２から学習パラメータを取得する。
特徴量抽出部６８は、学習パラメータ、すなわち畳み込み処理部９１の各フィルタの重みの値、全結合層９２の第２全結合層９２ｂまでの各結合荷重の値等が上記のように学習済みの値とされた学習済みモデル９５を例えばＣＰＵ上でプログラムとして実行し、第２全結合層９２ｂの各ノード９２ｍの値、すなわち各学習画像４３に対応する特徴量を計算する。
このように、特徴量抽出部６８は、学習済みモデル９５に対して学習画像４３を入力して、学習画像４３内の微生物の特徴を特徴量として抽出する（ステップＳ２３）。
特徴量抽出部６８は、各学習画像４３に対して、学習画像４３と計算した特徴量の組み合わせを、特徴量蓄積部６９へ送信する。
【０１１１】
特徴量蓄積部６９は、特徴量抽出部６８から学習画像４３と特徴量の組み合わせを受信して、蓄積、記憶する。
【０１１２】
微生物特徴学習部６５の、クラスタリング部６７の学習特徴量取得部８３は、特徴量蓄積部６９から、全ての、学習画像４３と特徴量の組み合わせを取得し、クラスタリング実行部８４へ送信する。
【０１１３】
クラスタリング実行部８４は、学習特徴量取得部８３から全ての学習画像４３と特徴量の組み合わせを受信する。
クラスタリング実行部８４は、全ての特徴量に対して、クラスタリングを実行する（ステップＳ２５）。
クラスタリングの結果として、各特徴量が複数の集合に分類され、各特徴量には、対応する集合に紐づけられたクラスタＩＤが付与される。
クラスタリング実行部８４は、クラスタリング部における分類の結果として設定されたクラスタリングパラメータと、全ての、学習画像４３と特徴量及びクラスタＩＤの組み合わせを、クラスタリングパラメータ記憶部８５に送信する。
【０１１４】
クラスタリングパラメータ記憶部８５は、クラスタリング実行部８４からクラスタリングパラメータと、全ての、学習画像４３と特徴量及びクラスタＩＤの組み合わせを受信して、蓄積、記憶する（ステップＳ２７）。
【０１１５】
結果提示部８６は、クラスタリングパラメータ記憶部８５から、学習画像４３と特徴量及びクラスタＩＤの組み合わせを取得する。
結果提示部８６は、取得した情報を基に、各集合を代表する学習画像４３とこれに対応するクラスタＩＤを、図示されない表示装置等により、作業者に提示する。
作業者は、図示されない入力装置等により、各クラスタＩＤに対して対応する微生物の識別区分、例えば種類を表すラベルを付与する（ステップＳ２９）。
結果提示部８６は、クラスタＩＤと付与されたラベルの、全ての組み合わせを、対応付け記憶部８８へ送信する。
【０１１６】
対応付け記憶部８８は、結果提示部８６から、クラスタＩＤとラベルの全ての組み合わせを受信して、蓄積、記憶する。
【０１１７】
次に、図１０を用いて、運転状況の評価時における動作を説明する。
【０１１８】
微生物撮影部２３は、撮像装置２１を制御して微生物の画像を生成し、入力画像として画像蓄積部２４へと送信する。
画像蓄積部２４は、微生物撮影部２３から送信された複数枚の入力画像を蓄積、記憶する。
判定画像取得部２６は、画像蓄積部２４から入力画像を取得し、特徴量抽出部６８へ送信する。
【０１１９】
特徴量抽出部６８は、判定画像取得部２６から送信された入力画像を受信する。
また、特徴量抽出部６８は、学習パラメータ記憶部８２から学習パラメータを取得する。
特徴量抽出部６８は、学習パラメータが反映された学習済みモデル９５を例えばＣＰＵ上でプログラムとして実行し、第２全結合層９２ｂの各ノード９２ｍの値である、入力画像４９に対応する特徴量を計算する。すなわち、特徴量抽出部６８は、学習済みモデル９５に対して入力画像４９を入力して、入力画像４９内の微生物の特徴を特徴量として抽出する（ステップＳ３１）。
特徴量抽出部６８は、各入力画像４９に対して、特徴量を特徴量蓄積部６９へ送信する。
【０１２０】
特徴量蓄積部６９は、特徴量抽出部６８から各入力画像４９に対応する特徴量を受信して、蓄積、記憶する。
判定特徴量取得部７０は、特徴量蓄積部６９から各入力画像４９に対応する特徴量を取得し、微生物識別部７１へ送信する。
【０１２１】
微生物識別部７１は、判定特徴量取得部７０から送信された全ての特徴量を受信する。
微生物識別部７１は、クラスタリングパラメータ記憶部８５から、クラスタリング部における分類の結果として設定されたクラスタリングパラメータを取得する。
微生物識別部７１は、更に、対応付け記憶部８８から、クラスタＩＤとラベルの全ての組み合わせを取得する。
微生物識別部７１は、クラスタリングパラメータを使用し、入力画像４９から生成された各特徴量に対するクラスタＩＤを算出する。微生物識別部７１は、特徴量毎に、このクラスタＩＤに対応するラベル、すなわち微生物が属する識別区分を計算する（ステップＳ３３）。
微生物識別部７１は、運転状況評価部２８に、計算された全ての識別区分を運転状況評価部２８へ送信する。
【０１２２】
運転状況評価部２８は、微生物識別部７１から、計算された全ての識別区分を受信する。
運転状況評価部２８は、微生物識別部７１における識別結果を基に汚水処理の運転状況を評価する（ステップＳ３５）。
【０１２３】
次に、上記の汚水処理運転状況評価装置及び汚水処理運転状況評価方法の効果について説明する。
【０１２４】
本第２実施形態における汚水処理運転状況評価装置６０は、生物処理反応槽（水処理槽）３に貯留された汚水を微生物により浄化処理する汚水処理施設１を対象として、水処理槽内に生息する微生物を撮像した入力画像４９を解析して微生物がどの識別区分に属するかを計算し、汚水処理の運転状況を評価する、汚水処理運転状況評価装置６０であって、機械学習器９０を備え、微生物に関する学習画像４３を含む学習データを機械学習器９０に入力して機械学習を行い、微生物の識別に関する識別パラメータを生成する微生物特徴学習部６５と、識別パラメータを用いて、入力画像４３内の微生物が属する識別区分を計算する微生物識別部７１と、微生物識別部７１における識別結果を基に汚水処理の運転状況を評価する運転状況評価部２８と、を備えている。
上記のような構成によれば、微生物特徴学習部６５は、微生物に関する学習画像４３を含む学習データを機械学習器９０に入力して機械学習を行うため、画像中の微生物の特徴を効果的に抽出して、これを反映した識別パラメータを、自動的に生成可能である。このため、汚水処理運転状況評価装置６０を導入するに際し、画像処理の高度な知識が特に求められない。
また、微生物固有の特徴が顕著に表現されるように、作業員が意図的に特徴を抽出する必要がないため、微生物に関する高度に専門的な知識も、特に求められない。本第２実施形態においては、作業者の、クラスタリングにより分類された各集合に対しラベルを対応付ける作業が必要ではあるが、微生物の特徴抽出に必要とされるほどの、特に高度な知識は求められない。
したがって、汚水処理運転状況評価装置６０の導入が容易である。
また、識別パラメータの精度は、機械学習器９０に入力する学習データを多く用意することにより、容易に向上させることができる。例えば、本第２実施形態においては、学習データを多く用意することにより機械学習器９０の学習パラメータの精度が向上し、これが学習済みモデル９５により出力される学習画像４３の特徴量の精度と、クラスタリングパラメータすなわち識別パラメータの精度に影響する。したがって、微生物の属する識別区分の計算精度を、すなわち汚水処理の運転状況の評価の精度を、高めることが可能である。
【０１２５】
また、機械学習器９０は、畳み込み深層学習を行うものである。
上記のような構成によれば、汚水処理運転状況評価装置６０を適切に実現可能である。
【０１２６】
また、機械学習器９０は、学習データを入力して微生物の特徴を学習パラメータに反映させて学習済みモデル９５を生成することにより機械学習を実行する。
また、学習済みモデル９５に対して学習画像４３及び入力画像４９を入力して、学習画像４３及び入力画像４９内の微生物の特徴を特徴量として抽出する、特徴量抽出部６８を備えている。
また、微生物特徴学習部６５は、複数の学習画像４３の各々に対応する複数の特徴量をクラスタリングにより複数の集合に分類するクラスタリング部６７を備え、複数の集合の各々は、識別区分に対応し、識別パラメータは、クラスタリング部６７における分類の結果として設定されたクラスタリングパラメータである。
また、微生物識別部７１は、クラスタリングパラメータを基に、入力画像４３内の微生物の特徴量が、複数の集合のいずれに該当するかを計算することにより、微生物が属する識別区分を計算する。
上記のような構成によれば、運転状況の評価において使用される入力画像４９は、微生物の特徴が反映された学習済みモデル９５によって処理されることで効率的に特徴が抽出されるため、撮像環境の影響を低減することができる。したがって、汚水処理運転状況評価装置２０の運用が容易となる。
また、学習画像４３の特徴量を集積してクラスタリングにより複数の集合に分類したうえで、入力画像４９の特徴量がどの集合に該当するかを計算することで識別区分を計算するため、精度の高い識別が可能となる。
【０１２７】
また、機械学習器９０は、畳み込みオートエンコーダにより実現されている。
上記のような構成によれば、機械学習器９０の学習済みモデル９５に画像が入力されると、適切に圧縮された特徴量として出力されるため、特徴量を集積してクラスタリング処理を実行する際に扱うデータ量が少なくなる。このため、クラスタリング処理が容易となる。
【０１２８】
また、運転状況評価部２８は、複数の入力画像４９に対して微生物識別部７１によって計算された識別区分ごとの微生物の出現率を基に、汚水処理の運転状況を評価する。
上記のような構成によれば、汚水処理の運転状況を高い精度で評価することができる。
【０１２９】
汚水処理運転状況評価装置６０においては、第１実施形態と同様に、微生物の種類が増大した場合においても、機械学習器９０が微生物の特徴を正確にとらえるように学習するため運転状況の誤評価を抑制でき、かつ、学習データを作成すれば特徴の抽出自体は自動でなされるため導入コストの増加も微細である。このように、汚水処理運転状況評価装置６０に関して既に説明した上記の効果の各々は、従来のシステムに比べると、微生物の種類が多い場合により顕著となり得る。
【０１３０】
なお、本発明の汚水処理運転状況評価装置及び汚水処理運転状況評価方法は、図面を参照して説明した上述の各実施形態及び変形例に限定されるものではなく、その技術的範囲において他の様々な変形例が考えられる。
【０１３１】
例えば、機械学習器４０、５０、９０の構成は、上記各実施形態及び変形例において説明したものに限られないのは、言うまでもない。例えば、機械学習器４０において、より多くの畳み込み層を設ける、限定された畳み込み層においてのみプーリング処理を実行する、入力層４７と出力層４８の間に１または複数の中間層を設ける等、多くの変形例が想定されるが、入力される画像内の微生物の特徴が抽出できるような設定が可能であれば、どのような構成を備えていてもよい。機械学習器５０、９０においても同様である。
【０１３２】
また、制御装置２２、６２は、一つの情報処理装置として実現されているように説明したが、各々の構成要素が複数の情報処理装置に分割されて搭載され、これらが互いに連携して動作してもよいのは、言うまでもない。例えば、制御装置２２、６２において、学習を行う部分と、運転状況の評価を行う部分とが、それぞれ対応する２つの情報処理装置に分けられた構成であってもよい。
【０１３３】
また、運転状況評価部２８は、運転状況が良好か悪化した状態かの評価を行うように説明したが、微生物の出現率を基に、より多くの、例えば５つの段階に細分化された評価を行うように実現されていてもよい。
あるいは、運転状況評価部２８による評価は、運転状況が良い、悪いという評価軸に基づくものではなく、互いに優劣関係のない複数の状況に分類するようにしてもよい。
【０１３４】
これ以外にも、本発明の主旨を逸脱しない限り、上記各実施形態及び変形例で挙げた構成を取捨選択したり、他の構成に適宜変更したりすることが可能である。
【符号の説明】
【０１３５】
１            汚水処理施設
３            生物処理反応槽（水処理槽）
２０、６０    汚水処理運転状況評価装置
２１          撮像装置
２２、６２    制御装置
２３          微生物撮影部
２４          画像蓄積部
２５、６５    微生物特徴学習部
２６          判定画像取得部
２７、７１    微生物識別部
２８          運転状況評価部
３０          学習画像取得部
３１          ラベリング部
３２、８１    学習処理部
３３、８２    学習パラメータ記憶部
４０、５０、５０−１〜５０−Ｎ、９０  機械学習器
４０Ａ、９５  学習済みモデル
４３          学習画像
４９          入力画像
６６          機械学習部
６７          クラスタリング部
６８          特徴量抽出部
６９          特徴量蓄積部
７０          判定特徴量取得部
８３          学習特徴量取得部
８４          クラスタリング実行部
８５          クラスタリングパラメータ記憶部
８６          結果提示部
８８          対応付け記憶部
９４          再現画像
【図１】
2020032394.tif 000003
【図２】
2020032394.tif 000004
【図３】
2020032394.tif 000005
【図４】
2020032394.tif 000006
【図５】
2020032394.tif 000007
【図６】
2020032394.tif 000008
【図７】
2020032394.tif 000009
【図８】
2020032394.tif 000010
【図９】
2020032394.tif 000011
【図１０】
2020032394.tif 000012