(57)【要約】【課題】複雑な構成の装置を要することなく、米の厚み方向における形状の変化率を容易に推定することができる変化率推定装置を提供する。【解決手段】水に浸漬した状態の米を撮影する撮影装置２と、撮影装置２で撮影した米の、当該米を厚み方向から視た２次元画像データを取得する画像データ取得部１１と、画像データ取得部１１で取得された２次元画像データを参照して、縦割れ率を算出する割れ率算出部１６と、縦割れ率を割れ率算出部１６から取得し、縦割れ率、及び予め定められた米の縦割れ率と厚み方向における形状の変化率との相関関係を基に、米の、厚み方向における形状の変化率を推定する推定部１９とを備える。【選択図】図１
2020041841.tif 000002
【特許請求の範囲】
【請求項１】
水に浸漬した状態の対象米を撮影する撮影手段と、
前記撮影手段で撮影した前記対象米の、当該対象米を厚み方向から視た２次元画像データを取得する画像データ取得手段と、
前記画像データ取得手段で取得された２次元画像データを参照して、当該２次元画像データを解析し、複数の対象米のうち、前記対象米の長軸方向に沿う縦断面が開いた縦割れが発生している対象米の割合である縦割れ率を算出する割れ率算出手段と、
前記縦割れ率を前記割れ率算出手段から取得し、前記縦割れ率、及び予め定められた前記対象米の縦割れ率と前記厚み方向における形状の変化率との相関関係を基に、前記対象米の、前記厚み方向における形状の変化率を推定する推定手段とを備える変化率推定装置。
【請求項２】
請求項１に記載の変化率推定装置と、
前記厚み方向における形状の変化率を前記推定手段から取得し、前記取得した厚み方向における形状の変化率を基に、前記対象米の比重、密度又は吸水率を算出する状態算出手段とを備える状態推定装置。
【請求項３】
前記画像データ取得手段で取得された２次元画像データを参照して、当該２次元画像データを解析し、前記厚み方向と直交する平面に沿った方向における前記対象米の面積を取得する面積情報取得手段を備え、
前記状態算出手段において、前記面積を前記面積情報取得手段から取得し、前記取得した厚み方向における形状の変化率、前記取得した面積、及び予め記憶された水に浸漬する前の前記対象米の厚みを基に算出される前記対象米の体積を基に、前記対象米の比重又は密度を算出する請求項２に記載の状態推定装置。
【請求項４】
水に浸漬した状態の対象米を撮影する撮影手段と、
前記撮影手段で撮影した前記対象米の、当該対象米を厚み方向から視た２次元画像データを取得する画像データ取得手段と、
前記画像データ取得手段で取得された２次元画像データを参照して、当該２次元画像データを解析し、前記厚み方向と直交する平面に沿った方向における前記対象米の２次元形状の変化率を算出する２次元形状変化率算出手段と、
前記２次元形状変化率算出手段から前記２次元形状の変化率を取得し、複数の対象米のうち、前記対象米の長軸方向に沿う縦断面が開いた縦割れが発生している対象米の割合である縦割れ率と前記厚み方向における形状の変化率との相関関係、及び前記取得した２次元形状の変化率を基に、前記２次元形状の変化率を補正して３次元形状の変化率として推定する推定手段とを備える変化率推定装置。
【請求項５】
前記推定手段において、前記相関関係に基づいて定まる縦割れ影響度を、前記取得した２次元形状の変化率に乗じて、前記２次元形状の変化率を前記３次元形状の変化率に補正する請求項４に記載の変化率推定装置。
【請求項６】
請求項４又は５に記載の変化率推定装置と、
前記３次元形状の変化率を前記推定手段から取得し、前記取得した３次元形状の変化率を基に、前記対象米の比重、密度又は吸水率を算出する状態算出手段とを備える状態推定装置。
【請求項７】
前記状態算出手段において、前記取得した３次元形状の変化率、並びに予め記憶された水に浸漬する前の前記対象米の厚み及び厚み方向と直交する平面に沿った方向における面積を基に算出される前記対象米の体積を基に、前記対象米の比重又は密度を算出する請求項６に記載の状態推定装置。
【請求項８】
水に浸漬した状態の対象米を撮影する撮影工程と、
前記撮影した前記対象米の、当該対象米を厚み方向から視た２次元画像を基に、複数の対象米のうち、前記対象米の長軸方向に沿う縦断面が開いた縦割れが発生している対象米の割合である縦割れ率を算出する割れ率算出工程と、
前記算出した縦割れ率、及び予め定められた前記対象米の縦割れ率と前記厚み方向における形状の変化率との相関関係を基に、前記対象米の、前記厚み方向における形状の変化率を推定する推定工程とを実行する変化率推定方法。
【請求項９】
請求項８に記載の変化率推定方法を行った後に、前記変化率推定方法で推定した前記厚み方向における形状の変化率を基に、前記対象米の比重、密度又は吸水率を算出する状態算出工程を実行する状態推定方法。
【請求項１０】
前記撮影した前記対象米の、当該対象米を厚み方向から視た２次元画像を基に、前記厚み方向と直交する平面に沿った方向における前記対象米の面積を取得する面積情報取得工程を備え、
前記状態算出工程において、前記厚み方向における形状の変化率、前記取得した面積、及び水に浸漬する前の前記対象米の厚みを基に算出される前記対象米の体積を基に、前記対象米の比重又は密度を算出する請求項９に記載の状態推定方法。
【請求項１１】
水に浸漬した状態の対象米を撮影する撮影工程と、
前記撮影した前記対象米の、当該対象米を厚み方向から視た２次元画像を基に、前記厚み方向と直交する平面に沿った方向における前記対象米の２次元形状の変化率を算出する２次元形状変化率算出工程と、
複数の対象米のうち、前記対象米の長軸方向に沿う縦断面が開いた縦割れが発生している対象米の割合である縦割れ率と前記厚み方向における形状の変化率との相関関係、及び前記算出した２次元形状の変化率を基に、前記２次元形状の変化率を補正して３次元形状の変化率として推定する推定工程とを実行する変化率推定方法。
【請求項１２】
前記推定工程において、前記相関関係に基づいて定まる縦割れ影響度を、前記算出した２次元形状の変化率に乗じて、前記２次元形状の変化率を前記３次元形状の変化率に補正する請求項１１に記載の変化率推定方法。
【請求項１３】
請求項１１又は１２に記載の変化率推定方法を行った後に、前記変化率推定方法で推定した前記３次元形状の変化率を基に、前記対象米の比重、密度又は吸水率を算出する状態算出工程を実行する状態推定方法。
【請求項１４】
前記状態算出工程において、前記３次元形状の変化率、並びに予め記憶された水に浸漬する前の前記対象米の厚み及び厚み方向と直交する平面に沿った方向における面積を基に算出される前記対象米の体積を基に、前記対象米の比重又は密度を算出する請求項１３に記載の状態推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象米に関する情報を推定する変化率推定装置及び変化率推定方法に関し、また、推定した情報を基に、対象米の比重、密度又は吸水率を算出して対象米の状態を推定する状態推定装置及び状態推定方法に関する。
【背景技術】
【０００２】
例えば、酒造において、精米工程や吸水工程、蒸工程といった原料米に対する加工工程は、その後の醸造工程を左右する重要なプロセスである。大吟醸酒などの製造をする際の吸水工程では、原料米が吸水し過ぎないよう浸漬時間を短縮して原料米の吸水を制限する、いわゆる限定吸水という作業を行うことがあり、この限定吸水では１％単位での吸水率の調整が求められることから、製造する酒類の品質向上を図る上では、原料米の吸水状態をリアルタイムで詳細に把握することが極めて重要となる。
【０００３】
原料米の吸水変化は、原料米の状態（品種や精米歩合、含水率など）や浸漬条件（時間や温度、濃度など）により大きく変化することが知られており、従来、このような原料米の吸水変化を評価する手法としては、浸漬前後の原料米の重量を計量機で計測し、浸漬前後の重量差から吸水量を計算する手法が一般的であった。しかしながら、このような手法では、吸水量の経時変化や吸水分布などを正確に把握することができない。そのため、実際の酒造現場では、目視により原料米の色や形状の変化から吸水分布を推測し、上述した吸水量の計算結果と合わせて吸水変化を推測しており、原料米の吸水状態を客観的にリアルタイムで評価可能な手法の開発が求められていた。
【０００４】
ところで、本願出願人は、画像観察により炊飯対象米の吸水量や吸水分布などを判定する手法として、特許文献１記載の含水状態判定方法を提案している。この含水状態判定方法によれば、水に浸漬した状態に配置された炊飯対象米を光学的に監視して、炊飯対象米の含水率に関する含水率関連情報を経時的に測定することができるため、含水率関連情報を基に炊飯対象米の吸水量や吸水分布を評価することが可能となる。具体的には、炊飯対象米の吸水に伴う当該炊飯対象米の大きさの変化を経時的に測定して、吸水前の炊飯対象米の大きさに対して、吸水後の炊飯対象米の大きさが変化（膨張）した比率を膨張率とすることができるので、この膨張率を基にして炊飯対象米の吸水量や吸水分布を評価することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−１０５０７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１記載の含水状態判定方法によれば、炊飯対象米の吸水量や吸水分布（吸水状態）を評価することができる。しかしながら、米の吸水状態は米の品種によって大きく変わるものであり、炊飯対象米は、吸水によって主に鉛直方向に直交する方向に膨張するのに対し、酒造対象米は、吸水によって鉛直方向に直交する方向だけでなく、鉛直方向にも膨張する。したがって、上記特許文献１記載の含水状態判定方法を用いた場合、例えば、水に浸漬した状態に配置された炊飯対象米を鉛直方向上方から光学的に監視するだけでは、鉛直方向に直交する方向への膨張の度合いを知ることはできても、鉛直方向への膨張の度合いを知ることができない。そのため、上記特許文献１記載の含水状態判定方法を使用して、鉛直方向へ膨張する米（例えば、酒造対象米）の含水状態を評価した場合、含水率関連情報は鉛直方向への膨張が反映されないため、測定した含水率関連情報と実際の酒造対象米の含水率との間にズレが生じて、結果的に、酒造対象米の吸水状態を正確に評価することができない。
【０００７】
つまり、米の品種等を問わずに米の吸水状態を精度よく評価する上では、評価対象である米の２次元方向における形状の変化率（２次元形状の変化率）だけを基に考えたのでは不十分であり、２次元方向と直交する方向における形状の変化率や、３次元方向における形状の変化率（３次元形状の変化率）を考慮することが肝要である。
【０００８】
上記特許文献１記載の含水状態判定方法を用いて、鉛直方向と直交する方向からも米を光学的に監視するようにすれば、鉛直方向における形状の変化率や、３次元形状の変化率を得ることができると考えられるが、この場合、米を光学的に監視するための装置（対象米に光を照射する照明装置や対象米からの透過光を撮像するカメラ装置など）を各方向ごとに設ける必要があるため、装置構成が複雑となり、装置コストも嵩むという懸念がある。
【０００９】
また、上記２次元方向と直交する方向における形状の変化率や３次元形状の変化率は、米の吸水状態の評価に利用できるだけでなく、例えば、上記２次元方向と直交する方向（米の厚み方向）における形状の変化率や３次元形状の変化率を基に米の比重を算出すれば、心白の状態を評価することも可能になるなど、米の２次元方向と直交する方向における形状の変化率や米の３次元形状の変化率を求める利点は多く、これらを容易に求めることができる手法の開発が求められているという実情もある。
【００１０】
本発明は以上の実情に鑑みなされたものであり、複雑な構成の装置を要することなく、米の厚み方向における形状の変化率を容易に求める、或いは、米の２次元形状の変化率を補正することによって容易に３次元形状の変化率を求めることができる変化率推定装置及び変化率推定方法の提供、並びに、上記２次元方向と直交する方向における形状の変化率や３次元形状の変化率を基に、米の比重、密度又は吸水率を容易に推定することができる状態推定装置及び状態推定方法の提供を、その目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するための本発明に係る変化率推定装置の特徴構成は、
水に浸漬した状態の対象米を撮影する撮影手段と、
前記撮影手段で撮影した前記対象米の、当該対象米を厚み方向から視た２次元画像データを取得する画像データ取得手段と、
前記画像データ取得手段で取得された２次元画像データを参照して、当該２次元画像データを解析し、複数の対象米のうち、前記対象米の長軸方向に沿う縦断面が開いた縦割れが発生している対象米の割合である縦割れ率を算出する割れ率算出手段と、
前記縦割れ率を前記割れ率算出手段から取得し、前記縦割れ率、及び予め定められた前記対象米の縦割れ率と前記厚み方向における形状の変化率との相関関係を基に、前記対象米の、前記厚み方向における形状の変化率を推定する推定手段とを備える点にある。
また、上記目的を達成するための本発明に係る変化率推定方法の特徴構成は、
水に浸漬した状態の対象米を撮影する撮影工程と、
前記撮影した前記対象米の、当該対象米を厚み方向から視た２次元画像を基に、複数の対象米のうち、前記対象米の長軸方向に沿う縦断面が開いた縦割れが発生している対象米の割合である縦割れ率を算出する割れ率算出工程と、
前記算出した縦割れ率、及び予め定められた前記対象米の縦割れ率と前記厚み方向における形状の変化率との相関関係を基に、前記対象米の、前記厚み方向における形状の変化率を推定する推定工程とを実行する点にある。
【００１２】
ここで、本願発明者は、米の吸水率や吸水分布を画像観察により判定する手法について研究する過程で、水に浸漬した状態の米の割れ方が米によって異なり、米の割れ方によって吸水率や吸水状態、言い換えれば、米の３次元形状の変化率に違いがあることを発見した。割れ方の判断方法としては、目視で判断する方法もあるが、刻一刻と変化する米の割れ方を客観的に数値として記録することは困難である。そこで、本願発明者らは鋭意研究を重ね、その結果、２次元画像データについて人工知能を利用した自動解析を行って米の割れ方を数値化することに成功し、更に、対象米のうち縦割れが発生している対象米の割合が、対象米の厚み方向における形状の変化率と相関関係があるという新たな知見を得た。
【００１３】
本発明に係る変化率推定装置及び変化率推定方法は、かかる知見に基づいてなされたものであり、上記特徴構成においては、まず、水に浸漬した状態の対象米の、厚み方向から視た２次元画像を撮影手段によって撮影し、ついで、撮影手段が撮影した２次元画像データを画像データ取得手段が取得する。次に、割れ率算出手段は、２次元画像データを参照して当該２次元画像データを解析し、複数の対象米のうち、縦割れが発生している対象米の割合である縦割れ率を算出する。
【００１４】
しかる後、推定手段は、縦割れ率を取得し、縦割れ率、及び、予め定められた対象米の縦割れ率と厚み方向における形状の変化率との相関関係を基にして、対象米の厚み方向における形状の変化率を推定する。
【００１５】
このように、上記特徴構成によれば、対象米の厚み方向における形状の変化率と相関関係を有する縦割れ率を算出し、縦割れ率、及び上記相関関係を基に、対象米の厚み方向における形状の変化率を推定することができるため、従来のように厚み方向と直交する方向から対象米を光学的に監視することなく、当該対象米の厚み方向における形状の変化率を容易に求めることができる。よって、求めた厚み方向における形状の変化率を基にして、例えば、対象米の吸水状態や対象米の心白の状態などを評価することができるようになる。
【００１６】
上記目的を達成するための本発明に係る状態推定装置の特徴構成は、
上記変化率推定装置と、
前記厚み方向における形状の変化率を前記推定手段から取得し、前記取得した厚み方向における形状の変化率を基に、前記対象米の比重、密度又は吸水率を算出する状態算出手段とを備える点にある。
また、上記目的を達成するための本発明に係る状態推定方法の特徴構成は、
上記変化率推定方法を行った後に、前記変化率推定方法で推定した前記厚み方向における形状の変化率を基に、前記対象米の比重、密度又は吸水率を算出する状態算出工程を実行する点にある。
【００１７】
上記特徴構成によれば、光学的に監視する装置を要することなく容易に求められる厚み方向と直交する方向における形状の変化率を基に、対象米の比重、密度又は吸水率を算出することができるため、比重、密度、吸水率という対象米の状態を従来よりも容易に推定することができる。
【００１８】
更に、本発明に係る状態推定装置の更なる特徴構成は、
前記画像データ取得手段で取得された２次元画像データを参照して、当該２次元画像データを解析し、前記厚み方向と直交する平面に沿った方向における前記対象米の面積を取得する面積情報取得手段を備え、
前記状態算出手段において、前記面積を前記面積情報取得手段から取得し、前記取得した厚み方向における形状の変化率、前記取得した面積、及び予め記憶された水に浸漬する前の前記対象米の厚みを基に算出される前記対象米の体積を基に、前記対象米の比重又は密度を算出する点にある。
また、本発明に係る状態推定方法の更なる特徴構成は、
前記撮影した前記対象米の、当該対象米を厚み方向から視た２次元画像を基に、前記厚み方向と直交する平面に沿った方向における前記対象米の面積を取得する面積情報取得工程を備え、
前記状態算出工程において、前記厚み方向における形状の変化率、前記取得した面積、及び水に浸漬する前の前記対象米の厚みを基に算出される前記対象米の体積を基に、前記対象米の比重又は密度を算出する点にある。
【００１９】
上記特徴構成によれば、２次元画像データを基に厚み方向と直交する平面に沿った方向における対象米の面積を取得し、この取得した面積と、従来よりも容易に求められる厚み方向における形状の変化率とに加えて、水に浸漬する前の対象米の厚みを予め求めておき、これらを基に体積を算出して、この体積を基にして、対象米の比重又は密度を算出する。したがって、対象米の比重又は密度という状態を従来よりも容易に推定することができる。
【００２０】
上記目的を達成するための本発明に係る変化率推定装置の特徴構成は、
水に浸漬した状態の対象米を撮影する撮影手段と、
前記撮影手段で撮影した前記対象米の、当該対象米を厚み方向から視た２次元画像データを取得する画像データ取得手段と、
前記画像データ取得手段で取得された２次元画像データを参照して、当該２次元画像データを解析し、前記厚み方向と直交する平面に沿った方向における前記対象米の２次元形状の変化率を算出する２次元形状変化率算出手段と、
前記２次元形状変化率算出手段から前記２次元形状の変化率を取得し、複数の対象米のうち、前記対象米の長軸方向に沿う縦断面が開いた縦割れが発生している対象米の割合である縦割れ率と前記厚み方向における形状の変化率との相関関係、及び前記取得した２次元形状の変化率を基に、前記２次元形状の変化率を補正して３次元形状の変化率として推定する推定手段とを備える点にある。
また、上記目的を達成するための本発明に変化率推定方法の特徴構成は、
水に浸漬した状態の対象米を撮影する撮影工程と、
前記撮影した前記対象米の、当該対象米を厚み方向から視た２次元画像を基に、前記厚み方向と直交する平面に沿った方向における前記対象米の２次元形状の変化率を算出する２次元形状変化率算出工程と、
複数の対象米のうち、前記対象米の長軸方向に沿う縦断面が開いた縦割れが発生している対象米の割合である縦割れ率と前記厚み方向における形状の変化率との相関関係、及び前記算出した２次元形状の変化率を基に、前記２次元形状の変化率を補正して３次元形状の変化率として推定する推定工程とを実行する点にある。
【００２１】
上述したように、本願発明者らは、米の割れ方によって米の３次元形状の変化率に違いがあり、また、米のうち縦割れが発生している米の割合が、米の厚み方向における形状の変化率と相関関係があるという新たな知見を得た。
【００２２】
本発明に係る変化率推定装置及び変化率推定方法は、かかる知見に基づきなされたものであり、上記構成においては、まず、水に浸漬した状態の対象米の、厚み方向から視た２次元画像を撮影手段によって撮影し、ついで、撮影手段が撮影した２次元画像データを画像データ取得手段が取得する。次に、２次元形状変化率算出手段は、２次元画像データを参照して当該２次元画像データを解析し、厚み方向と直交する平面に沿った方向における対象米の２次元形状の変化率を算出する。
【００２３】
しかる後、推定手段は、２次元形状の変化率を取得し、縦割れ率と厚み方向における形状の変化率との相関関係、及び取得した２次元形状の変化率を基にして、２次元形状変化率算出手段で算出された２次元形状の変化率を３次元形状の変化率として推定する。
【００２４】
このように、上記特徴構成によれば、上記相関関係及び取得した２次元形状の変化率を基に、２次元形状の変化率を補正して３次元形状の変化率とすることができるため、対象米の品種等を問わず、当該対象米の３次元形状の変化率を容易に推定することができる。よって、推定した３次元形状の変化率を基にして、例えば、対象米の吸水状態や対象米の心白の状態などを評価することができるようになる。
【００２５】
本発明に係る変化率推定装置の更なる特徴構成は前記推定手段において、前記相関関係に基づいて定まる縦割れ影響度を、前記取得した２次元形状の変化率に乗じて、前記２次元形状の変化率を前記３次元形状の変化率に補正する点にある。
また、本発明に係る変化率推定方法の更なる特徴構成は、前記推定工程において、前記相関関係に基づいて定まる縦割れ影響度を、前記算出した２次元形状の変化率に乗じて、前記２次元形状の変化率を前記３次元形状の変化率に補正する点にある。
【００２６】
ここで、「縦割れ影響度」とは、縦割れの存在が３次元形状の変化率に与える影響を示す指標であって、具体的には、予め複数の品種に関する測定結果から得られたデータベースを基に、縦割れ率と厚み方向の変化率との相関関係を示すグラフを作成し、このグラフの傾きを縦割れ影響度として予め決定されるものである。
【００２７】
上記特徴構成によれば、対象米の２次元形状の変化率に縦割れ影響度を乗じることによって、当該２次元形状の変化率を補正して対象米の３次元形状の変化率を求めることができる。よって、上記と同様に、対象米の３次元形状の変化率を容易に求めることができ、米の吸水状態や米の心白の状態などを評価することができるようになる。
【００２８】
また、上記目的を達成するための本発明に係る状態推定装置の特徴構成は、上記いずれかの変化率推定装置と、
前記３次元形状の変化率を前記推定手段から取得し、前記取得した３次元形状の変化率を基に、前記対象米の比重、密度又は吸水率を算出する状態算出手段とを備える点にある。
また、上記目的を達成するための本発明に係る状態推定方法の特徴構成は、上記いずれかの変化率推定方法を行った後に、前記変化率推定方法で推定した前記３次元形状の変化率を基に、前記対象米の比重、密度又は吸水率を算出する状態算出工程を実行する点にある。
【００２９】
上記特徴構成によれば、２次元形状の変化率を補正して求められる３次元形状の変化率、即ち、従来よりも容易に求められる３次元形状の変化率を基に、対象米の比重、密度又は吸水率を算出することができるため、比重、密度、吸水率という対象米の状態を従来よりも容易に推定することが可能となる。
【００３０】
本発明に係る状態推定装置の更なる特徴構成は、前記状態算出手段において、前記取得した３次元形状の変化率、並びに予め記憶された水に浸漬する前の前記対象米の厚み及び厚み方向と直交する平面に沿った方向における面積を基に算出される前記対象米の体積を基に、前記対象米の比重又は密度を算出する点にある。
また、本発明に係る状態推定方法の更なる特徴構成は、前記状態算出工程において、前記３次元形状の変化率、並びに予め記憶された水に浸漬する前の前記対象米の厚み及び厚み方向と直交する平面に沿った方向における面積を基に算出される前記対象米の体積を基に、前記対象米の比重又は密度を算出する点にある。
【００３１】
上記特徴構成によれば、従来よりも容易に求められる３次元形状の変化率に加えて、水に浸漬する前の対象米の厚み及び厚み方向と直交する平面に沿った方向における面積を予め求めておき、これらを基に体積を算出して、この体積を基にして、対象米の比重又は密度を算出する。したがって、対象米の比重、密度という状態を従来よりも容易に推定することができる。
【００３２】
尚、本願において「比重」とは、密度（ｇ／ｃｍ３）の逆数としての比重（ｃｍ３／ｇ）を意味する。
【図面の簡単な説明】
【００３３】
【図１】第１実施形態に係る状態推定装置及び変化率推定装置の構成を示す図である。
【図２】状態推定方法及び変化率推定方法の過程を説明するフローチャートである。
【図３】画像処理の例を説明する図である。
【図４】酒米の形態の例を示す図である。
【図５】酒米の２次元形状の変化率及び３次元形状の変化率と、吸水率との関係を示すグラフである。
【図６】縦割れ率と厚み変化率との関係を示すグラフである。
【図７】機械学習処理を説明するフローチャートである。
【図８】学習回数と正解率との関係を示すグラフである。
【図９】学習回数と正解率との関係を示すグラフである。
【図１０】学習回数と正解率との関係を示すグラフである。
【図１１】第２実施形態に係る状態推定装置及び変化率推定装置の構成を示す図である。
【図１２】機械学習処理を説明するフローチャートである。
【図１３】妥当性判定処理を説明するフローチャートである。
【図１４】第３実施形態に係る状態推定装置及び変化率推定装置の構成を示す図である。
【図１５】状態推定方法及び変化率推定方法の過程を説明するフローチャートである。
【発明を実施するための形態】
【００３４】
［第１実施形態］
以下、図面を参照して本発明の一実施形態に係る状態推定装置１及び変化率推定装置２０Ａについて説明する。尚、本実施形態では、酒米の厚み方向における形状の変化率を推定する場合を例にとって説明する。
【００３５】
図１に示すように、本実施形態に係る状態推定装置１Ａ（１）は、撮影装置（撮影手段）２と、画像データ取得部（画像データ取得手段）１１と、画像処理部１２と、面積情報取得部（面積情報取得手段）１３と、割れ率算出部（割れ率算出手段）１６と、推定部（推定手段）１９と、状態算出部（状態算出手段）３０とを備えるとともに、取り扱う情報を記憶する記憶装置３５を備える。図１では、状態推定装置１が、撮影装置２、画像データ取得部１１、画像処理部１２、割れ率算出部１６、推定部１９及び記憶装置３５を含む変化率推定装置２０Ａ（２０）と、面積情報取得部１３と、状態算出部３０とを備えて構成され、また、画像データ取得部１１と、画像処理部１２と、面積情報取得部１３と、割れ率算出部１６と、推定部１９と、状態算出部３０と、記憶装置３５とが、米分析装置１０Ａ（１０）を構成する形態で図示している。
【００３６】
状態推定装置１の一部を構成する米分析装置１０Ａは、情報の演算処理機能や情報の入出力機能、情報の記憶機能などを備える１台又は複数台のコンピュータ装置などを用いて実現される。その場合、画像データ取得部１１の機能と、画像処理部１２の機能と、面積情報取得部１３の機能と、割れ率算出部１６（形態判定部１７の機能、形態データ解析部１８の機能）の機能と、推定部１９の機能と、状態算出部３０の機能をコンピュータ装置に実現させるプログラムを、そのコンピュータ装置にインストールしておけばよい。
【００３７】
本実施形態の記憶装置３５は、撮影装置２が撮影した画像データを記憶する画像データ記憶部３５ａと、面積情報取得部１３で取得された面積情報を記憶する面積記憶部３５ｂと、機械学習で利用する訓練データを記憶する訓練データ記憶部３５ｃと、形態判定部１７の判定結果を記憶する形態記憶部３５ｄとを備える。ここで、面積記憶部３５ｂ及び形態記憶部３５ｄは、それぞれ面積情報取得部１３で取得された面積情報及び形態判定部１７の判定結果を、水への浸漬を開始した後での一つの対象米の面積及び形態の変化履歴が分かる状態で記憶しても良い。また、本実施形態の記憶装置３５には、水に浸漬する前の酒米の厚みが予め記憶されている。
【００３８】
撮影装置２は、酒米を水に浸漬した状態に配置する米保持部の鉛直方向上方に配置されており、酒米からの透過光を撮影して当該酒米の２次元画像を撮影することができる装置である。
【００３９】
出力装置３は、画像情報や文字情報などを表示できる表示装置や、それら画像情報や文字情報などを紙などに印刷できる印刷装置などである。
【００４０】
図２は、本実施形態に係る変化率推定方法及び状態推定方法に含まれる、酒米の面積情報を取得する工程（面積情報取得工程）、酒米の割れ率を算出する工程（割れ率算出工程）、酒米の厚み方向における形状の変化を推定する工程（推定工程）、及び推定した厚み方向における形状の変化率を基に、酒米の比重を算出する工程（状態算出工程）を説明するフローチャートである。図２の工程＃１０が行われた後、即ち、水に浸漬した状態に配置された酒米を撮影装置２によって撮影する撮影工程が実行された後、工程＃１１において、画像データ取得部１１は、水に浸漬した状態に配置された酒米を当該酒米の厚み方向から撮影装置２で撮影した２次元画像データを取得する。つまり、水に浸漬した状態に配置された酒米を、当該酒米の厚み方向から視た２次元画像データを取得する画像データ取得工程が実行される。例えば、撮影装置２は、水に浸漬した状態に配置された複数の酒米を撮影して１つの２次元画像データを得る。そして、その２次元画像データは米分析装置１０Ａに伝達され、画像データ取得部１１が取得する。画像データ取得部１１が取得した２次元画像データを記憶装置３５の画像データ記憶部３５ａに記憶しておくこともできる。例えば、図３に示す画像データＡは、画像データ取得部１１が取得する２次元画像データである。
【００４１】
次に、図２の工程＃１２において、画像処理部１２は、面積情報取得部１３によって面積情報を取得する処理及び割れ率算出部１６によって縦割れ率を算出する処理に先立って、画像データ取得部１１が取得した２次元画像データにおいて、１つの酒米のみを含む領域の２次元酒米画像データを抽出する処理を含む画像処理を行って、その１つの酒米の処理済みの２次元画像データを生成する。つまり、画像データ取得工程で取得した２次元画像データにおいて、１つの酒米のみを含む領域の２次元酒米画像データを抽出する処理を含む画像処理を行って、その１つの酒米の処理済みの２次元画像データを生成する画像処理工程が実行される。図３は、画像処理の例を説明する図である。本実施形態では、画像処理部１２が行う画像処理として、画像データ取得部１１が取得した画像データにおいて、１つの酒米のみを含む領域の２次元酒米画像データを抽出する処理、その１つの酒米が所定の姿勢になるように酒米の２次元画像を回転させる処理、及び画像のコントラストを調整する処理を含む。
【００４２】
例えば、図３に示す２次元画像データＢは、画像データ取得部１１が取得した画像データＡにおいて、１つの酒米の２次元全体画像を含むデータを抽出した画像である。図３に示す２次元画像データＣは、２次元画像データＢにおいて、１つの酒米以外の他の酒米の２次元画像を除去することで、１つの酒米のみを含む領域の２次元酒米画像データを抽出する処理を行った後の画像である。図３に示す２次元画像データＤは、２次元画像データＣに対して、１つの酒米が所定の姿勢になるように酒米の２次元画像を回転させる処理を行った後の画像である。この場合、酒米の長軸が鉛直方向に沿うような姿勢に酒米画像を回転させている。図３に示す２次元画像データＥは、２次元画像データに対して、酒米の向きを調整する処理（例えば、上下反転処理や左右反転処理など）を行った後の画像である。図３に示す２次元画像データＦは、２次元画像データＥに対して、画像のコントラストを調整する処理を行った後の画像である。
【００４３】
ついで、面積情報取得部１３は、画像データ取得部１１が取得した２次元画像データを参照して、当該２次元画像データを解析し、酒米の厚み方向と直交する平面に沿った方向における酒米の面積を算出する。
【００４４】
本実施形態では、面積情報取得部１３は、画像データ取得部１１が取得し、画像処理部１２が処理した２次元画像データを参照して、酒米の厚み方向と直交する平面に沿った方向における酒米の面積を、様々な画像認識技術を用いて自動で判定することができる。
【００４５】
上記のように、面積情報取得部１３が酒米の面積を判定するために参照する入力データとしての２次元画像データは、画像処理部１２が、画像データ取得部１１が取得した画像データにおいて、１つの酒米のみを含む領域の２次元酒米画像データを抽出する処理、１つの酒米が所定の姿勢になるように酒米の２次元画像を回転させる処理、及び画像のコントラストを調整する処理を含む画像処理を行った後の処理済みの２次元画像データである。つまり、面積情報取得部１３は、酒米の面積を判定するのに適した状態にした２次元画像データ（処理済みの２次元画像データ）から酒米の面積を判定できるので、その判定結果が適切である可能性が高まる。
【００４６】
図２の工程＃１３において、面積情報取得部１３は、酒米の面積を判定する。つまり、画像処理工程で生成した処理済みの２次元画像データにおける１つの酒米の面積を判定する面積判定工程（面積情報取得工程）が実行される。本実施形態では、面積情報取得部１３が生成した処理済みの２次元画像データ（図３の２次元画像データＦ）における１つの酒米の面積を判定する。尚、水に浸漬された状態にある酒米が複数ある場合、面積情報取得部１３がそのうちのいくつの酒米の面積を判定するのかは適宜設定可能である。そして、面積情報取得部１３による判定結果は、複数の酒米のそれぞれに付与された識別子と関連付けられて酒米ごとに面積記憶部３５ｂに記憶される。面積記憶部３５ｂには、面積情報取得部１３で取得された面積情報が、水への浸漬を開始した後での１つの酒米の面積の変化履歴が分かる状態で記憶される。
【００４７】
このように、本実施形態では、面積情報取得部１３が、画像処理部１２が生成した処理済みの２次元画像データにおける１つの酒米の面積を判定する。その結果、酒米の面積に関して、短時間で判定結果を得ることができる。
【００４８】
尚、面積情報取得部１３で取得された面積情報は、出力装置３から出力することもできる。
【００４９】
次に、割れ率算出部１６は、画像データ取得部１１が取得した２次元画像データを参照して、当該２次元画像データを解析し、複数の酒米のうち、縦割れが発生している酒米の割合である縦割れ率を算出する。尚、「縦割れ」は、酒米に生じた縦方向の亀裂の隙間が大きくなった状態である。
【００５０】
本実施形態では、割れ率算出部１６は、形態判定部１７と形態データ解析部１８とを備える。例えば、形態判定部１７は、酒米に割れが発生しているか否かを、様々な画像認識技術を用いて自動で判定することができる。後述する例では、形態判定部１７は、ＣＮＮ（Convolutional Neural Network）などのアルゴリズムを用いて酒米の形態を予測判定する場合について説明する。また、形態判定部１７は、画像処理部１２が生成した処理済みの２次元画像データが入力された場合に、酒米の形態に関する情報が出力されるように機械学習を行う場合を説明する。例えば、機械学習では、形態判定部１７のアルゴリズムを構成するＣＮＮの複数の重みパラメータなどが調整される。
【００５１】
上記のように、形態判定部１７が酒米の形態を判定するために参照する入力データとしての２次元画像データは、画像処理部１２が、画像データ取得部１１が取得した画像データにおいて、１つの酒米のみを含む領域の２次元酒米画像データを抽出する処理、１つの酒米が所定の姿勢になるように酒米の２次元画像を回転させる処理、及び画像のコントラストを調整する処理を含む画像処理を行った後の処理済みの２次元画像データである。つまり、形態判定部１７は、酒米の形態を判定するのに適した状態にした２次元画像データ（処理済みの２次元画像データ）から酒米の形態を判定できるので、その判定結果が適切である可能性が高まる。
【００５２】
図２の工程＃１４において、形態判定部１７は、割れがあるか否かを判定する。つまり、画像処理工程で生成した処理済みの２次元画像データにおける１つの酒米に割れがあるか否かを判定する形態判定工程（割れ率算出工程）が実行される。本実施形態では、形態判定部１７は、蓄積された訓練データの機械学習の実行結果を用いて、画像処理部１２が生成した処理済みの２次元画像データ（図３の２次元画像データＦ）における１つの酒米に割れがあるか否かを判定する。
【００５３】
本実施形態では、形態判定部１７は、酒米が損傷していない形態か、酒米に亀裂が生じた形態であるか、酒米の長軸方向に沿う縦断面が開いた縦割れが生じた形態であるか、又は、酒米の短軸方向に沿う横断面が開いた横割れが生じた形態であるかの４種類の何れかを判定する。このうち、下記表１に示すように、酒米が損傷していない形態、及び、酒米に亀裂が生じた形態は、「割れが無い」という判定になり、酒米に縦割れがある形態、及び、酒米に横割れがある形態は、「割れが有る」という判定になる。尚、水に浸漬された状態にある酒米が複数ある場合、形態判定部１７がそのうちのいくつの酒米の形態を判定するのかは適宜設定可能である。
【００５４】
【表１】
2020041841.tif 000003
【００５５】
形態判定部１７は、画像処理部１２が生成した処理済みの２次元画像データが入力されると、酒米の形態に関する情報が出力されるようにアルゴリズムが構築されている。例えば、形態判定部１７で実行されるＣＮＮは、画像処理部１２が生成した処理済みの２次元画像データが入力される入力層と、入力層に入力された処理済みの２次元画像データに対して畳み込み処理を行って特徴マップを得る畳み込み層と、畳み込み層から出力された特徴マップを縮小するプール層と、全ユニットを結合する全結合層と、出力層とを備えて階層型のネットワークを構成している。畳み込み層及びプール層の組み合わせは複数回繰り返し設けられ、全結合層も複数層設けられる。
【００５６】
本実施形態では、形態判定部１７の判定結果となる酒米の形態に関する情報として４種類の情報（損傷無し、亀裂、縦割れ、横割れ）を想定しているため、ＣＮＮの出力層のユニット数は４になる。出力層ではソフトマックス関数を尤度関数として用いることができる。ソフトマックス関数は、出力層の全ユニットの値を累積した値で各ユニットの値を除算して正規化するので、出力層の各ユニットの尤度は０から１の間の値をとる。そして、形態判定部１７は、尤度が最大となるクラスを分類クラス、即ち、酒米の形態（判定結果）として決定する。そして、形態判定部１７による判定結果は、複数の酒米のそれぞれに付与された識別子と関連付けられて酒米ごとに形態記憶部３５ｄに記憶される。形態記憶部３５ｄには、形態判定部１７の判定結果が、水への浸漬を開始した後での１つの酒米の形態の変化履歴が分かる状態で記憶される。
【００５７】
図４は、酒米の状態の例を示す図である。具体的には、図４（ａ）は酒米が損傷していない形態を示す図であり、図４（ｂ）は酒米において短軸方向に沿う亀裂が生じた形態である。また、図４（ｃ）及び図４（ｄ）は酒米に生じた亀裂の隙間が大きくなった状態である割れが生じた形態であり、割れの形態として、酒米の短軸方向に沿う横断面が開いた横割れが生じた形態（図４（ｃ））と、酒米の長軸方向に沿う縦断面が開いた縦割れが生じた形態（図４（ｄ））とがある。このように、形態判定部１７は、割れの形態として、酒米の短軸方向に沿う横断面が開いた横割れが生じた形態であるか、又は、酒米の長軸方向に沿う縦断面が開いた縦割れが生じた形態であるかも判定する。
【００５８】
以上のように、本実施形態では、人間が酒米の形態を判定するのではなく、形態判定部１７が、蓄積された訓練データの機械学習の実行結果を用いて、画像処理部１２が生成した処理済みの２次元画像データにおける１つの酒米の形態を判定する。その結果、酒米の形態に関して、短時間で、且つ、一貫性のある判定結果を得ることができる。
【００５９】
図２の工程＃１５において、形態データ解析部１８は、画像データ取得部１１が取得した２次元画像データに含まれる複数の酒米のそれぞれについての形態判定部１７の判定結果に基づいて縦割れ率を算出する。つまり、形態判定工程の判定結果に基づいて縦割れ率を算出する形態データ解析工程（割れ率算出工程）が実行される。形態記憶部３５ｄには、複数の酒米のそれぞれについての形態判定部１７の判定結果が、水への浸漬を開始した後での１つの酒米の形態の変化履歴が分かる状態で記憶されている。また、形態記憶部３５ｄには、各酒米について、水への浸漬を開始した時点から現在（最新）までの少なくとも２以上の形態が変化履歴として記憶されている。そして、形態データ解析部１８は、形態記憶部３５ｄに記憶されている複数の酒米の現在（最新）の形態を読み出して、複数の酒米のうち、縦割れが発生している酒米の割合である縦割れ率を算出する。
【００６０】
尚、形態判定部１７の判定結果を、出力装置３から出力することもできる。例えば、複数の酒米のうち、割れが発生している酒米の割合（割れ率）などを随時算出して出力装置３からリアルタイムで出力することもできる。また、形態記憶部３５ｄに、形態判定部１７の判定結果が、水への浸漬を開始した後での１つの酒米の形態の変化履歴が分かる状態で記憶されている場合には、割れ率の時間的な変化などを算出して出力装置３から出力することもできる。
【００６１】
推定部１９は、割れ率算出部１６が算出した酒米の縦割れ率を取得し、この取得した縦割れ率、及び予め定められた酒米の縦割れ率と厚み方向における形状の変化率との相関関係を基に、酒米の厚み方向における形状の変化率を推定する。
【００６２】
本願発明者は、酒米の吸水率や吸水分布といった吸水状態を画像観察により判定する手法について研究する過程で、酒米のうち縦割れが発生している酒米の割合である縦割れ率が、酒米の厚み方向における形状の変化率と相関関係があるという新たな知見を得た。具体的に、本願発明者は、水に浸漬した状態に配置された複数の酒米について、２次元画像データを基に測定した酒米の厚み方向と直交する平面における２次元形状の変化率の平均値を算出するとともに、２次元形状の変化率を測定した時点で水分率計を用いて測定した複数の酒米の吸水率の平均値を算出することで、酒米の２次元形状の変化率と吸水率との関係をプロットした。また、水に浸漬した状態に配置された複数の酒米について、既知の手法を用いて測定した３次元形状の変化率の平均値を算出するとともに、３次元形状の変化率を測定した時点で水分率計を用いて測定した複数の酒米の吸水率の平均値を算出することで、酒米の３次元形状の変化率と吸水率との関係をプロットした（図５参照）。図５に示すように、２次元形状の変化率と吸水率とに関する近似線の決定係数が０．３０であるのに対し、３次元形状の変化率と吸水率とに関する近似線の決定係数が０．９１であり、このことから、２次元形状の変化率は３次元形状の変化率と比較して吸水率との相関が低いことが分かった。
【００６３】
そして、本願発明者は、２次元形状の変化率及び３次元形状の変化率を基に、厚み方向における形状の変化率（厚み変化率）を算出し、この厚み方向における形状の変化率に対して、横割れ率及び縦割れ率をそれぞれプロットし（図６参照）、厚み方向における形状の変化率に対する横割れ率及び縦割れ率の相関を調べた。その結果、図６に示すように、縦割れ率と厚み方向における形状の変化率との間に高い相関関係があることが分かった。したがって、複数の品種について、上記と同様の手法により、縦割れ率と厚み方向における形状の変化率との相関関係に関するデータベースを予め作成して、適宜記憶装置３５に記憶させておくことで、この相関関係を基に、縦割れ率から厚み方向における形状の変化率を推定することができる。
【００６４】
そこで、図２の工程＃１６において、推定部１９は、割れ率算出部１６によって算出された縦割れ率、及び上述した縦割れ率と厚み方向における形状の変化率との相関関係とを基に、酒米の厚み方向における形状の変化率を推定する。このようにして、推定部１９によって推定された厚み方向における形状の変化率が変化率推定装置２０Ａにより推定された厚み方向における形状の変化率に相当する。このようにして推定された厚み方向における形状の変化率を、記憶装置３５に記憶すること、及び、出力装置３から出力することができる。また、厚み方向における形状の変化率の時間的な変動を監視して、厚み方向における形状の変化率が所定の値になった時点で出力装置３から出力することもできる。
【００６５】
状態算出部３０は、推定部１９で推定された厚み方向における形状の変化率（変化率推定装置２０Ａで推定された厚み方向における形状の変化率）を基に、酒米の比重、密度又は吸水率を算出する。尚、本実施形態では、酒米の比重を算出するものとする。
【００６６】
具体的に、図２の工程＃１７において、状態算出部３０は、面積情報取得部１３から酒米の面積を取得するとともに、推定部１９から酒米の厚み方向における形状の変化率を取得し、更に、記憶装置３５に記憶されている、水に浸漬する前の酒米の厚みを取得して、これら取得した厚み方向における形状の変化率、面積、厚みを掛け合わせて酒米の体積を算出して、算出した体積を、別途計測して適宜入力される酒米の重量で割ることによって、酒米の比重を算出できる。算出された酒米の比重を、記憶装置３５に記憶すること、及び出力装置３から出力することができる。
【００６７】
図７は、変化率推定方法及び状態推定方法の一部である機械学習処理を説明するフローチャートである。工程＃２０において画像データ取得部１１は、酒米の２次元画像データを取得する。つまり、水に浸漬した状態に配置された酒米を撮影した２次元画像データを取得する画像データ取得工程が実行される。そして、工程＃２１において画像処理部１２は、画像処理を施して、処理済みの２次元画像データを生成する。その後、工程＃２２において形態判定部１７は、画像処理部１２が生成した処理済みの２次元画像データとその処理済みの２次元画像データに含まれる酒米の形態に関する情報との組み合わせで構成される訓練データを訓練データ記憶部３５ｃに記憶し、工程＃２３においてその訓練データの機械学習を実行する。例えば、一つの処理済みの２次元画像データに対して、その処理済みの２次元画像データに含まれている一つの酒米の形態について、人間が判定した正解データがラベル付けされることで、一つの訓練データが作成される。訓練データ記憶部３５ｃには、このようにして作成した複数の訓練データが記憶されている。
【００６８】
本実施形態では、形態判定部１７で実行されるＣＮＮの出力層ではソフトマックス関数が尤度関数として用いられる。ソフトマックス関数は、出力層の全ユニットの値を累積した値で各ユニットの値を除算して正規化するので、出力層の各ユニットの尤度は０〜１の間の値をとる。そして、形態判定部１７は、出力層で生成される推定データ（「尤度」）と正解データ（「１」）との誤差に対して誤差逆伝播法を用いてその誤差を小さくするように、実行するＣＮＮの複数の重みパラメータを修正して、画像処理部１２が生成した処理済みの２次元画像データが入力されると酒米の形態に関する情報が出力されるアルゴリズムを機械学習の実行結果として得る。
【００６９】
このように、機械学習は、酒米の形態を判定するのに適した状態にした２次元画像データ（処理済みの２次元画像データ）を訓練データとして行われ、上述した酒米の形態の判定も、酒米の形態を判定するのに適した状態にした２次元画像データ（処理済みの２次元画像データ）に対して行われる。その結果、形態判定部１７の判定結果が適切である可能性が高まる。
【００７０】
次に、本実施形態のような処理済みの２次元画像データを訓練データとして機械学習を行うことにより得られる効果を説明する。図８〜図１０は、学習回数と正解率との関係を示すグラフである。具体的には、図８は、図３の２次元画像データＢに正解データがラベル付けされた訓練データを用いて機械学習を行った場合の学習回数と正解率の関係を示すグラフである。図９は、図３の２次元画像データＤを訓練データとして機械学習を行った場合の学習回数と正解率の関係を示すグラフである。図１０は、図３の２次元画像データＦを訓練データとして機械学習を行った場合の学習回数と正解率の関係を示すグラフである。
【００７１】
図８に示すように、２次元画像データＢを訓練データとした場合、学習回数が２万回に達しても、正解率は８０％未満である。この８０％という正解率は、例えば、ある程度熟練した人間が２次元画像データから酒米の形態を判定する場合の正解率に対応する。それに対して、２次元画像データＤに正解データがラベル付けされた訓練データを用いて機械学習を行った場合、学習回数が約１２０００回程度で正解率が８０％を上回る。また、２次元画像データＦに正解データがラベル付けされた訓練データを用いて機械学習を行った場合、学習回数が約５０００回程度で正解率が８０％を上回る。このように、画像処理を行った後の処理済みの２次元画像データ、即ち、酒米の形態を判定するのに適した状態にした２次元画像データを訓練データとすることで、学習回数が少なくても正解率が上昇するという効果を得ることができた。
【００７２】
以上のように、変化率推定装置２０Ａ及び変化率推定方法によれば、水に浸漬した状態に配置された複数の酒米の２次元画像データを参照して、複数の酒米のうち、縦割れが発生している酒米の割合である縦割れ率を算出した上で、この算出した縦割れ率、及び予め定められた酒米の縦割れ率と厚み方向における形状の変化率との相関関係を基にして、酒米の厚み方向における形状の変化率を推定することができる。したがって、複数の撮影装置２などを備えるような複雑な構成の装置を要することなく、容易に、酒米の厚み方向における形状の変化率を推定することができる。尚、変化率推定装置２０Ａ及び変化率推定方法を使用して、吸水によって主に鉛直方向に直交する方向に膨張する炊飯対象米について、厚み方向における形状の変化率を推定することも当然に可能である。
【００７３】
また、状態推定装置１Ａ及び状態推定方法によれば、上記推定された厚み方向における形状の変化率を基にして酒米の比重を算出することができ、酒米の比重を容易に推定することができる。酒米などを含む一般的な米の比重は、米中のデンプンの粗密に大きく関わっており、心白のようなデンプンが疎な部分が多いほど、比重は大きくなる。したがって、比重を推定することで、心白の状態（例えば、大きさ）を評価することが可能となる。そして、例えば、酒造に好適な酒米は、粒が大きく、心白も大きいこととされているが、心白が大きすぎると精米時の割れが増えるため、心白の大きさは一定の範囲内であることが好ましいと考えられるため、推定した比重を基に心白の状態を評価して、この評価結果を利用して酒造に好適な米の選別を行うこともできる。
【００７４】
［第２実施形態］
第２実施形態の状態推定装置１Ｂ（１）は機械学習処理の内容が上記実施形態と異なっている。以下に第２実施形態の状態推定装置１Ｂについて説明するが、上記実施形態と同様の構成については説明を省略する。
【００７５】
図１１は第２実施形態の状態推定装置１Ｂの構成を示す図である。図示するように、第２実施形態の状態推定装置１Ｂは、形態判定部１７が判定した酒米の形態の妥当性の高低を判定する妥当性判定部３６を更に備える。この妥当性判定部３６は米分析装置１０Ｂ（１０）の割れ率算出部１６に設けられている。そして、形態判定部１７は、妥当性判定部３６によって妥当性が高いと判定された酒米の形態に関する情報とその形態が判定された処理済みの２次元画像データとの組み合わせを既存の訓練データに追加して機械学習を実行する。
【００７６】
本実施形態でも、米分析装置１０Ｂは、情報の演算処理機能及び情報の入出力機能及び情報の記憶機能などを備える１台又は複数台のコンピュータ装置などを用いて実現される。その場合、画像データ取得部１１の機能と、画像処理部１２の機能と、面積情報取得部１３の機能と、割れ率算出部１６（形態判定部１７の機能、形態データ解析部１８の機能）の機能と、推定部１９の機能と、状態算出部３０の機能をコンピュータ装置に実現させるプログラムを、そのコンピュータ装置にインストールしておけばよい。
【００７７】
形態記憶部３５ｄは、形態判定部１７の判定結果を、水への浸漬を開始した後での一つの酒米の形態の変化履歴が分かる状態で記憶する。例えば、形態記憶部３５ｄには、形態の判定対象とする複数の酒米のそれぞれについて、水への浸漬を開始した時点から現在（最新）に至るまでの、形態判定部１７の判定結果を、その形態の変化履歴が分かる状態で記憶している。その結果、一つの酒米の形態がどのような変化履歴を示したのかを知ることができる。
【００７８】
図１２は、第２実施形態の機械学習処理を説明するフローチャートである。この機械学習処理は、第１実施形態で説明した機械学習処理（図７）に加えて行われる。具体的に説明すると、工程＃３０において妥当性判定部３６は、形態判定部１７が判定した酒米の現在の形態の妥当性を判定する。つまり、形態判定部１７が実行する形態判定工程で判定した酒米の形態の妥当性の高低を判定する妥当性判定工程（割れ率算出工程）が実行される。図１３は、妥当性判定部３６が行う妥当性判定処理を説明するフローチャートである。工程＃４０において妥当性判定部３６は、形態判定部１７が判定した酒米の現在の形態の確信度が所定値以上であるか否かを判定する。例えば、形態判定部１７の出力層で用いられるソフトマックス関数により算出される最大の尤度を上記確信度とした場合、そのソフトマックス関数により算出される最大の尤度が所定値以上（例えば０．８以上など）であれば、妥当性判定部３６は、酒米の現在の形態の確信度が所定値以上であると判定し、工程＃４１に移行する。
【００７９】
次に工程＃４１において妥当性判定部３６は、酒米の形態の変化履歴は所定の基準に適合したものであるか否かを判定する。この所定の基準は以下の６パターンである。そして、妥当性判定部３６は、酒米の形態の変化履歴が６パターンの何れかの基準に適合していれば、工程＃４２に移行して「妥当性は高い」と判定する。
【００８０】
【表２】
2020041841.tif 000004
【００８１】
具体的に説明すると、例えば一つの酒米の形態を継続的に見た場合、酒米に割れが生じた形態から、酒米が損傷していない形態に戻ることはないし、酒米に亀裂が生じた形態に戻ることもない。つまり、水への浸漬を開始した後での酒米の形態が形態判定部１７によって適切に判定されていれば、その変化履歴は所定の変化基準に適合しているはずである。そこで本特徴構成では、妥当性判定部３６は、形態判定部１７が判定した酒米の形態の確信度が所定値以上であり、且つ、水への浸漬を開始した後での酒米の形態の変化履歴が所定の変化基準に適合している場合には、形態判定部１７が判定した酒米の形態の妥当性が高いと判定する。その結果、適切な訓練データの蓄積と機械学習とを自動で行うことができる。
【００８２】
それに対して、妥当性判定部３６は、工程＃４０において確信度が所定値以上ではないと判定した場合、及び、工程＃４１において酒米の形態の変化履歴が所定の基準に適合したものでないと判定した場合には、工程＃４３に移行して「妥当性は低い」と判定する。
【００８３】
以上のように、妥当性判定部３６は、形態判定部１７が判定した酒米の形態の確信度が所定値以上であり、且つ、水への浸漬を開始した後での酒米の形態の変化履歴が所定の変化基準に適合している場合には、形態判定部１７が判定した酒米の形態の妥当性が高いと判定し、形態判定部１７が判定した酒米の形態の確信度が所定値未満である場合、又は、水への浸漬を開始した後での酒米の形態の変化履歴が所定の変化基準に適合していない場合には、形態判定部１７が判定した酒米の形態の妥当性が低いと判定する。
【００８４】
次に、工程＃３１において、妥当性が高いと判定された酒米の形態に関する情報と、処理済みの２次元画像データとの組み合わせを訓練データとする。そして、工程＃３２において、その訓練データを既存の訓練データに追加して機械学習を実行する。
【００８５】
このように、妥当性判定部３６は、形態判定部１７が判定した酒米の形態の妥当性の高低を判定し、形態判定部１７は、妥当性判定部３６によって妥当性が高いと判定された酒米の形態に関する情報とその形態が判定された処理済みの２次元画像データとの組み合わせを既存の訓練データに追加して機械学習を実行する。つまり、適切な訓練データの蓄積と機械学習とを自動で行うことができる。
【００８６】
［第３実施形態］
第３実施形態の状態推定装置１Ｃ（１）は、推定部１９において３次元形状の変化率を推定する点が上記実施形態と異なっている。以下に第３実施形態の状態推定装置１Ｃについて説明するが、上記実施形態と同様の構成については説明を省略する。
【００８７】
図１４は第３実施形態の状態推定装置１Ｃの構成を示す図である。図示するように、第３実施形態の状態推定装置１Ｃは、米分析装置１０Ｃに設けられた２次元形状変化率算出部（２次元形状変化率算出手段）４０を備える。この２次元形状変化率算出部４０は、画像データ取得部１１が取得した２次元画像データを参照して、当該２次元画像データを解析し、酒米の厚み方向と直交する平面に沿った方向における酒米の２次元形状の変化率を算出する。
【００８８】
したがって、本実施形態において、米分析装置１０Ｃは、情報の演算処理機能及び情報の入出力機能及び情報の記憶機能などを備える１台又は複数台のコンピュータ装置などを用いて実現され、その場合、画像データ取得部１１の機能と、画像処理部１２の機能と、２次元形状変化率算出部４０（面積判定部４１の機能、面積データ解析部４２の機能）の機能と、推定部１９の機能と、状態算出部３０の機能をコンピュータ装置に実現させるプログラムを、そのコンピュータ装置にインストールしておけばよい。
【００８９】
本実施形態において、２次元形状変化率算出部４０は、面積判定部４１と面積データ解析部４２とを備えており、面積判定部４１は、画像データ取得部１１が取得し、画像処理部１２が処理した２次元画像データを参照して、酒米の厚み方向と直交する平面に沿った方向における酒米の面積を、様々な画像認識技術を用いて自動で判定することができる。
【００９０】
上記のように、面積判定部４１が酒米の面積を判定するために参照する入力データとしての２次元画像データは、画像処理部１２が、画像データ取得部１１が取得した画像データにおいて、１つの酒米のみを含む領域の２次元酒米画像データを抽出する処理、１つの酒米が所定の姿勢になるように酒米の２次元画像を回転させる処理、及び画像のコントラストを調整する処理を含む画像処理を行った後の処理済みの２次元画像データである。つまり、面積判定部４１は、酒米の面積を判定するのに適した状態にした２次元画像データ（処理済みの２次元画像データ）から酒米の面積を判定できるので、その判定結果が適切である可能性が高まる。
【００９１】
また、本実施形態において、記憶装置３５には、水に浸漬する前の酒米の厚み及び厚み方向と直交する平面に沿った面積が予め記憶されている。
【００９２】
図１５は、本実施形態に係る変化率推定方法及び状態推定方法に含まれる、酒米の２次元形状の変化率を算出する工程（２次元形状変化率算出工程）、２次元形状の変化率を３次元形状の変化率に補正して３次元形状の変化率を推定する工程（推定工程）、及び推定した３次元形状の変化率を基に、酒米の比重を算出する工程（状態算出工程）を説明するフローチャートである。図１５の工程＃５０から工程＃５２は、図２の工程＃１０から工程＃１２と同様であるため、詳細については説明を省略する。
【００９３】
図１５の工程＃５３において、面積判定部４１は、酒米の面積を判定する。つまり、画像処理工程で生成した処理済みの２次元画像データにおける１つの酒米の面積を判定する面積判定工程（２次元形状変化率算出工程）が実行される。本実施形態では、面積判定部４１が生成した処理済みの２次元画像データ（図３の２次元画像データＦ）における１つの酒米の面積を判定する。尚、水に浸漬された状態にある酒米が複数ある場合、面積判定部４１がそのうちのいくつの酒米の面積を判定するのかは適宜設定可能である。そして、面積判定部４１による判定結果は、複数の酒米のそれぞれに付与された識別子と関連付けられて酒米ごとに面積記憶部３５ｂに記憶される。面積記憶部３５ｂには、面積判定部４１の判定結果が、水への浸漬を開始した後での１つの酒米の面積の変化履歴が分かる状態で記憶される。
【００９４】
このように、本実施形態では、面積判定部４１が、画像処理部１２が生成した処理済みの２次元画像データにおける１つの酒米の面積を判定する。その結果、酒米の面積に関して、短時間で判定結果を得ることができる。
【００９５】
図１５の工程＃５４において、面積データ解析部４２は、画像データ取得部１１が取得した２次元画像データに含まれる複数の酒米のそれぞれについての面積判定部４１の判定結果に基づいて酒米の２次元形状の変化率を算出する。つまり、面積判定工程の判定結果に基づいて２次元形状の変化率を算出する面積データ解析工程（２次元形状変化率算出工程）が実行される。面積記憶部３５ｂには、複数の酒米のそれぞれについての面積判定部４１の判定結果（即ち、酒米ごとの面積）が、水への浸漬を開始した後での１つの酒米の面積の変化履歴が分かる状態で記憶されている。また、面積記憶部３５ｂには、各酒米について、水への浸漬を開始した時点から現在（最新）までの少なくとも２以上の面積が変化履歴として記憶されている。そして、面積データ解析部４２は、面積記憶部３５ｂに記憶されている、水への浸漬を開始した時点の複数の酒米の面積及び現在（最新）の複数の酒米の面積を読み出して、各酒米に関するこれら２つの面積を基に、各酒米ごとの２次元形状の変化率を算出する。
【００９６】
尚、面積判定部４１の判定結果は、出力装置３から出力することもでき、また、酒米の２次元形状の変化率を随時算出して出力装置３からリアルタイムで出力することもできる。更に、面積記憶部３５ｂに、面積判定部４１の判定結果が、水への浸漬を開始した後での１つの酒米の面積の変化履歴が分かる状態で記憶されている場合には、面積や２次元形状の変化率の時間的な変化など算出して出力装置３から出力することもできる。
【００９７】
本実施形態に係る推定部１９は、２次元形状変化率算出部４０が算出した酒米の２次元形状の変化率を取得し、２次元形状の変化率、及び予め定められた縦割れ率と厚み方向における形状の変化率との相関関係を基に、２次元形状の変化率を補正して３次元形状の変化率とする点が上記各実施形態とは異なっている。
【００９８】
上述したように、本願発明者は、２次元形状の変化率が３次元形状の変化率と比較して吸水率との相関が低いことを確認し、厚み方向における形状の変化率に対する横割れ率及び縦割れ率の相関を調べ、縦割れ率と厚み方向における形状の変化率との間に高い相関関係があることを確認した。そして、本願発明者は、縦割れ率が酒米の３次元形状の変化率に与える影響を示す指標たる縦割れ影響度を、上記相関関係に基づいて決定できることを見出した。本実施形態において、縦割れ影響度は、予め複数の品種に関する測定結果から得られたデータベースを基に、縦割れ率と厚み方向の形状の変化率との相関関係を示すグラフ（図６参照）を作成し、このグラフの傾きを縦割れ影響度として予め決定されるものである。
【００９９】
そこで、図１５の＃５５において、推定部１９は、２次元形状変化率算出部４０によって算出された２次元形状の変化率に縦割れ影響度を乗じることで、２次元形状の変化率を補正して、３次元形状の変化率として推定する。このようにして、推定部１９によって推定された３次元形状の変化率が変化率推定装置２０Ｃにより推定された３次元形状の変化率に相当する。このようにして推定された３次元形状の変化率を、記憶装置３５に記憶すること、及び、出力装置３から出力することができる。また、３次元形状の変化率の時間的な変動を監視して、３次元形状の変化率が所定の値になった時点で出力装置３から出力することもできる。
【０１００】
本実施形態の状態算出部３０は、推定部１９で求められた３次元形状の変化率（変化率推定装置２０Ｃで推定された３次元形状の変化率）を基に、酒米の比重、密度又は吸水率を算出する。尚、本実施形態では、酒米の比重を算出するものとする。
【０１０１】
具体的に、図１５の工程＃５６において、状態算出部３０は、推定部１９から酒米の３次元形状の変化率を取得し、更に、記憶装置３５に予め記憶されている、水に浸漬する前の酒米の厚み及び厚み方向と直交する平面に沿った方向における面積を取得して、これら取得した３次元形状の変化率、並びに水に浸漬する前の厚み及び面積を掛け合わせて酒米の体積を算出して、算出した体積を、別途計測して適宜入力される酒米の重量で割ることによって、酒米の比重を算出できる。尚、算出された酒米の比重を、記憶装置３５に記憶すること、及び出力装置３から出力することもできる。
【０１０２】
以上のように、変化率推定装置２０Ｃ及び変化率推定方法によれば、水に浸漬した状態に配置された複数の酒米の２次元画像データを参照して、酒米の２次元形状の変化率を算出した上で、予め定められた酒米の縦割れ率と厚み方向における形状の変化率との相関関係により決定される縦割れ影響度を、２次元形状の変化率に乗じることにより、２次元形状の変化率を補正して３次元形状の変化率として推定することができる。したがって、吸水によって鉛直方向に直交する方向だけでなく、鉛直方向にも膨張する酒米について、複数の撮影装置２などを備えるような複雑な構成の装置を要することなく、容易に、２次元形状の変化率を補正して酒米の３次元形状の変化率を容易に推定することができる。尚、変化率推定装置２０Ａ及び変化率推定方法を使用して、吸水によって主に鉛直方向に直交する方向に膨張する炊飯対象米について、２次元形状の変化率を補正して３次元形状の変化率を求めることも当然に可能である。
【０１０３】
また、状態推定装置１Ｃ及び状態推定方法によれば、上記推定された３次元形状の変化率を基にして酒米の比重を算出することができ、酒米の比重を容易に推定することができる。したがって、上述したように、比重を推定することで、心白の状態（例えば、大きさ）を評価することが可能となり、例えば、推定した比重を基に心白の状態を評価して、この評価結果を利用して酒造に好適な米の選別を行うこともできる。
【０１０４】
［別実施形態］
［１］上記第１及び第２実施形態では、酒米について厚み方向における形状の変化率を推定し、上記第３実施形態では、酒米について３次元形状の変化率を推定するようにしているが、これに限られるものではなく、酒米以外の米、例えば、炊飯対象米などについて、厚み方向における形状の変化率や、３次元形状の変化率を推定することもできる。
【０１０５】
［２］上記各実施形態では、状態算出部３０において、酒米の体積を算出して、算出した体積を別途計測して適宜入力される酒米の重量で割ることによって、酒米の比重を算出するようにしているが、酒米の重量を体積で割ることによって、酒米の密度を算出するようにしても良い。
【０１０６】
［３］上記第３実施形態において、状態算出部３０は、推定した３次元形状の変化率と、予め記憶している酒米の３次元形状と酒米の吸水率との間の相関関係とに基づいて、酒米の含水率を算出することもできる。即ち、水に浸漬した状態に配置された複数の酒米について、予め既知の手法によって求めた３次元形状の変化率の平均値を算出し、３次元形状の変化率を求めるのに用いた２次元形状の変化率を測定した時点で水分率計を用いて測定した複数の酒米の吸水率の平均値を算出し、酒米の３次元形状の変化率と吸水率との関係をプロットしておく。そして、プロットした複数の点にとっての近似線が、状態算出部３０が参照する、酒米の３次元形状の変化率と吸水率との間の相関関係として、記憶装置３５に記憶しておくことで、推定した３次元形状の変化率と、上記相関関係とに基づいて、酒米の吸水率を算出することもできる。
尚、上記第１及び第２実施形態において、水に浸漬する前の酒米の厚み方向と直交する平面に沿った面積を予め記憶しておけば、状態算出部３０が、予め記憶された面積と面積情報取得部１３で取得した面積とを基に算出される２次元形状の変化率に、推定部１９で推定された厚み方向における形状の変化率を乗じて３次元形状の変化率を算出するように構成することで、上記と同様に、酒米の吸水率を算出することもできる。
【０１０７】
［４］上記実施形態では、状態推定装置１Ａ，１Ｂ，１Ｃ及び変化率推定装置２０Ａ，２０Ｂ，２０Ｃの構成について具体例を挙げて説明したが、その構成は適宜変更可能である。
【０１０８】
［５］上記第１及び第２実施形態では、形態判定部１７が、ＣＮＮ（Convolutional Neural Network）を用いて酒米の形態を予測判定する例を説明したが、形態判定部１７を構成するアルゴリズムは上述したＣＮＮに限定されず、サポートベクトルマシン(SVM)、ｋ近傍法（k-nearest neighbor algorithm）、判別関数などの他の様々なアルゴリズムを用いて構成することができる。
また、形態判定部１７は、酒米に割れが発生しているか否かを、上記実施形態とは異なる様々な画像認識技術を用いて判定するように構成してもよい。或いは、形態判定部１７は、人間により行われた、酒米に割れが発生しているか否かの判定結果を受け付けて、その結果を自身の判定結果とするように構成してもよい。
【０１０９】
［６］上記実施形態（別実施形態を含む）で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能であり、また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。
【産業上の利用可能性】
【０１１０】
本発明は、米の厚み方向における形状の変化率、又は、米の３次元形状の変化率を推定できる変化率推定装置に利用でき、また、推定した厚み方向における形状の変化率や３次元形状の変化率を基にして米の比重、密度及び吸水率を推定できる状態推定装置に利用できる。
【符号の説明】
【０１１１】
１（１Ａ，１Ｂ，１Ｃ）  状態推定装置
２  撮影装置
３  出力装置
１０（１０Ａ，１０Ｂ，１０Ｃ）  米分析装置
１１  画像データ取得部
１３  面積情報取得部
１６  割れ率算出部
１９  推定部
２０（２０Ａ，２０Ｂ，２０Ｃ）  変化率推定装置
３０  状態算出部
４０  ２次元形状変化率算出部
【図１】
2020041841.tif 000005
【図２】
2020041841.tif 000006
【図３】
2020041841.tif 000007
【図４】
2020041841.tif 000008
【図５】
2020041841.tif 000009
【図６】
2020041841.tif 000010
【図７】
2020041841.tif 000011
【図８】
2020041841.tif 000012
【図９】
2020041841.tif 000013
【図１０】
2020041841.tif 000014
【図１１】
2020041841.tif 000015
【図１２】
2020041841.tif 000016
【図１３】
2020041841.tif 000017
【図１４】
2020041841.tif 000018
【図１５】
2020041841.tif 000019