(57)【特許請求の範囲】
【請求項１】
庫内に収容される生鮮品の鮮度の情報を取得する鮮度情報取得手段と、
前記鮮度情報取得手段によって取得された生鮮品の鮮度に対する前記庫内の庫内環境を学習する学習手段と、
前記学習手段が用いる報酬を決定する報酬決定手段と、
を備え、
前記報酬決定手段は、前記鮮度情報取得手段により取得された鮮度に基づいて決定された当該鮮度に対する庫内環境下における一定期間の鮮度低下に基づいて報酬を決定し、
前記学習手段は、前記報酬決定手段が決定した報酬に基づいて前記鮮度に対する庫内環境を学習する、生鮮品の庫内環境の学習装置。
【請求項２】
前記報酬決定手段は、前記一定期間の前後における庫内環境が一定である場合、当該一定期間の開始時点の庫内環境に基づいて前記報酬を決定することを特徴とする、請求項１に記載の生鮮品の庫内環境の学習装置。
【請求項３】
前記報酬決定手段は、前記一定期間の前後における庫内環境が異なる場合、当該一定期間内の特定の時点の庫内環境に基づいて前記報酬を決定することを特徴とする、請求項１に記載の生鮮品の庫内環境の学習装置。
【請求項４】
前記報酬決定手段は、前記一定期間の前後における庫内環境が異なる場合、当該一定期間の開始時点の庫内環境および終了時点の庫内環境に基づいて前記報酬を決定することを特徴とする、請求項１に記載の生鮮品の庫内環境の学習装置。
【請求項５】
前記報酬決定手段は、前記一定期間の前後における庫内環境が異なる場合、当該一定期間内の複数の時点における庫内環境を表す環境情報の値の代表値を求め、当該代表値に基づいて前記報酬を決定することを特徴とする、請求項１に記載の生鮮品の庫内環境の学習装置。
【請求項６】
生鮮品を収容する収容庫と、
前記収容庫の庫内の少なくとも温度を含む庫内環境を調整する調整手段と、
前記庫内の少なくとも温度を含む環境情報を取得する環境情報取得手段と、
前記庫内に収容される生鮮品の鮮度を測定する鮮度測定手段と、
前記鮮度測定手段によって測定された生鮮品の鮮度に対する前記庫内の庫内環境を学習する学習手段と、
前記学習手段が用いる報酬を決定する報酬決定手段と、
を備え、
前記調整手段は、前記鮮度測定手段により測定された鮮度と前記環境情報取得手段が取得した前記環境情報と前記学習手段の学習結果に基づいて、前記収容庫の庫内環境を当該鮮度に対する庫内環境とするように動作し、
前記報酬決定手段は、前記調整手段により調整された庫内環境下における一定期間の鮮度低下に基づいて報酬を決定し、
前記学習手段は、前記報酬決定手段が決定した報酬に基づいて前記鮮度に対する庫内環境を学習する、生鮮品の収容装置。
【請求項７】
前記学習手段は、前記鮮度測定手段によって測定された生鮮品の鮮度に対して、前記報酬決定手段により決定される報酬が最も大きくなるように当該鮮度に対する庫内環境を学習し、
前記調整手段は、前記環境情報取得手段により取得される前記環境情報が、前記学習手段により学習された前記鮮度に対する庫内環境となるように、前記収容庫の庫内環境を調整することを特徴とする、請求項６に記載の生鮮品の収容装置。
【請求項８】
前記報酬決定手段は、前記一定期間の前後における庫内環境が異なる場合、当該一定期間内の一または複数の時点における庫内環境に基づいて前記報酬を決定することを特徴とする、請求項７に記載の生鮮品の収容装置。
【請求項９】
前記一定期間内の一または複数の時点における庫内環境には、当該一定期間の終了時点の庫内環境が含まれることを特徴とする、請求項８に記載の生鮮品の収容装置。
【請求項１０】
コンピュータに、
庫内に収容される生鮮品の鮮度の情報を取得する機能と、
取得された生鮮品の鮮度に対する前記庫内の庫内環境を学習する機能と、
前記学習において用いる報酬を決定する機能と、
を実現させ、
前記報酬を決定する機能において、前記鮮度の情報を取得する機能で取得された生鮮品の鮮度に基づいて決定された当該鮮度に対する庫内環境下における一定期間の鮮度低下に基づいて報酬を決定し、
前記学習する機能において、前記報酬を決定する機能で決定した報酬に基づいて前記鮮度に対する庫内環境を学習する、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、学習装置、生鮮品の収容装置およびプログラムに関する。
【背景技術】
【０００２】
特許文献１には、過去の保存実績による最適な保存条件をルール化し、知識化した保存知識ベースと、ガス代謝量に関する環境計測情報により、希望出荷時期に合わせて活性化ガスの発生量を推論して活性化ガスを発生させることで、この内部環境を制御することが開示されている。また、活性化ガスの発生量の推論に、機械学習の手法である回帰分析を用いたソフトウェア処理を利用することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１９−４１６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
生鮮品の鮮度の制御は、例えば生鮮品ごとに異なっていたり、生鮮品がコンテナに収容されるときの初期の鮮度に応じて変化させる必要があったりする。そのため、一律に同じ制御条件で環境を制御しても、適切な鮮度管理を行うことは困難であった。
【０００５】
本開示は、鮮度センサによる生鮮品の鮮度の情報を用いて、生鮮品の環境の制御条件を強化学習し、生鮮品の環境を自動的に制御することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の学習装置は、庫内に収容される生鮮品の鮮度の情報を取得する鮮度情報取得手段と、前記鮮度情報取得手段によって取得された生鮮品の鮮度に対する前記庫内の庫内環境を学習する学習手段と、前記学習手段が用いる報酬を決定する報酬決定手段と、を備え、前記報酬決定手段は、前記鮮度情報取得手段により取得された鮮度に基づいて決定された当該鮮度に対する庫内環境下における一定期間の鮮度低下に基づいて報酬を決定し、前記学習手段は、前記報酬決定手段が決定した報酬に基づいて前記鮮度に対する庫内環境を学習する、生鮮品の庫内環境の学習装置である。
このようにすれば、生鮮品の鮮度の情報を用いて、生鮮品の環境の制御条件を強化学習し、生鮮品の環境を自動的に制御することができる。
【０００７】
ここで、前記報酬決定手段は、前記一定期間の前後における庫内環境が一定である場合、当該一定期間の開始時点の庫内環境に基づいて前記報酬を決定することとしても良い。
このようにすれば、一定期間にわたり一定の庫内環境とするような環境制御を学習することができる。
【０００８】
また、前記報酬決定手段は、前記一定期間の前後における庫内環境が異なる場合、当該一定期間内の特定の時点の庫内環境に基づいて前記報酬を決定することとしても良い。
このようにすれば、一定期間内に庫内環境が変化する場合に、特定の時点の庫内環境に基づく環境制御を学習することができる。
【０００９】
また、前記報酬決定手段は、前記一定期間の前後における庫内環境が異なる場合、当該一定期間の開始時点の庫内環境および終了時点の庫内環境に基づいて前記報酬を決定することとしても良い。
このようにすれば、一定期間内に庫内環境が変化する場合に、この一定期間の開始時および終了時の庫内環境に基づく環境制御を学習することができる。
【００１０】
また、前記報酬決定手段は、前記一定期間の前後における庫内環境が異なる場合、当該一定期間内の複数の時点における庫内環境を表す環境情報の値の代表値を求め、当該代表値に基づいて前記報酬を決定することとしても良い。
このようにすれば、一定期間内の庫内環境の変化に応じた環境制御を学習することができる。
【００１１】
また、本開示の収容装置は、生鮮品を収容する収容庫と、前記収容庫の庫内の少なくとも温度を含む庫内環境を調整する調整手段と、前記庫内の少なくとも温度を含む環境情報を取得する環境情報取得手段と、前記庫内に収容される生鮮品の鮮度を測定する鮮度測定手段と、前記鮮度測定手段によって測定された生鮮品の鮮度に対する前記庫内の庫内環境を学習する学習手段と、前記学習手段が用いる報酬を決定する報酬決定手段と、を備え、前記調整手段は、前記鮮度測定手段により測定された鮮度と前記環境情報取得手段が取得した前記環境情報と前記学習手段の学習結果に基づいて、前記収容庫の庫内環境を当該鮮度に対する庫内環境とするように動作し、前記報酬決定手段は、前記調整手段により調整された庫内環境下における一定期間の鮮度低下に基づいて報酬を決定し、前記学習手段は、前記報酬決定手段が決定した報酬に基づいて前記鮮度に対する庫内環境を学習する、生鮮品の収容装置である。
このようにすれば、収容庫から得られた生鮮品の鮮度の情報を用いて、庫内環境の制御条件を強化学習し、生鮮品の環境を自動的に制御することができる。
【００１２】
ここで、前記学習手段は、前記鮮度測定手段によって測定された生鮮品の鮮度に対して、前記報酬決定手段により決定される報酬が最も大きくなるように当該鮮度に対する庫内環境を学習し、前記調整手段は、前記環境情報取得手段により取得される前記環境情報が、前記学習手段により学習された前記鮮度に対する庫内環境となるように、前記収容庫の庫内環境を調整することとしても良い。
このようにすれば、生鮮品の鮮度の低下に関して最適化された庫内環境の制御を学習することができる。
【００１３】
また、前記報酬決定手段は、前記一定期間の前後における庫内環境が異なる場合、当該一定期間内の一または複数の時点における庫内環境に基づいて前記報酬を決定することとしても良い。
このようにすれば、一定期間内の庫内環境の変化に応じた環境制御を学習することができる。
【００１４】
また、前記一定期間内の一または複数の時点における庫内環境には、当該一定期間の終了時点の庫内環境が含まれることとしても良い。
このようにすれば、一定期間の経過時の庫内環境を想定した環境制御を学習することができる。
【００１５】
また、本開示のプログラムは、コンピュータに、庫内に収容される生鮮品の鮮度の情報を取得する機能と、取得された生鮮品の鮮度に対する前記庫内の庫内環境を学習する機能と、前記学習において用いる報酬を決定する機能と、を実現させ、前記報酬を決定する機能において、前記鮮度の情報を取得する機能で取得された生鮮品の鮮度に基づいて決定された当該鮮度に対する庫内環境下における一定期間の鮮度低下に基づいて報酬を決定し、前記学習する機能において、前記報酬を決定する機能で決定した報酬に基づいて前記鮮度に対する庫内環境を学習するプログラムである。
このプログラムをインストールしたコンピュータによれば、生鮮品の鮮度の情報を用いて、生鮮品の環境の制御条件を強化学習し、生鮮品の環境を自動的に制御することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態が適用される生鮮品管理システムの全体構成を示す図である。
【図２】情報処理装置の機能構成例を示す図である。
【図３】情報処理装置のハードウェア構成例を示す図である。
【図４】環境調整装置により調整された一定期間の庫内環境（庫内温度）の一例を示す図である。
【図５】環境調整装置により調整された一定期間の庫内環境（庫内温度）の他の一例を示す図である。
【図６】環境調整装置により調整された一定期間の庫内環境（庫内温度）のさらに他の一例を示す図である。
【図７】環境調整装置により調整された一定期間の庫内環境（庫内温度）のさらに他の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照して、実施の形態について詳細に説明する。
＜システム構成＞
図１は、本実施形態が適用される生鮮品管理システムの全体構成を示す図である。本実施形態の生鮮品管理システムは、収容庫１００と、環境検知装置２００と、環境調整装置３００と、鮮度検知装置４００と、情報処理装置５００とを備える。
【００１８】
収容庫１００は、生鮮品を収容し保管する装置である。収容庫１００には、収容物である生鮮品を搬入するための搬入口（図示せず）がある。収容庫１００は、搬入口を閉じることにより内部の空間が密閉され、外部環境から切り離されるように構成される。収容庫１００の内部は、複数の部屋に区分されていても良い。収容庫１００は、例えば生鮮品の運搬に用いられるコンテナである。収容庫１００としては、冷蔵環境で生鮮品を収容するもの、冷凍環境で生鮮品を収容するもの、常温環境で収容物を収容するもの等を想定し得る。収容庫１００は、収容装置の一例である。
【００１９】
環境検知装置２００は、収容庫１００の内部に設けられ、収容庫１００内の環境（庫内環境）を検知する装置である。環境検知装置２００は、収容庫１００の内部空間の状態を示すデータ（以下、「環境データ」と呼ぶ）を取得する。具体的には、温度、湿度、気圧、内部の空間を満たす気体の成分等を示すデータが取得される。したがって、環境検知装置２００としては、温度センサ、湿度センサ、気圧センサ、種々の気体成分のセンサ等が用いられる。収容庫１００の内部が複数の部屋に区分されている場合、部屋ごとに個別に環境データを取得するように構成しても良い。環境検知装置２００は、環境情報取得手段の一例である。
【００２０】
環境調整装置３００は、収容庫１００に設けられ、収容庫１００の庫内環境を制御する装置である。環境調整装置３００により制御される庫内環境の要素は、環境検知装置２００により検知される庫内環境の要素に対応する。したがって、環境調整装置３００は、温度、湿度、気圧、内部の空間を満たす気体の成分等を制御して庫内環境を調整する。収容庫１００の内部が複数の部屋に区分されている場合、部屋ごとに異なる環境を設定できるようにしても良い。環境調整装置３００は、調整手段の一例である。
【００２１】
鮮度検知装置４００は、収容庫１００に収容されている生鮮品の鮮度を検知する。生鮮品の鮮度は、様々な指標により評価し得る。具体的には、「外観（色、つや）」、「香り」、「味」、「物性（硬さ）」、「水分量」、「成分（糖、酸）」等が鮮度指標として用いられる。また、肉や魚類に関しては、これらの生鮮品に含まれる成分の比率に関する「Ｋ値」という指標が、鮮度を表す指標として一般的に用いられる。したがって、鮮度検知装置４００としては、収容する生鮮品の種類に応じて、これらの様々な指標に関するデータ（以下、「鮮度データ」と呼ぶ）を取得し得る鮮度センサが用いられる。
【００２２】
情報処理装置５００は、環境検知装置２００および鮮度検知装置４００により取得されたデータを処理し、得られた結果に基づき環境調整装置３００の動作を制御する装置である。情報処理装置５００は、例えば、パーソナルコンピュータ、スマートフォン、収容庫１００に設けられた組み込みコンピュータ等により実現される。情報処理装置５００は、収容庫１００と一体に設けても良いし、収容庫１００とは別個に設け、通信回線を用いて環境検知装置２００および鮮度検知装置４００からデータを取得するように構成しても良い。図１に示す構成例では、収容庫１００に対して一体に設けられた情報処理装置５００が示されている。情報処理装置５００を収容庫１００とは別個に設ける場合、データを送受信するための通信回線は、有線回線であっても良いし、無線回線であっても良い。
【００２３】
＜情報処理装置５００の構成＞
図２は、情報処理装置５００の機能構成例を示す図である。情報処理装置５００は、データ取得部５１０と、鮮度判断部５２０と、解析部５３０と、制御部５４０とを備える。
【００２４】
データ取得部５１０は、環境検知装置２００および鮮度検知装置４００からデータを取得する。データの取得は、例えば、定期的に行われる。より詳しくは、環境検知装置２００から環境データが一定期間ごとに定期的に送られ、情報処理装置５００のデータ取得部５１０により取得される。また、鮮度検知装置４００から鮮度データが一定期間ごとに定期的に送られ、情報処理装置５００のデータ取得部５１０により取得される。環境検知装置２００から取得された環境データは、解析部５３０に送られる。鮮度検知装置４００から取得された鮮度データは、鮮度判断部５２０に送られる。
【００２５】
鮮度判断部５２０は、鮮度検知装置４００により得られた鮮度データに基づいて、収容庫１００に収容されている生鮮品の鮮度を判断する。これにより、生鮮品の鮮度の情報が得られる。上述したように、生鮮品の鮮度は、様々な鮮度指標に基づいて判断される。したがって、鮮度判断部５２０は、収容庫１００に収容される生鮮品の種類および鮮度検知装置４００により得られる鮮度データの種類に応じて定められた手法により鮮度を判定する。鮮度の判定には、例えば、魚介類や肉類に対して行われるＫ値を用いた手法等、既存の判定手法を用いて良い。鮮度判断部５２０は、鮮度情報取得手段の一例である。また、鮮度検知装置４００および情報処理装置５００の鮮度判断部５２０は、鮮度測定手段の一例である。
【００２６】
解析部５３０は、データ取得部５１０により取得された庫内環境の情報（環境データ）および鮮度判断部５２０により判断された生鮮品の鮮度情報を解析し、適切な庫内環境を求める。適切な庫内環境は、収容庫１００に収容される生鮮品の種類や状態によって相違する。生鮮品の種類によって適切な庫内環境が異なるのは言うまでもないが、同じ種類の生鮮品であっても、その状態によって適切な庫内環境が異なる場合がある。例えば、トマトは、完熟トマトと緑熟トマトとでは、適切とされる温度や湿度の範囲が異なる。また、完熟トマトは、エチレン生成量が多く、エチレン感受性が低いのに対し、緑熟トマトは、エチレン生成量が少なく、エチレン感受性が高い。このため、適切な気体成分も異なる。また、馬鈴薯も未熟な状態と完熟の状態とでは、適切とされる温度の範囲が異なる。さらに、同じ種類の生鮮品であっても、現在の鮮度が異なると、適切な庫内環境が異なる。例えば、鮮度の高い状態であれば、鮮度の低い状態と比較して、長期間の貯蔵を想定した庫内環境を選択することができる。このように、解析部５３０は、対象となる生鮮品の様々な要因を考慮して庫内環境を特定することが必要となる。
【００２７】
本実施形態では、解析部５３０は、強化学習にて得られた学習モデルを用いて、環境調整装置３００により調整される庫内環境を選択する。解析部５３０が用いる学習モデルは、庫内環境の情報および鮮度情報を「状態ｓ」とし、環境調整装置３００の動作を制御するための制御条件を「行動ａ」とし、一定期間経過後の鮮度の低下の度合いに関して「報酬ｒ」を設定して強化学習を行って得られたモデルである。「報酬ｒ」は、鮮度の低下の度合いが小さいほど「報酬ｒ」の値が大きくなるように設定される。これにより、この学習モデルによれば、環境検知装置２００、鮮度検知装置４００および鮮度判断部５２０により得られた「状態ｓ」に基づき、「行動ａ」で制御された庫内環境で一定時間経過後における鮮度の低下が最小となるように（「報酬ｒ」が最大となるように）、「行動ａ」が最適化される。
【００２８】
また、解析部５３０は、収容庫１００に実装された情報処理装置５００により、実際に環境調整装置３００を制御して庫内環境を調整しながら生鮮品の鮮度管理を行い、その結果を用いて強化学習を進めても良い。具体的には、実際に調整された庫内環境の情報と、環境調整装置３００による制御の開始から一定時間経過後の生鮮品の鮮度の低下状態とに基づき、上記の学習モデルを更新（「報酬ｒ」の設定を変更）しても良い。解析部５３０は、学習手段および報酬決定手段の一例である。
【００２９】
制御部５４０は、環境調整装置３００に対する制御命令を生成し、生成した制御命令を環境調整装置３００に送信することにより、環境調整装置３００の動作を制御する。制御部５４０は、解析部５３０により選択された庫内環境となるように、環境調整装置３００を制御する。言い換えれば、制御部５４０は、環境検知装置２００により取得される環境情報が、解析部５３０において学習された生鮮品の鮮度に対する庫内環境（学習モデルにより選択される庫内環境）となるように、環境調整装置３００を制御する。庫内環境の制御は、例えば、温度、湿度、気圧、気体の成分等の環境要素ごとに、現在の庫内環境と解析部５３０により選択された庫内環境とを比較して、これらの環境要素ごとに個別に行われる。一例として庫内温度に着目すると、現在の庫内温度と解析部５３０により選択された庫内温度が同一であれば、制御部５４０は、現在の庫内温度を維持するように環境調整装置３００を制御する。また、現在の庫内温度と解析部５３０により選択された庫内温度が異なる場合、制御部５４０は、庫内温度が後者の温度となるように環境調整装置３００を制御する。
【００３０】
図３は、情報処理装置５００のハードウェア構成例を示す図である。情報処理装置５００は、コンピュータにより実現される。情報処理装置５００を実現するコンピュータは、演算手段であるＣＰＵ（Central Processing Unit）５０１と、記憶手段であるＲＡＭ（Random Access Memory）５０２、ＲＯＭ（Read Only Memory）５０３、記憶装置５０４とを備える。ＲＡＭ５０２は、主記憶装置（メイン・メモリ）であり、ＣＰＵ５０１が演算処理を行う際の作業用メモリとして用いられる。ＲＯＭ５０３にはプログラムや予め用意された設定値等のデータが保持されており、ＣＰＵ５０１はＲＯＭ５０３から直接プログラムやデータを読み込んで処理を実行することができる。記憶装置５０４は、プログラムやデータの保存手段である。記憶装置５０４にはプログラムが記憶されており、ＣＰＵ５０１は記憶装置５０４に格納されたプログラムを主記憶装置に読み込んで実行する。また、記憶装置５０４には、ＣＰＵ５０１による処理の結果が格納され、保存される。また、記憶装置５０４には、上述した強化学習による学習モデルが格納され、庫内環境の選択に用いられる。記憶装置５０４としては、例えば磁気ディスク装置やＳＳＤ（Solid State Drive）等が用いられる。
【００３１】
情報処理装置５００が図３に示すコンピュータにより実現される場合、図２を参照して説明したデータ取得部５１０、鮮度判断部５２０、解析部５３０および制御部５４０の各機能は、ＣＰＵ５０１がプログラムを実行することにより実現される。ＣＰＵ５０１がプログラムを実行して上記の各機能を実現する情報処理装置５００は、学習装置の一例である。
【００３２】
＜庫内環境の調整の学習例＞
情報処理装置５００の解析部５３０は、上述したように、強化学習にて得られた学習モデルを用いて、環境調整装置３００により調整される庫内環境を選択する。学習モデルとして、庫内環境の情報および鮮度情報を「状態ｓ」とし、庫内環境の制御情報を「行動ａ」とし、一定期間経過後の鮮度の低下の度合いに関して「報酬ｒ」を設定して強化学習を行って得られたモデルを用いることを述べたが、この「状態ｓ」、「行動ａ」、「報酬ｒ」について、さらに説明する。
【００３３】
環境調整装置３００による庫内環境の調整は、一定期間（例えば、６時間、１２時間、１日、３日、１週間等）にわたって行われる。したがって、「状態ｓ」としての庫内環境は、この一定期間における庫内環境が考慮される。「行動ａ」は、この一定期間における環境調整装置３００の動作が対象となる。「報酬ｒ」は、この一定期間の開始時点の鮮度と終了時点の鮮度との差分に基づいて決定される。
【００３４】
一定期間における庫内環境について、さらに考察する。環境調整装置３００による庫内環境の調整が一定期間にわたって行われると、調整の仕方に応じて、この一定期間の開始時点と終了時点とで庫内環境が異なる場合がある。また、この一定期間における環境調整装置３００の動作も動的に変化する場合がある。この場合、開始時点の庫内環境が同一であっても、終了時点や途中の庫内環境に応じて、生鮮品の鮮度低下の度合いが異なることが想定される。したがって、一定期間の開始時点だけでなく、終了時点や途中の庫内環境を考慮して「状態ｓ」を特定する。また、「行動ａ」としての環境調整装置３００の制御に関しても、一定環境の開始時点の庫内環境が同一であっても、この一定期間の終了時や途中の庫内環境を異なる環境とする複数の「行動ａ」を設定し得る。以下、いくつかの例について具体的に説明する。なお、以下の例では、庫内環境の具体例の一つとして庫内温度に着目する。
【００３５】
図４は、環境調整装置３００により調整された一定期間の庫内環境（庫内温度）の一例を示す図である。図４に示す例では、開始時点ｔ０から終了時点ｔｎまでの期間ｔ（０−ｎ）において、庫内温度が温度（ｔ０）で一定となるように環境調整装置３００により調整される。この場合、期間ｔ（０−ｎ）を通して庫内温度が一定であるため、強化学習における「状態ｓ」は温度（ｔ０）である。また、この温度（ｔ０）の「状態ｓ」が一定期間ｔ（０−ｎ）継続するように、「行動ａ」としての環境調整装置３００の動作が制御される。そして、時点ｔ０の時の生鮮品の鮮度と時点ｔｎの時の生鮮品の鮮度との差分に基づいて「報酬ｒ」が設定される。
【００３６】
図５は、環境調整装置３００により調整された一定期間の庫内環境（庫内温度）の他の一例を示す図である。図５に示す例では、開始時点ｔ０から終了時点ｔｎまでの期間ｔ（０−ｎ）において、庫内温度が温度（ｔ０）から温度（ｔｎ）まで変化するように環境調整装置３００により調整される。なお、この例では、温度の変化は経過時間に対して一定の変化となるように調整される。この場合、期間ｔ（０−ｎ）の開始時点ｔ０の温度（ｔ０）と終了時点ｔｎの温度（ｔｎ）とが異なっているため、単純に開始時点の温度（ｔ０）を「状態ｓ」とすることはできない。そこで、期間ｔ（０−ｎ）内の特定の時点の温度を「状態ｓ」に設定する。例えば、時点t０と時点ｔｎの中間の時点ｔ１における温度（ｔ１）を「状態ｓ」とすることが考えられる。これは、「行動ａ」を、時点ｔ０において庫内温度が温度（ｔ０）であり、期間ｔ（０−ｎ）の経過後に庫内温度が温度（ｔｎ）となるように環境調整装置３００の動作を制御するものとし、「状態ｓ」を、期間ｔ（０−ｎ）を通して庫内温度（ｔ１）であるものと擬制することを意味する。そして、時点ｔ０での鮮度と時点ｔｎでの鮮度の差分に基づいて「報酬ｒ」が設定される。ここで、図５に示す例は、温度の時間変化の度合いが一定なので、
期間ｔ（０−１）＝期間ｔ（０−ｎ）／２
であり、
温度（ｔ１）＝温度（ｔ０）＋（温度（ｔｎ）−温度（ｔ０））／２
である。
【００３７】
図６は、環境調整装置３００により調整された一定期間の庫内環境（庫内温度）のさらに他の一例を示す図である。図６に示す例では、開始時点ｔ０から終了時点ｔｎまでの期間ｔ（０−ｎ）において、庫内温度が温度（ｔ０）から温度（ｔｎ）まで変化するように環境調整装置３００により調整される。なお、この例では、温度の変化は経過時間に対して一定の変化となるように調整される。この場合、期間ｔ（０−ｎ）の開始時点ｔ０の温度（ｔ０）と終了時点ｔｎの温度（ｔｎ）とが異なっているため、単純に開始時点の温度（ｔ０）を「状態ｓ」とすることはできない。以上は、図５を参照して説明した例と同様であるが、この例では、期間ｔ（０−ｎ）の開始時点ｔ０の温度（ｔ０）および終了時点ｔｎの温度（ｔｎ）の両方を「状態ｓ」として設定する。「行動ａ」は、このような温度変化を実現するような環境調整装置３００の動作制御である。そして、時点ｔ０での鮮度と時点ｔｎでの鮮度の差分に基づいて「報酬ｒ」が設定される。
【００３８】
図７は、環境調整装置３００により調整された一定期間の庫内環境（庫内温度）のさらに他の一例を示す図である。図７に示す例では、開始時点ｔ０から終了時点ｔｎまでの期間ｔ（０−ｎ）において、庫内温度が温度（ｔ０）から温度（ｔｎ）まで変化するように環境調整装置３００により調整される。なお、図７では、温度の変化は経過時間に対して一定の変化となっているが、この例では、特に温度変化の仕方を規定しない。例えば、期間ｔ（０−ｎ）の前半では急激に温度を変化させ、後半では緩やかに温度を変化させても良い。また、段階的に複数回にわたって温度を変化させても良い。図７に示す例では、期間ｔ（０−ｎ）内に一または複数の時点を設定し、各時点の温度に基づいて「状態ｓ」を設定する。例えば、各時点の温度を統計的に処理した代表値を「状態ｓ」に設定しても良い。代表値としては、平均値、中央値等を選択し得るが、期間ｔ（０−ｎ）における温度変化の仕方に応じて代表値を設定しても良い。
【００３９】
図７に示す例では、開始時点ｔ０と終了時点ｔｎとの間に時点ｔ１〜時点t３の３時点を設定し、温度（ｔ０）、温度（ｔ１）、温度（ｔ２）、温度（ｔ３）、温度（ｔｎ）の５つの温度を得ている。これらの時点および温度は、期間ｔ（０−ｎ）における温度変化の仕方に応じて設定して良い。そして、この５つの温度の代表値（例えば平均値）を「状態ｓ」とする。また、期間ｔ（０−ｎ）において上記の温度変化を実現する環境調整装置３００の動作制御を「行動ａ」とする。そして、時点ｔ０での鮮度と時点ｔｎでの鮮度の差分に基づいて「報酬ｒ」が設定される。なお、この例において、環境調整装置３００は、現在の庫内環境から開始して、期間ｔ（０−ｎ）が経過した際（時点ｔｎ）の庫内環境を目指して制御を行うので、庫内環境を得る時点には、必ず時点ｔｎを含むようにしても良い。
【００４０】
なお、図４乃至図７を参照して説明した例では、庫内環境の一つとして庫内温度を制御する場合について説明したが、湿度や気体成分等、環境検知装置２００により検知され、環境調整装置３００により調整し得る庫内環境の各要素に関して、同様に解析することができる。また、生鮮品の種類や状態、解析時の生鮮品の鮮度等に応じて、庫内環境の各要素に重み付けを行ったり、条件を付加しても良い。例えば、生鮮品の種類によっては、収容庫１００に貯蔵可能とされる期間が異なるため、上記の解析例で示した期間ｔ（０−ｎ）も異なる期間が設定される。
【００４１】
以上、実施形態について説明したが、本開示の技術的範囲は上記実施形態には限定されない。例えば、上記の実施形態では、情報処理装置５００を、環境検知装置２００および鮮度検知装置４００により取得されたデータを処理する機能、処理結果に基づき環境調整装置３００の動作を制御する機能、取得データに基づいて強化学習を実施する機能の各々を実現する装置として説明したが、これらの機能を個別のハードウェアにより実現しても良い。学習機能を担う装置は、複数の収容庫１００の環境検知装置２００および鮮度検知装置４００により取得され、収集されたデータを用いて学習する学習装置としても実現される。
【００４２】
また、上記の実施形態では、情報処理装置５００の解析部５３０が、生鮮品の種類や状態に応じて、適切な庫内環境を得るように学習することを示した。したがって、生鮮品の鮮度を管理する際、ユーザが情報処理装置５００において、管理対象の生鮮品を特定し、特定された生鮮品に対応する学習モデルを用いて鮮度管理を行う。これに対し、情報処理装置５００において、鮮度管理の対象となる生鮮品の種類を特定する手段を設けても良い。これにより、生鮮品の鮮度を管理する際、情報処理装置５００が管理対象の生鮮品を識別し、対応する学習モデルを用いて鮮度管理を行うことができる。生鮮品の識別は、例えば、生鮮品を撮影して得られた画像を用いた画像解析により行っても良い。その他、本開示の技術思想の範囲から逸脱しない様々な変更や構成の代替は、本開示に含まれる。
【００４３】
ここで、上記にて説明した実施形態は、以下のように捉えることができる。本開示の学習装置は、庫内に収容される生鮮品の鮮度の情報を取得する鮮度判断部５２０と、鮮度判断部５２０によって取得された生鮮品の鮮度に対する庫内の庫内環境を学習すると共に、この学習において用いる報酬を決定する解析部５３０と、を備える。解析部５３０は、鮮度判断部５２０により取得された鮮度に基づいて決定された鮮度に対する庫内環境下における一定期間の鮮度低下に基づいて報酬を決定し、決定した報酬に基づいて鮮度に対する庫内環境を学習する、生鮮品の庫内環境の学習装置である。
このようにすれば、生鮮品の鮮度の情報を用いて、生鮮品の環境の制御条件を強化学習し、生鮮品の環境を自動的に制御することができる。
【００４４】
ここで、解析部５３０は、一定期間の前後における庫内環境が一定である場合、この一定期間の開始時点の庫内環境に基づいて報酬を決定することとしても良い。
このようにすれば、一定期間にわたり一定の庫内環境とするような環境制御を学習することができる。
【００４５】
また、解析部５３０は、一定期間の前後における庫内環境が異なる場合、この一定期間内の特定の時点の庫内環境に基づいて報酬を決定することとしても良い。
このようにすれば、一定期間内に庫内環境が変化する場合に、特定の時点の庫内環境に基づく環境制御を学習することができる。
【００４６】
また、解析部５３０は、一定期間の前後における庫内環境が異なる場合、この一定期間の開始時点の庫内環境および終了時点の庫内環境に基づいて報酬を決定することとしても良い。
このようにすれば、一定期間内に庫内環境が変化する場合に、この一定期間の開始時および終了時の庫内環境に基づく環境制御を学習することができる。
【００４７】
また、解析部５３０は、一定期間の前後における庫内環境が異なる場合、この一定期間内の複数の時点における庫内環境を表す環境情報の値の代表値を求め、この代表値に基づいて報酬を決定することとしても良い。
このようにすれば、一定期間内の庫内環境の変化に応じた環境制御を学習することができる。
【００４８】
また、上記にて説明した実施形態は、以下のように捉えることもできる。本開示の収容装置は、生鮮品を収容する収容庫１００と、収容庫１００の庫内の少なくとも温度を含む庫内環境を調整する環境調整装置３００と、庫内の少なくとも温度を含む環境情報を取得する環境検知装置２００と、庫内に収容される生鮮品の鮮度を測定する鮮度検知装置４００および鮮度判断部５２０と、鮮度検知装置４００および鮮度判断部５２０によって測定された生鮮品の鮮度に対する庫内の庫内環境を学習し、報酬を決定する解析部５３０と、を備える。環境調整装置３００は、鮮度検知装置４００および鮮度判断部５２０により測定された鮮度と環境検知装置２００が取得した環境情報と解析部５３０の学習結果に基づいて、収容庫１００の庫内環境をこの鮮度に対する庫内環境とするように動作する。解析部５３０は、環境調整装置３００により調整された庫内環境下における一定期間の鮮度低下に基づいて報酬を決定し、決定した報酬に基づいて鮮度に対する庫内環境を学習する、生鮮品の収容装置である。
このようにすれば、収容庫１００から得られた生鮮品の鮮度の情報を用いて、庫内環境の制御条件を強化学習し、生鮮品の環境を自動的に制御することができる。
【００４９】
ここで、解析部５３０は、鮮度検知装置４００および鮮度判断部５２０によって測定された生鮮品の鮮度に対して、解析部５３０により決定される報酬が最も大きくなるように鮮度に対する庫内環境を学習し、環境調整装置３００は、環境検知装置２００により取得される環境情報が、解析部５３０により学習された鮮度に対する庫内環境となるように、収容庫１００の庫内環境を調整することとしても良い。
このようにすれば、生鮮品の鮮度の低下に関して最適化された庫内環境の制御を学習することができる。
【００５０】
また、解析部５３０は、一定期間の前後における庫内環境が異なる場合、この一定期間内の一または複数の時点における庫内環境に基づいて報酬を決定することとしても良い。
このようにすれば、一定期間内の庫内環境の変化に応じた環境制御を学習することができる。
【００５１】
また、一定期間内の一または複数の時点における庫内環境には、この一定期間の終了時点の庫内環境が含まれることとしても良い。
このようにすれば、一定期間の経過時の庫内環境を想定した環境制御を学習することができる。
【００５２】
また、本開示のプログラムは、コンピュータに、庫内に収容される生鮮品の鮮度の情報を取得する機能と、取得された生鮮品の鮮度に対する庫内の庫内環境を学習する機能と、学習において用いる報酬を決定する機能と、を実現させ、報酬を決定する機能において、鮮度の情報を取得する機能で取得された生鮮品の鮮度に基づいて決定されたこの鮮度に対する庫内環境下における一定期間の鮮度低下に基づいて報酬を決定し、学習する機能において、報酬を決定する機能で決定した報酬に基づいて鮮度に対する庫内環境を学習するプログラムである。
このプログラムをインストールしたコンピュータによれば、生鮮品の鮮度の情報を用いて、生鮮品の環境の制御条件を強化学習し、生鮮品の環境を自動的に制御することができる。
【符号の説明】
【００５３】
１００…収容庫、２００…環境検知装置、３００…環境調整装置、４００…鮮度検知装置、５００…情報処理装置、５１０…データ取得部、５２０…鮮度判断部、５３０…解析部、５４０…制御部
【要約】
【課題】鮮度センサによる生鮮品の鮮度の情報を用いて、生鮮品の環境の制御条件を強化学習し、生鮮品の環境を自動的に制御する。
【解決手段】収容庫内に収容される生鮮品の鮮度の情報を取得する鮮度判断部５２０と、鮮度判断部５２０によって取得された生鮮品の鮮度に対する収容庫内の庫内環境を強化学習により学習し、この学習において用いる報酬を決定する解析部５３０と、を備える。解析部５３０は、鮮度判断部５２０により取得された鮮度に基づいて決定されたこの鮮度に対する庫内環境下における一定期間の鮮度低下に基づいて報酬を決定する。そして、解析部５３０は、決定した報酬に基づいて鮮度に対する庫内環境を学習する。
【選択図】図２【図１】
0006915718.tif 000002
【図２】
0006915718.tif 000003
【図３】
0006915718.tif 000004
【図４】
0006915718.tif 000005
【図５】
0006915718.tif 000006
【図６】
0006915718.tif 000007
【図７】
0006915718.tif 000008