(57)【要約】  標的状態近くへ電子オーブンのチャンバ内のアイテムを加熱するための開示されたコンピュータ実装方法は、電子オーブンがそれぞれ１セットの構成内にありながら、チャンバへ１セットのエネルギー印加によりアイテムを加熱することを備える。１セットのエネルギー印加、及びそれぞれ１セットの構成は、チャンバ内のエネルギーのそれぞれ１セットの可変分布を画定する。また方法は、アイテムによる１セットのエネルギー印加へのそれぞれ１セットの応答を定義するセンサデータを感知することを備える。また方法は、チャンバ内のアイテムを加熱するプランを生成することを備える。このプランは、電子オーブンの制御システムにより生成され、センサデータを使用する。
2019519744.tif 000002
【特許請求の範囲】
【請求項１】
標的状態近くに電子オーブンのチャンバ内のアイテムを加熱するためのコンピュータ実装方法であって、
前記電子オーブンがそれぞれ１セットの物理的構成内にありながら、前記アイテムを前記チャンバへの１セットのエネルギー印加により加熱し、
赤外線センサを使用して、前記アイテムによる前記１セットのエネルギー印加へのそれぞれ１セットの応答を定義するセンサデータを感知し、
前記チャンバ内の前記アイテムを加熱するプランを生成し、そこで前記生成することは前記電子オーブンの制御システムにより行われ、そこで前記生成することは前記センサデータを使用する、ことを備え、
そこで前記１セットのエネルギー印加、及び前記それぞれ１セットの物理的構成は前記チャンバ内にそれぞれ１セットの可変分布を画定し、
そこで前記１セットのエネルギー印加内の各エネルギー印加中に、前記それぞれ１セットの物理的構成内のそれぞれの物理的構成は少なくとも０．５秒保持され、
そこで前記それぞれ１セットの物理的構成は少なくとも５つの別個の物理的構成を有する、コンピュータ実装方法。
【請求項２】
前記生成することは、
最適化分析を行い、最適化出力を生成し、
前記最適化出力を使用してコマンド系列をコンパイルし、
そこで前記最適化分析は（ｉ）凸最適化ソルバー、（ｉｉ）前記標的状態を表現するデータ、及び（ｉｉｉ）前記それぞれ１セットの応答を表現するデータ、を使用し、
そこで前記電子オーブンは前記コマンド系列を実行し、前記アイテムを前記標的状態近くへ加熱する、ことを備える、請求項１に記載のコンピュータ実装方法。
【請求項３】
前記最適化出力はエラー値及び持続時間ベクトルを含み、
前記持続時間ベクトルは前記それぞれ１セットの物理的構成内の各前記物理的構成内にある前記電子オーブンについての１セットの持続時間を有し、
前記エラー値は前記標的状態と外挿された終了状態との間の差を定量化し、
前記凸最適化ソルバーは前記エラー値を最小にするように前記持続時間ベクトルを設定する、請求項２に記載のコンピュータ実装方法。
【請求項４】
前記アイテムを１セットのセグメントにセグメント化することをさらに備え、
そこで前記凸最適化ソルバーは非負の最小二乗法ソルバーであり、
そこで前記標的状態を表現する前記データは標的状態ベクトルであり、
そこで前記標的状態ベクトルは前記１セットのセグメントに対応する１セットの標的温度値を含み、
そこで前記それぞれ１セットの応答を表現する前記データは１セットの応答ベクトルであり、
そこで前記１セットの応答ベクトル内の各応答ベクトルは前記１セットのセグメントに対応する１セットの温度微分係数である、請求項３に記載のコンピュータ実装方法。
【請求項５】
分類器、及び前記１セットの応答ベクトルを使用して前記アイテムを識別することをさらに備える、請求項４に記載のコンピュータ実装方法。
【請求項６】
前記コマンド系列は、
前記それぞれ１セットの物理的構成間で前記電子オーブンを遷移させ、
前記エネルギー印加を適用し、
前記電子オーブンが前記持続時間ベクトル内のそれぞれの要素へ比例する持続時間に前記それぞれ１セットの物理的構成のそれぞれの内にあることを確保し、
前記アイテムの表面にわたり最大温度変化を最小にするように前記コンパイル中に系列化される、請求項３に記載のコンピュータ実装方法。
【請求項７】
前記コマンド系列内の１つのコマンドを実行し、そこで前記コマンドは前記電子オーブンを前記それぞれ１セットの物理的構成内の１つの物理的構成へ戻し、
前記コマンド系列内の第二コマンドを実行し、そこで前記コマンドは前記電子オーブンが前記物理的構成内にありながら前記チャンバへエネルギー印加を適用し、
前記赤外線センサを使用して、前記エネルギー印加への前記アイテムによる応答を定義する追加のセンサデータを感知し、
第二最適化分析を行い、第二最適化出力を生成し、
前記第二最適化出力を使用して第二行動系列をコンパイルする、ことをさらに備え、
そこで前記第二最適化分析は（ｉ）凸最適化ソルバー、（ｉｉ）前記標的状態を表現する前記データ、及び（ｉｉｉ）前記追加のセンサデータ、を使用する、請求項２に記載のコンピュータ実装方法。
【請求項８】
前記エラー値が許容可能なエラー値を超えると判定し、
前記電子オーブンが追加の物理的構成内にありながら前記アイテムをエネルギー印加により加熱し、そこで前記エラー値が前記許容可能なエラー値を超えると判定すると前記追加の物理的構成は選択され、
前記赤外線センサを使用して、前記アイテムによる前記エネルギー印加へのそれぞれの応答を定義するセンサデータを感知し、
第二最適化分析を行い、第二最適化出力を生成し、
前記第二最適化出力を使用して第二行動系列をコンパイルする、ことをさらに備え、
そこで前記第二最適化分析は（ｉ）凸最適化ソルバー、（ｉｉ）前記標的状態を表現するデータ、（ｉｉｉ）前記それぞれ１セットの応答を表現するデータ、及び（ｉｖ）前記それぞれの応答を表現するデータ、を使用する、請求項３に記載のコンピュータ実装方法。
【請求項９】
前記アイテムが前記標的状態近くへ加熱されていながら前記最適化分析の追加の繰り返しを定期的に行うことをさらに備え、
そこで前記追加の繰り返し間の期間は３秒より長く、１５秒より短い、請求項２に記載のコンピュータ実装方法。
【請求項１０】
前記アイテムを前記チャンバ内で加熱する第二プランを生成することをさらに備え、
そこで前記第二プランの前記生成は、前記電子オーブンの前記制御システムにより行われ、そこで前記第二プランの前記生成は、決定論的プランナを使用し、
そこで前記決定論的プランナのコスト関数は前記プランをヒューリスティックとして使用し、前記第二プランについての将来のプランコストを推定する、請求項２に記載のコンピュータ実装方法。
【請求項１１】
強化学習システムを使用して前記チャンバ内の前記アイテムを前記標的状態近くへ自動的に加熱することをさらに備え、
そこで前記第二プランは前記強化学習システムについてのポリシーとして使用される、請求項１０に記載のコンピュータ実装方法。
【請求項１２】
１セットの反射要素内の反射要素を変更し、前記それぞれ１セットの物理的構成内の第一物理的構成と第二物理的構成との間で遷移させることをさらに備え、
そこで前記チャンバは各エネルギー印加中に完全に動かず、
そこで前記１セットの反射要素は少なくとも３つの反射要素を含み、
そこで前記制御システムは前記１セットの反射要素内の前記反射要素を独立して変更するコマンドを生成する、請求項２に記載のコンピュータ実装方法。
【請求項１３】
前記１セットのエネルギー印加から前記チャンバへのエネルギー印加は、偏波電磁波を前記チャンバへ導入し、
前記反射要素を変更することは、第一方向から第二方向へ前記反射要素の方向を変更し、
そこで前記偏波電磁波の支配的な偏波は前記第一方向に垂直であり、
そこで前記偏波電磁波の前記支配的な偏波は前記第二方向に平行である、請求項１２に記載のコンピュータ実装方法。
【請求項１４】
前記赤外線センサからのデータを使用して前記アイテムを１セットのセグメントにセグメント化することをさらに備え、
そこで前記凸最適化ソルバーは非負の最小二乗法ソルバーであり、
そこで前記標的状態を表現する前記データは標的状態ベクトルであり、
そこで前記標的状態ベクトルは前記１セットのセグメントに対応する１セットの標的温度値を含み、
そこで前記それぞれ１セットの応答を表現する前記データは１セットの応答ベクトルであり、
そこで前記１セットの応答ベクトル内の各応答ベクトルは前記１セットのセグメントに対応する、請求項２に記載のコンピュータ実装方法。
【請求項１５】
前記１セットのセグメントは少なくとも１０個の要素を含み、
前記それぞれ１セットの物理的構成は少なくとも１０個の別個の物理的構成を含む、請求項１４に記載のコンピュータ実装方法。
【請求項１６】
標的状態近くへ電子オーブンのチャンバ内のアイテムを加熱するためのコンピュータ実装方法を実行するインストラクションを格納する非一時的なコンピュータ可読媒体であって、前記コンピュータ実装方法は、
前記電子オーブンが第一物理的構成内にありながら前記チャンバに適用される第一エネルギー印加により前記アイテムを加熱し、
赤外線センサを使用して前記アイテムによる前記第一エネルギー印加への第一応答を感知し、そこで前記感知することは前記第一応答に対応する第一セットのセンサデータを取得し、
前記電子オーブンの物性を変更し、前記第一物理的構成から第二物理的構成へ前記電子オーブンを遷移させ、
前記電子オーブンが前記第二物理的構成内にありながら前記チャンバに適用される第二エネルギー印加により前記アイテムを加熱し、
前記赤外線センサを使用して前記アイテムによる前記第二エネルギー印加への第二応答を感知し、そこで前記感知することは前記第二応答に対応する第二セットのセンサデータを取得し、
前記チャンバ内の前記アイテムを加熱するプランを生成する、ことを備え、
そこで前記生成することは前記電子オーブンの制御システムにより行われ、そこで前記生成することは前記第一セットのセンサデータ及び前記第二セットのセンサデータを使用し、
そこで前記電子オーブンの前記チャンバは前記第一物理的構成及び前記第二物理的構成の両方において動かず、
そこで前記第一エネルギー印加及び前記第二エネルギー印加は持続時間において０．５秒よりそれぞれ長い、非一時的なコンピュータ可読媒体。
【請求項１７】
そこで前記生成することは、
最適化分析を行い、前記電子オーブンの前記制御システムを使用して最適化出力を生成し、
前記最適化出力を使用して行動系列をコンパイルする、ことを備え、
そこで前記最適化分析は（ｉ）凸最適化ソルバー、（ｉｉ）前記標的状態を表現するデータ、（ｉｉｉ）前記第一セットのセンサデータ、及び（ｉｖ）前記第二セットのセンサデータ、を使用する、請求項１６に記載の非一時的なコンピュータ可読媒体。
【請求項１８】
そこで前記コンピュータ実装方法は、
前記アイテムを１セットのセグメントにセグメント化することをさらに備え、
そこで前記凸最適化ソルバーは非負の最小二乗法ソルバーであり、
そこで前記標的状態は標的状態行列により定量化され、前記標的状態行列が前記１セットのセグメントに対応する１セットの標的温度値を含み、
そこで前記第一セットのセンサデータは前記１セットのセグメントに対応する第一セットの温度微分係数であり、
そこで前記第二セットのセンサデータは前記１セットのセグメントに対応する第二セットの温度微分係数である、請求項１７に記載の非一時的なコンピュータ可読媒体。
【請求項１９】
前記最適化出力は、エラー値及び持続時間ベクトルを含み、そこで前記持続時間ベクトルは前記第一物理的構成内にある前記電子オーブンについての第一持続時間、及び前記第二物理的構成内にある前記電子オーブンについての第二持続時間を定量化し、
前記エラー値は、前記標的状態と所期の終了状態との間の差を定量化し、
前記凸最適化ソルバーは、前記持続時間ベクトルを選択するときに前記エラー値を最小にする、請求項１７に記載の非一時的なコンピュータ可読媒体。
【請求項２０】
前記アイテムが前記標的状態近くに加熱されていながら前記最適化分析を定期的に行うことをさらに備え、
そこで前記最適化分析の前記定期的な行いについての期間は３秒より長く、１５秒より短い、請求項１７に記載の非一時的なコンピュータ可読媒体。
【請求項２１】
電子オーブンであって、
アイテムを加熱するためのチャンバと、
前記チャンバ内の入射ポートに結合されるマイクロ波エネルギー源と、
赤外線センサと、
１セットの物理的構成間で前記電子オーブンを遷移させるコマンド、及び前記電子オーブンが前記１セットの物理的構成内にあるときに前記マイクロ波エネルギー源を使用して１セットのエネルギー印加を前記チャンバに適用するコマンドを生成する制御システムと、
前記電子オーブンが前記１セットの物理的構成内にありながら前記チャンバへの前記１セットのエネルギー印加により前記チャンバ内のアイテムを加熱するインストラクション、
前記赤外線センサを使用して、前記チャンバ内の前記アイテムによる前記１セットのエネルギー印加へのそれぞれ１セットの応答を定義するセンサデータを感知するインストラクション、及び
前記センサデータを使用して、前記チャンバ内の前記アイテムを加熱するプランを生成するインストラクション、を格納するメモリとを備え、
そこで前記１セットのエネルギー印加及び前記それぞれ１セットの物理的構成は前記チャンバ内のエネルギーのそれぞれ１セットの可変分布を画定し、
そこで前記１セットのエネルギー印加内の各エネルギー印加中に、前記１セットの物理的構成内の１つの物理的構成は少なくとも０．５秒間保持され、
そこで前記１セットの物理的構成は少なくとも５個の別個の物理的構成を含む、電子オーブン。
【請求項２２】
前記プランは、
最適化分析を行い、最適化出力を生成し、
前記最適化出力を使用してコマンド系列をコンパイルする、ことにより生成され、
そこで前記最適化分析は（ｉ）凸最適化ソルバー、（ｉｉ）前記アイテムの標的状態を表現するデータ、及び（ｉｉｉ）前記それぞれ１セットの応答を表現するデータを使用し、
そこで前記電子オーブンは前記コマンド系列を実行し、前記標的状態近くに前記アイテムを加熱する、請求項２１に記載の電子オーブン。
【請求項２３】
前記メモリは、
前記アイテムが前記標的状態近くに加熱されていながら前記最適化分析の追加の繰り返しを定期的に行うインストラクションをさらに格納し、
そこで前記追加の繰り返し間の期間は、３秒より長く、１５秒より短い、請求項２２に記載の電子オーブン。
【請求項２４】
前記チャンバ内に１セットの反射要素をさらに備え、
そこで前記コマンド系列は前記１セットの反射要素の方向を変更し、
そこで前記チャンバは各エネルギー印加中に完全に動かず、
そこで前記１セットの反射要素は少なくとも３個の反射要素を含み、
そこで前記制御システムは前記１セットの反射要素内の前記反射要素を独立して変更するコマンドを生成する、請求項２２に記載の電子オーブン。
【請求項２５】
前記チャンバの外壁部を貫通して延伸する１セットの誘電軸、及び、
前記誘電軸を介して前記１セットの反射要素を個々に回転させる１セットのモータ、をさらに備え、
そこで前記１セットの物理的構成間で前記電子オーブンを遷移させる前記コマンドは、前記１セットの誘電軸内の少なくとも１つの誘電軸を回転させる、請求項２４に記載の電子オーブン。
【請求項２６】
標的状態近くに電子オーブンのチャンバ内のアイテムを加熱するためのコンピュータ実装方法であって、
前記電子オーブンがそれぞれ１セットの構成内にありながら、前記チャンバへの１セットのエネルギー印加により前記アイテムを加熱し、
赤外線センサを使用して、前記アイテムによる前記１セットのエネルギー印加へのそれぞれ１セットの応答を定義するセンサデータを感知し、
前記チャンバ内の前記アイテムを加熱するプランを生成する、ことを備え、
そこで前記生成することは（ｉ）前記電子オーブンの制御システムにより行われ、（ｉｉ）前記センサデータを使用し、（ｉｉｉ）最適化分析を行い、最適化出力を生成することを備え、（ｉｖ）前記最適化出力を使用してコマンド系列をコンパイルすることを備え、
そこで前記最適化分析は（ｉ）凸最適化ソルバー、（ｉｉ）前記標的状態を表現するデータ、及び（ｉｉｉ）前記それぞれ１セットの応答を表現するデータ、を使用し、
そこで前記電子オーブンは前記コマンド系列を実行し、前記標的状態近くに前記アイテムを加熱する、コンピュータ実装方法。
【請求項２７】
前記それぞれ１セットの構成は少なくとも５個の別個の物理的構成を含み、
各エネルギー印加は持続時間内の少なくとも０．５秒であり、
前記１セットのエネルギー印加及び前記それぞれ１セットの構成は前記チャンバ内のエネルギーのそれぞれ１セットの可変分布を画定する、請求項２６に記載のコンピュータ実装方法。
【請求項２８】
前記最適化出力はエラー値及び持続時間ベクトルを含み、
前記持続時間ベクトルは前記それぞれ１セットの構成内の各の前記構成内にある前記電子オーブンについての１セットの持続時間を含み、
前記エラー値は前記標的状態と、外挿された終了状態との間の差を定量化し、
前記凸最適化ソルバーは前記エラー値を最小にするように前記持続時間ベクトルを設定する、ことをさらに備える、請求項２６に記載のコンピュータ実装方法。
【請求項２９】
前記アイテムを１セットのセグメントにセグメント化することをさらに備え、
そこで前記凸最適化ソルバーは非負の最小二乗法ソルバーであり、
そこで前記標的状態を表現する前記データは標的状態ベクトルであり、
そこで前記標的状態ベクトルは前記１セットのセグメントに対応する１セットの標的温度値を含み、
そこで前記それぞれ１セットの応答を表現する前記データは１セットの応答ベクトルであり、
そこで前記１セットの応答ベクトル内の各応答ベクトルは前記１セットのセグメントに対応する１セットの温度微分係数である、請求項２６に記載のコンピュータ実装方法。
【請求項３０】
前記アイテムが前記標的状態近くに加熱されていながら、前記最適化分析を定期的に行うことをさらに備え、
そこで前記最適化分析の前記定期的に行うことについての期間は３秒より長く１５秒より短い、請求項２６に記載のコンピュータ実装方法。
【請求項３１】
チャンバ内のアイテムを加熱するためのコンピュータ実装方法であって、
可変分布を使用して前記アイテムへエネルギーを印加し、前記アイテム、及び前記可変分布の極大値は相関位置を有し、前記相対位置が第一位置価値を含むときに前記エネルギーが印加され、
前記相対位置が前記第一位置価値を含むときに、赤外線センサを使用して前記アイテムについての第一表面温度分布を感知することにより、前記第一表面温度分布はメモリ内の第一状態を識別するために使用され、
前記相対位置を前記第一位置価値から第二位置価値へ変更し、
前記相対位置が前記第二位置価値を含むときに、前記可変分布を介して前記アイテムへエネルギーを印加し、
前記相対位置が前記第二位置価値を含むときに、前記赤外線センサを使用して前記アイテムについての第二表面温度分布を感知することにより、前記第二表面温度分布は前記メモリ内の第二状態を識別するために使用され、
前記メモリ内の前記第二表面温度分布を使用して報酬値を導出し、
前記報酬値に基づき前記第一状態と関連する行動価値関数値を更新する、ことを備える、コンピュータ実装方法。
【請求項３２】
前記行動価値関数を近似するようにニューラルネットワークをトレーニングし、
１セットの経験データポイントを格納し、そこで経験データポイントは前記報酬値、前記第一状態、前記第二状態、及び前記第一位置価値から前記第二位置価値への相対位置における変化から導出され、
前記１セットの経験データポイントをランダムにサンプリングし、１セットのトレーニングデータを取得する、ことをさらに備え、
そこで前記トレーニングステップは前記１セットのトレーニングデータにより行われる、請求項３１に記載のコンピュータ実装方法。
【請求項３３】
最大潜在報酬値を与える行動を決定する入力として前記第一状態により前記行動価値関数を評価することをさらに備え、
そこで前記行動は前記相対位置を前記第一位置価値から第二位置価値へ変更することを備える、請求項３１に記載のコンピュータ実装方法。
【請求項３４】
前記行動価値関数を近似するようにニューラルネットワークをトレーニングすることをさらに備え、
そこで前記評価ステップは前記ニューラルネットワークを使用して行われる、請求項３３に記載のコンピュータ実装方法。
【請求項３５】
１セットの経験データポイントを格納し、そこで経験データポイントは前記報酬値、前記第一状態、前記第二状態、及び前記第一位置価値から前記第二位置価値への相対位置における変化から導出され、
前記１セットの経験データポイントをランダムにサンプリングし、１セットのトレーニングデータを取得する、ことをさらに備え、
そこで前記トレーニングステップは前記１セットのトレーニングデータにより行われる、請求項３４に記載のコンピュータ実装方法。
【請求項３６】
前記位置を変更するステップは、
第一角度から第二角度へモードスターラの角度位置を変えることを備え、
そこで前記モードスターラはエネルギー源と前記アイテムとの間の経路上に設置され、
そこで前記エネルギー源は前記チャンバ内の前記可変分布を生成する、請求項３１に記載のコンピュータ実装方法。
【請求項３７】
前記第一表面温度分布を格納し、
前記アイテムについての第二相対位置を格納し、そこで前記アイテム及び前記チャンバは相互に関して前記第二相対位置を有し、
前記第二相対位置と前記第一表面温度分布との組み合わせを使用し、前記第一状態を識別する、ことをさらに備える、請求項３１に記載のコンピュータ実装方法。
【請求項３８】
外部チャネルからのデータを使用して前記行動価値関数を初期化することをさらに備え、
そこで前記代替のチャネルは、（ｉ）前記電子オーブン上のカメラからのＱＲコード、（ｉｉ）前記電子オーブン上のキーパッドからのキーパッドコマンド、または（ｉｉｉ）前記電子オーブン上のマイクロホンからの音声コマンドのうちの１つである、請求項３１に記載のコンピュータ実装方法。
【請求項３９】
チャンバ内のアイテムを加熱するためのコンピュータ実装方法であって、
可変分布を使用してエネルギーを前記アイテムへ印加し、そこで前記アイテム、及び前記可変分布の極大値は相対位置を有し、前記相対位置が第一位置価値を有するときに前記エネルギーが印加され、
前記相対位置が前記第一位置価値を有するときに、赤外線センサを使用して前記アイテムについての第一表面温度分布を感知することにより、前記第一表面温度分布はメモリ内の第一状態を識別するために使用され、
最大潜在報酬値を与える行動を決定する入力として前記第一状態により行動価値関数を評価し、そこで前記行動は前記相対位置を前記第一位置価値から第二位置価値へ変更することを備え、
前記相対位置を前記第一位置価値から前記第二位置価値へ変更し、
前記相対位置が前記第二位置価値を有するときに、前記可変分布を介して前記アイテムへエネルギーを印加する、ことを備える、コンピュータ実装方法。
【請求項４０】
前記行動価値関数を近似するようにニューラルネットワークをトレーニングすることをさらに備え、
そこで前記評価することは前記ニューラルネットワークを使用して行われる、請求項３９に記載のコンピュータ実装方法。
【請求項４１】
１セットの経験データポイントを格納し、そこで１つの経験データポイントは前記報酬値、前記第一状態、前記第二状態、及び前記第一位置価値から前記第二位置価値への相対位置における変化から導出され、
前記１セットの経験データポイントをランダムにサンプリングし、１セットのトレーニングデータを取得する、ことをさらに備え、
そこで前記トレーニングするステップは前記１セットのトレーニングデータにより行われる、請求項４０に記載のコンピュータ実装方法。
【請求項４２】
そこで前記相対位置を前記変更するステップは、
第一角度から第二角度へモードスターラの前記角度位置を変えることを備え、
そこで前記モードスターラはエネルギー源と前記アイテムとの間の経路上に設置され、
そこで前記エネルギー源は前記チャンバ内に前記可変分布を作成する、請求項３９に記載のコンピュータ実装方法。
【請求項４３】
前記第一表面温度分布を格納し、
前記アイテムについての第二相対位置を格納し、そこで前記アイテム及び前記チャンバは相互に関して前記第二相対位置を有し、
前記第二相対位置と前記第一表面温度分布との組み合わせを使用して、前記第一状態を識別する、ことをさらに備える、請求項３９に記載のコンピュータ実装方法。
【請求項４４】
外部チャネルからのデータを使用して前記行動価値関数を初期化することをさらに備え、
そこで前記代替のチャネルは（ｉ）前記電子オーブン上のカメラからのＱＲコード、（ｉｉ）前記電子オーブン上のキーパッドからのキーパッドコマンド、または（ｉｉｉ）前記電子オーブン上のマイクロホンからの音声コマンドのうちの１つである、請求項３９に記載のコンピュータ実装方法。
【請求項４５】
チャンバ内のアイテムを加熱するためのコンピュータ実装方法であって、
前記アイテムの状態を決定し、そこで前記状態は前記アイテムにわたる温度分布により少なくとも部分的に定義され、
最適行動を決定する入力として前記状態を使用して関数を評価し、そこで前記最適行動は（ｉ）前記チャンバ内の前記アイテムの位置を変更すること、または（ｉｉ）前記チャンバへ加えられる熱分布を変更することのうちの１つであり、
前記最適行動を行い、
前記最適行動を行った後に、前記アイテムの第二状態を感知し、
前記第二状態に基づき前記関数を更新する、ことを備え、
そこで前記関数は将来の１セットの報酬の推定値を与え、
そこで前記将来の１セットの報酬は前記アイテムにわたる前記温度分布内の分散に少なくとも部分的に基づく、コンピュータ実装方法。
【請求項４６】
前記関数を近似するようにニューラルネットワークをトレーニングすることをさらに備え、
そこで前記評価することは前記ニューラルネットワークを使用して行われる、請求項４５に記載のコンピュータ実装方法。
【請求項４７】
前記第二状態から報酬値を導出し、
１セットの経験データポイントを格納し、そこで前記経験データポイントは前記報酬値、前記第一状態、前記第二状態、及び前記最適行動から導出され、
前記１セットの経験データポイントをランダムにサンプリングし、１セットのトレーニングデータを取得する、ことをさらに備え、
そこで前記トレーニングするステップは前記１セットのトレーニングデータにより行われる、請求項４６に記載のコンピュータ実装方法。
【請求項４８】
前記最適行動は、
第一角度から第二角度へモードスターラの前記角度位置を変えることを備え、
そこで前記モードスターラはエネルギー源と前記アイテムとの間の経路上に設置され、
そこで前記エネルギー源は前記アイテムにわたる前記温度分布を作成する、請求項４５に記載のコンピュータ実装方法。
【請求項４９】
前記温度分布を格納し、
前記アイテムについての相対位置を格納することをさらに備え、
そこで前記アイテム及び前記チャンバは相互に関して前記相対位置を有し、
そこで前記状態は前記相対位置と前記温度分布との組み合わせを使用して決定される、請求項４５に記載のコンピュータ実装方法。
【請求項５０】
外部チャネルからのデータを使用して前記関数を初期化することをさらに備え、
そこで前記外部チャネルは（ｉ）前記電子オーブン上のカメラにより走査されるＱＲコード、（ｉｉ）前記電子オーブン上のキーパッドに入力されるキーパッドコマンド、または（ｉｉｉ）前記電子オーブン上のマイクロホンに入力される音声コマンドのうちの１つを介して送信されるデータを含む、請求項４５に記載のコンピュータ実装方法。
【請求項５１】
電子オーブンのチャンバ内のアイテムを加熱するためのコンピュータ実装方法であって、
第一行動を取り、そこで前記第一行動はマイクロ波エネルギー源から前記チャンバ内にエネルギー分布の相対位置及び強度のうちの少なくとも１つを変更し、
赤外線センサを使用して前記アイテムについての第一表面温度分布を感知し、
関数出力を生成する関数を評価し、そこで前記第一表面温度分布及び少なくとも１つの潜在行動から導出される情報は前記関数を評価するために使用され、
第二行動を取り、そこで前記第二行動は前記マイクロ波エネルギー源から前記チャンバ内の前記エネルギー分布の前記相対位置及び前記強度のうちの少なくとも１つを変更し、そこで前記第二行動は前記関数出力に基づき１セットの潜在的第二行動から選択される、ことを備える、コンピュータ実装方法。
【請求項５２】
前記赤外線センサを使用して前記アイテムについての第二表面温度分布を感知し、
前記関数を更新し、前記第二表面温度分布に基づき前記関数出力を第二関数出力へ変更する、ことをさらに備え、
そこで前記関数出力は報酬値であり、
そこで前記関数は行動価値関数である、請求項５１に記載のコンピュータ実装方法。
【請求項５３】
前記関数出力を使用して前記チャンバ内の前記アイテムを加熱するプランを導出し、そこで前記プランは行動系列であり、
前記プランを少なくとも部分的に実行することにより、前記チャンバ内の前記アイテムを加熱する、ことをさらに備え、
そこで前記関数はコスト関数であり、
そこで前記関数出力はプランコストであり、
そこで前記第二行動は前記行動系列内にある、請求項５１に記載のコンピュータ実装方法。
【請求項５４】
前記第一表面温度分布、及びテストの１セットの行動を使用してプランニングされた表面温度分布を外挿することをさらに備え、
そこで前記プランニングされた表面温度分布は前記関数を評価するために使用される前記第一表面温度分布から導出される前記情報である、請求項５３に記載のコンピュータ実装方法。
【請求項５５】
前記赤外線センサを使用して前記アイテムについての第二表面温度分布を感知し、
前記第二表面温度分布をプランニングされた第二表面温度分布と比較し、
前記比較するステップ中に分散を検出し、
前記関数を再評価し、前記分散を検出することに応答して第二関数出力を生成し、
前記第二関数出力を使用して前記チャンバ内の前記アイテムを加熱する第二プランを導出し、
前記第二プランを少なくとも部分的に実行することにより、前記チャンバ内の前記アイテムを加熱する、ことをさらに備える、請求項５３に記載のコンピュータ実装方法。
【請求項５６】
チャンバ内のアイテムを加熱するためのコンピュータ実装方法であって、
マイクロ波エネルギー源から前記アイテムへエネルギーを印加し、
関数を評価し、第一関数出力を生成し、そこで第一潜在行動は前記関数を評価するために使用され、
前記第一関数出力を使用して前記チャンバ内の前記アイテムを加熱するプランを生成し、そこで前記プランは行動系列であり、
前記プランを実行することにより、前記チャンバ内の前記アイテムを加熱する、ことを備え、
そこで前記関数はコスト関数であり、
そこで前記関数出力はプランコストであり、
そこで前記第一潜在行動は、（ｉ）前記マイクロ波エネルギー源から前記チャンバ内のエネルギー分布の相対位置を変更すること、及び（ｉｉ）前記マイクロ波エネルギー源から前記チャンバ内の前記エネルギー分布の強度を変更することのうちの１つである、コンピュータ実装方法。
【請求項５７】
前記関数を評価し、第二関数出力を生成し、そこで第二潜在行動は前記関数を評価するために使用され、そこで前記第二潜在行動及び前記第一潜在行動は相互に排他的なプランの各メンバーであり、
前記第一プランコスト及び前記第二プランコストの組み合わせに基づきさらなる評価のために前記プランを選択する、ことをさらに備え、
そこで前記第二関数出力は第二プランコストであり、
そこで前記第二関数は前記プランを生成するためにも使用される、請求項５６に記載のコンピュータ実装方法。
【請求項５８】
前記関数を評価することは、
ヒューリスティックを使用して将来のプランコストを推定し、
トラバースされたプランコストを計算し、
前記将来のプランコスト及び前記トラバースされたプランコストを合計する、ことをさらに備える、請求項５６に記載のコンピュータ実装方法。
【請求項５９】
前記ヒューリスティックを使用することは、
前記アイテムの表面温度分布から１セットの温度値を取得し、
１セットのデルタ値を取得し、そこで各デルタ値は前記１セットの温度値内の１つの温度値、及び１つの所望の温度値に対応し、
前記１セットのデルタ値を合計し、前記推定された将来のプランコストを取得する、ことを備える、請求項５８に記載のコンピュータ実装方法。
【請求項６０】
前記赤外線センサを使用して前記アイテムについての第一表面温度分布を感知し、
前記第二表面温度分布をプランニングされた表面温度分布と比較し、
前記比較するステップ中に分散を検出し、
前記分散を検出することに応答して前記アイテムを加熱する第二プランを導出し、
前記第二プランを少なくとも部分的に実行することにより、前記チャンバ内の前記アイテムを加熱する、ことをさらに備え、
そこで前記プランニングされた表面温度分布は前記チャンバ内の前記アイテムを加熱する前記プランにより生成される、請求項５６に記載のコンピュータ実装方法。
【請求項６１】
赤外線センサを使用して前記アイテムについての第一表面温度分布を感知し、
前記第一表面温度分布を使用してプランニングされた表面温度分布を外挿する、ことをさらに備え、
そこで前記プランニングされた表面温度分布は前記関数を評価し、前記第一関数出力を生成するためにも使用される、請求項５６に記載のコンピュータ実装方法。
【請求項６２】
前記関数はプラン持続時間とともに増加する第一項により少なくとも部分的に定義され、
前記関数は前記プランニングされた表面温度分布内の表面温度値が閾値温度を超えるときに増加する第二項により少なくとも部分的に定義される、請求項６１に記載のコンピュータ実装方法。
【請求項６３】
前記赤外線センサ及び可視光センサのうちの少なくとも１つを使用して前記アイテムと関連するカテゴリを識別し、
前記カテゴリを使用して外挿エンジンを初期化する、ことをさらに備え、
そこで前記プランニングされた表面温度分布の前記外挿することは、前記外挿エンジンを使用して行われる、請求項６１に記載のコンピュータ実装方法。
【請求項６４】
チャンバ内のアイテムを加熱するためのコンピュータ実装方法を実行するインストラクションを格納する非一時的なコンピュータ可読媒体であって、前記コンピュータ実装方法は、
マイクロ波エネルギー源から前記アイテムへエネルギーを印加し、
関数を評価し、第一関数出力を生成し、そこで第一潜在行動は前記関数を評価するために使用され、
前記第一関数出力を使用して前記チャンバ内の前記アイテムを加熱するプランを生成し、そこで前記プランは行動系列であり、
前記プランを実行することにより、前記チャンバ内の前記アイテムを加熱する、ことを備え、
そこで前記関数はコスト関数であり、
そこで前記関数出力はプランコストであり、
そこで前記第一潜在行動は（ｉ）前記マイクロ波エネルギー源から前記チャンバ内のエネルギー分布の相対位置を変更すること、及び（ｉｉ）前記マイクロ波エネルギー源から前記チャンバ内の前記エネルギー分布の強度を変更することのうちの１つである、非一時的なコンピュータ可読媒体。
【請求項６５】
前記コンピュータ実装方法は、
前記関数を評価し、第二関数出力を生成し、そこで第二潜在行動は前記関数を評価するために使用され、そこで前記第二潜在行動及び前記第一潜在行動は相互に排他的なプランの各メンバーであり、
前記第一プランコスト及び前記第二プランコストの比較に基づきさらなる評価のために前記プランを選択する、ことをさらに備え、
そこで前記第二関数出力は第二プランコストであり、
そこで前記第二関数は前記プランを生成するためにも使用される、請求項６４に記載の非一時的なコンピュータ可読媒体。
【請求項６６】
前記関数を評価することは、
ヒューリスティックを使用して将来のプランコストを推定し、
トラバースされたプランコストを計算し、
前記将来のプランコスト、及び前記トラバースされたプランコストを合計する、ことをさらに備える、請求項６４に記載の非一時的なコンピュータ可読媒体。
【請求項６７】
前記ヒューリスティックを使用することは、
前記アイテムの表面温度分布から１セットの温度値を取得し、
１セットのデルタ値を取得し、そこで各デルタ値は前記１セットの温度値内の１つの温度値、及び１つの所望の温度値に対応し、
前記１セットのデルタ値を合計し、前記推定された将来のプランコストを取得する、ことを備える、請求項６６に記載の非一時的なコンピュータ可読媒体。
【請求項６８】
前記コンピュータ実装方法は、
前記赤外線センサを使用して前記アイテムについての第一表面温度分布を感知し、
前記第二表面温度分布をプランニングされた表面温度分布と比較し、
前記比較するステップ中に分散を検出し、
前記分散を検出することに応答して前記アイテムを加熱する第二プランを導出し、
前記第二プランを少なくとも部分的に実行することにより、前記チャンバ内の前記アイテムを加熱する、ことをさらに備え、
そこで前記プランニングされた表面温度分布は前記チャンバ内の前記アイテムを加熱する前記プランにより生成される、請求項６４に記載の非一時的なコンピュータ可読媒体。
【請求項６９】
前記コンピュータ実装方法は、
赤外線センサを使用して前記アイテムについての第一表面温度分布を感知し、
前記第一表面温度分布を使用してプランニングされた表面温度分布を外挿する、ことをさらに備え、
そこで前記プランニングされた表面温度分布は前記関数を評価し、前記第一関数出力を生成するためにも使用される、請求項６４に記載の非一時的なコンピュータ可読媒体。
【請求項７０】
前記関数はプラン持続時間とともに増加する第一項により少なくとも部分的に定義され、
前記関数は前記プランニングされた表面温度分布内の表面温度値が閾値温度を超えるときに増加する第二項により少なくとも部分的に定義される、請求項６９に記載の非一時的なコンピュータ可読媒体。
【請求項７１】
前記コンピュータ実装方法は、
前記赤外線センサ及び可視光センサのうちの少なくとも１つを使用して前記アイテムと関連するカテゴリを識別し、
前記カテゴリを使用して外挿エンジンを初期化する、ことをさらに備え、
そこで前記プランニングされた表面温度分布の前記外挿することは前記外挿エンジンを使用して行われる、請求項６９に記載の非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
関連出願の相互参照
本出願は、２０１６年３月３０日に出願された米国仮出願第６２／３１５，１７５号、２０１７年１月１２日に出願された米国仮出願第６２／４４５，６２８号、２０１６年６月１３日に出願された米国仮出願第６２／３４９，３６７号、及び２０１６年１２月１４日に出願された米国仮出願第６２／４３４，１７９号の利益を主張する、２０１７年３月２３日に出願された、米国出願第１５／４６７，９７５号へ優先権を主張し、これらのすべては、すべての目的のためにそれらの全体が本明細書に参照により援用される。
【０００２】
電子オーブンは、アイテムに電磁放射線を当てることによりチャンバ内のアイテムを加熱する。マイクロ波オーブンの事例において、この放射線は、２．４５ＧＨｚまたは９１５ＭＨｚのいずれか一方の周波数においてマイクロ波の形態を最もよく取る。放射線のこれらの形態の波長は、それぞれ１２ｃｍ及び３２．８ｃｍである。マイクロ波オーブン内のこれらの波は、チャンバ内で反射し、定常波を引き起こす。定常波は、同相にあり、反対方向に進行する２つの波により引き起こされる。これら２つの波の組み合わされた効果は、腹及び節の生成である。これらの波は、節において完全に干渉し、エネルギーを送達しないスポットを生成する。これらの波は、腹において完全に可干渉性を示し、単一の波の２倍のエネルギーを送達するスポットを生成する。放射線の波長は、加熱されているアイテム内に熱が拡散する速度と比較して相当なものである。結果として、電子オーブンは、従来の方法と比較して不均一に食べ物を加熱する傾向にある。
【０００３】
また電子オーブンは、それらが加熱されるアイテムの特定の体積へ熱を導入する機構のために、不均一に食べ物を加熱する傾向にある。マイクロ波オーブン内の電磁波は、水などの、偏極した分子を引き起こし、前後に回転させることにより、運動エネルギーの形態でアイテムへエネルギーを送達する。このように、純水は、マイクロ波において非常に効率的に加熱されるが、偏極した分子を含まないアイテムは、効率的に加熱されない。これは、単一のアイテムの異なる部分を高温に加熱するが他の部分を加熱しない可能性があるために、不均一な加熱の問題を悪化させる。たとえば、その高いショ糖含有量によりジェリードーナッツの内側は、非常に熱くなるが、ドーナッツの外側は、熱くはならない。
【０００４】
電子オーブン内の不均一な調理に対処するための従来の方法は、回転トレー上で加熱されるアイテムを移動させること、及び回転スターラにより電磁エネルギーのビームをさえぎることを備える。これら両方のアプローチは、電磁波の腹の適用がアイテム上の特定のスポットに適用されることを防ぐことにより不均一な加熱を防止する。しかしながら、これら両方のアプローチは、腹、及びアイテム自体の相対位置のそれらの処理において本質的にランダムである。それらは、マイクロ波において不均一に加熱される特定のアイテムの問題にも取り組んでいない。これらのアプローチにおいて、チャンバへ加えられる熱は、加熱されるアイテムの、位置、または特定の内部特性に基づき調整されない。
【発明の概要】
【課題を解決するための手段】
【０００５】
本明細書に開示されるアプローチは、評価フィードバックまたは決定論的プランニングを使用して加熱するためにチャンバ内に配置される任意のアイテムへエネルギーを印加することにより、電子オーブンにおける不均一な加熱の問題を解決する。いくつかのアプローチにおいて、評価フィードバックは、制御システムへ提供される赤外線センサを使用してアイテムについての表面温度分布を感知することによるアイテムの評価を含む。いくつかのアプローチにおいて、評価フィードバックは、インピーダンスマッチングまたはリターンロスなどの、アイテムへのエネルギー印加と関連するＲＦパラメータを感知することによるアイテムの評価を含む。いくつかのアプローチにおいて、決定論的プランニングは、評価フィードバックのために使用される本明細書に考察されるパラメータのうちのいずれかの評価を使用して行われる。たとえば、決定論的プランニングは、アイテムの表面温度分布の評価により導かれることが可能である。表面温度分布の評価は、そのプランを生成するために使用されることが可能である情報を取得する目的のために、このような決定論的プランナにより開発されるプランの実際の実行の前に行われる、発見段階中に行われることが可能である。また表面温度分布の評価は、プランが生成されたときに期待されたものに従い、アイテムの実際の加熱が進行していないかどうかを判定するプランの実行中に行われることが可能である。
【０００６】
いくつかのアプローチにおいて、決定論的プランニングにより開発されるプランの実行中に、または評価フィードバックループの実行中に制御システムにより取られる行動は、アイテムへエネルギーを印加することと、チャンバについてのエネルギー源の強度のうちの少なくとも１つを変更することと、そのエネルギー源により形成される可変分布に関してアイテムの相対位置を変更することとを備える。たとえば、マイクロ波源は、チャンバ内の電磁エネルギーの可変分布を形成することが可能であり、加熱されるアイテムへの可変分布の相対位置は、調整されることが可能である。可変分布は、節及び腹を含むことが可能である。可変分布は、エネルギーが任意の他の隣接位置より大きい程度に印加される極大値、または「ホットスポット」を含むことができる。極大値は、アイテムに関して相対位置を有する。制御システムにより取られる行動は、第一位置価値から第二位置価値へ相対位置を変更することを備えることが可能である。本明細書に使用されるように、用語「可変分布」は、空間にわたるエネルギーレベルにおける分散を指し、一時的に変化しているエネルギー分布を指さない。
【０００７】
いくつかのアプローチにおいて、評価フィードバックを使用して、制御システムをトレーニングし、最適な方式でエネルギーをチャンバ内に配置される任意のアイテムへ印加する。評価フィードバックは、制御システムにより取られる各行動がトレーニング情報を制御システムへ提供するため、任意のアイテムについての不均一な加熱の問題に特に適用可能である。これは、純粋なデータ操作タスクと異なり、各トレーニングエピソードがかなりの時間を必要とするために、制御システムをトレーニングし、アイテムを加熱する事例において特に有益である。制御システムをトレーニングし、別のデジタルシステムに対してチェスをするような、純粋にデジタルレルム内に存在するトレーニング環境を使用して制御システムをトレーニングすることは、１ミリ秒未満続くエピソードをトレーニングすることを備えることが可能である。しかしながら、現実の世界において起こる物理的反応を有するトレーニング環境を使用して制御システムをトレーニングすることは、実際のこれらの物理的反応速度により設定される制約を伴う。したがって、評価フィードバックは、制御システムにより取られる各行動に応答して情報をトレーニングすることを提供し、さらにトレーニング情報が設定された一定期間内に取得されることが可能であるために、この特定の用途にとって有益である。
【０００８】
また本明細書に開示されるアプローチのうちのいくつかは、評価フィードバックから収集される情報を利用し、強化学習トレーニングシステムを使用して制御システムをトレーニングする。強化学習は、行動価値関数、及び異なる状態への報酬値の割り当ての使用を伴う。行動価値関数は、システムの状態、及び潜在行動を取り、その行動を取ることから取得される潜在的将来報酬を入力及び出力としてその状態から取る。いくつかのアプローチにおいて、この状態は、アイテムの表面温度分布により少なくとも部分的に定義されることが可能である。たとえば、この状態は、２次元平面または３次元体積のいずれか一方にわたる物理的位置に対応する温度値の行列であることが可能である。２次元平面は、赤外線カメラ上のピクセル位置により設定されることが可能である、またはそれは、アイテムの視覚像から外挿されるアイテムの実際の表面積であることが可能である。報酬値は、複数の入力を使用して計算されることが可能であり、表面温度分布から導出されることが可能である。報酬は、正または負であることが可能である。たとえば、より高い報酬は、表面温度分布内の分散を低く保つために提供されることが可能である。負の報酬は、アイテムがチャンバ内で炭になる、またはこぼれることを引き起こすために提供されることが可能である。
【０００９】
いくつかのアプローチにおいて、プランは、電子オーブンまたはアイテムの動作について特定のパラメータの決定論的プランナ及び評価を使用して生成される。たとえば、電子オーブンは、コスト関数を評価し、アイテムを最低コストにより加熱するためのプランを決定することが可能である。コスト関数を評価することは、チャンバ内のアイテムの表面温度分布についての情報の利用を伴う。この情報を使用して、アイテムについてプランニングされた表面温度分布を外挿することが可能である。たとえば、所定のエネルギー印加に応答するアイテムの表面温度分布を使用して、まだ発生していないアイテムに対してプランニングされたエネルギー印加に応答してアイテムの温度分布が変化する方法を外挿することが可能である。つぎに外挿された分布を使用して、そのプランニングされたエネルギー印加と関連するコスト関数を評価することが可能である。また情報を使用して、実際の表面温度がプランニングされた表面温度分布からはずれているかどうかを判定して、期待値に対するプランのパフォーマンスを監視し、新規のプランを決定するかどうかを判定することが可能である。また情報は、ヒューリスティックを使用して推定されたプランコストを生成するために使用されることが可能である。たとえば、電子オーブンについての１セットの構成下で１セットの所定のエネルギー印加に応答するアイテムの表面温度分布を使用して、アイテムが標的温度に到達するために加熱される必要がある時間の推定値を与えることが可能である。
【００１０】
赤外線評価制御を利用する１セットの例示的なコンピュータ実装方法は、図１内のフローチャート１００及び電子オーブン１１０を参照して記述されることが可能である。フローチャート１００は、赤外線評価制御を使用して電子オーブン１１０のチャンバ１１２内のアイテム１１１などの、チャンバ内のアイテムを加熱するための１セットのコンピュータ実装方法を図示する。赤外線評価制御は、評価フィードバック、または決定論的プランナについての情報を取得することを伴うことが可能である。これらの方法は、電子オーブン１１０内の制御システムにより実行される、または管理されることが可能である。電子オーブンは、チャンバ壁部内にマイクロ波エネルギー源１１３及び不連続部１１４を含むことが可能である。マイクロ波エネルギー源１１３は、チャンバ内にエネルギー分布１１５を生成することが可能である。不連続部１１４は、赤外線センサ１１６がアイテムの表面温度分布を感知することを可能にすることができる。センサ１１６は、センサへ赤外線エネルギーをカップリングする導波管、またはいくつかの他の手段を介して不連続部１１４に結合されることが可能である。
【００１１】
ステップ１０１において、電子オーブン１１０の制御システムは、第一行動を取る。この行動は、時間ｔで行われるように図示される。第一行動は、マイクロ波エネルギー源１１３からチャンバ１１２内のエネルギー分布１１５の相対位置及び強度のうちの少なくとも１つを変更する。エネルギー分布１１５の相対位置は、アイテム１１１に関して定義される。分布１１５は、チャンバに印加されるようなマイクロ波エネルギー源１１３の定常波パターンにより引き起こされることが可能である。また分布１１５は、アイテムへの標的に定められたエネルギー印加により引き起こされることが可能である。例示的な可変分布１１５は、アイテム１１１へ適用されるように図示される。可変分布１１５は、ポイント１１７にアイテム１１１によりアライメントを取る極大値を含む。
【００１２】
ステップ１０２において、アイテムについての表面温度分布は、赤外線センサを使用して感知される。赤外線センサは、アイテム１１１から赤外線放射線を捕捉する赤外線センサ１１６であることが可能である。ステップ１０２は、アイテム１１１へのエネルギー送達と関連するＲＦパラメータを感知することを代替に、または加えて備えることが可能である。この事例において、ステップ１０２のいくつかの態様は、ステップ１０１と同時に行われることが可能である。しかしながら、ステップ１０２は、電子オーブンがステップ１０１において行動の実行を完了した後に行われることも可能である。たとえば、全体的な加熱プロセスの発見段階中に測定される表面温度分布の特定の事例において、ステップ１０１における行動は、アイテムへのエネルギー供給であることが可能であり、ステップ１０２における感知は、エネルギー送達直後にアイテムの応答を測定するように行われることが可能である。
【００１３】
ステップ１０３において、電子オーブンの制御システムは、関数を評価し、関数出力を生成する。ステップ１０２において感知される表面温度分布から導出される情報、及び取る電子オーブンについての少なくとも１つの潜在行動を使用して、この関数を評価することが可能である。潜在行動は、ｔ＋Δｔとラベル付けされ、ｔ＋Δｔは、それが近接した時間ステップにおいて取られる行動であることを示す。ステップ１０３からステップ１０１へのループバックは、時間をΔｔ増し、つぎの行動を実行する時間ステップを示す。このステップ１０１の２回目の繰り返し中に、電子オーブンの制御システムは、第二行動を取る。この第二行動は、マイクロ波エネルギー源からチャンバ内のエネルギー分布の相対位置及び強度のうちの少なくとも１つを変更する。第二行動は、関数出力に基づき１セットの潜在行動から選択される。以下に記述されるように、第二行動は、評価フィードバックループに従い制御システムにより取られるつぎの行動であることが可能である、またはそれは、プランに従い行動系列の部分として後に取られる行動であることが可能である。このプランは、ステップ１０３において行われる、決定論的プランナにより、または最適化分析により決定されることが可能である。
【００１４】
この関数は、関数出力として機能する報酬値を含む行動価値関数Ｆ（ｓ，ａ）であることが可能である。報酬値は、状態「ｓ」から行動「ａ」を取ることと関連する報酬であることが可能である。表面温度分布から導出される情報は、関数についての状態値「ｓ」であることが可能である。その後、電子オーブンのつぎの行動は、行動価値関数への第二入力「ａ」であることが可能である。このアプローチは、以下に記述されるように、評価フィードバックまたは強化学習アプローチと組み合わせて使用されることが可能である。
【００１５】
代替に、この関数は、関数出力として機能するコスト値を含むコスト関数Ｆ（ｎ）であることが可能である。コスト値は、節「ｎ」において行われる評価に基づきアイテムを加熱するプランを実行することと関連するプランコストであることが可能である。この節は、電子オーブンが実行することが可能である行動系列により定義されることが可能である。その行動系列における行動のうちの１つは、関数を評価するために利用される潜在行動である。プランコストは、その行動系列の実行に起因するトラバースされたプランコストと関連することが可能である。また節は、外挿エンジンにより提供されるアイテムの外挿された状態と関連することが可能である。また節は、ヒューリスティックにより提供される推定された将来のプランコストと関連することが可能である。表面温度分布から導出される情報は、外挿された状態を外挿するために外挿エンジンにより使用されることが可能である。また表面温度分布から導出される情報を使用して、偏差がプランの外挿された効果から発生するかどうかを判定することが可能である。たとえば、行動系列に起因することを期待される、外挿された表面温度分布は、これらの行動の実際の実行後に感知される実際の表面温度分布と比較されることが可能である。この評価は、偏差検出器により行われることが可能である。偏差を検出すると、制御システムは、元のプランをやめて、新規のプランを生成することが可能である。これらのアプローチは、以下に記述されるように、決定論的プランナと組み合わせて使用されることが可能である。
【００１６】
代替に、この関数は、最適化分析ソルバーにより実行されることが可能である。最適化分析は、許容可能なエラー値（すなわち、公差）内の標的状態へアイテムを加熱するプランを生成することが可能であるかどうかを判定することが可能である。この分析は、前の行動の実行中にセンサから取得されるデータを使用して行われることが可能である。たとえば、データは、感知ステップ１０２において収集され、ステップ１０１において行われる行動へのアイテムの応答を定義することが可能である。つぎに最適化分析は、応答が取得されたセンサデータを通して知られていた、前に行われた行動がアイテムを現在の状態から標的状態にする特定の系列において繰り返されることが可能であるかどうかを判定することが可能である。最適化分析は、凸最適化ソルバーを使用することが可能である。最適化分析の出力は、アイテムを加熱するプランを直接導出するために使用されることが可能である。その事例において、ステップ１０１の将来の繰り返しにおいて行われる行動は、プランにより指定される行動の実行を伴うことが可能である。このような最適化分析は、また、または代替に、上述される、外挿エンジンまたはヒューリスティックとして、及びこれらにより決定論的プランナのプラン生成プロセスの部分として使用されることが可能である。
【００１７】
本明細書に開示されるアプローチのうちのいくつかは、チャンバ内に配置されるアイテムのアイデンティティに基づく制御もしくはトレーニングシステムへの変更、またはユーザにより選択される特定の種類の加熱を含む。特に、本明細書に言及される強化学習アプローチについての、行動価値関数、コスト関数、ヒューリスティック、外挿エンジン、偏差検出器、状態特性、報酬導出プロシージャ、最適化分析、またはトレーニングシステムは、アイテムのアイデンティティ、またはユーザからのコマンドに基づき変更されることが可能である。たとえば、均一な温度を保つことがより大きな報酬、及びより低いコストと関連するように、より大きな温度差からゆっくり回復するとアイテムが認識される場合に、コスト関数及び報酬導出プロシージャの両方を変更することが可能である。別の実施例として、最適化分析についての公差は、アイテムが短期間標的温度を超えたときに急速に乾燥した、または炭化したと認識される場合に、減少することが可能である。
【００１８】
これらのアプローチにおいて、アイテムのアイデンティティに関する情報は、制御及びトレーニングシステムの操作を支援するためにさまざまなチャネルにより与えられることが可能である。これらのチャネルは、アイテムのパッケージ上にあるＱＲコード（登録商標）またはＵＰＣバーコードを含むことが可能である。別のチャネルは、赤外線センサにより監視されるようなエネルギー印加へのアイテムの監視された応答などの所与の較正ステップに対するアイテムへの応答であることが可能である。別のチャネルは、特定の食品としてチャンバ内のアイテムを識別する分類システムとして機能するようにトレーニングされる従来のニューラルネットワークなどの、別の機械学習アルゴリズムであることが可能である。別のチャネルは、アイテムに反射され、可視光センサにより検出される可視光であることが可能である。別のチャネルは、ユーザインタフェースを介する電子オーブンのユーザからの入力であることが可能である。これらのチャネルを介して与えられる情報は、アイテムを簡単に識別し、制御システムがそれ自体を変更する方法を決定することを可能にすることができる、または情報は、制御システムを変更するために実際に直接適用されることができる。たとえば、ＱＲコードは、冷凍食品としてアイテムを識別することが可能であり、制御システムは、識別情報に基づき新規の報酬導出プロシージャをロードすることが可能である、またはＱＲ内の情報自体は、新規の報酬導出プロシージャであることが可能である。たとえば、報酬導出プロシージャは、冷凍から融解へアイテムにおける段階的な相変化に報酬を与えることが可能である。
【００１９】
本明細書に開示されるアプローチのうちのいくつかは、関連したプランナまたは強化学習システムについての関数のために標的状態の定義を必要とする。標的状態は、さまざまな程度の特異度において電子オーブンのユーザから受信されることが可能である。たとえば、ユーザは、アイテムについての特定の温度、またはサブアイテムについての１セットの異なる温度を指定することが可能である。代替に、ユーザは、「温める」または「茹でる」などの一般的なコマンドを指定することが可能であり、標的状態は、そのコマンドから導出されることが可能である。標的状態は、アイテムの表面にわたる、またはアイテムの体積全体にわたる温度分布により定義されることが可能である。いくつかのアプローチにおいて、電子オーブンは、アイテムのアイデンティティ、ユーザから受信する前の入力、ならびに電子オーブンの位置、及び時刻などの他の外部要因のようなコンテキストから標的状態を直観する。
【００２０】
開示されたアプローチは、さらに信頼性のある加熱を提供することにより、電子オーブン及びマイクロ波加熱の分野を進歩させる。制御され信頼性のある方式においてアイテムへの電磁エネルギーの印加を制御することは、技術的な問題である。開示されたアプローチは、その技術的な問題への解決策に寄与する１セットの態様を含む。特に、本明細書に記述されるような、評価フィードバック、最適化分析、決定論的プランナ、及び強化学習の使用は、前述の技術的な問題を解決し、一般的に電子オーブンの動作を改善する独創的な方法において、電子オーブン内のアイテムを加熱するための制御システムの精度及び効率を各強化する。
【図面の簡単な説明】
【００２１】
【図１】本明細書に開示されるアプローチに従い、評価制御システムを使用してチャンバ内のアイテムを加熱するための１セットのコンピュータ実装方法についてのフローチャート、及び電子オーブンの図解を含む。
【図２】本明細書に開示されるアプローチに従い、電子オーブンのチャンバ内のエネルギー分布を変更するための反射要素の平面図及び側面図を含む。
【図３】本明細書に開示されるアプローチに従い、最適化分析を使用してチャンバ内のアイテムを加熱するための１セットのコンピュータ実装方法についてのフローチャートを含む。
【図４】図３内の最適化分析のうちのいくつかの説明を容易にする状態ベクトル及び応答ベクトルを反映する１セットの色符号化グリッドを含む。
【図５】図３内の最適化分析のうちのいくつかの説明を容易にするデータフロー図を含む。
【図６】本明細書に開示されるアプローチに従い、単一の持続時間ベクトルから導出される２つのプランをグラフにする２セットの軸を含み、そこで両方のセットの軸のうちのｘ軸は、秒単位の時間であり、両方のセットの軸のうちのｙ軸は、摂氏度単位の温度である。
【図７】最適化分析のシミュレーションされたエラーをグラフにする１セットの軸を含み、そこでｘ軸は、最適化分析に利用可能な構成数であり、ｙ軸は、摂氏度におけるエラーである。
【図８】本明細書に開示されるアプローチに従い、強化学習を備える評価フィードバック制御システムを使用してチャンバ内のアイテムを加熱するための１セットのコンピュータ実装方法のフローチャートを含む。
【図９】本明細書に開示されるアプローチに従い、行動価値関数として機能する関数アプロキシメータを備える制御システムの動作を図示するブロック図を含む。
【図１０】本明細書に開示されるアプローチに従い、決定論的プランナを使用してチャンバ内のアイテムを加熱するための１セットのコンピュータ実装方法についてのフローチャートを含む。
【図１１】本明細書に開示されるアプローチに従い、１セットの行動に応答してアイテムの状態を外挿するために表面温度分布を利用する外挿エンジンの概念図を含む。
【図１２】本明細書に開示されるアプローチに従い、それが実行される場合に監視される、導出されたプランのパフォーマンスの概念図を含む。
【図１３】本明細書に開示される強化学習アプローチに従う電子オーブンのための制御システムを図示するデータフロー図を含む。
【図１４】本明細書に開示される決定論的プランナアプローチに従う電子オーブンのための制御システムを図示するデータフロー図を含む。
【図１５】本明細書に開示されるアプローチに従う状態導出システムの態様の概念図を含む。
【図１６】外部チャネルからのデータを使用して図１３内の制御システムの初期化を示すデータフロー図を含む。
【発明を実施するための形態】
【００２２】
電子オーブンのチャンバ内のアイテムを加熱するために評価制御を使用する制御システムを開示する。いくつかのアプローチにおいて、制御システムは、評価フィードバックを使用する。制御システムの出力は、チャンバ内のアイテムに関してオーブンのチャンバに印加される電磁エネルギーの、パワーレベル、及び可変分布の相対位置を含むことが可能である。制御システムへのフィードバックは、可視光データ、アイテムの表面温度分布、またはチャンバもしくはアイテムによる電磁エネルギーの吸収と関連するＲＦパラメータを含むことが可能である。いくつかのアプローチにおいて、評価フィードバックは、強化学習トレーニングシステムを使用して制御システムをトレーニングするために使用される。いくつかのアプローチにおいて、制御システムは、アイテムを加熱するために決定論的プランナを使用するプランを生成する。いくつかのアプローチにおいて、評価フィードバックは、所与の行動へのアイテムの応答を学習するために使用される。つぎに応答及び行動の組は、アイテムを標的状態へ加熱するプランを導出するために使用されることが可能である。このプランは、チャンバ内のアイテムに関してチャンバに印加される電磁エネルギーのパターンについて、パワーレベル、及び可変分布を変更する行動系列を含むことが可能である。プランは、全体的な加熱プロセスの発見段階中にアイテムの表面温度分布の評価、及び表面温度分布が電子オーブンにより取られる追加の行動に応答してどのように変わるかの外挿に基づき生成されることが可能である。プランのパフォーマンスは、プランの実行中に、アイテムの表面温度分布の評価、または他のフィードバックパラメータに基づき監視されることが可能である。
【００２３】
電子オーブン構成要素
図１内の電子オーブン１１０は、本明細書に開示されるアプローチに従い使用されることが可能である電子オーブンのさまざまな特徴を示す。オーブン開口部は、加熱されるアイテム１１１を配置するチャンバ１１２をみせるために図示されない。アイテム１１１は、エネルギー源１１３からエネルギーの可変分布１１５を介して電磁波を照射される。アイテムは、トレー１１８上に配置されることが可能である。電子オーブン１１０は、制御パネル１１９を含む。制御パネル１１９は、オーブン１１０内であるが、チャンバ１１２の外側に設置される制御システムに接続される。制御システムは、プロセッサ、ＡＳＩＣ、または他の組み込みシステムコアを含むことが可能であり、プリント回路基板、または他の基板上に設置されることが可能である。また制御システムは、本明細書に開示される方法を実行するためのインストラクションを格納する、ファームウェア、またはフラッシュもしくはＲＯＭなどの不揮発性メモリへのアクセスを有することが可能である。
【００２４】
エネルギー源１１３は、電磁エネルギー源であることが可能である。このエネルギー源は、単一の導波管またはアンテナを含むことが可能である。エネルギー源は、アンテナのアレイを含むことが可能である。電磁波は、マイクロ波であることが可能である。電子オーブン１１０は、直流電力からマイクロ波を生成するキャビティマグネトロンを含むことが可能である。マイクロ波は、２．４５ＧＨｚまたは９１５ＭＨｚの周波数を有することが可能である。キャビティマグネトロンは、さまざまな電力レベルにおいてマイクロ波を生成することが可能であるような、最新のインバータマイクロ波技術により電力を供給されることが可能である。しかしながら、従来のパワーコンディショニング技術は、マグネトロンについて設定された直流電力レベルを生成するために使用されることが可能である。電磁波は、一般的に高周波であることが可能である。また、これらの波の周波数は、エネルギー源１１３により可変であることが可能である。またエネルギー源１１３は、同時に異なる周波数を有する複数の波形パターンを生成するように構成されることが可能である。
【００２５】
マイクロ波１１０は、チャンバ１１２により画定される体積内の異なる３次元ポイントにおいて形成される腹及び節を含むチャンバ１１２内の可変分布１１５を形成することが可能である。チャンバ１１２内の可変分布についての特定の物理的構成は、電子オーブンのモードと称されることが可能である。チャンバ内のエネルギーの相対分布は、アイテム１１１を静止状態に保ちながら電子オーブンのモードを変更することにより、またはチャンバ内でアイテム１１１を移動させることにより変更されることが可能である。エネルギー源１１３は、チャンバ１１２内で固定位置に定常波形成を妨げるモードスターラを有することが可能である。このモードスターラは、チャンバ１１２に印加されている電磁エネルギーを部分的にさえぎるような方式、ならびにさまざまな程度の反射を引き起こし、チャンバ１１２内に形成される腹及び節のパターンを変更するためにエネルギーをさえぎるような方式において配置される突出部の集合体であることが可能である。エネルギー源１１３がアンテナアレイである状況において、エネルギー源は、アレイ内のアンテナへ可変レベルのエネルギーを即時に送達し、チャンバ１１２内の可変分布を変更することが可能である。
【００２６】
制御パネル１１９は、ユーザと通信するために使用されることが可能である。制御パネル１１９は、ユーザへ情報を提供する、ユーザからコマンドを受信する、または両方をするために使用される。制御パネル１１９は、任意選択のディスプレイ、キーパッド、スピーカ、及びカメラとともに示される。制御パネルは、ディスプレイ上に情報を表示することが可能である。ディスプレイは、タッチコントローラを介してユーザから、タッチ可能にされ、コマンドを受信することが可能である。制御パネルは、スピーカを介してオーディオプロンプトを提供し、一体型マイクロホンを介してユーザから音声コマンドを受信することが可能である。音声システムの精巧化により、スピーカは、ユーザに関して基本的なダイアログを実行し、電子オーブンへ音声コマンドのエントリに際してユーザをガイドするために使用されることも可能である。制御パネルは、キーパッドを介してユーザからコマンドを受信することが可能である。基本的な１セットのキーを図１に提示するが、電子オーブンは、本明細書に開示される電子オーブンの特定の機能へ固有のコマンドを入力するために任意の数の特殊なキーを含むことが可能である。制御パネルは、カメラを介して、または代替の超音波センサもしくは紫外線センサを通してユーザからジェスチャーコマンドを受信することが可能である。制御パネルは、カメラを介してチャンバ１１２内にアイテムを配置する前に、アイテムのパッケージ類からのＵＰＣまたはバーコードから情報を受信することが可能である。またカメラは、従来の分類器及び画像認識技術を使用してカメラの視野内に配置されるアイテムを認識するように構成されることが可能である。
【００２７】
また電子オーブン１１０は、有線または無線通信システムへの１つ以上の接続を有することが可能である。たとえば、オーブンは、衛星またはＷｉ−Ｆｉ接続用の受信器を含むことが可能である。電子オーブン１１０についての制御システムは、その受信器を介してインターネット経由で通信するためにウェブブラウザ、または簡単なＨＴＴＰクライアントを含むことが可能である。また無線通信システム及び制御システムは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、Ｚ−ｗａｖｅ、または同様の規格の使用を介してなどの、ＬＡＮまたはＰＡＮ経由で通信するように構成されることが可能である。またラジオは、加熱されるアイテムのパッケージ類上に配置されるＲＦＩＤタグと誘導通信を行うように構成されることが可能である。誘導通信は、ＮＦＣ通信であることが可能である。
【００２８】
電子オーブンは、電子オーブン１１０のメーカーにより、またはメーカーの代わりに管理されるセントラルサーバへ前述の手段のうちのいずれかを介して通信し、機械の動作について情報を提供することが可能である。制御パネル１１９により提供されるすべての機能は、携帯電話などの別の消費者デバイスにより、または前述の手段のうちのいずれかを介するワークステーション上のウェブポータルにより提供されることが可能である。通信は、オーブンからデバイスへステータス情報、またはデバイスからオーブンへコマンドを提供することを備えることが可能である。別の場所にあるデバイス及びオーブンについて可能性を与える、追加の機能（たとえば、チャンバ内にあるものの、さらに頻繁なステータス更新、または可視光画像）を提供することができる。
【００２９】
また電子オーブン１１０は、電磁放射線をチャンバから向けることを可能にするように構成される、チャンバ１１２の壁部内に不連続部を含むことが可能である。不連続部は、開口部１１４であることが可能である。電子オーブン内の開口部１１４は、チャンバ１１２の壁部上に示されるが、開口部は、チャンバ１１２の内側の十分なビューを提供するチャンバ１１２の表面上のどこへでも設置されることが可能である。開口部は、エネルギー源１１３からの電磁エネルギーを遮断するが、他のスペクトル内の電磁エネルギーが開口部１１４を通り漏出することを可能にするように設定される、物理的パラメータを含む元のカットオフ導波管を備えることが可能である。たとえば、可視光及び赤外線エネルギーが開口部１１４を通過することを可能にしながら、マイクロ波エネルギーが開口部を出ることを防ぐことが可能である。
【００３０】
開口部１１４は、チャンバ１１２からセンサへ、直接に、または導波管を通してのいずれか一方でエネルギーを向けることが可能である。センサは、赤外線エネルギーもしくは可視光、またはこれら２つの組み合わせを検出するように構成されることが可能である。１つのセンサ、または１セットのセンサは、可視光センサ線データ、及び／または赤外光センサデータを取得することが可能である、ＩＲカメラ、可視光カメラ、サーモパイル、または任意の他のセンサを含むことが可能である。特定の実施例において、開口部は、カメラについて可視光センサ及び赤外線センサの両方として作用し、赤外線センサデータ及び可視光センサデータの両方を受信するために、取り外されるＩＲフィルタを含む標準的な可視光カメラに接続されることが可能である。単一のセンサアプローチは、２つの異なる視野のアライメントにおけるエラーが２つのセンサシステムに関する事例であることが可能であるように相殺される必要がないという点において特定の利点を提供する。
【００３１】
同一の開口部は、チャンバから可視光及び赤外光の両方を向けるために使用されることが可能である。１つのアプローチにおいて、時間多重フィルタリングシステムは、元のカットオフ導波管に加えて、または元のカットオフ導波管の代替に使用されることが可能であり、単一のセンサ、または複数のセンサが同一の電磁エネルギーストリームから可視光エネルギー及び赤外線エネルギーの両方を検出することを可能にすることができる。フィルタは、電磁エネルギーの異なるスペクトルについてのフィルタを含む、ホイール、または他のセレクタを含むことが可能である。ホイールは、電磁エネルギーストリーム沿いに配置され、可視光または赤外線エネルギーのみを代替に送信する。１つのセンサ、または複数のセンサは、ホイールの代替の側面上に配置され、つぎに入ってくるストリームから所望の光を検出することが可能である。またセンサは、両方のスペクトルについての情報を取得するように、ならびにデジタルフィルタリングを使用してその赤外線及び可視光成分の部分に信号を分解するように構成されることが可能である。別のアプローチにおいて、センサは、たとえば、チャンバ上の開口部に関してわずかに異なる角度で配置されることにより、同一の電磁エネルギーストリームの異なるセグメントを連続して取得するように構成されることが可能である。
【００３２】
例示的な電子オーブンは、アイテム１１１の異なるビューを得るために追加の開口部を含むことも可能である。つぎに、さまざまなビューからのデータを組み合わせて、アイテムの３次元画像を形成することが可能である。しかしながら代替に、開口部１１４を通る可視光を感知するために適用されるカメラは、同様の結果を達成する３次元カメラであることが可能である。特に、２つのカメラを含む２つの開口部を利用して、アイテム１１１についての立体情報を取得することが可能である。別の特定の実施例として、２つの開口部を使用して、異なるデータストリームを取得することが可能である（たとえば、開口部１１４は別の開口部が赤外光センサのデータストリームを取得しながら可視光センサのデータストリームを取得することが可能である）。
【００３３】
本開示に従う例示的な電子オーブンは、図１に示されない他の特徴を含むことが可能である。オーブンは、複数の追加のセンサにより増強されることが可能である。これらのセンサは、アイテム、チャンバ、またはオーブンの状態についての情報を取得するために使用されることが可能である、温度センサ、聴覚センサ、ＲＦパラメータセンサ、湿度センサ、微粒子濃度センサ、高度センサ、超音波センサ、紫外線またはＩＲセンサ、スケールなどの重量センサ、及び任意の他のセンサを含むことが可能である。たとえば、ソース１１３を介してチャンバ１１２に印加される電力、チャンバ１１２からのリターンロス、エネルギー源とアイテムまたはチャンバとの間のインピーダンスマッチング、及びエネルギー源の他の物理的態様を検出するセンサを含むことが可能である。特に、リターンロスを測定し、アイテムが凍結するときと比較して、さらにより大きな程度にアイテムが融解するときに、特定のアイテムがエネルギーを吸収する場合に、アイテム１１１内の相変化を決定することが可能である。またインピーダンスマッチングまたはリターンロス測定は、加熱されるアイテムの物性におけるさらにわずかな変化を検出するために適用されることが可能である。追加のセンサは、換気システムを介して、またはチャンバ内で排気チャンバ１１２の湿度を検出することが可能である。追加のセンサは、これらの体積内の微粒子濃度を検出し、アイテムが煙を出しているかどうかを判定することが可能である。追加のセンサは、アイテム１１１の重量を検出することが可能である。
【００３４】
電子オーブン１１０は、アイテム１１１を加熱するときにチャンバ１１２内に跳ね飛ぶことを防ぐために、アイテム１１１上に配置する透明なカバーを含むことが可能である。カバーは、開口部１１４を介してこれらの周波数帯域内の電磁放射線の感知と干渉しないように、可視光及び赤外光の両方に透過的であることが可能である。たとえば、カバーは、赤外線透過プレキシガラスであることが可能である。またカバーは、水蒸気が筐体を漏出することを可能にするために、疎水性層内に材料をコーティングすることにより、またはカバー内に穿孔部を作製することにより水滴の形成を防ぐように加工処理されることが可能である。
【００３５】
チャンバ内のエネルギーの可変分布を変更するための特定のクラスのアプローチは、エネルギー源から１セットの可変反射率要素へエネルギーを印加することを伴う。これらの要素の反射率を変更し、エネルギー源から入射する電磁波へ異なる位相シフトを導入することが可能である。これらのようなアプローチの実施例は、「Ｅｌｅｃｔｒｏｎｉｃ  Ｏｖｅｎ  ｗｉｔｈ  Ｒｅｆｌｅｃｔｉｖｅ  Ｅｎｅｒｇｙ  Ｓｔｅｅｒｉｎｇ」と題する、２０１６年１２月１４日に出願された、米国特許出願第６２／４３４，１７９号、及び「Ｅｌｅｃｔｒｏｎｉｃ  Ｏｖｅｎ  ｗｉｔｈ  Ｒｅｆｌｅｃｔｉｖｅ  Ｂｅａｍ  Ｓｔｅｅｒｉｎｇ  Ａｒｒａｙ」と題する、２０１６年６月１３日に出願された、第６２／３４９，３６７号に記述され、これら両方は、それら全体がすべての目的のために本明細書に参照により援用される。可変反射率要素の状態、及びエネルギー源の状態は、電子オーブンについて異なる構成を定義することが可能である。これらの構成は、チャンバ内のエネルギーの、異なるモード、または可変分布と各関連することが可能である。このようなものとして、異なる構成は、チャンバ内のアイテムに印加されるエネルギーの異なる分布をもたらす。したがって、異なる構成の中からの選択は、アイテムについて異なる加熱パターンをもたらし、オーブンが別にアイテムの異なる部分を加熱すること、または必要に応じてアイテムをさらに均一に加熱することを可能にすることができる。
【００３６】
異なる構成は、チャンバ内に生成される異なる関連したエネルギーの可変分布により定義される。しかしながら、これらの構成は、必ずしも電子オーブン自体が異なる物理的構成を取ることを必要としない。いくつかのアプローチにおいて、可変反射率要素及びエネルギー源の状態は、電子オーブンがいかなる可動部品も利用せずに変更されることが可能である。たとえば、可変反射率要素及びエネルギー源は、ソリッドステートデバイスのみを各含むことが可能であり、オーブンの構成は、異なる信号をこれらのソリッドステートデバイスへ提供することにより設定されることが可能である。しかしながら、他のアプローチにおいて、これらの構成は、電子オーブンについて異なる物理的構成を伴う。たとえば、チャンバ内のエネルギーの可変分布は、図２を参照して記述されるような、１セットの可変反射率要素において可変反射率要素の物理的位置を独立して変更することにより、変更されることが可能である。
【００３７】
マイクロ波源１１３からなどの、チャンバに印加される電磁波は、偏波した電磁波、または部分的に偏波した電磁波であることが可能である。したがって、電磁波が入射する可変反射率要素の方向を変更することにより、チャンバ内のエネルギーの分布を変更することが可能である。特に、反射要素の位置を変更し、チャンバ内の電磁波の支配的な偏波に関して反射要素の方向を調整することが可能である。たとえば、各可変反射率要素により導入される位相シフトは、０°から９０°にバイナリ方式において代替に変更され戻ることが可能である、またはスペクトルの各グラデーション間の滑らかな遷移により０°から１８０°のどこにでもアナログ方式において変更されることが可能である。さらに特定の実施例として、入射電磁波の支配的な偏波に関する各可変反射率要素の方向は、０°から９０°に変更され戻ることが可能である、または各方向間の滑らかな遷移により０°から１８０°のどこにでもあることが可能である。特に、バイナリ事例においてでさえ、大きな柔軟性は、各個々の要素が２つの状態のみを有するという事実にもかかわらず、制御システムに依然として提供されることが可能であるように、可変反射率要素は、大きな１セット内のただ１つの要素であることができる。
【００３８】
図２は、側面図（図２の上面画像）及び平面図（図２の底面画像）の両方から可変反射率要素２００を示す。要素２００は、第一位置から第二位置へその物理的位置を変更することにより、チャンバ内のエネルギーの可変分布を変更する。要素２００は、この事例において、アルミニウム、鋼、または銅などの板金から形成されることが可能である比較的平らな伝導性材料片である、反射要素２０１を含む。反射要素２０１は、チャンバの表面上に保持され、チャンバ壁部２０２により、このチャンバ壁部内の不連続部２０４を通り延出する誘電軸２０３により定義される。この軸は、誘電体であり、小さな穿孔部を通過し、チャンバから漏出するマイクロ波エネルギー用にアンテナを作製することを回避するように一般的に構成される。
【００３９】
チャンバ外側上のモータは、矢印２０５により図示されるように誘電軸へ力を伝えることにより誘電軸２０３を介して反射要素２０１を回転させることが可能である。この力は、軸２０３に取り付けられるロータにより加えられることが可能である。図２に示される構造全体をチャンバの仮の壁部背後にシールし、汚損または機械的破損から構造を保護することが可能である。このモータは、固定された１セットの位置から選択される１セットの位置間で軸を回転させることが可能である。たとえば、モータは、９０°の円弧を介して前後に反射要素２０１を回転させるように、軸を調整することが可能である。しかしながら、モータは、３６０°の円弧全体に沿い任意の数の固定されたステップを通して反射要素を回転させることも可能である。
【００４０】
上述される多くのアプローチは、電子オーブンがどの構成にあるかを制御システムが正確に追跡し続けながら、複数の構成に置かれることが可能である電子オーブンの特徴を示す。制御システムが電子オーブンの現在の状態に気づかない、従来のモードスターラ、及び同様のデバイスの操作パラダイムと対照的に、開示されたアプローチは、制御システムが複数の要素の状態を独立して変更し、特にオーブンの状態を設定することを可能にする。これは、電子オーブンが制御システムに利用可能である複数の状態を有するため、制御システムが下記の多くの制御アプローチを効果的に実行することを可能にし、これらの特定の状態におけるエネルギーの特定の印加へのアイテムの応答を特異度により観測することが可能である。
【００４１】
評価フィードバック−ヒューリスティック最適化制御
所与の行動へのチャンバ内のアイテムの応答は、アイテムがその行動にどのように応答したかの説明として感知され、評価され、格納されることが可能である。これらのステップを繰り返し、アイテムがさまざまな行動にどのように応答するかの説明のライブラリを形成することが可能である。つぎに、これらの説明のライブラリは、現在の状態から標的状態へアイテムを加熱するためのプランを開発するために利用されることが可能である。このプランは、現在の状態からさまざまな制約の対象となる標的状態近くへアイテムを至らせるために、ライブラリから行動を選択する最適化分析を使用して制御システムにより自動的に開発されることが可能である。また制御システムは、現在わかっている情報レベルを含む所与の１セットの制約内の標的状態に到達することが可能であるプランがないかどうかを判定することが可能である。その点において、最適化システムは、アイテムが追加の行動にどのように応答するかの別の説明を取得する必要性を示すことが可能である。
【００４２】
前の段落に概説されるアプローチは、アイテムの状態がさまざまな行動の適用を通してどのように変化するかの正確な説明を常に提供するとは限らない。これは、システムが一般的に時不変ではないためである。加熱タスク中のアイテムでの行動の実行は、ときとして劇的に、アイテムを変化させる傾向にあり、このような行動を繰り返すときにアイテムが経験する応答を変更する傾向にある。基本的な実施例において、アイテムの異なる相は、アイテムが異なる熱特異度を示す原因となるため、アイスキューブが熱風へどのように応答するかの観測は、そのアイテムがすでに融解したときにその融解したアイテムが同一の熱風へどのように応答するかの観測と異なる。結果として、ライブラリ内の説明を使用して生成されるプランは、応答を感知し、記録したときからアイテムの特性が明らかな程度に変化していない場合に、近い将来により正確になる。
【００４３】
この節において記述される分析の時変性を与えられることにより、これらの分析は、アイテムが加熱プランにどのように応答するかのヒューリスティック説明を開発するための方法とみなされることが可能である。しかしながら、これらの分析は、他の機械知能技術と比較して、相対的にわずかな時間及びリソースにより実行されることが可能である。したがって、これらの分析は、電子オーブンによる行動の実際の実行と比較して相対的に高い周波数により実行されることが可能であり、元の推定により期待される状態からの変形形態は、継続的に補正されることが可能である。実際に、制御システムは、（ｉ）分析により生成されるプランを使用して操作することが可能であり、近い将来に少なくとも多少は正確になる可能性が高く、（ｉｉ）これら以前のプランの精度が低下し始める場合に以前のプランを置換した、分析の追加の繰り返しを通して更新されたプランを継続的に生成していることが可能である。これら追加の繰り返しは、各プランの所期の、及び実際のパフォーマンスが許容不可能な程度にはずれないことを確保する。また制御システムは、ライブラリ内の以前に格納された応答を破棄することにより所与の行動へアイテムがどのように応答するかにおける差を反映するために更新されることが可能であるため、最適化分析は、アイテムの応答について更新された情報により動作する。
【００４４】
分析の追加の繰り返しを行う頻度は、現在実行されているプランの精度を維持すると同時に、所与のプランの効果を制御システムにより感知し登録することを可能にすることを確保するように制御される。構成間の遷移と関連するオーバーヘッドを含む、各行動の実行が数秒ほどであるシステムを与えられ、ヒューリスティックの予測精度が数十秒ほどに低下する傾向にあるとすれば、分析の追加の繰り返し間の期間は、３秒より長く、１５秒より短い。
【００４５】
標的状態近くへ電子オーブンのチャンバ内のアイテムを加熱するための１セットのコンピュータ実装方法は、図３内のフローチャート３００を参照して記述されることが可能である。フローチャート３００は、電子オーブンがそれぞれ１セットの構成内にありながらチャンバへ１セットのエネルギー印加によりアイテムを加熱するステップ３０１を備える。エネルギー印加、及びそれぞれ１セットの構成は、チャンバ内のアイテムに関するチャンバ内のそれぞれ１セットのエネルギーの可変分布を定義する。エネルギーの可変分布は、分布が時間的に変化するためではなく、チャンバ内の物理的空間を通るエネルギーレベルが可変であるため、可変であると言われる。アイテムに関する所与のエネルギーの可変分布は、可変分布に直接に起因する応答を検出するためにシステムにとって十分な時間、維持されなければならない。これらの構成は、エネルギー源から、アイテムへ、チャンバに関するアイテムの相対位置へ、及び電子オーブン自体の物理的構成へエネルギーを向ける方式を変更することを伴うことが可能である。図２を踏まえて、異なる構成は、１セットの可変反射率要素内の１つ以上の可変反射率要素を回転させることにより区別されることが可能である（すなわち、可変反射率要素２００は９０°回転し、一方の構成から他方へ遷移することが可能である）。
【００４６】
ステップ３０２は、１セットのエネルギー印加へのアイテムによるそれぞれ１セットの応答を定義するセンサデータを感知することを伴う。１セットのエネルギー印加は、電子オーブンの異なる構成、及びチャンバへのエネルギー印加により引き起こされるような、アイテムに関するチャンバ内のエネルギーの別個の可変分布である。センサは、赤外線センサ、または本明細書に記述されるセンサのいずれかであることが可能である。これらの応答は、それぞれ、各応答が特定の、それぞれの、エネルギー印加及び電子オーブンの構成へのアイテムの応答を定義することである。それぞれの応答、エネルギー印加、及び構成を組み合わせ、上記の応答のライブラリ内の１セットのエントリを作成する。これらの構成は、電子オーブンの異なる物理的構成であることが可能である。たとえば、第一応答は、「温度が２度Ｆ上昇した」であり、それぞれのエネルギー印加「５０％」、及びそれぞれの物理的構成「標準」に対応することが可能であり、第二応答は、「温度が５度Ｆ上昇した」であり、それぞれのエネルギー印加「１００％」、及びそれぞれの物理的構成「トレーが３０度回転した」に対応することが可能である。これらの構成は、電子オーブンの複雑さに基づき大きく変わることが可能である。たとえば、異なる回転値の大きなベクトルは、図２内の反射要素２００に類似する要素の大きなアレイを含む電子オーブンの構成を記述するために必要とされることが可能である。
【００４７】
各エネルギー印加の持続時間、及び電子オーブンが所与の構成内にある相応の時間は、制御システムがアイテムに関するチャンバ内のエネルギーの特定の可変分布により所与の１セットのセンサデータに正確に属性付けすることが可能であることを確保するように制御されなければならない。これらの構成が急激に変化する場合に、記録されたセンサデータはアイテムがその構成にどのように応答したかの正確な表現であることを確保する方法がない。特に、ステップ３０２において取得されるセンサデータは、既知のエネルギー印加、及び既知の構成に対応し、後にアイテムに関するチャンバ内のエネルギーの関連した可変分布の繰り返しは、プランを実行するときに既知の結果を生成する。しかしながら、センサデータは、エネルギー印加と同時に収集されてもよいし、収集されなくてもよい。実際に、特定の適用において、センサデータは、エネルギー印加後に即時に収集される。それにもかかわらず、適用の持続時間は、アイテムに関するチャンバ内のエネルギーの可変分布を表現するデータと関連するセンサデータをライブラリが格納することを可能にするように選択される。
【００４８】
各エネルギー印加、及び関連した構成についての持続時間は、電子オーブンが構成間でどれくらい速くシフトすることが可能であるかに部分的に依存する。この要因は、異なる物理的構成を利用する実施態様にとって重要である。特定のアプローチにおいて、この要件は、チャンバが各エネルギーの印加中に完全に静止したままであることを確保することにより満たされる。たとえば、アイテムに関するチャンバ内のエネルギーの可変分布を変更するために物理的に調整される１セットの可変反射率要素をチャンバが含む場合に、これらの要素は、エネルギー印加中に静止したままである。ここで、チャンバは、電磁エネルギーが電子オーブンのモードを定義するように反射する、材料の領域として画定される（たとえば、電磁エネルギーへ透過性である仮の壁部は静止したままでなければならないチャンバ面積を画定しない）。さらに、これらの構成が物理的構成であり、エネルギーがチャンバへ継続的に供給されている状況において、各対応するエネルギー印加は、電子オーブンが前の構成から遷移し、アイテムについて独立して測定可能な応答を示すことを可能にする、少なくとも０．５秒の持続時間である。この推定は、０．１秒以下で構成間において遷移する電子オーブンの能力と、各エネルギー印加の持続時間とがこのように行う場合に０．１秒より長くかかる複数の構成間でシフトすることにかかる時間に関して、ロックステップにおいて増加すると想定する。異なるエネルギー印加は、各個々のエネルギー印加が電子オーブンのそれぞれの構成、及び対応する応答に独立して起因し得る限り、均一なエネルギー量の連続的な印加の部分であることが可能である。
【００４９】
ステップ３０１及び３０２は、プランの実際の実行前に情報を発見することを意図される発見段階中に行われることが可能である。しかしながら、ステップ３０１及び３０２は、以前に生成されたプランの実行の部分として行われることも可能である。加えて、ステップ３０１及び３０２は、プランを部分的に実行した後に行われる追加の発見段階を伴うことが可能である。発見プロセスの利点は、それがプラン内の他のステップに関して順に行われることとは対照的に単独で分析されることが可能であるため、特定のエネルギー印加及び構成へのアイテムの応答を分析することがより容易であることができることである。たとえば、電子オーブンは、所与の構成において配置され、エネルギー印加を適用する前に決定することを可能にされることができる。結果として、ステップ３０２において感知される応答は、二次効果が後続の、または直前のエネルギー印加により引き起こされずに、アイテムがその特定のエネルギー印加にどのように応答するかの正確な説明である。
【００５０】
発見段階中に感知を行う追加の利点は、特定の機能を提供する電子オーブンのためにすでに必要とされる可能性がある情報を取得することである。たとえば、ステップ３０２についての感知が発見段階中に行われる場合に、同一のセンサデータは、アイテムを識別するために使用されることが可能であり、任意選択で、アイテムをセグメント化するために使用されることが可能である。特に、アイテムのアイデンティティは、所与の加熱へのアイテムの応答を反映するデータについて操作する分類器を使用して決定されることが可能である。異なるアイテムが加熱に異なる応答をし、異なるクラスのアイテムが同様に応答をする場合に、分類器は、アイテムを識別するためにこのデータにトレーニングされることが可能である。したがって、アイテムを識別するために同一のプロセスを使用して、データを収集し、標的状態へアイテムを加熱するプランを開発することが可能である。
【００５１】
セグメントステップ３０３は、アイテムを１セットのセグメントにセグメント化することを備える。これらのセグメントは、ステップ３０４においてプランの生成を導き、ステップ３０２において取得される応答を測定するために使用されることが可能である。この目的を達成するために、電子オーブンは、アイテムがチャンバ内を移動するかどうかにかかわらず、セグメントの実際の物理的位置の追跡を制御システムが継続することを可能にする画像処理システムにより増強されることが可能である。この機能は、本明細書に開示される可視光を感知する手段のうちのいずれかにより助長されることが可能である。セグメント数は、多数のセグメントがステップ３０２及び３０４を実行するために必要とされる計算複雑性及びリソース消費を増加させ、少数のセグメントが必要に応じて均等にアイテムを加熱することを確保するために十分な情報を提供しない可能性があるという事実を鑑みて適合されることが可能である。これらのセグメントは、中心点及び面積により各画定されることが可能である。中心点は、アイテム上の関心点と称されることが可能である。
【００５２】
セグメント数、中心点の位置、及びセグメントの面積は、すべて制御システムの設定されたプロパティであることが可能である、またはチャンバ内のアイテムの特性に基づき調整されることが可能である。たとえば、大きな熱抵抗率を有するアイテムは、識別されることが可能であり、アイテムのアイデンティティは、関心点の数を高く、及びセグメント面積を低く設定するために使用されることが可能である。このアプローチは、この情報を取得するために電子オーブンにより行われなければならない物理的行動に関してオーバーヘッドがないため、同一のデータがアイテムを識別することについてアイテムをセグメント化するために使用されることが可能であるという事実から同様に利益を得る。
【００５３】
異なるセグメントは、複数の方式においてアイテム上の関心点へ描写されることが可能である。これらのセグメントは、チャンバにわたり均一なパターンに従いセグメントについての異なる位置を識別する、電子オーブン内の物理的位置により設定されることが可能である。たとえば、セグメント１は、背面左角などの内のチャンバ底部の１平方インチであることが可能である。しかしながら、セグメントの位置は、チャンバに加えられるアイテムの部分のみを追跡するために導かれることも可能である。たとえば、発見段階中にエネルギー印加に応答しないチャンバの部分は、無視されることが可能であり、応答した領域は、チャンバ内のアイテムの部分として識別され、セグメントとして選択されることが可能である。
【００５４】
セグメントは、所与の関心点周囲の設定された面積をカバーするために設定されることが可能である、またはそれらは、サイズを変更しながら面積をカプセル化することが可能である。たとえば、これらのセグメントは、熱へ同様の応答を示すアイテムの面積をカバーするように構成されることが可能である。ステップ３０２において収集されるセンサデータは、３つの別個の方式において温度に応答する３つの異なるサブアイテムをアイテムが実際に含んだことを示すことが可能である。この実施例において、電子オーブンは、アイテムがタンパク質、野菜、及びデンプンの食事に対応する３つのサブアイテムを含むことを発見していることが可能である。つぎにこれらのサブアイテムは、セグメントまたはセグメントの集合体として各サブアイテムを処理したセグメンテーションについての基礎として使用されることが可能である。
【００５５】
ステップ３０３は、セグメント化ステップが必ずしもプランの実行中に行われるセンサデータの評価を使用して行われる必要がないため、ステップ３０２からフィードバックループ内の想像線により描写される。代替に、セグメンテーションステップは、分類器及び可視光データ、ユーザ入力、または他の箇所に記述される外部ソースから電子オーブンへの情報についての任意の他のチャネルを使用してステップ３０１の前に行われることが可能である。たとえば、ユーザは、アイテムを手動でセグメント化するために電子オーブンの制御システムへ入力を直接に提供することが可能である。
【００５６】
ステップ３０４において、プランは、チャンバ内のアイテムを加熱するために生成される。この生成は、電子オーブンの制御システムにより行われ、ステップ３０２において取得されたセンサデータを利用する。センサデータは、センサデータから取得されるような、ライブラリからの応答を分析し、つなぎ合わせ、現在の状態から標的状態へ進むためにプランを作成するという意味で使用されることが可能である。これらの応答を生成したエネルギー印加、及び電子オーブンの構成に加えてライブラリ内にこれらの応答を格納するために、現在の状態から標的状態へ導くつなぎ合わされた応答は、プランを形成することで終了する。したがって、プランは、これらの構成内にオーブンを配置するコマンド系列であり、これらのエネルギー印加を適用する。ライブラリからのこれらの応答は、最適化分析を使用して選択されることが可能である。各応答の複数のコピーは、単一のプランを作成するために選択されることが可能である。
【００５７】
ライブラリから選択されるこれらの応答は、最適化分析を使用して系列化されることが可能である、または別のプロセスを使用して系列化されることが可能である。このようなものとして、ステップ３０４におけるプランの生成は、３０５において最適化出力を生成するために最適化分析を行うこと、及び３０６において最適化出力を使用してコマンド系列をコンパイルすることの２つのステップを伴うことが可能である。最適化出力は、エラー値及びベクトルを含むことが可能である。エラー値は、所期の最終状態と標的状態との間の温度における所期の偏差を示す、摂氏度においてスカラー温度値であることが可能である。ベクトルは、アイテムを加熱するためのプランを生成するために利用される、これらの応答と、アイテムに関するチャンバ内のエネルギーの関連した可変分布とを記述することが可能である。ステップ３０６においてコンパイルされるコマンド系列は、チャンバへアイテムに関するエネルギーの異なる可変分布を適用するための順序を定義することが可能である。この目的を達成するために、これらのコマンドは、アイテムへのエネルギー印加を制御し、電子オーブンの構成を変更することが可能である。つぎに電子オーブンは、標的状態近くにアイテムを加熱するコマンド系列を実行することが可能である。
【００５８】
ステップ３０５において生成されるエラー値の評価を利用して、ライブラリに追加の入力を取得する必要があるかどうか、またはシステムがプランの実行を進めるかどうかを判定することが可能である。たとえば、エラー値が許容可能なエラー値を超える場合に、プロセスは、３０１に戻り、さらに応答データを取得し、ステップ３０４の追加の繰り返しを実行することが可能である。加えて、プロセスは、エラー値が許容可能なエラー値を超えることを検出すると、ステップ３０６をスキップすることが可能である。また、図３内に示されたプロセスは、電子オーブンが許容可能なエラー値と関連するプラン（すなわち、許容可能な公差内で実行することを期待されるプラン）を実行していながら、ステップ３０１及び／または３０２の追加の繰り返しを行うことが可能である場合に、エラー値が許容可能なエラー値を超えない場合でもステップ３０１へ戻るループを含むのに一般的に十分である。
【００５９】
ステップ３０５は、ソルバー、標的状態を表現するデータ、及びステップ３０２において取得される１セットの応答を表現するデータの使用を伴うことが可能である。標的状態を表現するデータは、ユーザから取得される、制御システムにより自動的に生成される、または外部チャネルを介して受信されることが可能である。１セットの応答を表現するデータは、これらの応答を引き起こしたアイテムに関するチャンバ内のエネルギーの可変分布を表現するデータと組み合わせて格納されるように、ライブラリから取られることが可能である。１セットの応答を表現するデータ、及び標的状態を表現するデータは、１セットの温度値、または１セットの温度微分係数であることが可能である。このデータは、アイテムの複数のセグメントを表現するために複数のデータポイントを含むことが可能である。データは、アイテムの表面温度に対応することが可能である。ソルバーは、凸最適化ソルバーであることが可能である。凸最適化ソルバーは、現在の状態から標的状態へアイテムを向ける１セットの応答を解くことが可能である。このソルバーは、全体の加熱時間を最小にするような、アイテムにわたる、もしくはアイテムのセグメント群にわたる温度変化を最小にするような、またはアイテム上のいずれかのセグメントの最高温度を最低にするような複数の制約の対象となることが可能である。ソルバーは、ベクトルを解くことが可能であり、最適化分析の制約の対象となる最小エラー値を生成する。
【００６０】
ステップ３０５の実施態様の特定のクラスは、図４及び５を参照して記述されることが可能である。これらのアプローチにおいて、最適化分析は、持続時間ベクトルを生成するために利用され、エラー値を生成することもできる。持続時間ベクトルは、それぞれ１セットの加熱についての持続時間を表現する１セットの要素、及びアイテムを現在の状態から標的状態にする電子オーブンの構成を含むことが可能である。エラー値は、標的状態と外挿された終了状態との間の差を定量化する。外挿された終了状態は、持続時間ベクトル、及び下記のような１セットの応答ベクトルを使用して計算されることが可能である。最適化分析は、凸最適化ソルバーなどの、ソルバーを利用し、エラー値を最小にするように持続時間ベクトルを選択することが可能である。持続時間ベクトルは、さまざまなエネルギー印加、及び電子オーブンの構成を適用する方法の系列についての情報を含むことができる。しかしながら、この系列は、持続時間ベクトルを使用して別のステップにおいて選択されることも可能である。
【００６１】
図４は、それぞれ８個のセルを含む複数のグリッドを備える。これらのセルは、電子オーブン内に配置されているアイテムのセグメントの図解である。これらのセグメントの規則的な性質は、説明目的のために提供され、実際の適用において、セグメントは、さまざまなサイズのものであることができ、不規則な形状を有することができる。これらのセグメントは、２次元表面とは対照的に３次元体積であることもできる。図５は、図４内のアイテムの状態及び応答と組み合わせて行われることが可能であるさまざまな最適化分析を示すデータフロー図である。
【００６２】
グリッド４００は、アイテムについての標的状態の図解を提供する。図示されるように、この特定の加熱タスクの目標は、８個のグリッドのすべてを加熱するが、四角形の右の４つのグリッドより高い温度へ四角形の左の４つのグリッドを加熱することである。グリッド４０１、４０２及び４０３は、それぞれの加熱、及び電子オーブンの構成へのアイテムの応答、応答１、応答２、及び応答３の図解を提供する。グリッド４０４及び４０５は、前述の加熱、及び電子オーブンの構成を使用して生成される異なるプランの実行後に到達されると期待されるアイテムについての外挿された終了状態の図解である。外挿された状態４０４は、プラン１の実行に起因すると期待される外挿された状態である。プラン１は、応答１へ導く条件の適用、及び応答２へ導く条件のつぎに続く適用を備える。グリッド４０６は、外挿された状態４０４と、標的状態４００との間のエラーの図解である。図４の各状態内のこれらのセグメントは、セグメントの平均表面温度、またはセグメントの表面温度における平均変化を表現するために陰影を付けられ、その中で濃い陰影は、高温／大きな温度変化を表現し、薄い陰影は、低温／わずかな温度変化を表現する。
【００６３】
一般に、所与のプランの標的状態、応答ベクトル、外挿された状態、及びエラーを表現するデータは、アイテムのセグメントに対応するベクトルの各要素を含むベクトルに編成される数値であることが可能である。アイテムの標的状態は、アイテムのセグメントのそれぞれについての標的条件を表現する数値を含む標的ベクトルを備えることが可能である。たとえば、標的状態４００を表現するデータは、各セグメントの平均表面温度を表現する８個の数値を含む標的状態ベクトルを備えることが可能である。それぞれの加熱、及び電子オーブンの構成へのアイテムの応答を表現するデータは、同様のフォーマットを取ることが可能である。加熱へのアイテムの応答は、電子オーブンが所与の構成にありながら、所与の加熱に応答して各セグメントの平均表面温度内の変化を表現する数値を含む応答ベクトルであることが可能である。一般に、応答ベクトルの値は、選択されたエネルギー印加へのアイテムの応答を示す、いずれかの温度微分係数を有することが可能である。たとえば、応答４０１、４０２，及び４０３を表現するデータは、それぞれの電子オーブンの構成、及びエネルギー印加に各対応し、セグメントについての温度微分係数（たとえば、摂氏１０度／単位時間）に８つの数値を各含む３つの応答ベクトルを含むことが可能である。単位時間は、アイテムに関するチャンバ内のエネルギーの特定の可変分布を保持した期間へ設定されることが可能である。同様に、外挿された状態及びエラーは、アイテムの各セグメントについて、外挿された温度及び温度差を表現する数値を含むことが可能である。しかしながら、エラーは、これらのような数値から導出される二乗平均平方根（ＲＭＳ）値であることも可能である。
【００６４】
応答ベクトル及び標的状態ベクトルは、現在の状態から標的状態へアイテムを加熱するプランを開発するために最適化分析の部分としてソルバーにより利用されることが可能である。この最適化分析は、現在の状態から標的状態へ導く、応答と、潜在的にこれらの応答の複数の繰り返しとを選択することが可能である。図４に示されるように、すべての白いセルの初期状態（公称の低い温度）を想定して、外挿された状態４０４は、応答４０２へ導く条件の適用が続く応答４０１へ導く条件の適用から期待される外挿された状態である。これは、状態４０４が応答４０１及び４０２内の陰影の組み合わせであるという事実により表現される。
【００６５】
最適化分析ソルバーは、グリッド４０６により表現されるエラーベクトルを最小にした応答を選択することが可能である。エラーを最小にすることは、セグメントずつの単位で標的状態と、外挿された状態との間の差を最小にすることを伴うことが可能である。しかしながら、エラー項は、温度についてのアンダーシュートに関して温度についてのオーバーシュートにペナルティを科す可能性があるという点においてさらに複雑である可能性がある。加えて、アイテムの一部についてのエラーは、他のものよりさらに重いペナルティを科される可能性がある。特に、アイテムのアイデンティティを確認した場合に、エラー項は、燃焼する、発煙する、または脱水する傾向にある食べ物についての過熱に重いペナルティを科すことが可能である。プラン１に対応する、外挿された状態４０４の図示された事例において、プラン１と関連するエラーベクトル４０６は、所望の温度より高温へ加熱された、２つのセル４０７及び４０８についての値を含む。このエラーレベルは、許容可能であるとみなされることが可能であり、この事例において、プラン１は、制御システムにより許容され、実行される、またはそれは、許容不可能であるとみなされ、さらに正確なプランを生成するために追加のプロセスの実行へ導くことが可能である。
【００６６】
【数１】
2019519744.tif 000003
【００６７】
【数２】
2019519744.tif 000004
【００６８】
いくつかの適用において、ソルバー５０５などの、ソルバーは、凸最適化ソルバーである。このソルバーは、標的状態と、外挿された状態との間のエラーを最小にすることを越える制約の対象となる可能性がある。たとえば、ソルバーは、実行する所与の加熱タスクのために与えられる最長時間と、アイテム、またはセグメント群にわたる最高温度変化と、アイテム、セグメント群、またはセグメント上の特定の点における最高温度と、他の制約とにより制約されることが可能である。ソルバーは、非負の最小二乗法（ＮＮＬＳ）ソルバーであることが可能である。ＮＮＬＳソルバーは、解が正の値のみであり、それが負の時間についての条件を適用することが不可能であるという点において特定の利点を提供する。換言すれば、データフロー図５００の特定の実施例を参照して、持続時間ベクトルｘの数値は、すべて正である。結果として、持続時間ベクトルｘからのプランを実行するコマンド系列を生成することは、複雑ではなく、持続時間ベクトル内の対応する要素により設定される期間についての各応答ベクトルに対応する条件の適用を単に必要とする。しかしながら、他のソルバーを使用することが可能である。たとえば、標準最小二乗法ソルバーは、使用されることが可能であり、電子オーブンなどに提供される機能は、アイテムの特定の面積を冷却することが可能であり、所与のエネルギー印加の効果を本質的に逆転させることが可能である。加えて、他のソルバーは、混合整数線形計画法、ＫＫＴ最適条件についてのソルバー、及びＦｒｉｔｚ−Ｊｏｈｎ条件についてのソルバーなどであり、分岐及び境界などの最適性基準についての組み合わせ探索子は、利用されることが可能である。
【００６９】
図４及び５を参照して記述される特定の実施形態により示される１つの利点は、持続時間ベクトルの形式において、最適化分析がプランについての情報を取得するだけではなく、エラー値の形式において、ある程度の精度を満たすプランを生成する追加の発見ステップを必要とするかどうかについての情報を取得することである。電子オーブンの制御システムは、最適化分析からのエラー値が許容可能な値を超えることを判定するように構成されることが可能であり、プランニングプロセスについての追加の情報の取得をトリガすることが可能である。この追加の情報は、図３内のステップ３０１に戻すループにすること、及び電子オーブンが追加の構成にありながらエネルギー印加によりアイテムを加熱することにより取得されることが可能であり、そこで追加の構成は、エラー値が許容可能なエラー値を超えることを判定することに基づき選択される。追加の構成は、物理的構成であることが可能である。
【００７０】
追加の構成、及び一般的に実際の構成は、それが応答をすでに測定した物理的構成と異なる制約のみを条件として、ランダムに選択されることが可能である。しかしながら、これらの構成は、例えばすでに分析された構成から構成−空間上に可能な最も遠い位置への構成を設定することにより、または最も新しい情報をもたらしそうな構成を決定することへのアイテムの応答を評価することにより、インテリジェンスの何らかの形式を使用して選択されることも可能である。
【００７１】
また、さらに情報を必要としているかどうかを最適化分析が判定することを可能にする方法の説明を継続するために、電子オーブンが追加の構成にありながらエネルギー印加へのアイテムの応答は、それぞれの応答を定義するセンサデータを取得するセンサを使用して感知される。つぎに新規の応答情報は、追加の情報に基づき更新プランを生成するために使用されることが可能である。新規の分析が標的状態の許容可能な範囲内にある外挿された状態を生成する場合に、プランは、持続時間ベクトルを使用して実行されることが可能であり、制御システムは、十分な発見を行ったことがわかる。さらなる発見が行われる必要があるようなエラーパフォーマンスを追加の情報が改善しない可能性がある。また、発見ステップは、前のプランから導出されるステップの実行により断続的に行われることが可能である、または実行される正確なプランについて十分なデータが収集されるまで、完全に、別々に行われることが可能である。
【００７２】
追加の発見を行うことが可能である方式を図４及び５を再度参照して記述することが可能である。図４に戻り参照し、グリッド４０６と関連するエラーは、許容可能な値より大きい可能性がある。つぎに制御システムは、追加の構成下で再度アイテムを加熱すること、及び第三応答４０３を定義するセンサデータを感知することにより、第三応答４０３を取得するこの事実及び作業を決定することが可能である。つぎに制御システムは、外挿された状態４０５へ導く第二プランを生成するために第二最適化分析を行うことが可能である。第二最適化分析は、この分析が応答４０１及び４０２と関連するデータに加えて応答４０３と関連するデータも使用することを除き、第一最適化分析と同一であることが可能である。図示されるように、追加の情報は、優れたプランへ導く。外挿された状態４０５により表現されるような、プラン２は、第二応答４０２を生成した条件の、及び第三応答４０３を生成した条件の実行である。図示されるように、外挿された状態４０５は、最適化分析がゼロのエラー値を生成するように、標的状態４００にマッチングする。その点において、制御システムは、十分な情報が取得され、第二プランの実際の実行を進めることがわかる。これらのアプローチの利点は、プランのパフォーマンスを定量化すると同時にこのプランを取得することであり、これは、制御システムがプランを即時に実行すること、またはさらに情報を必要とすると迅速に判定することのいずれか一方を可能にする。
【００７３】
【数３】
2019519744.tif 000005
【００７４】
データフロー図５００は、最適化分析の第二繰り返しにおいて応答行列Ａへの追加のために、追加の応答ベクトル５０３を取得することが可能である方法を図示する。エラーベクトルに影響がないことは、追加の応答ベクトルのために可能であるが、ソルバーに与えられる追加の柔軟性は、エラーベクトルにより表現されるエラー値を一般的に低下させる。この更新されたエラー値が十分に低い場合に、このプランは、追加の応答データを取得せずに実行することが可能である。しかしながら、更新されたエラーが依然として高すぎる場合に、図示されたループの追加の繰り返しを実行し、さらに応答データを取得し、追加の最適化分析を行うことが可能である。理想的には、応答ベクトル５０３は、応答４０３などの応答に対応する。応答４０３は、応答４０２及び４０３と関連する条件を適用するプランが標的ベクトルに正確にマッチングする外挿された状態をもたらすために理想的である。
【００７５】
またエラー値及び持続時間ベクトルを使用して、所望の標的状態が指定された許容可能なエラーレベルに関する電子オーブンについての処理しにくい問題を提示するかどうかを判定することが可能である。この判定についてのインテリジェンスは、発見の別のラウンドをトリガする制御ループ内に構築されることが可能である（たとえば、図５内のコンパレータ５０８からのループバック）。処理しにくい問題と、さらにデータを必要とするものとの間の差は、プランの外挿された状態における各セグメントの温度を標的状態におけるセグメントの温度と比較することにより少なくとも部分的に判定されることが可能である。特定のセグメントが標的状態を超える温度を有するが、エラー値が許容可能なエラー値未満にまだ下がっていない場合に、つぎに制御システムは、問題が処理しにくい可能性がある示度を有する。追加の３から５ラウンドの発見についての限界は、この閾値を超えると許容されることができる。その時点で、最適化分析は、エラーが発生し、発見を中止することを示すことができる。代替に、制御システムは、ソルバーの公差を緩和し、標的状態からより大きな温度変化を可能にするように構成されることが可能である。
【００７６】
上述される最適化分析により生成される持続時間ベクトルは、各構成を適用する絶対持続時間についての情報を含むことが可能であるが、構成を適用する順序を指定しない可能性がある。このようなものとして、プランの生成は、電子オーブンにより実際のプランを実行する特定の系列にコマンドをコンパイルする、ステップ３０６を行うために追加の処理を含むことができる。コマンド系列は、電子オーブンを１セットの構成間で遷移させ、エネルギー印加を適用し、持続時間ベクトル内のそれぞれの要素に比例する持続時間について電子オーブンが各物理的構成内にあることを確保することが可能である。しかしながら、コマンド系列は、異なる結果を達成するためにさまざまな方式においてコンパイルされることが可能である。異なる系列化、及び加熱タスクの過程を通してチャンバ内のアイテム上に結果として生じる効果の実施例は、図６を参照して記述されることが可能である。
【００７７】
図６は、２セットの軸６００及び６０１を含む。これら２セットの軸は、秒の時間単位におけるｘ軸、及び摂氏度の温度単位におけるｙ軸を含む。また各軸は、２つの標的温度に近い２本の曲線を有する。これら２つの標的温度６０２及び６０３は、アイテムについて標的状態内の異なるセグメントについての標的温度である。両方のセットの軸について、２つのセグメントは、それらの標的温度に近づき、つぎに横ばいになる。
【００７８】
軸６００及び６０１上の曲線は、同一の持続時間ベクトルから生成されるが、異なる系列にコンパイルされた、２つの別々のプランの実行を図示する。軸６００について、第一セグメント及び第二セグメントは、連続してそれらの標的温度へ幅広く加熱される。軸６０１について、プランは、アイテムの表面にわたる最高温度変化を最低にするコンパイルステップ中に系列化された。異なる制約は、系列のコンパイルに適用されることが可能であり、これらの制約は、チャンバ内のアイテムまたはサブアイテムのアイデンティティに基づき変えることが可能である。しかしながら、最高温度変化を最低にすることは、上記に開示される最適化分析のうちのいくつかがセグメントの温度についての減衰を考慮せず、一方のセグメントを他方のセグメント上で加熱する効果を不正確に捕らえる可能性があるために、ほとんどの事例において有益なアプローチである。これら２つの欠点は、期待されるものより冷たいアイテム、または熱いアイテムのいずれか一方の領域へ導くことが可能である。これらの欠点のうちの１つは、セグメントずつの単位で基本的な減衰関数を含むことによる温度の低下の追跡を外挿された状態が保つことを備えることにより最小にされることが可能であるが、これらの欠点の両方は、加熱プロセス全体にわたりアイテムを通す熱の均一な分布を促進するコマンド系列を介してアイテムを加熱することを確保することにより最小にされることが可能である。
【００７９】
前述されるように、最適化分析は、アイテムが標的状態近くに加熱されながら、定期的に繰り返されることが可能である。繰り返しのための期間は、固定された時間へ設定されることが可能である、または検出されたイベントに依存することが可能である。たとえば、アイテムの状態が外挿された状態からかけ離れたことを偏差検出器が判定する場合に、最適化分析は、再度行われることが可能である。別の実施例として、繰り返しの期間は、外挿された状態の精度において観測された低下に基づき設定されることが可能であり、外挿された状態の精度における低下を追跡する機械学習システムを介して電子オーブンの寿命中に調整されることが可能である。
【００８０】
この分析の追加の繰り返しを行う頻度は、現在実行されているプランの精度を維持すると同時に、所与のプランの効果を制御システムにより感知し、登録することを可能にすることを確保するように制御される。各行動の実行が数秒ほどであり、ヒューリスティックの予測の精度が数十秒ほどに低下する傾向にあるとすれば、分析の追加の繰り返し間の期間は、３秒より長く、１５秒より短い。この期間は、アイテムのアイデンティティに基づき大きく延長される、または短縮されることが可能である。たとえば、予測不可能で幅広い時変応答を示す傾向にあるアイテムは、ほぼ連続的に再プランニングの対象とされる可能性がある。スペクトルの反対側に、複数杯の紅茶のような均質なアイテムは、最適化分析のために、より低い周波数の繰り返しにより加熱されることが可能である。
【００８１】
応答データは、加熱プロセス全体にわたり更新されることが可能である。このようなものとして、加熱タスク中に行われる最適化分析の追加の実行は、前に生成されたプランの実行中に取得される応答データを利用することが可能である。換言すれば、アイテムによる所与の条件への応答を定義するセンサデータは、前に生成されたプランの実行の部分としてその条件でオーブンを配置しながら収集される。代替に、最適化分析の追加の繰り返しは、追加の発見を実行するために加熱タスクの中断と関連することが可能である。どのように追加の応答データを取得するかにかかわらず、つぎにデータを使用して、前に収集された応答ベクトルが正確ではないかどうかを確認することが可能である。応答ベクトルが同一の条件について前に格納された応答ベクトルとマッチングしないことを新規に取得された追加のセンサデータが示す場合に、応答ベクトルは、ライブラリ内で更新され、最適化分析の後の繰り返し中に使用されることが可能である。
【００８２】
一般に、最適化分析は、電子オーブンが異なる特性を有するより多数の構成を示すことが可能である場合に、より厳しい公差で実行することが可能であり、より多数のこれらの構成についての応答は、分析される。換言すれば、電子オーブンが示すことが可能である、発見繰り返しの数、及び実際の構成の数の両方は、最適化分析についての適切な公差に反比例する。たとえば、１セットの反射要素を利用するアプローチにおいて、１セットの反射要素が少なくとも３つの反射要素を含むときに利点は、発生し、制御システムは、そのセット内のすべての３つの反射要素を独立して変更するコマンドを生成することが可能である。加えて、アイテムのセグメント数を増加分に分割する場合に、他のすべてを均等に保持しながら、構成数は、必要とされる公差レベルを達成するために一般的に増加させる必要がある。ベースラインとして、１セットのセグメントが少なくとも１０個の要素を含む場合に、つぎに１セットの物理的構成は、少なくとも１０個の別個の物理的構成を一般的に含む。
【００８３】
構成が図２に示されるもののような反射要素により設定される物理的構成である電子オーブンを具体的に参照して、反射要素をチャンバの天井部上に配置しながら、チャンバ内に配置されるほぼ均質なアイテムは、１セットの少なくとも５個の別個の構成、及び５個のセグメントに関して摂氏５度の許容可能な標的エラーレベル内で均一に加熱されることが可能である。関心領域が１２個の領域へ増加する場合に、１セットの少なくとも１０個の構成は、同様の制約下で許容可能な結果を達成する。不均一な加熱、及び不均質なアイテムは、必要とされる構成数にかなりの影響を有する。たとえば、熱の非常に不均一な分布と称される加熱タスクを伴う、以下の図７を参照して記述される実施例において、少なくとも２５個の構成は、１２個のセグメントにわたり摂氏２度のＲＭＳエラー内の標的に合う可能性を提供する。
【００８４】
図７は、ｘ軸が制御システムに利用可能な構成数であり、ｙ軸が摂氏度単位においてすべてのセグメントにわたるＲＭＳエラーの単位にある、１セットの軸７００を含む。グラフにされた曲線は、１個の領域がすべての他の領域より高い２０度である要件を有しながら、１２個の関心領域があったシミュレーションから取得された。この事例において、アイテムは、マイクロ波透過性コンテナ内に貯蔵された液体プールのアレイであった。各液体プールは、最適化分析についてのセグメントとして処理された。このサンプルにおいて、所望の構成数は、２５個ほどの構成にあった。しかしながら、これは、残りの部分より２０度熱いチャンバ内のアイテムの一部を必要とすることは多少珍しい場合の過酷な要件である。構成数は、基本的な事例において、１個であることが可能である。偶然の初期発見状態、及び均質なアイテムの事例において、最適化分析は、単一の発見ラウンド後に標的状態を取得することが可能であると判定し、加熱タスクの持続時間に単一の構成内へ電子オーブンを保つことができる。しかしながら、アイテムが均質ではない場合に、初期条件は、非常に変わる、またはこれらの構成は、どのように熱を分配するかの観点から非常に不均一であり、必要とされた構成数は、実質的に増加することが可能である。
【００８５】
この節内の技術を使用して開発される、これらのプランは、他の節内で記述されるさらに複雑なアプローチと組み合わせて使用されることが可能である。この節内に記述される最適化分析は、下記の決定論的プランナ制御システムについてヒューリスティックまたは外挿エンジンとして使用されることが可能である。たとえば、図３におけるアプローチは、アイテムを加熱する第二プランを生成することを備えるように拡張されることが可能であり、そこで第二プランは、さらに計算集約型で、正確なプランニングプロセスにより開発された。第二プランは、下記のような決定論的プランナを使用して生成されることが可能であり、決定論的プランナは、第二プランを生成するときに将来のプランコストを推定するためのヒューリスティックとしてステップ３０４において生成されるプランを使用することが可能である。この節において記述される最適化分析は、下記の強化学習アプローチについてのポリシーであることも可能である。たとえば、制御システムは、強化学習システムを使用して標的状態近くにチャンバ内のアイテムを自動的に加熱することが可能であり、そこでステップ３０４において生成されるプランは、強化学習システムについてのポリシーとして使用された。このポリシーは、強化学習システムが特徴空間を探索する代替にグリーディステップを取ろうとしながら、強化学習システム内の所与のノードからどの行動を取るかの大まかな判定を行うために使用されることが可能である。
【００８６】
評価フィードバック−強化学習制御
チャンバ内のアイテムを加熱するために評価フィードバック及び強化学習トレーニングシステムの両方を利用する１セットの例示的なコンピュータ実装方法は、図８内のフローチャート８００を参照して記述されることが可能である。ステップ８０１において、可変分布によりアイテムへエネルギーを印加する。この可変分布は、チャンバへ適用されるマイクロ波エネルギー源の定常波パターンにより引き起こされることが可能である。また可変分布は、アイテムへ標的化されたエネルギー印加により引き起こされることが可能である。例示的な可変分布８０２は、アイテム８０３へ適用されるように図示される。可変分布８０２は、アイテム８０３に関する相対位置８０５についての極大値８０４を含む。この実施例において、相対位置は、ステップ８０１にゼロの値を含む。
【００８７】
ステップ８１０において、アイテムについての表面温度分布は、赤外線センサを使用して感知される。この赤外線センサは、アイテム８０３から赤外線放射線をキャプチャする赤外線カメラ８１１であることが可能である。表面温度分布８１２は、相対位置価値がゼロにとどまりながら感知されることが可能である。表面温度分布は、状態Ｓ１を少なくとも部分的に定義することが可能である。またステップ８１０は、アイテムへのエネルギーの送達と関連するＲＦパラメータを感知することを伴うことが可能である。この事例において、ステップ８１０のいくつかの態様は、ステップ８０１と同時に行われることが可能である。状態Ｓ１は、システムの特定の制御された態様のアイテム及び瞬間状態についての情報の集合体によりさらに完全に定義されることができる。状態Ｓ１は、強化学習トレーニングシステムの行動価値関数への入力であるデータの単位であることが可能である。表面温度分布からのデータは、単独で、または少なくとも１つの他の状態から状態Ｓ１を区別するために他の情報と組み合わせてのいずれか一方でデータを使用することが可能であるという点で状態を部分的に定義する。
【００８８】
ステップ８２０において、制御システムは、最大潜在報酬値を与える１セットの潜在的な第二状態（Ｓ２’，Ｓ２”）内の第二状態Ｓ２”を決定する入力として第一状態を使用して行動価値関数Ｆ（ｓ，ａ）を評価する。このステップ８２０は、入力として第一状態から行動価値関数へ取られることが可能である第一状態、及び１セットの潜在行動を提供すること、及び行動価値関数の大きさを最大にする行動を選択することを伴うことが可能である。たとえば、行動価値関数への入力は、現在の状態Ｓ１と、アイテムに印加されるエネルギーの可変分布に関して１０ｃｍにより加熱されるアイテムの相対位置を変更した行動とであることが可能である。この移動は、ゼロの値から参照番号８２１により示されるような１０ｃｍへ相対位置８０５の行動ａ２及び実際の変更により図８に示される。
【００８９】
ステップ８３０及び８４０において、制御システムは、移動させる最適状態であるＳ２”を見つけるステップ８２０において行動価値関数を使用して行われる決定に基づき作用する。これは、アイテムを定常に保ちながらチャンバに関する可変分布の極大値の位置へアイテムを移動させることか、アイテム及び極大値を移動させることの両方の組み合わせかのいずれか一方を伴うことが可能である行動ａ２により達成されることが可能である。上記の実施例に合わせて、ステップ８３０において、相対位置８０５は、制御システムによりゼロから１０ｃｍへ変更される。ステップ８４０において、エネルギーは、可変分布を介してアイテムへ印加される。ステップ８４０及び８０１は、アイテムへの連続したエネルギー印加の構成要素部分であることが可能であるが、それにもかかわらずこれらの方法の動作を理解する目的のために別個のステップとして概念化されることが可能である。アイテム８０３及び可変分布８０２の相対移動は、アイテム８０３の表面に沿うように図示されるが、それは、アイテム８０３の体積内の移動を伴うことが可能である。
【００９０】
ステップ８５０において、アイテムについての第二表面温度分布は、ステップ８１０からの赤外線センサ８１１などの赤外線センサを使用して感知される。赤外線センサは、制御システムにより必要とされるより速い速度でアイテムについての表面温度分布を取得していること、及び特定のサンプルが制御システムにより必要とされるまでバッファまたはディスク内にこれらの分布を格納することが可能である。代替に、赤外線センサは、制御システムにより必要とされるような周期的な分布を取得することが可能である。またステップ８５０は、リターンロス及びインピーダンスマッチングのようなＲＦパラメータなどのアイテム８０３の状態と関連する他のパラメータを感知することを伴うことが可能である。
【００９１】
ステップ８５０に関して図示されるように、極大値の移動は、アイテムにわたる熱８５１のより均一な分布をもたらす。しかしながら、これは、必ずしもこの事例であるとは限らない。この移動は、熱のより均一な分布をもたらさない可能性がある、またはステップ８２０内の行動価値関数の評価から期待されるのと同程度に熱の分布における分散を減少させない可能性がある。それにもかかわらず、ステップ８６０において、報酬値は、第二表面温度分布を使用して導出される。前述されるように、報酬値は、アイテムの表面温度分布内の分散に比例することが可能である。ステップ８６０における報酬値での導出は、表面温度分布と組み合わせる複数の他の要因の使用を伴うことが可能である。この導出は、リターンロス及びインピーダンスマッチングなどのアイテム８０３の加熱と関連するＲＦパラメータの評価を代替に伴うことが可能である。
【００９２】
ステップ８７０において、行動価値関数は、ステップ８６０における導出された報酬値に基づき更新される。いずれかのトレーニングが行われる前に、行動価値関数は、この関数の適切な値へ、ランダムに、または技術者の推測により、のいずれか一方で初期化されることが可能である。このようなものとして、Ｓ１からの特定の行動についての最大潜在報酬値を決定する、ステップ８２０において行われる評価は、不完全な情報により行われる。しかしながら、ステップ８５０において行われる測定、及びステップ８６０における報酬値の導出を使用して、行動価値関数を更新することが可能であるため、同一の状態Ｓ１に将来直面する場合に、制御システムは、どの行動を取るかについてのより良い情報を含む。
【００９３】
制御システムは、行動価値関数が最適行動として示す行動と異なる行動を選択する探索選択とステップ８２０において行われる評価をランダムに置換するように構成されることが可能である。この方式において、制御システムは、潜在状態の空間を探索し、異なる１セットの行動がより良い結果へ導くかどうかを判定することが可能である。ステップ８６０及び８７０は、探索ステップを行った状況においてスキップされることが可能である。制御システムは、探索選択と、行動価値関数の最大化により導かれる選択（すなわち、グリーディ選択）との間で確率的に変化することが可能である。探索選択を行う確率は、トレーニングエピソードの過程全体にわたり、及びデバイス動作の耐用年数全体にわたり変更されることが可能である。
【００９４】
強化学習トレーニングシステムを使用して制御システムをトレーニングするために評価フィードバックから収集される情報を利用することは、チャンバに配置される任意のアイテムを加熱するために使用される制御システムに適用されるときに特定の利益を提供する。特に、教師あり学習アプローチのように所定のトレーニングデータを提供する必要がない。報酬システムがトレーニングシステムを適切に導くように構成される限り、行動の特定の過程のメリットは、それらが人間の設計者により事前に考察されていてもいなくても、評価されることが可能である。チャンバ内でアイテムを加熱すること、特にマイクロ波において食品を加熱することが多数の食品にわたり一般化されることが可能である１セットの原則により導かれることが可能である場合に、報酬のこのようなシステムは、将来のユーザによりチャンバ内に配置されることができるアイテムのすべての無数の特性の詳細な考察を含まずに制御システムを配置することが可能であるシナリオを潜在的にトレーニングする、幅広い適用性のために容易に開発されることが可能である。別の利点は、報酬信号にノイズが多く、報酬信号が遅延する状況へ強化学習を有利に適用するという事実に起因し得る。電子オーブンの事例において、電子オーブンにより取られる特定の行動の利点は、行動を取ったときから複数の時間ステップを遅延させる可能性がある。これはまた、加熱されるアイテムを通り熱が拡散するのにかかる時間のアーティファクトである。しかしながら、強化学習が時間に基づくシステムである場合に、将来に複数の時間ステップを提示される報酬をフィードバックし、過去のいくつかの時間ステップの決定に影響を与え、この問題に対処することが可能である。
【００９５】
本明細書に開示されるアプローチのうちのいくつかは、ニューラルネットワークを使用して行動価値関数を近似するトレーニングシステムを含む。行動価値関数は、このシステムがそれ自体を合理的に発見することが可能である、すべての潜在状態についての１セットの値を有利に含む。図８を参照して記述される制御システムの状態が２次元平面上の座標に対応する温度値を含む簡単な行列であった状態により導かれた場合に、潜在状態数は、それらが２次元平面内の各位置において各潜在温度を含む場合に相当な数である。これらの状態がこのシステムの条件についてはるかに多い情報を含むことが可能であるとすれば、状態数がどのように扱いにくくなる可能性があるかを理解することは、容易である。関数アプロキシメータを使用して、この関数に必要とされる状態数を減少させることが可能である。要するに、センサ及び制御システムから導出される複数の状態は、同様の特性により単一の状態へマッピングされる。関数アプロキシメータは、ニューラルネットワーク、またはいずれかのバックプロパゲーション回帰モデルであることが可能である。
【００９６】
制御システムにより利用される状態についての関数アプロキシメータの使用は、アイテムの表面温度分布により設定される状態に関して制御システムを参照して記述されることが可能である。図９は、制御システム９０３に加えて、３つの表面温度分布９００、９０１、及び９０２を示す。制御システム９０３は、ニューラルネットワーク９０４、及び１セットの格納された行動９０５へのアクセスを含む。１セットの格納された行動は、制御システムが任意の所与の状態から取ることが可能であるすべての潜在行動を含む。ニューラルネットワーク９０４は、行動価値関数Ｆ（ｓ，ａ）についての関数アプロキシメータとして機能する。表面温度分布９００は、このシステムにより加熱されるアイテムの検出された現在の状態に対応することが可能である。表面温度分布９０１及び９０２は、行動価値関数により使用される関数へ妥当な入力である格納された状態に対応することが可能である。ニューラルネットワーク９０４、または任意のバックプロパゲーション回帰モデルに基づくシステムは、表面温度分布９００を介して検出された状態、及び１セットの格納された行動９０５からの潜在行動を表現するデータを取り込むことが可能であり、状態９００についての特定の１セットの値を格納することを必要とせずに、分布９０１及び９０２を制御システム９０３に適用した場合に、制御システム９０３により与えられるものと同様の潜在報酬値を与えることが可能である。これにより、関数アプロキシメータは、強化学習トレーニングシステムがトレーニングされる必要がある特定の状態数を大幅に減少させる。制御システム９０３は、独立して各状態についての複数の値を格納しなければならないものより少ないリソース集約型の方式において、ニューラルネットワーク９０４を利用して、ステップ８２０と同様のステップを実行し、選択された行動９０６を出力することが可能である。
【００９７】
トレーニングシステム全体のための関数アプロキシメータとして支援するために使用されるロジックは、それ自体のトレーニングを必要とする可能性がある。たとえば、トレーニングシステムがニューラルネットワークである場合に、ニューラルネットワークが、行動価値関数について公平な近似になるように、ネットワークの特定の重み付けは、トレーニングされる必要がある。ニューラルネットワークについてのトレーニングシステムは、バックプロパゲーション回帰トレーニングモデルであることが可能である。ネットワークをトレーニングするために使用されるデータは、ステップ８７０において上記のように行動価値関数自体を更新するために使用される同一のデータであることが可能である。
【００９８】
本明細書に開示されるアプローチのうちのいくつかは、トレーニングデータとして過去の経験のランダムサンプルを利用するニューラルネットワークトレーニングシステムを含む。ニューラルネットワークを介して近似される行動価値関数を使用する強化学習トレーニングシステムの特定の実施例に沿い、トレーニングシステムは、実際の観測が行われている場合に、１セットの経験データポイントを格納することが可能である。たとえば、経験データポイントは、ステップ８６０において導出される報酬値、ステップ８２０において使用される第一状態、ステップ８５０において決定される第二状態、及びステップ８３０において第一状態から第二状態へ移行させるために使用される行動を表現するデータを含むことが可能である。つぎに、これらの経験データポイントをランダムにサンプリングし、ニューラルネットワークについて１セットのトレーニングデータを与えることが可能である。トレーニングデータを使用して、損失関数が確率的勾配降下法評価に従い繰り返し最小化されるアプローチに従いニューラルネットワークをトレーニングすることが可能である。このアプローチは、ニューラルネットワークのトレーニングが同一のセットの物理的測定から複数のセットのトレーニングデータを収集し、関数アプロキシメータを提供する速度を増すことが可能であるという点において有益である。
【００９９】
評価フィードバック−決定論的プランナ制御
電子オーブンの制御システムは、電子オーブンのチャンバ内に配置されるアイテムを加熱するプランを生成するために、決定論的プランナを含むことも可能である。このプランは、アイテムを加熱する方法に関してユーザにより提供されるアイテム及びインストラクションの特性に基づき生成されることが可能である。決定論的プランナは、ユーザにより提供されるインストラクションに従い特定のアイテムを加熱する行動系列を選択することが可能である。系列内のこれらの行動は、電子オーブン及び制御システムが実行することが可能であった、１セットの行動から各選択されることが可能である。この１セットの行動は、電子オーブンの特性に依存する。たとえば、回転トレーを含む電子オーブンは、その１セットの行動において、「時計回りに５度トレーを回転させる」、及び「時計回りに５度トレーカウンタを回転させる」ことを備えることができ、２次元において横方向に移動させることが可能であるトレーを含む電子オーブンは、潜在行動として、「トレーを左に５ｃｍ移動させる」、「トレーを右に５ｃｍ移動させる」、「トレーを後に５ｃｍ移動させる」、及び「トレーを前に５ｃｍ移動させる」ことを備えることが可能である。一般に、これらの行動は、チャンバ内のアイテムに関してチャンバ内のエネルギー分布の相対位置を変更すること、チャンバに印加されるエネルギーの強度を変更することを備えることができる。このプランを生成した後に、制御システムは、行動系列内の各行動を行うことによりプランを実行することで、チャンバ内のアイテムを加熱することが可能である。
【０１００】
決定論的プランナを利用する電子オーブンによりチャンバ内のアイテムを加熱するための１セットの方法のフローチャート１０００を図１０に示す。フローチャート１０００は、エネルギー源からアイテムへエネルギーを印加するステップ１００１により開始する。ステップ１００１は、図８からのステップ８０１と同一の原則に従い一般的に実行されることが可能である。エネルギー印加１００２は、アイテム１００３を均一に加熱せず、アイテム上に不均一な表面温度分布を作成する。この表面温度は、図８からのステップ８１０と同一の原則に従い一般的に実行されることが可能である任意選択のステップ１０１０において感知されることが可能である。表面温度分布１０１２は、赤外線センサ１０１１により感知されることが可能である。つぎに、この表面温度分布から収集される情報は、下記のようなさまざまな方式において制御システムにより使用されることが可能である。
【０１０１】
フローチャート１０００は、関数を評価し、第一関数出力を生成するステップ１０２０を続ける。第一潜在行動を使用して、関数を評価する。この関数は、コスト関数Ｆ（ｎ）であることが可能であり、関数出力は、節ｎに関して計算されたプランコストであることが可能である。節「ｎ」は、実行されることが可能であるすべての潜在プランのグラフをトラバースするときに関連する節であることが可能である。グラフは、一方の節から他方の節への移動がグラフをトラバースするプランを生成するときに選択されることが可能であるすべての潜在行動により設定される、超高次元グラフであることが可能である。たとえば、４つの潜在行動（熱を１度上げる、熱を１度下げる、トレーを左に回転させる、トレーを右に回転させる）を含む電子オーブンにおいて、各節は、前方向内の４つの直接近隣、及び後方向内に単一の直接近隣と関連する。各節は、初期化された状態、及びこの初期化された状態から実行される行動系列により完全に定義されることが可能である。このプランコストは、節「ｎ」までのプランを実行するコストであることが可能である。しかしながら、プランコストは、推定された総プランコスト（すなわち、開始から終了までの節「ｎ」を含むプランを実行する所期の総コスト）であることも可能である。タスクを完了するためにかかる時間にのみ関係するプランニングプロセスについて、プランのコストは、終了状態に達するために必要なステップ数と同じくらい基本的であることが可能である、またはコストは、下記のようにさらに複雑であることが可能である。
【０１０２】
ステップ１０２０は、節ｎ２’についての１回、及び節ｎ２についての１回の、２回の関数の評価により示される。図示されるように、この関数は、節ｎ２についてのコストを生成する第一潜在行動ａ１により最初に評価されており、つぎに節ｎ２’についてのコストを生成する第二潜在行動ａ２により評価されている。行動ａ１及びａ２は、それぞれ相互に排他的なプランのメンバーであることが可能である。図示された事例において、節ｎ２は、より低いプランコストと関連する。このようなものとして、この評価に少なくとも従い、プラン全体の実行のコストを最小にするための最良の選択肢は、つぎにａ２の代替に、行動ａ１を実行することである。
【０１０３】
行動を使用して、さまざまな方式において関数を評価することが可能である。たとえば、アイテムの状態は、行動ａ１の知識、アイテムが特定の行動へ応答する方法の知識、及び状態ｎ１と関連するアイテムの状態についての情報に関する外挿エンジンを使用して外挿されることが可能である。外挿エンジンについて異なるアプローチは、以下に考察される。しかしながら、最初の説明のために外挿エンジンの基本的な実施例は、物理シミュレータである。この物理シミュレータは、電子オーブンにより取られることが可能である特定の行動へのアイテムの応答をシミュレーションすることが可能である。物理シミュレータは、電子オーブンの寸法、エネルギー源の特性、ならびにアイテムの寸法及び特性を取った熱力学モデリングツールであり、所与の行動への応答をシミュレーションすることにより、行動に応答してアイテムの状態を外挿することが可能である。
【０１０４】
さまざまな節についてコスト関数を評価することにより、決定論的プランナが所望の方式においてアイテムを加熱するプランを生成することが可能である。このようなものとして、フローチャート１０００は、アイテムを加熱するプランを生成するステップ１０３０を続ける。このプランは、ステップ１０２０において評価された関数の出力を使用して生成されることが可能である。上記に提供される基本的な実施例に合わせて、行動ａ２の代替にこのプランを含む行動系列について行動ａ１を選択したため、Ｆ（ｎ２）の出力を使用して、プランを生成した。この実施例において、コスト関数からの２つの出力を使用し、プランを選択した。さらに複雑な状況について、多数の関数評価を使用して、１つのプランを生成することが可能である。またコスト関数は、任意の所与の節について計算されるプランコストを使用して、プランについての行動を選択すること、または追加の関数評価を通してさらに調査される節を選択することのいずれか一方が可能であるように、繰り返し、または再帰的方式において評価されることが可能である。
【０１０５】
ステップ１０４０において、プランは、このプランを含む行動系列内の行動を通してステップを進めることにより実行される。図示された事例において、行動ａ１は、選択され、距離１０４１によりチャンバ１００２内のエネルギーの分布の相対位置の調整をもたらすため、アイテム１００３上の表面温度分布は、より均一である。このプランは、任意の数の行動を含むことが可能であり、アイテム１００３が所望の量を加熱されたようにみえるときに終了することが可能である。代替に、このプランは、加熱プロセス全体内の過程修正を可能にする、一定の周期的な間隔において終了することが可能である。特に、アイテムが加熱されている場合にアイテムの実際の温度は、外挿エンジンのパフォーマンスにおける不完全性により、時間とともに外挿された状態から離れる傾向にある。したがって、決定論的プランナは、前のプランを実行しているときに開発される追加のプランが続く制限された持続時間のプランを生成するように設計されることが可能である。このプランの実行から選択され、プランの実行中に利用されることが可能であるこれらの行動は、以下の別の節にさらに詳細に記述される。
【０１０６】
コスト関数は、トラバースされたプランコスト、及び将来のプランコストを含むことが可能である。換言すれば、コスト関数は、特定の節に達する際に負担するコスト、及びその節から所望の終了状態へ継続することにより負担するコストを表現する成分を含むことが可能である。トラバースされたプランコストは、本明細書内の他の箇所に記述されるような外挿エンジンを使用して計算されることが可能である。将来のプランコストは、本明細書内の他の箇所に記述されるようなヒューリスティックを使用して計算されることが可能である。外挿エンジンは、再帰関数評価に基づき所与の節に達するための相対的に正確なコスト値、及び評価中の節に対応するアイテムの状態の相対的に正確な推定値を与えることが可能である。
【０１０７】
トラバースされたプランコストの値は、ヒューリスティックにより導出される将来のプランコストの精度と比較して、「相対的に」正確と称される。このヒューリスティックは、所与の節から所望の終了状態へ継続するコストの推定値を与えることが可能である。このヒューリスティックは、一般的に外挿エンジンと同じくらい計算集約型ではなく、制御システムが所与の節から終了状態へ進行することを可能にする、すべての単一の行動を知る必要がない。これは、トラバースされたプランコストを与えるために、現在の節に達するようにトラバースされる必要がある各節を知る必要がある外挿エンジンとは対照的である。不案内な都市をナビゲートして特定の地点に到着するドライバーレスカーの類推を使用するために、外挿エンジンは、都市の車道を通るいくつかの曲がり角後（行動）に運転者がどこまで移動した（トラバースされたプランコスト）かの正確な説明を決定し、ヒューリスティックは、所望の終了位置から現在の位置までの直線距離測定（ヒューリスティックにより推定されるような将来のプランコスト）のみを行う。現在の適用において、外挿エンジンは、上記のように物理シミュレータであることが可能であり、ヒューリスティックは、将来のコストのラフ近似を行った。ヒューリスティックは、アイテムの所望の終わりの表面温度分布に対して加熱されるアイテムの表面温度分布上のポイントのサンプルのデルタを取ることが可能である。つぎにヒューリスティックは、これらのデルタのすべてを合計し、それにプランが完了するまでにさらにかかるコストのラフ推定値としてスケーリングファクタを乗算することが可能である。異なるアプローチにおいて、ヒューリスティックまたは外挿エンジンのいずれか一方は、図３から図５を参照する上記の最適化分析に従い動作することが可能である。
【０１０８】
前の考察に従い、所与の節と関連する総プランコストを取得するために関数を評価することは、複数のサブステップを含むことが可能である。この評価は、ヒューリスティックを使用して将来のプランコストを推定すること、及び外挿エンジンにより導出される状態または１セットの状態を使用してトラバースされたプランコストを計算することを備えることが可能である。つぎに所与の節についての総プランコストは、将来のプランコスト、及びトラバースされたプランコストを合計することにより計算される。
【０１０９】
決定論的プランナを利用するアプローチは、アイテムのアイデンティティが電子オーブンにより決定されるアプローチと組み合わされることが可能である。これらのアプローチは、電子オーブンがプラン生成及び実行プロセスのさまざまな態様をアイテムに合うように具体的に変えることを可能にする。たとえば、外挿エンジン、コスト関数、及びヒューリスティックは、アイテムのアイデンティティに基づきすべて変更されることが可能である。
【０１１０】
決定論的プランナ−状態及びコスト導出
電子オーブンの制御システムが決定論的プランナを利用するアプローチにおいて、制御システムは、アイテムを加熱するプランを生成するために、特定の行動、及び全体のプランについてのコスト値を生成する必要がある可能性がある。このコスト値は、アイテムが加熱される方法に関する複数のファクタに基づき計算されることが可能である。このコスト値は、アイテムを加熱するのにかかる時間に関連し、そこでより長い加熱時間は、より高いコストと関連することが可能である。この目的に従う簡単なアプローチは、２秒などの設定された時間単位を消費するように設計される電子オーブンにより取られる各行動を含むことであり、評価中の原点から現在の節へのグラフ空間をトラバースするように取られるステップ数を単純に合計するプランのコストを評価することである。しかしながら、コストは、複雑であり、１つより多いファクタに依存することも可能である。いくつかの状況において、所与の節におけるアイテムの状態は、所与のプランのコストを決定するために外挿される必要がある可能性がある。たとえば、アイテムは、非常に急速に加熱され、その時点でアイテムの燃焼または炭化をもたらす許容不可能な高温へアイテムの特定のポイントを加熱した行動系列を通して、平均温度に達することが可能である。コスト関数の評価の部分としてアイテムの状態を外挿した場合に、コスト関数は、これらの種類の状況を回避し、アイテムを加熱するよりニュアンスがあるアプローチを一般的に提供するために適合されることが可能である。
【０１１１】
コスト関数を使用する決定論的プランナを利用するアプローチにおいて、このプロセスは、コスト関数を評価する部分として行われることができる。アイテムの状態は、外挿エンジンを使用して導出されることが可能である。この外挿エンジンは、アイテム上の特定の行動の効果をシミュレーションし、自動的にアイテムについてのつぎの状態を生成することが可能である、熱力学物理シミュレータであることが可能である。電子オーブンが高度に制御された環境である傾向にあるため、シミュレータは、１セットの行動に応答してアイテムの状態の最近の正確な推定値を与えることが可能である。シミュレータがアイテムの状態を正確にシミュレーションし、外挿するために、アイテムの特性を知る必要がある場合に、この情報を取得するためにアイテムのアイデンティティに依存することが可能である。外挿エンジンは、アイテムのアイデンティティ、及びそのアイデンティティを含むアイテムが熱に応答する方法のモデルを使用してアイテムの状態を外挿することが可能である。このモデルは、一般化された熱力学物理シミュレータに依存する代替にそのアイデンティティを含むアイテムについて具体的に開発されることが可能である。また外挿エンジンは、１つの行動に応答して観測される第一表面温度分布を使用し、追加の行動系列に応答してアイテムの状態を外挿することが可能であるという点で、すぐ下に記述されるように図１１に従い動作することも可能である。
【０１１２】
図１１は、外挿エンジンがアイテムの状態を外挿するためにアイテムの表面温度分布を利用することが可能である方法についての概念図１１００である。アイテムの状態は、アイテムについてプランニングされた表面温度分布（すなわち、決定論的プランナが行動系列のパフォーマンス後にわかることを期待する表面温度分布）を含むことが可能である。４つのセグメント１１０２、１１０３、１１０４、及び１１０５を含むアイテム１１０１を図示する。チャンバへのエネルギー印加などの、第一行動ａ１に応答して、アイテム１１０１は、セグメント１１０２が加熱され、セグメント１１０３、１１０４、及び１１０５が加熱されていない第一表面温度分布を示す。行動ａ１は、加熱プロセスの発見段階中に実行されることが可能であり、アイテム１１０１が熱に応答する方法を探索するために使用される、具体的に合わせて変えられたエネルギー印加の適用を伴うことが可能である。この発見段階は、アイテムを実際に加熱するあらゆる試行をするために事前に行われることが可能であり、アイテムのアイデンティティに関する情報、及び決定論的プランナにより利用される情報を取得することを伴うことが可能である。このようなものとして、発見段階は、どのプランが制御システムにより生成されるよりも前に行われることが可能である。しかしながら、行動ａ１は、単に、電子オーブンの動作の通常の過程中に電子オーブンにより実行される任意のエネルギー印加、またはコマンドの適用であることも可能である。それにもかかわらず、表面温度分布から収集される情報１１０６は、さまざまな行動系列に応答してアイテム１１０１の将来の状態を外挿する目的のために外挿エンジン１１０７へ送達されることが可能である。
【０１１３】
外挿エンジンは、情報１１０６と、複数の方式においてアイテム１１０１の将来の状態を外挿するために電子オーブンが選択することが可能である１セットの潜在行動の知識とを利用することが可能である。たとえば、外挿エンジンは、アイテムの熱応答が行動ａ１により送達されるエネルギーの強度と比較してチャンバへ印加されるエネルギーの強度に比例して変化すると想定することが可能である。この比例関係についてのスケーリングファクタは、本開示内の他の箇所に言及されるように、別々に決定されるアイテムのアイデンティティに基づき変更されることが可能である。別の実施例として、外挿エンジンは、アイテムの熱応答がチャンバ内の電磁エネルギーのパターンの相対分布の等しい変化と対称的にアイテムにわたり変換すると想定することが可能である。この特定の実施例は、図１１により示され、以下の段落に記述される。別の実施例として、外挿エンジンは、一般的なアイテムからの経時的な放射熱及び対流熱の損失の基本的なモデルを含み、経時的な行動系列の効果を外挿するときに熱のその損失を含むことが可能である。このモデルは、アイテムのアイデンティティに基づき変更されることが可能である。
【０１１４】
図１１００において、外挿エンジン１１０７は、行動ａ１により引き起こされるアイテム１１０１の表面温度分布についての情報１１０６を受信する。つぎに外挿エンジンは、それぞれ行動ａ２及び行動ａ３に起因する状態１１０８及び１１０９を外挿する、その情報を使用する。図示される事例において、行動ａ２は、アイテムの１つのセグメントによるチャンバ内のエネルギーの分布の左方向シフトに関して対応し、行動ａ３は、アイテムの１つのセグメントによるチャンバ内のエネルギーの分布の右方向シフトに関して対応する。外挿エンジンは、行動ａ１によりセグメント１１０２を加熱したのと同一の程度に行動ａ２によりセグメント１１０３を加熱し、行動ａ１によりセグメント１１０２を加熱したのと同一の程度に行動ａ３によりセグメント１１０４を加熱するように、表面温度分布がエネルギーの分布のシフトと対称的に有効に変化すると想定する。
【０１１５】
図１１に使用される実施例は、外挿エンジン１１０７が機能することが可能である方法の一般原則を図示するために使用される簡略化された実施例である。ａ１に起因する表面温度分布は、実際に一般的により複雑であり、図１１の実施例内のものより均一ではない。しかしながら、オーブンに利用可能な行動数を増加させることにより（たとえば、強度または位置変化をより細かくすることにより）、及び外挿エンジン１１０７の計算の複雑さを増すことにより、十分なパフォーマンスは、非常に複雑な表面温度分布が外挿エンジンにより利用されるときでさえ達成されることが可能である。オーブンにより行われることが可能である行動タイプは、以下により詳細に考察される。
【０１１６】
前述されるように、外挿エンジンにより外挿されるようなアイテムの状態をつぎに使用し、ステップ１０２０内などの関数を評価することが可能である。特に、アイテムのプランニングされた表面温度分布を使用して、コスト関数を評価し、制御システムについてトラバースされたプランコストを生成することが可能である。図１１の実施例に戻り、外挿エンジン１１０７により外挿されるような状態１１０８及び１１０９を使用して、行動ａ２及びａ３と関連するコスト、及びこれらの行動を含むプラン全体のコストを決定することが可能である。状態１１０８及び１１０９の事例において、外挿された状態は、アイテムの同一％が各ステップ後に加熱されることを明らかにする。各ステップを行うために同一の時間を与えることにより、基本的なコスト関数では、各行動のコストが等しかったことがわかる。しかしながら、コスト関数は、行動ａ２が好ましかったようなコストにファクタとして含まれることが可能である状態１１０８と比較して、まだ加熱されていない面積が状態１１０９においてより拡散しているという事実などの複数の他のファクタを考慮することが可能である。さらに、コスト関数が将来のプランコストを含む場合に、状態ｎ２’からのさらに３つの行動のみと比較して、アイテム全体を加熱するためにさらに４つの行動が必要とされるため、節ｎ２”からの加熱パターンを完成させることがより高価であると判定することができる。
【０１１７】
いくつかのアプローチにおいて、所与の節と関連するコストは、アイテムの状態を導出せずに計算されることが可能であるが、さらにニュアンスがあるアプローチは、決定論的プランナへより大きな制御を提供するためにアイテムの外挿された状態を利用することが可能である。１つの状況において、コストは、単純に、プランを完了するために必要とされるステップ数である。これにより、このコスト関数は、プラン持続時間に関して増加した第一項により少なくとも部分的に定義される。しかしながら、このアプローチでさえ、決定論的プランナが所与のプランを実行するために実際に必要とされるステップ数をある程度の精度により決定することが可能であるため、アイテムの外挿された状態から利益を得ることが可能である。
【０１１８】
任意の所与のプランのコストまたは行動のコストは、無数の他のファクタを含むことが可能である。たとえば、コストは、アイテムにわたる温度分布が望ましくない程度に増加する場合に増加することが可能であり、状態外挿は、この発生を検出するために使用されることが可能である。別の実施例として、コストは、外挿された状態内のアイテムの特定の部分が設定された温度を超える場合に急に増加する可能性がある。つぎに関数は、プランニングされた表面温度分布内の表面温度値が閾値温度を超えるときに増加する項により少なくとも部分的に定義される。別の実施例として、コストは、アイテムにわたる温度分布のエントロピーが望ましくない程度に増大する場合に増加する可能性があり、温度分布のエントロピーに比例して増大することが可能である。これらのアプローチは、それが一般的に効果的ではないため、有益であることが可能であり、有害であることが可能であり、望ましい程度にすでに加熱された面積にわたり加熱を掃引し戻すことが可能である。コスト関数により利用されるさまざまなファクタは、コストへ線形または非線形関係を各有することが可能である。たとえば、特定のアイテムについての天井温度の事例において、この関係は、閾値に交差する関連したファクタに基づくコストにおける非線形増加であることが可能である。
【０１１９】
他の箇所に記述されるように、コスト関数は、これらの事例においてアイテムのアイデンティティに依存することが可能である。たとえば、特定のアイテムが特定の熱レベルにおいて燃焼する、または炭化する傾向にある場合に、コスト関数は、これらの熱レベルをアイテムの外挿された、または観測された状態において検出する場合に急に増加する可能性がある。別の実施例として、特定のアイテムは、一連の段階に従い加熱される必要がある可能性がある（すなわち、アイテムは調理される前に解凍される必要がある）。コスト関数は、解凍段階中であるが、調理段階中ではない、高温の適用にペナルティを科すことなどにより、これらの異なる要件を考慮するのに十分な複雑さであることが可能である。
【０１２０】
外挿エンジンは、専用プロセッサ、及びハードコーディングされたＲＯＭを介するような、制御システム上にハードウェアとして実装されることが可能である。しかしながら、外挿エンジンは、制御システム上のファームウェア内に格納されるソフトウェアルーチンとして実装される、または制御システム内へソフトウェアとしてロードされることも可能である。またヒューリスティックは、これらのアプローチの組み合わせを含むことが可能であり、ソフトウェアとしてロードされる追加のソフトウェアルーチンを介して、またはファームウェアを介して更新を受信することが可能である。最終的に、外挿エンジンは、電子オーブン上に実際に物理的に存在する制御システム上に部分的に、及び電子オーブンと通信するサーバ上に部分的に実装されることが可能である。たとえば、表面温度分布についてのデータ、及びアイテムのアイデンティティは、状態の実際の外挿がサーバ上で実行されながら、電子オーブンにより取得され、ローカルに前処理されることが可能である。
【０１２１】
決定論的プランナ−ヒューリスティック
将来のプランコストを有するコスト関数を利用する特定のアプローチにおいて、将来のプランコストは、ヒューリスティックにより与えられることが可能である。このヒューリスティックは、その状態に達するために必要とされる個々の行動のそれぞれを実際に考察せずに、所望の状態に達するコストの推定値を本質的に与えることが可能である。ヒューリスティックは、外挿エンジンより計算集約型ではないことが可能である。またヒューリスティックは、現在の節から所望の最終目標へ取られるすべての行動を知る必要がない。代替に、ヒューリスティックは、開始点として現在の節を与えられるプランを完了するコストについての推定値を与えることが可能である。ヒューリスティックは、電子オーブンのセンサからのデータを使用して、この推定値を与えることが可能である。たとえば、ヒューリスティックは、赤外線センサにより取得されるようなアイテムの表面温度分布から導出される情報を利用することが可能である。しかしながら、ヒューリスティックは、外挿エンジンにより生成される表面温度分布から導出される情報も利用することが可能である。ヒューリスティックがその入力に基づき出力された将来のプランコストを計算する方式は、チャンバ内のアイテムのアイデンティティに基づき変更されることが可能である。
【０１２２】
アイテムの最終表面温度分布が所与のプランの最終目標である場合に、任意の所与の節からのプランを完了するための追加のコストについてのラフ近似は、現在の表面温度分布に対してその最終表面温度分布を比較することにより、推定されることが可能である。この目標を達成するために、ヒューリスティックは、アイテムの表面温度分布から１セットの温度値を取得することが可能である。表面温度分布は、外挿エンジンを使用して外挿される、またはセンサを使用して感知されることが可能である。つぎにヒューリスティックは、１セットのデルタ値を取得することが可能であり、各デルタ値は、１セットの温度値内の温度値、及び所望の最終表面温度分布からの所望の温度値に対応した。つぎにデルタ値を合計し、推定された将来のプランコストを取得することが可能である。たとえば、推定された将来のプランコストは、デルタ値を合計し、それらに比例定数を乗算することにより取得されることが可能であるため、温度差は、コスト関数へ適切にスケーリングされた。またヒューリスティックは、将来のプランコストを決定するときに、他のセンサからの表面温度分布及び情報のさまざまな態様を考慮に入れることが可能である。
【０１２３】
ヒューリスティックは、例えば専用プロセッサ、及びＲＯＭ内にハードコーディングされるインストラクションを介して、制御システム上にハードウェアとして実装されることが可能である。しかしながら、外挿エンジンは、制御システム上のファームウェア内に格納されるソフトウェアルーチンとして実装される、または制御システム内にソフトウェアとしてロードされることも可能である。またヒューリスティックは、これらのアプローチの組み合わせを含むことが可能であり、ソフトウェアとしてロードされる追加のソフトウェアルーチンを介して、またはファームウェアを介して、更新を受信することが可能である。
【０１２４】
決定論的プランナ−プラン発見
十分に小さい１セットの潜在行動、及び基本的な加熱タスクで外挿エンジンが、電子オーブンが取るすべての可能な行動系列をシミュレーションすることにより、すべての潜在プランについてのコスト関数評価がグラフ空間をトラバースすることが可能である。しかしながら、電子オーブン内に配置される任意のアイテム、及び多数の潜在行動を含むアプリケーションについて、ある程度のプルーニングは、調査されるグラフ内の節の数を制限するために行われることが可能である。たとえば、外挿エンジンは、初期状態から開始し、終了状態へ複数の経路を検出するまで、行動系列をランダムに展開することが可能であり、これらの複数の経路から最低コストを有する経路を選択することが可能である。別の実施例として、この初期状態からの展開は、将来のプラン値のヒューリスティック推定値、現在の節にトラバースしたプランコストの計算、またはこれらの値のいくつかの組み合わせを使用してバイアスをかけられることが可能である。本明細書に使用されるように、節を展開することは、その節において開始する１つ以上の行動を行うことにより結果として生じる状態についての情報を外挿することを指す。
【０１２５】
図５内の実施例に戻り、コスト関数の評価を使用し、さらなる計算を介してどの行動系列上に展開するかを選択することが可能である。前述されるように、表面温度分布及び行動を使用して、ｎ２’と関連するプランコストを決定する関数を評価し、つぎに同一の表面温度分布及び第二行動を使用して、節ｎ２”と関連するプランコストを決定する関数を評価する。つぎにプラン調査プロセスは、節ｎ２’について計算されるプランコストが節ｎ２”について計算されるプランコストより低いため、節ｎ２’から他の節を外挿することのみを続けることが可能である。節を選択する実際の方法は、まだ探索されていない複数の節が利用可能であり、複数の節が探索された節から取り除かれる１つの行動のみである場合に、より複雑になる可能性がある。この１セットの節は、決定論的プランナのフロンティアと称されることが可能である。たとえば、発見プロセスは、それらのプランコストによりフロンティア上のすべての節をランク付けし、下位Ｘ％を破棄し、上位１〜Ｘ％を展開することが可能である。代替に、発見プロセスは、節をランダムに展開する、または節をランダムに展開するアプローチへ定期的に切り替えることが可能である。
【０１２６】
上記の多くの事例において、第二プランコストへの第一プランコストの比較を使用して、グラフ空間を通るさまざまな行動系列を展開する方法を決定する。このようなものとして、発見プロセスを導くコスト関数及びロジックは、多くを共同で共有することが可能である。たとえば、発見プロセスは、アイテムにわたる温度変化を下げる節、または温度分布内の隔離された最大値もしくは最小値を最小にする節を好む可能性がある。しかしながら、利点は、発見プロセスを導くコスト関数及びロジックが特定の違いを有するアプローチへ生じる。特に、発見プロセスを導くロジックにランダム性を導入することで、発見プロセスが、実際には局所化された最小値のみでありながら、大域的最小値コストを生成するようにみえるグラフ空間を通る経路中を、移動してしまわないようにすることを確保する。さらに、発見プロセスのロジックを分岐するように奨励する程度は、特定のアイテムがグラフ空間内の局所化された最小値にさらになりやすい場合に、アイテムのアイデンティティに基づき変更することができる。たとえば、発見プロセスがフロンティアを展開するように指示される回数の割合は、電子オーブンにおいて認識されるもののようなアイテムについての熱抵抗率の既知の程度に比例してランダムに設定されることが可能である。
【０１２７】
決定論的プランナ−偏差検出器
決定論的プランナを含む電子オーブンは、所期のパフォーマンスから大きすぎる偏差を検出するときに、それが新規のプランを生成することを実行し、試行する場合に、プランのパフォーマンスを監視することも可能である。また、図３から図５を参照して記述される最適化分析を使用するアプローチへ偏差検出器を使用することが可能である。監視プロセスは、アイテムを加熱するプランを実行する場合に連続して行われることが可能である。この比較は、電子オーブンの制御システムに利用可能な任意のセンサデータを使用することが可能であり、プランの実行の過程を通してアイテムの外挿された任意の特性に基づく比較を利用することが可能である。
【０１２８】
アイテムの外挿された特性は、プラン発見プロセス中に、または実際のプラン生成プロセス中に取得されることが可能である。１つのアプローチにおいて、選択されたプラン内のトラバースについてその節を選択するときに、グラフ空間内の各節に対応するアイテムの外挿された状態を保存することが可能である。つぎに、この比較は、プランを当初生成しているときに外挿されるような、プランニングされた状態にアイテムの実際の結果として生じる状態がマッチングするかどうかを確認するために、プランの実行の各ステップにおいて発生することが可能である。
【０１２９】
図１２は、プランのパフォーマンスを監視することが可能である方法の概念図１２００である。アイテム１２０１は、チャンバ内に配置される実際の物理アイテムを表現し、アイテムへまだ熱が加えられていないことを示す空白の表面温度分布を含むように図示される。つぎに外挿エンジン１２０２は、プラン生成段階中にアイテムについての状態１２０３を外挿することが可能である。状態１２０３は、電子オーブンについての制御システムのメモリ内に表現されるアイテム１２０１の状態である。状態１２０３は、グラフ空間内の特定の節、及び格納されたプラン内の対応する行動系列と関連することが可能である。アイテム１２０４は、熱をチャンバ内のアイテムに加え、アイテム上の表面温度分布を生成することを除き、アイテム１２０１と同一の実際の物理アイテムを表現する。アイテムの表面温度分布は、赤外線センサ１２０５により感知されることが可能である。赤外線センサにより測定される表面温度分布は、制御システム内の別のメモリ空間１２０６内に実装されるコンパレータ１２０７により状態１２０３と関連するプランニングされた表面温度分布と比較されることが可能である。
【０１３０】
プランのパフォーマンスを監視する方法は、比較ステップ中に分散を検出しながら継続することが可能である。アイテムについてプランニングされた状態と、プランの実際の実行中にアイテムについて観測された状態との間の分散は、さまざまな方式において測定されることが可能である。基本的な実施例において、アイテム１２０４及び状態１２０３についてのそれなどの２つの表面温度分布からサンプリングされた値の簡単なデルタは、取られることが可能であり、許容不可能な分散とみなされるものについての所与の閾値と比較されることが可能である。他の事例において、さまざまなファクタは、許容不可能な分散とみなされることが可能である。たとえば、局所化されるが、プランニングされていないホットスポット１２０８の出現は、たとえ表面温度分布の大部分がプランの外挿されたパフォーマンスと一致するとしても、許容不可能な分散とみなされることが可能である。加えて、プラン生成段階中にコスト関数に劇的なペナルティを科すために使用されることが可能である、任意のファクタを使用して、許容不可能な変化を検出することが可能である。これらのようなファクタは、プランが調整される必要があるときを決定するために良いプロキシであるが、プランからの厳密な変化は、任意のリスク条件の発生にかかわらず、チャンバ内のアイテムの、または期待されるように応答していない観測不可能な内部などのより高い重要度の検出不可能な条件を経験しているアイテムの誤同定のような、より緊急の根本的な欠点をプランからの偏差が示すことが可能であるため、それ自体が重要である。
【０１３１】
プランニングされた状態、及び実際に観測された状態の比較中に分散を検出する場合に、制御システムは、いくつかの応答行動を取ることが可能である。最初に、決定論的プランナは、分散を検出することに応答してアイテムを加熱する第二プランを生成することが可能である。制御システムは、代替に電力を遮断する、またはチャンバの熱に基づく自動停止を有する時限加熱ルーチンのようなデフォルト加熱モードに切り替えることが可能である。第二プランは、第一プランが生成されたのと同一の方式において生成されることが可能である。代替に、第二プランは、所期のパフォーマンスからの分散について外挿エンジンへの情報を提供することにより生成されることが可能である。つぎに、実際に観測されたパフォーマンス、または期待されたものに対するそのパフォーマンスのデルタを順に使用し、将来の加熱タスクにおける外挿エンジンのパフォーマンスを改善することが可能である。また制御システムは、所期の条件における偏差のユーザへのアラートを発行し、ユーザに加熱プロセス経由で手動制御を用いるように依頼することが可能である。
【０１３２】
また制御システムは、プランニングされたパフォーマンスから任意の分散を参照せずに定期的に別のプランニング段階を実行することが可能である。たとえば、制御システムは、５分毎にプランニングプロセスを返すことが可能である。つぎに、このプランは、元のプランから新規のプランへ即時に切り替えられることが可能である。代替に、新規のプランは、許容不可能な分散を制御システムにより検出した場合に、リザーブに保持され、導入される準備ができる。リザーブに保持されるプランのこの使用は、プランの実際の現在のパフォーマンスについての許容可能なマッチングである予約済みのプランと関連する格納された状態に基づくことが可能である。
【０１３３】
制御及びトレーニングシステム
本開示に従う電子オーブンは、本明細書に開示される方法を実行する制御システムを含むことが可能である。制御システムを使用して、上記の評価フィードバック及び強化学習システムのインスタンスを生成することが可能である。たとえば、制御システムは、上記の制御システム９０３の特徴を示すことが可能である。また制御システムを使用して、上記の最適化分析のインスタンスを生成することが可能である。また制御システムを使用して、任意の関連した外挿エンジンまたはヒューリスティックを含む上記の決定論的プランナのインスタンスを生成することが可能である。制御システムは、プロセッサ、ＡＳＩＣ、または組み込みシステムコアによりインスタンスを生成されることが可能である。また制御システムは、本明細書に開示される方法を実行するためのインストラクションを格納するために、フラッシュなどの不揮発性メモリへのアクセスを有することが可能である。また制御システムは、プロセッサと組み合わせてこれらのインストラクションを実行するためのワーキングメモリへのアクセスを有することが可能である。制御システムのインスタンスを生成するためのハードウェアは、電子オーブン１１０などの電子オーブン内に収容される、プリント回路基板、または他の基板上に設置されることが可能である。制御システムは、ネットワーク経由で電子オーブン１１０と通信するサーバ上に部分的に実装されることが可能である。制御システムの個々のブロックは、同一の物理的なデバイス上にインスタンスを生成される必要がない。個々のブロックは、別個のデータストレージ、または物理的な処理デバイスによりインスタンスを生成されることが可能である。
【０１３４】
図１３は、本明細書に開示されるアプローチのうちのいくつかに従い、制御システム１３０１の動作の図解を提供するデータフロー図１３００である。特に、制御システム１３０１は、本明細書に開示される評価フィードバック、及び強化学習アプローチに関する利用に適している。制御システム１３０１は、評価フィードバックを使用して電子オーブン１１０を制御することが可能である。制御システム１３０１は、制御情報を生成し、電子オーブン１１０の状態、または電子オーブン１１０内のアイテムの状態についての状態情報を受信し、その状態情報の評価に基づき制御情報を調整することが可能である。図示されるように、制御システム１３０１は、特定の行動を実装するために電子オーブン１１０の他の構成要素へ制御情報１３０２を提供することが可能である。制御システム１３０１は、電子オーブン１１０の動作の状態、または電子オーブン１１０内のアイテムの状態を決定するために、センサなどの、電子オーブン１１０の他の構成要素から状態データ１３０３を受信することが可能である。
【０１３５】
制御システム１３０１は、強化学習トレーニングシステムを利用することが可能である。このトレーニングシステムは、出力として取る最適行動１３０５を決定する入力として、感知された状態、及び１セットの潜在行動により評価される格納された行動価値関数１３０４を含むことが可能である。つぎに制御システム１３０１は、最適行動１３０５を実装するために必要とされる制御情報１３０２を生成する。行動価値関数自体、及び関数を評価するシステムは、電子オーブン１１０上のプロセッサ及びメモリによりインスタンスを生成されることが可能である、またはネットワークアクセス可能なサーバ上に完全に、もしくは部分的にインスタンスを生成されることが可能である。行動価値関数についての値、ならびに特定の状態及び行動へのそれらの相関は、メモリ１３０６内に格納されることが可能である。１セットの潜在行動は、メモリ１３０７内に格納されることが可能である。メモリ１３０７及び１３０６は、電子オーブン１１０上のローカルメモリ、またはネットワークアクセス可能なサーバ上のネットワークアクセス可能なメモリであることが可能である。感知された状態は、状態データ１３０３を使用して状態導出システム１３０８により導出されることが可能である。また感知された状態は、制御情報１３０２を使用して導出されることが可能である。
【０１３６】
制御情報１３０２により定義される行動を実行した後に、制御システム１３０１は、新規の１セットの状態データ１３０３を受信し、報酬導出システム１３０９を使用してその状態から報酬値を導出することが可能である。つぎに報酬を使用して、格納された行動価値関数１３０４を更新することが可能である。報酬導出システムは、電子オーブン１１０上のプロセッサ及びメモリによりインスタンスを生成されることが可能である、またはネットワークアクセス可能なサーバ上に完全に、もしくは部分的にインスタンスを生成されることが可能である。報酬導出システム１３０９の動作は、より詳細に以下に記述される。
【０１３７】
特定のアプローチにおいて、行動価値関数１３０４は、行動価値関数として機能する、ニューラルネットワーク、または他のバックプロパゲーション回帰モデルなどの、関数アプロキシメータである。また制御システムは、関数アプロキシメータについてのトレーニングシステムを含むことが可能である。たとえば、トレーニングシステムがニューラルネットワークである場合に、ネットワークの特定の重み付けは、ニューラルネットワークが行動価値関数についての公平な近似になるように、トレーニングされる必要がある。つぎに、これらの重み付けは、メモリ１３０６内に格納されることが可能である。ニューラルネットワークについてのトレーニングシステムは、バックプロパゲーション回帰トレーニングモデルであることが可能である。ネットワークをトレーニングするために使用されるデータは、電子オーブンにより感知される同一のデータであり、行動価値関数を更新するために制御システムにより使用されることが可能である。
【０１３８】
本明細書に開示されるアプローチのうちのいくつかは、トレーニングデータとして過去の経験のランダムサンプルを利用するニューラルネットワークトレーニングシステムを含む。これらのアプローチにおいて、行動価値関数１３０４を更新するために使用されるデータは、より長期間格納される必要がある。このデータは、電子オーブン１１０上のメモリまたはディスク内に格納されることが可能である。しかしながら、データは、ネットワーク１３１１を介してアクセス可能であるネットワークアクセス可能なサーバ１３１０上に格納されることも可能である。
【０１３９】
ニューラルネットワークをトレーニングするために使用されるデータは、行動価値関数を更新するために使用されるデータより拡張性がある可能性がある。特に、データは、１セットの経験データポイントを含むことが可能である。経験データポイントは、報酬導出システム１３０９により導出される報酬値、最適行動１３０５を選択するために使用される第一状態、状態導出システム１３０８により導出される第二状態、及び第一状態から第二状態へ移行させるために使用される行動１３０５を表現するデータを含むことが可能である。つぎに、これらの経験データポイントは、ランダムにサンプリングされ、ニューラルネットワークについて１セットのトレーニングデータを提供することが可能である。トレーニングデータを使用して、損失関数が確率的勾配降下法の評価に従い繰り返し最小にされるアプローチに従い、ニューラルネットワークをトレーニングすることが可能である。このアプローチは、ニューラルネットワークのトレーニングが関数アプロキシメｃータを提供する速度を増すために同一の１セットの物理的測定から複数のセットのトレーニングデータを収集することが可能であるという点において有益である。
【０１４０】
ネットワークアクセス可能なサーバ１３１０は、複数の電子オーブンから収集される経験データポイントを含むことが可能であり、当該データポイントは複数の電子オーブンについての関数アプロキシメータをトレーニングするために使用されることが可能である。経験データポイントは、ネットワーク化された各電子オーブンからサーバへプッシュアップされ、サーバ側においてトレーニングプロシージャを実行することが可能である。しかしながら、トレーニングデータは、サーバから個々のオーブンへプッシュダウンされ、トレーニングプロシージャをローカルに実行することも可能である。電子オーブンのネットワークにより行われる各トレーニングエピソードからのトレーニングデータのこのプーリングで、電子オーブンのネットワークを最適パフォーマンスについてトレーニングする速度を大幅に増加できる。
【０１４１】
図１４は、本明細書に開示されるアプローチのうちのいくつかに従い、制御システム１４０１の動作の図解を提供するデータフロー図１４００である。特に、制御システム１４０１は、本明細書に開示される決定論的プランナアプローチに関する利用に適している。制御システム１４０１は、プランを生成し、そのプランに従い電子オーブンへコマンドを送達することにより、電子オーブン１１０を制御することが可能である。このプランのパフォーマンスを監視することも可能である。制御システム１４０１は、制御情報を生成し、電子オーブン１１０、または電子オーブン１１０内のアイテムの状態についての状態情報を受信し、その状態情報に基づきプランのパフォーマンスを調整し、決定することが可能である。図示されるように、制御システム１４０１は、生成されたプラン１４０５に従い特定の行動を実装するために、電子オーブン１１０の他の構成要素へ制御情報１４０２を提供することが可能である。制御システム１４０１は、電子オーブン１１０、または電子オーブン１１０内のアイテムの動作の状態を決定するために、センサなどの、電子オーブン１１０の他の構成要素から状態データ１４０３を受信することが可能である。
【０１４２】
制御システム１４０１は、チャンバ内のアイテムを加熱するプランを生成するために、決定論的プランニングシステムを利用することが可能である。決定論的プランニングシステムは、状態データ１４０３を使用して評価される、格納されたコスト関数１４０４を含むことが可能である。このシステムは、コスト関数１４０４を評価するために、外挿エンジン１４０７、及びヒューリスティック１４０６を使用することもできる。コスト関数内の特定の節は、外挿エンジン１４０７またはヒューリスティック１４０６を使用して、評価のために選択され、その後評価されることが可能である。制御システムは、これらの評価に基づきプラン１４０５を生成し、プラン１４０５を実装するために必要とされる制御情報１４０２を生成する。コスト関数自体、及び関数を評価するシステムは、電子オーブン１１０上のプロセッサ及びメモリによりインスタンスを生成されることが可能であるか、またはネットワークアクセス可能なサーバ上に完全に、もしくは部分的にインスタンスを生成されることが可能である。電子オーブンが実行することが可能である、コスト関数、ヒューリスティック、外挿エンジン、及び潜在行動についての値は、メモリ１４０９内に格納されることが可能である。メモリ１４０９は、電子オーブン１１０上のローカルメモリ、またはネットワークアクセス可能なサーバ上のネットワークアクセス可能なメモリであることが可能である。感知された状態は、状態データ１４０３を使用して状態導出システム１４０８により導出されることが可能である。また感知された状態は、制御情報１４０２を使用して導出されることが可能である。
【０１４３】
制御情報１４０２により定義される行動を実行した後に、制御システム１４０１は、新規の１セットの状態データ１４０３を受信し、偏差検出器１４１０を使用して、プランの実際のパフォーマンスをプランの所期のパフォーマンスと比較することが可能である。偏差検出器は、外挿エンジン１４０７から外挿された状態を受信し、この外挿された状態を、この外挿された状態に対応するプラン内のポイントにおいてアイテムが達した実際の状態と比較することが可能である。外挿エンジンは、専用プロセッサとして実装されることが可能である、またはコスト関数１４０４を評価するシステムのインスタンスを生成するために使用される同一のプロセッサ上で実行されるファームウェアもしくはソフトウェアであることが可能である。偏差検出器は、部分的に実行されているプランと関連する制御システムに利用可能である追加の情報を与えられるコスト関数の別の評価をトリガするように構成されることが可能である。
【０１４４】
制御システムの操作のために必要とされるデータは、電子オーブン１１０上のメモリまたはディスク上に格納されることが可能である。しかしながら、データは、ネットワーク１４１１経由でアクセス可能であるネットワークアクセス可能なサーバ１４１０上に格納されることも可能である。たとえば、電子オーブン内に配置されるアイテムのアイデンティティに基づき、コスト関数、外挿エンジン、またはヒューリスティックを初期化するために使用される値は、システムがさらにデータを取得する場合に、遠隔に格納され、更新されることが可能である。同様に、電子オーブンにより収集されるデータは、他の電子オーブンによる使用のためにサーバ１４１０へアップロードされることが可能である。特に、プランが所期の外挿された状態へ導かなかったと偏差検出器が判定したインスタンスを使用して、他の電子オーブンによる使用のためにネットワークアクセス可能なサーバ１４１０において外挿エンジンを初期化する格納された値をリファインすることが可能である。
【０１４５】
状態及び報酬導出
上記の評価フィードバックアプローチのいずれにおいても状態導出システムを利用して、システムからフィードバックを取得する。たとえば、状態導出システムは、状態導出システム５０８または１４０８であることが可能である。報酬導出システム５０９などの、報酬導出システムを利用して、強化学習アプローチ内の行動価値関数を更新する。本明細書に使用されるように、項状態は、アイテム、電子オーブン、またはシステム全体の実際の物理的状態を指すことが可能である。しかしながら、項は、メモリ内に格納されるようなこれらの状態の代表を指すことも可能である。いくつかのアプローチにおいて、実際の物理的状態の数は、メモリ内に格納される状態数よりさらに多い。
【０１４６】
メモリ内の状態を定義するプロセスは、センサ、制御システム、またはネットワーク接続からのデータを一般的に含む。アイテムの実際の物理的状態は、状態感知情報、１３０３及び１４０３などを取得する図１を参照して上述されるセンサにより感知される。メモリ内に格納されるこれらの状態は、センサから取得されるデータにより定義されることが可能である。たとえば、これらの状態は、アイテムにわたる温度分布についてのデータ、２次元可視光データ、３次元可視光データ、レーザ監視温度測定値、重み付けデータ、湿度データ、温度データ、微粒子濃度データ、リターンロスデータ、インピーダンスマッチングデータ、印加エネルギーデータ、及び一般的にアイテム、チャンバ、エネルギー源、または電子オーブンの物理的状態についての他のパラメータにより定義されることが可能である。またメモリ内に格納されるこれらの状態は、制御情報により定義されることができる。
【０１４７】
制御システムにより使用されるこの状態は、状態感知情報１３０３などのセンサの使用を通して測定されるファクタと、制御情報１３０２などの制御情報との両方により定義されることが可能である。特に、特定の行動の運動量についての情報の形式における制御情報を使用して、状態を定義することが可能である。一般に、方向の項を含む、または時間に関するビヘイビアが正及び負の両方の微分係数を含む、制御システムにより実施される任意の行動は、状態を定義するためにシステムにより有益に使用されることが可能である。
【０１４８】
特定のアプローチにおいて、制御情報が制御システム自体により生成されるコマンドから導出可能であるため、センサは、この制御情報を取得するために必要とされない。たとえば、この状態は、チャンバ内のモードスターラの角運動量についての値を含むことが可能であるが、角運動量は、チャンバから感知されることを必要とせず、代替に、その角運動量を調整することに応答可能である制御システムの部分から、行動価値関数を評価し、更新することに応答可能である制御システムの部分へ直接に渡されることが可能である。これは、図１３内の１３０８と１３０２との間の接続により図示される。印加される電力に応答してモードスターラのビヘイビアが評価され、メーカーにより良くモデル化されることが可能であるため、このモデルは、この運動量がモードスターラを制御するために使用されるコマンドから導出されることが可能であるように、制御システム内に構築されることが可能である。
【０１４９】
またネットワーキングインタフェースは、アイテムの状態を決定するために使用されることが可能である情報を提供することが可能である。たとえば、電子オーブンについての位置データは、このオーブンの接続性により導出され、アイテムの状態を定義するために使用されることが可能であるオーブンについての高度を導出するために使用されることが可能である。また、位置に基づく情報は、特定の面積内のより高い周波数により消費される特定のアイテムをより良く識別するために、または特定のＬｏｃａｌ  Ｐｒｅｆｅｒｅｎｃｅに従いアイテムを調理するために、制御システムを初期化するための外部チャネルとしても機能することが可能である。Ｌｏｃａｌ  Ｐｒｅｆｅｒｅｎｃｅ及び地理的消費パターンは、電子オーブン自体による初期事項として取得されることも可能である。
【０１５０】
特定の実施例において、アイテム１１１についての表面温度分布は、開口部１１４を介してアイテムのビューにより赤外線センサを使用して感知されることが可能である。つぎに、表面温度分布を使用して、メモリ内の状態を識別することが可能である。複数のセンサからのデータ、またはセンサ及び制御情報の組み合わせからのデータは、状態を識別することと組み合わせて使用されることが可能である。たとえば、アイテムの表面温度分布及び３次元画像の両方は、アイテムのビューにより赤外光及び可視光センサを使用してキャプチャされることが可能であり、この分布及び画像の両方は、状態を識別するために使用されることが可能である。別の実施例において、表面温度分布と、トレーについてモータを制御するために使用される制御情報を使用して計算されるようにアイテムを保持する可動トレーの運動量とを利用して、状態を識別することが可能である。別の実施例として、印加されたエネルギーの現在の位置、及び印加された電力についてのインピーダンスマッチング特性の両方を利用して、状態を識別することが可能である。
【０１５１】
これらの状態は、センサからの生のデータにおいて取られる導出プロシージャを介して定義されることが可能であり、処理されたデータを制御システムへ送達する。このステップは、特定の事例において、データが制御システムへ直接に送達されることが可能である場合に、任意選択である。たとえば、赤外線センサは、制御システムへセンサ内の各ピクセルにより感知されるＩＲ強度についての値の行列を直接に送達することが可能である。しかしながら、生のピクセル値は、戦略的にダウンサンプリングされ、制御システム上に配置される計算上の制約を緩和することが可能である。この生のデータは、アイテムの表面積を３次元形状から２次元平面に平坦化したかのようにアイテムの表面積へ直接に対応するＩＲ強度値の行列を制御システムが受信するように処理されることが可能である。さらに複雑な導出プロシージャは、これらの状態を定義することが可能である制御システムへ最適な程度の情報を提供するために適用されることが可能である。
【０１５２】
図１５は、メモリ内の状態を定義するためにアイテムについての生のセンサデータを処理するために使用されることが可能である、さらに複雑な導出プロシージャの図解を提供する。図１５は、２つの異なる時間に同一のシステムに対応する２セットの画像１５００及び１５０１を含み、そこで画像１５００は、ｔ＝０に対応し、画像１５０１は、ｔ＝１に対応する。両方の画像において、赤外線センサ１５０２は、表面温度分布を取得する。表面温度分布１５０３は、ｔ＝０において取得される。表面温度分布１５０４は、ｔ＝１において取得される。両方の表面温度分布は、チャンバ内の同一のアイテムに対応する。この事例において、アイテムは、可動トレー１５０７上の１セットのアイテム１５０５及び１５０６である。図示されるように、トレー１５０７は、ｔ＝０からｔ＝１へ９０°回転している。
【０１５３】
強化学習システムは、チャンバ内のアイテム１５０５及び１５０６の相対移動にかかわらず、システムの状態として表面温度分布１５０３及び１５０４を扱うことが可能である。しかしながら、特定のアプローチにおいて、アイテムの位置、及び表面温度分布についての情報を使用してこれらの状態を定義することにより制御システムについてのこの程度の複雑さを緩和することは、有益であることができる。これは、複数の方式において行われることが可能であり、下記の実施例は、さらに複雑な導出が制御システム上のひずみを緩和することが可能である方法を説明する目的のために提供され、制御システムにすべてのインスタンス内の情報を提供する方法についての制限として提供されない。
【０１５４】
１つの実施例において、赤外線センサ１５０２は、アイテム１５０５及び１５０６の可視光画像を取得することも可能である。このデータは、状態感知データ１３０３などの状態感知データの部分として機能する。つぎに、この情報を状態導出システム１３０８などの状態導出システムが使用し、表面温度分布をそれらの生の値からアイテム１５０５及び１５０６のそれら自体についての分布へマッピングすることが可能である。
【０１５５】
別の実施例として、制御システムは、トレー１５０７の位置を導出することが可能である制御情報を提供することが可能である。この情報は、制御情報１３０２などの制御情報として機能することが可能である。つぎに、表面温度分布を使用して、行動価値関数１３０４またはコスト関数１４０４により利用されるように制御システムについての状態を定義する前に、この情報を使用して、状態導出システム１３０８などの状態導出システムにおけるトレーの移動の影響を相殺するように表面温度分布を置換することが可能である。
【０１５６】
他のさらに複雑な導出は、複数のデータストリームの組み合わせを通して可能である。たとえば、この状態は、マイクロ波内に一般に配置される格納されたアイテムのライブラリに対してオーブン内の特定のアイテムを実際に識別する、分類器を含むことが可能である。この状態は、マイクロ波内に配置されることが可能であり、別々に各アイテムの個々の特性を追跡することが可能である、複数のアイテムについてのプレースホルダを含むことが可能である。
【０１５７】
マイクロ波内に配置されるアイテムの実際の物理的状態は、制御システムにより定義されるような状態から変化することが可能である。この発生は、隠された状態問題と称されることが可能である。特定のアプローチにおいて、この状態は、アイテムの表面に向けられる測定から定義され、アイテムの内部の温度は、間接的にのみわかる。しかしながら、アイテムの内部特性は、同一の表面測定が異なる内部状態を示すように、外見が一定のままでありながら変化する可能性がある。表面温度のみを監視するアプローチにおいて、これは、隠された状態問題につながる可能性がある。
【０１５８】
上述される強化学習アプローチは、ノイズが多く、遅延する報酬信号について動作することが可能であるため、隠された状態問題に関する特定の利点を提供する。最終的に、アイテムの内部状態を決定する。さまざまなアプローチにおいて、この内部状態は、それが熱の拡散を通してアイテムの表面上に最終的に現れるときに、またはアイテムがチャンバから取り除かれ、評価されるときに決定される。それにもかかわらず、前の状態についての行動価値関数の更新は、この情報を組み込み、制御システムに戻す迅速な方式を提供し、制御システムが隠された状態を認識し、それらの影響を緩和するためにオプションを探索することを可能にする。
【０１５９】
行動価値関数を評価するために使用されることは別として、アイテムの状態について取得される情報を使用して、行動価値関数を更新するための報酬を導出することも可能である。この行動は、報酬導出システム５０９などの報酬導出システムにより行われることが可能である。実際に、アイテムの状態についてシステムにより収集される任意の情報を使用して、報酬を導出することが可能である。報酬は、正または負であることが可能である。特定の実施例において、正の報酬は、調理決定の均等性に基づき各状態について導出されることが可能である。この決定は、アイテムについての表面温度分布を評価すること、及びこの分布にわたる温度値の分散を評価することを伴うことが可能である。報酬は、シグモイド上の小さな大きさのポイントについて正の報酬を提供するシグモイド関数と、この分布内のいくつのポイントを比較するかから導出されることが可能である。別の実施例として、負の報酬は、こぼれが発生したことを可視光検出器が識別するときに提供されることが可能である。大きな負の報酬は、煙をチャンバ内で検出するときに導出されることが可能である。
【０１６０】
アイテムの状態を定義するために使用されるデータに加えて、報酬は、複数の他のデータ源から導出されることが可能である。たとえば、報酬は、所望の程度にアイテムを加熱するのにかかる時間から導出されることが可能であり、そこで迅速な加熱は、正の報酬と関連する。また報酬は、アイテムを調理した後に、ユーザフィードバックを介して提供されることが可能である。たとえば、プロンプトは、どれくらいうまく加熱を行ったかについて報告するために、ディスプレイ上に現れる、またはデバイス上のスピーカにより送信されることが可能である。別の実施例として、プロンプトをユーザの携帯電話に送信し、どのくらいうまくアイテムを加熱したかについての応答を要求することが可能である。つぎに、この報酬は、ユーザの応答に基づき導出されることが可能である。
【０１６１】
行動
図１を参照して記述される例示的な電子オーブンは、評価フィードバックを取得するプロセスの部分として、またはアイテムを加熱するプランを生成する部分として、さまざまな行動を行うことが可能である。評価フィードバックを使用して強化学習トレーニングシステムをトレーニングするアプローチにおいて、これらの行動は、このトレーニングシステムの行動価値関数への入力であることが可能である。決定論的プランナを使用するアプローチにおいて、これらの行動は、プランを作成し、プラン空間のグラフをトラバースする行動であることが可能である。上記に考察される最適化分析を使用するアプローチにおいて、これらの行動は、所与の条件にアイテムを配置し、その応答を監視するために使用される電子オーブンの構成におけるエネルギーの印加、及び変化であることが可能である。
【０１６２】
一般的に、上述されるように、１セットの行動は、エネルギー源によりチャンバへ送達されるエネルギーの可変分布により作成される極大値に関して、第一位置価値から第二位置価値へアイテムの相対位置を変更する能力を備える。この目標を達成するために、トレー１１８は、１つ以上の軸の周囲で回転可能であることができる。またトレー１１８は、チャンバ１１２の底部沿いの２次元内に線形に可動であることができる。トレー１１８は、チャンバ１１２の境界より実際に大きく、より大きな面積を通してアイテム１１１を移動させるために、それが移動する場合にチャンバの壁部の下を通ることができる。またトレー１１８は、チャンバ１１２の基部に関してｚ方向の上下に可動であることができる。代替に、または組み合わせにおいて、源１１３により提供されるエネルギーの可変分布は、以下にさらに詳細に記述されるように可動であることができる。
【０１６３】
例示的な制御システムにより実行されることが可能である他の行動は、エネルギー源１１３に印加される電力を周期的にオン及びオフにすること、または最大レベルと最小レベルとの間の段階的なステップにおいて印加される電力を調整することなどにより、チャンバに供給されるエネルギーの特性調整することを備える。他のアプローチにおいて、チャンバ１１２に印加されるエネルギーの周波数は、変更されることが可能である。他のアプローチにおいて、追加の熱源は、エネルギー源１１３により印加されるエネルギーへ、組み合わせて、または代替に、チャンバに適用されることが可能である。さらに、水または他の材料は、チャンバ内に断続的に導入され、アイテム１１１上でチャンバ１１２へ導入されるエネルギーの効果を変えることが可能である。別の実施例として、サセプタは、チャンバに定期的に導入され、より高温の反応を起こすことが可能である。サセプタは、メイラード反応、または高温においてのみ達成可能である他の効果を引き起こすように、チャンバ内で可動であることが可能であり、特定のアイテムに非常に近接して時々配置されることが可能である。例示的な制御システムにより実行されることが可能である他の行動は、加熱中にアイテムの位置及び組成物を調整するように構成されるチャンバ内にスターラ、または他のアジテータを移動させることを備える。アジテータは、アイテム内に配置されることが可能である。特定のアプローチにおいて、アジテータは、マイクロ波エネルギーへ透過性である材料を含む。他のアプローチにおいて、アジテータは、上述されるサセプタである。
【０１６４】
制御システムが実行可能である別の行動は、チャンバ１１２自体に関してエネルギー源１１３により提供される可変分布を移動させることである。この行動は、複数の方式において達成されることが可能である。可変分布の位置を変更することが可能である方法の実施例は、２０１６年３月３０日に出願された米国仮特許出願第６２／３１５，１７５号、２０１６年６月１３日に出願された第６２／３４９，３６７号、及び２０１６年１２月１４日に出願された第６２／４３４，１７９号に提供され、これらすべては、それらの全体がすべての目的のために本明細書に参照により援用される。たとえば、可変分布は、図２内の可変反射率要素２００などの、１セットの可変反射率要素の物理的構成を調整することによりアイテムに関してチャンバ内で変更されることが可能である。
【０１６５】
制御システムがチャンバに関する可変分布を移動させる行動を実行することが可能である方法の別の実施例は、アンテナアレイ、またはエネルギー源を利用することによる。このアレイ内の個々の要素は、異なるポイントにおいて可干渉性を示し、干渉する波を形成することにより送達されたエネルギーの特性を即時に変更するエネルギーの可変レベルにより供給されることが可能である。
【０１６６】
制御システムにより行われることが可能である別の行動は、チャンバ自体に関するエネルギー分布のパターンを変更すること、及びまた供給されるエネルギー量を変更することの組み合わせを含む。アイテム上の、またはアイテム内の特定の位置を標的とし、リターンロス及びインピーダンスマッチングなどのＲＦパラメータを監視することにより、送達されたエネルギーへのアイテムのその部分の反応を監視することが可能である。これらの特性は、アイテムが熱に応答する方法についての知識と組み合わされ、加熱プロセスが進行する方法を測定するために利用されることが可能である。
【０１６７】
上述される行動のいずれも、アイテムを加熱するプランを生成するときに決定論的プランナによる選択のために制御システムにより格納されることが可能である。このプランナが選択することが可能である潜在的なアイテムは、電子オーブンの行動セットと称されることが可能である。決定論的プランナについてのこれらの行動は、それらの個々の持続時間または物理的エクステントの観点からさまざまに設定された程度を有することが可能である。たとえば、行動セットは、各行動が実行するために同一時間かかるように定義されることが可能である（たとえば、トレーをπ／８ラジアン回転させること、またはエネルギー源の強度を１０％増加させることと関連する行動は、それらが同一時間かかるため、行動セットについて選択されることが可能である）。これらのアプローチは、コスト関数が取られる行動数を単純に加算することにより合計プラン時間を計算することが可能であるため、コスト関数についての１つの制約を緩和する。しかしながら、コスト関数は、任意の所与の行動を実行するためにかかる時間を考慮に入れるように定義されることも可能である。代替に、これらの行動は、それらが行動セット内のさまざまな行動間のなんらかの種類の対称性を保存することを参照することなく、固定された持続時間または強度を有するように定義されることが可能である。これらのアプローチは、それらが探索され、外挿される必要がある１セットの潜在的な行動を制限するため、全体として決定論的プランナの計算複雑性も緩和する。行動が変わる持続時間または強度を有する代替のアプローチは、可能であり、プランナに与えられる柔軟性の観点から一定の利益を提供することが可能であるが、外挿エンジンの複雑さをも増加させる。
【０１６８】
制御システム初期化
制御システムは、チャンバ内に配置されるアイテムのアイデンティティに基づき初期化されることが可能である。このアイテムは、赤外線データ、及び可視光センサから取得される可視光センサデータを使用して、エネルギー印加へのアイテムの応答を分析することにより識別されることが可能である。制御システムは、特定のカテゴリにマッチングするアイテムのカテゴリに基づき初期化されることが可能である、または特定のアイテムに基づき初期化されることが可能である。たとえば、アイテムは、粘性のない均一な液体として識別されることが可能である、またはそれは、一杯の紅茶として識別されることが可能である。つぎに制御システムは、この識別に基づき初期化されることが可能である。制御システムは、アイテムが識別されない場合にデフォルト構成を有することが可能である。また制御システムは、アイテムの特性について異なるレベルの特異度に基づき異なる構成を有することが可能である。たとえば、制御システムは、一杯の紅茶構成、及び粘性のない均一な液体構成の両方を含むことが可能であり、紅茶の識別が適切に行われない場合、さらに一般的な構成に頼ることが可能である。
【０１６９】
図１６は、外部チャネルからのデータを使用する制御システムの初期化を示すデータフロー図である。外部チャネルからのデータを使用して、上記に考察される決定論的プランナ、強化学習アプローチ、及び最適化分析と関連するそれらを含む、本明細書に開示されるいずれの制御システムも初期化することが可能である。しかしながら、説明目的のために、図１６は、図１３を参照して開示されるような強化学習アプローチについての制御システムの初期化を示す。
【０１７０】
外部チャネルからのデータは、加熱またはトレーニングエピソードのための制御システム１３０１を初期化するための情報を提供することが可能である。これらのチャネルを利用して、アイテムのアイデンティティに基づき構成可能であるような、この文書内の他の箇所に記述されている制御システムの任意の態様を初期化することも可能である。外部チャネルは、パッケージ１６０１上のＱＲコード、音声コマンド１６０２、タッチ入力１６０３、及びネットワークデータ１６０４として図示される。外部チャネルからのデータは、加熱されるアイテムのパッケージ類上のＵＰＣまたはＱＲコード、従来のキーパッド上に入力されるキーパッドコマンド、タッチスクリーンのユーザインタフェース上に入力されるコマンド、電子オーブンのマイクロホン上に入力される音声コマンド、または画像認識分類器と組み合わされるカメラを読み出すために使用されるスキャナを介して送信されるデータを含むことが可能である。一般に、データチャネルは、外部ソースから電子オーブン１１０へコマンドまたは情報を入力するための任意の方法を含むことが可能である。ネットワークデータ１６０４は、ローカルネットワークまたはインターネットを介して間接的に制御情報を提供している、電子オーブン１１０のメーカーから、または電子オーブン１１０のユーザから提供される情報を含むことが可能である。この情報は、タッチスクリーン、マイクロホン、及びカメラを備える携帯電話などの、制御パネル１１９を参照して上記のさまざまな入力チャネルを含むデバイスを介してネットワーク経由で提供されることが可能である。
【０１７１】
データを受信すると、データは、制御システム１３０１の特定の態様を初期化するために電子オーブン１１０により使用される。たとえば、行動価値関数自体は、メモリ１３０６内に格納される１セットの値及び相関を変更することにより初期化されることが可能である。これは、メモリ１３０６内に格納される行動価値関数についてのニューラルネットワーク関数アプロキシメータの重み付け及び全体的な特性を設定することを伴うことが可能である。状態導出システム１３０８及び報酬導出システム１３０９のビヘイビアは、受信したデータにより初期化される、または変更されることも可能である。制御システム１３０１により使用される、これらの状態自体は、チャンバ内のアイテムの個々の構成要素の状態を独立して追跡するためにそれらを調整することなどにより変更されることが可能である。特定の実施例において、外部チャネルは、調理する必要がある鶏肉、及び再加熱する必要があるごはんの組み合わせとしてアイテムを識別することが可能である。結果として、制御システム１３０１及び状態導出システム１３０８により使用される状態は、２つの別個の構成要素の追跡を続けるために初期化されることが可能である。状態を表現するために使用されるデータは、各構成要素について２つの別々のベクトルを有するように変更されることが可能である。報酬プロシージャは、鶏肉の緩慢で段階的な加熱、及びごはんの軽い加熱に報酬を与えるように変更されることが可能である。
【０１７２】
一般に、強化学習トレーニングシステム、または関数アプロキシメータをトレーニングするために使用されるトレーニングシステムの特性を有する制御システム１３０１の任意の態様は、外部チャネルからのデータを介して初期化されることが可能である。たとえば、強化学習トレーニングシステムは、探索行動と対照的に行動を最大にする行動価値を取る確率を調整するように、外部チャネルからのデータに基づき初期化されることが可能である。
【０１７３】
情報のための別の外部チャネルは、チャンバ内のアイテムを分析するために使用される予めプログラミングされた較正プロシージャであることが可能である。この較正プロシージャは、本明細書の他の箇所に記述される決定論的プランナ及び最適化分析の発見段階において使用される同一のプロセスであることが可能である。電子オーブンは、制御システムを初期化するために使用されることが可能である情報を取得するために、アイテムを迅速に加熱する、またはチャンバに水を加え、その刺激へのアイテムの反応を研究するように構成されることが可能である。たとえば、アイテムは、電磁放射線の印加により加熱されることが可能であり、表面温度分布内の変化は、短期間にわたり分析され、アイテムの熱抵抗率を決定することが可能である。熱抵抗率が高いと判定することに応答して、決定論的プランナまたは強化学習アプローチについての制御システムは、これらのようなアイテムに関する潜在的に隠された状態問題を扱うために、探索ステップを取る高い確率により初期化されることが可能である。実際に、上述された刺激へのアイテムの応答は、制御システム用にアイテムを識別するために、これらの刺激への異なる材料の応答についての情報のコーパスへのアクセスを有する任意の分類システムにより使用されることが可能である。特定の実施例として、異なる食べ物は、加熱に応答して異なる冷却曲線を示し、所与の刺激に応答する経時的なチャンバ内のアイテムの温度における変化を監視することができる。同様の実施例において、エネルギー印加を受信した後に表面温度分布における変化を分析し、さまざまな潜在的な行動に応答して決定論的プランナについてのアイテムの状態を正確に外挿するために、アイテムの加熱、及びその後の冷却の両方を行う方法についての情報を含む決定論的プランナアプローチについての外挿エンジンを供給することが可能である。
【０１７４】
外部チャネルからのデータを利用する特定の実施例は、上記で提供されるが、ほとんどのアプローチにおいて、制御システム１３０１などの、制御システムは、外部チャネルからのごくわずかなデータにより動作することが可能である。上述される、かなりのデータは、制御システム１３０１自体の動作により実際に発見され、制御システム１３０１自体の動作に組み込まれることが可能である。たとえば、外部チャネルは、再加熱する必要がある調理済み鶏肉、または解凍され完全に調理される必要がある冷凍鶏肉としてアイテムを識別することが可能であるが、制御システム１３０１は、外部入力なしで、アイテムを識別し、適切な加熱プロシージャを実行し、両方のアイテムを所望の状態にするように学習することも可能である。同一の行動価値関数及び１セットの状態は、解凍及び調理タスク、ならびに再加熱タスクの両方のために利用されることが可能である。外部データを提供しなかったアプローチの状態数及び計算上の複雑さは、より大きいが、外部データのプロビジョニングは、不要である。
【０１７５】
本明細書は、本発明の特定の実施形態に関して詳細に記述されているが、当業者が上述の理解を達成すると、これらの実施形態への変更、これらの変形、及びこれらへの均等物を容易に想起することができることを理解するであろう。上記に考察される、いずれの方法ステップも、これらの方法ステップについてのインストラクションを格納するコンピュータ可読の非一時的な媒体と動作するプロセッサにより行われることが可能である。これらのコンピュータ可読媒体は、電子オーブン内のメモリ、またはネットワークアクセス可能なメモリであることができる。本開示における実施例は、電磁エネルギー印加を通してアイテムを加熱することを備えるが、加熱の任意の他の形態は、組み合わせて、または代替に使用されることが可能である。用語「アイテム」は、単一の均一な要素に限定されるべきではなく、加熱される物質の任意の集合体を含むと解釈されるべきである。本発明への、これらの、及び他の修正形態及び変形形態は、本発明の範囲から逸脱することなく、当業者により実施されることができ、これは、添付の特許請求の範囲にさらに特に記載される。
【０１７６】
参照は、開示された本発明の実施形態へ詳細に行われ、これの１つ以上の実施例は、添付の図面に示される。各実施例は、本技術の説明として提供され、本技術の制限として提供されていない。事実上、修正形態及び変形形態は、それらの範囲から逸脱することなく本技術に行われることが可能であることは、当業者に明らかであろう。たとえば、１つの実施形態の部分として図示される、または記述される特徴は、別の実施形態により使用され、もう１つの実施形態をもたらすことができる。したがって、本発明の主題が添付の特許請求の範囲内に、及びそれらの均等物の範囲内にすべてのこれらのような修正形態及び変形形態を網羅することは、意図される。
【図１】
2019519744.tif 000006
【図２】
2019519744.tif 000007
【図３】
2019519744.tif 000008
【図４】
2019519744.tif 000009
【図５】
2019519744.tif 000010
【図６】
2019519744.tif 000011
【図７】
2019519744.tif 000012
【図８】
2019519744.tif 000013
【図９】
2019519744.tif 000014
【図１０】
2019519744.tif 000015
【図１１】
2019519744.tif 000016
【図１２】
2019519744.tif 000017
【図１３】
2019519744.tif 000018
【図１４】
2019519744.tif 000019
【図１５】
2019519744.tif 000020
【図１６】
2019519744.tif 000021
【手続補正書】
【提出日】平成30年9月28日(2018.9.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
標的状態近くに電子オーブンのチャンバ内のアイテムを加熱するためのコンピュータ実装方法であって、
前記電子オーブンがそれぞれ１セットの構成内にありながら、前記チャンバへの１セットのエネルギー印加により前記アイテムを加熱し、
赤外線センサを使用して、前記アイテムによる前記１セットのエネルギー印加へのそれぞれ１セットの応答を定義するセンサデータを感知し、
前記チャンバ内の前記アイテムを加熱するプランを生成する、ことを備え、
そこで前記生成することは（ｉ）前記電子オーブンの制御システムにより行われ、（ｉｉ）前記センサデータを使用し、（ｉｉｉ）最適化分析を行い、最適化出力を生成することを備え、（ｉｖ）前記最適化出力を使用してコマンド系列をコンパイルすることを備え、
そこで前記最適化分析は（ｉ）凸最適化ソルバー、（ｉｉ）前記標的状態を表現するデータ、及び（ｉｉｉ）前記それぞれ１セットの応答を表現するデータ、を使用し、
そこで前記電子オーブンは前記コマンド系列を実行し、前記標的状態近くに前記アイテムを加熱する、コンピュータ実装方法。
【請求項２】
前記それぞれ１セットの構成は少なくとも５個の別個の物理的構成を含み、
各エネルギー印加は持続時間内の少なくとも０．５秒であり、
前記１セットのエネルギー印加及び前記それぞれ１セットの構成は前記チャンバ内のエネルギーのそれぞれ１セットの可変分布を画定する、請求項１に記載のコンピュータ実装方法。
【請求項３】
前記最適化出力はエラー値及び持続時間ベクトルを含み、
前記持続時間ベクトルは前記それぞれ１セットの構成内の前記構成内の各々にある前記電子オーブンについての１セットの持続時間を含み、
前記エラー値は前記標的状態と、外挿された終了状態との間の差を定量化し、
前記凸最適化ソルバーは前記エラー値を最小にするように前記持続時間ベクトルを設定する、ことをさらに備える、請求項１に記載のコンピュータ実装方法。
【請求項４】
前記アイテムを１セットのセグメントにセグメント化することをさらに備え、
そこで前記凸最適化ソルバーは非負の最小二乗法ソルバーであり、
そこで前記標的状態を表現する前記データは標的状態ベクトルであり、
そこで前記標的状態ベクトルは前記１セットのセグメントに対応する１セットの標的温度値を含み、
そこで前記それぞれ１セットの応答を表現する前記データは１セットの応答ベクトルであり、
そこで前記１セットの応答ベクトル内の各応答ベクトルは前記１セットのセグメントに対応する１セットの温度微分係数である、請求項１に記載のコンピュータ実装方法。
【請求項５】
前記アイテムが前記標的状態近くに加熱されていながら、前記最適化分析を定期的に行うことをさらに備え、
そこで前記最適化分析の前記定期的に行うことについての期間は３秒より長く１５秒より短い、請求項１に記載のコンピュータ実装方法。
【請求項６】
分類器、及び前記１セットの応答ベクトルを使用して前記アイテムを識別することをさらに備える、請求項４に記載のコンピュータ実装方法。
【請求項７】
前記コマンド系列は、
前記それぞれ１セットの構成内の物理的構成間で前記電子オーブンを遷移させ、
前記エネルギー印加を適用し、
前記電子オーブンが前記持続時間ベクトル内のそれぞれの要素へ比例する持続時間に前記それぞれ１セットの構成内の物理的構成のそれぞれの内にあることを確保する、請求項３に記載のコンピュータ実装方法。
【請求項８】
前記コマンド系列内の１つのコマンドを実行し、そこで前記コマンドは前記電子オーブンを前記それぞれ１セットの物理的構成内の１つの物理的構成へ戻し、
前記コマンド系列内の第二コマンドを実行し、そこで前記コマンドは前記電子オーブンが前記物理的構成内にありながら前記チャンバへエネルギー印加を適用し、
前記赤外線センサを使用して、前記エネルギー印加への前記アイテムによる応答を定義する追加のセンサデータを感知し、
第二最適化分析を行い、第二最適化出力を生成し、
前記第二最適化出力を使用して第二コマンド系列をコンパイルする、ことをさらに備え、
そこで前記第二最適化分析は（ｉ）凸最適化ソルバー、（ｉｉ）前記標的状態を表現する前記データ、及び（ｉｉｉ）前記追加のセンサデータ、を使用する、請求項１に記載のコンピュータ実装方法。
【請求項９】
前記エラー値が許容可能なエラー値を超えると判定し、
前記電子オーブンが追加の物理的構成内にありながら前記アイテムをエネルギー印加により加熱し、そこで前記エラー値が前記許容可能なエラー値を超えると判定すると前記追加の物理的構成は選択され、
前記赤外線センサを使用して、前記アイテムによる前記エネルギー印加へのそれぞれの応答を定義するセンサデータを感知し、
第二最適化分析を行い、第二最適化出力を生成し、
前記第二最適化出力を使用して第二行動系列をコンパイルする、ことをさらに備え、
そこで前記第二最適化分析は（ｉ）凸最適化ソルバー、（ｉｉ）前記標的状態を表現するデータ、（ｉｉｉ）前記それぞれ１セットの応答を表現するデータ、及び（ｉｖ）前記それぞれの応答を表現するデータ、を使用する、請求項３に記載のコンピュータ実装方法。
【請求項１０】
前記アイテムを前記チャンバ内で加熱する第二プランを生成することをさらに備え、
そこで前記第二プランの前記生成は、前記電子オーブンの前記制御システムにより行われ、そこで前記第二プランの前記生成は、決定論的プランナを使用し、
そこで前記決定論的プランナのコスト関数は前記プランをヒューリスティックとして使用し、前記第二プランについての将来のプランコストを推定する、請求項１に記載のコンピュータ実装方法。
【請求項１１】
強化学習システムを使用して前記チャンバ内の前記アイテムを前記標的状態近くへ自動的に加熱することをさらに備え、
そこで前記第二プランは前記強化学習システムについてのポリシーとして使用される、請求項１０に記載のコンピュータ実装方法。
【請求項１２】
１セットの反射要素内の反射要素を変更し、前記それぞれ１セットの物理的構成内の第一物理的構成と第二物理的構成との間で遷移させることをさらに備え、
そこで前記チャンバは各エネルギー印加中に完全に動かず、
そこで前記１セットの反射要素は少なくとも３つの反射要素を含み、
そこで前記制御システムは前記１セットの反射要素内の前記反射要素を独立して変更するコマンドを生成する、請求項１に記載のコンピュータ実装方法。
【請求項１３】
前記１セットのエネルギー印加から前記チャンバへのエネルギー印加は、偏波電磁波を前記チャンバへ導入し、
前記反射要素を変更することは、第一方向から第二方向へ前記反射要素の方向を変更し、
そこで前記偏波電磁波の支配的な偏波は前記第一方向に垂直であり、
そこで前記偏波電磁波の前記支配的な偏波は前記第二方向に平行である、請求項１２に記載のコンピュータ実装方法。
【請求項１４】
前記赤外線センサからのデータを使用して前記アイテムを１セットのセグメントにセグメント化することをさらに備え、
そこで前記凸最適化ソルバーは非負の最小二乗法ソルバーであり、
そこで前記標的状態を表現する前記データは標的状態ベクトルであり、
そこで前記標的状態ベクトルは前記１セットのセグメントに対応する１セットの標的温度値を含み、
そこで前記それぞれ１セットの応答を表現する前記データは１セットの応答ベクトルであり、
そこで前記１セットの応答ベクトル内の各応答ベクトルは前記１セットのセグメントに対応する、請求項１に記載のコンピュータ実装方法。
【請求項１５】
前記１セットのセグメントは少なくとも１０個の要素を含み、
前記それぞれ１セットの物理的構成は少なくとも１０個の別個の物理的構成を含む、請求項１４に記載のコンピュータ実装方法。
【国際調査報告】
2019519744.tif 000022
2019519744.tif 000023
2019519744.tif 000024
2019519744.tif 000025