ГЛУБОКОЕ ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ ДЛЯ ПЛАНИРОВАНИЯ ПРОИЗВОДСТВА

1. Реализуемый с использованием компьютера способ, включающий
определение модели производственного предприятия, которая относится к изготовлению одного или более продуктов, изготовляемых на производственном предприятии с использованием одного или более исходных материалов, для удовлетворения одного или более запросов на продукт, причем каждый запрос на продукт указывает один или более запрашиваемых продуктов из одного или более продуктов, доступность которых ожидается на производственном предприятии в один или более запрошенных моментов времени;
определение нейронной сети политики и нейронной сети стоимости для производственного предприятия, причем нейронная сеть политики связана с функцией политики, представляющей производственные действия, которые подлежат планированию на указанном производственном предприятии, и нейронная сеть стоимости связана с функцией стоимости, представляющей выгоды изготовленных продуктов на указанном производственном предприятии, на основании указанных производственных действий; и
обучение нейронной сети политики и нейронной сети стоимости для генерирования графика производственных действий на указанном производственном предприятии, которые удовлетворяют один или более запросов на продукт в течение определенного интервала времени на основе модели производства, при этом график производственных действий относится к штрафам из-за несвоевременного изготовления одного или более запрошенных продуктов, определенным на основании одного или более запрошенных времен.
2. Реализуемый с использованием компьютера способ по п. 1, согласно которому функция политики сопоставляет одно или более состояний производственного предприятия с производственными действиями, при этом состояние из одного или более состояний производственного предприятия представляет запас одного или более продуктов, доступных на указанном производственном предприятии в определенный момент времени в пределах интервала времени, и запас исходного материала из одного или более исходных материалов, доступных на указанном производственном предприятии в определенный момент времени, причем функция стоимости представляет выгоды от продуктов, изготовленных после начала производственных действий, и штрафы из-за несвоевременного изготовления.
3. Реализуемый с использованием компьютера способ по п. 2, согласно которому обучение нейронной сети политики и нейронной сети стоимости включает
прием входных данных, относящихся к конкретному состоянию из одного или более состояний производственного предприятия, нейронной сетью политики и нейронной сетью стоимости;
планирование конкретного производственного действия на основе конкретного состояния с использованием нейронной сети политики;
определение предполагаемой выгоды от конкретного производственного действия с использованием нейронной сети стоимости; и
обновление нейронной сети политики и нейронной сети стоимости на основе предполагаемой выгоды.
4. Реализуемый с использованием компьютера способ по п. 3, согласно которому обновление нейронной сети политики и нейронной сети стоимости на основе оцененной выгоды включает
определение фактической выгоды для конкретного производственного действия;
определение ошибки выгоды между предполагаемой выгодой и фактической выгодой; и
обновление нейронной сети стоимости на основе ошибки выгоды.
5. Реализуемый с использованием компьютера способ по любому из пп. 3 или 4, согласно которому планирование конкретного производственного действия на основе конкретного состояния с использованием нейронной сети политики включает
определение распределения вероятностей производственных действий, которые подлежат планированию на производственном предприятии, на основе конкретного состояния с использованием нейронной сети политики; и
определение конкретного производственного действия на основе распределения вероятностей производственных действий.
6. Реализуемый с использованием компьютера способ по любому из пп. 3-5, также включающий
обновление модели производственного предприятия на основе конкретного производственного действия, выполняемое после планирования конкретного производственного действия на основе конкретного состояния с использованием нейронной сети политики, путем:
обновление запасов исходных материалов для учета исходных материалов, используемых для выполнения конкретного производственного действия, и дополнительных исходных материалов, полученных на указанном производственном предприятии;
обновление запасов продукта для учета продуктов, изготовленных конкретным производственным действием;
определение того, удовлетворяется ли по меньшей мере часть по меньшей мере одного запроса на продукт обновленным запасом продукта;
после определения того, что по меньшей мере часть по меньшей мере одного запроса на продукт удовлетворена:
определение одного или более готовых к отгрузке продуктов для удовлетворения по меньшей мере части по меньшей мере одного запроса на продукт;
повторные обновления запасов продуктов для учета отгрузки одного или более готовых к отгрузке продуктов; и
обновление одного или более запросов на продукт на основе отгрузки одного или более готовых к отгрузке продуктов.
7. Реализуемый с использованием компьютера способ по любому из пп. 1-6, согласно которому обучение нейронной сети политики и нейронной сети стоимости включает
использование метода Монте-Карло для генерации одного или более запросов на продукт по методу Монте-Карло; и
обучение нейронной сети политики и нейронной сети стоимости на основе модели производственного предприятия для удовлетворения одного или более запросов на продукт по методу Монте-Карло.
8. Реализуемый с использованием компьютера способ по любому из пп. 1-7, согласно которому обучение нейронной сети политики и нейронной сети стоимости включает
использование метода Монте-Карло для генерации одного или более состояний по методу Монте-Карло производственного предприятия, причем каждое состояние по методу Монте-Карло производственного предприятия представляет запасы одного или более продуктов и одного или более исходных материалов, доступных на производственном предприятии в конкретный момент времени в пределах указанного интервала времени; и
обучение нейронной сети политики и нейронной сети стоимости на основе модели производственного предприятия для удовлетворения одного или более состояний по методу Монте-Карло.
9. Реализуемый с использованием компьютера способ по любому из пп. 1-8, согласно которому обучение нейронной сети для представления функции политики и функции стоимости включает обучение указанной нейронной сети для представления функции политики и функции стоимости с использованием метода обучения с подкреплением.
10. Реализуемый с использованием компьютера способ по любому из пп. 1-9, согласно которому функция стоимости представляет одно или более из: экономической стоимости одного или более продуктов, изготовленных на производственном предприятии; экономической стоимости одного или более штрафов, понесенных указанным производственным предприятием; экономической стоимости исходных материалов, используемых указанным производственным предприятием; указания о задержке отгрузки одного или более запрошенных продуктов; и процентного выражения своевременной доступности продукта для одного или более запрошенных продуктов.
11. Реализуемый с использованием компьютера способ по любому из пп. 1-10, согласно которому график производственных действий также относится к убыткам, понесенным в результате изменения изготовления продуктов на производственном предприятии, причем функция стоимости представляет выгоды от продуктов, изготовленных после выполнения производственных действий, штрафы из-за несвоевременного изготовления и убытки, понесенные в результате изменения производства.
12. Реализуемый с использованием компьютера способ по любому из пп. 1-11, согласно которому график производственных действий содержит график производственных действий с неизменным горизонтом планирования в течение горизонта планирования по времени, при этом график производственных действий с неизменным горизонтом планирования является неизменным в течение указанного горизонта планирования.
13. Реализуемый с использованием компьютера способ по п. 12, согласно которому график производственных действий включает ежедневный график, а горизонт планирования составляет по меньшей мере семь дней.
14. Реализуемый с использованием компьютера способ по любому из пп. 1-13, согласно которому один или более продуктов содержат один или более химических продуктов.
15. Вычислительное устройство, содержащее один или более процессоров и хранилище данных, в котором хранятся исполняемые компьютером инструкции, исполнение которых одним или более процессорами обусловливает выполнение вычислительным устройством функций, содержащих реализуемый с использованием компьютера способ по любому из пп. 1-14.
16. Готовое изделие, содержащее один или более компьютерочитаемых носителей, на которых хранятся компьютерочитаемые инструкции, исполнение которых одним или более процессорами вычислительного устройства обусловливает выполнение вычислительным устройством функций, которые содержат реализуемый с использованием компьютера способ по любому из пп. 1-14.
17. Изделие по п. 16, в котором один или более компьютерочитаемых носителей содержат один или более долговременных компьютерочитаемых носителей.
18. Вычислительная система, содержащая средство для осуществления реализуемого с использованием компьютера способа по любому из пп. 1-14.
19. Реализуемый с использованием компьютера способ, включающий
прием вычислительным устройством одного или более запросов на продукт, связанных с производственным предприятием, причем каждый запрос на продукт указывает один или более запрашиваемых продуктов из одного или более продуктов, доступность которых ожидается на указанном производственном предприятии в один или более запрошенных моментов времени; и
использование обученной нейронной сети политики и обученной нейронной сети стоимости для генерации графика производственных действий на производственном предприятии, которые удовлетворяют один или более запросов на продукт в течение определенного интервала времени, причем указанная обученная нейронная сеть политики, связанная с функцией политики, представляет производственные действия, которые подлежат планированию на указанном производственном предприятии, а обученная нейронная сеть стоимости, связанная с функцией стоимости, представляет выгоды от продуктов, изготовленных на указанном производственном предприятии, на основе указанных производственных действий, при этом график производственных действий относится к штрафам из-за несвоевременного изготовления одного или более запрошенных продуктов, определенным на основе одного или более запрошенных моментов времени, и из-за изменений в процессе изготовления одного или более продуктов на указанном производственном предприятии.
20. Реализуемый с использованием компьютера способ по п. 19, согласно которому функция политики сопоставляет одно или более состояний производственного предприятия с производственными действиями, причем состояние из одного или более состояний производственного предприятия представляет запас продукта из одного или более продуктов, доступных на указанном производственном предприятии в конкретный момент времени, и запас исходного материала из одного или более исходных материалов, доступных на указанном производственном предприятии в конкретный момент времени, и при этом функция стоимости представляет выгоды от продуктов, изготовленных после принятия производственных действий, и штрафы из-за несвоевременного изготовления.
21. Реализуемый с использованием компьютера способ по п. 20, согласно которому использование обученной нейронной сети политики и обученной нейронной сети стоимости включает
определение конкретного состояния из одного или более состояний производственного предприятия;
планирование конкретного производственного действия на основе конкретного состояния с использованием обученной нейронной сети политики; и
определение предполагаемой выгоды от конкретного производственного действия с использованием обученной нейронной сети стоимости.
22. Реализуемый с использованием компьютера способ по п. 21, согласно которому планирование конкретного производственного действия на основе конкретного состояния с использованием обученной нейронной сети политики включает определение распределения вероятностей производственных действий, подлежащих планированию на указанном производственном предприятии, на основе конкретного состояния с использованием обученной нейронной сети политики; и определение конкретного производственного действия на основе распределения вероятностей указанных производственных действий.
23. Реализуемый с использованием компьютера способ по п. 21 или 22, также включающий
после планирования конкретного производственного действия на основе конкретного состояния с использованием обученной нейронной сети политики
обновление запасов исходного материала для учета исходных материалов, используемых для выполнения конкретного производственного действия, и дополнительных исходных материалов, полученных на указанном производственном предприятии;
обновление запасов продукта для учета продуктов, изготовленных конкретным производственным действием;
определение того, удовлетворяется ли по меньшей мере часть по меньшей мере одного запроса на продукт обновленным запасом указанного продукта;
после определения того, что по меньшей мере часть по меньшей мере одного запроса на продукт удовлетворена:
определение одного или более готовых к отгрузке продуктов для удовлетворения по меньшей мере части по меньшей мере одного запроса на продукт;
повторное обновление запасов продуктов для учета отгрузки одного или более готовых к отгрузке продуктов; и
обновление одного или более запросов на продукт на основе отгрузки одного или более готовых к отгрузке продуктов.
24. Реализуемый с использованием компьютера способ по любому из пп. 19-23, согласно которому функция стоимости представляет одно или более из: экономической стоимости одного или более продуктов, изготовленных на указанном производственном предприятии; экономической стоимости одного или более штрафов, понесенных указанным производственным предприятием; экономической стоимости исходных материалов, используемых указанным производственным предприятием; указания о задержке отгрузки одного или более запрошенных продуктов; и процентного выражения своевременной доступности продукта для одного или более запрошенных продуктов.
25. Реализуемый с использованием компьютера способ по любому из пп. 19-24, согласно которому график производственных действий также относится к убыткам, понесенным в результате изменения изготовления продуктов на производственном предприятии, причем функция стоимости представляет выгоды от продуктов, изготовленных после выполнения производственных действий, штрафы из-за несвоевременного изготовления и убытки, понесенные в результате изменения производства.
26. Реализуемый с использованием компьютера способ по любому из пп. 19-25, согласно которому график производственных действий содержит график производственных действий с неизменяемым горизонтом планирования в течение горизонта планирования по времени, при этом указанный график производственных действий с неизменным горизонтом планирования является неизменным в течение указанного горизонта планирования.
27. Реализуемый с использованием компьютера способ по п. 26, согласно которому график производственных действий включает ежедневный график, а горизонт планирования составляет по меньшей мере семь дней.
28. Реализуемый с использованием компьютера способ по любому из пп. 19-27, согласно которому один или более продуктов содержат один или более химических продуктов.
29. Реализуемый с использованием компьютера способ по любому из пп. 19-28, также включающий
после использования обученной нейронной сети политики и обученной нейронной сети стоимости для планирования действий на производственном объекте: получение обученными нейронными сетями обратной связи о действиях, запланированных указанными обученными нейронными сетями; и
обновление обученных нейронных сетей на основе обратной связи, относящейся к указанным запланированным действиям.
30. Вычислительное устройство, содержащее один или более процессоров и хранилище данных, причем указанное хранилище данных хранит исполняемые компьютером инструкции, исполнение которых одним или более процессорами обусловливает выполнение вычислительным устройством функций, содержащих реализуемый с использованием компьютера способ по любому из пп. 19-29.
31. Готовое изделие, содержащее один или более компьютерочитаемых носителей, на которых хранятся компьютерочитаемые инструкции, исполнение которых одним или более процессорами вычислительного устройства обусловливает выполнение указанным вычислительным устройством функций, которые содержат реализуемый с использованием компьютера способ по любому из пп. 19-29.
32. Изделие по п. 31, в котором один или более компьютерочитаемых носителей содержат один или более долговременных компьютерочитаемых носителей.
33. Вычислительная система, содержащая средство для осуществления реализуемого с использованием компьютера способа по любому из пп. 19-29.