User: 在一个简单的核电站反应堆里需要哪些核素他们各发挥了什么作用
Assistant: 在一个简单的核电站反应堆中，主要涉及几个关键核素，它们在核裂变反应中各自发挥着重要作用：

1. **铀-235（U-235）**:
   - 角色：这是最常用的核燃料。铀-235是天然铀中的一部分，通过中子俘获后发生核裂变，释放出大量能量。
   - 作用：每次裂变会产生两个或更多中子，这些中子可以进一步引发其他U-235原子的裂变，从而维持核链式反应。

2. **铀-238（U-238）**:
   - 角色：占天然铀的大部分。
   - 作用：它本身不容易裂变，但可以俘获快中子转化为钚-239（Pu-239），后者也是重要的可裂变材料。

3. **钚-239（Pu-239）**:
   - 角色：这是通过U-238吸收中子生成的核素。
   - 作用：作为可裂变材料，它可以在核反应堆中代替或补充U-235，进行裂变并释放能量。

4. **氘（D）和氚（T）**（在某些反应堆中，如重水反应堆或未来的氘-氚聚变反应堆中）:
   - 角色：重水（D2O）中的氘用作慢化剂。
   - 氚是潜在聚变反应的燃料之一。
   - 作用：氘在重水中帮助减慢中子速度，从而增加它们被U-235和U-238吸收的几率。氚是在未来核聚变反应中有潜力作为燃料。

5. **锆（Zr）**:
   - 角色：常用于燃料棒包壳材料。
   - 作用：它具有优良的抗腐蚀性和中子经济性，不容易吸收中子，使其对反应堆的效率影响很小。

6. **硼（B）和镉（Cd）**：
   - 角色：用作控制棒材料。
   - 作用：硼和镉高效地吸收多余中子，调节反应堆的功率水平和反应速度，防止反应失控。

通过这些核素的协同工作，核电站能够有效和安全地进行能量生产。根据不同类型的反应堆，可能会用到其他的核素或材料来优化反应堆的性能和安全性。
User: 压水堆
Assistant: 压水堆（PWR）是目前最常见的核电站反应堆类型之一，其设计依赖于一系列特定的核素和材料，这些核素和材料在反应堆的运行中发挥各自的重要作用：

1. **铀-235（U-235）**：
   - 角色：核燃料。
   - 作用：作为反应堆中主要的可裂变材料，通过中子诱导的核裂变反应释放能量。

2. **铀-238（U-238）**：
   - 角色：铀燃料的重要组成部分。
   - 作用：虽然不直接裂变，但可以俘获中子转化为钚-239（Pu-239），后者可以进一步作为燃料裂变，从而提高燃料利用率。

3. **钚-239（Pu-239）**：
   - 角色：二次燃料。
   - 作用：由U-238转化而来，作为一种额外的可裂变材料，参与反应并增加能量产出。

4. **轻水（普通水，H2O）**：
   - 角色：冷却剂和慢化剂。
   - 作用：在压水堆中，轻水用作传热介质，同时通过减慢中子速度增强中子引发的核裂变几率。

5. **锆合金**：
   - 角色：燃料棒包壳材料。
   - 作用：包裹燃料以避免放射性物质泄漏，具有优良的抗腐蚀性能和低中子吸收截面。

6. **硼（B）**：
   - 角色：溶于冷却剂中或用于控制棒材料。
   - 作用：硼能够有效吸收中子，用于调控反应堆功率水平和反应速率，以确保反应堆的安全稳定运行。

7. **镉（Cd）和银-铟-镉合金（Ag-In-Cd）**：
   - 角色：控制棒材料。
   - 作用：这些材料具有良好的中子吸收能力，可用于精确控制链式反应的快慢，调节反应堆功率。

压水堆的设计通过控制核素的反应和利用这些材料的独特性质，实现了高效的能量转化和安全控制。其核心技术在于通过对冷却剂压力的管理来防止水的沸腾，确保稳健的热交换和反应堆安全运行。
User: File "/home/unknowxxs/miniconda3/lib/python3.12/site-packages/stable_baselines3/common/monitor.py", line 94, in step
    observation, reward, terminated, truncated, info = self.env.step(action)
                                                       ^^^^^^^^^^^^^^^^^^^^^
  File "/home/unknowxxs/python/talis.py", line 240, in step
    return self._get_observation(), reward, done, False, {}
                                    ^^^^^^
UnboundLocalError: cannot access local variable 'reward' where it is not associated with a value
```python
import gymnasium as gym
import numpy as np
from stable_baselines3 import PPO
from stable_baselines3.common.env_util import make_vec_env
import openmc
import matplotlib.pyplot as plt
from matplotlib.animation import FuncAnimation
import os



class NuclearReactorEnv(gym.Env):
    def __init__(self):
        super().__init__()
        self.action_space = gym.spaces.Discrete(11)  # 控制棒位置，0-10
        
        # 观察空间：温度、功率、k_eff、控制棒位置、燃料燃耗
        self.observation_space = gym.spaces.Box(
            low=np.array([500, 0, 0.5, 0, 0]),
            high=np.array([1500, 3000, 1.5, 1, 100]),
            dtype=np.float32
        )
        self.control_rod_pos=5
        self.max_steps = 1000
        self.current_step = 0
        self._setup_model()
        
    def _setup_model(self):
        # 创建工作目录
        if not os.path.exists('openmc_model'):
            os.makedirs('openmc_model')
        os.chdir('openmc_model')
        
        # 设置材料
        # UO2燃料
        self.fuel = openmc.Material(name='fuel')
        self.fuel.add_nuclide('U235', 0.05)
        self.fuel.add_nuclide('U238', 0.95)
        self.fuel.add_nuclide('O16', 2.0)
        self.fuel.add_nuclide('B10', self.control_rod_pos)
        self.fuel.set_density('g/cm3', 10.0)
        
        self.fuel.temperature = 900  # K

       
      
        # 创建材料集合
        self.materials = openmc.Materials([self.fuel])
        
        # 创建几何体
        # 简化的圆柱形反应堆堆芯
        cylinder = openmc.ZCylinder(r=100)
        fuel_region = -cylinder
        
        fuel_cell = openmc.Cell(fill=self.fuel, region=fuel_region)
        
        # 创建universe和geometry
        root_universe = openmc.Universe(cells=[fuel_cell])
        self.geometry = openmc.Geometry(root_universe)
        
        # 设置模拟参数
        self.settings = openmc.Settings()
        self.settings.batches = 50  # 减少批次数以加快计算
        self.settings.inactive = 10
        self.settings.particles = 500  # 减少粒子数以加快计算
        self.settings.temperature = {'method': 'interpolation'}
        
        # 设置源项
        bounds = [-100, -100, -100, 100, 100, 100]
        uniform_dist = openmc.stats.Box(bounds[:3], bounds[3:])
        src = openmc.Source(space=uniform_dist)
        self.settings.source = src
        
        # 导出初始模型
        try:
            self.materials.export_to_xml('materials.xml')
            self.geometry.export_to_xml('geometry.xml')
            self.settings.export_to_xml('settings.xml')
            print("成功导出OpenMC模型文件")
        except Exception as e:
            print(f"导出模型文件时出错: {e}")
        
    def init_visualization(self):
        """初始化可视化图表"""
        plt.close('all')
        plt.ion()  # 开启交互模式
        self.fig, self.axs = plt.subplots(2, 2, figsize=(15, 10))
        self.fig.suptitle('核反应堆运行状态监测', fontsize=16)
        
        # 初始化数据存储
        self.history = {
            'temperature': [],
            'power': [],
            'k_eff': [],
            'burnup': [],
            'control_rod': [],
            'steps': []
        }
        
        # 配置子图
        self.lines = {}
        
        # 温度和功率图
        self.axs[0, 0].set_title('温度和功率变化')
        self.axs[0, 0].set_xlabel('步数')
        self.lines['temp'], = self.axs[0, 0].plot([], [], 'r-', label='温度 (K)')
        self.lines['power'], = self.axs[0, 0].plot([], [], 'b-', label='功率 (MW)')
        self.axs[0, 0].legend()
        
        # k_eff图
        self.axs[0, 1].set_title('k_eff变化')
        self.axs[0, 1].set_xlabel('步数')
        self.lines['k_eff'], = self.axs[0, 1].plot([], [], 'g-', label='k_eff')
        self.axs[0, 1].axhline(y=1.0, color='r', linestyle='--', label='临界值')
        self.axs[0, 1].legend()
        
        # 控制棒位置图
        self.axs[1, 0].set_title('控制棒位置')
        self.axs[1, 0].set_xlabel('步数')
        self.lines['control'], = self.axs[1, 0].plot([], [], 'k-', label='控制棒位置')
        self.axs[1, 0].legend()
        
        # 燃耗图
        self.axs[1, 1].set_title('燃料燃耗')
        self.axs[1, 1].set_xlabel('步数')
        self.lines['burnup'], = self.axs[1, 1].plot([], [], 'm-', label='燃耗 (MWd/kgU)')
        self.axs[1, 1].legend()
        
        plt.tight_layout()

    def update_visualization(self):
        """更新可视化图表"""
        # 更新历史数据
        self.history['temperature'].append(self.temperature)
        self.history['power'].append(self.power)
        self.history['k_eff'].append(self.k_eff)
        self.history['burnup'].append(self.burnup)
        self.history['control_rod'].append(self.control_rod_pos)
        self.history['steps'].append(self.current_step)
        
        # 更新图表
        steps = self.history['steps']
        
        # 更新温度和功率
        self.lines['temp'].set_data(steps, self.history['temperature'])
        self.lines['power'].set_data(steps, self.history['power'])
        self.axs[0, 0].relim()
        self.axs[0, 0].autoscale_view()
        
        # 更新k_eff
        self.lines['k_eff'].set_data(steps, self.history['k_eff'])
        self.axs[0, 1].relim()
        self.axs[0, 1].autoscale_view()
        
        # 更新控制棒位置
        self.lines['control'].set_data(steps, self.history['control_rod'])
        self.axs[1, 0].relim()
        self.axs[1, 0].autoscale_view()
        
        # 更新燃耗
        self.lines['burnup'].set_data(steps, self.history['burnup'])
        self.axs[1, 1].relim()
        self.axs[1, 1].autoscale_view()
        
        plt.draw()
        plt.pause(0.01)

    def reset(self, seed=None):
        super().reset(seed=seed)
        self.current_step = 0
        self.temperature = 600  # K
        self.power = 1000      # MW
        self.k_eff = 1.0
        self.burnup = 0        # MWd/kgU
        self.control_rod_pos = 0.5
        
        # 初始化可视化
        self.init_visualization()
        
        return self._get_observation(), {}
    
    def _get_observation(self):
        return np.array([
            self.temperature,
            self.power,
            self.k_eff,
            self.control_rod_pos,
            self.burnup
        ], dtype=np.float32)
    
    def step(self, action):
        self.current_step += 1
        
        # 更新控制棒位置
        self.control_rod_pos = action / 10.0
        self._setup_model()
        try:
            # 确保在正确的目录中
            if not os.path.exists('openmc_model'):
                os.makedirs('openmc_model')
            os.chdir('openmc_model')
            
            # 更新材料温度
            self.fuel.temperature = self.temperature
            
            # 导出更新后的模型
            self.materials.export_to_xml('materials.xml')
            self.geometry.export_to_xml('geometry.xml')
            self.settings.export_to_xml('settings.xml')
            
            # 运行OpenMC模拟
            result = openmc.run()
            
            # 获取k_eff
            with openmc.StatePoint(result) as sp:
                self.k_eff = sp.k_effective.nominal_value
                
            # 更新系统状态
            self._update_state()
            
            # 更新可视化
            self.update_visualization()
            
            # 计算奖励
            reward = self._calculate_reward()
            
            # 检查是否结束
            done = self.current_step >= self.max_steps 
            
            # 返回到原始目录
            os.chdir('..')
            
        except Exception as e:
            print(f"模拟过程出错: {e}")
            # 确保返回到原始目录
            if os.path.exists('openmc_model'):
                os.chdir('..')
           
        
        return self._get_observation(), reward, done, False, {}
    
    def _update_state(self):
        # 基于k_eff更新功率
        power_factor = (self.k_eff - 1.0) * 5000
        self.power = np.clip(self.power + power_factor, 0, 3000)
        
        # 更新温度
        delta_temp = (self.power - 1000) * 0.1
        self.temperature = np.clip(self.temperature + delta_temp, 500, 1500)
        
        # 更新燃耗
        self.burnup += self.power * 0.001
        
    def _calculate_reward(self):
        reward = 0
        
        # 奖励稳定的运行状态
        reward -= abs(self.power - 1000) * 0.01  # 目标功率1000MW
        reward -= abs(self.k_eff - 1.0) * 100    # 目标k_eff=1
        reward -= abs(self.temperature - 900) * 0.1  # 目标温度900K
        
        # 惩罚不安全状态
        if self._is_unsafe():
            reward -= 1000
            
        return reward
    
    def _is_unsafe(self):
        return (self.temperature > 1400 or 
                self.power > 2500 or 
                self.k_eff > 1.2)

def train_agent():
    env = make_vec_env(NuclearReactorEnv, n_envs=1)
    
    model = PPO(
        "MlpPolicy",
        env,
        verbose=1,
        learning_rate=0.0003,
        n_steps=2048,
        batch_size=64,
        n_epochs=10
    )
    
    model.learn(total_timesteps=100000)
    model.save("ppo_nuclear_reactor")
    
    return model

def evaluate_agent(model, num_episodes=5):
    env = NuclearReactorEnv()
    
    for episode in range(num_episodes):
        obs, _ = env.reset()
        episode_reward = 0
        done = False
        
        while not done:
            action, _ = model.predict(obs)
            obs, reward, done, _, _ = env.step(action)
            episode_reward += reward
            
            # 打印当前状态
            print(f"步骤 {env.current_step}:")
            print(f"温度: {env.temperature:.1f}K")
            print(f"功率: {env.power:.1f}MW")
            print(f"k_eff: {env.k_eff:.3f}")
            print(f"控制棒位置: {env.control_rod_pos:.2f}")
            print(f"燃耗: {env.burnup:.2f}MWd/kgU")
            print("------------------------")
        
        plt.savefig(f'episode_{episode+1}_results.png')
        print(f"Episode {episode + 1}: 总奖励 = {episode_reward:.2f}\n")
    
    plt.close('all')

if __name__ == "__main__":
    model = train_agent()
    print("\n评估核反应堆控制性能：")
    evaluate_agent(model)

```
Assistant: 根据你提供的代码和错误信息，问题发生在 `step` 函数中：当 `openmc.run()` 或其他相关操作抛出异常时，`reward` 变量没有被赋值。因此，当 `return` 语句试图访问 `reward` 时，就会抛出 `UnboundLocalError`。

要解决这个问题，你需要确保在异常的情况下也为 `reward` 进行适当的处理。请考虑以下修改：

```python
def step(self, action):
    self.current_step += 1
    
    # 更新控制棒位置
    self.control_rod_pos = action / 10.0
    self._setup_model()
    reward = 0  # 初始化reward，确保即使发生异常也能返回
    done = False

    try:
        # 确保在正确的目录中
        if not os.path.exists('openmc_model'):
            os.makedirs('openmc_model')
        os.chdir('openmc_model')
        
        # 更新材料温度
        self.fuel.temperature = self.temperature
        
        # 导出更新后的模型
        self.materials.export_to_xml('materials.xml')
        self.geometry.export_to_xml('geometry.xml')
        self.settings.export_to_xml('settings.xml')
        
        # 运行OpenMC模拟
        result = openmc.run()
        
        # 获取k_eff
        with openmc.StatePoint(result) as sp:
            self.k_eff = sp.k_effective.nominal_value
            
        # 更新系统状态
        self._update_state()
        
        # 更新可视化
        self.update_visualization()
        
        # 计算奖励
        reward = self._calculate_reward()
        
        # 检查是否结束
        done = self.current_step >= self.max_steps 
        
    except Exception as e:
        print(f"模拟过程出错: {e}")
    
    finally:
        # 返回到原始目录
        if os.path.exists('openmc_model'):
            os.chdir('..')
    
    return self._get_observation(), reward, done, False, {}
```

在上面的代码中，我在 `try` 块外初始化了 `reward` 和 `done`，并使用 `finally` 块保证执行 `os.chdir('..')`，以确保在异常情况下依然能正常返回到原目录。此外，即使发生异常，函数依然会返回合理的默认值，保持函数调用稳定。
User: 实际运行中重复创建了三层openmc_model问题出在哪
```python
import gymnasium as gym
import numpy as np
from stable_baselines3 import PPO
from stable_baselines3.common.env_util import make_vec_env
import openmc
import matplotlib.pyplot as plt
from matplotlib.animation import FuncAnimation
import os



class NuclearReactorEnv(gym.Env):
    def __init__(self):
        super().__init__()
        self.action_space = gym.spaces.Discrete(11)  # 控制棒位置，0-10
        
        # 观察空间：温度、功率、k_eff、控制棒位置、燃料燃耗
        self.observation_space = gym.spaces.Box(
            low=np.array([500, 0, 0.5, 0, 0]),
            high=np.array([1500, 3000, 1.5, 1, 100]),
            dtype=np.float32
        )
        self.control_rod_pos=5
        self.max_steps = 1000
        self.current_step = 0
        self._setup_model()
        
    def _setup_model(self):
        # 创建工作目录
        if not os.path.exists('openmc_model'):
            os.makedirs('openmc_model')
        os.chdir('openmc_model')
        
        # 设置材料
        # UO2燃料
        self.fuel = openmc.Material(name='fuel')
        self.fuel.add_nuclide('U235', 0.05)
        self.fuel.add_nuclide('U238', 0.95)
        self.fuel.add_nuclide('O16', 2.0)
        self.fuel.add_nuclide('B10', self.control_rod_pos)
        self.fuel.set_density('g/cm3', 10.0)
        
        self.fuel.temperature = 900  # K

       
      
        # 创建材料集合
        self.materials = openmc.Materials([self.fuel])
        
        # 创建几何体
        # 简化的圆柱形反应堆堆芯
        cylinder = openmc.ZCylinder(r=100)
        fuel_region = -cylinder
        
        fuel_cell = openmc.Cell(fill=self.fuel, region=fuel_region)
        
        # 创建universe和geometry
        root_universe = openmc.Universe(cells=[fuel_cell])
        self.geometry = openmc.Geometry(root_universe)
        
        # 设置模拟参数
        self.settings = openmc.Settings()
        self.settings.batches = 50  # 减少批次数以加快计算
        self.settings.inactive = 10
        self.settings.particles = 500  # 减少粒子数以加快计算
        self.settings.temperature = {'method': 'interpolation'}
        
        # 设置源项
        bounds = [-100, -100, -100, 100, 100, 100]
        uniform_dist = openmc.stats.Box(bounds[:3], bounds[3:])
        src = openmc.Source(space=uniform_dist)
        self.settings.source = src
        
        # 导出初始模型
        try:
            self.materials.export_to_xml('materials.xml')
            self.geometry.export_to_xml('geometry.xml')
            self.settings.export_to_xml('settings.xml')
            print("成功导出OpenMC模型文件")
        except Exception as e:
            print(f"导出模型文件时出错: {e}")
        
    def init_visualization(self):
        """初始化可视化图表"""
        plt.close('all')
        plt.ion()  # 开启交互模式
        self.fig, self.axs = plt.subplots(2, 2, figsize=(15, 10))
        self.fig.suptitle('核反应堆运行状态监测', fontsize=16)
        
        # 初始化数据存储
        self.history = {
            'temperature': [],
            'power': [],
            'k_eff': [],
            'burnup': [],
            'control_rod': [],
            'steps': []
        }
        
        # 配置子图
        self.lines = {}
        
        # 温度和功率图
        self.axs[0, 0].set_title('温度和功率变化')
        self.axs[0, 0].set_xlabel('步数')
        self.lines['temp'], = self.axs[0, 0].plot([], [], 'r-', label='温度 (K)')
        self.lines['power'], = self.axs[0, 0].plot([], [], 'b-', label='功率 (MW)')
        self.axs[0, 0].legend()
        
        # k_eff图
        self.axs[0, 1].set_title('k_eff变化')
        self.axs[0, 1].set_xlabel('步数')
        self.lines['k_eff'], = self.axs[0, 1].plot([], [], 'g-', label='k_eff')
        self.axs[0, 1].axhline(y=1.0, color='r', linestyle='--', label='临界值')
        self.axs[0, 1].legend()
        
        # 控制棒位置图
        self.axs[1, 0].set_title('控制棒位置')
        self.axs[1, 0].set_xlabel('步数')
        self.lines['control'], = self.axs[1, 0].plot([], [], 'k-', label='控制棒位置')
        self.axs[1, 0].legend()
        
        # 燃耗图
        self.axs[1, 1].set_title('燃料燃耗')
        self.axs[1, 1].set_xlabel('步数')
        self.lines['burnup'], = self.axs[1, 1].plot([], [], 'm-', label='燃耗 (MWd/kgU)')
        self.axs[1, 1].legend()
        
        plt.tight_layout()

    def update_visualization(self):
        """更新可视化图表"""
        # 更新历史数据
        self.history['temperature'].append(self.temperature)
        self.history['power'].append(self.power)
        self.history['k_eff'].append(self.k_eff)
        self.history['burnup'].append(self.burnup)
        self.history['control_rod'].append(self.control_rod_pos)
        self.history['steps'].append(self.current_step)
        
        # 更新图表
        steps = self.history['steps']
        
        # 更新温度和功率
        self.lines['temp'].set_data(steps, self.history['temperature'])
        self.lines['power'].set_data(steps, self.history['power'])
        self.axs[0, 0].relim()
        self.axs[0, 0].autoscale_view()
        
        # 更新k_eff
        self.lines['k_eff'].set_data(steps, self.history['k_eff'])
        self.axs[0, 1].relim()
        self.axs[0, 1].autoscale_view()
        
        # 更新控制棒位置
        self.lines['control'].set_data(steps, self.history['control_rod'])
        self.axs[1, 0].relim()
        self.axs[1, 0].autoscale_view()
        
        # 更新燃耗
        self.lines['burnup'].set_data(steps, self.history['burnup'])
        self.axs[1, 1].relim()
        self.axs[1, 1].autoscale_view()
        
        plt.draw()
        plt.pause(0.01)

    def reset(self, seed=None):
        super().reset(seed=seed)
        self.current_step = 0
        self.temperature = 600  # K
        self.power = 1000      # MW
        self.k_eff = 1.0
        self.burnup = 0        # MWd/kgU
        self.control_rod_pos = 0.5
        
        # 初始化可视化
        self.init_visualization()
        
        return self._get_observation(), {}
    
    def _get_observation(self):
        return np.array([
            self.temperature,
            self.power,
            self.k_eff,
            self.control_rod_pos,
            self.burnup
        ], dtype=np.float32)
    
    def step(self, action):
        self.current_step += 1
        
        # 更新控制棒位置
        self.control_rod_pos = action / 10.0
        self._setup_model()
        try:
            # 确保在正确的目录中
            if not os.path.exists('openmc_model'):
                os.makedirs('openmc_model')
            os.chdir('openmc_model')
            
            # 更新材料温度
            self.fuel.temperature = self.temperature
            
            # 导出更新后的模型
            self.materials.export_to_xml('materials.xml')
            self.geometry.export_to_xml('geometry.xml')
            self.settings.export_to_xml('settings.xml')
            
            # 运行OpenMC模拟
            result = openmc.run()
            
            # 获取k_eff
            with openmc.StatePoint(result) as sp:
                self.k_eff = sp.k_effective.nominal_value
                
            # 更新系统状态
            self._update_state()
            
            # 更新可视化
            self.update_visualization()
            
            # 计算奖励
            reward = self._calculate_reward()
            
            # 检查是否结束
            done = self.current_step >= self.max_steps 
            
            # 返回到原始目录
            os.chdir('..')
            
        except Exception as e:
            print(f"模拟过程出错: {e}")
            # 确保返回到原始目录
            if os.path.exists('openmc_model'):
                os.chdir('..')
           
        
        return self._get_observation(), reward, done, False, {}
    
    def _update_state(self):
        # 基于k_eff更新功率
        power_factor = (self.k_eff - 1.0) * 5000
        self.power = np.clip(self.power + power_factor, 0, 3000)
        
        # 更新温度
        delta_temp = (self.power - 1000) * 0.1
        self.temperature = np.clip(self.temperature + delta_temp, 500, 1500)
        
        # 更新燃耗
        self.burnup += self.power * 0.001
        
    def _calculate_reward(self):
        reward = 0
        
        # 奖励稳定的运行状态
        reward -= abs(self.power - 1000) * 0.01  # 目标功率1000MW
        reward -= abs(self.k_eff - 1.0) * 100    # 目标k_eff=1
        reward -= abs(self.temperature - 900) * 0.1  # 目标温度900K
        
        # 惩罚不安全状态
        if self._is_unsafe():
            reward -= 1000
            
        return reward
    
    def _is_unsafe(self):
        return (self.temperature > 1400 or 
                self.power > 2500 or 
                self.k_eff > 1.2)

def train_agent():
    env = make_vec_env(NuclearReactorEnv, n_envs=1)
    
    model = PPO(
        "MlpPolicy",
        env,
        verbose=1,
        learning_rate=0.0003,
        n_steps=2048,
        batch_size=64,
        n_epochs=10
    )
    
    model.learn(total_timesteps=100000)
    model.save("ppo_nuclear_reactor")
    
    return model

def evaluate_agent(model, num_episodes=5):
    env = NuclearReactorEnv()
    
    for episode in range(num_episodes):
        obs, _ = env.reset()
        episode_reward = 0
        done = False
        
        while not done:
            action, _ = model.predict(obs)
            obs, reward, done, _, _ = env.step(action)
            episode_reward += reward
            
            # 打印当前状态
            print(f"步骤 {env.current_step}:")
            print(f"温度: {env.temperature:.1f}K")
            print(f"功率: {env.power:.1f}MW")
            print(f"k_eff: {env.k_eff:.3f}")
            print(f"控制棒位置: {env.control_rod_pos:.2f}")
            print(f"燃耗: {env.burnup:.2f}MWd/kgU")
            print("------------------------")
        
        plt.savefig(f'episode_{episode+1}_results.png')
        print(f"Episode {episode + 1}: 总奖励 = {episode_reward:.2f}\n")
    
    plt.close('all')

if __name__ == "__main__":
    model = train_agent()
    print("\n评估核反应堆控制性能：")
    evaluate_agent(model)

```
Assistant: 从代码中可以看出，`openmc_model` 目录被多次进入而没有正确退出，这会导致子目录不断嵌套的问题。出现这种情况的原因是 `os.chdir('openmc_model')` 被多次调用但没有相应的返回上一级目录的调用。

要解决这个问题，需要确保在不需要操作 `openmc_model` 目录时，及时返回到原始工作目录。以下是一些可能的改进建议：

1. **使用绝对路径**: 使用绝对路径来避免切换目录可能带来的问题。
2. **确保函数调用的对称性**: 每次 `os.chdir('openmc_model')` 调用后确保能及时回到原来的目录。
3. **控制 `os.chdir` 的顺序**: 在每个 `step()` 函数中，调用 `os.getcwd()` 查看当前路径以了解当前操作的是哪个目录，并在合适的地方确认调用 `os.chdir('..')` 确保返回原始目录。

下面是对 `step()` 方法的改进：

```python
def step(self, action):
    self.current_step += 1
    
    # 更新控制棒位置
    self.control_rod_pos = action / 10.0
    self._setup_model()
    reward = 0  # 确保初始化reward
    done = False

    try:
        #确保在正确的目录中
        working_directory = os.path.join(os.getcwd(), 'openmc_model')

        if not os.path.exists(working_directory):
            os.makedirs(working_directory)

        os.chdir(working_directory)

        # 更新材料温度
        self.fuel.temperature = self.temperature
        
        # 导出更新后的模型
        self.materials.export_to_xml('materials.xml')
        self.geometry.export_to_xml('geometry.xml')
        self.settings.export_to_xml('settings.xml')
        
        # 运行OpenMC模拟
        result = openmc.run()
        
        # 获取k_eff
        with openmc.StatePoint(result) as sp:
            self.k_eff = sp.k_effective.nominal_value
            
        # 更新系统状态
        self._update_state()
        
        # 更新可视化
        self.update_visualization()
        
        # 计算奖励
        reward = self._calculate_reward()
        
        # 检查是否结束
        done = self.current_step >= self.max_steps 
        
    except Exception as e:
        print(f"模拟过程出错: {e}")
    
    finally:
        # 确保返回到原始目录
        os.chdir('..')
        
    return self._get_observation(), reward, done, False, {}
```

通过这种方式，每次进入 `openmc_model` 目录后都确保返回到原始的工作目录。这样就不会在不同的目录层次之间无限制地嵌套下去了。
User: finally:
```python
import gymnasium as gym
import numpy as np
from stable_baselines3 import PPO
from stable_baselines3.common.env_util import make_vec_env
import openmc
import matplotlib.pyplot as plt
from matplotlib.animation import FuncAnimation
import os



class NuclearReactorEnv(gym.Env):
    def __init__(self):
        super().__init__()
        self.action_space = gym.spaces.Discrete(11)  # 控制棒位置，0-10
        
        # 观察空间：温度、功率、k_eff、控制棒位置、燃料燃耗
        self.observation_space = gym.spaces.Box(
            low=np.array([500, 0, 0.5, 0, 0]),
            high=np.array([1500, 3000, 1.5, 1, 100]),
            dtype=np.float32
        )
        self.control_rod_pos=5
        self.max_steps = 1000
        self.current_step = 0
        self._setup_model()
        
    def _setup_model(self):
        # 创建工作目录
        if not os.path.exists('openmc_model'):
            os.makedirs('openmc_model')
        os.chdir('openmc_model')
        
        # 设置材料
        # UO2燃料
        self.fuel = openmc.Material(name='fuel')
        self.fuel.add_nuclide('U235', 0.05)
        self.fuel.add_nuclide('U238', 0.95)
        self.fuel.add_nuclide('O16', 2.0)
        self.fuel.add_nuclide('B10', self.control_rod_pos)
        self.fuel.set_density('g/cm3', 10.0)
        
        self.fuel.temperature = 900  # K

       
      
        # 创建材料集合
        self.materials = openmc.Materials([self.fuel])
        
        # 创建几何体
        # 简化的圆柱形反应堆堆芯
        cylinder = openmc.ZCylinder(r=100)
        fuel_region = -cylinder
        
        fuel_cell = openmc.Cell(fill=self.fuel, region=fuel_region)
        
        # 创建universe和geometry
        root_universe = openmc.Universe(cells=[fuel_cell])
        self.geometry = openmc.Geometry(root_universe)
        
        # 设置模拟参数
        self.settings = openmc.Settings()
        self.settings.batches = 50  # 减少批次数以加快计算
        self.settings.inactive = 10
        self.settings.particles = 500  # 减少粒子数以加快计算
        self.settings.temperature = {'method': 'interpolation'}
        
        # 设置源项
        bounds = [-100, -100, -100, 100, 100, 100]
        uniform_dist = openmc.stats.Box(bounds[:3], bounds[3:])
        src = openmc.Source(space=uniform_dist)
        self.settings.source = src
        
        # 导出初始模型
        try:
            self.materials.export_to_xml('materials.xml')
            self.geometry.export_to_xml('geometry.xml')
            self.settings.export_to_xml('settings.xml')
            print("成功导出OpenMC模型文件")
        except Exception as e:
            print(f"导出模型文件时出错: {e}")
        
    def init_visualization(self):
        """初始化可视化图表"""
        plt.close('all')
        plt.ion()  # 开启交互模式
        self.fig, self.axs = plt.subplots(2, 2, figsize=(15, 10))
        self.fig.suptitle('核反应堆运行状态监测', fontsize=16)
        
        # 初始化数据存储
        self.history = {
            'temperature': [],
            'power': [],
            'k_eff': [],
            'burnup': [],
            'control_rod': [],
            'steps': []
        }
        
        # 配置子图
        self.lines = {}
        
        # 温度和功率图
        self.axs[0, 0].set_title('温度和功率变化')
        self.axs[0, 0].set_xlabel('步数')
        self.lines['temp'], = self.axs[0, 0].plot([], [], 'r-', label='温度 (K)')
        self.lines['power'], = self.axs[0, 0].plot([], [], 'b-', label='功率 (MW)')
        self.axs[0, 0].legend()
        
        # k_eff图
        self.axs[0, 1].set_title('k_eff变化')
        self.axs[0, 1].set_xlabel('步数')
        self.lines['k_eff'], = self.axs[0, 1].plot([], [], 'g-', label='k_eff')
        self.axs[0, 1].axhline(y=1.0, color='r', linestyle='--', label='临界值')
        self.axs[0, 1].legend()
        
        # 控制棒位置图
        self.axs[1, 0].set_title('控制棒位置')
        self.axs[1, 0].set_xlabel('步数')
        self.lines['control'], = self.axs[1, 0].plot([], [], 'k-', label='控制棒位置')
        self.axs[1, 0].legend()
        
        # 燃耗图
        self.axs[1, 1].set_title('燃料燃耗')
        self.axs[1, 1].set_xlabel('步数')
        self.lines['burnup'], = self.axs[1, 1].plot([], [], 'm-', label='燃耗 (MWd/kgU)')
        self.axs[1, 1].legend()
        
        plt.tight_layout()

    def update_visualization(self):
        """更新可视化图表"""
        # 更新历史数据
        self.history['temperature'].append(self.temperature)
        self.history['power'].append(self.power)
        self.history['k_eff'].append(self.k_eff)
        self.history['burnup'].append(self.burnup)
        self.history['control_rod'].append(self.control_rod_pos)
        self.history['steps'].append(self.current_step)
        
        # 更新图表
        steps = self.history['steps']
        
        # 更新温度和功率
        self.lines['temp'].set_data(steps, self.history['temperature'])
        self.lines['power'].set_data(steps, self.history['power'])
        self.axs[0, 0].relim()
        self.axs[0, 0].autoscale_view()
        
        # 更新k_eff
        self.lines['k_eff'].set_data(steps, self.history['k_eff'])
        self.axs[0, 1].relim()
        self.axs[0, 1].autoscale_view()
        
        # 更新控制棒位置
        self.lines['control'].set_data(steps, self.history['control_rod'])
        self.axs[1, 0].relim()
        self.axs[1, 0].autoscale_view()
        
        # 更新燃耗
        self.lines['burnup'].set_data(steps, self.history['burnup'])
        self.axs[1, 1].relim()
        self.axs[1, 1].autoscale_view()
        
        plt.draw()
        plt.pause(0.01)

    def reset(self, seed=None):
        super().reset(seed=seed)
        self.current_step = 0
        self.temperature = 600  # K
        self.power = 1000      # MW
        self.k_eff = 1.0
        self.burnup = 0        # MWd/kgU
        self.control_rod_pos = 0.5
        
        # 初始化可视化
        self.init_visualization()
        
        return self._get_observation(), {}
    
    def _get_observation(self):
        return np.array([
            self.temperature,
            self.power,
            self.k_eff,
            self.control_rod_pos,
            self.burnup
        ], dtype=np.float32)
    
    def step(self, action):
        self.current_step += 1
        
        # 更新控制棒位置
        self.control_rod_pos = action / 10.0
        self._setup_model()
        try:
            # 确保在正确的目录中
            if not os.path.exists('openmc_model'):
                os.makedirs('openmc_model')
            os.chdir('openmc_model')
            
            # 更新材料温度
            self.fuel.temperature = self.temperature
            
            # 导出更新后的模型
            self.materials.export_to_xml('materials.xml')
            self.geometry.export_to_xml('geometry.xml')
            self.settings.export_to_xml('settings.xml')
            
            # 运行OpenMC模拟
            result = openmc.run()
            
            # 获取k_eff
            with openmc.StatePoint(result) as sp:
                self.k_eff = sp.k_effective.nominal_value
                
            # 更新系统状态
            self._update_state()
            
            # 更新可视化
            self.update_visualization()
            
            # 计算奖励
            reward = self._calculate_reward()
            
            # 检查是否结束
            done = self.current_step >= self.max_steps 
            
            # 返回到原始目录
            os.chdir('..')
            
        except Exception as e:
            print(f"模拟过程出错: {e}")
            # 确保返回到原始目录
            if os.path.exists('openmc_model'):
                os.chdir('..')
           
        
        return self._get_observation(), reward, done, False, {}
    
    def _update_state(self):
        # 基于k_eff更新功率
        power_factor = (self.k_eff - 1.0) * 5000
        self.power = np.clip(self.power + power_factor, 0, 3000)
        
        # 更新温度
        delta_temp = (self.power - 1000) * 0.1
        self.temperature = np.clip(self.temperature + delta_temp, 500, 1500)
        
        # 更新燃耗
        self.burnup += self.power * 0.001
        
    def _calculate_reward(self):
        reward = 0
        
        # 奖励稳定的运行状态
        reward -= abs(self.power - 1000) * 0.01  # 目标功率1000MW
        reward -= abs(self.k_eff - 1.0) * 100    # 目标k_eff=1
        reward -= abs(self.temperature - 900) * 0.1  # 目标温度900K
        
        # 惩罚不安全状态
        if self._is_unsafe():
            reward -= 1000
            
        return reward
    
    def _is_unsafe(self):
        return (self.temperature > 1400 or 
                self.power > 2500 or 
                self.k_eff > 1.2)

def train_agent():
    env = make_vec_env(NuclearReactorEnv, n_envs=1)
    
    model = PPO(
        "MlpPolicy",
        env,
        verbose=1,
        learning_rate=0.0003,
        n_steps=2048,
        batch_size=64,
        n_epochs=10
    )
    
    model.learn(total_timesteps=100000)
    model.save("ppo_nuclear_reactor")
    
    return model

def evaluate_agent(model, num_episodes=5):
    env = NuclearReactorEnv()
    
    for episode in range(num_episodes):
        obs, _ = env.reset()
        episode_reward = 0
        done = False
        
        while not done:
            action, _ = model.predict(obs)
            obs, reward, done, _, _ = env.step(action)
            episode_reward += reward
            
            # 打印当前状态
            print(f"步骤 {env.current_step}:")
            print(f"温度: {env.temperature:.1f}K")
            print(f"功率: {env.power:.1f}MW")
            print(f"k_eff: {env.k_eff:.3f}")
            print(f"控制棒位置: {env.control_rod_pos:.2f}")
            print(f"燃耗: {env.burnup:.2f}MWd/kgU")
            print("------------------------")
        
        plt.savefig(f'episode_{episode+1}_results.png')
        print(f"Episode {episode + 1}: 总奖励 = {episode_reward:.2f}\n")
    
    plt.close('all')

if __name__ == "__main__":
    model = train_agent()
    print("\n评估核反应堆控制性能：")
    evaluate_agent(model)

```
Assistant: 在你的代码中，每次调用 `step()` 函数时，都会尝试切换到 `openmc_model` 目录，并且在 `_setup_model()` 方法中同样进行了这种操作。这可能导致目录在多个调用之间层层嵌套。

为了避免这个问题，可以通过以下方法进行改进：

1. **绝对路径初始化**：在 `__init__()` 方法中初始化 `openmc_model` 的绝对路径，这样之后的目录操作就不会层层嵌套。
   
2. **避免频繁切换目录**：避免在每个函数中都进行 `os.chdir`。可以考虑用 `openmc` 的 `set_working_directory` 方法（如果支持）设置计算目录，或者只在 `setup_model` 中进行目录切换。

以下是可以合并这些建议后的改进：

```python
class NuclearReactorEnv(gym.Env):
    def __init__(self):
        super().__init__()
        self.action_space = gym.spaces.Discrete(11)  # 控制棒位置，0-10
        
        # 观察空间：温度、功率、k_eff、控制棒位置、燃料燃耗
        self.observation_space = gym.spaces.Box(
            low=np.array([500, 0, 0.5, 0, 0]),
            high=np.array([1500, 3000, 1.5, 1, 100]),
            dtype=np.float32
        )
        self.control_rod_pos=5
        self.max_steps [aborted]
User: 模拟过程出错: 'NuclearReactorEnv' object has no attribute 'fuel'
Traceback (most recent call last):
```python
import gymnasium as gym
import numpy as np
from stable_baselines3 import PPO
from stable_baselines3.common.env_util import make_vec_env
import openmc
import matplotlib.pyplot as plt
import os



class NuclearReactorEnv(gym.Env):
    def __init__(self):
        super().__init__()
        self.action_space = gym.spaces.Discrete(11)  # 控制棒位置，0-10
        
        # 观察空间：温度、功率、k_eff、控制棒位置、燃料燃耗
        self.observation_space = gym.spaces.Box(
            low=np.array([500, 0, 0.5, 0, 0]),
            high=np.array([1500, 3000, 1.5, 1, 100]),
            dtype=np.float32
        )
        self.control_rod_pos=5
        self.max_steps = 1000
        self.current_step = 0
        
        
    def _setup_model(self):
        # 创建工作目录
        if not os.path.exists('openmc_model'):
            os.makedirs('openmc_model')
        os.chdir('openmc_model')
        
        # 设置材料
        # UO2燃料
        self.fuel = openmc.Material(name='fuel')
        self.fuel.add_nuclide('U235', 0.05)
        self.fuel.add_nuclide('U238', 0.95)
        self.fuel.add_nuclide('O16', 2.0)
        self.fuel.add_nuclide('B10', self.control_rod_pos)
        self.fuel.set_density('g/cm3', 10.0)
        
        self.fuel.temperature = 900  # K
        # 创建材料集合
        self.materials = openmc.Materials([self.fuel])
        
        # 创建几何体
        # 简化的圆柱形反应堆堆芯
        cylinder = openmc.ZCylinder(r=100, boundary_type='reflective')
        fuel_region = -cylinder
        
        fuel_cell = openmc.Cell(fill=self.fuel, region=fuel_region)
        # 创建universe和geometry
        root_universe = openmc.Universe(cells=[fuel_cell])
        self.geometry = openmc.Geometry(root_universe)
        
        # 设置模拟参数
        self.settings = openmc.Settings()
        self.settings.batches = 50  # 减少批次数以加快计算
        self.settings.inactive = 10
        self.settings.particles = 500  # 减少粒子数以加快计算
        self.settings.temperature = {'method': 'interpolation'}
        
        # 设置源项
        bounds = [-100, -100, -100, 100, 100, 100]
        uniform_dist = openmc.stats.Box(bounds[:3], bounds[3:])
        src = openmc.Source(space=uniform_dist)
        self.settings.source = src
        
        # 导出初始模型
        try:
            self.materials.export_to_xml('materials.xml')
            self.geometry.export_to_xml('geometry.xml')
            self.settings.export_to_xml('settings.xml')
            print("成功导出OpenMC模型文件")
        except Exception as e:
            print(f"导出模型文件时出错: {e}")
        
       
        
    def init_visualization(self):
        """初始化可视化图表"""
        plt.close('all')
        plt.ion()  # 开启交互模式
        self.fig, self.axs = plt.subplots(2, 2, figsize=(15, 10))
        self.fig.suptitle('核反应堆运行状态监测', fontsize=16)
        
        # 初始化数据存储
        self.history = {
            'temperature': [],
            'power': [],
            'k_eff': [],
            'burnup': [],
            'control_rod': [],
            'steps': []
        }
        
        # 配置子图
        self.lines = {}
        
        # 温度和功率图
        self.axs[0, 0].set_title('温度和功率变化')
        self.axs[0, 0].set_xlabel('步数')
        self.lines['temp'], = self.axs[0, 0].plot([], [], 'r-', label='温度 (K)')
        self.lines['power'], = self.axs[0, 0].plot([], [], 'b-', label='功率 (MW)')
        self.axs[0, 0].legend()
        
        # k_eff图
        self.axs[0, 1].set_title('k_eff变化')
        self.axs[0, 1].set_xlabel('步数')
        self.lines['k_eff'], = self.axs[0, 1].plot([], [], 'g-', label='k_eff')
        self.axs[0, 1].axhline(y=1.0, color='r', linestyle='--', label='临界值')
        self.axs[0, 1].legend()
        
        # 控制棒位置图
        self.axs[1, 0].set_title('控制棒位置')
        self.axs[1, 0].set_xlabel('步数')
        self.lines['control'], = self.axs[1, 0].plot([], [], 'k-', label='控制棒位置')
        self.axs[1, 0].legend()
        
        # 燃耗图
        self.axs[1, 1].set_title('燃料燃耗')
        self.axs[1, 1].set_xlabel('步数')
        self.lines['burnup'], = self.axs[1, 1].plot([], [], 'm-', label='燃耗 (MWd/kgU)')
        self.axs[1, 1].legend()
        
        plt.tight_layout()

    def update_visualization(self):
        """更新可视化图表"""
        # 更新历史数据
        self.history['temperature'].append(self.temperature)
        self.history['power'].append(self.power)
        self.history['k_eff'].append(self.k_eff)
        self.history['burnup'].append(self.burnup)
        self.history['control_rod'].append(self.control_rod_pos)
        self.history['steps'].append(self.current_step)
        
        # 更新图表
        steps = self.history['steps']
        
        # 更新温度和功率
        self.lines['temp'].set_data(steps, self.history['temperature'])
        self.lines['power'].set_data(steps, self.history['power'])
        self.axs[0, 0].relim()
        self.axs[0, 0].autoscale_view()
        
        # 更新k_eff
        self.lines['k_eff'].set_data(steps, self.history['k_eff'])
        self.axs[0, 1].relim()
        self.axs[0, 1].autoscale_view()
        
        # 更新控制棒位置
        self.lines['control'].set_data(steps, self.history['control_rod'])
        self.axs[1, 0].relim()
        self.axs[1, 0].autoscale_view()
        
        # 更新燃耗
        self.lines['burnup'].set_data(steps, self.history['burnup'])
        self.axs[1, 1].relim()
        self.axs[1, 1].autoscale_view()
        
        plt.draw()
        plt.pause(0.01)

    def reset(self, seed=None):
        super().reset(seed=seed)
        self.current_step = 0
        self.temperature = 600  # K
        self.power = 1000      # MW
        self.k_eff = 1.0
        self.burnup = 0        # MWd/kgU
        self.control_rod_pos = 0.5
        
        # 初始化可视化
        self.init_visualization()
        
        return self._get_observation(), {}
    
    def _get_observation(self):
        return np.array([
            self.temperature,
            self.power,
            self.k_eff,
            self.control_rod_pos,
            self.burnup
        ], dtype=np.float32)
    
    def step(self, action):
        self.current_step += 1
        
        # 更新控制棒位置
        self.control_rod_pos = action / 10.0
       
       
        try:
           
            # 更新材料温度
            self.fuel.temperature = self.temperature
            #更新材料
            self._setup_model()
            
            # 运行OpenMC模拟
            openmc.run()
            
            # 获取k_eff
            with openmc.StatePoint('statepoint.50.h5') as sp:
                self.k_eff = sp.k_effective.nominal_value
                
            # 更新系统状态
            self._update_state()
            
            # 更新可视化
            self.update_visualization()
            
            # 计算奖励
            reward = self._calculate_reward()
            
            # 检查是否结束
            done = self.current_step >= self.max_steps 
            
            # 返回到原始目录
            os.chdir('..')
            
        except Exception as e:
            print(f"模拟过程出错: {e}")
            
        finally:
            # 确保返回到原始目录
            os.chdir('..')
           
        
        return self._get_observation(), reward, done, False, {}
    
    def _update_state(self):
        # 基于k_eff更新功率
        power_factor = (self.k_eff - 1.0) * 5000
        self.power = np.clip(self.power + power_factor, 0, 3000)
        
        # 更新温度
        delta_temp = (self.power - 1000) * 0.1
        newtemp = round((self.temperature + delta_temp)/100)*100
        self.temperature = np.clip(newtemp, 500, 1500)
        
        # 更新燃耗
        self.burnup += self.power * 0.001
        
    def _calculate_reward(self):
        reward = 0
        
        # 奖励稳定的运行状态
        reward -= abs(self.power - 1000) * 0.01  # 目标功率1000MW
        reward -= abs(self.k_eff - 1.0) * 100    # 目标k_eff=1
        reward -= abs(self.temperature - 900) * 0.1  # 目标温度900K
        
        # 惩罚不安全状态
        if self._is_unsafe():
            reward -= 1000
            
        return reward
    
    def _is_unsafe(self):
        return (self.temperature > 1400 or 
                self.power > 2500 or 
                self.k_eff > 1.2)

def train_agent():
    env = make_vec_env(NuclearReactorEnv, n_envs=1)
    
    model = PPO(
        "MlpPolicy",
        env,
        verbose=1,
        learning_rate=0.0003,
        n_steps=2048,
        batch_size=64,
        n_epochs=10
    )
    
    model.learn(total_timesteps=100000)
    model.save("ppo_nuclear_reactor")
    
    return model

def evaluate_agent(model, num_episodes=5):
    env = NuclearReactorEnv()
    
    for episode in range(num_episodes):
        obs, _ = env.reset()
        episode_reward = 0
        done = False
        
        while not done:
            action, _ = model.predict(obs)
            obs, reward, done, _, _ = env.step(action)
            episode_reward += reward
            
            # 打印当前状态
            print(f"步骤 {env.current_step}:")
            print(f"温度: {env.temperature:.1f}K")
            print(f"功率: {env.power:.1f}MW")
            print(f"k_eff: {env.k_eff:.3f}")
            print(f"控制棒位置: {env.control_rod_pos:.2f}")
            print(f"燃耗: {env.burnup:.2f}MWd/kgU")
            print("------------------------")
        
        plt.savefig(f'episode_{episode+1}_results.png')
        print(f"Episode {episode + 1}: 总奖励 = {episode_reward:.2f}\n")
    
    plt.close('all')

if __name__ == "__main__":
    model = train_agent()
    print("\n评估核反应堆控制性能：")
    evaluate_agent(model)

```
Assistant: