File size: 2,926 Bytes
7257d84 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 |
exp_config = {
'env': {
'manager': {
'episode_num': float("inf"),
'max_retry': 1,
'retry_type': 'reset',
'auto_reset': True,
'step_timeout': None,
'reset_timeout': None,
'retry_waiting_time': 0.1,
'cfg_type': 'BaseEnvManagerDict',
'shared_memory': False
},
'stop_value': 10000000000,
'n_evaluator_episode': 8,
'collector_env_num': 8,
'evaluator_env_num': 8,
'env_id': 'SpaceInvadersNoFrameskip-v4',
'frame_stack': 4
},
'policy': {
'model': {
'encoder_hidden_size_list': [128, 128, 512],
'v_min': -10,
'v_max': 10,
'n_atom': 51,
'obs_shape': [4, 84, 84],
'action_shape': 6
},
'learn': {
'learner': {
'train_iterations': 1000000000,
'dataloader': {
'num_workers': 0
},
'log_policy': True,
'hook': {
'load_ckpt_before_run': '',
'log_show_after_iter': 100,
'save_ckpt_after_iter': 10000,
'save_ckpt_after_run': True
},
'cfg_type': 'BaseLearnerDict'
},
'update_per_collect': 10,
'batch_size': 32,
'learning_rate': 0.0001,
'target_update_freq': 500,
'target_theta': 0.005,
'ignore_done': False
},
'collect': {
'collector': {},
'n_sample': 100,
'unroll_len': 1
},
'eval': {
'evaluator': {
'eval_freq': 4000,
'render': {
'render_freq': -1,
'mode': 'train_iter'
},
'cfg_type': 'InteractionSerialEvaluatorDict',
'stop_value': 10000000000,
'n_episode': 8
}
},
'other': {
'replay_buffer': {
'replay_buffer_size': 400000
},
'eps': {
'type': 'exp',
'start': 1.0,
'end': 0.05,
'decay': 1000000
}
},
'on_policy': False,
'cuda': True,
'multi_gpu': False,
'bp_update_sync': True,
'traj_len_inf': False,
'type': 'c51',
'priority': False,
'priority_IS_weight': False,
'discount_factor': 0.99,
'nstep': 3,
'cfg_type': 'C51PolicyDict'
},
'exp_name': 'SpaceInvadersNoFrameskip-v4-C51',
'seed': 0,
'wandb_logger': {
'gradient_logger': True,
'video_logger': True,
'plot_logger': True,
'action_logger': True,
'return_logger': False
}
}
|