# no exploration bonus

# GS phase one - recurrence and LR
#lr [1e-4, 5e-5, 1e-5]
# recurrence [5, 10, 20, 80]

## rec 5
#--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 80000000 --model bAI_GS_rec_lr --algo ppo --dialogue --save-interval 100 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --*recurrence 5 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --*lr 1e-4 --entropy-coef 0.00001 --acl --acl-thresholds 0.75 --acl-average-interval 500  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
#--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 80000000 --model bAI_GS_rec_lr --algo ppo --dialogue --save-interval 100 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --*recurrence 5 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --*lr 5e-5 --entropy-coef 0.00001 --acl --acl-thresholds 0.75 --acl-average-interval 500  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
#--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 80000000 --model bAI_GS_rec_lr --algo ppo --dialogue --save-interval 100 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --*recurrence 5 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --*lr 1e-5 --entropy-coef 0.00001 --acl --acl-thresholds 0.75 --acl-average-interval 500  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
#
## rec 10
#--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 80000000 --model bAI_GS_rec_lr --algo ppo --dialogue --save-interval 100 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --*recurrence 10 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --*lr 1e-4 --entropy-coef 0.00001 --acl --acl-thresholds 0.75 --acl-average-interval 500  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
#--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 80000000 --model bAI_GS_rec_lr --algo ppo --dialogue --save-interval 100 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --*recurrence 10 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --*lr 5e-5 --entropy-coef 0.00001 --acl --acl-thresholds 0.75 --acl-average-interval 500  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
#--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 80000000 --model bAI_GS_rec_lr --algo ppo --dialogue --save-interval 100 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --*recurrence 10 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --*lr 1e-5 --entropy-coef 0.00001 --acl --acl-thresholds 0.75 --acl-average-interval 500  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
#
## rec 20
#--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 80000000 --model bAI_GS_rec_lr --algo ppo --dialogue --save-interval 100 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --*recurrence 20 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --*lr 1e-4 --entropy-coef 0.00001 --acl --acl-thresholds 0.75 --acl-average-interval 500  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
#--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 80000000 --model bAI_GS_rec_lr --algo ppo --dialogue --save-interval 100 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --*recurrence 20 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --*lr 5e-5 --entropy-coef 0.00001 --acl --acl-thresholds 0.75 --acl-average-interval 500  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
#--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 80000000 --model bAI_GS_rec_lr --algo ppo --dialogue --save-interval 100 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --*recurrence 20 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --*lr 1e-5 --entropy-coef 0.00001 --acl --acl-thresholds 0.75 --acl-average-interval 500  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
#
## rec 80
#--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 80000000 --model bAI_GS_rec_lr --algo ppo --dialogue --save-interval 100 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --*recurrence 80 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --*lr 1e-4 --entropy-coef 0.00001 --acl --acl-thresholds 0.75 --acl-average-interval 500  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
#--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 80000000 --model bAI_GS_rec_lr --algo ppo --dialogue --save-interval 100 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --*recurrence 80 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --*lr 5e-5 --entropy-coef 0.00001 --acl --acl-thresholds 0.75 --acl-average-interval 500  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
#--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 80000000 --model bAI_GS_rec_lr --algo ppo --dialogue --save-interval 100 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --*recurrence 80 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --*lr 1e-5 --entropy-coef 0.00001 --acl --acl-thresholds 0.75 --acl-average-interval 500  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64

# best: lr 1e-5, rec 10

# phase two
#ACL --acl-thresholds [0.75, 0.8, 0.9]
#ACL --acl-average-interval [100, 500, 1000]

# 100
--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 100000000 --model bAI_GS_acl --algo ppo --dialogue --save-interval 100 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --recurrence 10 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --lr 1e-5 --entropy-coef 0.00001 --*acl --*acl-thresholds 0.75 --*acl-average-interval 100  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 100000000 --model bAI_GS_acl --algo ppo --dialogue --save-interval 100 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --recurrence 10 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --lr 1e-5 --entropy-coef 0.00001 --*acl --*acl-thresholds 0.8 --*acl-average-interval 100  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 100000000 --model bAI_GS_acl --algo ppo --dialogue --save-interval 100 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --recurrence 10 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --lr 1e-5 --entropy-coef 0.00001 --*acl --*acl-thresholds 0.9 --*acl-average-interval 100  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64

# 500
--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 100000000 --model bAI_GS_acl --algo ppo --dialogue --save-interval 500 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --recurrence 10 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --lr 1e-5 --entropy-coef 0.00001 --*acl --*acl-thresholds 0.75 --*acl-average-interval 500  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 100000000 --model bAI_GS_acl --algo ppo --dialogue --save-interval 500 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --recurrence 10 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --lr 1e-5 --entropy-coef 0.00001 --*acl --*acl-thresholds 0.8 --*acl-average-interval 500  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 100000000 --model bAI_GS_acl --algo ppo --dialogue --save-interval 500 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --recurrence 10 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --lr 1e-5 --entropy-coef 0.00001 --*acl --*acl-thresholds 0.9 --*acl-average-interval 500  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64

# 1000
--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 100000000 --model bAI_GS_acl --algo ppo --dialogue --save-interval 1000 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --recurrence 10 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --lr 1e-5 --entropy-coef 0.00001 --*acl --*acl-thresholds 0.75 --*acl-average-interval 1000  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 100000000 --model bAI_GS_acl --algo ppo --dialogue --save-interval 1000 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --recurrence 10 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --lr 1e-5 --entropy-coef 0.00001 --*acl --*acl-thresholds 0.8 --*acl-average-interval 1000  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64
--slurm_conf jz_short_gpu_chained --nb_seeds 4 --cpu_cores_per_seed 32 --gpus_per_seed 1 --seeds_per_launch 1 --frames 100000000 --model bAI_GS_acl --algo ppo --dialogue --save-interval 1000 --log-interval 100 --test-interval 1000 --frames-per-proc 40 --multi-modal-babyai11-agent --*env SocialAI-SocialAIParamEnv-v1 --clipped-rewards --batch-size 640 --clip-eps 0.2 --recurrence 10 --max-grad-norm 0.5 --epochs 4 --optim-eps 1e-05 --lr 1e-5 --entropy-coef 0.00001 --*acl --*acl-thresholds 0.9 --*acl-average-interval 1000  --acl-minimum-episodes 1000 --test-set-name SocialAITestSet --env-args see_through_walls False --arch bow_endpool_res --bAI-lang-model attgru --memory-dim 2048 --procs 64