[tab] /p/project1/envcomp/mihir/logs/eval/eval_miles_run/eval_miles_run_13051745.log (log)
Lmod has detected the following error: The following module(s) are unknown:
"CUDA/12.8"

Please check the spelling or version number. Also try "module spider ..."
It is also possible your cache file is out-of-date; it may help to try:
  $ module --ignore_cache load "CUDA/12.8"

Also make sure that all modulefiles written in TCL start with the string
#%Module



LoRA adapters found. Evaluating accordingly.
╭─ Unrecognized options ─────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0      │
│ ────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help │
╰────────────────────────────────────────────────────────────────────╯
╭─ Unrecognized options ─────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 0 │
│ ────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help    │
╰────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0001000/, Step: 1000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 001000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 1000 │
│ ───────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help       │
╰───────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0002000/, Step: 2000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 002000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 2000 │
│ ───────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help       │
╰───────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0003000/, Step: 3000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 003000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 3000 │
│ ───────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help       │
╰───────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0004000/, Step: 4000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 004000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 4000 │
│ ───────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help       │
╰───────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0005000/, Step: 5000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 005000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 5000 │
│ ───────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help       │
╰───────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0006000/, Step: 6000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 006000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 6000 │
│ ───────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help       │
╰───────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0007000/, Step: 7000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 007000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 7000 │
│ ───────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help       │
╰───────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0008000/, Step: 8000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 008000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 8000 │
│ ───────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help       │
╰───────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0009000/, Step: 9000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 009000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 9000 │
│ ───────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help       │
╰───────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0010000/, Step: 10000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 010000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ─────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 10000 │
│ ────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help        │
╰────────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0011000/, Step: 11000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 011000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ─────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 11000 │
│ ────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help        │
╰────────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0012000/, Step: 12000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 012000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ─────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 12000 │
│ ────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help        │
╰────────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0013000/, Step: 13000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 013000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ─────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 13000 │
│ ────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help        │
╰────────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0014000/, Step: 14000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 014000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ─────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 14000 │
│ ────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help        │
╰────────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0015000/, Step: 15000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 015000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ─────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 15000 │
│ ────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help        │
╰────────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0016000/, Step: 16000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 016000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ─────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 16000 │
│ ────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help        │
╰────────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0017000/, Step: 17000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 017000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ─────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 17000 │
│ ────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help        │
╰────────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0018000/, Step: 18000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 018000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ─────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 18000 │
│ ────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help        │
╰────────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0019000/, Step: 19000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 019000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ─────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 19000 │
│ ────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help        │
╰────────────────────────────────────────────────────────────────────╯
LoRA adapter dir: /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0020000/, Step: 20000
generating..
╭─ Unrecognized options ───────────────────────────────────────────────────────╮
│ Unrecognized options: --top_p, 0.8, --top_k, 20, --min_p, 0.0, --lora_paths, │
│ /p/scratch/envcomp/mihir/huggingface/shared_data/13032802/checkpoints/iter_0 │
│ 020000/                                                                      │
│ ──────────────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_generations.py --help           │
╰──────────────────────────────────────────────────────────────────────────────╯
evaluating..
╭─ Unrecognized options ─────────────────────────────────────────────╮
│ Unrecognized options: --wandb_id, run_13032802, --eval_step, 20000 │
│ ────────────────────────────────────────────────────────────────── │
│ For full helptext, run src/evaluation/sglang_eval.py --help        │
╰────────────────────────────────────────────────────────────────────╯