Cái tên Cấm theo truyền tụng có nguồn gốc như sau: ngày trước, trên núi là rừng già hiểm trở, thú dữ ngày đêm thường rình rập giết hại người qua lại nên quan chức địa phương đã nghiêm cấm dân trong vùng lên núi hái lượm, săn bắn... Cũng có truyền thuyết: lúc Nguyễn Ánh bôn tẩu, bị quân Tây Sơn truy bắt phải lên núi lánh nạn, nên truyền lệnh không cho dân bản xứ lai vãng.