Dicho castillo fue la última morada de los últimos moros en la isla, y cuenta la leyenda que el caballo del príncipe moro, al bajar al galope el monte sobre el que está el castillo, clavó con tal fuerza sus pezuñas sobre una piedra, que todavía se conservan las marcas de las herraduras en ella.