En el año 1557 se comienza la construcción del castillo auspiciada por Felipe II, del que toma su nombre,y es entre los años 1731 y 1755 cuando el ingeniero Francisco Montaigu se encarga de diseñar una serie de reformas entre las que destaca la construcción de un hornabeque, el foso y el proyecto de la puerta principal.