Comenzó a alzarse en 1533 bajo la dirección de Rodrigo Gil de Hontañón pero interviniendo posteriormente diversos arquitectos de distintas épocas.