Su construcción fue ordenada por Felipe II a su arquitecto preferido, Juan de Herrera, autor del Monasterio de El Escorial y del Palacio Real de Aranjuez, entre otros edificios.