Su construcción se inicia en 1569 por Juan Bautista de Toledo (Arquitecto del Monasterio del Escorial), que muere y cuya obra continua Gaspar de Vega.