Aunque el monarca había muerto en 1746, las obras comenzaron en 1749 con Ventura Rodríguez como arquitecto.