Sufrió varias reformas durante su uso como Real Fábrica, una en el siglo XVI y otra en el siglo XVIII, cuando se le añadió la gran portada que conforma el acceso principal, obra de Sebastián Van der Borcht, así como otra serie de reformas de cara a solventar problemas estructurales y de filtraciones derivados del terremoto de Lisboa de 1755.