El edificio fue transformado por Diego de Villanueva (1715-1774) –cuyo hermano menor, Juan, sería director general de la Academia durante el trienio de 1792-1795– que eliminó los elementos barrocos del diseño original, adaptándolo a los gustos neoclásicos del momento.