Con ello, en 1778 se derruyen parcialmente los restos del Alcázar para instalar allí la ampliación de la Real Fábrica de Paños bajo los trazos diseñados por el maestro de Obras de la Real Fábrica, Diego García.