En 1821 fue suprimida la orden de los Betlemitas y el edificio comenzó una historia de muy diversos usos: parte del edificio fue ocupada por el Colegio de Ingenieros, otra sección se convirtió en sede de la Escuela Lancasteriana (1823–1894) y también se estableció allí el Colegio Militar (1828–1833).