Con la desamortización de 1836, y dado el mal estado, este edificio y dos colegios universitarios fueron demolidos completamente entre 1856 y 1859, para levantar en 1863 el Cuartel de Caballería de San Diego, posteriormente denominado Cuartel del Príncipe de Asturias y finalmente Cuartel del Príncipe; y el contiguo "Cuartel de Lepanto".