Su historia ha estado llena de avatares y su uso original no duró mucho: tras ello ha sido cárcel (en ella encerró el Conde-Duque de Olivares a Francisco de Quevedo), cuartel, sede de los estudios veterinarios, origen de la Facultad de Veterinaria de la Universidad de León y del Instituto General y Técnico (uno de los tres primeros Institutos de Enseñanza Media creados en España por ley de 1845), fundado en 1846 (hoy IES Padre Isla), e incluso fue campo de concentración durante la Guerra Civil.