Tras la expulsión de los Jesuitas de España en 1767, las dependencias del Colegio de San Esteban sirvieron de cuartel a una compañía de Dragones de la Reina.