La escuela no recibió ayuda económica del gobierno de la República, ni del gobierno Departamental, aun cuando sus patrocinadores habían sido el presidente Santa Anna y el gobernador Quijano. En esta situación, el rector Antonio María de Rivera no solamente no cobraba sueldo, sino que muchas veces disponía de su dinero para cubrir gastos de la escuela. Durante la Intervención Estadounidense en México, Juan Soto, gobernador de Veracruz, solicitó el edificio del convento franciscano para instalar un hospital militar. Posteriormente, los invasores, al llegar a Xalapa, se posesionaron del convento y lo destinaron para cuartel. Antonio María de Rivera trasladó el Colegio a una casa rentada y después al número 64 de la calle Belén (hoy Rafael Lucio). Hacia 1850 por gestiones del mismo Antonio María de Rivera el gobierno cedió al Colegio una vieja casa ubicada en la calle de la Amargura no. 82, esquina con Nacional (actualmente Revolución esquina con Juárez). Ahí funcionó durante algunos años hasta que en 1861 el gobernador Ignacio de la Llave, durante la Invasión Francesa, ordenó el desalojo del local que ocupaba el Colegio para establecer un hospital militar. Después del conflicto bélico, el Colegio retornó al mismo edificio. Antonio María de Rivera continuó como rector hasta 1868 cuando, por orden del gobernador Francisco Hernández y Hernández, fue relevado por Joaquín G. Aguilar, catedrático del mismo Colegio Preparatorio.