En el período franciscano (1767-1807), el colegio fue trasladado de la casa de Duarte, que ocupó hasta entonces (hoy Colegio de Huérfanas), al edificio en el que actualmente funciona, traslado "que dio todo el ser al colegio", según la expresión de uno de sus rectores, y que se realizó el 9 de febrero de 1782.