Después de la expulsión de los jesuitas, en 1767, el conjunto tuvo diversos usos: cuartel de un batallón del regimiento de Flandes, colegio dirigido al clero secular, sede temporal de la Escuela de Leyes y de la Escuela de Medicina, y cuartel de tropas norteamericanas y francesas.