Citation: 2C_440/2023 E. C

A.________ (ci-après: le recourant) dépose un recours en matière de droit public auprès du Tribunal fédéral contre la décision incidente du Tribunal administratif fédéral du 25 juillet 2023. Demandant à titre préalable et provisionnel l'octroi de l'effet suspensif à son recours, ainsi que la renonciation à toute avance de frais pour la procédure devant le Tribunal fédéral, il conclut, sur le fond, à l'annulation de la décision attaquée et, partant, à ce qu'il soit ordonné au Tribunal administratif fédéral de renoncer à percevoir une quelconque avance de frais en lien avec son recours contre la décision du Département fédéral du 29 juin 2023. Par ordonnances séparées du 24 août 2024, la Présidente de la Cour de céans a admis la requête d'effet suspensif, ainsi que renoncé provisoirement à exiger une avance de frais pour la présente procédure. Le Tribunal administratif fédéral a renoncé à prendre position sur le recours. Le recourant a adressé deux déterminations spontanées à la Cour de céans. Le Département fédéral a répondu au recours, tout en s'en remettant à la décision du Tribunal fédéral.