Faits : A. A.a. Le 23 décembre 2015, l'Aéroport International de Genève (ci-après: l'Aéroport) a suspendu la carte d'identité aéroportuaire (aussi appelée CIA; ci-après également: la carte) de A._, employé d'une société de service indépendante de l'Aéroport (ci-après: la société de service) comme bagagiste. Cette carte permettait à l'intéressé d'accéder aux zones sécurisées de l'Aéroport. A la suite du blocage de la carte, la société employeuse de A._ l'a licencié. A.b. Par décision du 17 mars 2016, l'Aéroport International de Genève (ci-après: l'Aéroport) a retiré la carte d'identité aéroportuaire de A._. L'Aéroport a motivé ce retrait en expliquant que, dans le cadre d'un contrôle, les services de police genevois avaient indiqué posséder des renseignements défavorables au sujet de A._. Ceux-ci entraient en conflit avec les critères du Programme national de sûreté de l'aviation civile (aussi appelé NASP) qui prévalaient pour l'octroi de la carte d'identité aéroportuaire. A.c. Contre cet acte, A._ a formé, le 20 avril 2016, un recours au Tribunal administratif fédéral. Par arrêt du 21 juillet 2016, celui-ci a déclaré le recours irrecevable. Il a considéré en substance que l'Aéroport n'était pas habilité à rendre des décisions et que partant, comme il n'existait pas de décision attaquable, le Tribunal administratif fédéral était incompétent pour traiter du recours. A.d. Par arrêt 2C_859/2016 du 31 juillet 2018, le Tribunal fédéral a admis, dans la mesure de sa recevabilité, le recours formé par A._ contre l'arrêt du Tribunal administratif fédéral du 21 juillet 2016, a annulé cet arrêt et renvoyé la cause à cette autorité pour qu'elle entre en matière sur le recours interjeté devant elle et examine le bien-fondé de la décision de retrait du 17 mars 2016. En substance, le Tribunal fédéral a retenu que l'Aéroport disposait d'une compétence décisionnelle en matière de retrait de cartes d'identité aéroportuaires. B. Statuant dans le cadre du renvoi, le Tribunal administratif fédéral a, par arrêt du 9 septembre 2019, radié du rôle la cause relative au recours déposé contre la décision du 17 mars 2016. En substance, il a estimé que A._ n'avait pas d'intérêt actuel ou de fait au traitement de son recours, qu'il n'y avait pas lieu de renoncer à l'exigence de l'intérêt actuel et que, faute de qualité pour recourir, le recours devait être déclaré sans objet. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de dépens, de mettre à néant l'arrêt du 9 septembre 2019 du Tribunal administratif fédéral, ainsi que la décision du 17 mars 2016 de l'Aéroport. Le Tribunal administratif fédéral se réfère à son arrêt. L'Aéroport s'en rapporte à justice quant à la recevabilité du recours et conclut, au fond, sous suite de frais et dépens, à son rejet et à la confirmation de l'arrêt du 9 septembre 2019.